ЧТО ТАКОЕ ПИЛОТНОЕ ТЕСТИРОВАНИЕ – ПОДРОБНОЕ ПОШАГОВОЕ РУКОВОДСТВО

Мы, технически подкованные люди, любим пробовать передовые технологии, будь то аппаратное или программное обеспечение. Когда мы используем такую ​​новую технологию, мы ожидаем некоторых проблем с продуктом, это часть развлечения, отладки и исправления этих проблем. Но этот сценарий не идеален для наших пользователей, если они платят за продукт, они ожидают, что он будет работать безупречно. Вот почему мы проводим пилотное тестирование, чтобы снизить такой риск.

Что такое пилотное тестирование

В пилотном тестировании группа пользователей выявляет проблемы в программном продукте перед его выпуском на рынок. Это выполняется между пользовательским приемочным тестированием и развертыванием в производственной среде. Это также помогает нам понять, как пользователь ориентируется в функциях приложения, т. е. удобство приложения для пользователя, насколько легко они могут внедрить наше программное обеспечение, насколько оно соответствует ожиданиям пользователя и т. д.

Основная цель пилотного тестирования — оценить осуществимость, время, стоимость, риск, совместимость и производительность программного обеспечения. Пилотное тестирование выполняется на разных уровнях в зависимости от размера и масштаба проекта. Пилотное тестирование является обязательным для крупнобюджетных проектов.

Пример пилотного тестирования

1. Инстаграм:Будучи гигантской корпорацией, они тестируют даже самое маленькое обновление в своем приложении, и это возможно благодаря их бюджету и ресурсам. В настоящее время компания Instagram, принадлежащая Meta, работает над новой функцией «добавлять музыку» в ленту постов. Пилотные испытания проводятся в трех разных странах — Индии, Турции и Бразилии. Здесь они пригласят целевого пользователя приложения и проверят работоспособность приложения.

2. Zoom проводит пилотное тестирование своего нового обновления функций. Недавно они проводили пилотное тестирование добавления функции рекламы в бесплатную версию программного обеспечения.

3. Самсунг: При выпуске складных телефонов они проверяли их долговечность, открывая и закрывая телефон 10 000 раз с помощью машины. Но они не проверили основную функцию с реальными пользователями должным образом. Проблема, с которой столкнулся пользователь, заключалась в том, что когда телефон сложен, шарнир собирает грязь, пузырьки воздуха и уязвим для царапин. Это пример того, как компания не полностью провела пилотное тестирование и столкнулась с негативной реакцией из-за этого.

Почему пилотное тестирование важно

• Пилотное тестирование помогает нам оценить готовность программного обеспечения.
• Оно помогает нам отладить приложение, что очень полезно для последней настройки.
• Оно может предоставить отзывы пользователей в режиме реального времени перед запуском его на рынок.
• Это может дать разработчикам второй шанс исправить свои ошибки.
• Это может помочь нам решить, что делать дальше, запустить или продлить срок.
• Это может помочь нам выделить риски в
• Это помогает нам привести наш продукт в соответствие с ожиданиями клиента.

Необходимые условия для проведения пилотного тестирования

Для проведения пилотного тестирования нам необходимо выполните следующие 3 обязательных шага:

• Настройте соответствующую среду
• Наймите подходящих тестировщиков
• Четкое планирование

№1. Настройте соответствующую среду

Нам следует настроить среду с необходимым аппаратным и программным обеспечением, которая имитирует реальную среду.

#2. Наймите правильных тестировщиков

Мы должны убедиться, что мы наняли правильный набор тестировщиков, они должны представлять целевую аудиторию продукта. Только тогда полученные от них отзывы можно считать достоверными данными.

#3. Правильное планирование

Мы должны спланировать, что требуется для нашего пилотного тестирования: ресурсы, оборудование, персонал, сроки, стоимость, процесс найма и т. д. должны быть согласованы с нашими требованиями.

Процесс пилотного тестирования< /h2>

В зависимости от размера и масштаба проекта уровень пилотного тестирования варьируется. Обычно пилотное тестирование проводится в лаборатории, где отслеживаются действия пользователей по использованию приложения.

< ol type=1>

Планирование

Подготовка

Реализация

Оценка

Запуск

#1. Планирование

Первым шагом в любом процессе тестирования является планирование теста. Отсюда мы могли бы создать различные планы для соответствующего процесса тестирования. Это один из важнейших шагов в процессе пилотного тестирования, поскольку дальнейшие шаги мы определяем в процессе планирования.

#2. Подготовка

Когда планирование завершено, мы должны приступить к подготовке к пилотному тестированию. Здесь мы настроим необходимое окружение, соберем данные, выберем группу конечных пользователей, организуем ресурсы и т.д.

#3. Внедрение

В процессе пилотного тестирования мы предоставляем конечным пользователям ситуации, с которыми может столкнуться реальный пользователь. Это может быть ряд задач, которые охватывают основные функции приложения.

#4. Оценка

Действия этих пользователей и реакция программного обеспечения на это записываются. мы оцениваем производительность программного обеспечения и то, насколько легко пользователю было выполнять задачу, т. е. удобство использования программного обеспечения. Затем мы настраиваем программное обеспечение на основе отзывов.

#5. Запуск

Мы проверяем, соответствует ли ПО всем требованиям и удовлетворительна ли его производительность, и только после этого приступаем к запуску продукта на рынок.

Как выполнить Пилотное тестирование

Для проведения пилотного тестирования необходимо выполнить следующие шаги.

#1. Определите четкие цели

Нам необходимо установить четкие цели для нашего пилотного тестирования. Мы должны знать, чего мы ожидаем от этого, экономит ли это время и деньги, ускоряет общение, быстрее завершает проект? Основываясь на поставленных целях, мы можем определить четкую область для нашего тестирования, иначе мы можем в конечном итоге протестировать все, не зная, что делать дальше.

#2. Определите временную шкалу

Мы должны определить временную шкалу, в течение которой продукт будет тестироваться. Он также должен включать время, необходимое для настройки, найма и организации теста. У нас должно быть четкое представление о том, что и когда нужно тестировать, а также резервное время для устранения проблем и тестирования редко используемых функций.

#3. Выберите группу тестирования

При проведении пилотного тестирования мы должны убедиться, что у нас достаточно большая группа пользователей, чтобы получить достаточную обратную связь, в идеале 10-20 человек. Мы также должны быть уверены, что эти пользователи являются целевыми пользователями нашего продукта, т. е. они должны быть постоянными пользователями такой технологии.

#4. Собирайте отзывы

Мы должны помнить, что пилотное тестирование основано на пробах и ошибках, оно помогает нам понять, что получилось правильно, а что нет. Соберите честные отзывы от участников посредством обсуждений, опросов и самооценки. Используя эти данные, мы можем сопоставить их с нашей целью, чтобы узнать, что нужно делать дальше.

#5. Решайте проблемы

Когда программа пилотного тестирования будет завершена и оценена, мы должны начать решать вопросы и проблемы, которые мы получили в отзывах. Мы должны принимать решения по исправлению дефектов, исправлению незначительных проблем, определению дополнительных вариантов использования и т. д.

Что мы должны учитывать при пилотном тестировании

Мы должны рассмотрите следующие факторы перед проведением пилотного теста.1

#1. Окружающая среда

Он играет жизненно важную роль в пилотном тестировании, без правильной настройки среды его невозможно выполнить. Основная цель здесь — создать среду, в которой фактический клиент будет использовать его в режиме реального времени.

#2. Правильное сочетание пользователей:

Только с правильным набором пользователей, которые представляют целевую аудиторию продукта, мы можем сделать значимые выводы из нашего пилотного тестирования.

#3 . Правильный план:

Мы должны планировать ресурсы, сроки, бюджет, необходимое оборудование и программное обеспечение, тестовые сценарии, развертывание серверов. Также спланируйте критерии оценки.

#4. Документация:

Мы должны подготовить документы и поделиться ими со всей командой. Процедуры установки, сценарии тестирования, тестовые данные, сценарии, которые необходимо протестировать, и т. д. должны быть задокументированы и переданы команде.

Позже, после завершения пилотного тестирования, проблемы, ошибки, отзывы, метрики и т. д. должны быть задокументированы и предоставлена ​​соответствующей команде.

Пилотное тестирование имеет свои преимущества, оно может помочь нам более эффективно тестировать программное приложение. Но вот несколько ограничений, с которыми вы можете столкнуться во время пилотного тестирования вашего программного обеспечения.

Во-первых, мы должны знать, что пользователь, которого мы нанимаем для тестирования, не поймет нашей цели, важнейших функций приложения и не будет знать, как проводить тестирование.

Они могут предположить, определенные вещи, поскольку они не имеют предварительных знаний о приложении. Это может привести к неправильным результатам тестирования, все пилотное тестирование будет пустой тратой времени.

Точно так же есть другие проблемы, такие как ограничения по времени, мы бы создали четкий график для нашего тестирования. Пользователям, незнакомым с приложением, может потребоваться больше времени, чтобы завершить задачу или не выполнить задачу. Это приведет к переделке и изменению расписания.

После сбора данных от группы пользователей начинается оценка и анализ данных. На то, чтобы сделать осмысленные выводы из анализа, соответствующие поставленной цели, может уйти больше времени.

Действия после оценки пилотного тестирования

На основе оценки мы можем получить 4 разных результата.

Шаг 1. Stagger Future: мы будем развертывать новую версию, которая является откровенной для экспериментальной группы.
Шаг 2. Восстановление: здесь мы возвращаемся к предыдущей версии.
Шаг 3. Пауза: Здесь мы бы приостановили пилотное тестирование.
Шаг №4. Исправление и продолжение: здесь мы пытаемся исправить эти проблемы, эти исправления развернуты, а тестирование продолжается.

Преимущества пилотного тестирования

< li>Пилотное тестирование проводится для того, чтобы понять точку зрения пользователей на наш продукт, чтобы мы узнали их ожидания.
• Мы можем оценить коэффициент успеха продукта.
• Это может помочь нам сократить расходы, определяя серьезные ошибки.
• Отзывы конечных пользователей могут повысить качество продукта.
• Можно оценить риск запуска на рынок для этих подмножеств целевых пользователей.

Пилотное тестирование и альфа-тестирование

Пилотное тестирование	Альфа-тестирование
Пилотное тестирование выполняется группой конечных пользователей, которые представляют целевую аудиторию	Альфа-тестирование выполняется тестировщиком программного обеспечения в команде проекта
Пилотное тестирование проводится перед бета-тестированием	Альфа-тестирование проводится перед бета-тестированием и пилотным тестированием
Пилотное тестирование не выполняется в виде длинных циклов	Альфа-тестирование выполняется в виде длинных циклов с несколькими итерациями
Пилотное тестирование проводится в среде, имитирующей среду реального времени	Альфа-тестирование проводится в тестовой среде на сайте разработчика

Не пропустите: Руководство по альфа-тестированию

Пилотное тестирование и бета-тестирование

< table id=tablepress-100 class="tablepress tablepress-id-100 tablepress-responsive">

Пилотное тестирование

Бета-тестирование

В пилотном тестировании группа конечных пользователей тестирует продукт перед развертыванием

В бета-тестировании участвуют реальные пользователи в среде реального времени для тестирования продукта после развертывания

Пилотное тестирование происходит между производством и UAT

Бета-тестирование — это часть UAT, выполняемая на стороне клиента или в реальной среде

Цель пилотного тестирования — выявить потенциальные проблемы до того, как они приведут к дорогостоящим ошибкам

Цель бета-тестирования — оценить удовлетворенность клиентов и улучшить качество продукта

Пилотное тестирование проводится только ограниченным числом пользователей

Бета-тестирование может проводиться всеми пользователями

< strong>Не пропустите: Руководство по бета-тестированию

Рекомендации по пилотному тестированию

• Убедитесь, что вы запланировали пилотное тестирование за два дня до юзабилити-теста.
• Критерии успеха должны быть согласованы всеми в команде, пусть это будет заказчик, команда проекта и руководство.
• Спросите пользователей, есть ли они ошибки в полученных документах, любые проблемы с их пониманием. Позвольте им выразить озабоченность и получить отзывы, рекомендации и улучшения.
• Сообщите этим пользователям о цели, процедурах, прогрессе и продолжительности пилотного тестирования.

Преимущества пилотного тестирования

• Пилотное тестирование может снизить риск, оно может выявить риск сбоев, ошибок, задержек в программном обеспечении.
• Пилотное тестирование помогает нам проверить, наш продукт готов к полномасштабному внедрению.
• Пилотное тестирование может улучшить и оптимизировать проект, поскольку он получает соответствующие отзывы.
• Пилотное тестирование может открыть связь и координацию между различными командами, поскольку отзывы, полученные от конечного пользователя, могут принести больше изменений в продукте.
• Пилотное тестирование может выявить ограничения, с которыми может столкнуться пользователь, еще до того, как продукт будет развернут.

Заключение

Надеюсь, это статья дала вам четкое представление о пилотном тестировании. Помните, что пилотное тестирование помогает нам понять осуществимость нашего продукта. Пилотное тестирование дает нам представление о качестве программных продуктов в реальных условиях. Это также дает нам возможность исправлять и решать проблемы до того, как продукт будет развернут в среде продукта.
TAG: qa

Еще об этом:

БЕТА-ТЕСТИРОВАНИЕ – ПОДРОБНОЕ РУКОВОДСТВО 150+ ЛУЧШИХ ВОПРОСОВ И ОТВЕТОВ НА ИНТЕРВЬЮ О ТЕСТИРОВАНИИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ 100+ ВИДОВ ТЕСТИРОВАНИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ – ПОЛНЫЙ СПИСОК ЛУЧШИЕ ИНСТРУМЕНТЫ ТЕСТИРОВАНИЯ ВЕБ-ПРИЛОЖЕНИЙ (БЕСПЛАТНЫЕ И ПЛАТНЫЕ) НА 2022 ГОД ЛУЧШИЕ ИНСТРУМЕНТЫ ТЕСТИРОВАНИЯ МОБИЛЬНЫХ ПРИЛОЖЕНИЙ В 2024 ГОДУ ДЛЯ ANDROID И IOS ЛУЧШИЕ САЙТЫ ТЕСТИРОВАНИЯ ПРОДУКТА: ПОЛУЧАЙТЕ ПЛАТ ЗА ТЕСТИРОВАНИЕ И ОБЗОР ПРОДУКТОВ ЛУЧШИЕ ИНСТРУМЕНТЫ АВТОМАТИЗИРОВАННОГО ТЕСТИРОВАНИЯ (БЕСПЛАТНЫЕ И ПЛАТНЫЕ) | август 2022 г. 100 САМЫХ ПОПУЛЯРНЫХ ПРОДВИНУТЫХ ВОПРОСОВ И ОТВЕТОВ НА ИНТЕРВЬЮ ПО SELENIUM 90+ ВОПРОСОВ И ОТВЕТОВ ИЗ ИНТЕРВЬЮ LOADRUNNER | ОБНОВЛЕНИЕ 2022 г. ЧТО ТАКОЕ ТЕСТИРОВАНИЕ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ | ВСЕ, ЧТО ВЫ ДОЛЖНЫ ЗНАТЬ