Не знаешь с чего начать? Тогда раздел "Учебник" для тебя! =)

Как формировать и проверять гипотезы продукта

Просмотров:23



Среди продуктологов очень модно последние годы говорить о продуктовых гипотезах. Как их формировать и тестировать. И самым простым и известным методом тестирование является старый, добрый A\B тест.

А/В — тестирование является самым необходимым тестированием при проверке гипотез определенного продукта. Многие организации проводят такие тесты часто, много, тестируя одновременно большое кол-во гипотез.  Так же в крупных компаниях даже создаются отдельные команды, которые проводят тестирование.

В процесс А/В-тестирования входит разделение трафика на определенные части, оценка важных числовых параметров, а также набор методов статистики.

А/В тестирование

Первый этап: формирование оптимальной гипотезы.

Правильная гипотеза появляется на стыке качественных и количественных характеристик. Большие данные выделят вам основную проблему, а качественные — позволят окунуться в ее суть проблемы.
Обычно качественные данные определяют основные проблемы реального пользователя и подкрепляются числовыми данными. Это не позволяет упустить важные детали из исследования.
Началом формирования гипотезы служит изучение количественых данных.
К количественным данным относятся такие структуры, как:
Воронки — наглядно отображает основной набор действий человека и выделяет проблемы в его поведении. Но при составлении воронки нельзя забывать о сегментировании, так как это может привести к ошибке, когда поведение пользователя отличалось из-за того, что он относится к другой группе целевой аудитории.
Представление данных в динамике — такие графики показывают, как изменялось поведение людей через определенные промежутки времени. Это увидеть отклонения от средней статистики.
Формирование когорт — данный способ показывает, сколько людей уходило от основных этапов и возвращалось к ним вновь. При построении также необходимо график делить на сегменты.
Сценарии — этот этап позволяет увидеть реальное поведение человека, которое обычно отличается от составленных графиков.
Результаты исследований — на этой ступени происходит подробное изучение полученных данных и определение основных методов решения проблемы.
Приоритезация гипотез — позволяет выделить главные гипотезы, так как список сформированных гипотез всегда оказывается большим. Возможно для формирования некоторых гипотез нужно выделить дополнительное время для исследований и экспериментов.

Второй этап: начало А/В-тестирования

В проведении экспериментов очень удобно использовать Google Optimize. Этот инструмент даёт гибкость, можно менять сегменты местами, изменять их цвет, добавлять новые данные и действия, сегментировать гипотезы.

Третий этап: анализ полученных результатов теста

Собранные данные необходимо правильно проанализировать, чтобы исключить ошибки.

Полученные данные в результате теста должен включать в себя следующую систему этапов:

1. Исследование вариации результатов.

Важный этап, так как выделяет допустимые варианты, исключая неподходящие результаты.
Коэффициент вариации вычисляется по следующей формуле: V = σ / х *100%. х — это среднее арифметическое любой величины, σ — это отклонение от средних данных.

2. Отображение разброса данных в виде графика.

Построение графиков позволяет наглядно увидеть наименьшее и наибольшее значение данных, их динамику, а также количество отклонений от средней линии.

3. Статистика для описания.

Такие данные статистики рассчитываются параллельно предыдущем этапу. Данная статистика формируется с помощью шагов воронки.

4. Анализ сущности распределения.

Распределение обычно имеет нормальный характер в том случае, если было получено и изучено большое количество данных, время проверки было оптимальным и уровень вариации данных соответствует норме. При отклонении происходит выявление закона распределения, а также создание новых методов для достижения верных итогов.

5. Вычисление гомогенности дисперсии.

Данный критерий оказывает помощь в определении разности дисперсий по всем ступеням эксперимента.

6. Выявление отличий и определение верности итогов.

Данный этап предназначен для того, чтобы определить самый результативный метод исследования. Существует несколько способов оценки:
а) Критерий Мана-Уитни. Используется при нарушении среднего распределения. В методе отсутствует привязка к виду распределения.
б) Однофакторный дисперсионный анализ.
Выявляет отличия между различными группами. Работает без ошибок только при нормальном распределении.
в) Анализ по критерию Краскела-Уолиса.
Данный тип анализа применяется при отсутствии нормального распределения и возможности приведения данных к норме. Работает при нарушении условий однофакторного анализа.




Вам понравилось?

>>> Почему надо подписаться на обновления? <<<

Буду благодарен за ретвит и клацанье по кнопочкам. Спасибо :)



 

Есть вопросы? Напишите в комментариях, всем отвечу :)

Как установить такие комментарии вконтакте себе на сайт?



Написать ответ


32 запросов. 0,158 секунд.