Главная

Как сделать и правильно провести A/B-тест сайта. 7 этапов

Никита Семенов

14 мая 2019

Время чтения: 5 минут

Как сделать и правильно провести A/B-тест сайта. 7 этапов

Вы узнаете:

От поиска идей до анализа результатов

Какие условия нужны для А/Б теста

Как получить достоверные результаты

0

Разберем 7 этапов проведения А/Б-тестирования сайта: от поиска гипотез до анализов результатов эксперимента. Каждый этап не буду подробно расписывать — сейчас тезисно, потому что каждая тема очень объемная. Эти все этапы необходимо пройти для успешного проведения эксперимента и получения объективных результатов. Погнали.

1. Гипотезы

Это самый первый шаг. Вы должны уже иметь идеи, которые хотите проверить с помощью АБ теста. Гипотеза должна быть сильной и решать проблемы на сайте, а не просто поменять цвет кнопочки.

Статьи по теме:
Как сделать аудит сайта самостоятельно. Часть 1. Поиск проблем в аналитике
Откуда брать идеи для тестирования или как увеличить конверсию лендинга (старая статья)
Легкий способ выбрать идею для А/В-тестов и персонализаций

Не забывайте, что А/Б-тестирование — проверка одной гипотезы. Если 2 гипотезы, это уже A/B/C-тестирование. Подробнее об А/В-тестировании

2. Подготовка вариации

Вы готовите страницу с изменениями. Это можно сделать в платформе через визуальный редактор (конструктор), самостоятельно через написание кода в платформе или через внесение изменений на конкретной странице. Каждый вариант разберем отдельно.

Через визуальный редактор. Все просто — зашли в редактор платформы и внесли изменения. Чаще всего он подходит для простых тестов, например изменить текст или цвет кнопки. Для сложных тестов лучше вносить изменения через код — через редактор страница может поплыть и некорректно отображаться. В этом случае платформа наложит поверх вашего сайта страницу с изменениями. Подмены посетитель не видит.

Через написание кода в платформе. С помощью такого метода можно делать абсолютно любой сложности тесты — все зависит от того, насколько вы хорошо знаете как правильно работать с кодом в платформе. Эта тема очень сложная и под каждую платформу надо учиться писать код. Это тема для серии статей и уроков. В этом случае платформа наложит поверх вашего сайта страницу с изменениями. Подмены посетитель не видит.

Через изменения на конкретной странице. Вы делаете копию страницы на другом url и в этой копии вносите изменения. Тогда такой эксперимент будет называться «сплит-тестирование». Механизм тестирования другой — платформа не накладывает страницу с изменениями поверх вашего сайта, а просто распределяет трафик между указанными url: оригиналом и тестируемой страницей.

3. Сегмент

При каких условиях будет срабатывать вариация или где и кто увидит вариацию. Это сложная тема — разберем на примере. Вы меняете кнопку в корзине, то посетитель попадет в тест только в корзине (по определенному url).

Пример #2: вы меняете текст в всплывающем окне. Тогда в сегмент должны попасть посетители, которые увидят это окно (то есть сегмент по определенному элементу).

Вариантов для сегмента много — все зависит от гипотезы.

Если сегмент будет широкий, а изменение у вас только на одной странице, например, корзина, а сегмент — весь сайт, тогда есть вероятность ошибки, которая будет влиять на работу всего сайта.

Сегмент может быть разный — этим отличаются разные платформы. У каждой из платформ свой сегмент-билдер. Чем богаче функционал платформы, тем больше экспериментов и гипотез вы можете проверить.

4. Цели

С их помощью мы получаем объективные результаты по тесту, а именно может точно сказать наша вариация дала улучшения или ухудшения?! А для этого надо «найти» правильные цели.

Например, у вас интернет-магазин и вы хотите изменить текст у каждой кнопки с «Добавить в корзину» на «какой-то текст». И при тесте замеряете только клики по этим кнопкам. В итоге вы видите, что кликабельность увеличилась. Но это не правильно. В данном случае необходимо замерить количество оформленных заказов и общий доход на каждую вариацию. Бывают случаи, когда изменение увеличивает количество добавленных товаров в корзину, но снижает общий доход.

Нет точного кол-ва целей, которые надо замерять. В каком то тесте надо будет замерять только одну цель, в другом 20. Все зависит от сложности эксперимента.

С помощью правильных целей у вас точно не будет сомнений при анализе результатов теста.

5. Проверка качества (QA)

Перед запуском любого теста всегда проверяйте корректность отображения изменений и сбора данных при разных сценариях поведения пользователя во всех браузерах и устройствах. Да, это самая неприятная рутинная часть, но и самая важная. Если тест некорректно работает в определенном браузере (или устройстве), то таким данным нельзя доверять.

После запуска так же проверяете корректность работы эксперимента.

Если хотя бы одна цель будет записываться некорректно или изменение будет неправильно отображаться, это отразиться на результатах эксперимента. Таким данным нельзя доверять.

Если тест работает корректно, запускаем!

6. Статистическая значимость

Чтобы получить объективные результаты, которым можно доверять, нужен огромный трафик и на каждую вариацию по 500 достижений цели. Поэтому улучшение сайтов с помощью АБ тестирования может подойти не всем, так как есть лендинги и сайты с 30 посетителями в день. Тут тестировать вы будете долго, нудно и в итоге получите результаты, которым невозможно доверять.

Но можно тестировать при таких условиях: по 2000 уникальных посетителей на каждую вариацию в течение 3-х недель (или одного месяца). Это лучше, чем ничего.

Это частые случаи. Бывает, когда изменения не сильно влияют на конверсию. Тогда ждать статистически значимых результатов будем долго. Есть случаи, где в эксперименте участвовали 300 000 посетителей и статистическая значимость не была достигнута.

Еще один хитрый способ анализа результатов А/В-теста.

7. Анализ результатов

Это последний этап. Если вы изначально замеряли правильные цели, не сложно будет принять решение на основе результатов.

Но бывают, конечно же, случаи, когда вы в конце теста поняли, каких именно метрик (данных) не хватает для принятия решений. Тогда советую продолжить эксперимент.

И так же бывает так, что вы замеряли много целей и все правильные (нет ничего лишнего и всего хватает), но принять решение сложно. Но тут уж надо решать по ситуации. Суть этого пункта — анализ результатов эксперимента и принятие решение по внедрению изменений на основе стратегических целей.

Резюме — 7 этапов проведения эксперимента

Для проведения А/Б-теста пройдите 7 этапов:
* Найдите сильную гипотезу, которая увеличит ключевые показатели сайта
* Подготовьте вариацию через конструктор или самостоятельно
* Определите правильный сегмент — где и кому будет показываться ваша вариация (срабатывать тест)
* Определите и замерьте правильные цели. Так вам будет легче и объективнее принять решение в конце эксперимента
* Проверьте качество работы теста до и после запуска теста
* Дождитесь статистической значимости теста. Так вы сможете без проблем принять решение
* Проанализируйте результаты и примите решение

Узнайте слабые места и получите конкретные рекомендации по увеличению конверсии

Бесплатные материалы на темы: аналитика, А/В-тесты, персонализация и детальные кейсы