Главная

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Никита Семенов

19 Июн 2019

Время чтения: 4 минуты

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Вы узнаете:

Разбор контекста и целей

Возможности платформы для анализа

Самые важные метрики

0

Итак, прошло время с момента запуска теста — мы собрали достаточно данных для того, чтобы сделать правильные выводы. Я приведу пример на основе демо отчета от VWO, который есть у каждого. В этом отчете 5 целей и на первый взгляд нет явного победителя. Давайте разбираться.

Напоминаю, когда можно делать выводы: у вас по 2 000 уникальных пользователей на каждые оригинал и вариацию (то есть в сумме 4 000 уникальных посетителей) или по 500 конверсий. Но так же есть еще один способ: когда вы видите постоянный рост конверсии. Это также разберем.

Контекст

Тест социального подтверждения в заголовке на посадочной странице.

Оригинал:

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Вариация «Social proof»:

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Цели

1) Paid (Оплата)
2) Singups (Регистрация)
3) Visit to pricing page (Посещение страницы с оплатой)
4) Engagement (Вовлечение)
5) Visit to signup page (Посещение страницы регистрации)

Заходим в вкладку «А/В» и кликаем на свой тест (в данном случае на демо-тест «SmartStats Sample Report»):

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Из превью теста мы видим 5 пунктов:
1) Количество вариаций (2 variations)
2) Количество посетителей (2K visitors)
3) Общее число конверсий (в данном случае общий доход по оригиналу и вариации — $4K total revenue)
4) Состояние теста (Paused)
5) Рекомендация платформы. Для этого теста она говорит, что победила вариация «social proof» и предлагает использовать 100% трафика на вариацию.

Внутри теста:
1) Меню в нужные вкладки. По умолчанию вы попадаете в вкладку «Summary» (Сводка)
2) Кнопку «Start/Paused»
3) Рекомендации платформы
4) Возможность добавить «знания» — то, чему вы научились в этом тесте и какие выводы сделали. Очень полезно, когда к этому тесту возвращаешься через месяцы и все забылось.
5) Общее число посетителей
6) Количество целей и вариаций
7) Превью оригинала и вариации
8) Timeline — вы видите, кто, что и когда делал в этом тесте

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Чтобы увидеть статистику по каждой цели, переходим в Detailed report. На ней у нас есть:
1) Статистика по каждой цели. По умолчанию открывается главная цель.
2) Все цели

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

У каждой цели вы можете выбрать нужный сегмент или изменить условия показа данных…

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

или переключить на график. В нем указано количество конверсий по каждому дню теста:

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

У каждой цели в статистике есть столбцы, с помощью которых вы можете более объективно оценить результаты теста:
1) Variation — вариации
2) Revenue per visitor — доход на каждого посетителя. Но обычно в целях, где не замеряется доход, это называется «Conversion rate» — коэффициент конверсии.
3) Improvement — улучшения. То есть насколько ваша вариация лучше или хуже оригинала.
4) Potential loss — потенциальная потеря.
5) Chance to beat — шанс победы. Этому отчету лучше не доверять. На основе каких статистических алгоритмов он собирается — непонятно, но, судя по всему, на основе количества достигнутых целей.
6) Revenue per conversion — доход на конверсию.
7) Total revenue (conversions/visitors) — общий доход (конверсии/посетители).

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

На основе данных цели «Paid» мы можем сделать вывод, что выиграла вариация «Social proof»: с помощью изменений мы получили 18 оплат и заработали 2 863 $ (на оригинале 7 оплат и 1 103 $).

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Цель «Singups»:

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

На основе «CONVERSION RATE (RANGE)» и «CONVERSIONS / VISITORS» видим, что вариация «Social proof» проигрывает.

Так же проигрыш вариации мы видим в целях «Visit to pricing page» и «Visit to signup page»:

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Данные по цели «Visit to pricing page»




Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Данные по цели «Visit to signup page»

Но по цели «Engagement» мы видим победителем «Social proof»:

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Как видите из результатов теста (а именно с помощью правильного отслеживания целей), мы получаем, с одной стороны, неоднозначные результаты. По 3-м целям мы видим провал у вариации. Но учитывая результаты «Paid», однозначное решение — выиграла вариация!

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Всегда отслеживайте все возможные цели и доход. Если доход отследить невозможно через платформу, ищите приближенные метрики — количество оформленных заказов/заявок или другие. Так вы сможете сделать максимально объективные выводы по тесту.

Разберем остальные вкладки

Previews. Вы можете посмотреть, как выглядят оригинал и вариация…

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

и как они отображаются в разных браузерах:

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Heatmaps and clickmaps. Аналог «Карты кликов» и «Карты ссылок» Яндекс Метрики.

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Переключить между «Heatmaps and clickmaps» можно в самом превью:

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

Setting. Настройки вашего А/В-теста, которые вы делали перед запуском.

Анализ результатов A/B-теста в платформе Visual Website Optimizer (VWO)

На этом анализ закончен) Желаю вам успешных тестов и высокой конверсии!

Узнайте слабые места и получите конкретные рекомендации по увеличению конверсии

Бесплатные материалы на темы: аналитика, А/В-тесты, персонализация и детальные кейсы