Главная

Что такое A/B-тестирование и зачем оно нужно?

Никита Семенов

27 Апр 2019

Время чтения: 4 минуты

Что такое A/B-тестирование и зачем оно нужно?

Вы узнаете:

Какая выгода от А/Б тестирований

Как работает А/Б тест

Кому подойдет такой метод

0

A/B‑тестирование — это метод. С его помощью вы можете объективно оценить как любое внедрение изменения влияет на ключевые показатели.

Что такое A/B-тестирование и зачем оно нужно?
Если кратко: вы решаете внести изменение на сайте > готовите вариацию > запускаете тест. Сервис (или платформа) автоматически распределит трафик на оригинальную страницу и вариацию.

А/Б тестирование проводится в один промежуток времени при одинаковых условиях. То есть нельзя сравнивать показатели, который были месяц назад — так оценивать эффективность изменений невозможно.

Какая выгода от А/Б тестирований

Вы видите эффективность новых изменений по сравнению с оригиналом и можете принимать решения на основе статистически достоверных данных. Есть 3 исхода:

Экономия денег. Если тест провалился, то вы потеряли деньги только на определенном промежутке времени, а не в течение всей жизни сайта.

Увеличение прибыли. Вы видите насколько ваша вариация приносит больше денег по сравнению с оригиналом. Поздравляю — тест успешный.

Нет результата. Так бывает, когда наши внедрения никак не влияют на конверсию и прибыль.

Чтобы все эксперименты были успешными, надо уметь находить мощные идеи.

Почему нельзя просто внести изменения?

Вы, конечно же, можете внести «улучшения» без A/B‑теста — никто не запрещает. Но с точки зрения объективной оценки результатов — это неправильно. Изменение одного элемента (даже незначительного на первый взгляд) может изменить поведение пользователей и повлиять на эффективность всего сайта и лендинга.

Например, в апреле у вас конверсия в покупку 1,3%. Вы внедряете новые изменения в мае и отслеживаете эффективность (чтобы позже сравнить данные с апрелем). В итоге конверсия в упала до 0,9% и вы решаете отказаться от новых изменений. Вот именно так сравнивать результаты нельзя — на эффективность сайта влияют многие факторы. Возможно, конверсия на оригинальной версии была бы 0,5%. Получается что новые изменения вроде как и успешные…

Пример из практики + экономика: одна компания решила полностью изменить главную страницу. Мы долго уговаривали их внедрить изменения через A/B-тестирования, но они отказывались из-за большой стоимости эксперимента — 500 000 ₽. Но после запуска мы выяснили, что за 2 недели эксперимента (редизайн главной страницы), вариация снизила доход на ~830 000 ₽. И это только за 2 недели! Сколько денег они могли бы потерять за год?

Что такое A/B-тестирование и зачем оно нужно?

А/Б тестирование — это системная работа, которая должна поэтапно внедряться и отслеживаться

Как работает А/Б тест

Сервис, через который вы проводите эксперимент, автоматически равномерно распределяет трафик на вариации и отслеживает цели, которые создали под каждый эксперимент. Пользователь не видит подмену на вариацию.

Что такое A/B-тестирование и зачем оно нужно?
Самый частый способ – платформа «накладывает» вариацию поверх вашей страницы. В этом случае все изменения находятся на одном url: на оригинале – оригинал вашей страницы, на вариации – изменения поверх оригинала.

Редкий способ тестирования – распределение трафика по url (или «сплит-тестирование»). Это часто подходит для лендингов. То есть оригинал находится, например, по адресу mysite.ru, а вариация на другом – mysite.ru/ab . И здесь платформа равномерно распределяет трафик между url.

Какие есть другие методы кроме А/В тестов?

A/B/C-тестирование — когда больше одной гипотезы для одного элемента. Например, мы хотим изменить заголовок и у нас есть 2 варианта для заголовка.
Оригинал. Заголовок без изменений:

Что такое A/B-тестирование и зачем оно нужно?

Вариация 1:

Что такое A/B-тестирование и зачем оно нужно?

Вариация 2:

Что такое A/B-тестирование и зачем оно нужно?
MVT-тестирование (многовариативное тестирование) — когда изменения касаются двух элементов. Тогда мы комбинируем их. Тут сложнее и надо отличать от А/В/C-теста.

Например, у нас есть гипотеза по изменению кнопки и заголовка на 1-м экране. Тогда мы готовим 3 вариации:
Оригинал. Заголовок и кнопка без изменений:

Что такое A/B-тестирование и зачем оно нужно?

Вариация 1. Меняем только заголовок

Что такое A/B-тестирование и зачем оно нужно?

Вариация 2. Меняем заголовок и СТА

Что такое A/B-тестирование и зачем оно нужно?

Вариация 3. Меняем только текст в кнопке

Что такое A/B-тестирование и зачем оно нужно?

Не каждому подойдет А/В-тестирование

Чтобы получить объективные результаты, нужны определенные условия для теста:
* По 500 достижений цели на каждую вариацию
* По 2000 уникальных посетителей на каждую вариацию в течение 3-х недель (или одного месяца).

Это самые частые условия. Бывает, когда нельзя принять решения даже после 2-х месяцев теста. Но об этом в отдельной статье.

Обычно для получения статистически достоверных данных необходимо проводить тест от 2-х недель до 1-го месяца.

Еще один хитрый способ анализа результатов А/В-теста.

С помощью каких сервисов можно провести А/В-тест

Пока перечислю топ-5 сервисов, но подробный разбор каждого решения будет отдельно. Они отличаются характеристиками и возможностями.

Kameleoon, Google Optimize, VWO, A/B Tasty, Optimizely.

Узнайте слабые места и получите конкретные рекомендации по увеличению конверсии

Бесплатные материалы на темы: аналитика, А/В-тесты, персонализация и детальные кейсы