А/B-тестирование НЕ для новичков — как это делают профессионалы ⚡

A/B-тестирование — мощный инструмент. С его помощью можно улучшать различные маркетинговые показатели, начиная от конверсии отдельно взятого рекламного объявления и заканчивая экономическими показателями бизнеса в целом. О том, как добиваться реально крутых результатов, мы спросили профессионалов в области экспериментов Виталия Черемисинова, Валерия Бабушкина и Виктора Рындина.

Читайте в этом материале:

• что важно учесть, чтобы сплит-тест был корректным;
• как генерировать гипотезы для экспериментов;
• какие инструменты и статистические методы лучше использовать;
• какие есть лайфхаки для более эффективной проверки гипотез.

А еще напомним, что результаты A/B-тестирования лучше всего отслеживать с помощью сквозной аналитики. Это полноценная статистика, которая учитывает все каналы, атрибуции, а также типы обращений – в их числе звонки, благодаря системе коллтрекинга.

2. Не торопитесь с выводами. Две недели — это минимальный срок для проведения А/B-тестирования, по истечении которого вы можете рассчитывать на статистически достоверные данные.

3. Самая распространенная ошибка — это когда тестирование проводится на разных аудиториях, с разными креативами и с разными посадочными страницами. Неизвестная должна быть только одна! Хотите протестировать разный вид блоков на посадочной странице? Создайте абсолютно одинаковые условия в остальном: используйте одинаковые креативы в рекламных объявлениях, которые видит схожая аудитория, приходящая из одного рекламного источника.

4. Тестируйте несколько гипотез одновременно. Все привыкли тестировать только 2 варианта посадочной страницы, хотя в рамках одного тестирования вы можете добавить и 3, и 4 варианта, существенно сэкономив время. Главное, убедитесь, что минимального количества посетителей хватит для каждого из вариантов.

5. Проводите тестирование на всей длине воронки. Что толку, если посадочная страница приносит конверсию в 3 раза больше обычной, но до продаж эти лиды не доходят?

— Покажите на конкретном кейсе, какие выводы можно делать, исходя из сплит-тестов.

Гипотеза: клиенты, интересующиеся бухгалтерскими услугами, обращают внимание только на цену. Можно отказаться от лонгрида с информацией о компании в пользу простой посадочной страницы с калькулятором стоимости услуг.

Гипотеза подтвердилась: на короткой версии посадочной страницы пользователи меньше терялись и чаще оставляли заявку.

Особенно важно проводить сравнительные тестирования после обновления дизайна сайта. Даже если вам кажется, что новая версия очевидно лучше, чем старая. Например, из-за редизайна сайта полностью изменился внешний вид заявочной формы с предложением скидки. Визуально новая версия получилась более привлекательной, однако на деле конверсия в ее заполнение упала с 1,51 (вариант B) до 0,51 % (вариант A)!

— Как эффективно организовать процесс генерации гипотез для тестов?

Сложно сказать, вообще исследование — это непросто. Для начала нужно собрать команду, обсудить, какая у нас есть задача и чего мы хотим достичь. Дальше команда начинает генерировать гипотезы, мы получаем какое-то их значительное количество (потому что сгенерировать предположение не очень сложно). Следующий шаг — правильно ранжировать эти гипотезы в порядке возможного выигрыша и таким образом расставить приоритеты. Затем начинаем проверку.

— Какие есть фишки или лайфхаки, позволяющие сделать процесс проверки гипотез более эффективным?

Основной инструмент — приоритизация. Гипотезы надо приоритизировать, и, кроме того, здесь важен опыт: надо смотреть, что раньше «взлетало» или «не взлетало», и в зависимости от этого не принимать участия в тестировании тех гипотез, которые точно никаких результатов не дадут. Это вряд ли можно назвать каким-то мегалайфхаком или фишкой, но тем не менее это здóрово помогает и экономит время.

— Нужны ли A/B-тесты, если ты не Яндекс или Ozon, а обычный региональный бизнес с 10 тысячами визитов и 100 лидами в месяц?

Конечно, нужны. Вопрос в том, что если бизнес никаких изменений не делает и ничего не пробует, никуда не движется и не улучшается, тогда изменения, безусловно, не нужны, потому что тестировать нечего. В противном случае это даже не вопрос: необходимость изменений и улучшений — это данность.

— Как правильно проверять статистическую значимость тестов, более сложных, чем замер конверсии? Например, для небинарных показателей типа среднего чека?

Часто даже с бинарными данными допускают очень большие грубые ошибки.

При работе с данными, у которых достаточно большая размерность (выручка, например), одной из самых значимых проблем является большая дисперсия. Это первое, про что стоит помнить. Просто так убрать наблюдения, которые больше всего на эту дисперсию влияют, мы не можем: это покупатели, и далеко не факт, что они случайны (хотя и такое бывает). Следовательно, нам нужно уметь эту дисперсию сокращать малой кровью, и один из таких способов — стратификация и децильный анализ (подробнее можно почитать
в моем блоге).

Если говорить именно про методы проверки статистических гипотез, то я бы хотел начать с того, что лучше не использовать. Я бы рекомендовал не использовать ранговые критерии (Манна —Уитни, например). Работает критерий следующим образом:

1. Объедините все данные в единый ряд, пометив те из них, которые принадлежат разным выборкам.
2. Проранжируйте значения, приписывая меньшему значению меньший ранг.
3. Подсчитайте сумму рангов отдельно для каждой выборки.
4. Определите большую из двух ранговых сумм.
5. Определите значение U по формуле:

Мы пытаемся проверить, различаются ли медианы ранговых распределений. И если стоит вопрос о среднем чеке — ответ критерия будет не очень релевантным.

Мы для решения таких задач используем либо bootstrap, либо бакетный метод.
Бакетирование подходит тогда, когда необходимо:
а) сохранить информацию о дисперсии и среднем в выборке до трансформации;
б) привести к нормальному распределению.

Мы формируем бакеты n-размера, внутри каждого бакета считаем среднее, далее берем новый бакет, но без возвращения.

Далее мы можем использовать для оценки параметрический критерий.

— Какие есть фишки, лайфхаки, приемы, позволяющие сделать процесс проверки гипотез более эффективным?

Главным источником фишек является учебник по математической статистике.

А вообще, основная фишка и лайфхак одновременно — уметь при помощи теоретической базы (математическая статистика, комбинаторика и т. п.) решать конкретные задачи бизнеса. 

А/B-тестирование — это не просто проверка, что лучше работает: синяя или красная кнопка на сайте. Это сложная работа, в результате которой решаются конкретные маркетинговые задачи, например увеличение среднего чека. Изучайте математическую статистику (кстати, здесь крутая подборка книг по аналитике) и экспериментируйте! Как сказал Валерий Бабушкин, необходимость изменений и улучшений — это не вопрос. Это данность.