Попробовать бесплатно
Продуктовое управлениеИнструментGrowthИсследования

A/B-тест

Сравнение двух вариантов (A и B) по одной метрике при случайном распределении пользователей между группами.

КРАТКО
A/B-тест — эксперимент, в котором пользователей случайно делят на две группы: A — контрольная, B — с изменением, и сравнивают одну целевую метрику. Чтобы результату можно было верить, нужны статистическая значимость (p меньше 0,05), достаточный размер выборки и ровно одно изменение за раз. Без расчёта статистики это не A/B-тест, а просто сравнение двух вариантов вслепую.
СИНОНИМЫ:A/B-тестA/B-тестированиесплит-тестA/B Test

A/B-тестирование — золотой стандарт доказательной аналитики в цифровых продуктах. Без него корреляцию легко выдать за причинно-следственную связь. Размер выборки считают заранее: он зависит от базовой конверсии и от минимального различимого эффекта (MDE) — насколько маленькую разницу вы хотите уметь замечать. Инструменты: Optimizely, VWO, GrowthBook, закрывшийся Google Optimize, в России — эксперименты в Яндекс Метрике.

КОГДА ПРИМЕНЯТЬ
  • Изменения, эффект которых можно измерить одной метрикой
  • Достаточно трафика — минимум 1000 пользователей в каждой группе
КОГДА НЕ СТОИТ
  • Новый продукт, у которого ещё нет трафика
  • Радикальный разворот продукта: для качественных скачков A/B-тест не подходит
ПРИМЕР

Проверка нового онбординга: A — прежний сценарий, B — переработанный. По 5000 пользователей в каждой группе, метрика — доля дошедших до конца. Через 2 недели: A — 35%, B — 42%, p = 0,001. Вывод: вариант B значимо лучше, выкатываем на всех.

КАК ИСПОЛЬЗОВАТЬ В SHTAB

Меняйте что-то одно за раз, иначе непонятно, что именно повлияло на метрику. Если проверить нужно сразу несколько идей, разведите их по последовательным тестам или используйте алгоритм «многорукого бандита», который сам перераспределяет трафик в пользу выигрывающего варианта.

Попробовать бесплатно

Вопросы про «A/B-тест»

Минимум неделю, чтобы захватить недельную сезонность, а обычно 2–4 недели. Главное здесь не срок, а набранный размер выборки, рассчитанный до старта. Если останавливать тест каждый раз, когда разница выглядит красиво, вероятность ложного вывода резко растёт: это классическая ошибка подглядывания за результатом. Дождитесь запланированного объёма данных и только потом делайте выводы.

Ещё из «Продуктовое управление»

Вся категория →
AARRR (пиратские метрики)

Модель продуктовой воронки из пяти метрик: привлечение, активация, удержание, рекомендации и выручка.

Activation (активация)

Момент, когда новый пользователь впервые получает существенную пользу от продукта, — так называемый «ага-момент».

Beta Launch (бета-запуск)

Запуск продукта или функции на ограниченную группу пользователей до публичного релиза, чтобы собрать обратную связь.

Применяйте термины на практике

База знаний, задачи и цели — в одном сервисе. Бесплатно — без лимита по числу людей.

Попробовать бесплатноВсе термины