Как разбирать A/B-тест: почему роста покупок недостаточно

В группе A — 1 000 покупок, в группе B — 1 100. Звучит как победа? Начнём с вопросов, без которых такой вывод делать рано.

Сначала — знаменатель

Допустим, в A было 10 000 пользователей, а в B — 12 000. Для простоты каждый пользователь мог сделать не больше одной покупки. Тогда конверсия в A — 10%, а в B — примерно 9,17%. Покупок больше, но доля покупателей ниже.

Если покупок на человека может быть несколько, отношение покупок к пользователям уже не равно конверсии в покупку. Нужно отдельно считать уникальных покупателей. Определение метрики идёт раньше вычисления.

Проверяем устройство эксперимента

Как пользователей распределили по группам? На какой единице происходила рандомизация? Работал ли эксперимент одновременно для обеих групп? Не попал ли один человек в разные варианты? Не менялась ли запись событий?

Разное число пользователей само по себе не обязательно ошибка: могла быть запланирована пропорция 45/55. Но если ожидали 50/50, заметное отклонение — повод проверить корректность распределения.

Оцениваем неопределённость

Даже разница конверсий не даёт готового решения. Нужны подходящий статистический метод, оценка эффекта и доверительный интервал. Метод выбирают с учётом дизайна и данных, а не потому, что один тест привычнее.

Важно заранее определить основную метрику, горизонт эксперимента и правило принятия решения. Постоянно смотреть на обычный p-value и останавливать тест при первом удобном результате — ненадёжный подход.

Возвращаемся к продукту

Рост кликов на кнопку может сопровождаться падением качества покупок, ростом возвратов или ухудшением других частей воронки. Смотри на основную цель и защитные метрики. Статистическая различимость и полезность изменения для бизнеса — разные вопросы.

Структура ответа

1. Определение метрики и знаменатель.
2. Проверка качества данных и распределения.
3. Эффект, неопределённость и правило решения.
4. Бизнес-смысл и побочные последствия.

Это авторский пример для тренировки рассуждения, а не готовый анализ реального эксперимента.