Контрольная группа: как измерить реальный эффект маркетинга
Зачем нужна контрольная группа
Обычная аналитика показывает, что произошло после коммуникации: сколько клиентов открыли сообщение, перешли на сайт или оформили заказ. Но совпадение по времени ещё не доказывает, что результат вызвала именно кампания.
Контрольные группы используют, чтобы:
- оценить прирост конверсии, заказов или выручки, связанный с кампанией;
- проверить, окупает ли дополнительный результат расходы на коммуникацию и скидки;
- сравнить маркетинговую стратегию с вариантом без воздействия;
- обнаружить кампании, которые дают высокий отклик, но почти не меняют бизнес-результат;
- оценить нежелательный эффект — например, рост отписок или снижение среднего чека.
Как работает сравнение групп
До начала эксперимента аудиторию делят на две части:
- тестовая группа получает сообщение, предложение или другое исследуемое воздействие;
- контрольная группа не получает его либо взаимодействует с прежним, базовым вариантом.
Абсолютную разницу рассчитывают так:
Абсолютная разница = показатель тестовой группы − показатель контрольной группы
Допустим, конверсия тестовой группы составила 8,4%, а контрольной — 7,8%. Абсолютный прирост равен 0,6 процентного пункта.
Относительный прирост рассчитывают по формуле:
Относительный прирост = (показатель тестовой группы − показатель контрольной группы) / показатель контрольной группы × 100%
В примере относительный прирост составит около 7,7%. Это означает, что конверсия тестовой аудитории оказалась на 7,7% выше базового уровня.
Как сформировать надёжную контрольную группу
Распределяйте аудиторию случайно
Ручной отбор по принципу «в контрольную группу отправим малоактивных клиентов» нарушает эксперимент. Разница в результатах будет отражать исходные особенности аудитории, а не только эффект кампании.
Следите за сопоставимостью
Не меняйте условия во время эксперимента
Тестовая и контрольная аудитории должны находиться в одинаковых внешних условиях. Нельзя запускать для одной группы дополнительную акцию, менять цены или подключать другой канал, если эти изменения не входят в гипотезу.
Особенно важно исключить «загрязнение» контроля. Если участник контрольной группы всё же получает исследуемое предложение через другую рассылку, рекламный канал или менеджера, разница между группами сокращается.
Рассчитайте размер выборки заранее
Маленькая группа может не показать реальный эффект из-за случайных колебаний. Чрезмерно большая контрольная группа, напротив, уменьшает охват кампании и потенциальный доход.
Подходящий размер зависит от:
- текущего значения целевой метрики;
- минимального эффекта, который требуется обнаружить;
- допустимой вероятности ошибки;
- желаемой статистической мощности;
- доступного размера аудитории.
Выберите метрику до старта
Основная метрика должна соответствовать гипотезе. Если цель кампании — повторная покупка, главным показателем может стать конверсия в повторную покупку или средний доход на профиль. Открытия и клики в таком случае остаются промежуточными метриками.
Выбор лучшего результата из десятков показателей после завершения эксперимента повышает вероятность ложного вывода. Основные сравнения лучше определить заранее или учитывать множественность проверок при анализе результатов.
Контрольная группа и A/B-тест — не одно и то же
В эксперименте на инкрементальность контрольная аудитория чаще не получает исследуемую коммуникацию. Задача состоит не в выборе лучшего варианта сообщения, а в проверке, изменил ли маркетинг поведение клиентов вообще.
| Подход | Что получает контрольная группа | На какой вопрос отвечает |
|---|---|---|
| A/B-тест | Базовый вариант сообщения или механики | Какой вариант работает лучше |
| Holdout-тест | Не получает исследуемое воздействие | Даёт ли активность дополнительный результат |
| Тест нескольких воздействий | Базовый вариант или отсутствие активности | Какая из стратегий даёт больший прирост |
Контрольную группу также не следует путать с тестовой отправкой письма сотрудникам. Тестовая отправка проверяет вёрстку, ссылки и отображение сообщения, но не измеряет влияние кампании на поведение аудитории.
Локальные и глобальные контрольные группы
Масштаб контрольной группы зависит от задачи эксперимента.
Критически важные сообщения — например, уведомления о статусе заказа или изменении условий обслуживания — не следует автоматически отключать ради маркетингового эксперимента. Для них заранее определяют исключения.
Контрольные группы в Altcraft Platform
В Altcraft доступны локальные и глобальные контрольные группы.
Для локальной контрольной группы задают долю аудитории и при необходимости максимальное число профилей
Отчёт по глобальным контрольным группам сравнивает показатели основной и контрольной аудиторий по данным Маркета или целям пикселей
Ошибки при работе с контрольной группой
- Группы изначально различаются. Например, в контроль попали преимущественно новые клиенты, а в тест — постоянные покупатели.
- Участники переходят между группами. Клиент сначала входит в контроль, а затем получает исследуемую коммуникацию в другой кампании.
- Сравниваются разные периоды. На показатели влияют сезонность, дни недели, праздники и изменения спроса.
- Эксперимент завершают слишком рано. Первое положительное отклонение принимают за окончательный результат.
- Используются только клики и открытия. Эти показатели характеризуют реакцию на сообщение, но не всегда отражают продажи или удержание.
- Игнорируется статистическая неопределённость. Небольшая разница может оказаться случайной, особенно в малых выборках.
- Меняется сразу несколько условий. В таком эксперименте невозможно определить, какое действие повлияло на итог.
Заключение
Контрольная группа задаёт базовый уровень поведения аудитории без исследуемого маркетингового воздействия. При корректной организации эксперимента разница между ней и тестовой группой позволяет оценить дополнительный эффект кампании, а не просто результат, произошедший после отправки сообщения.
Для надёжного вывода аудиторию распределяют случайно, сохраняют сопоставимость групп, заранее выбирают метрику, размер выборки и срок эксперимента, исключают пересечение воздействий, а затем оценивают статистическую неопределённость и практическую значимость результата.
Читайте по теме
