Мультивариантное тестирование: что это и как провести

Мультивариантный тест (или A/B/n-тестирование) позволяет сравнить эффективность нескольких вариантов контента в email-рассылках и других кампаниях. Проверить можно как шаблоны целиком, так и отдельные элементы. Цель тестирования — понять, какая версия работает лучше и приносит больше конверсий.

В частности, с помощью A/B/n можно протестировать:

объём текста в письмах;
текст, дизайн, размер или расположение CTA-кнопок;
тему или прехедер email-рассылки;
заголовок или иконку push-уведомления;
цены на товары;
описание продукта и заголовки в описании;
иллюстрации для товаров.

Зачем нужно A/B/n-тестирование

Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он совершит покупку. Неприметные кнопки и запутанная навигация ведут к потере клиентов и потенциального дохода.
Увеличение конверсии. Тест помогает определить самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.
Проверка идей. Если на этапе разработки возникли споры, сплит-тестирование позволит проверить, чья идея или гипотеза оказалась эффективнее.
Экономия времени. Тест позволяет определить рабочие варианты быстрее, чем последовательная проверка нескольких версий контента по одной.
Новые идеи для будущих кампаний. Реакция пользователей на разные варианты контента может служить источником для новых инсайтов (иногда неожиданных).

Как провести A/B/n-тестирование

В Altcraft Platform доступны как простые сплит-тесты (A/B), так и более сложное A/B/n-тестирование. Для примера мы проведём несложный A/B-тест: сравним два варианта одного сообщения.

Шаг 1. Определите проблему и обозначьте гипотезу

Первый этап — определить слабые места ваших маркетинговых кампаний. Здесь на помощь придут аналитические инструменты. Например, вы можете воспользоваться отчётом по каналам платформы Altcraft, где собраны основные показатели рассылок в различных каналах.

Допустим, вы заметили, что у приветственной email-рассылки высокий Open Rate, но низкий CTR. Значит, тема и прехедер письма хорошие, а проблема, скорее всего, кроется в содержимом: нерелевантный текст, слабый визуал или неэффективный призыв к действию.

Ещё один полезный инструмент — карта кликов. Это визуальное изображение вашего письма с указанием числа уникальных кликов возле каждой ссылки. С помощью карты можно определить наиболее удачное расположение и оформление ссылок.

Шаг 2. Создайте варианты шаблонов для теста

Далее необходимо создать отдельный шаблон для каждого варианта сообщения. Тестировать можно до 8 шаблонов одновременно.

Важно: чем больше у вас вариантов сообщения, тем больше должна быть аудитория для теста. Результаты будут значимыми только при достаточном трафике для каждого варианта. Также для получения достоверных результатов рекомендуется тестировать только один элемент шаблона.

Перейдите в раздел «Шаблоны». Нажмите кнопку «Создать» в верхней части страницы. Выберите способ (через импорт, с помощью кода или в редакторе) и нужный канал отправки (Email, SMS, Push, Notify, Max, Telegram, Viber™, WhatsApp*). После этого можно приступать к созданию шаблона.

Мы протестируем два email-шаблона для промо-рассылки. Цель — проверить, какой из них будет более эффективным.

Шаг 3. Создайте рассылку

В разделе «Рассылки» выберите «Мультивариантные тесты». По кнопке «Создать» в верхней части страницы откроется окно настроек.

Укажите название рассылки, краткое описание, теги для быстрого поиска и группы доступа. Кликните на переключатель «Активная» в правом верхнем углу: тогда рассылка начнётся, как только наступит указанная в расписании дата.

Основные настройки MVT-рассылки

В блоке ниже выберите канал отправки и нажмите «Далее».

Канал отправки

Шаг 4. Определите размер выборки

Теперь нужно определить, сколько подписчиков примут участие в эксперименте. Чтобы рассчитать подходящий размер аудитории, воспользуйтесь онлайн-калькулятором, например, Optimizely:

Baseline Conversion Rate — средний показатель ожидаемой конверсии (с учётом опыта предыдущих рассылок).
Minimum Detectable Effect — разница между А и В, которая для вас будет ощутимой.
Statistical Significance — уровень доверия. Характеризует вероятность того, что выборка окажется значимой для отобранных результатов.

Калькулятор Optimizely

Аудитория для рассылки определяется в блоке «Подписчики». Выберите ресурс, на который подписаны клиенты, а затем базу профилей или сегмент.

Далее необходимо выбрать, какой процент от этой аудитории примет участие в эксперименте. В нашем примере укажем 20%: одна половина из них получит первый вариант шаблона, а другая — второй. После того, как будет определён наиболее эффективный вариант, шаблон-победитель автоматически отправится оставшимся подписчикам.

Нажмите «Далее».

Шаг 5. Добавьте шаблоны

Добавьте в рассылку подготовленные шаблоны, кликнув по кнопке +.

Шаг 6. Выберите способ определения шаблона-победителя

Определить наиболее эффективный шаблон можно:

по количеству открытых сообщений (платформа автоматически выберет шаблон письма, который открывали чаще);
по количеству кликов в сообщениях (платформа автоматически выберет шаблон, в котором тестовые подписчики чаще переходили по ссылкам);
по решению пользователя (вы выбираете шаблон вручную, основываясь на аналитических данных).

Выбор шаблона-победителя по открытиям/кликам

Укажите время и дату запуска рассылки в поле «Старт рассылки».

После запуска рассылки в автоматическом режиме выбора победителя статистика по общему количеству открытий или переходов по ссылкам в шаблонах будет собираться автоматически. Время для сбора аналитики настраивается через параметр «Период выбора победителя».

После того, как статистика открытий или кликов собрана, наиболее эффективный по выбранному показателю шаблон сообщения будет отправлен основной части аудитории по заданному расписанию рассылки.

Выбор шаблона-победителя вручную

Если победитель выбирается «По решению пользователя», настройте время старта рассылки и затем задайте расписание рассылки. По этому расписанию шаблон-победитель будет отправлен основной части аудитории.

Нажмите «Готово», проверьте параметры рассылки и сохраните её. После того, как тестовые сообщения будут отправлены, рассылка перейдёт в статус «Активная (Ждёт вас)».

Далее необходимо проанализировать показатели каждого шаблона и выбрать шаблон-победитель. Для этого в окне редактирования кампании нажмите на кнопку «Принять решение»:

Шаблон-победитель также можно выбрать в списке рассылок, нажав на соответствующую кнопку в контекстном меню.

В открывшемся окне со статистикой по каждому шаблону будут отражены:

Отправки — количество отправленных сообщений.
Доставки — количество доставленных сообщений.
CTR контента — процент кликов в сообщении. Рассчитывается по формуле: (Количество кликов / Количество доставленных сообщений) × 100%.
OR контента — процент открытий сообщения. Рассчитывается по формуле: (Количество открытий / Количество доставленных сообщений) × 100%.

Выберите наиболее эффективное сообщение и нажмите кнопку «Выбрать». Оно будет отправлено основной части аудитории по заданному расписанию.

Шаг 7. Запустите тест

Если при настройке рассылки вы не активировали её с помощью переключателя, то можно сделать это сейчас, нажав по иконке запуска на панели справа.

Шаг 8. Примите решение

На этом этапе вы окажетесь только если настроили выбор шаблона-победителя по решению пользователя. Нажмите на соответствующую иконку в панели справа.