Мультивариантное тестирование: что это и как провести

A/B/n тестирование — один из методов маркетингового исследования, с помощью которого сравнивают эффективность нескольких вариантов контента в email-рассылке и в других кампаниях. Проверяют отдельные элементы или несколько разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.

Как работает mvt тестирование

Какие элементы сообщения можно тестировать с помощью A/B/n:

  • объём текста в письмах;
  • текст, дизайн, размер или расположение кнопок для конверсий;
  • тема или прехедер email-письма;
  • заголовок или иконка push-уведомления;
  • цены на товары;
  • описание продукта и заголовки в описании;
  • иллюстрации для товаров.

Зачем проводить A/B/n тестирование

  1. Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он купит именно у вас. Незаметные кнопки и непонятная навигация ведут к потере клиентов и потенциального дохода.

  2. Увеличение конверсии. С помощью теста вы найдёте самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.

  3. Проверка идей. Во время разработки нового дизайна случаются споры. Чья идея лучше? Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.

  4. Экономия ресурсов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.

  5. Новые идеи для будущих кампаний. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.

Как провести A/B/n тестирование

Altcraft Platform позволяет проводить как простые сплит-тесты (A/B), так и более сложное A/B/n тестирование. Чтобы показать, как работать с MVT кампаниями в платформе, мы проведём несложный A/B тест, т.е. сравним два варианта одного сообщения.

Шаг 1. Определите проблему и обозначьте гипотезу

Найдите слабые места ваших маркетинговых кампаний. Здесь на помощь придут аналитические инструменты. Например, вы можете воспользоваться сводным отчётом платформы Altcraft, где собраны основные показатели рассылок в различных каналах. Допустим, вы заметили, что у приветственной email-рассылки высокий Open Rate, но низкий CTR. Значит, тема и прехедер письма хорошие, а проблема, скорее всего, кроется в самом содержимом: нерелевантный текст, отсутствие визуального контента или неэффективный призыв к действию.

Ещё один полезный инструмент — это карта кликов. Она даёт визуальное изображение вашего email письма с указанием количества уникальных кликов подписчиков возле каждой ссылки. С помощью карты вы сможете опеределить наиболее удачное расположение и оформление ссылок.

Шаг 2. Создайте варианты для теста

Теперь вам надо создать отдельный шаблон для каждого варианта сообщения. Тестировать можно до 8 шаблонов одновременно, но помните, что, чем больше вариантов сообщения, тем больше должна быть ваша аудитория для теста. Результаты будут значимыми только при достаточном трафике для каждого варианта. Также для получения достоверных результатов рекомендуется тестировать только один элемент шаблона.

Перейдите в раздел "Шаблоны". Нажмите кнопку "Создать" в верхней части страницы и выберите нужный канал отправки: Email, SMS или Push. Сверстайте шаблоны и сохраните их.

Мы сверстали два email-шаблона — для промо рассылки "Women's Day Collection". Цель — проверить, какое изображение более эффективно.

Шаг 3. Создайте кампанию

Откройте раздел "Кампании" → "Мультивариантные тесты". Нажмите "Создать" в верхней части страницы. Задайте основные настройки: название кампании для внутреннего использования, краткое описание, теги для быстрого поиска и группы доступа. Активируйте переключатель в правом верхнем углу — "Активный". Тогда расссылка начнётся, как только наступит указанная в расписании дата.

Основные настройки MVT кампанииОсновные настройки MVT кампании

В блоке ниже выберите канал отправки и нажмите "Далее":

Канал отправки для mvtКанал отправки

Шаг 4. Определите размер выборки

На этом этапе вам надо понять, сколько подписчиков должны поучаствовать в эксперименте. Если людей недостаточно, результат будет недостоверный. Чтобы расчитать размер аудитории, воспользуйтесь онлайн калькулятором, например, Optimizely:

  • Baseline Conversion Rate — средний показатель ожидаемой конверсии, учитывая опыт предыдущих рассылок.
  • Minimum Detectable Effect — разница между А и В, которая для вас будет ощутимой.
  • Statistical Significance — уровень доверия характеризует вероятность того, что выборка окажется значимой для отобранных результатов.

Калькулятор OptimizelyКалькулятор Optimizely

В блоке "Подписчики" определяется аудитория для рассылки. Выберите ресурс, на которой должны быть подписаны клиенты, а затем базу профилей или сегмент.

Далее необходимо выбрать, какой процент от этой аудитории примет участие в эксперименте. Укажем 15% — это чуть больше 6 тыс. подписчиков. Значит, 3000 человек получит первый вариант письма, а 3000 — второй вариант. После того, как будет принято решение, какой вариант наиболее эффективен, шаблон-победитель автоматически будет отправлен оставшимся 34000 подписчикам.

Аудитория

Нажмите "Далее".

Шаг 5. Выберите шаблоны

Добавьте в рассылку подготовленные ранее шаблоны сообщения, кликнув на кнопку +.

Шаблоны сообщения для MVT

Шаг 6. Выберите способ определения шаблона-победителя

Доступно несколько способов для определения наиболее эффективного шаблона:

  • По количеству открытых сообщений: платформа автоматически выберет шаблон, письмо с которым открывали чаще.
  • По количеству кликов в сообщениях: платформа автоматически выберет шаблон, в котором тестовые подписчики чаще переходили по ссылкам.
  • По решению пользователя: вы вручную выбираете шаблон, основываясь на аналитических данных.

Выбор шаблона-победителя

Шаг 7. Настройте расписание рассылки

Когда шаблон-победитель определится, именно он будет отправлен основной части аудитории. Установите расписание отправки. Рассылка произойдет через броадкаст кампанию. Такой тип кампании отправит по одному сообщению каждому подписчику, после чего завершится.

Расписание рассылки

Когда все настройки будут завершены, нажмите "Готово". Сохраните кампанию.

Шаг 8. Запустите тест

Если вы не активировали кампанию с помощью переключателя в основных настройках, то сделайте это сейчас, воспользовавшись иконкой запуска на панели справа:

Запуск мультивариантного теста

Шаг 9. Примите решение

На этом этапе вы окажетесь только при условии, что настроили выбор шаблона-победителя по решению пользователя. Нажмите на соответствующую иконку в панели справа:

Выбор шаблона-победите по решению пользователя.

Вы увидите модальное окно, где сможете самостоятельно выбрать нужный шаблон. Принять решение вам помогут данные из сводного отчёта.

Заключение

A/B/n тестирование позволяет маркетологам сравнивать несколько вариантов одного шаблона сообщения, чтобы затем отправить наиболее эффективный вариант основной части подписчиков. Помните, что для получения достоверных результатов лучше тестировать только один элемент в шаблоне. Кроме того, у вас должна быть досточно большая выборка аудитории.

Может быть интересно