Мультивариантное тестирование: что это и как провести

A/B/n тестирование — один из методов маркетингового исследования, с помощью которого сравнивают эффективность нескольких вариантов контента в email-рассылке и в других кампаниях. Проверяют отдельные элементы или несколько разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.

• объём текста в письмах;
• текст, дизайн, размер или расположение кнопок для конверсий;
• тема или прехедер email-письма;
• заголовок или иконка push-уведомления;
• цены на товары;
• описание продукта и заголовки в описании;
• иллюстрации для товаров.

1. Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он купит именно у вас. Незаметные кнопки и непонятная навигация ведут к потере клиентов и потенциального дохода.

2. Увеличение конверсии. С помощью теста вы найдёте самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.

3. Проверка идей. Во время разработки нового дизайна случаются споры. Чья идея лучше? Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.

4. Экономия ресурсов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.

5. Новые идеи для будущих кампаний. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.

Altcraft Platform позволяет проводить как простые сплит-тесты (A/B), так и более сложное A/B/n тестирование. Чтобы показать, как работать с MVT кампаниями в платформе, мы проведём несложный A/B тест, т.е. сравним два варианта одного сообщения.

Теперь вам надо создать отдельный шаблон для каждого варианта сообщения. Тестировать можно до 8 шаблонов одновременно, но помните, что, чем больше вариантов сообщения, тем больше должна быть ваша аудитория для теста. Результаты будут значимыми только при достаточном трафике для каждого варианта. Также для получения достоверных результатов рекомендуется тестировать только один элемент шаблона.

Мы сверстали два email-шаблона — для промо рассылки Шаблоны «Women's Day Collection». Цель — проверить, какое изображение более эффективно.

• Baseline Conversion Rate — средний показатель ожидаемой конверсии, учитывая опыт предыдущих рассылок.

• Minimum Detectable Effect — разница между А и В, которая для вас будет ощутимой.

• Statistical Significance — уровень доверия характеризует вероятность того, что выборка окажется значимой для отобранных результатов.

Калькулятор Optimizely

Далее необходимо выбрать, какой процент от этой аудитории примет участие в эксперименте. Укажем 15% — это чуть больше 6 тыс. подписчиков. Значит, 3000 человек получит первый вариант письма, а 3000 — второй вариант. После того, как будет принято решение, какой вариант наиболее эффективен, шаблон-победитель автоматически будет отправлен оставшимся 34000 подписчикам.

Доступно несколько способов для определения наиболее эффективного шаблона:

• По количеству открытых сообщений: платформа автоматически выберет шаблон, письмо с которым открывали чаще.

• По количеству кликов в сообщениях: платформа автоматически выберет шаблон, в котором тестовые подписчики чаще переходили по ссылкам.

• По решению пользователя: вы вручную выбираете шаблон, основываясь на аналитических данных.

Кампания после запуска будет автоматически собирать статистику по общему количеству открытий или переходов по ссылкам в шаблонах. Время для сбора аналитики настраивается параметром Период выбора победителя.

После того как кампания соберёт статистику открытий или кликов, наиболее эффективный по выбранному показателю шаблон сообщения будет отправлен основной части аудитории по заданному Расписанию рассылки:

Затем задайте Расписание рассылки. По этому расписанию шаблон-победитель будет отправлен основной части аудитории.

Сохраните кампанию, чтобы активировать её. После того как кампания отправит тестовые сообщения, она перейдёт в статус Активная (Ждёт вас).

Далее необходимо проанализировать показатели каждого шаблона и выбрать шаблон-победитель. Для этого в окне редактирования кампании нажмите на кнопку «Принять решение»:

Также шаблон-победитель можно выбрать в окне со списком кампаний, нажав на соответствующую кнопку в контекстном меню:

Откроется окно со статистикой по каждому шаблону:

• Отправки — количество отправленных сообщений.

• Доставки — количество доставленных сообщений.

• CTR контента — процент кликов в сообщении. Рассчитывается по формуле: (Количество кликов / Количество доставленных сообщений) * 100%.

• OR контента — процент открытий сообщения. Рассчитывается по формуле: (Количество открытий / Количество доставленных сообщений) * 100%.

Выберите шаблон, который посчитаете наиболее эффективным, и нажмите кнопку «Выбрать». Этот шаблон будет отправлен основной части аудитории по заданному расписанию.

Если вы не активировали кампанию с помощью переключателя в основных настройках, то сделайте это сейчас, воспользовавшись иконкой запуска на панели справа:

Вы увидите модальное окно, где сможете самостоятельно выбрать нужный шаблон. Принять решение вам помогут данные из отчёта по каналам.

A/B/n тестирование позволяет маркетологам сравнивать несколько вариантов одного шаблона сообщения, чтобы затем отправить наиболее эффективный вариант основной части подписчиков. Помните, что для получения достоверных результатов лучше тестировать только один элемент в шаблоне. Кроме того, у вас должна быть достаточно большая выборка аудитории.