Мультивариантное тестирование: что это и как провести

A/B/n тестирование — один из методов маркетингового исследования, с помощью которого сравнивают эффективность нескольких вариантов контента в email-рассылке и в других кампаниях. Проверяют отдельные элементы или несколько разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.

Какие элементы сообщения можно тестировать с помощью A/B/n:

• объём текста в письмах;
• текст, дизайн, размер или расположение кнопок для конверсий;
• тема или прехедер email-письма;
• заголовок или иконка push-уведомления;
• цены на товары;
• описание продукта и заголовки в описании;
• иллюстрации для товаров.

Зачем проводить A/B/n тестирование

1. Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он купит именно у вас. Незаметные кнопки и непонятная навигация ведут к потере клиентов и потенциального дохода.

2. Увеличение конверсии. С помощью теста вы найдёте самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.

3. Проверка идей. Во время разработки нового дизайна случаются споры. Чья идея лучше? Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.

4. Экономия ресурсов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.

5. Новые идеи для будущих кампаний. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.

Как провести A/B/n тестирование

Altcraft Platform позволяет проводить как простые сплит-тесты (A/B), так и более сложное A/B/n тестирование. Чтобы показать, как работать с MVT кампаниями в платформе, мы проведём несложный A/B тест, т.е. сравним два варианта одного сообщения.

Шаг 1. Определите проблему и обозначьте гипотезу

Найдите слабые места ваших маркетинговых кампаний. Здесь на помощь придут аналитические инструменты. Например, вы можете воспользоваться отчетом по каналам платформы Altcraft, где собраны основные показатели рассылок в различных каналах. Допустим, вы заметили, что у приветственной email-рассылки высокий Open Rate, но низкий CTR. Значит, тема и прехедер письма хорошие, а проблема, скорее всего, кроется в самом содержимом: нерелевантный текст, отсутствие визуального контента или неэффективный призыв к действию.

Ещё один полезный инструмент — это карта кликов. Она даёт визуальное изображение вашего email письма с указанием количества уникальных кликов подписчиков возле каждой ссылки. С помощью карты вы сможете определить наиболее удачное расположение и оформление ссылок.

Шаг 2. Создайте варианты для теста

Теперь вам надо создать отдельный шаблон для каждого варианта сообщения. Тестировать можно до 8 шаблонов одновременно, но помните, что, чем больше вариантов сообщения, тем больше должна быть ваша аудитория для теста. Результаты будут значимыми только при достаточном трафике для каждого варианта. Также для получения достоверных результатов рекомендуется тестировать только один элемент шаблона.

Перейдите в раздел «Шаблоны». Нажмите кнопку «Создать» в верхней части страницы и выберите нужный канал отправки: Email, SMS или Push. Сверстайте шаблоны и сохраните их.

Мы сверстали два email-шаблона — для промо рассылки Шаблоны «Women's Day Collection». Цель — проверить, какое изображение более эффективно.

Шаг 3. Создайте кампанию

Откройте раздел «Кампании» → «Мультивариантные тесты». Нажмите «Создать» в верхней части страницы. Задайте основные настройки: название кампании для внутреннего использования, краткое описание, теги для быстрого поиска и группы доступа. Активируйте переключатель в правом верхнем углу — «Активная». Тогда рассылка начнётся, как только наступит указанная в расписании дата.

Основные настройки MVT кампании

В блоке ниже выберите канал отправки и нажмите «Далее»:

Канал отправки

Шаг 4. Определите размер выборки

На этом этапе вам надо понять, сколько подписчиков должны поучаствовать в эксперименте. Если людей недостаточно, результат будет недостоверный. Чтобы рассчитать размер аудитории, воспользуйтесь онлайн калькулятором, например, Optimizely:

• Baseline Conversion Rate — средний показатель ожидаемой конверсии, учитывая опыт предыдущих рассылок.

• Minimum Detectable Effect — разница между А и В, которая для вас будет ощутимой.

• Statistical Significance — уровень доверия характеризует вероятность того, что выборка окажется значимой для отобранных результатов.

Калькулятор Optimizely

В блоке «Подписчики» определяется аудитория для рассылки. Выберите ресурс, на которой должны быть подписаны клиенты, а затем базу профилей или сегмент.

Далее необходимо выбрать, какой процент от этой аудитории примет участие в эксперименте. Укажем 15% — это чуть больше 6 тыс. подписчиков. Значит, 3000 человек получит первый вариант письма, а 3000 — второй вариант. После того, как будет принято решение, какой вариант наиболее эффективен, шаблон-победитель автоматически будет отправлен оставшимся 34000 подписчикам.

Нажмите «Далее».

Шаг 5. Выберите шаблоны

Добавьте в рассылку подготовленные ранее шаблоны сообщения, кликнув на кнопку +.

Шаг 6. Выберите способ определения шаблона-победителя

Доступно несколько способов для определения наиболее эффективного шаблона:

• По количеству открытых сообщений: платформа автоматически выберет шаблон, письмо с которым открывали чаще.

• По количеству кликов в сообщениях: платформа автоматически выберет шаблон, в котором тестовые подписчики чаще переходили по ссылкам.

• По решению пользователя: вы вручную выбираете шаблон, основываясь на аналитических данных.

Выбор шаблона-победителя по открытиям/кликам

При автоматическом режиме выбора победителя установите время Старта кампании. Старт кампании — это время и дата запуска тестовой части рассылки.

Кампания после запуска будет автоматически собирать статистику по общему количеству открытий или переходов по ссылкам в шаблонах. Время для сбора аналитики настраивается параметром Период выбора победителя.

После того как кампания соберёт статистику открытий или кликов, наиболее эффективный по выбранному показателю шаблон сообщения будет отправлен основной части аудитории по заданному Расписанию рассылки:

Выбор шаблона-победителя вручную

При режиме выбора победителя «По решению пользователя» установите время Старта кампании. Старт кампании — это время и дата запуска тестовой части рассылки.

Затем задайте Расписание рассылки. По этому расписанию шаблон-победитель будет отправлен основной части аудитории.

Сохраните кампанию, чтобы активировать её. После того как кампания отправит тестовые сообщения, она перейдёт в статус Активная (Ждёт вас).

Далее необходимо проанализировать показатели каждого шаблона и выбрать шаблон-победитель. Для этого в окне редактирования кампании нажмите на кнопку «Принять решение»:

Также шаблон-победитель можно выбрать в окне со списком кампаний, нажав на соответствующую кнопку в контекстном меню:

Откроется окно со статистикой по каждому шаблону:

• Отправки — количество отправленных сообщений.

• Доставки — количество доставленных сообщений.

• CTR контента — процент кликов в сообщении. Рассчитывается по формуле: (Количество кликов / Количество доставленных сообщений) * 100%.

• OR контента — процент открытий сообщения. Рассчитывается по формуле: (Количество открытий / Количество доставленных сообщений) * 100%.

Выберите шаблон, который посчитаете наиболее эффективным, и нажмите кнопку «Выбрать». Этот шаблон будет отправлен основной части аудитории по заданному расписанию.

Шаг 7. Запустите тест

Если вы не активировали кампанию с помощью переключателя в основных настройках, то сделайте это сейчас, воспользовавшись иконкой запуска на панели справа:

Шаг 8. Примите решение

На этом этапе вы окажетесь только при условии, что настроили выбор шаблона-победителя по решению пользователя. Нажмите на соответствующую иконку в панели справа:

Вы увидите модальное окно, где сможете самостоятельно выбрать нужный шаблон. Принять решение вам помогут данные из отчёта по каналам.

Заключение

A/B/n тестирование позволяет маркетологам сравнивать несколько вариантов одного шаблона сообщения, чтобы затем отправить наиболее эффективный вариант основной части подписчиков. Помните, что для получения достоверных результатов лучше тестировать только один элемент в шаблоне. Кроме того, у вас должна быть достаточно большая выборка аудитории.