A/B/n и MVT-тестирование: польза для бизнеса, сходства и различия

Как найти правильный вариант контента? Использовать данные A/B/n и MVT тестов вместо догадок. Узнайте в статье, чем отличаются эти виды тестирований, как их провести и почему они важны для вашего бизнеса.

Что такое A/B/n-тестирование и зачем его проводить

A/B/n тестирование — метод, где сравнивают эффективность нескольких вариантов контента на странице сайта, в email-рассылке и в других кампаниях. Проверяют отдельные элементы или нескольких разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.

A/B/n test — это A/B тестирование, но есть разница. Обычный сплит-тест (другое название A/B теста) проверяет только 2 варианта, а трафик делится 50/50% для каждой версии.

A/B/n сравнивает больше двух вариантов, и трафик равномерно распределяется между каждой версией.

Какие элементы можно тестировать с помощью A/B/n (некоторые примеры):

• дизайн страницы полностью;
• текст и дизайн кнопок для конверсий;
• расположение форм для данных и кнопок;
• размеры объектов: кнопок, текста, форм;
• цены на товары;
• описание продукта;
• заголовки в описании товаров;
• иллюстрации для товаров;
• объём текста на страницах;
• всплывающие окна;
• лид-магниты.

Зачем проводить тестирование? Оно помогает уйти от догадок маркетологов и интуитивного принятия решений к действиям на основе данных. Такой подход:

• снизит риски потерь времени и ресурсов из-за ошибок;
• укажет на самые эффективные варианты контента.

Преимущества и недостатки A/B/n тестирования

Плюсы

Минусы

Как провести A/B/n тестирование

Ищем, что работает неэффективно или вообще не приносит никаких результатов.

Определят «слабые места» инструменты Google Analytics, вебвизоры и анализ обращений пользователей в техподдержку.

Гипотеза отражает, какое действие улучшит показатели.

Проверять за один тест можно одну гипотезу.

Другой вариант — тестировать дизайн полностью.

Результаты теста нельзя оценивать без привязки к метрикам: количеству показов, кликов и другим, которые вы планируете улучшать. Инструменты для отслеживания должны работать до начала теста. Не забудьте проверить кнопки, формы и отображение элементов, которые собираетесь тестировать.

Как это работает:

1. Указываем текущую конверсию.
2. Вводим в процентах, на сколько хотим повысить показатель (минимальный видимый эффект).

Пример расчёта трафика для тестирования

Важно тестировать все варианты одновременно, а не по отдельности. Результат зависит от времени суток, дня недели, сезонности и других факторов. Остановите тест, когда каждый вариант наберёт нужное количество просмотров.

Снова возвращаемся к онлайн-калькуляторам. Теперь, чтобы рассчитать статистическую значимость результатов. Для этого указываем количество конверсий по каждому варианту и размер выборки. Калькулятор покажет, отличаются результаты или значительной разницы нет.

По итогам принимаем решение: внедрять новый дизайн/элемент дизайна/менять контент полностью или начать новое тестирование.

Что такое MVT-тестирование

MVT или мультивариантное тестирование проверяет эффективность сразу нескольких комбинаций разных элементов на страницах сайта и на других площадках. MVT тестирование покажет, какое сочетание даёт больше конверсий.

Тестируют такие же элементы, как в A/B/n тестах, но более детально и в комплексе с другими. MVT не сравнивает дизайн полностью.

Пример вариантов для MVT тестирования

MVT тестирование: преимущества и недостатки

Плюсы

Минусы

• достаточной базе контактов (например, для теста писем email-рассылки и других);
• большом трафике на сайте, если проверяем эффективность его страниц.

Как провести MVT тестирование

Самыми распространёнными методами MVT-тестирования считаются полнофакторный и дробный факторный.

Полнофакторный

Проверяет все сочетания с одинаковым количеством трафика. Статистически точный метод, но требует огромного трафика. Как это работает? Тестируются несколько факторов. Возьмём A, B, C, где: A — кнопка CTA; B — надпись на кнопке; C — фон раздела, где находится кнопка.

По полнофакторному методу каждый фактор имеет только два варианта (обозначим +1 и -1).

Дальше все варианты факторов комбинируются между собой. Как это выглядит наглядно:

Дробный факторный метод

Принцип разделения на факторы и их варианты такой же, как у полнофакторного метода. Но тестируются только некоторые варианты сочетаний. Точность метода ниже, но нужно меньше трафика.

Серым обозначены варианты для дробного факторного теста

Этапы MVT тестирования

Последовательность действий для MVT тестирования совпадает с A/B/n (смотрите подробнее выше):

Сходства и различия A/B/n и MVT

У обоих видов тестирования есть общие признаки:

• тестирование 2+ вариантов элементов на сайте с помощью распределения трафика на сайте;
• все варианты проверяются одновременно;
• помогают повысить конверсию;
• совпадают по этапам тестирования;
• требуют достаточного количества трафика.

Несмотря на сходство у A/B/n и MVT есть значимые отличия:

Altcraft Platform для A/B/n-тестирования

• Автоматизированное распределение аудитории на все варианты для теста.
• Автоматизация выбора более эффективного варианта по количеству открытых сообщений или по количеству кликов. Также доступен ручной выбор по аналитическим отчётам.
• Возможность провести тест во всех каналах, которые подключены к платформе.
• Доступно до 16 вариантов дизайна шаблонов сообщений.

Резюме

• У A/B/n и MVT тестов одинаковая цель — повысить количество конверсий. Но они отличаются по объекту тестирования. A/B/n проверяет несколько вариантов одного элемента контента, MVT тестирует эффективность сочетаний разных элементов.
• Проводить MVT тесты разумно как продолжение A/B/n, а не отдельно. A/B/n-тестирование делают для глобальных изменений, MVT для оптимизации после.
• Для обоих видов тестирования нужен большой объём трафика — это может увеличить время тестирования. Но результат того стоит — решения по изменениям принимаются на основе данных, а не мнений маркетологов. Такой подход экономит время команды на поиски эффективного контента и снижает риски ошибок.