A/B/n и MVT-тестирование: польза для бизнеса, сходства и различия

Лендинг плохо работает, email- и push-рассылки не дают результата. В чём причина? Что изменить, чтобы повысить эффективность? Даже самый опытный маркетолог не ответит на 100% точно. Угадывание — риск потерять время, деньги и потенциальных клиентов. 88% пользователей, скорее всего, не вернутся на сайт компании после неудачного опыта. Также ошибки стоят дорого — $1,420,300,000,000 теряют компании со всего мира из-за плохого UX дизайна.

Как найти правильный вариант контента? Использовать данные A/B/n и MVT тестов вместо догадок. Узнайте в статье, чем отличаются эти виды тестирований, как их провести и почему они важны для вашего бизнеса.

Что такое A/B/n-тестирование и зачем его проводить

A/B/n тестирование — метод, где сравнивают эффективность нескольких вариантов контента на странице сайта, в email-рассылке и в других кампаниях. Проверяют отдельные элементы или нескольких разных шаблонов. Цель тестирования — понять, какая версия работает лучше и даёт больше конверсий.

A/B/n test — это A/B тестирование, но есть разница. Обычный сплит-тест (другое название A/B теста) проверяет только 2 варианта, а трафик делится 50/50% для каждой версии.

A/B/n сравнивает больше двух вариантов, и трафик равномерно распределяется между каждой версией.

Например, маркетинговая команда предлагает 4 вариантов нового дизайна сайта и не может договориться, какой лучше. Тогда запускается A/B/n тест, где каждый вариант получит 25% трафика.

Какие элементы можно тестировать с помощью A/B/n (некоторые примеры):

• дизайн страницы полностью;
• текст и дизайн кнопок для конверсий;
• расположение форм для данных и кнопок;
• размеры объектов: кнопок, текста, форм;
• цены на товары;
• описание продукта;
• заголовки в описании товаров;
• иллюстрации для товаров;
• объём текста на страницах;
• всплывающие окна;
• лид-магниты.

Зачем проводить тестирование? Оно помогает уйти от догадок маркетологов и интуитивного принятия решений к действиям на основе данных. Такой подход:

• снизит риски потерь времени и ресурсов из-за ошибок;
• укажет на самые эффективные варианты контента.

Преимущества и недостатки A/B/n тестирования

Плюсы

Снижение рисков денежных потерь. Чем проще клиенту найти нужный товар и сделать заказ, тем с большей вероятностью он купит именно у вас. Незаметные кнопки и непонятная навигация ведут к потере клиентов и потенциального дохода.

Увеличение конверсии. С помощью теста вы найдёте самые кликабельные варианты, которые быстрее приведут ваших клиентов к покупке.

Проверка идей. Во время разработки нового дизайна случаются споры. Чья идея лучше? Покажет сплит-тестирование, которое проверит гипотезы и решит конфликт мирным путём.

Увеличение трафика. Произойдёт, если снизить показатель отказов (Bounce Rate), который учитывают поисковые системы при ранжировании сайта. Удобная посадочная страница задержит пользователей дольше — это хороший признак для поисковиков. Пользователям интересно, они остаются на сайте — можно показывать эту страницу чаще.

Экономия ресурсов. Тест быстрее покажет, какие варианты рабочие, чем споры и проверка по одной версии контента последовательно.

Новые идеи для будущих кампаний. Поведение пользователей с разными вариантами дизайна — источник для новых инсайтов, иногда неожиданных.

Минусы

Большой объём трафика. Для обычного A/B тестирования трафик делится на 2 части, для A/B/n — на несколько равных. Результаты будут значимыми только при достаточном трафике для каждого варианта.

Проверка только одного элемента. Тест покажет, какой вариант оказался лучше (например, на тёмную кнопку кликали чаще, чем на светлую). Другие факторы, которые повлияли на результат, останутся неизвестными.

Санкции поисковых систем. При тестировании вариантов дизайна сайта поисковики могут заподозрить вас в клоакинге — поисковом спаме, когда пользователь и поисковая система видят разные варианты страниц.

Как провести A/B/n тестирование

1. Определяем проблему

Ищем, что работает неэффективно или вообще не приносит никаких результатов.

Например, пользователи редко кликают на кнопку «доптовары» на сайте или не переходят на страницу заказа из email.

Определят «слабые места» инструменты Google Analytics, вебвизоры и анализ обращений пользователей в техподдержку.

2. Обозначаем гипотезу

Гипотеза отражает, какое действие улучшит показатели.

Например, если изменить цвет кнопки «доптовары» на более яркий, то количество кликов увеличится в 2 раза.

3. Создаём варианты для теста

Проверять за один тест можно одну гипотезу.

Например, для кнопки «доптовары» — это несколько разных цветов: красный, синий, жёлтый. Менять одновременно размер шрифта и положение кнопки уже нельзя.

Другой вариант — тестировать дизайн полностью.

4. Проверяем метрики и элементы для теста

Результаты теста нельзя оценивать без привязки к метрикам: количеству показов, кликов и другим, которые вы планируете улучшать. Инструменты для отслеживания должны работать до начала теста. Не забудьте проверить кнопки, формы и отображение элементов, которые собираетесь тестировать.

5. Определяем размер выборки

Для репрезентативного результата нужно определённое количество посетителей сайта, которые увидят вашу страницу. Как его рассчитать? Использовать специальные онлайн-калькуляторы: Optimizely, Driverback и другие.

Как это работает:

1. Указываем текущую конверсию.
2. Вводим в процентах, на сколько хотим повысить показатель (минимальный видимый эффект).

Например, сейчас конверсия 5%. Мы хотим улучшить её на 10%. Вводим параметры в калькулятор и получаем 30 244 человек — столько нужно уникальных просмотров на каждый вариант.

Пример расчёта трафика для тестирования

6. Запускаем тестирование

Важно тестировать все варианты одновременно, а не по отдельности. Результат зависит от времени суток, дня недели, сезонности и других факторов. Остановите тест, когда каждый вариант наберёт нужное количество просмотров.

7. Считаем результаты и принимаем решение

Снова возвращаемся к онлайн-калькуляторам. Теперь, чтобы рассчитать статистическую значимость результатов. Для этого указываем количество конверсий по каждому варианту и размер выборки. Калькулятор покажет, отличаются результаты или значительной разницы нет.

По итогам принимаем решение: внедрять новый дизайн/элемент дизайна/менять контент полностью или начать новое тестирование.

Что такое MVT-тестирование

MVT или мультивариантное тестирование проверяет эффективность сразу нескольких комбинаций разных элементов на страницах сайта и на других площадках. MVT тестирование покажет, какое сочетание даёт больше конверсий.

Тестируют такие же элементы, как в A/B/n тестах, но более детально и в комплексе с другими. MVT не сравнивает дизайн полностью.

Например, мы хотим проверить эффективность кнопки CTA. Есть два варианта «заказать» и «купить», для которых используем красный или жёлтый цвет, а также полужирный или обычный шрифт. Ещё под кнопкой два варианта подписи: «сейчас» или «товар просматривают 5 человек». Получаем 16 вариантов.

Пример вариантов для MVT тестирования

MVT тестирование: преимущества и недостатки

Плюсы

Увеличение конверсии. Многомерное тестирование продемонстрирует, на какое сочетание элементов аудитория реагирует лучше — кликает на товары и покупает или совершает другую конверсию (например, подписку).

Оптимизация без глобальных перемен. Тест улучшает показатели без полного редизайна.

Экономия времени. MVT test проверяет несколько разных вариантов переменных одновременно и их взаимодействие.

Минусы

Нужно много трафика. С количеством комбинаций увеличивается и аудитория, которая должна их увидеть. Поэтому MVT получится провести только при:

• достаточной базе контактов (например, для теста писем email-рассылки и других);
• большом трафике на сайте, если проверяем эффективность его страниц.

Большие затраты по времени. Придётся ждать, пока наберётся нужное количество просмотров.

Возможность ложных срабатываний. Чем больше вариантов, тем выше риск случайных кликов.

Как провести MVT тестирование

Самыми распространёнными методами MVT-тестирования считаются полнофакторный и дробный факторный.

Полнофакторный

Проверяет все сочетания с одинаковым количеством трафика. Статистически точный метод, но требует огромного трафика. Как это работает? Тестируются несколько факторов. Возьмём A, B, C, где: A — кнопка CTA; B — надпись на кнопке; C — фон раздела, где находится кнопка.

По полнофакторному методу каждый фактор имеет только два варианта (обозначим +1 и -1).

Например, для фактора A кнопка CTA жёлтая — +1, а оранжевая будет -1.

Дальше все варианты факторов комбинируются между собой. Как это выглядит наглядно:

Дробный факторный метод

Принцип разделения на факторы и их варианты такой же, как у полнофакторного метода. Но тестируются только некоторые варианты сочетаний. Точность метода ниже, но нужно меньше трафика.

Серым обозначены варианты для дробного факторного теста

Этапы MVT тестирования

Последовательность действий для MVT тестирования совпадает с A/B/n (смотрите подробнее выше):

1. Постановка проблемы. Какие трудности есть у пользователя на сайте? Какой раздел сайта работает неэффективно?

2. Обозначение гипотезы. Сможет ли изменение цвета, размера и шрифта кнопки увеличить конверсию?

3. Создание вариантов для тестирования.

4. Проверка метрик и работоспособности элементов для теста. Все ли необходимые метрики отслеживаются? Все элементы сайта/email и других объектов (кнопки, формы) работают корректно?

5. Определение размер выборки. Используем один из онлайн-калькуляторов. Например, VWO.

6. Запуск тестирования. Проводим тест до момента, когда наберётся нужный трафик.

7. Анализ результатов. Сначала проверяем их значимость — используем онлайн-калькуляторы. Дальше делаем выводы: меняем сайт или запускаем новый тест.

Сходства и различия A/B/n и MVT

У обоих видов тестирования есть общие признаки:

• тестирование 2+ вариантов элементов на сайте с помощью распределения трафика на сайте;
• все варианты проверяются одновременно;
• помогают повысить конверсию;
• совпадают по этапам тестирования;
• требуют достаточного количества трафика.

Несмотря на сходство у A/B/n и MVT есть значимые отличия:

Altcraft Platform для A/B/n-тестирования

Провести A/B/n и MVT-тестирование без современных инструментов сложно. В Altcraft Platform доступен вид теста A/B/n для кампаний email, sms, push и других подключенных каналов.

Возможности платформы для A/B/n:

• Автоматизированное распределение аудитории на все варианты для теста.
• Автоматизация выбора более эффективного варианта по количеству открытых сообщений или по количеству кликов. Также доступен ручной выбор по аналитическим отчётам.
• Возможность провести тест во всех каналах, которые подключены к платформе.
• Доступно до 16 вариантов дизайна шаблонов сообщений.

Резюме

• У A/B/n и MVT тестов одинаковая цель — повысить количество конверсий. Но они отличаются по объекту тестирования. A/B/n проверяет несколько вариантов одного элемента контента, MVT тестирует эффективность сочетаний разных элементов.
• Проводить MVT тесты разумно как продолжение A/B/n, а не отдельно. A/B/n-тестирование делают для глобальных изменений, MVT для оптимизации после.
• Для обоих видов тестирования нужен большой объём трафика — это может увеличить время тестирования. Но результат того стоит — решения по изменениям принимаются на основе данных, а не мнений маркетологов. Такой подход экономит время команды на поиски эффективного контента и снижает риски ошибок.