Праздник для любителей А/Б тестов — тестируем в eSputnik

Продолжаем серию обзоров возможностей eSputnik для аналитики рассылок. Переходим к А/Б тестам. Тестирование — обязательный атрибут эффективных рассылок. Благодаря ему мы лучше узнаем свою аудиторию, на что она реагирует, что стимулирует подписчиков к покупкам, а к чему они остаются равнодушными.

У eSputnik особый подходе к этому вопросу. И главное, обратите внимание на возможность тестировать автоматические письма!

Обычно сплит-тест рассматривают как возможность проверить гипотезу на небольшом сегменте, прежде чем запустить рассылку с победившим в тесте контентом для основной группы. Разработчики же eSputnik отказались от такого подхода — они утверждают, что стандартные сплит-тесты не показывают объективных результатов, так как ориентированы на нерепрезентативные сегменты (слишком маленькие для формирования правильных выводов).

Кроме того, если вы определили письмо-победитель, запустив тест в одно время, это совсем не значит, что оно покажет те же результаты в большой рассылке, которая будет отправлена в другое время. Для объективного подсчета результатов обычно требуется гораздо больше времени, чем предоставляет функционал сервисов рассылки. Особенно если вы тестируете конверсию в продажи.

Но это совсем не значит, что в eSputnik совсем отсутствует возможность тестирования. Тесты есть, но проводить их следует для больших сегментов. Например, разделяя базу на две равные группы. Результаты, полученные при проверке определенной гипотезы (она обязательно должна быть только одной за один тест) можно применять во всех следующий рассылках. Например, если результаты теста показали, что письмо с указанием цен в карточках товаров продает лучше, чем без цен, эту практику следует применять в будущем для всех рассылок.

Теперь давайте разберемся, как провести тест в eSputnik. Для начала определимся с объектом теста. Это должно быть что-то, что можно будет использовать не один раз.

Пример простого теста — это тип темы. Что для вашей аудитории работает лучше — интригующие темы с риторическим вопросом или назывные, раскрывающие основное содержание письма?

Для тестирования темы письма используйте функцию “Добавить тему для эксперимента”. Таким образом, вы можете протестировать не две, а сразу несколько тем. Но помните, что чем больше вариантов, тем менее репрезентативные группы будут участвовать в тесте и тем менее объективные выводы вы получите.

Тестируем тему письма

Результаты вашего теста можно будет посмотреть через некоторое время (желательно подождать хотя бы 2-3 дня) в отчете о рассылке. Вкладка Результаты эксперимента.

Для тестирования более сложных гипотез, например, нужен ли в письме баннер, используйте функцию дробления групп на случайные части. Выберите основной сегмент для рассылки и нажмите кнопку “Разбить группу”.

АБ тест в еСпутник

Если вы хотите провести максимально объективный тест, то лучше формировать два сегмента по 50% от основной группы. Но если база очень большая, можно позволить себе классический A/B-тест и выделить небольшие сегменты:

Делим базу для теста

Для каждого из сформированных сегментов вам нужно будет отправить отдельную рассылку с теми вариантами контента, которые вы тестируете. Результаты можно будет посмотреть в виде обычных отчетов. Их будет два. Если рассылки уйдут одна за другой, сравнивать результаты будет достаточно удобно.

Самое интересное, что вы можете найти в eSputnik в контексте этой темы — возможность тестировать автоматические письма. Для этого придется зайти немного дальше и сказать о редакторе сценариев. С его помощью вы можете не только создавать сценарии коммуникации с клиентами, но и формировать условия для тестирования триггерных писем.

Например, вот так может выглядеть сценарий с тестом двух вариантов писем “Брошенная корзина”. Чтобы получить достоверный результат такого теста, конечно, придется подождать несколько месяцев, пока количество отправленных писем будет достаточно большим. Но это позволит вам определить оптимальный подход и приумножить прибыль:

Тестируем автоматические письма

Дальше посмотрим, как пользоваться другой фишкой системы — RFM-сегментацией.

Все инструкции по еСпутник

Сайт сервиса

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *

Дополните выражение: