A/B-тестирование: что это такое и как его провести

Даже небольшие изменения могут помочь вам увеличить охват, получить больше конверсий, оптимизировать работу сайта. Но как понять, приведут ли изменения к положительному результату или, наоборот, окажутся неэффективными? 

Есть способ решить эту проблему, опираясь в своих решениях на надежные данные, а не на субъективную интуицию. В этом может помочь A/B-тестирование: с помощью него вы сможете проверить свои гипотезы и оценить результаты, понять, стоит ли вносить изменения или оставить все как есть. 

Что такое A/B-тестирование 

A/B-тестирование (англ. A/B testing), оно же Сплит-тестирование (англ. Split testing) – метод маркетингового исследования. Его суть заключается в том, что контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены для того, чтобы выяснить, какие из изменений улучшают целевой показатель. Таким образом, в ходе теста сравнивается вариант A и вариант B. Целью является определение лучшего из двух протестированных вариантов. 

Для чего нужен такой тест 

• В рекламе нет универсального подхода, который подойдет всем направлениям. Чтобы найти оптимальный вариант, необходимо сравнивать и анализировать различные гипотезы. 
• Если не уверены в чем-то и хотите проверить, какие результаты могут принести изменения. 
• Выяснить, какие настройки будут наиболее эффективными. 
• Если нужно принять решение относительно дорогостоящих изменений. 

Как работает A/B-тестирование? 

Вы делите посетителей на равные части и показываете им различные варианты элементов, которые тестируете.  

Можно проводить тестирование, чтобы определить вариант, который лучше всего подходит для поставленной цели (клик, добавление в корзину и т.п.), т. е. чтобы выявить, чей процент конверсий будет лучшим. 

Затем данные подвергаются анализу и сравнению, чтобы понять, будут ли полезны изменения, которые вы хотите реализовать. 

Устойчивые гипотезы A/B-тестирования 

Первым делом нужно определить, что именно вы хотели бы попробовать изменить. Далее вы формируете гипотезу, а после тестирования по полученным результатам делаете вывод. Без гипотезы A/B- тестирование не имеет смысла – ценность от выводов, которые вы получите, будет невелика. 

Ниже перечислены самые частые эксперименты для A/B-тестирования. 

1. Разные заголовки, как в объявлении, так и на посадочной странице дают разный результат.
2. Чем меньше полей для заполнения в лид-форме, тем выше конверсия.
3. Модификация CTA элемента на посадочной странице. 
4. Наличие гарантии. 
5. Непрерывное тестирование элементов приводит к различным результатам. 

Продолжительность A/B-тестирования 

Минимальное время – неделя, даже если вы набрали статистически значимое количество посетителей за полдня. Это связано с тем, что в разные дни недели поведение может сильно различаться. 

Если целевой показатель у вас – покупка, и вы знаете, что обычно люди совершают ее не сразу, а через 10 дней, то нужно учитывать и это. В среднем рекомендуемое время тестирования – 10–14 дней. 

Определившись со временем, никогда не останавливайте тест раньше, даже если на протяжении первых нескольких дней один вариант уверенно лидирует. Для достоверных результатов нужно время. 

Примите во внимание окружающую среду. Например, тестирование в конце декабря или в разгар летних отпусков исказит результаты. 

Что можно тестировать? 

В принципе все, что можно изменить в рекламной кампании, в объявлениях или на посадочной странице.  

Чаще всего это: 

• рекламные объявления (заголовки, тексты и т. п.); 
• структуру рекламных кампаний;
• посадочные страницы, лид-формы;
• изображения, изображения vs баннеры; 
• цены (наличие цен в объявлении); 
• УТП; 
• корректировки ставок. 

Примеры A/B-тестирования и краткие результаты 

1. Изменение структуры рекламной кампании 

У клиента, который продает кожаные сумки, рюкзаки, портфели, барсетки и т. п., изначально были созданы РК под каждую категорию с соответствующей семантикой, как это представлено ниже. 

Было решено объединить условные 7 кампаний в одну крупную, в которой будут разделены товары по группам внутри одной РК. 

Внутри были сформированы группы: по категориям товаров – в скобках, через нижнее подчеркивание – название группы. Таким образом была максимально укрупнена вся семантика, которая ранее давала конверсии. 

В результате укрупненная РК давала примерно на 30% больше конверсий за счет того, что результаты накапливались быстрее и системе было проще оптимизировать кампании. 

2. Сплит-тестирование креативов 

Следующий пример касается Facebook.  

В рекламу услуг установки брекетов были добавлены фотографии различных людей из каталога стоматологических услуг. Объявление, которое называется «Генерация лидов 1», на протяжении нескольких месяцев приносило лиды. Затем по просьбе клиента мы решили опробовать креатив, на котором был изображен макет челюсти с брекетами – «Генерация лидов 6». 

Смена креатива резко сократила количество лидов и значительно увеличила цену за конверсию. Так мы поняли, что в этом случае первый вариант креативов оказался более привлекательным для потенциальных клиентов. 

3. Сплит-тестирование публикаций 

Пример с тестированием публикаций в Яндекс.Дзене для интернет-магазина кожаных сумок.  

Ниже на скриншоте можно увидеть, что публикации в Дзене работают так же, как и креативы в Facebook или рекламные объявления в Директе. Разные публикации могут приносить разное количество лидов, поэтому не стоит бояться пробовать добавить новые публикации. 

В данном случае мы видим, что одна публикация за время ее работы принесла 24 лида из 31. Конкретно в этом случае мы добавили в название статьи цену, чего не делали в других статьях, и именно этот вариант показал наилучший результат. 

Основные форматы А/В теста в контекстной рекламе 

Ниже перечислены самые популярные способы A/B-тестирования, которые используются в  Яндекс.Директе: 

• добавление нескольких объявлений в одну группу; 
• добавление кампаний по методу шахматки;
• Яндекс.Эксперименты; 
• эксперименты в Google Ads; 
• замена заголовка на посадочной. 

1. Добавление нескольких объявлений в одну группу 

Если ваша цель – найти объявление с наилучшим показателем CTR, то алгоритмы Директа и Ads сделают это за вас. У них работает встроенный механизм перераспределения трафика на наиболее кликабельные объявления в группе. 

Рекламная кампания состоит из групп объявлений, а уже в группах объявлений находятся сами объявления и условия их показа (чаще всего ключевые слова).  

Например, если в группе 3 объявления с разными текстами, то изначально показы распределяются между ними равномерно: если объявление было показано 99 раз, то каждое было показано по 33 раза. Далее система автоматически отдает предпочтению тому объявлению, по которому был наибольший CTR за этот период. 

Что интересно, в отличие от Яндекс.Директа в Google Ads есть возможность выбрать тип ротации объявлений внутри группы. По умолчанию доступны следующие типы ротации: 

Оптимизация. В этом случае показ наиболее эффективных объявлений осуществляется так же, как в Директе: Google Ads будет чаще показывать те объявления, по которым чаще всего кликают. 

Не оптимизировать рекламу. Чередовать без ограничения времени. Объявления допускаются на аукцион примерно с одинаковой частотой и без оптимизации в течение неограниченного периода времени. Сам Google не рекомендует выбирать эту настройку для большинства рекламодателей. 

Изменить тип ротации объявлений можно в настройках рекламной кампании, для этого нужно перейти в «Дополнительные настройки» и выбрать «Ротация объявлений». 

Ниже мы можем увидеть, что в рамках одной группы есть несколько рекламных объявлений, как и рекомендует делать Яндекс. Алгоритмы Яндекса выбирают объявление-лидер, и именно этому объявлению отдается максимальный приоритет по трафику. 

Но не стоит ориентироваться только на показатель CTR. В примере ниже мы можем заметить, что все объявления приносят клики и являются рентабельными.  

Обратите внимание, что CTR у выделенного объявления на последней строке выше, чем у того, которое находится в середине, однако конверсий у объявления посередине в три раза больше, соответственно, и больше доход. Поэтому в первую очередь важно сравнивать объявления по количеству полученных конверсий. 

2. Добавление кампаний по методу «шахматки» 

Ниже представлен скриншот временного таргетинга в Яндекс.Директе, в котором время работы РК распределено по интервалам (но не менее 40 часов в рабочие дни). Во второй РК рабочим будет то время, в котором выключается первая кампания. 

В Google Ads настроить время показа можно в разделе «Расписание показа объявлений». Выглядеть это будет так, как на скриншоте ниже. Однако в Ads есть ограничение по временным таргетингам – не более 6 за один день. То есть настроить 7 включений в условный понедельник у вас не выйдет. 

Суть метода шахматки – в чередовании показов нескольких рекламных кампаний, в которых отличается какой-то один элемент. 

Тестировать можно: 

• заголовки; 
• тексты; 
• отображаемые ссылки; 
• посадочные страницы или отдельные их элементы;
• быстрые ссылки; 
• уточнения; 
• изображения; 
• корректировки ставок и т.д. 

Протестировав разные варианты, можно определить, какое решение работает лучше – приносит больше целевого трафика и заявок – и оставить только его.

К минусам этого метода относится то, что один и тот же пользователь может увидеть объявления разных РК, что мешает объективной оценке результатов работы кампаний. 

После работы двух РК по методу «шахматки» мы видим результат: при небольшой разнице в расходе цена лида отличалась в 2 раза. Тем не менее, этот метод является не совсем корректным, так как вы не можете быть точно уверены, что разделите трафик 50/50.

3. Яндекс.Эксперименты 

Провести А/В-тест можно с помощью Яндекс.Аудиторий, воспользовавшись опцией «Эксперименты». 

Зайдите в Яндекс.Аудитории, перейдите на вкладку «Эксперименты» и кликните «Создать эксперимент» или «Создать первый эксперимент», если пользуетесь этим инструментом впервые. 

Директ делит аудиторию на случайные непересекающиеся сегменты, так что каждый пользователь попадет в тестовую или контрольную группу. Размер сегмента в виде доли от аудитории вы определяете самостоятельно – от 1 до 99%. Сегментов может быть два или больше, причем выборки не обязательно должны быть одинаковыми.  

Нацелить показы определенных кампаний на экспериментальный сегмент можно в настройках. Экспериментальные сегменты живут параллельно с другими таргетингами, так что если вы настроили показы на женщин 18–25 лет и запускаете тестовый сегмент на 20% аудитории, то в него попадет 20% женщин 18–25 лет из вашей аудитории. 

Для того чтобы начать, зайдите в Аудитории под тем же логином, что и в Директе, и создайте новый эксперимент. Ниже на скриншоте представлены все настройки эксперимента. Вам нужно будет дать ему название, чтобы позже вы могли его найти. Нужно добавить счетчик Яндекс.Метрики, а после создать сегменты. 

Наиболее частый вариант – это 2 сегмента с равными долями по 50%, но у вас также есть возможность добавить несколько сегментов и распределить доли между ними. 

Ниже вы можете увидеть пример с тремя сегментами, где доли были равномерно распределены, и мы смогли проверить, какой вид посадочной окажется более эффективным. 

Вы можете отредактировать сегмент в любой момент, если поймете, что хотели бы что-то изменить или перераспределить доли. 

После создания эксперимента нужно выдать доступ к рекламному кабинету. 

 

Так будет выглядеть созданный эксперимент. Нажав на кнопку «Результаты» нас перекинет в Метрику, где уже будет отчет по сегментам. 

Далее вы копируете РК для эксперимента. 

Яндекс рекомендует копировать исходную РК и проводить эксперимент с копированными кампаниями. То есть если вы собираетесь использовать 3 сегмента, то копируете исходную РК 3 раза и выключаете ее, но скопированные кампании пока не включаете. 

В нашем случае получилось 6 скопированных РК, так как изначально было 2 исходных кампании, а у нас 3 сегмента в эксперименте. 

 

После в каждой из этих РК в параметрах нужно отметить, к какому эксперименту они будут относиться. 

Раскрываем вкладку «Эксперименты»: 

Выбираем ранее созданный эксперимент и выбираем тот сегмент, к которому будет относиться эта РК. 

Чтобы проанализировать результаты эксперимента, нужно перейти в «Мастер отчетов». Во вкладке «Условия фильтрации» появится строка «Эксперименты». 

Также отчет можно посмотреть в Яндекс.Метрике в разделе «Стандартные отчеты» – «Источники» – «Директ, эксперименты». 

В режиме сравнения вам будут доступны следующие метрики:   

• просмотры, 
• визиты, 
• целевые визиты, 
• посетители, 
• целевые посетители, 
• достижения цели, 
• достижения цели на посетителя, 
• конверсия, 
• конверсия посетителей, 
• отказы. 

В Метрике эти данные будут маркироваться цветом: 

• зеленый – лучше; 
• красный – хуже; 
• серый – без изменения. 

Если маркировки цветом нет, значит, что данных пока недостаточно, чтобы делать выводы. 

4. Эксперименты в Google Ads 

В Google Ads есть аналогичный инструмент, который называется «Проекты кампаний». Чтобы провести А/B-тест, нужно создать проект на основе уже действующей кампании. 

Чтобы создать проект на странице всех кампаний идем во вкладку «Проекты и эксперименты» и нажимаем на круглую кнопку со знаком плюса. 

Далее видим страницу создания нового проекта. 

Выбираем из выпадающего списка исходную кампанию, на основе которой будем создавать проект и проводить тестирование, пишем название этого проекта. 

Здесь лучше использовать название, из которого будет понятно, какие изменения внесли в кампанию. Например, если создаем проект рекламной кампании «Бренд_Поиск_РФ» и хотим протестировать автоматическую стратегию назначения ставок «Целевая цена за конверсию», то можно назвать проект «Бренд_Поиск_РФ_CPA». 

Нажимаем кнопку «Сохранить» и попадаем на страницу готового проекта. 

Далее нужно внести в проект изменения, которые хотите протестировать. Изменения в проекте производятся также, как и в обычной рекламной кампании Ads. 

Когда все изменения внесены, и вы готовы к проведению А/B-теста, жмем кнопку «Применить». 

После откроется окно, в котором можно применить изменения в действующей исходной кампании или провести А/B-тест. Выбираем «Провести эксперимент» и нажимаем кнопку «Применить». 

Нужно заполнить все поля и нажать на кнопку «Сохранить». Разделение трафика начнется с даты, которую вы указали как дату начала эксперимента. 

После начала эксперимента, статистику по нему можно смотреть на странице «Проекты и эксперименты» во вкладке «Эксперименты в кампаниях». 

После того как пройдет время, которое вы выделили на эксперимент, или наберется достаточно статистики для принятия решения, нужно нажать на кнопку «Применить», если ваша гипотеза сработала, и вы хотите оставить только вариант кампании с новыми изменениями. 

Если гипотеза не подтвердилась, и вы хотите оставить в работе только исходную кампанию без изменений, нажмите «Завершить сейчас». 

После клика на кнопку «Применить» откроется окно, в котором нужно выбрать вариант применения изменений – «Изменить исходную кампанию» или «Преобразовать в новую кампанию». 

Это очень удобный инструмент, схожий по принципу с Яндекс.Экспериментами. Простота настройки позволяет пользоваться инструментом специалистам любого уровня и увеличить эффективность работы кампаний. 

5. Замена заголовка на посадочной 

Google Tag Manager может помочь вам заменить заголовки на вашей посадочной в соответствии с ключевой фразой. 

Для чего это нужно?  

Мы можем взять значение динамического параметра (т.е. ключевую фразу), по которому было показано объявление Яндекс.Директа или Google Ads и был переход на сайт, и подставить эту ключевую фразу в заголовок сайта. Таким образом мы можем увеличить релевантность посадочной страницы для пользователя и сравнить результаты работы в рамках A/B-тестирования первоначального сайта с сайтом, где заменяются заголовки.    

Для этого нужно создать в GTM переменную, которая будет принимать значение динамического параметра {keyword} – в Директе такой используют для utm_term. Получать это значение в GTM возможно, создав переменную типа URL с типом компонента «Запрос» и ключом запроса «utm_term». 

Отделом аналитики создается переменная типа URL с типом компонента «Запрос», ключом будет специальный параметр, который вы придумаете сами. Элемент для подмены может отличаться в зависимости от проекта и задач, которые необходимо решить. Фрагмент созданного тега добавляется на сайт через Google Tag Manager с возможностью его включения и отключения для конкретных объявлений или РК. 

С помощью Яндекс.Экспериментов или Проектов в Google вы сможете разделить трафик между посадочными с подменой заголовков и без подмены, и понять, что будет лучше работать для вашей ниши. 

Какими могут быть результаты проведенного теста? 

• Версия А выигрывает или разницы между версиями нет. Если прошло достаточно времени, и по результатам версия В оказалась менее эффективной или не дала существенной разницы, то вы можете углубиться в данные, чтобы понять, почему новая версия не работает так, как ожидалось. Это, в свою очередь, поможет собрать информацию для следующих тестов. 
• Версия В выигрывает. В этом случае эксперимент оказался удачным, стоит применить эти настройки на всю аудиторию для получения лучших результатов.  

Вывод 

Несмотря на то, будет результат вашего теста успешным или нет, вы сможете сделать вывод по нему и использовать то, что узнали, для следующей гипотезы. Проведение A/B-тестов – важный элемент в оптимизации РК, который поможет настроить более эффективную рекламу.