Настройка эксперимента для сравнения автостратегий Яндекс Директ

Как правильно проводить эксперимент при сравнении автоматических стратегий в Яндекс Директ? Рекомендации по настройкам.



В процессе внедрения автоматических стратегий у нас сформировались небольшие кейсы по каждому важному моменту. Для удобства разделили материал на несколько статей:
  1. Создание и запуск автоматической кампании за 20 минут
  2. Что будет, если цель выбрана неправильно?
  3. Оптимизация автоматической кампании

На проекте достаточно долго работала кампания типа «Смарт-баннеры» и мы решили проверить как она будет работать на полностью автоматической стратегии.

Делали все в соответствии с рекомендацией от Яндекс: для объективности эксперимента нужно остановить исходную кампанию и создать две её копии, запустив копию «А» без изменений, а в копию «Б» внести правки, которые хотим протестировать.

Суть такого подхода в том, чтобы соблюдать чистоту эксперимента. По совету Яндекс, кампании не стоит сравнивать с исходной, так как в ней уже есть данные по CTR и остальным показателям, поэтому кампании окажутся в «неравных условиях». Копия «А» копирует стратегию, ставки и все настройки оригинала, в копии «Б» стратегия изменена на автоматическую.

Через несколько дней, мы заметили, что полная копия оригинала работает гораздо хуже исходной кампании: тратит в 3 раза больше, но конверсий приносит столько же.

Проанализировав настройки кампаний, мы пришли к выводу, что возможная причина такого результата — параметры исходной кампании. Оригинал работал по стратегии «удерживать средний CPC на уровне 10 руб».

При такой стратегии ставка в конкретный момент времени может быть как сильно выше, так и ниже установленного значения. Можно сказать, что такая кампания полуавтоматическая, а значит ей нужно время на обучение.

Копия «А» после запуска пошла по своей траектории оптимизации, и мы получили новую кампанию, которая не дает прежние результаты, а значит брать ее в сравнение некорректно.

Если мы хотим сравнить разные автоматические стратегии, лучше делать не две копии, а сравнивать с оригиналом, так как цель нашей работы получить кампанию, которая хотя бы ему не уступает. 

Суть данного кейса: показать, что при сравнении автоматических стратегий, не стоит делать две копии оригинала, как советует Яндекс, так как сравнение может оказаться некорректным. Эта рекомендация не касается кампаний, которые изначально работали на ручных стратегиях, при их копировании не будет такого отклонения в результатах.



Подпишитесь на Facebook или Телеграмм, чтобы не пропустить новые статьи

Разделяешь наш подход? Вступай в команду!
Другие материалы по теме
eCommerce: увеличить выручку с 250 000 до 1 250 000 рублей за счет базовых инструментов контекстной рекламы КЕЙС
eCommerce: увеличить выручку с 250 000 до 1 250 000 рублей за счет базовых инструментов контекстной рекламы
Рассказываем, как вдвое увеличили выручку интернет-магазина запчастей для тюнинга в течение первого месяца и в пять раз в течение года.
Как я повысил прибыль интернет-магазинов на 15% и попрощался с директологами КЕЙС
Как я повысил прибыль интернет-магазинов на 15% и попрощался с директологами
За каждым успешным кейсом стоят неудачные эксперименты. Взглянув на мои ошибки и открытия, вы узнаете, нужны ли автостратегии вашему бизнесу и что дают правильно настроенные автостратегии. А ещё я поделюсь секретами настройки на примере Smart Diabet.
Медийная реклама в eCommerce: увеличиваем средний чек и конверсию на 20% КЕЙС
Медийная реклама в eCommerce: увеличиваем средний чек и конверсию на 20%
– Давайте запустим медийную рекламу?
– Вы что?! Это долго и дорого, мы же не Эльдорадо!
7 главных новостей eCommerce-маркетинга за ноябрь NEWS
7 главных новостей eCommerce-маркетинга за ноябрь
Подборка и краткое содержание интересных материалов для E-commerce проектов.
Как интернет-магазину заработать в черную пятницу? HOWTO
Как интернет-магазину заработать в черную пятницу?
Как все правильно сделать с точки зрения контекстной рекламы, чтобы максимизировать прибыль.
Аудит контекстной рекламы мебельной фабрики Аудит
Аудит контекстной рекламы мебельной фабрики
Почему 1000 групп «одно ключевое слово и одно объявление», это тупиковая мехника на примере реального кейса. Исследование окупаемости в Power BI и сбалансированности экономики.
читать наш блог

Оставьте заявку

После того, как вы оставите заявку: интервью ~15 минут → гостевые доступы для аудита ~15 минут → аудит в течении 2-х дней → согласование предложения → начало первой итерации. По нашему опыту реально начать что-то делать уже через 2-3 дня.

Менеджер проектов Александр
Александр

Менеджер проектов



Пишите на — info@1jam.ru , звоните в скайпе — jam.agency , или по телефону — 8 (800) 551-85-03