Кирилл Коммисаров , 1 июня 2020

Настройка эксперимента для сравнения автостратегий Яндекс Директ

Как правильно проводить эксперимент при сравнении автоматических стратегий в Яндекс Директ? Рекомендации по настройкам.



В процессе внедрения автоматических стратегий у нас сформировались небольшие кейсы по каждому важному моменту. Для удобства разделили материал на несколько статей:
  1. Создание и запуск автоматической кампании за 20 минут
  2. Что будет, если цель выбрана неправильно?
  3. Оптимизация автоматической кампании

На проекте достаточно долго работала кампания типа «Смарт-баннеры» и мы решили проверить как она будет работать на полностью автоматической стратегии.

Делали все в соответствии с рекомендацией от Яндекс: для объективности эксперимента нужно остановить исходную кампанию и создать две её копии, запустив копию «А» без изменений, а в копию «Б» внести правки, которые хотим протестировать.

Суть такого подхода в том, чтобы соблюдать чистоту эксперимента. По совету Яндекс, кампании не стоит сравнивать с исходной, так как в ней уже есть данные по CTR и остальным показателям, поэтому кампании окажутся в «неравных условиях». Копия «А» копирует стратегию, ставки и все настройки оригинала, в копии «Б» стратегия изменена на автоматическую.

Через несколько дней, мы заметили, что полная копия оригинала работает гораздо хуже исходной кампании: тратит в 3 раза больше, но конверсий приносит столько же.

Проанализировав настройки кампаний, мы пришли к выводу, что возможная причина такого результата — параметры исходной кампании. Оригинал работал по стратегии «удерживать средний CPC на уровне 10 руб».

При такой стратегии ставка в конкретный момент времени может быть как сильно выше, так и ниже установленного значения. Можно сказать, что такая кампания полуавтоматическая, а значит ей нужно время на обучение.

Копия «А» после запуска пошла по своей траектории оптимизации, и мы получили новую кампанию, которая не дает прежние результаты, а значит брать ее в сравнение некорректно.

Если мы хотим сравнить разные автоматические стратегии, лучше делать не две копии, а сравнивать с оригиналом, так как цель нашей работы получить кампанию, которая хотя бы ему не уступает. 

Суть данного кейса: показать, что при сравнении автоматических стратегий, не стоит делать две копии оригинала, как советует Яндекс, так как сравнение может оказаться некорректным. Эта рекомендация не касается кампаний, которые изначально работали на ручных стратегиях, при их копировании не будет такого отклонения в результатах.



Хотите дальше узнавать новое про контекстную рекламу для интернет-магазинов?
Подписывайтесь на наш канал в телеграме.

Перейти на канал
Другие материалы по теме
Основные стратегии Яндекс.Директа 2023 для управления рекламными кампаниями
Основные стратегии Яндекс.Директа 2023 для управления рекламными кампаниями
Лучшая стратегия — та, которая решает задачи бизнеса. Если верно поставить цели и определиться с KPI, настроить рекламу будет проще.
5 типичных проблем в контексте, которые мы видим у 90% клиентов
5 типичных проблем в контексте, которые мы видим у 90% клиентов
Мы провели аудит более чем для 100 интернет-магазинов и постоянно видим одни и те же ошибки. Например, клиент хочет масштабироваться, поднимает бюджет — и реклама начинает работать в минус.
За 2 года подняли контекст с минусов до 330 тысяч ₽/месяц магазину тканей, хотя Google ушел и автостратегии не работали
За 2 года подняли контекст с минусов до 330 тысяч ₽/месяц магазину тканей, хотя Google ушел и автостратегии не работали
Какие инструменты использовали, какие гипотезы тестировали, чем компенсировали уход Google из России и почему не для всех подходят автостратегии и товарные площадки.
Пакетные стратегии в Яндекс Директ: для чего нужны и как настроить
Пакетные стратегии в Яндекс Директ: для чего нужны и как настроить
Как работают пакетные стратегии и как их настраивать — с примерами из практики
Модели атрибуции в Яндекс Директе: как использовать в аналитике и какую выбрать при настройке рекламы
Модели атрибуции в Яндекс Директе: как использовать в аналитике и какую выбрать при настройке рекламы
Объясняем на картинках, что такое модели атрибуции в Директе и как они помогают анализировать рекламу и обучать автостратегии.
Ретаргетинг в Яндекс Директ: что это такое, какой бывает и как настроить
Ретаргетинг в Яндекс Директ: что это такое, какой бывает и как настроить
Пошаговая инструкция, как собрать аудиторию и настроить ретаркетинг на поиске и в РСЯ.
читать наш блог

Оставьте заявку

После того, как вы оставите заявку: интервью ~15 минут → гостевые доступы для аудита ~15 минут → аудит в течение недели → согласование предложения → начало первой итерации. По нашему опыту реально начать что-то делать уже через неделю.

Менеджер проектов Александр
Александр

Менеджер проектов



Пишите на — или в Телеграмм