Настройка эксперимента для сравнения автостратегий Яндекс Директ

1. Создание и запуск автоматической кампании за 20 минут
2. Что будет, если цель выбрана неправильно?
   
3. Оптимизация автоматической кампании

На проекте достаточно долго работала кампания типа «Смарт-баннеры» и мы решили проверить как она будет работать на полностью автоматической стратегии.

Делали все в соответствии с рекомендацией от Яндекс: для объективности эксперимента нужно остановить исходную кампанию и создать две её копии, запустив копию «А» без изменений, а в копию «Б» внести правки, которые хотим протестировать.

Суть такого подхода в том, чтобы соблюдать чистоту эксперимента. По совету Яндекс, кампании не стоит сравнивать с исходной, так как в ней уже есть данные по CTR и остальным показателям, поэтому кампании окажутся в «неравных условиях». Копия «А» копирует стратегию, ставки и все настройки оригинала, в копии «Б» стратегия изменена на автоматическую.

Через несколько дней, мы заметили, что полная копия оригинала работает гораздо хуже исходной кампании: тратит в 3 раза больше, но конверсий приносит столько же.

Проанализировав настройки кампаний, мы пришли к выводу, что возможная причина такого результата — параметры исходной кампании. Оригинал работал по стратегии «удерживать средний CPC на уровне 10 руб».

При такой стратегии ставка в конкретный момент времени может быть как сильно выше, так и ниже установленного значения. Можно сказать, что такая кампания полуавтоматическая, а значит ей нужно время на обучение.

Копия «А» после запуска пошла по своей траектории оптимизации, и мы получили новую кампанию, которая не дает прежние результаты, а значит брать ее в сравнение некорректно.

Если мы хотим сравнить разные автоматические стратегии, лучше делать не две копии, а сравнивать с оригиналом, так как цель нашей работы получить кампанию, которая хотя бы ему не уступает. 

Суть данного кейса: показать, что при сравнении автоматических стратегий, не стоит делать две копии оригинала, как советует Яндекс, так как сравнение может оказаться некорректным. Эта рекомендация не касается кампаний, которые изначально работали на ручных стратегиях, при их копировании не будет такого отклонения в результатах.