Оптимизация · Инструкция

Как проводить эксперименты в Яндекс.Директ

Эксперимент проверяет одну гипотезу по заранее выбранной метрике. Простое сравнение двух разных месяцев не отделяет эффект изменения от сезонности и других факторов.

Когда нужен эксперимент

Тест полезен, когда есть выбор между вариантами стратегии, объявления или страницы и условия для сопоставления. Очевидно сломанную форму исправляют, а не тестируют как равноправный вариант.

Как сформулировать проверяемую гипотезу

Пример: более ясное описание комплектации должно повысить долю квалифицированных обращений.

Изменение X должно улучшить Y для аудитории Z, потому что…

Как разделить аудиторию

Контрольная и тестовая группы должны различаться только проверяемым изменением. Доступный механизм разделения проверяйте в актуальном инструменте.

Какие показатели выбрать

Главная метрика связана с задачей: квалифицированная заявка, заказ или другой результат. Дополнительные показатели помогают заметить ухудшение качества.

Сколько должен идти тест

Длительность определяется объёмом событий, циклом сделки и планом анализа. Универсальная неделя не гарантирует достаточности данных.

Как оценить статистический результат

Оцените размер эффекта и неопределённость, а не только знак разницы. Малый объём событий может не позволять сделать вывод; отсутствие доказанного эффекта не равно доказанному равенству.

Ошибки и внедрение победителя

После внедрения победителя проверьте сохранение эффекта в обычной работе.

Запись результата: гипотеза · варианты · аудитория · период · метрика · данные · ограничения · решение

Вопросы об экспериментах

Можно сравнить два месяца вместо эксперимента?

Нет: разница месяцев включает сезонность и другие факторы, а не только ваше изменение.

Сколько длится A/B-тест?

Пока не наберётся достаточно событий с учётом цикла сделки — универсального срока нет.

Что тестировать первым?

То, где есть реальный выбор: оффер, объявление, страница или стратегия. Сломанное не тестируют, а чинят.

Откуда брать гипотезы?

Из данных, отзывов и анализа конкурентов.

Нужна помощь

Если самостоятельной проверки недостаточно

Разбор выше можно использовать без отправки контакта. Если для решения нужны данные кабинета, сайта или продаж — опишите задачу и доступные показатели.