Оптимизация · Инструкция
Как проводить эксперименты в Яндекс.Директ
Эксперимент проверяет одну гипотезу по заранее выбранной метрике. Простое сравнение двух разных месяцев не отделяет эффект изменения от сезонности и других факторов.
Когда нужен эксперимент
Тест полезен, когда есть выбор между вариантами стратегии, объявления или страницы и условия для сопоставления. Очевидно сломанную форму исправляют, а не тестируют как равноправный вариант.
Как сформулировать проверяемую гипотезу
Пример: более ясное описание комплектации должно повысить долю квалифицированных обращений.
Изменение X должно улучшить Y для аудитории Z, потому что…
Как разделить аудиторию
Контрольная и тестовая группы должны различаться только проверяемым изменением. Доступный механизм разделения проверяйте в актуальном инструменте.
Какие показатели выбрать
Главная метрика связана с задачей: квалифицированная заявка, заказ или другой результат. Дополнительные показатели помогают заметить ухудшение качества.
Сколько должен идти тест
Длительность определяется объёмом событий, циклом сделки и планом анализа. Универсальная неделя не гарантирует достаточности данных.
Как оценить статистический результат
Оцените размер эффекта и неопределённость, а не только знак разницы. Малый объём событий может не позволять сделать вывод; отсутствие доказанного эффекта не равно доказанному равенству.
Ошибки и внедрение победителя
После внедрения победителя проверьте сохранение эффекта в обычной работе.
Запись результата: гипотеза · варианты · аудитория · период · метрика · данные · ограничения · решение
Вопросы об экспериментах
Можно сравнить два месяца вместо эксперимента?
Нет: разница месяцев включает сезонность и другие факторы, а не только ваше изменение.
Сколько длится A/B-тест?
Пока не наберётся достаточно событий с учётом цикла сделки — универсального срока нет.
Что тестировать первым?
То, где есть реальный выбор: оффер, объявление, страница или стратегия. Сломанное не тестируют, а чинят.
Откуда брать гипотезы?
Из данных, отзывов и анализа конкурентов.
Нужна помощь
Если самостоятельной проверки недостаточно
Разбор выше можно использовать без отправки контакта. Если для решения нужны данные кабинета, сайта или продаж — опишите задачу и доступные показатели.