Меняйте один существенный элемент, распределяйте показы по сопоставимым периодам и заранее задайте метрику. Иначе сезонность и поток исказят вывод.
Меняйте один существенный элемент
Выберите метрику до начала теста и подготовьте два варианта с одной ключевой разницей: заголовок, предложение или призыв. Чередуйте показы в сопоставимых временных интервалах и учитывайте изменения трафика. Заранее определите период наблюдения; не объявляйте победителя после нескольких случайных откликов. Если данных мало или условия различались, результат остаётся предварительным.
Что проверить
- Одна проверяемая гипотеза
- Сопоставимое расписание показов
- Заранее выбранная метрика
Типичная ошибка
Одновременно менять цену, макет и аудиторию, а затем приписывать результат цвету кнопки.
Редакционный материал AM-LED.
Все материалы