A/B-тесты креативов — быстрый способ понять, что реально влияет на CTR, конверсии и стоимость заявки. Ниже — практичный фреймворк для запуска и чтения результатов по баннерам и видео.
Что тестировать (приоритеты)
- Сообщение (оффер/выгода). Цены, сроки, гарантия, «доставка сегодня».
- Хук/первый кадр (для видео) и первый слайд (для карусели).
- Визуал: фон/контраст/герой/ракурс/кнопка.
- Длина видео: 6 c vs 15 c vs 30 c.
- Призыв к действию: «Заказать» vs «Получить консультацию».
- Формат/размер: вертикаль vs квадрат, короткий текст vs длинный.
Правило: 1 крупная переменная за тест. Если меняете всё сразу — вы не узнаете причину эффекта.
Как ставить гипотезы
- Формат: Если [изменение], то [метрика] изменится на X%, потому что [инсайт].
- Пример: «Если в первые 2 секунды видео показать цену, CTR ↑ на 15%, потому что снимаем главный барьер — «дорого».»
Таблица гипотез (минимум)
| ID | Вариант | Что меняем | Метрика | Ожидание | Статус |
| H-01 | Видео A vs B | Хук (цена vs распаковка) | CTR/CPA | CTR +15% | В работе |
Настройка теста (чтобы результат был честным)
- Равномерный сплит. По возможности фиксируйте распределение трафика 50/50 (или равные бюджеты) и одинаковые таргеты.
- Одинаковые условия. Один плейсмент/формат на тест (не мешайте ленту и сторис).
- Время. 7–14 дней без «пиковых» вмешательств (распродажи/праздники).
- Стабильная цена аукциона. Следите за частотой и CPM — резкие скачки искажают выводы.
- Не подглядывать. Не останавливайте тест на 2-й день из-за «красивых» цифр — дождитесь нужной выборки.
Объём выборки (быстрая прикидка для пропорций)
На стороне площадки целимся в ≥ 100–200 целевых событий на вариант (клики для CTR-теста, конверсии для CVR/CPA-теста).
Теоретическая прикидка на 95%/80% мощности:
n≈16⋅p(1−p)MDE2n \approx \frac{16 \cdot p(1-p)}{\text{MDE}^2}n≈MDE216⋅p(1−p)
где p — базовая конверсия, MDE — минимальный детектируемый эффект (в долях).
Пример: p=0,02 и MDE=0,003 (0,3 п.п.) –> n ≈ 16·0,02·0,98 / 0,0009 ≈ 349 конверсий на вариант.
Порог значимости (как понять, что «сработало»)
- Для CTR/CVR сравниваем две доли (z-тест/хи-квадрат):
значимо, если p-value ≤ 0,05 и разница стабильна по ключевым сегментам (устройствам/гео). - Для CPA используем бутстрэп или сравнение средних (при похожих распределениях), но лучше опираться на конверсию и цену клика одновременно.
Гвардейские метрики (не должны ухудшаться при росте CTR): Bounce, время на странице, глубина, CR к заявке.
Кейсы (условные числа, но реальные сценарии)
1) Баннер: «Цена в первом кадре»
- Трафик по интересам, 7 дней.
- Вариант A (контент без цены) vs B (цена + выгода «Сегодня»).
Результат: CTR 0,92% –> 1,12% (+21,7%, p=0,018); CPC −14%; CPL −11%.
Вывод: масштабируем B, делаем ещё 2 вариации цены (диапазон/скидка).
2) Видео: 6 c vs 15 c
- YouTube In-Stream, 10 дней.
- VTR 25% –> 33% на 6-сек; CTR ≈ без изменений; CPA −8% за счёт лучшего досмотра.
Вывод: оставляем 6-сек коротыш как «крючок», 15-сек — для ремаркетинга.
Что и когда тестировать (драйвер-карта)
- Старт кампании: 2–3 хука/оффера –> выбрать победителя.
- После стабилизации: фон/герой/цвет CTA, длина видео.
- Раз в 2–4 недели: «слабое звено» воронки (если много кликов, но мало лидов — тест страницы, а не баннера).
- Сезон/распродажа: отдельные сообщения (сроки, пакеты, подарки) — не смешивать с «вечнозелёными».
Как оформлять результаты (1 экран для решения)
| Метрика | Вариант A | Вариант B | Δ | p-value | Решение |
| Показы | 120 000 | 118 000 | — | — | — |
| Клики | 1 104 | 1 322 | +19,7% | — | — |
| CTR | 0,92% | 1,12% | +21,7% | 0,018 | B –> масштаб |
| CPC | 3,95 | 3,39 | −14,2% | — | — |
| Конверсии | 82 | 101 | +23,2% | 0,041 | B лучше |
| CPL | 53,9 | 44,3 | −17,8% | — | Увеличить бюджет B на +30% |
Внизу — 2–3 гипотезы на следующий спринт: «Цена диапазоном», «Другой фон», «Тест вертикали».
Типичные ошибки и как их избежать
- Мультитест: 5 вариантов сразу при малом бюджете –> нехватка выборки. Делайте поочерёдно.
- Смена аудиторий/плейсментов в середине теста –> «ломает» результат.
- Пикинг (подглядывание): остановили «на красивом пике» –> ложноположительно. Держите фиксированный горизонт/объём.
- Опора на CTR без качества –> клики есть, заявок нет. Смотрите CR и поведенческие метрики.
- Перетренированность под ремаркетинг: креативы «для тёплых» не работают на холодной аудитории.
Мини-чек-лист запуска A/B
- 1 переменная на тест; фиксированный сплит 50/50.
- Согласованная метрика успеха (CTR/CR/CPA) и MDE.
- План выборки/срока; запрет на «пикинг».
- Единый плейсмент и таргет; одинаковые бюджеты.
- Таблица гипотез и протокол решения «масштаб/архив/ретест».
- Ретроспектива раз в 2–4 недели.
Нужна стратегия тестов и сетка экспериментов под ваш бюджет? Составим план и запустим A/B за неделю: https://tag.tj/services/digital-marketing/
EN 
RU