Одна и та же аудитория по-разному реагирует на разные офферы, прелендинги и даже на цвет кнопки. Угадать заранее, что сработает, не получится ни у новичка, ни у опытного байера. Поэтому любая связка рано или поздно приходит к сплит-тесту: трафик делится между вариантами, а решение принимают цифры, а не интуиция.
Что такое сплит-тест в арбитраже трафика
Сплит-тест (он же A/B тест) — это одновременный показ нескольких вариантов на одном и том же трафике с последующим сравнением результата. Ключевое слово — «одновременный». Если неделю лить на оффер А, а следующую неделю на оффер Б, вы сравните не офферы, а две разные недели: другой аукцион, другие креативы, другое настроение аудитории.
В арбитраже сплитуют три уровня:
- Оффер — две партнёрки с одним продуктом, два продукта в одной вертикали или одна и та же гео-версия оффера в разных сетях.
- Прелендинг — квиз против статьи, обзор против «истории успеха», короткий текст против длинного.
- Лендинг — разные формы заявки, цены на странице, блоки доверия.
Креативы обычно тестируют на стороне рекламной площадки — у неё для этого есть свои инструменты. А вот всё, что происходит после клика, — забота трекера. Если вы ещё не разбирались, зачем он нужен, начните с материала про трекер для арбитража.
Что сравнивать: CR, EPC или ROI
Самая частая ошибка сплит-теста — сравнивать не ту метрику. У разных уровней теста разные целевые показатели.
| Что тестируете | Главная метрика | Почему не другая |
|---|---|---|
| Оффер | EPC (доход на клик) с учётом апрува | CR по лидам не учитывает, сколько заявок сеть подтвердит и сколько за них заплатит |
| Прелендинг | CTR прелендинга и итоговый EPC | Высокий CTR без конверсий значит, что преленд «зазывает» не тех людей |
| Лендинг | CR в лид и доля апрува | Форма, собирающая мусорные заявки, даёт красивый CR и пустую выплату |
| Связка целиком | ROI | Только ROI учитывает и доход, и расход |
Почему именно EPC, а не конверсия? Допустим, оффер А конвертит 4% с выплатой 20 $, а оффер Б — 3% с выплатой 30 $. По CR выигрывает А, но на сотне кликов А приносит 80 $, а Б — 90 $. Если же у Б апрув вдвое ниже, картина снова переворачивается. Подробно все показатели разобраны в статье про метрики арбитража: ROI, EPC, CR.
Совет. Оценивайте офферы по подтверждённым деньгам, а не по заявкам. Лид в холде — это обещание, а не доход. Как статусы влияют на цифры, описано в материале про статусы конверсий: холд, апрув, трэш.
Как устроена ротация по весам
Технически сплит-тест — это ротация: каждый клик отправляется на один из вариантов. Есть два основных способа делить трафик.
Ротация по весам
Каждому варианту задаётся доля в процентах — 50/50, 70/30, 34/33/33. Для каждого клика вариант выбирается случайно с этой вероятностью. На больших объёмах доли сходятся к заданным, на малых — гуляют. Если за час пришло 20 кликов, деление вполне может оказаться 13 к 7, и это не ошибка трекера, а природа случайности.
Неравные веса полезны, когда один вариант уже проверен, а второй — эксперимент. Отдайте новичку 20–30% трафика: если он провалится, вы потеряете немного.
Приоритет
Весь трафик идёт на первый включённый вариант, остальные стоят в резерве. Это не сплит в строгом смысле, а страховка: если основной оффер остановили или выключили, трафик продолжит конвертиться на запасном.
Закрепление посетителя
Если человек вернулся по рекламе второй раз, ему лучше показать тот же вариант, что и в первый. Иначе он увидит другую цену или другой продукт, растеряется, а статистика смешается. Для этого в трекерах есть закрепление посетителя на срок: вернувшийся в течение окна попадает на тот же прелендинг и тот же оффер.
Сколько ждать результата сплит-теста
Это главный вопрос, и на нём сгорает больше всего бюджета. Вывод «вариант Б лучше» после 30 кликов и двух лидов — это подбрасывание монетки.
Вот как рассуждать на практике:
- Считайте конверсии, а не клики. Сто кликов без единой конверсии в обоих вариантах ничего не говорят. Ориентируйтесь на число целевых действий в каждом варианте.
- Чем меньше разница, тем больше выборка. Двукратный разрыв виден быстро. Разница в 10% требует на порядок больше данных.
- Ловите полный цикл. Минимум — несколько полных суток, лучше неделя: трафик в будни и выходные ведёт себя по-разному.
- Не подглядывайте с решением. Если каждые два часа смотреть на график и останавливать тест при первом перевесе, вы систематически будете выбирать случайных победителей.
В статистике для этого используют понятие уровня уверенности: насколько вероятно, что разница не случайна. Стандарт — 95%. Это значит, что при прочих равных вы ошибётесь не чаще одного раза из двадцати.
Совет. Заранее решите, сколько трафика вы готовы отдать на тест, и не останавливайте его раньше. Если бюджет кончился, а уверенности нет, честный вывод — «разницы не видно», а не «победил тот, что сейчас впереди».
Сплит-тест прелендингов: на что смотреть отдельно
С прелендингом и лендингом тест устроен в два этапа: посетитель сначала видит преленд, потом нажимает кнопку и уходит на оффер. Поэтому у преленда две метрики:
- CTR прелендинга — какая доля посетителей дошла до оффера.
- Итоговая конверсия и EPC — сколько денег принёс трафик, прошедший через этот преленд.
Типичная ловушка: агрессивный кликбейтный преленд даёт CTR 40%, спокойная статья — 15%. Но люди, которые прочитали статью и всё равно пошли дальше, уже «прогреты», и конверсия у них в разы выше. Итог по деньгам может оказаться в пользу статьи.
Ещё одна тонкость: при тесте преленда оффер за ним должен быть один и тот же, а при тесте оффера — один и тот же преленд. Иначе вы меняете две переменные сразу и не поймёте, что сработало.
Чистый трафик — условие честного теста
Сплит-тест сравнивает реакцию людей. Если в трафик подмешаны боты, они размазываются по вариантам случайно и разбавляют статистику. Один вариант может «проиграть» просто потому, что ему досталась пачка ботов из дата-центра, которые никогда ничего не купят.
Поэтому тестируйте на уже отфильтрованном трафике: сначала отсев, потом ротация. Как устроена фильтрация, рассказано в статье о том, как отфильтровать ботов. А для того чтобы конверсии вообще связались с вариантами, нужен корректный постбэк от партнёрской сети — без него вы сравниваете только клики.
Как провести сплит-тест в ArtisanClo
В ArtisanClo сплит настраивается внутри одного потока, на шаге «Направления». Поток должен работать в режиме «Трекер» или «Клоакинг + Трекер», чтобы по пропущенному трафику считались деньги.
Офферы и веса
- Добавьте в поток второй и следующие офферы. У каждого — своё название для отчётов, режим показа и адрес.
- Как только офферов два и больше, у каждого появляется поле Вес (%) от 1 до 100. Сумма весов должна быть ровно 100%, кнопка Автораспределение весов делит поровну.
- Чтобы оффер временно не получал трафик, выключите его переключателем, а не ставьте вес 0.
Рекламная ссылка от числа офферов не меняется: оффер выбирается для каждого визита уже после всех проверок фильтра. Значит, добавить вариант можно в работающую кампанию без правки объявления.
Кроме ротации офферов по весам есть режим По приоритету — весь трафик на первый включённый оффер, остальные в резерве. И закрепление посетителя — от 0 до 720 часов: вернувшийся получит тот же прелендинг и тот же оффер.
Прелендинги
Прелендинги добавляются в том же шаге; при двух и более у них тоже появляется вес. Прелендинг ведёт либо «по весам среди офферов», либо на конкретный оффер. Кнопка на преленде должна вести на макрос {click_url}:
https://ваш-преленд.com/?go={click_url}
Если на странице несколько кнопок на разные офферы, к адресу добавляется /2, /3 — откроются второй и третий офферы.
Ветки вместо слепого сплита
Иногда тест показывает, что оффер А лучше на Android, а Б — на iOS. Тогда сплит превращается в ветки: разные посетители по условию (страна, устройство, ОС, язык, параметр ссылки, метка) уходят на разные офферы. Ветки проверяются сверху вниз, решает первая подошедшая.
Где смотреть результат
- В Отчётах таблица «Деньги по срезам» режется по офферу и прелендингу: клики, конверсии, CR, доход, расход, прибыль, ROI. Дополнительно включаются колонки «На оффер», «CTR ленд.», «В холде», EPC и CPA.
- В Диагностике потока, на вкладке «Автопилот», есть блок Сплит-тест офферов. Вывод о лучшем оффере появляется только при уверенности от 95% и не меньше 100 визитов у каждого оффера — ровно та защита от ранних выводов, о которой шла речь выше.
Полный список возможностей — на странице возможностей ArtisanClo, а доступность веток, прелендингов и приоритета по тарифам — в разделе тарифов.
Типичные ошибки сплит-тестов
- Тест на разном трафике. Вариант А крутился на одной кампании, Б — на другой. Это два разных эксперимента.
- Смена условий посреди теста. Поменяли креатив, ставку или гео — обнуляйте выводы.
- Сравнение по лидам при разном апруве. Дождитесь, пока сеть подтвердит заявки, хотя бы частично.
- Слишком много вариантов на малом бюджете. Пять офферов по 20% трафика — это пять маленьких выборок, ни одна из которых ничего не докажет.
- Вечный тест. Когда уверенность получена, отключайте проигравшего: каждый клик на худший вариант — недополученная прибыль.
Итог
Сплит-тест — это не «закинуть два оффера и посмотреть», а дисциплина: одна переменная за раз, одинаковый и очищенный от ботов трафик, сравнение по деньгам, а не по заявкам, и терпение до статистической уверенности. Ротация по весам, закрепление посетителя и отчёт по офферам дают инструменты, но решение «хватит данных или нет» всё равно остаётся за вами. Когда победитель найден, следующий шаг — посчитать, сколько он реально зарабатывает: об этом статья о том, как считать ROI.
