Та сама аудиторія по-різному реагує на різні офери, прелендинги і навіть на колір кнопки. Вгадати заздалегідь, що спрацює, не вдасться ні новачкові, ні досвідченому баєру. Тому будь-яка зв’язка рано чи пізно доходить до спліт-тесту: трафік ділиться між варіантами, а рішення ухвалюють цифри, а не інтуїція.
Що таке спліт-тест в арбітражі трафіку
Спліт-тест (він же A/B тест) — це одночасний показ кількох варіантів на тому самому трафіку з подальшим порівнянням результату. Ключове слово — «одночасний». Якщо тиждень лити на офер А, а наступний тиждень на офер Б, ви порівняєте не офери, а два різні тижні: інший аукціон, інші креативи, інший настрій аудиторії.
В арбітражі сплітують три рівні:
- Офер — дві партнерки з одним продуктом, два продукти в одній вертикалі або та сама гео-версія офера в різних мережах.
- Прелендинг — квіз проти статті, огляд проти «історії успіху», короткий текст проти довгого.
- Лендинг — різні форми заявки, ціни на сторінці, блоки довіри; з чого взагалі складається структура лендингу, розібрано окремо.
Креативи зазвичай тестують на боці рекламного майданчика — він має для цього власні інструменти. А от усе, що відбувається після кліку, — турбота трекера. Якщо ви ще не розбиралися, навіщо він потрібен, почніть із матеріалу про трекер для арбітражу.
Що порівнювати: CR, EPC чи ROI
Найчастіша помилка спліт-тесту — порівнювати не ту метрику. Різні рівні тесту мають різні цільові показники.
| Що тестуєте | Головна метрика | Чому не інша |
|---|---|---|
| Офер | EPC (дохід на клік) з урахуванням апруву | CR за лідами не враховує, скільки заявок мережа підтвердить і скільки за них заплатить |
| Прелендинг | CTR прелендингу та підсумковий EPC | Високий CTR без конверсій означає, що преленд «заманює» не тих людей |
| Лендинг | CR у лід і частка апруву | Форма, що збирає сміттєві заявки, дає гарний CR і порожню виплату |
| Зв’язка загалом | ROI | Лише ROI враховує і дохід, і витрати |
Чому саме EPC, а не конверсія? Припустімо, офер А конвертить 4% з виплатою 20 $, а офер Б — 3% з виплатою 30 $. За CR виграє А, але на сотні кліків А приносить 80 $, а Б — 90 $. Якщо ж у Б апрув удвічі нижчий, картина знову перевертається. Докладно всі показники розібрано в статті про метрики арбітражу: ROI, EPC, CR.
Порада. Оцінюйте офери за підтвердженими грошима, а не за заявками. Лід у холді — це обіцянка, а не дохід. Як статуси впливають на цифри, описано в матеріалі про статуси конверсій: холд, апрув, треш.
Як улаштована ротація за вагами
Технічно спліт-тест — це ротація: кожен клік відправляється на один із варіантів. Є два основні способи ділити трафік.
Ротація за вагами
Кожному варіанту задається частка у відсотках — 50/50, 70/30, 34/33/33. Для кожного кліку варіант обирається випадково з цією ймовірністю. На великих обсягах частки сходяться до заданих, на малих — гуляють. Якщо за годину прийшло 20 кліків, поділ цілком може виявитися 13 до 7, і це не помилка трекера, а природа випадковості.
Нерівні ваги корисні, коли один варіант уже перевірено, а другий — експеримент. Віддайте новачкові 20–30% трафіку: якщо він провалиться, ви втратите небагато.
Пріоритет
Увесь трафік іде на перший увімкнений варіант, решта стоїть у резерві. Це не спліт у строгому сенсі, а страховка: якщо основний офер зупинили чи вимкнули, трафік далі конвертитиметься на запасному.
Закріплення відвідувача
Якщо людина повернулася з реклами вдруге, їй краще показати той самий варіант, що й першого разу. Інакше вона побачить іншу ціну чи інший продукт, розгубиться, а статистика змішається. Для цього в трекерах є закріплення відвідувача на певний строк: той, хто повернувся в межах вікна, потрапляє на той самий прелендинг і той самий офер.
Скільки чекати результату спліт-тесту
Це головне питання, і на ньому згоряє найбільше бюджету. Висновок «варіант Б кращий» після 30 кліків і двох лідів — це підкидання монетки.
Ось як міркувати на практиці:
- Рахуйте конверсії, а не кліки. Сто кліків без жодної конверсії в обох варіантах нічого не кажуть. Орієнтуйтеся на кількість цільових дій у кожному варіанті.
- Що менша різниця, то більша вибірка. Дворазовий розрив видно швидко. Різниця в 10% потребує на порядок більше даних.
- Захоплюйте повний цикл. Мінімум — кілька повних діб, краще тиждень: трафік у будні й вихідні поводиться по-різному.
- Не підглядайте з рішенням. Якщо щодві години дивитися на графік і зупиняти тест за першого ж перекосу, ви систематично обиратимете випадкових переможців.
У статистиці для цього використовують поняття рівня впевненості: наскільки ймовірно, що різниця не випадкова. Стандарт — 95%. Це означає, що за інших рівних ви помилитеся не частіше ніж раз на двадцять.
Порада. Заздалегідь вирішіть, скільки трафіку ви готові віддати на тест, і не зупиняйте його раніше. Якщо бюджет скінчився, а впевненості немає, чесний висновок — «різниці не видно», а не «переміг той, що зараз попереду».
Спліт-тест прелендингів: на що дивитися окремо
З прелендингом і лендингом тест має два етапи: відвідувач спершу бачить преленд, потім натискає кнопку й переходить на офер. Тому в преленда дві метрики:
- CTR прелендингу — яка частка відвідувачів дійшла до офера.
- Підсумкова конверсія та EPC — скільки грошей приніс трафік, що пройшов через цей преленд.
Типова пастка: агресивний клікбейтний преленд дає CTR 40%, спокійна стаття — 15%. Але люди, які прочитали статтю й таки пішли далі, вже «прогріті», і конверсія в них у рази вища. Підсумок за грошима може виявитися на користь статті.
Ще одна тонкість: під час тесту преленда офер за ним має бути той самий, а під час тесту офера — той самий преленд. Інакше ви змінюєте дві змінні одночасно й не зрозумієте, що спрацювало.
Чистий трафік — умова чесного тесту
Спліт-тест порівнює реакцію людей. Якщо в трафік підмішано ботів, вони випадково розмазуються між варіантами й розбавляють статистику. Один варіант може «програти» просто тому, що йому дісталася пачка ботів із датацентру, які ніколи нічого не куплять.
Тому тестуйте на вже відфільтрованому трафіку: спершу відсів, потім ротація. Як улаштована фільтрація, розповідаємо в статті про те, як відфільтрувати ботів. А щоб конверсії взагалі пов’язалися з варіантами, потрібен коректний постбек від партнерської мережі — без нього ви порівнюєте лише кліки.
Як провести спліт-тест в ArtisanClo
В ArtisanClo спліт налаштовується всередині одного потоку, на кроці «Напрямки». Потік має працювати в режимі «Трекер» або «Клоакінг + Трекер», щоб за пропущеним трафіком рахувалися гроші.
Офери й ваги
- Додайте в потік другий і наступні офери. Кожен має власну назву для звітів, режим показу й адресу.
- Щойно оферів два й більше, у кожного з’являється поле Вага (%) від 1 до 100. Сума ваг має бути рівно 100%, кнопка Авторозподіл ваг ділить порівну.
- Щоб офер тимчасово не отримував трафік, вимкніть його перемикачем, а не ставте вагу 0.
Рекламне посилання від кількості оферів не змінюється: офер обирається для кожного візиту вже після всіх перевірок фільтра. Отже, додати варіант можна в робочу кампанію без правки оголошення.
Крім ротації оферів за вагами є режим За пріоритетом — увесь трафік на перший увімкнений офер, решта в резерві. І закріплення відвідувача — від 0 до 720 годин: той, хто повернувся, отримає той самий прелендинг і той самий офер.
Прелендинги
Прелендинги додаються на тому самому кроці; коли їх два й більше, у них теж з’являється вага. Прелендинг веде або «за вагами серед оферів», або на конкретний офер. Кнопка на преленді має вести на макрос {click_url}:
https://ваш-преленд.com/?go={click_url}
Якщо на сторінці кілька кнопок на різні офери, до адреси додається /2, /3 — відкриються другий і третій офери.
Гілки замість сліпого спліта
Буває, тест показує, що офер А кращий на Android, а Б — на iOS. Тоді спліт перетворюється на гілки: різні відвідувачі за умовою (країна, пристрій, ОС, мова, параметр посилання, мітка) йдуть на різні офери. Гілки перевіряються згори донизу, вирішує перша, що підійшла.
Де дивитися результат
- У Звітах таблиця «Гроші за зрізами» розбивається за офером і прелендингом: кліки, конверсії, CR, дохід, витрати, прибуток, ROI. Додатково вмикаються стовпці «На офер», «CTR ленд.», «У холді», EPC і CPA.
- У Діагностиці потоку, на вкладці «Автопілот», є блок Спліт-тест оферів. Висновок про найкращий офер з’являється лише за впевненості від 95% і не менше ніж 100 візитів у кожного офера — саме той захист від передчасних висновків, про який ішлося вище.
Повний перелік можливостей — на сторінці можливостей ArtisanClo, а доступність гілок, прелендингів і пріоритету за тарифами — у розділі тарифів.
Типові помилки спліт-тестів
- Тест на різному трафіку. Варіант А крутився в одній кампанії, Б — в іншій. Це два різні експерименти.
- Зміна умов посеред тесту. Змінили креатив, ставку чи гео — обнуляйте висновки.
- Порівняння за лідами за різного апруву. Дочекайтеся, поки мережа підтвердить заявки, хоча б частково.
- Забагато варіантів на малому бюджеті. П’ять оферів по 20% трафіку — це п’ять маленьких вибірок, жодна з яких нічого не доведе.
- Вічний тест. Коли впевненість отримано, вимикайте того, хто програв: кожен клік на гірший варіант — недоотриманий прибуток.
Підсумок
Спліт-тест — це не «закинути два офери й подивитися», а дисципліна: одна змінна за раз, однаковий і очищений від ботів трафік, порівняння за грошима, а не за заявками, і терпіння до статистичної впевненості. Ротація за вагами, закріплення відвідувача і звіт за оферами дають інструменти, але рішення «досить даних чи ні» однаково лишається за вами. Коли переможця знайдено, наступний крок — порахувати, скільки він насправді заробляє: про це йдеться в статті як рахувати ROI.
