Якщо після запуску кампанії CTR виглядає чудово, кліків багато, а заявок немає, — насамперед підозрюють бот-трафік. Інколи слушно, інколи ні: поганий офер або зламана форма дають схожу картину. Щоб не гадати, корисно знати, за якими ознаками недійсний трафік видно на різних рівнях — від одного візиту до зведення за тиждень.
Що таке бот-трафік і звідки він береться
Бот-трафік — будь-які візити, які здійснює програма, а не людина. Це не обов’язково злий умисел. За рекламним посиланням приходять:
- роботи рекламних майданчиків — перевіряють посадкову сторінку і будують прев’ю посилання;
- сервіси перевірки оголошень і спай-сервіси — збирають креативи й лендинги чужих кампаній (про захист від них — у статті захист від спай-сервісів);
- сканери й краулери — індексують усе, що бачать у відкритому доступі;
- фрод-трафік — накрутка показів і кліків на майданчиках з оплатою за клік і показ;
- скликування — навмисні кліки конкурентів або ботнетів, про нього — у статті про клік-фрод, а про скликування в пошуковій рекламі — у матеріалі захист від скликування.
У рекламній індустрії такий трафік ділять на два типи. GIVT (general invalid traffic) — загальний недійсний трафік, який відсікається простими правилами: відомі краулери, мережі датацентрів. SIVT (sophisticated invalid traffic) — складний, що маскується під людину. Цей поділ знадобиться далі: ознаки в цих типів різні.
Ознаки бота на рівні мережі
Перше, що видно про візит, — його IP-адреса й мережа.
Мережа хостингу чи хмари
Звичайна людина виходить в інтернет через домашнього провайдера або мобільного оператора. Якщо візит прийшов із мережі хмарного хостингу, це майже напевно сервер — скрипт, сканер або проксі. Належність адреси до мережі визначають за ASN — номером автономної системи. Докладніше — у матеріалі VPN, проксі та IP датацентрів.
VPN і проксі
VPN буває й у живих людей, тож сам по собі він не вирок. Але в поєднанні з іншими ознаками — розбіжністю часового поясу, нерідною мовою браузера, відсутністю рекламної мітки — це сильний сигнал.
Повтори з однієї адреси
Десятки кліків з однієї IP за добу — класика накрутки й парсингу. У живої людини буває два-три заходи: відкрила, повернулася, оновила сторінку. Далі вже виникають питання.
Немає провайдера
Якщо для адреси не визначається провайдер, зазвичай це серверна адреса, а не абонент.
Ознаки бота на рівні запиту й браузера
Дивні або неповні заголовки
Прості скрипти надсилають мінімальний набір заголовків, застарілий чи шаблонний user-agent, не передають мову. Браузер так не робить: у нього завжди повний і узгоджений набір.
Немає JavaScript
Програма замість браузера — curl, бібліотеки HTTP-запитів, багато парсерів — не виконує скриптів. Якщо перевірка в браузері не повернула відповіді, це одна з найнадійніших прикмет автоматики.
Сліди автоматизації
Headless-браузер виконує JavaScript, але лишає сліди: прапорці керування, відсутність звичних плагінів і шрифтів, розбіжність заявленої версії з реальними можливостями. Це ознаки SIVT — про них докладно в статті про headless-браузери й відбиток браузера.
Неузгодженість
- часовий пояс браузера не збігається з країною IP;
- мова системи не відповідає гео;
- екран «мобільний», а набір можливостей — як у настільного сервера;
- заявлено iPhone, а поводиться як Chrome на Linux.
Окремо таке трапляється в мандрівників і в корпоративних мережах. Разом — ні.
Ознаки бота в поведінці
| Ознака | Людина | Бот |
|---|---|---|
| Час на сторінці | секунди й хвилини, різний | нуль або однаковий до мілісекунди |
| Рухи миші й пальця | нерівні, з паузами | відсутні або ідеально прямі |
| Прокручування | ривками, з поверненнями | немає або рівномірне |
| Клік по кнопці | після читання | миттєво або ніколи |
| Повторні візити | рідкі | серійні, за розкладом |
Поведінкові ознаки найсильніші, але на них потрібен час: за частку секунди поведінки не набереш.
Ознаки бот-трафіку в статистиці кампанії
Коли окремих візитів не розібрати, дивіться на агрегати. Ось що має насторожити:
- Кліки є, конверсій немає взагалі. Не зниження, а нуль на помітному обсязі.
- Сплески в нехарактерні години. Нічні піки в гео, де всі сплять, — часта ознака автоматики.
- Один майданчик (зона, сайт) дає непропорційно багато кліків. У нативі й пуші так виглядають фродові майданчики.
- Високий CTR за нульової залученості. Клікають, але ніхто не доходить до форми.
- Конверсії є, апруву немає. Фрод-ліди проходять форму, але мережа їх відхиляє — стежте за статусами конверсій.
- Однорідний трафік. Одна модель телефона, одна версія браузера, одна роздільна здатність у сотень «різних» відвідувачів.
Порада. Передавайте номер майданчика, зони чи сайту в мітку кампанії — наприклад,
sub1={zoneid}. Тоді у звіті одразу видно, які майданчики дають ботів, і їх можна вимкнути в самій рекламній мережі.
Ознаки, які помилково вважають ботами
Не кожна дивина — бот. Часті хибні тривоги:
- Вбудовані браузери соцмереж і WebView. У них бувають незвичні user-agent і ознаки, схожі на автоматизацію, а реферер часто губиться.
- Корпоративні мережі й мобільні оператори. Багато людей за однією адресою — і ось уже «десять кліків з IP».
- IPv6. У багатьох мобільних операторів це норма.
- Швидкі покупці. Людина, яка вже бачила офер або вирішила купити заздалегідь, може натиснути кнопку за пару секунд. Короткий час на сторінці сам по собі — не доказ автоматики.
- Переслані посилання. Друг переслав посилання в месенджері — візит не має рекламної мітки й реферера, хоча це живий і часто дуже теплий відвідувач.
- Висока частка проходу на офер. Це не ознака ботів. У закупного трафіку з перевіреною міткою кліку до офера може доходити дуже велика частка візитів, і це нормально. Навпаки, якщо проходить зовсім мало, варто перевірити, чи не ріже фільтр живих людей.
Тому зрілі системи не відсікають візит за однією м’якою ознакою, а складають їх в оцінку довіри. Що більше незалежних ознак збігається, то впевненіший висновок і то менший шанс, що на безпечну сторінку піде покупець.
Як розпізнавати бот-трафік в ArtisanClo
В ArtisanClo кожен візит проходить перевірки по черзі — мережа й запит, перевірка браузера, поведінка — і отримує рішення з поясненням. У журналі кліків видно, чому візит відсіяно чи пропущено; у картці кліку — мережу (VPN, проксі, датацентр), пристрій, браузер, рекламну мітку, пройдені перевірки й конверсії.
Причини згруповано так, як зручно для розбору:
- Бот / автоматизація — роботи майданчиків, сервіси перевірки оголошень, спай-сервіси, роботи-браузери, програми замість браузера;
- Серверний трафік — датацентри, хостинги, проксі-мережі;
- Правило кампанії — спрацювало ваше налаштування: гео, пристрій, розклад, ліміт кліків з адреси, VPN, оцінка довіри, чорний список.
У статистиці над причинами показано частки трьох кроків «Де відсіяно» — за аналогією з поділом на GIVT і SIVT: мережа й запит, перевірка браузера і перевірка не повернулася. Перший крок — простий недійсний трафік, другий — боти, що прикидаються людьми, третій — програми без JavaScript.
А на дашборді є індекс якості трафіку — оцінка самого трафіку: найбільшу вагу в ньому має частка живих відвідувачів без урахування перевірок майданчика. Якщо трафік погіршився, під балом буде написано, що саме стало слабким місцем. Як самостійно оцінити якість трафіку шарами, розповідаємо в окремій статті. Докладніше про розбір окремих рішень — у статті чому клік пішов на White Page.
Що робити, коли ознаки бот-трафіку знайдено
- Визначте джерело. Ботів приносить конкретний майданчик, зона чи кампанія — знайдіть їх за мітками.
- Вимкніть сміттєві майданчики в самій мережі. Фільтр захищає лендинг, але за клік ви все одно платите.
- Посильте захист точково. Якщо боти з датацентрів — увімкніть блокування ASN; якщо headless — перевірку браузера й живої взаємодії.
- Заблокуйте адреси, що повторюються. Власний чорний список IP знадобиться для конкретних настирливих відвідувачів.
- Запросіть повернення коштів у майданчика. Багато мереж повертають гроші за доведений недійсний трафік — журнал із причинами тут слугує аргументом.
Загальну схему налаштування захисту описано в статті як відфільтрувати ботів.
Швидка перевірка трафіку: чек-лист на 15 хвилин
Якщо немає часу розбиратися з кожним візитом, пройдіться списком. Кожен пункт — окреме запитання до журналу візитів або звіту за останню добу-дві.
- Яка частка візитів прийшла з мереж хостингів і датацентрів? Для рекламного трафіку із соцмереж і пошуку ця частка має бути невеликою. Якщо вона помітна, шукайте джерело: конкретну кампанію, майданчик, зону.
- Чи є адреси з десятками візитів? Відсортуйте за адресою. Пара заходів — норма, серії — ні.
- Скільки візитів не виконали скрипт перевірки? Програми без JavaScript відсіюються саме так. Велика частка — ознака парсерів і простих ботів.
- Чи збігаються гео візитів із гео таргетингу? Чужі країни в журналі — це модератори, VPN або боти.
- Як розподілені візити за годинами? Рівна «полиця» цілодобово в одній країні — поганий знак: жива аудиторія спить.
- Чи однорідні пристрої? Сто візитів з однаковою моделлю й версією браузера — це не аудиторія, а скрипт.
- Як поводяться конверсії? Порівняйте CR і апрув за джерелами: якщо в одного джерела ліди є, але майже всі відхиляються, ймовірна фродова накрутка форм. Що робити, коли боти залишають заявки на сайті, розібрано окремо.
Якщо за двома-трьома пунктами відповідь тривожна, трафік майже напевно містить помітну частку ботів. Далі вирішуйте, що з ним робити: фільтрувати на своєму боці, вимикати майданчик чи вимагати повернення коштів. Список майданчиків та їхніх особливостей зібрано в каталозі джерел трафіку.
Коротко
Бот-трафік видає себе на чотирьох рівнях: мережа (хостинги, VPN, повтори з адреси), браузер (немає JavaScript, сліди автоматизації, неузгодженість), поведінка (нульовий час, відсутність рухів) і статистика (кліки без конверсій, сплески, однорідність). Жодна ознака сама по собі не доводить, що це бот, — вирішує їх поєднання. І не плутайте високу частку проходу з поганим захистом: про проблему свідчить радше протилежне.
