Ботів у рекламному трафіку не вийде «вимкнути» одним налаштуванням: вони дуже різні — від примітивного скрипта, що смикає посилання із сервера, до повноцінного браузера під керуванням програми, запущеного з домашньої мережі. Тому фільтрація трафіку від ботів будується як воронка, де кожен шар відсікає свій клас автоматики, а жива людина проходить усі шари, навіть не помічаючи цього.
Нижче — схема, за якою працюють зрілі системи захисту від ботів, і практичні поради, як налаштувати її під конкретне джерело.
Навіщо взагалі фільтрувати ботів у рекламі
У баєра (фахівця, який закуповує рекламу) є три причини тримати антибот на кожній кампанії:
- Гроші. Платний клік від бота — це витрата без жодного шансу на конверсію. На CPC-моделях ви платите за кожного такого відвідувача напряму.
- Захист зв’язки. Спай-сервіси й парсери обходять рекламні посилання, щоб зібрати креативи, лендинги й офери. Якщо вони бачать вашу зв’язку цілком, за тиждень на неї вже ллють конкуренти, і ціна кліку зростає.
- Чиста статистика. Оптимізація за даними з ботами — це оптимізація за шумом: ви вимикаєте робочі зв’язки й масштабуєте сміттєві майданчики.
Докладніше про те, як спай-сервіси збирають зв’язки, — у статті про захист від спай-сервісів, а про накрутку кліків — у матеріалі скліковування та клік-фрод.
Які боти приходять за рекламним посиланням
Перш ніж будувати фільтр, варто розуміти, від кого він захищає. Ознаки кожного класу докладно розібрано в статті бот-трафік: ознаки і як його розпізнати, тут — коротка класифікація.
| Клас | Хто це | Чим зазвичай себе видає |
|---|---|---|
| Роботи для прев’ю | краулери, що підтягують заголовок і картинку посилання | відомі user-agent, мережі майданчиків і месенджерів, немає мітки кліку |
| Спай-сервіси та сканери | системи, що збирають чужі креативи й лендинги | дата-центри, повторні заходи, автоматизований браузер |
| Програми замість браузера | скрипти на curl, Python, парсери | не виконують JavaScript, дивні заголовки |
| Headless-браузери | Chrome без вікна під керуванням програми | сліди автоматизації в оточенні браузера |
| Клік-фрод | накрутка кліків конкурентами або майданчиком | серії візитів зі схожих адрес, нульова поведінка |
| Нецільові люди | конкуренти, візити з чужого гео, переслані посилання | без рекламної мітки, інша країна, VPN або корпоративна мережа |
Останній клас — найскладніший: формально це людина, але платити за неї та вести на офер немає сенсу — заявку з чужої країни мережа не прийме, а конкурент нічого не купить. Тут працюють не так ознаки бота, як контекст візиту: гео, мітка кліку, мережа.
Шар 1. Мережа і запит
Перший і найдешевший шар перевіряє те, що відомо ще до завантаження сторінки: IP-адресу, мережу, заголовки запиту, параметри посилання.
IP-адреса та мережа (ASN)
Кожна IP-адреса належить певній автономній системі — ASN, мережі конкретного оператора. Домашній провайдер, мобільний оператор, хмарний хостинг і VPN-сервіс — це різні мережі з різною репутацією. Візит із мережі хостингу в рекламному трафіку майже завжди означає сервер, а не людину з телефоном. Як саме розрізняють такі мережі, розібрано в статті про VPN, проксі та IP дата-центрів.
Чорні списки адрес
Якщо адресу вже впевнено впіймали на автоматизації, перевіряти її знову немає сенсу. Загальні списки відомих ботів і власний чорний список IP відсікають повторних відвідувачів миттєво й без витрат на перевірки.
Заголовки та мітка кліку
User-agent, мова браузера, наявність реферера, параметри на кшталт fbclid чи gclid — усе це дешево перевірити. Прості скрипти часто надсилають неповний або суперечливий набір заголовків. А відсутність рекламної мітки під час переходу з реклами — привід придивитися уважніше. Що саме видає цей рядок і де він бреше — у статті про фільтрацію за user agent.
Правила кампанії
Сюди ж належать ваші власні обмеження: країна, пристрій, мова, розклад. Якщо ви ллєте на Німеччину, візит з іншої країни можна відсікти, не з’ясовуючи, бот це чи ні. Докладно — у статті про фільтрацію за гео, мовою, пристроєм і розкладом.
Порада. Мережевий шар найменше зачіпає живих людей: тут спрацьовують ознаки, які у звичайного покупця майже не трапляються. Починайте налаштування саме звідси.
Шар 2. Перевірка браузера
Другий шар — скрипт, який виконується в браузері відвідувача й збирає відомості про оточення. Це те, що просунутому ботові підробити вже складніше.
- Чи виконується JavaScript узагалі. Програми на кшталт curl скрипт не виконують — і на цьому їхній шлях закінчується.
- Сліди автоматизації. Прапорці керування браузером, розбіжності між заявленим браузером і його реальними можливостями, деталі, характерні для headless-режиму. Докладно — у статті про headless-браузери та відбиток браузера.
- Узгодженість даних. Часовий пояс браузера проти країни IP, мова системи проти гео, розмір екрана проти заявленого пристрою. Окремо розбіжність нічого не означає, разом — складається в картину.
Тут важливе застереження: на цьому шарі фільтр помиляється найчастіше. Вбудовані браузери соцмереж і WebView у застосунках інколи виглядають «дивно» — і водночас приводять живих людей. Тому одинична ознака не повинна вирішувати долю візиту — вона має лише додавати підозри.
Шар 3. Поведінка
Третій шар — те, як відвідувач поводиться на сторінці: рухи миші й пальця, швидкість реакції, скільки часу минуло до дії. Людина рухається нерівно й з паузами, програма — або ніяк, або надто ідеально.
Поведінкові перевірки ловлять найдорожчих ботів, але й обходяться дорожче: їм потрібно трохи часу, щоб накопичити спостереження. Вмикати їх варто на дорогому трафіку, де кожен пропущений бот коштує відчутних грошей, і на джерелах, де багато просунутої автоматики.
Оцінка довіри замість одного правила
Головна помилка саморобних фільтрів — правило «побачив ознаку — заблокував». Так ріжуть живих людей: VPN буває у звичайного користувача, реферер губиться у вбудованому браузері, IPv6 є в мобільних операторів.
Правильніше поділити перевірки на два типи:
- Жорсткі — явний бот, відома адреса, порушення вашого правила аудиторії. Такі візити відсікаються одразу.
- М’які — сумнівні ознаки. Кожна додає штраф до оцінки довіри, і лише коли сума перевищує поріг, відвідувач бачить безпечну сторінку.
За такої схеми одна слабка ознака не відправляє людину на White Page, а бот, у якого «не так» одразу п’ять речей, упевнено туди потрапляє. За тим самим принципом — правила, скоринг і списки — влаштована будь-яка антифрод-система.
Як налаштувати фільтрацію ботів: покроково
- Визначте джерело. У Facebook, Google, TikTok і нативних мереж різний профіль трафіку: десь реферер губиться, десь багато повторних показів. Налаштування «для всіх» майже завжди гірші за підібрані під майданчик. Приклад такого розбору для пошукової реклами — стаття захист від скліковування.
- Оберіть рівень суворості. Почніть зі збалансованого: відсікаються відомі боти, VPN, проксі й дата-центри, але не зачіпаються ознаки, на яких часто спотикаються живі люди.
- Задайте аудиторію. Країни, пристрої, мови — відповідно до офера. Це найзрозуміліший і найбезпечніший фільтр.
- Підготуйте White Page. Відсіяні візити мають кудись потрапити: потрібна звичайна сторінка за тематикою сайту, а не порожній екран чи 403. Порожню відповідь бот сприймає як сигнал переналаштуватися, а випадково відсіяна людина — як зламаний сайт.
- Запустіть і дивіться журнал. Перші сотні кліків покажуть, кого й чому відсікає фільтр.
- Коригуйте точково. Якщо відсікаються явно живі люди — послаблюйте конкретну перевірку, а не весь захист.
Як це влаштовано в ArtisanClo
В ArtisanClo фільтрація ботів налаштовується на кроці «Фільтрація» у формі потоку. Головні важелі:
- Суворість перевірок — «М’яко», «Баланс» і «Суворо». Коли ви обираєте джерело трафіку, захист підлаштовується під майданчик: наприклад, для Facebook перевірку реферера вимкнено, бо у вбудованому браузері він часто губиться.
- Перемикачі захисту — блокування за чорними списками IP, VPN і проксі, ASN дата-центрів, headless-браузерів, обов’язкове виконання JavaScript, перевірка живої взаємодії та інші.
- Аудиторії — списки країн, пристроїв, ОС, браузерів, мов, часових поясів, міст і регіонів у режимі «Дозволити» або «Заблокувати».
Частина перевірок відсікає візит одразу: чорні списки, явний робот-браузер, правило аудиторії. Решта складається в оцінку довіри. Спай-сервіси, програми замість браузера й роботи для прев’ю посилань ідуть на White Page за будь-яких налаштувань. А адреса, яку впевнено розпізнали як бота в будь-якого клієнта, потрапляє до загального списку, і її наступний візит у будь-який потік одразу отримує White Page.
Кожне рішення пояснюється причиною в журналі кліків: «VPN або проксі», «Явний headless-браузер», «Низький Trust Score» і десятки інших. Над списком причин у статистиці видно, на якому кроці відсіяно візити: мережа й запит, перевірка браузера чи перевірка, яка не повернулася. Якщо зростає частка відмов на перевірці браузера, це привід переглянути суворість — саме там помилки найімовірніші.
Сумніваєтеся, чи не ріже фільтр живих? Увімкніть тіньовий режим на кілька годин: під час підключення PHP-файлом фільтр нікого не відсікає, а лише позначає, кого заблокував би. Повний перелік можливостей — на сторінці можливостей ArtisanClo.
Типові помилки під час фільтрації ботів
- Максимальна суворість «про всяк випадок». Жорсткі налаштування разом із ботами ріжуть і частину живих покупців. Суворий рівень виправданий на джерелах із великою часткою ботів і після того, як ви подивилися на свій трафік, а не всюди.
- Оцінка фільтра за часткою проходу. Висока частка візитів, що дійшли до офера, — не ознака поганого захисту: у закупного трафіку з перевіреною міткою кліку вона буває дуже високою, і це нормально. Тривожно, навпаки, коли до офера майже ніхто не доходить.
- Блокування за однією ознакою. VPN, відсутність реферера, IPv6 окремо трапляються й у людей.
- Скрипт захисту підключено асинхронно. Якщо код перевірки запускається після показу сторінки, бот встигає побачити офер. Код має завантажуватися першим — про це в статті як підключити клоаку до сайту.
- Немає зворотного зв’язку. Фільтр без журналу причин — чорна скринька. Ви не дізнаєтеся, що ріже його налаштування, доки не впадуть конверсії.
Як перевірити, що фільтрація ботів працює
Налаштувати захист — половина справи. Друга половина — переконатися, що він відсікає саме тих, кого треба. Кілька простих перевірок перед запуском і в перші дні:
- Відкрийте посилання як бот. Зайдіть на лендинг із мережі хостингу або через VPN, без рекламної мітки кліку. Ви маєте побачити безпечну сторінку, а не офер.
- Відкрийте посилання як покупець. З телефона через мобільний інтернет, за посиланням із міткою кліку майданчика. Має відкритися офер — без помітної затримки.
- Перевірте вбудований браузер. Надішліть посилання собі в месенджер або відкрийте із застосунку соцмережі: живий трафік часто приходить саме так.
- Подивіться перші сотні кліків. Які причини відмови трапляються найчастіше? Якщо лідирує те, що в ботів майже не буває, — фільтр перестарався.
- Порівняйте з конверсіями. Якщо кліки проходять, а лідів немає, шукайте проблему не лише в ботах: перевірте офер, форму й передавання конверсій.
Порада. Додайте свої тестові пристрої до білого списку IP потоку — інакше ви боротиметеся з власним захистом і плутатимете свої візити з чужими.
Підсумок
Надійно відфільтрувати ботів можна лише шарами: мережа й адреса, перевірка браузера, поведінка — і оцінка довіри поверх них, щоб одна випадкова ознака не коштувала вам живого покупця. Налаштовуйте захист під джерело, починайте зі збалансованого рівня, дивіться причини рішень і посилюйте точково. Фільтр не гарантує, що акаунт не забанять — на це впливають і креативи, і домен, і сам офер, — і не замінює дотримання правил майданчика. Його завдання інше: щоб бюджет ішов на людей, статистика показувала реальну картину, а зв’язку не забрали спай-сервіси.
