Розумний фільтр трафіку (smart traffic filter) — це система виявлення ботів, яка ухвалює рішення щодо візиту не за одним правилом, а за поєднанням багатьох ознак: мережі, браузера, поведінки та історії. Вона зводить сигнали в загальну оцінку довіри, навчається на минулих даних — хто виявився ботом, а хто приніс гроші — і підлаштовує захист під конкретний трафік.
Простий фільтр відповідає на питання «чи порушено правило». Розумний — на питання «наскільки цей візит схожий на людину, яка нам потрібна». Нижче розберемо, з чого складається така система, чим вона краща за набір правил, де її слабкі місця і чому без прозорості рішень їй не можна довіряти.
Чим розумний фільтр відрізняється від набору правил
Класичний фільтр — це список умов: країна не зі списку — заглушка, IP з датацентру — заглушка, немає JavaScript — заглушка. Для очевидного це працює, але на спірних випадках ламається.
| Набір правил | Розумний фільтр трафіку | |
|---|---|---|
| Як вирішує | Одне правило спрацювало — відмова | Ознаки складаються в оцінку довіри |
| Спірні візити | Або ріже всіх, або пропускає всіх | Сумнівна ознака додає підозри, але сама нічого не вирішує |
| Адаптація | Лише ручна правка | Навчається на історії та спільному досвіді |
| Нові боти | Поки правила не написали — проходять | Схожість на відомих ботів ловить і нові варіанти |
| Ризик | Передбачуваний, але грубий | Тонший, але потребує контролю й пояснень |
Візьмімо візит через VPN. Набір правил змушений обирати: блокувати всі VPN і втратити частину живих людей або пропускати всі й пустити ботів. Розумний фільтр урахує VPN як одну з ознак: якщо решта гаразд — браузер справжній, скрипт виконався, прийшла мітка кліку майданчика, — візит пройде; якщо до VPN додалися мережа хостингу й сліди автоматизації, справу вирішить сума підозр.
Важливо: розумний фільтр не скасовує правил. Явні випадки — програма замість браузера, адреса з чорного списку, не та країна — як і раніше відсікаються одразу. «Розум» потрібен для середини, де правило помиляється в обидва боки. Загальну схему шарів захисту ми розбирали в статті про те, як відфільтрувати ботів.
З чого складається система виявлення ботів
Будь-яка сучасна bot detection system складається з чотирьох частин.
1. Сигнали
Що більше незалежних ознак, то важче ботові підробити їх усі одночасно:
- Мережа: тип адреси (домашня, мобільна, хостинг), VPN і проксі, провайдер, ASN — докладніше в статті про VPN, проксі та IP датацентрів;
- Запит: заголовки, рядок user agent, мітка кліку майданчика, сайт-джерело; чому рядок UA сам по собі мало що доводить, — у матеріалі про фільтрацію за user agent;
- Браузер: виконання JavaScript, ознаки автоматизації, узгодженість властивостей — див. статтю про headless-браузери та відбиток браузера;
- Поведінка: час на сторінці, рухи миші й дотики;
- Історія: чи траплялася ця адреса раніше і чим закінчилися минулі візити.
2. Оцінка довіри
Сигнали зводяться в одну величину — оцінку довіри (trust score). Кожна підозріла ознака знижує довіру, і якщо підозр набралося забагато, візит відсіюється. Вага кожної ознаки залежить від контексту: відсутність сайту-джерела підозріла для одних майданчиків і цілком нормальна для інших.
3. Навчання
Навчання відповідає на питання, якого правила не ставлять: як виглядають саме ваші боти і саме ваші покупці. Модель дивиться на історію — які візити закінчилися оплатою, а які виявилися ботами — і знаходить закономірності, які людина не стала б формулювати як правило.
4. Пам’ять
Бот, якого впевнено впіймали один раз, найпевніше прийде знову. Спільний список доведених ботів дає змогу не перевіряти його заново: наступний візит із тієї самої адреси відсікається одразу. Що більше трафіку бачить система, то кориснішою стає ця пам’ять, — тому її роблять спільною для всіх клієнтів сервісу.
Навчання на історії: як фільтр стає розумнішим
Навчання — найсильніша і найпідступніша частина розумного фільтра.
Найсильніша, бо модель бачить те, що пропустили правила. Бот, який бездоганно вдав із себе браузер, однаково поводиться не так, як ваші покупці: інші години, інші мережі, інше поєднання ознак. Модель, навчена на історії акаунта, помічає цю несхожість.
Найпідступніша, бо модель навчається на тому, що їй показали. Якщо в історії мало конверсій, вона погано уявляє собі покупця. Якщо трафік змінився — новий майданчик, нове гео, нові креативи, — старі закономірності перестають працювати. Тому добрі системи навчання мають три захисні механізми:
- Спільна модель на старті. Поки власних даних мало, працює модель, навчена на багатьох акаунтах.
- Регулярне перенавчання. Модель оновлюється на свіжих даних, а не живе роками на старому зрізі.
- Запобіжник за конверсіями. Якщо модель почала відсікати помітну частку відвідувачів, які платять, вона вимикається, а не ріже гроші далі.
Спільний список доведених ботів
Список ботів працює як колективний імунітет: те, що впіймали в одного клієнта, більше ні в кого не пройде. Але в нього є очевидний ризик — занести туди живу людину. Адреса мобільного оператора, на якій сьогодні сидів бот, завтра може дістатися звичайному абонентові.
Тому в такий список має сенс заносити лише доведених ботів, а не всіх підозрілих, і зберігати записи з різним строком: адреси хостингів і датацентрів змінюють власників рідко, домашні й мобільні — часто. Докладніше про те, як влаштовані списки адрес, — у статті про чорний список IP.
Автоматичне підлаштування захисту
Останній щабель — система, яка не лише вирішує щодо кожного візиту, а й змінює власні налаштування: вмикає захист, що ловив би ботів на цьому трафіку, або знімає правило, яке відсікає відвідувачів, що платять. Це заощаджує час баєра, але потребує трьох обмежень:
- Маленькі кроки. Одна зміна за раз і не частіше за певний інтервал — інакше не зрозуміти, що саме вплинуло на результат.
- Недоторканні рішення. Гео, пристрої й розклад — бізнесові рішення, а не захист; автоматика не повинна їх чіпати.
- Скасування. Кожну зміну має бути видно з поясненням, і її можна скасувати однією кнопкою.
Ризики: коли розумний фільтр відсікає живих
Головний ризик будь-якого фільтра — хибні спрацювання. У розумного він менш помітний, бо рішення складається з багатьох маленьких внесків і не зводиться до одного зрозумілого правила.
Ознаки того, що фільтр ріже людей:
- конверсія падає разом зі зростанням відсіву, хоча майданчик і креативи не змінювалися;
- до офера доходить зовсім мала частка візитів — це привід перевірити налаштування, особливо на закупному трафіку з міткою кліку;
- відсів зростає на кроці перевірки браузера — саме там фільтр помиляється найчастіше;
- у відсіві багато вбудованих браузерів соцмереж і мобільних мереж.
Зверніть увагу: зворотного правила немає. Висока частка проходу сама по собі не свідчить про поганий захист. У закупного джерела з перевіреним click id до офера може доходити більшість візитів, і це нормально. Як відрізнити добрий трафік від поганого за звітами, розібрано в статті про ознаки бот-трафіку.
Порада. Перш ніж посилювати захист, подивіться, кого він відсік би, нікого не відсікаючи. Режим спостереження коштує недорого, а відрізаних конверсій назад не повернеш.
Прозорість рішень: без неї розумному фільтру не можна довіряти
Що складніша система, то важливіше, щоб вона пояснювала кожне рішення. Без цього ви не відрізните захист від поломки. Мінімальний набір прозорості:
- Причина в кожної відмови — не «заблоковано», а конкретно: мережа хостингу, ознаки автоматизації, не та країна, схоже на ботів акаунта.
- Розбір окремого візиту — які сигнали надійшли і які висновки з них зроблено.
- Крок, на якому відсіяно трафік — мережа, браузер чи поведінка; це показує, який шар помиляється.
- Журнал автоматичних змін — що, коли й чому змінилося саме собою.
Якщо система не вміє хоча б цього, слово «розумний» в її описі нічого не варте. Докладніше про критерії вибору — у статті як вибрати сервіс фільтрації трафіку.
Як влаштований розумний фільтр трафіку в ArtisanClo
Фільтр ArtisanClo складається з тих самих частин, і кожна має зрозуміле пояснення в кабінеті.
Правила для явного. Частина перевірок відсікає візит одразу: чорні списки IP, явний робот-браузер, сервіси перевірки оголошень, програми замість браузера, правила аудиторій — країна, пристрій, розклад.
Оцінка довіри для спірного. Решта ознак — VPN, датацентр, IPv6, відсутність провайдера чи сайту-джерела, відсутність JavaScript та інші — складаються в оцінку довіри. Перемикачі захисту визначають, скільки важить кожна ознака, а рівні суворості «М’яко», «Баланс» і «Суворо» добирають під майданчик джерела.
Розумний захист — навчання на історії. Починаючи з тарифу Professional, у «Діагностиці» є вкладка «Розумний захист». Модель навчається на історії вашого акаунта: за кого вам заплатили, а хто виявився ботом. Вона перевіряє лише тих, кого вже пропустили інші правила, і відправляє на White Page візити, схожі на ваших ботів. Поки власних даних мало, працює спільна модель. Модель перенавчається щоночі й вимикається сама, якщо починає відрізати помітну частку конверсій.
Спільний список ботів. Сервіси перевірки оголошень, програми замість браузера, роботи-браузери з доведеними ознаками й роботи майданчиків для прев’ю потрапляють до спільного списку з першого ж разу, і їхній наступний візит у будь-який потік будь-якого клієнта одразу отримує White Page з причиною «Відома адреса бота». Живих відвідувачів із сумнівною мережею, VPN чи без JavaScript туди не заносять. Адреси датацентрів і хостингів зберігаються практично безстроково, домашні й мобільні — обмежений час. Крім того, адреса, впіймана на автоматизації одразу в кількох клієнтів, протягом години потрапляє до спільного чорного списку IP.
Автопілот — автоматичне підлаштування. Починаючи з Professional, автопілот щогодини дивиться на потік і робить не більше однієї зміни за раз: вмикає захист, якщо той упіймав би достатньо ботів і не зачепив би жодної оплати, або знімає правило, яке відсікало відвідувачів з оплатами. Гео, пристроїв і розкладу він не чіпає ніколи. Кожну зміну видно в журналі автопілота з поясненням, її можна скасувати — і після скасування автопілот цього налаштування більше не чіпає.
Прозорість. Кожен клік у журналі має рішення і причину з десятків можливих. У статистиці видно, на якому кроці відсіяно трафік: мережа й запит, перевірка браузера чи перевірка не повернулася. «Розбір візиту» показує всі сигнали й підсумкове рішення щодо одного візиту, а рекомендації в «Діагностиці» проганяють минулі візити через поточні налаштування й показують, який фільтр ріже трафік із конверсіями. Тіньовий режим на PHP-файлі та в зв’язці з Keitaro чи Binom показує, кого фільтр відсік би, нікого не відсікаючи. Якщо клік пішов не туди, почніть зі статті чому клік пішов на White Page.
Усі можливості захисту зібрано на сторінці можливостей, умови тарифів — на сторінці тарифів.
Підсумок
Розумний фільтр трафіку — це правила для очевидного, оцінка довіри для спірного, навчання для того, чого правилами не опишеш, і спільна пам’ять про доведених ботів. Його сила в тому, що він бачить поєднання ознак і підлаштовується під ваш трафік. Його ризик — у тому, що помилки тонші й помітити їх важче. Тому обирайте систему не за обіцянками «ловить усіх ботів», а за тим, наскільки ясно вона пояснює кожне рішення, чи вміє спостерігати без відсіву і чи зупиняється сама, коли починає різати відвідувачів, які платять.
