Кожен візит приходить з IP-адресою, і про адресу можна багато дізнатися ще до того, як браузер виконає бодай рядок скрипта: хто нею володіє, у якій країні її зареєстровано, з якої вона мережі й що з неї приходило раніше. Сукупність цих відомостей і називають репутацією IP. Нижче розбираємо, з чого вона складається, звідки беруться списки «поганих» адрес і де їх застосування перетворюється із захисту на втрату покупців.
Ідеться про репутацію адрес відвідувачів вашої реклами — про те, як фільтр оцінює вхідний трафік.
Що таке репутація IP-адреси
Репутація IP — оцінка того, наскільки можна довіряти візиту з конкретної адреси, на основі її історії та належності. Її складають кілька шарів:
| Шар | Питання | Приклад висновку |
|---|---|---|
| Належність | Кому належить адреса і який це тип мережі? | Хостинг-провайдер, домашній провайдер, мобільний оператор |
| Історія | Що з цієї адреси помічали раніше? | Спам, сканування, боти, перевірки реклами |
| Сусідство | Як поводяться сусідні адреси в підмережі та мережі? | Уся підмережа здається під проксі |
| Свіжість | Коли була остання подія? | Учора — важливо, рік тому — майже ні |
Репутація — не бінарне «добра/погана», а ступінь довіри. Вона добре працює як один із сигналів і погано — як єдиний.
Звідки беруться списки поганих IP
Джерела даних про репутацію адрес дуже різняться за точністю та призначенням.
Публічні списки зловживань
Найстаріші — списки для боротьби зі спамом (їх часто називають DNSBL): поштові сервери перевіряють за ними відправника. Є списки адрес, помічених в атаках, скануванні портів, підборі паролів. Вони загальнодоступні, але створені під інші завдання: адреса, що розсилала спам, не обов’язково бот у рекламі, і навпаки.
Пастки й сенсори
Спеціальні сервери-приманки, на які не має заходити жодна людина. Усе, що туди прийшло, — автоматика. Такі дані точні щодо сканерів і ботів, але мало говорять про рекламний фрод.
Комерційні бази IP-аналітики
Сервіси, що збирають відомості про кожну адресу: власника, тип мережі, ознаки VPN, проксі, хостингу, Tor, іноді — оцінку ризику. Це основне джерело для антифроду. Докладно про те, як за такими даними визначають VPN і проксі, — у статті про VPN, проксі та IP дата-центрів.
Власні спостереження сервісу захисту
Найцінніший для реклами шар: адреси, на яких сервіс фільтрації сам спіймав бота, автоматизований браузер, модератора рекламного майданчика чи спай-сервіс. Такі дані створюються саме під завдання — відрізнити перевірку й автоматику від живого відвідувача реклами.
Ваш власний чорний список
Адреси, які ви внесли самі: конкурент, власні тестові пристрої, настирливий бот. Як його вести, розібрано в статті чорний список IP в арбітражі.
ASN і підмережі: репутація не лише в адреси
Одна адреса — дрібна одиниця. Часто корисніше дивитися на групу, до якої вона входить.
ASN (номер автономної системи) — ідентифікатор мережі, якою керує одна організація: провайдер, хостинг, хмара, велика компанія. З ASN видно, кому належить адреса, і це одна з найнадійніших ознак: мережа хмарного хостингу залишається мережею хостингу, хоч яка адреса з неї прийшла.
Підмережа — діапазон сусідніх адрес, зазвичай записаний у форматі CIDR, наприклад 203.0.113.0/24 — це 256 адрес. Провайдери роздають адреси блоками, і сусідні адреси часто належать одному клієнтові — скажімо, проксі-сервісу, що орендував увесь блок.
Репутація на рівні мережі та підмережі корисна, коли йдеться про:
- адреси дата-центрів — живий читач новин не виходить в інтернет із хмарного сервера;
- адреси проксі-сервісів — здаються блоками, і помічена частина блоку свідчить про сусідів;
- модераторів майданчиків, які приходять із певних мереж.
І шкідлива, коли мережа — це провайдер для людей: блокування за ASN великого мобільного оператора — це блокування мільйонів абонентів.
Спільні IP: чому одна адреса — не одна людина
Головна пастка репутації — припущення, що за адресою стоїть один відвідувач. Часто це не так.
Мобільні оператори й CGNAT
Адрес IPv4 бракує, тому провайдери застосовують CGNAT (Carrier-Grade NAT): багато абонентів виходять в інтернет через одну зовнішню адресу. У мобільних операторів це майже стандарт. У підсумку:
- за одним IP одночасно — сотні й тисячі людей;
- адреса абонента змінюється під час перепідключення, переходу між вежами, увімкнення режиму польоту;
- якщо бодай один абонент за цією адресою заражений або запускає бота, адреса «псується» для всіх.
Домашні динамічні адреси
Чимало домашніх провайдерів видають адресу тимчасово. Сьогодні вона в одного абонента, за тиждень — в іншого. Запис «з цієї адреси був бот» швидко втрачає сенс.
Спільні мережі
Офіси, університети, готелі, кав’ярні з Wi-Fi випускають людей через одну чи кілька адрес. Десятки кліків з одного IP у такому місці — нормально.
Сервіси приватності
Вбудовані в браузери та операційні системи функції приховування адреси пропускають трафік через спільні вузли. Користувач — звичайна людина, але його адреса має вигляд адреси сервісу.
Порада. Перш ніж заблокувати адресу чи підмережу, подивіться, чия це мережа. Якщо це мобільний оператор або великий домашній провайдер — блокування майже напевно зачепить випадкових людей, а бот за хвилину вийде з іншої адреси.
Ризик відрізати живих: де репутація помиляється
Фільтр за репутацією помиляється передбачувано. Типові випадки:
- Успадкована репутація. Адреса потрапила до списку через попереднього власника чи сусіда за CGNAT.
- Застарілі записи. Списки без строку дії роками накопичують адреси, і частка хибних спрацювань зростає.
- Не той контекст. Список під поштовий спам застосовують до рекламного трафіку, де в нього інша точність.
- Надто широкі блоки. Блокування підмережі цілком відсікає всіх її клієнтів, а не лише винуватця.
- Жорсткий блок замість оцінки. Одна слабка ознака — і візит відсічено, хоча все інше свідчить про живу людину.
Звідси практичні правила:
- розділяйте мережі за типом: для дата-центрів репутацію можна зберігати довго, для домашніх і мобільних адрес — недовго;
- заносьте до спільних списків лише доведене: упевнено спійманого бота чи модератора, а не просто «сумнівну мережу»;
- використовуйте репутацію в оцінці довіри: слабка ознака додає штраф, а рішення ухвалюється за сумою сигналів;
- стежте за часткою проходу не як за оцінкою, а як за сигналом поломки. Високий прохід у трафіку з перевіреним click id — нормально. Тривожно, коли до офера майже ніхто не доходить: отже, правила ріжуть живих.
Як розпізнавати автоматику за іншими ознаками, крім адреси, — у статтях бот-трафік: ознаки і headless-браузери та відбиток браузера.
Як репутація IP працює в ArtisanClo
В ArtisanClo репутацію адреси враховано на кількох рівнях, і в кожного своя суворість.
- Спільний список ботів. Якщо сервіс перевірки оголошень, робота майданчика для прев’ю, програму замість браузера чи робот-браузер із доведеними ознаками впевнено розпізнано в будь-якого клієнта, адреса запам’ятовується для всього сервісу. Її наступний візит у будь-який потік одразу отримує White Page — у журналі причина «Відома адреса бота». Живих відвідувачів із сумнівною мережею, VPN або без JavaScript до цього списку не заносимо.
- Строк дії за типом мережі. Адреси дата-центрів і хостингів зберігаються в спільному списку практично безстроково, домашні й мобільні — 14 днів: така адреса швидко переходить до іншого абонента.
- Спільний чорний список IP. Адреса, спіймана на автоматизації одразу в кількох клієнтів, протягом години потрапляє до спільного чорного списку.
- Ваш чорний список. Адреси й підмережі IPv4 та IPv6 у записі CIDR; підмережі ширші за /8 для IPv4 і /16 для IPv6 не приймаються — надто широкий блок майже завжди зачіпає людей. Список діє лише у вашому акаунті.
- Мережа в оцінці довіри. VPN, проксі, дата-центр, IPv6, візит без провайдера — не обов’язково миттєва відмова: ознаки складаються в оцінку довіри, і візит іде на White Page, лише якщо підозрілого набралося забагато. Рівень «Суворо» ці ознаки обтяжує, «М’яко» залишає тільки чорні списки й явних ботів.
- Мережі й провайдери в аудиторіях з тарифу Professional: можна дозволити або заблокувати конкретні ASN і провайдерів для окремого потоку.
- Білий список потоку. Ваші адреси й підмережі для тестових переходів проходять без перевірок, зокрема повз спільний список ботів.
- Картка кліку. У журналі кліків у кожного візиту видно мережу: провайдера, ознаки VPN, проксі, дата-центру — і причину рішення.
Підключається все як завжди — JS-тегом або PHP-файлом на вашому сервері. Докладніше про можливості — на сторінці можливостей ArtisanClo.
Три візити: як репутація впливає на рішення
Для наочності розберімо три умовні візити на той самий потік.
Візит 1. Адреса хмарного хостингу. Мережа належить провайдерові хмарних серверів, браузер заявлено як звичайний мобільний. Живий читач так в інтернет не виходить: телефон не під’єднується до мережі через дата-центр. Мережева перевірка відсікає візит на першому ж кроці, ще до перевірки браузера, — це найдешевший і найточніший відсів.
Візит 2. Мобільний оператор, адреса в чужому списку спаму. Адреса належить великому мобільному операторові й стоїть за CGNAT. Тиждень тому хтось з абонентів за цією адресою розсилав спам. Якщо жорстко блокувати за таким списком, ви відріжете випадкову людину з телефона. Правильніше — врахувати запис як слабку ознаку й подивитися на решту: браузер, JavaScript, мітку рекламного кліку. Якщо все гаразд, візит має пройти.
Візит 3. Домашній провайдер, адресу вчора спіймано на автоматизації. Учора з цієї адреси прийшов браузер без вікна з явними слідами керування програмою. Сьогодні — знову візит. Тут історія важлива: минула доба, адреса, найімовірніше, ще в того самого власника. Але за кілька тижнів цей запис має спливти — адреса може перейти до іншого абонента.
У всіх трьох випадках вирішує не один «поганий IP», а тип мережі, свіжість і доведеність запису разом з іншими ознаками візиту.
Практичні рекомендації
- Блокуйте за типом мережі, а не наосліп за чужими списками. Дата-центр — сильний сигнал; домашня й мобільна адреса — слабкий.
- Не блокуйте підмережі мобільних операторів. Навіть якщо звідти прийшов бот, наступний клік із цих адрес, найімовірніше, буде від людини.
- Дайте записам спливати. Репутація домашньої адреси тижневої давності майже нічого не важить.
- Перевіряйте наслідки. Перш ніж посилювати правила, подивіться, скільки конверсій прийшло з адрес, які нове правило відсікло б.
- Розбирайте спірні кліки. Якщо покупець поскаржився, що не бачить офер, знайдіть його візит у журналі й подивіться причину — це швидше, ніж гадати.
Підсумок
Репутація IP — сильний, але грубий сигнал. Адреси дата-центрів і впевнено спійманих ботів можна відсікати сміливо; домашні й мобільні адреси, особливо за CGNAT, потребують обережності: за одним IP можуть стояти тисячі людей, а адреса змінює власника за години. Використовуйте репутацію як частину оцінки довіри, зберігайте записи з урахуванням типу мережі й давайте їм спливати — тоді фільтр відсікає автоматику, не зачіпаючи покупців. Загальний підхід до захисту трафіку зібрано в статті як відфільтрувати ботів.
