Простий захист від ботів зазвичай починається з IP-адреси: якщо візит прийшов із мережі хостингу чи відомого VPN, це сервер, а не людина. Проти дешевих ботів це працює чудово. Але у фроду давно є відповідь — резидентні та мобільні проксі. Запит виходить в інтернет через адресу справжнього домашнього абонента або телефона в мережі оператора, і мережевий фільтр бачить звичайного користувача. Клік зараховано, гроші списано, заявки немає.
У цій статті — що це за проксі, звідки вони беруться, чому проходять перевірку за IP і за якими ознаками їх усе-таки можна розпізнати. Загальна база про мережеві ознаки — у матеріалі VPN, проксі та IP дата-центрів; тут розбираємо найважчий для фільтрації випадок.
Що таке резидентний проксі
Проксі — посередник, через якого програма надсилає запити, щоб сайт бачив не її адресу, а адресу посередника. Проксі відрізняються тим, де цей посередник живе.
- Серверний проксі працює в дата-центрі. Його адреса належить мережі хостингу, і це видно за ASN — номером автономної системи, до якої належить IP. Такі візити відсікаються майже без помилок.
- Резидентний проксі випускає запит через адресу домашнього абонента: звичайний провайдер, звичайна квартира. Найчастіше це пристрій, на якому встановлено застосунок або розширення з пунктом «ділитися невикористаним каналом» в угоді користувача. Інколи — заражений роутер чи приставка.
- Мобільний проксі працює через SIM-картку оператора: модем або телефон у «фермі», через який іде трафік. Сайт бачить мобільну адресу оператора — таку саму, як у мільйонів звичайних смартфонів.
Для фільтра за IP різниця принципова. Серверна адреса — майже гарантовано не людина. Резидентна й мобільна адреса — майже завжди людина, і лише інколи через неї йде чужа програма.
Хто жене рекламний трафік через проксі
Проксі-мережі продаються відкрито, і користуються ними з різних причин. Для рекламодавця важливо, що частина цього трафіку потрапляє в його кампанії:
- Клік-боти на майданчиках з оплатою за клік. Власнику сайту чи зони вигідно, щоб по рекламі клікали. Бот на сервері відсікається одразу, тому просунуті схеми женуть його через резидентні адреси потрібної країни. Докладніше про те, як влаштовані такі схеми, — у статті про кліки з ферм.
- Скликування конкурентами. Хто хоче спалити чужий бюджет у пошуковій рекламі, знає, що кліки з однієї адреси швидко помічають. Ротація резидентних адрес робить кожен клік «новим відвідувачем». Про цю схему — у матеріалі скликування конкурентами.
- Фрод-ліди. Якщо партнер отримує гроші за заявку, йому потрібні заявки з потрібної країни. Скрипт заповнює форму, а проксі підставляє місцеву адресу.
- Збір даних. Парсери цін, сервіси моніторингу, спай-інструменти ходять рекламними посиланнями через резидентні адреси, щоб їх не блокували. Злого наміру проти вас може й не бути, але клік однаково оплачено.
Чому вони проходять прості фільтри за IP
Фільтр за IP ставить візиту по суті одне запитання: «Чия це адреса?» Для резидентного проксі чесна відповідь — «домашнього провайдера в потрібній країні». Далі все працює проти рекламодавця:
- ASN чистий. Мережа належить провайдеру або мобільному оператору, а не хостингу. Блокування дата-центрів її не зачіпає.
- Гео збігається. Проксі-мережа дає змогу вибрати країну й навіть місто, тож гео-фільтр пройдено.
- Адреса нова. Ротація змінює IP на кожен запит або раз на кілька хвилин. Ліміт кліків з однієї адреси не спрацьовує, чорний список IP не встигає за ротацією.
- Репутація розмита. За тією самою адресою вчора сиділа жива людина, завтра сидітиме інша. Бази репутації IP позначають частину таких адрес, але із затримкою і не всі.
- Мобільну адресу не можна заблокувати. Через одну адресу оператора виходять сотні абонентів (CGNAT). Блок мобільної адреси б'є по випадкових живих людях.
Висновок простий: за одним IP резидентний проксі від людини не відрізнити. Розпізнавання йде через суперечності між тим, що каже мережа, і тим, що кажуть браузер, час і поведінка.
Як розпізнають резидентні та мобільні проксі: ознаки
Жодна з ознак нижче не доводить проксі сама по собі. Сильний висновок дають три-чотири ознаки, що сходяться на одному візиті або на одному джерелі.
Позначка в базах проксі
Комерційні бази IP позначають адреси, помічені в проксі-мережах: за даними сканування, за пастками, за повідомленнями інших сервісів. Позначка «резидентний проксі» — найпряміший сигнал, але й найненадійніший щодо повноти: база завжди відстає від ротації, а адреса могла потрапити в мережу ненадовго. Тому позначку використовують як штраф в оцінці довіри, а не як блок.
ASN і тип мережі проти заявленого пристрою
ASN корисний і для резидентного трафіку — якщо зіставити його з пристроєм. Мобільна адреса оператора при десктопному браузері з широким екраном — дивно. Домашній провайдер у маленькому місті при «телефоні», у якого відбиток браузера як в емулятора, — теж. Кожна така невідповідність — привід знизити довіру.
Часовий пояс і мова
Це найкорисніша ознака проти проксі. IP каже «Німеччина», а браузер повідомляє часовий пояс Asia/Ho_Chi_Minh, мова системи в'єтнамська, розкладка не німецька. Проксі підміняє адресу, але не змінює налаштувань пристрою, який за ним стоїть. Звісно, турист чи експат дають схожу картину — тому ознака рахується разом з іншими.
Відбиток браузера, що повторюється на різних адресах
Бот-ферма міняє адреси швидше, ніж пристрої. Якщо той самий відбиток — модель, версія браузера, роздільна здатність, набір шрифтів, відеокарта — приходить із двадцяти різних домашніх адрес за годину, це не двадцять людей. Про те, як збирають відбиток і де його підробляють, — у статті headless-браузери та відбиток браузера.
Частота з одного діапазону
Ротація змінює конкретну адресу, але не завжди змінює мережу. Проксі-провайдер бере адреси з тих самих пулів, і в журналі видно серію: двадцять кліків за десять хвилин з однієї підмережі /24 одного провайдера, кожен з нового IP. У живої аудиторії кліки розмазані по безлічі мереж і районів. Групування за підмережею та ASN показує те, чого не видно при групуванні за адресою.
Поведінка на сторінці
Людина гортає нерівномірно, затримується на картинках, промахується повз кнопку. Скрипт, навіть з імітацією миші, рухається надто рівно, надто швидко йде або, навпаки, стоїть на сторінці рівно задану кількість секунд. Перевірка поведінки не залежить від адреси, тому саме вона ловить проксі-трафік, що пройшов усі мережеві перевірки.
Відсутність рекламної мітки й дивна воронка
Візит за платним посиланням майже завжди несе мітку кліку майданчика (gclid, fbclid тощо). Якщо мітки немає або вона повторюється в різних візитів, це привід придивитися. На рівні статистики проксі-трафік видає себе кліками без конверсій, а у випадку фрод-лідів — заявками, до яких не додзвонюються і які не підтверджуються. Як пов'язати клік із конверсією, розказано в статті click ID і SubID.
Чому ознаки треба складати, а не застосовувати поодинці
У кожної ознаки є свої хибні спрацювання:
| Ознака | Хто дає її, крім бота |
|---|---|
| Пояс не збігається з країною | мандрівник, експат, людина з неправильними налаштуваннями |
| Одна мобільна адреса в багатьох візитів | звичайні абоненти одного оператора за CGNAT |
| Позначка «резидентний проксі» | жива людина, у якої на пристрої застосунок із проксі-SDK |
| Серія з однієї підмережі | офіс, університет, гуртожиток |
| Немає мітки кліку | переслане посилання, перехід із закладок |
Якщо різати за будь-якою з них, фільтр відсікатиме покупців. Якщо за кожну нараховувати штраф і вирішувати за сумою, помилки окремих ознак гасять одна одну. Так влаштовані зрілі системи: антифрод-система будує оцінку довіри, а не список заборон. Докладніше про те, чому мережеві й браузерні перевірки доповнюють одна одну, — у статті JavaScript-перевірка чи блокування за IP.
Скільки проксі-трафік коштує рекламодавцю
Втрати складаються з кількох частин, і пряма ціна кліку — лише перша.
- Оплачені кліки. Простий розрахунок: якщо за тиждень 10 000 кліків по 0,40 долара і 8% з них — візити з ознаками проксі без жодної конверсії, то 320 доларів пішли намарно.
- Зіпсована оптимізація. Автоматичні стратегії вчаться на тому, хто клікає. Якщо серед кліків багато проксі-ботів, алгоритм купує схожий трафік далі — і частка сміття росте сама.
- Обробка фальшивих заявок. Фрод-лід коштує не лише виплати партнеру: на нього витрачає час кол-центр, його враховує CRM, його повертають при звірці.
- Хибні висновки про зв'язки. Кампанія з проксі-трафіком виглядає як «багато кліків, низький CR». Ви вимикаєте креатив чи гео, хоча проблема в джерелі.
Щоб бачити втрату в грошах, а не на око, треба зводити витрати, кліки й конверсії за кожним джерелом. Як це зробити і які цифри дивитися, розібрано в статтях скільки бюджету втрачається на ботах і як рахувати ROI.
Як захистити бюджет: практичні кроки
- Відсікайте серверні проксі жорстко. Дата-центри й хостинги в рекламному трафіку майже ніколи не дають покупців — це дешевий і надійний перший шар.
- Резидентним і мобільним — штраф, а не блок. Позначка про проксі, розбіжність поясу, повтор відбитка додають до оцінки, рішення ухвалюється за сумою.
- Увімкніть перевірку браузера й поведінки. Це шар, який не залежить від IP. Без нього проти резидентних проксі ви майже беззахисні.
- Групуйте журнал за підмережею та ASN, а не лише за адресою. Серії з одного діапазону видно тільки так.
- Дивіться на джерело, а не на візит. Якщо в одного майданчика чи зони частка підозрілих візитів у рази вища, ніж в інших, вимкніть її в самому рекламному кабінеті: фільтр захищає воронку, але клік однаково оплачено.
- Вимагайте повернення. Майданчики повертають гроші за доведений невалідний трафік, і журнал із причинами по кожному кліку — головний аргумент.
Як це видно в ArtisanClo
ArtisanClo відсіює трафік дата-центрів, VPN і проксі, а для резидентних і мобільних адрес використовує ознаки проксі-мереж як частину оцінки довіри разом із перевіркою браузера, часовим поясом, мовою та поведінкою. У кожного кліку в журналі видно код причини рішення: можна відкрити візит і зрозуміти, яка ознака спрацювала. Вбудований трекер рахує витрати, конверсії, прибуток і ROI за кампаніями — тож видно, скільки грошей пішло на сміттєвий трафік і з якого джерела він прийшов. Повний перелік перевірок — на сторінці можливостей.
Підсумок
Резидентні та мобільні проксі — головна причина, з якої блокування за IP перестало бути достатнім захистом. Адреса в такого візиту чесна: домашній провайдер або мобільний оператор у потрібній країні. Видають його суперечності: пояс і мова не ті, відбиток повторюється на різних адресах, кліки йдуть серіями з одного діапазону, поведінка механічна, конверсій немає. Жодна ознака не доводить бота, а їхня сума — майже завжди. Серверні проксі ріжте одразу, резидентним і мобільним нараховуйте штраф, додайте перевірку в браузері й рахуйте гроші за джерелами — тоді проксі-трафік перестане бути невидимою статтею витрат.
