Репутация IP-адресов: откуда она берётся и почему по ней легко срезать живых

Репутация IP — оценка того, насколько адресу можно доверять, по его прошлому: что с него приходило, кому он принадлежит, в какой сети живёт. Это сильный сигнал для фильтрации трафика, но у него есть слепые зоны, и о них стоит знать до того, как блокировать.

Боты и фрод9 мин чтения
Репутация IP-адресов: откуда она берётся и почему по ней легко срезать живых
Содержание
  1. Что такое репутация IP-адреса
  2. Откуда берутся списки плохих IP
  3. ASN и подсети: репутация не только у адреса
  4. Общие IP: почему один адрес — не один человек
  5. Риск срезать живых: где репутация ошибается
  6. Как репутация IP работает в ArtisanClo
  7. Три визита: как репутация влияет на решение
  8. Практические рекомендации
  9. Итог

Каждый визит приходит с IP-адресом, и про адрес можно многое узнать ещё до того, как браузер выполнит хоть одну строку скрипта: кто им владеет, в какой стране он зарегистрирован, из какой он сети и что с него приходило раньше. Совокупность этих сведений и называют репутацией IP. Ниже разбираем, из чего она складывается, откуда берутся списки «плохих» адресов и где их применение превращается из защиты в потерю покупателей.

Речь идёт о репутации адресов посетителей вашей рекламы — о том, как фильтр оценивает входящий трафик.

Что такое репутация IP-адреса

Репутация IP — оценка того, насколько можно доверять визиту с конкретного адреса, на основе его истории и принадлежности. Её составляют несколько слоёв:

Слой Вопрос Пример вывода
Принадлежность Кому принадлежит адрес и какой это тип сети? Хостинг-провайдер, домашний провайдер, мобильный оператор
История Что с этого адреса замечали раньше? Спам, сканирование, боты, проверки рекламы
Соседство Как ведут себя соседние адреса в подсети и сети? Вся подсеть сдаётся под прокси
Свежесть Когда было последнее событие? Вчера — значимо, год назад — почти нет

Репутация — не бинарное «хороший/плохой», а степень доверия. Она хорошо работает как один из сигналов и плохо — как единственный.

Откуда берутся списки плохих IP

Источники данных о репутации адресов бывают очень разными по точности и назначению.

Публичные списки злоупотреблений

Самые старые — списки для борьбы со спамом (их часто называют DNSBL): почтовые серверы проверяют по ним отправителя. Есть списки адресов, замеченных в атаках, сканировании портов, подборе паролей. Они общедоступны, но созданы под другие задачи: адрес, рассылавший спам, не обязательно бот в рекламе, и наоборот.

Ловушки и сенсоры

Специальные серверы-приманки, на которые не должен заходить ни один человек. Всё, что туда пришло, — автоматика. Такие данные точны в отношении сканеров и ботов, но плохо говорят о рекламном фроде.

Коммерческие базы IP-аналитики

Сервисы, которые собирают сведения о каждом адресе: владельца, тип сети, признаки VPN, прокси, хостинга, Tor, иногда — оценку риска. Это основной источник для антифрода. Подробно о том, как по таким данным определяют VPN и прокси, — в статье про VPN, прокси и IP дата-центров.

Собственные наблюдения сервиса защиты

Самый ценный для рекламы слой: адреса, на которых сервис фильтрации сам поймал бота, автоматизированный браузер, проверяющего рекламной площадки или спай-сервис. Такие данные создаются ровно под задачу — отличить проверку и автоматику от живого посетителя рекламы.

Ваш собственный чёрный список

Адреса, которые вы внесли сами: конкурент, свои тестовые устройства, назойливый бот. Как его вести, разобрано в статье чёрный список IP в арбитраже.

ASN и подсети: репутация не только у адреса

Один адрес — мелкая единица. Часто полезнее смотреть на группу, в которую он входит.

ASN (номер автономной системы) — идентификатор сети, которой управляет одна организация: провайдер, хостинг, облако, крупная компания. По ASN видно, кому принадлежит адрес, и это один из самых надёжных признаков: сеть облачного хостинга остаётся сетью хостинга, какой бы адрес из неё ни пришёл.

Подсеть — диапазон соседних адресов, обычно записанный в формате CIDR, например 203.0.113.0/24 — это 256 адресов. Провайдеры раздают адреса блоками, и соседние адреса часто принадлежат одному клиенту — например, прокси-сервису, арендовавшему весь блок.

Репутация на уровне сети и подсети полезна, когда:

  • адреса дата-центров — живой читатель новостей не ходит в интернет с облачного сервера;
  • адреса прокси-сервисов — сдаются блоками, и замеченная часть блока говорит о соседях;
  • проверяющие площадки приходят из определённых сетей.

И вредна, когда сеть — это провайдер для людей: блок по ASN крупного мобильного оператора — это блок миллионов абонентов.

Общие IP: почему один адрес — не один человек

Главная ловушка репутации — предположение, что за адресом стоит один посетитель. Часто это не так.

Мобильные операторы и CGNAT

Адресов IPv4 не хватает, поэтому провайдеры применяют CGNAT (Carrier-Grade NAT): много абонентов выходят в интернет через один внешний адрес. У мобильных операторов это почти стандарт. В итоге:

  • за одним IP одновременно — сотни и тысячи людей;
  • адрес абонента меняется при переподключении, переходе между вышками, включении режима полёта;
  • если хоть один абонент за этим адресом заражён или запускает бота, адрес «портится» для всех.

Домашние динамические адреса

Многие домашние провайдеры выдают адрес на время. Сегодня он у одного абонента, через неделю — у другого. Запись «с этого адреса был бот» быстро теряет смысл.

Общие сети

Офисы, университеты, гостиницы, кафе с Wi-Fi выпускают людей через один или несколько адресов. Десятки кликов с одного IP в таком месте — нормально.

Сервисы приватности

Встроенные в браузеры и операционные системы функции скрытия адреса пропускают трафик через общие узлы. Пользователь — обычный человек, но его адрес выглядит как адрес сервиса.

Совет. Перед тем как заблокировать адрес или подсеть, посмотрите, чья это сеть. Если это мобильный оператор или крупный домашний провайдер — блок почти наверняка заденет случайных людей, а бот через минуту выйдет с другого адреса.

Риск срезать живых: где репутация ошибается

Фильтр по репутации ошибается предсказуемо. Типичные случаи:

  1. Наследованная репутация. Адрес попал в список из-за прошлого владельца или соседа по CGNAT.
  2. Устаревшие записи. Списки без срока жизни копят адреса годами, и доля ложных срабатываний растёт.
  3. Не тот контекст. Список под почтовый спам применяется к рекламному трафику, где у него другая точность.
  4. Слишком широкие блоки. Блокировка подсети целиком отсекает всех её клиентов, а не только виновника.
  5. Жёсткий блок вместо оценки. Один слабый признак — и визит отсечён, хотя всё остальное говорит о живом человеке.

Отсюда практические правила:

  • разделяйте сети по типу: для дата-центров репутацию можно хранить долго, для домашних и мобильных адресов — коротко;
  • заносите в общие списки только доказанное: уверенно пойманного бота или проверяющего, а не просто «сомнительную сеть»;
  • используйте репутацию в оценке доверия: слабый признак добавляет штраф, а решение принимается по сумме сигналов;
  • следите за долей прохода не как за оценкой, а как за сигналом поломки. Высокий проход у трафика с проверенным click id — нормально. Тревожно, когда до оффера почти никто не доходит: значит, правила режут живых.

Как распознавать автоматику по другим признакам, кроме адреса, — в статьях бот-трафик: признаки и headless-браузеры и отпечаток браузера.

Как репутация IP работает в ArtisanClo

В ArtisanClo репутация адреса учитывается на нескольких уровнях, и у каждого своя строгость.

  • Общий список ботов. Если сервис проверки объявлений, робот площадки для превью, программа вместо браузера или робот-браузер с доказанными признаками уверенно опознаны у любого клиента, адрес запоминается для всего сервиса. Его следующий визит в любой поток сразу получает White Page — в журнале причина «Известный адрес бота». Живых посетителей с сомнительной сетью, VPN или без JavaScript в этот список не заносим.
  • Срок жизни по типу сети. Адреса дата-центров и хостингов хранятся в общем списке практически бессрочно, домашние и мобильные — 14 дней: такой адрес быстро переходит к другому абоненту.
  • Общий чёрный список IP. Адрес, пойманный на автоматизации сразу у нескольких клиентов, в течение часа попадает в общий чёрный список.
  • Ваш чёрный список. Адреса и подсети IPv4 и IPv6 в записи CIDR; подсети шире /8 для IPv4 и /16 для IPv6 не принимаются — слишком широкий блок почти всегда задевает людей. Список действует только в вашем аккаунте.
  • Сеть в оценке доверия. VPN, прокси, дата-центр, IPv6, визит без провайдера — не обязательно мгновенный отказ: признаки складываются в оценку доверия, и визит уходит на White Page, только если подозрительного набралось слишком много. Уровень «Строго» эти признаки утяжеляет, «Мягко» оставляет только чёрные списки и явных ботов.
  • Сети и провайдеры в аудиториях с тарифа Professional: можно разрешить или заблокировать конкретные ASN и провайдеров для отдельного потока.
  • Белый список потока. Ваши адреса и подсети для тестовых переходов проходят без проверок, в том числе мимо общего списка ботов.
  • Карточка клика. В журнале кликов у каждого визита видна сеть: провайдер, признаки VPN, прокси, дата-центра — и причина решения.

Подключается всё как обычно — JS-тегом или PHP-файлом на вашем сервере. Подробнее о возможностях — на странице возможностей ArtisanClo.

Три визита: как репутация влияет на решение

Чтобы было нагляднее, разберём три условных визита на один и тот же поток.

Визит 1. Адрес облачного хостинга. Сеть принадлежит провайдеру облачных серверов, браузер заявлен как обычный мобильный. Живой читатель так в интернет не выходит: телефон не подключается к сети через дата-центр. Сетевая проверка отсекает визит на первом же шаге, до проверки браузера, — это самый дешёвый и самый точный отсев.

Визит 2. Мобильный оператор, адрес в чужом списке спама. Адрес принадлежит крупному мобильному оператору и за CGNAT. Неделю назад кто-то из абонентов за этим адресом рассылал спам. Если блокировать по такому списку жёстко, вы отрежете случайного человека с телефона. Правильнее — учесть запись как слабый признак и посмотреть на остальное: браузер, JavaScript, метку рекламного клика. Если всё в порядке, визит должен пройти.

Визит 3. Домашний провайдер, адрес вчера пойман на автоматизации. Вчера с этого адреса пришёл браузер без окна с явными следами управления программой. Сегодня — снова визит. Здесь история значима: прошли сутки, адрес, скорее всего, ещё у того же владельца. Но через пару недель эта запись должна истечь — адрес может уйти к другому абоненту.

Во всех трёх случаях решает не один «плохой IP», а тип сети, свежесть и доказанность записи вместе с другими признаками визита.

Практические рекомендации

  1. Блокируйте по типу сети, а не по чужим спискам вслепую. Дата-центр — сильный сигнал; домашний и мобильный адрес — слабый.
  2. Не блокируйте подсети мобильных операторов. Даже если оттуда пришёл бот, следующий клик с этих адресов, скорее всего, будет от человека.
  3. Давайте записям истекать. Репутация домашнего адреса недельной давности почти ничего не значит.
  4. Проверяйте последствия. Перед ужесточением правил посмотрите, сколько конверсий пришло с адресов, которые новое правило отсекло бы.
  5. Разбирайте спорные клики. Если покупатель пожаловался, что не видит оффер, найдите его визит в журнале и посмотрите причину — это быстрее, чем гадать.

Итог

Репутация IP — сильный, но грубый сигнал. Адреса дата-центров и уверенно пойманных ботов можно отсекать смело; домашние и мобильные адреса, особенно за CGNAT, требуют осторожности: за одним IP могут стоять тысячи людей, а адрес меняет владельца за часы. Используйте репутацию как часть оценки доверия, храните записи с учётом типа сети и давайте им истекать — тогда фильтр отсекает автоматику, не задевая покупателей. Общий подход к защите трафика собран в статье как отфильтровать ботов.

Частые вопросы

01

Что такое репутация IP-адреса?

Это оценка надёжности адреса, собранная из его истории и принадлежности: замечались ли с него спам, атаки, боты или проверки, относится ли он к дата-центру, мобильному оператору или домашнему провайдеру. Чем больше негативных записей и чем они свежее, тем ниже доверие к визиту с этого адреса.

02

Как проверить репутацию IP?

Посмотреть владельца адреса и номер сети ASN, тип сети (хостинг, домашний провайдер, мобильный оператор) и наличие адреса в публичных списках злоупотреблений. Для фильтрации рекламного трафика удобнее, когда это делает сервис защиты автоматически при каждом визите и показывает вывод в карточке клика.

03

Может ли у живого человека быть IP с плохой репутацией?

Да, и нередко. Мобильные операторы и многие домашние провайдеры выпускают в интернет сотни и тысячи абонентов через общие адреса. Если кто-то из них заражён или пользуется ботом, плохая репутация ложится на всех остальных, хотя они ни в чём не участвовали.

04

Что такое CGNAT?

Carrier-Grade NAT — технология, при которой провайдер выводит много абонентов в интернет через один внешний адрес. Так провайдеры экономят дефицитные адреса IPv4. Для фильтрации это значит, что один IP — это не один человек, и блок по адресу может задеть сразу многих.

05

Сколько живёт плохая репутация адреса?

По-разному для разных сетей. Адрес хостинга годами принадлежит одному владельцу, и его репутация меняется медленно. Домашний и мобильный адрес переходит от абонента к абоненту за часы или дни, поэтому старая запись о нём быстро теряет смысл и должна истекать.

Читать также

9 мин чтения

Качество трафика: как оценить и проверить, за что вы платите

Качество трафика — это доля живых, новых и платёжеспособных людей в том, что вы купили. Разбираем, какими метриками его оценивать, где они врут и как проверить источник до того, как он съест бюджет.

8 мин чтения

Чёрный список IP в арбитраже: когда он помогает, а когда режет живых

Чёрный список IP — самый понятный инструмент защиты: адрес из списка никогда не увидит оффер. Но блокировка IP работает только против конкретных адресов, и у неё есть цена.

8 мин чтения

VPN, прокси и IP дата-центров: как их определяют и когда блокировать

Определение VPN, прокси и IP дата-центров — основа сетевой фильтрации трафика. Разбираем, что стоит за словами «ASN», «хостинг-IP» и «резидентный прокси» и как этими признаками пользоваться без потерь.

Проверьте свой трафик на деле

Подключите ArtisanClo к своему сайту, посмотрите, кто на самом деле приходит по рекламе, и почему каждый клик получил своё решение.