Конкурент регулярно заходит на ваш лендинг из офиса. Один и тот же бот долбит ссылку по сто раз в день. Тестировщик партнёрки проверяет оффер с одного и того же сервера. Для таких случаев есть простой и точный инструмент — чёрный список IP. Адрес внесли — и он больше никогда не увидит ничего, кроме нейтральной страницы.
Простота при этом обманчива. Блокировка IP отлично работает против постоянных адресов и почти бесполезна против того, кто их меняет. Разберёмся, когда blacklist IP действительно нужен, как правильно записывать адреса и подсети и где он вредит.
Что такое чёрный список IP
Чёрный список IP (blacklist) — перечень адресов и диапазонов, которым заранее закрыт доступ к офферу. В контексте клоаки это не «бан» в привычном смысле: посетитель не получает ошибку, а видит White Page — обычную нейтральную страницу. Так он даже не узнаёт, что его отфильтровали.
Списки бывают двух видов:
| Собственный список | Общий список сервиса | |
|---|---|---|
| Кто ведёт | вы сами | система защиты автоматически |
| Кто туда попадает | конкуренты, свои устройства, конкретные назойливые боты | адреса, уверенно пойманные на автоматизации |
| Где действует | в вашем аккаунте | у всех клиентов сервиса |
| Когда пополняется | вручную, когда вы решили | по мере обнаружения ботов |
Оба полезны, но решают разные задачи. Общий список закрывает массовых известных ботов, собственный — ваши частные случаи.
Когда блокировать адрес по IP
Хорошие кандидаты в собственный чёрный список:
- конкурент с постоянным адресом — офис, свой сервер, статический IP;
- ваши тестовые устройства, если вы хотите видеть именно White Page (например, чтобы проверить, как она выглядит в живом потоке);
- сервер, который регулярно опрашивает ссылку — мониторинг, парсер, чужой скрипт;
- адреса, замеченные в скликивании — повторяющиеся клики с одного адреса, о них подробнее в статье скликивание и клик-фрод;
- подсеть хостинга, с которой идут боты, если вы не хотите включать блокировку всех дата-центров в потоке.
Когда блокировка IP не поможет или навредит
Мобильные адреса
Мобильные операторы выпускают множество абонентов через общие адреса, и один абонент постоянно получает новые. Заблокировав такой IP, вы отрежете случайных живых людей, а бот через минуту выйдет с другого адреса.
Динамические домашние адреса
У многих домашних провайдеров адрес меняется при переподключении. Сегодня он у бота, завтра — у вашего покупателя.
VPN и прокси
Блокировать отдельные VPN-адреса бесполезно — их тысячи. Против VPN работает не список, а определение по сети и признакам, о которых — в статье VPN, прокси и IP дата-центров, а о том, как оценивают адрес в целом, — в материале IP-репутация: что это.
Ботнеты и резидентные прокси
Здесь адресов так много и они так быстро меняются, что список не успевает за ними. Нужны проверки браузера и поведения — см. headless-браузеры и отпечаток браузера.
Совет. Если хочется внести в список больше нескольких десятков разрозненных адресов, остановитесь. Скорее всего, проблему решит правильная настройка защиты потока, а не ручной список.
IP-адреса и подсети: как записывать
IPv4 и IPv6
Адрес IPv4 выглядит как 203.0.113.7, IPv6 — как 2001:db8::1. Блокировать можно оба типа, но помните про мобильные сети: у них IPv6 встречается очень часто.
Подсети в формате CIDR
Чтобы заблокировать диапазон, используют запись CIDR: адрес и длина маски через косую черту.
| Запись | Что означает | Сколько адресов (IPv4) |
|---|---|---|
203.0.113.7 |
один адрес | 1 |
203.0.113.0/24 |
от 203.0.113.0 до 203.0.113.255 | 256 |
203.0.112.0/22 |
четыре подсети /24 подряд | 1024 |
198.51.0.0/16 |
все адреса, начинающиеся на 198.51 | 65 536 |
Правило простое: чем меньше число после черты, тем шире диапазон. Подсеть /16 — это уже целый кусок провайдера, и там почти наверняка есть живые пользователи. Для IPv6 логика та же, только адресов в каждом блоке на порядки больше.
Где взять адрес
Из журнала визитов: у каждого клика есть IP, сеть и провайдер. Если от одной сети идёт много ботов, посмотрите её ASN — возможно, правильнее заблокировать сеть целиком через правила аудитории, а не перечислять адреса.
Чёрный список и белый список: кто сильнее
Белый список IP — обратный инструмент: адреса, которые проходят на оффер без проверок. Он нужен для своих тестов — чтобы вы и команда видели оффер с рабочих устройств, не борясь с собственным фильтром.
Если адрес попал в оба списка, важно знать, какой победит. Логичнее, когда побеждает чёрный: вы явно запретили этот адрес, и случайная запись в белом списке не должна это отменять.
Чёрный список IP в ArtisanClo
В ArtisanClo есть оба уровня.
Ваш чёрный список
Свой список адресов, которые никогда не должны увидеть оффер. Он действует во всех ваших потоках и только в вашем аккаунте — на других клиентов не влияет.
- Визит с адреса из списка сразу уходит на White Page — без проверок, оценки доверия и прогрева. Причина в журнале — «В вашем чёрном списке».
- Чёрный список сильнее белого: даже если адрес есть в белом списке IP потока, он увидит White Page.
- Так же в теневом режиме и в режиме «Трекер»: вы сами запретили этот адрес.
- Изменения действуют сразу, со следующего визита.
Заблокировать адрес можно прямо в журнале кликов: рядом с адресом в каждой строке есть иконка — красная, чтобы заблокировать, зелёная, чтобы разблокировать. Галочками можно отметить несколько строк и заблокировать их пачкой; каждое действие подтверждается окном со списком адресов.
На странице «Чёрный список» адреса добавляются по одному с заметкой (например, «конкурент») или списком — по адресу на строку, можно вставить прямо из таблицы. Принимаются IPv4, IPv6 и подсети в записи CIDR; слишком широкие подсети, которые накрыли бы целые регионы интернета, не принимаются. В списке видны дата добавления, автор и заметка.
Общий список ботов
Отдельно работает автоматическая защита. Если сервис проверки объявлений, робот площадки или программа вместо браузера уверенно опознаны у любого клиента, адрес запоминается для всего сервиса, и его следующий визит в любой поток сразу получает White Page — причина «Известный адрес бота». Живых посетителей с сомнительной сетью, VPN или без JavaScript туда не заносят. Адрес, пойманный на автоматизации сразу у нескольких клиентов, попадает в общий чёрный список IP.
Эти адреса не показываются на вашей странице чёрного списка, и снимать их не нужно. Обходит общий список только белый список IP потока.
Белый список
Белый список IP задаётся на последнем шаге настройки потока: адреса и подсети IPv4, по одному на строку. Кнопка «Добавить мой IP» дописывает адрес, с которого вы работаете. Адреса из белого списка проходят на оффер без проверок и без лимита кликов с IP.
Подробнее о том, как читать причины решений, — в статье почему клик ушёл на White Page, а общий порядок настройки потока — в настройке клоаки пошагово.
Три сценария из практики
Ниже — типичные ситуации, в которых байер тянется к блокировке IP. Пример иллюстративный.
Конкурент проверяет ваш лендинг каждое утро. В журнале визитов видно: один и тот же адрес домашнего или офисного провайдера, без метки рекламного клика, несколько раз в день, всегда около девяти утра. Это лучший случай для чёрного списка: адрес стабильный, и после блокировки конкурент видит нейтральную страницу. Подпишите запись, чтобы через месяц понимать, откуда она.
Сотня заходов в день с адресов одного хостинга. Адреса разные, но все из одной сети облачного провайдера. Перечислять их бессмысленно — завтра будут другие. Правильнее включить в потоке блокировку дата-центров или заблокировать эту сеть по номеру ASN в правилах аудитории.
Много отказов с мобильных адресов одного оператора. Соблазн заблокировать подсеть велик, но за ней — тысячи абонентов. Сначала разберитесь в причине: возможно, это встроенный браузер соцсети, которому мешает слишком строгая проверка, и проблема в настройке, а не в ботах.
Общее правило для всех трёх случаев: прежде чем блокировать, посмотрите на адрес в журнале целиком — сеть, провайдера, устройство, метку клика и причину решения. Блокировка оправдана, когда за адресом стоит одна и та же сущность. Если за ним стоит толпа, нужен другой инструмент.
Практические правила ведения чёрного списка
- Подписывайте записи. Через месяц вы не вспомните, почему заблокирован
203.0.113.42. Заметка «конкурент, офис» экономит время. - Блокируйте узко. Сначала адрес, потом
/24, и только с уверенностью — шире. - Не блокируйте мобильные адреса, кроме совсем очевидных случаев.
- Пересматривайте список. Адреса меняют владельцев; то, что было ботом полгода назад, сегодня может быть домашним абонентом.
- Не подменяйте списком настройку защиты. Если в журнале много разных ботов из дата-центров — включите блокировку дата-центров, а не перечисляйте адреса.
- Не забудьте про себя. Если вы внесли свой IP в чёрный список для проверки White Page, уберите его потом — иначе удивитесь, почему не видите оффер.
- Договоритесь в команде. Если список ведут несколько человек, решите, кто и по какому правилу вносит адреса. Иначе через полгода в нём окажутся записи, которые никто не может объяснить, и снять их будет страшно.
Общая логика многослойной защиты — в статье как отфильтровать ботов. А тарифы, на которых доступны отдельные функции защиты, — на странице тарифов.
Итог
Чёрный список IP — точный инструмент против постоянных адресов: конкурентов, своих тестовых устройств, назойливых серверов. Против мобильных сетей, VPN и ботнетов он бессилен и может навредить, потому что адреса меняются и делятся между людьми. Ведите собственный список узко и с заметками, оставьте массовых ботов общему списку и настройкам защиты потока — и помните, что запрещённый вами адрес не должен проходить даже через белый список.
