Ботов в рекламном трафике нельзя «выключить» одной настройкой: они бывают очень разными — от примитивного скрипта, который дёргает ссылку с сервера, до полноценного браузера под управлением программы, запущенного из домашней сети. Поэтому фильтрация ботов строится как воронка, где каждый слой отсекает свой класс автоматики, а живой человек проходит все слои незаметно для себя.
Ниже — схема, по которой работают зрелые системы защиты от ботов, и практические советы, как настроить её под конкретный источник.
Зачем вообще фильтровать ботов в рекламе
У байера (специалиста, который закупает рекламу) три причины держать антибот на каждой кампании:
- Деньги. Платный клик от бота — это расход без шанса на конверсию. На CPC-моделях вы платите за каждого такого посетителя напрямую.
- Защита связки. Спай-сервисы и парсеры обходят рекламные ссылки, чтобы собрать креативы, лендинги и офферы. Если они видят вашу связку целиком, через неделю на неё льют конкуренты, и цена клика растёт.
- Чистая статистика. Оптимизация по данным с ботами — это оптимизация по шуму: вы отключаете рабочие связки и масштабируете мусорные площадки.
Подробнее о том, как спай-сервисы собирают связки, — в статье о защите от спай-сервисов, а о накрутке кликов — в материале скликивание и клик-фрод.
Какие боты приходят по рекламной ссылке
Прежде чем строить фильтр, полезно понимать, от кого он защищает. Признаки каждого класса подробно разобраны в статье бот-трафик: признаки и как его распознать, здесь — короткая классификация.
| Класс | Кто это | Как обычно выдаёт себя |
|---|---|---|
| Роботы для превью | краулеры, которые подтягивают заголовок и картинку ссылки | известные user-agent, сети площадок и мессенджеров, нет метки клика |
| Спай-сервисы и сканеры | системы, которые собирают чужие креативы и лендинги | дата-центры, повторные заходы, автоматизированный браузер |
| Программы вместо браузера | скрипты на curl, Python, парсеры | не выполняют JavaScript, странные заголовки |
| Headless-браузеры | Chrome без окна под управлением программы | следы автоматизации в окружении браузера |
| Клик-фрод | накрутка кликов конкурентами или площадкой | серии визитов с похожих адресов, нулевое поведение |
| Нецелевые люди | конкуренты, визиты из чужого гео, пересланные ссылки | без рекламной метки, другая страна, VPN или корпоративная сеть |
Последний класс — самый сложный: формально это человек, но платить за него и вести на оффер смысла нет — заявку из чужой страны сеть не примет, а конкурент ничего не купит. С ним работают не столько признаки бота, сколько контекст визита: гео, метка клика, сеть.
Слой 1. Сеть и запрос
Первый и самый дешёвый слой проверяет то, что известно ещё до загрузки страницы: IP-адрес, сеть, заголовки запроса, параметры ссылки.
IP-адрес и сеть (ASN)
Каждый IP принадлежит какой-то автономной системе — ASN, сети конкретного оператора. Домашний провайдер, мобильный оператор, облачный хостинг и VPN-сервис — это разные сети с разной репутацией. Визит из сети хостинга в рекламном трафике почти всегда означает сервер, а не человека с телефоном. Как именно отличают такие сети, разобрано в статье про VPN, прокси и IP дата-центров.
Чёрные списки адресов
Если адрес уже был уверенно пойман на автоматизации, проверять его заново незачем. Общие списки известных ботов и собственный чёрный список IP отсекают повторных визитёров мгновенно и без затрат на проверки.
Заголовки и метка клика
User-agent, язык браузера, наличие реферера, параметры вроде fbclid или gclid — всё это дёшево проверить. Простые скрипты часто присылают неполный или противоречивый набор заголовков. А отсутствие рекламной метки при переходе из рекламы — повод присмотреться внимательнее.
Правила кампании
Сюда же относятся ваши собственные ограничения: страна, устройство, язык, расписание. Если вы льёте на Германию, визит из другой страны можно отсечь, не разбираясь, бот это или нет. Подробно — в статье о фильтрации по гео, языку, устройству и расписанию.
Совет. На сетевом слое живых людей задевает меньше всего: здесь срабатывают признаки, которые у обычного покупателя почти не встречаются. Начинайте настройку отсюда.
Слой 2. Проверка браузера
Второй слой — скрипт, который выполняется в браузере посетителя и собирает сведения об окружении. Это то, что продвинутый бот подделать уже сложнее.
- Выполняется ли JavaScript вообще. Программы вроде curl скрипт не выполняют — и на этом заканчиваются.
- Следы автоматизации. Флаги управления браузером, несоответствия между заявленным браузером и реальными возможностями, характерные для headless-режима детали. Подробно — в статье про headless-браузеры и отпечаток браузера.
- Согласованность данных. Часовой пояс браузера против страны IP, язык системы против гео, размер экрана против заявленного устройства. По отдельности расхождение ничего не значит, вместе — складывается в картину.
Здесь важная оговорка: на этом слое фильтр ошибается чаще всего. Встроенные браузеры соцсетей и WebView в приложениях иногда выглядят «странно» и при этом приводят живых людей. Поэтому одиночный признак не должен решать судьбу визита — он должен добавлять подозрение.
Слой 3. Поведение
Третий слой — то, как посетитель ведёт себя на странице: движения мыши и пальца, скорость реакции, сколько времени прошло до действия. Человек двигается неровно и с паузами, программа — либо никак, либо слишком идеально.
Поведенческие проверки ловят самых дорогих ботов, но и стоят дороже: им нужно немного времени, чтобы набрать наблюдения. Включать их имеет смысл на дорогом трафике, где каждый пропущенный бот стоит заметных денег, и на источниках, где много продвинутой автоматики.
Оценка доверия вместо одного правила
Главная ошибка самодельных фильтров — правило «увидел признак — заблокировал». Так режутся живые люди: VPN бывает у обычного пользователя, реферер теряется во встроенном браузере, IPv6 есть у мобильных операторов.
Правильнее разделить проверки на два типа:
- Жёсткие — явный бот, известный адрес, нарушение вашего правила аудитории. Такие визиты отсекаются сразу.
- Мягкие — сомнительные признаки. Каждый добавляет штраф к оценке доверия, и только когда сумма превышает порог, посетитель видит безопасную страницу.
При такой схеме один слабый признак не отправляет человека на White Page, а бот, у которого «не так» сразу пять вещей, уходит туда уверенно. По тому же принципу — правила, скоринг и списки — устроена любая антифрод-система.
Как настроить фильтрацию ботов: пошагово
- Определите источник. У Facebook, Google, TikTok и нативных сетей разный профиль трафика: где-то реферер теряется, где-то много повторных показов. Настройки «для всех» почти всегда хуже, чем подобранные под площадку. Пример такого разбора для поиска и РСЯ — статья боты в Яндекс Директ.
- Выберите уровень строгости. Начните со сбалансированного: отсекаются известные боты, VPN, прокси и дата-центры, но не трогаются признаки, на которых часто спотыкаются живые.
- Задайте аудиторию. Страны, устройства, языки — по офферу. Это самый понятный и безопасный фильтр.
- Подготовьте White Page. Отсеянные визиты должны куда-то попасть: нужна обычная страница по теме сайта, а не пустой экран или 403. Пустой ответ бот воспринимает как сигнал перенастроиться, а случайно отсеянный человек — как сломанный сайт.
- Запустите и смотрите журнал. Первые сотни кликов покажут, кого и почему отсекает фильтр.
- Корректируйте точечно. Если отсекаются явно живые люди — ослабляйте конкретную проверку, а не всю защиту целиком.
Как это устроено в ArtisanClo
В ArtisanClo фильтрация ботов настраивается на шаге «Фильтрация» в форме потока. Главные рычаги:
- Строгость проверок — «Мягко», «Баланс» и «Строго». При выборе источника трафика защита подбирается под площадку: например, для Facebook проверка реферера выключена, потому что во встроенном браузере он часто теряется.
- Переключатели защиты — блокировка по чёрным спискам IP, VPN и прокси, ASN дата-центров, headless-браузеров, обязательное выполнение JavaScript, проверка живого взаимодействия и другие.
- Аудитории — списки стран, устройств, ОС, браузеров, языков, часовых поясов, городов и регионов в режиме «Разрешить» или «Заблокировать».
Часть проверок отсекает визит сразу: чёрные списки, явный робот-браузер, правило аудитории. Остальные складываются в оценку доверия. Спай-сервисы, программы вместо браузера и роботы для превью ссылок уходят на White Page при любых настройках. А адрес, уверенно опознанный как бот у любого клиента, попадает в общий список, и его следующий визит в любой поток сразу получает White Page.
Каждое решение объясняется причиной в журнале кликов: «VPN или прокси», «Явный headless-браузер», «Низкий Trust Score» и десятки других. Над списком причин в статистике видно, на каком шаге отсеяны визиты: сеть и запрос, проверка браузера или проверка, которая не вернулась. Если растёт доля отказов на проверке браузера, это повод пересмотреть строгость — там ошибки вероятнее всего.
Сомневаетесь, не режет ли фильтр живых? Включите теневой режим на несколько часов: при подключении PHP-файлом фильтр никого не отсекает, а только отмечает, кого заблокировал бы. Полный список возможностей — на странице возможностей ArtisanClo.
Типичные ошибки при фильтрации ботов
- Максимальная строгость «на всякий случай». Жёсткие настройки режут вместе с ботами часть живых покупателей. Строгий уровень оправдан на источниках с большой долей ботов и после того, как вы посмотрели на свой трафик, а не везде.
- Оценка фильтра по доле прохода. Высокая доля визитов, дошедших до оффера, — не признак плохой защиты: у закупного трафика с проверенной меткой клика она бывает очень высокой, и это нормально. Тревожно, наоборот, когда до оффера не доходит почти никто.
- Блокировка по одному признаку. VPN, отсутствие реферера, IPv6 по отдельности встречаются и у людей.
- Скрипт защиты подключён асинхронно. Если код проверки запускается после показа страницы, бот успевает увидеть оффер. Код должен загружаться первым — об этом в статье как подключить клоаку к сайту.
- Нет обратной связи. Фильтр без журнала причин — чёрный ящик. Вы не узнаете, что режет его настройка, пока не упадут конверсии.
Как проверить, что фильтрация ботов работает
Настроить защиту — половина дела. Вторая половина — убедиться, что она отсекает тех, кого нужно. Несколько простых проверок перед запуском и в первые дни:
- Откройте ссылку как бот. Зайдите на лендинг из сети хостинга или через VPN, без рекламной метки клика. Вы должны увидеть безопасную страницу, а не оффер.
- Откройте ссылку как покупатель. С телефона через мобильный интернет, по ссылке с меткой клика площадки. Должен открыться оффер — без заметной задержки.
- Проверьте встроенный браузер. Отправьте ссылку себе в мессенджер или откройте из приложения соцсети: живой трафик часто приходит именно так.
- Посмотрите первые сотни кликов. Какие причины отказа встречаются чаще всего? Если лидирует то, что почти не бывает у ботов, — фильтр перестарался.
- Сравните с конверсиями. Если клики проходят, а лидов нет, ищите проблему не только в ботах: проверьте оффер, форму и передачу конверсий.
Совет. Свои тестовые устройства добавьте в белый список IP потока — иначе вы будете бороться с собственной защитой и путать свои визиты с чужими.
Итог
Отфильтровать ботов надёжно можно только слоями: сеть и адрес, проверка браузера, поведение — и оценка доверия поверх них, чтобы один случайный признак не стоил вам живого покупателя. Настраивайте защиту под источник, начинайте со сбалансированного уровня, смотрите причины решений и ужесточайте точечно. Фильтр не гарантирует, что аккаунт не забанят — на это влияют и креативы, и домен, и сам оффер, — и не заменяет соблюдения правил площадки. Его задача другая: чтобы бюджет уходил на людей, статистика показывала реальную картину, а связку не унесли спай-сервисы.
