Если после запуска кампании CTR выглядит прекрасно, кликов много, а заявок нет — первым делом подозревают бот-трафик. Иногда справедливо, иногда нет: плохой оффер или сломанная форма дают похожую картину. Чтобы не гадать, полезно знать, по каким признакам невалидный трафик видно на разных уровнях — от одного визита до сводки за неделю.
Что такое бот-трафик и откуда он берётся
Бот-трафик — любые визиты, которые совершает программа, а не человек. Это не обязательно злой умысел. По рекламной ссылке приходят:
- роботы рекламных площадок — проверяют посадочную страницу и строят превью ссылки;
- сервисы проверки объявлений и спай-сервисы — собирают креативы и лендинги чужих кампаний (о защите от них — в статье защита от спай-сервисов);
- сканеры и краулеры — индексируют всё, что видят в открытом доступе;
- фрод-трафик — накрутка показов и кликов на площадках с оплатой за клик и показ;
- скликивание — намеренные клики конкурентов или ботнетов, о нём — в статье про клик-фрод, а о скликивании в поиске и РСЯ — в материале защита от ботов в Яндекс Директ.
В рекламной индустрии такой трафик делят на два типа. GIVT (general invalid traffic) — общий невалидный трафик, который отсекается простыми правилами: известные краулеры, сети дата-центров. SIVT (sophisticated invalid traffic) — сложный, который маскируется под человека. Это разделение пригодится дальше: признаки у этих типов разные.
Признаки бота на уровне сети
Первое, что видно о визите, — его IP-адрес и сеть.
Сеть хостинга или облака
Обычный человек выходит в интернет через домашнего провайдера или мобильного оператора. Если визит пришёл из сети облачного хостинга, это почти наверняка сервер — скрипт, сканер или прокси. Принадлежность адреса к сети определяется по ASN — номеру автономной системы. Подробнее — в материале VPN, прокси и IP дата-центров.
VPN и прокси
VPN бывает и у живых людей, поэтому сам по себе он не приговор. Но в сочетании с другими признаками — несовпадением часового пояса, неродным языком браузера, отсутствием рекламной метки — это сильный сигнал.
Повторы с одного адреса
Десятки кликов с одного IP за сутки — классика накрутки и парсинга. У живого человека бывает два-три захода: открыл, вернулся, обновил страницу. Дальше уже вопросы.
Нет провайдера
Если у адреса не определяется провайдер — обычно это серверный адрес, а не абонент.
Признаки бота на уровне запроса и браузера
Странные или неполные заголовки
Простые скрипты отправляют минимальный набор заголовков, устаревший или шаблонный user-agent, не присылают язык. Браузер так не делает: у него всегда полный и согласованный набор.
Нет JavaScript
Программа вместо браузера — curl, библиотеки HTTP-запросов, многие парсеры — не исполняет скрипты. Если проверка в браузере не вернула ответа, это одна из самых надёжных примет автоматики.
Следы автоматизации
Headless-браузер выполняет JavaScript, но оставляет следы: флаги управления, отсутствие привычных плагинов и шрифтов, несовпадение заявленной версии с реальными возможностями. Это признаки SIVT — о них подробно в статье про headless-браузеры и отпечаток браузера.
Несогласованность
- часовой пояс браузера не совпадает со страной IP;
- язык системы не соответствует гео;
- экран «мобильный», а набор возможностей — как у настольного сервера;
- заявлен iPhone, а ведёт себя как Chrome на Linux.
По отдельности такое бывает у путешественников и в корпоративных сетях. Вместе — нет.
Признаки бота в поведении
| Признак | Человек | Бот |
|---|---|---|
| Время на странице | секунды и минуты, разное | ноль или одинаковое до миллисекунды |
| Движения мыши и пальца | неровные, с паузами | отсутствуют или идеально прямые |
| Прокрутка | рывками, с возвратами | нет или равномерная |
| Клик по кнопке | после чтения | мгновенно или никогда |
| Повторные визиты | редкие | серийные, по расписанию |
Поведенческие признаки самые сильные, но на них нужно время: за долю секунды поведение не наберёшь.
Признаки бот-трафика в статистике кампании
Когда отдельные визиты не разобрать, смотрите на агрегаты. Вот что должно насторожить:
- Клики есть, конверсий нет совсем. Не снижение, а ноль на заметном объёме.
- Всплески в нехарактерные часы. Ночные пики в гео, где все спят, — частый признак автоматики.
- Одна площадка (зона, сайт) даёт непропорционально много кликов. В нативе и пуше так выглядят фродовые площадки.
- Высокий CTR при нулевом вовлечении. Кликают, но никто не доходит до формы.
- Конверсии есть, апрува нет. Фрод-лиды проходят форму, но отклоняются сетью — следите за статусами конверсий.
- Однородный трафик. Одна модель телефона, одна версия браузера, одно разрешение у сотен «разных» посетителей.
Совет. Передавайте номер площадки, зоны или сайта в метку кампании — например,
sub1={zoneid}. Тогда в отчёте сразу видно, какие площадки дают ботов, и их можно отключить в самой рекламной сети.
Признаки, которые ошибочно принимают за ботов
Не каждая странность — бот. Частые ложные тревоги:
- Встроенные браузеры соцсетей и WebView. У них бывают необычные user-agent и признаки, похожие на автоматизацию, а реферер часто теряется.
- Корпоративные сети и мобильные операторы. Много людей за одним адресом — и вот уже «десять кликов с IP».
- IPv6. У многих мобильных операторов это норма.
- Быстрые покупатели. Человек, который уже видел оффер или решил купить заранее, может нажать кнопку за пару секунд. Короткое время на странице само по себе — не доказательство автоматики.
- Пересланные ссылки. Друг переслал ссылку в мессенджере — у визита нет рекламной метки и реферера, хотя это живой и часто очень тёплый посетитель.
- Высокая доля прохода на оффер. Это не признак ботов. У закупного трафика с проверенной меткой клика до оффера может доходить очень большая доля визитов, и это нормально. Наоборот, если проходит совсем мало, стоит проверить, не режет ли фильтр живых людей.
Поэтому зрелые системы не отсекают визит по одному мягкому признаку, а складывают их в оценку доверия. Чем больше независимых признаков сходится, тем увереннее вывод, и тем меньше шанс, что на безопасную страницу уйдёт покупатель.
Как распознавать бот-трафик в ArtisanClo
В ArtisanClo каждый визит проходит проверки по порядку — сеть и запрос, проверка браузера, поведение — и получает решение с объяснением. В журнале кликов видно, почему визит отсеян или пропущен; в карточке клика — сеть (VPN, прокси, дата-центр), устройство, браузер, рекламная метка, пройденные проверки и конверсии.
Причины сгруппированы так, как это удобно для разбора:
- Бот / автоматизация — роботы площадок, сервисы проверки объявлений, спай-сервисы, роботы-браузеры, программы вместо браузера;
- Серверный трафик — дата-центры, хостинги, прокси-сети;
- Правило кампании — сработала ваша настройка: гео, устройство, расписание, лимит кликов с адреса, VPN, оценка доверия, чёрный список.
В статистике над причинами показаны доли трёх шагов «Где отсеяны» — по аналогии с делением на GIVT и SIVT: сеть и запрос, проверка браузера и проверка не вернулась. Первый шаг — простой невалидный трафик, второй — боты, которые притворяются людьми, третий — программы без JavaScript.
А на дашборде есть индекс качества трафика — оценка самого трафика: больше всего в нём весит доля живых посетителей без учёта проверок площадки. Если трафик ухудшился, под баллом будет написано, что именно стало слабым местом. Как самому оценить качество трафика по слоям, рассказано в отдельной статье. Подробнее о разборе отдельных решений — в статье почему клик ушёл на White Page.
Что делать, когда признаки бот-трафика найдены
- Определите источник. Ботов приносит конкретная площадка, зона или кампания — найдите её по меткам.
- Отключите мусорные площадки в самой сети. Фильтр защищает лендинг, но за клик вы всё равно платите.
- Ужесточите защиту точечно. Если боты из дата-центров — включите блокировку ASN; если headless — проверку браузера и живого взаимодействия.
- Заблокируйте повторяющиеся адреса. Свой чёрный список IP пригодится для конкретных назойливых визитёров.
- Запросите возврат у площадки. Многие сети возвращают деньги за доказанный невалидный трафик — журнал с причинами здесь служит аргументом.
Общая схема настройки защиты описана в статье как отфильтровать ботов.
Быстрая проверка трафика: чек-лист на 15 минут
Если нет времени разбираться в каждом визите, пройдите по списку. Каждый пункт — отдельный вопрос к журналу визитов или отчёту за последние сутки-двое.
- Какая доля визитов пришла из сетей хостингов и дата-центров? Для рекламного трафика из соцсетей и поиска эта доля должна быть небольшой. Если она заметная, ищите источник: конкретную кампанию, площадку, зону.
- Есть ли адреса с десятками визитов? Отсортируйте по адресу. Пара заходов — норма, серии — нет.
- Сколько визитов не выполнили скрипт проверки? Программы без JavaScript отсеиваются именно так. Большая доля — признак парсеров и простых ботов.
- Совпадают ли гео визитов с гео таргетинга? Чужие страны в журнале — это проверяющие, VPN или боты.
- Как распределены визиты по часам? Ровная «полка» круглые сутки в одной стране — плохой знак: живая аудитория спит.
- Однородны ли устройства? Сто визитов с одинаковой моделью и версией браузера — это не аудитория, а скрипт.
- Как ведут себя конверсии? Сравните CR и апрув по источникам: если у одного источника лиды есть, но почти все отклоняются, вероятна фродовая накрутка форм. Что делать, когда боты оставляют заявки на сайте, разобрано отдельно.
Если по двум-трём пунктам ответ тревожный, трафик почти наверняка содержит заметную долю ботов. Дальше решайте, что с ним делать: фильтровать на своей стороне, отключать площадку или требовать возврат. Список площадок и их особенностей собран в каталоге источников трафика.
Коротко
Бот-трафик выдаёт себя на четырёх уровнях: сеть (хостинги, VPN, повторы с адреса), браузер (нет JavaScript, следы автоматизации, несогласованность), поведение (нулевое время, отсутствие движений) и статистика (клики без конверсий, всплески, однородность). Ни один признак сам по себе не доказывает бота — решает их сочетание. И не путайте высокую долю прохода с плохой защитой: о проблеме говорит скорее обратное.
