Антибот для сайта: что это такое и как работает защита от ботов

Антибот — это фильтр, который на входе отличает человека от программы. Разбираем, какие бывают антиботы для сайта, от чего каждый защищает и почему рекламному лендингу нужен не тот же антибот, что интернет-магазину.

Боты и фрод8 мин чтения
Антибот для сайта: что это такое и как работает защита от ботов
Содержание
  1. Антибот — это что такое простыми словами
  2. Виды антибот-защиты: от чего защищает каждая
  3. Как работает антибот: слои проверки
  4. Защита от ботов на сайте: типовые случаи
  5. Антибот для лендинга под рекламу
  6. Как это устроено в ArtisanClo
  7. Как выбрать антибот: короткий чек-лист
  8. Итог

Само слово «антибот» обманчиво простое: кажется, что это одна галочка в настройках хостинга. На деле под ним прячутся очень разные инструменты — от защиты от атак на отказ до фильтра, который на каждый рекламный клик решает, человек перед ним или программа. Ошибка в выборе стоит денег: сайт либо остаётся беззащитным там, где болит, либо теряет живых покупателей.

Ниже — что такое антибот, какие задачи он закрывает и как выбрать защиту от ботов на сайте под вашу ситуацию.

Антибот — это что такое простыми словами

Антибот — система, которая на входе на сайт отличает живого посетителя от автоматической программы и решает, что с этим визитом делать: пропустить, замедлить, показать проверку, отдать другую страницу или отказать.

Важно понимать, что «бот» — не ругательство. Поисковые роботы, мониторинг доступности, превью ссылок в мессенджерах — тоже боты, и многие из них сайту нужны. Задача антибота не «убить всех роботов», а пустить нужных, отсечь вредных и не задеть людей.

Вредные боты делятся на несколько больших групп:

  • Нагрузочные — заваливают сервер запросами, чтобы он перестал отвечать.
  • Парсеры и скрейперы — собирают цены, тексты, каталоги, контакты.
  • Взломщики — перебирают пароли, ищут уязвимые формы и админки.
  • Спамеры — заполняют формы заявок, комментарии, регистрации (что делать, если боты оставляют заявки на сайте, — в отдельной статье).
  • Рекламные боты — кликают по платной рекламе, имитируют посещения, проверяют объявления, собирают чужие связки.

Каждой группе нужна своя защита, и именно поэтому «антибот для сайта» у разных людей означает разные вещи. Как выглядит бот-трафик в цифрах, подробно разобрано в статье признаки бот-трафика.

Виды антибот-защиты: от чего защищает каждая

Задача Чем закрывают От чего не спасает
Атаки на отказ (DDoS) CDN, защита на уровне сети и хостинга От дорогих одиночных рекламных кликов
Перебор паролей, спам в формах Капча, лимиты попыток, скрытые поля От парсеров, которые ничего не отправляют
Парсинг и скрейпинг Лимиты частоты, проверки браузера, блок сетей хостингов От ботов, пришедших по рекламной ссылке
Рекламные боты и скликивание Фильтр трафика на посадочной странице с оценкой каждого визита От атак на отказ

Видно, что универсального антибота не бывает. Защита от DDoS работает с потоком запросов и мыслит объёмами: «с этой подсети пришло слишком много — притормозим». Рекламный фильтр мыслит одним визитом: «этот конкретный клик стоил денег — кто его сделал?». Это разная математика и разные ошибки.

Антибот для рекламного трафика и защита сайта от DDoS — в чём разница

Защита от атак на отказ отвечает на вопрос «выдержит ли сервер». Её успех — сайт доступен. Если она пропустит сотню ботов, ничего страшного: нагрузка в норме.

Антибот для рекламного трафика отвечает на вопрос «на кого ушли деньги и кто увидел страницу». Его успех — живой человек дошёл до предложения, а бот, сканер или спай-сервис нет. Сотня пропущенных ботов здесь — сотня оплаченных пустых кликов и испорченная статистика, по которой вы будете отключать рабочие кампании.

Есть и обратная разница. Защита от DDoS может позволить себе на минуту показать всем проверку «Подождите, проверяем браузер» — люди подождут. На рекламном лендинге каждая секунда ожидания и каждый лишний экран снижают конверсию, а за клик вы уже заплатили.

Антибот и защита от парсинга

Парсеры обычно приходят напрямую, без рекламы, из сетей хостингов и облаков, много раз подряд. Против них хорошо работают лимиты частоты и блокировка дата-центров. Рекламный фильтр решает близкую задачу, но на входе по платной ссылке: там парсер маскируется под обычного посетителя из рекламы, и одной частоты уже мало — нужны проверки сети, браузера и поведения.

Как работает антибот: слои проверки

Зрелый антибот не полагается на один признак. Он складывает несколько слоёв, и каждый отсекает свой класс автоматики.

  1. Сеть. Откуда пришёл визит: домашний или мобильный провайдер, сеть хостинга, VPN или прокси, адрес из чёрного списка. Подробно об этом — в статье VPN, прокси и IP дата-центров.
  2. Запрос. Как выглядят заголовки, есть ли язык браузера, совпадает ли заявленный браузер с тем, как он себя ведёт, есть ли метка рекламного клика.
  3. Браузер. Выполняется ли JavaScript, есть ли следы автоматизации, характерные для headless-браузеров, согласуются ли экран, часовой пояс и язык. Об этом — в материале про headless-браузеры и отпечаток браузера.
  4. Поведение. Как двигаются мышь и палец, сколько посетитель провёл на странице, не повторяет ли он один и тот же путь.

Часть признаков однозначна и отсекает сразу: программа вместо браузера, известный робот-проверяющий. Остальные складываются в оценку доверия: VPN сам по себе не делает человека ботом, но VPN плюс сеть хостинга плюс отсутствие JavaScript — уже весомо.

Совет. Спрашивайте у любого антибота, видно ли, почему конкретный визит отсеян. Защита без объяснений превращается в чёрный ящик: вы не отличите полезную работу от среза живых покупателей.

Защита от ботов на сайте: типовые случаи

Антибот ставят на очень разные сайты, и у каждого типа свои подводные камни. Ниже — общие соображения без привязки к настройкам конкретных платформ: их интерфейсы меняются, сверяйте детали в их собственной справке.

Сайт на конструкторе (например, Тильда)

У конструкторов нет доступа к серверу, поэтому защита ставится либо средствами самой платформы, либо скриптом в шапке страницы. Скриптовый антибот должен загружаться первым, до показа содержимого, иначе страница успеет открыться всем. У многих конструкторов вставка собственного кода в раздел head доступна только на платных тарифах самого конструктора — проверьте это до запуска рекламы.

Сайт на CMS с PHP (WordPress, Битрикс и другие)

На сайтах с доступом к серверу выбор шире: проверку можно выполнить ещё до того, как сервер начнёт отдавать страницу, а не в браузере. Это надёжнее — посетитель без JavaScript не увидит страницу даже на мгновение. Главный враг здесь — кэширование: плагин кэша или кэш хостинга отдаёт сохранённую копию страницы, и антибот просто не успевает спросить решение. Посадочные страницы рекламы нужно исключать из кэша страниц. Для WordPress подробности — в статье клоака для WordPress.

Сайт за Cloudflare или другим CDN

CDN закрывает нагрузочные атаки и грубых сканеров — это хорошая первая линия. Но две вещи стоит помнить. Первое: CDN тоже кэширует, и если лендинг закэширован на краю сети, фильтр на вашем сервере не увидит часть визитов. Второе: правила CDN работают для всего сайта сразу и не знают, какой клик пришёл из какой рекламной кампании. Поэтому рекламный фильтр ставят дополнительно, на конкретные посадочные страницы.

Интернет-магазин и сайт услуг без платной рекламы

Если трафик в основном органический, рекламный антибот вам почти не нужен. Достаточно защиты от DDoS, капчи на формах и лимитов на вход в личный кабинет. А вот поисковых роботов блокировать нельзя — это прямой путь к выпадению из выдачи.

Антибот для лендинга под рекламу

Когда вы платите за каждый переход, у антибота появляются три дополнительные задачи.

  • Сберечь бюджет и статистику. Боты кликают по объявлениям, иногда массово — это скликивание и клик-фрод. Если их не отсекать, отчёты врут, и оптимизация идёт по шуму.
  • Скрыть связку от сборщиков. Спай-сервисы и парсеры обходят рекламные ссылки, чтобы скопировать креативы и лендинги.
  • Не терять живых. Встроенные браузеры соцсетей, мобильный интернет, общие адреса операторов — всё это выглядит «подозрительно» для грубого фильтра.

Отсюда требования к рекламному антиботу, которых нет у защиты от DDoS:

  1. Решение по каждому визиту, а не по потоку запросов.
  2. Без капчи и лишних экранов для человека.
  3. Причина решения в журнале по каждому клику.
  4. Возможность ослабить отдельную проверку, если она задевает людей, а не выключать всё.
  5. Отдельные настройки для разных источников: трафик соцсети, поиска и push-сети ведёт себя по-разному.

Пошаговая схема настройки такого фильтра — в статье как отфильтровать ботов в рекламном трафике.

Как это устроено в ArtisanClo

ArtisanClo — фильтр рекламного трафика: на каждый визит по рекламной ссылке он за доли секунды решает, пустить посетителя на основную страницу или показать нейтральную безопасную страницу (White Page). Сайт при этом остаётся у вас.

  • Подключение — два способа. JS-тег первой строкой в head страницы или PHP-файл на вашем сервере; для WordPress есть плагин, который ставит тот же PHP-способ. Как выбрать — в статье как подключить фильтр к сайту.
  • Слои проверки. Чёрные списки IP, VPN и прокси, сети дата-центров, роботы-браузеры, обязательное выполнение JavaScript, проверка живого взаимодействия — каждый включается отдельно, а строгость задаётся уровнями «Мягко», «Баланс» и «Строго».
  • Оценка доверия. Явная автоматизация отсекается сразу, остальные признаки складываются в штрафы, и визит уходит на White Page, только если сумма превысила порог.
  • Общий список ботов. Если сервис проверки объявлений или программа вместо браузера уверенно опознаны у любого клиента, их следующий визит в ваш поток сразу получает White Page. Живых посетителей с сомнительной сетью туда не заносят.
  • Причина у каждого клика. В журнале кликов видно решение и одну из десятков причин — «VPN или прокси», «Программа, а не браузер», «Превышен лимит кликов с IP». Если сомневаетесь, не режет ли фильтр людей, теневой режим (на PHP-файле) покажет, кого бы он отсёк, никого не отсекая.

Полный список возможностей — на странице возможностей, тарифы — на странице тарифов; есть бесплатный пробный период.

Как выбрать антибот: короткий чек-лист

  • Определите, от чего защищаетесь: нагрузка, формы, парсинг или платные клики.
  • Для рекламы проверьте, есть ли журнал с причиной по каждому визиту.
  • Узнайте, как защита подключается к вашему сайту и не ломается ли она от кэша.
  • Убедитесь, что поисковые роботы на основном сайте не блокируются.
  • Посмотрите, можно ли настраивать строгость под источник трафика.
  • Запустите на части трафика и сравните конверсию до и после.

Итог

Антибот — это не одна кнопка, а класс инструментов. Защита от DDoS бережёт сервер, капча — формы, лимиты частоты — каталог от парсеров. Если вы покупаете рекламу, нужен ещё и фильтр, который оценивает каждый оплаченный клик, объясняет решение и не мешает живым людям. Начните с вопроса «что именно болит», и выбор станет очевидным.

Частые вопросы

01

Антибот это то же самое, что капча?

Нет. Капча — один из способов проверки, при котором посетителя просят что-то сделать. Антибот шире: он смотрит на сеть, заголовки запроса, браузер и поведение и чаще всего принимает решение незаметно для человека. Капча может быть последней ступенью антибота, но для рекламного лендинга она обычно слишком дорога по конверсии.

02

Нужен ли антибот, если сайт стоит за CDN с защитой?

Зависит от задачи. CDN хорошо держит волны запросов, атаки на отказ и грубых сканеров, но он не знает, что клик пришёл из рекламы и стоил денег. Если вы платите за трафик, вам нужен фильтр, который решает судьбу каждого рекламного визита и показывает причину, а не только отбивает нагрузку.

03

Может ли антибот заблокировать живых посетителей?

Может, и это главный риск любой защиты от ботов. Чаще всего страдают люди под VPN, корпоративные сети, старые телефоны и встроенные браузеры приложений. Поэтому важно, чтобы у каждого отказа была причина, а строгость можно было ослабить точечно, а не выключать защиту целиком.

04

Влияет ли антибот на SEO и индексацию сайта?

Защита, которая блокирует поисковых роботов на всём сайте, вредит индексации. Рекламный фильтр обычно ставят только на посадочные страницы кампаний, которые и так не продвигаются в поиске, а основной сайт оставляют открытым для поисковиков.

05

Сколько трафика антибот должен отсекать?

Единой нормы нет: всё зависит от источника. У закупного трафика с переданной меткой клика на страницу может проходить большая часть визитов, у дешёвых push и pop сетей ботов бывает очень много. Тревожный признак — когда до страницы не доходит почти никто: значит, правила режут и людей.

Читать также

9 мин чтения

Как отфильтровать ботов в рекламном трафике и не потерять живых людей

Фильтрация ботов — это не одна галочка «антибот», а цепочка проверок от IP-адреса до поведения в браузере. Разбираем, как её выстроить, чтобы бюджет уходил на людей.

8 мин чтения

Боты оставляют заявки на сайте: откуда фейковые лиды и как их остановить

Если боты оставляют заявки на сайте, страдают сразу три вещи: менеджеры звонят в пустоту, статистика врёт, а рекламная площадка учится на мусорных конверсиях. Разбираем, откуда берутся спам-заявки и как защитить форму в несколько слоёв.

8 мин чтения

Защита от ботов в Яндекс Директ: как распознать скликивание и не платить за ботов

Боты в Директе — это не только конкуренты с автокликером. Чаще всего это мусорные площадки РСЯ и роботы, которые выглядят как обычные посетители. Разбираем, где их искать в Метрике и отчётах и как выстроить защиту от ботов в Яндекс Директ.

Проверьте свой трафик на деле

Подключите ArtisanClo к своему сайту, посмотрите, кто на самом деле приходит по рекламе, и почему каждый клик получил своё решение.