Um concorrente acessa sua landing do escritório todo dia. O mesmo bot martela o link cem vezes por dia. O testador da rede verifica a oferta sempre do mesmo servidor. Para esses casos existe uma ferramenta simples e precisa: a lista negra de IP. O endereço entrou, e nunca mais verá nada além da página neutra.
A simplicidade engana. O bloqueio de IP funciona muito bem contra endereços fixos e quase não serve contra quem troca de endereço. Vamos ver quando a blacklist de IP é realmente necessária, como escrever endereços e sub-redes corretamente e onde ela atrapalha.
O que é uma lista negra de IP
A lista negra de IP (blacklist) é uma relação de endereços e faixas cujo acesso à oferta está fechado de antemão. No contexto de um cloaker, não é um "ban" no sentido comum: o visitante não recebe erro, e sim vê uma White Page, uma página neutra comum. Assim ele nem fica sabendo que foi filtrado.
Há dois tipos de lista:
| Lista própria | Lista compartilhada do serviço | |
|---|---|---|
| Quem mantém | Você | O sistema de proteção, automaticamente |
| Quem entra | Concorrentes, seus dispositivos, bots insistentes específicos | Endereços identificados com segurança como automação |
| Onde vale | Na sua conta | Para todos os clientes do serviço |
| Quando é atualizada | Manualmente, quando você decide | Conforme os bots são detectados |
As duas são úteis, mas resolvem problemas diferentes. A compartilhada cobre os bots conhecidos em massa; a própria, os seus casos particulares.
Quando bloquear um endereço por IP
Bons candidatos para a sua lista negra:
- concorrente com endereço fixo: escritório, servidor próprio, IP estático;
- seus dispositivos de teste, se você quer ver justamente a White Page (por exemplo, para checar como ela aparece no fluxo real);
- servidor que consulta o link com frequência: monitoramento, scraper, script de terceiros;
- endereços flagrados em cliques fraudulentos: cliques repetidos do mesmo endereço, mais detalhes no artigo sobre fraude de cliques;
- sub-rede de hospedagem de onde vêm bots, se você não quer ativar o bloqueio de todos os data centers no fluxo.
Quando o bloqueio de IP não ajuda ou atrapalha
Endereços móveis
As operadoras móveis colocam muitos assinantes na internet por endereços compartilhados, e um assinante recebe endereços novos o tempo todo. Ao bloquear esse IP, você corta pessoas reais aleatórias, e o bot sai por outro endereço um minuto depois.
Endereços residenciais dinâmicos
Em muitos provedores residenciais, o endereço muda a cada reconexão. Hoje está com o bot, amanhã com o seu comprador.
VPN e proxy
Bloquear endereços de VPN um a um é inútil: são milhares. Contra VPN funciona não uma lista, e sim a detecção pela rede e por sinais, que está no artigo sobre VPN, proxy e IPs de data center; como um endereço é avaliado como um todo está no material sobre reputação de IP.
Botnets e proxies residenciais
Aqui há tantos endereços, trocando tão rápido, que a lista não acompanha. São necessárias verificações de navegador e comportamento: veja navegadores headless e fingerprint do navegador.
Dica. Se você sentir vontade de colocar na lista mais do que algumas dezenas de endereços avulsos, pare. Muito provavelmente o problema se resolve com a configuração certa da proteção do fluxo, e não com uma lista manual.
Endereços IP e sub-redes: como escrever
IPv4 e IPv6
Um endereço IPv4 é como 203.0.113.7; um IPv6, como 2001:db8::1. Dá para bloquear os dois tipos, mas lembre das redes móveis: nelas o IPv6 é muito comum.
Sub-redes no formato CIDR
Para bloquear uma faixa, usa-se a notação CIDR: endereço e tamanho da máscara separados por barra.
| Notação | Significado | Quantos endereços (IPv4) |
|---|---|---|
203.0.113.7 |
um endereço | 1 |
203.0.113.0/24 |
de 203.0.113.0 a 203.0.113.255 | 256 |
203.0.112.0/22 |
quatro sub-redes /24 seguidas | 1024 |
198.51.0.0/16 |
todos os endereços que começam com 198.51 | 65 536 |
A regra é simples: quanto menor o número depois da barra, maior a faixa. Uma sub-rede /16 já é um pedaço inteiro de um provedor, e quase certamente há usuários reais nela. No IPv6 a lógica é a mesma, só que cada bloco tem ordens de grandeza mais endereços.
Onde encontrar o endereço
No log de visitas: cada clique tem IP, rede e provedor. Se muitos bots vêm de uma mesma rede, veja o ASN dela: talvez seja mais correto bloquear a rede inteira pelas regras de público do que listar endereços.
Lista negra e whitelist: qual vence
A whitelist de IP é a ferramenta inversa: endereços que vão para a oferta sem verificações. Ela serve para os seus testes, para que você e a equipe vejam a oferta nos dispositivos de trabalho sem brigar com o próprio filtro.
Se um endereço está nas duas listas, é importante saber qual vence. O mais lógico é a lista negra vencer: você proibiu aquele endereço de forma explícita, e uma entrada acidental na whitelist não deveria anular isso.
Lista negra de IP na ArtisanClo
A ArtisanClo tem os dois níveis.
Sua lista negra
É a sua lista de endereços que nunca devem ver a oferta. Ela vale em todos os seus fluxos e só na sua conta: não afeta outros clientes.
- A visita de um endereço da lista vai direto para a White Page, sem verificações, pontuação de confiança ou aquecimento. O motivo no log é «Na sua lista negra».
- A lista negra vale mais que a whitelist: mesmo que o endereço esteja na whitelist de IP do fluxo, ele verá a White Page.
- O mesmo no modo sombra e no modo «Tracker»: foi você quem proibiu esse endereço.
- As alterações valem na hora, a partir da próxima visita.
Dá para bloquear um endereço direto no log de cliques: ao lado do endereço, em cada linha, há um ícone, vermelho para bloquear e verde para desbloquear. Com as caixas de seleção, você marca várias linhas e bloqueia em lote; cada ação é confirmada numa janela com a lista de endereços.
Na página «Lista negra de IP», os endereços são adicionados um a um com uma nota (por exemplo, «concorrente») ou em lista, um endereço por linha, inclusive colando direto de uma planilha. São aceitos IPv4, IPv6 e sub-redes em notação CIDR; sub-redes largas demais, que cobririam regiões inteiras da internet, não são aceitas. Na lista aparecem a data de inclusão, o autor e a nota.
Lista comum de bots
À parte, funciona a proteção automática. Se um serviço de verificação de anúncios, um robô de plataforma ou um programa no lugar de navegador for identificado com segurança em qualquer cliente, o endereço é memorizado para todo o serviço, e a próxima visita dele a qualquer fluxo já recebe a White Page, com o motivo «Endereço de bot conhecido». Visitantes reais com rede duvidosa, VPN ou sem JavaScript não entram nela. Um endereço flagrado em automação em vários clientes ao mesmo tempo vai para a lista negra de IP compartilhada.
Esses endereços não aparecem na sua página de lista negra, e não é preciso removê-los. Só a whitelist de IP do fluxo passa por cima da lista compartilhada.
Whitelist
A whitelist de IP é definida no último passo de configuração do fluxo: endereços e sub-redes IPv4, um por linha. O botão «Adicionar meu IP» inclui o endereço de onde você está trabalhando. Endereços da whitelist vão para a oferta sem verificações e sem limite de cliques por IP.
Como ler os motivos das decisões está no artigo sobre por que o clique foi para a White Page, e a ordem geral de configuração do fluxo, no guia de configuração do cloaker passo a passo.
Três cenários da prática
Abaixo, situações típicas em que o media buyer pensa em bloquear IP. O exemplo é ilustrativo.
O concorrente olha sua landing toda manhã. No log de visitas aparece: o mesmo endereço de provedor residencial ou empresarial, sem parâmetro de clique do anúncio, várias vezes por dia, sempre por volta das nove da manhã. É o caso ideal para a lista negra: o endereço é estável, e depois do bloqueio o concorrente vê a página neutra. Coloque uma nota na entrada, para saber de onde ela veio daqui a um mês.
Cem acessos por dia de endereços da mesma hospedagem. Os endereços variam, mas todos são da mesma rede de um provedor de nuvem. Listá-los não faz sentido: amanhã serão outros. O mais correto é ativar no fluxo o bloqueio de data centers ou bloquear essa rede pelo número ASN nas regras de público.
Muitas recusas de endereços móveis da mesma operadora. A tentação de bloquear a sub-rede é grande, mas por trás dela há milhares de assinantes. Primeiro entenda a causa: pode ser o navegador embutido de uma rede social, prejudicado por uma verificação rígida demais, e o problema estar na configuração, não em bots.
A regra geral para os três casos: antes de bloquear, olhe o endereço inteiro no log (rede, provedor, dispositivo, parâmetro de clique e motivo da decisão). O bloqueio se justifica quando há uma mesma entidade por trás do endereço. Se há uma multidão por trás, a ferramenta é outra.
Regras práticas para manter a lista negra
- Anote as entradas. Daqui a um mês você não vai lembrar por que
203.0.113.42foi bloqueado. Uma nota como «concorrente, escritório» economiza tempo. - Bloqueie de forma estreita. Primeiro o endereço, depois o
/24, e só com certeza algo mais amplo. - Não bloqueie endereços móveis, a não ser em casos muito evidentes.
- Revise a lista. Endereços mudam de dono; o que era bot há seis meses hoje pode ser um assinante residencial.
- Não troque a configuração da proteção por uma lista. Se o log tem muitos bots diferentes de data centers, ative o bloqueio de data centers em vez de listar endereços.
- Não se esqueça de você. Se colocou seu IP na lista negra para conferir a White Page, tire depois, ou vai estranhar por que não vê a oferta.
- Combine com a equipe. Se várias pessoas mantêm a lista, defina quem inclui endereços e com qual critério. Senão, em seis meses haverá entradas que ninguém sabe explicar, e removê-las vai dar medo.
A lógica geral da proteção em camadas está no artigo sobre como filtrar bots. E os planos em que cada recurso de proteção está disponível estão na página de preços.
Resumo
A lista negra de IP é uma ferramenta precisa contra endereços fixos: concorrentes, seus dispositivos de teste, servidores insistentes. Contra redes móveis, VPN e botnets ela não tem força e pode atrapalhar, porque os endereços mudam e são compartilhados entre pessoas. Mantenha sua lista estreita e anotada, deixe os bots em massa para a lista compartilhada e para a proteção do fluxo, e lembre que um endereço que você proibiu não deve passar nem pela whitelist.
