Reklam trafiğindeki botları tek bir ayarla «kapatamazsınız»: çok farklı olurlar; sunucudan bağlantıyı çağıran ilkel bir betikten, ev ağından çalıştırılan ve bir programın yönettiği tam teşekküllü bir tarayıcıya kadar. Bu yüzden bot trafiği filtreleme bir huni gibi kurulur: her katman kendi otomasyon sınıfını eler, gerçek insan ise farkına bile varmadan tüm katmanlardan geçer.
Aşağıda olgun bot koruma sistemlerinin kullandığı şema ve onu belirli bir kaynağa göre ayarlamak için pratik öneriler var.
Reklamda botları neden filtrelemeli
Medya alıcısının (reklam satın alan uzmanın) her kampanyada anti-bot tutması için üç neden vardır:
- Para. Bottan gelen ücretli tıklama, dönüşüm şansı olmayan bir harcamadır. CPC modellerinde bu ziyaretçilerin her biri için doğrudan ödersiniz.
- Kampanyanın korunması. Spy servisleri ve parser'lar kreatifleri, landing'leri ve offer'ları toplamak için reklam bağlantılarını dolaşır. Kampanyanızı bütünüyle görürlerse bir hafta sonra rakipler de aynısını yapar ve tıklama fiyatı yükselir.
- Temiz istatistik. Botlu verilere göre optimizasyon gürültüye göre optimizasyondur: çalışan kampanyaları kapatır, çöp yerleşimleri ölçeklendirirsiniz.
Spy servislerinin kampanyaları nasıl topladığı spy servislerinden korunma yazısında, tıklama şişirme ise tıklama sahtekarlığı yazısında.
Reklam bağlantısına hangi botlar gelir
Filtreyi kurmadan önce kime karşı koruduğunu anlamak faydalıdır. Her sınıfın işaretleri bot trafiği belirtileri yazısında ayrıntılı ele alınıyor, burada kısa bir sınıflandırma var.
| Sınıf | Kim | Kendini genellikle nasıl ele verir |
|---|---|---|
| Önizleme robotları | bağlantının başlığını ve görselini çeken crawler'lar | bilinen user-agent'lar, platform ve mesajlaşma uygulaması ağları, tıklama etiketi yok |
| Spy servisleri ve tarayıcı botlar | başkalarının kreatiflerini ve landing'lerini toplayan sistemler | veri merkezleri, tekrar girişler, otomatik tarayıcı |
| Tarayıcı yerine programlar | curl, Python betikleri, parser'lar | JavaScript çalıştırmaz, tuhaf başlıklar |
| Headless tarayıcılar | bir programın yönettiği penceresiz Chrome | tarayıcı ortamında otomasyon izleri |
| Tıklama sahtekarlığı | rakiplerin veya platformun tıklama şişirmesi | benzer adreslerden ziyaret serileri, sıfır davranış |
| Hedef dışı insanlar | rakipler, başka GEO'dan ziyaretler, iletilen bağlantılar | reklam etiketi yok, başka ülke, VPN veya kurumsal ağ |
Son sınıf en zorudur: biçimsel olarak bir insandır, ama ona ödeme yapıp offer'a göndermenin anlamı yoktur; başka ülkeden gelen başvuruyu ağ kabul etmez, rakip de hiçbir şey satın almaz. Bununla bot işaretlerinden çok ziyaretin bağlamı ilgilenir: GEO, tıklama etiketi, ağ.
Katman 1. Ağ ve istek
İlk ve en ucuz katman, sayfa yüklenmeden önce bilinenleri kontrol eder: IP adresi, ağ, istek başlıkları, bağlantı parametreleri.
IP adresi ve ağ (ASN)
Her IP bir otonom sisteme, yani belirli bir operatörün ağı olan ASN'ye aittir. Ev sağlayıcısı, mobil operatör, bulut hosting ve VPN servisi farklı itibarlara sahip farklı ağlardır. Reklam trafiğinde hosting ağından gelen bir ziyaret neredeyse her zaman telefonlu bir insan değil, bir sunucu demektir. Bu ağların tam olarak nasıl ayırt edildiği VPN, proxy ve veri merkezi IP'leri yazısında.
Adres kara listeleri
Bir adres daha önce otomasyonla kesin olarak yakalandıysa onu yeniden kontrol etmeye gerek yoktur. Bilinen botların ortak listeleri ve kendi IP kara listeniz tekrar gelenleri anında ve kontrol maliyeti olmadan keser.
Başlıklar ve tıklama etiketi
User-agent, tarayıcı dili, referrer varlığı, fbclid veya gclid gibi parametreler: bunların hepsini kontrol etmek ucuzdur. Basit betikler çoğu zaman eksik veya çelişkili bir başlık seti gönderir. Reklamdan geçişte reklam etiketinin olmaması ise daha dikkatli bakmak için bir sebeptir.
Kampanya kuralları
Kendi kısıtlamalarınız da buraya girer: ülke, cihaz, dil, takvim. Almanya'ya trafik gönderiyorsanız başka ülkeden gelen ziyareti, bot olup olmadığını incelemeden kesebilirsiniz. Ayrıntılar GEO, dil, cihaz ve takvime göre filtreleme yazısında.
İpucu. Ağ katmanı gerçek insanlara en az dokunan katmandır: burada sıradan alıcıda neredeyse hiç görülmeyen işaretler tetiklenir. Ayarlamaya buradan başlayın.
Katman 2. Tarayıcı kontrolü
İkinci katman, ziyaretçinin tarayıcısında çalışan ve ortam hakkında bilgi toplayan bir betiktir. Gelişmiş bir botun taklit etmesi artık daha zordur.
- JavaScript çalışıyor mu. curl gibi programlar betiği çalıştırmaz ve iş orada biter.
- Otomasyon izleri. Tarayıcı kontrol bayrakları, beyan edilen tarayıcı ile gerçek yetenekleri arasındaki uyuşmazlıklar, headless moduna özgü ayrıntılar. Ayrıntılar headless tarayıcı ve tarayıcı parmak izi yazısında.
- Verilerin tutarlılığı. Tarayıcının saat dilimi ile IP ülkesi, sistem dili ile GEO, ekran boyutu ile beyan edilen cihaz. Tek başına bir uyuşmazlık bir şey ifade etmez, birlikte bir tablo oluşturur.
Burada önemli bir not var: filtre en sık bu katmanda yanılır. Sosyal ağların uygulama içi tarayıcıları ve uygulamalardaki WebView bazen «tuhaf» görünür ama gerçek insanlar getirir. Bu yüzden tek bir işaret ziyaretin kaderini belirlememeli, yalnızca şüphe eklemelidir.
Katman 3. Davranış
Üçüncü katman, ziyaretçinin sayfadaki davranışıdır: fare ve parmak hareketleri, tepki hızı, eyleme kadar geçen süre. İnsan düzensiz ve duraksayarak hareket eder, program ya hiç hareket etmez ya da fazla kusursuz hareket eder.
Davranış kontrolleri en pahalı botları yakalar, ama maliyetleri de yüksektir: gözlem toplamak için biraz zaman gerekir. Bunları, kaçan her botun ciddi paraya mal olduğu pahalı trafikte ve gelişmiş otomasyonun bol olduğu kaynaklarda açmak mantıklıdır.
Tek kural yerine güven değerlendirmesi
Ev yapımı filtrelerin ana hatası «işaret gördüm, engelledim» kuralıdır. Gerçek insanlar böyle kesilir: sıradan kullanıcıda da VPN olur, uygulama içi tarayıcıda referrer kaybolur, mobil operatörlerde IPv6 vardır.
Kontrolleri iki türe ayırmak daha doğrudur:
- Sert kontroller: bariz bot, bilinen adres, kitle kuralınızın ihlali. Bu ziyaretler hemen kesilir.
- Yumuşak kontroller: şüpheli işaretler. Her biri güven puanına ceza ekler ve ziyaretçi ancak toplam eşiği aştığında güvenli sayfayı görür.
Bu şemada tek bir zayıf işaret insanı White Page'e göndermez, beş şeyi birden «yanlış» olan bot ise oraya kesin olarak gider. Her anti-fraud sistemi aynı ilkeyle kurulur: kurallar, puanlama ve listeler.
Bot filtreleme nasıl kurulur: adım adım
- Kaynağı belirleyin. Facebook, Google, TikTok ve native ağların trafik profili farklıdır: birinde referrer kaybolur, diğerinde tekrar gösterim çoktur. «Herkes için» ayarlar neredeyse her zaman platforma göre seçilmiş ayarlardan daha kötüdür. Bir örnek olarak Yandex Direct'te botlar yazısına bakabilirsiniz.
- Sıkılık seviyesini seçin. Dengeli seviyeyle başlayın: bilinen botlar, VPN, proxy ve veri merkezleri elenir, ama gerçek insanların sık takıldığı işaretlere dokunulmaz.
- Kitleyi tanımlayın. Ülkeler, cihazlar, diller: offer'a göre. Bu en anlaşılır ve en güvenli filtredir.
- White Page hazırlayın. Elenen ziyaretlerin bir yere gitmesi gerekir: boş ekran veya 403 değil, sitenin konusuna uygun sıradan bir sayfa gerekir. Boş yanıtı bot yeniden ayarlanma sinyali olarak, yanlışlıkla elenen insan ise bozuk site olarak algılar.
- Başlatın ve günlüğü izleyin. İlk birkaç yüz tıklama, filtrenin kimi ve neden elediğini gösterir.
- Noktasal düzeltin. Açıkça gerçek insanlar eleniyorsa korumanın tamamını değil, belirli kontrolü gevşetin.
ArtisanClo'da nasıl kurulur
ArtisanClo'da bot filtreleme, akış formunun «Filtreleme» adımında ayarlanır. Ana kollar:
- Sıkılık seviyesi: «Yumuşak», «Dengeli» ve «Katı». Trafik kaynağı seçildiğinde koruma platforma göre ayarlanır: örneğin Facebook için referrer kontrolü kapalıdır, çünkü uygulama içi tarayıcıda referrer çoğu zaman kaybolur.
- Koruma anahtarları: IP kara listelerine göre engelleme, VPN ve proxy, veri merkezi ASN'leri, headless tarayıcılar, zorunlu JavaScript, canlı etkileşim kontrolü ve diğerleri.
- Kitle: «İzin ver» veya «Engelle» modunda ülke, cihaz, işletim sistemi, tarayıcı, dil, saat dilimi, şehir ve bölge listeleri.
Kontrollerin bir kısmı ziyareti hemen keser: kara listeler, bariz robot tarayıcı, kitle kuralı. Geri kalanlar bir güven puanında toplanır. Spy servisleri, tarayıcı yerine programlar ve bağlantı önizleme robotları her ayarda White Page'e gider. Herhangi bir müşteride kesin olarak bot tanınan adres ortak listeye girer ve bir sonraki ziyareti, hangi akışa giderse gitsin, hemen White Page alır.
Her karar tıklama günlüğünde bir nedenle açıklanır: «VPN veya proxy engellendi», «Headless tarayıcı tespit edildi», «Güven puanı çok düşük» ve onlarca diğeri. İstatistiklerde nedenler listesinin üstünde ziyaretlerin hangi adımda elendiği görünür: ağ ve istek, tarayıcı kontrolü veya geri dönmeyen kontrol. Tarayıcı kontrolündeki ret payı artıyorsa sıkılığı gözden geçirmek için bir sebeptir; hatalar en çok orada olur.
Filtrenin gerçek insanları kesip kesmediğinden emin değil misiniz? Birkaç saatliğine gölge modunu açın: PHP dosyasıyla bağlantıda filtre kimseyi elemez, yalnızca kimi engelleyeceğini işaretler. Özelliklerin tam listesi ArtisanClo özellikleri sayfasında.
Bot filtrelemede tipik hatalar
- «Ne olur ne olmaz» diye en yüksek sıkılık. Sert ayarlar botlarla birlikte gerçek alıcıların bir kısmını da keser. Katı seviye, bot payı yüksek kaynaklarda ve kendi trafiğinize baktıktan sonra haklıdır, her yerde değil.
- Filtreyi geçiş oranına göre değerlendirmek. Offer'a ulaşan ziyaretlerin yüksek payı kötü korumanın işareti değildir: doğrulanmış tıklama etiketli satın alınan trafikte çok yüksek olabilir ve bu normaldir. Tersine, offer'a neredeyse kimse ulaşmıyorsa endişelenmek gerekir.
- Tek işarete göre engellemek. VPN, referrer yokluğu, IPv6 tek tek insanlarda da görülür.
- Koruma betiği asenkron bağlanmış. Kontrol kodu sayfa gösterildikten sonra çalışırsa bot offer'ı görmeye vakit bulur. Kod ilk yüklenmeli; bununla ilgili cloaker siteye nasıl bağlanır yazısına bakın.
- Geri bildirim yok. Neden günlüğü olmayan filtre bir kara kutudur. Ayarının neyi kestiğini dönüşümler düşene kadar öğrenemezsiniz.
Bot filtrelemenin çalıştığı nasıl kontrol edilir
Korumayı kurmak işin yarısıdır. Diğer yarısı, gerekenleri elediğinden emin olmaktır. Başlatmadan önce ve ilk günlerde birkaç basit kontrol:
- Bağlantıyı bot gibi açın. Landing'e hosting ağından veya VPN üzerinden, reklam tıklaması etiketi olmadan girin. Offer'ı değil, güvenli sayfayı görmelisiniz.
- Bağlantıyı alıcı gibi açın. Telefondan mobil internetle, platformun tıklama etiketi olan bağlantıyla. Offer belirgin bir gecikme olmadan açılmalı.
- Uygulama içi tarayıcıyı kontrol edin. Bağlantıyı kendinize mesajlaşma uygulamasından gönderin veya bir sosyal ağ uygulamasından açın: gerçek trafik çoğu zaman tam olarak böyle gelir.
- İlk birkaç yüz tıklamaya bakın. En sık hangi ret nedenleri görülüyor? Botlarda neredeyse hiç olmayan bir neden öndeyse filtre aşırıya kaçmıştır.
- Dönüşümlerle karşılaştırın. Tıklamalar geçiyor ama lead yoksa sorunu yalnızca botlarda aramayın: offer'ı, formu ve dönüşüm aktarımını kontrol edin.
İpucu. Test cihazlarınızı akışın IP beyaz listesine ekleyin; aksi halde kendi korumanızla savaşır ve kendi ziyaretlerinizi başkalarınınkiyle karıştırırsınız.
Özet
Botları güvenilir şekilde filtrelemek yalnızca katmanlarla mümkündür: ağ ve adres, tarayıcı kontrolü, davranış ve bunların üstünde, tek bir rastgele işaretin size gerçek bir alıcıya mal olmaması için güven değerlendirmesi. Korumayı kaynağa göre ayarlayın, dengeli seviyeyle başlayın, kararların nedenlerine bakın ve noktasal sıkılaştırın. Filtre hesabın banlanmayacağını garanti etmez (buna kreatifler, alan adı ve offer'ın kendisi de etki eder) ve platform kurallarına uymanın yerini tutmaz. Görevi başkadır: bütçenin insanlara gitmesi, istatistiğin gerçek tabloyu göstermesi ve kampanyanızın spy servislerine kaptırılmaması.
