Kampanyayı başlattıktan sonra CTR harika görünüyor, tıklama çok ama başvuru yoksa ilk şüphelenilen şey bot trafiğidir. Bazen haklı olarak, bazen değil: kötü bir offer ya da bozuk bir form da benzer bir tablo verir. Tahmin yürütmemek için geçersiz trafiğin farklı düzeylerde, tek bir ziyaretten haftalık özete kadar hangi belirtilerle göründüğünü bilmek faydalıdır.
Bot trafiği nedir ve nereden gelir
Bot trafiği, insan yerine bir programın yaptığı her türlü ziyarettir. Bu her zaman kötü niyet demek değildir. Reklam linkine şunlar gelir:
- reklam platformlarının robotları: hedef sayfayı kontrol eder ve link önizlemesi oluşturur;
- reklam doğrulama servisleri ve spy servisleri: başkalarının kampanyalarındaki kreatifleri ve landing'leri toplar (bunlara karşı korunma spy servislerine karşı koruma yazısında);
- tarayıcılar ve crawler'lar: herkese açık gördükleri her şeyi indeksler;
- fraud trafik: tıklama ve gösterim başına ödeme yapılan platformlarda sahte gösterim ve tıklamalar;
- tıklama dolandırıcılığı: rakiplerin ya da botnet'lerin kasıtlı tıklamaları, bu konu click fraud yazısında; Yandex Direkt'e özgü durum ise Yandex Direkt'te bot koruması yazısında.
Reklam sektöründe bu trafik iki türe ayrılır. GIVT (general invalid traffic), basit kurallarla elenen genel geçersiz trafiktir: bilinen crawler'lar, veri merkezi ağları. SIVT (sophisticated invalid traffic) ise kendini insan gibi gösteren karmaşık trafiktir. Bu ayrım ileride işe yarayacak: iki türün belirtileri farklıdır.
Ağ düzeyinde bot belirtileri
Bir ziyaret hakkında ilk görünen şey IP adresi ve ağıdır.
Hosting ya da bulut ağı
Sıradan bir insan internete ev sağlayıcısı ya da mobil operatör üzerinden çıkar. Ziyaret bir bulut hosting ağından geldiyse bu neredeyse kesinlikle bir sunucudur: script, tarayıcı ya da proxy. Adresin hangi ağa ait olduğu ASN, yani otonom sistem numarasıyla belirlenir. Ayrıntılar VPN, proxy ve veri merkezi IP'leri yazısında.
VPN ve proxy
VPN gerçek insanlarda da olur; bu yüzden tek başına bir hüküm değildir. Ama başka belirtilerle birleştiğinde (saat diliminin uyuşmaması, tarayıcının yabancı dili, reklam parametresinin olmaması) güçlü bir sinyaldir.
Aynı adresten tekrarlar
Bir IP'den günde onlarca tıklama, sahte trafiğin ve parsing'in klasiğidir. Gerçek bir insanda iki üç ziyaret olur: açtı, geri döndü, sayfayı yeniledi. Ötesi soru işaretidir.
Sağlayıcı yok
Adresin sağlayıcısı belirlenemiyorsa genellikle bu bir abone değil, sunucu adresidir.
İstek ve tarayıcı düzeyinde bot belirtileri
Garip ya da eksik başlıklar
Basit scriptler asgari başlık seti, eskimiş ya da şablon bir user-agent gönderir, dil bilgisi göndermez. Tarayıcı böyle yapmaz: onun her zaman eksiksiz ve tutarlı bir seti vardır.
JavaScript yok
Tarayıcı yerine program (curl, HTTP istek kütüphaneleri, birçok parser) script çalıştırmaz. Tarayıcıdaki kontrol yanıt döndürmediyse bu, otomasyonun en güvenilir işaretlerinden biridir.
Otomasyon izleri
Headless tarayıcı JavaScript çalıştırır ama iz bırakır: kontrol bayrakları, alışılmış eklentilerin ve yazı tiplerinin eksikliği, beyan edilen sürümle gerçek yetenekler arasındaki uyumsuzluk. Bunlar SIVT işaretleridir; ayrıntılar headless tarayıcılar ve tarayıcı parmak izi yazısında.
Tutarsızlık
- tarayıcının saat dilimi IP'nin ülkesiyle uyuşmuyor;
- sistem dili ülkeye uymuyor;
- ekran «mobil», ama yetenekler masaüstü bir sunucununki gibi;
- iPhone beyan edilmiş, ama Linux'taki Chrome gibi davranıyor.
Tek tek bunlar seyahat edenlerde ve kurumsal ağlarda görülür. Hepsi bir arada görülmez.
Davranıştaki bot belirtileri
| Belirti | İnsan | Bot |
|---|---|---|
| Sayfada geçen süre | saniyeler ve dakikalar, değişken | sıfır ya da milisaniyesine kadar aynı |
| Fare ve parmak hareketleri | düzensiz, duraklamalı | yok ya da kusursuz düz |
| Kaydırma | kesik kesik, geri dönüşlü | yok ya da tekdüze |
| Düğmeye tıklama | okuduktan sonra | anında ya da hiç |
| Tekrar ziyaretler | seyrek | seri halinde, zamanlanmış |
Davranış belirtileri en güçlüleridir, ama zaman ister: saniyenin bir kesrinde davranış toplanamaz.
Kampanya istatistiklerinde bot trafiği belirtileri
Tek tek ziyaretleri inceleyemediğinizde toplamlara bakın. Şunlar sizi uyarmalı:
- Tıklama var, dönüşüm hiç yok. Düşüş değil, kayda değer bir hacimde sıfır.
- Alışılmadık saatlerde ani artışlar. Herkesin uyuduğu bir ülkede gece zirveleri otomasyonun sık bir işaretidir.
- Tek bir yerleşim (zone, site) orantısız sayıda tıklama getiriyor. Native ve push'ta fraud yerleşimleri böyle görünür.
- Sıfır etkileşimle yüksek CTR. Tıklıyorlar ama kimse forma ulaşmıyor.
- Dönüşüm var, onay yok. Fraud lead'ler formu geçer ama ağ tarafından reddedilir; dönüşüm durumlarını takip edin.
- Tekdüze trafik. Yüzlerce «farklı» ziyaretçide tek telefon modeli, tek tarayıcı sürümü, tek çözünürlük.
İpucu. Yerleşimin, zone'un ya da sitenin numarasını kampanya etiketine aktarın, örneğin
sub1={zoneid}. O zaman raporda hangi yerleşimlerin bot getirdiği hemen görünür ve onları reklam ağının kendisinde kapatabilirsiniz.
Yanlışlıkla bot sanılan belirtiler
Her tuhaflık bot değildir. Sık görülen yanlış alarmlar:
- Sosyal ağların uygulama içi tarayıcıları ve WebView. Alışılmadık user-agent'ları ve otomasyona benzeyen işaretleri olabilir; referrer da sık sık kaybolur.
- Kurumsal ağlar ve mobil operatörler. Tek adresin arkasında çok insan; ve işte «bir IP'den on tıklama».
- IPv6. Birçok mobil operatörde normaldir.
- Hızlı alıcılar. Offer'ı daha önce görmüş ya da almaya önceden karar vermiş biri düğmeye birkaç saniyede basabilir. Sayfada kısa süre tek başına otomasyonun kanıtı değildir.
- İletilen linkler. Bir arkadaş linki mesajlaşma uygulamasında iletti; ziyarette reklam parametresi ve referrer yok, ama bu gerçek ve çoğu zaman çok sıcak bir ziyaretçidir.
- Offer'a yüksek geçiş oranı. Bu bir bot belirtisi değildir. Tıklama parametresi doğrulanmış satın alınmış trafikte ziyaretlerin çok büyük bir kısmı offer'a ulaşabilir ve bu normaldir. Tersine, çok az ziyaret geçiyorsa filtrenin gerçek insanları kesip kesmediğini kontrol etmeye değer.
Bu yüzden olgun sistemler bir ziyareti tek bir zayıf işarete göre elemez; işaretleri bir güven puanında toplar. Birbirinden bağımsız ne kadar çok işaret örtüşürse sonuç o kadar kesin olur ve güvenli sayfaya bir alıcının gitme olasılığı o kadar azalır.
ArtisanClo'da bot trafiği nasıl tespit edilir
ArtisanClo'da her ziyaret sırayla kontrollerden geçer (ağ ve istek, tarayıcı kontrolü, davranış) ve açıklamalı bir karar alır. Tıklama günlüğünde ziyaretin neden elendiği ya da geçirildiği görünür; tıklama kartında ise ağ (VPN, proxy, veri merkezi), cihaz, tarayıcı, reklam parametresi, geçilen kontroller ve dönüşümler.
Nedenler inceleme için kullanışlı biçimde gruplanmıştır:
- Bot / otomasyon: platform robotları, reklam doğrulama servisleri, spy servisleri, robot tarayıcılar, tarayıcı yerine programlar;
- Sunucu trafiği: veri merkezleri, hosting'ler, proxy ağları;
- Kampanya kuralı: sizin ayarınız devreye girdi: ülke, cihaz, takvim, adres başına tıklama limiti, VPN, güven puanı, kara liste.
İstatistiklerde nedenlerin üstünde, GIVT ve SIVT ayrımına benzer şekilde üç «Nerede elendi» adımının payları gösterilir: «Ağ ve istek», «Tarayıcı kontrolü» ve «Kontrol geri dönmedi». İlki basit geçersiz trafik, ikincisi insan taklidi yapan botlar, üçüncüsü JavaScript çalıştırmayan programlardır.
Panelde ayrıca trafik kalite puanı var; trafiğin kendisinin değerlendirmesi: en ağır basan bileşen, platform kontrolleri hariç gerçek ziyaretçilerin payıdır. Trafik kötüleştiyse puanın altında tam olarak neyin zayıf nokta haline geldiği yazar. Trafik kalitesini katman katman kendiniz nasıl değerlendireceğiniz ayrı bir yazıda anlatılıyor. Tek tek kararların incelenmesi ise tıklama neden White Page'e gitti yazısında.
Bot trafiği belirtileri bulunduğunda ne yapılmalı
- Kaynağı belirleyin. Botları belirli bir platform, zone ya da kampanya getirir; etiketlerden onu bulun.
- Çöp yerleşimleri ağın kendisinde kapatın. Filtre landing'i korur, ama tıklamanın parasını yine de ödersiniz.
- Korumayı hedefli olarak sıkılaştırın. Botlar veri merkezlerinden geliyorsa ASN engellemeyi, headless ise tarayıcı kontrolünü ve canlı etkileşim kontrolünü açın.
- Tekrarlayan adresleri engelleyin. Belirli ısrarcı ziyaretçiler için kendi IP kara listeniz işe yarar.
- Platformdan iade isteyin. Birçok ağ kanıtlanmış geçersiz trafik için parayı iade eder; nedenleri içeren günlük burada argüman olur.
Korumanın genel kurulum şeması bot trafiği nasıl filtrelenir yazısında.
Hızlı trafik kontrolü: 15 dakikalık kontrol listesi
Her ziyareti incelemeye vaktiniz yoksa listeyi takip edin. Her madde, son bir iki günün ziyaret günlüğüne ya da raporuna sorulan ayrı bir sorudur.
- Ziyaretlerin ne kadarı hosting ve veri merkezi ağlarından geldi? Sosyal medya ve arama reklam trafiğinde bu pay küçük olmalıdır. Belirginse kaynağı arayın: belirli bir kampanya, yerleşim, zone.
- Onlarca ziyareti olan adresler var mı? Adrese göre sıralayın. Birkaç ziyaret normaldir, seriler değil.
- Kaç ziyaret kontrol scriptini çalıştırmadı? JavaScript'siz programlar tam olarak böyle elenir. Büyük pay, parser'ların ve basit botların işaretidir.
- Ziyaretlerin ülkeleri hedefleme ülkeleriyle örtüşüyor mu? Günlükteki yabancı ülkeler incelemeciler, VPN ya da botlardır.
- Ziyaretler saatlere nasıl dağılıyor? Tek bir ülkede gün boyu düz bir «raf» kötü işarettir: gerçek kitle uyur.
- Cihazlar tekdüze mi? Aynı model ve tarayıcı sürümüyle yüz ziyaret bir kitle değil, bir scripttir.
- Dönüşümler nasıl davranıyor? Kaynaklara göre CR'ı ve onay oranını karşılaştırın: bir kaynakta lead var ama neredeyse hepsi reddediliyorsa form doldurma fraud'u olasıdır. Botlar sitede form doldurduğunda ne yapılacağı ayrıca ele alındı.
İki üç maddede yanıt kaygı vericiyse trafik neredeyse kesinlikle kayda değer oranda bot içeriyordur. Sonrasında ne yapacağınıza karar verin: kendi tarafınızda filtrelemek, yerleşimi kapatmak ya da iade talep etmek. Platformların listesi ve özellikleri trafik kaynakları kataloğunda.
Kısaca
Bot trafiği kendini dört düzeyde ele verir: ağ (hosting'ler, VPN, aynı adresten tekrarlar), tarayıcı (JavaScript yok, otomasyon izleri, tutarsızlık), davranış (sıfır süre, hareket yok) ve istatistik (dönüşümsüz tıklamalar, ani artışlar, tekdüzelik). Hiçbir belirti tek başına botu kanıtlamaz; belirleyici olan birleşimleridir. Yüksek geçiş oranını da zayıf korumayla karıştırmayın: sorunu daha çok tersi gösterir.
