JavaScript kontrolü mü, IP engelleme mi: bot korumasında iki yaklaşım

Bir reklamveren botlardan korunmaya karar verdiğinde ilk soru genelde tekniktir: "IP'ye göre mi engelleyelim, yoksa sayfaya script mi koyalım?" Bunlar bir ziyarete bakmanın iki farklı yoludur. IP engelleme isteğin nereden geldiğini değerlendirir. JavaScript kontrolü ise isteği hangi programın gönderdiğini. Her yaklaşımın kendi kör noktası vardır ve tam da bu yüzden ciddi bir koruma ikisinden birini seçmez, ikisini birleştirir.

Aşağıda her yaklaşımın nasıl çalıştığını, neyi iyi yakaladığını, nerede yanıldığını ve sayfa hızından ödün vermeden ikisinin nasıl birlikte çalıştırılacağını anlatıyoruz.

IP engelleme nasıl çalışır

Sunucu isteği alır ve onun hakkında pek az şey bilir: IP adresi, tarayıcı başlıkları, ziyaretçinin geldiği sayfanın adresi. Ama IP'den epey faydalı bilgi çıkar:

• ağın sahibi — ev sağlayıcısı, mobil operatör, hosting, bulut (otonom sistem numarası, yani ASN üzerinden);
• ülke ve şehir — GEO filtresi için yeterli doğrulukla;
• veritabanı işaretleri — bilinen VPN, proxy, Tor, spam tuzaklarından gelen adres;
• geçmiş — bu adres daha önce kaç kez geldi ve bu ziyaretler nasıl sonuçlandı.

Karar, sayfa ziyaretçiye verilmeden önce alınır. Yaklaşımın en büyük artısı budur: hızdan hiçbir şey götürmez ve script çalıştıramayan programlara karşı bile işe yarar.

IP engelleme neyi yakalar

• Sunucu botlarını. Ucuz botların, ayrıştırıcıların ve tarayıcıların büyük kısmı veri merkezlerinde çalışır. Hosting ASN'sine göre engelleme bunları neredeyse hatasız temizler. Ayrıntılar VPN, proxy ve veri merkezi IP'leri yazısında.
• Bilinen VPN'leri ve sunucu proxy'lerini. Adresleri düzenli olarak veritabanlarına girer.
• Tekrar eden adresleri. Tek IP'den gelen tıklama limiti ve IP kara listesi, ısrarcı ziyaretçileri ve ofisten tıklayan rakibi keser.
• Yabancı GEO'yu. Hedeflemediğiniz bir ülkeden gelen tıklama neredeyse hiçbir zaman alıcı değildir.

IP engellemenin zayıf noktaları

• Residential ve mobil proxy'ler. Bot internete bir ev abonesinin adresi ya da operatörün SIM kartı üzerinden çıkar. IP filtresi için bu sıradan bir insandır. Bu duruma ayrı bir yazı ayırdık: residential ve mobil proxy'ler.
• Ortak adresler. Bir mobil adresin arkasında yüzlerce abone, bir ofis adresinin arkasında onlarca çalışan vardır. Böyle bir adresi engellemek gerçek insanları keser.
• Rotasyon. Her tıklamada adres değiştiren bot, sıklık limitlerini ve kara listeleri atlatır.
• Veritabanlarının gecikmesi. Yeni bir adres veritabanına saatler ya da günler sonra girer; bu sürede işini çoktan bitirmiş olur.
• İçeriyi göremez. IP, karşıdakinin tarayıcı mı script mi olduğunu, ekranı olup olmadığını, faresinin hareket edip etmediğini söylemez.

JavaScript kontrolü nasıl çalışır

Sayfa ziyaretçiye küçük bir script verir. Script tarayıcıda çalışır ve yalnızca içeriden görülebilen şeyleri toplar:

• otomasyon işaretleri — webdriver bayrağı, tarayıcı kontrol araçlarının izleri, headless moda özgü özellikler;
• cihaz parmak izi — ekran, ekran kartı, fontlar, tarayıcının desteklediği özellikler;
• sistem ayarları — saat dilimi, dil, klavye düzeni;
• tutarlılık — User-Agent başlığının iddia ettiği şey tarayıcının gerçekte yapabildikleriyle örtüşüyor mu;
• davranış — fare ve parmak hareketleri, kaydırma, ilk etkileşime kadar geçen süre.

Script sonucu sunucuya gönderir, karar sunucuda verilir. Parmak izinin nasıl oluştuğu ve nerede taklit edildiği headless tarayıcılar ve parmak izi yazısında.

JavaScript kontrolü neyi yakalar

• Tarayıcısız programları. Sayfayı indirip script'i çalıştırmayan ayrıştırıcılar ve basit botlar hiç cevap döndürmez. Bu güçlü bir işarettir.
• Headless tarayıcıları ve otomasyonu. Residential bir adreste bile kontrol edilen tarayıcıdaki bot iz bırakır.
• Cihaz taklidini. Ekran kartı sunucu kartı, ekranı 1920×1080 olan bir "iPhone" bu çelişkiyle kendini ele verir.
• Ağ ile sistem arasındaki uyumsuzluğu. IP Almanya'dan, ama saat dilimi ve dil Asya'dan. Ağ bunu görmez, script görür.
• Mekanik davranışı. Dümdüz hareketler, anında çıkış, öncesinde tek bir hareket olmadan yapılan tıklama.

JavaScript kontrolünün zayıf noktaları

• Zaman. Script'in indirilmesi, çalışması ve sunucunun cevabının beklenmesi gerekir. Bu, IP engellemede olmayan bir gecikmedir.
• Her ziyaret onu çalıştırmaz. Sosyal ağların gömülü tarayıcıları bazen sayfayı arka planda yükleyip zamanlayıcıları dondurur; eski telefonlar script'i yavaş çalıştırır; bazı insanlar kontrol bitmeden sayfadan çıkar.
• Taklit edilebilirlik. Veri istemciden gelir, yani gelişmiş bir bot onu değiştirebilir. Antidetect tarayıcılar tam da bunun için yapılmıştır.
• Sıra dışı cihazlarda yanlış alarmlar. Uygulamalardaki WebView'ler, gizliliği güçlendirilmiş tarayıcılar, parmak izini engelleyen eklentiler "taklit" gibi görünür, oysa ekranın başında bir insan vardır.
• Kurulum yerine bağımlılık. Script yalnızca kurulduğu yerde çalışır. Bağlantı script'siz bir sayfaya gidiyorsa kontrol olmaz.

Yaklaşımların karşılaştırması

Tablo asıl noktayı iyi gösteriyor: iki yaklaşımın zayıf noktaları neredeyse hiç kesişmiyor. Ağın görmediğini tarayıcı görür, tersi de geçerli.

Neden birlikte kullanılırlar

Yalnızca IP engelleme kurarsanız, residential ve mobil adreslerdeki bütün fraud filtreden geçer; üstelik bu, fraud'un en pahalı kısmıdır: tıklamalar gerçek gibi görünür ve tam fiyattan ödenir. Yalnızca script kurarsanız, her sunucu botu sayfayı alır, script'i indirir ve sunucuyu yorar; kontrolü tamamlamayan basit botlar da sayfa yüklenene kadar beklemeyen insanlardan ayırt edilemez.

Çalışan şema şöyle görünür:

1. Ağ birinci katmandır. Veri merkezleri, bilinen botlar, kara listedeki adresler ve yabancı GEO kesin olarak kesilir. Ucuz, hızlı ve neredeyse hatasızdır.
2. Tarayıcı ikinci katmandır. Ağdan geçen her şey script ile kontrol edilir: otomasyon, parmak izi, saat dilimi ve dil, davranış.
3. Yasaklar yerine güven puanı. Yumuşak sinyaller — proxy işareti, mobil adres, saat dilimi uyumsuzluğu, eksik click ID — ziyareti tek başına engellemez, toplanır. Karar toplama göre verilir.
4. Kaynak istatistikleri üçüncü bakıştır. Tek bir ziyaretin en iyi kontrolü bile kaynağa bütün olarak bakmanın yerini tutmaz: şüpheli ziyaretlerin payı, dönüşümler, approve. Çiftlik tıklamaları ve sistematik reklam fraud'u tam olarak böyle görünür hale gelir.

Böylece hatalar reklamverenin lehine toplanır: VPN kullanan gerçek bir insan tek bir işaret yüzünden kesilmez, ev adresindeki bir bot da sadece adresi temiz diye geçemez.

Sayfa hızına etkisi

Hız yalnızca kullanım rahatlığı için önemli değil: her fazladan yükleme saniyesi dönüşümü düşürür ve alıcıları kaçıran bir koruma, botlardan daha pahalıya patlar. Neler yapılabilir:

• Ağ kontrolünü önceden yapın. Tarayıcı script'i yüklerken sunucu IP'yi, ASN'yi ve veritabanlarını çoktan kontrol edebilir. Script verisini gönderdiğinde kararın yarısı hazırdır.
• Küçük script, tek bağlantı. İstek ne kadar az ve sunucu ziyaretçiye ne kadar yakınsa bekleme o kadar kısadır. Sıkıştırılmış script ve bağlantının yeniden kullanılması mobil internette onlarca milisaniye kazandırır.
• Gerekmeyen yerde davranış beklemeyin. Fare hareketi kontrolü, ziyaretçinin sayfada bir şey yapmasını gerektirir. Bunu tüm trafik için değil, sıkı kaynaklar için açın.
• Sunucu botlarını script'ten önce kesin. Bot ağ aşamasında elendiyse ona script vermeye gerek yoktur; bu sunucu kaynaklarını korur ve istatistiği temizler.
• Ölçün. Hızlı bir bilgisayardaki laboratuvar ölçümüne değil, gerçek ziyaretlerde tıklamadan sayfanın gösterilmesine kadar geçen süreye bakın.

Hız konusunda sonuç: makul bir uygulamada birleşik kontrol yüklemeye saniyenin kesirlerini ekler. Bu, ağır görsellerde ve üçüncü taraf sayaçlarda kaybedilenden belirgin şekilde azdır ve botlara ödenen tıklamalarla kıyaslanamayacak kadar ucuzdur.

Örnek: iki katmanın gözünden üç ziyaret

Yaklaşımların birbirini nasıl tamamladığını görmek için Almanya hedefli tek bir kampanyadan gelen üç tıklamaya bakalım.

Ziyaret A. Frankfurt'ta bir bulut hosting adresi, tarayıcı başlığı Windows üzerinde güncel Chrome. Ağ katmanı ziyareti hemen keser: reklam trafiğinde hosting ağı bir sunucudur, alıcı değil. Script'e gerek bile kalmadı, sayfa verilmedi, sunucu kaynak harcamadı.

Ziyaret B. Münih'te bir ev sağlayıcısının adresi, veritabanlarında temiz, click ID yerinde. Ağ açısından itiraz edilecek bir şey yok. Script şunu bildiriyor: otomasyon bayrağı açık, ekran kartı yazılımsal, saat dilimi America/New_York, tıklamadan önce hiç fare hareketi yok. IP engelleme bu ziyareti geçirirdi ve siz ona gerçek bir ziyaretmiş gibi ödeme yapardınız. Tarayıcı katmanı onu durdurur.

Ziyaret C. Bir Alman operatörünün mobil adresi, adres ortak olarak işaretli, bir sosyal ağın gömülü tarayıcısı, saat dilimi Europe/Berlin, dil Almanca. Script gecikmeyle çalıştı — uygulama sayfayı arka planda yüklüyordu. Filtre mobil adresleri kesseydi ya da script'ten anında cevap isteseydi bu alıcı kaybedilirdi. Güven puanı işaretlerin birbiriyle tutarlı olduğunu görür ve ziyareti geçirir.

Bu örnekte her katman tek başına en az bir kez yanılırdı: yalnızca ağ B ziyaretini geçirirdi, güven puanı olmayan katı bir script de C ziyaretini kesme riski taşırdı. Birlikte üçünü de doğru ayırdılar. Gerçek trafikte de durum aynı: çöpün büyük kısmını ucuz ağ katmanı alır, tarayıcı katmanı insan kılığına girenleri toplar, işaretlerin toplamı da gereksiz retlere karşı sigorta olur.

Kontrolün gereksiz ya da zararlı olduğu yerler

• Ücretli trafik almayan sayfalar. Sayfaya reklam gelmiyorsa sıkı tarayıcı kontrolü çoğu zaman yarardan çok zarar verir.
• Neredeyse tamamen gömülü tarayıcıdan gelen kaynaklar. Burada script çalıştırma şartını yumuşatıp güven puanına dayanmak gerekir.
• Ana sitedeki arama motoru robotları. SEO trafiği alan sitenin tamamını değil, kampanyaların landing sayfalarını korumak gerekir. Seçim hakkında ayrıntılar site için antibot yazısında.

ArtisanClo'da bu nasıl çalışır

ArtisanClo iki katmanı da kullanır: ağ kontrolleri veri merkezi, VPN ve proxy trafiğini ayıklar, tarayıcı kontrolü ise ağ açısından temiz görünen adreslerdeki otomasyonu ve cihaz taklidini yakalar. Günlükte her tıklamanın karar nedeni kodu görünür — ağın mı yoksa tarayıcının mı devreye girdiği hemen anlaşılır. Yerleşik tracker kampanya bazında harcamayı, dönüşümleri, kârı ve ROI'yi hesaplar; böylece çöp trafiğe ne kadar para gittiği ve onu hangi kaynağın getirdiği görülür. Tüm kontroller özellikler sayfasında listelenmiştir.

Kısaca

IP engelleme ve JavaScript kontrolü farklı sorulara cevap verir: "ziyaret nereden geldi" ve "onu hangi program gönderdi". İlki hızlı, ucuz ve sunucu botlarına karşı güvenilirdir, ama ev ve mobil adreslerdeki proxy'leri görmez. İkincisi tarayıcıya içeriden bakar, ama zaman alır, gelişmiş botlarca taklit edilir ve sıra dışı cihazlarda yanılır. Zayıf noktaları neredeyse hiç kesişmez; bu yüzden ağ birinci katman, tarayıcı ikinci katman olur, yumuşak işaretler güven puanında toplanır ve sonuç kaynak istatistikleriyle doğrulanır. Kaçırılan botların size neye mal olduğunu nasıl hesaplayacağınız botlara ne kadar bütçe gidiyor yazısında.