Chống bot đơn giản thường bắt đầu từ địa chỉ IP: nếu lượt truy cập đến từ mạng hosting hoặc một VPN đã biết, đó là máy chủ chứ không phải người. Với bot giá rẻ, cách này hoạt động rất tốt. Nhưng giới gian lận đã có câu trả lời từ lâu: proxy dân cư và proxy di động. Yêu cầu đi ra internet qua địa chỉ của một thuê bao gia đình thật hoặc một chiếc điện thoại trong mạng nhà mạng, và bộ lọc mạng chỉ thấy một người dùng bình thường. Click được tính, tiền bị trừ, lead thì không có.
Bài viết này nói về việc các proxy đó là gì, chúng từ đâu ra, vì sao lọt qua kiểm tra IP và dựa vào dấu hiệu nào để vẫn nhận ra chúng. Kiến thức nền về dấu hiệu mạng có trong bài VPN, proxy và IP datacenter; ở đây chúng ta đi vào trường hợp khó lọc nhất.
Proxy dân cư là gì
Proxy là trung gian mà chương trình gửi yêu cầu qua đó, để website thấy địa chỉ của trung gian chứ không phải của chương trình. Các loại proxy khác nhau ở chỗ trung gian đó "sống" ở đâu.
- Proxy máy chủ chạy trong datacenter. Địa chỉ của nó thuộc mạng hosting, và điều này thấy được qua ASN, số hiệu hệ thống tự trị mà IP thuộc về. Những lượt truy cập này bị loại gần như không sai sót.
- Proxy dân cư đẩy yêu cầu ra qua địa chỉ của một thuê bao gia đình: nhà mạng bình thường, căn hộ bình thường. Thường đó là một thiết bị có cài ứng dụng hoặc tiện ích mở rộng với điều khoản "chia sẻ băng thông không dùng đến" trong thỏa thuận người dùng. Đôi khi là router hoặc TV box bị nhiễm mã độc.
- Proxy di động chạy qua SIM của nhà mạng: một modem hoặc điện thoại trong "trang trại" mà traffic đi qua. Website thấy IP di động của nhà mạng, y hệt hàng triệu smartphone bình thường.
Với bộ lọc IP, khác biệt này mang tính nguyên tắc. Địa chỉ máy chủ gần như chắc chắn không phải người. Địa chỉ dân cư và di động gần như luôn là người, và chỉ thỉnh thoảng có chương trình của ai đó đi qua.
Ai đẩy traffic quảng cáo qua proxy
Mạng proxy được bán công khai và được dùng vì nhiều lý do khác nhau. Điều quan trọng với nhà quảng cáo là một phần traffic này rơi vào chiến dịch của họ:
- Bot click trên các nguồn trả tiền theo click. Chủ nguồn traffic hoặc zone có lợi khi quảng cáo được click. Bot chạy trên máy chủ bị cắt ngay, nên các kịch bản tinh vi đẩy nó qua địa chỉ dân cư của đúng quốc gia cần thiết. Chi tiết về cách các kịch bản này vận hành có trong bài click từ trang trại.
- Click tặc của đối thủ. Ai muốn đốt ngân sách của người khác trên quảng cáo tìm kiếm đều biết click từ một địa chỉ sẽ sớm bị phát hiện. Xoay vòng địa chỉ dân cư biến mỗi click thành một "khách mới". Về kịch bản này, xem bài click tặc của đối thủ.
- Lead gian lận. Nếu partner được trả tiền theo lead, họ cần lead từ đúng quốc gia. Script điền form, còn proxy gắn một địa chỉ địa phương.
- Thu thập dữ liệu. Công cụ cào giá, dịch vụ giám sát, spy tool mở link quảng cáo qua địa chỉ dân cư để không bị chặn. Có thể họ không có ý xấu với bạn, nhưng click vẫn đã bị tính tiền.
Vì sao chúng lọt qua bộ lọc IP đơn giản
Về bản chất, bộ lọc IP chỉ hỏi lượt truy cập một câu: "Địa chỉ này của ai?" Với proxy dân cư, câu trả lời trung thực là "của một nhà mạng gia đình ở đúng quốc gia". Mọi thứ sau đó đều bất lợi cho nhà quảng cáo:
- ASN sạch. Mạng thuộc về nhà mạng internet hoặc nhà mạng di động, không phải hosting. Chặn datacenter không đụng tới nó.
- Geo khớp. Mạng proxy cho phép chọn quốc gia, thậm chí cả thành phố, nên bộ lọc geo được vượt qua.
- Địa chỉ mới. Xoay vòng đổi IP sau mỗi yêu cầu hoặc vài phút một lần. Giới hạn click trên một địa chỉ không kích hoạt, danh sách đen IP không theo kịp tốc độ xoay.
- Uy tín bị pha loãng. Hôm qua sau địa chỉ đó là một người thật, ngày mai sẽ là người khác. Các cơ sở dữ liệu uy tín IP có đánh dấu một phần những địa chỉ này, nhưng chậm và không đầy đủ.
- Không thể chặn IP di động. Hàng trăm thuê bao đi ra qua một địa chỉ của nhà mạng (CGNAT). Chặn IP di động là đánh trúng những người thật ngẫu nhiên.
Kết luận rất đơn giản: chỉ dựa vào IP thì không thể phân biệt proxy dân cư với người thật. Việc nhận biết dựa trên những mâu thuẫn giữa điều mạng nói và điều trình duyệt, thời gian và hành vi nói.
Nhận biết proxy dân cư và proxy di động: các dấu hiệu
Không dấu hiệu nào dưới đây tự nó chứng minh là proxy. Kết luận chắc chắn đến từ ba bốn dấu hiệu cùng trùng trên một lượt truy cập hoặc trên một nguồn.
Bị đánh dấu trong cơ sở dữ liệu proxy
Các cơ sở dữ liệu IP thương mại đánh dấu những địa chỉ từng xuất hiện trong mạng proxy: dựa trên dữ liệu quét, bẫy và báo cáo từ các dịch vụ khác. Nhãn "proxy dân cư" là tín hiệu trực tiếp nhất, nhưng cũng kém tin cậy nhất về độ phủ: cơ sở dữ liệu luôn chậm hơn tốc độ xoay vòng, còn địa chỉ có thể chỉ vào mạng proxy trong thời gian ngắn. Vì vậy nhãn này được dùng như điểm trừ trong điểm tin cậy, chứ không phải lệnh chặn.
ASN và loại mạng so với thiết bị khai báo
ASN cũng hữu ích với traffic dân cư nếu đem đối chiếu với thiết bị. IP di động của nhà mạng đi kèm trình duyệt desktop màn hình rộng là điều lạ. Nhà mạng gia đình ở một thị trấn nhỏ đi kèm một "điện thoại" có vân tay trình duyệt giống trình giả lập cũng vậy. Mỗi điểm lệch như thế là lý do để giảm độ tin cậy.
Múi giờ và ngôn ngữ
Đây là dấu hiệu hữu ích nhất để chống proxy. IP nói "Đức", còn trình duyệt báo múi giờ Asia/Ho_Chi_Minh, ngôn ngữ hệ thống là tiếng Việt, bàn phím không phải tiếng Đức. Proxy thay địa chỉ, nhưng không thay cài đặt của thiết bị đứng phía sau. Tất nhiên, khách du lịch hay người sống ở nước ngoài cũng cho bức tranh tương tự, nên dấu hiệu này được tính cùng các dấu hiệu còn lại.
Vân tay trình duyệt lặp lại trên nhiều địa chỉ
Trang trại bot đổi địa chỉ nhanh hơn đổi thiết bị. Nếu cùng một vân tay (model, phiên bản trình duyệt, độ phân giải, bộ font, card đồ họa) đến từ hai mươi địa chỉ gia đình khác nhau trong một giờ, đó không phải hai mươi người. Vân tay được thu thập thế nào và bị giả mạo ở đâu có trong bài trình duyệt headless và vân tay trình duyệt.
Tần suất từ cùng một dải
Xoay vòng đổi địa chỉ cụ thể, nhưng không phải lúc nào cũng đổi mạng. Nhà cung cấp proxy lấy địa chỉ từ cùng các pool, và trong nhật ký sẽ thấy một loạt: hai mươi click trong mười phút từ cùng một subnet /24 của một nhà mạng, mỗi click một IP mới. Với người dùng thật, click rải ra trên rất nhiều mạng và khu vực. Gom nhóm theo subnet và ASN cho thấy điều mà gom theo từng địa chỉ không thấy.
Hành vi trên trang
Con người cuộn trang không đều, dừng lại ở hình ảnh, bấm hụt nút. Script, kể cả khi giả lập chuột, di chuyển quá đều, rời trang quá nhanh hoặc ngược lại ở trên trang đúng bằng số giây được cài sẵn. Kiểm tra hành vi không phụ thuộc vào địa chỉ, nên chính nó bắt được traffic proxy đã vượt qua mọi kiểm tra mạng.
Thiếu mã click quảng cáo và phễu bất thường
Lượt truy cập từ link trả phí gần như luôn mang mã click của nền tảng (gclid, fbclid và tương tự). Nếu không có mã, hoặc mã lặp lại ở nhiều lượt truy cập khác nhau, đó là lý do để xem kỹ hơn. Ở cấp độ thống kê, traffic proxy lộ ra qua những click không có chuyển đổi, còn với lead gian lận thì qua những lead không gọi được và không được xác nhận. Cách nối click với chuyển đổi được trình bày trong bài click ID và SubID.
Vì sao phải cộng dồn dấu hiệu chứ không dùng từng cái riêng lẻ
Mỗi dấu hiệu đều có báo động giả riêng:
| Dấu hiệu | Ngoài bot, ai cũng tạo ra nó |
|---|---|
| Múi giờ không khớp quốc gia | người đi du lịch, người sống ở nước ngoài, người cài đặt sai |
| Nhiều lượt truy cập cùng một IP di động | thuê bao bình thường của cùng nhà mạng sau CGNAT |
| Nhãn "proxy dân cư" | người thật có ứng dụng chứa proxy SDK trên thiết bị |
| Một loạt từ cùng một subnet | văn phòng, trường đại học, ký túc xá |
| Không có mã click | link được chuyển tiếp, mở từ bookmark |
Nếu cắt theo bất kỳ dấu hiệu nào trong số đó, bộ lọc sẽ cắt mất người mua. Nếu mỗi dấu hiệu chỉ cộng điểm trừ và quyết định dựa trên tổng, sai số của từng dấu hiệu sẽ triệt tiêu nhau. Các hệ thống trưởng thành được xây như vậy: hệ thống chống gian lận tạo ra điểm tin cậy chứ không phải danh sách cấm. Vì sao kiểm tra mạng và kiểm tra trình duyệt bổ sung cho nhau, xem bài kiểm tra JavaScript hay chặn theo IP.
Traffic proxy khiến nhà quảng cáo tốn bao nhiêu
Thiệt hại gồm nhiều phần, và giá click trực tiếp chỉ là phần đầu tiên.
- Click đã trả tiền. Phép tính đơn giản: nếu trong một tuần có 10.000 click giá 0,40 đô la và 8% trong số đó là lượt truy cập có dấu hiệu proxy mà không có chuyển đổi nào, thì 320 đô la đã mất trắng.
- Tối ưu hóa bị hỏng. Chiến lược tự động học từ những người click. Nếu trong số click có nhiều bot proxy, thuật toán sẽ tiếp tục mua traffic tương tự, và tỷ lệ rác tự tăng lên.
- Xử lý lead giả. Lead gian lận không chỉ tốn khoản trả cho partner: call center mất thời gian cho nó, CRM ghi nhận nó, và nó bị trả lại khi đối soát.
- Kết luận sai về campaign. Chiến dịch có traffic proxy trông như "nhiều click, CR thấp". Bạn tắt creative hoặc geo, trong khi vấn đề nằm ở nguồn traffic.
Để thấy thiệt hại bằng tiền chứ không phải ước chừng, cần gộp chi phí, click và chuyển đổi theo từng nguồn. Cách làm và những con số cần xem được phân tích trong các bài bot ngốn bao nhiêu ngân sách và cách tính ROI.
Cách bảo vệ ngân sách: các bước thực tế
- Cắt thẳng tay proxy máy chủ. Trong traffic quảng cáo, datacenter và hosting gần như không bao giờ mang lại người mua; đây là lớp đầu tiên rẻ và đáng tin cậy.
- Proxy dân cư và di động: trừ điểm, không chặn. Nhãn proxy, múi giờ lệch, vân tay lặp lại được cộng vào điểm số, quyết định dựa trên tổng.
- Bật kiểm tra trình duyệt và hành vi. Đây là lớp không phụ thuộc vào IP. Thiếu nó, bạn gần như không có gì để chống lại proxy dân cư.
- Gom nhật ký theo subnet và ASN, không chỉ theo địa chỉ. Chỉ như vậy mới thấy được các loạt click từ cùng một dải.
- Nhìn vào nguồn, không phải từng lượt truy cập. Nếu một nguồn hoặc zone có tỷ lệ lượt truy cập đáng ngờ cao gấp nhiều lần các nguồn khác, hãy tắt nó ngay trong tài khoản quảng cáo: bộ lọc bảo vệ phễu, nhưng click thì vẫn đã trả tiền.
- Đòi hoàn tiền. Các nền tảng hoàn tiền cho traffic không hợp lệ đã được chứng minh, và nhật ký ghi lý do cho từng click là lập luận mạnh nhất.
Điều này hiển thị thế nào trong ArtisanClo
ArtisanClo loại traffic datacenter, VPN và proxy, còn với địa chỉ dân cư và di động thì dùng dấu hiệu mạng proxy như một phần của điểm tin cậy, cùng với kiểm tra trình duyệt, múi giờ, ngôn ngữ và hành vi. Mỗi click trong nhật ký đều có mã lý do của quyết định: có thể mở lượt truy cập và biết dấu hiệu nào đã kích hoạt. Tracker tích hợp tính chi phí, chuyển đổi, lợi nhuận và ROI theo chiến dịch, nên thấy rõ bao nhiêu tiền đã đổ vào traffic rác và nó đến từ nguồn nào. Danh sách đầy đủ các kiểm tra có ở trang tính năng.
Tóm tắt
Proxy dân cư và proxy di động là lý do chính khiến chặn theo IP không còn đủ để bảo vệ. Địa chỉ của lượt truy cập như vậy là thật: một nhà mạng gia đình hoặc nhà mạng di động ở đúng quốc gia. Thứ để lộ nó là các mâu thuẫn: múi giờ và ngôn ngữ không khớp, vân tay lặp lại trên nhiều địa chỉ, click đến thành loạt từ một dải, hành vi máy móc, không có chuyển đổi. Không dấu hiệu nào tự chứng minh là bot, nhưng tổng của chúng thì gần như luôn chứng minh được. Cắt proxy máy chủ ngay, trừ điểm proxy dân cư và di động, thêm kiểm tra trình duyệt và tính tiền theo từng nguồn, khi đó traffic proxy sẽ không còn là một khoản chi vô hình.
