Bộ lọc traffic thông minh (smart traffic filter) là hệ thống phát hiện bot quyết định về một lượt truy cập không bằng một quy tắc duy nhất mà bằng sự kết hợp của nhiều dấu hiệu: mạng, trình duyệt, hành vi và lịch sử. Nó cân các tín hiệu thành một điểm tin cậy chung, học từ dữ liệu cũ — ai hóa ra là bot, ai mang lại tiền — và điều chỉnh lớp bảo vệ theo traffic cụ thể.
Bộ lọc đơn giản trả lời câu hỏi “có vi phạm quy tắc không”. Bộ lọc thông minh trả lời câu hỏi “lượt truy cập này giống người mà ta cần đến mức nào”. Dưới đây là những thành phần của một hệ thống như vậy, nó hơn bộ quy tắc ở đâu, điểm yếu của nó là gì và vì sao không thể tin nó nếu quyết định không minh bạch.
Bộ lọc thông minh khác bộ quy tắc ở điểm nào
Bộ lọc kiểu cổ điển là một danh sách điều kiện: quốc gia ngoài danh sách — trang thay thế, IP từ data center — trang thay thế, không có JavaScript — trang thay thế. Cách này hiệu quả với những trường hợp hiển nhiên, nhưng gãy ở những trường hợp gây tranh cãi.
| Bộ quy tắc | Bộ lọc traffic thông minh | |
|---|---|---|
| Quyết định thế nào | Một quy tắc khớp là từ chối | Các dấu hiệu cộng lại thành điểm tin cậy |
| Lượt truy cập khó xác định | Hoặc cắt tất cả, hoặc cho tất cả qua | Dấu hiệu đáng ngờ thêm nghi ngờ nhưng không tự quyết |
| Thích nghi | Chỉ sửa thủ công | Học từ lịch sử và kinh nghiệm chung |
| Bot mới | Lọt qua cho đến khi có quy tắc | Độ giống bot đã biết bắt được cả biến thể mới |
| Rủi ro | Dự đoán được nhưng thô | Tinh hơn, nhưng cần kiểm soát và giải thích |
Lấy ví dụ một lượt truy cập qua VPN. Bộ quy tắc buộc phải chọn: chặn mọi VPN và mất một phần người thật, hoặc cho tất cả qua và để lọt bot. Bộ lọc thông minh coi VPN là một trong các dấu hiệu: nếu mọi thứ khác ổn — trình duyệt thật, script đã chạy, có mã click của nền tảng — lượt truy cập sẽ qua; nếu ngoài VPN còn có mạng hosting và dấu vết tự động hóa, tổng nghi ngờ sẽ quyết định.
Lưu ý: bộ lọc thông minh không thay thế quy tắc. Những trường hợp rõ ràng — chương trình thay vì trình duyệt, địa chỉ trong danh sách đen, quốc gia không phù hợp — vẫn bị loại ngay. “Thông minh” cần cho vùng ở giữa, nơi quy tắc sai theo cả hai chiều. Sơ đồ chung các lớp bảo vệ được phân tích trong bài về cách lọc traffic bot.
Hệ thống phát hiện bot gồm những gì
Bất kỳ bot detection system hiện đại nào cũng gồm bốn phần.
1. Tín hiệu
Càng nhiều dấu hiệu độc lập, bot càng khó giả mạo tất cả cùng lúc:
- Mạng: loại địa chỉ (gia đình, di động, hosting), VPN và proxy, nhà mạng, ASN — chi tiết trong bài về VPN, proxy và IP data center;
- Yêu cầu: header, chuỗi user agent, mã click của nền tảng, website nguồn; vì sao chuỗi UA tự nó chứng minh được rất ít, xem bài về lọc theo user agent;
- Trình duyệt: chạy JavaScript, dấu hiệu tự động hóa, sự nhất quán của các thuộc tính — xem bài về headless browser và fingerprint trình duyệt;
- Hành vi: thời gian trên trang, di chuyển chuột và chạm;
- Lịch sử: địa chỉ này đã gặp trước đây chưa và các lượt truy cập trước kết thúc ra sao.
2. Điểm tin cậy
Các tín hiệu được quy về một đại lượng — điểm tin cậy (trust score). Mỗi dấu hiệu đáng ngờ làm giảm độ tin cậy, và nếu dồn quá nhiều nghi ngờ, lượt truy cập bị loại. Sức nặng của mỗi dấu hiệu tùy vào ngữ cảnh: không có website nguồn là đáng ngờ với nền tảng này nhưng hoàn toàn bình thường với nền tảng khác.
3. Học máy
Việc học trả lời câu hỏi mà quy tắc không đặt ra: bot của chính bạn và người mua của chính bạn trông thế nào. Mô hình nhìn vào lịch sử — lượt truy cập nào kết thúc bằng thanh toán, lượt nào hóa ra là bot — và tìm ra những quy luật mà con người sẽ không viết thành quy tắc.
4. Bộ nhớ
Một bot đã bị bắt chắc chắn một lần nhiều khả năng sẽ quay lại. Danh sách chung các bot đã được chứng minh cho phép không cần kiểm tra lại: lượt truy cập tiếp theo từ cùng địa chỉ bị loại ngay. Hệ thống thấy càng nhiều traffic, bộ nhớ này càng hữu ích — vì vậy nó được dùng chung cho mọi khách hàng của dịch vụ.
Học từ lịch sử: bộ lọc trở nên thông minh hơn thế nào
Học máy là phần mạnh nhất và cũng nguy hiểm nhất của bộ lọc thông minh.
Mạnh, vì mô hình thấy được những gì quy tắc bỏ sót. Một bot giả trình duyệt hoàn hảo vẫn cư xử không giống người mua của bạn: giờ khác, mạng khác, tổ hợp dấu hiệu khác. Mô hình được huấn luyện trên lịch sử tài khoản nhận ra sự khác biệt đó.
Nguy hiểm, vì mô hình học từ những gì nó được cho xem. Nếu lịch sử có ít chuyển đổi, nó hình dung người mua rất kém. Nếu traffic thay đổi — nền tảng mới, GEO mới, creative mới — các quy luật cũ không còn đúng. Vì vậy hệ thống học tốt có ba cơ chế bảo vệ:
- Mô hình chung để khởi đầu. Khi dữ liệu riêng còn ít, mô hình được huấn luyện trên nhiều tài khoản sẽ chạy.
- Huấn luyện lại định kỳ. Mô hình được cập nhật bằng dữ liệu mới, chứ không sống nhiều năm trên một lát cắt cũ.
- Cầu chì theo chuyển đổi. Nếu mô hình bắt đầu loại một phần đáng kể khách có trả tiền, nó tự tắt chứ không tiếp tục cắt tiền.
Danh sách chung các bot đã được chứng minh
Danh sách bot hoạt động như miễn dịch tập thể: bot bị bắt ở một khách hàng sẽ không lọt qua ở bất kỳ ai nữa. Nhưng nó có một rủi ro rõ ràng — đưa nhầm người thật vào đó. Địa chỉ của nhà mạng di động hôm nay có bot dùng, ngày mai có thể được cấp cho một thuê bao bình thường.
Vì vậy chỉ nên đưa vào danh sách những bot đã được chứng minh, không phải mọi đối tượng đáng ngờ, và lưu các bản ghi với thời hạn khác nhau: địa chỉ hosting và data center ít khi đổi chủ, còn địa chỉ gia đình và di động thì đổi thường xuyên. Chi tiết về cách xây dựng danh sách địa chỉ có trong bài về danh sách đen IP.
Tự động tinh chỉnh lớp bảo vệ
Nấc cuối cùng là hệ thống không chỉ quyết định với từng lượt truy cập mà còn tự thay đổi cài đặt của mình: bật lớp bảo vệ có thể bắt bot trên traffic này, hoặc gỡ quy tắc đang loại khách có trả tiền. Việc này tiết kiệm thời gian cho media buyer, nhưng cần ba giới hạn:
- Bước nhỏ. Mỗi lần một thay đổi và không thường xuyên hơn một khoảng nhất định — nếu không sẽ không biết chính xác điều gì đã ảnh hưởng đến kết quả.
- Quyết định bất khả xâm phạm. GEO, thiết bị và lịch chạy là quyết định kinh doanh, không phải lớp bảo vệ; tự động hóa không được chạm vào chúng.
- Hoàn tác. Mỗi thay đổi phải hiển thị kèm giải thích và hoàn tác được bằng một nút.
Rủi ro: khi bộ lọc thông minh cắt người thật
Rủi ro chính của mọi bộ lọc là chặn nhầm (false positive). Ở bộ lọc thông minh, nó khó thấy hơn, vì quyết định được tạo thành từ nhiều đóng góp nhỏ và không quy về một quy tắc dễ hiểu.
Dấu hiệu bộ lọc đang cắt người thật:
- tỷ lệ chuyển đổi giảm cùng lúc tỷ lệ bị loại tăng, dù nền tảng và creative không đổi;
- chỉ một phần rất nhỏ lượt truy cập tới được offer — đây là lý do kiểm tra cài đặt, nhất là với traffic mua có mã click;
- tỷ lệ bị loại tăng ở bước kiểm tra trình duyệt — chính ở đó bộ lọc sai nhiều nhất;
- phần bị loại có nhiều trình duyệt nhúng của mạng xã hội và mạng di động.
Lưu ý rằng quy tắc ngược lại không tồn tại: tỷ lệ đi qua cao tự nó không nói lên bảo vệ kém. Với nguồn traffic mua có click id đã xác thực, phần lớn lượt truy cập có thể tới offer, và điều đó là bình thường. Cách phân biệt traffic tốt và xấu qua báo cáo được phân tích trong bài về dấu hiệu traffic bot.
Lời khuyên. Trước khi siết lớp bảo vệ, hãy xem nó sẽ loại những ai mà không loại thật ai cả. Chế độ quan sát tốn rất ít, còn chuyển đổi đã bị cắt thì không lấy lại được.
Minh bạch quyết định: thiếu nó thì không thể tin bộ lọc thông minh
Hệ thống càng phức tạp, càng quan trọng là nó giải thích được từng quyết định. Thiếu điều này, bạn không phân biệt được bảo vệ với hỏng hóc. Bộ minh bạch tối thiểu:
- Lý do cho mỗi lần từ chối — không phải “bị chặn”, mà cụ thể: mạng hosting, dấu hiệu tự động hóa, sai quốc gia, giống bot của tài khoản.
- Phân tích từng lượt truy cập — những tín hiệu nào đã đến và rút ra kết luận gì từ chúng.
- Bước mà traffic bị loại — mạng, trình duyệt hay hành vi; điều này cho thấy lớp nào đang sai.
- Nhật ký thay đổi tự động — cái gì, khi nào và vì sao tự thay đổi.
Nếu hệ thống không làm được ít nhất những điều này, chữ “thông minh” trong mô tả của nó chẳng có giá trị gì. Tiêu chí lựa chọn chi tiết hơn có trong bài cách chọn dịch vụ lọc traffic.
Bộ lọc traffic thông minh trong ArtisanClo được xây dựng thế nào
Bộ lọc của ArtisanClo gồm đúng những phần như trên, và mỗi phần đều có giải thích dễ hiểu trong dashboard.
Quy tắc cho trường hợp rõ ràng. Một số bước kiểm tra loại lượt truy cập ngay: danh sách đen IP, trình duyệt robot rõ ràng, dịch vụ kiểm duyệt quảng cáo, chương trình thay vì trình duyệt, quy tắc đối tượng — quốc gia, thiết bị, lịch chạy.
Điểm tin cậy cho trường hợp khó xác định. Các dấu hiệu còn lại — VPN, data center, IPv6, không có nhà mạng hoặc website nguồn, không có JavaScript và những dấu hiệu khác — cộng lại thành điểm tin cậy. Các công tắc bảo vệ quyết định sức nặng của từng dấu hiệu, còn các mức độ nghiêm ngặt “Nhẹ”, “Cân bằng” và “Nghiêm ngặt” được chọn theo nền tảng nguồn traffic.
Bảo vệ thông minh — học từ lịch sử. Từ gói Professional, trong mục “Chẩn đoán” có tab “Lớp bảo vệ bổ sung”. Mô hình học từ lịch sử tài khoản của bạn: ai bạn đã được trả tiền, ai hóa ra là bot. Nó chỉ kiểm tra những người đã được các quy tắc khác cho qua và đưa sang White Page những lượt truy cập giống bot của bạn. Khi dữ liệu riêng còn ít, mô hình chung sẽ chạy. Mô hình được huấn luyện lại mỗi đêm và tự tắt nếu bắt đầu cắt một phần đáng kể chuyển đổi.
Danh sách bot chung. Dịch vụ kiểm duyệt quảng cáo, chương trình thay vì trình duyệt, trình duyệt robot có dấu hiệu đã được chứng minh và robot tạo bản xem trước của nền tảng được đưa vào danh sách chung ngay từ lần đầu, và lượt truy cập tiếp theo của chúng vào bất kỳ luồng nào của bất kỳ khách hàng nào lập tức nhận White Page với lý do “Địa chỉ bot đã biết”. Khách thật có mạng đáng ngờ, dùng VPN hoặc không có JavaScript không bị đưa vào đó. Địa chỉ data center và hosting được lưu gần như vô thời hạn, địa chỉ gia đình và di động chỉ trong thời gian giới hạn. Ngoài ra, địa chỉ bị bắt vì tự động hóa ở nhiều khách hàng cùng lúc sẽ vào danh sách đen IP chung trong vòng một giờ.
Autopilot — tự động tinh chỉnh. Từ gói Professional, autopilot mỗi giờ xem xét luồng một lần và thực hiện không quá một thay đổi mỗi lần: bật lớp bảo vệ nếu nó bắt được đủ bot mà không chạm vào khoản thanh toán nào, hoặc gỡ quy tắc đã loại khách có thanh toán. GEO, thiết bị và lịch chạy thì nó không bao giờ chạm tới. Mỗi thay đổi hiển thị trong nhật ký autopilot kèm giải thích và có thể hoàn tác — sau khi hoàn tác, autopilot không đụng đến cài đặt đó nữa.
Minh bạch. Mỗi click trong nhật ký đều có quyết định và lý do trong số hàng chục lý do khả dĩ. Trong thống kê thấy được traffic bị loại ở bước nào: mạng và yêu cầu, kiểm tra trình duyệt hay kiểm tra không quay lại. “Báo cáo lượt truy cập” hiển thị mọi tín hiệu và quyết định cuối cùng cho một lượt truy cập, còn phần đề xuất trong “Chẩn đoán” chạy lại các lượt truy cập cũ qua cài đặt hiện tại và cho thấy bộ lọc nào đang cắt traffic có chuyển đổi. Chế độ shadow trên file PHP và khi kết hợp với Keitaro hoặc Binom cho thấy bộ lọc sẽ loại những ai mà không loại thật ai. Nếu click đi sai chỗ, hãy bắt đầu từ bài vì sao click vào White Page.
Toàn bộ khả năng bảo vệ được tập hợp trên trang tính năng, điều kiện các gói có trên trang bảng giá.
Tóm lại
Bộ lọc traffic thông minh là quy tắc cho điều hiển nhiên, điểm tin cậy cho điều khó xác định, học máy cho những gì quy tắc không mô tả được, và bộ nhớ chung về các bot đã được chứng minh. Sức mạnh của nó là thấy được tổ hợp dấu hiệu và thích nghi với traffic của bạn. Rủi ro của nó là sai sót tinh vi hơn và khó nhận ra hơn. Vì vậy, hãy chọn hệ thống không phải theo lời hứa “bắt mọi bot”, mà theo mức độ rõ ràng khi nó giải thích từng quyết định, khả năng quan sát mà không loại ai, và việc nó có tự dừng lại khi bắt đầu cắt khách có trả tiền hay không.
