Phát hiện bot

Phát hiện bot là quá trình quyết định xem hoạt động kỹ thuật số đến từ một người, một khách hàng tự động hay một nguồn không chắc chắn. Các trang web, ứng dụng và API đưa ra quyết định đó bằng cách kết hợp các tín hiệu mạng, yêu cầu, trình duyệt, hành vi, phiên và tài khoản.

Kết quả có thể dẫn đến một số hành động. Một nền tảng có thể cho phép yêu cầu, xem, làm chậm yêu cầu, yêu cầu xác minh, gửi yêu cầu để xem xét hoặc chặn yêu cầu đó.

Đây không phải là cuộc thi đơn giản giữa con người và máy móc. Trình thu thập thông tin tìm kiếm, công cụ giám sát, dịch vụ trợ năng, tập lệnh kiểm tra và tích hợp được phê duyệt cũng được tự động hóa. Một hệ thống phát hiện hữu ích phải tách biệt hoạt động tự động hóa có thể chấp nhận được khỏi hoạt động tạo ra rủi ro hoặc lạm dụng.

Phát hiện bot là gì?

Phát hiện bot là một quá trình phân loại. Nó tìm kiếm các dấu hiệu tự động hóa và xem xét hoạt động đó đang cố gắng thực hiện điều gì.

Phần thứ hai đó quan trọng. Dịch vụ giám sát có thể yêu cầu cùng một trang mỗi phút. Công cụ nhồi thông tin xác thực có thể gửi các lần đăng nhập lặp lại. Cả hai đều được tự động hóa, nhưng chúng có những rủi ro rất khác nhau.

Hệ thống phát hiện có thể trả về một nhãn như:

• Bot đã được xác minh
• Có khả năng là con người
• Có khả năng tự động
• Tự động hóa đáng ngờ
• Lưu lượng truy cập không xác định

Thay vào đó, một số hệ thống trả về điểm. Điểm thấp hơn hoặc cao hơn có thể thể hiện khả năng ước tính rằng yêu cầu được tự động hóa. Hướng của thang đo phụ thuộc vào nhà cung cấp.

Điểm số là bằng chứng, không phải bằng chứng. Cài đặt trình duyệt lạ không chứng tỏ được mục đích xấu. Địa chỉ IP quen thuộc không chứng minh rằng một người đang nắm quyền kiểm soát. Các quyết định mạnh mẽ thường phụ thuộc vào một số tín hiệu chỉ về cùng một hướng.

Phát hiện bot là danh mục sản phẩm thực hiện phân tích này. Nhiều sản phẩm cũng bao gồm các tính năng quản lý và giảm nhẹ, nhưng đó là những giai đoạn riêng biệt.

Phát hiện bot hoạt động như thế nào?

Quá trình này thường có năm phần.

1. Thu thập các tín hiệu liên quan

Hệ thống quan sát kết nối, yêu cầu, trình duyệt, phiên, tài khoản và hành động đã thử. Trang đăng nhập có thể cần các tín hiệu khác nhau từ một bài viết công khai hoặc điểm cuối API.

2. So sánh các tín hiệu

Yêu cầu hiện tại được so sánh với các trình thu thập thông tin đã biết, thông tin về mối đe dọa, lịch sử phiên, lưu lượng truy cập bình thường và các yêu cầu khác trong cùng một luồng. Hệ thống cũng tìm kiếm những mâu thuẫn. Một trình duyệt yêu cầu một môi trường nhưng hoạt động giống một môi trường khác có thể nhận được nhiều sự xem xét kỹ lưỡng hơn.

3. Chỉ định điểm hoặc lớp

Các quy tắc, mô hình thống kê hoặc máy học ước tính xem hoạt động đó là do con người thực hiện, được tự động hóa, được xác minh, đáng ngờ hay không chắc chắn. Cloudflare mô tả cách tiếp cận tương tự trong tài liệu dành cho Công cụ Phát hiện bot. Hệ thống của nó kết hợp phương pháp phỏng đoán, tín hiệu trình duyệt, đặc điểm phiên và học máy.

4. Áp dụng chính sách

Nền tảng chọn phản hồi dựa trên sự tự tin và rủi ro. Giao thông rủi ro thấp có thể đi qua. Giao thông không chắc chắn có thể phải đối mặt với một thách thức. Lạm dụng độ tin cậy cao có thể bị hạn chế hoặc bị chặn.

5. Xem lại kết quả

Các nhóm bảo mật kiểm tra các kết quả dương tính giả, các cuộc tấn công bị bỏ sót, khiếu nại của người dùng và các kiểu lưu lượng truy cập mới. Các quy tắc đã hoạt động vào tháng trước có thể cần điều chỉnh sau khi cập nhật trình duyệt hoặc thay đổi hành vi của kẻ tấn công.

Điểm cuối thay đổi ý nghĩa của tín hiệu. Mười yêu cầu trong một phút có thể là bình thường đối với một nguồn cấp dữ liệu sản phẩm. Mười lần đăng nhập thất bại vào các tài khoản khác nhau đáng lo ngại hơn. Khả năng phát hiện tốt sẽ giữ nguyên bối cảnh đó thay vì xử lý mọi yêu cầu theo cùng một cách.

Hệ thống Phát hiện bot sử dụng những tín hiệu nào?

Các hệ thống hiện đại không dựa vào một chỉ báo hoàn hảo. Chúng kết hợp một số tín hiệu yếu và mạnh.

Tín hiệu mạng

Danh tiếng IP và quyền sở hữu mạng có thể cung cấp bối cảnh hữu ích. Lưu lượng truy cập từ mạng lưu trữ có thể được xử lý khác với lưu lượng truy cập đến từ mạng tiêu dùng. Sự khác biệt đó không phải là một bản án.

Vị trí mạng chỉ có một lớp. Proxy thay đổi đường dẫn mạng. Nó không thay đổi hành vi của trình duyệt, lịch sử phiên hoặc hoạt động tài khoản. proxy, VPN hoặc Trình duyệt antidetect ảnh hưởng đến một phần khác của kết nối, vì vậy các công cụ này không thể thay thế lẫn nhau.

Tín hiệu của trình duyệt và thiết bị

Một trang web có thể kết hợp phiên bản trình duyệt, hệ điều hành, kích thước màn hình, ngôn ngữ, múi giờ, phông chữ và hành vi hiển thị thông qua Dấu vân tay trình duyệt.

Tính nhất quán thường quan trọng hơn một giá trị hiếm. Một trình duyệt có thể tuyên bố chạy trên một hệ điều hành trong khi hiển thị các tính năng đồ họa, phông chữ hoặc đầu vào được liên kết với một hệ điều hành khác. Sự không phù hợp đó có thể làm tăng rủi ro. Bản thân nó vẫn không chứng minh được sự lạm dụng.

Tín hiệu hành vi và phiên

Hệ thống phát hiện có thể kiểm tra phiên phát triển như thế nào. Họ có thể xem thứ tự trang, thời gian giữa các hành động, lỗi lặp lại và thay đổi qua các lượt truy cập.

Những tuyên bố đơn giản về hành vi của con người là không đáng tin cậy. Mọi người có thể nhấp chuột nhanh chóng. Một số người dùng điều hướng bằng bàn phím hoặc công nghệ hỗ trợ. Bot cũng có thể thêm độ trễ. Tín hiệu hữu ích thường đến từ chuỗi đầy đủ và kết quả kinh doanh chứ không phải từ một đường dẫn chuột.

Tài khoản và tín hiệu kinh doanh

Bằng chứng mạnh mẽ nhất có thể xuất hiện sau khi đăng nhập. Nền tảng có thể so sánh hành động hiện tại với lịch sử tài khoản, chi tiết thanh toán, giới hạn mua hàng và các phiên trước đó.

Đây là lý do tại sao một thử thách hợp lệ không giải quyết được mọi câu hỏi. Một khách hàng có thể vượt qua quá trình kiểm tra trình duyệt và vẫn thử 20 lần thanh toán bằng các thẻ khác nhau. Trình duyệt có vẻ chấp nhận được nhưng mẫu giao dịch thì không.

Bot tốt, Bot xấu và Tự động hóa được phê duyệt

Không phải mọi phần mềm máy khách tự động đều thuộc cùng một nhóm.

Bot tốt và đã được xác minh

Trình thu thập thông tin tìm kiếm, trình theo dõi thời gian hoạt động và các dịch vụ đối tác được phê duyệt có thể mang lại giá trị rõ ràng. Các nền tảng có thể xác minh danh tính của họ và đưa họ vào danh sách cho phép. Những bot này vẫn cần những giới hạn hợp lý. Tên đã được xác minh không được cấp quyền truy cập không giới hạn vào mọi điểm cuối.

Bot xấu hoặc lạm dụng

Các bot lạm dụng thực hiện các hành động gây hại cho người dùng, hệ thống hoặc hoạt động kinh doanh. Các ví dụ phổ biến bao gồm:

• Nhồi thông tin xác thực
• Tạo tài khoản giả
• Kiểm tra thẻ
• Tích trữ hàng tồn kho
• Gửi thư rác
• Nhấp chuột gian lận
• Thu thập dữ liệu trái phép

Rủi ro đến từ hành động, quy mô và ý định. Tự động hóa mang lại cho người vận hành tốc độ, nhưng chỉ tốc độ không phải là toàn bộ vấn đề.

Tự động hóa được phê duyệt

Kiểm tra QA, quy trình làm việc nội bộ của trình duyệt, công việc giám sát và ứng dụng khách API được ủy quyền có thể là những phần được mong đợi của một doanh nghiệp. Họ nên sử dụng các quyền được xác định, danh tính ổn định, giới hạn tốc độ, nhật ký và chủ sở hữu rõ ràng.

Tự động hóa được phê duyệt không cần phải giả vờ là một người. Nếu có thể, nó nên sử dụng API chính thức, tài khoản dịch vụ, yêu cầu đã ký hoặc danh tính trình thu thập thông tin được ghi lại.

Lưu lượng truy cập không xác định

Một số lưu lượng truy cập không cung cấp đủ bằng chứng cho một quyết định chắc chắn. Việc chặn cứng mọi máy khách không xác định sẽ tạo ra những thất bại không đáng có. Phản hồi tốt hơn có thể là giám sát, giới hạn tốc độ thấp hơn hoặc bước xác minh có thể truy cập được.

Hướng dẫn quản lý bot OWASP đề xuất các biện pháp kiểm soát và phản hồi theo lớp phù hợp với luồng được bảo vệ. Nó cũng lưu ý rằng các trình thu thập thông tin, tác nhân giám sát và công cụ trợ năng hợp pháp vẫn có thể sử dụng được.

Các phương thức Phát hiện bot phổ biến

Chữ ký và danh tiếng

Phát hiện cơ bản bắt đầu với thông tin đã biết. Hệ thống có thể nhận ra trình thu thập thông tin đã được xác minh, dải IP độc hại, tác nhân người dùng bất thường hoặc chữ ký tự động hóa đã biết.

Những kiểm tra này nhanh chóng, nhưng chúng già đi nhanh chóng. Tác nhân người dùng có thể được sao chép. Địa chỉ IP thay đổi. Tự động hóa mới có thể chưa xuất hiện trong nguồn cấp dữ liệu danh tiếng.

Phân tích tỷ lệ và trình tự

Giới hạn tỷ lệ đo tần suất khách hàng hoặc danh tính thực hiện một hành động. Phân tích trình tự xem xét thứ tự của những hành động đó.

Một giới hạn dựa trên IP hiếm khi là đủ. Văn phòng, trường học và mạng di động có thể đặt nhiều người dùng ở cùng một địa chỉ. Các bot phân tán có thể sử dụng nhiều địa chỉ. Các biện pháp kiểm soát tốt hơn sẽ xem xét IP, phiên, tài khoản, điểm cuối và khoảng thời gian cùng nhau.

Dấu vân tay của trình duyệt và thiết bị

Vân tay giúp liên kết các yêu cầu chia sẻ mẫu trình duyệt hoặc thiết bị. Nó cũng có thể bộc lộ sự mâu thuẫn giữa môi trường được xác nhận và hành vi được quan sát.

Phương pháp này tạo ra chi phí riêng tư. Các trang web chỉ nên thu thập các tín hiệu cần thiết cho luồng được bảo vệ. Dữ liệu thô không nên được lưu giữ lâu hơn mức cần thiết. Việc kiểm tra gian lận khi thanh toán có thể biện minh cho việc xem xét kỹ lưỡng hơn là đọc trang trợ giúp công cộng.

Phân tích hành vi và phiên

Các mô hình hành vi so sánh hoạt động với luồng người dùng dự kiến. Phân tích phiên bổ sung lịch sử, các lần thử không thành công, trạng thái xác thực và các hành động lặp lại.

Mô hình không nên giả định rằng một người dùng trung bình đại diện cho mọi người dùng thực. Các nhóm cần kiểm tra cách hệ thống xử lý người dùng bàn phím, trình đọc màn hình, kết nối chậm, thiết bị dùng chung và trình duyệt tập trung vào quyền riêng tư.

Học máy và phát hiện bất thường

Học máy có thể kết hợp nhiều tính năng hơn một bộ quy tắc nhỏ. Nó có thể tìm thấy các mẫu trên các yêu cầu và phiên, sau đó trả về điểm rủi ro.

Mô hình vẫn cần sự giám sát. Cập nhật trình duyệt có thể thay đổi tín hiệu bình thường chỉ sau một đêm. Một chiến dịch tiếp thị có thể tạo ra lưu lượng truy cập bất thường mà không phải là một cuộc tấn công. Các nhóm nên theo dõi sự trôi dạt và ghi lại lý do tại sao các quyết định có tác động lớn được đưa ra.

Những thách thức và chứng thực

CAPTCHA, các thử thách vô hình, mã thông báo bằng chứng và chứng thực thiết bị có thể thu thập thêm bằng chứng từ lưu lượng truy cập không chắc chắn. Chúng hoạt động tốt nhất như một biện pháp kiểm soát tăng cường.

CAPTCHA không phải là một hệ thống phát hiện hoàn chỉnh. Nó có thể làm gián đoạn người dùng thực, tạo ra các vấn đề về khả năng tiếp cận và vẫn có thể được giải quyết bằng các dịch vụ tự động hóa hoặc trả phí. Một thử thách đã vượt qua cũng nói lên rất ít về mục đích của giao dịch tiếp theo.

Phát hiện bot so với Quản lý và giảm thiểu bot

Những thuật ngữ này mô tả các phần khác nhau của cùng một quy trình làm việc.

Tường lửa ứng dụng web có thể cung cấp một số điều khiển này. Nó không tự động là một hệ thống quản lý bot đầy đủ. Bảo vệ DDoS cũng giải quyết được một vấn đề khác, ngay cả khi một nhà cung cấp đóng gói cả hai sản phẩm.

Phát hiện bot được sử dụng ở đâu?

Các tín hiệu phù hợp phụ thuộc vào hành động được bảo vệ.

• Các trang đăng nhập sử dụng nó để xác định các nỗ lực chiếm đoạt tài khoản và nhồi nhét thông tin xác thực.
• Các hình thức đăng ký sử dụng nó để giảm tài khoản giả mạo và thư rác.
• Các luồng thanh toán sử dụng nó để phát hiện việc kiểm tra thẻ, chia tỷ lệ và tích trữ hàng tồn kho.
• Các trang web nội dung sử dụng nó để quản lý trình thu thập thông tin và thu thập thông tin trái phép.
• Các biểu mẫu quảng cáo và khách hàng tiềm năng sử dụng nó để xác định các lượt nhấp chuột và lượt gửi giả mạo.
• API sử dụng nó cùng với xác thực, hạn ngạch và ký yêu cầu.
• Ứng dụng di động sử dụng tín hiệu thiết bị, phiên, tài khoản và giao dịch.

Khả năng hiển thị công khai không loại bỏ sự cần thiết của các quy tắc truy cập. Đồng thời, quy tắc bảo mật nghiêm ngặt không được phá vỡ các trình thu thập thông tin tìm kiếm đã được xác minh hoặc các tiện ích tích hợp đã được phê duyệt.

Hạn chế và dương tính giả

Phát hiện bot mắc lỗi theo cả hai hướng. Kết quả dương tính giả coi hoạt động hợp pháp là đáng ngờ. Kết quả âm tính giả sẽ cho phép hoạt động lạm dụng trôi qua.

Kết quả dương tính giả thường ảnh hưởng đến người dùng có thiết lập bất thường nhưng hợp lệ. Các ví dụ phổ biến bao gồm:

• Mạng công ty hoặc trường học được nhiều người chia sẻ
• Người dùng VPN và mạng di động
• Trình duyệt tập trung vào quyền riêng tư
• Thiết bị mới không có lịch sử tài khoản
• Công cụ trợ năng
• Kết nối chậm hoặc không ổn định
• Tự động hóa được phê duyệt mà không có danh tính rõ ràng

Việc chặn cứng tín hiệu yếu đầu tiên khiến những vấn đề này trở nên tồi tệ hơn. Câu trả lời theo mức độ thường an toàn hơn:

1. Cho phép lưu lượng truy cập có rủi ro thấp
2. Quan sát các mô hình không chắc chắn
3. Áp dụng giới hạn tốc độ dựa trên điểm cuối
4. Yêu cầu xác minh bổ sung
5. Xem xét các hành động có tác động cao
6. Chặn lạm dụng độ tin cậy cao

Phản ứng phải phù hợp với tác hại có thể xảy ra. Việc đọc một trang công khai và thay đổi phương thức thanh toán sẽ không có cùng một ngưỡng.

Phát hiện cũng liên quan đến việc thu thập dữ liệu. Dấu vân tay của trình duyệt, dữ liệu tương tác, lịch sử tài khoản và thông tin mạng có thể trở nên nhạy cảm khi được lưu trữ cùng nhau. Chủ sở hữu trang web cần có giới hạn lưu giữ rõ ràng, kiểm soát quyền truy cập và tiết lộ quyền riêng tư. Thu thập thêm dữ liệu không tự động phát hiện tốt hơn.

Phát hiện bot và Hồ sơ trình duyệt

Cấu hình trình duyệt kiểm soát môi trường nơi phiên trình duyệt chạy. Nó có thể tách biệt cookie, bộ nhớ cục bộ, cài đặt trình duyệt và cấu hình proxy với các cấu hình khác.

Sự tách biệt đó rất hữu ích cho quy trình công việc đã được phê duyệt. Nó có thể giảm sự chồng chéo tài khoản ngẫu nhiên và làm cho quyền sở hữu phiên trở nên rõ ràng hơn. Nó không xác định cách bên thứ ba sẽ phân loại hoạt động.

MoreLogin cho phép các nhóm tạo Hồ sơ trình duyệt riêng cho từng quy trình công việc. Nhà phát triển có thể sử dụng API MoreLogin để khởi động hồ sơ, kết nối công cụ tự động hóa được hỗ trợ và đóng hồ sơ sau một tác vụ.

Hồ sơ chỉ là một phần của kết quả. Bối cảnh mạng, lịch sử tài khoản, tần suất tác vụ, nội dung và chính sách nền tảng vẫn quan trọng. Một hồ sơ được tách biệt rõ ràng sẽ không biến một hành động trái phép thành một hành động được phê duyệt.

Đối với các nhóm cần các phiên riêng biệt và quy trình làm việc dựa trên vai trò, trình duyệt nhiều tài khoản có thể cung cấp cấu trúc vận hành rõ ràng hơn. Quyền, nhật ký, giới hạn tỷ lệ và đánh giá của con người vẫn phải là một phần của quy trình.

Bài học chính

• Phát hiện bot kết hợp nhiều tín hiệu. Nó không phải là một kiểm tra trình duyệt.
• Việc phát hiện tự động hóa không chứng minh được mục đích xấu.
• Việc phát hiện tạo ra điểm số hoặc kết quả phân loại. Quản lý bot quyết định cách phản ứng.
• Trình duyệt, mạng, hành vi, phiên và bối cảnh kinh doanh đều quan trọng.
• Kết quả dương tính giả yêu cầu phải có sự giám sát, những thách thức có thể tiếp cận và lộ trình phục hồi.
• Hồ sơ trình duyệt tách biệt các môi trường. Chúng không bảo đảm nền tảng sẽ đưa ra quyết định nào.

Câu hỏi thường gặp về Phát hiện bot

Nói một cách đơn giản, Phát hiện bot là gì?

Phát hiện bot là quá trình quyết định xem hoạt động trực tuyến đến từ một người, một khách hàng tự động hay một nguồn không chắc chắn. Nó kết hợp các tín hiệu từ mạng, yêu cầu, trình duyệt, hành vi, phiên và tài khoản. Kết quả giúp nền tảng quyết định xem nên cho phép, theo dõi, giới hạn, xác minh hay chặn hoạt động.

Làm thế nào để các trang web phát hiện bot?

Trang web so sánh một số loại bằng chứng. Họ có thể kiểm tra danh tiếng IP và mạng, tiêu đề yêu cầu, thuộc tính trình duyệt, đặc điểm tự động hóa, kiểu điều hướng, lịch sử phiên và hoạt động tài khoản. Các quy tắc hoặc mô hình học máy kết hợp các tín hiệu đó thành điểm số hoặc phân loại. Không có tín hiệu duy nhất nào hoạt động đáng tin cậy cho mọi khách truy cập.

Có phải mọi bot đều độc hại?

KHÔNG. Tất cả các trình thu thập thông tin tìm kiếm, dịch vụ giám sát, công cụ kiểm tra, dịch vụ trợ năng và tích hợp được phê duyệt đều có thể được tự động hóa. Nền tảng phải xác minh và quản lý các bot hữu ích đồng thời hạn chế tự động hóa gây ra gian lận, lạm dụng, vấn đề về hiệu suất hoặc truy cập trái phép.

CAPTCHA có giống với Phát hiện bot không?

KHÔNG. CAPTCHA là một cách để yêu cầu khách hàng không chắc chắn cung cấp thêm bằng chứng. Một hệ thống phát hiện rộng hơn cũng xem xét các tín hiệu mạng, trình duyệt, phiên, hành vi và kinh doanh. CAPTCHA có thể gây ra các vấn đề về khả năng truy cập và trải nghiệm người dùng, vì vậy đây không phải là biện pháp kiểm soát duy nhất.

Sự khác biệt giữa Phát hiện bot và giảm thiểu bot là gì?

Phát hiện bot phân loại hoạt động hoặc chỉ định điểm rủi ro. Giảm thiểu bot thực hiện hành động chống lại hoạt động không mong muốn. Hành động đó có thể bao gồm giới hạn tốc độ, trì hoãn, thách thức, xem xét hoặc chặn yêu cầu. Quản lý bot kết nối việc phân loại với chính sách thích hợp.

Phát hiện bot có thể mắc lỗi không?

Đúng. Người dùng hợp pháp có thể trông khác thường do mạng dùng chung, công cụ bảo mật, phần mềm trợ năng, thiết bị mới hoặc kết nối không ổn định. Các bot tinh vi cũng có thể giống với lưu lượng truy cập thông thường. Các nhóm nên đo lường kết quả dương tính giả và âm tính giả, sau đó điều chỉnh các quy tắc và đường dẫn khôi phục.

Có thể phát hiện Tự động hóa trình duyệt không?

Tự động hóa trình duyệt có thể tạo ra các tín hiệu có thể quan sát được trong trình duyệt, luồng yêu cầu, thời gian và phiên. Một trang web có thể phân loại những tín hiệu đó là tự động hoặc đáng ngờ. Kết quả cuối cùng phụ thuộc vào nhiều lớp bằng chứng và chính sách nền tảng. Tự động hóa được phê duyệt nên sử dụng các phương pháp truy cập được ghi lại nếu có thể.

Cấu hình trình duyệt có ngăn Phát hiện bot không?

KHÔNG. Cấu hình trình duyệt tách biệt trạng thái và cấu hình trình duyệt. Nó không kiểm soát hệ thống phát hiện của bên thứ ba. Nhiệm vụ, mạng, lịch sử tài khoản, hành vi và quy tắc nền tảng vẫn ảnh hưởng đến kết quả.