Bot 检测

Bot 检测是确定数字活动是否来自个人、自动化客户端或不确定来源的过程。 网站、应用程序和 API 通过组合网络、请求、浏览器、行为、会话和帐户信号来做出决定。

结果可能导致多种行动。 平台可以允许请求、监视请求、减慢请求、要求验证、发送请求进行审查或阻止请求。

这不是一场简单的人与机器的较量。 搜索爬虫、监控工具、辅助服务、测试脚本和批准的集成也是自动化的。 有用的检测系统必须将可接受的自动化与造成风险或滥用的活动分开。

什么是Bot 检测？

Bot 检测是一个分类过程。 它寻找自动化的迹象并考虑活动试图做什么。

第二部分很重要。 监控服务可能每分钟请求相同的页面。 凭证填充工具可能会发送重复的登录尝试。 两者都是自动化的，但它们带来的风险截然不同。

检测系统可能会返回一个标签，例如：

• 已验证的机器人
• 可能是人类
• 可能是自动化的
• 可疑的自动化
• 未知流量

有些系统会返回分数。 较低或较高的分数可以代表请求被自动化的估计机会。 规模的方向取决于提供商。

分数是证据，不是证明。 奇怪的浏览器设置并不能证明有恶意。 熟悉的IP地址并不能证明一个人拥有控制权。 强有力的决策通常取决于指向同一方向的多个信号。

Bot 检测软件是执行此分析的产品类别。 许多产品还包括管理和缓解功能，但这些是单独的阶段。

Bot 检测如何工作？

该过程通常有五个部分。

1. 收集相关信号

系统观察连接、请求、浏览器、会话、帐户和尝试的操作。 登录页面可能需要来自公共文章或 API 端点的不同信号。

2. 比较信号

将当前请求与已知爬虫、威胁情报、会话历史记录、正常流量和同一流中的其他请求进行比较。 该系统还会寻找矛盾。 声明一种环境但行为与另一种环境相似的浏览器可能会受到更多审查。

3. 分配分数或类别

规则、统计模型或机器学习估计活动是否是人为的、自动化的、经过验证的、可疑的或不确定的。 Cloudflare 在其 Bot 检测引擎 文档中描述了类似的方法。 其系统结合了启发式、浏览器信号、会话特征和机器学习。

4. 应用政策

平台根据信心和风险选择响应。 低风险交通可能会通过。 不确定的流量可能会面临挑战。 高可信度滥用可能会受到限制或阻止。

5. 审查结果

安全团队检查误报、错过的攻击、用户投诉和新的流量模式。 浏览器更新或攻击者行为发生变化后，上个月有效的规则可能需要调整。

端点改变了信号的含义。 对于产品源来说，一分钟十个请求可能是正常的。 针对不同帐户的十次失败登录尝试更令人担忧。 良好的检测可以保留该上下文，而不是以相同的方式处理每个请求。

Bot 检测系统使用哪些信号？

现代系统并不依赖于一个完美的指标。 它们结合了几个弱信号和强信号。

网络信号

IP 信誉和网络所有权可以提供有用的上下文。 来自托管网络的流量可能应该与来自消费者网络的流量进行不同的处理。 这种差异并不是一个判决。

网络位置只有一层。 代理更改网络路径。 它不会更改浏览器行为、会话历史记录或帐户活动。 代理、VPN 或反检测浏览器 会影响连接的不同部分，因此这些工具无法相互替代。

浏览器和设备信号

网站可以通过浏览器指纹组合浏览器版本、操作系统、屏幕尺寸、语言、时区、字体和渲染行为。

一致性往往比一个稀有值更重要。 浏览器可能声称在一个操作系统上运行，同时公开与另一个操作系统相关的图形、字体或输入功能。 这种不匹配会增加风险。 它本身仍然不能证明滥用。

行为和会话信号

检测系统可以检查会话的发展情况。 他们可能会查看页面顺序、操作之间的时间、重复的失败以及访问期间的变化。

关于人类行为的简单说法是不可靠的。 人们可以快速点击。 一些用户使用键盘或辅助技术进行导航。 机器人还可以增加延迟。 有用的信号通常来自完整的序列和业务结果，而不是单一的鼠标路径。

账户和业务信号

最有力的证据可能会在登录后出现。 平台可以将当前操作与帐户历史记录、付款详细信息、购买限制和之前的会话进行比较。

这就是为什么通过验证挑战并不能解决所有问题。客户端可能通过浏览器检查，却仍尝试使用不同的卡完成二十次结账。浏览器本身看起来符合要求，但交易行为模式并不符合要求。

好机器人、坏机器人和认可的自动化

并非每个自动化客户端都属于同一组。

良好且经过验证的机器人

搜索爬虫、正常运行时间监视器和经批准的合作伙伴服务可以提供明确的价值。 平台可以验证他们的身份并将其列入许可名单。 这些机器人仍然需要合理的限制。 经过验证的名称不应授予对每个端点的无限制访问权限。

坏机器人或滥用机器人

滥用机器人执行损害用户、系统或业务运营的操作。 常见的例子包括：

• 撞库
• 创建虚假帐户
• 卡片测试
• 库存囤积
• 垃圾邮件提交
• 点击欺诈
• 未经授权的数据收集

风险来自行动、规模和意图。 自动化为操作员提供了速度，但速度本身并不是问题的全部。

认可的自动化

QA 测试、内部浏览器工作流程、监控作业和授权 API 客户端可能是业务的一部分。 他们应该使用定义的权限、稳定的身份、速率限制、日志和明确的所有者。

经批准的自动化不需要假装成一个人。 如果可能，它应该使用官方 API、服务帐户、签名请求或记录的爬虫身份。

未知流量

某些流量无法提供足够的证据来做出自信的决定。 硬阻止每个未知客户端会造成不必要的失败。 更好的响应可能是监控、较低的速率限制或可访问的验证步骤。

OWASP 机器人管理指南 建议与受保护流相匹配的分层控制和响应。 它还指出，合法的爬虫、监控代理和辅助工具应该保持可用。

常见的Bot 检测方法

签名和声誉

基本检测从已知信息开始。 系统可能会识别经过验证的爬虫、恶意 IP 范围、异常用户代理或已知的自动化签名。

这些检查执行迅速，但很快就可能过时。User-Agent 可以被复制，IP 地址会变化，新的自动化工具也可能尚未出现在信誉数据源中。

速率和序列分析

速率限制衡量客户端或身份执行操作的频率。 序列分析着眼于这些动作的顺序。

一个基于 IP 的限制是远远不够的。 办公室、学校和移动网络可能会将许多用户置于同一地址后面。 分布式机器人可以使用许多地址。 更好的控制将 IP、会话、帐户、端点和时间窗口一起考虑。

浏览器和设备指纹识别

指纹识别有助于链接共享浏览器或设备模式的请求。 它还可以揭示所声称的环境和观察到的行为之间的不一致。

这种方法会产生隐私成本。 站点应仅收集受保护流所需的信号。 原始数据的保存时间不应超过必要的时间。 结帐时的欺诈检查可能比阅读公共帮助页面更值得进行审查。

行为和会话分析

行为模型将活动与预期的用户流量进行比较。 会话分析添加历史记录、失败的尝试、身份验证状态和重复操作。

该模型不应假设普通用户代表每个真实用户。 团队需要测试系统如何对待键盘用户、屏幕阅读器、慢速连接、共享设备和注重隐私的浏览器。

机器学习和异常检测

机器学习可以结合比小规则集更多的功能。 它可以跨请求和会话查找模式，然后返回风险评分。

该模型仍然需要监督。 浏览器更新可能会在一夜之间改变正常信号。 营销活动可能会产生异常流量，但并非攻击。 团队应该监控偏差并记录做出高影响决策的原因。

挑战与证明

CAPTCHA 验证码、隐形挑战、证明令牌和设备证明可以从不确定的流量中收集更多证据。 它们作为加强控制效果最好。

CAPTCHA 验证码不是一个完整的检测系统。 它可能会干扰真实用户，造成可访问性问题，但仍然可以通过自动化或付费服务来解决。 通过的挑战也很少说明下一次交易的意图。

Bot 检测与机器人管理和缓解

这些术语描述同一工作流程的不同部分。

Web 应用程序防火墙可以提供其中一些控制。 它不会自动成为一个完整的机器人管理系统。 DDoS 防护还解决了另一个问题，即使一个供应商捆绑了这两种产品。

Bot 检测在哪里使用？

正确的信号取决于受保护的操作。

• 登录页面使用它来识别凭证填充和帐户接管尝试。
• 注册表单使用它来减少虚假帐户和垃圾邮件。
• 结帐流程使用它来检测卡测试、倒卖和库存囤积。
• 内容网站使用它来管理爬虫和未经授权的抓取。
• 广告和潜在客户表单使用它来识别虚假点击和提交。
• API 将其与身份验证、配额和请求签名一起使用。
• 移动应用程序使用设备、会话、帐户和交易信号。

公众可见性并不能消除访问规则的需要。 同时，严格的安全规则不应破坏经过验证的搜索爬虫或批准的集成。

局限性和误报

Bot 检测在两个方向都会出错。 误报将合法活动视为可疑。 假阴性会让滥用行为过去。

误报通常会影响具有异常但有效设置的用户。 常见的例子包括：

• 多人共享的公司或学校网络
• VPN 和移动网络用户
• 注重隐私的浏览器
• 没有帐户历史记录的新设备
• 辅助工具
• 连接缓慢或不稳定
• 未经明确身份认可的自动化

对第一个微弱信号的硬阻塞会使这些问题变得更糟。 分级响应通常更安全：

1. 允许低风险流量
2. 观察不确定的模式
3. 应用基于端点的速率限制
4. 请求额外验证
5. 审查高影响力的行动
6. 阻止高信任度滥用

响应应与可能的危害相匹配。 阅读公共页面和更改支付方式不应面临相同的门槛。

检测还涉及数据收集。 浏览器指纹、交互数据、帐户历史记录和网络信息存储在一起时可能会变得敏感。 网站所有者需要明确的保留限制、访问控制和隐私披露。 收集更多数据并不意味着更好的检测。

Bot 检测和浏览器配置文件

浏览器配置文件控制浏览器会话运行的环境。 它可能会将 cookie、本地存储、浏览器设置和代理配置与其他配置文件分开。

这种分离对于批准的工作流程很有用。 它可以减少意外的帐户重叠并使会话所有权更加清晰。 它无法确定第三方如何对活动进行分类。

MoreLogin 可让团队为每个工作流程创建单独的 浏览器配置文件。 开发者可以使用MoreLogin API启动配置文件、连接支持的自动化工具以及在任务完成后关闭配置文件。

轮廓只是结果的一部分。 网络环境、帐户历史记录、任务频率、内容和平台策略仍然很重要。 良好分离的配置文件不会将未经授权的操作转变为批准的操作。

对于需要单独会话和基于角色的工作流程的团队来说，多帐户浏览器 可以提供更清晰的操作结构。 权限、日志、速率限制和人工审核应保留在流程中。

要点

• Bot 检测结合多个信号，并非仅靠一次浏览器检查。
• 检测自动化并不能证明恶意。
• 检测会产生分数或类别。 管理层决定响应。
• 浏览器、网络、行为、会话和业务环境都很重要。
• 误报需要监控、可访问的挑战和恢复路径。
• 浏览器配置文件将各个环境分隔开，但不能保证平台会作出何种决定。

Bot 检测常见问题解答

简单来说什么是Bot 检测？

Bot 检测是确定在线活动是否来自个人、自动化客户端或不确定来源的过程。 它结合了来自网络、请求、浏览器、行为、会话和帐户的信号。 结果帮助平台决定是否允许、监视、限制、验证或阻止该活动。

网站如何检测机器人？

网站比较几种类型的证据。 他们可能会检查 IP 和网络信誉、请求标头、浏览器属性、自动化特征、导航模式、会话历史记录和帐户活动。 规则或机器学习模型将这些信号组合成分数或分类。 没有任何一个信号能够对每个访客都可靠地工作。

每个机器人都是恶意的吗？

不。 搜索爬虫、监控服务、测试工具、辅助服务和批准的集成都可以自动化。 平台应验证和管理有用的机器人，同时限制导致欺诈、滥用、性能问题或未经授权访问的自动化。

CAPTCHA 验证码与Bot 检测相同吗？

不。 CAPTCHA 验证码是向不确定的客户询问更多证据的一种方法。 更广泛的检测系统还考虑网络、浏览器、会话、行为和业务信号。 CAPTCHA 验证码可能会造成可访问性和用户体验问题，因此它不应该是唯一的控件。

Bot 检测和机器人缓解之间有什么区别？

Bot 检测对活动进行分类或分配风险评分。 机器人缓解措施针对不需要的活动采取行动。 该操作可能包括速率限制、延迟、质疑、审查或阻止请求。 机器人管理将分类与适当的策略联系起来。

Bot 检测会出错吗？

是的。 由于共享网络、隐私工具、辅助软件、新设备或不稳定的连接，合法用户可能看起来不寻常。 复杂的机器人也可以类似于正常流量。 团队应该测量误报和漏报，然后调整规则和恢复路径。

能否检测到浏览器自动化？

浏览器自动化可以在浏览器、请求流、计时和会话中产生可观察的信号。 网站可能会将这些信号分类为自动信号或可疑信号。 最终结果取决于多层证据和平台政策。 经批准的自动化应尽可能使用记录的访问方法。

浏览器配置文件是否会阻止Bot 检测？

不。 浏览器配置文件将浏览器状态和配置分开。 它不控制第三方检测系统。 任务、网络、账户历史、行为和平台规则仍然会影响结果。