面向 Verified 机器人的持续问责机制

Cloudflare 正在为 Verified Bots 引入持续重新验证，将重点从证明机器人身份转向考察其获准访问后的行为。截至 2026 年 10 月 16 日，Cloudflare 表示，其新系统会评估机器人是否持续遵守网站偏好，记录每次评估所依据的行为，并将这些观察结果转化为可解释的信任区间。Cloudflare 已在内部使用该系统，并计划向所有客户开放；届时，客户可以选择用于确定如何处理 Verified Bot 流量的信任阈值。

身份建立问责关系，却不能保证信任

Verified Bot 大体上必须满足三个条件：准确且安全地表明身份，只执行其声称会执行的操作，并避免滥用行为。机器人使用 Web Bot Auth 对请求进行签名，BotBase 则以开放格式收录这些身份信息。

Cloudflare 认为，这种验证只回答了信任问题的第一部分。一个身份识别正确的机器人，仍可能无视网站的抓取偏好，在被要求放慢速度后继续发送请求，或试图绕过访问控制。此类行为并不一定表明存在恶意意图，也可能源于配置错误或软件缺陷。

风险与信任之间的区别是这一新机制的核心。风险描述特定请求或行为可能造成损害的可能性，并且可能随时变化。信任则通过长期、一致的行为积累。因此，Cloudflare 表示，其系统评估的是反复出现的行为模式，而不会将一次异常请求视为永久结论。

行为验证如何运作

初步评估主要关注机器人是否始终按照所访问网站提供的说明行事。Cloudflare 正在衡量两个相关信号：

机器人是否遵守已公布的说明？
机器人是否恰当地回应网站给出的直接反馈？

第一个信号主要涉及 robots.txt，这是网站所有者发布爬虫偏好的标准机制。Cloudflare 会随时间将机器人产生的实际流量与这些偏好进行比较。反复无视规则在评估中的权重高于偶发偏差。

第二个信号关注网站表示流量不受欢迎或负载过重时机器人的响应。例如，服务器可以返回 HTTP 429 “Too Many Requests” 响应，要求访问者降低请求速率，有时还会说明何时可以重试。Cloudflare 表示，该系统会检查机器人在收到响应后是否放慢速度、暂停请求或仍以相同速率继续运行。

持续适应和调整可以提升机器人的信任区间，而反复忽视信号则会削弱它。所得区间应力求可解释：它不应只是给出一个没有理由的标签，而应显示机器人遵守网站偏好的程度，以及哪些观察到的行为对评估结果产生了影响。

这一机制旨在提供帮助的领域

对网站所有者而言，持续行为评估为决定允许哪些自动化流量提供了更实用的依据。身份仍然重要，但即使流量仍沿着名义上允许的路径进入，也可能给网站带来显著负载。会对限速反馈作出响应的机器人，能够向网站运营者证明它有能力调整自身行为。

对机器人运营者而言，这一机制可以提供一种方式，将负责任的运营与单纯的身份验证区分开来。运营者可以证明其爬虫会读取网站偏好、尊重停止或减少抓取的请求，并长期保持一致的行为。Cloudflare 表示，未来计划在 Radar 上公布这些分数，不过公告尚未将这种公开发布列为可用功能。

Cloudflare 举 Perplexity 为例，说明为何需要作出这一区分。据该公司称，2025 年，Perplexity 的机器人在尝试获取选择退出抓取的网站上的资源，并在请求遭拦截后试图绕过控制措施，因此被 Cloudflare 从 Verified Bot 名单中移除。这个例子说明，仅凭已验证的身份无法回答另一个独立问题：机器人未来的行为是否值得信任。

为什么仅依靠 robots.txt 并不足够

Cloudflare 强调，robots.txt 设定的是最低限制，而不是一套完整的授权机制。如果某条路径未被明确禁止，并不一定意味着所有形式的访问都可接受。网站也可以通过限速响应或该文件之外的其他控制措施，表达 continued requests 不受欢迎。

这就是为什么该系统会同时评估已公布的偏好和直接反馈。一个始终遵守 robots.txt、却在多次收到 429 响应后仍以原速率持续请求的爬虫，并没有完全尊重网站设定的边界。相反，一个会检查适用规则、遵循退出抓取说明并降低请求速率的机器人，其行为也更符合可问责运营者的要求。

当前阶段的局限

公告描述的是一个初始阶段，而非已经完成的公开评分服务。Cloudflare 表示，目前正在内部使用该系统，以建立行为历史并完善如何将观察结果转化为运营指导。面向所有客户的全面发布已在计划之中，未来在 Radar 上公开分数也是这一长期发展方向的一部分。

公告没有说明评分公式、精确的信任区间阈值，或如何对不同类型的观察结果赋予权重，也没有将该信任区间定义为对机器人或其运营者的永久性评判。评估机制会随着观察到的行为增多而不断演进，从而避免将暂时性异常视为最终结论。

将行为与网站控制机制关联起来

Cloudflare 将这一新机制与 Bot Preference Sync 和 Bot Management 结合起来。据该公司介绍，Bot Preference Sync 帮助网站所有者发布爬虫偏好，Bot Management 则让网站所有者决定应如何处理自动化流量。新的行为评估增加了第三个要素，用以显示 Verified Bots 是否会持续遵守这些偏好。

这些工具共同旨在形成一个问责闭环：网站说明允许什么，Cloudflare 观察机器人如何回应，网站所有者则可以利用信任阈值指导管控措施。实际目标不是仅仅因为机器人表明了身份就给予奖励，而是确保持续访问始终以长期、透明的行为为条件。

资料来源：Continuous accountability for Verified bots（2026-10-16）。