Cloudflare 推出更细粒度的 AI 流量管理选项

分享到

Cloudflare 宣布为网站所有者提供更细粒度的 AI 流量管理能力，不再只提供“一键屏蔽 AI 机器人”的单一选项，而是按不同用途区分自动化访问行为，帮助站点在可发现性、内容保护和商业化之间做更具体的选择。

为什么需要更细的分类

Cloudflare 认为，过去网站与爬虫之间长期存在一种默认交换：爬虫抓取网页，网站获得搜索引擎带来的访问流量。但随着 AI 模型训练、答案引擎和自动化代理的发展，这种交换关系变得不再清晰。

对小型网站来说，问题不只是内容可能被用于训练模型，也包括如果完全封锁自动化访问，网站可能更难被发现。因此，网站所有者需要的并不是简单地“允许或屏蔽所有机器人”，而是能够区分不同类型的自动化访问。

Cloudflare 将重点面向所有客户开放三类 AI 相关流量管理：

指收集或索引网站内容，以便之后回答相关查询的行为。其关键特征是：主动建立网站内容数据库，用于后续响应搜索或查询请求。

Cloudflare 认为，网站所有者通常会期待这类行为带来推荐流量，或获得其他形式的合理补偿。

指代表用户执行任务的自动化行为，通常是实时访问网页来完成某个操作。例如聊天工具中的网页抓取机器人，或由 AI 驱动浏览器访问网页的代理。

这类访问的关键特征是：它进入网站或 Web 应用，是为了替某个用户完成当前任务，另一端往往有真人正在等待结果。

指爬虫抓取内容用于训练或微调模型。其关键特征是：网站数据被吸收到 AI 模型能力建设中，用于提升模型表现。

Cloudflare 表示，一些常见爬虫可能只属于其中一类，也可能同时具备多种用途。其更新后的分类思路是：如果一个机器人有多个目的，就应当同时标记所有相关用途，而不是只归为单一类别。

Cloudflare 也鼓励运行自动化爬虫的公司将不同用途拆分为不同爬虫。例如，如果同一家公司同时进行搜索索引、用户代理访问和模型训练，Cloudflare 建议分别使用不同爬虫，以便网站所有者更清楚地理解访问目的并制定访问策略。

Cloudflare 表示，所有客户都将能够基于 Search、Agent、Training 三个主要用途管理 AI 流量，包括免费套餐用户。

此前的“Block AI bots”主要面向用于模型训练的单一用途机器人。新的设置则允许网站所有者分别管理：

这意味着，网站可以选择允许搜索类访问以维持可发现性，同时限制训练类抓取，或根据自身业务需要设置不同组合。

Cloudflare 计划在 2026 年 9 月 15 日调整新接入域名的默认策略：

Cloudflare 的解释是，广告通常意味着网站所有者希望真人访问页面并看到广告，因此在这类页面上，人的注意力是核心目标。Training 和 Agent 类机器人可能不会带来这种访问价值，因此默认限制；而 Search 类行为更可能将访问者引回网站，所以默认允许。

同时，Cloudflare 表示，对于同时具备 Search 和 Training 用途的多用途爬虫，将根据其全部行为应用规则。由于默认策略会采用更严格的适用规则，如果客户选择阻止 Training，某些同时包含训练用途的多用途爬虫也会被阻止。

Cloudflare 称，客户仍可在设置中选择不采用相关默认变化，并会在变更日期前继续通知客户。

Cloudflare 还推出了 BotBase，作为企业级 Bot Management 的新可见性功能。BotBase 是一个已知机器人数据库，包含 Verified bots 和 agents，企业客户可以在控制台中查看、搜索并了解不同机器人在新版分类体系中的归属。

企业客户还可以针对特定机器人筛选流量，并复制检测 ID 用于安全规则。Cloudflare 表示，BotBase 目前首先提供可见性，未来还将扩展为已知自动化内容访问的控制中心。

Cloudflare 在 BotBase 中按机器人可能在网站上执行的行为进行分类。除 Search、Agent、Training 外，还包括：

这次调整反映出一个趋势：AI 时代的网站访问控制正在从“是否允许机器人”转向“允许哪类机器人、出于什么目的访问”。对内容站点、社区、媒体和依赖广告变现的网站而言，按用途管理自动化流量可能会成为新的基础能力。