Cloudflare推出机器人流量商业洞察面板

背景：爬虫与内容网站的关系正在变化

原创内容是互联网讨论、新闻传播和知识发现的重要基础。长期以来，网站所有者允许搜索引擎抓取内容，搜索引擎则把读者带回网站。这种模式形成了相对平衡的“抓取—引荐”关系：搜索索引爬虫会访问页面，同时也带来可转化为广告展示、会员订阅或联盟收入的访问量。

但随着 AI 爬虫和智能代理快速增长，这一关系正在发生变化。许多 AI 系统会抓取网页内容，用于生成即时答案，用户可能不再点击进入原网站。这让出版商和内容网站面临双重压力：一方面，来自搜索或问答系统的引荐流量减少；另一方面，网站仍需承担向自动化机器人提供内容所带来的带宽和基础设施成本。

Cloudflare此前观察到，一些主要 AI 爬虫的“抓取—引荐”比例从 118:1 到接近 50,000:1 不等。也就是说，某些 AI 爬虫可能大量抓取内容，却只带回极少访问者。

新面板：面向业务决策的爬虫洞察

Cloudflare发布了 Attribution Business Insights 面板，面向网站所有者、出版商和业务决策者，目标是帮助他们更清楚地理解不同类型机器人流量对业务的影响。

该面板目前面向 Cloudflare Bot Management 客户开放。它不同于需要大量手动筛选的传统分析工具，而是聚焦于网站所有者最关心的问题：

• AI 流量在网站访问中占比如何；
• 真人、非 AI 机器人、AI 机器人分别带来什么价值；
• 哪些机器人正在访问内容页面；
• 这些访问是否带来相应的引荐流量；
• 不同机器人运营方对网站资源的消耗情况如何。

主要功能

1. 内容页面上的机器人流量

面板可以展示机器人与真人访问的总体情况，并显示成功访问内容页面的机器人流量规模。网站所有者可以据此判断自动化访问在整体流量中的占比。

2. 抓取—引荐比例

面板支持查看全站维度的抓取—引荐比例，时间范围包括 24 小时、7 天和 30 天。同时，也可以按机器人运营方查看该比例，便于比较不同公司或服务对网站内容的抓取强度与回流效果。

3. 主要机器人拆分

面板会列出访问量最高的机器人，并提供相关信息，包括：

• 占用的网站带宽；
• 当前是被允许还是被阻止；
• 对内容页面的访问规模。

这些信息有助于网站管理者识别哪些机器人对基础设施成本影响较大。

4. 更细的爬虫行为分类

Cloudflare不再只使用笼统的“AI 爬虫”标签，而是根据行为将爬虫进一步分类，例如：

• Training：用于训练下一代大语言模型或相关系统；
• Search：用于刷新检索增强生成等系统所需的数据；
• Agent：用于智能代理交互，为终端用户返回答案。

这种分类有助于网站所有者理解内容可能被用于哪些场景。

从技术指标走向商业谈判

Cloudflare强调，该面板并不只是给安全团队使用，也希望业务决策者参与进来。对于内容网站而言，AI 爬虫访问不再只是安全或运维问题，也可能影响内容授权、商业合作和流量策略。

通过按机器人运营方汇总的数据，网站可以建立更清晰的基线。例如，某一公司的抓取量是否显著高于另一家公司，某些合作方是否已经为内容付费，现有授权协议是否需要根据近期访问活动重新评估。

需要注意的是，该面板主要用于分析和洞察，并不是新的拦截控制台。实际的允许、阻止或其他处理动作仍然通过安全规则完成。它的定位更接近一个经过筛选的分析中心，帮助网站在采取行动前先看清数据。

后续方向

Cloudflare表示，正在与出版合作伙伴探索下一阶段能力。其中一个方向是按单篇文章拆解爬虫活动，以观察不同内容、专题或活动对 AI 公司和机器人访问的吸引力。

这类视图可能帮助网站了解：

• 哪些文章最受 AI 爬虫关注；
• AI 机器人、其他机器人和真人流量在单篇内容上的占比；
• 直接访问与引荐访问的差异；
• 不同内容资产在商业谈判中的潜在价值。

观察

AI 爬虫正在改变内容网站与流量入口之间的关系。对于依赖原创内容、广告展示、订阅或授权收入的网站来说，仅仅知道“有多少访问量”已经不够，更重要的是理解访问者是谁、访问目的是什么、是否带来回流，以及是否产生可衡量的商业价值。

Attribution Business Insights 的价值在于把过去偏技术侧的机器人流量问题，转化为业务层可以讨论的数据：谁在抓取、抓取多少、消耗多少资源、带回多少访问，以及这些行为是否与内容价值相匹配。