AI 代理正在重塑开放网络的内容经济
背景：开放网络的交换关系正在变化
一年前，Cloudflare 将新接入域名的默认策略调整为：除非域名所有者主动选择开放，否则默认阻止 AI 训练爬虫。其理由是，随着生成式 AI 加速普及，发布者获得的搜索推荐流量下降，而 AI 公司大规模抓取网页内容的行为通常缺乏清晰意图声明，也很少伴随补偿。
这一调整并不是为了封闭网络，而是试图让内容生态具备更多透明度、控制权、稀缺性，并推动形成一个能够对高质量内容进行定价和交易的市场。
一年后，围绕内容变现的新市场已经出现，但互联网商业模式的变化速度也超过了此前预期。
AI 普及速度远快于上一代平台迁移
文章指出，AI 并不是普通的技术周期，而是一次平台级迁移。生成式 AI 在约 3.5 年内获得超过 30% 的人类用户覆盖，约 25 亿活跃用户开始经常使用生成式 AI。其采用速度被认为超过智能手机普及速度的两倍。
这种变化正在改变人们获取信息、完成工作和分配在线时间的方式。
传统搜索与开放网页访问正在承压
用户使用互联网的方式正在发生明显变化。文章称，如今每花 1 小时在线搜索信息，只有约 15 分钟发生在开放网页上。
过去，用户通常会访问多个网站，比较信息并自行判断；现在，越来越多用户直接向 AI 输入提示词，获得近乎即时的整合答案。这使传统搜索行为受到冲击，也削弱了内容网站通过搜索获得访问量的能力。
非人类流量已成为互联网流量的重要组成
文章称，今年代理流量首次跨过一个关键门槛：互联网上超过 50% 的流量已不再由人类产生。这对发布者、内容所有者以及开放网络的未来都有重要影响。
从 Cloudflare 识别的爬虫用途来看，爬虫流量结构也在发生变化：
- 截至 2026 年 6 月，52% 的爬虫请求用于 AI 训练，高于 2025 年春季的 22%。
- 混合用途爬虫占比超过 36%，这类爬虫同时服务于搜索、代理使用和训练等目的。
- 纯搜索爬虫在整体爬虫活动中的占比正在下降，尽管它对发布者可见性仍然重要。
随着 AI 训练成为爬虫活动的主要驱动力，区分“发现内容”和“训练模型”变得更加重要。混合用途爬虫模糊了这种边界，使内容所有者面临两难：要么继续保持在代理时代的可发现性，要么在没有补偿的情况下交出最有价值的内容。
旧的开放网络商业模式正在失效
过去几十年，开放网络的经济交换相对清晰：内容创作者允许搜索引擎访问内容，搜索引擎则向网站返回推荐流量。发布者、创作者和企业再通过这些流量获得广告、订阅、销售线索或其他商业价值。
由此产生的核心问题是：如果内容被消费，但受众不再访问原始网站，内容创作者如何维持可持续经营？
影响不只限于新闻和媒体
最早感受到冲击的是新闻机构和媒体公司。但类似变化已经扩展到零售、软件、IT 和金融等行业。文章称，一些被高度抓取的内容类别，在不到一年时间里人类访问量下降幅度最高达到 40%。
许多发布者正在为所谓的“Google Zero”做准备，即来自搜索推荐的流量极少甚至归零的情形。
这一趋势的影响并不局限于内容行业。任何在互联网上发布专有信息的组织，都需要理解如何在代理驱动的互联网中运营。开放网络仍是全球经济和信息发现的重要基础设施，如何维持其健康与可持续，已成为更广泛的问题。
内容变现市场开始形成
Cloudflare 在推进相关策略时提出了三项目标：
- 为网站所有者提供透明度和控制权，使其能够定义内容如何被访问和变现。
- 提供能够制造稀缺性的工具，将一定议价能力交还给内容所有者。
- 建立一个市场，让内容创作者与不同规模的 AI 公司更高效地发现、授权和评估内容价值。
一年后，围绕可变现内容的市场已经出现，动态市场形成的条件也在累积。
透明度与控制权带来稀缺性
过去，发布者很难知道 AI 公司如何访问和使用其内容。当推荐流量下降时，这种缺乏可见性就变成了经济问题，促使发布者寻找新的价值捕获方式。
文章称，网络层面的归因、商业分析和执行工具，使发布者能够观察 AI 对内容的消费情况，并比 robots.txt 这类自愿标准更有效地执行访问控制。发布者由此可以决定内容如何被访问、如何被变现。控制权创造了稀缺性，并推动供需型内容经济出现。
稀缺性带来谈判筹码
当发布者能够控制访问权限，就能制造稀缺性，并在授权谈判中获得更强位置。文章提到，发布者首次获得运营层面的归因数据，包括：
- 大语言模型尝试访问其内容的频率；
- 哪些竞争性大模型正在抓取内容；
- 哪些 URL 需求最高；
- 抓取量与推荐流量之间的比例。
这些信息降低了授权谈判中的信息不对称，使发布者能够基于更充分的数据讨论内容价值。
授权经济正在出现，但仍不成熟
文章称，自 2023 年以来，已经有超过 50 项发布者与 AI 公司之间的协议签署。大型 AI 公司也开始主动授权内容，并越来越重视差异化和高质量内容的价值。与此同时，集体授权模式也在出现并扩大。
不过，当前授权市场仍有明显不足。早期协议证明需求存在，但授权交易大多仍是定制化安排，也未必能完全弥补搜索推荐、广告和联盟收入的损失。因此，发布者一方面继续面向人类用户优化发现路径，另一方面也在探索面向 AI 消费的新变现方式。
供给与需求仍难以高效匹配，内容估值也尚未形成稳定共识。不同内容的价值显然并不相同，但如何定价仍是开放问题。
搜索、AI 摘要与平台角色的冲突
文章特别提到 Google 的特殊位置。Google 仍是在线发现的主导入口，约占推荐流量的 88%。但与此同时，Google 也越来越多地通过自有 AI 体验帮助用户直接消费内容。
搜索与 AI 消费的功能不同：搜索将用户带向内容，AI 驱动体验则倾向于总结和复用内容，并减少用户访问原站点的必要性。网站所有者对这两类行为的看法并不相同，因为前者带来流量，后者可能替代流量。
这一区别会影响网站所有者决定允许谁、以何种目的访问内容。文章指出，多数领先 AI 公司会区分发现爬虫和训练爬虫，使发布者更容易按用途开放或限制访问；而 Google 的角色更复杂，因为其同时承担搜索入口和 AI 消费入口的功能。
结语：内容经济进入重新定价阶段
开放网络过去依赖“内容换流量”的商业模式，但 AI 代理、训练爬虫和答案型产品正在改变这一交换结构。内容仍被使用，流量却未必回流。
在这一背景下，访问控制、用途识别、归因数据、授权谈判和内容估值正在成为新的基础设施议题。内容是否应该获得补偿的讨论，正在转向如何补偿、如何计价以及如何建立可持续市场机制。