Cloudflare试图重塑AI搜索的内容价值交换

分享到

搜索长期是网页内容被发现的核心入口：创作者、商家和各类答案，都依赖搜索带来访问者，并通过广告、订阅或受众关系形成商业回报。过去近30年里，这种机制建立在一个相对清晰的交换之上：允许搜索引擎抓取内容，搜索引擎则把用户访问带回网站。

但AI搜索正在改变这一交换。答案引擎可以读取网页并直接向用户生成摘要，用户未必再点击进入网页，内容提供者也可能因此失去原本依赖访问产生的收益。

AI摘要正在改变点击行为

Cloudflare指出，AI搜索带来的问题已不只是少数训练爬虫是否应被屏蔽，而是搜索本身正在围绕AI答案重建。

文中提到，Pew Research Center在2025年的一项研究发现：当Google搜索结果中出现AI摘要时，用户点击传统搜索结果链接的比例为8%，约为没有AI摘要时的一半；用户点击AI摘要内部链接的比例仅为1%。

这使网站所有者面临两难：

Cloudflare认为，创作者既希望保持可发现性，也希望因内容价值获得补偿，而目前机制迫使他们在两者之间做选择。

Cloudflare宣布两项计划，希望从单纯防御爬虫，转向建立新的内容价值交换机制。

Cloudflare计划利用其全球网络中可观察到的信号，帮助答案引擎识别哪些内容更新鲜、质量更高、确实发生过变化，从而减少不必要的重复抓取。

Cloudflare称，超过20%的网页流量经过其网络，这让它能够观察哪些页面真正发生了变化，以及人类用户和代理程序正在访问哪些内容。

该研究项目将探索结合两类信号：

目标主要有两个：

Cloudflare还表示，其数据显示，来自“良性机器人”的抓取流量中，超过50%用于重新获取并未变化的页面。若能通过信号告知爬虫“这里没有变化”，爬虫就可以跳过访问，降低AI公司的计算成本，也减少网站所有者承担的服务器请求成本。

Cloudflare强调，该计划仅限于搜索用途，不共享内容，也不用于训练基础模型。公司计划发布研究结果，并在今年晚些时候更广泛地提供相关能力。

Cloudflare此前推出过“按抓取付费”模式，让出版者可以向AI公司收取抓取内容的费用。但它也承认，抓取次数并不能准确衡量内容价值。

一个网页可能只被抓取一次，却在数千个AI答案中被引用；也可能被反复抓取，却几乎没有实际使用。因此，Cloudflare正在探索将“按抓取付费”发展为“按使用付费”。

Cloudflare表示，正在与Ceramic.ai、You.com等AI公司开展实验，让不同AI服务商能够把自己的支付模型扩展到Cloudflare网络中的内容所有者。

其中，Ceramic.ai采用一种“按查询付费”模式：当选择加入的出版者内容出现在Ceramic搜索结果中时，出版者可获得补偿。这种设计试图让支付跟随内容实际创造的价值，而不是跟随爬虫抓取次数。

除补偿外，参与Cloudflare与Ceramic项目的内容所有者还可获得新的报告功能，用于答案引擎优化，包括：

You.com则代表另一类模式：代理可以在需要某个特定优质内容时按需付费，无需预先承诺。

Cloudflare表示，目前正在测试的模型包括按查询付费、按结果付费等，公司希望提供基础设施来支持不同支付方式。

Cloudflare明确表示，这些计划仍是实验，仍需观察其在互联网规模下是否可行。公司认为，AI搜索公司可以获得更新鲜、依据更充分的答案，而让答案成为可能的内容提供者，也应在其内容被使用时获得补偿。

Cloudflare对未来搜索经济的判断是：在代理型互联网中，搜索不再只是一个目的地，而更像一种基础服务。一个代理为了回答一个问题，可能连续搜索多次。此时，真正重要的计量单位未必是抓取或点击，而是最终产生的结果。

因此，围绕结果定价，并向促成结果的内容生产者付费，可能成为网页内容生态继续运转的一种方向。

这篇文章的核心并不是简单反对AI搜索，而是试图提出一种新的平衡：

随着AI搜索和代理访问成为更常见的入口，网页内容的发现机制、流量分配方式和商业模型都在变化。Cloudflare的方案尚未证明可规模化落地，但它提出了一个值得关注的问题：如果AI答案减少了传统点击，内容生产者应如何继续从开放网页中获得可持续回报？