Cloudflare 创始人年信:AI 代理正在重塑互联网流量与商业规则
Cloudflare 在 16 周年创始人年信中表示,互联网正在经历自 2010 年公司创立以来最剧烈的变化之一。变化的核心来自 AI:一方面,AI 工具降低了创造门槛,让更多人能够构建网站和应用;另一方面,AI 代理和爬虫正在快速改变网络流量结构、内容分发方式以及商业发现机制。
Web 增长重新加速
信中提到,从 2012 年到 2025 年,Web 的增长一度进入平台期,按某些指标甚至有所萎缩。但在 2025 年中期,新网站数量出现明显增长。
外界常将这一变化归因于 AI 生成的低质量内容,但 Cloudflare 认为,这并不是其观察到的主要情况。它更强调另一面:AI 让一批过去缺乏编程能力的人,也能借助所谓的 “vibe coding” 工具,把想法变成应用和网站。
Cloudflare 称,目前有超过 700 万开发者在其开发者平台上构建项目。年信中将这一趋势描述为:技术让更多人能够表达创造力,学生、创业者和个人开发者可以更快地做出面向现实问题的产品。
自动化流量已提前超过人类流量
更大的变化发生在互联网使用者本身。
Cloudflare 原本预测,自动化流量将在 2027 年下半年超过人类流量。但由于 AI 代理和 AI 爬虫的兴起,这一时间点被提前到 2026 年 5 月。
信中进一步表示,如果当前趋势持续,未来五年内,自动化流量可能达到人类流量的 1000 倍。Cloudflare 强调,这并不是因为人类流量会下降,而是因为来自代理的流量正在快速增长。
AI 代理的能力已经很直观:用户可以要求代理寻找航班、承包商或更便宜的手机套餐。代理会在短时间内阅读大量网页,并给出答案。它替用户完成了大量搜索、比较和筛选工作。
“999 家餐厅”的成本问题
Cloudflare 在年信中用餐厅搜索举例说明 AI 代理带来的新问题。
如果用户让 AI 代理推荐午餐地点,代理可能会浏览附近 1000 家餐厅的菜单,最后只推荐其中一家。被推荐的餐厅可能获得生意,但其他 999 家餐厅同样承担了向代理提供页面和数据的成本,却没有获得回报。
这带来一种“公地悲剧”式风险:使用代理的人享受了便利,但代理访问大量网站造成的成本,并不一定由受益者承担。因此,系统缺少天然的约束机制。
AI 代理可能让新进入者更难被发现
信中还指出,AI 降低了构建产品的门槛,但 AI 代理也可能提高被发现的门槛。
过去,小企业可能依靠情感连接、地理便利或社区关系获得客户。例如,一家熟悉顾客名字的熟食店,或者一家恰好位于用户回家路上的本地商店,即使价格和选择不是最优,也可能赢得生意。
但 AI 代理不会在意店员是否记得顾客的名字,也不会因为通勤路线经过某家店而选择它。代理通常会根据可获得的信息做出推荐,而信息最充分的,往往是存在时间更长、数据更多、曝光更高的商家。
Cloudflare 因此担心,随着代理处理越来越多的商业决策,新进入者可能更难突破既有格局。这可能带来更强的市场集中,以及更不活跃的商业生态。
内容与应用如何获得补偿
Cloudflare 表示,过去一年讨论的重点主要是 AI 对出版商的影响;现在,同样的变化正在影响餐厅、熟食店和更广泛的小型商业主体。
年信认为,未来五年最重要的问题之一,是互联网旧有商业模式会被什么取代。
针对爬虫和代理带来的负载问题,Cloudflare 提到两类方向:
- 让爬虫在访问更多网页的同时,只抓取真正发生变化的内容,从而减少对网站的重复访问压力;
- 为上线内容和应用的人提供一种机制,使其在代理使用其内容或服务时能够获得报酬。
Cloudflare 称,其数据表明,合规机器人抓取的内容中,超过一半自上次访问后并没有变化。因此,减少重复抓取被视为降低网站负载的一种方式。
一个更分散的 AI 与 Web 生态
年信最后强调,Cloudflare 希望看到的不是只有少数几家 AI 公司主导未来,而是全球范围内有大量 AI 公司、开发者、内容创作者和新进入者参与其中。
它也明确表示,希望未来的互联网仍然能容纳第一次发布应用的年轻开发者、本地小店,以及可能成长为下一代基础设施公司的新创业者。
这封年信的核心判断可以概括为:AI 代理会显著提升用户获取信息和完成任务的效率,但它也会重新分配互联网中的成本、流量、曝光和收入。如何让网站、创作者、小企业和新进入者在代理时代仍能被发现并获得合理回报,将成为下一阶段互联网生态的重要议题。
