AI会快速进步,但未必走向通用超级智能

Interconnects AI15 天前

核心观点

一些顶尖产业研究者认为,几年内 AI 就会在他们自己的工作上超过他们。作者对此保持怀疑,并给出一个解释:研究者们看到的是模型基础设施和工程能力的巨大加速,而这并不等同于模型性质本身发生根本变化。

作者同意,未来几年模型很可能成为“超人级的分布式 GPU 工程师”。这会让实验、调参和模型方案探索变得容易得多,但未必会让模型在本质上变成完全不同的东西。

AI研究正在重新变得“更像研究”

Ilya Sutskever 曾提出 AI 进入“研究时代”的说法。作者认为,从某种意义上看,这一判断来得很早,但方向并不奇怪:有了代码智能体之后,研究确实比过去容易了。

这种变化意味着,软件领域可能进入一个“好想法比好执行更有价值”的阶段。过去几年,最优秀的 AI 研究者往往需要同时具备提出想法、实现想法并在复杂基础设施中扩展它们的能力。但接下来几年,工程瓶颈可能会快速下降,研究工作会再次更偏向想法本身。

作者并不认为必须接受“快速起飞”或递归自我改进的叙事,才能看到这一点。更稳妥的表述是:AI 辅助下的大规模并行语言模型研究,会显著改变 AI 领域的工作方式。

近期开源点:推理与训练栈的可优化性

AI 训练和推理栈中,有很多环节是高度可验证、可优化的。

训练侧的指标包括:

  • 每张 GPU 每秒处理多少 token;
  • 训练速度;
  • 不同架构和数据选择带来的效率差异。

推理侧的指标包括:

  • 每个 prompt 消耗多少 token;
  • 每个 token 消耗多少 FLOPs;
  • 每次回答的实际成本。

这些指标都很适合被系统性优化。作者预计,几年内 AI 智能体会帮助端到端优化整个过程,使推理能力更接近 GPU 等加速器的底层算力上限。

过去几年,模型服务商已经能在发布某个定价后,通过推理效率优化节省约 10% 到 30% 的服务成本。作者认为,这一趋势会在整个技术栈中复合,未来几年“模型智能的有效成本”可能接近指数级下降,甚至快于近期趋势。

短期红利与长期协同设计

作者认为,效率优化中的低垂果实可能只需要几年时间就能被大量采摘。

更长期的变化,则会来自加速器与模型的协同设计:在 GPU 这种灵活平台之外,专门化硬件与模型架构的共同演化,可能再带来数量级的效率提升。

不过在快速探索阶段,GPU 的灵活性依然重要。因为模型架构搜索空间仍然很大,自动化研究可能会把架构探索作为关键杠杆。作者认为,针对当前这一类模型,预训练研究中的架构选择和数据选择在 2 到 3 年内被自动化,是一个合理预测。

智能体可能触发杰文斯悖论

效率提升不一定会减少总需求。相反,作者预计智能体模型会触发杰文斯悖论:单位成本下降后,总使用量会继续上升。

当前行业的瓶颈之一,并不是单纯模型能力不够,而是还没有充分弄清楚如何更好地组织、呈现和交付智能体能力。Meta 的 Muse 智能体被作者视为一个早期信号:未来可能会出现更多面向不同用户群体和目标场景的类似体验。

这类价值并不一定来自继续推动模型性能前沿,而是来自更好地理解智能体如何工作,并把它们嵌入具体产品和流程。

科学领域:跨子领域连接或将增加

在生物学、化学等科学文献领域,作者预计 AI 模型会带来一个重要阶段:发现大量跨子领域的联系。

AI 模型擅长爬取文献,并在稀疏知识网络中建立连接。而这些网络目前往往由规模较小、彼此很少互动的科学共同体维护。

这可能意味着一个新的科学发现时代,也可能只是加速原本已经在推进的科学进程。作者没有断言一定会出现突破性结果,而是强调两者之间存在一条微妙界线。

强化学习环境仍有大量低垂果实

另一个产业级低垂果实,是提升强化学习环境的整体质量。

作者提到,现在已经出现了不少 RL 数据公司,其中一些收入达到 1 亿美元甚至 10 亿美元级别,数量超出他的预期。但他认为,这个领域的平均产出质量相当低。许多研究者也同意,他们购买的很多数据质量并不好。

与此同时,领先实验室仍然能从购买这些数据中看到明确回报。作者认为,许多强化学习环境的粗糙问题是可以修复的。

结论:进步会很快,但方向未必是通用超级智能

作者的总体判断是:AI 会出现快速进步,但主要来自工程、基础设施、推理效率、自动化实验和智能体交付方式的改善。

这些变化会显著降低智能成本,推动技术向经济体系扩散,也会使数学、编码和部分可验证任务继续快速进步。

但作者并不认为,这必然意味着模型会很快获得广泛、经济上有价值的超人能力,更不必然意味着通用超级智能即将到来。短期更可信的路线,是用现有工具扩展推理时计算,并把 AI 用于加速 AI 工程本身。

评论

请登录后发表观点

暂无数据