AGI 不能只靠多模态拼接

生成式 AI 的近期成功让一些人相信，通用人工智能（AGI）已经近在眼前。这些模型看起来捕捉到了人类智能的某些外在特征，却也违背了我们对智能最基本的直觉：它们的出现并不是因为研究者找到了关于智能问题的深思熟虑的答案，而是因为它们能够在既有硬件上有效扩展。

在规模化带来的成果诱惑下，一些人开始相信：继续扩大模型、数据和模态，就能走向 AGI。多模态路线是其中最典型的代表——通过大规模模块化网络，将文本、图像、音频、视频等模态组合起来，使系统看起来具有“通用性”。

但这种策略在短期内很可能无法产生人类水平的 AGI，尤其无法胜任传感运动推理、运动规划、社会协作等任务。与其把不同模态拼接成一个补丁式的 AGI，不如把具身性以及与环境的互动放在智能研究的中心位置，并将“模态处理”视为从这些基础能力中涌现出来的现象。

AGI 不能脱离物理世界

如果一种 AGI 被定义为“通用”，那么它就不能只在抽象符号或语言任务中表现良好。完整的 AGI 定义至少应包含解决物理现实问题的能力，例如修车、解开绳结、准备食物等。

这些问题并不只是符号操作问题。它们需要一种扎根于物理世界模型的智能：理解物体、空间、力、运动、因果关系，以及行动如何改变环境。

因此，脱离身体和环境的 AGI 定义会排除许多关键问题空间，而这些问题恰恰是我们期待真正 AGI 能够处理的。

大语言模型是在理解世界，还是在拟合符号？

大语言模型最令人震惊之处在于：仅通过“预测下一个 token”的训练目标，它们就能表现出某种类似人类的世界理解能力。它们从未像人一样感知世界，却能回答大量关于世界的问题。

这引发了一个重要争论：大语言模型是否通过语言学习到了某种世界模型？支持者认为，模型在基准测试中的表现、不同大模型内部表征的趋同，以及“语言反映现实结构”的观点，都说明语言模型可能在预测 token 的过程中归纳出了世界结构。

但这个解释可能过于乐观。更谨慎的看法是：大语言模型学到的未必是世界模型，而可能是一套庞大、复杂、难以直观理解的启发式规则，用来更好地预测符号序列。

奥赛罗例子为何不能简单推广

常被用来支持“语言模型能学到世界模型”的例子，是研究者训练模型预测奥赛罗棋局中的合法落子序列，并发现可以从模型隐藏状态中推断棋盘状态。

这个结果很有趣，但它不能轻易推广到自然语言和物理世界。

奥赛罗棋步本身可以严格推出完整棋盘状态。换言之，棋局是一个符号系统，物理棋子只是人类方便操作的实现方式。即使只用纸笔，也可以完整进行一盘奥赛罗。

但扫地、洗碗、开车并不是这样的问题。它们不能只靠纸笔上的符号推演完成。要解决这些任务，系统必须具备超出语言描述之外的物理世界概念。

换句话说，许多现实世界问题无法被完整地表示为符号系统，也无法仅通过符号操作解决。

高分预测不等于理解生成机制

还有研究与分析指出，生成模型可以在序列预测任务上取得很高成绩，却没有真正学到产生这些序列的世界机制。模型可能只是学会了大量特定、偶然、局部有效的启发式规则。

例如，有分析指出，OthelloGPT 可能学到类似这样的规则：“如果输入序列中 B4 没有在 A4 之前出现，那么 B4 就是空的。”这类规则有助于预测训练数据中的模式，却不一定反映奥赛罗规则本身的完整结构。

这提示我们：一个模型能预测下一个状态，并不意味着它理解了状态背后的世界。如果某个任务可以用比世界模型更容易学习的捷径完成，模型很可能会选择那条捷径。

这也是“预测下一个 token”目标的核心局限：它只要求保留对下一个 token 有帮助的信息，并不要求系统形成真实、可操作、可泛化的世界理解。

“世界模型”一词需要谨慎使用

如果把“预测早期符号如何影响后续符号”的能力，直接等同于人类通过感知形成的世界模型，就会滥用“世界模型”这一概念。

真正的世界模型应当能够根据一段物理状态历史预测物理世界的下一状态。类似能力已被用于多个 AI 子领域，例如基于模型的强化学习、机器人任务与运动规划、因果世界建模、计算机视觉等。

大语言模型在回答“某个物体是否比面包盒更大”这类问题时，并不是在内部运行物理仿真。更可能的情况是：它们通过海量文本记忆和抽象规则，掌握了符号行为的统计结构。

这更像是某种“句法模型”，而不是扎根现实的世界模型。

语言理解不只是句法

为了理解这一点，可以区分语言中的三个层面：

• 句法：研究词语如何按照语法类别组合成句子，例如词性、短语结构和句法树。
• 语义：关注句子的字面意义，例如“我觉得冷”表达的是说话者正在经历寒冷。
• 语用：关注物理环境、对话上下文和说话者意图如何影响语言理解。例如，当别人说“我觉得冷”时，你可能会意识到应该关上开着的窗户。

人类语言理解来自这些能力的融合。一个句子可以句法正确却语义荒谬，例如“冰箱在苹果里面”。从句法上看，“冰箱”和“苹果”都是名词短语，句子结构没有明显问题。但人类会立刻意识到其中的语义错误，因为我们知道冰箱通常比苹果大，不可能装进苹果里。

问题在于：如果一个系统从未感知过真实世界，它如何判断这句话不合理？

一种可能做法是把语义信息编码进句法层面：为“苹果”“冰箱”等词创建大量特殊规则，从而避免某些语义错误。只要语料足够大，模型确实可能学到很多类似规则。

但这并不等于理解语义。它只是把世界知识压缩成大量语言模式和符号规则，而不是通过与世界互动形成可操作的概念。

多模态拼接不等于具身智能

多模态模型通过整合文本、图像、音频、视频等输入，确实能获得比纯文本模型更丰富的信息。但问题在于：模态并不等同于世界。

把图像编码器、语音编码器、文本模型和动作模块拼接起来，并不必然产生能在现实世界中行动、试错、规划和协作的智能。

真正的挑战不是让模型“看起来”理解多个模态，而是让智能系统以身体、行动和环境交互为基础，形成对世界的稳定理解。物理问题、社会互动和长期行动规划都要求系统能够在世界中定位自身，并理解行为后果。

因此，AGI 的关键不应是继续把模态越拼越多，而是重新思考智能的起点：智能是否应当首先被视为一种嵌入环境、通过行动形成理解的能力。

结语

当前生成式 AI 的成功主要来自规模化，而规模化多模态路线可能制造出越来越强的表面通用性。但如果智能缺乏具身经验、物理世界理解和环境交互，它仍可能停留在符号模式匹配层面。

真正的 AGI 不能只是在语言、图像和音频之间流畅转换。它还必须能够面对现实世界中的物体、行动、约束、因果与他者，并在其中进行有效推理和协调。