LLM 聊天机器人缺少什么：目标感

为什么“有目标的对话”重要

LLM 聊天机器人的能力几乎每月都在提升，常见进展通常通过 MMLU、HumanEval、MATH 等基准来衡量。但随着这些指标逐渐接近饱和，一个问题变得更突出：用户体验是否也在同步提升？

如果未来更可能是“人类与 AI 协作”，而不是 AI 完全替代人类，那么现有对话系统的评测方式可能并不充分。原因在于，很多评测仍是非交互式的：模型被要求一次性回答问题，而真实协作往往发生在多轮交流中。

所谓“有目标的对话”，指的是围绕某个目标或意图展开的多轮用户—聊天机器人交流。这个目标可以很宽泛，例如“有帮助且无害”；也可以很具体，例如旅行规划助手、心理治疗辅助工具、客服机器人等。

以旅行规划为例，用户偏好、同行者偏好以及现实条件往往非常复杂。要求用户一次性提供全部信息，成本很高；但如果允许多轮来回沟通，双方就可以逐步交换最重要的信息。类似地，谈判理论也说明，反复协商往往比“一口价、接受或拒绝”的方式更容易达成更好的结果。

语言交流并不只是信息传递。Terry Winograd 曾提出，所有语言使用都可以被看作是在听者那里激活某种过程。换句话说，每一次发言都可以被理解为一种有意图的行动：它试图改变对方对世界的理解。若双方都有更复杂、甚至隐藏的目标，那么有目标的对话就可以被视为一种协作游戏：聊天机器人的任务，是帮助人类实现特定目标。

这不仅是学术问题

“目标导向对话”听起来像是偏学术的复杂概念，但它也直接影响产品化场景。

例如代码生成。现有代码评测多关注单次生成能力，但若希望 AI 自动解决普通 GitHub issue，仅靠一次性输出通常并不现实。AI 需要与软件工程师来回沟通，确认需求、索取缺失文档和数据，甚至在必要时请求人类协助。这更接近“结对编程”：AI 与人共同推进问题解决，目标是在不显著增加人力成本的情况下减少代码缺陷。

多轮交互还带来新的可能性。当互动长期持续，并建立记忆后，聊天机器人可以逐步更新用户画像，适应用户偏好。设想一个个人助理，它通过日常交互了解你的偏好和意图，自动阅读你关注的信息源，并按你的兴趣生成晨间摘要；它还可以帮你起草邮件，并根据你的修改持续改进。

现实中的人际互动很少发生在“完全陌生的人之间一次说完”。人类通常通过多轮对话逐步调整表达、理解和行动。但这似乎与现代 LLM 的核心机制——预测下一个 token——形成了某种张力。

对话系统是如何形成的

早期对话系统可以追溯到 20 世纪 70 年代。Roger Schank 提出过“餐厅脚本”：把一次典型的餐厅体验拆解为进入、点餐、用餐、付款等步骤，每一步都有相应的话语模式。ELIZA 和 PARRY 也是早期代表性对话系统，分别模拟罗杰斯式心理治疗师和偏执型个体。

相比之下，今天基于 LLM 的对话系统看起来更“神秘”：一个通过预测下一个 token 训练出来的模型，为什么能够进行对话？大致可以从三个阶段理解。

1. 预训练

预训练阶段，序列模型在巨大的互联网文本语料上学习预测下一个 token。语料组成因模型而异，但通常包括新闻、书籍、代码，以及少量来自论坛或问答社区的类对话数据。

关键在于：预训练语料并不天然遵循现代聊天机器人的对话格式。

2. 引入对话格式

序列模型处理的是字符串，而对话历史更自然的表示方式是结构化信息，例如系统提示、用户消息、助手回复等。因此，需要一种格式把结构化对话转换成模型可处理的文本。

不同模型的格式不同，但通常会用特殊标记包裹系统提示或指令，以期模型对这些内容分配更多注意力。系统提示在让语言模型适配下游应用、约束行为和提高安全性方面很重要。

但这里有一个问题：这种对话格式在很大程度上是人为引入的，预训练语料本身并不一定遵循这种格式。

3. RLHF 微调

在人类反馈强化学习阶段，聊天机器人会因为生成期望回答而获得奖励，或因为生成不期望回答而受到惩罚。值得注意的是，这通常是模型第一次在训练数据中系统性地接触到这种对话格式。

不过，RLHF 只是微调步骤。与预训练语料相比，RLHF 数据规模小得多，并且训练过程还会受到 KL 惩罚、LoRA 等定向调参方式影响。用 Yann LeCun 的类比来说，预训练像蛋糕主体，而 RLHF 更像顶部的小樱桃。

现有对话系统有多稳定

对话系统最基本的要求之一，是能持续围绕给定任务工作。人类对话会跑题，模型也会。那么，当前系统在多轮交流中能否稳定遵循任务？

目前，系统提示是控制语言模型行为的主要方法。但研究显示，在对抗性条件下，LLM 遵循指令的能力可能较脆弱。很多用户也可能有类似体验：新开一个聊天窗口时，模型通常能较好遵循设定；但经过多轮对话后，它可能逐渐偏离角色，甚至不再遵守最初的系统提示。

单轮指令遵循已经有不少评测，例如 MT-Bench、Alpaca-Eval。但多轮交互评测更困难，因为研究者很难预先知道模型会说什么，也难以提前准备固定回复。

一种测试思路是，让两个带有系统提示的语言模型智能体长时间对话，形成多轮主干对话。随后在每一轮分叉，提出与系统提示直接相关的探测问题，并用对应的评判函数衡量模型表现。数据集只需要提供三元组：系统提示、探测问题和评判函数。

在相关实验中，研究者对不同场景和系统提示组合取平均，得到模型在多轮对话中的“指令稳定性”曲线。实验涉及 LLaMA2-chat-70B 和 gpt-3.5-turbo-16k，结果显示，多轮对话中的指令稳定性问题值得警惕。

这不仅增加了提示工程难度，也带来安全隐患。当聊天机器人逐渐偏离包含安全约束的系统提示时，它可能更容易受到越狱攻击影响，也更容易产生幻觉。

现有基准的盲区

当前许多 LLM 评测仍偏向“单次输入—单次输出”。这种方式适合衡量模型在知识问答、数学、代码生成等任务上的静态能力，但难以覆盖真实协作中的关键能力：

• 是否能在多轮对话中保持目标一致；
• 是否能主动澄清需求和补全信息；
• 是否能根据用户反馈调整策略；
• 是否能长期记住并适应用户偏好；
• 是否能在安全约束下持续稳定行动。

如果未来的 AI 助手要承担更复杂的协作任务，仅优化单轮 benchmark 分数可能不够。真正有用的聊天机器人，不只是“回答得更准”，还需要在长期、多轮、目标导向的交流中持续可靠地帮助用户。

小结

LLM 聊天机器人的能力提升不应只由静态基准衡量。真实人机协作更接近多轮、有目标、需要持续调整的对话过程。现有系统提示和 RLHF 机制虽然能让模型表现得像聊天助手，但在长对话中的目标保持、指令稳定性和安全性仍存在挑战。

未来的对话系统评测，可能需要从“模型一次能答对什么”，进一步转向“模型能否在持续互动中稳定地帮助用户达成目标”。