前沿模型后训练配方：从 RLHF 到多教师蒸馏

概览

这场访谈围绕大模型后训练（post-training）的最新进展展开，重点讨论从早期 RLHF 流程到近年前沿模型配方的变化。访谈嘉宾 Finbarr Timbers 结合近期模型技术报告，讨论了将类似 Olmo 的开放配方推进到前沿水平可能需要的做法。

访谈内容包括：

• Olmo 相关经验与反思
• 后训练配方的历史回顾
• 近年前沿模型配方的变化，例如 MiMo Flash、DeepSeek、GLM、Kimi 等
• 开放式后训练问题讨论
• 大模型竞争中的职业建议

后训练配方的演进

材料中的技术总结认为，后训练配方在最近一年的变化，超过了此前三年的变化幅度。

一个简化的时间线如下：

• 2022—2023：InstructGPT 范式
  典型流程是：监督微调（SFT）→ 奖励模型 → 强化学习。

• 2024：Llama 3、Tülu 3 等开放配方
  开放模型配方逐渐形式化为：SFT → DPO → 带可验证奖励的强化学习。闭源模型则使用更多阶段的 RLHF。

• 2025：DeepSeek R1
  推理强化学习成为核心，大规模 RL 被放到更中心的位置。

• 2026：MiMo Flash V2 等模型配方
  配方开始分裂为多个领域专家模型，再将这些专家能力合并回一个通用模型。

关键新趋势：MOPD

访谈中特别提到 MOPD（Multi-teacher On-Policy Distillation，多教师在策略蒸馏）。这一模式被认为正在出现在 2026 年前沿模型配方中。

其基本流程可以概括为三步：

1. 训练多个领域专家教师模型
   每个教师模型先进行 SFT，再在相关领域上进行 RL。

2. 训练一个通用学生模型
   学生模型通过采样自己的轨迹进行训练，也就是最终的后训练模型。

3. 按领域对齐相关教师输出分布
   在每次 rollout 中，模型逐 token 最小化相对于相关教师输出分布的反向 KL。

材料中提到，MiMo Flash v2 引入了这一模式，DeepSeek V4 与 Nemotron 3 Ultra 将其扩展到超过 10 个教师模型。

为什么会出现 MOPD？

材料给出了几个可能原因：

1. 单一 RL 流程变得昂贵且容易冲突

将数学、代码、智能体等不同能力混在同一次强化学习中，可能会在能力之间产生权衡。某一类能力提升，可能伴随另一类能力受损。

2. 专家模型更容易组织化扩展

针对单一领域进行 SFT 再 RL，是相对成熟、可并行的流程。随着后训练复杂度上升，把不同领域拆分给不同团队或流程进行训练，组织上更容易扩展。

3. 在策略蒸馏逐渐成熟

随着 RLVR 等方向的发展，围绕在策略蒸馏的论文、经验和工程知识不断积累，使多教师蒸馏成为更可操作的方案。

几个历史配方节点

InstructGPT：经典三步法

InstructGPT 的后训练流程通常被视为早期 RLHF 的标准范式：

1. 使用人类示范数据进行 SFT
2. 使用人类偏好比较训练奖励模型
3. 基于奖励模型进行 PPO 强化学习

这一流程奠定了后来许多指令对齐系统的基本结构。

Llama 2：多阶段 RLHF

Llama 2 展示了更复杂的多阶段 RLHF 流程。相比 InstructGPT 的简单三步法，后续模型在数据、偏好建模、安全对齐和多轮训练上引入了更多阶段。

Llama 3、Tülu 3：开放配方更系统化

到 Llama 3、Tülu 3 等阶段，开放社区开始更系统地整理后训练流程。SFT、DPO、可验证奖励强化学习等组件逐渐成为开放模型后训练中的常见模块。

DeepSeek R1：推理 RL 的中心化

DeepSeek R1 之后，推理强化学习的重要性显著提升。材料认为，这一阶段大规模 RL 不再只是后训练中的一个环节，而是开始成为模型能力塑造的中心。

讨论价值

这场访谈的价值在于，它把后训练从单一流程重新拆解为一组正在演化的工程范式：

• 早期是围绕人类偏好构建的 RLHF 管线；
• 后来开放社区将 SFT、DPO、RLVR 等模块化；
• 最新趋势则是通过多个专家教师模型，再蒸馏回一个通用学生模型。

对于关注开源大模型训练、RLHF、推理模型和模型对齐的读者，这些变化提供了一个观察前沿模型训练方法的框架。