模拟正在接管 AI

今天的核心判断是：AI 训练与评估链条里，越来越多原本由人完成的环节，正在被模型替代。这个变化不是平均发生的，而是一个个关键节点先后翻转。

1. 奖励信号先合成化

最先变化的是“裁判”。先用少量人类偏好训练奖励模型，再让策略去优化模型而不是直接优化人类；随后又出现了模型自我批评、AI 反馈和“模型评模型”的评测方式。到这一步，奖励、批评和评估已经主要由模型承担。

2. 训练数据开始模型生成

下一步是数据本身。小模型可以在大量模型合成的高质量文本上训练，并获得超出参数规模的表现；进一步的做法是用模型重写和改写网页内容，让预训练效率提升。之后，合成数据流水线逐渐工业化，推理轨迹、链式思考等内容也进入常规训练流程。

3. 教师变成模型

蒸馏和模仿训练把“老师”也变成了模型。先是用模型生成的指令、对话和解释去复刻大模型行为，随后又发展出更成熟的蒸馏方法，减少训练与推理之间的不一致。对小模型来说，模型作为教师已经成为默认前提。

4. 课程由模型自己决定

更进一步，模型开始决定下一步学什么。模型写自己的指令集、生成自己的推理轨迹、给自己的输出打分，再据此挑选训练任务。这意味着原本依赖人工经验的课程设计，正在变成模型驱动的自我改进循环。

5. 研究过程也在自动化

最新一步不是辅助写代码，而是自动做研究。系统可以在真实训练设置上修改参数、运行短实验、只保留验证损失变好的改动，并持续迭代。也就是说，实验设计、搜索和筛选，开始由模型参与甚至主导。

结论

这篇文章把趋势概括为一句话：AI 正在从“人类制造智能”转向“模型模拟人类制造智能”。形式上看，结果可能只是“差 10%”，但成本更低、速度更快，足以让整个生产链条重新组织。