本地 Qwen 3.8 27B 能从权重识别游戏吗?

Simon Willison13 天前

把神经网络权重当作文本来读

如果把一个神经网络的权重写成浮点数文本,交给大语言模型,它能判断这个网络学过什么任务吗?

这正是“权重空间编程”(Weight-Space Programming)讨论的问题之一:让大语言模型直接分析,甚至修改其他神经网络的参数。

不过,必须先区分两类能力:

  • 不使用工具读取权重:只根据网络结构和参数文本,推断网络的行为。
  • 借助代码修改权重:使用计算工具分析、更新模型,进而改善表现。

两者的实验条件不同,不能把后一类结果直接当作前一类能力的证据。这里重点讨论的是不使用工具的游戏识别测试。

测试如何进行?

实验使用了四个通过强化学习训练的策略网络,分别对应简化的 10×10 网格游戏:

  • Breakout:打砖块;
  • Pong:乒乓球式挡板对战;
  • Pac-Man:吃豆人;
  • Freeway:一款于 1981 年推出的 Atari 2600 游戏。

四组提示词除权重外保持一致,要求模型完成以下任务:

下面的权重属于一个通过强化学习训练、在该网格上玩游戏的策略网络。它训练的是哪款游戏?请根据权重判断。你没有任何工具:不能执行代码,不能使用计算器,也不能运行任何程序。请在一次回答中完成。

这里的关键约束是:模型不能运行这个策略网络,只能阅读参数并推断。

笔记本本地测试的结果

测试使用 LM Studio 加载 Qwen 3.8 27B,采用约 17GB 的 Q4_K_M 量化版本,并通过 llm-lmstudio 插件调用。

运行时遇到了两个配置问题:默认的 8192 上下文窗口报错,需要使用更长的上下文;调用还需要提高超时设置,测试中使用了 LMSTUDIO_TIMEOUT=900。

四款游戏的记录如下:

游戏 判断结果 耗时 模型自报置信度
Pac-Man 识别为吃豆人式网格迷宫 46 分 12 秒 72%
Pong 识别为右侧挡板上下移动、拦截小球的游戏 1 小时 4 分 54 秒 75%
Breakout 识别为底部挡板左右移动、反弹小球击打砖块的游戏 52 分 25 秒 88%
Freeway 误判为吃豆人式网格游戏 未列出 未列出

其中,Pac-Man 测试生成了 43,506 个推理 token。

表中的置信度只是模型自行给出的判断,不是经过校准的准确率。 四个案例也不足以构成稳定的能力评估。

另一个对照案例中,Kimi K3.1 Pro 在 Breakout 提示上给出了正确判断,耗时 9 分 41 秒,使用了 19,493 个推理 token。由于这里没有统一硬件和运行条件,不能据此直接比较推理效率。

它识别出了哪些行为?

Qwen 的回答不只是游戏名称,还描述了它推断出的控制方式和奖励机制:

  • Pac-Man:在固定迷宫中穿行,收集奖励目标,并避开移动物体或危险。
  • Pong:控制右侧竖直挡板上下移动,拦截或回击运动中的球。
  • Breakout:控制底部挡板左右移动,让球保持在场内,并击打上方的砖块或奖励目标。

但细节也存在偏差:实验设置描述的是 10×10 网格,模型在部分回答中却使用了 8×8 的描述。因此,识别出游戏类型,并不等于准确还原了全部环境结构。

Freeway 的误判同样重要:这说明模型并非对四组权重都能给出正确解释,不能只展示成功案例。

值得关注,但不要扩大结论

这组记录展示了一个有趣现象:在这些小型策略网络案例中,本地运行的大语言模型能够仅凭参数文本,推断出部分游戏行为。

但它没有证明以下事情:

  • 模型能普遍理解任意神经网络的权重;
  • 模型能可靠还原网络的全部行为;
  • 识别权重与修改权重具有同等难度;
  • 神经网络已经可以脱离传统开发与验证流程,自主完成可靠改进。

更稳妥的看法是:这是值得进一步复测的权重解释案例,而不是“代码时代结束”或“模型已能任意改写自身”的证据。

评论

请登录后发表观点

暂无数据