一次辞职如何点燃 AI 风险争论

一场“看似普通”的辞职为何引爆舆论

随着 AI 能力增强，越来越多原本不关注技术细节的人开始认真看待 AI 安全问题。但外界最终接受的是哪一种风险叙事，并不是行业内能提前预测的。近期，一名 AI 研究员因安全风险辞职的事件，迅速把“AI 可能导致大规模灭绝”等极端风险观点推向更广泛公众视野。

作者认为，过去多年里，AI 风险讨论像在潮湿地面上点火：很多人不断提出警告，但多数只在小圈子里短暂燃烧，很快熄灭。到了今年，随着一系列事件和技术突破提高了公众对 AI 的关注度，讨论环境发生变化：更多非行业人士开始意识到“也许我该关心 AI”。

在这种背景下，恐惧成为最容易传播的叙事。一次原本可能被视为“又一位研究员因安全担忧离职”的事件，遇上已经升温的舆论环境，便迅速扩散。

作者认为，即便估计“人类完全灭绝”的概率没有太大意义，AI 仍然可能带来现实伤害。例如：

作者明确表示，自己认为“完全灭绝”的概率低到不值得作为主要议题讨论，但 AI 导致灾难性事件的可能性值得严肃辩论。同时，也不应因为尚未出现相关灾难，就把整个 AI 风险讨论一概否定。

事件中的研究员 Jacob Coxon 被描述为出于真诚和善意行动。作者提到，一些了解他的人表达了支持，这有助于理解其辞职动机。

与此同时，部分 AI 圈层开始从账号信息、个人背景等角度对他进行指责。作者认为，这种做法无助于讨论。许多前沿 AI 实验室员工确实持有类似担忧，虽然未必是多数，但构成了一个相当大的群体。

作者指出，尤其在部分大型前沿实验室中，员工对 AI 进展和风险的讨论方式可能显得与外部世界脱节。作者并未将责任归咎于个人，而是认为在高度竞争、使命感强烈的组织环境中，人的判断容易被环境塑造。

这种文化氛围可能影响他们对技术进展的预测，也会外溢到媒体和公共讨论中，使一些 AI 话题变得更加极端或失真。

作者认为，这次事件不像一场事先设计好的大规模政治运动，更像是一次抓住时机的媒体传播。

相关辞职消息在公开发布前已与媒体进行协调。作者推测，当事人可能也提前在 AI 安全倡议相关群组中分享计划，并请求扩散。这种做法在公共议题传播中并不罕见。

随后，一些政治人物和公众人物加入讨论，可能更多是跟随一个正在上升的议题。再叠加同一天其他 AI 安全相关内容出现，整体看起来像一场执行良好的协调传播。但作者强调，这并不等同于阴谋，也不能直接等同于特定政治结构中的监管俘获策略。

关键在于：似乎没有人，包括当事人和其他谈论极端风险的人，预料到这件事会如此迅速传播。

围绕递归自我改进（RSI）的常见论证大致是：

作者认为，这种观点低估了人类在模型构建、组织资源分配、工程决策等方面仍然存在的瓶颈。

作者提出另一种看法：AI 的能力长期呈现“参差不齐”的特征。模型可能在数学、软件工程等目标明确的任务上表现超人，但在直觉、创造力和某些推理方式上仍存在巨大限制。

随着 AI 智能体辅助科研，行业会更快找到 AI 真正超人的领域，且这些领域可能不止研究数学。但作者认为，这并不意味着当前大语言模型方法的限制会被全面解决。

作者还指出，许多最早押注 AI 进展的研究者过去多次判断正确，这一点不应被低估。但过去预测正确，并不保证对下一阶段的预测同样正确。

在作者看来，递归自我改进的核心，是把更多算力投入到“模型研发流程”本身，而不仅是单次训练运行。它确实带来收益，但预期回报可能没有一些研究者想象得那么高。

一些人担心 RSI 会让 AI 进展进入指数增长，使技术难以监控，并带来失控模型和新型风险，这通常被称为“快速起飞”。作者认为，目前尚未看到足以大幅降低模型规模和成本、并持续加速实验效率的叠加式效率提升。

作者认为，短期内更现实的风险，可能不是抽象的灭绝叙事，而是前沿实验室没有足够重视安全基础设施。

在此前一些安全事件中，模型异常行为可能持续数月才被充分识别；部分入侵事件也可能在数周后才被发现。作者认为，这说明前沿实验室对模型行为的监控和响应速度可能不足。

造成这种问题的原因包括：

作者承认，一些实验室可能投入大量资源理解和缓解这些问题，甚至推迟模型发布以提高安全性。但他仍担心，商业压力会削弱长期持续谨慎的可能性。

作者总体判断，这次事件对 AI 生态并不是好事。它让 AI 社区可接受的观点更接近两极：

作者认为，当前真正困难的是维持一种中间立场：承认 AI 存在严重风险，但不把重点放在人类灭绝叙事上。

以网络安全为例，AI 模型在非预期方向上探索网络空间，可能正在成为一种新的常态。对实验室而言，竞争压力会推动更快部署；对社会而言，安全治理却需要更清晰、更具体的风险讨论。

这场辞职之所以引发“野火”，并不只是因为个体行动本身，而是因为整个 AI 讨论环境已经干燥、升温，等待一个足够简单、足够恐惧、足够容易传播的叙事。