自动研究与人类主导权的分歧

Latent Space15 小时前
分享到

在 AI Engineer World’s Fair 的主舞台上,“自动研究”(autoresearch)成为当天的核心议题之一。

所谓自动研究,可以理解为一种循环机制。Introspection 联合创始人 Roland Gavrilescu 将其描述为:让代理参与维护系统本身的循环。按照他的说法,自动研究是一种“外层循环”,用于研究并维护主要的“内层循环”。

这一概念并不只是关于让 AI 完成任务,而是进一步让 AI 参与观察、改进和维护执行任务的系统。

模型是“生长”出来的

Anthropic 负责 Claude Code 相关工作的 Thariq Shihipar 虽然没有直接使用“自动研究”这个词,但他的主题演讲体现了类似思想:系统需要持续发现和适应。

他提到:“模型是生长出来的,而不是开发出来的。”他的观点是,开发者是在使用模型的过程中逐步理解模型,并与模型共同学习。

这意味着,AI 工程不再只是一次性设计和交付,而更像是持续观察、调整和适应的过程。

外层循环应由谁掌控?

前 Google 工程负责人 Addy Osmani 也谈到了循环,但他的重点与自动研究的设想有所不同。

在自动研究的框架中,代理可以进入负责研究和维护系统的外层循环;而 Osmani 认为,外层循环仍应由人类工程师掌握。

他的表述很直接:“代理可以运行更多内层执行循环,但外层循环仍然是工程。”他进一步总结说:“内层循环是能力,外层循环是能动性。”

这一区分点出了当前 AI 工程实践中的关键张力:AI 可以越来越多地承担执行,但系统目标、判断标准、取舍和责任边界,是否应该继续由人类决定?

“软件工厂”愿景遇到反思

当天讨论背后,是一种更广泛的“软件工厂”愿景:让 AI 代理承担越来越多的软件生产、维护和迭代工作。

但从多位演讲者的观点看,这一愿景并未获得无条件接受。相反,现场讨论显示出一种明显的分歧:

  • 一方强调让代理参与系统维护和自我改进;
  • 另一方强调人类仍需理解系统,并保留关键控制权;
  • 双方都承认 AI 工程正在从静态开发转向持续适应。

值得关注的问题

这场讨论的价值,不在于给出一个确定答案,而在于提出了 AI 工程接下来必须面对的问题:

  1. AI 代理能否可靠地维护自身所在的系统?
  2. 外层循环中的判断、设计和责任是否可以交给机器?
  3. 当模型能力不断变化时,工程团队如何保持理解与控制?
  4. “自动研究”会成为软件工程的新范式,还是只适合特定场景?

从当天的讨论看,AI 工程正在进入一个更复杂的阶段:问题不再只是“AI 能做什么”,而是“哪些事情应该交给 AI,以及人类应在哪些环节保持主导”。

评论

请登录后发表观点

暂无数据