前沿模型需要什么数据?拆解 Handshake 的三类评测场景

Latent Space7 天前

前沿模型的能力短板,往往要放进具体工作流程才能看清。Handshake 团队展示的金融、生物与安全评测案例,提供了三个观察窗口:模型是否能把知识用于操作、是否能准确理解专业图像,以及执行过程是否符合要求。

一、金融:知道规则,不等于能在代码里用对

ATLAS-Finance 为智能体构建了一个模拟银行环境。任务不是回答一道独立的金融问题,而是完成一段工作流程:

  1. 从银行邮件中找到任务;
  2. 判断哪些文件决定交易的处理方式;
  3. 使用相关材料建立财务模型;
  4. 交付 Excel 工作簿,并接受评估。

在演示的 Project Falcon 中,客户邮件提到了既有商誉。智能体将这个数值带入 Python 并执行了减法,但这一处理出现了错误。

Collin Schweiker 指出,如果直接询问相关税务处理,模型能够解释规则;问题出在实际执行时,它没有识别出:眼前这行代码,正是需要应用该规则的位置。

这个案例呈现的并非单纯的知识缺失,而是知识与具体操作之间的脱节。评测也因此需要检查交付的工作簿,不能只看模型能否口头解释概念。

二、生物:专业图像理解,也要看模型多选了什么

VIALS 是面向科研图像解读的基准,涵盖科研人员实际工作中使用的图像。展示任务包括凝胶条带识读和脑组织图像判断。

在脑肿瘤组织任务中,Nick Magazine 展示了九张切片,要求找出血管坏死最严重的两张:

  • 专家选择:H、I;
  • 模型选择:H、I、G。

模型选中了专家认定的两张,但又额外选择了 G,因此不能视为完全答对。

演示中的一个重点,是专家如何解释组织中“缺失了什么”。专业图像判断不仅涉及识别可见结构,也涉及判断应有结构是否消失。相比只展示一个总分,这种逐项解释更能呈现模型与专家判断的差异。

团队还介绍了利用中间图像描述来训练和评估视觉语言模型的方法,但现有材料未提供足以量化其改进幅度的实验结果。

三、安全与对齐:最终回复之外,还要检查行动轨迹

在模拟文件访问任务中,Steve Kelling 和 Nishant Ranka 关注的不只是智能体最后说了什么,还包括它在环境中实际做了什么。

评估人员可以检查:

  • 智能体读取了哪些文件;
  • 是否检查了文件副本;
  • 随后如何处理 Shell 命令历史记录。

只看最终回复的文字记录,会遗漏其中大部分行为信息。 对能够访问文件、调用工具的智能体而言,执行轨迹是评估的重要对象,不能由一句最终答复替代。

这三类案例值得关注什么?

这些演示共同呈现了专业任务评测的几个关注点:

  • 任务有上下文。 邮件、文件和专业图像共同决定正确操作,而非只有一道孤立题目。
  • 结果需要专业判断。 工作簿是否正确、组织图像是否选对,都需要领域知识参与评估。
  • 过程同样重要。 财务代码中的规则应用、文件访问和工具调用,都可能暴露最终答案无法体现的问题。

这些案例展示了具体任务中的失误与评估方式,但不足以据此判断所有前沿模型的整体水平,也不能直接推出某种训练方法的普遍效果。更值得讨论的是:在各自的业务场景里,哪些错误必须通过完整工作流才能被发现?

评论

请登录后发表观点

暂无数据