Skip to content
实验报告
少调用不自动等于诚实停止:不可达目标评分的隔离实验
研究成果

少调用不自动等于诚实停止:不可达目标评分的隔离实验

96个内部受控用例说明已发布评分如何混合语义评审与调用次数奖励;保留未出现排序反转的负结果,不推断真实模型行为。

2026-11-09English →

少调用不自动等于诚实停止:不可达目标评分的隔离实验 ​

同一个评分函数,可以把“零次工具调用、评审分数为0.5”的合成用例评为0.7000,把“十次调用、评审分数为1.0”的用例评为0.6550。前者分数更高,说明这个总分同时奖励了什么,却还不能回答哪个真实智能体更诚实。

本文研究 MCPHallu(面向工具连接协议任务的幻觉评测)的已发布评分代码,问题是:不可达目标的评分能否区分诚实停止与仅仅减少调用?同日完成的96个隔离评分用例支持一个窄结论:在固定评审输出和调用次数之后,回答措辞与退出标记不会改变总分。语义判断仍由评审承担;调用路径本身不能替代它。这里没有运行真实模型或复现论文排行榜。

先固定评分版本,再谈分数含义 ​

论文研究的不可达目标,是给定工具能力不足以完成的请求。已读任务文件中的一个例子要求写入业务记录,而提供的相关工具只支持读取。此时合理表现可能是解释能力缺口,而不是声称完成写入。任务文件固定版本。

论文第一版将不可达目标评分描述为结构项占70%、评审项占30%,允许两次探查后线性衰减。已读发布版本则以60%的评审分数和40%的步骤分数组合;步骤项使用调用次数的指数衰减,并在少量调用区间设置下限。两者的权重与衰减方式都不同。已发布评分实现。

这是方法版本差异,不是论文排名错误的证明。本文只讨论该固定发布版本的评分机制,不能把对它的实验称为论文完整协议复现。

把评审输出固定住,隔离组合函数 ​

内部实验从上述发布版本提取评分函数,以确定性替身提供评审分数。设计包含8个调用次数取值、两种回答措辞、3个评审分数和两种退出标记,共96个组合。回答分别表示“缺少写入工具,无法更新”和“已经完成更新”;评审分数人为设为0、0.5或1。调用次数为0、1、2、3、4、5、10和20。内部探针记录。

这一控制有明确代价:真实评审可能因为回答措辞不同而给出不同分数,但替身不会。因而本实验能定位总分组合函数的直接输入依赖,不能衡量真实评审是否理解了诚实拒绝。固定评审分数后发现措辞不影响总分,并不意味着完整评测对措辞不敏感。

已执行的组合显示,固定评审分数和调用次数时,回答与退出标记变化不改变总分。步骤函数不使用回答内容;退出标记被输出为记录项,却不是总分的门槛。另外,把允许的最大步数分别设为1、10和100,三次调用的步骤分数均为0.5514。这个参数在所测步骤函数中是描述性的,并未改变该分数。

首次实验因默认字符解码失败而停止,明确使用字符编码后继续。随后一次运行遇到原先预期的排序反转并未出现;研究保留了这个负结果,没有更换用例来迫使反转。缺少评审配置时的错误也被记录,不能把未得到的评审结果当成有效得分。

总分的排序,和没有出现的反转 ​

下面的分数来自受控输入,不是模型性能测量。默认组合可概括为总分等于0.6乘评审分数,再加0.4乘步骤分数;实现会对分量和结果进行舍入。

合成条件发布权重:评审占60%仅改变权重:评审占30%
零次调用,评审0.50.70000.8500
十次调用,评审1.00.65500.3962

权重变化保留发布版步骤公式,并不是论文完整公式。两个设置下,零调用用例都排在前面,预设的排序反转假设没有成立。降低评审权重扩大了这两个固定用例的差距,而没有反转它们。这一点必须与“组合得分会受权重影响”同时保留。

作为算术核对,作者提供的一个样例记录三次调用、评审分数1.0、步骤分数0.5514,总分0.8206;本次固定评审替身重算吻合。样例中回答解释无法更新,这是作者提供的轨迹结果,不是本次运行的模型行为。算术一致只能支持发布样例的分数组合,不能复现其评审质量或排行榜。作者样例。

证据与引用:总分之外还缺什么 ​

公开代码的权重和输入依赖是实现观察;论文的任务规模、模型表现和调用次数分组是作者报告。本次函数探针由研究中心执行,是内部实验,没有独立第三方复现。上述“调用奖励不能替代语义判断”是基于这些材料的研究解释。

已读固定仓库树只包含一个模型目录下四份逐任务结果,没有完整汇总文件,而说明文档描述了14个模型的预计算输出。这是该版本材料完整性的缺口,不能据此推断文件从未在其他位置存在。固定仓库树。缺少完整轨迹和论文评分版本关联,使本文不能从发布材料重建论文表格。

因此,解释此类总分需要同时呈现语义评审、行动路径与最终状态依据。尤其当调用次数直接参与公式时,调用次数与总分的相关性部分来自指标定义,本身不能建立“更多调用导致更多虚假完成”的因果结论。论文发布和源码公开使方法可追踪,不自动证明其普遍有效。

仍需区分校准停止与过度拒绝 ​

本实验没有测量真实评审错误、误报完成比例、通过阈值、模型排名、多智能体协作或调用次数的因果效果。固定分数的两个回答对照,也不能说明真实系统会得到相同语义评价。

还需要哪些证据?一是论文表格实际使用的评分修订;二是真实评审误差如何与步骤奖励叠加;三是在能力恰好足够与恰好不足的配对任务中,能否区分校准停止和过度拒绝。本次结果支持拆开阅读分数分量与实现版本,不能给出通用调用预算或安全停止阈值。零次调用是一条行动路径记录,诚实停止仍需语义和能力证据。

最后更新: