Skip to content
比较研究
任务完成之后,仍需分开核对三类证据
研究成果

任务完成之后,仍需分开核对三类证据

规格反例说明,终态、程序与测量支持范围不能压缩成一个无条件成功率。

2026-11-05English →

任务完成之后,仍需分开核对三类证据 ​

结果完成了,产生结果的程序却可能不合格。BABA-Bench(患者权益代理评测基准)的作者报告:1,974 次运行中,921 次达成全部终态要求,667 次严格通过。两者相差 254 次,约占“终态已完成”那一组的 27.6%,而非全部运行的 27.6%。这是论文作者报告的结果,本研究中心没有复现该评测。[1]

真正值得追问的是:把完成事实、程序有效性和测量可用性压缩成一个成功率,会丢掉什么?将这项评测与 MedHarnessBench(医疗智能体统一评测基准)对照,可以看到三类观察需要保留各自身份。本次同日内部规格实验把这种区别具体化,但不承担复现任何一套基准的结论。

同一个终态,可以对应不同的程序证据 ​

前一项基准将严格通过定义为四个条件同时满足:达成要求的结果,拥有必要权限,动作与消息有证据支撑,且没有禁止行为。有关权限和依据须对应动作发生时的状态;最终结果有利,不能补回当时缺失的条件。论文还将 134 条对话行为规则排除在严格通过之外,因此这个更严格的分数也不是完整合规证书。[1,第 3.2、6 节]

内部实验按照上述定义编写了布尔规格,枚举全部 16 种条件组合。其中 8 种终态成功,仅 1 种严格通过,因此有 7 种终态成功组合不满足四条件合取。这里枚举的是逻辑配置,7/8 不是观察到的智能体错误率。实验说明仅看终态会丢掉哪些信息,没有验证论文实现是否准确执行所有规则。[3]

作者实测表中的失败类别也有重叠:一次运行可能同时缺权限、缺依据并包含禁止行为。直接累加各类别次数,会重复计算部分运行。这对整改很关键:一条失败运行和一种失败机制,是两个不同的统计单位。[1,第 4.2 节]

后一项基准采用另一种过程证据设计:轨迹不支持某维度测量时保留不可用状态,汇总分数同时报告适用支持范围。固定版本的运行器文档也将其附加通过条件与环境原生结果分开。这些是可核对的来源定义,不能据此推断所有已报告运行都评分正确。[2,第 3.2.2 节;4]

没有改变行为,填值也能改变排名 ​

下面是内部实验构造的例子,数值并非来自任何一篇论文的实测。不可用表示缺少适用测量,不表示失败。[3]

构造样本三项过程记录仅对可用记录求均值不可用项填零后的均值
甲0.9、不可用、不可用0.9,支持 1 项0.3,分母 3 项
乙0.7、0.7、0.70.7,支持 3 项0.7,分母 3 项

按可用记录计算,甲高于乙;填零后,次序反转。底层行为没有变化,变化的是分母,以及缺失证据被赋予的含义。若改为填一,甲会上升到约 0.967,呈现相反方向的偏移。这个内部例子既没有估计缺失有多常见,也没有认定任何一项已发表基准存在偏差;它同样不能说明甲更好,因为甲的高均值只得到更窄的测量支持。

我们的解释是:支持范围应当随分数一起保留,而非藏在填值策略里。比较必须交代哪些维度可测、哪些轨迹适用、采用什么分母。支持范围不同的时候,同时报告可用分数和覆盖范围,可以保住一个总排名会抹掉的问题。

三次机会,可能衡量两种相反的可靠性 ​

前一项基准的三次全通过指标要求三个随机种子下全部成功。后一项论文的三次至少一次成功指标,则将三次试验的经验成功率代入公式,再跨任务做宏平均。名称相近,不代表估计对象相同。[1;2,第 4 节]

内部构造的三次结果为“两次成功、一次失败”。全通过指示值为零;经验成功率为三分之二时,至少一次成功的代入估计为 26/27,约 0.963。两个数并不冲突:前者问每次是否都可靠,后者估计重复机会中获得一次成功的可能性。这个计算没有说明实际试验彼此独立,也没有说明估计精确,更不能据此跨基准给系统排名。[3]

预算语义是另一条边界。固定版本的原生基线协议说明,特定恢复组可能拥有额外动作储备;声称总动作成本相同前,必须核对相应字段。这项文档观察不等于原论文实验预算不相等。[5]

完成记录应保住哪些区别 ​

上述对照支持一种工程解释:完成记录应让终态、动作当时的权限与依据、过程分数的支持范围,以及运行时干预归因分别可查。这是我们提出的记录实践,不是新的基准实测结果。

干预归因还需要自己的链条。后一项论文区分具备触发条件、实际触发、取得控制、成功送达、被采纳和行为改变。触发次数不能说明干预到达了智能体;送达本身也不能说明结果因此改变。归功于某个运行机制之前,应先保留所观察到的环节及其依据。[2,第 3.2.3 节]

下一轮有意义的对照,应先对齐成功定义、支持分母和预算,再看配对结果,并区分来源定义的判定规则与独立审计过的评分器。前一项基准的转换模型本身也在参评,其对参评轨迹的准确率没有测量。后一项基准已有可检查实现,但论文与具体代码版本的绑定、完整复现仍未建立。本研究没有运行任何一套基准引擎、模型、临床环境或评判器。内部实验只提供定义层面的反例,不构成临床能力证据或独立验证。发表状态与代码可得性提供出处及可检查性,均不代表普遍有效。[1—3]

尚未解决的问题落在实际运行上:长任务经历重试和部分测量后,能否保留这些证据身份,让最终成功率仍然回答原来的问题?

证据与引用 ​

公开定义和固定版本文档说明作者规定了什么;论文实测数字保留为来源陈述。2026-11-05 的构造计算属于内部实验依据,尚无独立复现。本文建议的完成记录做法属于研究解释。

  1. 患者权益代理长程评测论文,论文作者,预印本第一版,2026 年 10 月;2026-11-05 已读的一手文本,重点为第 3.2、4.2、6 节。
  2. 医疗智能体统一评测论文,论文作者,预印本第一版,2026 年 10 月;2026-11-05 已读的一手文本,重点为第 3.2、4 节。
  3. 内部规格与合成反例记录,研究中心,测量日期 2026-11-05;摘自已准入分析实验,写作阶段没有重跑。
  4. 运行器评分文档,该基准代码维护者,链接固定于已读版本;读取日期 2026-11-05。
  5. 原生基线比较协议,同一维护者和固定版本;读取日期 2026-11-05。

最后更新: