Skip to content
实验报告
记录了偏差,为什么调用仍然发出?协作执行保真度的一个探针
研究成果

记录了偏差,为什么调用仍然发出?协作执行保真度的一个探针

六个隔离用例区分了保真度标注与执行否决,也限制了对协作负面结果的因果解释。

2026-11-07English →

记录了偏差,为什么调用仍然发出?协作执行保真度的一个探针 ​

“没有按指令执行”可以是审计结果,也可以成为拒绝执行的理由。两者需要不同的程序行为。一个系统即使准确发现工具名或参数不匹配,仍然可能把调用交给下一层。若把审计字段理解成已经执行的保护,协作评测中的负面结果就会被解释得过宽。

本研究沿用同日已完成的代码隔离探针:在固定快照的方法中,工具名和参数不匹配均被标为不保真,调用仍被返回;读任务里的写入与截断回复则被阻止。这是一条路径的观测与约束之别,不能推断已经发生数据库写入,更不能据此归因整套实验的性能损失。

先看负面结果实际评估了什么 ​

来源论文比较单智能体与一个中心化协作实现。在固定模拟器下,作者报告 13 个机械条件合格单元中,协作系统有 12 个更差、1 个统计上持平;主要拟合使用其中 12 个闭源模型单元,加权平均增益为负 28 个百分点,95% 置信区间为负 44 至负 12。论文,第 4 节

但作者还披露了关键有效性偏差:严格审计的 2744 个不同写入指令中,仅 680 个按指令执行,约为 25%,低于预先设定的 90% 门槛。规划器没有看到工具结构定义;修复后的小规模检查有 13/18 个写入按指令执行,完整网格未重跑。因而,论文测到的是该实现及其条件下的结果,不能把它改写为充分保真协作架构的普遍检验。论文,第 3.4、4.1、5 节及首份附录

六个用例定位标注与否决的差别 ​

内部实验从已固定内容哈希的源文件提取原有方法,以确定性的提供者替身返回工具调用。它没有调用模型,没有连接数据库,也没有重跑基准。输入围绕同一写入指令逐项改变,结果如下:

用例内部实验观察能够说明的范围
工具与参数完全一致返回调用,标记按指令执行正常对照
数字参数与数字字符串归一化返回调用,标记按指令执行类型归一化对照
工具名不一致返回调用,标记不保真偏差没有在此分支否决
参数值不一致返回调用,标记不保真参数偏差同样未否决
在读任务中请求写入不返回调用,关闭该路径此分支确实具有阻止行为
提供者回复被截断不返回调用,关闭该路径截断保护对照

表中各格均为内部实验观察,不是独立证据;输入、实际输出与限制保留在六用例记录。相同方法既有放行也有阻止分支,使“所有调用都会照样返回”这个替代解释不成立。工具名和参数偏差的结果更具体:保真度字段记录了差异,但没有被用作此处的否决条件。

公开代码与之相符:写入路径保留第一个工具调用,执行指令核对,设置执行写入状态,再返回调用;读任务出现写入标记时则丢弃调用。结构定义可见性开关默认关闭,关闭时规划器得到空工具定义。官方执行源码

审计可靠,并不自动赋予阻止权限 ​

我们的解释是,应把计划内容、执行保真度、检查器能否否决,以及外部任务结果分别记录。前两者能够帮助定位偏差,但只有调用前的约束才能在该位置阻止不匹配调用。实验没有测量加上否决后任务分数会改善多少,也没有保证严格否决不会增加无法完成任务的情况。

论文中的单智能体、中心化协作与少量单上下文规划复核对比,还伴随工具结构可见性等实现差异。因此,隔离探针可以解释某个审计字段的含义,不能替论文隔离组织结构的因果作用。预算耗尽与不行动增加同样需要保留:作者将 74% 的平均损失记在耗尽情节上,是描述性分解,而非耗尽造成全部损失的因果实验。论文,第 4—5 节

证据与引用 ​

本文把论文的结果和有效性偏差作为来源陈述,把公开方法的分支作为可核对的实现事实,把六个确定性用例作为内部实验依据。没有独立第三方检验全部结果。源码公开、预印本发表与实验脚本成功运行分别说明可追踪性和局部行为,不建立协作机制的普遍有效或无效。

主要来源为 arXiv(开放研究预印本平台)预印本 2610.27655,第一版,第 3—5 节及前三份附录,以及 M1(中心化协作实验实现)方法源码。源码按本次研究所读快照的内容哈希固定,不能据此推断后续分支状态。内部实验使用提供者替身,未复核作者归档轨迹,也未验证完整预注册的历史时间戳。

还需要哪一种重跑 ​

要检验架构而非该偏差路径,需要在完整任务网格中同时明确结构定义可见性、按指令执行比例、否决规则、预算边界和最终外部验收,再比较结果。保真度修复后的一小组写入不能代替完整重跑。当前证据能够确认的边界是“标注不等于阻止”;真正的否决设计对成功率、误写与不行动各有何影响,仍需单独检验。

最后更新: