Skip to content
实验报告
当评分过程写入了行动记录
研究成果

当评分过程写入了行动记录

针对固定版本原方法的六组内部替身实验显示,奖励评估可把参考动作追加到行动记录,终止步骤也可进入这一评分路径。记录变更可能影响下游来源归属,但本身不证明奖励错误;历史影响范围、修复效果与现行版本行为仍未验证。

2026-11-10English →

当评分过程写入了行动记录 ​

一个行动列表起初为空,评分之后却多了一次动作。如果下游把评分后的列表直接当作智能体执行证据,参考动作就可能被归给错误的主体。固定版本的隔离实验显示了这种原地变更机制;本文用终止路径与空参考对照说明,复用轨迹前应核对哪一份记录、由谁、在什么阶段写成。

保留原方法,替换周边环境 ​

实验针对 tau-bench(工具交互任务评测基准)固定提交 14bf0ef52e595922d597a38f32d3e8c0dce3a8f8 的环境基类。分析阶段从抽象语法树提取步骤处理、数据哈希和奖励计算的原始方法体,同时保留原哈希函数;没有执行构造函数。状态、工具语义和响应容器使用合成替身,运行环境为 3.12.9 版解释器。固定源码

这是内部实验,不是独立复现或完整基准安装。它能检验原方法怎样操作所给的动作列表,不能代替真实航空工具语义、模型交互或历史数据回放。六组结果与限制保留了这一替换范围。

哪些记录变了,哪些对照没有追加 ​

没有智能体动作的输入,在直接计算奖励后出现一次参考设置动作,奖励为零。另一组已匹配目标状态的输入,列表长度从 1 增至 2,奖励为 1;对当前状态再评分,长度继续增至 3,奖励仍为 1。由此可见,记录变更与奖励取值不是同一个问题。

终止路径同样重要。测试让步骤方法接收结束动作,实际进入评分后,列表含有结束动作与参考设置动作,奖励为 1,且带有评分信息。这比仅直接调用奖励函数多确认了一段调用链,但仍只在替身环境中成立。

空参考动作对照不会追加,列表长度保持零。非终止步骤则返回零奖励、未结束且没有评分信息。后者只能说明尚未评分的中间响应,不能据这个零值认定任务已经被判失败。六组结果共同限定了可说的结论:评分路径可以写入记录,而非任意列表都会增长,或任意零值都代表失败。

记录变更本身不等于奖励算错 ​

基准可以有意回放参考动作以比较状态。仅凭列表变长,不能断言奖励错误,更不能计算排行榜应当变动多少。风险发生在证据解释处:下游若把评分后的列表理解为智能体单独做过的事,就把评分器行为混进了执行主体。

一种待验证的设计是分别保存评分前快照、动作来源与评分事件,检查重复评分是否保持原记录。生产者需要标明动作由谁写入,评估者需要说明是否使用副本,数据消费者则需要确认读到哪个阶段的版本。未评分、已评分失败和不可评分也应保留区别。这些是由机制引出的检查方向,本实验没有实现修复,也没有验证隔离评分的跨系统收益。

证据与引用 ​

外部背景是评估工具审计论文第一版,以及审计作者在固定版本中的十一月修正说明。这些材料用于解释为什么动作来源需要核查,并不把作者审计变成本研究方的新测量。

修正后的 77/800 翻转和 1,596/2,334 来源分类计数仍是作者报告;旧报告只统计后缀注入,修正说明同时包括内部位置注入,不能把计数差异写成智能体行为新变化。作者撤回的多模型重新排序结论也不能继续沿用。本文没有复算这些比例、成本或排名。

原项目源码提供公开的一手实现事实;六组替身实验属于内部依据;关于下游归属风险的判断属于分析推断。这里的“独立”不包括把自己的实验重新命名为第三方验证,论文发表和引用也不能承担这种角色。

文献题录:《无声的评估工具错误改变智能体排行榜》(原题:Silent Instrument Errors Reorder Agent Leaderboards;作者:Yangze Liu;机构:山东大学)。预印本第一版,2026 年 11 月 3 日。配套修正说明由该审计作者发布,标记日期为 2026 年 11 月 1 日;评测环境源码由原项目发布,均绑定本文所列固定版本。标题中的排行榜结论属于原论文论域,不是本次隔离实验的新增测量。

下游拿到的究竟是哪一份记录 ​

没有完整安装、真实航空语义或历史轨迹回放,本实验不能估计影响面;也未检查上游当前版本或维护者最新回应。源码提交限制了时间范围,不能用它断言现行系统仍然如此。

对准备复用轨迹的团队,一个可执行的起点是选取固定评估器与任务版本,比较评分前后动作列表,并逐条核对来源和评分是否发生。若没有评分前记录,能否可靠还原来源仍是开放问题。下一步应检验记录隔离是否保留评分语义、是否改善审计解释,再决定它能支持什么更强结论。

最后更新: