
验收越严格,检查就越完整吗?一次完成合同探针
一次结算和两次结算,可能得到同一个“完成”判定。本次内部实验把两条合成调用记录交给同一组评分函数:一条只结算一次,余额为 155;另一条结算两次,余额为 310。合同只要求出现结算动作并满足子序列顺序,没有声明余额断言,两者都通过。这里的“完成”准确描述了已列出的条件,却没有回答业务效果是否只发生一次。
本文依据同日研究对象已经完成的九个对照案例,不运行新的实验。核心判断是:严格完成值仍然受制于被声明的检查范围。 这对数字员工验收的意义,是把“检查如何判定”和“哪些后果被检查”分开审阅。
两条通过记录,两个不同余额
CRM-Agent-Bench(客户关系管理智能体基准)的公开合同组合动作、参数、顺序、回复、最终状态与禁止条件;是否启用具体检查,由任务声明决定。作者在论文附录报告过重复结算、积分变为 310 而非 155 的轨迹,也明确指出语义裁判的矛盾标记出现漏检。这是作者报告,不是本研究对原轨迹的独立复现。论文第 2.2—2.3 节及轨迹附录
本次内部探针使用固定版本评分与状态验证纯函数,直接提供合成调用记录、状态和断言。运行环境为 Python(编程语言)3.12.9,使用模拟数据,不启动真实业务环境,也不调用模型裁判。合成余额只是便于区分效果的实验字段,不能与论文中的真实任务记录等同。九个案例全部符合预先声明的预期,其中最关键的对照如下:
| 合成记录及被检查条件 | 实际判定 | 这一判定回答了什么 |
|---|---|---|
| 一次结算,子序列合同,无余额断言 | 通过 | 要求的动作与相对顺序存在 |
| 两次结算,同一稀疏合同 | 通过 | 重复次数没有被该合同排除 |
| 两次结算,改用命名工具精确顺序 | 拒绝 | 多出的同名结算进入顺序比较 |
| 两次结算,声明余额应为 155 | 拒绝 | 实际余额 310 不满足指定状态 |
这组对照支持一个很窄的结果:加入相关断言可以区分这两个合成后果。它不提供真实业务中的重复结算概率,也不说明所有任务都遗漏同样检查。函数版本与方法见固定评分源码。
精确顺序也有过滤边界
从已读取实现看,动作检查采用计数包含关系;子序列顺序允许中间插入动作及重复。精确顺序更严格,但先把轨迹过滤到合同列出的工具。因此,“只允许这组已命名工具按此顺序出现”与“完整轨迹不能出现其他工具”是不同条件。
内部实验给出对应反例:合成轨迹先结算,再调用未列入顺序要求的删除工具,余额仍为 155。精确命名顺序与余额检查可以一起通过;显式加入对删除动作的禁止条件后,该尝试被拒绝。禁止检查针对调用尝试,不需要等它被解释为成功的业务效果。评分源码中的顺序与禁止检查
状态检查也有同样的覆盖问题。禁止某字段等于“已删除”,并不等于要求它始终保持初始的“打开”。在内部对照里,字段改成“关闭”仍通过禁止值检查;扩展预期状态、明确要求“打开”后,变化才被拒绝。另一个无变化的对照通过了扩展检查。这个结果来自指定叶节点的验证语义,不能扩大成“系统已经保证受保护记录不变”。状态验证源码
研究解释是:检查强度和覆盖范围是两个维度。把更多已声明条件取逻辑与,不会自动为未声明的字段或工具增加约束。
全状态比较回答另一种等价问题
作为机制比较,tau-bench(工具与智能体交互基准)的一个固定历史版本,用参考动作产生的最终数据库哈希与实际结果比较,并检查必要输出字符串。这可以覆盖稀疏断言未列出的状态差别,但最终状态一致本身仍不能说明中间没有禁止尝试。历史评估器
两种设计没有脱离任务的优劣排序。允许无关读取、安全重试,可能正是子序列合同的目的;全状态严格相同,也可能拒绝合法但不同的等价结果。该历史项目说明任务已过时,本轮没有执行它,更没有比较当前榜单。比较的用途,是迫使验收设计者明确:究竟希望保持哪些业务不变量,又允许哪些过程差异。
对受治理的数字员工,研究对象支持的工程启示是:完成结论应附带断言清单、未断言范围、动作次数与副作用边界。对不该发生的中间尝试和不该变化的最终字段,应分别说明依据。这个建议属于验收证据设计,不是对任意部署的安全认证。
证据到哪里为止
公开代码是项目自身的一手实现资料,不等于独立验证。论文中的重复结算是作者报告;表格是本研究中心内部的隔离函数实验;“强度与覆盖应分开”是基于两者的研究解释。这里没有独立第三方对同一实验的复现证据,也没有把外部项目的存在算作独立佐证。
实验没有重放完整基准、原始轨迹档案或模型裁判,不能用于推断真实故障率、系统排名或跨领域表现。论文发表、引用、评审与版本状态只建立来源和可追溯性,不构成普遍有效性证明。图片是依据本文命题生成的编辑视觉,不是实验数据。
尚未声明的条件,怎样被发现
还没有解决的问题,是合同审查如何系统地发现遗漏字段及禁止的中间效果,以及怎样允许安全重试而仍能区分重复业务效果。本次探针表明,检查实现可以忠实执行合同,而合同仍可能回答得比验收者以为的更少。下一步需要的证据应指向遗漏发现方法本身,而不是再增加一个脱离覆盖说明的“完成”布尔值。