
提交已经确认,过程证据仍须单独成立
草稿确认约束的是提交内容与权限。论文中的反例和本轮内部统计重分析提示,过程义务与机制收益都需要各自的证据边界。
一个版本正确,为什么仍未完成任务
CXBench(客户交互流程基准)论文中的保险任务轨迹,使用第二版草稿完成了正确的提交结果,却仍被判为过程未通过:报告者权限检查缺失,语义评判还指出既有理赔背景和修订后告知关联不足。这是作者报告的轨迹,不是本轮重新执行的保险业务,也不构成法律合规认定。论文的保险轨迹案例提供了这个具体反例。
问题在于,“确认的是哪个版本”与“此前应当做什么”并不是同一件事。论文的中介提交模式将提交工具移出智能体可调用的动作集合,由执行环境核对草稿哈希和任务指定字段,再执行提交。哈希把确认绑定到内容版本;它本身不记录所有此前的披露、身份核查与修订后的告知承接。过程验收还要结合确定性规则和语义评判,最终成功则要求业务结果与过程同时通过。
因此,确认不是没有价值,而是具有明确边界。它可以收窄最后一步的内容与动作权限,却不能单凭一次成功回执,追认整条过程已经履行。这里的“过程”指论文编码的任务约束;论文的可观察检查点不应被直接写成法定期限或认证条件。
先辨认分母,再辨认拒绝原因
作者报告的 840 条保留评估记录中,582 条业务结果通过,116 条同时通过结果与过程,另有 466 条属于结果通过而过程未通过。466/840 是全部保留记录的 55.48%,466/582 则是结果通过记录中的 80.07%。两者分母不同;加上网络原因重试后保留记录的协议,它们都不是部署环境的首次尝试失败概率。
本轮研究分析阶段的内部统计重分析,按已报告的判定计数分解这 466 条记录:仅确定性检查拒绝 38 条,仅语义检查拒绝 329 条,两类都拒绝 99 条。因此,只去掉全部确定性检查,也只有 38 条新增通过,仍有 428 条被语义检查拒绝;只去掉语义检查,则有 329 条新增通过。这是对作者计数的分解,不是对新轨迹重新打分。
这组重叠关系解释了为何一个局部机制不能替代全部过程证据。但不能反过来断言语义评判更可靠:作者报告的人工对照只涉及一位专家和单一智能体模型的 120 条校准轨迹,准确率为 88.33%,通过判定的精确率为 69.70%。其第 E.3(专家对照设置)节与第 H.4(校准结果)节对评判模型身份的表述还存在冲突。拒绝数量多,不等于拒绝判断已被独立验证。
评分政策改变后,收益判断也要收窄
原始对照中,中介提交与直接提交的双通过率分别为 20.83% 和 0.83%,但评分包含直接提交专属禁令。排除提交机制专属检查后,两者变为 20.83% 和 18.33%。这不是同一评分条件下的两个差距,不能把原始 20 个百分点直接解释为执行干预的因果收益。
排除后的 120 对结果,作者报告为:两者通过 12 对,仅中介通过 13 对,仅直接通过 10 对,两者均未通过 85 对。本轮内部重分析使用这些配对计数,得到“直接减中介”为 −2.5 个百分点,精确双侧配对检验的 p 值为 0.677639;以固定随机种子进行 10 万次配对自举,95% 区间为 [−10,5] 个百分点。重建配对类别无法恢复任务身份或轨迹内容;自举抽样的是报告的配对结果,不是新智能体执行。
该条件没有确立中介方式的额外收益,也没有证明两种方式等效。区间允许两个方向的差异。论文又称这些对照复用既有轨迹,而最终状态计数发生变化;没有可核验的配套执行材料,目前仍无法独立追踪这种变换。统计计算一致,只能确认这些计数支持怎样的统计陈述,不能确认原始标签或执行过程正确。
验收记录应保留哪些区别
我们的工程解释是:对确有过程约束的数字员工,验收记录至少应让读者分清业务目标是否达到、谁确认了哪个内容版本,以及哪些过程义务已有证据。这里提出的是记录设计判断,不是已验证的通用架构。比较方案时还应固定评分政策,单独呈现被排除规则和未满足义务,避免“工具提交成功”吞掉过程信息。
并非每项任务都需要同样的检查。任务合同若只要求一个最终产物,就不应凭空增加全部行业流程;若明确包含身份、告知或修订义务,则应逐项保存相应证据。真正需要检验的是这些记录能否帮助定位遗漏、减少误验收,同时不让错误的评判器成为新的单点判断。
证据与引用:仍缺少什么
CXBench 论文第 1 版是机制定义、轨迹和评估计数的作者一手材料。本文将公开定义视为来源事实,将结果视为作者报告;内部重分析只检验已报告计数的后果,工程建议属于我们的解释。上述材料都不是外部独立复现;未找到可确认下载的配套材料地址,也没有开展新业务执行。
下一步关键证据是版本固定的执行代码与原始轨迹、直接提交状态变换说明,以及留出样本上的评判误差和规则映射一致性。论文发布只确定来源和版本,不构成有效性验证;引用不表示背书,同行评审不等于证明,自报结果不等于独立证据,某次实现成功也不等于普遍有效。在这些缺口补齐之前,可支持的判断是两类证据责任必须分清,而不是某种提交机制已被证明全面优越。
内部研究依据:配对计数、自举参数与拒绝原因分解。这些文件保留的是已完成研究的内部计算结果,不是独立复现。