
有轨迹依据,仍可能事实错误:一次审计函数语义实验
把一条声明标为“轨迹支持、事实矛盾”,审计结果会是什么?本次内部实验把这两个标签直接交给固定版本的函数,得到的支持率与事实矛盾率同时为一,声明的归类仍是“有轨迹依据”。这不是一次金融事实核验:输入是人为指定的标签,实验只检查程序怎样解释它们。
这个反例对应一个实际的阅读问题:工具返回了错误资料,智能体忠实引用它,答案便有了可追踪来源,却没有因此变得正确。对工具型智能体的完成审计而言,来源、外部核验与策略放行必须分别保留;合并后的百分比不能直接改名为事实准确率。
同一个声明,两个判断对象
AgenticFinBench(智能体金融任务基准)的论文把来源依据与事实核验分开:前者问声明能否由执行轨迹中的工具输出或计算支持,后者问它是否与可核验事实一致。有轨迹依据的声明,仍可在事实核验中被确认、反驳或暂时无法判断。这是论文的公开方法定义,不是本文独立验证出的判断器能力。论文第 4.2 节
论文附录给出的案例也保留了这种分离:一个案例继承检索笔记中的数值错误,仍被视为有轨迹依据,同时记录外部反驳;另一个案例因指定区间无法建立或明确反驳而保留未核验状态。它们属于作者报告的案例,不能当作独立复现。论文附录
因此,声明可追踪是一个有用属性,但它回答的是证据链问题。把它当作正确性的替代指标,会把工具自身的错误藏在“引用忠实”之中。
用九组标签检查函数怎样计数
同日分析阶段使用 Python(编程语言)3.12.9,从固定源码的抽象语法树中提取两个未改动的函数体:一个生成统计值,另一个给出声明归类。输入是三种轨迹裁决与三种事实裁决的九个组合,另加空输入对照。没有调用模型、语义判断器、金融数据集或完整基准。源码固定在提交 b3a575b76aad765ea1f46759c366897b5312311a,该版本约束的是被检查的公开代码,不是论文原始实验。统计函数源码、归类函数源码
下面选出两个最能说明边界的单声明输入。每行都是本次内部实验记录;一表示该次输入中唯一的一条声明被计入对应集合,不表示真实金融任务达到百分之百准确率。
| 轨迹裁决 | 事实裁决 | 声明归类 | 证据支持率 | 事实矛盾率 | 策略通过率 |
|---|---|---|---|---|---|
| 支持 | 矛盾 | 有轨迹依据 | 1 | 1 | 1 |
| 无支持 | 未解决 | 未核验 | 0 | 0 | 1 |
来源:内部合成标签实验完整结果。空输入的声明数为零,三个比率均为空值,不能显示成零错误或全部通过。
第一行来自两个不同计数规则:证据支持统计只要轨迹裁决或事实裁决任一为支持就计入;事实矛盾统计独立保留事实反驳。归类函数优先保留轨迹支持属性。因此,同一条声明同时出现在支持集合与矛盾集合里,不构成算术矛盾。
第二行暴露了另一种误读。对没有轨迹支持、事实又未解决的声明,默认策略可以给予通过,程序同时仍将其归为未核验。策略通过表达的是处置规则,而非获得了新的事实证据。来源函数中的指标名分别为:
evidence_support_rate
factual_contradiction_rate
policy_pass_rate这个结果与论文并不冲突
若实验的目的本来就是区分“从哪里来”与“是否正确”,保留两种判断是必要行为。支持率高而矛盾率非零,不能据此判定基准无效;相反,这说明读者需要知道每个指标的定义。本文的研究解释是:危险发生在把不同问题压成同一个“完成质量”标签时,而非发生在多轴记录本身。
公开仓库还说明,公开运行器的诊断输出与论文结果并非同一口径,完整的论文回答、轨迹和声明裁决集合也未包含在仓库中。论文的发布范围措辞与仓库实际可用范围应分别记录,不能因代码可以运行就声称复现了论文。本文没有重算论文分数,也没有检验判断器可靠性。仓库说明
完成记录应把什么留给读者
对构建评估系统的工程师,这个实验支持一个有边界的设计建议:按声明保留来源裁决、事实裁决和未解决状态;汇总时展示各自分子、分母与默认策略。不要用一个笼统的通过标记覆盖已经记录的事实反驳。
例如,一个只有单条声明的记录可以同时显示“有来源支持:1/1”“事实矛盾:1/1”“策略通过:1/1”。这样的展示没有增加正确性,却让读者能够区分“忠实使用了错误工具输出”和“无依据地生成错误内容”。如果丢掉逐声明裁决,只剩最后一个百分比,后续审计就无法恢复这一差别。这是本文基于函数语义提出的工程解释,不是经过部署效果对照的改进结论。
证据与引用
本文把公开源码观察、作者报告与内部实验分账。源码说明特定函数做了什么;论文案例说明作者怎样使用这些概念;本次合成输入只说明已知标签如何经过函数转换。三者都不构成第三方对事实判断器的独立验证,本文没有独立证据可以估计错误发生频率或模型排名。
直接依据包括作者论文《智能体金融任务基准》的第 4.2 节及附录(预印本第一版)、作者维护的固定版本统计源码与评分源码(代码),以及本次内部实验记录(2026-11-08,包含环境、输入、结果和源码哈希)。仓库说明用于界定可复现范围,不替代结果证据。封面为依据本文概念生成的编辑插画,不是实验装置或结果图。
尚缺哪一层验证
本实验没有金融事实核验、专家重新标注、完整基准执行或语义判断器评估。手工标签排除了判断器本身的错误,因而也不能估计真实任务中“有轨迹依据但事实错误”的比例。
若要把结论推进到判断器质量,需要原始回答、完整轨迹、对齐时间与范围的外部依据,以及真正独立的重新裁决。若要复现论文成绩,还需要冻结的论文输入与裁决记录。当前可以确定的是这两个函数的语义边界;真实事实裁决在同一证据下是否稳定,仍是下一层需要回答的问题。