报告做完了，不等于结论可信
一个研究智能体按要求取得数据、调用分析工具、生成图表、附上来源，并交付一份结构完整的报告。每一步都能追溯，文件也能重新计算。任务看起来已经成功。
但只要把插值方法换掉，报告中的主要模式就消失了；把结论从合成数据迁移到真实数据，关系也没有复现。执行过程可能没有技术错误，结论却缺少能够排除替代解释的证据。
这不是否定智能体做研究的价值。恰恰相反，只有把不同能力分开，组织才能保留已经正确完成的工作，同时避免让尚未经受挑战的判断过早成为决策依据。
本文的核心判断是：执行能力与可信的证据判断是两个独立准入状态。对于高后果知识工作，完整报告只有在对照、稳健性、证伪和有边界的泛化检查真正执行并留下证据后，才应升级为组织权威。
总分接近，掩盖了共同短板
同日研究对象分析了 TruthInsightBench。该研究设置 40 个盲测任务，覆盖 10 个科学领域，在构建阶段执行 320 次验证分析，并用 29 项证据中心指标评价结果。为了缩小基础模型差异，四种脚手架使用同一个冻结模型，且关闭思维链输出。
研究报告的平均总分分别为 60.27、58.81、59.03 和 58.40。总跨度只有 1.87 分，置信区间重叠，经过多重比较校正后的成对检验也没有支持一个稳定赢家。
因此，把这组结果写成“某个脚手架全面领先”是不成立的。更有价值的是共同能力轮廓：不同执行外壳的总分接近，而且弱点集中在相似位置。对组织采购和架构设计来说，这意味着仅更换脚手架，未必会自动补齐证据判断能力。
可审计，不等于经过挑战
四种系统在证据可审计性上获得约 78%—81% 的可用分，在新颖性上约为 83%—87%。它们能够运行分析、保存工件、展示推理所依赖的材料。这些能力很重要，因为不可追溯的结论连后续复核都无法开始。
但对照测试只有约 11%—16%，稳健性约 9%—14%，可证伪性约 29%—33%，跨数据集泛化则接近零。最突出的矛盾是：证据能够被看见，却没有被充分挑战。
可审计性回答“做了什么、用了什么材料、得到什么结果”。挑战证据回答的是另一组问题：如果采用合理替代方法，结论是否仍然成立；如果控制一个混杂变量，关系是否消失；如果换一份数据，推断能否迁移；出现什么观察时，我们会承认原结论错误。
两者不能合并。完整来源和漂亮图表能够支持复核，却不能代替已经执行的复核。
正确执行，也可能支撑薄弱结论
该基准对“提出以后应该做对照”与“已经运行对照并保存结果”作了明确区分。只在文字中建议控制或稳健性检查，不得分。这条规则非常适合组织知识治理，因为意图不是效果，计划不是证据。
一个技术上正确的分析流程仍可能停在不充分的判断上。例如，统计代码按预期运行，图表忠实反映当前数据，报告也准确描述结果；然而主要模式对插值方式敏感，或只存在于合成样本。此时不能把问题简单归因于工具使用失败。真正缺少的是能够区分竞争解释的观察。
因此，“任务完成”“工具调用成功”“工件可审计”“结论可信”至少是四个不同事实。前面三项可以全部为真，第四项仍然等待更多证据。
两个准入状态
组织可以把知识工作结果拆成两个正式状态。
执行能力准入检查：是否取得了规定数据；工具是否正确调用；分析是否可复现；关键参数和工件是否保存；过程是否遵守权限与范围约束。
证据判断准入检查：结论强度是否与证据匹配；替代解释是否经过实际对照；关键结果是否通过稳健性扰动；证伪条件是否明确；泛化范围是否被限定；独立证据是否真的来自独立主体和独立假设。
这种拆分允许系统给出一个很有用的终态：“分析已经正确执行并可以复核，但结论尚未获准用于高后果决策。”它不是失败，也不是模糊的“工作中”。成果可以进入知识库的研究层，等待补充挑战；只有第二道门通过后，才进入政策、产品或投资决策所依赖的权威层。
挑战深度应随后果变化
把两个状态分开，不等于每份低风险摘要都要经过昂贵独立审查。治理强度应随三个因素上升：错误后果、行动可逆性和证据不确定性。
| 使用场景 | 最低挑战证据 | 可接受终态 |
|---|---|---|
| 低风险探索 | 基本复现、来源核查、明显替代解释 | 研究线索 |
| 可逆运营建议 | 至少一个对照或扰动、参数敏感性 | 受限建议 |
| 高成本决策 | 多项稳健性检查、反事实或外部数据 | 决策候选 |
| 不可逆或高后果决定 | 独立挑战者、明确证伪标准、责任人签署 | 获准组织知识 |
关键是检查必须产生观察。报告写着“未来需要更多研究”，不能被机器计作稳健性证据；评审者点击“已查看”，也不能证明替代解释真的运行过。
组织还应保存挑战工件与原分析之间的关系：挑战了哪项主张，采用什么变化，结果支持、削弱还是推翻原结论。否则，补充测试会变成一堆无法影响决定的附件。
评估器是证据，不是最终事实
这项研究使用冻结的大语言模型评估器，以一致方式处理大量工件。结构化、可重复的智能评估比临时印象更可审计，但研究并没有证明它等同于领域专家。
这形成第二层治理边界：评估器给出的分数本身也是证据对象。需要记录评估器版本、提示、输入范围、校准样本、与人工判断的分歧以及适用领域。高后果判断可以要求独立模型或人类挑战者，但“另一个模型”只有在假设、输入或评价角度真正独立时，才构成独立证据。
跨数据集泛化接近零也必须谨慎解释。论文指出，其中一部分来自基准约束和静态单阶段协议，并非全部都是智能体能力缺陷。测量有边界，指标就不应被升级成永久能力标签。
证据边界与开放问题
这项研究只使用一个冻结的中等能力基础模型，每个智能体—任务组合执行一次，并依赖回顾性冻结数据。它不能证明所有当前或未来模型都呈现相同轮廓，也不能排除预训练数据暴露。单一模型评估器更不能成为专家等价性的证明。
仍待回答的问题包括：哪些对照应成为高风险商业分析的强制项目；多份分析共享同一假设时如何识别伪独立；什么条件下确定性检查已经足够，什么时候必须引入独立模型或人类；挑战证据应在模型、工具和数据变化后多快过期；被削弱但未被推翻的结论应如何降级。
现在可以先确立一条清晰规则：正确完成的分析值得保留，但只有真正经历过与风险相称的证据挑战，结论才值得被组织采用。
证据与引用：