Skip to content
实验报告
同一批工作流结果,为什么会排出不同名次
研究成果

同一批工作流结果,为什么会排出不同名次

25 个配置的发布汇总中,部分得分与完整验收率有 34 对稳健排序反转。改变领域权重另有 6 对反转,其中只有 3 对超出舍入不确定性。排名之前,先声明要衡量哪种成功。

2026-11-11English →

同一批工作流结果,为什么会排出不同名次 ​

25 个配置的发布汇总中,部分得分与完整验收率有 34 对稳健排序反转。改变领域权重另有 6 对反转,其中只有 3 对超出舍入不确定性。排名之前,先声明要衡量哪种成功。

较高得分不一定意味着更多完整交付 ​

WorkflowArena(工作流交付评测基准)报告的两个配置给出了一个直接反差:Claude Opus(克劳德奥普斯模型)5.5 版的高推理档位连续得分为 80.21,完整验收率为 34.11%;最大推理档位得分略低,为 79.94,完整验收率却更高,为 36.95%。前者按部分质量领先,后者按完整验收领先。数字来自作者发布的汇总结果,不是我们重跑模型得到的测量。

连续得分为未全部完成的工作保留部分质量信息;完整验收则问任务是否满足全部相关条件。论文的软件工程领域还有 96.98 分与 17.65% 完整验收率并存的例子。高分与低验收率不必矛盾:一份交付可以完成大部分评分项,却仍缺少某个不可缺的条件。若采购或部署目标要求完整交付,连续分数不能直接当成成功概率。

该基准包含 145 个任务、8 个领域和 17 种任务形式,隐藏验证器检查产物及适用过程约束;智能体数量或组织拓扑不直接计分。本文关注的是同一批汇总怎样被解释,而不是从榜单推断哪一种组织方式必然更好。

把两种排名逐对比较 ​

本轮内部统计重分析只消费已读材料中的固定发布版本:官方仓库提交以 637adec 开头,论文绑定第 1 版。项目页面所称的后续论文版本没有被混入。25 个配置形成 300 对无序比较;逐对查看连续得分差与完整验收率差的方向,相反且均非零时记为严格反转。

已有研究结果记录了 34 对反转。研究分析阶段又按每个显示值四舍五入到小数点后两位、误差最多 ±0.005 的边界检查,确认这 34 对在两种指标上的差值方向都不变。因此,指标选择确实改变了这份表中的排序,并非只有小数显示造成的假象。但 300 对共享同一批配置,34 对不是 34 次独立试验,更不是显著性结论。

内部计算还用同一指标自比得到零反转,作为方向判断的控制;按领域率重算的等领域平均与发布汇总最多相差约 0.005,符合显示舍入范围。这些控制支持聚合解释的一致性,不验证隐藏评分器,也不能把作者原始结果升级为独立复现。

领域等权与任务等权回答不同问题 ​

发布的总体验收率采用等领域平均。软件工程 17 项、业务流程 18 项、科学计算 16 项、数学 24 项、金融 16 项、法律 22 项、内容交付 14 项、三维任务 18 项,共 145 项。领域等权意味着 14 项的领域与 24 项的领域拥有相同总权重;按任务数加权则让每项任务承担相同名义权重。两种选择都可以合理,但表达的目标不同。

已有内部重分析将同一组领域验收率改按任务数加权,发现 6 对严格反转;进一步的舍入边界检查只有 3 对仍稳健。另 3 对不能写成可靠变化。这里的任务加权率是从已舍入的领域百分比重建的近似量,不是对逐任务记录重新计数。

等领域平均下最好的 36.95%,也就不能解释为把 145 个任务混在一起后通过了其中 36.95%。对评估工程师而言,先声明领域重要性,再看配置排序,比在看到结果后挑选有利的聚合规则更可审查。我们的建议是同时保留领域级结果和事先选定的汇总;这是一项评估设计解释,不意味着任务等权应取代论文的领域等权。

迁移收益不能直接归给组织拓扑 ​

同一研究还比较固定执行模型接受不同来源工作流后的变化。作者报告,奥普斯模型生成的静态和动态方案,相对执行模型自己动态组织的方案,在四个执行模型上的平均连续分数增量为 +6.4125 和 +6.2675。已有内部留一检查中,每次去掉一个执行模型后,两者均值仍为正。这说明描述性均值的符号并非由单个执行模型独自决定,却不构成重复试验或置信区间。

反过来,也不能因这些边界否定工作流迁移的潜在价值。问题是归因:工作流既包含组织安排,也带有来源模型写入的指令知识;静态方案预先冻结程序,动态方案还会观察执行并修订。没有分开这些因素,分数变化就不能单独归给图结构。连续分数的增量也不是完整验收率的百分点提升。

迁移试验使用有意选取的 32 个较难任务,且每个任务只有一次执行。要判断收益是否稳定,还需要重复运行、留出任务,以及把指令知识与组织方式分别控制的研究。本轮没有执行这些工作。

证据与引用:这次重分析的边界 ​

论文第 1 版说明任务和评估协议;固定提交的官方仓库提供任务数据、评估器和汇总,并明确不含执行框架与逐任务实验轨迹。两处都属于作者一手材料,相互对应不构成外部独立证据。本文所称内部证据,是上一研究阶段完成的汇总重分析与舍入检查;建议则属于我们的解释。

一次任务执行、缺少接近名次的方差估计,以及内容和三维语义评判缺少人工一致性测量,限制了能力判断。34 对稳健反转支持“指标会改变这张表的顺序”,不支持“某个模型真实更强”;3 对稳健权重反转支持对聚合政策敏感,不支持一种权重普遍正确。

发布与引用只帮助定位来源,不代表结果已经验证或得到背书;同行评审不等于证明,自报结果不等于独立证据,实现成功不等于普遍有效。读者现在能够做的是检查自己需要部分质量还是完整验收、固定领域权重,并在接近名次处要求重复测量,而不是为单一名次补上数据没有给出的确定性。

内部研究依据:逐对反转、领域权重与迁移敏感性。舍入边界检查。这些文件保留的是已完成研究的内部计算结果,不是独立复现。

最后更新: