Skip to content
实验报告
AI 检查 AI,为什么还要检查它看见了什么?
工程研究 · 独立验收

AI 检查 AI,为什么还要检查它看见了什么?

一份报告数量对、版本对、授权也对,却把 B-22 写成 B-23。我们用七个受控案例对照规则与两种模型,追问验收者看见了什么,以及谁有权宣布完成。

2026-11-14English →

AI 检查 AI,为什么还要检查它看见了什么? ​

你让一位数字员工下单,并交一份包含两种商品的报告。它说“完成了”。订单确实只有一笔,报告也确实列了两项,证据版本正确,发布经过批准。程序检查一路通过。但你要的是 B-22,报告里写的是 B-23。谁来发现这一个字符的差别?

“再找一个 AI 检查”是自然的回答。browser-use 的一项改动就在运行结束后加入同模型判断,并把这次判断的用量与成本单独记录。这提供了有用的事后观察,却也把问题推得更深:检查者拿到的是原任务和真实结果,还是执行者自己写的成功摘要?

我们开发的 CodeFlowMu 是一个本地多 Agent 协作系统。它把执行者的报告、正式任务状态和独立评估分开。为了弄清这种分开能解决什么、还依赖什么,我们先做了一组小而明确的验收实验。

数量全对,内容仍然错 ​

我们事先固定七份业务任务的标签:一份可验收,六份不可验收。错误分别是漏一项、证据指向旧版本、未经授权发布、重复下单、根本没下单,以及 B-23 替代了 B-22。所有执行者报告都声称成功。实验使用人工编写的事实,不涉及真实订单、真实用户或 CodeFlowMu 的正式 EVAL 请求。公开实验包列出脚本、提示和逐例结果。

先只用程序核查订单数、交付项数、证据版本和授权:六份错误中,五份被挡住,一份误过。误过的是 B-23——因为它仍然满足“两项”的数量要求。相反,一个只听员工说“完成”的程序化负对照把六份错误全收了;它不是一次模型自评调用。

验收方法在这七例中误收它能看见什么
只信成功报告的程序负对照6执行者的声明
订单数、项数、版本、授权规则1可枚举的业务事实,未比对商品语义
给出原要求与当前事实的两种模型判断各 0精确商品内容和上述事实

我们把同一批案例交给两个独立会话中的模型,隐藏事先固定的通过标签。gpt-6.1-sol 与 gpt-6-astra 各自判定一份通过、六份拒绝,也都指出 B-23 与 B-22 不符。再让规则先筛,模型只看剩下的两份,它接受正确稿、拒绝错误商品。这个组合在这组简单案例中可行;七例不能推出生产环境漏判率,更不能证明换型号就能保证独立。

员工的成功报告与真实任务、业务记录、当前工件分别进入验收;程序规则挡下五类错误,语义核查识别商品不符;模型判断仍是观察,正式验收由授权方完成
本轮受控案例的分工:程序先核可枚举的事实,模型检查未被规则覆盖的内容;两者都需要可信输入。

模型为什么答对? ​

这里要特别小心。两次模型判断之所以抓住错误,是因为提示里直接给了“要求 B-22,实际 B-23”,还给了订单数、证据版本和授权事实。它们证明了模型在这些可见信息上做出了正确比较,没有证明真实执行系统一定能把当前、可信的事实送到评估者面前。

想象把输入换成“执行者说已完成,详见报告”。即使再换十个模型,也无法从这句话核实业务系统是否真的有订单。旧版本截图同样可能被读成新成果。因此,验收至少要追到四类来源:原委托、当前工件版本、外部业务记录、发布授权。缺了哪类,就应把相应结论保留为待核查,而不是用流畅的评语填空。

CodeFlowMu 的现有源码也明确区分“评估观察”与“正式许可”:独立 EVAL 的请求先持久化,再启动模型;同一请求若丢失回执,返回未知而不自动重复付费调用;观察结果标记 grants_authority=false,不会因为模型给了好评就改写任务状态。已有传输定向测试通过,但本轮尝试运行更完整的评估合同测试时,测试夹具在管理员令牌前置条件处停止,未进入验收断言。运行范围和失败条件均可核对。这不是已确认的产品缺陷,也不是产品端到端验收通过。

验收权不能藏在一句“看起来不错”里 ​

这轮实验带来的工程判断是:先固定证据,再比较结论,最后由有权者结算。 程序擅长确认订单笔数、版本指纹和授权是否存在;模型可以帮助比较任务语言与工件内容;无法读到外部结果时,两者都应承认未知。事后判断值得保留,但它只是验收所需的一份观察。

下一轮要把这组案例接进真实任务与工件:执行者和评估者各能读到哪些材料?晚到的报告会不会覆盖评估对象?人工复核与模型意见冲突时,谁能改变正式状态?这些问题不能由七个清楚的提示替我们回答。

如果你也在让 AI 团队交付工作,可以先给每次“通过”追问一句:检查者看的那份证据,真是这次任务的最新结果吗?

最后更新: