
AI 检查 AI,为什么还要检查它看见了什么?
你让一位数字员工下单,并交一份包含两种商品的报告。它说“完成了”。订单确实只有一笔,报告也确实列了两项,证据版本正确,发布经过批准。程序检查一路通过。但你要的是 B-22,报告里写的是 B-23。谁来发现这一个字符的差别?
“再找一个 AI 检查”是自然的回答。browser-use 的一项改动就在运行结束后加入同模型判断,并把这次判断的用量与成本单独记录。这提供了有用的事后观察,却也把问题推得更深:检查者拿到的是原任务和真实结果,还是执行者自己写的成功摘要?
我们开发的 CodeFlowMu 是一个本地多 Agent 协作系统。它把执行者的报告、正式任务状态和独立评估分开。为了弄清这种分开能解决什么、还依赖什么,我们先做了一组小而明确的验收实验。
数量全对,内容仍然错
我们事先固定七份业务任务的标签:一份可验收,六份不可验收。错误分别是漏一项、证据指向旧版本、未经授权发布、重复下单、根本没下单,以及 B-23 替代了 B-22。所有执行者报告都声称成功。实验使用人工编写的事实,不涉及真实订单、真实用户或 CodeFlowMu 的正式 EVAL 请求。公开实验包列出脚本、提示和逐例结果。
先只用程序核查订单数、交付项数、证据版本和授权:六份错误中,五份被挡住,一份误过。误过的是 B-23——因为它仍然满足“两项”的数量要求。相反,一个只听员工说“完成”的程序化负对照把六份错误全收了;它不是一次模型自评调用。
| 验收方法 | 在这七例中误收 | 它能看见什么 |
|---|---|---|
| 只信成功报告的程序负对照 | 6 | 执行者的声明 |
| 订单数、项数、版本、授权规则 | 1 | 可枚举的业务事实,未比对商品语义 |
| 给出原要求与当前事实的两种模型判断 | 各 0 | 精确商品内容和上述事实 |
我们把同一批案例交给两个独立会话中的模型,隐藏事先固定的通过标签。gpt-6.1-sol 与 gpt-6-astra 各自判定一份通过、六份拒绝,也都指出 B-23 与 B-22 不符。再让规则先筛,模型只看剩下的两份,它接受正确稿、拒绝错误商品。这个组合在这组简单案例中可行;七例不能推出生产环境漏判率,更不能证明换型号就能保证独立。
模型为什么答对?
这里要特别小心。两次模型判断之所以抓住错误,是因为提示里直接给了“要求 B-22,实际 B-23”,还给了订单数、证据版本和授权事实。它们证明了模型在这些可见信息上做出了正确比较,没有证明真实执行系统一定能把当前、可信的事实送到评估者面前。
想象把输入换成“执行者说已完成,详见报告”。即使再换十个模型,也无法从这句话核实业务系统是否真的有订单。旧版本截图同样可能被读成新成果。因此,验收至少要追到四类来源:原委托、当前工件版本、外部业务记录、发布授权。缺了哪类,就应把相应结论保留为待核查,而不是用流畅的评语填空。
CodeFlowMu 的现有源码也明确区分“评估观察”与“正式许可”:独立 EVAL 的请求先持久化,再启动模型;同一请求若丢失回执,返回未知而不自动重复付费调用;观察结果标记 grants_authority=false,不会因为模型给了好评就改写任务状态。已有传输定向测试通过,但本轮尝试运行更完整的评估合同测试时,测试夹具在管理员令牌前置条件处停止,未进入验收断言。运行范围和失败条件均可核对。这不是已确认的产品缺陷,也不是产品端到端验收通过。
验收权不能藏在一句“看起来不错”里
这轮实验带来的工程判断是:先固定证据,再比较结论,最后由有权者结算。 程序擅长确认订单笔数、版本指纹和授权是否存在;模型可以帮助比较任务语言与工件内容;无法读到外部结果时,两者都应承认未知。事后判断值得保留,但它只是验收所需的一份观察。
下一轮要把这组案例接进真实任务与工件:执行者和评估者各能读到哪些材料?晚到的报告会不会覆盖评估对象?人工复核与模型意见冲突时,谁能改变正式状态?这些问题不能由七个清楚的提示替我们回答。
如果你也在让 AI 团队交付工作,可以先给每次“通过”追问一句:检查者看的那份证据,真是这次任务的最新结果吗?