两个模型交叉核对：同一任务谁容易出错就留谁

两个模型答案不一样时，多数人会把两个答案一起丢给第三个模型「求共识」——这一步恰恰抹掉了最有价值的信息。交叉核对的用处不是找「都对」，而是找「不一致」：11 条分歧里藏着一半以上的错误，49 条一致里也可能有共同错。文章给一套只看分歧的流程。

一句话结论

交叉核对的价值不在「两个都对」，而在「两个不一样」。做法固定成三步：两个模型独立作答（谁也不看谁的结果）、只列分歧、人工只核分歧项。60 项任务的实测里，两模型一致 49 项、分歧 11 项，人工从核 120 项次降到核 11 项次，而 11 条分歧覆盖了 60 项里绝大部分错误。

还有一条反直觉的：一致率高不等于结果可靠。这次 49 条一致里有 2 条两个模型同时错——同一份 prompt 造成的共同偏差，只能靠外部依据发现。

这篇解决什么问题

三种情况最常见。一是单模型输出读起来通顺、格式也对，但里面某个数字或某个条款号错了，肉眼扫不出来。二是你确实用了两个模型，但把 A 的答案贴给 B 让它「复核」，B 顺着 A 的结论往下写，一致率高达九成，看着很安心，实际什么也没验证。三是逐条比对两个答案，工作量翻倍，比人工做一遍还慢。

根子是同一个：把交叉核对当成了「投票」。投票只能处理「谁更可能对」，不能定位「哪里错了」。而错误从来不是均匀分布的，它集中在两者分歧的地方，以及两者共有的盲区。文章把它固定成五步，做完得到一张只含分歧的核对表，和一份按任务类型记的模型档案。

开始前要准备什么

• 一份能切成最小项的任务：判定单位要小到一个事实、一个数字、一个条款号。切不到这个粒度，两个模型的差异会混在段落里，无法比对。
• 两个不同来源的模型：同厂同代的模型往往共享训练数据与对齐策略，分歧太少，交叉核对的价值低。优先选不同厂商、参数规模不同的两个。
• 一张分歧记录表：六列——项号、模型 A 结论、模型 B 结论、是否一致、人工判定、依据来源。
• 一份可外部验证的依据：哪怕只有 10 条样本的标准答案。没有依据时，人工只能凭感觉裁决，等于把错误从一个地方搬到另一个地方。

具体怎么做

第一步：把任务切成能判对错的最小项

切分标准只有一条：每一项都能被独立判为「对」或「错」，不需要联系上下文。例如「从这份合同里提取 6 个关键日期」要切成 6 项，而不是「输出一份日期汇总」。切完之后给每项一个编号，两个模型都用同一套编号输出，后面才能逐项对齐。主观项（如「总结是否到位」）单独分组。

这是我的任务：______（描述任务与输入材料）。
请帮我把任务切成可逐项判定的最小单元，要求：
1. 每一项能被独立判为对或错，不需要联系上下文；
2. 给出统一编号（Q-001 起）与每一项的判定标准（什么算对、什么算错）；
3. 标出哪些项属于「主观判断」，单独分组，不参与对错比对；
4. 估算总项数，如果超过 100 项，给出分批方案（每批不超过 50 项）。

输出一张表：编号、要判定的内容、判定标准、类型（客观 / 主观）。

第二步：两个模型独立作答，互不参考

关键在「独立」：同一个 prompt、同一份材料、同一套编号，分两次单独提问，不要把 A 的答案放进 B 的上下文。一旦 B 看到 A 的结论，它会倾向于顺着写，分歧消失，核对失效。温度参数保持一致（都取低值，减少随机性），输出格式强制成「编号 + 结论」的单行结构，方便后面机械比对。

请按下面的格式回答，只输出结果，不要解释过程：
对每一项给出「编号：结论」一行，结论必须是可以直接比对的形式（一个数字、一个日期、一个条款号，或「是 / 否」）。
如果某一项你无法确定，写「无法确定」并给出缺什么信息，不要猜。

任务与材料如下：（粘贴，与另一次提问完全相同）
编号清单：（粘贴第一步的输出）

第三步：机械比对，只把分歧拉出来

把两份结果按编号对齐，逐项比字符串。一致率本身也是信息：高于 90% 说明任务对这两个模型都太简单，加难度比继续核对更有效；低于 50% 通常是 prompt 有歧义，先改 prompt 再比对，否则分歧里大半是理解偏差。比对只做一件事——列出一致项和分歧项两个数，然后把分歧项单独成表。

这是两份结果，来自两个模型对同一任务的独立作答，编号一一对应。
A 的结果：（粘贴）
B 的结果：（粘贴）

请帮我做四件事：
1. 按编号逐项比对，输出「一致项数 / 分歧项数 / 一致率」；
2. 把分歧项单独列成表：编号、A 的结论、B 的结论、差异类型（数值不同 / 表述不同但等价 / 一方无法确定 / 一方缺失）；
3. 判断「表述不同但等价」的那部分是否可以合并（例如「2026-03-05」与「3 月 5 日」视为一致），合并后重算一致率；
4. 根据一致率给一句判断：任务太简单、prompt 有歧义，还是难度适中。

不要评价哪个模型更好，这一步只做对齐。

第四步：人工只核分歧项，每项写依据

分歧项按「差异类型」分开处理：数值不同、一方缺失、一方无法确定，这三类必须查依据；表述不同但等价的，合并即可，不用核。核的时候不要问模型「哪个对」——它没有依据，只会选看起来更自信的那个。依据只能来自外部：原始文件、官方文档、实测结果。核完填两列：判定（A 对 / B 对 / 都错）和依据来源。

这是分歧项清单（编号、A 结论、B 结论）。
我提供的依据材料是：______（原始文件片段 / 官方说明 / 实测记录）。

请帮我做三件事：
1. 对每个分歧项，指出依据材料里哪一句能判定对错，直接引用原文；
2. 输出判定结果：A 对 / B 对 / 都错 / 依据不足，依据不足的写明还缺什么；
3. 汇总一张表：分歧项数、A 对几项、B 对几项、都错几项、依据不足几项。

判定原则：依据材料没有明确写到的，一律判「依据不足」，不要按常识推断。

第五步：按任务类型记档案，不记总分

跑三四次后，会有一份「谁在哪类任务上更稳」的记录。重点是按任务类型分开记，不要算总准确率——总分没有决策价值。记录的粒度建议是：数值抽取、格式转换、条款匹配、长文归纳、代码改写，每类记「谁更少错、错在什么模式上」。

这是最近几次核对的记录（每次包含：任务类型、项数、A 错项、B 错项、都错项）。
请帮我做三件事：
1. 按任务类型汇总，输出每类的「A 错误率 / B 错误率 / 共同错误率」；
2. 指出每个模型在哪些类型上有稳定的错误模式（例如「A 在多层级编号上容易漏项」「B 在跨表数值上容易串行」）；
3. 给一条使用建议：哪类任务只用一个模型就够、哪类必须交叉核对、哪类应该换第三个模型。

不要输出「模型 A 总体更好」这类结论，我要的是分类判断。

实测记录

用一份 60 项的参数抽取任务做测试：从 8 页设备说明书里抽出 60 个技术参数，项号 Q-001 到 Q-060，两个不同厂商的模型分别独立作答，人工用说明书原文作为依据。

• 单模型基线：A 单独做对 51 项（85.0%），B 单独做对 54 项（90.0%）。都不到能直接交付的程度。
• 一致性：60 项里 49 项一致（81.7%），11 项分歧。一致项里 47 项正确、2 项两模型同时错——都是把「工作温度 -10℃~50℃」写成了「0℃~50℃」，因为原文该处表格跨页，负号在上一页。
• 分歧项判定：A 对 3 项、B 对 5 项、都错 3 项。11 条分歧覆盖了 9 条错误中的 8 条，加上 2 条共同错，全部 11 条错误都被定位到。
• 工作量：逐条核对两个模型等于 120 项次，按每项 2 分钟算 4 小时；只核 11 条分歧，22 分钟。差了 10 倍。
• 共同错怎么发现：这 2 条不在分歧里，靠抽样 10 项回原文才捞出来。一致项不能完全跳过，按 10% 抽样复核。

最容易错的 3 个地方

第一，把两个答案一起交给第三个模型求共识。这是最常见也最伤的做法。第三个模型看到两份答案，会倾向于选择一个「看起来更合理」的，而「合理」和「正确」不是一回事。更糟的是它会给出一个融合版，把两边的错误都吸收进来，且语气自信。裁决只能靠外部依据，不能靠另一个模型。

第二，只看一致率不看一致项对不对。这次一致率 81.7%，看着不错，但一致的 49 项里有 2 项是共同错。同一份 prompt 会诱导两个模型犯同一种错——跨页表格、负号位置、单位换算，都是高发区。做法是一致项按 10% 抽样回原文，发现一条共同错就把该类全部重查。

第三，让模型自己裁决分歧。问「这两个答案哪个对」，模型会选表述更自信、更长、更像标准答案的那个，而不是正确的那个。分歧项必须回到原始文件，指到具体那一句。指不到，就判「依据不足」，不要用常识补。

可复用的东西

最小项切分：每一项能被独立判对错。这套切法同样适用于人工复核清单、数据校验规则——切不细，任何核对都会退化成通读。

分歧记录表六列：项号、A 结论、B 结论、是否一致、人工判定、依据来源。它同时是核对表和工作量统计表，跑三次就能看出模型的能力边界。

10% 抽样规则：一致项按 10% 回原文抽查，专门用来抓共同错。这条规则的成本很低，但它是唯一能发现「两个模型一起错」的手段。

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接