新版本值不值得换：用 3 组旧任务做回归测

模型发了新版本，宣传说全面提升。但「全面提升」对自己手上的活是不是真的，得自己测。这次拿 3 组旧任务共 40 项跑了两遍——同一批任务、同一个提示词，只换模型版本。旧版通过 34 项，新版 31 项，净退步 3 项，结论是不换。

一句话结论

新版本值不值得换，不能看宣传，要看自己那几类活有没有退步。这次 40 项里旧版过 34（85%）、新版过 31（77.5%），总分差 7.5 个百分点——但总分没意义，有意义的是分组：短文案组从 18/20 进到 19/20，长文结构组从 8/8 退到 6/8，表格整理组从 8/12 退到 6/12。结论要按组下：短文案可以换，长文和表格不行。整体换不换，取决于你主要做哪一类。

这篇解决什么问题

三个症状。一是换了之后才发现变差：新版本一上线就切过去，用两周觉得「怎么老是要重写」，但说不清哪里变差，也回不去。二是没法比较：旧版已经不用了，手里没有同一批任务的新旧对照，只能凭印象。三是被宣传带节奏：「推理能力大幅提升」「长文本更强」这类描述针对的是通用评测，不是你的活。

根子是把版本升级当升级，它其实是换供应商。换供应商要先验货，验货要有标准品——你的旧任务就是标准品。没有标准品，所有判断都只能靠感觉，而感觉会在两周后被日常琐事淹没。

开始前要准备什么

• 3 组旧任务，覆盖你主要的三类活：这次是短文案 20 条、长文结构 8 篇、表格整理 12 张，共 40 项。任务要是真实做过的，不是临时编的。
• 每项的通过条件，写死：字数区间、必须含哪个小节、行数是否不变。二元判定，不评分——评分会引入主观刻度。
• 旧版在每项上的历史通过记录。如果没有，先用旧版跑一遍做基线，再跑新版。
• 一条纪律：同提示词、同任务、只换版本。同时改提示词和版本，就分不清是哪个带来的差异。

具体怎么做

第一步：把 3 组任务和通过条件写死

通过条件必须是机器能判的。这次三组分别是：短文案——字数在 14 到 28 字之间、不含绝对化词、不含感叹号；长文结构——h2 正好 7 个、必须含「实测记录」和「最容易错的 3 个地方」两节、净字在 2,500 以上；表格整理——清洗后行数不变、三类格式错行归零。

写条件花 60 分钟，是全程最花时间的一步，但也是唯一能保证公平的一步。条件写得含糊（比如「文案质量好」），测完还是回到感觉。这次 40 项里，旧版的通过记录是 34 项——也就是说有 6 项旧版本来就不行，新版过了也不算进步，这个基线必须清楚。

我要对比 AI 模型新旧两个版本在我实际工作上的表现，准备了 3 组任务共 40 项。

请帮我检查这套判定标准，不要给任务答案：
1 逐条检查通过条件是否「机器可判」：条件里有没有「好」「合适」「通顺」这类无法判定的词，有的话给出可替换的具体指标；
2 指出哪些条件可能因为版本差异而「假性通过」——比如新版输出更长所以字数达标，但内容其实变差了；
3 对 3 组任务分别判断：这组任务的通过条件能不能区分「能力提升」和「风格变化」；
4 给出一个总分算法：3 组权重应该怎么定，说明为什么不能简单按项数平均。

要求：只检查标准不评价任务；第 1 项要给出具体替换词；第 4 项要说清权重依据（按实际使用频率还是按业务重要性）。

第二步：两轮跑同一批任务，只换版本

同一批 40 项、同一个提示词，先跑旧版、再跑新版。跑的时候要注意一点：不要让两个版本互相看到对方的输出。这次是分两次独立会话跑的，每次都是干净的上下文。如果在一个对话里先旧后新，新版可能会顺着旧版的风格走。

每组跑完立刻判通过与否，不要攒到最后一起判——攒着判会因为疲劳而放宽标准。这次短文案 20 条用 40 分钟跑完（两版各 20 分钟），长文和表格各 40 分钟。判定 50 分钟。

这是 3 组任务共 40 项，以及每项的通过条件（见下方）。我现在给你第 1 组 20 条短文案的任务描述。

请逐条完成，并自己标注是否满足通过条件：
1 按任务描述生成，不额外解释；
2 每条输出后，标注：字数（实际数）、是否含绝对化词、是否含感叹号、是否通过；
3 最后给出这一组的通过数。

要求：只按条件判定，不要给自己打「质量分」；字数必须实际数出来，不要估；不通过的说明卡在哪一条条件上。

第三步：按组看结论，别按总分看

结果是旧版 34/40、新版 31/40。总分看是退步 3 项，但这个数字没有决策价值——真正要看的是分组：短文案 18/20 → 19/20（进 1）、长文 8/8 → 6/8（退 2）、表格 8/12 → 6/12（退 2）。

退步的两项都能定位到具体行为变化：长文组里 2 篇的 h2 从 7 个变成 6 个，新版倾向把两个小节合并；表格组里 6 张表的中文数字识别错了（把「一百二十」识别成 120，但上下文是编号不是数量）。这两个都不是「整体变笨」，是具体能力的偏移——所以换不换要看你做不做这两类活。

这是新旧两版在 40 项任务上的通过记录（见下方，含每项的通过与否和失败原因）。

请做对比分析：
1 按 3 组分别统计：旧版通过数、新版通过数、净变化；
2 列出「旧过新不过」的项（退步）和「旧不过新过」的项（进步），退步项要给出失败原因的具体描述；
3 判断退步项是否属于「能力偏移」而非「整体变差」：同一类失败是否集中在某个具体行为上（比如总是少一个小节、总是识别错某类字符）；
4 给出分组结论：哪一组可以换、哪一组不能换、依据是什么。

要求：不许只看总分下结论；退步项要具体到失败原因，不许写「质量下降」；第 3 项要给出证据（几条失败是不是同一个原因）。

第四步：退步了先怀疑提示词，再怀疑版本

这一步很重要，也很容易被跳过。旧提示词是按旧版的行为调的，新版行为变了，旧提示词可能没发挥出新版的优势——直接判「新版更差」可能冤枉它。这次的做法是给退步的两个组各重调一轮提示词：明确要求「h2 必须 7 个、不许合并小节」，重跑后长文组回到 7/8、表格组还是 6/12。

所以最终结论是：长文组重调后只差 1 项，可以换但要注意；表格组重调也救不回来，是真退步。这个结论比「总分退 3 项」有用得多——它告诉你换了之后要改什么、哪类活不要换。

这是退步的两个组（长文结构 8 篇、表格整理 12 张）的失败详情，以及我原来的提示词。

请帮我做提示词适配，只针对这两个组：
1 长文组：失败原因是 h2 从 7 个变 6 个（新版倾向合并小节）。给出提示词的补充写法，要明确到「不许合并哪两类小节」；
2 表格组：失败原因是中文数字在编号场景被误识别成数值。给出提示词里可以加强的约束，以及这类问题能不能靠提示词解决；
3 判断：这两个组的退步，各有多少概率是「提示词不适配」造成的、多少是「能力本身退步」；
4 重测方案：改完提示词后，每个组重跑几次、判定标准要不要调整。

要求：只改提示词不给答案；第 2 项如果认为提示词解决不了，要直接说；第 3 项要给出判断依据，不许给一个笼统的百分比。

实测记录

素材是 3 组旧任务共 40 项（短文案 20 条、长文结构 8 篇、表格整理 12 张）。写通过条件 60 分钟、跑旧版 40 分钟、跑新版 40 分钟、逐项判定 50 分钟，合计 190 分钟即约 3 小时。之后针对退步组重调提示词又花了 40 分钟。

结果：旧版通过 34/40（85%），新版 31/40（77.5%），净退步 3 项。分组看：短文案 18/20 → 19/20，进 1 项；长文结构 8/8 → 6/8，退 2 项；表格整理 8/12 → 6/12，退 2 项。

两类退步都能定位到具体行为：长文组是 h2 从 7 个变 6 个，新版倾向合并相邻小节；表格组是中文数字在编号场景被误识别（「一百二十」当成了数值 120，但上下文里它是编号）。针对这两组重调一轮提示词后，长文组回到 7/8（救回 1 项），表格组仍是 6/12——所以长文是提示词不适配，表格是真退步。

最容易错的 3 个地方

第一，按总分下结论。「退步 3 项」这个数不能做决策，因为你可能根本不做长文和表格。要按组看：短文案进了 1 项就可以换，长文和表格不行。

第二，同时改提示词和版本。两个变量一起动，测出来的差异归不到任何一方。先固定提示词测一轮（这次的结果），再只针对退步组改提示词重测。顺序反过来，就永远不知道差异来自哪里。

第三，用评分不用二元判定。「8 分比 7 分好」这种判断前后不一致，同一个人隔一天打的分都不一样。改成二元：字数达标、小节数对、行数不变。达标就是过，不达标就是不过，两版用同一把尺子。

可复用的东西

3 组任务 40 项：覆盖你主要的三类活。任务要真实做过，不是临时编的。

二元通过条件：字数区间、小节数量、行数不变。机器可判，不评分，两版同一把尺。

固定提示词测第一轮：先只换版本，看清差异在哪一组；再针对退步组改提示词重测。

按组下结论：短文案能换、长文表格不能换，比「整体退步」有用得多。

区分偏移与变差：同一种失败集中在某个行为上（少一节、错一类字符），是能力偏移；什么都差一点，才是整体变差。

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接