模型悄悄换版本：用 3 条固定题每月测一次

用了半年的模型，某天开始摘要变短了、JSON 偶尔少一个字段，而服务商没发任何公告。这类静默变更靠感觉发现不了，等出问题往往已经跑了一两周。这次用 3 条固定题每月测一次，每次 12 分钟出 12 个数据点，6 个月抓到 2 次明显漂移——第 3 个月摘要关键词保留率从 92% 掉到 71%，第 5 个月结构化输出 10 次里错 2 次。

一句话结论

模型是会变的依赖，但变化通常不是「一夜之间变笨」，而是某个能力维度悄悄滑了一格——摘要变短、格式偶尔坏、某些指令不再严格执行。靠日常使用很难察觉，因为人的容忍度会自动补偿。唯一可靠的办法是固定题目、固定判定、固定周期，让变化落在数字上，而不是落在「最近好像不太对」的直觉上。

这篇解决什么问题

三种情况说明你在被动挨打。一是出了问题才发现：线上流程开始报错，回头查才发现格式早就不稳了，已经悄悄失败了一周。二是感觉变了但说不清：觉得输出质量下降，可拿不出证据，也没法判断是模型变了还是你的提示词变了。三是换模型靠拍脑袋：想换又不敢换，因为没有基线数据，换完也不知道是变好还是变差。

根子是把模型当成固定版本的产品。它更像一个持续更新的服务——版本号可能不变，行为会变。既然会变，就得像监控接口一样监控它，而这并不需要复杂工具，3 条题加一张表就够。

开始前要准备什么

• 3 条固定题，覆盖你最依赖的三类能力。这次：固定字段的 JSON 输出、3,000 字文章压到 150 字、多重约束的短文本。
• 4 个可判定的记录项：格式是否合规、关键词保留率、字数偏差、结论是否与基线一致。
• 一份基线：第一次测的结果就是基线，之后所有对比都对它。
• 一条纪律：题目一个字都不许改。改了题再对比，比的是你改题的效果，不是模型的变化。

具体怎么做

第一步：出 3 条题，把判定标准写死在题里

3 条题要覆盖三类不同能力，不要都出成问答。这次的选择：第一条考结构化输出（给一段 600 字会议记录，输出含 5 个固定字段的 JSON）；第二条考压缩与要点保留（3,000 字文章压到 150 字，指定 5 个必须保留的关键词）；第三条考多重约束遵循（120 字内、必须含 3 个具体数字、不许出现某个词）。

判定标准必须写进题目本身，否则每月判定尺度会漂移。比如关键词保留率，要明写「5 个关键词出现几个就算几个」，而不是事后靠人感觉「这几个说得还行」。这条定下来，12 分钟的出数据时间才站得住。

我要建一套模型月度体检题，用来监测同一服务的输出是否悄悄变化。

请帮我出 3 条题，覆盖三类能力：
1 结构化输出：给一段 600 字会议记录，要求输出 5 个固定字段的 JSON；
2 压缩与保留：3,000 字文章压到 150 字，指定 5 个必须原样保留的关键词；
3 多重约束：120 字内、必须含 3 个具体数字、不得出现某个指定词。

要求：
1. 每条题都要把判定标准写进题面（例如关键词出现几个算达标、字段名必须完全一致）；
2. 每条题给一组固定的输入素材，素材长度控制在 3,000 字以内，便于我每月复用；
3. 不许出现需要主观打分的判定项，全部改成可数、可判是否；
4. 最后说明这 3 条题分别能暴露哪一类退化。

第二步：每月固定跑一遍，记 12 个数据点

3 条题 × 4 个记录项 = 12 个数据点，一次 12 分钟（每条题 4 分钟，含复制粘贴与判定）。记录项就四项：格式合规与否、关键词保留率、字数偏差百分比、结论与基线是否一致。不要加「主观质量分」，那玩意儿每月都会变，加了反而干扰判断。

跑的时候有个前提：参数固定。这次固定 temperature、固定 max_tokens、不挂任何额外系统提示。参数一变，测出来的差异分不清是模型变了还是参数变了。如果服务商不支持固定随机种子，那就在记录里注明「单次采样」，同一项连续两个月都异常才判定为漂移。

这是本月用 3 条固定题跑出的结果，请帮我判定是否发生漂移。

基线（第 1 个月）：格式合规 3/3、关键词保留 5/5、字数偏差 +6%、结论一致 3/3
本月结果：（贴 3 条题的原始输出）

请：
1. 逐条判定 4 个记录项，给出数值，不要给「良好」「一般」这类评价；
2. 与基线对比，标出超过阈值的项（阈值：关键词少 1 个、字数偏差超 20%、格式错 1 次即算异常）；
3. 判断异常是单点波动还是趋势，说明需要再看几个月才能确认；
4. 指出如果确认漂移，我应该先改提示词还是先换模型，说明判断依据。

要求：所有判定都要能落到具体的字段名、关键词、字数上；不许凭整体印象给结论。

第三步：连续两个月异常才动手，动手前先补提示词

单月异常不一定是漂移，可能是采样波动。这次第 3 个月的摘要关键词保留率从 92% 掉到 71%，第 4 个月仍是 74%，连续两月才判定为漂移，接着在提示词里补了一句「必须保留以下 5 个原词」，第 5 个月回到 89%。第 5 个月的结构化输出 10 次错 2 次，第 6 个月错 1 次，同类问题，加一条字段校验说明后恢复。

顺序很重要：先补提示词，再考虑换模型。提示词是你能控制的变量，换模型是不可逆的迁移成本。这次两次漂移都靠补一句约束解决，一次都没有换模型。反过来，如果补了提示词仍然连续两月异常，那才说明是能力真的退了，这时候数据也足够支撑换模型的决策。

这是连续 6 个月的体检记录（12 个数据点/月，共 72 条）。

请帮我做趋势分析与处置建议：
1. 画出关键指标 6 个月的走向，指出哪几项出现过两次以上异常；
2. 对每处漂移，判断是「能力退化」还是「输出风格变化」，说明依据；
3. 给出处置顺序：先在提示词里加哪一条约束、预期恢复到什么水平、观察几周；
4. 指出哪些指标如果继续下滑就必须换模型，给出具体的止损阈值。

要求：处置建议要按「先改提示词、后换模型」的顺序给，并说明每一步的观察期；阈值要用数字表示。

实测记录

测试条件：3 条固定题、4 个记录项，每月跑一次，单次 12 分钟。连续 6 个月，共 72 条记录（每月 12 个数据点）。参数固定 temperature 与 max_tokens，不挂额外系统提示。

结果：6 个月里抓到 2 次明显漂移。第 3 个月摘要关键词保留率从基线 92% 降到 71%，第 4 个月 74%，连续两月异常判定为漂移；补一句「必须原样保留以下 5 个关键词」后，第 5 个月回到 89%。第 5 个月结构化输出出现 10 次里 2 次格式错误，第 6 个月 10 次里 1 次，补字段校验说明后恢复。

两次漂移都是靠补提示词解决的，没有换模型。这也回答了「到底该不该换」这个问题——先证明提示词补不上，才轮到换。如果没有这 72 条记录，第 3 个月那次很可能会被归成「最近输出质量一般」，然后一直将就下去，直到线上流程出错。

最容易错的 3 个地方

第一，改题。每月微调题目看起来是在优化测试，实际把对比基准毁了。这次 6 个月题目一个字没动，才能把第 3 个月那 21 个百分点的下滑归到模型身上。要出更好的题，另开一套，老的这套继续跑。

第二，单月异常就动手。采样有波动，这次第 3 个月异常、第 4 个月也没恢复才判定漂移。单月就改提示词或换模型，很容易把本来正常的状态改坏，而且后面也说不清改善是谁的功劳。

第三，先想换模型。换模型是一次不可逆的迁移，所有提示词、输出格式、下游解析都要跟着改。这次两次漂移各补一句话就恢复了。顺序反了，成本高十倍，还不一定解决问题。

可复用的东西

3 条题的组合：结构化输出、压缩保留、多重约束，覆盖最常依赖的三类能力。

4 个记录项：格式合规、关键词保留率、字数偏差、结论一致性，全部可数可判，不含主观分。

12 分钟一次：3 题 × 4 分钟，每月固定一天跑，成本低到没有理由不做。

连续两月才算漂移：单月异常记录观察，两月同项异常才动手，避开采样波动。

先补提示词后换模型：提示词是可控变量，这次两次漂移都靠加一句约束解决。

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接