4 个模型跑同一份稿：按 token 账单算成本

把同一份稿子丢给四个模型，账单出来一对比，最便宜的那个只要最贵的三分之一。于是你选它。一个月后发现成本没降——因为它经常要跑两三遍才有一版能用，省下的钱全花在重试上。

一句话结论

算模型成本要按「每千字可用成稿成本」算，不是按 token 单价算。公式很简单：单次成本 × (尝试次数 ÷ 可用次数)。实测四个模型跑同一份 2,000 字原稿、各 3 次：单次成本最高与最低差 3.2 倍，但换算成成稿成本，差距缩到 1.33 倍，而且单次最便宜的那个排名掉到第三——因为它 3 次里只有 1 次可用。

这篇解决什么问题

三种情况最常见。一是只看单价：账单页上列着每百万 token 多少钱，选最便宜的，但那个价格是「一次调用」的价格，不含失败重试。二是「可用」标准模糊：靠感觉说「这版还行」，于是便宜模型的可用率被高估，成本算出来偏低。三是输入输出混着算：输入 token 便宜、输出贵，两个模型的输入输出比例不一样，只比总 token 数没有意义。

根子是把成本当成「一次调用的价格」，而真正要付的是「一篇能用的稿子的价格」。这两者之间隔着一个「一次可用率」。把这个数字加上去，排序会完全变样。

开始前要准备什么

• 一份固定输入：同一份原稿、同一个提示词、同样的 max_tokens。任何一项不同，成本差异就分不清来自模型还是来自设置。
• 一个写死的「可用」判定标准。这是整件事的地基。标准要能勾选：覆盖了指定的 5 个要点、字数在要求区间内、没有事实错误、没有格式错乱。四项全过才算可用。
• 能拿到分项账单：输入 token、输出 token、缓存命中（如果有）。只拿到总费用，就没法解释差异从哪来。
• 一条纪律：每个模型至少跑 3 次。只跑 1 次，可用率只有 0% 或 100% 两个值，毫无意义。

具体怎么做

第一步：先统一输入与判定标准，再开始跑

成本对比的失败大多出在这一步：模型 A 用的是完整提示词、模型 B 用的是精简版，最后算出来 A 贵一倍，其实是输入多了 40%。统一的东西包括原稿、提示词、输出长度上限、温度参数。

「可用」的四项勾选标准必须在跑之前写下，跑完再定标准，人会不自觉地往「我刚才觉得还行」的方向调。实测把标准写成四项勾选之后，两个原本觉得「差不多能用」的版本被判成不可用——一个是漏了第 4 个要点，一个是字数超了 30%。

我要对比 4 个模型的成稿成本。先帮我定判定标准，先不要跑。

任务是：把一份 2,000 字的原稿改写成 800 字左右的摘要版，要求覆盖原文的 5 个核心要点。

请帮我把「可用」写成 5 条可勾选的判定项：
1. 结构类（覆盖几个要点、段落数）；
2. 长度类（字数区间，上下限各多少）；
3. 事实类（原文数字必须原样保留，不许改不许省）；
4. 格式类（不许出现 markdown 标记、不许出现「以下是」这类开场语）；
5. 语言类（不许出现原文没有的新观点）。

每条要写成「看到什么就判不合格」的形式，我要能拿着它逐份勾。
另外说明：如果一份稿子只差一条不合格，算不算可用？给出你的建议和理由。

第二步：每个模型跑 3 次，记录分项 token

只记录总费用不够，要记输入 token、输出 token、每次的可用判定。实测四个模型的输入 token 差别很小（同一份提示词），差异全在输出长度上——有两个模型会「自作主张」写长，输出 token 比要求多 40% 到 60%，这是它们看起来更贵的主因之一。

跑的时候别改温度，那等于换了测试条件，结论不可比。

这是 12 次调用的记录（4 个模型各 3 次，含输入 token、输出 token、单次费用、生成的正文）。请按我给的 5 条判定标准逐份判定，并算出成本。

对每一份输出：
1. 5 条判定逐条勾（过 / 不过 / 无法判断），并指出不过的那条具体错在哪；
2. 最终判定：可用 / 不可用；
3. 单次成本（按我提供的单价折算，标明是否含缓存命中抵扣）。

然后按模型汇总：3 次里几次可用、平均输出 token、单次平均成本、成稿成本（单次平均成本 × 3 ÷ 可用次数）。

要求：不要调整我的判定标准，也不要因为「整体不错」就把不合格的判成可用。如果某份在两条标准之间摇摆，单独列出来说明。

第三步：算成稿成本，注意输入输出要分开看

成稿成本 = 单次平均成本 × (尝试次数 ÷ 可用次数)。这个公式把重试的代价算进去了。实测四个模型：单次成本按相对单位是 3.2、1.0、1.6、2.4，可用次数 3、1、2、3，算出来成稿成本 3.2、3.0、2.4、2.4——单次最便宜的那个（1.0）成稿成本是 3.0，排第三。

还要单独看一件事：输出长度超标。有两个模型稳定多写 40%~60%，这部分成本不在「单价」里，而在「输出 token 数」里。所以光比单价，永远比不出真实差距。

这是四个模型的汇总数据（单次成本、可用次数、平均输出 token）。请帮我算成稿成本并做敏感性分析。

三件事：
1. 按「单次平均成本 × 3 ÷ 可用次数」算出成稿成本，排名；
2. 敏感性：如果可用次数上下浮动一次（比如 3 次变 2 次、1 次变 2 次），排名会不会变？哪些模型的排名对波动最敏感？
3. 拆分归因：每个模型的成稿成本里，多少来自单价、多少来自输出超标、多少来自重试？请用百分比表示，总和 100%。

最后回答：如果月产量是 500 篇，按现在的数据，选哪个模型总成本最低？如果产量翻倍变成 1,000 篇，答案会不会变？为什么。

第四步：把结论落到「什么情况下换模型」

算完成本不等于要换。要换的判据是：成稿成本差距超过 30%，且质量差异在可接受范围内。如果贵的那个一次可用率是 100%、便宜的是 33%，成稿成本差距不到 10%，那换过去只省了个位数百分比，却多了一堆重试和人工判定，不划算。

这个结论有时效：模型版本或价格一变，前面的账全部作废。可复用的是公式与标准，不是那组数字。

基于上面的结果，帮我写一份「换模型判据」，我要贴在团队文档里。

包含：
1. 触发换模型的三个条件（写成 if 形式，要能直接用数据判断）；
2. 换模型前必须重跑的最小实验（几次调用、什么输入、怎么判定）；
3. 一份 30 秒能填完的成本对比表字段（列名 + 每列怎么取数）；
4. 明确的「不需要换」的情形，至少三条——我要能拿它挡掉「听说那个更便宜」这类提议。

不要写「建议综合评估」这种话，每条都要能执行。

实测记录

素材是一份 2,000 字的工具测评原稿，要求改写成 800 字摘要版并覆盖 5 个核心要点。统一提示词、统一 max_tokens、统一温度，四个模型各跑 3 次共 12 次，判定标准四条（覆盖要点、字数、数字原样保留、无 markdown 与开场语）。

判定结果：甲 3 次全可用、乙 3 次只有 1 次可用、丙 3 次 2 次可用、丁 3 次全可用。乙的两次失败都是漏要点——它习惯把 5 个要点合并成 3 段说，第 4 个要点（数据口径）被吃掉了。

单次成本按相对单位折算（以乙为 1.0）：乙 1.0、丙 1.6、丁 2.4、甲 3.2。按成稿成本算：丙 2.4、丁 2.4、乙 3.0、甲 3.2。也就是说单次成本差 3.2 倍，成稿成本差 1.33 倍，最便宜的那个从第一掉到第三。

归因上还有一笔账：丙和丁的输出 token 比要求多 40% 到 60%，这部分拉高了它们的单次成本；甲的输出最贴要求，但单价最高。乙的单价最低，可它为了把 5 个要点塞进 800 字，反而写了 1,300 多字，输出 token 是四个里最多的之一。

全程约 3 小时，其中判定占了一半以上——12 份稿子逐条勾选，每份 8 分钟左右。这个时间要算进成本里：如果月产量只有 20 篇，人工判定的时间成本远大于模型差价，这时候按单价选最便宜的就够了，不必做这套测算。

最容易错的 3 个地方

第一，只跑 1 次就下结论。一次可用率只有 0% 和 100% 两个值，等于没测。至少 3 次，最好是 5 次——实测乙的可用率在 3 次里是 33%，扩到 5 次是 40%，结论方向没变但数字更稳。

第二，「可用」靠感觉判。跑完凭印象说「这个还行」是最常见的错，而且偏差方向总是偏乐观。判定标准必须在跑之前写成勾选项，跑完不许改。这次把标准写死之后，两份「差不多能用」的被判成不可用。

第三，不算输出超标。有的模型稳定多写 40%，这部分成本藏在输出 token 里，单价表上看不出来。所以要比「每篇实际消耗的 token」，不能只比单价。

可复用的东西

成稿成本公式：单次平均成本 × (尝试次数 ÷ 可用次数)。把重试代价算进去，排序会变。

可用四标准：覆盖指定要点数、字数区间、数字原样保留、无格式污染与开场语。跑之前写死。

倍数参照：单次价差 3 倍以上时，一定要看可用率，否则结论大概率是反的。

换模型判据：成稿成本差超 30% 且质量可接受才换；差 10% 以内不换，重试与判定的人工成本会吃掉差额。

时效提醒：模型版本与价格一变，历史账全部作废，可复用的是公式与标准，不是那组数字。

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接