站内精选

一句话结论

把同一份真实任务逐字喂给豆包、DeepSeek、通义,各跑一遍并按五个维度打分,半小时内就能定下这活该用哪个。

这篇解决什么问题

团队要定一个默认模型,光看别人做的榜没用,榜上的题不是你的题。更靠谱的做法是拿手上真实存在的一份材料,让三家同台做一遍,再用一张表把”我觉得它更好”变成”它在哪一项掉了分”。

适用:手上有具体活、要在两三个模型之间做取舍的人。不适用:想找”绝对最强”的答案,或者要做技术压测、跑分的读者。

开始前要准备什么

  • 豆包、DeepSeek、通义三个网页版账号,注册就能用,日常额度免费够
  • 一份真实素材,两三千字以内,人名公司名提前换成化名
  • 一张记分的空表,纸笔或在线表格都行,五列五行
  • 预计 30 到 40 分钟,第一次会慢一些

具体怎么做

第 1 步 · 先写一份同题卷

三个模型必须做同一道题,这道题就是下面这段文字,逐字复制,别临场改要求。

你是一名会议记录整理助手。下面是一份产品周会速记,请整理成会议纪要。
要求:
1. 分「结论」「待办」「待定」三块;
2. 待办每条写清负责人和截止日期,原文没写的一律写「未指定」,不许自己补;
3. 全文不超过 400 字;
4. 只输出纪要,不要解释你的做法,不要加开场白。
速记原文:周会速记——老周说首页改版先做 A 方案,李萌提了 B 方案的加载问题。张涛负责下周三前出埋点清单。数据看板要不要加留存曲线,会上没定。小王说设计稿还差两页。下次会定在周四下午。

预期产出:一段 300 字以内的完整任务卷,存进备忘录,后面三步都要用它。

第 2 步 · 三个窗口各跑一遍

粘贴前统一加一句开场,保证三家在同一个起跑线上。联网开关全关,一轮只问一次,不要追问。

下面是一份任务卷,请严格按卷面要求输出。不要复述要求,不要加总结段。凡是原文没有的信息,直接写「未指定」。

预期产出:三段可以并排对比的原始回答,别急着判断好坏,先存下来。

第 3 步 · 按五个维度打分

维度要在打分之前定死:信息忠实度、结构可用度、格式遵守、语言自然度、速度。很多人容易忽略的是,这五项的权重并不相等,我一般把忠实度算双倍。

下面有三份对同一份会议速记的整理结果,分别标为甲、乙、丙,请按四个维度各打 1 到 5 分,每项附一句理由:1 信息忠实度,是否出现速记里没有的人名、日期或结论;2 结构可用度,能否直接贴进群或文档;3 格式遵守,分块、字数、待办三要素是否达标;4 语言自然度,读起来像不像同事写的。第六项速度留空,我自己填。最后给一行汇总。

预期产出:一份甲乙丙的对比评语,用来校准我自己的判断,避免只凭顺眼不顺眼给分。

第 4 步 · 加一条硬约束复测

初卷过得去,不代表加试卷也过得去。把最容易出事的那条约束单独拎出来再跑一次。

还是同一份速记、同样的输出格式,追加三条限制:全文压缩到 250 字以内;每条待办必须同时带负责人和日期;凡是速记里没提到的人物、时间、数据一律不许出现,宁可少写。

预期产出:三份缩水版纪要。谁在压缩时先丢信息、谁先开始编,一眼就能看出来。

第 5 步 · 把分数落成一张表

分数不进表,过两天就忘光了。表里必须有一句结论,否则这张表白做。

把我给你的分数整理成一张表:行是三个模型,列是四个维度得分加一句总评。表格最后追加一行,写「这类活我下次用哪个、为什么」,不超过 40 字,不要写模棱两可的话。

预期产出:一张截图就能存档的三模型评分表,下次同类任务直接翻出来看。

实测记录

项目 实际情况
三家跑完耗时 连复制带粘贴,约 15 分钟
成本 三家都用日常免费额度,本次没有额外支出
和手工对比 我自己整理同类速记通常 40 分钟上下
返工情况 有一家把化名人名写串,重跑了一次
自评与盲评 四项里有三项对得上,剩下那项我改了分

我在实测里发现,三家在初卷上的差距其实不大,真正拉开距离的是第 4 步。加约束之后,有的会老老实实写「未指定」,有的则顺手补了个日期上去。

还有一点:速度这一项别只看首字出现快慢,要看它整段写完需不需要你二次追问。需要追问的那次,实际耗时反而是最长的。

最容易错的 3 个地方

  1. 题目其实不一致:一家开了联网、一家被临时追问。统一条件,一轮只问一次。
  2. 凭整体印象打分:看着顺眼就给高分。先定维度和权重,再逐项打。
  3. 没查编造内容:模型补了原文里没有的名字。加”不许添加”复测。

可复用的东西

五段提示词可以收成一张清单:任务卷、统一开场、盲评口径、加难约束、汇总成表。换任务时只改任务卷里的素材和输出要求,另外四段原样保留。

我一般会把这份清单存成一条备忘录,标题写清用的是什么素材、什么时间跑的,隔一段时间重跑一次,看模型更新后分数有没有位移。真正拉开差距的不是谁更聪明,而是谁在你这份材料上少犯错。

评分表的价值不在于选出冠军,而在于把”我觉得”变成”它在信息忠实度上掉了分”。你手边最近哪份活,最想拿来这样比一遍?

常见问题解答

三个模型必须同一天跑吗?

尽量同一天,最好在半小时内跑完。模型更新频繁,隔几天再跑,比的就不是同一件事了。

手上没有会议速记这种素材怎么办?

任何有标准输出格式的活都行,比如把一段客服对话整理成工单、把产品介绍改写成 200 字简介。关键是素材真实、要求能写清。

五维评分表里的分数要打得多细?

1 到 5 分足够,不必精确到小数。分数的作用是拉开差距和留下记录,不是做学术测评。

小程序阅读免费
微信扫码进入小程序,按岗位找 AI 实操步骤
微信扫码进小程序
按岗位找 AI 实操步骤 · 提示词可收藏

发表回复

后才能评论