3 步 · 3 段可复制提示词 · 约 8 分钟读完
站内精选
核心结论

80 页制度整份丢给 AI 问,答得有条理但数字错。原因三条:按文件切块、没定边界、没测过。改成按「谁能回答」切 15 个问题域,加三条边界规则,再用 20 条已知题测,答对从 13 条升到 17 条。

把员工手册、报销制度、产品说明整份丢给 AI,然后问它「出差住宿标准是多少」。它答了,条理清楚、语气笃定,数字是错的——把「一线城市 500」说成「统一 400」。你只能自己翻原文核对,翻完发现翻了 800 字。这个来回比直接查还慢。

一句话结论

资料问答答不准,九成不是模型不行,是资料没切、边界没定、结果没测。整份 80 页文档丢进去,它每次回答都在 80 页里找相似段落,找到的常常是「说得像」而不是「说得对」。三步能解决:先按「谁能回答这个问题」切块(不是按文件切)、再定死边界(答不出就说「资料未说明」,每条必须带原文位置)、最后出 20 条已知答案的题测一遍。没测过的问答入口,等于没做。

这篇解决什么问题

三个症状。一是答案有条理但没根据:它会自动补全逻辑,「根据规定,住宿标准按城市分级」——制度里确实分级,但分几级、每级多少,它是猜的。二是跨文件就串:报销标准在制度里、执行细则在通知里,两处说法不完全一致,它把两处混起来答,看起来更完整,实际是缝合。三是不知道什么时候该说不知道:问一个制度里根本没写的事,它照样给你一段像模像样的答复,这比答错更危险。

根子在于把「检索」和「生成」当一件事。检索要准,生成要顺,目标相反。整份文档丢进去,它只能一边找一边编,编得越顺越可能是假的。

开始前要准备什么

  • 20 条已知答案的问题,答案你能背出来那种。这是后面测准确率用的,没有这 20 条,你不知道它到底准不准。
  • 资料的权威顺序:制度和通知冲突时以哪个为准,先定。不定它就会随机挑一个。
  • 一条纪律:答不出就说「资料未说明」。这句话必须写进提示词,不写它不会说。

具体怎么做

第一步:按「谁能回答」切,不按文件切

大多数人按文件名切:制度一个块、通知一个块、产品一个块。这样切的坏处是,一个问题的答案常常横跨两个文件,切开就断了。

正确的切法是问自己:「这个问题,哪个部门/哪个角色能一句话答上来?」把同类答案放在一起。80 页制度通常能切成 12 到 18 个问题域——考勤、报销、采购、用印、差旅各算一个。

切完每个域给它一个「范围声明」:这个域里有哪些文件、覆盖到哪一步、哪些情况不在范围内。范围声明比资料本身更重要,因为它决定它什么时候闭嘴。

这是 80 页的员工制度汇编,我要把它做成一个能问的入口。

请帮我切块,规则是「按谁能一句话回答这个问题切」,不要按文件切:
1 列出全部问题域,每个域给一个名字(比如考勤、报销、用印),数量控制在 12 到 18 个;
2 每个域下面列出「回答这个域需要哪些文件、第几章、大致范围」,注明该域覆盖哪些情况、明确不覆盖哪些情况;
3 标出哪些问题在两个域之间重叠(比如「加班」既在考勤也在报销),并说明重叠处两边的说法是否一致;
4 对不一致的地方,列出原文对比,不要替我决定以哪个为准。

硬约束:不要总结制度内容,只做切块和范围标注;不许合并问题域来凑数。

第二步:定死边界,每条必须带位置

切完就要装「刹车」。三条规则缺一不可:答不出说「资料未说明」、每条答案带文件+章节、跨文件时分别引用。

第三条最关键。跨文件的问题不要让它合成一个答案,让它分别说「制度第 4 章说 X,通知第 2 条说 Y,两者在 Z 处不同」。你看到分歧,自己判断;它替你判断,你就失去了判断的机会。

这是一个问题域的资料(报销相关:制度第 4 章、财务通知 3 份)。

现在回答我的问题,遵守三条硬规则:
1 如果资料里没有明确写,直接回答「资料未说明」,不要推测、不要用常识补;
2 每条结论后面必须标出处,格式为「文件名 第X章/第X条」,没有出处的话不要说;
3 如果答案涉及两份以上文件且说法不完全一致,分开列出各自的原文,并指出不一致在哪,不要合并成一个答案。

我的问题:出差到一线城市,住宿标准每天多少,超标了怎么处理?

另外请告诉我:这个问题在资料里的覆盖程度是「完全明确」「部分明确」还是「未涉及」。

第三步:拿 20 条已知题测,算准确率

不测就上线,等于把风险推给使用者。测法很土但有效:准备 20 条你确定答案的问题,一半是正常问题、一半是「资料里根本没写」的问题,看它答对几条、该说不知道的时候有没有说。

两类错误要分开算:答错(有答案但答错)和该拒没拒(没答案却编了一个)。后者更危险,因为使用者分不出来。

这是我整理的 20 条测试题,答案我写在每题后面(我自己的标注,未放进资料)。

请逐条回答,然后对照我的答案自评:
1 每条给出你的答案、出处、以及「资料是否覆盖」的判断;
2 我的答案和你的一致/不一致,如实说明;
3 最后汇总:答对几条、答错几条(列明哪几条)、该说「资料未说明」却给了答案的有几条;
4 对答错的题,指出是资料切块的问题还是资料本身没写清楚。

硬约束:不许因为看到我的答案就改口,先独立回答再对照;不许把「答案接近」算作答对。

实测记录

80 页制度切成 15 个问题域,其中 3 个域有重叠(加班、出差、采购审批),重叠处两边说法不一致的有 2 处,都出现在「通知」和「制度」之间——通知更新,制度没跟着改。

20 条测试题的结果:答对 17 条、答错 2 条、该拒没拒 1 条。答错的 2 条都是跨文件题,它把两处数字混起来取中间值;该拒没拒的那条问的是「境外差旅标准」,资料确实没有,它按境内标准外推了。

两个数值得记住。一是切成 15 个域比切成 5 个大块准得多,同样的 20 道题,切成 5 块时答对 13 条,切成 15 块时 17 条。二是「资料未说明」这句话必须显式写进提示词,不写的那一版,20 条里它一条都没说「不知道」。

最容易错的 3 个地方

第一,把整个文件夹丢进去。资料越多找错概率越大,它倾向于找「最像」而非「正确」的段落。宁可多切几块,一次只喂一块。

第二,不要出处。没有出处只能全信或全不信。要求出处后,至少能看出它引的是哪一章,对不对当场能核。

第三,不测就给人用。你自己问三个觉得准,同事一问就错。20 条测试题花一小时,能省掉后面几十次返工。

可复用的东西

按「谁能回答」切块:不按文件切,按问题域切。80 页大约 12 到 18 个域。

范围声明:每个域写清覆盖什么、不覆盖什么。它决定系统什么时候闭嘴。

三条边界规则:未写就说不知道、每条带出处、跨文件分开引用不合并。

20 条测试题:一半正常题、一半「资料里没有」的题。分开统计答错和该拒没拒。

常见问题解答

切块具体怎么切,有没有标准

标准是「谁能一句话回答这个问题」。考勤专员能答考勤,财务能答报销,行政能答用印——按这个把资料分成 12 到 18 块。不要按文件名切,因为一个问题的答案常横跨两个文件:比如「加班」既涉及考勤制度也涉及加班费计算通知,按文件切开就断了。切完每块写一句范围声明,说清覆盖什么、不覆盖什么,这句话决定了它什么时候说「不知道」。

为什么非要它给出处,不给不行吗

给出处是为了让你能核。没有出处,你只能选择全信或全不信;有出处,你可以只核关键那条。实操上还有第二个作用:要求给出处会显著降低它编造的概率,因为它得先找到原文才能引。注意出处的粒度要具体到章节或条款,写「见员工手册」这种等于没写。

20 条测试题怎么出,我没那么多时间

不用一次出 20 条,先出 10 条也能用,但要保证一半是「资料里根本没写」的问题。正常题从你最常被问的问题里挑,答案你能背出来那种;「没有答案」的题随便问几个偏门的,比如境外差旅、离职后年假结算。做完一轮记录下来,以后资料更新了再跑一遍同样的题,就能看出有没有退步。整个准备过程通常一小时以内。

两个文件说法不一致,以哪个为准

这个不能交给 AI 定,得你自己定,而且要定一次写下来。做法是先让它把两处原文并列列出来,你看日期和效力层级:一般后发的通知覆盖在先的制度,但如果制度是盖章正式版本、通知是邮件通知,就要看公司实际执行哪个。定完之后,在范围声明里写一句「冲突时以 X 为准」,以后它遇到同样情况就不会再随机挑。

小程序阅读免费
微信扫码进入小程序,按岗位找 AI 实操步骤
微信扫码进小程序
按岗位找 AI 实操步骤 · 提示词可收藏

发表回复

后才能评论