用扣子搭资料问答助手，喂完知识再测一遍准确率

一句话结论

用扣子搭资料问答助手就三步：上传资料、写清回答规则、拿测试题跑一遍。20 条题里答对 17 条以上，才判定可用。

这篇解决什么问题

部门里总有一份「谁都在问、谁都不记得」的资料：售后政策、报销口径、产品参数。人一问，就得翻文档或者等知情的人回消息。

这篇讲的是把它做成一个能自己回答的助手，并且用测试题验证它到底靠不靠谱。适用：资料相对固定、问题集中在几十个高频点上。不适用：资料每天在改、或者问题需要现场判断和拍板。

开始前要准备什么

• 扣子账号，个人版有免费额度，跑这类小助手够用
• 豆包，用来整理资料和出测试题，日常使用即可
• 一份 15~30 页的文档，产品手册、流程说明都行
• 一个能核对标准答案的同事，用来判定对错
• 整段流程走完，通常 1.5 小时上下

具体怎么做

第 1 步 · 把资料洗成 AI 读得懂的段落

我第一版图省事，把 25 页的 PDF 原样传进知识库，问「退款一般几天到账」，它答得含含糊糊。翻回去看才发现，原文里的表格被切成了碎片，条件和天数分在了两段里。

所以我改成先让豆包把文档重排一遍，按小标题切段，每段自带一句主题。

下面是一份产品售后政策文档，帮我整理成适合放进知识库的段落，规则如下：1）按原文的小标题分段，每段不超过 400 字；2）每段开头用一句话概括这段讲什么，格式写成「主题：……」；3）原文里的天数、比例、限额这类数字必须原样保留，不要改写也不要四舍五入；4）原文前后说法不一致的地方，单独列在最后，不要自己统一口径；5）不要补充原文没有的内容，缺什么就空着。文档如下：【粘贴文档全文】

预期产出：一份 15~25 段的结构化文本，每段开头带主题句，文末附一张「存疑清单」，那些就是后面要找人确认的地方。

第 2 步 · 建知识库并写死回答规则

扣子里新建一个智能体，知识库选文本类型，把上一步的段落传进去。分段方式用自动，召回条数我从默认的 1 段调到 4 段——只给 1 段，遇到跨段落的问题必然答不全。

真正决定它像不像样的，是人设里那几条规则，尤其是「没有就说没有」。

你是「A 产品」的资料问答助手，服务对象是内部同事和外部客户。回答规则：1）只依据知识库内容回答，不要用常识补；2）知识库里找不到相关内容时，直接说「资料里没写这一条，建议问小周确认」，不要猜；3）回答中出现的天数、比例、限额必须原样引用；4）一个问题需要两段以上资料才能答全时，分点列出，不要揉成一段；5）用户问题有歧义时，先反问一句再回答；6）语气平实，不用「亲爱的用户」这类称呼，不加表情符号。每次回答结束后另起一行，写「依据：」加上引用段落的主题名。

预期产出：一个能在调试窗口里直接对话的智能体，问资料内的问题它会给答案，并且末尾带一行「依据：」。

第 3 步 · 造一套 20 条测试题

这里很多人容易忽略：别自己随手想题。人会不自觉地挑自己会的问，测出来全是满分，上线照样翻车。

我让豆包按三类出题，比例大概是单点事实、跨段落组合、资料里根本没有。最后一类最关键，考的是它会不会编。

根据下面这份资料的主题列表，帮我出 20 道测试题，用于检验一个问答助手的准确率。要求：1）12 道单点事实题，答案落在单一段落里；2）5 道跨段落题，必须综合两段以上信息才能答全；3）3 道「资料里没有」的题，题目要写得像资料里真的会有，用来测试它会不会瞎编；4）题目覆盖文档的前中后各部分，不要都挤在开头；5）每题后面用括号标注答案要点和对应的段落主题，方便我核对。主题列表如下：【粘贴第 1 步产出的主题句】

预期产出：一张 20 题的测试表，带答案要点和出处，其中 3 道是故意设的陷阱题。

第 4 步 · 跑测、记错题、回补资料

一条一条问，只记三件事：答对、答错、答案对但出处标错。出处错也算错，因为下一个人不知道去哪儿核实。

错题别急着怪模型。我遇到的情况里，一半以上是那一段资料本身写得含糊，或者压根没写。

下面是一个问答助手的错误回答，帮我判断它错在哪一类：A 知识库没检索到相关段落；B 检索到了但那段里没有明确答案；C 段落里有答案但表述有歧义；D 没检索就自己编了。先给出判断和理由，再告诉我应该在资料里补一句什么话，能让它下次答对。问题：【原问题】助手回答：【原回答】正确要点：【标准答案要点】

预期产出：一份错题清单，每道错题后面跟着「该补哪句话」，一般落到 3~6 条，改完再重跑一遍。

实测记录

成本这块，全程没有额外支出，个人版的免费额度和豆包的日常使用就能跑完整个流程。

跟手工对比：以前同事在群里抛个问题，等知情的人看到再回，来回常常半小时以上。现在自己查，通常一分钟内出答案，代价是要定期抽检准确率。

失败情况也如实说：第一次跑 20 题，错的在 4 题上下，跨段落那一类几乎全错。把召回段数从 1 调到 4，又补了 3 段资料，重跑后错题降到 1~2 题。陷阱题一条没编，说明兜底话术是起作用的。

最容易错的 3 个地方

1. 整份 PDF 直接丢进知识库，段落被切碎，答案只答一半。改：按小标题切到 400 字内。
2. 提示词只写「你是客服助手」，没说资料没有就直说，它就会编。改：兜底话术写死。
3. 拿自己熟的题去测，全对就以为成了。改：掺 3 道资料里根本没有的题。

可复用的东西

全文四段提示词按顺序存成一份文档：整理段落的、写人设规则的、出测试题的、错题归因的。换资料时只改第一段和第三段里【粘贴】的部分，人设里把产品名和小周这个名字替换掉，其余不动。

这套东西的价值不在「能不能答」，而在「答错时你知道错在哪儿」。跑完一遍，你手里留下的是一份可以交给别人的东西：智能体加一份测试记录。

你手上那份最常被人问起的资料，现在放在哪儿？

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接