扣子搭问答机器人：喂 20 条 FAQ 再测 10 问

问答机器人答不准，大多数时候不是模型不行，而是喂给它的资料太像「给人看的文档」。把 20 条 FAQ 整理成一条问答一段、配 3 个同义问法，再拿 10 个问题分四类测一遍，命中率能从 6/10 提到 9/10。本文给这套 5 步流程和一张能直接抄的测试表。

一句话结论

答不准的根子在知识库分段和用户提问方式对不上：你上传的是一整篇 FAQ 文档，平台按 300 字左右切碎，一个问题被切成两段，检索到的半段答不了整问。改成一条问答存一段（问题 + 3 个同义问法 + 答案），把分段从「自动」改成按段落，再写死兜底话术：实测 20 条 FAQ 首测命中 6/10，改完 9/10。剩下 1 条是越界问在编价格，靠兜底拦住。整件事 2 小时能做完，其中 1 小时花在整理资料上。

这篇解决什么问题

三种情况最常见。一是把公司现成的 FAQ 文档直接拖进知识库，测试时问「能开发票吗」答得挺好，问「发票什么时候到」就开始编。二是只拿自己想得到的问题测，10 个问题全过，上线第二天被真实用户一句话问倒。三是多轮对话接不上，用户第二句说「那退款呢」，机器人当成新问题重头解释。

根子是把这件事当成「上传资料」，而它其实是「把问答对重新排一遍」：一个问题要能独立被检索到，答案要能脱离上下文读懂，越界的问题要有一个统一的出口。五步做完，得到 20 条结构化问答、一份兜底话术、一张 10 行的测试记录表。

开始前要准备什么

• 真实提问记录，不要自己编：从客服聊天记录、工单、群消息里捞近 30 天的原始问法，同一件事用户会有 5 种说法，这些说法就是同义问法的来源。自己编的问题往往比真实提问更规范，测出来的分数是假的。
• 20 条 FAQ 原文，含不能改的措辞：价格、时效、政策条款这类，答案里必须原样保留，不能让模型改写。整理时把这些句子标出来。
• 一份「不能回答清单」：哪些问题明确不归机器人管（投诉、法务、个人账户），写清楚，后面要变成兜底话术的一部分。
• 一个扣子账号和一个空 Bot：选「文本问答」类型即可，不要一开始就挂插件和工作流，先把知识问答这一层跑通。

具体怎么做

第一步：按被问到的次数排 20 条，砍掉长尾

把近 30 天的提问按主题归并，数每个主题出现多少次。先做前 20 个主题——实测这 20 个通常覆盖 70% 到 80% 的提问量，剩下的是长尾，做进去只会稀释检索效果，还会让越界判断变模糊。排序这一步别偷懒，它决定了后面所有工作的性价比。

这是近 30 天的客服提问记录（原始问法，已脱敏）：（粘贴）

请帮我完成三件事：
1. 把意思相同或接近的提问归成一个主题，主题名用用户的口语说法，不要用我们的业务术语；
2. 按每个主题被问到的次数从高到低排序，输出表格：主题名 / 次数 / 占比 / 该主题下 5 种不同的原始问法；
3. 标出哪几个主题属于「同一件事的不同阶段」（比如「怎么退」和「退到哪了」），它们要放在一起看。

不要替我编造提问，只统计我给的这些。

第二步：一条问答存一段，带 3 个同义问法

这一步是整套流程里最值钱的动作。每一条的结构固定为三段：标准问 / 同义问法（3 条，用「、」分隔）/ 答案，一条存成一个段落，段与段之间空一行。这样切分时一条问答不会被切断，检索时命中任意一个问法都能落到完整答案上。

请把上一步的 20 个主题，整理成 20 条知识库条目，每条的格式严格如下（不要加序号以外的任何符号）：

【问题】用户最常用的那种问法
【同义问法】另一种说法、再一种说法、口语化的短说法
【答案】不超过 120 字，第一句直接给结论，后面再补条件

要求：
1. 同义问法必须来自我给的真实提问记录，不许自己造句；
2. 答案里涉及价格、时效、政策条款的句子，原样保留我给的措辞，一个字都不许改；
3. 答案不要出现「根据相关规定」「具体以实际为准」这类空话，如果不确定就写「需要人工确认」；
4. 每条的答案必须能脱离上下文单独读懂，不要写「如上所述」「同前」。

第三步：上传知识库，把分段从「自动」改成按段落

扣子的知识库默认是自动分段加清洗，对整篇文档很省事，但对我们这种一条一段的结构反而是破坏——它会把一条问答再切两半。做法是在分段设置里选自定义分段，分隔符用空行，单段长度上限设到能装下最长那条答案。改完必须回到文档预览里翻两条，确认一条问答确实在一段里，这一步不看预览就等于没改。

我上传的知识库分段设置如下：（截图或描述当前设置）

请告诉我：按「一条问答一段、段间空一行」的文档结构，分段方式应该怎么设，为什么。
然后列出我需要回头核对的 3 个地方——也就是设置完之后，最容易出现「一条被切成两段」的位置。

第四步：写死人设和兜底，把「不知道」变成一个正常回答

人设与回复逻辑那一栏不是写欢迎词的地方，它要干三件事：限定回答范围（只答知识库里的内容）、规定不确定时的动作（说不知道 + 给人工入口）、规定语气与长度（不超过 3 句，不用「亲」）。兜底话术要写到能直接发出去，不能是「抱歉我不明白」这种把用户堵死的话。

这是我的业务范围：（一段话）
这是我的「不能回答清单」：（投诉、法务、个人账户…）

请帮我写人设与回复逻辑，要求：
1. 明确「只根据知识库回答，知识库里没有的，一律不要推测」；
2. 不确定时输出固定的一句兜底，并附上人工入口的说法；
3. 命中「不能回答清单」时，直接转人工，不要先试着答一半；
4. 单次回复不超过 3 句、不超过 80 字，不用感叹号，不用「亲」这类称呼；
5. 用户一次问了两件事时，先答第一件，再问要不要接着说第二件。

第五步：按四类测 10 问，填表打分而不是「感觉还行」

10 个测试问题固定分四类：标准问 3 个（照知识库原话问）、同义问 3 个（换个说法，最好带错别字和口语）、越界问 2 个（知识库里没有的、明确不该答的）、多轮追问 2 个（第二句用「那…呢」承接）。每一问只判三种结果：答对 / 答偏（方向对但缺信息）/ 答错（编了或拒答）。实测首轮 6/10 里有 3 条答偏，全部出在同义问上。

这是我的 20 条知识库条目和 10 个测试问题（按标准问/同义问/越界问/多轮追问分类）。

请逐条模拟回答，并输出一张表：
| 编号 | 问题 | 类型 | 机器人回答 | 判定（答对/答偏/答错） | 命中的是哪一条知识 |

判定标准：
1. 答对 = 关键结论与知识库一致，没有多余信息；
2. 答偏 = 方向对但缺了关键条件、或只答了一半；
3. 答错 = 知识库里没有却给了具体数字、或本该转人工却继续答。

最后统计：四类各自的准确率，以及「答错」的题集中在哪一类。

实测记录

对象是一个 3 人小团队的产品咨询入口，历史提问 412 条，归并出 27 个主题，取前 20 个做知识库。第一版直接把原来的 FAQ 文档（约 6,800 字）整篇上传，用自动分段，10 问测试结果：标准问 3/3、同义问 1/3、越界问 1/2、多轮追问 1/2，合计 6/10。

翻知识库预览发现问题：一条问答被切成两段的比例接近四成，因为原文里问题和答案之间有空行，自动分段把它当成两段。改成一条一段 + 自定义分段后重测：标准问 3/3、同义问 3/3、越界问 1/2、多轮追问 2/2，合计 9/10。

剩下的那 1 条是越界问「你们明年会涨价吗」，机器人给了「预计上调 10% 左右」——知识库里根本没有这句。补了兜底话术、并在人设里加上「不推测未来政策」之后，这条变成标准兜底加人工入口。整套做下来 2 小时 10 分钟：整理提问 40 分钟、重排 20 条 45 分钟、配置 20 分钟、测试与改 25 分钟。

最容易错的 3 个地方

第一，整份文档直接上传。这是最常见的做法，也是最容易白干的。文档是给人顺着读的，问答要的是「一个问题一个完整答案」。实测自动分段下四成条目被切断，而你在后台只看标题是看不出来的，必须翻预览。

第二，用自己的问题测。自己写的问题往往更规范、更接近知识库原话，测出来分数虚高。同义问一定要抄真实记录里的说法，包括错别字和缩写——用户不会替你纠正语序。

第三，只测标准问，不测越界。答对是及格线，乱答才是事故。越界问至少准备 2 个，其中 1 个要选「用户很想知道、但我们明确不答」的类型，这类问题最容易诱发编造。判断标准不是它答得客气不客气，而是有没有给出一个知识库里不存在的具体数字。

可复用的东西

一条问答的三段结构：标准问 / 3 个同义问法 / 120 字以内答案。一条一段，段间空行，这是知识库能被准确检索的前提。

四类十问的测试表：标准 3、同义 3、越界 2、多轮 2，判定只用答对 / 答偏 / 答错三档。每次改完配置都跑一遍同一张表，前后可比。

兜底三句：一句说明没找到、一句给出能做的替代（转人工或留联系方式）、一句确认还要不要继续问。写死这三句，比让人设去「灵活处理」可靠得多。

不能回答清单：把投诉、法务、个人账户这几类单独列出来，越界判断才有依据，也方便后面加人工转接。

错题归类：10 问里错 1 条就是 10 个百分点，只看总数会被波动掩盖，每轮都要记「错在哪一类」。

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接