Coze 上的客服智能体接了 80 篇知识库文档，看着挺好用，抽 30 个真实问题一测，21 个答对、4 个答偏、5 个凭想象给了答案。那 5 个最麻烦——语气专业、格式规范，用户不会怀疑。补了 3 类兜底话术再测，凭想象作答的降到 0，答对的升到 25 个。130 分钟，改的全是话术，没动知识库。
一句话结论
知识库答不准，不一定要补文档，很多时候是要给它一条「可以不答」的退路。智能体答不出时的默认行为是凑——从相近段落里拼一个听起来合理的答案。所以先做的是把失败案例分成三类、每类给一条固定话术、让人工接手有明确的触发条件。文档该补的补，但兜底先做好，否则补完还有新的空白。
这篇解决什么问题
三种情况最常见。一是只看抽查感觉：随手问几个问题，答得挺顺就上线了，没测过边角问题。二是把答偏当成文档不够：于是不停加文档，文档从 30 篇加到 80 篇，答偏的问题没少，因为问题不在覆盖量，在问题本身有歧义。三是没有转人工的明确条件：什么时候该转人工说不清，结果该转的没转，不该转的都转了。
根子是把智能体当成「答题机器」，要求它每个问题都答。真实客服场景里，「这个我不能确定，帮您转人工」比一个错答案有价值得多。兜底话术不是失败退路，是质量控制手段。
开始前要准备什么
- 30 个真实问题，从客服记录里抽，不要自己编。要包含边角问题与说法含糊的问题。
- 一份标准答案：每个问题人工写出正确答复与出处，用来判分。
- 三类失败的判定标准：无覆盖、文档过期、问题歧义，写清各自的识别信号。
- 一条纪律：凭想象作答是最严重的失败，比答不出严重。它会让用户失去对整套系统的信任。
具体怎么做
第一步：抽题要覆盖四类，不要只抽常见问题
30 个问题怎么抽决定了测试有没有意义。这次按四类各抽：高频常规问题 12 个、知识库明显没写的 6 个、文档写了但可能过期的 6 个、说法含糊需要澄清的 6 个。抽题 20 分钟。
如果只抽高频问题，结果一定是「答得好」，因为高频问题文档里写得最全。真正上线后会出问题的是边角问题，测试必须把它们按比例放进来。这次 30 个里 18 个属于边角，占比 60%，比实际比例高，是有意加压。
这是知识库的 80 篇文档标题清单与客服记录里抽出的问题候选（约 200 条）。
请帮我抽 30 个测试问题，按四类分配：
1. 高频常规问题 12 个；
2. 知识库明显未覆盖的 6 个（例如新政策、新活动、特殊资质）；
3. 文档已写但可能过期的 6 个（涉及版本号、价格、时效、政策期限）；
4. 说法含糊、需要澄清的 6 个（一问多义、指代不明、缺少关键限定）。要求：每个问题给一句“它属于哪一类、为什么”；问题用用户的原话口气，不要改写成规范问法。
第二步：测完先分三类，别急着改文档
测试 25 分钟。30 个问题里答对 21、答偏 4、凭想象给答案 5。9 个失败案例逐个看，分成三类：知识库无覆盖 4 个（问的是新政策，文档里确实没有）、文档过期 2 个（文档写的是旧版本规则）、问题歧义 3 个（用户问「能不能退」，实际问的是换货能不能退差价）。
这个分类直接决定改法。无覆盖要补文档或转人工；过期要加版本提示并建立更新机制；歧义要反问澄清，补文档没用——文档里两种情况的规则都写了，是用户没说清。以前把三类混在一起处理，所以加到 80 篇文档还有答偏的。
这是 30 个问题的测试结果（每题含问题、智能体答复、标准答案）。
请帮我归因：
1. 把 9 个失败案例分成三类：知识库无覆盖、文档过期、问题歧义；
2. 对每类说明识别信号（答复里出现了什么特征，说明属于这一类）；
3. 指出每类对应的正确改法（补文档 / 加版本约束 / 反问澄清 / 转人工）。要求：先分类再说改法；答偏与凭想象作答要分开标注，不要合并。
第三步：给三类各写一条兜底话术
三类兜底各一条，写清触发条件与话术模板。无覆盖类：转人工加收集需求，话术是「这个问题我这边查不到准确答复，帮您转给同事，同时记下您的情况」。过期类：给版本提示加转人工，话术是「我看到的相关说明是旧版本，为避免给错信息，帮您确认后再回复」。歧义类：反问澄清，话术是「您说的是 A 情况还是 B 情况」。35 分钟写完。
话术有个共同要求：不能说「我不知道」就结束。必须给出下一步动作（转人工、确认后回复、反问），否则用户会重复提问，或者直接放弃。这次三类话术都带动作，转人工的还带一句「预计多久回复」。
这是三类失败案例与各自的触发条件。
请帮我写兜底话术，每类一条：
1. 触发条件（智能体判断依据是什么，要能被规则化）；
2. 话术正文（口语，不超过 50 字，不许出现“我不知道”“无法回答”这类终结性表述）；
3. 下一步动作（转人工 / 反问澄清 / 承诺确认后回复，含预计时间）。约束：话术要让用户知道接下来会发生什么；不许承诺具体结论；不许把责任推给系统。
第四步：重测，重点看「该转的转没转」
重测 20 分钟。结果：答对 25、答偏 1、转人工 4。凭想象作答从 5 降到 0，这是最关键的指标。剩下 1 个答偏的是歧义类判定失效——用户问「这个能不能退」，智能体直接按退货规则答了，没走反问。
重测的判分标准要改：不只判「答对没答对」，还要判「该转人工的有没有转」。这次 4 个无覆盖问题全部正确触发转人工，说明触发条件写对了；歧义类的判定条件还得加一条「问题里出现『退』『换』『改』这类一词多义的动词时必须反问」。
这是加了兜底话术后的重测结果（30 题）。
请帮我评估：
1. 逐题判断：答对 / 答偏 / 该转人工且转了 / 该转但没转；
2. 指出触发条件失效的案例，分析是条件写得不够具体还是被其他规则覆盖；
3. 对每处失效给出条件修订建议。要求：把“该转没转”单独统计，这是最需要改的一项；答偏与转人工分开计。
实测记录
素材是 80 篇知识库文档与 200 条候选问题。抽题 20 分钟、测试 25 分钟、归因 30 分钟、写兜底话术 35 分钟、重测 20 分钟。合计 130 分钟。
结果对比：首测 30 个问题，答对 21、答偏 4、凭想象作答 5。加兜底后重测，答对 25、答偏 1、转人工 4，凭想象作答降到 0。原来 9 个失败里，4 个变成答对（过期类加了版本约束后答对 2 个、歧义类反问后答对 2 个），4 个变成正确转人工（全部是无覆盖类），剩下 1 个仍答偏。
要说清一点：这次没有改知识库，一篇文档都没加。先验证兜底能不能解决问题——9 个失败里 8 个有了着落，剩下的那个是歧义判定失效，要改触发条件而不是加文档。凭想象作答归零这一项，比答对率提升 4 个更能说明兜底起作用了。
最容易错的 3 个地方
第一，只测高频问题。高频问题文档写得最全，测出来一定是高分。这次 30 个问题里 18 个是边角，就是不让高分掩盖问题。上线后真正惹麻烦的几乎都是边角问题，而边角问题不会被主动测到。
第二，把答偏当成文档不够。歧义类问题补文档没用——两种情况的规则文档里都写了，是用户没说清。这次 3 个歧义问题如果继续加文档，加到 120 篇也还是答偏。要先分清是覆盖问题、过期问题还是歧义问题。
第三，兜底话术只说「不知道」。「抱歉我不知道」等于把问题扔回给用户，用户会重复问或者直接走人。话术必须带下一步动作：转人工、反问澄清、承诺确认后回复，并给出预计时间。这次三类话术都带动作，重测时用户侧没有重复提问。
可复用的东西
四类抽题：高频 12、无覆盖 6、可能过期 6、说法含糊 6，边角占比要高。
失败三分类：无覆盖、文档过期、问题歧义，各自改法完全不同。
兜底带动作：转人工、反问、承诺回复，三条都必须带预计时间，不许只说不知道。
重测双指标：答对率之外，单列「该转没转」，这一项比答对率更能反映兜底质量。
先兜底后补文档：兜底能覆盖的就不必加文档，先验证再决定补什么。
常见问题解答
为什么凭想象作答比答不出更严重
因为它语气专业、格式规范，用户不会怀疑。这次 5 个案例里 3 个给了听起来完全合理的答案，只是数字是旧版本的。这种错误一旦被用户按着执行，损失比一句「我帮您转人工」大得多，而且会让整套系统的可信度归零。
失败三分类有什么用
三类改法完全不同。无覆盖要补文档或转人工；文档过期要加版本提示并建更新机制；问题歧义要反问澄清，补文档完全没用——两种情况的规则文档里都写了，是用户没说清。混在一起处理，就会一直加文档还一直答偏。
兜底话术为什么不能只说不知道
「抱歉我不知道」等于把问题扔回给用户，用户会重复问或者直接走人。话术必须带下一步动作：转人工、反问澄清、承诺确认后回复，还要给预计时间。这次三类话术都带动作，重测时用户侧没有出现重复提问。
重测为什么要单列「该转没转」
因为它比答对率更能反映兜底质量。答对率可以通过答更多简单题刷上去，而「该转没转」直接说明触发条件失效。这次重测 4 个无覆盖问题全部正确触发，说明条件写对了；歧义类有 1 个没触发反问，据此又补了一条判定规则。
本网站的部分内容可能来源于网络或用户投稿，仅供大家学习与参考，如有侵权，请联系客服： hhxmw778 进行删除处理。
本站一切资源不代表本站立场，并不代表本站赞同其观点和对其真实性负责。
教程如引导您添加微信或有另外收费服务，请自行甄别！
如遇充值环节或绑定支付账户或输入支付密码之类的异常步骤，建议停止操作！本站不对操作项目的损失负责！
本站一律禁止以任何方式发布或转载任何违法的相关信息，访客发现任何资源有问题请向站长举报下架
(手机微信用户建议用默认浏览器打开，可体验完整功能)
按岗位找 AI 实操步骤 · 提示词可收藏