智能体答非所问：用 3 条边界用例改提示词

内部客服智能体的提示词只有 210 字，用着总感觉答非所问。抽了 40 个真实提问逐条测：答对 27 个、答偏 13 个，正确率 67.5%。把答偏的 13 条归类后发现只集中在三类边界情况，补 3 条规则后提示词 480 字，同一批题重测答对 36 个，到 90%。

一句话结论

智能体答非所问，大多不是模型不行，是从来没测过边界。这次 40 题里答偏的 13 条，全部落在三类情况上：问的内容不在知识库里、一句话里塞了三个问题、只丢两个关键词连问句都没有。这三类在提示词里一条规则都没有，模型只能自己猜，猜的方向就偏了。所以改提示词的顺序应该是先测边界、再补规则，而不是凭感觉往提示词里加描述。

这篇解决什么问题

三个症状。一是改提示词靠感觉：觉得回答太啰嗦就加一句「回答简洁」，觉得跑题就加一句「只回答被问到的内容」，加完不知道有没有用，因为没有对照。二是越改越长、越改越怪：规则一条条叠上去，互相打架，新规则生效的同时把老的顶掉。三是修好一个坏掉一个：只跑原来错的那几条，看着都对，上线后别的场景又出问题。

根子是把提示词当成说明书写，它是规则集。说明书写给人看，写得通顺就行；规则集要能被执行，每条都得对应一种具体输入和一种具体处理。测试集的用处就是把「具体输入」摆出来，让每条规则都有出处。

开始前要准备什么

• 40 到 50 条真实提问，从聊天记录、工单、群里原样复制，不做美化。真实的问法又短又省略，这是最有价值的部分。
• 一份判定标准：什么算答对。这次的标准是「回答了被问的那件事，且没有编造知识库里没有的信息」，不要求措辞好听。
• 固定的测试集，每轮都用这同一批题。换题就前后没法比，等于重新开始。
• 一条纪律：每次改完全量重跑，不只跑原来错的那几条。这是唯一能发现「新引入错误」的办法。

具体怎么做

第一步：40 题逐条判对错，只记录不解释

先把 40 条提问和智能体的实际回答贴在一起，逐条标对或错，错的写一句「错在哪」。这一步 30 分钟，不要边看边改提示词——先改就会失去基线，后面所有数字都没法比。标注完统计：答对 27、答偏 13，正确率 67.5%。

13 条错的分三类很整齐：5 条问的是知识库里没有的内容（比如问退换货政策，库里只有发货时效），模型没说「不知道」而是编了一个；5 条一句话里问了 2 到 3 件事，模型只答了最后一件；3 条只给了关键词（「发票」两个字），模型按最宽的理解答了。

这是一个客服问答智能体的提示词（见下方，210 字）和 40 条真实提问及其实际回答。

请做错误归类，不要改写提示词：
1 逐条判断回答是否正确（标准：回答了被问的那件事，且没有编造知识库里没有的信息），列出答错的条目编号；
2 把答错的条目按「失败模式」归类，每类给出判断依据（从提问的形态和回答的内容两方面说）；
3 指出哪一类失败模式出现次数最多，并给出该类里最典型的 2 个例子。

要求：只归类不修改；失败模式要能对应到提问的具体特征（长度、是否含问号、是否含多个问句、是否含知识库外的名词）；不要用「理解不准确」这种笼统说法。

第二步：把三类失败写成三条规则，不写形容词

规则要写成「遇到什么 → 做什么」，不写「要准确」「要简洁」这种要求。这次补的三条：

规则一（范围外）：问题涉及的内容在知识库里找不到依据时，直接回答「这条我没有准确信息」，并说明可以转人工，不许推测。这条治的是编造。

规则二（多问）：一句话里含多个问句时，按顺序逐个回答，每个回答前标明对应的是第几个问题；如果其中一个无法回答，其余照答，不要整条拒答。

规则三（关键词）：输入不含问句、只有名词或短语时，先回一句「你是想问 X 吗」，把猜测的范围说清楚，再按最常见的那个理解回答。

这是原提示词（210 字）和三类失败模式的说明（见下方），以及对应的 13 条错误样例。

请在原提示词基础上补充规则，不要重写整体结构：
1 针对「范围外提问」，写一条规则：什么条件下判定为范围外、判定后第一句必须说什么、能不能给推测；
2 针对「一句话多问」，写一条规则：按什么顺序答、每个回答要不要标号、其中一问答不了时其余怎么处理；
3 针对「只给关键词」，写一条规则：先做什么确认、按哪种理解兜底、确认语怎么写。

硬约束：每条规则必须是「如果…就…」的可执行形式，不写「要准确」「要严谨」「要有帮助」；三条规则总字数不超过 200 字；不要改动原提示词里已有的输出格式要求。

第三步：全量重跑，专看有没有新引入的错误

改完不能只跑原来错的 13 条。这次第二轮跑完 40 题，修正了 9 条，但发现 2 条原来答对的变错了——新加的「范围外先说没有准确信息」这条规则被过度触发，两个知识库里明明有答案的问题也被判成范围外。第三版把这条规则加了限定（「仅在知识库中没有相关条目时」），才修回来。

这一步 25 分钟，是全流程最容易被省掉的一步。省掉的代价是：你以为提升了 9 条，实际是提升了 9 条、退步 2 条、净提升 7 条，而你不知道那 2 条是什么时候坏的。

这是修改后的提示词（480 字）和同一批 40 条提问的新回答，以及上一轮的对错标注。

请对比两轮结果：
1 列出「上轮错、本轮对」的条目编号（修正）；
2 列出「上轮对、本轮错」的条目编号（回退），并指出是新增的哪条规则导致的；
3 列出「两轮都错」的条目编号，说明这些是否属于同一类无法靠提示词解决的问题；
4 对每一条回退，给出把规则改得更窄的写法（不要删规则）。

要求：只做对比和规则收窄，不要整段重写提示词；回退条目必须定位到具体规则；「两轮都错」的要判断是知识库缺内容还是提示词问题。

实测记录

素材是一个内部客服智能体的 210 字提示词、40 条真实提问及其回答。抽样整理 20 分钟、逐条标注 30 分钟、写三类规则 15 分钟、改提示词 25 分钟、全量重测 25 分钟，合计 115 分钟，做了三版。

结果：v1 答对 27 条、答偏 13 条，正确率 67.5%。13 条错误分成三类：范围外 5 条、一句多问 5 条、只有关键词 3 条。补 3 条规则后提示词从 210 字增到 480 字（增 270 字，全是规则不含描述），同一批题重测答对 36 条，正确率 90%。

过程里有两件事值得记。一是修正 9 条、仍错 4 条，那 4 条里有 3 条是知识库本身没有内容，不是提示词能解决的——这类要补知识库，不是继续改提示词。二是全量重跑抓出 2 条回退：新加的「范围外先说没有准确信息」被过度触发，把两个库里有答案的问题也判成了范围外，第三版加限定才修回来。如果只跑原来错的 13 条，这 2 条会一直坏着。

最容易错的 3 个地方

第一，边测边改。看着第一条错就顺手改提示词，改到第 20 条时已经没有基线了，最后说不出到底改了什么、好了多少。正确做法是先跑完 40 条、标完、统计完，再动手改。

第二，规则写成形容词。「回答要准确」「不要跑题」这类写法，模型没法执行，你也没法验证。每条规则必须是「如果…就…」：如果问题涉及的内容在库里找不到依据，就回答没有准确信息并转人工。可执行才可测。

第三，只跑原来错的题。这是最贵的错。这次全量重跑抓出 2 条回退，只跑错题就永远发现不了。规则加进去会挤掉别的东西，只有全量跑才看得出挤掉了什么。

可复用的东西

先测后改：40 条真实提问、固定测试集、先标完再动手。基线比灵感重要。

三类边界：范围外、一句多问、只给关键词。这三类覆盖了这次 13 条错误的全部，也可以作为下一个智能体的首轮检查项。

如果…就…的规则写法：可执行、可测、可收窄。禁掉一切形容词式要求。

全量重跑：每次改完 40 题全跑，专门看「上轮对、本轮错」的条目。这是唯一能发现回退的办法。

分清两类问题：提示词问题和知识库问题。这次仍错的 4 条里 3 条是库里没内容，继续改提示词只会让它编得更像。

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接