300 条客服问答批量生成：用脚本跑并抽检 30 条

客服知识库要补 300 条问答。一条条手写要两周，直接让 AI 一次生成 300 条又不敢用——没人读过的东西不敢放到线上。做法是拆开：脚本按批跑、每批 30 条、跑完抽 30 条逐条核。第一轮抽检 30 条里有 8 条有问题，按错法改完提示词重跑，第二轮 30 条只剩 2 条需要动。

一句话结论

批量生成的问题不是「AI 写得差」，是「没人核过就上线」。所以真正的做法是先定抽检口径，再跑批量：按 10% 抽样、把错答按类型归因、改提示词而不逐条改稿。实测第一轮 300 条抽 30 条，不合格 8 条（26.7%），按三类错法补了 3 条规则重跑，同一批抽检降到 2 条（6.7%）。全程两轮共 280 分钟，比手写省一半以上。

这篇解决什么问题

三种情况最常见。一是逐条手写顶不住量：300 条按一条 3 分钟算是 900 分钟，两周才能填完，而知识库缺口的业务压力是按天的。二是一次性全量生成：把 300 个问题一次丢给 AI，输出会被截断、格式会飘、后面的条目开始偷工减料。三是抽样核了但没归因：发现 8 条不对，逐条改完就上线，下一批还是同样的错法。

根子是把批量当成「一次生成」，而它应该是「多轮收敛」：跑一批、抽一批、把错法折算成提示词规则、再跑。收敛的关键不是抽多少，是抽样能不能代表全量——30 条按错误类型分层抽，比随机抽 30 条能看出更多。

开始前要准备什么

• 问答清单：300 个问题本身要定下来。这次来自 3 份产品文档拆出的 258 个问题，加 42 条历史工单里的真实问法。
• 每条答案的标准来源：每条问题必须能指回某份文档的某一段。指不回去的，就是这次生成不出可靠答案的那批。
• 一个能跑批的脚本：切分、调用、合并三个动作，不需要复杂框架，能读 JSON 写 JSON 就够。
• 一条纪律：抽检必须逐条看，不许看抽样统计就放行。这次第一轮 8 条问题里有 2 条是「答得挺顺但答错了产品型号」，只有人读才看得出来。

具体怎么做

第一步：按来源切批，不按序号切

300 条不能简单按 1 到 300 切成 10 段，那样每批混着三个产品的问答，AI 容易串。按来源分组切：每个产品内部的问题成批跑，一批 30 条。10 批里 8 批是纯产品文档，1 批文档与工单混合，1 批是纯历史工单问法。

每条还要带上它的来源段落，作为提示词的输入。来源里找不到依据的 11 条照样跑，但会输出「文档未写明」，这 11 条不进抽检样本，单独人工补。

这 30 个问题属于同一个产品，下面是对应的文档段落。请逐条生成问答：

1. 每条输出：问题、答案（不超过 120 字，第一句给结论）、依据段落编号；
2. 答案里出现的型号、参数、价格、时长必须来自我给的段落，段落里没有的写「文档未写明」；
3. 如果这个问题在段落里找不到依据，直接标「无依据」，不要用常识补。

要求：严格按 30 条输出，不要合并相似问题，也不要多写。序号必须和我给的一一对应。

第二步：分批跑，每批之间停下来看格式

不要一次跑完 10 批。每批跑完先看三件事：条数对不对、格式有没有飘、有没有开始出现「同上」这类偷懒回答。这次第 4 批出现了 3 条答案只写「参见上一问」，是典型的长上下文疲劳。

单批 30 条约 6 分钟，10 批 60 分钟，中间检查约 10 分钟。跑批的时候人可以做别的事，但每批结束要回来看一眼，否则错误会一路累积到第 10 批。

检查这批 30 条输出是否符合要求，只看形式不看内容对错：

1. 条数是不是 30，序号有没有断；
2. 每条是否都有「问题 / 答案 / 依据段落编号」三个字段；
3. 有没有出现「同上」「参见上一问」「类似上一题」这类敷衍答案；
4. 答案长度是否都在 120 字以内。

要求：以清单形式列出不合格的条目序号和原因。

第三步：抽 30 条，按错误类型分层而不是随机

随机抽 30 条只能告诉你「错多少」，分层抽能告诉你「哪类错」。这次按四个维度各抽一部分：长答案、短答案、带数字的、带型号的。带数字和带型号的最容易错，各抽 10 条。

核的时候只做一件事：能不能在来源段落里找到依据。找不到就是不合格，哪怕读起来很顺。30 条核完 45 分钟，不合格 8 条。

这是 30 条抽检记录，每条有：问题、AI 答案、来源段落原文、我的判定（合格/需改/作废）。

请帮我归因：
1. 把不合格的按错误类型分类（漏条件、张冠李戴、答非所问、编造信息等）；
2. 每一类指出是提示词的哪个环节没约束住；
3. 针对每一类给出一条可以加进提示词的规则，要求是可判定的、不是「更准确一些」这种。

要求：不要建议我逐条修改这些答案，我要的是下一轮不再犯。

第四步：改提示词重跑，用同一套抽检口径验证

8 条问题归成三类：漏条件 4 条（答案只写主流程，没写例外）、张冠李戴 2 条（用了同系列另一型号的参数）、答非所问 2 条（答的是相近问题）。对应补三条规则：必须写出例外条件、型号必须逐字对齐问题里的型号、答案第一句必须是问题的直接回答。

重跑 300 条 60 分钟，用同样的分层法再抽 30 条，合格 28、需改 2、作废 0。这时才敢上线，剩下那 2 条按单条修。

按这三条新规则重跑刚才那 30 个问题，其他要求不变：

1. 答案必须包含例外条件（如果文档里写了「除……之外」），漏写视为不合格；
2. 型号、版本号必须与问题中出现的完全一致，不许替换成同系列其他型号；
3. 答案的第一句必须直接回答问题本身，不要先铺垫背景。

要求：如果你判断某个问题按这三条规则无法生成合格答案，直接输出「无法满足」并说明原因。

实测记录

素材是 3 份产品文档拆出的 258 个问题，加 42 条历史工单问法，共 300 条。准备阶段 25 分钟：切批、写提示词、试跑一批。批量跑 60 分钟，10 批，每批 30 条，单批约 6 分钟。中间检查 10 分钟，第 4 批发现 3 条敷衍答案，当场重跑该批。

第一轮抽检 45 分钟，30 条里合格 22、需改 6、作废 2，不合格率 26.7%。按这个比例折算全量约 80 条有问题。归因并改提示词 35 分钟，重跑 60 分钟。

第二轮抽检 45 分钟，30 条里合格 28、需改 2、作废 0，不合格率 6.7%。两轮合计 280 分钟（25 + 60 + 10 + 45 + 35 + 60 + 45），其中重跑占了 60 分钟。对照手写 300 条约 900 分钟，省了 620 分钟。

上线后一周，这 300 条被检索了 1,240 次，其中 2 条被客服手动纠正过一次，都已回填。回头看的最大教训是：第一轮那 8 条里没有一条是「答得荒唐」，全是「答得很顺但差一点」，这类错只有人逐条读才能发现。

最容易错的 3 个地方

第一，按序号切批。1 到 300 顺着切，每批都混着几个产品，AI 会串参数。按来源分组切，每批只讲一个产品，同类错误的概率会大幅下降。这次剔出的 11 条无依据条目，也是靠按来源分组才发现的。

第二，随机抽 30 条。随机抽只能得到「错多少」，得不到「错在哪类」。按长答案、短答案、带数字、带型号四个维度分层抽，8 条不合格才能归成三类——归了类才能改提示词，改提示词才能下一轮不再犯。

第三，抽样结论只看比例不看内容。26.7% 这个数字本身没有意义，有意义的是那 8 条具体长什么样。这 8 条里没有一条荒唐到一眼看出，全是「读起来很顺、但少了例外条件」或「型号换成同系列另一个」——只看统计就放行，这批就带着 80 条错误上线了。

可复用的东西

按来源切批：同一份文档的条目成批跑，一批 30 条，别混产品。

每批三检查：条数与序号、三个字段是否齐、有无「同上」类敷衍答案。

分层抽样四维度：长答案、短答案、带数字、带型号。后两类最容易错，多抽。

核验只做一件事：答案能否在来源段落里找到依据。找不到就是不合格，读起来顺也算不合格。

错法要折算成可判定的规则：不写「更准确」，写「型号必须逐字一致」「必须写出例外条件」。

两轮收敛：26.7% 到 6.7%，改的是提示词不是稿子。第二轮剩下的按单条修。

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接