一份 180 页的规范文档、12 万字,要从中回答 8 个具体问题。直接把整篇丢给 Claude 问,8 个问题里 3 个答错、2 个说「文档中没有提及」——实际都有。改成先拆 14 章、逐章提问,8 个问题 7 个答对并给出页码,剩下 1 个确实没有。100 分钟做完,比反复追问省得多。
一句话结论
长文档问答失效,多数不是模型读不懂,是「读得太快、抓得太粗」。一份 12 万字文档塞进去,模型要在一大堆相似表述里定位答案,很容易抓到相邻章节的句子,看着合理但结论错。所以正确做法是先按章节切成小份、每份附一句摘要做索引、再逐章提问并要页码。切口越小,定位越准。
这篇解决什么问题
三种情况最常见。一是整篇上传直接问:得到一段流畅的答案,引用的却不是那一章,因为文档里有大量重复表述(术语定义、免责声明)。二是遇到「未提及」就放弃:模型说没有,人以为真没有,实际在第 11 章的附注里。三是拿到答案没法核:没有页码就只能通读一遍去找,等于白问。
根子是把长文档问答当成「搜索」。搜索要的是召回加定位:先确定答案在哪一份、哪一段,再让它照着那一段回答。跳过定位,就会得到一段读起来对、查起来错的答案。
开始前要准备什么
- 可编辑的文档,能按章节拆分。PDF 要能选中文字,扫描件得先做文字识别。
- 一份章节清单:14 个章节标题、页码范围、每章一句摘要。摘要自己写,别让模型写,它写不出「这一章在说什么」。
- 8 个待答问题,写具体。「这份文档讲了什么」这类问题不需要拆分,直接问就行。
- 一条纪律:每个答案必须带页码或章节号。给不出出处的答案,一律当错的。
具体怎么做
第一步:按章节切开,一章一份
不要按字数平均切,按章节切。章节边界是作者划的语义边界,按字数切会把一个论点切到两份文件里。这次 180 页 14 章,切出 14 份,最长的一章 32 页、最短的 4 页。25 分钟,主要时间花在确认目录与正文标题是否对得上。
切的时候要注意两件事:附录和术语表单独切一份(这两处最常被问到,也最容易被漏),跨章引用保留原文(「详见第 6.2 节」这种句子不要删,它是后面找回上下文的线索)。
这是文档的目录与正文结构(14 章,含附录与术语表)。
请帮我核对并生成拆分方案:
1. 核对目录标题与正文实际标题是否一致,指出不一致处;
2. 按章节给出拆分边界(起始页、结束页、字符数);
3. 标出跨章引用的位置(如“详见第 6.2 节”),说明这些引用在拆分后如何保留线索。要求:附录、术语表、修订记录单独成份;不要按字数平均切。
第二步:给每章写一句摘要做索引
15 分钟写 14 句摘要,这句话是后面「去哪一章找答案」的唯一依据。写法要带具体名词:「第 7 章讲接口鉴权,包含密钥申请流程、有效期、失效处理三部分」。写「第 7 章讲安全相关」这种没用,8 个问题里没有一个会被它命中。
摘要写完后,把 8 个问题过一遍,先人工判断每个问题大致落哪 2 到 3 章。这一步是给自己建立预期,后面模型答错时你能立刻发现——它答的那一章不在你的预判里,就是抓错了。
这是 14 章的标题与每章前 300 字。
请帮我:
1. 为每章写一句摘要,必须含该章的具体内容名词(不要写“介绍”“概述”这类词);
2. 针对以下 8 个问题,指出每个问题最可能在哪 2 到 3 章找到答案,给出判断依据;
3. 标出可能跨章才能完整回答的问题。8 个问题:……(此处列出实际问题)
要求:每章摘要不超过 40 字;问题的落章判断要写明依据的关键词。
第三步:逐章提问,只喂相关的那几份
不要一次把 14 份都放进去。按上一步的预判,每个问题只喂 2 到 3 章,明确要求「只根据所给章节回答,找不到就说没有」。这次 8 个问题平均问 2.4 章,总共 19 次提问,40 分钟。
关键是那句「找不到就说没有」。不加这句,模型会从相邻章节凑答案——这正是整篇问时出错的原因:问的是 A 章的参数,它答了 B 章的相似参数,数字不同但格式一样,肉眼很难发现。
这是第 7 章与第 8 章的全文,以及一个问题:【问题原文】。
请只根据这两章回答:
1. 直接给出答案,并注明出自哪一节、第几页;
2. 如果这两章都没有明确答案,回复“未找到”,并说明你检索了哪些关键词;
3. 如果两章说法冲突,把冲突的两处都列出来,不要自己选一个。约束:不许引用这两章之外的内容;不许推断;答案里出现的数字必须能在原文找到对应句子。
第四步:核对页码,把「未找到」单独处理
20 分钟把 7 个答案逐个翻回原页核对。核对的重点不是答案对不对,是它引的那句话在不在那一页。这次 7 个答案的引用全部命中,说明拆分加限定确实把定位做准了。剩下 1 个「未找到」的,手工翻了一遍确认文档里确实没有。
「未找到」不能直接当结论交出去。这次的处理是:先让模型列出它检索过的关键词,再人工用同样的关键词搜全文,两边都对不上才算确认。这一步花 5 分钟,但避免了「模型没找到就以为没有」的误判——整篇问时那两个「文档中没有提及」就是这么来的。
这是 8 个问题的答案与引用页码。
请帮我做核对清单:
1. 把每个答案的引用句摘出来,标注它声称的章节与页码;
2. 指出哪些答案的引用句在所在章节里找不到(我会提供原文核对);
3. 对“未找到”的问题,列出你检索过的关键词清单,便于我用同样的词复搜。要求:核对以“引用句是否存在于该章节”为标准,不以“答案听起来对不对”为标准。
实测记录
素材是 180 页、12 万字、14 章的规范文档,8 个具体问题。拆章 25 分钟、写索引 15 分钟、逐章提问 40 分钟(19 次提问)、核对页码 20 分钟。合计 100 分钟。
对比很清楚:整篇上传直接问只要 15 分钟,但 8 个问题里 3 个答错(引用相邻章节的相似表述)、2 个说未提及(实际在第 11 章附注)、只有 3 个对。为了修这 5 个错,前后追问了 3 轮、花了 45 分钟,最后仍有 1 个没解决。也就是说整篇问看起来快,算上返工反而更慢,而且错的那几个不一定能被发现。
拆章之后 8 个问题 7 个一次答对并带页码,1 个确认文档未涉及。没有返工。这套流程的固定成本是拆章加索引 40 分钟,问题越多越划算——问 2 个问题不值得拆,问 8 个以上就很值。
最容易错的 3 个地方
第一,按字数切而不是按章节切。按字数平均切会把一个论点切到两份文件里,问的时候两份都得喂,反而增加噪声。章节边界是作者划的语义边界,顺着它切成本最低。
第二,不给「未找到」这条出路。不写「找不到就说没有」,模型一定会凑一个答案。而且凑出来的答案格式正确、语气专业,比错误答案更危险。必须明确允许它说没有,并要它报检索关键词。
第三,不核对引用页。答案对不对很难一眼判断,但引用句在不在那一页很好核。这次 7 个答案全部对得上,才敢说结论可靠。如果只读答案不核引用,等于又回到了「整篇问」的信任水平。
可复用的东西
按章节切:一章一份,附录与术语表单独切,跨章引用保留原句。
人工写索引:每章一句 40 字摘要,带具体名词,不用「概述」这类词。
先预判落章:每个问题先人工判断在哪 2 到 3 章,用来发现模型抓错章。
限定加出路:只喂相关章节、只许引用所给内容、找不到就明说并报关键词。
核引用不核答案:核对引用句是否真在那一页,比判断答案对不对可靠得多。
常见问题解答
整篇上传为什么容易答错
文档里有大量相似表述(术语定义、免责声明、相邻章节的同类参数)。12 万字塞进去,模型要在一堆长得像的句子中间定位,很容易抓到隔壁章节的句子。这次整篇问 8 个问题,3 个引用了错章节、2 个说没提及但实际在第 11 章附注里。
为什么索引要人写不让模型写
模型写的摘要多是「本章介绍接口安全相关内容」这种空话,8 个问题一个也命不中。人写能带具体名词:第 7 章讲接口鉴权,含密钥申请、有效期、失效处理三部分。14 句摘要 15 分钟,它是「去哪一章找答案」的唯一依据。
「未找到就说没有」这句为什么必须加
不加这句它一定凑答案,而且凑出来的格式正确、语气专业,比明显错误更危险。明确允许说没有之后,还要让它报检索过的关键词,这样人能用同样的词复搜一遍确认——这次那个「未找到」就是这么核实文档确实没写的。
什么时候不值得拆章节
问 2 到 3 个问题不值得。拆章加写索引固定成本 40 分钟,问 3 个问题的话整篇问加返工可能更快。问 8 个以上就很值:这次 8 个问题拆章花费 40 分钟,后面提问加核对只花 60 分钟,且没有返工。
本网站的部分内容可能来源于网络或用户投稿,仅供大家学习与参考,如有侵权,请联系客服: hhxmw778 进行删除处理。
本站一切资源不代表本站立场,并不代表本站赞同其观点和对其真实性负责。
教程如引导您添加微信或有另外收费服务,请自行甄别!
如遇充值环节或绑定支付账户或输入支付密码之类的异常步骤,建议停止操作!本站不对操作项目的损失负责!
本站一律禁止以任何方式发布或转载任何违法的相关信息,访客发现任何资源有问题请向站长举报下架
(手机微信用户建议用默认浏览器打开,可体验完整功能)
