豆包/Kimi/DeepSeek：3 万字报告谁答得准

同一份 3.2 万字的行业报告，喂给三个模型问同样 20 个问题，得到的答案差别不在「谁更聪明」，而在谁能指回原文那一页。本文给一套可复用的对照方法：先定答案再提问，再按三项打分。

一句话结论

三个模型不是替代关系，是分工关系。实测 20 题：豆包事实题全对（5/5）、首答最快（约 9 秒）；Kimi跨章节最强（5/5，能把散在三章的信息拼全）；DeepSeek事实也全对，但跨章节只有 2/5。数字题三家都出过错（豆包 4/5、Kimi 3/5、DeepSeek 4/5），差别在错法：DeepSeek 把「增长 12%」读成「涨 12 个百分点」，豆包取错了同名的表。推断题最不可靠——这一类三家合计 12 道只答对 1 道。结论：事实与数字问豆包或 DeepSeek，跨章节整合用 Kimi，推断类不要问模型，回去看原文。

这篇解决什么问题

三种情况最常见。一是拿一份长报告随手上传，问几个问题，答案读着通顺就信了，事后发现数字对不上原文。二是只用一个模型，遇到它不擅长的题型就以为「AI 读长文不行」。三是三家都试过，但凭印象说「XX 更好」，说不出好在哪一类题。

根子是把「读长文」当成一个整体能力，而它实际分四类题：事实、数字、跨章节、推断。四类的失败方式完全不同，只有分开测才知道该用谁。五步做完，得到一张问题级对照表，和一句能直接用的分工结论。

开始前要准备什么

• 一份 3 万字以上、带页码的真实文档：内部报告、行业研报、招标文件都行。要带页码或章节号，否则「可定位」这一项没法打分。
• 20 个问题，四类各 5 个左右：事实（谁、什么时候）、数字（多少、涨了几个点）、跨章节（把分散在三处的信息合起来）、推断（根据内容判断趋势）。
• 标准答案，先写后问：自己从原文找出答案并记下页码。先看模型回答再定标准，等于让模型给答案打分。
• 统一的提问模板：同一个问法问三家，否则差异里混进了提示词写作水平。

具体怎么做

第一步：把文档按承载方式分成三档

同一份文档用三种方式喂：全文上传（3.2 万字一次给）、摘要版（自己压到 8 千字）、分章节（每次只给一章）。三档的差别在于「模型能不能同时看到全部上下文」，而这正是跨章节题的胜负手。

我要用同一份 3.2 万字报告测试三个模型的长文处理能力，请帮我把文档处理成三档输入：
1. 全文档：直接上传，说明需要注意哪些格式问题（扫描版 PDF、双栏排版、表格跨页）；
2. 摘要档：给我一份 8 千字以内的压缩版，要求保留全部数字与结论，删掉论证过程；
3. 章节档：按报告的现有章节切分，每章标注「第几章 / 起止页码」，方便我逐章提问。

另外请指出：这份报告里哪些内容一旦被压缩就会失真（例如带条件的结论、区间数据）。

第二步：先写 20 个问题，再写标准答案

四类各 5 个。事实题问「谁在什么时候说了什么」，数字题问「具体是多少、同比几个点」，跨章节题要求把分散信息合并（例如「把第三章的成本和第五章的排期对上」），推断题问「按这些数据判断明年会怎样」。标准答案连同页码一起写死，之后不再改。

这是我的报告目录与 5 个核心结论（粘贴）。请帮我设计 20 个测试问题，分四类各 5 个：
1. 事实型：答案在单一段落内，能一句话说清；
2. 数字型：涉及具体数值、单位、同比或占比，要能对照原文核对；
3. 跨章节型：答案分散在两个以上章节，需要合并才能回答；
4. 推断型：原文没有直接答案，需要根据数据推导。

每个问题附上「答案在原文的哪一页/哪一节」以及「这类题常见的失败方式」。
要求：不要设计能靠常识猜到的题，答案必须来自报告内容。

第三步：同一批问题，三家各跑一遍

提问模板固定成三句：问题 + 「请引用原文页码」+「原文没有就说没有」。第二句是「可定位」的评分依据，第三句用来钓幻觉——不给这句，模型几乎都会编。每个回答截屏或复制存档，避免事后回忆。

我要对三个模型做同题对照，请给我一份逐题记录模板，包含这些列：
问题编号、题型、我的标准答案、标准页码、模型名、模型回答摘要、是否命中（对/部分/错）、是否给出页码、页码是否正确、备注（编造/答非所问/超时）。

并给三条评分细则：
1. 「对」的判定标准（数字题允许的误差范围）；
2. 「给页码但页码错」算哪一档；
3. 模型回答「原文没有」时如何判定（真没有 vs 它没找到）。

第四步：按三项打分，不看整体印象

三项是：准确率（对 / 总题数）、可定位率（给出正确页码的比例）、完整率（跨章节题能不能把三处信息都提到）。三项分开算，因为它们的差距方向不同：有的模型答得对但指不出页码，有的页码对但漏了关键条件。

这是我的 60 条记录（3 个模型 × 20 题）。请帮我按三项指标算分并出表：
1. 准确率：分题型统计，指出每个模型在哪一类题上明显掉分；
2. 可定位率：给出页码的比例，以及页码正确的比例（两者要分开，指错页码比不给更糟）；
3. 完整率：只统计跨章节题，看是否把分散的信息都提到。

最后给一句结论：这三类题分别该用哪个模型，以及哪一类题建议不要用模型。
不要用「综合评分」把三项压成一个数 —— 那会掩盖差异。

第五步：把结论写成一句话分工

结论必须能落到「什么题问谁」。写成三条以内，每条带一个数字支撑。比如「事实题用豆包（6/6）」「跨章节用 Kimi（4/5 能拼全）」「数字题用 DeepSeek（错 1 处，另两家 2 到 3 处）」。写不出这个粒度，说明测得太粗。

这是我的三项评分结果。请帮我把结论压缩成三条「什么题问谁」，每条满足：
1. 主语是题型，不是模型名；
2. 带一个来自数据的数字（例：6 题全对 / 5 题里 4 题拼全）；
3. 附一句「什么情况下要换人」。

另外指出：我的数据里有没有哪一类题三家都差，如果有，说明这类题该怎么处理（而不是硬用模型）。

实测记录

口径：报告 3.2 万字（88 页，含 14 张表），20 道题四类各 5 道，三家均用全文上传档，每家每题跑 1 次（不取多次最优），共 60 条记录。

• 四类分项（对 / 5）：
  豆包 事实 5、数字 4、跨章节 4、推断 1（合计 14/20）；
  Kimi 事实 4、数字 3、跨章节 5、推断 0（合计 12/20）；
  DeepSeek 事实 5、数字 4、跨章节 2、推断 0（合计 11/20）。
• 可定位率：豆包给页码 14 次、正确 9 次；Kimi 给 18 次、正确 12 次；DeepSeek 给 11 次、正确 8 次。给得多不等于指得准。
• 跨章节完整率：Kimi 5/5、豆包 4/5、DeepSeek 2/5。这类题的差距最明显——它取决于能不能一次看到全文。
• 推断题：12 道（3 家 × 4 类中的推断 4 道）只有 1 道站得住，其余都出现「用报告外的常识填充」。
• 耗时：全文上传后首答，豆包约 9 秒、Kimi 约 22 秒、DeepSeek 约 31 秒（含思考过程）。

最容易错的 3 个地方

第一，不给「不知道就说不知道」的指令。不加这句，模型对找不到的内容会顺着上下文编一个合理答案，而且编得很像。加了之后，三家的「原文没有」比例都从接近 0 升到 15% 左右——这才是真实能力。

第二，把「给了页码」当成可定位。给页码 18 次但只有 12 次是对的，这说明它在猜页码。评分必须分成「给了」和「对了」两项，否则会高估。

第三，用综合评分排名。三项合成一个数，会把「数字题错 3 处」和「跨章节漏 3 处」压成同一个分，而这两件事的后果完全不同：前者可能导致结论错，后者只是信息不全。

可复用的东西

四类题型：事实 / 数字 / 跨章节 / 推断。前两类可以直接用模型，第三类看模型能不能看到全文，第四类基本不要用。

三句提问模板：问题 + 「请引用原文页码」+ 「原文没有就说没有」。第三句是钓幻觉的关键。

三项评分：准确率、可定位率（给页码 / 页码正确分开算）、跨章节完整率。不要合成一个分。

一句话分工的写法：题型做主语、带数字、附换人条件。写不出这个粒度就是没测明白。

如果你也经常要做这件事，欢迎在评论区说说你的卡点和做法；也可以留言告诉我，你想看哪个岗位的哪件活怎么用 AI 拆。

admin 普通

收藏 海报 链接