# Kimi K3.1 Pro 的幻觉率压到 8.3%，可它数的不是整份报告 **Summary:** Kimi K3.1 Pro 在自建压力测试里把按断言统计的幻觉率从 23.4% 降到 8.3%，但 Kimi 自己写明，这不代表日常出错的概率。我会先拿真实财务文档跑一轮，看完整报告能不能过审、审一份要花多少时间，再决定要不要少一道人工把关。 - Canonical: https://markhuang.ai/zh/news/kimi-k3-1-pro-hallucination-denominator - Language: zh-CN - Author: [Mark Huang](https://markhuang.ai/about) - Published: 2026-10-23 - Section: News - Tags: Kimi K3.1 Pro, AI 幻觉, 金融研究, 模型评测, 开放权重 - Source: [Kimi](https://www.kimi.ai/blog/kimi-k3-1-pro) - License: https://creativecommons.org/licenses/by-nc/4.0/ --- ![检验灯下叠放的半透明报表纸页，中间那张有一道细小的琥珀色裂痕](https://cdn.markhuang.ai/news/kimi-k3-1-pro-hallucination-denominator/hero.webp) *这张图说的就是审稿的麻烦：一份大体没问题的报告，也可能藏着改变结论的一处细节。* Kimi K3.1 Pro 上线了，上下文窗口 100 万 Token，官方主推编程、3D 创作和金融研究。根据 [Kimi 的发布文章](https://www.kimi.ai/blog/kimi-k3-1-pro)，它已经能在自家产品和 API 里用上，完整模型权重承诺在 2026 年 11 月 4 日放出。让我多看了一眼的是金融那一节：按单条断言统计的幻觉率 8.3%，上一代 K3 是 23.4%。 这个下降来自 Kimi 内部的事实性压力测试 Hallu Bench Hard。Kimi 自己写明了：这些数字不代表日常使用中的出错率。把 8.3% 当成通用错误率，就超出了这个结果能说明的范围。 我的态度是：这足够让我在金融研究上给 K3.1 Pro 做一次试点。但真要减少人工审批，我还想知道两件事：一份完整报告有多大比例能过审，审一份要花多少时间。光数错了几条断言，回答不了这个问题。 ## 8.3% 到底数的是什么 按断言算的比率，数的是每一条单独的说法。一份报告里可能塞着几十条断言，可真正影响结论的那条，也许就一句话。设想一份分析整体都准，偏偏核心对比用错了报告期，我照样会打回去。 Kimi 还给了第二个数字：含至少一处事实错误的回答占比，只有上一代的 42.4%。这说明回答层面也在进步。但 42.4% 是相对值，不等于 K3.1 Pro 有 42.4% 的回答出了错；事实性那一段也没给出回答层面的绝对比例。 两个数都没告诉我，一份财务报告有多大机会过审。要回答这个，得看报告层面的证据，尤其是哪些错误会动摇结论。要是把每条断言都看得一样重，那背景段落里写错一个日期，跟那个一错就改掉估值期的日期，分量就一样了。 ## 但它确实值得试一次 抛开幻觉数字，这次发布还有别的理由值得一试。Kimi 说 K3.1 Pro 是 K3 的后训练版本，后训练算力大幅增加。金融相关的结果里，OfficeQA Pro v2 拿了 64.4 分，官方说这个测试考的是在财务文档上做复杂分析，涉及检索、跨文档核对和数值推理。对做研究的人来说，这比会写流畅的金融点评实在得多。 Kimi 自己的展示之外也有旁证。[Artificial Analysis 给 K3.1 Pro 的 Intelligence Index 打了 55 分](https://artificialanalysis.ai/models/kimi-k3-1-pro)。这是个来自第三方的通用能力分数。但它既不能替 8.3% 那个结果背书，也不能告诉我某一份报告写得对不对。 [Hacker News 的发布讨论](https://news.ycombinator.com/item?id=50212065)里，有人为幻觉率下降叫好，也有人抱怨早期 Kimi 模型的实际表现和推理成本。旧模型的这些说法，说明不了这一代到底怎么样。真该问的问题反而更具体：跑分涨上去了，我要做的那份活儿是不是更好收尾、更好核对？ ## 我会给交付的报告打分 我的试点会从一个范围明确的研究问题开始，配一组固定文档。要求模型给每条结论附上证据，没把握的问题就空着不答。评审拿交付的报告逐条对文档，还要看更正之后主结论是否依然成立。 要求附证据这件事有先例。2023 年的 [FinanceBench 论文](https://arxiv.org/abs/2311.11944)就是把财务问题、答案和证据串配在一起。它的实验用的是老模型，所以我不会拿它的失败率去评判 K3.1 Pro。我要借的是那套评测设计：答案必须带上评审能翻查的东西。 我会记几样东西：完整报告通过了多少、有几处更正会推翻结论、评审花了多少分钟。没被回答的问题也要记。不然，一个少下结论的模型可能显得更准，实际上是把手上的研究活儿推给了评审。 对这份谨慎最强的反驳是：Kimi 的两个事实性指标都在改善。也许错误少了，审核真的会快很多。我也希望如此。那就把评审时间量出来，让这个好处显出来，而不是默认错误率降一点，就能砍掉一道审批。 这和我早先分析 [AI 记账](https://markhuang.ai/news/ai-bookkeeping-needs-a-harness)时的道理一样：去查那个真正担责任的东西。放到研究上，就是把证据和结论摆在一起看，再决定信不信它。 ## 权重放出来，也回答不了审稿那件事 11 月 4 日承诺放出的权重，会给团队多一个部署选项。这个选项我会和事实可靠性分开评估：模型跑在哪儿，定不了它的报告准不准。 眼下我会先把它用在那些本来就有人要审的研究草稿上。等 K3.1 Pro 交上来的报告过审更多、修正更少、评审更省时间，再让它承担更大的范围。8.3% 这个数字让我觉得这个实验值得做；它没告诉我什么时候可以不再检查报告。