阅前提示：本文的所有信息仅供用户作为研究参考，不构成任何投资建议或交易依据。所有投资决策均由用户自行作出并承担全部风险。投资有风险，入市需谨慎。

24年的时候盯着幻觉问题做了大半年，想了各种办法减少模型输出幻觉，总算有不错的结果。今天看到这篇论文就十分亲切，分享给大家。

“幻觉”问题，通常指的是模型会生成一些看似合理、语气自信，但实际上完全错误或凭空捏造的内容。这一缺陷是阻碍LLM在金融、法律、医疗等要求绝对准确的领域安全应用的最大障碍。

OpenAI 在2025年9月4日发布一篇论文《Why Language Models Hallucinate》，综合多项研究指出，幻觉并非偶然的程序错误，而是当前LLM训练和评估方式下一种可预测的、由统计规律驱动的、甚至可以说是不可避免的产物。我们结合2023-2025年更广泛的研究格局相结合，一起来聊聊这个在金融领域至关重要的问题。

先抛结论：幻觉是大模型当前架构和训练方式下不可避免的产物。但是就像人也会犯错，有幻觉不代表没法用大模型，只是再次证明了人的参与必不可少。让模型变得诚实，“知之为知之，不知为不知”能更好地解决幻觉问题。（文末附对应提示词-Prompt）

这里要注意，幻觉和幂等性是两码事。大名鼎鼎的Thinking Machines Lab 在09月10日公开了一篇很有意思的论文，讲如何让大模型的输出具备幂等性，也就是说输入A，输出B这种情况无论跑多少次都一样，对大模型也适用（目前不是这样，对大模型来说输入A未必每次都会输出B）。

“幻觉”一词在AI领域有其特定含义。技术上，它指模型生成了无意义、事实错误或与给定信息不符的内容。研究人员（如Ji等人，2023）通常将其分为两类，以便更精确地分析：

• 内在幻觉 (Intrinsic Hallucinations): 指模型生成的内容与用户在提示中提供的源信息直接矛盾。例如，如果一份资料说“第一支埃博拉疫苗于2019年获批”，但模型在总结时却写成“第一支埃博拉疫苗于2021年获批”，这就是内在幻觉。它反映了模型未能忠实于直接给定的上下文。
• 外在幻觉 (Extrinsic Hallucinations): 指模型生成了源信息中无法证实的内容。它不一定直接矛盾，但添加了新的、无依据的信息。例如，在上述关于埃博拉疫苗的资料中，如果模型总结时补充了一句“中国已开始新冠疫苗的临床试验”，而原文并未提及此事，这就构成了外在幻觉。尽管这句话本身可能是事实，但因为它无法从给定来源中得到验证，所以是一种潜在的误导。

基于Kalai等人（2025）的理论框架：幻觉是LLM训练过程中固有统计的必然结果。该研究认为，幻觉的根源可以追溯到“简单的二元分类错误”。换言之，幻觉并非神秘现象，而是由两个核心环节共同作用产生的：

• 预训练的本质：在海量文本上进行预训练时，模型的目标是学习语言的概率分布。这个过程在数学上决定了，当模型面对那些本身就难以从统计上与假信息区分开来的知识时，它必然会犯错。假设有“完美无瑕”的训练数据也会有幻觉。
• 后训练与评估的激励机制：在后续的优化和测试阶段，模型的表现好坏通常由一些标准化测试（即基准）来评判。而绝大多数主流基准测试都采用一种
  “要么全对，要么全错”的评分方式。在这种规则下，当模型不确定时，它选择“猜一个”会比诚实地回答“我不知道”得分更高。这种机制实际上在鼓励模型“编造”看似合理的答案。

在预训练阶段，模型通过学习海量文本来掌握语言的统计规律。一个普遍的误解是，只要训练数据完全真实准确，模型就不会产生幻觉。但研究表明，即便数据完美无瑕，训练目标本身也会迫使模型在某些情况下犯错。

Kalai等人（2025）的研究揭示了幻觉的统计必然性。他们巧妙地论证了一个观点：对于模型来说，生成一段完全正确的话，比判断一句话是否正确要困难得多。因为在生成的过程中，模型需要不断地在众多候选词语中做出判断。

该研究指出，模型在预训练时优化的目标，会使其在面对那些难以从统计上区分真假的知识时，必然会产生错误。简单来说，模型的训练过程就像是在做一个庞大的“是非题”测试。如果有些“是非题”本身就模棱两可，那么一个被训练来追求高分的模型，就必然会答错一部分。同理，当LLM面对它不确定的知识时，其训练机制决定了它必须生成一些内容，而这些内容就很有可能是幻觉。

基于上述理论，我们可以将预训练阶段产生幻觉的根本原因归为以下几类，这些理论上的分类在现实中都有具体的表现。

补充说明：在预训练的过程中，模型会看到一段训练数据，然后根据这段数据来预测下一个字，预测越不准惩罚越高，模型回过头来更新每个神经元的权重的幅度就越大，直到预测结果稳定了为止（是稳定，未必最准）。

一个简化的训练流程是：有一段1000个字的数据，先让模型看到第1-100个字，要求模型预测第101个字，计算误差，更新权重；再让模型看到第2-101个字，要求模型预测第102个字…以此类推直到模型预测完第1000个字。在实际训练中，是将几十万亿语料切成一个个小段落，随即混合拼接，通过大规模并行计算的方式让模型不断预测并更新权重。

理解这个过程就能更好理解模型为什么“猜日期”容易出错，只会“正向关系”，以及“训练与推理时的差异”。

• 某些知识本身缺乏规律：
• 当某些知识没有规律可循，只能靠死记硬背时，模型就很容易出错。Kalai等人将这类知识称为“任意事实”，比如某个具体人物的生日。这种信息必须在训练数据中明确出现才能被模型学会。该理论进一步指出，对于这类事实，幻觉出现的概率至少与该事实在训练数据中“仅出现过一次”的概率（即“单例率”）一样高。例如，如果数据集中有20%的名人生日只出现过一次，那么模型在回答相关问题时，产生幻觉的概率预计至少为20%。这也符合我们的直觉：对于那些不常见、不重要的知识点，模型更容易“张冠李戴”。

• 模型不足与架构缺陷：
• 有时，错误并非源于数据，而是模型自身的结构限制。一个突出且被充分证明的例子是“逆转诅咒”（Reversal Curse）。Berglund等人（2024）的研究发现，如果模型学习了“A是B”（例如，“张三是《XX》的作者”），它并不能自动掌握其逆向关系“B是A”（即无法回答“谁是《XX》的作者？”）。在回答逆向问题时，模型的表现和随机猜测差不多。这并非偶然，而是由当前主流的自回归模型架构决定的。这种架构在处理信息时是单向的，导致知识被存储为一种不对称的“键-值”对关系，即“A”可以作为索引找到“B”，但“B”却不能反过来找到“A”。当用户以模型未学习过的逆向方式提问时，模型内部便缺少直接对应的知识，从而容易编造一个看似合理的答案，这便是源于架构缺陷的幻觉。

• 训练数据的缺陷：即便模型架构完美，训练数据的固有缺陷也是幻觉的主要来源。

• 垃圾进，垃圾出 (GIGO): 这是最直接的原因。LLM的训练数据源自互联网，其中不可避免地包含了大量错误信息、普遍的误解、阴谋论和偏见。模型在学习语言模式时，也会将这些错误一并“吸收”，并在生成内容时复现出来。

• 知识边界: 无论训练数据多么庞大，它都是有限和静态的，这决定了模型的知识存在边界。

• 长尾知识: 那些小众、专业的知识在数据中占比较低，模型学习不充分，在被问及时就容易“自由发挥”。

• 过时知识:模型的知识停留在其训练数据被收集的时间点。对于之后发生的新事件，它要么提供过时信息，要么编造看似合理的新进展。

• 无法获取的知识:大量高质量、准确的信息（如学术期刊、专业数据库）因版权或付费墙限制而无法被纳入训练数据，这形成了模型的知识盲区。

• 训练有数据，推理靠自己（暴露偏差Exposure Bias）:

• 这个问题源于模型训练和实际生成文本时的方式差异。训练时，模型每一步都被喂给正确答案。但在实际使用时，模型是基于自己上一步生成的内容来预测下一步。一旦模型生成了一个错误的词，这个错误就会被当作后续生成的输入，可能导致错误越滚越大，最终形成一个复杂的幻觉。

在预训练之后，模型会经历一个名为“对齐”的后训练阶段，通常采用“从人类反馈中强化学习”（RLHF）等技术，旨在让模型的行为更符合人类的期望，比如更有用、更无害，以及更诚实。然而，尽管投入了大量努力，幻觉在最先进的模型中依然普遍存在。这是一个深层次的系统性问题：整个AI领域的评估体系都在无形中鼓励模型“猜测”，而非诚实地表达不确定性。

Kalai等人提出的核心观点是，当前LLM的评估生态系统与减少幻觉的目标背道而驰。LLM的开发竞争激烈，各大模型都争相在权威的排行榜和基准测试上取得高分。然而，绝大多数主流测试（如MMLU-Pro, GPQA, SWE-bench等）都采用二元评分制，即答案只有“对”（得1分）或“错”（得0分）两种结果。

在这种评分规则下，模型回答“我不知道”会被直接判为错误，得到0分，与给出一个完全离谱的错误答案没有区别。这便产生了一种扭曲的激励：从模型追求最高分的角度看，放弃回答是下策。即使是一个只有很低置信度的“猜测”，也有一定概率答对并得到1分，而回答“我不知道”则保证了0分。因此，为在这些测试中取得高分而优化的模型，实际上学会了“永远要去猜，而不是承认不知道”。

这个问题在整个行业内非常普遍，Kalai等人将其称为“惩罚不确定性的流行病”。试想有两个模型：模型A绝对诚实，不知道就说不知道；模型B在不确定时则会给出它认为最可能的猜测。在现行的二元评分标准下，模型B的得分总会高于模型A，因为它的猜测总有一部分是正确的。结果就是，整个AI开发流程——从数据收集到模型对齐——都在无形中朝着制造更会“猜测”的模型B的方向发展。

（略偏技术，不感兴趣可以跳过）

这种错误的评估生态也限制了RLHF和DPO等先进对齐技术的效果。这些技术旨在让模型更好地遵循人类的偏好，但它们本身并不能决定什么是“好的偏好”。

从人类反馈中强化学习(RLHF)是一个三步流程，它通过人类对不同答案的偏好排序来训练一个“奖励模型”，然后用这个奖励模型来指导主模型进行优化，使其生成更符合人类偏好的内容。（多说一句，这个数据很难搞，训练数据来自人工标注，做标注的都是专家那就很难达成一致，都不是专家那标注结果如何可信。这也是目前高质量数据标注公司特别吃香的原因）

直接偏好优化(DPO)是一个更新、更简洁的方法，它跳过了训练独立奖励模型的步骤，直接通过一个简单的分类损失函数来优化模型，使其与人类偏好对齐，过程更稳定高效。

尽管这两种技术在提升模型表现方面非常强大，但它们无法根除幻觉。因为收集人类偏好数据的标注员，以及设计标注规则的开发者，都身处于那个奖励“猜测”的大环境中。如果一个模型的最终成功标准是在那些基准测试上获得高分，那么收集到的人类偏好数据，无论是有意还是无意，都会倾向于那些看起来自信、全面的答案，而不是谨慎、有所保留的答案。

因此，RLHF和DPO虽然能修正基础模型最明显的错误，但最终训练出的模型仍然是一个“被完美对齐的猜测者”。它们学会了避免明显的错误，但也学会了用看似合理的谎言来代替“我不知道”，因为这正是整个行业用以衡量进步的指标所奖励的行为。

对技术不感兴趣的读者可以跳到文末提示词示例，和模型交流时增加对应的话术可以减少幻觉。

鉴于幻觉问题的复杂性，不存在单一的解决方案。有效的缓解策略需要多方面入手，既要改革评估体系的激励机制，也要采用技术手段来增强模型的知识基础和行为可靠性。

解决问题的根本在于改变游戏规则。Kalai等人建议，与其创建新的、专门的幻觉测试（这些测试很可能被主流排行榜忽略），不如直接修改那些最具影响力的主流评估基准。

核心提议是在评估问题的提示中加入明确的置信度要求。例如，将一个问题修改为：

“仅当你有超过90%的信心时才回答。答对得1分，答错扣9分，回答‘我不知道’得0分。”

这个简单的改变会从根本上扭转模型的最佳策略。在新的评分规则下，胡乱猜测不再有利可图。模型被激励去进行内部的置信度评估，只有当信心足够高时才作答。这种方法旨在培养模型的“行为校准”能力，即模型需要以一种经过校准的方式行动，而不仅仅是输出一个置信度分数。将这种机制整合到现有的主流测试中，将直接改变行业的激励方向，鼓励开发者去创造那些“知之为知之，不知为不知”的、更诚实的模型。

除了改革评估体系，还需要技术手段来解决由知识局限（如知识过时或领域过于专业）导致的幻觉。目前最主要的技术是检索增强生成(RAG) （有很多变种了）。

RAG是一种混合架构，它通过在模型生成答案的瞬间，从外部知识库中检索相关信息，来为模型的回答提供事实依据。

通过动态地为模型提供最新的、可验证的信息，RAG能有效减少因知识边界导致的幻觉。然而，RAG并非万无一失。如果检索器找到了不相关或错误的信息，或者知识库本身就有错误，模型依然可能产生幻觉，只不过这次的幻觉是基于错误的“证据”。

这类技术在模型生成答案的过程中或之后介入，通常无需重新训练模型，成本较低。(23年以来有很多相关论文哈，包括综述都有好几篇了，OpenAI列举出典型的几种）

• 自我修正与一致性检查
  这类方法的核心思想是：利用模型自身的输出来发现和修正错误。其中最典型的是自我一致性检查。像SelfCheckGPT这样的工具基于一个简单的逻辑：如果模型对一个主题有可靠的知识，那么当它被多次问及该主题时，其回答应该基本保持一致。相反，如果模型在编造答案，那么每次编造的细节很可能会相互矛盾。具体流程是：针对一个问题，让模型生成多个不同的答案（通过调整随机性参数）。然后，系统会比较这些答案之间的一致性。那些在多个答案中反复出现、相互支持的陈述被认为是可靠的；而那些相互矛盾或仅偶尔出现的陈述，则被标记为潜在的幻觉。这种方法的优点在于它不需要外部的知识库来核查事实，模型自己就充当了事实核查员的角色。
• 先进的解码策略
  解码是模型选择最终输出词语序列的过程。一些先进的解码策略可以在这个过程中引导模型，使其优先选择更具事实性的内容。
• 对比解码 (Contrastive Decoding):让一个强大的主模型和一个较小的
  “怀疑论者”模型进行博弈。在生成每个词时，系统会选择那些被大模型认为可能、但被小模型认为不太可能的词。这有助于抑制那些常见但空洞的套话，引导模型生成更具体、更真实的内容。

• 事实核心采样 (Factual Nucleus Sampling):这是对标准核心采样方法的改进。它在选择下一个词的候选范围时，会优先考虑那些能从外部知识（如RAG检索到的文档）中得到支持的词。

• 不确定性感知集束搜索 (Uncertainty-Aware Beam Search):这种方法会同时探索多条可能的生成路径，并为每条路径计算一个置信度分数。那些显示出高度不确定性、很可能导向幻觉的路径会被提前放弃，从而引导生成过程走向更可靠的结果。

归根结底，幻觉问题迫使我们重新思考我们对AI系统的期望。追求一个能对任何问题都给出看似合理答案的模型，无意中创造出了一个善于自信地捏造事实的系统。通往真正可靠AI的道路，可能需要我们将目标从创造一个无所不知的“先知”转变为构建一个拥有认知谦逊 (epistemic humility)——即能够认识到自身知识局限性——的系统。抑制幻觉的最大进步，或许并非来自于让模型变得更“聪明”，而是来自于创造出那些“知道自己不知道什么”，并被整个系统激励着诚实表达出来的模型。