机器之心专栏
机器之心编辑部
在古埃及的神话中，有一种名为塞壬(Serin)的海妖，他们通过美丽的歌喉制造幻象，诱导往来的军舰沉没倾覆。
大规模语言模型在诸多下游任务中彰显了惊人的能力，但它们在使用中一直曝露了一些问题。其中，幻觉是目前影响大模型落地的重要问题之一。ChatGPT的发布使学术界和工业界关注大模型实际落地的潜能，大量关于幻觉的工作也开始涌现。
近日，腾讯AILab联合国外外多家学术机构发布了面向大模型幻觉工作的综述，对幻觉的评估、溯源、缓解等进行了全面的阐述。
哪些是大模型幻觉问题？
依据相关工作和平常对大模型的使用体验，研究人员总结了大模型常见的三类幻觉：
和用户输入冲突的幻觉(Input-ConflictingHallucination)：大模型生成的回复违反了用户输入中的任务指示或则任务输入。和已生成的上下文冲突的幻觉(Context-ConflictingHallucination)：大模型生成的回复出现了自我矛盾。和事实知识冲突的幻觉(Fact-ConfilictingHallucination)：大模型生成的回复与公认的事实知识出现了冲突。
在上述三类幻觉中，和事实知识冲突的幻觉是目前大模型幻觉研究的核心热点。研究人员觉得是由于这一类幻觉研究的难度更大，对用户实际使用体验的干扰也最大。诸如，大模型在生成医疗建议时可能会歪曲错误的药品剂量，欺骗缺乏专业医学知识的用户，形成风险。
大模型幻觉和传统幻觉的主要区别在那里？
在大模型时代前(以ChatGPT的发布为节点)，幻觉问题在传统的自然语言生成任务中也有一定的研究积累。研究人员总结了大模型幻觉和传统幻觉研究的几点重要区别：
大模型使用海量训练数据：与传统任务不同，大模型须要在海量数据上进行大规模预训练。这种海量数据常常采集于互联网，可能包含大量伪造的、有偏见、过时的内容，因而引起幻觉。因为数据规模过大，上述问题内容也无法剖析和筛除。大模型的通用性：传统模型常常只面向单一的任务，而大模型则被应用于多任务、多语言、多领域的通用场景。大模型的通用性给幻觉的全面评估、消除带来了全新挑战。大模型幻觉不易被察觉：因为大模型的强大能力，大模型生成的幻觉看起来十分合理，有的时侯甚至人类都很难发觉。其他区别：大模型的一些新特点，比如额外引入的基于人类反馈的加强学习(RLHF)过程、模糊的知识边界、以及潜在的黑盒属性，也给幻觉研究带来了新的挑战。
大模型幻觉怎么评估
大模型幻觉问题的研究基石是可靠的评估基准。现有研究工作提出了多个针对性的评估基准，主要面向事实冲突类型的幻觉。研究人员从多个方面对那些基准进行了总结。
评估方式(Evaluation)：现有评估基准常常有两类方法评估大模型的幻觉，即生成式(generation)和判断式(discrimination)。生成式的基准直接评估大模型生成回复中出现幻觉的倾向，而判断式的基准则评估大模型判定一段文本是否存在幻觉的能力。应用任务(TaskFormat)：现有评估基准在不同的下游任务中评估大模型的幻觉现象，比如问答、指令遵守、文本续写等。评测指标(Metrics)：现有评估基准各自设计了特殊的指标，用于判定大模型出现幻觉的程度，包括：1）人工评估；2）基于模型的手动评估；3）基于规则的手动评估。
大模型幻觉来始于哪些
研究人员也对大模型形成幻觉的诱因进行了一些初步剖析，比如：
大模型欠缺相关知识或则记忆错误知识：在大模型回答用户问题或则解决更复杂的下游任务时，假若缺乏了所须要的知识或则从训练数据中记忆了错误的知识，则有可能出现幻觉。大模型低估了自己的能力：一些工作发觉，大模型常常难以确切地恐怕自己的能力边界。为此，大模型在回复超出自己能力的问题时，常常会低估自己，因而自信地散布幻觉回复。对齐过程中引入幻觉：大模型在预训练阶段外，还须要进行对齐，包括指令微调和RLHF。这种步骤可能欺骗大模型出现幻觉。诸如不恰当的指令微调可能让大模型学会编造自己不会的答案，RLHF也可能让大模型学会为了迎合人类而捏造内容。生成过程中引入幻觉：一些工作觉得，不恰当的生成策略也可能造成大模型出现幻觉。诸如，基于取样的解码生成方法中引入的随机性被证明可能造成幻觉，而大模型常用的自回归生成方法也可能造成幻觉的累积传播现象。
有哪些方式可以减轻大模型幻觉
为了尽可能降低大模型的幻觉现象，进而促使大模型的落地应用，近日出现了大量新的研究工作尝试减轻幻觉。针对减轻幻觉的方式贯串了包括预训练、指令微调、强化学习以及推理在内的整个大模型生命周期，研究人员对此进行了如下总结：
预训练阶段的减轻
已有工作觉得，大模型的知识主要来自基于海量文本的自监督预训练。考虑到错误和缺位的知识可能造成幻觉的形成，预训练阶段的幻觉减轻工作主要关注怎么手动提升预训练语料质量。诸如，Llama2在建立预训练语料时，特地对事实性更好的数据源(如维基百科)进行了上取样。
指令微调阶段的减轻
在微调阶段ai遇到未知的图像结构，现有工作也阐述了怎样提升指令微调数据的质量，因而降低大模型的幻觉。与预训练阶段的一个不同点在于，指令微调数据的规模较小，可以人工进行清洗。
据悉，OpenAI也强调，指令微调阶段存在着由于行为克隆现象而造成幻觉的风险。这一现象代表：指令微调的数据中存在着超过大模型能力的样本，假如一味地逼迫大模型学习这类样本，则有可能造成大模型学会对任何问题都以特别肯定的语调进行回复。这么反映到实际使用时，大模型都会对自己不会的问题歪曲回复，进而造成幻觉。
加强学习阶段的减轻
针对行为克隆现象造成的幻觉，OpenAI的加强学习负责人JohnSchulman在伯克利学院的讲演中分享了OpenAI在训练ChatGPT时减缓幻觉的一种技巧。她们在加强学习时，给大模型不同语调回复的错误以不同的惩罚力度。这样做的目的是鼓励大模型抒发不确定性、质疑问题、承认错误，进而减缓过度自信而出现幻觉。
尽管加强学习通过让模型学会拒绝回答问题一定程度上减轻了幻觉，但也带来了额外的问题。因为加强学习主要依赖奖励模型提供监督讯号，但是奖励模型并不能达到100%的确切率，造成生成模型可能被过优化(over-optimization)。这些情况下，大模型会过度保守，拒绝回答一些它本可以回答正确的问题。
推理阶段的减轻
因为在推理阶段幻觉最为灵活，许多现有工作集中于此方向。代表性的做法有：
1.改进解码策略：研究人员尝试通过设计更好的解码策略来减轻幻觉，比如Inference-Time-Intervention方式在解码时通过让模型激活值在和事实性更为相关的注意力头上传播ai遇到未知的图像结构，因而减轻幻觉。
2.利用外部知识：通过在模型解码时，检索和用户问题相关的知识，让模型在回复时给以参考，可以明显解决幻觉问题。这儿的知识源可以是无结构文本、结构化文本(网页或数据库)，甚至是各种工具。
检索到相关知识后，一类做法是直接在模型生成回复时提供给模型。另一类做法是在模型生成回复后，提供给模型，让模型自我纠正上次回复中存在的幻觉。
3.测度不确定性：通过评判大模型输出回复时的不确定度(uncertainty)，可以使用户了解到回复中什么部份是不能信任的。常见的不确定度测度方式有：1）基于输出分数的；2)基于描述的；3）基于一致性的。
据悉，还有更多的减轻方案，如多智能体交互、指令设计、人在回路、分析模型内部状态等，都在论文中有着更详尽的介绍。
总结和挑战
该综述系统性地阐述了大模型幻觉问题的评估、解释和减轻策略，希望能给后续的研究人员以启发。据悉，大模型幻觉问题的研究也有着一些新的研究方向和挑战，如：
1.可靠评估：大模型的幻觉问题的评估一直留有大量挑战，例如如何设计强健的、和人类偏好对齐的手动指标，以及判断式和生成式评估方法的抉择和关系等。
2.多语言和跨语言幻觉：大模型常常可被用于多语言和跨语言场景，但研究人员发觉，在中文上表现良好的大模型，在其他语言上可能出现幻觉。
3.多模态幻觉：大语言模型的到来使研究者们开始研究多模态大模型，如语言和图象、视频、语音的结合。在这种多模态场景下，幻觉问题的研究迎来了新的定义和挑战。
4.模型编辑：模型编辑技术通过直接编辑大模型参数，来改变它蕴藏的知识，进而改变其行为。模型编辑可能是减轻幻觉的一种有潜力的技巧。
5.面向幻觉的攻守：虽然现有的商业大模型，如GPT4，早已在面向事实性问题时显露了良好的可靠性，但已有研究表明可以通过一些方法来绕开大模型的安全策略。面向幻觉的攻守也可能是一个有趣的研究方向。
