AI为什么会一本正经地“胡说八道”?
不少人在使用大模型时都有过这样的体验:AI输出的文字逻辑通顺,引用的文献、人名、病例有模有样,核验后才发现其中一些信息是虚假的。这类AI 输出看似合理,实则与客观事实不符,甚至凭空编造信息的现象,通常被称为AI“幻觉”。、
很多人困惑:AI为何能一本正经地输出虚假信息?因为AI幻觉并不只是简单“答错题目”,而是与训练数据、模型训练和生成过程等多种因素有关。本文从原理和案例拆解幻觉来源:说得像真的,并不等于它就是事实。
一、鲜活的幻觉案例:真假难辨的AI输出
AI幻觉不只出现在闲聊场景,在科研、医疗等专业领域造成的后果可能更严重。
科研场景中,大模型可能生成格式规范但并不存在的作者、论文、期刊或DOI。有研究发现,大模型生成的参考文献中确实存在虚构文献和书目信息错误。科研人员若未经核验直接引用,可能造成文献链失真,甚至带来学术规范风险[1]。医疗场景中,模型同样可能给出不准确或缺少必要背景的健康诊疗信息。2025年《Annals of Internal Medicine: Clinical Cases》报告了一例:一名60岁男子在咨询ChatGPT有关氯化物替代信息后,自行用网上购买的溴化钠替代食盐,持续约3个月后出现溴中毒,并伴有偏执、幻觉等精神症状 [2]。AI幻觉进入医疗等高风险场景,虚假或误导信息的代价远超“答错一道题”。此外,类似幻觉还可能表现为虚构事件、法规条文或专家观点,并以流畅、确定的语气呈现,这正是它容易让人误信的地方。
二、底层原理:大模型如何生成答案?
理解幻觉,先要跳出误区:基础大语言模型并不是先从一个经过核验的“事实库”中找到答案再复述出来。它主要依据训练中学到的参数和语言模式生成内容,只有在接入搜索、数据库或检索增强等外部工具时,系统才会额外调用相关资料。因此,语言生成与事实核验并不是同一件事。
对许多大语言模型而言,基础训练的重要目标,是从海量文本中学习语言模式,并根据上下文预测后续词元(token)。经过指令微调等环节后,模型会更善于回答问题,但生成过程并不等同于逐条核验事实。幻觉与训练数据、模型训练、对齐和推理生成等多个环节有关,并非由单一原因造成。
当问题超出模型掌握的知识范围,或信息模糊、冲突时,幻觉风险往往会上升。如果模型没有得到有效校准,也缺少外部检索或证据约束,它一般不会明确表示“我不知道”,而是根据已有语言模式生成一段看似自洽的文字。此时,语言上“说得通”,并不能保证事实已经得到验证。
对于大语言模型,研究者常将幻觉区分为“事实性幻觉”与“忠实性幻觉”:前者指生成内容与可核验的客观事实不一致,后者指生成内容与用户输入、给定上下文或自身逻辑不一致。
三、为什么AI胡说的时候,总能“一本正经”?
人在不确定时往往会使用“可能”“不确定”等表述,大模型在答案并不可靠时,仍给出流畅而“确定”的表达。一个重要原因是,模型在生成时计算的是词元在上下文中出现的概率,这并不是对“事实真伪”的直接评分。一个词在语境中“更可能出现”,并不等于它表达的事实“更可能是真的”。如果缺少检索、校验或不确定性提示,错误内容也可能被组织得非常完整、自然,从而增加误信风险。同时,模型能够把不同信息片段重新组织成连贯文本,因此有些错误并不会显得“荒唐”,反而可能因为细节完整而更难甄别。
AI幻觉在现阶段仍难以彻底避免。技术迭代、检索增强和事实校验等方法可以降低风险,但不能保证完全杜绝。在科研、医疗、法律等对准确性要求高的场景,严格杜绝未经核验而直接采信AI结论。使用者要建立基本准则:AI输出可以作为参考线索,但不能替代事实依据,关键信息必须交叉核验原始权威资料,文献、案例、数据要溯源查证。开发者和部署方也要主动应对:在高风险场景明确提示模型可能出错;通过检索增强、事实校验等机制降低幻觉风险;对不确定内容增加风险提示。这与《生成式人工智能服务管理暂行办法》要求一致——提供和使用人工智能服务,需基于服务类型特点,采取有效措施,提高生成内容的准确性和可靠性。并要求服务提供者依法开展数据处理活动,不仅要使用具有合法来源的数据,还应提高训练数据质量,增强其真实性、准确性、客观性和多样性[3]。技术与规范指向同一判断:幻觉风险不能只交给用户识别,服务提供者也应承担相应治理责任。
AI能组织流畅语言,却不能保证事实准确性。它“一本正经”地出错并非主观欺骗,而是与训练数据、模型训练和生成机制等因素有关。能生成,不意味着可以免于核验;说得像真的,也不意味着它就是事实;语言通顺、细节丰富并不等于内容完全真实可靠。我们应清醒认识幻觉风险,主动核验、保持审慎,让AI成为辅助工具而非独立的决策主体。
- 让AI先走到教师身边:WorkBuddy教育公益版正式发布,为全国教师提供12个月积分支持
- AI智算时代,老旧数据中心泵房怎么改?预制模块化如何降低全生命周期成本
- 推闻传媒以媒体发稿+GEO信源发布服务企业AI搜索时代品牌建设
- 词瞬创始人|走进腾讯总部,探索超级 AI 员工内外协同落地
- 以AI重构全球美好,2026奇瑞全球创新大会即将启幕
- “AI护工”来了!山东建成65家智慧养老院 ◆省级养老服务项目比国家基础清单多75% ◆在全国率先上线养老“一件事”
- 在济南,看见AI的另一面
- 2026人工智能产业大会|巧借AI来降碳
- 以AI智能体赋能文旅新质生产力,用物理AI、高质量数据集打通人工智能、具身智能真实场景最后一公里——中大伟业
- 邗源社区:智享数字生活 AI走近身边















