编者按：在生成式人工智能迅猛发展的背景下，大语言模型驱动下的AI幻觉问题日益凸显，并成为引发虚假信息传播与信息迷雾风险的重要源头。苏州大学传媒学院教授张梦晗、硕士研究生沈文乾通过案例分析与LDA主题建模方法，对中、美、欧人工智能相关法律政策文本进行语义聚类与热度分析，提炼出数据操控、透明性失准、舆论多元性冲击等三大核心风险表征。在此基础上进一步剖析了该类信息迷雾风险的生成机制和原因，提出基于输出可信、多元共治与信任重建三维路径的分类治理框架。
一、从信息迷雾到AI幻觉主导的信息迷雾
伴随着传播技术的演进与媒介生态的转型，信息迷雾的概念应运而生。信息迷雾起源于英文单词disinformation，直译为虚假信息。信息迷雾通过捏造的假信息影响人员正确判断和决策，利用信息的不准确阻隔现象与其本质间的联系。制造者利用接受者的主观认知局限，制造信息不对称语境，将信息内容与冲突性具体场景绑定并利用媒介进行传播与扩散，以期实现制造者的特定意图，具有蓄意性、虚假性、传播性和误导性等特点。早期的研究将信息迷雾与服务国家战略、实行战术欺骗、提高他者行动成本等意图相关联，将目光锁定在政治选举、商业营销、认知作战等传统行为组织与个体。随着新媒介技术的引入，创造和传播虚假的或具有误导性的信息成本不断降低，经过网络在线环境的扩散，缔造更为复杂的信息生态，如现有的研究已经证实社交机器人及其代理能够参与到信息迷雾的生成中并影响用户政治认同。
近年来，生成式人工智能的迅速发展带来了信息索引与生成的高度便捷，但随之而来的一种信息失真机制也正在走向前台，即生成式人工智能的幻觉现象。AI幻觉是指以大语言模型为基础的人工智能在缺乏真实语义的情境下，仍然能生成高度流畅、逻辑通顺但不符合客观事实的信息。幻觉不仅出现在人机对话和文本生成任务当中，在法律查证、事例摘要、学术引用等高敏感性场景也时有发生，例如ChatGPT等大模型在生成学术文本时常编造并引用并不存在的文献，却通过规范格式和语言表现制造出高度权威感，使许多用户误以为其内容真实可靠。
基于生成式人工智能运作的逻辑架构，AI幻觉的生成原因可归纳为如下三个方面：一是人工智能知识来源的数据偏差。二是思考循环的模型缺陷。三是应用场景的理解困境。AI幻觉正在成为形塑虚假信息生态的有力行动者和主导者。
与传统信息迷雾不同，AI幻觉主导的信息迷雾具有算法驱动的非意图性、规模化扩散、高可信度伪装和低真实性等特征。一方面，模型生成的幻觉内容输出往往嵌入在真实语境中，使人难以识别虚假部分；另一方面，当幻觉内容经由社交媒体平台二次传播后，其误导性更加持久广泛并具有隐蔽性。相关的研究指出，这些幻觉信息进入公共话语空间后，将对现有信息生态和话语秩序构成挑战，不仅污染事实的认知图景，还将操纵着舆论话语的公共导向，具有趋向严重的潜在风险。
二、错位的升级：AI幻觉主导的信息迷雾表征
立法是保障人工智能健康可持续发展的重要手段，世界各国在风险治理的动机驱动下已经起草并推行各类人工智能法律法规。当下正在施行的法律法规不仅应社会需求而生，更反映着社会现实，体现对社会潜在风险的感知与治理尝试。由此，为获知AI幻觉在何处制造信息迷雾并由此引发何种风险，本文获取了2016年到2025年间中国、美国及欧盟发布的有关人工智能的法案、法规、暂行办法等政策性文件，并以“信息迷雾”“虚假信息”“AI幻觉”等关键词进行相关性筛选归类，最终得到共计76篇文件作为核心分析语料（此处略去文件列表）。
本文采用潜在狄利克雷分配模型进行信息文本的主题聚类，并通过主题热度值、主题热度阈值的比较来测量哪些主题为热点主题，共得到8个潜在的主题，其中3个热点主题分别为“消费者数据操控与隐私保护”、“透明性失准与歧视风险”、“冲击舆论多元性表达”。
人工智能对知识的使用是AI幻觉的生成基础。人工智能会对自身预训练阶段所获取的参数记忆产生偏好性，而不是关注当下输入的实时数据，并更加频繁地使用这些参数记忆指导内容生成。有限知识与偏好使用的叠加，使得人工智能在数据不足的情境下为满足特定的迎合用户的输出需求，会忽视数据的实际背景和内在关系，建构流畅但欠真实的输出结果，为用户传递虚假认知，污染信息生态。
当前的人工智能模型，出于开发者商业机密等因素考量，往往不公开其数据处理机制、算法决策路径等模型运作逻辑，由此形成了难以被外部观察、理解或追溯的黑箱壁垒。当其中的某个或多个环节发生变动与调整，其产生的杠杆作用将延伸到大语言模型的创造力与准确性当中，任意一方的失准或强势将在模型技术的黑箱中转换成为幻觉因素的诱因。
人工智能技术的发展与社交媒体平台的个性化机制叠加，促使幻觉内容借助推荐算法实现扩散，正在潜移默化地重塑公众的认知边界。具备高度迎合性、符合用户兴趣偏好的幻觉信息，在算法持续的推送与用户反馈数据的闭环中不断获得传播优势，使用户长期处于同质化内容的信息茧房之中，加剧了公共舆论场的极化与认知断裂。
当下，各国以立法规治信息迷雾问题，如我国《互联网信息服务算法推荐管理规定》所述“不得利用算法屏蔽信息、过度推荐、操纵榜单或者检索结果排序、控制热搜或者精选等干预信息呈现，实施影响网络舆论或者规避监督管理行为”，通过去算法化干预来实现舆论生态的多元与平衡，尽量降低其对话语场域的操纵影响。欧盟《人工智能法案》提及“训练、验证和测试数据集应具有相关性与充分代表性，尽可能避免误差，且结合预期用途具备完整性”，并禁止“通过明显损害个人或群体做出明智决定的能力来严重扭曲其行为”，意图对AI幻觉施加源头控制，避免人工智能因训练偏差输出误导性信息。
三、结构性失序：AI幻觉主导的信息迷雾风险成因
随着幻觉内容不断嵌入公共传播语境，受众对事实真相的判断能力将削减，系统性的信息误导也将干扰社会共识、影响网络空间安全，构成新的风险场域。AI幻觉主导的信息迷雾风险已经成为信息迷雾风险的突出形式。
从技术的逻辑起点看，训练数据的源头性污染是导致幻觉生成的重要诱因。主流大语言模型如ChatGPT、Claude、Gemini等，往往以海量互联网文本作为训练基础。这些语料虽量大面广，但质量参差不齐，虚假信息、陈旧数据、歧视性内容及阴谋论材料广泛存在于网络生态中。《人工智能安全治理框架》将“训练数据含不当内容、被‘投毒’风险”以及“训练数据标注不规范风险”统一以数据安全风险划归到人工智能内生安全风险大类，明确应对措施包括加强数据审核机制、完善标注规范以及建立数据责任制等。
与生成式人工智能复杂性相伴而生的是治理机制的碎片化趋势。世界各国在监管框架、风险定义、执行尺度与治理主体上存在不同的制度安排，不同国家或地区对不同概念的界定标准也差异显著。以“高风险AI”为例，欧盟在《人工智能法案》中将生物识别、情绪识别、公共基础设施管理等系统划定为“高风险”类别；美国的《AI权利法案蓝图》则将“系统性偏见”、“知情选择”、“数据隐私”与“人类干预权”等用户指标作为风险观照主题。
在全球技术资本逻辑主导下，生成式人工智能的快速演进不仅是技术理性驱动的产物，更深刻嵌套于国家战略竞争与资本逐利机制之中。这种以经济激励为导向的技术军备化倾向，正在加速幻觉风险的系统性扩散。扩张的需求削弱了对AI幻觉风险的约束，对领先地位的窄视追求使得人工智能在发展道路中无法兼顾作为一项工具技术所要求的各项伦理指标。
四、从技术修复到信任重建：AI信息迷雾风险分类治理路径
AI幻觉主导的信息迷雾风险因其算法训练的技术缺陷和社会政策的管理缺位而招致事实错乱、算法歧视与舆论极化等多重挑战。基于风险表征与生成原因，AI幻觉主导的信息迷雾作为一个关联多要素的风险概念，应当依据其显要模态，在技术源头、传播生态、社会认知等多领域配置分类治理方案。
针对事实性幻觉的内容与客观事实不符，推动自动核查机制建设，是打通人工智能输出与真实世界知识之间断裂的关键。现有方法如检索增强生成（RAG）将向量化的知识库用于专业知识补充检索，并将检索结果与用户输入共同应用于内容生成之中，以补充数据不足干扰带来的客观事实误解。通过在生成路径中嵌入逻辑一致性与不确定性估计机制，确保生成文本与前置条件之间保持语义一致性，由此弥补事实核查之外的逻辑校准需求。
技术源头之外，建立有效的内容标识机制已成为应对平台放大型风险的基础治理环节。美国《人工智能标签法案》要求“一切生产图像、视频、音频或多媒体形式AI生成内容的生成式人工智能系统，应在该AI生成内容上加入明显且一目了然的披露信息”，直接指向了强制性的人工智能标识。只有精确标识人工智能内容，才能针对幻觉信息有的放矢予以规制。
此处，AI幻觉主导的信息迷雾风险不仅是技术挑战，更是社会认知和制度信任的系统性议题，这种风险对社会的影响，既体现在个体层面的误导，更深层次地表现为群体认知的分化、文化价值的冲突以及制度信任的削弱。应对这类社会影响型风险，治理视角需由内容控制拓展至公众的认知机制与社会心理结构。社会信任的重建是遏制幻觉信息影响扩散的关键支点。通过强化信息发布的公共责任机制，优化数据来源、模型算法乃至生成路径的透明度与可信性，打破算法黑箱，发展可信任的人工智能，方能恢复信息生态的公共信任基础。
五、总结
在信息化与智能化深度交融的时代，AI幻觉主导的信息迷雾已不仅是技术误差的产物，更是塑造认知生态、干涉社会信任的隐秘技术力量，世界各国基于现实需求与未来发展，不约而同地制定了针对AI及AI幻觉的法律条文。中国通过多部行政法规和办法组合监管，侧重推荐算法、内容标识的审核管控；欧盟法案以风险分级为基础，对AI系统提出法律约束力强的责任与条款；美国则较为松散，通过联邦和州政府两级立法，以行政命令、政策指导和行业标准为主，鼓励创新同时强调隐私保护和防止歧视。
AI幻觉主导的信息迷雾表明，身处信息洪流的背景之下，真相在技术、制度和用户的多重作用下被建构、筛选与展示。技术的进步本应指向清朗的认知，但治理与伦理的缺位可能沦为加深信息迷雾的推手。在分类治理的框架下，我们需要协同技术修补、制度完备和素养提升，构建能够识别、质疑并转化幻觉的社会能力，让用户在信息迷雾中依然能够把握方向，令技术力量真正回归于人类认知的拓展与解放之中。
载《传媒观察》2025年第10期，原标题为《错位的升级与结构性失序：AI幻觉主导的信息迷雾风险与分类治理可能》。此为节选，注释从略，学术引用请参考原文，“传媒观察杂志”公号链接：https://mp.weixin.qq.com/s/bl5Wt1nz8Zs20oq8D6mgmg。
作者简介：
张梦晗，苏州大学传媒学院教授
沈文乾，苏州大学传媒学院硕士研究生