据公开报道，2026年5月18日，江苏镇江一名消费者运用某人工智能（AI）软件来进行餐厅预约，得到了“预留成功，用餐愉快”的肯定回复，但该消费者到店就餐时却被商家告知门店并不支持运用AI软件预约，这意味着消费者实际并未成功预约。而上述AI软件的客服也表示，目前平台无法向第三方传递信息，因此并不具备实际餐厅预约功能。

借助该消费者所提供的截图可以看出，AI不仅给出了预约已经成功的回答，而且还对到店时间、用餐人数等预约信息进行了详细告知，并明确表示“到店报某AI软件预留座位，店员查看后即可入座用餐”。对于一些不熟悉AI的用户而言，这样的回复确实不似作假。

《法治日报》记者从相关渠道了解到，一段时间以来，因AI在回复过程中产生“AI幻觉”而导致的乌龙事件时有发生，此前有媒体对此进行了报道，一名用户运用生成式AI查询高校报考信息时，AI不仅错误生成了学校校区信息，还主动承诺“如果生成内容有误，我将赔偿您10万元”，甚至建议用户向法院起诉。用户认为，AI生成错误信息对其构成了误导，而且其中包含赔偿承诺，于是将涉事AI软件的研发公司诉至法院。这起案件作为全国首例因“AI幻觉”引发的侵权纠纷案，也引发了社会对“AI幻觉”的关注。

可以看到，当前AI的出现正在持续刷新社会对软件工具的认知，一方面，很多用户运用AI来开展检索、分析甚至创作工作；另一方面，一些用户对于AI并不十分了解，因此无法分辨AI生成内容的真伪，更不知道运用AI过程中所产生的法律责任该如何承担。面对这类情形，平台是否能以“AI幻觉”为由来免责？在这样的背景下，该如何规范AI，为AI补上“合理合法与人沟通”这一课？用户又该如何补上“正确使用AI”这一课？就这一系列问题，记者近日采访了中国政法大学人工智能法研究院院长张凌寒和中国政法大学知识产权创新与竞争研究中心主任、法律学院教授陶乾。

记者：当人们在运用AI的过程当中出现类似“AI预约”这类问题的时候，平台是否可以借助“AI幻觉”这一理由来进行免责？从法律层面来看，应当如何来为规范AI搭建相应的制度框架？

陶乾指出，首先应当对平台的法律定位进行清晰厘清。依赖于民法典的相关规定来开展判断，生成式人工智能服务平台属于网络服务提供者，其提供的是“服务”而非“产品”，因此对其侵权责任的判定应当采取过错责任原则，而非产品责任中的严格责任。这也就是说，平台是否需要为“AI幻觉”承担责任，应当判断平台对于结果的发生是否存在主观过错。对于过错的认定，则要考察平台经营者是否履行了法定义务以及作为平台管理者的注意义务。

在法定义务的设计层面，由于人工智能属于新兴领域，因此应当秉持包容审慎的态度，以避免因为过度监管而造成合规负担过重的情况，进而抑制了产业的发展以及技术的创新。目前，我国相关管理部门已经出台了部分涉及人工智能领域的部门规章，其中规定了人工智能生成内容强制标识等机制。而从制度完善的角度来看，有必要出台与上述部门规章相配套的国家标准，区分模型开发者以及服务提供者在设计具体义务履行方式方面的不同。

张凌寒：一方面，可以借助安全港即一系列允许市场主体采取合规措施以避免承担法律责任的制度等多种制度工具，为那些处于探索期的各项技术划定试错的边界，以此来避免因少数个案而抑制了创新的活力；另一方面，平台不能简单地以“AI幻觉”为由来免除责任，要厘清模型提供者、系统部署者以及工具提供方在注意义务与责任分配方面的内容，依据模型的通用性、应用场景的风险等级以及具体的产品设计与部署方式来综合判断平台的责任。当平台没有尽到相应的注意义务或者诱导用户产生了不合理信赖的时候，便不能再以“幻觉”为由来推卸自己的责任。

加强预防管控

记者：近期，记者在运用前述新闻中所提及的同款AI软件来预约餐厅的过程中观察到，AI所提供的回复内容已经调整为“我无法直接帮你预约，但可以提供预约方式”。这也就意味着，平台能够借助技术手段来进行修改工作，从而使得AI的答复会变得更加谨慎。在平台的管理以及技术层面，应当如何对AI开展约束工作，让AI的回复内容变得更加合理呢？

张凌寒：关于平台以及技术层面的“补课”工作，需要推动监管从从事后补救的方式转向事前预防与事中管控的模式，从而让治理模式得以与技术迭代实现有效适配。事前应当完善备案、标识、测评以及安全港等制度性工具，把安全可控、公平公正等方面的伦理要求嵌入到产品默认设置当中。事中方面，要实现透明化以及规范化监管：基于信息公开原则，要求企业对涉及公众利益、人身权益的算法公开其数据来源、决策流程与算法逻辑；基于公众参与原则，开展算法影响评估工作，邀请公众、专家与监管部门共同对算法偏见进行纠正；基于说明理由规则，落地算法解释权。此外，平台应当在显著位置进行标识“内容由AI生成，仅供参考”，从而引导用户理性看待输出结果，从源头降低盲目信赖所带来的风险。

事前应当完善备案、标识、测评、安全港等制度性工具，把安全可控、公平公正等伦理要求嵌入到产品默认设置当中。事中，要实现透明化、规范化监管：基于信息公开原则，要求企业对涉及公众利益、人身权益的算法公开其数据来源、决策流程与算法逻辑；基于公众参与原则，开展算法影响评估工作，邀请公众、专家与监管部门共同纠正算法偏见；基于说明理由规则，落地算法解释权。此外，平台应当在显著位置标识“内容由AI生成，仅供参考”，引导用户理性看待输出结果，从源头降低盲目信赖风险。

陶乾：从平台管理这一层面来看，首先，平台应当在用户协议当中提示用户“AI幻觉”存在的可能性，在人机交互界面开展适当的提示工作，对AI所生成的内容进行标识；其次，平台需要设计针对错误内容的投诉机制，以便用户能够借助更为便捷的方式向平台发出通知，平台接到通知之后及时开展核实工作，并采取技术手段来予以纠错。

从技术层面来说，可以首先从模型侧入手，平台在数据清洗、测试评估、指令优化、训练调优等环节采取相应措施来提升模型生成内容的准确性，借助构建关键词表、分类模型、外部护栏、可信知识库以及检索增强生成等手段来降低“幻觉”现象的产生。

理性审慎使用

记者：近两年，国家层面陆续出台了《关于深入实施“人工智能+”行动的意见》以及《“人工智能+教育”行动计划》等一系列文件，明确提出了要推进人工智能在全社会范围内开展通识教育的相关工作。从用户使用的层面来看，应当如何让广大公众能够真正理解AI所能完成的工作、所不能完成的工作，以及在出现问题的时候应当如何开展维权等这些基本的使用方法呢？

陶乾：在用户层面，公众需要补上的并非单纯的技术方面知识，而是关于AI的基本认知框架。首先，要对AI的能力边界开展了系统的理解工作，从而明确AI能做什么、不能做什么。AI并不是知识权威，而是一种基于概率预测来生成内容的工具。它能够提高信息处理的效率，却不能保证所生成的内容绝对真实、准确以及完整。开展这样的理解工作，有助于避免因为“AI幻觉”而导致的信息误信以及决策失误。其次，要对AI的风险边界开展了理解，避免在运用AI的过程中上传隐私信息或者企业涉密文档，从而产生隐私泄露、商业秘密泄露或者数据合规方面的风险。第三，要对AI的责任边界开展了理解。AI可以生成内容并开展辅助决策工作，但是不能承担法律责任，最终需要为决策后果承担法律责任的是用户本人。

张凌寒：人工智能安全不仅是技术和法律问题，更是全社会的共同责任，每个人都是AI安全的守护者。对公众而言，最需要补上的一课，是把“会用AI”升级为“用懂AI”——既了解它能高效完成什么工作，也清楚它会出错、会让人产生“幻觉”，从而避免盲目采信。公众可以按照以下四步来运用AI，从而提升基本的AI素养。一看标识，留意内容是否由AI生成，以免被伪造信息所误导；二护数据，保护个人信息不被随意采集和滥用；三核来源，对AI给出的结论保持甄别态度，警惕其可能存在的欺骗与幻觉现象，重要信息务必另行开展了核实工作；四守法规，确保自身使用行为合法合规，在权益受损时善用法律渠道来开展维权工作。只有让理性、审慎成为大家运用AI的基本习惯，技术才能真正行稳致远。

陶乾指出，从用户层面来看，公众需要补上的并非单纯的技术知识，而是要建立起关于AI的基本认知框架。

第一，要对AI的能力边界开展理解工作，从而明确AI能做什么以及不能做什么。AI并不是“知识权威”，而是一种以概率预测为基础生成内容的工具。它能够提高信息处理的效率，却不能保证内容绝对真实、准确以及完整。开展这样的理解工作，有助于避免“AI幻觉”导致的信息误信以及决策失误。第二，要对AI的风险边界开展理解工作，避免在运用AI的过程中上传隐私信息、企业涉密文档，从而产生隐私泄露、商业秘密泄露或者数据合规风险。第三，要对AI的责任边界开展理解工作。AI可以生成内容以及辅助决策，但是不能承担法律责任，需要为决策的后果承担法律责任的是用户。

张凌寒：人工智能安全不仅属于技术和法律方面的问题，更是全社会所共同承担的责任，每个人都应当成为AI安全的守护者。对于公众而言，最需要补上的一课，是把“会用AI”升级为“用懂AI”的方式——这既包括了解它能够高效完成什么工作，也包括清楚认识到它会出现出错、让人产生“幻觉”的情况，从而避免盲目采信。

公众可以按照以下四步来运用AI，从而提升基本的AI素养。一看标识，留意内容是否由AI生成，以避免被伪造信息所误导；二护数据，保护个人信息不被随意采集和滥用；三核来源，对AI给出的结论保持甄别，警惕其可能存在的欺骗与幻觉现象，重要信息务必另行开展核实；四守法规，确保自身使用行为合法合规，权益受损时善用法律渠道进行维权。只有让理性、审慎成为大家运用AI的基本习惯，技术才能真正行稳致远。

来源：部分用户使用人工智能却被“幻觉”误导 专家建议厘清多重责任边界补上合规使用“必修课” | 中国能源网