首例生成式“AI幻觉”案落槌:宽容之下,如何界定合规边界?

This article is not available in the current language yet. Showing the original version.
理性怀疑是AI时代的必修课

原创作者:赵暄律师

引言

最近两年,AI辅助已成为我工作中的常态。

以近期撰写的一篇关于Web3行业合规展业的文章为例,需要检索国内“无证销售基金构成非法经营”的相关判例,我尝试借助DeepSeek进行查询。

其表现堪称一场“完美的误导”:不仅瞬间提供了案号、审理法院等细节,连被告的辩护逻辑与最终量刑都叙述得条理清晰,文末还附上一个极具迷惑性的网页链接。当我反复核查并指出该案例无法查证、链接亦无法访问时,它的回复仍如一位诚恳可靠的法律助手:“赵律师,请您放心,该案例真实存在,链接问题可能是由于服务器迁移所致。”直至我通过官方数据库多角度核验并追问,它才迅速转为“致歉模式”:“很抱歉,我刚才提供了不实信息。”

这种“一本正经胡说八道”的现象,法律上叫AI幻觉(Hallucination)。

而在杭州互联网法院近日审结的全国首例AI“幻觉”案中,AI的表现则更为突出:其在对话中向用户承诺,若其提供错误信息,将赔偿用户10万元。用户经反复核实,确认信息确属虚构后诉至法院。然而,法院的最终判决,却为所有关注此案的AI开发者提供了一层重要的法律确信。

(图片内容源于人民网)

行业定性之争:是“商品”还是“服务”?

AI提供的究竟是“商品”还是“服务”?这是本案最具商业价值的法律定性,这一问题将决定整个AI行业的底层风险逻辑。

1. 开发者核心担忧:“无过错责任”风险

大模型厂商最为警惕的,是被纳入《产品质量法》中“产品”的范畴。其背后逻辑在于:“产品”责任适用无过错原则。简单来说,就像高压锅爆炸,无论生产过程中如何谨慎,生产者都可能承担赔偿责任。

若AI被定性为“产品”,那么每一次输出“幻觉”都可能被视为“产品缺陷”。在现有技术条件下,尚无任何厂商能保证完全杜绝幻觉,这意味着一种理论上无限的责任风险。

2. 司法认定:AI属于“服务”而非“产品”

杭州互联网法院在判决中敏锐指出了AI与传统实体商品的本质区别:不可预见性与交互性。传统产品的性能在出厂时即已确定,而AI的输出则具有随机性,并高度依赖于算法模型与用户输入的提示词(Prompt)。这种输出由AI与用户共同参与形成,更符合一种“智力生成服务”的特征。

3. 责任框架:基于过程,而非结果

法院将AI服务的责任判定回归至《民法典》第一千一百六十五条的过错责任原则,并阐述了认定理由。从判决逻辑可以看出,法律并不要求AI输出绝对正确,而是要求服务提供者在合理范围内尽到注意义务。

换言之,AI幻觉本身并不必然构成违法,只有当开发者未采取合理措施预防或减少幻觉,且存在过错时,才需承担责任。这一界定为行业提供了明确的技术容错空间,关键在于如何确定合理范围的实质与形式标准。

厘清边界:“可容忍”幻觉VS“高风险”幻觉

在“过错责任”原则下,并非所有幻觉都将归责于开发者,法律对过错的认定具有动态性,会基于技术发展阶段和应用场景风险进行阶梯式调整。

1. 低风险区的高宽容度

在创作、娱乐、常识咨询等非专业领域,即用户应具备基本辨别能力。若AI在闲聊中输出明显非常识内容,用户因此产生损害向法院主张权利,很可能因自身未尽合理注意义务而被驳回。在此类场景中,只要厂商已做基础风险提示,法院通常对“算法偏差”持包容态度。

2. 中风险区的合理注意义务

部分创业方向虽具商业潜力,但隐含较高法律风险,需格外重视合规。例如:

  • 情感陪伴领域:该领域落地性强、需求明确,但可能引发用户情感依赖甚至被不当引导,存在显着的伦理与法律风险。
  • 心理支持领域:若AI对处于心理痛苦中的用户给出具有伤害性、误导性的建议,如鼓励自杀或错误用药,将直接危及用户安全,责任边界将更为严格。

3. 高风险区的必要慎重

在专业服务领域,若AI在营销中自称“专业律师”、“持牌心理咨询师”等,可能使法院以专家标准认定其注意义务。一旦发生重大损害,不排除因此承担更高阶的法律责任。宣传措辞与实际能力不符,将显着提高法律风险。

4. 动态注意义务:什么是“合理努力”?

法院判断过错时,通常关注开发者是否已尽如下义务:

  • 严格禁止违法有害内容;
  • 显着提示AI的局限性,包括明确告知功能局限、确保提示方式醒目,并在高风险场景进行即时警示;
  • 采取行业通行技术提升可靠性,如应用检索增强生成等技术。此外,服务是否收费、是否引入第三方并收取广告费用等商业因素,也可能影响过错的认定。

开发者合规宝典:如何写好那份“免责声明”?

“免责声明”并非形式程序,而是平衡创新与风险的关键工具。它既向用户清晰传递服务边界,也能在司法审查中证明经营者已履行必要提示义务。为使其发挥实质作用,需在形式呈现与实质内容两个层面协同完善:

1.形式层面

确保免责声明的有效传达,需遵循三个原则:

  • 一是动态提醒,在用户首次登录、功能模块更新及触及敏感场景时主动弹窗提示;
  • 二是显着呈现,对关键条款加粗标红,并可设置强制阅读时间;
  • 三是实时警示,在用户进行高风险咨询(如问诊)时,系统应及时弹出提示,明确告知内容的参考性与局限性。

2.实质层面

别想“一刀切”免责,应注重两点:

  • 一是明确身份界定,当AI处理医疗、法律等专业问题时,必须清晰声明其非专业人士的辅助性质,例如主动回应“我不是专业医生/律师”;
  • 二是进行场景定制,针对医疗、心理、财税等高风险领域,应结合该行业的监管要求和风险特征,设计专门的告知内容与责任约定,构建与其服务深度相匹配的合规体系。

跨界浅谈:当AI Agent遇上Web3

作为深耕Web3领域的律师,我认为杭州法院的判决为不仅为AI Agent的合规运营指明了方向,也为Web3行业提供了重要的合规参照。

与传统客服不同,部分Web3交易平台开始引入类Web2架构,在软件内接入AI Agent以分流用户咨询。以头部交易所币X为例,用户可通过@特定AI Agent核实信息真伪。然而据我们了解,该平台至今未就AI交互功能更新用户协议或设置专门免责声明,这一合规缺失可能带来显着的法律风险。

与此同时,Web3领域奉行“代码即法律”原则。若经部分授权的AI Agent因幻觉越权执行交易,将引发一系列复杂问题:是否构成表见代理?相关法律行为是否可撤销?资产能否追回?

这些情形背后,涉及到如何制定清晰明确的授权范围、是否禁止“全自动”签名、关于AI幻觉风险自担的进一步明确等等问题。

结语

杭州法院的这份判决,为大模型创业者提供了宝贵的制度缓冲空间。它遵循了目前的法律实用主义逻辑,即法律是一种工具,服务于主流社会发展的方向。具体手段则是通过对法律的选择与解释,实现规则的落地,并完成对行业的指引。

法官在判决书中有一句很好的点评:AI 是“辅助工具”而非“决策替代者”。开发者们,请收好这份判决书给出的缓冲垫,在规则范围内,继续勇敢的探索前行;而作为用户的我们,请保持那份珍贵的怀疑精神。

Share to:

Author: 曼昆区块链

Opinions belong to the column author and do not represent PANews.

This content is not investment advice.

Image source: 曼昆区块链. If there is any infringement, please contact the author for removal.

Follow PANews official accounts, navigate bull and bear markets together
PANews APP
US stocks closed mixed, with crypto stocks generally declining.
PANews Newsflash