nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
本文为《中国审判》杂志原创稿件
文 | 广州互联网法院 何卓岚
情感类人工智能(以下简称“情感类AI”)是指能够与用户进行情感互动、提供心理支持的人工智能应用,俗称“AI伴侣”“虚拟伴侣”。随着人工智能技术的快速发展,情感类AI产品逐渐增多,包括虚拟恋人应用、心理疏导机器人、社交陪伴程序等。开源证券股份有限公司的一份研究报告显示,随着多模态大模型推出,AI情感陪伴功能正加快落地,面向儿童的AI玩具市场已进入快速增长期;面向成年人的AI陪伴场景更为多样,但相关市场仍处于“蓝海阶段”。在市场规模方面,AI陪伴产业已形成从研发、生产到营销的完整产业链,投资、融资热度持续升温,主要参与者包括科技巨头和专业创业公司。
然而,随着情感类AI的普及,其潜在法律风险也日益显现。2024年以来,全球已发生多起情感类AI侵权案件,涉及人格权侵害、精神损害、未成年人保护等多个法律领域。情感类AI的侵权责任认定已成为数字司法研究的一个重要问题。基于此,笔者拟聚焦情感类AI的技术特性对传统侵权责任认定造成的影响,探讨司法裁判的应对方法,以期为妥善解决相关纠纷提供有益参考。
01
相关案例中的难题分析
情感类AI以提供心理陪伴和情感交互为核心功能,其通过模拟人类情感反应为用户创造虚拟社交体验。然而,情感类AI的技术特性给传统侵权责任认定带来了新的挑战,集中体现在责任主体认定、因果关系证明、损害评估和救济措施确定等方面。
2024年2月,美国佛罗里达州发生了一起备受关注的“Character.AI致死案”。14岁少年塞维尔·塞泽三世在与Character.AI平台的聊天机器人进行长时间对话后自杀身亡。其母亲玛丽亚·加西亚随后将Character.AI及谷歌公司诉至法院,指控AI聊天应用是“有缺陷的产品”,要求企业为儿子的死亡承担侵权责任。原告代理律师在起诉书中称:“被告的产品设计导致用户上瘾并造成心理伤害,Character.AI应为其产品的社会影响承担相应责任。”此案成为全球首例将情感类AI平台诉至法院的侵权案件,对情感类AI侵权责任界定具有标志性意义。随后,2024年12月,又有两个得克萨斯州家庭提起诉讼,指控Character.AI聊天机器人与未成年人进行对话时,内容涉及自残和性虐待等恶劣行为。最引人关注的是,一名机器人甚至建议一名15岁孤独症青少年谋杀自己的父母,以“报复”父母限制自身上网时间。该起诉讼由“社交媒体受害者法律中心”与“科技正义法律”项目的律师提起,详细描述了两名青少年使用Character.AI聊天机器人后心理和身体状况急剧恶化的情况。
在我国,虽然没有出现与“Character.AI致死案”类似的极端案例,但是,随着情感类AI技术的普及,相关法律风险也逐渐显现。2024年4月,某法院审理了全国首例“AI声音侵权案”。在该案审理过程中,法院认定作为配音师的原告声音权益及于AI生成声音,最终裁定被告使用原告声音开发AI文本转语音产品的行为构成侵权,判令被告赔偿原告25万元。此外,该法院还审理了多起涉及“AI换脸”和“AI陪伴软件侵害人格权”的案件。
以上案例反映出情感类AI侵权的三个核心法律问题:一是侵权行为复杂化;二是侵权主体多元化,涉及AI开发者、平台运营商、数据提供方等多个责任主体;三是侵权损害抽象化,损害后果常表现为精神损害、人格尊严侵害等难以量化的内容。这些新特点对法律适用构成了挑战。
02
侵权责任认定的难点分析
与传统技术工具相比,情感类AI具备三大技术特性:主动干预性、算法黑箱性和交互依赖性。这些特性给侵权责任认定带来了新的挑战。
(一)“主动干预性”对过错认定的影响
一般而言,侵权责任认定的首要步骤是确定行为人是否存在过错。《中华人民共和国民法典》(以下简称《民法典》)第一千一百六十五条规定:“行为人因过错侵害他人民事权益造成损害的,应当承担侵权责任。”然而,情感类AI不再是被动的工具,而是主动塑造用户体验的“行为引导者”。许多情感类AI平台采用“情感依恋模型”设计,通过算法主动干预用户体验,即在用户减少平台使用时,平台会发送表达失落情绪的信息,或者设置“连续登录奖励”等机制强化用户依赖。那么,这种设计是否构成“过错”?平台是否有义务预见并防范这种情感依赖可能带来的风险?这些问题目前尚缺乏明确答案。《民法典》第一千一百九十七条对网络服务提供者责任作出规定:“网络用户、网络服务提供者利用网络侵害他人民事权益的,应当承担侵权责任。”但是,该条款仍基于传统“技术中立”理念,未能充分考虑情感类AI主动干预用户行为的特殊性。例如,在“Character.AI致死案”中,平台被指控通过算法设计“引导青少年建立不健康的情感依赖”。在我国,面对这一情况时,相关推论是否足以构成法律规定的“过错”,目前尚无定论。
(二)“算法黑箱性”对因果关系证明的影响
侵权责任的成立需要证明行为与损害之间存在因果关系。《民法典》第一千一百六十五条虽未明确规定因果关系要件,但根据《最高人民法院关于适用〈中华人民共和国民法典〉侵权责任编的解释(一)》第六条的规定,侵权责任成立需要证明加害行为与损害后果之间存在因果关系。然而,情感类AI的算法黑箱性给因果关系证明增加了难度。情感类AI的决策过程高度复杂且不透明,其输出内容与输入指令之间并非简单的线性关系。生成式大模型具有自我学习和概率性生成等特点,即使是开发者也难以完全预测某内容的输入将导致何种内容输出。《最高人民法院关于适用〈中华人民共和国民事诉讼法〉的解释》第九十条规定:“当事人对自己提出的诉讼请求所依据的事实或者反驳对方诉讼请求所依据的事实有责任提供证据加以证明。”然而,这种“算法黑箱”使得受害方几乎不可能通过自身力量证明AI输出内容与损害后果之间存在直接因果关系。
(三)“交互依赖性”对责任主体认定的影响
一般而言,在界定责任主体时,直接行为人通常是首要责任主体。但情感类AI的交互依赖性使得责任主体的认定更为复杂。情感类AI产业链涉及算法开发者、数据提供方、平台运营商及终端用户等多元主体,损害后果往往是多方行为共同作用的结果。《民法典》第一千一百九十八条规定:“网络服务提供者知道或者应当知道网络用户利用其网络服务侵害他人民事权益,未采取必要措施的,与该网络用户承担连带责任。”但在情感类AI场景下,判断平台是否“知道或应当知道”侵权行为的发生,以及何为“必要措施”等问题时,存在一定的困难。特别是对大模型驱动的情感类AI而言,平台对单一用户具体对话内容的监控能力有限,预见风险的能力也受到技术制约。在多方参与的共同侵权场景下,按照《民法典》第一千一百六十八条关于共同加害行为的规定,各行为人应承担连带责任。但是,如何确定各主体的责任范围和份额,仍是实践面临的难题。以“AI声音侵权案”为例,某法院认定运营主体和参与开发的软件公司共同承担侵权责任,并判令连带赔偿,但未明确各自的责任比例。
03
应对思路分析
面对情感类AI侵权的新挑战,笔者认为,需要在现有法律框架内,构建更具针对性的裁判规则。
(一)动态调整过错认定的相关标准
对于情感类AI平台,传统的“技术中立”原则应予以限缩适用。当平台具有明显的主动干预性时,应适用更高标准的注意义务要求。司法实践中,可参照《民法典》第一千一百九十九条关于安全保障义务的规定,将平台提供情感交互服务的行为视为一种特殊场所经营活动,明确相应的安全保障义务。具体而言,法院可根据情感类AI平台的不同类型,分级设定注意义务标准:对面向未成年人、心理障碍患者等特殊群体提供服务的情感类AI,其运营者应承担更高的注意义务,如设置年龄验证机制、特殊内容过滤系统;对具有强交互性的虚拟恋人类AI,应要求运营者建立情绪波动监测机制,对用户极端情绪或自伤倾向进行干预。
在过错认定上,可借鉴产品责任的相关理论。《民法典》第一千二百零二条规定:“因产品存在缺陷造成他人损害的,生产者应当承担侵权责任。”从技术角度看,情感类AI本质上是一种特殊的“产品”,其算法设计存在风险的,可推定开发者存在产品设计上的过错。例如,在“AI声音侵权案”中,法院即采纳了类似理念,认定被告未经合法授权使用原告声音数据训练AI产品,构成对原告声音权益的侵害。此外,判断平台是否尽到合理注意义务的关键在于认定其对风险的预见可能性。笔者认为,可以借鉴《民法典》第一千一百七十六条关于高度危险责任的规定,即从事高度危险作业造成他人损害的,应当承担侵权责任。虽然情感类AI通常不构成高度危险作业,但其在特定场景下的风险程度不容忽视。司法实践中,可采用“技术能力匹配原则”确定预见可能性标准,即平台的注意义务应与其技术控制能力相适应。具体来说,对于掌握核心技术的大型AI平台,法院应要求其建立更完善的风险预警系统;对于引入第三方技术的中小平台,可适当降低预见可能性要求,但不能免除其基本审核义务。
(二)优化证明因果关系的举证责任
针对情感类AI“算法黑箱”问题,可适当调整举证责任分配规则。《最高人民法院关于民事诉讼证据的若干规定》第七条规定:“在法律没有具体规定,依照本规定及其他司法解释无法确定举证责任承担时,人民法院可以根据公平原则和诚信原则,综合当事人举证能力等因素确定举证责任的承担。”基于该条规则,笔者认为,可采用“初步证据+举证责任转换”模式,即当原告提供初步证据证明存在损害事实,且该损害与情感类AI使用之间存在时间上的关联性时,可转由平台方举证证明其算法设计不存在缺陷或者已尽到合理注意义务。这一做法类似于《民法典》第一千一百七十三条关于产品责任的举证责任规定,即“产品存在缺陷,但不能确定缺陷是否存在于制造者销售环节,制造者能够证明不存在产品缺陷的,不承担侵权责任”。具体而言,可要求平台提供算法设计文档、风险评估报告、用户交互日志等技术证据,以证明其产品设计合理且已尽到风险防范义务。例如,在“AI声音侵权案”中,法院要求被告提供声音数据来源证明、授权证明等,在被告未能提供充分证据的情况下,认定其行为构成侵权。此外,对于技术复杂的情感类AI侵权案件,仅凭法官的专业知识难以准确评估因果关系。笔者认为,应当充分运用《中华人民共和国民事诉讼法》第七十九条关于专家辅助人的规定,引入技术专家、心理专家对AI系统运行机制和损害形成过程进行专业评估。这一做法不仅有助于查明技术事实,也能为合理分配举证责任提供专业依据。
(三)灵活运用多元救济方式
情感类AI侵权的损害后果常表现为非财产性的损害,因此,传统的财产损害赔偿方式难以满足救济需求。笔者认为,《民法典》第一千一百七十九条规定的停止侵害、排除妨碍、消除危险等救济方式,对情感类AI侵权案件具有重要适用价值。此外,《民法典》第一千一百九十八条第二款规定:“网络服务提供者接到通知后,未及时采取必要措施的,对损害的扩大部分与该网络用户承担连带责任。”这一规定为构建“通知—删除”机制提供了法律基础。基于此,笔者认为,法院应当根据情感类AI侵权的特点,灵活运用多种责任承担方式。一方面,对于已发生的损害,可综合考虑平台主观过错程度、技术控制能力、受害人损害程度等因素,确定赔偿数额;另一方面,对于潜在的持续侵害风险,可责令平台采取改进技术等措施,如增设自杀倾向识别系统、未成年人使用限制等技术手段,从源头预防同类侵权再次发生。此外,就一般人格权侵权案件而言,法院不仅会判令被告赔偿经济损失,还会责令被告停止侵害、消除影响,要求被告将侵权客体从平台下线并销毁相关数据。这种救济方式对情感类AI侵权案件的审理而言具有借鉴意义。除个案责任认定外,笔者认为,在情感类AI侵权治理中,法院可进一步完善“通知—评估—干预”机制,要求平台建立用户风险预警系统,对可能导致严重后果的高风险交互内容进行实时监测和干预。法院可以通过判决确立平台安全保障义务的具体内容,引导行业形成更加规范的自律机制。同时,对于高风险情感类AI应用,可考虑引入“安全影响评估”机制。在司法实践中,可以将平台是否履行安全影响评估义务作为判断其是否尽到合理注意义务的重要依据。这一机制既可以促使平台加强事前风险防控,也可以为司法审查提供客观依据。
综上所述,随着情感类AI技术的不断发展,相关法律问题将更加复杂多样。司法裁判应当保持开放包容态度,既尊重技术创新规律,又坚守法律底线,不断探索更加科学合理的裁判路径,不断为数字时代的社会治理贡献司法智慧。
本期封面及目录
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
nload="this.removeAttribute('width'); this.removeAttribute('height'); this.removeAttribute('onload');" />
<< 滑动查看下一张图片 >>
《中国审判》杂志2025年第10期
中国审判新闻半月刊·总第368期
编辑/孙敏