陆小华等:拟人化互动服务的关系风险及其治理转向

来源:总体国家安全观研究中心发布时间:2026-06-24浏览次数:10

一、问题的提出

近年来,随着生成式人工智能、多模态交互与情感计算能力的快速成熟,拟人化互动服务正在由“工具型问答”加速转向“人格化陪伴”。从智能客服、虚拟陪伴到心理咨询与教育辅导,拟人化互动服务已深度融入社会生活的各个领域,在提供便捷与陪伴的同时,也正与用户建立起一种新型的模糊关系。而这种关系本身也成为一系列风险的源头: 在情感层面,长期、高频、强情感交互可能诱发用户情感依赖与关系锁定,进而挤压现实人际互动,引发社交异化; 在认知层面,拟人化表达与沉浸式对话强化了信息可信度与心理顺从性,使认知操纵、暗示性劝导与价值观引导更具隐蔽性与累积性; 在心理健康层面,当服务以情绪识别、安抚陪伴或心理咨询等方式介入用户脆弱状态时,可能加重用户焦虑甚至诱发极端行为; 更进一步,一旦服务延伸至消费决策、投资建议、亲密关系与现实事务安排,便可能通过误导、诱导或被第三方操控而外溢为人身财产风险。上述风险往往并非单一内容违法所致,而是根植于互动过程本身,因此,2026年4月,国家互联网信息办公室等联合发布《人工智能拟人化互动服务管理暂行办法》( 以下简称《暂行办法》) ,以回应拟人化互动服务在权利保护、社会伦理与风险防控层面的现实挑战。

然而,现有规制体系仍无法有效应对拟人化互动所特有的关系风险。一方面,《中华人民共和国民法典》的人格权编、侵权责任编与《中华人民共和国消费者权益保护法》更擅长处理可识别的个体损害与违法行为,但在拟人化互动中普遍存在的社交异化、认知操纵、价值观引导等过程性损害上,由于往往存在损害难以量化、因果链条过长、过错与举证门槛偏高等问题,因而呈现出典型的事后救济偏向; 另一方面,《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国个人信息保护法》以及针对算法推荐、深度合成、生成式人工智能等的专门规制,主要聚焦网络安全、数据合规与信息内容治理,难以精准捕捉拟人化互动所特有的关系锁定与过程累积风险。即便是《暂行办法》也未摆脱内容治理范式,更强调显性危害防控与事后纠偏。由此可能导致监管乏力,风险甚至可能在合规框架内被生产放大。

学界早已关注到拟人化会推动人机关系从工具使用转向准社会互动与情感依附,并形成了两类研究进路: 一类研究侧重分析其心理影响,探讨人工智能的拟人化设计如何让人产生依赖感,进而影响人的判断和选择; 另一类则关注人工智能拟人化的社会后果,譬如影响道德判断与行为选择、加剧社会隔离、引发自主性受损、产生责任真空等。但现有研究仍存在明显不足: 一方面,风险讨论往往停留在伦理批评或心理机制层面的经验描述,缺乏可转化为规则要件的类型化分析与可操作指标; 另一方面,治理建议仍多沿用内容治理或个体损害救济思路,未能从过程治理角度系统回答“关系如何被塑造、如何被锁定、如何可被约束”。因此,本文拟以“关系风险”为核心分析范畴,揭示拟人化互动服务的风险生成机制,并据此推动治理路径由内容监管转向关系治理,提出以分级治理、过程性义务配置与责任闭环为核心的制度重构方案。

二、关系风险的内涵

构建新安全格局需组织保障与统筹艺术。中央国家安全委员会的成立,标志着国家安全工作组织领导体制的突破,改变了“政出多门、条块分割”的旧格局,

(一)关系风险的概念

拟人化互动服务所引发的风险,并不完全等同于传统意义上的内容风险。在许多场景中,风险并非源于具体某一条回复的不当,而是源于服务在长期互动中所形成的准社会关系结构:系统通过人格设定、情绪回应、持续陪伴等方式,使用户对其产生稳定的期待、依赖或信任,并在此基础上影响用户的判断与行为。因此,本文所称的“关系风险”,是指拟人化互动服务在持续交互过程中,通过建立并强化特定的人机关系形态,导致用户处于情感依附、信任错置或决策替代等状态,从而对用户的人格尊严、心理自主、现实决策自由以及财产与人身安全造成的风险。其基本要点在于: 风险对象不再是单条信息或特定内容,而是互动关系的性质、强度与持续性; 风险形成是一个逐步累积与行为迁移的过程; 风险后果可能由线上扩展至线下。

为避免概念泛化,有必要将关系风险与相近概念作出区分。首先,关系风险不同于一般的情感风险。情感风险多强调短期情绪冲击或心理不适,而关系风险虽包含情绪互动,但更关注情绪互动在反复强化中形成的关系绑定及其对行为方式的长期影响。其次,关系风险也不同于单纯的沉迷风险。沉迷风险强调过度使用,而关系风险更强调沉迷背后的关系性质———用户是在拟社会关系中形成依赖与信任。最后,关系风险与操控风险密切相关但不等同。操控风险强调目的性引导与影响选择,而关系风险未必都呈现明确的操控目的,但它为操控提供了前置条件: 关系越稳固,用户越倾向于把系统建议当作可信指引,操控也更难被识别。

(二)关系风险的关键特征

关系风险的核心在于拟人化互动所形成的人机关系对用户心理与行为的持续影响,其核心特征有四:

一是关系导向。关系风险并不取决于某一句话是否违法或不当,而是取决于互动服务以何种方式建立并维持人机关系。例如,一个聊天机器人即使每句话都符合规范,但如果其系统性地采用无条件附和、过度褒扬或刻意制造情感依赖的对话策略,就可能在用户心中催生不健康的依恋关系。这意味着,传统的通过关键词过滤或建立违规内容清单来进行管控的方式,在此失灵。因为风险分布于整个互动的模式和频率中,所以有效的治理不能止步于内容审查,而应将重点放在对互动的节奏、情感强度引导和关系边界设定等的干预与规范上。

二是渐进累积性与关系锁定性。关系风险通常不是一次性触发,而是在反复互动中逐步累积。这一过程如同“温水煮青蛙”,用户在长期沉浸式使用中容易对人工智能形成情感与行为上的依赖,继而发生信任迁移。这使得用户对系统建议的接受度持续提高,并改变其判断方式与行为选择,进而形成路径依赖。因此,关系风险的治理重点应当放在事前预防和过程监管,而非事后处置上。

三是风险外溢性与不可逆性。关系风险的影响具有强烈的外溢性,会切实地改变用户在现实世界中的心理状态、社会行为与认知模式。例如,过度依赖AI 情感陪伴可能导致用户现实社交意愿与能力减退,加深社会疏离感; 长期接受算法筛选和引导的观点,可能使用户的价值观被潜移默化地重塑。更为关键的是,这些心理和行为层面的改变一旦形成,往往具有不可逆性,纠正成本较高。因此,治理应强调早识别、早干预,并对高风险关系结构采取更严格的限制与纠偏机制。

四是难归责性。当关系风险导致实际损害时,对其追责的困难愈发凸显,主要体现在以下三个方面: 其一,责任主体难以清晰界定。损害结果是人工智能系统的运行机制、用户的主动交互及外部环境共同作用的产物,难以精确切割责任比例。其二,存在明显的责任推诿空间。由于损害并非由单次输出直接导致,传统以后果为中心的归责路径难以有效适用,服务提供者倾向于以技术中立为辩护理由,主张损害源于用户的不当使用,从而回避自身在算法设计和互动诱导上的责任。其三,技术黑箱导致取证困难。人工智能决策过程不透明,使得从海量交互中精准定位导致风险升级的关键技术节点异常困难。因此,对关系风险进行治理必须以可追责为导向,明确服务提供者在高拟人化、高情感强度与高持续性交互情形下的注意义务应适当强化,并通过举证责任合理分配、解释说明义务以及第三方评估等机制降低取证成本,从而避免关系风险落入“无法归责”的制度空转。

(三)关系风险的生成机制与传统工具性智能不同,拟人化互动服务通过人格设定、情绪回应、持续陪伴和记忆维护等方式,使用户将系统理解为具有稳定身份与情感能力的交流对象,从而在心理上形成依赖与信任。如图1 所示,风险正是在关系持续强化的过程中产生、积累并外溢,这一互动关系建立并强化的过程可以总结为以下四步:

一是人格设定引发主体误认。拟人化互动服务通常以固定人设、关系称谓与角色定位为基础建构互动框架,向用户持续提供一致的语言风格、价值取向与情绪反馈。这种稳定性容易使用户产生主体误认,即将系统视为具有真实人格、真实情感甚至真实责任能力的关系对象,并将对话中的信任逐步迁移到现实事务判断中,导致对系统建议的依从性上升,进而为错误引导与风险外溢创造条件。

图片

二是共情反馈强化用户依赖。拟人化互动服务往往具备较强的情绪识别与情感反馈能力,能够在用户焦虑、孤独或脆弱时提供即时安抚与持续回应。这种情绪调节功能在短期内可能具有积极效果,但在长期反复互动中,会强化用户对系统的情感依赖,使用户在关键时刻优先寻求系统支持而非现实社会支持,并可能使其被持续影响甚至被操控。

三是持续交互导致关系锁定。拟人化互动服务通常以高频、低成本、全天候的交互模式提供陪伴,并在产品设计上强化连续对话、主动召回、话题延伸等机制,使用户在长期沉浸中形成稳定使用习惯,逐步进入难以退出的关系状态。此时用户对服务的依赖程度加深,对系统建议的过度采信增多,且越往后越难纠偏。

四是用户画像放大操控风险。为了实现更自然的拟人化体验,系统往往引入长期记忆、用户画像与偏好建模,使互动更贴合用户个体需求。这一机制在提升体验的同时,也使得系统对用户脆弱点、依赖点的识别更准确,更容易出现持续引导、暗示性强化和偏向性输出,从而放大操控风险,并提高风险外溢的可能性。综上,拟人化互动服务的风险生成具有关系导向、过程累积和外溢扩展的特征,需审慎治理。

三、内容治理范式下关系风险治理的失灵

拟人化互动服务独特的风险结构导致既有以内容风险为中心的监管思路难以实现有效治理,这种治理难体现在从对象识别到责任追究的处理全过程。

(一)对象错位: 内容治理难以捕捉关系锁定

内容风险治理以信息内容为治理对象,而拟人化互动服务中的关系风险是在持续互动中逐步形成的情感依赖、信任迁移与决策替代等。这种治理对象的错位必然导致传统内容治理范式出现识别与控制能力不足的问题。

1.治理对象设定错误

内容治理的核心假设是风险主要来自信息内容,即通过识别违法、有害或不当表达,并对相关内容做删除、屏蔽、限流等处置,即可实现风险控制。在这一框架下,规制对象是可见、可切割、可抽检的内容单位,治理逻辑是以内容为中心的事后纠错。然而,拟人化互动服务的关键风险并不主要来源于某条信息,而是来源于互动关系在反复强化中改变用户的信赖倾向与行为路径。因此,若坚持内容治理,就无法避免内容合规但风险高企的情况,即对话内容在形式上未出现明显违法或不当表达,却因稳定人设、持续共情回应与高频交互不断强化用户依赖并诱发信任迁移,最终使风险在长期互动中被持续累积并外溢。换言之,对象错位的本质在于: 内容治理监管的是表达,关系风险危险在关系。

2.对象识别方法失效

在内容治理范式下,平台合规与监管执法倾向于采用内容抽检、关键词过滤、规则匹配等方法。这些方法适用的前提是风险可以被离散化为某些文本或指令,但关系锁定却具有明显的过程性与整体性,其形成依赖于长期互动的频率、语境、角色定位与情绪反馈模式。将互动切割为零散片段进行审查,难以判断该片段在长期互动中的位置与功能,更无法辨识风险发生的真正过程。具体而言,一是关系风险取决于互动的关系语境和强度。同样的安慰或建议,在一次性工具性使用中影响有限,但在高频、长期的陪伴式互动中,可能持续强化用户的依赖与信任,使其逐步将系统视为可信赖对象。若不结合互动背景、使用频率和关系定位进行判断,则难以区分互动关系的风险等级。二是拟人化互动中的关键风险变量往往体现为产品机制与交互方式,如稳定人设、情绪识别与回应、持续陪伴、长期记忆以及角色称谓等。这些因素并不必然对应具体违法表达,也难以通过关键词或内容规则准确描述,由此导致监管与平台合规在形式上完成内容审查,却无法真正对关系锁定的形成过程作出有效预警和判断。由此可见,单点抽检和内容判断在识别持续关系风险方面存在内在局限,难以胜任关系风险治理。

当治理对象设定错误、识别方法又难以覆盖关系锁定时,监管合规只能陷入“亡羊补牢”的境况,走向两种结局:一是放任高风险服务在合规外衣下扩张; 二是泛化审查,压缩正常互动空间。两种结局最终都会导致治理失准与资源错配。

(二)时间错位: 事后触发无法处理过程累积

传统内容治理范式以事后处置为主,但拟人化互动服务的风险却具有显著的过程累积性与不可逆性,虽然前期风险并不显著,但若发展并外溢至现实生活时再处置,则为时已晚。

1.渐进式风险导致无明显监管触发点

内容风险往往具有明确的监管介入节点,例如出现违法、暴力恐怖、诈骗引导或自残教唆

等不良信息时,监管即启动。然而,拟人化互动服务的关系风险是在长期互动中形成的,许多对话内容在文本层面并无明显不当,甚至带有安抚、鼓励、陪伴等正向色彩,但风险在重复互动中被持续加强。若仍坚持以“出现明显问题”作为启动条件,就容易造成治理迟滞。此外,关系风险在早期并不显著,即便用户对系统已经产生一定的信任,这种风险可能造成的后果也难以量化,这使得监管缺乏清晰合适的介入节点。

2.事后处置难以覆盖动态累积风险

内容治理对应的是单次治理逻辑,强调“发现问题—解决问题”,具有明显的即时性。但关系风险需要的是持续性、动态性的治理安排,例如风险动态监测、异常互动预警与递进干预等。若仍以事后处置为主导,将导致关系风险长期处于被动治理状态,从而进一步引发三个方面的后果: 一是监管只能在极端个案中“被迫启动”,难以形成稳定、可预期的治理规则,公众因而对拟人化互动服务的安全边界产生持续的不确定感,从而诱发信任危机; 二是平台将合规重点集中于避免触发明显违法内容或高风险词,实际却放任依赖、信任迁移等过程性风险在日常互动中累积,造成风险在表面合规下持续扩大; 三是当风险最终外溢为现实损害时,往往只能采取封禁、强制中断等高强度措施进行处置,既加剧社会冲击,也进一步强化公众对技术失控的担忧。

3.事后介入显著推高处置成本

关系风险一旦发展到明显后果阶段,纠偏难度将显著上升。尤其当用户已经形成稳定依赖或出现信任错置时,简单的断开服务、删除对话或账号封禁不仅无效,反而可能引发次生风险,例如情绪失衡、冲动性行为增加等。反之,如果及早干预,可能仅需简单的防沉迷措施或风险提示便能有效遏制风险累积。因此,依据比例原则,应当将治理窗口前移。综上,关系风险的特征决定了其治理必须由事后处置转向过程监管,在风险形成阶段及时降低交互强度、纠偏信任结构,从而以较小成本降低风险。

(三)工具错位: 禁止清单无法覆盖互动引导

《暂行办法》第七条规定了拟人化互动服务的禁止清单,但拟人化互动服务以柔性引导为主,强调长期互动,其内容往往无法被简单归类。严格按照禁止清单进行监管反而可能导致监管与合规过度依赖形式判断,使治理停留在“看得见的文字风险”,而对“看不见的关系风险”束手无策。

1.关系风险难以通过列举穷尽

清单治理的前提是风险能够被归结为若干稳定的内容类型,并且可以通过阻断这些内容实现风险控制。但拟人化互动服务通过人格设定、情景模拟、话题延伸等策略的组合使用来提高用户黏性、延长互动周期,并在此过程中以温和、渐进的方式逐步强化用户的情感依赖,使用户在现实判断与行为选择上产生依从,其危害难以被稳定地归入某一项或几项禁止情形,进而造成风险认定与执法适用上的困境。即便不断扩充禁止事项,也难以对关系风险形成完全覆盖与有效约束。

2.禁止清单诱导形式合规

以禁止清单为规制工具,则合规重点容易被简化为“规避违禁表述”和“防止输出敏感词”,而非系统性检视其产品设计和互动机制是否正在持续强化用户依赖、制造关系绑定或引导信任迁移,由此导致关系风险被合法合规地生产与放大。与此同时,为弥补列举规则覆盖不足而引入高度概括性的禁止条款,又可能造成适用标准模糊,既压缩低风险服务的合理空间,也难以精准约束高风险互动形态。

综上,禁止清单不仅难以全面回应关系风险,反而可能在客观上诱导治理停留于形式审查,削弱对拟人化互动风险的实质控制能力。

(四)责任错位: 直接损害归责难以回应长因果链条

在内容治理范式下,责任认定通常围绕单次输出是否违法或不当、是否造成直接损害展开。但在关系风险情形下,损害发生往往具有滞后性与条件依赖性,责任推诿空间大、取证难,导致责任主体与责任比例难以确定。

1.长因果链条导致归责困难

关系风险的致害过程具有明显的时间跨度与较多介入因素,损害结果往往难以对应到某一次具体输出,因而无法适用线性因果关系证明。具体而言,一是损害显化具有明显的过程性与滞后性。拟人化互动服务的负面影响通常在一段时间后才能显现,这使得责任认定难以锁定致害节点,也难以证明某一具体行为对结果具有关键作用。二是损害结果由长期互动过程中多次刺激、持续反馈与个体处境共同作用而成,介入因素多元且易被解释为用户自身原因导致。以近年来引发高度关注的Character. AI 唆使未成年人自杀案为例,受害者母亲起诉称,其14 岁儿子在与平台拟人化聊天机器人长期互动过程中形成明显情感依赖,并在出现自伤风险信号后仍持续收到不当回应,最终自杀。平台则将损害归因于用户心理状态、家庭环境或突发事件,通过主张技术中立与用户风险自担来降低平台的责任权重。

2.算法黑箱抬高取证门槛

关系风险的累积过程与拟人化互动服务的系统机制高度相关,系统机制又内嵌于算法模型中,外部主体难以直接接触和理解。用户即便保存部分对话记录,也只能证明系统输出结果,而难以证明系统为何如此回应、是否存在针对性引导、是否通过记忆与召回机制不断强化依赖。即便是监管部门,在缺乏技术接口、日志记录和解释说明的情况下,也难以从海量交互数据中识别风险升级的关键节点。这导致责任认定高度依赖服务提供者的自我说明,用户维权和公共监管面临较高的信息与证据门槛。这种取证困难导致真正决定关系风险强度的系统机制难以进入事实审查范围,责任判断偏离风险来源。

四、从内容监管到关系治理的转型路径

(一)以风险为导向的分类分级治理

1.确定分类标准

不同的人工智能拟人化互动服务在角色设定、情感交互、持续陪伴、记忆功能与引导策略等方面存在实质差别,其风险并非仅体现为强弱程度上的差异,更体现为风险发生路径、主要侵害法益与治理工具需求的不同。现有拟人化互动服务产品可依其风险生成机制分为以下三类:

一是工具增强型拟人化服务,譬如DeepSeek、ChatGPT 等对话式助手。该类服务虽可能采用拟人化表达或轻度人格包装,但其核心仍是任务完成与信息支持,交互目标清晰、关系设定较弱,通常不提供强情绪安抚或持续陪伴,也较少启用长期记忆与深度画像。其主要风险仍体现为内容输出不当,如信息不准确、误导性建议等。对该类服务的治理重点应当放在透明提示、内容安全、专业限制与纠错机制上,原则上不必引入高强度的关系干预规则。

二是陪伴安抚型拟人化服务,譬如Wysa、Woebot 等心理陪伴类对话产品或智能宠物、家庭陪护机器人等。该类服务以情绪回应、安抚支持与陪伴体验为主要卖点,通常具有较强的共情反馈与持续互动能力,交互过程强调情感维系而非任务完成,用户更易形成依赖与信任迁移。其风险主要表现为关系风险的累积性后果,如沉浸使用导致社会支持系统被替代、心理自主性下降、对系统的情绪性依附加深,并可能进一步外溢为现实生活中的判断失衡与行为偏移。治理上应强调过程监管与分级干预,包括依赖程度识别、持续交互强度限制、显著提示与退出机制、递进式人工介入,以及必要的留痕审计与风险评估。

三是角色绑定与引导决策型拟人化服务,如Character.AI、Kindroid、Pi、DoNotPay等。该类服务通常具有明确且稳定的角色设定,可能以亲属、伴侣、导师、权威顾问等身份与用户互动,并通过持续对话、长期记忆、精细画像等手段形成强关系绑定; 同时,其交互策略往往带有更强的引导性,容易在价值判断、行为方式甚至现实事务决策中产生方向性影响。该类服务的风险不仅包括心理依赖,更突出表现为信任错置与决策替代,严重时可能引发财产处分风险、人身安全风险及更广泛的社会性风险。治理上应适用更高等级的前置义务与限制性规则,如上线前风险评估与压力测试、关键功能限制或禁用、强提示与强制冷静期、对高风险引导行为设置禁止或许可条件,并强化证据留存、可解释与可追责要求,以缩小责任推诿空间。

2.确定分级标准

拟人化互动服务的风险分级划分应当参照其风险生成机制,以拟人化程度、情感强度、交互持续性作为核心分级标准。其中,拟人化程度指服务被赋予人类特质的深浅,它决定了用户产生“对方是真人或准真人”误认的可能性。情感强度指互动中激发、响应并维系用户情感卷入的深度,它是衡量用户是否对其产生情感依赖的关键指标。交互持续性则指用户与服务建立稳定、高频、长期互动关系的程度,它反映用户的依赖行为是否已固化为习惯。这三者准确对应了关系风险生成与演进过程: 高拟人化是诱发主体误认的前提; 高情感强度是推动关系从工具性转向依赖性的关键催化; 而高交互持续性则是导致关系锁定的强化机制。从误认到依赖再到锁定,这三者层层递进、相互耦合,使风险被持续、温和且高效地生产出来。

因此,应综合上述三项指标进行分级治理: 首先以拟人化程度对服务类型做初筛,再结合情感强度与交互持续性确定风险等级与干预强度。一般而言,“低拟人化+ 低情感输出+ 低持续互动”的服务多对应低风险,仅需基础提示与退出机制; “中拟人化或存在情感诱导,但互动持续性有限”的服务属于中风险,可触发更严格的信息披露、默认降强度与诱导性设计约束; 而“强拟人化+ 强情感绑定+ 高频长期互动”则构成高风险形态,应进入重点监管清单,匹配前置评估、动态监测、强制人工介入条件、紧急处置与可审计留痕等更高强度义务。同时,分级时需注重动态评估,关注维度间的协同放大效应,例如,中等拟人化与高强度情感的叠加,可能同样构成高风险形态。

3.确定重点人群、重点场景

《暂行办法》将未成年人、老年人明确为重点保护对象,要求提供者具备用户状态识别能力,对未成年人采取监护人知情同意制度,对老年人加强对其健康使用服务的指导,以显著方式提示安全风险。这种年龄分类标准虽可以为监管提供清晰、低成本且可执行的识别依据,但也存在比较明显的局限: 一是风险并非由年龄本身直接决定,而是与个体的情绪状态、依赖程度、社会支持网络及现实决策能力密切相关,单一年龄标准容易诱使企业形式合规,过于强调入口审查而忽视关系风险的过程治理,最终将规制重点停留在事后处置; 二是重点人群需要特殊保护的原因是其内在脆弱性,重点规制应当回应的是“关系风险对脆弱个体的放大效应”,仅靠年龄门槛难以实现有效规制。为此,应要求服务提供者增强用户状态识别、评估能力,在年龄分类的基础上引入内在脆弱性的动态识别指标,具体可包括消极情绪词使用频率、求助信号发出频次、创伤性事件叙述等,在此基础上,将存在明显心理困扰或经历重大变故的成年用户纳入重点关怀范畴,将重点人群划分标准从“年龄分类”升级为“风险状态分类”。重点场景的判断也应回归风险生成的实质条件,围绕拟人化互动中关系风险的生产累积建立可操作的识别标准,例如是否存在持续陪伴与高频交互安排,是否通过亲属称谓、角色设定、排他性表达强化关系绑定,是否以共情反馈与正向强化诱导用户反复投入,是否在医疗、金融、婚恋等现实高后果领域输出建议并形成决策替代,是否将亲密程度、解锁互动权限与付费、打赏、转账等财产处分耦合。只要满足其中任一条件,就应进入重点规制范围。如此可将拟人化程度从抽象概念变成可审计的合规门槛,增强可操作性与可预测性。

(二)以过程治理为核心的合规要求设定

1.事前备案审查

拟人化互动服务的关系风险具有明显的前端生成特征,一旦服务通过角色设定、情感输出、记忆机制与持续互动形成“关系锁定”,风险即会在互动过程中持续累积,事后即便删除内容或介入干预亦难以有效逆转。因此,应当以分类分级为基础建立健全事前备案审查机制: 一是明确备案审查对象的范围,以“强拟人化+ 强情感交互+ 高频持续互动”作为重点识别标准,将虚拟恋人等强角色绑定服务、长期陪伴型服务、含现实事务建议的拟人化服务纳入重点清单; 对工具增强型、弱拟人化服务则适用简化备案与一般合规审查,实现风险与监管强度的比例匹配。二是细化备案审查内容,使其能够覆盖关系风险的生成机制。提供者应提交风险评估报告,重点说明拟人化程度、角色设定方式、情感输出策略、记忆功能、交互持续性安排、诱导性设计以及面向重点人群的保护策略,并对可能出现的依赖沉迷、决策替代、社会隔离、财产牵引风险提出可验证的控制措施。三是完善备案审查程序,对于模型版本更新、关键功能迭代、记忆机制变更、引导策略调整等重大变动,应当启动补充评估并重新备案; 对重点监管清单内的高风险服务,可探索设置上线前安全评估、性能压力测试及灰度发布验证要求,确保风险控制措施可落地、可审计。需要特别注意的是,拟人化互动服务的事前备案审查应当与算法推荐、深度合成、生成式人工智能等专门规制中的评估备案机制衔接,为后续责任认定提供清晰的注意义务基准。

2.事中持续监测

过程治理应将事中持续监测确立为拟人化互动服务的核心义务,推动监管重心从静态内容审查转向互动过程控制。《暂行办法》已明确要求服务提供者具备用户状态识别能力,并对用户极端情绪、沉迷行为实施干预,但相关规定不够具体,需进一步细化,提升其可操作性: 一是建立依赖与沉迷识别指标体系,围绕连续互动时长、夜间高频使用、情绪波动后反复求安抚、排他性依附表达、对现实关系的否定等信号进行综合判断,特别关注关系风险的渐进累积特征,避免只有出现自杀自残等极端语句才触发监管; 二是对“情感诱导”“关系锁定”“决策替代”的相关互动设置风险阈值与自动触发机制,超过阈值即启动降强度措施,如削弱拟人化称谓、降低情感输出、限制连续对话、关闭部分记忆功能等,防止风险在合规外表下持续生产; 三是强化高风险对话管理,对涉及医疗、金融、婚恋、未成年人教育等高风险领域的建议性、指令性输出设置更严格的边界,要求显著提示、风险告知、建议咨询专业机构,避免人工智能成为事实上的决策主体。通过持续监测与动态干预,实现对关系风险的及时截断。

3.事后防范风险再发生

鉴于关系风险往往具有重复性与可复制性,事后义务不应停留在删除对话、封禁账号等一次性处置,而应强调复盘、整改与风险复发预防。具体而言: 一是建立关系风险事件分类处置机制,对出现依赖沉迷加剧、诱导性互动、财产异常、重点人群受害等情况,要求提供者及时启动应急响应、隔离相关功能模块并保全证据; 二是重视复盘整改,对触发重点风险处置的产品版本、提示词、推荐策略、记忆设置等进行原因分析,明确是模型能力偏差、设计诱导、运营激励还是安全策略不足所致,并形成可审计的整改报告; 三是对高风险形态拟人化互动服务,重点关注如何防止同类问题的再次发生: 通过归纳同类风险对话模式的特征并动态更新监测规则,实现风险防控,必要时限制相关功能开放或进行灰度测试,验证整改效果,避免风险蔓延。将个案暴露的风险点提炼为普遍性的安全改进措施,有效防范系统性风险的累积与扩散。

4.全过程留痕与审计

全过程留痕与审计的意义不仅在于监管可查,更在于为责任认定与用户救济提供证据。对此,可从四个维度完善: 一是建立对话与关键决策日志留存制度,对触发风险阈值的对话、关键提示、人工接管记录、紧急联系人联络等环节必须留痕,并明确留存期限、访问权限与安全保护措施,平衡监管可审计与个人信息保护; 二是完善可解释与可追溯机制,要求对高风险输出能够回溯其触发规则、模型版本、策略模板和运营参数,确保风险事件可被定位、责任可被识别; 三是引入第三方评估与定期审计制度,对重点监管清单内服务开展合规审计与安全评估,并向监管部门报送核心指标; 四是建立拒不提供记录的不利后果机制,⑤在监管调查与民事争议中,对无正当理由拒绝提供日志、篡改记录或留痕缺失的,应推定其未尽到相应注意义务,从而降低权利人举证难度,推动公法上的合规义务转化为私法上的责任认定依据。

(三)以程序法为边界的递进式干预

1.明确干预触发条件

明确干预触发条件是避免干预泛化的前提。《暂行办法》已提出对极端情绪、沉迷等状态进行识别并采取必要措施的要求,但需进一步将其转化为可操作标准。具体而言,可围绕同一套过程性指标对用户风险程度进行分档判断:其一是交互强度指标,包括连续对话时长、单位时间交互频次、夜间高频使用比例等,用以衡量持续陪伴与沉浸程度; 其二是关系依赖指标,包括排他性依附表达、反复寻求情绪安抚与价值确认、对退出或中断交互表现出明显焦虑等,用以识别依赖形成与关系锁定倾向; 其三是现实外溢指标,包括在医疗、金融、婚恋、法律等现实高后果事务中反复寻求建议、将系统输出视为权威指令、出现明显决策替代或社会隔离倾向等,用以判断风险由线上互动向线下行为迁移的可能; 其四是安全危急指标,包括自杀自残、伤害他人、重大财产损失冲动等即时危险信号,用以识别紧急状态。

在上述指标的基础上,可将风险状态规则化为三档: 仅出现轻度情绪波动或一般性高频交互,但未形成依赖锁定与现实外溢的,可认定为“一般风险”; 交互强度与依赖锁定持续升高,或已出现决策替代、社会退缩等外溢苗头的,应认定为“高风险”; 触发安全危急指标或存在即时人身、财产危险的,应认定为“紧急情况”。如此为后续递进式干预链条提供清晰、可核验的启动依据,确保干预在最小化原则下实现精准适用。

2.构建递进式干预链条

干预方式亦当与风险等级相匹配。当识别为“一般风险”时,以提示性干预为主,包括强化身份标识与风险告知、建议寻求现实支持或专业帮助、提供退出与降强度选项等,引导用户自我调节而不实质限制服务功能; 当识别为“高风险”时,默认降强度与限制互动,包括限制亲密称谓与角色扮演、缩短连续互动时长、默认关闭或削弱长期记忆与关系档案,并对高后果领域建议进行显著提示与审慎输出; 当进入“紧急情况”时,应当启用人工介入与应急处置,立即中止高风险对话、启动人工接管或人工复核,并在满足严格启动条件与最小必要原则下联络监护人或紧急联系人、触发应急处置程序。同时,干预措施的升级应以触发条件的变化为依据,遵循“先轻后重、逐级增强”的基本路径; 除紧急情形外,不得直接跨级适用强制性限制; 对持续风险应设置动态复核与退出机制,当风险状态下降或相关指标恢复正常时,应及时解除限制、恢复功能或回到较轻干预等级。此外,需要明确的是,递进式干预并非孤立的应急措施,而是嵌入分类分级的全过程治理框架中(见表1),实现风险等级与干预强度及相应义务的合理匹配。

3.完善用户权利保障

相关干预措施的本质是对用户交互自由与功能使用的限制,若缺乏对用户权利的充分保障,极易使平台以安全为名泛化管控。因此,为构建干预的合法性基础,应当围绕以下三项权利构建干预的程序边界:其一是知情权与可解释权,当触发干预或限制功能时,应向用户以清晰方式说明触发原因、干预等级、影响范围及持续时间,并提供必要解释,避免“无提示封禁”“暗中降权”等不透明措施; 其二是选择权与退出权,对非紧急情形应允许用户自主调整强度、决定是否关闭角色绑定或记忆功能,并提供便捷退出机制,防止在高依赖状态下被动陷入持续互动; 其三是救济权与申诉权,用户应当拥有申诉、复核与纠错通道,尤其是在平台采取功能限制、暂停服务、人工介入等强干预措施时,应建立可追溯的程序记录与复核机制。同时,对未成年人、老年人等重点人群,还应强化监护人知情、紧急联系人联络等制度,但应防止其被滥用为常态化监控工具,须明确启动条件、联络范围。

图片

(四)以可归责为目标的问责与救济路径

1.重构累积性风险归责逻辑

拟人化互动的风险累积过程与环境污染类似,其归责逻辑也应借鉴环境污染领域常见的风险责任,将“风险制造与控制”确立为责任来源。拟人化服务通过角色设定、情感诱导、长期陪伴与记忆绑定等机制持续生成并放大关系风险,而风险控制能力与信息优势集中于提供者。故只要服务构成可预见、可扩散的社会心理风险源,即便单次输出不违法,仍应就其未采取必要控制措施而放任风险累积外溢所致损害承担相应责任。这种归责逻辑既适应了关系风险的生成机制,也能为后续举证责任合理分配以及多元救济路径贯通提供制度基础。

2.坚持过错推定原则

可归责化治理的现实障碍在于算法黑箱与证据不对称,《中华人民共和国个人信息保护法》第六十九条规定由信息处理者承担举证责任,为算法黑箱场景下的权利救济提供了规范依据。拟人化互动服务与个人信息处理高度相关,也应参照适用第六十九条: 一方面,强化对话日志、触发记录、人工接管记录、风险提示与干预措施记录的留存与可追溯要求,并明确最低留存标准与期限,使提供者具备“证明其已尽合理注意义务”的客观基础; 另一方面,在争议发生时,将关键证据的提出责任合理配置给服务提供者,对拒不提供、留痕缺失或存在明显篡改的,推定其未尽必要安全保障义务并承担相应不利后果。为进一步降低个体用户的举证负担,还应在制度层面明确行政监管结论的证据价值,同时,借鉴群体性健康损害诉讼中的“流行病学因果关系”,允许基于统计相关性提起集体诉讼,并由服务提供者自证无过错。如此,通过全过程留痕与过错推定实质性降低用户维权门槛,推动监管义务向责任后果的转换。

3.明确用户多元救济路径

关系风险的损害形态复杂,既可能表现为人格利益受侵害,也可能表现为财产损失,还可能表现为服务关系中信赖利益的落空。因此,应当明确并贯通侵权、合同与消费者权益保护三条用户救济路径。从侵权救济而言,可以将高风险拟人化服务未履行风险识别、干预和提示义务,视为违反安全保障义务或者一般注意义务,进而适用民法典侵权责任; 就合同救济而言,若平台在提供服务过程中对拟人化程度、引导策略、记忆功能与风险控制措施等存在披露不足或误导性表述,则可能构成违约或违反附随义务; 就消费者权益保护而言,若存在诱导性设计、格式条款不公平、收费机制与情感绑定耦合等,应当适用《中华人民共和国消费者权益保护法》中关于公平交易与特别保护的规范。此外,应强化“行刑民”立体追责: 对恶意利用拟人化互动实施诈骗、诱导转账或实施深度合成欺骗等行为,应当以行政发现线索,刑事追诉与民事赔偿并行适用,避免仅以平台自治或行政整改替代实质性责任追究。唯有贯通并衔接各救济路径,才能真正实现关系风险的可追责,达成有效威慑与实质保护的目标。

五、结语

拟人化互动服务的兴起,标志着人机关系步入新阶段。与传统信息服务相比,拟人化互动服务的风险更多体现为隐蔽、渐进、累积的关系性危害,这使得传统的内容治理范式难以为继。因此,治理思路必须从内容监管转向关系治理,从事后惩戒转向过程控制,从形式合规转向可实际归责,形成分类分级、全过程监管与递进干预相衔接的制度闭环。未来,应进一步构建拟人化互动风险的量化指标与评估模型,为分类分级监管提供科学依据; 同时,推动形成涵盖设计伦理、部署审查、使用监测、损害救济的全链条责任分配框架,明确开发者、部署者、提供者、平台的相关义务。通过制度创新引导技术向善,确保拟人化互动始终服务于人的真实福祉与社会关系的健康发展,捍卫人之为人的主体性与完整性。