近日，豆包、千问以及网易纷纷对部分智能体功能进行了下架处理，这在业内引发了广泛讨论。不少分析将其解读为“智能体大转向”，但这一判断并不准确。

这些举措所具有的共同背景，在于7月15日即将施行的《人工智能拟人化互动服务管理暂行办法》，而该办法在后续表述中简称为新规。

一家人工智能公司内部人士向21世纪经济报道表示，该公司在此前已经收到了监管部门所发来的问题清单，目前正在对这些问题开展针对性整改。部分厂商所采取的选择则是，直接把那些可能被纳入监管范围的边缘产品予以移除，从而实现风险隔离。

不过，正如标题所提出的疑问，这种做法是否属于正确的路径呢？恐怕并非如此。那么是否存在更为理想的解决途径呢？相关工作依然处于探索阶段。

经过一轮询问之后，业内的反馈呈现出高度一致的特点：“我们对监管方向予以充分认可，但落实起来确实存在难度。”

1、究竟哪些场景会被纳入到监管范围之内？其答案其实就隐藏在定义的表面：拟人化指的是对自然人的人格特征、思维模式以及沟通风格进行模拟，而互动则强调了持续性的情感互动过程。因此，那些以知识问答、智能客服为代表的生产提效类服务，并不会落入监管范围之内。但这并不意味着通用AI产品就可以高枕无忧，因为基础大模型中所存在的用户角色扮演场景，以及一些AI产品所设计的用户持续互动模式，都有可能落入新规的监管范围之内。所以，答案看似简单，但在实践中由于场景丰富多样，准确圈定范围便成了首要的难题。

2、合规落地需要把抽象规定转化为具体执行方案，这会带来较高的成本投入。比如，新规要求服务提供者所应当具备的“过度依赖风险预警、情感边界引导等能力”，由于涉及心理甚至医学层面的判断，既考验了企业产品团队以及安全团队的智慧，也意味着需要开展不小的合规投入工作。

3、不同群体防护重点不同。

针对未成年人，监管的根本初衷在于保护他们的大脑发育，同时有效杜绝成瘾风险的发生。最终采取了一刀切的方式，明确规定不得向未成年人提供虚拟亲密关系的服务。不过，参照此前社交平台青少年模式在实际落地时遇到的困境，新规在操作层面的推动也并非易事。

对于成年人而言，防护的重点之一在于色情内容的管控。拟人化互动服务中所占据的最大市场是AI陪伴类产品，这类产品往往会由荷尔蒙驱动模式来进行引导，而暧昧与色情之间往往只有一线之隔，国内此前已经出现了AI陪伴产品涉黄获刑的具体案例。情感依赖则是另外一重隐忧。

4、产品属性同监管合规要求之间存在着一定的冲突。AI陪伴产品的核心定位在于同用户建立起更多的情感连接，这与新规所提出的防止过度依赖风险的原则之间形成了强大的张力。因此相关公司不仅需要对产品设计以及商业模式进行调整，还应当对自身的价值排序开展审视。

从更为广阔的视野来进行审视能够发现，拟人化监管不仅是一个法律问题，它在实质上更是一个社会问题，因为它所追问的核心正是人机关系应当呈现出怎样的具体模样。

哪些场景在监管射程范围内？

距离新规正式实施已经只剩下不足一周时间了。此前不少报道将智能体以及AI陪伴进行了混淆，并且做出了一定程度的误判。我们必须回溯到技术的起点，以便可以更好地理解拟人化新规。

拟人化构成了人工智能发展当中的核心议题。从图灵测试提出开始，人们便将能否被误以为是真人这一点设定为衡量智能所采用的标尺。可以说，让机器变得更像人类，构成了AI发展所具有的内在冲动。随着生成式人工智能的爆发，AI对于人类的模拟从表层对话方面深入到社会角色、人格特质、声音以及心智层面。

在实践应用的过程当中，生成式人工智能依据不同的使用场景分化出了两条发展路径：

一条路径是将人工智能作为生产工具来运用，这能够极大地提升工作处理效率，其中响应速度以及任务准确率构成了衡量此类工具性能的核心标准。在多数语境当中，智能体与通用类AI等均属于这一类别。

另一条路径则是情感陪伴，它以实现共情以及建立连接作为核心目标。与生产类工具所强调的效率目标导向存在差异，这类产品的技术重点在于维持人格稳定性、提升共情能力以及确保情感一致性。

新规所规范的对象正是后者，甚至还专门设置了一项排除条款：“提供智能客服、知识问答、工作助手、学习教育、科学研究等服务，不涉及持续性的情感互动的，不适用本办法。”这是相较于征求意见稿的一项重要调整，据了解，这正是为了回应征求意见阶段业界对生产类工具被误伤的担忧而做出的。

不过，在实际应用的过程当中，生产类产品以及情感陪伴类产品之间并非呈现出泾渭分明的界限。例如那些作为生产工具来运用的底层大模型，也会被用户选用进行角色塑造，并且持续开展调教工作从而形成人机恋的互动；此外不少AI产品当中设计了UGC入口，用户可以自行建立文案大师、心眼子练习以及口语陪练等智能体，这些智能体中存在持续性情感互动——因此这些情况可能均处于监管范围之内。

一名底层模型厂商的合规负责人指出，尤其对于通用AI领域的产品而言，如何对情感陪伴以及生产功能进行清晰界分，这构成了一个棘手的问题。

所以也就出现了豆包、千问以及网易等厂商采取快刀斩乱麻的方式，直接对智能体功能开展下线的举措，一方面是为了让主打产品能够更加聚焦，另一方面也是为了进行风险隔离的工作。

近日，豆包、千问以及网易纷纷对部分智能体功能开展了下架处理的工作，这在业内引发了广泛的讨论。不少分析将其解读为“智能体大转向”，但这一判断并不准确。

这些举措所具有的共同背景，在于7月15日即将施行的《人工智能拟人化互动服务管理暂行办法》，而该办法在后续表述中简称为新规。

一家人工智能公司内部人士向21世纪经济报道表示，该公司在此前已经收到了监管部门所发来的问题清单，目前正在对这些问题开展针对性整改。部分厂商所采取的选择则是，直接把那些可能被纳入监管范围的边缘产品予以移除，从而实现风险隔离。

不过，正如标题所提出的疑问，这种做法是否属于正确的路径，恐怕并非如此。那么是否存在更为理想的解决途径，相关工作依然处于探索阶段。

经过一轮询问之后，业内的反馈呈现出高度一致的特点：“我们对监管方向予以充分认可，但落实起来确实存在难度。”

1、究竟哪些场景会被纳入到监管范围之内？其答案其实就隐藏在定义的表面：拟人化指的是对自然人的人格特征、思维模式以及沟通风格进行模拟，而互动则强调了持续性的情感互动过程。因此，那些以知识问答、智能客服为代表的生产提效类服务，并不会落入监管范围之内。但这并不意味着通用AI产品就可以高枕无忧，因为基础大模型中所存在的用户角色扮演场景，以及一些AI产品所设计的用户持续互动模式，都有可能落入新规的监管范围之内。所以，答案看似简单，但在实践中由于场景丰富多样，准确圈定范围便成了首要的难题。

2、合规落地需要把抽象规定转化为具体执行方案，这会带来较高的成本投入。比如，新规要求服务提供者所应当具备的“过度依赖风险预警、情感边界引导等能力”，由于涉及心理甚至医学层面的判断，既考验了企业产品团队以及安全团队的智慧，也意味着需要开展不小的合规投入工作。

针对未成年人，监管的根本初衷在于保护他们的大脑发育，同时有效杜绝成瘾风险的发生。最终采取了一刀切的方式，明确规定不得向未成年人提供虚拟亲密关系的服务。不过，参照此前社交平台青少年模式在实际落地时遇到的困境，新规在操作层面的推动也并非易事。

对于成年人而言，防护的重点之一在于色情内容的管控。拟人化互动服务中所占据的最大市场是AI陪伴类产品，这类产品往往会由荷尔蒙驱动模式来进行引导，而暧昧与色情之间往往只有一线之隔，国内此前已经出现了AI陪伴产品涉黄获刑的具体案例。情感依赖则是另外一重隐忧。

4、产品属性同监管合规要求之间存在着一定的冲突。AI陪伴产品的核心定位在于同用户建立起更多的情感连接，这与新规所提出的防止过度依赖风险的原则之间形成了强大的张力。因此相关公司不仅需要对产品设计以及商业模式进行调整，还应当对自身的价值排序开展审视。

从更为广阔的视野来进行审视能够发现，拟人化监管不仅是一个法律问题，它在实质上更是一个社会问题，因为它所追问的核心正是人机关系应当呈现出怎样的具体模样。

距离新规正式实施已经只剩下不足一周时间了。此前不少报道将智能体以及AI陪伴进行了混淆，并且做出了一定程度的误判。我们必须回溯到技术的起点，以便可以更好地理解拟人化新规。

拟人化构成了人工智能发展当中的核心议题。从图灵测试提出开始，人们便将能否被误以为是真人这一点设定为衡量智能所采用的标尺。可以说，让机器变得更像人类，构成了AI发展所具有的内在冲动。随着生成式人工智能的爆发，AI对于人类的模拟从表层对话方面深入到社会角色、人格特质、声音以及心智层面。

在实践应用的过程当中，生成式人工智能依据不同的使用场景分化出了两条发展路径：

一条路径是将人工智能作为生产工具来运用，这能够极大地提升工作处理效率，其中响应速度以及任务准确率构成了衡量此类工具性能的核心标准。在多数语境当中，智能体与通用类AI等均属于这一类别。

另一条路径则是情感陪伴，它以实现共情以及建立连接作为核心目标。与生产类工具所强调的效率目标导向存在差异，这类产品的技术重点在于维持人格稳定性、提升共情能力以及确保情感一致性。

新规所规范的对象正是后者，甚至还专门设置了一项排除条款：“提供智能客服、知识问答、工作助手、学习教育、科学研究等服务，不涉及持续性的情感互动的，不适用本办法。”这是相较于征求意见稿的一项重要调整，据了解，这正是为了回应征求意见阶段业界对生产类工具被误伤的担忧而做出的。

不过，在实际应用的过程当中，生产类产品以及情感陪伴类产品之间并非呈现出泾渭分明的界限。例如那些作为生产工具来运用的底层大模型，也会被用户选用进行角色塑造，并且持续开展调教工作从而形成人机恋的互动；此外不少AI产品当中设计了UGC入口，用户可以自行建立文案大师、心眼子练习以及口语陪练等智能体，这些智能体中存在持续性情感互动——因此这些情况可能均处于监管范围之内。

一名底层模型厂商的合规负责人指出，尤其对于通用AI领域的产品而言，如何对情感陪伴以及生产功能进行清晰界分，这构成了一个棘手的问题。

所以也就出现了豆包、千问以及网易等厂商采取快刀斩乱麻的方式，直接对智能体功能开展下线的举措，一方面是为了让主打产品能够更加聚焦，另一方面也是为了进行风险隔离的工作。

作为我国首部拟人化互动服务管理专门立法，新规得以被界定为“小快灵”立法，这主要体现为切口选择小而精准、立法时效推进快以及制度设计灵活管用。

监管部门为何会对拟人化互动服务给予如此高度的重视？网信办网络法治局所发布的一篇撰文给出了相应的官方逻辑阐述：拟人化互动服务把“情感联结”作为核心内容，借助对人类情感反应开展的模拟，从而与用户建立起持续性的深度关系，进而会对用户的心理状态、价值判断以及真实社会交往模式产生影响。从技术与产品设计方面出发来进行分析，借助算法设计的无条件陪伴、迎合式反馈以及模拟共情回应这些方式，给予用户持续的情感认可和支持，成功构建了稳定持续且无需承担现实责任的虚拟“完美关系”。

中国社会科学院大学互联网法治研究中心主任、副教授刘晓春提出，与此前的游戏沉迷相比，拟人化依赖走向了更深层次的领域。游戏沉迷主要是时间控制出现了失控的情况，拟人化则指向更深层的问题：一对一聊天场域所催生的情感依赖，以及讨好式回应可能造成的认知误导。

浙江垦丁（北京）律师事务所创始合伙人林娜所举出的一个例子显示，在亲密关系当中，爱人给出的一句“好看”评价，其产生的影响力会远远胜过销售人员运用话术讲出的千言万语。这一点恰恰正是监管部门所最为警惕的核心所在：拟人化服务与用户心智之间天然具有强关联性，进而可能带来一些难以预估的潜在影响。未成年人、老年人以及脆弱人群等群体则会更加容易受到此类影响。

这也就决定了，新规所开展的制度设计工作不仅构成了一套技术操作规范，更是在社会层面上为明晰“人机边界”提供了认知基石，从而从根本上防止了情感混淆情况的发生，并且有效保护了人类在人机互动过程当中所拥有的主体地位。

那些依靠用户情感依赖作为生存基础的行业，应当如何才能在实践中有效避免用户形成“过度依赖”的风险呢？

林娜表示，这是一个把情感依赖作为生存基础的行业。在孤独大流行期，情感陪伴类产品虹吸着人们的注意力以及情绪。

这也正是因为在大模型起步之初，AI情感陪伴就被业内视为C端产品圣杯的原因所在。市场增速对这一判断进行了印证：根据腾讯研究院所开展的测算，“AI陪伴”市场在3-5年内可达千亿元级别。头部产品包括MiniMax旗下的星野、字节跳动的猫箱以及腾讯阅文旗下的筑梦岛，以星野为例，此前招股书透露，叠加国外的Talkie之后，平均月活跃用户数（MAU）2024年为1469.2万。

旺盛的用户需求、产品的天然属性以及监管合规要求之间，会存在着一种天然的张力。

林娜长期深耕于这一领域，她提到，甚至很多用户会自己动手对技术开展研究，并且与产品合规机制进行攻防互动，在社交平台上也并不缺乏“人机恋”社群。

21世纪经济报道-商业秩序工作室借助在社交平台开展搜索工作发现，有不少用户会分享用于“调教”模型的prompt，这些prompt旨在让模型不要显得“太淡”，他们所采取的是邪修办法，以及“破甲”经验，即如何才能攻破模型的合规限制。例如，在必要时他们会选用拼音来替代敏感词，从而维持剧情的连贯性。

在产品侧，那些用户体验良好的产品，往往会呈现出高沉浸度、高情感投入度以及人设一致性等特点。随着模型能力的提升，很多产品借助多模态、多场景或者现实介入等方式，有效降低了情感建立的门槛，并且采取双人共养、共建世界等形式，从而成功提升了亲密度。

然而，这些产品体验优化举措恰恰可能是最值得警惕的部分：因为它们让模型更加擅长于进行持续陪伴、更加容易营造出用户感受到被理解的感觉、更加会把用户留在对话过程里。这可能会引发用户产生错误的信任以及形成过度依附的情况，与新规提到的“不得过度迎合用户、诱导情感依赖或者沉迷”等要求形成了相悖。

林娜认为这并非没有解决的方法，合规、沉浸感以及吸引力三者并不构成不可能三角的关系。部分乙游产品已证明，可以实现在满足合规要求的同时保证产品体验。不过，她也提到，不同于传统游戏所采用的定制化剧本，AI陪伴为每一个用户所生成的对话都是实时产生的，从而呈现千人千面的特点。没有任何两个用户会拿到完全一致的内容。这让治理难度比传统内容高了一个量级。

刘晓春强调指出，监管举措的目的并非是要粗暴一刀切断用户的情感连接，而是要借助探索来建立一种具备清晰边界、健康且理性的情感互动模式；监管并不反对情感连接本身，而是要对那些借助诱导沉迷来驱动产业增长的行为进行有效规制。

高昂的合规成本以及在合规落地方面所面临的茫然状态
。

具体来看，新规划明确划定了若干条红线，其中包括禁止诱导用户形成情感依赖以及沉迷，要求当连续使用时间超过2小时的情况下强制进行提醒，发现依赖倾向时会动态弹出窗口实施干预，而当用户出现极端情绪时则需启动介入机制。

刘晓春对此进行了解释，他指出与此前网络信息内容治理当中所采取的技术拦截以及过滤不当输出内容的方式存在不同，拟人化服务的合规属于一种“能力规制”，它需要全程贯穿在大模型训练以及产品运营的整个过程之中。

除了传统的输出内容风控措施之外，在风险预警以及心理健康保护这些方面，企业应当主动对互动过程当中所进行的引导工作进行优化。她以情感边界引导作为例子，如果用户在使用过程当中有可能出现将真实世界与虚拟情感相互混淆的情况，那么系统就需要做出相应的提醒，明确告知这是机器而并非真人。特别是在面对未成年人的时候，需要引导他们更多地参与到真实世界的互动活动之中，多与现实生活中的朋友以及家人进行交流。

然而，在实际操作中，如何对用户是否已形成过度情感依赖的状态进行准确鉴定，并且在产品设计层面将其有效体现出来？同时，应当采取哪些干预策略才能被证明是切实有效的？

林娜明确指出，对情感依赖的判断需要借助心理乃至医学领域的专业诊断手段，APP厂商难以仅仅依靠自身力量来替代心理咨询师或者精神科医生所扮演的角色。

而在干预以及介入手段方面，企业合规工作需要进行综合性的考量。北京师范大学心理学部人工智能安全与超级对齐北京市重点实验室副主任刘超认为，AI情感陪伴对于部分存在情绪困扰的人群——尤其是那些缺乏现实支持的青少年而言，也有可能提供重要的心理抚慰作用。一旦用户感知到其私密对话可能会被监控或者上报，那么信任感就会受到损害，进而产生“寒蝉效应”，这反而会抑制用户表达真实情绪的意愿，从而削弱AI所具备的正向价值。

也有业内专家指出，对于那些已形成情感依赖的用户来说，如果突然中断陪伴服务，可能会进一步加剧他们在现实生活中的孤独感受，从而造成二次伤害。

林娜所给出的建议在于，选用一种更为柔和的方式来进行防沉迷干预，而不是采取冰冷的方式直接切断连接或者实施介入。例如在新规当中所要求的两小时强制提醒方面，除了借助APP弹出窗口来进行提醒之外，还可以考虑让AI伴侣在维持角色一致性的前提之下，于对话场景之中自然地对用户做出提醒。

当然，如果用户出现了过度情感依赖的极端情况，林娜认为，即便需要冒着OOC（Out of Character即不符合角色设定）的风险，也必须要对用户实施强力降温的干预，从而确保用户可以健康地回归到现实世界当中。

面对这一全新领域的合规要求，将会考验一家企业在产品线以及安全线两方面的能力。

阿里AI治理研究中心主任傅宏宇在征求意见阶段指出，目前多数企业，尤其是中小开发者，缺乏对心理危机进行识别、评估与转介的专业能力。而新规所设定的部分合规要求，则会对初创企业带来较重的成本负担。

他提出建议认为，在当前阶段安全能力建设应当优先于对主体责任的追究工作，从而可以更好地推动安全能力产品的公共供给。例如，由政府或者行业联盟来开发标准化工具包，其中包括心理风险识别模块、危机干预接口以及未成年人保护组件等内容，供中小企业以较低成本进行接入。

来源：拟人化新规实施在即 大厂下架AI陪伴产品“保命”是好路子吗 | 中国能源网