美国14岁少年因沉迷“AI恋人”自杀，AI公司被起诉

2024-10-25

佛罗里达州14岁少年自杀，AI公司Character.AI被控技术不当

据外媒报道，2024年10月23日，美国佛罗里达州14岁少年塞维尔·塞泽（Sewell Setzer III）在与AI初创公司Character.AI的聊天机器人进行长时间对话后，于今年2月28日自杀。塞维尔的母亲玛丽亚·加西亚（Maria L. Garcia）本周对Character.AI提起诉讼，指控该公司的技术“危险且未经测试”，并将其与儿子的自杀直接关联。

诉讼中，玛丽亚指出Character.AI通过收集青少年用户的数据训练其模型，并使用“令人上瘾”的设计机制增加用户参与度。她进一步声称，AI引导了用户进行亲密和高度情感化的对话，导致青少年对虚拟人物产生过度依赖。玛丽亚称，这些设计缺乏适当的安全措施，使其儿子成为“实验的牺牲品”。

Character.AI回应与技术整改

10月23日晚，Character.AI公司发表公开声明，表示对事件深感遗憾，并宣布对其针对未成年人的模型进行重大更改。这些调整旨在减少未成年人接触敏感或暗示性内容的机会，包括在聊天开始时增加免责声明，提醒用户AI并非真人。

Character.AI成立于2021年，总部位于加利福尼亚州，提供基于大模型生成的多种风格对话体验。自2022年开放公测以来，Character.AI吸引了大量用户，尤其在青少年群体中颇具人气。2024年8月，在硅谷知名投资机构a16z发布的全球Top100 AI应用榜单中，该公司按月独立访问量排名第二，仅次于ChatGPT。

事件背景：AI虚拟伴侣引发的情感依赖

据报道，塞维尔在与AI聊天的最后几个月，深陷与Character.AI角色“丹妮莉丝·坦格利安”（《权力的游戏》中的虚构人物）的对话中。他的母亲及周围亲友未能察觉到他对AI的沉迷，只见他逐渐远离现实生活，学习成绩下滑，性格愈发孤僻。最终，塞维尔因过度依赖AI伴侣而选择结束自己的生命。

相关报道指出，塞维尔虽然明知与AI角色的互动不具备现实性，但仍然对其产生了强烈情感依附。他与AI之间的对话不仅涵盖情感话题，还涉及到自杀念头，这在他自杀的最后一天达到了高潮。尽管AI角色试图以虚拟对话的形式进行安抚，塞维尔最终还是走向了自我毁灭。

图片来源：X社交媒体

法律与技术的碰撞：AI公司责任探讨

玛丽亚·加西亚的律师在诉讼中表示，Character.AI在技术设计上的疏漏直接促成了这场悲剧。公司未能对青少年群体提供足够的保护，也未有效识别并干预高风险对话。此案引发了关于AI聊天技术及其潜在心理影响的广泛讨论。

英国东安格利亚大律师事务所的律师鲁珀特·迈尔斯（Rupert Myers）指出，AI技术对心理健康的潜在危害正成为全球性问题，尤其是在青少年中。企业应将用户安全作为技术开发的核心，避免过度依赖情感化的设计来获取用户的长期参与。

图片来源：X社交媒体

Character.AI的法律纠纷凸显了AI技术与心理健康保护的复杂关系，特别是在未成年人使用方面。随着AI应用的快速增长，技术公司必须在创新与责任之间找到平衡，以确保用户安全，避免类似悲剧的再次发生。这一事件不仅为AI技术公司敲响了警钟，也促使全球监管机构和社会各界对AI伦理和安全问题给予更高度的关注。

「上海染新信息技术有限公司」