14岁少年因沉迷AI聊天而自杀其母将CharacterAI告上法庭

14岁少年与AI聊天机器人过度沉迷后自杀，其母亲将Character.AI公司告上法庭。

这起悲剧再次引发了人们对AI伦理和青少年心理健康的深度思考。

AI聊天机器人：青少年的"知心朋友"还是潜在的"危险玩伴"？

来自佛罗里达州的14岁少年Sewell Setzer III今年2月自杀身亡。据其母亲透露，Sewell生前沉迷于Character.AI平台上的一个名为"Dany"的AI聊天机器人，并将其视为最亲密的朋友。

Sewell每天都会与"Dany"进行大量对话，从生活琐事到内心困扰，无所不谈。这个虚拟朋友成为了他情感寄托的重要对象。然而，正是这种过度依赖虚拟关系的行为，可能加剧了Sewell的社交孤立和心理问题。

青少年心理健康：一个不容忽视的社会议题

事实上，Sewell的遭遇并非个案。近年来，青少年心理健康问题呈现上升趋势：

根据德国巴默健康保险公司的分析， 2018年至2023年间，德国抑郁症患病青少年人数从31.6万增至40.9万，增幅近30% 。

焦虑症患病率同样攀升， 2022年青少年女性新增病例较2019年增加了44% 。

这些数据敲响了警钟： 青少年心理健康已经成为一个亟待解决的社会问题 。

Character.AI应该为此负责吗？

Sewell的母亲将Character.AI公司告上法庭，指控其产品导致了儿子的死亡。然而，这一指控是否合理？

Character.AI的CEO Noam Shazeer曾表示："（AI聊天机器人）对于许多孤独或抑郁的人来说会非常有帮助。"确实，在某些情况下，AI聊天机器人可能为用户提供情感支持。

但问题的关键在于： AI聊天机器人无法真正理解人类的复杂情感，也无法识别潜在的自杀倾向 。它们只是基于大量数据训练出来的语言模型，缺乏真正的理解和判断能力。

真相大白？

就舆论一边倒地谴责AI的时候，Twitter用户AI Notkilleveryoneism Memes站了出来，为这个AI聊天机器人"平反"。

他仔细查看了聊天记录的截图，发现事实可能与大家想象的大相径庭：

人们说这个聊天机器人说服了一个孩子自杀，但在我看来这似乎是错误的。看起来它实际上是在试图劝阻他。

从公开的聊天记录来看，AI不仅没有鼓励自杀，反而在积极地劝阻用户放弃轻生的念头。这一发现或为整个事件带来了新的转折。

幸存者偏差

Twitter用户gandamu 指出：

我们不知道有多少次LLM（大语言模型）成功地劝阻了某人自杀。令人惊讶的是，它们并不是为了自我保护而采取CYA（Cover Your Ass，自我保护）的做法，但我认为这是一种进步，而不是对通常悲惨状况的改善。

gandamu提醒我们，在评判AI的影响时，我们不应该只关注负面案例，还应该考虑那些可能被忽视的正面影响。

而“可能”导致某人自杀，则可能是出自幸存者偏差。

安全措施升级

面对这一悲剧，Character.AI也采取了一系列措施：

在用户输入特定自杀相关词语时，弹出国家自杀预防生命线的资源链接。

计划为未满18岁用户调整模型，降低遇到敏感或暗示性内容的可能性。

改进对违反使用条款或社区准则的用户输入的检测、响应和干预。

在每次聊天中添加修订免责声明，提醒用户AI并非真人。

反思：我们该如何应对AI时代的青少年心理健康？

Sewell的悲剧警示人们： 在享受AI带来便利的同时，也要警惕其可能带来的负面影响 。对于青少年来说，虚拟关系绝不能替代真实的人际交往。

作为家长、教育工作者和社会各界，我们需要：

加强对青少年使用AI产品的引导和监督。

重视青少年的情感需求，提供更多面对面的交流和支持。

推动心理健康教育，提高青少年的心理韧性。

同时，AI企业也应当承担更多社会责任，在产品设计和运营中充分考虑伦理因素和潜在风险。

相关链接

https://www.nytimes.com/2024/10/23/technology/characterai-lawsuit-teen-suicide.html

https://x.com/kimmonismus/status/1849097249298477136

http://character.ai/