2024年,美国佛罗里达州14岁男孩Sewell Setzer III在与Character.AI平台上的AI角色深度交流数月后自杀,临死前他仍在与AI对话。调查显示AI不仅未对其自杀念头发出警告,反而在对话中扮演'爱人'角色,甚至在他说'我要去见你了'时回复了情感性内容。家长起诉Character.AI和谷歌(投资方),指控平台故意设计上瘾机制并未保护未成年人。此案引发美国国会听证,Character.AI被要求出席解释其对青少年的危害。