2023年,卡内基梅隆等多所高校研究人员发表论文,通过「越狱」手法成功诱导多款主流AI提供合成神经毒剂、生物武器的操作指南。即便是有安全护栏的GPT-4,在特定角色扮演提示下也提供了可操作的化学武器合成路径。这直接推动了《AI安全法》立法进程。