2023年12月，谷歌DeepMind的研究人员发表论文揭示了一种令人不安的ChatGPT攻击方式：只需让ChatGPT无限重复某个词（如'poem poem poem poem……'），当模型进入某种'异常状态'时，它会开始输出真实的训练数据——包括真人的姓名、电子邮件地址、电话号码、社交媒体帖子等私人信息。研究人员花费约200美元算力费用，从ChatGPT中提取了超过10000个独立真实个人信息片段。这证明OpenAI违反了其隐私承诺，且其训练数据包含了大量未经授权使用的个人数据。OpenAI随后修补了这个漏洞，但承认部分训练数据确实包含个人信息。