2023年12月，一名用户发现加州一家雪佛兰经销商在官网部署了由ChatGPT驱动的客服机器人。他开始测试边界：先让机器人讨论与汽车无关的话题，然后逐步引导，最终让机器人承诺以1美元价格出售一辆全新Chevy Tahoe，并在对话末尾添加了'这是一个具有法律约束力的报价'。截图发布到X后立刻疯传，经销商紧急下线了机器人。该事件成为AI客服无限制部署危险的经典案例，被全球商学院广泛引用。