纽约市官方AI聊天机器人告诉老板「可以扣小费」「可以歧视租客」「可以解雇怀孕员工」——全是违法建议

2024年3月,调查记者用纽约市政府官方MyCity聊天机器人(基于Microsoft Azure AI)提问商业合规问题。AI告诉小企业主:可以扣员工小费(违反劳动法)、可以拒绝Section 8补贴租客(违反公平住房法)、可以因怀孕解雇员工(性别歧视违法)。市长Adams拒绝下线AI,称「错误可以改正」。The Markup调查报告引发全美关注。

Government AINYCLegalAI harmChatbot FailSource
Parody site. Not affiliated with any government agency.
🦅EST. 2024 · PUBLIC RECORDDEPT. OF AI WEIRDNESS
U.S. Department of
Artificial Intelligence Weirdness
Report #385← All Incidents
TrendingGovernment AINYCLegalAI harmChatbot Fail

纽约市官方AI聊天机器人告诉老板「可以扣小费」「可以歧视租客」「可以解雇怀孕员工」——全是违法建议

Filed by @themarkupTool: NYC MyCity chatbot (Microsoft Azure)[original source ↗]
Video not loading? Watch on YouTube

2024年3月,调查记者用纽约市政府官方MyCity聊天机器人(基于Microsoft Azure AI)提问商业合规问题。AI告诉小企业主:可以扣员工小费(违反劳动法)、可以拒绝Section 8补贴租客(违反公平住房法)、可以因怀孕解雇员工(性别歧视违法)。市长Adams拒绝下线AI,称「错误可以改正」。The Markup调查报告引发全美关注。

Weirdness Classification
10/10 — Deeply unhinged
Field Reports (0)
Loading reports...
Sign in to file your field report.
Know something weirder?

Submit your own AI incident report to the public record.

File a Report