疫情网课催生AI监考软件:算法把深色皮肤学生认成在作弊,大规模误判

2020年新冠疫情期间,全球高校大规模使用AI监考软件(Proctorio、Examity、HonorLock等)。研究和学生投诉大量涌现:这些软件的'可疑行为检测'算法对黑人学生、亚裔学生和深肤色学生的误报率远高于白人学生——部分原因是算法依赖面部特征和眼球运动,在弱光或深色皮肤下准确率大幅下降。多名学生被算法标记为作弊,后经人工审核证明无辜,却已承受大量时间损失和精神压力。美国公民自由联盟发布报告称这是'在教育系统中大规模部署存在种族偏见的AI',多所大学随后停止使用相关软件。

proctoringracial-biaseducationcovidalgorithmSource
Parody site. Not affiliated with any government agency.
🦅EST. 2024 · PUBLIC RECORDDEPT. OF AI WEIRDNESS
U.S. Department of
Artificial Intelligence Weirdness
Report #161← All Incidents
Trendingproctoringracial-biaseducationcovidalgorithm

疫情网课催生AI监考软件:算法把深色皮肤学生认成在作弊,大规模误判

Filed by @falsely_accused_studentTool: AI Proctoring Software[original source ↗]
Video not loading? Watch on YouTube

2020年新冠疫情期间,全球高校大规模使用AI监考软件(Proctorio、Examity、HonorLock等)。研究和学生投诉大量涌现:这些软件的'可疑行为检测'算法对黑人学生、亚裔学生和深肤色学生的误报率远高于白人学生——部分原因是算法依赖面部特征和眼球运动,在弱光或深色皮肤下准确率大幅下降。多名学生被算法标记为作弊,后经人工审核证明无辜,却已承受大量时间损失和精神压力。美国公民自由联盟发布报告称这是'在教育系统中大规模部署存在种族偏见的AI',多所大学随后停止使用相关软件。

Weirdness Classification
9/10 — Deeply unhinged
Field Reports (0)
Loading reports...
Sign in to file your field report.
Know something weirder?

Submit your own AI incident report to the public record.

File a Report