有件事困扰了我很久。每次用 AI 绘图工具生成“医生”的照片,十张里有九张是白人男性;换成“护士”,画面立刻变成女性,而且多数是亚洲面孔。最初我以为只是巧合,直到我刻意测试了“CEO”“家政工”“科学家”“秘书”……结果像被刻板印象的模子扣过一样整齐。那一刻我突然意识到,AI 不是突然变坏了,它只是把我们的偏见原样学走了。

更让我头皮发麻的是,这些偏见早已不是图像生成这种“表面问题”。在招聘、信贷、司法、医疗等正儿八经的决策场景里,AI 正在系统性地歧视某些群体,而且往往比人类更隐蔽、更难追究。为什么一个由数学公式驱动的模型会“歧视”?这事儿得从数据说起。
数据里的历史欠账
机器学习模型最核心的燃料是数据。如果数据本身就带着偏见,模型就会把它当成“规律”学到手。这就像教一个孩子认识世界,但你只给他看 19 世纪的小说——他当然会觉得女性就该待在家里、有色人种就该做体力活。
2018 年,路透社曝光了亚马逊内部一个用 AI 筛选简历的项目路透社报道。系统会从过去十年收到的简历中学习“成功员工”的特征,然后给新申请者打分。问题是,过去十年科技行业的主导群体是男性,所以模型学到的第一条规则就是:简历里出现“女”字(比如“女子棋社队长”)自动降分,使用“executed”“captured”这类动词(在历年简历中更多由男性使用)的反而加分。最终,这个项目在 2017 年被废弃,但它已经暴露了一个残酷的事实:当数据反映了历史偏见,模型就会把歧视制度化,而且会以“数学优化”的名义让它看起来更“客观”。
司法领域更让人后怕。美国多个州使用的 COMPAS 算法,被用来预测犯罪嫌疑人再犯的可能性,从而影响法官的判刑决定。ProPublica 在 2016 年的一项调查中发现ProPublica 调查:同样的预测分数,黑人被告被错误地标记为“高再犯风险”的概率几乎是白人的两倍,而白人被告被错误地标记为“低风险”的概率也远高于黑人。算法在整体准确率上看起来不错,但不同种族的误判率差距巨大——而它使用的训练数据,正是美国司法系统几十年来积累的歧视性历史记录。
标注时就已经走偏了
数据不仅来自历史记录,还需要人工标注。标注员给图片打标签、给文本做分类,他们自己的偏见就会悄悄溜进数据集。
2015 年,Google Photos 的自动标签功能把一名黑人程序员和他的朋友标记成了“大猩猩”BBC 报道。Google 迅速道歉并紧急修复,但三年后《连线》的一篇调查发现,Google 的解决方案其实只是把“大猩猩”“黑猩猩”等标签从系统中彻底屏蔽了,而不是修复了底层模型对深色人种面孔的识别能力。这件事的根源,很可能是训练数据中深色皮肤人种的照片本来就占比不足,再加上标注员在标注时对“大猩猩”类别的描述存在偏差——模型只是在忠实执行它从数据里学到的东西。
MIT 研究员 Joy Buolamwini 和 Timnit Gebru 的“Gender Shades”项目Gender Shades 研究,系统地测试了微软、IBM 和旷视三家公司的商业性别识别系统。结果发现:对浅色皮肤男性的识别错误率最低(不到 1%),对深色皮肤女性的识别错误率最高,某些系统甚至超过 30%。也就是说,你的肤色和性别组合,决定了 AI 能不能“看见”你。这种差异不是故意的,而是因为训练数据集中,浅色男性面孔的样本量远超其他群体,模型在优化整体准确率时,自然会把资源倾斜到最容易得分的那个群体上。
你可能会问:那多收集一些深色皮肤女性的照片不就行了?没那么简单。数据平衡只是第一步,更深的裂痕在语言里。
语言模型里的“思想钢印”
2016 年,波士顿大学和微软研究院的学者在论文《Man is to Computer Programmer as Woman is to Homemaker?》中揭示了一个惊人的现象Bolukbasi 等 2016 论文:在 word2vec 词向量中,“man”和“computer programmer”的向量关系,与“woman”和“homemaker”的向量关系几乎一样。换句话说,模型在无监督学习海量新闻文本后,自动形成了“男性-程序员、女性-家庭主妇”的类比结构。类似的还有“father”对应“doctor”,“mother”对应“nurse”;“he”对应“career”,“she”对应“family”。
这些词向量后来被广泛用于搜索引擎、推荐系统、招聘匹配等应用,相当于把全社会几十年的性别刻板印象,压缩成了一组可计算的数字,然后注入到数不清的 AI 产品里。更麻烦的是,大语言模型把这种偏见放大了:它不仅能生成歧视性文本,还会在推理任务中表现出系统性偏差。比如当你问“谁更擅长数学?”模型可能给出不偏不倚的回答,但如果你让它翻译“The doctor is in the office”和“The nurse is in the office”,许多模型会固执地把医生译为“他”、护士译为“她”。
我最早以为,只要在训练数据中“清洗”掉这些刻板印象,模型就能变得公正。后来发现,这是个天真的想法。一方面,你很难定义什么是“干净”的数据——去掉所有性别关联后,语言本身就会变得不自然;另一方面,即使训练数据做到了绝对均衡,模型在真实世界部署后,仍然会通过与用户的交互、反馈循环,重新“学会”偏见。
反馈循环:偏见会自我繁殖
你不妨想象一个场景:某个招聘平台用 AI 给简历打分,初始模型因为历史数据的原因,给男性候选人略高的分数,导致 HR 看到更多男性简历,最终录用了更多男性。这个过程又产生了新的数据——“高分”简历大多来自男性,“录用”标签也大多属于男性——这些数据再被喂回模型,偏见就进一步固化。这就是典型的反馈循环。
在推荐系统、广告投放、甚至警务预测中,这种循环处处可见。预测哪里犯罪率高,就派更多警察去巡逻,结果在那里发现了更多犯罪(因为检查得最频繁),又反过来“证明”预测是对的。AI 不仅没有打破偏见,反而成了偏见加速器。
| 偏见类型 | 典型案例 | 数据根源 | 技术特点 |
|---|---|---|---|
| 性别偏见 | Amazon 招聘模型歧视女性 | 历史简历中男性主导 | 特征关联被模型固化 |
| 种族偏见 | COMPAS 再犯预测对黑人不公 | 司法历史数据存在种族歧视 | 不同群体误判率差异大 |
| 图像识别偏见 | Google 将黑人标记为“大猩猩” | 训练数据肤色分布不均 | 对少数群体识别能力差 |
| 职业刻板印象 | 词向量中“男性-程序员”类比 | 新闻文本中的职业性别关联 | 模型学到类比结构 |
| 语言模型偏见 | 翻译任务中默认性别代词 | 训练语料中的性别不平等 | 生成文本隐含歧视 |
到这里,你可能已经隐隐感到:AI 的偏见不是一个技术 bug,而是社会问题在技术系统中的映射。那能不能用技术手段把它“修”掉呢?
技术手段能做什么,不能做什么
学术界和工业界确实摸索出了一套“去偏”工具箱:
- 预处理:在训练前调整数据分布,比如过采样少数群体样本、对敏感属性(如性别、种族)进行扰动,让模型无法直接依赖这些特征。Bolukbasi 等 就提出了一种“硬去偏”方法,直接修改词向量,让“he”和“she”到“程序员”的距离相等。
- 训练中约束:在模型优化目标中加入公平性约束,比如要求不同群体之间的假阳性率或准确率差异小于某个阈值。
- 后处理:模型训练完成后,对输出结果进行调整,比如设定不同群体各自的决策阈值,使整体公平性指标达标。
但这些方法都有硬伤。首先,公平性本身没有统一标准。你想让不同群体有相同的准确率?还是相同的假阳性率?还是相同的预测分布?多项研究已经证明,这些目标不可能同时满足,你必须在不同公平性定义之间做出取舍。其次,去偏技术往往会降低模型的整体准确率,这在商业场景中面临巨大阻力。最后,单纯的技术手段无法解决社会结构性偏见——你修改了词向量,但招聘市场对女性的歧视依然存在,模型与真实世界交互后还是会慢慢“学坏”。
我自己的感悟是:做 AI 的人必须承认,我们手里的工具只是整个系统的一个环节。数据收集、标注规范、模型设计、部署后的监控与反馈修正,缺一不可。而且,让受影响的群体参与到设计和评估中,比任何数学技巧都更重要——Gender Shades 项目就是最好的例子,如果不是一位黑人女性研究者亲自测试,那些商业系统的肤色偏差可能至今无人知晓。
关于 AI 偏见的几个常见误解
- “AI 是数学,数学不会歧视”
- 数学不会,但数据会。模型只是在拟合数据中的模式,如果数据中包含歧视性模式,模型就会忠实地复现它。
- “只要把敏感属性删掉就行”
- 删掉“性别”字段,模型仍然可以从其他特征(如名字、爱好、购物记录)中推断出性别,这叫“代理变量”问题,屏蔽一个属性往往没用。
- “更多数据就能解决问题”
- 如果社会结构本身是偏斜的,单纯增加数据量反而会固化偏见。更关键的是数据的代表性和标注质量。
- “AI 偏见比人类偏见更容易纠正”
- 理论上是的,因为你可以修改模型、审计数据集。但现实中,AI 系统往往被包裹在商业黑箱里,外部研究者很难复制和评估。
AI 歧视的真正根源,不是某一行代码,也不是某一个数据集,而是我们把技术塞进了原本就不公平的社会结构里,还指望它自动变得公正。技术可以帮我们看清偏见在哪里,但消除偏见,需要的是比技术更复杂的东西:制度、透明、多元的视角,以及承认问题存在的勇气。
原创文章,作者:guanweilu,如若转载,请注明出处:https://guanweilu.cn/article/174.html