亚马逊白费心思?算法、数据集差异无法解决人脸识别的“偏见”
面部识别模型识别黑人、中东和拉丁美洲等少数族裔的错误率高于皮肤较浅的人,这已成为一个普遍的问题。
亚马逊的人脸识别技术 Rekognition 曾因错误地将国会议员识别为罪犯而受到质疑,其中近 40% 的错配涉及有色人种,使亚马逊陷入种族歧视。
然而,最近的一项研究表明,无论是不同的算法还是不同的数据集,都不能解决人脸识别技术的偏差,这可能意味着亚马逊的 "黑锅" 已经被误判了。
具体来说,威奇托州立大学(WichitaStateUniversity) 的研究人员进行了一项研究,对包含数万张面部图像的数据集进行了测试,对流行算法进行了基准测试。
虽然这项研究有其局限性,因为它所研究的模型还没有经过精细调整的面部识别,但它提供了越来越多的证据,表明面部识别容易受到偏见的影响。
研究人员重点研究了三种模型 --VGG、ResNet 和 InceptionNet-- 它们对 120 万张来自开源 ImageNet 数据集的图像进行了预培训。
他们使用两个大的面部识别数据集 UTKFace 和 FairFace 的图像,为每个人定制性别分类。
UTKFace 包含从在线公共数据库收集的 20000 多张白人、黑人、印度人和亚洲人的照片,而 FairFace 包含 108501 张来自 Flickr 的白人、黑人、印度人、东亚人、东南亚人、中东人和拉丁美洲人的照片。
在第一个实验中,研究人员试图在性别分类的背景下评估和比较不同模型的公平性。
他们发现,这三种方法的准确度约为 91%,而 ResNet 的总体准确度高于 VGG 和 InceptionNet。
但他们也报告称,ResNet 对男性的分类比其他型号更可靠;相比之下,VGG 对女性的分类更为准确。
模型的性能也因人类而异。
VGG 在识别女性(黑人女性除外)和男性(拉丁裔男性除外)方面取得了更高的准确性。
中东男性在平均模型中的准确率最高,其次是印度男性和拉丁裔男性,但东南亚男性的假阴性率更高,这意味着他们更有可能被归类为女性而非男性。黑人女性往往被误认为男性。
当研究人员只训练 UTKFace 模型时,所有这些偏见都加剧了,因为 UTKFace 不平衡以减轻它们。
(UTKFace 不包含中东、拉丁美洲和亚洲人的图像)。
在仅接受 UTKFace 训练后,中东男子的准确率最高,其次是印度男子、拉丁裔男子和白人男子,而拉丁美洲妇女比所有其他妇女更准确(其次是东亚和中东妇女)。
同时,黑人和东南亚妇女的准确性进一步降低。
研究人员写道:" 总的来说,建筑结构的差异因性别而异。因此,性别分类系统的偏差并不是由特定的算法造成的。
这些结果表明,扭曲的训练数据采集进一步加剧了不同性别的人之间的准确性差异。
在未来的工作中,作者们计划研究姿势、灯光和化妆对分类准确性的影响。
以前的研究发现,摄影和技术有利于浅色皮肤,从浅棕色胶片到低对比度数码相机。