当风险很大时，机器学习模型有时被用来帮助人类决策者。例如，一个模型可以预测哪些法学院申请人最有可能通过律师考试，以帮助招生官员确定哪些学生应该被录取。
这些模型通常有数百万个参数，因此研究人员几乎不可能完全理解它们是如何进行预测的，更不用说没有机器学习经验的招生官员了。研究人员有时会采用解释方法，通过创建预测的简单近似值来模拟更大的模型。这些近似值更容易理解，可以帮助用户确定是否信任模型的预测。
但这些解释方法公平吗？如果一种解释方法为男性提供了比女性更好的近似值，或者为白人提供了比黑人更好的近似值，那么它可能会鼓励用户相信模型对某些人的预测，而不是对其他人的预测。
麻省理工学院的研究人员仔细研究了一些广泛使用的解释方法的公平性。他们发现，这些解释的近似质量在不同的子群之间可能会有很大的差异，而对于少数民族化的子群来说，这种质量往往要低得多。
实际上，这意味着，如果女性申请人的近似质量较低，那么解释与模型预测之间存在不匹配，这可能导致招生官员错误地拒绝女性多于男性。
一旦麻省理工学院的研究人员看到这些公平差距是多么普遍，他们就尝试了几种技术来公平竞争。他们能够缩小一些差距，但无法消除它们。
“这意味着在现实世界中，人们可能会错误地相信某些子组的预测，而不是其他子组的预测。因此，改进解释模型很重要，但将这些模型的细节传达给最终用户也同样重要。这些差距是存在的，因此用户可能希望调整他们对使用这些解释时得到的结果的期望，”主要作者说AparnaBalagopalan是麻省理工学院计算机科学和人工智能实验室（CSAIL）健康ML小组的研究生。
巴拉戈帕兰（Balagopalan）与CSAIL研究生张浩然（HaoranZhang）和哈米迪（KimiaHamidieh）共同撰写了这篇论文；CSAIL博士后托马斯·哈特维森；多伦多大学计算机科学副教授FrankRudzicz；以及资深作者MarzyehGhassemi，一位助理教授兼健康ML小组负责人。这项研究将在ACM公平、问责和透明度会议上发表。
高保真度
简化的解释模型可以以人类能够掌握的方式近似更复杂的机器学习模型的预测。一个有效的解释模型最大化了一个称为“保真度”的属性，该属性衡量它与较大模型预测的匹配程度。
麻省理工学院的研究人员没有关注整体解释模型的平均保真度，而是研究了模型数据集中人群的保真度。在男性和女性的数据集中，每组的保真度应该非常相似，并且两组的保真度应该接近整体解释模型的保真度。
Balagopalan说：“当你只看所有实例的平均保真度时，你可能会错过解释模型中可能存在的工件。”。
他们开发了两个衡量保真度差距的指标，即子组之间保真度的差距。一个是整个解释模型的平均保真度与表现最差的子组的保真度之间的差异。第二个计算所有可能的子组对之间保真度的绝对差异，然后计算平均值。
根据这些指标，他们使用两种类型的解释模型来搜索保真度差距，这两种模型是在四个真实数据集上训练的，用于高风险情况，例如预测患者是否死于重症监护病房，被告是否再次犯罪，或法学院申请人是否会通过律师考试。每个数据集都包含受保护的属性，如个人的性别和种族。受保护的属性是可能不会用于决策的功能，通常是由于法律或组织策略。根据特定于每个决策设置的任务，这些定义可能会有所不同。
研究人员发现，所有数据集和解释模型都存在明显的保真度差距。弱势群体的忠诚度往往要低得多，在某些情况下高达21%。法学院数据集的种族亚组之间的保真度差距为7%，这意味着某些亚组的近似值错误率平均高出7%。Balagopalan解释说，例如，如果数据集中有10000名来自这些亚组的申请人，其中很大一部分可能会被错误地拒绝。
Ghassemi说：“我很惊讶这些保真度差距在我们评估的所有数据集中如此普遍。很难过分强调解释被用作黑箱机器学习模型的‘修复’的普遍程度。在本文中，我们表明解释方法本身是不完美的近似，可能对某些亚组更糟。”。
缩小差距
在确定保真度差距后，研究人员尝试了一些机器学习方法来解决这些差距。他们对解释模型进行了培训，以确定数据集中可能存在保真度较低的区域，然后将重点更多地放在这些样本上。他们还尝试使用平衡的数据集，从所有子组中获得相同数量的样本。
这些稳健的训练策略确实缩小了一些保真度差距，但并没有消除这些差距。
然后，研究人员对解释模型进行了修改，以探索为什么首先会出现保真度差距。他们的分析表明，解释模型可能会间接使用受保护的群体信息，如性别或种族，即使群体标签被隐藏，也可以从数据集中学习这些信息。
他们希望在未来的工作中进一步探索这一难题。他们还计划在现实决策的背景下进一步研究忠诚度差距的影响。
巴拉戈帕兰很高兴地看到，一个独立实验室在解释公平性方面的并行工作也得出了类似的结论，强调了充分理解这个问题的重要性。
在她展望这项研究的下一阶段时，她对机器学习用户提出了一些警告。
她说：“仔细选择解释模型。但更重要的是，仔细考虑使用解释模型的目标以及它最终会影响到谁。”。
这篇文章由麻省理工学院新闻网（web.MIT.edu/newoffice/）转载，该网站是一个受欢迎的网站，涵盖了有关麻省理工学院研究、创新和教学的新闻。
