使用可解释的AI解锁黑匣子

通过Vijayaraghavan V,罗希特•乔普拉拉梅什N 2019年12月|简短| 10分钟阅读|本文的电子邮件|下载

随着人工智能(AI)系统在未来几年内在各个行业得到广泛采用，对这些系统决策的可解释性和信任度的需求也在增加。可解释人工智能(XAI)解决了妨碍我们充分信任人工智能决策能力的主要问题——包括偏见和透明度——通过其应用，可以帮助确保所有相关人员获得更好的结果。

使用可解释的AI解锁黑匣子

未来十年，人工智能将迅速发展，并对全球经济产生相应影响。到2030年，人工智能预计将使全球GDP增长15.7万亿美元。¹研究数据显示，自2015年以来，采用人工智能的组织数量增长了270%。仅去年一年，这一数字就增长了两倍。²然而，商界仍然担心人类能否对人工智能建议的可信度有信心。

这种关注产生了机器学习透明度的需求，这导致了XAI的增长。人工智能这个新领域为该领域带来了问责，以确保人工智能造福于社会，而不是伤害它。XAI解决的两个最大问题是人工智能系统的偏见和不透明的人工智能决策。

处理人工智能决策中的偏差

XAI在帮助消除AI系统和算法固有的偏见方面至关重要，这些偏见是由背景和经验的人编写的，这些人无意中导致了显示出偏见的AI系统的开发。另外，从一开始到部署AI系统的团队并不能代表整个社会，你会发现带有固有系统性偏见的扭曲数据集和算法。

亚马逊(Amazon)就是这样一个例子，它在一个实验性的招聘工具中使用人工智能，该工具以1到5的等级对求职者进行打分，5表示最合格。^3.没过多久，该公司就发现了自己的系统存在偏见:该工具对软件开发人员职位的男性评分高于女性。为什么?因为亚马逊的系统观察了过去十年提交给亚马逊的简历——一个主要由男性求职者组成的数据集——并使用这个过滤器来判断候选人。

由于数据有缺陷，亚马逊的系统对男性产生了偏见。包括女性的简历被评为较低级别，两名来自女子学院的申请人被降级，仅仅是因为她们所上的学校。亚马逊改变了它的系统，使其性别中立，但随着这个项目的发展，没有办法保证未来系统性偏见不会发展。

为AI系统提供一个新的透明度水平

多年来，人工智能系统都是黑匣子，几乎无法了解机器为什么会得出这样的结论。IBM沃森在《危险边缘》(Jeopardy)节目中击败了一些最优秀的人类选手，作为检测癌症的新伙伴，它被推销给了医院。

当IBM沃森被安置在医院的肿瘤科时，它并没有成功地担当起新的角色。在咨询和治疗的每个阶段，医生和患者都无法信任机器。沃森不愿提供其结果的原因，当结果与医生的一致时，它也无法提供诊断。^3.

换句话说，IBM沃森缺乏透明度。然而，人工智能系统做出黑匣子决策的日子似乎即将结束。包括欧洲《通用数据保护条例》(General Data Protection Regulation，简称GDPR)在内的新法律正将“解释权”置于重要地位。XAI提供了更好的机制来满足组织内部审计和其他目的的责任要求。因此，可以更好地遵守GDPR等监管要求。

人类必须能够相信人工智能的决定

人类和人工智能系统要想在未来两年内实现协作，就需要对这些机器所做的决策有高度的信任。为了让这种信任得到发展，XAI必须被用于回答AI系统如何决策的几个关键问题:

对于具体的预测或决定，为什么会得出这样的结论?
为什么没有做出替代决定?
我们如何衡量AI系统的成功或失败?
作为人类，我们什么时候对人工智能系统有足够的信心来信任它们?
AI系统如何纠正出现的错误?

为了更好地理解我们在人工智能决策知识方面的具体差距，以及如何应用XAI来解决这些问题，我们将考察两个行业:金融服务和医疗保健。在这两个行业中，财务风险都很高，正如我们将看到的，XAI可以用来更好地理解两个行业中的人工智能决策。

XAI在金融服务中的应用

到2020年，在线欺诈检测支出预计将达到92亿美元。⁵欺诈行为的发生速度比以往任何时候都要快，也更加复杂，这使得金融犯罪团队很难发现犯罪模式，尤其是在不断演变的客户行为中。

XAI可以帮助公司了解算法模型如何根据不断变化的客户消费习惯和生活环境进行调整，从而检测潜在的欺诈交易，从而减少欺诈交易，最大限度地减少虚假欺诈标志，并显著降低费用。

“XAI可以帮助企业通过深入了解算法模型来减少网络欺诈和相关支出。”

全球金融科技市场的人工智能将从2018年的14亿美元增长到2024年的56亿美元，2019年至2024年的复合年增长率(CAGR)为26.2%。⁶随着越来越多的金融服务和金融科技初创企业在各种应用中利用人工智能，对人工智能系统决策的透明度的需求只会增加。

例如，如果一个人工智能驱动的系统拒绝了一个人的贷款申请，银行高管应该有能力逐步审查人工智能的决策，以确定拒绝发生在哪里，以及贷款被拒绝的原因。

再举一个例子，考虑一个决定汽车保险单保费的人工智能系统。该系统应该能够解释什么因素-是事故历史，汽车类型，里程等-促成了决定的保费。基于这些因素，系统应该能够提供个性化的建议来降低保费(例如，一年不开超速罚单)。

XAI在医疗保健中的应用

随着人工智能在各个行业的普及，受影响最大的领域之一是医疗保健。到2026年，医疗保健市场的全球人工智能预计将超过80亿美元，2019-2026年的复合年增长率为49.7%。⁷在医疗保健领域，从机器人辅助的手术到临床试验参与者标识符，人工智能正被广泛应用。人工智能正在通过减少支出和改善患者结果(可获得性、可负担性和有效性)，给医疗保健部门带来革命性的变化。

“医疗保健领域的人工智能正在通过帮助降低费用、改善患者预后，改变整个行业。”

除了这些积极的好处，人工智能在医疗保健领域的应用仍然令人担忧。因此，在这个行业中，XAI是建立在信任、忠诚、透明、领域意识、概括、简约和一致性的支柱之上。

这些支柱在实践中如何发挥作用?让我们看几个例子。

在第一个例子中，根据患者的记录使用人工智能模型预测心脏病给临床医生带来了一个透明度问题。医生会希望更好地理解模型是如何工作的，以改善他或她的服务。病人还需要给出预测的充分理由。

再举一个例子，领域感知对于急诊部门(急诊科)人口普查预测至关重要，它可以预测在特定时间有多少病人在急诊科就诊。对于医院来说，急诊科的高使用率占了不成比例的就诊人数，而且他们通常是在非紧急情况下就诊，因此这一指标至关重要。⁸领域感知在急诊人口普查预测中很重要，因为医生需要的解释与计划人员的解释不同。这些解释需要用合适的语言和适合主要受众的语境。

未来几年，对XAI的需求只会加速

人工智能将继续为所有可以想象到的行业的产品和服务带来革命性的变化:执法、建筑、制造业和教育，仅举几个例子。在这些行业中，人工智能决策带来了更严重的后果，有时甚至到了决定生死的地步。想想医疗保健中使用的人工智能系统，或是为无人驾驶汽车或军事行动中使用的无人机提供动力的人工智能系统。

问题在于，我们目前对AI系统如何做出这些决定知之甚少，也知之甚少。也就是说，我们并没有完全掌握这些决策在人工智能系统大量使用的行业中是如何应用的。机器学习算法——尤其是深度学习方法——在我们理解其决策逻辑的能力方面一直是不透明的。

未来，这种情况必须改变。随着人类和机器越来越多地一起工作，我们必须能够信任现有的人工智能系统。为了使这种信任成为可能，我们必须能够理解这些系统所做的决定。如果缺乏可解释性，我们信任人工智能的能力就会受损。我们的期望是，与我们一起工作的机器能够按照预期的表现，并能够解释它们的推理。

公共利益在AI法规(如GDPR)要求有权解释从产业,利用人工智能系统,公司将别无选择,只能更新或采用人工智能工具,将在这些算法去除黑盒,从而提高explainability,减少偏见和改善结果。

是有弹性的。企业的生活。

是有弹性的。企业的生活。

经验

洞察力

创新

加速

保证

应用程序开发及维护

业务流程管理

咨询服务

孵化新兴产品

使用可解释的AI解锁黑匣子

使用可解释的AI解锁黑匣子

处理人工智能决策中的偏差

为AI系统提供一个新的透明度水平

人类必须能够相信人工智能的决定

XAI在金融服务中的应用

XAI在医疗保健中的应用

未来几年，对XAI的需求只会加速

参考文献