2020年6月杜克大学发表在AI顶会CVPR的研究热潮

人工智能可以帮助我们做出决策，但谁能解释人工智能做出的判断？

2020 年 6 月，杜克大学在顶级 AI 会议 CVPR 上发表的一项研究引发了轰动。一种名为 PULSE 的人工智能算法可以将马赛克人脸照片还原为清晰的人脸图像。

PULSE 模型使用众所周知的生成对抗网络 StyleGAN 来生成高分辨率图像，与其他方法相比，这些图像可以生成更好、更清晰、更详细的图像。

但人们在测试后也发现了一些问题。例如，如果你将美国前总统奥巴马的密码照片交给 AI，它就会将其还原为白人：

PULSE的“偏见”曝光后，瞬间引爆了人工智能界。项目作者首先回应，表示出现这种情况可能是StyleGAN的训练数据集造成的，可能还有其他未知因素。

人工智能领域的先驱，图灵奖获得者 Yann LeCun 甚至在社交网络上与人辩论。他首先解释了为什么 PULSE 有这样的偏见，但并未引起普遍认同。

Yann LeCun 此后在多条推文中解释了他对偏见的立场，引发了一场远远超出技术范围的讨论。

对此，在数据科学领域工作了十多年的Luca Massaron认为，虽然Yann LeCun从技术角度来说是完全正确的，但看看这个观点之后公众的反应是扔了，你就会知道，谈论它是多么敏感。

PULSE 仍只是一项学术研究，Facebook 表示，去年 Facebook 的推荐算法引起了轩然大波，当时一段包含黑人和白人平民与警察之间的战斗的片段被标记为“关于灵长类动物的视频”。曾一度停用视频推荐功能并道歉。

在广泛应用的背后，由于AI是由海量数据驱动的，不需要理清推理逻辑的方法，做出的“统计规律”判断常常受到人们的质疑。

可解释性，人工智能发展的重要方向

深度学习的运行机制很难理解。对于AI工程师来说，就像是“炼金术”——难以追根溯源，难以调整参数。对于公众和监管机构来说，它是一个“黑匣子”——我不知道如何操作，也不知道它给出的结果是否公平。

虽然并不是所有的人工智能系统都是黑匣子，人工智能也并不比传统的软件形式更莫名其妙，但在人工智能模型复杂度暴涨的今天，问题也逐渐显现，人工智能也越来越先进。 ，我们面临的挑战越来越大。

人们一直在为 AI 技术的可解释性而努力。

2010 年，在 Ng Enda 等人发表的《猫的识别》研究中。在Google AI中，神经网络通过样本学习学习了猫的概念，我们可以通过特征可视化的方法看到算法学习的结果。

近年来，各国面对人工智能技术落地的政策都强调了对隐私和可解释性的保护。 2018 年 5 月，被称为“历史上最严格的隐私和数据保护法”的欧盟通用数据保护条例 (GDPR) 正式生效。该法案被誉为 20 年来对数据隐私法规的最重要变更，其中还包括有关“算法公平”的规定，要求所有公司解释其算法的自动决策。

在我国，去年8月通过的《个人信息保护法》第24条也明确要求，必须保证自动化决策的透明性和公平的结果。

人工智能如何在保持可解释性的同时带来便利？这意味着我们需要建立一个可信的人工智能系统。从行业角度看，应用AI技术时要考虑可解释性，需要考虑公平性和消除偏差，减少模型漂移，实施风险管理，持续监控模型部署的全生命周期。最终的工具系统需要部署在各种不同的硬件环境中。

可解释AI不是算法模型中的一个独立环节或特定工具。构建可解释的AI，需要不断介入AI模型全生命周期的每一步，在每个环节构建不同的可解释AI模型。解释方法。近年来，许多科技公司都加大了投资力度，构建了各种可解释的 AI 相关工具和服务。

在AI模型构建的数据准备阶段，微软提出Datasheets for Datasets，用于记录数据集的创建、组成、预期用途、维护等属性，并注意数据集是否有偏差。

Google 提出的 Model Cards 工具包主要侧重于模型的部署和监控。它可以报告机器学习模型的出处、有效性和道德信息评估，并为算法本身的性能提供解释。

国内互联网公司也在行动。比如美团去年9月发表的一篇文章，公开了四种配送时间评估算法，并介绍了预计配送时间背后的算法逻辑。

从机制上看，业界实现算法可解释性的主流方法包括“Ante-hoc”和“Post-hoc”。顾名思义，前者使用的算法结构比较简单，通过观察模型本身就可以理解模型的决策过程，也可以称为“内在可解释模型”。事后可解释的方法是在给定经过训练的模型和数据的情况下尝试理解模型如何预测。目前业界流行的大部分AI可解释机制都属于事后可解释的范畴。

构建人工智能系统的说明

随着人工智能技术的发展，人们将大部分时间都花在了性能应用上，现在对可解释人工智能的研究可以说才刚刚开始。在追求效率的过程中，我们不能忽视人工智能系统的公平性和透明性，也不能反其道而行之，拒绝新技术的简单性。

1月11日，在腾讯举办的科技创新周上，腾讯研究院、腾讯天眼实验室、腾讯优图、腾讯AI实验室等机构共同完成了《可解释的人工智能发展报告2022——开放的理念与实践》 “算法黑盒”正式发布。

这份报告用 30,000 多字，概述了可解释 AI 的当前状态以及对该领域趋势的展望。此外，该报告还对可解释 AI 的未来方向提出了一些看法。

1月17日起，报告将在腾讯研究院微信公众号开放下载。

报告链接：

报告指出，在不同领域，面对不同的对象，人工智能解读的深度和目标存在差异。在医疗、教育、金融、自动驾驶等对AI可解释性要求比较高的领域，有不同的解释方式；另一方面，对于监管机构、最终用户和开发人员来说，对可解释性的需求也各不相同。这意味着可解释人工智能是一个复杂的领域，需要产业界和学术界的共同努力来构建一个完整的系统。

同时，AI应用系统的透明度和可解释性要求需要考虑效率、安全、隐私、网络安全、知识产权保护等方面的平衡，定义不同场景的最低可接受标准，并采取必要时进行常规监测。 、人工审查和其他机制不应仅限于算法的可解释性。

工业界和学术界专家欢迎 2022 年可解释人工智能发展报告的发布：

“可解释的AI就像大学里的老师教课——我们需要注意与学生的互动，学生必须理解并从中受益。这需要我们与微众银行首席人工智能官杨强表示，“学生们。更多的理解。”“人工智能不是孤立存在的，它必须与人互动才能发挥作用。这份报告是一个好的开始，我们可以在此基础上开始长期的研究。”

除了行业研究，腾讯近年来在可解释性人工智能技术方面也取得了诸多成果。

自2014年以来ai遇到未知的图像结构，深度学习技术取得长足进步，识别准确率从96.3%提高到99.5%，直接促成了人脸识别的实际应用技术 。近期疫情期间，越来越多的场景需要使用人脸识别进行身份验证。在腾讯支持的健康码上，一年累计显示码数已超过240亿。

腾讯优图实验室在人脸识别任务中构建了无监督训练方法。在验证交互过程中优化了图像的选择。在特征层面，该算法引入von Mises分布对人脸特征进行建模，将模型学习到的特征表示为概率分布。在图像识别的过程中，除了输出相似度，还可以输出AI、Confidence，给人们额外的解释。

优图提出的可解释人脸识别技术。

腾讯觅影“肺炎CT影像辅助分诊评估软件”是腾讯首款获得国家药品监督管理局医疗器械注册三级证书的辅助诊断软件产品。可用于肺部CT图像中肺炎病灶的显示、处理、测量和识别。它不是单独对患者给出诊断意见，而是采用与人类医生相结合的方法进行诊断。

这种方法大大提高了医生的工作效率，满足了AI技术人员的全局可解释性。

腾讯天眼可信可解释疾病风险预测模型ai遇到未知的图像结构，其中绿色箭头表示辅助输出，可增强主要输出的可解释性。

另外，软件研究资料中对训练和测试数据的来源、数量、多维分布进行了详细的分析，可以帮助开发者和用户了解模型特性，消除数据导致的模型输出问题的疑虑偏移量。

可解释人工智能的未来

可解释人工智能是一个新兴的研究领域，目前还没有统一的理论框架和技术路线。我们也很难同时找到具有高精度和出色可解释性的算法。更多时候，我们需要在效率和可解释性之间做出选择。

从技术角度来看，深度学习可解释性的悖论就像 20 世纪初物理学中的“乌云”，反映了对新发现缺乏了解。这些方向的研究将对技术进步起到巨大的推动作用。在方法论上，研究人员正试图从理论上和实验上了解算法如何工作的机制。

在实践中，我们需要注意这个问题是多元化的：不同的算法、不同的领域和不同的受众需要不同的标准。

“可解释性就像物理学定义的边界函数——当我们优化时，我们总是要在边界上定义一个共识。可解释性不仅是对对方的理解，还有它的高表现，这是一件非常困难的事情。”杨强说：“我认为这将是一个长期存在的问题。解决的办法可能是根据领域知识在细分领域给出答案，为我们指明方向，然后逐步推广。”

随着技术的进步和系统的完善，预计在不久的将来，我们将能够建立一个完整可信的可解释人工智能系统。