一个“暗黑版AI”将人工智能黑箱隐忧(组图)

智能可穿戴设备吸引观众。唐彦俊 摄

近日，麻省理工媒体实验室出品的“黑暗版AI”，再次将人工智能黑箱担忧这一经久不衰的话题推到了风口浪尖。据报道，该实验室的三人团队联手创造了一种名为 Norman 的人工智能，它与希区柯克经典电影《精神病》中变态的酒店经营者 Norman Baez 同名。

就像名字一样。诺曼解释他在消极思想中看到的画面。例如，一张普通的图片，被普通 AI 视为“树枝上的一群鸟”，在诺曼眼中就是“一个被电死的人”。

该团队希望利用诺曼的表现来提醒世界，用于教授或训练机器学习算法的数据可以对人工智能的行为产生重大影响。AI会变成什么样，有时候人类可能会束手无策。

他们的偏见是人类的偏见

诺曼人从哪里来？答案首先在于数据。

“人工智能识别出的结果并不是凭空产生的，而是大量训练的结果。如果你想训练AI的某个方面的能力，比如下棋，你需要收集、清理、标记一个大量用于机器学习的数据。如果用于训练，如果数据不够，会导致 AI 学习不足，导致其识别结果出现错误。” 中国科学院自动化研究所研究员王金桥告诉科技日报记者。数据本身的分布特征，比如偏差甚至偏差，也会被机器“学习”。针对诺曼的表现，创建它的实验室也指出，“ 当人们谈论人工智能算法中的偏见和不公平时，罪魁祸首往往不是算法本身，而是有偏见的、有偏见的数据。因为目前的深度学习方法依赖于大量的训练样本，而网络识别的特征是由样本本身的特征决定的。虽然在训练模型时使用了相同的方法，但是使用错误或正确的数据集，您会在图像中看到非常不同的情况。的东西”。但是使用错误或正确的数据集，您会在图像中看到非常不同的结果。的东西”。但是使用错误或正确的数据集，您会在图像中看到非常不同的结果。的东西”。

另一个是算法本身。“这未必能完全避免，是由深度学习算法本身的缺陷决定的，天生就是对立的。” 王金桥表示，目前最流行的神经网络不同于人脑的生物计算。该模型是由数据驱动的，人类的感知是不一致的。基于深度学习的框架必须通过当前的训练数据来拟合目标函数。在这个框架下，如果机器想要识别狗，它会在视觉上识别狗的眼睛、鼻子、耳朵等局部特征机器学习防止过拟合，而这些视觉特征可以给想要利用深度学习漏洞的人。后者可以通过伪造数据来欺骗机器。

除了人类训练机器所依据的数据存在固有偏差外，机器通过对抗性神经网络合成的数据也可能存在问题。由于机器不可能“看到”一切（例如识别表格，机器不可能学习所有不同长度和宽度的表格），人类也不可能标记所有数据。如果研究人员输入随机噪声，机器可以向任何方向学习。这是一把双刃剑。机器也可能会合成一些有问题的数据。经过长时间的学习，机器会“跑偏”。

数据的平衡可能会减少“偏差”

许多科学家将“数据与人工智能之间的关系”描述为“垃圾进，垃圾出”。中科视拓（北京）科技有限公司CEO刘鑫表示：“对于机器学习来说，进去的东西就出来了。监督学习就是让模型贴合标签。比如训练师把所有帅哥都标记为’渣男’。那机器看到刘德华，就会认为他是……”谈及诺曼引发的讨论，刘欣说：“别担心，人类本身就有各种歧视和偏见，用人类产生的数据来训练人工智能，然后用人类产生的数据来训练人工智能。批评人工智能不正直和善良有点危言耸听。”

偏见、刻板印象和歧视都是人类社会的慢性病。有些是肤浅的，而另一些则深深植根于社会结构中，无法轻易消除。在这种情况下生成的数据带有大量复杂、难以定义和混乱的视图。如果研究人员不了解或不解决这个问题，机器学习中的偏见几乎是无法解决的。可能不存在真正的“公平算法”。

据相关媒体报道，在谷歌研究自然语言处理的科学家 Daphne Luong 表示，正确校准标签对于机器学习非常关键。有些数据集实际上是不平衡的，比如维基百科上的数据，“他”（He）出现的次数远远超过“她”（She）。

王金桥还强调了“数据的平衡”。即使不同的人持有不同的价值观，听、看和接受教育可以使人们朝着好的方向进步。机器学习也是如此。“在训练机器的时候，要注意数据的平衡，给它更可靠的数据。研究团队的成员学术背景不同（比如吸引了更多的社会学、心理学等领域的学者），性别、年龄、价值观，并且可以帮助机器学习更加平衡，减少机器偏见、谬误甚至失控的可能性。” 王金桥说道。

“机器学习模型本身也必须具备一定的抗攻击能力。从技术上讲，它可以防止自身结构设计的漏洞受到攻击。研究人员可以利用各种数据对机器进行攻击，训练机器的抗攻击能力。” 王金桥说道。

作恶或作善是人类的选择

1942年，阿西莫夫在他的短篇小说《环舞》中首次提出了著名的机器人三定律：机器人不得伤害人类，或因不作为而使人类受到伤害；机器人必须服从人类的命令，除非它们违反第一定律；机器人必须保护自己，除非它们违反第一定律和第二定律。半个世纪以来，人工智能在大数据的加持下迎来了爆发式的发展。一些特殊用途的人工智能已经把人类智能抛在了脑后，人们开始担心机器能伤害人的那一天已经不远了。

所以有一种流行的观点认为，人类训练有意识的、有自我意识的人工智能是不明智的。开个脑洞，一旦机器产生了自我意识，如果它想反方向攻击人类，场面可能会失控。

前段时间，据路透社报道，韩国科学技术研究院人工智能研发中心正在开发适用于作战指挥、目标跟踪和无人水下运输的人工智能技术。导弹、潜艇和四轴飞行器。这一事件在学术界引起了巨大的震动，抗议声此起彼伏，最后以院长保证自己无意研发“杀手机器人”并重申人类尊严和伦理道德而告终。在美国，以“不作恶”为宗旨的谷歌，也因为与国防部的合作协议涉及“Project Maven”而被推上风口浪尖。反对者普遍认为，识别结果可能用于军事目的，例如精确打击。. 谷歌最终表示将终止协议。

与令人担忧的舆论环境相比，研究人员普遍看好“技术向善”。他们认为，将人工智能与“杀戮机器”联系起来，接近于“杀戮”，夸大了人工智能的能力，同时也在不知真相的情况下引起公众恐慌，不利于人工智能的发展环境。

“很多人一提到AI总是很惊讶机器学习防止过拟合，说AI是超人。我相信AI可以解决问题，但大家的期望应该在一个合理的范围之内。人和机器各有优势，技术会发挥作用。在一个具体的场景，但没有必要将 AI 推向天空。” 在接受科技日报记者采访时，Spiech北京研究院院长褚敏博士忍不住“吐槽”。“我们需要什么样的AI”这个问题似乎还没有答案。