机器智能超越人类并不受人类控制时，我们将会遇到什么危险？

当机器智能超越人类…

■尹传红

春节前后，三万多字的翻译在网络和微信上流传。文章的标题是“为什么有很多名人让人们对人工智能保持警惕？” ”。文章开头有一段话：“人工智能很可能导致人类不朽或灭绝，而这一切很可能在我们有生之年发生。上面这句话并非危言耸听，发表意见前请耐心阅读本文。”

文章称，斯蒂芬·霍金、比尔·盖茨等名人曾发出警告：如果智能机器缺乏监督，人类将迎来黑暗的未来。特斯拉汽车公司首席执行官埃隆马斯克表示：“人工智能可能是我们面临的最大灭绝风险，创造人工智能就像召唤恶魔一样。他预计最早五年内会发生“一些极其危险的事情”。

无机生命（机器）会像有机体一样发展出生存和竞争的意志吗？当机器智能有一天超出了人类的控制范围时，我们将面临什么危险？类似的话题或场景，我们在科幻和科幻电影中经常会遇到。近年来，涉及的书籍也越来越多。

较早且影响较大的是《机器的旅程——为什么机器人将统治世界》一书（[英文] Kevin Warwick，内蒙古人民出版社，1998），作者是大学英国教授雷丁，控制论和机器人专家。这本书着重描述了未来机器比人类更聪明的时代，并展示了第一批可以学习、相互交流和设计自己程序的机器人。作者表达了对未来的感慨。技术变革快，恐怕事物发展的结果不会是我们想看到的，甚至不是我们想控制的。他断言：“2050年，我们人类是由机器驱动的，必须做机器要求我们做的事情。做…”

后来出版的《Brain Makers: Creating Intelligence Comparable the Human Brain》（[美国]大卫弗里德曼，三联出版社，2001））一书并不悲观。全书梳理了人类不断认识自身智能的历史和人工智能概念的起源，展示了人类在创造人工智能方面取得的一些里程碑式的成就。其中包括：将“大脑”附加到机器上；不规则的思维活动；创造一种新的计算机芯片，起到脑细胞的作用……

机器智能超越人类的噩梦，随着《灵魂机器时代：当计算机超越人类智能》一书的出版（[美国] Ray Kurzweil，上海翻译出版社，2002）），再次萦绕在心头这本书出版于1999年灵魂机器的时代：当计算机超过人类智能时，作者是美国著名的发明家和思想家，在书中他做了一个惊人的预言：到21世纪初，地球上将出现一个可以与人类媲美的物种一种与智能竞争的新型智能，最终将远超人类智能。

Kurzweil 还设想，在未来，人形特工也可以拥有意识和情感等特征。

知识共享 更有能力的智能的结合。这种融合是奇点的本质。

库兹韦尔的预言和观点在广为流传的同时，也引起了极大的争议，甚至是强烈的质疑。但库兹韦尔坚信他的断言是正确的，“深刻的变化”一定会发生。而他构想的技术进化论，即“加速回归理论”，可以解释为什么技术和进化会在宇宙整体演化中以指数级的速度向前发展。它还贯穿了他在过去 30 年中逐渐认识到的“一个重要的基本思想”：改变世界的思想的力量本身正在加速。也就是说，不只是技术在飞速发展，“发展”本身也在不断进步。

人工智能机器的潜在智能是真实而巨大的——它将是人类的一万亿倍。科学迟早会产生一种功能与人类一样的人工生命形式。人工智能（或物种统治）问题将主导新世纪的全球政治。如果是这样，那将是人类历史上最大的灾难，因为没有更多的历史，没有更多的人类。这是《智能简史——谁将取代人类成为主导物种》（[US] Hugo de Garis，清华大学出版社，2007），Does the书的结尾是这样一句话：“我们是在制造上帝，还是在制造我们潜在的敌人？”

德加利斯坦说他的工作几乎是精神分裂症，并且有很多内疚，“因为我认为我的工作是问题的一部分。” 凯文·沃里克 (Kevin Warwick) 为《情报简史》(A Brief History of Intelligence) 所写 书中所写建议的前言是：“如果德加雷斯关于‘物种主导的问题将在本世纪主导全球政治’的说法是事实证明是正确的。本世纪的主要思想家之一。

自 1940 年代计算机发明以来，机器一直被寄予厚望灵魂机器的时代：当计算机超过人类智能时，而人工智能的先驱们大多不认为他们的职业生涯可能会面临风险。英国数学家欧文·约翰·古德可能是第一个阐明人工智能未来的人。早在 1965 年，他就指出：

“我们将超级智能机器定义为具有超越所有智能人类的智能活动的机器。一旦将机器设计为智能活动，那么超级智能机器就可以设计出更好的机器。毫无疑问，会有类似’在在这种情况下，人类的智能将远远落后。因此，第一台超级智能机器将是人类制造的最后一台机器。”

当前人工智能的重大风险与前述的“智能爆炸”有关，因此我们必须以最严肃的态度来审视它——《超级智能：路线图、危险和应对策略》（[英文] Nick Bos Trom，中信出版社， 2015）在一本书中说。这本书解释了可能的超级智能带来的挑战以及我们应该如何更好地应对它们。作者认为，这很可能是人类曾经面临过的最重要和最可怕的挑战；而且，无论我们成功与否，这可能是我们将面临的最后一个挑战。

或许更重要的是，我们已经无法用过去的眼光来理解必然会超越它的东西。

《科学中国学报》（2015-04-03第10版已读）