WAIC得主DavidPatterson：用体系结构创新加速AI发展(组图)

在摩尔定律减速之际，如何开发速度更快的计算机来满足人工智能发展的需求？近年来深度学习基础研究进展如何？下一代 Kaldi 会是什么样子，什么时候原型？在 2020 WAIC 开发者日上，图灵奖获得者 David Patterson 和 Joseph Sifakis、悉尼大学教授陶大成、Kaldi 之父 Daniel Povey 等嘉宾一一回答了这些问题。

近日，WAIC世界人工智能大会云峰会在上海落下帷幕。在机器之心主办的2020 WAIC·开发者日上，图灵奖获得者David Patterson和Joseph Sifakis，明略科技首席科学家吴新东，悉尼大学陶大成教授，中国建设银行总行金融科技部总工程师胡宪忠，百度集团副总裁吴天、Kaldi的父亲Daniel Povey、多伦多大学助理教授David Duvenaud、Julia语言创始人Viral Shah做了精彩的演讲。

图灵奖得主大卫帕特森：通过架构创新加速人工智能发展

人工智能的发展需要海量数据和更快的机器。但是随着摩尔定律的放缓，你如何建造更快的机器？

2017 年图灵奖获得者、加州大学伯克利分校教授、计算机架构大师大卫帕特森给出了答案：为 AI 和深度学习定制硬件，为云和边缘创新计算机架构。

云芯片

David Patterson在演讲中介绍了谷歌为云开发的TPU系列芯片以及当前v3版本的优异性能。

那么用这些芯片构建的超级计算机性能如何呢？与传统超算相比，TPU v3的性能/瓦特是TOP500超算第四名“天河”的50倍，是Green500超算第一名SaturnV的10倍（注：David Patterson这里参考的是2019年的TOP500、Green500数据）。

边缘计算架构创新

大卫帕特森以阿里巴巴适用于边缘计算设备的平头哥玄铁910芯片和初创公司OURS开发的Pygmy芯片为例，介绍了RISC-V架构在边缘计算芯片中的作用。

RISC-V 是一种基于精简指令集 (RISC) 原则的开源指令集架构 (ISA)。RISC-V指令集对任何目的都是开放的，允许任何人设计、制造和销售RISC-V芯片和软件，适用于现代计算设备。RISC-V的开源特性便于相关研究人员在指令集上进行创新，实现开放芯片。

此外，Patterson 还介绍了 RISC-V 社区的发展情况，包括 2019 年伯克利和清华联合建设的 RIOS 实验室。

Patterson 说：RIOS 在西班牙语中意为“河流”。河流从不同的土地收集水，并利用水流的力量改变它们流过的景观。RIOS Labs 将吸引人才并发展强大的力量来改善信息技术领域。

图灵奖得主 Joseph Sifakis：自治系统是迈向通用 AI 的第一步

随着物联网（IoT）的发展，人们可以通过网络基础设施远程感知或控制物体，将物理世界更直接地集成到计算机系统中，从而提高效率和可预测性。在这种新形势下，物联网的发展面临着人类和工业互联网的挑战，其中的关键是自动化。但是人们真的可以信任自治系统吗？

在 WAIC 开发者日主论坛上，Verimag Labs 创始人、2007 年图灵奖获得者 Joseph Sifakis 教授发表了题为“自治系统能否被信任？边界和风险是什么？”的主题演讲。

Sifakis首先解释了新一代自治系统的概念和主要特点。他说，新一代自治系统通过逐步用代理代替人工操作员来解决组织自动化需求，并具有三个特点：可行性、与人类共生自治和压倒性的复杂性。

“我们现在正处于一个转折点，我们必须转向复杂的分散式自治系统，而不是将传统系统工程与支持人工智能的系统相提并论，而是将两者结合起来，”Sifakis 说。

自治的概念

Sifakis 以恒温器、自动轻轨列车、无人驾驶汽车以及国际象棋和足球机器人为例，详细阐述了自治的概念。“每个自治系统都由许多代理组成，这些代理在环境中充当控制器并追求个人目标，因此群体行为满足系统的全局目标，”他说。

自治系统的信任问题

这部分涉及自治领域的前沿概念和知识的真实性。

Sifakis 首先解释了系统可信度和任务关键性之间的关系，称在判断是否信任自治系统时，应该看到一个过渡，即给定任务由人类执行，而其他任务由机器执行。关键是人和机器如何分担责任和沟通。

下图显示了 Sifakis 列出的自治级别：

Sifakis 然后谈到知识的真实性。他指出，每个人都明白什么是知识，大脑结合了快速和慢速思维系统来产生知识。还提出了以下类比：神经网络生成的知识类似于快速思维，而传统的计算机生成的知识类似于慢速思维，是通过有意识和努力的思维生成的。

那么知识是如何分类的呢？Sifakis将知识分为事实和推论、隐性经验知识、科学技术知识、非经验知识（如数学和计算机知识）和元知识（知识的知识）。然而，随着机器学习和数据分析的引入，知识的分类也发生了相应的变化。具体分类如下图所示：

回顾近年来对自动驾驶汽车的过分热情，Sifakis 认为，未来使用自动驾驶系统的风险评估也将至关重要。

最后，Sifakis 表示，自主系统是迈向通用人工智能的第一步，它们的作用还取决于人类对它们的信任程度。

明略科技吴新东：如何自动构建知识图谱？

从谷歌搜索，到聊天机器人、大数据风控、证券投资，这些应用都与知识图谱息息相关。知识图谱在技术领域的流行度也在上升。在今年的WAIC开发者日上，明略科技首席科学家、明略科学院院长吴新东分享了“自动构建知识图谱”的主题演讲。

吴新东首先介绍了知识图谱与数据图谱的关系，表示现有的知识图谱99%其实都是“缺知识”的数据图谱，并简要概述了知识图谱的定义和发展。

四种知识图谱构建方法

如何构建知识图谱？吴新东介绍了四种方法：逻辑建模、潜在空间分析、人机交互和本体模型支持。

关于逻辑建模方法，他主要讲了两个概念，即逻辑+概率作为可能世界的概率度量，以及基于逻辑变量或逻辑规则模板的推理模型。

潜在空间分析主要涵盖距离、潜在变量、张量神经、矩阵分解和平移五个模型。

关于人机交互方式，吴新东简要介绍了代表作SIKT、面向对象交互知识构建系统IAKO和HAO智能，它们率先采用这种方式构建知识图谱。

在本体模型支持方法中，吴新东介绍了手动、半自动和自动三种本体构建方式。自动构建又分为基于语言规则的方法和基于统计分析的机器学习方法。

Graph自动构建元素+应用场景

那么，如何自动构建知识图谱呢？吴新东首先提供了整体设计框架，分为自动数据采集、自动三元提取、自动纠错和自学习三个步骤。还涉及到“领域知识库”和“强化学习+人机交互”两大构建要素。

对于知识图谱的应用场景，吴新东介绍了三种：网络行为动态分析、智能问答和智能推荐。

HAO映射系统

演讲的最后，吴新东展示了明鲁科学院研发的HAO图谱系统以及从数据图谱到HAO图谱的演进过程。

在应用实例中，吴新东具体分析了HAO地图在舆情分析、个性化广告文案生成、导购赋能等方面的应用。此外，他还阐述了图构建中用到的三个关键技术：句子级信息提取、章节级事件提取和静态/动态图结构表示。

吴新东表示，图构建面临三大挑战：信息丢失、信息冗余、信息更新迭代。他认为必须克服这些问题，才能完成出色的图构建工作。

悉尼大学教授陶大成：深度学习基础理论探索

为什么过度参数化的深度学习模型不会出现过度拟合？更深层次的神经网络总是有更好的性能吗？神经网络的损失面是什么样的？非线性神经网络的损失平面与线性神经网络的损失平面有何不同？

在本次开发者日的主论坛上，悉尼大学教授、优必选AI首席科学家陶大成向我们介绍了他们在深度学习这些基础研究问题上取得的进展。

2012 年，AlexNet 的成功引发了当前的深度学习研究浪潮。此后，尽管有许多实证结果表明网络越深效果越好，但采用深度模型的理论原因仍然模糊不清。

为了填补这一空白，2018年，陶大成等研究人员对这些问题进行了探索。使用强大的数据处理不等式信息理论，他们表明，随着更多层的信息丢失（例如卷积池化层），预期的泛化误差会以指数方式下降到零。此外，更深的网络更好的经验观察是基于小​​的训练误差。

具体来说，他们使用马尔可夫模型来描述深度网络，并且输入和输出的互信息在通过网络层时不会增加。这表明深度网络中的层次结构对于过滤掉对分类无用的冗余信息至关重要。网络中每一层的特征图很可能是不可逆的，由于数据处理不均而导致信息丢失。它的泛化误差可能受到输入训练数据和输出假设之间的互信息的限制，这表明输入数据和输出假设之间的互信息更适合衡量模型复杂度。

所以那些传统的曲线是有效的。此外，它有助于更​​好地理解为什么数据增强有助于提高学习性能。

除了神经网络“深度”的问题，陶大成等研究人员还探索了2020年深度学习中的损失平面问题。

2018 年，Soudry 和 Hoffer 表明，具有任意深度的分段线性函数（不包括线性函数）的神经网络的损失平面可以划分为多个平滑和多线性开单元。尽管它的边界不可微，但 n 层神经网络的单元数约为 2^n。

基于相同的条件，陶大成等。表明这样的神经网络具有无限数量的伪局部最小值。因此，即使训练数据和网络相同，人们也不一定能够重现他人获得的结果。具有两个分段线性激活函数的单个隐藏层网络可以有效地用于具有凸损失的回归任务。

他们进一步表明：1）在每个单元格中，所有的局部最小值都是等价的；2）如果损失函数是严格凸的，那么它们都是一个单元格中的局部最小值神经网络c语言实现下，并且将被连接进入一个局部极小谷并形成一个等价类，这意味着它们通过一条连续的路径相互连接并且具有相同的经验风险。

最后，对于严格凸损失函数，在与局部最小值相邻的等价类中可能存在一些平行的局部最小值，并且局部最小值的所有等价类形成商空间。

这些结果有助于控制损失平面的几何形状。我们可以使用它们来改进我们的优化算法，从而以更少的计算产生更强大的解决方案。此外，这项研究为为什么高度参数化的神经网络可以很好地推广到许多任务提供了不同的视角。这种概括的发展超出了大多数当前基于假设复杂性及其变体的理论框架的预期。

尽管目前深度学习还存在很多问题，但陶大成表示，他对深度学习仍然抱有很高的期望，包括但不限于鲁棒性、低成本、可解释性、对动态环境的适应性、伦理和用户友好。

为此，陶大成认为，将人类知识与深度学习相结合至关重要。

建设银行总行金融科技部总工程师胡先忠：AIaas设计与应用

在AI时代，企业如何利用AI的力量，从自身数据和业务中挖掘亮点，开发AI和机器学习解决方案？人工智能即服务（AIaas）应运而生。

建设银行总行金融科技部总工程师胡宪忠表示，只有将人工智能视角下的企业级架构六层设计融入到原有的企业架构中，才能将建行的人工智能——as -a-service (AIaaS) 目标得以实现。而人工智能是企业级架构的重要组成部分。

基于平台即服务（PaaS）三个AI框架的工程方法，支持机器学习和深度学习，通过服务组合和复用，快速发布AI应用。

人工智能即服务 (AIaaS) 架构

接着，胡先忠介绍了AIaaS架构。其中，AI功能组件分为6大类，分别是图像识别、智能安防、自然语言处理、视频识别、语音识别和知识图谱。这些AI功能组件旨在增强企业的智能能力，为应用组件和应用调用提供服务目录。

相关组件及其服务实例列表如下：

申请状态

谈及人工智能应用场景，胡先忠表示，业务领域场景涉及建行商业模式的6条完整价值链，贯穿产品管理、营销支持、产品运营、业务支持、风险管理、报告决策等。 .

随着建行业务创新和风控力度的加强，人工智能支持的业务场景不断发布。

演讲最后，胡先忠总结了建行人工智能应用的成效，表示这符合Gartner的研究，可以促进收入增长，降低运营成本，改善客户体验。

他强调，人工智能将成为未来改变企业与客户关系的重要技术。但技术的目标是提高员工的幸福感，而不是取代他们的工作。

百度集团副总裁吴田：AI规模化生产平台的实践与创新

对于每一个做AI的企业来说，技术落地都是一个绕不开的话题。今年的开发者日，百度集团副总裁、深度学习技术与应用国家工程实验室副主任吴田带来了百度在AI平台与行业结合过程中的最新实践进展、思考和创新解决方案.

疫情期间，百度在疫情防控、复工复产等方面提供了全方位的技术支持，包括短期在线疫情问答机器人、口罩人脸检测系统、AI多人测温系统、肺炎筛查和疾病诊断估计AI系统等。

这些技术应用都建立在百度AI规模化生产平台之上。该平台实现了人工智能技术的标准化、自动化和模块化，让开发者和企业无需从零开始学习高难度/快速迭代的前沿技术，避免重复造轮子。

这个平台的基础是百度的飞桨深度学习平台。飞桨为AI应用生产提供核心框架、工具组件、服务平台等全方位支持。为满足企业需求而开发的飞桨企业版，可以提供更全面、更强大的功能，更易用的可视化界面，更丰富的场景模型预测，以及更增强的安全权限管理。

吴天还以垃圾分类为例，介绍了飞桨在具体场景下的工作机制。

过去一年屡屡破纪录的持续学习与理解框架ERNIE，也出现在了本次开发者日。

推出ERNIE模型后，百度迅速探索出“预训练+微调”的新开发范式，解决了NLP行业应用中场景分散的诸多问题。

此外，百度推出了基于ERNIE模型的完整开发平台。

为了给开发者提供高效易用的预训练+迁移学习机制，Paddle 持续开展了大量工作。与 2019 年 11 月相比，飞桨预训练模型库数量增加 137%，模型下载数量增加 17%，Fine-Tune 任务数量增加 124%。

吴天表示，百度还基于PaddlePaddle Developers平台推出了PPDE（PaddlePaddle Developers Experts）计划，为不同层次的人才提供不同的权益，包括技术专家认证、黄浦绿色通道、全球顶级会议交流机会.

Kaldi之父Daniel Povey：在中国，打造新一代Kaldi

如何使语音识别工具保持最新？Kaldi之父、小米集团首席语音科学家Daniel Povey开始了他的探索之旅。离开约翰霍普金斯大学后，丹尼尔·波维选择来到中国，他说他想在中国创造新一代的“Kaldi”。

在 WAIC 开发者日上，Daniel 介绍了开发新一代 Kaldi 的思路、时间线和进展。

演讲围绕着“Splitable Finite State Receiver (FSA)”展开，Daniel 希望构建基于 PyTorch 甚至 TensorFlow 的语义识别模型。

他提到，当人们构建语音识别系统时，此类系统通常是两种不同事物的混合体，一种像 PyTorch 和 TensorFlow，一种像 OpenFst。而两者之间的联系并不容易。

Daniel 的想法是用几行代码，PyTorch 或扩展来实现一个 CTC 或类似的算法，结合词汇知识来理解单词的发音。

那么下一代 Kaldi 项目是什么样的呢？丹尼尔在演讲中透露了一些细节。

K2 是下一代 Kaldi 处理序列和有限状态接收器 (FSA) 的核心组件。Daniel详细介绍了K2的结构、数据类型等细节。

如上所示，K2 是一个与 PyTorch 兼容的 Python 库，它有两个后端，一个 C++ 和一个用于 GPU 的 CUDA 后端。PyTorch 可以高效处理矩形张量，但不适合处理不规则数组，而 K2 项目旨在使用多种工具处理不同类型的数据，提高速度和灵活性。

此外，Daniel 表示下一代 Kaldi 将使用全新的模型，并描述了一个可能的过程：

Daniel 表示，他希望将 FSA 的处理序列和 K2 组件与其他工具结合起来，制作语音识别工具包，并基于 PyTorch 甚至 TensorFlow 构建语音识别工具。

多伦多大学助理教授 David Duvenaud：使用 ODE 模型解决连续时间问题

离散时间和连续时间之间存在巨大差异。大多数深度学习时间序列模型，例如循环神经网络，都需要定期记录数据，例如每小时记录一次。然而，许多真实世界的数据，例如医疗记录、客户互动或金融交易，都是以不规则的时间间隔记录的。

那么，如何处理连续时间动态呢？

多伦多大学助理教授、向量研究所的创始人之一大卫杜维诺介绍了使用微分方程模型处理连续时间动力学的最新进展。

微分方程的基本思想是将系统建模为具有一定状态z，而对这个系统建模的方法是构造一些函数f，其中f表示系统的状态及其随时间的变化率当前状态。

一旦我们有了某个时间的状态，并且我们有了 f，我们就可以通过包括状态如何随时间变化来预测未来时间会发生什么。此操作称为求解初始值问题，即使 f 很​​复杂，也可以使用数值求解器有效地完成。

过去几年该领域的一个重大进步是使用神经网络来拟合 f，我们甚至可以完全从数据中学习 f，以预测未来任何时候会发生什么。

David Duvenaud 介绍了 ODE-RNN，以及另一种更复杂的处理时间序列数据的方法 – 潜变量模型。

我们可以将潜变量模型扩展到连续时间吗？

David Duvenaud 介绍了一种最简单的潜在变量模型，即潜在 ODE 模型。

下图显示了潜在 ODE 模型如何拟合一个简单的正弦动态数据集：

隐藏的ODE模型代码地址：

潜在 ODE 模型在许多情况下都能很好地工作，但它的动态是确定性的。

那么，如何为隐藏的 ODE 模型添加随机性呢？

答案是将它们扩展到随机微分方程 (SDE)。

最后，David Duvenaud 说，在过去两年中，他共同开发了用于自动拟合潜在 ODE 模型、SDE 模型到连续时间数据的工具神经网络c语言实现下，但仍处于概念验证阶段。

Julia 创始人 Viral B. Shah：Julia，一种人工智能语言

作为机器学习社区的开发者，我们最熟悉的语言大概就是 Python。但是在过去的两年里，出现了一种新的语言，那就是 Julia。Julia 是一种灵活的动态语言，适用于科学和数值计算，性能可与传统静态语言相媲美。

在今年的 WAIC 开发者日上，Julia 联合创始人 Viral B. Shah 向我们简要介绍了过去一年该语言在人工智能及其他领域取得的所有进展。

很多人可能会问：我Python用的很好，为什么要考虑Julia？对此，Shah 表示，“Python 是一种解释型语言，虽然它拥有令人惊叹的生态系统，但在性能方面仍有许多不足之处。”

Debian 项目的一项基准测试表明，Julia 的速度可以比 Python 快 30 倍。尤其是面对大量数据时，Julia 可以使用多线程来实现快速数据加载。随着社区的不断壮大，Julia的生态也在不断丰富，目前已经有3000多个开源包。

在过去的一年里，Julia 社区贡献了很多模型。对于 CV，他们贡献了用于图像识别和对象检测的模型；对于 NLP，他们有用于翻译的 Transformer 模型；对于 3D 图形，Julia 的 GeometricFlux 和 Flux3D 包的性能优于 Pytorch 和 TensorFlow 中的同类框架。

目前，全球有超过 10,000 家公司在使用 Julia，其中包括谷歌、空客等国外科技公司，以及阿里巴巴、腾讯等中国科技公司。

Julia服务的行业也非常丰富，包括保险、医药、气候等领域。其中，辉瑞使用 Julia 将其 Matlab 代码加速了 26 倍，并行化后速度提升了 115 倍；美国基因泰克公司打造了一个 Julia 包，处理基因数据的速度比之前的包 R 快 65000 倍。

目前很多世界名校都开设了Julia相关的课程，如斯坦福大学、麻省理工学院等。

Shah还为大家推荐了一些Julia学习资料：

这些是主单元主旨演讲的亮点。WAIC开发者日还包括峰会对话、四个分论坛、百度公开课、开源开放Demoday、Hackathon、WAIC云帆奖等精彩环节。

经过一天高强度的知识洗礼，相信大家都会回味无穷。请继续关注机器之心。WAIC开发者日更多精彩内容将陆续发布。