16个要点能在让你在人工智能圈子里装逼一年不落伍!

CNET科技旅人新京报1月5日电(编译/黄当当):激动人心的2017年结束了,博客WildML的作者,在Google Brain常驻一年的Denny Britz分享了他对这一年的感想. 对人工智能和深度学习领域关键事件的回顾和整理。可以说,这16点能让你在人工智能圈假装落伍一年!

– 强化学习在游戏中完全压制人类玩家 –

2017 年的第一件大事无疑是 AlphaGo。这种强化学习方案击败了世界上最好的围棋选手。由于其巨大的搜索空间,围棋一直是机器学习技术需要攻克的重要挑战,而AlphaGo的出现带来了巨大的惊喜!

最初版本的 AlphaGo 以人类专家的训练数据为指导,并通过自推导和蒙特卡洛树搜索进一步改进。不久之后,AlphaGo Zero 更进一步,学习如何在没有任何人类训练数据的情况下从头开始下围棋。此外,它轻松击败了 AlphaGo 的初始版本。

2017年底,我们再次迎来了AlphaGo Zero的新算法AlphaZero,它不仅在围棋领域无人能敌,而且迅速称霸国际象棋和将棋。有趣的是,即使是最有经验的职业棋手也很欣赏这些程序,并开始向 AlphaGo 学习以调整自己的打法。为了简化这个学习过程,DeepMind 团队还发布了专门的 AlphaGo Teach 工具。

但围棋绝不是我们在机器学习方面取得显著成就的唯一领域。由卡内基梅隆大学研究人员开发的 Libratus 系统在为期 20 天的德州扑克锦标赛中成功击败了顶级玩家。在此之前,由查尔斯大学、捷克技术大学和阿尔伯塔大学的研究人员开发的 DeepStack 系统是第一个在德州扑克中胜过人类玩家的系统。重要的是要注意这两个系统都只能玩单人扑克,即一对一 – 比多人扑克更简单的情况。不过相信多方扑克支持能力会在2018年逐步实现。

强化学习的下一个发展领域似乎是更复杂的多人游戏——当然包括多人扑克。DeepMind团队目前正在积极研究《星际争霸2》,并发布了研究环境;OpenAI在一对一的《Dota 2》游戏中取得了初步的成功,预计在不久的将来能够真正参加五对五正式比赛的比赛。

– 进化算法又回来了 –

对于监督学习,基于梯度的反向传播已经取得了非常好的效果,而且这种情况很可能会持续一段时间。然而,在强化学习层面,进化策略 (ES) 似乎正在卷土重来。由于数据往往不符合 iid(即独立且均匀分布),因此误差信号会更加稀疏;并且由于需要探索,其他基于非梯度的算法往往效果更好。此外,进化算法将能够线性扩展到数千台设备,从而实现极快的并行技术工人。它不需要昂贵的 GPU 资源,并且可以使用大量(通常是数百甚至数千个)低成本 CPU 进行训练。

2017 年初,OpenAI 的研究人员证明,进化策略可以实现与标准强化学习算法(如 Deep Q-Learning)相媲美的处理性能。到 2017 年底,Uber 的一个团队发表了一篇博文和一组五篇研究论文,旨在进一步展示遗传算法和新奇检索的潜力。使用非常简单的遗传算法,并且没有任何梯度信息,它的算法可以学习如何玩许多不同的 Atari 游戏。它的最终得分达到了 10500,相比之下,DQN、AC3 和 ES 等方法的得分都在 1000 以下。

2018 年,我们很可能会在该领域看到更多的研发。

– WaveNets、CNNs 和注意力机制 –

Google 的 Tacotron 2 文本转语音系统能够生成令人印象深刻的音频样本,它基于 WaveNet,一种也部署在 Google Assistant 中的自回归模型,并且在过去一年中取得了巨大的速度提升。WaveNet 之前也被用于机器翻译,可以显着加快回归架构的训练。

仅从回归架构的角度来看,在训练上投入大量时间似乎是机器学习这个子领域的主流趋势。然而,在 Attention Is All You Need(论文)的帮助下,研究人员已经能够完全摆脱回归和卷积方法,而是使用更复杂的注意力机制在更短的训练时间内获得最佳性能。训练结果。

https://deepmind.com/blog/high-fidelity-speech-synthesis-wavenet/

– 深度学习框架爆发元年 –

如果非要用一句话来总结2017年神经网络预测r程序,我会称之为帧爆元年。Facebook 率先推出了 PyTorch,由于其动态图结构与 Chainer 非常相似,因此受到自然语言处理研究人员的高度支持——主要是因为他们经常需要处理在 TensorFlow 等静态框架中往往难以声明的动态复杂结构。

当然,TensorFlow 在 2017 年也取得了辉煌的成功。TensorFlow 1.0 于 2017 年 2 月发布,具有稳定且向后兼容的 API。TensorFlow 的最新版本目前是 1.4.1。除了主框架之外,TensorFlow 还有多种配套库,包括用于动态计算图的 TensorFlow Fold、用于数据输入管道的 TensorFlow Transform,以及由 DeepMind 开发的高级 Sonnet 库。TensorFlow 团队还宣布了一种新的 Eager Execution 模式,其工作方式类似于 PyTorch 中的动态计算图。

相关信息:

除了 Google 和 Facebook,其他很多公司也加入了这波机器学习框架开发的浪潮中:

面对框架数量的爆炸式增长,Facebook 和微软联合发布了 ONNX 开放格式,用于在不同框架之间共享深度学习模型。例如神经网络预测r程序,您可以在一个框架中训练您的模型,然后在其他框架上将它们投入生产。

除了通用深度学习框架外,我们还看到许多强化学习框架正在开发中,包括:

为了进一步简化深度学习的入门门槛,面向网络的框架解决方案也应运而生——包括谷歌的 deeplearn.js 和 MIL WebDNN 执行框架。

但是作为一个非常流行的框架,Theano 已经走到了生命的尽头。根据 Theano 项目通信邮件列表上的声明,开发人员决定将 1.0 作为项目的最终版本。

– 学习资源 –

随着深度学习和强化学习逐渐普及,2017年,科技行业为我们带来了越来越多的讲座、训练营、会议,这些讲座、训练营、会议都在网上录制发布。以下是我个人最喜欢的一些优秀资源:

还有一些重要的学术会议延续了仅在线发表的传统。如果想及时了解前沿研究成果,可以关注下方顶级会议的相关记录。

研究人员还开始在 ArXiv 上发布易于访问的教程和调查论文。以下是我今年的个人建议:

– 实际应用:人工智能与医学 –

2017 年,我们还看到了一系列关于深度学习技术如何成功解决医学问题的大胆主张,同时压倒了人类专家。仍然有很多炒作,没有医学背景的人很难理解真正的突破。为了全面了解这些趋势,我推荐 Luke Oakden-Rayner 的“人类医生的最后日子”系列博客文章:

接下来,我将简要概述该领域的一些发展。

在今年的一个大新闻中,斯坦福大学的一组研究人员发布了一种深度学习算法的详细信息,该算法可以有效地帮助皮肤科医生诊断皮肤癌。

斯坦福大学的另一个团队开发了一种模型,可以帮助心脏病专家根据单导联心电图信号更好地诊断心律失常症状。

尽管如此,错误在过去一年中仍然存在。DeepMind 在分析 NHS 数据时犯了“不可原谅”的错误,而美国国立卫生研究院向科学界发布的胸部 X 光数据集被证明不适合训练诊断型 AI 模型。

– 应用方向:艺术与GAN –

图片[1]-16个要点能在让你在人工智能圈子里装逼一年不落伍!-老王博客

今年另一个感兴趣的领域是图像、音乐、蓝图和视频的生成建模。NIPS 2017也在今年首次亮相“机器学习创新与设计”工作室:

此类方案中最受欢迎的一种是 Google 的 QuickDraw,它使用神经网络来识别我们涂鸦的内容。使用已发布的数据集,甚至可以教机器完成自己的绘图。

生成对抗网络(简称 GAN)今年也取得了重大进展。以 CycleGAN、DiscoGAN 和 StarGAN 为代表的各种新模型在人脸生成方面取得了令人瞩目的成就。传统上,GAN 一直在努力生成逼真的高分辨率图像,但 pix2pixHD 令人印象深刻的显示现在证明我们已经开始克服这一挑战。GAN 会成为未来艺术家的新画笔吗?

– 应用方向:自动驾驶汽车 –

自动驾驶领域的巨头是 Uber、Lyft、Alphabet 旗下的 Waymo 和特斯拉。由于软件错误,优步的计划在旧金山的一次试点驾驶中多次闯红灯,但它并没有像媒体之前报道的那样涉及人为错误。之后,Uber 分享了其内部使用的汽车可视化平台的详细信息。截至去年 12 月,Uber 的自动驾驶汽车项目已经行驶了 200 万英里。

相关研究:

与此同时,Waymo 的自动驾驶汽车于去年 4 月正式投入使用,在随后的亚利桑那州凤凰城的比赛中击败了一名人类赛车手。Waymo 还公布了其测试和模拟技术的细节。

Lyft 宣布正在开发自己的自动驾驶硬件和软件解决方案。它在波士顿部署的第一个试点项目目前正在进行中。特斯拉的 Autpilot 还没有进行很多更新。此外,苹果也加入了该领域,蒂姆库克证实苹果正在为自动驾驶汽车开发软件,研究人员已经在 ArXiv 上发表了与地图相关的论文。

相关论文:

– 应用方向:酷炫研究项目 –

过去一年见证了很多有趣的项目和演示,这篇短文不可能一一涵盖。但是,这是我过去一年的亮点:

#/

以下是其他研究方向:

– 数据集 –

长期以来,用于监督学习的神经网络因其对数据馈送的迫切需求而闻名。正因为如此,开放数据集的出现也成为了对研究界非常重要的贡献。以下是今年出现的一些关键数据集:

– 深度学习、再现性和炼金术 –

在过去的一年里,一些研究人员对学术论文中结果的可重复性提出了担忧。深度学习模型通常需要大量超参数的参与,必须对其进行优化才能达到预期的效果。但这样的优化工作可能代价高昂,这意味着只有谷歌和 Facebook 等巨头才能负担得起。研究人员有时不发布他们的代码,选择不在论文中包含重要细节,使用略有不同的评估程序,或者通过重复优化同一分组之上的超参数来过度使用数据集。所有这些都使可重复性成为一个大问题。研究人员指出,在强化学习领域,使用不同代码库的相同算法会给出完全不同的结果和高方差:

在“GAN 会产生相同的结果吗?在一项大规模研究中,研究人员发现使用昂贵的超参数搜索调整的 GAN 往往表现更好,并将这些结果用作其优越性的证明。同样,在论文“The State of神经语言模型评估,”研究人员表明,通过适当的规范化和调整,简单的 LSTM 架构可以实现优于其他更新模型的性能。

在多研究 NIPS 讨论中,Ali Rahimi 将最近的深度学习方法与中世纪的炼金术进行了比较,并呼吁进行更严格的实验设计。Yann LeCun 认为这些言论具有侮辱性甚至挑衅性,并在第二天做出了回应。

有关的影片:

– 人工智能:加拿大和中国制造 –

随着美国移民政策收紧,越来越多的企业在海外开设办事处,加拿大是首选目的地。Google 在多伦多开设了新办事处,DeepMind 在加拿大埃德蒙顿开设了新办事处,Facebook AI Research 扩展到蒙特利尔。

中国是另一个受欢迎的目的地。凭借庞大的资本、庞大的人才库和现成的政府数据,中国正与美国在人工智能开发和生产部署上展开直接竞争。谷歌还宣布即将在北京开设一个新实验室。

硬件大战:英伟达、英特尔、谷歌和特斯拉

现代深度学习技术的一个标志是它们需要昂贵的 GPU 资源来训练最先进的模型。到目前为止,英伟达一直是这个领域的大赢家。今年,该公司发布了最新的 TITAN V 旗舰 GPU。然而,竞争仍在继续升级。谷歌的 TPU 已经通过其云平台交付,英特尔的 Nervana 推出了一款新芯片,甚至特斯拉公司也表示正在开发自己的人工智能硬件。当然,中国也可以带来更多竞争——专门从事比特币挖矿的硬件制造商也在寻求进入以人工智能为中心的 GPU 业务。

– 炒作与失败 –

目前的炒作还是很夸张的。主流媒体报道与研究实验室或生产系统的实际结果几乎没有关系。IBM Watson 在过度营销方面具有传奇色彩——它根本无法提供不辜负其声誉的能力。2017 年,每个人都对 IBM Watson 感到失望——鉴于其在医疗保健领域屡屡失败,这并不奇怪。

另一个大肆炒作的故事是,当“研究人员关闭了一组发明了自己语言的 AI”时,好奇的朋友可以自行搜索相关内容。总而言之,这完全是头条新闻,而现实情况是研究人员关闭了一项测试,因为它做得不好。

当然,这一切都不能怪新闻媒体。研究人员本身也存在过度描述的问题,包括在一些论文中做出与实际实验结果不符的陈述。

– 加入和离开 –

Coursera 联合创始人 Andrew Ng 于 2017 年 3 月离开百度,创办了自己的人工智能公司,之后他筹集了 1. 5 亿美元并成立了一家专注于制造的新初创公司landing.ai。此外,Gary Marcus 辞去 Uber 人工智能实验室主任的职务,Facebook 接任 Siri 的自然语言理解负责人,其他几位杰出的研究人员离开 OpenAI 创办了自己的机器人公司。

学术界的科学家们也在“出海”,各大高校实验室纷纷抱怨在薪酬方面无法与行业巨头抗衡。

– 创业投资和收购 –

与前一年一样,217 AI 创业生态依然蓬勃发展,完成了几项关键收购:

还有几家新公司刚刚筹集了大量资金:

最后,祝大家新年快乐!感谢您的耐心阅读:)

© 版权声明
THE END
喜欢就支持一下吧
点赞0
分享
评论 抢沙发

请登录后发表评论