1990年最优等本科论文首次曝光，你在干嘛？

奥飞寺的夏一礼根

由量子比特生产 |公众号QbitAI

你 22 岁在做什么？

这两天，传奇人物、现任谷歌AI负责人杰夫·迪恩再次受到追捧，引发热议。都是因为他本科论文的第一次曝光。

这篇论文只有 8 页。

它在 1990 年成为最好的本科论文，并由明尼苏达大学图书馆保存至今。

同时，这篇论文表明，正好在 28 年前，Jeff Dean 已经在使用 C 语言编写神经网络的并行计算代码。

崇拜杰夫·迪恩教诲的人群又沸腾了。

旧论文，新热点

一位大概很年轻的网友看完这篇文章后在 HackerNews 上感慨：难以置信，Jeff Dean 在 1990 年就对神经网络产生了兴趣。

一句话，引来不少科普和回忆。综上所述，当时神经网络刚刚流行。

有人感慨地说：“神经网络在当时是一件大事，在 1980 年代后期非常流行，那是一段美好的时光。”

1990 年，就在第二个 AI 寒冬之前，神经网络、Prolog、LISP 语言和模糊逻辑都流行起来。 ANN没有被SVM等超越，日本在人工智能领域还远远落后于美国。潜力。

神经网络之父、后来成为 Jeff Dean 的同事（实习生 ^_^）的 Geoffrey Hinton 也发表了很多重要的研究，并出现了反向传播。

Jeff Dean 在这篇论文中提到的两种并行训练方法都是基于反向传播的。

网友@silverlake说：“我和Dean差不多大，我本科的项目是用遗传算法改进神经网络。当时人工智能很流行，但很快冬天就来了。”

1990 年代初期是神经网络和机器学习的一个非常有趣的时期。当时出现了物体识别、手写识别等，一切进展很快，但很快资金就撤了，项目都陷入了困境。

“幸运的是，随着 GPU 和深度反向传播的出现，神经网络在数据量开始爆炸式增长后卷土重来。”网友@dekhn 说。对于在第二个AI寒冬中坚持下来的人来说，显然已经得到了应有的回报。

很多人除了追忆往事，得出的结论是永远不会忘记初心。

例如，在 Jeff Dean 的本科论文中研究的问题据说仍然是当今 TensorFlow 中的大问题之一。

“非常有趣和创新的早期工作，我认为这也解释了为什么 TensorFlow 不支持层内模型并行性。早期的经验对我们的影响之大令人惊讶。”网友@scottlegrand2 评论。

确实如此。事实上，本科毕业后，Jeff Dean 并没有继续向 AI 方向研究。随后，他的兴趣转向为高级面向对象语言编写编译器，并获得了博士学位。

“但是，神经网络很有趣的感觉从未真正消失过”，所以后来 Jeff Dean 在 Google 内部领导了神经网络和人工智能的研究，并与 Andrew Ng 和 Greg Corrado 共同创立了 Google Brain 项目，并充当领导者。

有人评论说，Jeff Dean 是一位计算机科学家，擅长编译器优化，而 TensorFlow 本质上是尝试将神经网络加速到与编译器优化相关的问题。

当然，很多人都注意到，这篇优秀的论文只有8页。

“与往常一样，Jeff Dean 从不让人失望。年轻时解决了一个负责任的问题，取得了很好的成果，并且清晰简洁地描述了解决方案。”网友@halflings评论道：“我的论文有60页长神经网络c语言实现下，但价值不到这个的千分之一。”

对于一个学术机构来说，能写出如此简洁的论文，是值得称道的。有人回忆了自己读研究生的经历：几乎每个修改我论文的人都想加一堆废话。如果你试图用一句话来描述它，你会被拒绝。他的导师允许甚至鼓励他如此高效和简洁地进行交流，这对他来说真是太好了。

于是，大家开始怀疑他的导师是谁……

当然有答案。 Jeff Dean本科论文的导师是Vipin Kumar。

Kumar 教授仍在明尼苏达大学任教，研究数据挖掘、高性能计算以及这些技术在气候、生态系统和医疗保健方面的应用。 1998 年至 2005 年神经网络c语言实现下，他还担任美国陆军高性能计算研究中心 (AHPCRC) 主任。

Jeff Dean 发推文说他其实把试卷弄丢了，所以在今年年初，他问明尼苏达大学的导师 Vipin Kumar 是否还有试卷，老师当然没有…

他们再次询问学校的荣誉项目，答案是纸质论文都没有了。幸运的是，图书馆扫描了一份 PDF 文件，让论文再次可见。

这篇论文是关于什么的？

这篇近 30 年的论文如何并行训练神经网络？

Jeff Dean 讨论了两种基于反向传播并行训练神经网络的方法。

第一种是pattern-partitioned方法，它在每个处理器上表示整个神经网络，并将各种输入模式划分到可用的处理器中；

第二种，称为网络分区方法，流水线方法，将神经网络的神经元分配给可用的处理器，所有处理器形成一个相互通信的环。然后，这些特征在通过该管道时由每个处理器上的神经元进行处理。

他还构建了不同大小的神经网络，并用几种不同的输入数据测试了这两种方法。

结果表明，对于模式分割方法，当网络规模大、输入模式多时，加速效果更好；

而下图是两种方法的对比结果：

当时 Python 的公版还没有发布，也没有 TensorFlow 和 PyTorch 等框架。 Jeff Dean 用于并行训练神经网络的测试代码是用 C 语言编写的。

这些神经网络本身，以及用于测试的配置，也有很强的年代感。我们可以从论文中看到 1990 年的“大”神经网络是什么样子的：一个有 3 层的神经网络，每层有 10、21、10 个神经元，即使它非常大。 Jeff Dean 测试了处理器，最高可达 32 个。

此时，Jeff Dean 应该不会想到，12 年后，他会和 Andrew Ng、Quoc Le 等人一起使用 16,000 个 CPU 内核从海量数据中寻找猫。

论文门户：

杰夫·迪恩传记

1969 年出生，49 岁。

1996 年，他毕业于华盛顿大学 (UW) 计算机科学系。

美国国家工程院院士、ACM Fellow、AAAS Fellow。

1999年在初创阶段加入谷歌，设计并部署了谷歌大部分的广告、爬虫、索引和查询服务系统，以及谷歌大部分产品下的各种分布式计算基础设施，还有谷歌新闻、谷歌翻译和更多。

发起了 Google Brain 的创建。

发起创建全球最大的深度学习框架平台TensorFlow。

虽然官方头衔是谷歌高级研究员，但杰夫·迪恩在谷歌的职位仅次于创始人拉里·佩奇和谢尔盖·布林。

2018 年 4 月，谷歌内部架构调整，Jeff Dean 接管了谷歌整个 AI 业务和团队。据说该职位也与谷歌现任CEO皮查伊相邻。

△Jeff Dean的LinkedIn个人资料

我的姐夫

当然，如果你对这位低调的大神不太了解，那是时候再看一组圈内口口相传的杰夫·迪恩的套路了。

我们也向“姐夫”复述了这些话，他笑着回答：谢谢你的爱。

让我们一起来看看这些笑话：

在他自己的 Google 采访中，Jeff Dean 被问及 P=NP 是否为真的含义。他说：“P = 0 or N = 1.”然后，面试官还没笑完，Jeff就检查了谷歌的公开证书，并将私钥写在了白板上。

在接受 Google 采访时，Jeff Dean 被问到如果 P=NP 意味着什么。他说，“P=0 或 N=1”。然后，在所有面试官笑完之前，Jeff 看了一眼 Google 的公开证书，并在白板上写下了对应的私钥。

编译器不会警告 Jeff Dean。 Jeff Dean 警告编译器。

编译器从不向 Jeff 发出编译警告，但 Jeff 会警告编译器。

Jeff Dean 在 2000 年底将键盘升级到 USB 后，生成代码的速度提高了 40 倍2.0.

在 2000 年代后期，Jeff 的编码速度突然提高了 40 倍，因为他将键盘升级为 USB 2.0。

Jeff Dean 在提交之前构建他的代码，但只是为了检查编译器和链接器错误。

Jeff 仍然会在提交代码之前对其进行编译，但只是检查编译器和链接器是否存在错误。

gcc -O4 将您的代码通过电子邮件发送给 Jeff Dean 进行重写。

gcc 的 -O4 优化选项是给 Jeff 发送电子邮件以重写您的代码。

Jeff Dean 于 1969 年 12 月 31 日晚上 11:48 出生。他用了十二分钟来实现他的第一个计时器。

Jeff 于 1969 年 12 月 31 日晚上 11:48 出生，他用了整整 12 分钟才完成第一次计时。 （背景：计算机中的定时器值通常设计为从1970年1月1日0点00分到现在的秒数）。

当 Jeff Dean 设计软件时，他首先对二进制文件进行编码，然后将源代码编写为文档。

当 Jeff 编写软件时，他直接编写机器代码。源代码仅用于文档目的。

Jeff Dean 的键盘有两个键：1 和 0.

Jeff 的键盘最多有两个键：1 和 0。

当 Jeff 难以入睡时，他会减少羊。

当 Jeff 无法入睡时，他使用 Mapreduce 对绵羊进行签名。 （Mapreduce 是 Jeff 的作品之一，这个分布式处理框架算法是 Google 立足的基础一）。

你命名三个指针，爱因斯坦、欧拉和图灵，当你取消引用它们时，你得到的只是 Jeff Dean。

如果您将三个指针命名为爱因斯坦、欧拉和图灵，那么当您查看它们所指向的位置时，您会看到 Jeff。

更多 Jeff Dean 的片段，你也可以移步 Quora 上的“Google God Jeff Dean is so good”合辑：

——结束——

真诚招聘

Qubit 正在招聘编辑/记者到北京中关村工作。我们期待有才华和热情的学生加入我们！相关详情请在QbitAI对话界面回复“招聘”二字。

量子比特QbitAI·今日头条签约作者

վ’ᴗ’ ի 追踪人工智能技术和产品的新发展