新加坡华人学者李海洲：潮州过番歌(1)(图)

一路到 Serapok，什么也没发生。上山打工，博公“多龙”保住了他。——潮州宋国藩

所谓“国饭”，是指早期潮州人外出打工，经过七天七夜的生活来到东南亚。上个世纪，从中国东南部移民到新加坡的华人中，福建人最多，其次是潮州人。

新加坡华裔学者李海洲回忆说：

他在潮汕地区的一个小渔村长大，从小就听说过“十拉波”；

没上过小学，13岁以前只说潮州话城市。

作为全球多语种语音和语言识别研究的先驱，被选为IEEE Fellow，有些不可思议。

作为世界知名的语音和语言处理专家，李海洲在工业界和学术界都努力过。在深度学习兴起前 30 年，他开始使用神经网络进行语音识别。40年钻研大海，李海洲见证了神经网络从无人问津到风靡一时。

在新角色系列《Fellow is Coming》中，我们邀请了新加坡国立大学教授、快商通首席科学家李海洲作为第一位嘉宾与我们分享他的研究心得。

作者 | 陈才贤

1980年代大学生

去广州读大学，甚至后来漂洋过海，父亲只能在临走前简短的安慰一句：“我帮不了你，如果外面的情况不好，你就回来吧！”

自1994年离家以来，潮州学者李海洲在海外生活了近30年。在新加坡潮州八一会馆对《潮州人的故事》的系列采访中，他回忆起上个世纪他一个人、一个人的努力。

文革前夕，他出生在中国潮安古镇的百年老屋里，后随父母移居汕头外海的南澳岛。由于岛上生活贫瘠，没有学校，陆路交通不便，他小时候没有机会上学。幸运的是，他的母亲有一些书供他阅读和学习阅读。

李海洲从小在南澳岛度过，很少与外界交流。他唯一会的语言是家乡的潮州话。他记得，他13岁上学时，因为从未学过普通话，说的普通话经常成为同学们的笑柄。

但李海洲十几岁的时候学习很努力：

奶奶总是提醒我，一定要好好学习，考试要考好成绩，不然以后就轮不到你倒垃圾了。

刻苦学习，考入潮安一中（现潮州金山中学），15岁考入广州华南理工大学无线电工程系（以下简称为“华工”）。那时，文革结束后不久，高考才恢复了三年，教育体系还不完善。

于是，1980年，年仅16岁的潮州少年李海洲，独自一人从潮州乘坐大巴到广州。他记得当时父亲的月薪只有50元，不足以支撑他的出游。他在华工读书时，每年冬天都要洗个冷水澡。但李海洲乐观：“我洗冷水澡的时候，肯定会大声唱歌，因为唱歌的作用之一就是减轻疼痛。”

图例：大学时期的李海洲

那时，虽然生活条件艰苦，但李海洲说，在中国读书的那段时间是他成长中最重要的阶段。在母校，他获得了勤奋、踏实的工程师特质和大学精神。在这朴素纯洁的黄金岁月里，他吃苦耐劳，潜心钻研专业知识，取得了优异的成绩。

李海洲从小就对智能机器着迷。高中时在物理老师谢家明的指导下迷上了广播。本科期间，他努力学习无线电相关的专业知识。毕业当年考入时任华南理工大学副校长、著名电子科学家徐秉正教授的研究生（通信与电子系统方向），师从徐秉正学习语音处理。.

在攻读硕士学位期间，李海洲在数字信号处理技术领域发表了多篇学术论文。其中，“基于音素的普通话孤立字词识别”获得广东省高等教育科技进步二等奖，成为徐秉正引以为豪的学生。

1987年夏天，即将攻读硕士学位，徐秉正推荐李海洲去广州参加由香港大学陈楚健教授（香港第一位从事研究工作的学者）在广州开设的暑期学校。语音识别研究）。李海洲还记得，在第一堂课上，陈楚健对台下的同学们说：

大家要认真听讲，两周后参加考试。成绩优异的学生将有机会前往香港实验室进修。

李海洲很努力。两周后，他在学生中脱颖而出数字信号处理谁讲的好，成为华南理工大学与香港大学联合培养博士生的少数幸运儿之一。他在陈楚健的指导下继续学习语音处理。

那时香港还没有回来，在香港读书比出国还难。李海洲印象深刻：“我去香港后，一年国庆，新华社请来港内地学生吃饭，在香港的内地学生只有20人。”

图注：香港大学主楼

在他的博士期间。在香港留学期间，李海洲完成了香港政府资助的“语音静态模型”研究项目。博士论文《语音的静态模型与汉语语音识别算法研究》不仅以其创新的视角和扎实的理论基础受到了电子研究同行的好评，还获得了著名数学家梁志顺（最早的研究员在中国）。一） 概率和统计学学者高度评价。

值得注意的是，早在深度学习兴起之前，李海洲在1990年代发表的博士论文就已经使用了神经网络语音识别算法。但在当时，使用神经网络识别语音的技术在中国并没有受到高度重视。“我 1990 年博士毕业时找不到工作。”

据他分析，主要有两个原因：一是当时计算机的计算能力没有现在这么强。例如，在他的博士论文结果中，计算机只能识别 10 个数字；第二，当时电脑的价格很贵，相当于一个大学教授几个月的工资。结果，成本高、回报低，这项技术自然被冷落了。

后来，在徐秉正的帮助下，李海洲得到了在学校任教的机会。虽然当时对智能语音识别的研究并没有受到高度重视，但李海洲坚持自己的热情：“我只是觉得计算机能听懂我说的话，真是太神奇了！” 于是他和他的导师徐秉正继续朝这个方向探索。

例如，他们在 1991 年发表的著作《An implementation of short-timed Speech Recognition on Layered Neural Networks》开始尝试引入神经网络架构和学习算法，在多层感知器（MLP）上实现孤立词识别。“具有动态神经元的 MLN 学习算法”还尝试训练具有多个局部反馈的动态神经元的多层网络架构，以记忆用于中文数字语音识别的序列模式。

回顾那些无人问津的研究，李海洲的感受是：“我觉得很幸运，因为在深度学习不流行的时候，我就开始研究了。只是当时条件有限，后来数据增加了，而深度学习表明它很强大。我从中学到的是，你必须喜欢你的研究，然后坚持下去。如果你喜欢它，专注，你有能力，那么你的研究迟早会有用。之后。”

2 多语言学习

我是一个从渔村出来的穷小子，从未上过小学。当我 16 岁开始上大学时，我什至不能用英语说“早安”。

30年来，自博士毕业以来。1990年，李海洲一直坚持自己的语音识别和语言处理方法。他一直认为，机器学习的基础理论不仅支持机器的识别工作，而且是人类学习语音和语言的过程；也就是说，人的学习也是一个“机器学习”的过程，但学习的主体不是计算机，而是人脑：

“人类学习的过程也是通过大数据来学习，从听人怎么发音，到学一个音，一个音，再学一门语言，再将第一语言的知识转移到第二语言。”

这个观点来自于李海洲学习多种语言的亲身经历。

李海洲的母语是潮州话，上中学后开始学习普通话。“当时我觉得学普通话很困难，但是当我学了第三语言、第四语言、第五语言的时候，我觉得并没有那么难，因为我已经有了学习语言的方法。机器学习就是这样，你从一个地方学到的东西可以用在第二个地方，所以我对机器学习特别感兴趣。”

上初中的时候，他只学过一句英文，那就是“毛主席万岁”。上高中后，他又加上一句“不忘阶级斗争”。好在英语在1981年后才被列为高考必修科目，而李海洲很幸运，因为他在1980年参加了高考。

在攻读博士学位期间，李海洲大部分时间都在香港度过。那是他有机会学习英语的时候。在此之前，他连“早安”都听不懂。也是在那个时候，李海洲开始学粤语。他的感受是：“粤语最难学，因为没有课本。”

毕业后，李海洲于1991年进入华南理工大学任教，26岁被华工评为副教授；一年后的1992年，他晋升为教授并担任博士生导师，成为广东省教授。全省最年轻的博士生导师。

但李海洲并不满足于现状。1994年，应法国国家科学院邀请数字信号处理谁讲的好，赴法国国家科学研究中心（CNRS）任研究员，从事语音识别研究，开始涉足声纹识别。

在法国的三年里，李海洲驻扎在“洛林之魂”南锡。离开前，他在广州学习了一年的法语。到达南锡后，他几乎每晚都去“阿尔及利亚之家”学习法语。这是一个专门帮助阿尔及利亚人学习法语的机构。没有学费，学生只需要支付冬天的柴火。他们没有拒绝李海洲的参与，他也去了整整一年，终于在法语基础上打下了坚实的基础。

图片说明：法国南希

1996年，被新加坡多语种和文化氛围所吸引，李海洲应聘到苹果新加坡研究中心担任语音处理实验室主任。之后，他留在新加坡，先后在 Apple、Lernout & Hauspie、InfoTalk 和 A*STAR 工作，直到 2014 年重返学术界并加入新加坡国立大学电气与计算机工程系。终身教授。

如今，李海洲精通潮州话、普通话、粤语、英语和法语。他还可以处理越南语、泰语、马来语、日语和韩语。

受自身语言学习经验的启发，李海洲在教授机器学习时始终强调“先了解人如何学习，再告诉机器如何学习”。这是他多年来的研究经验，即把人类的认知过程放到机器学习的研究中。从这个思路出发，李海洲团队在语音识别和语言处理方面取得了很多不错的研究成果。

比如他们最近被顶级期刊TASLP录用的工作（《Target Speaker Verification with Selective Auditory Attention for Single and Multi-talker Speech》），来源于对人们日常交流方式的观察，来源于“双向认知过程”做语音识别和对话系统。

在人际交往中，A在听B的时候，不管旁边有多大的噪音，或者B的声音有多小，A只需要专心听，他一定会听到B的声音，因为人脑可以“命令”耳朵听到的和没有听到的。但目前机器在识别目标说话人方面的表现并不稳定。有时，如果两三个人同时说话，计算机就无法识别。

“我只是研究人们如何在复杂的环境中倾听，并将这个过程放入机器中。” 李海洲说。在 TASLP 的工作中，受到 SpEx 等人工作的启发，他们在机器识别中引入了听觉注意机制，并提出了目标说话人验证（tSV）框架，可以在多语言环境中有效地识别目标语音。

地址：

其次是研究思路的引导，多语种背景对李海洲最重要的影响是使他成为多语种语音识别研究的先驱。2014 年，他因“在多语种说话者和语言识别方面的领导地位”而被选为 IEEE Fellow。

早期的语音识别仅限于英语，而李海洲的工作不仅涵盖英语，还包括汉语、马来语、韩语、日语、泰语、越南语等。“人在划分语言的时候，是人为划分的，其实就是同一对耳朵，同一个大脑，我的想法是用同一个系统（多语种大词汇连续语音识别系统），实现多语言识别不重复。 发展。”

回顾自己的研究生涯，李海洲最自豪的是，2001年，他研发的多语种语音自动问答系统在新加坡樟宜国际机场投入使用。该系统每天可以处理超过 10,000 个查询，使其成为当时东南亚最大的全自动客户呼叫中心。“出租车司机很喜欢这份工作，因为他们只需要打个电话就可以知道航班信息以及什么时候出发去机场。” 李海洲还获得了2002年新加坡国家信息技术奖。

2018年与南洋理工大学Chng Eng Siong教授合作开发了专门用于处理新加坡995紧急热线的多语种自动呼叫处理系统，可以实时转换和记录每个呼叫，并根据内容调度资源的通话。该系统涵盖多种东南亚语言，还可以识别福建话“jiak ba bueh”（吃过了吗）和“hoh boh”（你好吗），以及炒粿条和椰浆饭等当地菜肴。

In 2015, Li Haizhou was elected as the President of the International Speech Communication Association (ISCA). 他也是ISCA自1988年在法国格勒诺布尔成立以来的第一位华人主席。ISCA是语音技术领域最重要的国际峰会。李海洲认为自己精通法语是因为他从2009年开始就能够在ISCA任职，从董事到候任主席再到主席。

图注：2015年，李海洲被任命为ISCA主席

除ISCA主席外，还担任IEEE/ACM Transactions on Audio, Speech and Language Processing（音频、语音和语言处理理论研究与实践最权威的学术月刊）主编在美国）凭借出色的英语能力，

回忆起自己来自一个小渔村，走遍了千山万水，走遍了很多地方，李海洲很是感慨。刚进大学的时候，他是一个连“早安”都不会说的潮州男孩，没想到后来凭借出色的外语能力，在国际学术期刊和峰会上担任要职。

3 研究情绪：实用主义

我在中国出生和长大，然后去了国外。出国后，经常有人问我：你的研究兴趣是什么？我这辈子都被问过了。从来没有人问过我：你的工作是什么？

40年来，李海洲经常被问到一个问题：“这么多年你是如何保持科研热情的？” 因为兴趣，还能是什么？”

在他攻读博士学位时。毕业时，虽然计算机和信息技术已经开始腾飞，但因为他的研究方向太冷门和前沿，李海洲即使拿到了计算机博士学位也找不到工作。但他非常喜欢他的研究方向，“我觉得我和机器交流，它可以识别我说的话，就像魔术一样，非常有成就感。” 所以，即使他没有得到肯定，他也可以继续做下去。

后来加入公司做研究，先后开发了苹果电脑中文输入系统、全球第一款声纹解锁智能手机（百度云手机联想A586）、百度音乐“听歌”等成果A586在2012年推出，号称是百度在人工智能领域的高级布局之一，李海洲回国后，在大街上看到有人用他的声纹识别技术解锁，他很高兴。

“这种成就感与金钱无关，我自己觉得，如果有人愿意给我发工资，让我做自己喜欢的事，那就是双倍的回报。” 李海洲说，他提倡“用激发研究”。驱动研究），最大的愿望是能够将所学的知识进行工程化，并最终在现实中成功实施。

从1996年到2014年，李海洲一直活跃在这个行业。2014年重返学术界，担任新加坡国立大学终身教授后，在培养学生时，始终强调研究课题必须来自实际需求；写一篇文章，要解决一个问题。

在语音研究中，他的最终目标是希望机器能够像人类一样执行与语音相关的任务。当对话系统与你交流时，你分不清“它”是人还是机器；机器在聆听时，无论环境多么嘈杂，都能准确识别目标的声音。

注：2013年，李海洲（左）荣获“新加坡总统科技奖”（新加坡科技领域最高荣誉）

虽然已经重回学术界，但李海洲还是很关心工业界的实际问题。因此，2018年，李海洲与厦门快商通科技有限公司（以下简称“快商通”）建立了科研合作关系，并担任快商通首席科学家。

关于学者与业界的合作，李海洲的经验是：

“与这个行业合作的一大好处是他们每天都会遇到很多问题。你不一定要帮助他们解决每一个问题，但通过了解这些问题，你可以找出一些常见的根本原因，然后从中定义研究问题，从而将知识与绩效相结合。”

与之前合作过的公司相比，李海洲认为，快商通最大的特点就是拥有庞大的用户群。“我认为做机器学习研究是必不可少的，因为你必须拥有庞大的客户群才能了解客户的需求，然后从那里发现科学问题并改进服务。”

快商通的主营业务是构建智能对话系统。

1999年到2001年，李海洲还与比利时公司Lernout & Hauspie合作，希望打造先进的对话系统。然而，在与 L&H 合作时，智能对话系统的商业应用仍处于起步阶段。他们花了一年时间搭建一个系统，然后推出给用户体验，收集数据，然后根据反馈改进系统，给他一种“闭门造车”的感觉。”，很难实现。

相比之下，快商通的优势在于与客户直接互动，客户数量更大。他们可以花几个月的时间来构建一个系统，同时与用户保持密切的沟通，然后根据用户数据对系统进行改进。

结合此前在中小企业和大型企业的工作经历，以及在高校做研究的专业知识，李海洲制定了快商通的研究计划，称为“大齿轮-中齿轮-小齿轮”。他总结说，一家科技公司的成功就像一个小齿轮箱，中间有一个慢速旋转的大齿轮，旁边有几个中齿轮，然后还有很多快速旋转的小齿轮：

“小齿轮以客户为导向，每天需要完成快速的任务；中齿轮是传递大齿轮的动力；大齿轮是公司长期的科研成果，一定要慢慢转动，就像大学里的科研，是有积累的。所以我强调，公司每做一个项目，一定是有技术积累的，然后会越来越大，也就是大齿轮的力量会越来越强，强，能带动很多中档和小档，大档的储藏，一天就形成了？”

在李海洲的帮助下，快商通在对话系统研究方面取得了一系列成果。比如在语音识别方面，快商通目前的技术可以实现高精度和不同口音的识别。与市面上的多语言对话需要系统切换的对话系统不同，快商通可以实现同一系统内的多语言切换。在自然语言处理方面，快商通在多轮对话系统的性能提升和评估方面也取得了新的技术突破，他们的工作（《DynaEval：Unifying Turn and Dialogue Level Evaluation》）被纳入ACL 2021。

地址：

在李海洲的指导下，快商通完成了对话机器人底层逻辑的重构，突破了标准化的产品模式，推出了智能人机对话平台KICP，支持0代码创建智能对话，成本低，样品少。从供给端，KICP可以大大降低快商通的定制化开发成本和后续运维投入；从需求端，客户可以根据需求特征和业务逻辑，打造自己的产品，让产品更符合自己的想法。

此外，李海洲表示，希望与快商通合作，实现每个单独的系统可以服务超过百万的客户群体。“当100万用户同时前来咨询时，系统必须能够实时响应。”

4 写在最后

我认为这个方向可以再研究50年。

谈到语音识别研究的未来，李海洲依然充满热情。

除了自动语音识别，他的研究还包括语音分离、文本处理、数字信号处理、多模态和类脑计算。相比“人工智能”，李海洲更愿意将其定义为“机器智能”。

在他看来，当前的人工智能系统仍有许多限制需要解决。比如语音识别是为一个任务开发一个系统，但不能通用，不能像人一样从一件事上推论；再比如，人工智能的学习大多是由数据驱动的，由此创建的系统面临着未学习的场景。，经常不知所措。要解决这些问题，还需要下一代的努力。

除了科研，李海洲现在最喜欢的事情就是培养研究生，看着学生成长。

作为一个经历过演讲研究低潮的学者，在采访学生时，他总是先问学生：“你来学这门课是因为你真的很喜欢这个学科，还是因为这个方向在外面很受欢迎？” 真正的热情，他会收他们为学生。

在他培养的学生中，很多人目前在高校和企业担任要职，如华南理工大学电子与信息学院金连文教授、微软首席应用科学家肖雄、Facebook研究科学家、以及开发 TTS 工具包 Merlin 的吴志正等。和李海洲一样，他们也非常重视研究成果的落地性和实用性。

在深度学习时代，李海洲明显感觉到现在的研究氛围有些浮躁。对于年轻学者，他的建议是：

现在很多人在做语音处理的时候，因为有深度学习工具，所以每天都用DL工具去尝试。他试了100个，其中一个很好。他很高兴，但他什么都没学到，也无法推广。我认为这种研究方法是不可取的。

如果要从事语音识别、语音处理、语音合成、声纹识别等方面的研究，还是要回归基础，从语音的基础理论入手，比如学习什么是语音，什么是语音。言语的生理特征。回到信号处理的基础。你需要了解信号是什么样子以及人们如何处理它，然后慢慢使用该工具。

对于对话系统的研究，李海洲的建议是先读懂自然语言处理的基础理论知识，再进入深度学习的世界。

“就像学武术，从基本功做起，这样才能扎根。”

参考链接：

1.

2.

3.

4. ~eleliha/3.%20Straitstimes%202009.pdf

5.

6.

7. ~eleliha/4.%20Helsinkitimes%202009.pdf

由于微信公众号试用乱序推送，您可能无法及时收到AI技术评论的推送。为第一时间收到《AI科技评论》的报道，请将“AI科技评论”设为“关注”的明星账号。