昆虫也进化出自己的声学器官来躲避猎手的捕杀

#李晓东：交流声学与助听器技术开发#

我们生活在一个声音的世界中，动物已经进化出各种用于感知和交流的声学器官。例如蝙蝠、海豚等，利用声波探测环境，捕猎猎物。昆虫也进化出了自己的发声器官来躲避猎人。而人类在大约10万年前就进化出了语言和言语，标志着人类的进化音频信号主要物理参数有，将人类带到了生物学的最高水平。

声音和信息密不可分，耳朵和嘴巴都是用来交流的。大约 90% 的人类信息源来自视觉，8-9% 来自听觉（声音）。随着现代科技的进步，视频、语音等通讯方式实现了人与机器的交流，“声音”充分成为信息载体。

随着这种技术的发展，“通信声学”应运而生。通信声学与健康听力、听力保护、助听器等密切相关。

通信声学

方向和应用

一、传播声学的内涵

面向人与机器之间的信息交互，是研究一般声学环境中音频信号的产生、传播、接收和效果的声学分支。基于现代信息处理和通信技术的发展，以及生物物理技术的进步，通信声学已经发展成为一个多学科的研究领域，包括室内声学、电声学、心理生理声学等。

现代通信声学与计算机和信号处理技术以及现代通信技术密切相关，协调发展。这形成了通信声学的基础研究和应用研究。应用研究包括多媒体通信与娱乐、人机交互、助听器、听力保护等。

二、通信声学主要研究方向（部分）

二、通讯声学的主要应用——耳机/助听器

听和说是最自然的交流方式，也是人机交互的最佳方式。助听器技术的发展与通信声学和电子信息技术的发展密切相关。在没有电子信号处理的时代，助听器首先是通过类似喇叭的机械、完全声学设备实现的；随着电子信息时代的到来，特别是电话技术的发展，助听器技术的发展得到了推动。

随后，随着电子管、晶体管到集成电路，助听器的技术也不断提高。如今的助听器进入了一个全新的时代，助听器技术成为了大师——在这么小的一个螺丝壳里集成了许多先进的技术，包括智能传感、麦克风、边缘计算、海量处理芯片、基于深度学习的算法，以及语音增强算法正逐渐应用于助听器。此外，它还与无线互联密切相关，包括蓝牙、wifi技术等。

技术进步

与助听器有关

一、语音增强 (ENC)

助听器的主要功能是语音增强——即获取不同环境下的环境声音，核心内容是语音增强。

传统上，使用单通道语音增强技术。如上图所示，有噪音，有我们需要的声音。过去的技术是估计噪声的时程/频谱，然后将语音的频谱与噪声的频谱相减，从而得到语音的增强效果。但是这种传统技术在处理由其他人的干扰/动态引起的干扰方面是薄弱的。

1 人工智能技术

得益于深度学习技术的发展，单通道语音增强技术发展迅速并进入应用阶段。一般情况下，人们认为“深度学习技术”是一种人工智能技术，但实际上它比较弱，只能根据数据统计处理一些简单的问题，所以它是一种“弱人工智能”技术。当前的人工智能技术可以达到一定程度的语音增强目标，无法深入解决。

原理是：先把纯语音库和噪声库交给网络进行训练，让它学会什么是语音，什么是噪声。然后通过这个训练有素的网络进行预广播以获得增强的语音。

2 DNN技术

自深度学习技术引入以来，DNN 发展迅速。尤其是近3-5年，云增强逐年演进。还有很多具体的算法应用，比如卷积神经网络（CNN）、循环神经网络（RNN）以及它们的组合（CRNN、LSTM、GRU等），不断更新迭代，包括很多对其成本的优化功能等。

如果应用于助听器领域，则需要较低的计算复杂度和相对较低的参数要求。这可用于边缘计算（耳机/助听器等）。一些最新进展可应用于助听器处理芯片，以实现动态降噪。通常计算量为50-100MIPS，通用计算芯片即可实现，内存50-200kB左右。

目前基于DNN的语音增强算法在计算量小、存储量小的情况下，可以达到非常好的语音增强效果，可以应用于低功耗的DSP芯片。DNN增强和阵列信号处理等技术现在广泛应用于消费类电子耳机音频信号主要物理参数有，包括单声道、多声道等。未来基于DNN架构的芯片设计也在不断升级，有望实现大量大规模DNN的计算和存储，有望在听力领域得到广泛应用艾滋病。

“延迟”在助听器功能中也很重要。如果不能使用延迟控制，助听器会出现一些应用困难。在最近的进展中，延迟可以减少到 5ms，而性能没有明显下降。

3芯片技术

如果要实现这样的AI技术，芯片技术也非常关键。目前，我们已经实现算法可以简化为通用嵌入式芯片。另一方面，AI-EI相关的专用芯片技术也取得了很大进展，包括很多架构。CGRA（粗粒度可重构架构）和 PIM（内存处理）等架构专用于 AI 芯片。技术。一些与大规模深度学习相关的操作可以通过这些特殊的架构来实现，同时功耗非常低，最高能效可以达到10TOPs/W（每瓦10万亿次操作）量级。最低的工作功耗可以是微瓦量级。因此，这样的技术可以在我们的助听器芯片技术中得到充分的应用。

二、主动噪声控制 (ANC)

ANC 技术已广泛应用于消费类耳机，如包耳式、贴耳式和入耳式耳机。方法分为前馈、反馈、前馈+反馈等。大多数没有 ANC 技术的耳机可能称不上“好智能耳机”。那么助听器是否需要 ANC 技术？李晓东老师觉得很有必要。

ANC和ENC有一些区别，涉及声学设计、电声器件、控制算法、硬件芯片等，需要一个横切的、整体的设计，包括耳机的内部声场分布、参考麦​​克风误差、传感器放置位置、电声器件频率响应等因素。此外，由于佩戴差异和系统延迟问题也需要解决。

1 传递函数

在各种佩戴方式下，传递函数会发生巨大变化。采用系统在线检测+虚拟麦克风的方式，可以使带宽更宽，最优控制效果更好。此外，还开发了“固定+自适应滤波”的组合，以更好地去噪并在各种情况下保持稳定状态。

2 离线优化

另外，如何优化 IIR 滤波器以更好地降噪？众所周知，所有的ANC优化都是通过人工和经验的方法来实现的，完全依赖于工程师的水平，会产生很多不确定因素。事实上，完全可以将耳机戴在线上后测量其内部接收器到误差发射器。H2/H♾️的传递函数通过各种学习方法整合目标和约束，转化为学习问题。优化算法采用两阶段组合优化策略。先用遗传算法进行大规模优化，再用单纯形算法进行局部深度优化，实现滤波器的设计。

首先通过下图左侧的黑线（遗传算法）进行一个收敛过程，然后使用Simplex Method对细节进行优化，最终得到一个最优结果。下图展示了耳机优化后的降噪效果。不是人工调试，而是电脑优化后的结果。

在右图中，黑线是未开启 ANC 的噪声情况。ANC使用了这样一个优化的滤镜后，得到了红线，就是开启ANC后得到的效果。这样在无源反馈的情况下可以达到20dB的降噪效果。

三、声音播放

声音再现也是耳机和助听器的重要研究内容。事实上，我们每个人都有自己独特的听觉器官（耳廓、耳道）。耳机的佩戴会影响人耳的声学环境。因此，耳机的声音再现一直存在很多问题，比如声音的再现质量、颅内效应等等。

1 均衡阶段实验数据

影响声音再现结果的因素包括频率响应、相位等。相位在音质和声音再现中起着非常关键的作用。

相关实验表明，经过相位均衡，可以达到线性相位的目标结果。可以看出，耳机的脉冲响应已经从蓝线“拖”了出来，经过均衡化后变成了完全理想的脉冲响应。这样，可以提高声音再现的效果。

同时，主观实验也证明，仅均衡幅度的主观平均得分明显低于均衡阶段。通过弦乐和打击乐等不同的音乐进行主观测量。弦乐测试下，如果只平衡幅度，主观评分为59.4；但只有相位平衡才能达到更好的效果————65.9%。打击乐测试也是如此。因此，李晓东先生建议，在助听器的情况下，不仅可以考虑幅度均衡，还可以考虑针对每个个体进行相位均衡。这会为助听器带来更好的结果和更仔细的适配调整。

以上就是目前从ANC、ENC到其他助听器技术的进展。新技术还在不断涌现。

四、其他可能带来革命性变革的技术

未来有一些技术可能会彻底改变我们的助听器/耳机。

1 基于矢量麦克风的阵列技术

声场是矢量场，普通麦克风测得的声压是标量。在这种情况下，获得的信息是远远不够的，往往需要多个传感器来实现。今天的技术发展，让我们可以通过微纳米加工获得矢量麦克风，接近应用水平。

当前的矢量麦克风已经能够测量硬币的大小并同时测量声压和粒子振动速度。如果我们整合矢量麦克风和普通麦克风的特性，在一点上测量粒子的振动速度和声压，并使用多传感方法、阵列信号处理等，可以得到更好的语音增强效果。

通过矢量麦克风同时测量粒子振动速度和声压，可以分离噪声和干净的语音。这样我们可以在保持非常小的音量的同时获得更好的效果，这也是助听器技术所需要的。

图中d为技术修复后的声音。

矢量麦克风有多种解决方案，许多国际研究团队都在从事这方面的研究工作。其中，基于热线原理的矢量麦克风可实际应用于声学测量等。

2 其他物理感知技术

还有其他技术也在不断探索和发展，比如激光振动测量技术。激光测振技术是利用激光测量振动，通过将激光打在面部/喉咙上来检测对方讲话的内容。这种技术可以实现远程语音识别，这是一个突破。

过去，该技术多用于测量、监控和窃听，成本相对较高。但今天的技术可以将激光测振仪等大型设备变成指甲大小。这项技术也有望带来助听器技术的革命性发展。

激光振动测量的处理结果。还在开发中，离应用还有一定的距离。

总结与展望

科技助力发展

助听器技术涉及多个研究方向，是现代技术的巅峰之作。但仍有许多问题需要解决。

1 TWS耳机技术应用于助听器领域

通信声学近年来取得了长足的进步，最近的进展已广泛应用于TWS耳机和智能耳机。原有智能耳机的进步，大多得益于助听器技术的变革。不过由于消费类电子产品的投入比较大，TWS耳机现在发展非常迅速。因此，TWS耳机的相关技术可以在今天转移过来，有效地推动了助听器技术的进步。

我们今天的技术仍然是过去传统水平的进步/发展，而不是突破性发展。目前，一些同事正在做一些尝试，比如深入了解和探索人类的听觉系统，通过耳道内的听觉电位测量来了解佩戴助听器的人的注意力方向，以便让助听器像真人耳朵一样。指向任何方向并获得我们需要增强的声音。

2 我国助听器技术取得长足进步

在我国，助听器技术涉及多种技术的集成，包括刚才提到的声学，从器件、算法、芯片、制造、心理声学、生理声学等，都是高手。完成这个过程实际上是多方面综合能力的体现。

我国计划经济时代，本来就有国有助听器厂，但是随着改革开放中国外技术的涌入，我们整个助听器行业被分崩离析。后来随着我们民营企业的发展，它又恢复了很多生机。但总的来说，我们在国家层面和企业层面对助听器技术领域的重视不够，对助听器行业的投入也不够。不过随着越来越多的企业关注助听器领域，加大投入，加大对技术的投入，未来会有很大的发展。从技术层面，从传感器到发射器和接收器，中国都取得了长足的进步，可以说是傲视世界。

现场互动问答

Q：重度听力障碍患者，因为非常喜欢音乐，必须使用自带的蓝牙播放设备和耳机。能否推荐相关产品和技术形式？

建议咨询助听器领域的专家，如医生。需要根据听力受损程度推荐产品。但一般来说，普通耳机很难达到重度听力障碍患者良好的音乐欣赏水平。当我们说“先解决温饱”时，我们可以清晰地听到环境，与周围环境进行良好的沟通等等。音乐欣赏还存在一些困难。有机会进行特定的交流，看看它如何提供帮助。

Q：目前，DNN技术和深度学习的算法技术应用于助听器。目前的降噪效果和功耗表现如何？

之前已经介绍了两个进步。一方面，深度学习算法可以在通用、嵌入式低功耗芯片上实现这样的计算能力。另一方面，当前芯片技术的发展，特别是基于DNN等架构的芯片设计也在不断的升级，包括各种原理和方法。未来可以实现大量的大规模DNN计算和存储。同时它的功耗可以非常低。在消费类电子耳机中已经有很多应用，包括单声道、多声道等。DNN 增强和阵列信号处理都已经在持续使用。DNN技术在助听器中的广泛应用也很有前景，

问：杨振宁院士和何祚庥院士近年来在公开演讲或采访中都提到了助听器技术发展的重要性，也提到了国外助听器的声学技术性能。你觉得我们国产品牌的助听器或者助听耳机能和国外的助听器媲美吗？助听器之间的差距有多大，还存在哪些技术挑战？

很高兴杨振宁老师在给中国科学院国立科技大学研究生的报告中说他特别重视助听器。他也应该年纪大了，而且作为科学家，他对助听器非常关心，也了解丹麦等发达国家助听器技术的进步。在我国，助听器技术涉及多种技术的集成，包括刚才提到的声学，从器件、算法、芯片、制造、心理声学、生理声学等方面，都是高手。完成这样的事情，其实是多方面综合能力的体现。我国计划经济时代，有国营助听器工厂。改革开放，随着国外技术的涌入，我们整个助听器行业还是被打散了。后来随着我们民营企业的发展，它又恢复了很多生机。但总的来说，我国准发达国家和发展中国家在国家层面和企业层面对这方面的重视不够，对助听器行业的投入也不够。不过随着越来越多的企业关注助听器领域，加大投入，加大对技术的投入，未来会有很大的发展。从技术层面，从传感器到发射器和接收器，中国都取得了长足的进步，可以说是傲视世界。也有公司在芯片方面继续尝试，

Q：矢量麦克风有什么最新进展吗？

矢量麦克风有多种解决方案，许多国际研究团队都在从事这方面的研究工作。其中，基于热线原理的矢量麦克风可实际应用于声学测量等。

问：矢量麦克风在风噪声测量中的应用是否可行？

基于热线原理的矢量传声器原理与测量风速的热线法同源，当然也可以用来测量瞬时风速。

问：在声音再现问题中，为什么幅度和相位均衡的分数低于仅相位均衡的分数？

本报告中提到的声音再现均衡，幅度和相位同时均衡，分数不高，幅度均衡优化，争议较多，所以幅度均衡的效果可能是负面的。

问：通用芯片的最小尺寸是多少？

有很多通用嵌入式DSP芯片，体积小，在mm量级，功耗不到1mW。

Q：你提到深度学习是用来过滤掉各种噪音，让被试接收到的声音信号更清晰，这就是弱人工智能。为什么叫弱人工智能？该领域目前正在突破的难点是什么？

目前的人工智能技术，基于数据统计，只能处理一些简单的问题，所以是弱人工智能。和通用人工智能，或通用/通用人工智能，因为我们目前对人脑的思维方式知之甚少，对它知之甚少……。但即便如此，目前的人工智能技术可以为我们提供很多帮助。

问：我们目前在 ENC 上的深度学习模型是什么？效果如何？

目前基于DNN的语音增强算法在计算量小、存储量小的情况下，可以达到非常好的语音增强效果，可以应用于低功耗的DSP芯片。ENC的DNN模型现在有多种解决方案。你可以在 Github 和其他网站上找到很多相关的算法。

随着TWS耳机的飞速发展，助听器技术的日新月异，以及美国FDA发布OTC助听器草案的政策，助听器与助听器的交叉融合将成为未来的主流趋势5年。

在行业变革的时代背景下，北京听力协会主办了“健康听力技术论坛”，为大家提供了一个长期的发言平台。论坛将继续长期举办，每期两位嘉宾，不定期更新，线上不定期。

预计声学、TWS、助听器和助听器领域的专家学者，以及产业供应链上、中、下游的代表将积极参与论坛并发表演讲。我们希望通过论坛的举办，搭建行业平台，推动产品变革，推动技术发展，为轻中度听力损失和听力人群提供更适合的听力保护和助听解决方案，从而实现终极“所有人的健康听力”。目标。

注：图文由编辑根据李晓东先生的报道进行编辑总结。感谢主持人桑金秋老师对本文的审阅和修改。