央视新闻AI手语主播“上岗”为听障人士提供实时手语翻译

本报讯(记者姜宁)日前,北京冬奥会开幕,央视新闻AI手语主播正式“值班”,为北京地区的听障人士提供实时手语翻译央视新闻冬奥会直播专题节目。为这个手语主播搭建手语数据库的是天津工业大学耳聋与人工智能学院无障碍智能技术研发团队的师生。

“我们六年前就开始研发这个‘复杂场景下的中文手语实时翻译系统’,目前我们已经积累了超过20万个语料库,可以将手语动作真实地转化为文字。时间。”团队负责人、天津理工大学耳聋学院副院长袁天天教授介绍,该系统与目前成熟的语音翻译软件一样,可以将输入的手语动作和表情在被识别后翻译成文字或语音。通过计算机视觉技术,帮助聋人。实现将其信息传递给听者,“这样既能提高沟通效率,又能让沟通体现人文关怀。双向实时翻译,项目真正落地。”

图片[1]-央视新闻AI手语主播“上岗”为听障人士提供实时手语翻译-老王博客

手语中“说”的词序与听人习惯的汉语词序不同。有相对独立的语法体系,手语表达丰富。要“说”出一个意思完整的句子,除了手势外,还应搭配相应的表情,甚至肢体动作。因此,要让人工智能成为合格的手语翻译者语音数字编码技术思维导图,就需要将视频中的手势、表情、大体动作等转化为数据,然后“教”给计算机进行学习。此外,为了让手语主播在新闻场景中实时生成手语,跟上新闻播出的速度,团队还“教”了电脑“学习”自己提取主要信息,同时完善与体育、新闻相关的专业语料库,按照听障人士的语言顺序,不断调整手语的语速、停顿等,让手语的意思可以准确表达。

“我们为为冬奥会服务而感到荣幸和自豪。”袁天天说,研发团队已经为冬奥会翻译了百万级的日用翻译和10万级的独家翻译。冬奥会、冬奥会特色手语动作经过多次打磨,力求为手语主播提供尽可能丰富的语料库支持,为听力提供专业准确的手语翻译——受损。 “本届冬奥会是手语的实现。识别实施的第一步,我们致力于实现手语识别项目的多场景落地语音数字编码技术思维导图,帮助听障人士和听力人士无障碍沟通,并延伸这项技术应用于环境感知、微表情分析等诸多领域。”

© 版权声明
THE END
喜欢就支持一下吧
点赞0
分享
评论 抢沙发

请登录后发表评论