声学顶会!网易云信2篇音频论文入选INTER-NOISE 2021

发表时间: 2023-12-31 18:15:05 来源:工程案例

  ,引起了从业者的强烈关注。与会者认为,随着 AI 应用的不断加深,音视频处理技术会随之提高,将带动产业朝着高质量方向发展。

  在大会期间,网易云信音频算法专家郝一亚博士连续两天发表论文演讲,进一步阐释网易云信在将 AI 深入应用音视频方面所做的努力和尝试,探讨 AI 助力音视频技术发展的可能性,并表示愿意与业内同仁共同进步,推动音视频技术的长足发展。

  国际噪声控制工程大会(INTER-NOISE)是由国际噪声控制工程学会(I-INCE)主办的系列国际学术与技术交流大会,是物理声学历史最悠久的国际学术会议。主办方 I-INCE 成立于1974 年,由代表着噪声控制专业的国际专业协会和机构组成,目前成员包括来自40多个国家的50多个组织。

  作为知名国际专业会议,INTER-NOISE 大会每年在美洲、欧洲和非洲以及亚太地区轮流举行,主题聚焦在世界各地的噪音控制问题上,并且因其专业性与覆盖范围而有着非常大影响力——比如1972年在华盛顿第一次召开时,美国噪音控制法案(US Noise Control Act)正在审议之中,与会人员的积极交流和呼吁推动了后续法案的通过。

  随着技术和各项基础能力的发展,现在的音频技术关注点和几十年以前,甚至十几年以前都有很大差别,噪声控制在现在及未来该怎么样发展,发挥怎样的作用都是近年来在着重思考的问题,2019 年的会议主题是“噪声控制工程的影响”,2020 年的主题则是“噪音控制以改善环境,噪音和振动控制技术的进步”。

  本届大会继续由 I-INCE 发起,美国噪声控制工程学会(INCE-USA)和 Pro Acustica (巴西)共同主办,美国声学学会、SAE 国际、西班牙声学学会和韩国噪声与振动工程学会参与联合举行。

  虽然因疫情原因,今年的活动只能以线上方式来进行,但大会还是进行了精心的策划和准备——包括在第一届会议活动地点举办仪式,纪念自 1972 年第一届国际噪声大会以来噪声控制取得的 50 年进展,以及通过聚焦的议题展望和推测未来 50 年可能取得的成就,会议主题也定为“噪声控制的下一个 50 年”。

  作为会议最重要的事项之一,本届大会按照已有的严格文章审核流程和标准——由三位细致划分领域的专家匿名交叉审核,最终再由Technical Chair最终选拔——收录了来自25 个国家和地区的作者的635 篇学术论文。

  第一篇论文聚焦在AI 抑制“瞬时噪声”的问题,“瞬时噪声”是指键盘声、敲门声等这类突发性的声音。

  网易云信音频实验室针对 RTC 场景,成功研发落地了轻量级的、适合全平台终端的 AI 音频降噪算法。该算法使用了优化的谐波相关性(Modified Harmonic-Correlation),和独创的损失函数(Loss Function),在一个 RNN(Recurrent Neural Network)模型上进行训练。在终端运行时,算法结合了网易云信自研的 NENN 推理框架,在大幅度的提高降噪效果(SNRI and Speech Quality)的同时,保持了一个极低的运算复杂度。

  整体而言,网易云信研发的 AI 音频降噪算法同时兼顾了算法效果和计算开销,不仅适合实时处理,还能落地到各种运算能力有限的终端设备中,能应用在包括会议场景、语聊房场景等目的仅为语音通话的场景中。目前,该算法已经应用在网易 POPO、网易有道乐读等具体的场景,并取得良好的效果。

  通常来说,WebRTC 在音频处理中,大量的算法都是针对 Speech 信号进行设计,整体是一个 Speech EnHancement 系统,但是在 RTC 的场景中,有用信号(Desired Signal)不仅仅只有 Speech,还有一种常见信号就是音乐(比如音乐主播、音乐教学等场景中)。

  网易云信落地国内行业中首个 AI 音乐训练检测模型,这是结合了自研的帧间频域特征和一个轻量级神经网络,训练出了一个音乐检测率高、鲁棒性强、且计算开销小,适合在各个端侧落地的 AI 模型;通过对环境声音的检测,区分出音乐和非音乐场景,并基于此先验信息,对 RTC 中音频 APM 处理进行有明确的目的性的调整,在保证语音信号质量的同时,大幅度提高音乐信号的质量,能应用在包括音乐教学、音乐直播等目标传输信号包含音乐的场景中。

  本次两篇论文被业内顶尖学术大会期刊收录,证明了网易云信音频实验室厚积薄发的技术实力:不仅能在国际上被同行认可,前沿技术获得突破,还能通过具体的场景发挥技术的价值,带领行业不断向前。

  从行业角度看,RTC 行业发展至今已经有二十年左右的时间,从小众产品变成几乎人人都会接触到的巨大产业,自然也带来激烈的市场之间的竞争。随着行业逐渐成熟,粗放的市场环境过去之后,谁能带给用户更好的体验谁就具有核心竞争力,技术的重要性越来越突出。

  另外,实时音视频技术个性化场景要求慢慢的升高,应对的环境也愈加复杂,传统的技术已很难有大的优化空间,所以实时音视频企业倾向于成立 AI 实验室或 AI 项目组,专门负责 AI 在音视频中的应用研究,为客户提供更便捷、易用、专业的音视频服务。

  作为行业内首批音视频 AI 实验室之一,网易云信音频实验室自成立之初便秉承“把身临其境的音频感受带给用户”的使命感,不断把握前沿技术方向,攻克业内最难的技术瓶颈,将行业顶尖技术应用到产品中,进而实现使用者真实的体验的全面升级。

  当前,网易云信音频实验室拥有9 名核心成员,来自北大、中科院、南大、中科大等国内外顶尖高校及科研机构,100%拥有硕博学历。

  实验室重点研究 RTC 产品相关的音频处理技术,例如回声消除、降噪、自动增益控制等通话中长期应用的算法。同时,对最新技术方向也保持关注,例如空间音效、基于统计机器学习和深度学习的AI降噪、场景检测、啸叫检测等。

  自成立以来,网易云信音频实验室除了保障产品的算法研发和优化需求之外,已提交专利数十项,获得网易集团创新奖的「0-1 创新奖」。此次两篇论文被 INTER-NOISE 2021 的收录更是进一步奠定了网易云信在音频技术领域的领军者地位。接下来,网易云信音频实验室将在基础算法、模型方面加强研究,结合具体行业和应用场景,以技术创新引领产品创新,以技术升级驱动使用者真实的体验升级。



最新文章