IVAS:多功能沉浸式语音及音频编解码器

作者:华为2012实验室媒体标准与编解码部 王喆 责任编辑:王鹤迦 2023.10.23 16:20 来源:通信世界全媒体

通信世界网消息(CWW)在EVS(Enhanced Voice Services)标准完成后不久,3GPP TSG SA WG4(The 3rd Generation Partnership Project TS GSA WG4)委员会就启动了IVAS(Immersive Voiceand Audio Services)项目,目标是开发一个支持语音和音频实时沉浸式通话的编解码标准,并具备多模式及多比特率的特性以适用于5G网络。经过6年开发,该项目于2023年8月在瑞典哥德堡举行的SA4125会议上正式确定了IVAS编解码标准。本文对IVAS编解码技术标准及其一些商用案例进行简介。

IVAS编解码器简介

IVAS编解码器是一个支持低时延语音和音频编解码及渲染的系统,能在5G网络特性下实现立体声或实时沉浸式语音及音频通信。它包括编码器、解码器、渲染器,以及支持立体声和沉浸式音频格式相关的几个辅助功能。IVAS满足了3GPP对该标准提出的所有技术需求。

IVAS编解码器是3GPP EVS编解码器的扩展,在单声道语音或音频信号输入模式下,能够提供完整的EVS编解码器功能,并保证比特的一致性。

IVAS支持多声道音频(MC)、基于场景的音频(Ambisonics)、基于元数据的空间音频(MASA)、基于对象的音频(ISM)等立体声及沉浸式音频信号的编码和解码,并可实现立体声和沉浸式对话语音的非连续传输(VAD/DTX/CNG),进一步有效地降低带宽。

为降低传输错误和丢包损失的影响,IVAS支持误码错误掩盖或缓解机制,降低误码对通信质量的影响,同时还提供抖动缓冲管理机制。IVAS编解码器帧长是20ms,并可以以5ms的粒度进行渲染处理。

IVAS支持的码率为:13.2、16.4、24.4、32、48、64、80、96、128、160、192、256、384及512(kbit/s),并可以通过指令控制进行码率切换。

IVAS编码器的输入信号为单声道、立体声/双耳信号、对象、多声道、Ambisonics、MASA,以及对象和MASA的组合或对象和Ambisonics的组合等音频信号。如果是对象或MASA,则还需要输入元数据,再使用中编码器对场景进行分析,导出空间音频参数,将输入通道降阶并混合到传输通道,随后由编码模块进行处理。这些编码模块包括单通道模块(包含一个核心编码器)、双通道模块(包含两个核心编码器)和多通道模块(包含多个核心编码器的联合编码),而核心编码器源于EVS编码器,并具有额外的灵活性和可变的比特率,IVAS编码器数据流如图1所示。

image.png

图1 IVAS编码器数据流

IVAS解码器对接收到的码流进行处理,支持单声道、立体声、多声道、FOA、HOA 2、HOA3、双耳渲染或带有房间效果的双耳渲染格式的输出音频信号,IVAS解码器数据流如图2所示。

图2 IVAS解码器数据流

IVAS编解码器支持的典型业务场景

IVAS编解码器的低时延特性能支持未来实时沉浸式交互会话业务,本文介绍两个典型业务场景。

第一个典型业务场景是沉浸式音频通话分享。在A、B两个参与者之间建立基于IVAS标准的音频呼叫,刚开始用EVS单声道模式,在通话过程中,具有沉浸式音频捕获能力终端的参与者A希望与对方分享其环境声场体验(氛围/环境音),以丰富对话效果。参与者A通过简单配置调整,将空间声音场景传输给参与者B并通过其接收端解码加渲染实现声场重现。

第二个典型业务场景是沉浸式远程课堂或会议。多个参与者用支持立体声/多声道渲染或双耳渲染的设备互联。对于具有3自由度能力的参与者,其在虚拟教室中只能改变方向,而位置是固定的;具有6自由度能力的演示者具备在虚拟教室中改变位置和方向的能力。在此场景中,教师/演示者和一个或多个学生/参与者可以在现实环境中自由移动,但学生/参与者只能作为3自由度参与者在虚拟教室中的预定位置参与交互。虚拟教室中的这些预定义位置类似于现实教室中的座位,由教师/演示者事先安排好;学生/参与者可以选择他们想在课堂/会议室想坐的位置,但课程/会议开始后,位置不能更改。教师/演示者可以作为在虚拟教室/会议室内移动的6自由度组织者与其他参与者进行交互。该应用场景能增强远程课堂/会议的沉浸感,提高学生/参与者在一定时间内的学习兴趣或参与注意力。

IVAS编解码器特性和后续计划

IVAS支持多模式运作,每种模式都支持多个离散的比特率,因此IVAS标准实现的语音/音频质量跨度比较大,这也将是IVAS在完成标准化前需重点测试的特性。

一般来说,在较高的比特率下,语音/音频质量往往是透明或接近透明的,而在中档比特率范围IVAS实现了质量与带宽的折中,即使在苛刻的网络条件下,IVAS也能在低比特率范围维持一定质量的基本服务。

2023年9月,3GPP SA更高级别的委员会批准了SA4对IVAS编解码器标准的选择,使其正式成为标准;到第四季度,SA4将准备IVAS的特性测试,并开展IVAS编解码器标准规范的撰写工作。2024年第一季度,SA4需要完成所选IVAS编解码器的定点代码开发,并启动特征测试,SA批准一部分相关的规范;到第二季度,SA4和SA需要先后批准特征测试结果和完整规范集的其余部分,最终完成IVAS编解码器标准的开发工作。

通信世界网版权及免责声明:
1、凡本网注明“来源:通信世界全媒体”及标有原创的所有作品,版权均属于通信世界网。未经允许禁止转载、摘编及镜像,违者必究。对于经过授权可以转载我方内容的单位,也必须保持转载文章、图像、音视频的完整性,并完整标注作者信息和本站来源。
2、凡本网注明“来源:XXX(非通信世界网)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。
3、如因作品内容、版权和其它问题需要同本网联系的,请在相关作品刊发之日起30日内进行。
发表评论请先登录
...
热点文章
    暂无内容