VR 音频：全景声的制作与应用

作者：Glenn Forsythe

编译：Hotwill

幸运的是，所有的全景式概念和软件都可以和我们现有的宿主软件环境相结合。就软件上来说，G’Audio Lab 就创造了一款名为 Work 的全景声插件，这款插件提供 360 视频功能，并且与 Pro Tools 无缝衔接。

Work 插件的工作方式就是让你一边看一边进行全景声定位，所有的 Object 可以在一个单一的插件窗口中进行定位。Work 采用了一种相当巧妙且精简的插件架构 —— 每一个轨道都可以加载 Slave 插件，而所有加载 Slave 插件的轨道都可以在一个 Master 插件上进行控制，并且可以通过一个 Quicktime 视频来编辑这些轨道。Work 插件使用的是 Pro Tools 的视频引擎，支持载入单声道视频和立体声视频，然后你就能从视觉上看到声音走向。

这样的工作流程绝对是事半功倍的 —— 你可以在熟悉的环境下实现音频和视频的同步，同时还能够对声源进行定位，对音轨进行混缩，甚至还能进行自动化控制。Work 插件通过不同颜色的点代表不同的声音元素，你只需要在 Quicktime 视频上对这些点进行拖拽即可进行操作。

用户可以有两种可以选择工作视角：2D 和 HMD（头戴式第一人称视角）。在 2D 模式下操作 360 视频有点像地球变成地图的概念，你可以在一个平面上很简单的控制物件的方向。

它的配置方式也很简单。无论是单声道、立体声、四声道或是环绕声音轨，你都可以在 Pro Tool 使用 Master 插件进行全局控制，然后在需要进行控制的轨道上加上 Slave 插件即可，然后所有的轨道都会在双声道引擎里进行渲染，而你所需要做的就是在 Master 插件当中决定这些声音元素在声场空间中的位置。如果你想让视频包含声音的动态，只需要打开自动化参数控制，然后就可以对声音元素的运动方式进行绘制即可。

它的自动化控制提供了多种参数控住，包括水平移动和高度位置以及距离控制，这些都能让声音的移动变得容易。

剩下的其他工作流程就和你平时使用 Pro Tools 工作一样。对音频进行编辑，使用压缩和 EQ，当然还有你常用的那些 DSP 效果器。在空间音频定位工作中最重要的是全景声音频和 360 视频的契合度。因为最后的结果是交互的，所以最好的方式就是切换到 HMD 第一人称视角进行检查。如果某一个 Object 的声音过大，你可以直接在 Master 插件中使用通道推子进行调整（由于 Pro Tools 本身的音量推子动态是进行预先渲染的，因此它并不会包含在全景声音频文件当中）。

笔者发现，通过调整插件内的 Distance 距离推子来控制音量能够带来更好的效果，同时还能带来贴近现实的距离感。当然记得用一只眼睛盯着总线参数，始终保持足够的 Headroom（至少 6dB，很多组件和声源在接近 0dBFS 时会变得浑浊甚至爆音）。

另外一个很重要的功能就是你可以选择使用 G’Audio 的 GA5 或者 FOA (First Order Ambisonics) 格式进行监听。其中 FOA 是目前主流媒体平台通用的格式，像 Youtube 和 Facebook 这样的公司都在使用。如此一来你就能够更好的了解你的混音在上传之后的效果。

如果你对作品感到满意，你可以直接在 Pro Tools 进行导出。你既可以导出全景声音频格式文件，然后单独与 Quicktime 视频在进行转码，或者你可以直接在 Pro Trools 当中直接转码。

有一点需要注意的是，如果你从 Pro Tools 导出的是正常的音频格式，那么音频只会是双声道的，而无法满足 VR 的全景声需求。

现在我们假设你已经把全景声当中的音乐元素都安排得明明白白了，每一个元素都与视频中的动态完美配对，但这时候影片制作人还想要添加一个背景音乐。你在背景音乐所在的立体声轨道上增来家了一个 Slave 插件，然后理所当然的它也会出现在 Master 插件当中。当你打开人头定位时，你会发现这个音乐轨道也被安排进去了。当然我们并不想要它被这样安排，那是不是我们把这个轨道进行Head-Locker 人头锁定，就可以避免交互作用？

其实在 Works 插件中处理这个问题特别简单，每一个轨道都有一个单独的 bypass spatial rendering 开关，关掉之后音轨就不会进行全景声渲染。这个方法尤其适合背景音乐、唐白直面观众的声音，通常这些声音并不要求视觉上的注意力，又或者根本不需要引起注意。

虽然这在宿主软件中很容易进行控制，但空间音频的播放又是一个很让人头疼的问题：到底这些空间音频要在哪被播放呢？

笔者已经保证制作空间音频是很简单的，它的制作过程是相当简单且有趣的。唯一需要让人头脑风暴的是，最终媒体输出的目的地。

空间音频的格式可以说现在处于一个西部狂飙的阶段，并没有一个标准的媒体格式被建立。G’Audio 对于这个问题的回应就是 GA5, 这是一种能够保证高质量且保持灵活性的方式，同时还结合了全景声、头部定位的通道信号。

由于不同的平台采用了不同的播放器和编码，所以空间音频的渲染方式也会有所不同。SOL 就是 GA5 格式的渲染引擎，它可以说是播放 GA5 效果最好的播放器。如果你有 Gear VR 设备，你在 Oculus 商店免费下载 G’Player，这是一个整合了 SOL 的 360 媒体播放器。

尽管他们的全景声渲染技术已经可以支持全平台，但是 HMD（头戴式第一人称视角）和媒体平台还有很长的路要走。像 Facebook 和 Youtube 这样的平台对于全景声音频的上传还处于一个比较初期的阶段，这两个平台都有一定的区别和限制。

由于 Ambisonics B-format 格式中存在空间编码，所以目前它被很多 360 媒体采纳，但这个格式其实有很多潜在的问题。首先，在立体声场中它只能对 4 个音轨进行 “第一级全景声” 处理，这就意味着，任何被摆放在球形声场外的 Object（想象一下极性模式），它们的全景声效果都会被削弱。

也许你已经听过 Higher Order Ambisonics，这可以说是一个增加音频空间的方案了。在 HOA 当中，每一个音序序列都增加了更多的球形声场空间，更高的排序增加了更多的通道，比如第二层有 9 个通道，第三层有 16 个通道。虽然 Pro Tools HD 12.8.3 目前已经支持 3OA，但目前并没有任何一个平台可以播放。虽然全景声是一种用来记录 3D 音频的理想方式，但希望它的输出格式能够没有这么多限制。