研究ノート

シーンベースのVR音響における上下定位の再現性向上に関する研究
Research Related to Improving the Reproducibility of Vertical Localization in Scene-based VR Audio

坂本 昭人

SAKAMOTO Akihito

デジタルハリウッド大学 助教
Digital Hollywood University, Assistant Professor

シーンベースの VR 音響を用いた音楽制作において、上下定位の再現性を向上させることに関する研究である。360 度動画の視点移動に連動し定位変化する音源の VR 音響化において、左右の変化は比較的分かりやすく再現できることに対し、上下移動に伴う定位の変化は分かりにくい。そこで、VR コンテンツを再生するプラットフォームの仕組みを分析し、その条件下において、従来よりも上下定位の変化する様が認識しやすくなるような制作技術を構築し、これにより再現性を向上させることを目的とする。
キーワード：VR 音響、Spatial Audio、Ambisonics、音楽制作、定位

1. 背景と目的

上下 90 度に視点移動させた状態で再生した音の変化量を比較する。
この差分が大きいほど聴感上でも違いが分かりやすくなることから、VR コンテンツが広く普及してきた今日において、その代表的な表再現性の向上としていく。

現手法のひとつに 360 度動画がある。
360 度動画の特徴のひとつは、視聴者が自由に動画像を視点移コンテンツ制作には、VR 音響の音楽制作ワークフロー「シーン動させることに連動し定位等が変化する音である。この再現には、ベースの VR 音響においてスタンダードとなり得る音楽制作ワークフローの構築」[2] を用いる（図 1）。

Spatial Audio や空間音響と呼ばれる音専用の VR 技術が用いられ、その中でもシーンベースの仕組みを用いた制作が多い。シーンベースとは、視聴者の立ち位置を各音源の中心とし、視点移動に応じ音2Mix（ ステレオ）音源制作響が変化する仕組みのことで、360 度動画と相性が良い。そこで本

従来の楽曲制作手法研究では、シーンベースの空間音響システムをVR音響と定義していく。
従来においても VR 音響の制作ワークフロー、そしてそこで作らAmbisonics化れたコンテンツを再生するプラットフォームは存在する。しかしながら、これらの環境下で再現されるコンテンツの特徴として、左右のSpatial Workstation（VST）プラグインを用いた編集

視点移動に伴う音の定位変化は分かりやすいが、上下視点の移動に伴う音の定位変化が分かりにくいことが挙げられる。そもそも人はAmbisonics音源と360度動画の統合

左右に比べ上下の変化を正確に認識しにくい特質を持っているが [1]、別の要因のひとつとして、Web プラットフォームに VR コンテンツ

FB360 Encoderプラグインを用いた編集をアップロードする際、独自のエンコードがなされることで、そこメタデータの付加・アップロードで指定された仕様に沿った再生表現に変わってしまうことが考えられる。

Spatial Media Metadata Injectorソフトウェアを用いたメタデータ付加

そこで、再生プラットフォームの上下定位における可変システムを分析し、その仕組みを活用した制作ワークフローを構築することで、上下の視点移動に伴う音の変化という点における再現性を向上して

図 1：音楽制作ワークフロー概念図

いく。
また、本研究における音の変化の測定には、音の大きさを表す音

本研究では、コンテンツを VR 音響化するために、Ambisonics の圧の値を用いる。上下軸角度が0度となる正面定位（以下、正面定位）形式を活用する。Ambisonics とは、音響空間を再現するためのテでの音圧と、上下軸角度− 90 度となる底面定位（以下、底面定位）、クノロジーである。空間の中心点で全指向の情報（W）を取得し、そまたは、上下軸角度が +90 度となる頂点定位（以下、頂点定位）でこから前後（X）、左右（Y）、上下（Z）それぞれの位置情報を計測処の音圧を比較し、変化の値が増大することで再現性向上としていく。

理することで、360 度の音響情報を再現する。

2. 先行研究と仮説

Ambisonics 化する 時であ る。ここで、360 度 の 動 画 像 に 合 わ せ、実 際 に 音 の 定 位 設 定 を す る の は、 音 源 を あ る 程 度 作 り定位を設定することで、視点移動に連動した音の変化を再現するこVR 音響の定位を設定する際は、対となる 360 度動画の描写に合とができる。コンテンツが完成した後は VR 音響が再生可能なプラッわせることが多い。ボーカル音源の定位を設定する場合は、ボーカトフォームにアップロードすることで自動的にエンコードされ、VRリストの口元に定位を設定するというように、左右、そして上下の音響をステレオ環境で聴くことができる仕組みになる。このコンテ定位が視覚的、聴覚的にずれることのないよう留意する。この制作

ンツを再生し、上下軸において複数の定位で変化する音圧を調べる

フローで構築された VR コンテンツを再生し、視聴視点を上下に動ことで、全体あるいは特定の周波数において値の変化が生じると考かさない上下軸角度0度となる正面定位の音圧を基準値としながら、©︎2020 Digital Hollywood University

40

DHU JOURNAL Vol.07 2020

える。特に特定の周波数による音圧変化に期待する。周波数ごとにWorkstation（VST） - macOS - v3.3.3 の「FB360 Spatialiser

音圧が変われば、任意の周波数において音の大きさを変化させるエ（ambiX）（Two Big Ears）（16ch）」（ 以 下、FB360 Spatialiser）

フェクト機能であるイコライザー等を使うことができ、制作時においと、「FB360 Control（ambiX）（Two Big Ears）（16ch）」（以下、ては、変化が著しい周波数を事前に目立たせるよう調整することがFB360 Control ）、「FB360 Encoder」を使用する。

でき、上下の定位が変化した際の再現性を向上させることができる。

FB360 Spatialiser は、 実 際 に 定 位 を 調 整 し たり、 音 源 を向上を定義するための具体的な数値検証については、音源から発Ambisonics 化するた め に 使 用する。また、Ambisonics 化 され た生する音のパワーを表す音響パワーレベルという観点で見れば、2音源をそのままステレオ環境の DAW で再生しても正しい定位が再倍の変化を示す 3dB を超す値を基準としていく。

現されないため、FB360 Control を用いて、ステレオ環境におけ

また、ここで分析した結果をワークフローに反映させ、そのプラッる正しい定位のモニタリングをする。そして、ここで制作した VR 音

トフォームのための新しい制作手法を構築していく。

響コンテンツと 360 度動画を統合するために、FB360 Encoderを使用する。

3. 検証（4）ソフトウェア

3.1 概要左右の定位は一定とし、上下の定位変化を比較していく。具体的

VR 音響のファイルに YouTube の仕様に合わせたメタデータを付には正面定位を基準とし、そこから− 90 度下に視点移動させた底面

加 するた め に Google の 提 供して い る「Spatial Media Metadata

定位と、基準から＋ 90 度上に視点移動させた頂点定位における再生

Injector」を使用する。

音の変化を比較する。こうすることで、正面定位からの変化量を比較し、変化量が多いほど再現性の向上が確認できる。計測には、各3.3 再生環境

周波数における音圧の変化を測定するスペクトラムアナライザーを（1）ブラウザ
こち ら も YouTube の 仕 様 に 則り、Google の 提 供 する「Google用いる。尚、検証結果が分かりやすいよう、今回は全て Lch（左チャンネル）の信号で検証する。

Chrome（バージョン 84.0.4147.89）」を使用する。

3.2 制作環境（2）録音ツール

本 研 究 に お け る VR コ ン テ ン ツ の 再 生 プ ラ ット フォ ー ム はYouTube 上の音を Web 上で再生し、それをリアルタイムに DAWYouTube を使用する。ここでは、次のような最小要件が指定されて上で測定することはできるが、マシン負荷または回線の安定具合にいる [3]。

よる測定精度の低下、また、比較のための細かい再生設定等の利便性向上のため、視点移動させた状態でコンテンツを再生し、こ（1）メタデータがファイルに追加されている。

れを DAW に取り込みオフラインで測定する。取り込みにはオープ（2）使用している音声トラックが 1 つだけである。

ンソースであ る「Soundflower（ バ ージョン 2.0.b2）」を使 用する。

（3）空間音声にアンビソニックス（AmbiX）形式が使われている。

YouTube で再生される音を Soundflower を用いて出力し、DAW 側（4）1 次アンビソニックス（FOA）がサポートされている。

では入力設定を Soundflower にすることで、信号の伝達経路を確保（5）ヘッドロックステレ オ を組 み 合 わ せ た 1 次アン ビ ソ ニックス

する。この状態で録音することで、外部機器等を用いたアナログ録音よりも劣化の少ないデジタル録音を可能とする。本研究における（FOA）がサポートされている。

YouTube からの録音は全てこの形で行うことで録音状態の均一化を図る。

これらの条件を満たすVRコンテンツ制作のための環境で実施する。

3.4 検証環境（1）コンピュータ

スペクトラムアナライザー（以下、アナライザー）

特別な設定あるいは高機能なマシンスペックは必要とせず、また20Hz から 20kHz の周波数帯において測定が可能で、かつ、2 つWindows でも Mac でも可能とする。今回使用したコンピュータは下の音源を同時に比較でき、さらに、AAX や VST 等のプラグイン形式

記の通りである（制作、再生、検証で共通）。に対応し、今回の DAW でも使用することができることから、BLUECAT AUDIO が提供する「Blue Cat's FreqAnalyst」を使用する。

本体：MacBook Air
OS：macOS High Sierra
プロセッサ：1.7GHz Intel Core i5

3.5 比較検証

メモリ：4GB 1600MHz DDR3（1）一般的な定位設定で構成された楽曲での比較
ここでは 6 個のトラック（音源）で構成された、坂本音響塾で制作

グラフィックス：Intel HD Graphics 400

した楽曲「K（仮）」[4] を使う。各トラックの定位は動画像に従い次のように設定している（図 2）。尚、上下させる定位の角度は VR カメ（2）DAW (Digital Audio Workstation)

ラのレンズ位置となる上下軸角度 0 度、つまり正面定位とし、それ

今 回、VR 音 響 を 制 作 する た め に、1 次 Ambisonics の フォ ーより下に移動すれば−に、上に移動すれば＋として表される。

マットで制 作 をしていく。1 次 Ambisonics では 1 つ のトラックにおいて、4 チャンネルの録音や再生ができる機能を必要とする。また、Ambisonics 化するためには AAX や VST 形式に対応したプラ

ドラムの上下軸の設定角度：− 21.3 度

グインを用いる。そこで、Cockos によって開発された「REAPER

ベースの上下軸の設定角度：− 13.7 度

Version 6.12c」を使用する。

ギター 1 の上下軸の設定角度：− 10.3 度（3）プラグイン

シンセサイザーの上下軸の設定角度：− 40.5 度

ギター 2 の上下軸の設定角度：− 32.3 度
ボーカルの上下軸の設定角度：− 4.8 度

2Mix 音 源 を Ambisonics 化 し、 動 画 像 を 見 な が ら 定 位 を 設 定
す る た め、Facebook が 提 供 して い る Facebook 360 Spatial©︎2020 Digital Hollywood University41

DHU JOURNAL Vol.07 2020このことから、上下の定位変化に伴う周波数ごとの変化が確認できる（図 3）（図 4）。
（2）正面定位に設定したホワイトノイズ音源を用いた比較
次に、周波数ごとの変化の値をより詳しく把握するため、全ての周波数でおおよそ同じ大きさで再生されるホワイトノイズを用い、これを正面定位（0 度）に設定することで比較をしてみた [5]。左右の定位は 0 度としている。尚、比較対象とする周波数帯はこれまでと同様とする。
正面定位を基準とした底面定位での主な変化値
図 2：楽曲「K（仮）」音源における定位の設定画面

22Hz で 4dB 減少
100Hz で 4dB 減少

動画に合わせていることから比較的上下軸の角度を 0 度付近に設

450Hz で 4dB 減少定しているものが多い。これを VR コンテンツとして再生した時の、1.4kHz で 4dB 減少

正面定位および底面定位、頂点定位で違いを測る。また、計測す11kHz で 4dB 減少

る範囲は全ての楽器（音源）が鳴るサビの部分、1 分 12 秒から 1 分19 秒の約 4 小節分とし、その間のアナライザー変化値の最大値で正面定位を基準とした頂点定位での主な変化値計測する。計測値に違いが出た主な周波数における値は下記の通り

22Hz で 3dB 減少

である。

100Hz で 3dB 減少
450Hz で 3dB 減少

正面定位を基準とした底面定位での主な変化値

1.4kHz で 3dB 減少

22Hz で 4dB 減少

11kHz で 3dB 減少

100Hz で 2dB 減少
450Hz で 2dB 増加

このように、全周波数帯で変化量が同じとなる結果であった。こ1.4kHz で 3dB 減少の現象は、左右に視点を変え、その上で、正面定位、底面定位、頂11kHz で 5dB 増加

点定位を比較しても同様である。
さらに正面定位の音源が複数になっても同じ現象となった [6]。
しかし、楽曲を用いた検証では周波数ごとの変化が見られたことからこの矛盾を考察すると、両者の違う点として、元々設定した上下軸の設定角度の差が要因の一つとして考えられる。楽曲では動画像に合わせた定位設定のため正面定位（0 度）のものはなく上下軸の角度が付いている状態である。一方でホワイトノイズを用いた検証では、全て上下軸の設定角度が 0 度である。このことから、YouTubeの仕組みは、上下軸における定位の移動では特定の周波数に関わらず、全周波数において一律に音圧が変化し、元々音源が定位する場所によってこの増減の値が変化するという新しい仮説ができる。

図 3：正面（青）と底面（赤）定位における周波数特性（3）上下軸の角度を付けた設定のホワイトノイズ音源を用いての比較
新しい仮説を受け、再びホワイトノイズを使用し、制作時点で正面正面定位を基準とした頂点定位での主な変化値定位でない、上下軸の角度を付けた状態で検証した [7]。

22Hz で 2dB 減少
100Hz で 3dB 減少

ホワイトノイズの上下軸の設定角度：− 45 度450Hz で 2dB 減少
1.4kHz で 3dB 増加

正面定位を基準とした底面定位での主な変化値

11kHz で 8dB 減少

22Hz で変化なし
100Hz で変化なし
450Hz で変化なし
1.4kHz で変化なし
11kHz で変化なし
正面定位を基準とした頂点定位での主な変化値
22Hz で 5dB 減少
100Hz で 5dB 減少
450Hz で 5dB 減少
1.4kHz で 5dB 減少
11kHz で 5dB 減少

図 4：正面（青）と頂点（赤）定位における周波数特性©︎2020 Digital Hollywood University

結果、ホワイトノイズを正面定位に設定し比較した検証と同様に、

42

DHU JOURNAL Vol.07 2020

周波数ごとによる変化は見られないものの、元々設定した角度からベースの上下軸の設定角度：ー 12.4 度の距離が遠くなる頂点では音圧が低下し、元々の定位から距離の絶複製した同じベースの上下軸の設定角度：− 90 度

対値が変わらない底面では音圧に変化が見られず、新しい仮説を証

ギター 1 の上下軸の設定角度：＋ 17.9 度

明することができた。

複製した同じギター 1 の上下軸の設定角度：＋ 90 度

（4）視点移動に伴う音圧変化を優先し設定した楽曲での比較
この原理を利用し、楽曲において、上下の視点移動に伴う音圧の変化が現れるよう制作に反映する [8]。ここでは結果を分かりやすくするため、低音域（90Hz 付近）を基音とするベースと中音域（550Hz付近）を基音とするギター 1 の 2 つの楽器のみを使用する。両音源とも正面定位を避け、動画像に準じつつも上下どちらかにやや寄った設定で検証している。2 つの上下軸の定位角度は下記のような設定である。尚、ここでいう基音は両楽器ともアナライザー測定において最も音圧値の高い値から定義している。
ベースの上下軸の設定角度：ー 12.4 度
図 5：同じ音源を 2 つ使用した上下定位の設定画面

ギター 1 の上下軸の設定角度：＋ 17.9 度

このように、元々の楽器は動画像に準じた定位設定とし、複製し正面定位を基準とした底面定位での主な変化値

た同じ音源を、ベースは底面定位となる− 90 度に、ギターは頂点22Hz で 2dB 増加定位となる＋ 90 度にしている。尚、音源が倍増したことで全体の100Hz で 1dB 減少

音圧も上がることから、本検証ではピークオーバー防止のため全て450Hz で 2dB 減少の音源を− 6dB 程減少させているが、本研究では正面定位からの1.4kHz で 1dB 増加変化量を比較するため、全ての音源が一律で変化していれば問題ない。

11kHz で変化なし

その他、音質やタイムライン、左右等の設定はこれまでと同じである。

正面定位を基準とした頂点定位での主な変化値

正面定位を基準とした底面定位での主な変化値

22Hz で 2dB 減少

22Hz で 4dB 増加

100Hz で 3dB 減少

100Hz で 2dB 増加

450Hz で 1dB 減少

450Hz で 3dB 増加

1.4kHz で 2dB 増加

1.4kHz で 1dB 減少

11kHz で変化なし

11kHz で 4dB 減少

このように、元々底面寄りに定位設定したベースの低音域成分が正面定位を基準とした頂点定位での主な変化値底面定位では増加したり減衰量が控えめとなり、元々頂点寄りに定22Hz で 4dB 減少

位設定したギターの中音域成分が頂点定位では増加したり減衰量が100Hz で 3dB 減少控えめとなる結果となった。ここでは、元々の上下軸の定位角度を450Hz で 4dB 増加20 度以内と控えめにしていることから、アナライザーによる変化

1.4kHz で 4dB 増加

量も小さいものとなっているが、ほとんど変化の見られなかった正11kHz で 2dB 増加

面定位の検証とは、明らかに違いが出ていることが確認できる。このことから、YouTube における VR 音響処理の仕組みは、設定する

このように、底面に行くほどベースの基音となる低音域の周波数上下軸の設定角度による音圧の変化は周波数に関係なく一定である帯が強調され、中高音域は目立たなくなり、頂点に行くほどギターが、元々設定した上下軸の角度がこの変化に影響を与えることが分の基音となる中音域の周波数帯が強調され、低音域は目立たなくなかり、そして、この仕組みを利用することで、意図的に変化量を調る結果となった。変化量においても、上下の定位を 20 度以内とし整することができるようになった。て検証した数値よりも大きくなっており、再現性の向上を確認することができる。

3.6 新しい制作手法
プラットフォームの仕様が確認できたことから、この仕様を用い、4. 結果と考察より再現性が向上する制作手法を構築する。
これまでの検証により、上下軸の定位変化による左右の定位またYouTube 上における VR 音響の再生仕様は、周波数に関わらず一定は音質の変化は見られない。そして、上下軸の定位変化は、元々のに増減するが、元々の音源定位によりその度合いは変化する。そこで、上下軸の設定角度からの距離により増減されることが確認できてい制作時において上下の定位に差をつけておくことで、再現したい上下る。そこで、音源を複製し同じ音源を 2 つ使用することで、正面定の定位の変化における音の変化を事前に調整することができる。

位における本来の音質や音量等の楽曲バランスを担保しつつ、上下さらに、同じ音源を複製し、1 つは本来の動画像に準じた定位、の視点移動による音圧の変化を大きくすることで再現性の精度向上

もう 1 つは上下の定位変化時に作用する定位と分けることで、制作を目指す（図 5）。具体的には、複製元となる音源は従来通りの制作時における細かい調整が可能となる。

手法で活用するものとし、複製後の音源は、視点が上下移動した際今回の研究では上下の定位を設定することのできる最大角度となるに変化する音専用のものとして活用する。各楽器の定位は次の通り

90 度で試み、一番大きく変化したところで 4dB の差が出たことで、である。尚、両者の左右の角度は同様の角度とする [9]。

再現性の向上を確認することができた。制作意図にもよるが、上下の定位の音圧変化を十分に果たしたい場合、複製する音源の定位設定©︎2020 Digital Hollywood University

43

DHU JOURNAL Vol.07 2020

は＋ 90 度または− 90 度というように、変化をもたらしたい上下軸の方向において、できるだけ最大の角度となるように調整する方が良いと考えられる。

5. 今後の課題
再現性向上が見られた半面、その変化量は 4dB 程度であることから、より大きい変化を付けることができる手法の研究余地はある。
また、今回はトラック数を増やすことで目的を達成したが、処理するトラックが増えるほど、マシン負荷は増え、制作時におけるトラック操作や管理の負荷もかかる。
YouTube をプラットフォームとし、その仕様に沿った上下軸定位の再現性向上はできたが、VR 音響を再生するプラットフォームは他にも存在し、今後も増えることが考えられることから、複数のプラットフォームに共通した制作手法であると利便性が高い。

参考文献[1] 倉本 敏行 , 佐多 正至 , 高橋 誠：『前方平面に配置したスピーカによる音像の定位』電子情報通信学会技術研究報告（2002 年）,
103 − 107 頁．
[2] 坂本 昭人：『シーンベースの VR 音響のための標準的音楽制作
ワークフローの提案と構築』DHU JOURNAL vol.06 2019（2019年）, 56 − 61 頁．
[3]YouTube ヘルプ：
“360°動画や VR 動画で空間音声を使用する”
https://support.google.com/youtube/answer/6395969（参照 2020 年 7 月 3 日 )．
[4] akihito sakamoto：“【VR 音 響 研 究 】坂 本 音 響 塾 6 期 生 楽 曲「K（ 仮 ）」プ リ プ ロ VR 音 響 実 験 ” https://www.youtube.com/watch?v=dF3fhTGjzE0（参照 2020 年 7 月 9 日）．
[5] akihito sakamoto：“WhiteNoise30s A VR Audio Movie
injected” https://www.youtube.com/watch?v=XfvVuue4Gq8（参照 2020 年 7 月 9 日）．
[6] akihito sakamoto：“WhiteNoise30s A B VR Audio Movie
injected” https://www.youtube.com/watch?v=apIp7f2ZPW0（参照 2020 年 7 月 10 日）．
[7] akihito sakamoto：“WhiteNoise30s C VR Audio Movie
injected”https://www.youtube.com/watch?v=6eCVJ-5AmUA（参照 2020 年 7 月 13 日）．
[8] akihito sakamoto：“【VR 音響研究】坂本音響塾 6 期生楽曲「K（仮）」プリプロ VR 音響実験 Gtr1&Ba 定位設定小”https://www.
youtube.com/watch?v=RCk1C1FDbvI（参照 2020 年 7 月 20 日）．
[9] akihito sakamoto：“【VR 音 響 研 究 】坂 本 音 響 塾 6 期 生 楽 曲「K（ 仮 ）」プ リ プ ロ VR 音 響 実 験 Ba+Gtr1 定 位 設 定 大（90 °）”https://www.youtube.com/watch?v=rs2vZkyUlGM（参照2020
年9 月 11 日）．

©︎2020 Digital Hollywood University

44

DHU JOURNAL Vol.07 2020