2010.9.16 第15回VR学会大会＠金沢工業大学

高次Ambisonics型音空間再生と立体映像提示による高精細3次元視聴覚ディスプレイの構築

岡本 拓磨1,2)，崔 正烈1)，岩谷 幸雄1,3)，鈴木 陽一1,3)
1) 東北大学 電気通信研究所
2) 東北大学 大学院工学研究科
3) 東北大学 大学院情報科学研究科学
1

研究背景と目的
3次元視聴覚ディスプレイの構築
高臨場感コミュニーケーションの実現
人間の空間情報を含めた視聴覚情報処理知覚の解明

本発表の概要
3次元音空間提示システムの構築
157 ch包囲型スピーカアレイによる音空間再生システム
HOA (Higher-Order Ambisonics)に基づく音空間収録と再生• 領域制御である波面合成法(Wave Field Synthesis: WFS)や境界音場制御(Boundary Surface Control: Bosc)に比べてアレイ中心での再現精度が高い
157 ch音信号完全同期システムの実現

WFS or BoSC

3次元視聴覚提示システムの構築
HOA音空間システムと立体視システムの融合
映像信号と音信号の同期検証

Ambisonics
再現領域と周波数の関係

2HOAの基本概念
球面調和関数展開による音空間情報の直交展開
直交展開の例(テイラー展開)
無限回微分可能な任意の関数 f (x)は任意の定数 a に対して以下が成立∞�f (n) (a)f � (a)f �� (a)f (n) (a)n2f (x) =(x − a) = f (a) +(x − a) +(x − a) + · · · +(x − a)n + · · ·n!
1!
2!
n!
n=0
それぞれの成分は互いに直交(orthogonal)
n を増やすほど実際の関数に近づく

球面調和関数展開による音空間情報の直交展開+∞m��
n np(kr, θ, φ) =im jm (kr)
BmYm (θ, φ)m=0n=−mnn

音情報を記録を方向 (θ, φ)ごとの球面調和関数 Ym (θ, φ) と展開係数 Bm により直交展開展開次数 mを増やすほど実際の音場に近づく

0 0N√m Pm (cos ϕ)n n
Ymn (θ, ϕ) =2NmPm (cos ϕ) cos nθ√n −n2NmPm (cos ϕ) sin nθ

if n = 0,if n > 0,
if n < 0,nNm=

�(2m + 1) (m − |n|)!
4π(m + |n|)!

3

HOAシステム
HOAシステムの特徴
展開係数の次数を上げるほと実際の音空間に近づく
次数 mの展開係数をエンコード，デ2コードする場合，少なくとも (m + 1)以上のチャネル数が必要
展開係数により空間情報が記述されるため，収録と再生の系が独立
mHOAnAmbisonics Bm0101234-4-3-2-1

2

34n4従来のHOA型3次元音空間提示システム
157 ch包囲型スピーカアレイを用いたHOA型音空間提示システム
世界最高の5次デコードシステムを実装
各マシン内の音信号は完全同期 (48 kHzサンプリング)

問題点
4台のマシン間は最大51サンプル(=1.1 ms)の非同期

岡本 他 第14回VR学会大会 2009, T. Okamoto et al. Proc. Ambisonics’ 10 20105

157 ch完全同期オーディオシステムの構築
3つのMADIシステムを用いた157 ch完全同期再生システム
1台のマシンで全157 chを制御
MADI (Multichannel Audio Digital Interface)の導入• 1システムで64 chの完全同期I/Oを実現
オーディオドライバ：Jack Pilotの導入• オーディオのI/Oと信号処理を別プロセスで処理可能
TSP (Time Stretched Pulse)を用いた同期検証

Jack Pilotなし• 各MADI内の信号64 chは完全同期• MADI間は数サンプルの非同期
Jack PilotありMADI間の時間ずれ量が固定
157 ch完全同期再生の実現

6

3次元視聴覚ディスプレイ
157 ch HOAと立体視システムの融合によるシステムの実現
音響システム：157 ch完全同期HOA型音空間再生
映像システム：120 Hzステレオシャッター方式
映像システムのトリガー信号(ディジタル音信号)により音響システム再生を制御

7

システム配置図
スピーカ配置と視聴者位置
HOAのスイートスポットはアレイ中心
音響のスイートスポットに視聴者の頭がくるようにシステムを構築

視聴位置で高精細な3次元視聴覚情報の取得を実現

8

視聴覚情報の時間同期検証
輝度信号とTSPを用いた視聴覚情報の同期検証
映像情報と音情報の再生時間に固定でないずれがあるかを検証
ずれが固定の場合=完全同期ずれが固定でない場合=映像情報と音情報に時間的非同期

映像情報と音情報の間に最大1.1 msの固定でない時間ずれを確認
人間の視聴覚情報のずれの検知限(=50 ms)以下のシステムの構築に成功
9HOA型音空間収録システムの構築
岡本 他 信学技法 2010

HOA型音空間収録システムの構築
世界最大次数9次を実現する121 ch球状マイクロホンアレイの設計
デジタルECMとFPGAシステムによるリアルタイム収録の実装

実環境の3次元音空間の収録→提示システムの実現
10まとめと今後の予定
3次元視聴覚ディスプレイの構築
包囲型157 chスピーカアレイを用いた5次Ambisonics3次元音空間提示システム
3つのMADIシステムを用いた157 ch完全同期再生を実現
立体視システムと融合し，視聴覚情報の時間ずれ1.1 msを実現

実環境および仮想空間の3次元視聴覚情報の提示システムを実現
今後の予定
視聴覚情報の完全同期
音空間提示の性能評価
本システムを用いた視聴覚情報の知覚実験
音空間情報，映像情報を自由に制御可能

11

境界制御法と方向制御方法の比較(再生系)
境界制御方式
波面合成法(Wave ﬁeld Synthesis: WFS)
境界音場制御(Boundary Surface Control: BoSC)WFS or BoSC

領域全体の制御が可能
再生できる周波数は制御点間隔に依存→制御点を増やすと上限周波数が拡大

方向制御方式Ambisonics，High-order Ambisonics (HOA)
D. H. Cooper et al. 1972

M. A. Poletti 2005
スピーカアレイの中心とその近傍(=スイートスポット:SS)での高精細な音場制御が可能 → 制御点を増やすとSSが拡大

VSoundSourcenp(s)Primary Field

WFS：A. J. Berkhost et al. 1993

SV’n’ p’(s)Ambisonics
再現領域と周波数の関係

S’

Secondary Field

BoSC：S. Ise 1999

Ambisonics

12境界制御法と方向制御方法の比較(収録系)
収録系での比較
領域制御方式
領域境界の音情報を記録
領域境界を巨大なマイクロホンアレイによる収録→大規模な収録システム

方向制御方式

157 ch包囲型マイクロホンアレイ(大規模なシステムの例)

再現したいポイントでの音情報を記録
球状マイクロホンアレイによる収録→コンパクトHOAに基づく音空間の収録と再現に注目
再生メリット
スピーカ数が同じ場合，聴取者近傍では領域制御方式よりも高精細な音空間提示収録メリット
収録システムがコンパクト

球状マイクロホンアレイ(コンパクト)13