2009.10.29 第354回音響工学研究会＠東北大学電気通信研究所

157 chスピーカアレイを用いたリアルタイム音響レンダリングシステムの実装と基礎的性能評価

岡本 拓磨1)，Katz Brian FG2)，Noisternig Markus3)，
Cabrera Densil4)，岩谷 幸雄5)，鈴木 陽一5)
1) 東北大学 電気通信研究所 / 大学院工学研究科，2) LIMSI-CNRS (France)，3) IRCAM (France)，4) The University of Sydney (Australia)，5) 東北大学 電気通信研究所 / 大学院情報科学研究科

1

研究背景：可聴化技術 (Auralization)
可聴化技術(Auralization)とは?
計算機などで作成したコンサートホールなどの音空間モデルから音場を予測して人間に提示する技術
音空間モデルから室内伝達特性(=インパルス応答)を計算
インパルス応答と音源信号を畳み込み音信号を生成生成した音を提示
10.5
Amplitude∗

シミュレーションモデル

直接音
初期反射

0

後部残響ï0.5

インパルス応答ï11000 2000 3000 4000 5000 6000 7000
Samples

コンサートホールなどの評価
モデルさえ作ることができれば… 任意の仮想環境の音の創出が可能
基本的にはヘッドホンを用いた再生系が主流

2

研究目的：多チャネルスピーカを用いた可聴化システムの構築

旧：ヘッドホンを用いたリアルタイム可聴化システム
音源や人の動きに追従したレンダリング
位置情報の更新を受けてインパルス応答を逐次計算
従来法よりも再現力のある仮想音空間提示を実現

M. Noisternig et al. 2008

新：多数スピーカを用いたリアルタイム可聴化の実装
上記のシステムを計157 chのスピーカを用いた再生系へと発展
ヘッドホンフリー：自然な聴取が可能
PC1台での同時再生は不可能 → 157 chを4台のPCに分割して再生最初に検討すべき問題点
157 chの同期再生(サンプリング周波数48 kHz，16 bitリニアPCM)
本報告では…
実装したシステム全体の概要
157 chのチャネル間同期およびシステム遅延の検証

3

包囲型スピーカアレイ
157 chの音データを同時再生可能なスピーカシステム
5.18 m3.38 myyx

Ceiling

Wall Az

2.52 mz

0.3
0.5

x0.5

Wall B

0.59
0.69
0.3
*Unit: meter

包囲型スピーカアレイ＠東北大通研W114

室内形状とスピーカ配置図

床を除く壁面，天井の計5面にスピーカ(FOSTEX FE38E)を格子状に配置
4台のPC，14台のD/A，クロックジェネレータを用いた
サンプリング周波数48 kHz，16 bitリニアPCMの157 ch同時再生

4

システム全体の流れ
157 chリアルタイム可聴化システム
5台のPC，オープンソフトウェアとUDPを用いたリアルタイム可聴化システム
1. 音空間モデルの作成：(※室内音場ソフトウェアパッケージCATT-Acoustic)↓
2. 反射音情報の計算：虚像法高速演算ライブラリEVERTims↓
3. インパルス応答と室内音の計算と再生： リアルタイムAVソフトウェアPd (Pure data)
反射音伝搬経路の可視化：3D可視化ソフトウェアVirChor (Virtual Choerographer)↓
4. 157 chスピーカを用いて再生

5

音空間モデル・初期反射音の計算
音空間モデルの作成
室内音場ソフトウェアパッケージCATT-Acoustic v8.0によるモデルの作成など…

キューブ

ホール

初期反射音の高速演算

ホール(複雑形状)
虚音源

虚像法高速演算ライブラリEVERTに基づく計算ソフトウェアEVERTimsによる計算
虚像法 J. B. Allen et al. 1979
鏡面反射を仮定して虚音源を生成
反射次数により虚音源の個数が決定
音源

受音点6

反射音伝搬経路の可視化
Virchorによる反射音経路のリアルタイム可視化
聴取者や音源位置の変化に対応して反射経路を可視化
●：音源
顔：聴取者
緑の光線：反射音伝搬経路

反射なし

1次反射

3次反射

http://virchor.wiki.sourceforge.net

7高次アンビソニックに基づく
3次元音空間の集録と再生 (1)高次アンビソニック(High-Order Ambisonic)
1.
2.
3.
4.

アンビソニックマイクロホンを用いて全方向の音を集録
球面調和解析に基づき，集録した音を各方向に分解分解した音情報を再生系に合わせて再展開
各スピーカから展開された音を提示2. アンビソニックエンコード
1. アンビソニックマイクロホンを用いた集音

3. アンビソニックデコード
4. 多チャネルスピーカによる再生
8

高次アンビソニックに基づく
3次元音空間の集録と再生 (2)高次アンビソニック(High-Order Ambisonic)
球面調和解析に基づく音空間情報のエンコードおよびデコード
次数を上げることにより高精細な3次元音空間の記述や提示が可能

1次

2次p(r, ω) =∞
�m=0

σYmn
(θ, φ) =�im jm (kr)

3次�σAσmn Ymn(θ, φ)

0≤n≤m,σ=±1

�(m − 1)!
cos(nθ) if(2m + 1)(2 − δn )Pmn (sinθ) ·sin(nθ) if(m + n)!

σ = +1σ = −1

9

HOAによる3次元音空間レンダリング
Pdを用いたHOAに基づくインパルス応答の生成と再生
スピーカアレイの中心をスポット
各スピーカからスポット位置までのインパルス応答を計算 (計157 ch)
高精細な初期反射音は4次，方向性を持たない後部残響成分は1次で記述
http://puredata.info

受音点

1. EVERTimsによる反射音の計算

2. アンビソニックエンコード↓
3. アンビソニックデコード

4. 157 chでの再生10システム全体のブロック図
157 chリアルタイム可聴化システム
5台のPC，オープンソフトウェアとUDPを用いたリアルタイム可聴化システム

11

システム性能評価
実装したシステムの現状
反射音伝搬経路の可視化
157 chアンビソニック再生
音源や聴取位置の位置変化による応答

157 chのチャネル間同期とシステム遅延の評価
4台のPCとPdによる157 ch同時再生
各マシン間はUDP(User Datagram Protocol)にて通信
UDP
PC1:Master

PC2:Slave

PC3:Slave

PC4:Slave

1〜46

47〜80

81〜126

127〜157

157 chが同時再生されているのか!?

12同期確認方法
TSP(Time Stretched Pulse)信号を用いた同期確認
再生命令

UDP

PC1:Master

PC2:Slave

PC3:Slave

PC4:Slave

1〜46

47〜80

81〜126

127〜157

TSP 157 ch (サンプリング周波数48 kHz，16 bitリニアPCM，65536タップ)
入力と出力の相互相関を計算することによりピーク位置を検出
各チャネルのピークの位置から時間ずれを評価

相互相関
13

検証1：ファイル再生方式
各マシンのwavファイル(TSP)を読み込み→再生

UDP通信が原因

結果
各マシンごとのチャネル間は完全に同期再生可能
平均123タップ，最大約379タップ(=7.9 ms)の時間ずれ，試行ごとにばらつき

14検証2：オーディオストリーミング方式
PC4への入力音(TSP)を全マシンへストリーミング

UDP通信が原因

結果
各マシンごとのチャネル間は完全に同期再生可能
平均177タップ，最大約352タップ(=7.3 ms)の時間ずれ，試行ごとにばらつき

15検証3：オーディオ分配方式
分配機を用いて全マシンに音信号を入力

結果
全チャネル間は完全に同期再生可能システム遅延は固定遅延：982タップ(=20 ms)

16まとめと今後の課題まとめ
多チャネルスピーカを用いた可聴化システムの実装
157 chスピーカアレイ，5台のPCフリーソフトを用いたシステムの紹介
システムのチャネル間同期およびシステム遅延を検証
分配器導入により157 chの同期再生を実現

今後の課題
再生音の再現精度の検証，高精度化
吸音材導入による室内反射音の軽減(取り組み中)
システム全体の遅延検証
EVERTims，HOAエンコード，デコードを含めたトータル遅延の検証
17