RAP-MUSICを用いた反射音に頑健な音源位置推定○岡本 拓磨

西村 竜一

岩谷 幸雄

東北大学 電気通信研究所 / 大学院情報科学研究科

発表の概要●研究の背景●

包囲型マイクロホンアレイの特性●

空間平均化法の適応●RAP-MUSICの考案

●

まとめ2

研究背景
●

ある空間をそっくりそのまま保存し，別の部屋で再現するシステムの構築–

3

FIR (FIeld Recording, Recognition and Reproduction)

時空間を越えた音空間の再現

3

3

FIR プロトタイプ
空間 A

空間 B

直接音
聴覚ディスプレイにより仮想的に提示
耳介開放型音場再生デバイス LADOMi
位置センサ INTERSENSE IS-900

1次反射音
包囲型マイクロホンアレイ (157 ch)
B&K Type 4591 (157本)※実物は後ほどの研究施設紹介にて包囲型スピーカアレイ (157 ch)
FOSTEX FE38E (157本)

4収音側で必要な技術●

聴覚ディスプレイによる直接音の提示– 直接音の音源位置推定●

包囲型マイクロホンアレイによる音源位置推定– マイクロホン配置についての検討●室内における音源位置推定– 直接音と波形が近い反射音による性能の低下– 反射音に頑健な音源位置推定手法の提案– 直接音の波形取り出し (=直接音の分離)●

スピーカアレイによる反射音の提示– 1次反射音の分離

5

包囲型マイクロホンアレイ●

天井 45 ch●

壁A 20 ch × 2●

壁B 36 ch × 2

157 chマイクロホン間隔 50 cm

6

包囲型マイクロホンアレイの性質●

アレイ長が大きい– 到来信号を球面波として取り扱う– 到来方向ではなく，3次元位置推定が可能●

マイクロホン間隔– 50 cmのため，遅延和などの空間的なフーリエ変換に基づく手法では340 Hz以上でサイドローブ発
生– 空間相関行列の固有空間構造を用いたMUSIC法による音源位置推定7

MUSIC法(MUltiple SIgnal Classification)

各マイクロホンにおける入力信号

空間相関行列直交補空間の基底ベクトル
導出

各マイクロホンi と探査点(x, y, z)間の伝達関数

ステアリングベクトル(1)MUSIC法(2)

は音源位置の伝達関数と直交↓aが音源の位置に来た時だけ
P は鋭いピークを形成する

8

包囲型マイクロホンアレイの性質●

マイクロホン配置が3次元配置– 配置の違いによる音源位置推定精度評価実験●

面の取り方の違いによる性能の違いを検討

パターン1 (1面)

パターン2 (2面)

パターン3 (3面)※各パターン共に45 chを使用
9

MUSIC法による音源位置推定実験
●

実験条件
–

音源1 男性音声 (a/i/kya/ku) 63.7 dB Lceq–

音源2 女性音声 (i/chi/yu/u) 50.4 dB Lceq
(親密度別単語了解度試験用音源データベース NTTアドバンステクノロジ株式会社)–

サンプリング周波数 48000 Hz–

信号の長さ 1 s–

窓関数 ハミング窓 (512 ポイント)–

解析周波数帯域 500 ~ 8000 Hzk=

各探査位置における P
正しい音源位置における P

音源位置

(3)

※音源位置で1，その他の位置では0に近い値であるほど，Pは鋭いピークを持つ

10

実験風景

残響時間 0.15 s

32面体点音源スピーカ (直径 7 cm)を使用
11

MUSIC法による音源位置推定結果●(x, y) 座標を固定してz 座標で捜査した探査結果 (音源1)

パターン1 (1面)

パターン2 (2面)

パターン3 (3面)

– 1面においては面と垂直方向の推定精度が悪い– 2面以上では正しい推定が可能
12

反射音に頑健な音源位置推定●

空間平均化法 (T. Shan ら 1985)–

アレイをいくつかのサブアレイに分割し，サブアレイの空間相関行列を↑平均化したものを用いてMUSICを適用
フルランクまで回復

(4)

●

–

サブアレイの形が全て同じであれば，方向推定の際には，どのサブアレイのステアリングベクトルも全て等しいことを利用

不規則形状アレイ，球面波仮定の音源位置推定にはそのまま適応できない13

包囲型マイクロホンアレイへの空間平均化法の適用●

不規則形状アレイへの適応– 補完処理によってサブアレイの信号を仮想的に作成(B. Friedlander ら 1992)

補完処理 = 振幅 & 位相補正
仮想チャネルにおける信号(5)

仮想チャネルより構成されるサブアレイを用いて空間相関行列を平均化する

14

包囲型マイクロホンアレイへの空間平均化法の適用●

3次元位置推定への適用– 各探査点と各マイクロホンの距離は探査点が変化するごとに変化する●

探査点ごとに仮想チャネルを計算し直し，空間平均化法を適用する(5)相関行列はフルランクまで回復しない●
相関行列の直接音が形成する固有値に反射音の要素が入り込まないことが重要●

15入力信号の定義●

ある点に音源–マイクロホンi と音源および干渉波との距離，到来時間●–，別の点に干渉波，，マイクロホンi での入力信号
(6)

●

–

音源と仮想チャネルまでの距離，到来時間●–，仮想チャネルi での入力信号
●

(7)

16

空間相関行列の検討●

平均化を適用しない場合の相関行列
直接音

反射音

(8)

17

空間相関行列の検討●簡略化のため，–として考える第2項から第4項は多重化されない
直接音

反射音

↓
干渉波の影響を低減

(11)

18

RAP-MUSIC●

3次元位置推定における空間平均化法–

探査点ごとに遅延量を変化–

各仮想チャネルにおいて，探査点からの信号は同相化
サブアレイを全て同じ位置にする●

RAP-MUSIC (Re-arrangement
And Pre-smoothing for MUSIC)–

相関行列を平均化するのではなく，仮想チャネルの信号を最初から平均化–MUSICを行う前に仮想チャネルのサブアレイに遅延和を適用

19

RAP-MUSIC●N 個のチャネルで同相化された信号の和_(12)第2項は全て位相が異なるため，1/N になると仮定

(13)
20

RAP-MUSIC●

RAP-MUSICの空間相関行列
直接音

反射音

(14)

↓
空間平均化法よりも干渉波の影響を低減

21

実験による性能評価●

実験条件は先ほど同様–●

空間平均化法，RAP-MUSICの仮想チャネルは4つずつの各マイクロホンの重心位置に設定，4つで多重化

各パターンについて，MUSICのみ，空間平均化法，RAP-MUSICの性能を比較する

パターン1 (32 ch)

パターン2 (32 ch)

パターン3 (30 ch)
22

実験結果
●

音源1における性能の比較 (パターン1)
MUSIC

空間平均化法RAP-MUSIC↓
RAP-MUSICにより推定精度改善
23

実験結果
●

音源1における性能の比較 (パターン2)
MUSIC

空間平均化法RAP-MUSIC↓
RAP-MUSICにより推定精度改善
24

実験結果
●

音源1における性能の比較 (パターン3)
MUSIC

空間平均化法RAP-MUSIC↓
RAP-MUSICにより推定精度改善
25

まとめ
●

包囲型マイクロホンアレイを用いた音源位置推定に関する検討– 2次元配置よりも3次元配置の方が高精度に推定できることを示した– 反射音の効果を低減する空間平均化法を3次元位置推定に適用した– 空間平均化法を発展させたRAP-MUSICを考案し，従来法よりも高精度な音源位置推定を可能とした

26

マイクロホン配置に関する考察●

2面や3面では精度よく推定可能●

1面では音源のz方向の推定精度だけが低い– ステアリングベクトル

1面についての検討

2面以上
27

空間相関行列の検討●

平均化を適用する場合のサブアレイの相関行列(9)28

空間相関行列の検討●によって平均化された相関行列(10)29