3-9-8
非同期録音信号の線形位相補償によるブラインド同期と音源分離への応用∗◎宮部滋樹 (筑波大), 小野順貴 (NII), 牧野昭二 (筑波大)1

はじめに非同期マイクロホンアレー [1] は，会議録音の音声強調のために参加者が持ち寄った携帯電話やボイスレコーダなどの複数の携帯型録音機器の同時録音を用いるというもので，専用の大規模な録音装置ではなく一般的な機器による安価で柔軟な構成を行えることが利点である．しかし，マイクロホン素子の配置が未知となることや [2, 3]，各チャネルごとの録音が同期していないことなど [1, 4]，通常のマイクロホンアレー信号処理では扱われない問題を解決する必要がある．最も重要な問題の一つに，各録音装置が別々の A/D 変換器を使用しているためにチャネル間のサンプリング周波数が違うものになることが挙げられ，適切な補正を施さなければアレー信号処理の性能は大幅に劣化してしまう．
本稿では，ブラインド音源分離 [5] の前処理のための，サンプリング周波数のチャネル間のミスマッチを推定し補正する手法について述べる．チャネル間のサンプリング周波数のミスマッチは，時刻の単位のずれのために信号間の時間差がドリフトしていくような効果を生じ，位相差が等速に変化して音源位置が疑似的に変化してしまうため，各音源は移動せず固有の位相差を持つという大多数の音源分離手法の仮定を破綻させてしまう．そこで，全ての音源は移動せず定常であると仮定し，音源の移動をなくす補償の推定によりミスマッチの推定を行う．音源分離手法の多くは時間周波数領域で信号分析を行うため，ミスマッチの補償は時間周波数領域で行う．これにより，一般的なサンプリング周波数の補正に必要な sinc 関数による離散信号の補間を省いた簡便なものとなる．

2

サンプリング周波数ミスマッチの線形位相補償

リング周波数は未知のミスマッチ ϵ により表される(1 + ϵ) fs であるとする．このこのとき離散信号と連続信号の関係は以下のように表される．
( )n1x1 (n1 ) = x1
(1)
fs()
n2(2)
x2 (n2 ) = x2+ ∆T21(1 + ϵ) fs
ここで t の時間原点を x1 (n1 ) の録音開始時刻とし，∆T21 は x1 (n1 ) に対する x2 (n1 ) の録音開始時刻の遅れを表す．n1 が参照する時刻は n2 で表すと

(1 + ϵ) n2 − (1 + ϵ) fs ∆T21(3)サンプル目に相当し，長い時間が経過して n1 , n2 が大きくなるのに比例して参照する時刻の差が拡大していくことになる．

2.2 ミスマッチの時間周波数領域モデリング短時間のフレーム内のドリフトは無視できるものと考え，フレームの時刻のドリフトを補償する問題を議論する．まず式 (2) の時間原点の遅れ ∆T21 を補償する．サンプリング周波数のミスマッチは無視してn1 と n2 を同質のものとみなし，長時間の相関を用いて大まかな補正 τ21 を求め，これが最大となるようx2 (n2 ) をシフトする．
∑τ21 = arg maxx1 (n) x2 (n − m) (4)mnx2 (n2 ) ← x (n2 − τ21 )(5)

ここではこの補正誤差はフレーム幅よりも十分に小さくブラインド音源分離では問題とならないと考える．
次に，同様に n1 , n2 を同質のものとみなしてxj (nj ), j = 1, 2 のフレーム分析

xfr(6)
2.1 ミスマッチの時間領域モデル
j (l, r) = w (l) xj (l + rM )本稿では同じ公証サンプリング周波数の録音機器を得る．ここで l, r, M は全て整数で，それぞれ L をフが使用されるか，あるいは同じになるように観測信レーム長として l = 0, . . . , L−1 はフレーム内のサンプ号がリサンプリングされていると仮定し，それでもル番号，フレーム数を R として r = 0, . . . , R − 1 はフ
わずかに残る機器ごとのミスマッチを扱う．一般的
レーム番号，M はフレームシフト長を表し，また w (l)な録音装置の公称サンプリング周波数からの誤差はは再合成が可能な窓関数とする．そして xfr
j (l, r) の高
10 ppm (= 10−5 ) の数倍以内であるが，これは 1 秒
速フーリエ変換により時間周波数領域信号 Xj (k, r)間に 10 µs オーダーの誤差に相当し，サンプル幅よ（k = −L/2 + 1, . . . , L/2 は周波数番号）を得る．こり小さい時間差を分析する音源分離を破綻させるのこで録音開始時刻の影響については補正されたのでfrに十分な大きさのドリフトを引き起こす．なお本稿で無視して考えると，xfr
2 (l, r) を x1 (l, r) と同じ時刻をの議論は 2 チャネルの間のサンプリング周波数のミ参照させるためには，式 (3) より xfr
2 (l, r) に ϵrM サスマッチに限定するが，全てのチャネルのサンプリンンプルに相当する遅延を与える必要があるので，こグ周波数を特定の１つのチャネルに合わせるなどによの遅延に相当する円状シフトを施してミスマッチをり，容易に 3 チャネル以上に拡張することができる． 補償した時間周波数領域信号 X̂ (k, r; ϵ) を求める．
2
いま，同時刻における 2 つのマイクロホンの連続)(2πȷϵrM k
信号 x1 (t), x2 (t)（t は連続時間）が別々の A/D 変(7)X̂2 (k, r; ϵ) = X2 (k, r) exp −L換器でサンプリングされて離散信号 x1 (n1 ), x2 (n2 )√（n1 , n2 はサンプル番号）が得られたとする．ここでここで ȷ = −1 である．以下では最尤推定による ϵx1 (n1 ) のサンプリング周波数は fs , x2 (n2 ) のサンプの推定方法について述べる．
∗Blind synchronization of unsynchronized recording signal by linear phase compensation and its application
to source separation. by MIYABE, Shigeki (University of Tsukuba), ONO, Nobutaka (National Instituteof Informatics), MAKINO, Shoji (University of Tsukuba)

日本音響学会講演論文集- 689 -

2012年9月

Table 2 Estimation errors for sampling frequency
mismatch
Signal length [s] 3
510
RMSE [ppm]3.48 1.46 0.27

Table 1 Experimental conditions
Source separation
Auxiliary function
methodbased IVA [6]Rverberation time
T60 of 130 ms
Frame length L
2,048 samples
Frame shift M
1,024 samplesSource distance
1.5 m
Source directions[-50◦ , 30◦ ], [-60◦ , -10◦ ]Microphone spacing 2 cm
Candidates of
10,000[ −10samples] fromdiscrete search of ϵ−2 , 2−10Table 3

Source separation accuracy
SDR [dB] SIR [dB]
No mismatch
7.98
14.81
Unprocessed
0.33
1.35
Ideal compensation 8.10
14.74
Proposed method
7.96
14.48

2.3 ミスマッチの推定観測されるすべての音源は定常かつ位置の移動が無いと仮定すると，正確な ϵ の推定を用いてサンプリング周波数のミスマッチを補償した観測信号[]TX̂ (k, r; ϵ) = X1 (k, r) , X̂2 (k, r; ϵ)(8)は離散周波数 k 毎に定常であると仮定できるため，この仮定に基づいた最尤推定により ϵ を求める．
X̂ (k, r; ϵ) の分布を零平均，共分散行列 V (k) の多変量複素正規分布とおいた場合の対数尤度は∑(J (V, ϵ) =− log 2π 2 − log |det V (k)|k,rH− X̂ (k, r; ϵ) V (k)−1)
X̂ (k, r; ϵ)(9)Hと表せる．ここで {·} は複素共役転置を表し，V はV (k) の集合 {V (k) |k = −L/2 + 1, . . . , L/2} とする．
共分散行列 V (k) は未知であるため，X̂ (k, r; ϵ) を用いた標本推定 V̂ (k; ϵ) で置き換える．

1 ∑HX̂ (k, r; ϵ) X̂ (k, r; ϵ)R r=0
R−1V̂ (k; ϵ) =(10)

この尤度最大化は解析的に解くことができないため，()
J V̂ (k; ϵ) , ϵ を最大化する ϵ の散値全探索により ϵを推定する．

3

実験

提案手法の有効性を検証するため，混合音声のサンプリング周波数を人工的に変えた実験により，ミスマッチ ϵ の推定精度と音源分離性能を評価する．
使用した観測信号は 2 話者発話の 2 チャネルの畳込み混合で，実測したインパルス応答を使用し，SNR が20 dB となるよう白色雑音を重畳した．音声は ATR
データベースの 4 人の話者の単語発話を話者ごとに繋いで作成した．サンプリング周波数を人工的に変更したデータの作成には MATLAB の resample コマンドを用いた．変更したサンプリング周波数は，元のデー
タの 16,000 Hz に対して 16, 000 ± 1, 16, 000 ± 2 Hzの 4 種類で，16, 000 ± 1 kHz のものは ϵ = 62.5 ppmに相当し，録音装置間の誤差として十分現実的なものである．その他の実験条件を Table 1 に示す．
まずサンプリング周波数の補正精度を評価した．用
いた音声の長さは 3, 5, 10 秒の 3 種類で，ミスマッチ

日本音響学会講演論文集

ϵ の推定の二乗平均平方根誤差 (RMSE) を Table 2に示す．観測データが長いほど誤差は小さくなるが，3 秒の観測信号でも 3 秒の観測信号でも，サンプリング周波数ミスマッチを元のものから 1 桁以上補償できていることがわかる．
最後に 10 秒の観測信号の音源分離性能の比較により，提案手法の効果を評価する．サンプリング周波数を変更しなかった場合の分離精度（no mismatch），サンプリング周波数のミスマッチに対して補償を行わなかった場合の分離精度（unprocessed），真のサンプリング周波数のミスマッチを与えた場合の線形位相補正による分離精度（ideal compensation）と提案手法によるサンプリング周波数の修正と補正による分離精度（proposed）を比較した．評価尺度には信号対歪比（SDR）と信号対混信比（SIR）を用いた．
結果を Table 3 に示す．No mismatch がゼロに近い低い評価値であることから，このサンプリング周波数ミスマッチは補償なしでは音源分離が破綻してしまう厳しい条件であるということが確認できる．また idel compensation が no mismatch とほぼ同等の性能を示していることから，時間周波数領域の線形位相補償が有効であるということがわかる．また自動推定を行う proposed method と ideal compensationの性能差が小さいことから，最尤推定によるサンプリング周波数のミスマッチの推定の有効性が確認できる．

4

おわりに

本稿では，非同期マイクロホンアレーを用いたブ
ラインド音源分離のための，サンプリング周波数ミスマッチの自動推定と線形位相補償による同期補正を提案した．実験により，提案手法はサンプリング周波数のミスマッチを高い精度推定精度で推定でき，かつ音源分離精度をサンプリング周波数のミスマッチがない場合と遜色のないレベルまで回復できるということを確認した．

参考文献[1] Liu, P roc. IW AEN C, 2008.
[2] Ono et al., P roc. W ASP AA, 161-164, 2009.
[3] Hasegawa et al., P roc. LV A/ICA, 57-64, 2010.
[4] Robledo et al., P roc. W ASP AA, 34-37, 2007.
[5] Makino et al., “Blind Speech Separation,”
Springer, 2007.
[6] Ono, P roc. W ASP AA, 16-19, 2011.

- 690 -2012年9月