1-1-9
非整数サンプルシフトのフレーム分析を用いた非同期録音の同期化∗○宮部滋樹 (筑波大), 小野順貴 (NII/総研大), 牧野昭二 (筑波大)1

はじめに複数の録音機器を用いてアレー信号処理を行う分
散型マイクロホンアレーでは，チャネル間のサンプリング周波数ミスマッチから生じる時刻ドリフトの補償が必須である。我々は，短時間フレーム内におけるドリフトがフレーム分析長よりも十分小さいと見なして無視し，ドリフトをフレームの分析時刻を線形にずらす効果と捉えたモデル化により，ドリフトの最尤推定に基づくブラインドな推定と，時間周波数領域の線形位相による補償を提案した。しかし録音時間が長くサンプリング周波数ミスマッチが大きいデー
タに対しては，１つのフレームが分析する時刻のチャネル間の差異がフレーム長に対して十分小さくならないために，線形位相によるフレーム内の波形シフトだけでは十分な同期の補償ができない。本稿では，フレーム内の波形シフトではなくフレームの分析時刻を合わせることにより，長時間録音でも高精度にチャネル間同期を取る手法を提案する。

2問題設定

2 つのマイクロホンの位置の音圧 x1 (t) , x2 (t) (t は連続時刻) が別々の AD 変換器でサンプリングされて離散信号 x1 (n) , x2 (n) が得られているものとする (nは離散時刻)。第 1 チャネルのサンプリング周波数がfs ，第 2 チャネルのサンプリング周波数がサンプリン
グ周波数ミスマッチ ϵ (|ϵ| ≪ 1) を持つ (1 + ϵ) fs とすると，それぞれのチャネルの連続信号と離散信号の関係は( )nx1 (n) = x1, n = 0, . . . , N1 − 1(1)fs()
nx2 (n) = x1+ T21 , n = 0, . . . , N2 − 1(1 + ϵ) fs(2)のように表される。ここで t の原点は第 1 チャネルの録音開始時刻，T21 は第 2 チャネルの録音開始時刻，
N1 , N2 はそれぞれのチャネルの離散信号のサンプル数とする。ここで，同時刻を参照する第 1，2 チャネ
ルそれぞれの離散時刻を n1 , n2 とすると，これら 2つの離散時刻の関係は以下のように表される。

n2 = ϕ21 (n1 )ϕ21 (n) = (1 + ϵ) (n − D21 )
D21 = fs T21

(3)
(4)
(5)

そのため整数値の n1 に対しては n2 は一般に非整数となり，x2 (n) の同期を補償した信号 x̂2 (n) = x (ϕ (n))
を正確に求めるためには無限長の sinc 関数畳込みが必要となる。そのため同期の推定と補償には何らかの近似による簡略化が必要となる。
∗サンプリング周波数ミスマッチ ϵ と録音開始オフ
セット D21 の推定は，アレー信号処理に必要な精度で求める必要がある。チャネル間の時刻差が線形に変化するドリフトは，到来時間差が音源ごとに固有であることを仮定したアレー信号処理を破綻させてしまうため，サンプリング周波数ミスマッチ ϵ の推定は精密に行う必要がある。録音開始時刻オフセット D21については，ブラインド音源分離や SNR 最大化ビー
ムフォーマのような，音源方位を明示的にパラメタとして与えないアレー信号処理では必ずしも必要はな
く，フレーム分析がチャネル間でほぼ同じ時間区間を参照する精度で十分である。そのため数サンプル程度の誤差は許容される。そこで本稿では ϵ の高精度な推定と D21 の大まかな推定を求め，それらを補償するチャネル間の同期について議論する。

3

時間周波数領域における近似的同期アレー信号処理は一般に時間周波数領域で行われるため，本稿では同期信号を時間周波数領域で求める問題について議論する。

3.1

短時間フレームにおける同期モデル

まずフレーム分析区間のような短時間では，サンプリング周波数ミスマッチによるドリフトが無視できることを示す。第一チャネルにおける離散時刻 (n1 + m)と同じ連続時刻を参照する第二チャネルの離散時刻n2 = ϕ21 (n1 ) は，式 (5) より以下のように与えられる。

ϕ21 (n1 + m) = (1 + ϵ) ((n1 + m) − D21 )= ϕ21 (n1 ) + (1 + ϵ) m(6)

ここで |mϵ| ≪ 1 となる条件では

ϕ21 (n + m) ≈ ϕ21 (n) + m(7)と近似することができる。これは，時刻 n から時刻n + m の間で起こるドリフトによる波形の伸縮を無視することに相当する。このようなモデル従い，チャネル間で同期したフレーム分析は，単にフレーム中心時刻が同じ連続時刻を参照する ni , i = 1, 2 となる以下もので近似できる。
()
Lxfr
(l,n)
=w(l)
xl+n−(8)iiii2
ここで l はフレーム内のサンプル番号，w (l) は完全再合成が可能な窓関数，L はフレーム長を表す。録音機器間のサンプリング周波数のミスマッチは 10−5オーダーに収まるのが一般的であり，またアレー信号処理における典型的なフレーム長は 0.1 s オーダーであるため，時刻の誤差の最悪値 |ϵL| /2 は典型的には

Synchronization of asynchronous recording using frame analysis with non-integer sample shift. byMIYABE, Shigeki (University of Tsukuba), ONO, Nobutaka (Institute of Informatics/the Graduate University for Advanced Studies), MAKINO, Shoji (University of Tsukuba)

日本音響学会講演論文集- 593 -

2013年9月

0.1 µs オーダーになる。また，このような時刻の誤差があるサンプルはフレームの始端と終端の付近であり，一般的な窓関数 w (l) の選択では小さな値が掛けられてその誤差は抑圧される。
式 (8) の第 2 チャネルを第 1 チャネルに同期させた
フレーム分析 xfr
2 (l, n2 ) を，完全再合成が可能な n1のフレームシフトに対して求め，xfr1 (l, n1 ) を x1 (n)に戻すのと同じフレームシフトのオーバーラップ加算を行うことにより，第 2 チャネルを第 1 チャネルに同期させた長時間信号 x̂2 (n) を得ることができる。しかし前述のように整数値の第 1 チャネルの離散時刻
n1 と同時刻を参照する第 2 チャネルの離散時刻 n2 は一般に非整数であり，非整数の n2 に対する式 (8) のフレーム分析を求める問題は単純ではない。次節ではこれを近似的に達成する効率的な手法について述べる。
3.2

時間周波数領域での同期

式 (8) で表される，第一チャネルの時刻 n1 を中心とするフレーム分析に同期した，非整数の第二チャネルの非整数の時刻 n2 を中心とするフレーム分析
xfri (l, ni ) を単純化して近似的に求めるために，我々はまず n2 に最も近い整数時刻を中心とするフレーム分析を行い，次に線形位相を用いたフレーム内の波形シフトにより，小数点以下の時刻補償を行う。まずn2 に最も近い整数 ⌊n2 ⌉ を中心とするフレーム分析
xfr
2 (l, ⌊n2 ⌉) を求める。
()
L(l,⌊n⌉)=w(l)xl+⌊n⌉
−xfr
(9)
22222
ここで ⌊·⌉ は最も近い整数への丸めを表す。次に離散フーリエ変換を用いて時間周波数領域に写像する。
()
L−1
∑
2πȷkl
X2 (k, ⌊n2 ⌉) =xfr(l,n)
exp
−(10)
2Ll=0√
ここで ȷ = −1，k = −L/2, . . . , L/2 − 1 は離散周波数インデックスを表す。ただしこの離散フーリエ変換は実際の処理では高速フーリエ変換で置き換える。そして n2 の丸め ⌊n2 ⌉ による，小数点以下の時間シフトの遅延 n2 − ⌊n2 ⌉ を線形位相によりフレーム内で補償し，第 1 チャネルの短離散フーリエ変換
X1 (k, n1 ) と同期した第 2 チャネルの短時間フーリエ変換 X̂2 (k, n2 ) を得る。
)
(2πȷk (n2 − ⌊n2 ⌉)X̂2 (k, n2 ) = X2 (k, ⌊n2 ⌉) exp
L(11)アレー信号処理は一般に時間周波数領域で行われるが，以上のような手順で同期した短時間フーリエ変換
X1 (k, n1 ) , X̂2 (k, n2 ) を用いることによりドリフトの影響を取り除いたアレー信号処理を行うことができる。また，X̂2 (k, n2 ) を逆離散フーリエ変換したのちにオーバーラップ加算を施すことにより，x2 (n) と時間同期した第 2 チャネルの時間領域信号が得られる。

4

時間領域での大まかな同期

前節では同期の演算をサンプリング周波数ミスマッ
チ ϵ と録音開始時刻オフセット D21 が与えられたと日本音響学会講演論文集いう条件で議論したが，これらは一般に未知であり，同期のためには推定する必要がある。我々は [2] において，これらを時間周波数領域で最尤規範の線形位相補償の最適化により求める手法を提案したが，この手法ではドリフトで補償されるべきフレーム内の時間シフトが，全てのフレームを通してフレーム幅よりも十分小さいことを仮定しており，非常に長い録音データや大きなサンプリング周波数ミスマッチのもとでは，十分な推定と同期を得ることができない。
本節では，最尤法によるサンプリング周波数ミスマッ
チ推定と線形位相による補償の前処理として，同期を大まかに推定・補償した時間周波数分析を得る手法について議論する。

4.1

2 つの同時刻ペアを用いた同期情報の同定

おおまかな推定の議論に進む前に，サンプリング周波数ミスマッチ ϵ と録音開始時刻オフセット D21 が同定される条件について述べる。同じ連続時刻を参照する各チャネルの離散時刻の２つのペア {nA1 , nA2 }と {nB1 , nB2 } (nAi < nBi , i = 1, 2) が与えられたとすると，それらは式 (5) より以下の関係を満たす。

nA2 = (1 + ϵ) (nA1 − D21 )(12)

nB2 = (1 + ϵ) (nB1 − D21 )(13)

この連立方程式の解として，ϵ と D21 が以下のように同定される。

nB2 − nA2−1nB1 − nA1
nA1 nB2 − nA2 nB1
D21 =nB2 − nA1ϵ=(14)(15)

従って，同時刻を参照する時刻ペアが {nA1 , nA2 } と{nB1 , nB2 } のように 2 つ得られれば，ϵ と D21 の同定が可能だということがわかる。このような同時刻を参照する離散時刻ペアを正確に推定することは難しいが，粗い推定が得られれば ϵ と D21 の粗い推定を求めることができ，粗く同期を取ったフレーム分析を得ることができる。

4.2

相関を用いた同時刻ペアの推定

同じ連続時刻を参照する離散時刻のペア 2 つ
nAi , nBi , i = 1, 2 の推定について議論する。基本的な考え方は，チャネル間で同時刻付近に相当する信号は相関が高くなるため，短時間の相関を基にして時刻の対応関係を推定するということである。一般に観測信号は到来時間差の違う複数の音源の混合であり，この到来時間差の違いのせいで相関では完全な時刻ペアの推定を得ることができない。しかし，マイクロホン同士が近接して置かれている場合にはこの時間差の違いは小さなものとなり，式 (14)，(15) において nBi ≪ nBi , i = 1, 2 であればこの誤差の推定への影響を相対的に小さくすることができる。相関の評価する短時間区間には，録音の開始・終了付近でパワーが閾値を超える区間を用いる。ここでチャネル 1 とチャネル 2 のどちらが先に録音を開始・終了するかは未知であるため，短時間区間は録音・開始付近の両方において両方のチャネルから選び出し，反対側のチャネルにより相関の高い区間が見つかる方を採用する。
処理の模式図を Fig. 1 に示す。

- 594 -

2013年9月

は相関関数が高いものとして以下のように与えられる。

(Detected appropriatelyby coherence evaluation
22γ A (2,1) > γ A (1,2) )nA1 = nA′′ 12′ 2nA1x1 (n )n0n(Rejected by(Impossibleto detectsince n < 0 )nA 2 = nA′ 21nA′′ 21 coherence

まず，録音開始付近の時刻 nAi , i = 1, 2 の候補として，それぞれのチャネルにおいて，時刻 N/2 以降で最初に振幅が閾値 δ を超えるサンプル n′Aij , (i, j) =(1, 2), (2, 1) をみつける。

n′Aij = arg min {|xi (n)| > δ} + N/2, n ≥ N/2n(16)ここで N は相関評価に用いる区間長を表す。録音時
刻終了付近でも同様に時刻 nBi , i = 1, 2 の候補として，それぞれのチャネルから時刻 Ni − N/2 より前の振幅が閾値 δ を超えるサンプルをみつける。
n′Bij = arg max {|xi (n)| > δ} + N/2, n < Ni − N/2n(17)次に，h = A, B, (i, j) = (1, 2), (2, 1) の組み合わせのそれぞれについて，選択された区間との相関が高くなるサンプル n′′hij を求める。
∑(xi n + n′hij)′′xj (n + n )n=−L/2転した高速フーリエ変換に基づくオーバーラップ加算畳込みによって効率的に達成することができる。
続いて，h = A, B のそれぞれについて，相関が最大となる反対側のチャネルの短時間区間との相関関数が大きい方をみつける。これは 2 つのインデック
スペア (i, j) = (1, 2), (2, 1) のうちの，以下で与えら2れるコヒーレンス |γh (i, j)| が大きくなる方を選ぶ問題として定式化される。

|γh (i, j)|arg max2(i,j)=(1,2),(2,1)
N−1∑

荒く最適化されたフレーム分析の時間周波数領域において，サンプリング周波数ミスマッチの詳細な推定を行う。未知パラメタ D21 と ϵ のうち，D21 については厳密に推定する必要はなく，前節の推定で十分な制度であると考えられる。そこで，サンプリング周波数ミスマッチの荒い推定 ϵ に以下のような修正を加えるパラメタを，録音開始時刻オフセットに極力修正を加えない形で求める。

n2 = ϕ′21 (n1 ; ϵ′ )= (1 + ϵ) ((1 + ϵ′ ) (n1 − M ) + M − D21 ) (22)
ここで M はフレーム分析が適用される区間の中心時刻を表す。
サンプリング周波数ミスマッチの荒い推定 ϵ は既に得られているため，その修正パラメタ ϵ′ の最適値はは典型的に小さなものとなる。そのため，これを用いた同期の補正 X̂2′ (k, ϕ′21 (n1 ; ϵ′ )) は線形位相により十分高い精度で得られる。

X̂2′ (k, ϕ′21 (n1 ; ϵ′ ))(= X̂2 (k, ϕ21 (n1 )) exp(18)
この相関の計算は直接求めると計算量が大きくなる()
が，等価な処理は区間 xi n + n′hij の時刻を符号反(i∗h , jh∗ ) =サンプリング周波数ミスマッチの詳細な推定

5Fig. 1 Estimation of nA1 andnA2 correspond to thesame continuous time near the beginning of theasynchronous recording.

N/2−1(21)evaluation)(Detected appropriately)n′′hij = arg maxn′′(20)nhjh∗ = n′′hi∗h jh∗

これらの推定を式 (14)，(15) に代入することにより，ϵ と D21 の荒い推定が得られ，これらを 3 節の処理に用いることにより，荒く最適化した時間周波数分析が得られる。

x2 (n )
0nhi∗h = n′hjh∗ i∗h() ()xi n + n′hji xj n + n′′hij

2πȷkϵ′ (n1 − M )L)(23)

このパラメタ ϵ′ の推定は時間周波数領域の 2 チャネ
ル信号[]TX̂′ (k, n1 ; ϵ′ ) = X1 (k, n1 ) , X̂2′ (k, ϕ′21 (n1 ; ϵ′ ))(24)（T は転置）を用いて表される以下の対数尤度関数
L (ϵ) の最大化により求めることができる。
∑∑
HX̂′ (k, n1 ; ϵ′ ) X̂′ (k, n1 ; ϵ′ )L (ϵ′ ) = −log detn1k(25)
ここで H は複素共役転置を表す。この回の探索は黄金分割探索により効率的に行うことができる [2]。
ここで ϵ′ を求めることは，ϵ と D21 に以下のような修正を加えることに相当する。

2ϵ ← (1 + ϵ) (1 + ϵ′ ) − 1(26)′ϵ M + D21(27)1 + ϵ′
N−1N−1∑∑(()2)2xi n + n′hji
xj n + n′′hij この修正は小さなものであるため，時間周波数領域の同期としては ϵ′ を直接用いて位相補償を行う式 (23)n=− Ln=− L22でも十分であるが，第 3 節の処理にこれらの修正パ(19)
ラメタを代入してより精度を高めた分析を得ることも可能である。
最終的に，2 つの同時刻ペア {nA1 , nA2 } , {nB1 , nB2 }2|γh (i, j)| =日本音響学会講演論文集

D21 ←

n=− L
2- 595 -2013年9月

1-2RMSE of

10 1

101001000

Conventional-410Coarse-610estimate
Proposed-8

10-1010Signal length [s]Fig. 2 Root mean squared errors (RMSEs) of estimations of sampling frequency mismatches ϵ.

6

評価実験

No mismatch
20
Unprocessed
15Upper limit of STFT
10synchronization
Conventional

5
Proposed

01101001000

Signal length [s]Fig. 3 Source separation performance with SDRmeasure.
んど分離ができていない。そのためこの条件では同期の補償が不可欠であるということがわかる。Upperlimit of synchronization は非整数フレーム分析による同期補償に真のパラメタを与えた場合で，提案手法の性能限界を表す。Conventional は我々が以前に提案した従来手法で，信号長が 60 秒を超えたあたりから急激に性能が劣化していることがわかる。提案
手法は長時間の録音に対しても頑健な同期の補償を達成し，Upper limit と同等な精度まで分離性能を回復させている。以上より，提案手法の有効性が確認された。

7

提案したブラインド同期の分散型マイクロホンア
レーを用いたブラインド音源分離への寄与を評価するため，2 つのマイクロホンによる 2 話者の混合の観測に人工的なサンプリング周波数のミスマッチを与えて同期補償と音源分離を評価する。
観測信号は実測したインパルス応答を日本語の単語発話を接続した音声に畳込むことにより作成した。
話者数は 4 人で，全ての 12 組み合わせの平均を評価した。サンプリング周波数は，元々は 16,000 Hz で同期がとれていたものに対して，±0.5, ±1, ±1.5 Hzのミスマッチを与えて非同期録音を模擬した。これ
らのミスマッチの大きさは実際の機器間のミスマッチとして現実的な大きさである。人工的なサンプリン
グ周波数ミスマッチにはポリフェーズフィルタによるリサンプリングを用いた。ブラインド音源分離の手法としては補助関数法独立ベクトル分析（AuxIVA）[3] を用いた。それ以外の条件は Table 1 に示す。
サンプリング周波数ミスマッチ ϵ の推定精度を平均二乗誤差平方根 (RMSE) による評価を Fig. 2 に示す。我々が以前に提案した手法 [2] および第 4 節の荒い推定の精度と提案手法を比較する。どの手法も信号長に応じて推定精度が向上し，すべての信号長において提案手法により最も高精度な推定が得られている。
音源分離性能の比較を Fig. 3 に示す。評価尺度には Signal-to-distortion ratio (SDR) [4] を用いた。Nomismatch と示される折れ線はサンプリング周波数のミスマッチがない条件での音源分離性能を表し，言うまでもなくどのサンプリング周波数のミスマッチの補償よりも高い性能を示す。それに対して Unprocessedはサンプリング周波数ミスマッチを補償しないまま音源分離を行った結果で，SDR が 0 付近になりほと

日本音響学会講演論文集

25

SDR [dB]

Table 1 Experimental conditions.
Signal length [s]3, 5, 10, 20, 30, 60, 120,
300 and 600
Reverberation time
T60 of 130 ms
Frame length L
4,096 samples
Frame shift
2,048 samples
Source distances
1.5 m
Source directions[-50◦ , 30◦ ], [-60◦ , -10◦ ]Microphone spacing
2 cmN
16,000 samples
Candidates of10from[ samples]
discretized search [2]−2 × 10−4 , 2 × 10−4

おわりに

本稿では，非整数サンプルシフトのフレーム分析による，長時間録音にも頑健な非同期録音のブラインド同期手法を提案した。サンプリング周波数のミスマッ
チにより生じるチャネル間の時刻のドリフトを，短時間での小さな影響を無視して分析フレームの中心時刻が線形に変化するとみなし，フレームの中心時刻を補償することによりチャネル間の同期を回復させた。
このような分析ではフレーム中心時刻は非整数サンプルとなるため，整数に丸めた時間領域の窓分析と，小数点以下の時刻シフトを線形位相で与えることにより非整数サンプルシフトのフレーム分析を達成した。また，時間領域の相関によりパラメタを荒く推定して非整数サンプルシフトのフレーム分析を行い，より詳細な補償を最尤な線形位相を与えることにより，効率的で高精度な同期を行った。評価実験により，提案手法は長時間録音でも頑健に同期を行い，アレー信号処理の性能を回復させることを確認した。

参考文献[1] Liu et al., Proc. IWAENC, 2008.
[2] Miyabe et al., Proc. ICASSP, pp.674-678, 2013.
[3] Ono, Proc. WASPAA, pp.189-192, 2011.
[4] Vincent et al., Proc. ICA, pp. 552–559, 2007.

- 596 -2013年9月