1-P-14
多チャンネルウィーナーフィルタを用いた音源分離における観測モデルの調査∗☆坂梨龍太郎, 宮部滋樹，山田武志，牧野昭二 (筑波大)

1

はじめに

音源分離はハンズフリー音声認識やコンピュータ
による音環境理解のために不可欠な技術である．特に，音源の位置や話者の情報，また音源からの伝達関数など事前情報を必要としないブラインド音源分離（BSS: Blind Source Separation）はここ 10 年ほどで大きく進展している [1]．ブラインド音源分離は独立
成分分析 [2] と呼ばれる手法が代表的であるが，この手法は音源数が観測信号数以下である場合にしか適用できない．音源の数が観測信号数よりも多い条件
での音源分離を劣決定 BSS と呼び，これを実現する手法として一般的にスパース性の仮定を用いることが多い [3]．スパース性とは，対象とする信号のエネ
ルギーが各時間周波数において一部の領域に集中し多くの領域でほぼ 0 であるような性質であり，音声の混合は時間周波数領域ではこの性質がよく成り立
つため，劣決定 BSS で幅広く利用されている．この
スパース性の仮定を利用した代表的な手法としては，
時間周波数マスキングが挙げられる [3]．これは，分離対象とする信号が支配的である時間周波数スロットを推定し，その時間周波数成分をマスキング処理により分離する手法であり，これを用いた様々な手法が提案されている [4] [5] [6] [7]．
従来の劣決定音源分離ではスパース性を仮定するのが一般的であったのに対し，スパース性を入れないモデル化により高音質な分離を達成する多チャンネ
ルウィーナーフィルタ [8] が Duong らにより提案されている．この手法は音源と伝達関数の積である音像が多変量正規分布に従うという仮定により，時不変の空間相関行列と時変の分散を EM アルゴリズムにより推定し，それらのパラメタを用いた多チャンネル
ウィーナーフィルタにより音源分離を行う．文献 [8]にはその最尤推定が明示的に定式化されていないが，Togami が [9] で指摘しているようにその EM アルゴ
リズムの Q 関数では隠れ変数として扱われる音像が多チャンネルの複素振幅のまま重ね合わせられて観測信号を生成するというモデル化となっていて，近似的にしか成り立たないスパース性の仮定を排している．
本稿では，Duong 法が高品質な音源分離を達成できる理由として考えられるいくつかの要因について
詳しく分析する．具体的には，１）多変量正規分布による音像モデルを用いていること，２）多チャンネ
ルウィーナーフィルタによる分離であること，３）ス
パース性を仮定せず導出した EM アルゴリズムであること，の３つの特徴に着目する．これらの有効性を確認するため，Duong 法と同様に音像を正規分布でモデル化しつつも，複数の音像の重ね合わせではなく単一の音像がスパースに出現して観測信号を形成する，というモデルの最尤推定を行う EM アルゴリズムを定式化し，推定したパラメタから，A）音源がアクティブである事後確率を用いた分離，B）最大事後確率（MAP）推定である最尤バイナリマスクによる分離，C）多チャンネルウィーナーフィルタによる分離の３手法を実装する．これを Duong 法及び一般的なバ
イナリマスク手法である MENUET と比較し，i）代
表的なバイナリマスク手法である MENUET と定式化した最尤バイナリマスクの比較による多変量正規分
布の音像モデル化の妥当性，ii）上記の A），B），C）
３手法の比較による多チャンネルウィーナーフィル∗

タの有効性，iii）定式化した多チャンネルウィーナー
フィルタと Duong 法の比較によるスパース性を仮定
しない音像重ね合わせモデルによる推定の有効性，以上３点の検証を行った．その結果，上記１）〜３）全
てが Duong 法の高品質な音源分離を達成できる要因と言えることが確認された．
２章では本稿で扱う観測モデルについて述べる．３
章では Duong 法の概要について述べる．４章では比較手法であるスパースモデルの定式化について述べる．５章では Duong 法の有効性を確認するための音
源分離の比較実験を行う．６章では本稿の結論を述
べる．

2

観測モデル

ここでは本稿で扱う Duong 法と新たに定式化した
スパースモデルによる手法における観測モデルについての説明を行う．まず観測信号は，j 番目の原音源
sj (n, f )，伝達関数ベクトル hj (f ) により，x(n, f ) = [x1 (n, f ), ..., xI (n, f )]
≈

J
∑

T

hj (f )sj (n, f ),

(1)

j=1
T

hj (f ) = [h1j (f ), ..., hIj (f )]として表される．ここで hij は j 番目の音源から i 番
目のチャンネルへの伝達関数，J は音源数，I はチャ
ンネル数である．また，残響などの空間特性を含んだ信号を，音像（source image）と呼び，j 番目の音像を以下のように定義する．

cj (n, f ) = hj (f )sj (n, f )(2)

本稿では各音源の音像 cj (n, f ) を推定する問題を取り扱う．

3

Duong らの多チャンネルウィーナーフィ
ルタ

ここでは Duong 法のパラメタ推定と音源分離について，文献 [8] で明示的に示されていなかった最尤推定の定式化を含めて説明する．

3.1 問題設定
Duong 法 は モ デ ル パ ラ メ タ 推 定 を 用 い て 音 像
cj (n, f ) の推定を行う．本来音像は，式（2）のように表されるが，分析フレームの中に納まらない長い残響などの影響を考慮して伝達関数が時変であると仮定し，cj (n, f ) = hj (n, f )sj (n, f )(3)と表し，伝達関数ベクトルも時変とする．このように変動する個々の音像 cj (n, f ) の事前確率密度がモデ
ルパラメタ θ(f ) = {νj (n, f ), Rj (f )} による複素正規分布p(cj (n, f )|θ(f )) = Nc (cj (n, f ); 0, Rcj (n, f ))(4)

Research of the observation model in source separation using multichannel Wiener filter. by SAKANASHI,
Ryutaro, MIYABE, Shigeki, YAMADA, Takeshi, MAKINO, Shoji (University of Tsukuba)

日本音響学会講演論文集- 757 -

2012年9月

で表されると仮定する．ここで，Nc (·) は多変量複素正規分布の確率密度関数を表す．また，音像の共分散
行列 Rcj (n, f ) は，

Rcj (n, f ) = νj (n, f )Rj (f )(5)のように，Rcj (n, f ) は時間依存の時変の分散 νj (n, f )と時不変の空間相関行列 Rj (f ) として表せると仮定する。空間相関行列 Rj (f ) は時不変の伝達関数 hj (f )を仮定すると Rj (f ) = hj (f )hH
j (f ) と表せてランクが 1 となるが，分析フレームの中に納まらない長い残響などの影響を考慮し，伝達関数による制約は設けずフルランクであると仮定している．以上のように cj (n, f ) が生成されると仮定した場合の最尤推定を行う．

となる．ここで CJ (n, f ) = {c1 (n, f ), ..., cJ−1 (n, f )}である．

3.3 音源分離
以上の Q 関数をパラメタで偏微分することにより，以下の EM アルゴリズムが与えられる．
E-step では以下の更新
Wj (n, f ) = Rcj (n, f )R−1
x (n, f )ĉj (n, f ) = Wj (n, f )x(n, f )R̂cj (n, f ) = ĉj (n, f )ĉHj (n, f )+ (I − Wj (n, f ))Rcj (n, f )1tr(R−1j (f )R̂cj (n, f ))
I
N
1 ∑
1
Rj (f ) =R̂c (n, f )N n=1 νj (n, f ) jνj (n, f ) =p(C(n, f ), x(n, f )|θ(f ))=()
Nc cj (n, f ); 0, Rcj (n, f )j=1

· Nc x(n, f ) −J∑

Rcj (n, f ) = νj (n, f )Rj (f )Rx (n, f ) =cj (n, f ); 0, RcJ (n, f ) (6)j=1

で 与 え ら れ る ．こ こ で C(n, f ) = {c1 (n, f ), ...,
cj (n, f ), ..., cJ (n, f )} である．式（6）を全ての音像について周辺化することにより観測尤度

p(x(n, f )|θ(f )) = Nc (x(n, f ); 0, Rx (n, f ))(7)

Rx (n, f ) =νj (n, f )Rj (f )

(8)

n=1

=

N
∑



(
)
log p C(n, f ), x(n, f )|θ̄(f ) dCJ (n, f )p(C(n, f ), x(n, f )|θ(f ))p (x(n, f )|θ(f ))()
log p C(n, f ), x(n, f )|θ̄(f ) dCJ (n, f )−IJ log π − I

n=1

−

J
∑

log ν̄j (n, f )log det(R̄j (f ))

j=1


(
)
1
 , (9)−Tr Mj (n, f )R̄−1
j (f )
ν̄
(n,
f
)
j
j=1
J
∑

Mj (n, f )= Rcj (n, f ) − Rcj (n, f )Rx−1 (n, f )Rcj (n, f )(x(n, f )R−1
x (n, f )Rcj (n, f )日本音響学会講演論文集()−1 )−1
R−1
cj (n, f ) + Rx (n, f ) − Rcj (n, f ))となるため，求められたパラメタによる期待値または最大事後確率（MAP: Maximum A Posteriori）推定として各音源の音像がcj (n, f ) = Rcj (n, f )R−1
x (n, f )x(n, f )(19)というマルチチャネルウィーナーフィルタの形で求められる．

4

スパース性を仮定した観測モデルと分離手法の定式化4.1 問題設定
各時間周波数スロット (n, f ) において１つの音像 cj (n, f ) だけアクティブであると仮定したとき，z(n, f ) を各時間周波数スロット (n, f ) においてアク
ティブである音源番号であると定義し，第 j 番目の音
源がアクティブになる確率を+ Rcj (n, f )R−1
x (n, f )x(n, f )H(17)

スパース性を仮定しない Duong 法の有効性を検証するための比較手法として，ここでは Duong 法と同様のモデルの音像がスパースに生成されて観測されると仮定した音源分離を定式化する．

j=1
J
∑

νj (n, f )Rj (f )(18)

Q(θ(f ), θ̄(f ))N ∫∑=p (C(n, f )|x(n, f ), θ(f ))

=

(16)

p(cj (n, f )|x(n, f ), θ(f ))(= Nc cj (n, f ); Rcj (n, f )R−1
x (n, f )x(n, f ),で表される．この尤度関数により，Q 関数は，

N ∫
∑

(15)

を行う．これを繰り返すことによりパラメタを推定する．ここで I は単位行列である．EM アルゴリズ
ムによるパラメタの推定後にそれらを用いて音像の推定を行う．p(C(n, f )|x(n, f ), θ(f )) を c1 (n, f ), ...,
cj−1 (n, f ), cj+1 (n, f ), ..., cJ (n, f ) について周辺化を
行うと，

j=1

n=1

J
∑

(14)

j=1

が得られる．ここで，Rx (n, f ) は観測信号 x(n, f ) の共分散行列であり，
J
∑

(13)

を行い，M-step では以下の更新

3.2 モデルパラメタ推定
式（1），
（2），
（4）を用いると観測信号が全ての音像の重ね合わせとして観測される確率は，
J−1
∏

(11)
(12)

(10)

- 758 -p(z(n, f ) = j) = µj (f ),J∑µj (f ) = 1

(20)

j=1

2012年9月

と表す．この仮定の下で，観測信号 x(n, f ) がx(n, f ) = cz(n,f ) (n, f )E-step では以下の変数が更新される．

として与えられるというモデル化は，スパース性を仮定した観測モデルとなる．このモデルにおける音像 cj (n, f ) の生成は，Duong 法と同じく時変の分散νj (n, f ) と空間相関行列 Rj (f ) の積を共分散行列とし，スパースの仮定を含むモデルパラメタ θ(f ) = {Rj (f ),νj (n, f ), µj (f ), for j = 1, ..., J} の正規分布に従うと仮定すると，p (cj (n, f )|z(n, f ) = j, θ(f ))= Nc (cj (n, f ) ; 0, νj (n, f ) Rj (f ))mj (n, f )µj (f )Nc (x(n, f ); 0, νj (n, f )Rj (f ))
←∑
(30)
′
′
′
j ′ µj (f )Nc (x(n, f ); 0, νj (n, f )Rj (f ))

(21)

(22)

4.3 音源分離
以上のパラメタ推定による音源分離として，以下の 3 手法を示す．
事後確率を用いたスパースソフトマスクによる分離
ソフトマスクによる分離は，j 番目の音源がアクティブになる事後確率を与える分配関数 mj (n, f ) による分離であり，分離音は以下の式で表される．

4.3.1

で表される．

4.2 モデルパラメタ推定
モデルパラメタθ(f ) を最大化する観測信号 x(n, f )∏の尤度 n p(x(n, f )|θ(f )) は以下のように定義される．
∏
p (x(n, f )|θ(f ))
n

=

J
∏∑

µj (f )Nc (x(n, f ); 0, νj (n, f )Rj (f )) (23)n j=1

この最尤推定は、以下で与えられる z(n, f ) を隠れ変数とした Q 関数を最大化する EM アルゴリズムにより求めることができる。

Qf (θ(f ), θ̄(f ))∑=mj (n, f )log µj (f )
n,j

=

∑

· Nc (x(n, f ); 0, νj (n, f )Rj (f ))(mj (n, f ) log µj (f ) − I log π − I log νj (n, f )n,j() x(n, f )H R̄−1
j (f )x(n, f )− log det R̄j (f ) −νj (n, f ))cj (n, f ) = mj (n, f )x(n, f )4.3.2 スパースバイナリマスクによる分離
バイナリマスクによる分離は，分配関数 mj (n, f )における各時間周波数で最大の確率を持つ音源の確率を 1，それ以外を 0 にしたバイナリマスク Mj (n, f )を作成し分離することであり，分離音は以下の式で表される．
{
1 if j ∗ = argmax mj (n, f )jMj (n, f ) =(32)
0 otherwise
cj (n, f ) = Mj (n, f )x(n, f )4.3.3 スパースウィーナーフィルタによる分離
ここでは分散 νj (n, f ) の期待値を用いて設計した
Duong 法と同様のウィーナーフィルタについて述べる．分散 νj (n, f ) の事後期待値は mj (n, f )νj (n.f ) となるため，これを用いて式（19）と同様のマルチチャ
ネルウィーナーフィルタを設計する．
∑
Rx (n, f ) =mj (n, f )νj (n, f )Rj (f )(34)j

ここで mj (n, f ) は事後確率を与える分配関数（連続的な時間周波数マスク）

mj (n, f ) = p (z(n, f ) = j|x(n, f ), Rj (f ), νj (n, f ))
(25)
であり，
J
∑
mj (n, f ) = 1
(26)
j=1

を満たす．この Q 関数の各パラメタでの偏微分を 0とおくことにより EM アルゴリズムが導かれる．
M-step では以下の変数が更新される．

xH (n, f )R−1
j (f )x(n, f )I∑ mj (n,f )H
n νj (n,f ) x(n, f )x (n, f )∑Rj (f ) ←n mj (n, f )∑mj (n, f )µj (f ) ← ∑ n′
n,j ′ mj (n, f )日本音響学会講演論文集(33)

こ れ は p(c1 (n, f ), ..., cJ (n, f )|x(n, f ), R1 (f ), ...,RJ (f ), ν1 (n, f ), ..., νJ (n, f )) を最大にする c1 (n, f ),..., cJ (n, f ) の最大事後確率推定に相当する．

Rcj (n, f ) = mj (n, f )νj (n, f )Rj (f )(24)νj (n, f ) ←

(31)

(27)
(28)
(29)

cj (n, f ) = Rcj (n, f )R−1
x (n, f )x(n, f )

5

(35)
(36)

実験

5.1 実験条件
SiSEC 2011 [10] の音声データ男女それぞれ 4 音声，
計 8 音声から 3 音声を選び，異なる組み合わせで 6 パ
ターンの音声混合を行い，一般的なバイナリマスク手法である MENUET と，スパースモデルによる３手法と Duong 法の性能比較を行う．マイク間距離は2.15 cm，音源方向は −40◦ ，0◦ ，30◦ ，FFT のサイズ
は 1024 点，サンプリング周波数は 16 kHz，EM ア
ルゴリズムの反復回数は 50 回である．分離性能の客観評価値には文献 [11] で示された，SDR (Signal toDistortion Ratio)：総合的な歪み，ISR (Source Image
to Spatial distortion Ratio)：線形歪み，SIR (Source
to Interference Ratio)：他話者音声の消し残りによる歪み，SAR (Sources to Artifacts Ratio)：非線形歪み，
以上４つの歪み尺度を使用する．単位は dB であり，
この歪み尺度の数値が高いほど性能が良い．Duong
法と定式化したスパース性を導入した手法の初期値生成とパーミュテーション解決には，文献 [12] の手法を用いた．

- 759 -

2012年9月

DEhd
^
^ 

/s 
^


 /s ^t /s 



^Z

/^Z

^/Z

Fig. 1

う観測モデルの最尤推定から，音源がアクティブである事後確率を用いたスパースソフトマスクによる分
離，MAP 推定であるスパースバイナリマスクによる分離，スパースウィーナーフィルタによる分離，の 3
つの音源分離手法を定式化し，Duong 法及び一般的な時間周波数バイナリマスク手法である MENUETと性能を比較した．その結果，Duong 法の上記３つの特徴全てが Duong 法の高品質な音源分離を達成できる要因と言えることが確認された．
謝辞 本研究は科研費（２３２４００２３）の助成を受けたものである．また，本研究を遂行するにあたって有益なご助言を頂いた日立製作所中央研究所の戸上真人氏に感謝いたします．

^Z

実験結果

参考文献
5.2 実験結果，考察
実験結果を図 1 に示す．スパースソフトマスクによる分離よりスパースバイナリマスクによる分離の方が性能は大幅に良く，スパースウィーナーフィルタによる分離はスパースバイナリマスクによる分離よ
りも SAR は大幅に良く SDR も高い．MENUET の性能はスパースバイナリマスクに劣るものの似たよ
うな傾向にあるが，SIR のみスパースバイナリマスク
より高い値を持つ．Duong 法は SIR，SAR で他手法に劣るものの，ISR，また総合的な評価値である SDRの値は最も高い．
音像の多変量正規分布によるモデル化の妥当性を検証するため，代表的なバイナリマスク手法である
MENUET と多変量正規分布の最大事後確率推定であるスパースバイナリマスクを比較する。全ての評価尺度が同程度であるため、音像の多変量正規分布によるモデル化は副作用がなく妥当なものであるということが確認できる。次に，どのような分離手法が有効であるかの検証を行うため，定式化したスパースモ
デルによる３手法を比較した．スパースソフトマス
クは全ての評価値において最も低い値を持つ．また，
スパースバイナリマスクは，スパースウィーナーフィ
ルタよりも SIR が高く分離度が高いが，SAR においてはスパースウィーナーフィルタの値が大幅に高く，歪みが少ない分離であることから，総合的な品質である SDR におけるスパースウィーナーフィルタの値が高くなっている．これらのことから，スパースウィー
ナーフィルタによる分離が定式化したスパースモデ
ルによる手法の中で最も性能が高いと言える。最後に，スパース性を仮定しない音像の重ね合わせモデ
ルの有効性の検証を行うため，定式化したスパース
ウィーナーフィルタと Duong 法を比較する．Duong
法の SAR の値は少々劣るものの，ISR，SIR の値は高い値を示しており，スパースウィーナーフィルタよりも Duong 法は分離度が高く歪みも少ないことがわ
かる．これらの値が，総合的な評価値である SDR の値にも作用していることがわかる．このことから，ス
パース性を仮定した観測モデルよりも，Duong 法のスパース性を仮定しない音像の重ね合わせによる観測モデルの方が有効であるということが確認された．

6

結論

本稿では，Duong 法が高品質な音源分離を達成できる要因として考えられる，多変量正規分布による音像モデル，多チャンネルウィーナーフィルタによる音源分離とスパース性を仮定しない重ね合わせによる観測モデルの３つの特徴の効果を検証した．そのために，Duong 法と同様の多変量正規分布による音像
モデルと，複数の音像の重ね合わせではなく単一の音像がスパースに出現して観測信号を形成するとい日本音響学会講演論文集[1] H. Sawada, S. Araki, and S. Makino, “Recent advances in audio source separation techniques,” J. IEICE, Vol. 91, No. 4, pp. 292–296,
2008.
[2] A. Hyvarinen, J. Karhunen, and E. Oja, Independent component analysis, Wiley, New York,
2001.
[3] O. Yilmaz, S. Rickard, “Blind separation of
speech mixtures via time-frequency masking,”
IEEE Trans. Signal Process., vol. 52, No. 7,
pages 1830–1847, 2004.
[4] S. Araki, H. Sawada, R. Mukai, and S. Makino,“Underdetermined blind sparse source separation for arbitrarily arranged multiple sensors,”
Signal Processing, no. 87, pp. 1833–1847, 2007.
[5] Y. Izumi, N. Ono, and S. Sagayama,“Sparseness-based 2ch BSS using the EM algorithm in reverberant environment,” Proc.
WASPAA, pp. 147–150, 2007.
[6] H. Sawada, S. Araki, and S. Makino, “Underdetermined convolutive blind source separation
via frequency bin-wise clustering and permutation alignment,” IEEE Trans. Audio Speech
Language Process., vol. 19, no. 3, pp. 516–527,
2011.
[7] J. Cermak, S. Araki, H. Sawada, S. Makino,“Blind speech separation by combining beamformers and a time frequency binary mask,”
Proc. IWAENC, pp. 145–148, 2006.
[8] N. Q. K. Duong, E. Vincent, and R. Gribonval,“Under-determined reverberant audio source
separation using a full-rank spatial covariancemodel,” IEEE Trans. Audio Speech Language
Process., vol. 18, no. 7, pp. 1830–1840, 2010.
[9] M. Togami, “Statistical estimation theory considering time-varying nature of systems andsource-probability distributions,” Ph. D. thesis, the University of Tokyo, 2011.
[10] http://sisec.wiki.irisa.fr/tiki-index.php[11] E. Vincent, H. Sawada, P. Boll, S. Makino, andJ. P. Rosca, “First stereo audio source separation evaluation campaign: data, algorithms
and results,” Proc. ICA, pp. 552–559, 2007.
[12] K. Iso, S. Araki, and S. Makino, T. Nakatani,
H. Sawada, T. Yamada, and A. Nakamura,“Blind source separation of mixed speech ina high reverberation environment,”
Proc.
HSCMA, pp. 36–39, 2011.

- 760 -

2012年9月