1-6-20
多チャンネル変分自己符号化器を用いた劣決定音源分離 ∗11◎関翔悟 1 ，亀岡弘和 2 ，李莉 3 ，戸田智基 1 ，武田一哉 1
名古屋大学，2 NTT コミュニケーション科学基礎研究所，3 筑波大学

はじめに

3

本稿では劣決定音源分離問題を扱う．多チャンネル非負値行列因子分解（MNMF）[1, 2] は劣決定音源分離に有効な手法であり，NMF を音源のパワースペクトログラムモデリングへと適用する．これは優決定条件下での MNMF でもある独立低ランク行列分析（ILRMA）[3, 4] にも取り入れられている．これらの手法は特定の音源に対して有効である一方で，NMFによってモデル化が困難な音源に対してはその分離性能が制限される．この問題に対して，NMF の代わりに条件付き変分自己符号化器（CVAE）を音源モデルとして利用する多チャンネル変分自己符号化器（MVAE）が最近提案され，ネットワークの柔軟な表現能力による高い分離性能が確認されている [5]．
本稿では優決定音源分離で定式化されている MVAEを劣決定音源分離へと適用し，停留点への収束が保証された最適化アルゴリズムを導く．2 チャネルのマイクロフォンアレイを用いた３話者の分離による実験的評価を行い提案法の有効性を示す．

2定式化

3.1 MNMF[2]観測信号の空間共分散はステアリングベクトル
aj (f ) および分散 vj (f, n) を用いて以下で表される．
∑A(f )V(f, n)AH (f ) =aj (f )vj (f, n)aHj (f )j∑=vj (f, n)Rj (f )(8)j

ここで Rj (f ) は音源 j の空間共分散を表す．MNMF
では，各音源信号の分散 vj (f, n) を Kj のスペクトル
テンプレート hj,1 (f ), · · · , hj,Kj (f ) ≥ 0 とその時変な励起パターン uj,1 (n), · · · , uj,Kj (n) ≥ 0 を用いた

vj (f, n) =J(1)Tx(f, n) = [x1 (f, n), · · · , xI (f, n)] ∈ CI(2)s(f, n) = [s1 (f, n), · · · , sJ (f, n)] ∈ Cとする．ここで (·)T は転置を表し，f ，n はそれぞれ周波数，時間を表すインデックスである．本稿では，周波数領域における瞬時混合表現で表される混合系

x(f, n) = A(f )s(f, n),A(f ) = [a1 (f ), · · · , aJ (f )] ∈ C

(3)
I×J

(4)

を用いる．ここで A(f ) は混合行列である．
いま，sj (f, n) が平均 0，分散 vj (f, n) の複素ガウ
ス分布 NC (sj (f, n)|0, vj (f, n)) に従う Local Gaussian
Model (LGM) を仮定する．j ̸= j ′ において sj (f, n)，sj ′ (f, n) が独立であるとき，観測信号 s(f, n) はs(f, n) ∼ NC (s(f, n)|0, V(f, n))(5)に従う．ここで V(f, n) は v1 (f, n), · · · , vJ (f, n) を要素にもつ対角行列である．(3)，(5) より観測信号
x(f, n) はx(f, n) ∼ NC (x(f, n)|0, A(f )V(f, n)AH (f ))(6)Hに従う．ここで (·) は共役転置を表す．
したがって，混合行列 A = {A(f )}f および音源の分散 V = {vj (f, n)}f,n を用いて観測信号 X ={x(f, n)}f,n に対する対数尤度は以下で与えられる．
clog p(X |A, V) =∑ [tr(xH (f, n)(A(f )V(f, n)AH (f ))−1 x(f, n))−f,n]+logdet(A(f )V(f, n)AH (f ))(7)c

ここで = はパラメータに関する等号を表す．
∗∑K j
k=1

hj,k (f )uj,k (n),(9)∑
もしくは， k bj,k = 1 を満たす指示変数 bj,k ∈ [0, 1]を加え音源間で共有した K のスペクトルテンプレー
トおよびその励起パターンを用いた観測チャネル数および音源数をそれぞれ I ，J とし，観測信号および音源信号の時間周波数表現をそれぞれT

関連研究

vj (f, n) =∑K
k=1

bj,k hk (f )uk (n)(10)

によってモデル化する．
MNMF の最適化アルゴリズムは空間共分散 R ={Rj (f )}j,f と音源モデル（H1 = {hj,k (f )}j,k,f ，U1 = {uj,k (n)}j,k,n もしくは B = {bj,k }j,k ，H2 ={hk (f )}k,f ，U2 = {uk (n)}k,n ）の 反 復 更 新 に よって構成され，それぞれの更新則は MajorizationMinimization (MM) アルゴリズム [6] により得られる．

3.2 MVAE [5]MVAE では，CVAE のデコーダを音源のパワースペクトログラムの生成モデルとして利用する．CVAE
は複素スペクトログラム S̃ と音源ラベル c で構成される学習データを用いて事前に学習される．エンコー
ダの分布 qϕ (z|S̃, c) はガウス分布∏qϕ (z|S̃, c) =N (z(k)|µϕ (k; S̃, c), σϕ2 (k; S̃, c)),k(11)
デコーダの分布 pθ (S̃|z, c, g) は平均 0 の複素ガウス分布∏pθ (S̃|z, c, g) =NC (s(f, n)|0, v(f, n)) (12)f,nv(f, n) = g · σθ2 (f, n; z, c)(13)を表すようにネットワークを学習する．ここで z は潜在変数，µϕ (k; S̃, c)，σϕ2 (k; S̃, c) は要素 k のデコー
ダ出力 µϕ (S̃, c)，σϕ2 (S̃, c)，σθ2 (f, n; z, c) は要素 (f, n)のデコーダ出力 σθ2 (z, c) であり，g は生成されたスペ
クトログラムに対するグローバルスケールである．

Underdetermined Source Separation Using Multichannel Variational Autoencoder.
by SEKI, Shogo (Nagoya University), KAMEOKA, Hirokazu (NTT), LI, Li (University of Tsukuba),
TODA, Tomoki (Nagoya University), TAKEDA, Kazuya (Nagoya University)

日本音響学会講演論文集- 229 -2019年3月

4.0
8.0

ISR [dB]

SDR [dB]

3.0

2.0
MNMF1
MVAE1
MNMF2
MVAE2

1.0

0.0

6.0

4.0
MNMF1
MVAE1
MNMF2
MVAE2

2.0

0.0

2
22+SM21+SM1+SF21+SM1+SM 1+SF2+SMSFSF
SM

SF1+SF2
22+SM21+SM1+SF21+SM1+SM 1+SF2+SMSFSF
SM

SF1+SF

8.0

6.0
5.0

SAR [dB]SIR [dB]

6.0
4.0
3.0
2.0

MNMF1
MVAE1
MNMF2
MVAE2

1.0
0.0

4.0

0.0

2
22+SM21+SM1+SF21+SM1+SM 1+SF2+SM
SF
SF
SM

SF1+SF]−1+ vj (f, n)tr(K (f, n)Rj (f, n)) (14)が成立する．ただし，等号成立は以下である．
)−1(∑
vj (f, n)Rj (f, n)
Pj (f, n) = vj (f, n)Rj (f, n)jK(f, n) = X(f, n)

(15)
(16)

ここで X(f, n) = x(f, n)xH (f, n) である．したがって，(14) の右辺を majorizer として利用することが可能であり，停留点への収束が保証される最適化アルゴリズムが得られる．R および G の更新則は MNMF の場合と同様に得られる [2]．また，(14) より majorizer
は音源ごとの項へ分割されることから，潜在表現 Ψは音源ごとに並行した最適化が可能である．

5

実験的評価

2 チャネルのマイクロフォンアレイを用いた３話者の音源分離性能を評価した．音源データとして Voice
Conversion Challenge (VCC) 2018 dataset [7] から，男女計 4 話者の発話を利用した．計 4 パターンの 3 話者の組み合わせについて混合信号を生成した．[5] と同様に CVAE のエンコーダ，デコーダにはそれぞれ 3 層のゲート付き畳み込みネットワーク，3 層のゲート付き逆畳み込みネットワークを用いた．また，CVAE におけるラベル c は各話者に対応する 4 次元の one-hod 表現を用いた．(9) または (10) の音源モデルをもつ MNMF
をベースライン（MNMF1，MNMF2）として提案法と比較した．ベースラインを 200 回反復した結果を各手法の初期値とし，ベースライン，提案法のイテレーションはいずれも 100 とした．提案法については異なる 2 つの初期値を用いて評価を行った（MVAE1，

日本音響学会講演論文集

8.0
6.0
4.00.02
22+SM21+SM1+SF21+SM1+SM 1+SF2+SM
SF
SF
SM

4.0

2.0

2
22+SM21+SM1+SF21+SM1+SM 1+SF2+SM
SF
SF
SM

SF1+SF

8.0

MNMF1
MVAE1
MNMF2
MVAE2

6.0

SAR [dB]

6.0

MNMF1
MVAE1
MNMF2
MVAE2

2.0

SF1+SF

8.0c

vj (f, n)

2.0

0.0

− log p(X |A, V) ≤∑ ∑ [ tr(X(f, n)Pj (f, n)R−1j (f, n)Pj (f, n))
f,n

3.0

1.0

SIR [dB]

Fig. 1 に MVAE と (9) で与えられる音源モデルをもつ MNMF の概要を示す．MVAE においてデコーダの分布が LGM と同様の形式で表されるため，音源j について pθ (S̃j |zj , cj , gj ) を用いて (7) の対数尤度に対する最適化が可能となる．したがって，MNMFと同様に MM アルゴリズムに基づいた空間共分散 Rと音源モデル（G = {gj }j ，Ψ = {zj , cj }j ）の反復更新による最適化アルゴリズムが得られる．[6] より，SDR [dB]

4.0

10.0

MNMF1
MVAE1
MNMF2
MVAE2

ISR [dB]

5.0

提案法：劣決定 MVAE

j2
22+SM21+SM1+SF21+SM1+SM 1+SF2+SMSF
SF
SMSF1+SFFig. 2: Separation performances for T60 = 78 ms

Fig. 1: Illustration of MNMF and MVAE4

MNMF1
MVAE1
MNMF2
MVAE2

2.04.0

MNMF1
MVAE1
MNMF2
MVAE2

2.00.02
22+SM21+SM1+SF21+SM1+SM 1+SF2+SM
SF
SF
SM

SF1+SF

0.0

2
22+SM21+SM1+SF21+SM1+SM 1+SF2+SMSF
SF
SMSF1+SF

Fig. 3: Separation performances for T60 = 351 ms
MVAE2）．評価尺度として，Signal-to-Distortion Ratio (SDR)，source Image-to-Spatial distortion Ratio(ISR)，Signal-to-Inference Ratio (SIR)，Signal-toArtifact Ratio (SAR) を用いた [8]．残響時間 T60 が78 ms，351 ms の場合においてそれぞれ評価を行った． 実験結果を Fig. 2， 3 に示す．いずれの残響環境においても，提案法において性能改善が確認できる．

6

おわりに

本稿では，優決定音源分離で高い分離性能が確認されている MVAE について一般化し，劣決定音源分離への適用を行った．提案法の最適化アルゴリズムは従来法である MNMF と同様に停留点への収束性が保証されている．2 チャネルのマイクロフォンアレイを用いた３話者の分離実験による実験的評価より，提案法による分離性能の改善を確認した．
謝辞 本研究の一部は，JSPS 科研費 17H01763 の助成を受け実施したものである．

参考文献[1] Ozerov & Févotte, IEEE TASLP, 18(3), 550–563, 2010.
[2] Sawada, et. al., IEEE TASLP, 21(5), 971–982,
2013.
[3] Kameoka, et. al., LVA/ICA, 245–253, 2010.
[4] Kitamura, et. al., IEEE/ACM TASLP, 24(9),1622–1637, 2016.
[5] Kameoka, et. al., arXiv preprint 1808.00892,
2018.
[6] Kameoka, et. al., Audio Souce Separation,Springer, 95–124, 2018.
[7] Lorenzo-Trueba, et. al., arXiv preprint
1804.04262, 2018.
[8] Vincent, et. al., IEEE TASLP, 14(4), 1462–1469,
2006.

- 230 -2019年3月