1-6-10
音源クラス識別器つき多チャンネル変分自己符号化器を用いた
高速セミブラインド音源分離 ∗◎李 莉 1 , 亀岡 弘和 2 , 牧野 昭二 1
1
筑波大学 2 日本電信電話株式会社 NTT コミュニケーション科学基礎研究所

1

はじめにブ ラ イ ン ド 音 源 分 離（Blind Source Separation:BSS）とは，音源信号や音源からマイクまでの伝達特性が未知の場合に，複数の音源信号が混合された観測信号から音源信号を推定する問題である．周波数領域で定式化される BSS のアプローチは，周波数ごとの音源分離の問題と周波数ごとに得られる分離信号がそれぞれどの音源のものであるかを対応づけるパーミュテーション整合と呼ぶ問題を併せて解く必要があるが，音源の混合過程を畳み込み演算を含まない瞬時混合系で表せるため比較的効率の良いアルゴリズムを実現できる利点がある．また，音源に関する時間周波数領域で成り立つ様々な仮定やマイクロホンアレーの周波数応答に関する仮定が有効活用できるようになることも大きな利点である．例えば，多チャンネル非負値行列因子分解（Multichannel Non-negative Matrix
Factorization: MNMF）[1–4] は，各音源のパワースペクトログラムを非負値行列とみなし，二つの非負値行列の積で表現するアプローチである．これは，各時間フレームでパワースペクトルを時間変化する振幅でスケーリングされた基底スペクトルの線形和によって近似することに相当する．これにより MNMF は音源のスペクトル構造を手がかりにしながら周波数ごとの音源分離とパーミュテーション整合の同時解決を可能にしている．[3] では優決定条件に特化した MNMF の枠組が初めて導入され，その枠組は後年独立低ランク行列分析（Independent Low-Rank Matrix Analysis:ILRMA）と呼ばれている [4]．MNMF や ILRMA は，低ランク構造を持つ特定の音源に対して有効である一方で，限られた基底の線形和で正しく表現できない音源に対しては分離性能が制限される．
この問題を解決するため，ニューラルネットワーク（Neural Network: NN）が持つ豊かな関数表現能力を活かし，行列積に代わるパワースペクトログラムモ
デルとして NN を用いた手法が提案されている [5, 6]．
独立深層学習行列分析（Independent Deeply LearnedMatrix Analysis: IDLMA）[5] は，単一フレームのクリーンパワースペクトルを出力する NN を各音源ごとに事前学習し，音源分離アルゴリズムにおいて，学習した NN のフィードフォワード計算により各音源のパワースペクトルを更新する手法である．IDLMA
は高い音源分離精度が得られることが実験的に示されているが，このアルゴリズムでは，音源のパワースペクトログラムを更新する際に尤度関数を増大させる保証がないため，分離行列の局所解への収束性が保証されない点に課題があった．一方，多チャンネル変分自己符号化器（Multichannel Variational Autoencoder:MVAE)[6] 法は，条件付き VAE（Conditional VAE:CVAE）により表現される音源スペクトログラムの生成モデルを事前学習し，分離時において CVAE のデ∗コーダ入力を分離行列と共に推定する手法である．この手法では，各反復計算で尤度関数が上昇するようにパラメータが更新されるため，尤度関数の停留点への収束が保証される．しかし，この手法ではデコーダ入力値の更新に誤差逆伝播法（Backpropagation）が用いられるため，高い計算コストを要する点に課題があった．本稿では，MVAE の推論プロセスを代替する音源クラス識別器を組み込んだ多チャンネル変分自己符号化器を提案し，これを用いることで高速な音源分離アルゴリズムを実現できることを示す．

2MVAE を用いた音源分離

2.1 問題の定式化
I 個のマイクロホンで J 個の音源から到来する信号を観測する場合を考える．マイク i の観測信号，音源j の信号の複素スペクトログラムをそれぞれ xi (f, n)，sj (f, n) とする．また，これらを要素としたベクトルをx(f, n) = [x1 (f, n), . . . , xI (f, n)]T ∈ CI ,(1)s(f, n) = [s1 (f, n), . . . , sJ (f, n)] ∈ C(2)

TJとする．ただし，優決定条件下においては I = J とおく．ここで (·)T は転置を表し，f と n はそれぞれ周波数と時間のインデックスである．音源信号ベクトルs(f, n) と観測信号ベクトル x(f, n) の間の関係式として瞬時分離系

s(f, n) = W H (f )x(f, n),
W (f ) = [w1 (f ), . . . , wI (f )] ∈ C

(3)
I×I

(4)

Hを仮定する．ここで，W (f ) は分離行列を表し，(·)Hはエルミ―ト転置である．以上の瞬時混合系の仮定の下で，更に音源信号 j の複素スペクトログラム sj (f, n)
が平均 0，分散 vj (f, n) = E[|sj (f, n)|2 ] の複素正規分布

sj (f, n) ∼ NC (sj (f, n)|0, vj (f, n))(5)に 従 う 確 率 変 数 と す る と ，各 音 源 信 号 sj (f, n) とsj ′ (f, n), j ̸= j ′ が統計的に独立のときには，音源
信号 s(f, n) はs(f, n) ∼ NC (s(f, n)|0, V (f, n))(6)に従う．ここで，V (f, n) は v1 (f, n), . . . , vI (f, n) を要素に持つ対角行列である．式 (3), (6) より，観測信号xはx(f, n) ∼ NC (x(f, n)|0, (W H (f ))−1 V (f, n)W (f )−1 )(7)に従う．従って，分離行列 W = {W (f )}f と各音源のパワースペクトログラム V = {vj (f, n)}j,f,n が与えられた下での観測信号 X = {x(f, n)}f,n の対数条件

Fast algorithm for semi-blind source separation using multichannel variational autoencoder with auxiliarysource label classifier, Li Li (University of Tsukuba), Hirokazu Kameoka (NTT Communication ScienceLaboratories), Shoji Makino (University of Tsukuba)

日本音響学会講演論文集- 201 -2019年3月

付き分布はclog p(X |W, V) = 2N∑log | det W H (f )|f−∑(

log vj (f, n) +f,n,j2)|wHj (f )x(f, n)|(8)vj (f, n)となる．ここで，=c はパラメータに依存する項のみに関する等号を表す．音源パワースペクトログラム
vj (f, n) に制約がない場合，式 (8) は周波数 f ごとの項に分解されるため，式 (8) に基づいて求める W で得られた分離信号のインデックスにはパーミュテーションの任意性が生じる．vj (f, n) が周波数方向に構造的制約を持つ場合，その制約を活かすことでパーミュテーション整合と音源分離を同時解決するアプローチを導くことができる．独立ベクトル分析 (IndependentVector Analysis: IVA) や ILRMA がその例である．

2.2

尤度関数は式 (8) と同形の尤度関数に帰着させることができる．従って，式 (8) が大きくなるように分離行
列 W ，CVAE 音源モデルパラメータ Ψ = {z j , cj }j ，
スケールパラメータ G = {gj }j を反復更新することで，式 (8) の停留点を探索することができる．式 (8)を上昇させる W の更新には ILRMA，IDLMA と同様に反復射影法 (Iterative Projection: IP)

wj (f ) ← (WH (f )Σj (f ))−1 ej ,wj (f )wj (f ) ← √Hwj (f )Σj (f )wj (f )を 用 い る こ と が で き る ．た だ し ，Σj (f )
1N

∑

(13)
(14)
=x(f,n)xH (f,n)
であり，ej は I × I の単位行列nvj (f,n)

I の第 j 列ベクトルである．また式 (8) を上昇させる
Ψ の更新は誤差逆伝播法，G の更新はgj ←MVAE

2
1 ∑ |wHj (f )x(f, n)|FNσθ2 (f, n; z j , cj )

(15)

f,n

MVAE は ，各 音 源 の 複 素 ス ペ ク ト ロ グ ラ ム の 生
成 モ デ ル と し て ，音 源 ク ラ ス ラ ベ ル を 補 助 入 力 とした CVAE のデコーダ分布を用いた混合信号モデ
ルである．ある音源信号の複素スペクトログラムを
S = {s(f, n)}f,n とし，対応する音源クラスラベルをone-hot ベクトル c とする．CVAE はエンコーダ分布qϕ (z|S, c) とデコーダ分布 pθ (S|z, c) が無矛盾になるように，かつ qϕ (z|S, c) と pθ (S|z, c) から導かれる事
後分布 pθ (z|S, c) ∝ pθ (S|z, c)p(z) ができるだけ一致するようにエンコーダとデコーダの NN パラメータϕ，θ を学習する．ここで，CVAE のデコーダ分布を式 (5) の局所ガウス音源モデルと同形の確率モデルpθ (S|z, c, g) =∏NC (s(f, n)|0, v(f, n)),(9)f,nv(f, n) = g · σθ2 (f, n; z, c)(10)とする．ただし，分散 σθ2 (f, n; z, c) はデコーダネッ
トワークの出力であり，g はパワースペクトログラムのスケールを表す変数である．一方，エンコーダ分布qϕ (z|S, c) は通常の CVAE と同様に，標準正規分布

qϕ (z|S, c) = N (z|µϕ (S, c), diag(σ 2ϕ (S, c)))(11)と仮定する．ここで，µϕ (S, c), σ 2ϕ (S, c) はエンコーダの出力である．CVAE のパラメータ θ, ϕ は，各種クラスの音源信号の複素スペクトログラムの学習サン
プル {S m , cm }M
m=1 を用いてJ (ϕ, θ) =E(S,c)∼pD (S,c) [Ez∼qϕ (z|S,c) [log pθ (S|z, c)]− KL[qϕ (z|S, c)||p(z)]] (12)が最大となるように学習される．E(S,c)∼pD (S,c) [·] は学習サンプルによる標本平均を表し，KL[·||·] は KL
ダ イ バ ー ジ ェ ン ス で あ る ．以 上 に よ り 学 習 し た デコーダ分布 pθ (S|z, c, g) を CVAE 音源モデルと呼ぶ．
CVAE 音源モデルは，学習サンプルに含まれる様々なクラスの音源の複素スペクトログラムを表現可能なユニバーサルな生成モデルとなっており，c は音源クラスのカテゴリカルな特徴を調整する役割，z はクラス内の変動を調整する役割を担った変数と見なせる．
音源 j の複素スペクトログラム S j = {sj (f, n)}f,nの生成モデルを，z j ，cj ，gj を入力としたデコーダ分布により表現することで，音源モデルのパラメータの日本音響学会講演論文集により行うことができる．ただし，式 (15) は W と Ψが固定された下で式 (8) を最大にする更新式である．
以上より MVAE の推論プロセスは以下のようにまとめられる．

1. 式 (12) を学習規準として θ，ϕ を学習する．
2. W ，Ψ を初期化する．
3. 各 j について下記ステップを繰り返す．
（a）式 (13), (14) により w j (0), . . . , wj (F ) を更新する．
（b）誤差逆伝播法により Ψj = {z j , cj } を更新する.
（c）式 (15) により gj を更新する．
音源クラスベクトル cj はテスト時において推定されるパラメータになるため，MVAE は音源分離と音源クラス識別を同時に行うことができる．以上が MVAE法である．

3

提案手法：音源クラス識別器つき MVAE

MVAE 法では，各反復計算で対数尤度が上昇するようにパラメータの更新が行われるため，対数尤度の停留点への収束が保証される利点がある一方で，誤差逆伝播法を用いた Ψj = {z j , cj } の更新に多大な計算コストを要する点に課題があった．CVAE の学習ではエンコーダ分布 qϕ (z|S, c) が pθ (z|S, c) を近似するものとして得られるが，pθ (c|S) を近似するネットワークrψ (c|S) を同様に得ることができれば，誤差逆伝播法による pθ (z, c|S) = pθ (z|S, c)pθ (c|S) の最大値探索を qϕ (z|S, c)，rψ (c|S) のフォワード計算に（近似的に）置き換えることができるため，大幅な高速化が可能となる．これを実現するアイディアとして，以下，
クラス識別器つき VAE を導入した MVAE 法の高速化版を提案する．本稿では提案法を「FastMVAE 法」と呼ぶ．
3.1

クラス識別器つき VAE

クラス識別器つき VAE（Auxiliary Classifier VAE:ACVAE）[7] は，音声変換に応用する目的で提案された CVAE の拡張版で，クラスラベル入力 c のデコーダ出力への影響力を強調するためにデコーダ出力とクラスラベル c との相互情報量を正則化項としてエンコー- 202 -

2019年3月

ACVAE の概念図.

Fig. 1

ダとデコーダを学習する方式である．潜在変数 z が与えられたときの S と c の相互情報量はI(c, S|z)(16)′= Ec∼p(c),S∼pθ (S|z,c),c′ ∼p(c|S) [log p(c |S)] + H(c)と書ける．ここで，H(c) はクラス c のエントロピーを表し，定数項と見なせる．式 (16) のとおり，相互情報量 I(c, S|z) を求めるには事後分布 p(c|S) を計算する必要があるが，pθ (S|z, c) から p(c|S) を解析的に求めることは難しく，I(c, S|z) を規準に含めて最適化することは困難である．そこで ACVAE では I(c, S|z) の代わりに，式 (16) の右辺第一項の変分下界

3.2

高速アルゴリズム

ACVAE で学習したエンコーダとクラス識別器をqϕ ，rψ とすると，S j のエンコーダ出力およびクラス確率は qϕ (z j |S j , cj )，rψ (cj |S j ) で与えられる．従来の MVAE 法における pθ (z j , cj |S j ) の最大化ステップを，qϕ (z j |S j , cj ) および rψ (cj |S j ) のフォワード計算に置き換えることにより，以下のアルゴリズムを得る．
これを fMVAE アルゴリズムと呼ぶ．

Ec∼p(c),S∼pθ (S|z,c),c′ ∼p(c|S) [log p(c′ |S)]r(c′ |S)p(c′ |S)]r(c′ |S)≥Ec∼p(c),S∼pθ (S|z,c),c′ ∼p(c|S) [log r(c′ |S)]
=Ec∼p(c),S∼pθ (S|z,c),c′ ∼p(c|S) [log=Ec∼p(c),S∼pθ (S|z,c) [log r(c|S)]p(z j , cj |S j ) が最大となる Ψj = {z j , cj } を探索するため誤差逆伝播法が用いられたが，ACVAE を用いることによりこのパラメータ更新部を rψ (c|S) とqϕ (z|S, c) のフィードフォワード計算に置き換えることができる．

(17)を規準として学習を行う．この不等式は r(c|S) =p(c|S) のときに等号が成立する．よって，この変分下界を大きくすることは分布 r(c|S) を用いて事後分布 p(c|S) を近似することに相当し，この変分下界をr(c|S) と θ に関して上昇させることで，I(c, S|z) を間接的に大きくすることができる．ここで，pθ (z|S, c)の近似分布のモデル化と同様に，データ S が与えられた下でのクラスラベル c の条件付分布 rψ (c|S) のパラメータを出力する NN を用いて近似分布 r(c|S) をモデル化し，NN のパラメータ ψ を

1. 式 (20) を学習規準として θ，ϕ，ψ を学習する．
2. W を初期化する．
3. 各 j について下記ステップを繰り返す．
（a）式 (13), (14) により w j (0), . . . , wj (F ) を更新する．
（b）音源クラス識別器の出力 rψ (cj |S j )（連続値ベクトル）に cj を更新する.
（c）エンコーダ qθ (z j |S j , cj ) の平均値に z j を更新する．
（d）式 (15) により gj を更新する．
このアルゴリズムは NN のフィードフォワード計算で音源モデルのパラメータ Ψj = {z j , cj } を更新できる
ため，MVAE に比べ計算時間を大幅に削減できる．

4

評価実験

L(ϕ, θ, ψ)(18)= E(S,c)∼pD (S,c),qϕ (z|S,c) [Ec∼p(c),S∼pθ (S|z,c) [log rψ (c|S)]]. 提案手法による音声分離及び識別性能を検証する
ため，Voice Conversion Challenge (VCC) 2018 音が大きくなるようエンコーダ及びデコーダのパラメー
声 デ ー タ ベ ー ス [9] を 用 い て 既 存 手 法 ILRMA[4]，タとともに学習する．また，ラベル付き学習サンプル
IDLMA[5]，MVAE[6] と提案手法の比較実験を行った．
{S m , cm }M
m=1 も学習に用いることができるため，学音声データは男性話者 2 名（SM1, SM2）と女性話者
習データ S m と対応するクラスラベル cm の交差エン2 名（SF1, SF2）の発話データを用いた．各話者の発トロピー
話データ 116 文のうち 81 文を CVAE と ACVAE の学習データとし，残りの 35 文を用いて評価用データをI(ψ) = E(S,c)∼pD (S,c) [log rψ (c|S)](19)も学習規準に含めることができる．従って，ACVAEの NN パラメータ学習規準はJ (ϕ, θ) + λL L(ϕ, θ, ψ) + λI I(ψ)(20)となる．ここで，λL ≥ 0 と λI ≥ 0 は各規準の重み係数である．Fig. 1 に ACVAE の概念図を示す．
ACVAE で 学 習 さ れ る ク ラ ス 識 別 器 rψ (c|S) はp(c|S) を近似した分布となるため，学習した rψ (c|S)とエンコーダ分布 qϕ (z|S, c) の積は p(z, c|S) を近似 し た 分 布 と な る ．MVAE 法 で は 音 源 j ご と に

日本音響学会講演論文集作成した．多チャンネル観測信号は鏡像法を用いて残響時間 (RT60 ) をそれぞれ 78 ms と 351 ms として生成したインパルス応答と，RWCP データベース [10] に収録された ANE(RT60 =173 ms) と E2A(RT60 =225ms) のインパルス応答，それぞれと発話データを畳み込んで作成したデータの 2 種類を用いた．各残響環境において 4 パターンの話者の組み合わせ（SF1+SM1,SM1+SM2, SM2+SF2, SF1+SF2 の）について計 40文の混合信号を作成した．すべての音声信号のサンプ
リング周波数を 16 kHz とし，フレーム長 256 ms，フレームシフト 128 ms で短時間 Fourier 変換を行い，観- 203 -2019年3月

Encoderw 32
c 256
k 1x4

Fig. 2

Table 1

ACVAE のネットワーク構造.

4 種類の残響環境下における各手法で得られた SDR，SIR，SAR の平均値.

methodSDR [dB]

SIR [dB]

SAR [dB]

ILRMA

9.008915.5027

11.9961

IDLMA

6.397911.18379.7275MVAE

13.299621.2205

15.4373

fMVAE

13.9827

22.1369

15.6460

Table 2

iteration[sec]total [sec]

MVAE (GPU)6.079274

202.1153

fMVAE (CPU)0.360914

20.57482

fMVAE (GPU)0.069550

10.902709

ILRMA (CPU)0.117794

12.675797

Table 35

おわりにMVAE は，各音源のスペクトログラムの生成過程をCVAE を用いてモデル化した混合信号のモデルであ各手法の計算時間.

methodの平均値を示す．提案手法 fMVAE は MVAE より約20 倍速くなったことが確認できた．更に GPU を利用した場合には ILRMA より速く分離を行うことができた．音源クラス識別率を Table 3 として示す．音源クラス識別器を用いた fMVAE は誤差逆伝播法で音源クラスベクトル cj を推定する MVAE に比べ識別率が約40% 向上した．

り，これを用いることで収束性が保証された反復アルゴリズムによりパーミュテーションフリーかつ高精度なセミブラインド音源分離を実現することができる．
従来の MVAE では音源モデルパラメータの更新に誤差逆伝播法が用いられたため，高い計算コストを要していた．本稿では，この推論プロセスを代替する音源クラス識別器を組み込んだ MVAE を提案し，これを用いることで高速な音源分離及び高精度な音源クラス識別アルゴリズムが実現できることを実験により確認した．

音源クラス識別率．

methodall iterations

final estimation

MVAE

30.63%

40.63%

fMVAE

78.35%

78.75%

謝辞 本研究は JSPS 科研費 17H01763 と 18J20059
及び SECOM 科学技術振興財団の助成を受けて行われた．また，本研究に関して多くの議論を頂いた筑波大学の井上翔太氏に謝意を表する．

参考文献
測信号 x(f, n) を算出した．Fig. 2 に ACVAE のネッ
トワーク構造を示す．通常の CVAE で音源モデルを学習したときのエンコーダとデコーダネットワーク構造
も Fig. 2 に示した構造を用いた．ILRMA と IDLMA
は 100 回反復更新を行った．また，MVAE と fMVAE
は ILRMA を 30 回反復した W を初期値として 30回反復更新を行った．すべての実験は Intel (R) Core
i7-6800K CPU@3.40 GHz と GeForce GTX 1080Ti
GPU を用いて行った．
Table 1 には，音源分離性能を評価する signal-todistortion ratios (SDRs)，signal-to-interference ratios (SIRs) と signal-to-artifacts ratios (SARs)[11]の 結 果 を 示 す ．MVAE と fMVAE は ILRMA とIDLMA より高い分離性能を示した．更に，fMVAE はMVAE より一層の性能向上が得られた．IDLMA のネットワーク構造は [5] に記載されている構造に１層を増やしたものを用いた．この構造は学習データに対して最適ではない可能性があり，IDLMA が ILRMAより低い分離性能を導いた原因だと考えられる．Table 2 に各手法について 1 回パラメータ更新を行う計算時間とアルゴリズム全体の計算時間を 160 回の試行

日本音響学会講演論文集[1] A. Ozerov et al., IEEE Trans. ASLP, vol. 18,
no. 3, pp. 550–563, 2010.
[2] H. Sawada et al.,, IEEE Trans. ASLP, vol. 21,
no. 5, pp. 971–982, 2013.
[3] H. Kameoka et. al., in Proc. LVA/ICA, pp. 245–253, 2010.
[4] D. Kitamura et. al., IEEE/ACM Trans. ASLP,
vol. 24, no. 9, pp. 1622–1637, 2016.
[5] S. Mogami et. al., in Proc. EUSIPCO,pp. 1571–1575, 2018[6] H. Kameokaet. al., epint arXiv: 1808.00892,
2018.
[7] H. Kameoka et. al., eprint arXiv: 1808.05092,2018.
[8] X. Chen et. al., in Proc. NIPS, pp. 2172–2180,
2016.
[9] J. Lorenzo-Trueba et. al., eprint arXiv:1804.04262, 2018.
[10] S. Nakamura et. al., in Proc. LREC, pp 965–968, 2000.
[11] E. Vincent et. al., IEEE Trans. ASLP, vol. 14,
no. 4, pp. 1462–1469, 2006.

- 204 -2019年3月