2-Q-32
多チャンネル変分自己符号化器を用いた音源分離と残響除去の統合的アプローチ ∗☆井上翔太 1

亀岡弘和 2

李莉 1

関翔悟 3

牧野昭二 1

筑波大学 3 名古屋大学
2
日本電信電話株式会社 NTT コミュニケーション科学基礎研究所
1

1

はじめに

ブラインド音源分離（Blind Source Separation:BSS）は，音源に関する情報や音源とマイク間の伝達関数等の事前情報を用いずに観測された信号のみから個々の信号を推定する技術であり，ロボット聴覚，補聴器，音声認識や異常音検知等様々なアプリケーションの精度向上に貢献する．マイクロホンの数が音源数を上回る優決定条件下においては，音源信号間の独立性を最大化するように分離フィルタを推定することを目的とする独立成分分析 (IndependentComponent Analysis: ICA) [1] が有用であることが知られており，それに基づく時間周波数領域での分離手法が数多く提案されている [2–5]．これらの手法
は，時間周波数領域で成立する音源に関する様々な仮定やマイクロホンアレーの周波数応答に関する仮定を有効に活用できるという利点がある．例えば，独立低ランク行列分析 (Independent Low-Rank MatrixAnalysis: ILRMA) [3,4] は，各音源信号のパワースペクトログラムを非負値行列とみなし，非負値行列因子分解 (Non Negative Matrix Factorization: NMF) [6]で近似表現する手法である．これは，各時間フレームにおけるパワースペクトルを時間的に変化する振幅によってスケーリングされた基底スペクトルの線形和で近似することに相当する．ILRMA は音源のスペクトル構造を手がかりとしてパーミュテーション整合と呼ぶ問題を解決しながら高精度な音源分離を実現する．この手法は限られた数の基底の線形和で表現できるような特定の音源に対して有効である一方，表現が困難である音源に対しての分離性能が制限されるという課題があった．
近年，深層学習の発展に伴い，深層ニューラルネッ
トワーク (Deep Neural Network: DNN) を用いることで柔軟かつ高精度に音源信号のスペクトログラムをモデル化することが可能になった．DNN の豊かな関数表現力に着目し，我々は条件付き変分自己符化器(Conditional Variational Autoencoder: CVAE) [7]を用いて各音源信号のスペクトログラムの生成過程をモデル化した多チャンネル変分自己符号化器 (Multichannel VAE: MVAE) を提案した [5]．MVAE 法は，CVAE のデコーダ入力を音源モデルのパラメータとみなし，分離フィルタとともに推定する手法である．MVAE 法はより柔軟な音源モデルを用いたことで ILRMA より高い分離性能が得られることが実験的に示されている [5]．しかし，従来のモデルでは，室内インパルス応答長が時間周波数展開における時間窓長よりも十分に短い場合を仮定しており，残響が長い場合を考慮していない．従って，従来の MVAE法は観測信号に長い残響が含まれる場合に分離性能が劣化する問題点がある．
そこで本稿では，MVAE 法を拡張し，残響下での∗観測信号を時間周波数領域における畳み込み混合の形で表現し，パラメータ推定により音源分離と残響除去を統合した手法を提案する．さらに，長い残響を含んだ音声信号を用いて音源分離実験を行い，提案手法の有効性を確認する．

2MVAE 法を用いた音源分離

2.1 瞬時混合近似に基づく定式化
I 個のマイクロホンで J 個の音源から到来する信号を観測する場合を考える．i 番目のマイクで観測される信号と j 番目の音源信号の時間周波数成分をそれぞれ xi (f, n) と sj (f, n) とする．ただし，f と nは周波数と時間フレームのインデックスである．優決定条件下において I = J とする．音源とマイクの間の室内インパルス応答長が時間周波数展開における窓長よりも十分短い場合には，音源信号 s(f, n) =[s1 (f, n), . . . , sJ (f, n)]T ∈ CJ と観測信号 x(f, n) =[x1 (f, n), . . . , xI (f, n)]T ∈ CI の関係性は瞬時混合系を用いて
s(f, n) = W H (f )x(f, n)
W (f ) = [w1 (f ), . . . , wI (f )] ∈ CH(1)
I×I(2)と表せる．ここで，W H (f ) は分離フィルタを表し，(·)T は行列の転置であり，(·)H はエルミート転置である．
次に，観測信号が生成されるプロセスを生成モデ
ルにより記述する．音源 j の複素スペクトログラム
sj (f, n) を

sj (f, n) ∼ NC (sj (f, n)|0, vj (f, n))(3)のように平均が 0，分散が vj (f, n) = E[|sj (f, n)|2 ] の複素正規分布に従う確率変数と仮定する．各音源が統計的に独立である場合，s(f, n) はs(f, n) ∼ NC (s(f, n)|0, V (f, n))(4)に従う．ここで，V (f, n) は v1 (f, n), . . . , vI (f, n) を対角成分に持つ対角行列である．式 (1) と式 (4) より，観測信号 x(f, n) はx(f, n) ∼ NC (x(f, n)|0, (W H (f ))−1 V (f, n)W (f )−1 )(5)に従う．従って，混合信号 X = {x(f, n)}f,n が観測されたとき，分離フィルタ W = {W (f )}f と各音源のパワースペクトログラム V = {V (f, n)}f,n についての対数尤度関数はUnified approach for determined BSS and dereverberation using multichannel variational autoencoder.
by Shota Inoue (University of Tsukuba), Hirokazu Kameoka (NTT Communication Science Science Laboratories), Li Li (University of Tsukuba), Shogo Seki (University of Nagoya), Shoji Makino (Universityof Tsukuba)

日本音響学会講演論文集- 399 -

2019年3月

cL(V, W|X ) = − 2N log det W H (f ))∑(|wjH (f )x(f, n)|2log vj (f, n) ++vj (f, n)
f,n,j(6)のように書ける．ここで，=c はパラメータに依存しない項を除いた等号を表す．

2.2 MVAE 法MVAE 法は上記の対数尤度関数を大きくするように分離行列 W を推定する手法である．式 (6) のとおり，音源のパワースペクトログラム vj (f, n) に制約がない場合には音源分離問題が周波数 f ごとに分解されるため，分離信号のインデックスにパーミュテーションの任意性が生じる．sj (f, n) が異なる周波数間で相関を持つ場合，その相関関係を手がかりとすることでパーミュテーション整合と周波数ごとの音源分離の問題を同時解決できる場合がある．独立ベクトル分析 (Independent Vector Analysis: IVA)，ILRMA，MVAE 法などがその例であり，MVAE 法
では S = {sj (f, n)}f,n の同時分布を CVAE のデコーダで記述することによりこれを実現する．
ある音源信号の複素スペクトログラムを S ={s(f, n)}f,n とし，対応する音源クラスラベルを onehot ベクトル c とする．CVAE はエンコーダ分布qϕ (z|S, c) とデコーダ分布 pθ (S|z, c) が無矛盾になるように，かつ qϕ (z|S, c) と pθ (S|z, c) から導かれる事
後分布 pθ (z|S, c) ∝ pθ (S|z, c)p(z) ができるだけ一致するようにエンコーダとデコーダの NN パラメータϕ，θ を学習する．ここで，CVAE のデコーダ分布を式 (3) の局所ガウス音源モデルと同形の確率モデル∏pθ (S|z, c, g) =NC (s(f, n)|0, v(f, n)), (7)f,nv(f, n) = g · σθ2 (f, n; z, c)(8)とする．ただし，分散 σθ2 (f, n; z, c) はデコーダネッ
トワークの出力であり，g はパワースペクトログラムのスケーリング係数を表す．一方，エンコーダ分布qϕ (z|S, c) は通常の CVAE と同様に，標準正規分布

qϕ (z|S, c) = N (z|µϕ (S, c), diag(σ 2ϕ (S, c)))(9)と仮定する．ここで，µϕ (S, c), σ 2ϕ (S, c) はエンコーダの出力である．CVAE のパラメータ θ, ϕ は，各種クラスの音源信号の複素スペクトログラムの学習サンプル {S m , cm }M
m=1 を用いてJ (ϕ, θ) =E(S,c)∼pD (S,c) [Ez∼qϕ (z|S,c) [log pθ (S|z, c)]− KL[qϕ (z|S, c)||p(z)]] (10)が最大となるように学習される．E(S,c)∼pD (S,c) [·] は学習サンプルによる標本平均を表し，KL[·||·] は KL ダイバージェンスである．以上により学習したデコーダ
分布 pθ (S|z, c, g) を CVAE 音源モデルと呼ぶ．CVAE
音源モデルは，学習サンプルに含まれる様々なクラスの音源の複素スペクトログラムを表現可能なユニバーサルな生成モデルとなっており，c は音源クラスのカテゴリカルな特徴を調整する役割，z はクラス内の変動を調整する役割を担った変数と解釈できる．
音源 j の複素スペクトログラム S j = {sj (f, n)}f,nの生成モデルを，z j ，cj ，gj を入力としたデコーダ

日本音響学会講演論文集

分布により表現することで，音源モデルのパラメータの尤度関数を式 (6) と同形の尤度関数に帰着できる．従って，式 (6) が大きくなるように分離フィルタ
W ，CVAE 音源モデルパラメータ Ψ = {z j , cj }j ，ス
ケーリング係数 G = {gj }j を反復更新することで，式(6) の停留点の探索が可能である．式 (6) を上昇させる W の更新には IVA，ILRMA と同様に反復射影法(Iterative Projection: IP)

wj (f ) ← (WH (f )Σj (f ))−1 ej ,wj (f )wj (f ) ← √Hwj (f )Σj (f )wj (f )(11)(12)を 用 い る こ と が で き る ．た だ し ，Σj (f )=∑ x(f,n)xH (f,n)
1で あ り，ej は I × I の 単 位nN
vj (f,n)行列 I の第 j 列のベクトルである．また，式 (6) を上昇させる Ψ の更新は誤差逆伝播法を用いて，G の更新はgj ←2
1 ∑ |wHj (f )x(f, n)|2FNσθ (f, n; z j , cj )(13)

f,nを用いて行う．ただし，式 (13) は W と Ψ が固定された下で式 (6) を最大化する更新式である．
[5] に示されているように，MVAE 法は残響時間が短い場合には極めて強力である一方，残響が長い場合には従来の瞬時混合近似が成り立つことを仮定した手法と同様に分離性能が劣化する傾向にある．

提案手法

3

この問題に対して本稿では，長い残響環境下での観測信号を時間周波数領域における畳み込み混合の形 [3, 8, 9] で表現し，パラメータ推定を通して音源分離と残響除去を統合的に行う手法を提案する．
時間周波数領域における畳み込み混合モデルに基づく定式化
多チャンネル有限インパルス応答で表されるような時間周波数領域における畳み込み混合モデルを用
いると，音源信号と観測信号の関係は次式で記述できる．

3.1′s(f, n) =N∑

W H (f, n′ )x(f, n − n′ )

(14)

n′ =0

ここで，W (f, n′ ), 0 ≤ n′ ≤ N ′ は I × I 行列の分離フィルタであり，音源分離とともにフレーム外に及ぶ残響成分を除去する役割を担ったパラメータである．W H (f, 0) は瞬時混合音源を分離する分離行列に対応する．W H (f, 0) を正則であると仮定すると，式(14) は′y(f, n) = x(f, n) −N∑

D H (f, n′ )x(f, n − n′ ),n′ =1(15)Hs(f, n) = W (f, 0)y(f, n)(16)の よ う に 書 き 直 せ る ．こ こ で ，D H (f, n′ )=−(W H (f, 0))−1 W H (f, n′ ), (1 ≤ n′ ≤ N ′ ) であ- 400 -2019年3月

る ．式 (15) は 観 測 さ れ た 混 合 信 号 x(f, n) に 含まれる残響成分を除去するプロセスに相当し，
D = {D H (f, n′ )}f,n′ は残響除去フィルタと見なせ
る．式 (16) は残響を除去した信号 y(f, n) に対して，周波数ごとの音源分離を行うプロセスとして解釈できる．この関係式に 2.1 節の S の生成モデルを組み込むことで，分離行列 W ，残響除去フィルタ D の尤度関数を得ることができる．観測信号 X が与えられたときの残響除去フィルタ D，分離行列 W ，CVAEのデコーダ入力 Ψ 及びスケーリング係数 G についての尤度関数は以下のように記述できる．
c

I(D, W, Ψ, G|X ) = −2N log det W H (f ))∑(|wjH (f )y(f, n)|2+
log vj (f, n) +vj (f, n)
f,n,j(17)
3.2 先行研究[9] では，時間周波数領域における畳み込み混合の形を ILRMA に導入し，分離フィルタ，音源モデルのパラメータ，残響除去フィルタを順に反復更新することでパーミュテーション整合，周波数ごとの音源分離と残響除去を同時に行う手法が提案されている．本稿ではこの手法を ILRMA+と呼ぶ．ILRMA+と我々の提案手法の相違点は音源 sj (f ，n) の生成モデルの与え方にある．ILRMA+が通常の ILRMA と同様，vj (f, n) に NMF 型のモデルを用いるのに対し，提案手法では CVAE 音源モデルを用いている．
3.3 最適化アルゴリズム
本節では，観測信号 X が与えられたとき，残響除去フィルタ D，分離行列 W ，CVAE のデコーダ入力
Ψ 及びスケーリング係数 G についての対数尤度関数
式 (17) を探索するアルゴリズムについて述べる．この最適化問題の大域最適解は解析的に求めることはできないが，局所最適解はˆD ← argmin I(D, W, Ψ, G|X ),(18)

Ŵ ← argmin I(D, W, Ψ, G|X ),(19)Ψ̂ ← argmin I(D, W, Ψ, G|X ),(20)

DWが得られる．式 (23) を用いると，式 (22) は′N∑

X(f, n) = [I ⊗ xT (f, n − 1), I ⊗ xT (f, n − 2), . . . ,I ⊗ xT (f, n − N ′ )] ∈ CI×I N
2を繰り返すことで数値探索することができる. まず，
式 (17) において残響除去フィルタ D に関する項のみ
を考えるとI(D) =∑′x(f, n) −f,nN∑

D H (f, n′ )x(f, n − n′ )

n′ =1

2
Σw/v(f,n)(22)√が得られる．ここで，|x|Σw/v(f,n) は xH Σw/v(f,n) x∑ wj (f )wjH (f )を表し，Σw/v(f,n) = j vj (f,n)
である．各 f に関して独立な更新式を得るため，D(f, n′ ) の第 i 列のベクトルを di (f, n′ ) として，{D(f, n′ )}n′ をベクトル形式に変形すると，
TT
Td(f ) = [dT
1 (f, 1), . . . , dI (f, 1), d1 (f, 2), . . . , dI (f, 2),′T′ T
I N. . . , dT
1 (f, N ), . . . ., dI (f, N )] ∈ C
2′(23)

日本音響学会講演論文集′(25)である．I と ⊗ はそれぞれ I × I の単位行列とクロネッカー積を表す．式 (25) を式 (22) に代入することで次式が得られる．
∑()HI(D) =x(f, n) − X(f, n)d∗ (f )f,n()× Σw/v( f,n) x(f, n) − X(f, n)d∗ (f ) (26)
式 (26) は ∂I/∂d∗ (f ) = 0 を解析的に求めることができ，d∗ (f ) の更新式として∗d (f ) ←(∑)−1HX (f, n)Σw/v(f,n) X(f, n)n×(∑)
HX (f, n)Σw/v(f,n) x(f, n)(27)nが得られる．分離フィルタ W の更新は ILRMA や
MVAE と同様に，式 (11)，式 (12) を用いて更新する．Ψ と G は MVAE と同様に，誤差逆伝搬法と式(13) を用いて更新する．従って，CVAE 音源モデルの事前学習から各変数の最適化までの流れは以下のようにまとめられる．

1. 式 (10) に従い θ，ϕ の学習を行う．
2. Ψ，G ，W と D を初期化する．
3. 各 j ，f について下記の更新を繰り返す.
(a) 式 (11), (12) を用いた wj (f ) の更新．
(b) 誤差逆伝搬法を用いた zj ，cj の更新．

(21)

G(24)のように書き直せる．ここで，d∗ (f ) は d(f ) の複素共役であり，

ΨĜ ← argmin I(D, W, Ψ, G|X )D H (f, n′ )x(f, n − n′ ) = X(f, n)d∗ (f )n′ =1(c) 式 (13) を用いた gj の更新．
(d) 式 (27) を用いた d∗ (f ) の更新．

4

評価実験

提案手法の有効性を評価するため，既存手法の ILRMA，MVAE，ILRMA+ [9]，及び提案手法の 4 手法について，長い残響環境下における音声信号を対象とした 2 音源の分離性能を比較した．音声信号には
VCC2018 [10] の男性 2 話者（SM1，SM2）と女性 2話者（SF1，SF2）の発話データを用いた．各話者の発話データ 116 音源のうち 81 音源を CVAE の学習デー
タとし，残りの 35 音源の中から 4 s 以上の長さの音源を評価データとして使用した．多チャンネル観測信号
は RWCP データベース [11] に収録されている OFC，JR1 インパルス応答と発話データを畳み込むことで生成した．インパルス応答の残響時間（T60 ）はそれぞれ 0.60 s と 0.78 s である．Fig. 1 に多チャンネル観測信号の生成に用いたインパルス応答におけるマイクと音源の位置関係を示す．話者の組み合わせは SF1 と- 401 -2019年3月

Fig. 1 実験に用いたインパルス応答におけるマイクと音源の位置関係．◦ はマイク位置，× は音源位置を表す．
SF2，SM1 と SM2，SM1 と SF1，SM2 と SF2 の 4 種類とし，各組み合わせの評価用データからランダムに10 通り選ぶことで，各インパルス応答について合計80 データの多チャンネル観測信号を作成した．音源のサンプリング周波数を 16 kHz とし，短時間 Fourier
変換の条件を窓長 256 ms，シフト量 64 ms として観測信号の複素スペクトログラムを計算した．ILRMAと ILRMA+の基底数を 20 とし，ILRMA+と提案手法の残響除去フィルタの次数 N ′ は JR1 を用いた音源では 3，OFC を用いた音源では 4 とした．ILRMAと ILRMA+は反復更新を 100 回行い，MVAE 法と提案手法は反復更新を 60 回行った. また，MVAE と提案手法では，ILRMA と ILRMA+を 30 回反復更新して得られた W H (f ) と D H (f, n′ ) を初期値として用いた．提案手法におけるエンコーダとデコーダのネットワーク構造は [5] と同様に，それぞれゲート付き畳み込み層 3 層とゲート付き逆畳み込み層 3 層で構築したネットワークを用いた．CVAE の学習及び分離時における∑Ψ の更新には Adam [12] を用いた．cj の更新時に j cj = 1 の制約を加えるため，誤差逆伝搬法により得られた出力に対してソフトマックス層を加えた．
分離性能の客観評価尺度としては signal-to-distortionratio(SDR)，signal-to-interference ratio(SIR)，及びsignal-to-artifacts ratio(SAR) [13] を用いた．
各手法の SDR，SIR 及び SAR の平均改善量を Table 1 に示す．また，各条件における最良のスコアを太字で示す．結果より，提案手法の SDR，SIR 及び SARの平均改善量が既存手法である ILRMA，ILRMA+及び MVAE を上回っており，時間周波数領域における畳み込み混合モデルと CVAE 音源モデルの両方を用いることによる，長い残響環境下での高精度な音源分離及び残響除去の同時実行が可能であることを確認した．

5まとめ

本稿では，CVAE のデコーダ分布を音源の生成モデルに用いた音源分離手法である MVAE に対して残響除去を組み込んだ統合的な手法を提案した．提案
手法は，分離系の時間周波数領域における畳み込みの形による表現と音源信号の CVAE 音源モデルによる表現に基づいた分離フィルタと残響除去フィルタの同時推定により，長い残響環境下での分離性能を向上させることができる．長い残響環境下における音源分離実験により，CVAE を用いた音源モデルの有効性と残響除去フィルタの同時推定の有効性を示した．
謝辞 本研究の一部は SECOM 科学技術支援財団，
JSPS 科研費 17H01763 及び 18J20059 の助成を受けたものである．

日本音響学会講演論文集

Table 1 従来手法と提案手法による SDR，SIR 及びSAR の平均改善量 [dB]
Improvement
RIRs
Methods
SDR
SIR
SAR
ILRMA
2.09
6.82
-1.17
JR1ILRMA+ 4.53
9.72
1.02
T60 = 0.6 sMVAE
3.63
10.68 -0.45
proposed 6.32 13.78 2.14
ILRMA
1.90
6.47
-1.32
OFC
ILRMA+ 5.01
10.25
1.56
T60 = 0.78 s
MVAE
3.58
10.30 -0.49
proposed 6.74 14.29 2.51

参考文献
[1] A. Hyvärinen et al., “Independent component
analysis: algorithms and applications”, Neuralnetworks, Elsevier, vol. 13, no. 4, pp. 411–430,2000.
[2] N. Ono, “Stable and fast update rules forindependent vector analysis based on auxiliary function technique”, in Proc. WASPAA,
pp. 189–192, 2011.
[3] H. Kameoka et al., “Statistical model of speech
signals based on composite autoregressive system with application to blind source separation”, in Proc. LVA/ICA, pp. 245–253, 2010.
[4] D. Kitamura et al., “Determined blind source
separation with independent low-rank matrix
analysis”, Audio Source Separation, Springer,
pp. 125–155, 2018.
[5] H. Kameoka et al., “Semi-blind source separation with multichannel variational autoencoder”, arXiv preprint arXiv:1808.00892, 2018.
[6] D. D. Lee et al., “Algorithms for non-negative
matrix factorization”, in Proc. NIPS, pp. 556–562, 2001.
[7] D. P. Kingma et al., “Semi-supervised learningwith deep generative models”, in Proc. NIPS,
pp. 3581–3589, 2014.
[8] T. Yoshioka et al., “Blind separation and dereverberation of speech mixtures by joint optimization”, IEEE Trans. ASLP, vol. 19, no. 1,
pp. 69–84, 2011.
[9] H. Kagami et al., “Joint separation and dereverberation of reverberant mixtures with determined multichannel non-negative matrix factorization”, in Proc. ICASSP, pp. 31–35, 2018.
[10] J. Lorenzo-Trueba et al., “The voice conversion
challenge 2018: Promoting development of parallel and nonparallel methods”, arXiv preprint
arXiv:1804.04262, 2018.
[11] S. Nakamura et al., “Acoustical sound databasein real environments for sound scene understanding and hands-free speech recognition”, in
Proc. LREC, pp. 965–968, 2000.
[12] D. P. Kingma et al., “Adam: A Mmthod forstochastic optimization”, in Proc. ICLR, 2015.
[13] E. Vincent et al., “Performance measurementin blind audio source separation.”, IEEE Trans.
ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.

- 402 -

2019年3月