信学技報
IEICE Technical Report
EA2019-77(2019-12)

一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATIONAND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

多チャンネル変分自己符号化器法による任意話者の音源分離
李

莉†

亀岡

弘和††

井上

翔太†

牧野

昭二†

† 筑波大学大学院 システム情報工学研究科 〒 305-0877 茨城県つくば市天王台 1-1-1†† 日本電信電話株式会社 NTT コミュニケーション科学基礎研究所〒 243–0198 神奈川県厚木市森の里若宮 3–1
E-mail: †lili@mmlab.cs.tsukuba.ac.jp, s1920622@s.tsukuba.ac.jp, maki@tara.tsukuba.ac.jp,††hirokazu.kameoka.uh@hco.ntt.co.jp
あらまし 多チャンネル変分自己符号化器 (MVAE) は，各音源のスペクトログラムの生成過程を条件付変分自己符号化器 (CVAE) を用いてモデル化した混合信号のモデルであり，これを用いたパーミュテーションフリーかつ高精度な音源分離手法である MVAE 法，およびその計算コストを大幅に削減した FastMVAE 法が提案されている．MVAE
法と FastMVAE 法は教師あり音源分離法に位置づけられるが，本稿では，十分なデータでネットワークを学習させることによりいずれの手法も任意話者に対する音源分離を既知話者の場合と同等の性能で行えることを示す．また，Product-of-Experts に基づいて潜在空間変数の事前確率を考慮した推論アルゴリズムを提案する．話者依存及び任意
話者の音源分離実験において提案法の高い分離性能を確認した．
キーワード

多チャンネル音源分離、話者分離、多チャネル変分自己符号化器（MVAE）法、FastMVAE 法、条件付

き変分自己符号化器 (CVAE)

Speaker-independent source separation withmultichannel variational autoencoder
Li LI† , Hirokazu KAMEOKA†† , Shota INOUE† , and Shoji MAKINO†† Graduate School of Systems and Information Engineering, University of Tsukuba
Tennodai 1-1-1, Tsukuba-shi, Ibaraki, 305-0877 Japan†† NTT Communication Science Laboratories, Nippon Telegraph and Telephone Corporation
Morinosatowakamiya 3–1, Atsugi-shi, Kanagawa, 243–0198 Japan
E-mail: †lili@mmlab.cs.tsukuba.ac.jp, s1920622@s.tsukuba.ac.jp, maki@tara.tsukuba.ac.jp,††hirokazu.kameoka.uh@hco.ntt.co.jp
Abstract The multichannel variational autoencoder method (MVAE) is a recently proposed determined source
separation method, which uses a conditional variational autoencoder (CVAE) to learn the spectrograms of source
signals given a source-class ID as an auxiliary input. The trained decoder distribution can be used as a universal
generative model capable of generating spectrograms of all the sources involved in the training samples. The decoder distribution can then be exploited to estimate the spectrograms of sources in a mixture. The MVAE methods,
including the original MVAE method and its fast version called FastMVAE, were shown to significantly outperform conventional methods under speaker-dependent conditions, where the target speakers are seen in the training
dataset. In this paper, we investigate the performances of the two MVAE methods under speaker-independent conditions. To further enhance the ability of FastMVAE to estimate the latent space variables for unknown speakers,
we propose a prior-aware inference algorithm based on the concept of product-of-experts. Experimental results
revealed that the MVAE methods could perform well even under speaker-independent conditions.
Key words Multichannel source separation, determined source separation, multichannel variational autoencoder(MVAE), FastMVAE, conditional variational autoencoder (CVAE)- 79 -—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2019 by IEICE

トを削減する目的で，音源クラス識別器を利用して CVAE を学

1. は じ め に習する方式を考え，誤差逆伝播法の代わりにエンコーダと音源

ブラインド音源分離（Blind Source Separation: BSS）とは，

クラス識別器を用いてデコーダ入力の最適な更新値を近似的に音源信号や音源からマイクまでの伝達特性が未知の場合に，複求められる FastMVAE（または fMVAE）法を提案している．

数の音源信号が混合された観測信号から音源信号を推定する

MVAE 法と FastMVAE 法は，教師あり音源分離法に位置づ問題である．周波数領域で定式化される BSS のアプローチは，

けられ，NN の学習データに含まれる話者に対して優れた分離

周波数帯域ごとの音源分離の問題と周波数ごとに得られる分離性能が得られることが実験的に検証されている．しかしなが信号がそれぞれどの音源のものであるかを対応づけるパーミュ

ら，利用場面によっては話者が未知の場合もあるため，提案法

テーション整合と呼ぶ問題を併せて解く必要があるが，音源のが不特定話者に対しても遜色なく動作するかどうかを検証する

混合過程を畳み込み演算を含まない瞬時混合系で表せるため比ことも重要である．そこで，本稿では，多数の話者を含む学習

較的効率の良いアルゴリズムを実現できる利点がある．また，データを用いることにより CVAE が不特定話者の音源モデル

音源に関する時間周波数領域で成り立つ様々な仮定やマイクロとしても機能するかどうかを検証するため，学習データに含ま

ホンアレーの周波数応答に関する仮定が有効活用できるようにれない任意話者に対する MVAE 法及び FastMVAE 法の音源なる点も特長の 1 つである．例えば，多チャンネル非負値行列

分離性能を評価する．更に，FastMVAE 法が未知話者の場合

因子分解（Multichannel Non-negative Matrix Factorization:

でも安定かつ高精度で推論を行わせるため，エンコーダの確率

MNMF）[1]〜[4] は，各音源のパワースペクトログラムを非負モデルと潜在空間変数の事前確率モデルを Product-of-Experts

値行列とみなし，二つの非負値行列の積で表現するアプロー(PoE) [9] の枠組により統合し，新たな推論アルゴリズムを提案

チである．これは，各時刻のパワースペクトルを限られた個数

する．

の基底スペクトルの線形和で近似することに相当する．これ

2. MVAE による音源分離

により MNMF は音源のスペクトル構造を手がかりにしながら帯域ごとの音源分離とパーミュテーション整合の同時解決を

2. 1 問題の定式化可能にしている．[3] では優決定条件に特化した MNMF の枠

I 個のマイクで J 個の音源から到来する信号を観測する場合

組が初めて導入され，この枠組は後年独立低ランク行列分析を考える．マイク i の観測信号，音源 j の信号の複素スペクト（Independent Low-Rank Matrix Analysis: ILRMA）と呼ばログラムをそれぞれ xi (f, n)，sj (f, n) とする．また，これらをれている [4]．MNMF や ILRMA は，低ランク行列で近似可能要素としたベクトルをなスペクトログラムを持つ特定の音源に対して有効である一方
で，音声など，それ以外の音源に対しては分離性能が限定的と

x(f, n) = [x1 (f, n), . . . , xI (f, n)]T ∈ CI ,

(1)

なる．

s(f, n) = [s1 (f, n), . . . , sJ (f, n)] ∈ C

(2)

J

T

この問題を解決するため，ニューラルネットワーク（Neural

Network: NN）が持つ豊かな関数表現能力を活かし，行列積に代わるパワースペクトログラムモデルとして NN を用いた手法が提案されている [5]〜[8]．独立深層学習行列分析（Independentとする．ただし，優決定条件下においては I = J とおく．ここで (·)T は転置を表し，f と n はそれぞれ周波数と時間のインデックスである．音源信号ベクトル s(f, n) と観測信号ベクトル x(f, n) の間の関係として瞬時分離系

Deeply Learned Matrix Analysis: IDLMA）[5] は，単一フレー
ムのクリーンパワースペクトルを出力する NN を各音源ごとに

s(f, n) = W H (f )x(f, n),

事前学習し，音源分離アルゴリズムの各反復計算において，学W (f ) = [w1 (f ), . . . , wI (f )] ∈ C

習した NN のフィードフォワード計算により各音源のパワースペクトルを更新する手法である．IDLMA は高い音源分離精度が得られることが報告されているが，このアルゴリズムでは，音源のパワースペクトログラムを更新する際に尤度関数を増加させる保証がないため，反復アルゴリズムの収束性が保証(4)を仮定する．ここで，W H (f ) は分離行列を表し，(·)H はエ
ルミ―ト転置である．以上の瞬時混合系の仮定の下で，更に音源信号 j の複素スペクトログラム sj (f, n) が平均 0，分散

vj (f, n) = E[|sj (f, n)|2 ] の複素正規分布

されない点に課題があった．一方，多チャンネル変分自己符号化器（Multichannel Variational Autoencoder: MVAE) [6], [7]

(3)
I×I

sj (f, n) ∼ NC (sj (f, n)|0, vj (f, n))(5)法は，条件付き VAE（Conditional VAE: CVAE）により表現に従う確率変数とすると，各音源信号 sj (f, n) と sj ′ (f, n), j =| j′

される音源スペクトログラムの生成モデルを事前学習し，分離が統計的に独立であるときには，音源信号 s(f, n) は時において CVAE のデコーダ入力を分離行列と共に推定する

s(f, n) ∼ NC (s(f, n)|0, V (f, n))手法である．この手法では，各反復計算で尤度関数減少しない(6)

ようにデコーダ入力値が誤差逆伝搬法（Backpropagation）にに従う．ここで，V (f, n) は v1 (f, n), . . . , vI (f, n) を要素に持より更新されるため，尤度関数の停留点への収束が保証される．

つ対角行列である．式 (3), (6) より，観測信号 x はその一方，デコーダ入力の推定に高い計算コストを要する点にx(f, n) ∼ NC (x(f, n)|0, (W H (f ))−1 V (f, n)W (f )−1 ) (7)

課題があった．そこで，[8] で我々は当該処理に要する計算コスに従う．従って，分離行列 W = {W (f )}f と各音源のパワー- 80 -—2—

スペクトログラム V = {vj (f, n)}j,f,n が与えられた下での観測徴を調整する役割，z はクラス内の変動を調整する役割を担っ

信号 X = {x(f, n)}f,n の対数条件付き分布はた変数と見なせる．

clog p(X |W, V) = 2N∑

音源 j の複素スペクトログラム S j = {sj (f, n)}f,n の生成モ

log | det W H (f )|デルを，z j ，cj ，gj を入力としたデコーダ分布により表現するこ

f

−

∑(

log vj (f, n) +

f,n,j

2)
|wH
j (f )x(f, n)|vj (f, n)とで，音源モデルのパラメータの尤度関数は (8) と同形の尤度関数に帰着させることができる．従って，(8) が大きくなるよう(8)に分離行列 W ，CVAE 音源モデルパラメータ Ψ = {z j , cj }j ，となる．ここで，= はパラメータに依存する項のみに関する

スケールパラメータ G = {gj }j を反復更新することで，(8) の停等号を表す．音源パワースペクトログラム vj (f, n) に制約がな

留点を探索することができる．(8) を上昇させる W の更新にはい場合，(8) は周波数 f ごとの項に分解されるため，各周波数

ILRMA，IDLMA と同様に反復射影法 (Iterative Projection:

帯域の分離信号のインデックスにはパーミュテーションの任IP) [12]:c

意性が生じる．しかし，vj (f, n) が周波数方向に構造的制約を持つ場合，その制約を活かすことでパーミュテーション整合と帯域ごとの音源分離を同時解決するアプローチを導くことができる．独立ベクトル分析 (Independent Vector Analysis:

IVA) [10], [11] や ILRMA がその例である．

wj (f ) ← (WH (f )Σj (f ))−1 ej ,(14)

wj (f )
wj (f ) ← √wH(f)Σj (f )wj (f )
j

(15)

1
を用いることができる．ただし，Σj (f ) = N

2. 2 MVAE 法MVAE は，各音源の複素スペクトログラムの生成モデルとして，音源クラスラベルを補助入力とした CVAE のデコーダ

布 pθ (z|S, c) ∝ pθ (S|z, c)p(z) ができるだけ一致するようにエンコーダとデコーダの NN パラメータ ϕ，θ を探索することにx(f,n)xH (f,n)
vj (f,n)た (8) を上昇させる Ψ の更新は誤差逆伝播法，G の更新は

1 ∑ |wj (f )x(f, n)|FNσθ2 (f, n; z j , cj )H

gj ←クトログラムを S = {s(f, n)}f,n とし，対応する音源クラスラ
分布 qϕ (z|S, c) とデコーダ分布 pθ (S|z, c) から導かれる事後分nであり，ej は I × I の単位行列 I の第 j 列ベクトルである．ま

分布を用いた混合信号モデルである．ある音源信号の複素スペ
ベルを one-hot ベクトル c とする．CVAE の学習はエンコーダ

∑

2

(16)

f,n

により行う．ただし，(16) は W と Ψ が固定された下で (8) を最大にする更新式である．以上より MVAE の推論プロセスは
以下のようにまとめられる．

より実現される．ここで，CVAE のデコーダ分布を (5) の局所 （ 1 ） (13) を学習規準として θ，ϕ を学習する．
（ 2 ） W ，Ψ を初期化する．

ガウス音源モデルと同形の確率モデルpθ (S|z, c, g) =∏NC (s(f, n)|0, v(f, n)),（ 3 ） 各 j について下記ステップを繰り返す．

(9)(3a) 式 (14), (15) により wj (0), . . . , wj (F ) を更新する．

f,nv(f, n) = g · σθ2 (f, n; z, c)(3b) 誤差逆伝播法により Ψj = {z j , cj } を更新する.

(10)(3c) (16) により gj を更新する．

とする．ただし，分散 σθ2 (f, n; z, c) はデコーダネットワークの出力であり，g はパワースペクトログラムのスケールを表す変数である．一方，エンコーダ分布 qϕ (z|S, c) と潜在空間変数 zの事前確率分布は通常の CVAE と同様に，多次元正規分布qϕ (z|S, c) = N (z|µϕ (S, c), diag(σ 2ϕ (S, c))),p(z) = N (z|0, I)

音源クラスベクトル cj はテスト時において推定されるパラメー
タになるため，MVAE は音源分離と音源クラス識別を同時に行うことができる．以上が MVAE 法である．

2. 3 FastMVAE 法(11)

MVAE 法では，各反復計算で対数尤度が上昇するように(12)

パラメータの更新が行われるため，対数尤度の停留点への収束が保証される利点がある一方で，誤差逆伝播法を用いと仮定する．ここで，µϕ (S, c), σ 2ϕ (S, c) はエンコーダの出力である．CVAE のパラメータ θ, ϕ は，各種クラスの音源信号の複素スペクトログラムの学習サンプル {S m , cm }M
m=1 を用いて題があった．CVAE の学習ではエンコーダ分布 qϕ (z|S, c) がpθ (z|S, c) を近似するものとして得られるが，pθ (c|S) を近似するネットワーク rψ (c|S) を同様に得ることができれば，誤差逆

J (ϕ, θ) =E(S,c)∼pD (S,c) [Ez∼qϕ (z|S,c) [log pθ (S|z, c)]− KL[qϕ (z|S, c)||p(z)]]た Ψj = {z j , cj } の更新に多大な計算コストを要する点に課伝播法による pθ (z, c|S) = pθ (z|S, c)pθ (c|S) の最大値探索を(13)

qϕ (z|S, c)，rψ (c|S) のフォワード計算に（近似的に）置き換え

が最大となるように学習される．E(S,c)∼pD (S,c) [·] は学習サンることができるため，大幅な高速化が可能となる．これを実現

プルによる標本平均を表し，KL[·||·] は KL ダイバージェンスでするためにクラス識別器つき VAE（Auxiliary Classifier VAE:

ある．以上により学習したデコーダ分布 pθ (S|z, c, g) を CVAEACVAE）[13] を導入したのが FastMVAE 法である．

音源モデルと呼ぶ．CVAE 音源モデルは，学習サンプルに含ま

ACVAE は，音声変換に応用する目的で提案された CVAE のれる様々なクラスの音源の複素スペクトログラムを表現可能な拡張版で，クラスラベル入力 c のデコーダ出力への影響力を強生成モデルとなっており，c は音源クラスのカテゴリカルな特調するためにデコーダ出力とクラスラベル c との相互情報量を- 81 -—3—

正則化項としてエンコーダとデコーダを学習する方式である．

形式の離散表現潜在変数 z が与えられたときの S と c の相互情報量はc ← argmax rψ (c|S)(23)

c∈{1,2,...,C}′

I(c, S|z) = Ec∼p(c),S∼pθ (S|z,c),c′ ∼p(c|S) [log p(c |S)] + H(c)に整形した fMVAE_o の 2 バージョンを考える．従って，Fast-(17)と書ける．ここで，H(c) はクラス c のエントロピーを表し，

MVAE 法の推論プロセスは以下のようにまとめられる．

定数項と見なせる．(17) のとおり，相互情報量 I(c, S|z) を求 （ 1 ） (21) を学習規準として θ，ϕ，ψ を学習する．
めるには事後分布 p(c|S) を計算する必要があるが，pθ (S|z, c) （ 2 ） W ，Ψ を初期化する．
から p(c|S) を解析的に求めることは難しく，I(c, S|z) を規準 （ 3 ） 各 j について下記ステップを繰り返す．
に含めて最適化することは困難である．そこで ACVAE では(3a) 式 (14), (15) により wj (0), . . . , wj (F ) を更新する．

I(c, S|z) の代わりに，(17) の右辺第一項の変分下界(3b) (22) や (23) により cj を更新する．
(3c) エンコーダのフォワード計算により z j を更新する．

Ec∼p(c),S∼pθ (S|z,c),c′ ∼p(c|S) [log p(c′ |S)]
≧ Ec∼p(c),S∼pθ (S|z,c) [log r(c|S)](3d) (16) により gj を更新する．
(18)

3. 提案手法：潜在空間変数の事前確率を考慮した推論アルゴリズムを規準として学習を行う．この不等式は r(c|S) = p(c|S) のときに等号が成立する．よって，この変分下界を大きくする
ことは分布 r(c|S) を用いて事後分布 p(c|S) を近似すること[8] で我々は，上記の近似計算により FastMVAE 法は MVAEに相当し，この変分下界を r(c|S) と θ に関して上昇させるこ法と同等な分離性能を実現しつつ，計算時間を 1/20 に削減でとで，I(c, S|z) を間接的に大きくすることができる．ここで，きることを確認した．しかし，FastMVAE 法では，潜在空間pθ (z|S, c) の近似分布のモデル化と同様に，データ S が与えら

変数 z の更新においてエンコーダ qϕ (z|S, c) のフィードフォ

れた下でのクラスラベル c の条件付分布 rψ (c|S) のパラメータ

ワード計算が用いられるが，CVAE 音源モデルの学習時に仮定を出力する NN を用いて近似分布 r(c|S) をモデル化し，NN のした潜在空間変数 z の事前確率分布 p(z) を考慮した最適化規

パラメータ ψ を準と同一になっていなかった．そのため，未知話者を対象とした場合，推定される潜在空間変数が仮定した分布から逸脱し，L(ϕ, θ, ψ)(19)

分離性能の劣化を招いていた（後述）．この点に着目し，本章= E(S,c)∼pD (S,c),qϕ (z|S,c) [Ec∼p(c),S∼pθ (S|z,c) [log rψ (c|S)]].

では，学習と推論時の最適化規準のミスマッチを解消し，未が大きくなるようエンコーダ及びデコーダのパラメータとともに学習する．また，ラベル付き学習サンプル {S m , cm }M
m=1 も学習に用いることができるため，学習データ S m と対応するクラスラベル cm の交差エントロピー

I(ψ) = E(S,c)∼pD (S,c) [log rψ (c|S)]

知話者の場合においても安定かつ高精度な推論を行うために，
エンコーダの確率モデルと潜在空間変数の事前確率モデルを

Product-of-Experts (PoE) の枠組により統合した確率モデルに基づいて z の更新式を導出する．

PoE は観測データの確率分布を Experts と呼ばれる個々の確率分布の積で表現する手法であり，そのモデルは複数の Experts(20)の論理積を取ったような確率モデルとなる．従って，エンコーも学習規準に含めることができる．従って，ACVAE の NN パ
ラメータ学習規準は

ダ分布と z の事前確率分布を Experts として統合した確率モデ
ルの最尤推定量はJ (ϕ, θ) + λL L(ϕ, θ, ψ) + λI I(ψ)(21)

ẑ = argmax p(z|S, c)p(z)αzとなる．ここで，λL ≧ 0 と λI ≧ 0 は各規準の重み係数である．

≈ argmax qϕ (z|S, c)p(z)αACVAE で学習されるクラス識別器 rψ (c|S) は p(c|S) を近z

似した分布となるため，学習した rψ (c|S) とエンコーダ分布= argmax log qϕ (z|S, c) + α log p(z)

(24)

z

qϕ (z|S, c) の積は p(z, c|S) を近似した分布となる．MVAE 法
では音源 j ごとに p(z j , cj |S j ) が最大となる Ψj = {z j , cj } を探と定義できる．ここで，α は事前確率分布の重みを表すパラ

索するために誤差逆伝播法が用いられたが，FastMVAE 法ではメータである．また，qϕ (z|S, c) と p(z) は多次元正規分布であACVAE を用いることによりこのパラメータ更新部を rψ (c|S)

るため，(24) の確率モデルはと qϕ (z|S, c) のフィードフォワード計算に置き換えることがで

log qϕ (z|S, c) + α log p(z)きる．ただし，クラスラベル c はクラス識別器が出力した連

)T
(
) α
1(
z − µϕ (|S, c) Σ−1
z − µϕ (S, c) − z T z
ϕ
2
2
Σ−1
+
αI
c
ϕ
=−
(z − µ)T (z − µ)
(25)
2
c

=−

続値

c ← rψ (c|S)(22)

を用いた fMVAE_c と，学習データと同様の one-hot ベクトルのように変形できる．ただし，Σϕ = diag(σ 2ϕ (S, c)) であり，

- 82 -—4—図 1: ACVAE のネットワーク構造. 入力と出力スペクトログラムの周波数軸をチャネル軸と見なし，1 次元畳み込み NN を用いる．“w”，“c” と“k” はそれぞれデータの系列長，チャネル数とフィルタサイズを表し，“Conv”，“Deconv”，“BN” と “GLU” はそれぞれ畳み込み，逆畳み込み，バッチ正規化と gated linear unit と呼ばれるデータ駆動の活性化関数を表す．

µ=

Σ−1
ϕ
−1
Σ
+αI
ϕ

µϕ (S, c) である．よって，二次関数である (25) の15

最大値で与えられる z の更新式は

Σ−1
ϕ + αI

13µϕ (S, c)

(26)

12

SDR [dB]

z←

Σ−1
ϕ

ILRMA
MVAE
fMVAE_ofMVAE_c14となる．α = 0 の時には，(26) は従来の FastMVAE 法で用い1110られた z の更新式と等しい．

9

4. 評 価 実 験

87

4. 1 実 験 条 件

0

1

10

100

300

mean

α

提案手法による音声分離性能を検証するため，Voice Con-

図 2: 話者依存条件での α の設定値による SDR 平均値 [dB] の違い．

version Challenge (VCC) 2018 音声データベース [14] を用いた話者依存の分離実験と WSJ0 音声データベース [15] を

表 1: 話者依存条件での α = 1 のときの SDR，SIR と SAR の平均値用いた任意話者の分離実験を行った．比較対象は ILRMA [4]，[dB]．

IDLMA [5]，MVAE [7]，PoE に基づく fMVAE_o と fMVAE_c

RT60 = 78 [ms] (simu)

RT60 = 351 [ms] (simu)

SDR

SIR

SAR

SDR

SIR

SAR

to-interferences ratio (SIR) と sources-to-artifact ratio (SAR)

ILRMA

18.33

25.42

20.47

5.96

13.78

7.91

[16] を用いた．

IDLMA

9.31

13.31

12.72

4.53

10.46

7.45

MVAE

20.60

26.88

23.25

6.98

15.48

8.63

methodとし，評価規準として source-to-distortion ratio (SDR)，source-

話者依存の実験では男性話者 2 名（SM1, SM2）と女性話者

2 名（SF1, SF2）の発話データを用いた．各話者の発話データ

fMVAE_o

22.76

30.36

24.84

6.76

15.45

7.89

fMVAE_c

23.35

31.03

25.25

6.21

14.63

7.63

116 文のうち 81 文を CVAE と ACVAE の学習データとし，残RT60 = 173 [ms] (ANE)

RT60 = 225 [ms] (E2A)

りの 35 文を用いて評価用データを作成した．多チャンネル観

method

SDR

SIR

SAR

SDR

SIR

SAR

測信号は鏡像法によりシミュレートした 2 種類のインパルス応

ILRMA

14.16

20.68

16.85

4.70

13.16

6.42

答（残響時間 (RT60 ) はそれぞれ 78 ms 及び 351 ms），及び，

IDLMA

7.68

10.97

12.25

4.07

9.99

6.49

RWCP データベース [17] に収録された 2 種類の実測インパル

MVAE

16.44

22.20

19.08

6.17

15.97

7.62

ス応答（ANE(RT60 =173 ms) と E2A（RT60 =225 ms））を用

fMVAE_o

20.53

27.64

22.43

6.00

15.98

7.25

fMVAE_c

19.26

26.37

21.33

4.70

13.91

6.49

いて作成した．それぞれの混合条件ごとに 4 パターンの話者の組み合わせ（SF1+SM1, SM1+SM2, SM2+SF2, SF1+SF2）の混合信号を計 40 文作成した．一方，任意話者の実験ではフォした時のエンコーダとデコーダネットワーク構造も図 1 に示

ルダ si_tr_s 内の 101 話者のデータを学習データとし，フォした構造を用いた．ILRMA の基底数は 2 とした．ILRMA と

ルダ si_dt_05 と si_et_05 内の 18 話者のデータを評価用

IDLMA1 においては 100 回反復更新を行った．また，MVAE，

データの作成に用いた．残響時間がそれぞれ 78 ms と 351 ms

fMVAE_c と fMVAE_o は ILRMA を 30 回反復した W を初のインパルス応答を用いて各混合条件について混合信号を 100

期値として 30 回反復更新を行った．

4. 2 実 験 結 果

文作成した．

図 2 と図 3 は話者依存と任意話者の分離実験において異すべての音声信号のサンプリング周波数を 16 kHz とし，フレーム長 256 ms，フレームシフト 128 ms の下で短時間 Fourierなる α で得られた SDR 平均値を示す．話者依存の実験で変換を行い，観測信号 x(f, n) を算出した．図 1 に ACVAE のは α = {0, 1, 10, 100, 300, mean}，任意話者の実験では更にネットワーク構造を示す．通常の CVAE で音源モデルを学習

α = {500, 700, 1000} の設定で実験を行った．ここで，“mean”- 83 -

—5—

謝辞
16

成を受けて行われた．

15

文

SDR [dB]

14

13

12
ILRMA
MVAE
fMVAE_ofMVAE_c1110

本 研 究 は JSPS 科 研 費 17H01763 と 18J20059，JST

CREST JPMJCR19A3 及び SECOM 科学技術振興財団の助

0

1

10

100

300

500

700

1000

mean

α

図 3: 任意話者条件での α の設定値による SDR 平均値 [dB] の違い．
表 2: 任意話者条件での α = 500 のときの SDR，SIR と SAR の平均
値 [dB]．

methodRT60 = 78 ms (simu)

RT60 = 351 ms (simu)

SDR

SDR

SIR

SIR

SAR

SAR

ILRMA

19.66

27.12

22.96

7.32

17.98

8.51

MVAE

23.86

31.46

27.97

7.57

18.31

8.99

fMVAE_o

19.44

26.55

23.29

7.49

18.51

8.70

fMVAE_c

19.74

27.14

23.53

7.44

18.48

8.62

1
はα= K

∑K
k

σϕ2 (k; S, c) のようなデータ依存のパラメータ設定を表す．話者依存の実験において α = 1 の時に最高分離性能が得られたことから，話者が学習データに含まれる条件においては学習されたエンコーダ分布の出力を直接用いたアルゴリ
ズムでも z を正確に推定できることを確認した．一方，話者が未知の条件では，エンコーダ分布の出力を直接用いた場合の分離性能には劣化が見られた．しかし，z の事前確率を考慮した場合において性能に改善が見られたことから，提案法の有効性を確認できた．また，話者依存の実験においては fMVAE_c と

fMVAE_o の分離性能に優劣が見られなかったが，任意話者の実験においては fMVAE_c の曲線が fMVAE_o の曲線を全体的に上回ったことから，クラス識別器の出力の連続値を c の推論結果とした方が未知話者のデータに有効であることが分かった．表 1 と表 2 に比較対象手法の話者依存と任意話者の分離実験における結果を示す．MVAE 法は両方の実験において従来の ILRMA と IDLMA を凌駕した分離性能を示した．一方，

FastMVAE 法は話者依存の実験では MVAE 法より一層の性能向上が得られたが，任意話者の実験では分離性能の劣化が見られ，ILRMA と同等な分離性能であった．

5. お わ り に
本稿では，多数の話者が含まれるデータでネットワークを学習させることにより話者に汎用性のある CVAE 音源モデルの構築が可能であることと，それを用いた MVAE 法と FastMVAE
法は任意話者に対しても高い分離性能を実現できることを実験により確認した．PoE の枠組により潜在空間変数の確率モデルを統合し，CVAE 音源モデルの学習時に用いられた規準と同一になるような規準に基づく潜在空間変数の更新式を提案し，そ献[1] A. Ozerov and C. Févotte, “Multichannel nonnegative matrix factorization in convolutive mixtures for audio source
separation,” IEEE Trans. ASLP, vol. 18, no. 3, pp. 550–563,
2010.
[2] H. Sawada, H. Kameoka, S. Araki and N. Ueda, “Multichannel extensions of non-negative matrix factorization withcomplex valued-data,” IEEE Trans. ASLP, vol. 21, no. 5,
pp. 971–982, 2013.
[3] H. Kameoka, T. Yoshioka, M. Hamamura, J. Le. Roux and
K. Kashino, “Statistical model of speech signals based oncomposite autoregressive system with application to blindsource separation,” in Proc. LVA/ICA, pp. 245–253, 2010.
[4] D. Kitamura, N. Ono, H. Sawada, H. Kameoka and H.
Saruwatari, “Determined blind source separation unifying
independent vector analysis and nonnegative matrix factorization,” IEEE/ACM Trans. ASLP, vol. 24, no. 9, pp. 1622–
1637, 2016.
[5] S. Mogami, H. Sumino, D. Kitamura, N. Takamune, S.
Takamichi, H. Saruwatari and N. Ono, “Independent deeply
learned matrix analysis for multichannel audio source separation,” in Proc. EUSIPCO, pp. 1571–1575, 2018[6] H. Kameoka, L. Li, S. Inoue and S. Makino, “Semi-blindsource separation with multichannel variational autoencoder,” arXiv: 1808.00892, 2018.
[7] H. Kameoka, L. Li, S. Inoue and S. Makino, “Supervised
determined source separation with multichannel variational
autoencoder,” Neural computation, vol. 31, no. 9, pp. 1891–
1914, 2019.
[8] L. Li, H. Kameoka and S. Makino, “Fast MVAE: Joint separation and classification of mixed sources based on multichannel variational autoencoder with auxiliary classifier,”in Proc. ICASSP, pp. 546–550, 2019.
[9] G. E. Hinton, “Training products of experts by minimizing
contrastive divergence,” Neural computation, vol. 14, no. 8,
pp. 1771–1800, 2002.
[10] T. Kim, T. Eltoft and T.-W. Lee, “Independent vector analysis: An extension of ICA to multivariate components,” inProc. ICA, pp. 165–172, 2006.
[11] A. Hiroe, “Solution of permutation problem in frequency domain ICA using multivariate probability density functions,”in Proc. ICA, pp. 601–608, 2006.
[12] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function technique,” in Proc.
WASPAA, pp. 189–192, 2011.
[13] H. Kameoka, T. Kaneko, K. Tanaka and N. Hojo, “ACVAEVC: Non-parallel many-to-many voice conversion with auxiliary classifier variational autoencoder,” arXiv: 1808.05092,
2018.
[14] J. Lorenzo-Trueba, J. Yamagishi, T. Toda, D. Saito, F,
Villavicencio, T. Kinnunen and Z. Ling, “The voice conversion challenge 2018: Promoting development of paralleland nonparallel methods,” arXiv: 1804.04262, Apr. 2018.
[15] J. S. Garofolo, et al. CSR-I (WSJ0) Complete LDC93S6A.
Web Download. Philadelphia: Linguistic Data Consortium,
1993.
[16] E. Vincent, R. Gribonval and C. Févotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.
[17] S. Nakamura, K. Hiyane, F. Asano and T. Endo, “Sound
scene data collection in real acoustical environments,” J.
Acoust. Soc. Jpn. (E), vol. 20, no. 3, pp. 225–231, 1999.

の有効性を任意話者の分離実験により確認した．

- 84 -—6—