一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATIONAND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会

信学技報
IEICE Technical Report
EA2018-154,SIP2018-160,SP2018-116(2019-03)
信学技報

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERSTECHNICAL REPORT OF IEICE.

多チャンネル変分自己符号化器に基づく劣決定音源分離の評価
関

翔悟†

亀岡

弘和††

莉††† 戸田

李

智基†

武田

一哉†

† 名古屋大学 〒464–8601 愛知県名古屋市千種区不老町†† NTT コミュニケーション科学基礎研究所 〒243–0198 神奈川県厚木市森の里若宮 3–1††† 筑波大学 〒305–8573 茨城県つくば市天王台 1–1–1
E-mail: †seki.shogo@g.sp.m.is.nagoya-u.ac.jp, ††kameoka.hirokazu@lab.ntt.co.jp
あらまし 本稿では劣決定音源分離を扱う．多チャンネル非負値行列因子分解（MNMF）は劣決定音源分離に有効な手法であり，NMF を音源のパワースペクトログラムモデリングへと適用する．これは優決定条件下での MNMF でもある独立低ランク行列分析（ILRMA）にも取り入れられている．これらの手法は特定の音源に対して有効である一方で，NMF によってモデル化が困難な音源に対してはその分離性能が制限される．この問題に対して，NMF の代わりに条件付き変分自己符号化器（CVAE）を音源モデルとして利用する多チャンネル変分自己符号化器（MVAE）が最近提案され，ネットワークの柔軟な表現能力による高い分離性能が確認されている．本稿では優決定音源分離で定式化されている MVAE を劣決定音源分離へと適用し，停留点への収束が保証された最適化アルゴリズムを導く．2 チャ
ンネルのマイクロフォンアレイを用いた３話者の分離による実験的評価を行い提案法の有効性を示す．
キーワード

劣決定音源分離，多チャンネル変分自己符号化器，多チャンネル非負値行列因子分解

An Evaluation of Underdetermined Source Separation
Based on Multichannel Variational Autoencoder
Shogo SEKI† , Hirokazu KAMEOKA†† , Li LI††† , Tomoki TODA† , and Kazuya TAKEDA†† Nagoya University Chikusa-ku Furo-cho, Nagoya, 464–8601 Japan†† NTT Communication Science Laboratories 3–1 Morinosato Wakamiya, Atsugi, 243–0198 Japan††† University of Tsukuba 1–1–1 Tennodai, Tsukuba, 305–8573 Japan
E-mail: †seki.shogo@g.sp.m.is.nagoya-u.ac.jp, ††kameoka.hirokazu@lab.ntt.co.jp
Abstract This paper deals with a multichannel audio source separation problem under underdetermined conditions. Multichannel Non-negative Matrix Factorization (MNMF) is one of powerful approaches, which adopts the
NMF concept for source power spectrogram modeling. This concept is also employed in Independent Low-Rank
Matrix Analysis (ILRMA), a special class of the MNMF framework formulated under determined conditions. Thesemethods work reasonably for particular types of sound sources, however, one limitation is that they can fail to work
for sources with spectrograms that do not comply with the NMF model. To address this limitation, an extension of
ILRMA called the Multichannel Variational Autoencoder (MVAE) method was recently proposed, where a Conditional VAE (CVAE) is used instead of the NMF model for source power spectrogram modeling. This approach has
shown to perform impressively in determined source separation tasks thanks to the representation power of DNNs.
This paper generalizes MVAE originally formulated under determined mixing conditions so that it can also deal
with underdetermined cases. The proposed method was evaluated on a underdetermined source separation task ofseparating out three sources from two microphone inputs. Experimental results revealed that the generalized MVAE
method achieved better performance than the MNMF method.
Key words Underdetermined source separation, Multichannel variational autoencoder, Multichannel non-negative
matrix factorization- 323 -

—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2019 by IEICE

1. は じ め にTable 1 Comparison with the conventional methods
Separation

Source model

ILRMA [6], [8], [10]Determined

NMF

音源とマイクロフォン間の伝達関数が未知であるという条件の

MNMF [5], [7], [9]Underdetermined

NMF

もと，マイクロフォンアレイに入力される観測信号から個々のMVAE [12]Determined

VAE

音源信号を分離する問題である．周波数領域 BSS では音源やア

Proposed

Underdetermined

VAE

ブラインド音源分離（Blind Source Separation: BSS）は，

レイ応答の時間周波数表現について多様なモデルを設計することが可能である．例として，独立ベクトル分析（Independent(Table 1.)．劣決定条件での定式化にしたがって提案法を示す

Vector Analysis: IVA) [1], [2] では，同一音源に由来する周波とともに，MNMF などと同様に停留点への収束性が保証され数成分が時間とともにコヒーレントに変化するという仮定のもた最適化アルゴリズムを導く．

と，周波数成分ごとの音源分離とパーミュテーション整合を同2. 定 式 化

時に解くことが可能である．
周波数領域 BSS における他のアプローチとして，楽曲採
譜やモノラル音源分離に適用されていた非負値行列因子分解

観測チャンネル数および音源数をそれぞれ I ，J とし，観測信号および音源信号の時間周波数表現をそれぞれ（Non-negative Matrix Factorization: NMF） [3], [4] の多チャンネル拡張を扱う手法が提案されている [5]〜[10]．NMF に基s(f, n) = [s1 (f, n), · · · , sj (f, n), · · · , sJ (f, n)]T ∈ CJ (1)づく手法では，混合信号のパワースペクトログラムを 2 つのx(f, n) = [x1 (f, n), · · · , xi (f, n), · · · , xI (f, n)]T ∈ CI (2)非負値行列の行列積として近似する．このとき，各時間フレー
ムにおける混合信号のパワースペクトルは，少数の基底スペク
トルと時変のゲイン成分の線形和として近似される．多チャン
ネル非負値行列因子分解（Multichannel Non-negative Matrixとする．ここで (·)T は転置を表し，i，j ，f ，n はそれぞれチャネル，音源，周波数，時間を表すインデックスである．本稿では，周波数領域における瞬時混合表現で表される混合系

Factorization: MNMF）は，単チャンネル信号を前提とした

x(f, n) = A(f )s(f, n)

NMF に対して多チャンネル信号を入力とする拡張手法であり，A(f ) = [a1 (f ), · · · , aj (f ), · · · , aJ (f )] ∈ CI×J

チャンネル間の位相差といった空間情報を音源分離における新
たな手がかりとして利用する．

(3)
(4)

を用いる．ここで A(f ) は混合行列である．

MNMF は，観測信号に含まれる音源数がマイクロフォンア

い ま ，sj (f, n) が 平 均 0，分 散 vj (f, n) の 複 素 ガ ウ ス

レイのチャンネル数より大きいという劣決定条件において提案

分 布 NC (sj (f, n)|0, vj (f, n)) に し た が う Local Gaussian

され [5]，のちに音源数がチャンネル数以下という優決定条件

Model (LGM) [15] を 仮 定 す る ．j ̸= j ′ に お い て sj (f, n)，へと限定することで高速化を実現する分離アルゴリズムが提案

sj ′ (f, n) が独立であるとき，音源信号 s(f, n) はされた [6]．優決定条件下での MNMF の枠組みは，特に独立s(f, n) ∼ NC (s(f, n)|0, V(f, n))

低ランク行列分析（Independent Low-Rank Matrix Analysis:

ILRMA）とよばれる [11]．ILRMA を含む MNMF の枠組みにおいては収束が保証された最適化アルゴリズムを得ることが可能である一方，NMF によるスペクトログラムのモデル化が困(5)にしたがう．ここで V(f, n) は v1 (f, n), · · · , vJ (f, n) を要素にもつ対角行列である．(3)，(5) より観測信号 x(f, n) はx(f, n) ∼ NC (x(f, n)|0, A(f )V(f, n)AH (f ))難な音源に対しては，分離性能が限定される．
これに対して，現在では多チャンネル変分自己符号化器（Mul-tichannel Variational Autoencoder: MVAE）とよばれる手法が提案されている [12]．MVAE は，ILRMA における各音源のスペクトログラムのモデル化において，NMF の代わりに条件付
け変分自己符号化器（Conditional Variational Autoencoder:にしたがう．ここで (·)H は共役転置を表す．
したがって，混合行列 A = {A(f )}f および音源の分散

V = {vj (f, n)}f,n を用いて観測信号 X = {x(f, n)}f,n に対する対数尤度は以下で与えられる．

CVAE） [13], [14] を利用する手法である．MVAE では，音源

log p(X |A, V)の種類を表すラベル情報とスペクトログラムを組み合わせた学c=−

習データを用いて，事前に CVAE を学習させる．分離時には，∑[

tr(xH (f, n)(A(f )V(f, n)AH (f ))−1 x(f, n))f,n

学習された CVAE を各音源のスペクトログラムを生成する生]+logdet(A(f )V(f, n)AH (f ))成モデルとして，ILRMA における NMF の代わりに利用する．
ニューラルネットワークの高い表現能力を音源のパワースペク

(6)

(7)

c

ここで = はパラメータに関する等号を表す．

トログラムモデリングへ利用することで，MVAE は ILRMA

3. 関 連 研 究を超える分離性能を達成している．
本稿では，優決定音源分離を想定する MVAE を拡張し，劣決定音源分離へと適用可能な一般化された MVAE を提案する- 324 -

3. 1 多チャンネル非負値行列因子分解（MNMF）
観測信号の空間共分散はステアリングベクトル aj (f ) および—2—

影（Iterative Projection）法 [17] とよばれる高速な更新アルゴ

分散 vj (f, n) を用いて以下で表される．

A(f )V(f, n)AH (f ) =
=

∑
∑

j

j

リズムにより分離行列を更新することが可能である．

aj (f )vj (f, n)ajH (f )3. 3 多チャンネル変分自己符号化器（MVAE）

vj (f, n)Rj (f )ILRMA を含めた MNMF の枠組みでは，音源モデル vj (f, n)(8)の表現が (9) または (10) に制限されることにより，実際にここで Rj (f ) は音源 j の空間共分散を表す．MNMF では，IVA

はモデル化が困難な音源に対してはその分離性能が限定されと同様に vj (f, n) に対して制約を加えることにより，周波数

る．MVAE は NMF の代わりに学習済みの CVAE を用いた

成分ごとの音源分離とパーミュテーション整合を可能にする．

ILRMA の拡張である．S̃ = {s(f, n)}f,n をある音源の複素ス

MNMF では，各音源信号の分散 vj (f, n) を Kj のスペクトル

ペクトログラムとする．MVAE は補助特徴量 c を伴う CVAE

テンプレート hj,1 (f ), · · · , hj,Kj (f ) ≥ 0 とその時変な励起パにより S̃ の生成モデルを学習する．CVAE はエンコーダ・デ

ターン uj,1 (n), · · · , uj,Kj (n) ≥ 0 を用いたコーダ型のネットワークで構成され，ラベル付きの学習データ

vj (f, n) =

∑

もしくは，

k

∑Kj
k=1

hj,k (f )uj,k (n),{S̃m , cm }M
m=1 を用いて事前に学習される．エンコーダの分布(9)qϕ (z|S̃, c) はガウス分布

bj,k = 1 を満たす指示変数 bj,k ∈ [0, 1] を加え音qϕ (z|S̃, c) =源間で共有した K のスペクトルテンプレートおよびその励起∏kN (z(k)|µϕ (k; S̃, c), σϕ2 (k; S̃, c))(15)

デコーダの分布 pθ (S̃|z, c, g) は平均 0 の複素ガウス分布

パターンを用いた

vj (f, n) =∑K
k=1

bj,k hk (f )uk (n)pθ (S̃|z, c, g) =

(10)

∏
f,n

NC (s(f, n)|0, v(f, n))(16)v(f, n) = g · σθ2 (f, n; z, c)

によってモデル化する．

MNMF の最適化アルゴリズムは空間共分散 R = {Rj (f )}j,fと音源モデル（H1 = {hj,k (f )}j,k,f ，U1 = {uj,k (n)}j,k,n もし
くは B = {bj,k }j,k ，H2 = {hk (f )}k,f ，U2 = {uk (n)}k,n ）の反復更新によって構成され，それぞれの更新則は Majorization-

Minimization (MM) アルゴリズムにより得られる [16]．

(17)を表すようにネットワークを学習する．ここで，z は潜在変数，µϕ (k; S̃, c)，σϕ2 (k; S̃, c) はそれぞれ要素 k のエンコーダ出力µϕ (S̃, c)，σϕ2 (S̃, c)，σθ2 (f, n; z, c) は要素 (f, n) のデコーダ出力σθ2 (z, c) であり，g は生成されたスペクトログラムに対するグ
ローバルスケールである．エンコーダ，デコーダのネットワー

3. 2 独立低ランク行列分析（ILRMA）

クパラメータ ϕ，θ は以下の目的関数により学習される．

ILRMA は優決定音源分離を扱う MNMF の特殊なケースで[

J (ϕ, θ) = E(S̃,c)∼pD (S̃,c) Ez∼q(z|S̃,c) [log p(S̃|z, c)]ある．混合系を仮定する MNMF とは異なり，ILRMA では混]−KL[q(z|S̃, c)||p(z)]合行列が正則な場合である分離系(18)s(f, n) = WH (f )x(f, n)(11)

ここで，E(S̃,c)∼pD (S̃,c) [·] は学習サンプルについての標本平均，W(f ) = [w1 (f ), · · · , wi (f ), · · · , wI (f )] ∈ CI×J

(12)

KL[·||·] は Kullback-Leibler（KL）ダイバージェンスを表す．
学習されたデコーダの分布 pθ (S̃|z, c, g) は，学習サンプルにを仮定する．ここで混合行列の逆行列 WH (f ) は分離行列とよ含まれるスペクトログラムを生成するユニバーサルな生成モデ

ばれ，(5)，(11) より観測信号 x(f, n) はルとして考えられる．MVAE は CVAE のデコーダを (14) における音源モデルとして利用し，デコーダの入力である潜在表現

x(f, n) ∼ NC (x(f, n)|0, (WH (f ))−1 V(f, n)(W(f ))−1 )z および潜在コード c を推定すべきモデルパラメータとして扱(13)

う．したがって，MVAE の最適化アルゴリズムは IP を用いたにしたがう．よって，分離行列 W = {W(f )}f および V を用

分離行列の推定，MM アルゴリズムに基づくグローバルスケー

いて対数尤度は次式で与えられる．

ルの推定，およびバックプロパゲーションを用いたデコーダ入力の推定によって構成される．MVAE では，ニューラルネッ

log p(X |W, V)
c

= 2N

∑

f

−

トワークである VAE の強力な表現能力を音源のパワースペク

log |detW (f )|
H

∑
f,n,j

[
log vj (f, n) +トログラムモデリングへ利用することが可能である．

|wjH (f )x(f, n)|vj (f, n)]2

4. 提案法：一般化 MVAE

(14)

Fig. 1 に一般化 MVAE の概要を (9) で与えられる音源モデ
ILRMA において，音源の分散 vj (f, n) は MNMF と同様に (9)ルをもつ MNMF とともに示す．提案法は分離系において提案または (10) としてモデル化される．

されている MVAE を一般化し，劣決定音源分離へと適用する．

MNMF と同様に H1 , U1 または B, H2 , U2 について，MM ア

従来の MVAE と同様に，一般化 MVAE においても，学習されルゴリズムに基づく更新則が得られる．また，ILRMA は IVA

た CVAE のデコーダをパワースペクトログラムの生成モデルの自然な拡張であることから，IVA において提案された反復射として利用する．

- 325 -

—3—

Algorithm 1 MVAE algorithm
Train ϕ and θ with (18)
Initialize R, Ψ, and G
repeatfor each j do
Update Rj = {Rj (f )}f using (25)
Update ψj = {zj , cj } with (21) using Backpropagation
Update gj using (29)
end foruntil converge

であり Λj (f ), Ωj (f ) はそれぞれ以下である．

Λj (f ) =Fig. 1 Illustration of Generalized MVAE

Ωj (f ) =

∑
∑

n

n

vj (f, n)X̂
vj (f, n)X̂−1
−1(f, n),(26)−1(f, n)X(f, n)X̂(f, n)(27)

デコーダの分布が LGM と同形で与えられることから，(7) でまた，majorizer は各音源に対する目的関数へ分離可能である

表される対数尤度に対して，デコーダの分散 gj · pθ (S̃j |zj , cj )ことから，Ψ についてバックプロパゲーションによる更新が並を用いることが可能である．したがって，MM アルゴリズムに列可能となる．ここで，cj を更新においては one-hot 表現の総基づく MNMF の最適化アルゴリズム導出と同様の方法で，R，和が 1 となることを保証する必要があるが，cj の出力層にソフ

G = {gj }j ，および Ψ = {zj , cj }j に対する反復アルゴリズムがトマックス関数

導出可能である．X(f, n)，X̂(f, n) をそれぞれ

cj = softmax(dj )X(f, n) = x(f, n)xH (f, n)(19)を挿入し dj を代わりに推定するネットワークパラメータとしX̂(f, n) = Aj (f )V(f, n)Aj (f )(20)て扱うことで保証される．G の更新は以下のように得られる．

とする．負の対数尤度に対して，以下の不等式が成立する [16]．

≤

[

∑ ∑
j

f,n

gj ← gjv
u∑−1−1
u f,n σθ2 (f, n; zj , cj )tr(X̂ (f, n)X(f, n)X̂ (f, n)Rj (f ))
t
×
∑
−1
2

L = − log p(X |A, V)c(28)

tr(X(f, n)Pj (f, n)Rj−1 (f, n)Pj (f, n))vj (f, n)f,nσθ (f, n; zj , cj )tr(X̂

(29)

]

−1

+ vj (f, n)tr(K(f, n)Rj (f, n))(21)

したがって，提案法のアルゴリズムは Algorithm 1 となる．

5. 実験的評価

ここで，P = {Pj (f, n)}j,f,n ，K = {K(f, n)}f,n は補助変数であり，等号成立は以下の場合である．

Pj (f, n) = vj (f, n)Rj (f, n)(∑

5. 1 実 験 条 件)−1
j(f, n)Rj (f ))提案法の有効性を調査するために 2 チャンネルのマイクロ

vj (f, n)Rj (f, n)

フォンアレイを用いた３話者分離による実験的評価を行った．

K(f, n) = X(f, n)(22)

実験データとして，Voice Conversion Challenge (VCC) 2018(23)

データセットの音声サンプルを用いた [19]．データセット内にこのとき，(21) の右辺を負の対数尤度 L に対する majorizer として利用することができる．したがって，R，G および，Ψ について majorizer を最小化し，(22) および (23) を用いて P ，Kをそれぞれ更新する反復アルゴリズムは，L に対して停留点への収束が保証される．空間共分散 R の更新は MNMF と同様に次式で与えられる [18]．

は男女各 6 話者の英語発話音声が収録されており，実験においては男女各 2 話者（SF1, SF2, SM1, SM2）の発話を利用した．各話者について学習，評価にそれぞれ 81 発話，35 発話を用いた．

Fig. 2 に実験環境を示す．ここで， d，× はそれぞれマイクロフォン，音源の位置を表す．各話者の評価音声を用いて，全 3 話者のパターン（SF1+SF2+SM2，SF1+SM1+SF2，

Rj (f ) ← Λ−1
j (f )#(Rj (f )Ωj (f )Rj (f ))(24)

SF1+SM1+SM2，SF1+SM1+SM2）の混合音声を作成した．
各パターンについて，話者ごとにランダムに評価音声を選択，配ただし，# は半正定値行列に対する幾何平均
1
2

G#H = G (G

−1
2

HG

−1
2

1
2

) G

置することによって計 10 サンプルの混合音声を作成した．全て
1
2

(25)

の混合音声は，残響環境がそれぞれ T60 = 78 ms，T60 = 351 msの条件で作成した．

- 326 -

—4—

75 cm

80 cm

80 cm

60°

30° 35°(a) Encoder
10 cm

Fig. 2 Position of microphones and sources

観測信号についてサンプリング周波数は 16 kHz とし，STFTのフレームサイズ，シフトサイズをそれぞれ 256 ms, 128 msとした．CVAE のエンコーダ，デコーダには Fig. 3 に示されるネットワーク構造をそれぞれ利用した．音源のクラスラベル(b) Decoderについては話者情報を利用し，cj は 4 次元の one-hot 表現とし

Fig. 3 Network configurations of (a) encoder and (b) decoder, where [c, l] denotes the input channel and frame

た．CVAE の学習には Adam [20] を用い，zj ，cj の最適化に

length. Both convolution and deconvolution represents 1-

は SGD を用いた．

dimensional operation. (k, s, p) represents the kernel size,

提案法を含めた以下の手法を比較した．

•

MNMF1: MNMF w/ source model given by (9)•MNMF2: MNMF w/ source model given by (10)•Semi-blind MNMF: MNMF2 w/ speaker templates•

MVAE1: MVAE initialized by MNMF1•

MVAE2: MVAE initialized by MNMF2

the stride size along frame, and the zero padding size at
both ends of frame, respectively.

表現能力の高い音源モデルが分離性能の向上に寄与していることを示している．セミブラインドな条件での MNMF との比較においても，提案法が高い分離性能を有していることが確認で

MNMF，MVAE の反復回数はそれぞれ 300，100 とした．MVAE

きる．各評価指標についてみると，SIR において提案法によるの初期値については，反復回数を 200 とした MNMF を用いた．

顕著な性能向上が確認できる．音源モデルに VAE を利用する

MVAE において，空間共分散 R については，MNMF によっことで，空間共分散がより正確に推定され，目的音源以外の干て得られた値を初期値とした．MNMF によって得られた音源

渉音を高い精度で抑圧しているためであると考えられる．

j の分散 vj (f, n) を CVAE におけるエンコーダへ入力すること

6. お わ り にで，潜在変数 zj の初期値を得た．このとき，音源のクラスラ
ベル cj については，全ての要素の値に要素数の逆数を初期値

本稿では，優決定音源分離において提案されている MVAEとして与えることで，エンコーダにおいてクラスラベルによるの拡張を行い，劣決定音源分離に適用可能な一般化 MVAE を

条件付けの影響を無視するように設定した．また，gj について提案した．提案法は，混合系を仮定した定式化より導かれ，分は，MNMF により得られる分離信号のパワーを初期値とした．

離系を想定する従来の MVAE を特殊なケースとして含む一般

MNMF の基底数は，各音源あたり 10 とした [7]．Semi-blind

的な枠組みである．また，MNMF などと同様に停留点への収MNMF では，全 4 話者のスペクトルテンプレートを用いた．

束性が保証された最適化アルゴリズムを導出した．2 チャンネ

話者ごとのスペクトルテンプレートの学習には，CVAE と同一

ルのマイクロフォンアレイを用いた 3 話者の音源分離を想定しの学習データセットを利用し，Itakura-Saito NMF（IS-NMF）

た実験的評価により，提案法の有効性を調査した．実験的評価[4] を用いた．IS-NMF における反復回数は 1000 とした．

より，VAE を音源モデルとして用いる提案法において高い分離評価指標として，リファレンス信号と分離信号間の信号対性能が確認され，表現力の高い音源モデルが分離性能の向上に歪み比（Signal-to-Distortion Ratio: SDR），信号対線形歪み

寄与していることが示された．また，セミブラインドな条件で比（source Image-to-Spatial distortion ratio: ISR）
，信号対干の MNMF との比較においても提案法の有効性が確認された．

渉比（Signal-to-Inference Ratio: SIR），信号対非線形歪み比

今後の課題として，音楽信号に対する分離性能の調査，独立深（Signal-to-Artifact Ratio: SAR）を用いて [21]，平均値を算出

層学習行列分析（Independent Deeply-Learned Matrix Anal-

した．

ysis: IDLMA） [22] の劣決定音源分離を想定した DNN ベース

5. 2 実 験 結 果の識別的な多チャンネル音源分離手法 [23] との比較が挙げれら

実験結果を Fig. 4 に示す．ベースラインである MNMF1，

れる．

謝

MNMF2 と比較すると，いずれの場合においても提案法による高い分離性能が確認できる．ベースラインと提案法の差異は，音源モデルの違いによるものであることから，VAE に基づく

辞本研究の一部は，JSPS 科研費 17H01763 の助成を受け実施したものである．

- 327 -

—5—

8.0

6.0

8.0

MNMF1
MNMF2
Semi-blind MNMF
MVAE1
MVAE2

6.0

4.0

4.0

2.0

2.0

0.0

SDR

ISR

SIR

0.0

SAR

(a) T60 = 78 ms

MNMF1
MNMF2
Semi-blind MNMF
MVAE1
MVAE2

SDR

ISR

SIR

SAR

(b) T60 = 351 ms

Fig. 4 Averaged separation performances [dB] at (a) T60 = 78 ms and (b) T60 = 351 ms

文献[1] T. Kim, T. Eltoft, and T.-W. Lee, “Independent vector
analysis: An extension of ica to multivariate components,”
International Conference on Independent Component Analysis and Signal Separation, pp.165–172 2006.
[2] A. Hiroe, “Solution of permutation problem in frequency domain ica, using multivariate probability density functions,”
International Conference on Independent Component Analysis and Signal Separation, pp.601–608, 2006.
[3] P. Smaragdis and J.C. Brown, “Non-negative matrix factorization for polyphonic music transcription,” IEEE Workshop on Applications of Signal Processing to Audio andAcoustics, pp.177–180, 2003.
[4] C. Févotte, N. Bertin, and J.-L. Durrieu, “Nonnegative matrix factorization with the itakura-saito divergence: Withapplication to music analysis,” Neural computation, vol.21,
no.3, pp.793–830, 2009.
[5] A. Ozerov and C. Févotte, “Multichannel nonnegative matrix factorization in convolutive mixtures for audio source
separation,” IEEE Transactions on Audio, Speech, and Language Processing, vol.18, no.3, pp.550–563, 2010.
[6] H. Kameoka, T. Yoshioka, M. Hamamura, J. Le Roux,and K. Kashino, “Statistical model of speech signals basedon composite autoregressive system with application toblind source separation,” International Conference on Latent Variable Analysis and Signal Separation, pp.245–253,
2010.
[7] H. Sawada, H. Kameoka, S. Araki, and N. Ueda, “Multichannel extensions of non-negative matrix factorization
with complex-valued data,” IEEE Transactions on Audio,
Speech, and Language Processing, vol.21, no.5, pp.971–982,
2013.
[8] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and H.
Saruwatari, “Determined blind source separation unifying
independent vector analysis and nonnegative matrix factorization,” IEEE/ACM Transactions on Audio, Speech andLanguage Processing, vol.24, no.9, pp.1622–1637, 2016.
[9] K. Kitamura, Y. Bando, K. Itoyama, and K. Yoshii, “Student’s t multichannel nonnegative matrix factorization forblind source separation,” IEEE International Workshop on
Acoustic Signal Enhancement, pp.1–5, 2016.
[10] S. Mogami, D. Kitamura, Y. Mitsui, N. Takamune, H.
Saruwatari, and N. Ono, “Independent low-rank matrix
analysis based on complex student’s t-distribution for blindaudio source separation,” IEEE International Workshop on
Machine Learning for Signal Processing, pp.1–6, 2017.
[11] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and H.
Saruwatari, “Determined blind source separation with independent low-rank matrix analysis,” Audio Source Sepa-

ration, pp.125–155, Springer, 2018.
[12] H. Kameoka, L. Li, S. Inoue, and S. Makino, “Semi-blindsource separation with multichannel variational autoencoder,” arXiv preprint arXiv:1808.00892, 2018.
[13] D.P. Kingma and M. Welling, “Auto-encoding variational
bayes,” arXiv preprint arXiv:1312.6114, 2013.
[14] D.P. Kingma, S. Mohamed, D.J. Rezende, and M.
Welling, “Semi-supervised learning with deep generativemodels,” Advances in Neural Information Processing Systems, pp.3581–3589, 2014.
[15] E. Vincent, M.G. Jafari, S.A. Abdallah, M.D. Plumbley,and M.E. Davies, “Probabilistic modeling paradigms for audio source separation,” Machine Audition: Principles, Algorithms and Systems, pp.162–185, IGI global, 2011.
[16] H. Kameoka, H. Sawada, and T. Higuchi, “General formulation of multichannel extensions of nmf variants,” Audio
Source Separation, pp.95–124, Springer, 2018.
[17] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function technique,” IEEE
Workshop on Applications of Signal Processing to Audioand Acoustics, pp.189–192 2011.
[18] K. Yoshii, “Correlated tensor factorization for audio source
separation,” IEEE International Conference on Acoustics,
Speech and Signal Processing, pp.731–735, 2018.
[19] J. Lorenzo-Trueba, J. Yamagishi, T. Toda, D. Saito, F.
Villavicencio, T. Kinnunen, and Z. Ling, “The voice conversion challenge 2018: Promoting development of paralleland nonparallel methods,” arXiv preprint arXiv:1804.04262,
2018.
[20] D.P. Kingma and J.L. Ba, “Adam: Amethod for stochastic
optimization,” International Conference on Learning Representations, 2015.
[21] E. Vincent, R. Gribonval, and C. Févotte, “Performancemeasurement in blind audio source separation,” IEEE
Transactions on Audio, Speech, and Language Processing,vol.14, no.4, pp.1462–1469, 2006.
[22] S. Mogami, H. Sumino, D. Kitamura, N. Takamune, S.
Takamichi, H. Saruwatari, and N. Ono, “Independent
deeply learned matrix analysis for multichannel audio source
separation,” IEEE European Signal Processing Conference,
pp.1557–1561 2018.
[23] A.A. Nugraha, A. Liutkus, and E. Vincent, “Multichannel audio source separation with deep neural networks.,”
IEEE/ACM Transactions on Audio, Speech and Language
Processing, vol.24, no.9, pp.1652–1664, 2016.

- 328 -

—6—