一般社団法人 電子情報通信学会
THE INSTITUTE
OF ELECTRONICS,
社団法人 電子情報通信学会
INFORMATIONAND COMMUNICATIONENGINEERS
THE INSTITUTE
OF ELECTRONICS,

信学技報
IEICE Technical
信学技報Report
EA2017-104,SIP2017-113,SP2017-87(2018-03)
TECHNICAL REPORT OF IEICE.

INFORMATION AND COMMUNICATION ENGINEERS

独立深層学習行列分析に基づく多チャネル音源分離の実験的評価
北村

大地†

角野

隼斗†

高宗

典玄†

小野

順貴††

高道慎之介†

猿渡洋†† 東京大学 〒 113–8656 東京都文京区本郷 7–3–1†† 首都大学東京 〒 191–0065 東京都日野市旭が丘 6–6
あらまし

本稿では，新しい教師あり多チャネル音源分離手法である独立深層学習行列分析（IDLMA）を提案する．

IDLMA は，従来のブラインド音源分離の独立低ランク行列分析と，近年発展している教師あり学習のディープニュー
ラルネットワーク（DNN）を融合したアルゴリズムであり，独立成分分析を起源とする統計的独立性に基づく信号分
離理論の正当な教師あり拡張手法である．本手法では，DNN を用いて音源の時間周波数構造をモデル化しつつ，観測信号の空間的な混合モデルをブラインドに推定することができる．音楽信号を用いた評価実験では，IDLMA が従来の DNN に基づく多チャネル音源分離手法よりも高速かつ高精度な音源分離を実現できることを示す．
キーワード 多チャネル音源分離，独立成分分析，ディープニューラルネットワーク

Experimental Evaluation of Multichannel Audio Source Separation
Based on IDLMA
Daichi KITAMURA† , Hayato SUMINO† , Norihiro TAKAMUNE† , Shinnosuke TAKAMICHI† ,Hiroshi SARUWATARI† , and Nobutaka ONO††† The University of Tokyo 7–3–1 Hongo, Bunkyo-ku, Tokyo 113–8656, Japan†† Tokyo Metropolitan University 6–6 Asahigaoka, Hino-shi, Tokyo 191–0065, Japan
Abstract In this paper, we propose a new informed multichannel audio source separation called independent
deeply learned matrix analysis (IDLMA). IDLMA is a uniﬁed algorithm of conventional blind source separation,
independent low-rank matrix analysis, and a supervised learning method based on deep neural networks (DNN) andcan be interpreted as a natural informed extension of the independence-based source separation theory. Althougha source model is estimated by pre-trained sourcewise DNN, a spatial model can blindly be estimated by statisticalindependence between sources. The experiment using music signals shows the eﬃcacy of IDLMA compared withthe conventional DNN-based techniques.
Key words multichannel audio source separation, independent component analysis, deep neural networks
ILRMA）[9]– [12] は，従来手法よりも高精度な音源分離を実現

1. は じ め にしている．ILRMA は，音源間の統計的独立性と各音源の時間

ブラインド音源分離（blind source separation: BSS）とは，周波数構造の低ランク性を仮定した BSS であり，時間周波数

音源位置や混合系が未知の条件で，観測された信号のみから混合
前の音源信号を推定する技術である．優決定条件（音源数 <=観

領域 ICA [13]– [16] におけるパーミュテーション問題 [17]（音の低ランクな共変構造を NMF でモデル化することで，周波数測チャネル数）における BSS では，独立成分分析（independent

源毎の分離フィルタの順序が周波数間で整合できない問題）を

component analysis: ICA）[1] に基づく手法及びその拡張手回避しつつ，周波数毎の分離行列を推定する．

法が主流である．特に，独立ベクトル分析（independent vec-

劣決定条件（音源数 > 観測チャネル数）における多チャネル

tor analysis: IVA）[2]– [6] と非負値行列因子分解（nonnegative

BSS では，多チャネル観測信号の時間周波数成分を多変量複matrix factorization: NMF）[7], [8] を融合した手法である独素ガウス分布の分散及び相関行列でモデル化する手法 [18]（以立低ランク行列分析（independent low-rank matrix analysis:

後，Duong 法と呼ぶ）が有名である．Duong 法では，各音源- 13 -

This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.

Copyright ©2018 by

—1—

IEICE

のパワースペクトログラムに対応する時変な分散（音源モデル）置き換えた手法であり，教師あり音源モデルに基づいて分離系と，空間的な伝達系に対応する時不変な相関行列（空間相関行を高速かつブラインドに推定する．従って，ILRMA と MNMF

列，空間モデル）を周波数毎に推定するが，周波数領域 ICA との関係と同様に，提案手法は混合系を推定する Duong+DNN

同じく推定後にパーミュテーション問題を解決しなければなら法の双対な手法である．また，提案手法の空間モデルの最適化ない．その後，Duong 法は音源モデルの推定に NMF を導入

アルゴリズムには音源の更新順に関する任意性があり，この順

した多チャネル NMF（multichannel NMF: MNMF）[19], [20]

番に応じて分離性能が大きく変化してしまう現象を実験的に確へと発展し，音源の時間周波数構造の低ランク性に基づいて認する．この問題の解決手法として，より高精度な音源分離がパーミュテーション問題を回避する推定法が登場した．この達成される更新順を自動的に選択する手法を新たに提案する．

MNMF と ILRMA は空間相関行列のランクに関する制約を除

音楽信号を用いた音源分離実験では，提案手法が従来手法よりいて本質的に等価なアルゴリズムである [9]．但し，Duong 法

も分離性能及び計算時間に関して優れていることを示す．

や MNMF は混合系を空間モデルとして推定するのに対して

2. 従 来 手 法

ILRMA は分離系を推定するアルゴリズムであり，最適化の観点では MNMF よりも ILRMA の方が高速であり，パラメタの

2. 1 定 式 化

初期値に対しても頑健であることが実験的に示されている [9]．

音源数と観測チャネル数をそれぞれ N 及び M とし，時間領

MNMF や ILRMA のように NMF を音源モデルとして用いる域の音源信号 sn (τ )，観測信号 xm (τ )，及び分離信号 yn (τ ) をだけでなく，より一般に，任意の単一チャネル音源分離手法をそれぞれ短時間 Fourier 変換（short-time Fourier transform:

用いて，分離結果のいわば「お手本」となるようなスペクトロ

STFT）して得られる複素時間周波数成分を次式で表す．
sij = (sij,1 , · · · , sij,N )T ∈ CN ×1

グラムを求めておき，それを音源モデルとして用いて分離行列を高精度に推定する研究も行われており [21]，こうした研究かれる．
一方，近年はディープニューラルネットワーク（deep neuralnetworks: DNN）に基づく音源分離手法も広く研究されるようになり，単一チャネル信号を対象とした手法 [22]– [24] や多チャネル信号を対象とした手法 [25], [26] が数多く提案されている．
音声や楽器音のように分離対象となる音源の学習データが大量

M ×1

(2)

T

N ×1

(3)

xij = (xij,1 , · · · , xij,M ) ∈ C

らも多チャネル音源分離における音源モデルの重要性が示唆さ(1)T

yij = (yij,1 , · · · , yij,N ) ∈ C

ここで，τ ，i = 1, · · · , I ，j = 1, · · · , J ，n = 1, · · · , N ，m =1, · · · , M はそれぞれ離散時間，周波数ビン，時間フレーム，音源，及びチャネルのインデクスを表し，T は転置を表す．さらに，各信号の複素スペクトログラム行列を Sn ∈ CI×J ，Xm ∈ CI×J ，
及び Yn ∈ CI×J で表す．これらの行列の要素はそれぞれ sij,n ，に用意可能な状況では，DNN に基づく音源情報（対象音源の音

xij,m ，及び yij,n に一致する．混合系が線形時不変であり，時

色やその時間変化等）のモデル化は有効であり，数多くの文献

間周波数領域での複素瞬時混合で表現できると仮定すると，周で高精度な音源分離を実現している．しかし，多チャネル信号
で観測できる空間情報（音源位置，マイクロホン位置，部屋の形状，残響時間等の膨大な物理要因に依存する情報）を DNN

波数毎の時不変な複素混合行列 Ai = (ai,1 · · · ai,N ) ∈ CM ×N（ai,n = (ai,n1 , · · · , ai,nM )T は各音源のステアリングベクトル）が定義でき，観測信号を次式で表現できる．

で学習し，汎化性の高いモデルを構築することは通常不可能で

xij = Ai sijある．このような状況に対して，Duong 法と DNN を組み合わ

この混合モデルは，Duong 法における各音源の空間相関行列

せた手法（以後，Duong+DNN 法と呼ぶ）が提案された [27]．
本手法では，音源情報のモデル化には事前学習した DNN を用(4)のランクが 1 という制約（ランク 1 空間モデル [18]）に対応
し，時不変混合系の残響時間が STFT の窓長よりも十分短い

い，混合系に対応する空間情報は Duong 法の空間相関行列とし場合に成立する．この時，M = N かつ Ai が正則であれば，分てモデル化及びブラインドに推定することで，高精度な教師あ離フィルタ wi,n = (wi,n1 , · · · , wi,nM )T で構成される分離行列

り多チャネル音源分離を達成している．依然として空間情報を
ブラインドに推定するという観点では非常に合理的なアプロー

Wi = (wi,1 · · · wi,N )H ∈ CN ×M が存在し，分離信号を次式で表現できる．

チであるが，フルランクの空間相関行列の推定アルゴリズムは
従来の Duong 法と同様であるため，比較的大きい計算コスト
や初期値に対する分離性能の不安定性が問題となる．
本稿では，優決定条件かつ分離対象音源の学習データが得られるという条件下で，混合系ではなく分離系を高速に推定する

yij = Wi xij

ここで，H はエルミート転置を示す．優決定条件では，式 (5)中の分離行列 Wi を全周波数において推定することが最終的な目標となる．本稿では，以後，決定的な系 (M = N ) を考える．

2. 2 独立低ランク行列分析（ILRMA）

アルゴリズムを提案し，最適化における改良アルゴリズムの有効性を実験的に評価する．本手法で用いる学習データとは「女性音声」や「ギター」等，特定の音源クラスに属するデータのことであり，観測信号に混合されている音源と全く同じ音源のサンプルでなくても良い．提案手法は，ILRMA における NMF(5)

ILRMA [9]– [12] は優決定条件 BSS であり，空間モデル（分離行列 Wi ）と音源モデル（NMF に基づく各音源の低ランク時
間周波数構造）を同時に推定する最適化問題である．音源スペ
クトログラム Yn の生成モデルとして，次式の分布を仮定する．

低ランク音源モデルを，対象音源を強調する DNN 音源モデルに- 14 -—2—

p(Yn ) =

∏
i,j

=

∏
i,j

rij,n =

ような統計的，あるいは構造的性質の仮定（音源モデル）がそp(yij,n )∑(|yij,n |1
exp −πrij,nrij,n2)の音源に対して適切であれば，パーミュテーション問題を起こすことなく空間モデルが最適化でき，高精度な音源分離が達成(6)

される．しかし，音声信号やボーカル信号等に対する低ランク
構造仮定等，不適切な音源モデルを用いた場合には，パーミュ(7)tik,n vkj,nテーション問題が解決されず分離性能は劣化する．音源の性質k

ここで，p(yij,n ) は分散 rij,n の原点対称な複素ガウス分布であり i，j ，及び n に関して独立である．分散 rij,n が時間と周波数に依存して変動するため，行列の生成モデル p(Yn ) は非ガウスな分布である．また，tik,n >= 0 及び vkj,n >= 0 はそれぞれ NMF の基底及びアクティベーションであり，k = 1, · · · , Kを陽に仮定せずとも適切な音源モデル Rn を推定できれば理想的であるが，BSS の枠組みでは非常に困難な問題である．
分離対象音源の十分な学習データが用意できる場合は，その音源に対して適切な音源モデルを構築することは比較的容易である．特に，教師あり学習において大きな成果を上げている（K ≪ min(I, J)）は基底のインデクスを示す．すなわち，rij,n ，DNN に基づく手法は，音源分離問題に対してもその有効性が多とすると，式 (7) はパワースペク

伝達系は，音源位置やマイクロホン位置，部屋の形状，残響時間

トログラム |Yn |.2 を低ランク音源モデル（モデルパワースペク

等膨大な物理要因に依存することから，それらを網羅する学習

tik,n ，及び vkj,n を要素に持つ非負行列をそれぞれ Rn ∈ R>= 0 ，
I×J

Tn ∈ R>= 0

I×K，及び Vn ∈ R>= 0

K×J

トログラム）Rn = Tn Vn で近似していることに対応する．ここで，ベクトルや行列に対する絶対値記号とドット付きの指数は
要素毎の絶対値と指数乗をとった行列を表す．
式 (6) に基づく観測信号の負対数尤度は次式で与えられる．
c

L = −2J∑ilog | det Wi | +

∑(

i,j,n

|yij,n |2+ log rij,n
rij,n

)

くの文献で示されている（例えば [22]– [27] 等）．一方，空間的なデータを用意することは非現実的である．従って，音源モデルには学習済の DNN を用い，空間モデルは従来通りブラインドに推定する手法が合理的である．DNN 音源モデルと Duong 法による空間相関行列の推定を組み合わせた Duong+DNN 法 [27]は，そのような手法の先駆けであるが，Duong 法に基づく空間
相関行列の推定の計算コスト及び不安定性が解決すべき問題である．また Duong+DNN 法は，空間相関行列の更新回数に応

(8)

c

H
ここで，= は定数項を除いて等しいことを示し，yij,n = wi,nxijである．式 (8) を最小化することで，Wi ，Tn ，及び Vn を全て推定できる．式 (8) の第一項及び第二項は，時変ガウス分布を仮定した IVA [6] のコスト関数に一致し，第二項及び第三項は板倉
斎藤擬距離に基づく NMF（Itakura–Saito NMF: ISNMF）[28]のコスト関数に一致する．従って，Wi の更新には反復射影法（iterative projection: IP）[5], [6]，Tn 及び Vn の更新にはISNMF の乗算更新則 [28], [29] を交互に適用することで，全変数を容易に最適化できる．

Figure 1 (a) に ILRMA による音源分離の原理図を示す．混じて異なる DNN 音源モデル（パラメタ初期化用 DNN，空間モデル更新後用 DNN 等）を導入している．これらの DNN 音
源モデルの学習には，Duong 法による音源分離途中の信号を学習データとして集める必要があるため，多大なコストが要求される．
本研究では，優決定条件を対象とした効率的な教師あり音源分離の確立を目標とし，音源間の統計的独立性に基づくブラ
インドな空間モデル推定と DNN に基づく教師有り音源モデル
を組み合わせた手法を提案する．提案手法は，空間モデル推定の過程で，DNN 音源モデルにより推定される時間周波数の分
散行列 Rn を活用することから，以後，独立深層学習行列分析

合前の音源のパワースペクトログラム（分散行列）|Sn |.2 は，（independent deeply learned matrix analysis: IDLMA）と呼とから，分離信号の分散行列を NMF で低ランクにモデル化

なり，空間モデルの反復回数によらず共通の DNN 音源モデル

混合信号の分散行列 |Xm |.2 よりも基本的に低ランクであるこ（|Yn |.2 ≈ Rn = Tn Vn ）して分離行列 Wi の最適化に反映させることで，パーミュテーション問題を解決している．

を用いる．また，複数の音源の分散（R1 , · · · , RN ）を出力す
る一つの DNN ではなく，混合信号から一つの音源の分散 Rnを出力する DNN を N 個利用することで，DNN 音源モデルの

3. 提 案 手 法
3. 1 動ぶ．IDLMA で用いる音源モデルは，Duong+DNN 法とは異再利用性（ポータビリティ）を確保する．
機

3. 2 独立深層学習行列分析（IDLMA）

優決定条件 BSS では，音源間の独立性仮定の下で推定される

3. 2. 1 処理の概要

空間モデル（分離行列）がパーミュテーション問題 [17] を起こさないために，何らかの仮定を導入した音源モデルが不可欠である．例えば，IVA は同一音源の周波数成分の共変性（時間周波数領域のグループスパース構造）を仮定し，ILRMA は同一
音源の時間周波数成分の低ランク共変構造を仮定及び推定している．他にも，グループスパース構造とスパース構造の組み合
わせや，低ランク構造とスパース構造の組み合わせ等の音源モデルがパーミュテーション問題の回避に有効である [30]．このFigure 1 (b) に IDLMA による音源分離の原理図を示す．
IDLMA は ILRMA と同様に，式 (6) の生成モデルに基づいて音源モデル Rn 及び空間モデル Wi を推定する．このとき，混合信号から n 番目の音源の分散行列 Rn （モデルパワースペク
トログラム）を推定する DNN を事前に学習しておく．これをDNNn とする．例えば，ボーカル信号とその他の雑多な音源が混合した信号を入力とし，ボーカル信号のみの分散行列を出力するように DNN を学習することで，ボーカル信号を強調する- 15 -—3—

Update demixing matrix so that estimated signals aremutually independent and have low-rank structure intime-frequency domain(b)Frequency-wisedemixing matrix

Time
Time

Time
Time

Variance estimation by DNN source model

Estimated signal

Observed signal

Frequency
Frequency

STFT

STFT

Update demixing matrix so that estimated signals aremutually independent and have time-frequency
variances estimated by DNN source model

Frequency
Frequency

Frequency-wisedemixing matrix

Frequency
Frequency

Low-rank approximation by NMF

Estimated signal

Observed signal

Frequency
Frequency

(a)

Input

Output

Time
Time

Time
Time

Fig. 1 Principle of source separation based on (a) ILRMA and (b) IDLMA.

Updatedemixing
matrixbased onIP

Ui,n =1∑ 1
xij xH
ij
J
rij,n

(9)

j

PB

wi,n ← (Wi Ui,n )−1 en

Fig. 2 Process flow of IDLMA in two sources case, where firstchannel is used as reference for PB.

(

HUi,n wi,n
wi,n ← wi,n wi,n

(10)

)− 12

(11)

×1
ここで，en ∈ RN
は n 番目の要素が 1，他の要素が 0 の{0, 1}

ベクトルである．分離フィルタ wi,n 更新後は，分離信号を

DNN 音源モデルが得られる．このような特定の音源を強調す
る DNN を全音源（DNN1 , · · · , DNNN ）に対して学習すること

で，低ランク性やスパース性等の陽なモデルではなく学習デー

Hyij,n ← wi,nxij として更新する．このように推定される分離信号 Yn は，周波数毎のスケールが揃っていないため，リファレ

ンスチャネルのスケールに合わせる PB を適用する．

[

列 Rn 及び分離行列 Wi の推定に活用できる．

IDLMA の処理の流れを Fig. 2 に示す．分離行列 Wi は観測]

ŷij,n = Wi−1 (en ◦ yij ) m

タから得た適切な音源モデルを構築でき，より高精度な分散行

(12)

ref

ここで，ŷij,n は Ŷn の要素，◦ は要素毎の積，[·]m は m 番目の要素値，mref はリファレンスチャネルのインデクスをそれぞれ

信号 Xm と推定分散行列 Rn を用いて IP によって更新され，表す．以上により得られる分離信号 Ŷn を，音源モデル DNNn

暫定的な分離信号 Yn が得られる．空間モデルの推定には周に入力する．

波数毎のスケールの任意性があるため，Yn に対してリファレ

3. 2. 3 DNN 音源モデルを用いた分散の推定

ンスチャネルを用いたプロジェクションバック法（projection-

各音源の DNN は，分離対象となる音源信号の学習データ

back technique: PB）[31] を適用し，スケール補正後の分離信| n）をS̃n ∈ CI×J とその他の音源信号の学習データ S̃n′（n′ =号 Ŷn ∈ C

I×Jを得る．反復最適化の初期は分離が不十分である

ため，Ŷn は他の音源成分が多く残留している．これを混合信号とみなし，音源モデル DNNn に入力することで，より分離が進んだ推定分散行列 Rn が得られ，これを再び分離行列 Wi の更新に用いる．このプロセスを繰り返すことで，より高精度なWi が推定される．なお，分散行列 Rn の初期値には，観測信任意の比率で混合した信号 X̃ ∈ CI×J の振幅値 |X̃|.1 を入力とし，混合前の音源信号の振幅値 |S̃n |.1 を予測するように学習する．|X̃|.1 を入力した DNNn の出力信号（|S̃n |.1 の推定値）を

Dn = DNNn (|X̃|.1 ) ∈ RI×Jと表すと，DNNn を学習するため>=0の損失関数には，板倉斎藤擬距離の分子と分母に微小値 δ1 を加えた次式を用いる [27]．

号のリファレンスチャネルを DNNn に入力したときの出力を

1 ∑
L=
IJ

そのまま用いることができる．なお，IDLMA の最終的な出力
は Ŷn であり，これは時不変線形空間フィルタ wi,n の出力であることから，IDLMA は ILRMA と同様に歪みの少ない分離信号が得られる．このような出力は，例えば音声認識システムにとって望ましいという利点がある [32]．

)|s̃ij,n |2 + δ1|s̃ij,n |2 + δ1
− log 2
−1
2
dij,n + δ1
dij,n + δ1

(13)

ここで，s̃ij,n 及び dij,n はそれぞれ S̃n 及び Dn の要素である．式 (13) を最小化する DNN を学習することは，生成モデル(6) に基づく分散 rij,n の最尤推定と等価 [28] であることから，
DNNn は混合信号から分離対象音源の分散行列を推定するネッ

3. 2. 2 IP に基づく分離行列の更新と PB
まず，音源モデル（分散 rij,n ）が与えられたと仮定する．この下で，各音源が独立になるように分離行列 Wi を更新する．
分離フィルタ wi,n は IP [5], [6] を用いて次式で更新できる．

i,j(

トワークと解釈できる．
学習済みの DNN 音源モデルを用いた分散 rij,n の更新は次式となる．
1|R̂n |. 2 = DNNn (|Ŷn |.1 )- 16 -(14)—4—

rij,n ← max(r̂ij,n , ε)(a) Ba. or Dr.

(15)

ここで，r̂ij,n は DNNn の推定分散行列 R̂n ∈ R>= 0

I×J

Vo.

(b) Ba. or Dr.

Vo.

2m

の要素，ε

は IP の安定性を向上させるための微小値である．本稿で用い

40

る DNN 音源モデルの入出力特徴量とアーキテクチャの詳細に

402m
E2A impulse
response
T60 = 300 ms

40

5.66 cm

ついては 4. 2 節で示す．

20

E2A impulse
response
T60 = 300 ms

2.83 cm

Fig. 3 Impulse responses: (a) IR1 and (b) IR2.

4. 評 価 実 験Mixture vector

4. 1 実 験 条 件
IDLMA の性能評価のため，ILRMA，学習済みの DNNn のFrequency

Source 1

Time

全音源（n = 1, · · · , N ）分の出力を用いて Wiener フィルタを構成し観測信号に適用する手法（DNN+WF）[24]，Duong+DNN

2 音源の分離性能を比較した．実験には，SiSEC2016 [33] のMixing withrandomamplitude

Source 2

Minimize
Eq. (13)

Minimize

Frequency

法，及び IDLMA の 4 手法について，音楽信号を対象としたReference
vectorEstimated
vectorEq. (13)

音楽信号データセット DSD100 中のボーカル（Vo.），ベース

Time

（Ba.）
，ドラム（Dr.）の 3 音源を用いた．DSD100 の dev デー

Fig. 4 Learning process of DNN source model and its input and

タ 50 曲を DNN 音源モデルの学習データとし，test データ 50

output vectors, where I = 4, J = 8, N = 2, and c = 1.

曲の内アルファベット順の上位 25 曲のそれぞれについて，30秒から 60 秒の区間を音源分離の対象（評価データ）とした．
但し，当該区間がすべて無音となる楽曲については，60 秒から 90 秒の区間とした．多チャネル観測信号は，RWCP データ
ベース [34] に収録されている E2A インパルス応答と音源信号を畳み込み混合して生成した．実験に用いた 2 種のインパルス応答（以後，IR1 及び IR2 と呼ぶ）を Fig. 3 に示す．音源の混合は Ba./Vo. と Dr./Vo. の 2 種とし，サンプリング周波数は 8 kHz に落として実験した．ILRMA の基底数は K = 20とし，ILRMA，Duong+DNN 法，及び IDLMA の最適化は空間モデルの反復更新を 100 回行った時点で終了とした．また，Duong+DNN 法及び IDLMA は，空間モデルの最適化を 10 回反復する毎に DNN 音源モデルを 1 回適用した．音源分離性能の客観評価尺度には signal-to-distortion ratio (SDR) [35] を用いた．

は音源信号 S̃n の時間フレーム j における周波数ベクトルであり，⃗sj,n は時間フレーム j を中心として 1 フレームおきに前後のフレームを c 個ずつ集めて結合したベクトルである．さらに，∥ · ∥2 は L2 ノルム，δ2 は零除算を防ぐための微小値である．

なお，IDLMA の反復更新において式 (14) を適用する場合も，Ŷn に対して式 (18) と同様の操作で前後の時間フレームを結合
ŷj,n ∈ CI(2c+1)×1 を作成し，|⃗ŷj,n |.1 を DNNn にしたベクトル ⃗

入力する．

DNN の最適化には ADADELTA [37] を用い，ミニバッチサ
イズを 128，エポック数を 1000 として誤差逆伝播学習を行った．
また，過学習を避けるための正則化項として (λ/2)の他のパラメタは，δ1 = δ2 = 10−5 ，ε = 10−1×(IJ)−1

量には，Fig. 4 に示す次のベクトルを用いた．

⃗j =xs̄j,n =∥∥∑

αj,n ⃗sj,n∈ CI(2c+1)×1⃗
α∥2 + δ2
s
j,n
j,n
n

∑

n

∑ αj,n s̃j,nn

αj,n ⃗
sj,n ∥2 + δ2T⃗sj,n = [s̃T
j−2c,n , s̃j−2c+2,n ,∈ CI×1∑i,jr̂ij,n ，

4. 3 実 験 結 果
4. 3. 1 STFT の窓長と各手法の性能の関係

は 4 層，各隠れ層のユニット数は STFT の窓長によらず 1024

linear unit [36] を用いた．また，DNN の学習時の入出力特徴

gq2 を損失

c = 3，及び λ = 10−5 とし，ADADELTA のハイパーパラメタ

DNN は全結合型ニューラルネットワークを用いた．隠れ層とし，各隠れ層及び出力層に対し，活性化関数として rectifiedq

関数 (13) に加えた．ここで，gq は DNN の重み係数を表す．そは ρ = 0.95 及び ϵ = 10−6 とした．

4. 2 DNN の構造と学習方法∑

ILRMA と IDLMA は，いずれも式 (4) のランク 1 空間モデルに基づく分離であり，この仮定は STFT の窓長が長いほど（あるいは収録環境の残響長が短いほど）妥当なものとなる [11]．
一方で，フルランクの空間相関行列を仮定する Duong+DNN(16)

法は，式 (4) で表現できない混合系も取り扱えることから，その推定の困難さはさておき，原理的にはランク 1 空間モデルよ(17)

りも高精度に分離できる．従って両者の違いは，窓長に対する空間モデル由来の制約の有無である．

T
I(2c+1)×1· · · , s̃T
j+2c,n ] ∈ C

本項では，窓長に対する各手法の性能を実験的に確認するた(18)⃗ j 及び s̄j,n はそれぞれ時間フレーム j において同じ
ここで，x値で正規化された混合信号ベクトル及び分離対象音源ベクトル
であり，DNNn の入力ベクトル及び出力ベクトルはそれぞれ|⃗
xj |.1 及び |s̄j,n |.1 である．また，αj,n は [0.05, 1] の一様乱数に従う確率変数であり，DNN による音源分離が様々な混合比に対する汎化性を獲得することを期待している [24]．s̃j,n ∈ CI

めに，128 ms，256 ms，512 ms，及び 1024 ms の 4 種の窓長を用いて分離を行った．但し，シフト長は常に窓長の半分とした．

DNN+WF 法，Duong+DNN 法，及び IDLMA に関しては，各窓長に対して DNN 音源モデルの学習を行い，共通の音源モデルで分離性能を評価した．さらに，ランク 1 空間モデル (4)を仮定した場合の理想的な分離フィルタ（ideal filter）の性能- 17 -—5—

Table 1 Average SDR improvements (dB) for Ba./Vo. separation

Table 2 Average SDR improvements (dB) for Dr./Vo. separation

with various window lengths
Impulseresponse

IR1

IR2

Methodwith various window lengths

Window length in STFT

Impulseresponse

128 ms 256 ms 512 ms 1024 ms

MethodWindow length in STFT
128 ms 256 ms 512 ms 1024 ms

Ideal filter

18.08

19.78

21.18

22.64

Ideal filter

16.35

17.37

18.21

ILRMA

3.40

4.65

6.53

4.91

ILRMA

6.88

8.13

7.46

6.20

DNN+WF

7.07

7.34

7.76

6.66

DNN+WF

2.67

3.35

3.31

2.00

Duong+DNN

9.25

10.60

11.14

8.82

Duong+DNN

3.75

9.58

9.05

6.17

IDLMA

10.88

12.90

13.48

11.55

IDLMA

6.82

10.91

8.66

6.52

Ideal filter

14.32

15.63

16.60

17.43

Ideal filter

12.21

12.96

13.43

13.96

ILRMA

2.36

3.60

5.82

2.86

ILRMA

4.01

4.65

4.90

3.44

DNN+WF

6.84

7.35

7.66

6.85

DNN+WF

3.20

4.21

3.88

2.57

IR1

IR2

19.25

Duong+DNN

8.35

9.89

10.67

8.15

Duong+DNN

4.02

9.62

9.04

5.94

IDLMA

11.08

11.60

12.51

9.62

IDLMA

6.93

9.24

6.93

5.53

14

と分離信号 Yn 間の歪み最小基準より次式で与えられる．

12(

Wi = Si XiH Xi XiH
ここで，Si ∈ C

N ×J及び Xi ∈ C

M ×J

)−1

(19)

SDR improvement [dB]も同時に示した．この理想的な分離フィルタは，音源信号 Sn

(a)

10

はそれぞれ sij,n 及びxij,m を要素にもつ行列である．Duong+DNN 法は，原理的にはこの理想的な分離フィルタの性能を上回ることができる点に
注意する．

8
6
4

Tables 1 及び 2 は，各窓長での音源分離結果をテストデータ

2

25 曲に関して平均した SDR 改善量である．前述の通り，理想

0

的な分離フィルタは全てのデータに対して窓長が長いほど性能が最適となっている．DNN+WF は単一チャネルの音源分離手法であるが，窓長の増加に伴って DNN 音源モデルの入出力
特徴量の次元が増加する．今回の実験では，隠れ層の層数やユニット数は窓長によらず一定としたため，長い窓長では学習が

30

40
50
60
Iteration step

70

80

90

100

(b)

6
4

困難となり，性能が劣化している．この DNN 音源モデルの性能劣化は Duong+DNN 法及び IDLMA の分離性能にも影響す

0及び DNN 音源モデルの学習困難性の 3 つの観点から，窓長

20

8

2

る．従って IDLMA は，空間モデルの妥当性，統計バイアス，

10

DNN+WF (IR2)Duong+DNN (IR2)ILRMA (IR2)IDLMA (IR2)10

SDR improvement [dB]

しては 512 ms，Dr./Vo. に対しては 256 ms か 512 ms の窓長012が向上している．ILRMA は，ランク 1 空間モデルの妥当性と統計バイアスの影響のトレードオフ [11] により，Ba./Vo. に対

DNN+WF (IR1)Duong+DNN (IR1)
ILRMA (IR1)IDLMA (IR1)

DNN+WF (IR1)Duong+DNN (IR1)
ILRMA (IR1)IDLMA (IR1)

0

10

20

30

40
50
60
Iteration step

DNN+WF (IR2)Duong+DNN (IR2)ILRMA (IR2)IDLMA (IR2)

70

80

90

100

Fig. 5 Average SDR improvements in each iteration step for(a) Ba./Vo. separation with 512-ms-long window and (b)に関する性能のトレードオフが存在する．Duong+DNN 法とDr./Vo. separation with 256-ms-long window.

IDLMA を比較すると，原理的にはランク 1 空間モデルを用いない Duong+DNN 法が有利であるが，フルランクの空間相関

4. 3. 3 計算量比較

行列の推定が困難であることに起因して，Dr./Vo. の IR2 以外

ILRMA や IDLMA における空間モデル Wi の更新には式のデータで IDLMA の性能が上回っていることが確認できる．

(9)–(11) に示す IP を用いている．この反復更新にはサイズ N

4. 3. 2 反復更新毎の性能比較の行列 Wi Ui,n の逆行列演算が含まれているため，全音源全周

各手法の反復更新に対する全 25 曲の平均 SDR 改善量を

波数の IP による更新はおよそ O(IN 4 ) の計算量が必要となる．

Fig. 5 に示す．但し，Ba./Vo. は 512 ms，Dr./Vo. は 256 ms

一方で，Duong 法の空間相関行列の expectation-maximizationの窓長を用いた場合の結果である．DNN+WF は反復手法で（EM）アルゴリズムに基づく反復更新 [18] には，E ステップではないため，SDR 改善量の値を水平線で示している．結果よ各時間周波数に対してサイズ M の逆行列演算が必要であり，り，IDLMA は DNN 音源モデルを通す度（反復 10 回毎）にさらに M ステップでサイズ M の逆行列演算が音源と周波数毎推定分散の改善がみられ，それに追従して分離行列もより良いに必要になるため，それぞれのステップでおよそ O(IJM 3 ) と解に誘導されていく様子が確認できる．Duong+DNN 法も同O(IN M 3 ) の計算量が必要となる．従って，N = M の場合に様の傾向が確認できるが，反復回数 50 回以降では DNN 音源

は IP に基づく手法の方が高速である．Table 3 は，30 秒の信モデルが SDR を下げてしまう現象が確認でき，多くの場合で号に対して空間モデルを 100 回更新した際の各手法の実際の計

IDLMA よりも悪い性能に収束している．

- 18 -—6—

in each method
MethodComputational time [s]

ILRMA

23.31

Duong+DNN

287.06

IDLMA

26.56

14
SDR improvement [dB]

Table 3 Examples of computational time for 100 spatial updates

(a)

13
12

11
10
8

7

と Chainer 2.1.0 の環境で，Intel Core i7-6850K（3.60 GHz，612

分散推定には GeForce GTX 1080 Ti の GPU を用いている．
この結果より，IDLMA の計算時間は ILRMA とほぼ同程度，

Duong+DNN 法よりも 10 倍以上高速であることが分かる．

5. IP における分離フィルタの更新順の影響と適切な更新順の自動選択

SDR improvement [dB]

算時間例を手法毎に示している．但し，計算には Python 3.5.2

Cores）の CPU を用いている．また，DNN 音源モデルによる

Ascending order
Descending order-based order-based order

9

0

10

20

30

40
50
60
Iteration step

70

80

90

100

(b)

11
10
9

Ascending order
Descending order-based order-based order

8

7
6

0

10

20

30

40
50
60
Iteration step

70

80

90

100

Fig. 6 Average SDR improvements in each iteration step based

5. 1 分離フィルタの更新順の影響

on several update orders: (a) Ba./Vo. separation with

前節の実験では，Ba. あるいは Dr. を n = 1，Vo. を n = 2 と512-ms-long window and (b) Dr./Vo. separation with 256-

し，式 (9)–(11) の IP による分離行列 Wi の更新を n = 1, 2 とms-long window.

いう順番（インデクスの昇順）で行った場合の結果を示した．
この IP における分離フィルタ wi,n の更新の順番には任意性がここで，řij,nn′ は Řnn′ の要素である．式 (20) は分離信号 Ŷnあり，コスト関数 (8) が wi,n に対して非凸であることから，最に含まれる音源 n 成分の割合の推定値を全音源に関して平均し終的に得られる解は更新する順番に依存する．特に DNN 音源た指標であり，式 (21) は各時間周波数要素の Wiener フィルタモデルを用いる IDLMA では，得られる分離結果がこの更新の値を全音源に関して平均した指標である．IDLMA の反復更新

順番に強く依存してしまう．例えば，IR1 を用いた Ba/Vo. のの中で，全通りの分離フィルタの更新順（N ! 通り）を試行し，混合信号では，n = 1, 2 の昇順で IP を適用した場合の SDR 改

そのそれぞれの更新順で得られる分離信号 Ŷn から ζ あるいは

善量が 13.48 dB であるのに対し，n = 2, 1 の降順で IP 適用しξ を計算して値の大きくなる結果を採用することで，より高精た場合は 11.05 dB となった．

度な分離ができる解へと導くことができる．

5. 3 更新順の自動選択の実験

この現象の原因として，DNN 音源モデルによる分散行列 Rnの推定精度が関連していると考えられる．即ち，1 回の分離行

4 章と同一の条件で，ζ 及び ξ を用いた更新順の自動選択を

列 Wi の更新の中で逐次的に wi,n を更新する IP では，分散行行った場合の IDLMA の分離結果を Fig. 6 に示す．但し，IR1

列 Rn がより高精度に推定された音源の分離フィルタを先に更のインパルス応答を用いた結果のみ示している．本実験の結果新することが望ましい．今回の実験では，複雑な周波数変動をでは，5. 1 節で述べた理由から，常に昇順での分離フィルタ更含む Vo. 信号よりも，簡素な時間周波数構造を持つ Ba. や Dr.

新がテストデータ 25 曲のほぼ全てで最良の結果となったが，の方が高精度に分散行列 Rn を推定できる．事実として，学習

Ba./Vo. のデータに対しては ζ に基づく更新順の選択，Dr./Vo.

データに対する損失関数の収束値は Vo. よりも Ba. や Dr. の方のデータに対しては ξ に基づく更新順の選択が最良と同程度が小さな値となっている．従って，IDLMA の IP の計算では，の分離性能となっており，提案する選択基準の有効性が確認でBa. や Dr. の音源（n = 1）の分離フィルタ wi,n を先に更新す

きる．

る方がより良い解へと収束する可能性が高い．

6. ま と め

5. 2 適切な更新順の選択基準
より良い音源分離性能をもたらす分離フィルタの更新順を

本稿では，音源間の統計的独立性と DNN に基づく音源モ

自動的に選択するために，何らかの妥当な選択基準を設ける

デルを用いた教師あり音源分離手法の IDLMA を提案した．

ことが望ましい．本稿では，IDLMA の一時的な分離信号 Ŷn

IDLMA は，対象の音源のみを強調する DNN を教師あり音源

を音源モデル DNNn′ に入力したときに得られる分散行列をモデルとして活用しているが，空間モデルは依然としてブライ

Řnn′ = |DNNn′ (|Ŷn |.1 )|.2 としたとき，更新順の選択基準としンドに推定できるため，汎用性の高いアルゴリズムである．まて次式で定義される ζ 及び ξ の 2 種類を提案する．

ζ=
ξ=

1 ∑

N

n

∑
′
ř
i,j ij,nn
∑ ∑
n′

i,j

řij,nn′

1 ∑ řij,nn′∑′Nřn′ ij,nn
i,j,n

(20)
(21)

た，分離フィルタの更新順に対する適切な選択基準を提案した．

DNN 音源モデルに基づく従来手法と実験的に比較し，分離性能と計算効率の観点から IDLMA の有効性を実証した．
謝辞

本研究の一部は SECOM 科学技術支援財団，JSPS 科

研費 16H01735，17H06101，及び 17H06572 の助成を受けたものである．

- 19 -—7—文

献[1] P. Comon, “Independent component analysis, a new concept?,” Signal Processing, vol. 36, no. 3, pp. 287–314, 1994.
[2] A. Hiroe, “Solution of permutation problem in frequency domain ICA using multivariate probability density functions,”
Proc. ICA, pp. 601–608, 2006.
[3] T. Kim, T. Eltoft, and T.-W. Lee, “Independent vector
analysis: an extension of ICA to multivariate components,”
Proc. ICA, pp. 165–172, 2006.
[4] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee, “Blindsource separation exploiting higher-order frequency dependencies,” IEEE Trans. ASLP, vol. 15, no. 1, pp. 70–79,
2007.
[5] N. Ono, “Stable and fast update rules for independent vector analysis based on auxiliary function technique,” Proc.
WASPAA, pp. 189–192, 2011.
[6] N. Ono, “Auxiliary-function-based independent vector analysis with power of vector-norm type weighting functions,”
Proc. APSIPA, 2012.
[7] D. D. Lee and H. S. Seung, “Learning the parts of objects
by non-negative matrix factorization,” Nature, vol. 401,
no. 6755, pp. 788–791, 1999.
[8] D. D. Lee and H. S. Seung, “Algorithms for non-negative
matrix factorization” Proc. NIPS, pp. 556–562, 2000.
[9] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and
H. Saruwatari, “Determined blind source separation unifying independent vector analysis and nonnegative matrix
factorization,” IEEE/ACM Trans. ASLP, vol. 24, no. 9,
pp. 1626–1641, 2016.
[10] D. Kitamura, “Algorithms for independent low-rank matrix analysis,” [Online]. Available: http://d-kitamura.net/
pdf/misc/AlgorithmsForIndependentLowRankMatrixAnaly
sis.pdf[11] D. Kitamura, N. Ono, and H. Saruwatari, “Experimental
analysis of optimal window length for independent low-rankmatrix analysis,” Proc. EUSIPCO, pp. 1210–1214, 2017.
[12] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and
H. Saruwatari, “Determined blind source separation withindependent low-rank matrix analysis,” Audio Source Separation, Shoji Makino, Ed. ch. 6, 31 pages, Springer, March2018 (in press).
[13] P. Smaragdis, “Blind separation of convolved mixtures in
the frequency domain,” Neurocomputing, vol. 22, no. 1, pp.
21–34, 1998.
[14] S. Araki, R. Mukai, S. Makino, T. Nishikawa, and
H. Saruwatari, “The fundamental limitation of frequency
domain blind source separation for convolutive mixtures ofspeech,” IEEE Trans. SAP, vol. 11, no. 2, pp. 109–116,
2003.
[15] H. Sawada, R. Mukai, S. Araki, and S. Makino, “Convolutive blind source separation for more than two sources in
the frequency domain,” Proc. ICASSP, 2004, pp. III-885–
III-888.
[16] H. Saruwatari, T. Kawamura, T. Nishikawa, A. Lee, andK. Shikano, “Blind source separation based on a fastconvergence algorithm combining ICA and beamforming,”
IEEE Trans. ASLP, vol. 14, no. 2, pp. 666–678, 2006.
[17] S. Kurita, H. Saruwatari, S. Kajita K. Takeda, and
F. Itakura, “Evaluation of blind signal separation method
using directivity pattern under reverberant conditions,”
Proc. ICASSP, vol. 5, pp. 3140–3143, 2000.
[18] N. Q. K. Duong, E. Vincent, and R. Gribonval, “Underdetermined reverberant audio source separation using a fullrank spatial covariance model,” IEEE Trans. ASLP, vol. 18,
no. 7, pp. 1830–1840, 2010.
[19] A. Ozerov and C. Févotte, “Multichannel nonnegative matrix factorization in convolutive mixtures for audio source

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

[33]

[34]

[35]

[36]
[37]

- 20 -

separation,” IEEE Trans. ASLP, vol. 18, no. 3, pp. 550–563,
2010.
H. Sawada, H. Kameoka, S. Araki, and N. Ueda, “Multichannel extensions of non-negative matrix factorization
with complex-valued data,” IEEE Trans. ASLP, vol. 21,
no. 5, pp. 971–982, 2013.
A. R. López, N. Ono, U. Remes, K. Palomäki, and M. Kurimo, “Designing multichannel source separation based on
single-channel source separation,” Proc. ICASSP, pp. 469–
473, 2015.
E. M. Grais, M. U. Sen, and H. Erdogan, “Deep neural networks for single channel source separation,” Proc. ICASSP,
pp. 3734–3738, 2014.
P.-S. Huang, M. Kim, M. H.-Johnson, and P. Smaragdis,“Joint optimization of masks and deep recurrent neural networks for monaural source separation,” IEEE/ACM Trans.
ASLP, vol. 23, no. 12, pp. 2136–2147, 2015.
S. Uhlich, F. Giron, and Y. Mitsufuji, “Deep neural network
based instrument extraction from music,” Proc. ICASSP,
pp. 2135–2139, 2015.
S. Araki, T. Hayashi, M. Delcroix, M. Fujimoto, K. Takeda,
and T. Nakatani, “Exploring multi-channel features fordenoising-autoencoder-based speech enhancement,” Proc.
ICASSP, pp. 116–120, 2015.
T. Nakatani, N. Ito, T. Higuchi, S. Araki, and K. Kinoshita, “Integrating DNN-based and spatial clusteringbased mask estimation for robust MVDR beamforming,”
Proc. ICASSP, pp. 286–290, 2017.
A. A. Nugraha, A. Liutkus, and E. Vincent, “Multichannel audio source separation with deep neural networks ,”IEEE/ACM Trans. ASLP, vol. 24, no. 9, pp. 1652–1664,
2016.
C. Févotte, N. Bertin, and J.-L. Durrieu, “Nonnegative matrix factorization with the Itakura-Saito divergence. Withapplication to music analysis,” Neural Computation, vol. 21,
no. 3, pp. 793–830, 2009.
Y. Mitsui, D. Kitamura, N. Takamune, H. Saruwatari,
Y. Takahashi, and K. Kondo, “Independent low-rank matrix analysis based on parametric majorization-equalization
algorithm,” Proc. CAMSAP, pp. 98–102, 2017.
K. Yatabe and D. Kitamura, “Determined blind source separation via proximal splitting algorithm,” Proc. ICASSP,
2018 (in press).
K. Matsuoka and S. Nakashima, “Minimal distortion principle for blind source separation,” Proc. ICA, pp. 722–727,
2001.
M. Mimura, Y. Bando, K. Shimada, S. Sakai, K. Yoshii,
and T. Kawahara, “Combined multi-channel NMF-based
robust beamforming for noisy speech recognition,” Proc. Interspeech, pp. 2451–2455, 2017.
A. Liutkus, F.-R. Stöter, Z. Rafii, D. Kitamura, B. Rivet,
N. Ito, N. Ono, and J. Fontecave, “The 2016 signal separation evaluation campaign,” Proc. LVA/ICA, pp. 323–332,
2012.
S. Nakamura, K. Hiyane, F. Asano, T. Nishiura, and T. Yamada, “Acoustical sound database in real environments forsound scene understanding and hands-free speech recognition,” Proc. LREC, pp. 965–968, 2000.
E. Vincent, R. Gribonval, and C. Fevotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. ASLP, vol. 14, no. 4, pp. 1462–1469, 2006.
X. Glorot, A. Bordes, and Y. Bengio, “Deep sparse rectifier
networks,” Proc. AISTATS, pp. 315–323, 2011.
M. D. Zeiler, “ADADELTA: an adaptive learning rate
method,” arXiv, 2012. [Online]. Available: http://arxiv.
org/abs/1212.5701—8—