一般社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATIONAND COMMUNICATION ENGINEERS
社団法人 電子情報通信学会

信学技報
IEICE Technical Report
EA2022-13(2022-05)

信学技報
TECHNICAL REPORT OF IEICE.

THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

深層ニューラルネットワークに基づく
パーミュテーション解決法の基礎的検討
蓮池 郁也†

渡辺 瑠伊†

北村 大地†† 香川高等専門学校，〒761–8058 香川県高松市勅使町 355
あらまし

本稿では，優決定条件ブラインド音源分離手法である周波数領域独立成分分析（FDICA）において生じる

パーミュテーション問題について取り扱う．FDICA は，周波数毎に独立成分分析を適用することで音源成分の分離を行うが，パーミュテーション問題と呼ばれる周波数毎の分離信号成分の並び替え問題が生じる．そのため，ポスト処理
としてパーミュテーション解決法の適用が必要となる．本稿では，深層ニューラルネットワークに基づく新しいパー
ミュテーション解決法を提案する．提案手法では，DNN は周波数毎の分離信号成分を並び替えるパーミュテーション
行列を予測する．また，基礎的な実験として，パーミュテーション問題を DNN で解くことの妥当性について調査する．
キーワード

独立成分分析，パーミュテーション問題，深層ニューラルネットワーク，ブラインド音源分離

Basic study for permutation solver based on deep neural networks
Fumiya HASUIKE† , Rui WATANABE† , and Daichi KITAMURA†† National Institute of Technology, Kagawa College, 355 Chokushi, Takamatsu, Kagawa, 761–8058 Japan
Abstract This paper focuses on a permutation problem associated with frequency-domain independent component analysis(FDICA) that is a technique for (over-)determined blind audio source separation. In FDICA, independent component analysis isapplied to each of frequencies, and FDICA encounters the so-called permutation problem, which is a frequency-wise reordering
problem of separated source components. Thus, FDICA requires a permutation solver as post processing to obtain the separated
source signals. In this paper, we propose a new permutation solver based on a deep neural network (DNN), where DNN predicts
a frequency-wise permutation matrix that aligns the order of estimated source components. The validity of using DNN for
solving the permutation problem is investigated via basic experiments.
Key words independent component analysis, permutation problem, deep neural network, blind audio source separation

案された．この手法は周波数領域 ICA（frequency-domain ICA:

1. は じ め にFDICA）[3] と呼ばれ，音響信号の高品質な優決定条件 BSS の音源分離とは，複数の音源が混合した観測信号から，混合前達成が期待されるアプローチである．しかしながら，ICA は一の各音源信号を推定する問題である．特に，マイクロホンや音般に分離信号の順序が不定であるため，FDICA は分離信号成分

源の空間的な位置に関する事前情報を用いない音源分離手法をの順序が周波数間で不揃いな状態になってしまう問題が生じる.

ブラインド音源分離（blind source separation: BSS）[1] という．

この問題はパーミュテーション問題と呼ばれており，周波数毎

また，マイクロホン数（観測チャネル数）が音源数以上となるの分離信号を正しい順序に並び替えるパーミュテーション解決

収録条件のことを優決定条件と呼び，優決定条件における BSS

法が各種検討されてきた [4]〜[6]．
その後，混合前の音源信号の時間周波数構造に関する仮定（音には独立成分分析（independent component analysis: ICA）[2] に源モデル）を導入することで，周波数毎の BSS とパーミュテー

基づく様々な手法がこれまで提案されている．
複数音源の混合は，時間領域では畳み込み混合となるため，ション問題の解決を同時に実現する手法が登場した．例えば，

ICA を時間領域の観測信号に適用しても BSS は実現されない．

音源モデルにグループスパース性を仮定した独立ベクトル分

そのため，観測信号に短時間 Fourier 変換（short-time Fourier析（independent vector analysis: IVA）[7] やその高速安定アルゴ

transform: STFT）を適用して時間周波数領域に変換すること

リズムの補助関数法に基づく IVA [8]，非負値行列因子分解 [9]で，混合系を周波数毎の音源成分の瞬時混合としてモデル化に基づく低ランク良近似性を仮定した独立低ランク行列分析

し，周波数毎に ICA を適用することで BSS を達成する手法が提（independent low-rank matrix analysis: ILRMA）[10], [11]，音源の- 62 -—1—
This article is a technical report without peer review, and its polished and/or extended version may be published elsewhere.
Copyright ©2022 by IEICE

種類毎に音源モデルを深層ニューラルネットワーク（deep neural

たベクトルであるが，音源又はチャネルではなく時間周波数でnetwork: DNN）で事前学習する独立深層学習行列分析 [12]，時

まとめた行列も定義しておく．即ち，𝑛 番目の音源信号の複素間周波数マスクに基づく BSS [13] 等が提案されている．これら

スペクトログラム，𝑚 番目の観測信号の複素スペクトログラの手法は，仮定する音源モデルが実際に混合している各音源にム，及び 𝑛 ′ 番目の分離信号の複素スペクトログラムをそれぞれよく適合する場合に高い BSS 性能を発揮することが知られて

𝑺 𝑛 ∈ C 𝐼×𝐽 ， 𝑿𝑚 ∈ C 𝐼×𝐽 ，及び 𝒁 𝑛′ ∈ C 𝐼×𝐽 と定義する．

いる．一方で，文献 [14] では，FDICA に対して理想的な（正2. 2 BSS の定式化と FDICA

解の）パーミュテーション解決を施した BSS の性能が，IVA や

音響信号の混合は，収録環境の残響の影響等が要因となり，

ILRMA を大きく上回る例を実験的に示している．これは即ち，各音源から各マイクロホンまでのインパルス応答が畳み込まれ音源モデルの良し悪しがパーミュテーション問題の解決精度をた状態での加算となる．この現象は次式で表される．

極端に左右することを示唆しており，音声や楽器音や雑音等，𝒙˜ [𝑡] =可能な限り様々な種類の音源信号を表現できる万能な音源モデ

′ −1
𝑁 𝑇Õ
Õ

𝑛=1 𝑡 ′ =0

ルが望まれる．但し，そのような万能な音源モデルの構築・学𝒂˜ 𝑛 [𝑡 ′ ] 𝑠˜𝑛 [𝑡 − 𝑡 ′ ](4)

ここで，𝒙˜ [𝑡] = [ 𝑥˜1 [𝑡], 𝑥˜2 [𝑡], · · · , 𝑥˜ 𝑀 [𝑡]] T ∈ R 𝑀 は観測信号ベク

習は決して容易ではない．
そこで近年では，音源モデルではなくパーミュテーション

トル，𝑇 ′ は残響長，𝒂˜ 𝑛 [𝑡] = [ 𝑎˜ 𝑛1 [𝑡], 𝑎˜ 𝑛1 [𝑡], · · · , 𝑎˜ 𝑛𝑀 [𝑡]] T ∈ R 𝑀

問題の解決そのものを DNN で実現するアプローチ（以後，深は音源 𝑛 から全マイクロホンまでのインパルス応答ベクトルで層パーミュテーション解決法と呼ぶ）が検討されている．文ある．式 (4) で混合される各音源を観測信号から推定する問題

献 [15] では，局所周波数（サブバンド）毎に，参照周波数の分は，逆畳み込みフィルタの推定となる．通常の ICA は瞬時混合

離信号成分と他の分離信号成分が同じ音源か否かを 2 値分類問の逆系を推定する為，式 (4) に対する BSS は不可能である．

題として予測する DNN を学習し，これを用いたパーミュテー

そこで，各信号を時間周波数領域で表現して「時間領域でのション解決法が提案された．この手法はサブバンド毎に予測を畳み込み混合」を「時間周波数領域での周波数毎の瞬時混合」行うため，その後のパーミュテーション解決が複雑なアルゴリに変換し，周波数毎に ICA を適用する FDICA [3] が提案されズムとなっており，特に 3 音源以上の BSS ではさらに極端に複た．FDICA では，時間周波数領域の観測信号を次式で表す．

雑化してしまう問題がある．本稿では，3 音源以上でもアルゴ

𝒙 𝑖 𝑗 = 𝑨𝑖 𝒔 𝑖 𝑗

リズムが極端に複雑化しないよう，既存手法よりもシンプルな
深層パーミュテーション解決法の構築を目指す．

(5)

ここで，𝑨𝑖 = [𝒂 𝑖1 𝒂 𝑖2 · · · 𝒂 𝑖 𝑁 ] ∈ C 𝑀×𝑁 は周波数毎の時不変混合行列である．この混合モデルは，STFT の短時間区間長が2. FDICA とパーミュテーション問題

式 (4) の残響長より十分長い場合に良く成立する．

2. 1 変数の定義
𝑁 が混合し， 𝑀 個のマイク
今， 𝑁 個の音源信号 ( 𝑠˜𝑛 [𝑡]) 𝑛=1

𝑀 を考える．ここで，ロホンで録音された観測信号 ( 𝑥˜ 𝑚 [𝑡]) 𝑚=1

𝑛 = 1, 2, · · · , 𝑁 ，𝑚 = 1, 2, · · · , 𝑀 ，及び 𝑡 = 1, 2, · · · , 𝑇 はそれぞ混合行列 𝑨𝑖 が全周波数において正則であれば，周波数毎の分離行列 𝑾𝑖 = 𝑨𝑖−1 = [𝒘𝑖1 𝒘𝑖2 · · · 𝒘𝑖 𝑁 ] H ∈ C 𝑁 ×𝑀 が存在し，これを用いて理想的な分離信号を次式で表せる．

れ音源信号，観測信号，及び離散時間のインデクスである．ま𝒛 𝑖 𝑗 = 𝑾𝑖 𝒙 𝑖 𝑗

た，BSS によって推定された分離信号を ( 𝑧˜𝑛′ [𝑡]) 𝑛𝑁′ =1 と表記する．ここで，𝑛 ′ = 1, 2, · · · , 𝑁 は分離信号のインデクスであり，ここで，·H はエルミート転置を示す．分離行列 𝑾𝑖 の行ベクト

𝑁 と ( 𝑧˜ ′ [𝑡]) 𝑁 の音源の順序が必ずしも一致している( 𝑠˜𝑛 [𝑡]) 𝑛=1𝑛𝑛′ =1とは限らない（𝑠˜1 [𝑡] の推定成分が 𝑧˜2 [𝑡] となる可能性がある）
ことを表すために 𝑛 と 𝑛 ′ を使い分けている．なお，本稿では優決定条件 BSS を取り扱うため，以後 𝑀 = 𝑁 を仮定する 1 ．
次に，各信号に STFT を適用して得られる時間周波数領域のルである 𝒘𝑖𝑛 ∈ C 𝑀 は，𝑖 番目の周波数ビンにおいて，観測信号から 𝑛 番目の音源の分離信号を推定する分離フィルタである．
従って FDICA は，観測信号 𝒙 𝑖 𝑗 の各周波数ビンに対して独立に（複素数の）ICA を適用することで，周波数毎の分離行列 𝑾𝑖
を全周波数にわたって推定し，BSS の実現を目指す．

2. 3 パーミュテーション問題とその解決

信号を次式で表す．



T

FDICA 中で周波数毎に適用している ICA は，その分離原理
𝑁

𝒔𝑖 𝑗 = 𝑠𝑖 𝑗1 , 𝑠𝑖 𝑗2 , · · · , 𝑠𝑖 𝑗𝑛 , · · · , 𝑠𝑖 𝑗 𝑁∈CT
𝒙 𝑖 𝑗 = 𝑥𝑖 𝑗1 , 𝑥 𝑖 𝑗2 , · · · , 𝑥 𝑖 𝑗𝑚 , · · · , 𝑥 𝑖 𝑗 𝑀
∈ C𝑀

T
𝒛 𝑖 𝑗 = 𝑧 𝑖 𝑗1 , 𝑧 𝑖 𝑗2 , · · · , 𝑧 𝑖 𝑗𝑛′ , · · · , 𝑧 𝑖 𝑗 𝑁∈ C𝑁

より，推定された分離信号成分の周波数毎のスケール及び順序
ˆ 𝑖 ∈ C 𝑁 ×𝑀
が不定である．従って，FDICA の推定分離行列を 𝑾

(1)
(2)

とすると，たとえ完全な推定が実現できたとしても，真の分離(3)

行列 𝑾𝑖 に対して次式のような不定性が残る．

ここで，𝑖 = 1, 2, · · · , 𝐼 及び 𝑗 = 1, 2, · · · , 𝐽 はそれぞれ周波数ビ

ˆ 𝑖 = 𝑫 𝑖 𝑷𝑖 𝑾𝑖
𝑾

ン及び時間フレームのインデクスを示す．また，·T は転置を示す．式 (1)–(3) はいずれも複数音源又は複数チャネルをまとめ（注 1）：但し，各成分の物理的な意味を明らかにするために，インデクス 𝑛（又は 𝑛′ ）及び 𝑚 や 𝑁 及び 𝑀 は常に使い分けて表記する．

(6)

(7)

ここで，𝑫 𝑖 ∈ R 𝑁 ×𝑁 は，𝒘𝑖𝑛 のスケールを変化させる可能性のある対角行列である．また， 𝑷𝑖 ∈ {0, 1} 𝑁 ×𝑁 は分離行列 𝑾𝑖 の
行ベクトル 𝒘𝑖𝑛 の順序を入れ変えうるパーミュテーション行列- 63 -—2—

inSource 1

…

. b

(8)

Observed 1の 2 通りの内のいずれかを取り， 𝑁 = 3 であればICA

PermutationSeparated signal 2
solverTime

Source 2

Observed 2

All frequency
components

Fig. 1: Permutation problem in FDICA (𝑁 = 𝑀 = 2).
(9)法は，あるサブバンド内でパーミュテーション問題を解決するの 6 通りの内のいずれかを取る．パーミュテーション行列はその性質から，各行の総和及び各列の総和が全て 1 となるため，二重確率行列（doubly stochastic matrix: DSM）[16] である．

DNN を学習し，これを様々なサブバンドに適用した結果を用いて全周波数のパーミュテーション問題を解決する手法である．
サブバンド単位の処理では，サブバンドの中心周波数を参照周
波数ビンと定義したうえで，その他の（サブバンド内の）周波

従って，FDICA で得られる信号は，次式のように推定信号成分の順序やスケールが周波数間で不揃いな状態である．

ˆ 𝑖 𝒙𝑖 𝑗
𝒚𝑖 𝑗 = 𝑾iTh∈ C𝑁= 𝑦𝑖 𝑗1 , 𝑦𝑖 𝑗2 , · · · , 𝑦𝑖 𝑗𝑛𝑖′ , · · · , 𝑦𝑖 𝑗 𝑁

Estimated signal 2
Fre
q.


 

 
1 0 0 1 0 0 0 1 0
 


 
𝑷𝑖 = 0 1 0 , 0 0 1 , 1 0 0 ,
 


 
0 0 1 0 1 0 0 0 1

 
 





 
0 0 1 0 1 0 0 0 1




 
0 0 1 , 1 0 0 , or 0 1 0



 




 

1 0 0 
1 0 0 0 1 0



 


Separated signal 1

Estimated signal 1Freq（置換行列）である．例えば， 𝑁 = 2 であれば 𝑷𝑖 は
#
"
#
"
0 1
1 0
𝑷𝑖 =
or
1 0
0 1

数ビンが参照周波数ビンの推定信号成分と同一音源の成分か否かを DNN で予測する．音源数が 𝑁 = 2 であれば，この「同一音源の成分か否か」という 2 クラス分類問題は「どちらの音源(10)の成分か」に一致する．しかし，音源数が 𝑁 ≥ 3 となった場合，(11)

仮に「同一音源の成分ではない」と DNN が予測した際に，残ここで，𝑛𝑖′ = 1, 2, · · · , 𝑁 は周波数ビン 𝑖 毎に音源の順序が異りのどの音源の成分かが確定しない．従って，この場合に推定なっている状態を表すための新たな音源インデクスである．こ信号成分の音源順序を確定させるためには，前述の 2 クラス分のうち，𝑫 𝑖 で生じる周波数間のスケールの不整合は，プロジェ

類 DNN を音源数 𝑁 個の中から 2 つ選ぶ組み合わせ数（ 𝑁 𝐶2 ）クションバック法 [17] で解析的に復元可能である．一方で，𝑷𝑖回適用しなければならない．さらに，既存手法におけるサブバで生じる周波数間の音源順序の不整合を全周波数ビンにわたっ

ンド間のパーミュテーション問題の解決処理（全サブバンドのて復元（整列）することは，組み合わせ爆発が生じるため容易

予測結果のスティッチングによる統合）を考えると，そのアルではなく，一般にパーミュテーション問題と呼ばれる．

ゴリズムは音源数の増加に伴って極端に複雑化してしまう．

パーミュテーション問題の概要を Fig. 1 に示す．ここで，そこで本稿では，より簡潔なアルゴリズムとして，2 クラス

FDICA で得られる（パーミュテーション問題が生じている状態

分類ではなく 𝑁 クラス分類の DNN を学習し，サブバンド単の）推定信号 𝒚𝑖 𝑗 の 𝑛 ′ 番目のスペクトログラムを 𝒀𝑛′ ∈ C 𝐼×𝐽

位ではなく全周波数の音源順序を一度に予測する手法を検討すと定義している．FDICA 直後の 𝒀𝑛′ は，理想的には周波数毎でる．次節以降で述べる通り，この 𝑁 クラス分類 DNN は式 (13)の音源分離が達成できており，周波数間の音源順序の不整合の中のパーミュテーション行列 𝑷𝑖−1 を直接予測することに対応しみ生じている．そのため，ポスト処理として，音源順序を全周ており，既存手法よりも見通しの良いアルゴリズムとなってい波数ビンにわたって整列する必要がある．

る．なお提案手法は，音源数 𝑁 の増加に対してアルゴリズムが理想的なパーミュテーション問題の解決は次式で表される．

𝒛 𝑖 𝑗 = 𝑷𝑖−1 𝑫 −1
𝑖 𝒚𝑖 𝑗

極端に複雑化しない手法として提案するが，本稿は基礎的検討に終始するため，以後 𝑁 = 2 の場合のみを取り扱う．次節以降(12)の議論は，𝑁 ≥ 3 についても一般性を失うことなく応用できる．

従って，パーミュテーション問題の解決とは，全周波数ビンに3. 2 DNN の入出力

わたって 𝑷𝑖−1 を求める問題と解釈できる．但し厳密には，周波FDICA からは，パーミュテーション問題が生じた状態の推定

数間の音源順序の整列後も，全周波数をまとめた音源信号全体

信号の複素スペクトログラム (𝒀1 , 𝒀2 ) が得られる．提案手法での順序の不定性は残るため，分離信号は次式となる．

はまず，これらのパワースペクトログラム (|𝒀1 | .2 , |𝒀2 | .2 ) に次

𝒛 𝑖 𝑗 = 𝑷all 𝑷𝑖−1 𝑫 −1
𝑖 𝒚𝑖 𝑗式を適用し，正規化パワースペクトログラム (𝒀 1 , 𝒀 2 ) を得る．

(13)

ここで，𝑷all ∈ {0, 1} 𝑁 ×𝑁 は周波数に非依存なパーミュテーショ

𝒀 𝑛′ =

ン行列である．本稿では，この音源信号全体の順序の不定性に−1 は推定しない．
ついては問題とせず， 𝑷all

|𝒀𝑛′ | .2∈ [0, 1] 𝐼×𝐽|𝒀1 | .2 + |𝒀2 | .2

(14)

ここで，行列に対する絶対値記号，ドット付き指数乗，及び分数はそれぞれ要素毎の絶対値，要素毎の指数乗，及び要素毎の3. 提 案 手 法

商を表す．この正規化は，同一音源に属する成分の相関を強調

3. 1 提案手法の動機する利点がある [6] だけでなく，推定信号の値が区間 [0, 1] の文献 [15] で提案された既存の深層パーミュテーション解決

範囲に制限され，DNN の学習が安定する効果も期待できる．

- 64 -—3—

(15)Frequency

Frequency

OutputInput

DNN

𝒀ˇ 𝑗𝑛′ = [𝒚 ( 𝑗−𝛽)𝑛′ 𝒚 ( 𝑗−𝛽+1)𝑛′ · · · 𝒚 ( 𝑗+𝛽)𝑛′ ] ∈ [0, 1] 𝐼×(2𝛽+1)

Frequency

ように時間フレーム 𝑗 を中心とする局所時間パワースペクトロ
グラム (𝒀ˇ 𝑗1 , 𝒀ˇ 𝑗2 ) を抽出する．

Frequency

次に，正規化パワースペクトログラム (𝒀 1 , 𝒀 2 ) から，次式のConvert topermutation
matrix
0.1

0.1
0.9

0.9
1.0

0.9
0.1
0.0
0.9

0.9 0.1
0.7
0.9 0.9
0.1

0.1

・
・
・

0.9
0.5
0.0

0.1

ここで，𝒚 𝑗𝑛′ ∈ [0, 1] 𝐼 は正規化パワースペクトログラム 𝒀 𝑛′ の

0.5

Time

𝑗 列目の列ベクトルを表す．また，𝛽（0 以上の整数）は時間フ

1.0 0.0
1.0

Time

"

(16)

ReLU

3st dense layer

理を vec(·) と表記すると，DNN の入力ベクトルは次式となる．

ReLU

Input vector

クトル化したものである．入力された行列をベクトル化する処

1st dense layer

提案手法の DNN の入力ベクトルは，式 (15) で得られる両信号の局所時間パワースペクトログラム (𝒀ˇ 𝑗1 , 𝒀ˇ 𝑗2 ) を一次元にベSoftmax

Output vector

Three hidden layers

Output layer

決めるハイパーパラメータである．

Output layer

Fig. 2: Calculation of predicted permutation matrix.

レーム 𝑗 の近傍時間フレームをどの程度 DNN に入力するかを#
vec(𝒀ˇ 𝑗1 )𝒅𝑗 =∈ [0, 1] 2𝐼 (2𝛽+1)
vec(𝒀ˇ 𝑗2 )

0.0

1.0

Softmax

Softmax

Fig. 3: DNN architecture.

DNN による予測を次式で表す．
𝒍ˆ𝑗 = DNN( 𝒅 𝑗 ) ∈ [0, 1] 2𝐼

従って，提案手法の DNN は，推定音源の各周波数成分を正し(17)

い順序に並び替えるようなパーミュテーション行列を予測する

ここで， 𝒍ˆ𝑗 = [ 𝑙ˆ11 𝑗 , 𝑙ˆ21 𝑗 , · · · , 𝑙ˆ𝐼1 𝑗 , 𝑙ˆ12 𝑗 , 𝑙ˆ22 𝑗 , · · · , 𝑙ˆ𝐼2 𝑗 ] T は DNN

多クラス分類モデルと解釈できる．さらに，式 (20) はその定義の出力（予測ベクトル）を表す．入力されたベクトルを適切により DSM であるため，Birkhoﬀ–von Neumann の定理（付録参行列化する処理を mat(·) と表記すると，予測ベクトルは次式で照）より，DNN は式 (8) や式 (9) のようなパーミュテーション

𝐼 × 𝑁 の行列に再成型される．

行列の凸結合係数を予測しているとも捉えられる．

𝑳ˆ 𝑗 = mat( 𝒍ˆ𝑗 ) ∈ [0, 1] 𝐼×2

3. 3 DNN の構造(18)

Fig. 3 に提案手法で用いる DNN の構造を示す．全て全結合式 (18) で得られる行列 𝑳ˆ 𝑗 は，Fig. 2 に示すように，パーミュ
テーション問題が生じている入力信号 (𝒀ˇ 𝑗1 , 𝒀ˇ 𝑗2 ) の各周波数成分

unit（ReLU）関数を用いている．また，隠れ層の 3 層目から出の順序に対して，「順序をそのままにすべきである真の確率 𝑙 𝑖1 」

力層に変換する際には，Fig. 3 に示すように 2 つの 𝐼 次元ベクと「順序を反転させるべきである真の確率 𝑙 𝑖2 」
（𝑙 𝑖1 , 𝑙 𝑖2 ∈ {0, 1}）

トルに分岐させている．この時の各ベクトルへの変換パラメー

を 𝒅 𝑗 から予測したものと定義する 2 ．即ち，式 (7) 中の 𝑷𝑖 で生タは独立している 3 ．その後，2 つの 𝐼 次元の同一インデクスのじてしまうパーミュテーション問題を解決するような真のパー要素に softmax 関数を適用することで，予測ベクトルの全要素

ミュテーション行列 𝑷𝑖−1 は，真値 𝑙 𝑖1 及び 𝑙 𝑖2 を係数とする凸が閉区間 [0, 1] 内の値かつ同一インデクスの要素の和が 1 となることを保証している．これは，前節で説明した 𝑙ˆ𝑖1 + 𝑙ˆ𝑖2 = 1 の結合で次式のように表せる．
"
"
#
0
1 0
−1
+ 𝑙 𝑖2
𝑷𝑖 = 𝑙 𝑖1
1
0 1

1
0

#

層で構成され，隠れ層の 1 層目から 3 層目には rectiﬁed linear

制約を保証することに対応する．

∈ {0, 1}

𝑁 ×𝑁

(19)

3. 4 DNN の損失関数

なお，音源数が 𝑁 = 3 のときは，式 (9) の 6 通りのパーミュテー
ション行列に対する真の確率値を (𝑙 𝑖𝑛′ ) 𝑛6 ′ =1 と定義すれば，一𝑖𝑖

般性を失うことなく同様に議論できる．音源数が 𝑁 ≥ 4 でも同様である．真値 (𝑙 𝑖1 , 𝑙 𝑖2 ) は確率値であるため，それらの予測値である ( 𝑙ˆ𝑖1 𝑗 , 𝑙ˆ𝑖2 𝑗 ) もまた 𝑙ˆ𝑖1 𝑗 , 𝑙ˆ𝑖2 𝑗 ∈ [0, 1] かつ 𝑙ˆ𝑖1 𝑗 + 𝑙ˆ𝑖2 𝑗 = 1 を満たすように DNN の中で制約する．この予測値 ( 𝑙ˆ𝑖1 𝑗 , 𝑙ˆ𝑖2 𝑗 ) か

式 (20) で推定パーミュテーション行列 𝑷ˆ𝑖−1
𝑗 を求めた後の処理を Fig. 4 に示す．ここで，Fig. 4 中の (𝒀´ 𝑗1 , 𝒀´ 𝑗2 ) は式 (15) と同様の手法で抽出した (𝒀1 , 𝒀2 ) の局所時間複素スペクトログラ
ムである．まず，式 (12) と同様の処理で (𝒀´ 𝑗1 , 𝒀´ 𝑗2 ) の音源パー
ミュテーションを並び替えた予測分離信号 ( b̌𝒁 , b̌
𝒁 ) を求め𝑗1

𝑗2

る．次に，予測分離信号に対する正解ラベル ( 𝒁ˇ 𝑗1 , 𝒁ˇ 𝑗2 ) （分離信号 (𝒁1 , 𝒁2 ) の局所時間複素スペクトログラム）を用意する．
提案手法では，予測分離信号 ( b̌
𝒁 𝑗1 , b̌
𝒁 𝑗2 ) とラベル ( 𝒁ˇ 𝑗1 , 𝒁ˇ 𝑗2 ) のら，推定パーミュテーション行列を次式のように構成できる．
"
#
"
#
1 0
0 1
−1
ˆ
ˆ
ˆ
𝑷𝑖 𝑗 = 𝑙 𝑖1 𝑗
+ 𝑙 𝑖2 𝑗∈ [0, 1] 𝑁 ×𝑁
(20)
0 1
1 0

間の平均二乗誤差（mean squared error: MSE）を損失関数に用（注 2）：実際は 𝑙𝑖1 及び 𝑙𝑖2 の定義は逆でもよい．この定義の順序は分離音源全体

提案手法を適用した結果が，( 𝒁1 , 𝒁2 ) 及び ( 𝒁2 , 𝒁1 ) のどちらでいる．ここで，2. 3 節で述べた通り，提案手法は音源信号全体−1 の推定）を目的としない．即ち，の順序の不定性の解決（ 𝑷all

−1 を推定しない本稿の問題設定では任意である．
の順序にのみ影響するため， 𝑷all

また，3. 4 節に示す方法により，この任意性を残したまま DNN を学習できる．

（注 3）：即ち 2𝐼 次元への全結合層による変換と等価だが，明示的に分岐させる．

- 65 -

—4—

・
・
・

0.5 0.5
0.5 0.0
0.5 1.0
0.0 1.0

Time

Frequency

Frequency

Calculate
MSE with PIT

Frequency

・・・Frequency

・・・Frequency

0.9 0.1
0.7
0.9 0.9
0.1

0.1
0.9

Frequency

Frequency-wisematrix multiplication

Time

Time

Time

Time

Time

Fig. 4: Calculation of MSE with PIT.
Table 1: Speech and music sources obtained from SiSEC2011

出力されようとも構わない．この不定性を許容しつつ予測とラベルの誤差を測るために，順序不変学習（permutation invariant

Signal typetraining: PIT）[18] を導入した損失関数 L を用いる．

Female speech dev3_female4_inst_src_2

10.0

Male speech

10.0

L = min (𝐿 1 , 𝐿 2 )(21)

𝒁 𝑗2 − 𝒁ˇ 𝑗2 || 22
𝐿 1 = || b̌
𝒁 𝑗1 − 𝒁ˇ 𝑗1 || 22 + || b̌(22)

𝐿 2 = || b̌
𝒁 𝑗1 − 𝒁ˇ 𝑗2 || 22 + || b̌
𝒁 𝑗2 − 𝒁ˇ 𝑗1 || 22(23)

Data namedev2_male4_inst_src_2

Length [s]Pianodev2_nodrums_liverec_250ms_src_3 11.0

Drums

dev2_wdrums_liverec_250ms_src_3

11.0

長（短時間信号長）は 2048 点（128 ms），シフト長は 1024 点

ここで，min(·, ·) は複数のスカラー引数の中で最小値を返す処
理を表す．この PIT の導入により，DNN は周波数間の音源順
序の整列にのみ注力し，分離信号全体の順序には依存しない学習が実現できる．

（64 ms）と設定した．各信号のスペクトログラムは 𝐼 = 1025 及
び 𝐽 = 158（音声信号）又は 𝐽 = 173（音楽信号）となった．式(15) で抽出する局所時間フレーム数は 2𝛽 + 1 = 27 と設定した．
本実験では，IVA や ILRMA 等で生じることの多いブロック
パーミュテーション問題 [19] を模擬した．これは，ある程度

3. 5 学習済の DNN のテストデータへの適用まとまった周波数帯域（ブロック）単位でパーミュテーション

DNN 学習後は，提案手法を FDICA の推定信号 (𝒀1 , 𝒀2 ) に適問題が発生する現象である．具体的には，各ブロックの周波数用できる．このとき，パーミュテーション問題は時不変な分離
行列 𝑾𝑖 で生じることから，正しい音源順序は時間フレーム方
向には常に一定である（ 𝑷𝑖−1 は 𝑗 に非依存）．そのため，テストデータへの適用時には，様々な時間 𝑗 の局所時間パワースペ
クトログラム (𝒀ˇ 𝑗1 , 𝒀ˇ 𝑗2 ) を DNN に入力し，その各々から予測𝐽される推定局所時間パーミュテーション行列 ( 𝑷ˆ𝑖−1𝑗 ) 𝑗=1 を多数決処理して時不変な行列 𝑷ˆ𝑖 に変換することで，更なる精度向上が期待できる．この時間方向の多数決処理は次式で表せる．
𝐽© 1 Õ ˆ −1 ª𝑷ˆ𝑖−1 = round ­𝑷𝑖 𝑗 ® ∈ {0, 1} 𝑁 ×𝑁
𝐽
𝑗=1
«
¬

ビン数を 16 として (𝑺1 , 𝑺2 ) の全周波数を 64 ブロックに分割
し，ブロック単位でランダムに 𝑺1 及び 𝑺2 の成分を入れ替えることで FDICA の推定信号 (𝒀1 , 𝒀2 ) を模擬した．DNN の学習
データは，各実験条件の推定信号 (𝒀1 , 𝒀2 ) （入力）及び分離信号 ( 𝒁1 , 𝒁2 ) （ラベル）の局所時間スペクトログラムを用いた．
但し，入力はパーミュテーション問題を模擬するランダム入れ替えを重複無しの 300 パターンで生成したものであり，学習エ
ポック数は 1000 回とした．性能評価に用いるテストデータは同一の入力だが，学習データには含まれていないランダム入れ(24)

替え 1 パターンで生成した (𝒀1 , 𝒀2 ) を用いた．評価指標には，
テストデータに対する周波数毎の並び替えの正答率及び信号対

ここで，round(·) は入力された行列を要素毎に四捨五入する処

歪み比（source-to-distortion ratio: SDR）[20] の改善量を用いた．

理を表す．最終的な推定分離信号は次式で得られる．

𝒛ˆ𝑖 𝑗 = 𝑷ˆ𝑖−1 𝒚𝑖 𝑗

4. 2 実 験 結 果
Figs. 5 及び 6 はそれぞれ音声信号及び音楽信号でブロック(25)

パーミュテーション問題を模擬したスペクトログラム (𝒀1 , 𝒀2 ) 及

な お ，推 定 分 離 信 号 𝒛ˆ𝑖 𝑗 を 時 間 周 波 数 で ま と め た 行 列 を𝒁ˆ 𝑛′ ∈ C 𝐼×𝐽 と定義する．

4. 実

験

び提案手法でパーミュテーション問題を解決した結果 ( 𝒁ˆ 1 , 𝒁ˆ 2 )を示している． (𝒀1 , 𝒀2 ) はいずれも周波数方向に一貫性のないスペクトログラムであるが， ( 𝒁ˆ 1 , 𝒁ˆ 2 ) は各周波数成分に連続性が確認でき，高い精度でパーミュテーション問題を解決できていることが分かる．

4. 1 実 験 条 件
本稿では，基礎的な実験として，パーミュテーション問題の

DNN のテストデータに対する周波数毎の並び替えの正答率

解決に DNN を用いることの妥当性について調査する．この実は，音声信号では 92.5%，音楽信号では 97.5% であった．ま験では，音源信号 (𝑺1 , 𝑺2 ) として Table 1 に示す男女の音声信号

た，SDR の改善量は Female speech 及び Male speech がそれぞれ（Female speech 及び Male speech）又はドラムとピアノの音楽信

23.8 dB 及び 24.7 dB，Piano 及び Drums がそれぞれ 27.0 dB 及号（Piano 及び Drums）の 2 種類のペアを用いた．両信号のサび 17.0 dB であり，この結果は提案手法におけるパーミュテー

ンプリング周波数は 16 kHz である．STFT における分析窓関数

ション問題の解決精度を客観的に示している．

- 66 -

—5—

6
4
2
0

0

5

6

2

0

55

10 10

55

10 10

Time [s]8Frequency [kHz]Frequency [kHz]

文

4

0

10

Time [s]の助成を受けたものである。

8
6
4
2
0

謝辞 本研究の一部は JSPS 科研費 19K20306 及び 22H03652

8Frequency [kHz]Frequency [kHz]

8

0

55

Time[s]
[s]
Time

6
4
2
0

10 10

0

Time [s]Fig. 5: Input speech spectrograms with simulated permutation problem (upper) and permutation-aligned speech spectrograms (bottom).
8

Frequency [kHz]Frequency [kHz]

8
6
4
2
0

0

5

2

0

5

10

5

10

Time [s]8Frequency [kHz]Frequency [kHz]

8
6
4
2
0

4

0

10

Time [s]

6

0

5

10

Time [s]

6
4
2
0

0

Time [s]Fig. 6: Input music spectrograms with simulated permutation problem (upper) and permutation-aligned music spectrograms (bottom).

5. ま と め
本稿では，FDICA におけるパーミュテーション問題を DNNで解決する手法を提案し，その妥当性について基礎的な検討を示した．実験結果より，学習データとテストデータが同一信号という理想的な条件では，DNN はブロックパーミュテーション
問題を解決するようなパーミュテーション行列を十分な精度で予測できることが明らかとなった．今後の課題として，様々な音響信号から学習した DNN で未知の音響信号のパーミュテー
ション問題を解決できるかの調査や，周波数方向の関連を明確に学習するための双方向再帰型 DNN の活用等が挙げられる．

付録［定理 1］ Birkhoﬀ–von Neumann の定理
二重確率行列 𝑨 が与えられたとき，𝑨 は同じサイズのパーミュ
𝑁 ! の凸結合で表せる．即ち，凸結合係数
テーション行列 {𝑷𝑛 } 𝑛=1
ÍÍ𝜎𝑛（𝜎𝑛 ≥ 0 かつ 𝑛 𝜎𝑛 = 1）を用いて 𝑨 = 𝑛 𝜎𝑛 𝑷𝑛 と書ける．

献[1] H. Sawada, N. Ono, H. Kameoka, D. Kitamura, and H. Saruwatari,“A review of blind source separation methods: Two converging routes
to ILRMA originating from ICA and NMF,” APSIPA Trans. Signal
and Info. Process., vol. 8, no. e12, pp. 1–14, 2019.
[2] P. Comon, “Independent component analysis, a new concept?,” Signal
Process., vol. 36, no. 3, pp. 287–314, 1994.
[3] P. Smaragdis, “Blind separation of convolved mixtures in the frequency domain,” Neurocomputing, vol. 22, pp. 21–34, 1998.
[4] N. Murata, S. Ikeda, and A. Ziehe, “An approach to blind source
separation based on temporal structure of speech signals,” Neurocomputing, vol. 41, no. 1–4, pp. 1–24, 2001.
[5] H. Saruwatari, T. Kawamura, T. Nishikawa, A. Lee, and K. Shikano,“Blind source separation based on a fast-convergence algorithm combining ICA and beamforming,” IEEE Trans. Audio, Speech, Lang.
Process., vol. 14, no. 2, pp. 666–678, 2006.
[6] H. Sawada, S. Araki, and S. Makino, “Measuring dependence ofbin-wise separated signals for permutation alignment in frequencydomain BSS,” Proc. ISCAS, pp. 3247–3250, 2007.
[7] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee, “Blind source separation exploiting higher-order frequency dependencies,” IEEE Trans.
Audio, Speech, Lang. Process., vol. 15, no. 1, pp. 70–79, 2007.
[8] N. Ono, “Stable and fast update rules for independent vector analysis
based on auxiliary function technique,” Proc. WASPAA, pp. 189–192,
2011.
[9] D. D. Lee and H. S. Seung, “Learning the parts of objects by nonnegative matrix factorization,” Nature, vol. 401, pp. 788–791, 1999.
[10] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and H. Saruwatari,“Determined blind source separation unifying independent vector
analysis and nonnegative matrix factorization,” IEEE/ACM Trans.
Audio, Speech, Lang. Process., vol. 24, no. 9, pp. 1626–1641, 2016.
[11] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and H. Saruwatari,“Determined blind source separation with independent low-rank matrix analysis,” in Audio Source Separation, S. Makino, Ed., pp. 125–155. Springer, Cham, 2018.
[12] N. Makishima, S. Mogami, N. Takamune, D. Kitamura, H. Sumino, S. Takamichi, H. Saruwatari, and N. Ono, “Independent deeply
learned matrix analysis for determined audio source separation,”
IEEE/ACM Trans. Audio, Speech, Lang. Process., vol. 27, no. 10,
pp. 1601–1615, 2019.
[13] K. Yatabe and D. Kitamura, “Determined BSS based on timefrequency masking and its application to harmonic vector analysis,”
IEEE/ACM Trans. Audio, Speech, Lang. Process., vol. 29, pp. 1609–
1625, 2021.
[14] D. Kitamura, N. Ono, and H. Saruwatari, “Experimental analysis of
optimal window length for independent low-rank matrix analysis,”
Proc. EUSIPCO, pp. 1210–1214, 2017.
[15] S. Yamaji and D. Kitamura, “DNN-based permutation solver for
frequency-domain independent component analysis in two-source
mixture case,” Proc. APSIPA ASC, pp. 781–787, 2020.
[16] A. Horn, “Doubly stochastic matrices and the diagonal of a rotation
matrix,” Am. J. Math., vol. 76, no. 3, pp. 620–630, 1954.
[17] K. Matsuoka and S. Nakashima, “Minimal distortion principle forblind source separation,” Proc. ICA, pp. 722–727, 2001. Proc. ICML,
2010.
[18] D. Yu, M. Kolbak, Z.-H. Tan, and J. Jensen, “Permutation invariant
training of deep models for speaker-independent multi-talker speech
separation,” Proc. ICASSP, pp. 241–245, 2017.
[19] Y. Liang, S. M. Naqvi, and J. A. Chambers, “Overcoming block permutation problem in frequency domain blind source separation whenusing AuxIVA algorithm,” Electron. Lett., vol. 48, no. 8, pp. 460–462,
2012.
[20] E. Vincent, R. Gribonval, and C. Févotte, “Performance measurementin blind audio source separation,” IEEE Trans. Audio Speech Lang.
Process., vol. 14, no. 4, pp. 1462–1469, 2006.

- 67 -—6—