第37回信号処理シンポジウム
2022年12月13日〜15日（朱鷺メッセ 新潟）

周波数双方向再帰に基づく深層パーミュテーション解決法
Deep Permutation Solver Based on Frequency Bidirectional Recursion
蓮池郁也 †

北村大地 †
渡辺瑠伊 ‡† 香川高等専門学校‡ 北陸先端科学技術大学院大学

川口翔也 †Fumiya HASUIKE† , Daichi KITAMURA† , Rui WATANABE‡ , and Shoya KAWAGUCHI††National Institute of Technology, Kagawa College‡Japan Advanced Institute of Science and Technology    





分離で発生する周波数領域のパーミュテーション問題に   

本稿では，周波数領域ブラインド音源



  

 

ついて取り扱う．我々は過去に深層ニューラルネットワー

 ク（DNN）に基づくパーミュテーション解決法を提案し

たが，この手法ではブロック単位で周波数成分が入れ替
わるブロックパーミュテーション問題しか解けない問題  
  




アブストラクト  

 

 

があった．そこで本稿では DNN のネットワーク構造を改    

良し，周波数ビン単位のパーミュテーション問題を解決

Fig. 1できる手法の構築を目指す．提案法では，双方向再帰型

DNN を周波数方向に適用することで，従来手法では解けなかった周波数ビン単位のパーミュテーション問題が解決できることを実験的に確認する．
1

Permutation problem in FDICA (N = 2).

クパーミュテーション問題が生じることが報告されている [9–11]．このブロックパーミュテーション問題の解決法も研究されており，ユーザとのインタラクションを用いる手法 [10] や音源モデルを用いてコスト行列を設計しはじめにハンガリー法を適用する手法 [11, 12] が提案されている．
ブラインド音源分離（blind source separation: BSS）[1]

一方で，音源モデルを仮定してパーミュテーション問とは，事前情報を用いることなく，複数の音源が混合した観題を回避するのではなく，分離信号の正しい並び替えのみ

測信号から混合前の各音源信号を推定する技術である．優を目的とする深層ニューラルネットワーク（deep neural

決定条件下では，独立成分分析（independent component

network: DNN）の学習も検討されている [13–16]．これをanalysis: ICA）[2] に基づく手法として周波数領域 ICA 深層パーミュテーション解決法（deep permutation solver:（frequency-domain ICA: FDICA）[3] が提案されている． DPS）と呼ぶ．特に文献 [14–16] では，多層パーセプトロ
FDICA は観測信号の各周波数ビンに独立な ICA を適用 ン（multilayer perceptron: MLP）を用いた DNN に基づすることで BSS を行うが，ICA は一般に分離信号の順序 く DPS（以後，MLP-DPS と呼ぶ）が検討され，ある程が不定である．従って，Fig. 1 に示すように，FDICA に 度のブロックパーミュテーション問題の解決ができるこ
は分離信号成分の順序が周波数間で不揃いになる問題が とが示されたが，本稿の実験で確認する通り，MLP-DPS
生じる．この問題はパーミュテーション問題と呼ばれる． は周波数ビン単位のパーミュテーション問題を解決でき
BSS の歴史では，様々なパーミュテーション問題の解 ない．そこで本稿では，周波数ビン単位のパーミュテー
決法が提案されてきた（例えば [4] など）．その後，音源 ション問題を解決する DPS の構築を目指し，周波数双方
信号の時間周波数構造に関する仮定（音源モデル）を導 向再帰を用いた DNN を DPS に活用する．
入し，パーミュテーション問題の解決と周波数毎の BSS
2 FDICA とパーミュテーション問題
を同時に行う手法が提案された [5, 6]．近年では，音源モ
2.1 信号の定義
デルを事前学習する手法も提案されている [7, 8]．
しかしながら，これらの手法をもってしても，特定のまとまった帯域で分離信号成分の順序を間違えるブロッ

短時間 Fourier 変換（short-time Fourier transform:
STFT）を適用して得られる時間周波数領域の音源信号，- 308 -

第37回信号処理シンポジウム
2022年12月13日〜15日（朱鷺メッセ 新潟）

観測信号，及び分離信号を次式でそれぞれ表す．

sij = [sij1 , sij2 , · · · , sijn , · · · , sijN ]

∈ CN

T

xij = [xij1 , xij2 , · · · , xijm , · · · , xijM ]zij = [zij1 , zij2 , · · · , zijn , · · · , zijN ]

(1)

∈ CM

(2)

∈ CN

(3)

T

T

の 6 通りの内のいずれかを取る．そのため，FDICA で得られる信号を yij とすると，次式のように推定信号成分の順序やスケールが周波数間で不揃いである．

yij = Ŵi xij= yij1 , yij2 , · · · , yijni , · · · , yijN

ここで，i = 1, 2, · · · , I ，j = 1, 2, · · · , J ，n = 1, 2, · · · , N ，

m = 1, 2, · · · , M ，及び n = 1, 2, · · · , N はそれぞれ周波
数ビン，時間フレーム，音源信号，観測チャネル，及び分離信号のインデクスを示す1 ．また，·T は転置を表す．
さらに，分離信号の複素スペクトログラムを Zn ∈ CI×Jと定義する．本稿では，以後 M = N を仮定する．
2.2

BSS の定式化と FDICA

FDICA では，観測信号を次式で表す．
xij = Ai sij(4)

ここで，Ai ∈ CM ×N は周波数毎の時不変混合行列であ∈る．Ai が正則であれば周波数毎の分離行列 Wi = A−1
i

T

∈ CN

(10)

ここで，ni = 1, 2, · · · , N は周波数ビン i 毎に音源の順序が異なっている状態を表すための新たな音源インデクスである．Di で生じる周波数間のスケールの不整合は，プロ
ジェクションバック法 [17] で解析的に復元できる．しかし，

Pi で生じる周波数間の音源順序の不整合を全周波数ビンにわたって復元（整列）すること（Pi−1 の推定）は容易
ではなく，パーミュテーション問題と呼ばれる．パーミュ
テーション問題の概要を Fig. 1 に示す．ここで，FDICAで得られる推定信号 yij の n 番目のスペクトログラムを
Yn ∈ CI×J と定義している．
理想的なパーミュテーション問題の解決は

CN ×M が存在し，理想的な分離信号を次式で表せる．
zij = Wi xij(9)zij = Pi−1 Di−1 yij

(5)

(11)

従って FDICA は，観測信号 xij の各周波数ビンに対してと表せる．但し厳密には，周波数間の音源順序の整列後独立に（複素数の）ICA を適用している．

も，全周波数をまとめた音源信号全体の順序の不定性は2.3残るため，分離信号は次式となる．

パーミュテーション問題

ICA は，分離信号成分の周波数毎のスケール及び順序が不定である．従って，FDICA の推定分離行列を Ŵi ∈CN ×M とすると，たとえ完全な推定が実現できたとしても，真の分離行列 Wi に対して次式の不定性が残る．
Ŵi = Di Pi Wi

zij = Pall Pi−1 Di−1 yij(12)

ここで，Pall ∈ {0, 1}N ×N は周波数に非依存なパーミュ
テーション行列である．本稿では，この音源信号全体の順序の復元は対象としない．

(6)

ここで，Di ∈ RN ×N は，win のスケールを変化させる可能性のある対角行列である．また，Pi ∈ {0, 1}N ×N は分

提案手法

3
3.1

提案手法の動機

離行列 Wi の行ベクトル win の順序を入れ変えうるパー

パーミュテーション問題をできるだけ回避する BSS とミュテーション行列（置換行列）である．例えば，N = 2

して，音源モデルに基づく手法が広く検討されてきたが，であれば Pi は

幅広い音源に適合する万能な音源モデルの構築は困難であ


Pi =

1
0




0
0 1
or
1
1 0

る．著者らは，汎化性能の高いパーミュテーション解決モ(7)

文献 [14–16] で提案した DPS は，ブロックパーミュテーの 2 通りの内のいずれかを取り，N = 3 であれば
⎤
⎤ ⎡
⎤ ⎡
⎡
0 1 0
1 0 0
1 0 0
⎥
⎥ ⎢
⎥ ⎢
⎢
Pi = ⎣0 1 0⎦ , ⎣0 0 1⎦ , ⎣1 0 0⎦ ,

0 0 1
0 1 0
1
⎡
⎤
⎤
⎡
⎤ ⎡
0 0 1
0 0 1
0 1 0
⎢
⎥
⎥
⎢
⎥ ⎢
⎣0 0 1⎦ , ⎣1 0 0⎦ , or ⎣0 1 0⎦
1 0 0
0 1 0
1 0 0
0

デルの構築を目的として，DPS を検討している [13–16]．
ション問題を解決できることを確認したが，本稿の実験で示す通り，周波数ビン単位のパーミュテーション問題の解決は困難であった．本稿では，各音源の周波数方向の関

0(8)1 分離信号は，音源の順序が必ずしも n と一致しているとは限らないため，n と n を使い分けている．

係性を明確に学習するために，長・短期記憶（long-shortterm memory: LSTM）ユニット [18] を用いた双方向再帰型ニューラルネットワーク（bidirectional recurrent neuralnetwork using LSTM: BiLSTM）に基づく DPS（以後，BiLSTM-DPS と呼ぶ）を提案し，周波数ビン単位のパー
ミュテーション問題の解決を目指す．

- 309 -

第37回信号処理シンポジウム
2022年12月13日〜15日（朱鷺メッセ 新潟） 


Fig. 2

Fig. 3

Estimation of permutation matrix (N = 2).

DNN architecture of BiLSTM-DPS (N = 2).

|Yn |.2

Y n =N.2n =1 |Yn |∈ [0, 1]I×J

・
・
・

 

・
・
・

    

 

・
・
・

 

 
 


 




FDICA からはパーミュテーション問題が生じた状態の推定信号の複素スペクトログラム (Yn )Nn =1 が得られる．
MLP-DPS 及び BiLSTM-DPS ではまず，これらの信号を次式で正規化パワースペクトログラムに変換する．

 

DPS における DNN の入出力

 

 

         !

3.2




  








Fig. 4



 



 







 



・
・
・

 




    
 


 




 







   

    

 



    





 



Loss function using MSE with PIT (N = 2).

(13)列の次元をもつ入力に対して，その系列の順方向及び逆

ここで，| · |.2 及び括線はそれぞれ行列の要素毎の絶対値の 2 乗及び要素毎の割り算を示す．この正規化は，同一音源に属する成分の相関を強調する [4]．次に，(Y n )Nn =1から，次式のように時間フレーム j を中心とする局所時
間パワースペクトログラムを抽出する．

方向の再帰性を考慮した学習ができる DNN である．

Fig. 3 に BiLSTM-DPS で用いる DNN の構造を示す．
最初に BiLSTM を 3 層適用する2 ．各 BiLSTM 層では，
(f)
周波数ビンの順方向の特徴量 hi ∈ RN (2β+1) と逆方向の(b)
特徴量 hi ∈ RN (2β+1) を出力し，次式のように同一周波数ビンで要素毎に乗算したベクトルを出力する．

Y̌jn = [y (j−β)n · · · y (j+β)n ] ∈ [0, 1]I×(2β+1) (14)(f)

ここで，y jn ∈ [0, 1] は Y n の j 列目の列ベクトルを表す．
また，β （0 以上の整数）は時間フレーム j の近傍時間フ
レームをどの程度 DNN に入力するかを決めるハイパーパ
ラメータである．MLP-DPS では (Y̌jn )Nn =1 をベクトル化
し MLP に入力するが，BiLSTM-DPS では (Y̌jn )Nn =1 をI×N (2β+1)
時間方向に結合した行列 Y̌j1 · · · Y̌jN ∈ [0, 1](b)hi = hi  hi

I

∈ RN (2β+1)(16)

ここで， は要素毎の積を表す．3 層の BiLSTM の後は，
特徴量 hi を N (2β + 1) から N ! に次元圧縮するために，周波数毎の全結合層を通し Softmax 関数を適用する．

を BiLSTM に入力する（Fig. 2 参照）．

l̂i = Softmax(Dense(hi )) ∈ [0, 1]N !

(17)

ここで，Dense(·) 及び Softmax(·) はそれぞれ全結合層とMLP-DPS 及び BiLSTM-DPS は，予測結果として行 Softmax 関数を表す．DNN の出力である L̂j は，l̂iT を行
列 L̂j ∈ [0, 1]I×N ! を出力する．L̂j はパーミュテーショ ベクトルに持つ行列である．Softmax 関数により，L̂j のン行列の予測確率値 ˆliqj ≥ 0 から構成される行列であり， 要素は ˆliqj ≥ 0 かつ q ˆliqj = 1 が保証されている．
q = 1, 2, · · · , N ! は N 個の音源に対する N ! 通りの順列の
3.4 DPS における DNN の損失関数
liqj は確率値なので q ˆliqj = 1
インデクスを表す．また，ˆ
推定パーミュテーション行列 P̂ij−1 を求めた後の処理をを満たす．この時，N = 2 を例とすると予測パーミュテー
N
Fig. 4 に示す．ここで，Fig. 4 中の (Ýjn )Nn =1 は (Yn )n =1ション行列は ˆ
li1j と ˆli2j を用いて次式のように表せる．
の局所時間複素スペクトログラムである．DNN を用いて




N
1
0
0
1
(15) 求めた予測分離信号 (Ž n )n =1 と予測分離信号に対する正+ ˆli2j∈ [0, 1]N ×N
P̂ij−1 = ˆli1j
N
0 1
1 0
解ラベル (Žn )Nn =1（分離信号 (Zn )n =1 の局所時間複素N
スペクトログラム）を用意し，(Ž n )Nn =1 と (Žn )n =1 の
3.3 BiLSTM-DPS における DNN の構造間で損失関数として平均二乗誤差（mean squared error:
BiLSTM-DPS では，周波数ビン単位のパーミュテーショ
−1MSE）を用いる．ここで，提案 DPS は Pallの推定を目
ン問題を解くうえで重要となる各音源の周波数方向の関係
2 ここでは 1 つの BiLSTM の中で層を増やす構造（multilayer BiL性を明確に学習するため，周波数方向に対して BiLSTM
STM）ではなく，BiLSTM 層そのものを複数重ねる構造（stacked BiLを適用する．BiLSTM は，時間や周波数等の連続的な系 STM）を採用している．

- 310 -

第37回信号処理シンポジウム
2022年12月13日〜15日（朱鷺メッセ 新潟）

Table 1 Speech and music sources obtained fromSiSEC2011 [20]点（128 ms），シフト長は 1024 点（64 ms）に設定し，窓SourceData name

Length関数には Hann 窓を用いた．本実験では，2 つの音源信号

Male speechdev2 male4 inst src 2.wav

10.0 sFemale speech

dev3 female4 inst src 2.wav

10.0 s

Drums
Guitar

dev1 wdrums src 3.wav
dev1 wdrums src 2.wav

11.0 s
11.0 s(S1 , S2 ) を周波数ビン単位でランダムに入れ替えること
で，パーミュテーション問題が残る推定信号 (Y1 , Y2 ) を模擬した．学習データには重複なしのランダム入れ替え
150 パターンで作成した (Y1 , Y2 ) を用い，テストデータには，学習データにはないランダム入れ替え 10 パターンで作成した (Y1 , Y2 ) を用いた．

Signal type
Speechはいずれも 16 kHz である．STFT における窓長は 2048

Music的としないため，順序不変学習（permutation invariant
training: PIT）[19] を導入した損失関数 L を用いる．

L = min(C1 , C2 , · · · , Cq , · · · , CN ! )
Cq =

N


||Ž jn − ŽjP(q,n ) ||22

(18)
(19)

従来 DPS の DNN の条件等は文献 [13] と同一とした．

MLP-DPS 及び BiLSTM-DPS では，局所時間長を β = 13に設定し，最適化手法は Adam，ミニバッチサイズは 8，
エポック数は 500 とした．その他の設定は文献 [15, 16]n

ここで，min(·) は入力の最小値を返す関数であり，P(q, n )と同一である．評価指標には，信号対歪み比（source-to-

は N ! 個の全てのありうる順列の内，q 番目の順列におけ

distortion ratio: SDR）[21] の改善量を用いた．

る n 番目の値を返す処理を表す．

4.2

3.5

DPS のテストデータへの適用

4.2.1

DNN 学習後は，DPS を推定信号 (Yn )Nn =1 に適用でき
る．パーミュテーション問題は時不変な分離行列 Ŵi で生じることから，正しい音源順序は時間フレーム方向には常に一定である．そのため，テストデータへの適用時は，様々な時間 j の局所時間パワースペクトログラム (Y̌jn )Nn =1
を DPS に入力し，出力 (P̂ij−1 )Jj=1 を次式のように多数決処理することで，更なる精度向上が期待できる．
⎞
⎛
J

1
(20)
P̂i−1 = round ⎝P̂ −1 ⎠ ∈ {0, 1}N ×N
J j=1 ij
ここで，round(·) は入力行列の要素毎の四捨五入を表す．
最終的な推定分離信号は次式で得られる．

ẑij = P̂i−1 yij

実験結果

In-domain のテストデータに対する結果

Tables 2 及び 3 は，それぞれ音楽信号及び音声信号のin-domain のテストデータに対する SDR を示している．
In-domain では学習データとテストデータで同じ音源信号 (S1 , S2 ) を用いていることから，高い性能であっても過学習を起こしている可能性がある点に留意する．
結果より，従来 DPS では観測の SDR 値から一定量の改善があるものの，音楽信号で平均 3 dB 程度，音声信号で平均 10 dB 程度となった．また，MLP-DPS はほとんど
全てのデータに対して SDR の改善が得られなかった．文献 [15, 16] の実験結果と合わせて考察すると，MLP-DPS
ではブロックパーミュテーション問題を解決するモデルの学習は可能だが，本実験の学習方法では周波数ビン単位のパーミュテーション問題を解決するモデルの学習が(21)

困難なことが分かる．一方，BiLSTM-DPS ではほぼ全てのデータで 50 dB 以上の SDR の改善があり，周波数ビン

実験

4
4.1

単位のパーミュテーション問題を解決できている．

実験条件

4.2.2

従来 DPS [13]，MLP-DPS [14–16]，及び BiLSTM-DPSの汎化性能を評価するために，音声信号だけを用いて学習した DNN モデルと音楽信号だけを用いて学習した DNNモデルの 2 つを用意し，in-domain（学習データとテスト
データに全く同じ音源を用いる）と out-of-domain（学習データとテストデータに異なる種類の音源を用いる）に対する実験を行った3 ．具体的には，音源信号 (S1 , S2 ) として Table 1 の男女の音声信号又はドラムとギターの音楽信
号の 2 種類のペアを用いた．信号のサンプリング周波数
3 本実験は文献 [15, 16] の実験条件を踏襲しているが，ブロックパー
ミュテーション問題ではなく周波数ビン単位のパーミュテーション問題を対象とする点のみが異なる実験条件になっている．

Out-of-domain のテストデータに対する結果

Tables 4 及び 5 は，それぞれ音楽信号及び音声信号のout-of-domain のテストデータに対する SDR を示している．即ちこれらの結果は「音声信号で学習した DPS が音楽
信号のパーミュテーション問題を解決できるか（Table 4）」
及び「音楽信号で学習した DPS が音声信号のパーミュテー
ション問題を解決できるか（Table 5）」をそれぞれ表しており，各モデルの汎化性能を比較している．また，観測
信号及び各手法の out-of-domain における推定結果の一例（female speech 及び drums）を Figs. 5 及び 6 に示す．
MLP-DPS は，Tables 4 及び 5 の両条件において，indomain と同様にパーミュテーション問題の解決に失敗し- 311 -

第37回信号処理シンポジウム
2022年12月13日〜15日（朱鷺メッセ 新潟）

Table 2 SDRs [dB] for music test data using DPS
trained with music signals (in-domain evaluation)
Test data
patternObserved
signal

1

-0.95

2

2.00

3

0.55

4

Conventional
DPS

Table 4 SDRs [dB] for speech test data using DPS
trained with music signals (out-of-domain evaluation)

MLP-DPSBiLSTM-DPS

Test data
patternObserved
signalConventional
DPS

MLP-DPSBiLSTM-DPS

2.95

1.80

64.75

1

-6.25

-8.00

-4.45

33.55

2.95

-0.20

64.75

2

-6.85

-5.85

-5.00

22.85

2.95

2.75

155.00

3

-5.40

-7.20

-6.25

33.85

1.25

2.95

2.25

64.75

4

-6.45

-7.60

-6.60

23.50

5

-1.00

2.95

-1.25

66.65

5

-6.60

-7.40

-5.90

22.00

6

-1.00

2.95

-1.40

61.15

6

-6.45

-7.25

-4.95

24.05

7

-0.85

2.95

-1.95

66.65

7

-6.35

-1.40

-5.65

23.60

8

-0.15

2.95

2.10

64.75

8

-5.50

-7.65

-6.70

26.65

9

0.60

2.95

0.70

64.75

9

-5.85

-6.40

-4.75

25.15

10

-0.35

2.95

-0.80

61.15

10

-5.55

-7.90

-5.45

24.05

Table 3 SDRs [dB] for speech test data using DPS
trained with speech signals (in-domain evaluation)

Table 5 SDRs [dB] for music test data using DPS
trained with speech signals (out-of-domain evaluation)

MLP-DPSBiLSTM-DPS

Test data
patternObserved
signalConventional
DPS

3.60

-8.45

44.5

1

-0.95

4.65

-7.45

44.5

2

2.00

-5.40

3.60

-9.10

44.5

3

4

-6.45

3.55

-6.20

44.5

5

-6.60

4.70

-7.95

6

-6.45

4.65

7

-6.35

8

Test data

Observed

Conventional

patternsignal

DPS

1

-6.25

2

-6.85

3

MLP-DPSBiLSTM-DPS

5.05

4.85

3.35

5.05

-0.50

1.75

0.55

5.05

2.55

3.35

4

1.25

11.35

0.40

3.35

44.5

5

-1.00

11.35

0.50

3.35

-8.50

44.5

6

-1.00

11.35

2.05

3.35

3.60

-6.80

44.5

7

-0.85

11.35

0.30

3.35

-5.50

4.65

-8.45

44.5

8

-0.15

5.05

-0.40

3.35

9

-5.85

3.60

-7.65

44.5

9

0.60

5.05

-0.35

3.35

10

-5.55

4.65

-7.70

44.5

10

-0.35

5.05

-1.25

1.75

ている．従来 DPS は，Table 4 の条件では改善が得られ5まとめなかったが，Table 5 では一定の改善を確認でき，音声信

本稿では，BSS における DPS の検討として，音源の周号で学習した従来 DPS がある程度の汎化性能を獲得して波数方向の関係性を明確にとらえるために双方向再帰にいることが分かる．一方，BiLSTM-DPS は Table 5 で性基づく手法を提案し，パーミュテーション問題の解決性能が低下したものの，Table 4 において 24 dB 以上の改善能に関する評価を行った．実験結果より，周波数ビン単位が得られており，従来 DPS とは逆に音楽信号で学習したのパーミュテーション問題を解決できる汎用な DPS が省

BiLSTM-DPS が汎化性能を獲得している．

サンプルの音響信号で構築できる可能性が示唆された．

Tables 3 及び 5 の結果から，音声信号で学習した
BiLSTM-DPS は過学習を起こしていることが予想される．参考として，BiLSTM-DPS を音楽信号又は音声信号で学習した際の損失関数値の遷移を Fig. 7 に示す．音声
信号での学習時は音楽信号での学習時と比べて損失関数値が小さいことから，パーミュテーション問題を完全に解決した信号（即ち音源信号 (S1 , S2 )）を記憶するような過学習が起こったと予想される．本実験条件は，Table 1の音声信号ペア又は音楽信号ペアの音源信号のみで DNNを学習しており，非常に少ないサンプルからモデルを構築する few-shot learning となっているため，このような過学習を避ける対処が重要となる．それでも，音楽信号で学習した BiLSTM-DPS が音声信号のパーミュテーショ
ン問題をある程度解決できたことから，few-shot learning
でも実用的な DPS が学習できる可能性が示唆された．

謝辞

本研究の一部は JSPS 科研費 22H03652 の助成を受けたものである.
参考文献- 312 -

[1] H. Sawada, N. Ono, H. Kameoka, D. Kitamura, and
H. Saruwatari, “A review of blind source separation methods:
Two converging routes to ILRMA originating from ICA and
NMF,” APSIPA TSIP, vol. 8, no. e12, pp. 1–14, 2019.
[2] P. Comon, “Independent component analysis, a new concept?,”
Signal Process., vol. 36, no. 3, pp. 287–314, 1994.
[3] P. Smaragdis, “Blind separation of convolved mixtures in thefrequency domain,” Neurocomputing, vol. 22, pp. 21–34, 1998.
[4] H. Sawada, S. Araki, and S. Makino, “Measuring dependenceof bin-wise separated signals for permutation alignment infrequency-domain BSS,” Proc. ISCAS, pp. 3247–3250, 2007.
[5] T. Kim, H. T. Attias, S.-Y. Lee, and T.-W. Lee, “Blindsource separation exploiting higher-order frequency dependencies,” IEEE TASLP, vol. 15, no. 1, pp. 70–79, 2007.
[6] D. Kitamura, N. Ono, H. Sawada, H. Kameoka, and
H. Saruwatari, “Determined blind source separation unifying











 









 


















 



















 











 















 





















 
















 

第37回信号処理シンポジウム
2022年12月13日〜15日（朱鷺メッセ 新潟）























Fig. 5 Spectrograms of female speech signal: input(top-left), conventional (top-right), MLP- (bottom-left),

Fig. 6 Spectrograms of drums signal: input (topleft), conventional (top-right), MLP- (bottom-left), andand BiLSTM- (bottom-right) DPSs trained with musicsignals. (a) and (b) show 0–4 and 0–1 kHz, respectively.

BiLSTM- (bottom-right) DPSs trained with speech signals. (a) and (b) show 0–4 and 0–1 kHz, respectively.
  

independent vector analysis and nonnegative matrix factorization,” IEEE/ACM TASLP, vol. 24, no. 9, pp. 1626–1641, 2016.
[7] N. Makishima, S. Mogami, N. Takamune, D. Kitamura, H. Sumino, S. Takamichi, H. Saruwatari, and N. Ono, “Independent
deeply learned matrix analysis for determined audio source separation,” IEEE/ACM TASLP, vol. 27, no. 10, pp. 1601–1615,
2019.



[8] H. Kameoka, L. Li, S. Inoue, and S. Makino, “Supervised determined source separation with multichannel variational autoencoder,” Neural Computation, vol. 31, no. 9, pp. 1891–1914, 2019.

  
  









[9] Y. Liang, S. M. Naqvi, and J. A. Chambers, “Overcoming block
permutation problem in frequency domain blind source separation when using AuxIVA algorithm,” Electron. Lett., vol. 48,
no. 8, pp. 460–462, 2012.

Fig. 7 Behaviors of loss values for BiLSTM-DPS.

[10] F. Oshima, M. Nakano, and D. Kitamura, “Interactive speechsource separation based on independent low-rank matrix analysis,” Acoustical Science and Technology, vol. 42, no. 4, pp. 222–
225, 2021.

[16] F. Hasuike, D. Kitamura, and R. Watanabe, “DNN-basedfrequency-domain permutation solver for multichannel audio
source separation,” Proc. APSIPA ASC, 2022 (in press).

[11] L. Li, H. Kameoka, and S. Seki, “HBP: An eﬃcient block permutation solver using Hungarian algorithm and spectrogram
inpainting for multichannel audio source separation,” Proc.
ICASSP, pp. 516–520, 2022.
[12] 山地修平, 中嶋大志, 若林佑幸, 小野順貴, “ハンガリー法を用いたパーミュ
テーション解法に基づくブラインド音源分離,” 日本音響学会 2021 年秋季
研究発表会講演論文集, pp. 305–306, 2021
[13] S. Yamaji and D. Kitamura, “DNN-based permutation solver for
frequency-domain independent component analysis in two-source
mixture case,” Proc. APSIPA ASC, pp. 781–787, 2020.
[14] 蓮池郁也, 渡辺瑠伊, 北村大地, “深層ニューラルネットワークに基づくパー
ミュテーション解決法の基礎的検討,” 信学技報, EA2022-13, vol. 122,
no. 20, pp. 62–67, 2022.
[15] 蓮池郁也, 北村大地, 渡辺瑠伊, “深層パーミュテーション解決法の汎化性能に関する実験的評価,” 日本音響学会 2022 年秋季研究発表会講演論文集,
pp. 351–354, 2022.













 

[17] K. Matsuoka and S. Nakashima, “Minimal distortion principle
for blind source separation,” Proc. ICA, pp. 722–727, 2001.
[18] K. Greﬀ, R. K. Srivastava, J. Koutnı́k, B. R. Steunebrink,
and J. Schmidhuber, “LSTM: A search space odyssey,” IEEE
TNNLS, vol. 28, no. 10, pp. 2222–2232, 2016.
[19] D. Yu, M. Kolbak, Z.-H. Tan, and J. Jensen, “Permutation invariant training of deep models for speaker-independent multitalker speech separation,” Proc. ICASSP, pp. 241–245, 2017.
[20] S. Araki, F. Nesta, E. Vincent, Z. Koldovský, G. Nolte, A. Ziehe,and A. Benichoux, “The 2011 signal separation evaluation campaign (SiSEC2011):-audio source separation,” Proc. LVA/ICA,
pp. 414–422, 2012.
[21] E. Vincent, R. Gribonval, and C. Févotte, “Performance measurement in blind audio source separation,” IEEE TASLP,
vol. 14, no. 4, pp. 1462–1469, 2006.

- 313 -