Importance of Regularization in Superresolution-BasedMultichannel Signal Separation with Nonnegative Matrix Factorization
Daichi Kitamura, Hiroshi Saruwatari, Kiyohiro Shikano (Nara Institute of Science and Technology)
Kazunobu Kondo, Yu Takahashi (Yamaha Corporation)
4. 提案手法

1. 研究背景• 近年，音楽信号分離技術が注目されている

応用例
etc.

 先行研究• Nonnegative matrix factorization (NMF) [1] 提案手法の概要

 補助関数法による更新式の導出• 教師あり NMF と方位クラスタリングを組み合わせ，より確実に動作するマルチチャネル信号分解手法を提案する• 前段の方位クラスタリングにより，分離目的楽器音源が含まれる方位のみを抽出• 分解された同一方位の音源成分に対して，後段に教師ありNMF による分解を行い目的楽器音成分を抽出• 解析的に最適な変数を導出することは困難• コスト関数の上限を定める補助関数を設計
し，反復型の更新式を導出

モノラル信号が対象
各楽器音の調波構造を利用して特定楽器音のみを抽出分解したスペクトル基底を楽器ごとに分類することが困難

L

NMF をマルチチャネル信号分解に拡張
各楽器音の調波構造とチャネル間の位相情報を利用
分解行列の初期値依存性が強く，頑健性に欠ける

方位クラスタリング

𝑝+1𝑔𝑘,𝑡各チャネルに教師あり NMF を適用

教師あり NMF

方位• 目的方位成分の欠落は，スペクトルにおける穴となるため，後段の教師あり
NMF の分離精度を低下させる要因となる（解像度の低下）

目的方位成分の欠落

40

where 𝑔𝑘,𝑡 , ℎ𝜔,𝑙 , and 𝑢𝑙,𝑡 are entries of the matrices 𝑭, 𝑮, 𝑯, 𝑼.

0-20-40
0200

400
600
Frequency [Hz]

800

1000

𝑰

1 0 0 0 0 0 00 1 1 0 0 1 11 0 0 0 0 0 03. 方位クラスタリング

𝑯𝑛 𝜔, 𝑡 = 𝐻𝑛 𝑅 𝜔, 𝑡 , 𝐻𝑛 𝐿 𝜔, 𝑡
𝜔: 周波数ビン, 𝑡: 時間フレーム

TL-ch input signal ステレオ信号における推定𝑡 𝑖𝜔,𝑡 𝑢𝑙,𝑡𝑘 ′ 𝑓𝜔,𝑘 ′ 𝑔𝑘 ′ ,𝑡 +
𝜔 𝑖𝜔,𝑡 𝑦𝜔,𝑡 ℎ𝜔,𝑙

𝜔 𝑖𝜔,𝑡 ℎ𝜔,𝑙𝑘 ′ 𝑓𝜔,𝑘 ′ 𝑔𝑘 ′ ,𝑡 +クラスタリング結果から生成されるバイナリマスクをスペクトログラムにかけることで，特定の方位成分のみを分離できる+ 2𝜇𝑘 𝑓𝜔,𝑘𝑘 ′ 𝑓𝜔,𝑘 ′ 𝑔𝑘 ′ ,𝑡

𝜔′ 𝑓𝜔′ ,𝑘 ℎ𝜔′ ,𝑙ℎ𝜔,𝑙𝑝𝑙 ′ ℎ𝜔,𝑙 ′ 𝑢𝑙 ′ ,𝑡𝑢𝑙,𝑡

客観評価指標 [5]フルート，オーボエ，ピアノ，トロンボーン
4種類の楽器の等パワー混合信号
各楽器音の半音階で2オクターブ上昇する24音3
教師基底: 100, その他の基底: 30
教師基底学習時: 500, 分離時: 400
評価値が最も高くなる値を実験的に求める
Signal to distortion ratio (SDR: 目的音の品質),
Source to interference ratio (SIR: 分離度合),
Sources to artifact ratio (SAR: 処理歪みの少なさ)

観測信号

CenterLeft: 欠落

1 1 1 0 1 1 0: 目的楽音成分: 不要音成分時間

時間

４１Right

３40° 40°

時間

目的音成分の穴を NMF の距離関数から省く

音源成分

音源成分

• 選ばれた教師基底によって，欠落した目的音成分は外挿される• 方位クラスタリングによって劣化していた目的音成分の解像度が，本教師あり NMF によって復元される（これはスペクトログラムの超解像に相当する）
外挿された
目的成分

方位方位コスト関数

𝑇𝒥1 = 𝒟 𝑰 ∘ 𝒀 𝑰 ∘ (𝑭𝑮 + 𝑯𝑼) + 𝜇 𝑭 𝑯

𝟐Fr••••

各楽器音でメロディは固定
分離目的音は常に中央に配置, 同方位に干渉音源が存在
左右40∘ 方位にそれぞれ別の干渉音源が存在
1種の目的楽器音に対し 3パターンの配置を用意，計12パターンの音源に対して分離した結果の平均を比較
実験結果
121110987654321022920818716614121085436242

100

Index 𝑰 によって，NMF は低解像度データに引きずられず，最終的に信号を外挿して解像度を復元

 超解像における正則化
基底外挿による超解像における問題• 観測可能な成分が極端に少ない
フレームにおいては，いかなる教師基底もマッチングできる為，間違った教師基底によってスペクトルが外挿される可能性がある• このような外挿誤りを避ける為に，何らかの正則化が必要

考察

欠落グリッド数が多く (約99%が穴)，外挿誤りが生じたフレーム432100123Time [s]• 方位クラスタリングのみや教師無しのマルチチャネル NMF
では，目的音源の分離が極めて困難• 方位クラスタリングと超解像に基づく SNMF を用いた提案手法において，正則化無しの手法 (Proposed method 1) では
外挿誤りにより著しくスコアが低下した• 正則化を用いた提案手法 (Proposed method 2) では，従来の PSNMF を大きく上回る精度で分離できることが示された

4

参考文献

事前仮定

音楽信号に含まれる各成分 𝑿 𝜔, 𝑡
空間代表ベクトル 𝑯𝑛 𝜔, 𝑡 (𝑛 = 1, . . . , 𝑁 : 𝑁 は空間代表ベクトル数)

𝑙 ′ ℎ𝜔,𝑙 ′ 𝑢𝑙 ′ ,𝑡２

1 0 0 0 0 0 0

ノルム最小化による正則化

R-ch input signal

𝜔 𝑖𝜔,𝑡 𝑓𝜔,𝑘𝑝

0 1 0 1 1 0 1Frequency [kHz]• 分離対象信号に含まれる楽器数が少ない場合（2～3 つ程度）は精度良く分離できる• 分離対象信号に含まれる楽器数が多い場合（4 つ以上）は分離精度が極端に落ちる• 楽器数が多い場合，楽器間で似たスペクトルパターンが多く現れることが原因+ 2𝜆𝒀∘𝑰

subject to 𝑔𝑘,𝑡 ≥ 0, ℎ𝜔,𝑙 ≥ 0, 𝑢𝑙,𝑡 ≥ 0 for all 𝜔, 𝑘, 𝑙, 𝑡.

PSNMF の問題点

𝑙 ′ ℎ𝜔,𝑙 ′ 𝑢𝑙 ′ ,𝑡𝑡 𝑖𝜔,𝑡 𝑦𝜔,𝑡 𝑢𝑙,𝑡

目的音信号 (MIDI)
観測信号 (MIDI)
教師信号 (MIDI)
空間代表ベクトル数
基底数
SNMF の更新回数
重み係数 m , lSDR [dB]𝟐Fr

subject to 𝑔𝑘,𝑡 ≥ 0, ℎ𝜔,𝑙 ≥ 0, 𝑢𝑙,𝑡 ≥ 0 for all 𝜔, 𝑘, 𝑙, 𝑡,• 空間代表ベクトル𝑘 ′ 𝑓𝜔,𝑘 ′ 𝑔𝑘 ′ ,𝑡 +𝑝𝑔𝑘,𝑡• MIDI で作成したステレオ音源から目的楽器音を抽出• マルチチャネルNMF, PSNMF, 方位クラスタリング, 提案手法 (正則化無し: Proposed method 1), 提案手法 (正則化あり:Proposed method 2) を用いた場合の分離精度を比較する

20

コスト関数

T𝑙 ℎ𝑢,𝑙 𝑢𝑙,𝑡

6. 実験

方位周波数

周波数

𝒀

周波数

𝑭 と 𝑯 に同じスペクトルパターンが現れないよう， 𝑭 と 𝑯 の間に互いが無相関になるような罰則条件を導入する．

𝑿 𝜔, 𝑡 = 𝑋𝑅 𝜔, 𝑡 , 𝑋𝐿 𝜔, 𝑡←

𝜔 𝑖𝜔,𝑡 𝑓𝜔,𝑘

スペクトログラムの各グリッドが目的方位クラスタに属するか否かを示す Index 情報

𝑭: 目的音信号に含まれるスペクトルパターンに対応する基底行列（教師情報）
𝑮: 教師基底 𝑭 に対応するアクティベーション行列
𝑯: 非目的音信号に含まれるスペクトルパターンに対応する基底行列
𝑼: 𝑯 に対応するアクティベーション行列• ステレオチャネル入力信号

𝑝+1(2) 教師ありNMFによる超解像ステップ

更新

𝒥PSNMF = 𝒟 𝒀 𝑭𝑮 + 𝑯𝑼 + 𝜇 𝑭 𝑯←• 後段の NMF においては，欠落した成分は見えなかったものとし，観測可能な成分のみで教師基底のマッチングを行う

𝑯𝑼𝑇𝑘 𝑓𝜔,𝑘 𝑔𝑘,𝑡 +SAR [dB]

Ω: 周波数ビン数
𝑇: フレーム数
𝐾: 基底数(Penalized Supervised NMF: PSNMF) [4]無相関𝑘,𝑙,𝜔 𝑖𝜔,𝑡 𝛿𝑘,𝜔,𝑡Experimental condition𝑇

罰則条件付き教師あり NMF

𝑯

音源成分

𝐾

𝑭− 𝑦𝜔,𝑡+𝜆22𝑓𝜔,𝑘𝑔𝑘,𝑡𝑓𝜔,𝑘 は事前学習により得られるため固定目的方位成分

音源成分

音楽音源分離における NMF

罰則条件

𝑘,𝑙,𝜔 𝛾𝜔,𝑘,𝑙+ 2𝑤𝜔,𝑡𝜔 𝑖𝜔,𝑡 𝑦𝜔,𝑡 𝑓𝜔,𝑘• 方位クラスタリングはバイナリマスク的に分解するため，目的方位の成分の欠落と非目的方位成分の混入が生じる
目的音成分

𝐾

←

𝑝+1ℎ𝜔,𝑙𝑢𝑙,𝑡 具体的な処理内容(1) 方位クラスタリングステップ

Amplitude [dB]

2. NMF教師

𝑙 ℎ𝑢,𝑙 𝑢𝑙,𝑡𝑙 𝛽𝑙,𝜔,𝑡22𝑓𝜔,𝑘ℎ𝜔,𝑙

更新式 (EUC-distance)

より頑健なマルチチャネル信号分解手法として，前段に方位情報に関する分解，後段に教師ありNMF による分解を行う音源分離手法を提案する

𝑭 𝑮

𝑘 𝑓𝜔,𝑘 𝑔𝑘,𝑡+𝒥• 上記の補助関数をそれぞれの変数で偏微分し 0 とおいた結果に対して，全ての補助変数の等号成立条件を代入する
ことで，各変数の更新式が以下のように得られる

本研究の目的

𝒀: 観測信号行列
𝑨: 基底行列
𝑩: アクティベーション行列𝑘 𝛼𝑘,𝜔,𝑡22ℎ𝜔,𝑙𝑢𝑙,𝑡𝒥+𝛼𝑘,𝜔,𝑡 , 𝛽𝑙,𝜔,𝑡 , 𝛾𝜔,𝑘,𝑙 , 𝛿𝑘,𝜔,𝑡 は補助変数

R

マルチチャネル音源を対象とし，音源の方位ごとに分離する
同一方位に存在する音源同士は分離できない𝑇

22𝑓𝜔,𝑘𝑔𝑘,𝑡2𝑖𝑦𝜔,𝑡 𝜔,𝑡𝜔,𝑡 ++𝜇𝑤𝜔,𝑡 =• 方位クラスタリング[3]Ω𝒥2 ≤ 𝒥2+ =分離目的楽器音源が中央に定位している場合の例• Multichannel NMF [2]Ω

補助関数 (EUC-distance)

SIR [dB]• 自動採譜• 音の拡張現実 (AR)

5. 乗法更新式

本来目的音成分が穴が極端に多いフレーム存在していなかった• 各時間フレームにおいて，欠落グリッドの数が多いほど出力音が小さくなるような教師基底を選ぶ正則化項を付与する

[1]
[2]

[3]

コスト関数

𝒥2 = 𝒟 𝑰 ∘ 𝒀 𝑰 ∘ (𝑭𝑮 + 𝑯𝑼)+𝜇 𝑭𝑇 𝑯 𝟐Fr + 𝜆 𝑰 ∘ 𝑭𝑮[4]𝟐Fr

subject to 𝑔𝑘,𝑡 ≥ 0, ℎ𝜔,𝑙 ≥ 0, 𝑢𝑙,𝑡 ≥ 0 for all 𝜔, 𝑘, 𝑙, 𝑡.

[5]D. D. Lee, et al., “Algorithms for nonnegative matrix factorization,” Neural Inf.
Process Syst., vol.13, pp. 556-562, 2001.
A. Ozerov, et al., “Multichannel nonnegative matrix factorization in convolutive
mixtures for audio source separation,” IEEE trans. Audio, Speech and Language
Processing, vol.18, no.3, pp.550-563, 2010.
S. Miyabe, H. Saruwatari, et al., “ Temporal quantization of spatial information using
directional clustering for multichannel audio coding,” Porc. WASPAA, pp.261-264,
2009.
K. Yagi, H. Saruwatari, et al., “Music signal separation by othogonality andmaximum-distance constrained nonnegative matrix factorization with target signal
information,” Proc. AES, 2012.
E. Vincent, et al., “The 2008 signal separation evaluation campaign: a communitybased approach to large-scale evaluation,” Proc. ICA, pp.734-741, 2009.