Experimental evaluation of superresolution-based
nonnegative matrix factorization for binaural recording
北村大地 (総合研究大学院大学), 猿渡洋 (東京大学), 中村哲 (奈良先端科学技術大学院大学)
高橋祐 (ヤマハ株式会社), 近藤多伸 (ヤマハ株式会社), 亀岡弘和 (東京大学)
1. 研究背景 超解像型 SNMF (ステップ2)• 近年，音楽信号分離技術が注目されている• 残留している非目的音源を抑圧目的音源の分離• 方位クラスタリング (バイナリマスキング) で失われた目的音源成分を教師スペクトルの外挿によって復元低下したスペクトログラムの解像度を復元 (超解像) 先行研究• Supervised NMF (SNMF) [1]
モノラル信号が対象
各楽器音の調波構造を利用して特定楽器音のみを抽出分解したスペクトル基底を楽器ごとに分類することが困難

超解像型 SNMF
適用後のスペクトログラム

方位クラスタリングから得られるスペクトログラム (𝒀 ∘ 𝑰)

• Multichannel NMF [2]非目的成分
目的成分:穴NMF をマルチチャネル信号用に拡張
各楽器音の調波構造とチャネル間の位相情報を利用
分解行列の初期値依存性が強く，頑健性に欠ける

超解像型
SNMF

Time

ハイブリッド手法の分離精度向上を目指す
多重ダイバージェンスに基づく超解像型SNMFを提案し，実録音信号での実験結果を示す

2. NMFによる音源分離: バイナリマスク行列,: 重み係数,: 論理反転,音響信号における NMF [4]• スペクトログラム 𝒀 を有限個のスペクトルパーツ 𝑨 (基底) とその時間強度変化 𝑩 (アクティベーション) に分解

𝑨

𝑩

実験条件
• 11種類の楽器音，4種のメロディのMIDIから混合音源を作成• 4音源混合から1楽器音を分離する実験
Oboe, Trumpet, Clarinet

罰則項(分離性能を向上)

正則化項 (外挿誤りを防ぐ)𝒀

5. 人工及び実録音信号による実験

教師スペクトルパターン
超解像型 SNMF のコスト関数

本研究の目的: 各フレームにおける穴の密度

𝑭目的成分

マルチチャネル信号を対象
方位分解とスペクトル分解の 2 ステップで目的音を抽出

Time

外挿

非目的成分

• 超解像型SNMF及びハイブリッド法 [3]Frequency

etc.

Frequency

応用例• 自動採譜• 音の拡張現実 (AR)多重ダイバージェンスに基づく超解像型 SNMF のコスト関数•Flute, Violin, Horn
Piano, Harpsichord: それぞれの行列の要素: フロベニウスノルム,Trombone, Fagotto, Cello

は一般化距離関数: 𝛽-ダイバージェンス [5]ユークリッド距離 (𝛽 = 2) と KL-ダイバージェンス (𝛽 = 1) がよく用いられる• 各音源に対して，小節毎に左右音源の空間配置が異なる4 種類の混合音源(SP1-SP4)を作成
Spatialcondition
SP1
SP2
SP3
SP44. 多重ダイバージェンス
 ダイバージェンスの選び方• 超解像型 SNMF には二つの異なるタスクがある
基底の外挿
目的音源の超解像型 SNMF
分離（超解像）• SNMFによる音源分離にはKL-ダイバージェンスが適切• 教師基底の外挿 (超解像) にはユークリッド距離が適切• 総合性能は分離と外挿のトレードオフによって決まる [6]

SNMF [1]• 教師スペクトルパーツ 𝑭 を事前学習で作成しておく• 「目的音源𝑭𝑮」と「それ以外の成分𝑯𝑼」に分離可能

目的音源

Left

Right

4

目的音源

人工信号 (パニング)

3

1.5 m

Frequency• 方位クラスタリングによって生じる穴の数は音源の空間的な配置や生起タイミングに依存• 穴が少ないフレーム
ユークリッド距離(音源分離重視)• 穴が多いフレーム
KLダイバージェンス(外挿(超解像)重視)

実験結果

𝒀∘𝑰

• SDR (分離度合と目的音の品質を含む総合的な分離精度)を手法毎に比較する (36 種の楽器パターンの平均評価値)• オンライン法: 1フレーム毎に独立してハイブリッド法を適用した単純な例 (ただし距離関数は閾値で切り替える)

方位クラスタリング

KL-divergence-based PSNMF
Directional clustering
KL-divergence-based hybrid method
Online hybrid method

Time

穴が少ない 穴が多い
(分離重視) (超解像重視)

各フレームにおいて，穴の数に応じて適切な距離関数を用いることで，入力データに依存せず最良の性能を発揮できるR

実録音信号 (バイノーラル)• 教師信号は24音(2オクターブ)が半音ずつ上昇する音源• ダイバージェンス切り替えの閾値 は20%に設定
各フレームで全体の20%以上穴が開いているとユークリッド距離で測る

多重ダイバージェンスに基づく超解像型 SNMF
R
超解像型SNMF

14

SDR [dB]

中央に定位する
Piano を分離したい

EUC-distance-based PSNMF
Multichannel NMF
EUC-distance-based hybrid method
Proposed hybrid method
14

人工信号の結果

121210108686442200SP1SP2SP3
Spatial patterns

SP4

実録音信号の結果

SP1

SP2
SP3
Spatial patterns

SP4• 提案手法はいかなる音源空間配置の信号に対しても常に高いスコアをマークしている 方位クラスタリング (ステップ1)• チャネルの振幅差を利用して k-means クラスタリング• k-means の結果からバイナリマスク 𝑰 が得られる• 入力スペクトログラムに対するバイナリマスキングと等価
入力ステレオ信号

分離信号

CenterCenter

Right

L
方位クラスタリング

21

Dummy head

• 方位クラスタリングと SNMF を組み合わせた2ステップのマ
ルチチャネル信号分解手法• 前段の方位クラスタリングにより，分離目的音源が含まれる方位を抽出• 分解された音源成分に対して超解像型 SNMF を適用

R

Right
2.5 m

3

1

4Left

それ以外の成分 ハイブリッド音源分離法

L4
𝜃 = 0°
𝜃 = 0°
𝜃 = 0°
𝜃 = 45°CenterSDR [dB]

教師

3. 超解像型 SNMF とハイブリッド法Left3
𝜃 = 0°
𝜃 = 0°
𝜃 = 45°
𝜃 = 45°目的音源• 分離対象信号に含まれる楽器数が多い場合（4 つ以上）は分離精度が極端に落ちる• 楽器数が多い場合，楽器間で似たスペクトルパターンが多く現れることが原因

L2
𝜃 = 0°
𝜃 = 45°
𝜃 = 45°
𝜃 = 45°CenterSNMF の問題点

L1
𝜃 = 45°
𝜃 = 45°
𝜃 = 45°
𝜃 = 45°• 人工信号: 左右の振幅差 (パニング) で作成した混合信号• 実録音信号: 残響時間 200 [ms] の環境でダミーヘッドを用いたバイノーラル録音で作成した混合信号

2

混合音源

Measure参考文献

R• フレームごとに穴の密度関数を決定に対する閾値を用いて距離[1] P. Smaragdis, et al., “Supervised and semi-supervised separation of sounds fromsingle-channel mixtures,” Proc. 7th International Conference on IndependentComponent Analysis and Signal Separation, pp.414–421, 2007.
[2] H. Sawada, et al., “Efficient algorithms for multichannel extensions of Itakura-Saito
nonnegative matrix factorization,” Proc. IEEE ICASSP, pp.261–264, 2012.
[3] D. Kitamura, et al., “Superresolution-based stereo signal separation via supervised
nonnegative matrix factorization,” Proc. 18th DSP, T3C-2, 2013.
[4] D. D. Lee, et al., “Algorithms for non-negative matrix factorization,” Proc. Advances in
Neural Information Processing Systems, vol.13, pp.556–562, 2001.
[5] S. Eguchi, et al., “Robustifying maximum likelihood estimation,” Technical Report ofInstitute of Statistical Mathematics, 2001.
[6] D. Kitamura, et al., "Divergence optimization in nonnegative matrix factorization withspectrogram restoration for multichannel signal separation," 4th HSCMA, 2014.