2-1P-4
コサイン類似度罰則条件付き非負値行列因子分解に基づく音源分離の実験的評価 ∗☆岩瀬佑太, 北村大地 (香川高専)

1

はじめに

音源分離とは，複数の音源が混合した状態で観測された信号から，混合前の個々の音源を分離・抽出する技術である．特に，非負値行列因子分解（nonnegativematrix factorization: NMF）[1, 2] を用いた音源分離
手法は，音源分離の条件や用途等に応じてこれまで数多く提案されてきた [3]–[6]．NMF は Fig. 1 に示
すように，観測された非負の時間周波数行列（振幅スペクトログラム等）を別の二つの非負行列（基底行列及びアクティベーション行列）の行列積で近似するアルゴリズムである．基底行列には，観測行列中の頻出スペクトルパターンが基底ベクトルとして含まれ，それらの時間的な強度変化がアクティベーション行列に含まれる．これらの特徴量を上手く活用することで，音源分離ができる．
近年では深層学習による音源分離手法が多くのタスクにおいて高い精度を達成している [7, 8]．しかし，分離対象となる音源（目的音源）の学習用データセッ
トが極僅かしか用意できないような状況においては，省サンプルの学習データから特徴量を学習しそのまま活用する教師あり・半教師あり NMF [9] が依然として強力である．本稿では，半教師あり NMF（semisupervised NMF: SNMF）に基づく音源分離のみを取り扱う．
Fig. 2 は SNMF における音源分離アルゴリズムを示しており，学習ステージと分離ステージから構成される．学習ステージでは，目的音源のサンプル信号のスペクトログラム X を NMF で分解し，頻出スペクトルパターンを含む教師基底行列 F を学習する．分
離ステージでは，事前学習した教師基底行列を用いて混合信号のスペクトログラム Y を分解することで，目的音源成分 F G とその他の音源（非目的音源）成分 HU を推定する．
SNMF に基づく音源分離では，混合信号中の目的音源と非目的音源が類似したスペクトルを含む場合，分離精度が劣化する問題がある．これは，類似するスペクトルが教師基底行列 F 又は非目的音源の基底行列 H のいずれを用いても表現できることが原因である．この場合，目的音源の一部が HU に混入してしまうこととなり，音源分離精度が著しく劣化する．
この問題に対処するために，いくつかの罰則条件付き SNMF（penalized SNMF: PSNMF）が提案されてきた. その中の一つに，基底ベクトル間の内積最小化項を付与した PSNMF（内積型 PSNMF）がある[10]．この手法は，教師基底行列 F と非目的音源の基底行列 H ができるだけ直交化する罰則条件を付与したものであり，目的音源成分 F G の品質を大幅に向上させる効果がある．しかし，内積型 PSNMF は，NMF が持つ基底行列・アクティベーション行列間のスケール不定性により，罰則条件が正しく影響しない定式化となっている．同様の現象は，アクティベーション行列にスパース正則化を与える NMF でも確認
∗Fig. 1

Fig. 2Matrix decomposition by NMF.

Audio source separation based on SNMF.

されており，正しい制約条件を与えた最適化法が提案されている [11]．
内積型 PSNMF のスケール不定性の問題を解決するために，著者らは基底ベクトル間の対数コサイン類似度最小化項を付与した PSNMF（log-cos 型 PSNMF）を提案している [12]．Log-cos 型 PSNMF は基底ベクトル間の大きさに依存せず，ベクトル間の角度にのみ依存するコサイン類似度を罰則項に用いるため，内積型 PSNMF のスケール不定性の問題を解決できる．
しかし，反復最適化更新式の導出を容易にするためにコサイン類似度の対数を罰則項として用いた結果，コスト関数や変数の値が発散する可能性が生じ，数値的安定性が損なわれる問題が生じた．文献 [12] では，数値的安定性を向上させるために，反復毎に H中の各基底ベクトルを（コスト関数の値が変化しないように）正規化することで，場当たり的に対処していたが，最適化途中での変数値の発散を完全に防ぐことはできていない．
本稿では，スケール不定性及び数値的不安定性の両方の問題を同時に解決する手法として，対数を用いないシンプルなコサイン類似度を罰則条件としてSNMF に付与する手法（cos 型 PSNMF）を新たに定式化し，最適化する手法を提案する．提案手法では，majorization-minimization（MM）アルゴリズム [13]による乗法型更新則を導出する．また，音楽信号を対象とした音源分離に適用し，従来手法よりも優れた音源分離が達成できることを実験的に示す．

Experimental evaluation of source separation based on nonnegative matrix factorization with cosine similarity penalty. By Yuta Iwase and Daichi Kitamura (NIT Kagawa).

日本音響学会講演論文集- 287 -

2021年9月

従来手法

22.1

2.3

NMF 及び SNMF′NMF は非負の観測行列 X ∈ RI×J
≥0 （本稿では音の振幅スペクトログラム）を別の 2 つの非負行列
F ∈K×J ′RI×K（基底行列）及びQ∈R（アクティベー≥0≥0ション行列）の行列積で近似する低ランク分解である．F 及び Q は次式の最小化問題で推定される．
min D(X∥F Q) s.t. fik , qkj ′ ≥ 0 ∀i, j ′ , kF ,Q(1)

ここで fik 及び qkj ′ はそれぞれ F 及び Q の要素である．また，i = 1, 2, · · · , I ，j ′ = 1, 2, · · · , J ′ ，及びk = 1, 2, · · · , K はそれぞれ周波数，時間，及び基底ベクトルのインデクスを表す．D(X∥F Q) は，行列X 及び F Q 間の乖離度を表す関数である．
NMF に基づく音源分離手法として SNMF がある．
SNMF では，Fig. 2 に示すように，学習ステージで目的音源のサンプル信号 X に NMF を適用し，教師基底行列 F を事前学習する．F は目的音源の頻出ス
ペクトルを K 本の基底ベクトルとして含む．分離ス
テージでは，混合信号 Y ∈ RI×J
≥0 を F G + HU にK×J分解する．ここで，G ∈ R≥0 は F のアクティベー
L×Jション行列，H ∈ RI×L
≥0 及び U ∈ R≥0 はそれぞれ非目的音源の成分を表す基底行列及びアクティベーション行列である．理想的には，混合信号 Y 中の目的音源成分が F G，非目的音源成分が HU と推定され，F G のみを時間信号に戻すことで音源分離が達成される．しかし，目的音源と非目的音源が類似ス
ペクトルを含む場合，目的音源の一部が HU に混入し，分離精度が著しく劣化する．

2.2

内積型 PSNMF内積型 PSNMF [10] は，教師基底行列 F と非目的音源の基底行列 H ができるだけ直交する罰則条件を付与した SNMF であり，目的音源成分（F G で表現されるべき成分）が非目的音源成分 HU に混入してしまう現象をある程度回避する効果がある．本手法では，分離ステージにおいて次の最小化問題を考える．

min D(Y ∥F G + HU ) + µPorth (F , H)

G,H,Us.t. gkj , hil , ulj ≥ 0 ∀i, j, k, lPorth (F , H) = ∥F=TH∥2Fr(∑ ∑k,lfik hil(2))2(3)i

ここで，µ は罰則項の重み係数，gkj ，hil ，及び ulj はそれぞれ G，H ，及び U の要素，j = 1, 2, · · · , J 及
び l = 1, 2, · · · , L はそれぞれ時間及び H 中の基底ベクトルのインデクス，∥ · ∥Fr はフロベニウスノルム，
hil 及び ulj はそれぞれ H 及び U の要素である．式(3) で表される罰則項 Porth (F , H) は，F の基底ベクトル（K 本）と H の基底ベクトル（L 本）の総組み合わせの内積の二乗和に対応する．従って，H を推定する際には，「Y と F G + HU が近くなること」に加えて，「H の基底ベクトルが F の基底ベクトルとなるべく直交すること」の 2 点が考慮され，結果として単なる SNMF よりも音源分離が促進されることが実験的に確認されている．

日本音響学会講演論文集

Log-cos 型 PSNMF

内積型 PSNMF には罰則項の効果が直接反映されない本質的な問題がある．これは，NMF が本来持っている基底行列とアクティベーション行列間のスケール不定性が原因である．すなわち，内積型 PSNMFの罰則項（式 (3)）は，H に小さな値 c を乗じて cHとするだけで最小化できる．このとき，式 (2) の第一項は U を (1/c)U とすることで増加しない．従って，内積型 PSNMF は µ を大きくしても，理論的には Fと H は直交化されない．そこで著者らは，H の大きさに非依存なコサイン類似度に基づく罰則項を用いて，log-cos 型 PSNMF を提案した [12]．本手法では，分離ステージにおいて次の最小化問題を考える．

min D(Y ∥F G + HU ) + µPlogcos (F , H)

G,H,Us.t. gkj , hil , ulj ≥ 0 ∀i, j, k, l (4)∑fik hil∑i
Plogcos (F , H) =log ()1 () 1 (5)∑ 2 2 ∑ 2 2k,lfikhilii

ここで，罰則項 Plogcos (F , H) は，F の基底ベクトルと H の基底ベクトルの総組み合わせのコサイン類似度の対数和に対応する．コサイン類似度であるので，基底ベクトルの長さには依らず，ベクトル間の角度のみで直交性を測ることができ，NMF におけるスケー
ルの不定性は最適化に影響しない．

3

提案手法

3.1

動機

Log-cos 型 PSNMF の最小化問題（式（4））では，最適化のための反復更新式の導出を簡単化するためにコサイン類似度の対数を用いている．しかし，教師基底行列 F と非目的音源の基底行列 H の基底ベクトルが 1 組でも完全に直交する場合，そのコサイン類似度は 0 になり得ることから，罰則項 Plogcos (F , H)は −∞ となる．従って，log-cos 型 PSNMF は新たに数値的不安定性の問題を孕んでいる．そこで本稿では，対数をとらない純粋なコサイン類似度を罰則項とした場合の反復更新式を導出し，これを新たに cos型 PSNMF として提案することで，前述の問題の解決を図る．
3.2

Cos 型 PSNMF

一般に SNMF を用いた音源分離では，振幅スペク
トルを一般化 Kullback-Leibler（KL）ダイバージェ
ンスに基づく NMF で分解する手法が最も高性能であることが実験的に確認されている [10, 14]．従って本稿でも，乖離度 D(·∥·) に一般化 KL ダイバージェン
ス DKL (·∥·) を用いる場合のみを取り扱う．ここで，)∑(mij
DKL (M ∥N ) =mij log− mij + nijniji,j(6)であり，mij 及び nij はそれぞれ M ∈ RI×J
≥0 及びI×J
N ∈ R≥0の要素である．

- 288 -

2021年9月

Cos 型 PSNMF では，次の最小化問題を考える．
min D(Y ∥F G + HU ) + µPcos (F , H)

G,H,Us.t. gkj , hil , ulj ≥ 0 ∀i, j, k, l∑fik hil∑i
Pcos (F , H) =()1 ()1∑ 2 2 ∑ 2 2k,lfikhili

(7)
(8)i

式 (8) は，F 中の基底ベクトルと H 中の基底ベクトルの総組み合わせのコサイン類似度の総和である．
Log-cos 型 PSNMF の罰則項（式 (5)）と比較して，対数関数を省くことで，最適化アルゴリズムは複雑になるが，数値不安定性の問題を解消できる．
式 (7) の最適化問題のコスト関数は，MM アルゴ
リズム [13] を用いて最小化できる．まず，一般化 KL
ダイバージェンス中の負対数項は凸なので，次式のJensen の不等式を適用する．
()
∑∑
− log
fik gkj +hil uljklhil ulj
fik gkj ∑−βijl log(9)αijk log≤−αijkβijllk∑
ここで，∑αijk > 0 及び βijl > 0 はそれぞれ k αijk =1 及び l βijl = 1 を満たす補助変数である．次に，罰則項 Pcos (F , H) 中の −1/2 次項は凸関数なので，次式の Jensen の不等式を適用する．
()− 121∑ ( h2 )− 2
∑
2il
≤
γil
hilγilii∑ 3=γil2 h−1(10)il∑i∑
ここで，γil > 0 は l γil = 1 を満たす補助変数である．式 (9) 及び (10) の等号成立条件はそれぞれ次式である．
fik gkj∑′′′′fgk′ ik k j +l′ hil ul jhil ulj∑βijl = ∑′′′′fgk′ ik k j +l′ hil ul jαijk = ∑h2γil = ∑ il 2i′ hi′ l

(11)
(12)

ここで，yij は Y の要素である．式 (14) を各変数で偏微分し 0 とおくことで反復最適化更新式を導出できる．G 及び U の更新式は SNMF と同様であるため割愛する．∂J + /∂hil = 0 より
()− 12]∑∑∑ [ −yij βijl2
+ ulj +µfik
hilijk∑∑3311
− = 0fi′ k γil2 hi′ l +fik γi2′ lh2il ′hi′ l′i ̸=iを得る．上式は hil に関して整理することで 2 次方程式となり，次式で解析的に解ける．
√−bil ± b2il − 4ail cil(15)hil =2ail
ここで，ail ，bil ，cil はそれぞれ以下の通りである．
∑

312∑
∑
γ′′i ̸=i i l h ′ail =ulj + µfik  √∑ 2 i l i fikik∑bil = −yij βijl
j32cil = −µγili,j∑()− 12 ∑∑2
fikfi′ k hi′ l i′ ̸=iik

ここで，式 (15) の ± は hil ≥ 0 となる + が正しい解である．式 (15) に，式 (11)–(13) の等号成立条件を代入したものが H の反復更新式となる．

3.3

変数更新毎の基底正規化

スケール不定性や数値的不安定性の問題を避けるために，文献 [10, 12] では，H を更新する度に全基底ベクトルを正規化する（正規化係数の逆数を U の行ベクトルに乗じて HU は不変とする）ように実装しているが，根本的な解決とはいえない．しかし，実験的には性能改善が見られたため本論文では前述の基底正規化（basis normalization: BN）をした場合としない場合の両方について評価を行う．H 及び Uの基底ベクトル hil 及び ulj の BN の式を以下に示す．

(13)

式 (9) 及び (10) より，式 (7) の目的関数の上限関数 J + は次式となる．
[∑∑fik gkjyij log yij − yijJ+ =αijk log
αijki ̸=iδl =∑hil(16)ihil ←4実験

4.1

実験条件

hil∀i, l,δlulj ← δl ulj ∀l, j(17)k∑hil ulj− yijβijll]∑∑+fik gkj +hil ulj− yijβijl log

kl()− 12 ∑∑∑
3 hil 2

fik γi2′ l+µfik′lhi′
ik,li,i(14)日本音響学会講演論文集

2 つの楽器音の音源分離性能を SNMF，内積型PSNMF [10]，log-cos 型 PSNMF [12]，及び提案手法である cos 型 PSNMF の 4 手法で比較した．但し，各手法においてスケール不定性と数値的不安定性を解消するために，変数の更新毎に BN を行う場合と行わない場合の 2 通りを比較した．目的音源と非目的音源の基底ベクトル数はそれぞれ K = 27 及び L = 50 とした．2 つの楽器音の混合信号は songKitamura [15]のデータセット用いて 90 曲作成し，45 曲ずつに分け- 289 -

2021年9月

ることを評価実験で示した．

参考文献

Fig. 3 Average SDR for searching optimal µ.
96.63

1

Cos PSNMF
w/ BN

2

Cos PSNMF
w/o BN

3

PSNMF
w/ BN

4

PSNMF
w/o BN5

Log-cos PSNMF
w/ BN

6.61

6

Log-cos PSNMF
w/o BN

6.61

SNMF w/ BN

7

SNMF w/o BNAverage SDR [dB]8.42 8.48 8.48

8.13 8.07

80

Fig. 4

Average SDR of test data for each method.て開発データ及びテストデータとした．開発データで重み係数 µ の最適値を手法毎に決定し，最適な µ で固定してテストデータで性能を比較した．評価指標には，信号対歪み比（source-to-distortion ratio: SDR）
[16] を用いた．なお，log-cos 型 PSNMF では，前述
したとおり BN を行わなかった場合，数値的不安定性により変数値が発散することがある．この時，改善量をグラフに数値的にプロットするため，改善量がみられなかったことと同義である 0 dB とした．

4.2

実験結果

Fig. 3 に開発データにおける各手法の平均 SDR を示す．このグラフより，SDR が最大となる重み係数µ を各手法で求めた．Cos 型 PSNMF では BN の有無が最適化に与える影響は（理論的には）無いため，Fig. 3 では 2 つのグラフがほぼ重なっている．手法毎の最適な µ でテストデータを音源分離した際の平均SDR を Fig. 4 に示す．まず，内積型 PSNMF は，理論的には F と H の直交化がされない可能性があるが，それでも µ を大きくすことで罰則無しの SNMFよりも性能は向上している．また，BN 無しの log-cos型 PSNMF は数値不安定性により一部の混合信号で変数値が発散する場合があり，平均性能は低くなった．BN 有りの log-cos 型 PSNMF と cos 型 PSNMF
は他の手法よりも精度が高くなり，その有効性が示された．

5まとめ

本稿では，内積型 PSNMF 及び log-cos 型 PSNMFが抱えるスケール不定性及び数値不安定性の 2 つの問題を避けるために cos 型 PSNMF を新たに提案し，反復更新式を導出した．提案手法では，前述の問題を解決できるとともに，高精度な音源分離が可能であ

日本音響学会講演論文集[1] D. D. Lee, and H. S. Seung, “Learning the parts ofobjects by non-negative matrix factorization,” Nature,
vol. 401, no. 6755, pp. 788–791, 1999.
[2] D. D. Lee, and H. S. Seung, “Algorithms for nonnegative matrix factorization,” Proc. Neural Information Processing Systems, pp. 556–562, 2000.
[3] T. Virtanen, “Monaural sound source separation bynonnegative matrix factorization with temporal continuity and sparseness criteria,” IEEE Trans. Audio,
Speech, and Language Processing, vol. 15, no. 3, pp.
1066–1074, 2007.
[4] A. Ozerov, C. Févotte, and M. Charbit, “Factorialscaled hidden Markov model for polyphonic audio representation and source separation,” Proc. Workshop onApplications of Signal Processing to Audio and Acoustics, pp. 121–124, 2009.
[5] H. Kameoka, M. Nakano, K. Ochiai, Y. Imoto, K.
Kashino, and S. Sagayama, “Constrained and regularized variants of non-negative matrix factorization incorporating music-speciﬁc constraints,” Proc. International Conference on Acoustics, Speech and Signal Processing, pp. 5365–5368. 2012.
[6] D. Kitamura, H. Saruwatari, H. Kameoka, Y. Takahashi, K. Kondo, and S. Nakamura, “Multichannel signal separation combining directional clusteringand nonnegative matrix factorization with spectrogram
restoration,” IEEE/ACM Trans. Audio, Speech, andLanguage Processing, vol. 23, no. 4, pp. 654–669, 2015.
[7] E. M. Grais, M. U. Sen, and H. Erdogan, “Deep neuralnetworks for signal channel source separation,” Proc.
International Conference on Independent Component
Analysis and Signal Separation, pp. 3734–3738. 2014.
[8] S. Uhilch, F. Giron, and Y. Mitsufuji, “Deep neural network based instrument extraction from music,” Proc.
International Conference on Independent Component
Analysis and Signal Separation, pp. 2135–2139. 2015.
[9] P. Smaragdis, B. Raj, and M. Shashanka, “Supervised and semi-supervised separation of sounds fromsingle-channel mixtures,” Proc. Independent Component Analysis and Signal Separation, pp. 414–421, 2007.
[10] D. Kitamura, H. Saruwatari, K. Yagi, K. Shikano,Y. Takahashi, and K. Kondo, “Music signal separation based on supervised nonnegative matrix factorization with orthogonality and maximum-divergencepenalties,” IEICE Trans. Fundamentals of Electronics,Communications and Computer Sciences, vol. E97-A,no. 5, pp. 1113–1118, 2014.
[11] J. Le Roux, F. Weninger, and J. R. Hershey, “Sparse
NMF - half-baked or well done?,” Mitsubishi ElectricResearch Lab. Technical Report, TR2015-023, 2015.
[12] 岩瀬佑太, 北村大地, ”コサイン類似度罰則条件付き半教師あり非負値行列因子分解,” 日本音響学会 2020 年春季研究発
表会講演論文集, 2-P-39, pp. 425–428, March 2020.
[13] D. R. Hunter and K. Lange, “Quantile regression via an
MM algorithm,” Journal of computational and Graphical Statistics., vol. 9, no. 1, pp. 60–77, 2000.
[14] D. FitzGerald, M. Cranitch, and E. Coyle, “On the useof the beta divergence for musical source separation,”
Proc. Irish Signals and Systems Conference, 2009.
[15] D. Kitamura, “Open dataset: songKitamura” http://dkitamura.net/dataset.html.
[16] E. Vincent, R. Gribonval, and C. Févotte, “Performancemeasurement in blind audio source separation,” IEEE
Trans. Audio, Speech, and Language Processing, vol.
14, no. 4, pp. 1462—1469, 2006.

- 290 -2021年9月