2-P-39
コサイン類似度罰則条件付き半教師あり非負値行列因子分解 ∗☆岩瀬佑太, 北村大地 (香川高専)

音源分離とは，複数の音源が混合した状態で観測された信号から，混合前の個々の音源を分離・抽出する技術である．特に，非負値行列因子分解（nonnegativematrix factorization: NMF）[1, 2] を用いた音源分離
手法は，音源分離の条件や用途等に応じてこれまで数多く提案されてきた [3]–[6]．NMF は Fig. 1 に示
すように，観測された非負の時間周波数行列（振幅スペクトログラム等）を別の二つの非負行列（基底行列及びアクティベーション行列）の行列積で近似するアルゴリズムである．基底行列には，観測行列中の頻出スペクトルパターンが基底ベクトルとして含まれ，それらの時間的な強度変化がアクティベーション行列に含まれる．これらの特徴量を上手く活用することで，音源分離ができる．
近年では深層学習による音源分離手法が多くのタスクにおいて高い精度を達成しているが，分離対象となる音源（目的音源）の学習用データセットが極僅かしか用意できないような状況においては，省サンプルの学習データから特徴量を学習しそのまま活用する教師あり・半教師あり NMF [7, 8] が依然として強力である．本稿では，半教師あり NMF（semi-supervisedNMF: SNMF）に基づく音源分離のみを取り扱う．
Fig. 2 は SNMF における音源分離アルゴリズムを示しており，学習ステージと分離ステージから構成される．学習ステージでは，目的音源のサンプル信号のスペクトログラム X を NMF で分解し，頻出スペクトルパターンを含む教師基底行列 F を学習する．分
離ステージでは，事前学習した教師基底行列を用いて混合信号のスペクトログラム Y を分解することで，目的音源成分 F G とその他の音源（非目的音源）成分 HU を推定する．
SNMF に基づく音源分離では，混合信号中の目的音源と非目的音源が類似したスペクトルを含む場合，分離精度が劣化する問題がある．これは，類似するスペクトルが教師基底行列 F 又は非目的音源の基底行列 H のいずれを用いても表現できることが原因である．この場合，目的音源の一部が HU に，あるいは非目的音源の一部が F G に混入することとなり，音源分離精度が劣化する．
この問題に対処するために，罰則条件付き SNMF
（penalized SNMF: PSNMF）[8] が提案されている．
PSNMF は，教師基底行列 F と非目的音源の基底行列 H ができるだけ直交化する罰則条件を付与したものであり，目的音源成分 F G の品質を大幅に向上させる効果がある．しかし，既存の PSNMF は，NMFが持つ基底行列・アクティベーション行列間のスケール不定性により，罰則条件が正しく影響しない定式化となっている．同様の現象は，アクティベーション行列にスパース正則化を与える NMF でも確認されており，正しい制約条件を与えた最適化法が提案されている [9]．
本稿では，PSNMF における直交化罰則条件をス∗

Basis matrix(spectral patterns)

Frequency

Nonnegative matrix(amplitude spectrogram)

Activation matrix(time-varying gains)

Amplitude

はじめにFrequency

1Time

Amplitude

Time

ActivationBasis: # of frequency bins
: # of time frames: # of bases

Fig. 1: Matrix decomposition by NMF.
Training stage
4
4

# ##

# #Spectral
patterns of Pf.

･････

Sample sound of Pf.

Separation stage

Other bases
is fixed, and only,, andare optimized.

Fig. 2: Separation algorithm in SNMF.
ケール不定性に依らない形で定式化し最適化する手法を新たに提案する．提案手法では，コサイン類似度を用いた罰則条件を SNMF に付与し，majorizationminimization（MM）アルゴリズム [10] による乗法型更新則を導出する．また，音楽信号を対象とした音源分離に適用し，従来手法よりも優れた音源分離が達成できることを実験的に示す．

従来手法

2
2.1

NMF 及び SNMFNMF の最適化問題は次式で表される．
min D(X∥F Q) s.t. fik , qkj ≥ 0 ∀i, j, k
F ,Q(1)

I×J
ここで，X ∈ R≥0は非負観測行列であり，本稿ではI×K
振幅スペクトログラムとする．また，F ∈ R≥0及びK×J
Q ∈ R≥0 はそれぞれ基底行列及びアクティベーション行列であり，fik 及び qkj はそれぞれ F 及び Q の要素である．さらに，i = 1, · · · , I ，j = 1, · · · , J ，及び k = 1, · · · , K はそれぞれ周波数ビン，時間フレーム，及び基底ベクトルのインデクスを表す．D(A∥B)
I×J
I×J
は，行列 A ∈ R≥0及び B ∈ R≥0間の乖離度（ダイバージェンス）を返す関数である．本稿では，次式に示す一般化カルバック・ライブラダイバージェンスを用いる．
)∑(aij− aij + bij(2)
D(A∥B) =aij log
biji,j

ここで，aij 及び bij はそれぞれ行列 A 及び B の要素である．従って，式 (1) の最小化問題を解くことでF と Q が推定される．

Semi-supervised nonnegative matrix factorization with cosine similarity penalty by Yuta Iwase (NITKagawa) and Daichi Kitamura (NIT Kagawa).

日本音響学会講演論文集- 425 -

2020年3月

SNMF では，学習ステージにおいて目的音源のサンプル信号 X に NMF を適用することで，教師基底
行列 F を事前学習する．このとき，F は目的音源の頻出スペクトルパターンを K 本の列ベクトル（基底ベクトル）として含んでいる．分離ステージでは，教師基底行列 F が与えられた下で，混合信号の振幅ス
ペクトログラム Y ∈ RI×J
≥0 を次の最適化問題により分解する．
min D(Y ∥F G + HU )G,H,Us.t. gkj , hil , ulj ≥ 0 ∀i, j, k, l(3)

L×J
ここで，H ∈ RI×L
≥0 及び U ∈ R≥0 はそれぞれ非目的音源を表すための基底行列とアクティベーション行列であり，hil 及び ulj はそれぞれ H 及び U の要素である．また，l = 1, · · · , L は非目的音源の基底行列H に含まれる基底のインデクスを表す．理想的には，混合信号 Y 中の目的音源の成分が F G，非目的音源の成分が HU として分離されるため，音源分離が可能となる．しかし，混合信号中の目的音源と非目的音源が類似したスペクトルを含む場合，そのような成分は F 又は H のいずれを用いても表現できるため，目的音源の一部が HU に，あるいは非目的音源の一部が F G に混入し，音源分離精度が劣化する．

2.2

直交化に基づく PSNMF

前述の問題に対処するために，SNMF の最適化に対して，非目的音源の基底行列 H が教師基底行列F とできるだけ直交化する罰則条件を与えた手法（PSNMF）が提案されている [8]．本手法では，分離ステージにおいて次の最適化問題を考える．

min D(Y ∥F G + HU ) + µPorth (F , H)

G,H,Us.t. gkj , hil , ulj ≥ 0 ∀i, j, k, lPorth (F , H) = ∥F=TH∥2Fr(∑ ∑(4))2fik hil(5)ik,ligkj ← gkj ·∑yij∑
fikfik′ gk′ j + hil′ ul′ j′k′∑ lfik∑yij∑ulj′′fghil′ ul′ jik k j +j′′kl∑∑hil ← hil ·ulj + µfik fi′ k hi′ l

日本音響学会講演論文集

(6)

i

∑ji

ulj ← ulj ·i′

(7)

yij
∑
hilfik′ gk′ j + hil′ ul′ j′′k∑ lhil

∑

(8)

i

ここで，yij は Y の要素である．

3

提案手法

3.1

動機

直交化に基づく PSNMF には，罰則項の効果が直接反映されない本質的な問題がある．これは，NMFが本来持っている基底行列・アクティベーション行列間のスケール不定性が原因である．即ち，X ≈ F Qという NMF 分解を考えた際に，基底行列 F に任意の正の係数 α を乗じて αF と変形しても，同時にアクティベーション行列 Q を (1/α)Q とすれば，F Q自体の値は変わらないという不定性である．
直交化に基づく PSNMF では，罰則項 Porth (F , H)の値を小さくすることで F と H の非類似性を高めることを考えるが，実際にはこの罰則項は非常に小さな値の α を乗じて αH とすることで最小化可能である．このとき，HU の値が変わらないように，Uは (1/α)U と更新される．従って，この罰則項は直接的に F と H を直交化していない．
この問題を避けるために，文献 [8] では，H を更新する度に全基底ベクトルを正規化する（正規化係数の逆数を U の行ベクトルに乗じて HU は不変とする）ように実装しており，実験的には性能改善が見られたが，この実装方法も根本的な解決とは言えない．
同様の現象は，L1 ノルムに基づくスパース正則化をアクティベーション行列に与える NMF でも確認されており，基底ベクトルの長さを制約条件に与える最適化法が提案されている [9]．PSNMF においても，文献 [9] と同様の制約条件を導入して解くことはできる
が，よりシンプルな解決法として，基底ベクトル間の角度にのみ依存するコサイン類似度を新たに罰則項に用いる PSNMF を提案する．

3.2

ここで，µ は罰則項 Porth (F , H) の重み係数，∥A∥Frは行列 A のフロベニウスノルムである．罰則項Porth (F , H) は，F の基底ベクトル（K 本）と Hの基底ベクトル（L 本）の総組み合わせの内積の二乗和に対応する．従って，H を推定する際には，「Y とF G + HU が近くなること」及び「H の基底ベクトルが F の基底ベクトルとなるべく直交すること」の2 点が考慮され，結果として SNMF よりも音源分離が促進されることが実験的に確認されている [8]．
MM アルゴリズム [10] に基づく変数行列 G，H ，及び U の更新則はそれぞれ次のようになる [8]．

∑∑コサイン類似度に基づく PSNMF

コサイン類似度に基づく PSNMF として，次の最適化問題を考える．

min D(Y ∥F G + HU ) + µPcos (F , H)

G,H,Us.t. gkj , hil , ulj ≥ 0 ∀i, j, k, lPcos (F , H) =∑k,l∑log (fik hili∑
i2fik(9)) 12 (∑i) 12(10)h2il

ここで，罰則項 Pcos (F , H) は，F の基底ベクトルとH の基底ベクトルの総組み合わせのコサイン類似度の対数和に対応する．コサイン類似度であるので，基底ベクトルの長さには依らず，角度のみで直交性を測ることができ，NMF におけるスケールの不定性は影響しない．また，基底ベクトルは全て非負であることから，コサイン類似度の値は最小で 0（直交），最大で 1（平行）となる．さらに，コサイン類似度の対数を取ることで，次節に述べる MM アルゴリズムでの導出が可能となる．

- 426 -

2020年3月

MM アルゴリズムに基づく乗法型更新則の導出

3.3

式 (9) を直接最小化することは困難なため，従来のPSNMF と同様に MM アルゴリズムを用いて最小化する．なお，G と U の偏微分は罰則項 Pcos によらないため，乗法型更新則は式 (6) 及び (8) と同様である．
式 (9) は次のように変形できる．

H の更新式は式 (12) の右辺を hil で偏微分し 0 とおいた式から次のように得られる．
∑∑yij γij2 βijl + µ δklihil ←D(Y ∥F G + HU ) + µPcos (F , H)[()∑∑∑=yij log yij − yij log
fik gkj +hil ulji,jk−yij ++µ∑∑fik gkj +∑k[logik.l

1
fik hil − log
2i,j

∑
i

12
fik− log2∑βijl log

l+µk,l[1(∑ζklii∑

fik gkj +k4

実験(11)

4.1

実験条件]
hil uljl)

fik hil − ζkli∑

+ log ζkli(12)ただし, 式 (12) の等号成立条件は以下である.

fik gkj
αijk = ∑fik′ gk′ j(13)hil ulj
βijl = ∑hil′ ul′ j(14)k′l′∑fik hil(15)k

日本音響学会講演論文集

kulj + µ∑k∑i′

fikfi′ k hi′ l4.2

実験結果

Fig. 3 に曲ごとの分離結果の例を示す．また，Table 1 は，各曲の最大 SDR 値を全 90 曲に関して求めた際の平均値と中央値を示す．これらの結果より，コサイン類似度を罰則項に用いる提案手法が従来手法よりも高い SDR 値を記録していることが分かる．但し，提案手法はスケールの不定性が影響しないことから，重み係数 µ の設定は従来手法よりもピーキーである様子も確認できる．

まとめ(17)

本稿では, 半教師あり NMF において，スケールの不定性の影響を受けない罰則項としてコサイン類似度を用いたアルゴリズムを新たに提案した．評価実験の結果，従来手法よりも高精度な音源分離が可能であることを示した．

(18)

謝辞 本研究の一部は JSPS 科研費 19K20306 の助成を受けたものである．

(16)

fik gkj∑
fik gkj + hil uljkl∑
hil uljl∑
γij2 = ∑fik gkj + hil ulj

γij1 = ∑∑提案手法の有効性を確認するために，音楽信号の音源分離性能を直交化に基づく PSNMF（従来手法）とコサイン類似度に基づく PSNMF（提案手法）に関して比較した．実験では，データセットとして songKitamura [6, 11] の YMH MU-1000 の音源を用いた．
音源にはオーボエ (Ob.)，トランペット (Tp.)，ホルン (Hr.)，フルート (Fl.)，ヴァイオリン (Vn.)，クラリネット (Cl.)，ピアノ (Pf.)，ハープシコード (Hp.)，
トロンボーン (Tr.)，ファゴット (Fg.)，チェロ (Vc.)の 11 種類の 2 オクターブ上昇音階（学習ステージ用）とメロディパート（分離ステージ用）を用いた. 11 種の楽器から 2 つを選択し，それらのメロディーパー
トを等パワーで混合し混合信号とした．従って，合計90 曲での評価となった．評価指標には，信号対歪み比（source-to-distortion ratio: SDR）[12] を用いた．
重み係数μは対数的に 72 段階に分割した値を使用した．各行列の初期値は区間 (0, 1) の一様乱数とした．短時間フーリエ変換の窓長とシフト幅はそれぞれ 92.9ms 及び 46.4ms とした．目的音源と非目的音源の基底ベクトル数はそれぞれ K = 27 及び L = 50とした．

5ih2
δkli = ∑ il2hi′ li′∑i′l′i]∑∑112− logfik−δkli (2 log hil − log δkli )22 iiζkli =yijhil∑
ulj + µK ∑ 2fik′ gk′ j + hil′ ul′ jhi′ l(19)h2il

hil ulj−γij1 log γij1
βijl

−γij2 log γij2 ) − yij +∑k′]k+γij2

j= hil ·∑j

上式の第二項及び第八項にイェンセンの不等式，第六項に接線不等式をそれぞれ適用し，上限関数を次のよ∑∑∑うに設計する． k αijk = 1， l βijl = 1， i δkli = 1，∑i ζkli = 1，γij1 + γij2 = 1 をみたす補助変数 αijk ，βijl ，δkli ，ζkli ，γij1 ，γij2 > 0 を用いると, 上限関数を次のように設計できる.
[(∑∑fik gkj
J ≤yij log yij −yij γij1αijk logαijk∑∑ fikulj + µjk ζklihil uljl∑k∑∑l]jl- 427 -2020年3月

9with temporal continuity and sparseness criteria,”IEEE Trans. ASLP, vol. 15, no. 3, pp.
1066–1074, 2007.

Conventional PSNMF

8Proporsed PSNMF

SDR [dB]

7[4] A. Ozerov, C. Fevotte, and M. Charbit, “Factorial scaled hidden Markov model for polyphonic audio representation and source separation,” Proc. WASPAA, pp. 121–124, 2009.

654
30.0001

0.001

0.01

0.1

1

10100

1000

10000

Weighting coefficient(a) Tb.&Pf.
1211

Conventional PSNMF[6] D. Kitamura, H. Saruwatari, H. Kameoka,
Y. Takahashi, K. Kondo, and S. Nakamura, “Multichannel signal separation combining directional clustering and nonnegative
matrix factorization with spectrogram restoration,”IEEE/ACM Trans. ASLP, vol. 23, no. 4,
pp. 654–669, 2015.

Proposed PSNMF
10SDR [dB][5] H. Kameoka, M. Nakano, K. Ochiai, Y. Imoto,
K. Kashino, and S. Sagayama, “Constrainedand regularized variants of non-negative matrix
factorization incorporating music-speciﬁc constraints,”Proc. ICASSP, pp. 5365–5368. 2012,

98765
40.0001

0.001

0.01

0.1

1

10100

1000

10000

Weighting coefficient(b) Ob.&Pf.

[8] D. Kitamura, H. Saruwatari, K. Yagi, K.
Shikano, Y. Takahashi, and K. Kondo, “Music signal separation based on supervised nonnegative matrix factorization with orthogonality and maximum-divergence penalties,”IEICE
Trans. Fundamentals, vol. E97-A, no. 5, pp.
1113–1118, 2014.

10.5
10.0

Conventional PSNMF
Proposed PSNMF

SDR [dB]

9.5
9.0
8.5
8.0

[9] J. Le Roux, F. Weninger, and J. R. Hershey, “Sparse NMF - half-baked or welldone?,”Mitsubishi Electric Research Lab. Technical Report, TR2015-023, 2015.

7.5
7.0
6.50.0001[7] P. Smaragdis, B. Raj, and M. Shashanka,“Supervised and semi-supervised separationof sounds from single-channel mixtures,”Proc.
LVA/ICA, pp. 414–421, 2007.

0.001

0.01

0.1

1

10

100

1000

10000

Weighting coefficient(c) Tp.&Vc.

Fig. 3: Examples of SDR values of conventional andproposed PSNMFs for (a) Tb.&Pf., (b) Ob.&Pf.,
and (c) Tp.&Vc. mixtures.
Table 1: Average and median SDRs for each method
MethodAverage Median
SNMF
6.09 dB 5.73 dB
Conventional PSNMF 8.51 dB 7.91 dB
Proposed PSNMF
8.73 dB 8.22 dB[10] D. R. Hunter and K. Lange, “Quantile regression via an MM algorithm,” J. Comput. Graph.
Stat., vol. 9, no. 1, pp. 60–77, 2000.
[11] D. Kitamura, “Open dataset: songKitamura”
http://d-kitamura.net/dataset.html. Accessed
24 December 2019.
[12] E. Vincent, R. Gribonval, and C. Févotte, “Performance measurement in blind audio sourceseparation,” IEEE Trans. ASLP, vol. 14, no.
4, pp. 1462—1469, 2006.

参考文献[1] D. D. Lee and H. S. Seung, “Learning the partsof objects by non-negative matrix factorization,” Nature, vol. 401, no. 6755, pp. 788–791,
1999.
[2] D. D. Lee and H. S. Seung, “Algorithms
for non-negative matrix factorization,” Proc.
NIPS, pp. 556–562, 2000.
[3] T. Virtanen, “Monaural sound source separation by nonnegative matrix factorization

日本音響学会講演論文集- 428 -

2020年3月