1-9-2
基底共有型非負値行列因子分解に基づく楽器音の共通・固有成分の分析 ∗☆香西海斗, 北村大地 (香川高専)

1

はじめに

一般的に，個人の演奏や楽器本体の芸術的価値は，一定の品質を超える範囲において，評価者の主観に基づいて評価される．例えば，「アマチュア奏者とプロフェッショナル奏者の演奏の差異」や「安価な楽器と高価な楽器の奏でる音の違い」が主観的に語られることは多い．しかしながら，これらの観点について主観を廃して定量的に議論する方法はあまり確立されておらず，とくに音楽演奏や楽器に対して精通していない者にとっては，芸術的価値を判断する材料がないため他者の主観的評価に頼らざるを得ない．もし，複数の楽器音信号の音響的違いや芸術的違いを客観的かつ定量的に表現・評価する音響特徴量が推定できるならば，アマチュア奏者がより良い演奏をするために必要な技術の提示や，より芸術的価値の高い楽器の設計製作等に役立てることができる．さらに，そのような音響特徴量は，楽器音信号の音色変換，識別，検索等にも応用することが可能と考えられ，音楽という万人が親しむ芸術文化のさらなる興隆につながることが予想される．
音響信号の特徴量解析法は，音声解析を起源として古くから研究されており，ピッチ，スペクトル包絡，メル周波数ケプストラム係数等様々な特徴量が広く利用されている．楽器音の物理現象を対象とした解析も歴史は古く，ピアノやヴァイオリン等，個々の楽器の物理音響的側面から発音機構が解析されてきた[1]．2000 年以降では，楽器同定の分野で楽器音の音響特徴量が各種検討されている [2, 3]．
本稿では，前述の目的を達成するために，客観的かつ定量的に複数の楽器音信号の違いを議論できる音響特徴量抽出法を検討する．具体的には，非負値行列因子分解（nonnegative matrix factorization: NMF）
[4, 5] と呼ばれる行列分解理論を用いて，複数の楽器音信号間の「共通する音響特徴量」及び「固有の音響特徴量」を同時に推定・抽出する新しいアルゴリズムを提案し，その有用性を実験的に調査する．

2

音響信号に対する NMF の適用

2.1NMF の概要

NMF [4, 5] は，次式に示すように，非負の観測行列を別の二つの非負行列の行列積に近似的に分解する数理アルゴリズムである．
X ≈ WH(1)

Fig. 1

NMF for audio signals, where K = 2.

I×J
ここで，X ∈ R≥0は全要素が非負の観測行列でI×Kあり，W = [w1 w2 · · · wK ] ∈ R≥0
及び H =K×J
T[h1 h2 · · · hK ] ∈ R≥0 は NMF で推定すべき非負変数行列である．また，·T は転置を表す．W 及びH はそれぞれ基底行列及びアクティベーション行列と呼ばれる．wk は基底ベクトルと呼ばれ，その本数K は K ≪ min(I, J) となるように設定される．ここで，k = 1, 2, · · · , K は基底ベクトルのインデクスを示す．従って，NMF は X を W H で低ランク近似する行列分解であり，X 中に頻出する少数（K 個）の潜在的なパターンを基底ベクトルとして抽出 [4] できる教師無し学習である．
NMF を音響信号に適用する場合，短時間フーリエ変換（short-time Fourier transform: STFT）を経て得られる振幅（又はパワー）スペクトログラムを非負観測行列 X とするのが一般的である．この場合，Fig. 1 に示すように，音響信号中の頻出スペクトルがwk として得られ，さらに各スペクトルの時間的強度変化が hk となる．このように，NMF は音響信号中のスペクトルパターンを教師無し学習できるため，音楽信号解析 [6] や音源分離 [7, 8] に頻繁に適用される．

2.2

NMF における変数行列の最適化

NMF では，次式の最適化問題を解くことで変数行列 W 及び H を推定する．
min D(X|W H) s.t. wik , hkj ≥ 0 ∀i, j, kW ,H(2)

ここで，wik 及び hkj はそれぞれ W 及び H の要素であり．i = 1, 2, · · · , I 及び j = 1, 2, · · · , J はそれぞれ周波数ビン及び時間フレームのインデクスを示す．
また，D(·|·) は 2 つの入力行列間の類似度を測る関数である．本稿では，次式で表される一般化 Kullback–Leibler ダイバージェンスを用いる．
∑(xij
D(X|W H) =xij log ∑k wik hkji,j)∑−xij +wik hkj
(3)
k

∗

Analysis of common and individual components in musical instruments based on basis-shared nonnegative
matrix factorization. By Kaito Kozai and Daichi Kitamura (NIT Kagawa).

日本音響学会講演論文集- 1109 -2021年3月

∑ [xijn n log xijn n=n,i,jn− xijn n log(∑

wik hkjn n +∑k−xijn n +∑3

提案手法：基底共有型 NMF

3.1

分解モデル

wik hkjn n +∑X1 ≈ W H1 + F1 H1
X2 ≈ W H2 + F2 H2..


.



XN ≈ W HN + FN HN

ここで，W は全観測信号のモデルで共有される基底行列であり，X1 , · · · , XN 間の共通スペクトル成分を含む．また，Xn における固有スペクトル成分は，基底行列 Fn = [fn1 fn2 · · · fnK ] ∈ RI×K
≥0 及びアクティK×Jn
ベーション行列 Hn = [hn1 hn2 · · · hnK ]T ∈ R≥0の積 Fn Hn として表現されるため，式 (4) の分解によって N 個の観測信号中の共通及び固有成分がそれぞれ推定できる．このとき，固有成分のアクティベーション行列 Hn を共有基底行列 W と固有基底行列Fn の間で共有することで，K 本の基底ベクトル（wk及び fk ）のそれぞれに対する共通・固有成分への分解を実現している．

3.2

反復更新式の導出

式 (4) の分解モデルの各変数は，次の最適化問題を解くことで推定できる．

min

W ,F1 ,··· ,FN ,H1 ,··· ,HN∑

D (Xn |W Hn + Fn Hn )ns.t. wik , fikn , hkjn n ≥ 0 ∀i, jn , k, n (5)ここで，jn = 1, 2, · · · , Jn は Xn の時間フレームのインデクスを示す．以後，式 (5) の最適化を解くための反復更新式を導出する．この反復更新式の導出には，通常の NMF と同様に補助関数法 [9] を用いる．
式 (5) は次のように変形することができる．

J ≡∑D(Xn |W Hn + Fn Hn )n

日本音響学会講演論文集∑fikn hkjn n

(6)

kkkk

fikn hkjn n
wik hkjn n ∑−βijn kn log
αijn kn log
αijn kn
βijn knk(7)∑ここで，αijn kn > 0 及び βijn kn > 0 は k αijn kn +∑k βijn kn = 1 を満たす補助変数である．式 (7) の等号条件を次に示す．
wik hkjn n∑′′k′ w h n n +k′ fik n hk jn nfikn hkjn n∑βijn kn = ∑′′′′whk′ ik k jn n +k′ fik n hk jn n

αijn kn = ∑(4)]

上式の第 2 項について，Jensen の不等式を適用する．
)(∑∑
wik hkjn n +fikn hkjn n− log≤−

提案手法では，複数の音響信号間の共通成分及び固有成分を NMF で推定する．いま，N 個の観測信号の振幅スペクトログラムを X1 , X2 , · · · , Xn , · · · , XN ∈nRI×J≥0 （n = 1, 2, · · · , N は観測信号のインデクス）と表すとき，次の基底共有型 NMF モデルを考える．

fikn hkjn nkkFig. 2 Decomposition model in proposed basisshared NMF, where N = 2.

)

ik′k′ j(8)(9)

従って，J ≤ J + なる補助関数 J + が次式として設計できる．
∑ (J ≤ J+ ≡xijn n log xijn nn,i,jn− xijn n∑αijn kn log

wikn hkjn nαijn kn

βijn kn log

fikn hkjn nβijn kn

k− xijn n∑
k−xijn n +∑wik hkjn n +k∑)fikn hkjn nk∂J + /∂wik = 0 より，W の更新式が得られる．
)∑ ( xij n αij knnn−+ hkjn n = 0wikn,jn∑n,jn xijn n αijn kn∑
wik =n,jn hkjn n
上式に式 (8) を代入すると，反復更新式が得られる．
∑xijn∑
n∑n,jn hkjn n k′ wik′ hk′ jn n + k′ fik′ n hk′ jn n∑wik ← wikn,jn hkjn n
同様に，∂J + /∂fikn = 0 及び ∂J + /∂hkjn n = 0 より，F 及び Hn の更新式はそれぞれ次式となる．
∑xijn∑n∑jn hkjn n k′ wik′ hk′ jn n + k′ fik′ n hk′ jn n∑fikn ← fikn
jn hkjn n∑(wik +fikn )xijn nhkjn n ← hkjn n- 1110 -i∑∑

k′ wik′ hk′ jn n +∑k′ fik′ n hk′ jn ni (wik + fikn )2021年3月

Source 1
Source 2

Fig. 3

Music scores used in experiment.

4実験

4.1

実験条件

観測信号間の共通・固有成分が提案手法でどのように得られるか確認するため，MIDI 音源で作成した音響信号 X1 及び X2 を用いて実験を行った．各音響
信号は Fig. 3 に示す楽譜に基づき，ピアノ音源 Iowa
Piano1 及び 4Front Piano2 により生成した．STFT の窓長及びシフト長はそれぞれ 92.9 ms 及び 46.4 ms とし，窓関数は Hamming 窓を用いた．提案手法の更新
式の反復回数は 1000 とした．基底数は K = 6 とし，各変数の初期値には区間 (0, 1) の一様乱数を用いた．

4.2

実験結果Figs. 4(a)–4(c) はそれぞれ，共有基底行列 W （X1と X2 に共通するスペクトルパターン），X1 の固有基底行列 F1 及び X2 の固有基底行列 F2（X1 またはX2 で固有のスペクトルパターン）を示している．但し，基底行列のグラフは対数振幅の片対数グラフで示している．さらに，Figs. 5(a) 及び (b) は各スペクトルパターンのアクティベーションである H1 及び H2を示している．
まず，Fig. 3 と Fig. 5 を比較すると，C4 音，E4 音，及び G4 音がそれぞれ基底ベクトル 2 本ずつでモデル化されていることが分かる．また，Fig. 5 を見ると，各基底行列の偶数本目の基底ベクトル（w2 , w4 , w6 とfn2 , fn4 , fn6 ）がピアノ音のアタック部分のスペクトルを表し，奇数本目の基底ベクトル（w1 , w3 , w5 と
fn1 , fn3 , fn5 ）がサスティン部分のスペクトルを表していることがわかる．確かに，Figs. 4(a) 及び (b) のw1 と f11 は C4 音（基本周波数 261.63 Hz）の調波構造が比較的明確に表れており，w2 と f12 はハンマーが弦を打つ際の非調波なスペクトルとなっている．その一方で，Fig. 4(c) の f22 は若干の調波構造が含まれており，この違いは X1 と X2 の 2 つのピアノ音の違いを吸収するために現れた成分（両ピアノ音のスペクトル的差異）と判断できる．同様の傾向が G4 音のアタック部分をモデル化している f16 及び f26 にも確認できるが，E4 音のアタック部分をモデル化している f14 及び f24 には現れなかったことから，両ピアノ音の E4 音の差異は純粋なアタック部分にのみ生じることが予測できる．
Figs. 6(a) 及び (b) は X1 及び X2 のスペクトログ
1 https://vst4free.com/plugin/2294/
2 http://www.yohng.com/software/piano.html

日本音響学会講演論文集

ラム，Figs. 6(c) 及び (d) は各音源の共通成分のスペクトログラム，Figs. 6(e) 及び (f) は各音源の固有成分のスペクトログラムをそれぞれ示している．なお，全スペクトログラムについてカラーマップは共通化している．これらを見ると，共通成分 W H1 及び W H2は比較的パワーが小さく，大部分が固有成分 F1 H1 及び F2 H2 で表現されていることが分かる．もし基底数K が十分大きければ，式 (5) の最小化は Xn ≈ Fn Hnとモデル化することで最小化できてしまうため，固有成分 Fn Hn のパワーが大きくなる傾向にあることは，現時点での提案手法の課題である．それでもなお，共通成分 W Hn にはある程度の構造が抽出されており，提案手法が複数の音響信号間の共通・固有成分抽出に活用できる可能性を示している．

5

おわりに

本稿では，複数の音響信号間の共通・固有成分をモデル化するための新しい手法として，基底共有型NMF を新たに提案した．2 種類のピアノ音を題材とした実験では，両ピアノ音のスペクトルにおける共通・固有成分を抽出することができた．今後の課題として，得られたモデルから定量的に両音響信号の違いを議論する方法の確立や，本手法を応用した音色変換等が挙げられる．
謝辞 本研究の一部は JSPS 科研費 19K20306 の助成を受けたものである．

参考文献[1] N. H. Fletcher and T. D. Rossing, “The physics of musicalinstruments,” Springer Science & Business Media, 1991.
[2] T. Kitahara, M. Goto, K. Komatani, T. Ogata, andH. G. Okuno, “Musical instrument recognizer “instrogram”
and its application to music retrieval based on instrumentation similarity,” Proc. Int. Symp. Multimedia, pp. 265–274,2006.
[3] C. Joder, S. Essid, and G. Richard, “Temporal integration
for audio classiﬁcation with application to musical instrument classiﬁcation,” IEEE Trans. Audio, Speech, and Lang.
Process., vol. 17, no. 1, pp. 174–186, 2009.
[4] D. D. Lee and H. S. Seung, “Learning the parts of objects by non-negative matrix factorization,” Nature, vol. 401,
no. 6755, pp. 788–791, 1999.
[5] D. D. Lee and H. S. Seung, “Algorithms for non-negativematrix factorization” Proc. Neural Info. Process. Syst., pp.
556–562, 2000.
[6] C. Févotte, N. Bertin, and J.-L. Durrieu, “Nonnegative matrix factorization with the Itakura-Saito divergence. Withapplication to music analysis,” Neural Comput., vol. 21,
no. 3, pp. 793–830, 2009.
[7] D. FitzGerald, M. Cranitch, and E. Coyle, “On the use of thebeta divergence for musical source separation,” Proc. Irish
Signals Syst. Conf., 2009.
[8] D. Kitamura, H. Saruwatari, K. Yagi, K. Shikano, Y. Takahashi, and K. Kondo, “Music signal separation based on supervised nonnegative matrix factorization with orthogonality
and maximum-divergence penalties,” IEICE Trans. Fundamentals, vol.E97-A, no.5, pp.1113–1118, 2014.
[9] D. R. Hunter and K. Lange, “A tutorial on MM algorithms,”
The American Statist., vol. 58, no. 1, pp. 30–37, 2004.

- 1111 -2021年3月

(a)

(b)

(c)

Fig. 4 Spectral patterns in basis matrices (a) W , (b) F1 , and (c) F2 estimated by proposed basis-shared
NMF.

(a)

(b)

Fig. 5 Time-varying gains in activation matrices(a) H1 and (b) H2 estimated by proposed basisshared NMF.

日本音響学会講演論文集

Fig. 6 Spectrograms of observed signals (a) X1and (b) X2 and decomposed model spectrograms
estimated by proposed basis-shared NMF: commoncomponents (c) W H1 and (d) W H2 and individualcomponents (e) F1 H1 and (f) F2 H2 .

- 1112 -2021年3月