1-P-4
補助関数法による識別的 NMF の基底学習アルゴリズム ∗1

筑波大学◎李 莉 1 , 亀岡 弘和 2 , 牧野 昭二 12
日本電信電話株式会社 NTT コミュニケーション科学基礎研究所
ズムを提案する。

1

はじめに

2

従来手法

2.1

教師あり NMF による音源分離

近年，非負値行列因子分解（Non-negative matrixfactorization: NMF）はモノラル音響信号処理問題に対する有力な手法として注目されている [1]。各時刻

L 個の音源からなる混合信号のパワースペクトログ

で観測された振幅またはパワースペクトルを基底スペラムを Y = (Yω,t )Ω×T ∈ R≥0,Ω×T とする。ただし，ω

クトルの非負結合で近似することは，観測スペクトロと t は周波数および時刻のインデックスである。教師

グラムを行列と見なし，二つの行列（基底行列とアクあり NMF では，事前学習した各音源の基底スペクトルティベーション行列）の積で近似することに相当する。

lWl = (Wω,k)Ω×K l ∈ R≥0,Ω×K を用いて，観測スペ各々の行列の要素は非負値のため，非負制約のもと観クトログラム Y を基底行列 W = [W1 , W2 , . . . , WL ]測スペクトログラムに対し行列分解が行われることかとアクティベーション行列 H = [H1 ; H2 ; . . . ; HL ] のら NMF と呼ぶ。教師ありまたは半教師あり音源分離積で近似することで，Wiener フィルタにより各音源の問題設定においては，まず，各音源の学習サンプル信号を混合信号から抽出するためのパワースペクトロのスペクトログラムに NMF を行い，基底行列を事前グラム推定値を得ることが目的である。[1] では Wl =学習する。一方テスト時には，学習した基底行列を固l(Wω,k)Ω×K l ∈ R≥0,Ω×K の事前学習において，音源定し，アクティベーション行列のみを推定する。このll の学習サンプルのスペクトログラム Sl = (Sω,t)Ω×Tようにして求めた各音源のパワースペクトログラムをとの誤差ll用い，Wiener フィルタにより混合信号から目的音源{Ŵl , H̃l } = argmax D(Sl |Wl Hl )(1)

Wl ,Hl信号を得ることができる。
以上のアプローチ [1] では基底学習において学習サを最適化規準として用いている。ただし，D は音源 l のンプルのスペクトログラムと行列積との誤差が最適化

学習サンプルのスペクトログラム Sl と行列積 Wl Hl

規準として用いられるが，分離信号そのものが最適との誤差を測る関数である。テスト時においては，事なるような規準とはなっていなかった。この点に着目

前学習した基底行列 Ŵ = [Ŵ1 , Ŵ2 , . . . , ŴL ] を固し，Wiener フィルタの出力信号と目的音源の学習サ定し，Ĥ = argmax D(Y|ŴH)

ンプルとの誤差を直接的に最適化規準として基底学習(2)

Hを行う，識別的 NMF（Discriminative non-negativematrix factorization: DNMF）[2] と呼ぶ枠組が提案を最小にするアクティベーション行列 Ĥ を推定するされている。この方式では，学習時とテスト時に用いことで，Y に含まれる各音源のパワースペクトログラられる最適化規準が同一となるため，より高い分離能ムの成分 Ŵl Ĥl を推定することができる。誤差関数

力をもった基底スペクトルが学習により得られるようD として I ダイバージェンスを用いる場合，(2) は具になることが期待される。しかし，識別的 NMF の学体的に習規準（後述）は従来の NMF の最適化規準に比べて解析的に複雑な形になる。このため [2] では乗法更新アルゴリズムと呼ぶ汎用的な手法を用いた最適化アルゴリズムが提案されているが，停留点への収束性が保証されておらず DNMF のポテンシャルを十分発揮できているとはいえなかった。そこで，本稿では，以上

DKL (Y|WH)∑(Yω,t log=
ω,tYω,t− Yω,t + [WH]ω,t[WH]ω,t(3)となる。ただし，[·]i,j は行列の {i, j} 番目要素を表す。
各音源のパワースペクトログラム Ŵl Ĥl が求まれば，Wiener フィルタの問題を解決するため，補助関数法という呼ぶ原理に基づく，収束性が保証された識別的 NMF のアルゴリ∗)Ŝl =Ŵl ĤlŴĤ

⊗Y

(4)

Auxiliary function approach to discriminative non-negative matrix factorization, Li Li (University ofTsukuba), Hirokazu Kameoka (NTT Communication Science Laboratories), Shoji Makino (University ofTsukuba)

日本音響学会講演論文集- 519 -2017年3月

により，足して矛盾なく Y になるよう保証された各音

これらの更新式による反復アルゴリズムの収束性は保源信号のスペクトログラムを得ることができる。ただ証されない。

し，⊗ と ·· は要素ごとの乗法と除法を表すものとする。
しかし，上述のアプローチ [1] では，基底の学習規準において (1) が用いられていることから，(4) による分離信号が最適となるような規準になっていなかった。

2.2

識別的 NMF は (1) の代わりに Wiener フィルタ出αl DKL (Sl |Ŝl )適化アルゴリズムを提案する。本節では，補助関数法とアルゴリズムの導出について述べる。

力と学習サンプルのスペクトログラムの誤差∑

前述の乗法更新アルゴリズムの問題を解決するため，本稿では，補助関数法の原理に基づいて導かれる，(6) の最適化問題の停留点への収束性が保証された最識別的 NMF と乗法更新アルゴリズム

J =補助関数法による基底学習アルゴリズム

3(5)

補助関数法

3.1

F (θ) を θ に関して最小化したい目的関数とする

lを規準として基底学習を行う教師あり NMF による音源分離の枠組である。ただし，αl ≥ 0 は l 番目の分離信号の重要度を表すパラメータである。と，F (θ) = minα F + (θ, α) を満たす関数 F + (θ, α) を補助関数，α を補助変数と呼ぶ。このような補助関数を設計できれば，α ← argminα F + (θ, α) と θ ←以下では説明の簡略化のため，音声と雑音の二種

argminθ F + (θ, α) を交互に繰り返すことで，目的関数類の音源 (L = 2) からなる音源分離問題を考える。

F (θ) の停留点を得ることができる。この最適化手法

音声強調が目的の場合は音声信号の分離精度がよりを補助関数法と呼ぶ。

重要となるので，重要度 α は，音声に対して 1，雑3.2

音に対して 0 とする。従って，クリーン音声の学習s
サンプルのスペクトログラムを Ss = (Sω,t)Ω×T ∈R≥0,Ω×T ，雑音の学習サンプルのスペクトログラムを補助関数の設計

以下で，目的関数 f (W, H) の補助関数を設計する。
まず，目的関数 f (W, H) の中の∑K sn
Sn = (Sω,t)Ω×T ∈ R≥0,Ω×T とし，その混合信号のスss
k=1 Wω,k Hk,t∑K

ペクトログラムを M = (Mω,t )Ω×T ∈ R≥0,Ω×T とす
ると，識別的 NMF の基底学習問題は

()
Ws Hs
minimize f (W, H) = DKL Ss⊗ M (6)WH∑
subject to ∀k,Wω,k = 1の補助関数を次の不等式を用いて設計する。
補題 1. 任意の a ∈ R>0 ， b ∈ R>0 に対して，不等式

λa21a≤+b22λb2ωのような最適化問題として定式化される。ただし，基底行列 W = [Ws , Wn ] ∈ R≥0,Ω×K は K s 個の音声基

証明: 任意の a, b, λ ∈ R>0 に対して,底スペクトルと K 個の雑音基底スペクトルで構成さ()2()
1a12λ a−=λ a −2 + 2 2 ≥0λbλb λ baλa21⇒≤+b22λb2れる。

Weninger らは上述の最適化問題に対し乗法更新法を用いた最適化アルゴリズムを提案している [2]。
（すなわち (2)）でアクティベーション行列 Ĥ を求め，Ĥ を固定した下で基底行列 W をW ←Ws

Ss ⊗Ws HssTWH⊗Ws Hs H
⊗ M⊗Wn Hn sT(WH)2 H(7)W ←WnM⊗Ws HsnT(WH)2 H⊗sSnTWH H(8)sn(10)が成り立ち，λ = 1/(ab) のとき等号成立する。

nWeninger らのアルゴリズムでは，まず通常の NMF(9)

k=1 Wω,k Hk,tMω,t は非負値のため，補題 1 より，()s ss W H
DKL S⊗MWH()∑Gsω,tcsss− Sω,t log Gω,t + Sω,t log Gω,t +Mω,t=Gω,tω,t∑(ss− Sω,tlog Gsω,t + Sω,tlog Gω,t≤ω,tλω,t Mω,t Gsω,t 2Mω,t++22λω,t G2ω,tにより更新する方法がとられている。上述の更新式は

f (W, H) の W に関する偏微分の負の項と正の項の商)(11)と W の要素ごとの積で与えられるが，各更新によりが成り立つ。ただし，=c はパラメータに依存する項の目的関数が減少することが保証されない。このため，みに関する等号を表す。また，Gsω,t =日本音響学会講演論文集- 520 -∑K sss
k=1 Wω,k Hk,t2017年3月

とし，Gω,t =∑K

k=1 Wω,k Hk,t とする。(11) の等号は

λω,t =(11)，(13)，(15)，(17) と (19) により，目的関数

1Gsω,t Gω,t(12)のとき成立する。次に，(11) の各項の補助関数を設計sする。Sω,tは正値であること，および負の対数関数は凸関数であることより，Jensen の不等式
K∑s− log Gsω,t ≤ −k=1のとき成立する。

f (W, H) ≤ f + (W, H, Γ)sss∑∑ Sω,tWω,kHk,tWω,k Hk,ts=−Sω,tγk,ω,t log+γk,ω,tηω,tω,t,k+ssWω,kHk,tγk,ω,t log
γk,ω,tが成り立つ。ただし，γk,ω,t は γk,ω,t > 0,f (W, H) の補助関数∑(13)γk,ω,t ，ηω,t ，βk,ω,t と θk,ω,t の集合であり，d は定数項と H に関する大域最適解は解析的に得ることができ(14)sのとき成立する。Sω,tは正値のため，(6) の第二項のる点にある。

3.3

対数関数は凹関数である。凹関数は任意の点における接線により上から抑えることができるため，ηω,tkω,t,k3Mω,t θk,ω,t22 +d2λω,t Wω,k Hk,tである。この補助関数を導いたことのポイントは，WssWω,kHk,tγk,ω,t = ∑ssk′ Wω,k′ Hk′ ,t∑ Wω,k Hk,t2βk,ω,tω,t,ks 2 s 2Wω,kHk,t +∑を得ることができる。ここで，Γ は補助変数 λω,t ，k γk,ω,t =1 を満たす変数であり，(13) の等号はlog Gω,t ≤ω,t,k∑ λω,t Mω,tパラメータの更新式

以上の補助関数を最小にする補助変数の条件は各不等式の等号成立条件に他ならないので，(12), (14),+ log ηω,t − 1(15)(16), (18), (20) で与えられる。また，補助関数を最小にする W, H は ∂f + /∂W = 0 と ∂f + /∂H = 0，すなわち，が成り立つ。ここで，ηω,t は正の変数であり，

ηω,t = Gω,t∑ λω,t Mω,t(16)tのとき，(15) の等号は成立する。続いて，Gsω,t 2 の補助関数を設計する。二次関数は凸関数なので，Jensenの不等式−Ks∑(17)βk,ω,tが成り立つ。ただし，βk,ω,t は∑k βk,ω,t = 1 を満た(18)ssk′ =1 Wω,k′ Hk′ ,tのときに成立する。最後に，1/G2ω,t の補助関数を設計する。関数 1/x2 は x > 0 においては凸であるため，Jensen の不等式により−

1k θk,ω,t)2 =∑kWω,k Hk,tθk,ω,t3
θk,ω,t2 H2Wω,kk,t∑が成り立つ。ただし，θk,ω,t は θk,ω,t > 0，)23∑ Mω,t θk,ω,ttn 22λω,t Hk,ts 2 s 4Wω,kHk,t +ω

ss 2Sω,tγk,ω,t Hk,t−ωηω,ts 22λω,t Wω,k3∑ Mω,t θk,ω,tωs 3Hk,t3∑ Mω,t θk,ω,tω

n 3Hk,t−=0ss∑ Sω,tWω,kηω,tn 22λω,t Wω,k=0=0=0のような四次方程式と三次方程式の正数解を解くことにより得られる。上記四次方程式の定数項と二次式の係数はいずれも負値であるため，必ず一つの正数解のWω,k Hk,tθk,ω,t = ∑′′k′ Wω,k Hk,t

評価実験

4

提案手法による音声強調効果を検証するため，ATR(19)音声データベース 503 文の音声データ [3] と ATR 環
境音データベース（department noise, subway stationk θk,ω,t =1 を満たす変数である。(19) の等号は

日本音響学会講演論文集∑s 22λω,t Hk,tみを持つことが示される。

11= (∑= ∑G2ω,t( k Wω,k Hk,t )2Wω,k Hk,tθk,ω,t2βk,ω,tsn∑ Sω,tWω,kβk,ω,t = ∑K s

θk,ω,t (ηω,tn 3Wω,k−s 3Wω,k3∑ Mω,t θk,ω,ttωssWω,kHk,tks 2sγk,ω,t Wω,k−Sω,t∑ λω,t Mω,tωηω,tts∑ Sω,tHkn ,tす正数であり，(17) の等号は1ss∑ Sω,tHk,ttts 2 s 2Wω,kHk,tk=1≤∑nGsω,t 2 ≤∑2βk,ω,ts 2s 4
Hk,tWω,k+noise の 2 種類）を用いて評価実験を行った。比較対象
は従来の教師あり NMF 法（SNMF）と識別的 NMFの乗法更新アルゴリズム（DNMF MU）とし，処理前(20)と処理後の信号対歪み比 (SDR) および信号対干渉比(SIR)[4] の改善値を評価した。

- 521 -

2017年3月

SDR Improvement [dB]

8Table 2 各手法を 5 回試行して得られた SIR 改善量

7平均値 [dB]。上段は Department ノイズにおける音6声強調結果であり，下段は Subway station ノイズに5おける音声強調結果である。

4Method

3Input SNR
-6 dB

-3 dB

0 dB

3 dB

Avg

SNMF

7.23

7.44

7.44

7.31

7.36

DNMF MU

8.07

7.87

7.44

7.34

7.68

DNMF MM

9.76

9.66

10.16

9.74

9.83

SNMF

7.78

8.04

8.10

8.16

8.02

2
100

1025

50

100200Iteration

提案アルゴリズムにおける反復回数が {0, 10, 25, 50,100, 200} のときの SDR 改善量 [dB] の平均と分散

Fig. 1

Table 1

DNMF MU

8.04

8.67

7.95

8.29

8.24

DNMF MM

10.77

11.58

11.89

11.28

11.38

各手法を 5 回試行して得られた SDR 改善量

平均値 [dB]。上段は Department ノイズにおける音声強調結果であり，下段は Subway station ノイズにおける音声強調結果である。

Method

おわりに

5

従来の教師あり NMF の基底学習においては、学習サンプルのスペクトルへのフィッティング規準を用

Input SNR
-6 dB

-3 dB

0 dBいられることが多く，分離信号が最適となるような規

3 dB

Avg

準とはなっていなかった。そこで，より高い分離精度

SNMF

5.58

5.53

5.18

4.64

5.23を得るには，分離信号そのものを最適化規準として基DNMF MU

5.88

5.68

5.11

4.70

5.34

底を学習する識別的 NMF と呼ぶ枠組が提案されていDNMF AU

6.41

6.29

5.72

4.70

5.78

る。識別的 NMF の学習規準は解析的に複雑な形にな

SNMF

5.79

5.65

5.19

4.06

5.17

るため，乗法更新アルゴリズムと呼ぶ汎用的な手法を

DNMF MU

5.51

5.865.224.805.35用いた最適アルゴリズムが提案されている。しかし、

DNMF AU6.827.20

6.50

4.896.35

乗法更新アルゴリズムは停留点への収束性が保証されていない。本稿では，補助関数法に基づく，収束性が保証された識別的 NMF の基底学習アルゴリズムを提テストデータはクリーン音声に各雑音を-6, -3, 0, 3dB の信号対雑音比 (SNR) で重畳させて作成した。実験に用いた音響信号はサンプリング周波数 16kHz の案し、実験によりその効果を確認した。
謝辞 本研究は JSPS 科研費 26730100 と 26280060 の助成を受けて行われた。

モノラル信号で，フレーム長 32ms，フレームシフト16ms で短時間 Fourier 変換を行い，観測スペクトロ
グラム Y を算出した。基底学習においては男性 2 名と女性 2 名の話者の計 200 文の音声を用いて音声基底の学習を行った。基底数は音声と雑音両方 40 とした。ランダムに決めた初期値で反復アルゴリズムを 5回試行し，各試行における反復回数が 0, 10, 25, 50,100, 200 の時の SDR 改善値の平均と分散をプロットしたものが図 1 である。図 1 の結果により，以下の実験では反復回数を 25 とした。テストデータセットは，

ATR503 文データベースからランダムに選定した 40文の音声データに雑音を重畳させて作成した。
以 上 の 条 件 下 で ，提 案 法 (DNMF AU) と 従 来 法(SNMF, DNMF MU) を 5 回試行して得られた SDR

参考文献[1] P. Smaragdis, R. Bhiksha, and S. Madhusudana, “Supervised and semi-supervised separationof sounds from single-channel mixtures.”, In Proc.
ICA, pp. 414–421, 2007.
[2] F. Weninger, J. L. Roux, J. R. Hershey, and S.
Watanabe, “Discriminative NMF and its application to single-channel source separation.”, In Proc.
INTERSPEECH, pp. 865–869, 2014.
[3] A. Kurematsu, K. Takeda, Y. Sagisaka, S. Katagiri, H. Kuwabara, and K. Shikano, “ATR Japanese
speech database as a tool of speech recognition andsynthesis,” Speech Communication, vol. 9, pp. 357–363, 1990.
[4] E. Vincent, R. Gribonval, and C. Fevotte, “Performance measurement in blind audio source separation.”, IEEE transactions on audio, speech, andlanguage processing, vol. 14, no. 4, pp. 1462–1469,
2016.

および SIR の改善値の平均を表 1, 2 に示す。いずれの評価尺度においても全ての場合において提案手法の方が高い改善値を得られていることが確認できる。

日本音響学会講演論文集- 522 -2017年3月