1-P-27
ケプストラム距離正則化半教師あり NMF による音声強調 ∗☆李莉 1 , 亀岡弘和 1,2 , 樋口卓哉 2 ，猿渡洋 1
1
東京大学 大学院情報理工学系研究科
2
日本電信電話株式会社 NTT コミュニケーション科学基礎研究所

1

はじめに

本稿は音声信号から雑音を抑圧する問題を扱う。音
声信号に混入する雑音は音声通信の品質を劣化させるだけでなく音声認識や音声変換などのさまざまな音声処理の性能低下を招く。この問題を解決するためこれまでさまざまな音声強調手法が提案されてきた [1]。
音声強調手法は教師なしアプローチ，教師ありアプローチ，半教師ありアプローチに大別される。教師ありアプローチは対象音声と対象雑音のサンプルが事前に得られる状況，半教師ありアプローチは対象音声のサンプルのみが事前に得られる状況，教師なしアプローチはいずれも得られない状況をそれぞれ想定した音声強調手法である。また，強調する対象が信号（またはスペクトル）の場合と特徴量の場合とでも大別される。教師あり特徴量強調アプローチの代表例としては
Vector Taylor Series (VTS) 法 [2, 3]，Stereo PiecewiseLinear Compensation for Environment (SPLICE)[4,5]，Denoising Autoencoder (DAE) を用いた手法 [6, 7]などがある。VTS 法は，音声と雑音の線形な重畳過程を特徴量空間で１次近似することにより雑音あり音声特徴量からクリーン音声特徴量への変換関数を構成する手法である。SPLICE は，雑音あり音声とクリーン音声の特徴量の同時確率密度関数を混合正規分布(Gaussian Mixture Model: GMM) でモデル化し，学習サンプルを用いて学習した GMM パラメータにより雑音あり音声特徴量からクリーン音声特徴量への変換関数を構成する手法である。DAE 法は，雑音あり音声特徴量を入力，クリーン音声特徴量を出力とした深層ニューラルネットワークにより入出力間の変換関数を構成する手法である。これら教師あり音声強調アプ
ローチは，識別モデルや識別的規準に基づくため，既知の雑音環境下では極めて強力であるが，未知の雑音環境下では必ずしも有効ではない。ただし，学習データの音声または雑音がテスト時のものと異なる場合にそのミスマッチを補償する方法も多く提案されている。
一方，半教師あり信号強調アプローチの代表例である半教師あり非負値行列因子分解 (Semi-supervised
Non-negative Matrix Factorization: SSNMF) に基づく手法 [8] は，未知の雑音環境下における強力な音声強調法として近年注目されている。この手法は，各時刻の観測スペクトルを事前学習した音声の基底スペクトルと雑音の基底スペクトルの非負結合でフィッティングすることで音声と雑音のパワースペクトルを推定することが可能となる，という原理に基づく。従って，音声の基底スペクトルで雑音スペクトルを説明できてしまう場合やその逆の場合には推定したスペクトルが実際の音声スペクトルに対応しない可能性がある。このため，音声スペクトルと雑音スペクトルの分解の不定性を解消するためには音声スペクトルが満たすべき∗より強い制約が必要である。また，SSNMF 法では信号は強調できたとしても特徴量を強調できる保証はな
いため，強調処理が音声認識や音声変換など音声特徴量に基づく音声処理の性能向上に直結するとは限らない。そこで本稿では，スペクトルだけでなく特徴量の事前情報も活用することで音声スペクトルを推定する手がかりをより多く与えるとともに特徴量の歪みを生じにくくする SSNMF の正則化法を提案する。

2問題の定式化

観測信号の振幅スペクトログラムまたはパワースペクトログラム（以後，観測スペクトログラム）を Yω,tとする。ただし，ω と t は周波数時刻のインデックスである。スペクトルの加法性を仮定し，各時刻の音声(s)(n)
スペクトル Xω,t および雑音スペクトル Xω,t をそれぞ(s)(s)

れ Ks 個の基底スペクトル H1,ω , . . . , HKs ,ω と Kn 個(n)(n)の基底スペクトル H1,ω , . . . , HKn ,ω の非負結合(s)Xω,t =

Ks∑

Hk,ω Uk,t(s)

(s)

(1)

(n)

(n)

(2)

k=1(n)

Xω,t =Kn∑

Hk,ω Uk,tk=1で表せるものとする。SSNMF 法は，クリーン音声の(s)(s)
学習サンプルから事前学習した H1,ω , . . . , HKs ,ω を用(s)(n)

いて，観測スペクトル Yω,t に Xω,t = Xω,t + Xω,t をフィッティングすることで観測スペクトログラムに含まれる音声の成分と雑音の成分を推定する方法である。このようにして求まる音声スペクトルと雑音スペクトルの推定値から Wiener フィルタなどにより観測信号から音声信号を得ることができる。このアプロー
チでは事前学習した音声の基底スペクトルが音声と雑音の分離の手がかりとなるが，音声の基底スペクトルで雑音スペクトルを説明できてしまう場合やその逆の場合がありえるため，Yω,t と Xω,t の誤差を小さくで(s)(n)

きたとしても Xω,t と Xω,t が実際の音声スペクトルと雑音スペクトルに対応するとは限らない。このため，(s)(n)
同じ Xω,t を与える Xω,t と Xω,t の不定性を解消する
ためには音声スペクトルが満たすべきより強い制約が(s)必要である。今，もし Xω,t が音声スペクトルに対応(s)しているなら Xω,t は特徴量空間においても音声が実際にとりうる範囲内に分布するはずである。そこで，
本稿では，ケプストラム特徴量（後述）に着目し，ケ(s)プストラム空間で定義される確率分布に基づいて Xω,tに対する正則化項を考え，これと Yω,t と Xω,t の誤差規準の和を規準としたパラメータ最適化アルゴリズムを提案する。

Speech Enhancement Based on Semi-Supervised Non-negative Matrix Factorization with Cepstral Distance Regularization, Li Li (The University of Tokyo), Hirokazu Kameoka (NTT Communication ScienceLaboratories/The University of Tokyo), Takuya Higuchi (NTT Communication Science Laboratories),
Hiroshi Saruwatari (The University of Tokyo)

日本音響学会講演論文集- 721 -

2016年3月

Yω,t と Xω,t の誤差は二乗誤差，I ダイバージェンス，板倉齋藤距離などで測ることができるが，ここでは I ダイバージェンス)∑(Yω,tYω,t log
I(Y |X) =− Yω,t + Xω,t(3)Xω,tω,tを用いる。ただし，すべての基底スペクトルは∑(s)Hk,ω = 1,ω∑(n)Hk,ω = 1(4)I(Y |X) については，負の対数関数が凸関数であることを利用し，Jensen の不等式によりI(Y |X) ≤ I + (Y |X)(c ∑I + (Y |X) =∏∑t∑wmcn,l log

∏(s)

(9)

(n)
Hk+Ks ,ω = Hk,ω (k = 1, . . . , Kn )

(10)

(s)
Uk,t = Uk,t (k = 1, . . . , Ks )(11)(n)∑(5)(s)fl,ω Xω,t(6)ωの よ う な 規 準 を 考 え る 。た だ し ，X t=
(X0,t , . . . , XN −1,t )T は X0,t , . . . , XΩ−1,t のメル周波数
ケプストラム係数 (Mel-Frequency Cepstrum Coeﬃcients: MFCC) であり，fl,ω は l 番目のメルフィル
タバンク係数，{cn,l }0≤n≤N −1,0≤l≤N −1 は離散コサイン変換の係数である。式 (5) は，X 0 , . . . , X T −1 がパラメータ θ = {µm , Σm , wm }1≤m≤M の混合正規分布から生成される確率の対数を表す。ただし，µm =(µ1,m , . . . , µN,m )T , Σm = diag(σ1,m , . . . , σN,m ), wm
は m 番目の正規分布の平均と分散と重みを表す。クリーン音声の学習サンプルの MFCC 系列からこの混合正規分布のパラメータ θ を学習することで，K(X (s) )(s)を，X ω,t が MFCC 空間においてできるだけ学習サン
プルと同様に分布する場合に高いスコアを与える規準とすることができる。提案法は，式 (3) と式 (5) の二つの規準を考慮した(n),U(n)) = I(Y |X) − λK(X(s))

パラメータ推定アルゴリズム

J (U (s) , H (n) , U (n) ) を最小化する U (s) , H (n) , U (n)を解析的に得ることはできないが，[9, 10] と同様に，当該最適化問題の局所最適解を探索する反復アルゴリズムを補助関数法に基づき導くことができる。補助関数法による，目的関数 F (θ) の最小化問題の最適化アルゴリズムでは，まず補助変数 α を導入し，F (θ) = minα F + (θ, α) を満たす補助関数 F + (θ, α) を設計する。このような補助関数が設計できれば，α ←argminα F + (θ, α) と θ ← argminθ F + (θ, α) を交互に繰り返すことで，目的関数 F (θ) を局所最小化する
θ を得ることができる。以下で，J (U (s) , H (n) , U (n) )の補助関数とそれに基づく更新式を導く。

日本音響学会講演論文集

Uk+Ks ,t = Uk,t (k = 1, . . . , Kn )(12)∑としている。ζk,ω,t は ζk,ω,t ≥ 0,k ζk,ω,t = 1 を満たす変数であり，式 (8) の等号は
ζk,ω,t = ∑Hk,ω Uk,tk′ Hk′ ,ω Uk′ ,t(13)のとき成立する。
次に，−K(X (s) ) の上界関数を設計する。式 (8) と同様，負の対数関数が凸関数であることを利用し，Jensenの不等式より−K(X(s))≤−∑wm
αm,t log∏n2
N (Xn,t ; µn,m , σn,m)αm,tt,mc=∑αm,t∑ (Xn,t − µn,m )2t,mn

22σn,m(14)のような不等式が立てられる。式 (14) の等号は∏2wm N (Xn,t ; µn,m , σn,m)nαm,t = ∑∏2wm′ N (Xn,t ; µn,m′ , σn,m′)(7)のような規準を最小化することが目的である。ただし，λ は正則化パラメータである。以上のようにこの最適化問題はスペクトルのモデルをケプストラム距離規準でソフトな制約を課す問題となっており，これまで我々はこの枠組により楽音分離と音色クラスタリングを同一最適化規準の下で行う手法を提案している [9, 10]。提案法はこの枠組により音声の信号強調と特徴量強調を同時に実現することを目指した手法であり，「ケプストラム正則化 SSNMF」と呼ぶ。

3)

Hk,ω = Hk,ω (k = 1, . . . , Ks )2)
N (Xn,t ; µn,m , σn,mnml,HkHk,ω Uk,t+ Xω,tζk,ω,tωK(X (s) ) = logJ (Uζk,ω,t logのような上界関数が立てられる。ただし，=c はパラメータに依存する項のみに関する等号を表す。また Hと U は，ここでは(s)(s)− Yω,tω,tのような制約を満たしているものとする。次に，Xω,tに対し，Xn,t =(8)∑m′(15)nのとき成立する。続いて (Xn,t − µn,m )2 の上界関数を導く。二次関数は凸関数なので，Jensen の不等式より(Xn,t − µn,m )2 ≤∑ (cn,l log Gl,t − φl,n,m,t )2l

βl,n,m,t(16)の よ う な 不 等 式 が 立 て ら れ る 。た だ し ，Gl,t =∑∑(s)ω fl,ω Xω,t である。βl,n,m,t は ∑l βl,n,m,t = 1 を満たす任意の正の定数，φl,n,m,t は l φl,n,m,t = µn,mを満たす変数であり，式 (16) の等号は

φl,n,m,t = cn,l log Gl,t + βl,n,m,t (µn,m − Xn,t ) (17)のとき成立する。式 (16) と式 (14) より，− K(X (s) )≤d=−- 722 -∑t,m+∑Al,t (log Gl,t )2 +t,lαm,t log∑Bl,t log Gl,t + dt,lwmαm,t∑ αm,t φ2l,m,n,t∑1∑2log 2πσn,m+αm,t22 t,m2σn,mβl,n,m,tnt,n,m,l

2016年3月

が い え る 。た だ し ，υk,l,ω,t は υk,l,ω,t∑k,ω υk,l,ω,t = 1 を満たす変数であり，がいえる。ただし，Gl,t =∑(s)fl,ω Xω,tfl,ω Hk,ω Uk,tυk,l,ω,t = ∑fl,ω′ Hk′ ,ω′ Uk′ ,t(18)ωαm,t c2n,lAl,t =22σn,mβl,n,m,tn,m∑ αm,t cn,l φl,m,n,tBl,t = −2σn,mβl,n,m,tn,m(19)1+ p(ξl,t )Gl,t + q(ξl,t )Gl,t(21)で与えることができる。ただし，2 log ξl,t1+ 2ξl,tξl,tq(ξl,t ) = (log ξl,t )2 − 2 log ξl,t −(22)2ξl,t(23)ω,kと書ける。ただし，δx は条件 x を満たす場合に 1，満たさない場合に 0 となる指示関数である。以上より，−K(X (s) ) の上界関数− K(X (s) )(∑∑≤Al,t11=∑Gl,tf
Hk,ω Uk,tl,ωω,k∑υk,l,ω,t log

ω,k−bk,ω +Hk,ω =(27))のような不等式を得る。ϕl,t は正の変数であり，ak,ω =∑Uk,t + λBl,t log Gl,t ≤ Bl,t∑ω,k

日本音響学会講演論文集

(35)

(36)

∑Al,t p(ξl,t )fl,ω Uk,tl,t∑ δBl,t ≥0 |Bl,t |fl,ω Uk,tϕl,tl,t∑∑bk,ω = − ζk,ω,t Yω,t − λ δBl,t <0 |Bl,t |υk,l,ω,t+λ(29)のとき式 (28) の等号は成立する。一方 Bl,t < 0 のとき，負の対数関数は凸関数より Jensen の不等式により(34)を得る。ただし，

tϕl,t = Gl,t(33)∑ωt(28)√b2k,ω − 4ak,ω ck,ω2ak,ωζk+Ks ,ω,t Yω,t(n)Hk,ω = t ∑Uk+Ks ,tt√
−ek,t + e2k,t − 4dk,t fk,t(s)Uk,t =2dk,t∑ζk+Ks ,ω,t Yω,t(n)Uk,t = ω ∑Hk+Ks ,ω> 0,のとき式 (26) の等号は成立する。続いて Bl,t log Gl,tの項の上界を考える。Bl,t は非負値であるとは限らないので，Bl,t の符号に応じて別種の不等式を立てる。
まず，対数関数が凹関数であるため，Bl,t ≥ 0 のとき，fl,ω Hk,ω Uk,t+dυk,l,ω,tを得ることができる。この不等式を導いたことのポイントは，右辺を最小にする H や U を解析的に得ることができる点にあり，I + と合わせることにより更新式を閉形式で与える補助関数を設計することができる。
この補助関数より，各パラメータの更新式

ω ′ ,k′Gl,t+ log ϕl,t − 1ϕl,tδBl,t <0 |Bl,t |(s)fl,ω Hk,ω Uk,tρl,k,ω,t = ∑fl,ω′ Hk′ ,ω′ Uk′ ,tBl,t log Gl,t ≤ Bl,t∑t,l(26)が∑ 成 り 立 つ 。た だ し ，ρl,k,ω,t は ρl,k,ω,tω,k ρl,k,ω,t = 1 を満たす変数であり，(ω,k(25)

ρ2l,k,ω,tfl,ω Hk,ω Uk,t(32))ρ2l,k,ω,t+ p(ξl,t )Gl,t + q(ξl,t )fl,ω Hk,ω Uk,t()∑Gl,t+δBl,t ≥0 |Bl,t |+ log ϕl,t − 1ϕl,tt,l(24)のとき成立する。さらに，fl,ω Hk,ω Uk,t が非負値であること，逆数関数が正領域で凸関数であることから，
Jensen の不等式より

ω,k)Gl,tBl,t log Gl,t ≤ δBl,t ≥0 |Bl,t |+ log ϕl,t − 1ϕl,t∑fl,ω Hk,ω Uk,t−δBl,t <0 |Bl,t |υk,l,ω,t log
υk,l,ω,t−ξl,t = Gl,t∑のとき式 (30) の等号は成立する。まとめると，t,lであり，式 (21) の等号は

≤(31)

((20)

で あ る 。Al,t は 非 負 値 で あ る 点 に 注 意 し ，次 に(log Gl,t )2 の上界関数を考える。(log Gl,t )2 の上界は[9] の不等式を用いて

p(ξl,t ) =0,

ω ′ ,k′∑(log Gl,t )2 ≤>ck,ω = −λdk,t =fl,ω Hk,ω Uk,t(30)υk,l,ω,t log
υk,l,ω,t- 723 -∑ωl,t∑ Al,t ρ2l,k,ω,tfl,ω Uk,t
∑Hk,ω + λ Al,t p(ξl,t )fl,ω Hk,ωl,tω,l+λ∑ δBl,t ≥0 |Bl,t |fl,ω Hk,ω
ϕl,tω,l

2016年3月

White noise

Babble noise

5.2
5
4.8
4.6

3.8
3.6
3.4
3.2
3
2.8

6

4

NMF

proposed

0proposed

提案法と従来法によって得られたケプストラム歪みの改善値。雑音が白色雑音の場合（左）とバブル雑音の場合（右）。

Museum noise

86

42

Background music noise

3.5

5.5

5

ωfk,t = −λNMF∑δBl,t <0 |Bl,t |υk,l,ω,tω,lである。

評価実験

ATR 音 声 デ ー タ ベ ー ス 503 文 の 音 声 デ ー タ とRWCP の雑音データ（white noise, babble noise, museum noise, background music noise の 4 種類）を用いて上述の手法による雑音抑圧効果を検証する評価実験を行った。比較対象は従来の SSNMF 法とし，処理前と処理後の信号対歪み比 (SDR) およびケプストラ
ム歪みの改善値を評価した。テストデータはクリーン音声に各雑音をさまざまな SNR で重畳させて作成した。テストデータはすべて音響信号はサンプリング周
波数 16kHz のモノラル信号で，フレーム長 32ms，フレームシフト 16ms で短時間 Fourier 変換を行い，観測スペクトログラム Yω,t を算出した。学習においては 10 名（うち女性 4 名，男性 6 名）の話者の計 450(s)文の音声を用いて Hk,ω と MFCC の GMM パラメータ θ の学習を行った。MFCC の次元は 13 とし GMMの混合数は 30 とした。テストにおいては，学習で得(s)(s)(n)られた Hk,ω と θ を固定し，λ = 1 として Uk,t , Hk,ω ,(s)(n)Uk,t の推定を行った。推定後，Xω,t と Xω,t を用いてWiener フィルタにより音声信号の推定値を算出した。
提案法アルゴリズムの初期値は従来の SSNMF により得た。
以上の条件下での提案法と従来法によって得られたケプストラム歪みおよび SDR の改善値を図 1〜4 に示す。いずれの評価尺度においてもほとんどの場合において提案法の方が高い改善値を得られていることが確認できる。

おわりに

SSNMF による音声強調では，雑音とクリーン音声で類似するスペクトルが存在する場合，音声の基底スペクトルで雑音スペクトルを表現してしまうこと（あ日本音響学会講演論文集

765430proposed∑ Al,t ρ2l,k,ω,tω,t fl,ω Hk,ω(n)open male

Background music noise

76

NMF
proposed

543
2
1

1

提案法と従来法によって得られたケプストラム歪みの改善値。雑音が実環境雑音の場合（左）と背景音楽の場合（右）。

ζk,ω,t Yω,t − λopen female

2proposed∑closed female closed male

86Fig. 2

ek,t = −0NMF
proposed

9

4.5

NMF

open male

SDR improvement [dB]4open female

Museum noise

10

SDR improvement [dB]

MFCC distance improvement [dB]4.5

closed male

提案法と従来法によって得られた SDR の改善値。雑音が白色雑音の場合（左）とバブル雑音の場合（右）。

5.55closed female

Fig. 36.5MFCC distance improvement [dB]82Fig. 1

510

2.6
NMF

4NMF
proposed

10SDR improvement [dB]5.4

Babble noise

12NMF
proposed

4SDR improvement [dB]

MFCC distance improvement [dB]

MFCC distance improvement [dB]5.6

White noise

124.2

5.8

closed female

closed maleopen female

open male0

closed female

closed maleopen female

open maleFig. 4

提案法と従来法によって得られた SDR の改善値。雑音の種類が実環境雑音の場合（左）と背景音楽雑音の場合（右）。

るいはその逆）により性能が低下することがあった。
また，この手法では信号は強調できたとしても特徴量を強調できる保証はなく，逆に特徴量を損傷してしまう場合がある。このため強調処理が音声認識や音声変換などのような音声特徴量に基づく音声処理の性能向上に必ずしも直結しないという問題があった。そこで
本稿ではこの問題を解決するため，音声の MFCC 空間の確率分布を正則化規準とした SSNMF による音声強調法「ケプストラム距離正則化 SSNMF」を提案し，実験によりその効果を確認した。
謝辞 本研究は JSPS 科研費 26730100 の助成を受けて行われた。

参考文献[1] P.C. Loizou, Speech Enhancement: Theory andPractice, Boca Raton, FL: CRC Press, 2007.
[2] J. Moreno et al., “A vector Taylor series approachfor environment-independent speech recognition,”in Proc. ICASSP, 2, 733–736, 1996.
[3] T. Kristjansson and J. Hershey “High resolution
signal reconstruction,” in Proc. ASRU, 291–296,
2003.
[4] J. Droppo et al., “Evaluation of SPLICE on theAurora 2 and 3 tasks,” in Proc. ICSLP, 29–32, 2002.
[5] J. Droppo and A. Acero, “Maximum mutual information SPLICE transform for seen and unseenconditions,” in Proc. Interspeech, 989–992, 2005.
[6] Y. Xu et al., “An experimental study on speech enhancement based on deep neural networks,” IEEESPL, 21(1), 65–68, 2014.
[7] M. Kim and P. Smaragdis, “Adaptive denoising autoencoders: A fine-tuning scheme to learn from test
mixtures,” in Proc. LVA/ICA, 2015.
[8] P. Smaragdis et al., “Supervised and semisupervised separation of sounds from single-channelmixtures,” in Proc. ICA, 414–421, 2007.
[9] H. Kameoka et al., “Constrained and regularizedvariants of non-negative matrix factorization incorporating music-specific constraints,” in Proc.
ICASSP, 5365–5368, 2012.
[10] 樋口, 亀岡, “ケプストラム距離正則化に基づく多重音解析,” 情処研報, 2014-MUS-104(10), 2014.

- 724 -2016年3月