3-5-2
トラジェクトリ隠れマルコフモデルによる音声強調 ∗☆岸田拓也 (九州大), 亀岡弘和 (NTT/国立情報学研), 中島祥好 (九州大)1

はじめに(S)

音声信号に混入する雑音を抑圧する音声強調技術
は，高品質な音声通信を達成するためや音声認識の精度を上げるための重要技術の一つである．どのような雑音が混入するのかを予測できない未知雑音環
境下においても，例えば特定話者の利用を想定した音声通信システムのように，強調すべき音声の学習サンプルを事前に用意することが可能な場面は多い．
このような状況での音声強調手法として，半教師あり非負値行列因子分解 (Semi-supervised Non-negativeMatrix Factorization: SSNMF) に基づく手法が提案されている [1]．この手法は，各時刻の観測スペクト
ルを事前学習した音声の基底スペクトルを並べた行列と雑音の基底スペクトルを並べた行列の非負結合でフィッティングすることで音声と雑音のパワースペクトルを推定するというものである．SSNMF 法は未知雑音環境下においても高い信号対雑音比の強調音声を得られる一方で，残留雑音成分からなるミュージカルノイズ（時間周波数平面に点在する雑音成分）が原因で必ずしも聴感的に品質の良い音声とならない場合が多い．また，この SSNMF 法は音声のスペクトルの時間変化の自然さを保証しないため，強調音声のスペクトルが不連続になりがちであり，これもまた強調音声の聴感上の品質を下げる原因となっている．
以上のような問題の解消のために，音声の聴こえをより自然にするためのアプローチを音声強調の手法に組み込む必要があると考え，本研究では音声合成の分野で用いられているある手法に着目した．音声合成においては，聴感的に高品質な音声を合成することを目的として対数スペクトルだけでなく対数スペクトルの時間微分量の統計分布を用いて最適な音声スペクトル系列を生成する方式，隠れマルコフモデル(Hidden Markov Model; HMM) 音声合成という手法がとられる [2, 3]．音声通信のための音声強調においても，いかに聴感的に高品質な音声にできるかが重要となるため，音声合成に用いられているモデルや手法は音声強調にも有用であると考えられる．
そこで本研究では，SSNMF 法における音声スペクトル系列のモデルとして，従来の行列積型のモデルの代わりに，HMM 音声合成の生成モデルと同形のモデルを用いた音声強調手法を提案する．

2(S)LS 個の基底スペクトル Hω,1 , . . . , Hω,LS と LN 個の提案モデルの定式化

観測信号の振幅スペクトルまたはパワースペクト
ル（以後，観測スペクトル）を Yω,t とする．ただし，
ω と t はそれぞれ周波数と時刻のインデックスである．スペクトルの加法性を仮定し，各時刻の音声スペ(S)(N )クトル Xω,t および雑音スペクトル Xω,t をそれぞれ(N )(N )基底スペクトル Hω,1 , . . . , Hω,LN の非負結合(S)Xω,t =LS∑

Hω,l Ul,t(S)

(S)

(1)

(N )

(N )

(2)

l=1
(N )

Xω,t =LN∑Hω,l Ul,tl=1で表せるものとする．SSNMF 法は，クリーン音声の(S)(S)
学習サンプルから事前学習した Hω,1 , . . . , Hω,LS を用(S)(N )いて，観測スペクトル Yω,t に Xω,t = Xω,t + Xω,tをフィッティングすることで観測スペクトログラムに含まれる音声の成分と雑音の成分を推定する方法である [1]．Yω,t に対する Xω,t のフィッティングの度合いは，例えば，∑I(Y |X) =(Yω,t − Xω,t )2(3)ω,tのような規準で測ることができる．しかしながら，音声の基底スペクトルで雑音スペクトルを説明できてしまう場合やその逆の場合がありえるため，Yω,t と(S)(N )Xω,t の誤差を小さくできたとしても Xω,t と Xω,t が実際の音声スペクトルと雑音スペクトルに対応するとは限らない．また，この方式では，音声スペクトルの推定において音声スペクトルの時間変化量の統計を活用できる仕組みになっておらず，このことがミュージカルノイズの発生や不連続なスペクトル変化を許す一因になっていたと考えられる．そこでより高品質な音声強調を実現するためには音声スペク
トルの時間変化の傾向を考慮し，同じ Xω,t を与える
(S)(N )
Xω,t と Xω,t の不定性を解消するより強い制約が必要である．
そこで，本稿では，J (Y |X), KF (F |s), KE (E|q),
L(X (N ) |H (N ) , U (N ) ) の 4 つの規準の重みつき和I(F, E, H (N ) , U (N ) ) = α1 J (Y |X)+ α2 {KF (F |s) + KE (E|q)}+ α3 L(X (N ) |H (N ) , U (N ) ) (4)を目的関数とした最適化問題を定式化し，停留点への収束が保証されるパラメータ推定アルゴリズムを提案する．ただし，α1 , α2 , α3 は重みづけ係数である．
各項について以下で述べる．
式 (4) の右辺第一項の J (Y |X) は観測スペクトルY と推定した音声と雑音のスペクトルの和 X の誤差であり，以下の対数スペクトル距離規準を用いる．

J (Y |X) =∑(log Yω,t − log Xω,t)2(5)ω,t∗Speech Enhancement Based on Trajectory Hidden Markov Model. by KISHIDA, Takuya (Kyushu University), KAMEOKA, Hirokazu (NTT/National Institute of Informatics), and NAKAJIMA, Yoshitaka(Kyushu University)

日本音響学会講演論文集- 151 -

2016年9月

第二項は，音声のスペクトルを HMM 音声合成の生成モデルと同形のモデルによって説明するための規準となる項であり，∑()2KF (F |s) =log Fω,t − ρω (s)(6)ω,tKE (E|q) =∑()2log Eω,t − µω (q)(7)ω,t(S)である．ここで，音声信号のスペクトル Xω,t を，音(S)

声のソースフィルタ理論に基づき，Xω,t = Fω,t Eω,tと声道スペクトル Fω,t と声帯振動スペクトル Eω,t に分解している．また，s = (s1 , . . . , sT ) および q =(q1 , . . . , qT ) はそれぞれ声道スペクトル系列と声帯振動スペクトル系列に対応した異なる HMM の状態系列を表し，ρω (s) = (ρω,1 (s), . . . , ρω,T (s))T およびµω (q) = (µω,1 (q), . . . , µω,T (q))T は状態系列が与えられた下での最尤スペクトル系列ρω (s) = argmax N (W z ω ; mω (s), V ω (s))
zωµω (q) = argmax N (W z ω ; cω (q), U ω (q))zω(8)(9)に対応する．これは HMM 音声合成におけるパラメー
タ生成方式 [2, 3] と同形で，補助関数法による，目的関数 F (θ) の最小化問題の最適化アルゴリズムでは，まず補助変数 ξ を導入し，F (θ) = minξ F + (θ, ξ) を満たす補助関数 F + (θ, ξ) を設計する．このような補助関数が設計できれば，ξ ←argminξ F + (θ, ξ) と θ ← argminθ F + (θ, ξ) を交互に繰り返すことで，目的関数 F (θ) を局所最小化する θを得ることができる．本最適化問題における目的関数の補助関数は，目的関数の中の凸関数と凹関数に対してそれぞれ Jensen の不等式と接線不等式を利用し，さらに対数の二乗の関数については，x > 0, ξ > 0 において成り立つ以下の不等式

1+ f (ξ)x + g(ξ)
x
12 log ξ+ 2f (ξ) =ξξ(log x)2 ≤g(ξ) = (log ξ)2 − 2 log ξ −−2∑δlog Y ≥0 | log Yω,t | log Xω,tω,t+∑δlog Y <0 | log Yω,t | log Xω,tω,t∑(log Yω,t )2ω,t≤∑{−2∑+(λω,t )2Xω,t(N )Xω,t+2(δlog Y <0 | log Yω,t |ω,t++ f (ξω,t )Xω,t + g(ξω,t )(S)(N )
Xω,tXω,t(S)(N )θω,t log (S) + θω,t log (N )θω,tθω,tXω,t+ log ϕω,t − 1ϕω,t∑(log Yω,t )2)(17)のように補助関数を作ることができる．ただし，δxは条件 x を満たす場合に 1，満たさない場合に 0 となる指示関数である．また，式 (17) の等号が成立するのは，補助変数が(S)Xω,t(S)λω,t =,Xω,t(S)θω,t =(12)lJ (F, E, H (N ) , U (N ) ) を 最 小 化 す る F ,E,(N )H ,U (N ) を 解 析 的 に 得 る こ と は で き な い が ，当該最適化問題の局所最適解を探索する反復アルゴリズムを補助関数法に基づき導くことができる．

)

ω,t(N )
Xω,t(N )λω,t =Xω,tξω,t = Xω,t

パラメータ推定アルゴリズム

日本音響学会講演論文集(δlog Y ≥0 | log Yω,t |

ω,t∑}

(N )

(S)

(λω,t )2(S)ω,t(16)(S)
Xω,tXω,tϕω,t = Xω,t3(15)ω,tµω (q) = (W T U ω (q)W )−1 W T U ω (q)−1 cω (q)
(11)

ω,t2
ξ

J (Y |X)∑=(log Xω,t )2+2L(X (N ) |H (N ) , U (N ) )∑(∑ (N ) (N ) )2(N )=log Xω,t − log
Hω,l Ul,t(14)を利用して設計することができる [4]．まず，J (Y |X)
については，

ρω (s) = (W T V ω (s)W )−1 W T V ω (s)−1 mω (s)(10)で与えられる．ただし，ms および cq は状態系列 s,q が与えられた下での各々の HMM の状態出力分布の平均系列，V s および U q は状態系列 s, q が与えられた下での各々の HMM の状態出力分布の分散を対角成分に並べた対角行列である．また，W は，パラメータの時系列が格納されたベクトルをそれ自身とその時間数値微分系列を結合したベクトルに変換する行列である．また，N (x; µ, Σ) は平均が µ，分散共分散行列が Σ の正規分布を表す．従って式 (8), (9)は所与の状態系列と状態出力分布によって決まるス
ペクトル系列とその時間微分系列の両確率分布を規準とした最尤スペクトル系列を意味していることが分かる．
第三項は，従来の SSNMF 法と同様に，雑音スペ(N )クトログラム Xω,t を行列積型のモデルで説明するための規準であり，以下のようにした．

(13)

(18)
(19)

(N )

, θω,t =(N )Xω,tXω,t(20)(21)を満たすときである．
次に，KF (F |s) と KE (E|q) については，ηω,t > 0,- 152 -2016年9月ζω,t > 0 を用いて∑()2log Fω,t − ρω (s)KF (F |s) =ω,t}∑{2=(log Fω,t )2 − 2 log Fω,t ρω (s) + {ρω (s)}ω,t}∑{ 1≤+ f (ηω,t )Fω,t + g(ηω,t )Fω,tω,t∑∑2−2log Fω,t ρω (s) +{ρω (s)}ω,tKE (E|q) =∑(ω,tlog Eω,t − µω (q)(22))2ω,t}∑{2=(log Eω,t )2 − 2 log Eω,t µω (q) + {µω (q)}
ω,t∑{

}

1+ f (ζω,t )Eω,t + g(ζω,t )Eω,tω,t∑∑2−2log Eω,t µω (q) +{µω (q)}≤以上の補助関数を足し合わせることでJ (F, E, H (N ) , U (N ) ) の 補 助 関 数 が 得 ら れ る ．この補助関数の各パラメータに関する偏微分が0 となるパラメータは二次方程式を解くこと
で 得 ら れ る ．ρω,t (s) の 更 新 に つ い て は ，ま ず，Fω,1 , . . . , Fω,T の更新後，Fω,1 , . . . , Fω,T の時間微分系列 ∆Fω,1 , . . . , ∆Fω,T を算出し，Fω,t と ∆Fω,t結 合 ベ ク ト ル を oω,t = (Fω,t , ∆Fω,t )T と す る ．
oω,1 . . . , oω,T を HMM の出力系列と見なし，その生成確率が最大となる状態系列 s を Viterbi アルゴリズムにより探索する．求まった s を用いて式 (8) により新しい ρω,t (s) を得る．以上と同様の手続きをEω,1 , . . . , Eω,T にも適用し，q と µω,t (q) を更新する．

4性能評価実験

4.1

実験条件

NTT-AT 多言語音声データベース 2002 の音声デー
タとRWCP の雑音データ (museum noise, babble(23)
noise, background music noise の 3 種類) および白ω,tω,t色雑音を用いて上述の手法による雑音抑圧効果を検のような不等式が立てられ，それぞれの右辺を補助証する評価実験を行った．比較対象は従来の SSNMF関数とすることができる．なお，等号は法とし，強調前と強調後の信号対雑音比（SNR）を評価した．テストデータは 6 名 (うち女性 3 名，男性ηω,t = Fω,t , ζω,t = Eω,t(24)3 名) の話者のクリーン音声に各雑音を-10, -5, 0 dBのとき成り立つ．の三種類の SNR で重畳させて作成した．テストデー
(N )
(N )
(N )
最後に，L(X|H , U ) については，タはすべてサンプリング周波数 16 kHz のモノラル信L(X (N ) |H (N ) , U (N ) )号で，フレーム長 32 ms, フレームシフト 16 ms で∑(∑ (N ) (N ) )2(N )短時間 Fourier 変換を行い，観測スペクトログラム
log Xω,t − log=
Hω,l Ul,tω,tlYω,t を算出した．学習においてはテストデータに用∑(N )(log Xω,t )2=いる 6 名を含む 10 名 (うち女性 5 名，男性 5 名) の話
ω,t(S)者の計 500 文の音声を用いて Hω,l を学習し，音声の()∑∑(N )(N ) (N )声道スペクトルと声帯振動スペクトルに対して，そlog Xω,t log−2Hω,l Ul,tω,tlの対数スペクトル系列および対数スペクトルの一次()2∑∑ (N ) (N )時間数値微分系列の HMM パラメータの学習を行っ+log
Hω,l Ul,tた．なお，モデルの簡略化のため，HMM の状態遷
ω,tl(S)
移確率は考えないこととした．事前学習した Hω,l の∑ 1(N )基底数は 6 とし，HMM の状態数は 32 とした．テス≤+ f (νω,t )Xω,t + g(νω,t ) X (N )
(S)
ω,t
ω,t
トにおいては，学習で得られた Hω,l と HMM パラ(N ) (N )メータを固定し，α1 = 10, α2 = 1, α3 = 10 として∑∑Hω,l Ul,t(N )(N )(N )−2
δlog X (N ) ≥0 | log Xω,t |ψω,l,t log
Fω,t , Eω,t , X (N ) Hω,l , Ul,t , s, q, ρω , µω の推定を行っψω,l,tω,tl∑ た．パラメータ推定アルゴリズムの更新回数は 500 回(N ) (N )∑(N )(N )l Hω,l Ul,t(N ) +2δlog X (N ) <0 | log Xω,t |+ log πω,t − 1 としたが，Hω,l , Ul,t , s, q, ρω , µω は 50 回に 1 回だ
πω,t(S)(N )ω,tけ更新した．推定後，Xω,t と Xω,t を用いて Wiener2∑ ∑∑ (N ) (N )τω,l,tフィルタにより音声信号の推定値を算出した．アルゴHω,l Ul,t + g(σω,t )++ f (σω,t )(N ) (N )
リズムの初期値は従来の SSNMF により得た．
ω,tl Hω,l Ul,tl(25)のような不等式が立てられ，右辺を補助関数とすることができる．なお，式 (25) の等号成立条件は以下となる．
(N )νω,t = Xω,t(26)
(N )

(N )

Hω,l Ul,tψω,l,t = τω,l,t = ∑ (N ) (N )l Hω,l Ul,t∑ (N ) (N )πω,t = σω,t =Hω,l Ul,tl

日本音響学会講演論文集

(27)
(28)

4.2

結果と考察

強調前と強調後の音声のスペクトログラムの例を
Fig. 1 に示す．強調後のスペクトログラムは提案法の方が元の音声のスペクトログラムにより近づいていることが確認できる．Fig 2 は強調後の SNR の改善値を示したものである．SNR が-5, 0 dB の条件では，全ての雑音で提案法の方が従来法よりも SNR の改善値の平均値が大きかった．一方で，SNR が-10 dB の条件では，白色雑音以外の雑音の場合，提案法によるSNR の改善値の平均値は従来法に下回った．

- 153 -

2016年9月

87766Frequency (kHz)5432432

105

SNR = -10 dB

101020887766543216543101Time (s)2001

Conventional

22101Time (s)Frequency (kHz)Frequency (kHz)Time (s)SNR improvement [dB]

Frequency (kHz)82Time (s)Fig. 1 強調前，強調後の信号のスペクトログラム．
原音声 (左上)，原音声に背景音楽雑音を重畳したもの (右上)，従来法による強調音声 (左下)，そして提案法による強調後音声 (右下)．

Proposed

14121086420babble

本性能評価実験では，アルゴリズムの実装において HMM 音声合成モデルの状態遷移確率を考えない簡略化されたモデルを用いたものの，SNR が 0 dB である場合には，提案法による音声強調が従来法よりも圧倒的に優れていることが分かる結果が得られている．よって本提案モデルによる音声強調が有効に働く可能性が十分にあることを本性能評価実験で示すことができたと言える．

museum

SNR = -5 dB

SNR improvement [dB]16

謝辞 本研究の一部は，JSPS 科研費 26730100 および 26280060，学術振興会特別研究員奨励費 16J05172の支援を受けた．

musicwhite

ConventionalProposed

1412108642

参考文献

0

日本音響学会講演論文集

babblemuseummusicwhite

SNR = 0 dB
Conventional

16
SNR improvement [dB]

[1] P. Smaragdis, B. Raj, and M. Shashanka,“Supervised and semi-supervised separation ofsounds from single-channel mixtures,” in Proc.
Independent Component Analysis and Signal
Separation, pp. 414–421, 2007.
[2] T. Yoshimura, K. Tokuda, T. Masuko, T.
Kobayashi, T. Kitamura, “Simultaneous modeling of spectrum, pitch and duration in HMMbased speech synthesis,” in Proc. European Conference on Speech Communication and Technology (EUSIPCO 1999), vol. 5. pp. 2347–2350,
1999.
[3] H. Zen, K. Tokuda, T. Kitamura, “Reformulating the HMM as a trajectory model by imposing explicit relationships between static anddynamic feature vector sequences,” Computer
Speech and Language, vol. 21, pp. 153–173,
2007.
[4] H. Kameoka, M. Nakano, K. Ochiai, Y. Imoto,
K. Kashino, S. Sagayama, “Constrained andregularized variants of non-negative matrix
factorization incorporating music-specific constraints,” in Proc. 2012 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP2012), pp. 5365–5368, 2012.

Proposed

14121086420babble

museummusicwhiteFig. 2 SNR の改善値．4 種類の雑音信号 (バブル雑音，実環境雑音，背景音楽雑音，白色雑音) を異なる SNR(-10, -5, 0 dB) で音声信号に重畳した信号をSSNMF 法と提案法で強調した．エラーバーは標準偏差．

- 154 -

2016年9月