3-P-33
非負値行列因子分解に基づく欠損データ補間による声道スペクトル推定法の検討 ∗◎中村友彦（東大院・情報理工），亀岡弘和（東大院・情報理工，NTT・CS 研）

1

はじめにな声道スペクトルのサンプル点が単一のフレームの音声合成や音声変換をはじめ音声処理全般において，音声信号から声道スペクトルを推定する技術は多くの場面で用いられている。短区間ごとの音声信号を周期デルタ関数（パルス列）を入力とした線形時不変系の出力としてモデル化できるとすれば，この線形系の入力とインパルス応答がぞれぞれ声帯音源信号と声道特性に対応する。この仮定は，周波数領域
では周期デルタ関数で表される声帯音源スペクトルと声道スペクトルの積で音声スペクトルが表されることに相当する。従って，音声スペクトルは声道スペクトルを周期的に（基本周波数間隔で）サンプリングしたもの，と見なすことができる。
この観点に基づいて音声スペクトルから声道スペクトルを推定する方法がこれまで多数提案されている。代表的な方法の一つとして広く知られる“STRAIGHT [1]” は，音声信号を基本周期の幅で切り出し，その切り出し信号のスペクトルを声道スペクトルの推定値とする方法である。これは周波数領域では，各調波成分のピークを sinc 補間したものを声道スペクトルと見なしていることに相当する。しかしこの方法によって得られる声道スペクトル推定値は，定常な音声が対象であっても切り出しフレームのオ場合よりも増加するので，スペクトル推定精度が向上すると考えられる．このような考えに基づき，同時に収録された調音運動データを用いて複数フレームから声道スペクトルを推定する手法 [3] が提案されている．また，同様の手法として，因子分析トラジェク
トリ隠れマルコフモデルによる声道スペクトル推定法が提案されている [5]. この手法では，音声の各フレームに付与されているコンテキストラベルを用い，同一のコンテキストが付与された複数のフレームにおける調波成分の情報や動的特徴量を手がかりにすることでスペクトル成分を推定する．
以上のように，[5] の手法では複数フレームにおける調波成分の情報を手がかりに高精度に声道スペクトルを推定することが可能であるが，音声データに対するコンテキストラベルの付与には膨大な労力を要する。そこで本稿では，声道スペクトログラムが低ランクな非負値行列で近似できるという仮定を元に，コンテキストラベルを用いなくとも複数フレームにおける調波成分の情報を手がかりに高精度に声道スペクトルを推定することができる手法を提案する。

2

欠損データ補間による声道スペクトル推定の定式化

2.1

声道スペクトログラムモデルの設計

フセットに依存して周期的に時間変化することが知られる。これは各調波成分が互いに干渉し合うからである。この変動成分は周期信号に対する有限窓を用

時刻インデックスを t = 0, · · · , T − 1 とし，周波数いた周波数分析により不可避的に生じるものであり，インデックスと対応する正規化角周波数をそれぞれ声道スペクトル推定値に本来含めるべきものではな

k = 0, · · · , K − 1, ωk と表す．前節で述べた通り，声い。そこで，[2] ではこの変動成分を除くよう改良さ道スペクトログラムを低ランクな非負値行列とみなれた手法が提案されている。

す．R 個の滑らかなスペクトルパターンを列方向に前述のとおり音声スペクトルは声道スペクトルを並べた非負値行列 H = (Hk,r )k,r と，各スペクトル基本周波数 (F0 ) 間隔でサンプリングしたものと見なパターンの非負値の重み U = (Ur,t )r,t を用いて，声せるため，音声の F0 が高いときほど声道スペクトル

道スペクトログラム Xk,t は，推定の手がかりは少なくなる。このことは，フレームごとに独立な処理に本質的な限界があることを示唆

Xk,t =している。一方で，音声信号には同一の音素が繰り返し出現するため，類似した声道スペクトルが複数の異なる時刻で現れることも手がかりとなる．複数のフレームが共通の声道スペクトルを持つと仮定できそれらのフレームで F0 が異なれば，実際に観測可能∗R−1∑

Hk,r Ur,t(1)r=0と表現できる．r はスペクトルパターンのインデックスである．
周波数方向に滑らかかつ非負となる Hk,r は様々に設計可能であるが，本稿では 2 種類の Hk,r を提案すVocal Tract Spectrum Estimation Based on Missing Data Interpolation Using Non-Negative Matrix Factorization by NAKAMURA, Tomohiko (The University of Tokyo) and KAMEOKA, Hirokazu (The University of Tokyo / Nippon Telegraph and Telephone Corporation)

日本音響学会講演論文集- 393 -2016年3月

る．１つ目の設計では，[6] と同様に声道スペクトルできる．非周期性指標は各時間周波数ビンに含まれを混合正規分布（GMM）型の関数る非周期成分の割合であるため，各 k, r に関して

(2)

Zk,t = 1 − Ak,t とすれば周期性成分を重視した推定が可能である．

(3)

NMF で広く用いられてる距離 D∗ として，一般化
Kullback-Leibler（KL）ダイバージェンス DGKL ，2乗距離 DEU が挙げられる．それぞれの距離またはダで記述する．ここで，ω は正規化角周波数，N は混イバージェンスを用いたときの目的関数 L∗ (Θ) は，(GMM)

Hk,r=∑Wr,n Gn (ωk )nGn (ω) = √(h(ω)−ρn )1−22νne22πνn2合数，n = 0, · · · , N − 1 はそのインデックスである．

LGKL (Θ) =h(ω) は周波数ワーピング関数であり，h(ω) = ω とす

−Yk,t + Xk,t )∑Zk,t (Yk,t − Xk,t )2
LEU (Θ) =正規分布と同形の関数となる．本稿では，メル周波数領域で滑らかな声道スペクトルとなるように以下のように h(ω) を設計した．

ln(αω + 1),ln(απ + 1)

Zk,t (Yk,t ln Yk,t − Yk,t ln Xk,tk,tれば Gn (ω) は線形周波数領域で平均 ρn ，分散 νn2 のh(ω) =∑(7)(8)k,tα=1fs×.
2π 625と書ける．

(4)

ここで，fs はサンプリング周波数である．(4) 式に

3補助関数法によるパラメータ推定アルゴ
リズム

3.1

GMM-NMF に対する反復アルゴリズムの導出

より [0, π] の正規化周波数は [0, 1] にマッピングされる．W = (Wr,n )r,n ≥ 0 は各正規分布の重みであり，H, U に関するスケールの任意性を解消するため各 r∑n Wr,n = 1 とする．
2 つ目の設計では，ソースフィルタモデルでよく用に関しいられる全極フィルタを利用する．P 次の全極フィルタの係数 ar := [ar,0 , ar,1 , · · · , ar,P ]⊤ を用いて，全極フィルタの振幅スペクトルは11/2(a⊤Q(ωk )ar )r

本節では GMM-NMF に対するパラメータ推定アルゴリズムを導出し，AR-NMF に関しては次節で扱う．
まず，(7) 式で定義される目的関数を考えよう．(7) 式の括弧内の第 2 項は対数関数の中に和を含んでおり，直接最適化問題を解くことは難しい．しかし，多くのと表せる．ここで，Q(ω) は (p, q) 成分が cos(ω(p−q))

NMF を用いた研究で使われているように，補助関数法 [7, 8] と呼ばれる最適化原理によって反復的に局所最適解を得ることができる．補助関数法では，パラで表される (P + 1) × (P + 1) の Toeplitz 行列である．

メータ Θ の目的関数 L(Θ) に対して補助変数 λ を導(AR)Hk,r2.2=(5)非負値行列因子分解による定式化（補助関数）を導出する．L+ (Θ, λ) を Θ, λ に関してSTRAIGHT により推定されたスペクトログラム
Y = (Yk,t )k,t が与えられたとき，声道スペクトログ
ラム推定問題は Yk,t と Xk,t の距離 D∗ (Yk,t ; Xk,t ) を用いて，min L∗ (Θ) =Θ∑Zk,t D∗ (Yk,t ; Xk,t )(6)

k,t(GMM)

交互に最小化することによって，L(Θ) を広義単調減少させることができる．
対数関数は凹関数なので，(7) 式の第 2 項の上界はJensen の不等式を用いて以下のように導出できる．
()∑− Zk,t Yk,t ln
Wr,n Gn (ωk )Ur,tr,nと定式化できる．ここで，Θ はパラメータ集合であり，Hk,r として Hk,r

入し，L(Θ) = minλ L+ (Θ, λ) を満たす上界 L+ (Θ, λ)を用いた場合は Θ = {W, U }，≤ − Zk,t Yk,t∑

(λk,t,r,n lnr,nWr,n Gn (ωk )Ur,tλk,t,r,n)
(9)

(AR)

Hk,r を用いた場合は Θ = {{ar }r , U } である．以(GMM)
後簡単のため，Hk,rを用いた場合の NMF を(AR)GMM-NMF，Hk,r を用いた場合は AR-NMF と呼ぶ．Zk,t ∈ [0, 1] は各時間周波数成分の信頼度を表すパラメータである．Zk,t = 0 であれば Yk,t に対するコス

ここで，λk,t,r,n ≥ 0 は補助変数であり，各 k, t に関∑
し r,n λk,t,r,n = 1 を満たす．等式成立条件は，

λk,t,r,n =Wr,n Gn (ωk )Ur,tXk,t(10)トは全く考慮せず，Zk,t が大きい時間周波数ビンほど重視される．信頼度を決定するために，STRAIGHT分析で得られる非周期性指標 Ak,t ∈ [0, 1] が利用

日本音響学会講演論文集- 394 -2016年3月

である．したがって，LGKL (Θ) に対する補助関数は

L+GKL,GMM (Θ, λ)(∑∑Wr,n Gn (ωk )Ur,t=
Zk,t Yk,t −λk,t,r,n lnλk,t,rr,nk,t∑+ ln Yk,t ) +Zk,t (Xk,t − Yk,t )(11)

一方で，ar の更新には乗法更新型アルゴリズムを利用できる [9,10]. LGKL (Θ) の ar に関する偏微分は，∂LGKL−(Θ) =(Ψ+r − Ψr )ar∂arΨ+r =k,t∑Zk,tk,tΨ−r =と導出できる．ここで，λ := {λk,t,r,n } とした．補助∑Yk,t(AR) 3(H) Ur,t Q(ωk )Xk,t k,r(AR)Zk,t (Hk,r )3 Ur,t(17)

(18)
(19)

k,t

関数の Wr,n , Ur,t に関する偏微分が 0 となる値を求め(10) 式を代入することにより，閉形式の更新式が以と書ける．上式の括弧内の第 1 項と第 2 項はどちら下のように得られる．

も正定値行列であり，以下の乗法更新則を用いること
で目的関数 LGKL (Θ, ξ) を広義単調減少させる事がで∑Yk,tGn (ωk )Ur,tk,t Zk,tXk,t∑k,t Zk,t Gn (ωk )Ur,tWr,n ∝Wr,n(12)きる.
−1 −ar ←(Ψ+Ψr ar .
r )∑Yk,t (GMM)
Hk Zk,tXk,t k,r∑(GMM)
k Zk,t Hk,rUr,t ←Ur,t

詳細は省くが，2 乗距離の場合においても同様に更(13)新式を導出することができる．Ur,t の更新式は，(15)(GMM)

両更新式は全て非負値の項同士の積として計算されるため，初期値を非負値にすれば W, U の非負値性は自然と保たれる．また，(4) 式では α を定数としたが，2 乗距離を用いた場合の目的関数に関しても考える．
(8) 式は括弧内の第 2 項に和を含んでおり直接最適化問題を解くことは難しいが，2 次関数は凸関数なので式の Hk,r面の都合上省くが，更新式は以下のように得られる．
∑k,t Zk,t Yk,t Gn (ωk )Ur,tWr,n ←Wr,n ∑(14)k,t Zk,t Xk,t Gn (ωk )Ur,t∑(GMM)
k Zk,t Yk,t Hk,rUr,t ←Ur,t ∑(15)(GMM)
k Zk,t Xk,t Hk,rAR-NMF に対する反復アルゴリズムの導出

AR-NMF に関しても同様に補助関数法を用いて閉形式の更新式を導出できる．前節と同様に，まず一般化 KL ダイバージェンスの場合を考える．Jensen の不∑等式を用いて補助関数は，各 k, t に関し r ξk,t,r = 1を満たす非負の補助変数 ξ = {ξk,t,r }k,t,r を導入し，=∑Zk,t Yk,tln Yk,t −∑rk,t+∑に置換したものと同一であり，k,t∑(AR)×Zk,t Xk,t (H)3 Ur,t Q(ωk ) ark,rk,t(21)

4声道スペクトル推定精度評価実験

4.1

実験条件

[5] に倣い，音声信号の分析再合成を通して提案法の声道スペクトルの推定性能評価実験を行った．ATR
デジタル音声データベース [11] の A セットから日本
人女性話者 1 名による 20 文の音声信号（サンプリング周波数 16 kHz）を STRAIGHT で分析し，F0 ，声道スペクトル，非周期性指標を抽出した．ここで得られたスペクトルを正解の声道スペクトルとみなす．正解のスペクトルと 2−1.0 , 2−0.5 , 20.0 , 20.5 , 21.0 , 21.5 倍した F0 を用いて，音声信号をそれぞれ STRAIGHTで再合成した．

L+GKL,AR (Θ, ξ)((AR)

を Hk,rar の更新式は (20) 式と同様に以下で与えられる．
−1∑(AR)ar ← 
Zk,t Yk,t (Hk,r )3 Ur,t Q(ωk )

Jensen の不等式を用いて前述の場合と同様に補助関数を設計できる．補助関数の導出について詳細は紙

3.2

(20)

(AR)

ξk,t,r ln

Hk,r Ur,t)クトルを推定し，スペクトル推定値と正解の声道ス

ξk,t,rZk,t (Xk,t − Yk,t )ペクトルとのメルケプストラム歪み（1 次から 24 次

(16)k,tと 定 義 で き る ．等 式 成 立 条 件 は ξk,t,r

再合成信号から STRAIGHT または提案法でスペのメルケプストラム係数を用いて計算）を用いて性能を比較した．STRAIGHT 分析ではフレームシフト=を 5 ms（T = 81761），スペクトルの次元を K =(AR)Hk,r Ur,t /Xk,t で あ る ．Ur,t の 更 新 式 は ，(13)
(GMM)
(AR)
式の Hk,rを Hk,r に置換したものと同一で513 とした．GMM-NMF の方が AR-NMF に比べ実装が容易なため AR-NMF の性能評価は今後の課題とある．

し，本実験では一般化 KL ダイバージェンスを用いた

日本音響学会講演論文集- 395 -

2016年3月

Table 1

一般化 KL ダイバージェンス基準の GMM-NMF（GKL）と 2 乗距離基準の GMM-NMF（EU），

STRAIGHT 分析による，F0 を x 倍された再合成音声信号に対するメルケプストラム歪みの平均値と標準偏差[dB]．括弧内の値は非周期性指標を用いなかった場合の結果である．
xGKL
EUSTRAIGHT
2−1.0
2−0.5

3.94 ± 1.54(4.01 ± 1.64)
3.77 ± 1.53(3.96 ± 1.64)

4.33 ± 1.33(4.49 ± 1.31)
4.48 ± 1.47(4.39 ± 1.32)

4.26 ± 1.88
4.23 ± 1.87

20.020.5

3.81 ± 1.49(3.95 ± 1.62)
4.36 ± 1.17(4.50 ± 1.23)

4.31 ± 1.27(4.46 ± 1.47)
4.73 ± 1.28(4.60 ± 1.46)

4.24 ± 1.85
4.80 ± 1.38

21.0
21.5

5.32 ± 1.56(5.37 ± 1.56)
5.88 ± 2.31(5.97 ± 2.28)

5.46 ± 1.68(5.40 ± 5.56)
5.74 ± 2.50(5.90 ± 2.34)

5.56 ± 1.54
6.20 ± 2.21

GMM-NMF（GKL-GMM-NMF）と 2 乗距離を用いた GMM-NMF（EU-GMM-NMF）の 2 種類の手法を提案法として用いた．Yk,t として STRAIGHT で推定された再合成信号のスペクトルを用い，F0 の各定数倍ごとに 20 発話の Yk,t を同時に用いて W, U を推定した．R = 90, N = 100 とし，n = 0, · · · , N − 1に対して ρn = n/(N − 1),νn = 1/(N − 1) とした．

W, U は非負の乱数で初期化し，推定アルゴリズムの反復回数は 100 回とした．

4.2

結論

5

本稿では，声道スペクトルの局所的な手がかりと大局的な手がかりを利用した声道スペクトル推定法を提案した．声道スペクトログラムを低ランクな非負値行列とみなし，声道スペクトル推定を欠損データのある NMF として定式化した．滑らかなスペクトルパターンとして，GMM と同形の関数と全極フィルタに基づくモデルをそれぞれ提案し効率的なパラメータ推定アルゴリズムを提案した．評価実験により，提実験結果

案法の 1 つが STRAIGHT に比べメルケプストラム

提案法と STRAIGHT による推定結果のメルケプ歪みを少なく声道スペクトルを推定できることを確

ストラム歪みを表 1 に示す．F0 の倍率が高くなる認した．今後は，男性話者や他の女性話者での大規模ほど観測できる調波成分も少なくなるため，当該フ実験や AR-NMF の性能評価，他の距離関数の検討がレーム以外の調波成分を利用することによる効果が課題である．

現れるはずである．実際に，GKL-GMM-NMF の方が STRAIGHT に比べ F0 が高くなるほどメルケプス

謝辞

トラム歪みが少なく，当該フレーム以外の調波成分が助成を受けたものです．

本研究は JSPS 科研費 26730100，15J0992 の声道スペクトル推定に有効であることが確認できる．

EU-GMM-NMF も F0 が高くなるほど STRAIGHTに比べメルケプストラム歪みが小さくなったが，GKLGMM-NMF に比べると平均的にメルケプストラム歪みが大きく GKL-GMM-NMF の方が声道スペクトル推定により適していると考えられる．
非周期性指標を全ての時間周波数ビンで一様（全ての k, t に関して Zk,t = 1）とした提案法での実験

参考文献[1] H. Kawahara et al., Speech Commun., 27, pp. 187–207, 1999.
[2] H. Kawahara et al., Proc. ICASSP, pp. 3933–3936,2008.
[3] Y. Shiga et al., Proc. EUROSPEECH, pp. 17371740, 2003.

も行った．表 1 の括弧内の数値が非周期性指標なし[4] T. Nakamura et al., Proc. ISMIR, pp. 623–628,
2014.

での提案法のメルケプストラム歪みである．GKL-[5] T. Toda, Proc. ICASSP, pp. 3925–3928, 2008.

GMM-NMF では，非周期性指標が性能向上に寄与す[6] H. Kameoka et al., IEEE Trans. ASLP, 18 (6), pp.
1507–1516, 2010.

ることが確認できる．また，非周期性指標なしでもSTRAIGHT に比べメルケプストラム歪みが少なく，[7] J. M. Ortega et al., SIAM, 1970.

声道スペクトログラムの低ランク仮定が声道スペク[8] D. R. Hunter, J. Comp. Graph. Stat., 9 (1), pp.
60–77, 2000.

トル推定に有用であることが示唆された．

[9] A. El-Jaroudi et al., IEEE Trans. SP, 39 (2), 1991.
[10] R. Badeau et al., IEEE Trans. Neural. Netw., 21(12), pp. 1869–1881, 2010.
[11] A. Kurematsu et al., Speech Commun., 9 (4), pp.
357–363, 1990.

日本音響学会講演論文集- 396 -2016年3月