1-6-3
DNN-SPACE：テキスト情報を利用した音声 F0 パターン生成過程の確率モデル ∗◎北条伸克 (NTT)，大杉康仁 (東大），井島勇祐，亀岡弘和 (NTT)

1

はじめに

出力系列：o[k] = (up [k], ua [k])T

音声の基本周波数パターン（F0 パターン）には，統語構造等の言語的な情報や，話者性，感情，意図などの非言語的な情報が豊富に含まれることが知られている．したがって，音声アプリケーションで F0 を扱う場合，F0 パターンのモデル化は非常に有用である．
F0 パターンは，声帯に張力を与える甲状軟骨の運動により決定されるため，この物理的な制約を模した生成モデルが望まれる．藤崎モデル [1] は，F0 の生成過程のモデルであり，生理学的・言語学的に意味のある少数のパラメータを用いて実測の F0 パターンを良く近似できることが知られている．従来研究 [2] では，藤崎モデルをベースにした F0 パターン生成過程の確率モデル（Statistical Phrase/Accent CommandEstimation; SPACE）が提案されており，観測 F0 パターンから藤崎モデルの指令列を推定するためのアルゴリズムが導出されている．
藤崎モデルの指令列は，発話の言語学的情報とも密接な関係にあるパラメータである．したがって，観測F0 パターンに加え，発話の言語学的情報をも利用し，藤崎モデル指令列推定を行うことができれば，推定精度の向上が可能であると考えられる．本研究では，言語学的情報を活用し，藤崎モデル指令列推定精度を向上させることを目的とし，言語学的情報と藤崎モデル指令列の関係を DNN によりモデル化し，SPACEと統合する．動作実験により，提案モデルにより，従来法の指令列推定誤りが修正される効果を示す．

2

音声 F0 パターンの確率モデル

2.1 藤崎モデルの確率モデル化（SPACE)
本章では，まず従来研究の音声 F0 パターンの確率モデル [2] について概説する．藤崎モデルは，対数 F0パターン y[k] を，フレーズ成分 xp [k]，アクセント成分 xa [k]，ベースライン成分 xb の和によりモデル化する．フレーズ成分とアクセント成分は，それぞれフレーズ指令と呼ばれるパルス波の列 up [k] とアクセン
ト指令と呼ばれる矩形波の列 ua [k] を入力とした臨界制動の二次線形系により表現される．
y[k] = xp [k] + xa [k] + xb
(1)
xp [k] = Gp [k] ∗ up [k](2)xa [k] = Ga [k] ∗ ua [k](3)
ここで ∗ は畳み込みの演算子，Gp [k], Ga [k] をそれぞれの二次線形系の応答関数とした．
音声 F0 パターンの確率モデル [2] では，各指令列を，下記のパラメータセットを持つ経路制約付き HMM の出力系列としてモデル化することにより，各指令関数の形状の制約や，両指令が同時に生起されないという制約を表現することができる．

∗

状態集合 : S = {r0 , p0 , · · · , pM −1 , r1 , a0 , · · · , aN −1 }状態系列：s = {sk }k
出力分布：p(o[k]|sk = i) = N (o[k]; ci , Σi )T[ 2(i ∈ r0 , r1 )(0, 0)vp,i(m)ci = (up , 0)T (i ∈ pm ) , Σi =0(n)(0, ua )T (i ∈ an )02va,i].

遷移確率：ϕî,i = p(sk = i|sk−1 = î)さらに，指令列関数 o が与えられたもとでの観測 F0パターン y の生成確率を，K∏
p(y|o) =N (y[k]; x[k], vn2 [k])(4)k=1x[k] = Gp [k] ∗ up [k] + Ga [k] ∗ ua [k] + xb
(5)
によりモデル化する．
上述の藤崎モデルのパラメータ生成モデルの結合分
布は，p(y, o, s, θ) = p(y|o)p(o|s, θ)p(s)p(θ) と書ける．ここで，上述の HMM の状態出力のパラメータをθ とした．従来研究 [2] では，補助関数法および EM アルゴリズムに基づき，与えられた y に対し，s を周辺化し，p(o, θ|y) を最大化する o, θ を求めるアルゴリズムが提案されている．また，従来研究 [3] では，パラメータ推定の精度向上と高速化のため，EM アルゴリ
ズムの E ステップ (Forward–Backward アルゴリズムによる状態経路の事後確率計算) を Viterbi アルゴリ
ズムによる状態経路最尤推定に置き換え，p(o, s, θ|y)を最大化するアルゴリズムが提案され，その効果が示されている．
2.2 DNN-SPACE
提案法は，言語特徴量系列を w = {w[k]}k としたとき，HMM 状態系列 s から w が生成される過程 p(w|s, λ) をモデル化し，SPACE と統合する．ただし，λ は後述の DNN のパラメータとする．
p(w|s, λ) を利用すると，観測 F0 パターン及び言語特徴量の生成過程は，結合分布 p(y, o, w, s, θ|λ) =p(y|o)p(o|s, θ)p(w|s, λ)p(s)p(θ) によりモデル化される．パラメータ推定時には，y, w, λ が与えられたとき，p(o, s, θ|y, w, λ) を最大化する o, s, θ を得る．これにより，言語特徴量系列 w との関係を考慮した上で，指令列の推定を行う．
テキスト音声合成の分野では，正確な F0 パターンの予測のためには，例えば決定木やニューラルネット
ワーク等により，音素やアクセント情報などの多様な言語学的情報の依存関係をモデル化することが有用であることが知られている．したがって，提案法においても同様に，多様な言語学的情報を変数 w で表現し，p(w|s, λ) により柔軟にモデル化することが有用であると考えられる．ここで，w を言語学的情報を表現する数値ベクトルとした場合，p(w|s, λ) として，

DNN-SPACE : The generative model of speech F0 contour using linguistic information. by HOJO,
Nobukatsu (NTT), OHSUGI, Yasuhito (The University of Tokyo), IJIMA,Yusuke, KAMEOKA, Hirokazu(NTT)

日本音響学会講演論文集- 207 -

2017年3月

100
0.0

Magnitude

3.0
2.4
1.8
1.2
0.6
0.0

0.5

1.0
time [sec]Estimated F01.55004003002001000.02.0

H A cl P I I A WA A J I clSH I CHUUD E S(1) 従来法

Observed F0F0 [Hz]F0 [Hz]Observed F0

3.02.41.8
1.20.60.0

Magnitude

500
4003002000.5

1.0
time [sec]1.5

Estimated F0

2.0

H A cl P I I A WA A J I clSH I CHUUD E S(2) 提案法

Fig. 1 パラメータ推定結果の例．上段実線は観測 F0 パターン，点線は推定 F0 パターン．下段は推定された
フレーズ指令（青），アクセント指令（緑）．
GMM のように，次元間の依存関係が比較的単純な分布を仮定すると，多様な言語学的情報の依存関係を十分に表現できない可能性がある．以上の観点から，提案法では，∏
p(w|s, λ) =p(w[k]|sk , λ)(6)k=∏ p(sk |w[k], λ)p(w[k])kp(sk )

(7)のように変形し，w[k] を入力，HMM 状態 sk の事後確率を出力とする DNN により p(sk |w[k], λ) をモデル化する．p(sk ) には，各状態の相対頻度を使用し，p(w[k]) は定数と仮定する．提案法では，p(sk |w[k], λ)において，w を DNN の入力ベクトルとして使用することで，w の次元間の依存関係を柔軟にモデル化し，F0 パターンの生成モデルに組み込むことが可能である．
提案モ デル のパラメータ推定アルゴリズム は，p(o, s, θ, λ|y, w) を最大化する．ここで，従来研究 [3]と同様に，o を固定した上で s を更新するステップと，s を固定した上で o を更新するステップを反復する．この際，o を更新するステップについては，従来研究 [3]と同様である．また，log p(y, o, w, s, θ|λ) のうち，sに依存する項は log p(o|s, θ)+log p(w|s, λ)+log p(s)であるが，式 (6) により，log p(w|s, λ) の時刻独立性を仮定したことから，log p(o|s, θ), log p(w|s, λ) はそ
れぞれ時刻 k ごとに分解可能である．したがって，sの更新ステップは，従来研究 [3] と同様に，Viterbi アルゴリズムに基づき導出可能である．

3実験

3.1 実験条件
本章では，提案法により，言語学的情報を利用することで指令列推定精度が向上するという仮定の妥当性を検証するために行った動作実験について述べる．
本実験では，音声データベースとして，女性 1 名のプロナレータによる，読み上げ調の発話を使用した．
言語特徴量 w として，DNN 音声合成 [4] 等で使用される言語特徴量ベクトルと同様の，音素情報，当該アクセント句のモーラ数，当該アクセント句のアクセント型などからなる 495 次元のベクトルを使用した．DNN のパラメータ θ の学習のため，4358 文の音声に対し，従来法 [2] により藤崎モデル指令列の推定を行い，推定結果を正解データとした．この際，正解データ中の各指令を，その大きさによりクラスタリングし，それぞれ 20 状態に分割した．指令なしの状

日本音響学会講演論文集

態は，フレーズ指令を持つ状態，アクセント指令を持つ状態の場合を区別した．以上から，フレーズ指令 20 状態，アクセント指令 20 状態，指令なし 2 状態の全 42 状態の識別器として，DNN の学習を行った．続いて，DNN の学習データに含まれない音声に対し，学習された DNN を使用した提案法により，言語特徴量と観測 F0 パターンから，藤崎モデル指令列の推定を行った．DNN の隠れ層数は 2 層，ユニット数が 512 であるフルコネクトのネットワークを使用し，活性化関数はシグモイド関数とした．

3.2 実験結果
提案法，従来法によるパラメータ推定結果の例（文章：「ハッピーアワー実施中です（ハッピーアワー ジッシチュウデス）」）を図 1 に示した．時刻 0.1 [sec] 付
近の指令列は，フレーズ先頭付近であるため，フレーズ指令が妥当であると考えられるものの，従来法では，アクセント指令が推定されており，誤推定が生じていると考えられる．一方，提案法では，DNN の事後確率から，フレーズ先頭付近である，という言語学的情報に基づき，フレーズ指令が推定されている．
以上より，言語学的情報のモデルを統合することにより，推定誤りが減少する例が確認された．

4

むすび

本稿では，観測 F0 パターンから藤崎モデル指令列を推定する従来法 [2] に，さらに言語学的情報のモデルを統合することで，観測 F0 パターンと，対応する言語学的情報から藤崎モデル指令列を推定する手法を提案した．動作実験により，言語特徴量を使用することで，フレーズ指令とアクセント指令の誤推定などのパラメータ推定誤りが減少する例を確認した．今後は，専門家によるフレーズ指令・アクセント指令の正解ラベル付き音声データに提案法を適用し，パラメータ推定精度を客観的に評価する予定である．

参考文献[1] H. Fujisaki, “Vocal Fold Physiology: Voice Production,Mechanisms and Functions,” pp. 347–355, 1998.
[2] H. Kameoka et al., “Generative modeling of voice fundamental frequency contours,” IEEE/ACM Trans. Audio,Speech, and Language, Vol. 23, No. 6, pp. 1042–1053,
Jun. 2015.
[3] 佐藤他，“基本周波数パターンと音韻特徴量系列の同時生成モデルによる韻律指令列推定,” 情報処理学会音声言語情報処理研究会, pp.1–6, Nov. 2016.
[4] H.Zen et al., “Statistical parametric speech synthesis using deep neural networks, ” Proc. ICASSP, pp.7962–7966,
2013.

- 208 -

2017年3月