音声 F0 パターン生成過程の確率モデルによるテキストからの韻律生成とその評価∗☆門脇健人 1 ，亀岡弘和 1,2( 東大院・情報理工, 2 NTT CS 研)
1

1

はじめに

本研究では，テキスト音声合成を目的としてテキストから F0 パターンを生成する問題を扱う．音声基
本周波数（F0 ）パターンは，音声のイントネーションを表す特徴量であり，テキスト音声合成において高品
質な F0 パターンをいかに生成するかは重要課題の一つである．
テキスト音声合成において，隠れマルコフモデル（Hidden Markov Model; HMM）に基づく統計的ア
プローチ [1] が成功を収めている．HMM 音声合成 [1]では，各フレームの音韻的特徴量とともに F0 ，及びそれらの 1 階差分，2 階差分を組にしたベクトルが特徴量として扱われ，学習データから HMM のパラ
メータを学習することで，学習した HMM を用いてテキストから音韻的特徴量系列と F0 パターンを同時生成することが可能である．
音声合成において，自然なイントネーションをもつ
合成音声を実現するためには，言語的に妥当であり
つつ発声器官による音声の物理的な生成プロセスに即した F0 パターンを適切に生成することが重要である．F0 パターンの物理的な生成過程を模したモデルとして，藤崎らのモデル [2]（以後，藤崎モデル）が有名である．藤崎モデルは，生理学的・言語学的に意味のある少数のパラメータを用いて実測の F0 パター
ンに非常によく近似できることが知られており，音声の F0 パターンを表現するモデルとしては秀逸である．
ただし，藤崎モデルはいわゆる trainable なモデルの形態をなしておらず，統計的アプローチとの親和性が必ずしも高いとは言えなかった．我々はこれまで，藤崎モデルをベースにした F0 パターン生成過程の確率モデルを提案しており，統計的手法に基づき観測 F0パターンから藤崎モデルのパラメータを推定するための基本アルゴリズムを導出するのに成功している[4, 5]．本手法の中心的なアイデアは，フレーズ・ア
クセント指令列の生成プロセスを HMM により表現した点にあり，音声コーパスを用いた統計学習を通して HMM の各状態をコンテキスト情報に対応付ける
ことにより任意テキストから F0 パターンを生成することが可能である [3]．以前の報告 [3] では，フレーズ
指令とアクセント指令の開始・終了時刻はコンテキス
トラベルから決定し，学習においては固定としていた（各指令強度のみを学習していた）が，その後の検証により，コンテキストラベルから予測されるフレー
ズ・アクセント指令の生起時刻と観測 F0 パターンのフレーズ・アクセント指令の生起時刻とが必ずしも一致せず，このことが原因で各指令の強度が適切に学習されていないことが明らかとなった．そこで本研究では，コンテキストラベルをもとに Left-to-Right 型のHMM を設計し，パラメータ学習において，各状態の出力分布の平均（各指令の強度に相当）だけでなく状
態系列（各指令の生起時刻に相当）も未知パラメータとして観測 F0 パターンから推定することを試みた．

2

音声 F0 パターンの確率モデル

2.1 藤崎モデル
藤崎モデル [2] とは，甲状軟骨の二つの独立な運動（平行移動運動と回転運動）に伴う声帯の伸びの長さの和が声帯の固有振動数の対数（log F0 ）に比例する，という仮定をもとに，甲状軟骨の運動方程式を通し∗て F0 パターンの生成過程を表現したモデルである．
甲状軟骨の平行移動運動に関係する F0 パターンの成分をフレーズ成分 yp (t)，回転運動に関係する F0 パ
ターンの成分をアクセント成分 ya (t) と呼び（t は時刻），対数 F0 軌跡 y(t)（以後，F0 パターン）はこれ
らの成分と声帯の物理的性質によって決まるベース
ライン成分と呼ぶ定数 yb を加えたものとして表され
る．yp (t) と ya (t) は，それぞれフレーズ指令と呼ばれるパルス波の列 up (t) とアクセント指令と呼ばれる矩形波の列 ua (t)（ただしフレーズ指令とアクセント
指令は同時に生起しない）を入力とした臨界制動の二次線形系により表現され，これらの値の関係は次のように書ける．

y(t) = yp (t) + ya (t) + yb ,yp (t) = Gp (t) ∗ up (t), ya (t) = Ga (t) ∗ ua (t),

(1)
(2)

Gp (t) = α2 te−αt (t ≥ 0), Ga (t) = β 2 te−βt (t ≥ 0).
(3)
ここで，∗ は畳み込みを表す．また，α, β はそれぞれの制御機構の固有角周波数を表し，話者の個人差や言語によらずおおよそ α = 3, β = 20[rad/s] 程度である
ことが経験的に知られている．日本語においては，藤崎モデルのフレーズ成分が F0 パターン全体における緩やかな下降に相当し，フレーズ指令は主に息継ぎ，
つまり呼気段落毎に生起する事がよく知られている．
また，アクセント成分は主にアクセント句単位の急
激な上がり下がりに対応しており，アクセント句毎のアクセント型によって決まるアクセント核において
アクセント指令が生起することが知られている．

2.2 藤崎モデルの確率モデル化
ここでは，今までに我々が開発してきた，藤崎モ
デルをベースにした F0 パターンの生成過程の確率モ
デル [4, 5] の概説を行なう．k を離散時刻のインデッ
クスとし，yp [k], up [k], ya [k], ua [k] をそれぞれ yp (t),up (t), ya (t), ua (t) の離散時間表現として，観測 F0 パ
ターンの対数値 y[k] を次のように表現する．
y[k] | up [k], ua [k] ∼ N (x[k], υn2 [k]),(4)x[k] = Gp [k] ∗ up [k] + Ga [k] ∗ ua [k] + ub .

(5)

ここで υn2 [k] は時刻 k における観測 F0 パターンの 不
確かさ を表すために導入した変数であり，これにより全時刻で正しい F0 の値が観測できるとは限らないという問題をノイズとして統一的に扱うことを可能にした．
次に，up [k] と ua [k] は，それぞれインパルス列状
および矩形パルス列状の指令列関数であり，各パル
スが同時刻には生起しない，という制約を満たす必要がある．[4, 5] では，両指令列関数のペア o[k] =(up [k], ua [k])T を以下に示す HMM（以後，指令列生
成 HMM）の出力系列と見なそうというアイディアにより，上述の制約を満たした指令列関数の確率モデルが提案されている．

Text-to-speech prosody synthesis based on probabilistic model of F0 contour and its evaluation by KADOWAKI Kento, KAMEOKA Hirokazu (The University of Tokyo/Nippon Telegraph and Telephone Corporation)

コンテキスト依存型
F0 パターン生成過程モデル

3

3.1 コンテキスト依存フレーズ・アクセント指令列
2.1 節で述べたように，藤崎モデルにおけるフレー
ズ・アクセント指令列は言語情報と深く関連しており，任意のテキストが与えられた時に呼気段落の先頭にフレーズ指令を，対応するアクセント核の位置にアクセント指令を立てる事で自然な F0 パターンが得られると仮定できる．この時，対応するフレーズ指令，アクセント指令の強度をコンテキストラベルか
らいかにして予測するかが問題となるが，各指令の強度をコンテキストに依存するパラメータとして扱うことで，コンテキストラベルを用いた統計学習により指令強度とコンテキスト情報を紐付けることができる．F0 パターンは音声イントネーションの大域的特徴を表していることから，以上で述べたフレー
ズ指令やアクセント指令は前後の呼気段落及びアク
セント句の環境に依存していると考える事ができる．
以上のような考えから，フレーズ指令，アクセント
指令のパラメータがそれぞれ前後の呼気段落及びア
クセント句環境（以下，コンテキストと呼ぶ）に基づいて決定できるという可能性が示唆される．この様なコンテキストに基づいて，同じ文脈情報を持つ指令列を同じクラスタと仮定し，決定木に基づくコン
テキストクラスタリングを行って各パラメータの強度とその決定木を学習するアルゴリズムを提案する．
コンテキストには様々な要素が考えられるが，本研究で考慮した要素を以下に挙げる．
• フレーズ成分に関する言語情報

Fig. 1 提案する指令列生成 HMM の状態遷移モデル．
従来の指令列生成 HMM[4, 5] とは異なり，フレーズ
指令，アクセント指令パラメータが言語情報によってそれぞれフレーズ指令は M 種類，アクセント指令はN 種類に分類される HMM から出力されるモデルになっている．

｛先行，当該，後続｝アクセント句モーラ数｛先行，当該，後続｝アクセント型
当該アクセント句の文における位置
当該アクセント句の呼気段落における位置｛先行，当該，後続｝呼気段落モーラ数
当該アクセント句のある呼気段落モーラ数
当該アクセント句のある呼気段落の文における位置– 文のモーラ数

–
–
–
–
–
–
–

• アクセント成分に関する言語情報– ｛先行，当該，後続｝呼気段落モーラ数– ｛先行，当該，後続｝呼気段落内のアクセ
ント句数– 当該呼気段落の文における位置– 文のモーラ数
ここで，フレーズ成分は呼気段落，アクセント成分はアクセント句と 1 対 1 に対応した状態である．
コンテキスト依存型指令列生成 HMM を内包
する F0 パターンの確率モデル
本節では 2.2 節で述べた確率モデルを，コンテキ
スト依存型のモデルとするため Fig. 1 に示すような
HMM の状態遷移を考え，フレーズ指令，アクセント
指令が言語情報毎にそれぞれ M 種類，N 種類に分類されるようなモデルを考える．この様なモデルは新たに以下の HMM で表現できる．

3.2

出力系列: o[k] = (up [k], ua [k])T (k = 1, . . . , K)
状態集合: S = {p0 , · · · , pM , a0 , · · · , aN }状態系列: s = {sk ∈ S|k = 1, . . . , K}
出力分布
k = i) = N (ci [k], Υ)(: P (o[k]|s
)T

[ 2
]
(i ∈ p0 , a0 )(0, 0υp,i0(m) )Tci [k] = Ap , 0 (i ∈ pm )
Υ=
2
0
υa,i

(
(n) )T0, Aa(i ∈ an )遷移確率: ϕi′ ,i = log P (sk = i|sk−1 = i′ )以上の指令列生成 HMM において，フレーズ指令，Fig. 2 コンテキストラベルをもとに設計される Leftto-Right 型の HMM．
アクセント指令の生起時刻がそれぞれ呼気段落とア
クセント句に対応する様な制約を加えなければならないが，[3] では状態系列 s（各指令の開始・終了時
刻に相当）をコンテキストラベルから決定し，学習においては固定としていた．しかし，学習の際，コンテキストラベルから予測されるフレーズ・アクセ
ント指令の生起時刻と観測 F0 パターンのフレーズ・アクセント指令の生起時刻とが必ずしも一致せず，
このことが原因で Fig. 3 と Fig. 4 の上段に示すよ
うに各指令の強度が適切に学習されないことが実験を通して明らかとなった．そこで，Fig.2 のような
Left-to-Right 型の HMM をコンテキストラベルをもとに設計し，パラメータ学習において状態系列も未知パラメータとして観測 F0 パターンから推定することを考える．
状態系列 s が決定されれば {(up [k], ua [k])T }K
k=1
が 決 定 さ れ る ．更 に ，状 態 系 列 {sk }K
k=1 が 決 まれ ば フ レ ー ズ・ア ク セ ン ト 指 令 関 数 の 平 均 系 列µp [k], µa [k] (k = 1, . . . , K) は，(µp [k], µa [k])T = csk
で与えられる．ここで，以下の文字をまとめて，
K
y = {y[k]}K
k=1 , s = {sk }k=1 ,o = {(up [k], ua [k])T }K
k=1 ,
M
(n) N
θ = {{A(m)p }m=1 , {Aa }n=1 },及び，µp=(µp [1], . . . , µp [K])T , µa=(µa [1], . . . , µa [K])T ,T

y=(y[1], . . . , y[K]) ,22と表記する．簡単のため ϕi′ ,i , µb , υp,i
, υa,i, υb2 , υn2 [k],α, β は定数と仮定すると，指令列生成 HMM の状態
系列 s と状態出力分布パラメータ θ が与えられた下で F0 パターン y が生成される確率（s および θ の尤度関数）は，{}|Σ−1 |1/2
1
T −1
P (y|θ, s) =exp − (y − µ) Σ (y − µ) ,2(2π)K/2(6)µ = A−1 µp + B −1 µa + µb 1,
( )−1
( )−1
Σ = A−1 Σp AT+ B −1 Σa B T+ Σb .
によって与えられる．ただし，A と B は，
a
b
O
O
0
0
a1 a0
b1 b0


b b a
A = a2 .a1 .a0 .
, B =  2 . 1 . 0 .
,.. .. ..
.. .. ..
Oa 2 a1 a0
O
b2 b1 b0であり，a2 , a1 , a0 及び b2 , b1 , b0 は

a2 = (ψ − 1)2 , a1 = −2ψ(ψ − 1), a0 = ψ 2 ,b2 = (φ − 1)2 , b1 = −2φ(φ − 1), b0 = φ2 ,
ψ =1+

1
1
,φ = 1 +,αt0βt0である．なお，詳しい導出は [4] を参照されたい．

4

パラメータ学習と F0 パターン生成

4.1 コンテキストクラスタリング
本 章 で は ，豊 富 な コ ン テ キ ス ト 情 報 を用いて藤崎モデル指令列のパラメータ
(n) N
(m)
θ = {{Ap }M
m=1 , {Aa }n=1 } を 決 定 木 に よ る
コンテキストクラスタリング [9] に基づき学習するア
ルゴリズムを提案する．これによって，学習データのあらゆる指令列パラメータを用いて統計的にモデルを学習し，未知入力データに対してもコンテキス
トラベルによって指令列の強度を決定することが可能になる．本手法ではノード分割の規準に対して最小記述長（Minimum Description Length; MDL）規準を採用する．また，MDL 規準における尤度は藤崎
モデルパラメータ θ および状態系列 s が与えられた下での F0 パターンの確率密度関数を採用する．この時，決定木の葉ノードは各指令列パラメータの自由度 M, N と一致しており，決定木が深くなるほど指令列パラメータの自由度が増える構造になっている．
具体的な MDL 規準の式は，パラメータ s, θ ，学習
データのインデックスを d = 1, . . . , D，データ d に(d)
おける観測 F0 パターン y (d) = {y (d) [k]}K
k=1 とすると学習データにおける対数尤度関数 L(θ) を用いて，
M DL = −L(θ) + c(N + M ) log W + C,
D {
∑
1
K (d)
L(θ) =
log |Σ−1 | −log 2π
2
2
d=1

} (7)
1
− (y (d) − µ(d) )T Σ−1 (y (d) − µ(d) ) ,2−1 (d)µ(d) = A−1 µ(d)µa + µb 1,
p +B
(
)
( )−1
−1
T −1
Σ = A Σp A
+ B −1 Σa B T+ Σb ,

で与えられる．なお式 (7) におけるパラメータ c はモデルの大きさを調整する為の重みパラメータであり，小さいほど決定木が深くなるように調節できる．
また，C はモデルを決める際に必要な符号長であり，ここでは常に定数である．ここで，ノードが増える
度に，指令列パラメータ θ を再推定する必要がある．
各学習データに対して θ を推定するアルゴリズムは[4] において提案されており，本手法ではそれをもとにして Fig. 2 の様な HMM を用いて推定を行った．

4.2 パラメータ学習アルゴリズム
本節では，コンテキストに依存する藤崎モデル指令列パラメータ θ を反復計算し，決定木におけるモ
デルパラメータ θ を学習するアルゴリズムについて説明する．これは，[4] で示されたように，学習デー
タ d における観測 F0 パターン y (d) が与えられたとき P (θ|y (d) ) をパラメータ θ に関して最大化する問題として定式化できる．これにより学習データの F0
パターンに最もフィットする様にモデルパラメータ θが再推定される．ここで P (θ|y (d) ) を最大化する問題
を解析的に解くのは難しいが，[4] で示されるように
(d)T
(d)T
(d)T
x(d) = (y p , y a , y b )T を完全データとみなすことで EM アルゴリズムによる不完全データ問題に帰着し，局所最適解を得ることができる．この時，本モデルにおける Q 関数は，[
c 1
log |Λ−1 | − tr(Λ−1 E[x(d) x(d)T |y (d) ; θ ′ ])Q(θ, θ ′ ) =2]+2m(d)T Λ−1 E[x(d) |y (d) ; θ ′ ] − m(d)T Λ−1 m(d) + log P (θ),(8)
cと書ける．ただし，= は定数部分を除いて一致する事を意味する．また，




(d)
−1 (d)
yp
A
µ
p


(d)
,
= B −1 µ(d)x(d) = y (d)a , m
a
(d)
µ
1
b
yb

 T −1OO
A Σp A
Λ−1 = O
B T Σ−1
O .
a B
O
O
Σ−1
b
である．
E ステップでは直前のステップで更新されたモデル
パラメータを θ ′ に代入し Q 関数を更新する．紙面の都合上詳細は省くが詳しくは [4] を参照されたい．M
ステップでは，E ステップの Q 関数を最大化させる
ようにに各パラメータを更新する．具体的に更新すべきパラメータは，状態系列 s，及びフレーズ指令の(m)(n)
振幅平均 Ap とアクセント指令の振幅平均 Aa である．従って，M ステップは，Q 関数を状態系列に関して最大化するステップ，及びフレーズ指令の振幅(m)(n)
平均 Ap とアクセント指令の振幅平均 Aa に関して最大化するステップとなる．状態系列に関して最大化するステップは，Viterbi アルゴリズムを用いて解くことができるが，詳細については [4] を参照されたい．
各指令の振幅平均に関して Q 関数を最大化する更新則はそれぞれ，∑1A(m)=[Ax̄(d)pp ]k , Tpm = {k|sk = pm },|Tpm |
k∈Tpm

1 ∑
A(n)
[B x̄(d)a =a ]k , Tan = {k|sk = an },|Tan |k∈Tan

で与えられる．E ステップと M ステップの反復計算
により，P (θ|y (d) ) を局所最大化する θ を得る事がで
きる．

7

6

6

log F0log F0

7

5
4
0

1

2

3

4
0

4

Time[sec]

5

4.5
4
0

1

2

3

4

2

3

4

Time[sec]

5.5

log F0log F0

5.5

5

5

4.5

1

2

Time[sec]

3

4

Fig. 3 従来法と提案法の推定結果の比較図．男性話者による『叔父さんは岬の一軒家に，一人ぼっちで住んでいた．
』という発話の音声の F0 パターン（青線）と従来法による推定 F0 パターン（上段赤線），提案
法による推定 F0 パターン（下段赤線）．

4
0

1

Time[sec]

Fig. 4 従来法と提案法の推定結果の比較図．男性話者による『着用中に，ダウンやフェザーが飛び出す
原因ともなります．
』という発話の音声の F0 パター
ン（青線）と従来法による推定 F0 パターン（上段赤線），提案法による推定 F0 パターン（下段赤線）．

4.3 テキストからの F0 パターン生成（各指令の生起時刻に相当）も未知パラメータとして観測 F0 パターンから推定する方法を検討した．実験
ここでは，入力テキストが与えられた時に対応する
結果に示されるように，[3] の方法に比べて，本手法
F0 パターンを生成する手順について説明する．まずによって学習 F0 パターンに対してよりフィットする
入力テキストが与えられた時に，コンテキストラベルを保持した呼気段落およびアクセント句を抽出する． ような指令列パラメータを学習可能であることを確認した．今後は，本手法によって学習されたパラメー
次に，それぞれの呼気段落及びアクセント句に対しタを用いて音声合成を行い，その評価を行う予定でて，コンテキストラベルを基に学習された決定木をある．
たどっていき，対応する葉ノードの指令列パラメータ
を呼気段落の先頭，及び各アクセント句のアクセン
ト核に立て，ō = {(ūp [k], ūa [k])T }K
謝辞 本研究は JSPS 科研費 26280060 の助成を受け
k=1 を求める．後は式 (4),(5) に従って F0 パターンを生成すればよい． たものです．

5

実験

今回の実験では，Fig. 2 のような HMM を用いてパラメータ学習を行い，状態系列を固定して学習を行っていた従来法 [3] と比較し，学習に用いた F0 パター
ンに対してより高い精度でパラメータ学習が可能であることを確認する為の実験を行った．本実験における確率モデルの定数パラメータは以下のようにセットした．t0 = 5 ms， α = 3.0 rad/s， β = 20.0 rad/s，
υp2 [k] = 32 ， υa2 [k] = 0.032 ， υb2 = 10−8 ，有声区間において υn2 [k] = 1015 ，無声区間において υn2 [k] = 0.12．µb は全 log F0 の有声区間の値の最低値にセットし，
EM アルゴリズムの反復回数は 100 回とした．また，各指令列の状態を小状態に分割し，持続長の確率分
布をガウス分布として設定した．ガウス分布の平均
値はコンテキストラベルから得られる値とし，分散は 2500 とした．学習用データには HTS2.1 のデモス
クリプト [7] に同梱された男性話者の音声のうち，最初の 50 文を用いた．本手法によって推定された F0
パターン及び [3] によって得られた F0 パターンをそれぞれ学習用の F0 パターンと比較した例を Fig. 3，
Fig. 4 に示す．
Fig. 3, Fig. 4 に示されるように，状態系列を固定した場合 [3] に比べて，より観測 F0 パターンにフィットした推定結果が得られるようになったことを確認
した．

6

おわりに

以前の報告 [3] で提案したテキスト韻律合成手法では，生起時刻をコンテキストラベルから決定し，固定値として扱っていたが，コンテキストラベルから予測されるフレーズ・アクセント指令の生起時刻と観測
F0 パターンにおけるフレーズ・アクセント指令の生起時刻とは必ずしも一致せず，このことが原因で各指令の強度を適切に学習することができていなかった．
そこで本研究では，この問題を解決するため，コンテ
キストラベルをもとに Left-to-Right 型の HMM を設計し，パラメータ学習において，各状態の出力分布の平均（各指令の強度に相当）だけでなく状態系列

参考文献[1] K. Tokuda, T. Yoshimura, T. Masuko, T.
Kobayashi, and T. Kitamura, “Speech parameter generation algorithms for HMM-based speechsynthesis,” in Proc. ICASSP, vol. 3, pp. 1315–
1318, 2000.
[2] H. Fujisaki, “In Vocal Physiology: Voice Production, Mechanisms and Functions,” Raven
Press, 1988.
[3] 門脇, 石原, 北条, 亀岡, “音声 F0 パターン生成
過程の確率モデルに基づくテキストからの韻律生成,” 日本音響学会春季研究発表会講演集, 3-6-17,
pp. 361―364, Mar. 2014.
[4] H. Kameoka, J. Le Roux, and Y. Ohishi, “A
statistical model of speech F0 contours,” in Proc.
SAPA, pp. 43–48, 2010.
[5] K. Yoshizato, H. Kameoka, D. Saito, and S.
Sagayama, “Hidden Markov convolutive mixture
model for pitch contour analysis of speech,” inProc. Interspeech, 2012.
[6] T. Mausko, et al, “Multi-Space Probability
Distribution HMM,” IEIC Technical Report,
vol. 101, no. 323, pp. 41–42, 2001.
[7] “HMM-based Speech Synthesis System (HTS),”
http://hts.sp.nitech.ac.jp/[8] H. Kawahara, I. Masuda-Katsuse, and A. de
Cheveigné, “Restructuring speech representations using a pitch-adaptive time-frequency
smoothing and an instantaneous-frequencybased F0 extraction: Possible role of a repetitive structure in sounds,” Speech Communication, vol. 27, no. 3, pp. 187–207, 1999.
[9] T. Yoshimura, K. Tokuda, T. Masuko, T.
Kobayashi, T. Kitamura,“ Simultaneous modeling of spectrum, pitch and duration in HMMbased speech synthesis,” Proc. of Eurospeech,
pp. 2347–2350, 1999.