1-11-9
F0 パターン生成過程の統計的モデルによる音声信号からのフレーズ・アクセント指令の推定∗☆吉里幸太 1 ，亀岡弘和 1,2 ，齋藤大輔 1 ，嵯峨山茂樹 1(1 東大院・情報理工, 2 NTT CS 研)

1

はじめに音声の抑揚を表す物理量である基本周波数 (F0 ) の時間変化パターンは，構文や意図の伝達に関する様々な種類の非言語情報を含んでおり，発話を用いたコミュニケーションにおいて重要な役割を果たしている．F0 パターンは，甲状軟骨の運動によって生じる声帯の伸びに応じて決まる量である．ゆえに，音声の F0 パターンにはある種の物理的制約が課せられる．
音声アプリケーションで抑揚を扱う場合，この物理的制約を考慮に入れた F0 パターンの生成モデルを考えることは非常に有用である．
藤崎の F0 パターン生成過程モデル (藤崎モデル) とは，甲状軟骨の運動に注目して F0 パターンの生成過程を説明する，力学的モデルである [1]．藤崎モデル
は，発話の言語学的意図と密接に関わる少数のパラメータを与えることで，実測の F0 パターンに極めて近い F0 パターンを表現することが可能である．
近年，利用可能な音声データベースが増加してきたことに伴って，統計的手法を用いた音声処理に関して盛んに研究がおこなわれるようになり，多くの成果を挙げている．そうした成果に加えて，例えば，ある音声の集合から抑揚の付き方の傾向を学習でき，音声合成や音声認識に反映できるような統計的枠組が確立されれば極めて有用であろう．
そこで我々は，統計的モデルをベースにした音声認識，音声合成，言語識別，話者認識といった現代の多くの音声アプリケーションに，将来的に韻律モデルを組み込んでいくことを目標にして，F0 パターンを統計的に扱う枠組みを作る研究を進めている．以前
我々は，隠れマルコフモデル (Hidden Markov Model;HMM) を用いて藤崎モデルのパラメータの生成過程を確率的に扱うためのモデルを提案した [2]．本稿ではまず，このモデルを実音声に適用する上で考慮すべき点について議論し，それに基づきモデルの改良を行う．そして，その提案モデルが藤崎モデルのパラメータを統計的に扱ううえで十分な性能を持っていることを確認するために，実音声の F0 パターンを入力として藤崎モデルのパラメータを推定する問題を解いて定量評価を行う．

2

藤崎の F0 パターン生成過程モデル

藤崎の F0 パターン生成過程モデル (藤崎モデル) とは，甲状軟骨は平行移動と回転運動の二つの独立な運動を行い，それぞれの運動によって伸びた声帯の長さの和が log F0 の値に比例する，という仮定をもとに F0 パターンの生成過程を表現した力学的モデルである [1]．藤崎モデルでは，甲状軟骨の平行移動によって生じる F0 パターンをフレーズ成分 yp (t)，回転運動によって生じる F0 パターンをアクセント成分
ya (t) と呼び (t は時刻)，これらの和に声帯の物理的性質によって決まる定数値であるベースライン成分
yb を加えたものが F0 パターンの対数値 y(t) であるとする．yp (t) と ya (t) は，それぞれフレーズ指令と∗呼ばれるパルス波の列 up (t) と，アクセント指令と呼ばれる矩形波の列 ua (t) を入力とした臨界制動の二次線形系により表現される．任意の時刻においてフレーズ指令とアクセント指令が同時に正の値をとることはないという制約のもとで，これらの値の関係はy(t) = yp (t) + ya (t) + yb ,yp (t) = Gp (t) ∗ up (t), ya (t) = Ga (t) ∗ ua (t),{ 2 −αtα te(t ≥ 0)
Gp (t) =,0(t < 0)
{ 2 −βtβ te(t ≥ 0)
Ga (t) =0(t < 0)

(1)
(2)
(3)
(4)と書ける．ここで，α と β は，それぞれフレーズ制御機
構，アクセント制御機構の固有角周波数であり，話者や発話内容によらず，おおよそ α = 3 rad/s，β = 20rad/s 程度であることが経験的に知られている．
なお，フレーズ成分は急激な上昇のあと緩やかに下降していく成分で，アクセント成分は急激な上昇下降をなす成分であり，日本語を含む多くの言語では，前者が句単位での大局的な音調を，後者が語や音節単位での局所的な音調を表現する役割を担っていると考えられている．

3

統計的 F0 パターン生成過程モデル

我々は以前，隠れマルコフモデル (Hidden MarkovModel; HMM) を用いて藤崎モデルのパラメータの生成過程を確率的に扱うためのモデルを提案した [2]．
本章では，このモデルを実音声に適用する上で考慮すべき点を 3 つ挙げ，これらを解決する改良モデルを定式化する．

3.1 藤崎モデルの離散時間表現
連続時間システムのフレーズ制御機構とアクセン
ト制御機構に対して後退差分変換を施すことで，藤崎モデルの離散時間表現を得ることができる．k を離散時刻のインデックスとし，yp [k], up [k], ya [k], ua [k]をそれぞれ yp (t), up (t), ya (t), ua (t) の離散時間表現とすると，これらの値の関係はup [k] = a0 yp [k] + a1 yp [k − 1] + a2 yp [k − 2],(5)2

a2 = (ψ − 1) , a1 = −2ψ(ψ − 1), a0 = ψ ,ua [k] = b0 ya [k] + b1 ya [k − 1] + b2 ya [k − 2],

(6)
(7)

b2 = (φ − 1)2 , b1 = −2φ(φ − 1), b0 = φ2(8)2と書ける．ただし ψ = 1 + 1/(αt0 ),φ = 1 + 1/(βt0 )であり，t0 はサンプリング周期である．

3.2 藤崎モデルの統計モデル化
フレーズ指令 up [k] とアクセント指令 ua [k] は同時に正の値をとらないという制約を満たしつつ，これEstimation of phrase and accent commands from speech signals using statistical model of speech F0contours. by YOSHIZATO Kota, KAMEOKA Hirokazu, SAITO Daisuke, SAGAYAMA Shigeki (TheUniversity of Tokyo)

日本音響学会講演論文集- 311 -2012年3月

さらに，実音声には F0 の値が定義されない無声区間が存在するので，これに対処するために，観測 F0パターンの離散時刻 k における不確かさの程度 σn2 [k]という変数を導入する．σn2 [k] の値を無声区間では大きく，それ以外の区間では小さく設定することで，提案モデルで有声区間と無声区間とを統一的に扱うた()めに，y[k] を，真の F0 の値と yn [k] ∼ N 0, σn2 [k]の和 y[k] = yp [k] + ya [k] + yb [k] + yn [k] であると考える．この不確かさの導入が，[2] のモデルに新たに施された 2 つ目の改良点である．
指令や成分の時系列データを，まとめて up =(up [1], · · · , up [K])T , ua = (ua [1], · · · , ua [K])T ,µp = (µp [1], · · · , µp [K])T, µa = (µa [1], · · · , µa [K])T,y p = (yp [1], · · · , yp [K])T, y a = (ya [1], · · · , ya [K])T,y b = (yb [1], · · · , yb [K])T, y n = (yn [1], · · · , yn [K])T,y = (y[1], · · · , y[K])T と書くと，up と ua は，Fig. 1 HMM の構成

up = Ay p , ua = By a
Fig. 2 HMM の状態の分割らの指令を生成する確率モデルを得るため，藤崎モ
デルの指令列が，HMM の各状態からの出力 o[k] =(up [k], ua [k])T として表せると仮定する．提案する統計的 F0 パターン生成過程モデルの HMM の構成を，Fig. 1 に示す．出力 o[k] は正規分布に従い，o[k] ∼N (ν[k], Υ[k]) ,(9)
[]
[ 2]
σ [k]
0
µ [k]
ν[k] = p, Υ[k] = p, (10)µa [k]0σa2 [k]と書けるとする．平均ベクトル ν[k] と分散共分散行
列 Υ[k] は，HMM の状態遷移の結果として決まる値である．
また，フレーズ指令とアクセント指令が生起するタイミングやアクセント指令の持続長には音声の重要な韻律特徴が含まれており，これらを統計的に学習できることが望ましい．そこで，HMM の各状態における停留時間長をより柔軟にパラメトライズできるようにするため，HMM の各々の状態を，全く同じ出力分布を持ついくつかの小状態に分割する．分割の例として，状態 ai の分割を Fig. 2 に示す．任意のl に対して，小状態 ai,l から小状態 ai,l+1 への状態遷移確率を 1 に設定すると，アクセント指令が持続長j を持つ確率が，前状態から ai,j への状態遷移確率で表現できる．ai と同様の分割を，p0 , a0 に対しても行う．なお，この状態分割は，[2] のモデルに新たに施された 1 つ目の改良点である．
提案モデルの HMM を定式化すると次のように書ける．
出力値系列: {o[k]}K
k=1
状態集合: S = {p0 , p1 , a0 , · · · , aN }状態系列: {sk }K
k=1
状態出力分布: P (o[k]|s(k = )i)T = N (ν[k], Υ[k])(i = p0 , a0 )(0, 0)T
ν[k] = Ap [k], 0 (i = p1 )((n) )TAa ] (i = an )[ 0,σ20
Υ[k] = p,i20σa,i′
状態遷移確率: ϕi ,i = log P (sk = i|sk−1 = i′ )また，ベースライン成分の離散時間表現も，
yb [k] ∼()N µb , σb2 と正規分布に従うと仮定する．

日本音響学会講演論文集(11)と表すことができる．ここで，



a0Ob0
O1 a0ab1 b0
a2 a1 a0
 , B = b2 b1 a0
 (12)
A=
 .. .. ..
 .. .. ..

. . .
. . .
Oa2 a1 a0
Ob2 b1 b0である．
22, σb2 , σn2 [k], α, β を, σa,i
簡単のため ϕi′ ,i , µb σp,i全て，観測 F0 パターンに応じて決まる定数とすると，藤崎モデルのパラメータ Θ = {{Ap [k], s[k]}K
k=1 ,(n)T}が与えられたとき
y=(y[1],···,y[K]){Aa }Nn=1を出力する条件付確率 P (y|Θ) は{}|Σ−1 |1/21T −1P (y|Θ) =exp − (y − µ) Σ (y − µ) ,2(2π)K/2µ = A−1 µp + B −1 µa + µb 1,(13)
()
()
−1−1
Σ = A−1 Σp AT+ B −1 Σa B T+ Σb + Σnと書ける．ここで，[ 2]
σp2 [1]O
σa [1]
O.
.
, Σa =,
Σp =..
..
O
σa2 [K]O
σp2 [K]
[ 2]
[ 2]
σbO
σn [1]
O..
..
Σb =, Σn =(14).
.
2OσbO
σn2 [K]である．

4

パラメータ推定アルゴリズム

本章では，3 章で提案した統計的 F0 パターン生成過程モデルを用いて，観測 F0 パターン y が与えられたときに P (y|Θ) を最大化する Θ を求める問題を解くことを考える．この問題の大域的最適解を求める
TTT Tのは難しいが，x = (y Tp , y a , y b , y n ) を完全データと見なして EM アルゴリズムによる不完全データ問題に帰着することで，局所最適解を求めることはできる．このとき，x が与えられたもとでの Θ の対数尤度関数はclog P (x|Θ) =- 312 -

11log |Λ−1 | − (x − m)T Λ−1 (x − m),
22(15)

2012年3月

と書ける．ただし，

yp
A−1 µpy B −1 µa ,x =  a , m = ybµb 1 yn0 T −1A Σp AOOT −1OBΣ
BO−1aΛ =OO
Σ−1bOOO(16)OO O Σ−1nである．また，Q 関数 Q(Θ, Θ′ ) は，Q(Θ, Θ′ ) =c1[log |Λ−1 | − tr(Λ−1 E[xxT |y; Θ′ ])2]+ 2mT Λ−1 E[x|y; Θ′ ] − mT Λ−1 m + log P (Θ)(17)と書ける．ここで，E[x|y; Θ] と E[xxT |y; Θ] は，H =[I, I, I, I] を用いると，y = Hx より，

E[x|y; Θ] = m + ΛH T (HΛH T )−1 (y − Hm),(18)T −1

E[xxT |y; Θ] = Λ − ΛH (HΛH )THΛ

+ E[x|y; Θ]E[x|y; Θ]T(19)と書ける．これらが E ステップで更新すべき値である．
E[x|y; Θ] を 4 つの K × 1 行列に分割して，各小行TT TT
列を E[x|y; Θ] = (x̄Tp , x̄a , x̄b , x̄n ) とすると，Mステップの更新式は次のように書ける．

1) 状態系列: Q 関数の中から s := {sk }K
k=1 に関係する項だけを抜き出すと，
1∑(o[k] − ν[k])T Υ−1 (o[k] − ν[k])2K

I(s) := −k=1+ log P (s1 ) +K∑log P (sk |sk−1 )(20)k=2となる．ここで，o[k] := ([Ax̄p ]k , [B x̄a ]k )T である．
ただし [·]k はベクトルの k 番目の要素を表す．I(s) を最大化する状態系列 {sk }K
k=1 は，動的計画法を用いて効率的に求めることができる．

2) フレーズ・アクセント指令の大きさ: Q 関数の値(n)を最大化する Ap [k] と Aa の値は，
Ap [k] = [Ax̄p ]k (k ∈ Tp1 ), Tp1 = {k|sk = p1 }, (21)1 ∑A(n)[B x̄a ]k , Tan = {k|sk = an } (22)a =|Tan |k∈Tanと書ける．
式 (20) から (22) の中には，Ax̄p と B x̄a の計算が含まれている．この計算は，フレーズ成分 x̄p とアクセント成分 x̄a から，それを生成するフレーズ指令 ūp とアクセント指令 ūa を求めることに相当する．しかし，例えば日本語のように，指令の大きさは必ず 0 以上でなくてはならないという制約を持つ言語も存在する．こうした言語を扱う際に，単純に Ax̄p や B x̄a を計算するだけでは，計算結果とし日本音響学会講演論文集て得られるベクトルは非負の要素を含みうる．これを避けるために，Ax̄p と B x̄a を直接計算する代わりに，∥A−1 ūp − x̄p ∥22 と ∥B −1 ūa − x̄a ∥22 を最小化する ūp と ūa の値を非負制約のもとで求める問題を考える．これらは，Gp [k] と Ga [k] をフレーズ制
御機構とアクセント制御機構のインパルス応答の離∑散時間表現とすると， k |Gp [k] ∗ ūp [k] − x̄p [k]|2 と∑2k |Ga [k] ∗ ūa [k] − x̄a [k]| と書ける．この非負制約つき逆畳み込み問題は，[3] の方法で非常に効率的に解くことができる．なお，こうして指令の大きさに非負制約を導入する方法は，[2] に新たに追加された 3つ目の改良点である．

5

実験

統計的 F0 パターン生成過程モデルが，藤崎モデルのパラメータを扱う上で十分な性能を持っていることを確かめるため，4 章で述べたアルゴリズムを使って，観測 F0 パターンから藤崎モデルのパラメータを推定する問題を解き，その結果を定量評価する．実験には，音素のバランスがとれた 503 文を集めたデータベースである，ATR 日本語発話データベースの Bセットを用いる [4]．話者は MHT(男性話者) を選択した．また，[5] の方法を用いて入力音声から F0 パターンを推定した．加えて，推定パラメータの妥当性を評価する目的といくつかのパラメータを学習する目的で，韻律研究の専門家の手によって発話音声に付与された藤崎モデルのパラメータを用いた．なお，付与されたこのパラメータのベースライン成分は，常に log(60 Hz) である．
この実験において，定数値のパラメータは，N = 20,t0 = 8 ms, α = 3.0, β = 20.0, σp2 [k] = 0.22 , σa2 [k] =0.022 , σb2 = 0.0012 , 無声区間では σn2 [k] = 1015 ，それ以外の区間では σn2 [k] = 10−15 に設定し，µb は有声区間の log F0 の最小値とした. Θ の初期値は [6]の方法で決定し，EM アルゴリズムの反復回数は 20回とした．HMM の小状態数と状態遷移確率 ϕi′ ,i は，ATR の No.1 から No.200 までの 200 文に専門家が手動で付与した藤崎モデルのパラメータから学習した．
定量評価は，残りの 303 文を用いて行った．
手動で決定された指令列と，提案手法により推定された指令列を，3 つの例について比較した図が Fig. 3である．より詳しく，推定性能を定量評価するため，次のようにした．まず，Fig. 4 のように，S 秒以下のずれしかないフレーズ指令同士，アクセント指令同士がマッチングされる可能性があるとみなして，手動で決定された指令列と推定された指令列との間のマッチング数が最大になるようにマッチングをとった．ここで，アクセント指令の時間のずれとは，アクセント指令の立ち上がり時刻のずれと立ち下がり時刻のずれの平均であるとした．NE を推定された指令列の指令数，NA を手動で決定された指令列の指令数，NMをマッチング数，NEsum , NAsum , NMsum をそれぞれNE , NA , NM を 303 文について足し合わせた値とした
とき，挿入エラーを EI = (NEsum − NMsum )/NAsum ，脱落エラーを EO = (NAsum − NMsum )/NAsum と定義した．また，正解率を A = 1 − EI − EO と定義し，これを定量評価の基準とした．なお，この実験においては，ベースライン成分の値のずれを考慮して，フレーズ・アクセント指令の大きさの違いは評価基準に含めなかった．
S = 0.3 秒としたときの実験結果を Table 1 に記した．これらの表は，フレーズ・アクセント両指令，フレーズ指令のみ，アクセント指令のみに注目したときの，正解率 A，挿入エラー EI ，脱落エラー EO を，- 313 -

2012年3月

(a): ATR 発話文 No. 347(b): ATR 発話文 No. 400(c): ATR 発話文 No. 435

Fig. 3 パラメータ推定結果の例: (1) 実線は有声区間の観測 F0 パターン，点線は推定された y p + y a + y b の値． (2) 手動で付与されたフレーズ・アクセント指令 (3) 提案手法で推定されたフレーズ・アクセント指令ことができることを実験によって確認した．今後は，統計的 F0 パターン生成過程モデルを用いて大量の音声データからフレーズ・アクセント指令の傾向を学習することを通して，F0 パターンを適切に制御した表
情豊かな音声合成や，抑揚の特徴をふまえた話者認識など，実際に様々な音声アプリケーションに韻律モデルを組み込んでいきたい．

Fig. 4

謝辞 本研究の一部は，文部科学省科学研究費補助金 (23240021) の助成を受けて行われた．また，本研
究の実験では，東京大学の広瀬啓吉教授が ATR の音声データに手動で付与した藤崎モデルのパラメータを用いた．

指令列のマッチングの例

Table 1 定量評価の結果 (S=0.3 秒).
(a) 両指令A
EI
0.688 0.088
0.697 0.127

EO
0.224
0.177

(b) フレーズ指令
AEI
初期状態 0.647 0.109
反復後
0.680 0.207

EO
0.2440.112

初期状態
反復後

参考文献

(c) アクセント指令
AEIEO
初期状態 0.711 0.076 0.213
反復後0.708 0.083 0.207
それぞれ初期状態と EM アルゴリズムの反復後に計算した結果である．この表より，初期状態の正解率と反復後の正解率には，大きな差がないことが分かる．パラメータの初期値を定めるのに使った [6] の方法は，F0 パターンに関する様々な知見を利用して観測 F0 パターンから藤崎モデルのパラメータを推定するアルゴリズムであり，この実験結果は，提案した統計的手法によるパラメータ推定がそれと同程度の性能を持っていることを示している．ゆえに我々は，提案した統計的 F0 パターン生成過程モデルは，藤崎モデルのパラメータを統計的に扱ううえで十分な性能を持っていると結論づけた．

6[1] H. Fujisaki, In Vocal Physiology: Voice Production, Mechanisms and Functions, Raven Press,
1988.
[2] H. Kameoka et al., “A statistical model ofspeech F0 contours,” ISCA Tutorial and Research Workshop on Statistical And PerceptualAudition (SAPA), pp. 43-48, 2010.
[3] H. Kameoka et al., “Robust speech dereverberation based on non-negativity and sparse natureof speech spectrograms,” In Proc. 2008 IEEE
International Conference on Acoustics, Speechand Signal Processing (ICASSP2009), pp. 45-48,2009.
[4] A. Kurematsu et al., “ATR japanese speech
database as a tool of speech recognition and synthesis,” Speech Communication, vol. 27, pp. 187207, 1999.
[5] 亀岡, “全極型声道モデルと F0 パターン生成過程モデルを内部にもつ統一的音声生成モデル,”
日本音響学会 2010 年秋季研究発表会, pp. 211214,2010.
[6] 成澤他, “音声の基本周波数パターン生成過程モデルのパラメータ自動抽出法の評価,” 情報処理学会
音声言語情報処理研究会, pp. 1-6, 2003.

おわりに本研究では，統計的モデルをベースにした様々な音声アプリケーションに F0 パターンを組み入れるた
めに統計的 F0 パターン生成過程モデルを提案し，そのモデルが藤崎モデルのパラメータを統計的に扱う

日本音響学会講演論文集- 314 -

2012年3月