1-6-2
F0 パターン生成過程の確率モデルに基づく電気音声に対するフレーズ・ア
クセント指令推定 ∗◎田中 宏（奈良先端大)，亀岡 弘和（NTT)，戸田 智基（名大/奈良先端大)，中村 哲（奈良先端大)1

はじめに喉頭摘出者のための電気式人工喉頭を用いた代替音声（電気音声）の自然性向上を目指し，我々は電気音
声スペクトル特徴量系列から通常音声 F0 パターンを予測する電気音声強調法 [1] を提案しており，自然性の大幅な向上を実験的評価により確認した．一方で，その自然性は十分に高いとは言い難く，時として物理的に発声しえない F0 パターンが予測されうる．この問題に対して，我々は Product-of-Expert の枠組みにおいて F0 パターンの物理的な生成過程 [2, 3] を考慮した統計的 F0 パターン予測法 [4] を提案し，さらなる自然性の向上および F0 予測精度の改善を実験的評価により確認した．しかしながら， [4] では，EM アルゴリズムを用いた反復的なパラメータ推定を行うため，実時間予測処理を用いたアプリケーションへの適用が困難である．
本稿では，予測時に反復処理を必要とせず，かつ，電気音声スペクトル特徴量系列に対応する物理的に生成可能な F0 パターンを予測する手法として，F0 パターン生成過程の確率モデルに基づき電気音声に対するフレーズ・アクセント指令推定を行う手法を提案する．評価結果より，従来法 [1] と比較して F0 予測精度が改善されていることを示す．

2

F0 パターン生成過程の確率モデル [2, 3]

F0 パターンは声帯に張力を与える甲状軟骨の運動によって生み出されており，藤崎モデル [5] ではその制御機構の力学モデルが提案されている．[2, 3] では，[5] をベースにした F0 パターン生成過程の確率モデ
ルが提案されている．
藤崎モデル [5] では，対数 F0 パターン y[t] は，フレーズ成分 yp [t]，アクセント成分 ya [t]，およびベースライン成分 yb [t] の足しあわせにより表現可能と仮定されている．フレーズ成分とアクセント成分は，パルス波で表現されるフレーズ指令列 up [t] と矩形波で表現されるアクセント指令列 ua [t] を入力とした臨界制動の二次線形系によりそれぞれ表現される．
y[t] =

yp [t] + ya [t] + yb ,(1)

yp [t] =gp [t] ∗ up [t],(2)ya [t] =ga [t] ∗ ua [t].

(3)

者の個人差や言語に依存しないことが経験的に知られている．
[2, 3] では，藤崎モデルの両指令列 up [t] および ua [t]を以下に示す経路制約付き HMM の出力系列と見なすことにより，P (u|s, λF ) を記述する．ここで，u =[u1 , · · · , uT ]⊤ であり，λF は HMM のパラメータセッ
トを表す．

出力系列: ut = (up [t], ua [t])⊤ (t = 1, · · ·, T )状態集合: S = {r0 , p0 , · · ·, pM −1 , r1 , a0 , · · ·, aN −1 }状態系列: s ={st ∈ S|t = 1, · · ·, T }出力分布 : P (ut |st = i) = N (ut ; ci , Σi )⊤[(i ∈ r0 , r1 )
 (0, 0)2vp,i(m)⊤Σi =ci =(i ∈ pm )(µp , 0)0(n)(0, µa )⊤ (i ∈ an )遷移確率: ϕî,i = P (st = i|st−1 = î)02va,i].


また，式 (1)-(3) より P (y|u) を定義することができ，藤崎モデルに準拠した y = [y[1], · · · , y[T ]]⊤ の生成モデルを以下のように導くことができる．
∫p(y|s, λF ) =p(y|u)p(u|s, λF ) du(4)= N (y; m, Γ).

(5)

ここで，m = [m[1], · · · , m[T ]]⊤ は与えられた状態系
列 s から決定される藤崎モデルに準拠した F0 パターンであり，m[t] = gp [t] ∗ µp [t] + ga [t] ∗ µa [t] + yb である．モデルパラメータを適切に学習することにより，与えられた F0 パターンに対して統計的に尤度の高いフレーズ指令列およびアクセント指令列を推定可能となる．

3

電気音声強調のための F0 パターン生成過程の確率モデル

電気音声に対して，F0 パターン生成過程の物理的制約を満たす自然な F0 パターンを予測する．本提案
法では，電気音声のスペクトル特徴量系列とそれに対応する通常音声のフレーズ指令列およびアクセント指令列との結合確率がモデル化される．2 節で述べた
状態系列 s は通常音声のフレーズ指令列およびアクセント指令列に関連付いているため，各状態において電気音声のスペクトル特徴量の出力分布を GMM で

ここで，∗ は畳み込みを表し，応答 gp [t] と ga [t] は話∗

Estimation of phrase and accent commands from electrolaryngeal speech using probabilistic model of F0
generative process. by TANAKA, Kou (NAIST), KAMEOKA, Hirokazu (NTT), TODA, Tomoki (NagoyaUniversity/NAIST), and NAKAMURA, Satoshi (NAIST)

日本音響学会講演論文集- 205 -

2017年3月

表現することにより，HMM-GMM の出力系列および状態系列の結合確率は，電気音声から通常音声のフレーズ指令列およびアクセント指令列を予測するモデルとして使用可能である．最終的に得られる F0 パ
ターンは，入力された電気音声のスペクトル特徴量系列に対して統計的に尤度の高いフレーズ指令列およびアクセント指令列を予測したのち，予測された両司令列を入力とする臨界制動の二次線形系の足し合わせで表現される．
学習処理では，電気音声と通常音声のパラレルデー
タを用いて，電気音声のスペクトル特徴量系列 X と通常音声のフレーズ指令列およびアクセント指令列の状態系列 s の結合確率が新たにモデル化される．

p(X, s|λF ) = p(X|s, λF )p(s|λF ).

(6)

ここで，p(s|λF ) =∏p(st |st−1 , λF ),(7)p(X t |st , λF ),(8)tp(X|s, λF ) =∏tであり，各状態における電気音声のスペクトル特徴量に関する出力分布は以下の GMM で記述される．
∑p(X t |st = i) =αi,m N (X t ; µi,m , Σi,m ). (9)m

ここで，αi,m ，µi,m および Σi,m は状態 i における m番目の正規分布の混合重み，平均ベクトルおよび分散行列である．
予測処理では，電気音声のスペクトル特徴量が与えられたもとで，以下の条件つき確率を最大化する
状態系列 ŝ を予測する．
ŝ = argmax p(s|X, λF ) = argmax p(X, s|λF ).
ss(10)

2 節で述べた通り，一度 s が決まると，式 (4) を最大化する F0 パターン y は解析的に導出可能である．なお，EM アルゴリズムを用いた反復的なパラメータ推
定 [4] と比較して，Viterbi アルゴリズムに基づく状態系列 ŝ の予測は，実時間予測処理への適用が容易である．

4

実験的評価

4.1

実験条件

入力音声は男性健常者 1 名による模擬電気音声，目標音声は異なる男性健常者 1 名による通常音声である．学習データとして ATR 音素バランス文 503 文中450 文を用い，評価データとして残り 50 文を用いる．
フレームシフト長は 5 ms とする．F0 パターン生成
過程の確率モデルに関するその他の学習条件は [3] と同条件とする．
客観評価として，以下のシステムにおける予測 F0パターンと目標音声の F0 パターンとの間の相関係数を計算する．

日本音響学会講演論文集

Table 1F0 相関係数に関する客観評価結果.
gmm
gmm + post
proposed

0.40
0.41
0.50

gmm : GMM に基づく統計的 F0 予測法 [1]．
gmm + post : [1] で予測された F0 パターン gmmに対して， 2 節の方法で藤崎モデルを適用することで F0 パターンを修正する手法．
proposed : 提案法．
4.2

実装評価結果

表 1 に各システムにおける予測 F0 パターンと目標音声の F0 パターンとの間の相関係数を示す．gmm と比較すると，gmm+post ではわずかに，proposed
では大幅に改善していることがわかる．これより，電気音声強調において F0 パターン生成過程の制約を取り入れることは有効である．また，proposed は，gmm + post よりも高い値をとることから，F0 パターン生成過程の制約を後処理として導入する枠組
みでは，十分な効果が得られないことが分かる．これに対し，提案法では，制約を組み込んだ予測処理を可能とすることで，予測精度の改善が得られる．

5

おわりに

本稿では，電気音声強調において予測される F0 パターンのさらなる自然性改善のため，電気音声のスペクトル特徴量系列から通常音声のフレーズ指令列およびアクセント指令列を F0 パターン生成過程の確率モデルに基づき推定した．実験的評価において，F0パターン予測精度の向上を確認した．
謝辞 本研究の一部は，JSPS 科研費 15J10727 および 26280060 の助成を受け実施したものである．

参考文献[1] K. Tanaka et al., IEICE Trans. Information andSystems, Vol. E97-D, No. 6, pp. 1429–1437, Jan.
2014.
[2] K. Yoshizato et al., Proc. Speech Prosody, pp.
175–178, May 2012.
[3] H. Kameoka et al., IEEE/ACM Trans. Audio,Speech, and Language, Vol. 23, No. 6, pp. 1042–1053, Jun. 2015.
[4] K. Tanaka et al., Proc. ICASSP, pp. 5665–5669,Mar. 2016.
[5] H. Fujisaki, Vocal Fold Physiology: Voice Production, Mechanisms and Functions, pp. 347–355, 1998.

- 206 -2017年3月