2-2-13
F0 パターン生成過程を考慮した Product-of-Experts に基づく
電気音声強調のための統計的 F0 予測法 ∗◎田中 宏（奈良先端大)，亀岡 弘和（NTT)，戸田 智基（名大/奈良先端大)，中村 哲（奈良先端大)1

はじめに喉頭摘出者のための電気式人工喉頭を用いた代替音声（電気音声）の自然性を向上することを目的とし，我々は統計的 F0 予測法に基づく電気音声強調法 [1]を提案しており，実験的評価により自然性の向上を確認している．しかしながら，この手法で予測される F0 パターンの自然性は十分に高いとは言い難く，時には物理的に人間が発声し得ないような不自然なF0 パターンが予測され得る．この問題に対し，F0 パターンの物理的な生成過程を考慮した予測を行うことで，より自然な F0 パターンを生成できる可能性がある．
F0 パターンは声帯に張力を与える甲状軟骨の運動によって生み出されており， [2, 3] ではその制御機構の確率モデルが提案されている．本稿では， [2, 3] の確率モ
デルと [1] の確率モデルを Product-of-Experts(PoE)の枠組により統合することで，F0 パターンの物理的な生成過程の制約を考慮した上で，電気音声スペクトル特徴量系列に対応する F0 パターンの予測を可能とする統計的 F0 予測法を提案する．実験的評価より，提案法により，F0 予測精度および強調音声の自然性が改善されることを示す．

2y(t)
yp(t)
ya(t)

ŷ = argmax P (o|x, λG ) subject to o = W yy∑
P (o|x, λG ) =P (o|x, m, λG )P (m|x, λG )m
≃ P (o|x, m̂, λG )P (m̂|x, λG )ここで，λG は GMM のパラメータセットを表し，Wは静的特徴量系列 y を静的・動的特徴量系列 o に写像する変換行列を表す．また，m は分布系列を，m̂は準最適な分布系列を表す．

F0 パターン生成過程の確率モデル [2, 3][2, 3] では，藤崎モデル [4] をベースにした F0 パターンの生成過程の確率モデルが提案されている．以下でその概要を述べる．
藤崎モデルは，フレーズ成分 yp(t) ，アクセント成分 ya(t) （t は時刻），およびベースライン成分 yb の∗

= yp(t) + ya(t) + yb
= gp(t) ∗ up(t)= ga(t) ∗ ua(t)ここで，∗ は畳み込みを表す．また，応答 gp(t) と ga(t)は話者の個人差や言語に依存しないことが経験的に知られている．
藤崎モデルの両指令列 up(t) および ua(t) を以下に示すトポロジー（経路制約付き HMM）の出力系列と見なすことにより，P (u|s, λF ) を記述することができる．ここで，u = [u(1) , · · · , u(T ) ]⊤ であり，λF はHMM のパラメータセットを表す．

出力系列: u(t) = (up(t) , ua(t) )⊤ (t = 1, · · ·, T )状態集合: S = {r0 , p0 , · · ·, pM −1 , r1 , a0 , · · ·, aN −1 }状態系列: s ={st ∈ S|t = 1, · · ·, T }出力分布: P (u(t) |st = i) = N (u(t) ; ci , Σi )電気音声のための統計的 F0 予測法 [1][1] では，統計的手法に基づき，電気音声のスペクトル系列から通常音声の F0 パターンを予測する手法が提案されている．本手法は，学習処理と変換処理で構成される．
学習処理では，電気音声と通常音声の同一発話デー
タを用いて，変換モデルが学習される．各時間フレームにおいて，前後数フレームから得られる電気音声のスペクトルセグメント特徴量と，通常音声の対数F0 に対する静的・動的特徴量を抽出したのち，スペクトル距離尺度に基づく動的時間伸縮によりこれらを対応付けた結合ベクトルを用いて，両特徴量間の結合確率密度関数が GMM でモデル化される．
変換処理では，学習された GMM を用いて，次式で示される最尤系列変換法 [5] により，電気音声のスペクトルセグメント特徴量系列 x は通常音声の対数F0 系列 y へと変換される．

3

足しあわせにより対数 F0 パターン y(t) を表現可能と仮定するモデルである．フレーズ成分とアクセント成分は，フレーズ指令と呼ばれるパルス波の列 up(t)とアクセント指令と呼ばれる矩形波の列 ua(t) を入力とした臨界制動の二次線形系により表現される．

⊤[ 2(i ∈ r0 , r1 )
 (0, 0)vp,i(m)⊤Σi =ci =(µp , 0)(i ∈ pm )0(n) ⊤(i ∈ an )(0, µa )遷移確率: ϕî,i = P (st = i|st−1 = î)02va,i].


また，y(t) = gp(t) ∗ up(t) + ga(t) ∗ ua(t) + ybという関係式より P (y|u) を定義することができ，
P (y, u|s, λF ) = P (y|u)p(u|s, λF ) を u について周辺化することで藤崎モデルに準拠した y の生成モデ
ル P (y|s, λF ) を導くことができる．

4

PoE に基づく統計的 F0 予測法

PoE は観測データの確率分布を Experts と呼ばれる個々の確率分布の積で表現する手法であり，そのモデルは複数の Expert の論理積（AND）を取ったような確率モデルとなる．本研究では， 2 節で述べた統計的 F0 予測法 [1] における GMM と 3 節で述べた F0パターン生成過程の確率モデル [2, 3] を PoE として統合することで，F0 パターンの物理的な生成過程の制約の下で，電気音声のスペクトル系列に対応するF0 パターンを統計的に予測する手法を提案する．なお，PoE による確率モデルは，正規化項の計算が困難となるため，モデルパラメータの推定には，サンプリングに基づく近似がよく用いられる．これに対し，本研究では，2 節で述べた GMM を潜在系列モデル [6] へと定義し直すことで，EM アルゴリズムを用いたパラメータ推定を可能とする手法を提案する．
4.1 潜在系列モデル
2 節で述べたモデルにおいて，静的・動的特徴量系列 o を静的特徴量系列 y の関数 o = W y として扱う代わりに，o を潜在変数とみなし，緩い制約
o ≃ W y の下で y が生成されると仮定すると，完全Statistical F0 Prediction For Electrolaryngeal Speech Enhancement Based on Product-of-Experts Framework Considering F0 Generative Process. by TANAKA, Kou (NAIST), KAMEOKA, Hirokazu (NTT),
TODA, Tomoki (Nagoya University/NAIST), and NAKAMURA, Satoshi (NAIST)

日本音響学会講演論文集- 259 -2016年3月

データ y, x, o, m に対する確率密度関数は以下のように定義される．

Table 1 F0 相関係数に関する客観評価結果.

P (y, x, o, m|λG ) = P (y|o)P (x, o|m, λG )P (m|λG ) (1)

GMM-based

一方で， 3 節で述べたモデルにおいては，完全デー
タ y, u, s に対する確率密度関数は以下のように定義される．
P (y, u, s|λF ) = P (y|u)P (u|s, λF )P (s|λF ),

0.56

0.59

Fujisaki-model-based20.56

P (y, x, o, u, m, s|λG , λF )= P (y|o, u)P (x, o|m, λG )P (u|s, λF ) P (m|λG )P (s|λF )|{z}
P (y ,x,o,u|m,s,λG ,λF )P (y|o, u)∝ N (y; µy|o , V ) · N (y; µy|u , Γ)
= N (y; µy|o,u , Σy|o,u ),µy|o,u = (V −1 + Γ−1 )−1 (V −1 µy|o + Γ−1 µy|u ), (3)Σy|o,u = (V −1 + Γ−1 )−1 ,ここで，V および Γ は正定値行列である．この時，以下に示す Q 関数を設定することで，EM アルゴリズムを用いたパラメータ（F0 パターン y ，GMM の分布系列 m，HMM の状態系列 s）の推定が可能となる．
[]
Q(θ, θ′ ) =Eo,u|x̃,y ′ ,m′ ,s′ log P (y, x̃, o, u|m, s, λ̂G , λ̂F )+ log P (m|λ̂G ) + log P (s|λ̂F ),{y, m, s} ← argmax Q(θ, θ′ ).
y ,m,s

実験的評価

5.1 実験条件
入力音声は男性喉頭摘出者 1 名による電気音声，目標音声は女性健常者 1 名による通常音声である．学
習データとして ATR 音素バランス文 A セットの 50
文中 40 文を用い，評価データとして残り 10 文を用いた 5 交差検定を行う．フレームシフト長は 5 ms とする．GMM に基づく統計的 F0 予測法に関するその他の学習条件は [1] と同条件，F0 パターン生成過程の確率モデルに関するその他の学習条件は [3] と同条件とする．
客観評価として，以下のシステムにおける予測 F0パターンと目標音声の F0 パターンとの間の相関係数を計算する．主観評価として，音声の自然性に関する 5 段階オピニオン評定を行う．被験者は男性 5 名である．
• GMM-based: GMM に基づく統計的 F0 予測法．
• Fujisaki-model-based1: GMM-based で予測された F0 パターンに対して， 3 節の方法で藤崎モデルを適用することで F0 パターンを修正する手法．
• Proposed: 提案法．ただし，E ステップを簡易化し，予測された F0 パターンを新たな観測データとみなして，GMM の分布系列の更新と HMMの状態系列の更新を実装したもの．
• Fujisaki-model-based2: Proposed で予測されたF0 パターンに対して， 3 節の方法で藤崎モデルを適用することで F0 パターンを修正する手法．

5
Confidence interval (95%)
Mean Opinion Score

4.2 PoE
式（1）および式（2）で表される潜在系列モデルをPoE の枠組みで統合する．この時，観測データ系列
y と GMM の分布系列 m および HMM の状態系列
s の間には，潜在変数系列 o および u が与えられた下での条件付き独立性が成り立つため，PoE モデルの確率密度関数を解析的に求めることが容易となる．
完全データ y, x, o, u, m, s に対する確率密度関数は以下のようになる．

日本音響学会講演論文集

Proposed(2)

どちらのモデルも，観測データ系列は，潜在変数系列を通して生成される点に注意する．

5

Fujisaki-model-based1
0.49

432
1
GMM-based

Fujisaki-model-based1

ProposedFig. 1 自然性に関する主観評価結果．
5.2 実装評価結果
表 1 に各システムにおける予測 F0 パターンと目標音声の F0 パターンとの間の相関係数を示す．Proposedが最も高い値をとることから，提案法である PoE の有効性が確認できる．また，Fujisaki-model-based1 お
よび Fujisaki-model-based2 は，各々GMM-based およ
び Proposed よりも低い値をとることから，電気音声強調のように予測 F0 パターンの精度が限定的である
場合， [7] で報告されているような F0 パターン生成過程の制約を後処理として導入する枠組みでは，十分な効果が得られないことが分かる．これに対し，提案法では，制約を組み込んだ予測処理を可能とすることで，予測精度の改善が得られる．
図 1 に自然性に関する主観評価結果を示す．GMMbased や Fujisaki-model-based1 よりも Proposed が高い自然性を有することがわかる．

6

おわりに

本稿では，電気音声強調において予測される F0パターンのさらなる自然性改善のため，Product-ofExperts の枠組みにおいて F0 生成過程モデルを考慮した統計的 F0 予測法を提案した．実験的評価より，F0 予測精度および音声の自然性が改善することを示した．なお，本稿では，提案法における E ステップに対して近似処理を導入した．近似処理を無くすことでさらなる性能改善が期待されるため，今後，提案法の厳密な評価を行う．
謝辞 本研究の一部は，JSPS 科研費 15J10727 および 26280060 の助成を受け実施したものである．

参考文献[1] K. Tanaka et al., IEICE Trans. Information andSystems, Vol. E97-D, No. 6, pp. 1429–1437, Jan.
2014.
[2] K. Yoshizato et al., Proc. Speech Prosody, pp.
175–178, May 2012.
[3] H. Kameoka et al., IEEE/ACM Trans. Audio,Speech, and Language, Vol. 23, No. 6, pp. 1042–1053, Jun. 2015.
[4] H. Fujisaki, Vocal Fold Physiology: Voice Production, Mechanisms and Functions, pp. 347–355, 1998.
[5] T. Toda et al., IEEE Trans. Audio, Speech, andLanguage, Vol. 15, No. 8, pp. 2222–2235, Nov
2007.
[6] H. Kameoka, Proc. The 25th IEEE International
Workshop. Machine Learning for Signal Processing, Sep. 2015.
[7] T. Matsuda et al., Acoustical Science and Technology, Vol. 33, No. 4, pp. 221–228, 2012.

- 260 -2016年3月