2-9-4VAE-SPACE: 音声 F0 パターンの深層生成モデル ∗◎田中 宏，亀岡 弘和（NTT)，森川 一穂（名大)1はじめにブラート）などの混合成分により構成される. 音声のF0 パターンと比較すると，オーバーシュートやビブラートを含む歌声の F0 パターンは，上述した藤崎モ
デルでは単純に表現できない. そのため，歌声の F0パターン制御モデル [4] では，制御パラメータ（減衰率 ζ と固有周波数 Ω）を用いて表現される２次系の伝達関数 G(s) = Ω2 /(s2 + 2ζΩs + Ω2 ) における減衰率 ζ を調整することによって，指数減衰（ζ > 1），減衰振動（0 < ζ < 1，オーバーシュートに対応する），臨界制動（ζ = 1），定常振動（ζ = 0，ビブラートに対応する）からなる様々な振動現象を表現する.

基本周波数（F0 ）パターンは，言語・非言語情報と深い関係がある. 例えば，話者は，発話文の語尾のF0 パターンを変化させることで疑問文を表現し，F0パターンのダイナミクスを変化させることで意図や感情を表現する. また，歌声においても，メロディや情感，個人性を表現するために，歌唱者は F0 パターンを変化させる. F0 パターン生成過程のモデル化は，表現豊かな音声・歌声合成や対話システム，話者・感情認識などの実現に極めて有効である.
話し声の F0 パターン生成過程のモデルとしては，
3 VAE-SPACE: 音声 F0 パターンの深層喉頭による声帯の制御機構を模擬した物理モデル（通称「藤崎モデル」） [1] とそのパラメータを統計的手生成モデル法により推定することを可能にする藤崎モデルの確3.1 コンセプト率モデル版 [2] が提案されている．藤崎モデルは歌声深層ニューラルネットワーク (Deep Neural Netには当てはまらない仮定をいくつか置くため，そのまwork; NN) を用いた生成モデルを深層生成モデルとまの形では歌声の F0 パターンに適用することはできいい，その一種である変分自己符号化器 (Variationalないが，藤崎モデルを歌声の特徴に合わせて適応した
いわば藤崎モデルの歌声版も提案されている [3, 4]． Autoencoder; VAE) [5, 6] が近年画像生成や音声変換などのタスクにおいて高い効果を示している．VAE
これらのモデルでは，F0 パターンを直感的かつ解釈は，その名称が示すように，自己符号化器 (Autoen可能な生成過程パラメータ（藤崎モデルではフレーcoder; AE) の確率モデル版であり，入力データ（例
ズ成分やアクセント成分，歌声モデルでは楽譜情報またはメロディ成分や表現成分に相当）により記述し， えば，音声や画像）が与えられたもとでの潜在変数の条件付分布のパラメータを出力するエンコーダ NN
所与の F0 パターンからこれらを推定することで話しと，潜在変数が与えられたもとでの入力データの条件声や歌声の特徴を保持したまま自由に F0 パターンを付分布のパラメータを出力するデコーダ NN からな加工したり変換したりすることを可能とする．しかる. 従来の VAE では潜在変数には特定の事前分布し，これらのモデルで共通する問題として，それぞれ（正規分布など）に従うこと以外の仮定は特に置かれ話し声（特定の発話スタイルや言語）や歌声（特定のないが，所望の仮定を確率モデルの形でより詳しく歌唱スタイル）に特化したモデルとなっている点とパ記述し，潜在変数の事前分布として導入することがラメータ推定のために計算コストの高い反復アルゴできれば，デコーダは観測データとその観測データリズムを要する点が挙げられ，これらが用途を限定に内在する解釈可能なパラメータとを関連づける強的にしている．
力な生成モデル（例えば，F0 パターンとフレーズ・本稿では，深層生成モデルに基づき，音声・歌声にアクセント成分とを関連づける藤崎モデルのような特化しない F0 パターンの普遍的な生成過程モデルと生成モデル）になりうる．さらに，デコーダとともにその内部パラメータを高速かつ高精度に推定するアエンコーダを学習することで，観測データの生成過ルゴリズムとを学習により同時に発見することを可程モデルとともに観測データから所望の生成過程パ能にする方法論を提案する．
ラメータを推論するアルゴリズムに相当する NN を2 F0 パターン生成過程モデル同時に得ることができる．また，観測データは大量にある一方で観測データと生成過程パラメータのペア
2.1 音声の F0 パターン生成過程モデル
データの量が限定的な状況でも，VAE の生成モデル
音声の F0 パターンは，韻律句全体にわたってゆるとしての性質を活かして半教師あり学習を行える点やかに変化する成分 (フレーズ成分) と，アクセントも大きな魅力である．
に従って急峻に変化する成分 (アクセント成分) によ
そこで本稿では，VAE に基づき，F0 パターンの生成り構成される. 藤崎モデル [1] は，甲状軟骨の運動に過程モデルとその内部パラメータを推定するアルゴリ
よる F0 パターンの生成過程を説明した物理モデルでズムとを学習により発見することを可能にする VAEあり，フレース成分 yp(t) ，アクセント成分 ya(t)（t はSPACE(Statistical Phrase/Accent Command Esti時刻），およびベースライン成分 yb を用いて対数 F0mation) を提案する．なお，本モデルでは F0 パター
パターン y(t) を y(t) = xp (t) + xa (t) + µb と表現する
ン全体を観測データとする．また，エンコーダとデモデルである．
コーダは再帰型 NN を用いてモデル化することもでき
2.2 歌声の F0 パターン制御モデル
るが，並列計算に向いた畳み込み NN(ConvolutionalNN; CNN) により記述することでフォワードパスの歌声の F0 パターンは，歌のメロディ成分と，急激計算を高速に実現することができる．
な変化（オーバーシュートなど）や周期的な変化（ビ∗VAE-SPACE: Deep Generative Model for Voiced F0 contours. by TANAKA, Kou (NTT), KAMEOKA,Hirokazu (NTT), MORIKAWA, Kazuho (Nagoya University)

日本音響学会講演論文集- 229 -

2018年3月

Table 1 歌声 F0 パターン類似性に関する聴取実験
結果 (42 サンプル ×7 評価者).
VAE-SPACE
76.2 %
Table 2平均）.

Musical score or Fair
23.8（Fair: 16.7） %p-value
0.000312
53 sentences
average

音声 F0 パターンにおける推定誤差（53 文

4.2

F0 contour
Phrase component
Accent component
3.2

Table 3 F0 パターンから藤崎モデルのフレーズおよびアクセント成分を推定するのに要する処理時間（単位: 秒）.

VAE-SPACE
0.0536
0.0947
0.0936SPACE
0.08830.123
0.122

VAE-SPACE

log Pθ (x) = L(θ, ϕ; x)(1)L(θ, ϕ; x) = −DKL [Qϕ (z|x)||P (z)]+ EQϕ (z |x) [log Pθ (x|z)](2)で与えられる．ただし，ここで DKL [·|·] は KullbackLeibler（KL）距離を表す. 式 (2) より，θ と ϕ について L(θ,ϕ； x) を最大化することが，Pθ (z|x) とQϕ (z|x) との KL 距離を最小化することに相当する.
ここでは，Qϕ (z|x) と Pθ (x|z) の分布形は正規分布とする．ここで，潜在変数 z に満たしてほしい特定の仮定があれば，事前分布 P (z) を通して設定可能である．例えば，上述のように潜在変数 z をフレーズ・アクセント成分と関連づける場合，P (z) は P (z) =∑s P (z|s)P (s) とすることができる. なお、s は， [2]で述べられている経路制約付き HMM の状態系列である.

4

実験的評価

4.1

実験条件

音声データセット（学習データ：429 文［30 分］，評価データ：53 文［3 分］）と歌声データセット（学習データ：42 セット［15 分］，評価方法：Leave-oneout 交差検証）を用いて，評価実験を行った. 従来
法 (SPACE) に関するモデル条件は， [2] と同等とした. 提案法 (VAE-SPACE) のモデル構造は，５層の CNN により記述されたエンコーダおよび２層のCNN により記述されたデコーダとした.

日本音響学会講演論文集

SPACE
2712.080
5.67

歌声の F0 パターン類似性に関する聴取実験（XAB テスト）

提案手法における潜在変数を MIDI を表現する変数と仮定し学習したのち，デコーダへ MIDI を入力しF0 パターンを推定した. 表 1 より，提案手法が目標とする F0 パターンを再現できていることがわかる.

潜在変数 z を，F0 パターンの生成過程を司るパラメータ（例えば，藤崎モデルの場合ではフレーズ・アクセント成分）とする. z を入力とし，F0 パターン x の条件付分布 Pθ (x|z) のパラメータを出力するデコーダ
NN は F0 パターン生成過程モデルと見なせる．一方，zの事後分布 Pθ (z|x) は所与の F0 パターン x から z を推論する逆過程と見なせる．この事後分布を Pθ (x|z)
から厳密に算出することは難しいが，代わりに分布Qϕ (z|x) のパラメータを出力するエンコーダ NN を別に導入し，Qϕ (z|x) が Pθ (z|x) ∝ Pθ (x|z)P (z) にできるだけ近くなるようにデコーダ NN とエンコー
ダ NN を学習することができる．F0 パターン x に関する対数周辺確率密度関数 log Pθ (x) は，+ DKL [Qϕ (z|x)||Pθ (z|x)] ,VAE-SPACE
0.0126 ± 0.0002—

4.3

音声 F0 パターンにおける推定誤差に関する客観評価（RMSE）

提案手法における潜在変数を藤崎モデルのフレーズおよびアクセント成分を表現する変数と仮定し学習したのち，エンコーダへ F0 パターンを入力し各成分を推定および推定された各成分をデコーダへ入力し F0 パターンを再構成した. 表 2 より，提案手法が従来法よりも各特徴量を高精度に再現できていることがわかる.

4.4

逆問題の解法にかかる処理時間

提案手法における潜在変数を藤崎モデルのフレーズおよびアクセント成分を表現する変数と仮定し学習したのち，エンコーダへ F0 パターンを入力し各成分を推定した. 表 3 より，モデル構造に CNN を用いた提案手法が従来法よりも高速に推定できることがわかる.

5

おわりに

本稿では，F0 パターン生成過程のための深層生成モデルを提案した. 実験的評価結果より，音声および歌声の F0 パターンに内在するパラメータから F0 パターンを推定，および，その逆問題を高精度かつ高速に解くことを可能であることを示した. 今後は，提案手法に基づき，F0 パターンの変換や転写を行う予定
である.
謝辞 本研究の一部は，JSPS 科研費 17H01763 の助成を受け実施したものである．

参考文献[1] Hiroya Fujisaki, Vocal physiology: Voice production, mechanisms and functions, pp. 347–355,1988.
[2] Hirokazu Kameoka et al., IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 23, no. 6, pp. 1042–1053, 2015.
[3] Siu Wa Lee et al., in ICASSP, 2012, pp. 429–432.
[4] Yasunori Ohishi et al., in INTERSPEECH, 2012,pp. 474–477.
[5] Diederik P Kingma et al.,arXiv preprint
arXiv:1312.6114, 2013.
[6] Casper Kaae Sønderby et al., in NIPS, 2016, pp.
3738–3746.

- 230 -2018年3月