統計的音声合成技術の現在・過去・未来
名古屋工業大学
徳田恵一

人間のように喋る機械の実現• 音声インタフェースの普及

1. コミュニケーションチャネルの確立
2. もっと自然に・魅力的に・快適に！

• 人間のように喋る機械• 任意の話者の声質• 様々な発話スタイル（読み上げ調・会話調など）• 感情表現（楽しそうに・悲しそうになど）• 強調• その他，様々な非言語情報• しかもあらゆる言語で！
• 更には歌も！！

音声合成の歴史（超簡略版）• ルールベース: フォルマント音声合成 (～’90)• コーパスベース: 波形接続型音声合成 (’90s～)• 単一インベントリ: ダイフォン音声合成• 複数インベントリ: 単位選択型音声合成• コーパスベース: 統計的パラメトリック音声合成 (’95～)• 隠れマルコフモデルによる音声合成（HMM音声合成）• DNN, LSTM等に基づく音声合成単位選択型音声合成
音声データベース

ターゲットコスト
接続コスト
合成音声・・・・・・

統計的音声合成の概要
テキスト 「こんにちは」発声器官を制御「こんにちは」「こんにちは」HMM

音声「こんにちは」口やのどの形音声の生成過程を模擬
合成音声

声の高さ・大きさ

制御パラメータを推定

制御パラメータで表現
肺からの空気統計的音声合成の特徴• 自動学習  システムの自動構築• 小メモリサイズ  携帯デバイスでも容易に動作• 低い言語依存性  多言語化が容易• 柔軟性（話者性，感情表現等々）• 声を真似る・声を混ぜる・声をつくる統計 vs. 波形• 状態出力分布を学習データそのものからなる離散分布で近似
連続分布
xx x x xx x xxxx x x xx
xx x x xx xx x x x x xxxxxxxxx x xx x x x xxxx xx xx x xx x x x xx xx xx xx xxxxxxxxxxxxx

音響空間 ×: 学習データ

離散分布⇒近似x x x xx x xxxx x x xxxx x x xx xx x x x x xxxxxxxxx x xx x x x xxxx xx xx x xx x x x xx xx xx xx xxxxxxxxxxxxx

音響空間 ×: 学習データ• 動的特徴量付パラメータ生成はフレームベースのDPに帰着 動的特徴量付きパラメータ生成は単位選択の「アナログ版」

本発表のあらまし• 背景• 音声合成の基本問題• 音声合成の課題• 評価• 音声合成の社会的役割• まとめ
余談をはさみながら音声合成の基本問題 (1/7)
テキストとそれに対応する音声波形の組の集合があるとき，任意に与えられたテキストに対応する音声波形を求めよ。
• 𝑾𝑾: テキスト
• 𝑿𝑿: 音声波形

音声データベース• 𝒘𝒘: 任意のテキスト (𝒘𝒘 ∉ 𝑾𝑾)• 𝒙𝒙: 合成音声波形

既知？

𝒙𝒙 ∼ 𝑝𝑝(𝒙𝒙|𝒘𝒘, 𝑿𝑿, 𝑾𝑾)音声合成の基本問題 (2/7)• 予測分布の推定は簡単ではない  パラメトリック表現を導入

𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝑿𝑿, 𝑾𝑾 = � 𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 𝑝𝑝 𝜆𝜆 𝑿𝑿, 𝑾𝑾 𝑑𝑑𝜆𝜆𝜆𝜆: モデルパラメータ

音声合成の基本問題 (3/7)• 補助変数に関する積分は容易ではない  同時最大化で近似
̂𝑝𝑝(𝒙𝒙|𝒘𝒘, 𝑿𝑿, 𝑾𝑾) = � 𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 𝑝𝑝 𝜆𝜆 𝑾𝑾, 𝑿𝑿 𝑑𝑑𝜆𝜆 ≈ 𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆̂ 𝑝𝑝(𝜆𝜆|𝑾𝑾,𝑿𝑿)

但し 𝜆𝜆̂ = arg max 𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 𝑝𝑝 𝜆𝜆 𝑾𝑾, 𝑿𝑿𝜆𝜆• 更に 𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 𝑝𝑝 𝜆𝜆 𝑾𝑾, 𝑿𝑿 の最大化を 𝑝𝑝 𝜆𝜆 𝑾𝑾, 𝑿𝑿 の最大化で近似
̂𝜆𝜆̂ = arg max 𝑝𝑝(𝜆𝜆|𝑾𝑾,𝑿𝑿)  学習
𝜆𝜆𝒙𝒙~𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆̂  生成

音声合成の基本問題 (4/7)• 通常，生成モデルは部分モデルに分解される
𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 = 𝑝𝑝 𝒙𝒙 𝒐𝒐 𝑝𝑝 𝒐𝒐 𝒍𝒍, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝒍𝒍 𝒘𝒘, 𝜆𝜆𝐿𝐿
特徴抽出・波形生成（ボコーダ）

𝒐𝒐: 音声波形 𝒙𝒙 のパラメトリック表現
𝒍𝒍: テキスト 𝒘𝒘 の言語的特徴（ラベル）

音響モデル

テキスト解析

𝜆𝜆 = 𝜆𝜆𝐴𝐴 , 𝜆𝜆𝐿𝐿 : 生成モデルのパラメータ𝜆𝜆𝐴𝐴 : 音響モデルパラメータ𝜆𝜆𝐿𝐿 : テキスト解析部パラメータ

言語的特徴（ラベル/コンテキスト）• 当該音素• 先行・後続音素• 当該音素のアクセント句でのモーラ位置• ｛先行，当該，後続｝の品詞，活用形，活用型• ｛先行，当該，後続｝のアクセント句の長さ，アクセント型• 当該アクセント句の位置，前後のポーズの有無• ｛先行，当該，後続｝の呼気段落の長さ• 当該呼気段落の位置• 文の長さ・・・・
膨大な組み合わせ数 ⇒ 全コンテキストについて推定することは困難音声合成の基本問題 (5/7)• 生成モデルを部分モデルに分解すると
̂𝜆𝜆̂ = arg max 𝑝𝑝(𝜆𝜆|𝑾𝑾,𝑿𝑿)  学習
𝜆𝜆𝒙𝒙~𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆̂  生成1
� � 𝑝𝑝 𝑿𝑿 𝑶𝑶 𝑝𝑝 𝑶𝑶 𝑳𝑳, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝑳𝑳 𝑾𝑾, 𝜆𝜆𝐿𝐿 𝑑𝑑𝑶𝑶 𝑝𝑝 𝜆𝜆𝐴𝐴 𝑝𝑝(𝜆𝜆𝐿𝐿 )= arg max
𝜆𝜆𝐴𝐴 ,𝜆𝜆𝐿𝐿 𝑝𝑝(𝑿𝑿)𝜆𝜆̂𝐴𝐴 , 𝜆𝜆̂ 𝐿𝐿𝐿𝐿𝒙𝒙~ � � 𝑝𝑝 𝒙𝒙 𝒐𝒐 𝑝𝑝 𝒐𝒐 𝒍𝒍, 𝜆𝜆̂𝐴𝐴 𝑃𝑃 𝒍𝒍 𝒘𝒘, 𝜆𝜆̂ 𝐿𝐿 𝑑𝑑𝒐𝒐𝑙𝑙音声合成の基本問題 (6/7)• 積分と総和を同時最大化で近似
� , 𝑳𝑳� , 𝜆𝜆̂𝐴𝐴 , 𝜆𝜆̂ 𝐿𝐿 = arg max max 𝑝𝑝 𝑿𝑿 𝑶𝑶 𝑝𝑝 𝑶𝑶 𝑳𝑳, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝑳𝑳 𝑾𝑾, 𝜆𝜆𝐿𝐿 𝑝𝑝 𝜆𝜆𝐴𝐴 𝑝𝑝(𝜆𝜆𝐿𝐿 )𝑶𝑶
𝜆𝜆𝐴𝐴 ,𝜆𝜆𝐿𝐿 𝑶𝑶,𝑳𝑳�, 𝒍𝒍̂ = arg max 𝑝𝑝 𝒙𝒙 𝒐𝒐 𝑝𝑝 𝒐𝒐 𝒍𝒍, 𝜆𝜆̂𝐴𝐴 𝑃𝑃 𝒍𝒍 𝒘𝒘, 𝜆𝜆̂ 𝐿𝐿𝒐𝒐𝒐𝒐,𝒍𝒍̂ 𝜆𝜆̂𝐴𝐴 𝑝𝑝 𝒍𝒍̂ 𝒘𝒘, 𝜆𝜆̂ 𝐿𝐿
� 𝒍𝒍,
� 𝑝𝑝 𝒐𝒐𝒙𝒙~𝑝𝑝 𝒙𝒙 𝒐𝒐音声合成の基本問題 (7/7)• 同時最大化は容易ではない  逐次最大化で近似𝜆𝜆̂ 𝐿𝐿 : 事前学習されたテキスト解析モジュールのパラメータ� = arg max 𝑝𝑝(𝑿𝑿|𝑶𝑶)  音声特徴抽出
𝑶𝑶
𝑶𝑶
𝑳𝑳� = arg max 𝑃𝑃 𝑳𝑳 𝑾𝑾, 𝜆𝜆̂ 𝐿𝐿  ラベリング
𝑳𝑳

� |𝑳𝑳� , 𝜆𝜆𝐴𝐴 )𝑝𝑝 𝜆𝜆𝐴𝐴  音響モデリング𝜆𝜆̂𝐴𝐴 = arg max 𝑝𝑝(𝑶𝑶𝜆𝜆𝐴𝐴𝒍𝒍̂ = arg max 𝑃𝑃 𝒍𝒍 𝒘𝒘, 𝜆𝜆̂ 𝐿𝐿  テキスト解析𝒍𝒍̂ 𝜆𝜆̂𝐴𝐴  音声パラメータ生成
� = arg max 𝑝𝑝 𝒐𝒐 𝒍𝒍,𝒐𝒐𝒄𝒄𝒙𝒙~𝑝𝑝(𝒙𝒙|�𝒐𝒐)  音声波形生成

学習合成

SPEECHDATABASE

Speech signal

Training part
SpectralParameter
Extraction

Excitation
Parameter
extractionLˆ = arg max P( L | W , Λ )L
Text analysis

LabelsExcitation
parameters

Spectralparameters

Training HMMs

λˆ = arg max P(O | Lˆ , λ)λTEXToˆ = arg max P(o | lˆ, λˆ)Context-dependent HMMso

Text analysis

Parameter generationfrom HMMs

ˆl = argLabels
max PExcitation(l | w , Λ)parameterslSynthesis part& state duration models

Excitation Excitation
generation

Spectralparameters

Synthesis
FilterSYNTHESIZEDSPEECH本発表のあらまし• 背景• 音声合成の基本問題• 音声合成の課題• 評価• 音声合成の社会的役割• まとめ
余談をはさみながら音声合成の課題
音声データ

話者性，発話表現などはすべてこの中にある

モデル学習

いかに精度よくデータをモデル化できるか

インタフェース（制御・編集機能）

いかに自在にコントロールできるか音声合成の課題
音声データ

話者性，発話表現などはすべてこの中にある

①

モデル学習

いかに精度よくデータをモデル化できるか

インタフェース（制御・編集機能）

いかに自在にコントロールできるか

音響モデル
𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 = 𝑝𝑝 𝒙𝒙 𝒐𝒐 𝑝𝑝 𝒐𝒐 𝒍𝒍, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝒍𝒍 𝒘𝒘, 𝜆𝜆𝐿𝐿
特徴抽出・波形生成（ボコーダ）

𝒐𝒐: 音声波形 𝒙𝒙 のパラメトリック表現
𝒍𝒍: テキスト 𝒘𝒘 の言語的特徴（ラベル）

音響モデル

テキスト解析

𝜆𝜆 = 𝜆𝜆𝐴𝐴 , 𝜆𝜆𝐿𝐿 : 生成モデルのパラメータ𝜆𝜆𝐴𝐴 : 音響モデルパラメータ𝜆𝜆𝐿𝐿 : テキスト解析部パラメータユニバーサル音声モデル
あらゆる声質，発話スタイル，感情表現，言語等を自在にモデル化・制御可能な音声モデル
「平均声」
学習データ

「固有声」
固有ベクトル

・・・

s6

s4
s5
平均声モデル

適応学習()

・・・

目標話者

e2
s7
平均ベクトル

適応

e1s′
s3
s1
部分空間s2

ニューラネットワークによる音響モデル
静的・動的特徴量系列（平均パラメータ系列）

テキスト
テキスト解析

パラメータ生成

コンテキスト特徴量（継続長情報）𝒍𝒍

静的特徴量系列⋮⋮

コンテキスト特徴量から静的・動的特徴量への変換

𝒐𝒐⋮

合成フィルタ

合成音声𝒄𝒄DNN vs. HMM
DNN

HMM (regression tree)• データ量比較的大？
• フラットな構造• データ量比較的小？
• 意味付けのある構造• 事前情報や知識が初期化や学習手順に埋め込まれる• 並列・分散処理しやすい• 連続空間における最適化• 事前情報や知識を明確な形で与えやすい• 並列分散処理しにくい• 離散空間における最適化• トラブル解決が困難• 実装が容易• トラブル解決が容易• 実装が困難

いずれもダイナミクスのモデル化構造は必要そう

特徴抽出・波形生成（ボコーダ）
𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 = 𝑝𝑝 𝒙𝒙 𝒐𝒐 𝑝𝑝 𝒐𝒐 𝒍𝒍, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝒍𝒍 𝒘𝒘, 𝜆𝜆𝐿𝐿
特徴抽出・波形生成（ボコーダ）

𝒐𝒐: 音声波形 𝒙𝒙 のパラメトリック表現
𝒍𝒍: テキスト 𝒘𝒘 の言語的特徴（ラベル）

音響モデル

テキスト解析

𝜆𝜆 = 𝜆𝜆𝐴𝐴 , 𝜆𝜆𝐿𝐿 : 生成モデルのパラメータ𝜆𝜆𝐴𝐴 : 音響モデルパラメータ𝜆𝜆𝐿𝐿 : テキスト解析部パラメータ物理的なシミュレーションによる合成• まだ難しい？

• 計算機能力・計測技術• 解剖学的な知識とモデル• 𝑝𝑝 𝒙𝒙 𝒐𝒐  𝑝𝑝 𝒙𝒙 𝒐𝒐, 𝜆𝜆𝑠𝑠

• 𝜆𝜆𝑠𝑠: 物理形状の個人モデル？
• 𝒐𝒐 は何に対応？
• 藤崎F0モデル，LFモデルなどとの関係• ほとんど無限のデータが得られる場合の有効性は？

• モデルの高度化 vs. データ量
• データ量のアドバンテージを活かせるシンプルなモデル？

Modulation of carrier wave
by speech information
Frequencytransfercharacteristics

SpeechSound source

Magnitude
start--end

Voiced: pulse
Unvoiced: noise

Fundamental
frequency
air flow二つのモジュールの再結合
𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 = 𝑝𝑝 𝒙𝒙 𝒐𝒐 𝑝𝑝 𝒐𝒐 𝒍𝒍, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝒍𝒍 𝒘𝒘, 𝜆𝜆𝐿𝐿
特徴抽出・波形生成（ボコーダ）

𝒐𝒐: 音声波形 𝒙𝒙 のパラメトリック表現
𝒍𝒍: テキスト 𝒘𝒘 の言語的特徴（ラベル）

音響モデル

テキスト解析

𝜆𝜆 = 𝜆𝜆𝐴𝐴 , 𝜆𝜆𝐿𝐿 : 生成モデルのパラメータ𝜆𝜆𝐴𝐴 : 音響モデルパラメータ𝜆𝜆𝐿𝐿 : テキスト解析部パラメータ関係する論文• Log spectral distortion-version of minimum generation error training(MGELSD) [Wu et al., 2009] 1 2 3• Factor analyzed trajectory HMM (STAVOCO) [Toda et al., 2008] 1 2 3• Joint estimation of acoustic and excitation models [Maia et al., 2010] 2• Mel-cepstral analysis-integrated hidden Markov modeling [Nakamura et al.,2014] 1 2 3• Direct modeling of speech waveforms by neural networks [Tokuda et al., 2015] 3

1. Shifting and overlapping short segments (called ‘frame’)
and/or, not measuring likelihoods for speech waveforms directly
2. Fixed decision trees borrowed from standard HMM state clustering
3. Only for voiced or unvoiced sounds定常的音声信号モデル• 音声信号 𝒙𝒙 は往々にして平均ゼロの定常ガウス過程と仮定される
𝑝𝑝 𝒙𝒙 𝒄𝒄 = 𝒩𝒩(𝒙𝒙; 𝟎𝟎, 𝜮𝜮𝒄𝒄 )𝒙𝒙 = 𝑥𝑥 0 , 𝑥𝑥 1 , … , 𝑥𝑥 𝑁𝑁 − 1

𝜎𝜎(0)
𝜎𝜎(1)
𝜮𝜮𝒄𝒄 =⋮𝜎𝜎(𝑁𝑁 − 1)𝜎𝜎(1)⋯𝜎𝜎(0)
⋱⋱
⋱
⋯
𝜎𝜎(1)

T  フレームに対応

𝜎𝜎(𝑁𝑁 − 1)⋮
 共分散 (Toeplitz)
𝜎𝜎(1)
𝜎𝜎(0)

ケプストラム表現• 自己相関は 𝜎𝜎(𝑘𝑘) はパワースペクトル換で与えられる
𝜎𝜎 𝑘𝑘2 𝑗𝑗𝜔𝜔𝑘𝑘
1 𝜋𝜋𝑗𝑗𝜔𝜔= ∫−𝜋𝜋 𝐻𝐻(𝑒𝑒 ) 𝑒𝑒𝑑𝑑𝜔𝜔
2𝜋𝜋2𝑗𝑗𝜔𝜔
𝐻𝐻(𝑒𝑒 ) の逆フーリエ変(Wiener–Khinchin theorem)• ここでは最小位相システム 𝐻𝐻(𝑒𝑒 𝑗𝑗𝜔𝜔 ) をケプストラム表現する
𝑀𝑀𝐻𝐻 𝑒𝑒 𝑗𝑗𝜔𝜔 = exp � 𝑐𝑐 𝑚𝑚 𝑒𝑒 −𝑗𝑗𝜔𝜔𝑚𝑚
𝑚𝑚=0𝒄𝒄 = 𝑐𝑐 0 , 𝑐𝑐 1 , … , 𝑐𝑐(𝑀𝑀) T  ケプストラム

非定常性のモデル化 (1/2)• 共分散行列 𝜮𝜮𝒄𝒄 と精度行列 𝜮𝜮𝒄𝒄−1 は，それぞれ 𝐻𝐻(𝑒𝑒 𝑗𝑗𝜔𝜔 ) および𝐻𝐻 −1 (𝑒𝑒 𝑗𝑗𝜔𝜔 ) のインパルス応答によって以下のように表される
𝜮𝜮𝒄𝒄 = 𝑯𝑯𝒄𝒄 𝑯𝑯T𝒄𝒄

ℎ(0)
ℎ(1)
𝑯𝑯𝒄𝒄 =⋮ℎ(𝑁𝑁 − 1)

0ℎ(0)
⋱⋯

⋯⋱⋱ℎ(1)1 𝜋𝜋� 𝐻𝐻(𝑒𝑒 𝑗𝑗𝜔𝜔 ) 𝑒𝑒 𝑗𝑗𝜔𝜔𝑛𝑛 𝑑𝑑𝜔𝜔ℎ 𝑛𝑛 =
2𝜋𝜋 −𝜋𝜋𝜮𝜮𝒄𝒄−1 = 𝑨𝑨T𝒄𝒄 𝑨𝑨𝒄𝒄𝑎𝑎(0)0𝑎𝑎(1)
0𝑨𝑨𝒄𝒄 =⋮⋮
𝑎𝑎(𝑁𝑁 − 1)ℎ(0)0𝑎𝑎(0)
⋱⋯

⋯
⋱
⋱
𝑎𝑎(1)

00
⋮
𝑎𝑎(0)

1 𝜋𝜋 −1 𝑗𝑗𝜔𝜔 𝑗𝑗𝜔𝜔𝑛𝑛
� 𝐻𝐻 𝑒𝑒 𝑒𝑒𝑎𝑎 𝑛𝑛 =𝑑𝑑𝜔𝜔
2𝜋𝜋 −𝜋𝜋注）行列のサイズは無限大だが，簡単のため有限で記述している

非定常性のモデル化 (2/2)• 𝐻𝐻 −1 (𝑒𝑒 𝑗𝑗𝜔𝜔 ) がひとつの発声の中で徐々に変化していると過程する⋱

𝑨𝑨𝒄𝒄 =⋯⋯⋯⋯⋯⋱

𝑎𝑎 𝑖𝑖−1𝑎𝑎 𝑖𝑖⋯⋯⋯⋯

010𝑎𝑎 𝑖𝑖 0𝑎𝑎 𝑖𝑖 1⋯⋯⋯⋯0𝑎𝑎 𝑖𝑖 0⋱⋯⋯⋯⋮⋯⋯0⋱

𝑎𝑎 𝑖𝑖 1⋯⋯⋮⋯⋯⋯⋱

𝑎𝑎 𝑖𝑖 0𝑎𝑎 𝑖𝑖+1 1⋯⋯⋯⋯⋯⋯⋯𝑎𝑎 𝑖𝑖+1 0⋱⋱0⋯注）行列のサイズは無限大だが，簡単のため有限で記述している(𝑖𝑖 − 1)-th𝐿𝐿 rows
𝑖𝑖-th
𝐿𝐿 rows(𝑖𝑖 + 1)-th
𝐿𝐿 rows

Time

𝒙𝒙:

𝒄𝒄:𝒄𝒄

(1)

𝑝𝑝 𝒙𝒙 𝒄𝒄 = 𝒩𝒩 𝒙𝒙; 𝟎𝟎, 𝜮𝜮𝒄𝒄 where 𝜮𝜮𝒄𝒄−1 = 𝑨𝑨T𝒄𝒄 𝑨𝑨𝒄𝒄
𝒄𝒄

(2)

𝒄𝒄

(3)

𝒄𝒄

(𝐼𝐼)

𝑝𝑝(𝒙𝒙|𝒍𝒍, 𝜆𝜆𝐴𝐴 )
𝒍𝒍:

𝒍𝒍1

𝒍𝒍2𝒍𝒍𝐼𝐼

微分

𝐿𝐿−1𝐿𝐿−1�𝑘𝑘=0𝑒𝑒 𝑖𝑖

𝐿𝐿𝐿𝐿 + 𝑘𝑘2− 𝐿𝐿𝑖𝑖 𝐿𝐿𝐿𝐿 + 𝑘𝑘 𝑒𝑒 𝑖𝑖 𝐿𝐿𝐿𝐿 + 𝑘𝑘 − 1
𝜕𝜕 log 𝑝𝑝 𝒙𝒙 𝒄𝒄
�𝑒𝑒= 𝒅𝒅𝑖𝑖 =(𝑖𝑖)
𝜕𝜕𝒄𝒄
𝑘𝑘=0
⋮
𝐿𝐿−1

� 𝑒𝑒 𝑖𝑖 𝐿𝐿𝐿𝐿 + 𝑘𝑘 𝑒𝑒 𝑖𝑖 𝐿𝐿𝐿𝐿 + 𝑘𝑘 − 𝑀𝑀

𝑘𝑘=0∞

where 𝑒𝑒 𝑖𝑖 𝑡𝑡 = � 𝑎𝑎 𝑖𝑖 𝑛𝑛 𝑥𝑥(𝑡𝑡 − 𝑛𝑛)
𝑛𝑛=0𝑒𝑒 2 (𝑡𝑡) − 1≈ 𝑒𝑒 𝑡𝑡 𝑒𝑒 𝑡𝑡 − 1⋮
𝑒𝑒 𝑡𝑡 𝑒𝑒 𝑡𝑡 − 𝑀𝑀
𝐿𝐿 = 1, 𝑖𝑖 = 𝑡𝑡

微分を計算できたので，ニューラルネットに接続することが可能

𝐿𝐿 = 1, 𝑀𝑀 = 3, with some approximation assumptions
Inverse system
𝐻𝐻 −1 𝑒𝑒 𝑗𝑗𝜔𝜔

LMA filter

The acoustic model is illustrated as a feed-forward neural network rather than LSTM-RNN.

テキスト解析𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 = 𝑝𝑝 𝒙𝒙 𝒐𝒐 𝑝𝑝 𝒐𝒐 𝒍𝒍, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝒍𝒍 𝒘𝒘, 𝜆𝜆𝐿𝐿
特徴抽出・波形生成（ボコーダ）

𝒐𝒐: 音声波形 𝒙𝒙 のパラメトリック表現
𝒍𝒍: テキスト 𝒘𝒘 の言語的特徴（ラベル）

音響モデル

テキスト解析

𝜆𝜆 = 𝜆𝜆𝐴𝐴 , 𝜆𝜆𝐿𝐿 : 生成モデルのパラメータ𝜆𝜆𝐴𝐴 : 音響モデルパラメータ𝜆𝜆𝐿𝐿 : テキスト解析部パラメータ

テキスト解析• 言語識別• テキスト正規化• 形態素解析，POS tagger
通常のテキスト解析の問題• 構文解析，係り受け解析• 発音，発音変形の推定
音声合成• アクセント，アクセント結合，強勢，声調等の推定 特有の問題• ポーズ位置・長さの推定• などなど発音の変動等は音響モデルで吸収？テキスト解析部で推定？

二つのモジュールの再結合
𝑝𝑝 𝒙𝒙 𝒘𝒘, 𝜆𝜆 = 𝑝𝑝 𝒙𝒙 𝒐𝒐 𝑝𝑝 𝒐𝒐 𝒍𝒍, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝒍𝒍 𝒘𝒘, 𝜆𝜆𝐿𝐿
特徴抽出・波形生成（ボコーダ）

𝒐𝒐: 音声波形 𝒙𝒙 のパラメトリック表現
𝒍𝒍: テキスト 𝒘𝒘 の言語的特徴（ラベル）

音響モデル

テキスト解析

𝜆𝜆 = 𝜆𝜆𝐴𝐴 , 𝜆𝜆𝐿𝐿 : 生成モデルのパラメータ𝜆𝜆𝐴𝐴 : 音響モデルパラメータ𝜆𝜆𝐿𝐿 : テキスト解析部パラメータ

テキスト解析部と音響モデルの同時学習• 学習データの発音変形，アクセント/強勢，ポーズの有無などは，人手で付与（あるいは修正）する必要がある• 大変なので，音響モデルを使う: 𝑳𝑳
� = arg max 𝑝𝑝 𝑶𝑶 𝑳𝑳, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝑳𝑳 𝑾𝑾, 𝜆𝜆𝐿𝐿
𝑳𝑳

• 更に，発音変形，アクセント/強勢，ポーズの有無などを隠れ変数とみなす• 音響モデルとの統合学習: 𝑳𝑳 = arg max � 𝑝𝑝 𝑶𝑶 𝑳𝑳, 𝜆𝜆𝐴𝐴 𝑃𝑃 𝑳𝑳 𝑾𝑾, 𝜆𝜆𝐿𝐿
𝜆𝜆𝐴𝐴 ,𝜆𝜆𝐿𝐿𝐿𝐿• テキストコーパスは沢山あるけど，音声付きのものは少ない

関係する論文• Simultaneous Acoustic, Prosodic, and Phrasing Model Training forTTS Conversion Systems [Oura et al., 2008]• H/L 型アクセント推定と音響モデリングを統合したHMM音声合成の検討 [神谷他, 2014]︙

音声合成の課題②

音声データ

話者性，発話表現などはすべてこの中にある

モデル学習

インタフェース（編集機能）

以下に精度よくデータをモデル化できるかユーザーがいかに自在にコントロールできるか音声データを集積・共有する仕組み
学術・研究開発
プロジェクト
学術・研究開発
プロジェクトデータ

インセンティブ

インセンティブ

データ

データ
インセンティブ

︙
学術・研究開発
プロジェクトデータ

超巨大音声データベース

インセンティブ
データ
インセンティブ

データ
インセンティブ

LDC, ELRA/ELDA, SRC, ALAGIN, GSK

データ
インセンティブ

 ソフトウェアに関しては

インターネット・ オーディオブック
・ PodCast

商業分野
・ アナウンサー
・ 声優

エンターテイメント分野
・ 創作者
・ ボランティア

医療分野
・ ドナー
・ 患者オープンソース・ソフトウェアツール• SPTK
SPTK, Speech Tools, Snack Sound Toolkit, ESPS, STRAIGHT, SWIPE’• HTSHTS, HTK, KALDI, IDLAK• hts_engine API, Flite+hts_engine, Open Jtalk, Sinsy
Sinsy, Flite• MMDAgent
MMDAgent, Julius, Festival, MARY Text-To-Speech• MeCab他多くのテキスト解析ツール• 言語モデル学習ツール• FST関係ツール• Wavesurfer, PARAAT, などなど
Copyright表示をよろしくお願いします社会的基盤• 分断された音声データの共有化• 医療（ボイスバンク），エンターテイメント，商業分
野，学術分野（Blizzard Challenge等）で個別に音声データを管理・維持（あるいは喪失）• 音声データを収集・共有する社会的な仕組み• 適切なインセンティブの設定• 共通のライセンス形態の定義• Web上の音声データの利用• Podcast, Audiobook, ニュース, あらゆる動画
56

学習用データの分散共有と分散型モデル学習
インターネット（増え続けるほとんど無限の音声データ）
これまでになく多様な音声を生成可能に

自動収集・自動タグ付け
音声データのクロールシステム

タグ・URL

分散学習システム

自動構築

音声合成器
音声合成器
音声合成器
音声合成器
音声合成器
音声合成システム

技術的基盤• 大規模データを活かしたシステム構築法の確立• 多様なデータを活かしたモデル化手法の確立• 並列計算手法の確立• スケーラビリティ• 多様なデータを活かしたシステム構築法の確立• テキストとの不一致に対する対処• 背景雑音，言いよどみ等に対する対処• 動画等のマルチメディアデータ，ライフログ等からの音声データ抽出

58

音声合成の課題
音声データ

話者性，発話表現などはすべてこの中にある

③

モデル学習

インタフェース（制御・編集機能）

以下に精度よくデータをモデル化できるか
いかに自在にコントロールできるか様々な階層での制御・編集機能• 言語• 日本語，英語，中国語，日本語英語，…



高次
テキスト解析

• 読み• ポーズ• 発音変形

• 音声 → /o N s e:/, します → /sh I ma s/• 韻律変形• アクセント結合・変形• 発話スタイル・感情表現等• 単語の強調• ノンバーバル情報・パラ言語情報• 声質• 男性，女性，大人，子供• 音声パラメータ• 基本周波数パターン，音量変化パターン，継続長，…

音響モデル

低次波形生成音声創作ソフトウェア「CeVIO Creative Studio」• 感情音声合成+• 歌声合成• コンテンツ制作を意識した編集機能

↑↑

()

本発表のあらまし• 背景• 音声合成の基本問題• 音声合成の課題• 評価• 音声合成の社会的役割• まとめ
余談をはさみながら

Blizzard Challenge• 合成音声の品質は音声データベースに依存• 音声合成技術自体の比較・評価は困難“Blizzard Challenge”

Evaluating corpus-based speechsynthesison common datasets
Since 2005

New Blizzard Challenge Structure
Audiobook (Simon)
2011
2012
2013
(ssw8)
2014
2015
2016
(ssw9)
2017

Preliminary test
1st challenge
2nd challenge

New language (Kishore)
Preliminary test
1st challenge
2nd challenge

Children’s book (Simon)
Preliminary test
1st challenge
2nd challenge今後のタスク（徐々に難しく）• 自由発話はまだまだ難しい• 内在する心理状態等の変動要因が隠れ変数としてうまくモデル化できていない？
• ラベリングは必要？少なくとも初期モデルとしては？
• ランダムな変動は unsupervised に学習？
• そもそも言語解析がうまく動かない• マルチリンガル・クロスリンガル• 言語性と話者性の分離• Low resource language, zero resource language• 数千の書記言語• 評価法自体や主観評価結果の予測なども重要課題

本発表のあらまし• 背景• 音声合成の基本問題• 音声合成の課題• 評価• 音声合成の社会的役割• まとめ
余談をはさみながらなりすまし・オレオレ詐欺に利用？
• 合成音声による詐称の懸念• On the security of HMM-based speaker verification systems against
imposture using synthetic speech [Masuko et al., 1999]• 合成音声の検出• A robust speaker verification system against imposture using an HMMbased speech synthesis system [Satoh et al., 2001]• ASVspoof 2015

• The First Automatic Speaker Verification Spoofing and Countermeasures
Challenge• 音声合成技術がこのような段階に来ていることを一般に広く知って貰う必要がある → 画像は既に既知（写真の偽造が簡単なのは周知）• リアルタイムでは無理

声の職業と音声合成の関係• アナウンサー・ナレーター・声優など，声の職業がなくなる？
• 現状では自然音声と合成音声の違いは大きい• リアルタイム性の必要な応用は難しい• コンテンツ制作には十分利用可能• 演奏家とレコード・CD・音楽配信の関係• レコードを出すと演奏会に来てもらえなくなる？
• CDからの収益• リアルイベントへの導入• 音声合成システムもレコードのような役割を果たしうる？
• 誰の声でもない創造された声の権利は？
• ビジュアルはキャラクターライセンス  声は？

余談: “Right time, right place, right people”• 日本音響学会誌「若手研究者の抱負」１９９６年• 音声スペクトル分析・音声符号化・適応信号処理• 優秀な指導者• 優秀な同僚• 親切な研究者たち• HTK/Festival• 思い込みと頭の悪さ？
• 音声合成研究者は単位選択で忙しかった• 音声認識研究と音声合成研究は分離していた• 大学の研究環境がまだ平穏な時代だった

余談: Googleに１年間滞在してみて• お金があればなんでもできる？（理路整然とした金満体質）• 優秀な人材とリーダー（優秀なリーダーもお金があれば雇える）• お金があっても，硬直化した組織と評価システムではダメ• もう太刀打ちできないのか？

• より早く動く（俊敏性・少数精鋭）• 未開フィールドへ• より深く複合的な学術知識

まとめ
全音声空間に広がる超巨大分散データにより，あらゆる音声を自在に生成することの可能な音声合成システムを構築する• 超巨大データを用いたユニバーサル音声モデルの構築• 「平均声」および「固有声」の手法をベースに融合• 分散・並列処理，荒れたデータへの対応• データの分散共有（人類共有の財産として）• インセンティブ・ライセンス• 編集機能の多元化・多層化• 高次から低次まで，多様な操作機能

今後の課題• 部分生成モデルの密結合• バックエンドとの結合• 波形の直接モデル化• より詳細な物理モデル• 音声の多様性を表現できるユニバーサルな音声モデル• 大規模データの分散共有と分散学習• マルチリンガル・クロスリンガル・low resource language• 自由発話・本当のリアル音声• 音声合成の社会的役割 → 参考書籍• オレオレ詐欺• アナウンサー・声優との共存参考書籍「おしゃべりなコンピュータ」• 最新の音声合成技術について，専門家以外にもわかりすい言葉で書かれています• 明るい未来の技術！
• 人に優しく，楽しく使えるインターフェース• 医療応用：声を失う・失った方ボイスバンクプロジェクト• ISBN: 978-4621053850

HTS Slides
released by HTS Working Group
http://hts.sp.nitech.ac.jp/Copyright (c) 1999 - 2011
Nagoya Institute of Technology
Department of Computer Science
Some rights reserved.
This work is licensed under the Creative Commons Attribution 3.0 license.
See http://creativecommons.org/ for details.