統計的音声合成の展開と展望
徳田恵一（名古屋工業大学）
2019年12月6日 音声言語シンポジウム

音声合成のアプローチ（超簡略版）• ルールベース, フォルマント音声合成 (~’90s)
人手によるルールに基づいて各音素の素片を構築• コーパスベース, 波形接続型音声合成 (’90s~)
音声データベースから音声素片（音響特徴あるいは波形）を接続して合成• 単一インベントリ：ダイフォン音声合成
à• 複数インベントリ：単位選択型音声合成• コーパスベース, 統計的音声合成 (late ’90s~)
ソースフィルタモデル + 統計的音響モデル• HMM (hidden Markov model) (1995~)• DNN (deep neural networks) (2013~)• WaveNet (2016~)

à

主としてこちらをやってきました>>

統計的音声合成へのパラダイムシフト

単位選択型音声合成
音声データベース
運が良いとき:運が悪いとき:ターゲットコスト
接続コスト
合成音声（選択された音声単位）
・・・

・・・

ランタイムに動的計画法により総コストを最小化

統計的音声合成
Text「こんにちは」テキスト解析

発声器官を制御「こんにちは」••••小フットプリントシステムの自動構築
低言語依存性
柔軟性 / 制御性
「こんにちは」

HMM: hidden Markov model
DNN: deep neural network

音声「こんにちは」口やのどの形音声の生成過程を模擬(digital filter/WaveNet vocoder)
声の大きさ・高さ制御パラメータを推定

制御パラメータで表現

空気の流れ

合成音声

長所・短所

WaveNet等のニューラルボコーダにより解決

単位選択型音声合成
波形接続
à 高い自然性
接続歪（当たり外れあり）

統計的音声合成
ボコーダ à バジー＆こもった音

必要データ量比較的大？
フットプリント大

必要データ量比較的小？
フットプリント小

L

滑らか

柔軟性小 à 発話スタイル、感情表現等 柔軟性大 à 話者適応、発話スタイル補が固定間など

統計的音声合成へのパラダイムシフト

J

あらまし
• 音声合成の統計的定式化• HMM音声合成• DNN音声合成• 評価 / データ&ソフトウェアツール
• その他の関連トピックス

あらまし• 音声合成の統計的定式化• HMM音声合成• DNN音声合成• 評価 / データ&ソフトウェアツール
• その他の関連トピックス

音声合成の基本問題
テキストとそれに対応する音声波形の組の集合があるとき，任意に与えられたテキストに対応する音声波形を求めよ。

• : テキスト• : 音声波形∼ ( | , ,データベース• : 任意のテキスト (• : 合成音声波形

既知
∉

)
?

)

音声合成の統計的定式化 (1/4)• 予測分布の推定は簡単ではないà 生成モデルに基づいたパラメトリック表現を導入
, ,

=

,

• 積分は容易ではないà,の最大化で積分を近似,: モデルパラメータ= arg max ( | , ) ß 学習
~

,

ß 生成

音声合成の統計的定式化 (2/4)• 通常，生成モデルは部分モデルに分解される,=,
特徴抽出・波形生成（ボコーダ）,

音響モデル: 音声波形 のパラメトリック表現（音響特徴）: テキスト の 言語特徴（ラベル）=,: 生成モデルのパラメータ: 音響モデルのパラメータ: テキスト解析部のパラメータ

テキスト解析

ß>>言語的特徴（ラベル/コンテキスト）
Phoneme (or distinctive feature)l{preceding, current, succeeding} phonemes

Syllable
l

l

l

l

l

l

# of phonemes in {preceding, current, succeeding} syllable{accent, stress} of {preceding, current, succeeding} syllable
Position of current syllable in current word
# of {preceding, succeeding} {accented, stressed} syllable in current phrase# of syllables {from previous, to next} {accented, stressed} syllable
Vowel within current syllable, etc.

Word
l

l

l

l

l

l

Part of speech of {preceding, current, succeeding} word
# of syllables in {preceding, current, succeeding} word
Position of current word in current phrase# of {preceding, succeeding} content words in current phrase# of words {from previous, to next} content word
Syntactic/dependency information, etc.

Phrasel# of syllables in {preceding, current, succeeding} phrase, etc.

⋮(à)＋フレームレベルの継続長・位置情報＋発話スタイル，感情表現等（このようなタグ・ラベルがある場合）

音声合成の統計的定式化 (3/4)• 生成モデルを部分モデルに分解すると= arg max ( | , ) ß 学習

~

,

ß 生成

= arg max

,

,

,

( )

ß

~

,

,

,

ß 生成

学習

音声合成の統計的定式化 (4/4)• 積分と総和の全体最大化は困難
à 積分と総和の逐次最大化で近似ßß:事前学習されたテキスト解析モジュールのパラメータ= arg max ( | ) ß 音響特徴の抽出= arg max

,

or

,

or

ß 音響モデル学習= arg max ( | ,)= arg max,

ß テキスト解析= arg max,

ß 音響特徴生成~ ( | ) ß 音声波形生成,,

ßラベリング
学習

合成

あらまし
• 音声合成の統計的定式化• HMM音声合成• DNN音声合成• 評価 / データ&ソフトウェアツール
• その他の関連トピックス

HMM音声合成の枠組み
SPEECHDATABASE

Text analysis

Speech signal

Training part

Excitation
Parameter
extraction

SpectralParameter
Extraction

Excitation
parameters

Spectralparameters

Training HMMs
LabelsTEXT

Context-dependent HMMs
& state duration models

Text analysis
LabelsSynthesis part

Excitation
parameters

Parameter generationfrom HMMs

Excitation Excitation
generation

Spectralparameters

Synthesis
FilterSYNTHESIZEDSPEECHHMM音声合成の枠組み
SPEECHDATABASE

Speech signal

Training part
SpectralParameter
Extraction

Excitation
Parameter
extractionLˆ = arg max P( L | W , Λ)L
Text analysis

Excitation
parameters

Spectralparameters

Training HMMs

Labelsλˆ = arg max P(O | Lˆ , λ)λTEXToˆ = arg max P(o | lˆ, λˆ)Context-dependent HMMso& state duration models

Text analysis
Parameter generationfrom HMMs

ˆl = argLabels
max PExcitation(l | w, Λ)parameterslSynthesis part

Excitation Excitation
generation

Spectralparameters

Synthesis
FilterSYNTHESIZEDSPEECHßHMM音声合成の枠組み
Speech signal

Training partLˆ = arg max P( L | W , Λ)
SPEECHDATABASE
L

Text analysis

Excitation
Parameter
extraction

SpectralParameter
Extraction

Excitation
parameters

Spectralparameters

Training HMMs
LabelsTEXT
Context-dependent HMMs
& state duration models

Text analysis
LabelsExcitation
parameters

Parameter generationfrom HMMs

ˆ = arg max P(l | Excitation
Excitation
lSynthesis
w
,
Λ
)
part
l

generation

Spectralparameters

Synthesis
FilterSYNTHESIZEDSPEECH17

HMM音声合成の枠組み
SPEECHDATABASE

Text analysis

Speech signal

Excitation
Parameter
extraction

Training part
SpectralParameter
Extraction

Excitation
parameters

Spectralparameters

Training HMMs
LabelsTEXT
Context-dependent HMMs
& state duration models

Text analysis
LabelsSynthesis part

Excitation
parameters

Parameter generationfrom HMMs

Excitation Excitation
generation

Spectralparameters

Synthesis
FilterSYNTHESIZEDSPEECHメルケプストラムに基づくスペクトル分析

0 ,1 ,…, ( )=ß メルケプストラム

メルケプストラムの最尤推定:= arg max
音声波形 がガウス過程のときは に関して凸 [Fuka92]

1−

(rad)

=

,

ß

Warped frequency

= exp

−

p

p
2

warped frequency
mel-scale frequency

0

p /2

p

Frequency(rad)スペクトル推定例
Log Magnitude (dB)

100

50

0
0

4
Frequency (kHz)8

MLSA フィルター (1/2) [Fukada ’92]
= exp

̃ =

exp ( )-M

F ( z ) = å c ( m) ~
z -m
m =0

Input

a

+

-

a

+

a

1-a 2

z -1

+

b(1)

b(m) = c(m) - ab(m + 1)

z -1

z -1

+

z -1

+

b(3)

b(2)
+

+

OutputMLSA フィルター (2/2) [Fukada ’92]
exp

= exp

̃ =

exp ( )

+
Input

+
-

F (z )F (z )F (z )AL , 2

AL,3

AL , 4,,−• 近似誤差 < 0.24dB• O(8M) 積和/サンプル• 安定性の保証

OutputL

F (z )

-

AL ,1

1+∑
≅
1+∑

exp F ( z ) @1 + å AL ,l {F ( z )}l
l =1L

1 + å AL ,l {- F ( z )}ll =1

HMM音声合成の枠組み
SPEECHDATABASE

Text analysis

Speech signal

Training part
SpectralParameter
Extraction

Excitation
Parameter
extraction
Excitation
parameters

Spectralparameters

Training HMMs

Labelsλˆ = arg max P(O | Lˆ , λ)λTEXTContext-dependent HMMs
& state duration models

Text analysis
LabelsSynthesis part

Excitation
parameters

Parameter generationfrom HMMs

Excitation Excitation
generation

Spectralparameters

Synthesis
FilterSYNTHESIZEDSPEECH隠れマルコフモデル (HMM)
aij

a11

: 状態遷移確率bq (ot ) : 状態出力確率1b1 (ot )

a33

a22
a12

2

a23

b2 (ot )3b3 (ot )観測系列oo1 o2 o3 o4 o5 L ・ ・ L

状態系列

q

1 1 1 1 2 K 2 3

oT

K 3

観測ベクトル（音響特徴量ベクトル）の構造
スペクトルパラメータ（メルケプストラム, LSPなど）
スペクトル情報D

動的特徴量（時間方向の微分係数に対応）

DD
log F0, 有声／無声
励振源情報
（F0他）

D
DD

動的特徴量
（時間方向の微分係数に対応）

Dynamic feature [Furui ’86]

決定木に基づくコンテキストクラスタリング [Odell; ’95],

: 言語特徴: HMM,

L=voice?

k-a+b

yes

no

L=“w”?

t-a+h

yes

R=silence?
no

yes

no

R=silence?

…

…

s-i+n

yes

L=“gy”?
no

yes

no

C=unvoice?
C=vowel?
R=silence?
R=“cl”?
L=“gy”?
L=voice?

…

…

各リーフノードにおいてHMMのパラメータを共有ß

>>それぞれのアプローチを対照 (1/2)
単位選択型音声合成

HMM音声合成

ClusteredstatesMergedstatesSentence
HMM ・・・

・・・

Static

・・・

L

L

Delta

・・・

L

L
Mean

Variancec

28

それぞれのアプローチを対照 (2/2)
単位選択型音声合成

HMM音声合成

Text

Text

Text analysis

Text analysis

FeaturesLabelsF0

Dur.

Spect.

Dur.

F0

Units

Synthesis
Synthesis

合成音声

合成音声
29

ストリーム依存決定木クラスタリング
Three dimensional Gaussian

状態継続長モデル

HMM

メルケプストラムの決定木
基本周波数の決定木

状態継続長の決定木ßEMアルゴリズムにより学習

HMM音声合成の枠組み
SPEECHDATABASE

Text analysis

Speech signal

Training part
SpectralParameter
Extraction

Excitation
Parameter
extraction
Excitation
parameters

Spectralparameters

Training HMMs
LabelsTEXT
Text analysis
LabelsSynthesis partHMMsoˆ = arg max P(o | lˆ, λˆ)Context-dependent& state duration models
oExcitation
parameters

Parameter generationfrom HMMs

Excitation Excitation
generation

Spectralparameters

Synthesis
FilterSYNTHESIZEDSPEECH音声パラメータ（音響特徴）生成アルゴリズム= arg max,

= arg max,
: 状態系列qˆ = arg max P(q | lˆ, λˆ) ß 状態継続長の決定qoˆ = arg max P(o | qˆ , λˆ) ß 音声パラメータの決定o,生成された音声パラメータ列の軌跡
/sil/

/a/

/i/

/sil/

ß

33

生成された音声パラメータ列の軌跡
/sil/

/a/

/i/

/sil/

ß

34

cq

Mean trajectory

トラジェクトリ HMM
sil

a

i

d

a

sil

sil

動的特徴量を含む

5
10

1

a

動的特徴量を含まない

15
20

,

=

,

25

i

30

d

35
40

,

45

a

=

50
55

sil

5

10

15

20

25

30

35

40

45

50

55

Time(frame)

Temporal covariance matrix

Pqß音声変化を制御する柔軟性• Speaker Adaptation （声を真似る）• [Tamura ’98], [Tamura ’01], [Yamagishi ’03], …

(à)• Speaker Interpolation （声を混ぜる）• [Yoshimura ’97], …

• Eigenvoice （声をつくる）• [Shichiri ’02], [Kazumi ’10], …

• Multiple-regression （声を制御する）• [Nose ’07], …
Only from publications by the HTS working group

感情表現を混ぜる(ß)

歌声合成への応用
HMM/DNN① 対応関係を学習② 与えられた楽譜から波形を推定

歌詞付き楽譜
任意の歌詞付き楽譜

合成された歌声

HMM+STRAIGHTあらまし• 音声合成の統計的定式化• HMM音声合成• DNN音声合成• 評価 / データ&ソフトウェアツール
• その他の関連トピックス

隠れマルコフモデル (HMM) によるアプローチ
STRAIGHT

,

=

HMM

,

,

• GV-based parameter generation [Toda ’05]
• HSMM (hidden特徴抽出・波形生成
semi-Markov model)音響モデル[Zen ’07]（ボコーダ）• Trajectory HMM training [Zen ’07]
• :MGE
trainingのパラメトリック表現[Wu ’08]
音声波形• :Bayesian[Hashimoto ’09]
テキスト approachの 言語特徴（ラベル）• Additive
tree [Takaki ’10]=
, decision: 生成モデルのパラメータ• Trainable
excitation model [Maia ’07], etc.
: 音響モデルのパラメータ: テキスト解析部のパラメータ
Only from publications by the HTS working group

テキスト解析

二つのモジュールの再結合
,
•
•
•
•

=

,

,

Joint estimation of acoustic特徴抽出・波形生成
and excitation models [Maia ’10]
音響モデル
Log spectral distortion-version（ボコーダ）
of MGE training [Wu ’09]
Factor analyzed trajectory HMM (STAVOCO) [Toda ’08]
Mel-cepstral analysis-integrated HMM [Nakamura ’14]

テキスト解析

• Joint front-end / back-end training [Oura ’08]
Only from publications by the HTS working groupディープニューラルネットワーク (DNN) によるアプローチ (1/6)
FFNN, LSTM,=,
特徴抽出・波形生成（ボコーダ）,

音響モデル• DNN-based speech synthesis [Zen ’13]
• LSTM-based speech synthesis [Fan ’14], etc.

テキスト解析

DNN vs. HMM
DNN

HMM (≅regression tree)• データ量比較的大？
• フラットな構造• データ量比較的小？
• 意味付けのある構造• トラブル解決が困難• 実装が容易• トラブル解決が容易• 実装が困難• 事前情報や知識が初期化や学習手順に埋め込まれる• 並列・分散処理しやすい• 連続空間における最適化• 事前情報や知識を明確な形で与えやすい• 並列分散処理しにくい• 離散空間における最適化

いずれもダイナミクスのモデル化構造は必要そうディープニューラルネットワーク (DNN) によるアプローチ (2/6)
Sourcefilter model,=

FFNN, LSTM

,

à

,

>>

1. 音声波形の尤度を直接測る形で特徴抽出・波形生成
音響モデル（ボコーダ）
2. 有声成分・無声成分を同時にモデル化する
3. ニューラルネットワークを学習する••

テキスト解析

Directly modeling speech waveforms by neural networks [Tokuda ’15],
Directly modeling voiced and unvoiced components by neural networks [Tokuda ’16]

音声信号モデル
パルス列( )混合位相システムℎ ( )ℎ白色ガウス雑音( )~ ( ; 0, 1)

=

1
2

(

有声成分
= ( )∗ℎ ( )

)

音声信号

最小位相システム

ℎ ( )
ℎ

1
=
2

有声成分＋無声成分の信号モデル

無声成分= ( )∗ℎ ( )ディープニューラルネットワーク (DNN) によるアプローチ (3/6)
WaveNet, SampleRNN, WaveRNN, …
(autoregressive sturucture),=,
特徴抽出・波形生成（ボコーダ）,

音響モデル

テキスト解析

WaveNet• たたみ込みニューラルネットワーク (CNN) に基づいた自己回帰型生成モデル• 音声波形の直接モデル化: 音声波形: 音響特徴 or 言語特徴

CNNによりモデル化• Dilated causal convolution49

音声信号の生成モデル

ß

短期予測

長期予測

スペクトルパラメータF0

WaveNet
非線形予測器It works!
F0 スペクトルパラメータ

Famous words in speech technology (1980s)“Every time I fire a linguist,
the performance of the speech recognizer goes up”
by Frederick Jelinek“Every time I fire a speech synthesis researcher,the performance of the speech synthesizer goes up”
by ????? ?????

DNN variants for waveform modeling• Autoregressive• WaveNet, SampleRNN, WaveRNN, …

• Normalizing flow
• WaveGlow, Pallalel WaveNet, ClariNet, FloWaveNet, …

• Combining with source filter model• LPCNet, ExcitNet, GlotNet, LP-WaveNet, …

• Introducing signal processing technique• SubbandWaveNet, FFTNet, …

ß

à

>>

DNN vocoder with periodic excitation [Oura ’19]
• Autoencoder-type structure
extracts 3 dimensional periodic
signal• Decoder generates periodic
components and stochastic
components• WaveNet gives a constraints on
the intermediate variableßディープニューラルネットワーク (DNN) によるアプローチ (4/6)
FFNN, LSTM,=,
特徴抽出・波形生成（ボコーダ）,

音響モデル• HSMM: 継続長モデルを含む• FFNN, LSTM, WaveNet: 外部に継続長予測器が必要

テキスト解析

Phoneme-level

Frame-by-frame
conversion

From an external
duration predictor
Frame-level

It needs an external duration
predictor to determine
phone durations

Frame-level

DNN-HSMM
architecture

HSMM as the pdf of MDN

It runs at state-levelor phoneme-level[Tokuda ’16]

State-level orphoneme-level

Frame-levelディープニューラルネットワーク (DNN) によるアプローチ (5/6)
WaveNet vocoder(autoregressive structure),=

Tacotron, Char2Wav, DeepVoice, …
(attention mechanism),
特徴抽出・波形生成（ボコーダ）

,

音響モデル

à

>>

テキスト解析

Attention mechanism
Tacotron 2

Decoder
Acoustic feature
generation

Attention
mapping b/w
text and acoustic feature

Encoder≅ text analysis[from arXiv:1712.05884]

ディープニューラルネットワーク (DNN) によるアプローチ (6/6)
WaveNet vocoder(autoregressive structure),=

Attention,
特徴抽出・波形生成（ボコーダ）,

音響モデル

ß
テキスト解析

様々な階層での制御・編集機能
• 言語

高次

• 日本語，英語，中国語，日本語英語，…

テキスト解析

• 読み• ポーズ• 発音変形• 音声 → /o N s e:/, します → /sh I ma s/• 韻律変形• アクセント結合・変形• 発話スタイル・感情表現等• 単語の強調• ノンバーバル情報・パラ言語情報• 声質• 男性，女性，大人，子供• 音声パラメータ• 基本周波数パターン，音量変化パターン，継続長，…

音響モデル

低次

波形生成

FFNN+CNN+WaveNet による歌声合成
WaveNet vocoder,=

FFNN+CNN,
特徴抽出・波形生成（ボコーダ）,

音響モデル

テキスト解析

その他のDNN技法とアーキテクチャ• GAN• VAE / VQ-VAE• Transformer / BERT

あらまし
• 音声合成の統計的定式化• HMM音声合成• DNN音声合成• 評価 / データ&ソフトウェアツール
• その他の関連トピックス

Blizzard Challenge• TTSシステムの性能はデータベースに強く依存• 技術そのものを評価することの難しさ“Blizzard Challenge”
Evaluating corpus-based speech synthesison common datasets [Black ’05]
Since 2005

評価方法
• 自然性
• Mean Opinion Score (MOS)• 話者類似性• Degradation Mean Opinion Score (DMOS)• 明瞭性 (dictation of SUS, PCS, etc.)• 単語正解精度

自由発話音声、オーディオブックタスクなどでは、十分ではない

音声合成のための共通のデータセット• ELRA http://www.elra.info/• ELDA http://www.elda.org/• LDC https://www.ldc.upenn.edu/• OpenSLR http://www.openslr.org/• SRC http://research.nii.ac.jp/src/• ARCTIC• VCTK• LibriTTS, …

音声認識に比べて数や量が少ないのはスタジオ品質の収録が必要なため？

ソフトウェアツール (1/2)• ISCA SynSig https://www.synsig.org/index.php/Software• ISCA SCOOT https://www.isca-speech.org/iscaweb/index.php/scootソフトウェア・ツール (2/2)
Toolkit for building voice interaction systems
Speech recognition engine

Speech synthesis engine

Japanese TTS system
Singing synthesis system
Training toolkit
Speech signal processing toolkit

Takashi Masuko, Noboru Miyazaki, Kazuhito Koishida, Takayoshi Yoshimura,
Heiga Zen, Junichi Yamagishi, Keiichiro Oura, Akinobu Lee and others contributed

あらまし• 音声合成の統計的定式化• HMM音声合成• DNN音声合成• 評価 / データ&ソフトウェアツール
• その他の関連トピックス• テキスト正規化• 声質変換• 音声符号化• Anti-spoofing• 物理的シミュレーション

テキスト正規化• End-to-endシステムにテキスト正規化は含まれない• ルールベースアプローチが主流• 近い将来end-to-endプロセスに組み込むことが可能となる？

声質変換• 音声合成と緊密な関係• 声質変換研究においてもDNNによるアプローチが台頭している• リアルタイム応用が本質• リアルタイム（あるいは低遅延）の韻律変換はチャレンジングな課題

音声符号化• WaveNetあるいはその他の波形生成アプローチは音声符号化に革命をもたらす可能性

•
•
•
•
•
•

WaveNet based low rate speech coding [Kleijn ’18]
A Real-Time Wideband Neural Vocoder at 1.6 kb/s Using LPCNet [Valin ’19]
Low Bit-rate Speech Coding with VQ-VAE and WaveNet [Garbacea ’19]
High-quality speech coding with sample RNN [Klejsa ’19]
WaveNet-based zero-delay lossless speech coding [Yoshimura ’18]
Wavenet-based delay-free ADPCM Speech Coding [Yoshimura ’19]

合成音声による詐称• 音声合成を用いたなりすましへの懸念• On the security of HMM-based speaker verification systems against
imposture using synthetic speech [Masuko ’99]

• 合成音声の検出• A robust speaker verification system against imposture using an HMMbased speech synthesis system [Satoh ’01]

• ASVspoof 2015
• The First Automatic Speaker Verification Spoofing and Countermeasures
Challenge

物理的シミュレーションとDNN• 将来，声道の動的計測技術が進展• 音声生成過程のシミュレーション技術の向上

物理的シミュレーションに基づいて自然な音声を生成することは可能になる？
• 利点：現実的なモデル制約の低次元表現
à DNNベースシステムの潜在表現として有効？

まとめ
統計的アプローチによる音声合成• 人間と機械の区別がつかなくなるレベルに達しつつあるが、• まだまだ多くの課題がある à• 音声の多様性を実現するために更なる柔軟性と制御性が必要

まだまだ楽しめる音声合成研究！

ありがとうございました！

>>音声合成の未来• 音声対話システム

マルチリンガル/クロスリンガル• 音声翻訳
更なる音声の多様性の実現を目指して
クロスメディア

まだまだ楽しめる音声合成研究！

• 障碍者支援• 言語学習柔軟性/多様性
低資源/ゼロ資源言語
ありがとうございました！

• コンテンツ制作

エディターデザイン

共通のデータ/ツール

Special thanks• Supervisors: Satoshi Imai, Tadashi Kitamura, Takao Kobayashi• Colleagues & students: Takashi Masuko, Noboru Miyazaki, Takayoshi Yoshimura,
Shinji Sako, Masatsune Tamura, Junichi Yamagishi, Tomoki Toda, Heiga Zen, Kazuhito
Koishida, Tetsuya Yamada, Nobuaki Mizutani, Ryuta Terashima, Akinobu Lee, Keiichiro
Oura, Keijiro Saino, Kenichi Nakamura, Yi-Jian Wu, Ling-Hui Chen, Shifeng Pan,
Yoshihiko Nankaku , Ranniery Maia, Sayaka Shiota, Chiyomi Miyajima, Kei Hashimoto,Shinji Takaki, Kazuhiro Nakamura, Kei Sawada, Takenori Yoshimura, Daisuke
Yamamoto, …
• Collaborators and advisors: Junichi Takami, Naoto Iwahashi, Mike Schuster, Satoshi
Nakamura, Frank Soong, Mchiael Picheny, Simon King, Steve Young, Mari Ostendorf,
Alan Black, Alex Acero, Bill Byrne, Phil Woodland, Thomas Hain, Phil Garner, Masataka
Goto, Shigeru Katagiri, Hideki Kenmochi, Kazuya Takeda, Tatsuya Kawahara, Sadaoki
Furui, Seiichi Nakagawa, Keikichi Hirose, Tetsunori Kobayashi, Miko Kurimo, Shigeki
Sagayama, Kiyohiro Shikano, Hisashi Kawai, Nobuyuki Nishizawa, Minoru Tsuzaki,
Yoichi Yamashita, Nobuaki Minematsu, Mat Shannon, Mark Gales, Kai Yu, John Dines,…
in random order. I am sorry but I may have missed many…

References• K. Tokuda, T. Kobayashi, S. Shiomoto, S. Imai, “Adaptive filtering based on
cepstral representation —adaptive cepstral analysis of speech,” ICASSP 1990a.
• K. Tokuda, T. Kobayashi, S. Imai, “Generalized cepstral analysis of speech —unified approach to LPC and cepstral method,” ISCSLP 1990b.
• T. Fukada, K. Tokuda, T. Kobayashi, S. Imai, “An adaptive algorithm for melcepstral analysis of speech,” ICSSP 1992.
• K. Tokuda, T. Kobayashi, T. Masuko, S. Imai, “Mel-generalized cepstral analysis—a unified approach to speech spectral estimation,” ICSLP 1994.
• K. Tokuda, T. Kobayashi, S. Imai, “Speech parameter generation from HMM
using dynamic features,” ICASSP 1995a.
• K. Tokuda, T. Masuko, T. Yamada, T. Kobayashi, S. Imai, “An algorithm forspeech parameter geeration from continuous mixture HMMs with dynamic
features,” EUROSPEECH 1995b.
Only from HTS group• T. Masuko, K. Tokuda, T. Kobayashi, S. Imai, “HMM-based speech synthesis
with various voice characteristics,” ASA/ASJ Joint Meeting 1996.
• T. Masuko, K. Tokuda, T. Kobayashi, S Imai, “Voice characteristics conversion
for HMM-based speech synthesis system,” ICASSP 1997.
• T. Yoshimura, T. Masuko, K. Tokuda, T. Kobayashi, T. Kitamura, “Speaker
interpolation in HMM-based speech synthesis system,” EUROSPEECH 1997.
• T. Masuko, T. Kobayashi, M. Tamura, J. Masubuchi, K. Tokuda, “Text-to-visual
speech synthesis based on parameter generation from HMM,” ICASSP 1998.
• M. Tamura, T. Masuko, K. Tokuda, T. Kobayashi, ”Speaker adaptation for
HMM-based speech synthesis system using MLLR,” SSW 1998.
• T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi, T. Kitamura, “Simultaneousmodeling of spectrum, pitch and duration in HMM-based speech synthesis,”EUROSPEECH 1999.
• K. Tokuda, T. Yoshimura, T. Masuko, T. Kobayashi, T. Kitamura, “Speechparameter generation algorithms for HMM-based speech synthesis,” ICASSP
2000.
SSW: ISCA Speech Synthesis Workshop• T. Masuko, T. Hitotsumatsu, K. Tokuda, T. Kobayashi, “On the security of
HMM-based speaker verification systems against imposture using synthetic
speech,” EUROSPEECH 1999.
• T. Yoshimura, K. Tokuda, T. Masuko, T. Kobayashi, T. Kitamura, “Simultaneousmodeling of spectrum, pitch and duration in HMM-based speech synthesis,”EUROSPEECH 1999.
• T. Masuko, K. Tokuda, T. Kobayashi, “Imposture using synthetic speech against
speaker verification based on spectrum and pitch,” ICSLP/INTERSPEECH 2000.
• S. Sako, K. Tokuda, T. Masuko, T. Kobayashi, T. Kitamura, “HMM-based text-toaudio-visual speech synthesis,” ICSLP/INTERSPEECH 2000.
• M. Tamura, T. Masuko, K. Tokuda, T. Kobayashi, “Text-to-speech synthesis with
arbitrary speaker’s voice from average voice,” EUROSPEECH 2001.
• T. Satoh, T. Masuko, T. Kobayashi, K. Tokuda, “A robust speaker verification
system against imposture using an HMM-based speech synthesis system,”EUROSPEECH 2001.
• K. Shichiri, A. Sawabe, K. Tokuda, T. Masuko, T. Kobayashi, T. Kitamura,“Eigenvoices for HMM-based speech synthesis,” ICSLP 2002.

• J. Yamagishi, T. Masuko, K. Tokuda, T. Kobayashi, “A training method for
average voice model based on shared decision tree context clustering andspeaker adaptive training,” ICASSP 2003.
• K. Tokuda, H. Zen, T. Kitamura, “Trajectory modeling based on HMMs with theexplicit relationship between static and dynamic features,” EUROSPEECH 2003.
• H. Zen, K. Tokuda, T. Masuko, T. Kobayashi, T. Kitamura, “Hidden semi-Markov
model based speech synthesis,” ICSLP 2004.
• T. Toda, A. Black, K. Tokuda, “Spectral conversion based on maximum
likelihood estimation considering global variance of converted parameter,”
ICASSP 2005.
• T. Toda, K. Tokuda, “Speech parameter generation algorithm considering
global variance for HMM-based speech synthesis,” INTERSPEECH 2005.
• A. Black, K. Tokuda, “The Blizzard Challenge – 2005: Evaluating corpus-based
speech synthesis on common datasets,” INTERSPEECH 2005.
• K. Saino, H. Zen, Y. Nankaku, A. Lee, K. Tokuda, “HMM-based singing voicesynthesis system,” Interspeech 2006.

• R. Maia, T. Toda, H. Zen, Y. Nankaku, K. Tokuda, “An excitation model for
HMM-based speech synthesis based on residual modeling,” SSW 2007.
• K. Oura, Y. Nankaku, T. Toda, K. Tokuda, R. Maia, S. Sakai, S. Nakamura,“Simultaneous Acoustic, Prosodic, and Phrasing Model Training for TTS
Conversion Systems,” ISCSLP 2008.
• K. Hashimoto, H. Zen, Y. Nankaku, K. Tokuda, “A Bayesian approach to HMMbased speech synthesis,” ICASSP 2009.
• K. Kazumi, Y. Nankaku, K. Tokuda, “Factor analyzed voice models for HMMbased speech synthesis,” ICASSP 2010.
• K. Oura, A. Mase, T. Yamada, S. Muto, Y. Nankaku, K. Tokuda, “Recent
Development of the HMM-based Singing Voice Synthesis System – Sinsy,” SSW
2010.
• K. Nakamura, K. Hashimoto, Y. Nankaku, K. Tokuda, “Integration of Acoustic
Modeling and Mel-cepstral analysis for HMM-based Speech Synthesis,” ICASSP
2013.
• K. Tokuda, H. Zen, ``Directly modeling voiced and unvoiced components inspeech waveforms by neural networks,'' ICASSP 2016.

• K. Tokuda, K. Hashimoto, K. Oura, Y. Nankaku, “Temporal modeling in neuralnetwork based statistical parametric speech synthesis,” SSW 2016.
• T. Yoshimura, K. Hashimoto, K. Oura, Y. Nankaku, K. Tokuda, “Mel-cepstrumbased quantization noise shaping applied to neural-network-based speech
waveform synthesis,” IEEE/ACM Transactions on Audio, Speech, and Language
Processing, vol. 26, no. 7, pp. 1173-1180, July, 2018.
• J. Niwa, T. Yoshimura, K. Hashimoto, K. Oura, Y. Nankaku, K. Tokuda,“Statistical voice conversion based on WaveNet,” ICASSP 2018.
• T. Yoshimura, K. Hashimoto, K. Oura, Y. Nankaku, K. Tokuda, “WaveNet-based
zero-delay lossless speech coding,” SLT 2018.
• T Yoshimura, K. Hashimoto, K. Oura, Y. Nankaku, K. Tokuda, ``Speakerdependent WaveNet-based delay-free ADPCM speech coding,'' ICASSP 2019.
• S. Takaki, Y. Nankaku, K. Tokuda, “Spectral modeling with contextual additive
structure for HMM-based speech synthesis,” SSW 2010.

HTS Slides
released by HTS Working Group
http://hts.sp.nitech.ac.jp/

Copyright (c) 1999 - 2011
Nagoya Institute of Technology
Department of Computer Science

Some rights reserved.
This work is licensed under the Creative Commons Attribution 3.0 license.
See http://creativecommons.org/ for details.