8Frequency [kHz]76Analysis

Original
speech waveform

2. 提案法

Windowing

Windowing

FFT
ニューラルネットワークを用いたボコーダ音声のパワースペクトル復元

Statistical parametric speech synthesis training

Vocodedpower spectrum

Original
acoustic features
Vocodedspeech waveform

Vocodedspeech waveform

Windowing

Windowing

Windowing

FFT

FFT

FFT

Original
power spectrum

Vocodedpower spectrum

Vocodedpower spectrum

Analysis

Neural network training

Reconstructed
speech waveform

Vocoder

Windowing

Original / Estimatedacoustic features

IFFT
Trained neural network
forward propagation

Reconstructed
power spectrum

Vocoded phase(b) synthesis stage(a) training stage
Vocodedspeech waveform

スペクトル歪み(SD)を最小化するモデルパラメータの学習
Vocoder
FT
1 XX1X2
ˆ = argOriginal
Windowing
Windowing
SD = 10 log10|P org
min/ Estimated ||P org P v ||FT
2 t
acoustic features
t=1FFT

IFFT

位相：ボコーダ音声の位相をそのまま使用

VocodedTrained neural network

Reconstructed

1-600-5005-200

1

2

3[dB]

-600

1

2

3[dB]

Time [s]Time [s]音声コーパス：日本語女性音声，サンプリング周波数16kHz-308MLSASTRAIGHT
学習セット：7000 文(約4.7 時間)，テストセット：20文-40726101088-50
1 パワースペクトル分析
57700-600
窓関数：Hann窓256サンプル，フレームシフト：1ms0
12
3[dB]
466Time [s]-10-10
ニューラルネットワークパラメータ355108-20-20
original
244入力層：ボコーダ音声パワースペクトル129次元
70-30-30
1336-10
出力層：原音声パワースペクトル129次元-40-40
022
50-20-50-50
隠れ層：3．1024ノード，活性化関数：シグモイド，最適化手法：Adam
114-30-60-60
003
ミニバッチ数256，20 epoch，正規化：平均0，分散10
2
30 10
2
3[dB]
[dB]
8 1
81-40
Time [s]Time[s]277
ボコーダ：F0はSTRAIGHT分析による取得
08-50
1MLSA
withproposal
STRAIGHT
with proposal
66-10
MLSA：メルケプストラム25次(SPTK分析) + 0パルス励振
7-60
5520
1
3[dB]
-206Fig.
2Spectrogramsoforiginal,vocoded
andproposed
speechsignals(ATR503-J01).
Time+[s]STRAIGHT：1024次元→40次元メルケプストラム(MGC)
44 非周期成分5帯域
5-30original
33108
客観評価
44654

5-10

4

322

1100

STRAIGHT
12Time3proposal[s]
STRAIGHTwith
12[dB]
Time [s]original

15Time [s]4MLSA

3−32.6612299p-value

1213P v|

100-10[dB

Time [s]5SD (dB) 0 0
STRAIGHT−21.84MLSA32-20−22.4-20

1-30

MLSA-40

Time [s]5STRAIGHT (MGC40次元)
提案法-30Table 1 Resultsof averaged
test set spectral dis
3340N01-50-50
701
STRAIGHT−23.4
Fig. 02 6Spectrograms of original, vocod-60-60-100 proposal
STRAIGHT
with
−23.2
3
12
3[dB]
[dB]

Time [s]5S, P主観評価
and N are answer numbers of STRAIGHT,
1STRAIGHT
withproposalandneutral.
対比較聴取実験：被験者7名 0P-30

6[dB]-408MLSA
with 10proposal
27
1 -60−33.6[dB]00

3-10-20

Table 2 Paired comparison results of listening
test.
2S28−27.1
2 -50-50-60-20

10-40−24.5
3-30

MLSA with proposal -4000283 disTable 3 Results of averaged
test set spectral
-50
1
70
2
tortion for DNN-based
synthesis.
-60 speech
0SD (dB)
-30

-20

3MLSA

6

Frequency [kHz]-40

210Frequency [kHz]7Frequency [kHz]3Z-score

声はテストセット
文とし，聴力が健常な成人女性-40
tortion for 20
anaylsis-synthesis.
2
客観評価結果(スペクトル歪み)
2 名，成人男性 5 名の計-50 7 1名を被験者とし，ヘッドホSD (dB)
ン聴取させた。STRAIGHT 音と提案法を順序はラン-60

142300123

MLSA
ダムに間を1 s 空けて連続で提示し，品質のよい方をTime [s]Time [s] −24.5
proposal with−27.1
回答させた。提示音声に差が感じられない場合は「どMLSA
with proposal MLSA withSTRAIGHT
proposal[dB]

19 < 10−10−7.0
STRAIGHT−33.6
ちらでもない」(表 2 のneutral に相当) の選択肢を認Fig. 2 Spectrograms of original, vocoded
andproposed
speechsignals(ATR503-J01).
with proposal−32.6
めさせた。表 2STRAIGHTの結果より，統計検定の結果，提案法

S：STRAIGHT，P：Proposed，N：Neutral[dBにより有意に音質が改善されることが示された。
ルに対してボコーダ音声は特に高域成分のピッチ成Table 1 Results of averaged test set spectral disResults of averaged test set spectral di
3.1.1 Table
DNN3音声合成を用いた評価
分やゆらぎが消えてしまっているのに対して，提案法
Table 2 Paired comparison results of listening tes
tortion for anaylsis-synthesis.
tortion for7000
DNN-based
speechsynthesis.
によりそれらがある程度回復していることがわかる。
3.1 節で用いた文のうち文を学習セット
S, P andN are
answer6000
numbersof STRAIGHT
主観評価結果(スペクトル歪み)

4. DNN音声合成音を用いた実験

DNN音声合成コーパス：学習セット6000文

Reconstructed
speech waveform

f =11

原音声

Original
power spectrum(a) training stage
Original
speech waveform

VocoderNeural network training

FFT-402-1088 0
Table
1 Results of averaged test set spectral
dis1
677 -100
tortion for anaylsis-synthesis.
00-30

3Frequency [kHz]

Vocoder-20

4Frequency [kHz]

Vocodedspeech waveform-1053. 分析合成音を用いた実験

6Frequency [kHz]

高品質ボコーダ
STRAIGHT(Kawahara et al,, 1999)，WORLD(Morise et al., 2016)
高品質な合成には多数のパラメータが必要→SPSS：メルケプストラムのように少数のパラメータを使用→音質劣化
ニューラルネットワークを用いたコーパス依存型ボコーダ
GlottDNN(Airaksinen et al., 2016)
位相回復も考慮した手法，声門閉鎖点(GCI)の推定精度に依存
パワースペクトルによる合成(高木ら，2016)
パワースペクトル+無矛盾反復法位相付与による波形生成，位相復元が課題
Statistical parametric speech synthesis training
目的：任意のボコーダ音声の高品質化
Original
acoustic features
劣化音声をニューラルネットワークで原音声へと回復

6-50

Frequency [kHz]ボコーダ-20-402Frequency [kHz]

音響モデル

音声波形

0-30

3

Frequency [kHz]

テキスト解析

音響パラメータ

04

Frequency [kHz]コンテキストラベル

Frequency [kHz]テキスト

0Frequency [kHz]

研究背景：統計的音声合成(SPSS)の高音質化
SPSSの処理の流れと音質劣化要因

710

7

Frequency [kHz]Frequency [kHz]1. 研究背景と目的

108-1052名古屋大学)○岡本拓磨1，橘健太郎1，戸田智基2,1，志賀芳則1，河井恒1，(1情報通信研究機構，

810

Frequency [kHz]DNN型パワースペクトル復元によるボコーダ音質改善

客観評価尺度には，SD を用いた。それぞれのボコーとして DNN
音声合成を学習する。入力パラメータは
STRAIGHT
with proposal and neutral.
SD (dB)SD (dB)SPSSニューラルネットワークパラメータ
ダの結果を表 1 に示す。結果により，提案法によりボ
コンテキストラベル 438 次元であり，[15] と同様のもMLSA
−24.5
−21.8
入力層：コンテキストラベル483次元
SP MLSA
Np-value Z-score
コーダ分析合成音声が回復していることがわかる。のを用いた。出力は上記のボコーダの音響特徴量に動MLSA with proposal−27.1
MLSA with proposal−22.4
22 99 19 < 10−10−7.0
出力層：音響特徴量
主観評価は対比較の聴取実験により行った。評価音的特徴量および音声非音声フラグを加えたそれぞれSTRAIGHT−33.6
STRAIGHT−23.4

MLSA：79次元，STRAIGHT：139次元
STRAIGHT with proposal−32.6

STRAIGHT with proposal−23.2