情報処理学会研究報告
IPSJ SIG Technical Report

DNN テキスト音声合成のためのAnti-spoofing に敵対する学習アルゴリズム
齋藤 佑樹1,a)

高道 慎之介1,b)

猿渡 洋1,c)

概要：統計的パラメトリック音声合成方式では，生成される合成音声特徴量系列の過剰な平滑化による音質劣化が問題となる．これまでに，系列内変動や変調スペクトルなどの，自然音声と合成音声を識別できる
解析的特徴量を補償する手法が提案され，その音質改善効果が確認されている．本稿では，この枠組みを拡張し，合成音声のさらなる音質改善を目的として，合成音声による声のなりすましを防ぐ anti-spoofingに敵対する deep neural network 音響モデルの学習アルゴリズムを提案する．Anti-spoofing に敵対する学
習は，自然音声と合成音声の従う確率分布間の距離を最小化させるため，自然音声の統計量を復元する音響モデルを構築できる．実験的評価により，（1）提案アルゴリズムによる音質改善効果が得られること，（2）提案アルゴリズムはハイパーパラメータの設定に対して比較的頑健に動作することを示す．
キーワード：統計的パラメトリック音声合成，DNN 音声合成，anti-spoofing，学習アルゴリズム，敵対的
学習，過剰な平滑化

Training Algorithm to Deceive Anti-spoofing Verification for
DNN-based Text-To-Speech Synthesis
Yuki Saito1,a)Shinnosuke Takamichi1,b)Hiroshi Saruwatari1,c)Abstract: This paper proposes a novel training algorithm for high-quality deep neural network-based speechsynthesis. The parameters of synthetic speech tend to be over-smoothed, and this causes significant quality
degradation in synthetic speech. The proposed algorithm takes into account an Anti-Spoofing Verification(ASV) as an additional constraint in the acoustic model training. The ASV is a discriminator trained to
distinguish natural and synthetic speech. Since acoustic models for speech synthesis are trained so that
the ASV recognizes the synthetic speech parameters as natural speech, the synthetic speech parameters are
distributed in the same manner as natural speech parameters. The experimental results demonstrate that 1)
the algorithm outperforms the conventional training algorithm in terms of speech quality, and 2) it is robust
against the hyper-parameter settings.
Keywords: statistical parametric speech synthesis, DNN-based speech synthesis, anti-spoofing verification,
training algorithm, generative adversarial training, over-smoothing eﬀect

1. はじめに
統計的パラメトリック音声合成 [1] は，人間のように自然な合成音声を生成するための技術の一つである．入力情報から音声特徴量を生成する音響モデルは hidden Markov

model [2] や Deep Neural Network（DNN） [3] により構築され，尤度最大化 [2] や二乗誤差最小化 [4], [5] などの規

1

a)
b)
c)

東京大学大学院 情報理工学系研究科
Graduate School of Information Science and Technology,
The University of Tokyo, Bunkyo, Tokyo 113–8656, Japan.
yuuki saito@ipc.i.u-tokyo.ac.jp
shinnosuke takamichi@ipc.i.u-tokyo.ac.jp
hiroshi saruwatari@ipc.i.u-tokyo.ac.jp

c 2012 Information Processing Society of Japan⃝範に基づいて学習される．高品質な合成音声を生成するための音響モデル学習の技術は，テキスト音声合成，音声変換，そしてマルチモーダル音声合成で共有できるため，広く研究されている．しかしながら，この音響モデルから生1情報処理学会研究報告
IPSJ SIG Technical Report

成された音声特徴量は，自然音声と比較して過剰に平滑化ワークにより表現される．音響モデルの学習では，自然される傾向にあり [1], [6]，合成音声の音質は自然音声と比音声の特徴量系列と合成音声の特徴量系列から計算され較すると未だに低い．

る損失関数を最小化する．以降，自然音声の特徴量系列

合成音質の音質を改善させる方法として，自然音声と合⊤⊤ ⊤を y = [y ⊤1 , · · · , y t , · · · , y T ] ，合成音声の特徴量系列を

成音声の違いを補償することが考えられる．音声特徴量の⊤⊤ ⊤ŷ = [ŷ ⊤と表記する．ここで，t はフ
1 , · · · , ŷ t , · · · , ŷ T ]分布は自然音声と合成音声で異なる [7] ため，合成音声特徴

レームインデックス，T はフレーム数である．ここでは，量の分布を自然音声に近づけることで合成音声の音質改善[16] と同様に，音響モデルは各フレーム t における音声特が期待できる．これを実現するための例として，音声特徴⊤⊤ ⊤徴量の静的・動的特徴量 Ŷ t = [ŷ ⊤t , ∆ŷ t , ∆∆ŷ t ] を予測

量の従う確率分布をパラメトリック [8] またはノンパラメ

する．

トリック [9] にモデル化し，合成音声の特徴量を生成または変形する手法がある．さらに有効な手法として，合成音

2.2 Minimum Generation Error（MGE）学習 [5]

声の音質劣化に関連する解析的特徴量を用いる手法が考え従来の DNN 音声合成において，音響モデルは MGE 学られる．代表的な例として，系列内変動（Global Variance:

習アルゴリズム [5] により学習される．MGE 学習の損失

GV） [8] や変調スペクトル（Modulation Spectrum: MS）

関数 LG (y, ŷ) は，y と ŷ の二乗誤差として次式で計算さ[10] がある．これらの解析的特徴量は，音響モデル学習時もれる．

しくは音声特徴量生成時の制約として機能する [11], [12]．
能勢ら [13] や高道ら [11] によって，生成された GV またはMS の正規分布を自然音声の GV または MS の正規分布に近づける方法が提案されているが，合成音声の音質劣化は未だに深刻な問題となっている．
この音質劣化問題に対して，本研究では，合成音声による声のなりすましを防ぐ anti-spoofing を用いた統計的パ
ラメトリック音声合成の音響モデル学習アルゴリズムを提案・開発している [14], [15]．Anti-spoofing は合成音声と自然音声を識別するように学習される識別器である．音
声合成の音響モデルは anti-spoofing に敵対するように学習されるため，合成音声特徴量の分布は自然音声特徴量の分布に近くなる．提案アルゴリズムにおける音響モデル学
習の規範は，従来の学習規範と anti-spoofing に敵対するための規範の重み付き和として表現され，音響モデルとanti-spoofing の両方を DNN で記述することで，この学習は back-propagation により簡潔に行われる．さらに，提案アルゴリズムは従来の GV や MS などの補償手法の拡張としてみなされ，GV や MS などの解析的特徴量だけでな
く，DNN により自動的に設計された特徴量も補償できる．
また，DNN を用いた anti-spoofing により，自然音声特徴
量の従う分布として，従来のガウス分布よりも複雑な分布を仮定できる．本稿では，提案アルゴリズムの挙動を詳細に調査する実験的評価により，（1）従来の学習規範を用いた音響モデル学習と比較して，提案アルゴリズムによる音質改善効果が得られること，また，（2）提案アルゴリズム
はハイパーパラメータの設定に対して比較的頑健に動作することを示す．

2. 従来の学習アルゴリズム

1⊤(ŷ − y) (ŷ − y)
T
)⊤ (
)
1 (
RŶ − yRŶ − y=T()−1 ⊤ −1
R = W ⊤ Σ−1 WW Σ

LG (y, ŷ) =⊤特徴量の対応関係を表す音響モデルは階層的なネット

c 2012 Information Processing Society of Japan
⃝

(2)

⊤

ここで，Ŷ = [Ŷ 1 , · · · , Ŷ t , · · · , Ŷ T ]⊤ は音響モデルにより予測された合成音声特徴量の静的・動的特徴量系列である．W は静的・動的特徴量系列を計算するための行列 [2]であり，Σ = diag [Σ1 , · · · , Σt , · · · , ΣT ] は学習データを用いて別途推定される共分散行列である．ここで，Σt はフレーム t における音声特徴量の共分散行列である．

DNN のモデルパラメータ（ネットワークの結合重み及びバイアス項）は，損失関数の Y における勾配を用いた

back-propagation により更新される．

3. 提案する学習アルゴリズム
3.1 Anti-spoofing [17]Anti-spoofing では，合成音声による声のなりすましを防ぐために，当該音声特徴量（もしくは音声波形）を用いて自然音声と合成音声を識別する．DNN に基づく anti-spoofing（例えば [18]）では，音声特徴量に対して素性関数 ϕ(·) を適用した後に，当該音声特徴量が自然音声である事後確率D(ϕ(·)) を出力する．本稿では，素性関数を ϕ(y t ) = y t と定義し，各フレームにおける音声特徴量を直接的に識別に用いる．Anti-spoofing 学習の損失関数 LD (y, ŷ) は，次式に示す cross-entropy 関数として与えられる．

LD (y, ŷ) = LD,1 (y) + LD,0 (ŷ)

(3)

1 ∑
log D (y t )
T

(4)

1 ∑
log (1 − D (ŷ t ))
T

(5)

T

LD,1 (y) = −t=1

2.1 音響モデルとしての DNN
DNN 音声合成 [16] において，テキスト特徴量と音声

⊤

(1)

T

LD,0 (ŷ) = −t=12

情報処理学会研究報告
IPSJ SIG Technical Reportor
0: generated
1:
naturalDNN-basedanti-spoofing verification

Featurefunction

図 1

提案アルゴリズムにおける損失関数の計算手順

Fig. 1 Calculation of loss function in proposed algorithm.

ここで，LD,1 (y) と LD,0 (ŷ) はそれぞれ自然音声と合成音
声に対する損失である．学習時には，back-propagation により，自然音声に対して 1 を，合成音声に対して 0 を出力するように anti-spoofing のモデルパラメータを更新する．

Proposed(ωD =1.0)

1st mel-cepstral coefficient

11th mel-cepstral coefficient

21st mel-cepstral coefficient

3.2 Anti-spoofing に敵対する音響モデル学習
Anti-spoofing に敵対する音響モデルの学習アルゴリズ
ムを提案する．提案アルゴリズムにおける損失関数の計算手順を図 1 に示す．

図 2 メルケプストラム係数の各次元の散布図．左から，自然音声，
従来の MGE 学習，そして提案アルゴリズムである．これらの値は，評価データの一文から抽出したものである．

提案アルゴリズムでは，次式の損失関数 L(y, ŷ) を最小化するように音響モデルを更新する．

L (y, ŷ) = LG (y, ŷ) + ωD

MGE

3rd mel-cepstralcoefficient

DNN-based
acoustic models &parameter generation

Natural13th mel-cepstralcoefficient

Linguisticfeats.

Naturalspeechparams.

23rd mel-cepstralcoefficient

Generated
speechparams.

ELG
LD,1 (ŷ)
ELDFig. 2 Scatter plots of mel-cepstral coeﬃcients with several
pairs of dimensions. From the left, the figures correspond to natural speech, the conventional MGE algo-(6)

ここで，ELG と ELD はそれぞれ LG (y, ŷ) と LD,1 (ŷ) の期

rithm, and the proposed algorithm, respectively. These
mel-cepstral coeﬃcients were extracted from one utterance of the evaluation data.

待値を表す．式（6）の第 2 項にこれらの比の値をかけることで，LG (y, ŷ) と LD,1 (ŷ) のスケールを調整する．また，利用できる．ただし，back-propagation による学習を行う

ωD は anti-spoofing の損失に対する重みを表す．ωD = 0

ため，解析的特徴量を利用する場合，素性関数 ϕ(·) は微分のときに，この損失関数は従来の MGE 学習と等価になり，可能である必要がある．

ωD = 1 のときに，LG (y, ŷ) と LD,1 (ŷ) は等重みをもつ．

提案アルゴリズムにおける損失関数（式（6））は，敵対

LD,1 (ŷ) は anti-spoofing に合成音声特徴量を自然音声と識的学習 [19] と，識別器を含むマルチタスク学習 [22] の組別させるための損失であり，自然音声特徴量と合成音声特

合せとみなすことができる．L(y, ŷ) = LD,1 (ŷ) と定義す

徴量の従う確率分布間の距離（厳密には Jensen-Shannon

ると，式（6）の損失関数は敵対的学習と一致する [19]．すdivergence）を最小化させる [19]．故に，提案アルゴリズ

なわち，提案アルゴリズムの学習は，所望の入出力間対応

ムにおける損失関数は，生成誤差を最小化させ，かつ，合関係を持った敵対的学習 [23] とみなすことができる．

成音声特徴量の従う確率分布を自然音声特徴量の従う確率分布と等しくさせる効果を持つ．

3.2 節で述べたように，提案アルゴリズムによる学習は，
合成音声特徴量の分布を自然音声に近づける効果を持つ．

Anti-spoofing に敵対するように音響モデルを学習した

DNN を用いた敵対的学習により，自然音声特徴量の従う

後には anti-spoofing を再学習し，以降，これらの処理を繰

確率分布として，従来の正規分布よりも複雑な分布を利用り返して最終的な音響モデルを構築する．

できる．自然音声と合成音声のメルケプストラム係数の散3.3 他手法との関連及び提案アルゴリズムの分析

音声特徴量の分布は縮小しているが，提案アルゴリズムに布図を図 2 に示す．この図より，従来の MGE 学習による提案アルゴリズムでは, 素性関数 ϕ(·) として，GV や MS

よる音声特徴量の分布は自然音声と同様に広がりをもってなどの既知の解析的特徴量のみならず, DNN により自動設いることが確認できる．さらに，より高次のメルケプスト

計された特徴量（例えば [20]）も利用可能である．また，提案ラムになるほど，提案アルゴリズムによる分布補償効果のアルゴリズムにおける音響モデルと anti-spoofing の学習は影響が大きくなることも確認できる．

back-propagation の枠組みで完結するため，任意の DNN

本稿では，敵対的学習による分布補償を音響モデル学習

アーキテクチャ（例えば long-short-term memory [21]）を時に行う．故に，生成時には通常の生成処理を利用可能で

c 2012 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

Global variance101

ならず，各次元の相関も補償することが分かる．

NaturalProposed (ωD =1.0)
MGE

100
10-1

4. 実験的評価
4.1 実験条件
実験的評価に用いるデータとして，ATR 音素バランス

10-2

503 文 [27] を利用し，A–I セット 450 文を学習に，J セット

10-3

16 kHz，フレームシフトは 5 ms とする．スペクトル特徴

10

-4

図 3

53 文を評価に用いる．学習データのサンプリング周波数は量として STRAIGHT 分析 [28] による 0 次から 24 次のメ

0

5

10
15
Feature index

ルケプストラム係数，音源特徴量として F0 ，5 周波数帯域20における平均非周期成分 [29], [30] を用いる．スペクトル

自然音声及び合成音声のメルケプストラム係数の平均 GV

Fig. 3 Averaged GVs of natural and generated mel-cepstral

特徴量に対する前処理として，50 Hz のカットオフ変調周波数による trajectory smoothing [31] を利用する．コンテ
キストラベルは，音素，モーラ位置，アクセント型，音素

coeﬃcients.

内フレーム位置などから成る 274 次元ベクトルである．本Natural24

Proposed(ωD =1.0)

MGE

稿ではスペクトル特徴量のみを予測するため，韻律に関連
1.0
0.8

18

0.6

12

0.4

6
0

0.2
0

図 4

6

12

18

24 0

6

12

18

24 0

6

12

18

24

0.0

するコンテキストラベルを用いていない．DNN 学習時には，スペクトル特徴量を平均 0，分散 1 に正規化する．また，学習データにおける無音フレームの 80%を除去する．
音声合成の音響モデルと anti-spoofing のための DNN
は，Feed-Forward 型とする．音声合成の音響モデルの隠れ層数は 3，隠れ層の素子数は 400，隠れ層及び出力層の活性

自然音声及び合成音声のメルケプストラム係数の MIC．MIC

化関数は，それぞれ Rectified Linear Unit（ReLU）[32] 及は 0.0 から 1.0 の間の値をとり，2 つの変量間に強い相関があび線形関数である．Anti-spoofing の隠れ層数は 2，隠れ層る場合に 1.0 に近づく．左から，自然音声，従来の MGE 学
習，そして提案アルゴリズムである．これらの値は，評価デー
タの一文を用いて計算されたものである．

の素子数は 200，隠れ層及び出力層の活性化関数は，それぞれ ReLU 及び sigmoid 関数である．音声合成の音響モデ

Fig. 4 MICs of natural and generated mel-cepstral coeﬃcients.

ルは各フレーム毎のスペクトル特徴量の静的・動的特徴量

The MIC ranges from 0.0 to 1.0, and the two valuables（75 次元）を出力し，anti-spoofing はその静的特徴量（25with a strong correlation have a value closer to 1.0.

次元）のみを入力とし，自然音声と合成音声を識別する．

From the left, the figures correspond to natural speech,

最適化アルゴリズムとして，学習率 0.01 の AdaGrad [33]the conventional MGE algorithm, and the proposed al-を用いる．F0 ，非周期成分，継続長は，自然音声の特徴量

gorithm, respectively. These MICs were calculated fromone utterance of the evaluation data.

を使用する．
まず，ωD = 0.0 として，反復回数 25 回の MGE 学習にあり，ポストフィルタによる分布補償 [11], [13], [24] を必より音響モデルを初期化する．次に，ωD を 0.0 以上に設定要としない．

し，anti-spoofing 学習及び提案アルゴリズムによる音響モ

ここで，生成された音声特徴量の性質（例えば解析的特

デル学習を交互に実施する．この際の反復回数は 25 回と徴量や直感的理由 [25]）が提案アルゴリズムによりどう変する．ただし，anti-spoofing は，自然音声特徴量と MGE化するかを分析する．自然音声特徴量と合成音声特徴量の

学習後の合成音声特徴量をある程度識別するように初期化

平均 GV を図 3 に示す．この図より，従来の MGE 学習

する．この初期化の反復回数は 5 回とする．提案アルゴリと比較して，提案アルゴリズムの音声特徴量の GV は，自ズムにおける期待値 ELG 及び ELD は，反復毎に，その時然音声の GV に近づいていることが確認できる．次に，メ点における anti-spoofing と音響モデルを用いて計算する．

ルケプストラム係数の各次元の相関を定量化するために，

従来の学習アルゴリズムと提案アルゴリズムを比較する

Maximal Information Coeﬃcient（MIC） [26] を計算した

ため，まず，客観評価として，合成音声特徴量の生成誤差（図 4）．この図より，[7] で報告されているように，自然音（式 (1)）と，anti-spoofing における詐称率を計算する．詐声の特徴量は弱い相関を持つが，MGE 学習による合成音

称率は合成音声特徴量を自然音声と誤識別した割合を表

声の特徴量は強い相関を持つことが確認できる．一方，提す．ただし，詐称率を評価する anti-spoofing は，MGE 学

案アルゴリズムによる合成音声の特徴量は比較的弱い相関

習後の合成音声特徴量を用いて別途構築する．これらの客を持つ．これらの結果から，提案アルゴリズムは GV のみ

観評価指標は，提案アルゴリズムにおける重み ωD を 0.0

c 2012 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

Preference score

0.75

Proposed

Generation loss

0.70

(ωD =1.0)

Proposed

0.65(ωD =0.3)

0.60

MGE

0.55

0.0

0.50

図 6

0.45
1.0
Spoofing rate

0.4

0.6

0.8

1.0

主観評価結果（エラーバーは 95%信頼区間）

Fig. 6 Preference scores of speech quality with 95% confidence
intervals.

0.8

posed）は従来の MGE 学習（MGE）と比較して高いスコ1.000

アを獲得しているため，提案アルゴリズムによる音質改善

0.6

0.995

0.4

0.990

すると，Proposed（ωD = 0.3）と Proposed（ωD = 1.0）の0.985

間には有意な差が見られない．図 5 において，ωD が 0.3

0.2
0.00.0
図 5

0.2

0.980

0.2

効果が確認できる．さらに，提案アルゴリズム同士を比較から 1.0 をとる場合，客観評価値はほぼ変化しないことか

0.3 0.4 0.5 0.6 0.7 0.8 0.9 1.0

0.4

ωD

0.6

0.8

ら，合成音声の音質もこの範囲でほぼ変化しないと予想さ1.0

ωD の変化に伴う生成誤差（上図）と詐称率（下図）の変化

Fig. 5 Parameter generation loss (above) and spoofing rate
(below) for various ωD .

れる．これらの結果より，提案アルゴリズムはハイパーパ
ラメータの設定に対して比較的頑健に動作することが示された．

5. おわりに
本稿では，高音質な音声を生成する統計的パラメトリッ

から 1.0 の範囲で変化させて計算する．次に，提案アルゴ
リズムによる音質改善効果を確認するための主観評価を実施する．

4.2 客観評価結果
客観評価結果を図 5 に示す．この図より，ωD が 0.0 から増加するにつれて，生成誤差も単調に増加することが確認できる．しかし，ωD が 0.4 を超えると，そのような傾向は見られない．一方で，ωD が 0.0 から 0.2 に増加するとき，詐称率は大幅に増加する．また，ωD が 0.2 を超えると，詐称率はほぼ変化しないことも確認できる．これらの結果よク音声合成の手法として，anti-spoofing に敵対する学習ア
ルゴリズムを提案し，実験的評価によりその有効性を示した．今後は，時間 [34] 及び言語依存 [23] の anti-spoofingについて検討する．
謝辞 本研究は，総合科学技術・イノベーション会議による革新的研究開発推進プログラム（ImPACT），セコム
科学技術振興財団，及び JSPS 科研費 16H06681 の支援を
受けた．
参考文献
[1]

り，提案アルゴリズムを用いることで，生成誤差は悪化す
るが，anti-spoofing に敵対する特徴量を生成できることが

[2]

示された．

4.3 主観評価結果[3]

合成音声の音質を比較するために，8 名の評価者によるプリファレンス AB テストを実施する．本稿では以下の手法を比較する．

MGE: 従来の MGE 学習 [5][4]Proposed（ωD = 0.3）: 詐称率が 0.99 以上
Proposed（ωD = 1.0）: ωD の標準設定
主観評価結果を図 6 に示す．提案アルゴリズム（Pro-c 2012 Information Processing Society of Japan⃝[5]

H. Zen, K. Tokuda, and A. Black, “Statistical parametric speech synthesis,” Speech Communication, vol. 51,
no. 11, pp. 1039–1064, 2009.
K. Tokuda, Y Nankaku, T. Toda, H. Zen, J. Yamagishi,
and K. Oura, “Speech synthesis based on hidden Markov
models,” Proceedings of the IEEE, vol. 101, no. 5, pp.
1234–1252, 2013.
Z. H. Ling, S. Y. Kang, H. Zen, A. Senior, M. Schuster, X. J. Qian, H. Meng, and L. Deng, “Deep learning
for acoustic modeling in parametric speech generation:
A systematic review of existing techniques and future
trends,” IEEE Signal Processing Magazine, vol. 32, no.
3, pp. 35–52, 2015.
Y. J. Wu and R. H. Wang, “Minimum generation error training for HMM-based speech synthesis,” in Proc.
ICASSP, Toulouse, France, May 2006, pp. 89–92.
Z. Wu and S. King, “Improving trajectory modeling for
DNN-based speech synthesis by using stacked bottleneck

5情報処理学会研究報告
IPSJ SIG Technical Report

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

features and minimum trajectory error training,” IEEE
Transactions on Audio, Speech, and Language Processing, vol. 24, no. 7, pp. 1255–1265, 2016.
T. Toda, L. H. Chen, D. Saito, F. Villavicencio,
M. Wester, Z. Wu, and J. Yamagishi, “The Voice Conversion Challenge 2016,” in Proc. INTERSPEECH, California, U.S.A., Sep. 2016, pp. 1632–1636.
Y. Ijima, T. Asami, and H. Mizuno, “Objective evaluation using association between dimensions within spectral features for statistical parametric speech synthesis,”in Proc. INTERSPEECH, California, U.S.A., Sep. 2016,
pp. 337–341.
T. Toda, A. W. Black, and K. Tokuda, “Voice conversion based on maximum likelihood estimation of spectral parameter trajectory,” IEEE Transactions on Audio, Speech, and Language Processing, vol. 15, no. 8, pp.
2222–2235, 2007.
Y. Ohtani, M. Tamura, M. Morita, T. Kagoshima, and
M. Akamine, “Histogram-based spectral equalization for
HMM-based speech synthesis using mel-LSP,” in Proc.
INTERSPEECH, Portland, U.S.A., Sep. 2012.
S. Takamichi, T. Toda, A. W. Black, G. Neubig, S. Sakti,and S. Nakamura, “Postfilters to modify the modulation spectrum for statistical parametric speech synthesis,” IEEE Transactions on Audio, Speech, and Language Processing, vol. 24, no. 4, pp. 755–767, 2016.
S. Takamichi, T. Toda, A. W. Black, and S. Nakamura,“Modulation spectrum-constrained trajectory training
algorithm for GMM-based voice conversion,” in Proc.
ICASSP, Brisbane, Australia, Apr. 2015, pp. 4859–4863.
K. Hashimoto, K. Oura, Y. Nankaku, and K.Tokuda,“Trajectory training considering global variance forspeech synthesis based on neural networks,” in Proc.
ICASSP, Shanghai, China, Mar. 2016, pp. 5600–5604.
T. Nose and A. Ito, “Analysis of spectral enhancement
using global variance in HMM-based speech synthesis,”in Proc. INTERSPEECH, MAX Atria, Singapore, May
2014, pp. 2917–2921.
齋藤佑樹, 高道慎之介, and 猿渡洋, “DNN 音声合成のための Anti-spoofing を考慮した学習アルゴリズム,” 日本音響学会 2016 年秋季研究発表会講演論文集, pp. 149–150,
Sep. 2016.
Y. Saito, S. Takamichi, and H. Saruwatari, “Training
algorithm to deceive anti-spoofing verification for DNNbased speech synthesis,” in Proc. ICASSP, New Orleans,
U.S.A., Mar. 2017.
H. Zen, A. Senior, and M. Schuster, “Statistical parametric speech synthesis using deep neural networks,”
in Proc. ICASSP, Vancouver, Canada, May 2013, pp.
7962–7966.
Z. Wu, P. L. D. Leon, C. Demiroglu, A. Khodabakhsh,
S. King, Z. Ling, D. Saito, B. Stewart, T. Toda,
M. Wester, and J. Yamagishi, “Anti-spoofing for textindependent speaker verification: An initial database,comparison of countermeasures, and human performance,” IEEE Transactions on Audio, Speech, andLanguage Processing, vol. 24, no. 4, pp. 768–783, 2016.
N. Chen, Y. Qian, H. Dinkel, B. Chen, and K. Yu, “Robust deep feature for spoofing detection ― the SJTU
system for ASVspoof 2015 Challenge,” in Proc. INTERSPEECH, Dresden, Germany, Sep. 2015, pp. 2097–2101.
I. Goodfellow, J. Pouget-Abadie, M. Mirza, B. Xu,
D. Warde-Farley, S. Ozair, A. Courville, and Y. Bengio, “Generative adversarial nets,” in Proc. NIPS, 2014,
pp. 2672–2680.

c 2012 Information Processing Society of Japan
⃝

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]
[28]

[29]

[30]

[31]

[32]

[33]

[34]

G. E. Hinton and R. R. Salakhutdinov, “Reducing thedimensionality of data with neural networks,” Science,
vol. 313, no. 5786, pp. 504–507, 2006.
H. Zen and H. Sak, “Unidirectional long short-term
memory recurrent neural network with recurrent output layer for low-latency speech synthesis,” in Proc.
ICASSP, Brisbane, Australia, Apr. 2015, pp. 4470–4474.
B. Huang, D. Ke, H. Zheng, B. Xu, Y. Xu, and K. Su,“Multi-task learning deep neural networks for speechfeature denoising,” in Proc. INTERSPEECH, Dresden,
Germany, Sep. 2015, pp. 2464–2468.
S. Reed, Z. Akata, X. Yan, L. Logeswaran, B. Schiele,
and H. Lee, “Generative adversarial text-to-image synthesis,” in Proc. ICML, 2016, pp. 1060–1069.
金子卓弘, 亀岡弘和, 北条伸克, 井島勇祐, 平松薫, and 柏野邦夫, “統計的パラメトリック音声合成のための敵対的学習に基づくポストフィルタリング,” 電子情報通信学会
技術研究報告, vol. SP2016-12, pp. 89–94, Dec. 2016.
T. R. Marco, S. Sameer, and G. Carlos, ““Why should
I trust you?”: Explaining the predictions of any classifier,” in Proc. KDD, San Francisco, U.S.A., Aug. 2016,
pp. 1135–1164.
D. N. Reshef, Y. A. Reshef, H. K. Finucane, S. R.
Grossman, G. McVean, P. J. Turnbaugh, E. S. Lander,
M. Mitzenmacher, and P. C. Sabeti, “Detecting novelassociations in large data sets,” vol. 334, no. 6062, pp.
1518–1524, 2011.
M. Abe, Y. Sagisaka, T. Umeda, and H. Kuwabara,“ATR technical repoart,” , no. TR-I-0166M, 1990.
H. Kawahara, I. Masuda-Katsuse, and A. D.
Cheveigne, “Restructuring speech representations
using a pitch-adaptive time-frequency smoothing and
an instantaneous-frequency-based F0 extraction: Possible role of a repetitive structure in sounds,” SpeechCommunication, vol. 27, no. 3–4, pp. 187–207, 1999.
H. Kawahara, Jo Estill, and O. Fujimura, “Aperiodicity
extraction and control using mixed mode excitation andgroup delay manipulation for a high quality speech analysis, modification and synthesis system STRAIGHT,” in
MAVEBA 2001, Firentze, Italy, Sep. 2001, pp. 1–6.
Y. Ohtani, T. Toda, H. Saruwatari, and K. Shikano,“Maximum likelihood voice conversion based on GMM
with STRAIGHT mixed excitation,” in Proc. INTERSPEECH, Pittsburgh, U.S.A., Sep. 2006, pp. 2266–2269.
S. Takamichi, K. Kobayashi, K. Tanaka, T. Toda, and
S. Nakamura, “The NAIST text-to-speech system for the
Blizzard Challenge 2015,” in Proc. Blizzard Challenge
workshop, Berlin, Germany, Sep. 2015.
X. Glorot, A. Bordes, and Y. Bengio, “Deep sparse rectifier neural networks,” in Proc. AISTATS, Lauderdale,
U.S.A., Apr. 2011, pp. 315–323.
J. Duchi, E. Hazan, and Y. Singer, “Adaptive subgradient methods for online learning and stochastic optimization,” Journal of Machine Learning Research, vol. 12,
pp. 2121–2159, 2011.
S. Hochreiter and J. Schmidhuber, “Long short-term
memory,” Neural Computation, vol. 9, no. 8, pp. 1735–
1780, 1997.

6