敵対的 DNN 音声合成における F0・継続長の生成 ∗◎齋藤 佑樹，高道 慎之介，猿渡 洋（東大院・情報理工）

1

はじめにLD (y, ŷ) = LD,1 (y) + LD,0 (ŷ)(1)

ここで，LD,1 (y) 及び LD,0 (ŷ) は自然音声，合成音声に対する損失であり，それぞれ次式で計算される．

1∑
LD,1 (y) = −log D (y t )
T t=1
T

1∑
log (1 − D (ŷ t ))T t=1(2)T

LD,0 (ŷ) = −(3)2.2 音響モデル学習の損失関数
次式の損失関数 L (y, ŷ) を最小化するように音響モデルを更新する．
ELL (y, ŷ) = LG (y, ŷ) + ωD G LD,1 (ŷ)(4)
ELD
ここで，LG (y, ŷ) はパラメータの生成誤差であり，yと最尤パラメータ生成 [4] 後の ŷ の二乗誤差 [5] として与えられる．LD,1 (ŷ) は合成音声を自然音声と識別させるための損失であり，重み ωD により重み付けされる．また，ELG と ELD はそれぞれ LG (y, ŷ) とLD,1 (ŷ) の期待値であり，LG (y, ŷ) と LD,1 (ŷ) のスケールを調整する役割を持つ．音響モデルは，ωD を0 として初期化される．式 (4) の第二項は，y と ŷ の分布の差異を最小化するための損失 [6] であり，合成音声特徴量の分布を自然音声に近づけるための正則化項とみなされる．

∗silarayu

silarayu

DNN-based
durationmodelsilsil

Fig. 13...

敵対的 DNN 音声合成 [1] では，以降に示す損失関数を最小化するように，音声合成の DNN 音響モデルと anti-spoofing の DNN 識別モデルを交互に学習する．以降では，自然音声の特徴量系列を⊤ ⊤⊤y = [y ⊤1 , · · · , y t , · · · , y T ] ，合成音声の特徴量系列⊤⊤⊤を ŷ = [ŷ 1 , · · · , ŷ t , · · · , ŷ ⊤T ] とする．ただし，t はフレームインデックス，T はフレーム数である．
2.1 Anti-spoofing 学習の損失関数
Anti-spoofing [3] では，自然音声と合成音声を識別する識別モデルを学習する．本稿では，各フレームにおける音声特徴量を識別に利用し，次式の損失関数
LD (y, ŷ) を最小化するように識別モデルを学習する．

silarayu...

敵対的 DNN 音声合成

Moraduration...

2Phonemeduration...

統計的パラメトリック音声合成により生成される合成音声の音質は，声のなりすましを防ぐ anti-spoofingに敵対することで改善される．これまでに我々は，anti-spoofing を詐称するように音響モデルを学習す
る Deep Neural Network（DNN）音声合成のための学習アルゴリズム（敵対的 DNN 音声合成） [1, 2] を提案し，テキスト音声合成のためのスペクトル特徴量の生成においてその音質改善効果を確認している．
本稿では，敵対的 DNN 音声合成の枠組みを F0 及
び継続長の生成に拡張し，合成音声のさらなる音質改善を目指す．実験的評価では，提案アルゴリズムによる合成音声の音質改善効果が得られることを示す．

Linguisticfeatures

Languagedependent
poolingsil

等時性を考慮した継続長生成

敵対的 DNN 音声合成における F0 と継続長の生成

スペクトル特徴量生成において有効である 2 節の手法 [1] を，F0 と継続長の生成に拡張する．
3.1 F0 の生成
連続 F0 系列生成のための学習を，2 節と同様の枠組みで行う．ただし本稿では，スペクトルと連続 F0の結合ベクトルを生成・識別するモデルを構築する．
異なる実装として有声フレームのみの連続 F0 を識別に用いる手法も考えられるが，学習の簡単化のため，全フレームの連続 F0 を用いる．
3.2 継続長の生成
音素継続長の生成に対して，2 節の枠組みを直接的に適用することが可能である（ただし，動的特徴量は考慮しない）．しかしながら，この枠組みで生成した継続長が自然な等時性を持つ保証はない．そこで本稿ではさらに，言語依存の等時性を考慮した学習法を検討する．
等時性を考慮した継続長生成の枠組みを Fig. 1 に示す．モーラ等時性を持つ日本語の音声合成の場合，DNN 継続長モデルにより生成された音素継続長からモーラ継続長を計算し，anti-spoofing の識別モデルで識別する．つまり，最終的な音素継続長は，自然な継続長分布を持つモーラ継続長から再分配されることで決定される．
本稿では，生成された音素継続長と，自然音声の音素継続長の二乗誤差を最小化する学習により，継続長モデルを初期化する．
3.3 考察3.1 節の手法では，スペクトルと F0 の同時分布を補償する．故に，スペクトルと F0 の分布を独立に補償する場合と比較して，各特徴量の相関性 [7] を考慮した学習が期待される．また，スペクトルと F0 の特徴量次元数を考慮した学習 [8] も可能である．
3.2 節の等時性を考慮した手法は，階層モデル構
造 [9] を用いた生成ではなく多重解像度に基づく敵対的学習 [10] に類似し，高い時間解像度における生成誤差最小化と低い時間解像度における敵対的学習の組み合わせに相当する．また，un-pooling を用いることで音素継続長をフレームレベルに展開し，スペクトル・F0 ・継続長の同時分布の補償も可能である．

F0 Contour and Duration Generation for Adversarial DNN-Based Speech Synthesis, by SAITO, Yuki,TAKAMICHI, Shinnosuke, and SARUWATARI, Hiroshi (The University of Tokyo).

4

実験的評価

ADV(sp+F0)
ADV(sp)
MGE0.0(a) F04.1 実験条件
実験に用いるデータとして，ATR 音素バランス 503
文 [11] を利用し，A–I セット 450 文を学習に，J セット 53 文を評価に用いる．学習データのサンプリング
0.20.40.60.81.0
周波数は 16 kHz，フレームシフトは 5 ms とする．ス(b) Duration
ADV
ペクトル特徴量として STRAIGHT 分析 [12] による(phoneme)
0 次から 24 次のメルケプストラム係数，音源特徴量
ADVとして F0 ，5 周波数帯域における平均非周期成分 [13](mora)を用いる．コンテキストラベルは，音素，モーラ位
MGE
置，アクセント型，音素内フレーム位置などから成0.00.20.40.60.81.0る 442 次元ベクトルである．DNN 学習時には，音声Preference score
特徴量，継続長，及び実数値をとるコンテキストラ
Fig. 2 主観評価結果 (エラーバーは 95%信頼区間)
ベル特徴量を平均 0，分散 1 に正規化する．音声合成の音響モデル，継続長予測モデル，anti-spoofing のsp+F0
ための DNN は Feed-Forward 型とする．音声合成のphoneme
音響モデルの隠れ層数は 3，隠れ層の素子数は 512，
mora
隠れ層及び出力層の活性化関数はそれぞれ Rectified
Linear Unit（ReLU）及び線形関数である．継続長0.00.2
0.4
0.60.81.0
モデルの隠れ層数は 3，隠れ層の素子数は 256 であAccuracy
り，活性化関数は音声合成の音響モデルと同じであFig. 3 Anti-spoofing の accuracy．縦軸のラベルはる．Anti-spoofing の隠れ層数は 3，隠れ層の素子数
それぞれ，スペクトルと F0 （sp+F0），音素継続長は 256，隠れ層及び出力層の活性化関数はそれぞれ（phoneme），及びモーラ継続長（mora）を識別に用
ReLU 及び sigmoid 関数である．最適化手法として学いたことを表す．
習率 0.01 の AdaGrad [14] を用いる．
が小さく，主観的に有意な差が得られなかったと思わ
まず，ωD = 0.0 として，反復回数 25 回の MGE 学
れる．
習により音響モデルと継続長モデルを初期化する．本稿では以下の手法を評価する．
5 おわりにMGE: 従来の Minimum Generation Error 学習 [5]本稿では，敵対的 DNN 音声合成の枠組みを F0 及
ADV (sp): 敵対的 DNN 音声合成（スペクトル） [1]
び継続長の生成に拡張し，F0 生成に関して実験的評
ADV (sp+F0): 同上（スペクトル+F0 ）価によりその有効性を示した．今後は，他言語におけADV (phoneme): 同上（音素継続長）る提案アルゴリズムの性能について調査する．
謝辞 本研究は，総合科学技術・イノベーション会議に
ADV (mora): 同上（モーラ継続長）
よる革新的研究開発推進プログラム（ImPACT），セADV（sp）と ADV（sp+F0）においては，音響モデル
コム科学技術振興財団，及び JSPS 科研費 16H06681
を用いてスペクトル，連続対数 F0 ，非周期性指標，有声/無声ラベルを生成した後，スペクトル特徴量のみ， の支援を受けた．
またはスペクトル特徴量と F0 を anti-spoofing に与え参考文献て学習を行う．それ以外の音声特徴量と継続長に対する損失関数は MGE と同様である．ADV（phoneme）[1] 齋藤 他, 音講論（秋）, 3-5-1, 2016.と ADV（mora）においては，MGE の音響モデルを[2] Saito et al., Proc. ICASSP, 2017. (to appear)用いて音声特徴量を生成する．
[3] Wu et al., IEEE/ACM Trans. on ASLP, Vol.
主観評価として，被験者数 8 名による音質に関する
24, No. 4, pp. 768–783, 2016.
プリファレンス AB テストを実施する．F0 生成におけ[4] Tokuda et al., Proc. ICASSP, pp. 1315–1318,
る評価では，MGE，ADV（sp），及び ADV（sp+F0）2000.
を用いる．継続長生成における評価では，MGE，ADV[5] Wu et al., IEEE/ACM Trans. on ASLP, Vol.
（phoneme），及び ADV（mora）を用いる．
24, No. 7, pp. 1255–1265, 2016.
4.2 評価結果[6] Goodfellow et al., Proc. NIPS, pp. 2672–2680,
2014.
主観評価結果を Fig. 2 に示す．F0 生成における評[7]Tanakaet al., IEICE Trans. on Inf. and Syst.,
価結果（Fig. 2（a））より，提案アルゴリズムは MGE
Vol.
E97-D,No. 6, pp. 1429–1437, 2014.
学習よりも高いスコアを獲得していることが確認でき[8] Kang et al., Proc. INTERSPEECH, pp. 1959–る．また，提案アルゴリズム同士を比較すると，ADV
1963, 2014.
（sp+F0）は ADV（sp）よりも高いスコアを獲得して[9]
Yinet al., Speech Commun., Vol. 76, pp. 61–81,いるため，スペクトル特徴量生成だけでなく F0 生成
2016.にも提案アルゴリズムを適用することで，さらなる音質改善効果が得られることを確認できる．一方で， [10] Zhang et al., arXiv:1612.03242, 2016.
[11] 阿部 他, ATR テクニカルレポート, TR-I-0166,
継続長生成における評価結果（Fig. 2（b））におい
1990.ては，有意な差は見られない．これを分析するため[12] Kawahara et al., Speech Commun., Vol. 27, No.に，MGE 学習後の音声特徴量を用いて anti-spoofing
3–4, pp. 187–207, 1999.
を構築し，学習データに対する accuracy を計算した[13]Ohtani
et al., Proc. INTERSPEECH, pp. 2266–（Fig. 3）．この図より，スペクトル及び F0 と比較し2269, 2006.て，継続長を用いた場合の accuracy が低いことがわ[14] Duchi et al., The Journal of Machine Learning
かる．故に，提案アルゴリズムによる分布補償の影響
Research, Vol. 12, pp. 2121–2159, 2011.