1-P-23
深層学習に基づく音声合成における2次統計量を用いたスペクトル特徴量のモデリングの検討*◎松永悟行，大谷大和（（株）エーアイ），平原達也（富山県立大）

1

はじめに

近 年 の 音 声 合 成 分 野 に お い て は ， Deep
Neural Network（DNN）を利用した音声波形のモデル化 [1]や end-to-end の合成音声[2]などの研究が盛んにおこなわれている。
一方で，音声合成システムとして DNN の計算量，パラメータの操作性，メンテナンス性を考慮すると，テキスト解析部，音声特徴量生成部，音声波形生成部という機能ごとに分離した構成を採用することも少なくない。この構成の場合，DNN はテキスト解析部で生成された言語特徴量を入力して音声特徴量を予測する部分に用いる。また，DNN の計算量の削減のた
め に ， 構 造 が 単 純 な Feed-Forward NeuralNetwork（FFNN）を採用する。しかし，FFNNを用いる場合は，時系列である音声特徴量の隣接するフレームとの関係を無視して学習が行われる問題を解決する必要がある。
そこで本報告では，合成音声の品質のうち音質に関わるスペクトル特徴量を対象として，FFNN でも隣接するフレームの関係を学習できるようにするために，生成されたスペクトル特徴量から 2 次統計量を計算してその誤差を最小化する学習方法を提案する[3]。

22 次統計量を考慮した損失関数
𝒙 = [𝒙1⊤ , ⋯ , 𝒙⊤𝑡 , ⋯ , 𝒙⊤𝑇 ]⊤ は言語特徴量系列，𝒚=[𝒚1⊤ , ⋯ , 𝒚⊤𝑡 , ⋯ , 𝒚⊤𝑇 ]⊤ は自然音声特徴量系列，𝒚̂=[𝒚̂1⊤ , ⋯ , 𝒚̂⊤𝑡 , ⋯ , 𝒚̂⊤𝑇 ]⊤ は生成された音声特徴量系列とする。ここで，𝑡と𝑇はそれぞれフレームのインデックスと総数であり，⊤は転置記号で あ る 。 𝒙𝑡 = [𝑥𝑡(1) , ⋯ , 𝑥𝑡(𝑖) , ⋯ , 𝑥𝑡(𝐼) ] と 𝒚𝑡 =(1)(𝑑)(𝐷)[𝑦𝑡 , ⋯ , 𝑦𝑡 , ⋯ , 𝑦𝑡 ]はそれぞれフレーム t における言語特徴量ベクトルと音声特徴量ベクトルである。ここで，𝑖と𝐼および𝑑と𝐷はそれぞれ言語特徴量ベクトルおよび音声特徴量ベクトルの次元のインデックスと総数である。
提案する損失関数では，隣接するフレームとの関係性を考慮するため，𝒙と𝒚を短期の閉
区 間 [𝑡 + 𝐿, 𝑡 + 𝑅] で 区 切 っ た 系 列 𝐗 と 𝒀 =[𝒀1 , ⋯ , 𝒀𝑡 , ⋯ , 𝒀 𝑇 ] を 利用 する 。こ こで ， 𝒀𝑡 =[𝒚⊤𝑡+𝐿 , ⋯ , 𝒚⊤𝑡+𝜏 , ⋯ , 𝒚⊤𝑡+𝑅 ]⊤ はフレーム𝑡についての短期の系列であり， 𝐿 ≤ 0は後方参照するフレーム数，𝑅 ≥ 0は前方参照するフレーム数であり，𝜏 (𝐿 ≤ 𝜏 ≤ 𝑅)は短期内の参照フレームインデックスである。FFNN では 𝒙𝑡+𝜏 に対す̂𝑡+𝜏 は隣接フレームとは関係なく独立してる𝒚予測される。そこで，𝒀𝑡 に対して隣接するフレーム同士を関連付けるために局所内の分散（LV）[4]や局所内の分散共分散行列（LC）の損失関数を導入する。これらの損失関数の効果は 𝒀𝑡 と 𝒀𝑡+𝜏 がオーバーラップの関係となっているため，学習段階ですべてのフレームに波及する。また，提案する損失関数は明示的に定義した短期の関係が暗黙的に長期の関係に波及する設計となっているが，系列内の分散（GV）[5]や系列内の分散共分散行列（GC）の損失関数を導入することで長期の関係を明示的に定義することも可能である。さ
らに，多次元の音声特徴量については次元領域（DD）の損失関数を導入することで次元間の関係を考慮することが可能となる。提案す̂ )はこれらの損失関数とベーる損失関数ℒ(𝒀, 𝒀
̂の平均二乗誤差スラインとして一般的な𝒚と𝒚（BL）の損失関数の出力の重み付き和により定義される。
̂ ) = ∑ 𝜔𝑖 ℒ𝑖 (𝒀, 𝒀̂)ℒ(𝒀, 𝒀(1)𝑖

ここで，𝑖 = {BL, LV, LC, GV, GC, DD}は損失関数の識別子を表し，𝜔𝑖 は識別子𝑖 の損失に対する重みである。
2.1 局所内の分散𝒀LV = [𝒗1⊤ , ⋯ , 𝒗⊤𝑡 , ⋯ , 𝒗⊤𝑇 ]⊤ は閉区間[𝑡 + 𝐿, 𝑡 + 𝑅]
における分散ベクトルの系列であり，局所内̂ ) は 𝒀LV と𝒀
̂ LV の平均の分散の損失関数ℒLV (𝒀, 𝒀
絶対誤差で定義される。
𝑇̂) =ℒLV (𝒀, 𝒀𝐷1
̂ LV |∑ ∑|𝒀LV − 𝒀𝑇𝐷(2)

𝑡=1 𝑑=1

ここで，𝒗𝑡 = [𝑣𝑡(1) , ⋯ , 𝑣𝑡(𝑑) , ⋯ , 𝑣𝑡(𝐷) ]はフレーム𝑡における𝐷次元の分散ベクトルであり，次元𝑑の分散𝑣𝑡(𝑑) は以下により与えられる。
𝑅(𝑑)
𝑣𝑡 =

1(𝑑)(𝑑) 2∑(𝑦𝑡+𝜏 − 𝑦̅𝑡 )−𝐿 + 𝑅 + 1(3)𝜏=𝐿

日本音響学会講演論文集- 1017 -2019年9月

ここで，𝑦̅𝑡(𝑑) は閉区間[𝑡 + 𝐿, 𝑡 + 𝑅] における次元𝑑の平均である。

定義される。
𝐷̂) =ℒGC (𝒀, 𝒀

𝑅(𝑑)
𝑦̅𝑡 =

1(𝑑)
∑ 𝑦𝑡+𝜏
−𝐿 + 𝑅 + 1

ここで，𝒀GC は次式で与えられる。

この損失関数は文献[4]のように音素などの短区間における系列の変動を補償することを目的に設計した。
2.2 局所内の分散共分散行列
𝒀LC = [𝒄1 , ⋯ , 𝒄𝑡 , ⋯ , 𝒄 𝑇 ]は閉区間[𝑡 + 𝐿, 𝑡 + 𝑅]における分散共分散行列の系列であり，局所内̂ ) は 𝒀LCの分散共分散行列の損失関数 ℒLC (𝒀, 𝒀̂ LC の平均絶対誤差で定義される。と𝒀𝑇

𝐷𝐷1
̂ LC |∑ ∑ ∑|𝒀LC − 𝒀
𝑇𝐷2(5)

𝑡=1 𝑑=1 𝑑=1

ここで，𝒄𝑡 は𝐷 × 𝐷の分散共分散行列である。
𝒄𝑡 =1
̅ 𝑡 )⊤ (𝒀𝑡 − 𝒀̅𝑡 )(𝒀 − 𝒀−𝐿 + 𝑅 + 1 𝑡

𝒀GC =𝑇(6)における平均ベクトルである。
この損失関数は文献[6, 7]のような出力系列の分布を補償する動作を音素などの短区間で模擬することを目的として設計した。
2.3 系列内の分散
𝒀GV = [𝑉 (1) , ⋯ , 𝑉 (𝑑) , ⋯ , 𝑉 (𝐷) ] は 𝒚 = 𝒀|𝜏=0 に ついての分散ベクトルであり，系列内の分散の̂ ) は𝒀GV と𝒀
̂ GV の平均絶対誤差
損失関数ℒGV (𝒀, 𝒀で定義される。
1
̂ GV ||𝒀 − 𝒀
𝐷 GV(7)

ここで，𝑉 (𝑑) は次元𝑑の分散であり以下で与えられる。
𝑇𝑉(𝑑)

2
1(𝑑)
= ∑(𝑦𝑡 − 𝑦̅ (𝑑) )
𝑇(8)

𝑡=1

ここで，𝑦̅られる。

(𝑑)は次元𝑑の平均であり以下で与え𝑇𝑦
̅

(𝑑 )

1
= ∑ 𝑦𝑡(𝑑)
𝑇(9)

𝑡=1

この損失関数は文献[5]のように系列全体の変動を補償することを目的に設計した。
2.4 系列内の分散共分散行列
𝒀GC は 𝒚 = 𝒀|𝜏=0 についての 𝐷 × 𝐷 の分散共分散行列であり，系列内の分散共分散行列の損̂ )は𝒀GC と𝒀
̂ GC の平均絶対誤差で失関数ℒGC (𝒀, 𝒀

日本音響学会講演論文集

1(𝒚 − 𝒚̅)⊤ (𝒚 − 𝒚̅)𝑇(11)̅ = [𝑦̅ (1) , ⋯ , 𝑦̅ (𝑑) , ⋯ , 𝑦̅ (𝐷) ]は𝐷次元の平ここで，𝒚均ベクトルである。
この損失関数は文献[6, 7]のような出力系列の分布を補償する動作を模擬することを目的に設計した。
2.5 次元領域制約
𝒀DD = 𝒚𝓦 は次元間の関係を表す特徴量の系列であり，次元領域制約の損失関数
̂ )は𝒀DD と𝒀
̂ DD の平均二乗誤差で定義さℒDD (𝒀, 𝒀れる。
𝑁1̂) =
̂ DD )2ℒDD (𝒀, 𝒀∑ ∑(𝒀DD − 𝒀𝑇𝑁

̅ 𝑡 = [𝑦̅𝑡(1) , ⋯ , 𝑦̅𝑡(𝑑) , ⋯ , 𝑦̅𝑡(𝐷) ] は閉区間 [𝑡 + 𝐿, 𝑡 + 𝑅]𝒀̂) =ℒGV (𝒀, 𝒀(10)𝑑=1 𝑑=1(4)𝜏=𝐿̂) =ℒLC (𝒀, 𝒀𝐷1
̂ GC |∑ ∑|𝒀GC − 𝒀
𝐷2(12)

𝑡=1 𝑛=1

ここで，𝓦 = [𝓦1⊤ , ⋯ , 𝓦⊤𝑛 , ⋯ , 𝓦⊤𝑁 ]は次元間を関連 付 け る た め の 係 数 行 列 で あ り ， 𝓦𝑛 =[𝓌 (1) , ⋯ , 𝓌 (𝑑) , ⋯ , 𝓌 (𝐷) ] は𝑛番目の係数ベクトルであり，𝑛と𝑁はそれぞれ係数ベクトルのインデックスと総数である。本報告では，スペクトル特徴量としてメルケプストラムを用いるため，メルケプストラムからケプストラムへ周波数変換するときの式を行列に展開したものを𝓦とする[8]。

3実験条件

本報告では，東京方言のプロの女性話者一名の ATR503 文の文章を含む音声コーパスを使用した。コーパスは熟練したラベラーにより手動でラベリングした。
音声は平静音声で，学習用には 2000 発話，評価用には学習用とは別に 100 発話を用意した。
言語特徴量は HTS に準拠した 527 次元のベクトル系列であり，外れ値が発生しないように発話内の正規化手法により正規化した[9]。
スペクトル特徴量は 60 次元のメルケプスト
ラム系列（𝛼 = 0.55）である。メルケプスト
ラムは 16 bit，48 kHz でサンプリングした収録音声から WORLD [10]により 5 ms のフレーム周期で抽出したスペクトルから求めた。また，無音区間は学習から除外し，学習セット全体から平均と分散を求めて標準化した。

- 1018 -2019年9月

DNN は，ノード数を 512，ReLU [11]を活性化関数とする 4 層の隠れ層と，線形活性化関数の出力層で構成される FFNN とした。最適化手法は Adam（学習率: 0.001，β1: 0.9，β2:0.999，微小量: 1e-7，学習率減衰: 0.0）[12]とした。学習のエポックは 20，バッチサイズは1 発話単位として，ランダムに学習データを選択する手法を用いた。平均二乗誤差を従来の損失関数とし，提案法である 2 次統計量を考慮した損失関数と比較した。提案した損失関数の各パラメータは予備実験の結果より
𝐿 = −2, 𝑅 = 2, 𝜔BL = 1, 𝜔GV = 1, 𝜔GC = 0,
𝜔LV = 3, 𝜔LC = 3, 𝜔DD = 1とした。

4実験結果

Fig. 1～3 は評価セットから選んだ 1 発話の代表例である。Fig. 1 は 5 次と 10 次のメルケプストラム系列，Fig. 2 は 5 次と 10 次のメルケプストラムの散布図，Fig. 3 は 5 次と 10 次のメルケプストラム系列の短時間フーリエ変換の平均パワースペクトル（変調スペクトル[13]）である。また，Fig. 4 は評価セット全体についての目標と予測したメルケプストラムのフレームごとの絶対誤差，系列の標準偏差の絶対誤差，変調スペクトルの絶対誤差を箱ひげ図で描いたものである。
従来法の系列と目標の系列の代表例を比較すると，従来法の系列は微細構造が再現されておらず平滑化されており，系列の変動（振幅や分散）はやや小さかった（Fig. 1 右）。また，系列の分布は十分な広がりがなく特定の範囲に集中していた（Fig. 2 右）。さらに，変調スペクトルは 30 Hz 以上において 10 dB 低
く，高周波成分を再現できていなかった（Fig.
3 右）。一方で，提案法の系列と目標の系列の代表例を比較すると，提案法の系列は微細構造が再現されており，その変動もほぼ目標の系列と同じであった（Fig. 1 中）
。また，系列の分布は目標の分布と似ていた（Fig. 2 中）。
さらに，変調スペクトルは 20〜80 Hz において数 dB 低いが概ね同じであった（Fig. 3 中）。
目標に対する従来法と提案法の誤差を比較すると，フレームごとの誤差は従来法の方が提案法よりも 0.01 小さかった（Fig. 4 左）
。一方で，系列の分布の広がりである標準偏差の誤差は提案法の方が従来法よりも 0.03 小さかった。
（Fig. 4 中）また，変調スペクトルの誤日本音響学会講演論文集

差も提案法の方が従来法よりも 12 dB 小さかった（Fig. 4 右）。

5各損失関数の効果

提案法における各損失関数の影響を調査したところ，以下のことが分かった。ℒGV を利用すると，系列の振幅のスケールが目標に近づき、合成音声の籠りが緩和した。一方で，次元間の関係が無視されるため，局所においてパワーが急に大きくなる問題が発生した。
ℒLV を利用すると，局所内での分散が補償されるため微細構造が現れ変調スペクトルが目標に近づいた。一方で，次元間の相関関係が無視されるため合成音声に不自然な揺らぎが現れた。
ℒGC ，ℒLC ，ℒDD は単体では効果がなかったが，ℒGV やℒLV と同時に利用することでそれらの制約として働いた。ℒGC やℒLC を利用すると，ℒLV で無視されていた相関関係が考慮されるため系列の分布の形状が目標に近づき，合成音声の不自然な揺らぎが緩和された。
ℒDD を利用すると，ℒGV を利用したときに発生する合成音声の局所における急なパワーの変化が抑制された。
提案法は敵対的学習やリカレント系や畳み込み系のネットワークが暗黙的に学習する系
列の分布や隣接するフレームとの関係を明示的に設計しなければならない。一方で，提案法は基本周波数やメルケプストラムなど出力する音声特徴量ごとに適した 2 次統計量を取捨選択して学習できるので学習結果を操作しやすい利点がある。

6

おわりに

FFNN で時系列を考慮した学習をするために，2 次統計量を用いた損失関数による学習方法を提案した。その結果，平均二乗誤差よりも目標値に迫るスペクトル特徴量系列を生成することができた。今後は，敵対的学習との比較評価および受聴実験を行う。
参考文献[1] Oord et al, arXiv.1609.03499, 2016.
[2] Wang et al, Interspeech, 2238-2242, 2016.
[3] Matsunaga et al, SSW10, 2019.
[4] Nose et al, IEEE 8(2), 221-228, 2014.
[5] Toda et al, IEICE, E90-D(5), 816-824, 2007.
[6] Saito et al, IEEE/ACM, 26(1), 2018.

- 1019 -2019年9月

[7] 高道ら, 音講論（秋）, 195-196, 2017.
[8] SPTK, http://sp-tk.sourceforge.net/[9] 松永ら, 音講論（春）, 1089-1090, 2019.
[10] Morise et al, IEICE, E99-D(7), 1877-1884,2016.
[11] Nair et al, ICML, 807-814, 2010.

[12] Kingma et al, arXiv:1412.6980, 2014.
[13] 高道ら, 音講論（秋）, 307-308, 2013.

Fig. 1 Examples of 5th and 10th mel-cepstrum trajectories.

Fig. 2 Examples of scatter between 5th and 10th mel-cepstrums.

Fig. 3 Examples of modulation spectrum of 5th and 10th mel-cepstrum trajectories.

Fig. 4 Comparison between conventional loss function and proposed loss function.
Left: absolute errors of mel-cepstrum trajectories.
Middle: absolute errors of standard deviation of mel-cepstrum trajectories.
Right: absolute errors of modulation spectrum of mel-cepstrum trajectories.

日本音響学会講演論文集- 1020 -2019年9月