様々な合成単位における End-to-end 逐次音声合成の検討 ∗○柳田 智也 (NAIST), サクティ サクリアニ，中村 哲 (NAIST/RIKEN AIP)

1

はじめに

2

End-to-end 音声合成

深層学習に基づくエンコーダーデコーダ型 End-toend 音声合成として，Tacotron[3] 使用する．先行研
究の Tacotron は、表層文字からメルスペクトログラ
ムとリニアスペクトログラムとを推定し、リニアスペクトログラムと推定した位相から音声を復元する．
本論文では、読み推定を容易にするため，音素記号系列を入力とする．更に，日本語の高低アクセントを表現するため，アクセント句のアクセント型も使用する．本研究の Tacotron には [5] と同様に，音響特徴の出力停止を示す止フラグを出力する層を追加する．

3

提案方法

3.1

逐次音声合成の学習と合成方法

Fig. 1(a) に，学習時のデータ分割について示す．
逐次音声合成では，文より短い単位を合成単位として扱う．先行研究 [4] では，合成単位のテキスト全てに，文頭を表す記号 (
) と文末を表す記号 (
)を付与している．これは，合成単位を，全て短文として扱っており，合成単位間における音響特徴の時系列変化を考慮できない．この問題を改善するため，初めに，データセットのテキストを，無作為に三分割し，Fig. 1(a) に示すように，文頭と文末を表す記号の他に，文中の先頭を表す記号 (<m>) と文中の末尾を表す記号 (</m>) をテキストに付与する．学習は，分割したデータ及び文単位のデータを両方を用いる．
合成時は，Fig. 1(b) に示すように，文単位より短い合成単位毎に行う．ここで，メルスペクトログラムの生成は，停止フラグが 1 を出力するまで生成し，フレーム長を決定する．その後，出力された各音声波形を接続し，文単位の合成音声を作成する．合成単位の選択については，次節に示す．
∗
音声合成は楽しいと思います。

けど難しいのも確かです。
分割
音声合成は </m><m>楽しいと</m><m>思います.

けど</m><m>難しいのも </m><m>確かです.

: 文頭 
: 文末<m>: 文中の先頭 </m>: 文中の末尾(a) 学習のためのデータ分割方法
合成単位 １
 今日は</m>End-to-end
逐次音声合成or
合成単位 2<m> いい天気</m>

End-to-end
逐次音声合成デコーダ初期入力: Independent(ゼロベクトル)…

同時音声翻訳システムは，元言語の音声を目標言語の音声へ逐次翻訳し出力する．そのシステムは，音声認識・機械翻訳・音声合成から構築される．通常の音声合成は，文全体の入力後に処理を行うため，一発話が長い状況において出力に深刻な遅延が生じる．
従って，同時通訳用の音声合成は，入力を逐次処理し出力する必要がある．逐次音声合成は，隠れマルコフモデルによる方法が広く研究されている [1, 2]．近年，
End-to-end 音声合成が，高品質な音声合成を実現している [3]．より高品質な逐次音声合成のため，本研
究は，End-to-end 逐次音声合成に取り組む．先行研
究の End-to-end 逐次音声合成の検討 [4] では，逐次音声合成の合成単位を，全て短文として扱う．従って，合成単位間の音響特徴の変化や，テキスト中の位置情報が考慮できない．本論文は，これらを考慮する方法を提案し，提案する End-to-end 逐次音声合成の音声品質を様々な合成単位で調査する．

テキストと音響特徴のペアデータ: Look-back(先行メルスペクトログラム)(b) 合成手順とデコーダ初期入力の選択

Fig. 1
3.2

学習と合成方法の概要

合成単位の選択および初期入力の提案

Fig. 1(b) に示す合成単位としては，アクセント句が適当な単位として調査されている [2]．本研究では，アクセント句を含む以下の合成単位を用いる．
１アクセント句: １アクセント句毎に合成する．
２アクセント句: ２アクセント句毎に合成する．
３アクセント句: ３アクセント句毎に合成する．
半文: 文長の半分となるアクセント句毎に合成する．
１文: 1 文毎に合成する．
実利用時は，半文の検出は困難であり，この条件は実験的設定として用いる．また，1 文は，通常の音声合成と同様の実験条件である．
End-to-end 音声合成の学習および合成時に，メルスペクトログラム推定用デコーダの初期値は， Goframe と呼ばれるゼロベクトルを用いる．音響特徴の時系列変化を考慮し，合成単位間の韻律の不連続を改善するため，図 1(b) に示すように，学習時と合成時において，初期入力に対する以下の提案を行う．
Independent: 各合成単位の初期入力としてゼロベクトルを用いる．この場合，音響特徴の時系列変化は，文単位の入力時のみ学習される．
Look-back: 初めの合成単位のみゼロベクトルを用いる．それ以降の初期入力は，先行合成単位のメルスペクトログラム系列における最後方の出力を使用する．この場合，各合成単位毎に音響特徴の時系列変化を考慮する可能性がある．

End-to-end incremental speech synthesis in various synthesis units, by YANAGITA, Tomoya, SAKTI,Sakriani, NAKAMURA, Satoshi (Nara Institute of Science and Technology/RIKEN AIP).

MOS score[-]

0.275

4.95

5:標準誤差4p<0.01

0.415
2.81

3

2.88

3.13

3.18

半文

1文

0.31
2.22

p<0.05
20

0.2

0.4

No difference

Fig. 2

0.6

Look-back

0.8

1

提案方法の評価実験

4.1

実験条件

日本語音声コーパスとして，JSUT を用いる [6]．音声は 48kHz から 22.05kHz へダウンサンプルして用いる．テキストから音素とアクセント句検出のため，Open Jtalk を用いた．しかしながら，Open Jtalk は不正確な読みを推定することが確認されたため，形態素解析 Mecab と複数の辞書を用いて，読み推定結果が一致しないテキストを除去する．更に，Repeat500 という同一テキストの複数回読み上げは，本実験で使用しない．結果として，5276 文の音声から，約5000 文を学習に，100 文を評価に，100 文をテストに用いる．End-to-end 音声合成の入力として，音素及びスペース等を表現する特殊記号を 45 種類用いて，アクセントタイプは 20 種類使用する．音響特徴は 80次元のメルスペクトログラムと，1024 次元のリニアスペクトルを用いる．
韻律の連続性に対する主観評価

本節では，3.1 節で示す初期入力の提案による，韻律の連続性の改善について，主観評価を通して確認する．評価時，逐次音声合成は，各出力音声を接続し疑似的な文単位の合成音声を作成する．そのため，評価用の音声は，各合成単位間に不連続な韻律が生じる．この不連続な韻律の改善を評価するため，プリファレンス AB テストを実施する．まず，評価者は二種の音声を聴取する．その後，文中でより自然に韻律が接続している音声を選択する．各音声は，何度も聴取可能であり，40 発話対 (提案方法当たり 20 文) を，無作為な順序で聴取する．評価は，10 人の日本語母語者により実施する．
実験結果を Fig. 2 に示す．実験結果から，提案方法の Look-back は，ゼロベクトルを初期入力とする
Independent より好まれている．これは，過去のメルスペクトログラムを初期入力として用いることで，音響特徴の時系列変動が考慮可能となり，品質を改善したためである．実験結果より，次節の実験では，Look-back を用いた逐次音声合成の自然性を評価する．

4.3

1アクセント句 2アクセント句 3アクセント句

韻律の連続性に関する主観評価結果

44.2

1Independent

様々な入力長に対する自然性の主観評価

本節では，逐次音声合成のため，様々な入力長を用いて，音声の自然性に関する主観評価を行う．主観評
価は 5 段階 (１：とても悪い，２：悪い，３：普通，４：良い，５：とても良い) の平均評定オピニオンス
コアを用いる．逐次音声合成の合成単位は，[?] 節で示した合成単位を用いる．更に，自然音声も評価に使用する．評価音声は，７８音声 (各合成単位あたりFig. 3

自然音声

入力長の変更による自然性の主観評価結果１３音声) であり，10 人の日本語母語者が評価する．
各音声は何度も再生可能な状況で行う．
実験結果を Fig. 3 に示す．実験結果より，入力長を長く保持することで自然性の改善が確認できる．しかし，生成音声と自然音声とを比較すると，最小で約 2 ポイントの大きなスコア差が確認できる．これは，ニューラルネットボコーダー [7] を用いないことが理由として考えられる．また，半文長の品質は，文単位の品質に非常に近い．これは，半文単位以下に，最適な合成単位長の存在が考えられる．

5

おわりに高品質な日本語 End-to-end 逐次音声合成のため，合成単位間の時系列変化を考慮する方法を提案した．
実験結果より，過去の音響特徴を初期入力とすることで，合成単位間の韻律が改善した．更に，最適な合成単位が，半文以下にある可能性が示唆された．今後の展望として，テキストに付与した文中記号が合成単位間の韻律へ与える影響の調査が挙げられる．
謝辞 本研究の一部は JSPS 科研費 JP17H06101 および JP17K00237 の助成を受けたものです．

参考文献[1] Pouget, et al., ”Adaptive Latency for Part-ofSpeech Tagging in Incremental Text-to-Speech
Synthesis,” Proc. Interspeech, pp. 2846-2850,
2016.
[2] Yanagita et al., ”Incremental TTS for Japanese
Language,” Proc. Interspeech, pp. 902-906,
2018.
[3] Wang et al., ”Tacotron: Towards End-to-end
Speech Synthesis,” Proc. Interspeech, pp. 40064010, 2017.
[4] 柳田 他，”End-to-end モデルに基づくインクリ
メンタル音声合成,” 日本音響学会 2019 年春季研究発表会講演論文集, 3-10-5, 2019.
[5] Shen et al., ”Natural tts synthesis by conditioning wavenet on mel spectrogram predictions,”
Proc. ICASSP, pp. 4779-4783, 2018.
[6] 園部 他，”JSUT コーパス：End-to-end 音声合成に向けたフリーの大規模日本語音声コーパス,”
日本音響学会 2018 年春季研究発表会講演論文集,
1-Q-37, 2018.
[7] Oordet al., ”Wavenet: A Generative Model for
Raw Audio,”ISCA Speech Synthesis Workshop,
pp. 125-125, 2016.