1-Q-32
CycleGAN を用いた合成音声から自然音声への波形変換 ∗◎田中 宏，金子 卓弘，北条 伸克，亀岡 弘和（NTT)1

はじめに多くのテキスト音声合成システムや音声変換シス
テムでは，ボコーダ方式により音声特徴量から音声が合成される. ボコーダ方式による音声合成は，コンパクト（低次元）な特徴量表現が可能であり，特に限られた数の学習サンプルしか得られない状況において大変有益である. 一方で，ボコーダ特有の機械的な音質や生成・変換された音声特徴量の過剰な平滑化などにより，合成音声の音質劣化が問題であった.
この問題に対して，音声特徴量空間上でより自然な音声特徴量へ補正する方法が提案されている. 例えば，テキスト音声合成や音声変換において加工された音声特徴量の変調スペクトル（Modulation Spectrum: MS）を自然な音声の MS へ補正する手法 [1]や，加工・変換した音声特徴量に対して，GenerativeAdversarial Networks （GAN）を用いて自然性を向上させる成分を足しこむことで自然な音声の音声特徴量へと補正する手法 [2] が提案されている. 上述の手法は，一定量の音質改善を達成しているもののコンパクト空間での補正であることは変わりなく，また最終的な音声合成部はボコーダを通るため，音質改善の潜在的な限界が存在する. 一方で，GAN を用いて音声波形に対する直接的な補正を行う手法（SEGAN）[3] も提案されている. 音声波形を入力として直接補正を行うため，音声特徴量空間上での補正と比較するとより大きな品質改善が見込まれる. しかしながら，適用場面が限られており，学習データ中の入力波形と理想とする目標波形の間で理想的なアライメントが取られている場合において有効である. 例えば，理想環境で収録された音声に対して，計算機上で雑音を重畳し雑音環境下音声を生成したのち雑音除去を行う場合は，入力音声である雑音環境下音声と目標音声である理想環境で収録された音声のアライメントは完璧であるため，音質改善が可能である. しかしながら，テキスト音声合成や音声変換において生成された合成音声から自然な音声への補正は，上述のアライメント問題により [3] の単純適用では品質改善が難しい.
本稿では，cycle-consistent adversarial networks を用いて合成音声から自然音声へ音声波形を直接補正する手法を提案する. 実験的評価結果より，ボコーダ特有の機械的な音質が改善され，音質に関する自然さの大幅な改善を達成していることを示す.

2SEGAN [3]

ソース音声（例えば，計算機上で雑音を重畳した雑音環境下音声）を x，ターゲット音声（例えば，理想∗環境で収録された自然音声）を y とする. SEGAN [3]では，目的関数 LSEGAN が次式で与えられる.

LSEGAN = Ladv (Gx→y , Dy ) + λadd Ladd ,(1)ここで，Ladv (Gx→y , Dy )= Ey∼PData(y) [log Dy (y)]+ Ex∼PData(x) [log(1 − Dy (Gx→y (x))],Ladd = ||Gx→y (x) − y||1 ,(2)(3)であり，Gx→y はソース音声 x からターゲット音声y へと変換する変換関数であり，Dy は変換された音
声 Gx→y (x) とターゲット音声 y を見分ける識別関数である. 目的関数が Ladv (Gx→y , Dy ) のみである
通常の GAN では音韻性を維持する保証がないため，Ladd を導入することで学習が安定する. λadd は追加項を制御する重みパラメータである. 変換関数 Gx→yと識別関数 Dy はニューラルネットで記述されており，Gx→y は Dy を騙せるように，Dy は Gx→y (x)を識別できるように競合しながら学習される.

3

CycleGAN を用いた合成音声から自然音声への波形変換

3.1

コンセプト

ソース音声とターゲット音声のアライメントが完璧である場合，SEGAN [3] は大幅な音質改善が可能である. 一方で，ソース音声とターゲット音声がパラレルなデータでない場合（テキスト音声合成や音声変換において生成された合成音声から自然な音声への補正など）は，音声の音韻性が崩れ，単純適用が難しいことを予備実験で確認した. 音声の音韻性が崩れる要因の一つに，学習時において，アライメント問題によりソース音声とターゲット音声の音韻が違うにも関わらず，式 (3) のような目的関数を最小化しようとすることがある.
CycleGAN [4] は，cycle-consistent adversarial networks を導入することで，2 つの異なるドメイン間の変換を学習する GAN である. Cycle-consistent adversarial networks は，その名の通り，ターゲットドメインへ変換されたのち，元のドメインへ再度変換された際の再構成誤差を含む目的関数を用いて学習される. すなわち，ソース音声と，ターゲットドメインへ変換されたのち元のドメインへ再度変換された音声とのアライメントは完璧であり，音韻の不一致が存在しない. それゆえ，音韻性を崩さずに，音質の自然さを改善できる可能がある.

Synthetic-to-Natural Speech Transformation Based on CycleGAN. by TANAKA, Kou, KANEKO,Takuhiro, HOJO, Nobukatsu, KAMEOKA, Hirokazu (NTT)

日本音響学会講演論文集- 285 -2018年3月

3.2

CycleGAN を用いた波形変換

CycleGAN [4] では，目的関数を次式で与えられる.
L = Ladv (Gx→y , Dy ) + Ladv (Gy →x , Dx )+ λcyc Lcyc .

Table 1 音質の自然さに関する５段階オピニオンス
コアによる音声の聴取実験結果.（比較手法 3 手法 ×
評価データ 30 文 × 被験者 10 名）(4)

手法
NaturalBaseline
Proposed

ここで，Ladv (Gy →x , Dx )+ Ey∼PData(y) [log(1 − Dx (Gy →x (y))],(5)

Lcyc = Ex∼PData(x) [||Gy →x (Gx→y (x)) − x||1 ]+ Ey∼PData(y) [||Gx→y (Gy →x (y)) − y||1 ],(6)
であり，Ladv (Gy →x , Dx ) は２節で述べた目的関数
Ladv (Gx→y , Dy ) のソース音声とターゲット音声を入れ替えた場合と同等であり，Lcyc は再構築誤差に関する制約項，λcyc は再構成誤差を制御する重みパラメータである. Lcyc を最小化するためには，変換した音声 Gy →x (y) および Gx→y (x) がそれぞれ元の音声 x および y を再構築できるだけの情報を保持している必要がある. したがって，学習が成功した際の Gy →x および Gx→y は，x および y に共通する構造を保ったまま変換する関数となる. 例えば，合成音声と自然音声に共通する音韻情報は保ったまま，合成音声と自然音声とを聞き分ける要因になる成分（ボコーダ方式による合成音声が持つボコーダ特有の機械的な音質など）が変換されることになる.

4

実験的評価

4.1

実験条件

4.2

音質の自然さに関する聴取実験

表 1 に，自然音声（Natural），提案手法適用前音声（Baseline），提案手法適用後音声（Proposed）に対する音質の自然さに関する５段階オピニオンス
コア（1: 合成音声らしい ∼5: 自然音声らしい）の評
価結果を示す. 提案手法を用いることで，音質の自然さが大幅に改善されていることがわかる. さらに，
「ボコーダ特有の機械的な音質が十分に改善されている」と被験者からのフィードバックを得ている. しかしな
がら，自然音声と比較すると未だギャップがあること

日本音響学会講演論文集

32
1
01000
2000
3000
Modulation frequency [Hz]4000

Fig. 1 横軸を変調周波数とした第 14 次メルケプス
トラム系列の変調スペクトル.
がわかる. このギャップの原因として，「提案手法適用
後音声は，かすれた音声に聞こえる部分があり，この部分において自然音声と識別可能である」とのフィードバックも得ている. また，提案法により得られた波形から分析された第 14 次メルケプストラム系列の変調スペクトルを図 1 に示す. 提案手法のような波形に対する直接的な補正においても，メルケプストラム系列の変調スペクトルが回復していることがわかる.

5女性話者の音声データセット 437 文中，提案手法を学習するために 407 文（約１時間）を，評価データとして 30 文（4 分）を用いて，音質の自然さに関する主観評価実験を行った. 音声のサンプリングレートは22.05 kHz である. 適用先の手法として， [2] 中における DNN テキスト音声合成手法 SYN を用いた. 提案手法のモデル構造として，Gy →x および Gx→y は
3 層の CNN，6 層の residual block（1 residual blockにつき 2 層の CNN），3 層の CNN を積み重ねたネットワークを，Dx および Dy は 4 層の CNN を用いた.

95 % 信頼区間± 0.093± 0.180± 0.145NaturalBaseline
Proposed

Modulation spectrum= Ex∼PData(x) [log Dx (x)]

平均値
4.733
2.322
3.904

おわりに

本稿では，cycle-consistent adversarial networks を用いて合成音声から自然音声へ音声波形を直接補正する手法を提案した. 実験的評価結果より，音質の自然さが大幅に改善されていることを示した. 今後は，提案手法適用により生じる「かすれた音声に聞こえる部分」の改善，および，ボコーダ方式の音声合成システムの研究に取り組む予定である.
謝辞 本研究の一部は，JSPS 科研費 17H01763 の助成を受け実施したものである．

参考文献[1] Shinnosuke Takamichi et al., in Proc. ICASSP,
2014, pp. 290–294.
[2] Takuhiro Kaneko et al., in Proc. ICASSP, 2017,
pp. 4910–4914.
[3] Santiago Pascual et al.,arXiv preprint
arXiv:1703.09452, 2017.
[4] Jun-Yan Zhu et al.,arXiv preprint
arXiv:1703.10593, 2017.

- 286 -

2018年3月