第21回⾳声⾔語シンポジウム
⾳声研究会（SP） ⾳声⾔語情報処理研究会（SLP）2研究会連⽴開催研究会
＠NHK放送技術研究所 2019年12⽉6⽇(⾦) 16:55〜17:55

画像変換／系列変換アプローチ
を⽤いた⾳声変換
NTTコミュニケーション科学基礎研究所

⻲岡弘和 ⾦⼦卓弘 ⽥中宏 北条伸克

背景• コミュニケーションは社会⽣活の最も重要な要素の１つ• コミュニケーションには、発声・聴覚機能の障がいや加齢による衰え、不慣れな⾔語での会話能⼒、⼼理的な緊張状態など、物理的・能⼒的・⼼理的な状態に起因する様々な形のストレスやバリアが存在
聴覚機能の衰えや障がい

発声機能の障がい（電気式⼈⼯喉頭）

⼿話による会話

⾮⺟語による会話

緊張や不安• ⾳声変換(Voice Conversion; VC)技術によりこのようなストレスやバリアをどこまで克服できるか？cf) 無喉頭⾳声から通常⾳声への変換 [Nakamura+2012][Doi+2014]2

リアルタイム⾳声変換(VC)システム• リアルタイムVCシステムにより効率的かつ円滑なコミュニケーションを実現
発信側

信号や情報を望みの表現に受信側
リアルタイムに変換

発信したい表現に変換

受信したい表現に変換

タスク例• 通常⾳声• 訛りのあるアクセント• 発声障がい者の声

別⼈の声
聞き取りやすいアクセント
健常者の声
3

パラレル⾳声変換(VC)⽅式• ソース⾳声とターゲット⾳声のパラレルコーパスの⽤意• 両⾳声の時間整合処理• 時間整合された特徴量ペアを⽤いて⾳響モデルを学習– ⾳響モデルの例
Gaussian mixture model (GMM) [Toda+2007], Neural net (NN) [Desai+2010]
Parallel data

SourceFeatureextraction

time alignment
TargetAcoustic model(e.g., GMM, NN)

Featureextraction
timetime4

パラレルVC⽅式の強みと限界
強み• 軽量な⾳響モデル(GMMなど)で動作するためリアルタイム（低遅延）システムを実現可能

限界• パラレルデータが必要– パラレルデータの準備は⾼コスト• 声質の変換が主⽬的– 超分節的特徴（アクセント、F0パターン、発話リズムなど）の変換が困難• ⾳質– 古典的なボコーダ（メルケプストラムボコーダなど）で合成される⾳声と実⾳声は容易に聞き分け可能

深層学習アプローチにより克服できるか？
5

VCシステムの構成• End-to-End構成？⼿動設計処理部を含む構成？
Option1
NNtime-domain

heavytime-domaineg) VQ-VAE [van den Oord+2017]• 完全なend-to-end– ⼤量の学習データで学習できれば⾼品質な⾳声変換が実現可能（ななず）– リアルタイム化するには不向き（？）

6

VCシステムの構成• End-to-End構成？⼿動設計処理部を含む構成？
Option2analysisfeatureNNNN
lightweightfeaturelow-dimensional

heavy eg) WaveNet [van den Oord+2016]

WaveRNN [Kalchbrenner+2018]• 特徴量レベルの変換の後に波形⽣成– 特徴量変換モデルは軽量化されるため効率的な変換が可能– 波形⽣成の品質と効率性の両⽴はいまだ課題あり（？）（ただし最近は低遅延で波形⽣成可能なニューラルボコーダも多数出現している）

7

VCシステムの構成• End-to-End構成？⼿動設計処理部を含む構成？
Our approachanalysisfeaturesynthesis

NNlightweightNNfeaturelightweight

low-dimensional• 特徴量変換⇒ボコーダによる⾳声⽣成⇒波形ポストフィルタリング– 特徴量変換モデルは軽量化されるため効率的な変換が可能– 波形ポストフィルタリングのためのモデルは、ゼロベースで波形⽣成するモデルに⽐べてはるかに軽量にすることが可能

8我々のアプローチ• 画像変換アプローチ

⾳響特徴量変換
波形ポストフィルタリング[Zhu+2017]• 系列変換(Sequence-to-sequence)アプローチ
C'est

unstylo

⾳響特徴量変換.

<eos>

<eos>
Thisisapen.

C'est

unstylo9⾮パラレル画像変換
ソース画像とターゲット画像のペアデータを⽤いずとも画像のドメイン間変換を可能にする深層⽣成モデル
Decoder

SampleEncoderSample• Variational Autoencoder (VAE) [Kingma+2014, Yan+2016]• Cycle-consistent Adversarial Network (CycleGAN) [Zhu+/Kim+/Yi+2017]

Cycle‐consistency loss

Adversarial loss

Adversarial loss
Cycle‐consistency loss
10

Generative Adversarial Network (GAN) [Goodfellow+2014]• 分布形を仮定することなく学習サンプルの分布に従う擬似サンプルを⽣成する⽣成器を学習する枠組が⽣成した擬似サンプルかを識別する識別• 実サンプルか⽣成器器をだますようにを学習•もだまされないように学習
敵対ロス（ から⾒た識別スコア）

は識別スコアを⼩さく
したい 識別境界を越えたい⇒⾳声合成への応⽤も [Kaneko+2016][Saito+2016]

は識別スコアが⼤きくなるように学習される11

Generative Adversarial Network (GAN) [Goodfellow+2014]• 分布フィッティングとしての解釈– がどういう時に敵対ロスは最⼤になるか？

– よって のみにとってのロスはと のJensen‐Shanon(JS) ダイバージェンス

12CycleGAN [Zhu+/Kim+/Yi+2017]• ソース画像とターゲット画像のペアデータを⽤いずとも画像のドメイン間変換を可能にする深層⽣成モデルの１つ

Adversarial loss

Cycle‐consistency loss
Adversarial loss

Cycle‐consistency loss
– 敵対ロス：実画像と⽣成画像を識別する識別器による学習ロス• 識別器 , はこれを⼩さくするように学習し、逆に変換器 , は⼤きくするように学習することで , による⽣成画像の分布が各ドメインの実画像の分布に近づく– 循環無⽭盾ロス：,となるように誘導するロス• これを考慮することで変換前後でコンテンツが保持される傾向に

13

CycleGAN-VC [Kaneko&Kameoka2017]• CycleGAN [Zhu+/Kim+/Yi+2017] を⽤いた⾮パラレルVC

Generator
Real/Fakediscriminator
Real/Fake

Real

Cycle‐
consistency
loss

Fake

Real/Fakediscriminator

Real

Real/Fake

Training example
in domain

Fake– ⾳響特徴量系列を画像（時間軸を空間座標軸）と⾒なしCycleGANを適⽤– 循環無⽭盾ロスを考慮することで変換前後で⾔語情報が保持されるようにする

Adversarial
loss

Training example
in domain14

CycleGAN-VCによる⾳声変換例
Original

Speaker 1(Female)
Original

Speaker 2(Male)

Original

Speaker 3(Female)
Original

Speaker 3(Female)15

多ドメインVCへの拡張• CycleGANは２ドメイン間の変換しか学習できない• ドメイン間の変換を可能にするには個の変換器を学習する必要あり• しかしこれは明らかに⾮効率（全ドメインで共有可能な特徴量が存在しうるため）単⼀の⽣成器のみで多ドメイン間の変換を学習できないか？

16

StarGAN-VC [Kameoka+2018, Kaneko+2019]• "StarGAN" [Choi+2018] を⽤いた⾮パラレル多ドメインVC– 単⼀の⽣成器 を⽤いて多ドメイン間の変換を同時学習可能–, が に"real"と識別され、 にクラス と識別されるように を学習– 循環無⽭盾ロスを考慮することで変換前後で⾔語情報が保持されるようにする
Real/Fake discriminatorclassRealclassReal

Training example
of class ′Generator

Real/Fake

Training example
of class

Fakeclass ′Cycle‐
consistency
loss

Adversarial
loss

Domainclassification
loss

Domain classifier
17

StarGAN-VCによる⾳声変換例
Original

Original

Speaker 1(Male)

Speaker 2(Female)

Original

Original

Speaker 3(Male)

Speaker 4(Female)18Augmented StarGAN [Kameoka+, to appear]• ただしStarGANには改良の余地あり–変換データが変換先ドメインの分布に従うことが保証されない？

（分布フィッティングとしての解釈が不明瞭）• 改良のための２つのアイディア19

Augmented StarGAN [Kameoka+, to appear]• ただしStarGANには改良の余地あり–変換データが変換先ドメインの分布に従うことが保証されない？

（分布フィッティングとしての解釈が不明瞭）• 改良のための２つのアイディア① Real/Fake識別器とクラス識別器を⼀つに統合（クラス1, ⋯ , を実データ、クラス1, … , 2 を偽データと⾒なす）

Original StarGAN

Augmented Classifier

RealReal

Real data in domain

1,2,...,K

Fake

Fake‐class

1,2,...,K,K+1,...,2KReal/Fake

Real data in domain

Augmented StarGAN

RealFake‐class20

Augmented StarGAN [Kameoka+, to appear]• ただしStarGANには改良の余地あり–変換データが変換先ドメインの分布に従うことが保証されない？

（分布フィッティングとしての解釈が不明瞭）• 改良のための２つのアイディア① Real/Fake識別器とクラス識別器を⼀つに統合（クラス1, ⋯ , を実データ、クラス1, … , 2 を偽データと⾒なす）② DとGを下記の⽬的関数が⼩さくなるように学習

分布フィッティングとしての解釈

Substitution

Kullback‐Leibler divergence

21

客観評価
• VCC2018データセットを⽤いた⾮パラレル⾳声（話者性）変換実験– 学習データ：81⽂（5分）、テストデータ：35⽂（2分）• メルケプストラム歪み(MCD) [dB]
Speakers

Methods
VAE [Hsu+2016]

VAE-WGANStarGAN

A-StarGAN

SF1 (female)

SM1SF2SM2

7.66±0.123
7.53±0.118
8.06±0.143

7.70±0.122
7.43±0.124
8.04±0.145

7.26±0.116
7.16±0.126
7.67±0.120

7.27±0.129
6.98±0.147
7.58±0.115

SM1 (male)

SF1SF2SM2

8.25±0.104
7.43±0.111
7.92±0.106

8.20±0.128
7.23±0.117
7.82±0.103

7.69±0.099
6.95±0.103
7.24±0.089

7.45±0.096
6.66±0.114
7.08±0.102

SF2 (female)

SF1SM1SM2

7.97±0.127
7.38±0.108
7.92±0.122

7.83±0.121
7.37±0.097
7.78±0.109

7.59±0.102
6.91±0.121
7.49±0.1167.40±0.107
6.83±0.126
7.48±0.103

SM2 (male)

SF1SM1SF28.33±0.148
7.73±0.138
7.74±0.135

8.20±0.158
7.66±0.142
7.65±0.137

7.83±0.152
7.07±0.122
7.27±0.143

7.67±0.139
6.97±0.127
6.98±0.154

All pairs

7.83±0.045

7.74±0.046

7.35±0.044

7.19±0.046

SourceTarget[Hsu+2017]22波形ポストフィルタリング• 合成⾳声を実⾳声に変換• 単純な回帰分析問題として扱って良いか？

– 合成信号と実信号は１対１対応しない（位相はその時々で変化するため）合成信号どちらに変換すべきか？

どちらも「正解」⇒両⽅をターゲットとして学習すると、０が最適解ということに・・・– よって波形ポストフィルタリング問題を普通の回帰分析問題としては扱えない– どうアプローチするか？

23

WaveCycleGAN [Tanaka+2018]• 合成⾳声と実⾳声の信号を⾮パラレル学習データと⾒なし、CycleGANを適⽤
Real/Fake
Real/Fake

Converted waveform

Fake
Real

②

Converted waveform

Real

Real/Fake
Real/Fake

Fake

synthetic speechexampleReal speechexampleメルスペクトログラム領域やMFCC領域において⼊⼒波形が実⾳声らしいかをチェックする識別器
24• 他の波形⽣成法とのMOS値の⽐較

Frequency [kHz]• DNN⾳声合成[Zen+2013] の合成⾳声に適⽤した例

10

Frequency [kHz]WaveCycleGANによる⾳声変換例

10

synthetic speech

50
postfiltered version

5001

Time [s]2WORLD (from mel-cepstrum)[Griffin&Lim1984][van den Oord+2016][Prenger+2018]

WaveCycleGAN (Ours)

unofficial implementation
available on GitHub
official implementation
provided by the authors25

我々のアプローチ• 画像変換アプローチ

⾳響特徴量変換
波形ポストフィルタリング[Zhu+2017]• 系列変換(Sequence-to-sequence)アプローチ
C'est

unstylo

⾳響特徴量変換

.

<eos>

<eos>
Thisisapen.

C'est

unstylo26

従来のパラレル／⾮パラレルVCにおける限界• 超分節的特徴の変換が困難–従来⽅式による英語アクセントの変換効果

⼊⼒

sprocket (GMM-VC)[Kobayashi+2018]

Indian English (male)

変換

ターゲット
US English (female)–従来⽅式によるF0パターンの予測性能• GMM-VCによる無喉頭⾳声強調

⼊⼒（⾷道⾳声）変換[Doi+2010]

Acknowledgement: We thank Prof. Tomoki Toda (Nagoya University) for
providing us with the voice samples and the photo in this slide.

⼊⼒（電気喉頭⾳声）変換[Nakamura+2010]

電気喉頭27

系列変換(S2S)学習 [Sutskever+2014]• 系列から系列への変換を⾏う枠組• 機械翻訳、⾳声認識(ASR)、テキスト⾳声合成(TTS)などの幅広いタスクにおける有効性が既に⽰されている• エンコーダ／デコーダ構造– エンコーダは⼊⼒系列を内部表現に変換– デコーダは内部表現をもとに出⼒系列を逐次⽣成

styloContext vector• 注意機構 [Luong+2015]– デコードの際、⼊⼒系列のどの要素に注⽬すべきかを学習する機構<eos>
Thisisapen.

C'est un28

S2SアプローチによるVC• 関連研究– ⾳素事後確率予測(ASR)⇒⾳素事後確率系列間のS2S⇒波形⽣成 [Miyoshi+2017]– ASRを援⽤した特徴量系列間のS2S（ASRシステムで得られるボトルネック特徴量を⼊⼒ベクトルに追加）[Zhang+2018]– 特徴量系列間のS2SモデルとASRモデルのマルチタスク学習 [Biadsy+2019]

いずれもASRシステムまたはテキストラベルを必要とする• 我々のアプローチ [Tanaka+2018, Kameoka+2018]– コンテキスト保持機構の導⼊により、ASRシステムやテキストラベルを⽤いずに学習可能– StarGAN-VC同様、多ドメイン変換が可能– Tacotronベースのネットワーク[Tanaka+2018]と全層畳み込みネットワーク[Kameoka+2018]による実装
29

S2S-VCアーキテクチャ
Attention
Targetdecoder
Sourceencoder

Sourcefeaturesequence
Targetfeaturesequence
Target domain index

Minimizedistance fromtime-shiftedversion of

Targetdomainindex
Targetencoder

Targetreconstructor

Reconstructedfeature sequence

Context preservation loss

30

コンテキスト保持機構の効果• コンテキスト保持機構を考慮せず学習したモデルと考慮して学習したモデルで予測された注意(Attention)⾏列の例
without CPL

with CPL

Tacotron-inspiredarchitecture[Tanaka+2018]

Fully convolutionalarchitecture[Kameoka+2018]31英語アクセント変換と電気喉頭⾳声変換の例• 英語アクセント変換例
⼊⼒

S2S-VC変換

Indian English (male)

US English (female)• 電気喉頭⾳声変換例

⼊⼒
EL⾳声

ターゲット

変換

ターゲット

S2S-VC32

Multi-speaker identity conversion• Audio examples obtained with multi-domain conversion model,
trained on 450 sentences per speaker in ATR Japanese database
Originalvoice
Speaker1(speaking rate:fast)

Originalvoice
Speaker3(speaking rate:moderately fast)

Original
voice
Speaker2(speaking rate:moderately slow)

Original
voice
Speaker4(speaking rate:slow)

33

Real-time VC demo
• S2S-VC followed by WaveCycleGAN

femalevoice

Converted

Original voice

malevoice34

まとめ• ⾳声変換(VC)は⾳声コミュニケーションにおけるバリアやストレスを解消できる可能性を秘めた重要技術• 特に下記要件が重要–⾼品質であること–学習が効率的であること（少量データ，⾮パラレルデータで動く）–リアルタイムに動作すること–声質だけでなく超分節的特徴などの柔軟な変換が可能であること• 以上の要件を意識しながらいくつかの⼿法 (CycleGAN-VC, StarGAN-VC,WaveCycleGAN, S2S-VC, etc.) を提案• 謝辞–本研究は右記の有能な同僚と共に進めました–Chainerには⼤変お世話になりました

⾦⼦卓弘

⽥中宏

北条伸克

35

おまけ：クロスモーダルVC [Kameoka+2019]• 声と顔には相関がある。この相関を⼿がかりに、（１）与えられた顔画像の印象に合った声質に⼊⼒⾳声を変換したり、（２）⼊⼒⾳声に合った印象の顔画像を⽣成したりできないか？
どんな声かな？

（１）⼊⼒⾳声の声質を、⼊⼒顔画像に合わせて変換する

こんな顔かな？

（２）⼊⼒⾳声のみから話者の顔を予測する

36

おまけ：クロスモーダルVC [Kameoka+2019]
音声変換器
入力音声

変換音声

Channel

言語情報
言語情報
抽出器

音声合成器

Time

Time

声質特徴
抽出器
入力顔画像

容貌特徴
容貌特徴
抽出器

声質特徴

顔画像
予測器

できるだけ一致させる

5つのニューラルネットワークを同時学習

顔画像
生成器

⾔語抽出器
： ⼊⼒⾳声の発話内容に相当する情報 を抽出
容貌特徴抽出器 ： ⼊⼒顔画像の容貌に相当する情報 を抽出
⾳声合成器： 発話内容 と画像特徴 から⾳声 を⽣成
声質特徴抽出器 ： ⾳声 の声質特徴に相当する情報 ̂ を抽出
顔画像⽣成器 ： 声質特徴 ̂ から顔画像 を⽣成

37

⾳声予測例、顔画像予測例• ⾳声変換+++• 顔画像予測38

まとめ• ⾳声変換(VC)は⾳声コミュニケーションにおけるバリアやストレスを解消できる可能性を秘めた重要技術• 特に下記要件が重要–⾼品質であること–学習が効率的であること（少量データ，⾮パラレルデータで動く）–リアルタイムに動作すること–声質だけでなく超分節的特徴などの柔軟な変換が可能であること• 以上の要件を意識しながらいくつかの⼿法 (CycleGAN-VC, StarGAN-VC,WaveCycleGAN, S2S-VC, etc.) を提案
• 謝辞
⾦⼦卓弘
⽥中宏
北条伸克
–本研究は、⾦⼦卓弘⽒、⽥中宏⽒、北条伸克⽒らと共に⾏いました–Chainerには⼤変お世話になりました

39