社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

多話者音声合成のためのAdversarial Regularizer を考慮した学習アルゴリズム
仲井佑友輔†

齋藤 佑樹†

宇田川健太†

猿渡洋†† 東京大学 〒113–8656 東京都文京区本郷 7-3-1
あらまし

本稿では，Adversarial Reguralizer を考慮した敵対学習による多話者音声合成モデルを提案する．従来法では，識別的なタスクによって事前学習した Speaker Encoder から目的話者の話者埋め込みを抽出し，音声合成ネットワークに入力を行う．しかし，学習された話者埋め込みの分布する特徴量空間は音声合成ネットワークにとって必ずしも解釈性が高いとは限らず，未知話者の話者埋め込みを上手く抽出できる保証が無いという問題があった．提案法
では，事前学習済みの話者埋め込み空間をうまく解釈できる音声合成ネットワークの構築を目的とし，学習アルゴリ
ズムとして Adversarial Reguralizer を考慮した敵対学習を提案する．提案法では，話者埋め込みを混合して合成した音声の特徴量と，自然音声の特徴量が識別不可能となるような正則化項を考慮して音声合成ネットワークを学習する．
実験的評価により，提案法が合成音声の話者類似性と，話者モーフィングの操作性を改善する傾向にあることを示す．
キーワード DNN 音声合成，転移学習，敵対学習，話者モーフィング，話者埋め込み

Yusuke NAKAI† , Yuki SAITO† , Kenta UDAGAWA† , and Hiroshi SARUWATARI†† The University of Tokyo, Hongo 7–3–1, Bunkyo-ku, Tokyo, 113–8656 Japan

1. は じ め に

タでも高品質な音声が合成できるという利点がある．しかし，Speaker Encoder によって学習された話者埋め込み空間は音声合音声研究の一分野であるテキスト音声合成 (text-to-speech:

成ネットワークとは独立に学習されており，必ずしも音声合成TTS) [1] は，入力されたテキストに話者の特徴などの非言語情報

ネットワークにとって解釈性が高い空間であるとは限らない．

を与え，自然な音声を合成する技術であり，医療シーン [2], [3]

話者埋め込み空間の解釈性の低さは，学習データに含まれないから言語教育 [4] に至るまで多様な応用が提案されている．近年

未知話者の合成音声の品質劣化を生じさせるのみならず，合成はディープニューラルネットワーク (deep neural network: DNN)

音声の話者性を制御する際の障壁となり得る．

による学習手法が発展しており，日夜新しい手法が提案されて本稿では，事前学習済みの話者埋め込み空間をうまく解釈いる [5]．TTS において，複数話者の音声合成を目的とした技できる音声合成ネットワークの実現を目的として，Adversarial術は多話者テキスト音声合成 [6] と呼ばれる．

Regularizer を考慮した敵対学習アルゴリズムを提案する．提案

DNN による多話者テキスト音声合成では，音声データから固法ではまず，異なる話者による発話から抽出した話者埋め込み

定長のベクトルで表される話者の特徴量（話者埋め込み）[7], [8]をランダムな割合で混合し，混合された話者埋め込みからメルを抽出し，これを音声合成ネットワークに条件付けすることでスペクトログラムを合成する．その後，合成されたメルスペク音声合成を行う．Jia ら [9] は音声合成ネットワークから独立しトログラムは Critic という DNN に入力され，Critic はメルスペた Speaker Encoder によって，話者埋め込みを事前学習させるクトログラムから混合率の推定を行う．一方で音声合成ネット

多話者音声合成の手法を提案した．この手法において，Speaker

ワークは，Critic が混合された話者埋め込みによるメルスペク

Encoder は話者識別的なタスクにより学習を行う．埋め込み空トログラムに対しても，真の話者埋め込みによるものであると間上で，同一話者の発話に対応する話者埋め込みは近くに，異推定するように学習を行う．これにより，混合された話者埋めなる話者の発話による話者埋め込みは遠くに分布するように学込みから合成される未知話者の音声特徴量と，自然音声特徴量習を行い，十分な学習がなされた Speaker Encoder は話者の特の区別がつかなくなるような正則化が実現されるため，話者埋徴を上手く抽出できることが期待される．Speaker Encoder は音め込み空間の解釈性向上が期待できる．実験的評価により，提声合成ネットワークとは独立に学習されるため，ネットワーク案法が合成音声の話者類似性と，話者モーフィングの操作性を学習時に話者埋め込みを更新する必要が無く，少量の音声デー改善する傾向にあることを示す．

—1—

図 1 Speaker Encoder を転移学習させる多話者音声合成モデルの概略図．Speaker Encoder とVocoder のモデルパラメータは，Synthesizer の学習時には更新されない．

2. 従来の多話者音声合成
本節では，Jia らの先行研究 [9] で提案された多話者音声合成の手法を説明する．とが考えられる．

3. 提案する多話者音声合成
従来の多話者音声合成モデルの問題点に対し，本稿では Ad-

2. 1 多話者音声合成ネットワーク

versarial Regularizer を考慮した敵対学習によるモデルを提案

多話者音声合成ネットワークは，Synthesizer と Vocoder の２する．

つの DNN から構成される．Synthesizer は話者埋め込みとテキ提案法では，音声合成ネットワークの他に Critic というネッストを入力として，メルスペクトログラムを出力する．Vocoder

トワークを追加する. Critic は二名の話者埋め込みの混合から合はメルスペクトログラムから音声を生成する．モデル学習時，成されたメルスペクトログラムを入力とし，その混合率を出力これらは独立に学習される．

するような学習を行う．一方で音声合成ネットワークは，Critic

2. 2 話者識別モデルの転移学習が入力されたメルスペクトログラムを真の話者埋め込みによる

2. 2 節では，本稿のベースラインとなる，Speaker Encoder をものだと推定させるように学習する．

事前学習する多話者音声合成モデルについて概説する．このモ

3. 1 Adversarial Regularizer

デルにおいて，Synthesizer に入力される話者埋め込みは Speaker

デ ー タ の 特 徴 量 抽 出 に 用 い ら れ る DNN と し て AutoEn-Encoder という DNN によって事前学習される．図 1 にモデル

coder [10] というモデルが知られている．AutoEncoder は特の概略図を示す．

徴量抽出・データ再構成によりデータの持つ特徴を低次元の特Speaker Encoder は音声波形から対応する話者埋め込みを抽出徴量として得るモデルだが，それらの特徴量が分布する空間し，Generalized end-to-end (GE2E) 損失 [8] を最小化するようが解釈性の高いものかどうかは定かではない．これに対し，抽に学習する．GE2E 損失を最小化する学習は識別的なタスクで出した特徴量同士を補間することでデータの自然なモーフィあり，話者埋め込み空間において，同じ話者の埋め込みは近くングを実現し，解釈性の高い特徴量空間を得るために考案さに，異なる話者の埋め込みは遠ざかるように学習される．

れたのが Adversarial Regularizer を考慮したモデルである．こ学習された話者埋め込みは，合成音声の話者性を制御するのモデルでは，AutoEncoder の他に Critic というネットワーために Synthesizer に入力される．Synthesizer は，話者埋め込クを追加し，敵対学習を行う．まず，Encoder は２つの入力みに対応する話者の音声の特徴量（メルスペクトログラムなデータ x1 , x2 から特徴量を抽出する．次に，得られた特徴量ど）の予測誤差を最小化するように学習する．この際，Speakerz1 = 𝑓 𝜃 (x1 ), z2 = 𝑓 𝜃 (x2 ) をランダムな割合 𝛼 ∈ [0, 0.5] で線

Encoder のモデルパラメータは事前学習済みのもので固定し，形に混合する．最後に，混合された特徴量 𝛼z1 + (1 − 𝛼)z2 をSynthesizer の学習時には更新しない．以降，この Synthesizer のDecoder に入力し，データ x̂ 𝛼 = 𝑔 𝜙 (𝛼z1 + (1 − 𝛼)z2 ) を得る．

学習時の損失関数を LTTS と表記する．推論時には，まず，合一方 Critic 𝑑 𝜔 は，Decoder からの入力 x̂ 𝛼 に対して，データが成したい話者の参照音声を Speaker Encoder に入力し，話者埋混合されたものであった場合はその混合率 𝛼 を，混合されていめ込みを抽出する．次に，この話者埋め込みと合成したいテキないデータであった場合は 𝛼 = 0 を出力するよう学習する．

ストを Synthesizer に入力し，合成音声の特徴量を予測する．最後に，この特徴量を Vocoder に入力して合成音声の波形を生成する．

AutoEncoder と Critic の損失関数 L 𝑓 ,𝑔 , L 𝑑 はそれぞれ以下のように定義される．

2. 3 従来法の問題点

L 𝑓 ,𝑔 = ∥x1 − 𝑔 𝜙 ( 𝑓 𝜃 (x1 ))∥ 2 + 𝜆∥𝑑 𝜔 ( x̂ 𝛼 )∥ 2

従来法では，Synthesizer に入力される話者埋め込みは識別的

L 𝑑 = ∥𝑑 𝜔 ( x̂ 𝛼 ) − 𝛼∥ 2 + ∥𝑑 𝜔 (𝛾x1 + (1 − 𝛾)𝑔 𝜙 ( 𝑓 𝜃 (x1 ))) ∥ 2

タスクのみによって学習されたものであるため，話者埋め込み(2)

空間が Synthesizer にとって意味のある空間になりうる保証が無い．そのため，未知話者について音声合成を行う際，抽出した話者埋め込みが Synthesizer にとって解釈性の高いベクトルになるとは限らず，目的話者の話者性が十分に再現できないこ(1)

AutoEncoder の損失関数 L 𝑓 ,𝑔 の第一項は AutoEncoder の入力に用いたデータと再構成されたデータとの二乗誤差である．第二項は，混合したデータに対しても真のデータから再構成したものであると Critic に判別させるための損失である．つまり—2—

図 2 提案する敵対学習における混合話者の音声特徴量生成と，Critic による混合率推定の概略図．

𝑑 𝜔 ( x̂ 𝛼 ) = 0 と出力されるように Critic を欺くための正則化項である．𝜆 は第二項の重みを調整するハイパーパラメータである．

Critic の損失関数 L 𝑑 の第一項は Critic が予測した混合率

Algorithm 1 混合に用いる真の話者埋め込み，偽の話者埋め込みをバッチ単位で抽出するアルゴリズム𝑑 𝜔 ( x̂ 𝛼 ) と真の混合率 𝛼 との二乗誤差である．第二項は Au-

1: batch から speakerlistを抽出

toEncoder の再構成データの精度が低い学習の初期段階を安定

2: fake speakerlist = []させるための項である．この項は入力のデータと再構成された

3: for speaker ∈ speakerlist do

データをハイパーパラメータ 𝛾 ∈ (0, 1) の割合で混合したデー

4:

diﬀerent speakers = []5:

for speaker2 ∈ speakerlist do

6:

if speaker = speaker2 then

タを Critic に入力した際の 𝛼 の予測値の二乗で表される．

3. 2 Adversarial Regularizer を考慮した多話者音声合成の学習法

8:

提案法における，Synthesizer と Critic との敵対学習の概略図を図 2 に示す．

continue

7:

9:

end ifspeaker2 を diﬀerent speakers に追加

10:

end for提案モデルでは，まず各バッチから異なる話者のメルス

11:

diﬀerent speakerを diﬀerent speakers からランダムに選択

ペクトログラムの組 x1 , x2 を用意し，それぞれ学習済みの

12:

fake speakerlistに diﬀerent speakerを追加

Speaker Encoder 𝑓 𝜃 に 入 力 す る ．出 力 さ れ た 話 者 埋 め 込 み
z𝑖 = 𝑓 𝜃 (x𝑖 )(𝑖 ∈ {1, 2}) について，z1 を真の話者埋め込み，z2

13: end for
14: speaker listに対応する true embeddings を抽出
15: fake speaker listに対応する fake embeddings を抽出を混合に用いる偽の話者埋め込みとおく．バッチごとに異なる話者の組と話者埋め込みを選択するアルゴリズムを Algorithm

1 に示す．次に，これらをランダムな割合 𝛼 ∈ [0, 0.5] で混合し，混合された話者埋め込み zmixed を Synthesizer 𝑔 𝜙 に入力する．最後に，出力された混合話者のメルスペクトログラムx̂ 𝛼 = 𝑔 𝜙 (zmixed ) を Critic 𝑑 𝜔 に入力する．Critic は入力されたメルスペクトログラムが混合話者のものであった場合はその混合率 𝛼 を，そうではない場合は 𝛼 = 0 を出力するよう学習する．

Critic の損失関数は，式 (2) と等価である．モデルの更新順序として，まず Critic を更新し，次に Synthesizer に関して式 (3) で与えられる損失関数を定義し，Synthesizer の更新を行う．

L = LTTS + 𝜆∥𝑑 𝜔 ( x̂ 𝛼 )∥2(3)には日本語話し言葉コーパス (Corpus of Spontaneous Japanese:CSJ) [12] を用いた．CSJ コーパスは日本人 1417 名（男性話者947 名，女性話者 470 名）の計 660 時間の発話データを含む．
CSJ の音声データは 16kHz にダウンサンプリングし，フレームシフトは 10ms とした．

Synthesizer の 学 習 に は Japanese versatile speech コ ー パ ス(JVS) [13] のパラレル発話データである voiceactress100 を使用した．voiceactress100 は日本人話者 100 名（男性話者 49 名，女性話者 51 名）の計 22 時間の発話データ（話者ごとに 100発話）を含む．学習には話者 96 名分の発話データを使い，学習データに含まれていない 4 話者 (“jvs005", “jvs010", “jvs060",

これは，従来の音声合成の予測誤差と，前節で述べた adversarial“jvs078") は [11] に準拠して選定し，これらを評価用話者としregularizer の損失のマルチタスク学習と解釈できる．

た．評価用話者の発話を含まない計 9600 発話のデータをラン

4. 実験的評価ダムにシャッフルし，うち 512 発話を検証用，残りを学習用

4. 1 実 験 条 件

ベルが一致しないデータや，収録の失敗により音声が極端に短データとして使用した．voiceactress100 には発話内容と発話ラ宇田川らの先行研究 [11] を参考に，Speaker Encoder の学習—3—

いデータが含まれるため，それらを前処理として取り除いた．

表 1 自然音声の pitch, energy, duration とモデルから推測した pitch,

評価話者のうち “jvs060" の発話数は前処理により 99 であり，そenergy, duration との RMSE．“weighted" と示されているものは正

れ以外の評価話者の発話数は 100 であった．JVS の音声データ解音声の duration を重み付けして計算したことを表す．

は 22.05kHz にダウンサンプリングし，フレームシフトは 12ms

手法

pitchとした．

Speaker Encoder のモデルにおいて， Long short-term memory(LSTM) [14] の最終層の隠れ状態に続く 256 次元への全結合層の活性化関数には ReLU [15] を用い，その後 𝐿 1 正規化を用いて 256 次元の話者埋め込みを推論した．話者埋め込みの学習

pitchenergyenergy(weighted)(weighted)

従来法

3.10

9.06

3.64

9.05

25.9

提案法

2.71

8.12

3.53

8.79

25.2

表 2 未知話者での合成音声についての自然性の比較結果．太字は手法間に 𝑝 < 0.05 の有意差があったことを示す．に用いる GE2E 損失にはソフトマックス損失を用いた．音声話者

従来法

合成ネットワークには Wataru-Nakata により公開されている“jvs005"

0.528

0.472

FastSpeech2 [5] のオープンソース実装 1 を用いた．Critic には 畳

“jvs010"

0.640

0.360

み込みニューラルネットワーク (Convolution Neural Network:“jvs060"

0.4600.540CNN) を用いた．畳み込み層は 5 層とし，層間の活性化関数に“jvs078"

0.568

0.432

は Leaky ReLU [16] を用いた．畳み込み層から出力されたデータを時系列方向に圧縮，シグモイド関数による正規化を行なったものを出力とした．

duration

提案法

表 3 評価話者の合成音声についての話者類似性の比較結果．太字は手法間に 𝑝 < 0.05 の有意差があったことを示す．

FastSpeech2 と Critic は同時に学習を行なった．学習時の最適化には Warmup [16] を用いて学習率スケジューリングを行なった Adam [17] を用い，Warmup step は 4000，学習率の初期値は0.0625 とした．バッチサイズは 8，学習ステップは 20000 とし

話者

従来法

提案法

“jvs005"

0.560

0.440

“jvs010"

0.372

0.628

“jvs060"

0.416

0.584

“jvs078"

0.392

0.608

た．提案法において，敵対学習で用いられるハイパーパラメー
タ 𝛾, 𝜆 には (𝛾, 𝜆) = (0.1, 0.01) を用いた．従来法の学習時では(𝛾, 𝜆) = (0, 0) とし，損失関数における Adversarial Regularizerを考慮する項を除外した．従来法と提案法それぞれでモデルの学習，評価を行なった．

4. 3 主 観 評 価
Lancers2 でのクラウドソーシングにより，提案法と従来法のモデルで合成した評価話者 4 名の発話について，三種類の主観評価によって手法間の差異を調べた．

4. 2 客 観 評 価
評価話者 4 名に対して，自然音声の分散情報と音声合成に用いた分散情報との平均二乗偏差 (Root Mean Squared Error: RMSE)を従来法，提案法について計算し，比較を行なった．音声の分散情報として，FastSpeech2 で学習に利用されている特徴量であるピッチ (pitch)，エネルギー (energy), 音素継続長 (duration)を使用した．各分散情報は音素単位で抽出したものである．一般に，正解データ列 x1 , x2 , · · · , x 𝑁 とその予測 x̂1 , x̂2 , · · · , x̂ 𝑁との RMSE は以下の式で計算できる．
vut
𝑁1 ÕRMSE =∥x𝑖 − x̂𝑖 ∥ 2𝑁

4. 3. 1 未知話者での合成音声の品質の主観評価
従来法と提案法それぞれのモデルで合成した音声の自然性と話者類似性を，どちらの音声がより自然か，もしくは当該話者に似ているか比較実験を行なった．自然性の評価ではプリファレンス AB テストを，話者類似性の評価では参照音声 (X) に当該話者の自然音声を用いたプリファレンス XAB テストを実施した．自然性の評価と話者類似性の評価それぞれにおいて，評価者は 25 名であり，各評価者はランダムに 10 個の音声サンプル対を評価した．合計の評価セット数は 25 × 10 = 250 ずつであった．表 2 に各手法の自然性の評価結果，表 3 に各手法の話(4)𝑖=1

者類似性の評価結果を示す．
表 2 について，“jvs005", “jvs060" の合成音声は従来法と提案pitch, energy に関しては，音素の継続時間を考慮し，duration を二法で有意差は見られず，“jvs010", “jvs078" については従来法の乗誤差の重みとした場合の RMSE の計算も行なった．duration

自然性が提案法を上回る結果となった．これは提案法において，d𝑖 による重み付き RMSE は以下のように計算した．
vut
𝑁1 Õ(x𝑖 − x̂𝑖 ) ⊙ (x𝑖 − x̂𝑖 ) · d𝑖
RMSEweighted =𝑁

Synthesizer の損失関数 (4.1) には Critic のための損失項が含まれているため，自然音声との二乗誤差のみで学習を行なった従

(5)

𝑖=1

来法での合成音声の方が高い自然性を与えたと考えられる．また，Critic が判別するのは混合された 2 話者の話者埋め込みの

表 3 にそれぞれの分散情報の RMSE の結果を示す．全ての分混合率のみであり，学習に音声の自然性に関する項が含まれて散情報について従来法のモデルより提案法の RMSE が小さくいないため，自然性の学習が困難であったことも原因として考なっており，合成音声の分散情報に関しては提案法が従来法よえられる．一方，表 3 を見ると，提案法では “jvs010", “jvs078"

りも良好な予測をしていることがわかる．

における合成音声の話者類似性が有意に向上したことが分かっ（注 1）：https://github.com/Wataru-Nakata/FastSpeech2-JSUT（注 2）：https://www.lancers.jp/—4—

表 4 評価話者の話者埋め込みを混合した合成音声についての自然性の表 5 混合率を変化させた音声による話者モーフィングの操作性の評

主観評価結果．太字は手法間に 𝑝 < 0.05 の有意差があったこと

価値と真の混合率とのを示す．

RMSE が小さくなった（より真の混合率に近い評価結果になっ混合した話者の組

従来法 提案法

RMSE ．太字は従来法より提案法がた）ことを表す．

“jvs005", “jvs010"

0.508

0.492

混合した話者の組

従来法

提案法“jvs005", “jvs078"

0.428

0.572

“jvs005", “jvs010"

0.110

0.0858“jvs010", “jvs060"

0.516

0.484

“jvs005", “jvs078"

0.0985 0.0646“jvs078", “jvs060"

0.404

0.596

“jvs010", “jvs060"

0.0710 0.0701“jvs078", “jvs060"

0.118

0.0941

た．これは，Adversarial Regularizer を考慮した学習を行い，解釈性の高い特徴量空間を得たことで，未知話者の特徴量抽出のおいて従来法より提案法がより自然な話者モーフィングを実現精度が従来法より向上したためと推察される．

していることが分かり，Adversarial Regularizer を考慮した学習

4. 3. 2 補間した話者埋め込みによる合成音声の自然性主観評価
話者埋め込み空間の頑健性の高さを主観評価により確認す
る．評価用話者のうち，2 名の話者埋め込みを等しい割合で線形に混合し，従来法と提案法それぞれのモデルで音声合成をを行なったことで，未知話者の話者埋め込みの補間に対しても有効な埋め込み空間を学習できたことを示唆していると考えられる．

5. お わ り に行なった．各手法の合成音声について，どちらの音声がより自本稿では，Adversarial Regularizer を考慮した敵対学習による然か，比較実験を行なった．評価用話者の組は男性同士の組

多話者音声合成モデルを提案し，実験的評価により手法の有効(“jvs005", “jvs078")，女性同士の組 (“jvs010", “jvs060") ，異性性を検証した．実験の結果，合成音声の主観的な自然性に関し同士の組として学習データの話者との主観的類似度 [18] の高いて改善の余地があるが，話者類似性では従来法を上回る精度の組 (“jvs060", “jvs078")，低い組 (“jvs005", “jvs010") の計 4 組と音声を合成できることが分かった．また，従来法より話者モーした．評価者は 25 名であり，各評価者はランダムに 10 個の音フィングの操作性が改善されたことも確認された．今後は，本声サンプル対を評価した．合計の評価セット数は 25 × 10 = 250

手法で新たに導入している Critic の構造や話者埋め込みの補間であった．表 4 に各手法のスコアの結果を示す．表 4 より，一方法の吟味を行い，より解釈性の高い特徴量空間の構築を検討

部の話者の組・手法において提案法が従来法を上回る自然性とする．

なった．提案法は先述の通り，自然性において従来法に劣る傾謝辞: 本研究は，JST ムーンショット型研究開発事業，JP-向があるが，一方で特徴量空間の解釈性は向上していると考え

MJMS2011（アルゴリズム開発），JSPS 科研費 21K21305（実証られる．そのため，有意差が出た音声に関しては，提案法の特実験）の支援を受けたものです．

徴量空間の解釈性の高さが自然性の低さを上回ったと考察できる．

4. 3. 3 話者モーフィングの操作性の主観評価
2 名の評価用話者の話者埋め込みを 𝛼 ∈ {0, 0.25, 0.5, 0.75, 1}の割合で線形に混合し，これらから合成された音声による話者モーフィングの操作性についての評価を行なった 3 ．受聴者は
まず 2 名の評価話者（話者 A, 話者 B とおく）について，それぞれの話者埋め込みによる合成音声を聴く．次に，話者 A, 話
者 B の話者埋め込みを 𝛼 の割合で混合した話者埋め込みによる合成音声を聴き，スライドバーを使って 5 段階（1 : 間違いな
く話者 A の音声である（𝛼 = 0 に対応）〜 5 : 間違いなく話者

B の音声である（𝛼 = 1 に対応））で評価し，これを一つのタスクとする．評価用話者の組は前小節と同じ 4 組で行なった．評
価者は 50 名であり，各評価者はランダムに 20 個のタスクを行なった．合計の評価セット数は 50 × 20 = 1000 であった．最後にそれぞれの評価結果についてスコアの平均をとり，正規化を行なった．正規化したスコア 𝛼ˆ は 𝛼 の推測結果とみなせる．この推測結果 𝛼ˆ と真の混合率 𝛼 との RMSE を計算した．表 5 に各手法の RMSE の結果を示す．表 5 より，全ての話者の組に（注 3）：主観評価に用いた音声のサンプルは https://bit.ly/3AKO6AW から確認でき文

献[1] Y. Sagisaka: “Speech synthesis by rule using an optimal selection of
non-uniform synthesis units”, Proc. ICASSP, New York, U.S.A., pp.
679–682 (1988).
[2] J. Yamagishi, C. Veaux, S. King and S. Renals: “Speech synthesis
technologies for individuals with vocal disabilities: Voice banking
and reconstruction”, Acoustical Science and Technology, 33, pp. 1–5(2012).
[3] J. Guerreiro and D. G. calves: “Faster text-to-speeches: Enhancing
blind people’s information scanning with faster concurrent speech”,
Proc. ASSETS, Lisbon, Portugal, pp. 3–11 (2015).
[4] A. W. Brack: “Speech synthesis for educational technology”, Proc.
SLaTE, Farmington, U.S.A., pp. 104–107 (2007).
[5] Y. Ren, C. Hu, X. Tan, T. Qin, S. Zhao, Z. Zhao and T.-Y. Liu: “Fastspeech 2: Fast and high-quality end-to-end text to speech”, arXiv,
2006.04558, (2021).
[6] N. Hojo, Y. Ijima and H. Mizuno: “Dnn-based speech synthesis using speaker codes”, IEICE Transactions on Information and Systems,
E101.D, 2, pp. 462–472 (2018).
[7] N. Dehak, P. J. Kenny, R. Dehak, P. Dumouchel and P. Ouellet:“Front-end factor analysis for speaker veriﬁcation”, IEEE Transactions on Audio, Speech, and Language Processing, 19, 4, pp. 788–798(2011).
[8] G. Heigold, I. Moreno, S. Bengio and N. Shazeer: “End-to-end
text-dependent speaker veriﬁcation”, Proc. ICASSP, IEEE Press, pp.
5115–5119 (2016).
[9] Y. Jia, Y. Zhang, R. Weiss, Q. Wang, J. Shen, F. Ren, z. Chen,
P. Nguyen, R. Pang, I. Lopez Moreno and Y. Wu: “Transfer learning

る．

—5—

[10]
[11]

[12]
[13]

[14]
[15]
[16]

[17]
[18]

from speaker veriﬁcation to multispeaker text-to-speech synthesis”,
Advances in Neural Information Processing Systems (Eds. by S. Bengio, H. Wallach, H. Larochelle, K. Grauman, N. Cesa-Bianchi and
R. Garnett), Vol. 31, Curran Associates, Inc. (2018).
G. Hinton: “Reducing the dimensionality of data with neural networks”, Science, 313, pp. 504–507 (2006).
K. Udagawa, Y. Saito and S. Hiroshi: “人間の知覚評価フィードバックによる音声合成の話者適応”, Proceedings of the auditory
research meeting, 51, 6, pp. 297–302 (2021).
前川一高：“Corpus of spontaneous japanese: Its design and evaluation”, Proc. SSPR, Tokyo, Japan, pp. 7–12 (2003).
S. Takamichi, R. Sonobe, K. Mitsui, Y. Saito, T. Koriyama, N. Tanjiand H. Saruwatari: “Jsut and jvs: Free japanese voice corpora for accelerating speech synthesis research”, Acoustical Science and Technology, 41, 5, pp. 761–768 (2020).
S. Hochreiter and J. Schmidhuber: “Long short-term memory”, Neural Comput., 9, 8, pp. 1735–1780 (1997).
X. Glorot, A. Bordes and Y. Bengio: “Deep sparse rectiﬁer neuralnetworks”, AISTATS.
A. L. Maas, A. Y. Hannun and A. Y. Ng: “Rectiﬁer nonlinearities improve neural network acoustic models”, in ICML Workshop on Deep
Learning for Audio, Speech and Language Processing (2013).
D. P. Kingma and J. Ba: “Adam: A method for stochastic optimization” (2014).
Y. Saito, S. Takamichi and H. Saruwatari: “Perceptual-similarityaware deep speaker representation learning for multi-speaker generative modeling”, IEEE/ACM Transactions on Audio, Speech, andLanguage Processing, 29, pp. 1033–1048 (2021).

—6—