社団法人 電子情報通信学会
THE INSTITUTE OF ELECTRONICS,
INFORMATION AND COMMUNICATION ENGINEERS

信学技報
TECHNICAL REPORT OF IEICE.

人間の知覚評価フィードバックによる音声合成の話者適応
宇田川健太†

齋藤

佑樹†

猿渡

洋†

† 東京大学大学院 情報理工学系研究科 〒113–8656 東京都文京区本郷 7-3-1
あらまし

本稿では，人間の知覚評価をフィードバックに用いた多話者テキスト音声合成の話者適応を提案する．従来法では，話者識別によって事前学習した話者エンコーダを用いて目的話者の発話から話者埋め込みを抽出していた．
しかし，従来法では参照音声を用意できない場合に目的話者の話者埋め込みを得ることができない．提案法では，探索パラメータ空間の線分上から人間に一点を選択させることを繰り返して探索する Sequential Line Search を利用して，目的話者の話者埋め込みを探索する．また，話者埋め込み空間から音声を選択するためのシステムとして，音素ごとに複数の話者の音声を切り替えるシステムを開発した．これらのシステムの実験的評価では，客観評価と主観評価に
より提案法の有効性を検証する．
キーワード DNN 音声合成，話者適応，人間参加型機械学習，ベイズ最適化，話者埋め込み

Kenta UDAGAWA† , Yuki SAITO† , and Hiroshi SARUWATARI†† Graduate School of Information Science and Technology, The University of Tokyo, Hongo 7–3–1, Bunkyo-ku, Tokyo,
113–8656 Japan

1. は じ め に者適応が可能であるということや，適応の際にモデルのパラメータを更新する必要がないという利点がある．しかし，従来

テキスト音声合成（Text to Speech; TTS） [1] とはコンピューまでの話者適応の手法では，目的話者の話者埋め込みを得るた

タを用いてテキストから音声を合成する技術であり，近年 Deep

めに目的話者の音声波形を用意しなければならないという問題

Neural Network (DNN) に基づいたテキスト音声合成 [2], [3] が点がある．これは参照音声を用意するのが不可能な状況で従来非常に高い自然性を持つ音声を合成できる手法として注目を集法を使うことができないということを意味する．

めている．テキスト音声合成において，複数の話者の音声を合

本稿では，目的話者の音声波形を用意することができない状成するための技術が多話者テキスト音声合成である．DNN に況においても，ユーザの知覚評価をランダムな初期値の話者埋基づいた多話者テキスト音声合成 [4], [5] では，話者性を表す固め込みにフィードバックすることによって話者適応を行う手法

定長の埋め込みベクトル（話者埋め込み）で音声合成の DNNを提案する．提案法では，ユーザの知覚評価に基づく Sequential

音響モデルを条件付けることによって合成音声の話者性を制御

Line Search (SLS) [8] を用いて目的話者の話者埋め込みを探索すするが，話者埋め込みを DNN 音響モデルと共に学習する方式

る．SLS では探索パラメータ空間上の線分をユーザに選択肢とでは学習データに含まれていない未知話者の音声を合成するこ

して提示し，ユーザは一つのスライダーを操作することでそのとができない．このような未知話者の音声を合成するための技

線分上から一点を選択する．この選択に基づいて，ベイズ最適術が話者適応 [6] である．

化の手法により，ユーザに探索パラメータ空間上の新たな線分

これまで，話者識別のタスクから転移学習を行うことで音声を選択肢として提示する．このプロセスを繰り返すことによっ

合成の話者適応を行う手法が提案されている [7]．この手法でて，ユーザが望むパラメータ点を探索する．ここで話者埋め込

は，DNN 音響モデルとは別に話者識別のタスクで話者エンコー

みを探索パラメータとして SLS を適用するとき，2 つの問題がダを学習する．これにより，話者エンコーダの出力は話者性を発生する．1 つ目は探索パラメータが話者埋め込みという抽象表した表現になっていることが期待され，これを話者埋め込み的なパラメータであり，話者埋め込みから音声波形を直接変形として DNN 音響モデルを条件付けする．音声合成の際は，ますることができないということである．2 つ目は音声が時系列

ず目的話者の音声波形を話者エンコーダに入力し，目的話者のデータであり，SLS で操作するスライダー上での音声の変化を

話者埋め込みベクトルを抽出する．その話者埋め込みベクトル知覚できるユーザインターフェースの設計が容易ではないといでテキスト音声合成システムを条件付けして，目的話者の音声うことである．提案法ではこれらの問題点を解決するために，を合成する．この手法では，数秒程度の少量の音声データで話あらかじめ話者埋め込み空間上の線分から複数の音声を合成し—1—

Speakerembedding

Reference
Waveform

Speaker
embeddingMulti-speaker
TTS System

Speaker
Encoder

Log-melspectrogram
Synthesizer

Waveform

図 2 従来の話者適応の概略図

Vocoder

Speaker
embeddingspace

Speaker
embeddingspace

Phonemesequence

Updateline segment

図 1 多話者テキスト音声合成システムの概略図ておき，再生する音声を音素ごとに切り替えられるシステムをSpeaker
embeddings

Speaker
embedding⋯

新たに開発している．本システムにより，ユーザは一つのスライダーを操作して，連続的に変化する音声から好みの音声を選択する．実験的評価により，提案法は主観的な自然性に改善のWaveforms

2. 従来の話者適応

Chosen Waveform⋰

Multi-speaker
TTS System

余地があるが，客観評価において従来法と匹敵しうる音声を合成できることを示す．

Bayesian
optimization

User chooses
the best waveform

Phonemesequence

図 3 提案する話者適応の概略図

2. 1 多話者テキスト音声合成
2. 1 節では，本稿で用いた多話者テキスト音声合成システム

合成システムに入力することにより，目的話者の話者性を表しについて説明する．図 1 に多話者テキスト音声合成システムのた音声波形を合成する．

概略図を示す．多話者テキスト音声合成システムは，音素列な

2. 3 従来法の問題点

どのテキストと話者埋め込みベクトルから当該話者のメルスペ

従来法では，目的話者の話者埋め込みを獲得するために目的

クトログラムを生成するシンセサイザー，メルスペクトログラ

話者の音声波形を用意する必要がある．これは，例えば目的話

ムから音声波形を合成するボコーダの 2 つの DNN で構成され，者が故人である場合や声を発することができない場合など，参それぞれ個別に学習される．シンセサイザーはテキストと音声

照音声が用意できない状況で従来法を用いることができないとの対と話者埋め込みを用いて学習され，話者埋め込みが表す話いうことを意味する．また従来法では，合成された音声がユー

者のメルスペクトログラムを合成する．ボコーダーはメルスペ

ザが望む話者性を表した音声になっていない場合にフィード

クトログラムと音声波形の対で学習され，メルスペクトログラ

バックを行う仕組みを有していない．

ムから音声波形を合成する．この多話者テキスト音声合成シス
テムの構成は，従来法と提案法で共通した構成になっている．

2. 2 話者識別モデルの転移学習

3. 提案する話者適応
従来の話者適応の問題点を受けて，本稿では人間の知覚評価

話者識別モデルの転移学習に基づく従来の話者適応 [7] では，をフィードバックに用いて話者埋め込みを探索する人間参加型

図 2 のように音声波形から話者性を表す話者埋め込みベクトルの手法を提案する．提案法の概略図を図 3 に示す．提案法でを抽出する話者エンコーダを用いて，目的話者の話者埋め込み

は，ユーザの知覚評価に基づく Sequential Line Search (SLS) [8]を得る．話者エンコーダは，Generalized end-to-end ロス [9] をを用いて目的話者の話者埋め込みを探索する．

最小化するように学習される．これにより，話者エンコーダ出

3. 1 Sequential Line Search (SLS)

力の埋め込みベクトルは同一話者で近く，異なる話者で遠くな

3. 1 節では，提案法の探索アルゴリズムとして用いられているように学習される．話者エンコーダは背景雑音や残響を含んる Sequential Line Search (SLS) [8] を説明する． 𝐷 を探索パラだ音声データで DNN 音響モデルとは別に学習され，学習デー

メータの次元数，探索パラメータ空間を X = [0, 1] 𝐷 ，ユーザのタの話者数が多いほど話者適応の汎化性能が上がるという実験

知覚評価を 𝑔 : X → R とする．SLS ではパラメータ空間 X 上

結果が報告されている [7]．シンセサイザーはテキストと音声の線分からユーザにパラメータ点を選択させるプロセスを繰りの対に加えて，音声波形から事前学習済み話者エンコーダで抽返すことで，次式で定義される x∗ を求める．

出した話者埋め込みで学習される．従来法で話者適応を行う際
は，目的話者の数秒ほどの参照音声から話者埋め込みを抽出し，抽出した話者埋め込みと任意のテキストを多話者テキスト音声x∗ = arg max 𝑔(x)

(1)

x∈X

SLS で 𝑡 回目に提案する線分を 𝑆 𝑡 ，𝑆 𝑡 の端点を x+𝑡−1 , xEI
とす
𝑡−1
—2—

は探索パラメータ空間上のラる．ただし，初期値の端点 x+0 , xEI
0
ンダムな 2 点とする，線分 𝑆 𝑡 上の選択肢から，ユーザがパラ

4. 実験的評価
4. 1 実 験 条 件

メータ点 xchosenを選択することを次式で表す．
𝑡

実験的評価において，話者エンコーダ学習用のデータは CSJ

xchosen≻ {x+𝑡−1 , xEI
𝑡
𝑡−1 }

(2)

性話者名 947 名，女性話者 470 名）の計 660 時間の発話デー

また，𝑡 回目までの選択の情報を次式で表す．
𝑡
𝐷 𝑡 = {xchosen ≻ {x+𝑖−1 , xEI
𝑖−1 }} 𝑖=1

コーパス [11] を用いた．CSJ コーパスは日本人話者 1417 名（男タを含む．CSJ の音声データはサンプリング周波数 16 kHz に(3)

ここで，𝑡 + 1 回目に提案する線分 𝑆 𝑡+1 の端点 x+𝑡 , xEI𝑡 は，次式から決定される 1 ．

ダウンサンプリングし，フレームシフトは 10 ms とした．シンセサイザーの学習・検証・評価用のデータは JVS コーパス [12]のパラレルデータを用いた．JVS コーパスのパラレルデータは日本人話者 100 名（男性話者 49 名，女性話者 51 名）の計 22

x+𝑡 = xchosen𝑡(4)

時間の発話データ（話者ごとに 100 文）を含む．学習データは

EI
xEI
𝑡 = arg max 𝑎 (x; 𝐷 𝑡 )(5)

話者 90 名分の計 20 時間の発話データを用い，学習データに含まれていない 10 名は男女 5 名ずつからランダムにサンプリンx∈Xx+𝑡 , xEI
𝑡 はそれぞれ観測点のうち最良の評価値である点とパラグした．評価データは学習データに含まれていない 10 名から，

メータ空間 X でより良い評価値を最も得やすい点を表す．た

話者適応の困難性におけるコーナーケースとして，学習データ

だし，𝑎 EI (·) は expected improvement (EI) [10] に基づく獲得関の話者との主観的類似度 [13] の平均が高い男性（“jvs078”），低数であり，𝑔+ を観測点のうち最良の評価値として，次式で定義

い男性（“jvs005”），高い女性（“jvs060”），低い女性（“jvs010”）

される．

の 4 名分を選択した．残りの 6 名分は検証データとして使用

𝑎 EI (x; 𝐷 𝑡 ) = E[max{𝑔(x) − 𝑔+ , 0}]

した．JVS コーパスのパラレルデータには発話内容と発話ラベ(6)

ここで獲得関数 𝑎 EI (x; 𝐷 𝑡 ) を計算するために, 𝑔(·) にガウス過程を仮定する．これにより未観測点 x∗ での 𝑔(x∗ ) の値は以下の正規分布に従う．

ルが一致していないデータや，収録の失敗により音声が極端に短いデータが含まれているため，それらを除いたデータを用いた 2 ．評価話者 4 名のうち “jvs060” の発話数は前処理により 99
であり，それ以外の話者では発話数は 100 であった．JVS の音
声データは使用する学習済みニューラルボコーダーの設定に合𝑔(x∗ ) ∼ N (𝜇(x∗ ), 𝜎(x∗ ))

(7)

𝑁

𝑡
た だ し ， 𝜇𝑡 (x∗ ), 𝜎𝑡 (x∗ ) は ，観 測 点 {x𝑖 }𝑖=1での評価値 g =(𝑔(x1 ), · · · , 𝑔(x 𝑁𝑡 )) ⊤ とモデルパラメータ 𝜽 に依存する．観

測点での評価値 g とモデルパラメータ 𝜽 は最大事後確率 (maxi-

mum a posteriori, MAP) 推定によって推定される．これにより，未観測点 x∗ での評価値 𝑔(x∗ ) の確率分布が閉形式で表され，獲得関数 𝑎 EI (x; 𝐷 𝑡 ) を計算でき，𝑡 + 1 回目に提案する線分 𝑆 𝑡+1 の端点 x+𝑡 , xEI
𝑡 を (4), (5) 式から決定できる．

3. 2 音声を対象とした SLS
提案法では，話者埋め込み空間の線分上からユーザが話者埋め込みを選択するために．話者埋め込みの線分上の複数の話者
埋め込みから合成した音声を音素ごとに切り替えられるシステ
ムを採用している．このシステムではスライダーの位置と合成した音声が対応しており，ユーザが音声を選択する際に，シス
テムはユーザが操作しているスライダーの位置に対応する音声を再生する．再生している音声は音素から次の音素に移るタイ
ミングでスライダーが指している音声に切り替えられる．このようにしてユーザは複数の音声を連続的に切り替えて，目的話者に近いと思う音声を選択する．合成音声の音素アライメント
は用いたテキスト音声合成システムの継続長予測器の予測結果を用いている．また，音声を繋げる際はクロスフェード処理をわせるため，22.05 kHz の周波数にリサンプリングし，フレー
ムシフトは 12 ms とした．
テキストからメルスペクトログラムを合成するためのシンセ
サイザーは，ming024 により公開されている FastSpeech 2 [14]のオープンソース実装 3 を用いた．FastSpeech 2 の学習時の最適化には，Warmup [15] を用いて学習率スケジューリングを行った Adam [16] を用い，Warmup step は 4000，学習率の初期値
は 0.0625，バッチサイズは 8，学習ステップは 50000 とした．

FastSpeech 2 を多話者テキスト音声合成に拡張するための話者
埋め込みは以下の 2 種類を使用した．

•

EMB256dim：話者エンコーダの LSTM の最終層の隠れ状態に続く 256 次元への全結合層の活性化関数に ReLU [17] を用い，その後 L1 正規化を用いて推論した 256 次元の話者埋め込み．これは従来法 [7] の話者エンコーダと同じ構造である．

•

EMB16dim：話者エンコーダの LSTM の最終層の隠れ状態に続く全結合層の出力次元を 16 次元にし，活性化関数に

sigmoid を使って推論した 16 次元の話者埋め込み．話者埋め込
みを 16 次元に落とした理由は，ベイズ最適化において有効な探索パラメータの次元数は 10-20 程度が限界とされているからである [18]．また，活性化関数に sigmoid を用いている理由は，

SLS が探索パラメータ空間として [0, 1] 𝐷 （ 𝐷 は探索パラメー

施している．
（注 2）：JVS コ ー パ ス の 前 処 理 は 以 下 の レ ポ ジ ト リ を 参 考 に し た ．https:（注 1）：x+𝑡 の定義は観測点における後述の 𝜇x) の最大値とする設定もあるが，本//github.com/Hiroshiba/jvs_hiho

稿では (4) 式の定義を用いている．

（注 3）：https://github.com/ming024/FastSpeech2—3—

タの次元数）の超立方体を想定しているためである．

2 種類の話者埋め込みはどちらも全結合層＋ ReLU ＋全結合層

1.00

学習率 0.0001 とした Adam [16] を用い，バッチサイズは 8，学習

0.75

ステップは 1000000 とした．本稿では，“EMB256dim” を用い2.00

た従来法，“EMB16dim” を用いた提案法に加えて “EMB16dim”

1.75を用いた従来法の性能も調査した．80 次元のメルスペクト

1.50

る HiFi-GAN [19] の generator_universal モデルを用いた．

SLS はユーザが最後に選んだパラメータ空間上の点を観測点の内で最良の点とする設定を用いた. SLS の線分上から選べる

Mel-spettrogram MAE

1.25

加算される構成にした．話者エンコーダの学習時の最適化は，

ming024 により公開されている FastSpeech 2 のレポジトリにあ

5

10

1.75

15

jvs005 (male)

20

25

15

jvs060 (female)

20

25

30

30
Proposed
TL16dim
TL256dim

1.50
1.25
0.75

0

5

10

2.00

15

jvs010 (female)

20

25

30
Proposed
TL16dim
TL256dim

1.75
1.50

話者適応による合成音声の客観評価指標はメルスペクトログ

1.25

ラムの平均絶対誤差（Mean Absolute Error: MAE）を用いた．

1.00

メルスペクトログラム MAE は，FastSpeech 2 に目的音声の正10

Proposed
TL16dim
TL256dim01.25 倍に拡大してからユーザに提示する設定を有しているが，パラメータはデフォルトのものを使用した．

5

1.00

1.00

するために線分の拡大は使用していない．上記以外のハイパー

0

1.25

点は 20 点とした．また SLS は (4),(5) 式の端点を繋げた線分を
今回はシミュレーションと人間が操作する場合で設定を同一に

Proposed
TL16dim
TL256dim

1.50

を通して 256 次元に射影されてからテキストエンコーダ出力にログラムから時間領域の波形へ変換するためのボコーダーは

jvs078 (male)

1.75

0

5

10

15

SLS step

20

25

30

解音素継続長を与えて計算した．また提案法，従来法ともに

図 4 評価セットの 4 話者ごとに 10 回分のシミュレーションをしたとFastSpeech 2 で合成した音声のポーズ部分にノイズが観測されきのメルスペクトログラム MAE 遷移．薄い青線がシミュレー

たため，音声を合成する際はメルスペクトログラムのポーズ部

ション 1 回分を表し，濃い青線がシミュレーション 10 回分の平分をマスクし，メルスペクトログラム MAE はポーズ部分を除均を表す．赤線が “TL256dim”，緑線が “TL16dim” でのメルスペ

く範囲を計算することで対処した．

クトログラム MAE を表す．

4. 2 シミュレーションによる提案法の客観評価
SLS が提案する線分上から参照音声とのメルスペクトログラ

ら 30 ステップで従来法と同程度のメルスペクトログラム MAE

ム MAE を最小化するように選択して提案法をシミュレーショ

になっているが，女性話者 “jvs060”, “jvs010” においては 30 ス

ンした. このシミュレーションは本来人間が音声を線分上からテップで従来法より劣った性能になっている．これは，話者エ参照音声に近い音声を選択する部分を， 機械的に参照音声とのンコーダの学習用データとして用いた CSJ コーパスに性別の偏メルスペクトログラム MAE が最小になる音声を選択するようりがあり，探索する話者埋め込み空間の性別の割合が偏っていに置き換えた場合の提案法の性能を確かめたものになる．提案たことが原因として考えられる．

法で話者埋め込みを探索する際に合成する文は JVS コーパスの4. 3 人間が操作した場合の提案法の客観評価

パラレルデータの 100 発話文のうち VOICEACTRESS100_001

提案法を操作者 8 名が操作して話者適応を行う実験を実施しを使用した．評価話者での発話 VOICEACTRESS100_001 の長た．提案法は参照音声を使わずに人間の頭の中にある目的話者

さは約 8 秒であった．比較手法としては，以下の 2 つの話者埋に対して話者適応が行えるが，本稿では操作者に目的話者の音め込みを従来法として，提案法と比較した．

声を十分に認知させるため，提案法の操作中に適宜参照音声を（ 1 ） TL256dim：100 発 話 に 対 し て 従 来 法 で 抽 出 し た

聴くことを許し，その参照音声に近い音声を探索するように指“EMB256dim” の話者埋め込みの平均示した．操作者に初めに提示される SLS の線分は，図 4 におけ（ 2 ） TL16dim：100 発 話 に 対 し て 従 来 法 で 抽 出 し たるステップ 1 のメルスペクトログラム MAE が平均値に最も近“EMB16dim” の話者埋め込みの平均い線分で話者ごとに固定した．図 4 におけるステップ 1 のメル

提案法における SLS で線分上から音声を選択する過程を 1

スペクトログラム MAE は初めに提示される線分上のメルスペ

ステップとし，図 4 に提案法を 10 回分シミュレーションした

クトログラム MAE の最小値を意味する．線分上の選択肢から場合の発話 VOICEACTRESS100_001 のメルスペクトログラム

人間が選択するという条件と初期値の線分を固定する条件以外

MAE 遷移を示す．図 4 の赤線と緑線はそれぞれ 2 種類の従来

は，シミュレーション時の条件と同一とした．

法（“TL256dim”, “TL16dim”）の発話 VOICEACTRESS100_001

図 5 に提案法を操作者 8 名が 30 ステップまで操作した場合のメルスペクトログラム MAE を意味する．図 4 の濃い青線の発話 VOICEACTRESS100_001 のメルスペクトログラム MAE（提案法の 10 回分のシミュレーションの平均）に着目すると，遷移を示す．図 4 と同様に，図 5 の赤線と緑線はそれぞれ 2

男性話者 “jvs078”, “jvs005” においては，ランダムな初期値か種類の従来法（“TL256dim”, “TL16dim”） の発話 VOICEAC-—4—

jvs078 (male)1.75

表 1 複数発話のメルスペクトログラム MAE の平均とその 95% 信頼

Proposed
TL16dim
TL256dim

1.50
1.25

区間

Method \ Speaker

1.00
0.75

0

5

10

2.00

15

jvs005 (male)

20

25

Proposed
TL16dim
TL256dim

1.75
1.50

Mel-spettrogram MAE

30“jvs078”“jvs005”“jvs060”“jvs010”“TL256dim”

0.82 ± 0.01 0.96 ± 0.01 0.84 ± 0.01 1.05 ± 0.02

“TL16dim”

0.81 ± 0.01 0.94 ± 0.01 0.84 ± 0.01 1.03 ± 0.01

“SLS-min”

0.88 ± 0.01 1.02 ± 0.01 1.02 ± 0.01 1.22 ± 0.01

“SLS-mean”

1.10 ± 0.02 1.23 ± 0.02 1.25 ± 0.02 1.43 ± 0.02

“SLS-max”

1.49 ± 0.03 1.68 ± 0.02 1.41 ± 0.03 1.55 ± 0.03

1.25
1.00
0

5

10

1.75

15

jvs060 (female)

20

25

30

“jvs005” において “SLS-min” が従来法に匹敵する性能を出して
Proposed
TL16dim
TL256dim

1.50
1.25

0

5

10

2.00

15

jvs010 (female)

20

25

30

min” は従来法にやや劣る性能になっている．この原因としてコーダの学習用データとして用いた CSJ コーパスの話者の性別に偏りがあることが挙げられる．また，“SLS-mean”, “SLS-max”
においては全話者で従来法より大きく劣る性能になっているこ

1.75
1.50

とがわかる．この原因としては，Proposed
TL16dim
TL256dim

1.25
1.00

いる．一方で，女性話者 “jvs060”, “jvs010” においては “SLSは，4.2 節で述べたシミュレーションの考察と同様に，話者エン

1.00
0.75

らないことが分かる．また提案法としては，男性話者 “jvs078”，

0

5

•
10

15

SLS step

20

25

30

図 5 評価セットの 4 話者で提案法を人間 8 名が操作した時のメルス
ペクトログラム MAE 遷移，薄い青線が操作 1 回分を表し，濃い青線が操作 8 回分の平均を表す．赤線が “TL256dim”，緑線が“TL16dim” でのメルスペクトログラム MAE を表す．

SLS で探索する際の話者埋め込み空間に実データに現れないような話者埋め込みが含まれていることで探索効率が低くなっている．

•

提案法ではシステム上，音声の一部分のみで話者埋め込みを比較しており，広い範囲での比較がなされていない．

•

人間の知覚評価と客観評価指標の相関がそこまで大きくない．
といったものが考えられる．しかし，“SLS-min” の性能から，

TRESS100_001 のメルスペクトログラム MAE を意味する．図

探索効率を高める工夫をすれば提案法が 30 程度のステップ数

5 の濃い青線（提案法の操作 8 回分の平均）に着目すると，で従来法に匹敵する性能を出せるということを示唆している．

“jvs078” 以外の話者で，SLS のステップが進むごとにメルスペ

4. 4 人間が操作した場合の提案法の主観評価

クトログラム MAE が減少しており，“jvs060”（女性話者）では提案法と従来法の話者適応によって合成した評価話者 4 名

ステップ 30 でシミュレーションと同程度の性能になっている．

の 100 発話に対して主観評価を実施した. 本稿では，表 1 の実

“jvs078” でメルスペクトログラム MAE が減少傾向にない原因

験で比較した 5 つの話者埋め込みから合成した音声の自然性として，初期値に提案されている音声が既に操作者の知覚評価と話者類似性を，5 段階の Mean Opinion Score (MOS) テスト

基準で目的音声に近く，人間が知覚できる範囲ではメルスペクと Degradation MOS (DMOS) テストによりそれぞれ評価した．

トログラム MAE を改善できなかったことが挙げられる．

Ground-Truth の音声は自然音声とし，自然性の主観評価では比次に，評価話者の 100 発話を用いてメルスペクトログラ

較する 5 種類に加えて Ground-Truth の音声を評価し，話者類

ム MAE を話者ごとに計算し，2 種類の従来法（“TL256dim”,

似性の主観評価では参照音声として Ground-Truth の音声を用い“TL16dim”）に加えて，以下の 3 つの提案法を加えた 5 つの手た．主観評価は評価話者 4 名 × (MOS or DMOS) = 8 個分のタス法を比較した．

クを個別に行った．タスクごとの評価者はクラウドソーシング（ 1 ） SLS-min：図 5 の提案法の最終ステップにおける操作によって集められた 50 名であり，100 発話からランダムに抽出

者 8 名分の話者埋め込みのうち探索に用いた発話とのメルスペ

された 5 発話 × 手法数（MOS テストでは 6 個, DMOS テストでクトログラム MAE が最小になる話者埋め込み

は 5 個）の音声サンプルの品質を評価した．ただし，5 発話中（ 2 ） SLS-mean：図 5 の提案法の最終ステップにおける操

1 発話はダミー音声として用いた．合計の評価セット数は評価

作者 8 名分の話者埋め込みのうち探索に用いた発話とのメルス

話者 4 名 × (MOS or DMOS) × 50（評価者数）= 400 であった．

ペクトログラム MAE が平均に最も近い話者埋め込み

自 然 性 の 主 観 評 価 結 果 を 表 2 に 示 す ．従 来 法 と し て は ，（ 3 ） SLS-max：図 5 の提案法の最終ステップにおける操作“TL256dim” と “TL16dim” に有意水準 5% で有意差はなかっ

者 8 名分の話者埋め込みのうち探索に用いた発話とのメルスペ

た．提案法としては従来法ほどの性能は出せておらず，“jvs060”

クトログラム MAE が最大になる話者埋め込み以外では提案法のうち最大の MOS 値が従来法の MOS 値から 1

結果を表 1 に示す．従来法としては，“TL256dim” を用いたほど下がった値になっており，“jvs060” では提案法のうち最大場合と “TL16dim” を用いた場合でそれほど客観評価指標は変わの MOS 値が従来法の MOS 値から 0.5 ほど下がった値になって—5—

表 2 合成音声の自然性に関する MOS 値とその 95% 信頼区間

MJMS2011 の支援を受けたものです．
文

Method \ Speaker“jvs078”“jvs005”“jvs060”“TL256dim”

4.13 ± 0.10

4.08 ± 0.12

3.82 ± 0.12 4.07 ± 0.12

“TL16dim”

4.22 ± 0.10

4.10 ± 0.11

3.77 ± 0.13 4.13 ± 0.11

“SLS-min”

3.14 ± 0.11

3.11 ± 0.11

3.30 ± 0.13 2.42 ± 0.12

“SLS-mean”

2.73 ± 0.11

3.03 ± 0.12

2.86 ± 0.13 1.37 ± 0.09

“SLS-max”

1.79 ± 0.12 1.255 ± 0.10 2.88 ± 0.13 2.98 ± 0.14

Ground-Truth

4.56 ± 0.10

4.44 ± 0.11

“jvs010”

4.36 ± 0.11 4.14 ± 0.14

表 3 合成音声の話者類似性に関する DMOS 値とその 95% 信頼区間

Method \ Speaker“jvs078”“jvs005”“jvs060”“jvs010”“TL256dim”

3.15 ± 0.13 3.02 ± 0.14 3.68 ± 0.12 3.29 ± 0.13

“TL16dim”

3.29 ± 0.14 2.92 ± 0.13 3.49 ± 0.14 3.23 ± 0.13

“SLS-min”

2.54 ± 0.14 1.96 ± 0.12 2.23 ± 0.13 1.48 ± 0.09

“SLS-mean”

2.45 ± 0.13 2.04 ± 0.12 2.15 ± 0.13 1.57 ± 0.12

“SLS-max”

1.51 ± 0.11 1.16 ± 0.08 2.73 ± 0.14 2.35 ± 0.13

いる．しかし，提案法では目的話者の自然音声から当該話者の埋め込みを直接抽出していないのにも関わらず，全話者で MOS
値 3 程度の自然性を持つ音声を合成可能であることを示唆している．“jvs010” では “SLS-mean”，“SLS-min” が “SLS-max” より大きく劣る MOS 値となっているが，この原因として発話速度が平均と大きく離れていることが考えられる．客観評価では目的音声の音素継続長を与えているため，参照音声との発話速度の差はメルスペクトログラム MAE には表れていない．今後
は，音素継続長の違いが合成音声の自然性に及ぼす影響を調査する．
話者類似性の主観評価結果を表 3 に示す．従来法としては，“TL256dim” と “TL16dim” に有意水準 5% で “jvs060” に有意差があり，他の話者では有意差はなかった．しかし，“jvs060” 以外の全ての話者で “TL256dim” が “TL16dim” より優れている
わけではないため，“TL256dim” と “TL16dim” にそれほど性能差はないと考えられる．提案法としては，自然性評価の結果と同じく従来法ほどの性能は出せていない．自然性と話者類似性の相関を調べるため，全話者の従来法と提案法における自然性の MOS 値と話者類似性の DMOS 値の相関係数を計算したところ，0.90 という値になり，かなり強い相関が見られた．このことから，合成音声の自然性が話者類似性に大きく影響を与えていると考えられる．

5. お わ り に
本稿では，参照音声を必要とせず，人間の知覚評価のみをフィードバックに用いる話者適応の手法を提案し，実験的評価
によりその有効性を検証した．実験の結果，提案法は主観的な自然性に改善の余地があるが，客観評価において従来法と匹敵

献[1] Y. Sagisaka: “Speech synthesis by rule using an optimal selection of
non-uniform synthesis units”, Proc. ICASSP, New York, U.S.A., pp.
679–682 (1988).
[2] H. Zen, A. Senior and M. Schuster: “Statistical parametric speechsynthesis using deep neural networks”, Proc. ICASSP, Vancouver,
Canada, pp. 7962–7966 (2013).
[3] J. Shen, R. Pang, R. J. Weiss, M. Schuster, N. Jaitly, Z. Yang, Z. Chen,
Y. Zhang, Y. Wang, R. Skerry-Ryan, R. A. Saurous, Y. Agiomyrgiannakis and Y. Wu: “Natural TTS synthesis by conditioning WaveNeton mel spectrogram predictions”, Proc. ICASSP, Calgary, Canada,
pp. 4779–4783 (2018).
[4] H.-T. Luong, S. Takaki, G. E. Henter and J. Yamagishi: “Adapting and controlling DNN-based speech synthesis using input codes”,
Proc. ICASSP, New Orleans, U.S.A., pp. 1905–1909 (2017).
[5] N. Hojo, Y. Ijima and H. Mizuno: “DNN-based speech synthesis using speaker codes”, IEICE Transactions on Information and Systems,
E101-D, 2, pp. 462–472 (2018).
[6] Z. Wu, P. Swietojanski, C. Veaux, S. Renals and S. King: “A study of
speaker adaptation for DNN-based speech synthesis”, Proc. INTERSPEECH, Dresden, Germany, pp. 879–883 (2015).
[7] Y. Jia, Y. Zhang, R. Weiss, Q. Wang, J. Shen, F. Ren, Z. Chen,
P. Nguyen, R. Pang, I. L. Moreno and Y. Wu: “Transfer learning fromspeaker veriﬁcation to multispeaker text-to-speech synthesis”, Proc.
NeurIPS, Montreal, Canada, pp. 4480–4490 (2018).
[8] Y. Koyama, I. Sato, D. Sakamoto and T. Igarashi: “Sequential line
search for eﬃcient visual design optimization by crowds”, ACM
Trans. Graph., 36, 4, pp. 1–11 (2017).
[9] L. Wan, Q. Wang, A. Papir and I. L. Moreno: “Generalized end-toend loss for speaker veriﬁcation”, Proc. ICASSP, Alberta, Canada,
pp. 4879–4883 (2018).
[10] D. R. Jones, M. Schonlau and W. J. Welch: “Eﬃcient global optimization of expensive black-box functions”, Journal of Global optimization, 13, 4, pp. 455–492 (1998).
[11] K. Maekawa: “Corpus of spontaneous Japanese: Its design and evaluation”, Proc. SSPR, Tokyo, Japan, pp. 7–12 (2003).
[12] S. Takamichi, R. Sonobe, K. Mitsui, Y. Saito, T. Koriyama, N. Tanjiand H. Saruwatari: “JSUT and JVS: Free Japanese voice corpora
for accelerating speech synthesis research”, Acoustical Science andTechnology, 41, 5, pp. 761–768 (2020).
[13] Y. Saito, S. Takamichi and H. Saruwatari: “Perceptual-similarityaware deep speaker representation learning for multi-speaker generative modeling”, IEEE/ACM Transactions on Audio, Speech, andLanguage Processing, 29, pp. 1033–1048 (2021).
[14] Y. Ren, C. Hu, X. Tan, T. Qin, S. Zhao, Z. Zhao and T.-Y. Liu: “Fastspeech 2: Fast and high-quality end-to-end text to speech”, Proc.
ICLR, Virtual Conference (2021).
[15] P. Goyal, P. Dollár, R. B. Girshick, P. Noordhuis, L. Wesolowski,
A. Kyrola, A. Tulloch, Y. Jia and K. He: “Accurate, large minibatch
SGD: Training imagenet in 1 hour”, arXiv, abs/1706.02677, (2017).
[16] D. Kingma and B. Jimmy: “Adam: A method for stochastic optimization”, arXiv preprint arXiv:1412.6980 (2014).
[17] X. Glorot, A. Bordes and Y. Bengio: “Deep sparse rectiﬁer neuralnetworks”, Proc. AISTATS, Lauderdale, U.S.A., pp. 315–323 (2011).
[18] R. Moriconi, M. P. Deisenroth and K. S. Kumar: “High-dimensional
bayesian optimization using low-dimensional feature spaces”, Machine Learning, 109, 9, pp. 1925–1943 (2020).
[19] J. Kong, J. Kim and J. Bae: “HiFi-GAN: Generative adversarial networks for eﬃcient and high ﬁdelity speech synthesis”, Proc. NeurIPS,
Virtual Conference, pp. 17022–17033 (2020).

しうる音声を合成できることが分かった．今後は，探索する話
者埋め込み空間を学習データの範囲に狭めるなど，提案法の探
索効率と合成音声の品質を改善するための手法を検討する．
謝辞: 本研究は，JST，ムーンショット型研究開発事業，JP-—6—