DNN 音声合成に向けた主観的話者間類似度を考慮した DNN 話者埋め込み ∗◎齋藤 佑樹，高道 慎之介，猿渡 洋（東大院・情報理工）

1

はじめにDeep Neural Network (DNN) を用いた統計的音声合成 [1] の発展により，自然音声とほぼ同程度の品質の合成音声が生成可能となった [2]．一方で，音声合成技術のさらなる発展および普及には，合成音声の高品質化だけでなく，解釈が容易で制御しやすい音声の潜在表現（すなわち，人間の主観的印象と対応付けが取れた表現）を学習するための技術が重要となる．
本稿では，多様な声色・音高の音声を自在に生成可能な DNN 音声合成の実現を目的として，DNN 音声合成に適した話者表現の学習法を提案する．
DNN 音声合成における最も単純な話者表現は，話者の情報を one-hot ベクトルで与える話者コード [3]である. 学習データに含まれる話者の声質を高精度に再現できるが，(1) 学習データに含まれていない未知話者は表現できず，また，(2) 話者数が増えるにつれてユーザが所望する声質の話者を選択することが困難となる．話者コードの埋め込みおよび適応 [3, 4] によりこれらの問題は緩和できるが，未知話者の声質を完全に再現することは困難である．より効率的な話者表現は，入力音声の話者を特定するように学習された DNN の中間表現（すなわち，連続的な特徴空間への話者埋め込み）を用いることである．d-vector [5]はこの DNN 話者埋め込みの代表例であり，多人数話者の声質変換における話者表現として利用されている [6]．しかし，d-vector は話者を特定するための中間表現であり，その特徴空間内での配置と主観的話者間類似度には相関がないため，ユーザが所望する声質の再現および適応に適した表現であるとは限らない．
本稿では，ユーザが解釈しやすく，また，制御しやすい話者表現を学習するための手法として，主観的話者間類似度を考慮した DNN 話者埋め込みの学習アルゴリズムを提案する．まず，話者間類似度を表す類似度スコア行列を定義するための大規模な主観スコアリングを実施する．提案アルゴリズムでは，話者埋め込みの DNN は類似度スコア行列により定義される損失関数を最小化する．類似度スコアを用いる学習法として，本稿では (1) 類似度スコアベクトル埋め込みと (2) 類似度スコア行列埋め込みの 2 つのアプローチを取る．(1) 類似度スコアベクトル埋め込みに基づく学習では，話者埋め込みの DNN は，従来の話者コードの代わりに類似度スコア行列のベクトルを予測するように学習される．(2) 類似度スコア行列埋め込みに基づく手法では，話者埋め込みの DNN は，話者認識の softmax cross-entropy と，類似度スコア行列と d-vector のグラム行列（すなわち，d-vector から定義される話者間類似度）の差のフロベニウスノルムの重み付き和を最小化するように学習される．実験的評価では，提案アルゴリズムが従来の d-vector よりも主観的話者間類似度と強い相関を持つ話者埋め込みを学習できることを示す．

2

従来の DNN 話者埋め込み

2.1 One-hot 話者コード
話者コード [3] c = [c(1), · · · , c(n), · · · , c(Ns )]⊤ は
学習データに含まれる Ns 人の話者のうちの 1 人を特∗定するための離散的な話者表現である． i 番目の話者に対する話者コード ci は，次式で定義される．
{
1 if n = i(1 ≤ n ≤ Ns )(1)
ci (n) =0 otherwise
学習データに含まれる話者の声質は再現できるが，未知話者の話者コードは定義不可能であり，コードの次元が話者数に比例して大きくなる．さらに，主観的話者間類似度を完全に無視した表現であるため，ユーザが所望する声質を持つ話者の選択は困難である．

2.2 d-vector
d-vector [5] は学習済みの話者認識 DNN のボトルネック特徴量として得られる連続的な話者表現である．話者認識 DNN は，入力された音声特徴量からその話者を特定するように学習される．学習時の損失関数は，次式の softmax cross-entropy で与えられる．
Ns∑LSCE (c, ĉ) = −c (n) log ĉ (n)(2)n=1

ここで，ĉ = [ĉ(1), · · · , ĉ(n), · · · , ĉ(Ns )]⊤ は DNNの 予 測 結 果 で あ る ．Nd 次 元 の d-vector d =[d(1), · · · , d(Nd )]⊤ は，DNN のボトルネック層から抽出される．d-vector の次元数 Nd を話者数 Ns よりも小さくすることで，低次元特徴空間に連続的に分布する話者表現が得られる．i 番目の話者に対する話者表現 di は，当該話者の音声特徴量から抽出された全ての d-vector の平均によって定義される．連続的な特徴空間への話者埋め込みによって，未知話者の話者表現も定義可能 [6] だが，特徴空間での配置と主観的話者間類似度に相関がないため，ユーザにとって解釈しやすく，制御しやすい話者表現であるとは限らない．

3

主観的話者間類似度を考慮した DNN 話
者埋め込み

本稿では，主観的話者間類似度と強い相関を持つ
話者埋め込みを学習するための DNN の学習アルゴリ
ズムを 2 つ提案する．

3.1 類似度スコア行列
提案アルゴリズムでは，受聴者によって知覚される主観的話者間類似度を定義した行列を用いて DNN を学習する．S = [s1 , · · · , si , · · · , sNs ] を Ns × Ns の類
似度スコア行列，si = [si,1 , · · · , si,j , · · · , si,Ns ]⊤ を
i 番目の話者の Ns 次元の類似度スコアベクトルとする．行列の各要素 si,j は −v から v の間の値を取り，i 番目と j 番目の主観的話者間類似度を表す．本稿では，“i 番目と j 番目の話者の声はどれだけ類似しているか？” を評価基準とした主観評価スコアの平均値として si,j を定義する．また，行列 S は対称行列とし，同一話者内の類似度を示す対角成分は主観評価スコアの最大値 v とする．図 1(a) と (b) にそれぞれ
153 名の日本人女性話者の類似度スコア行列とその部分行列を示す．

DNN-based speaker embedding considering subjective inter-speaker similarity towards DNN-based speechsynthesis by SAITO, Yuki, TAKAMICHI, Shinnosuke, and SARUWATARI, Hiroshi (The University ofTokyo).

(a) Full-m at rix(153 fem ale speakers)(b) Sub-m at rix(13 fem ale speakers)

0.8

3F001
F002
F003
F004
F005F006
F007
F008
F009
F010
F011
F012
F013

F045
F101210.00−1−2−3Target
sim. vector

Sim. matrix‫ڮ‬(a) Similarity vector embeddingGram matrix

1Spk.
1Sim. matrix
11111
Spk.

F023
F107
F036

0.4

Fig. 1 (a) 大規模な主観スコアリングにより得られた 153 名の日本人女性話者の類似度スコア行列および (b) その部分行列
OutputAcoustic vectorfeats.

(a) Speaker similarity graph

− 0.4

F106

0.10

0.05

F145A
F043
F067
F128
F049
F143A
F030
F011
F051
F108
F018
F081
F099
F143B
F094
F048
F150F032F031F062F053F090F015F021F126F138F009F065F082F083 F086F061F097F110F085F117F135F007F095F076F050F054F121FP03F073F115FP05F131F144B
F113F125F145B
F136F089
FP01 F104F079
F047F069 F052F098F133
F124F092F111F012F006
F027F034F146A
F114F022F005F146B
F072F0390.00
F075
F130F017
F118F037F122F093F112F127F042F002F132F063F003
F129F028F088F120F068 F035F077F123FP02F008F087F149F119F046F040F078F029
F080
F144AF033F091
F134 F074
F137F016F066
F096F020
F004
F103F116F056 F070
F026F071
F038
F014F010
F064F024FP04F059
F025F055
F001F102F060
F044F019
F105F041
F100 F109F013− 0.05F084 F058
F057

− 0.8
− 0.8

− 0.40.00.40.8

1(b) Similarity matrix embedding

Fig. 2 (a) 類似度スコアベクトル埋め込みに基づく学習および (b) 類似度スコア行列埋め込みに基づく学習における損失関数の計算手順
3.2 類似度スコアベクトル埋め込みに基づく学習
類似度スコアベクトル埋め込みに基づく学習では，話者埋め込みの DNN は類似度スコア行列のベクトルを予測するように学習される．学習時の損失関数は，次式で与えられる．
1(vec)⊤LSIM (s, ŝ) =(ŝ − s) (ŝ − s)(3)Ns
ここで，s ∈ S と ŝ はそれぞれターゲットの類似度ス
コアベクトルと DNN の予測結果である．類似度スコア行列の対角成分は主観評価スコアの最大値を取るように定義されているため，予測スコアの最大値を取ることで，提案アルゴリズムは話者認識 DNN の学習にも適用できる．図 2(a) に提案アルゴリズムにお(vec)ける損失関数 LSIM (·) の計算手順を示す．
3.3 類似度スコア行列埋め込みに基づく学習
類似度スコア行列埋め込みに基づく学習では，行列S によって d-vector 空間の配置に制約を与えて DNNを学習する．D = [d1 , · · · , di , · · · , dNs ] を学習デー
タに含まれる全話者の d-vector を含む Nd × Ns の行列とする．学習時の損失関数は，次式で与えられる．
(mat)

L (c, ĉ, D, S) = LSCE (c, ĉ) + ωs LSIM (D, S) (4)22(mat)eD −SeLSIM (D, S) =(5)K2F
∥1Ns − INs ∥F
e D = KD − (KD ⊙ IN )K
(6)
se = S − vIN
S(7)
sF050
FP03F073
FP05
F136
F089
F047
F124
F092 F006
F111
F034 F027
F146A
F114
F022
F039
F017
F118
F037
F093F112F127
F042F002
F132
F003
F129
F028
F120F008
F087
F149
F119− 0.10− 0.10 − 0.050.000.050.10Fig. 3 (a) 図 1(a) に示す間類似度スコア行列に対応
する話者グラフおよび (b) 赤枠で拡大された部分
ここで，∥·∥2F ，⊙，1Ns ，そして INs はそれぞれ与えられた行列のフロベニウスノルム，Hadamard 積，全ての要素が 1 である Ns × Ns の行列，そして Ns × NseD −Seの単位行列である．2/∥1Ns − INs ∥2F は行列 K(mat)の自由度に対応し，損失関数 LSIM (·) のスケールを正規化する役割を持つ．ωs は，式 (4) の第 2 項に対する重みを調整するハイパーパラメータである．KDは d-vector から計算される Gram 行列であり，次式で与えられる．
k (d1 , d1 ) · · · k (d1 , dNs )

..
..
..
KD = (8).
.
.

k (dNs , d1 ) · · ·Calc.
kernel(b) Zoomed graphk (dNs dNs )ここで，k(di , dj ) は di と dj から計算されるカーネ
ル関数であり，d-vector に由来する話者間類似度に対応する．故に，提案アルゴリズムは，主観的話者間類似度を考慮しつつ，話者を特定できるように話者埋め込みの DNN を学習させる．図 2(b) に提案アルゴリ(mat)
ズムにおける損失関数 LSIM (·) の計算手順を示す．
式 (5) の最小化は，(1) 主観的に類似した話者対は話者埋め込み空間内で近づき，かつ，(2) そうでない話者対は遠ざかるような制約を与えて DNN を学習させる．制御が容易な DNN 音声合成の実現には，少なくとも第一の条件は満たされることが望ましい．そのため，式 (5) を次式に示すように書き換える．
() 22(mat−re)eD −SeLSIM(D, S) =W⊙K2F∥W − Is ∥F(9)
ここで，W = [wi,j ]1≤i,j≤Ns は各成分に対応する類
似度スコア行列の成分が 0 より大きいときに 1 となる行列である．2/∥W − Is ∥2F は行列 W の自由度に(mat−re)
対応し，損失関数 LSIM(·) のスケールを正規化する役割を持つ．この定式化を用いた学習では，類似度スコアが 0 以下の話者対は学習時の制約として考慮されない．

3.4 考察提案アルゴリズムで用いる類似度スコア行列から得られる話者間の関係性は，話者を頂点とし，類似話者間に辺を持つ無向グラフとして可視化できる．図 3(a)および (b) に図 1(a) の類似度スコア行列から定義される話者グラフとその一部を拡大したものを示す．話者グラフを定義する隣接行列は，式 (9) 中の W と同じである．図 3 における各話者の配置は，類似度スコア行列を用いた多次元尺度構成法により決定した．
式 (9) の最小化は，音声特徴量から話者グラフを学習する枠組みと解釈できるため，DNN 音声合成における多人数話者モデリングにグラフ信号処理 [7] やグラ
フ埋め込み [8] の知見を取り入れることが可能となる．

Cum ulat ive rat ioFrequency

これまでに，hidden Markov model (HMM) を用い40,0001.0
たテキスト音声合成 [9] や Gaussian mixture model
0.8
30,000(GMM) を用いた声質変換 [10] における制御が容易な
0.6
潜在変数のモデリング手法が提案されている．これら
20,000の手法では，ある特定の話者の声質に対する “warm0.4– cold” や “clear – hoarse” といった印象語の対と，10,0000.2
HMM や GMM の潜在変数が関連付けされるように00.0学習される．提案アルゴリズムは，これらの手法を−3−2−10123
発展させたものであり，従来の話者ごとの印象ではな
Sim ilarit y score
く，話者間の主観的類似度を考慮して話者埋め込み
Fig. 4 主観的話者間類似度スコアのヒストグラム
DNN を学習させる．さらに，話者の意図と受聴者の（赤線は累積度数）知覚の差（例えば，話者が表現した感情と，受聴者が知覚した感情の違い [11] など）もモデル化できる．
類似度スコア行列埋め込みに基づく提案アルゴリ
出に用いる 4 層目の隠れ層のユニット数は 8 とした．
ズムでは，d-vector の Gram 行列が類似度スコア行
2.2 節および 3.3 節に示す学習アルゴリズムを用いる
列に近づくように DNN を学習させる．埋め込み空間場合，出力層の活性化関数は softmax 関数とした．類上での類似度を定義するカーネル関数には任意のも似度スコア行列 S の各成分は [−1, +1] の範囲に収まのが選択でき，線形カーネルを用いた場合，式 (5) はるように正規化したため，3.2 節に示す学習アルゴリdeep clustering [12] と等価になる（ただし，対角成ズムを用いる場合，出力層の活性化関数は tanh 関数分を除外する点でわずかに異なる）．また，線形カーとした．d-vector を話者表現として用いた先行研究
ネルだけでなく，Gaussian カーネルなどのより複雑[6] と同様に，Ns = {35, 70, 140} 名の話者に加え，無なカーネルも選択できる．
声区間を表す 1 次元スカラー値を話者コードに追加した．DNN の入力は，当該フレームと前後 2 フレー
4 実験的評価
ムにおける 1 次から 39 次のメルケプストラム係数の4.1 実験条件結合ベクトルとした．DNN 学習時には，入力特徴量を平均 0，分散 1 となるように正規化した．メルケプ
4.1.1 大規模な主観スコアリングの条件
ストラム係数の抽出には，STRAIGHT 分析 [14] を提案法で用いる類似度スコア行列 S を得るための用いた．
DNN
学習時の最適化アルゴリズムには，学クラウドソーシングを利用した大規模な主観スコア習率を 0.01 とした AdaGrad [15] を用いた．2.2 節，リングを実施した．音声コーパスとして JNAS [13]3.2 節，そして 3.3 節で述べた全ての学習アルゴリズを使用し，その中から 153 名の日本人女性話者の音ムの反復回数は 100 とした．学習時のミニバッチサ声を用いた．コーパスに含まれる各話者は少なくとも 150 文の読み上げ発話を収録しており，本稿では， イズは 2,048 とし，式 (4) に示すハイパーパラメータωs は 10.0 とした．
その中から選択した 5 発話をテキスト非依存な主観的話者間類似度の評価に用いた．各評価者は，全ての4.2 大規模な主観スコアリング
11,628 話者対からランダムに選択された 34 話者対の
図 1(a) および (b) にそれぞれ 153 名の女性話者の主観的類似度を −3（完全に異なる）と +3（非常に類似度スコア行列とその部分行列を示す．この図よ似ている）の間の整数値で評価した．全ての話者対り，多くの話者対の類似度スコアは 0 以下の値となっは，少なくとも 10 名の異なる評価者により評価されている中で，いくつかの話者対（例えば，図 1(b) のた．最終的に，4,060 名の評価者がスコアリングに参“F010” と “F011”）の類似度スコアは確かに 0 より加し，138,040 件の回答が得られた．
大きな値となっていることが確認できる．図 4 に得られた類似度スコアのヒストグラムを示す．
4.1.2 DNN 話者埋め込みの条件
4.3 客観評価
本稿では，JNAS コーパスを DNN 話者埋め込みの従来のアルゴリズムと提案アルゴリズムを比較する学習にも用いた．各話者の全発話の 9 割を学習に，残ために，話者認識の精度と，提案アルゴリズムにおけりを評価に用いた．大規模な主観スコアリングに用(vec)(mat)(mat−re)る損失関数 LSIM (·), LSIM (·), そして LSIM(·)
いた 5 発話は，学習・評価データの両方から除外しの値を計算した．本稿では，以下の 4 つのアルゴリた．DNN 学習に用いる話者数 Ns は，35, 70, 140 とズムを比較した．
した．図 1(b) に示す 13 名の話者は学習データには含まれなかったが，話者埋め込みと類似度スコアのConv. : 式 (2) の最小化
相関の計算に用いた．類似度スコア行列の各成分は[−3, +3] の範囲に収まるように定義したが，DNN 学
Prop. (vec) : 式 (3) の最小化
習時には各成分が [−1, +1] の範囲に収まるように正Prop. (mat) : 式 (4) の最小化規化した．したがって，3.3 節で述べた類似度スコア
行列埋め込みに基づく提案アルゴリズムでは，カーネ
Prop. (mat-re) : 式 (2) + ωs ×(9) の最小化
ル関数に k(di , dj ) = tanh(d⊤i dj ) として定義されるシグモイドカーネルを用いた. 各話者の d-vector は，客観評価結果を図 5 に示す．ここで，“Prop. (vec)”
当該話者の全発話の有声区間における音声特徴量かにおいて話者認識の精度を計算する際には，DNN のら得られる d-vector の平均として推定した．ここで出力の最大値を取る要素に対応する話者を認識結果の有声・無声判定には，STRAIGHT 分析 [14] によっとした．評価結果より，softmax cross-entropy 最小て得られた F0 を用いた．
化に基づく従来アルゴリズムが最も高い認識精度を話者埋め込み DNN のアーキテクチャは，隠れ層数達成しているが，主観的話者間類似度に関する損失は4，隠れ層の活性化関数に tanh 関数を用いた Feedいずれも減少していないことが確認できる．一方で，Forward 型ネットワークとして構築した．1 層から提案アルゴリズムでは，話者認識精度は低下してい3 層までの隠れ層のユニット数は 256，d-vector の抽るものの，学習に用いた損失関数は確かに減少させProp. (vec)

Prop. (mat)Prop. (mat-re)0.75
0.50(b)

0.6
0.25

0.4
0.3

0.4

0.2

0.2(d)(c)(a) Accuracy

Conv.
0.8

0.13570

1400.03570

140

Number of speakers

Fig. 5 客 観 評 価 結 果:(a) 話 者 認 識 の 精 度 ，(vec)(mat)(b)LSIM (·) の値，(c) LSIM (·) の値，そして (d)(mat−re)LSIM(·) の値

Similarity scores si,j(b) Closed-Open(a) Closed-Closed

1(1) Conv.

(2) Prop. (vec)(3) Prop. (mat)(4) Prop. (mat-re)r = 0.1146

r = 0.6019

r = 0.4288

r = 0.2368

50−11

r = 0.1877

r = 0.5316

r = 0.3589

r = 0.2411

0−1−10

1 −10

1 −10
Value of kernel k(di , dj )1 −10Fig. 7 話者間類似度スコア si,j とカーネル関数
k(di , dj ) の値の散布図と，これらの相関係数 r の値.
この図に含まれる全ての散布図は，類似度スコアが 0より大きい話者対から作成された．

1Fig. 6 話者間類似度スコア si,j とカーネル関数
k(di , dj ) の値の散布図と，これらの相関係数 r の値.
この図に含まれる全ての散布図は，全ての話者対から作成された．

結論

本稿では，DNN 音声合成に適した話者表現を学習するための手法として，主観的話者間類似度を考慮した話者埋め込み DNN の学習アルゴリズムを 2 つ提案した．実験的評価より，提案アルゴリズムは従来のDNN 話者埋め込みである d-vector と比較して主観的話者間類似度と強い相関を持つ話者埋め込みが学習可能であることを示した．今後は，提案アルゴリズムにおけるハイパーパラメータの影響を調査し，DNN音声合成における多人数話者モデリングへ提案アルゴリズムを適用する．
謝辞: 本研究の一部は，セコム科学技術支援財団および JSPS 科研費 18J22090，17H06101 の助成を受け実施した．

参考文献
るように話者埋め込みの DNN を学習させていることが確認できる．故に，提案アルゴリズムは主観的話者間類似度を考慮して DNN 話者埋め込みを学習可能であることが示された．
話者埋め込みと主観的話者間類似度の相関を調査するために，類似度スコア si,j とカーネル関数 k(di , dj )の値の Pearson の相関係数を計算した．図 6 に相関係数 r の値および類似度スコアとカーネル関数の散布図を示す．ここで，“Closed” と “Open” はそれぞれ学習データに含まれる 140 名の話者とそれ以外の 13名の話者を意味する．図 6(1a) および (1b) より，話者認識の softmax cross-entropy 最小化のみで学習された DNN から抽出された従来の d-vector は類似度スコアと弱い相関を持つことが確認できる．一方で，
図 6(2a) および (3a) に示す結果から，提案アルゴリズムである “Prop. (vec)” and “Prop. (mat)” は，類似度スコアと強い相関を持つ DNN 話者埋め込みを学習していることが確認できる．さらに，図 6(2b) および (3b) に示す結果は，提案アルゴリズムが学習デー
タに含まれる話者とそうでない話者間の類似度スコアと強い相関を持つ DNN 話者埋め込みも学習可能であることを示唆している．これらの結果より，提案ア
ルゴリズムは従来の d-vector よりも主観的話者間類似度と強い相関を持つ DNN 話者埋め込みを学習することが示された．また，図 7 に示す，類似度スコアが0 より大きい話者対のみに着目した結果より，“Prop.
(mat-re)” は 4 つのアルゴリズムの中で学習データに含まれる類似話者対の類似度スコアと最も強い相関を持つ話者埋め込みを学習していることが確認でき，このアルゴリズムが主観的に類似した話者対を考慮した DNN 話者埋め込みに最適であることを示唆している．

[1] H. Zen et al., Proc. ICASSP, pp. 3872–3876,
Vancouver, Canada, May 2013.
[2] J. Shen et al., Proc. ICASSP, pp. 4779-4783,
Calgary, Canada, Apr. 2018.
[3] N. Hojo et al., IEICE Transactions on Information Systems, vol. E101-D, no. 2, pp. 462-472,Feb. 2018.
[4] H.-T. Luong et al., Proc. ICASSP, pp. 1905–1909, Calgary, Canada, Apr. 2018.
[5] E. Variani et al., Proc. ICASSP, pp. 4080-4084,
Florence, Italy, May 2014,[6] Y. Saito et al., Proc. ICASSP, pp. 5274–5278,Calgary, Canada, Apr. 2018.
[7] D. I. Shuman et al., IEEE Signal Processing
Magazine, vol. 30, no. 3, pp. 83-98, May. 2013.
[8] P. Goyal et al., Knowledge-Based Systems, vol.
151, pp. 78-94, Jul. 2018.
[9] M. Tachibana et al., Proc. ICSLP, pp. 2438–2411, Pittsburgh, U.S.A., Sep. 2006.
[10] K. Ohta et al., Proc. ICSLP, pp. 101–106,Bonn, Germany, Aug. 2007.
[11] J. Lorenzo-Trueba et al., Speech Communication, vol. 99, pp. 135-143, May 2018.
[12] J. R. Hershey et al., Proc. ICASSP, pp. 31-35,
Shanghai, Chaina, Mar. 2016.
[13] K. Itou et al., Journal of the ASJ (E), vol. 20,no. 3, pp. 199-206, May 1999.
[14] H. Kawahara et al., Speech Communication,vol. 27, no. 3–4, pp. 187-207, Apr. 1999.
[15] J. Duchi et al., Journal of Machine Learning
Research, vol. 12, 2121-2159, Jul. 2011.