情報処理学会研究報告
IPSJ SIG Technical Report

主観的話者間類似度を考慮した DNN 話者埋め込みのためのActive Learning
齋藤 佑樹1,a)

高道 慎之介1,b)

猿渡 洋1,c)

概要：本稿では，主観的話者間類似度のスコアリングと，Deep Neural Network (DNN) を用いた話者埋め込みの学習を反復する active learning を提案する．我々はこれまでに，話者間類似度の主観スコアリング
結果に基づく DNN 話者埋め込みの学習法を提案し，多話者音声生成における合成音声の品質と制御性の改善効果を確認している．しかしながら，この学習法は，主観スコアリングの作業コストと，話者埋め込
み学習時の計算コストを要する．提案法では，DNN 話者埋め込みの学習に用いる話者間の主観的な類似度
スコアが一部だけ観測されていると仮定し，(1) 観測されているスコアを用いた DNN 話者埋め込み学習と(2) 話者埋め込み由来の類似度に基づく優先度付きのスコアリングを反復する．実験的評価の結果より，提案法がコストを削減しつつ多話者音声生成モデリングに適した DNN 話者埋め込みを学習することを示す．

Yuki Saito1,a)Shinnosuke Takamichi1,b)

1. はじめにHiroshi Saruwatari1,c)Perceptualsim. matrix

Spkr. pairs

3 (similar)

Human
listener

話者埋め込みとは，音声からその話者を特定するための特徴量であり，話者性に関する分散表現である．特に，Deep Neural Network (DNN) に基づく speaker encoder により学習される DNN 話者埋め込み [1] は，話者認識 [2] や話者ダイアライゼーション [3] などの識別的タスクにおいて精度の改善に大きく貢献している．また，代表的な DNN(a) Perceptual similarity scoring
Acousticfeats.
Spkr.
encoder

Embeddingderived sim.
Similarity
prediction

話者埋め込みである d-vector [2] は，テキスト音声合成 [4]Interpretablespkr. embeddings

や音声変換 [5] などの生成的タスクにおいて合成音声の話

െ3 (dissimilar)
Perceptual
sim.
‫כ‬

‫ܮ‬ୗ୍୑ ‫ڄ‬Loss to predict sim.
Vector Matrix Graph

者性を制御するための話者表現としても利用されている．
(b) Speaker encoder training
considering perceptual similarity

しかしながら，話者識別に基づく DNN 話者埋め込みは，話者間の主観的な類似度を考慮していないため，人間にとって解釈しにくい話者表現であり，話者性制御の困難性や，音声合成モデルの話者適応時の品質劣化 [4], [6] といった問題が生じる．
この問題に対し我々は，話者間の主観的な類似度を考慮し，人間にとって解釈しやすい DNN 話者埋め込みを学習する手法を提案している [7], [8]．この手法は，図 1 に示
すように，話者間類似度の主観スコアリングと，類似度スコアを用いた DNN 話者埋め込みの学習から構成される．
1
a)
b)
c)

東京大学, 7-3-1 Hongo, Bunkyo-ku, Tokyo 113-8656, Japan.
yuuki saito@ipc.i.u-tokyo.ac.jp
shinnosuke takamichi@ipc.i.u-tokyo.ac.jp
hiroshi saruwatari@ipc.i.u-tokyo.ac.jp

c 2012 Information Processing Society of Japan⃝図 1

主観的話者間類似度を考慮した DNN 話者埋め込み

主観スコアリングでは，話者間の主観的な類似度を表す類
似度スコア行列を定義し，話者埋め込みの学習では，話者埋め込みを用いて主観的な話者間の類似度を予測するように speaker encoder を学習する．この学習法として，類似
度スコア行列のベクトル，行列全体，そして行列から導出されるグラフを用いる手法を提案している．この手法は，従来の d-vector よりも主観的話者間類似度と強い相関を持ち [7]，Variational AutoEncoder (VAE) [9] に基づく多対
多音声変換 [5] における話者適応 [7] や，Tacotron2 [10] に基づく End-to-End クロスリンガル音声合成 [11] の品質改1

情報処理学会研究報告
IPSJ SIG Technical Report

: ??
: ??
: ??
: ??
: ??

To what degree do these two
speakers' voices soundsimilar?
(−3: dissimilar 䡚 +3: similar)
“+2”
Score

(a) Full-matrix(153 female speakers)(b) Sub-matrix(13 female speakers)

Audio
Listener

図2

話者間類似度の主観スコアリング．各評価者は，提示された話
者対の音声の主観的な類似度を −v から v の間の整数で評価

Acousticfeats.

Outputvector࢙ොSim. matrix݇ ࢊଵ ǡ ࢊࡺ౩‫ݏ‬ଵǡே౩

‫܁‬

‫ڮ‬

1

୫ୟ୲

‫ܮ‬ୗ୍୑

ܰୱ

1
‫ڄ‬
‫ڮ‬

‫ڮ‬

‫ڮ‬

ࢊே‫ܰ ܛ‬ୱ

ܰୱ th
spkr.

ܰୱ

Calc.
kernel
݇ ‫ڄ‬

1

ܰୱ

(b) Similarity matrix embedding

観スコアリングにおける優先度を決定するクエリ戦略の影
ࢊଵ

1st
spkr.

Sim. graph‫ڮ‬

時の計算コストの両方を削減しつつ，多話者音声生成モデ

2. 主観的話者間類似度を考慮した DNN 話者
埋め込み [7], [8]‫܁‬Gram matrix۹۲۲

1

つよりよい話者埋め込みを学習する．また，本稿では，主リングに適した話者表現を学習することを示す．

Sim. matrix

‫ڮ‬

۲ୃ

由来の類似度に基づく優先度付きの主観スコアリングを反

主観スコアリングの作業コストと DNN 話者埋め込み学習−3(a) Similarity vector embedding

ࢊଵ

1st
spkr.

アを用いた DNN 話者埋め込みの学習と (2) 話者埋め込み

響も実験的に調査する．実験的評価の結果から，提案法が

−2

୴ୣୡ

Spkr.
encoder

め込みをより効率的に学習するための active learning を提復することで，作業コストと計算コストの両方を削減しつ−1‫ܮ‬ୗ୍୑ ‫ڄ‬

本稿では，主観的話者間類似度を考慮した DNN 話者埋部だけ観測されていると仮定し，(1) 観測されているスコ

0Targetsim. vector࢙

対するスケーラビリティの観点で課題が残っている．

案する．提案法では，話者間の主観的な類似度スコアが一1

行列

善に有効な DNN 話者埋め込みを学習できる．一方で，こ者埋め込み学習の計算コストを要するため，学習話者数に2

図 3 (a) 153 名の女性話者間の類似度スコア行列と (b) その部分する．ここでは，v = 3 とした．

の手法では，主観スコアリングの作業コストや，DNN 話

3

F001
F002
F003
F004
F005
F006
F007
F008
F009
F010
F011
F012
F013

‫ڮ‬

Spkr. pair pool

ܰୱ th
spkr.

ࢊே‫ܛ‬

Link
prediction‫݌‬ଵǡே౩

୥୰ୟ୮୦‫ܮ‬ୗ୍୑

‫ڄ‬

ܽଵǡே౩

1:
connected
0: disconnected

1
ܽଵǡே౩

ܰୱ

(c) Similarity graph embedding

図 4 (a) 類似度スコアベクトル埋め込み，(b) 類似度スコア行列埋め込み，(c) 類似度グラフ埋め込みに基づく DNN 話者埋め込

2.1 主観スコアリングと類似度スコア行列
我々の従来法 [7], [8] では，音声の受聴者によって知覚さ

みの学習

2.2 主観的話者間類似度に基づく学習法

れる主観的話者間類似度を定義した行列を用いて speaker

我々はこれまでに，類似度スコア行列の表現形式として，

encoder を学習する．Ns を主観スコアリングに用いる話(1) スコア行列のベクトル，(2) スコア行列全体，そして (3)者数，S = [s1 , · · · , si , · · · , sNs ] を Ns × Ns の類似度スコ

スコア行列から導出されるグラフの構造を用いる DNN 話

ア行列，si = [si,1 , · · · , si,j , · · · , si,Ns ]⊤ を i 番目の話者のNs 次元類似度スコアベクトルとする．行列の各要素 si,j は者埋め込みの学習法を提案している [7], [8]．

2.2.1 類似度スコアベクトル埋め込み−v（全く似ていない）から v（非常に似ている）の間の値

類似度スコアベクトル埋め込みでは，音声特徴量を入力を取り，i 番目と j 番目の主観的話者間類似度を表す．本

とし，当該話者の類似度スコアベクトルを予測するように

稿では，図 2 に示すように，“i 番目と j 番目の話者の声はspeaker encoder を学習する．学習時の損失関数は，次式どれだけ類似しているか？” を評価基準とした主観評価ス

で与えられる．

コアの平均値として類似度スコア si,j を定義する．また，(vec)

LSIM (s, ŝ) =行列 S は対称行列とし，同一話者内の類似度を示す対角成
分は主観評価スコアの最大値 v とする．図 3(a) と (b) にそれぞれ 153 名の女性話者の類似度スコア行列とその部分行列を示す．

1⊤(ŝ − s) (ŝ − s)Ns(1)

ここで，s ∈ S と ŝ はそれぞれターゲットの類似度スコア
ベクトルと DNN の予測結果である．図 4(a) に損失関数(vec)

LSIM (·) の計算手順を示す．
2.2.2 類似度スコア行列埋め込み
類似度スコア行列埋め込みでは，行列 S によって話者埋

c 2012 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report

め込み空間の配置に制約を与えて speaker encoder を学習する．di = [di (1), · · · , di (Nd )]⊤ を i 番目の話者の Nd 次
元話者埋め込み，D = [d1 , · · · , dNs ] を学習データに含まれる全話者の話者埋め込みを含む Nd × Ns の行列とする．
学習時の損失関数は，次式で与えられる．

2

(mat)

LSIM (D, S) =2
∥1Ns − INs ∥F

eD − S
e
K

2

(2)
F

e D = KD − (KD ⊙ INs )K
e = S − vINs
S

図 5 図 3(b) に示す 13 名の類似度スコア行列から導出される類似度グラフ．各節点が各話者を表し，主観的に類似した話者対(3)（即ち，si,j > 0）の間に辺が張られている．ここでは，より主(4)観的に類似した話者対により太い辺が張られている．

ここで，∥·∥2F ，⊙，1Ns ，そして INs はそれぞれ行列のフ

Vector Matrix Graph

ロベニウスノルム，Hadamard 積，全ての要素が 1 であSpkr. pair poolる Ns × Ns の行列，そして Ns × Ns の単位行列である．

eD −S
e の自由度に対応し，損失関2/∥1Ns − INs ∥2F は行列 K

Score

(mat)

数 LSIM (·) のスケールを正規化する役割を持つ．KD は: -1

Annotationk (d1 , d1 )..
KD = 
.
k (dNs , d1 )

···
..
.
···


k (d1 , dNs )

..

.

k (dNs dNs )Queryselection(5)

ここで，k(di , dj ) は di と dj から計算されるカーネル関数
であり，話者埋め込みに由来する話者間類似度に対応する．
(mat)

図 4(b) に損失関数 LSIM (·) の計算手順を示す．
類似度グラフ埋め込みでは，話者を節点とし，類似話者
対に辺が張られる類似度グラフ（図 5）を構築し，話者埋め込みの対から類似度グラフの辺の有無を予測するように

speaker encoder を学習する．学習時の損失関数は，次式で与えられる．
(graph)Spkr. encoder

図 6

: ??
: ??

Score
prediction

Selected: HSF

Predicted
: +3

: MSF

: 0

: LSF

: -2

主観的話者間類似度を考慮した DNN 話者埋め込みのためのactive learning

Active learning [13] は少数のラベル付きデータと多数のラ

2.2.3 類似度グラフ埋め込み

LSIM

Spkr. encoder
training

Unscored: ??

話者埋め込みから次式で計算される Gram 行列である．



Scored: +3

ベルなしデータを用いて機械学習モデルを逐次的に学習するための枠組みであり，(1) ラベル付きデータを用いたモデル学習と (2) 学習後のモデルを用いて次にラベル付けすべきデータを決定するクエリ選択を交互に反復する．
図 6 に主観的話者間類似度を考慮した DNN 話者埋め込みのための active learning の概念図を示す．ここでは，(D, A) = −NsXai,j log pi,j(6)

i,j=1,i̸=j

−

Ns
X

Ns C2 の話者対をスコア付けされた群 Ds とそうでない群

Du の 2 群に分割し，Du に含まれる話者対の類似度スコア
は学習開始時には観測されていないと仮定する．

(1 − ai,j ) log (1 − pi,j ) ,i,j=1,i̸=j

3.1 スコア付けされた話者対を用いた話者埋め込み学習

ここで，ai,j は類似度グラフの隣接行列の要素であり，類話者埋め込み学習では，スコア付けされた話者対 Ds の似度スコア si,j の値に基づいてグラフの辺の有無を決定す

データを用いて speaker encoder を学習する．この学習でる．本稿では，類似度スコア行列の値を [0,1] の範囲に正は，2.2 節で述べたいずれかの損失関数を最小化する．こ

規化することで類似度グラフの隣接行列を定義する．pi,j

こで，各 active learning の反復で，speaker encoder のモは話者埋め込みから計算される辺の生起確率であり，本稿

デルパラメータはリセットされずに逐次的に更新される．

では文献 [12] を参考に pi,j = exp(−||di − dj ||22 ) とする．
(graph)
図 4(c) に損失関数 LSIM (·) の計算手順を示す．

3.2 スコア付けされていない話者対からのクエリ選択

3. 提案する active learning

クエリ選択では，まず，逐次的に学習された speaker

encoder を用いて，次にスコア付けすべき話者対を選択す前述した DNN 話者埋め込み学習法における主観スコアる際の基準となるクエリ（即ち，Du に含まれる話者対に対リングの作業数は，学習話者数 Ns の 2 乗に比例する．本する仮の類似度スコア）を生成する．次に，oracle（例えば，

稿では，この作業コストを削減しつつ，効率的に DNN 話

人間のアノテータ）がより高い優先度の話者対に対してス

者埋め込みを学習するための active learning を提案する．

コア付けを行う．この枠組みでは，スコア付けすべき話者

c 2012 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical Report

対の優先度を決めるクエリ戦略が重要な役割を持つ．本稿(a) Fully scored (FS)(b) Partially scored (PS)では，クエリ戦略として (1) 予測された類似度が最も小さN/Aい（即ち，−v に近い）話者対を優先する Lower-Similarity

First (LSF)，(2) LSF の逆に対応する Higher-Similarity
First (HSF)，そして (3) 予測された類似度が最も 0 に近い

N/A

話者対を優先する Middle-Similarity First (MSF) の 3 つを比較する．

図 7 Active learning における (a) Fully Scored (FS) と (b) Par-3.3 考察提 案 す る active learning は ，Human-In-The-Loop

tially Scored (PS) の設定

込みは，当該話者の全発話の有声区間における音声特徴量(HITL) [14] の DNN 話者埋め込み学習として解釈できから得られる埋め込みの平均として推定した．

る．この観点から，人間の知覚評価に基づく音声合成の学

4.1.2 多話者音声生成の条件

習（例えば，DNN ベースの識別器を人間で置き換えた敵

本稿では，多話者音声生成モデルとして，音素事後確率

対的生成ネットワーク [15]）の実現も期待できる．

(Phonetic PosteriorGram: PPG) [20] と話者埋め込みで条4. 実験的評価件付けた VAE [5] を用いた．PPG を予測する DNN のアー

4.1 実験条件数を用いた Feed-Forward 型ネットワークとして構築した．

キテクチャは，隠れ層数 4，隠れ層の活性化関数に tanh 関

本稿では，我々の従来法 [7], [8] と同様に，JNAS コーパ

隠れ層のユニット数は，全ての層で 1024 とした．DNN のス [16] の 153 名の日本人女性話者間の類似度スコア行列

入力は話者埋め込みのものと同じであり，speaker encoder

S を用いた．音声データのサンプリング周波数は 16 kHz，の学習時に用いた各話者のおよそ 50 文ずつの音声を用いフレームシフトは 5 ms とした．スペクトル特徴量としてて，43 次元の PPG を推定するように学習した．学習のエ

STRAIGHT 分析 [17] により得られた 39 次のメルケプス

ポック数は 100 とした．VAE の DNN アーキテクチャは，トラム係数を，音源特徴量として対数 F0，5 帯域の非周

encoder と decoder から構成される Feed-Forward 型ネッ

期性指標 [18] を用いた．DNN 学習時には，図 3(b) に示

トワークとした．Encoder は，活性化関数に ReLU を用い

す “F001” から “F013” の 13 名以外の 140 名のデータのうた 2 層の隠れ層を持ち，メルケプストラム係数とその動的

ち，話者間類似度の主観スコアリングに用いた各話者の 5

特徴量と 43 次元の PPG の結合ベクトルから 64 次元の潜発話を除く全発話の 9 割を用いた．

在変数を抽出するように構成した．第 1 層と第 2 層の隠れ4.1.1 DNN 話者埋め込み学習の条件

層のユニット数はそれぞれ 128，64 とした．Decoder は，

本稿では，2.2 節で述べた 3 つの学習法（類似度 { スコencoder と対称の隠れ層を持ち，潜在変数，PPG，話者埋

アベクトル，スコア行列，グラフ } 埋め込み）を比較した．

め込みの結合ベクトルから，メルケプストラム係数とそのSpeaker encoder の DNN アーキテクチャは，隠れ層数 4，

動的特徴量を復元するように構成した．学習のエポック数

隠れ層の活性化関数に tanh 関数を用いた Feed-Forward 型

は 25 とした．合成音声波形の生成には，1 次から 39 次のネットワークとして構築した．1 層から 3 層までの隠れ層

メルケプストラム係数，自然音声の 0 次メルケプストラムのユニット数は 256，話者埋め込みの抽出に用いる 4 層目

係数，F0，非周期性指標を用いた．

の隠れ層のユニット数は 8 とした．Speaker encoder の入

4.1.3 Active learning の条件

力は，1 次から 39 次のメルケプストラム係数とその動的特Active learning では，図 7(b) に示すように，140 名の徴量の結合ベクトルとした．学習時には，入力特徴量を平学習話者を 2 群（前半 70 名と後半 70 名）に分割し，異な均 0，分散 1 となるように正規化した．学習時の最適化にる群の間で話者間類似度スコアは観測されていないというは，学習率を 0.01 とした AdaGrad [19] を用いた．

設定から学習を開始した．本稿では，(1) スコア付けされ類似度スコアベクトル埋め込みに基づく学習 (“Sim.

た話者対を用いた 1 エポックの DNN 話者埋め込み学習と(vec)”) では，類似度スコア行列 S の各成分を [−1, +1] の(2) 学習された話者埋め込みを用いたクエリ選択を反復し範囲に収まるように正規化し，ユニット数を 140，活性化た．Active learning の反復回数は 115 とし，各反復毎のク関数を tanh 関数とする出力層を追加した．類似度スコア

エリ数は実験的に 43 と設定した．

行列埋め込みに基づく学習 (“Sim. (mat)”) では，カーネ

本稿では，提案する active learning の有効性を，2.2 節でル関数に sigmoid カーネルを利用し，同様のスコア正規

述べた各学習法 (“Sim. (*)”) 毎に独立に評価した．ここで，化を行った．類似度グラフ埋め込みに基づく学習 (“Sim.

3.2 で述べた 3 つのクエリ戦略 (“LSF”, “HSF,” “MSF”) に(graph)”) では，スコアを [0, 1] の範囲に収まるように正規

加え，active learning を用いずに，図 7(a) と (b) に示すス

化して類似度グラフの隣接行列を定義した．各話者の埋め

c 2012 Information Processing Society of Japan⃝4

情報処理学会研究報告
IPSJ SIG Technical Report

コア付けでそれぞれ speaker encoder を 115 エポック学習

表1

合成音声の自然性に関する MOS 値．表の 2 列目は，スコア付

させた Fully Scored (“FS”) と Partially Scored (“PS”) もされた話者対の割合を意味する． 太字の MOS 値は p > 0.05

比較した．

で “FS” と有意差がないことを意味する
Sim. (vec)Sim. (mat)

4.2 客観評価

PS

50.0%

MSF

2.91±0.14

Sim. (graph)

2.98±0.13

2.94±0.1462.5%

2.99±0.12

2.97±0.13

3.11±0.13

客観評価として，話者埋め込みの対を用いて当該話者対

75.0%

3.11±0.13

3.02±0.13

3.12±0.14

が主観的に類似しているかどうかを判定する 2 値分類モ

87.5%

3.18±0.13

3.04±0.13

3.13±0.14100%

3.19±0.13

3.02±0.12

3.18±0.13

デルの Area Under the ROC Curve (AUC) [21] を計算しFSた．AUC は 0.5 から 1.0 の値を取り，値が 1 に近ければ近いほどより精度が高い 2 値分類モデルであることを意味す

表2

合成音声の話者類似性に関する DMOS 値．表の 2 列目は，スコア付された話者対の割合を意味する． 太字の DMOS 値はる．本稿では，提案する active learning の反復によりこの

p > 0.05 で “FS” と有意差がないことを意味する
Sim. (vec)Sim. (mat) Sim. (graph)

AUC がどのように変化するかを評価した．
図 8 に評価結果を示す．この図中の赤線と青線はそれ

PS

50.0%

2.85±0.14

2.90±0.13

2.86±0.13

ぞれ “FS” と “PS” の状態から active learning を用いずに

MSF

62.5%

2.95±0.14

2.93±0.13

3.03±0.13

speaker encoder を 115 エポック学習させた後の最終的な

75.0%

3.04±0.14

3.00±0.13

3.02±0.13

AUC を意味する．ここで，“LSF,” “HSF,” そして “MSF”

87.5%

3.05±0.14

3.03±0.13

3.06±0.13100%

3.14±0.14

2.98±0.13

3.08±0.14のクエリ戦略を用いて active learning を行った最終結果

FSの AUC は，“FS” と必ずしも一致しない．これは，最終的話者 × 13 話者）個の音声サンプルの中からランダムに抽に観測される類似度スコアはすべての手法で一致するが，出された 20 サンプルの品質を評価した．合計の評価セット

active learning により speaker encoder は異なる順番で話数は (MOS or DMOS) × 50（評価者数）= 100 であった．

者間の主観的な類似度を学習したためである．評価結果か

表 1 と表 2 にそれぞれ MOS テストと DMOS テストのら，まず，active learning におけるクエリ戦略は，AUC の結果を示す．評価結果より，“MSF” は “FS” と同程度の改善に大きく影響することが確認できる．特に，“MSF” を

合成音声品質を，より少ない観測スコアで達成しているこ

用いた active learning は，学習法の違いに依らず，AUC のとが確認できる．即ち，提案する active learning は，主観改善に有効であることが確認できる．また，“Sim. (vec)”

スコアリングの作業コストと DNN 話者埋め込み学習時のと “Sim. (graph)” における active learning は，“PS” より

計算コストを削減しつつ，多話者音声生成モデリングにも高い AUC を少ない反復回数で達成しており，この傾向

適した話者表現を学習できる可能性を示唆した．一方で，は学習話者同士の対 (“Seen-Seen”) と学習話者-未知話者の“Sim. (mat)” の評価結果に着目すると，“PS,” “FS,” そし

対 (“Seen-Unseen”) の両方で共通していることがわかる．

て “MSF” の間に有意差は確認できない．この原因として，一方で，“Sim. (mat)” は “Seen-Seen” のケースで AUC を

図 8(b)(2) に示す過適合傾向が考えられる．

改善しているが，“Seen-Unseen” のケースで劣化している

5. おわりにことも確認でき，この学習法が用いるデータに強く依存する傾向にあることを示している．

本稿では，主観的話者間類似度を考慮した DNN 話者埋
め込みをより効率的に学習するための active learning を

4.3 主観評価
Active learning 後の speaker encoder から得られる DNN
話者埋め込みを用いた VAE ベース多話者音声生成モデルの提案し，実験的評価によりその有効性を示した．今後は，active learning におけるクエリ数などのハイパーパラメー
タの影響を調査する．

主観評価を実施した．本稿では，未知話者 13 名 (“F001”–

謝辞：本研究の一部は，JSPS 科研費 18J22090 の助成，

“F013”) の音声を用いた話者適応の合成音声の自然性と話及び総務省 SCOPE(受付番号 182103104) の委託を受け実者類似性を，5 段階の Mean Opinion Score (MOS) テスト

施した．

と Degradation MOS (DMOS) テストによりそれぞれ評価した．この評価では，“FS” と “PS” の学習後の DNN 話

参考文献

者埋め込みと，クエリ戦略として “MSF” を用いて，異な[1]

る反復回数 (30, 60, 90) で終了させた active learning 後のDNN 話者埋め込みを比較した．この active learning の反復回数は，それぞれ全体の類似度スコアの 62.5%, 75%, そして 87.5%を観測したことに対応する．評価者はクラウド
ソーシングにより集められた 50 名であり，650（50 発話/

c 2012 Information Processing Society of Japan⃝[2]

S. Latif, R. Rana, S. Khalifa, R. Jurdak, J. Qadir,and B. W. Schuller, “Deep representation learning inspeech processing: Challenges, recent advances, and future trends,” arXiv, vol. abs/2001.00378, 2020.
E. Variani, X. Lei, E. McDermott, I. L. Moreno, and
J. Gonzalez-Dominguez, “Deep neural networks for small
footprint text-dependent speaker veriﬁcation,” in Proc.
ICASSP, Florence, Italy, May 2014, pp. 4080—-4084.

5情報処理学会研究報告
IPSJ SIG Technical Report
LSF

HSF

(1) Sim. (vec)0.70

AUC of similar speaker pair detection(b) Seen-Unseen(a) Seen-Seen

MSF

PS (50%)FS (100%)(2) Sim. (mat)0.65(3) Sim. (graph)

0.88

0.92

0.86

0.90

0.84
0.82

0.88

0.55

0.80

0.86

0.50

0.76

0.60

0.78

0.84

0.74
0.70

0.82
0.81

0.76

0.66
0.64

0.80
0.79

0.74

0.62

0.78
0.77

0.72

0.60
1
(50%)

0.83

0.78

0.68

0.58

0.82

30
(62.5%)

60
(75%)

90
(87.5%)

115
1(100%) (50%)

0.76
30(62.5%)

60
(75%)

90
(87.5%)

Active learning iteration(w/ percentage of observed scores)

0.75
115
1
(100%) (50%)

30(62.5%)

60
(75%)

90
(87.5%)

115(100%)

図 8 Active learning の反復に対する類似話者対検出モデルの AUC の変化

[3]

[4]

[5]

[6]

[7]

[8]

[9]
[10]

[11]

[12]

Q. Wang, C. Downey, L. Wan, P. A. Mansﬁeld, and
I. L. Moreno, “Speaker diarization with LSTM,” in Proc.
ICASSP, Alberta, Canada, Apr. 2018, pp. 5239–5243.
Y. Jia, Y. Zhang, R. Weiss, Q. Wang, J. Shen, F. Ren,
Z. Chen, P. Nguyen, R. Pang, I. L. Moreno, and Y. Wu,“Transfer learning from speaker veriﬁcation to multispeaker text-to-speech synthesis,” in Proc. NeurIPS,
Montreal, Canada, Dec. 2018, pp. 4480–4490.
Y. Saito, Y. Ijima, K. Nishida, and S. Takamichi, “Nonparallel voice conversion using variational autoencoders
conditioned by phonetic posteriorgrams and d-vectors,”in Proc. ICASSP, Alberta, Canada, Apr. 2018, pp. 5274–
5278.
E. Cooper, C.-I. Lai, Y. Yasuda, F. Fang, X. Wang,
N. Chen, and J. Yamagishi, “Zero-shot multi-speakertext-to-speech with state-of-the-art neural speaker embeddings,” in Proc. ICASSP, Barcelona, Spain, May
2020, pp. 6184–6188.
Y. Saito, S. Takamichi, and H. Saruwatari, “DNN-based
speaker embedding using subjective inter-speaker similarity for multi-speaker modeling in speech synthesis,”in Proc. SSW, Vienna, Austria, Sep. 2019, pp. 51–56.
齋藤佑樹, 高道慎之介, and 猿渡洋, “主観的話者間類似度のグラフ埋め込みに基づく DNN 話者埋め込み,” in 音講論（秋）, 9 月 2020, pp. 697–698.
D. P. Kingma and M. Welling, “Auto-encoding variational Bayes,” arXiv, vol. abs/1312.6114, 2013.
J. Shen, R. Pang, R. J. Weiss, M. Schuster, N. Jaitly,
Z. Yang, Z. Chen, Y. Zhang, Y. Wang, R. Skerry-Ryan,
R. A. Saurous, Y. Agiomyrgiannakis, and Y. Wu, “Natural TTS synthesis by conditioning WaveNet on mel
spectrogram predictions,” in Proc. ICASSP, Calgary,
Canada, Apr. 2018, pp. 4779–4783.
D. Xin, Y. Saito, S. Takamichi, T. Koriyama, and
H. Saruwatari, “Cross-lingual text-to-speech synthesis
via domain adaptation and perceptual similarity regression in speaker space,” in Proc. INTERSPEECH,
Shanghai, China, Oct. 2020, pp. 2947–2951.
J. Li, Y. Baba, and H. Kashima, “Simultaneous clustering and ranking from pairwise comparisons,” in Proc.

c 2012 Information Processing Society of Japan
⃝

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

IJCAI, Stockholm, Sweden, Jul. 2018, pp. 1554–1560.
B. Settles, “Active learning literature survey,” Universityof Wisconsin–Madison, Computer Sciences Technical Report 1648, Jan. 2009.
F. M. Zanzotto, “Viewpoint: Human-in-the-loop artiﬁcial intelligence,” Journal of Artiﬁcial Intelligence Research, vol. 64, pp. 243–252, Feb. 2019.
K. Fujii, Y. Saito, S. Takamichi, Y. Baba, and
H. Saruwatari, “HumanGAN: Generative adversarial
network with human-based discriminator and its evaluation in speech perception modeling,” in Proc. ICASSP,
Barcelona, Spain, May 2020, pp. 6239–6243.
K. Itou, M. Yamamoto, K.Takeda, T. Takezawa, T. Matsuoka, T. Kobayashi, K. Shikano, and S. Itahashi,“JNAS: Japanese speech corpus for large vocabularycontinuous speech recognition research,” Journal of the
Acoustical Society of Japan (E), vol. 20, no. 3, pp. 199–
206, May 1999.
H. Kawahara, I. Masuda-Katsuse, and A. D.
Cheveigne, “Restructuring speech representations
using a pitch-adaptive time-frequency smoothing and
an instantaneous-frequency-based F0 extraction: Possible role of a repetitive structure in sounds,” SpeechCommunication, vol. 27, no. 3–4, pp. 187–207, Apr.
1999.
Y. Ohtani, T. Toda, H. Saruwatari, and K. Shikano,“Maximum likelihood voice conversion based on GMM
with STRAIGHT mixed excitation,” in Proc. INTERSPEECH, Pittsburgh, U.S.A., Sep. 2006, pp. 2266–2269.
J. Duchi, E. Hazan, and Y. Singer, “Adaptive subgradient methods for online learning and stochastic optimization,” Journal of Machine Learning Research, vol. 12,
pp. 2121–2159, Jul. 2011.
L. Sun, K. Li, H. Wang, S. Kang, and H. Meng, “Phonetic posteriorgrams for many-to-one voice conversion
without parallel data training,” in Proc. ICME, Seattle,
U.S.A., Jul. 2016.
J. A. Hanley and B. J. McNeil, “The meaning and use of
the area under a receiver operating characteristic (ROC)
curve,” Radiology, vol. 143, no. 1, pp. 29–36, Apr. 1982.

6