[1-P-18] 主観的話者間類似度に基づくDNN 話者埋め込みを用いた多数話者 DNN 音声合成の実験的評価◎ 齋藤 佑樹

高道 慎之介

猿渡 洋(東大院・情報理工)

1. 本発表の概要
主観的話者間類似度に基づく DNN 話者埋め込みを, Variational AutoEncoder (VAE) を用いた多数話者音声生成モデリングに適用し, 合成音声の品質を主観評価

研究プロジェクト
Web ページ

結果: (1) 話者認識に基づく DNN 話者埋め込みと比べて, 合成音声の品質改善 & (2) Gauss カーネルを用いた話者埋め込み学習により, 合成音声の品質劣化

2. 従来手法

3. 実験的評価
話者埋め込み・多数話者音声合成共通の条件

主観的話者間類似度に基づく DNN 話者埋め込み[1]話者間類似度の大規模な主観スコアリングの結果を用いた DNN 話者埋め込みの学習法
主観スコアリングのインストラクション(4,000 名以上が参加)

類似度スコアベクトル埋め込み

1 𝑁s(mat)
𝐿SIM 𝐃, 𝐒

VAE[2] を用いた多数話者音声生成モデリング[3]Encoder 𝑞𝜙 𝒛|𝒙, 𝒑 :𝒑Speechrecognition𝒙

Decoder 𝑝𝜃 𝒙|𝒛, 𝒑, 𝒅 :学習に使われなかった話者の合成音声特徴量も生成可能

1

Encoder𝑞𝜙 𝒛|𝒙, 𝒑Speakerembedding

𝑁s𝑁s

1
2
=𝐊𝐃 − 𝐒 𝐹
𝑍s

8Sim. (mat) のカーネル関数
話者埋め込みの推定

Sigmoid: 𝑘 𝒅𝑖 , 𝒅𝑗 = tanh 𝒅⊤𝑖 𝒅𝑗

Gauss: 𝑘 𝒅𝑖 , 𝒅𝑗 = exp − 𝒅𝑖 − 𝒅𝑗2

当該話者による発話の有声区間の平均

多数話者音声合成の条件
PPG / 潜在変数の次元
VAEの学習基準

43 / 64
音声特徴量の対数尤度の変分下限[3]𝐹0 , 非周期成分, 0次メルケプ 入力音声のものをそのまま使用
音声パラメータ生成
最尤パラメータ生成[9]A ＞ B: 手法 A のスコア ＞ 手法 B のスコア (𝑝 < 0.05) となった評価話者数
A ＜ B: 手法 A のスコア ＜ 手法 B のスコア (𝑝 < 0.05) となった評価話者数
A ≒ B: 手法間のスコアに有意差がなかった評価話者数(1) 話者埋め込み学習法の比較 (計 1,950 名が評価)
プリファレンスABテスト (自然性)A vs. B
A＞B A＜B A≒B
d-vec. vs. Sim. (vec)0121d-vec. vs. Sim. (mat)076d-vec. vs. Sim. (mat-re)08
5

プリファレンスXABテスト (話者類似性)
A vs. B
A＞B A＜B A≒B
d-vec. vs. Sim. (vec)0103d-vec. vs. Sim. (mat)44
5d-vec. vs. Sim. (mat-re)42
7

結果: Sim. (vec) は, ほぼ全評価話者で自然性・話者類似性を有意に改善
Sim. (mat) は, 一部の評価話者で話者類似性を有意に劣化 → 学習データへの依存性大？

*PPG: Phonetic PosteriorGram

𝒙 と PPG*[4] 𝒑 から潜在変数 𝒛 を抽出
𝒛 と 𝒑 と話者埋め込み 𝒅 から合成音声特徴量 𝒙 を生成

1

𝑍s : 話者数に依存する正規化係数
𝐊 𝐃 , 𝐒: 𝐊 𝐃 , 𝐒 の対角成分を除外した行列

𝑁s : 主観スコアリングに用いた話者数

学習済み音声認識・ 話者埋め込み DNN の導入により,音韻性・話者性を分離して音声特徴量 𝒙 をモデル化

mat𝐿SIMKernel𝑘 ⋅1=𝒔−𝒔 ⊤ 𝒔−𝒔
𝑁s𝐒

⋯

(vec)
𝐿SIM 𝒔, 𝒔𝒅𝑁𝐬

1𝑁s

𝐃⊤ 𝐃

Sim. scorematrix⋯Spkr.
𝑁s𝒅1
⋯

⋯

vec
𝐿SIMSpkr.
1

Grammatrix
𝐊𝐃⋯

Sim. score Sim. scorematrixvector𝒔
𝐒

話者埋め込みの次元

合成音声の品質に関する主観評価 (スコアの詳細は原稿参照)

話者埋め込みの Gram 行列と行列 𝐒 の差を最小化⋯Speechparams.

Outputvector𝒔

類似度スコア行列
音声分析・合成
STRAIGHT ボコーダ[7]
DNN の入力特徴量 1—39 次メルケプと動的特徴量 (Δ)
DNN の最適化
学習率を 0.01 とした AdaGrad[8](1) d-vec. : 話者認識に基づく埋め込み[5](2) Sim. (vec): 類似度スコアベクトル埋め込み比較手法(3) Sim. (mat): 類似度スコア行列埋め込み(4) Sim. (mat-re): 同上 (類似話者対のみを考慮)

類似度スコア行列埋め込み

音声特徴量から行列 𝐒 のベクトルを予測

JNAS[6] 女性話者 153 名, 16 kHz サンプリング
評価話者: F001—F013 の 13 名
学習話者: 上記 13 名以外の 140 名
先行研究[1]と同様: －3 (似てない) ～ ＋3 (似ている)

データセット類似度スコアの行列表現(類似度スコア行列 𝐒 )類似度スコアのグラフ表現(話者グラフ)話者埋め込みの条件(2) Sim. (mat) のカーネル関数の比較 (計 1,300 名が評価)

aiu𝒛

Decoder𝑝𝜃 𝒙|𝒛, 𝒑, 𝒅𝒅

プリファレンスABテスト (自然性)A vs. B
A＞B A＜B A≒B
Sigmoid vs. Gauss
1102𝒙

プリファレンスXABテスト (話者類似性)
A vs. B
A＞B A＜B A≒B
Sigmoid vs. Gauss
1300

結果: Gauss カーネルを用いた Sim. (mat) は, ほぼ全評価話者で自然性・話者類似性を有意に劣化
Sim. (mat-re) に関しては, 一部の評価話者で有意な改善 (詳細は原稿参照)

話者埋め込みの 2 次元 PCA プロット
Sim. (*) は, 主観的話者間類似度を考慮したクラスタを形成する傾向あり

Research questions

d-vec.

Sim. (vec)SigmoidSim. (mat)GaussSim. (mat-re)SigmoidGauss

Q1: 主観的話者間類似度を考慮した話者埋め込みは, 合成音声の品質を改善するか？
本発表では, 話者認識に基づく手法[5] と 主観的話者類似度に基づく手法 を比較
Q2: 類似度スコア行列埋め込みの学習に適したカーネル関数は何か？
本発表では, sigmoid カーネル と Gauss カーネル を比較[参考文献] [1] 齋藤 他, 音講論 (春), 2019. [2] Kingma et al., arXiv:1312.6114, 2013. [3] Saito et al., Proc. ICASSP, 2018. [4] Sun et al., Proc. ICME, 2016. [5] Variani et al., Proc. ICASSP, 2014.
[6] Itou et al., Journal of the ASJ (E), 1999. [7] Kawahara et al., Speech Communication, 1999. [8] Duchi et al., Journal of Machine Learning Research, 2011. [9] Tokuda et al., Proc. ICASSP, 2000.

ASJ2019 Spring Meeting @ Shiga, Japan[謝辞] 本研究の一部は，総務省の委託「知覚モデルに基づくストレスフリーなリアルタイム広帯域音声変換の研究」, セコム科学技術支援財団およびJSPS科研費18J22090, 17H06101の助成を受け実施した．

©Yuki Saito, Sep. 4, 2019.