音声における「かわいさ」の制御のための声質変換
日本大学大学院
博士前期課程 2 年
大野涼平

音声をかわいくしたい (1/2)
声質変換 [1, 2, 3]
あらゆる現実を〜

元話者“あらゆる現実を〜”

音響特徴量

目標話者

音響特徴量t変換器

t

発話内容を保持したまま、入力音声の声質を目標話者のものに変換する
2

音声をかわいくしたい (2/2)
本研究の目的
あらゆる現実を〜

音響特徴量

元話者

“あらゆる現実を〜”

目標のかわいさt

変換器

音響特徴量
t

発話内容を保持したまま、入力音声の声質を目標のかわいさを持つものに変換する
3

アウトライン
● 本研究の課題● かわいさの評価と聴取時間の関係● かわいさの主観評価値の予測● 話者適応型RBMを用いたかわいさの制御● まとめ4

アウトライン
● 本研究の課題● かわいさの評価と聴取時間の関係● かわいさの主観評価値の予測● 話者適応型RBMを用いたかわいさの制御● まとめ5局所的な特徴と「かわいさ」

研究課題

局所的な特徴の変換は「かわいさ」に寄与するかつまり...

局所的な特徴は「かわいさ」を感じることに影響を与えるか

主観評価実験にて調査

6

聴取者間の個人差への対応

研究課題「どの音声からどれだけかわいさを感じるか」は聴取者次第
方策の1つ

ユーザの大量の話者に対する主観評価値に基づいたモデルの構築

大量の主観評価に伴う時間的コストと疲労の対策として協調フィルタリングによる主観評価値の予測

7

かわいさの個別の制御

研究課題

声質変換で生成した音声の話者性は一人かわいさが起因する特徴だけを個別に制御したい

話者適応型RBMで「かわいさ」を個別にモデル化

8

アウトライン
● 本研究の課題● かわいさの評価と聴取時間の関係● かわいさの主観評価値の予測● 話者適応型RBMを用いたかわいさの制御● まとめ9局所的な特徴の影響

評価と聴取時間聴取時間が短くてもかわいさの評価が可能
局所的な特徴の参照で評価が可能

様々な時間長の音声を用いた主観評価験
�����3回の評価例（5段階）
1st

2nd

3rd

5

1

4

“安定性が低い”（ ＝ 評価が難しい）

10

同一音声に対する評価

評価と聴取時間

Fig. 同一音声に対する3回の評価のレンジ（累積度数）

・聴取時間が長い方が評価が安定する
・75 msでも66%以上は1以下に局所的な特徴量を参照している11

高評価話者の素片音声への評価
評価と聴取時間

Fig. 高評価のフル音声の切り出し音声に対する3回の評価の中央値

・聴取時間が短くても「3」の割合は1割程度
・75 msでも51%以上はフル音声の評価と一致
局所的な特徴量を参照している12

低評価話者の素片音声への評価
評価と聴取時間

Fig. 低評価のフル音声の切り出し音声に対する3回の評価の中央値

・聴取時間が短くても「3」の割合は1割程度
・75 msでも76%以上はフル音声の評価と一致
局所的な特徴量を参照している

13

まとめ

評価と聴取時間「かわいさ」の5段階評価で、同一刺激3回分の評価値の分布を分析
結果

75 msの音声刺激でも評価のバラつきは66%以上が1以下
大半の評価がフル音声と一致示唆さ

れた

局所的な特徴（スペクトル特徴量など）の変換がかわいさの制御に貢献することが示唆された
14

アウトライン
● 本研究の課題● かわいさの評価と聴取時間の関係● かわいさの主観評価値の予測● 話者適応型RBMを用いたかわいさの制御
● まとめ

15

主観評価の傾向

評価値の予測再掲

課題：大量の主観評価に伴う時間的コストと疲労聴取者間でかわいさの評価の傾向に類似性が存在？
協調フィルタリング[4] による評価値の予測が可能
話者数70、評価者数42で、leave-one-out アプローチを用いて協調フィルタリングの精度を確認

16

協調フィルタリング

評価値の予測予測実験
新規評価者の未評価値を，他評価者らの評価値から予測する� � �123… 701536…

32546…

53424…

5…

…

…

…

…

…

�42545…

4

新規評価者の評価履歴
15…

360個をマスクし、予測対象とする ※類似している他評価者らの評価履歴から予測する
2546…

540525…

2※ ランダムに60個を選択する

17

実験条件

評価値の予測leave-one-out アプローチ
各評価者を新規評価者に選び、その評価者に対する予測・推薦精度を計算する
Table 実験条件
※1※2

※1 類似度がこれを超えた他評価者を類似評価者とする※2 どの話者の評価を欠損させるかで推定結果が変わるため、1000回分の試行結果の平均値を精度と見なす

18

全新規評価者の精度

評価値の予測Table 精度の平均値（標準偏差）

予測精度： MAEs < 0.9 （予測誤差が0.9未満）
推薦精度： 0.4 < F-score < 0.6

19新規評価者毎の精度

評価値の予測20

新規評価者毎の精度

評価値の予測類似評価者数が10人以上（ID 20以外）

類似評価者数が1桁（ID 18, 29以外）
ID 10, 25は1人未満
21

予測・推薦精度と評価の傾向評価値の予測● 推薦精度が高い / 低い新規評価者は事前の主観評価：50%以上 / 30%未満の話者に5以上を付けた● 類似評価者数：10人以上（ID 20以外） / 1桁（ID 18, 29以外）●

主観評価で高評価を付ける割合 と 類似評価者数
正の相関 (0.65)
類似評価者数が少ない場合、協調フィルタリングは機能しにくいため「かわいい」と感じる話者が少ない場合、評価の予測が困難
22

まとめ

評価値の予測結果

予測精度（MAEs）は0.9未満● 話者推薦におけるPrecisionは0.67● 高評価を与えた話者の数と類似評価者数に正の相関（0.65）
示唆された●

ユーザの大量の話者に対する主観評価値に基づいた分析に貢献できると期待される
23

アウトライン
● 本研究の課題● かわいさの評価と聴取時間の関係● かわいさの主観評価値の予測● 話者適応型RBMを用いたかわいさの制御● まとめ24

かわいさの個別制御「かわいさ」の度合いによるクラスタ依存のパラメータを含める学習法を提案

ARBM

25

Restricted Boltzmann Machine

ARBM

Restricted Boltzmann Machine [6, 7, 8]

潜在特徴量
音響特徴量

可視層の尤度を最大化するように学習する

26

話者適応型RBMと提案法 2/2…
…

ARBM

話者非依存パラメータ
話者依存パラメータ

音韻特徴量h音韻特徴量h音韻特徴量h音響特徴量v

音響特徴量v

音響特徴量v

音韻特徴量（隠れ層）が話者依存・非依存パラメータを用いたある過程を経て、音響特徴量（可視層）が生成される● 音韻特徴量は可視層からフィードフォワード処理で推定● 話者依存パラメータを適切に差し替える事で所望の話者の27
音声の生成が可能●

話者適応型RBMと提案法 2/2
…

（ARBM

クラス依存パラメータ）

音韻特徴量h音韻特徴量h音韻特徴量h音響特徴量v

音響特徴量v

音響特徴量v

かわいい話者、かわいくない話者の2クラスに依存するパラメータを生成過程で考慮する● 各話者はかわいい話者なのかかわいくない話者なのかユーザによって定められる
●28

実験条件

ARBM

スペクトル特徴量

24次のメルケプストラム

分析合成

WORLD (DC4 edition）[9, 10]

学習エポック

事前学習：100回 事後学習a：100回
事後学習b：50回

学習法

確率的勾配法 ミニバッチ：100R
学習率：0.01 モーメンタム：0.9

モデル

可視層：24ユニット

クラス

クラスK：主観評価値が6以上の話者
クラスK：主観評価値が2以下の話者

隠れ層：8ユニット29

主観評価実験

ARBM

クラスKの話者 � を次のように変換する
手法
X2Y �

クラスKの話者へ変換する（ARBMと等価）。
入力話者とは異なるクラスKの話者へ変換する
X2X' �（ARBMと等価）。
入力話者とは異なるクラスKの話者へ変換する。
PRO � ただし、クラス依存パラメータのみをクラスKのものに差し替える。
※ X2X'とPROの出力話者は同一話者とする
以下を確かめる

PROの生成音声が他手法よりかわいい● PROの生成音声が変換前よりかわいい●

30

主観評価結果1

ARBM

Fig. 順位付けにおいて、(a) 1位に選択された割合 (b) 2位以内に選択された割合

PROによる生成音声の80%以上が2位以内● かわいさは平均で3.1 （7段階：1~7）● 60%以上が3以上の評価●

31

主観評価結果2X2Y

ARBM

X2X'

Fig. 話者性に関するスコアの分布

X2X'と同じ目標話者に変換しているにも関わらず、PROの音声の話者性は44.2%がX2Yのものに近いかわいさの特徴を制御したことで話者性が変化した
32

まとめARBM

結果

かわいくない話者に変換しているが、かわいさを制御したことで● 従来手法よりも80%近くの回答でかわいさの順位が上位● 主観評価値が平均で3.1 (60%以上が3以上)● 話者性がかわいいクラスの話者に近いというのが44.2%
示唆された
33

アウトライン
● 本研究の課題● かわいさの評価と聴取時間の関係● かわいさの主観評価値の予測● 話者適応型RBMを用いたかわいさの制御● まとめ34

まとめまとめ

音声をかわいくしたい☆ 「かわいさ」は局所的な特徴量でも表現可能か示唆さ75msの音声でもかわいさの評価が可能
れた
局所的な特徴量の制御でかわいさの制御が可能☆ ユーザはどの声を「かわいい」と感じるか 示 唆 された
協調フィルタリングによる「かわいい声」の推定は可能☆ 話者適応型声質変換で「かわいさ」の適応
従来手法よりもかわいさが優位

35

引用
1. T. Toda et al., “Voice conversion based on maximum likelihood estimation ofspectral parameter trajectory,” IEEE Trans. on ASLP, 15(8), pp. 2222–2235,
2007.
2. Y. Saito, et al., “Voice Conversion Using Input-to-Output HighwayNetworks,” IEICE Trans. on Information and Systems, E100-D(8), pp. 1925–1928, 2017.
3. C. C. Hsu, et al., “Voice Conversion from Unaligned Corpora Using
Variational Autoencoding Wasserstein Generative Adversarial Networks,”
Proc of INTERSPEECH, pp. 3364–3368, 2017.
4. P. Resnick, et al.,“GroupLens: an open architecture for collaborative filteringof netnews,” In Proceedings of the 1994 ACM conference on Computer
supported cooperative work, pp. 175–186, 1994.
5. T. Nakashika et al., “Non-Parallel Training in Voice Conversion Using anAdaptive Restricted Boltzmann Machine,” IEEE Trans. on ASLP, 24(11), pp.
2032--2045, 2016.
6. K. Cho et al., “Improved learning of Gaussian-Bernoulli restricted
Boltzmann machines,” in Artificial Neural Networks and Machine Learning –36
ICANN 2011. 2011, pp. 10--17, Springer.

15

引用
7. G. E. Hinton, et al., “A fast learning algorithm for deep belief nets,” Neuralcomputation, 18(7), pp. 1527–1554, 2006.
8. G. E. Hinton, “A practical guide to training restricted Boltzmann machines,”
Tech. Rep. UTML TR 2010-003, 2010.
9. M. Morise, et al., “WORLD: A vocoder-based high-quality speech synthesis
system for real-time applications,” IEICE Trans. on Information and Systems,
99(7), pp. 1877–1884, 2016.
10. M. Morise “D4C, a band-aperiodicity estimator for high-quality speechsynthesis,” Speech Communication, 84, pp. 57–65, 2016.

37

修士課程業績一覧 (1)38修士課程業績一覧 (2)

39

17

付録

40

話者適応型RBM
話者適応型RBM [5]

ARBM

：

話者依存パラメータ：

話者非依存パラメータ41音声変換への応用 (1)（１）
Xらしさを除く

話者X

ARBM

（2）
Yらしくする

話者非依存特徴

話者Y

1)

2)
42

かわいさ適応型RBM
話者適応型RBM [5]

：

ARBM

クラス依存パラメータ

Hidden Layer

h1h2h3s1s2v1v2 v3 v4 … vI

s3…

hJ

s4 … s R

Visible Layer
Cluster Identity Unit
43

音声変換への応用 (2)（１）
Xらしさを除く

話者X

ARBM

（2）
Yらしくする

話者非依存特徴

話者Y

1)

2)
44

Vocoder
音声

分解

基本周波数

スペクトル包絡非周期性指標基本周波数

スペクトル包絡非周期性指標再合成

変換音声45