3-6-4
差分スペクトル補正に基づく統計的歌声声質変換 ∗☆小林 和弘，戸田 智基，Graham Neubig，Sakriani Sakti，中村 哲（奈良先端大・情報）

1

はじめに

Conventional SVC

歌声は音楽を形成する上で重要な要素の 1 つであり，人は歌声の音高，リズム，強弱を巧みに操作する事で，多様な歌唱表現を生み出す．声質に関しても一定の範囲で操作可能であるが， 個人が生成できる声質は身体的特徴により大きく制限されるため， 身体的特徴を超えた声質での歌唱は困難である．これに対して，身体的制約を超えた多様な声質での歌唱の実現を目指し， 統計的手法に基づく歌声声質変換（SVC: Singing Voice Conversion）が提案されている[1]．SVC は，混合正規分布モデル（GMM: GaussianMixture Model）に基づき入力歌手の音響特徴量を目標歌手の音響特徴量へと変換する事で，入力歌手の声質を目標歌手の声質へと変換する．一方で，ボコーダの使用に伴い，F0 分析誤差やスペクトル包絡のモデリング誤差，さらには，GMM による変換誤差が発生するため，自然歌声に比べ音質劣化が生じる．
本稿では，主に同性歌手間における歌声においては音高変換が必要とならない点に着目し，高い自然性を持つ変換歌声を実現するために，スペクトル包絡の補正処理に基づく SVC を提案する．提案法は，音源特徴量の変換を行わないことで，ボコーダによる波形合成処理を回避する．実験結果から，従来の GMMに基づく SVC と比べ，提案法は高い自然性を持つ歌声変換が可能である事を示す．

2

GMM に基づく SVC は，入力歌手の声質を異なる歌手の声質へと変換する技術であり，学習処理と変換処理から構成される．学習時には，入力歌手と目標歌手が同一曲を歌唱した歌声で構成されるパラレルデータを用い，両歌手の音響特徴量の結合確率密度関数を GMM でモデル化する．両歌手の静的・動的!
"⊤ ⊤特徴量ベクトルをそれぞれ X t = x⊤
及びt , ∆xt! ⊤"⊤ ⊤Y t = y t , ∆y tとすると，GMM は以下の式で表される．
P (X t , Y t |λ)$% &'()
M(X) % (XX) (XY ) &#X t µm
Σm Σm=αm N;(1)) ,X) (Y Y )Y t µ(YΣ(YΣmmmm=1

ここで N (·; µ, Σ) は平均ベクトル µ 及び共分散行列
Σ を持つ正規分布を表す．GMM の混合数は M であり，m は分布番号を示す．αm は，各分布に対する混合重みを表す．
変換処理では，最尤系列変換法 [2] により，入力歌手の歌声から分析された音響特徴量を，目標歌手の音響特徴量へと変換する．入力歌手と目標歌手の特徴量⊤ ⊤系列ベクトルを，各々X = [X ⊤1 , · · · , XT ] と Y =⊤⊤ ⊤[Y 1 , · · · , Y T ] とする．ここで，T はフレーム数で⊤ ⊤ある．変換される静的特徴量系列 ŷ = [ŷ ⊤1 , · · · , ŷ T ]∗Input singing voice

Input singing voice

AnalysisAnalysis

Aperiodic components

Mel-cepstrum

GMM foraperiodic components

GMM formel-cepstrum

Differential GMM
for mel-cepstrum

Converted
aperiodic components

Converted
mel-cepstrum

Converteddifferential mel-cepstrum

Synthesis filter

Synthesis filter

Output converted
singing voice

Output converted
singing voice

F0Mel-cepstrum

Fig. 1 従来法と提案法の変換処理は次式で示される．
ŷ = argmax P (Y |X, λ) subject to Y = W y, (2)y
ここで W は静的特徴量系列を静的・動的結合特徴量系列に拡張する行列である．なお，過剰な平滑化による変換歌声の音質劣化を緩和するため，系列内変動（GV: Global Variance)[2] を考慮する．

3

GMM に基づく SVC

Proposed SVC

差分スペクトル補正に基づく SVC

主に同性間の歌声では，同一楽曲において顕著な音高の違いは発生しないため，音高の変換は必要とならない場合が多い．そこで，本稿では，音源特徴量の変換を行わずに，入力歌手と目標歌手のスペクトル特徴量の差分のみを補正する SVC を提案する．図1 に，従来の SVC（左側）と提案法である差分スペクトル補正に基づく SVC（右側）の変換処理を示す．
差分スペクトル補正に基づく SVC では，入力歌手のスペクトル特徴量から，入力歌手と目標歌手のスペクトル特徴量の差分を表す差分スペクトル特徴量を，GMM に基づき推定する．入力歌手の自然歌声波形に対して，差分スペクトル特徴量を合成フィルタにより畳み込むことで，入力歌手の声質を目標歌手の声質へと変換する．ボコーダによる波形合成処理を必要としないため，F0 分析誤差やスペクトル特徴量の近似誤差を回避することができる．
本稿では，式（1）の GMM に対して変数変換を行うことで，差分スペクトル特徴量の推定用の GMMを導出する．静的・動的差分特徴量ベクトルを D t =*+⊤⊤d⊤,∆dとすると，入力特徴量ベクトルと差分特tt
徴量ベクトルの結合特徴量ベクトルは以下のように表される．
%& %&%&Xt
Xt
Xt
==A
(3)
Dt
Y t − Xt
Yt

ここで A は，目標歌手の特徴量ベクトルを差分特徴

Statistical Singing Voice Conversion based on Diﬀerential Spectral Compensation, by KOBAYASHI,Kazuhiro, TODA, Tomoki, NEUBIG, Graham, SAKTI, Sakriani, NAKAMURA, Satoshi（NAIST）

日本音響学会講演論文集- 329 -2014年3月

Preference score [%]100量ベクトルに変換する行列である．
%&I
0A=−I I

(4)

この行列を式（1）に適用することで，入力特徴量ベクトルと差分特徴量ベクトルの結合確率密度をモデ
ル化する以下の GMM が導出される．
P (X t , D t |λ)$% &'(&)
M(X) %#X t µm
Σ(XX)
Σ(XD)
mm
=αm N;,(5)
D t µ(D)
Σ(DX)
Σ(DD)
mmmm=1)(X)µ(D)= µ(Ymm − µm=(6)

日本音響学会講演論文集

20

1-24th1-32th

1-40th自然性に関する評価結果

100

実験的評価

4.2 実験結果
図 2 に AB テストによる変換歌声の自然性に関する評価結果を示す．従来法と比べて，提案法はより自然性の高い変換歌声を得られることが分かる．これは，ボコーダ使用に伴う F0 分析誤差やスペクトルモデリング誤差の影響を提案法では回避しており，入力歌声の情報を上手く活用できているためである．
図 3 に XAB テストによる変換歌声の個人性に関す

40

Fig. 2⊤)
Σ(DX)= Σ(XY− Σ(XX)
(7)
mmm
(XX)
(Y Y )(XY )(Y X)
Σm+ Σm − Σ m− Σm (8)4.1 実験条件
日本語民謡楽曲に対する歌唱データを用いる．楽曲数は 21 曲であり，計 152 フレーズ（各フレーズは8 秒程度）から構成される．歌手は，男性 3 名，女性3 名の計 6 名である．学習データとして，ランダムに選出した 80 フレーズを用い，残りをテストデータとして用いる．入力歌手と目標歌手の組み合わせは，同一性別内の総当りとする．被験者は，20 代の学生 8名である．
スペクトル特徴量として，STRAIGHT 分析 [3] により得られるスペクトル包絡をモデル化したメルケプストラムを用いる．メルケプストラム次数は，1 次から 24 次，1 次から 32 次，1 次から 40 次と変化させる．合成フィルタには，MLSA フィルタ [4] を用いる．シフト長は 5 ms，サンプリング周波数は 16 kHzとする．従来の SVC で用いる音源特徴量として，F0と 5 周波数帯域における平均非周期成分を使用する．
スペクトル特徴量と非周期成分に対する GMM の混合数はそれぞれ 128，64 である．本実験において F0の変換は行わない．
従来法と提案法による変換歌声の自然性を，AB テストにより評価する．従来法および提案法で変換された同一フレーズの歌声サンプルをそれぞれランダムな順序で再生する．どちらの変換歌声が高い自然性を持つかを評価する．また，従来法と提案法に個人性の変換精度を，XAB テストにより評価する．目標
歌手の自然歌声を参照歌声とし，従来法と提案法の変換歌声をランダムな順序で再生する．どちらの変換歌声が目標歌手の自然歌声に似ているかという基準で評価する．なお，各被験者は，両実験共に 72 対のフレーズに対し，それぞれ評価を行う．

60

Order of mel-cepstrum=
この GMM に基づき，最尤系列変換法により静的差分特徴量ベクトルを推定する．なお，本稿では，差分スペクトル特徴量の GV については考慮しない．

4800

Preference score [%]

Σ(XD)
m
Σ(DD)
m

Proposed SVC
Conventional SVC
95% confidence interval

Proposed SVC
Conventional SVC
95% confidence interval

80
60
40
20
0

1-24th1-32th1-40 thOrder of mel-cepstrum
Fig. 3

個人性に関する評価結果

る評価結果を示す．メルケプストラムの次数に依存せず，提案法と従来法ではほぼ同等の個人性変換精度が得られることが分かる．以上の結果から，提案法は従来法よりも有効であることが分かる．なお，被験者からは，サンプルによっては，入力歌手と目標歌手の歌いまわしの違いが大きく，従来法および提案法の両手法とも，変換歌声が目標歌手にあまり似ていない場合があるという感想が得られている．この原因として，スペクトル特徴量や非周期成分などの分節的特徴と比べて，F0 やパワーなどの韻律的特徴の方が，より個人性に大きな影響を与える点 [5] が考えられる．

5

まとめ

統計的手法に基づく歌声声質変換において，差分スペクトル補正に基づく変換法を提案した．実験結果より，従来法に比べ提案法は，高い自然性を保ちつつ同等の個人性変換精度を達成できることを示した．
今後の研究として，差分スペクトル特徴量に対するGV の検討や変換精度向上に取り組む．
謝辞 本研究の一部は，JSPS 科研費 22680016 および JST OngaCREST プロジェクトの助成を受け実施したものである．

参考文献[1] H. Doi et al., Proc. APSIPA ASC, 2012.
[2] T. Toda et al., IEEE Trans. ASLP, Vol. 15, No.
8, pp. 2222–2235, 2007.
[3] H. Kawahara et al., Speech Communication, Vol.
27, No. 3–4, pp. 187–207, 1999.
[4] 今井聖 他, 信学論 (A), Vol. J66-A, No. 2, pp.
122–129, 1983.
[5] 小林和弘 他, 情報処理研報, Vol.2013–MUS–99
No.44, pp. 1–6, 2013.

- 330 -2014年3月