Vol.2012-MUS-96 No.5
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

VocaListener による学習データ生成を利用した多対多固有声変換に基づく歌声声質変換
土井 啓成1,a)

戸田 智基1,b)

中野 倫靖2,c)

後藤 真孝2,d)

中村 哲1,e)

概要：歌声の声質には，歌手の個人性が反映されており，他者の声質に自在に切り替えて歌うことは難し
い．そこで我々は，歌声の声質を他者の歌声の声質へと自動変換することで，任意の声質での歌唱を実現する手法を提案し，歌唱という音楽表現の可能性を広げることを目指す．従来，統計的声質変換に基づく
歌声声質変換が実現されていたが，提案手法では様々な声質に少ない負担で変換可能にするため，多対多固有声変換を導入する．これにより変換時に数秒程度の少量の無伴奏歌声さえあれば，任意の歌手の歌声から別の任意の歌手の歌声への声質変換が実現できる．しかし，その声質変換モデルの事前学習データとして，ある参照歌手の歌声と多くの事前収録目標歌手の歌声とのペアから構成されるパラレルデータセッ
トが必要で，その歌声収録は困難であった．そこで提案手法では，歌唱表現を模倣できる歌声合成システ
ム VocaListener を用いて目標歌手の歌声から参照歌手の歌声を生成することで，その学習データ構築を容易にする．実験結果から提案手法の有効性を確認した．

1. はじめに現の可能性を広げることを目指す．
歌声合成システムは，声質を選択して合成できるだけでな

歌うことは多くの人々にとって容易だが，自分の歌声をく，再現性高く納得のいくまで制御しながら様々な歌唱表現

自在に制御することは難しい．特に歌声の声質は，歌手のを得ることが可能であり，歌唱付き楽曲の創作における可能

歌唱技術によりある程度制御可能なものの，歌手の身体的性を広げてきた [1]．VOCALOID2 [2], [3] や Sinsy [4], [5]特徴に依るところが大きく，性別や体格が違う他者の声質のような歌声合成システムでは，歌詞と楽譜情報から合を真似て歌唱することは難しい．楽器であれば，楽器の個

成歌声を生成する方式が主流であり，text-to-singing シス

体を選ぶだけでなく，曲調や好みに応じてエフェクタをテムと呼ばれる．この方式では，音高や音量といった合成使用したり，楽器の部品を交換したりして，その音色を変パラメータを手動で操作できる場合もあるが，多様で自化させることができる．しかし歌声の場合，自分の声質に然な歌唱表現を得るのは容易でなかった．そこで，中野合った曲調や上手く歌える曲には限度があることが多く，

ら [6], [7] は，VOCALOID2 等の合成パラメータの音高とそれが自分自身の好みに合っているとは限らない．もし仮音量をユーザのお手本歌声から自動推定し，お手本歌声をに，歌手が自身の声質に限らず，他者の声質で自在に歌唱模倣した表現力豊かな合成歌声を容易に生成できる歌声

することが可能になれば，歌唱の楽しさが増すだけでなく，合成システム VocaListener を実現した．これを中野らはより多様な表現が生まれる可能性がある．そこで本研究でsinging-to-singing システムと名付け，その後，音高と音量は，歌手自身の声質の限界を超え，多様な声質に変換しなだけでなく声色変化もお手本から真似る歌声合成システム

がら歌唱できる技術を開発することで，歌唱という音楽表

VocaListener2 [8], [9] も提案した．しかし，自然な歌唱表
現でリアルタイムに歌声合成することはできなかった．

1

2

a)
b)
c)
d)
e)

奈良先端科学技術大学院大学
Graduate School of Information Science, Nara Institute of
Science and Technology (NAIST)
産業技術総合研究所
National Institute of Advanced Industrial Science and Technology (AIST)
hironori-d[at]is.naist.jp
tomoki[at]s.naist.jp
t.nakano[at]aist.go.jp
m.goto[at]aist.go.jp
s-nakamura[at]is.naist.jp

c 2012 Information Processing Society of Japan⃝

一方，歌声合成システムを用いずに，直接ユーザの歌声を信号処理して声質変換する歌声声質変換手法 [10] も提案されており，他にも混合音中の歌声の声質変換を対象とした研究 [11] や，二人の歌唱者による同一歌詞の歌声を用いた声質のモーフィング [12], [13] に関する研究もある．この従来の無伴奏歌唱に対する歌声声質変換手法 [10]は，高度化したボイスチェンジャに相当し，統計的声質変1

Vol.2012-MUS-96 No.5
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

換 [14], [15], [16] に基づいて，特定の源歌手（ユーザ）のには非常に困難である．依然として，事前収録目標歌手と歌声と特定の目標歌手の歌声との一対一の対応関係を予め

参照歌手が同じ楽曲を歌える必要がある．

学習し，源歌手から目標歌手へ声質を変換する．この学習

そこでさらに，上記の我々の歌声合成システム VocaL-のためには，同一歌詞の同一楽曲を，源歌手と目標歌手がistener[6], [7] を利用した新たなパラレルデータセット構築

それぞれ歌う必要がある．その一組の歌声をパラレルデー

手法を提案する．VocaListener は，任意の楽曲の歌声の歌

タと呼ぶ．これにより，両歌声の音響特徴量間の対応関係

唱表現を模倣して特定の歌手の歌声で歌声合成できる．多を，結合確率密度を表わす混合正規分布 (Gaussian Mixture

くの事前収録目標歌手による任意の楽曲の歌声（無伴奏独Model: GMM) でモデル化できる．このパラレルデータが唱）さえ用意すれば，VocaListener によって，歌声合成音多いほど，違う楽曲の歌声が適切に声質変換でき，最低で源の一人の歌手の声（例えば「初音ミク」）でそれらすべも一曲程度（数分程度）の歌声が必要である．学習が終わての楽曲の歌声を合成でき，それが所望のパラレルデータ

れば，その GMM を用いて最尤基準により，任意の歌詞のセット用の参照歌手の歌声となる．参照歌手の歌声が用意

源歌手（ユーザ）の歌声の声質を，学習時の目標歌手の声質できない曲はなくなるので，事前収録目標歌手は任意の曲に変換できる．リアルタイムな変換も短遅延変換アルゴリを歌ってもよくなる．しかもこの場合の参照歌手の声質変ズム [17] により可能である．このように歌声声質変換は，

動は人間より少なく，人間と違って歌い回しまで真似た理

歌声合成で必要だった歌詞や楽譜の事前準備をすることな想的なパラレルデータセットになる．

しに，即興の歌唱であっても，通常のボーカル用エフェク
タと同様に用いることができる利点がある．しかし声質の2. 従来の歌声合成システムと歌声声質変換観点からは，学習した源歌手と目標歌手のペアにしか適用

ユーザが自身以外の声質で歌唱表現するための代表的なできず，別の歌手の声質を扱うためには，パラレルデータ

関連研究として，まず，人間の歌声を収録したデータベーを収録し直す必要がある問題があった．両者の歌唱力や性スに基づいて歌声を合成する歌声合成システムを紹介す

別，声質が異なると，同じ楽曲を歌うのがそもそも困難なる．次に，歌声の声質を他の歌手の声質へと変換する歌声場合もあった．

声質変換において用いられる，統計的声質変換の枠組みに本研究では，多対多固有声変換 [18] を歌声声質変換について説明する．

初めて導入することで，パラレルデータ収録の問題を解決する．多対多固有声変換では，変換前の声質となる源歌手（ユーザ）が歌ったワンフレーズ程度の短い歌声と，変換

2.1 歌声合成システム
歌声合成システムを使用する条件の違いから，以下の三後の声質となる目標歌手が歌った同様に短い歌声さえあれ種類に分類できる．

ば，パラレルデータを収録し直さずに，別の歌手の声質を( 1 ) Text-to-singing (lyrics-to-singing)

扱うことが可能になる．これは，変換前後で同じフレーズ

VOCALOID2 [2], [3] や Sinsy [4], [5] のような，歌詞である必要すらなく，それぞれ，数秒程度の任意の歌詞とと楽譜情報から合成歌声を生成する方式である．この音高の歌声でよい．ただし，そのための事前の準備として，

方式では，事前に，所望の声質を持つ歌手の歌声を歌できるだけ多くの事前収録目標歌手の歌声をそれぞれ数曲

声合成用コーパスとして収録し，それを元に，素片接分収録し（最低一曲程度で，目標歌手ごとに違う楽曲でも続方式や隠れマルコフモデル (Hidden Markov Model:

よい），しかもそれら全部の楽曲を，ある特定の一人の参HMM) 合成方式といった合成手法により，歌声の合成

照歌手が歌った歌声を収録しておく必要がある．つまり，を行う．歌声合成システムを声質変換技術によって拡それぞれの事前収録目標歌手と参照歌手との一組のパラレ張する研究 [19] もある．

ルデータを，事前収録目標歌手の人数分用意したパラレル( 2 ) Speech-to-singing

データセットを用意しなければならない．それさえあれば，コーパスを事前に用意することなく，合成対象の歌詞事前収録目標歌手全員の音響特徴量の存在する声質の空間を朗読した話声からその声質を保ったまま歌声に変換を効率よく表現するような複数の「固有声」と，参照歌手とする方式であり，齋藤らの SingBySpeaking[20], [21]の音響特徴量間の対応関係を，固有声 GMM(Eigenvoiceの研究で名付けられた．SingBySpeaking では，話声GMM: EV-GMM) として学習できる．固有声 GMM は，の各音素の音高と音量，音長を，楽譜情報に応じて歌それぞれの固有声の声質と参照歌手の声質とを相互に変換

声らしく制御することで歌声に変換する．

できる．固有声は代表的な声質を表現しているので，それ( 3 ) Singing-to-singing

らの重み付けで任意の声質を表現できる．この重みだけでお手本の歌声を入力として，その音高や音量等の歌唱あれば，ワンフレーズ程度の短い歌声であっても推定でき表現を真似るように歌声合成する方式であり，中野らのるので，上記の変換が実現できる．しかし，上記のパラレ

VocaListener[6], [7] の研究で名付けられた．VocaLis-

ルデータセットの収録は，話声ならば可能でも歌声の場合

tener では，歌詞は与える必要があるが，text-to-singing

c 2012 Information Processing Society of Japan⃝2

Vol.2012-MUS-96 No.5
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Reportのように楽譜は必要なく，お手本の入力歌声から自動

Parallel data

推定する．歌声合成エンジンとしては，既存の歌声合

Sing

Sing

成ソフトウェア VOCALOID あるいは VOCALOID2を用い，その合成パラメータを，お手本歌声の音高とSource singer

Target singer

Extraction

Extraction

音量を真似るように反復推定して設定する．任意の歌

Static and dynamic
acoustic feature
sequence

声とその歌詞さえあれば，それを模倣して，歌声合成
ソフトウェアとして市販されている様々な声質（歌声Matching and joint

ライブラリ）で歌声合成できる特長があり，本研究の提案手法でも，後述するように学習データ生成においSourceて活用する．

TargetNew singing

2.2 統計的声質変換に基づく歌声声質変換

Training

統計的声質変換に基づく歌声声質変換 [10] は，源歌手の歌声を目標歌手の歌声へと統計的手法で変換する技術であExtraction

Estimated target
acoustic feature

り，学習処理と変換処理から成る．学習時には，源歌手と目標歌手が同一曲を歌唱した歌声で構成されるパラレル
データから，音響特徴量を抽出し，両音響特徴量の結合確
GMM

率密度関数を GMM でモデル化する．変換時には，新たにConversion process

収録された源歌手の歌声から音響特徴量を抽出し，学習処理で得られた GMM に基づき，最尤系列変換法 [16] を用い

図 1

従来法の統計的声質変換に基づく歌声声質変換での学習過程て目標歌手の音響特徴量へと変換する．変換された音響特徴量から波形信号を合成することで，目標歌手の歌声が生Σ を持つ正規分布を表す．GMM の混合数は M であり，成される．なお，統計的声質変換により変換する音響特徴

m は分布番号を示す．GMM のパラメータセット λ は，量として，スペクトルパラメータや励振源パラメータが用個々の分布における混合重み αm ，源歌手の平均ベクトル

いられるが，本稿では歌声の声質・個人性を最も強く捉えµm ，目標歌手の平均ベクトル µm ，源歌手の共分散行る音響特徴量として，スペクトルパラメータの変換に着目Y)
列 Σ(XX)，目標歌手の共分散行列 Σ(Y，及び，源歌手とmmする．図 1 に，この従来法の統計的声質変換に基づく歌声)
X)
目標歌手の相互共分散行列 Σ(XY
= Σ(Y
m
m

(Y )

(X)

⊤

から成る．

また，目標歌手の音響特徴量の時系列データにおいて，声質変換の学習処理及び変換処理を示す．

系列全体における静的特徴量の変動成分を表す系列内変動

2.2.1 学習処理
時間フレーム t における源歌手と目標歌手の音響特徴量の静的特徴量ベクトルを，各々 xt = [xt (1), · · · , xt (D)]⊤⊤及び y t = [yt (1), · · · , yt (D)] とする．ここで，⊤ は転置を表わす．各時間フレームにおいて動的特徴量ベクトル∆xt 及び ∆y t を算出し，各々静的特徴量ベクトルと結合することで，2D 次元の静的・動的結合特徴量ベクトル

[
]
[
]
⊤ ⊤
⊤ ⊤
X t = x⊤及び Y t = y ⊤を構築する．
t , ∆xtt , ∆y t（global variance: GV）を求める．静的特徴量ベクトル系
列 {y 1 , · · · , y T } の GV ベクトル v y = [vy (1), · · · , vy (D)]⊤は，次式で計算される．

(
)2
T
T
1 ∑
1 ∑
vy (d) =yt (d) −yτ (d)
T
T
t=1

(2)

τ =1

本稿では，フレーズ単位で GV ベクトルを計算する．得ら

各結合特徴量ベクトルの時系列データに対して，動的時間

れた GV ベクトルを学習データとして用いて，その確率密伸縮法によりフレーム間の対応付けを行うことで，各時間度関数を正規分布によりモデル化する．

フレームにおける源歌手と目標歌手の静的・動的結合特徴
量ベクトル対 {X t , Y t } を求める．全時間フレームにおけ()
P v y |λ(v) = N (v y ; µv , Σv )(3)

る静的・動的結合特徴量ベクトル対を学習データとして用

ここで，λ(v) は正規分布のパラメータセット（平均ベクトいることで，次式に示す結合確率密度関数 P (X t , Y t |λ) をル µv 及び共分散行列 Σv ）を表す．

表す GMM を学習する．

2.2.2 変換処理

P (X t , Y t |λ)
=

M
∑

αm N

m=1

変換対象となる源歌手の歌声から抽出された静的・動的

([

Xt
Yt

] [
;

(X)

][

(Y )

,

µm

µm

)
Σ(XX)
Σ(XY
m
m
X)
Y)
Σ(Y
Σ(Y
m
m

[

⊤
結合特徴量系列ベクトルを X = X ⊤1 , · · · , XT])
(1)

ここで，N (·; µ, Σ) は平均ベクトル µ および共分散行列

c 2012 Information Processing Society of Japan
⃝

]⊤

とする．

また，これに対応する目標歌手の静的・動的結合特徴量系[⊤
列ベクトルを Y = Y ⊤1 ,··· ,Y T]⊤とし，静的特徴量系列][⊤ ⊤とする．ここで，静的・動ベクトルを y = y ⊤1 , · · · , yT
3Vol.2012-MUS-96 No.5
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

的特徴量系列ベクトル Y と静的特徴量系列ベクトル y の[24] を行うことで，固有声 GMM を学習する．参照話者と間には，以下の関係が成り立つ．

s 人目の事前収録目標話者の音響特徴量の結合確率密度関Y = Wy(4)

ここで，W は静的特徴量系列ベクトルから静的・動的特徴量系列ベクトルへの変換行列であり，動的特徴量を計算する際に用いる回帰係数を用いて決定される [22]．式 (2)及び式（4）を制約条件として，次式に示す目的関数を最大化する静的特徴量系列ベクトル y を求める．

(

L (y) = P (Y |X, λ) P v y |λ(v)数をモデル化する固有声 GMM は，次式にて表される．

()
P X t , Y t |λ(EV ) , w(s)([ ] [
][
])
M
(X)
)
∑
Xt
µm
Σ(XX)
Σ(XY
m
m
=
αm N
(6)
; (Y,s) , (Y X)
Y)
Yt
µm
Σm
Σ(Y
m
m=1

ここで，m 番目の分布における s 人目の事前収録目標話者(Y,s)

に対する平均ベクトル µm

)ω

(5)

ここで，条件付き確率密度関数 P (Y |X, λ) は式 (1) で表される GMMω は GV の確率密( により導出される．また，)

度関数 P v y |λ(v) と P (Y |X, λ) のバランスを調整する
重みパラメータであり，本稿では両確率密度関数の次元数の比（2T ）とする．静的・動的結合特徴量系列ベクトル Y
及び GV ベクトル v y は，共に静的特徴量系列ベクトル yから計算されるため，目的関数は y の関数となる．結果，
静的特徴量，動的特徴量，及び，GV が適切となるような
静的特徴量系列 y の推定が可能となり，動的特徴量により時間フレーム間相関を考慮した変換処理が実現され，GVにより汎化処理に伴う音響特徴量の過剰な平滑化が効果的に抑えられる．

(Y )

) (s)
µ(Y,s)= B (Y+ bm,0
m
m w

(7)

)
行列 B (Ym = [bm,1 , · · · , bm,J ] 及びベクトル bm,0 は m 番目の分布の基底ベクトルセット（ベクトル数は J ）及びバ[]⊤

イアスベクトルであり，w(s) = w(s) (1), · · · , w(s) (J)はs 人目の事前収録目標話者に対する J 次元の重みベクトルである．重みベクトルは個々の事前収録目標話者に依存するパラメータであり，全分布間で共有される．一方で，パラメータセット λ(EV ) は，個々の分布における混合重み(X)

αm ，参照話者の平均ベクトル µm ，基底ベクトルセット)
B (Ym ，バイアスベクトル bm,0 ，および，各共分散／相互共)X)
Y)
分散行列 Σ(XX)
，Σ(XY
，Σ(Y
，Σ(Y
から成り，全事mm
mm

前収録目標話者間で共有される．各分布の目標話者に対す(Y,s)

る平均ベクトル µm

3. 話声に対する従来の多対多固有声変換は，次式で与えられる．

は，基底ベクトルで張られる部分空間上で表され，目標話者依存パラメータである重みベクトルを変化させることで，個々の分布の平均ベクトルがシフ

多対多固有声変換 [18] は，固有声変換技術 [23] の一つであり，任意の話者の音声を別の任意の話者の音声へと変換

トし，参照話者と様々な話者間における結合確率密度関数が得られる．

する手法である．任意の話者間の音響特徴量の対応関係は
固有声 GMM（Eigenvoice GMM: EV-GMM）でモデル化する．本手法は，大量のパラレルデータセットを用いて事前に固有声 GMM を学習する事前学習処理，元話者と目標
話者の音声に固有声 GMM を適応させる適応処理，また，
適応固有声 GMM を使用して元話者の音声を目標話者の音声に変換する変換処理から構成される．

3.1 事前学習処理

3.2 適応処理及び変換処理
適応処理では，任意の元話者及び任意の目標話者の少量かつ任意の発話のみを用いて，それぞれ独立に固有声

GMM の話者依存重みベクトルを推定し，固有声 GMM を
各話者に適応させる．任意の元話者 i の重みベクトル ŵ(i)は次式により推定される．

ŵ

学習にはまず，参照話者と多数の事前収録目標話者から

(i)

T ∫
∏

= argmax
w t=1

(
)
(i)
P X t , Y t |λ(EV ) , w dX t (8)それぞれ同一内容の発話データを収録し，音響特徴量を抽

ここで，Y t は，時間フレーム t における元話者 i の音響

出する．この時，時間フレーム t における参照話者と s 人

特徴量の静的・動的結合特徴量ベクトルである．同様に，目の事前収録目標話者の静的特徴量ベクトルをそれぞれ

任意の目標話者 o の重みベクトル ŵ(o) も推定される．本

[
]⊤
(s)
(s)
xt = [xt (1), · · · , xt (D)]yt (1), · · · , yt (D)とし，静的・動的結合特徴量ベクトルをそれぞれ X t =
[
]⊤
[ ⊤
]⊤
(s)
(s) ⊤
(s) ⊤
とする．参照話者
xt , ∆x⊤
,
Y
=
y
,
∆y
t
t
t
t
⊤

(s)
, yt =(i)

推定処理では，各話者の音響特徴量のみしか用いておらず，言語情報などは一切必要としない．結果，元話者及び目標話者による任意の発話を使用することが可能となる．

と各事前収録目標話者のペアに対して，時間フレームのまた，推定するパラメータ数（重みベクトルの次元数）は対応付けを行うことで，静的・動的結合特徴量ベクトル対{}

極めて少ないため，極少量の発話データのみでも頑健な推る静的・動的結合特徴量ベクトル対を学習データとして用元話者 i と目標話者 o の音響特徴量の結合確率密度関数

いて，話者適応学習（Speaker Adaptive Training: SAT）

は，各話者に対して推定された重みベクトルを用いて適応(s)
X t, Y tを構築する．全ての事前収録目標話者に対す

c 2012 Information Processing Society of Japan⃝定処理が可能となる．

4

Vol.2012-MUS-96 No.5
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

された結合確率密度関数に対して，次式の通り，参照話者

必須であったのに対し，提案法では，それぞれが別の曲のの静的・動的結合特徴量ベクトル X t の周辺化を行うこと

ワンフレーズを歌唱した歌声さえあればよい．これは提案で導出される．

法が，両歌手の歌声からそれぞれ独立に推定した重みベク

(

(i)

(o)

P Y t , Y t |λ(EV ) , ŵ(i) , ŵ(o)
=

M
∑
m=1

(

P m|λ(EV )

(

)∫

(

)

(i)

P Y t |X t , m, λ(EV ) , ŵ(i)トルを使用して固有声 GMM の適応を行うためである．こ

)

) (
)
P
P X t |m, λ(EV ) dX t
])
([
][
][
M
(i)
(Y,i)
XY )
∑
Yt
µm
Σ(XX)
Σ(Y
m
m
=
αm N
(9)
(o) ;
(Y,o) ,
Y)
XX)
Yt
µm
Σ(Y
Σ(Y
m
m
m=1
(o)
Y t |X t , m, λ(EV ), ŵ(o)の事前準備の手間を大きく削減する長所と，様々な目標歌
手の声質への変換が容易になる長所を併せ持っている．
例えば，ユーザがある演歌歌手の声質で歌いたい場合，従来法ではその演歌歌手の無伴奏歌唱を数分程度入手した上で，得意不得意にかかわらず，ユーザは同一の演歌を歌
わなくてはならなかった．それに対して提案法では，ユー
ザはどんな曲を歌ってもよく，かつ，数秒程度の歌唱でい

ここで，(Y XY )X) (XX)
Σm
= Σ(Y
Σm
m

のため提案法は，システム使用時におけるユーザ（源歌手）

−1

)
Σ(XY
m

いため，従来法に比べてユーザの負担が格段に小さい上，

(10)

である．

ユーザの歌唱技術も問題にならない．
しかも提案法では，従来法と同じく，短遅延変換アルゴ

変換処理では，元話者と目標話者に適応された固有声

リズム [17] を用いることで，リアルタイム変換処理が可能

GMM を用いて，新たに収録された元話者の音声を目標話である．これにより提案法も，楽曲制作時だけでなく，ラ者の音声へと変換する．具体的な変換処理は，2.2.2 節と同

イブやコンサート，カラオケなどのリアルタイム性が求め様である．ただし，GV の確率密度関数に関しては，予められる様々な歌唱場面で使用できる．

全事前収録目標話者の GV ベクトルを用いて不特定モデルを構築しておき，その平均ベクトルのみを目標話者のもの

4.2 VocaListener による学習データ生成

へと置き換える．この時，目標話者の GV の平均ベクトル

多対多固有声変換に基づく歌声声質変換では，固有声

は，適応処理に用いた目標話者の発話データから計算する．

GMM さえ学習しておけば，ユーザは上記のように容易に

4. 提案法本提案法では，誰でも数秒の歌声を収録するだけで，様々システムを使用できる．しかし，固有声 GMM の学習には多数の歌声を含むパラレルデータセットの構築が困難であるという問題がある．

な声質に自分の歌声の声質を変換できるようにするため

学習用のパラレルデータセットの構築では，まず，事前に，従来話声に対してのみ適用されてきた多対多固有声変収録目標歌手の歌声として，様々な声質の歌手が，それぞ

換 [18] を歌声声質変換に導入する．これまで多対多固有

れに何らかの楽曲を歌った無伴奏の歌声をできるだけ多く

声変換を歌声に適用困難だったのは，学習データ生成での用意する必要がある．我々は RWC 研究用音楽データベー

歌声収録の難しさが原因であったが，その問題を解決す

ス [25], [26] の楽曲を使用したが，Web サービス等では歌る効率的な学習データ生成のために，歌声合成システム

声のみが公開されている場合もあり，そうした歌声も使用

VocaListener [6], [7] を用いた新たな学習データ生成法も提できる可能性がある．それに対し，最も難しいのは，そう案する．図 2 に提案法の学習及び適応過程を示す．

した事前収録目標歌手の歌声と対となる参照歌手の歌声の収録である．ある一人の参照歌手が，それらすべての楽曲

4.1 多対多固有声変換に基づく歌声声質変換
多対多固有声変換に基づく歌声声質変換では，多数のパラレルデータセット（図 2 左上）を用いて，予め固有声を歌う必要があり，大きな負担となる．参照歌手の歌唱技
術や発声可能な音域によっては，そもそも的確に歌唱できない場合もある．

GMM の学習（図 2 右上）を行う．それによりユーザが使

そこで本稿では，VocaListener を利用して参照歌手の歌用する際には，図 2 右下のように，任意の源歌手と任意の声を人工的に合成してパラレルデータセットを生成する手

目標歌手の少量の歌声を使用して固有声 GMM を適応させ法を提案する．図 3 に，参照歌手の歌声として，従来の自るだけで，その源歌手から目標歌手への変換モデルが構築

然歌声を用いた場合と我々の VocaListener を用いた場合可能となる．

のパラレルデータ生成法を対比して示す．自然歌声を使用

図 1 に示した従来法では，源歌手から目標歌手への変換

する場合，参照歌手は事前収録目標歌手の人数分だけ歌声

モデルの構築のために，両歌手が歌唱した同一曲が数分程を収録しなくてはならない．しかし必ずしもうまく歌唱で度必要であったのに対して，提案法では，両歌手の歌声がきるとは限らず，曲毎に声質が大きく変動して歌声変換に数秒程度あれば十分に変換できる特長を持つ．また従来法悪影響を及ぼす可能性がある．一方，提案法では，事前収では，源歌手と目標歌手の二人が同一曲を歌唱することが録目標歌手の歌声さえあれば，VocaListener で常に同一の

c 2012 Information Processing Society of Japan⃝5

Vol.2012-MUS-96 No.5
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report
Multiple parallel data sets
1st parallel data

2nd parallel data

Training
EV-GMMsth parallel data

Sth parallel data

Sing

Sing

Arbitrarysource singer

Arbitrarytarget singer
Estimation

sth parallel data
Sing

Estimation

Source singer’s
weight vector

Target singer’s
weight vector
Adaptation

sth prestored
target singer
Synthesis
Singing-to-singing
synthesis system(Reference singer)

Reference
singing voice

Adapted EV-GMM
Adaptation of the EV-GMM
to the arbitrary source and target singers

Parallel data generation for the sth prestored target singer

図 2

Prestoredtarget singers

提案法の学習過程及び適応過程

5.1 実験条件

Prestored
Reference singer target singers
Parallel data

Parallel data
Sing

Sing

1st

1st singing
Sing

2nd

2nd singing

Sth singinga) Conventional method

図 3

事前収録目標歌手の歌声として，RWC 研究用音楽デー
タベース（ポピュラー音楽 RWC-MDB-P-2001） [25], [26]Sing

中の 30 曲（男性歌唱 19 曲と女性歌唱 11 曲）の無伴奏歌

VocaListener

唱を用いる．また，参照歌手の歌声として，歌声合成シス

2nd

Sing

Sth

VocaListener

1st

Sing
.
.
.

Sing

Sing

.
.
.
Sing

VocaListener

テム VOCALOID2（初音ミク [27]）を用いて，事前収録目
標歌手の歌声を手本に VocaListener で自動推定された合成パラメータに基づいて生成される合成歌声を使用する．

Sthb) Proposed method

適応及び評価に用いる歌声として，RWC 研究用音楽デー

自然歌声と合成歌声を用いた場合のパラレルデータ生成法のタベースの中から，学習に使用されていない 2 曲（同一歌違い

手による RWC-MDB-P-2001 No.35 及び No.71）の無伴奏声質の歌声合成音源（歌声ライブラリ）を用いてその歌声を模倣するように合成することで，参照歌手の歌声を全ての楽曲において同じ声質で用意することが可能である．しかも曲毎に声質が大きく変動することが自然歌声よりも少ない．さらに人間と違って，単に同じ曲を歌っているというだけではない，歌い回しまでも真似たより高品質なパラレルデータセットとなる．従来法では，参照歌手と目標歌
手の音響特徴量を結合する際に，動的時間伸縮法により時間フレーム間の対応付けで誤差を生じる可能性があるが，提案法で VocaLitener を用いると時間軸が一致しているので，その対応付けが不要で誤差を生じにくくなる．
以上のように本学習データ生成法では，まず，多数の事
前収録目標歌手の歌声を準備し，次に，それぞれに対して

VocaListener を用いて合成歌声を生成し，最後に，生成された合成歌声とその元となった事前収録目標歌手の歌声の音響特徴量を結合して学習データとする．

5. 実験による評価

歌唱と，これら 2 曲を新たに別の女性歌手１名が歌うのを収録した歌声を用いる．
スペクトル特徴量として，STRAIGHT 分析 [28] により抽出された 1 次から 24 次のメルケプストラム係数を用いる．シフト長は 5 ms，サンプリング周波数は 16 kHz とする．
提案法において，スペクトル変換用固有声 GMM は，30人（上記 RWC 研究用音楽データベースの 30 曲）の事前収
録目標歌手の歌声と，それらを VocaListener で変換した参照歌手の歌声から成るパラレルデータセットから学習される．固有声 GMM の重みベクトルの次元数は 29 とし，混合数は 128 とする．また，比較対象として，2.2 節で述べた
従来法を用いる．従来法におけるスペクトル変換用 GMMの学習には，提案法における固有声 GMM の適応データとして用いる源歌手及び目標歌手の歌声と同一のものを用いる．ただし，提案法とは異なり，源歌手および目標歌手の歌声はパラレルデータとして取り扱う．また，従来法における GMM の混合数は，評価データに対する変換精度が最大になるように，事後的に最適化する．尚，本実験では，提案法の有効性を客観的及び主観的に評価する．

c 2012 Information Processing Society of Japan⃝

6

Vol.2012-MUS-96 No.5
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

4.5
Conventional method under same-song condition
Conventional method under different-song condition

7.5

Mean opinion score (MOS)

Mel-cepstral distortion [dB]8

Proposed method under same-song condition
Proposed method under different-song condition

7
6.5
6
5.5

3.5
3
2.5
2
1.5

5

1
2

図 4

4

4
8
16
32
Amount of training or adaptation data [%]

64

2

64

2

Conventional

64

Proposed2

Same-song condition

メルケプストラムひずみ．横軸は，従来法では学習に用いたデータ量，提案法では適応に用いたデータ量を示す．縦軸は，64

2Conventional

64

[%]

Proposed

Different-song condition

図 5

音質に関する主観評価結果

64

2

メルケプストラムひずみを示す
100

従来法，提案法共に，短遅延変換アルゴリズムは用いず，た変換歌声を用いる．
従来法の学習データ及び提案法の適応データとして，1
曲 (RWC-MDB-P-2001 No.35) に含まれる歌声中の 2, 4, 8,

16, 32, 64% を用い，残りの 36%を評価データとする．尚，

Preference score [%]バッチ処理に基づく変換アルゴリズム [16] により生成され

90
80
70
60
50
40
30

楽曲の長さは 193 秒であり，その内，歌声の区間は 116 秒

20（100%に相当）である．

10

本稿では，客観評価及び主観評価を以下の 2 つの条件下で行う．

• 1) same-song condition: 学習・適応で用いた曲と同一の曲 (RWC-MDB-P-2001 No.35) を評価データとして

0
2

Conventional

64 [%]

Proposeda) Same-song condition

図 6

2

64

Conventional264 [%]

Proposedb) Different-song condition

話者性に関する主観評価結果

使用する．

• 2) diﬀerent-song condition: 学習・適応で用いた曲と同一歌手ではあるが異なる曲 (RWC-MDB-P-2001

No.71) を評価データとして使用する．

らかに従来法に優っている．

diﬀerent-song condition においては，データ量に関係なく提案法が従来法に優っている．これは，歌声の声質が，同一歌手による歌唱であっても，その曲調の違いに応じ

5.2 客観評価て変化するためであると考えられる．従来法では，学習曲

従来法及び提案法の変換精度をメルケプストラムひずみにおける両歌手の声質に特化した GMM が学習されるたにより評価する．図 4 に従来法及び提案法における 2 つのめ，別曲で評価した際に，性能が劣化する．一方で，提案条件下での変換精度を示す．

法は，多数の事前収録目標歌手の声質をモデル化するよう

same-song condition において，学習及び適応データがに固有声 GMM が学習されるため，同一歌手の曲ごとの少ない場合 (16%以下の場合)，提案法は従来法よりも高い声質の変動に対しても頑健であると考えられ，別曲での変換精度を示しており，提案法がデータ量に対して頑健で評価においても性能劣化は小さい．ただし，提案法においあることが分かる．一方，学習及び適応データが多い場合て diﬀerent-song condition における変換精度が same-song(64%の場合)，従来法が提案法よりも優れた変換精度を示

condition に優っている点については，単に評価に用いるしている．これは，学習すべきパラメータが多い従来法に曲の違いに起因する特徴量分析精度や推定精度の差である

おいても，十分な学習データが得られたことにより，その可能性があり，必ずしも diﬀerent-song condition の優位性

楽曲における両歌手の声質をより効果的に表現できたためを示すものであるとは限らない．

だと考えられる．尚，提案法は適応処理において，源歌手
及び目標歌手の重みベクトルをそれぞれ独立に推定するため，パラレルデータを必要とせず，利便性においては，明c 2012 Information Processing Society of Japan
⃝

5.3 主観評価
主観評価では，各条件・手法における変換音声の音質及7

Vol.2012-MUS-96 No.5
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

び話者性を評価する．音質の評価は，5 段階の平均オピニオ
ン評定による聴取実験で行う．評価する音声は，same-song

condition 及び diﬀerent-song condition において，2%または 64%の学習・適応データを用いた場合の従来法と提案法で生成された計 8 種類の変換歌声である．被験者は 5 名で，各被験者は，ランダムに提示される変換歌声サンプルを受聴し，その音質を 1(悪い)〜5(良い) の 5 段階で評価する．話者性の評価は，XAB 法による聴取実験で行う．ここで，話者性とは，声質における個人性を指す．評価対象
は，音質評価と同じ 8 種類の変換歌声であり，被験者は 5人である．被験者はまず，目標とする自然歌声を聴き，そののち 2 種類の変換歌声を聴く．そして，2 種類の内，より目標歌声に声質が近い変換歌声を選ぶ．尚，same-song

condition と diﬀerent-song condition は，目標とする曲が異なるため，それぞれ独立に評価する．
図 5 に音質の評価結果を示す．same-song condition において，提案法は 2%のデータを用いた際の音質が，従来法よりも高いこと，データ量の増加に伴い音質が改善する
ことが分かる．しかしながら，データ量が多い場合，提案
法の音質はパラレルデータで学習する従来法の音質に及ばない．これは，客観評価結果と同様である．diﬀerent-song

condition において，64%のデータを用いた際に，従来法は，same-song condition に近い音質を示しているにも関わらず，2%のデータを用いた際には，same-song condition
よりも明らかに低い音質を示している．この事から，同一歌手においても，曲が異なる場合には，局所的にその声質が大きく変動することが窺える．一方，提案法は，客観評
価と同じく，両条件下で同等の音質を示しており，曲ごとの声質の違いに対して頑健であることが確認できる．また，diﬀerent-song condition において，提案法はパラレル

6. まとめ
本稿では，混合音ではない無伴奏の独唱において，任意のユーザの歌声の声質を様々な歌手の声質に自動変換できる歌声声質変換手法を提案した．本手法では多対多固有声
変換を導入したことで，変換前後の無伴奏歌唱データが少量あれば，事前に学習した固有声 GMM を適応させて変換に用いることを可能にした．これにより従来の歌声声質変換に比べ，より容易に幅広い場面で用いることができ，様々な声質への変換が実現できた．この優れた多対多固有
声変換は，従来であれば歌声に適応することは現実的でなかったが，VocaListener を用いてパラレルデータセットを構築する斬新な学習データ生成により，固有声 GMM の学習を歌声でも可能にした．以上の提案法は，客観評価及び主観評価の結果から，高い変換精度を保ちつつ，かつ，利便性を大幅に向上できることが示された．
我々は既に，本手法に基づいて，マイクから入力されたユーザ（源歌手）の歌声の声質を，リアルタイムに他の声質に変換するプロトタイプシステムを試作した．しかし，
歌声声質変換後の声質にはまだ改善の余地が大きく，今後もさらなる変換品質の向上とユーザの立場からの利便性の向上に取り組んでいくことを予定している．
謝辞 本研究の一部は，科研費補助金若手研究 (A) と科
学技術振興機構 OngaCREST プロジェクトによる支援を受けた．STRAIGHT の使用を許可していただいた和歌山大学河原英紀教授に感謝いたします．
参考文献
[1]

データで学習した従来法に匹敵する音質を示しており，当条件下における提案法の優位性は明らかである．
図 6 に話者性の評価結果を示す．話者性の評価において[2]

も，客観評価及び音質評価と同様の傾向を確認できる．すなわち，従来法は，源歌手と目標歌手のパラレルデータが[3]

大量に利用可能な場合においては，精度良く変換処理を実現することができるが，十分な量のパラレルデータが得ら[4]

れない際には，その変換精度は激しく劣化する．一方で，提案法は，データ量及び曲ごとの声質の差に非常に頑健であり，任意の少量のデータのみを用いて，源歌手と目標歌[5]

手の声質変換を比較的精度良く実現することができる．
以上の結果から，提案法は，利用可能な歌声が少量の場[6]合であっても，高い変換性能を示すこと，適応に用いた曲と変換時の曲が異なる場合でも，頑健に変換可能である[7]

ことが分かる．また，提案法が適応データとしてパラレル
データを必要としないことも，提案法の重要な利点の一つである．

c 2012 Information Processing Society of Japan⃝[8]後藤真孝, 奥乃博. 特集「CGM の現在と未来: 初音ミク，
ニコニコ動画，ピアブロの切り拓いた世界」 編集にあたって. 情報処理 (情報処理学会誌), Vol. 53, No. 5, pp.
464–465, May 2012.
H. Kenmochi and H. Ohshita. VOCALOID – Commericial singing synthesizer based on sample concatenation.
Proc. INTERSPEECH, pp. 4011–4012, Aug. 2007.
剣持秀紀, 大下隼人. 歌声合成システム VOCALOID —現状と課題. 情報処理学会研究報告 音楽情報科学, Vol.
2008-MUS-74-9, pp. 51–58, 2008.
K. Oura, A. Mase, T. Yamada, S. Muto, Y. Nankaku,
and K. Tokuda. Recent development of the HMM-based
singing voice synthesis system - Sinsy. SSW7, pp. 211–
216, Sept. 2010.
徳田恵一, 大浦圭一郎. 自動学習により人間のように歌う
音声合成システム —Sinsy—. 情報処理学会研究報告 音楽情報科学, Vol. 2012-MUS-94, No. 1, pp. 1–6, 2012.
T. Nakano and M. Goto. VocaListener: A singing-tosinging synthesis system based on iterative parameter
estimation. Proc. SMC 2009, pp. 343–348, July 2009.
中野倫靖, 後藤真孝. VocaListener: ユーザ歌唱の音高および音量を真似る歌声合成システム. 情報処理学会論文
誌, Vol. 52, No. 12, pp. 3853–3867, Dec. 2011.
T. Nakano and M. Goto. Vocalistener2: A singing synthesis sytem able to mimic a user’s singing in terms ofvoice timbre changes as well as pitch and dynamics. Proc.

8

Vol.2012-MUS-96 No.5
2012/8/9

情報処理学会研究報告
IPSJ SIG Technical Report

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

ICASSP, pp. 453–456, May 2011.
中野倫靖, 後藤真孝. VocaListener2: ユーザ歌唱の音高と音量だけでなく声色変化も真似る歌声合成システムの提案.
情報処理学会研究報告 音楽情報科学, Vol. 2010–MUS–86,
No. 3, pp. 1–10, July 2010.
川上裕司, 坂野秀樹, 板倉文忠. 声道断面積関数を用いた GMM に基づく歌唱音声の声質変換. 信学技法，SP110–297, pp. 71–76, Nov. 2010.
藤原弘将, 後藤真孝. 混合音中の歌声スペクトル包絡推定に基づく歌声の声質変換手法. 情報処理学会研究報告 音楽情報科学, Vol. 2010-MUS-86, No. 7, pp. 1–10, 2010.
河原英紀, 生駒太一, 森勢将雅, 高橋徹, 豊田健一, 片寄晴
弘. モーフィングに基づく歌唱デザインインタフェースの提案と初期検討. 情報処理学会論文誌, Vol. 48, No. 12,
pp. 3637–3648, 2007.
H. Kawahara, R. Nisimura, T. Irino, M. Morise, T. Takahashi, and H. Banno. Temporally variable multi-aspect
auditory morphing enabling extrapolation without objective and perceptual breakdown. Proc. ICASSP, pp.
3905–3908, Apr. 2009.
Y. Stylianou, O. Cappe, and E. Moulines. Continuous probabilistic transform for voice conversion. IEEE
Trans. SAP, Vol. 6, No. 2, pp. 131–142, Mar. 1998.
A. Kain and M. W. Macon. Spectral voice conversion
for text-to-speech synthesis. Proc. ICASSP, pp. 285–
288, May 1998.
T. Toda, A. W. Black, and K. Tokuda. Voice conversion
based on maximum likelihood estimation of spectral parameter trajectory. IEEE Trans. ASLP, Vol. 15, No. 8,
pp. 2222–2235, Nov. 2007.
T. Muramatsu, Y. Ohtani, T. Toda, H. Saruwatari, andK. Shikano. Low-delay voice conversion based on maximum likelihood estimation of spectral parameter trajectory. Proc. INTERSPEECH, pp. 1076–1079, Sept. 2008.
Y. Ohtani, T. Toda, H. Saruwatari, and K. Shikano.
Many-to-many eigenvoice conversion with reference
voice. Proc. INTERSPEECH, pp. 1623–1626, Sept.
2009.
F. Villavicencio and J. Bonada. Applying voice conversion to concatenative singing-voice synthesis. Proc. INTERSPEECH, pp. 2162–2165, Sept. 2010.
T. Saitou, M. Goto, M. Unoki, and M. Akagi. Speech-tosinging synthesis: Converting speaking voices to singing
voices by controlling acoustic features unique to singing
voice. Proc. WASPAA, pp. 215–218, Oct. 2007.
齋藤毅, 後藤真孝, 鵜木祐史, 赤木正人. SingBySpeaking:
歌声知覚に重要な音響特徴を制御して話声を歌声に変換するシステム. 情報処理学会研究報告 音楽情報科学, Vol.
2008–MUS–74–5, No. 12, pp. 25–32, 2008.
K. Tokuda, T. Yoshimura, T. Masuko, T. Kobayashi, andT. Kitamura. Speech parameter generation algorithms
for HMM-based speech synthesis. Proc. ICASSP, pp.
1315–1318, June 2000.
T. Toda, Y. Ohtani, and K. Shikano. One-to-many andmany-to-one voice conversion based on eigenvoices. Proc.
ICASSP, pp. 1249–1252, Apr. 2007.
Y. Ohtani, T. Toda, H. Saruwatari, and K. Shikano.
Adaptive training for voice conversion based on eigenvoices. IEICE Trans. Inf. and Syst., Vol. E93-D, No. 6,
pp. 1589–1598, June 2010.
後藤真孝, 橋口博樹, 西村拓一, 岡隆一. RWC 研究用音楽
データベース：研究目的で利用可能な著作権処理済み楽曲・楽器音データベース. 情報処理学会論文誌, Vol. 45,
No. 3, pp. 728–738, Mar. 2004.
M. Goto, H. Hashiguchi, T. Nishimura, and R. Oka.

c 2012 Information Processing Society of Japan
⃝

[27]
[28]

RWC Music Database: Popular, classical, and jazz music
databases. Proc. ISMIR, pp. 287–288, Oct. 2002.
伊藤博之. 初音ミク as an interface. 情報処理学会誌,
Vol. 53, No. 5, pp. 477–482, May 2012.
H. Kawahara, I. Masuda-Katsuse, and A. Cheveigne. Restructuring speech representations using a pitch-adaptive
time-frequency smoothing and an instantaneousfrequency-based f0 extraction: Possible role of arepetitive structure in sounds. Speech Communication,
Vol. 27, No. 3-4, pp. 187–207, Apr. 1999.

9