Vol.2012-MUS-94 No.1
Vol.2012-SLP-90 No.1
2012/2/3

情報処理学会研究報告   

 はじめに

自動学習により人間のように歌う音声合成システム

徳田一Ý

恵

与えられた任意のテキストから対応する音声を合成することを，音声合成，あるいはテキスト音声合成       と呼ぶ．音声合成に関する研究は，計算機資源の増大とともに，人手によるルールに基づいたものから，データに基づいたものへと変化してきた．具体的には， 年代以前には，人手によるルールに基づいたフォルマン

圭 一 郎Ý

大浦

ト合成が研究されたのに対し， 年代以降は，波形接続型のアプローチが主流を占めるようになった．波形接続型のアプローチは，ダイフォン等の固定の音声単位を用いるものに始

本稿では， 音声合成の手法に基づいた歌声合成システム   について述べる．本システムは，歌声データと対応する歌詞付きの楽譜から，モデルパラメータを自動学習するものであり，学習後は，歌詞付きの楽譜を与えることにより，歌声データ提供者の声質，歌い方等を再現する形で，任意の曲を自動で歌わせることができる．まずはじめに  音声合成について概説し，それがどのように歌声合成に拡張されるかについて述べる．また， 年  月に開設されたオンラインデモについて触れた上で，今後の技術開発に関してどのような展開が期待されるかについて議論する．

       Ý  &    !%     &    

手法が広く研究されるようになってきた これらの中でも，統計モデルとして隠れマルコフモデル     を用いるものは， 音声合成方式と呼ばれ，利用しやすい学習アルゴリズムやソフトウェアツールが普及しており，広く用いられるようになった．
 音声合成方式には以下のような特徴がある．

   #   .!  #$!

 $% &    ,

# # #&   & 

比較的少ない量の学習データで高品質な合成音声を得ることができる．



学習用の音声データをランタイムのシステムに蓄積する必要がない．

 のモデルパラメータを適切に変換することにより，様々な声質及び発話スタイ

特に，  は他の手法では実現困難な特長であり，実際に「声を真似る」! 「声を混ぜる」!

「声をつくる」 等の手法が開発されている．

 

テキスト音声合成と同様，歌声合成の研究に関しても長い歴史があり，様々な方式が検討

, 
 #

ルの合成音声を得ることができる．

%! &      

与えられた音声データに基づいてモデルを自動学習することにより，元話者の声の特徴を再現する合成音声を得ることができる．

) * " # %!!  +      %% $    !

     ) -

" #  '   !   ! ! (Ý      !        $!   !   !   ! $! "展してきた．更に近年は，統計的パラメトリック音声合成と呼ばれる統計モデルに基づいた             まり，複数の音声単位候補から合成時に動的に選択する単位選択型  と呼ばれるものに発されてきた．最近では，"#$%&#'( に代表される歌声合成ソフトウェアが市販され，広く  % $%%     $     ! )

利用されるようになってきた．一般の人々の認知度も高まっているが，それとともに，好きな歌い手の声で，好きな曲を簡単に歌わせたいという要請が高まっているものと思われる．
実際，)%) 等の歌声合成のためのフリーソフトウェアにおいては，ユーザーが作成した多くの歌手ライブラリ「)%) 音源」が公開されている．また，"#$%&#'(! )%) 等Ý 名古屋工業大学大学院工学研究科

       

では，自然に歌わせるため，あるいは，様々な歌唱表現を行うために，後処理的な調整作業
が行われることが多い．この作業は，作品制作上の創造的な部分ではあるが，一般のユーザ ­$!     $  Vol.2012-MUS-94 No.1
Vol.2012-SLP-90 No.1
2012/2/3

情報処理学会研究報告   a11aij: ≧ែ㑄⛣☜⋡bq (ot ) : ฟຊ☜⋡ᐦᗘ㛵ᩘ1a33a22a122a233㡢ኌఏ㐩≉ᛶ

b1 (ot )ບ᣺※࿘ᮇ䠄᭷ኌ䠅: 䝟䝹䝇ิ㠀࿘ᮇ䠄↓ኌ䠅: 㞧㡢b2 (ot )b3 (ot )⣔ิoo1 o2 o3 o4 o5  ࣭ ࣭ oT

≧ែ⣔ิ

q

1 1 1 1 2  2 3 3ほẼὶ

図



音声の生成過程     図䜸䝸䝆䝘䝹㡢ኌᇶᮏ࿘Ἴᩘ࿘ᮇ / 㠀࿘ᮇ࿘ᮇ

ができ，このようなモデルをソースフィルタモデルと呼ぶ．ソースフィルタモデルによれ䝇䝨䜽䝖䝹䝟䝷䝯䞊䝍ば，自然音声から抽出された  周期+非周期情報， 基本周波数 以下，,， メルケ䛣䜜䜙䛾䝟䝷䝯䞊䝍ิ䜢HMM䛷䝰䝕䝹໬䛩䜛

プストラム  などのスペクトルパラメータ，からなる音声パラメータの列を用いて，元の自䝟䝹䝇ิྜᡂ䝣䜱䝹䝍ບ᣺※ⓑⰍ㞧㡢 隠れマルコフモデル  ! " #   H (z )然音声を聴感上良く近似する音声波形を再構成することができる．従って，これらの音声パ෌ᵓᡂ䛥䜜䛯㡢ኌἼᙧ

e(n)

x(n)

ラメータの列をテキストから推定することができれば，テキストから音声を合成することが図  音声の分析と再構成可能となる．

       音声合成では，このような音声パラメータの列を，時系列の統計的モデルのひとつとして広く用いられている  によりモデル化する．図  に  の例を示す．図中のにとっては敷居が高すぎるとの声もあり，自ら歌うことにより調整を行う " & 

観測系列が音声パラメータの列に対応する．従って， 音声合成システムのブロック図等の開発が行われた．我々は，このような流れの中で，自動学習による歌い手の声質・歌いは図  に示すようなものとなる．

方等を再現することが可能な歌声合成システム を  音声合成に基づいて構築した．更に一般ユーザに広く利用されることを想定し，オンラインデモ  として公開

 の学習は，尤度最大化基準に基づいた学習アルゴリズムによって行うことができる．

した．
以下， 節で  による音声パラメータ列のモデル化

通常，各  は音素等の音声単位に対応する長さの音声パラメータ列をモデル化する．のベースとなった  音声合成方式について概説した上で， 節で歌声合成に拡張するための要素技術について述べる．また， 節で 

以下， による音声パラメータ列のモデル化において用いられる手法について述べる．

オンラインデモに

状態出力分布 通常，音声認識等では，スペクトルパラメータ列のみを  によりモデついて構成や機能，公開前後の経緯について述べた上で， * 節で今後の課題等について議論ル化するが，音声合成においては，音声波形再構成のために必要となるスペクトルパラメータ，, パラメータを連結したベクトルの列をモデル化する． , パラメータは，無する．

声部（非周期部）で値がないという特殊な時系列であるため，このような時系列を扱う

  音声合成
 音声の分析と再構成
図  に示す音声の生成過程は，図ことのできる状態出力確率分布を用いる 
動的特徴 音声パラメータ列には，動的特徴と呼ばれる各パラメータ列の時間方向の  次微分および  次部分に対応するパラメータ（デルタパラメータおよびデルタデルタパに示すようなデジタルフィルタにより模擬すること ­$!     $  Vol.2012-MUS-94 No.1
Vol.2012-SLP-90 No.1
2012/2/3

情報処理学会研究報告   㡢ኌಙྕ

れることになり，合成時に必要となるすべてのモデルパラメータを同時に自動学習する枠組Ꮫ⩦㒊Ꮫ⩦䝕䞊䝍
ᇶᮏ࿘Ἴᩘ
䝟䝷䝯䞊䝍
ᢳฟ

みとなっていることがわかる 䝇䝨䜽䝖䝹䝟䝷䝯䞊䝍ᢳฟᇶᮏ࿘Ἴᩘ
䝟䝷䝯䞊䝍 音声の合成䝇䝨䜽䝖䝹䝟䝷䝯䞊䝍HMMᏛ⩦

図の下側が音声の合成部である．まず，与えられたテキストに対応するラベル列（コンテキスト依存モデルのモデル名の列）に従って音声単位  を連結することにより得ら䝷䝧䝹れる  から，音声パラメータ列を生成する．音声パラメータの生成は， からの䝔䜻䝇䝖滑らかに変化する音声パラメータ列を得ることができる  生成された音声パラメータ列か䝟䝷䝯䞊䝍⏕ᡂ䝷䝧䝹ບ᣺※⏕ᡂら，図  の合成フィルタを用いることにより，音声波形が再構成される．

䝇䝨䜽䝖䝹䝟䝷䝯䞊䝍ᇶᮏ࿘Ἴᩘ䝟䝷䝯䞊䝍ྜᡂ㒊 $ %出力確率を最大化するように行われる．この際，動的特徴を考慮することにより，時間的に䝁䞁䝔䜻䝇䝖౫ᏑHMM& ≧ែ⥅⥆㛗䝰䝕䝹ࢸ࢟ࢫࢺゎᯒྜᡂ䝣䜱䝹䝍ྜᡂ㡢ኌ  歌声合成システム 1

図   音声合成システムのブロック図! #  &'  歌声合成への拡張  #

テキスト音声合成では，テキストと音声波形の間の関係を  でモデル化するが，歌ラメータ- . および . ）を付加する．これは  が時系列の時間方向の相関関係を声合成では，楽譜と音声波形の間の関係をモデル化することとなる．ここでは， 音声モデル化しにくい点を補うもので，音声認識でも広く用いられている手法である．

合成を歌声合成に拡張するために必要な各手法について述べる．

継続長モデル  では，時系列の時間方向の伸縮変動は，状態遷移確率によりモデル化

ビブラートのモデル化 ビブラートは主として音高を周期的に揺らす歌唱表現である．ビブされるが，音声の時間的な構造を精度よくモデル化するには不十分であるため，状態継ラートのかかるタイミングやその周期，振幅の変化は歌い手毎に異なるため，ビブラー

続長モデルを導入するトはモデル化すべき歌唱表現の一つであると考えられる．そこで，ビブラートの周期とコンテキスト依存モデル 通常の音声認識においては，各音素  は，先行・後続音素振幅を表す特徴パラメータを音声パラメータベクトルに加えることにより，ビブラートに依存したコンテキスト依存モデル（トライフォンモデル）を用いるが，音声合成でをモデル化している  これにより，ビブラートに関しても，学習用の歌声データからは，それらのコンテキストに加えて，アクセント型，品詞，文長，文内位置等，言語的自動でモデル学習を行うことができる．

な情報をコンテキストとして考慮しなければならない．これは，スペクトルパラメータ

タイミングモデル テキスト音声合成と異なり，歌声合成については，曲のテンポやリズムが主として音素コンテキストに影響を受けるのに対して， , パラメータ，継続長は言に適合した音声が合成される必要がある．しかし，楽譜から計算される音符と実際の発語的な情報に大きな影響を受けるためである．図声との間には時間的なずれがあり，これは「ノリ」などと呼ばれる発声タイミングによ中の「ラベル」がコンテキスト依存る歌唱表現と捉えることができる． 

モデルのモデル名に対応する．

では楽譜から計算される音符の絶対的な時間と実際の発声とのずれに関しても統計モデルの枠組みでモデル化している パラメータの共有 コンテキストの組み合わせから，コンテキスト依存モデルの数は膨大なものとなるため，自動的に類似したモデルあるいは状態出力分布を統合するコンテキス

歌声モデル化のためのコンテキスト 歌声合成においても，テキスト音声合成と同様，コントクラスタリング  と呼ばれる手法が用いられる．その際，スペクトルと , は，そテキスト依存モデルを用いるが，考慮すべきコンテキストは当然，テキスト音声合成とれぞれ別のコンテキストに強く影響を受けるため，状態出力分布のスペクトル部と ,は異なったものとなってくる．歌声には音高やテンポ，調，拍子などのコンテキストが部，更に状態継続長分布は，それぞれ独立にクラスタリングされる．

考えられるため，

以上により，スペクトル，,，継続長のすべてがひとつの確率モデルによってモデル化さでは新しく歌声合成に特化したコンテキストを定義した それらは，音高やテンポ，調，拍子などからなり，具体的には，「音高が $，音符長が // ­$!     $  Vol.2012-MUS-94 No.1
Vol.2012-SLP-90 No.1
2012/2/3

情報処理学会研究報告   

アップロードすることにより，自動合成された歌声をダウンロードすることができる．短い
曲ならば，数秒から数十秒で合成が完了する．今のところ，23 と 23 のふたつの歌声䝻䜾䠄䠇⥅⥆㛗䠅

モデルを選択して利用可能である．また，合成時に「声質」，「ビブラート強度」，「ピッチシフト」を指定することもできる．

ᇶᮏ࿘Ἴᩘ図䝇䝨䜽䝖䝹䝟䝷䝯䞊䝍に楽譜と対応する 0  1& の例を示す．4 0! !

! 0!   ，それぞれが，小節，音符，音高，音長，歌詞に対応する．2（フォルテ）， （ピアノ）などのἼᙧ

強弱記号等も記述することができる．楽譜の表現に 0  1& を採用したのは，オープンなフォーマットであること，楽譜を正確に表現することができること等による．0  1&を人手で直接，書くのは手間がかかり簡単ではないが，0  1& ファイルのエクスポート機能をもった市販およびフリーの楽譜編集ツールを用いることにより，容易に 0  1&図 オンラインデモページ ( ))***+), -  &  #  ( ))***+),

ファイルを作成することができる．
なお，図 ，図にある通り，音声波形を生成する直前には，歌声はスペクトル情報，基本周波数情報等で表現されているため，必要があれば，この段階で調整を行うことは容易
秒の分音符，歌詞は「あ」，小節内で番目で  拍目の音符，ひとつ前の音符の高さである．

オンラインデモでは，歌声合成時に，波形だけでなく，波形生成の際，使わは (，・・・」というように表現されるものである．状態出力分布のスペクトル部，,れた音声パラメータをダウンロードすることができる（図 *）．これらの音声パラメータか部，ビブラート部はもとより，状態継続長分布，タイミングモデルの分布に関しても，ら，56 7 5  7   を用いることにより音声波形を再構成することコンテキスト依存のモデル化がされる．

が可能である．
その他，

以上により構築される歌声合成システムは，声の質を表わすスペクトル情報，声の高さをオンラインデモページには，動画投稿サイトにアップロードされたデモ動表す基本周波数情報，タイミング等を表す時間情報，ビブラート情報をすべて同時にモデル画，化する方式となっており，声質や音量は元より，基本周波数の変化パターンによって表わさ

オープンソースによるシステム構成れるプレパレーション，オーバーシュート，ビブラート等に関する特徴だけでなく，音符には， 8   

動学習によりモデル化・再現することができる枠組みとなっている．
歌声データベース

容易に，学習時には，特定の歌い手によって歌われた歌声データと対応する歌詞付きの楽譜を数十 7 %5'!

を独自に改良したり，他のソフトウェアツールの一部として組み込んだりすることができる．

 利 用 状 況るため，学習用の楽譜と歌声は正しく対応が取れている必要がある．

オンラインデモのリリースをきっかけに )%)! "#$%&#'(! $  等のスコア編集機能をもったツールのファイル形式を 0  1& 形式に変換するためのツールが複数制作された

 オンラインデモページ
4!

スソフトウェアを利用して構築されていることもその特徴のひとつである．従って，比較的曲分を用意する．歌い間違い等もモデル化され，合成された歌声に影響を及ぼす可能性があ     56
7 5  7 を 軸 と し な が ら ，6  !  等のオープンソー
9%':!
  0 !
;5 !
<'5;
 

対するタイミングも自動学習するため，時間構造によって表現される歌唱表現についても自を用いたユーザー作品，関連情報等がまとめてリストされている．

り，ツール自体から 0  1& 形式のファイルを出力する機能が追加されたりした．更にオンラインデモページ（図 ）では，0  1& で記述された歌詞付きの楽譜をは，0の使い方を解説する動画なども投稿された．  年  月のウェブサイト開設

 
­$!     $  ࡆࢇࡇࡘࡸࡲࡢࡓࡠࡁࡉࢇ

Vol.2012-MUS-94 No.1
Vol.2012-SLP-90 No.1
2012/2/3

情報処理学会研究報告   ªࡆ


ª ª

ࢇࡇª

ࡘ

ª

ࡸ

ª ªࡲ ࡢªࡓª ªࡠࡁªࡉª©

  歌声合成の柔軟性ࢇ 音声合成の特長のひとつは，比較的容易に多様な声質，発話スタイルの音声が得ら兟兟兟れることである．これらの特徴は，歌声合成でも活かすことができる．本節では，このよう<measure number="5" width="311"><print new-system="yes"><system-layout><system-distance>137</system-distance></system-layout></print><note default-x="55"><pitch><step>A</step><octave>4</octave></pitch><duration>3</duration><voice>1</voice><type>eighth</type><dot/><stem default-y="10">up</stem><beam number="1">begin</beam><lyric default-y="-77" number="1"><syllabic>single</syllabic><text font-size="9.9">傸</text></lyric></note><note default-x="140"><pitch><step>A</step><octave>4</octave></pitch><duration>1</duration><voice>1</voice><type>16th</type><stem default-y="10">up</stem><beam number="1">end</beam><beam number="2">backward hook</beam><lyric default-y="-77" number="1"><syllabic>single</syllabic><text font-size="9.9">價</text></lyric></note><note default-x="180"><pitch><step>A</step><octave>4</octave>

な観点からいくつかの関連事項について議論する．
話者適応（声を真似る） テキスト音声合成では，話者適応の手法を用いることにより，特定の話者の声質あるいは発話スタイルを真似ることが可能となる 同様の手法を歌声合成に適用することにより，歌い手の声質，歌い方等を「真似る」ことができる
話者補間（声を混ぜる）  音声合成では，各話者の特徴は， のモデルパラメータとして表現されているため，二つの話者モデルがあったとき，それらのモデルパラメータを適切な方法で補間することにより，二人の話者の中間的な性質をもったモデルを得ることができる 複数の話者モデルがあった場合，あるいは，各特定話者モデルを特定の発話スタイルのモデルに置き換えた場合も同様である 同様のことを歌声合成に適用することにより，声を混ぜたり，歌唱スタイルを補間したりすることができる．
固有声手法（声をつくる） 主成分分析等の手法を話者モデルのパラメータ集合に適用することにより，全話者空間を少数のパラメータで表そうとするのが，固有声手法である
音声合成での応用では，次元圧縮された話者空間で重み係数を設定することにより，ユーザーは容易に所望の「声」の話者モデルを生成することが可能となる．歌声についても，同様のことが可能と予想される．
多言語音声合成  音声合成システムは，言語に依存する部分がほとんどないという特徴があるため，様々な言語へ容易に適用することができる．更に，言語間話者適応と呼ばれる手法 を用いることにより，元話者が話さない言語の音声合成システムを構築することも可能である．これらはいずれも，歌声合成に関しても同様に適応すること兟兟兟ができる．更に，テキスト音声合成用の読み上げ音声データから歌声音声システムを構築したり，逆に歌声データからテキスト音声合成システムを構築したりといったことも図 ./ による歌詞付き楽譜の表記
 0 1    #    *     ./

可能と予想される．
フットプリント 波形接続型の音声合成方式あるいは歌声合成方式では，大量の音声データから  年  月までで一万回近く 0  1& ファイルがアップロードされており，また，をランタイムのシステムに蓄積する必要があり，通常，= から数百 =，場合によっては数 := のメモリ容量を必要とする． 音声合成および  歌声合成でを利用したユーザーの楽曲も継続的に動画投稿サイト等に投稿されており，ある程度の浸透が進んでいるものと思われる．今後，が，このような「):$ 的」あるいは， 等の統計モデルのモデルパラメータのみを蓄積するため，特別な工夫をしなは「オープンソース的」なアクティビティの更なる活性化の一助となることを期待したい．

いままでも = 程度のメモリしか必要としない利点がある．冗長なパラメータを削除

1 ­$!     $  Vol.2012-MUS-94 No.1
Vol.2012-SLP-90 No.1
2012/2/3

情報処理学会研究報告   

する等の工夫をすることにより，6= 程度でも明瞭性のある合成音声を得ることがる音声のスペクトル推定!? 電子情報通信学会論文誌 %! E@ %! /!

できるため，携帯端末，情報家電等，組み込み用途への応用が容易である．

%07  徳田恵一! 益子貴史! 宮崎 昇! 小林隆夫! >多空間上の確率分布に基づいた !? 電 今後の展開

子情報通信学会論文誌 (''! E/(''! @!  C! 6 0!   0!  68 0  1& で記述された楽譜とそれに対応した歌声データのセットが，数十曲分あれば，
4 8  % 0! % = ! >)
0 7  7    E F47

!  68 を利用した多様な楽曲が動   F

4 
* 6      

4/2      7!



! 6 640! >  

! G &707 5 

4!?   E0 2   % 0      !? 5  '$&5!

B@!      <   <@!

8! E F47

A!

! B!   0!  68  7   8

! >   H     4

4 ! ;//(! !

 / A7 8  4  2 70 ! *
B FE <0! F D0! 6 0! > 4    8 @ 6 #0! %  !  F4!  0! F D0! 6 0! >9  (4   A

7!? ';'$;     '24  /*A/B@! ( 48  4 2   8  77 "      

4!? 5 2 '$&5!

0 4  B 中野 倫靖! 後藤真孝! >" & ：ユーザ歌唱の音高および音量を真似る歌声合成'$%     !? 5  '$%5!

                  !
     "
#     *  

!  640!

/!  640! > *A/! E0 "      @B! %  システム!? 情報処理学会論文誌! *! !

2 8 B 6 !  C! F D0! % &!  6 0! >% 8  77

   !?  

! % H8! 6 0!   0!  68  7!? 5 (

2 E  ;! !  !

>;7  2 8 !

B

! F D! 6 #7! E ' 7! >%



40!   0!  68 4 7 7 4AB ! D48 40! 6 0!   0!  68  2 8 @A@B! %5&9   7 4!? ';;; %0!  BB/! E0のビブラートモデル化!? 情報処理学会研究報告! )/! *!

   7 4 2 8 @! !

  7  80* 山田知彦! 武藤聡! 南角吉彦! 酒向慎司! 徳田恵一! > に基づく歌声合成のため

8 !? 5  '$%5!

$440 ! *! !

4 !

@@! D   6 0!  F

献  C! 6 0! % = ! >  

4!? ';'$;     '24 

ペクトル・ピッチ・継続長の同時モデル化!? 電子情報通信学会論文誌 (''! E/(''!
!

画投稿サイト等に多く投稿され， 次+ 次創作の輪が更に広がることを期待したい．

文

 吉村貴克! 徳田恵一! 益子貴史! 小林隆夫! 北村 正! > に基づく音声合成におけるスの合成音声品質を向上させるとともに，前節で議論した歌声合成の参 考*@*/! E0!  640! > 4   ! $487 )  ! *

デルが増え，楽曲の創作者が好みの歌声モデルを自由に選べるようになればと考えている
柔軟性を高める試みに関しても進めていきたい．ひいては   /*/ !  E E #! >  0  2

オンラインデモページに歌声モデルが追加されるというサービスにチャレンジしたいと考えている．次々と歌声モ
また，今後は，;(! *!の歌声モデルの学習は，ほぼ自動で行うことができる．近い将来，このような歌声データをアップロードしただけで自動的にモデル学習を行い，   /!

   !? 5  'D;95;;$!

*/*!   !? 5  2 @AB!    徳田恵一! 小林隆夫! 深田俊明! 斎藤博徳! 今井 聖! >メルケプストラムをパラメータとす2 ­$!     $  