  
ユーザの話声を歌声に変換する歌声合成インタフェース
齋鵜藤木 祐毅Ý史ÝÝ

後 藤赤 木孝Ý人ÝÝ真正                 Ý   

 はじめにしみ方を創造するだけでなく，人間の音声コミュニケーションを理解する上でも重要である．従来の歌声合成
では，歌詞テキストから歌声を合成するアプローチが主流  である．これらは，波形接続合成や 合成といったコーパスベースの手法に基づいたものが多く，誰でも手軽に歌声を合成することが可能である．
一方で，予め用意されたコーパスの声質の歌声しか合成できず，ユーザの声質の歌声を合成するにはユーザ自身のコーパスが必要となるため非常に困難であった．
それに対して，本研究では，話声から歌声を合成するという新しいアプローチに基づいた歌声合成インタ

 を提案する．ユーザは，合成したい歌の歌詞を朗読し，更にはその朗読音声に対して歌声特有の音響特徴を選択的に付与することで，自分の声質の歌声を得ることができる．これにより，「歌詞を朗読さえすれば自分自身の歌声を合成できる」という，従来は実現されていなかった新たな歌声合成の楽しみ方を提供できる．更には，話声と歌声の音響的違いを直感的に学ぶことができ，人間の歌声知覚・生成機構の理解の一助となることが期待できる．

  ÝÝÝÝす．ユーザは，合成する歌の選択，歌詞の朗読を行っ

歌声の自動合成技術は，計算機による新たな音楽の楽フェース  Ý の機能 の概要を図 に示す．図の中央にインタフェース画面を，その周りに合成処理の概要を示
Ý 産業技術総合研究所

              ÝÝ 北陸先端科学技術大学院大学 情報科学研究科

                  

た後，朗読音声の時間長，音高，音色の操作を順に行うことで，ユーザ自身の歌声を合成できる．以下，各操作について述べる．

歌の選択



 から，事前に譜面情報
 データ と歌詞情報 テキスト データが登録された曲を選択する．選択すると，ウィンドウ 図中の に朗読する歌詞が表示される．
リストボックス 図中の歌詞の朗読

録音ボタン 図中の を押し，表示された歌詞をマイクに向かって朗読する．朗読音声の音色は歌声合成音でも保持されるため，同じ曲でも音色を変えて朗読することで，異なる表情の歌声を合成できる．その によって，朗読音声のアラ
インメント 音声信号と歌詞の時間対応付け，及び音高  と音色 スペクトル包絡の時間系列 の音響パ
後，分析ボタン 図中のラメータを抽出する．朗読音声の波形と抽出した各種

音響パラメータは，ウィンドウ 図中の に表示され で行う．

る．朗読音声の再生は，ボタン 図中の時間長 

時間長操作 図中の

 操作

 では，朗読音声中の各音韻を，割り当てられた音符の種類と曲のテンポに従って

時間伸長する 図中の時間長操作の概要を参照 ．これにより，朗読音声中の各音韻の長さのみを歌声に変換する．

音高  操作

 では，選択曲のメロディ変化
譜面に対応する階段状の変化 に対して歌声特有の変動を付与し，歌声の音高変化を生成する 図中の音高操作の概要を参照．この変動を  動的変動と呼

音高操作 図中の

情報処理学会 インタラクション 
音色操作の概要1

時間長操作の概要ヰኌࡢࢫ࣌ࢡࢺࣝໟ⤡ ẕ㡢༊㛫

1

2

Amplitudefrequencyヰኌࡢࢫ࣌ࢡࢺࣟࢢ࣒ࣛ

time

Frequency 3 kHzḷၐ࣐࣍ࣝࣥࢺࢆ௜୚

個々の音韻の長さを伸長ḷኌࡢࢫ࣌ࢡࢺࣝໟ⤡ࣝໟ⤡ໟ⤡frequency

Amplitudeఙᙇᚋࡢࢫ࣌ࢡࢺࣟࢢ࣒ࣛ

time

Frequency 3 kHz

log-frequency

音高操作の概要

音色操作の概要2࣓ࣟࢹ࢕ኚ໬࣓ࢹ ኚ໬᧯స๓ࡢἼᙧ

Input
1 prologuetime2 Recࠉ࣭࣮࢜ࣂ࣮ࢩ࣮ࣗࢺ
ࠉ࣭ࣦ࢕ࣈ࣮ࣛࢺ
ࠉ࣭ࣉࣞࣃ࣮ࣞࢩࣙࣥ
ࠉ࣭ᚤ⣽ኚື
log-frequencyConversionF0(RWC-MDB)4✀ࡢ)ືⓗኚືࢆ௜୚

Duration
Analysis

34 Play3ḷኌࡢ㡢㧗ኚ໬5

Output6overshootvibratopreparationfine fluctuation

Spectrum 7

8 Synthesis

AM9 Play᧯సᚋࡢἼᙧ

ẺẼỄộỦểẨẅộẺỐểỐụẦảỦtime

図½ࣦ࢕ࣈ࣮ࣛࢺ࡟ྠᮇࡋࡓ
᣺ᖜኚㄪࢆ௜୚

singer’s formant  の概要

 ，ヴィブラート  ，プレパレーション    ，微細変動   の 種から成る．ここでは，付与し者らによって明らかにした歌声知覚に重要な特徴

たい変動を選択し，様々な音高変化を生成できる．

なる処理体系を実現した．

び，オーバーシュート

音色   操作



音色操作 図中の では，朗読音声のスペクトル構造に対して歌声特有の特徴を付与し，話声から歌に着目し，それらの特徴を自由に制御可能なモデルを構築 することで，従来の歌声合成技術とは全く異 お わ り に では，ユーザによる歌詞の朗読音声に対して，ユーザ自身が様々な歌声特有の音響特徴を声らしい音色に変換する 図中の音色操作の概要を参付与していくことで歌声に変換することを可能にした．

照 ．付与する特徴は，スペクトルのこのシステムにより，自分自身の歌声を合成でき，更!

" 付近に存在する強いピーク成分である歌唱ホルマント  #$%  と，音高操作で付与したヴィブラートに同期した音声の振幅変調成分 & である．ここでは，これら ' 種の特徴を選択し，音色を操作できる．
上記 ! ( の操作による各種音響パラメータの変化は，ウィンドウ 図中の  に表示され，更に変形した音声はボタン 図中の と  で随時合成・再生できる☆ ．これにより，歌声特有の各種特徴が歌声変換に及ぼす影響を視覚・聴覚を通じて確認でき，最終的には「自然で人間らしい歌声の音響的条件」を理解できる．

 実 装 方 法  は，音声分析合成システム )*&+ ) の分析・合成処理過程に，時間長，音高，音色に関する音響パラメータに対して歌声特有の音響特徴を制御可能なモデルを組み込むことで実装されている．しかし，これまでに歌声合成に必要な音響特徴は十分に調査されておらず，それら特徴を自由に制御できるモデルも提案されていなかった．本研究では，筆☆

 !! "# ##$!  ! %  # で全特徴を付与した歌声合成音のサンプルを聴くことができる#には自分の話声が歌声に変換される過程を理解できる新しい歌声合成の枠組みを実現した．今後は，より多様な歌声を表現可能な歌声合成インタフェースへと発展させる予定である．
謝辞 本研究の一部は，科学技術振興機構

 プロジェクトによる支援を受けた．

, 

参 考 文 献 剣持他：歌声合成システム   ，情処研報，  ，      酒向他：隠れマルコフモデルに基づいた歌声合成シス テム，情処学論，，，   河原英紀： のもう一つの可能性を探る 音声
分析変換合成システム !" #$! の背景と展開，音響誌，%，，      齋藤他：歌声らしさの知覚モデルに基づいた歌声特有の音響特徴量の分析，音響誌 %& &  %   ! '()*&  ： +,-) . '- / -) 0'1 - / 2-',( 3'')(1)(1 .
(-4(-4( 2-)31(1& 3 ,,*-& %&   % ! '()*&  ： -'21(1 . *1)( /')*15)(-4 61(-4(-4-116 '- )1 (')(- )
(-4(-4( 2-)31(1 ., '7(-4(& 8-)13&      