(57)【特許請求の範囲】
【請求項１】
入力歌声の音響信号を記憶する入力歌声の音響信号記憶部と、異なる歌声のＫ個（Ｋは１以上の整数）の歌声音源データと、同一歌声で且つＪ種類（Ｊは２以上の整数）の声色のＪ個の歌声音源データが蓄積された歌声音源データベースと、入力歌声の音響信号を少なくとも音高パラメータ及び音量パラメータを含む複数種類のパラメータで表現した歌声合成パラメータデータを推定する歌声合成パラメータデータ推定部と、前記歌声合成パラメータデータを記憶する歌声合成パラメータデータ記憶部と、入力歌声の音響信号に対応した歌詞データを記憶する歌詞データ記憶部と、前記歌声音源データベースから選択した１種類の前記歌声音源データと前記歌声合成パラメータデータと前記歌詞データとに基づいて、合成された歌声の音響信号を出力する歌声合成部とを備えた音高及び音量変化反映歌声合成システムと、
前記音高及び音量変化反映歌声合成システムで生成された、時刻が同期した異なる歌声のＫ個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるＪ個の合成された歌声の音響信号とを記憶する合成歌声音響信号記憶部と、
前記入力歌声の音響信号及び前記Ｋ＋Ｊ個の合成された歌声の音響信号を周波数分析し、これら前記音響信号の周波数分析結果についてそれぞれ音高（Ｆ０）の影響を除去したＳ個（Ｓ＝Ｋ＋Ｊ＋１）のスペクトル包絡を推定するスペクトル包絡推定部と、
前記Ｓ個のスペクトル包絡の時間系列から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、前記入力歌声の声色及び前記Ｊ種類の声色を反映したＭ次元（Ｍは１以上の整数）の声色空間を推定する声色空間推定部と、
前記声色空間内に、前記同一歌声で声色が異なるＪ個の合成された歌声の音響信号についての前記Ｊ個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記Ｊ種類の声色の位置関係をＭ次元のベクトルで推定し且つ前記Ｍ次元のベクトルで推定した前記声色の位置関係の時間軌跡を声色変化チューブとして推定し、前記入力歌声の音響信号の前記スペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記入力歌声の声色の位置をＭ次元ベクトルで推定し且つ前記Ｍ次元ベクトルで推定した前記声色の位置の時間軌跡を入力歌声の声色軌跡として推定し、前記入力歌声の声色軌跡の全部または大部分が前記声色変化チューブ内に存在するように前記入力歌声の声色軌跡及び前記声色変化チューブの少なくとも一方を変位または変形する軌跡変位変形部と、
前記Ｊ個の歌声音源データ中の一つの歌声音源データを基準歌声音源データとして、該基準歌声音源データに対応する前記合成された歌声の音響信号の前記スペクトル包絡を基準スペクトル包絡とし、前記Ｊ個の合成された歌声の音響信号のＪ個のスペクトル包絡の前記基準スペクトル包絡に対する変形比率を各時刻で求めて前記Ｊ種類の声色に対応したＪ個の合成用スペクトル変形曲線を推定する第１のスペクトル変形曲線推定部と、
前記軌跡変位変形部で定めた前記入力歌声の声色軌跡中の１点と前記声色変化チューブ内のある声色とが、ある時刻で重なったときに、前記ある時刻における前記入力歌声の音響信号のスペクトル包絡が、重なった前記声色の前記合成された歌声のスペクトル包絡と一致するという制約を満たすように、前記入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線を推定する第２のスペクトル変形曲線推定部と、
各時刻において、前記第２のスペクトル変形曲線推定部が推定した前記スペクトル変形曲線を合わせてスペクトル変形曲面を生成するスペクトル変形曲面生成部と、
各時刻において、前記スペクトル変形曲面に基づいて前記基準スペクトル包絡を変形して変形スペクトル包絡を生成し、該変形スペクトル包絡と前記基準歌声音源データに含まれる基本周波数（Ｆ０）に基づいて前記入力歌声の声色の変化を反映した合成された歌声の音響信号を生成する合成音響信号生成部とを備えてなる声色変化反映歌声合成システム。
【請求項２】
前記スペクトル包絡推定部は、前記入力歌声の音響信号、前記Ｋ個の合成された歌声の音響信号及び前記Ｊ個の合成された歌声の音響信号からなるＳ個の音響信号の音量を正規化し、
正規化した前記Ｓ個の音響信号を周波数分析して、周波数分析結果から複数の音高及び非周期成分を推定し、
前記Ｓ個の音響信号についてそれぞれ推定した前記音高を有声らしさの閾値と比較して有声または無声の判定を行い、有声である区間は前記音響信号の基本周波数Ｆ０に基づいて複数の周波数スペクトルの包絡をＬ1次元（Ｌ1は２の累乗＋１の整数）で推定し、無声である区間はあらかじめ定めた低い周波数に基づいて複数の周波数スペクトルの包絡をＬ1次元で推定し、
前記Ｓ個の音響信号についてそれぞれ推定した、前記有声である区間の前記複数の周波数スペクトルの包絡と、前記無声である区間の前記複数の周波数スペクトルの包絡とに基づいて前記Ｓ個のスペクトル包絡を推定するように構成されている請求項１に記載の声色変化反映歌声合成システム。
【請求項３】
前記声色空間推定部は、前記Ｓ個のスペクトル包絡に対して離散コサイン変換を行ってＳ個の離散コサイン変換係数を求め、前記Ｓ個のスペクトル包絡に対して離散コサイン変換係数における直流成分である第０次元を除いた低次のＬ2次元（但しＬ2＜Ｌ1でＬ2は正の整数）までの離散コサイン変換係数ベクトルを分析対象として取得し、
前記Ｓ個の音響信号が同時刻で有声となるＴ個のフレーム（Ｔは最大で、音響信号の時間長の秒数×サンプリング周期）のそれぞれにおいて、前記Ｓ個のＬ2次元の離散コサイン変換係数ベクトルについて主成分分析を行って、それぞれ主成分係数と累積寄与率を取得し、
前記Ｔ個のフレームにおいて、前記主成分係数を用いて前記Ｓ個の離散コサイン変換係数をＳ個のＬ2次元の主成分スコアに変換し、
前記Ｓ個のＬ2次元の主成分スコアに対して、累積寄与率Ｒ％（０＜Ｒ＜１００の数）となる低次のＮ次元（ＮはＲによって定まる１以上Ｌ2以下の整数）よりも高次元の主成分スコアを０としてＳ個のＮ次元の主成分スコアを取得し、
前記Ｓ個のＮ次元の主成分スコアをそれぞれ、対応する前記主成分係数を用いて、Ｓ個の新たなＬ2次元の離散コサイン変換係数に逆変換し、
Ｔ×Ｓ個の新たなＬ2次元の離散コサイン変換係数のベクトルに対して主成分分析を行って主成分係数及び累積寄与率を取得し、取得した主成分係数を用いてＬ2次元の離散コサイン変換係数を主成分スコアに変換し、主成分スコアの上位Ｍ（１≦Ｍ≦Ｌ2）次元までで表現される空間を前記声色空間と定める請求項１に記載の声色変化反映歌声合成システム。  
【請求項４】
前記軌跡変位変形部は、前記声色変化チューブを構成する前記Ｊ個の合成された歌声の音響信号についてのＴ×Ｊ個のＭ次元主成分スコアベクトルに対して、各次元で０〜１の範囲の値になるようにシフト・スケーリングを行い、且つ前記入力歌声の声色軌跡を構成する前記入力歌声の音響信号についてのＴ個のＭ次元主成分スコアベクトルに対して各次元で０〜１の範囲の値になるようにシフト・スケーリングを行うことにより、前記入力歌声の声色軌跡の全部または大部分が前記声色変化チューブ内に存在させることを特徴とする請求項１，２または３に記載の声色変化反映歌声合成システム。
【請求項５】
前記第２のスペクトル変形曲線推定部は、前記入力歌声の声色軌跡に対応する各時刻の前記スペクトル変形曲線に上限・下限を定めて閾値処理を行う機能を有している請求項１に記載の声色変化反映歌声合成システム。
【請求項６】
前記スペクトル変形曲面生成部は、前記スペクトル変形曲面に対して二次元平滑化を行うことを特徴とする請求項１に記載の声色変化反映歌声合成システム。
【請求項７】
入力歌声の音響信号を記憶する入力歌声の音響信号記憶部と、異なる歌声のＫ個（Ｋは１以上の整数）の歌声音源データと、同一歌声で且つＪ種類（Ｊは２以上の整数）の声色のＪ個の歌声音源データが蓄積された歌声音源データベースと、入力歌声の音響信号を少なくとも音高パラメータ及び音量パラメータを含む複数種類のパラメータで表現した歌声合成パラメータデータを推定する歌声合成パラメータデータ推定部と、前記歌声合成パラメータデータを記憶する歌声合成パラメータデータ記憶部と、入力歌声の音響信号に対応した歌詞データを記憶する歌詞データ記憶部と、前記歌声音源データベースから選択した１種類の前記歌声音源データと前記歌声合成パラメータデータと前記歌詞データとに基づいて、合成された歌声の音響信号を出力する歌声合成部とを備えた音高及び音量変化反映歌声合成システムを用いて、時刻が同期した異なる歌声のＫ個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるＪ個の合成された歌声の音響信号とを生成する合成歌声音響信号生成ステップと、
前記入力歌声の音響信号及び前記Ｋ＋Ｊ個の合成された歌声の音響信号を周波数分析し、これら前記音響信号の周波数分析結果についてそれぞれ音高（Ｆ０）の影響を除去したＳ個（Ｓ＝Ｋ＋Ｊ＋１）のスペクトル包絡を推定するスペクトル包絡推定ステップと、
前記Ｓ個のスペクトル包絡の時間系列から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、前記入力歌声の声色及び前記Ｊ種類の声色を反映したＭ次元（Ｍは１以上の整数）の声色空間を推定する声色空間推定ステップと、
前記声色空間内に、前記同一歌声で声色が異なるＪ個の合成された歌声の音響信号についての前記Ｊ個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記Ｊ種類の声色の位置関係をＭ次元のベクトルで推定し且つ前記Ｍ次元のベクトルで推定した前記声色の位置関係の時間軌跡を声色変化チューブとして推定し、前記入力歌声の音響信号の前記スペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記入力歌声の声色の位置をＭ次元ベクトルで推定し且つ前記Ｍ次元ベクトルで推定した前記声色の位置の時間軌跡を入力歌声の声色軌跡として推定し、前記入力歌声の声色軌跡の全部または大部分が前記声色変化チューブ内に存在するように前記入力歌声の声色軌跡及び前記声色変化チューブの少なくとも一方を変位または変形する軌跡変位変形ステップと、
前記Ｋ個の歌声音源データ中の一つの歌声音源データを基準歌声音源データとして、該基準歌声音源データに対応する前記合成された歌声の音響信号の前記スペクトル包絡を基準スペクトル包絡とし、前記Ｋ個の合成された歌声の音響信号のＪ個のスペクトル包絡の前記基準スペクトル包絡に対する変形比率を各時刻で求めて前記Ｊ種類の声色に対応したＪ個の合成用スペクトル変形曲線を推定する第１のスペクトル変形曲線推定ステップと、
前記軌跡変位変形ステップで定めた前記入力歌声の声色軌跡中の１点と前記声色変化チューブ内のある声色とが、ある時刻で重なったときに、前記ある時刻における前記入力歌声の音響信号のスペクトル包絡が、重なった前記声色の前記合成された歌声のスペクトル包絡と一致するという制約を満たすように、前記入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線を推定する第２のスペクトル変形曲線推定ステップと、
各時刻において、前記第２のスペクトル変形曲線推定ステップで推定した前記スペクトル変形曲線を合わせてスペクトル変形曲面を生成するスペクトル変形曲面生成ステップと、
各時刻において、前記スペクトル変形曲面に基づいて前記基準スペクトル包絡を変形して変形スペクトル包絡を生成し、該変形スペクトル包絡と前記基準歌声音源データに含まれる基本周波数（Ｆ０）に基づいて前記入力歌声の声色の変化を反映した合成された歌声の音響信号を生成する合成音響信号生成ステップとをコンピュータが実施することを特徴とする声色変化反映歌声合成方法。
【請求項８】
前記スペクトル包絡推定ステップでは、前記入力歌声の音響信号、前記Ｊ個の合成された歌声の音響信号及び前記Ｋ個の合成された歌声の音響信号からなるＳ個の音響信号の音量を正規化し、
正規化した前記Ｓ個の音響信号を周波数分析して、周波数分析結果から複数の周波数スペクトル毎の音高及び非周期成分を推定し、
前記Ｓ個の音響信号についてそれぞれ推定した前記音高を有声らしさの閾値と比較して有声または無声の判定を行い、有声である区間は前記音響信号の基本周波数Ｆ０に基づいて複数の周波数スペクトルの包絡をＬ1次元（Ｌ1は２の累乗＋１の整数）で推定し、無声である区間はあらかじめ定めた低い周波数に基づいて複数の周波数スペクトルの包絡をＬ1次元で推定し、
前記Ｓ個の音響信号についてそれぞれ推定した、前記有声である区間の前記複数の周波数スペクトルの包絡と、前記無声である区間の前記複数の周波数スペクトルの包絡とに基づいて前記Ｓ個のスペクトル包絡を推定する請求項７に記載の声色変化反映歌声合成方法。
【請求項９】
前記声色空間推定ステップでは、前記Ｓ個のスペクトル包絡に対して離散コサイン変換を行ってＳ個の離散コサイン変換係数を求め、前記Ｓ個のスペクトル包絡に対して離散コサイン変換係数における直流成分である第０次元を除いた低次のＬ2次元（但しＬ2＜Ｌ1でＬ2は正の整数）までの離散コサイン変換係数ベクトルを分析対象として取得し、
前記Ｓ個の音響信号が同時刻で有声となるＴ個のフレーム（Ｔは最大で音響信号の時間長の秒数×サンプリング周期）のそれぞれにおいて、前記Ｓ個のＬ2次元の離散コサイン変換係数ベクトルについて主成分分析を行って、それぞれ主成分係数と累積寄与率を取得し、
前記Ｔ個のフレームにおいて、前記主成分係数を用いて前記Ｓ個の離散コサイン変換係数をＳ個のＬ2次元の主成分スコアに変換し、
前記Ｓ個のＬ2次元の主成分スコアに対して、累積寄与率Ｒ％（０＜Ｒ＜１００の数）となる低次のＮ次元（ＮはＲによって定まる１以上Ｌ2以下の整数）よりも高次元の主成分スコアを０としてＳ個のＮ次元の主成分スコアを取得し、
前記Ｓ個のＮ次元の主成分スコアをそれぞれ、対応する前記主成分係数を用いて、Ｓ個の新たなＬ2次元の離散コサイン変換係数に逆変換し、
Ｔ×Ｓ個の新たなＬ2次元の離散コサイン変換係数のベクトルに対して主成分分析を行って主成分係数及び累積寄与率を取得し、取得した主成分係数を用いてＬ2次元の離散コサイン変換係数を主成分スコアに変換し、主成分スコアの上位Ｍ（１≦Ｍ≦Ｌ2）次元までで表現される空間を前記声色空間と定める請求項７に記載の声色変化反映歌声合成方法。  
【請求項１０】
前記軌跡変位変形ステップでは、前記声色変化チューブを構成する前記Ｋ個の合成された歌声の音響信号についてのＴ×Ｋ個のＭ次元主成分スコアベクトルに対して、各次元で０〜１の範囲の値になるようにシフト・スケーリングを行い、且つ前記入力歌声の声色軌跡を構成する前記入力歌声の音響信号についてのＴ個のＭ次元主成分スコアベクトルに対して各次元で０〜１の範囲の値になるようにシフト・スケーリングを行うことにより、前記入力歌声の声色軌跡の全部または大部分が前記声色変化チューブ内に存在させる請求項７、８または９に記載の声色変化反映歌声合成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力歌声の音高、音量及び声色変化を真似た合成歌声を生成できる声色変化反映歌声合成システム及び声色変化反映歌声合成方法に関するものである。
【背景技術】
【０００２】
人間のような歌声を人工的に生成できる歌声合成システムは、多様な歌声での合成が容易に行え、歌唱の表現を再現性高くコントロールできることから、歌唱付き楽曲の制作における可能性を広げる重要なツールとなっている。2007 年以降、市販の歌声合成ソフトウェアを使った楽曲制作を楽しむユーザが急増し、その利用拡大に対する社会的関心の高さからさまざまなメディアに歌声合成システムは取り上げられてきた。
【０００３】
歌声合成においては、ユーザによる手作業（マウス）での数値パラメータを調整する技術（非特許文献１）、二人の歌唱者による同一歌詞の歌唱音声から声質をモーフィングする技術（非特許文献２） や、感情を変えて歌った同一歌唱者の複数の歌唱へ応用した感情モーフィング技術（非特許文献３）がある。また話声合成においては、異なる話者間の声質変換に関する技術（非特許文献４及び５）、感情音声合成に関する研究（非特許文献６及び７）があった。感情音声合成に関しては、話声の韻律や話速を扱うものが多いが、感情変化に伴う声質変換を利用する研究（非特許文献８〜１５）もある。また、話声のモーフィングに関して、複数音声からの平均声を生成する研究（非特許文献１４）や、複数音声から比率を推定してユーザ音声に近い声にモーフィングする研究（非特許文献１５）もある。
【０００４】
このような研究に対して、発明者は、特開２０１０−９０３４号公報（特許文献１）に「歌声合成パラメータデータ推定システム」と題する発明で、入力としてユーザが歌唱音声を与え、その歌唱の音高と音量を真似るように、既存の歌声合成ソフトウェアの合成パラメータを調整できるシステムを提案した。そしてこの発明を具体化したシステムとして、「VocaListener」（商標）と題する歌声合成システムを開発した（非特許文献１６及び１７参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−９０３４号公報
【非特許文献】
【０００６】
【非特許文献１】剣持秀紀，大下隼人：「歌声合成システムVOCALOID−現状と課題」，情報処理学会研究報告音楽情報科学2008-MUS-74-9，Vol. 2008, No. 12, pp. 51−58 (2008).
【非特許文献２】河原英紀，生駒太一，森勢将雅，高橋  徹，豊田健一，片寄晴弘：「モーフィングに基づく歌唱デザインインタフェースの提案と初期検討」，情報処理学会論文誌， Vol. 48，No. 12, pp. 3637−3648 (2007).
【非特許文献３】森勢将雅：「歌声を混ぜるインタフェース「e.morish」」，http://www.crestmuse.jp/cmstraight/personal/e.morish/.
【非特許文献４】Toda, T., Black, A. and Tokuda, K.:「Voice conversion based on maximum likelihood estimation of spectral parameter trajectory」, IEEE Trans. on Audio, Speechand Language Processing, Vol. 15, No. 8, pp. 2222−2235 (2007).
【非特許文献５】大谷大和，戸田智基，猿渡  洋，鹿野清宏：「STRAIGHT 混合励振源を用いた混合正規分布モデルに基づく最ゆう声質変換法」，電子情報通信学会論文誌， Vol. J91-D, No. 4,pp. 1082−1091 (2008).
【非特許文献６】Schr¨oder, M.: 「Emotional speech synthesis」: A review, Proc. Eurospeech 2001, pp.561−564 (2001).
【非特許文献７】Iida, A., Campbell, N., Higuchi, F. and Yasumura, M.: 「A corpus-based speech synthesis  system with emotion」, Speech Communication, Vol. 40, Iss. 1−2, pp. 161−187(2003).
【非特許文献８】Tsuzuki, R., Zen, H., Tokuda, K., Kitamura, T., Bulut, M. and Narayanan, S. S.:「Constructing emotional speech synthesizers with limited speech database, Proc.ICSLP 2004, pp. 1185−1188 (2004).
【非特許文献９】河津宏美，長島大介，大野澄雄：「生成過程モデルに基づく感情表現におけるＦ０ パターン制御規則の導出と合成音声による評価」，電子情報通信学会論文誌， Vol. J89-D, No. 8, pp. 1811−1819 (2006).
【非特許文献１０】森山  剛，森  真也，小沢慎治：「韻律の部分空間を用いた感情音声合成」，情報処理学会論文誌， Vol. 50, No. 3, pp. 1181−1191 (2009).
【非特許文献１１】T¨urk, O. and Schr¨oder, M.: 「A comparison of voice conversion methods for transforming voice quality in emotional speech synthesis」, Proc. Interspeech 2008, pp.2282−2285 (2008).
【非特許文献１２】Nose, T., Tachibana, M. and Kobayashi, T.:「HMM-based style control for expressive speech synthesis with arbitrary speaker’s voice using model adaptation」, IEICE Trans. on Information and Systems, Vol. E92-D, No. 3, pp. 489−497 (2009).
【非特許文献１３】Inanoglua, Z. and Young, S.:「Data-driven emotion conversion in spoken English」,Speech Communication, Vol. 51, Is. 3, pp. 268−283 (2009).
【非特許文献１４】高橋  徹，西  雅史，入野俊夫，河原英紀：「多重音声モーフィングに基く平均声合成の検討」，日本音響学会研究発表会講演論文集（春季） 1-4-9，pp. 229−230 (2006).
【非特許文献１５】川本真一，足立吉広，大谷大和，四倉達夫，森島繁生，中村  哲：「来場者の声の特徴を反映する映像エンタテインメントシステムのための台詞音声生成システム」，情報処理学会論文誌， Vol. 51, No. 2, pp. 250−264 (2010).
【非特許文献１６】中野倫靖，後藤真孝：「VocaListener: ユーザ歌唱を真似る歌声合成パラメータを自動推定するシステムの提案」，情報処理学会研究報告音楽情報科学2008-MUS-75-9，Vol. 2008, No. 12, pp. 51−58 (2008).
【非特許文献１７】Nakano, T. and Goto, M.: 「VocaListener: A singing-to-singing synthesis system based on iterative parameter estimation」, Proc. SMC 2009, pp. 343−348 (2009).
【発明の概要】
【発明が解決しようとする課題】
【０００７】
特許文献１及び非特許文献１６及び１７に記載の従来技術は、既存の歌声合成ソフトウェアの歌声合成パラメータを、ユーザ歌唱からその音高と音量を真似て推定する技術である（図１）。パラメータの反復推定により、推定精度が向上し、歌声合成システムやその音源（歌手の声）を切り替えても再調整せずに自動的に合成できるようになった。独自の歌声専用音響モデルによって歌詞のテキストを与えるだけで、音符毎に割り当てる作業はほぼ自動で行える。なおhttp://staff.aist.go.jp/t.nakano/VocaListener/index-j.html において、この従来技術の歌声合成結果は視聴できる。
【０００８】
しかし特許文献１及び非特許文献１６及び１７に記載の技術では、音高と音量の変化しか合成歌声に反映することができず、ユーザ歌唱の表情や歌い方、声質を表現しきれていなかった。ここで「声質」という用語は、個人を特定できる音響的な特性や聴覚上の違いだけでなく、異なる発声様式によって生じる声の違い（唸り声、囁き声等）や、明るい声や暗い声といった聴感上の印象（表現語）の違いなど、多様な意味合いで使われている。そこで本願明細書においては、歌唱中の声質の変化を表す際に、声質という単語と区別して「声色変化」という単語を用いる。ユーザ歌唱中の声色変化を真似て、歌詞やメロディーに合わせて歌声合成結果に反映できれば、より魅力的な歌声合成の実現につながると考えられる。
【０００９】
従来、このような声色変化をユーザが明示的に扱える技術には、非特許文献１に示される歌声合成システム「Vocaloid」（商標） があった。非特許文献１に記載の技術では、複数の数値パラメータを各時刻で調整することで、歌唱音声のスペクトルを操作して声色変化を伴った歌声合成が実現できる。しかし、曲に合わせてこれらのパラメータを操作することは難しく、ほとんどのユーザはこれらのパラメータを変更しないか、変更するにしても曲毎に一括でこれらのパラメータを変更したり、大まかに変更したりしていた。
【００１０】
本発明の目的は、ユーザ歌唱の音高及び音量の変化だけでなく、声色変化まで歌声合成歌唱に反映することができる声色変化反映歌声合成システム及び声色変化反映歌声合成方法を提供することにある。
【課題を解決するための手段】
【００１１】
基本的に、本発明では、特許文献１並びに非特許文献１６及び１７に記載の技術により入力歌声（ユーザ歌唱）と同一歌詞で、音高と音量を真似た複数の多様な歌声を合成し、それらの歌声全てから声色変化に寄与する成分を表す空間（声色空間）を構成する。そして、その空間上でのユーザの声色変化を合成に反映させて歌声合成する。
【００１２】
本発明の声色反映歌声合成システムは、音高及び音量変化反映歌声合成システムと、合成歌声音響信号記憶部、スペクトル包絡推定部と、声色空間推定部と、軌跡変位変形部、第１のスペクトル変形曲線推定部と、第２のスペクトル変形曲線推定部と、スペクトル変形曲面生成部と、合成音響信号生成部とを備えている。
【００１３】
音響及び音量変化反映歌声合成システムは、入力歌声と同一歌詞で、音高と音量を真似た複数の多様な歌声を合成するために、入力歌声の音響信号記憶部と、歌声音源データベースと、歌声合成パラメータデータ推定部と、歌声合成パラメータデータ記憶部と、歌詞データ記憶部と、歌声合成部とを備えている。音響及び音量変化反映歌声合成システムとしては、例えば、特許文献１及び非特許文献１６及び１７に開示されたシステムを用いることができる。入力歌声の音響信号記憶部は、ユーザの入力歌声の音響信号を記憶する。歌声音源データベースは、異なる歌声のＫ個（Ｋは１以上の整数）の歌声音源データと、同一歌声で且つＪ種類（Ｊは２以上の整数）の声色のＪ個の歌声音源データを蓄積する。なお同一歌声で且つＪ種類（Ｊは２以上の整数）の声色のＪ個の歌声音源データは、既存の声色変更実現可能な歌声合成システムを用いて簡単に入手できる。
【００１４】
歌声合成パラメータデータ推定部は、入力歌声の音響信号を少なくとも音高パラメータ及び音量パラメータを含む複数種類のパラメータで表現した歌声合成パラメータデータを推定する。歌声合成パラメータデータ記憶部は、歌声合成パラメータデータを記憶する。歌詞データ記憶部は、入力歌声の音響信号に対応した歌詞データを記憶する。歌声合成部は、歌声音源データベースから選択した１種類の歌声音源データと歌声合成パラメータデータと歌詞データとに基づいて、合成された歌声の音響信号を出力する。音高パラメータは、音高の変化を示すことができるものであればよい。音量パラメータは、音量の変化を示すことができるものであればよい。例えば、音量パラメータは、MIDI規格のエクスプレッションあるいは市販の歌声合成システムのダイナミクス（DYN）である。
【００１５】
合成歌声音響信号記憶部は、音高及び音量変化反映歌声合成システムで生成された、時刻が同期した異なる歌声のＫ個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるＪ個の合成された歌声の音響信号とを記憶する。
【００１６】
スペクトル包絡推定部は、入力歌声の音響信号及びＫ＋Ｊ個の合成された歌声の音響信号を周波数分析し、これら音響信号の周波数分析結果についてそれぞれ音高（Ｆ０）の影響を除去したＳ個（Ｓ＝Ｋ＋Ｊ＋１）のスペクトル包絡を推定する。発明者は、声色の違いとは、音響信号の周波数分析結果のスペクトル包絡の形状の違いとして定義できることを見出した。しかしスペクトル包絡形状の違いには、音韻の違いや個人性の違いも含まれる。したがって、そのような成分を抑制した音響信号の周波数分析結果のスペクトル包絡の形状の時間変化が声色変化といえる。そこで本発明では音韻の違いや個人性の違いの成分を抑制するために、声色空間推定部と軌跡変位変形部を採用する。
【００１７】
声色空間推定部は、Ｓ個のスペクトル包絡の時間系列から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、入力歌声の声色及びＪ種類の声色を反映したＭ次元（Ｍは１以上の整数）の声色空間を推定する。この声色空間は、声色変化以外の成分を抑制した仮想空間である。この声色空間では、Ｓ個の音響信号が各時刻において声色空間上の一点に対応し（位置し）、Ｓ個の音響信号の時間変化は、声色空間上で時間変化する軌跡として表現できる。
【００１８】
軌跡変位変形部は、声色空間内に、同一歌声で声色が異なるＪ個の合成された歌声の音響信号についてのＪ個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記Ｊ種類の声色の位置関係をＭ次元のベクトルで推定し且つＭ次元のベクトルで推定した声色の位置関係の時間軌跡を声色変化チューブとして推定する。ここで声色変化チューブとは、同一歌声で声色が異なる同期したＪ個の合成された歌声の声色のＪ個の位置を、声色空間上において求め、Ｊ個の位置を含むような多面体（ポリトープ）を考え、その多面体の時間軌跡を想定したものである。そして軌跡変位変形部は、入力歌声の音響信号のスペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における入力歌声の声色の位置をＭ次元ベクトルで推定し且つＭ次元ベクトルで推定した声色の位置の時間軌跡を声色軌跡として推定する。さらに軌跡変位変形部は、入力歌声の声色軌跡の全部または大部分が声色変化チューブ内に存在するように入力歌声の声色軌跡及び声色変化チューブの少なくとも一方を変位（シフト）または変形する。このように声色空間をＭ次元空間とすると、合成対象の声色は、各時刻ｔにおいてＪ個のＭ次元ベクトルがＭ次元空間上にそれぞれ存在したものとする。そしてＭ次元空間上のＪ個の点に囲まれた内側が、合成したい同一の入力歌声の変形可能な領域となるものと仮定する。つまり、この時々刻々と変化する多面体（Ｍ次元のポリトープ）が声色変化可能な領域である。したがって、同じく声色空間の別の場所に存在する入力歌声の声色軌跡を、声色変化チューブ内になるべく入るようにシフト・スケーリングさせる（声色軌跡及び声色変化チューブの少なくとも一方を時間軸を変えずに拡大または縮小し且つその位置を変位させる）ことで、各時刻における声色空間上の合成目標位置を決定する。そしてこの合成目標位置に基づいて、入力歌声の声色の変化を反映した合成された歌声の変形スペクトル包絡を生成する。
【００１９】
本発明では、スペクトル包絡をそのまま使うのではなく、第１のスペクトル変形曲線推定部が、Ｊ個の歌声音源データ中の一つの歌声音源データを基準歌声音源データとして、該基準歌声音源データに対応する合成された歌声の音響信号のスペクトル包絡を基準スペクトル包絡とし、Ｊ個の合成された歌声の音響信号のＪ個のスペクトル包絡の基準スペクトル包絡に対する変形比率を各時刻で求めてＪ種類の声色に対応したＪ個の合成用スペクトル変形曲線を推定する。合成用スペクトル変形曲線は、各時刻で求めた変形比率の変化を示すのである。また第２のスペクトル変形曲線推定部が、軌跡変位変形部で定めた入力歌声の声色軌跡中の１点と声色変化チューブ内のある声色とが、ある時刻で重なったときに、ある時刻における入力歌声の音響信号のスペクトル包絡が、重なった声色の合成された歌声のスペクトル包絡と一致するという制約を満たすように、入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線を推定する。このスペクトル変形曲線は、声色空間上での入力歌声の声色を真似るためのものである。
【００２０】
そしてスペクトル変形曲面生成部は、各時刻において第２のスペクトル変形曲線推定部が推定したスペクトル変形曲線を合わせてスペクトル変形曲面を生成する。合成音響信号生成部は、各時刻において、スペクトル変形曲面に基づいて基準スペクトル包絡を変形して変形スペクトル包絡を生成し、該変形スペクトル包絡と基準歌声音源データに含まれる基本周波数（Ｆ０）に基づいて入力歌声の声色の変化を反映した合成された歌声の音響信号を生成する。以上の構成により、入力歌声の声色変化を真似た歌声合成が実現できる。
【００２１】
具体的なスペクトル包絡推定部は、入力歌声の音響信号、Ｊ個の合成された歌声の音響信号及びＫ個の合成された歌声の音響信号からなるＳ個の音響信号の音量を正規化する。そしてスペクトル包絡推定部は、正規化したＳ個の音響信号を周波数分析して、周波数分析結果から複数の音高及び非周期成分を推定する。そしてスペクトル包絡推定部は、Ｓ個の音響信号のそれぞれについて推定した音高を有声らしさの閾値と比較して有声または無声の判定を行い、有声である区間は音響信号の基本周波数Ｆ０に基づいて複数の周波数スペクトルの包絡をＬ1次元（Ｌ1は２の累乗＋１の整数）で推定し、無声である区間はあらかじめ定めた低い周波数に基づいて複数の周波数スペクトルの包絡をＬ1次元で推定する。そしてスペクトル包絡推定部は、Ｓ個の音響信号のそれぞれについて推定した有声である区間の複数の周波数スペクトルの包絡と、無声である区間の複数の周波数スペクトルの包絡とに基づいてＳ個のスペクトル包絡を推定する。このようにスペクトル包絡推定部を構成すると、有声区間においてＦ０の影響を除去したスペクトル包絡を推定することができる。また無声区間においてはその周波数伝達特性を適切に表現したスペクトル包絡が推定できる。その結果、非周期成分を合成時に用いることで高い合成品質で歌声合成できるという利点が得られる。
【００２２】
また具体的な声色空間推定部は、Ｓ個のスペクトル包絡に対して離散コサイン変換を行ってＳ個の離散コサイン変換係数を求め、Ｓ個のスペクトル包絡に対して離散コサイン変換係数における直流成分である第０次元を除いた低次のＬ2次元（但しＬ2＜Ｌ1でＬ2は正の整数）までの離散コサイン変換係数ベクトルを分析対象として取得する。そして声色空間推定部は、Ｓ個の音響信号が同時刻で有声となるＴ個のフレーム（Ｔは最大で、音響信号の時間長の秒数×サンプリング周期）のそれぞれにおいて、Ｓ個のＬ2次元の離散コサイン変換係数ベクトルについて主成分分析を行って、それぞれの主成分分析から主成分係数と累積寄与率を取得する。ここで音響信号の時間長の秒数とは、分析対象の音響信号の長さを時間で測定したものである。そして声色空間推定部は、Ｔ個のフレームにおいて、主成分係数を用いてＳ個の離散コサイン変換係数をＳ個のＬ2次元の主成分スコアに変換し、Ｓ個のＬ2次元の主成分スコアに対して、累積寄与率Ｒ％（０＜Ｒ＜１００の数）となる低次のＮ次元（ＮはＲによって決まる１以上Ｌ2以下の整数）よりも高次元の主成分スコアを０としてＳ個のＮ次元の主成分スコアを取得する。そして声色空間推定部は、Ｓ個のＮ次元の主成分スコアをそれぞれ、対応する主成分係数を用いて、Ｓ個の新たなＬ2次元の離散コサイン変換係数に逆変換し、Ｔ×Ｓ個の新たなＬ2次元の離散コサイン変換係数のベクトルに対して主成分分析を行って主成分係数及び累積寄与率を取得する。そして取得した主成分係数を用いてＬ2次元の離散コサイン変換係数を主成分スコアに変換し、主成分スコアの上位Ｍ（１≦Ｍ≦Ｌ2）次元までで表現される空間を声色空間と定める。離散コサイン変換を用いて、このようにして声色空間を定めると、フーリエ変換を用いる場合に比べて低域にパワーが集中し且つ実数で扱えるために次元を効率的に落とすことが可能である。
【００２３】
具体的な軌跡変位変形部は、声色変化チューブを構成するＪ個の合成された歌声の音響信号についてのＴ×Ｊ個のＭ次元主成分スコアベクトルに対して、各次元で０〜１の範囲の値になるようにシフト・スケーリングを行う。そして軌跡変位変形部は、入力歌声の声色軌跡を構成する入力歌声の音響信号についてのＴ個のＭ次元主成分スコアベクトルに対して各次元で０〜１の範囲の値になるようにシフト・スケーリングを行うことにより、入力歌声の声色軌跡の全部または大部分を声色変化チューブ内に存在させる。各次元で０〜１の範囲の値になるようにシフト・スケーリングを行うことにより、演算によって入力歌声の声色軌跡の全部または大部分を声色変化チューブ内に存在させることが可能になる。
【００２４】
具体的な、第２のスペクトル変形曲線推定部は、入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線に上限・下限を定めて閾値処理を行う機能を有しているのが好ましい。スペクトル変形曲線に上限・下限を定めて閾値処理を行うと、入力歌声の声色軌跡が声色変化チューブから大きく離れた場合に、入力歌声の声色軌跡の不自然な変形を低減できる。
【００２５】
具体的な、スペクトル変形曲面生成部は、スペクトル変形曲面に対して二次元平滑化を行う機能を有していることが好ましい。このような二次元平滑化を行うと、スペクトル包絡の急峻な変化を抑えることができるため、合成された歌声の不自然さを低減できる。
【００２６】
本発明の声色反映歌声生成方法は、前述の音高及び音量変化反映歌声合成システムを用いて、時刻が同期した異なる歌声のＫ個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるＪ個の合成された歌声の音響信号とを生成する（合成歌声音響信号生成ステップ）。次に、入力歌声の音響信号及びＫ＋Ｊ個の合成された歌声の音響信号を周波数分析し、これら音響信号の周波数分析結果についてそれぞれ音高（Ｆ０）の影響を除去したＳ個（Ｓ＝Ｋ＋Ｊ＋１）のスペクトル包絡を推定する（スペクトル包絡推定ステップ）。
【００２７】
そしてＳ個のスペクトル包絡の時間系列から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、入力歌声の声色及びＪ種類の声色を反映したＭ次元（Ｍは１上の整数）の声色空間を推定する（声色空間推定ステップ）。そして次のステップでは、声色空間内に、同一歌声で声色が異なるＪ個の合成された歌声の音響信号についてのＪ個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記複数種類の声色の位置関係をＭ次元のベクトルで推定し且つＭ次元のベクトルで推定した声色の位置関係の時間軌跡を声色変化チューブとして推定する。このステップでは、入力歌声の音響信号のスペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における入力歌声の声色の位置をＭ次元ベクトルで推定し且つＭ次元ベクトルで推定した声色の位置の時間軌跡を入力歌声の声色軌跡として推定し、入力歌声の声色軌跡の全部または大部分が声色変化チューブ内に存在するように入力歌声の声色軌跡及び声色変化チューブの少なくとも一方を変位または変形する（軌跡変位変形ステップ）。
【００２８】
そしてＪ個の歌声音源データ中の一つの歌声音源データを基準歌声音源データとして、該基準歌声音源データに対応する合成された歌声の音響信号の前記スペクトル包絡を基準スペクトル包絡とし、Ｊ個の合成された歌声の音響信号のＪ個のスペクトル包絡の基準スペクトル包絡に対する変形比率を各時刻で求めてＪ種類の声色に対応したＪ個の合成用スペクトル変形曲線を推定する（第１のスペクトル変形曲線推定ステップ）。また軌跡変位変形ステップで定めた前記入力歌声の声色軌跡中の１点と声色変化チューブ内のある声色とが、ある時刻で重なったときに、ある時刻における入力歌声の音響信号のスペクトル包絡が、重なった声色の合成された歌声のスペクトル包絡と一致するという制約を満たすように、入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線を推定する（第２のスペクトル変形曲線推定ステップ）。
【００２９】
そして各時刻において、第２のスペクトル変形曲線推定ステップで推定したスペクトル変形曲線を合わせてスペクトル変形曲面を生成する（スペクトル変形曲面生成ステップ）。
【００３０】
また各時刻において、スペクトル変形曲面に基づいて基準スペクトル包絡を変形して変形スペクトル包絡を生成し、該変形スペクトル包絡と基準歌声音源データに含まれる基本周波数（Ｆ０）に基づいて入力歌声の声色の変化を反映した合成された歌声の音響信号を生成する（合成音響信号生成ステップ）。本発明の方法では、上記各ステップをコンピュータが実施する。
【図面の簡単な説明】
【００３１】
【図１】（Ａ）及び（Ｂ）は、声色の違いがスペクトル包絡の形状の違いとして定義できることを説明するために用いる図である。
【図２】本発明の実施の形態で用いる音高及び音量変化反映歌声合成システムの構成の一例の構成を示すブロック図である。
【図３】本発明の声色変化反映歌声合成システムの一実施の形態の主要構成部を示すブロック図である。
【図４】本発明の声色変化反映歌声合成システム及び声色変化反映歌声合成方法をコンピュータを用いて実現する場合のメインアルゴリズムを示すフローチャートである。
【図５】（Ａ）及び（Ｂ）は、実施の形態の動作過程を説明するために用いる図である。
【図６】スペクトル包絡を推定するアルゴリズムのフローチャートである。
【図７】（Ｃ）〜（Ｅ）は、実施の形態の動作過程を説明するために用いる図である。
【図８（ａ）】図７（Ｃ）乃至（Ｅ）の音響信号ｉの波形のそれぞれの拡大図である。
【図８（ｂ）】図７（Ｃ）乃至（Ｅ）の音響信号ｋ1の波形のそれぞれの拡大図である。
【図８（ｃ）】図７（Ｃ）乃至（Ｅ）の音響信号ｋKの波形のそれぞれの拡大図である。
【図８（ｄ）】図７（Ｃ）乃至（Ｅ）の音響信号ｊ1の波形のそれぞれの拡大図である。
【図８（ｅ）】図７（Ｃ）乃至（Ｅ）の音響信号ｊ2の波形のそれぞれの拡大図である。
【図８（ｆ）】図７（Ｃ）乃至（Ｅ）の音響信号ｊ3の波形のそれぞれの拡大図である。
【図８（ｇ）】図７（Ｃ）乃至（Ｅ）の音響信号ｊＪの波形のそれぞれの拡大図である。
【図９】コンピュータを用いて声色空間推定部を実現する場合のアルゴリズムを示すフローチャートである。
【図１０】（Ｅ）〜（Ｇ）は、実施の形態の動作過程を説明するために用いる図である。
【図１１（ａ）】図１０（Ｅ）の波形を拡大して縦に並べた図である。
【図１１（ｂ）】図１０（Ｆ）の波形を拡大して縦に並べた図である。
【図１１（ｃ）】図１０（Ｇ）の波形を拡大して縦に並べた図である。
【図１１（ｄ）】図１２（Ｈ）の波形を拡大して縦に並べた図である。
【図１２】（Ｇ）〜（Ｊ）は、実施の形態の動作過程を説明するために用いる図である。
【図１３】（Ａ）〜（Ｅ）は、図７，図１０及び図１２に示したフレームの波形の拡大図である。
【図１４】軌跡変位変形部をコンピュータで実現する場合のアルゴリズムの一例を示すフローチャートである。
【図１５】第１のスペクトル変形曲線推定部、第２のスペクトル変形曲線推定部、スペクトル変形曲面生成部及び合成音響信号生成部をコンピュータで実現する場合に用いるアルゴリズムのフローチャートである。
【図１６】スペクトル変形曲線を形成する過程を説明するために用いる図である。
【図１７】スペクトル変形曲面及び合成音響信号を生成する過程を説明するために用いる図である。
【発明を実施するための形態】
【００３２】
声色変化を対象として「ユーザ歌唱を真似る」ために、特許文献１並びに非特許文献１６及び１７に記載の技術のように、既存の歌声合成システムにおける声質パラメータをユーザ歌唱に合わせて自動的に推定する方法が考えられる。しかしこの方法は、実現可能性はあっても、実用性・汎用性が低い。なぜなら、音高や音量と異なり、声質や声色変化に関するパラメータは歌声合成システムによって異なるため、そのパラメータによって変化する音響的特徴がシステム毎に異なることが十分に考えられるためである。実際、非特許文献１に開示されたシステムでは、操作できるパラメータが一部異なる。したがって、声質パラメータ毎に最適化した方法を仮に実現しても、異なる歌声合成システムにおいて適用できない可能性があり、汎用的でない。一方、クリプトン・フューチャー・メディア株式会社の応用商品である「初音ミク・アペンド(MIKU Append)」（商標）は、クリプトン・フューチャー・メディア株式会社の応用商品である「初音ミク」（商標）で合成される仮想キャラクタである初音ミクの声で、DARK, LIGHT, SOFT,SOLID, SWEET, VIVID の6 種類の声色で歌声合成できる。しかし、これらの音源をフレーズ毎に切り替えながら合成することはできても、歌声合成システム上でこれらの中間の状態を作り出すことは困難である。例えば「LIGHT とSOLID の中間の声」で歌い始めた後、徐々に普通の「初音ミクの声」に切り替わる、といった滑らかな変化を実現するのは難しい。したがって、これらの問題を解決するには、歌声合成システム内のパラメータ操作だけでは不十分で、外部の信号処理が必要となる。そこで、本発明では、音高と音量を真似て合成した後、その合成歌唱を利用しながら、声色変化を信号処理で反映する。
【００３３】
ユーザ歌唱の声色変化を真似る歌声合成を実現するためには、「声色変化」を「真似る」という問題を解決する必要がある。この問題を解決するためには、以下の課題を解決する必要がある。
【００３４】
実現課題(1)： 声色変化をどのように表現するのか。
【００３５】
実現課題(2)： ユーザ歌唱の声色変化をどのように反映させるのか。
【００３６】
ここで声色の違いとは、前述の応用商品「初音ミク」により得られる合成歌唱と応用商品「初音ミク・アペンド」により得られる合成歌唱の違いに相当し、それはスペクトル包絡の形状の違いとして定義できる。しかしスペクトル包絡形状の違いには、図１（Ａ）及び（Ｂ）に示すように、音韻の違いや個人性の違いも含まれる。したがって、そのような成分を抑制した時間変化が声色変化といえる。そして、そのような声色変化を反映したスペクトル包絡の時間系列を新たに生成できれば、ユーザ歌唱の声色変化を真似た歌声合成が実現できる。
【００３７】
以下上記実現課題（１）及び（２）を解決することができる、本発明の声色変化反映歌声合成システムの一実施の形態について説明する。図２は、本実施の形態で用いる音高及び音量変化反映歌声合成システム１００の構成の一例の構成を示すブロック図である。そして図３は、本発明の声色変化反映歌声合成システムの一実施の形態の主要構成部を示すブロック図である。図４は、本発明の声色変化反映歌声合成システム及び声色変化反映歌声合成方法をコンピュータを用いて実現する場合のプログラムのメインアルゴリズムを示すフローチャートである。
【００３８】
図２に示した音高及び音量変化反映歌声合成システム１００では、合成歌唱（合成された歌声の音響信号）を入力歌唱（入力歌声の音響信号）と比較しながら、歌声合成パラメータデータを反復更新する。以下、ユーザによって与えられた歌唱の音響信号を入力歌声の音響信号、歌声合成部によって合成された合成歌唱の音響信号を合成された歌声の音響信号と呼ぶ。本実施の形態では、ユーザが、入力歌声の音響信号とその歌詞データとを入力としてシステムに与えるものとする（図４のステップＳＴ１）。後述するように、異なる歌声のＫ個（Ｋは１以上の整数）の歌声音源データと、同一歌声で且つＪ種類（Ｊは２以上の整数）の声色のＪ個の歌声音源データも入力される。
【００３９】
入力歌声の音響信号は、入力歌声の音響信号記憶部１に記憶される。この入力歌声の音響信号は、マイクロフォン等から入力されたユーザの歌声の音響信号であっても、既製の歌声の音響信号であっても、また他の任意の歌声合成システムが出力した音響信号であってもよい。歌詞データは、歌詞が日本語の場合には、通常、漢字かな混じり文の文字列のデータである。歌詞が英語の場合には、アルファベットの文字列のデータである。歌詞データは、後述する歌詞アラインメント部３に入力される。入力歌声音響信号分析部５は、入力歌声の音響信号に対して分析を行う。また歌詞アラインメント部３は、入力された歌詞データを、入力歌声の音響信号と同期するように音節境界が指定された歌詞データに変換して、変換結果を歌詞データ記憶部１５に記憶させる。また歌詞アラインメント部３は、歌詞が日本語の場合には、漢字かな混じり文をかな文字列に変換する際の誤りをユーザが手作業で訂正することを可能にする。また歌詞アラインメント部３は、歌詞の割り当てでフレーズをまたがるような大きな誤りがあった場合には、ユーザが手作業で訂正することを可能にする。なお音節境界が指定された歌詞データが与えられた場合には、そのような歌詞データは、歌詞データ記憶部１５に直接入力される。
【００４０】
そして歌声音源データベース１０３から逐次選択した歌声音源データに適した歌声合成パラメータデータを作成して、歌声合成パラメータデータ記憶部１０５に記憶させる。歌声音源データベース１０３は、異なる歌声のＫ個（Ｋは１以上の整数）の歌声音源データと、同一歌声で且つＪ種類（Ｊは２以上の整数）の声色のＪ個の歌声音源データを蓄積する。図５（Ａ）に示すように、異なる歌声（例えば、男の歌声、女の歌声、子供の歌声等）のＫ個（Ｋは１以上の整数）の歌声音源データは、既存の歌声合成システム１等を用いて得ることができる。また同一歌声で且つＪ種類（Ｊは２以上の整数）の声色のＪ個の歌声音源データは、非特許文献１に示されている「歌声合成システムVOCALOID」のような既存の声色変更実現可能な歌声合成システム２を用いて得ることができる。非特許文献１に示されている「歌声合成システムVOCALOID」では、Ｊ種類の声色として、DARK, LIGHT, SOFT,SOLID, SWEET及びVIVID の６種類の声色の歌声音源データを作成することができる。
【００４１】
歌声合成部１０１は、入力歌声の音響信号及び合成された歌声の音響信号を少なくとも音高パラメータ及び音量パラメータを含む複数種類のパラメータで表現した歌声合成パラメータデータを記憶する歌声合成パラメータデータ記憶部１０５の出力を入力とする。そして、歌声合成部１０１は、歌声音源データベースから選択した１種類の歌声音源データと歌声合成パラメータデータと歌詞データとに基づいて、合成された歌声の音響信号を合成して合成歌声音響信号記憶部１０７に出力する。合成歌声音響信号記憶部１０７は、音高及び音量変化反映歌声合成システム１００で生成された、時刻が同期した異なる歌声のＫ個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるＪ個の合成された歌声の音響信号とを記憶する。ここまでの操作は図４のステップＳＴ２として実行され、得られたＫ＋Ｊ個の音響信号は図５（Ｂ）に示すように、音高と音量の変化が反映されたものとなる。
【００４２】
歌声合成パラメータデータ推定のためのシステムは、大きく分けて、入力歌声音響信号分析部５と、分析データ記憶部７と、音高パラメータ推定部９と、音量パラメータ推定部１１と、歌声合成パラメータデータ作成部１３とを備えている。入力歌声音響信号分析部５は、入力歌声の音響信号の音高、音量、有声区間及びビブラート区間を特徴量として分析して、分析結果を分析データ記憶部７に記憶させる。なお、後述する調子はずれ量推定部１７、音高補正部１９、音高トランスポーズ部、ビブラート調整部、スムージング処理部を設けない場合には、ビブラート区間を特徴量として分析する必要はない。入力歌声音響信号分析部５は、入力歌声の音響信号の特徴量を分析（抽出）できるものであればどのような構成のものであってもよい。本実施の形態の入力歌声音響信号分析部５は、次の４つの機能を有している。第１の機能は、所定の周期で、入力歌声の音響信号から基本周波数Ｆ０を推定し、それを入力歌声の音響信号の音高の特徴量データとして分析データ記憶部７に記憶する機能である。なお基本周波数Ｆ０の推定方法は任意である。無伴奏歌唱から基本周波数Ｆ０を推定する手法を用いても良いし、伴奏付き歌唱から基本周波数Ｆ０を推定する手法を用いても良い。第２の機能は、入力歌声の音響信号から有声音らしさを推定し、予め定めた閾値を基準にして閾値よりも有声音らしさが高い区間を入力歌声の音響信号の有声区間として観測して分析データ記憶部に記憶する機能である。そして第３の機能は、入力歌声の音響信号の音量の特徴量を観測して、音量の特徴量データとして分析データ記憶部に記憶する機能である。第４の機能は、音高の特徴量データからビブラートが存在している区間を観測してビブラート区間として分析データ記憶部に記憶する機能である。ビブラートの検出手法は、公知の検出手法のいずれを採用してもよい。
【００４３】
音高パラメータ推定部９は、分析データ記憶部７から読み出した入力歌声の音響信号の音高の特徴量と歌詞データ記憶部１５に記憶された音節境界が指定された歌詞データとに基づいて、音量パラメータを一定のものとして、入力歌声の音響信号の音高の特徴量に合成された歌声の音響信号の音高の特徴量を近づけることができる音高パラメータを推定する。そこで音高パラメータ推定部９では、推定した音高パラメータに基づいて歌声合成パラメータデータ作成部１３が作成した仮の歌声合成パラメータデータを歌声合成部１０１で合成して仮の合成された歌声の音響信号を得る。歌声合成パラメータデータ作成部１３が作成した仮の歌声合成パラメータデータは、歌声合成パラメータデータ記憶部１０５に記憶される。したがって歌声合成部１０１は、通常の合成動作に従って、仮の歌声合成パラメータデータと歌詞データとに基づいて歌声合成部１０１で合成して仮の合成された歌声の音響信号を出力する。そして音高パラメータ推定部９では、この仮の合成された歌声の音響信号の音高の特徴量が、入力歌声の音響信号の音高の特徴量に近づくまで、音高パラメータの推定を繰り返す。なお音高パラメータの推定手法については、特許文献１に詳しく記載されているので省略する。音高パラメータ推定部９は、入力歌声音響信号分析部５と同様に、歌声合成部１０１から出力された仮の合成された歌声の音響信号の音高の特徴量を分析する機能を内蔵している。そして音高パラメータ推定部９は、予め定めた回数（具体的には、４回）、音高パラメータの推定を繰り返す。なお予め定めた回数ではなく、仮の合成された歌声の音響信号の音高の特徴量が、入力歌声の音響信号の音高の特徴量に収束するまで音高パラメータの推定を繰り返すように音高パラメータ推定部９を構成してもよいのは勿論である。音高パラメータの推定を繰り返すと、音源データが異なった場合でも、また歌声合成部１０１の合成方法が異なったとしても、推定が繰り返されるたびに、仮の合成された歌声の音響信号の音高の特徴量が入力歌声の音響信号の音高の特徴量に自動的に近づいていくので、歌声合成部１０１の合成の品質と精度は高くなる。
【００４４】
また音高パラメータの推定を完了した後に、音量パラメータ推定部１１は、入力歌声の音響信号の音量の特徴量を合成された歌声の音響信号の音量の特徴量に対して相対値化し、入力歌声の音響信号の相対値化した音量の特徴量に合成された歌声の音響信号の音量の特徴量を近づけることができる音量パラメータを推定する。歌声合成パラメータデータ作成部は、音高パラメータ推定部９において推定が完了した音高パラメータと、音量パラメータ推定部１１が新たに推定した音量パラメータとに基づいて作成した仮の歌声合成パラメータデータを歌声合成パラメータデータ記憶部１０５に記憶させる。歌声合成部１０１は、仮の歌声合成パラメータデータを合成して仮の合成された歌声の音響信号を出力する。音量パラメータ推定部１１は、仮の合成された歌声の音響信号の音量の特徴量が、入力歌声の音響信号の相対値化した音量の特徴量に近づくまで所定の回数音量パラメータの推定を繰り返す。音高パラメータ推定部９と同様に、音量パラメータ推定部１１も、入力歌声音響信号分析部５と同様に、歌声合成部１０１から出力された仮の合成された歌声の音響信号の音量の特徴量を分析する機能を内蔵している。そして本実施の形態の音量パラメータ推定部１１は、予め定めた回数（具体的には、４回）、音量パラメータの推定を繰り返す。なお仮の合成された歌声の音響信号の音量の特徴量が、入力歌声の音響信号の相対値化した音量の特徴量に収束するまで音量パラメータの推定を繰り返すように、音量パラメータ推定部１１を構成してもよいのは勿論である。音量パラメータについても、音高パラメータの推定と同様に、推定を繰り返すと、音量パラメータの推定精度をより高いものとすることができる。
【００４５】
そして歌声合成パラメータデータ作成部１３は、推定が完了した音高パラメータ及び推定が完了した音量パラメータに基づいて歌声合成パラメータデータを作成し、歌声合成パラメータデータを歌声合成パラメータデータ記憶部１０５に記憶させる。
【００４６】
音高パラメータ推定部９で推定する音高パラメータは、音高の変化を示すことができるものであればよい。本実施の形態では、音高パラメータを、歌詞データの複数の音節のそれぞれに対応する入力歌声の音響信号の複数の部分区間の信号の基準音高レベルを示すパラメータ要素と、部分区間の信号の基準音高レベルに対する音高の時間的相対変化分を示すパラメータ要素と、部分区間の信号の音高方向への変化幅を示すパラメータ要素とから構成する。
【００４７】
図２に戻って、音節境界が指定された歌詞データを用いる場合には、そのデータは歌詞データ記憶部１５に直接記憶する。しかし音節境界が指定されていない歌詞データが歌声合成パラメータデータ作成部１３に入力される場合には、歌詞アラインメント部３が、音節境界が指定されていない歌詞データと入力歌声の音響信号とに基づいて、音節境界が指定された歌詞データを作成する。
【００４８】
入力歌声の音響信号の音楽的な質は常に保証されているものではなく、調子がずれたものや、ビブラートがおかしいもの等もある。また男性と女性とでは、キーが異なる場合が多い。そこでこのような場合に対処するためには、本実施の形態では、図２に示すように、調子はずれ量推定部１７、音高補正部１９、音高トランスポーズ部２１、ビブラート調整部２３及びスムージング処理部２５を備えている。本実施の形態では、これらを用いて、入力歌声の音響信号自体を編集することにより、歌唱入力の表現を広げる。具体的には、以下の二種類の変更機能を実現できる。なおこれらの変更機能は、状況に応じて利用すればよく、使わないという選択も可能である。
【００４９】
（Ａ）音高の変更機能
・ 調子はずれ(off Pitch) の補正：音高がずれた音を修正する。
【００５０】
・ 音高トランスポーズ：自分では歌えない声域の歌唱を合成する。
【００５１】
（Ｂ）歌唱スタイルの変更機能
・ ビブラート深さ(vibrato extent) の調整：ビブラートを強く・弱くという直感的操作で、自分好みの表現へ変更できる。
【００５２】
・ 音高・音量のスムージング：音高のオーバーシュート、微細変動等を抑制できる。
【００５３】
上記の変更機能を実現するため、調子はずれ量推定部１７は、分析データ記憶部７に記憶された入力歌声の音響信号の連続する有声区間における音高の特徴量データから調子はずれ量を推定する。そして音高補正部１９は、調子はずれ量推定部１７が推定した調子はずれ量を音高の特徴量データから除くように音高の特徴量データを補正する。調子はずれ量を推定して、その分を除けば、調子はずれの度合いが低い入力歌声の音響信号を得ることができる。また音高トランスポーズ部２１は、音高の特徴量データに任意の値を加減算して音高トランスポーズをする際に用いられる。音高トランスポーズ部２１を設ければ、入力歌声の音響信号について簡単に声域を変えたり移調したりすることができる。ビブラート調整部２３は、ビブラート区間におけるビブラートの深さを任意に調整する。スムージング処理部２５は、ビブラート区間以外における音高の特徴量データ及び音量の特徴量データを任意にスムージング処理する。ただし、ここでのスムージング処理は、「ビブラートの深さを任意に調整する」ことと同等の処理をビブラート区間外で行うことであり、ビブラート区間以外で音高や音量の変動を大きくしたり小さくしたりする効果を持つものである。なおこれらの機能は、特許文献１に詳しく説明されているので省略する。
【００５４】
図２に示した音高及び音量変化反映歌声合成システム１００を用いる本実施の形態の声色変化反映歌声合成システムは、図３に示すように、前述の合成歌声音響信号記憶部１０７と、スペクトル包絡推定部１０９と、声色空間推定部１１１と、軌跡変位変形部１１３と、第１のスペクトル変形曲線推定部１１５と、第２のスペクトル変形曲線推定部１１７と、スペクトル変形曲面生成部１１９と、合成音響信号生成部１２１とを備えている。これらの構成要素により図４のステップＳＴ３〜ＳＴ７が実行される。
【００５５】
スペクトル包絡推定部１０９は、図５（Ａ）に示す入力歌声の音響信号ｉ及び異なる歌声のＫ個（Ｋは１以上の整数）の合成された歌声の音響信号ｋ1〜ｋK及び同一歌声で且つＪ種類（Ｊは２以上の整数）の声色のＪ個の合成された歌声の音響信号ｊ1〜ｊJを周波数分析し、これら音響信号の周波数分析結果についてそれぞれ音高（Ｆ０）の影響を除去したＳ個（Ｓ＝Ｋ＋Ｊ＋１）のスペクトル包絡を推定する（図４のステップＳＴ３）。以下、信号処理の過程で、入力歌声の音響信号ｉ、Ｋ個の合成された歌声の音響信号ｋ1〜ｋK、Ｊ個の合成された歌声の音響信号ｊ1〜ｊJに基づく信号には、これらの音響信号と同じｉ、ｋ1〜ｋK、ｊ1〜ｊJの符号を便宜的に付す。声色の違いは、音響信号の周波数分析結果のスペクトル包絡の形状の違いとして定義できる。しかしスペクトル包絡形状の違いには、音韻の違いや個人性の違いも含まれる。したがって、そのような成分を抑制した時間変化が声色変化といえる。本実施の形態では、声色変化をよく表す音響的な特性として、スペクトル包絡を対象とする。ここで、入力歌声の音響信号及びＫ＋Ｊ個の合成された歌声の音響信号の周波数分析結果についてそれぞれ音高（Ｆ０）の影響を除去してスペクトル包絡を得るために、次の文献に記載された音声分析合成系STRAIGHT技術を用いる。
【００５６】
音声分析合成系STRAIGHT技術については、Kawahara, H., Masuda-Katsuse, I. and de Cheveigne, A.「 Restructuring speech representations using a pitch adaptive time-frequency smoothing and an instantaneous frequency based on F0 extraction: Possible role of a repetitive structure in sounds」 Speech Communication, Vol. 27, pp. 187−207 (1999)に記載されている。このスペクトル包絡（STRAIGHTスペクトルと呼ばれる）に基づいて処理を行うのは、スペクトル包絡を変形して高品質な再合成が行えることが知られているからである（非特許文献２参照）。
【００５７】
具体的には、スペクトル包絡推定部１０９は、図６に示した、コンピュータを用いてスペクトル包絡を推定するアルゴリズムのフローチャートの各ステップＳＴを実行する。図５（Ｂ）に示すように、特許文献１並びに非特許文献１６及び１７に記載の「VocaListener」 を用いてＫ＋Ｊ個の音響信号ｋ1〜ｋK及びｊ1〜ｊJを合成したことで、あるフレーム時刻における全音響信号の歌唱者のスペクトル包絡には、個人性（声質）や声色の違いに相当する変動のみが存在すると考えられる。これは、音高・音量・音韻が同一となるように「VocaListener」 によって真似ているからである。ここで、男女の違い等による絶対的な音高の違いは存在するが、音高の違いは前述のSTRAIGHT技術 による包絡推定によって除去されていると仮定する。実際には、音高が大きく異なると、スペクトル包絡の形状も異なる可能性があるが、数半音の違いの音はSTRAIGHT 技術によって吸収できると考えられる。また、それ以上の音高の違いによるスペクトル包絡の違いは、声色の違いとして扱われることになる。したがって、フレーム毎に主成分分析を行った結果、フレーム毎の異なる声色を持つ歌唱間で分散が大きい低次元の部分空間は、声色変化の寄与が大きな空間として考えることができ、この空間には個人性も残ると考えられる。
【００５８】
そこでスペクトル包絡推定部１０９は、まず入力歌声の音響信号ｉ、Ｋ個の合成された歌声の音響信号ｋ1〜ｋK及びＪ個の合成された歌声の音響信号ｊ1〜ｊJからなるＳ個の音響信号（ｉ、ｋ1〜ｋK及びｊ1〜ｊJ）の音量を正規化する（ステップＳＴ３１）。
【００５９】
そしてスペクトル包絡推定部１０９は、正規化したＳ個の音響信号を周波数分析して、周波数分析結果から複数の音高（Ｆ０）及び周波数帯域毎の非周期成分を推定する（ステップＳＴ３２）。音高及び非周期成分の推定方法は、特に限定されるものではない。例えば音高の推定は Kawahara, H., Masuda-Katsuse, I. and de Cheveigne, A.「 Restructuring speech representations using a pitch adaptive time-frequency smoothing and an instantaneous frequency based on F0 extraction: Possible role of a repetitive structure in sounds」 Speech Communication, Vol. 27, pp. 187−207 (1999)に記載されているような方法を用いることができる。また非周期成分の推定は H. Kawahara, Jo Estill and O. Fujimura: 「Aperiodicity extraction and control using mixed mode excitation and group delay manipulation for a high quality speech analysis, modification and synthesis system STRAIGHT」, MAVEBA 2001, Sept.13-15, firentze Italy, 2001.に記載されているような方法を用いることができる。そしてスペクトル包絡推定部１０９は、推定した音高を有声らしさの閾値と比較して有声または無声の判定を行う［ステップＳＴ３３及び図７（Ｃ）］。この判定を行うのは、有声区間と無声区間はそれぞれスペクトル包絡の推定において分析・合成処理を分ける必要があるからである。そして有声である区間は各音響信号の基本周波数Ｆ０（分析の基準となる周波数）に基づいて複数の周波数スペクトルの包絡をＬ1次元（Ｌ1は２の累乗＋１の整数）で推定し、無声である区間はあらかじめ定めた低い周波数（分析の基準となる周波数）に基づいて複数の周波数スペクトルの包絡をＬ1次元で推定する。ここで分析の基準となる周波数を決めることで、Ｆ０の影響を除去した滑らかなスペクトル包絡を得ることができる。基準となる周波数は、有声区間であればそのＦ０であり、無声区間であればスペクトル包絡を推定するために十分なＦ０よりも低い周波数である。例えばKawahara, H., Masuda-Katsuse, I. and de Cheveigne, A.「 Restructuring speech representations using a pitch adaptive time-frequency smoothing and an instantaneous frequency based on F0 extraction: Possible role of a repetitive structure in sounds」 Speech Communication, Vol. 27, pp. 187−207 (1999)に記載されている手法では、各音響信号の基本周波数Ｆ０に応じた時間長の分析窓を用いることで、スペクトル包絡を推定する。
【００６０】
そしてスペクトル包絡推定部１０９は、有声である区間の複数の周波数スペクトルの包絡と、無声である区間の複数の周波数スペクトルの包絡と、非周期成分とに基づいてＳ個のスペクトル包絡を推定する［図６のステップＳＴ３４：図７（Ｄ）］。スペクトル包絡の推定及び非周期成分の推定は、この実施の形態に限定されるものではなく、合成の精度を上げるために、精度の高い任意の手法を使用することが可能である。なお本実施の形態では、Ｌ1次元（周波数分解能）は２０４９次元を採用し、図６のステップＳＴ３２〜ＳＴ３４を処理の時間単位（１ms）ごと即ちフレーム毎に計算する。
【００６１】
本実施の形態では、音韻の違いや個人性の違いの成分を抑制するために、声色空間推定部１１１と軌跡変位変形部１１３を採用する。声色空間推定部１１１は、Ｓ個（Ｓ＝Ｋ＋Ｊ＋１）のスペクトル包絡の時間系列（図７（Ｄ））から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、入力歌声の声色及びＪ種類の声色を反映したＭ次元（Ｍは１以上の整数）の声色空間を推定する。部分空間法では、Ｓ個（Ｓ＝Ｋ＋Ｊ＋１）のスペクトル包絡の時間系列を学習データの集合として、それらの特徴を低次元で表現する部分空間（固有ベクトル）を作成し，その部分空間とＳ個（Ｓ＝Ｋ＋Ｊ＋１）のスペクトル包絡の時間系列との類似度を評価することによって、声色変化に寄与する成分を認識する。声色空間は、声色変化以外の成分を抑制した仮想空間である。声色空間では、Ｓ個の音響信号が各時刻において声色空間上の一点に対応し、その声色空間上の一点の時間変化は、声色空間上で時間変化する軌跡として表現できる。
【００６２】
部分空間法に基づいたこのような方法は、音韻性と話者性の分離に基づいた話者認識や声質変換において有効性が公知の研究により確認されている。このような研究としては、下記の二つの研究がある。
【００６３】
研究１： 西田昌史，有木康雄：「音韻性を抑えた話者空間への射影による話者認識」，電子情報通信学会論文誌， Vol. J85-D2, No. 4, pp. 554−562 (2002).
研究２： 井上  徹，西田昌史，藤本雅清，有木康雄：「部分空間と混合分布モデルを用いた声質変換」，電子情報通信学会技術研究報告SP，Vol. 101, No. 86, pp. 1−6 (2001).
上記２つの研究では、話者毎に部分空間を構成することで、音韻性（低次部分空間: 変動が大きな成分）と話者性（高次部分空間: 変動が小さな成分）を分離している。本実施の形態では、フレーム毎に部分空間を構成する。しかしそのままでは、各フレームで異なる空間が構成されることになり、全フレームを統一的に扱えない。そこで、フレーム毎の部分空間における低次Ｎ次元のみを保存して、元の空間に戻すことで、声質・声色変化に寄与する成分以外を抑制する。続いて、すべての合成された歌声の全フレームを直列につないで一度に主成分分析を行い、その低次Ｍ次元の空間を声色空間として扱う。このような処理によって、異なる歌唱者の全てのフレームが同じ空間上で扱えるだけでなく、歌詞の文脈などの音韻変化に伴う声色変化に関係する成分を、低次元で効率的に表現できる。なお表現力の高い空間を得るために、声色空間を構成する際に用いる歌唱者は多い方が望ましい。すなわちＫ個の音響信号は多いほうが好ましい。さらに、このような処理による余計な成分の抑制は、入力歌声との対応付けにおいても重要と考えられる。
【００６４】
具体的に本実施の形態で用いる声色空間推定部１１１は、コンピュータを用いて声色空間推定部１１１を実現する場合のアルゴリズムを示す図９のフローチャート中のステップを実行するように構成されている。声色空間推定部１１１は、図７（Ｄ）に示すように、Ｓ個のスペクトル包絡に対して、各フレームＦｄ毎に離散コサイン変換を行って、Ｓ個のスペクトル包絡［図７（Ｄ）］に対してそれぞれ各フレームＦｅ毎に離散コサイン変換係数（図９にはＤＣＴ係数と表示）を求める［図７（Ｅ）］。なお図８（ａ）乃至（ｇ）には、図７（Ｃ）乃至（Ｅ）のＳ個の音響信号（ｉ、ｋ1〜ｋK及びｊ1〜ｊJ）の波形のそれぞれの拡大図を示してある。また図１３（Ａ）及び（Ｂ）には、理解を容易にするために、図７（Ｄ）及び図７（Ｅ）のフレームＦｄ及びＦｅにおける波形の一例を線図として拡大して示してある。区別をするために符号を変えているが、フレームＦｄ及びＦｅは同じ時刻のフレームである。
【００６５】
図７（Ｅ）［図１３（Ｂ）］においては、１つのフレームＦｅについての直流成分である第０次元を除いたＬ2次元（但しＬ2＜Ｌ1でＬ2は正の整数）、具体例では低次８０次元の離散コサイン変換係数ベクトル（図９ではＤＣＴ係数ベクトルと表示）が示されている。ステップＳＴ４２では、低次のＬ2次元（但しＬ2＜Ｌ1でＬ2は正の整数）までの離散コサイン変換係数ベクトルを分析対象として取得する。ステップＳＴ４１及びＳＴ４２は、すべての音響信号の各フレームにおいて実行される（ステップＳＴ４Ａ）。
【００６６】
そして声色空間推定部１１１は、Ｓ個の音響信号（ｉ、ｋ1〜ｋK、ｊ1〜ｊJ）が同時刻で有声となるＴ個のフレーム（Ｔは最大で、音響信号の時間長の秒数×サンプリング周期）のそれぞれにおいて、Ｓ個のＬ2次元の離散コサイン変換係数ベクトルについて主成分分析を行って、主成分係数と累積寄与率を取得する［ステップＳＴ４３］。次に主成分係数を用いてＳ個のＬ2次元の離散コサイン変換係数をフレーム毎にＳ個のＬ2次元主成分スコアに変換する［ステップＳＴ４４：図１０（Ｆ）］。そしてフレーム毎にＳ個のＬ2次元主成分スコアに対して、声色空間推定部１１１は、累積寄与率Ｒ％（０＜Ｒ＜１００の数：この例ではＲ＝８０）となる低次のＮ次元（ＮはＲによって決まる１以上Ｌ2以下の整数）よりも高次元の主成分スコアを０とする（ステップＳＴ４５）。そして主成分係数を用いて、高次元の主成分スコアを０にしたＳ個の主成分スコアをＳ個の新たなＬ次元離散コサイン変換係数ベクトルに逆変換する［ステップＳＴ４６：図１０（Ｇ）及び図１２（Ｇ）］。ステップＳＴ４３〜ステップＳＴ４６（ステップ４Ｂ）は、前述のＴ個のフレームのすべてにおいて実施される。なお図１１（ａ）は、図１０（Ｅ）のＳ個の波形の拡大図をそれぞれ示しており、図１１（ｂ）は、図１０（Ｆ）のＳ個の波形の拡大図をそれぞれ示しており、図１１（ｃ）は、図１０（Ｇ）のＳ個の波形の拡大図をそれぞれ示しており、図１１（ｄ）は、後述する図１２（Ｈ）のＳ個の波形の拡大図をそれぞれ示している。またなお図１３（Ｃ）及び（Ｄ）には、理解を容易にするために、図１０（Ｆ）及び図１０（Ｇ）のフレームＦｆ及びＦｇにおける波形の一例を線図として拡大して示してある。区別をするために符号を変えているが、フレームＦｄ，Ｆｅ，Ｆｆ及びＦｇは同じ時刻のフレームである。
【００６７】
さらに声色空間推定部１１１は、Ｔ×Ｓ個の新たなＬ2次元の離散コサイン変換係数ベクトルに対して主成分分析を行って主成分係数及び累積寄与率を取得する［ステップＳＴ４７］。そして取得した主成分係数を用いてＬ2次元の離散コサイン変換係数を主成分スコアに変換する［ステップＳＴ４８：図１２（Ｈ）］。なお図１３（Ｅ）には、理解を容易にするために、図１２（Ｈ）のフレームＦｈにおける波形の一例を拡大して示してある。区別をするために符号を変えているが、フレームＦｄ，Ｆｅ，Ｆｆ，Ｆｇ及びＦｈは同じ時刻のフレームである。
【００６８】
そして主成分スコアの上位Ｍ（１≦Ｍ≦Ｌ2）次元までで表現される空間を声色空間と定める［ステップＳＴ４９：図１２（Ｉ）］。離散コサイン変換を用いて、このようにして声色空間を定めると、次元数を落としながら（Ｌ1次元→Ｌ2次元）スペクトル包絡を再現することができる。なお離散コサイン変換に代えてフーリエ変換を用いることもできる。
【００６９】
軌跡変位変形部１１３は、Ｍ次元空間である声色空間内に、同一歌声で声色が異なるＪ個の合成された歌声の音響信号についてのＪ個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻におけるＪ種類の声色の位置関係をＭ次元のベクトルで推定し且つＭ次元のベクトルで推定した声色の位置関係の時間軌跡を声色変化チューブＶＴとして推定する［図１２（Ｉ）］。言い方を変えると、声色空間をＭ次元空間とすると、合成対象の声色は、各時刻ｔにおいてＪ個のＭ次元ベクトルzj=1,2,...,J (t) がその空間上に存在し、これらＪ個の点J(t) に囲まれた内側が、合成したい同一の歌声の変形可能な領域となる。ここで声色変化チューブＶＴとは、図１２（Ｉ）に示すように、同一歌声で声色が異なる同期したＪ個の合成された歌声の声色のＪ個の位置を、声色空間上において求め、Ｊ個の位置を含むような多面体Ｐ（ポリトープ）を考え、その多面体Ｐの時間軌跡を想定したものである。なお図１２（Ｉ）は模擬的に声色変化チューブＶＴ及び多面体Ｐを示したものであり、これらは実際的には立体的なものである。
【００７０】
そして軌跡変位変形部１１３は、入力歌声の音響信号ｉのスペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における入力歌声の声色の位置をＭ次元ベクトルで推定し且つＭ次元ベクトルで推定した声色の位置の時間軌跡を入力歌声の声色軌跡ＩＴとして推定する（図１２（Ｉ））。さらに軌跡変位変形部１１３は、入力歌声の声色軌跡ＩＴの全部または大部分が声色変化チューブＶＴ内に存在するように入力歌声の声色軌跡ＩＴ及び声色変化チューブＶＴの少なくとも一方を変位または変形する（図１２（Ｊ））。このように声色空間をＭ次元空間とすると、合成対象の声色は、各時刻ｔにおいてＪ個のＭ次元ベクトルとしてＭ次元空間上に存在するものと仮定できる。そしてこれらＪ個の点に囲まれた内側が、合成したい同一の入力歌声の変形可能な領域となるものと仮定する。つまり、この時々刻々と変化する多面体Ｐ（Ｍ次元のポリトープ）が声色変化可能な領域である。したがって、同じく声色空間の別の場所に存在する入力歌声の声色軌跡ＩＴを、声色変化チューブＶＴ内になるべく入るようにシフト・スケーリングさせる（声色軌跡ＩＴ及び声色変化チューブＶＴの少なくとも一方を、時間軸を変えずに拡大または縮小し且つその位置を変位させる）ことで、各時刻における声色空間上の合成目標位置を決定する。そしてこの合成目標位置に基づいて、入力歌声の声色の変化を反映した合成された歌声の変形スペクトル包絡を生成する。
【００７１】
図１４は、図４のステップＳＴ５の詳細を示すもので、軌跡変位変形部１１３をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。このアルゴリズムでは、ステップＳＴ５１で声色変化チューブＶＴを構成するＪ個の合成された歌声の音響信号についてのＴ×Ｊ個のＭ次元主成分スコアベクトルに対して、各次元で０〜１の範囲の値になるようにシフト・スケーリングを行う。そしてステップＳＴ５２で、入力歌声の声色軌跡ＩＴを構成する入力歌声の音響信号についてのＴ個のＭ次元主成分スコアベクトルに対して各次元で０〜１の範囲の値になるようにシフト・スケーリングを行うことにより、入力歌声の声色軌跡ＩＴの全部または大部分を声色変化チューブＶＴ内に存在させる。このように各次元で０〜１の範囲の値になるようにシフト・スケーリングを行うことにより、演算によって入力歌声の声色軌跡ＩＴの全部または大部分を声色変化チューブＶＴ内に存在させることが可能になる。なおステップＳＴ５２をステップＳＴ５１を実行するよりも前に実行してもよいのは勿論である。
【００７２】
図１５は、図４のステップＳＴ６の詳細を示すもので、図３の第１のスペクトル変形曲線推定部１１５、第２のスペクトル変形曲線推定部１１７、スペクトル変形曲面生成部１１９及び合成音響信号生成部１２１をコンピュータで実現する場合に用いるプログラムのアルゴリズムのフローチャートを示している。また図１６はスペクトル変形曲線を形成する過程を説明するために用いる図である。本実施の形態では、スペクトル包絡をそのまま使うのではなく、第１のスペクトル変形曲線推定部１１５が、まずＪ個の合成用スペクトル変形曲線を推定する。第１のスペクトル変形曲線推定部１１５は、声色空間上の合成対象となる声色Ｊ個のうち標準的な声を１つ定める。具体的には、Ｊ個の歌声音源データ中の一つの歌声音源データを基準歌声音源データと定める（ステップＳＴ６１）。そして全ての音響信号が共に有声である全てのフレームすなわち前述のＳ個の音響信号が同時刻で有声となるＴ個のフレーム（Ｔは最大で、音響信号の時間長の秒数×サンプリング周期）のそれぞれにおいて、ステップＳＴ６２〜ＳＴ６５を実施する。
【００７３】
各フレームそれぞれについて、ステップＳＴ６２では、声色空間上の合成対象となるＪ個の声色の歌声音源データに対応するＪ個のＭ次元ベクトルにそれぞれスペクトル包絡を対応付ける。そして該基準歌声音源データに対応する合成された歌声の音響信号のスペクトル包絡を基準スペクトル包絡ＲＳとしてする。図１６においては、クリプトン・フューチャー・メディア株式会社の応用商品である「初音ミク・アペンド(MIKU Append)」（商標）の合成システムにより合成した同一歌唱者の声で、DARK, LIGHT, SOFT,SOLID, SWEET, VIVID の６種類の声色で歌声合成した６種類の歌声音源データと、クリプトン・フューチャー・メディア株式会社の応用商品である「初音ミク」（商標）の合成システムにより合成した「初音ミク」の歌声音源データとによりＪ個の歌声音源データを構成している。そして「初音ミク」の歌声音源データに対応する音響信号のスペクトル包絡を基準スペクトル包絡ＲＳとしている。図１６には、SOFT, SWEET, VIVIDのスペクトル包絡も図示してある。そして第１のスペクトル変形曲線推定部１１５は、Ｊ個の合成された歌声の音響信号のＪ個のスペクトル包絡の基準スペクトル包絡ＲＳに対する変形比率を各時刻で求めて、これら変形比率の変化をＪ種類の声色に対応したＪ個の合成用スペクトル変形曲線として推定する（ステップＳＴ６３）。合成用スペクトル変形曲線は、各時刻で求めた変形比率の変化を示す。そのため図１６の最も下の領域に示すように、「初音ミク」の歌声音源データに対応する基準スペクトル包絡ＲＳの合成用スペクトル変形曲線は直線となる。
【００７４】
そしてステップＳＴ６４において、声色空間上の合成対象となる声色Ｊ個のＭ次元ベクトルとそれに対応付けられたそれぞれの合成用スペクトル変形曲線から声色空間上の入力歌声のＭ次元ベクトルにおけるスペクトル変形曲線を算出する。このステップＳＴ６４を実現するために、第２のスペクトル変形曲線推定部１１７が、軌跡変位変形部１１３で定めた入力歌声の声色軌跡ＩＴ中の１点と声色変化チューブＶＴ中のある声色とが、ある時刻で重なったときに、ある時刻における入力歌声の音響信号のスペクトル包絡が、重なった声色の合成された歌声のスペクトル包絡と一致するという制約を満たすように、入力歌声の声色軌跡ＩＴに対応する各時刻のスペクトル変形曲線ＩＳ［図１７］を推定する。このスペクトル変形曲線ＩＳは、声色空間上での入力歌声の声色を真似るためのものである。
【００７５】
この制約に従うと、図１６において、声色軌跡ＩＴ中の１点［入力歌声（★印）］と声色変化チューブＶＴ中のある声色［例えばＤＡＲＫ］とが、ある時刻で重なったときに、ある時刻における入力歌声の音響信号のスペクトル包絡が、重なった声色（ＤＡＲＫ）の合成された歌声のスペクトル包絡と一致することとする。すなわちこの制約に従えば、重なった時刻では、入力歌声の音響信号のスペクトル包絡が声色（ＤＡＲＫ）の合成された歌声のスペクトル包絡に一致するものとなるように、各時刻のスペクトル変形曲線ＩＳ［図１７］を推定する。言い換えると図１６に示すように、声色軌跡ＩＴ中の１点［入力歌声（★印）］と声色変化チューブＶＴ中のある声色とが、ある時刻で重なっていないときには、声色軌跡ＩＴ中の１点［入力歌声（★印）］と声色変化チューブＶＴ中のＪ種類の声色の位置との関係に基づいて、各時刻のスペクトル変形曲線ＩＳを推定する。
【００７６】
次にステップＳＴ６５において、各時刻の入力歌声のスペクトル変形曲線ＩＳに上限及び下限を定めて閾値処理を行う（図１７）。閾値処理では、上限及び下限を超えるスペクトル変形曲線ＩＳをカットする。上限と下限は、合成対象となるＪ個の声色における合成用スペクトル変形曲線の最大値と最小値に基づいて決定する。
【００７７】
図１７には、スペクトル変形曲線ＩＳを用いて合成音響信号を生成するまでの過程を示してある。スペクトル変形曲面生成部１１９が、全時刻（全フレーム）のスペクトル変形曲線ＩＳを合わせてスペクトル変形曲面を推定する（ステップＳＴ６６）。次に合成音響信号生成部１２１が、スペクトル変形曲面に対して二次元平滑化を行い（ステップＳＴ６７）、二次元平滑化をしたスペクトル変形曲面を用いて基準とした声色の音響信号のスペクトル包絡（図１７では初音ミクのスペクトル包絡）を変形する（ステップＳＴ６８）。そして変形したスペクトル包絡と基準とした音響信号の基本周波数Ｆ0を用いて歌声合成を行って入力歌声の声色変化を真似た合成歌唱のための合成音響信号を生成する（ステップＳＴ６９）。合成音響信号は、信号再生部１２３により再生してもよいし、適宜の記憶媒体に記憶してもよい。
【００７８】
上記推定を具体的に演算により実行する場合の例を以下に説明する。本実施の形態では、スペクトル包絡をそのまま使うのではなく、標準的な声（例えば初音ミク・アペンドでない即ち声色を変えていない初音ミク）を基準としてそこからの変形比率を求める。この変形比率をまずフレーム毎に推定する。この比率が、前述のスペクトル変形曲線である。入力歌声が声色空間上で各声色の点と重なりあった場合には、その時刻における入力歌声のスペクトル変形曲線は、重なった声色のスペクトル変形曲線と同じにするという制約を満たすように推定する。そのために、Turk, G. 及び O’Brien, J. F.著の「Modelling with implicit surfaces that interpolate」と題する論文［ACM Transactions on Graphics, Vol. 21, No. 4, pp. 855−873 (2002)］に記載のRadial Basis Function を用いたVariational Interpolationを応用して適用する。
【００７９】
ここで、時刻t、周波数f における各声色のスペクトル包絡をZj=1,2,...,J (f, t)、そのZ1(f, t) に対するスペクトル変形曲面をZrj(f, t) とし、声色空間上での入力歌声をu(t)、各声色をzj(t) とすると、次の制約付きの方程式を解くことで、声色空間上での入力歌声の声色を真似るためのスペクトル変形曲線を得る。
【数１】
0005510852.tif 000002
【００８０】
ここでZri(f, t) は式(1) のように対数をとり、比率を対数軸上に線形に変換させることと、推定結果が負の値を取ることを許容する。またwk(f,t) が混合比率であり、P(・) は式(5) のように、ベクトルx としてzj(t) もしくはu(t) を変数とするM 変数一次多項式（係数がpm=0,...,M ）である。φ(・) は、ベクトル間の距離を表す関数であり、本明細書ではφ(・)＝｜・｜ とする。その他、φ(・) ＝ ｜・｜2 log(・) やφ(・)＝｜・｜3 等が使われることがある。式(4) が前述の制約に相当し、声色空間をＭ＝３次元とすると以下の行列で書ける。
【数２】
0005510852.tif 000003
【００８１】
ここでφjk はφ(zj(t)−zk(t)) を表し、(f, t) や(t) は省略して記述した。
【００８２】
このようにして推定されたwk(f,t)とpm(f,t)を用いて、式(2) によってスペクトル変形曲面を生成する。続いて、合成の不自然さを減らすために、フレーム毎に上限と下限を定めて、声色変化チューブ外にユーザ歌唱が存在した場合の影響を低減する。また、時間−周波数平面上の平滑化処理により、急峻すぎる変化を低減してスペクトルの連続性を保つ。最後に、基準とした歌声の音声信号のスペクトル包絡をこのスペクトル変形曲面を用いて変形し、それを「STRAIGHT」で合成することで入力歌声の声色変化を真似た合成歌唱のための合成音響信号を得る。
【００８３】
以上のような処理により、ユーザの入力歌声の声色変化を真似た歌声合成が実現できる。しかし、ユーザ歌唱を真似るだけでは、歌唱によるユーザの表現力の限界を超えることができない。そこで、表現の幅を拡げるため、推定結果に基づいて声色変化を操作できるインタフェースを用意するのが好ましい。そのようなインタフェースでは、以下の三つの機能を持つことが好ましい。
【００８４】
（１）声色変化のスケールを変えて声色変化の度合いを変更する機能
スケールを大きくして抑揚ある歌声を合成したり、逆にスケールを小さく声色変化を抑えたりして合成できる。
【００８５】
（２）声色変化をシフトして声色変化の中心を変更する機能
声色変化の中心を変えることで、それぞれの声色を中心とした声色変化に変換できる。
【００８６】
上記二つの機能を部分的に適用することで、細かな修正を可能とする。
【００８７】
上記本発明の実施の形態では、初音ミクと初音ミク・アペンドのような、歌唱者が同一の複数音源から声色変化を反映した歌声合成を行った。しかしここで、声色変化チューブを異なる歌唱者で構成することで、声質を動的に変化させて歌声合成できる可能性がある。また、上記実施の形態では、既存歌声合成システムのパラメータ推定を行わなかったが、声色変化チューブを、例えばGENパラメータを変えた複数の声から構成すれば、パラメータ推定に応用できる可能性がある。
【産業上の利用可能性】
【００８８】
本発明によれば、これまで実現されていなかった入力歌声からの声色変化の推定と、それを真似て歌声合成することができる。すなわち本発明によれば、ユーザが手軽に人間らしい表現豊かな歌声を合成でき、さらには音高・音量・声色の多様な観点から、歌唱の表情付けが行えるようになる利点が得られる。
【符号の説明】
【００８９】
１  入力歌声の音響信号記憶部
３  歌詞アラインメント部
５  入力歌声音響信号分析部
７  分析データ記憶部
９  音高パラメータ推定部
１１  音量パラメータ推定部
１３  歌声合成パラメータデータ作成部
１５  歌詞データ記憶部
１７  調子はずれ量推定部
１９  音高補正部
２１  音高トランスポーズ部
２３  ビブラート調整部
２５  スムージング処理部
１０１  歌声合成部
１０３  歌声音源データベース
１０５  歌声合成パラメータデータ記憶部
１０７  合成歌声音響信号記憶部
１０９  スペクトル包絡推定部
１１１  声色空間推定部
１１３  軌跡変位変形部
１１５  第１のスペクトル変形曲線推定部
１１７  第２のスペクトル変形曲線推定部
１１９  スペクトル変形曲面生成部
１２１  合成音響信号生成部
１２３  信号再生部
【図２】
0005510852.tif 000004
【図３】
0005510852.tif 000005
【図４】
0005510852.tif 000006
【図５】
0005510852.tif 000007
【図６】
0005510852.tif 000008
【図９】
0005510852.tif 000009
【図１３】
0005510852.tif 000010
【図１４】
0005510852.tif 000011
【図１５】
0005510852.tif 000012
【図１６】
0005510852.tif 000013
【図１】
0005510852.tif 000014
【図７】
0005510852.tif 000015
【図８（ａ）】
0005510852.tif 000016
【図８（ｂ）】
0005510852.tif 000017
【図８（ｃ）】
0005510852.tif 000018
【図８（ｄ）】
0005510852.tif 000019
【図８（ｅ）】
0005510852.tif 000020
【図８（ｆ）】
0005510852.tif 000021
【図８（ｇ）】
0005510852.tif 000022
【図１０】
0005510852.tif 000023
【図１１（ａ）】
0005510852.tif 000024
【図１１（ｂ）】
0005510852.tif 000025
【図１１（ｃ）】
0005510852.tif 000026
【図１１（ｄ）】
0005510852.tif 000027
【図１２】
0005510852.tif 000028
【図１７】
0005510852.tif 000029