"入力歌声の音響信号を記憶する入力歌声の音響信号記憶部と、異なる歌声のK個Kは1以上の整数の歌声音源データと、同一歌声で且つJ種類Jは2以上の整数の声色のJ個の歌声音源データが蓄積された歌声音源データベースと、入力歌声の音響信号を少なくとも音高パラメータ及び音量パラメータを含む複数種類のパラメータで表現した歌声合成パラメータデータを推定する歌声合成パラメータデータ推定部と、前記歌声合成パラメータデータを記憶する歌声合成パラメータデータ記憶部と、入力歌声の音響信号に対応した歌詞データを記憶する歌詞データ記憶部と、前記歌声音源データベースから選択した1種類の前記歌声音源データと前記歌声合成パラメータデータと前記歌詞データとに基づいて、合成された歌声の音響信号を出力する歌声合成部とを備えた音高及び音量変化反映歌声合成システムと、前記音高及び音量変化反映歌声合成システムで生成された、時刻が同期した異なる歌声のK個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるJ個の合成された歌声の音響信号とを記憶する合成歌声音響信号記憶部と、前記入力歌声の音響信号及び前記KJ個の合成された歌声の音響信号を周波数分析し、これら前記音響信号の周波数分析結果についてそれぞれ音高F0の影響を除去したS個S=KJ1のスペクトル包絡を推定するスペクトル包絡推定部と、前記S個のスペクトル包絡の時間系列から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、前記入力歌声の声色及び前記J種類の声色を反映したM次元Mは1以上の整数の声色空間を推定する声色空間推定部と、前記声色空間内に、前記同一歌声で声色が異なるJ個の合成された歌声の音響信号についての前記J個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記J種類の声色の位置関係をM次元のベクトルで推定し且つ前記M次元のベクトルで推定した前記声色の位置関係の時間軌跡を声色変化チューブとして推定し、前記入力歌声の音響信号の前記スペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記入力歌声の声色の位置をM次元ベクトルで推定し且つ前記M次元ベクトルで推定した前記声色の位置の時間軌跡を入力歌声の声色軌跡として推定し、前記入力歌声の声色軌跡の全部または大部分が前記声色変化チューブ内に存在するように前記入力歌声の声色軌跡及び前記声色変化チューブの少なくとも一方を変位または変形する軌跡変位変形部と、前記J個の歌声音源データ中の一つの歌声音源データを基準歌声音源データとして、該基準歌声音源データに対応する前記合成された歌声の音響信号の前記スペクトル包絡を基準スペクトル包絡とし、前記J個の合成された歌声の音響信号のJ個のスペクトル包絡の前記基準スペクトル包絡に対する変形比率を各時刻で求めて前記J種類の声色に対応したJ個の合成用スペクトル変形曲線を推定する第1のスペクトル変形曲線推定部と、前記軌跡変位変形部で定めた前記入力歌声の声色軌跡中の1点と前記声色変化チューブ内のある声色とが、ある時刻で重なったときに、前記ある時刻における前記入力歌声の音響信号のスペクトル包絡が、重なった前記声色の前記合成された歌声のスペクトル包絡と一致するという制約を満たすように、前記入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線を推定する第2のスペクトル変形曲線推定部と、各時刻において、前記第2のスペクトル変形曲線推定部が推定した前記スペクトル変形曲線を合わせてスペクトル変形曲面を生成するスペクトル変形曲面生成部と、各時刻において、前記スペクトル変形曲面に基づいて前記基準スペクトル包絡を変形して変形スペクトル包絡を生成し、該変形スペクトル包絡と前記基準歌声音源データに含まれる基本周波数F0に基づいて前記入力歌声の声色の変化を反映した合成された歌声の音響信号を生成する合成音響信号生成部とを備えてなる声色変化反映歌声合成システム。前記スペクトル包絡推定部は、前記入力歌声の音響信号、前記K個の合成された歌声の音響信号及び前記J個の合成された歌声の音響信号からなるS個の音響信号の音量を正規化し、正規化した前記S個の音響信号を周波数分析して、周波数分析結果から複数の音高及び非周期成分を推定し、推定した音高を有声らしさの閾値と比較して有声または無声の判定を行い、有声である区間は前記音響信号の基本周波数F0に基づいて前記複数の周波数スペクトルの包絡をL1次元L1は2の累乗1の整数で推定し、無声である区間はあらかじめ定めた低い周波数に基づいて前記複数の周波数スペクトルの包絡をL1次元で推定し、前記有声である区間の前記複数の周波数スペクトルの包絡と、前記無声である区間の前記複数の周波数スペクトルの包絡とに基づいて前記S個のスペクトル包絡を推定するように構成されている請求項1に記載の声色変化反映歌声合成システム。前記声色空間推定部は、前記S個のスペクトル包絡に対して離散コサイン変換を行ってS個の離散コサイン変換係数を求め、前記S個のスペクトル包絡に対して離散コサイン変換係数における直流成分である第0次元を除いた低次のL2次元但しL2<L1でL2は正の整数までの離散コサイン変換係数ベクトルを分析対象として取得し、前記S個の音響信号が同時刻で有声となるT個のフレームTは最大で、音響信号の時間長の秒数×サンプリング周期のそれぞれにおいて、前記S個のL2次元の離散コサイン変換係数ベクトルについて主成分分析を行って、それぞれ主成分係数と累積寄与率を取得し、前記T個のフレームにおいて、前記主成分係数を用いて前記S個の離散コサイン変換係数をS個のL2次元の主成分スコアに変換し、前記S個のL2次元の主成分スコアに対して、累積寄与率R0<R<100の数となる低次のN次元NはRによって定まる1以上L2以下の整数よりも高次元の主成分スコアを0としてS個のN次元の主成分スコアを取得し、前記S個のN次元の主成分スコアをそれぞれ、対応する前記主成分係数を用いて、S個の新たなL2次元の離散コサイン変換係数に逆変換し、T×S個の新たなL2次元の離散コサイン変換係数のベクトルに対して主成分分析を行って主成分係数及び累積寄与率を取得し、取得した主成分係数を用いてL2次元の離散コサイン変換係数を主成分スコアに変換し、主成分スコアの上位M1≦M≦L2次元までで表現される空間を前記声色空間と定める請求項1に記載の声色変化反映歌声合成システム。前記軌跡変位変形部は、前記声色変化チューブを構成する前記J個の合成された歌声の音響信号についてのT×J個のM次元主成分スコアベクトルに対して、各次元で0~1の範囲の値になるようにシフトスケーリングを行い、且つ前記入力歌声の声色軌跡を構成する前記入力歌声の音響信号についてのT個のM次元主成分スコアベクトルに対して各次元で0~1の範囲の値になるようにシフトスケーリングを行うことにより、前記入力歌声の声色軌跡の全部または大部分が前記声色変化チューブ内に存在させることを特徴とする請求項1,2または3に記載の声色変化反映歌声合成システム。前記第2のスペクトル変形曲線推定部は、前記入力歌声の声色軌跡に対応する各時刻の前記スペクトル変形曲線に上限下限を定めて閾値処理を行う機能を有している請求項1に記載の声色変化反映歌声合成システム。前記スペクトル変形曲面生成部は、前記スペクトル変形曲面に対して二次元平滑化を行うことを特徴とする請求項1に記載の声色変化反映歌声合成システム。入力歌声の音響信号を記憶する入力歌声の音響信号記憶部と、異なる歌声のK個Kは1以上の整数の歌声音源データと、同一歌声で且つJ種類Jは2以上の整数の声色のJ個の歌声音源データが蓄積された歌声音源データベースと、入力歌声の音響信号を少なくとも音高パラメータ及び音量パラメータを含む複数種類のパラメータで表現した歌声合成パラメータデータを推定する歌声合成パラメータデータ推定部と、前記歌声合成パラメータデータを記憶する歌声合成パラメータデータ記憶部と、入力歌声の音響信号に対応した歌詞データを記憶する歌詞データ記憶部と、前記歌声音源データベースから選択した1種類の前記歌声音源データと前記歌声合成パラメータデータと前記歌詞データとに基づいて、合成された歌声の音響信号を出力する歌声合成部とを備えた音高及び音量変化反映歌声合成システムを用いて、時刻が同期した異なる歌声のK個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるJ個の合成された歌声の音響信号とを生成する合成歌声音響信号生成ステップと、前記入力歌声の音響信号及び前記KJ個の合成された歌声の音響信号を周波数分析し、これら前記音響信号の周波数分析結果についてそれぞれ音高F0の影響を除去したS個S=KJ1のスペクトル包絡を推定するスペクトル包絡推定ステップと、前記S個のスペクトル包絡の時間系列から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、前記入力歌声の声色及び前記J種類の声色を反映したM次元Mは1以上の整数の声色空間を推定する声色空間推定ステップと、前記声色空間内に、前記同一歌声で声色が異なるJ個の合成された歌声の音響信号についての前記J個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記J種類の声色の位置関係をM次元のベクトルで推定し且つ前記M次元のベクトルで推定した前記声色の位置関係の時間軌跡を声色変化チューブとして推定し、前記入力歌声の音響信号の前記スペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記入力歌声の声色の位置をM次元ベクトルで推定し且つ前記M次元ベクトルで推定した前記声色の位置の時間軌跡を入力歌声の声色軌跡として推定し、前記入力歌声の声色軌跡の全部または大部分が前記声色変化チューブ内に存在するように前記入力歌声の声色軌跡及び前記声色変化チューブの少なくとも一方を変位または変形する軌跡変位変形ステップと、前記K個の歌声音源データ中の一つの歌声音源データを基準歌声音源データとして、該基準歌声音源データに対応する前記合成された歌声の音響信号の前記スペクトル包絡を基準スペクトル包絡とし、前記K個の合成された歌声の音響信号のJ個のスペクトル包絡の前記基準スペクトル包絡に対する変形比率を各時刻で求めて前記J種類の声色に対応したJ個の合成用スペクトル変形曲線を推定する第1のスペクトル変形曲線推定ステップと、前記軌跡変位変形ステップで定めた前記入力歌声の声色軌跡中の1点と前記声色変化チューブ内のある声色とが、ある時刻で重なったときに、前記ある時刻における前記入力歌声の音響信号のスペクトル包絡が、重なった前記声色の前記合成された歌声のスペクトル包絡と一致するという制約を満たすように、前記入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線を推定する第2のスペクトル変形曲線推定ステップと、各時刻において、前記第2のスペクトル変形曲線推定部が推定した前記スペクトル変形曲線を合わせてスペクトル変形曲面を生成するスペクトル変形曲面生成ステップと、各時刻において、前記スペクトル変形曲面に基づいて前記基準スペクトル包絡を変形して変形スペクトル包絡を生成し、該変形スペクトル包絡と前記基準歌声音源データに含まれる基本周波数F0に基づいて前記入力歌声の声色の変化を反映した合成された歌声の音響信号を生成する合成音響信号生成ステップとをコンピュータが実施することを特徴とする声色変化反映歌声合成方法。前記スペクトル包絡推定ステップでは、前記入力歌声の音響信号、前記J個の合成された歌声の音響信号及び前記K個の合成された歌声の音響信号からなるS個の音響信号の音量を正規化し、正規化した前記S個の音響信号を周波数分析して、周波数分析結果から複数の周波数スペクトル毎の音高及び非周期成分を推定し、推定した音高を有声らしさの閾値と比較して有声または無声の判定を行い、有声である区間は前記音響信号のF0に基づいて前記複数の周波数スペクトルの包絡をL1次元L1は2の累乗1の整数で推定し、無声である区間はあらかじめ定めた低い周波数に基づいて前記複数の周波数スペクトルの包絡をL1次元で推定し、前記有声である区間の前記複数の周波数スペクトルの包絡と、前記無声である区間の前記複数の周波数スペクトルの包絡とに基づいて前記S個のスペクトル包絡を推定する請求項7に記載の声色変化反映歌声合成方法。前記声色空間推定ステップでは、前記S個のスペクトル包絡に対して離散コサイン変換を行ってS個の離散コサイン変換係数を求め、前記S個のスペクトル包絡に対して離散コサイン変換係数における直流成分である第0次元を除いた低次のL2次元但しL2<L1でL2は正の整数までの離散コサイン変換係数ベクトルを分析対象として取得し、前記S個の音響信号が同時刻で有声となるT個のフレームTは最大で音響信号の時間長の秒数×サンプリング周期のそれぞれにおいて、前記S個のL2次元の離散コサイン変換係数ベクトルについて主成分分析を行って、それぞれ主成分係数と累積寄与率を取得し、前記T個のフレームにおいて、前記主成分係数を用いて前記S個の離散コサイン変換係数をS個のL2次元の主成分スコアに変換し、前記S個のL2次元の主成分スコアに対して、累積寄与率R0<R<100の数となる低次のN次元NはRによって定まる1以上L2以下の整数よりも高次元の主成分スコアを0としてS個のN次元の主成分スコアを取得し、前記S個のN次元の主成分スコアをそれぞれ、対応する前記主成分係数を用いて、S個の新たなL2次元の離散コサイン変換係数に逆変換し、T×S個の新たなL2次元の離散コサイン変換係数のベクトルに対して主成分分析を行って主成分係数及び累積寄与率を取得し、取得した主成分係数を用いてL2次元の離散コサイン変換係数を主成分スコアに変換し、主成分スコアの上記M1≦M≦L2次元までで表現される空間を前記声色空間と定める請求項7に記載の声色変化反映歌声合成方法。前記軌跡変位変形ステップでは、前記声色変化チューブを構成する前記K個の合成された歌声の音響信号についてのT×K個のM次元主成分スコアベクトルに対して、各次元で0~1の範囲の値になるようにシフトスケーリングを行い、且つ前記入力歌声の声色軌跡を構成する前記入力歌声の音響信号についてのT個のM次元主成分スコアベクトルに対して各次元で0~1の範囲の値になるようにシフトスケーリングを行うことにより、前記入力歌声の声色軌跡の全部または大部分が前記声色変化チューブ内に存在させる請求項7、8または9に記載の声色変化反映歌声合成方法。特許文献1及び非特許文献16及び17に記載の従来技術は、既存の歌声合成ソフトウェアの歌声合成パラメータを、ユーザ歌唱からその音高と音量を真似て推定する技術である図1。パラメータの反復推定により、推定精度が向上し、歌声合成システムやその音源歌手の声を切り替えても再調整せずに自動的に合成できるようになった。独自の歌声専用音響モデルによって歌詞のテキストを与えるだけで、音符毎に割り当てる作業はほぼ自動で行える。なおhttpstaffaistgojptnakanoVocaListenerindexjhtmlにおいて、この従来技術の歌声合成結果は視聴できる。しかし特許文献1及び非特許文献16及び17に記載の技術では、音高と音量の変化しか合成歌声に反映することができず、ユーザ歌唱の表情や歌い方、声質を表現しきれていなかった。ここで声質という用語は、個人を特定できる音響的な特性や聴覚上の違いだけでなく、異なる発声様式によって生じる声の違い唸り声、囁き声等や、明るい声や暗い声といった聴感上の印象表現語の違いなど、多様な意味合いで使われている。そこで本願明細書においては、歌唱中の声質の変化を表す際に、声質という単語と区別して声色変化という単語を用いる。ユーザ歌唱中の声色変化を真似て、歌詞やメロディーに合わせて歌声合成結果に反映できれば、より魅力的な歌声合成の実現につながると考えられる。従来、このような声色変化をユーザが明示的に扱える技術には、非特許文献1に示される歌声合成システムVocaloid商標があった。非特許文献1に記載の技術では、複数の数値パラメータを各時刻で調整することで、歌唱音声のスペクトルを操作して声色変化を伴った歌声合成が実現できる。しかし、曲に合わせてこれらのパラメータを操作することは難しく、ほとんどのユーザはこれらのパラメータを変更しないか、変更するにしても曲毎に一括でこれらのパラメータを変更したり、大まかに変更したりしていた。本発明の目的は、ユーザ歌唱の音高及び音量の変化だけでなく、声色変化まで歌声合成歌唱に反映することができる声色変化反映歌声合成システム及び声色変化反映歌声合成方法を提供することにある。基本的に、本発明では、特許文献1並びに非特許文献16及び17に記載の技術により入力歌声ユーザ歌唱と同一歌詞で、音高と音量を真似た複数の多様な歌声を合成し、それらの歌声全てから声色変化に寄与する成分を表す空間声色空間を構成する。そして、その空間上でのユーザの声色変化を合成に反映させて歌声合成する。本発明の声色反映歌声合成システムは、音高及び音量変化反映歌声合成システムと、合成歌声音響信号記憶部、スペクトル包絡推定部と、声色空間推定部と、軌跡変位変形部、第1のスペクトル変形曲線推定部と、第2のスペクトル変形曲線推定部と、スペクトル変形曲面生成部と、合成音響信号生成部とを備えている。音響及び音量変化反映歌声合成システムは、入力歌声と同一歌詞で、音高と音量を真似た複数の多様な歌声を合成するために、入力歌声の音響信号記憶部と、歌声音源データベースと、歌声合成パラメータデータ推定部と、歌声合成パラメータデータ記憶部と、歌詞データ記憶部と、歌声合成部とを備えている。音響及び音量変化反映歌声合成システムとしては、例えば、特許文献1及び非特許文献16及び17に開示されたシステムを用いることができる。入力歌声の音響信号記憶部は、ユーザの入力歌声の音響信号を記憶する。歌声音源データベースは、異なる歌声のK個Kは1以上の整数の歌声音源データと、同一歌声で且つJ種類Jは2以上の整数の声色のJ個の歌声音源データを蓄積する。なお同一歌声で且つJ種類Jは2以上の整数の声色のJ個の歌声音源データは、既存の声色変更実現可能な歌声合成システムを用いて簡単に入手できる。歌声合成パラメータデータ推定部は、入力歌声の音響信号を少なくとも音高パラメータ及び音量パラメータを含む複数種類のパラメータで表現した歌声合成パラメータデータを推定する。歌声合成パラメータデータ記憶部は、歌声合成パラメータデータを記憶する。歌詞データ記憶部は、入力歌声の音響信号に対応した歌詞データを記憶する。歌声合成部は、歌声音源データベースから選択した1種類の歌声音源データと歌声合成パラメータデータと歌詞データとに基づいて、合成された歌声の音響信号を出力する。音高パラメータは、音高の変化を示すことができるものであればよい。音量パラメータは、音量の変化を示すことができるものであればよい。例えば、音量パラメータは、MIDI規格のエクスプレッションあるいは市販の歌声合成システムのダイナミクスDYNである。合成歌声音響信号記憶部は、音高及び音量変化反映歌声合成システムで生成された、時刻が同期した異なる歌声のK個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるJ個の合成された歌声の音響信号とを記憶する。スペクトル包絡推定部は、入力歌声の音響信号及びKJ個の合成された歌声の音響信号を周波数分析し、これら音響信号の周波数分析結果についてそれぞれ音高F0の影響を除去したS個S=KJ1のスペクトル包絡を推定する。発明者は、声色の違いとは、音響信号の周波数分析結果のスペクトル包絡の形状の違いとして定義できることを見出した。しかしスペクトル包絡形状の違いには、音韻の違いや個人性の違いも含まれる。したがって、そのような成分を抑制した音響信号の周波数分析結果のスペクトル包絡の形状の時間変化が声色変化といえる。そこで本発明では音韻の違いや個人性の違いの成分を抑制するために、声色空間推定部と軌跡変位変形部を採用する。声色空間推定部は、S個のスペクトル包絡の時間系列から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、入力歌声の声色及びJ種類の声色を反映したM次元Mは1以上の整数の声色空間を推定する。この声色空間は、声色変化以外の成分を抑制した仮想空間である。この声色空間では、S個の音響信号が各時刻において声色空間上の一点に対応し位置し、S個の音響信号の時間変化は、声色空間上で時間変化する軌跡として表現できる。軌跡変位変形部は、声色空間内に、同一歌声で声色が異なるJ個の合成された歌声の音響信号についてのJ個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記J種類の声色の位置関係をM次元のベクトルで推定し且つM次元のベクトルで推定した声色の位置関係の時間軌跡を声色変化チューブとして推定する。ここで声色変化チューブとは、同一歌声で声色が異なる同期したJ個の合成された歌声の声色のJ個の位置を、声色空間上において求め、J個の位置を含むような多面体ポリトープを考え、その多面体の時間軌跡を想定したものである。そして軌跡変位変形部は、入力歌声の音響信号のスペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における入力歌声の声色の位置をM次元ベクトルで推定し且つM次元ベクトルで推定した声色の位置の時間軌跡を声色軌跡として推定する。さらに軌跡変位変形部は、入力歌声の声色軌跡の全部または大部分が声色変化チューブ内に存在するように入力歌声の声色軌跡及び声色変化チューブの少なくとも一方を変位シフトまたは変形する。このように声色空間をM次元空間とすると、合成対象の声色は、各時刻tにおいてJ個のM次元ベクトルがM次元空間上にそれぞれ存在したものとする。そしてM次元空間上のJ個の点に囲まれた内側が、合成したい同一の入力歌声の変形可能な領域となるものと仮定する。つまり、この時々刻々と変化する多面体M次元のポリトープが声色変化可能な領域である。したがって、同じく声色空間の別の場所に存在する入力歌声の声色軌跡を、声色変化チューブ内になるべく入るようにシフトスケーリングさせる声色軌跡及び声色変化チューブの少なくとも一方を時間軸を変えずに拡大または縮小し且つその位置を変位させることで、各時刻における声色空間上の合成目標位置を決定する。そしてこの合成目標位置に基づいて、入力歌声の声色の変化を反映した合成された歌声の変形スペクトル包絡を生成する。本発明では、スペクトル包絡をそのまま使うのではなく、第1のスペクトル変形曲線推定部が、J個の歌声音源データ中の一つの歌声音源データを基準歌声音源データとして、該基準歌声音源データに対応する合成された歌声の音響信号のスペクトル包絡を基準スペクトル包絡とし、J個の合成された歌声の音響信号のJ個のスペクトル包絡の基準スペクトル包絡に対する変形比率を各時刻で求めてJ種類の声色に対応したJ個の合成用スペクトル変形曲線を推定する。合成用スペクトル変形曲線は、各時刻で求めた変形比率の変化を示すのである。また第2のスペクトル変形曲線推定部が、軌跡変位変形部で定めた入力歌声の声色軌跡中の1点と声色変化チューブ内のある声色とが、ある時刻で重なったときに、ある時刻における入力歌声の音響信号のスペクトル包絡が、重なった声色の合成された歌声のスペクトル包絡と一致するという制約を満たすように、入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線を推定する。このスペクトル変形曲線は、声色空間上での入力歌声の声色を真似るためのものである。そしてスペクトル変形曲面生成部は、各時刻において第2のスペクトル変形曲線推定部が推定したスペクトル変形曲線を合わせてスペクトル変形曲面を生成する。合成音響信号生成部は、各時刻において、スペクトル変形曲面に基づいて基準スペクトル包絡を変形して変形スペクトル包絡を生成し、該変形スペクトル包絡と基準歌声音源データに含まれる基本周波数F0に基づいて入力歌声の声色の変化を反映した合成された歌声の音響信号を生成する。以上の構成により、入力歌声の声色変化を真似た歌声合成が実現できる。具体的なスペクトル包絡推定部は、入力歌声の音響信号、J個の合成された歌声の音響信号及びK個の合成された歌声の音響信号からなるS個の音響信号の音量を正規化する。そしてスペクトル包絡推定部は、正規化したS個の音響信号を周波数分析して、周波数分析結果から複数の音高及び非周期成分を推定する。そしてスペクトル包絡推定部は、推定した音高を有声らしさの閾値と比較して有声または無声の判定を行い、有声である区間は音響信号の基本周波数F0に基づいて複数の周波数スペクトルの包絡をL1次元L1は2の累乗1の整数で推定し、無声である区間はあらかじめ定めた低い周波数に基づいて複数の周波数スペクトルの包絡をL1次元で推定する。そしてスペクトル包絡推定部は、有声である区間の複数の周波数スペクトルの包絡と、無声である区間の複数の周波数スペクトルの包絡とに基づいてS個のスペクトル包絡を推定する。このようにスペクトル包絡推定部を構成すると、有声区間においてF0の影響を除去したスペクトル包絡を推定することができる。また無声区間においてはその周波数伝達特性を適切に表現したスペクトル包絡が推定できる。その結果、非周期成分を合成時に用いることで高い合成品質で歌声合成できるという利点が得られる。また具体的な声色空間推定部は、S個のスペクトル包絡に対して離散コサイン変換を行ってS個の離散コサイン変換係数を求め、S個のスペクトル包絡に対して離散コサイン変換係数における直流成分である第0次元を除いた低次のL2次元但しL2<L1でL2は正の整数までの離散コサイン変換係数ベクトルを分析対象として取得する。そして声色空間推定部は、S個の音響信号が同時刻で有声となるT個のフレームTは最大で、音響信号の時間長の秒数×サンプリング周期のそれぞれにおいて、S個のL2次元の離散コサイン変換係数ベクトルについて主成分分析を行って、それぞれの主成分分析から主成分係数と累積寄与率を取得する。ここで音響信号の時間長の秒数とは、分析対象の音響信号の長さを時間で測定したものである。そして声色空間推定部は、T個のフレームにおいて、主成分係数を用いてS個の離散コサイン変換係数をS個のL2次元の主成分スコアに変換し、S個のL2次元の主成分スコアに対して、累積寄与率R0<R<100の数となる低次のN次元NはRによって決まる1以上L2以下の整数よりも高次元の主成分スコアを0としてS個のN次元の主成分スコアを取得する。そして声色空間推定部は、S個のN次元の主成分スコアをそれぞれ、対応する主成分係数を用いて、S個の新たなL2次元の離散コサイン変換係数に逆変換し、T×S個の新たなL2次元の離散コサイン変換係数のベクトルに対して主成分分析を行って主成分係数及び累積寄与率を取得する。そして取得した主成分係数を用いてL2次元の離散コサイン変換係数を主成分スコアに変換し、主成分スコアの上記M1≦M≦L2次元までで表現される空間を声色空間と定める。離散コサイン変換を用いて、このようにして声色空間を定めると、フーリエ変換を用いる場合に比べて低域にパワーが集中し且つ実数で扱えるために次元を効率的に落とすことが可能である。具体的な軌跡変位変形部は、声色変化チューブを構成するJ個の合成された歌声の音響信号についてのT×J個のM次元主成分スコアベクトルに対して、各次元で0~1の範囲の値になるようにシフトスケーリングを行う。そして軌跡変位変形部は、入力歌声の声色軌跡を構成する入力歌声の音響信号についてのT個のM次元主成分スコアベクトルに対して各次元で0~1の範囲の値になるようにシフトスケーリングを行うことにより、入力歌声の声色軌跡の全部または大部分を声色変化チューブ内に存在させる。各次元で0~1の範囲の値になるようにシフトスケーリングを行うことにより、演算によって入力歌声の声色軌跡の全部または大部分を声色変化チューブ内に存在させることが可能になる。具体的な、第2のスペクトル変形曲線推定部は、入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線に上限下限を定めて閾値処理を行う機能を有しているのが好ましい。スペクトル変形曲線に上限下限を定めて閾値処理を行うと、入力歌声の声色軌跡が声色変化チューブから大きく離れた場合に、入力歌声の声色軌跡の不自然な変形を低減できる。具体的な、スペクトル変形曲面生成部は、スペクトル変形曲面に対して二次元平滑化を行う機能を有していることが好ましい。このような二次元平滑化を行うと、スペクトル包絡の急峻な変化を抑えることができるため、合成された歌声の不自然さを低減できる。本発明の声色反映歌声生成方法は、前述の音高及び音量変化反映歌声合成システムを用いて、時刻が同期した異なる歌声のK個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるJ個の合成された歌声の音響信号とを生成する合成歌声音響信号生成ステップ。次に、入力歌声の音響信号及びKJ個の合成された歌声の音響信号を周波数分析し、これら音響信号の周波数分析結果についてそれぞれ音高F0の影響を除去したS個S=KJ1のスペクトル包絡を推定するスペクトル包絡推定ステップ。そしてS個のスペクトル包絡の時間系列から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、入力歌声の声色及びJ種類の声色を反映したM次元Mは1上の整数の声色空間を推定する声色空間推定ステップ。そして次のステップでは、声色空間内に、同一歌声で声色が異なるJ個の合成された歌声の音響信号についてのJ個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における前記複数種類の声色の位置関係をM次元のベクトルで推定し且つM次元のベクトルで推定した声色の位置関係の時間軌跡を声色変化チューブとして推定する。このステップでは、入力歌声の音響信号のスペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における入力歌声の声色の位置をM次元ベクトルで推定し且つM次元ベクトルで推定した声色の位置の時間軌跡を入力歌声の声色軌跡として推定し、入力歌声の声色軌跡の全部または大部分が声色変化チューブ内に存在するように入力歌声の声色軌跡及び声色変化チューブの少なくとも一方を変位または変形する軌跡変位変形ステップ。そしてJ個の歌声音源データ中の一つの歌声音源データを基準歌声音源データとして、該基準歌声音源データに対応する合成された歌声の音響信号の前記スペクトル包絡を基準スペクトル包絡とし、J個の合成された歌声の音響信号のJ個のスペクトル包絡の基準スペクトル包絡に対する変形比率を各時刻で求めてJ種類の声色に対応したJ個の合成用スペクトル変形曲線を推定する第1のスペクトル変形曲線推定ステップ。また軌跡変位変形ステップで定めた前記入力歌声の声色軌跡中の1点と声色変化チューブ内のある声色とが、ある時刻で重なったときに、ある時刻における入力歌声の音響信号のスペクトル包絡が、重なった声色の合成された歌声のスペクトル包絡と一致するという制約を満たすように、入力歌声の声色軌跡に対応する各時刻のスペクトル変形曲線を推定する第2のスペクトル変形曲線推定ステップ。そして各時刻において、第2のスペクトル変形曲線推定部が推定したスペクトル変形曲線を合わせてスペクトル変形曲面を生成するスペクトル変形曲面生成ステップ。また各時刻において、スペクトル変形曲面に基づいて基準スペクトル包絡を変形して変形スペクトル包絡を生成し、該変形スペクトル包絡と基準歌声音源データに含まれる基本周波数F0に基づいて入力歌声の声色の変化を反映した合成された歌声の音響信号を生成する合成音響信号生成ステップ。本発明の方法では、上記各ステップをコンピュータが実施する。声色変化を対象としてユーザ歌唱を真似るために、特許文献1並びに非特許文献16及び17に記載の技術のように、既存の歌声合成システムにおける声質パラメータをユーザ歌唱に合わせて自動的に推定する方法が考えられる。しかしこの方法は、実現可能性はあっても、実用性汎用性が低い。なぜなら、音高や音量と異なり、声質や声色変化に関するパラメータは歌声合成システムによって異なるため、そのパラメータによって変化する音響的特徴がシステム毎に異なることが十分に考えられるためである。実際、非特許文献1に開示されたシステムでは、操作できるパラメータが一部異なる。したがって、声質パラメータ毎に最適化した方法を仮に実現しても、異なる歌声合成システムにおいて適用できない可能性があり、汎用的でない。一方、クリプトンフューチャーメディア株式会社の応用商品である初音ミクアペンド商標は、クリプトンフューチャーメディア株式会社の応用商品である初音ミク商標で合成される仮想キャラクタである初音ミクの声で、DARKLIGHTSOFTSOLIDSWEETVIVIDの6種類の声色で歌声合成できる。しかし、これらの音源をフレーズ毎に切り替えながら合成することはできても、歌声合成システム上でこれらの中間の状態を作り出すことは困難である。例えばLIGHTとSOLIDの中間の声で歌い始めた後、徐々に普通の初音ミクの声に切り替わる、といった滑らかな変化を実現するのは難しい。したがって、これらの問題を解決するには、歌声合成システム内のパラメータ操作だけでは不十分で、外部の信号処理が必要となる。そこで、本発明では、音高と音量を真似て合成した後、その合成歌唱を利用しながら、声色変化を信号処理で反映する。ユーザ歌唱の声色変化を真似る歌声合成を実現するためには、声色変化を真似るという問題を解決する必要がある。この問題を解決するためには、以下の課題を解決する必要がある。実現課題:声色変化をどのように表現するのか。実現課題:ユーザ歌唱の声色変化をどのように反映させるのか。ここで声色の違いとは、前述の応用商品初音ミクにより得られる合成歌唱と応用商品初音ミクアペンドにより得られる合成歌唱の違いに相当し、それはスペクトル包絡の形状の違いとして定義できる。しかしスペクトル包絡形状の違いには、図1A及びBに示すように、音韻の違いや個人性の違いも含まれる。したがって、そのような成分を抑制した時間変化が声色変化といえる。そして、そのような声色変化を反映したスペクトル包絡の時間系列を新たに生成できれば、ユーザ歌唱の声色変化を真似た歌声合成が実現できる。以下上記実現課題1及び2を解決することができる、本発明の声色変化反映歌声合成システムの一実施の形態について説明する。図2は、本実施の形態で用いる音高及び音量変化反映歌声合成システム100の構成の一例の構成を示すブロック図である。そして図3は、本発明の声色変化反映歌声合成システムの一実施の形態の主要構成部を示すブロック図である。図4は、本発明の声色変化反映歌声合成システム及び声色変化反映歌声合成方法をコンピュータを用いて実現する場合のプログラムのメインアルゴリズムを示すフローチャートである。図2に示した音高及び音量変化反映歌声合成システム100では、合成歌唱合成された歌声の音響信号を入力歌唱入力歌声の音響信号と比較しながら、歌声合成パラメータデータを反復更新する。以下、ユーザによって与えられた歌唱の音響信号を入力歌声の音響信号、歌声合成部によって合成された合成歌唱の音響信号を合成された歌声の音響信号と呼ぶ。本実施の形態では、ユーザが、入力歌声の音響信号とその歌詞データとを入力としてシステムに与えるものとする図4のステップST1。後述するように、異なる歌声のK個Kは1以上の整数の歌声音源データと、同一歌声で且つJ種類Jは2以上の整数の声色のJ個の歌声音源データも入力される。入力歌声の音響信号は、入力歌声の音響信号記憶部1に記憶される。この入力歌声の音響信号は、マイクロフォン等から入力されたユーザの歌声の音響信号であっても、既製の歌声の音響信号であっても、また他の任意の歌声合成システムが出力した音響信号であってもよい。歌詞データは、歌詞が日本語の場合には、通常、漢字かな混じり文の文字列のデータである。歌詞が英語の場合には、アルファベットの文字列のデータである。歌詞データは、後述する歌詞アラインメント部3に入力される。入力歌声音響信号分析部5は、入力歌声の音響信号に対して分析を行う。また歌詞アラインメント部3は、入力された歌詞データを、入力歌声の音響信号と同期するように音節境界が指定された歌詞データに変換して、変換結果を歌詞データ記憶部15に記憶させる。また歌詞アラインメント部3は、歌詞が日本語の場合には、漢字かな混じり文をかな文字列に変換する際の誤りをユーザが手作業で訂正することを可能にする。また歌詞アラインメント部3は、歌詞の割り当てでフレーズをまたがるような大きな誤りがあった場合には、ユーザが手作業で訂正することを可能にする。なお音節境界が指定された歌詞データが与えられた場合には、そのような歌詞データは、歌詞データ記憶部15に直接入力される。そして歌声音源データベース103から逐次選択した歌声音源データに適した歌声合成パラメータデータを作成して、歌声合成パラメータデータ記憶部105に記憶させる。歌声音源データベース103は、異なる歌声のK個Kは1以上の整数の歌声音源データと、同一歌声で且つJ種類Jは2以上の整数の声色のJ個の歌声音源データを蓄積する。図5Aに示すように、異なる歌声例えば、男の歌声、女の歌声、子供の歌声等のK個Kは1以上の整数の歌声音源データは、既存の歌声合成システム1等を用いて得ることができる。また同一歌声で且つJ種類Jは2以上の整数の声色のJ個の歌声音源データは、非特許文献1に示されている歌声合成システムVOCALOIDのような既存の声色変更実現可能な歌声合成システム2を用いて得ることができる。非特許文献1に示されている歌声合成システムVOCALOIDでは、J種類の声色として、DARKLIGHTSOFTSOLIDSWEET及びVIVIDの6種類の声色の歌声音源データを作成することができる。歌声合成部101は、入力歌声の音響信号及び合成された歌声の音響信号を少なくとも音高パラメータ及び音量パラメータを含む複数種類のパラメータで表現した歌声合成パラメータデータを記憶する歌声合成パラメータデータ記憶部105の出力を入力とする。そして、歌声合成部101は、歌声音源データベースから選択した1種類の歌声音源データと歌声合成パラメータデータと歌詞データとに基づいて、合成された歌声の音響信号を合成して合成歌声音響信号記憶部107に出力する。合成歌声音響信号記憶部107は、音高及び音量変化反映歌声合成システム100で生成された、時刻が同期した異なる歌声のK個の合成された歌声の音響信号と時刻が同期した同一歌声で声色が異なるJ個の合成された歌声の音響信号とを記憶する。ここまでの操作は図4のステップST2として実行され、得られたKJ個の音響信号は図5Bに示すように、音高と音量の変化が反映されたものとなる。歌声合成パラメータデータ推定のためのシステムは、大きく分けて、入力歌声音響信号分析部5と、分析データ記憶部7と、音高パラメータ推定部9と、音量パラメータ推定部11と、歌声合成パラメータデータ作成部13とを備えている。入力歌声音響信号分析部5は、入力歌声の音響信号の音高、音量、有声区間及びビブラート区間を特徴量として分析して、分析結果を分析データ記憶部7に記憶させる。なお、後述する調子はずれ量推定部17、音高補正部19、音高トランスポーズ部、ビブラート調整部、スムージング処理部を設けない場合には、ビブラート区間を特徴量として分析する必要はない。入力歌声音響信号分析部5は、入力歌声の音響信号の特徴量を分析抽出できるものであればどのような構成のものであってもよい。本実施の形態の入力歌声音響信号分析部5は、次の4つの機能を有している。第1の機能は、所定の周期で、入力歌声の音響信号から基本周波数F0を推定し、それを入力歌声の音響信号の音高の特徴量データとして分析データ記憶部7に記憶する機能である。なお基本周波数F0の推定方法は任意である。無伴奏歌唱から基本周波数F0を推定する手法を用いても良いし、伴奏付き歌唱から基本周波数F0を推定する手法を用いても良い。第2の機能は、入力歌声の音響信号から有声音らしさを推定し、予め定めた閾値を基準にして閾値よりも有声音らしさが高い区間を入力歌声の音響信号の有声区間として観測して分析データ記憶部に記憶する機能である。そして第3の機能は、入力歌声の音響信号の音量の特徴量を観測して、音量の特徴量データとして分析データ記憶部に記憶する機能である。第4の機能は、音高の特徴量データからビブラートが存在している区間を観測してビブラート区間として分析データ記憶部に記憶する機能である。ビブラートの検出手法は、公知の検出手法のいずれを採用してもよい。音高パラメータ推定部9は、分析データ記憶部7から読み出した入力歌声の音響信号の音高の特徴量と歌詞データ記憶部15に記憶された音節境界が指定された歌詞データとに基づいて、音量パラメータを一定のものとして、入力歌声の音響信号の音高の特徴量に合成された歌声の音響信号の音高の特徴量を近づけることができる音高パラメータを推定する。そこで音高パラメータ推定部9では、推定した音高パラメータに基づいて歌声合成パラメータデータ作成部13が作成した仮の歌声合成パラメータデータを歌声合成部101で合成して仮の合成された歌声の音響信号を得る。歌声合成パラメータデータ作成部13が作成した仮の歌声合成パラメータデータは、歌声合成パラメータデータ記憶部105に記憶される。したがって歌声合成部101は、通常の合成動作に従って、仮の歌声合成パラメータデータと歌詞データとに基づいて歌声合成部101で合成して仮の合成された歌声の音響信号を出力する。そして音高パラメータ推定部9では、この仮の合成された歌声の音響信号の音高の特徴量が、入力歌声の音響信号の音高の特徴量に近づくまで、音高パラメータの推定を繰り返す。なお音高パラメータの推定手法については、特許文献1に詳しく記載されているので省略する。音高パラメータ推定部9は、入力歌声音響信号分析部5と同様に、歌声合成部101から出力された仮の合成された歌声の音響信号の音高の特徴量を分析する機能を内蔵している。そして音高パラメータ推定部9は、予め定めた回数具体的には、4回、音高パラメータの推定を繰り返す。なお予め定めた回数ではなく、仮の合成された歌声の音響信号の音高の特徴量が、入力歌声の音響信号の音高の特徴量に収束するまで音高パラメータの推定を繰り返すように音高パラメータ推定部9を構成してもよいのは勿論である。音高パラメータの推定を繰り返すと、音源データが異なった場合でも、また歌声合成部101の合成方法が異なったとしても、推定が繰り返されるたびに、仮の合成された歌声の音響信号の音高の特徴量が入力歌声の音響信号の音高の特徴量に自動的に近づいていくので、歌声合成部101の合成の品質と精度は高くなる。また音高パラメータの推定を完了した後に、音量パラメータ推定部11は、入力歌声の音響信号の音量の特徴量を合成された歌声の音響信号の音量の特徴量に対して相対値化し、入力歌声の音響信号の相対値化した音量の特徴量に合成された歌声の音響信号の音量の特徴量を近づけることができる音量パラメータを推定する。歌声合成パラメータデータ作成部は、音高パラメータ推定部9において推定が完了した音高パラメータと、音量パラメータ推定部11が新たに推定した音量パラメータとに基づいて作成した仮の歌声合成パラメータデータを歌声合成パラメータデータ記憶部105に記憶させる。歌声合成部101は、仮の歌声合成パラメータデータを合成して仮の合成された歌声の音響信号を出力する。音量パラメータ推定部11は、仮の合成された歌声の音響信号の音量の特徴量が、入力歌声の音響信号の相対値化した音量の特徴量に近づくまで所定の回数音量パラメータの推定を繰り返す。音高パラメータ推定部9と同様に、音量パラメータ推定部11も、入力歌声音響信号分析部5と同様に、歌声合成部101から出力された仮の合成された歌声の音響信号の音量の特徴量を分析する機能を内蔵している。そして本実施の形態の音量パラメータ推定部11は、予め定めた回数具体的には、4回、音量パラメータの推定を繰り返す。なお仮の合成された歌声の音響信号の音量の特徴量が、入力歌声の音響信号の相対値化した音量の特徴量に収束するまで音量パラメータの推定を繰り返すように、音量パラメータ推定部11を構成してもよいのは勿論である。音量パラメータについても、音高パラメータの推定と同様に、推定を繰り返すと、音量パラメータの推定精度をより高いものとすることができる。そして歌声合成パラメータデータ作成部13は、推定が完了した音高パラメータ及び推定が完了した音量パラメータに基づいて歌声合成パラメータデータを作成し、歌声合成パラメータデータを歌声合成パラメータデータ記憶部105に記憶させる。音高パラメータ推定部9で推定する音高パラメータは、音高の変化を示すことができるものであればよい。本実施の形態では、音高パラメータを、歌詞データの複数の音節のそれぞれに対応する入力歌声の音響信号の複数の部分区間の信号の基準音高レベルを示すパラメータ要素と、部分区間の信号の基準音高レベルに対する音高の時間的相対変化分を示すパラメータ要素と、部分区間の信号の音高方向への変化幅を示すパラメータ要素とから構成する。図2に戻って、音節境界が指定された歌詞データを用いる場合には、そのデータは歌詞データ記憶部15に直接記憶する。しかし音節境界が指定されていない歌詞データが歌声合成パラメータデータ作成部13に入力される場合には、歌詞アラインメント部3が、音節境界が指定されていない歌詞データと入力歌声の音響信号とに基づいて、音節境界が指定された歌詞データを作成する。入力歌声の音響信号の音楽的な質は常に保証されているものではなく、調子がずれたものや、ビブラートがおかしいもの等もある。また男性と女性とでは、キーが異なる場合が多い。そこでこのような場合に対処するためには、本実施の形態では、図2に示すように、調子はずれ量推定部17、音高補正部19、音高トランスポーズ部21、ビブラート調整部23及びスムージング処理部25を備えている。本実施の形態では、これらを用いて、入力歌声の音響信号自体を編集することにより、歌唱入力の表現を広げる。具体的には、以下の二種類の変更機能を実現できる。なおこれらの変更機能は、状況に応じて利用すればよく、使わないという選択も可能である。A音高の変更機能調子はずれの補正:音高がずれた音を修正する。音高トランスポーズ:自分では歌えない声域の歌唱を合成する。B歌唱スタイルの変更機能ビブラート深さの調整:ビブラートを強く弱くという直感的操作で、自分好みの表現へ変更できる。音高音量のスムージング:音高のオーバーシュート、微細変動等を抑制できる。上記の変更機能を実現するため、調子はずれ量推定部17は、分析データ記憶部7に記憶された入力歌声の音響信号の連続する有声区間における音高の特徴量データから調子はずれ量を推定する。そして音高補正部19は、調子はずれ量推定部17が推定した調子はずれ量を音高の特徴量データから除くように音高の特徴量データを補正する。調子はずれ量を推定して、その分を除けば、調子はずれの度合いが低い入力歌声の音響信号を得ることができる。また音高トランスポーズ部21は、音高の特徴量データに任意の値を加減算して音高トランスポーズをする際に用いられる。音高トランスポーズ部21を設ければ、入力歌声の音響信号について簡単に声域を変えたり移調したりすることができる。ビブラート調整部23は、ビブラート区間におけるビブラートの深さを任意に調整する。スムージング処理部25は、ビブラート区間以外における音高の特徴量データ及び音量の特徴量データを任意にスムージング処理する。ただし、ここでのスムージング処理は、ビブラートの深さを任意に調整することと同等の処理をビブラート区間外で行うことであり、ビブラート区間以外で音高や音量の変動を大きくしたり小さくしたりする効果を持つものである。なおこれらの機能は、特許文献1に詳しく説明されているので省略する。図2に示した音高及び音量変化反映歌声合成システム100を用いる本実施の形態の声色変化反映歌声合成システムは、図3に示すように、前述の合成歌声音響信号記憶部107と、スペクトル包絡推定部109と、声色空間推定部111と、軌跡変位変形部113と、第1のスペクトル変形曲線推定部115と、第2のスペクトル変形曲線推定部117と、スペクトル変形曲面生成部119と、合成音響信号生成部121とを備えている。これらの構成要素により図4のステップST3~ST7が実行される。スペクトル包絡推定部109は、図5Aに示す入力歌声の音響信号i及び異なる歌声のK個Kは1以上の整数の合成された歌声の音響信号k1~kK及び同一歌声で且つJ種類Jは2以上の整数の声色のJ個の合成された歌声の音響信号j1~jJを周波数分析し、これら音響信号の周波数分析結果についてそれぞれ音高F0の影響を除去したS個S=KJ1のスペクトル包絡を推定する図4のステップST3。以下、信号処理の過程で、入力歌声の音響信号i、K個の合成された歌声の音響信号k1~kK、J個の合成された歌声の音響信号j1~jJに基づく信号には、これらの音響信号と同じi、k1~kK、j1~jJの符号を便宜的に付す。声色の違いは、音響信号の周波数分析結果のスペクトル包絡の形状の違いとして定義できる。しかしスペクトル包絡形状の違いには、音韻の違いや個人性の違いも含まれる。したがって、そのような成分を抑制した時間変化が声色変化といえる。本実施の形態では、声色変化をよく表す音響的な特性として、スペクトル包絡を対象とする。ここで、入力歌声の音響信号及びKJ個の合成された歌声の音響信号の周波数分析結果についてそれぞれ音高F0の影響を除去してスペクトル包絡を得るために、次の文献に記載された音声分析合成系STRAIGHT技術を用いる。音声分析合成系STRAIGHT技術については、KawaharaHMasudaKatsuseIanddeCheveigneARestructuringspeechrepresentationsusingapitchadaptivetimefrequencysmoothingandaninstantaneousfrequencybasedonF0extractionPossibleroleofarepetitivestructureinsoundsSpeechCommunicationVol27pp187-207に記載されている。このスペクトル包絡STRAIGHTスペクトルと呼ばれるに基づいて処理を行うのは、スペクトル包絡を変形して高品質な再合成が行えることが知られているからである非特許文献2参照。具体的には、スペクトル包絡推定部109は、図6に示した、コンピュータを用いてスペクトル包絡を推定するアルゴリズムのフローチャートの各ステップSTを実行する。図5Bに示すように、特許文献1並びに非特許文献16及び17に記載のVocaListenerを用いてKJ個の音響信号k1~kK及びj1~jJを合成したことで、あるフレーム時刻における全音響信号の歌唱者のスペクトル包絡には、個人性声質や声色の違いに相当する変動のみが存在すると考えられる。これは、音高音量音韻が同一となるようにVocaListenerによって真似ているからである。ここで、男女の違い等による絶対的な音高の違いは存在するが、音高の違いは前述のSTRAIGHT技術による包絡推定によって除去されていると仮定する。実際には、音高が大きく異なると、スペクトル包絡の形状も異なる可能性があるが、数半音の違いの音はSTRAIGHT技術によって吸収できると考えられる。また、それ以上の音高の違いによるスペクトル包絡の違いは、声色の違いとして扱われることになる。したがって、フレーム毎に主成分分析を行った結果、フレーム毎の異なる声色を持つ歌唱間で分散が大きい低次元の部分空間は、声色変化の寄与が大きな空間として考えることができ、この空間には個人性も残ると考えられる。そこでスペクトル包絡推定部109は、まず入力歌声の音響信号i、K個の合成された歌声の音響信号k1~kK及びJ個の合成された歌声の音響信号j1~jJからなるS個の音響信号i、k1~kK及びj1~jJの音量を正規化するステップST31。そしてスペクトル包絡推定部109は、正規化したS個の音響信号を周波数分析して、周波数分析結果から複数の音高F0及び周波数帯域毎の非周期成分を推定するステップST32。音高及び非周期成分の推定方法は、特に限定されるものではない。例えば音高の推定はKawaharaHMasudaKatsuseIanddeCheveigneARestructuringspeechrepresentationsusingapitchadaptivetimefrequencysmoothingandaninstantaneousfrequencybasedonF0extractionPossibleroleofarepetitivestructureinsoundsSpeechCommunicationVol27pp187-207に記載されているような方法を用いることができる。また非周期成分の推定はHKawaharaJoEstillandOFujimuraAperiodicityextractionandcontrolusingmixedmodeexcitationandgroupdelaymanipulationforahighqualityspeechanalysismodificationandsynthesissystemSTRAIGHTMAVEBA2001Sept1315firentzeItaly2001に記載されているような方法を用いることができる。そしてスペクトル包絡推定部109は、推定した音高を有声らしさの閾値と比較して有声または無声の判定を行う[ステップST33及び図7C]。この判定を行うのは、有声区間と無声区間はそれぞれスペクトル包絡の推定において分析合成処理を分ける必要があるからである。そして有声である区間は各音響信号の基本周波数F0分析の基準となる周波数に基づいて複数の周波数スペクトルの包絡をL1次元L1は2の累乗1の整数で推定し、無声である区間はあらかじめ定めた低い周波数分析の基準となる周波数に基づいて複数の周波数スペクトルの包絡をL1次元で推定する。ここで分析の基準となる周波数を決めることで、F0の影響を除去した滑らかなスペクトル包絡を得ることができる。基準となる周波数は、有声区間であればそのF0であり、無声区間であればスペクトル包絡を推定するために十分なF0よりも低い周波数である。例えばKawaharaHMasudaKatsuseIanddeCheveigneARestructuringspeechrepresentationsusingapitchadaptivetimefrequencysmoothingandaninstantaneousfrequencybasedonF0extractionPossibleroleofarepetitivestructureinsoundsSpeechCommunicationVol27pp187-207に記載されている手法では、各音響信号の基本周波数F0に応じた時間長の分析窓を用いることで、スペクトル包絡を推定する。そしてスペクトル包絡推定部109は、有声である区間の複数の周波数スペクトルの包絡と、無声である区間の複数の周波数スペクトルの包絡と、非周期成分とに基づいてS個のスペクトル包絡を推定する[図6のステップST34:図7D]。スペクトル包絡の推定及び非周期成分の推定は、この実施の形態に限定されるものではなく、合成の精度を上げるために、精度の高い任意の手法を使用することが可能である。なお本実施の形態では、L1次元周波数分解能は2049次元を採用し、図6のステップST32~ST34を処理の時間単位1msごと即ちフレーム毎に計算する。本実施の形態では、音韻の違いや個人性の違いの成分を抑制するために、声色空間推定部111と軌跡変位変形部113を採用する。声色空間推定部111は、S個S=KJ1のスペクトル包絡の時間系列図7Dから声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して、入力歌声の声色及びJ種類の声色を反映したM次元Mは1以上の整数の声色空間を推定する。部分空間法では、S個S=KJ1のスペクトル包絡の時間系列を学習データの集合として、それらの特徴を低次元で表現する部分空間固有ベクトルを作成し,その部分空間とS個S=KJ1のスペクトル包絡の時間系列との類似度を評価することによって、声色変化に寄与する成分を認識する。声色空間は、声色変化以外の成分を抑制した仮想空間である。声色空間では、S個の音響信号が各時刻において声色空間上の一点に対応し、その声色空間上の一点の時間変化は、声色空間上で時間変化する軌跡として表現できる。部分空間法に基づいたこのような方法は、音韻性と話者性の分離に基づいた話者認識や声質変換において有効性が公知の研究により確認されている。このような研究としては、下記の二つの研究がある。研究1:西田昌史,有木康雄:音韻性を抑えた話者空間への射影による話者認識,電子情報通信学会論文誌,VolJ85D2No4pp554-562研究2:井上徹,西田昌史,藤本雅清,有木康雄:部分空間と混合分布モデルを用いた声質変換,電子情報通信学会技術研究報告SP,Vol101No86pp1-6上記2つの研究では、話者毎に部分空間を構成することで、音韻性低次部分空間変動が大きな成分と話者性高次部分空間変動が小さな成分を分離している。本実施の形態では、フレーム毎に部分空間を構成する。しかしそのままでは、各フレームで異なる空間が構成されることになり、全フレームを統一的に扱えない。そこで、フレーム毎の部分空間における低次N次元のみを保存して、元の空間に戻すことで、声質声色変化に寄与する成分以外を抑制する。続いて、すべての合成された歌声の全フレームを直列につないで一度に主成分分析を行い、その低次M次元の空間を声色空間として扱う。このような処理によって、異なる歌唱者の全てのフレームが同じ空間上で扱えるだけでなく、歌詞の文脈などの音韻変化に伴う声色変化に関係する成分を、低次元で効率的に表現できる。なお表現力の高い空間を得るために、声色空間を構成する際に用いる歌唱者は多い方が望ましい。すなわちK個の音響信号は多いほうが好ましい。さらに、このような処理による余計な成分の抑制は、入力歌声との対応付けにおいても重要と考えられる。具体的に本実施の形態で用いる声色空間推定部111は、コンピュータを用いて声色空間推定部111を実現する場合のアルゴリズムを示す図9のフローチャート中のステップを実行するように構成されている。声色空間推定部111は、図7Dに示すように、S個のスペクトル包絡に対して、各フレームFd毎に離散コサイン変換を行って、S個のスペクトル包絡[図7D]に対してそれぞれ各フレームFe毎に離散コサイン変換係数図9にはDCT係数と表示を求める[図7E]。なお図8a乃至gには、図7C乃至EのS個の音響信号i、k1~kK及びj1~jJの波形のそれぞれの拡大図を示してある。また図13A及びBには、理解を容易にするために、図7D及び図7EのフレームFd及びFeにおける波形の一例を線図として拡大して示してある。区別をするために符号を変えているが、フレームFd及びFeは同じ時刻のフレームである。図7E[図13B]においては、1つのフレームFeについての直流成分である第0次元を除いたL2次元但しL2<L1でL2は正の整数、具体例では低次80次元の離散コサイン変換係数ベクトル図9ではDCT係数ベクトルと表示が示されている。ステップST42では、低次のL2次元但しL2<L1でL2は正の整数までの離散コサイン変換係数ベクトルを分析対象として取得する。ステップST41及びST42は、すべての音響信号の各フレームにおいて実行されるステップST4A。そして声色空間推定部111は、S個の音響信号i、k1~kK、j1~jJが同時刻で有声となるT個のフレームTは最大で、音響信号の時間長の秒数×サンプリング周期のそれぞれにおいて、S個のL2次元の離散コサイン変換係数ベクトルについて主成分分析を行って、主成分係数と累積寄与率を取得する[ステップST43]。次に主成分係数を用いてS個のL2次元の離散コサイン変換係数をフレーム毎にS個のL2次元主成分スコアに変換する[ステップST44:図10F]。そしてフレーム毎にS個のL2次元主成分スコアに対して、声色空間推定部111は、累積寄与率R0<R<100の数:この例ではR=80となる低次のN次元NはRによって決まる1以上L2以下の整数よりも高次元の主成分スコアを0とするステップST45。そして主成分係数を用いて、高次元の主成分スコアを0にしたS個の主成分スコアをS個の新たなL次元離散コサイン変換係数ベクトルに逆変換する[ステップST46:図10G及び図12G]。ステップST43~ステップST46ステップ4Bは、前述のT個のフレームのすべてにおいて実施される。なお図11aは、図10EのS個の波形の拡大図をそれぞれ示しており、図11bは、図10FのS個の波形の拡大図をそれぞれ示しており、図11cは、図10GのS個の波形の拡大図をそれぞれ示しており、図11dは、後述する図12HのS個の波形の拡大図をそれぞれ示している。またなお図13C及びDには、理解を容易にするために、図10F及び図10GのフレームFf及びFgにおける波形の一例を線図として拡大して示してある。区別をするために符号を変えているが、フレームFd,Fe,Ff及びFgは同じ時刻のフレームである。さらに声色空間推定部111は、T×S個の新たなL2次元の離散コサイン変換係数ベクトルに対して主成分分析を行って主成分係数及び累積寄与率を取得する[ステップST47]。そして取得した主成分係数を用いてL2次元の離散コサイン変換係数を主成分スコアに変換する[ステップST48:図12H]。なお図13Eには、理解を容易にするために、図12HのフレームFhにおける波形の一例を拡大して示してある。区別をするために符号を変えているが、フレームFd,Fe,Ff,Fg及びFhは同じ時刻のフレームである。そして主成分スコアの上位M1≦M≦L2次元までで表現される空間を声色空間と定める[ステップST49:図12I]。離散コサイン変換を用いて、このようにして声色空間を定めると、次元数を落としながらL1次元→L2次元スペクトル包絡を再現することができる。なお離散コサイン変換に代えてフーリエ変換を用いることもできる。軌跡変位変形部113は、M次元空間である声色空間内に、同一歌声で声色が異なるJ個の合成された歌声の音響信号についてのJ個のスペクトル包絡から、声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻におけるJ種類の声色の位置関係をM次元のベクトルで推定し且つM次元のベクトルで推定した声色の位置関係の時間軌跡を声色変化チューブVTとして推定する[図12I]。言い方を変えると、声色空間をM次元空間とすると、合成対象の声色は、各時刻tにおいてJ個のM次元ベクトルzj12Jがその空間上に存在し、これらJ個の点Jに囲まれた内側が、合成したい同一の歌声の変形可能な領域となる。ここで声色変化チューブVTとは、図12Iに示すように、同一歌声で声色が異なる同期したJ個の合成された歌声の声色のJ個の位置を、声色空間上において求め、J個の位置を含むような多面体Pポリトープを考え、その多面体Pの時間軌跡を想定したものである。なお図12Iは模擬的に声色変化チューブVT及び多面体Pを示したものであり、これらは実際的には立体的なものである。そして軌跡変位変形部113は、入力歌声の音響信号iのスペクトル包絡から声色変化に寄与する成分以外を部分空間法に基づいた処理により抑制して得た、各時刻における入力歌声の声色の位置をM次元ベクトルで推定し且つM次元ベクトルで推定した声色の位置の時間軌跡を入力歌声の声色軌跡ITとして推定する図12I。さらに軌跡変位変形部113は、入力歌声の声色軌跡ITの全部または大部分が声色変化チューブVT内に存在するように入力歌声の声色軌跡IT及び声色変化チューブVTの少なくとも一方を変位または変形する図12J。このように声色空間をM次元空間とすると、合成対象の声色は、各時刻tにおいてJ個のM次元ベクトルとしてM次元空間上に存在するものと仮定できる。そしてこれらJ個の点に囲まれた内側が、合成したい同一の入力歌声の変形可能な領域となるものと仮定する。つまり、この時々刻々と変化する多面体PM次元のポリトープが声色変化可能な領域である。したがって、同じく声色空間の別の場所に存在する入力歌声の声色軌跡ITを、声色変化チューブVT内になるべく入るようにシフトスケーリングさせる声色軌跡IT及び声色変化チューブVTの少なくとも一方を、時間軸を変えずに拡大または縮小し且つその位置を変位させることで、各時刻における声色空間上の合成目標位置を決定する。そしてこの合成目標位置に基づいて、入力歌声の声色の変化を反映した合成された歌声の変形スペクトル包絡を生成する。図14は、図4のステップST5の詳細を示すもので、軌跡変位変形部113をコンピュータで実現する場合のプログラムのアルゴリズムの一例を示すフローチャートである。このアルゴリズムでは、ステップST51で声色変化チューブVTを構成するJ個の合成された歌声の音響信号についてのT×J個のM次元主成分スコアベクトルに対して、各次元で0~1の範囲の値になるようにシフトスケーリングを行う。そしてステップST52で、入力歌声の声色軌跡ITを構成する入力歌声の音響信号についてのT個のM次元主成分スコアベクトルに対して各次元で0~1の範囲の値になるようにシフトスケーリングを行うことにより、入力歌声の声色軌跡ITの全部または大部分を声色変化チューブVT内に存在させる。このように各次元で0~1の範囲の値になるようにシフトスケーリングを行うことにより、演算によって入力歌声の声色軌跡ITの全部または大部分を声色変化チューブVT内に存在させることが可能になる。なおステップST52をステップST51を実行するよりも前に実行してもよいのは勿論である。図15は、図4のステップST6の詳細を示すもので、図3の第1のスペクトル変形曲線推定部115、第2のスペクトル変形曲線推定部117、スペクトル変形曲面生成部119及び合成音響信号生成部121をコンピュータで実現する場合に用いるプログラムのアルゴリズムのフローチャートを示している。また図16はスペクトル変形曲線を形成する過程を説明するために用いる図である。本実施の形態では、スペクトル包絡をそのまま使うのではなく、第1のスペクトル変形曲線推定部115が、まずJ個の合成用スペクトル変形曲線を推定する。第1のスペクトル変形曲線推定部115は、声色空間上の合成対象となる声色J個のうち標準的な声を1つ定める。具体的には、J個の歌声音源データ中の一つの歌声音源データを基準歌声音源データと定めるステップST61。そして全ての音響信号が共に有声である全てのフレームすなわち前述のS個の音響信号が同時刻で有声となるT個のフレームTは最大で、音響信号の時間長の秒数×サンプリング周期のそれぞれにおいて、ステップST62~ST65を実施する。各フレームそれぞれについて、ステップST62では、声色空間上の合成対象となるJ個の声色の歌声音源データに対応するJ個のM次元ベクトルにそれぞれスペクトル包絡を対応付ける。そして該基準歌声音源データに対応する合成された歌声の音響信号のスペクトル包絡を基準スペクトル包絡RSとしてする。図16においては、クリプトンフューチャーメディア株式会社の応用商品である初音ミクアペンド商標の合成システムにより合成した同一歌唱者の声で、DARKLIGHTSOFTSOLIDSWEETVIVIDの6種類の声色で歌声合成した6種類の歌声音源データと、クリプトンフューチャーメディア株式会社の応用商品である初音ミク商標の合成システムにより合成した初音ミクの歌声音源データとによりJ個の歌声音源データを構成している。そして初音ミクの歌声音源データに対応する音響信号のスペクトル包絡を基準スペクトル包絡RSとしている。図16には、SOFTSWEETVIVIDのスペクトル包絡も図示してある。そして第1のスペクトル変形曲線推定部115は、J個の合成された歌声の音響信号のJ個のスペクトル包絡の基準スペクトル包絡RSに対する変形比率を各時刻で求めて、これら変形比率の変化をJ種類の声色に対応したJ個の合成用スペクトル変形曲線として推定するステップST63。合成用スペクトル変形曲線は、各時刻で求めた変形比率の変化を示す。そのため図16の最も下の領域に示すように、初音ミクの歌声音源データに対応する基準スペクトル包絡RSの合成用スペクトル変形曲線は直線となる。そしてステップST64において、声色空間上の合成対象となる声色J個のM次元ベクトルとそれに対応付けられたそれぞれの合成用スペクトル変形曲線から声色空間上の入力歌声のM次元ベクトルにおけるスペクトル変形曲線を算出する。このステップST64を実現するために、第2のスペクトル変形曲線推定部117が、軌跡変位変形部113で定めた入力歌声の声色軌跡IT中の1点と声色変化チューブVT中のある声色とが、ある時刻で重なったときに、ある時刻における入力歌声の音響信号のスペクトル包絡が、重なった声色の合成された歌声のスペクトル包絡と一致するという制約を満たすように、入力歌声の声色軌跡ITに対応する各時刻のスペクトル変形曲線IS[図17]を推定する。このスペクトル変形曲線ISは、声色空間上での入力歌声の声色を真似るためのものである。この制約に従うと、図16において、声色軌跡IT中の1点[入力歌声★印]と声色変化チューブVT中のある声色[例えばDARK]とが、ある時刻で重なったときに、ある時刻における入力歌声の音響信号のスペクトル包絡が、重なった声色DARKの合成された歌声のスペクトル包絡と一致することとする。すなわちこの制約に従えば、重なった時刻では、入力歌声の音響信号のスペクトル包絡が声色DARKの合成された歌声のスペクトル包絡に一致するものとなるように、各時刻のスペクトル変形曲線IS[図17]を推定する。言い換えると図16に示すように、声色軌跡IT中の1点[入力歌声★印]と声色変化チューブVT中のある声色とが、ある時刻で重なっていないときには、声色軌跡IT中の1点[入力歌声★印]と声色変化チューブVT中のJ種類の声色の位置との関係に基づいて、各時刻のスペクトル変形曲線ISを推定する。次にステップST65において、各時刻の入力歌声のスペクトル変形曲線ISに上限及び下限を定めて閾値処理を行う図17。閾値処理では、上限及び下限を超えるスペクトル変形曲線ISをカットする。上限と下限は、合成対象となるJ個の声色における合成用スペクトル変形曲線の最大値と最小値に基づいて決定する。図17には、スペクトル変形曲線ISを用いて合成音響信号を生成するまでの過程を示してある。スペクトル変形曲面生成部119が、全時刻全フレームのスペクトル変形曲線ISを合わせてスペクトル変形曲面を推定するステップST66。次に合成音響信号生成部121が、スペクトル変形曲面に対して二次元平滑化を行いステップST67、二次元平滑化をしたスペクトル変形曲面を用いて基準とした声色の音響信号のスペクトル包絡図17では初音ミクのスペクトル包絡を変形するステップST68。そして変形したスペクトル包絡と基準とした音響信号の基本周波数F0を用いて歌声合成を行って入力歌声の声色変化を真似た合成歌唱のための合成音響信号を生成するステップST69。合成音響信号は、信号再生部123により再生してもよいし、適宜の記憶媒体に記憶してもよい。上記推定を具体的に演算により実行する場合の例を以下に説明する。本実施の形態では、スペクトル包絡をそのまま使うのではなく、標準的な声例えば初音ミクアペンドでない即ち声色を変えていない初音ミクを基準としてそこからの変形比率を求める。この変形比率をまずフレーム毎に推定する。この比率が、前述のスペクトル変形曲線である。入力歌声が声色空間上で各声色の点と重なりあった場合には、その時刻における入力歌声のスペクトル変形曲線は、重なった声色のスペクトル変形曲線と同じにするという制約を満たすように推定する。そのために、TurkG及びO’BrienJF著のModellingwithimplicitsurfacesthatinterpolateと題する論文[ACMTransactionsonGraphicsVol21No4pp855-873]に記載のRadialBasisFunctionを用いたVariationalInterpolationを応用して適用する。ここで、時刻t、周波数fにおける各声色のスペクトル包絡をZj12J、そのZ1に対するスペクトル変形曲面をZrjとし、声色空間上での入力歌声をu、各声色をzjとすると、次の制約付きの方程式を解くことで、声色空間上での入力歌声の声色を真似るためのスペクトル変形曲線を得る。ここでZriは式のように対数をとり、比率を対数軸上に線形に変換させることと、推定結果が負の値を取ることを許容する。またwkが混合比率であり、Pは式のように、ベクトルxとしてzjもしくはuを変数とするM変数一次多項式係数がpm0Mである。φは、ベクトル間の距離を表す関数であり、本明細書ではφ=||とする。その他、φ=||2logやφ=||3等が使われることがある。式が前述の制約に相当し、声色空間をM=3次元とすると以下の行列で書ける。ここでφjkはφ-zkを表し、やは省略して記述した。このようにして推定されたwkとpmを用いて、式によってスペクトル変形曲面を生成する。続いて、合成の不自然さを減らすために、フレーム毎に上限と下限を定めて、声色変化チューブ外にユーザ歌唱が存在した場合の影響を低減する。また、時間-周波数平面上の平滑化処理により、急峻すぎる変化を低減してスペクトルの連続性を保つ。最後に、基準とした歌声の音声信号のスペクトル包絡をこのスペクトル変形曲面を用いて変形し、それをSTRAIGHTで合成することで入力歌声の声色変化を真似た合成歌唱のための合成音響信号を得る。以上のような処理により、ユーザの入力歌声の声色変化を真似た歌声合成が実現できる。しかし、ユーザ歌唱を真似るだけでは、歌唱によるユーザの表現力の限界を超えることができない。そこで、表現の幅を拡げるため、推定結果に基づいて声色変化を操作できるインタフェースを用意するのが好ましい。そのようなインタフェースでは、以下の三つの機能を持つことが好ましい。1声色変化のスケールを変えて声色変化の度合いを変更する機能スケールを大きくして抑揚ある歌声を合成したり、逆にスケールを小さく声色変化を抑えたりして合成できる。2声色変化をシフトして声色変化の中心を変更する機能声色変化の中心を変えることで、それぞれの声色を中心とした声色変化に変換できる。上記二つの機能を部分的に適用することで、細かな修正を可能とする。上記本発明の実施の形態では、初音ミクと初音ミクアペンドのような、歌唱者が同一の複数音源から声色変化を反映した歌声合成を行った。しかしここで、声色変化チューブを異なる歌唱者で構成することで、声質を動的に変化させて歌声合成できる可能性がある。また、上記実施の形態では、既存歌声合成システムのパラメータ推定を行わなかったが、声色変化チューブを、例えばGENパラメータを変えた複数の声から構成すれば、パラメータ推定に応用できる可能性がある。"