(57)【要約】  音声分離装置は、入力音声信号から声道情報を抽出するＰＡＲＣＯＲ算出部（１０２）と、ＰＡＲＣＯＲ算出部（１０２）が抽出した声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部（１０３）と、フィルタ平滑化部（１０３）にて平滑化された声道情報の逆の周波数振幅応答特性を有するフィルタのフィルタ係数を算出し、算出されたフィルタ係数を有するフィルタを用いて入力音声信号をフィルタリングする逆フィルタ部（１０４）と、逆フィルタ部（１０４）にてフィルタリングされた入力音声信号から第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された波形毎に、当該波形から音源情報を算出する音源モデル化部（１０５）とを備える。
2009022454.tif 000002
【特許請求の範囲】
【請求項１】
入力音声信号を、声道情報と音源情報とに分離する音声分離装置であって、
入力音声信号から声道情報を抽出する声道情報抽出部と、
前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、
前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、
前記逆フィルタ部にてフィルタリングされた前記入力音声信号から、前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化部と
を備えることを特徴とする音声分離装置。
【請求項２】
前記音源モデル化部は、切り出された前記波形毎に、当該波形を周波数領域の表現に変換し、当該周波数領域における振幅スペクトルを関数で近似し、近似された関数の係数を、パラメータ化された音源情報として出力する
ことを特徴とする請求項１に記載の音声分離装置。
【請求項３】
前記音源モデル化部は、切り出された前記波形毎に、当該波形を周波数領域の表現に変換し、前記振幅スペクトルを周波数帯域毎に異なる関数で近似し、近似された関数の係数を、パラメータ化された音源情報として出力する
ことを特徴とする請求項２に記載の音声分離装置。
【請求項４】
前記音源モデル化部は、あらかじめ用意された複数の境界周波数の候補の各々について、前記振幅スペクトルを関数で近似し、当該振幅スペクトルと当該関数との誤差が最も少なくなるときの前記境界周波数の候補を、当該関数の係数とともに出力する
ことを特徴とする請求項２に記載の音声分離装置。
【請求項５】
前記声道情報抽出部は
前記入力音声信号を全極モデルに基づいて分析し、声道を複数のセクションに分割した音響管モデルのパラメータである全極型声道モデルパラメータを求める全極モデル分析部と、
前記全極型声道モデルパラメータを、前記音響管モデルのパラメータである反射係数パラメータまたは当該反射係数パラメータに変換可能なパラメータに変換する反射係数パラメータ算出部と
を有することを特徴とする請求項１に記載の音声分離装置。
【請求項６】
前記全極モデル分析部は、前記入力音声信号を線形予測分析することにより、前記全極型声道モデルパラメータを求める
ことを特徴とする請求項５に記載の音声分離装置。
【請求項７】
前記全極モデル分析部は、前記入力音声信号をAutoregressive Exogenous分析することにより、前記全極型声道モデルパラメータを求める
ことを特徴とする請求項５に記載の音声分離装置。
【請求項８】
前記フィルタ平滑化部は、前記声道情報抽出部により抽出された前記声道情報を、時間軸方向に所定の単位で多項式または回帰直線により近似することにより平滑化を行う
ことを特徴とする請求項１に記載の音声分離装置。
【請求項９】
前記所定の単位は、音素、音節またはモーラである
ことを特徴とする請求項８に記載の音声分離装置。
【請求項１０】
前記音源モデル化部は、前記逆フィルタ部にてフィルタリングされた前記入力音声信号のピッチ周期の略２倍の長さの窓関数を前記ピッチ周期で時間軸方向にずらしながら、前記入力音声信号から波形を切り出し、切り出された波形毎に、当該波形を周波数領域の表現に変換し、全ての周波数成分が有している位相情報を除去した振幅スペクトルを求め、当該振幅スペクトルを関数で近似し、近似に用いた関数の係数を、パラメータ化された音源情報として出力する
ことを特徴とする請求項１に記載の音声分離装置。
【請求項１１】
入力音声信号に含まれる声道情報と音源情報とを用いて音声を合成する音声合成装置であって、
入力音声信号から声道情報を抽出する声道情報抽出部と、
前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、
前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、
前記逆フィルタ部にてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化部と、
前記音源モデル化部より出力される音源情報のパラメータを用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部とを備える
ことを特徴とする音声合成装置。
【請求項１２】
前記音源モデル化部は、前記逆フィルタ部にてフィルタリングされた前記入力音声信号のピッチ周期の略２倍の長さの窓関数を前記ピッチ周期で時間軸方向にずらしながら、前記入力音声信号から波形を切り出し、切り出された波形毎に、当該波形をパラメータ化し、
前記合成部は、前記音源モデル化部より出力されるパラメータを用いて音源波形を生成し、生成された音源波形を時間方向にオーバーラップさせて配置することにより時間的に連続な音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する
ことを特徴とする請求項１１に記載の音声合成装置。
【請求項１３】
前記音源モデル化部は、切り出された波形毎に、当該波形を周波数領域の表現に変換し、全ての周波数成分が有している位相情報を除去した振幅スペクトルを求め、
前記合成部は、前記振幅スペクトルを時間領域の音源波形に変換し、当該音源波形を時間方向にオーバーラップさせて配置することにより時間的に連続な音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する
ことを特徴とする請求項１２に記載の音声合成装置。
【請求項１４】
前記音源モデル化部は、さらに、前記振幅スペクトルを関数で近似し、近似に用いた関数の係数を、パラメータ化された音源情報として出力し、
前記合成部は、前記音源モデル化部より出力される係数で表される関数より振幅スペクトルを復元し、当該振幅スペクトルを時間領域の音源波形に変換し、当該音源波形を時間方向にオーバーラップさせて配置することにより時間的に連続な音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する
ことを特徴とする請求項１３に記載の音声合成装置。
【請求項１５】
入力音声の声質を変換する声質変換装置であって、
入力音声信号から声道情報を抽出する声道情報抽出部と、
前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、
前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、
前記逆フィルタ部にてフィルタリングされた前記入力音声信号から、前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化部と、
目標となる声質の声道情報及びパラメータ化された音源情報を保持している目標音声情報保持部と、
前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力部と、
前記フィルタ平滑化部により平滑化された前記声道情報を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するフィルタ変形部と、
前記音源モデル化部によりパラメータ化された前記音源情報を、前記目標音声情報保持部に保持されている目標となる声質の前記音源情報に、前記変換比率入力部により入力された前記変換比率で変換する音源変形部と、
前記音源変形部にて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形部にて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部とを備える
ことを特徴とする声質変換装置。
【請求項１６】
前記フィルタ平滑化部は、前記声道情報抽出部により抽出された前記声道情報を、時間軸方向に所定の単位で多項式または回帰直線により近似することにより平滑化を行い、
前記フィルタ変形部は、前記フィルタ平滑化部により前記声道情報を前記多項式または前記回帰直線で近似した際の前記多項式または前記回帰直線の係数を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換する
ことを特徴とする請求項１５に記載の声質変換装置。
【請求項１７】
入力音声信号を、声道情報と音源情報とを分離する音声分離方法であって、
入力音声信号から声道情報を抽出する声道情報抽出ステップと、
前記声道情報抽出ステップにて抽出された前記声道情報を、当該第１の時間幅内で平滑化するフィルタ平滑化ステップと、
前記フィルタ平滑化ステップにて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタステップと、
前記逆フィルタステップにてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化ステップと
を含むことを特徴とする音声分離方法。
【請求項１８】
入力音声信号を、声道情報と音源情報とを分離するプログラムであって、
入力音声信号から声道情報を抽出する声道情報抽出ステップと、
前記声道情報抽出ステップにて抽出された前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化ステップと、
前記フィルタ平滑化ステップにて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタステップと、
前記逆フィルタステップにてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された音声信号を、音源情報および声道情報に分離する音声分離装置、音声合成装置および声質変換装置に関する。
【背景技術】
【０００２】
近年、音声合成技術の発達により、非常に高音質な合成音を作成することが可能となってきた。【０００３】
しかしながら、従来の合成音の用途はニュース文をアナウンサー調で読み上げる等の画一的な用途が中心である。【０００４】
一方で、携帯電話のサービスなどでは、着信音の代わりに有名人の音声メッセージを用いるといったサービスが提供されるなど、特徴のある音声（個人再現性の高い合成音や、女子高校生風や関西弁風などの特徴的な韻律・声質をもつ合成音）が一つのコンテンツとして流通しはじめている。このように、個人間のコミュニケーションにおける楽しみを増やすために、特徴的な音声を作って相手に聞かせることに対する要求が高まることが考えられる。【０００５】
ところで、音声を合成する方法としては、大別して次の２つの方法がある。１つ目の方法は、予め用意した音声素片ＤＢ（データベース）から適切な音声素片を選択して接続する波形接続型音声合成方法である。２つ目の方法は、音声を分析し、分析したパラメータを元に音声を合成する分析合成型音声合成方法である。【０００６】
前述した合成音の声質を様々に変化させることを考えると、波形接続型音声合成方法では、音声素片ＤＢを必要な声質の種類だけ用意し、音声素片ＤＢを切り替えて実現する必要がある。したがって、種々の声質の合成音を作成するために、膨大なコストを要する。【０００７】
一方、分析合成型音声合成方法は、分析された音声パラメータを変形させる。このことにより、合成音の声質を変換することが可能である。一般的に、分析には、音源声道モデルと呼ばれるモデルが使用される。しかし、音声情報を音源情報と声道情報とに完全に分離することは難しい。このため、不完全に分離された音源情報（声道情報を含む音源情報）または声道情報（音源情報を含む声道情報）を変形してしまうことにより、音質が劣化するという問題がある。【０００８】
従来の分析合成型音声合成方法は、主に音声の圧縮符号化のために用いられている。このようなアプリケーションでは、上記の分離の悪さはさほど大きな問題ではない。すなわち、パラメータに変形を加えずに音声を再合成すれば元の音声に近いものが得られる。典型的な線形予測符号化（LPC:Linear Prediction Coding）では、音源には、いずれもスペクトルが一様な白色雑音またはインパルス列を仮定している。また、声道には、分子が定数項のみの全極型の伝達関数を仮定している。実際には音源のスペクトルは一様ではない。また、声道の伝達関数は、声道の複雑な凹凸形状及び鼻腔への分岐の影響により全極型にはならない。このため、ＬＰＣ分析合成系には、モデルの不整合による一定の音質劣化がある。典型的には、鼻づまりやブザー音的な合成音声になることが知られている。【０００９】
このようなモデルの不整合を軽減するために、音源と声道に対しそれぞれ以下の対策が取られる。【００１０】
つまり、音源については分析対象の音声波形に対しプリエンファシス処理が行われる。典型的な声帯音源のスペクトルは、−１２ｄＢ／ｏｃｔ．の傾斜を持ち、唇から空間に音声が放射される際に＋６ｄＢ／ｏｃｔ．の傾斜が付加される。このため、プリエンファシス処理後の音声波形を合成することにより、声帯音源のスペクトル傾斜を−６ｄＢ／ｏｃｔ．と捉えることが一般的である。そこで、音声波形を微分することにより声帯音源のスペクトルに＋６ｄＢ／ｏｃｔ．の傾斜を与えれば、音源スペクトル傾斜を補償することができる。【００１１】
また、声道については上述の通り全極モデルに合致しない成分を予測残差として取り出し、取り出した予測残差を音源情報に畳み込む方法、すなわち残差波形を合成用駆動音源に用いる方法が用いられる。これにより合成音の波形は原音と完全に一致する。その残差波形をベクトル量子化してコード番号で伝送する方式がＣＥＬＰ（Code Excited Linear Prediction）である。【００１２】
このようにすれば、例え線形予測モデルの整合性が低いために分析精度が悪く、音源情報と声道情報とを分離できていない場合でも、再合成される音声の音質は満足の行くものとなる。【００１３】
しかし、パラメータを変化させて声質を変換するというアプリケーションでは、音源情報と声道情報をできるだけ正確に分離することが重要である。すなわち、声道に属するパラメータ（例えばフォルマント中心周波数）を変化させたつもりでも、同時に音源の特性をも変化させてしまう。このため、声道と音源を独立に制御することを可能にするためには、両者の情報を正確に分離しておくことが必要である。【００１４】
分析合成型の音声合成方法において、音源情報と声道情報の分離をより正確に行う方法の技術として、例えば、１回のＬＰＣ分析では取得し切れなかった声道情報を、複数のＬＰＣ分析を行うことにより取得し、音源のスペクトル情報を平坦にするという技術がある（例えば、特許文献１参照）。【００１５】
図１は、特許文献１に記載された従来の音声分析装置の構成を示すブロック図である。【００１６】
以下、図１に示した従来の音声分析装置の動作について説明する。入力音声信号１ａは、第１のスペクトル分析手段２ａと逆フィルタ手段４ａに入力される。第１のスペクトル分析手段２ａは、入力音声信号１ａを分析して第１のスペクトル包絡パラメータを抽出し、これを第１の量子化手段３ａへ出力する。第１の量子化手段３ａは、前記第１のスペクトル包絡パラメータを量子化することにより第１の量子化スペクトル包絡パラメータを求め、これを逆フィルタ手段４ａと外部とに出力する。逆フィルタ手段４ａは、第１の量子化スペクトル包絡パラメータを用いて入力音声信号１ａを逆フィルタリングすることにより、予測残差信号を求め、これを第２のスペクトル分析手段５ａと音源符号化手段７ａとへ出力する。第２のスペクトル分析手段５ａは、前記予測残差信号を分析することにより、第２のスペクトル包絡パラメータを抽出し、これを第２の量子化手段６ａへ出力する。第２の量子化手段６ａは、前記第２のスペクトル包絡パラメータを量子化することにより、第２の量子化スペクトル包絡パラメータを求め、これを音源符号化手段７ａと外部とに出力する。音源符号化手段７ａは、前記予測残差信号と第２の量子化スペクトル包絡パラメータとを用いて音源信号を抽出し、これを符号化し、符号化された音源信号である符号化音源を出力する。この符号化音源、前記第１の量子化スペクトル包絡パラメータ及び第２の量子化スペクトル包絡パラメータが符号化結果となる。【００１７】
以上のように音声分析装置を構成することにより、従来、第１のスペクトル分析手段２ａだけでは除去できなかったスペクトル包絡特徴を、第２のスペクトル分析手段５ａにより抽出している。このことにより音源符号化手段７ａより出力される音源情報の周波数特性をフラットにすることを可能としている。【００１８】
また、他の関連技術として、入力音声を音源情報と声道情報とに分離し、分離した音源情報と声道情報とを個別に強調し、強調された音源情報と声道情報とを用いて、音声を合成する音声強調装置がある（例えば、特許文献２参照）。【００１９】
音声強調装置は、入力音声の分離時には、現フレームの入力音声の自己相関関数の値を算出する。また、音声強調装置は、現フレームの入力音声の自己相関関数の値と過去のフレームの入力音声の自己相関関数の値との加重平均により平均自己相関関数の値を算出する。これにより、フレーム間での急激な声道形状の変化をなくすことができる。このため、強調する際の急激なゲインの変化を防止することができる。よって、異音が発生しにくくなる。
【特許文献１】特開平５−２５７４９８号公報（第３−４頁、図１）
【特許文献２】国際公開第２００４／０４０５５５号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、従来のＬＰＣ分析においては音声のピッチ周期に影響を受け、分析結果であるＬＰＣ係数（線形予測係数）が時間的に変動する現象が見られる。この現象は、後述する図５Ａ〜図５Ｄに示すＬＰＣ係数と数学的に等価であるＰＡＲＣＯＲ係数においても見られる。このような微細変動が生じる原因として次の要因がある。すなわち、通常の分析区間長はピッチ周期を２つほど含むように設定される。また、分析時にハニング（Hanning）窓やハミング（Hamming）窓という窓関数を用いて区間切り出しを行なう際に、区間切り出しによる区間の両端の影響を除去することが一般的である。しかし、これらの窓関数と音声波形との位置関係により、分析区間に含まれる波形のエネルギがピッチ周期に連動して変動する。【００２１】
従来のＬＰＣ分析では音声が持つ揺らぎや分析窓の位置による時間変化を声道情報として抽出してしまう。この結果、本来、声道が持っていないような速い動きを声道情報とし、本来、音源に存在する速い動きを音源情報から取り除いてしまうという問題がある。その結果、声道パラメータに変形を加えることによって声質変換を行う場合に、微細変動を持ったまま声道パラメータに変形を加えてしまう。このため、滑らかな音声が得られなくなるという課題を有している。このことは言い換えれば、音源と声道の分離が正しく行うことができないという問題である。【００２２】
したがって、声道情報または音源情報を変形した場合には、それぞれの本来の情報以外の情報を含んでいる。このため、その影響を受けて歪んだ声道情報または音源情報の変形を行なうことになってしまう。結局、声質を変形した合成音の音質が劣化するという課題を有している。【００２３】
例えば、ピッチを変更した場合においても、声道情報に含まれる元のピッチ由来の変動成分が残存している。このため、音質が劣化する。【００２４】
さらに、特許文献２に記載の音声強調装置では、得られる音源情報は波形情報である。任意の声質への変換を行うためには、変換元音声の声道及び音源の情報を保持しながら変形可能なパラメータ表現が必要となるが、特許文献２のような波形情報では、そのような自由度の高い変換を行うことができないという課題を有する。【００２５】
また、特許文献１では、音源の周波数特性をフラットにすることにより、音源をＬＰＣの仮定であるインパルス音源に近づけている。しかし、実際の音源情報は、インパルスとは一致しない。したがって、声道情報及び音源情報を変形せずに、単に分析及び合成する場合においては、従来技術でも高音質な合成音を得ることは可能である。しかし、声道情報のみ、または音源情報のみのように、声道情報及び音源情報をそれぞれ独立に制御して声質を変換することができないという課題を有する。【００２６】
さらに、特許文献２に記載の音声強調装置では、得られる音源情報は、波形情報である。このため、そのままでは任意に声質を変換することができないという課題を有する。【００２７】
本発明は、上述の課題を解決するもので、より声質変換に適した形で音源情報と声道情報とを分離することにより、それぞれの情報を変形した場合の音質劣化を防止することが可能な音声分離装置、音声合成装置および声質変換装置を提供することを目的とする。【００２８】
また、音源情報を効率的に変換することができる音声分離装置、音声合成装置および声質変換装置を提供することも目的とする。
【課題を解決するための手段】
【００２９】
上記目的を達成するために、本発明に係る音声分離装置は、入力音声信号を分析し、声道情報と音源情報とを抽出する音声分析装置であって、入力音声信号から声道情報を抽出する声道情報抽出部と、前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、前記逆フィルタ部にてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化部とを備えることを特徴とする。【００３０】
この構成によると、音源情報を含む声道情報を時間軸方向に平滑化する。このため、音源のピッチ周期由来の変動を含まない声道情報を抽出することができる。【００３１】
また、平滑化された声道情報の逆の周波数振幅応答特性を有するフィルタのフィルタ係数を算出し、当該フィルタで入力音声信号をフィルタリングしている。さらに、フィルタリングされた入力音声から音源情報を求めている。このため、従来、声道情報に混入していた情報を含む音源情報を取得することができる。【００３２】
さらに、音源モデル化部では、フィルタ平滑化部が平滑化に用いる時定数よりも短い時定数で入力音声信号をパラメータ化する。これにより、フィルタ平滑化部による平滑化処理で失われた揺らぎ情報を含めて音源情報をモデル化することができる。【００３３】
したがって、従来よりも安定した声道情報と、従来除去されていた時間変動を含む音源情報をモデル化することが可能となる。【００３４】
また、音源情報はパラメータ化されている。このため、音源情報を効率的に変換することができる。【００３５】
好ましくは、上述の音声分離装置は、さらに、前記音源モデル化部より出力される音源情報のパラメータを用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部を備えることを特徴とする。【００３６】
上述の音源情報と声道情報とを用いて音声を合成することができる。このため、揺らぎを持った音声を合成することができる。これにより、自然性の高い音声の合成が可能となる。【００３７】
さらに好ましくは、上述の音声分離装置は、さらに、目標となる声質の声道情報及びパラメータ化された音源情報を保持している目標音声情報保持部と、前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力部と、前記フィルタ平滑化部により平滑化された前記声道情報を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するフィルタ変形部と、前記音源モデル化部によりパラメータ化された前記音源情報を、前記目標音声情報保持部に保持されている目標となる声質の前記音源情報に、前記変換比率入力部により入力された前記変換比率で変換する音源変形部とを備え、前記合成部は、前記音源変形部にて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形部にて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成することを特徴とする。【００３８】
揺らぎ情報を保持したまま声道情報を変形することができる。これにより、音質劣化を防止することができる。【００３９】
音源情報と声道情報のそれぞれに対して、独立に声質変換処理を行なった場合でも、本来変換すべき情報だけを変換することができる。このため、声質変換による音質劣化を防止することができる。【００４０】
なお、本発明は、このような特徴的な手段を備える音声分離装置として実現することができるだけでなく、音声分離装置に含まれる特徴的な手段をステップとする音声分離方法として実現したり、音声分離方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００４１】
音源情報を含む声道情報を時間軸方向に平滑化する。このため、音源のピッチ周期由来の変動を含まない声道情報を抽出することができる。【００４２】
また、平滑化された声道情報の逆の周波数振幅応答特性を有するフィルタのフィルタ係数を算出し、当該フィルタで入力音声信号をフィルタリングしている。さらに、フィルタリングされた入力音声からパラメータ化された音源情報を求めている。このため、従来、声道情報に混入していた情報を含む音源情報を取得することができる。【００４３】
さらに、平滑化に用いる時定数よりも短い時定数で入力音声信号がパラメータ化される。これにより、平滑化処理で失われた揺らぎ情報を含めて音源情報をモデル化することができる。【００４４】
したがって、従来よりも安定した声道情報と、従来除去されていた時間変動を含む音源情報をモデル化することが可能となる。【００４５】
また、揺らぎを持った音声を合成することができる。これにより、自然性の高い音声の合成が可能となる。【００４６】
声道情報の変形時においても、揺らぎ情報を保持したまま変形することができる。これにより、音質劣化を防止することができる。【００４７】
音源情報と声道情報のそれぞれに対して、独立に声質変換処理を行なった場合でも、本来変換すべき情報だけを変換することができる。このため、声質変換による音質劣化を防止することができる。【００４８】
また、音源情報はパラメータ化されている。このため、音源情報を効率的に変換することができる。
【図面の簡単な説明】
【００４９】
【図１】図１は、従来の音声分析装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における声質変換装置の外観図である。
【図３】図３は、本発明の実施の形態１における声質変換装置の構成を示すブロック図である。
【図４】図４は、従来の声質変換におけるスペクトル包絡の対応付けを示す図である。
【図５Ａ】図５Ａは、ＬＰＣ分析に基づく１次のＰＡＲＣＯＲ係数の例を示す図である。
【図５Ｂ】図５Ｂは、ＬＰＣ分析に基づく２次のＰＡＲＣＯＲ係数の例を示す図である。
【図５Ｃ】図５Ｃは、ＬＰＣ分析に基づく３次のＰＡＲＣＯＲ係数の例を示す図である。
【図５Ｄ】図５Ｄは、ＬＰＣ分析に基づく４次のＰＡＲＣＯＲ係数の例を示す図である。
【図６Ａ】図６Ａは、ＬＰＣ分析に基づく１次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図６Ｂ】図６Ｂは、ＬＰＣ分析に基づく２次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図６Ｃ】図６Ｃは、ＬＰＣ分析に基づく３次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図６Ｄ】図６Ｄは、ＬＰＣ分析に基づく４次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図７】図７は、音素境界の過渡区間におけるＰＡＲＣＯＲ係数の補間の方法を示す図である。
【図８Ａ】図８Ａは、フィルタ平滑化部による平滑化をしない場合の合成音のスペクトルを示す図である。
【図８Ｂ】図８Ｂは、フィルタ平滑化部による平滑化した場合の合成音のスペクトルを示す図である。
【図９Ａ】図９Ａは、逆フィルタ部に入力される音声の波形の一例を示す図である。
【図９Ｂ】図９Ｂは、逆フィルタ部から出力される波形の一例を示す図である。
【図９Ｃ】図９Ｃは、音声スペクトルの一例を示す図である。
【図９Ｄ】図９Ｄは、音源スペクトルの一例を示す図である。
【図１０】図１０は、連続音源波形のスペクトルと孤立音源波形のスペクトルの比較を示す図である。
【図１１】図１１は、音源スペクトルの高域の近似方法の概念図である。
【図１２】図１２は、境界周波数とＤＭＯＳ値の関係を示す図である。
【図１３】図１３は、音源スペクトルの低域の近似方法の概念図である。
【図１４】図１４は、音源スペクトルの低域の近似方法の概念図である。
【図１５Ａ】図１５Ａは、ピークが１つの低域（８００Ｈｚ以下）の音源スペクトルを示す図である。
【図１５Ｂ】図１５Ｂは、図１５Ａに示した音源スペクトルを２分割した左側のスペクトルと、その２次関数による近似曲線とを示す図である。
【図１５Ｃ】図１５Ｃは、図１５Ａに示した音源スペクトルを２分割した右側のスペクトルと、その２次関数による近似曲線とを示す図である。
【図１６Ａ】図１６Ａは、ピークが２つの低域（８００Ｈｚ以下）の音源スペクトルを示す図である。
【図１６Ｂ】図１６Ｂは、図１６Ａに示した音源スペクトルを２分割した左側のスペクトルと、その２次関数による近似曲線とを示す図である。
【図１６Ｃ】図１６Ｃは、図１６Ａに示した音源スペクトルを２分割した右側のスペクトルと、その２次関数による近似曲線とを示す図である。
【図１７】図１７は、境界周波数の分布を示す図である。
【図１８】図１８は、多項式関数により近似されたＰＡＲＣＯＲ係数を補間した結果を示す図である。
【図１９Ａ】図１９Ａは、変換元となる男性話者の音声／ａ／の中心時刻での声道断面積の一例を示す図である。
【図１９Ｂ】図１９Ｂは、変換比率０．５で変換元のＰＡＲＣＯＲ係数を変換した後のＰＡＲＣＯＲ係数に対応する、音声の中心時刻での声道断面積の一例を示す図である。
【図１９Ｃ】図１９Ｃは、目標となる女性話者の音声／ａ／の中心時刻での声道断面積の一例を示す図である。
【図２０】図２０は、音源波形生成の概略を説明する図である。
【図２１】図２１は、音源スペクトルに付加される位相特性の例を示す図である。
【図２２】図２２は、本発明の実施の形態１の声質変換装置の動作の流れを示すフローチャートである。
【図２３】図２３は、本発明の実施の形態１に係る音声合成装置の構成を示すブロック図である。
【図２４】図２４は、本発明の実施の形態２における声質変換装置の構成を示すブロック図である。
【図２５Ａ】図２５Ａは、ＡＲＸ分析に基づく１次のＰＡＲＣＯＲ係数の例を示す図である。
【図２５Ｂ】図２５Ｂは、ＡＲＸ分析に基づく２次のＰＡＲＣＯＲ係数の例を示す図である。
【図２５Ｃ】図２５Ｃは、ＡＲＸ分析に基づく３次のＰＡＲＣＯＲ係数の例を示す図である。
【図２５Ｄ】図２５Ｄは、ＡＲＸ分析に基づく４次のＰＡＲＣＯＲ係数の例を示す図である。
【図２６Ａ】図２６Ａは、ＡＲＸ分析に基づく１次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図２６Ｂ】図２６Ｂは、ＡＲＸ分析に基づく２次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図２６Ｃ】図２６Ｃは、ＡＲＸ分析に基づく３次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図２６Ｄ】図２６Ｄは、ＡＲＸ分析に基づく４次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図２７】図２７は、本発明の実施の形態２に係る音声合成装置の構成を示すブロック図である。
【符号の説明】
【００５０】
１０１  ＬＰＣ分析部
１０２  ＰＡＲＣＯＲ算出部
１０３  フィルタ平滑化部
１０４  逆フィルタ部
１０５  音源モデル化部
１０６  フィルタ変形部
１０７  目標音声情報保持部
１０８  音源変形部
１０９  合成部
１１０  変換比率入力部
２０１  ＡＲＸ分析部
【発明を実施するための最良の形態】
【００５１】
以下本発明の実施の形態について、図面を参照しながら説明する。【００５２】
（実施の形態１）
図２は、本発明の実施の形態１における音声分離装置の外観図である。音声分離装置は、コンピュータにより構成される。【００５３】
図３は、本発明の実施の形態１における声質変換装置の構成を示すブロック図である。【００５４】
声質変換装置は、入力された音声の声質を目標とする声質に変換した合成音を生成し、合成音を出力する装置であり、音声分離装置１１１と、フィルタ変形部１０６と、目標音声情報保持部１０７と、音源変形部１０８と、合成部１０９と、変換比率入力部１１０とを含む。【００５５】
音声分離装置１１１は、入力音声から音源情報と声道情報とを分離する装置であり、ＬＰＣ（Linear Predictive Coding）分析部１０１と、ＰＡＲＣＯＲ（Partial Auto Correlation）算出部１０２と、フィルタ平滑化部１０３と、逆フィルタ部１０４と、音源モデル化部１０５とを含む。【００５６】
ＬＰＣ分析部１０１は入力された音声を線形予測分析（Linear Prediction Coding analysis）することにより声道情報を抽出する処理部である。【００５７】
ＰＡＲＣＯＲ算出部１０２は、ＬＰＣ分析部１０１により分析された線形予測係数を基にＰＡＲＣＯＲ係数を算出する処理部である。ＬＰＣ係数とＰＡＲＣＯＲ係数は数学的に等価であり、ＰＡＲＣＯＲ係数も声道情報を表すものである。【００５８】
フィルタ平滑化部１０３は、ＰＡＲＣＯＲ算出部１０２により算出されたＰＡＲＣＯＲ係数を次元ごとに時間方向に平滑化する処理部である。【００５９】
逆フィルタ部１０４は、フィルタ平滑化部１０３により平滑化されたＰＡＲＣＯＲ係数から、逆の周波数振幅応答特性を有するフィルタの係数を算出し、算出した逆フィルタを用いて音声を逆フィルタリングすることにより、音源情報を算出する処理部である。【００６０】
音源モデル化部１０５は、逆フィルタ部１０４により算出された音源情報をモデル化する処理部である。【００６１】
フィルタ変形部１０６は、フィルタ平滑化部１０３により平滑化されたＰＡＲＣＯＲ係数を、後述の目標音声情報保持部１０７に保持されているターゲットのフィルタ情報、および変換比率入力部１１０により入力される変換比率に基づいて変形することにより、声道情報の変換を行う処理部である。【００６２】
目標音声情報保持部１０７は、ターゲットとなる声質のフィルタ情報を保持している記憶装置であり、例えば、ハードディスクなどにより構成される。【００６３】
音源変形部１０８は、音源モデル化部１０５によりモデルパラメータ化された音源情報を、目標音声情報保持部１０７に保持された音源情報と変換比率入力部１１０により入力される変換比率とに基づいて変形することにより、音源情報の変換を行う処理部である。【００６４】
合成部１０９は、フィルタ変形部１０６により変換された声道情報と、音源変形部１０８により変換された音源情報とを用いて音声を合成する処理部である。【００６５】
変換比率入力部１１０は、入力音声を目標音声情報保持部１０７に保持された目標音声情報にどれだけ近づけるかの比率を入力する処理部である。【００６６】
以上の構成要素により声質変換装置を構成している。声質変換装置の各処理部は、当該処理部を実現するためのプログラムを図２に示したコンピュータのプロセッサ上で実行することにより実現される。また、各種データは、コンピュータのメモリに記憶され、プロセッサで実行される処理に利用される。【００６７】
次に、各構成要素の詳細な動作について説明する。【００６８】
＜ＬＰＣ分析部１０１＞
ＬＰＣ分析部１０１は、入力された音声に対して線形予測分析を行う。線形予測分析は、音声波形のある標本値ｙnを、それよりも時間的に前のｐ個の標本値（ｙn-1，ｙn-2，ｙn-3，…，ｙn-p）から予測するものであり、式１のように表せる。【００６９】
【数１】
2009022454.tif 000003
【００７０】
ｐ個の標本値に対する係数αi（ｉ＝１〜ｐ）は、相関法や共分散法などを用いることにより算出できる。算出した係数αiを用いると入力された音声信号Ｓ（ｚ）は式２により表すことができる。【００７１】
【数２】
2009022454.tif 000004
【００７２】
ここで、Ｕ（ｚ）は、入力音声Ｓ（ｚ）を１／Ａ（ｚ）で逆フィルタリングした信号を表す。【００７３】
＜ＰＡＲＣＯＲ算出部１０２＞
一般にＬＰＣ分析などに基づき算出された声道情報を変形するためには、スペクトル包絡の特徴点（例えばフォルマント）の対応付けを抽出し、対応付けされた特徴点間の声道情報を補間することにより声道情報の変形を行うことがなされる。【００７４】
図４は、２つの音声の特徴点の対応付けの例を示したものである。同図において、音声Ｘのスペクトル特徴点として、ｘ１，ｘ２，ｘ３の３点が抽出され、音声Ｙのスペクトル特徴点として、ｙ１，ｙ２，ｙ３，ｙ４の４点が抽出されている。【００７５】
しかしながら、ＬＰＣ分析などによりスペクトル包絡を取得した場合、スペクトルの特徴点は必ずしもフォルマントには対応せず、比較的弱いピーク値も特徴点（ｙ２）として採用される場合がある。以降、このような特徴点を擬似フォルマントと呼ぶことにする。【００７６】
対応付けを行う際に、フォルマントと擬似フォルマントとを誤って対応付けてしまう場合がある。同図の例では、本来はｘ１−ｙ１，ｘ２−ｙ３，ｘ３−ｙ４（図中実線で表示）の対応付けがあるべきところを、ｘ１−ｙ１，ｘ２−ｙ２，ｘ３−ｙ３（図中破線で表示）という誤った対応付けになる。【００７７】
結局、誤って対応付けされた特徴点間の声道情報の補間を行ったときに、本来対応しないｘ３−ｙ３を対応付けたために、声道情報として不適切な値を算出してしまうことになる。【００７８】
ＰＡＲＣＯＲ算出部１０２は、ＬＰＣ分析部１０１により分析された線形予測係数αiを用いて、ＰＡＲＣＯＲ係数（偏自己相関係数）ｋiを算出する。算出方法は、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎ−Ｉｔａｋｕｒａアルゴリズムを用いることにより算出することが可能である。なお、ＰＡＲＣＯＲ係数は、次の特徴を保有する。【００７９】
（１）低次の係数ほどその変動によるスペクトルへの影響が大きく、高次になるにつれて変動の影響が小さくなる。
（２）高次の係数の変動の影響は平坦に全域にわたる。【００８０】
ＰＡＲＣＯＲ係数にはこのような特徴があるため、擬似フォルマント（スペクトル包絡の弱いピーク値）として現れていた情報は、ＰＡＲＣＯＲ係数上では高次のパラメータとして表現される。したがって、ＰＡＲＣＯＲ係数上の同一次元での補間は、スペクトル上での特徴点と非常に近い対応付けを行うことが可能となる。このことはフィルタ平滑化部１０３の説明で実例を示す。【００８１】
＜フィルタ平滑化部１０３＞
図５Ａ〜図５Ｄに、男性話者が／ａｅｉｏｕ／と連続発声した音声を、上述のＰＡＲＣＯＲ係数（反射係数）で表現した際の１次から４次のＰＡＲＣＯＲ係数をそれぞれ示す。各グラフにおいて横軸は分析フレーム番号を示し、縦軸はＰＡＲＣＯＲ係数を示す。なお分析周期は５ｍｓｅｃである。【００８２】
図５Ａ〜図５Ｄに示したＰＡＲＣＯＲ係数は、本来、声道の形状を表わす声道断面積関数と等価なパラメータである。よって、声道の運動の動きと同程度の速さの変動であるべきである。つまり、声帯の振動に伴う音源情報は、音声の基本周波数（数十Ｈｚから数百Ｈｚ）に近い時間間隔で変動することが可能である。一方、声帯から口唇までの声道の形状を示す声道情報は、声帯の振動よりも遅い時間間隔で変化すると考えられる。例えば、音声の話速（会話調の場合、モーラ／秒で示される話速）に近い時間間隔で変化する。しかし、図５Ａ〜図５Ｄでは、各次元のパラメータの時間変動は、本来の声道の運動の動きに比べ速いものとなっていることがわかる。つまり、ＬＰＣ分析により分析された声道情報は、本来の声道の動きよりも早い動き情報を持っていることが表れている。この情報は、音源情報の時間的な揺らぎであると解釈することができる。このように、声道情報と音源情報との分離が不十分な場合、声質変換を行う場合には、それぞれを独立に変形することができないという問題がある。つまり、声道情報を変形しているつもりでも、音源情報も含めて変換してしまうことになり、音韻性が崩れるなどの悪影響を及ぼす。【００８３】
フィルタ平滑化部１０３は、ＰＡＲＣＯＲ算出部１０２により算出されたＰＡＲＣＯＲ係数の各次元に対して時間方向での平滑化を行う。【００８４】
平滑化の方法は特に限定するものではない。例えば、次元ごとに式３に示すような多項式によるＰＡＲＣＯＲ係数の近似を行うことにより、ＰＡＲＣＯＲ係数の平滑化を行うことができる。【００８５】
【数３】
2009022454.tif 000005
ここで、【００８６】
【数４】
2009022454.tif 000006
は多項式により近似されたＰＡＲＣＯＲ係数を示し、ａiは多項式の係数を示し、ｘは時刻を示す。【００８７】
このとき多項式による近似を適用する時間幅（第１の時間幅に対応）としては、例えば、一つの音素区間を近似の単位とすることができる。また、音素区間ではなく、音素中心から次音素中心までを時間幅とするようにしても良い。なお、以下では、音素区間を平滑化の単位として説明を行う。【００８８】
図６Ａ〜図６Ｄに、ＰＡＲＣＯＲ係数を５次の多項式近似を用いて音素単位で時間方向に平滑化した際の１次から４次のＰＡＲＣＯＲ係数をそれぞれ示す。グラフの縦軸と横軸は、図５Ａ〜図５Ｄと同じである。【００８９】
本実施の形態では、多項式の次数として５次を例に説明しているが、多項式の次数は５次でなくとも良い。なお、多項式による近似以外にも音素単位時間ごとの回帰直線によりＰＡＲＣＯＲ係数を近似するようにしても良い。【００９０】
同図において、音素ごとにＰＡＲＣＯＲ係数は平滑化され滑らかになっていることがわかる。【００９１】
なお、平滑化の方法はこれに限られるものではなく、移動平均による平滑化などを行うようにしても良い。【００９２】
音素境界では、ＰＡＲＣＯＲ係数に不連続が見られるが、適当な過渡区間を設けてＰＡＲＣＯＲ係数を補間することにより不連続を防止することが可能である。補間の方法は特に限定するものではないが、例えば線形に補間するようにしても良い。【００９３】
図７に、過渡区間を設けてＰＡＲＣＯＲ係数の値を補間する例を示す。同図には、母音／ａ／と母音／ｅ／との接続境界の反射係数が示されている。同図では、境界時刻（ｔ）において、反射係数が不連続になっている。そこで境界時刻から適当な渡り時間（Δｔ）を設け、ｔ−Δｔとｔ＋Δｔとの間の反射係数を線形に補間し、補間後の反射係数５１を求める。これらの処理により音素境界における反射係数の不連続を防止している。渡り時間としては、例えば２０ｍｓｅｃ程度とすればよい。あるいは、渡り時間を前後の母音継続時間長に応じて変更するようにしても良い。例えば、母音区間が短い場合には、渡り区間も短くする。逆に母音区間が長ければ渡り区間も長くするようにすれば良い。【００９４】
図８Ａおよび図８Ｂに、／ａ／と発声された音声を分析し、音源をインパルス音源として音声を合成した際の合成音のスペクトログラム（横軸は時間、縦軸は周波数）を示す。図８Ａは、声道情報の平滑化を行わずに、インパルス音源を用いて音声を合成した場合の合成音のスペクトルの様子を示し、図８Ｂは、上述の平滑化に従って声道情報の平滑化を行い、インパルス音源を用いて音声を合成した場合の合成音のスペクトルの様子を示す。【００９５】
図８Ａにおいて、符号ａ６で示した部分には縦縞が現れている。これは、ＰＡＲＣＯＲ係数の速い変動によって生じたものである。一方、平滑化を行った場合の同じ箇所ｂ６では、縦縞がほぼなくなっていることわかる。このように、フィルタパラメータを平滑化することにより、声道が本来持っていない情報を除去できることが分かる。【００９６】
＜逆フィルタ部１０４＞
逆フィルタ部１０４は、フィルタ平滑化部１０３により平滑化されたＰＡＲＣＯＲ係数を用いて、その周波数応答の逆特性を持つフィルタを形成する。逆フィルタ部１０４は、形成されたフィルタを用いて、入力音声をフィルタリングすることにより、入力音声の音源波形を出力する。【００９７】
＜音源モデル化部１０５＞
図９Ａは、逆フィルタ部１０４に入力される音声の波形の一例を示す図である。図９Ｂは、逆フィルタ部１０４から出力される波形の一例を示す図である。逆フィルタとは、音声から声道（vocal tract）の伝達特性（transfer characteristics）を除去することによって、声帯音源の情報を推定するものである。ここでは、Ｒｏｓｅｎｂｅｒｇ−Ｋｌａｔｔモデルなどで仮定される微分声門体積流波形（differentiated glottal volume velocity waveform）に類似した時間波形が得られている。図９Ｂに示す波形は、Ｒｏｓｅｎｂｅｒｇ−Ｋｌａｔｔモデルの波形よりも微細な構造を有している。これは、Ｒｏｓｅｎｂｅｒｇ−Ｋｌａｔｔモデルが単純な関数を用いたモデルであり、個々の声帯波形が持つ時間的な変動や、それ以外の複雑な振動を表現することができないためである。【００９８】
本発明ではこのようにして推定された声帯音源波形（以下、「音源波形」という。）を次のような方法でモデル化する。
（１）音源波形の声門閉鎖時刻を１ピッチ周期毎に推定する。この推定方法には特許文献：特許第３５７６８００号公報に開示されている方法などがある。
（２）声門閉鎖時刻を中心に、音源波形のピッチ周期ごとに切り出しを行う。切り出しにはピッチ周期の２倍程度の長さのハニング窓関数を用いる。
（３）切り出された波形を周波数領域（Frequency Domain）の表現に変換する。変換の方法は特に限定されるものではない。例えば、離散フーリエ変換（Discrete Fourier Transform：以下ＤＦＴ）や離散コサイン変換（Discrete Cosine Transform）を用いて周波数領域の表現に変換する。
（４）ＤＦＴの各周波数成分から位相成分を除去することにより、振幅スペクトル情報を作る。位相成分を除去するには、複素数で表された周波数成分を、次の式４によって絶対値に置き換える。【００９９】
【数５】
2009022454.tif 000007
【０１００】
ここで、ｚは絶対値、ｘは周波数成分の実数部、ｙは周波数成分の虚数部を表す。
（５）振幅スペクトル情報を一つまたは複数の関数で近似する。音源情報として上記近似関数のパラメータ（係数）が抽出される。【０１０１】
このような方法で１ピッチ周期分の時間幅（第２の時間幅に対応）で音源情報を抽出し、モデル化を行う。音源波形には時間方向に多数のピッチ周期が連続して存在する。このため、その全てのピッチ周期に対してこのようなモデル化を行う。ピッチ周期単位でモデル化を行うため、音源情報は声道情報よりも遥かに短い時定数で分析されることとなる。【０１０２】
次に音源の振幅スペクトル情報を関数で近似する方法の詳細について説明する。【０１０３】
＜音源の振幅スペクトル情報を関数で近似する方法＞
逆フィルタ部１０４の出力波形（図９Ｂ）を、ピッチ周期毎にモデル化する方法の詳細について説明する。この出力波形は、音声から声道の伝達特性を除去することによって推定された微分声門体積流波形である。このため、フォルマントが除去された比較的単純な振幅スペクトル包絡（amplitude spectral envelope）を有している。そこで、発明者らは振幅スペクトル包絡を低次数の関数で近似することによって、音源の情報を効率良く表現することができると考えた。【０１０４】
以降の説明では、逆フィルタ部１０４の出力波形を音源（voicing source）と呼び、振幅スペクトル（amplitude spectra）を単にスペクトル（spectra）と呼ぶことにする。【０１０５】
図９Ｃおよび図９Ｄは、それぞれ音声と音源のスペクトルの一例を示す図である。図９Ｃに示す音声のスペクトルには、フォルマントによって数個のピークが存在する。しかし、図９Ｄに示す音源のスペクトルでは、そのようなピークが除去されており、低域（low frequency area）から高域（high frequency area）にかけて大きさが減少していく形状をしている。したがって、右下がりの直線によって比較的良好に音源のスペクトルを近似することができると考えられる。ただし、低域は直線からは外れる傾向があり、この例では１７０Ｈｚ付近にピークが存在する。これは音源そのものが持つピークであり、音源由来のフォルマントという意味でグロッタルフォルマント（glottal formant）と呼ばれることがある。【０１０６】
図９Ｂに示される出力波形は、複数のピッチ周期を含む連続波形（Continuous Waveform）である。このため、図９Ｄに示す音源スペクトルは高調波を示すギザギザした形をしている。これに対し、ハニング窓関数（Hanning Window Function）等を用いてピッチ周期の２倍程度の長さで波形を切り出した場合、高調波の影響はなくなる。このため、音源スペクトルは滑らかな形状となる。図１０は、連続的な音源波形のスペクトルと、ハニング窓関数を用いて音源波形を切り出した孤立波形（Isolated Waveform）のスペクトルとを示したものである。同図において破線で示すように、ハニング窓関数で切り出された音源波形のスペクトルは極めて単純な形状になる。【０１０７】
本実施の形態では、音源波形のモデル化を、ピッチ周期の２倍の長さのハニング窓関数で切り出した音源波形（以下、「音源ピッチ波形」と言う）の一つ一つに対して行うこととする。【０１０８】
発明者らは聴覚の特性を考慮し、高域になるほど周波数分解能が低くなり、大きさの誤差も聞こえ（perception）に影響しなくなる傾向に注目し、図１１に示すように所定の境界周波数（boundary frequency）より上の領域のスペクトルを直線で近似することを考えた。そして、その境界周波数を徐々に下げていくことによって音質が劣化する度合いを主観評価によって測定した。主観評価実験として、サンプリング周波数１１．０２５ｋＨｚの女性の１発話の音声を分析及び合成したものを境界周波数によって５種類用意した。その上で、５種類の音声と原音声との比較によるＤＭＯＳ（Degradation Mean Opinion Score：劣化平均オピニオン評点）試験を被験者１９人に対して行った（非特許文献：「Method for subjective determination of transmission quality」,ITU-T,Recommendation,P.800,1996）。【０１０９】
ＤＭＯＳ試験での５段階の評点と評定語を表１に示す。【０１１０】
【表１】
2009022454.tif 000008
【０１１１】
図１２に実験結果を示す。この実験に用いた音声では８００Ｈｚ近辺まで境界周波数を下げてもほとんど音質の劣化は見られず（劣化がわずかに気になるレベル）、５００Ｈｚ付近から急速に音質が劣化する（劣化が気になるレベル）ことが明らかになった。発明者らはこの劣化が前述のグロッタルフォルマントによるピークが直線近似に影響を与えたために発生したと考えている。この時の境界周波数を下限境界周波数（lower limit of boundary frequency）と呼ぶことにする。【０１１２】
さらに、発明者らは、図１３に示すように、上記の境界周波数（８００Ｈｚ）以上の領域のスペクトルを直線近似し、境界周波数（８００Ｈｚ）以下の領域のスペクトルを別の関数で近似することを試みた。この領域にはグロッタルフォルマントによるピークが存在する。したがって、直線での近似は無理であり、２次以上の関数を用いる必要がある。予備実験において２次関数による近似では低域のエネルギが低下する現象が認められた。これは基本周波数成分（fundamental frequency component）の大きさが再現しきれず、減衰してしまったためと考えられる。そこで、近似関数の次数を増やす実験を行い、概ね４次関数を用いることにより低域のエネルギの低下が解消することが分かった。【０１１３】
しかしながら、次数を増やすことは係数の量子化に対する感度が高まることを意味し、ハードウェアへの実装上の困難が増す。そこで、代替の手法として図１４に示すように、この帯域をさらに２分割し、それぞれを低次の関数で近似する実験を行った。グロッタルフォルマントのピークが含まれる帯域に３次関数を割り当て、他方の帯域に２次関数を割り当てる方法を試みた。また、さらに情報を削減するために常に両方の帯域に２次関数を割り当てる方法も試みた。【０１１４】
この実験によれば両方の帯域に２次関数を割り当てることで十分な音質が得られることが分かった。低域を２つの２次関数で近似した様子を図１５Ａ〜図１５Ｃに示す。図１５Ａは、低域（８００Ｈｚ以下）の音源スペクトルを表しており、図１５Ｂは、その低域を２分割した左側のスペクトルと２次関数による近似曲線を表す。図１５Ｃは、同様に右側のスペクトルと近似曲線を表す。これらの図によると、グロッタルフォルマントによるピークが良好に近似できている。それに加え、鼻音（nasal sound）のように声道が全極型モデル（all-pole model）に合わないような場合でも非常に精度良く近似できることが分かった。図１６Ａ〜図１６Ｃのように音源スペクトルのピークが二つ現れる場合も、２つの２次関数により音源スペクトルを精度良く近似できている。図１６Ａは、低域（８００Ｈｚ以下）の音源スペクトルを表しており、図１６Ｂは、その低域を２分割した左側のスペクトルと２次関数による近似曲線を表す。図１６Ｃは、同様に右側のスペクトルと近似曲線を表す。【０１１５】
このように、境界周波数より高い周波数の領域を直線で近似し、境界周波数より低い周波数の領域を２分割したそれぞれの領域を２次関数で近似することが音源スペクトルを近似する上で有効であることが分かった。【０１１６】
一方、異なる話者に関しては上述した下限境界周波数が異なることが分かった。ここまでは女性話者の音声を用いた例を示してきたが、男性話者の音声では同じ境界周波数を用いると低域のエネルギが低下する現象が認められた。その理由は、男性は基本周波数が低いため、グロッタルフォルマントの位置（glottal formant frequency）も低いためであると考えられる。実際、境界周波数をさらに下げたところに最適点があることが分かった。【０１１７】
このような結果を踏まえるとともに、連続音声中では同一話者内でもグロッタルフォルマントの位置は変動すると考え、発明者らは境界周波数を音源スペクトルに合わせて動的に設定する方法を考案した。その方法は、あらかじめ複数の周波数（２７６Ｈｚ，５５１Ｈｚ，８２７Ｈｚ，１１０３Ｈｚ，１３７８Ｈｚ，１６５４Ｈｚ）を境界周波数の候補としてテーブルに記憶しておく。それら境界周波数の候補を順番に選択しながら上記の方法でスペクトルを近似し、二乗誤差（square-error）が最小となるような境界周波数を選択する。【０１１８】
このような方法で設定した最適境界周波数の相対度数分布を図１７に示す。図１７は、同一発話内容を男女１名ずつが発声した音声を分析し、上記の方法で境界周波数を動的に設定した時の分布を表している。男性話者の方が女性話者よりも低い周波数に分布のピークが存在している。すなわち、分析対象音声に対して動的な境界周波数設定が適応的に作用し、音源スペクトルの近似精度を高める効果があると言える。【０１１９】
このように、音源モデル化部１０５は、逆フィルタ波形をピッチ周期単位で分析し、高域の１次関数の係数（ａ１，ｂ１）、低域の帯域Ａの２次関数の係数（ａ２，ｂ２，ｃ２）、低域の帯域Ｂの２次関数の係数（ａ３，ｂ３，ｃ３）、境界周波数Ｆｃの情報、それに加えて当該ピッチ周期の時間位置情報を記憶する。【０１２０】
なお、ここでは音源スペクトルとして、ＤＦＴの周波数成分の大きさを用いたが、通常、振幅スペクトル表示を行う際にＤＦＴのそれぞれの周波数成分の大きさを対数に置き換えることが行われる。このため、そのような処理を行ってから関数での近似を行ってももちろん構わない。【０１２１】
＜変換比率入力部１１０＞
変換比率入力部１１０は入力された音声を目標音声情報保持部１０７により保持されている目標音声情報へ変換する度合いを変換比率として入力する。【０１２２】
＜フィルタ変形部１０６＞
フィルタ変形部１０６は、フィルタ平滑化部１０３により平滑化されたＰＡＲＣＯＲ係数の変形（変換）を行う。【０１２３】
変換の単位は特に限定するものではないが、例えば音素を単位として変換する場合について説明する。まず、フィルタ変形部１０６は、目標音声情報保持部１０７から変換の対象としている音素に対応するターゲットのＰＡＲＣＯＲ係数を取得する。例えば、音素カテゴリごとにターゲットとなるＰＡＲＣＯＲ係数を用意する。【０１２４】
フィルタ変形部１０６は、ターゲットのＰＡＲＣＯＲ係数の情報と変換比率入力部１１０により入力された変換比率とに基づいて、入力されたＰＡＲＣＯＲ係数を変形する。入力されたＰＡＲＣＯＲ係数とは、具体的には、フィルタ平滑化部１０３で平滑化する際に用いられた多項式のことである。【０１２５】
まず、変換元パラメータ（入力されたＰＡＲＣＯＲ係数）は式５により表されるので、フィルタ変形部１０６は、この多項式の係数ａiを求める。この係数ａiによりＰＡＲＣＯＲ係数を生成すると滑らかなＰＡＲＣＯＲ係数を生成することが可能である。【０１２６】
【数６】
2009022454.tif 000009
【０１２７】
次に、フィルタ変形部１０６は、目標音声情報保持部１０７からターゲットとなるＰＡＲＣＯＲ係数を取得する。フィルタ変形部１０６は、取得したＰＡＲＣＯＲ係数を式６に示す多項式で近似することにより、多項式の係数ｂiを求める。なお、多項式による近似後の係数ｂiが予め目標音声情報保持部１０７に記憶されていてもよい。【０１２８】
【数７】
2009022454.tif 000010
【０１２９】
次に、フィルタ変形部１０６は、被変換パラメータａiとターゲットパラメータｂiと変換比率ｒとを用いて、変換後のＰＡＲＣＯＲ係数の多項式の係数ｃiを式７により求める。【０１３０】
【数８】
2009022454.tif 000011
【０１３１】
通常、変換比率ｒは、０≦ｒ≦１の範囲で指定される。しかし、変換比率ｒがその範囲を超える場合においても、式７によりパラメータを変換することは可能である。変換比率ｒが１を超える場合は、被変換パラメータ（ａi）と目標母音声道情報（ｂi）との差分を更に強調するような変換になる。一方、変換比率ｒが負の値の場合は、被変換パラメータ（ａi）と目標母音声道情報（ｂi）との差分を、逆方向にさらに強調するような変換になる。【０１３２】
算出した変換後の多項式の係数ｃiを用いて、フィルタ変形部１０６は、変換後のフィルタ係数を式８に従って求める。【０１３３】
【数９】
2009022454.tif 000012
【０１３４】
以上の変換処理をＰＡＲＣＯＲ係数の各次元において行なうことにより、指定された変換比率でのターゲットのＰＡＲＣＯＲ係数への変換が可能になる。【０１３５】
実際に、母音／ａ／に対して、上記の変換を行った例を図１８に示す。同図において、横軸は、正規化された時間を表し、縦軸は、１次元目のＰＡＲＣＯＲ係数を表す。図中の曲線ａは被変換音声を示す男性話者の／ａ／の発声の係数の推移を示している。正規化された時間とは、母音区間の継続時間長で、時間を正規化することにより、０から１までの値をとる時刻のことである。これは、被変換音声の母音継続時間と、目標母音情報の継続時間とが異なる場合において、時間軸をそろえるための処理である。同様に曲線ｂは目標母音を示す女性話者の／ａ／の発声の係数の推移を示している。曲線ｃは上記変換方法を用いて、男性話者の係数を女性話者の係数に変換比率０．５で変形した際の係数の推移を示している。同図から分かるように、曲線ｃは、曲線ａと曲線ｂとの略中間に位置している。このため、上記の変形方法により、話者間のＰＡＲＣＯＲ係数を補間できていることがわかる。【０１３６】
音素境界では、ＰＡＲＣＯＲ係数の値が不連続になるのを防止するために、フィルタ平滑化部１０３と同様に適当な過渡区間を設けて補間処理を行う。【０１３７】
ＰＡＲＣＯＲ係数における補間の妥当性を確認するために、ＰＡＲＣＯＲ係数を、式９を用いて、声道断面積関数に変換し、声道断面積を補間する様子を図１９Ａ〜図１９Ｃに示す。【０１３８】
【数１０】
2009022454.tif 000013
【０１３９】
ここで、左辺は区間ｎと区間ｎ＋１との声道の断面積比を表す。ｋnは、ｎ番目とｎ＋１番目の声道の境界のＰＡＲＣＯＲ係数を表す。【０１４０】
図１９Ａは、変換元となる男性話者の音声／ａ／の中心時刻での声道断面積を示している。図１９Ｃは、目標となる女性話者の音声／ａ／の中心時刻での声道断面積を示している。図１９Ｂは、変換比率０．５で変換元のＰＡＲＣＯＲ係数を変換した後のＰＡＲＣＯＲ係数に対応する、音声の中心時刻での声道断面積を示している。図１９Ａ〜図１９Ｃにおいて、横軸は、声道の位置を表し、左端が唇を右端が正門を示す。縦軸は、声道断面の半径に相当する。【０１４１】
図１９Ａ〜図１９Ｃからも明らかなように、変換比率０．５で補間した音声の声道断面積は、男性話者と女性話者との中間の声道の形状を現していることがわかる。したがって、声道の物理的な特徴空間において、男性話者と女性話者との中間のＰＡＲＣＯＲ係数を補間できていることがわかる。【０１４２】
加えて、声道情報を多項式近似により時間方向に平滑化したことにより、声道情報の変換を極めて簡略な処理で行うことが可能である。【０１４３】
＜目標音声情報保持部１０７＞
目標音声情報保持部１０７は、目標となる声質の声道情報を保持している。声道情報としては、少なくとも音韻カテゴリごとに、１つのターゲットとなるＰＡＲＣＯＲ係数の時間系列が含まれる。各カテゴリに１つのＰＡＲＣＯＲ係数の時間系列を保持する場合には、フィルタ変形部１０６は、該当するカテゴリに対応するＰＡＲＣＯＲ係数の時間系列を取得する。このことにより、フィルタ変形部１０６は、ターゲットとなるＰＡＲＣＯＲ係数を近似した関数を取得することができる。【０１４４】
また、目標音声情報保持部１０７が、各カテゴリに関して複数のＰＡＲＣＯＲ係数時間系列を保持する場合には、フィルタ変形部１０６は、変換元のＰＡＲＣＯＲパラメータに最も適合するＰＡＣＯＲ係数の時間系列を選択するようにすればよい。選択方法は特に限定するものではなく、例えば特許文献：特許第４０２５３５５号公報に記載されている関数選択方法を用いて選択するようにすれば良い。【０１４５】
また、目標音声情報保持部１０７は、さらに、目標音声情報として、音源情報を保持するようにする。音源情報は、例えば、目標音声の平均的な基本周波数や、平均的な非周期成分境界周波数、平均的な有声音源振幅などを含む。【０１４６】
＜音源変形部１０８＞
音源変形部１０８は、音源モデル化部１０５によりモデル化された音源パラメータを、目標音声情報保持部１０７により保持されている目標音声情報のうち音源情報にかかわる情報を用いて、変形する。【０１４７】
変形の方法は特に限定するものではない。例えば、モデル化された音源パラメータの基本周波数、非周期成分境界周波数、有声音源振幅などの平均値を、目標音声情報保持部１０７により保持されている情報に、変換比率入力部１１０により入力される変換比率に合わせて変換する処理により実現すればよい。【０１４８】
＜合成部１０９＞
合成部１０９は、フィルタ変形部１０６により変形されたＰＡＲＣＯＲ係数に基づくフィルタを、音源変形部１０８により変形された音源パラメータに基づく音源で駆動し、合成音を生成する。具体的な生成手段を限定するものではない。音源波形の生成方法の一例を、図２０を用いて次に説明する。【０１４９】
図２０（ａ）は、前述した方法でモデル化された音源パラメータが振幅スペクトルを近似したものであることを表している。すなわち、境界周波数より下の周波数帯域を２等分し、それぞれの領域の音源スペクトルを２次関数で近似し、境界周波数より上の周波数帯域の音源スペクトルを１次関数で近似している。合成部１０９は、この情報（それぞれの関数の係数）を元に振幅スペクトルを復元する。その結果、図２０（ｂ）のように単純化された振幅スペクトルが得られる。合成部１０９は、これを図２０（ｃ）のようにナイキスト周波数（サンプリング周波数の２分の１）を境に折返し、対象の振幅スペクトルを作成する。【０１５０】
合成部１０９は、こうして復元された周波数領域における振幅スペクトルをＩＤＦＴ（Inverse Discrete Fourier Transform）によって時間波形に変換する。このようにして復元された波形は、図２０（ｄ）のように左右が対称の１ピッチ周期分の波形である。このため、合成部１０９は、これを図２０（ｅ）のように所望のピッチ周期になるように重ね合わせて配置することにより一連の音源波形を生成する。【０１５１】
図２０（ｃ）の対象の振幅スペクトルは位相情報を有していない。これに対し、図２０（ｅ）のように、復元された波形を重ね合わせて配置することにより、位相情報を付加することができる。このため、図２１に示すように非周期成分境界周波数より上の周波数帯域にランダムな位相を付加することにより有声音源に気息性（breathiness）や柔らかさ（softness）を付加することができる。付加すべき位相情報はナイキスト周波数を境に点対称のものとすればＩＤＦＴされた結果は虚数部を持たない時間波形となる。【０１５２】
次に、声質変換装置の動作に関して図２２に示すフローチャートを用いて説明する。【０１５３】
ＬＰＣ分析部１０１は、入力された音声に対してＬＰＣ分析を行い、線形予測係数αiを算出する（ステップＳ００１）。【０１５４】
ＰＡＲＣＯＲ算出部１０２は、ステップＳ００１において算出された線形予測係数αiからＰＡＲＣＯＲ係数ｋiを算出する（ステップＳ００２）。【０１５５】
フィルタ平滑化部１０３は、ステップＳ００２において算出されたＰＡＲＣＯＲ係数ｋiの各次元のパラメータ値を時間方向に平滑化する（ステップＳ００３）。この平滑化により、声道情報に残された音源情報の時間的な変動成分を除去することが可能となる。このとき、多項式による近似により平滑化を行なったものとして以下の説明を続ける。【０１５６】
逆フィルタ部１０４は、ステップＳ００３において時間方向に平滑化し、音源情報の時間的な変動が除去された声道情報を用いて、その声道情報の逆特性を表す逆フィルタを生成する。逆フィルタ部１０４は、生成された逆フィルタを用いて、入力された音声を逆フィルタリングする（ステップＳ００４）。これにより、従来、声道情報に含まれていた音源情報の時間的な変動を含む音源情報を取得することができる。【０１５７】
音源モデル化部１０５は、ステップＳ００４において取得された音源情報をモデル化する（ステップＳ００５）。【０１５８】
フィルタ変形部１０６は、ステップＳ００３において算出された多項式関数で近似された声道情報を、ターゲットの声道情報に近づくように、別途外部より入力された変換比率に基づいて変形する（ステップＳ００６）。【０１５９】
音源変形部１０８は、ステップＳ００５においてモデルパラメータ化された音源モデルパラメータを変形する（ステップＳ００７）。【０１６０】
合成部１０９は、ステップＳ００６において算出された声道情報とステップＳ００７において算出された音源情報とに基づいて、合成音を生成する（ステップＳ００８）。なお、ステップＳ００６の処理は、ステップＳ００３の処理の実行直後に実行されるようにしても良い。【０１６１】
以上の処理により、入力された音声に対して、音源情報と声道情報とを精度良く分離することが可能となる。また、精度良く分離された声道情報および音源情報を変形することにより声質を変換した場合においても、音質の劣化が少ない声質変換を行なうことができる。【０１６２】
（効果）
従来、ＬＰＣ分析やＰＡＲＣＯＲ分析などの声道情報抽出方法により抽出された声道情報には、図５Ａ〜図５Ｄに示したように本来の声道情報の時間変化よりも時定数が短い変動が含まれていた。しかし、かかる構成によれば、フィルタ平滑化部１０３が、図６Ａ〜図６Ｄに示すように声道情報を時間方向に平滑化することにより、本来の声道情報の時間変化でない成分を除去することができる。【０１６３】
さらに、フィルタ平滑化部１０３により算出したフィルタ係数を用いて、入力された音声を逆フィルタリングすることにより、従来、除去されていた情報を含む音源情報を取得することが可能となる。【０１６４】
したがって、従来よりも安定した声道情報を抽出し、モデル化することが可能となる。それと共に、従来除去されていた時間変動を含むより正確な音源情報を抽出し、モデル化することが可能となる。【０１６５】
このように算出した声道情報と音源情報は、それぞれに対して余分な成分が従来よりも少ない。このため、声道情報及び音源情報をそれぞれ独立に変形しても、音質の劣化が非常に小さいという効果を有する。したがって、声質変換時の自由度を高く設計することができ、様々な声質に変換することが可能となる。【０１６６】
例えば、従来の音声分離装置で分離した声道情報には、本来音源に由来する成分が付加されているため、話者変換（話者Ａから話者Ｂへの声質変換）などを行った場合、話者Ａの声道情報を変形しているつもりでも、話者Ａの音源成分も含めて変形を施すことになる。このように、話者Ａの声道情報の変形と同様の変形を話者Ａの音源成分についても実施することとなるため、例えば、音韻性が崩れるなどの問題があった。【０１６７】
一方、本発明により算出した声道情報と音源情報は、それぞれに対して余分な成分が従来よりも少ない。このため、声道情報及び音源情報をそれぞれ独立に変形しても、音質の劣化が非常に小さいという効果を有する。したがって、声質変換時の自由度を高く設計することができ、様々な声質に変換することが可能となる。【０１６８】
また、フィルタ平滑化部１０３は、音素ごとに多項式を用いてＰＡＲＣＯＲ係数を平滑化する。このことにより、従来、分析周期ごとに保持しなければならなかった声道パラメータを、音素ごとに保持するだけでよいという効果も有する。【０１６９】
なお、本実施の形態の説明では、音声の分析、合成及び声質変換を全て組み合わせたものを説明したが、それぞれが別で機能するように構成しても良い。例えば、図２３に示すように、音声合成装置を構成してもよい。音声合成装置は、音声分離部と、音声合成部とを含み、それぞれの処理部を異なる装置として構成してもよい。例えば、サーバと当該サーバにネットワークを介して接続される携帯端末装置とのいずれか一方を音声分離部とし、他方を音声合成部として音声合成装置を構成してもよい。また、ネットワークを介して相互に接続される２台の携帯端末装置のいずれか一方を音声分離部とし、他方を音声合成部として音声合成装置を構成してもよい。また、音声合成装置が、声質変換を行う処理部を別装置として含んでいても良い。【０１７０】
また、音源情報のモデル化はピッチ周期毎に行ったが、必ずしもそれだけの短い時定数でモデル化する必要はない。数ピッチ周期毎に１ピッチ周期を選び出してモデル化することでも声道の時定数よりは短くなるので自然さがある程度保持されるという効果は保たれる。声道情報は１音素の長さに渡って多項式で近似される。このため、例えば日本語の会話時の発声速度が６モーラ／秒程度であるとすれば、１モーラは０．１７秒程度となり、その多くの部分が母音である。よって声道のモデル化の時定数は０．１７秒前後である。一方、音源情報については、比較的ピッチが低い男性のピッチ周波数が８０Ｈｚとすると１ピッチ周期は１／８０秒＝０．０１３秒である。このため、ピッチ周期毎に音源情報のモデル化を行った場合の時定数は０．０１３秒、２ピッチ周期毎のモデル化の場合の時定数では０．０２６秒となる。このように、数ピッチ周期毎のモデル化でも音源情報モデル化の時定数は声道情報モデル化の時定数より十分短いものとなる。【０１７１】
（実施の形態２）
本発明の実施の形態２に係る声質変換装置の外観図は、図２に示したものと同様である。【０１７２】
図２４は、本発明の実施の形態２の声質変換装置の構成を示すブロック図である。図２４において、図３と同じ構成要素については同じ符号を用い、説明を省略する。【０１７３】
本発明の実施の形態２は、音声分離装置１１１が、音声分離装置２１１に変更されている点が実施の形態１と異なる。音声分離装置２１１では、声道情報を抽出するＬＰＣ分析部１０１がＡＲＸ分析部２０１に変更されている点が実施の形態１と異なる。【０１７４】
本説明では、ＡＲＸ分析部２０１とＬＰＣ分析部１０１の違いを説明すると共に、ＡＲＸ分析部２０１による効果を中心に説明し、実施の形態１と同じ部分については説明を省略する。声質変換装置の各処理部は、当該処理部を実現するためのプログラムを図２に示したコンピュータのプロセッサ上で実行することにより実現される。また、各種データは、コンピュータのメモリに記憶され、プロセッサで実行される処理に利用される。【０１７５】
＜ＡＲＸ分析部２０１＞
ＡＲＸ分析部２０１は、ＡＲＸ（Autoregressive with exogenous input）分析を用いて、声道情報と音源情報とを分離する。ＡＲＸ分析は、音源モデルとして数式音源モデルを用いる点がＬＰＣ分析と大きく異なる。また、ＡＲＸ分析では、ＬＰＣ分析と異なり、分析区間内に複数の基本周期を含んだ場合においても、より正確に声道情報と音源情報とを分離できる（非特許文献：大塚他，「音源パルス列を考慮した頑健なＡＲＸ音声分析法」，日本音響学会誌５８巻７号（２００２年），ｐｐ．３８６−３９７）。【０１７６】
音声信号をＳ（ｚ）、声道情報をＡ（ｚ）、音源情報をＵ（ｚ）、無声音のノイズ音源をＥ（ｚ）とすると、音声信号Ｓ（ｚ）は式１０で表すことができる。ここで、ＡＲＸ分析における音源情報Ｕ（ｚ）として、式１１に示すＲｏｓｅｎｂｅｒｇ−Ｋｌａｔｔ（ＲＫ）モデルにより生成される音源情報を用いることが特徴である。【０１７７】
【数１１】
2009022454.tif 000014
【０１７８】
ただし、Ｓ（ｚ）、Ｕ（ｚ）、Ｅ（ｚ）は、ｓ（ｎ），ｕ（ｎ），ｅ（ｎ）のｚ変換を表す。また、ＡＶは有声音源振幅、Ｔｓはサンプリング周期、Ｔ０はピッチ周期、ＯＱは声門開放率を表わす有声音の場合は第１項を使用し、無声音の場合は第２項が使用される。【０１７９】
ここで、Ａ（ｚ）は、ＬＰＣ分析におけるシステム関数と同じ形式であることから、ＰＡＲＣＯＲ算出部１０２は、ＬＰＣ分析を行なった場合と同様の方法によりＰＡＲＣＯＲ係数を算出することが可能となる。【０１８０】
ＡＲＸ分析は、ＬＰＣ分析と比較して以下の利点がある。
（１）分析窓内に複数のピッチ周期に対応した音源パルス列を配して分析を行っている。このため、女性や子供など高ピッチ音声でも安定に声道情報を抽出できる。
（２）特にＦ０（基本周波数）とＦ１（第１フォルマント周波数）とが接近している／ｉ／／ｕ／などの狭母音の声道音源分離性能が高い。【０１８１】
しかしながら、ＡＲＸ分析は、ＬＰＣ分析と比較すると必要な処理量が大きいという欠点も存在する。【０１８２】
図２５Ａ〜図２５Ｄは、図５Ａ〜図５Ｄと同じ音声をＡＲＸ分析部２０１により分析し、分析された結果である声道情報を元に、ＰＡＲＣＯＲ算出部１０２により算出された１次から４次のＰＡＲＣＯＲ係数をそれぞれ示す。【０１８３】
図２５Ａ〜図２５Ｄと図５Ａ〜図５Ｄとをそれぞれ比較することにより、ＬＰＣ分析部１０１により分析された声道情報を使用した場合と比べ、ＰＡＲＣＯＲ係数の時間的な変動は、少ないことが分かる。このことから、ＬＰＣ分析を用いた場合と比較して、声道情報の抽出精度が改善できていることが分かる。【０１８４】
図２６Ａ〜図２６Ｄに、フィルタ平滑化部１０３により、１次から４次のＰＡＲＣＯＲ係数をそれぞれ平滑化した結果を示す。図２５Ａ〜図２５Ｄと比較すると、声道情報の時間的な変化がさらに滑らかであることがわかる。【０１８５】
ＬＰＣ分析を用いた場合と比較して、時間的に短い変動の影響を受けにくく、かつＡＲＸ分析の特徴である声道音源分離性能を保持したまま平滑化できることがわかる。【０１８６】
その他の処理は、実施の形態１と同じである。【０１８７】
（効果）
従来、ＡＲＸ分析に基づくＰＡＲＣＯＲ係数として抽出された声道情報には、図２５Ａ〜図２５Ｄに示したように本来の声道情報の時間変化よりも時定数が短い変動が含まれていた。しかし、かかる構成によれば、フィルタ平滑化部１０３が、図２６Ａ〜図２６Ｄに示すように声道情報を時間方向に平滑化することにより、本来の声道情報の時間変化でない成分を除去することができる。【０１８８】
ＡＲＸ分析では、ＬＰＣ分析と比較すると時定数の短い変動が少なく、より正確な声道情報を取得できている。このため、大まかな動きを保持したまま、時定数の短い変動をさらに除去することが可能となり、声道情報の精度が改善する。【０１８９】
さらに、フィルタ平滑化部１０３により算出したフィルタ係数を用いて、入力された音声を逆フィルタリングすることにより、従来、除去されていた情報を含む音源情報を取得することが可能となる。【０１９０】
したがって、従来よりも安定した声道情報を抽出し、モデル化することが可能となる。それと共に、従来除去されていた時間変動を含むより正確な音源情報を抽出し、モデル化することが可能となる。【０１９１】
また、フィルタ平滑化部１０３は、音素ごとに多項式を用いてＰＡＲＣＯＲ係数を平滑化する。このことにより、従来、分析周期ごとに保持しなければならなかった声道パラメータを、音素ごとに保持するだけでよいという効果も有する。【０１９２】
なお、本実施の形態の説明では、音声の分析、合成及び声質変換を全て組み合わせたものを説明したが、それぞれが別で機能するように構成しても良い。例えば、図２７に示すように、音声合成装置を構成してもよい。音声合成装置は、音声分離部と、音声合成部とを含み、それぞれの処理部を異なる装置として構成してもよい。また、音声合成装置が、声質変換を行う処理部を別装置として含んでいても良い。【０１９３】
なお、本明細書での説明は、便宜上日本語を仮定し、母音を／ａ／、／ｉ／、／ｕ／、／ｅ／、／ｏ／の５種類としているが、母音と子音の区別は言語に依存しない概念である。このため、本発明の適用範囲は日本語に限定されるものではなく、本発明はあらゆる言語に適用可能である。【０１９４】
なお、上述した実施の形態には、以下の構成を有する発明が含まれる。【０１９５】
本発明のある局面に係る音声分離装置は、入力音声信号を、声道情報と音源情報とに分離する音声分離装置であって、入力音声信号から声道情報を抽出する声道情報抽出部と、前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、前記逆フィルタ部にてフィルタリングされた前記入力音声信号から、前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化部とを備えることを特徴とする。【０１９６】
ここで、前記音源モデル化部は、切り出された前記波形毎に、当該波形を周波数領域の表現に変換し、所定の境界周波数よりも高い周波数帯域に含まれる振幅スペクトルを第１の関数で近似し、前記所定の境界周波数以下の周波数帯域に含まれる前記振幅スペクトルを前記第１の関数よりも高次の第２の関数で近似し、前記第１および第２の関数の係数を、パラメータ化された音源情報として出力するものであってもよい。【０１９７】
また、前記第１の関数は、１次関数であってもよい。【０１９８】
なお、前記音源モデル化部は、さらに、前記所定の境界周波数以下の周波数帯域を２分割した２つの周波数帯域に含まれる前記振幅スペクトルを、それぞれ二次以上の関数で近似し、当該二次以上の関数の係数を、パラメータ化された音源情報として出力するものであってもよい。【０１９９】
また、前記音源モデル化部は、前記逆フィルタ部にてフィルタリングされた前記入力音声信号のピッチ周期の略２倍の長さの窓関数を前記ピッチ周期で時間軸方向にずらしながら、前記入力音声信号から波形を切り出し、切り出された波形毎に、当該波形をパラメータ化するものであってもよい。【０２００】
ここで、波形切り出し時の隣接する窓関数の間隔は、前記ピッチ周期に同期しているものであってもよい。【０２０１】
本発明の他の局面に係る声質変換装置は、入力音声の声質を変換する声質変換装置であって、入力音声信号から声道情報を抽出する声道情報抽出部と、前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、前記逆フィルタ部にてフィルタリングされた前記入力音声信号から、前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化部と、目標となる声質の声道情報及びパラメータ化された音源情報を保持している目標音声情報保持部と、前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力部と、前記フィルタ平滑化部により平滑化された前記声道情報を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するフィルタ変形部と、前記音源モデル化部によりパラメータ化された前記音源情報を、前記目標音声情報保持部に保持されている目標となる声質の前記音源情報に、前記変換比率入力部により入力された前記変換比率で変換する音源変形部と、前記音源変形部にて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形部にて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部とを備えることを特徴とする。【０２０２】
前記フィルタ平滑化部は、前記声道情報抽出部により抽出された前記声道情報を、時間軸方向に所定の単位で多項式または回帰直線により近似することにより平滑化を行い、前記フィルタ変形部は、前記フィルタ平滑化部により前記声道情報を前記多項式または前記回帰直線で近似した際の前記多項式または前記回帰直線の係数を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するものであってもよい。【０２０３】
なお、前記フィルタ変形部は、さらに、音素境界の前後に所定の時間幅の過渡区間を設け、当該過渡区間内の声道情報を、前記過渡区間の開始点と終了点の声道情報を用いて補間するものであってもよい。【０２０４】
本発明のさらに他の局面に係る声質変換システムは、入力音声の声質を変換する声質変換システムであって、入力音声信号から声道情報を抽出する声道情報抽出部と、第１の時間幅を時間軸方向にずらしながら、前記声道情報抽出部が抽出した前記声道情報を、当該第１の時間幅内で平滑化するフィルタ平滑化部と、前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、前記第１の時間幅よりも短い第２の時間幅を時間軸方向にずらしながら、前記逆フィルタ部にてフィルタリングされた前記入力音声信号から前記第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化部と、目標となる声質の声道情報及びパラメータ化された音源情報を保持している目標音声情報保持部と、前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力部と、前記フィルタ平滑化部により平滑化された前記声道情報を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するフィルタ変形部と、前記音源モデル化部によりパラメータ化された前記音源情報を、前記目標音声情報保持部に保持されている目標となる声質の前記音源情報に、前記変換比率入力部により入力された前記変換比率で変換する音源変形部と、前記音源変形部にて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形部にて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部とを備え、前記フィルタ平滑化部は、前記声道情報抽出部により抽出された前記声道情報を、時間軸方向に所定の単位で多項式または回帰直線により近似することにより平滑化を行い、前記フィルタ変形部は、前記フィルタ平滑化部により前記声道情報を前記多項式または前記回帰直線で近似した際の前記多項式または前記回帰直線の係数を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換し、かつ、音素境界の前後に所定の時間幅の過渡区間を設け、当該過渡区間内の声道情報を、前記過渡区間の開始点と終了点の声道情報を用いて補間することを特徴とする。【０２０５】
本発明のさらに他の局面に係る音声分離方法は、入力音声信号を、声道情報と音源情報とを分離する音声分離方法であって、入力音声信号から声道情報を抽出する声道情報抽出ステップと、前記声道情報抽出ステップにて抽出された前記声道情報を、当該第１の時間幅内で平滑化するフィルタ平滑化ステップと、前記フィルタ平滑化ステップにて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタステップと、前記逆フィルタステップにてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化ステップとを含むことを特徴とする。【０２０６】
なお、上述の音声分離方法は、さらに、前記音源モデル化ステップにて出力される音源情報のパラメータを用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化ステップにて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成ステップを含んでいてもよい。【０２０７】
また、上述の音声分離方法は、さらに、前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力ステップと、前記フィルタ平滑化ステップにて平滑化された前記声道情報を、目標となる声質の声道情報に、前記変換比率入力ステップにて入力された前記変換比率で変換するフィルタ変形ステップと、前記音源モデル化ステップにてパラメータ化された前記音源情報を、目標となる声質の音源情報に、前記変換比率入力ステップにて入力された前記変換比率で変換する音源変形ステップとを含み、前記合成ステップでは、前記音源変形ステップにて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形ステップにて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成するものであってもよい。【０２０８】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０２０９】
本発明に係る音声分離装置は、声道情報と音源情報を変形することにより、高品質に声質を変換する機能を有し、種々の声質を必要とするユーザインタフェースや、エンターテイメント等として有用である。また、携帯電話などによる音声通信におけるボイスチェンジャー等の用途にも応用できる。
【図１】
2009022454.tif 000015
【図２】
2009022454.tif 000016
【図３】
2009022454.tif 000017
【図４】
2009022454.tif 000018
【図５Ａ】
2009022454.tif 000019
【図５Ｂ】
2009022454.tif 000020
【図５Ｃ】
2009022454.tif 000021
【図５Ｄ】
2009022454.tif 000022
【図６Ａ】
2009022454.tif 000023
【図６Ｂ】
2009022454.tif 000024
【図６Ｃ】
2009022454.tif 000025
【図６Ｄ】
2009022454.tif 000026
【図７】
2009022454.tif 000027
【図８Ａ】
2009022454.tif 000028
【図８Ｂ】
2009022454.tif 000029
【図９Ａ】
2009022454.tif 000030
【図９Ｂ】
2009022454.tif 000031
【図９Ｃ】
2009022454.tif 000032
【図９Ｄ】
2009022454.tif 000033
【図１０】
2009022454.tif 000034
【図１１】
2009022454.tif 000035
【図１２】
2009022454.tif 000036
【図１３】
2009022454.tif 000037
【図１４】
2009022454.tif 000038
【図１５Ａ】
2009022454.tif 000039
【図１５Ｂ】
2009022454.tif 000040
【図１５Ｃ】
2009022454.tif 000041
【図１６Ａ】
2009022454.tif 000042
【図１６Ｂ】
2009022454.tif 000043
【図１６Ｃ】
2009022454.tif 000044
【図１７】
2009022454.tif 000045
【図１８】
2009022454.tif 000046
【図１９Ａ】
2009022454.tif 000047
【図１９Ｂ】
2009022454.tif 000048
【図１９Ｃ】
2009022454.tif 000049
【図２０】
2009022454.tif 000050
【図２１】
2009022454.tif 000051
【図２２】
2009022454.tif 000052
【図２３】
2009022454.tif 000053
【図２４】
2009022454.tif 000054
【図２５Ａ】
2009022454.tif 000055
【図２５Ｂ】
2009022454.tif 000056
【図２５Ｃ】
2009022454.tif 000057
【図２５Ｄ】
2009022454.tif 000058
【図２６Ａ】
2009022454.tif 000059
【図２６Ｂ】
2009022454.tif 000060
【図２６Ｃ】
2009022454.tif 000061
【図２６Ｄ】
2009022454.tif 000062
【図２７】
2009022454.tif 000063
【手続補正書】
【提出日】平成20年12月10日(2008.12.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力音声信号を、声道情報と音源情報とに分離する音声分離装置であって、
入力音声信号から声道情報を抽出する声道情報抽出部と、
前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、
前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、
前記逆フィルタ部にてフィルタリングされた前記入力音声信号から、前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化部と
を備えることを特徴とする音声分離装置。
【請求項２】
前記音源モデル化部は、切り出された前記波形毎に、当該波形を周波数領域の表現に変換し、当該周波数領域における振幅スペクトルを関数で近似し、近似された関数の係数を、パラメータ化された音源情報として出力する
ことを特徴とする請求項１に記載の音声分離装置。
【請求項３】
前記音源モデル化部は、切り出された前記波形毎に、当該波形を周波数領域の表現に変換し、前記振幅スペクトルを周波数帯域毎に異なる関数で近似し、近似された関数の係数を、パラメータ化された音源情報として出力する
ことを特徴とする請求項２に記載の音声分離装置。
【請求項４】
前記音源モデル化部は、あらかじめ用意された複数の境界周波数の候補の各々について、前記振幅スペクトルを関数で近似し、当該振幅スペクトルと当該関数との誤差が最も少なくなるときの前記境界周波数の候補を、当該関数の係数とともに出力する
ことを特徴とする請求項２に記載の音声分離装置。
【請求項５】
前記声道情報抽出部は、
前記入力音声信号を全極モデルに基づいて分析し、声道を複数のセクションに分割した音響管モデルのパラメータである全極型声道モデルパラメータを求める全極モデル分析部と、
前記全極型声道モデルパラメータを、前記音響管モデルのパラメータである反射係数パラメータまたは当該反射係数パラメータに変換可能なパラメータに変換する反射係数パラメータ算出部と
を有することを特徴とする請求項１に記載の音声分離装置。
【請求項６】
前記全極モデル分析部は、前記入力音声信号を線形予測分析することにより、前記全極型声道モデルパラメータを求める
ことを特徴とする請求項５に記載の音声分離装置。
【請求項７】
前記全極モデル分析部は、前記入力音声信号をAutoregressive Exogenous分析することにより、前記全極型声道モデルパラメータを求める
ことを特徴とする請求項５に記載の音声分離装置。
【請求項８】
前記フィルタ平滑化部は、前記声道情報抽出部により抽出された前記声道情報を、時間軸方向に所定の単位で多項式または回帰直線により近似することにより平滑化を行う
ことを特徴とする請求項１に記載の音声分離装置。
【請求項９】
前記所定の単位は、音素、音節またはモーラである
ことを特徴とする請求項８に記載の音声分離装置。
【請求項１０】
前記音源モデル化部は、前記逆フィルタ部にてフィルタリングされた前記入力音声信号のピッチ周期の略２倍の長さの窓関数を前記ピッチ周期で時間軸方向にずらしながら、前記入力音声信号から波形を切り出し、切り出された波形毎に、当該波形を周波数領域の表現に変換し、全ての周波数成分が有している位相情報を除去した振幅スペクトルを求め、当該振幅スペクトルを関数で近似し、近似に用いた関数の係数を、パラメータ化された音源情報として出力する
ことを特徴とする請求項１に記載の音声分離装置。
【請求項１１】
入力音声信号に含まれる声道情報と音源情報とを用いて音声を合成する音声合成装置であって、
入力音声信号から声道情報を抽出する声道情報抽出部と、
前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、
前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、
前記逆フィルタ部にてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化部と、
前記音源モデル化部より出力される音源情報のパラメータを用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部とを備える
ことを特徴とする音声合成装置。
【請求項１２】
前記音源モデル化部は、前記逆フィルタ部にてフィルタリングされた前記入力音声信号のピッチ周期の略２倍の長さの窓関数を前記ピッチ周期で時間軸方向にずらしながら、前記入力音声信号から波形を切り出し、切り出された波形毎に、当該波形をパラメータ化し、
前記合成部は、前記音源モデル化部より出力されるパラメータを用いて音源波形を生成し、生成された音源波形を時間方向にオーバーラップさせて配置することにより時間的に連続な音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する
ことを特徴とする請求項１１に記載の音声合成装置。
【請求項１３】
前記音源モデル化部は、切り出された波形毎に、当該波形を周波数領域の表現に変換し、全ての周波数成分が有している位相情報を除去した振幅スペクトルを求め、
前記合成部は、前記振幅スペクトルを時間領域の音源波形に変換し、当該音源波形を時間方向にオーバーラップさせて配置することにより時間的に連続な音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する
ことを特徴とする請求項１２に記載の音声合成装置。
【請求項１４】
前記音源モデル化部は、さらに、前記振幅スペクトルを関数で近似し、近似に用いた関数の係数を、パラメータ化された音源情報として出力し、
前記合成部は、前記音源モデル化部より出力される係数で表される関数より振幅スペクトルを復元し、当該振幅スペクトルを時間領域の音源波形に変換し、当該音源波形を時間方向にオーバーラップさせて配置することにより時間的に連続な音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する
ことを特徴とする請求項１３に記載の音声合成装置。
【請求項１５】
入力音声の声質を変換する声質変換装置であって、
入力音声信号から声道情報を抽出する声道情報抽出部と、
前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、
前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、
前記逆フィルタ部にてフィルタリングされた前記入力音声信号から、前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化部と、
目標となる声質の声道情報及びパラメータ化された音源情報を保持している目標音声情報保持部と、
前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力部と、
前記フィルタ平滑化部により平滑化された前記声道情報を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するフィルタ変形部と、
前記音源モデル化部によりパラメータ化された前記音源情報を、前記目標音声情報保持部に保持されている目標となる声質の前記音源情報に、前記変換比率入力部により入力された前記変換比率で変換する音源変形部と、
前記音源変形部にて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形部にて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部とを備える
ことを特徴とする声質変換装置。
【請求項１６】
前記フィルタ平滑化部は、前記声道情報抽出部により抽出された前記声道情報を、時間軸方向に所定の単位で多項式または回帰直線により近似することにより平滑化を行い、
前記フィルタ変形部は、前記フィルタ平滑化部により前記声道情報を前記多項式または前記回帰直線で近似した際の前記多項式または前記回帰直線の係数を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換する
ことを特徴とする請求項１５に記載の声質変換装置。
【請求項１７】
入力音声信号を、声道情報と音源情報とに分離する音声分離方法であって、
入力音声信号から声道情報を抽出する声道情報抽出ステップと、
前記声道情報抽出ステップにて抽出された前記声道情報を、当該第１の時間幅内で平滑化するフィルタ平滑化ステップと、
前記フィルタ平滑化ステップにて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタステップと、
前記逆フィルタステップにてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化ステップと
を含むことを特徴とする音声分離方法。
【請求項１８】
入力音声信号を、声道情報と音源情報とに分離するプログラムであって、
入力音声信号から声道情報を抽出する声道情報抽出ステップと、
前記声道情報抽出ステップにて抽出された前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化ステップと、
前記フィルタ平滑化ステップにて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタステップと、
前記逆フィルタステップにてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化ステップと
をコンピュータに実行させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された音声信号を、音源情報および声道情報に分離する音声分離装置、音声合成装置および声質変換装置に関する。
【背景技術】
【０００２】
近年、音声合成技術の発達により、非常に高音質な合成音を作成することが可能となってきた。
【０００３】
しかしながら、従来の合成音の用途はニュース文をアナウンサー調で読み上げる等の画一的な用途が中心である。
【０００４】
一方で、携帯電話のサービスなどでは、着信音の代わりに有名人の音声メッセージを用いるといったサービスが提供されるなど、特徴のある音声（個人再現性の高い合成音や、女子高校生風や関西弁風などの特徴的な韻律・声質をもつ合成音）が一つのコンテンツとして流通しはじめている。このように、個人間のコミュニケーションにおける楽しみを増やすために、特徴的な音声を作って相手に聞かせることに対する要求が高まることが考えられる。
【０００５】
ところで、音声を合成する方法としては、大別して次の２つの方法がある。１つ目の方法は、予め用意した音声素片ＤＢ（データベース）から適切な音声素片を選択して接続する波形接続型音声合成方法である。２つ目の方法は、音声を分析し、分析したパラメータを元に音声を合成する分析合成型音声合成方法である。
【０００６】
前述した合成音の声質を様々に変化させることを考えると、波形接続型音声合成方法では、音声素片ＤＢを必要な声質の種類だけ用意し、音声素片ＤＢを切り替えて実現する必要がある。したがって、種々の声質の合成音を作成するために、膨大なコストを要する。
【０００７】
一方、分析合成型音声合成方法は、分析された音声パラメータを変形させる。このことにより、合成音の声質を変換することが可能である。一般的に、分析には、音源声道モデルと呼ばれるモデルが使用される。しかし、音声情報を音源情報と声道情報とに完全に分離することは難しい。このため、不完全に分離された音源情報（声道情報を含む音源情報）または声道情報（音源情報を含む声道情報）を変形してしまうことにより、音質が劣化するという問題がある。
【０００８】
従来の分析合成型音声合成方法は、主に音声の圧縮符号化のために用いられている。このようなアプリケーションでは、上記の分離の悪さはさほど大きな問題ではない。すなわち、パラメータに変形を加えずに音声を再合成すれば元の音声に近いものが得られる。典型的な線形予測符号化（LPC:Linear Prediction Coding）では、音源には、いずれもスペクトルが一様な白色雑音またはインパルス列を仮定している。また、声道には、分子が定数項のみの全極型の伝達関数を仮定している。実際には音源のスペクトルは一様ではない。また、声道の伝達関数は、声道の複雑な凹凸形状及び鼻腔への分岐の影響により全極型にはならない。このため、ＬＰＣ分析合成系には、モデルの不整合による一定の音質劣化がある。典型的には、鼻づまりやブザー音的な合成音声になることが知られている。
【０００９】
このようなモデルの不整合を軽減するために、音源と声道に対しそれぞれ以下の対策が取られる。
【００１０】
つまり、音源については分析対象の音声波形に対しプリエンファシス処理が行われる。典型的な声帯音源のスペクトルは、−１２ｄＢ／ｏｃｔ．の傾斜を持ち、唇から空間に音声が放射される際に＋６ｄＢ／ｏｃｔ．の傾斜が付加される。このため、プリエンファシス処理後の音声波形を合成することにより、声帯音源のスペクトル傾斜を−６ｄＢ／ｏｃｔ．と捉えることが一般的である。そこで、音声波形を微分することにより声帯音源のスペクトルに＋６ｄＢ／ｏｃｔ．の傾斜を与えれば、音源スペクトル傾斜を補償することができる。
【００１１】
また、声道については上述の通り全極モデルに合致しない成分を予測残差として取り出し、取り出した予測残差を音源情報に畳み込む方法、すなわち残差波形を合成用駆動音源に用いる方法が用いられる。これにより合成音の波形は原音と完全に一致する。その残差波形をベクトル量子化してコード番号で伝送する方式がＣＥＬＰ（Code Excited Linear Prediction）である。
【００１２】
このようにすれば、例え線形予測モデルの整合性が低いために分析精度が悪く、音源情報と声道情報とを分離できていない場合でも、再合成される音声の音質は満足のいくものとなる。
【００１３】
しかし、パラメータを変化させて声質を変換するというアプリケーションでは、音源情報と声道情報をできるだけ正確に分離することが重要である。すなわち、声道に属するパラメータ（例えばフォルマント中心周波数）を変化させたつもりでも、同時に音源の特性をも変化させてしまう。このため、声道と音源を独立に制御することを可能にするためには、両者の情報を正確に分離しておくことが必要である。
【００１４】
分析合成型の音声合成方法において、音源情報と声道情報の分離をより正確に行う方法の技術として、例えば、１回のＬＰＣ分析では取得し切れなかった声道情報を、複数のＬＰＣ分析を行うことにより取得し、音源のスペクトル情報を平坦にするという技術がある（例えば、特許文献１参照）。
【００１５】
図１は、特許文献１に記載された従来の音声分析装置の構成を示すブロック図である。
【００１６】
以下、図１に示した従来の音声分析装置の動作について説明する。入力音声信号１ａは、第１のスペクトル分析手段２ａと逆フィルタ手段４ａに入力される。第１のスペクトル分析手段２ａは、入力音声信号１ａを分析して第１のスペクトル包絡パラメータを抽出し、これを第１の量子化手段３ａへ出力する。第１の量子化手段３ａは、前記第１のスペクトル包絡パラメータを量子化することにより第１の量子化スペクトル包絡パラメータを求め、これを逆フィルタ手段４ａと外部とに出力する。逆フィルタ手段４ａは、第１の量子化スペクトル包絡パラメータを用いて入力音声信号１ａを逆フィルタリングすることにより、予測残差信号を求め、これを第２のスペクトル分析手段５ａと音源符号化手段７ａとへ出力する。第２のスペクトル分析手段５ａは、前記予測残差信号を分析することにより、第２のスペクトル包絡パラメータを抽出し、これを第２の量子化手段６ａへ出力する。第２の量子化手段６ａは、前記第２のスペクトル包絡パラメータを量子化することにより、第２の量子化スペクトル包絡パラメータを求め、これを音源符号化手段７ａと外部とに出力する。音源符号化手段７ａは、前記予測残差信号と第２の量子化スペクトル包絡パラメータとを用いて音源信号を抽出し、これを符号化し、符号化された音源信号である符号化音源を出力する。この符号化音源、前記第１の量子化スペクトル包絡パラメータ及び第２の量子化スペクトル包絡パラメータが符号化結果となる。
【００１７】
以上のように音声分析装置を構成することにより、従来、第１のスペクトル分析手段２ａだけでは除去できなかったスペクトル包絡特徴を、第２のスペクトル分析手段５ａにより抽出している。このことにより音源符号化手段７ａより出力される音源情報の周波数特性をフラットにすることを可能としている。
【００１８】
また、他の関連技術として、入力音声を音源情報と声道情報とに分離し、分離した音源情報と声道情報とを個別に強調し、強調された音源情報と声道情報とを用いて、音声を合成する音声強調装置がある（例えば、特許文献２参照）。
【００１９】
音声強調装置は、入力音声の分離時には、現フレームの入力音声の自己相関関数の値を算出する。また、音声強調装置は、現フレームの入力音声の自己相関関数の値と過去のフレームの入力音声の自己相関関数の値との加重平均により平均自己相関関数の値を算出する。これにより、フレーム間での急激な声道形状の変化をなくすことができる。このため、強調する際の急激なゲインの変化を防止することができる。よって、異音が発生しにくくなる。
【特許文献１】特開平５−２５７４９８号公報（第３−４頁、図１）
【特許文献２】国際公開第２００４／０４０５５５号パンフレット
【発明の開示】
【発明が解決しようとする課題】
【００２０】
しかしながら、従来のＬＰＣ分析においては音声のピッチ周期に影響を受け、分析結果であるＬＰＣ係数（線形予測係数）が時間的に変動する現象が見られる。この現象は、後述する図５Ａ〜図５Ｄに示すＬＰＣ係数と数学的に等価であるＰＡＲＣＯＲ係数においても見られる。このような微細変動が生じる原因として次の要因がある。すなわち、通常の分析区間長はピッチ周期を２つほど含むように設定される。また、分析時にハニング（Hanning）窓やハミング（Hamming）窓という窓関数を用いて区間切り出しを行なう際に、区間切り出しによる区間の両端の影響を除去することが一般的である。しかし、これらの窓関数と音声波形との位置関係により、分析区間に含まれる波形のエネルギがピッチ周期に連動して変動する。
【００２１】
従来のＬＰＣ分析では音声が持つ揺らぎや分析窓の位置による時間変化を声道情報として抽出してしまう。この結果、本来、声道が持っていないような速い動きを声道情報とし、本来、音源に存在する速い動きを音源情報から取り除いてしまうという問題がある。その結果、声道パラメータに変形を加えることによって声質変換を行う場合に、微細変動を持ったまま声道パラメータに変形を加えてしまう。このため、滑らかな音声が得られなくなるという課題を有している。このことは言い換えれば、音源と声道の分離が正しく行うことができないという問題である。
【００２２】
したがって、声道情報または音源情報を変形した場合には、それぞれの本来の情報以外の情報を含んでいる。このため、その影響を受けて歪んだ声道情報または音源情報の変形を行なうことになってしまう。結局、声質を変形した合成音の音質が劣化するという課題を有している。
【００２３】
例えば、ピッチを変更した場合においても、声道情報に含まれる元のピッチ由来の変動成分が残存している。このため、音質が劣化する。
【００２４】
さらに、特許文献２に記載の音声強調装置では、得られる音源情報は波形情報である。任意の声質への変換を行うためには、変換元音声の声道及び音源の情報を保持しながら変形可能なパラメータ表現が必要となるが、特許文献２のような波形情報では、そのような自由度の高い変換を行うことができないという課題を有する。
【００２５】
また、特許文献１では、音源の周波数特性をフラットにすることにより、音源をＬＰＣの仮定であるインパルス音源に近づけている。しかし、実際の音源情報は、インパルスとは一致しない。したがって、声道情報及び音源情報を変形せずに、単に分析及び合成する場合においては、従来技術でも高音質な合成音を得ることは可能である。しかし、声道情報のみ、または音源情報のみのように、声道情報及び音源情報をそれぞれ独立に制御して声質を変換することができないという課題を有する。
【００２６】
さらに、特許文献２に記載の音声強調装置では、得られる音源情報は、波形情報である。このため、そのままでは任意に声質を変換することができないという課題を有する。
【００２７】
本発明は、上述の課題を解決するもので、より声質変換に適した形で音源情報と声道情報とを分離することにより、それぞれの情報を変形した場合の音質劣化を防止することが可能な音声分離装置、音声合成装置および声質変換装置を提供することを目的とする。
【００２８】
また、音源情報を効率的に変換することができる音声分離装置、音声合成装置および声質変換装置を提供することも目的とする。
【課題を解決するための手段】
【００２９】
上記目的を達成するために、本発明に係る音声分離装置は、入力音声信号を分析し、声道情報と音源情報とを抽出する音声分析装置であって、入力音声信号から声道情報を抽出する声道情報抽出部と、前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、前記逆フィルタ部にてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化部とを備えることを特徴とする。
【００３０】
この構成によると、音源情報を含む声道情報を時間軸方向に平滑化する。このため、音源のピッチ周期由来の変動を含まない声道情報を抽出することができる。
【００３１】
また、平滑化された声道情報の逆の周波数振幅応答特性を有するフィルタのフィルタ係数を算出し、当該フィルタで入力音声信号をフィルタリングしている。さらに、フィルタリングされた入力音声から音源情報を求めている。このため、従来、声道情報に混入していた情報を含む音源情報を取得することができる。
【００３２】
さらに、音源モデル化部では、フィルタ平滑化部が平滑化に用いる時定数よりも短い時定数で入力音声信号をパラメータ化する。これにより、フィルタ平滑化部による平滑化処理で失われた揺らぎ情報を含めて音源情報をモデル化することができる。
【００３３】
したがって、従来よりも安定した声道情報と、従来除去されていた時間変動を含む音源情報をモデル化することが可能となる。
【００３４】
また、音源情報はパラメータ化されている。このため、音源情報を効率的に変換することができる。
【００３５】
好ましくは、上述の音声分離装置は、さらに、前記音源モデル化部より出力される音源情報のパラメータを用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化部にて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部を備えることを特徴とする。
【００３６】
上述の音源情報と声道情報とを用いて音声を合成することができる。このため、揺らぎを持った音声を合成することができる。これにより、自然性の高い音声の合成が可能となる。
【００３７】
さらに好ましくは、上述の音声分離装置は、さらに、目標となる声質の声道情報及びパラメータ化された音源情報を保持している目標音声情報保持部と、前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力部と、前記フィルタ平滑化部により平滑化された前記声道情報を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するフィルタ変形部と、前記音源モデル化部によりパラメータ化された前記音源情報を、前記目標音声情報保持部に保持されている目標となる声質の前記音源情報に、前記変換比率入力部により入力された前記変換比率で変換する音源変形部とを備え、前記合成部は、前記音源変形部にて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形部にて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成することを特徴とする。
【００３８】
揺らぎ情報を保持したまま声道情報を変形することができる。これにより、音質劣化を防止することができる。
【００３９】
音源情報と声道情報のそれぞれに対して、独立に声質変換処理を行なった場合でも、本来変換すべき情報だけを変換することができる。このため、声質変換による音質劣化を防止することができる。
【００４０】
なお、本発明は、このような特徴的な手段を備える音声分離装置として実現することができるだけでなく、音声分離装置に含まれる特徴的な手段をステップとする音声分離方法として実現したり、音声分離方法に含まれる特徴的なステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ（Compact Disc-Read Only Memory）等の記録媒体やインターネット等の通信ネットワークを介して流通させることができるのは言うまでもない。
【発明の効果】
【００４１】
音源情報を含む声道情報を時間軸方向に平滑化する。このため、音源のピッチ周期由来の変動を含まない声道情報を抽出することができる。
【００４２】
また、平滑化された声道情報の逆の周波数振幅応答特性を有するフィルタのフィルタ係数を算出し、当該フィルタで入力音声信号をフィルタリングしている。さらに、フィルタリングされた入力音声からパラメータ化された音源情報を求めている。このため、従来、声道情報に混入していた情報を含む音源情報を取得することができる。
【００４３】
さらに、平滑化に用いる時定数よりも短い時定数で入力音声信号がパラメータ化される。これにより、平滑化処理で失われた揺らぎ情報を含めて音源情報をモデル化することができる。
【００４４】
したがって、従来よりも安定した声道情報と、従来除去されていた時間変動を含む音源情報をモデル化することが可能となる。
【００４５】
また、揺らぎを持った音声を合成することができる。これにより、自然性の高い音声の合成が可能となる。
【００４６】
声道情報の変形時においても、揺らぎ情報を保持したまま変形することができる。これにより、音質劣化を防止することができる。
【００４７】
音源情報と声道情報のそれぞれに対して、独立に声質変換処理を行なった場合でも、本来変換すべき情報だけを変換することができる。このため、声質変換による音質劣化を防止することができる。
【００４８】
また、音源情報はパラメータ化されている。このため、音源情報を効率的に変換することができる。
【発明を実施するための最良の形態】
【００４９】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００５０】
（実施の形態１）
図２は、本発明の実施の形態１における音声分離装置の外観図である。音声分離装置は、コンピュータにより構成される。
【００５１】
図３は、本発明の実施の形態１における声質変換装置の構成を示すブロック図である。
【００５２】
声質変換装置は、入力された音声の声質を目標とする声質に変換した合成音を生成し、合成音を出力する装置であり、音声分離装置１１１と、フィルタ変形部１０６と、目標音声情報保持部１０７と、音源変形部１０８と、合成部１０９と、変換比率入力部１１０とを含む。
【００５３】
音声分離装置１１１は、入力音声から音源情報と声道情報とを分離する装置であり、ＬＰＣ（Linear Predictive Coding）分析部１０１と、ＰＡＲＣＯＲ（Partial Auto Correlation）算出部１０２と、フィルタ平滑化部１０３と、逆フィルタ部１０４と、音源モデル化部１０５とを含む。
【００５４】
ＬＰＣ分析部１０１は入力された音声を線形予測分析（Linear Prediction Coding analysis）することにより声道情報を抽出する処理部である。
【００５５】
ＰＡＲＣＯＲ算出部１０２は、ＬＰＣ分析部１０１により分析された線形予測係数を基にＰＡＲＣＯＲ係数を算出する処理部である。ＬＰＣ係数とＰＡＲＣＯＲ係数は数学的に等価であり、ＰＡＲＣＯＲ係数も声道情報を表すものである。
【００５６】
フィルタ平滑化部１０３は、ＰＡＲＣＯＲ算出部１０２により算出されたＰＡＲＣＯＲ係数を次元ごとに時間方向に平滑化する処理部である。
【００５７】
逆フィルタ部１０４は、フィルタ平滑化部１０３により平滑化されたＰＡＲＣＯＲ係数から、逆の周波数振幅応答特性を有するフィルタの係数を算出し、算出した逆フィルタを用いて音声を逆フィルタリングすることにより、音源情報を算出する処理部である。
【００５８】
音源モデル化部１０５は、逆フィルタ部１０４により算出された音源情報をモデル化する処理部である。
【００５９】
フィルタ変形部１０６は、フィルタ平滑化部１０３により平滑化されたＰＡＲＣＯＲ係数を、後述の目標音声情報保持部１０７に保持されているターゲットのフィルタ情報、および変換比率入力部１１０により入力される変換比率に基づいて変形することにより、声道情報の変換を行う処理部である。
【００６０】
目標音声情報保持部１０７は、ターゲットとなる声質のフィルタ情報を保持している記憶装置であり、例えば、ハードディスクなどにより構成される。
【００６１】
音源変形部１０８は、音源モデル化部１０５によりモデルパラメータ化された音源情報を、目標音声情報保持部１０７に保持された音源情報と変換比率入力部１１０により入力される変換比率とに基づいて変形することにより、音源情報の変換を行う処理部である。
【００６２】
合成部１０９は、フィルタ変形部１０６により変換された声道情報と、音源変形部１０８により変換された音源情報とを用いて音声を合成する処理部である。
【００６３】
変換比率入力部１１０は、入力音声を目標音声情報保持部１０７に保持された目標音声情報にどれだけ近づけるかの比率を入力する処理部である。
【００６４】
以上の構成要素により声質変換装置を構成している。声質変換装置の各処理部は、当該処理部を実現するためのプログラムを図２に示したコンピュータのプロセッサ上で実行することにより実現される。また、各種データは、コンピュータのメモリに記憶され、プロセッサで実行される処理に利用される。
【００６５】
次に、各構成要素の詳細な動作について説明する。
【００６６】
＜ＬＰＣ分析部１０１＞
ＬＰＣ分析部１０１は、入力された音声に対して線形予測分析を行う。線形予測分析は、音声波形のある標本値ｙnを、それよりも時間的に前のｐ個の標本値（ｙn-1，ｙn-2，ｙn-3，…，ｙn-p）から予測するものであり、式１のように表せる。
【００６７】
【数１】
2009022454.tif 000064
【００６８】
ｐ個の標本値に対する係数αi（ｉ＝１〜ｐ）は、相関法や共分散法などを用いることにより算出できる。算出した係数αiを用いると入力された音声信号Ｓ（ｚ）は式２により表すことができる。
【００６９】
【数２】
2009022454.tif 000065
【００７０】
ここで、Ｕ（ｚ）は、入力音声Ｓ（ｚ）を１／Ａ（ｚ）で逆フィルタリングした信号を表す。
【００７１】
＜ＰＡＲＣＯＲ算出部１０２＞
一般にＬＰＣ分析などに基づき算出された声道情報を変形するためには、スペクトル包絡の特徴点（例えばフォルマント）の対応付けを抽出し、対応付けされた特徴点間の声道情報を補間することにより声道情報の変形を行うことがなされる。
【００７２】
図４は、２つの音声の特徴点の対応付けの例を示したものである。同図において、音声Ｘのスペクトル特徴点として、ｘ１，ｘ２，ｘ３の３点が抽出され、音声Ｙのスペクトル特徴点として、ｙ１，ｙ２，ｙ３，ｙ４の４点が抽出されている。
【００７３】
しかしながら、ＬＰＣ分析などによりスペクトル包絡を取得した場合、スペクトルの特徴点は必ずしもフォルマントには対応せず、比較的弱いピーク値も特徴点（ｙ２）として採用される場合がある。以降、このような特徴点を擬似フォルマントと呼ぶことにする。
【００７４】
対応付けを行う際に、フォルマントと擬似フォルマントとを誤って対応付けてしまう場合がある。同図の例では、本来はｘ１−ｙ１，ｘ２−ｙ３，ｘ３−ｙ４（図中実線で表示）の対応付けがあるべきところを、ｘ１−ｙ１，ｘ２−ｙ２，ｘ３−ｙ３（図中破線で表示）という誤った対応付けになる。
【００７５】
結局、誤って対応付けされた特徴点間の声道情報の補間を行ったときに、本来対応しないｘ３−ｙ３を対応付けたために、声道情報として不適切な値を算出してしまうことになる。
【００７６】
ＰＡＲＣＯＲ算出部１０２は、ＬＰＣ分析部１０１により分析された線形予測係数αiを用いて、ＰＡＲＣＯＲ係数（偏自己相関係数）ｋiを算出する。算出方法は、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎ−Ｉｔａｋｕｒａアルゴリズムを用いることにより算出することが可能である。なお、ＰＡＲＣＯＲ係数は、次の特徴を保有する。
【００７７】
（１）低次の係数ほどその変動によるスペクトルへの影響が大きく、高次になるにつれて変動の影響が小さくなる。
（２）高次の係数の変動の影響は平坦に全域にわたる。
【００７８】
ＰＡＲＣＯＲ係数にはこのような特徴があるため、擬似フォルマント（スペクトル包絡の弱いピーク値）として現れていた情報は、ＰＡＲＣＯＲ係数上では高次のパラメータとして表現される。したがって、ＰＡＲＣＯＲ係数上の同一次元での補間は、スペクトル上での特徴点と非常に近い対応付けを行うことが可能となる。このことはフィルタ平滑化部１０３の説明で実例を示す。
【００７９】
＜フィルタ平滑化部１０３＞
図５Ａ〜図５Ｄに、男性話者が／ａｅｉｏｕ／と連続発声した音声を、上述のＰＡＲＣＯＲ係数（反射係数）で表現した際の１次から４次のＰＡＲＣＯＲ係数をそれぞれ示す。各グラフにおいて横軸は分析フレーム番号を示し、縦軸はＰＡＲＣＯＲ係数を示す。なお分析周期は５ｍｓｅｃである。
【００８０】
図５Ａ〜図５Ｄに示したＰＡＲＣＯＲ係数は、本来、声道の形状を表わす声道断面積関数と等価なパラメータである。よって、声道の運動の動きと同程度の速さの変動であるべきである。つまり、声帯の振動に伴う音源情報は、音声の基本周波数（数十Ｈｚから数百Ｈｚ）に近い時間間隔で変動することが可能である。一方、声帯から口唇までの声道の形状を示す声道情報は、声帯の振動よりも遅い時間間隔で変化すると考えられる。例えば、音声の話速（会話調の場合、モーラ／秒で示される話速）に近い時間間隔で変化する。しかし、図５Ａ〜図５Ｄでは、各次元のパラメータの時間変動は、本来の声道の運動の動きに比べ速いものとなっていることがわかる。つまり、ＬＰＣ分析により分析された声道情報は、本来の声道の動きよりも早い動き情報を持っていることが表れている。この情報は、音源情報の時間的な揺らぎであると解釈することができる。このように、声道情報と音源情報との分離が不十分な場合、声質変換を行う場合には、それぞれを独立に変形することができないという問題がある。つまり、声道情報を変形しているつもりでも、音源情報も含めて変換してしまうことになり、音韻性が崩れるなどの悪影響を及ぼす。
【００８１】
フィルタ平滑化部１０３は、ＰＡＲＣＯＲ算出部１０２により算出されたＰＡＲＣＯＲ係数の各次元に対して時間方向での平滑化を行う。
【００８２】
平滑化の方法は特に限定するものではない。例えば、次元ごとに式３に示すような多項式によるＰＡＲＣＯＲ係数の近似を行うことにより、ＰＡＲＣＯＲ係数の平滑化を行うことができる。
【００８３】
【数３】
2009022454.tif 000066
ここで、
【００８４】
【数４】
2009022454.tif 000067
は多項式により近似されたＰＡＲＣＯＲ係数を示し、ａiは多項式の係数を示し、ｘは時刻を示す。
【００８５】
このとき多項式による近似を適用する時間幅（第１の時間幅に対応）としては、例えば、一つの音素区間を近似の単位とすることができる。また、音素区間ではなく、音素中心から次音素中心までを時間幅とするようにしても良い。なお、以下では、音素区間を平滑化の単位として説明を行う。
【００８６】
図６Ａ〜図６Ｄに、ＰＡＲＣＯＲ係数を５次の多項式近似を用いて音素単位で時間方向に平滑化した際の１次から４次のＰＡＲＣＯＲ係数をそれぞれ示す。グラフの縦軸と横軸は、図５Ａ〜図５Ｄと同じである。
【００８７】
本実施の形態では、多項式の次数として５次を例に説明しているが、多項式の次数は５次でなくとも良い。なお、多項式による近似以外にも音素単位時間ごとの回帰直線によりＰＡＲＣＯＲ係数を近似するようにしても良い。
【００８８】
同図において、音素ごとにＰＡＲＣＯＲ係数は平滑化され滑らかになっていることがわかる。
【００８９】
なお、平滑化の方法はこれに限られるものではなく、移動平均による平滑化などを行うようにしても良い。
【００９０】
音素境界では、ＰＡＲＣＯＲ係数に不連続が見られるが、適当な過渡区間を設けてＰＡＲＣＯＲ係数を補間することにより不連続を防止することが可能である。補間の方法は特に限定するものではないが、例えば線形に補間するようにしても良い。
【００９１】
図７に、過渡区間を設けてＰＡＲＣＯＲ係数の値を補間する例を示す。同図には、母音／ａ／と母音／ｅ／との接続境界の反射係数が示されている。同図では、境界時刻（ｔ）において、反射係数が不連続になっている。そこで境界時刻から適当な渡り時間（Δｔ）を設け、ｔ−Δｔとｔ＋Δｔとの間の反射係数を線形に補間し、補間後の反射係数５１を求める。これらの処理により音素境界における反射係数の不連続を防止している。渡り時間としては、例えば２０ｍｓｅｃ程度とすればよい。あるいは、渡り時間を前後の母音継続時間長に応じて変更するようにしても良い。例えば、母音区間が短い場合には、渡り区間も短くする。逆に母音区間が長ければ渡り区間も長くするようにすれば良い。
【００９２】
図８Ａおよび図８Ｂに、／ａ／と発声された音声を分析し、音源をインパルス音源として音声を合成した際の合成音のスペクトログラム（横軸は時間、縦軸は周波数）を示す。図８Ａは、声道情報の平滑化を行わずに、インパルス音源を用いて音声を合成した場合の合成音のスペクトルの様子を示し、図８Ｂは、上述の平滑化に従って声道情報の平滑化を行い、インパルス音源を用いて音声を合成した場合の合成音のスペクトルの様子を示す。
【００９３】
図８Ａにおいて、符号ａ６で示した部分には縦縞が現れている。これは、ＰＡＲＣＯＲ係数の速い変動によって生じたものである。一方、平滑化を行った場合の同じ箇所ｂ６では、縦縞がほぼなくなっていることわかる。このように、フィルタパラメータを平滑化することにより、声道が本来持っていない情報を除去できることが分かる。
【００９４】
＜逆フィルタ部１０４＞
逆フィルタ部１０４は、フィルタ平滑化部１０３により平滑化されたＰＡＲＣＯＲ係数を用いて、その周波数応答の逆特性を持つフィルタを形成する。逆フィルタ部１０４は、形成されたフィルタを用いて、入力音声をフィルタリングすることにより、入力音声の音源波形を出力する。
【００９５】
＜音源モデル化部１０５＞
図９Ａは、逆フィルタ部１０４に入力される音声の波形の一例を示す図である。図９Ｂは、逆フィルタ部１０４から出力される波形の一例を示す図である。逆フィルタとは、音声から声道（vocal tract）の伝達特性（transfer characteristics）を除去することによって、声帯音源の情報を推定するものである。ここでは、Ｒｏｓｅｎｂｅｒｇ−Ｋｌａｔｔモデルなどで仮定される微分声門体積流波形（differentiated glottal volume velocity waveform）に類似した時間波形が得られている。図９Ｂに示す波形は、Ｒｏｓｅｎｂｅｒｇ−Ｋｌａｔｔモデルの波形よりも微細な構造を有している。これは、Ｒｏｓｅｎｂｅｒｇ−Ｋｌａｔｔモデルが単純な関数を用いたモデルであり、個々の声帯波形が持つ時間的な変動や、それ以外の複雑な振動を表現することができないためである。
【００９６】
本発明ではこのようにして推定された声帯音源波形（以下、「音源波形」という。）を次のような方法でモデル化する。
（１）音源波形の声門閉鎖時刻を１ピッチ周期毎に推定する。この推定方法には特許文献：特許第３５７６８００号公報に開示されている方法などがある。
（２）声門閉鎖時刻を中心に、音源波形のピッチ周期ごとに切り出しを行う。切り出しにはピッチ周期の２倍程度の長さのハニング窓関数を用いる。
（３）切り出された波形を周波数領域（Frequency Domain）の表現に変換する。変換の方法は特に限定されるものではない。例えば、離散フーリエ変換（Discrete Fourier Transform：以下ＤＦＴ）や離散コサイン変換（Discrete Cosine Transform）を用いて周波数領域の表現に変換する。
（４）ＤＦＴの各周波数成分から位相成分を除去することにより、振幅スペクトル情報を作る。位相成分を除去するには、複素数で表された周波数成分を、次の式４によって絶対値に置き換える。
【００９７】
【数５】
2009022454.tif 000068
【００９８】
ここで、ｚは絶対値、ｘは周波数成分の実数部、ｙは周波数成分の虚数部を表す。
（５）振幅スペクトル情報を一つまたは複数の関数で近似する。音源情報として上記近似関数のパラメータ（係数）が抽出される。
【００９９】
このような方法で１ピッチ周期分の時間幅（第２の時間幅に対応）で音源情報を抽出し、モデル化を行う。音源波形には時間方向に多数のピッチ周期が連続して存在する。このため、その全てのピッチ周期に対してこのようなモデル化を行う。ピッチ周期単位でモデル化を行うため、音源情報は声道情報よりも遥かに短い時定数で分析されることとなる。
【０１００】
次に音源の振幅スペクトル情報を関数で近似する方法の詳細について説明する。
【０１０１】
＜音源の振幅スペクトル情報を関数で近似する方法＞
逆フィルタ部１０４の出力波形（図９Ｂ）を、ピッチ周期毎にモデル化する方法の詳細について説明する。この出力波形は、音声から声道の伝達特性を除去することによって推定された微分声門体積流波形である。このため、フォルマントが除去された比較的単純な振幅スペクトル包絡（amplitude spectral envelope）を有している。そこで、発明者らは振幅スペクトル包絡を低次数の関数で近似することによって、音源の情報を効率良く表現することができると考えた。
【０１０２】
以降の説明では、逆フィルタ部１０４の出力波形を音源（voicing source）と呼び、振幅スペクトル（amplitude spectra）を単にスペクトル（spectra）と呼ぶことにする。
【０１０３】
図９Ｃおよび図９Ｄは、それぞれ音声と音源のスペクトルの一例を示す図である。図９Ｃに示す音声のスペクトルには、フォルマントによって数個のピークが存在する。しかし、図９Ｄに示す音源のスペクトルでは、そのようなピークが除去されており、低域（low frequency area）から高域（high frequency area）にかけて大きさが減少していく形状をしている。したがって、右下がりの直線によって比較的良好に音源のスペクトルを近似することができると考えられる。ただし、低域は直線からは外れる傾向があり、この例では１７０Ｈｚ付近にピークが存在する。これは音源そのものが持つピークであり、音源由来のフォルマントという意味でグロッタルフォルマント（glottal formant）と呼ばれることがある。
【０１０４】
図９Ｂに示される出力波形は、複数のピッチ周期を含む連続波形（Continuous Waveform）である。このため、図９Ｄに示す音源スペクトルは高調波を示すギザギザした形をしている。これに対し、ハニング窓関数（Hanning Window Function）等を用いてピッチ周期の２倍程度の長さで波形を切り出した場合、高調波の影響はなくなる。このため、音源スペクトルは滑らかな形状となる。図１０は、連続的な音源波形のスペクトルと、ハニング窓関数を用いて音源波形を切り出した孤立波形（Isolated Waveform）のスペクトルとを示したものである。同図において破線で示すように、ハニング窓関数で切り出された音源波形のスペクトルは極めて単純な形状になる。
【０１０５】
本実施の形態では、音源波形のモデル化を、ピッチ周期の２倍の長さのハニング窓関数で切り出した音源波形（以下、「音源ピッチ波形」と言う）の一つ一つに対して行うこととする。
【０１０６】
発明者らは聴覚の特性を考慮し、高域になるほど周波数分解能が低くなり、大きさの誤差も聞こえ（perception）に影響しなくなる傾向に注目し、図１１に示すように所定の境界周波数（boundary frequency）より上の領域のスペクトルを直線で近似することを考えた。そして、その境界周波数を徐々に下げていくことによって音質が劣化する度合いを主観評価によって測定した。主観評価実験として、サンプリング周波数１１．０２５ｋＨｚの女性の１発話の音声を分析及び合成したものを境界周波数によって５種類用意した。その上で、５種類の音声と原音声との比較によるＤＭＯＳ（Degradation Mean Opinion Score：劣化平均オピニオン評点）試験を被験者１９人に対して行った（非特許文献：「Method for subjective determination of transmission quality」,ITU-T,Recommendation,P.800,1996）。
【０１０７】
ＤＭＯＳ試験での５段階の評点と評定語を表１に示す。
【０１０８】
【表１】
2009022454.tif 000069
【０１０９】
図１２に実験結果を示す。この実験に用いた音声では８００Ｈｚ近辺まで境界周波数を下げてもほとんど音質の劣化は見られず（劣化がわずかに気になるレベル）、５００Ｈｚ付近から急速に音質が劣化する（劣化が気になるレベル）ことが明らかになった。発明者らはこの劣化が前述のグロッタルフォルマントによるピークが直線近似に影響を与えたために発生したと考えている。この時の境界周波数を下限境界周波数（lower limit of boundary frequency）と呼ぶことにする。
【０１１０】
さらに、発明者らは、図１３に示すように、上記の境界周波数（８００Ｈｚ）以上の領域のスペクトルを直線近似し、境界周波数（８００Ｈｚ）以下の領域のスペクトルを別の関数で近似することを試みた。この領域にはグロッタルフォルマントによるピークが存在する。したがって、直線での近似は無理であり、２次以上の関数を用いる必要がある。予備実験において２次関数による近似では低域のエネルギが低下する現象が認められた。これは基本周波数成分（fundamental frequency component）の大きさが再現しきれず、減衰してしまったためと考えられる。そこで、近似関数の次数を増やす実験を行い、概ね４次関数を用いることにより低域のエネルギの低下が解消することが分かった。
【０１１１】
しかしながら、次数を増やすことは係数の量子化に対する感度が高まることを意味し、ハードウェアへの実装上の困難が増す。そこで、代替の手法として図１４に示すように、この帯域をさらに２分割し、それぞれを低次の関数で近似する実験を行った。グロッタルフォルマントのピークが含まれる帯域に３次関数を割り当て、他方の帯域に２次関数を割り当てる方法を試みた。また、さらに情報を削減するために常に両方の帯域に２次関数を割り当てる方法も試みた。
【０１１２】
この実験によれば両方の帯域に２次関数を割り当てることで十分な音質が得られることが分かった。低域を２つの２次関数で近似した様子を図１５Ａ〜図１５Ｃに示す。図１５Ａは、低域（８００Ｈｚ以下）の音源スペクトルを表しており、図１５Ｂは、その低域を２分割した左側のスペクトルと２次関数による近似曲線を表す。図１５Ｃは、同様に右側のスペクトルと近似曲線を表す。これらの図によると、グロッタルフォルマントによるピークが良好に近似できている。それに加え、鼻音（nasal sound）のように声道が全極型モデル（all-pole model）に合わないような場合でも非常に精度良く近似できることが分かった。図１６Ａ〜図１６Ｃのように音源スペクトルのピークが二つ現れる場合も、２つの２次関数により音源スペクトルを精度良く近似できている。図１６Ａは、低域（８００Ｈｚ以下）の音源スペクトルを表しており、図１６Ｂは、その低域を２分割した左側のスペクトルと２次関数による近似曲線を表す。図１６Ｃは、同様に右側のスペクトルと近似曲線を表す。
【０１１３】
このように、境界周波数より高い周波数の領域を直線で近似し、境界周波数より低い周波数の領域を２分割したそれぞれの領域を２次関数で近似することが音源スペクトルを近似する上で有効であることが分かった。
【０１１４】
一方、異なる話者に関しては上述した下限境界周波数が異なることが分かった。ここまでは女性話者の音声を用いた例を示してきたが、男性話者の音声では同じ境界周波数を用いると低域のエネルギが低下する現象が認められた。その理由は、男性は基本周波数が低いため、グロッタルフォルマントの位置（glottal formant frequency）も低いためであると考えられる。実際、境界周波数をさらに下げたところに最適点があることが分かった。
【０１１５】
このような結果を踏まえるとともに、連続音声中では同一話者内でもグロッタルフォルマントの位置は変動すると考え、発明者らは境界周波数を音源スペクトルに合わせて動的に設定する方法を考案した。その方法は、あらかじめ複数の周波数（２７６Ｈｚ，５５１Ｈｚ，８２７Ｈｚ，１１０３Ｈｚ，１３７８Ｈｚ，１６５４Ｈｚ）を境界周波数の候補としてテーブルに記憶しておく。それら境界周波数の候補を順番に選択しながら上記の方法でスペクトルを近似し、二乗誤差（square-error）が最小となるような境界周波数を選択する。
【０１１６】
このような方法で設定した最適境界周波数の相対度数分布を図１７に示す。図１７は、同一発話内容を男女１名ずつが発声した音声を分析し、上記の方法で境界周波数を動的に設定した時の分布を表している。男性話者の方が女性話者よりも低い周波数に分布のピークが存在している。すなわち、分析対象音声に対して動的な境界周波数設定が適応的に作用し、音源スペクトルの近似精度を高める効果があると言える。
【０１１７】
このように、音源モデル化部１０５は、逆フィルタ波形をピッチ周期単位で分析し、高域の１次関数の係数（ａ１，ｂ１）、低域の帯域Ａの２次関数の係数（ａ２，ｂ２，ｃ２）、低域の帯域Ｂの２次関数の係数（ａ３，ｂ３，ｃ３）、境界周波数Ｆｃの情報、それに加えて当該ピッチ周期の時間位置情報を記憶する。
【０１１８】
なお、ここでは音源スペクトルとして、ＤＦＴの周波数成分の大きさを用いたが、通常、振幅スペクトル表示を行う際にＤＦＴのそれぞれの周波数成分の大きさを対数に置き換えることが行われる。このため、そのような処理を行ってから関数での近似を行ってももちろん構わない。
【０１１９】
＜変換比率入力部１１０＞
変換比率入力部１１０は入力された音声を目標音声情報保持部１０７により保持されている目標音声情報へ変換する度合いを変換比率として入力する。
【０１２０】
＜フィルタ変形部１０６＞
フィルタ変形部１０６は、フィルタ平滑化部１０３により平滑化されたＰＡＲＣＯＲ係数の変形（変換）を行う。
【０１２１】
変換の単位は特に限定するものではないが、例えば音素を単位として変換する場合について説明する。まず、フィルタ変形部１０６は、目標音声情報保持部１０７から変換の対象としている音素に対応するターゲットのＰＡＲＣＯＲ係数を取得する。例えば、音素カテゴリごとにターゲットとなるＰＡＲＣＯＲ係数を用意する。
【０１２２】
フィルタ変形部１０６は、ターゲットのＰＡＲＣＯＲ係数の情報と変換比率入力部１１０により入力された変換比率とに基づいて、入力されたＰＡＲＣＯＲ係数を変形する。入力されたＰＡＲＣＯＲ係数とは、具体的には、フィルタ平滑化部１０３で平滑化する際に用いられた多項式のことである。
【０１２３】
まず、変換元パラメータ（入力されたＰＡＲＣＯＲ係数）は式５により表されるので、フィルタ変形部１０６は、この多項式の係数ａiを求める。この係数ａiによりＰＡＲＣＯＲ係数を生成すると滑らかなＰＡＲＣＯＲ係数を生成することが可能である。
【０１２４】
【数６】
2009022454.tif 000070
【０１２５】
次に、フィルタ変形部１０６は、目標音声情報保持部１０７からターゲットとなるＰＡＲＣＯＲ係数を取得する。フィルタ変形部１０６は、取得したＰＡＲＣＯＲ係数を式６に示す多項式で近似することにより、多項式の係数ｂiを求める。なお、多項式による近似後の係数ｂiが予め目標音声情報保持部１０７に記憶されていてもよい。
【０１２６】
【数７】
2009022454.tif 000071
【０１２７】
次に、フィルタ変形部１０６は、被変換パラメータａiとターゲットパラメータｂiと変換比率ｒとを用いて、変換後のＰＡＲＣＯＲ係数の多項式の係数ｃiを式７により求める。
【０１２８】
【数８】
2009022454.tif 000072
【０１２９】
通常、変換比率ｒは、０≦ｒ≦１の範囲で指定される。しかし、変換比率ｒがその範囲を超える場合においても、式７によりパラメータを変換することは可能である。変換比率ｒが１を超える場合は、被変換パラメータ（ａi）と目標母音声道情報（ｂi）との差分を更に強調するような変換になる。一方、変換比率ｒが負の値の場合は、被変換パラメータ（ａi）と目標母音声道情報（ｂi）との差分を、逆方向にさらに強調するような変換になる。
【０１３０】
算出した変換後の多項式の係数ｃiを用いて、フィルタ変形部１０６は、変換後のフィルタ係数を式８に従って求める。
【０１３１】
【数９】
2009022454.tif 000073
【０１３２】
以上の変換処理をＰＡＲＣＯＲ係数の各次元において行なうことにより、指定された変換比率でのターゲットのＰＡＲＣＯＲ係数への変換が可能になる。
【０１３３】
実際に、母音／ａ／に対して、上記の変換を行った例を図１８に示す。同図において、横軸は、正規化された時間を表し、縦軸は、１次元目のＰＡＲＣＯＲ係数を表す。図中の曲線ａは被変換音声を示す男性話者の／ａ／の発声の係数の推移を示している。正規化された時間とは、母音区間の継続時間長で、時間を正規化することにより、０から１までの値をとる時刻のことである。これは、被変換音声の母音継続時間と、目標母音情報の継続時間とが異なる場合において、時間軸をそろえるための処理である。同様に曲線ｂは目標母音を示す女性話者の／ａ／の発声の係数の推移を示している。曲線ｃは上記変換方法を用いて、男性話者の係数を女性話者の係数に変換比率０．５で変形した際の係数の推移を示している。同図から分かるように、曲線ｃは、曲線ａと曲線ｂとの略中間に位置している。このため、上記の変形方法により、話者間のＰＡＲＣＯＲ係数を補間できていることがわかる。
【０１３４】
音素境界では、ＰＡＲＣＯＲ係数の値が不連続になるのを防止するために、フィルタ平滑化部１０３と同様に適当な過渡区間を設けて補間処理を行う。
【０１３５】
ＰＡＲＣＯＲ係数における補間の妥当性を確認するために、ＰＡＲＣＯＲ係数を、式９を用いて、声道断面積関数に変換し、声道断面積を補間する様子を図１９Ａ〜図１９Ｃに示す。
【０１３６】
【数１０】
2009022454.tif 000074
【０１３７】
ここで、左辺は区間ｎと区間ｎ＋１との声道の断面積比を表す。ｋnは、ｎ番目とｎ＋１番目の声道の境界のＰＡＲＣＯＲ係数を表す。
【０１３８】
図１９Ａは、変換元となる男性話者の音声／ａ／の中心時刻での声道断面積を示している。図１９Ｃは、目標となる女性話者の音声／ａ／の中心時刻での声道断面積を示している。図１９Ｂは、変換比率０．５で変換元のＰＡＲＣＯＲ係数を変換した後のＰＡＲＣＯＲ係数に対応する、音声の中心時刻での声道断面積を示している。図１９Ａ〜図１９Ｃにおいて、横軸は、声道の位置を表し、左端が唇を右端が正門を示す。縦軸は、声道断面の半径に相当する。
【０１３９】
図１９Ａ〜図１９Ｃからも明らかなように、変換比率０．５で補間した音声の声道断面積は、男性話者と女性話者との中間の声道の形状を現していることがわかる。したがって、声道の物理的な特徴空間において、男性話者と女性話者との中間のＰＡＲＣＯＲ係数を補間できていることがわかる。
【０１４０】
加えて、声道情報を多項式近似により時間方向に平滑化したことにより、声道情報の変換を極めて簡略な処理で行うことが可能である。
【０１４１】
＜目標音声情報保持部１０７＞
目標音声情報保持部１０７は、目標となる声質の声道情報を保持している。声道情報としては、少なくとも音韻カテゴリごとに、１つのターゲットとなるＰＡＲＣＯＲ係数の時間系列が含まれる。各カテゴリに１つのＰＡＲＣＯＲ係数の時間系列を保持する場合には、フィルタ変形部１０６は、該当するカテゴリに対応するＰＡＲＣＯＲ係数の時間系列を取得する。このことにより、フィルタ変形部１０６は、ターゲットとなるＰＡＲＣＯＲ係数を近似した関数を取得することができる。
【０１４２】
また、目標音声情報保持部１０７が、各カテゴリに関して複数のＰＡＲＣＯＲ係数時間系列を保持する場合には、フィルタ変形部１０６は、変換元のＰＡＲＣＯＲパラメータに最も適合するＰＡＣＯＲ係数の時間系列を選択するようにすればよい。選択方法は特に限定するものではなく、例えば特許文献：特許第４０２５３５５号公報に記載されている関数選択方法を用いて選択するようにすれば良い。
【０１４３】
また、目標音声情報保持部１０７は、さらに、目標音声情報として、音源情報を保持するようにする。音源情報は、例えば、目標音声の平均的な基本周波数や、平均的な非周期成分境界周波数、平均的な有声音源振幅などを含む。
【０１４４】
＜音源変形部１０８＞
音源変形部１０８は、音源モデル化部１０５によりモデル化された音源パラメータを、目標音声情報保持部１０７により保持されている目標音声情報のうち音源情報にかかわる情報を用いて、変形する。
【０１４５】
変形の方法は特に限定するものではない。例えば、モデル化された音源パラメータの基本周波数、非周期成分境界周波数、有声音源振幅などの平均値を、目標音声情報保持部１０７により保持されている情報に、変換比率入力部１１０により入力される変換比率に合わせて変換する処理により実現すればよい。
【０１４６】
＜合成部１０９＞
合成部１０９は、フィルタ変形部１０６により変形されたＰＡＲＣＯＲ係数に基づくフィルタを、音源変形部１０８により変形された音源パラメータに基づく音源で駆動し、合成音を生成する。具体的な生成手段を限定するものではない。音源波形の生成方法の一例を、図２０を用いて次に説明する。
【０１４７】
図２０（ａ）は、前述した方法でモデル化された音源パラメータが振幅スペクトルを近似したものであることを表している。すなわち、境界周波数より下の周波数帯域を２等分し、それぞれの領域の音源スペクトルを２次関数で近似し、境界周波数より上の周波数帯域の音源スペクトルを１次関数で近似している。合成部１０９は、この情報（それぞれの関数の係数）を元に振幅スペクトルを復元する。その結果、図２０（ｂ）のように単純化された振幅スペクトルが得られる。合成部１０９は、これを図２０（ｃ）のようにナイキスト周波数（サンプリング周波数の２分の１）を境に折返し、対称の振幅スペクトルを作成する。
【０１４８】
合成部１０９は、こうして復元された周波数領域における振幅スペクトルをＩＤＦＴ（Inverse Discrete Fourier Transform）によって時間波形に変換する。このようにして復元された波形は、図２０（ｄ）のように左右が対称の１ピッチ周期分の波形である。このため、合成部１０９は、これを図２０（ｅ）のように所望のピッチ周期になるように重ね合わせて配置することにより一連の音源波形を生成する。
【０１４９】
図２０（ｃ）の対称の振幅スペクトルは位相情報を有していない。これに対し、図２０（ｅ）のように、復元された波形を重ね合わせて配置することにより、位相情報を付加することができる。このため、図２１に示すように非周期成分境界周波数より上の周波数帯域にランダムな位相を付加することにより有声音源に気息性（breathiness）や柔らかさ（softness）を付加することができる。付加すべき位相情報はナイキスト周波数を境に点対称のものとすればＩＤＦＴされた結果は虚数部を持たない時間波形となる。
【０１５０】
次に、声質変換装置の動作に関して図２２に示すフローチャートを用いて説明する。
【０１５１】
ＬＰＣ分析部１０１は、入力された音声に対してＬＰＣ分析を行い、線形予測係数αiを算出する（ステップＳ００１）。
【０１５２】
ＰＡＲＣＯＲ算出部１０２は、ステップＳ００１において算出された線形予測係数αiからＰＡＲＣＯＲ係数ｋiを算出する（ステップＳ００２）。
【０１５３】
フィルタ平滑化部１０３は、ステップＳ００２において算出されたＰＡＲＣＯＲ係数ｋiの各次元のパラメータ値を時間方向に平滑化する（ステップＳ００３）。この平滑化により、声道情報に残された音源情報の時間的な変動成分を除去することが可能となる。このとき、多項式による近似により平滑化を行なったものとして以下の説明を続ける。
【０１５４】
逆フィルタ部１０４は、ステップＳ００３において時間方向に平滑化し、音源情報の時間的な変動が除去された声道情報を用いて、その声道情報の逆特性を表す逆フィルタを生成する。逆フィルタ部１０４は、生成された逆フィルタを用いて、入力された音声を逆フィルタリングする（ステップＳ００４）。これにより、従来、声道情報に含まれていた音源情報の時間的な変動を含む音源情報を取得することができる。
【０１５５】
音源モデル化部１０５は、ステップＳ００４において取得された音源情報をモデル化する（ステップＳ００５）。
【０１５６】
フィルタ変形部１０６は、ステップＳ００３において算出された多項式関数で近似された声道情報を、ターゲットの声道情報に近づくように、別途外部より入力された変換比率に基づいて変形する（ステップＳ００６）。
【０１５７】
音源変形部１０８は、ステップＳ００５においてモデルパラメータ化された音源モデルパラメータを変形する（ステップＳ００７）。
【０１５８】
合成部１０９は、ステップＳ００６において算出された声道情報とステップＳ００７において算出された音源情報とに基づいて、合成音を生成する（ステップＳ００８）。なお、ステップＳ００６の処理は、ステップＳ００３の処理の実行直後に実行されるようにしても良い。
【０１５９】
以上の処理により、入力された音声に対して、音源情報と声道情報とを精度良く分離することが可能となる。また、精度良く分離された声道情報および音源情報を変形することにより声質を変換した場合においても、音質の劣化が少ない声質変換を行なうことができる。
【０１６０】
（効果）
従来、ＬＰＣ分析やＰＡＲＣＯＲ分析などの声道情報抽出方法により抽出された声道情報には、図５Ａ〜図５Ｄに示したように本来の声道情報の時間変化よりも時定数が短い変動が含まれていた。しかし、かかる構成によれば、フィルタ平滑化部１０３が、図６Ａ〜図６Ｄに示すように声道情報を時間方向に平滑化することにより、本来の声道情報の時間変化でない成分を除去することができる。
【０１６１】
さらに、フィルタ平滑化部１０３により算出したフィルタ係数を用いて、入力された音声を逆フィルタリングすることにより、従来、除去されていた情報を含む音源情報を取得することが可能となる。
【０１６２】
したがって、従来よりも安定した声道情報を抽出し、モデル化することが可能となる。それと共に、従来除去されていた時間変動を含むより正確な音源情報を抽出し、モデル化することが可能となる。
【０１６３】
このように算出した声道情報と音源情報は、それぞれに対して余分な成分が従来よりも少ない。このため、声道情報及び音源情報をそれぞれ独立に変形しても、音質の劣化が非常に小さいという効果を有する。したがって、声質変換時の自由度を高く設計することができ、様々な声質に変換することが可能となる。
【０１６４】
例えば、従来の音声分離装置で分離した声道情報には、本来音源に由来する成分が付加されているため、話者変換（話者Ａから話者Ｂへの声質変換）などを行った場合、話者Ａの声道情報を変形しているつもりでも、話者Ａの音源成分も含めて変形を施すことになる。このように、話者Ａの声道情報の変形と同様の変形を話者Ａの音源成分についても実施することとなるため、例えば、音韻性が崩れるなどの問題があった。
【０１６５】
一方、本発明により算出した声道情報と音源情報は、それぞれに対して余分な成分が従来よりも少ない。このため、声道情報及び音源情報をそれぞれ独立に変形しても、音質の劣化が非常に小さいという効果を有する。したがって、声質変換時の自由度を高く設計することができ、様々な声質に変換することが可能となる。
【０１６６】
また、フィルタ平滑化部１０３は、音素ごとに多項式を用いてＰＡＲＣＯＲ係数を平滑化する。このことにより、従来、分析周期ごとに保持しなければならなかった声道パラメータを、音素ごとに保持するだけでよいという効果も有する。
【０１６７】
なお、本実施の形態の説明では、音声の分析、合成及び声質変換を全て組み合わせたものを説明したが、それぞれが別で機能するように構成しても良い。例えば、図２３に示すように、音声合成装置を構成してもよい。音声合成装置は、音声分離部と、音声合成部とを含み、それぞれの処理部を異なる装置として構成してもよい。例えば、サーバと当該サーバにネットワークを介して接続される携帯端末装置とのいずれか一方を音声分離部とし、他方を音声合成部として音声合成装置を構成してもよい。また、ネットワークを介して相互に接続される２台の携帯端末装置のいずれか一方を音声分離部とし、他方を音声合成部として音声合成装置を構成してもよい。また、音声合成装置が、声質変換を行う処理部を別装置として含んでいても良い。
【０１６８】
また、音源情報のモデル化はピッチ周期毎に行ったが、必ずしもそれだけの短い時定数でモデル化する必要はない。数ピッチ周期毎に１ピッチ周期を選び出してモデル化することでも声道の時定数よりは短くなるので自然さがある程度保持されるという効果は保たれる。声道情報は１音素の長さに渡って多項式で近似される。このため、例えば日本語の会話時の発声速度が６モーラ／秒程度であるとすれば、１モーラは０．１７秒程度となり、その多くの部分が母音である。よって声道のモデル化の時定数は０．１７秒前後である。一方、音源情報については、比較的ピッチが低い男性のピッチ周波数が８０Ｈｚとすると１ピッチ周期は１／８０秒＝０．０１３秒である。このため、ピッチ周期毎に音源情報のモデル化を行った場合の時定数は０．０１３秒、２ピッチ周期毎のモデル化の場合の時定数では０．０２６秒となる。このように、数ピッチ周期毎のモデル化でも音源情報モデル化の時定数は声道情報モデル化の時定数より十分短いものとなる。
【０１６９】
（実施の形態２）
本発明の実施の形態２に係る声質変換装置の外観図は、図２に示したものと同様である。
【０１７０】
図２４は、本発明の実施の形態２の声質変換装置の構成を示すブロック図である。図２４において、図３と同じ構成要素については同じ符号を用い、説明を省略する。
【０１７１】
本発明の実施の形態２は、音声分離装置１１１が、音声分離装置２１１に変更されている点が実施の形態１と異なる。音声分離装置２１１では、声道情報を抽出するＬＰＣ分析部１０１がＡＲＸ分析部２０１に変更されている点が実施の形態１と異なる。
【０１７２】
本説明では、ＡＲＸ分析部２０１とＬＰＣ分析部１０１の違いを説明すると共に、ＡＲＸ分析部２０１による効果を中心に説明し、実施の形態１と同じ部分については説明を省略する。声質変換装置の各処理部は、当該処理部を実現するためのプログラムを図２に示したコンピュータのプロセッサ上で実行することにより実現される。また、各種データは、コンピュータのメモリに記憶され、プロセッサで実行される処理に利用される。
【０１７３】
＜ＡＲＸ分析部２０１＞
ＡＲＸ分析部２０１は、ＡＲＸ（Autoregressive with exogenous input）分析を用いて、声道情報と音源情報とを分離する。ＡＲＸ分析は、音源モデルとして数式音源モデルを用いる点がＬＰＣ分析と大きく異なる。また、ＡＲＸ分析では、ＬＰＣ分析と異なり、分析区間内に複数の基本周期を含んだ場合においても、より正確に声道情報と音源情報とを分離できる（非特許文献：大塚他，「音源パルス列を考慮した頑健なＡＲＸ音声分析法」，日本音響学会誌５８巻７号（２００２年），ｐｐ．３８６−３９７）。
【０１７４】
音声信号をＳ（ｚ）、声道情報をＡ（ｚ）、音源情報をＵ（ｚ）、無声音のノイズ音源をＥ（ｚ）とすると、音声信号Ｓ（ｚ）は式１０で表すことができる。ここで、ＡＲＸ分析における音源情報Ｕ（ｚ）として、式１１に示すＲｏｓｅｎｂｅｒｇ−Ｋｌａｔｔ（ＲＫ）モデルにより生成される音源情報を用いることが特徴である。
【０１７５】
【数１１】
2009022454.tif 000075
【０１７６】
ただし、Ｓ（ｚ）、Ｕ（ｚ）、Ｅ（ｚ）は、ｓ（ｎ）、ｕ（ｎ）、ｅ（ｎ）のｚ変換を表す。また、ＡＶは有声音源振幅、Ｔｓはサンプリング周期、Ｔ０はピッチ周期、ＯＱは声門開放率を表わす有声音の場合は第１項を使用し、無声音の場合は第２項が使用される。
【０１７７】
ここで、Ａ（ｚ）は、ＬＰＣ分析におけるシステム関数と同じ形式であることから、ＰＡＲＣＯＲ算出部１０２は、ＬＰＣ分析を行なった場合と同様の方法によりＰＡＲＣＯＲ係数を算出することが可能となる。
【０１７８】
ＡＲＸ分析は、ＬＰＣ分析と比較して以下の利点がある。
（１）分析窓内に複数のピッチ周期に対応した音源パルス列を配して分析を行っている。このため、女性や子供など高ピッチ音声でも安定に声道情報を抽出できる。
（２）特にＦ０（基本周波数）とＦ１（第１フォルマント周波数）とが接近している／ｉ／／ｕ／などの狭母音の声道音源分離性能が高い。
【０１７９】
しかしながら、ＡＲＸ分析は、ＬＰＣ分析と比較すると必要な処理量が大きいという欠点も存在する。
【０１８０】
図２５Ａ〜図２５Ｄは、図５Ａ〜図５Ｄと同じ音声をＡＲＸ分析部２０１により分析し、分析された結果である声道情報を元に、ＰＡＲＣＯＲ算出部１０２により算出された１次から４次のＰＡＲＣＯＲ係数をそれぞれ示す。
【０１８１】
図２５Ａ〜図２５Ｄと図５Ａ〜図５Ｄとをそれぞれ比較することにより、ＬＰＣ分析部１０１により分析された声道情報を使用した場合と比べ、ＰＡＲＣＯＲ係数の時間的な変動は、少ないことが分かる。このことから、ＬＰＣ分析を用いた場合と比較して、声道情報の抽出精度が改善できていることが分かる。
【０１８２】
図２６Ａ〜図２６Ｄに、フィルタ平滑化部１０３により、１次から４次のＰＡＲＣＯＲ係数をそれぞれ平滑化した結果を示す。図２５Ａ〜図２５Ｄと比較すると、声道情報の時間的な変化がさらに滑らかであることがわかる。
【０１８３】
ＬＰＣ分析を用いた場合と比較して、時間的に短い変動の影響を受けにくく、かつＡＲＸ分析の特徴である声道音源分離性能を保持したまま平滑化できることがわかる。
【０１８４】
その他の処理は、実施の形態１と同じである。
【０１８５】
（効果）
従来、ＡＲＸ分析に基づくＰＡＲＣＯＲ係数として抽出された声道情報には、図２５Ａ〜図２５Ｄに示したように本来の声道情報の時間変化よりも時定数が短い変動が含まれていた。しかし、かかる構成によれば、フィルタ平滑化部１０３が、図２６Ａ〜図２６Ｄに示すように声道情報を時間方向に平滑化することにより、本来の声道情報の時間変化でない成分を除去することができる。
【０１８６】
ＡＲＸ分析では、ＬＰＣ分析と比較すると時定数の短い変動が少なく、より正確な声道情報を取得できている。このため、大まかな動きを保持したまま、時定数の短い変動をさらに除去することが可能となり、声道情報の精度が改善する。
【０１８７】
さらに、フィルタ平滑化部１０３により算出したフィルタ係数を用いて、入力された音声を逆フィルタリングすることにより、従来、除去されていた情報を含む音源情報を取得することが可能となる。
【０１８８】
したがって、従来よりも安定した声道情報を抽出し、モデル化することが可能となる。それと共に、従来除去されていた時間変動を含むより正確な音源情報を抽出し、モデル化することが可能となる。
【０１８９】
また、フィルタ平滑化部１０３は、音素ごとに多項式を用いてＰＡＲＣＯＲ係数を平滑化する。このことにより、従来、分析周期ごとに保持しなければならなかった声道パラメータを、音素ごとに保持するだけでよいという効果も有する。
【０１９０】
なお、本実施の形態の説明では、音声の分析、合成及び声質変換を全て組み合わせたものを説明したが、それぞれが別で機能するように構成しても良い。例えば、図２７に示すように、音声合成装置を構成してもよい。音声合成装置は、音声分離部と、音声合成部とを含み、それぞれの処理部を異なる装置として構成してもよい。また、音声合成装置が、声質変換を行う処理部を別装置として含んでいても良い。
【０１９１】
なお、本明細書での説明は、便宜上日本語を仮定し、母音を／ａ／、／ｉ／、／ｕ／、／ｅ／、／ｏ／の５種類としているが、母音と子音の区別は言語に依存しない概念である。このため、本発明の適用範囲は日本語に限定されるものではなく、本発明はあらゆる言語に適用可能である。
【０１９２】
なお、上述した実施の形態には、以下の構成を有する発明が含まれる。
【０１９３】
本発明のある局面に係る音声分離装置は、入力音声信号を、声道情報と音源情報とに分離する音声分離装置であって、入力音声信号から声道情報を抽出する声道情報抽出部と、前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、前記逆フィルタ部にてフィルタリングされた前記入力音声信号から、前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形から音源情報を算出する音源モデル化部とを備えることを特徴とする。
【０１９４】
ここで、前記音源モデル化部は、切り出された前記波形毎に、当該波形を周波数領域の表現に変換し、所定の境界周波数よりも高い周波数帯域に含まれる振幅スペクトルを第１の関数で近似し、前記所定の境界周波数以下の周波数帯域に含まれる前記振幅スペクトルを前記第１の関数よりも高次の第２の関数で近似し、前記第１および第２の関数の係数を、パラメータ化された音源情報として出力するものであってもよい。
【０１９５】
また、前記第１の関数は、１次関数であってもよい。
【０１９６】
なお、前記音源モデル化部は、さらに、前記所定の境界周波数以下の周波数帯域を２分割した２つの周波数帯域に含まれる前記振幅スペクトルを、それぞれ二次以上の関数で近似し、当該二次以上の関数の係数を、パラメータ化された音源情報として出力するものであってもよい。
【０１９７】
また、前記音源モデル化部は、前記逆フィルタ部にてフィルタリングされた前記入力音声信号のピッチ周期の略２倍の長さの窓関数を前記ピッチ周期で時間軸方向にずらしながら、前記入力音声信号から波形を切り出し、切り出された波形毎に、当該波形をパラメータ化するものであってもよい。
【０１９８】
ここで、波形切り出し時の隣接する窓関数の間隔は、前記ピッチ周期に同期しているものであってもよい。
【０１９９】
本発明の他の局面に係る声質変換装置は、入力音声の声質を変換する声質変換装置であって、入力音声信号から声道情報を抽出する声道情報抽出部と、前記声道情報抽出部が抽出した前記声道情報を、第１の時間幅内で平滑化するフィルタ平滑化部と、前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、前記逆フィルタ部にてフィルタリングされた前記入力音声信号から、前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化部と、目標となる声質の声道情報及びパラメータ化された音源情報を保持している目標音声情報保持部と、前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力部と、前記フィルタ平滑化部により平滑化された前記声道情報を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するフィルタ変形部と、前記音源モデル化部によりパラメータ化された前記音源情報を、前記目標音声情報保持部に保持されている目標となる声質の前記音源情報に、前記変換比率入力部により入力された前記変換比率で変換する音源変形部と、前記音源変形部にて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形部にて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部とを備えることを特徴とする。
【０２００】
前記フィルタ平滑化部は、前記声道情報抽出部により抽出された前記声道情報を、時間軸方向に所定の単位で多項式または回帰直線により近似することにより平滑化を行い、前記フィルタ変形部は、前記フィルタ平滑化部により前記声道情報を前記多項式または前記回帰直線で近似した際の前記多項式または前記回帰直線の係数を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するものであってもよい。
【０２０１】
なお、前記フィルタ変形部は、さらに、音素境界の前後に所定の時間幅の過渡区間を設け、当該過渡区間内の声道情報を、前記過渡区間の開始点と終了点の声道情報を用いて補間するものであってもよい。
【０２０２】
本発明のさらに他の局面に係る声質変換システムは、入力音声の声質を変換する声質変換システムであって、入力音声信号から声道情報を抽出する声道情報抽出部と、第１の時間幅を時間軸方向にずらしながら、前記声道情報抽出部が抽出した前記声道情報を、当該第１の時間幅内で平滑化するフィルタ平滑化部と、前記フィルタ平滑化部にて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタ部と、前記第１の時間幅よりも短い第２の時間幅を時間軸方向にずらしながら、前記逆フィルタ部にてフィルタリングされた前記入力音声信号から前記第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化部と、目標となる声質の声道情報及びパラメータ化された音源情報を保持している目標音声情報保持部と、前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力部と、前記フィルタ平滑化部により平滑化された前記声道情報を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換するフィルタ変形部と、前記音源モデル化部によりパラメータ化された前記音源情報を、前記目標音声情報保持部に保持されている目標となる声質の前記音源情報に、前記変換比率入力部により入力された前記変換比率で変換する音源変形部と、前記音源変形部にて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形部にて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成部とを備え、前記フィルタ平滑化部は、前記声道情報抽出部により抽出された前記声道情報を、時間軸方向に所定の単位で多項式または回帰直線により近似することにより平滑化を行い、前記フィルタ変形部は、前記フィルタ平滑化部により前記声道情報を前記多項式または前記回帰直線で近似した際の前記多項式または前記回帰直線の係数を、前記目標音声情報保持部に保持されている目標となる声質の前記声道情報に、前記変換比率入力部により入力された前記変換比率で変換し、かつ、音素境界の前後に所定の時間幅の過渡区間を設け、当該過渡区間内の声道情報を、前記過渡区間の開始点と終了点の声道情報を用いて補間することを特徴とする。
【０２０３】
本発明のさらに他の局面に係る音声分離方法は、入力音声信号を、声道情報と音源情報とに分離する音声分離方法であって、入力音声信号から声道情報を抽出する声道情報抽出ステップと、前記声道情報抽出ステップにて抽出された前記声道情報を、当該第１の時間幅内で平滑化するフィルタ平滑化ステップと、前記フィルタ平滑化ステップにて平滑化された前記声道情報の周波数応答の逆特性を有するフィルタを算出し、算出された前記フィルタを用いて前記入力音声信号をフィルタリングする逆フィルタステップと、前記逆フィルタステップにてフィルタリングされた前記入力音声信号から前記第１の時間幅よりも短い第２の時間幅に含まれる波形を切り出し、切り出された前記波形毎に、当該波形からパラメータ化された音源情報を算出する音源モデル化ステップとを含むことを特徴とする。
【０２０４】
なお、上述の音声分離方法は、さらに、前記音源モデル化ステップにて出力される音源情報のパラメータを用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ平滑化ステップにて平滑化された前記声道情報を用いてフィルタリングすることにより、音声を合成する合成ステップを含んでいてもよい。
【０２０５】
また、上述の音声分離方法は、さらに、前記入力音声信号から目標となる声質への変換比率を入力する変換比率入力ステップと、前記フィルタ平滑化ステップにて平滑化された前記声道情報を、目標となる声質の声道情報に、前記変換比率入力ステップにて入力された前記変換比率で変換するフィルタ変形ステップと、前記音源モデル化ステップにてパラメータ化された前記音源情報を、目標となる声質の音源情報に、前記変換比率入力ステップにて入力された前記変換比率で変換する音源変形ステップとを含み、前記合成ステップでは、前記音源変形ステップにて変形された前記音源情報を用いて音源波形を生成し、生成された前記音源波形を、前記フィルタ変形ステップにて変形された前記声道情報を用いてフィルタリングすることにより、音声を合成するものであってもよい。
【０２０６】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて請求の範囲によって示され、請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【０２０７】
本発明に係る音声分離装置は、声道情報と音源情報を変形することにより、高品質に声質を変換する機能を有し、種々の声質を必要とするユーザインタフェースや、エンターテイメント等として有用である。また、携帯電話などによる音声通信におけるボイスチェンジャー等の用途にも応用できる。
【図面の簡単な説明】
【０２０８】
【図１】図１は、従来の音声分析装置の構成を示すブロック図である。
【図２】図２は、本発明の実施の形態１における声質変換装置の外観図である。
【図３】図３は、本発明の実施の形態１における声質変換装置の構成を示すブロック図である。
【図４】図４は、従来の声質変換におけるスペクトル包絡の対応付けを示す図である。
【図５Ａ】図５Ａは、ＬＰＣ分析に基づく１次のＰＡＲＣＯＲ係数の例を示す図である。
【図５Ｂ】図５Ｂは、ＬＰＣ分析に基づく２次のＰＡＲＣＯＲ係数の例を示す図である。
【図５Ｃ】図５Ｃは、ＬＰＣ分析に基づく３次のＰＡＲＣＯＲ係数の例を示す図である。
【図５Ｄ】図５Ｄは、ＬＰＣ分析に基づく４次のＰＡＲＣＯＲ係数の例を示す図である。
【図６Ａ】図６Ａは、ＬＰＣ分析に基づく１次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図６Ｂ】図６Ｂは、ＬＰＣ分析に基づく２次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図６Ｃ】図６Ｃは、ＬＰＣ分析に基づく３次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図６Ｄ】図６Ｄは、ＬＰＣ分析に基づく４次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図７】図７は、音素境界の過渡区間におけるＰＡＲＣＯＲ係数の補間の方法を示す図である。
【図８Ａ】図８Ａは、フィルタ平滑化部による平滑化をしない場合の合成音のスペクトルを示す図である。
【図８Ｂ】図８Ｂは、フィルタ平滑化部による平滑化した場合の合成音のスペクトルを示す図である。
【図９Ａ】図９Ａは、逆フィルタ部に入力される音声の波形の一例を示す図である。
【図９Ｂ】図９Ｂは、逆フィルタ部から出力される波形の一例を示す図である。
【図９Ｃ】図９Ｃは、音声スペクトルの一例を示す図である。
【図９Ｄ】図９Ｄは、音源スペクトルの一例を示す図である。
【図１０】図１０は、連続音源波形のスペクトルと孤立音源波形のスペクトルの比較を示す図である。
【図１１】図１１は、音源スペクトルの高域の近似方法の概念図である。
【図１２】図１２は、境界周波数とＤＭＯＳ値の関係を示す図である。
【図１３】図１３は、音源スペクトルの低域の近似方法の概念図である。
【図１４】図１４は、音源スペクトルの低域の近似方法の概念図である。
【図１５Ａ】図１５Ａは、ピークが１つの低域（８００Ｈｚ以下）の音源スペクトルを示す図である。
【図１５Ｂ】図１５Ｂは、図１５Ａに示した音源スペクトルを２分割した左側のスペクトルと、その２次関数による近似曲線とを示す図である。
【図１５Ｃ】図１５Ｃは、図１５Ａに示した音源スペクトルを２分割した右側のスペクトルと、その２次関数による近似曲線とを示す図である。
【図１６Ａ】図１６Ａは、ピークが２つの低域（８００Ｈｚ以下）の音源スペクトルを示す図である。
【図１６Ｂ】図１６Ｂは、図１６Ａに示した音源スペクトルを２分割した左側のスペクトルと、その２次関数による近似曲線とを示す図である。
【図１６Ｃ】図１６Ｃは、図１６Ａに示した音源スペクトルを２分割した右側のスペクトルと、その２次関数による近似曲線とを示す図である。
【図１７】図１７は、境界周波数の分布を示す図である。
【図１８】図１８は、多項式関数により近似されたＰＡＲＣＯＲ係数を補間した結果を示す図である。
【図１９Ａ】図１９Ａは、変換元となる男性話者の音声／ａ／の中心時刻での声道断面積の一例を示す図である。
【図１９Ｂ】図１９Ｂは、変換比率０．５で変換元のＰＡＲＣＯＲ係数を変換した後のＰＡＲＣＯＲ係数に対応する、音声の中心時刻での声道断面積の一例を示す図である。
【図１９Ｃ】図１９Ｃは、目標となる女性話者の音声／ａ／の中心時刻での声道断面積の一例を示す図である。
【図２０】図２０は、音源波形生成の概略を説明する図である。
【図２１】図２１は、音源スペクトルに付加される位相特性の例を示す図である。
【図２２】図２２は、本発明の実施の形態１の声質変換装置の動作の流れを示すフローチャートである。
【図２３】図２３は、本発明の実施の形態１に係る音声合成装置の構成を示すブロック図である。
【図２４】図２４は、本発明の実施の形態２における声質変換装置の構成を示すブロック図である。
【図２５Ａ】図２５Ａは、ＡＲＸ分析に基づく１次のＰＡＲＣＯＲ係数の例を示す図である。
【図２５Ｂ】図２５Ｂは、ＡＲＸ分析に基づく２次のＰＡＲＣＯＲ係数の例を示す図である。
【図２５Ｃ】図２５Ｃは、ＡＲＸ分析に基づく３次のＰＡＲＣＯＲ係数の例を示す図である。
【図２５Ｄ】図２５Ｄは、ＡＲＸ分析に基づく４次のＰＡＲＣＯＲ係数の例を示す図である。
【図２６Ａ】図２６Ａは、ＡＲＸ分析に基づく１次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図２６Ｂ】図２６Ｂは、ＡＲＸ分析に基づく２次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図２６Ｃ】図２６Ｃは、ＡＲＸ分析に基づく３次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図２６Ｄ】図２６Ｄは、ＡＲＸ分析に基づく４次のＰＡＲＣＯＲ係数を多項式関数の近似により平滑化した結果を示す図である。
【図２７】図２７は、本発明の実施の形態２に係る音声合成装置の構成を示すブロック図である。
【符号の説明】
【０２０９】
１０１  ＬＰＣ分析部
１０２  ＰＡＲＣＯＲ算出部
１０３  フィルタ平滑化部
１０４  逆フィルタ部
１０５  音源モデル化部
１０６  フィルタ変形部
１０７  目標音声情報保持部
１０８  音源変形部
１０９  合成部
１１０  変換比率入力部
２０１  ＡＲＸ分析部
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009022454.tif 000076
【図２】
2009022454.tif 000077
【図３】
2009022454.tif 000078
【図４】
2009022454.tif 000079
【図５Ａ】
2009022454.tif 000080
【図５Ｂ】
2009022454.tif 000081
【図５Ｃ】
2009022454.tif 000082
【図５Ｄ】
2009022454.tif 000083
【図６Ａ】
2009022454.tif 000084
【図６Ｂ】
2009022454.tif 000085
【図６Ｃ】
2009022454.tif 000086
【図６Ｄ】
2009022454.tif 000087
【図７】
2009022454.tif 000088
【図８Ａ】
2009022454.tif 000089
【図８Ｂ】
2009022454.tif 000090
【図９Ａ】
2009022454.tif 000091
【図９Ｂ】
2009022454.tif 000092
【図９Ｃ】
2009022454.tif 000093
【図９Ｄ】
2009022454.tif 000094
【図１０】
2009022454.tif 000095
【図１１】
2009022454.tif 000096
【図１２】
2009022454.tif 000097
【図１３】
2009022454.tif 000098
【図１４】
2009022454.tif 000099
【図１５Ａ】
2009022454.tif 000100
【図１５Ｂ】
2009022454.tif 000101
【図１５Ｃ】
2009022454.tif 000102
【図１６Ａ】
2009022454.tif 000103
【図１６Ｂ】
2009022454.tif 000104
【図１６Ｃ】
2009022454.tif 000105
【図１７】
2009022454.tif 000106
【図１８】
2009022454.tif 000107
【図１９Ａ】
2009022454.tif 000108
【図１９Ｂ】
2009022454.tif 000109
【図１９Ｃ】
2009022454.tif 000110
【図２０】
2009022454.tif 000111
【図２１】
2009022454.tif 000112
【図２２】
2009022454.tif 000113
【図２３】
2009022454.tif 000114
【図２４】
2009022454.tif 000115
【図２５Ａ】
2009022454.tif 000116
【図２５Ｂ】
2009022454.tif 000117
【図２５Ｃ】
2009022454.tif 000118
【図２５Ｄ】
2009022454.tif 000119
【図２６Ａ】
2009022454.tif 000120
【図２６Ｂ】
2009022454.tif 000121
【図２６Ｃ】
2009022454.tif 000122
【図２６Ｄ】
2009022454.tif 000123
【図２７】
2009022454.tif 000124
【国際調査報告】
2009022454.tif 000125
2009022454.tif 000126
2009022454.tif 000127
2009022454.tif 000128