(57)【要約】この発明は、信号を合成する方法であって、ａ）合成されるべき信号上に必要ピッチベル位置を決定し、ｂ）前記必要ピッチベル位置を元の信号上にマッピングして、第１ピッチベル位置を与え、ｃ）前記第１ピッチベル位置をランダムに移動させて、第２ピッチベル位置を与え、ｄ）前記第２ピッチベル位置上で前記元の信号についてウィンドウ化を行なって、ピッチベルを与え、ｅ）合成されるべき前記信号の領域の範囲内で前記必要ピッチベル位置に結果であるピッチベルを配置し、ｆ）全ての必要ピッチベル位置に対して工程ａ）からｅ）までを繰り返し、また前記信号を合成するために前記ピッチベルに対して重畳および追加操作を行なうことを含む方法に関する。
2005539264.tif 000002
【特許請求の範囲】
【請求項１】
信号を合成する方法であって、
ａ）必要ピッチベル位置を決定し、
ｂ）前記必要ピッチベル位置を元の信号上にマッピングして、第１ピッチベル位置を与え、
ｃ）前記第１ピッチベル位置をランダムに移動させて、第２ピッチベル位置を与え、
ｄ）前記第２ピッチベル位置上で前記元の信号についてウィンドウ化を行なって、ピッチベルを与え、
ｅ）全ての必要ピッチベル位置に対して工程ａ）からｄ）までを繰り返し、また前記信号を合成するために前記ピッチベルに対して重畳および追加操作を行なうことを含む方法。
【請求項２】
前記必要ベル位置の決定を、合成される信号の必要長さを時間間隔に分割することによって行ない、また前記時間間隔のそれぞれがピッチの長さを有している、請求項１に記載の方法。
【請求項３】
前記第１ピッチベル位置のランダム化の工程が、前記第１ピッチベル位置を＋／−ピッチの間隔内でランダムに移動させることにより行なわれる、請求項１または２に記載の方法。
【請求項４】
Ｒが−１から１の間の乱数で、またｐが前記ピッチであるときに、前記第１ピッチベル位置ｉをランダム化して前記第２ピッチベル位置ｉ′を与える工程が、以下の式
ｉ′＝ｉ＋（Ｒｘｐ）
に従って行なわれる、前記請求項１、２または３のいずれか１つに記載の方法。
【請求項５】
ウィンドウ化が正弦ウィンドウを用いて行なわれる、前記請求項１ないし４のいずれか１つに記載の方法。
【請求項６】
ｍが前記ウィンドウの長さ、またｎが実行指数であるときに、ウィンドウ化が以下の正弦ウィンドウ関数
【数１】
2005539264.tif 000004
を用いて行なわれる、前記請求項１ないし５のいずれか１つに記載の方法。
【請求項７】
前記元の信号が基本周波数を有しておらず、また前記元の信号が好適には無声音または音楽を含んでいる、前記請求項１ないし６のいずれか１つに記載の方法。
【請求項８】
特にデジタル記憶媒体であるコンピュータプログラム製品であって、
ａ）必要ピッチベル位置を決定することと、
ｂ）前記必要ピッチベル位置を元の信号上にマッピングして、第１ピッチベル位置を与えることと、
ｃ）前記第１ピッチベル位置をランダム化して、第２ピッチベル位置を与えることと、
ｄ）前記第２ピッチベル位置上で前記元の信号をウィンドウ化して、ピッチベルを与えることと、
ｅ）全ての必要ピッチベル位置に対して前記工程ａ）からｄ）までを繰り返し、また前記信号を合成するために前記ピッチベルに対して重畳および追加操作を実行するプログラム手段を具備してなるコンピュータプログラム製品。
【請求項９】
信号を合成する特にテキスト音声合成システムであるコンピュータシステムであって、
―合成する信号内で必要ピッチベル位置を決定する手段と、
―前記必要ピッチベル位置を元の信号上にマッピングして、第１ピッチベル位置を与える手段と、
―前記第１ピッチベル位置をランダム化して、第２ピッチベル位置を与える手段と、
―前記第２ピッチベル位置上で前記元の信号をウィンドウ化して、ピッチベルを与える手段と、
―前記信号を合成するためにピッチベルに対して重畳および追加操作を行なう手段と、を具備してなるコンピュータシステム。
【請求項１０】
重畳および追加される多数のピッチベルを具備してなる合成信号であって、ピッチベルのそれぞれが第２ピッチベル位置上で元の信号をウィンドウ化することによって得られ、前記ピッチベル位置は第１ピッチベル位置をランダム化することによって得られ、前記第１ピッチベル位置は必要ピッチベル位置を元の信号上にマッピングすることによって得られる、合成信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声や音楽を合成する分野に関し、特に制限なしにテキスト音声合成の分野に関する。
【０００２】
テキスト音声（ＴＴＳ―Text-To-Speech―）合成システムの機能は、ある言語の一般的なテキストから音声を合成することである。今日、ＴＴＳシステムは、電話網を介してのデータベースへのアクセスや心身障害者の援助など多くの用途に対して実用化されている。１つの方法では、半音節や多音字など、記録された音声の小単位の組の要素をつなぎ合わせることによって音声を合成する。大多数の成功を収めた商業システムは、多音字の連結を使用している。多音字は、２つ（２音字）、３つ（３音字）または更に多くの音のグループを含んでおり、また安定したスペクトル領域で所望の音の分類を区切ることにより、無意味語から割り出すことができる。合成の基礎となる連結において、２つの隣接音間の移行の会話は、合成音声の品質を確保するのに重要である。基本小単位として多音字を選択するので、２つの隣接する音の間の移行は記録された小単位において保存され、また連結は類似する音の間で行なわれる。
【０００３】
しかし、合成の前に、音の継続時間とピッチとを修正して、このような音を含む新しい語の音律的制約を満たす必要がある。この処理は、単調な音の合成音声の生成を回避するのに必要である。ＴＴＳシステムにおいて、この機能は音律モジュールによって行なわれる。記録された小単位で継続時間とピッチの修正を可能にするために、多数の連結に基づくＴＴＳシステムでは合成の時間領域ピッチ同期重畳追加（ＴＤ−ＰＳＯＬＡ―Time-Domain Pitch-Synchronous Overlap-Add―）（E. MoulinesおよびF.Charpentier、「２音字を使用するテキスト音声合成のためのピッチ同期波形処理技術」、Speech Commun.、第９巻、４５３〜４６７頁、１９９０年）モデルを使用している。
【０００４】
ＴＤ−ＰＳＯＬＡモデルにおいては、まず、音声信号がピッチマーキングアルゴリズムを受ける。このアルゴリズムは、有声セグメントにおける信号のピークでマークを割当て、また無声セグメントにおいては１０ｍｓ離れたマークを割当てる。合成は、ピッチマークに中心を置くハニングウィンドウ化セグメントを重ね合わせ、また前のピッチマークから次のピッチマークに拡張することによって行なわれる。継続時間の修正は、ウィンドウ化セグメントの一部を削除または反復することによって行なわれる。一方、ピッチ期間の修正は、ウィンドウ化セグメントの間の重ね合わせを増加あるいは減少させることによって行なわれる。
【０００５】
多数の商業用ＴＴＳシステムで成功しているにもかかわらず、合成のＴＤ−ＰＳＯＬＡモデルを使用して生成される合成音声は、主に大きな音律的変化を受けると、幾つかの欠点を示すことがある。
【０００６】
ＥＰ−０３６３２３３、ＵＳ−Ａ−５，４７９，５６４、ＥＰ−０７０６１７０は、ＰＳＯＬＡ方法を開示している。特定の例も、Ｔ．ＤｕｔｏｉｔおよびＨ．Ｌｅｉｃｈ、ｉｎ  Ｓｐｅｅｃｈ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ、Ｅｌｓｅｖｉｅｒ  Ｐｕｂｌｉｓｈｅｒ、１９９３年１１月、第１３巻、Ｎ．等級３−４、１９９３年で公表されているように、ＭＢＲ−ＰＳＯＬＡ方法である。米国特許第５，４７９，５６４号の文献に説明されている方法は、この信号から抽出した短期間信号を重畳追加することによって周波数を修正する手段を提案している。短期間信号を得るために使用される重みウィンドウの長さは、音声信号の期間の２倍にほぼ等しく、またこの期間内におけるそれらの位置を何れかの数値に設定することができる（連続するウィンドウ間の時間的推移が音声信号の期間に等しい場合）。米国特許第５，４７９，５６４の文献もまた、不連続性を除去するよう、連結するセグメント間の波形を補間する手段について述べている。ノイズが多い信号を既知のＰＳＯＬＡ方法を使用して合成する場合、信号は周期的に繰り返される。このように、故意でない周期性が周波数スペクトルに導入される。これは金属的な音として認識される。この問題は、無声音部分や音楽など、基本周波数を有さない全てのノイズの多い信号に生じる。「ｓ」音のような無声音部分は、ピッチを有していない。声帯は、有声音のときのように動いていない。その代わりに、ノイズの多いシューという音は、声帯の間の小さな開口を介して空気を押し出すことによって発生する。ささやきは、無声部分のみを含む音声の例である。ピッチが無い場合、ピッチを変更する必要はない。しかし、無声音部分の継続時間を変更することは望ましい。
【発明の開示】
【０００７】
従って、本発明は、信号に故意でない周期性を導入することなく、無声音部分や音楽の継続時間を修正することを可能にする、信号を合成する方法を提供することを目的とする。
【０００８】
本発明は、元の信号に基づいて、特にノイズの多い信号である信号を合成する方法を提供する。また、本発明は、このような合成を行なうコンピュータプログラム製品と、特にテキスト音声システムである対応するコンピュータシステムとを提供する。
【０００９】
本発明によれば、合成する信号の必要ピッチベル位置が決定される。これは、例えば１００Ｈｚの想定周波数に基づいて行なわれる。この選択された周波数は、ピッチ期間に対応する。合成する信号の必要ピッチベル位置は、ピッチ期間の長さを有する間隔で、時間軸上で離間している。必要ピッチベル位置は元の信号上にマッピングされて、元の信号の領域におけるピッチベル位置が与えられる。元の信号の領域におけるピッチベル位置は、ランダムに移動される。好適には、ランダム化は、＋／−ピッチ期間内で元の信号領域のピッチベル位置を移動することによって行なわれる。
【００１０】
本発明の実施例によれば、ウィンドウ化は正弦ウィンドウを使用することにより行なわれる。正弦ウィンドウの利点は、残留する周期性を減少させるのに役立つことである。特に、正弦ウィンドウを使用することは、パワードメインにおける信号エンベロープを一定に保つことを確実にすることにおいて有利である。周期的信号とは異なり、２つのノイズサンプルを追加する場合、合計は２つのサンプルの一方の絶対値よりも小さくなりえる。。これは、信号が（多くの場合）同相でないためである。正弦ウィンドウはこの効果に合わせて調整を行ない、エンベロープ変調を除去する。
【００１１】
以下において、本発明の好適な実施例を、図面を参照して更に詳細に説明する。
【発明を実施するための最良の形態】
【００１２】
図１のフローチャートは、信号を合成する方法の実施例を示している。ステップ１００において、ｙの継続時間を有する元の信号が提供される。例えば、元の信号は、ノイズの多い信号特性を有する無声音または音楽信号を含む自然音声信号である。また、基本周波数ｆは、元の信号がそのノイズの多い特性のためにこのような基本周波数を有していないにもかかわらず、選択される。周波数ｆの選択は、ピッチ期間ｐの選択に対応する。周波数ｆの適切な選択は、５０Ｈｚから２００Ｈｚの間、好適には１００Ｈｚである。また、合成される信号の所望の継続時間ｘは、ステップ１００において入力される。ステップ１０２において、合成される信号の領域におけるピッチベル位置は、周波数ｆおよびピッチ期間ｐの選択に応じて決定される。これは、合成される信号の領域における時間軸を長さｐの間隔に分割することによって行なわれる。ステップ１０４において、ピッチベル位置は、合成される信号の領域から、元の信号の領域上にマッピングされる。継続時間ｘが元の信号の継続時間ｙよりも長い場合、これは、元の信号の領域におけるピッチベル位置ｉがピッチ期間ｐよりも短い間隔で離間していることを意味している。逆の場合、元の信号の領域におけるピッチベル位置ｉ間の間隔は、ピッチベル位置と合成される信号の領域との間の間隔よりも長くなる。ステップ１０６において、元の信号の領域におけるピッチベル位置ｉはランダム化される。これは、元のピッチベル位置ｉ周辺で＋／−ｐの間隔内でピッチベル位置ｉのそれぞれをランダムに移動させることによって、行なうことができる。擬似乱数生成器を使用して、このランダム化を行なうことが可能である。ステップ１０８では、元の信号の領域においてウィンドウ化を行なう。好適には、これは、ランダム化されたピッチベル位置ｉ′に適用される正弦ウィンドウを使用することによって行なわれ、このように周期性は更に軽減される。ステップ１１０では、結果として生じたピッチベルは、合成される信号の領域において重畳および追加され、これによって合成信号が得られる。
【００１３】
図２は、一例としてこの信号合成を示している。時間軸２００は、合成される信号の領域に存在する。合成される信号の必要継続時間ｘは、ここで考察する例では二分の一である。想定周波数ｆは１００Ｈｚであり、これは１０ミリ秒のピッチ期間ｐに対応する。これは、時間軸２００上の合成される信号の領域における必要ピッチベル位置が、ｐ＝１０ミリ秒の間隔で離間されている、すなわち第１ピッチベル位置が時間軸２００上のゼロ秒に位置し、次のピッチベル位置が１０ミリ秒に位置し、また次のピッチベル位置が２０ミリ秒に位置し、以下同様であることを意味している。換言すれば、合成される信号の領域におけるピッチベル位置は、時間ゼロで開始するｐの間隔で離間する時間軸２００上の点によって決定される。時間軸２００上のピッチベル位置は、元の信号の領域における時間軸２０２にマッピングされる。元の信号は、ｙ＝０．５秒の継続時間を有している。継続時間ｙが合成される信号の継続時間ｘよりも短くなると、これはピッチベル位置を時間軸２０２上で「圧縮」する必要があることを意味している。継続時間ｙが継続時間ｘの半分であれば、時間軸２０２上のマッピングされたピッチベル位置の間隔は、ｐではなくｐ／２だけ離間している。これは、第１ピッチベル位置ｉ＝１が時間軸２０２上のゼロミリ秒に位置し、次のピッチベル位置ｉ＝２が５ミリ秒に位置し、次のピッチベル位置ｉ＝３が１０ミリ秒に位置し、以下同様であることを意味している。換言すれば、時間軸２００上の時間ゼロミリ秒の第１ピッチベル位置は、ゼロミリ秒で時間軸２０２上のピッチベル位置ｉ＝１にマッピングされ、また時間軸２００上の１０ミリ秒の必要ピッチベル位置は、時間軸２０２上の５ミリ秒のピッチベル位置ｉ＝２にマッピングされ、更に時間軸２００上の２０ミリ秒の必要ピッチベル位置は、時間軸２０２上の時間１０ミリ秒のピッチベル位置ｉ＝３にマッピングされ、以下同様である。次に、ピッチベル位置ｉはランダム化される。これを、時間軸２０２上の第１ピッチベル位置ｉ＝１について図２に示す。ゼロミリ秒周辺の＋／−ｐの間隔は、時間軸２０２上で定義される。この間隔内で、ピッチベル位置ｉ＝１はランダムに移動される。ピッチベル位置ｉ＝１の場合、間隔は時間軸２０２上で−１０ミリ秒から＋１０ミリ秒の間である。ここで考察する例では、これによって、時間軸２０２上の７．５ミリ秒のランダム化されたピッチベル位置ｉ′が得られる。この位置で、元の信号はウィンドウ関数２０４を使用することによってウィンドウ化される。好適には、以下のウィンドウを使用してウィンドウ関数２０４を得る。
【数１】
2005539264.tif 000003
【００１４】
好適には、ピッチベル位置ｉのランダム化は、以下の式に従って行なわれる。
ｉ′＝ｉ＋（Ｒｘｐ）
ここで、ｉは時間軸２０２上の元のピッチベル位置を表し、ｉ′はランダム化後の新たなピッチベル位置であり、Ｒは−１から１の間の乱数であり、またｐはピッチ期間である。元の信号をウィンドウ化した結果が、ピッチベルである。このピッチベルは、図２に示すように、時間軸２００上の合成される信号の領域内の第１必要ピッチベル位置に位置している。このプロセスは、時間軸上の全ての必要ピッチベルに対して繰り返される。これらのピッチベルは追加され、これによって長さｘの所望の合成信号が生じる。
【００１５】
図３は、テキスト音声システムなどのコンピュータシステムのブロック図を示している。コンピュータシステム３００は、ｙの継続時間を有する元の信号を記憶するモジュール３０２を有している。また、コンピュータシステム３００は、予め選択した周波数ｆまたはピッチｐを記憶するモジュール３０４を有している。モジュール３０６は、合成される信号の必要継続時間ｘと予め選択した周波数ｆまたはピッチｐとに基づいて、合成される信号の必要ピッチベル位置を決定するよう機能する。モジュール３０８は、合成される信号の領域における必要ピッチベル位置を元の信号の領域上にマッピングするよう機能する。このように、ピッチベル位置ｉは、図２の例に示すように決定される。モジュール３１０は、ピッチベル位置ｉをランダム化するよう機能する。モジュール３１０はランダム化プロセスの乱数を与えるモジュール３１２に結合される。モジュール３１４は、ランダム化されたピッチベル位置ｉ′上で元の信号のウィンドウ化を行なうよう機能する。そして、結果として得られるピッチベルは、モジュール３１６を使用することにより、合成される信号の領域において重畳および追加される。これにより、所望の継続時間ｙの合成信号が得られる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施例のフローチャートを示している。
【図２】無声音信号を合成する例を示している。
【図３】コンピュータシステムの好適な実施例のブロック図である。
【符号の説明】
【００１７】
２００  時間軸
２０２  時間軸
２０４  ウィンドウ関数
３００  コンピュータシステム
３０２  モジュール
３０４  モジュール
３０６  モジュール
３０８  モジュール
３１０  モジュール
３１２  モジュール
３１４  モジュール
３１６  モジュール
【図１】
2005539264.tif 000005
【図２】
2005539264.tif 000006
【図３】
2005539264.tif 000007
【国際調査報告】
2005539264.tif 000008
2005539264.tif 000009
2005539264.tif 000010