(57)【要約】この発明は、信号を合成する方法であって、ａ）第１の種類の第１期間と、第２の種類の第２期間とを交互に順に有する第１信号を与え、ｂ）前記第１の種類である前記必要ピッチベル位置の最初の必要ピッチベル位置の最近隣接期間を識別することによって、前記必要ピッチベル位置の前記最初の必要ピッチベル位置に対するピッチベルの１つを選択し、また前記識別された期間のピッチベルを選択し、ｃ）前記第２の種類を有する前記必要ピッチベル位置の２番目の必要ピッチベル位置の最近隣接期間を識別することにより、前記必要ピッチベル位置の前記２番目の必要ピッチベル位置に対するピッチベルの１つを選択し、また前記識別された期間のピッチベルを選択し、これにより、前記の工程ｂ）とｃ）とを前記必要ピッチベル位置の全てに対して行なう信号を合成する方法に関する。
2005539265.tif 000002
【特許請求の範囲】
【請求項１】
信号を合成する方法であって、
ａ）第１の種類の第１期間と、第２の種類の第２期間とを交互に順に有する第１信号を与え、
ｂ）前記第１信号のウィンドウ化を行なって、前記第１および第２期間のそれぞれに対してピッチベルを与え、
ｃ）合成される第２信号の多数の必要ピッチベル位置を決定し、
ｄ）前記第１の種類である前記必要ピッチベル位置の最初の必要ピッチベル位置の最近隣接期間を識別することによって、前記必要ピッチベル位置の前記最初の必要ピッチベル位置に対するピッチベルの１つを選択し、また前記識別された期間のピッチベルを選択し、
ｅ）前記第２の種類を有する前記必要ピッチベル位置の２番目の必要ピッチベル位置の最近隣接期間を識別することにより、前記必要ピッチベル位置の前記２番目の必要ピッチベル位置に対するピッチベルの１つを選択し、また前記識別された期間のピッチベルを選択し、
ここで前記工程ｄ）とｅ）とを前記必要ピッチベル位置の全てに対して行ない、
ｆ）前記第２信号を合成するために、前記選択されたピッチベルに重畳および追加操作を行なうことを含む方法。
【請求項２】
前記第１信号がほぼ同一の信号形式の交互の強弱期間を有する、請求項１に記載の方法。
【請求項３】
前記第１信号がきしみ音声信号である、請求項１または２に記載の方法。
【請求項４】
前記合成される第２信号の継続時間を長くするために、前記必要ピッチベル位置が決定される、請求項１、２または３に記載の方法。
【請求項５】
特にデジタル記憶媒体であるコンピュータプログラム製品であって、
ａ）第１の種類の第１期間と、第２の種類の第２期間とを交互に順に有する第１信号を与え、
ｂ）前記第１信号のウィンドウ化を行なって、前記第１および第２期間のそれぞれに対してピッチベルを与え、
ｃ）合成される第２信号の多数の必要ピッチベル位置を決定し、
ｄ）前記第１の種類である前記必要ピッチベル位置の最初の必要ピッチベル位置の最近隣接期間を識別することによって、前記必要ピッチベル位置の前記最初の必要ピッチベル位置に対するピッチベルの１つを選択し、また前記識別された期間のピッチベルを選択し、
ｅ）前記第２の種類を有する前記必要ピッチベル位置の２番目の必要ピッチベル位置の最近隣接期間を識別することにより、前記必要ピッチベル位置の前記２番目の必要ピッチベル位置に対するピッチベルの１つを選択し、また前記識別された期間のピッチベルを選択し、
ここで前記工程ｄ）とｅ）とを前記必要ピッチベル位置の全てに対して行ない、
ｆ）前記第２信号を合成するために、前記選択されたピッチベルに重畳および追加操作を行なうことを実行するプログラム手段を含むコンピュータプログラム製品。
【請求項６】
前記プログラム手段が、前記合成される第２信号の必要継続時間に応じて、前記必要ピッチベル位置を決定するよう適合されている、請求項５に記載のコンピュータプログラム製品。
【請求項７】
特にテキスト音声合成システムであるコンピュータシステムであって、
−第１の種類の第１期間と、第２の種類の第２期間とを交互に順に有する第１信号を与える手段と、
−前記第１信号のウィンドウ化を行なって、前記第１および第２期間のそれぞれに対してピッチベルを与える手段と、
−合成される第２信号に対して多数の必要ピッチベル位置を決定する手段と、
−前記第１の種類である前記必要ピッチベル位置の最初の必要ピッチベル位置の最近隣接期間を識別することにより、前記必要ピッチベル位置の前記最初の必要ピッチベル位置に対するピッチベルの１つを選択し、前記識別された期間のピッチベルを選択し、また前記第２の種類を有する前記必要ピッチベル位置の２番目の必要ピッチベル位置の最近隣接期間を識別することにより、前記必要ピッチベル位置の前記２番目の必要ピッチベル位置に対するピッチベルの１つを選択し、前記識別された期間のピッチベルを選択する手段と、
−前記第２信号を合成するために、前記選択されたピッチベルに重畳および追加操作を行なう手段と、を具備してなるコンピュータシステム。
【請求項８】
前記第１信号の第１および第２期間を識別するための分類データを記憶する手段を更に含む、請求項７に記載のコンピュータシステム。
【請求項９】
重畳および追加される多数のピッチベルを含む合成信号であって、前記ピッチベルは第１および第２の種類であり、前記第１および第２の種類はほぼ同一の信号形式と変化する振幅とを有し、また前記ピッチベルを選択して第１および第２の種類のピッチベルの交互の順序を形成する合成信号。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声を合成する分野に関し、特にテキスト音声合成の分野に制限なく関する。
【背景技術】
【０００２】
テキスト音声（ＴＴＳ―Text-To-Speech―）合成システムの機能は、ある言語の一般的なテキストから音声を合成することである。今日、ＴＴＳシステムは、電話網を介してのデータベースへのアクセスや心身障害者の援助など多くの用途に対して実用化されている。１つの方法では、半音節や多音字など、記録された音声の小単位の組の要素をつなぎ合わせることによって音声を合成する。大多数の成功を収めた商業システムは、多音字の連結を使用している。
【０００３】
多音字は、２つ（２音字）、３つ（３音字）または更に多くの音のグループを含んでおり、また安定したスペクトル領域で所望の音の分類を区切ることにより、無意味語から割り出すことができる。連結に基づく合成において、２つの隣接音間の移行の会話は、合成音声の品質を確保するのに重要である。基本小単位として多音字を選択するので、２つの隣接する音の間の移行は記録された小単位において保存され、また連結は類似する音の間で行なわれる。
【０００４】
しかし、合成の前に、音の継続時間とピッチとを修正して、このような音を含む新しい語の音律的制約を満たす必要がある。この処理は、単調な音の合成音声の生成を回避するのに必要である。ＴＴＳシステムにおいて、この機能は音律モジュールによって行なわれる。記録された小単位で継続時間とピッチの修正を可能にするために、多数の連結に基づくＴＴＳシステムでは合成の時間領域ピッチ同期重畳追加（ＴＤ−ＰＳＯＬＡ―Time-Domain Pitch-Synchronous Overlap-Add―）（E. MoulinesおよびF.Charpentier、「２音字を使用するテキスト音声合成のためのピッチ同期波形処理技術」、Speech Commun.、第９巻、４５３〜４６７頁、１９９０年）モデルを使用している。
【０００５】
既知のＰＳＯＬＡ方法を用いて継続時間を長くして信号を合成する場合、各ピッチベルは、継続時間の所望の延長に対応する回数だけ繰り返される。例えば、継続時間が２倍になると、元の信号の各期間が繰り返される。このアプローチをきしみ声［creaky voice―クリーク声・かすれ声―］に適用すると、結果として得られる合成信号は不自然に聞こえて、声のきしみ特性は失われる。
【発明の開示】
【０００６】
従って、本発明は、きしみ声の合成を可能にする、信号を合成する改善された方法を提供することを目的とする。また、本発明は、対応するコンピュータプログラム製品と、特にテキスト音声システムであるコンピュータシステムとを提供することを目的とする。
【０００７】
本発明は、きしみ声に当てはまるように、強弱期間を交互に有する信号を合成する方法を提供する。
【０００８】
きしみ声は、話者のピッチがその末端にある文の終わりに発せられることが多い。きしみ声は、ピッチ期間の継続時間の不規則性によって特徴付けられる。１つのよくあるきしみ声の種類は、交互の強弱期間を有している。本発明は、継続時間の長い信号を合成する従来のＰＳＯＬＡタイプの方法を適用することによって、強弱期間の交互の反復が失われ、またそのために不自然な音の振幅変動が合成音に加わってしまうという発見に基づいている。本発明は、合成信号におけるこのようなきしみ声の特性を保つことを可能にする。
【０００９】
本発明の好適な実施例によれば、元のきしみ声の音声信号の強弱期間を、異なるクラスタイプの期間をマーキングすることによって分類する。この情報を使用して、強期間と弱期間との間の交互の選択を行なう。ピッチベルの選択に対して最近隣接期間を選択することにより、信号エンベロープの形式も継続時間の長い合成信号において維持される。
【００１０】
本発明は特に、テキスト音声合成システムに有利である。本発明の好適な実施例によれば、このようなテキスト音声合成システムは、元の音声信号の分類情報を記憶するデータファイルを含んでいる。この分類情報を使用することにより、強弱期間を交互に有するきしみ声の間隔が識別される。
【００１１】
この分類情報は、信号内のきしみ声の特性を検出するために元の信号を分析するコンピュータプログラムを使用することによって生成することができる。あるいは、この分類は、専門家によって実行することができる。ちなみに、分類は一度だけおこなわれるものであり、最初の分類の後は、更なる相互作用無しで様々な継続時間の無数の信号を合成することができる。
【００１２】
以下、本発明の好適な実施例につき図面を参照して更に詳細に説明する。
【発明を実施するための最良の形態】
【００１３】
図１は、０．０７秒の継続時間を有する元の信号１００を示している。元の信号１００の期間は、「ｖ」、「ｅ」または「ｏ」として分類される。分類子「ｖ」は「有声」タイプの期間を識別し、また分類子「ｅ」および「ｏ」は「きしみ」タイプである期間を識別するが、ここで「ｅ」は強期間を示し、「ｏ」は弱期間を示している。この状況において、「弱」は、きしみ声間隔のその期間内の振幅が直前の期間の振幅よりも低いことを意味し、また同様に、「強」はきしみ音声のその期間の振幅がきしみ音声間隔の直前の期間の振幅よりも高いことを意味している。元の信号１００のこの分類は、上述した信号特性を識別するために元の信号１００を分析するコンピュータプログラムを使用して行なうことができる。あるいは、この分類は専門家が手動で行なうこともできる。分類を第１工程でコンピュータプログラムを使用して行ない、次に第２工程で分類の精度を上げるために専門家が再検討を行なうことが好適である。元の信号１００およびその分類は、合成信号１０２を生成する基礎となる。合成信号１０２は、元の信号１００の継続時間の約２倍である約０．１６秒の継続時間を有していなければならない。この必要継続時間を有する信号１０２を合成するために、ピッチベル位置ｊを合成信号１０２の領域における時間軸１０４上で決定する。ピッチベル位置ｊは、合成される信号の基本周波数によって与えられる期間ｐで、時間軸１０４上で離間している。ちなみに、合成される信号は、元の信号と同一または別のピッチ／基本周波数を有することができる。第１必要ピッチベル位置ｊ＝１は、元の信号１００内のきしみ音声間隔の第１期間ｅ１に当てはまるように、「ｅ」タイプである。その結果、ピッチベルは、ウィンドウ化によって元の信号１００の期間ｅ１から得られる。それに続く必要ピッチベル位置ｊ＝２は、きしみ声の合成で交互の強弱期間が必要なので、「ｏ」タイプのピッチベルを必要とする。元の信号１００内のきしみ音声期間内で信号エンベロープの形式も維持するために、期間ｏ１である、元の信号１００内の「ｏ」タイプの最近隣接期間からピッチベルを得る。それに続く必要ピッチベル位置ｊ＝３も、「ｅ」タイプのピッチベルを必要とする。このピッチベルは、必要ピッチベル位置ｊ＝３に最も近く隣接する元の信号１００内で「ｅ」として分類される期間から得られる。この最近隣接期間は、元の信号１００内の期間ｅ１である。これは、元の信号１００の期間ｅ１をウィンドウ化することにより、ピッチベル位置ｊ＝３に対してピッチベルが得られることを意味している。
【００１４】
同様に、引き続くピッチベル位置ｊ＝４は、「ｏ」タイプでなければならない。再び、ピッチベルを得るために、元の信号１００内のそのタイプの最近期間を選択する。この必要タイプの最近期間は、期間ｏ１である。このプロセスは、各必要ピッチベル位置に対してピッチベルを得るために、時間軸１００上の全ての必要ピッチベル位置ｊに対して行なわれる。
【００１５】
結果として得られたピッチベルは、継続時間の長い合成きしみ声を含む必要信号１０２を合成するために、重畳および追加される。結果として得られた合成信号１０２は、元の信号の特性のこの特徴を維持するために、元の信号１００に当てはまるように、連続する交互の強弱期間を有している。ピッチベルを得るために、必要な分類の最近隣接期間が常に元の信号１００から選択されるため、元の信号１００のきしみ部分の信号エンベロープの形式も維持される。その結果、元のきしみ音声信号の特徴全てを有しているが、継続時間の長い自然に聞こえる合成信号１０２が得られる。
【００１６】
図２は、対応するフローチャートを示している。ステップ２００では、元の音声信号が与えられる。元の音声信号は、きしみ声を含む少なくとも１つの間隔を含んでいる。ステップ２０２では、きしみ音声期間が識別され、分類される。これは、手動で、あるいはコンピュータプログラムにより、あるいはコンピュータプログラムの支援により行なうことができる。きしみの自然さを保つために、強弱期間を異なるクラスタイプでマーキングし、またこの情報を使用して強期間と弱期間との間の交互の選択を行なう。強（偶数）期間は「１」タイプでマーキングし、また弱（奇数）期間は「−１」タイプでマーキングする。ステップ２０４では、ウィンドウ化によって、元の音声信号からピッチベルを得る。ウィンドウ化操作は、元の信号の基本周波数と同調して位置するウィンドウによって行なわれる。ステップ２０６では、合成される信号の時間領域における必要ピッチベル位置ｊを決定する。合成される信号がある継続時間を有していなければならない場合、これは、期間ｐで離間するｘ個のピッチベル位置が必要であることを意味し、ここで数値ｘは元の信号に含まれる期間数よりも大きい。ステップ２０８では、指標ｊを１に等しくなるよう初期化する。ステップ２１０では、指数ｔを１に等しくなるよう初期化する。指数ｔは「１」または「−１」であるタイプを示している。ステップ２１２では、合成される信号の時間領域内のピッチベル位置ｊに対してピッチベルを選択する。この選択は、必要タイプｔを有する元の信号の時間領域内のピッチベル位置ｊに最も近く隣接するものを検索することによって行なわれる。このように、ｔタイプのピッチベルを、元の信号の時間領域内のピッチベル位置ｊに最も近く隣接するものから選択する。ステップ２１４では、指標ｊをインクリメントして、次のピッチベル位置ｊに進む。ステップ２１６では、必要タイプを分類「弱」に変えるために、タイプパラメータに−１を乗算する。その結果、次のステップ２１２では、「−１」タイプである次のピッチベル位置ｊに最も隣接するピッチベルが、元の信号の領域から選択される。全ての必要ピッチベル位置ｊに対してピッチベルが選択されるまで、ステップ２１２、２１４および２１６を繰り返し実行する。この選択プロセスの完了後、重畳および追加操作がおこなわれ、結果として得られた信号はきしみ声を含み、また必要な継続時間を有している。
【００１７】
図３は、テキスト音声合成システムなどのコンピュータシステム３００のブロック図を示している。コンピュータシステム３００は、きしみ音声間隔を含む元の音声信号の記録を保存するモジュール３０２を有している。モジュール３０４は、図１の例に示すように、音声分類情報を記憶、すなわち分類子「ｖ」、「ｅ」および「ｏ」を記憶するよう機能する。モジュール３０６は、ピッチベルを得るために、元の音声信号のウィンドウ化を行なうよう機能する。モジュール３０８は、合成される信号の領域内の必要ピッチベル位置を決定するよう機能する。これは、合成される信号の必要長さｙと、合成される信号の必要基本周波数とに基づいて行なわれるが、この基本周波数は元の音声信号の基本周波数と同一であってもよいし、なくてもよい。モジュール３１０は、モジュール３０６から得られるピッチベルを選択するよう機能する。ピッチベルは、図２に示すように、ステップ２１２、２１４および２１６に従って選択される。これは、元の音声の信号エンベロープの形式を保ちつつ、連続する交互の強弱期間を生成することによって、きしみ声が得られることを意味している。モジュール３１２は、モジュール３１０で選択されたピッチベルに重畳および追加操作を行なうよう機能する。このように、必要合成信号が得られる。
【図面の簡単な説明】
【００１８】
【図１】きしみ声を含む元の信号と長い継続時間を有する合成信号とを示している。
【図２】本発明の方法の実施例のフローチャートである。
【図３】コンピュータシステムの好適な実施例のブロック図である。
【図１】
2005539265.tif 000003
【図２】
2005539265.tif 000004
【図３】
2005539265.tif 000005
【国際調査報告】
2005539265.tif 000006
2005539265.tif 000007