(57)【要約】本発明は、テキストをセグメント化された発音ユニットに分割するステップ（Ｓ３０３）と、発音ユニットのそれぞれに対して適切な音響ユニットを特定するステップ（Ｓ３０４）を含むテキスト音声変換方法（Ｓ３００）を提供する。各音響ユニット（ＡＵ）は、音響的類似性によって決定される発音クラスタを形成する音響セグメントを表している。本方法（３００）は次に、音響ユニット（ＡＵ）の韻律パラメータと各発音ユニットの間の分散を決定するステップ（Ｓ３０５）を実行する。次に、音響ユニットの韻律パラメータおよび関連する分散から音響パラメータを生成するステップ（Ｓ３０６）が実行され、その後、音響パラメータに基づいて出力音声信号を供給するステップ（Ｓ３０７）が行われる。本発明は、携帯装置に適切な、改善された合成音声品質、システム性能、および低減されたメモリーオーバーヘッドを提供することができる。
2005534070.tif 000002
【特許請求の範囲】
【請求項１】
テキストをセグメント化された発音ユニットに分割するステップと、
前記発音ユニットのそれぞれに対して適切な音響ユニットを特定するステップであって、各音響ユニットは、音響的類似性によって決定される発音クラスタを形成する音響セグメントを表すステップと、
音響ユニットの韻律パラメータと、前記発音ユニットのそれぞれとの間の分散を決定するステップと、
前記音響ユニットの韻律パラメータおよび関連する分散から音響パラメータを生成して音響セグメントを選択するステップと、
前記音響セグメントに基づいて出力音声信号を供給するステップと、
を備えるテキスト音声変換方法。
【請求項２】
前記韻律パラメータはピッチを含む請求項１に記載のテキスト音声変換方法。
【請求項３】
前記韻律パラメータは持続期間を含む請求項１に記載のテキスト音声変換方法。
【請求項４】
前記韻律パラメータはエネルギーを含む請求項１に記載のテキスト音声変換方法。
【請求項５】
前記決定は、句または文の中の前記音響ユニットの位置に基づいている請求項１に記載のテキスト音声変換方法。
【請求項６】
前記決定は、同時調音に基づいている請求項１に記載のテキスト音声変換方法。
【請求項７】
前記決定は、句長に基づいている請求項１に記載のテキスト音声変換方法。
【請求項８】
前記決定は、前記音響ユニットの隣接する文字に基づいている請求項１に記載のテキスト音声変換方法。
【請求項９】
前記分割は、テキストの文を音節に分割することを特徴とする請求項１に記載のテキスト音声変換方法。
【請求項１０】
前記発音ユニットは、音節である請求項１に記載のテキスト音声変換方法。
【請求項１１】
前記発音ユニットは、発音記号を割り当てられる請求項１に記載のテキスト音声変換方法。
【請求項１２】
前記発音記号は、ピンイン表現である請求項１１に記載のテキスト音声変換方法。
【請求項１３】
前記出力音声信号は連結された選択音響セグメントの選択物である請求項１に記載のテキスト音声変換方法。
【請求項１４】
前記出力音声信号は連結された選択音響セグメントの選択物である請求項１１に記載のテキスト音声変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連結式テキスト音声（ＴＴＳ）変換に関する。本発明は、特に韻律制御を伴う連結式ＴＴＳ合成に有用であるが、必ずしもそれに限定されるものではない。
【背景技術】
【０００２】
コンピュータ、携帯電話、または携帯情報端末（ＰＤＡ）に格納された大量のテキスト文献を読むとすぐに目が疲れることがある。また、移動中の車中で電子画面上のデータを読むのは不便なことがある。それ故、これらの問題を解決するために、テキスト文書を、読み手に聞き取るための音声に変換することが求められている。
【０００３】
現在、ほとんどすべての高品質テキスト音声（ＴＴＳ）合成技術は、それぞれ対応する文字、単語、または句の発話波形連結に基づいている。望ましい発話波形は普通、発話波形コーパスから導かれる。この発話波形コーパスは、種々の文、句、およびそれに対応する発話波形を格納している。求められる合成発話の品質は、コーパスなどのサイズによって決まる。
【０００４】
図１は、現在の一般的な連結式ＴＴＳシステムを示す。このシステムは三つの部分、即ち、テキスト処理部分、音響セグメントベース、および音声合成装置を含んでいる。このシステムは、最初に文および単語を単語セグメントに分解し、その後、辞書（ｌｅｘｉｃｏｎ）の援助によって、対応する文字に発音記号を割り当てる。それから、その一連のセグメント化された発音記号を、発話または句波形コーパスからの音響セグメントと突き合わせ、それによって、最も一致した音響セグメントを得ることができる。最後に、選択した音響セグメントを適当な休止を入れて連結して出力音声を得る。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
そのような既存のＴＴＳシステムは通常、発話波形を直接格納している。しかしながら、人の発話に非常に近い音声効果を得るためには、ほとんどの状況の音声特性をカバーするためのすべての種類の音声環境における大量の発話波形を格納する必要がある。大量の発話波形の格納は大量のメモリー空間を必要とする。高品質テキスト音声システムは通常、何百メガバイトものメモリー容量を必要とする。携帯電話やＰＤＡなどの携帯装置に対して、メモリー容量は普通、ハードウェアとコストの制限により、たったの数メガバイトである。それ故、これらの携帯装置について高品質テキスト音声を有することは困難である。このことが、これらの技術分野におけるテキスト音声変換の使用を制限している。
【課題を解決するための手段】
【０００６】
本発明は、テキストをセグメント化された発音ユニットに分割するステップと、前記発音ユニットのそれぞれに対して適切な音響ユニットを特定するステップであって、各音響ユニットは、音響的類似性によって決定される発音クラスタを形成する音響セグメントを表しているステップと、音響ユニットの韻律パラメータと、前記発音ユニットのそれぞれとの間の分散を決定するステップと、前記音響ユニットの韻律パラメータおよび関連する分散から音響パラメータを生成して音響セグメントを選択するステップと、前記音響セグメントに基づいて出力音声信号を供給するステップとを備えたテキスト音声変換方法を提供する。
【０００７】
前記韻律パラメータは、ピッチ、持続期間、またはエネルギーを含むのが適切である。
前記決定は、句または文の中の前記音響ユニットの位置、同時調音、句長、または前記
音響ユニットの隣接する文字に基づくのが好ましい。
【０００８】
前記分割は、テキストの文を音節に分割することを特徴とすることができる。前記発音ユニットは音節であるのが適切である。前記発音ユニットに発音記号を割り当てることができる。前記発音記号はピンイン表現であるのが適切である。
【０００９】
別の形態においては、テキスト音声変換システムが提供されている。このシステムは、入力テキストに基づいて単語セグメント化後に一連の発音記号を形成するテキストプロセッサを備えている。このテキスト音声変換システムは更に、少なくとも発話注釈コーパスと音響ユニットインデックス（ＡＵインデックス）と韻律ベクトル（ＰＶ）選択装置とを含む音響韻律制御装置を備えている。発話注釈コーパスは、少なくとも音響ユニット（ＡＵ）インデックスと韻律ベクトル（ＰＶ）を含んでいる。音響ユニットインデックス（ＡＵインデックス）と韻律ベクトル（ＰＶ）選択装置は、単語のセグメント化後に一連の発音記号を受け取り、音響ユニット（ＡＵ）インデックスと韻律ベクトル（ＰＶ）とを含む一連の制御データを生成する。このテキスト音声変換システムはまた、少なくとも音響パラメータベースを含む合成装置を備えており、合成装置は、音響韻律制御装置からの制御データに応答することにより音声を合成する。
【００１０】
本発明はまた、連結式テキスト音声システムによって、テキスト入力を対応する合成音声に変換する方法を提供する。この方法は、テキスト入力を処理、変換して一連のセグメント化された発音記号を生成するステップと、少なくとも音響ユニット（ＡＵ）インデックスを含む発話注釈コーパスを検索して最も一致するものを見つけ、一致した注釈コンテキストをフェッチするステップと、前記一連のセグメント化された発音記号の一致した部分をＡＵインデックスおよび韻律ベクトルと置き換えるステップと、少なくともＡＵインデックスと韻律ベクトルを有する一連の制御データを生成するステップと、この制御データに応答して合成音声を生成するステップを備えている。
【００１１】
本発明は更に、記号コーパスを形成する方法を提供する。本方法は、発話を音響セグメント（ＡＳ）に分割するステップと、前記ＡＳを発音上の分類と音響的類似性を考慮してクラスタに分類するステップと、クラスタ内のすべての音響セグメントを表している音響ユニット（ＡＵ）を選択するステップと、音響ユニットをフレーム毎にそれぞれの一連のパラメータに変換するステップと、各ＡＵのフレームパラメータを一連のベクトルインデックスにベクトル定量化するステップと、フレームに基づくスカラーパラメータとベクトルインデックスとを含むＡＵパラメータベースを形成するステップと、すべてのＡＳに対して一致したＡＵを検索し、ＡＵとＡＳとの間のそれぞれの韻律ベクトルを決定するステップと、音響セグメントを発音記号、ＡＵインデックス、および韻律ベクトルと置き換えて、元のＡＳ波形コーパスの代わりに発話注釈コーパスを形成するステップとを備えている。このように、コーパスのための実際の人の発話の収集に基づいて、本発明は、発話または音響セグメントを分類し、クラスタ内のすべての音響セグメントの代表としての音響ユニットと、音響セグメントと音響ユニットとの間の差とのみを保存し、元の発話波形を表すパラメータを使用することによって、発話注釈コーパス内に格納されるデータ量を効率よく低減することができる。
【００１２】
本発明によれば、各クラスタの音響セグメントを置き換えるために発音記号が使用されるので、メモリーの所望データの数を効率よく減らし、メモリー空間を節約することができる。その上、本発明は、各音響ユニット波形を一連のパラメータに変換し、音響ユニット波形の代わりにそのようなパラメータを用いて、音響ユニットパラメータベースを形成するので、音響ユニットを格納するのに必要なメモリー空間を更に低減することができる。本発明は、音響ユニットと音響セグメントとの間の差を用いて音響セグメントを表し、音響セグメントの波形を、各音響セグメントの発音記号およびそれに対応する音響ユニッ
トパラメータ、並びにそれらの間の差で置き換える。このことは、各音響セグメントに対応する音節の発話情報を表すことができるので、歪を低減することができる。
【００１３】
本発明は、高効率テキスト音声変換方法および装置を提供し、高品質合成音声を提供する。必要なシステム性能とメモリー空間は、通常のコンピュータに対してのみならず小型携帯装置に対してもそれを適切なものにする。
【発明を実施するための最良の形態】
【００１４】
図１に従来のＴＴＳ変換システムを示す。このシステムは、三つの主要部分、即ち、テキストプロセッサ１００、音響セグメントベース２００、および合成装置３００を含んでいる。テキストプロセッサ１００の主な機能は、入力テキストを正規化しセグメント化した後、テキストの文字に、対応する発音記号を割り当てることである。このシステムは、得られた発音記号列を用いて、音響セグメントベース２００に格納されている発音記号列と突き合わせたのち、発音記号を、対応する発話または句の対応する音響セグメントと置き換える。最後に、合成装置３００が、テキストに従ってこれらの音響セグメントを適当な休止を入れて連結し、これにより望ましい音声出力を得ることができる。音響セグメントベース２００は、大量のテキスト内容情報と、そのテキスト内容の発話を格納している。発話情報が多ければ多いほど、合成音声は実際の人の発話に近くなる。もし入力テキストの文が音響セグメントベースに格納された文と完全かつ直接的に一致したならば、この格納された文の波形を、音声出力のために、即ち、記録される実際の発話のために、直接使用することができる。しかしながら、ほとんどの状況において、システムは、そのような完全に一致した文を見つけることはできない。この場合には、この文の単語と句の部分的な一致が要求され、従って、単語セグメント化を行うことが必要である。次に、対応する音響セグメントが、ＴＴＳ変換のために特定される。
【００１５】
図１において、入力テキストは、最初に、テキスト正規化部１１０を用いて正規化される。次に、単語セグメント化部１３０が、辞書１２０によって導かれて、句読点を識別する手順および単語をセグメント化する手順によって文の分割を行う。単語をセグメント化した後、発音記号割当部１４０と音響セグメント選択部２５０が、発話または句コーパス２６０を用いて、音響セグメントベース２００内の音響セグメントを検索し選択する。選択されたセグメントは休止生成部３８０と音響セグメント連結部３７０に送られる。休止生成部３８０は、音響セグメント連結部３７０に供給される休止情報を生成する。音響セグメント連結部３７０は、適当な休止を連結および追加し、波形後処理装置に音声信号を出力する。波形後処理部３９０は次に、合成変換された音声信号を出力する。
【００１６】
連結式ＴＴＳ変換方法またはシステムにとって、自然な発音の品質は、発話波形コーパスのサイズと適切な音響セグメントの選択に依存する。メモリー空間を節約するために、本発明は主として、発話波形のパラメータを格納し、このパラメータを用いて望ましい音声を合成するので、メモリー格納オーバーヘッドを低減することができる。
【００１７】
本発明は、発話注釈コーパスを形成する方法を提供する。この方法は、発話波形コーパスを形成する以下のステップを備えている。前記方法は、まず、種々のテキストを読んでいる間の人の発話を記録し、次に、これらの発話を生発話波形コーパスに格納する。これらの発話は、良好な発音と韻律のバランスを備えた生発話波形コーパスを構築するために慎重に選択されたものである。
【００１８】
発話波形は複数の音響セグメント（ＡＳ）に分割される。各音響セグメント（ＡＳ）は通常、一定の言語環境における文字の発話に対応している。各音響セグメントは、特定のテキストにおける音節または副音節の詳細な表現であり、明確な音声上の意味を有している。普通、異なる言語環境における各文字の発音記号は、多くの異なる音響セグメントと
対応している可能性がある。音響連結の目的は、詳細な言語環境における各文字、単語または句の望ましい適切な音響セグメントを見出し、その音響セグメントを互いに連結することにある。
【００１９】
音響セグメント（ＡＳ）の発音上の分類と音響的類似性に従って、音響セグメント（ＡＳ）は、その音響的類似性によって決定されるクラスタ（ＣＲ）にグループ分けされる。各クラスタ（ＣＲ）において、音響ユニット（ＡＵ）と呼ばれる一つの音響セグメント（ＡＳ）が、そのクラスタ（ＣＲ）内のすべての音響セグメント（ＡＳ）の代表として選択される。全ての音響ユニット（ＡＵ）が音響ユニットパラメータベース２３１を構成する。従来技術と比較して、本発明は、音響ユニット（ＡＵ）を用いてクラスタ（ＣＲ）を表す。クラスタ（ＣＲ）内のすべての他の音響セグメントは、そのクラスタ（ＣＲ）の音響セグメントに対する韻律分散を示すオフセットパラメータを用いて格納される。この点について、クラスタ（ＣＲ）内の全音響セグメント（ＡＳ）間に比較的小さなばらつきがある。それ故、各音響ユニット（ＡＵ）はフレーム毎に一連のパラメータに変換され、音響ユニットパラメータベース２３１に格納される。フレームベクトルコードブック２３２を用いて、各音響ユニットの「フレームパラメータ」が、一連のベクトルインデックスおよび音響ユニットパラメータとしてベクトル定量化される。この場合、実際の音響ユニットデータと置き換えるために音響ユニットインデックスを用いることによって、必要な格納データを低減することができる。音声連結と合成の間、音響ユニットインデックスの使用により、ベクトルインデックスおよび音響ユニットパラメータが得られ、次いで、ベクトルインデックスにより、元の発話波形のフレームパラメータが得られる。次に、フレームパラメータを用いて、人の元の発話波形を合成することができる。
【００２０】
例えば中国語において音響ユニット（ＡＵ）が意味を含む声調（ｉｍｐｌｉｅｄ  ｔｏｎｅ）（１〜５）を有している場合、音響ユニット（ＡＵ）を表すフレームは、以下の形式で音響ユニットパラメータベースに格納される。
【００２１】
Ｆｒａｍｅ＿ＡＵ＿ｎ＿（ピッチ、持続期間、エネルギー）：この実施態様において、ピッチは１８０〜３３０（Ｈｚ）の範囲を有し、持続期間は１６５〜４５２ｍｓの範囲を有し、エネルギーは、処理されディジタル化された発話の変動測定ＲＭＳ（二乗平均平方根）電力値から導かれる７７０〜７４０６の範囲を有している。
【００２２】
当業者にとって明らかなように、ピッチ、持続時間、およびエネルギーは、韻律ベクトルまたはパラメータとして表される韻律特徴である。従って、発音またはピンインの「Ｙｕ（２）」は、Ｆｒａｍｅ＿ＡＵ＿５１＿（２５４，２５１，３１４２）として格納することができ、「Ｍａｏ（１）」は、Ｆｒａｍｅ＿ＡＵ＿１００１＿（２８０，１９０，２５１９）として格納することができる。
【００２３】
発話波形コーパスの各クラスタ（ＣＲ）の各音響セグメント（ＡＳ）は、音響ユニットパラメータベースの対応する音響ユニットインデックスと関連づけられる（マップされる）。各音響セグメントは、音響セグメント（ＡＳ）のクラスタ（ＣＲ）の一つを表す音響ユニット（ＡＵ）により得ることができる。
【００２４】
音響セグメントとその対応する音響ユニットとの間の韻律ベクトルを得ることができる。韻律ベクトルは、各クラスタの音響セグメントと、そのクラスタを表す音響ユニットとの間のパラメータの差を示す。そのようなパラメータの差は、それらの物理的事例の差に基づいている。それ故、音響セグメントは、代表的な音響ユニットと一定の韻律ベクトルにより求めることができる。従って、発話注釈コーパスは、音響セグメント波形の代わりに、各セグメントの発音記号と、その対応する音響ユニットインデックスと、その韻律ベクトルによって作成される。
【００２５】
図２を参照してテキスト音声の連結合成を説明する。テキスト音声の連結は三つの主要部分、テキスト処理、音響韻律制御、および音声合成を含んでいる。テキスト処理によって、入力テキストは音響韻律制御のために使用される発音記号に変換される。データ駆動制御によって、音響韻律制御部分は、発音記号を突き合わせるための発話注釈コーパスを用いて、発音記号を音響ユニットインデックスと韻律ベクトルに変換し、その後、ルール駆動制御によって、音響注釈コーパスからの不一致だった発音記号が、望ましい音響ユニットインデックスと韻律ベクトルに変換される。音声合成装置においては、得られた音響ユニットインデックスと韻律ベクトルが、音響ユニットパラメータベースとフレームベクトルコードブックによって、自然な発話波形のフレームパラメータに変換されたのち、連結されて合成音声になる。
【００２６】
最初にテキスト処理を簡単に説明する。既存の連結式テキスト音声変換と同様に、本発明の入力テキストはまず、テキストプロセッサ２０１内で処理される。テキスト正規化部２１１によって、入力された不規則なテキストは、システムの正規化テキスト形式に分類、変換される。次に、単語セグメント化部２１２が、正規化されたテキストを、辞書２１３および関連するルールベース（図示せず）に従って、一連の単語セグメントに分割する。セグメント化後、発音記号割当部２１４が、入力テキストの文字および単語を一連の発音記号に変換する。中国語を考えた場合、発音記号はピンイン表現によって表現されるであろう。従って、文字「魚」（中国語の「さかな」）がテキスト正規化部２１１において受け取られたならば、発音記号割当部２１４においてピンインの「Ｙｕ（２）」に変換される。ここで（２）はＹｕの第２音発音を示す。
【００２７】
本発明の音響韻律制御装置２０２は、得られた一連の発音記号の解析および処理を行う。音響韻律制御装置２０２は、発話注釈コーパス２２１と、音響ユニットインデックス韻律ベクトル選択部２２２と、韻律ルールベース２２３と、韻律改善部２２４を備えている。本発明は、音響と韻律の多重制御を用いて音響韻律情報を生成する。この制御は、二段階、即ち、データ駆動制御とルール駆動制御を含んでいる。
【００２８】
従来技術においては、入力テキストの各発音記号に対して、まず、発話波形コーパス内の一致する音響セグメントを出力として検索しなければならない。本発明は、発話波形コーパスを直接用いずに、発話注釈コーパスを用いて、一致する音響セグメントのパラメータを検索する。
【００２９】
データ駆動制御段階においては、単語のセグメント化から得られた一連の発音記号に対して、音響ユニットインデックス韻律ベクトル選択部２２２がまず、テキスト関係または韻律関係を利用して、発話注釈コーパス２２１から一致するものを見つける。一致する発音記号は、発話注釈コーパス内の対応する音響ユニットインデックスおよび韻律ベクトルによって置き換えられる。一致した部分が一つまたはそれ以上の休止を含んでいる場合は、休止を表す特別な音響ユニットが、その音響ユニットのパラメータが休止情報を含むように、適宜挿入される。
【００３０】
データ駆動段階の間に不一致だった発音記号に対して、発話注釈コーパス内のほぼ正確な（最も近い）シーケンスが使用される。あるいは、本発明のルール駆動制御段階を用いて不一致なシーケンスを処理する。この段階の間、発音記号がベースとして用いられ、不一致な発音記号は、韻律ルールベース２２３内のルールまたは表に従って、対応する音響ユニットインデックスと、韻律ベクトルと、休止音響ユニットとによって決定される。
【００３１】
音響韻律制御装置２０２の出力は、音響ユニットの発話特性を反映した一連の制御データと、韻律ベクトルおよび必要な休止記号とを含んでいる。例えば、ピンイン「Ｙｕ」に
対しては、出力制御データは「Ｆｒａｍｅ＿ＡＵ＿５１」の音響ユニットインデックスを含んでいる。
【００３２】
本システムはまた、音声波形合成装置２０３を有し、この音声波形合成装置２０３は、音響ユニットパラメータベース２３１と、フレームベクトルコードブック２３２と、音響ユニットパラメータアレイ生成部２３３と、音響ユニットパラメータアレイ変更部２３４と、音響セグメントアレイ連結部２３５と、波形合成装置２３６とを含んでいる。
【００３３】
本発明の音声波形合成装置は、得られた音響ユニットインデックスと韻律ベクトルを、音響ユニットパラメータベース２３１とフレームベクトルコードブック２３２を利用することによって、自然な発話波形のフレームパラメータに変換したのち、それらを連結して音声にする。その詳細な手順を以下に説明する。
【００３４】
本発明の音声波形合成装置２０３は、音響韻律制御装置２０２から出力された音響韻律制御データに基づいて、音声波形出力、即ち、次から次へと続く音響セグメント（ＡＳ）を形成する。各音響セグメント（ＡＳ）に対して、音声波形合成装置２０３は主として、音響ユニットインデックスと韻律ベクトルと休止記号の三つの側面から作用する。
【００３５】
上に述べたように、本発明の音響ユニットパラメータベース２３１は、ベクトルインデックスおよびフレームパラメータの構成を音響ユニットインデックスと関連づける。これは、音響ユニットインデックスと、音響ユニットパラメータベース２３１から得られるベクトルインデックスおよび対応するスカラーパラメータとを用いて行なうことができる。
【００３６】
フレームベクトルコードブック２３２において、一連のベクトルインデックスが音響ユニットフレームパラメータおよびスカラーパラメータと関連づけられている。それ故、音響パラメータベース２３１から得られたベクトルインデックスとフレームベクトルコードブックとを用いて、元の発話波形のフレームパラメータを得ることができる。従って、ピンイン「Ｙｕ」に対して、「Ｆｒａｍｅ＿ＡＵ＿５１＿（２５４，２５１，３１４２）」の音響ユニットインデックスがアクセスされる。
【００３７】
音響ユニットパラメータアレイ生成部２３３は、音響ユニットパラメータベース２３１の出力とフレームベクトルコードブック２３２とを用いて、ベクトルアレイ、即ち、音響ユニットパラメータのアレイを形成する。ベクトルアレイの各グループの構成要素は、フレームに基づく音響ユニットパラメータである。アレイのサイズは、音響ユニットのフレームの数によって決まる。音響ユニットパラメータのこのアレイは、音響ユニットのすべての音響特性を完全に表している。
【００３８】
この時点で、音響セグメントを表す音響特性が得られる。音響セグメントのパラメータの望ましいアレイは、フレーム形式Ｆｒａｍｅ＿ＡＵ＿５１＿（オフセット１，オフセット２，オフセット３）によって表される韻律分散である音響特性パラメータに基づく、音響セグメントと音響ユニットとの間の差を用いて得ることができる。この点については、その代表的な音響ユニット（ＡＵ）としてＦｒａｍｅ＿ＡＵ＿５１＿（２５４，２５１，３１４２）を有するクラスタ（ＣＲ）内の各音響セグメントに対して、オフセット１はピッチを表す分散であり、オフセット２は持続期間を表す分散であり、オフセット２はエネルギーを表す分散である。
【００３９】
音響ユニットパラメータ変更部２３４は、この動作を行うために使用される。上述のデータ駆動段階とルール駆動段階の間、音響セグメントとそれに対応する音響ユニットとの間の韻律ベクトルが得られる。音響ユニットパラメータ変更装置２３４は、韻律ベクトルを用いて音響ユニットパラメータアレイ生成装置の出力アレイを変更することによって、
音響セグメントパラメータアレイを得る。音響セグメントパラメータアレイは、フレームに基づいており、音響セグメントの韻律特性を表し、語彙音調と、ピッチ曲線と、持続期間と、振幅発音／同時調音体環境アイデンティティの二乗平均とを含むように拡張することもできる。
【００４０】
音声を合成する目的は、発話波形コーパス内の音響セグメントを再生すること、または、韻律ルールベース２２３に基づき低歪で音響セグメントを生成することである。音響セグメントパラメータアレイ連結装置２３５は、音響セグメントパラメータアレイ内の得られたフレームベクトルパラメータを順に連結する。さらに、休止記号（休止情報を含む）を検出すると、ゼロベクトルをそこへ挿入する。最後に、配列されたフレームベクトルパラメータを発話波形合成装置２３６へ出力する。波形合成装置２３６は、各フレームベクトルを用いて、一定持続期間の音響セグメント波形、即ち、音響セグメントのフレームを生成する。音響波形のすべてのフレームを連結することにより望ましい音声出力が得られる。
【００４１】
従来技術におけるデータ駆動は、ＴＴＳシステムが一組の自然発話から音響韻律情報を選択するのを可能にする。自然な発話を得るために、既存のＴＴＳシステムは波形コーパスを使用するので、大量のメモリー空間を必要とする。
【００４２】
自然な発話効果を得るために、本発明はデータ駆動制御も使用する。その違いは、本発明が、大きなメモリー空間の波形コーパスを直接使用せずに、発話注釈コーパスを使用して、メモリー空間を節約することにある。発話注釈コーパスには、音節の種類と音響ユニットベースだけが格納されている。
【００４３】
図３を参照して、本発明を更に説明する。図３に、図２のシステムにおいて実行されるテキスト音声変換方法Ｓ３００を示す。開始ステップＳ３０１の後、本方法はテキスト正規化部１１０によって正規化される受信テキストステップＳ３０２を行う。本方法３００は次に、受信したテキストをセグメント化された発音ユニットに分割するステップＳ３０３を実行する。これは単語セグメント化部１４０によって行われ、発音記号割当部１４０によって発音ユニットに発音記号が割り当てられる。テキストのセグメント化された発音ユニットは、一般的に単一音素であり、中国語テキストにおいては「魚」などの単一文字である。この発音ユニットには、発音記号またはピンイン「Ｙｕ（２）」が割り当てられ、特定ステップＳ３０４において、発音ユニットのそれぞれに対して適切な音響ユニットが特定される。例えば、「Ｙｕ（２）」に対しては、音響ユニット（ＡＵ）は「Ｆｒａｍｅ＿ＡＵ＿５１」である。決定ステップＳ３０５は、Ｆｒａｍｅ＿ＡＵ＿５１によって特定される音響ユニット（ＡＵ）の韻律パラメータと、「Ｙｕ（２）」に対する音響ユニットの必要な韻律パラメータとの間の分散を決定する。これは、ルールベース２２３と韻律改善部２２４によって行われ、受信テキストの句または文の中における「Ｙｕ（２）」に対する音響ユニット文字の位置に基づいている。韻律パラメータもまた、同時調音、句の長さ、隣接文字に基づくことができる。本方法は、一般的に以下の形式「Ｆｒａｍｅ＿ＡＵ＿５１＿（オフセット１，オフセット２，オフセット３）」におけるオフセット値またはインデックスによって、分散を決定する。
【００４４】
ステップＳ３０５の後、生成ステップＳ３０６は、音響ユニット（ＡＵ）の韻律パラメータおよび関連する分散（オフセット１，オフセット２，オフセット３）から音響パラメータを生成する。これは、Ｆｒａｍｅ＿ＡＵ＿５１を有するＡＵパラメータベース２３１およびコードブック２３２をアドレッシングすることによって達成される。コードブック２３２とＡＵパラメータベース２３１とからの出力を組み合わせて、音響ユニットパラメータ生成部２３３の出力においてベクトルマトリックスを生成する。音響ユニットパラメータアレイ変更部２３４は、分散（オフセット１，オフセット２，オフセット３）と、音
響ユニットＦｒａｍｅ＿ＡＵ＿５１に対するベクトルマトリックスとに基づいて、適切な音響セグメント（ＡＳ）を決定する。選択された音響セグメント（ＡＳ）は、音響ユニットパラメータアレイ変更部２３４の出力において特定され、連結式発話信号が、選択された音響セグメント（ＡＳ）の音響パラメータに基づいて出力音声信号を供給するための供給ステップＳ３０７において生じる。連結式発話信号は、選択された音響セグメント（コーパス内の必要な音声波形をアクセスする）と、韻律改善部２２４によって供給された休止情報に基づいている。本方法は次にテストステップＳ３０８を実行して、処理すべきテキストが更にあるかを判定し、ステップＳ３０９において終了するか、またはステップＳ３０２へ戻る。
【００４５】
有利なことには、本発明は、比較的少数の音響ユニットでクラスタを表すことができるようになっている。それ故このことはメモリーオーバーヘッドに対する備えとなる。
詳細な説明は、好ましい典型的な実施態様だけを規定しているが、本発明の範囲、適用可能性、または構成を制限するものではない。むしろ、好ましい典型的な実施態様の詳細な説明は、当業者に、本発明の好ましい典型的な実施態様を実施するための可能な説明を提供している。添付の特許請求の範囲に述べられた本発明の精神と範囲から逸脱しなければ、要素の機能と配置において種々の変更が可能であることは明らかである。
【００４６】
尚、上記明細書中において、本願の国際出願時の明細書である国際公開公報第ＷＯ０４／０１２１８３号明細書においては、下記文字で表示されていた箇所を「魚」なる文字を用いて表示した。
【００４７】
【表１】
2005534070.tif 000003
【図面の簡単な説明】
【００４８】
【図１】従来のテキスト音声変換システムを示す図。
【図２】本発明に従うテキスト音声変換システムを示す図。
【図３】本発明に従うテキスト音声変換方法を示すフローチャート。
【図１】
2005534070.tif 000004
【図２】
2005534070.tif 000005
【図３】
2005534070.tif 000006
【国際調査報告】
2005534070.tif 000007
2005534070.tif 000008
2005534070.tif 000009