(57)【要約】音声合成装置カスタマイズシステム（１０）は、カスタマイズされた階層的なユーザーデータベースを生成するための機構を提供する。前記カスタマイズシステムは、ユーザー（１８）からのカスタマイズデータと、テキスト読み上げ（ＴＴＳ）合成装置（１２）からの複製された動的な関連合成データ（２０）とに基づいて、テンプレートを生成するためのテンプレート管理ツール（１４）を有する。前記複製された動的な合成データは、階層レベルを有する動的なデータ構造において配列される。前記カスタマイズシステムは、合成装置の標準データベースを補足するユーザーデータベース（２２）をさらに含む。前記ツールは、動的なデータ構造の全ての階層レベルにおいて、その後に生成される音声合成データよりも一律に優先することをユーザーデータベースに可能にさせるようなテンプレートによって、ユーザーデータベースを占有する。
2004522192.tif 000002
【特許請求の範囲】
【請求項１】
音声合成装置カスタマイズシステムであって、
ユーザーからのカスタマイズデータと、テキスト読み上げ合成装置からの複製された動的な合成データとに基づいて、テンプレートを生成するためのテンプレート管理ツールと、
合成装置の標準データベースを補足するユーザーデータベースと
を具備し、
前記複製された動的な合成データは、階層レベルを有する動的なデータ構造において配列され、
前記ツールは、動的なデータ構造の全ての階層レベルにおいて、その後に生成される音声合成データよりも一律に優先することをユーザーデータベースに可能にさせるようなテンプレートによって、ユーザーデータベースを占有することを特徴とするカスタマイズシステム。
【請求項２】
各々のテンプレートは、音声合成データに優先するために該テンプレートが用いられる条件と、音声合成データに優先するために実行すべき活動とを定義することを特徴とする請求項１に記載のカスタマイズシステム。
【請求項３】
前記条件は、言語ツリー構造の階層レベルに対応することを特徴とする請求項２に記載のカスタマイズシステム。
【請求項４】
前記条件は、音響ツリー構造の階層レベルに対応することを特徴とする請求項２に記載のカスタマイズシステム。
【請求項５】
前記ツールは、
カスタマイズデータに基づいて、複製された動的な合成データを処理するためのテンプレート生成器と、
複製された動的な合成データを、ユーザーに対して図式的に表示するための出力インターフェースと、
ユーザーからカスタマイズデータを得るための１つ以上の入力インターフェースと
を含むことを特徴とする請求項１に記載のカスタマイズシステム。
【請求項６】
前記入力インターフェースは、キーボード装置の入力とテンプレート生成器との間に動作可能に連結されたコマンドインタープリタを含むことを特徴とする請求項５に記載のカスタマイズシステム。
【請求項７】
前記入力インターフェースは、マウス装置の入力とテンプレート生成器との間に動作可能に連結されたグラフィックスツールモジュールを含むことを特徴とする請求項５に記載のカスタマイズシステム。
【請求項８】
前記入力インターフェースは、マイクロフォン装置の入力とテンプレート生成器との間に動作可能に連結された音声処理モジュールを含むことを特徴とする請求項５に記載のカスタマイズシステム。
【請求項９】
前記音声処理モジュールは、
マイクロフォン装置の入力から得られたデータに基づいて、入力波形を生成するための入力波形サブモジュールと、
入力波形に基づいて、ピッチデータを生成するためのピッチ抽出サブモジュールと、
入力波形に基づいて、フォルマントデータを生成するためのフォルマント解析サブモジュールと、
入力波形に基づいて、音素を自動的に分類するための音素分類モジュールと
を含むことを特徴とする請求項８に記載のカスタマイズシステム。
【請求項１０】
テキスト読み上げ合成装置の音声合成データであって、階層レベルを有する動的なデータ構造において配列される音声合成データに優先するための複数のテンプレートと、
動的なデータ構造の全ての階層レベルにおいて、その後に生成される音声合成データよりも一律に優先することをユーザーデータベースに可能にさせるようなテンプレートを組織する階層データ構造と
を具備することを特徴とするユーザーデータベース。
【請求項１１】
各々のテンプレートは、音声合成データに優先するために該テンプレートが用いられる条件と、データに優先するために実行すべき活動とを定義することを特徴とする請求項１０に記載のユーザーデータベース。
【請求項１２】
前記条件は、言語ツリー構造の文レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項１３】
前記条件は、言語ツリー構造の節レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項１４】
前記条件は、言語ツリー構造の句レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項１５】
前記条件は、言語ツリー構造の単語レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項１６】
前記条件は、言語ツリー構造の形態レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項１７】
前記条件は、言語ツリー構造の音素レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項１８】
前記条件は、音響ツリー構造の発話レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項１９】
前記条件は、音響ツリー構造の韻律句レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項２０】
前記条件は、音響ツリー構造の韻律語レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項２１】
前記条件は、音響ツリー構造の音節レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項２２】
前記条件は、音響ツリー構造の異音レベルに対応することを特徴とする請求項１１に記載のユーザーデータベース。
【請求項２３】
テキスト読み上げ合成装置をカスタマイズするための方法であって、
（ａ）ユーザーからのカスタマイズデータと、合成装置からの複製された動的な合成データとに基づいて、テンプレートを生成する段階と、
（ｂ）合成装置の標準データベースを、ユーザーデータベースによって補足する段階と、
（ｃ）動的なデータ構造の複数の階層レベルにおいて、その後に生成される音声合成データよりも一律に優先することをユーザーデータベースに可能にさせるようなテンプレートによって、ユーザーデータベースを占有する段階と
を具備することを特徴とする方法。
【請求項２４】
前記段階（ａ）〜（ｃ）を、望ましい合成装置の出力が得られるまで反復的に繰り返す段階をさらに含むことを特徴とする請求項２３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概略的には、音声合成に関する。より詳細には、本発明は、動的なデータ構造の全ての階層レベル（hierarchical levels）において音声合成データに優先する（override）ことができる音声合成装置カスタマイズシステム（speech synthesizer customization system）に関する。
【背景技術】
【０００２】
音声合成装置の出力の品質が高まり続けるにつれて、ますます多くの用途が合成技術を組み入れ始めている。例えば、視覚障害者用装置の他に、カーナビゲーション・システムが、音声合成装置を組み入れ始めている。しかしながら、音声合成の人気が高まるにつれて、従来的な取り組みに関する多くの制限が明らかになっている。
【０００３】
特に問題となっている点は、サイズおよび開発コストの問題が、従来的な合成装置が処理できる語彙を制限するという事実に関連する。簡潔に述べると、図１および図２は、通常の合成装置が、階層レベルを備えた動的なデータ構造を有し、この場合に、動的なデータ構造は、言語ツリー（linguistic tree）２０と、音響ツリー（acoustic tree）２２とを含むことを示す。言語ツリー２０は、通常は、合成される文（sentence）についての統語的（syntactic）オブジェクトおよび言語的オブジェクトを含み、その一方で、音響ツリー２２は、この文についての韻律的（prosodic）オブジェクトおよび音響的オブジェクトを保持する。こうして、文の合成中に、２つのツリーのような（tree-like）階層構造が、入力テキストに基づいて“構築される”（または、占有される）。ツリーが、通常は、“親（parent）”ノードが自身の“子（child）”ノードの各々に対する“枝（branches）”を有するようなノードを有することが理解される。言語ツリー２０および音響ツリー２２はツリーのような構造と称されるが、その理由は、ここでは、親ノードが、最初の子ノードと最後の子ノードとに対してアクセスを有するのみである一方で、残りの子ノードはリストに含まれるためである。さらに、各々の子ノードは、対応する親へのアクセスを有する。いずれにしても、ツリー構造のレベルは、階層を構成する。
【０００４】
特定の文についての前述のツリー構造およびノード情報は、固定（または、標準）データベースの助力によって、様々な合成モジュールによりリアルタイムで構築される。例えば、構文解析（parsing）モジュールは、通常は、合成される文から、節（clauses）および句（phrases）を生成し、その一方で、表音式綴り装置（phoneticizer）は、文中の単語（words）から、形態（morphs）および音素（phonemes）を構築するために、標準データベースを用いる。標準データベースに含まれる音節化（syllabification）規則および異音（allophone）規則は、単語と形態と音素とから、音節（syllables）および異音を生成する。韻律（prosody）アルゴリズムは、先述の全ての情報から、韻律句（prosodic phrases）、韻律語（prosodic words）などを生成する。
【０００５】
図３に示されるように、標準データベース２４は、通常は、ツリー２０，２２のノードに配置すべき情報を備えた表を含む。このことは、同時的な“連鎖合成（concatenation synthesis）”について特に当てはまる。標準データベース２４に記憶されたデータは動的なツリー２０，２２内の様々なレベルのノードについての情報を供給するように意図されているので、標準データベース２４もまた本質的には階層的であることに留意されたい。さらに、データベース２４の上位レベルにおけるデータは、下位レベルのデータを参照することができる（逆もまた同様である）。例えば、ある種の句についての情報は、単語の順序と、これらの単語に対応する下方の辞書情報とを参照することができる。こうして、データは、同じデータ項目に対する多くの可能な参照により共有される（かつ、メモリが節約される）。概略的に述べると、標準データベース２４は、関係データベース（relational database）である。
【０００６】
前述したデータベース２４が、一般的な非制限的合成のために設計され、かつ、重大な空間および開発コストの問題を有することに留意することは重要である。これらの典型的な制限のために、データベース２４のサイズおよび複雑さが、通常は制限される。この結果、所定の合成装置を特定の用途に合わせるために、ユーザーデータベースがしばしば必要であることが判明している。実際に、合成装置は、該合成装置内にロードされかつ特定用途向けである“ユーザー辞書”を、型通りに提供する。しばしば、マークアップ言語は、合成された音声を標準的な結果から変更するために、コマンドを入力テキストに埋め込むことを許容する。例えば、ある取り組みは、音調（intonation）のピークをどこで、かつ、どの程度上げるべきかを示すために、（数値を含む）高低の声調記号（tone marks）をテキスト内に挿入することを必要とする。
【０００７】
前述したユーザーデータベースに対する従来的な取り組みが幾つかの状況において有用である一方で、多くの難点が残存している。動的なデータ構造の全ての階層レベルにおいて、その後に生成される音声合成データよりも一律に（uniformly）優先することができない。より正確には、従来的な合成装置は、最大で１つまたは２つの階層レベルを処理し、かつ、各々の階層レベルを異なった機構によって処理する。さらに、（ダイフォン（diphone）のように）階層レベルの中には、線形テキストにおける精度（granularity）についての要求レベルを達成できないことに起因して、テキストマークアップへ本質的にアクセス不可能なものもある。
【０００８】
従来的なユーザーデータベースによる取り組みが、計算に関する通常の合成順序の範囲内において、音声合成データに優先できないことに留意することもまた重要である。例えば、Ａについて要請された強勢（stress）レベルが２であり、かつ、合成すべきものの周囲の文脈（context）においてある種の異音が発見された場合にのみ、新たなユーザーにより供給されたダイフォンＡ−Ｂを特定したいと想定する。複雑な異音規則一式が適用された（これにより、異音のストリームが判断された）後に、かつ、韻律モジュールが強調しない（de-emphasize）単語を選択し、このことが所定の音素についての強勢レベルに影響を及ぼした後に、ある条件が知られるのみであることが理解される。従来的な取り組みの下では、合成に先立って、この条件情報について知ることが事実上できない。従って、カスタマイズされたダイフォンを用いるべき全ての位置において、入力テキストに自動的に“印をつける（markup）”ことが、事実上不可能である。簡潔に述べると、ユーザーにより定義される条件は、現在は、合成処理の内部状態に基づくものとはなり得ないので、従来的なテキストマークアップ処理の下で厳しく制限される。
【０００９】
他の問題は、従来的なユーザーデータベースが、通常は、動的なデータ構造と同じ階層レベルの周囲に組織されないので、合成中に、どこで、かつ、何が変更されるのかについて、柔軟性に欠けた制御を提供してしまうという点である。
【発明の開示】
【課題を解決するための手段】
【００１０】
前述および他の目的は、本発明による音声合成装置カスタマイズシステムにより提供される。前記カスタマイズシステムは、ユーザーからのカスタマイズデータと、テキスト読み上げ合成装置からの複製された動的な合成データとに基づいて、テンプレートを生成するためのテンプレート管理ツールを有する。前記複製された動的な合成データは、階層レベルを有する動的なデータ構造において配列される。前記カスタマイズシステムは、合成装置の標準データベースを補足するユーザーデータベースをさらに含む。前記ツールは、動的なデータ構造の全ての階層レベルにおいて、その後に生成される音声合成データよりも一律に優先することをユーザーデータベースに可能にさせるようなテンプレートによって、ユーザーデータベースを占有する。従って、ツールの使用は、階層的な、かつ、多次元的に散在するユーザーテンプレートの組を組織し、調律し、かつ、維持するための機構を提供する。さらに、音声合成データよりも一律に優先するための機構は、処理のオーバーヘッドを低減し、かつ、より“本質的な”ユーザーデータベースを提供する。
【００１１】
さらに、本発明によれば、ユーザーデータベースが提供される。前記ユーザーデータベースは、ＴＴＳ合成装置の音声合成データに優先するための複数のテンプレートを有する。前記音声合成データは、階層レベルを有する動的なデータ構造において配列される。前記ユーザーデータベースは、動的なデータ構造の全ての階層レベルにおいて、その後に生成される音声合成データよりも一律に優先することをユーザーデータベースに可能にさせるようなテンプレートを組織する階層データ構造をさらに含む。
【００１２】
本発明の他の特徴において、合成装置をカスタマイズするための方法が提供される。前記方法は、ユーザーからのカスタマイズデータと、合成装置からの複製された動的な関連合成データとに基づいて、テンプレートを生成する段階を含む。前記合成装置の標準データベースは、ユーザーデータベースによって補足される。前記方法は、動的なデータ構造の複数の階層レベルにおいて、その後に生成される音声合成データよりも一律に優先することをユーザーデータベースに可能にさせるようなテンプレートによって、ユーザーデータベースを占有する段階をさらに提供する。
【００１３】
前述の概略的な説明および以下の詳細な説明の両方は、本発明の例示に過ぎず、かつ、クレームされている通りの本発明の本質および特徴を理解するための概観または枠組を提供するように意図されていることを理解すべきである。添付図面は、本発明のさらなる理解を提供するために含まれ、かつ、本明細書に編入され、かつ、本明細書の一部を構成する。これらの図面は、本発明の様々な特徴および実施例を示し、かつ、前記説明と共に、本発明の原理および動作を説明するのに役立つ。
【発明を実施するための最良の形態】
【００１４】
本発明は、以下の説明と添付図面とから、より十分に理解されるだろう。
【００１５】
好ましい実施例に関する以下の説明は、本質的には例示的なものに過ぎず、決して、本発明、その用途、または、その使用法を制限するようには意図されていない。
【００１６】
以下、図４を参照すると、音声合成装置カスタマイズシステム１０が示される。カスタマイズシステム１０が、カーナビゲーションや、呼のルーティングや、外国語教育や、インターネットコンテンツの合成のような用途にとって有用となり得ることに留意することは重要である。これらの用途の各々において、一般的な音声合成装置１２を、用途の環境についての先験的知識によってカスタマイズする必要があり得る。従って、好ましい実施例についてはカーナビゲーションに関連して説明するが、本発明の本質および範囲はそのように制限されるものではない。
【００１７】
概略的に、カスタマイズシステム１０は、ユーザー１８からのカスタマイズデータと、テキスト読み上げ（text-to-speech）（ＴＴＳ）合成装置１２からの複製された動的な合成データ２０とに基づいてテンプレートを生成するためのテンプレート管理ツール１４を有する。既述のように、複製された動的な合成データ２０は、階層レベルを有する動的なデータ構造において配列される。カスタマイズシステム１０は、合成装置１２の標準データベース２４を補足するユーザーデータベース２２をさらに含む。さらに詳細に後述するように、ツール１０は、動的なデータ構造の全ての階層レベルにおいて、その後に生成される音声合成データよりも一律に優先することをユーザーデータベース２２に可能にさせるようなテンプレート１６によって、ユーザーデータベース２２を占有する。
【００１８】
図６は、各々のテンプレート１６が、音声合成データに優先するために該テンプレート１６が用いられる条件／キー（condition/key）と、音声合成データに優先するために実行すべき活動／データ（action/data）とを定義することを示す。前記条件が、言語ツリー構造または音響ツリー構造の階層レベルに概略的に対応し得ることが理解される。従って、テンプレート１６ａ〜１６ｃは、言語ツリー構造の文レベルに対応する。最上位レベルのテンプレートを枠文（frame sentence）と符合する（match）ように用いることができ、この場合に、最上位レベルにおいて枠文と符合することは、下位レベルにおけるランタイム処理の必要条件を低減する、ということが分かる。例えば、テンプレート１６ａについての条件は、下位レベルのテンプレート１６ｄと符合するので、両方のテンプレート１６ａ，１６ｄに対応する活動を生じさせるために、一度だけ満たされることを必要とするのみである。
【００１９】
テンプレート１６ｄ〜１６ｋが、言語ツリー構造の単語レベルに概略的に対応する条件を有することがさらに分かる。下位レベルのテンプレート１６ｄ〜１６ｇが、基本周波数の輪郭をカスタマイズするために用いられ、さらに、テンプレート１６ｅが、記憶量の必要条件を低減するために、最上位レベルのテンプレート１６ａ，１６ｂと符合することが分かる。テンプレート１６ｆ，１６ｈのような簡素な“非符合的（non-matched）”テンプレートを、より局所的なカスタマイズのために利用できることがさらに理解される。
【００２０】
さらに、音響ツリー構造の音節レベルに対応する条件の例が、テンプレート１６ｌ，１６ｍにおいて示される。符合がツリー構造の全域で発生し得ることに留意することは重要である。従って、処理リソースをさらに節約するために、（音響ツリー構造の）音節レベルのテンプレート１６ｌを、（言語ツリー構造の）単語レベルのテンプレート１６ｇと符合させることができる。従って、図６は、様々なパラメータをカスタマイズするために、テンプレート１６を利用できることを示す。例示されたユーザーデータベース２２は、通常のデータベースの断片に過ぎない一方で、本発明と関連した利点についての有用な例示を提供する。
【００２１】
図４および図５を続けて参照して、好ましいテンプレート管理ツール１０について、より詳細に論考する。ツール１０は、テンプレート生成器２６と、出力インターフェース２８と、１つ以上の入力インターフェース３０とを含むことが分かる。テンプレート生成器２６は、カスタマイズデータに基づいて、複製された動的な合成データ２０を処理し、かつ、出力インターフェース２８は、複製された動的な合成データ２０（および、他の任意の望ましいデータ）を、ユーザー１８に対して図式的に表示する。入力インターフェース３０は、ユーザー１８からカスタマイズデータを得る。
【００２２】
ＴＴＳ合成装置１２をカスタマイズするために本明細書において説明する方法が反復的な方法であることに留意することは重要である。図４に示される４つの領域間を移行する矢印については、テンプレートが生成され、かつ、補足的なユーザーデータベースが、望ましい合成装置の出力が得られるまで反復的に占有される周期的過程の一部として見ることができる。望ましい合成装置の出力が、主に、カスタマイズシステムが用いられる用途（すなわち、カーナビゲーション、視覚障害者用装置など）により決められることが理解される。
【００２３】
前記入力インターフェースが、キーボード装置の入力とテンプレート生成器２６との間に動作可能に連結されたコマンドインタープリタ３０ａを含むことが好ましい。グラフィックスツールモジュール３０ｂは、マウス装置の入力とテンプレート生成器２６との間に動作可能に連結される。音声処理モジュール３０ｃは、マイクロフォン装置の入力とテンプレート生成器２６との間に動作可能に連結される。一実施例において、音声処理モジュール３０ｃは、マイクロフォン装置の入力から得られたデータに基づいて入力波形を生成するための入力波形サブモジュール３２を含む。ピッチ抽出モジュール３４は、入力波形に基づいてピッチデータを生成し、その一方で、フォルマント解析サブモジュール３６は、入力波形に基づいてフォルマント（formant）データを生成する。音素分類サブモジュール３８が、入力波形に基づいて音素を自動的に分類することがさらに好ましい。
【００２４】
今や、当業者であれば、前述の説明から、本発明についての広い教示を様々な形式で実施できることを理解できる。従って、本発明についてはその特定の例と関連して説明することができる一方で、本発明の真の範囲はそのように制限されるべきではない。その理由は、図面や明細書や請求項の検討に基づいて、他の修正形態が当業者にとって明らかとなるためである。
【図面の簡単な説明】
【００２５】
【図１】本発明の理解に有用な従来の言語ツリー構造を示す図である。
【図２】本発明の理解に有用な従来の音響ツリー構造を示す図である。
【図３】本発明の理解に有用な従来のテキスト読み上げ合成装置を示すブロック図である。
【図４】本発明の原理による音声合成装置カスタマイズシステムを示すブロック図である。
【図５】本発明の一実施例によるテンプレート管理ツールのブロック図である。
【図６】本発明の一実施例によるユーザーデータベースを示す図である。
【符号の説明】
【００２６】
１０  音声合成装置カスタマイズシステム
１２  音声合成装置
１４  テンプレート管理ツール
１６  テンプレート
１８  ユーザー
２０  複製された動的な合成データ
２２  ユーザーデータベース
２４  標準データベース
２６  テンプレート生成器
２８  出力インターフェース
３０  入力インターフェース
３０ａ  コマンドインタープリタ
３０ｂ  グラフィックスツールモジュール
３０ｃ  音声処理モジュール
３２  入力波形サブモジュール
３４  ピッチ抽出モジュール
３６  フォルマント解析サブモジュール
３８  音素分類モジュール
【図１】
2004522192.tif 000003
【図２】
2004522192.tif 000004
【図３】
2004522192.tif 000005
【図４】
2004522192.tif 000006
【図５】
2004522192.tif 000007
【図６】
2004522192.tif 000008
【国際公開パンフレット】
2004522192.tif 000009
2004522192.tif 000010
2004522192.tif 000011
2004522192.tif 000012
2004522192.tif 000013
2004522192.tif 000014
2004522192.tif 000015
2004522192.tif 000016
2004522192.tif 000017
2004522192.tif 000018
2004522192.tif 000019
2004522192.tif 000020
2004522192.tif 000021
2004522192.tif 000022
2004522192.tif 000023
2004522192.tif 000024
2004522192.tif 000025
2004522192.tif 000026
2004522192.tif 000027
2004522192.tif 000028
【国際調査報告】
2004522192.tif 000029