(57)【要約】 【課題】  音声認識またはテキスト−音声変換など、音声処理で使用するための音セットを、複数の異なる音を有する声調言語の音節をモデリングしまたは形成するために使用することを提供する。【解決手段】  各音節は、半母音依存にすることができる声母部、および韻母部を含む。韻母部は複数の音を含む。各音は部分的声調情報を伝え、暗示的および結合的に共に取られた複数の音は異なる声調を表現する。【選択図】  図２
2005208652.tif 000002
【特許請求の範囲】
【請求項１】
音声およびテキストのうち一方に関係付けられた入力を受信し、前記入力を処理して、音声およびテキストのうち一方に関係付けられた出力を提供するように適合された音声処理システムであって、前記音声処理システムは、声調言語のための複数の音を有する音セットから導出されたモジュールにアクセスし、前記音は、前記モジュール内で使用された音節をモデリングするために使用され、前記音節は声母部および韻母部を有し、前記韻母部は、結合的および暗示的に前記声調情報を伝える複数の音を備えることを特徴とする音声処理システム。
【請求項２】
前記韻母部の各音は声調についての情報を含むことを特徴とする請求項１に記載の音声処理システム。
【請求項３】
前記声調言語は、異なるレベルの音程を有する複数の異なる声調を備えることを特徴とする請求項１に記載の音声処理システム。
【請求項４】
前記異なるレベルの音程は２つのカテゴリーレベルを備え、各音はそれに関連付けられたカテゴリーレベルを有することを特徴とする請求項３に記載の音声処理システム。
【請求項５】
前記異なるレベルの音程は３つのカテゴリーレベルを備え、各音はそれに関連付けられたカテゴリーレベルを有することを特徴とする請求項３に記載の音声処理システム。
【請求項６】
前記異なるレベルの音程は５つのカテゴリーレベルを備え、各音はそれに関連付けられたカテゴリーレベルを有することを特徴とする請求項３に記載の音声処理システム。
【請求項７】
各音節は、前記声母および前記韻母を有する同じ形式を備え、前記韻母は、部分的声調情報をそれぞれ伝える２つの音を有することを特徴とする請求項１に記載の音声処理システム。
【請求項８】
前記声調言語の前記音節のうち少なくともいくつかは半母音を含み、前記半母音は前記声母内で実施されることを特徴とする請求項１に記載の音声処理システム。
【請求項９】
前記音声処理システムは、音声認識システムおよびテキスト−音声コンバータのうち１つを備えることを特徴とする請求項１に記載の音声処理システム。
【請求項１０】
前記韻母部の各音は声調についての部分的情報を含むことを特徴とする請求項９に記載の音声処理システム。
【請求項１１】
前記声調言語は、異なるレベルの音程を有する複数の異なる声調を備えることを特徴とする請求項９に記載の音声処理システム。
【請求項１２】
前記異なるレベルの音程は２つのカテゴリーレベルを備え、各音はそれに関連付けられたカテゴリーレベルを有することを特徴とする請求項１１に記載の音声処理システム。
【請求項１３】
前記異なるレベルの音程は３つのカテゴリーレベルを備え、各音はそれに関連付けられたカテゴリーレベルを有することを特徴とする請求項１１に記載の音声処理システム。
【請求項１４】
前記異なるレベルの音程は５つのカテゴリーレベルを備え、各音はそれに関連付けられたカテゴリーレベルを有することを特徴とする請求項１１に記載の音声処理システム。
【請求項１５】
各音節は、前記声母および前記韻母を有する同じ形式を備え、前記韻母は、部分的声調情報を伝える２つの音を有することを特徴とする請求項９に記載の音声処理システム。
【請求項１６】
前記声調言語の前記音節のうち少なくともいくつかは半母音を含み、前記半母音は前記声母内で実施されることを特徴とする請求項９に記載の音声処理システム。
【請求項１７】
前記声調言語は中国語、または広東語など、その方言を含むことを特徴とする請求項１６に記載の音声処理システム。
【請求項１８】
前記声調言語はタイ語またはその声調方言を含むことを特徴とする請求項１６に記載の音声処理システム。
【請求項１９】
前記声調言語はベトナム語またはその声調方言を含むことを特徴とする請求項１６に記載の音声処理システム。
【請求項２０】
音声およびテキストのうち一方に関係付けられた入力を受信し、前記入力を処理して、音声およびテキストのうち一方に関係付けられた出力を提供するために音声認識およびテキスト−音声変換のうち一方を実行するように適合された音声処理システムであって、前記音声処理システムは、異なるレベルの音程を有する複数の異なる声調を備える声調言語のための複数の音を有する音セットから導出されたモジュールにアクセスし、前記音は、前記モジュール内で使用された音節をモデリングするために使用され、前記音節の少なくともいくつかは声母部および韻母部を有し、前記複数の音の第１のセットは半母音依存の声母を記述するために使用され、前記複数の音の第２のセットは前記韻母部を記述するために使用され、前記韻母部は複数の音を備え、各音は部分的声調情報を含むことを特徴とする音声処理システム。
【請求項２１】
前記異なるレベルの音程は２つのカテゴリーレベルを備え、各音はそれに関連付けられたカテゴリーレベルを有することを特徴とする請求項２０に記載の音声処理システム。
【請求項２２】
前記異なるレベルの音程は３つのカテゴリーレベルを備え、各音はそれに関連付けられたカテゴリーレベルを有することを特徴とする請求項２０に記載の音声処理システム。
【請求項２３】
前記異なるレベルの音程は５つのカテゴリーレベルを備え、各音はそれに関連付けられたカテゴリーレベルを有することを特徴とする請求項２０に記載の音声処理システム。
【請求項２４】
少なくとも１つの音節は、部分的声調情報をそれぞれ伝える２つの音を有する前記韻母のみを備えることを特徴とする請求項２０に記載の音声処理システム。
【請求項２５】
各音節は、前記声母および前記韻母を有する同じ形式を備え、前記韻母は、部分的声調情報をそれぞれ伝える２つの音を有することを特徴とする請求項２０に記載の音声処理システム。
【請求項２６】
前記声調言語は中国語、または広東語など、その方言を含むことを特徴とする請求項２０に記載の音声処理システム。
【請求項２７】
前記声調言語はタイ語またはその声調方言を含むことを特徴とする請求項２０に記載の音声処理システム。
【請求項２８】
前記声調言語はベトナム語またはその声調方言を含むことを特徴とする請求項２０に記載の音声処理システム。
【請求項２９】
音声処理の方法であって、
声調言語のための複数の音を備える音セットを有するモジュールにアクセスするステップであって、前記音は音節をモデリングするために使用され、前記音節は声母部および韻母部を有し、前記韻母部は、結合的および暗示的に声調情報を伝える複数の音を備えることと、
前記音セットを利用して、音声認識およびテキスト−音声変換のうち一方を実行するための入力に対応する音節を識別するステップと、
音声認識およびテキスト−音声変換のうち一方に対応する出力を提供するステップと、
を備えることを特徴とする方法。  
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は一般に、音声認識装置およびテキスト−音声コンバータなど、音声処理システムの分野に関する。より詳細には、本発明は、そのようなデバイスにおけるモデリング単位またはセット設計に関する。
【背景技術】
【０００２】
最も適切な単位、すなわちモデリング単位を選択して、言語についての顕著な音響および発音情報を表現することは、音声認識装置またはテキスト−音声コンバータなど、実行可能な音声処理システムの設計において重要な問題点である。適切なモデリング単位を選択するためのいくつかの重要な基準には、次のものが含まれる。すなわち、特に異なる語の文脈においてどの程度正確にモデリング単位が語を表現することができるかどうか、結果として生じるモデルがどの程度トレーニング可能であり単位のパラメータを十分なデータで信頼性を高く推定することができるかどうか、および、事前定義された単位インベントリから新しい語を容易に派生することができるかどうか、すなわち、結果として生じるモデルは汎用化可能であるかどうかが含まれる。
【０００３】
上述のように全体的な要素を考察するほかに、考察されるべきいくつかの単位の階層、すなわち、音、音節および語がある。上記の基準に観点からいえば、これら音、音節および語の性能は、非常に異なっている。語ベースの単位は、数字向けに設計された音声認識装置など、特定領域のためには良い選択肢となるはずである。しかし、ＬＶＣＳＲ（大語彙連続音声認識）においては、音ベースの単位の方が好ましい。これは、音ベースの単位の方がよりトレーニング可能であり汎用化可能であるためである。
【０００４】
現在、多数の音声処理システムは、トライフォンのような文脈依存の音を、例えば、隠れマルコフモデリングなどの状態共有技術に関して使用する。結果として生じるシステムは、特に英語などの西洋言語については良い性能を実現している。これは部分的には、トライフォンのような文脈依存の音としてモデリングされるとき、西洋言語の音セットはより小さいからである（例えば、英語は約５０音しか備えていない）。理論上、５０３もの異なるトライフォンを伴うが、実際にはこのようなシステムはそれより少数を使用し、トレーニング可能であり汎用化可能であると見なされるからである。
【０００５】
トライフォンの隠れマルコフモデリングに基づいたシステムなど、音ベースのシステムは、英語のような西洋言語では良好に機能することが明らかになっているが、中国語のような声調言語用の音声処理システムは、一般に、音節をモデリングされた単位の基礎として使用している。大部分の西洋言語と比較すると、標準中国語などの声調言語にはいくつかの独特の特性または違いがある。第一に、語の数は無限であるが、文字および音節の数は固定である。具体的には、１つの中国文字は１つの音節に対応している。合計で、約４２０の基本音節および１２００を超える声調音節がある。
【０００６】
中国語は声調言語なので、各音節につき、通常は声調１から声調５までの５つの声調型があり、｛／ｍａ１／  ／ｍａ２／  ／ｍａ３／  ／ｍａ４／  ／ｍａ５／｝のようになる。この５つの声調の中で最初の４つは標準の声調であり、高レベル、上昇、低レベルおよび下降の形状を有する。５番目の声調は他の４つの中性化である。音は同じであるが、異なる声調型であるため、実際の音響認識は異なる。
【０００７】
文字と音節の間の１−１マッピングに加えて、定義された構造が音節内部に存在している。具体的には、各基本音節を以下の形式で表現することができる。
【０００８】
（Ｃ）＋（Ｇ）Ｖ（Ｖ，Ｎ）
中国語音韻論によれば、「＋」の前の最初の部分は声母と呼ばれ、主に子音からなる。中国語には２２の声母があり、そのうちの１つはゼロ声母であり、声母がない場合を表現する。「＋」の後の部分は韻母と呼ばれる。標準中国語においては、３８の韻母がある。ここでは、（Ｇ）、Ｖおよび（Ｖ，Ｎ）がそれぞれ韻母の頭部（半母音）、本体（母音）および末尾（終結部）と呼ばれる。括弧内の単位は、有効な音節の構成においてオプショナルである。
【０００９】
上述のように、標準中国語などの声調言語において、一般に音節はモデリングされた単位の基礎を形成してきた。このようなシステムは一般に西洋言語には使用されておらず、これは、何千もの可能な音節が存在するためである。しかし、このような表現は標準中国語では大変正確であり、単位の数もまた受け入れ可能である。しかし、３音節語の数は大変多く、声調音節は状況をさらに悪化させる。したがって、標準中国語のための現在のモデリング方法の大部分は、音節の分解に基づいている。その中で、音節は通常、声母部および韻母部に分解され、声調情報は韻母部とは別々に、あるいは韻母部と共にモデリングされる。それにもかかわらず、これらのシステムにはなお欠点があり、改良されたモデリング単位セットが確実に望まれている。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
音声認識またはテキスト−音声変換など、音声処理で使用するための音セットが、複数の異なる声調を有する声調言語の音節をモデリングまたは形成するために使用される。
【課題を解決するための手段】
【００１１】
一実施形態においては、各音節は、半母音依存にすることができる声母部、および韻母部を含む。韻母部は複数の分節または音を含む。各分節はカテゴリーかされた声調情報を伝え、暗示的および結合的に共に取られた複数の分節は異なる声調を表現するようになる。１つの声調は２つの分節を含むので、１つの音は声調情報の一部しか取り込まず、韻母部内の２つの音は共に声調情報全体を表現するように働く。さらに別の言い方をすれば、複数の音の第１のセットが声母を記述するために使用され、第２のセットが韻母を記述するために使用される。
【００１２】
音声処理システムまたは音声処理の方法のいずれかとして実施されるときには、音声認識およびテキスト−音声変換のうち一方を実行するための入力において音節を識別するために、音セットがアクセスされ、利用される。次いで、音声認識およびテキスト−音声変換のうち、一方に対応する出力が提供される。
【発明を実施するための最良の形態】
【００１３】
本発明をより詳細に論じる前に、本発明を使用することができる例示的環境の一実施形態を説明する。図１は、本発明を実施することができる、適切なコンピューティングシステム環境１００の一実施例を例示している。コンピューティングシステム環境１００は、適切なコンピューティング環境の一実施例でしかなく、本発明の使用または機能の範囲についての、いかなる限定をも示唆するように意図していない。また、コンピューティング環境１００は、例示的オペレーティング環境１００内に例示されたコンポーネントのいずれか１つまたは組み合わせに関係する、いかなる依存性または必要条件を有するとして解釈されるべきではない。
【００１４】
本発明は、多数の他の汎用または専用のコンピューティングシステム環境または構成と共に動作する。本発明と共に使用するのに適切である可能性のある周知のコンピューティングシステム、環境および／または構成の例には、これだけに限定されないが、以下のものがある。すなわち、パーソナルコンピュータ、サーバーコンピュータ、ハンドヘルドまたはラップトップデバイス、マルチプロセッサシステム、マイクロプロセッサベースシステム、セットトップボックス、プログラマブルなコンシューマエレクトロニクス、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、上記のシステムまたはデバイスのいずれかを含む分散コンピューティング環境などが含まれる。
【００１５】
本発明を一般に、コンピュータによって実行されるプログラムモジュールなど、コンピュータ実行可能命令の文脈において説明することができる。一般に、プログラムモジュールには、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。これらは特定のタスクを実行するか、あるいは特定の抽象データ型を実装する。当業者であれば、本明細書の説明および／または図面をコンピュータ実行可能命令として実施することができ、コンピュータ実行可能命令は、後述のいかなる形態のコンピュータ可読メディア上で実施することもできる。
【００１６】
本発明をまた分散コンピューティング環境において実施することもできる。この環境では、タスクが通信ネットワークを通じてリンクされる、リモート処理デバイスによって実行される。分散コンピューティング環境においては、プログラムモジュールは、メモリストレージデバイスを含む、ローカルおよびリモートのコンピュータ記憶媒体内に位置することができる。
【００１７】
図１を参照すると、本発明を実施するための例示的システムは、コンピュータ１１０の形態の汎用コンピューティングデバイスを含む。コンピュータ１１０のコンポーネントには、これだけに限定されないが、処理装置１２０、システムメモリ１３０、および、システムメモリを含む様々なシステムコンポーネントを処理装置１２０に結合するシステムバス１２１を含むことができる。システムバス１２１を、いくつかのタイプのバス構造の、いずれにすることもできる。これらのバス構造には、様々なバスアーキテクチャのいずれかを使用するメモリバスまたはメモリコントローラ、周辺バスおよびローカルバスが含まれる。例として、限定ではなく、このようなアーキテクチャには、ＩＳＡバス、ＭＣＡバス、拡張ＩＳＡ（ＥＩＳＡ）バス、Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ（ＶＥＳＡ）ローカルバス、および、メザニンバスとしても知られるＰＣＩバスが含まれる。
【００１８】
コンピュータ１１０は通常、様々なコンピュータ読み取り可能媒体を含む。コンピュータ読み取り可能媒体は、コンピュータ１１０によってアクセスすることができるいかなる使用可能なメディアにすることもでき、揮発性および不揮発性のメディア、リムーバブルおよび非リムーバブルのメディアが含まれる。例として、限定ではなく、コンピュータ読み取り可能媒体は、コンピュータ記憶媒体および通信メディアを含むことができる。コンピュータ記憶媒体には、揮発性および不揮発性、リムーバブルおよび非リムーバブルのメディアが含まれ、これらのメディアは、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータなど、情報の格納のためのいずれかの方法または技術において実装される。コンピュータ記憶媒体には、それだけに限定されないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくは他のメモリ技術、ＣＤ−ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）もしくは他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくは他の磁気ストレージデバイス、または、所望の情報を格納するために使用することができ、コンピュータ１１０によってアクセスすることができる他のいかなるメディアもが含まれる。通信メディアは通常、コンピュータ可読命令、データ構造、プログラムモジュールまたは他のデータを、搬送波または他の移送メカニズムなどの変調データ信号において実施し、いかなる情報配信メディアをも含む。「変調データ信号」という用語は、信号内の情報を符号化するような方法でその特性の１つまたは複数が、設定または変更されている信号を意味する。例として、限定ではなく、通信メディアには、有線ネットワークまたは直接有線接続などの有線メディア、ならびに、音響、ＲＦ、赤外線および他の無線メディアなどの無線メディアが含まれる。上記のいずれの組み合わせも、コンピュータ可読媒体の範囲内に含まれるべきである。
【００１９】
システムメモリ１３０は、読み取り専用メモリ（ＲＯＭ）１３１およびランダムアクセスメモリ（ＲＡＭ）１３２など、揮発性および／または不揮発性メモリの形態におけるコンピュータ記憶媒体を含む。基本入出力システム１３３（ＢＩＯＳ）は、起動中など、コンピュータ１１０内の複数の要素間で、情報を転送する助けとなる基本ルーチンを含み、通常はＲＯＭ１３１に格納される。ＲＡＭ１３２は通常、処理装置１２０によって即時アクセス可能および／または現在操作中であるデータおよび／またはプログラムモジュールを含む。例として、限定ではなく、図１は、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６およびプログラムデータ１３７を例示する。
【００２０】
コンピュータ１１０はまた、他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータ記憶媒体も含むことができる。例としてのみ、図１は、非リムーバブル、不揮発性の磁気メディアに対する読み書きを行うハードディスクドライブ１４１、リムーバブル、不揮発性磁気ディスク１５２に対する読み書きを行う磁気ディスクドライブ１５１、および、ＣＤ  ＲＯＭまたは他の光メディアなど、リムーバブル、不揮発性の光ディスク１５６に対する読み書きを行う光ディスクドライブ１５５を例示する。例示的オペレーティング環境で使用することができる他のリムーバブル／非リムーバブル、揮発性／不揮発性のコンピュータストレージメディアには、それだけに限定されないが、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、固体ＲＡＭ、固体ＲＯＭなどが含まれる。ハードディスクドライブ１４１は通常システムバス１２１に、インターフェイス１４０などの非リムーバブルメモリインターフェイスを通じて接続され、磁気ディスクドライブ１５１および光ディスクドライブ１５５は通常システムバス１２１に、インターフェイス１５０などのリムーバブルメモリインターフェイスによって接続される。
【００２１】
上述の、また図１で例示したドライブおよびそれらの関連付けられたコンピュータストレージメディアは、コンピュータ１１０用のコンピュータ可読命令、データ構造、プログラムモジュールおよび他のデータのストレージを提供する。図１では、例えば、ハードディスクドライブ１４１は、オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６およびプログラムデータ１４７を格納するとして例示される。これらのコンポーネントを、オペレーティングシステム１３４、アプリケーションプログラム１３５、他のプログラムモジュール１３６およびプログラムデータ１３７と同じものにも異なるものにもすることができることに留意されたい。オペレーティングシステム１４４、アプリケーションプログラム１４５、他のプログラムモジュール１４６およびプログラムデータ１４７にはここで異なる番号が与えられて、最低でも、それらが異なるコピーであることが例示される。
【００２２】
ユーザは、コマンドおよび情報をコンピュータ１１０へ、キーボード１６２、マイクロフォン１６３、および、マウス、トラックボールまたはタッチパッドなどのポインティングデバイス１６１など、入力デバイスを通じて入力することができる。他の入力デバイス（図示せず）には、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナなどが含まれる可能性がある。これらおよび他の入力デバイスはしばしば処理装置１２０へ、システムバスに結合されるユーザ入力インターフェイス１６０を通じて接続されるが、パラレルポート、ゲームポートまたはユニバーサルシリアルバス（ＵＳＢ）など、他のインターフェイスおよびバス構造によって接続することができる。モニタ１９１または他のタイプの表示デバイスもまたシステムバス１２１へ、ビデオインターフェイス１９０などのインターフェイスを介して接続される。モニタに加えて、コンピュータにはまた、スピーカ１９７およびプリンタ１９６など、出力周辺インターフェイス１９５を通じて接続することができる他の周辺出力デバイスが含まれる可能性もある。
【００２３】
コンピュータ１１０は、ネットワーク環境において、リモートコンピュータ１８０など、１つまたは複数のリモートコンピュータへの論理接続を使用して動作することができる。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルドデバイス、サーバー、ルーター、ネットワークＰＣ、ピアデバイスまたは他の共通ネットワークノードにすることができ、通常は、コンピュータ１１０に関連して上述した要素の多数またはすべてを含む。図１に示した論理接続には、ローカルエリアネットワーク（ＬＡＮ）１７１およびワイドエリアネットワーク（ＷＡＮ）１７３が含まれるが、他のネットワークが含まれる可能性もある。このようなネットワーキング環境は、オフィス、企業全体のコンピュータネットワーク、イントラネットおよびインターネットにおいて一般的である。
【００２４】
ＬＡＮネットワーキング環境において使用する場合、コンピュータ１１０はＬＡＮ１７１へ、ネットワークインターフェイスまたはアダプタ１７０を通じて接続される。ＷＡＮネットワーキング環境において使用する場合、コンピュータ１１０は通常、モデム１７２、またはインターネットなどのＷＡＮ１７３を介して通信を確立するための他の手段を含む。モデム１７２を内部または外部にすることができ、システムバス１２１へ、ユーザ入力インターフェイス１６０または他の適切なメカニズムを介して接続することができる。ネットワーク環境においては、コンピュータ１１０に関連して示したプログラムモジュールまたはその一部を、リモートメモリストレージデバイスに格納することができる。例として、限定ではなく、図１はリモートアプリケーションプログラム１８５をリモートコンピュータ１８０上に存在するとして例示する。図１に示したネットワーク接続は、例示的であり、複数のコンピュータの間で通信リンクを確立する他の手段を使用することができることは理解されよう。
【００２５】
図２は、音声処理システム２００を全体的に例示する。これは、入力２０２を受信して、部分的には後述する音セットから導出された出力２０４を提供する。例えば、音声処理システム２００は、音声認識装置として実施することができる。この音声認識装置は、入力として、マイクロフォン１６３を通じるなどして発話された語または句を受信し、例えばコンピュータ可読メディアストレージデバイスのいずれかに格納されたテキストを含む出力を提供する。もう１つの実施形態においては、音声処理システム２００は、テキスト−音声コンバータとして実施することができる。例えばテキスト−音声コンバータは、コンピュータ読取り可能媒体上で実施されたテキストを受信し、出力としてユーザにスピーカ１９７を通じて伝えることができる出力音声を提供する。これらのコンポーネントは他のシステムにおいても提供することができ、それら自体でさらに、本明細書で使用されるような音声処理システムと見なされることを理解されたい。
【００２６】
処理中に、音声処理システム２００は、入力２０２を処理して出力２０４を与えるために、後述する音セットから導出されるモジュール２０６にアクセスする。モジュール２０６は、例えばモデル、データベースなど、多数の形態を取ることができ、音声認識で使用される音響モデル、または、連結テキスト−音声コンバータで使用される単位インベントリなどである。モジュール２０６の基礎を形成する音セットは、声調言語の分節声調モデルである。ここで、声調言語は、これだけに限定されないが、方言を含む中国語（例として後述する標準中国語）、ベトナム語およびタイ語などである。
【００２７】
図３は、テキストを音声に変換するための例示的テキスト−音声コンバータ３００を説明する。一般に、コンバータ３００はテキストアナライザ３０２および単位連結モジュール３０４を含む。合成音声に変換されるテキストは、入力３０６としてテキストアナライザ３０２に与えられる。テキストアナライザ３０２は、テキスト正規化を実行する。テキスト正規化には、略語をそれらの正式な形式に拡張すること、ならびに、数字、金額、句読点および他の非英字文字を、それらの実語に相当する語句に拡張することを含むこともある。次いで、テキストアナライザ３０２は、既に知られている技術によって、正規化されたテキスト入力を、音素などサブワード要素の列に変換する。音素の列は次いで、単位連結モジュール３０４に与えられる。望まれる場合、テキストアナライザ３０２は、図示しない韻律テンプレートを使用して、アクセントのパラメータを音素の列に割り当てることができる。
【００２８】
単位連結モジュール３０４は音素列を受信し、合成音声入力を構成する。この合成音声入力は、出力信号３０８としてデジタル−アナログコンバータ３１０に与えられ、デジタル−アナログコンバータ３１０は、スピーカ１９７にアナログ信号３１２を提供する。格納された対応する判定ツリー３１８を通じて作業した後、テキストアナライザ３０２からの文字列入力に基づいて、単位連結モジュール３０４は、単位インベントリ３１６から代表的インスタンスを選択する。単位インベントリ３１６は、判定ツリー内など、実際の音響データの文脈依存単位のストアである。一実施形態においては、トライフォン（その１つの直前および直後の音素を文脈として有する音素）が文脈依存単位のために使用される。他の形態の単位には、クインフォン（ｑｕｉｎｐｈｏｎｅ）およびダイフォン（ｄｉｐｈｏｎｅ）が含まれる。判定ツリー３１８がアクセスされて、どの単位が単位連結モジュール３０４によって使用されるべきであるかを決定する。一実施形態においては、単位は、後述する音セットの中の音の、各々の１つの音である。
【００２９】
音判定ツリー３１８は、ルートノード、および、各ノードに関連付けられた言語問題を有するノードの連続の各々を分割することによって成長させられる二分木である。各問題は、左（先行）または右（後続）の音のカテゴリーについて尋ねる。音の左または右の文脈についての言語問題は通常、設計において言語学の専門家によって、後述する音セットに基づいて、文脈的効果の言語クラスを取り込むために生成される。一実施形態においては、各一意の文脈依存の音ベースの単位について、隠れマルコフモデル（ＨＭＭ）が作成される。クラスタリングは一般に、コンピュータ上でその機能が与えられると効率的に実行することができるシステムを提供するのに使用される。
【００３０】
上述のように、単位連結モジュール３０４は、判定ツリー３１８を通じて作業した後、代表的インスタンスを単位インベントリ３１６から選択する。実行中に、単位連結モジュール３０４は、最良に事前選択された音ベースの単位を連結するか、あるいは、複数のインスタンスから入手可能な、結合歪み関数を最小化する最良の音ベースの単位を、動的に選択することができる。一実施形態においては、結合歪み関数は、ＨＭＭスコア、音ベースの単位連結歪みおよび韻律不一致歪みの組み合わせである。システム３００をコンピュータ１１０内で実施することが可能であり、これにおいて、テキストアナライザ３０２および単位連結モジュール３０４はハードウェアまたはソフトウェアモジュールである。また、コンピュータ１１０に関して前述したストレージデバイスのいずれかを使用して、単位インベントリ３１６および判定ツリー３１８を記憶しておくことができる。
【００３１】
当業者には理解されるように、他の形態のテキスト−音声コンバータを使用することができる。上述した連結シンセサイザ３０４のほかに、調音シンセサイザおよびフォルマントシンセサイザもまた、テキスト−音声変換を提供するのに使用することができる。
【００３２】
さらなる実施形態においては、音声処理システム２００は、音声認識モジュールまたは音声認識システムを備えることができる。その例示的な実施形態を、図４の４００に示す。音声認識システム４００は、入力音声４０２をユーザから受信し、入力音声をテキスト４０４に変換する。音声認識システム４００には、マイクロフォン１６３、アナログ−デジタル（Ａ／Ｄ）コンバータ４０３、トレーニングモジュール４０５、特徴抽出モジュール４０６、レキシコンストレージモジュール４１０、音響モデル４１２、サーチエンジン４１４および言語モデル４１５が含まれる。システム４００全体、または音声認識システム４００の一部を、図１に例示した環境内で実施することができることに留意されたい。例えば、マイクロフォン１６３を好ましくはコンピュータ１１０への入力デバイスとして、適切なインターフェイスを通じて、およびＡ／Ｄコンバータ４０３を通じて提供することができる。トレーニングモジュール４０５および特徴抽出モジュール４０６は、コンピュータ１１０内のハードウェアモジュール、または、図１で開示した情報ストレージデバイスのいずれかに記憶され、処理装置１２０または別の適切なプロセッサによってアクセス可能なソフトウェアモジュールとすることができる。加えて、レキシコンストレージモジュール４１０、音響モデル４１２および言語モデル４１５もまた、図１のメモリデバイスのいずれかに記憶されることが好ましい。さらに、サーチエンジン４１４は、処理装置１２０（１つまたは複数のプロセッサが含まれる可能性がある）内で実施されるか、あるいは、パーソナルコンピュータ１１０によって使用された専用音声認識プロセッサによって実行することもできる。
【００３３】
例示された実施形態においては、音声の認識中、音声はユーザによって入力としてシステム４００へ可聴音声信号の形態で、マイクロフォン１６３へ与えられる。マイクロフォン１６３は、可聴音声信号をアナログ電気信号に変換し、アナログ電気信号はＡ／Ｄコンバータ４０３に与えられる。Ａ／Ｄコンバータ４０３は、アナログ音声信号を一連のデジタル信号に変換し、デジタル信号は特徴抽出モジュール４０６に与えられる。一つの実施形態においては、特徴抽出モジュール４０６は、従来のアレイプロセッサである。このプロセッサでは、デジタル信号におけるスペクトル解析を実行し、周波数スペクトルの各周波数帯域について振幅値を計算する。１つの例示的実施形態においては、これらの信号は特徴抽出モジュール４０６へ、Ａ／Ｄコンバータ４０３によって約１６ｋＨｚのサンプルレートで提供される。他のサンプルレートを使用することもできる。
【００３４】
特徴抽出モジュール４０６は、Ａ／Ｄコンバータ４０３から受信されたデジタル信号を、複数のデジタルサンプルを含むフレームに分割する。各フレームは約１０ミリ秒の持続時間である。次いで、フレームは特徴抽出モジュール４０６によって、複数の周波数帯域のためのスペクトル特性を反映する特徴ベクトルに符号化される。離散的および半連続的な隠れマルコフモデリングの場合、特徴抽出モジュール４０６はまた、ベクトル量子化技術、および、トレーニングデータから導出されたコードブックを使用して、特徴ベクトルを１つまたは複数のコードワードへ符号化する。このように、特徴抽出モジュール４０６は、その出力で、各発話の発声のための特徴ベクトル（またはコードワード）を提供する。特徴抽出モジュール４０６は、１つの特徴ベクトル（またはコードワード）のレートで約１０ミリ秒ごとに、特徴ベクトル（またはコードワード）を提供する。
【００３５】
次いで、隠れマルコフモデルに対して、解析中の特定のフレームの特徴ベクトル（またはコードワード）を使用して、出力確率分布が計算される。これらの確率分布は、後にビタビまたは類似のタイプの処理技術の実行において使用される。
【００３６】
コードワードを特徴抽出モジュール４０６から受信した時、サーチエンジン４１４は音響モデル４１２内に記憶された情報にアクセスする。音響モデル４１２は、隠れマルコフモデルなどの音響モデルを記憶している。そして、音声認識システム４００によって検出される音声単位を表現する。一実施形態においては、音響モデル４１２は、隠れマルコフモデル内の各マルコフ状態に関連付けられたセノネツリー（ｓｅｎｏｎｅ  ｔｒｅｅ）を含んでいる。隠れマルコフモデルは、後述する音セットを表現する。音響モデル４１２内のセノネ（ｓｅｎｏｎｅ）に基づいて、サーチエンジン４１４は、特徴抽出モジュール４０６から受信された特徴ベクトル（またはコードワード）によって表現され、最も可能性の高い音を決定する。よって、その音はシステムのユーザから受信された発声を表す。
【００３７】
また、サーチエンジン４１４は、モジュール４１０内に記憶されたレキシコンにもアクセスする。サーチエンジン４１４によってその音響モデル４１２のアクセスに基づいて受信された情報が、レキシコンストレージモジュール４１０のサーチにおいて使用される。そして、特徴抽出モジュール４０６から受信されたコードワードまたは特徴ベクトルを表現する可能性が最も高い語が、決定される。また、サーチエンジン４１４は、言語モデル４１５にもアクセスする。言語モデル４１５は、Ｎグラム、文脈自由文法またはその組み合わせを使用するものなど、多数の異なる形態を取ることができる。言語モデル４１５はまた、入力音声によって表現される可能性が最も高い語の識別においても使用される。最も可能性の高い語は、出力テキスト４０４として提供される。
【００３８】
当業者には理解されるように、他の形態の音声認識システムを使用することができる。上述した隠れマルコフモデリング認識装置のほかに、人工神経ネットワーク（ＡＮＮ）、動的時間ラッピング（ＤＴＷ）にそれぞれ基づいた認識装置、または混合ＡＮＮ−ＨＭＭシステムなどのような組み合わせもまた、後述する音セットから導出されたモジュールから恩恵を受けることができる。
【００３９】
上記の背景技術のセクションで述べたように、中国語の基本音節を以下の形式によって表現することができる。
【００４０】
（Ｃ）＋（Ｇ）Ｖ（Ｖ，Ｎ）
ただし、「＋」の前の最初の部分は声母と呼ばれ、主に子音からなる。「＋」の後の部分は韻母と呼ばれ、（Ｇ）、Ｖおよび（Ｖ，Ｎ）はそれぞれ韻母の頭部（半母音）、本体（母音）および末尾（終結部）と呼ばれる。括弧内の単位は、有効な音節の構成においてオプショナルである。
【００４１】
この時点で、上記で与えられた形式は、本発明の態様を説明するために本明細書で使用されているが、この形式は必要条件または限定とみなされるべきでないことに留意されたい。すなわち、異なる形式を、中国語および他の声調言語において音節を記述するための代替構造として使用することがでることを理解されたい。また、後述する以降の、このような形式に関する特定の詳細部分は、本明細書で説明する音セットには本質的に無関係であることを理解されたい。
【００４２】
一般に、本明細書において分節音調モデリングと呼ばれる新しい音セットは、この形式の各音節について３つの部分を備える。
【００４３】
ＣＧ      Ｖ１      Ｖ２
ただし、ＣＧは上述の形式における（Ｃ）（Ｇ）に対応するが、半母音を含み、それにより、半母音依存の声母を生じる。しかし、「声母」という語の使用は、上記で使用された「声母」と混同されるべきでない。これは、韻母の一部と見なされた半母音はこのときこの最初の部分に関連付けられている。半母音を声母または最初の部分に割り当てることは、単位インベントリをその最初の形式のものから拡張する。
【００４４】
標準中国語については、３つの有効な半母音である／ｕ／、
【００４５】
【数１】
2005208652.tif 000003
【００４６】
および／ｉ／しかなく、そのため各頭子音は多くても４つのカテゴリーに分類される。
（ラベル付けを簡単にするため、
【００４７】
【数２】
2005208652.tif 000004
【００４８】
を表現するために／ｖ／が使用される）実際には、これらの大部分は２つまたは３つのカテゴリーしか有していない。これは、いくつかの子音−半母音の組み合わせは、標準中国語で無効であるからである。例えば、子音／ｔ／では、／ｔ／、／ｔｉ／および／ｔｕ／が存在するが、子音／ｊ／では、／ｊｉ／および／ｊｖ／のみが存在する。
【００４９】
本発明における形式のＶ１およびＶ２は、集合的に残りの音節情報（本発明では主韻母と呼ぶ）を提供し、この情報には声調情報が含まれる。Ｖ１は、主韻母情報の第１の部分を表現するものと見なすことができる。主韻母が２つの音素を含む場合には、いくつかの音節において第１の母音を表現することができ、また、主韻母が１つの音素しか有しておらず、声調情報の第１の部分も伝えるかあるいは含む場合には、いくつかの音節において音素の第１の部分を表現することができる。Ｖ２は、主韻母情報の第２の部分を表現するものとして見なすことができる。主韻母が２つの音素を含む場合には、いくつかの音節において第２の音素を表現することができ、また、主韻母が１つの音素しか有しておらず、声調情報の第２の部分を伝えるかあるいは含む場合には、いくつかの音節において音素の第２の部分を表現することができる。すなわち、声調の型を直接モデリングするのではなく、声調は、共に声調情報を伝える複数の部分によって、暗示的および結合的に実現される。ここで、複数の部分とは、例えば２つの部分または分節（本明細書においては、「分節音調素」とも呼ばれる）である。
【００５０】
Ｖ１およびＶ２の各々に関連付けられるものは、声調情報である。標準中国語において知られているように、５つの異なる声調が存在する。図５は、そのうちの４つを示している。５番目の声調は、他の４つの中性化モードである。本明細書で説明する実施形態においては、異なる声調の型を、それらの相対的音程領域による３つのカテゴリー化した音程レベルの組み合わせによって説明し、本明細書では高（Ｈ）、中（Ｍ）および低（Ｌ）と例示する。すなわち、図５に例示した声調型を、声調１に対する高−高（ＨＨ）、声調２に対する低−高（ＬＨ）または中−高（ＭＨ）、声調３に対する低−低（ＬＬ）、および、声調４に対する高−低（ＨＬ）としてのカテゴリーレベルに分類することができる。声調５は中性声調であり、前の声調型によって声調４または声調３のパターンを共有することができ、あるいは、中−中（ＭＭ）として別々にモデリングすることができる。声調パターン内の第１のマークはＶ１に付けられ、第２の部分はＶ２に付けられる。
【００５１】
この時点で、一つの例が役に立つだろう。以下の表１は、声調音節
【００５２】
【数３】
2005208652.tif 000005
【００５３】
の分解を与える。ただし、
【００５４】
【数４】
2005208652.tif 000006
【００５５】
は、この音節に対する５つの異なる声調を表現する。
【００５６】
【表１】
2005208652.tif 000007
【００５７】
本発明の形式においては、｛ｚｈｕ｝および｛ａａＨ，ａａＭ，ａａＬ，ｎｇＨ，ｎｈＭ，ｎｇＬ｝は韻母音セットの一部となる。上述したように、５つの声調を韻母部（／ｕａｎｇ／）に付加するのではなく、半母音／ｕ／が声母部／ｚｈ／に割り当てられ、／ｚｈｕ／が形成される。音節の残りの部分
【００５８】
【数５】
2005208652.tif 000008
【００５９】
は２つの音素／ａ／＋／ｎｇ／に分節化され、音韻論に基づいて／ａａ／＋／ｎｇ／とラベルが付けられる。次いで、声調１〜５はＨ／Ｌ／Ｍの組み合わせによって実現され、最終的に、対応する音素が付けられる（／ａａ／および／ｎｇ／など）。
【００６０】
いくつかの音節では、第１の部分は、／ｚｈａ／など、１つの音素しか含まない。それにもかかわらず、韻母部は２つの部分（Ｖ１に対する／ａａ／およびＶ２に対する／ａａ／）に分節化されて、音節分解における一貫性が達成される。表２は、本発明の形式を使用した
【００６１】
【数６】
2005208652.tif 000009
【００６２】
の分解を例示する。
【００６３】
【表２】
2005208652.tif 000010
【００６４】
上述の技術を使用すると、９７単位（および、沈黙に対する／ｓｉｌ／）を有する音セットを実現することができる。このうち、５７単位は半母音依存の声母を記述するために使用され、残りの３９単位は韻母部（Ｖ１およびＶ２）を記述するために使用される。表３は、９７単位（および／ｓｉｌ／）を備える音リストを提供し、左列は声母関係であるが、右列は、主韻母部に対応する分節音調素を提供する。すべての有効な音節について一貫性のある分解構造を保つために、いくつかの音単位が頭子音なしの音節に対して明示的に作成される。すなわち、いわゆるゼロ声母の場合であり、これらを表３では、／ｇａ／、／ｇｅ／および／ｇｏ／と示すことに留意されたい。これらのうち２番目の記号は、韻母部の第１の音素によって決定される。例えば、音節／ａｎ１／のためのＣＧは／ｇａ／であり、音節／ｅｎ１／のためのＣＧは／ｇｅ／である。しかし、音声処理システムが常に同じ音節構造を必要とするとは限らない場合、これを行うことは必要ではない。いくつかの実現方法においては、これらの３つを１つに統合（ｍｅｒｇｅ）することができる。
【００６５】
【表３】
2005208652.tif 000011
【００６６】
詳細な音リスト、および、音節と音セットのマッピングを以下に示す。しかし、／ａｎｇ／および／ａｎ／における音素／ａ／は、表４では異なる記号（音）／ａ／および／ａａ／によって表現されている。これは、２つの調音の場所がわずかに異なるからであることに留意されたい。より小さい音セットが望まれるか、あるいは十分な量のトレーニングデータが存在しない場合には、これらの音を統合して１つの単位を形成することができる。統合することができるもう１つのペアは、／ｅｌ／および／ｅｈ／である。
【００６７】
音節と音インベントリの間のマッピングの全リストを、表３および表４から推論することができる。背景技術の部分で述べたように、約４２０を超える基本音節および１２００を超える声調音節がある。スペースを節約するため、すべてのマッピングのペアをリストするのではなく、標準の韻母（３８）とインベントリ内の音の間のマッピングのみを表４にリストする。音節と音の間の全リストは、上記で紹介した分解方法および表４によって、容易に抽出することができる。例えば、声母ｔおよび韻母／ｉａｏ／および声調４からなる音節／ｔｉａｏ４／においては、表４は、／ｉａｏ／→／ｉ／＋／ａａ／＋／ｏ／と示す。上記の分解方法に基づいて、半母音／ｉ／は声母と統合され、半母音依存の声母／ｔｉ／が形成されるようになるが、声調４はＨＬに分解されるようになる。したがって、声調音節／ｔｉａｏ４／のマッピングは、／ｔｉａｏ４／→／ｔｉ／＋／ａａＨ／＋／ｏＬ／となる。加えて、基本的には、本発明の形式のＶ１およびＶ２は共に、Ｈ、ＭおよびＬなどの声調タグを有するべきであるが、表４に示すＶ１およびＶ２は、単に声調タグのない音素の基本形式である。
【００６８】
【表４】
2005208652.tif 000012
【００６９】
上述の音セット構成の使用により、いくつかの際立った利点が得られる。この利点には、音声認識およびテキスト−音声変換の両方において正確さのために必要な特質を維持しながら、中国語などの声調言語のための音セットの数が低減されていることを含む。加えて、この音節構成はまた、中国語に見られる声調など、声調における音韻学者の研究成果および説明との一貫性も有する。上記の構成を使用して作成された音節もまた、オプショナルの部分の存在にもかかわらず、一貫性を有する。加えて、３つの部分（声母および２つの部分の韻母）として実施された音節は、最新式のサーチフレームワークにより適合する。したがって、音声認識におけるファンアウト拡張中に、音節を標準的な２部分への分解する方法よりも、より高い効率を得ることができる。さらに、各声調音節は固定された分節構造（例えば、３つの分節）を有しているので、サーチ効率を向上させるための制約として、これを潜在的に復号化へ適用することができる。最後に、半母音依存の声母を構築することによる詳細な声母のモデリングは、各声母を互いに区別する助けとなる可能性がある。
【００７０】
本発明を、特定の実施形態を参照しながら説明したが、本発明の精神および範囲から逸脱することなく、形式および詳細において変更を行うことができることは、当業者には理解されよう。
【００７１】
例えば、分節音調素を有する通常の声調型を表現する基本的な考えの下で、この概念は、望まれる場合には、音程レベルにおける現在の２値（高／低）量子化を、より詳細なレベルに拡張することができる。例えば、３値（高／中／低など）または５値（１〜５など）など、通常の声調型のパターンを詳細に示すことが容易にできる。標準中国語の声調で５値が使用される場合、以下の表現を使用することができる。すなわち、声調１に対して５−５、声調２に対して３−５または２−５、声調３に対して２−１、および、声調４に対して５−１、５−２または４−１である。しかし、約９つの声調型を有する広東語など、より多くの声調型を有する声調言語では、これはより有意義であるはずである。広東語は、中国語の大変重要な方言であり、香港、中国南部、華僑などによって一般に使用されている。
【図面の簡単な説明】
【００７２】
【図１】本発明を有用にすることができる汎用コンピューティング環境のブロック図である。
【図２】音声処理システムのブロック図である。
【図３】テキスト−音声コンバータのブロック図である。
【図４】音声認識システムのブロック図である。
【図５】標準中国語における声調型を例示するグラフである。
【符号の説明】
【００７３】
１００  コンピューティング環境
１１０  コンピュータ
１２１  システムバス
１４１  ハードディスクドライブ
１５１  磁気ディスクドライブ
１５２  磁気ディスク
１５５  光ディスクドライブ
１５６  光ディスク
２００  音声処理システム
３００  テキスト−音声コンバータ
３０６  入力
３０８  出力信号
４００  音声認識システム
【図１】
2005208652.tif 000013
【図２】
2005208652.tif 000014
【図３】
2005208652.tif 000015
【図４】
2005208652.tif 000016
【図５】
2005208652.tif 000017
【外国語明細書】
2005208652000001.pdf