(57)【要約】【課題】  音声を認識するためのシステムおよび方法を提供する。【解決手段】  本システムおよび方法は、音声を認識するにあたり一組の有力な仮定を生成すること，意味的構造化言語モデルを使用することにより意味的内容を使って有力な仮定をリスコアすること、および、意味的構造化言語モデルを使ってその認識された音声を明瞭にし、センテンスの構文解析ツリーに従って最良のセンテンスを識別するために構文解析ツリーをスコアすることを含む。【選択図】  図１
2005084681.tif 000002
【特許請求の範囲】
【請求項１】
音声を認識するための方法であって、
音声を認識するときに一組の有力な仮定を生成するステップと、
意味的構造化言語モデルを使用することにより、意味的内容を使って前記有力な仮定をリスコアするステップと、
前記意味的構造化言語モデルを使用して前記認識された音声を明瞭にすることにより、センテンスの構文解析ツリーに従って最良のセンテンスを識別するために構文解析ツリーをスコアするステップと、
を含む、方法。
【請求項２】
音声認識方法を使用して言語モデルを訓練するステップを更に含む、請求項１に記載の方法。
【請求項３】
前記有力な仮定のセットがＮ-ベスト・リストまたは格子の形式である、請求項１に記載の方法。
【請求項４】
前記リスコアするステップがＭＥＬＭ２またはＭＥＬＭ３意味的構造化言語モデルを使用する、請求項１に記載の方法。
【請求項５】
前記スコアするステップが、ヒストリ・パラメータおよびヒストリ問題に従って前記意味的構造化言語モデルを訓練するステップを含む、請求項１に記載の方法。
【請求項６】
前記ヒストリ・パラメータが、前のワード（wj-1）、前記前のワードの更に前のワード（wj-2）、親構成素ラベル（L）、Lが開始した以後の左端までのトークンの数（N）、前のクローズした構成素ラベル（O）、O が終了した後の左端までのトークンの数（M）、および祖父母ラベル（G）を含む、請求項５に記載の方法。
【請求項７】
前記ヒストリ問題がデフォルト、（wj-1）、（wj-1, wj-2）、（L,N）、（O,M）、および（L,G）を含む、請求項５に記載の方法。
【請求項８】
信頼性測定値を決定するステップを更に含む、請求項１に記載の方法。
【請求項９】
前記信頼性測定値を決定するステップは、認識された音声に対する信頼性スコアを決定するためにワード・シーケンスを構文解析ツリーと結合するための統計的方法を使用することを含む、請求項８に記載の方法。
【請求項１０】
前記信頼性測定値を決定するステップは、意味的構造化言語モデルから得られたスコアを、他の音声認識ベースのフィーチャと共に使用することを含む、請求項８に記載の方法。
【請求項１１】
構文解析ツリーから得られたタグ、ラベル、および拡張子に割り当てられた確率を抽出するステップを更に含む、請求項１に記載の方法。
【請求項１２】
分類プログラムを使用して意味的構造化言語モデルおよび音声認識ベースのフィーチャを前記抽出された確率と結合するステップを更に含む、請求項１１に記載の方法。
【請求項１３】
ユニグラム・フィーチャ、バイグラム・フィーチャ、およびトリグラム・フィーチャを使用することによって、前記意味的構造化言語モデルが訓練される、請求項１に記載の方法。
【請求項１４】
１つまたは複数の相対的ラベル、トークン番号、およびワード順序または配置に関連した問題に対する答を使用して、前記意味的構造化言語モデルが訓練される、請求項１に記載の方法。
【請求項１５】
ユニグラム・フィーチャ、バイグラム・フィーチャ、トリグラム・フィーチャ、現在アクティブな親ラベル（Li）、前記現在アクティブな親ラベル（Li）が開始した以後の左端までのトークンの数（Ni）、前のクローズした構成素ラベル（Oi）、前のクローズした構成素ラベルが終了した後の左端までのトークンの数（Mi）、および構文解析ツリーのエントリを分類するための問題の数を含むことによって、前記意味的構造化言語モデルが訓練される、請求項１に記載の方法。
【請求項１６】
前記問題が、デフォルト、（wj-1）、（wj-1, wj-2）、（Li）、（Li,Ni）、（Li, Ni, wj-1）および（Oi, Mi）を含む（但し、w はワードを表し、j はワード位置を表すインデックスである）、請求項１５に記載の方法。
【請求項１７】
請求項１乃至１６の何れか１つに記載の方法の各ステップをコンピュータに実行させるプログラム。
【請求項１８】
音声を認識するための方法であって、
音声を認識するときに有力な仮定のセットを生成するステップと、
意味的構造化言語モデルを使用することにより、意味的内容を使って前記有力な仮定をリスコアするステップと、
前記意味的構造化言語モデルを使用して前記認識された音声を明瞭にすることにより、センテンスの構文解析ツリーに従って最良のセンテンスを識別するために構文解析ツリーをスコアするステップと、
前記意味的構造化言語モデルから得られたスコアを他の音声認識ベースのフィーチャと共に使用することによって、信頼性測定値を決定するステップと
を含む、方法。
【請求項１９】
前記有力な仮定のセットがＮ-ベスト・リストまたは格子の形式のものである、請求項１８に記載の方法。
【請求項２０】
前記リスコアするステップがＭＥＬＭ２またはＭＥＬＭ３意味的構造化言語モデルを使用する、請求項１８に記載の方法。
【請求項２１】
前記スコアするステップがヒストリ・パラメータおよびヒストリ問題に従って前記意味的構造化言語モデルを訓練するステップを含む、請求項１８に記載の方法。
【請求項２２】
前記ヒストリ・パラメータが、前のワード（wj-1）、前記前のワードの更に前のワード（wj-2）、親構成素ラベル（L）、Lが開始した以後の左端までのトークンの数（N）、前のクローズした構成素ラベル（O）、O が終了した後の左端までのトークンの数（M）、および祖父母ラベル（G）を含む、請求項２１に記載の方法。
【請求項２３】
前記ヒストリ問題がデフォルト、（wj-1）、（wj-1, wj-2）、（L,N）、（O,M）、および（L,G）を含む、請求項２１に記載の方法。
【請求項２４】
構文解析ツリーから得られたタグ、ラベル、および拡張子に割り当てられた確率を抽出するステップを更に含む、請求項１８に記載の方法。
【請求項２５】
分類プログラムを使用して意味的構造化言語モデルおよび音声認識ベースのフィーチャを前記抽出された確率と結合するステップを更に含む、請求項２４に記載の方法。
【請求項２６】
ユニグラム・フィーチャ、バイグラム・フィーチャ、およびトリグラム・フィーチャを使用することによって、前記意味的構造化言語モデルが訓練される、請求項１８に記載の方法。
【請求項２７】
１つまたは複数の相対的ラベル、トークン番号、およびワード順序または配置に関連した問題に対する答を使用して、前記意味的構造化言語モデルが訓練される、請求項１８に記載の方法。
【請求項２８】
ユニグラム・フィーチャ、バイグラム・フィーチャ、トリグラム・フィーチャ、現在アクティブな親ラベル（Li）、前記現在アクティブな親ラベル（Li）が開始した以後の左端までのトークンの数（Ni）、前のクローズした構成素ラベル（Oi）、前のクローズした構成素ラベルが終了した後の左端までのトークンの数（Mi）、および構文解析ツリー・エントリを分類するための問題の数を含むことによって、前記意味的構造化言語モデルが訓練される、請求項１８に記載の方法。
【請求項２９】
前記問題が、デフォルト、（wj-1）、（wj-1, wj-2）、（Li）、（Li,Ni）、（Li, Ni, wj-1）および（Oi, Mi）を含む（但し、w はワードを表し、j はワード位置を表すインデックスである）、請求項２８記載の方法。
【請求項３０】
請求項１８乃至２９の何れか１つに記載の方法の各ステップをコンピュータに実行させるプログラム。
【請求項３１】
意味的言語モデルおよび字句的言語モデルを含む統一言語モデルと、
前記字句的言語モデルおよび前記意味的言語モデルを使用して、ワード・グループを分析するための構文解析ツリーを見つける認識エンジンと、
を含み、音声を認識するためにタグ、ラベル、および拡張子を考慮した字句的情報および意味的情報に基づいて前記構文解析ツリーが選択される、音声認識のためのシステム。
【請求項３２】
前記構文解析ツリーが、所与のワード・グループに対する最良の構文解析ツリーを識別するときに使用される意味的情報および分類情報を含む、請求項３１に記載のシステム。
【請求項３３】
前記構文解析ツリーが、センテンスの意味的および字句的内容を統計的にモデル化するために、構文解析されたセンテンスから抽出された情報を含む、請求項３１に記載のシステム。
【請求項３４】
前記意味的言語モデルがユニグラム・フィーチャ、バイグラム・フィーチャ、およびトリグラム・フィーチャを含む、請求項３１に記載のシステム。
【請求項３５】
前記意味的言語モデルが１つまたは複数の相対的ラベル、トークン番号、およびワード順序または配置に関する問題に対する答を含む、請求項３１に記載のシステム。
【請求項３６】
ユニグラム・フィーチャ、バイグラム・フィーチャ、トリグラム・フィーチャ、現在アクティブな親ラベル（Li）、前記現在アクティブな親ラベル（Li）が開始した以後の左端までのトークンの数（Ni）、前のクローズした構成素ラベル（Oi）、前のクローズした構成素ラベルが終了した後の左端までのトークンの数（Mi）、および構文解析ツリー・エントリを分類するための問題の数を含むことによって、前記意味的言語モデルが訓練される、請求項３１に記載のシステム。
【請求項３７】
前記問題が、デフォルト、（wj-1）、（wj-1, wj-2）、（Li）、（Li,Ni）、（Li, Ni, wj-1）および（Oi, Mi）を含む（但し、w はワードを表し、j はワード位置を表すインデックスである）、請求項３６記載のシステム。
【請求項３８】
前記意味的言語モデルがヒストリ・パラメータおよびヒストリ問題を含むことによって訓練される、請求項３１に記載のシステム。
【請求項３９】
前記ヒストリ・パラメータが、前のワード（wj-1）、前記前のワードの更に前のワード（wj-2）、親構成素ラベル（L）、Lが開始した以後の左端までのトークンの数（N）、前のクローズした構成素ラベル（O）、O が終了した後の左端までのトークンの数（M）、および祖父母ラベル（G）を含む、請求項３８に記載のシステム。
【請求項４０】
前記ヒストリ問題がデフォルト、（wj-1）、（wj-1, wj-2）、（L,N）、（O,M）、および（L,G）を含む、請求項３９に記載のシステム。
【請求項４１】
信頼性測定モジュールを更に含む、請求項３１に記載のシステム。
【請求項４２】
前記信頼性測定モジュールが、認識された音声に対する信頼性スコアを決定するためにワード・シーケンスを前記構文解析ツリーと結合するための統計的方法を使用する、請求項３１に記載のシステム。
【請求項４３】
前記信頼性測定モジュールが、前記構文解析ツリーにおけるタグ・ノード、ラベル・ノード、および拡張子に割り当てられた確率を抽出する、請求項３１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、言語モデル化に関し、詳しく言えば、言語モデル化および信頼性測定のために意味的構文解析（semantic parse）を使用するシステムおよび方法に関するものである。
【背景技術】
【０００２】
大規模語彙連続音声認識（Large VocabularyContinuous Speech Recognition : ＬＶＣＳＲ）は、認識性能を改善するために、統計的言語モデル化手法を使用することが多い。言語モデル化は、言語または言語のサブドメインにおけるワード・シーケンス（または、センテンス）Ｐ（w1w2 w3 ．．．wN）の確率についての概算を提供する。統計的な言語モデル化における優れた方法は、ｎ-グラム（n-gram）言語モデル化である。この方法は、前のｎ−１個のワードのコンテキストにおける各ワードの確率を結合することによるセンテンス確率の概算に基づくものである。
【０００３】
ｎ-グラム言語モデルは或る一定のレベルの性能を達成するけれども、それは最適なものではない。ｎ-グラムは、センテンスの長期従属性、意味的および構文的構造を正確にモデル化するものではない。
【０００４】
センテンスにおける意味的情報をモデル化することに関連する問題点は、意味的分析に基づいた信頼性測定である。音声認識出力がいつも或るレベルの不確定性を受けるので、仮定のワードの正確度に関する信頼性を表す何らかの尺度を使用することは不可欠なことであろう。信頼性付注（annotation）方法に対する大多数の方法は、次のような２つの基本的ステップを使用する。：
（１）音声認識プロセス、および／または、自然言語理解プロセスに基づいてできるだけ多くのフィーチャを生成する、
（２）合理的な方法でこれらのフィーチャを結合するために分類子（classifier）を使用する。
【０００５】
多く研究において利用される数多くの重畳した音声認識ベースのフィーチャが存在する（例えば、ICASSP-2001, Salt Lake City, UT, May 2001 誌の３９３乃至３９６ページにおける R.San-Segundo、B. Pellom、K. Hacioglu および W. Ward 氏による「音声会話システムのための信頼性測定法（ConfidenceMeasures for Spoken Dialog Systems）」題した論文；Eurospeech-2001, Aalborg, Denmark,Sept. 2002 誌における R. Zhang および A. Rudnicky 氏による「フィーチャの結合を使用したワード・レベル信頼性付注法（WordLevel Confidence Annotation Using Combination of Features）」と題した論文；および ICSLP-98,Sydney, Australia, Dec. 1998 誌における C. Pao、P. Schmid および J. Glass 氏による「音声理解システムの信頼性評点法（ConfidenceScoring for Speech Understanding Systems）」と題した論文を参照されたい）。ドメイン独立型大規模語彙音声認識システムに関しては、ワード・グラフに基づいた経験的確率が、単一の最も有用な信頼性フィーチャであるとして示されている（ICASSP-2000,Istanbul, Turkey, June 2000 誌の１５８７乃至１５９０ページにおける F. Wessel、 K. Macherey、および H.Ney 氏による「ワード・グラフおよびＮ-ベスト・リストに基づいた信頼性測定法の比較（A Comparison of Word Graph andN-best List Based Confidence Measures）」と題した論文を参照されたい）。意味的情報は、音声認識情報を補足する付加的情報源と考えられる。以前の研究のすべてではないにしてもその多くにおいて、意味的情報が判断プロセスに組み込まれる方法はむしろその場限りのものである。例えば、上記のC. Pao 氏他による「音声理解システムの信頼性評点法」では、ワードに割り当てられた意味的ウェートが試行錯誤法に基づいている。同様に、Eurospeech-2001,Aalborg, Denmark, Sept. 2001 誌の２１２１乃至２１２４ページにおける P. Carpenter、C. Jin、D. Wilson、R.Zhang、D. Bohus、および A. Rudnicky 氏による「この対話は順調か（Is This Conversation on Track）」と題した論文では、「未発見ワードのパーセンテージ」、「ギャップ数」、「スロット数」等のような意味的フィーチャが、意味的情報を信頼性測定基準に組み込もうとする努力によって実験的に生成された。
【非特許文献１】ICASSP-2001, Salt Lake City, UT, May2001 誌の３９３乃至３９６ページ
【非特許文献２】Eurospeech-2001, Aalborg, Denmark,Sept. 2002 誌
【非特許文献３】ICSLP-98, Sydney, Australia, Dec. 1998 誌
【非特許文献４】ICASSP-2000, Istanbul, Turkey, June2000  誌の１５８７乃至１５９０ページ
【非特許文献５】Eurospeech-2001,Aalborg, Denmark, Sept. 2001 誌の２１２１乃至２１２４ページ
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明の目的は、意味的言語モデルおよび字句的言語モデルを含んだ統一言語モデルを含む音声認識のためのシステムおよび方法を提供することにある。
【課題を解決するための手段】
【０００７】
字句的モデルおよび意味的モデルを使用して、認識エンジンがワード・グループを分析するための構文解析ツリーを見つける。構文解析ツリーは、音声を認識するためのタグ、ラベル、および拡張子を考慮に入れた字句的情報および意味的情報に基づいて選択される。
【０００８】
好適な方法が音声認識エンジンに統合されてもよく、あるいは、音声認識によって生成された格子またはＮ-ベスト（N-best）・リストに適用されてもよい。
【０００９】
音声認識のための方法は、音声を認識するときに一組の有力な仮定（hypotheses）を生成すること、意味的構造言語モデルの使用により意味的内容を使うことによってその有力な仮定をリスコア（rescore）すること、および認識された音声を明瞭化するために意味的構造化言語モデルを使用することによって、センテンスの構文解析ツリーに従って最良のセンテンスを識別するために構文解析ツリーをスコア（score）することを含む。
【００１０】
他の実施例では、信頼性測定値を決定するステップが含まれる。信頼性測定値の決定は、ワード・シーケンスを構文解析ツリーと結合して認識済み音声に対する信頼性スコアを決定するための統計的方法を使用することを含むことが可能である。これは、意味的構造化言語モデルから得られたスコアを他の音声認識ベースのフィーチャと共に使用することによって信頼性測定値を決定することを含み得る。それらのスコアは、構文解析ツリーから得られたタグ、ラベル、および拡張子に割り当てられた確率を抽出することによって得ることが可能である。分類子を使用して意味的構造化言語モデルおよび音声認識ベースのフィーチャをその抽出された確率と結合するステップが含まれることも可能である。
【００１１】
本願の例示的システムに関するこれらの、および他の目的、フィーチャ、および利点は、添付図面と関連して参照されるべき実施例に関する以下の詳細な説明から明らかとなるであろう。
【発明を実施するための最良の形態】
【００１２】
本発明は、意味的構文解析ツリーにおける意味的情報を言語モデル化動作に組み込むシステムおよび方法を提供する。意味的構造化言語モデル化（semantic structured language modeling &#8211; ＳＳＬＭ）方法は、例えば、最大エントロピ・モデル化、判断ツリー、ニュートラル・ネットワーク、サポート・ベクトル・マシン、または単純カウント（simplecount）を含む統計的学習手法のいずれかを使用して、字句的情報および意味的情報のレベルを変更することを使用し得る。１つの実施例では、最大エントロピ・モデル化が使用される。この実施例は本願における１つの例示として使用される。
【００１３】
本発明によれば、一組の方法がセンテンスの意味的分析に基づいている。これらの手法は、構文解析されたセンテンスから抽出された情報を利用してそのセンテンスの意味的および字句的内容を統計的にモデル化する。例えば、字句的フィーチャのほかに意味的フィーチャを使ってＮ-ベスト音声認識仮定をリスコアするために、最大エントロピ方法（ＭＥＭ）が使用される。
【００１４】
最大エントロピ方法は、ｎ-グラムのセンテンス・ベースの統計的言語モデル化および構文構造化言語モデルの内容における言語モデル化のために使用可能である。しかし、本発明の実施例は、意味的フィーチャを統一言語モデルに組み込むためにＭＥＭを使用する。この統合は、ひとが言語モデル化において意味的フィーチャを容易に使用することを可能にする。意味的フィーチャは、統計的構文解析から、および確率論的帰納的遷移ネットワーク（stochasticrecursive transition network : ＳＲＴＮ）から得ることができる。これらのフィーチャは、各ワードおよびワード・グループの意味的解釈に関連した情報をエンコードする。それは、意味のあるワード・シーケンスをあまり意味のないまたは無意味のワード・シーケンスから区別するための１つの重要な考察事項である。
【００１５】
図面に示された素子が、ハードウェア、ソフトウェア、またはそれらの結合したものという種々の形態で実装可能であることを理解すべきである。これらの素子は、プロセッサ、メモリ、および入出力インターフェースを有する１つまたは複数の適正にプログラムされた汎用ディジタル・コンピュータ上にソフトウェアとして実装されることが望ましい。
【００１６】
次に図面を参照すると、それらの図面では、同じ参照番号が同じまたは同様の素子を表す。先ず、図１を参照すると、１つの実施例を実行するためのシステム１００が示される。システム１００は、音声認識機能を提供するコンピュータ・デバイスまたはネットワークを含み得る。システム１００は、音声認識モデルを訓練するために使用可能であり、あるいは、音声認識システムまたは音声分析器として使用可能である。システム１００は、認識されるべきテキストまたは音声を入力するための入力装置を含み得る。入力装置１０２は、マイクロフォン、キーボード、マウス、タッチ・スクリーン・ディスプレイ、ディスク・ドライブ、または他の任意の入力装置を含み得る。入力装置１０２への入力は、メモリ１０５に格納可能な意味的情報を含み得る。この意味的情報は、本発明に従って意味的言語モデル１０８を構成するように使用可能である。
【００１７】
意味的情報は、言語モデル化において使用されるべき意味的構文解析ツリーで使われる。言語モデル１０６および意味的言語モデル１０８に格納された意味的構造化言語モデル化（ＳＳＬＭ）方法またはプログラムは、例えば、最大エントロピ・モデル化、判断ツリー、ニュートラル・ネットワーク、サポート・ベクトル・マシン、あるいは、単純カウントを含む統計的学習手法のいずれかを使用して字句的情報および意味的情報のレベルの変更を使用し得る。この方法は、音声認識エンジン／モジュール１０４を使用して実行されることも可能である。
【００１８】
音声認識エンジン／モジュール１０４は、音響入力、ディジタル信号、テキスト、または他の入力情報を処理して音声を認識し、あるいは入力を編成し、語彙、辞書、他の言語モデル、またはデータ等のような、言語モデル１０６、意味的言語モデル１０８、もしくは、他のプログラムまたはデータベース１１０を作成する。エンジン１０４は、任意の既知の音声認識方法を使用することによって、システム１００に音声認識機能を提供することが可能である。
【００１９】
本発明によれば、エンジン１０４は、システム１００の音声認識機能を強化するために、センテンスの意味的分析に基づいて一連の方法を使用する。これらの手法は、構文解析されたセンテンスから抽出された情報を利用してそのセンテンスの意味的および字句的内容を統計的にモデル化する。例えば、字句的フィーチャのほかに意味的フィーチャを使用してＮ-ベスト音声認識仮定をリスコアするために、最大エントロピ方法が使用される。
【００２０】
最大エントロピ方法（ＭＥＭ）は、ｎ-グラムのセンテンス・ベースの統計的言語モデル化および構文構造化言語モデルのコンテキストにおける言語モデル化のために使用可能である。ＭＥＭは、意味的フィーチャを統一言語モデル１０７に組み込むために、本発明における実施例として説明的に使用される。この統合は、言語モデル化における意味的フィーチャの容易な使用を可能にする。意味的フィーチャは、モジュール１０４に組込み可能な統計的な構文解析プログラム（parser）から、およびストカスティック（stochastic）帰納遷移ネットワーク（ＳＲＴＮ）から取得可能である。
【００２１】
これらの構文解析フィーチャは、各ワードおよびワード・グループの意味的解釈に関連した情報をエンコードする。なお、この情報は、意味のあるワード・シーケンスを、あまり意味のないまたは無意味のワード・シーケンスから区別するための１つの重要な考察事項である。
【００２２】
意味的情報は、１つまたは複数のワード選択、ワードの順序、他の関連ワードに対する接近性、慣用的表現または他の任意の情報ベースのワード、タグ、ラベル、拡張子、もしくはトークン・ヒストリを含み得る。
【００２３】
この意味的情報は、利用可能な意味的情報に基づいてモデル１０８を訓練することによって言語モデル化を開発するために使用される。これらのモデルは、次のような例示的な意味的構造化言語モデル（ＳＳＬＭ）を含み得る。
【００２４】
ＭＥＬＭ１（最大エントロピ方法１）は、ユニグラム（unigram）・フィーチャ、バイグラム（bigram）・フィーチャ、およびトリグラム（trigram）・フィーチャを使用することが望ましい。長い範囲且つ高いレベルの情報を取り込む更に知的なフィーチャを使用することが可能である。データ希薄性および計算要件を考慮すると、個々のトークン確率計算に対する下記のコンテキスト問題（Question）タイプのサブリストが使用されてもよい（ＭＥＬＭ２参照）。
【００２５】
ＭＥＬＭ２（最大エントロピ方法２）は、長い範囲の意味的フィーチャ、例えば、次のような７つのタイプのフィーチャを使用する：
ユニグラム：（デフォルト問題）
バイグラム：前のワード wj-1（ラベル・トークンを無視する）
トリグラム：２つの前のワード wj-1 および wj-2（ラベル・トークンを無視する）
現在のアクティブな親ラベル Li：（親構成素ラベル）
Ni：（現在のＬが開始した以後の左端までのトークンの数）
Oi：（前のクローズした構成素ラベル）
Mi：（Oi が終了した後の左端までのトークンの数）
７つのタイプの問題：（デフォルト）、（wj-1）、（wj-1,wj-2）、（Li）、（Li, Ni）、（Li, Ni, wj-1）、（Oi, Mi）
【００２６】
これらは最大エントロピ（ＭＥ）モデルに対して選択される問題であることに留意されたい。タグ、祖父母ラベル等のような他の情報を利用する多くの他の可能なフィーチャが存在し得る。それらの選択は、使用される構文解析のドメインまたはタイプに依存することがあり得る。最大エントロピの枠組みは、ひとが任意のタイプのフィーチャを、それらが計算可能である限り、組み込むことを可能にする。
【００２７】
モデル１０８は、特定のワード・シーケンスまたはフレーズが使用された確率を解読すべくワード確率を計算するために使用される。
【００２８】
図２を参照すると、 P(ti=for| history) を計算するためのＭＥＬＭ２の適用例が構文解析ツリーとして示される。
【００２９】
トークン・シーケンス［!S! I want to book a[RT-OW one way RT-OW] ticket to [LOC Houston Texas LOC] for [DATE tomorrowDATE] [TIME morning TIME]］ は、クラス（classer）・ツリーおよび下式のように与えられるワード・シーケンスの結合確率に等価である：
P(W,C) &#8776; Πni=1P(tj|t1,...,tj-3,tj-2,tj-1)
但し、トークン t はワード、ラベル、タグ等であってもよい。
【００３０】
もう１つのＳＳＬＭは、クラッサ（classer：意味的分類）およびパーサ（parser：構文解析）を結合するＭＥＬＭ３（最大エントロピ方法３）を含み、完全な構文解析ツリー１５０を使用する。完全な構文解析ツリー１５０は、センテンスの完全な意味的構造を表す。その場合、ＲＴ−ＯＷ（往復−片道）、ＬＯＣ（ロケーション）、ＤＡＴＥ、ＴＩＭＥのような意味的分類情報に加えて、構成素間の意味的関係が、例えば、wj-2、wj-1、ti を抽出される。次のようなフィーチャが、最大エントロピ・ベースの統計的モデルを訓練するために使用される：
ＭＥＬＭ３の７つのヒストリ・パラメータ
Wj-1：前のワード wj-1（ラベル・トークンを無視する）
Wj-2：前のワードの更に前のワード（ラベル・トークンを無視する）
L：（親構成素ラベル）
N：（L が開始した以後の左端までのトークンの数）
O：（前にクローズした構成素ラベル）
M：（O が終了した後の左端までのトークンの数）
G：（祖父母ラベル）
６つのヒストリ問題タイプ：（デフォルト）、（wj-1）、（wj-1,wj-2）、（L,N）、（O,M）、（L,G）
【００３１】
それらの問題のベースとなったツリーは異なるけれども、ＭＥＬＭ２およびＭＥＬＭ３は同じ問題を共有する。実際に、ＭＥＬＭ３の５番目の問題だけはＭＥＬＭ２の問題セットに含まれない。たとえこれらの特定の問題セットがＭＥＬＭ２およびＭＥＬＭ３に対して選択されても、クラッサ・ツリーおよびパーサ・ツリーに基づいた如何なる問題も、最大エントロピ・モデル化における正当な選択となり得る。
【００３２】
本願の発明者は、これらの問題セットが言語モデルを訓練する場合に十分に機能することを経験的に決定した。更なる問題を包含しても、例示的に説明したタスクに対する性能を大きく改善することはなかった。
【００３３】
意味的言語モデル化手法、ＭＥＬＭ１、ＭＥＬＭ２、およびＭＥＬＭ３のセットは、音声認識の精度を改善する。更に、これらの言語モデルから取り出されたフィーチャは、信頼性測定モジュール１１２（図１）を使用することによって信頼性測定のために使用可能である。
【００３４】
モジュール１１２は、ＭＥＬＭ２では、所与のワードに対する言語モデル・スコアを使用する。それは、前のワードのみならず、タグ、ラベル、およびそのワードにおけるこれらのラベルの相対的な適用範囲を条件とされる。タグは、ワードのタイプを、それらの意味的内容に関して定義する。例えば、Houston に割り当てられたタグは「都市」である。意味的に重要でないワードは、「ヌル」タグを割り当てられる。ワードまたはワード・グループをそれらの概念の１つに分類するためにラベルが使用される。ラベルの数はタグの数よりも少ない。延長線または弧が、ワードに割り当てられたタグとラベルとの間の関連を示す。相対的な適用範囲は、現在のワードが現在のラベルの始めからどのくらい離れているかを表す。
【００３５】
ＭＥＬＭ２は、ワード・シーケンスを意味的構文解析ツリーと結合するための効果的な統計的方法を提供する。従って、ＭＥＬＭ２のスコアは、例えば、信頼性測定のためのフィーチャとして使用可能である。しかし、所与のワードに対するＭＥＬＭ２は、短に、前のワード・シーケンスおよびそのワードまでの構文解析ツリーに依存するだけである。前のワードが間違って認識される場合、現在のワードに対して低いスコアを期待することができる。現在のワード wi に対するＭＥＬＭ２のスコアのほかに、３つのワード([w{i-1} wi w{i+1}])、ＭＥＬＭ-ctx3 のウィンドウが考察され、５つのワードＭＥＬＭ２-ctx5がコンテキスト情報を捕捉するために現在のワードに中心合わせされた。ＭＥＬＭ３に対しても同じフィーチャを得ることが可能である。
【００３６】
図１を継続して参照すると共に図３を参照すると、モデル１０８に保存された意味的構文解析ツリーからモジュール１０４によって得られた確率は、モジュール１１２における信頼性測定のためにも使用可能である。クラッサ／パーサは、所与のセンテンスに対する最良の構文解析ツリーを見つけるために左から右へおよび下から上へのサーチを遂行する。そのサーチ中、構文解析ツリーにおける各タグ・ノード（タグ）、ラベル・ノード（例えば、LOC）、および拡張子（ext）が確率を割り当てられる。同様に、拡張子確率は、現在のノードとその「コンテキスト」を与えたそれの親ノードとの間にその拡張子を置く確率を表す。パーサがそのサーチを行いつつあるとき、字句的情報（モデル１０６から）および意味的情報（モデル１０８から）の両方が最良の構文解析プログラム・アクションを生成するために使用される。
【００３７】
タグおよびラベル・フィーチャの値を割り当てるときの信頼性の程度は、関連した確率において反映される。そのワードが現在の字句的および意味的内容において「フィット」しない場合、それのタグおよびラベルが低い確率を割り当てられる見込みがある。従って、信頼性測定におけるフィーチャとしてこれらの確率を使用することは、センテンスのセマンティクスを得るための有望な方法である。
【００３８】
「from West PalmBeach Florida」というフレーズに対するクラッサ・ツリーは下記のようになる。対応するクラッサ・ツリーが図３に示される。cTag（図３では「タグ」として示される）およびcTagExt（図３では「ext」として示される）が、それぞれ、クラッサ・タグおよびタグ拡張子確率である。同様に、構文解析ツリーでは、分類プログラム・ツリーとは対照的に、「arc」および「ext」が、それぞれ、構文解析タグおよびタグ拡張子確率であるpTag および pTagExt に対応するであろう。
【００３９】
分類プログラム・ツリー１６０がそれのテキスト表示と共に図３に示されル。各トークンは一対の確率を有する。
{0.502155{!S!_1_1 :LOC_dmfeedback_1_0.997937
from_word_0.99371_0.995734{LOC_0.999976_0.998174
west_city_0.635543_0.894638palm_city_0.998609_0.981378
beach_city_0.998609_0.957721florida_state_0.96017_0/995701
LOC_0.999976_0.998174}!S!_1_1} }
【００４０】
モジュール１１２による信頼性測定は任意選択的であるが、ブロック１１４において出力される音声認識精度を大きく改善することができる。出力１１４は、任意の形式にカスタマイズ可能である。例えば、出力１１４は、音声合成されて音響的にレンダリングされてもよく、テキスト的にレンダリングされてもよく、アナログ信号またはディジタル信号として伝送されてもよい。
【００４１】
下記の例は、ＳＳＬＭが正規のｎ-グラム方法によって確約されたエラーを訂正する場合の幾つかの特定の例である。これらの例は、ＭＥＭを使用して本実施例の利点を示すために発明者によって実施された。更に、改善を示すために、信頼性スコアが下記のように与えられた。
基準（Ref）：新しい水平線およびブルー・チップ
ｎ-グラム：ログが目的のブルー・チップである
sslm：水平線およびブルー・チップ
Ref：金銭のタイプに関する私の残高はいくらか
ｎ-グラム：私の送られた金銭の残高はいくらか
sslm：私の金銭収入に関する残高はいくらか
Ref：PIN を変更する
ｎ-グラム：計画を変更する
sslm：PIN を変更する
【００４２】
以下は、経験的確率フィーチャによって確約されたエラーが意味的信頼性フィーチャによって訂正される,
という特定の例である。信頼性に関する閾値が０.８７に設定される。この値は、経験的確率（post）および sslm+post（sslm および経験的確率）の両方に対する５％の誤許容率にほぼ対応する。これらの例は、sslm+postフィーチャによって正しく受け入れられるが、post フィーチャのみよる場合、誤って拒否される：
Ref：       残高
仮定（Hyp）：残高
Post：      ０.５４（信頼性測定）
Post+sslm： ０.９５（信頼性測定）
Ref：       要約
Hyp：       要約
Post：      ０.６３（信頼性測定）
Post+sslm： ０.９３（信頼性測定）
Ref：       計画
Hyp：       計画
Post：      ０.７９（信頼性測定）
Post+sslm： ０.８８（信頼性測定）
【００４３】
以下の例は、sslm+post フィーチャによって正しく拒否されるが、postフィーチャのみよる場合、誤って受け入れられる： 
Ref：       呼び出し
Hyp：       <ＳＩＬ>
post_conf： ０.８８（信頼性測定）
post+sslm： ０.０４（信頼性測定）
Ref：       −
Hyp：       有
post：      ０.９３（信頼性測定）
post+sslm： ０.８２（信頼性測定）
Ref：       代表（rep）
Hyp：       rep
post：      ０.８８（信頼性測定）
post+sslm： ０.７０（信頼性測定）
【００４４】
図４を参照すると、音声認識のための方法が、ブロック２０２において言語モデルを提供すること或いは訓練することを含む。言語モデルは、ｎ-グラム、ＣＦＧ等のような既知の訓練手法を使用して訓練可能である。ブロック２０４において、認識されるべき入力を受け取る。その入力は、音声認識方法または装置によって許容された任意の形式におけるものでよい。ブロック２０６において、一組の有力な仮定を生成するために、１つまたは複数の音声認識方法が使用可能である。それらの仮定は、Ｎ-ベスト・リストまたは格子構造の形式におけるものが望ましい。
【００４５】
ブロック２０８において、それらの仮定の意味的内容に基づいて同様の仮定をリスコアするために、意味的構造化言語モデル（ＳＳＬＭ）が使用される。これは、ＳＳＬＭモデル、例えば、ＭＥＬＭ２またはＭＥＬＭ３等を使用してそれらの仮定を評価することによって遂行される。ブロック２１０において、構文解析ツリーが最良のセンテンスをそれの構文解析ツリーに従って識別するためにスコアされる。これは、ヒストリ・パラメータおよびヒストリ問題に従って訓練されたＳＳＬＭを使用してその認識された音声を更に明瞭にすることにより遂行される。
【００４６】
ヒストリ・パラメータは、前のワード（wj-1）、前のワードの更に前のワード（wj-2）、親構成素ラベル（L）、L が始まった以後の左のトークンの数（N）、前のクローズした構成素ラベル（O）、Oが終了した後の左のトークンの数（M）、および祖父母ラベル（G）を含み得る。ヒストリ問題は、デフォルト、（wj-1）、（wj-1, wj-2）、（L,N）、（O,M）、および（L,G）を含み得る。
【００４７】
ブロック２１２において、ＳＳＬＭから得られたスコアを、他の音声認識ベースのフィーチャ、例えば、経験的確率等と共に使用することによって、信頼性測定値またはスコアを決定することが可能である。ブロック２１４において、構文解析ツリーから得られたタグ、ラベル、拡張子等に関連した確率が、分類プログラム（classifer）を使用してＳＳＬＭおよび音声認識ベースのフィーチャと結合可能である。これらの確率は、信頼性スコアにおける信頼性のレベルを高めることによって音声認識を更に改善するために使用可能である。
【００４８】
意味的言語モデル化および信頼性測定に関して好適な実施例を説明した（それらは説明を意図するものであって限定することを意図するものではない）けれども、上記の教示内容から見て、当業者により修正および変更を行うことが可能であることは留意されるべきである。従って、「特許請求の範囲」に記載されているように、本発明の範囲および真意の範囲内で、その開示された特定の実施例における変更を行い得ることは理解されるべきである。
【図面の簡単な説明】
【００４９】
【図１】本発明による音声認識および信頼性測定システムを示すブロック図である。
【図２】音声を認識するために使用される例示的な構文解析ツリーを示す概略図および本発明に従って意味的言語モデルを形成するために構文解析ツリーから得られた情報（例えば、wj-1 wj-2、Li、Oi、Ni、および Mi）を示す。
【図３】本発明に従って信頼性スコアを提供するために使用される、確率を割り当てられた例示的分類プログラム・ツリーを示す概略図である。
【図４】本発明による音声認識および信頼性測定方法を示すブロック／流れ図である。
【図１】
2005084681.tif 000003
【図２】
2005084681.tif 000004
【図３】
2005084681.tif 000005
【図４】
2005084681.tif 000006