(57)【要約】本発明は、前のトレーニングアルゴリズムの助けでは最大エントロピー音声モデルにおける属性αの自由直交化パラメータを定めることができなかった場合にこのパラメータを設定する方法に関する。本発明の１つの目的は、音声認識システム１００、トレーニング装置１０、及び、多くの可能な解釈を有するようなパラメータλαｏｒｔｈｏを定める方法を提供することである。この目的は、本発明に基づいて、式（Ｉ）を式（ＩＩ）及び分母（ｄｅｎｏｍｉｎａｔｏｒ）（＝式（ＩＩＩ））と共に計算することにより達成される。【特許請求の範囲】
【請求項１】
前に実行されたトレーニングアルゴリズムの助けでは最大エントロピー音声モデルＭＥＳＭにおける属性αの自由直交化パラメータλαｏｒｔｈｏを設定することができなかった場合にこの自由パラメータを設定する方法であって、前記属性αが前記ＭＥＳＭ中の全部でｉ ＝ １ … ｎの属性グループからの属性グループＡｉに属し、
ａ）  前記属性αに対する所望の直交化境界値ｍαｏｒｔｈｏを修正された所望の直交化境界値ｍαｏｒｔｈｏ，ｍｏｄで
【数１】
2004519723.tif 000019
により置き換えるステップであって、
また、β∈Ａｉは、前記属性αよりも広い範囲を持つ全ての属性を表し前記属性αとなり、
ｍβｏｒｔｈｏは、前記属性βに対する所望の直交化境界値を表す、ステップと、
ｂ）  式「ｄｅｎｏｍｉｎａｔｏｒα」 を
【数２】
2004519723.tif 000020
に従って計算するステップであって、ここで、
β∈Ａｉは、前記属性αよりも広い範囲を持つ全ての属性β∈Ａｉを表し前記属性αとなり、
λβｏｒｔｈｏは、前記属性βに対する前記ＭＥＳＭの前記自由直交化パラメータを表し、Ｍβｏｒｔｈｏは、前記属性βに対する前記所望の直交化境界値の近似境界値を表す、ステップと、
ｃ）  前記自由直交化パラメータλαｏｒｔｈｏを
【数３】
2004519723.tif 000021
に従って計算するステップと、を有する方法。
【請求項２】
請求項１に記載の方法であって、請求項１中のステップｂ中の前記近似境界値Ｍβｏｒｔｈｏが以下の式に基づいて計算され、
【数４】
2004519723.tif 000022
ここで、Ｎは前記音声モデルのトレーニングコーパス中の単語の数を表し、
Ｎ（ｈ）／Ｎは、前記トレーニングコーパス中の単語列ｈ（履歴）の相対頻度を表し、
ｐλｏｒｔｈｏ（ｗ｜ｈ）は、新しい所定の単語ｗが前の履歴ｈに続く確率を表し、
λｏｒｔｈｏは、全属性α， β…に対する自由直交化パラメータを表し、
ｆβｏｒｔｈｏは、前記属性βに対する直交化属性関数を表す、ことを特徴とする方法。
【請求項３】
請求項１に記載の方法により計算された前記直交化自由パラメータλαｏｒｔｈｏの、以下の式による確率関数ｐλｏｒｔｈｏ（ｗ｜ｈ）の計算のための使用。
【数５】
2004519723.tif 000023
【請求項４】
音声認識のために最大エントロピー音声モデルＭＥＳＭを用いる音声認識システムをトレーニングするためのトレーニング装置であって、トレーニングアルゴリズムの助けにより前記ＭＥＳＭの自由パラメータλαｏｒｔｈｏをトレーニングするためのトレーニングユニットを有するトレーニング装置において、前記トレーニングユニットのトレーニングでは設定されることができなかったパラメータλαｏｒｔｈｏからの自由パラメータλαｏｒｔｈｏを、請求項１に記載の方法に基づいて最適化するための最適化ユニットにより特徴付けられるトレーニング装置。
【請求項５】
請求項４に記載のトレーニング装置を有する、前記ＭＥＳＭに基づいて音声認識を実行する音声認識システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、前に実行されたトレーニングアルゴリズムの助けでは最大エントロピー音声モデルにおける属性αの自由パラメータλαｏｒｔｈｏを設定することができない場合に、このパラメータを設定する方法に関する。
【０００２】
本発明は更に、このような方法が用いられるトレーニング装置及び音声認識システムに関する。
【０００３】
【従来の技術】
音声入力を認識するためのコンピュータ支援型音声認識システムにおいて用いられるような従来型の音声モデルの構築の出発点は、既定のトレーニングタスクである。
このトレーニングタスクは、数学的に構築される境界条件のシステムにおいて音声認識システムの将来的なユーザの発声における特定の統計標本をモデル化し、これは一般的に次の形式を有する：
【数６】
2004519723.tif 000002
ここで、
Ｎ（ｈ）／Ｎ：  トレーニングコーパスにおける履歴ｈの相対頻度
ｐλｏｒｔｈｏ（ｗ｜ｈ）：  所定の単語ｗが単語列ｈ（履歴）に続く確率
α：  音声モデルにおける既定の属性
ｆαｏｒｔｈｏ （ｈ，ｗ）：  属性αに対する直交化バイナリ属性関数
ｍαｏｒｔｈｏ：  境界条件のシステムにおける所望の境界値
である。
【０００４】
上付き指標「ｏｒｔｈｏ」は基本的には直交化された値を示す。
【０００５】
属性αは、例として、個別の単語、単語列、色又は動詞等の単語クラス、単語クラスの列又はより複雑な構成を示すことができる。
【０００６】
直交化バイナリ属性関数ｆαｏｒｔｈｏ （ｈ，ｗ）は、一例として、所定の単語が所定の単語列ｈ， ｗの特定の位置に含まれているかどうかのバイナリ決定を行う。
【０００７】
単語に基づくＮ−ｇｒａｍ属性αに対しては、直交化された属性関数は以下のように明確に既定される：
ｆαｏｒｔｈｏ （ｈ，ｗ） ＝   ｛１  αが単語列（ｈ，ｗ）に適合し、且つ、適合する最も広い範囲を持つ属性でもあるとき
｛０  それ以外のとき
単語及びクラスに基づく属性α （又は異なった不連続構造の不連続Ｎ−ｇｒａｍ）が用いられるのであれば、これらはそれに応じて種々の属性グループＡｉに更に分割される。この場合属性関数の直交化がグループ中で起こる：
ｆαｏｒｔｈｏ （ｈ，ｗ） ＝   ｛１   αが単語列（ｈ，ｗ）に適合し、且つ、適合する属性グループＡｉ中で最も広い範囲を持つ属性でもあるとき
｛０  それ以外のとき
式（１）に基づく境界条件のシステムの解、つまり、トレーニングオブジェクトは、いわゆる最大エントロピー音声モデルＭＥＳＭにより構成され、このモデルは境界条件のシステムの適切な解を確率ｐ（ｗ｜ｈ）の適切な定義の形で以下のように与える。
【０００８】
【数７】
2004519723.tif 000003
ここで、この和はＭＥＳＭで予め決められた全属性αを含み、上記の値以外には以下の量が適用される：
Ｚλｏｒｔｈｏ（ｈ）：  スケーリング係数
λｏｒｔｈｏ：  全直交化自由パラメータの組
自由パラメータλｏｒｔｈｏは、式（２）が式（１）に基づいて境界条件のシステムに対して解を表すように適応される。この適応は通常いわゆるトレーニングアルゴリズムの助けを得て起こる。このようなトレーニングアルゴリズムの例は、１９９６年にＣｏｍｐｕｔｅｒ Ｓｐｅｅｃｈ ａｎｄ Ｌａｎｇｕａｇｅ、１０の１８７−２２８ページのＲ． Ｒｏｓｅｎｆｅｌｄによる「Ａ ｍａｘｉｍｕｍ−ｅｎｔｒｏｐｙ ａｐｐｒｏａｃｈ ｔｏ ａｄａｐｔｉｖｅ ｓｔａｔｉｓｔｉｃａｌ ｌａｎｇｕａｇｅ ｍｏｄｅｌｌｉｎｇ」に直交化属性関数について説明される、いわゆる一般反復スケーリングアルゴリズム（ＧＩＳ）である。
【０００９】
個別又は種々の反復トレーニングステップが一旦トレーニングアルゴリズムで実行されたら、自由パラメータλｏｒｔｈｏがトレーニングアルゴリズムによりどれだけよく定められたのかの制御が各ケースについて可能である。これは通常、トレーニングにより設定されたλｏｒｔｈｏ値が、次式（３）に基づいて所望の境界値ｍαｏｒｔｈｏに対する近似の境界値Ｍαｏｒｔｈｏの計算のためのパラメータとして用いられるときに起こる。
【数８】
2004519723.tif 000004
このとき上記の量が用いられる。
【００１０】
計算された境界値Ｍαｏｒｔｈｏの所望の境界値ｍαｏｒｔｈｏとの比較は自由パラメータλαｏｒｔｈｏに対して見出された設定の質を記述することを可能にする。
【００１１】
式（３）に基づく個々の属性αに対する近似境界値Ｍαｏｒｔｈｏの計算において、Ｍαｏｒｔｈｏ ＝０という場合があり得る。これは、ＭＥＳＭにおける属性αに対して、属性αを含む、又は特には属性αとなる、より広い範囲を持つ属性βが存在すれば起こり得る。この場合特定の単語列（ｈ，ｗ）に対する属性αは、ｆαｏｒｔｈｏ（ｈ，ｗ）＝０という意味でより広い範囲の属性βによりブロックされる。式（３）中の未解決の（ｈ，ｗ）全てに対して上記のようであれば、（１）に従って、所望の直交化境界値ｍαｏｒｔｈｏも０となる。この状況は次式で要約されることができる。
【数９】
2004519723.tif 000005
ここで
【数１０】
2004519723.tif 000006
であり、Ｄｃは、確率関数ｐλ （ｈ｜ｗ）に対する制限された定義範囲を表し、ここでＭＥＳＭの語彙Ｖからの全単語ｗは自由に選択可能であり、Ｎ（ｈ）＞０に対してＭＥＳＭのトレーニングコーパスにおいて少なくとも１回起こる、いわゆる既知の履歴（ｓｅｅｎ ｈｉｓｔｏｒｙ） ｈのみが起こり得る。
【００１２】
ある属性αに対して、式（３）に基づいて計算された直交化近似境界値Ｍαｏｒｔｈｏが０となった場合、関連する自由パラメータλαｏｒｔｈｏは多くの可能な解釈で、即ち不明確に、既定される、と結論付けることができる。このとき、トレーニングアルゴリズムの実行は属性αに対するこのパラメータλαｏｒｔｈｏについて失敗であり、パラメータλαｏｒｔｈｏはこのとき通常のトレーニングアルゴリズムの助けでは適切に設定されることができないと結論付けられる。
【００１３】
多くの可能な解釈を持つ自由パラメータλαｏｒｔｈｏは、式（２）に従ってこれに基づいて計算された、所定の単語ｗが（未知の（ｕｎｓｅｅｎ））履歴ｈに後続するという条件確率ｐλ（ｈ｜ｗ）が、多くの可能な解釈により規定されるか又は全く規定されないという短所を有する。よって、対応する言語モデルの、よって、ＭＥＳＭに基づいて動作する音声認識システムの、全体的な予知精度及び効率は低下する。
【００１４】
【発明が解決しようとする課題】
この最新技術から始めて、本発明の目的は、音声認識システム、トレーニング装置、及び、前に実行されたトレーニングアルゴリズムの助けでは最大エントロピー音声モデルにおける属性αの自由パラメータλαｏｒｔｈｏの設定がうまくいかなかった場合に、この自由パラメータを設定する方法を提供することである。
【００１５】
【課題を解決するための手段】
この目的は特許請求項１に記載の、前に実行されたトレーニングアルゴリズムの助けでは最大エントロピー音声モデルにおける属性αの自由直交化パラメータλαｏｒｔｈｏを設定することができない場合にこのパラメータを設定する方法であって、前記属性αがＭＥＳＭ中の全部でｉ ＝ １ … ｎの属性グループからの属性グループＡｉに属する方法において、
ａ）  前記属性αに対する所望の直交化境界値ｍαｏｒｔｈｏを修正された所望の直交化境界値ｍαｏｒｔｈｏ，ｍｏｄで置き換えるステップであって、ここで、
【数１１】
2004519723.tif 000007
であり、
また、β∈Ａｉは、属性αよりも広い範囲を持つ全ての属性を表し前記属性αとなり、
ｍβｏｒｔｈｏは、属性βに対する所望の直交化境界値を表す、ステップと、
ｂ）  式「ｄｅｎｏｍｉｎａｔｏｒα」 を
【数１２】
2004519723.tif 000008
に従って計算するステップであって、ここで、
β∈Ａｉは、属性αよりも広い範囲を持つ全ての属性を表し前記属性αとなり、
λβｏｒｔｈｏは、属性βに対するＭＥＳＭの自由直交化パラメータを表し、
Ｍβｏｒｔｈｏは、属性βに対する所望の直交化境界値ｍβｏｒｔｈｏの近似境界値を表す、ステップと、
ｃ）  自由直交化パラメータλαｏｒｔｈｏを
【数１３】
2004519723.tif 000009
に従って計算するステップと、を有する方法により達成される。
【００１６】
属性αに対する自由パラメータλαｏｒｔｈｏについてこのようにして計算された値はただ１つの解釈を有する、つまり、もはや曖昧ではない。当該自由パラメータは、限定された問題に対して、つまり、属性αよりも広い幅を持つ属性βをもはや有さないＭＥＳＭ内の低減された数の属性に対して、関連する境界値ｍαｏｒｔｈｏ，ｍｏｄによく近似するように適応される。
【００１７】
本発明による方法の助けにより計算された直交化自由パラメータλαｏｒｔｈｏを式（２）に従う確率関数ｐλｏｒｔｈｏ（ｗ｜ｈ）の計算のために用いることは、トレーニングオブジェクトが基づくテキスト統計にこのパラメータがより良く適応されているため、有利である。
【００１８】
他の有利な方法ステップは従属請求項の対象である。
【００１９】
本発明による目的は更に、音声認識システムをトレーニングするトレーニング装置及びこのようなトレーニング装置を有する音声認識システムにより達成される。これらの装置の利点は前記方法に対して上述された利点に対応する。
【００２０】
本発明の好適な実施例の総合的な説明が、本発明による音声認識システムを示す添付図を参照して以下でなされる。
【００２１】
【発明の実施の形態】
本発明による方法は基本的には以下に要約されるような２つのステップを有する。
ｉ）  上記の定義の意味の範疇で全（ｈ， ｗ）∈Ｄｃに対してより広い範囲を持つ属性βによりトレーニング中にブロックされる全ての属性αの選択。
ｉｉ）  属性αが用いられるアプリケーションのこれら全属性に対するシミュレーション及びこの場合のλαｏｒｔｈｏの適応の実行。これらのシミュレーションされたアプリケーションにおける、音声モデルの境界条件を修復するための、元のではなく修正された２次条件の使用。
【００２２】
本方法の第１のステップは、その属性の所望の直交化境界値ｍαｏｒｔｈｏ及び近似境界値Ｍαｏｒｔｈｏが、消える、即ち０に等しくなるような全属性が、識別されるように実行される。
【００２３】
本方法の第２のステップは多くのサブステップを有し、ここで一般的に、既知の履歴、つまり、トレーニングコーパスＭＥＳＭに含まれる履歴、及びトレーニングコーパスに含まれない未知履歴について、一般化がなされる。個別の方法ステップは、単語に基づく４桁のＭＥＳＭ中の３桁のグループ属性α ＝ （ｙ，ｚ，ｗ）の例を用いて以下で説明される。
１．  既知の履歴ｈ＝（ｘ，ｙ，ｚ）のそれぞれに対して３重属性α ＝ （ｙ，ｚ，ｗ）は４重属性β ＝ （ｘ，ｙ，ｚ，ｗ）によりブロックされる。ここで「ブロック」とは、属性α及びβは単語列（ｈ，ｗ）に適合し、βはαよりも広い範囲を持つため、ｆαｏｒｔｈｏ（ｈ，ｗ）αｏｒｔｈｏ＝ ０という意味である。従って、式Ｎ（ｈ）／Ｎ・ｐ（ｗ｜ｈ）は、属性βに対して式（３）に基づく近似境界値Ｍβｏｒｔｈｏに寄与する。
２．  未知の履歴ｈ’ ＝ （ｘ’，ｙ，ｚ）に対しては、原則として４重属性（ｘ’，ｙ，ｚ，ｗ）は規定されておらず、従って、この場合αはブロックされない。トレーニングコーパスが履歴ｈ’を含むのに十分大きければ、自由パラメータλαｏｒｔｈｏに依存する項Ｎ（ｈ’）／Ｎ・ｐ（ｗ｜ｈ’）は２次条件に含まれることになる、つまりこれは、近似境界値Ｍβｏｒｔｈｏに含まれることになる。しかしこのような状況にはならない。
３．  ３重属性αがブロックされずパラメータλαｏｒｔｈｏが条件確率ｐ（ｗ｜ｈ）を計算するのに実際に寄与する状況をシミュレーションするには以下の思考実験が行われ、ここで、「ｏｒｔｈｏ， ｍｏｄ」は修正された直交化大きさを示す。
【００２４】
トレーニングコーパス中の既知の履歴ｈ ＝ （ｘ，ｙ，ｚ）のそれぞれについて、ブロックする４重属性β ＝ （ｘ，ｙ，ｚ，ｗ）が除去される。このときこれら履歴ｈのそれぞれがサブアイテム２の関数ｈ’に取って代わる。
【００２５】
このとき所望のとおり、修正された確率ｐｍｏｄ（ｗ｜ｈ）は直交化自由パラメータλαｏｒｔｈｏに依存するが、自由パラメータλαｏｒｔｈｏには依存しない。
【００２６】
このとき属性αに関連する属性関数は、全てのブロックする４重属性βが予め除去されているため、ｆαｏｒｔｈｏ ＝ ０（非制限的定義範囲）から
【数１４】
2004519723.tif 000010
に変化する。
【００２７】
このとき式Ｎ（ｈ）／Ｎ・ ｐｍｏｄ （ｗ｜ｈ）は、近似境界値Ｍαｏｒｔｈｏ，ｍｏｄではなく、修正された直交化近似境界値Ｍβｏｒｔｈｏに寄与する。
【００２８】
２次条件の組は修正される。
ａ）  除去された４重属性に関連する２次条件の全ては除去される。
ｂ）  考えられている３重属性に関連する２次条件は、修正された確率及び修正された属性関数に基づく。
【００２９】
この結果、式（３）の両辺は以下のように変化する。
−  左辺はＭαｏｒｔｈｏ＝０からＭαｏｒｔｈｏ，ｍｏｄへ変化する。
−  右辺は全てのブロックする４重属性βが除去されたためｍαｏｒｔｈｏ＝０から
【数１５】
2004519723.tif 000011
へ変化する。
４．  ここで既知の履歴ｈ ＝ （ｘ，ｙ，ｚ）の全ての組は、述べられた変化と共に、未知の履歴ｈ’の組及びλαｏｒｔｈｏのアプリケーションに対応するということが仮定される。ここでパラメータλαｏｒｔｈｏは、これに割り当てられる２次条件がほぼ適合するように適応又は設定される。
５．  思考実験を実際に実行するために、自由パラメータλαｏｒｔｈｏの直交化近似境界条件Ｍαｏｒｔｈｏ，ｍｏｄの依存性が分析されなければならない。
【００３０】
最初に元の確率が修正された確率と比較される（前のとおりｈ ＝ （ｘ，ｙ，ｚ）、α ＝ （ｙ，ｚ，ｗ）そしてβ ＝ （ｘ，ｙ，ｚ，ｗ））である。）
【数１６】
2004519723.tif 000012
【数１７】
2004519723.tif 000013
ここで標準化は以下のとおりである。
【数１８】
2004519723.tif 000014
【数１９】
2004519723.tif 000015
ここで指定（ …， ｖ）は単語列（ｈ，ｖ）に適合する最も広範な属性を指定する。
【００３１】
自由パラメータλβｏｒｔｈｏが自由パラメータλαｏｒｔｈｏの近くにあるか又はｅｘｐ（λαｏｒｔｈｏ）及びｅｘｐ （λβｏｒｔｈｏ）の両者がΣｖ≠ｗｅｘｐ（．．．）よりも大幅に小さいと仮定すると、修正された確率ｐｍｏｄは以下のように計算される。
【数２０】
2004519723.tif 000016
【００３２】
この近似が式９に従って用いられると、修正された直交化近似境界値Ｍαｏｒｔｈｏ，ｍｏｄは元の境界値Ｍβｏｒｔｈｏから容易に導出することができる。
しかし、より重要なのは、以下に示すようにこれが自由パラメータλαｏｒｔｈｏにおおよそ比例するということである。
【数２１】
2004519723.tif 000017
【００３３】
そして最後に、直交化近似境界値Ｍαｏｒｔｈｏ，ｍｏｄを修正された所望の直交化境界値ｍαｏｒｔｈｏ，ｍｏｄと等式にすることにより、所望の求めていた直交化パラメータλαｏｒｔｈｏの適応を生じさせ、これは以下のように計算される。
【数２２】
2004519723.tif 000018
【００３４】
多くの可能な解釈を持っていた自由パラメータλαｏｒｔｈｏのこのような設定は、既知の履歴ｈから未知の履歴ｈ’までより良く一般化する、トレーニング装置又は音声認識システムにおける確率ｐλの計算を可能にする。
【００３５】
本明細書に添付の図面は、通常音声認識のためにＭＥＳＭを用いる音声認識システムをトレーニングする役割を果たすこのようなトレーニング装置１０を示す。本トレーニング装置１０は通常、ＧＩＳトレーニングアルゴリズム等のトレーニングアルゴリズムの助けを得るＭＥＳＭの自由パラメータλαｏｒｔｈｏのトレーニングのためのトレーニングユニット１２を有する。しかし、明細書の序文に示されたように、自由パラメータλαｏｒｔｈｏのトレーニングは常に成功するわけではなく、よって、トレーニングアルゴリズムを通過した後でさえもＭＥＳＭの個別の自由パラメータλαｏｒｔｈｏが依然所望の態様に適応されていないということも起こり得る。これらは特には、直交化近似境界値Ｍαｏｒｔｈｏが式（３）に基づいて計算された寄与が０の値を与えるという場合である。
【００３６】
多くの可能な解釈を持つ適応されていない自由パラメータも適切な値に設定するために、トレーニング装置１０は、多くの可能な解釈を有するパラメータをトレーニングユニット１２から受信して、これらを以上で説明された本発明による方法に従って最適化する最適化ユニット１４を有する。
【００３７】
必要ではないが有利には、このようなトレーニング装置１０は、ＭＥＳＭに基づく音声認識を実行する音声認識システム１００の一部を形成する。
【図面の簡単な説明】
【図１】本発明による音声認識システム。
【国際公開パンフレット】
2004519723.tif 000024
2004519723.tif 000025
2004519723.tif 000026
2004519723.tif 000027
2004519723.tif 000028
2004519723.tif 000029
2004519723.tif 000030
2004519723.tif 000031
2004519723.tif 000032
2004519723.tif 000033
2004519723.tif 000034
2004519723.tif 000035
2004519723.tif 000036
【国際調査報告】
2004519723.tif 000037
2004519723.tif 000038
2004519723.tif 000039