(57)【特許請求の範囲】
【請求項１】
音声認識システムにおいて、最大エントロピー音声モデル（ＭＥＳＭ）のフリーパラメータ
【数１】
0004090755.tif 000070
の反復値を、
ｎが反復パラメータを表わし、
Ｇが数学関数を表わし、
αが最大エントロピー音声モデルの属性を表わし、前記属性は１又は複数の単語を含むレンジを有し、含まれる単語数が多いほど広いレンジを有し、
【数２】
0004090755.tif 000071
が属性αに対する最大エントロピー音声モデルにおける所望の直交化境界値を表わす場合に、次式
【数３】
0004090755.tif 000072
に従う一般化反復スケーリング学習アルゴリズムを用いて計算する方法であって、
所望の直交化境界値
【数４】
0004090755.tif 000073
は、所望の境界値
【数５】
0004090755.tif 000074
と、属性αよりも広いレンジを有する属性βの所望の境界値
【数６】
0004090755.tif 000075
との線形結合によって計算されることを特徴とする方法。
【請求項２】
属性α＝β０に対する所望の直交化境界値
【数７】
0004090755.tif 000076
の計算は、
音声モデルにおいて、ｉ＝１，．．．，ｇ、ｇは最大レンジを有する属性βｉに割り当てられるインデックスとして、属性α＝β０と、属性α＝β０よりも広いレンジＲＷを有する属性とを含む全ての属性βｉを選択する手順（ａ）と、
ｉ＝０，．．．，ｇとして、属性βｉに対する所望の境界値ｍβｉを計算する手順（ｂ）と、
ｉ＝０，．．．，ｇとして、属性βｉをレンジＲＷに従ってソーティングする手順（ｃ）と、
最大レンジＲＷを有する一つの属性βｉを選択する手順（ｄ）と、
属性βｉを含み、選択された属性βｉよりも広いレンジＲＷを有する他の属性βｋが存在するかどうかを検査する手順（ｅ）と、
存在しない場合に、パラメータＸをＸ＝０として定める手順（ｆ２）と、
所望の境界値ｍβｉをパラメータＸと数学的に結合することによって、属性βｉに対する所望の直交化境界値
【数８】
0004090755.tif 000077
を計算する手順（ｇ）と、
手順（ｇ）において、ｉ＝０に関する所望の直交化境界値
【数９】
0004090755.tif 000078
が計算されるまで、レンジＲＷが属性βｉのレンジ以下である属性βｉ−１に対して、手順（ｅ）から手順（ｇ）までを繰り返す手順（ｈ）と、
手順（ｅ）で存在する場合に、より広いレンジを有する全ての属性βｋに対して、手順（ｅ）から手順（ｇ）までの最後の実行中に、手順（ｇ）で計算され、直前に実行された手順（ｅ）で決定された直交化境界値
【数１０】
0004090755.tif 000079
の線形結合としてパラメータＸを定める手順（ｆ１）と、
を含む計算であることを特徴とする、請求項１記載の方法。
【請求項３】
手順（ｆ１）におけるパラメータＸの計算は、式
【数１１】
0004090755.tif 000080
によって行なわれることを特徴とする請求項２記載の方法。
【請求項４】
手順（ｇ）における所望の直交化境界値
【数１２】
0004090755.tif 000081
の計算は、式
【数１３】
0004090755.tif 000082
に従って行なわれることを特徴とする請求項３記載の方法。
【請求項５】
手順（ｂ）におけるｉ＝０，．．．，ｇに関する属性βｉに対する所望の境界値
【数１４】
0004090755.tif 000083
の計算は、夫々の属性βｉが学習用コーパスに出現する頻度Ｎ（βｉ）を計算し、計算された頻度Ｎ（βｉ）を平滑化することによって行なわれることを特徴とする請求項２記載の方法。
【請求項６】
頻度Ｎ（βｉ）の計算は、２値属性関数ｆβｉを学習用コーパスへ適用することによって行なわれ、
２値数関数ｆβｉは、
【数１５】
0004090755.tif 000084
のように定義され、式中、
【数１６】
0004090755.tif 000085
は、属性βｉが単語列（ｈ，ｗ）によって予め与えられたパターンを正確に記述するかどうかを示す、
ことを特徴とする請求項５記載の方法。
【請求項７】
数学関数Ｇは、更なる変数として、
【数１７】
0004090755.tif 000086
で表される収束ステップの大きさ
【数１８】
0004090755.tif 000087
を有し、式中、Ｍｏｒｔｈｏは、２値関数
【数１９】
0004090755.tif 000088
に関して、同じ引数（ｈ，ｗ）に対して値１を生ずる関数の最大個数を表していることを特徴とする、
請求項１記載の方法。
【請求項８】
属性関数
【数２０】
0004090755.tif 000089
は、属性関数
【数２１】
0004090755.tif 000090
を、属性αよりも広いレンジを有する属性βから計算された直交化属性関数
【数２２】
0004090755.tif 000091
と線形結合することにより計算されることを特徴とする請求項７記載の方法。
【請求項９】
属性α＝β０に対する直交化属性関数
【数２３】
0004090755.tif 000092
の計算は、
音声モデルにおいて、ｉ＝０，．．．，ｇ、ｇは最大レンジを有する属性βｉに割り当てられるインデックスとして、属性α＝β０と、属性α＝β０よりも広いレンジＲＷを有する属性とを含む全ての属性βｉを選択する手順（ａ）と、
ｉ＝０，．．．，ｇとして、属性βｉに対する境界値ｆβｉを計算する手順（ｂ）と、
ｉ＝０，．．．，ｇとして、属性βｉをレンジＲＷに従ってソーティングする手順（ｃ）と、
最大レンジＲＷを有する一つの属性βｉを選択する手順（ｄ）と、
属性βｉを含み、選択された属性βｉよりも広いレンジＲＷを有する他の属性βｋが存在するかどうかを検査する手順（ｅ）と、
存在しない場合に、関数ＦをＦ＝０として定める手順（ｆ２）と、
属性関数ｆβｉを関数Ｆと数学的に結合することによって、属性βｉに対する直交化属性関数
【数２４】
0004090755.tif 000093
を計算する手順（ｇ）と、
手順（ｇ）において、ｉ＝０に関する直交化属性関数
【数２５】
0004090755.tif 000094
が計算されるまで、レンジＲＷが属性βｉのレンジ以下である属性βｉ−１に対して、手順（ｅ）から手順（ｇ）までを繰り返す手順（ｈ）と、
手順（ｅ）で存在する場合に、より広いレンジを有する全ての属性βｋに対して、手順（ｅ）から手順（ｇ）までの最後の実行中に、手順（ｇ）で計算され、直前に実行された手順（ｅ）で決定された直交化属性関数
【数２６】
0004090755.tif 000095
の線形結合として関数Ｆを定める手順（ｆ１）と、
を含む計算であることを特徴とする、請求項８記載の方法。
【請求項１０】
手順（ｆ１）における関数Ｆの計算は、式
【数２７】
0004090755.tif 000096
に従って行なわれることを特徴とする請求項９記載の方法。
【請求項１１】
手順（ｇ）における直交化属性関数
【数２８】
0004090755.tif 000097
の計算は、式
【数２９】
0004090755.tif 000098
に従って行なわれることを特徴とする請求項９記載の方法。
【請求項１２】
数学関数Ｇは、以下の式、
【数３０】
0004090755.tif 000099
によって表され、式中、
αは、着目中の属性を示し、
γは、音声モデルの全ての属性を示し、
【数３１】
0004090755.tif 000100
は、
【数３２】
0004090755.tif 000101
の場合に、
【数３３】
0004090755.tif 000102
として与えられる収束ステップのサイズを示し、ここで、Ｍｏｒｔｈｏは、２値関数
【数３４】
0004090755.tif 000103
に関して、同じ引数（ｈ，ｗ）に対して値１を生ずる関数の最大個数を表し、
【数３５】
0004090755.tif 000104
は、属性α及びγに対する最大エントロピー音声モデルにおける所望の直交化境界値を示し、
【数３６】
0004090755.tif 000105
は、所望の境界値
【数３７】
0004090755.tif 000106
に対する反復近似値を示し、
ｂα及びｂγは定数を示す、
ことを特徴とする請求項１記載の方法。
【請求項１３】
数学関数Ｇは、以下の式、
【数３８】
0004090755.tif 000107
によって表され、式中、
ｎは、反復パラメータを示し、
Ａｉ（ｎ）は、ｎ回目の反復ステップで選択された１≦ｉ≦ｍなるｉに関して属性グループＡｉ（ｎ）を示し、
αは、直前に選択された属性グループＡｉ（ｎ）からの着目中の属性を示し、
βは、属性グループＡｉ（ｎ）の全ての属性を示し、
【数３９】
0004090755.tif 000108
は、
【数４０】
0004090755.tif 000109
の場合に、
【数４１】
0004090755.tif 000110
として与えられる収束ステップのサイズを示し、ここで、
【数４２】
0004090755.tif 000111
は、２値関数
【数４３】
0004090755.tif 000112
に関して、属性グループＡｉ（ｎ）の中で同じ引数（ｈ，ｗ）に対して値１を生ずる関数の最大個数を表し、
【数４４】
0004090755.tif 000113
は、属性α及びβに対する最大エントロピー音声モデルにおける所望の直交化境界値を示し、
【数４５】
0004090755.tif 000114
は、所望の境界値
【数４６】
0004090755.tif 000115
に対する反復近似値を示し、
関連したパラメータ
【数４７】
0004090755.tif 000116
が現在の反復ステップに適応させられた属性αのグループＡｉ（ｎ）の選択は、循環式に、又は、所定の規準に従って行われる、
ことを特徴とする請求項１記載の方法。
【請求項１４】
マイクロホンによって捕捉され利用できるようになされた音響信号の意味内容、特に、信号の一部分を組み込まれた最大エントロピー音声モデルＭＥＳＭによって与えられた所与の認識シンボルにマッピングすることによって音声信号を認識し、認識された意味内容を表現する出力信号を生成する認識装置と、
最大エントロピー音声モデルを音声認識システムのあるユーザの音声中の反復性統計的パターンに適応させる学習システムと、
を具備した音声認識システムであって、
学習システムは、請求項１記載の方法によって最大エントロピー音声モデルにおけるフリーパラメータを計算することを特徴とする、音声認識システム。
【請求項１５】
音声認識システムにおいて、最大エントロピー音声モデルを音声認識システムのあるユーザの音声中の反復性統計的パターンに適応させる学習システムであって、
請求項１記載の方法によって最大エントロピー音声モデルにおけるフリーパラメータを計算することを特徴とする、学習システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音声認識システムにおいて、最大エントロピー音声モデルＭＥＳＭのフリーパラメータ
【０００２】
【数４８】
0004090755.tif 000002
の反復値を、
ｎが反復パラメータを表わし、
Ｇが数学関数を表わし、
αが最大エントロピー音声モデルの属性を表わし、
【０００３】
【数４９】
0004090755.tif 000003
が属性αに対する最大エントロピー音声モデルにおける所望の直交化境界値を表わす場合に、次式
【０００４】
【数５０】
0004090755.tif 000004
に従う一般化反復スケーリング学習アルゴリズムを用いて計算する方法に関する。
【０００５】
本発明は、上記の計算方法を実施する、従来技術で公知のコンピュータ支援音声認識システム、及び、コンピュータ支援学習装置に関する。
【０００６】
【従来の技術】
入力音声を認識するコンピュータ支援音声認識システムにおいて関連している音声モデルの構築の開始点は、所与の学習用オブジェクトである。学習用オブジェクトは、音声認識システムの将来のユーザの言語におけるある種の統計的パターンを、数学的に定式化された境界条件の系で表現すること（マップすること）である。この系は、一般的に、
【０００７】
【数５１】
0004090755.tif 000005
という式で書き表され、式中、
Ｎ（ｈ）は、学習用コーパスにおけるヒストリーｈの頻度を表わし、
Ｐ（ｗ｜ｈ）は、所与の単語ｗが先行単語列ｈ（ヒストリー）の後に続く確率ｐ（ｗ｜ｈ）を表わし、
【０００８】
【数５２】
0004090755.tif 000006
は、属性αに対する２値属性関数を表わし、
【０００９】
【数５３】
0004090755.tif 000007
は、境界条件の系における所望の境界値を表わす。
【００１０】
この境界条件の系の解、すなわち、学習用オブジェクトは、いわゆる、最大エントロピー音声モデルＭＥＳＭによって形成される。最大エントロピー音声モデルは、境界条件の系の適当な解を、適当な確率の定義ｐ（ｗ｜ｈ）の形式で表わす。この確率は、
【００１１】
【数５４】
0004090755.tif 000008
のように表わされ、式中、
Ｚλ（ｈ）は、ヒストリー依存型標準化因子を表わし、
λαは、属性αに対するフリーパラメータを表わし、
λは、全パラメータの集合を表わす。上記パラメータに対して、上記の定義式が成り立つ。
【００１２】
２値属性関数ｆα（ｈ，ｗ）は、たとえば、所与の単語列ｈ、ｗがある場所に所与の単語を格納するどうかについての２分決定を行なう。属性αは、一般的に、１単語、１列、単語クラス（色又は動詞）、単語クラスの列、若しくは、より複雑なパターンを表わす。
【００１３】
図４には、一例として、音声モデルにおける所与の属性が示されている。たとえば、図示されたユニグラムは、１単語を表現し、バイグラムは、２単語からなる単語列を表現し、トリグラムは、３単語からなる単語列を表現する。バイグラム"ORA"は、ユニグラム"A"と、別の単語とを含むので、バイグラムは、ユニグラム"A"よりも広いレンジをもつ、というように表わされる。同様に、トリグラム"A WHITE HOUSE"は、ユニグラム"HOUSE"或いはバイグラム"WHITE HOUSE"よりも広いレンジを有する。
【００１４】
フリーパラメータλは、式（３）が式（２）による境界条件の系に対する解を表現するように合わされる。この適応は、通常、公知の学習アルゴリズムを用いて行なわれる。このような学習アルゴリズムの一例は、いわゆる、一般化反復スケーリングＧＩＳアルゴリズムである。このＧＩＳアルゴリズムについては、たとえば、文献：J.N. Darroch and D. Raatcliff, "Generalized iterative scaling for log linear models", Annals Math. Stat., 43(5):1470-1480, 1972を参照するのがよい。
【００１５】
このＧＩＳアルゴリズムは、フリーパラメータλの繰り返し計算を行なう．通常、この計算は非常に時間がかかる。この計算の速度を高めるため、従来技術では、直交化属性関数
【００１６】
【数５５】
0004090755.tif 000009
で、式（２）による境界条件の系における属性関数
【００１７】
【数５６】
0004090755.tif 000010
を代用することが提案されている。この提案に関しては、たとえば、文献：R.Rosenfeld, "A maximum-entropy approach to adaptive statistical language modeling"; Computer Speech and Language, 10:187-228, 1996を参考にするとよい。しかし、式（２）の左項の属性関数の置換によって、右項の境界値
【００１８】
【数５７】
0004090755.tif 000011
も変更する。この変更は、元の境界条件の系、すなわち、境界値を推定する通常の集合アプローチにおける元の学習用オブジェクトを変更する。これについては、上述の文献：R.Rosenfeld, "A maximum-entropy approach to adaptive statistical language modeling"; Computer Speech and Languageの205ページを参照のこと。
【００１９】
【発明が解決しようとする課題】
この点に関して、従来技術では、ＧＩＳアルゴリズムの計算が加速化されるとき、フリーパラメータλは、変更された学習用オブジェクトに関して訓練される、という欠点が生じる。このようにして計算されたパラメータλは、このパラメータλを式（３）で使用したときに、音声モデルの元の学習用オブジェクトへの適応を不適切にさせる原因になる。
【００２０】
したがって、本発明は、上記従来技術の問題点に鑑みて、元の学習用オブジェクトを変更することなく、フリーパラメータλを高速計算が可能になる、コンピュータ支援音声認識システム、コンピュータ支援学習システム、及び、音声認識システムにおいて最大エントロピー音声モデルのフリーパラメータ
【００２１】
【数５８】
0004090755.tif 000012
を反復的に計算する方法の提供を目的とする。
【００２２】
【課題を解決するための手段】
上記目的を達成するため、請求項１に係る発明では、ＧＩＳアルゴリズムを用いてフリーパラメータλを計算する上述の方法において、
所望の直交化境界値
【００２３】
【数５９】
0004090755.tif 000013
は、属性αに関する所望の境界値
【００２４】
【数６０】
0004090755.tif 000014
と、属性αよりも広いレンジを有する属性βの所望の境界値
【００２５】
【数６１】
0004090755.tif 000015
との線形結合によって計算される。ここで、
【００２６】
【数６２】
0004090755.tif 000016
及び
【００２７】
【数６３】
0004090755.tif 000017
は、元の学習用オブジェクトの所望の境界値である。
【００２８】
このようにして計算された境界値
【００２９】
【数６４】
0004090755.tif 000018
を使用することによって、フリーパラメータラムダの改良された近似を有利な手段で実現できるようになり、元の学習用モデルに関して改良型の音声モデルを構築できるようになる。この定性的な改良が実現可能であると共に、ＧＩＳアルゴリズムを用いた反復計算中に、高い収束速度がフリーパラメータλに対して実現され続ける。
【００３０】
本発明によって計算された所望の直交化境界値
【００３１】
【数６５】
0004090755.tif 000019
の使用は、従属した請求項１２及び１３に記載されているように、ＧＩＳ学習アルゴリズムの幾つかの変形例についても推奨される。
【００３２】
上記の本発明の目的は、請求項１４に記載されるような最大エントロピー音声モデルＭＥＳＭに基づく音声認識システム、並びに、請求項１５に記載されるようなＭＥＳＭを訓練する学習システムによって達成される。
【００３３】
本発明による方法を学習システムで実施することによって、音声認識システムにおける最大エントロピー音声モデルＭＥＳＭは、音声認識システムのある種のユーザの個別の言語特性に対して、従来技術よりも効果的に適応する。音声認識システムが、ユーザの音声の意味内容を正確に認識する際に用いる引用は、著しく改良される。
【００３４】
本発明の音声認識システム及び学習システムの利点は、本発明による方法の利点と対応する。
【００３５】
【発明の実施の形態】
以下、添付図面を参照して本発明を説明する。
【００３６】
最初に、図１ａ及び１ｂを参照して本発明の一実施例を詳細に説明する。
【００３７】
図１ａ及び１ｂには、音声モデルにおける属性α＝β０に対する本発明による改良された所望の直交化境界値
【００３８】
【数６６】
0004090755.tif 000020
の計算方法が示されている。
【００３９】
この方法のステップ１において、ｉ＝１，．．．，ｇとして、所与の属性α＝β０よりも広いレンジを有する属性と、所定の場所の属性α＝β０とを含む全ての属性βｉが、この方法によって決定される。
【００４０】
次に、ステップ２において、ｉ＝０，．．．，ｇとして、元の学習用オブジェクトの所望の境界値ｍβｉが属性α＝β０を含む、全ての属性βｉに関して計算される。
【００４１】
このような所望の境界値ｍβｉを計算するため、従来の幾つかの方法が知られている。
【００４２】
第１の方法によれば、この計算は、
最初に、音声モデルの学習用コーパスが使用されたときに、関連した２値属性関数ｆβｉが値１を生ずる頻度Ｎ（βｉ）を計算し、
次に、このようにして決定された頻度値Ｎ（βｉ）を平滑化する、
ことによって行なわれる。
【００４３】
第２の代替的な方法によれば、この計算は、境界条件が衝突しなくなるまで、音声モデルの属性の量を減少させることによって実行される。このような属性の数の削減は、実際的な状況では非常に広範囲に亘る必要がある。なぜならば、広範囲に亘らない場合、生成された音声モデルが元の学習用オブジェクトに対する解を表現しなくなるからである。
【００４４】
第３の方法では、この計算は、文献：J.Peters and D.Klakow, "Compact Maximum Entropy Language Models", Proc. ASRU, Keystone, Colorado, 1999に記載されているように、いわゆる、誘導音声モデルを用いて行なわれる。
【００４５】
ステップ３では、全ての属性βｉがレンジに応じてソートされ、最大レンジを有する属性βｉにはインデックスｉ＝ｇが割り当てられる。個別のレンジのクラス、たとえば、バイグラムのクラス、若しくは、トリグラムのクラスは、複数の属性βｉが割り当てられる。このような状況で、連続的な異なるインデックスｉを有する複数の属性βｉは、全く同一のレンジのクラスに割り当てられ、これらの属性は、常に同じＲＷを有し、同じレンジのクラスに属する。
【００４６】
この方法を実施するため、順次のステップで、個別の属性βｉが順番に推定され、属性は、減少するレンジ（又は、一定レンジ）に応じて処理されることが重要である、この方法を最初に動かすとき、最高のレンジのクラスへ割り当てられた属性βｉを用いて開始され、好ましくは、ｉは、ｇと一致するように設定される（図１ａのステップ４及びステップ５を参照せよ）。
【００４７】
次に、ステップ６において、属性βｉを含む現在選択された属性βｉについて、１＜ｋ≦ｇに関して、より広いレンジを有する属性βｋが出現したかどうかを検査する。第１回目の実行の際に、ｉ＝ｇなる属性βｉは、上述のように最大レンジを有するクラスに自動的に属するので、ステップＳ６における質問に対する回答は、この属性βｉの場合には否定的である。この場合、ステップ８へジャンプし、パラメータＸは零にセットされる。
【００４８】
次に、ステップ９において、改良された所望の直交化境界値
【００４９】
【数６７】
0004090755.tif 000021
が、（ｉ＝ｇである第１回目の実行時に）属性βｉに対して計算される。ステップ９からわかるように、属性βｉに対する境界値は、パラメータＸ＝０である場合（たとえば、第１回目の実行中）、ステップ２で計算された所望の境界値ｍβｉと一致するようにセットされる。
【００５０】
ステップ５乃至ステップ１１は、ｉ−１＝ｇ−１，．．．，０として、全ての属性βｉ−１に対して、連続的に繰り返される。ステップ１０において、インデックスｉは再初期化される。この再初期化は、ステップ１１において、ｉ＝０，．．．，ｇとして、全ての属性βｉが処理されたかどうかを問い合わせるために必要である。
【００５１】
より広いレンジを有するｉ＜ｋ≦ｇなる属性βｋが存在する全ての属性βｉに対して、ステップ６における問い合わせの回答は、必ず肯定的である。このとき、パラメータＸは、零にセットされず、ステップ７の処理に従って計算される。すなわち、パラメータＸは、より広いレンジを有する夫々の属性βｋに対してステップ９において前回の実行時に計算された、対応した改良された所望の直交化境界値
【００５２】
【数６８】
0004090755.tif 000022
の総和を計算することによって求められる。
【００５３】
ステップ１１において、所望の直交化境界値
【００５４】
【数６９】
0004090755.tif 000023
がステップ９で計算されたと判定されたとき、この所望の直交化境界値は、ステップ１２において、
【００５５】
【数７０】
0004090755.tif 000024
として出力される。
【００５６】
改良された所望の直交化境界値
【００５７】
【数７１】
0004090755.tif 000025
の計算に関して具体的に説明した本発明による方法は、以下の式、
【００５８】
【数７２】
0004090755.tif 000026
のように簡単に記述できる。
【００５９】
合計（＊）は、より広いレンジを有し、所定の属性αを含む全ての属性βを加える。境界値
【００６０】
【数７３】
0004090755.tif 000027
を計算するため、上記式（４）は、合計の項がある種の属性に関して消えるまで、すなわち、最大レンジを有する属性に関して消えるまで、各属性βに関して大凡再帰的な形で使用される。なぜならば、それらよりも広いレンジを有する属性は存在しないからである。最大レンジを有する属性βｋに対する所望の直交化境界値は、対応した元の所望の境界値ｍβｋと対応付けられる。
【００６１】
図１ａ及び１ｂに示されているような本発明による方法の実施例を、一例として使用された以下の音声モデルの学習用コーパス、
"THAT    WAS    A    RED
OR      A    GREEN HOUSE
OR      A    BLUE HOUSE
THIS      IS      A    WHITE HOUSE AND
THAT     IS     THE    WHITE HOUSE"
を用いて更に説明する。
【００６２】
学習用コーパスは、Ｎ＝２３個の個別の単語を含む。音声モデルにおいて、所望のユニグラム、バイグラム、及び、トリグラム属性は、図４に従って予め決められる。
【００６３】
次に、学習用コーパスに対して、通常の属性関数ｆαを使用することにより、図４によるユニグラム、バイグラム及びトリグラムが、以下の頻度：
ユニグラム
Ａ              ４
ＨＯＵＳＥ      ４
ＩＳ            ２
ＯＲ            ２
ＴＨＡＴ        ２
ＷＨＩＴＥ      ２
バイグラム
Ａ              ＷＨＩＴＥ          １
ＯＲ            Ａ                  ２
ＷＨＩＴＥ      ＨＯＵＳＥ          ２
トリグラム
Ａ              ＷＨＩＴＥ            ＨＯＵＳＥ        １
で学習用コーパスに出現する。
【００６４】
ここに示した例の場合、改良された所望の直交化境界値
【００６５】
【数７４】
0004090755.tif 000028
は、属性α＝"HOUSE"に対して計算されるべきである。この目的のため、最小Ｉ、図１ａのステップ１に従って、属性αよりも広いレンジを有する全ての属性が属性αに対して決定される。図４の例の場合、それらの属性は、バイグラム"WHITE HOUSE"と、トリグラム"A WHITE HOUSE"である。ステップ２によって、通常の所望の境界値が、属性αよりも広いレンジを有するこれらの属性に対して計算されるが、属性αに対しても計算され、たとえば、上述の確定されたそれぞれの頻度は、平滑化される。この平滑化は、たとえば、本例では、値０．１を減算することによって行なわれる。かくして、通常の所望の境界値、
ｍα        ："HOUSE"            ＝４−０．１＝３．９
ｍβ１      ："WHITE HOUSE"    ＝２−０．１＝１．９
ｍβ２      ："A WHITE HOUSE"  ＝１−０．１＝０．９
が得られる。
【００６６】
属性α、β１、β２は、それらのレンジに応じてソートされ、最大レンジで変化する属性から順番に、対応した改良された所望の直交化境界値が式（６）に従って、或いは、図１ａ及び１ｂのステップ７乃至９に従って計算される。
【００６７】
【数７５】
0004090755.tif 000029
【００６８】
【数７６】
0004090755.tif 000030
最後に、改良された所望の直交化境界値
【００６９】
【数７７】
0004090755.tif 000031
は、属性αに対して、
【００７０】
【数７８】
0004090755.tif 000032
のように計算される。
【００７１】
本発明によって計算された直交化境界値
【００７２】
【数７９】
0004090755.tif 000033
は、フリーパラメータλの十分に正確な計算を実行し、元の学習用オブジェクトに関して式（１）に従う確率を十分に正確に計算することができる。一方、その計算速度は、ＧＩＳ学習アルゴリズムで使用された場合と同じである。
【００７３】
以下では、本発明によって計算された境界値
【００７４】
【数８０】
0004090755.tif 000034
の使用法がＧＩＳ学習アルゴリズムの３通りの変形例に対して示される。
【００７５】
ＧＩＳ学習アルゴリズムの第１の変形例では、直交化境界値
【００７６】
【数８１】
0004090755.tif 000035
が本発明によって計算されたとき、数学関数Ｇは、式（１）に従って以下の式（８）の形式、
【００７７】
【数８２】
0004090755.tif 000036
である。式中、
ｎは、反復パラメータを表わし、
αは、着目中の属性を表わし、
γは、音声モデルの全ての属性を表わし、
【００７８】
【数８３】
0004090755.tif 000037
は、収束ステップのサイズを表わし、
【００７９】
【数８４】
0004090755.tif 000038
は、属性α及びγに対するＭＥＳＭにおける所望の直交化境界値を表わし、
【００８０】
【数８５】
0004090755.tif 000039
は、所望の境界値
【００８１】
【数８６】
0004090755.tif 000040
に対する反復近似値を表わし、
ｂα及びｂγは、定数を表わす。
【００８２】
所望の境界値ｍに対する収束ステップサイズｔ及び反復近似値の計算が、後述のように、本発明によって定義された直交化属性関数
【００８３】
【数８７】
0004090755.tif 000041
を用いて行なわれる。直交化属性関数は、
【００８４】
【数８８】
0004090755.tif 000042
のように表わされる。
【００８５】
ここで、式（９）に従って本発明により計算された直交化属性関数
【００８６】
【数８９】
0004090755.tif 000043
は、値に関して、Rosenfeldによって提案された、他の場所での属性関数に対応する。しかし、本発明による計算は、図２ａ及び２ｂに示されるように、全く異なる。この計算方法は、所望の直交化境界値
【００８７】
【数９０】
0004090755.tif 000044
の計算のため図１ａ及び１ｂに関して説明した方法と同様に行なわれる。但し、境界値ｍに対するシンボルは、属性関数ｆに対するシンボルによって置換され、パラメータＸに対するシンボルは、属性関数ｆに対するシンボルによって置換される。重複した説明を避けるため、図２ａ及び２ｂによる方法の説明については、図１ａ及び１ｂによる方法の説明を参照のこと。
【００８８】
本発明によって計算された直交化属性関数
【００８９】
【数９１】
0004090755.tif 000045
又は
【００９０】
【数９２】
0004090755.tif 000046
においては、収束ステップのサイズ
【００９１】
【数９３】
0004090755.tif 000047
及び
【００９２】
【数９４】
0004090755.tif 000048
が式（８）によって以下のように計算される。
【００９３】
【数９５】
0004090755.tif 000049
式中、２値属性関数
【００９４】
【数９６】
0004090755.tif 000050
に対するMorthoは、同じ引数（ｈ，ｗ）に対して値１を生ずる関数の最大数を表わす。
【００９５】
さらに、本発明に従って定義された属性関数
【００９６】
【数９７】
0004090755.tif 000051
においては、反復近似値
【００９７】
【数９８】
0004090755.tif 000052
は、以下の式（１１）が使用されるとき、所望の直交化境界値
【００９８】
【数９９】
0004090755.tif 000053
に対し計算することができる。
【００９９】
【数１００】
0004090755.tif 000054
式中、Ｎ（ｈ）は、学習用コーパス中のヒストリーｈの頻度を示し、
ｐ（ｎ）（ｗ｜ｈ）は、所与の単語ｗが先行単語列ｈ（ヒストリー）の後に続く確率ｐ（ｗ｜ｈ）を表わし、
ｐ（ｎ）（ｗ｜ｈ）は、パラメータ値
【０１００】
【数１０１】
0004090755.tif 000055
を使用する。
【０１０１】
本発明によって計算された改良型の所望の直交化境界値
【０１０２】
【数１０２】
0004090755.tif 000056
は、ＧＩＳ学習アルゴリズムの第２の変形例に対しても推奨される。ＭＥＳＭの属性は、ｍ個のグループＡｉに細分され、反復毎に一つのグループからの属性αのパラメータ
【０１０３】
【数１０３】
0004090755.tif 000057
だけが以下の式、
【０１０４】
【数１０４】
0004090755.tif 000058
に従って変更される。式中、
ｎは、反復パラメータを表わし、
Ａｉ（ｎ）は、ｎ回目の反復ステップで選択された１≦ｉ≦ｍなる属性グループＡ（ｉ）を表現し、
αは、直前に選択された属性グループＡｉ（ｎ）からの着目中の属性を表現し、
βは、属性グループＡｉ（ｎ）からの全ての属性を表わし、
【０１０５】
【数１０５】
0004090755.tif 000059
は、収束ステップのサイズを、
【０１０６】
【数１０６】
0004090755.tif 000060
で表現し、但し、
【０１０７】
【数１０７】
0004090755.tif 000061
である。式中、
２値関数
【０１０８】
【数１０８】
0004090755.tif 000062
に対する
【０１０９】
【数１０９】
0004090755.tif 000063
は、属性グループＡｉ（ｎ）の中で、同じ引数（ｈ，ｗ）に対する値１を生じる関数の最大数を表現し、
【０１１０】
【数１１０】
0004090755.tif 000064
は、それぞれ、属性α及びβに対するＭＥＳＭでの所望の直交化境界値を表現し、
【０１１１】
【数１１１】
0004090755.tif 000065
は、所望の境界値
【０１１２】
【数１１２】
0004090755.tif 000066
に対する反復近似値を表現する。
【０１１３】
パラメータ
【０１１４】
【数１１３】
0004090755.tif 000067
が現在の反復ステップで適応させられた属性αのグループＡｉ（ｎ）は、
ｉ（ｎ）＝ｎ（ｍｏｄ  ｍ）
に従って、ｍ個のグループ全てを循環的に通る。
【０１１５】
本発明に従って計算された所望の直交化境界値
【０１１６】
【数１１４】
0004090755.tif 000068
の使用は、ＧＩＳ学習アルゴリズムの第３の変形例に対しても推奨される。第３の変形例は、反復ステップ毎に使用されるべき属性グループＡｉ（ｎ）が循環的には選択されず、所定の規準
【０１１７】
【数１１５】
0004090755.tif 000069
に従う点で、第２の変形列とは相違する。
【０１１８】
図３には、いわゆる最大エントロピー音声モデルに基づく本発明によるタイプの音声認識システム１０が示されている。音声認識システム１０は、与えられた音声信号の意味内容を認識しようとする認識装置１２を含む。音声信号は、一般に、マイクロホン２０からの出力信号の形式で音声認識システムへ供給される。認識装置１２は、組み込まれた最大エントロピー音声モデルＭＥＳＭを用いて、受信音響信号中のパターンを、特定単語、行動、若しくは、事象のような二つの所与の認識シンボルへマッピングすることにより、音声信号の意味内容を認識する。最終的に、認識装置１２は、音声信号で認識された意味内容を表現する信号を出力し、この信号は、全ての種類の機器、たとえば、ワードプロセッシングプログラム又は電話機を制御するため使用可能である。
【０１１９】
制御媒体として使用される音声情報の意味内容に関して、できる限り誤りが含まれないように機器を制御するため、音声認識システム１０は、できる限り正確に評価されるように、音声の意味内容を認識しなければならない。このため、音声モデルは、話者、すなわち、音声認識システムのユーザの言語特性にできるだけ有効に適応させる必要がある。この適応は、音声認識システム１０に外付けされ、或いは、音声認識システム１０に組み込まれ、動作させることができる学習システム１４によって行なわれる。より詳細に説明すると、学習システム１４は、音声認識システム１０のＭＥＳＭを特定のユーザの反復性統計的パターンに適応させるため使用される。
【０１２０】
認識装置１２及び学習システム１４の両方は、通常、ソフトウェアモジュールの形式で設けられ、適当なコンピュータ（図示されない）で実行されるが、必ずしもこのような形態ではなくても構わない。
【図面の簡単な説明】
【図１ａ】本発明による所望の直交化境界値を計算する方法のフローチャートである。
【図１ｂ】本発明による所望の直交化境界値を計算する方法のフローチャートである。
【図２ａ】本発明による直交化属性関数を計算する方法のフローチャートである。
【図２ｂ】本発明による直交化属性関数を計算する方法のフローチャートである。
【図３】本発明による音声認識システムのブロック図である。
【図４】属性ツリーの説明図である。
【符号の説明】
１０    音声認識システム
１２    認識装置
１４    学習システム
２０    マイクロホン
【図１ａ】
0004090755.tif 000117
【図１ｂ】
0004090755.tif 000118
【図２ａ】
0004090755.tif 000119
【図２ｂ】
0004090755.tif 000120
【図３】
0004090755.tif 000121
【図４】
0004090755.tif 000122