(57)【特許請求の範囲】
【請求項１】
ａ）１つの言語は次の言語クラスを有し、すなわち
（C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vm1,...,vmj））
ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1，．．．，ｖmjは言語特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃ1，．．．，Ｃkは言語クラスであり、ｋは言語クラスの数であり、Ｆは所定の言語クラスに対する言語特徴および言語値の写像ルール（クラス識別子）であり、
ｂ）１つの語に前記言語クラスのうち少なくとも１つを割り当て、
ｃ）少なくとも２つの単語から成るシーケンスの発生する確率を次式により求める、すなわち
【数１】
0004243017.tif 000026
ここでＰ（Ｗ）は少なくとも２つの単語から成るシーケンスの発生する確率であり、Ｗは少なくとも２つの単語から成るシーケンスであり、ｗiはシーケンスＷのｉ番目の単語であってｉ＝１．．．ｎであり、ｎはシーケンスＷの単語Ｗiの数であり、Ｃiは単語Ｗiに属する言語クラスＣであり、Ｃi-1は単語Ｗi-1に属する言語クラスであり、ΣＣｉは単語ｗiに属する全ての言語クラスＣにわたる和であり、Ｐ（ｗi｜Ｃi）は規定のワード確率であり、Ｐ（Ｃi｜Ｃi-1）はバイグラムの確率であり（クラスバイグラム、バイグラム確率とも称する）、Ｐ（Ｃi-1｜ｗi-1）は規定のクラス確率である、
ことを特徴とするコンピュータによる言語認識の際に少なくとも２つの単語から成るシーケンスの発生する確率を求める方法。
【請求項２】
テキストごとに予め定められたベース言語モデルに即して、確率Ｐ（Ｃi｜Ｃi-1）をベース言語モデルから引き継ぐことによりテキストごとの確率Ｐ（Ｃi｜Ｃi-1）を求める、請求項１記載の方法。
【請求項３】
確率Ｐ（ｗi｜Ｃi）を以下の手段のうち少なくとも１つの手段に従って求める、すなわち
ａ）確率Ｐ（ｗi｜Ｃi）をテキストに即して求めるか、
ｂ）確率Ｐ（ｗi｜Ｃi）を単語ｗiごとに予め設定された確率Ｐ（ｗi）を用いて求めるか、
ｃ）確率Ｐ（ｗi｜Ｃi）をワードリストを使用して求める、
請求項２記載の方法。
【請求項４】
求められた確率Ｐ（ｗi｜Ｃi）に即してベース言語モデルを適応させる、請求項３記載の方法。
【請求項５】
確率Ｐ（Ｃi｜ｗi）を確率Ｐ（ｗi｜Ｃi）に即して次式により求める、すなわち
P（Ci｜wi）＝K×P（wi｜Ci）×P（Ci）
ここで
【数２】
0004243017.tif 000027
は正規化係数である、
請求項３または４記載の方法。
【請求項６】
少なくとも１つの単語から成るシーケンスが発生する確率Ｐ（Ｗ）が予め設定された閾値を上方超過する場合に相応の少なくとも２つの単語から成るシーケンスを認識し、そうでない場合には予め設定されたアクションを実行する、請求項１から５までのいずれか１項記載の方法。
【請求項７】
前記予め設定されたアクションはエラーメッセージの出力または当該の方法を中止するトリガである、請求項６記載の方法。
【請求項８】
テキストが予め設定された適用領域に関連する、請求項２から７までのいずれか１項記載の方法。
【発明の詳細な説明】
【０００１】
本発明は、コンピュータによる言語認識の際に少なくとも２つの単語から成るシーケンスの発生する確率を求める方法に関する。
【０００２】
言語認識の方法は文献［１］から周知である。ここではワード認識の要素として通常少なくとも１つの単語から成るシーケンスが有用であることが示されている。この有用性に対する尺度は確率である。
【０００３】
統計的な言語モデルは文献［２］から周知である。すなわちワードシーケンスＷに対する確率Ｐ（Ｗ）は、有利には大きな語彙量を有する言語認識の範囲では一般に（統計的な）言語モデルである。確率Ｐ（Ｗ）いわゆるワードシーケンス確率は、Ｎグラム言語モデルＰN（Ｗ）によって近似される。すなわち
【０００４】
【数３】
0004243017.tif 000002
【０００５】
ここでｗiはシーケンスＷのｉ番目の単語であってｉ＝１．．．ｎであり、ｎはシーケンスＷの単語Ｗiの数である。Ｎ＝２でこの式０−１からいわゆるバイグラムが得られる。
【０００６】
さらに有利に商用分野における言語認識では、語彙の制限された適用領域（ドメイン）を使用することが知られている。種々のドメインのテキストはそれぞれの語彙の点で区別されるだけではなく、それぞれの文構造の点でも区別される。特定のモデルに対する言語モデルの学習には相応に大量のテキスト（テキスト材料、テキスト集成体）が必要であるが、これは実際にはめったに存在せず、またあったとしても高いコストがかかる。
【０００７】
言語辞書は文献［４］から周知である。ここではこの言語辞書はコンピュータ上で使用可能な１つの言語におけるできる限り多数の語であり、言語的な特性を探索プログラムに即してレファレンスするために用いられる。それぞれの語のエントリ（いわゆる語の本形）ごとに語の本形に関連する言語特徴と該当する割り当て分（Belegung）すなわち言語値とが取り出される。
【０００８】
文献［３］から、言語クラスを使用することが周知である。１つのセンテンスの単語には種々のタイプの言語特徴および言語値が割り当てられている。表１には例として種々の言語特徴およびこれに属する値が示されている（別の例は文献［３］に示されている）。
【０００９】
表１：言語特徴および言語値の例
【００１０】
【表１】
0004243017.tif 000003
【００１１】
言語特徴
（ｆ1，．．．，ｆm）                                        （０−２）
と言語値
（ｖ11，．．．，ｖ1j）．．．（ｖm1，．．．，ｖmj）    （０−３）
とに基づいて各単語に少なくとも１つの言語クラスが割り当てられており、この場合次の写像ルールＦが適用される。すなわち
（C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vml,...,vmj））          （０−４）
ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1．．．ｖmjは言語特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃiは言語クラスであっってｉ＝１．．．ｋであり、ｋは言語クラスの数であり、Ｆは所定の言語クラスにおける言語特徴および言語値の写像ルール（クラス識別子）である。
【００１２】
言語クラス、言語特徴（フィーチャー）、言語値（真理値）、およびクラスバイグラム確率を以下に例文を用いて説明する。
【００１３】
ドイツ語文“der Bundestag setzt seine Debatte fort”について考察する。
【００１４】
冠詞“der”すなわち第１の単語は、ドイツ語では６つの言語クラス（以下単にクラスと称する）に分割することができる。それぞれのクラスは数、性、格に区別される。次の表２にこの関係を示す。
【００１５】
表２：単語“der”に対するクラスＣi
【００１６】
【表２】
0004243017.tif 000004
【００１７】
ドイツ語の主語“Bundestag”すなわち上の例文の第２の単語に対しては、類似の表３が当てはまる。
【００１８】
表３：単語“Bundestag”に対するクラスＣi
【００１９】
【表３】
0004243017.tif 000005
【００２０】
この例ではクラスバイグラム（言語クラスに適用されるバイグラム）に関してクラスＣ7に続いて適切なカテゴリすなわち数、格、性のコンビネーションが例文に関して示されている。実際に生じたクラスバイグラムの頻度が予め設定されたテキストから求められる場合、上のクラスバイグラムＣ1−Ｃ7に対してはこのようなコンビネーションはドイツ語では頻繁に発生するので多数の発生が結論され、別のクラスバイグラム、例えばコンビネーションＣ２−Ｃ８に対してはドイツ語では性が異なるために許容されない。このようにして見出された頻度から生じるクラスバイグラム確率は相応に、頻繁に発生する場合には高く、許容されない場合には低い。
【００２１】
本発明の課題は、コンピュータによる言語認識の際に少なくとも１つの単語から成るシーケンスの発生する確率を求める方法を提供し、僅かなテキスト材料から成るドメインに対する言語モデルを求めることである。
【００２２】
ここで言語モデルを求めると云う場合、言語モデルの形成とともに既存の言語モデルの適応化も含むことに留意されたい。
【００２３】
この課題は請求項１に記載の特徴により解決される。
【００２４】
本発明によれば、コンピュータによる言語認識の際に少なくとも２つの単語から成るシーケンスの発生する確率を求める方法が提供される。 １つの言語は言語クラス
（C1,...,Ck）                                                      （１）
を
（C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vml,...,vmj））              （２）
により有する。ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1．．．ｖmjは言語特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃiは言語クラスであってｉ＝１．．．ｋであり、ｋは言語クラスの数であり、Ｆは所定の言語クラスにおける言語特徴および言語値の写像ルール（クラス識別子）である。この場合、１つの単語には少なくとも１つ言語クラスが割り当てられている。少なくとも２つの単語から成るシーケンスの発生する確率はバイグラムを使用して
【００２５】
【数４】
0004243017.tif 000006
【００２６】
から得られる。ここでＰ（Ｗ）は少なくとも２つの単語から成るシーケンスの発生する確率であり、Ｗは少なくとも２つの単語から成るシーケンスであり、ｗiはシーケンスＷのｉ番目の単語であってｉ＝１．．．ｎであり、ｎはシーケンスＷの単語Ｗiの数であり、Ｃiは単語Ｗiに属する言語クラスであり、Ｃi-1は単語Ｗi-1に属する言語クラスであり、ΣＣiは単語Ｗiに属する全ての言語クラスＣの和であり、Ｐ（ｗi｜Ｃi）は規定のワード確率であり、Ｐ（Ｃi｜Ｃi-1）はバイグラムの確率であり（クラスバイグラム確率とも称する）、Ｐ（Ｃi-1｜ｗi-1）は規定のクラス確率である。
【００２７】
この場合、用語ＣiはワードシーケンスＷの単語Ｗiに割り当てられた少なくとも１つの言語クラスに関連することに注意されたい。同様のことは相応に用語Ｃi-1にも相当する。例えばクラスバイグラム確率とは、先行の単語Ｗi-1が第２の言語クラスに近似する条件のもとで単語Ｗiが第１の言語クラスに近似する確率を意味する（冒頭部の例および説明を参照）。
【００２８】
確率Ｐ（ｗi｜Ｃi）、Ｐ（Ｃi｜Ｃi-1）は式３内へ挿入され、いわゆるベース言語モデルを形成するが、これはテキスト集成体、すなわち予め設定された条件を有するテキストから求められる。
【００２９】
言語クラスに基づく言語モデルは特に適応化に際して決定的な利点を有する。ここで提供される方法は言語モデルに含まれる言語的な特性を使用している。
【００３０】
別の実施形態では、新たなテキストに対して予め求められたベース言語モデルに即し、確率Ｐ（Ｃi｜Ｃi-1）が新たなテキストのベース言語モデルへ引き継がれる。
【００３１】
ベース言語モデルのクラスバイグラムの確率（文献［３］および冒頭部の説明を参照）は一方では学習テキストの文法構造であり、他方では語彙から独立している。新たなドメインはベース言語モデルのオリジナルの学習テキストに類似したテキスト構造（文法構造）であるということに基づいて、クラスバイグラムの確率Ｐ（Ｃi｜Ｃi-1）をベース言語モデルから変更なしに引き継ぐと有利である。
【００３２】
言語モデルを求めるべき新たなドメインの語彙は予め設定された言語辞書とクラス識別子Ｆを使用して式２により処理される。テキスト中の新たな語に対して自動的に少なくとも１つの言語クラスが求められる。言語クラス、言語特徴および言語値に関する詳細な説明は文献［３］を、言語辞書に関する詳細な説明は文献［４］および／または冒頭部の説明を参照されたい。
【００３３】
別の実施形態では、確率Ｐ（ｗi｜Ｃi）を以下の手段のうち少なくとも１つの手段に従って求める、すなわち
ａ）確率Ｐ（ｗi｜Ｃi）をテキストに即して求めるか、
ｂ）確率Ｐ（ｗi｜Ｃi）を単語Ｗiごとに予め設定された確率Ｐ（ｗi）を用いて求めるか、
ｃ）確率Ｐ（ｗi｜Ｃi）をワードリストを使用して求める。
【００３４】
付加的な実施形態では、求められた確率Ｐ（ｗi｜Ｃi）に即してベース言語モデルを適応化する。ここで有利には、求められた確率Ｐ（ｗi｜Ｃi）がベース言語モデル内に取り入れられる。
【００３５】
また本発明の別の実施形態では、確率Ｐ（Ｃi-1｜ｗi-1）を確率Ｐ（ｗi｜Ｃi）に即して
P（Ci｜wi）＝K×P（wi｜Ci）×P（Ci）                            （４）
により求めることもできる。ここで
【００３６】
【数５】
0004243017.tif 000007
【００３７】
は正規化係数である。
【００３８】
本発明の別の実施形態では、確率Ｐ（Ｗ）が予め設定された閾値を上方超過する場合に、相応の少なくとも２つの単語から成るシーケンスを認識する。そうでない場合には予め設定されたアクションを実行する。この予め設定されたアクションとはエラーメッセージの出力または当該の方法を中止するトリガである。
【００３９】
別の実施形態の範囲においては、テキストは予め設定された適用領域、いわゆるドメインに関連している。
【００４０】
本発明の範囲において特に有利には、ここで提供される方法は、新たなドメインの言語モデルを求めるのに僅かな量の新たなテキストしか必要としない。
【００４１】
また有利には新たな単語のリストを使用することもでき、このリストは確率Ｐ（ｗi）のデータを有しても有さなくてもよい。ドメインに関連する言語認識は実際には重要な役割を果たす。本発明の方法は実際の要求に対処可能であり、実験では適切かつ有効であると判明している。ベース言語モデルに立ち戻って云えば、新たに評価される確率の数はＰ（ｗｉ｜Ｃi）の評価が必要なだけであるため著しく低減される。
【００４２】
本発明の別の実施形態は従属請求項から得られる。
【００４３】
以下に図に即して本発明の実施例を詳細に説明する。図１には、本発明のコンピュータによる言語認識の際に少なくとも２つのワードから成るシーケンスの発生する確率を求める方法のステップを含むブロック図が示されている。図２には確率Ｐ（ｗi｜Ｃi）を求める第１の適応化方法が示されている。図３には確率Ｐ（ｗi｜Ｃi）を求める第２の適応化方法が示されている。
【００４４】
図１には、コンピュータによる言語認識の際に少なくとも２つの単語から成るシーケンスが発生する確率を求める方法の個々のステップが示されている。ステップ１０１では、言語が言語クラス
（C1,...,Ck）                                                      （１）
へ区分される。すなわち
（C1,...,Ck）＝F（（f1,v11,...,v1j）...（fm,vml,...,vmj））              （２）
へ分割される。ここでｆmは言語特徴であり、ｍは言語特徴の数であり、ｖm1．．．ｖmjは言語特徴ｆmの言語値であり、ｊは言語値の数であり、Ｃiは言語クラスであってｉ＝１．．．ｋであり、ｋは言語クラスの数であり、Ｆは所定の言語クラスにおける言語特徴および言語値の写像ルール（クラス識別子）である。
【００４５】
言語特徴および言語値の詳細な説明については文献［３］の例えば1201頁の表４に記載されており、ここでは言語特徴とこれに属する言語値が種々のカテゴリに依存して発生することが例示的に示されている。
【００４６】
ステップ１０２では１つの単語に少なくとも１つ言語クラスが割り当てられる。文献［３］に記載されているように、単語には１つまたは複数の言語クラスを割り当てることができる。
【００４７】
さらにステップ１０３で、少なくとも２つの単語から成るシーケンスの発生する確率Ｐ（Ｗ）が
【００４８】
【数６】
0004243017.tif 000008
【００４９】
により求められる。ここでＷは少なくとも２つの単語から成るシーケンスであり、ｗiはシーケンスＷのｉ番目の単語であってｉ＝１．．．ｎであり、ｎはシーケンスＷの単語Ｗiの数であり、Ｃiは単語Ｗiに属する言語クラスであり、Ｃi-1は単語Ｗi-1に属する言語クラスであり、ΣＣiは単語Ｗiに属する全ての言語クラスＣの和であり、Ｐ（ｗi｜Ｃi）は規定の確率であり、Ｐ（Ｃi｜Ｃi-1）はバイグラムの確率であり（クラスバイグラム、バイグラム確率とも称する）、Ｐ（Ｃi-1｜ｗi-1）は規定のクラス確率である。
【００５０】
式３は個々に求められた以下の３つの成分Ｐ（Ｃi｜Ｃi-1）、Ｐ（ｗi｜Ｃi）、Ｐ（Ｃi-1｜ｗi-1）のカスケード乗算から形成される。
【００５１】
確率Ｐ（Ｃi｜Ｃi-1）の決定
新たなドメインのテキストの語彙には言語辞書とクラス識別子Ｆとを使用して式２に示されているように言語クラスが割り当てられる。この場合それぞれ新たな単語には自動的に少なくとも１つの言語クラスが割り当てられる。ベース言語モデルは文献［３］に記載のクラスバイグラムに対する確率を有しており、この確率は一方では文法構造を表し、他方では個々の単語から独立している。ドメインすなわち特殊な適用領域に関連するテーマ領域がベース言語モデルを基礎とする学習テキストと類似したテキスト構造を有することに基づいて、クラスバイグラムの確率Ｐ（Ｃi｜Ｃi-1）はベース言語モデルから変更なしに引き継がれる。このような自動的な割り当てが可能となるのは、一貫してテキストの内容とは無関係に、言語特徴および言語値、すなわち言語クラスへの写像（式２を参照）が１つの言語に固有に対応しており、したがって有利には１つのテーマ領域（ドメイン）から他のテーマ領域へ移すことができる点に基づいている。複数の学習テキストの文法構造は類似であるかまたは同一であり、それぞれの学習テキストを基礎とするテーマ領域（ドメイン）から独立している。確率Ｐ（Ｃi｜Ｃi-1）はベース言語モデルに対して先行の学習トライアルによって求められ、新たなテキストの語彙のクラス割り当てに関連する基礎知識となる。これは新たに求める必要はなく、言語モデルが充分な程度に詳細性を有していれば引き継ぐことができる。
【００５２】
確率Ｐ（ｗi｜Ｃi）の決定
ベース言語モデルに関する全ての新たな単語の確率Ｐ（ｗi｜Ｃi）を新たに計算し、ベース言語モデルに存在する語彙の単語の確率Ｐ（ｗi｜Ｃi）を有利には相応に適応化しなければならない。確率Ｐ（ｗi｜Ｃi）を求めるために以下に３つの異なる方法を説明する。
【００５３】
方法１
新たなドメインの新たな単語Ｗiに対する確率Ｐ（ｗi｜Ｃi）は、新たなドメインのテキストに基づいて評価される。言語クラスに基づくベース言語モデルから出発し、その際に新たに評価された確率Ｐ（ｗi｜Ｃi）は有利にはベース言語モデルへ引き継がれ、これによりベース言語モデルは新たなテキストに即して適応化される。有利にはこの手法は、新たなドメインの新たなテキストが充分な量を有する場合に使用される。新たなテキストの各単語にはセンテンスコンテクストにより求められた少なくとも１つの言語クラスが割り当てられる。これは文献［３］に記載されている“タグ付けツール”により行われる。新たなそれぞれの単語Ｗiに対する確率Ｐ（ｗi｜Ｃi）は新たなテキストに即して評価される。
【００５４】
図２には単語の確率Ｐ（ｗi｜Ｃi）を求める適応化方法が示されている。クラス識別子Ｆ２１１と言語辞書２０６とを用いてタグ付けツール２０２を使用し（タグ付けツールの詳細な説明は文献［３］を参照）、大きなテキストのデータベース２０１から“タグ付きの”大きなテキスト２０３が求められ、また新たなドメイン（すなわち新たなテキスト）の小さなテキストのデータベース２０７からは“タグ付きの”小さいテキスト２０８が求められる。“タグ付きの”大きなテキスト２０３からは言語モデル発生器２０４を用いて、言語クラスに基づくベース言語モデル２０５が求められる。上述したように、確率Ｐ（Ｃi｜Ｃi-1）は変更なしで新たなドメインの言語モデルへ導入される。“タグ付きの”小さいテキスト２０８からは、確率Ｐ（ｗi｜Ｃi）の評価を“タグ付きの”小さいテキストによって行う適応化ツール２０９を用いて、有利には適応化された新たな言語モデル２１０が求められる。これは限定的なものではなく、ここで説明した適応化のほかに別の言語モデルを形成することもできる。
【００５５】
方法２
別の方法ではベース言語モデルによって与えられる個々の単語の確率Ｐ（ｗi｜Ｃi）が低減され、それぞれの言語クラスＣi内で補足すべき語彙ないし単語への低減された寄与分が移される。これは新たな単語のそれぞれの値Ｐ（ｗi）に依存して行われる。
【００５６】
図３には単語の確率Ｐ（ｗi｜Ｃi）を求める第２の適応化方法が示されている。クラス識別子Ｆ３１１と言語辞書３０６とを用いてタグ付けツール３０２に即して、大きなテキストのデータベース３０１から“タグ付きの”大きなテキスト３０３が求められる。言語モデル発生器３０４により“タグ付きの”大きなテキスト３０３から言語クラスに基づくベース言語モデル３０５が求められる。ベース言語モデル３０５から確率Ｐ（Ｃi｜Ｃi-1）は変更なしで引き継がれる。新たなドメイン３０７のワードリストに即して、適応化ツール３０８により適応化された言語モデル３０９が求められる。ここでも適応化という場合、言語モデルの変更または形成を含む。適応化ツール３０８では新たな単語の確率Ｐ（ｗi｜Ｃi）が確率Ｐ（ｗi）から計算され、再正規化がベース言語モデルの確率Ｐ（ｗi｜Ｃi）に対して行われる。以下にこの方法を詳細に説明する。
【００５７】
次の諸量はベース言語モデルにより与えられている。すなわちｗiはベース言語モデルの語彙であってｉ＝１，．．．，Ｎであり、Ｎはベース言語モデルの語彙の数であり、ＮCはベース言語モデルのそれぞれのクラスＣの単語数であり、ｋはベース言語モデルのクラスの数であり、Ｐ（Ｃj）はベース言語モデルのクラスに対するユニグラムの確率であってｊ＝０，．．．，ｋであり、Ｐ（Ｃj｜Ｃi-1）はベース言語モデルのクラスに対するバイグラム確率であってｊ＝１，．．．，ｋであり、Ｐ（ｗｉ｜Ｃj（ｗi））およびＰ（Ｃj（ｗi）｜ｗi）は単語Ｗiが言語クラスＣjに存在する場合の全ての単語Ｗi，ｉ＝１，．．．，Ｎ、および全てのクラスＣj（ｗi），ｊ＝０，．．．，ｋに対するベース言語モデルの確率である。
【００５８】
言語モデルの言語クラスを新たなドメインに対して形成することは、ベース言語モデルの言語クラスを形成することに相応する。ベース言語モデルのクラス識別子Ｆ（式２を参照）が引き継がれる。したがって言語クラスの数ｋは変更されない。テキストの新たなドメインに対して、ベース言語モデルに基づく学習テキストと類似した構造が出力される。クラスバイグラム確率Ｐ（Ｃi｜Ｃi-1）およびベース言語モデルのクラスユニグラム確率Ｐ（Ｃj）は変更されないまま維持される。
【００５９】
注目すべきことに個々の語のそれぞれに関連する確率Ｐ（ｗｉ｜Ｃj（ｗi））および確率Ｐ（Ｃj（ｗi）｜ｗi）は維持される。確率Ｐ（ｗｉ｜Ｃj（ｗi））および確率Ｐ（Ｃj（ｗi）｜ｗi）は新たなドメインのベース言語モデルには含まれない語に対して計算される。ベース言語モデルの単語に対する既存の確率は再スケーリングされる。
【００６０】
新たなドメインに対して次の値が与えられている。すなわち、ｗhは新たなドメインのベース言語モデルには含まれない語彙であって、ｈ＝１，．．．，Ｌであり、Ｌは新たなドメインに対する言語モデルすなわち目標言語モデルの語彙の数であり、ＬCはそれぞれの言語クラスＣにおける新たな単語Ｗhおよびベース言語モデルの単語Ｗiの数であり、Ｐ（ｗh）は新たなドメイン内のクラスに依存しない単語の確率である。
【００６１】
確率Ｐ（ｗh）は基礎となるテキストの単語の頻度および量を備えたワードリストにより与えられる。
【００６２】
確率Ｐ（Ｃj（ｗh）｜ｗh）の評価について説明する。それぞれ新たな単語Ｗhの確率Ｐ（Ｃj（ｗh）｜ｗh）を評価するために、 Ｐ（Ｃj（ｗh）｜ｗh）が同じクラスＣjに存在するワードにほぼ等しいことから出発する。これにより次の近似式、
【００６３】
【数７】
0004243017.tif 000009
【００６４】
が相当する。ここでｗiはクラスＣjに存在するベース言語モデルの全ての単語である。
【００６５】
以下の実施例では例としてクラスＣjを調査する。簡単化のために以下ではクラスＣjをクラスＣと称する。
【００６６】
既存の確率値は再正規化しなければならない。以下では古い値を波形符号で示す。
【００６７】
式６の別の近似解は、全ての言語クラスと新たな単語のクラスとが一致する単語Ｗi全体にわたっての合計である。
【００６８】
新たな確率Ｐ（ｗh｜Ｃ（ｗh））の計算、または与えられた確率Ｐ（ｗi｜Ｃ（ｗi））の再正規化のために以下の方法が適用される。すなわち、
１）ワードシーケンスにおける新たなワード成分αを求める
２）
【００６９】
【数８】
0004243017.tif 000010
【００７０】
を
【００７１】
【数９】
0004243017.tif 000011
【００７２】
により再正規化し、成分αを式１１により求める
３）クラスＣの新たなワード成分１−γCを求める
４）式１７により
【００７３】
【数１０】
0004243017.tif 000012
【００７４】
を求める
５）γCを式１６により求める
６）確率Ｐ（ｗh｜Ｃ（ｗh））を
【００７５】
【数１１】
0004243017.tif 000013
【００７６】
により求める。式１６を参照。この係数は言語クラスＣにおける古いワードの成分と古いワードの語彙の成分との商として解釈される。
【００７７】
成分αを求めるために式８により
【００７８】
【数１２】
0004243017.tif 000014
【００７９】
が得られる。ここから
【００８０】
【数１３】
0004243017.tif 000015
【００８１】
が結論される。
【００８２】
成分γCを求めるためにベイズの法則が式６に適用される（文献［５］を参照）。これにより
【００８３】
【数１４】
0004243017.tif 000016
【００８４】
が結論される。式１２に即して確率値の正規化特性を適用することにより（文献［６］を参照）次のように示すことができる。すなわち
【００８５】
【数１５】
0004243017.tif 000017
【００８６】
である。
【００８７】
【数１６】
0004243017.tif 000018
【００８８】
に対して、再正規化されていない古い分布としてγC≦１および
【００８９】
【数１７】
0004243017.tif 000019
【００９０】
により
【００９１】
【数１８】
0004243017.tif 000020
【００９２】
が成り立つ。ここから式８により
【００９３】
【数１９】
0004243017.tif 000021
【００９４】
が結論され、ここで
【００９５】
【数２０】
0004243017.tif 000022
【００９６】
である。
【００９７】
方法３
ベース言語モデルに関する新たな単語Ｗiの確率Ｐ（ｗi｜Ｃi）は相応のワードリストを使用して近似される。この方法では「方法２」で説明した方法の解のストラテジが引き継がれる。ここでは存在しない新たな単語Ｗhに対する確率Ｐ（ｗh）が近似される。これはそれぞれの単語ＷhのメインカテゴリＨＣに依存して行われる。近似的に
【００９８】
【数２１】
0004243017.tif 000023
【００９９】
が得られる。このためにベース言語モデルの単語ｗiの特性が使用される。ＮHCはメインカテゴリＨＣに存在するベース言語モデルの語彙の数である。加算はベース言語モデルのそれぞれの単語Ｗiが属する全てのクラスＣjにわたって行われる。
【０１００】
確率Ｐ（Ｃi-1｜ｗi-1）の決定
さらに確率Ｐ（Ｃi-1｜ｗi-1）が次に説明するようにして求められる。式３において確率Ｐ（Ｃi-1｜ｗi-1）がインデクスｉ−１を有していることに注意されたい。以下ではこのインデクスを簡単にインデクスｉと設定する。
【０１０１】
確率Ｐ（Ｃi｜ｗi）はそれぞれ上述のようにして求められた確率Ｐ（ｗ1｜Ｃi）から得られる。すなわち
P（Ci｜wi）＝K×P（wi｜Ci）×P（Ci）                              （４）
であり、ここで正規化係数は
【０１０２】
【数２２】
0004243017.tif 000024
【０１０３】
である。言語クラスＣiはこの場合単語Ｗiに対して可能な全ての言語クラスを含んでいる。確率Ｐ（Ｃi）はベース言語モデルから引き継がれる。これはベース言語モデルのそれぞれの言語クラスに対するユニグラム確率である。
【０１０４】
本明細書の範囲で次の刊行物が引用されている。
【０１０５】
【表４】
0004243017.tif 000025
【図面の簡単な説明】
【図１】  本発明の方法ステップを表すブロック図である。
【図２】  第１の適応化方法を示す図である。
【図３】  第２の適応化方法を示す図である。
【図１】
0004243017.tif 000028
【図２】
0004243017.tif 000029
【図３】
0004243017.tif 000030