(57)【要約】【課題】  指数確率モデルを使用する方法および装置を提供すること。【解決手段】  第１のステージにおいて、背景データセットに基づいて確率モデルのモデルパラメータセットを決定することで、背景データから汎用の背景モデルが構築される。次に、背景モデルパラメータを使用して、問題となる適合データセットに固有の適合確率モデルのパラメータの事前モデルを定義する。適合データセットのサイズは、一般に背景データセットよりはるかに小さい。さらに、適合データセットと事前モデルに基づいて、適合確率モデルに関する第２のモデルパラメータセットが特定される。【選択図】  図４
2006031716.tif 000002
【特許請求の範囲】
【請求項１】
背景データセットに基づいて背景確率モデルのモデルパラメータセットを決定するステップと、
前記モデルパラメータを使用して、適合確率モデルのモデルパラメータの事前モデルを定義するステップと、
適合データセットと前記事前モデルとに基づいて、前記適合確率モデルの第２のモデルパラメータセットを決定するステップと
を備えたことを特徴とする適合指数確率モデルを構築する方法。
【請求項２】
前記背景データセットに基づいて前記背景確率モデルのモデルパラメータセットを決定するステップは、前記背景データセットに対して最大の尤度を示すモデルパラメータを選択するステップを含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記背景データセットに基づいて前記背景確率モデルのモデルパラメータセットを決定するステップは、スムージング項によって前記背景データセットに関する最大の尤度を示すモデルパラメータを選択するステップをさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記スムージング項は、前記各モデルパラメータの事前確率を含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記スムージング項は、前記各モデルパラメータの平均をゼロとする事前確率を含むことを特徴とする請求項４に記載の方法。
【請求項６】
前記モデルパラメータを使用して前記事前モデルを定義するステップは、ガウス事前モデルを定義するステップを含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記モデルパラメータを使用して前記事前モデルを定義するステップは、指数事前モデルを定義するステップを含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記第２のモデルパラメータセットを決定するステップは、前記事前モデルによって前記適合データの尤度を最大にするモデルパラメータセットを選択するステップを含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記適合確率モデルは、機能の加重和の指数関数であることを特徴とする請求項１に記載の方法。
【請求項１０】
前記背景データの機能セットを特定するステップをさらに備えたことを特徴とする請求項９に記載の方法。
【請求項１１】
前記適合データの機能セットを特定するステップをさらに備えたことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記第２のモデルパラメータセットを決定するステップは、前記背景データの機能セットと前記適合データの機能セットとを使用するステップを含むことを特徴とする請求項１１に記載の方法。
【請求項１３】
前記指数確率モデルは、最大エントロピーモデルを含むことを特徴とする請求項１に記載の方法。
【請求項１４】
前記指数確率モデルは、対数線形モデルを含むことを特徴とする請求項１に記載の方法。
【請求項１５】
前記指数確率モデルは、適切な確率割り当てを実現するための、正規化された機能の加重和の累乗を含むことを特徴とする請求項１に記載の方法。
【請求項１６】
背景データセットの尤度を最大にする初期加重セットを決定するステップであって、前記背景データセットの尤度は、指数確率モデルに基づくステップと、
適合データセットの尤度を最大にする適合加重セットを決定するステップであって、前記適合データセットの尤度は、第２の指数確率モデルおよび前記初期加重セットから構築された事前モデルに基づくステップと
を実行するコンピュータ実行可能命令を格納することを特徴とするコンピュータ読み取り可能な媒体。
【請求項１７】
前記事前モデルは、ガウスモデルを含むことを特徴とする請求項１６に記載のコンピュータ読み取り可能な媒体。
【請求項１８】
前記事前モデルは、指数モデルを含むことを特徴とする請求項１６に記載のコンピュータ読み取り可能な媒体。
【請求項１９】
前記指数確率モデルは、機能セットの加重和を使用することを特徴とする請求項１６に記載のコンピュータ読み取り可能な媒体。
【請求項２０】
前記第２の指数確率モデルは、第２の機能セットの加重和を使用することを特徴とする請求項１９に記載のコンピュータ読み取り可能な媒体。
【請求項２１】
前記機能セットは、前記背景データから決定されることを特徴とする請求項２０に記載のコンピュータ読み取り可能な媒体。
【請求項２２】
前記第２の機能セットは、前記背景データと前記適合データから決定されることを特徴とする請求項２１に記載のコンピュータ読み取り可能な媒体。
【請求項２３】
初期データセットから第１の機能セットを特定するステップと、
前記第１の機能セットを使用して、前記初期データセットの尤度を最大にする初期モデルパラメータセットを選択するステップと、
前記初期データセットと第２のデータセットから第２の機能セットを特定するステップと、
前記第２の機能セットを使用して、前記第２のデータセットの尤度を最大にする初期モデルパラメータセットを選択するステップであって、前記第２のデータセットの尤度は、部分的に前記初期モデルパラメータセットに基づくステップと
を備えたことを特徴とする確率モデルを適合させる方法。
【請求項２４】
前記初期モデルパラメータセットを使用して事前モデルを構築するステップと、前記第２のデータセットの尤度を決定するときに前記事前モデルを使用するステップとをさらに備えたことを特徴とする請求項２３に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、指数モデルに関し、より詳細には、指数モデルを特定のデータに適合させる方法に関する。
【背景技術】
【０００２】
指数確率モデルには、最大エントロピーモデル（Ｍａｘｉｍｕｍ  Ｅｎｔｒｏｐｙ  ｍｏｄｅｌｓ）や条件付き確率場（ＣＲＦ：Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄ）モデルなどがある。最大エントロピーモデルでは、データセット内に機能（ｆｅａｔｕｒｅ）が存在する場合に値が１、存在しない場合に値が０のインジケータ関数となる機能セットを備えているのが一般的である。機能の加重和は、累乗され、正規化されて最大エントロピー確率となる。
【０００３】
一般に、最大エントロピーモデルの加重は、大規模な学習（ｔｒａｉｎｉｎｇ）データセットで学習する。加重（モデル）の過学習を防止するために、少なくとも１つの先行技術の手法によってスムージングが適用され、目に見えないデータの確率質量が保持される。
【０００４】
大規模な学習データセットを使用すると大規模な入力データセット全体に関する有効な最大エントロピーモデルが作成されるが、このようにして得られる最大エントロピーモデルは特定の入力データ型に合わせて最適化されてはいない。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
したがって、大規模な学習データセットで学習した最大エントロピーモデルを予想されるデータ固有のセットに適合させることで、予想されるデータに対してこうしたモデルが適切に動作することが望まれる。
【課題を解決するための手段】
【０００６】
指数確率モデルを適合させる方法および装置が提供される。第１のステージでは、背景データセットに基づく確率モデルのためのモデルパラメータセットを決定することで、背景データから汎用の背景モデルが構築される。次に、背景モデルパラメータを使用して、問題となる適合データセットに固有の適合確率モデルパラメータの事前モデルを定義する。適合データセットのサイズは、一般に背景データセットよりはるかに小さい。ここで、適合データセットと、事前モデルに基づく適合確率モデルのための第２のモデルパラメータセットとが特定される。
【発明を実施するための最良の形態】
【０００７】
図１に、本発明を実装できる適切なコンピューティングシステム環境の例１００を示す。コンピューティングシステム環境１００は、適切なコンピューティング環境の一例にすぎず、本発明の使い方または機能の範囲に関するいかなる制限も示すものではない。また、コンピューティング環境１００は、例示的なオペレーティング環境１００に示すコンポーネントの１つまたは組合せに関して、依存性も要件もないものとする。
【０００８】
本発明は、他の様々な汎用または専用のコンピューティングシステム環境または構成にも適用できる。本発明の使用に適した周知のコンピューティングシステム、環境、および／または構成の例には、パーソナルコンピュータ、サーバコンピュータ、ハンドヘルドまたはラップトップ装置、マルチプロセッサシステム、マイクロプロセッサベースのシステム、セットトップボックス、プログラム可能な家庭用電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータ、テレフォニー（ｔｅｌｅｐｈｏｎｙ）システム、前述の任意のシステムまたは装置を含む分散コンピューティング環境などが含まれるが、これらに限定はされない。
【０００９】
本発明は、プログラムモジュールのようにコンピュータで実行可能な命令をコンピュータで実行する一般的な文脈で説明できる。一般に、プログラムモジュールには、特定のタスクを実行したり、特定の抽象データ型を実装したりするルーチン、プログラム、オブジェクト、コンポーネント、データ構造などがある。本発明は、通信ネットワークを介してリンクするリモート処理装置でタスクを実行する分散コンピューティング環境で実施するように設計されている。分散コンピューティング環境において、プログラムモジュールは、メモリ記憶装置を含むローカルとリモートとの両方のコンピュータ記憶媒体に格納される。
【００１０】
図１を参照すると、本発明を実施する例示的なシステムには、コンピュータ１１０の形で汎用のコンピューティング装置が配置されている。コンピュータ１１０のコンポーネントには、処理装置１２０、システムメモリ１３０、様々なシステムコンポーネント（システムメモリや処理装置１２０など）を接続するシステムバス１２１が含まれるが、それらに限定はされない。システムバス１２１は、様々なバスアーキテクチャの任意の１つを使用したメモリバスまたはメモリコントローラ、周辺バス、ローカルバスを含む各種バス構造のいずれでもよい。こうしたアーキテクチャには、例として、ＩＳＡ（Ｉｎｄｕｓｔｒｙ  Ｓｔａｎｄａｒｄ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＭＣＡ（Ｍｉｃｒｏ  Ｃｈａｎｎｅｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＥＩＳＡ（Ｅｎｈａｎｃｅｄ  ＩＳＡ）バス、ＶＥＳＡ（Ｖｉｄｅｏ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｓｔａｎｄａｒｄｓ  Ａｓｓｏｃｉａｔｉｏｎ）ローカルバス、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス（メザニン（Ｍｅｚｚａｎｉｎｅ）バスとも呼ばれる）が含まれるが、これらに限定はされない。
【００１１】
コンピュータ１１０は、通常は様々なコンピュータ読み取り可能な媒体を備えている。コンピュータ読み取り可能な媒体は、コンピュータ１１０からアクセスできる任意の使用可能な媒体でよい。揮発性と不揮発性の両方、および取り外し可能と不可能の両方の媒体が含まれる。例として、コンピュータ読み取り可能な媒体にはコンピュータ記憶媒体および通信媒体を含めてもよいが、これらに限定はされない。コンピュータ記憶媒体には、コンピュータ読み取り可能な命令、データ構造、プログラムモジュール、またはその他のデータなどの情報を記憶する任意の方法または技術で組み込まれた、揮発性と不揮発性の両方、および取り外し可能と不可能の両方の媒体が含まれる。コンピュータ記憶媒体には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリなどのメモリ技術、ＣＤ  ＲＯＭ、デジタル多用途ディスク（ＤＶＤ：ｄｉｇｉｔａｌ  ｖｅｒｓａｔｉｌｅ  ｄｉｓｋ）などの光ディスク記憶装置、磁気カセット、磁気テープ、磁気ディスクなどの磁気記憶装置、または必要な情報を格納でき、コンピュータ１１０からアクセスできる他の任意の媒体が含まれるが、これらに限定はされない。通信媒体は、搬送波やその他の搬送メカニズムのような変調データ信号に含まれるコンピュータ読み取り可能な命令、データ構造、プログラムモジュール、またはその他のデータなどを具体化したものであり、任意の情報伝達媒体を含む。「変調データ信号」という用語は、信号内の情報を符号化するように、１つまたは複数の特性を設定または変更された信号を意味する。例として、通信媒体には、有線ネットワーク、直接ワイヤ接続などの有線媒体と、音、ＲＦ、赤外線などの無線媒体が含まれるが、これらに限定はされない。上記の任意の組合せも、コンピュータ読み取り可能な媒体の範囲内に含まれるものとする。
【００１２】
システムメモリ１３０には、読み取り専用メモリ（ＲＯＭ：ｒｅａｄ  ｏｎｌｙ  ｍｅｍｏｒｙ）１３１やランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ  ａｃｃｅｓｓ  ｍｅｍｏｒｙ）１３２のように揮発性および／または不揮発性メモリという形をとるコンピュータ記憶媒体が含まれる。起動時などにコンピュータ１１０内のエレメント間の情報転送を支援する基本ルーチンを含む基本入出力システム１３３（ＢＩＯＳ：ｂａｓｉｃ  ｉｎｐｕｔ／ｏｕｔｐｕｔ  ｓｙｓｔｅｍ）は、通常はＲＯＭ  １３１に格納される。ＲＡＭ  １３２には、通常は処理装置１２０から直ちにアクセスできる、かつ／または処理装置１２０で現在操作しているデータおよび／またはプログラムモジュールが格納される。例として、図１にはオペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７が示されている。
【００１３】
コンピュータ１１０には、その他の取り外し可能／不可能、揮発性／不揮発性のコンピュータ記憶媒体を含めてもよい。単に例として、図１に取り外し不可能な不揮発性の磁気媒体の読み出しまたは書き込みを行うハードディスクドライブ１４１、取り外し可能な不揮発性の磁気ディスク１５２の読み出しまたは書き込みを行う磁気ディスクドライブ１５１、ＣＤ  ＲＯＭや他の光媒体のような取り外し可能な不揮発性の光ディスク１５６の読み出しまたは書き込みを行う光ディスクドライブ１５５を示す。例示的なオペレーティング環境で使用できる上記以外の取り外し可能／不可能、揮発性／不揮発性のコンピュータ記憶媒体には、磁気テープカセット、フラッシュメモリカード、デジタル多用途ディスク、デジタルビデオテープ、ソリッドステートＲＡＭ、ソリッドステートＲＯＭなどが含まれるが、それらに限定はされない。ハードディスクドライブ１４１は、通常はインターフェース１４０などの取り外し不可能なメモリインターフェースを介してシステムバス１２１に接続し、磁気ディスクドライブ１５１と光ディスクドライブ１５５は、通常はインターフェース１５０などの取り外し可能なメモリインターフェースを介してシステムバス１２１に接続する。
【００１４】
図１に示す前述のドライブとこれに対応するコンピュータ記憶媒体には、コンピュータ読み取り可能な命令、データ構造、プログラムモジュールなど、コンピュータ１１０のデータを格納できる。例えば、図１を参照すると、ハードディスクドライブ１４１にオペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７が格納されている。ただし、こうしたコンポーネントは、オペレーティングシステム１３４、アプリケーションプログラム１３５、その他のプログラムモジュール１３６、およびプログラムデータ１３７と同じでもよいし、異なっていてもよい。ここでは、オペレーティングシステム１４４、アプリケーションプログラム１４５、その他のプログラムモジュール１４６、およびプログラムデータ１４７には異なる番号を付けて、少なくとも別の複製であることを示している。
【００１５】
ユーザは、キーボード１６２、マイクロフォン１６３、ポインティングデバイス１６１（マウス、トラックボール、またはタッチパッドなど）を使用してコンピュータ１１０にコマンドや情報を入力できる。他の入力装置（図示せず）には、ジョイスティック、ゲームパッド、サテライトディッシュ、スキャナなどを含めてもよい。これらの入力装置および他の入力装置は、多くの場合にシステムバスに接続されたユーザ入力インターフェース１６０を介して処理装置１２０に接続するが、パラレルポート、ゲームポート、ＵＳＢ（ｕｎｉｖｅｒｓａｌ  ｓｅｒｉａｌ  ｂｕｓ）のような他のインターフェースやバス構造によって接続してもよい。モニタ１９１または他の種類の表示装置も、ビデオインターフェース１９０のようなインターフェースを介してシステムバス１２１に接続される。さらに、コンピュータには出力インターフェース１９５を介してスピーカ１９７やプリンタ１９６など、モニタ以外の出力周辺装置を接続できる。
【００１６】
コンピュータ１１０は、リモートコンピュータ１８０のような１台または複数台のリモートコンピュータへの論理接続を使用してネットワーク環境で動作する。リモートコンピュータ１８０は、パーソナルコンピュータ、ハンドヘルド装置、サーバ、ルータ、ネットワークＰＣ、ピア装置、または他の一般的なネットワークノードでもよく、通常はコンピュータ１１０に関連して上に説明したエレメントの多くまたはすべてが含まれる。図１に示す論理接続には、ローカルエリアネットワーク（ＬＡＮ）１７１とワイドエリアネットワーク（ＷＡＮ）１７３が含まれるが、他のネットワークを含めてもよい。このようなネットワーキング環境は、職場、企業規模のコンピュータネットワーク、イントラネット、およびインターネットではごく一般的である。
【００１７】
ＬＡＮネットワーキング環境で使用した場合、コンピュータ１１０はＬＡＮ  １７１にネットワークインターフェースまたはアダプタ１７０を介して接続する。ＷＡＮネットワーキング環境で使用した場合、コンピュータ１１０は、一般にインターネットなどのＷＡＮ  １７３を介して通信を確立するためのモデム１７２またはその他の手段を備えている。モデム１７２（内蔵または外付け）は、ユーザ入力インターフェース１６０または他の適切な機構を使用してシステムバス１２１に接続できる。ネットワーク環境では、コンピュータ１１０またはその一部に関連して説明したプログラムモジュールをリモートメモリ記憶装置に格納できる。例として、図１にリモートコンピュータ１８０に格納されたリモートアプリケーションプログラム１８５を示すが、これに限定されない。図示されたネットワーク接続が例示的なものであり、コンピュータ間の通信リンクを確立する他の手段を使用してもよいことは言うまでもない。
【００１８】
図２は、例示的なコンピューティング環境であるモバイル装置２００を示すブロック図である。モバイル装置２００には、マイクロプロセッサ２０２、メモリ２０４、入出力（Ｉ／Ｏ）コンポーネント２０６、およびリモートコンピュータまたはその他のモバイル装置と通信するための通信インターフェース２０８が含まれる。１つの実施形態において、前述のコンポーネントは、適切なバス２１０を介して互いに通信するために接続される。
【００１９】
メモリ２０４は、バッテリバックアップモジュール（図示せず）を備えたランダムアクセスメモリ（ＲＡＭ）などの不揮発性の電子メモリとして実装されるので、モバイル装置２００への一般的な電力が遮断されても、メモリ２０４内に格納された情報は失われない。メモリ２０４の一部はアドレス指定可能なメモリとして割り当てられ、別の一部は例えばディスクドライブ上のストレージをシミュレートするストレージとして使用されるのが好ましい。
【００２０】
メモリ２０４には、オペレーティングシステム２１２、アプリケーションプログラム２１４、およびオブジェクトストア２１６が含まれる。動作中に、オペレーティングシステム２１２はプロセッサ２０２によってシステムメモリ２０４から実行されるのが好ましい。１つの好ましい実施形態において、オペレーティングシステム２１２はＭｉｃｒｏｓｏｆｔ  Ｃｏｒｐｏｒａｔｉｏｎ製のＷＩＮＤＯＷＳ（登録商標）ＣＥオペレーティングシステムである。オペレーティングシステム２１２は、モバイル装置用に設計されているのが好ましく、開示されたアプリケーションプログラミングインターフェースおよび方法を使用してアプリケーション２１４で利用できるデータベース機能を実装する。オブジェクトストア２１６内のオブジェクトは、開示されたアプリケーションプログラミングインターフェースおよび方法の呼び出しに応じて、アプリケーション２１４とオペレーティングシステム２１２によって少なくとも部分的に保持される。
【００２１】
通信インターフェース２０８は、モバイル装置２００が情報を送信および受信できるようにするための多くの装置および技術を表す。こうした装置のいくつかの例を挙げると、有線および無線のモデム、衛星受信器、ブロードキャストチューナーがある。モバイル装置２００は、コンピュータに直接接続して、それを使用してデータを交換してもよい。こうしたケースにおいて、通信インターフェース２０８は赤外線トランシーバでもシリアルまたはパラレル通信接続でも、ストリーミング情報を送信できるあらゆるものでよい。
【００２２】
入出力コンポーネント２０６には、タッチスクリーン（ｔｏｕｃｈ−ｓｅｎｓｉｔｉｖｅ  ｓｃｒｅｅｎ）、ボタン、ローラー、マイクロフォンなどの様々な入力装置と、オーディオジェネレータ、振動装置、ディスプレイを含む様々な出力装置が含まれる。このような装置は例としてリストアップされており、モバイル装置２００上にすべてが存在する必要はない。さらに、本発明の範囲を逸脱しない限り、モバイル装置２００にはその他の入出力装置を接続または配置してもよい。
【００２３】
本発明は、単語に適用する大文字使用の種類または形式を示す大文字使用タグシーケンスに単語シーケンスを割り当てるシーケンスラベリング（ｓｅｑｕｅｎｃｅ  ｌａｂｅｌｉｎｇ）問題として文の大文字使用の指定に関する問題に取り組む。１つの実施形態では、次の大文字使用タグを使用できる。 
ＬＯＣ：小文字
ＣＡＰ：大文字
ＭＸＣ：大文字と小文字の混在。こうした単語については、大文字使用に関する今後の予想は作成されない。考えられる方法は、学習データ内で最も出現回数の多いものを使用することである。  
ＡＵＣ：すべて大文字
ＰＮＣ：句読点
【００２４】
このアプローチに基づいて、本発明の１つの実施形態は指定された単語シーケンスＷ＝ｗ1．．．ｗnに対して使用可能なタグシーケンス
【００２５】
【数１】
2006031716.tif 000003
【００２６】
に確率ｐ（Ｔ｜Ｗ）を割り当てるマルコフモデル（Ｍａｒｋｏｖ  Ｍｏｄｅｌ）を構築する。１つの実施形態において、この確率は次の式で指定される。
【００２７】
【数２】
2006031716.tif 000004
【００２８】
ただし、ｔiは単語ｉに対応するタグ、
【００２９】
【数３】
2006031716.tif 000005
【００３０】
は確率モデルを構築する単語シーケンス内の位置ｉの条件指定または文脈情報である。
一実施形態において、文脈情報は、単語シーケンスにおける前の単語、現在の単語、次の単語、および前の２つの大文字使用タグから決定できる。こうした値によって提供される情報には、単語とタグそのものだけでなく、単語の一部、および単語から構成される２連文字（ｂｉｇｒａｍｓ）と３連文字（ｔｒｉｇｒａｍｓ）、タグから構成される２連文字が含まれる。
【００３１】
本発明の１つの実施形態において、確率
【００３２】
【数４】
2006031716.tif 000006
【００３３】
は最大エントロピーモデルを使用してモデル化される。このモデルでは、機能、すなわち次の種類のインジケータ関数を使用する。
【００３４】
【数５】
2006031716.tif 000007
【００３５】
ただし、ｙはｔiの代わり、ｘは文脈情報
【００３６】
【数６】
2006031716.tif 000008
【００３７】
を表す。この機能は０または１の値をとるように示されているが、他の実施形態ではこの機能は任意の実数値をとることができる。
【００３８】
濃度がＦの機能セットＦを想定すると、次のようにして確率割り当てが行われる。
【００３９】
【数７】
2006031716.tif 000009
【００４０】
ただし、Λ＝｛λ1．．．λF｝∈ＲFは、実数値のモデルパラメータセットである。したがって、最大エントロピーモデルはインジケータ関数の加重和の指数をとることで計算される。
【００４１】
図３は、最大エントロピーモデルを使用してテキスト文字列に対する大文字使用を指定し、学習する方法を示す流れ図である。ステップ３００で、あらかじめ定義した機能セットから機能を選択する。この選択は、学習コーパスにおける各機能の出現回数をカウントするシンプルなカウントカットオフアルゴリズムを使用して実行される。カウントがあらかじめ指定した閾値を下回る機能は廃棄される。これで、学習を必要とするパラメータの数が減少する。オプションで、閾値をゼロに設定すると、あらかじめ指定したセット内のすべての機能を保持できる。
【００４２】
ステップ３０２で、最大エントロピーモデルの加重が評価される。一実施形態において、ゼロを中心とするガウス事前分布（Ｇａｕｓｓｉａｎ  ｐｒｉｏｒ）に従った学習データセットに最大対数尤度（ｌｏｇ−ｌｉｋｅｌｉｈｏｏｄ）を割り当てるようなモデルパラメータΛ＝｛λ1．．．λF｝∈ＲFが評価され、モデルが確実にスムージングされる。別の実施形態では、指数事前分布などの様々な事前分布を使用してスムージングしてもよい。一実施形態ではＩＩＳ（Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ）を使用してモデルパラメータを決定し、この結果は以下に示す個々のλに関する更新の式になる。
【００４３】
【数８】
2006031716.tif 000010
【００４４】
ただし、δiは以下を満たしている。
【００４５】
【数９】
2006031716.tif 000011
【００４６】
ただし、ｆ#（ｘ，ｙ）はイベントｘ，ｙをトリガする機能の合計である。式６において、
【００４７】
【数１０】
2006031716.tif 000012
【００４８】
は学習データ内の文脈ｘと、出力すなわちタグｙとの共出現（ｃｏ−ｏｃｃｕｒｒｅｎｃｅ）の相対度数、
【００４９】
【数１１】
2006031716.tif 000013
【００５０】
は学習データ内の文脈の相対度数、
【００５１】
【数１２】
2006031716.tif 000014
【００５２】
はガウス事前分布の平均をゼロとする分散である。
【００５３】
この更新の式はＩＩＳ（Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ）評価技術をするように示されているが、ＧＩＳ（Ｇｅｎｅｒａｌｉｚｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ）、Ｆａｓｔ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ、勾配上昇（Ｇｒａｄｉｅｎｔ  Ａｓｃｅｎｔ）の変形形態など、あるいは他の既知の評価技術など、その他の技術を使用して対数尤度を最大化することでモデルパラメータを評価してもよい。
【００５４】
最大エントロピーモデルの加重の学習が完了すると、ステップ３０４で大文字を使用するテキスト文字列が受け取られる。ステップ３０６で、学習された最大エントロピー加重を使用して、テキスト文字列内の単語シーケンスに使用する大文字使用シーケンス形式で、条件付き確率Ｐ（Ｔ｜Ｗ）が最大になるものを検出する。こうした確率を最大にする大文字使用シーケンスがテキスト文字列の大文字使用として選択される。
【００５５】
条件付き確率を最大にするタグシーケンスの検索は、使用可能な任意の検索技術を使用して実行できる。例えば、文字列内の単語ごとに使用可能な大文字使用形式をトレリス（ｔｒｅｌｌｉｓ）として表現し、ビタービ（Ｖｉｔｅｒｂｉ）の検索を実行してもよい。単語ごとに、前の単語の大文字使用形式から各大文字使用形式へのパスのそれぞれについて、スコアが決定する。こうしたスコアを計算する場合は、パス上で検出された大文字使用形式から最大エントロピーの機能で使用した過去の大文字使用形式が選択される。大文字使用形式に最高のスコアを割り当てるパスがその大文字使用形式のパスとして選択される。次に、現在の単語の大文字使用形式について決定した確率を使用してパスのスコアが更新される。最後の単語でスコアの最も高いパスが選択され、パスに沿った大文字使用形式のシーケンスが単語シーケンスの大文字使用形式として使用される。
【００５６】
以上では最大エントロピーモデルを使用したが、本発明の別の実施形態では指数確率を使用した他のモデルを使用して条件付き確率を決定してもよい。例えば、ＣＲＦ（Ｃｏｎｄｉｔｉｏｎａｌ  Ｒａｎｄｏｍ  Ｆｉｅｌｄｓ）を使用してもよい。
【００５７】
本発明のいくつかの実施形態において、最大エントロピーモデルは、大規模な背景データセットで学習され、さらに特定の小規模なデータセット内で検出されるデータ型でモデルが適切に機能するように、特定の小規模なデータセットに適合される。図４は本発明による最大エントロピーモデルを適合させる方法を示す流れ図であり、図５は最大エントロピーモデルの適合で使用する要素を示すブロック図である。
【００５８】
ステップ４００で、機能閾値カウントを選択する。ステップ４０１で、学習機能（ｔｒａｉｎｅｒ）５０２は背景学習データ５０４に基づき、この閾値カウントを使用して機能セット５００を選択する。一実施形態において、このステップには予め定められた機能セット５０６のそれぞれが背景学習データ５０４内で出現する回数をカウントし、閾値カウントが表す回数を出現回数が上回る機能のみを選択するステップが含まれる。
【００５９】
ステップ４０２で、各加重に対して使用可能な分散５０８から事前ガウスモデルの分散を選択する。ステップ４０４で、学習機能５０２はスムージングを使用する間に背景学習データ５０４および前述の式５と式６とによって選択した分散に基づいて学習した最大エントロピーモデルの加重を学習する。
【００６０】
ただし、前述の式５と式６とではＩＩＳ（Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ）技術を使用して対数尤度が最大になる加重を評価していることに留意されたい。ステップ４０４は、この評価技術に限定されず、ＧＩＳ（Ｇｅｎｅｒａｌｉｚｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ）、Ｆａｓｔ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ、勾配上昇（Ｇｒａｄｉｅｎｔ  Ａｓｃｅｎｔ）など、あるいは他の評価技術を使用してこうした加重を評価してもよい。
【００６１】
ステップ４０６で、学習機能５０２は分散セット５０８内に他にも評価する分散があるかどうかを確認する。本発明により、複数の加重セットは、加重セットごとに異なる分散を使用して学習する。ステップ４０６で評価を必要とする分散セットが他にもある場合、ステップ４０２に戻り、新しい分散セットを選択し、ステップ４０４でその分散セットに関して加重セットを学習する。他に評価する分散セットがなくなるまで、ステップ４０２、４０４、４０６を繰り返す。
【００６２】
ステップ４０６で、評価する分散セットがなくなった場合は、ステップ４０７で評価する閾値カウントが他にもあるかどうかを確認する。他にも閾値カウントがある場合は、ステップ４００で新しい閾値カウントを選択し、この新しい閾値カウントについてステップ４０１、４０２、４０４、４０６を繰り返す。様々な閾値カウントを使用することで、様々な機能セットを使用して様々な最大エントロピーモデルを構築する。
【００６３】
ステップ４０７で、評価する閾値カウントがなくなった場合は、それぞれに固有の加重セットを伴う使用可能なモデルセット５１０が作成されている。次に、ステップ４０８で、選択ユニット（ｓｅｌｅｃｔｉｏｎ  ｕｎｉｔ）５１２は背景開発データ５１４に関して最適な大文字使用精度を実現するモデルを選択する。選択されたモデルは、初期背景モデル５１６となる。
【００６４】
ステップ４０９で機能閾値カウントを再び選択し、ステップ４１０で適合学習データセット５１８に対して機能選択プロセスを繰り返し、適合機能５２０を生成する。これは結果として同じセットになる可能性があるが、一般にステップ４００で選択した機能のスーパーセット（ｓｕｐｅｒ−ｓｅｔ）が生成される。
【００６５】
ステップ４１２で、分散セット５０８から事前モデルの分散セットをもう一度選択する。ステップ４１４で、適合ユニット５２２は、選択した分散セット、適合学習データ５１８、初期背景モデル５１６の加重を使用して、適合加重セットを学習する。１つの実施形態において、加重の事前分布は適合学習データの対数尤度が次の式になるようなガウス分布としてモデル化される。
【００６６】
【数１３】
2006031716.tif 000015
【００６７】
ただし、式７の右辺第２項の和
【００６８】
【数１４】
2006031716.tif 000016
【００６９】
は、平均が初期背景モデル５１６の加重に等しく、ステップ４１２で選択した分散を示す加重のガウス事前分布が指定された場合の加重の確率を表す。第２項の和は、ステップ４００の機能選択プロセスで構成される選択機能５００とステップ４１０の機能選択プロセスで構成される適合機能５２０との和集合で構成されるすべての機能についての和である。背景データ内に存在しない機能については、事前平均がゼロに設定される。他の実施形態では、ステップ４０９と４１０を実行せず、背景データから特定されたものと同じ機能を式７で使用してモデルを適合させる。
【００７０】
この事前モデルとＩＩＳ（Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｓｃａｌｉｎｇ）技術を使用して、ステップ４１４で適合した加重を学習する更新の式は次のようになる。
【００７１】
【数１５】
2006031716.tif 000017
【００７２】
ただし、δiは以下を満たしている。
【００７３】
【数１６】
2006031716.tif 000018
【００７４】
ただし、
【００７５】
【数１７】
2006031716.tif 000019
【００７６】
は適合学習データ５１８内の文脈ｘと出力すなわちタグｙの共出現の相対度数、
【００７７】
【数１８】
2006031716.tif 000020
【００７８】
は適合学習データ５１８内の文脈の相対度数である。
【００７９】
事前確率の効果は、モデルパラメータλiを背景データから生成されたモデルパラメータの近くに維持することである。初期モデルパラメータから移行するコストは、分散σiの大きさで指定され、それにより、分散が小さければモデルパラメータは初期モデルパラメータの近くに維持され、分散が大きければ正規の対数尤度が初期モデルパラメータに影響されなくなり、モデルパラメータは適合データによりよく適合する。
【００８０】
機能が適合学習データ５１８内に存在しないが背景データ５０４内には存在する場合は、ステップ４１４で機能の加重をさらに更新する。
【００８１】
ステップ４１６で、評価する分散セットが他にもあるかどうかを確認する。評価する分散セットが他にもある場合は、ステップ４１２に戻り、新しい分散セットを選択する。次に、ステップ４１４で新しい分散セットと初期背景モデル５１６の加重を使用して別の加重セットを適合させる。評価する分散がなくなるまで、ステップ４１２、４１４、４１６を繰り返す。
【００８２】
ステップ４１６で、評価する分散セットがなくなった場合は、ステップ４１７で評価する機能閾値カウントが他にもあるかどうかを確認する。機能カウントが他にもある場合は、ステップ４０９で新しい機能カウントを選択し、この新しい閾値カウントについてステップ４１０、４１２、４１４、４１６を繰り返す。
【００８３】
ステップ４１２、４１４、４１６で、使用可能な適合モデルセット５２４が生成される。ステップ４１８で、選択ユニット５２８は、最終適合モデル５３０として適合開発データ５２６の式７による対数尤度が最も高い適合モデルを選択する。
【００８４】
以上の説明では、式７の対数尤度の決定においてガウス事前分布を使用したが、他の形式の事前分布を使用してもよいことは当業者には言うまでもない。特に、ガウス事前分布の代わりに指数事前確率を使用してもよい。
【００８５】
以上、適合アルゴリズムについて大文字使用に関連付けながら説明してきたが、これはスパム（ｓｐａｍ）のフィルタリングや言語のモデル化のためのテキスト分類など、最大エントロピーモデルを使用する任意の分類の問題にも適用できる。
【００８６】
モデルの加重を適合データの小規模なセットに適合できることで、最大エントロピーモデルの初期モデルパラメータを学習し、顧客向けに出荷し、流通する製品にこうしたモデルパラメータを採用することができる。これで、顧客は最大エントロピーモデルを顧客システム内の個々のデータに適合させることができる。例えば、顧客が化学雑誌の記事のように特殊なテキストを所有しているとする。本適合アルゴリズムにおいてこうした記事を使用すると、顧客は最大エントロピーモデルパラメータを化学雑誌の記事に関して適切に機能するように適合させることができる。
【００８７】
本発明について、特定の実施形態に関連して説明してきたが、本発明の精神と範囲を逸脱しない限り、その形態および細部において様々な変更が可能なことは、当業者には言うまでもない。
【図面の簡単な説明】
【００８８】
【図１】本発明を実施できる１つのコンピューティング環境を示すブロック図である。
【図２】本発明を実施できる別のコンピューティング環境を示すブロック図である。
【図３】テキスト文字列内の単語に関する大文字使用（ｃａｐｉｔａｌｉｚａｔｉｏｎ）の方法を示す流れ図である。
【図４】本発明の１つの実施形態に従って最大エントロピーモデルを適合させる方法を示す流れ図である。
【図５】本発明の１つの実施形態に従って最大エントロピーモデルを適合させる場合に使用するエレメントを示すブロック図である。
【符号の説明】
【００８９】
１００  コンピューティングシステム環境
１１０  コンピュータ
１４１  ハードディスクドライブ
１５１  磁気ディスクドライブ
１５５  光ディスクドライブ
２１０  適切なバス
【図１】
2006031716.tif 000021
【図２】
2006031716.tif 000022
【図３】
2006031716.tif 000023
【図４】
2006031716.tif 000024
【図５】
2006031716.tif 000025