(57)【要約】【課題】より一般的にオブジェクトの定量的比較をおこなうようにする。【解決手段】特徴抽出エンジン１６により手書きのテキスト画像１２から生成された、順序化された特徴ベクトル系列２２を、ＳＣ−ＨＭＭ）用モデル化エンジン２６がモデル化して、重みパラメータの順序化された系列を生成する。同様に手書きの画像のサンプル画像１４から、参照用重みパラメータの順序化された系列の対象モデルの語あるいは句３８を生成する。動的時間伸縮法（ＤＴＷ）の距離コンパレータ４０は、これら（３６、３８）に適切に作用して、定量的比較指標４２を生成する。【選択図】図１
2010176672.tif 000002
【特許請求の範囲】
【請求項１】
モデル基準を有する参照用の半連続隠れマルコフモデル（ＳＣ−ＨＭＭ）を備えた入力ベクトル系列と、参照用の重みパラメータの順序化された系列と、の比較を実行し得る命令を格納する記憶媒体であって、
入力ベクトル重みパラメータの順序化された系列を生成するために、前記モデル基準を有するＳＣ−ＨＭＭを利用して前記入力ベクトル系列をモデル化するステップと、
定量的な比較指標を生成するために、前記入力ベクトル重みパラメータの順序化された系列と、前記参照用重みパラメータの順序化された系列とを比較するステップと、
を含む比較方法を使用することを特徴とする記憶媒体。
【請求項２】
前記モデル基準がガウス混合モデル（ＧＭＭ）を含むことを特徴とする請求項１に記載の記憶媒体。
【請求項３】
手書きの語や句の入力画像から導出された入力ベクトルであって参照ＳＣ−ＨＭＭを有する入力ベクトル系列と、対象とする手書きの語や句を表す前記参照ＳＣ−ＨＭＭとの比較の実行命令を発動するワードスポッティングアプリケーションを定義可能な命令を更に格納することを特徴とする請求項１〜２のいずれか１項に記載の記憶媒体。
【請求項４】
前記比較するステップは、定量的比較指標を生成するための、前記入力ベクトル重みパラメータの順序化系列と前記参照重みパラメータの順序化系列との比較に、動的時間伸縮法（ＤＴＷ）距離を利用することを特徴とする請求項１〜３のいずれか１項に記載の記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理技術、情報検索技術、オブジェクト分類技術、オブジェクト認識技術、オブジェクト比較技術、ワードスポッティング技術、及びそれらに関連する技術に関する。
【背景技術】
【０００２】
手書き文書の自動処理は書類の処理を促進し、ある主題に関連する書類の検出等を可能とする。そのような処理は、例えば光学的スキャニングによって、手書き文書のデジタル画像を生成することから始まる。光学式文字読み取り（ＯＣＲ）として知られる技術においては、英語のテキストコンテンツの場合のアルファベットや数字などの文字を識別するために、デジタル画像が処理される。タイプライタで印刷された、あるいはコンピュータで生成したフォントを用いてプリンタで印刷された、標準化されたテキストに対しては、ＯＣＲは一般的にテキストのほとんどあるいはすべてを識別することができる。しかし、手書きのテキスト内容に対してはＯＣＲはあまり有効ではない。それは、タイプライタの標準化された鋳造文字、あるいはコンピュータの標準化されたフォントに比べて、手書き文字は変形の度合いが大きいからである。一人の書き手の手書きに関してもかなりの変形があるが、数多くの異なる人によって書かれた文書に関しては、その変形の度合いがはるかに大きくなる。これは、ビジネス文書や官公庁書類に記入された書類を大量に処理する場合によくみられることである。
【０００３】
ワードスポッティングは、ＯＣＲとは基本的に異なる手法を用いる。文書画像をテキスト化するために個々の文字を識別してＯＣＲテキストを処理しようとするのではなく、ワードスポッティングでは、画像として語あるいは句のレベルで作用し、標準的あるいは代表的な単語と類似した単語を識別、すなわち「スポット」する（見つけ出す）。ワードスポッティングでは、単語の全体的な形状あるいは外形に関する情報をうまく利用するので、ＯＣＲに比べて手書きのテキストコンテンツに対してより正確である。更に、ワードスポッティングは語あるいは句の中の個別の文字を変換するのではないので、計算処理上の効率が高い。
【０００４】
ワードスポッティングは例えば、文書中の１つか２つ、あるいは数個のキーワード、もしくはキーフレーズを識別して文書を並べ替えたり、分類するのに利用される。ここでは手書きのテキストについて述べたが、ワードスポッティングは、コンピュータ、あるいはタイプライタで作成したテキストにも、画像形式で適用できる。
【０００５】
手書き文書に対するワードスポッティングの基本的なプロセスは以下のものを含む。（１）文書の各ページを光学的にスキャンするステップ。（２）個別の単語や句の画像を識別するために、画像を分割するステップ。（３）単語や句の画像のそれぞれの定量的表示を抽出するステップ。（４）その定量的表示を、スポッティング対象の単語や句に対応することがわかっている単語や句（あるいは単語や句の訓練用画像セット）から抽出された参照用表示との比較を行うステップ。抽出操作（３）の代表的なやり方としては、語あるいは句の画像に沿って左から右（あるいは右から左）へ選択された様々な点において特徴ベクトルが抽出され、それによって順序化された特徴ベクトル系列が生成される。次いで、比較操作のステップ（４）で、入力された特徴ベクトル系列と参照用の特徴ベクトル系列とを比較するために、任意の適切な比較指標が用いられる。
【０００６】
通常利用される比較指標は、例えばＳａｋｏｅ（迫江）等による非特許文献１に述べられている、動的時間伸縮法（ＤＴＷ）の距離指標である。ここでの距離は、２つの系列間の最適整合性の指標となるものであり、ベクトルとベクトルの比較を集積する。ＤＴＷ距離指標は、計算する上でも効率が良く、手書きの比較の際によく見られる、手書きの語あるいは句のいびつな変形に対処できる。しかし、ＤＴＷは限られた情報、すなわち入力ベクトル系列及び参照ベクトル系列に含まれる情報を活用するだけである。またＤＴＷは、語あるいは句の参照画像のトレーニングセットを導入するのに便利な方法ではない。
【０００７】
Ｊｅｂａｒａらによる非特許文献２では、積率カーネル（ＰＰＫ）に基づく距離指標が述べられている。この手法では、抽出操作（３）は連続隠れマルコフモデル（Ｃ−ＨＭＭ）、つまり連続的な状態出力確率を持ったＨＭＭを使用している。状態出力確率は一般に、ガウス混合モデル（ＧＭＭ）である。入力及び参照の語あるいは句のモデルは従って連続隠れマルコフモデルである。次に、比較操作のステップ（４）では、ＰＰＫを利用して入力と参照用の語あるいは句の画像のＣ−ＨＭＭ間の距離を計算する。このモデル基準の手法においては、参照モデルは参照用の単語や句の手書きサンプルのトレーニングセットに基づいて生成することができる。従って、ＤＴＷ指標に比べて大きな利点がある。しかし、Ｊｅｂａｒａらの手法は、ＰＰＫの計算が状態間の、すなわちＧＭＭ間の距離の計算を本質的に必要とするので、計算が膨大となる。
【０００８】
更にＤＴＷもＪｅｂａｒａらによる手法も、手書き一般に関する先験的な情報は組み込まない。つまりこれらはいずれも、手書きの語や句のそれぞれが、アルファベットやその他の先験的に知られた記号の組から選択された、一連の手書きの文字や数字（あるいはもっと一般的には、記号）で構成されているという知識をうまく活用したものとはなっていない。このような知識を利用できないと、計算速度や精度、あるいはその両方に対してマイナスの作用を及ぼしかねない。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】Ｓａｋｏｅ  ｅｔ  ａｌ．，  "Ｄｙｎａｍｉｃ  ｐｒｏｇｒａｍｍｉｎｇ  ａｌｇｏｒｉｔｈｍ  ｏｐｔｉｍｉｚａｔｉｏｎ  ｆｏｒ  ｓｐｏｋｅｎ  ｗｏｒｄ  ｒｅｃｏｇｎｉｔｉｏｎ"，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  ｐｒｏｃｅｓｓｉｎｇ，  ｐｐ．  １５９−６５  （１９７８）
【非特許文献２】Ｊｅｂａｒａ  ｅｔ  ａｌ．，  "Ｓｐｅｃｔｒａｌ  ｃｌｕｓｔｅｒｉｎｇ  ａｎｄ  ｅｍｂｅｄｄｉｎｇ  ｗｉｔｈ  ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌｓ"，  ｉｎ  ｔｈｅ  ２００７  Ｅｕｒｏｐｅａｎ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  （ＥＣＭＬ  ２００７）
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ここでワードスポッティングは説明の例として用いられているが、以下で述べることは、（１）オブジェクトを順序づけられたベクトル系列でモデル化し、（２）その順序化されたベクトル系列の距離指標あるいは他の定量的比較指標を計算する、ことにより、より一般的にオブジェクトの定量的比較をおこなうことに関する。このような定量的比較は、前述のオンライン及びオフラインの手書き認識への応用はもとより、音声認識（この場合のオブジェクトは話された単語やフレーズを表す音声系列である）、画像コンテンツスポッティング（この場合のオブジェクトは対象オブジェクトを表す画像部分である）、生物配列処理（この場合のオブジェクトはＤＮＡの部分配列、タンパク質の部分配列、などである）、などへの応用も可能である。
【課題を解決するための手段】
【００１１】
ここで、説明のための例として挙げる１つの例示的実施形態において、記憶媒体が、モデル基準を有する参照用の半連続隠れマルコフモデル（ＳＣ−ＨＭＭ）を備えた入力ベクトル系列と、参照用の重みパラメータの順序化された系列との比較を実行し得る命令を格納する。その比較には以下のステップを含む比較方法を利用する。入力ベクトルの重みパラメータの順序化された系列を生成するために、入力ベクトル系列をモデル基準を有するＳＣ−ＨＭＭを利用してモデル化するステップと、定量的な比較指標を生成するために、入力ベクトル重みパラメータの順序化された系列と、参照用重みパラメータの順序化された系列とを比較するステップと、を含む比較方法を利用する。
【００１２】
ここで、説明のために挙げる別の例示的実施形態において、開示されるオブジェクトの比較方法が以下のステップを含む。第１のオブジェクトの第１の順序化されたベクトル系列表示を生成するステップと、第２のオブジェクトの第２の順序化されたベクトル系列表示を生成するステップと、汎用基準を用いた半連続隠れマルコフモデルを利用して第１の順序化ベクトル系列表示をモデル化して生成したモデルパラメータの第１の順序化系列によって第１のオブジェクトを表示するステップと、汎用基準を用いた半連続隠れマルコフモデルを利用して第２の順序化ベクトル系列表示をモデル化して生成したモデルパラメータの第２の順序化系列によって第１のオブジェクトを表示するステップと、第１の順序化系列と第２の順序化系列とを比較して定量的比較指標を生成するステップと、である。
【００１３】
ここで、説明のための更に別の例示的実施形態において、以下のステップを含む文書化処理システムが開示される。複数の単語あるいは句の画像を生成するために、文書ページの少なくとも１つの画像を分割するステップと、複数の単語あるいは句の画像の入力用順序化ベクトル系列表示を生成するステップと、固定された平均および分散パラメータを有するガウス分布成分から構成されるガウス混合モデル（ＧＭＭ）基準を利用する半連続隠れマルコフモデルを用いて、入力用順序化ベクトル系列表示をモデル化して対応する重みパラメータ系列を生成するステップと、その重みパラメータ系列を対象モデルの１つまたは複数の語あるいは句と比較することに基づいて文書にラベル付けするステップと、である。
【図面の簡単な説明】
【００１４】
【図１】ワードスポッティングエンジンの概略図である。
【図２】図１のワードスポッティングエンジンに用いる汎用基準を生成するためのシステム例の概略図である。
【図３】図１のワードスポッティングエンジンの変形版であり、対象モデルの語あるいは句がワードスポッティング操作の前に生成され格納される。
【図４】図３のワードスポッティングエンジンを利用した文書ラベル付けシステムの概略図である。
【図５】コンピュータで生成したテキストの対象語“Ｍａｄａｍｅ"をコンピュータで生成した１０個の異なるフォントで示した、１０個の画像のトレーニングセットである。
【発明を実施するための形態】
【００１５】
図１を参照すると、例示のワードスポッティングエンジン１０が手書きテキスト画像１２を処理して、手書きテキスト１２と、対象の語あるいは句の１つまたは複数の手書きサンプル画像１４との類似性を定量的に評価する。手書き文書を光学的にスキャンすることにより、あるいは、ユーザがペン、スタイラスやその他の適当な手入力用具を用いて手入力できるタッチセンサスクリーンを備えた、例えばタブレット型パーソナルコンピュータ（“タブレットＰＣ"）やパーソナルデータアシスタント（ＰＤＡ）を用いて手書きのコンテンツを電子的に直接入力することにより、画像１２、１４が適切に生成される。画像１２、１４の生成には所望により、文書のページ画像あるいは他の大きな画像の一部分として、テキスト画像１２、１４を分離あるいは識別するための分割が行われてもよい。画像１２、１４は、任意の適当な画像フォーマット、例えばＪＰＥＧ、ＴＩＦＦ、ＧＩＦ、ＰＮＧなどで格納することができる。画像１２、１４は所望により、ゆがみ、傾斜および寸法が正規化され、これらの観点からの画像１２、１４の比較のし易さを高めることもできる。
【００１６】
ワードスポッティングエンジン１０が特徴抽出エンジン１６を含み、手書きのテキスト画像１２を処理して、対応する順序化された特徴ベクトル系列２２を生成する。適切な手法においては、１つのウィンドウを左から右へスライドさせ、それぞれのウィンドウに対してひと組の特徴（即ち特徴ベクトル）を計算することによって、順序化された特徴ベクトル系列２２が得られる。適切な特徴のタイプは、例えば以下のような文献で述べられている。Ｍａｒｔｉ、ほか："Ｕｓｉｎｇ  ａ  ｓｔａｔｉｓｔｉｃａｌ  ｌａｎｇｕａｇｅ  ｍｏｄｅｌ  ｔｏ  ｉｍｐｒｏｖｅ  ｔｈｅ  ｐｅｒｆｏｒｍａｎｃｅ  ｏｆ  ａｎ  ＨＭＭ−ｂａｓｅｄ  ｃｕｒｓｉｖｅ  ｈａｎｄｗｒｉｔｉｎｇ  ｒｅｃｏｇｎｉｔｉｏｎ  ｓｙｓｔｅｍ"，  Ｉｎｔ．  Ｊ．  ｏｆ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  ａｎｄ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｖｏｌ．  １５  ｐｐ．  ６５−９０  （２００１）。
Ｖｉｎｃｉａｒｅｌｌｉ  ほか：  "Ｏｆｆｌｉｎｅ  ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  ｕｎｃｏｎｓｔｒａｉｎｅｄ  ｈａｎｄｗｒｉｔｔｅｎ  ｔｅｘｔｓ  ｕｓｉｎｇ  ＨＭＭｓ  ａｎｄ  ｓｔａｔｉｓｔｉｃａｌ  ｌａｎｇｕａｇｅ  ｍｏｄｅｌｓ"，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，  ｖｏｌ．  ２６  ｎｏ．  ６，  ｐｐ．  ７０９−２０（２００４）。
Ｒｏｄｒｉｇｕｅｚ  ほか：  "Ｌｏｃａｌ  ｇｒａｄｉｅｎｔ  ｈｉｓｔｏｇｒａｍ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｗｏｒｄ  ｓｐｏｔｔｉｎｇ  ｉｎ  ｕｎｃｏｎｓｔｒａｉｎｅｄ  ｈａｎｄｗｒｉｔｔｅｎ  ｄｏｃｕｍｅｎｔｓ"，    ２００８  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｆｒｏｎｔｉｅｒｓ  ｉｎ  Ｈａｎｄｗｒｉｔｉｎｇ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＩＣＦＨＲ  ２００８）。
同様に、ワードスポッティングエンジン１０は、特徴抽出エンジン１６'を含み、これは、対象の語あるいは句の手書きサンプルの１つまたは複数の画像１４を処理して、対応する１つまたは複数の参照用の順序化された特徴ベクトル系列２４を生成する。特徴抽出エンジン１６'により遂行される変換は、特徴抽出エンジン１６により遂行される変換と作用上は同一である。従って、別々の、ただし機能的には等価な特徴抽出エンジン１６、１６'を利用することも考えられるが、実際に２つのエンジン１６、１６'が１つの同一エンジンであってもよい。
【００１７】
一方における順序化された特徴ベクトル系列２２と、他方での１つまたは複数の参照用の順序化された特徴ベクトル系列２４とが、画像１２、１４の比較のための適切なベースを提供する。実際に、単一の画像を参照する既存のワードスポッティングエンジンにおいては、動的時間伸縮法（ＤＴＷ）の距離が順序化系列２２、２４に直接適用されて、定量的な比較指標が計算される。しかしながらこの手法は複数の参照画像へは適用できない。そして、さらにこのような手法は、手書きの語や句のそれぞれが、アルファベットやその他の先験的に知られた記号の組から選択された、一連の手書きの文字や数字（あるいはもっと一般的には、記号）で構成されているという先験的な知識をうまく活用したものとはなっていない。ここでは、このような先験的な知識を活用して計算速度を向上させ、精度を向上させ、または速度と精度の両方を向上させることが望まれる。
【００１８】
この目的に対して、順序化された特徴ベクトル系列２２を、半連続隠れマルコフモデル（ＳＣ−ＨＭＭ）用モデル化エンジン２６を用いてモデル化する。このモデル化エンジン２６は、テキスト画像１２、１４を構成することが予想される手書きの文字や数字、もしくはより一般的には記号、の組に関する先験的な知識を組み込んだ汎用基準３０を使用する。ここで説明する例示的な実施形態においては、汎用基準３０はガウス混合モデル（ＧＭＭ）であり、ガウス分布成分が固定された平均値および分散パラメータ（ここで、"分散パラメータ”は広義に使用されており、分散、標準偏差やその他のガウス分布成分の"拡がり”を示すパラメータを表す）を有し、これが先験的情報を表す。ただし、調整可能な荷重パラメータも有しており、それはＳＣ−ＨＭＭモデル化エンジン２６で調整される。順序化された特徴ベクトル系列２２を以下では、長さＴの系列Ｘとして表し、その成分の特徴ベクトルをｘi，ｉ＝１，．．，Ｔと表す。すなわち、系列は次のように表される。Ｘ＝｛ｘ1，ｘ2，．．，ｘT｝ＳＣ−ＨＭＭモデル化においては、それぞれの時刻ｔにおいてシステムは隠れた状態であると仮定され、この状態をここでは離散的潜在変数ｑtで表す。ＳＣ−ＨＭＭ状態数３２はモデル化のパラメータであり、ここではＮと表す。こうして、１からＮまでラベル付けされたＮ個の状態がある。例示的なＳＣ−ＨＭＭモデル化の実施形態の汎用基準３０は、Ｋ個のガウス分布成分を持った汎用ＧＭＭである。それぞれの状態ｉは３つのタイプのパラメータで記述される。すなわち、初期占有確率πi＝Ｐ（ｑt＝ｉ）、遷移確率ａij＝Ｐ（ｑt＝ｊ｜ｑt-1＝ｉ）、出力確率Ｐ（ｘi｜ｑt＝ｉ）であるここでの実施例では、左から右へのＨＭＭを仮定し、ジャンプはないものとする。そのようなＨＭＭは以下の性質をもつ：ａij＝０（ｊ≠ｉ及びｊ≠ｉ＋１）出力確率は例示の汎用ＧＭＭ基準３０で記述されるものと仮定する。この実施例においては、分散パラメータは対角共変行列であると仮定する。それは、計算コストが軽減され、かつ任意の分布は対角共変行列を有するガウス分布の結合により任意の精度で近似できるからである。
【００１９】
ＳＣ−ＨＭＭ状態数Ｎ３２を順序化された特徴ベクトル２２の系列長Ｔで計測することは有効である。ここで用いる表記では、Ｎ＝ν・Ｔであり、νは(０，１)の範囲内のスケール因子である。パラメータνはここでは「圧縮因子」とも呼ばれる。それはＳＣ−ＨＭＭが直観的には、順序化された特徴ベクトル２２のＴ観測中の情報をＮ＝ν・Ｔ状態に圧縮するからである。
【００２０】
ＳＣ−ＨＭＭモデル化において、出力確率のすべてのガウス分布成分は、ここで汎用基準３０と称する共通セットのＫ個のガウス分布に属するように強制される。言い換えれば、Ｋ個のガウス分布の平均および分散パラメータは、ＳＣ−ＨＭＭモデル化の間、調整されない。ｐkが、平均ベクトルμk及び共変行列Σkを有する汎用ＧＭＭ３０のｋ番目のガウス分布成分を表すとする。出力確率は以下のように表される。
【数１】
2010176672.tif 000003
従ってＳＣ−ＨＭＭパラメータは、平均μk及び分散パラメータΣkを含む、系列に依存しないすなわち共通の、つまり固定すなわち静的なパラメータと、遷移確率ａij及びガウス分布成分重みパラメータωikを含む、系列に依存するパラメータと、に分離することができる。固定すなわち静的な平均ｐk及び分散パラメータΣkは、手書きスタイルに関する先験的な情報をＳＣ−ＨＭＭモデル化に注入する。
【００２１】
ＳＣ−ＨＭＭモデル化エンジン２６は、Ｎ＝ν・Ｔ状態３２を有するＳＣ−ＨＭＭと、Ｋ個のガウス分布成分を持つ汎用基準３０とを利用して、順序化された特徴ベクトル２２をモデル化する。適切なモデル化手法においては、ＧＭＭ基準３０の静的な平均μkおよび分散パラメータΣkは再び固定され、遷移確率ａij及び重みパラメータωikが適切に調整されて、次の再評価公式を用いる期待値最大化（ＥＭ）法を利用して、順序化された特徴ベクトル２２をモデル化する。
【数２】
2010176672.tif 000004
【数３】
2010176672.tif 000005
ここで、γi（ｔ）はｘiが状態ｉによって生成される確率、γik（ｔ）はｘiが状態ｉと混合成分ｋによって生成される確率、そしては(ij（ｔ）はｘiが状態ｉによって生成され、ｘi+1が状態ｊによって生成される確率、を示す。これらの後天的因子は、フォワード・バックワードアルゴリズムで適切に計算される。これについては、例えば、Ｒａｂｉｎｅｒによる、"Ａ  ｔｕｔｏｒｉａｌ  ｏｎ  ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌｓ  ａｎｄ  ｓｅｌｅｃｔｅｄ  ａｐｐｌｉｃａｔｉｏｎｓ  ｉｎ  ｓｐｅｅｃｈ  ｒｅｃｏｇｎｉｔｉｏｎ"，  Ｐｒｏｃ．  ｏｆ  ｔｈｅ  ＩＥＥＥ  ｖｏｌ．  ７７，  ｐｐ．  ２５７−８６  （１９８９）を参照されたい。
【００２２】
ＳＣ−ＨＭＭモデル化の出力には、適合された遷移確率ａij及び重みパラメータωikが含まれる。しかし、ほとんどのＨＭＭモデル化の適用において、適合重みパラメータωikが遷移確率ａijに比べて実質的により識別力がある。従って例示の実施形態においては、ＳＣ−ＨＭＭモデル化エンジン２６の出力は、順序化された重みパラメータ系列３６、すなわち、適合重みパラメータの順序化された系列ωikである。ほかのよく検討された実施形態においては、順序化された適合遷移確率系列ａijは、適合重みパラメータωikの使用に追加して、あるいはその代わりに含まれるように考慮されている。
【００２３】
同様に、ワードスポッティングエンジン１０がＳＣ−ＨＭＭモデル化エンジン２６'を含み、Ｎ＝ν・Ｔ状態３２を有するＳＣ−ＨＭＭと、Ｋ個のガウス分布成分を持った汎用基準３０とを利用して、１つまたは複数の参照用の順序化された特徴ベクトル系列２４をモデル化する。ＳＣ−ＨＭＭエンジン２６'により遂行されるモデル化は、ＳＣ−ＨＭＭエンジン２６により遂行されるモデル化と同一である。従って、機能的には等価な別々の特徴抽出エンジン２６、２６'を利用することも考えられるが、実際に２つのエンジン２６、２６'が１つの同一エンジンであってもよい。１つまたは複数の参照用画像１４が、対象としている語や句の手書きサンプル画像の訓練用のセットなどのような、参照画像を複数含む場合には、ＳＣ−ＨＭＭモデル化する際に調整パラメータのａijとωikを１つの参照用サンプル画像に対して調整するのではなく、複数の訓練用のサンプル画像の参照用のセットのそれぞれ対して適切に調整の訓練を行う。いずれの場合でも、ＳＣ−ＨＭＭモデル化エンジン２６'の出力は、適合重みパラメータωikの順序化された系列によって定義された、対象モデルの語あるいは句３８である。遷移パラメータａiｊは、所望により追加もしくは代替のモデル成分として含まれる。
【００２４】
手書きのテキスト画像１２および参照用の１つのテキスト画像もしくは複数の画像１４に対する表示３６、３８が、ＧＭＭ基準３０の先験的情報を、共通の固定された、すなわち静的な平均μk及び分散パラメータΣｋを介して組み込むことは有利なことである。更に、表示３６、３８は簡潔になっている。適合重みパラメータの順序化された系列ωiikは、インデックスｉ＝１，．．，Ｎ＝ν・Ｔ  およびｋ＝１，．．，Ｋの範囲を動くので、重みパラメータの総数はＮｘＫである。ここで、ＮはＳＣ−ＨＭＭの状態数であり、ＫはＧＭＭ基準３０のガウス分布成分の数である。例示された動的時間伸縮法（ＤＴＷ）の距離コンパレータ４０などのような、順序化系列コンパレータは、表示３６、３８に適切に作用して、定量的比較指標４２を生成する。図に示したＤＴＷコンパレータの代わりに、実質的に任意の他のタイプのコンパレータを利用することが可能である。好ましくは、コンパレータが順序化系列３６と３８の間の可能な整合を考察する。そして、ベイズの誤差確率や、カルバック・ライブラー（ＫＬ）の発散、バタチャリヤの類似性、などの状態（即ち、重みベクトル）間の類似性の局所指標を求めるさまざまな方法を利用することができる。コンパレータは、最適経路あるいは全経路の合計を考察する。ＤＴＷ距離は最適な経路を考察する。それを以下で説明する。その他の距離あるいは他の比較アルゴリズムもまた検討する。
【００２５】
ＤＴＷはベクトル系列間の伸縮性のある距離である。長さがそれぞれＴｘ、Ｔｙである２つのベクトル系列ＸおよびＹについて、ＤＴＷがこの系列間の整合のあらゆる可能性を考察する。ここで整合とは、ある条件を満足するようなベクトル間の一連の対応を言う。それぞれの整合に対して、ベクトルとベクトルの距離の総和が求められ、これらの距離の最小値としてＤＴＷ距離が定義される。これは言い換えれば、最適整合に沿った距離であり、ワーピング経路とも呼ばれる。可能なすべての整合を直接評価するのは、計算コストがかさむ。従って、ＤＴＷのほとんどの実装においては、２次時間で距離を計算するために動的計画法アルゴリズムが用いられる。これは、プレフィックス｛ｘ1，．．，ｘm｝と｛ｙ1，．．，ｙn｝との間の部分距離ＤＴＷ（ｍ，ｎ）を考慮に入れる。ここでｍ＝１，．．．，Ｔx，であり、ｎ＝１，．．，Ｔyである。部分距離ＤＴＷ（ｍ，ｎ）は次式で適切に与えられる。
【数４】
2010176672.tif 000006
ここで、ｄ（ｍ，ｎ）は、例えばユークリッド空間距離として表されるような、ｘmとｙnとの間のベクトルとベクトルとの距離である。ＤＴＷ距離をワーピング経路の長さで割ると、一般に性能の向上がみられる。距離関数ｄ（＿，＿）は所望により類似の指標に置き換えることができる。ただし式（４）のｍｉｎ｛．．．｝をｍａｘ｛．．．｝へ変える必要が生じる。式（４）を用いて、行列ＤＴＷ（ｍ，ｎ）を１列づつ埋めていくことができるので、アルゴリズムのコストはＯ（ＴxＴyＤ）のオーダである。ここでＤは特徴ベクトルの次元である。
【００２６】
ＤＴＷ距離を状態系列へ展開するには、ベクトルとベクトルの距離ｄ（＿，＿）を状態と状態の距離に置き換えれば十分である。対象としている、系列に依存する状態パラメータは、順序化された混合重み系列３６、３８である。従って、２つの状態間の距離は、２つの混合重みベクトル間の距離として定義される。バタチャリヤ類似性指標では、これはＧＭＭ間の真のバタチャリヤ類似性の近似に対応することが示される。以下においては、
【数５】
2010176672.tif 000007
は、それぞれＳＣ−ＨＭＭモデル化エンジン２６、と２６'とによる２つのＧＭＭ出力を表しており、α＝（αl．．．αM）はＳＣ−ＨＭＭモデル化エンジン２６によるＧＭＭ出力の重みベクトルαiであり、β＝（βl．．．βN）はＳＣ−ＨＭＭモデル化エンジン２６'によるＧＭＭ出力の重みベクトルβjである。確率積の核（ＰＰＫ）は以下のように適切に定義される。
【数６】
2010176672.tif 000008
これはＪｅｂａｒａらによる"Ｐｒｏｂａｂｉｌｉｔｙ  ｐｒｏｄｕｃｔ  ｋｅｒｎｅｌｓ"，  Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ  ｖｏｌ．  ５  ｐｐ．  ８１９−４４  （２００４）を参照されたい。バタチャリヤ類似性は特別の場合であり、Ｂ（ｆ，ｇ）＝Ｋppk1/2（ｆ，ｇ）である。ｆおよびｇがガウス混合モデルの場合には、バタチャリヤ類似性Ｂは閉じた形の式では表されないが、Ｂを次に示す上界で近似することによって近似できる。
【数７】
2010176672.tif 000009
値Ｂ（ｆi，ｇi）が、ガウス分布成分のペア間のバタチャリヤ類似性に対応し、これには閉じた形の式が存在する。例えば、Ｊａｂａｒａらによる"Ｐｒｏｂａｂｉｌｉｔｙ  ｐｒｏｄｕｃｔ  ｋｅｒｎｅｌｓ"，  Ｊｏｕｒｎａｌ  ｏｆ  Ｍａｃｈｉｎｅ  Ｌｅａｒｎｉｎｇ  Ｒｅｓｅａｒｃｈ  ｖｏｌ．  ５  ｐｐ．  ８１９−４４  （２００４）を参照されたい。ＳＣ−ＨＭＭの場合には、ＧＭＭ出力確率は、同じガウス分布成分の組、すなわち，Ｍ＝Ｎ，ｆi＝ｇjに対して定義され、値Ｂ（ｆi，ｇj）が事前に計算される。そのような場合には、２つの状態の類似性は、対応する２つの重みベクトル間の類似性そのものとなる。
【００２７】
しかしながら、計算コストはガウス分布成分の数の２次式のままであり、典型的な応用例では２〜３から数百以上のオーダになるものもある。計算コストを下げることが望まれる場合には、所望により、次のような界への追加の近似が行われる。ここで、ガウス分布成分は明確に分離していることが仮定される。すなわち、ｉ≠ｊの場合にはＢ（ｆi，ｇj）＝０であることが仮定される。この近似は一般に特徴空間の次元が増えるにつれて妥当性を増す。定義により、Ｂ（ｆi，ｆi）＝１である。これにより以下の近似が成り立つ。
【数８】
2010176672.tif 000010
これは、重みベクトルαとβの間の離散バタチャリヤ距離である。重みベクトルの平方根が格納される場合には、この量は内積として計算するのに効率的である。
【００２８】
図２を参照すると、汎用ＧＭＭモデル３０の生成の適切な手法が示されている。ＧＭＭモデル３０は、手書きスタイルに関する先験的情報を具現化することが望ましい。この目的のために、手書きスタイルデータベース５０が提供され、そこには様々な手書きのサンプル画像が含まれている。手書きスタイルデータベース５０は、数及び範囲において十分な手書きサンプルを含んでおり、ワードスポットエンジン１０が出会うと予想される範囲の手書きスタイルを表示できる。十分な多様性を与えるために、対象とする地域に住んでいる人、および／または出会う書き手の教育レベルとして想定される全範囲の人、などからサンプルが集められる。その反対の極端な場合としては、単一の人のみによって書かれた文書にワードスポッティングを適用して処理することが考えられる（例えば、沢山の手紙を書いた歴史上の人物の広範囲にわたる著作を分析するような場合）。このようなものへの適用には、手書きスタイルデータベースは適切には、対象とするたった一人の書き手による手書きサンプル画像を含む。手書きスタイルデータベース５０は一般的に対象とする語や句に限られるわけではない。それよりもむしろ幅広い手書きサンプルを提供する、広範な語や句を含み、ワードスポッティングエンジン１０が出会う可能性のある幅広い手書きスタイルの形を提供できるようにする。
【００２９】
手書きスタイルデータベース５０のサンプル画像は、特徴抽出エンジン１６"で処理される。これは機能的には特徴抽出エンジン１６と同等のもので（実際、所望により１つの同一エンジンとして具現化されてもよい）、手書きのサンプル画像のそれぞれに対して特徴ベクトル系列を生成する。手書きスタイルモデル化エンジン５２は適切には、汎用基準３０として働く汎用ＧＭＭを、特徴抽出エンジン１６"によって抽出された特徴ベクトル系列を利用して訓練する。この訓練では、サンプル画像から抽出された特徴ベクトルの系列順序は無視されて、特徴ベクトル系列はその代わりに（一般的に大きな）特徴ベクトルの無秩序な組と見なされる。特徴ベクトル抽出時に、テキスト画像に沿ってスライド窓が動くと、スライド窓が文字や、文字の一部、あるいは文字と文字とをつなぐ部分などのような典型的な手書き一次情報をサンプリングする。重みパラメータωk、平均パラメータμk、分散パラメータΣｋを含むすべてのＧＭＭパラメータを無秩序な特徴ベクトルの組に合わせることにより、ガウス分布成分の"語彙"が生成される。汎用ＧＭＭ３０を訓練する適切なアルゴリズムは、期待値最大化（ＥＭ）アルゴリズムである。これは例えば、Ｂｉｌｍｅｓの"Ａ  ｇｅｎｔｌｅ  ｔｕｔｏｒｉａｌ  ｏｆ  ｔｈｅ  ＥＭ  ａｌｇｏｒｉｔｈｍ  ａｎｄ  ｉｔｓ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｐａｒａｍｅｔｅｒ  ｅｓｔｉｍａｔｉｏｎ  ｆｏｒ  Ｇａｕｓｓｉａｎ  ｍｉｘｔｕｒｅ  ａｎｄ  ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌｓ"，  Ｔｅｃｈｎｉｃａｌ  Ｒｅｐｏｒｔ  ＴＲ−９７−０２１，  Ｉｎｔ．  Ｃｏｍｐｕｔｅｒ  Ｓｃｉｅｎｃｅ  Ｉｎｓｔｉｔｕｔｅ，  （１９９８）に記述されている。訓練の後、調整された平均パラメータμk、及び分散パラメータΣｋは、後続のＳＣ−ＨＭＭモデル化エンジン２６、２６'によるモデル化において、先験的情報を担う固定された静的パラメータとして扱われる。
【００３０】
前に述べた手書きテキストオブジェクト１２は単一のオブジェクトであるが、対象とする語や句の１つまたは複数の手書きサンプル画像は、単一のオブジェクトであってもよいし、複数のオブジェクトであってもよい。また、オブジェクト１２は複数のオブジェクトから構成されていてもよく、その場合には図１のシステムは、２組の手書きテキスト画像などの、２組のオブジェクトを比較するのに利用することが可能である。
【００３１】
図３を参照すると、変形型ワードスポッティングエンジン１０'が示されている。このワードスポッティングエンジンは、対象モデルの語あるいは句３８を生成するための部品１６'、２６'がワードスポッティングエンジン１０'から省略され、その代わり、対象モデルの語あるいは句３８はワードスポッティングエンジン１０'への入力となっていることを除けば、図１のワードスポッティングエンジン１０と同じである。対象語あるいは句の１つまたは複数の手書きサンプル画像１４から、対象とするモデルの語あるいは句３８を生成する処理が、省略した部品１６'、２６'で構成される適切なモデル準備システム（表示せず）によって先ず実行され、その結果として得られる対象モデルの語あるいは句３８が、後からワードスポッティングエンジン１０'によって検索、利用されることに備えて格納される、ということがこの変形型ワードスポッティングエンジン１０'で示されている。この手法によれば、定量的比較をするために対象の語あるいは句１２の新しい入力がある度に、対象モデルの語あるいは句３８を再計算する必要がないので、適用対象によっては処理効率が向上する。
【００３２】
図４を参照すると、文書のラベル付けおよびアーカイブシステムが示されている。このシステムは、変形型ワードスポッティングエンジン１０'と、アーカイブ中の文書をラベル付けするための対象語あるいは句のモデルを含んだ対象モデル語あるいは句のデータベース６０とを利用する。文書をトピック別にラベル付けしてアーカイブする場合、例えば地球温暖化というトピックに関する文書を識別するための語句としては、例として「オゾン」、「地球温暖化」、「極氷冠」、「温室」等が含まれる。このような対象とするそれぞれの語あるいは句に対して、部品１６'、２６'（図１参照）が適用されて、対応する対象モデルの語あるいは句が生成され、データベース６０に格納される。
【００３３】
一般的な処理の実例においては、文書は紙に書かれた形で受取られ、光学式のスキャナ６２を用いて文書ページの画像が生成される。光学式スキャナ６２でスキャンされた文書は通常手書きの文書である。しかし、本開示のワードスポッティング技術は、タイプされた語、あるいはコンピュータで生成されたフォントで印刷された語などにもスポッティングを適用できるように考えられている。ここで用いているように、「手書き文書」という用語あるいは類似の術語は、対象とする、あるいは対象となる可能性のある手書きコンテンツを有する文書を意味する。従って、手書き文書は、大量の、あるいは殆どが、コンピュータで生成した、もしくはタイプで書かれたテキストを含んでもよい。例えば、コンピュータで生成した書類に手書きで記入したものは、ほとんどがコンピュータ型のフォントで書かれたコンピュータ生成テキストで構成される。しかしながら、そのような書類も手書きで記入されると手書き文書と見なされる。それは対象とするコンテンツは手書きの記入部分であるからである。
【００３４】
文書ページの画像は文書ページ画像分割プロセッサ６４によって処理され、手書きの語あるいは句を表すテキスト画像（あるいはむしろ文書ページ画像の部分画像）を分離ないしは識別する。所望によっては、分割プロセッサ６４は抽出されたテキスト画像の、ゆがみ、傾斜、寸法についての標準化を行い、これらに関する一様性も向上させる。所望によっては、プレフィルタ６６が選択基準に基づいて事前のフィルタリングを行い、ある条件に適合しないテキスト画像を検討から除外する。例えば、プレフィルタ６６は所望によっては、語あるいは句の標準化された寸法が、対象の語あるいは句の最短のものよりも小さいテキスト画像を除外する。そのようなプレフィルタをかけることによって、例えば１文字あるいは２文字の語をすべて除外することができる。プレフィルタでは所望によって更に、テキスト画像を含む四角形の縦、横のアスペクト比などの基準を検討することもできる。そしてこのような基準を用いて、アスペクト比が対象の語あるいは句のいずれのアスペクト比にも合致しないテキスト画像を除去することができる。
【００３５】
プレフィルタ６６を通過する分割されたテキスト画像は、ルーピング処理６８により順番に処理される候補テキスト画像と見なされ、ワードスポッタ１０'に入力された手書きテキスト画像１２として、候補テキスト画像のそれぞれが次々に処理される。更に、対象モデル語あるいは句のデータベース６０に格納されたモデルはルーピング処理７０によって順次処理され、ワードスポッタ１０'に入力された対象モデルの語あるいは句１４として、それぞれのモデルが順番に処理される。このように、候補テキスト画像のそれぞれは、対象モデルの語あるいは句のそれぞれと比較され、候補テキスト画像が対象の語あるいは句のいずれかとマッチするかどうかを評価するための定量的比較指標の組が生成される。文書ラベラ７４がこの情報を用いて文書をラベル化する。例えば、地球温暖化というトピックに関する対象の語あるいは句が、その文書に閾値の数よりも多く含まれる場合に、文書ラベラ７４はその文書を「地球温暖化」という主題タグでラベル付けする。光学的にスキャンされた文書ページは適切に連結されてｐｄｆファイル、もしくはその文書を格納するその他の連結ファイルとされ、次にそれが、文書ラベラ７４によりその文書に付けられた任意のラベルを含むメタデータと共に、文書データベース７６に格納される。更にそれに追加して、もしくはその代わりに、文書ラベル化の別の使い方をすることができる。例えば代替実施形態の１つとして、ラベラ７４によって、対象の１つまたは複数のトピックに関係あることが表示された文書のみが文書データベース７６に格納される。別の代替実施形態では、ラベラ７４が対象の１つまたは複数のトピックに関係あるとする文書が人によるレビュー（例えばEメールを介して）に送られ、人が更に検討しレビューする。
【００３６】
既に述べたように例示的なＳＣ−ＨＭＭモデル化エンジン２６は、ＳＣ−ＨＭＭの状態数Ｎ３２を利用してＳＣ−ＨＭＭのモデル化を実行し、順序化された特徴ベクトル系列２２は系列の長さＴを有し、そして、Ｎ＝ν・Ｔの表記を導入した。ここでνは（０，１）の範囲内のスケール因子であり、直観的にはＳＣ−ＨＭＭが順序化された特徴ベクトル系列２２のＴ個の観測に含まれる情報をＮ＝ν・Ｔの状態に圧縮するので、この因子をここでは"圧縮因子"とも呼ぶ。一般的に、ν＝１の場合にはＮ＝Ｔであり、これは非圧縮のＳＣ−ＨＭＭモデル化プロセスと考えられる。また一方で、ν＜１の場合は状態数Ｎが系列長Ｔよりも小さくなり、ＳＣ−ＨＭＭモデル化プロセスは圧縮を実行すると考えられ、計算スピードが向上することの代償として検索精度（ワードスポッティング応用の）が幾分減少することになる。次にこの圧縮因子νの影響を更に検討する。
【００３７】
ＤＴＷ指標のコストは、Ｏ（ＴXＴYＤ）のオーダであり、ここでＤ
は特徴ベクトルの次元である。図１のシステムあるいは図３のシステムにより実装される類似性指標のコストは、０ν１に対してＯ（ν2ＴXＴYＫ）のオーダであることが示される。ここで、Ｋは汎用ＧＭＭ基準３０のガウス分布成分の数であることを思い起こされたい。これよりＫ＝Ｄの場合は、ＤＴＷ距離指標の場合に比べて計算コストが１／ν2だけ縮減されることになる。
【００３８】
図１のシステムに実質的に一致する、定量的比較指標を用いたワードスポッティングシステムが発明者によって構築された。そしてその性能をＤＴＷ距離指標そのものを用いるワードスポッティングと比較した。実際に構築されたワードスポッティングシステムを用いて行われたテストで、圧縮因子νを減少させれば一般的に性能が下がり、処理速度が上がることが確認された。従って、ワードスポッティングシステム（あるいは、開示した定量的順序化ベクトル系列比較技術のその他のアプリケーション）の性能は、圧縮因子νを加減することにより調節が可能である。一般的に、圧縮因子νを高くすれば精度が向上し、逆に圧縮因子νを下げればスピードが向上する。ワードスポッティングテストの結果、圧縮因子νが０．１ν０．２の範囲（これは計算コストの増加１／ν2がＤＴＷ指標を単独で使用する場合の２５〜１００倍の範囲に対応）にあれば、ＤＴＷ指標単独操作によるワードスポッティングに比べて性能が同等、もしくは若干すぐれていることが示された。
【００３９】
これらの計算コストの値は、順序化系列コンパレータ４０に対するものであって、ＳＣ−ＨＭＭモデル化エンジン２６、２６'により実行される処理の計算時間は含まれていない。しかし図３に示すように、一般的なワードスポッティングのやり方では、対象モデルの語あるいは句３８は適切に事前計算される。従って、ＳＣ−ＨＭＭモデル化エンジン２６'の計算コストはその影響を受けない。さらに、それぞれの手書きテキスト画像１２が複数の対象モデルの語あるいは句３８と比較されるとすると（例えば図４に示すように）、対応する重みパラメータの順序化系列３６を生成するためのＳＣ−ＨＭＭモデル化エンジン２６の処理は、手書きテキスト画像１２のそれぞれに対して１回のみでよく、その後は順序化系列コンパレータ４０によって適切に再使用されて対象モデルの語あるいは句３８のそれぞれとの比較が行われる。対象モデルの語あるいは句の数が大量である場合には、これはワードスポッティング応用の場合にはしばしば起きることであるが、順序化系列コンパレータ４０の計算コストが大部分を占めることになる。
【００４０】
図１、３のワードスポットエンジン１０、１０'は、図２の手書きスタイルモデル化エンジン５２および図４の文書ラベル付けシステムと共に、さまざまな方法での実現が可能である。図示した実施形態においては、コンピュータＣが、これらのシステムの操作を実行するように、適切にプログラムされたデジタルプロセッサを含んでいる。また、インタネットベースのサーバシステム、パーソナルデータアシスタント（ＰＤＡ）あるいは自動書式受信システム等の、その他の適切にプログラムされたデジタルプロセッサ、あるいはそれを含むコントローラあるいはデバイスも利用することが可能である。これに加えて、あるいはこれに代わって、記憶媒体がそのようなプロセッサやコントローラで実行できる命令を適切に格納して、本開示の図１および３のワードスポッティングエンジン１０、１０'や、図２の手書きスタイルモデル化エンジン５２、図４の文書ラベル付けシステムの１つまたは複数を実行する。記憶媒体としては例えば、スタンドアローン部品の、ないしはコンピュータやその他のデジタルプロセッシングデバイスに組み込まれたハードディスクやその他の磁気記憶媒体、または、スタンドアローン部品の、ないしはコンピュータやその他のデジタルプロセッシングデバイスに組み込まれた光ディスクやその他の光記憶媒体、または、スタンドアローン部品ないしはコンピュータやその他のデジタルプロセッシングデバイスに組み込まれたフラッシュメモリやその他の静電気型記憶媒体、などがある。
【００４１】
汎用モデル３０を介して手書きに関する先験的な情報を使用する、本開示の手法の別の利点は、コンピュータで生成したフォントを利用して生成した参照用のサンプルテキスト画像を利用して、手書きテキスト画像にワードスポッティングを実行することが可能なことである。すなわち、これらの実施形態では手書きテキスト画像１２は手書きのままであるが、対象の語あるいは句の手書きサンプルの１つまたは複数の画像１４は、対象の語あるいは句をタイプした、あるいはコンピュータで生成したサンプルの１つまたは複数の画像で置き換えることができる。タイプされたテキストサンプルの利点は、タイポグラフィックフォントで表示することによって任意のクエリーストリングに対するクエリーをオンラインで自動生成できることである。しかし、この手法はこれまでは実際的ではなかった。それはタイプされたテキスト形状が概して手書きのものを表現できなかったからであり、タイプされたテキストの実質的な一様性が、手書き画像の実質的な可変性をうまく表現できなかったからである。
【００４２】
しかし、図１あるいは図３の類似性指標を利用すると、汎用基準３０に通常含まれていて、例えば図２に示す手書きスタイルデータベース５０を利用して訓練される、手書きに関する先験的情報によりこの不足を解消できる．従って、ＳＣ−ＨＭＭモデル化エンジン２６'が、タイプされたテキストあるいはコンピュータで生成されたフォントで印刷されたテキストとして表示された、対象の語あるいは句のサンプル画像を処理する場合、汎用ＧＭＭ基準３０の固定の、すなわち静的な平均パラメータμk及び分散パラメータΣｋが、対象の語あるいは句のタイプされた、あるいはコンピュータで生成されたサンプルのＳＣ−ＨＭＭモデルの中に手書きスタイルに関する先験的な情報を入れ込む。
【００４３】
図１に示された手書きサンプル１４の代わりにタイプされたあるいはコンピュータで生成されたテキストサンプルを使用する図１のシステムの能力を実証するために、図１の定量比較指標を使って実際に構築されたワードスポッティングシステムを、入力１４としてタイプされたあるいはコンピュータで生成されたテキストサンプルを用いて使用してみた。単一のコンピュータ生成フォントを用いて印刷されたサンプルを使用した場合、性能は良くないことがわかった。しかし、典型的な手書きとの類似性を有するさまざまなコンピュータ生成フォントを使って印刷されたサンプルを用いて入力１４を構成すると、大幅に改良された性能が得られた。
【００４４】
図５を参照すると、例えば、対象の語“Ｍａｄａｍｅ"が、手書きを模したデザインの１０種のコンピュータ生成フォントで印刷されている。図５の１０種のフォントは、（上から下へ、また左から右へ）Ｆｒｅｎｃｈ  Ｓｃｒｉｐｔ、Ｋｕｎｓｔｌｅｒ  Ｓｃｒｉｐｔ、  Ｐａｐｙｒｕｓ、  Ｌｕｃｉｄａ  ｈａｎｄｗｒｉｔｉｎｇ、  Ｒａｇｅ  Ｉｔａｌｉｃ、  Ｌｕｃｉｄａ  Ｃａｌｌｉｇｒａｐｈｙ、Ｈａｒｌｏｗ  Ｓｏｌｉｄ、  Ｆｒｅｅｓｔｙｌｅ  Ｓｃｒｉｐｔ、  Ｃｏｍｉｃ  Ｓａｎｓ、    Ｖｉｎｅｒ  Ｈａｎｄである。また、性能は特徴ベクトルの選択にも敏感であることがわかった。最もよい結果は局所勾配ヒストグラム（ＬＧＨ）の特徴を利用して得られた。これについては、Ｒｏｄｒｉｇｕｅｚ  ほかの  "Ｌｏｃａｌ  ｇｒａｄｉｅｎｔ  ｈｉｓｔｏｇｒａｍ  ｆｅａｔｕｒｅｓ  ｆｏｒ  ｗｏｒｄ  ｓｐｏｔｔｉｎｇ  ｉｎ  ｕｎｃｏｎｓｔｒａｉｎｅｄ  ｈａｎｄｗｒｉｔｔｅｎ  ｄｏｃｕｍｅｎｔｓ"，  ｉｎ  ２００８  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｆｒｏｎｔｉｅｒｓ  ｉｎ  Ｈａｎｄｗｒｉｔｉｎｇ  Ｒｅｃｏｇｎｉｔｉｏｎ  （ＩＣＦＨＲ  ２００８）を参照されたい。実験は、ＬＧＨ特徴と、図５に示した対象の語"Ｍａｄａｍｅ”用の訓練セットとを用いて行われ、（幅／アスペクト比などに基づく）刈り込みは行わず、図１の定量的比較指標を用いて行った。またＤＴＷ指標のみを用いても行った。図１の定量的比較指標を用いた性能は、ＤＴＷ指標のみを用いた場合に比べてはるかに優れていた。ある性能指標によれば２倍の改善であった。
【００４５】
いかなる特定の操作理論の制限を受けることなく、図１の定量的比較指標を用いた性能の大幅な改良は、汎用ＧＭＭ基準３０によって対象の語に入れ込まれ、多様な手書きサンプルを用いて訓練された、典型的な手書きの可変性に関する先験的情報によるものと考えられる。
【００４６】
例示の実施形態は、ここで例示の実施例として用いられたワードスポッティングに関するものである。しかし、開示した定量的比較指標は、一般的に、ベクトルの順序化系列により表すことのできるほとんど任意のタイプの対象に対する定量的比較に適用できる。対象は例えば、テキスト画像（例示の実施形態のような）とか、記録された音声や生体的序列、等であってもよい。
【００４７】
例えば、対象のタイプが音声のコンテンツである場合、特徴抽出エンジン１６は、適切には、例えば音声コンテンツに沿って時間的にスライドする窓を適用し、それぞれの時間窓内の音声コンテンツを表す特徴ベクトルを抽出することにより、順序化ベクトル系列を生成するように構成される。この音声認識応用においては、１つまたは複数の対象の語あるいは句のサンプル１４は、適切には、１人または複数の人によって話された対象の語あるいは句を録音した１つまたは複数のサンプルである。汎用基準３０は、手書きスタイルデータベース５０を、代表的な人数の人によって発声された広範な録音音声を含む音声スタイルデータベースで置き換えることにより適切に生成される。
【００４８】
別の適用例は画像コンテンツのスポッティングである。ここで特徴抽出エンジン１６は、例えば、グリッドやその他の選択パターンあるいは選択アルゴリズムに従ってキーとなるパッチ（つまり画像の小区分）を選択し、それぞれのキーパッチから特徴ベクトルを定義する画像特徴を抽出することによって、順序化ベクトル系列を生成するように適切に構成されている。この画像コンテンツスポッティング応用においては、１つまたは複数の対象の語あるいは句のサンプル１４は、適切には、対象の主題の１つまたは複数の画像である（例えば、対象の主題が"動物"であれば、サンプル画像は、適切には、猫、犬、ウサギ、等の画像である）。汎用基準３０は、適切には、手書きスタイルデータベース５０を、画像コンテンツスポッティングシステムによる処理が想定される広範な画像コンテンツを表す画像が含まれた、画像データベースで置き換えることにより生成される。
【符号の説明】
【００４９】
１０    ワードスポッティングエンジン
１０’  ワードスポッティングエンジン
１２    手書きテキスト画像
１４    対象の語あるいは句の１つまたは複数の手書きサンプルの画像
１６    特徴抽出エンジン
１６’  特徴抽出エンジン
１６”  特徴抽出エンジン
２２    特徴ベクトルの順序化系列
２４    １つまたは複数の参照用特徴ベクトルの順序化系列
２６    ＳＣ−ＨＭＭモデル化エンジン
２６’  ＳＣ−ＨＭＭモデル化エンジン
３０    汎用基準（汎用ＧＭＭ）
３２    ＳＣ−ＨＭＭ状態数
３６    重みパラメータの順序化系列
３８    対象モデルの語あるいは句
４０    順序化系列コンパレータ（動的時間伸縮法コンパレータ）
４２    定量的比較指標
５０    手書きスタイルデータベース
５２    手書きスタイルモデル化エンジン
６０    対象モデルの語あるいは句のデータベース
６２    光学スキャナ
６４    文書ページ画像分割プロセッサ
６６    フィルタ基準による画像除去用プレフィルタ
６８    語あるいは句の候補画像ルーピング処理
７４    文書ラベラ
７６    文書データベース
７０    対象ルーピング処理の語あるいは句
Ｃ      コンピュータ
【図１】
2010176672.tif 000011
【図２】
2010176672.tif 000012
【図３】
2010176672.tif 000013
【図４】
2010176672.tif 000014
【図５】
2010176672.tif 000015