(57)【要約】      （修正有）【課題】第１のクラスの文書と他のクラスの文書とを弁別する１つまたは複数の画像アンカテンプレートを生成するためのシステムを提供する。【解決手段】方法は、第１のクラスの１つまたは複数の手本のうちの少なくとも１つから１つまたは複数の画像アンカテンプレート候補を生成することと、コンピュータプロセッサ及び第１のクラスの１つまたは複数の手本内のデータフィールドの既知のロケーションを用いて上記１つまたは複数の画像アンカテンプレート候補毎に品質スコアを決定することと、品質スコアに従って、上記１つまたは複数の画像アンカテンプレート候補に等級を付けることと、最も高い等級の上記画像アンカテンプレートのうちの１つまたはそれ以上を選択することを含む。【選択図】図２
2011243200.tif 000002
【特許請求の範囲】
【請求項１】
第１のクラスの文書のデータフィールドからデータを抽出するための１つまたは複数の画像アンカテンプレートを生成する方法であって、
ａ）１つまたは複数のシード画像アンカテンプレート及び／または前記第１のクラスの１つまたは複数の手本のうちの少なくとも１つを用いて、１つまたは複数の画像アンカテンプレート候補を生成することと、
ｂ）コンピュータプロセッサ及び前記第１のクラスの前記１つまたは複数の手本内のデータフィールドの既知のロケーションを用いて、前記１つまたは複数の画像アンカテンプレート候補毎に品質スコアを決定することと、
ｃ）品質スコアに従って、前記１つまたは複数の画像アンカテンプレート候補に等級を付けることと、
ｄ）最も高い等級の前記画像アンカテンプレートのうちの１つまたはそれ以上を選択することを含む方法。
【請求項２】
前記第１のクラスの前記１つまたは複数の手本のページ境界に対する前記データフィールドの近似ロケーションを最も良く記述する方法を、最小二乗回帰を用いて決定することをさらに含む、請求項１に記載の方法。
【請求項３】
第１のクラスの文書のデータフィールドからデータを抽出するための１つまたは複数の画像アンカテンプレートを生成するシステムであって、
前記第１のクラスの１つまたは複数の手本のうちの少なくとも１つから１つまたは複数の画像アンカテンプレート候補を生成する生成器モジュールと、
コンピュータプロセッサ及び前記第１のクラスの前記１つまたは複数の手本内のデータフィールドの既知のロケーションを用いて、前記１つまたは複数の画像アンカテンプレート候補毎に品質スコアを決定するスコアリングモジュールと、
品質スコアに従って、前記１つまたは複数の画像アンカテンプレート候補に等級を付けるランキングモジュールと、
最も高い等級の前記画像アンカテンプレートのうちの１つまたはそれ以上を選択する選択モジュールとを備えるシステム。
【請求項４】
前記生成器モジュールは、グリッドサンプリング発生器、摂動生成器及び推移エクスプローラ生成器のうちの少なくとも１つを用いる、請求項３に記載のシステム。
【発明の詳細な説明】
【背景技術】
【０００１】
多数の文書を処理するに当たっては、文書からデータを迅速に抽出することが望ましい場合が多い。典型的なソリューションは、しばしばコンテンツをアンカリングするために画像アンカテンプレートを位置決めするテンプレートマッチング技術に依存する。必然的に、画像アンカテンプレートは、高度の信頼性及びロバスト性で局在化され得るように選ばれる。
【０００２】
画像アンカテンプレートの選定に際して、典型的なソリューションは、アンカリングポイントとして確実に行動できる画像アンカテンプレートをオペレータが手動で選択することに依存している。しかしながら、オペレータへのこの依存性は、画像アンカテンプレートを選択する困難さに起因して標準以下の画像アンカテンプレート及び／または時間及び資源の浪費に繋がる場合がある。
【発明の概要】
【課題を解決するための手段】
【０００３】
本出願の一態様によれば、第１のクラスの文書のデータフィールドからデータを抽出する１つまたは複数の画像アンカテンプレートを生成するための方法が提供される。
【０００４】
本出願の別の態様によれば、第１のクラスの文書と他のクラスの文書とを弁別する１つまたは複数の画像アンカテンプレートを生成するためのシステムが提供される。
【０００５】
本出願の別の態様によれば、第１のクラスの文書に属する文書のデータフィールドからデータを抽出するための方法が提供される。
【図面の簡単な説明】
【０００６】
【図１Ａ】テンプレートソースを示す。
【図１Ｂ】テンプレートソースを示す。
【図２】第１のクラスの文書のデータフィールドからデータを抽出する１つまたは複数の画像アンカテンプレートを生成するための方法を示す。
【図３】幾つかの異なる画像アンカテンプレート候補生成器を使用する画像アンカテンプレート候補の生成を示す。
【図４】ＲＯＣ曲線を示す。
【図５】図２の方法の一実施形態による画像アンカテンプレートの生成を示す。
【図６】図２の方法の一実施形態による画像アンカテンプレートの生成をグラフで示す。
【図７】図２の方法を使用する画像アンカテンプレート生成器を示す。
【図８】図７の画像アンカテンプレート生成器を有するデータ抽出システムの使用法を示す。
【発明を実施するための形態】
【０００７】
後に詳しく論じるシステム及び方法は、第１のクラスの文書のデータフィールドからデータを抽出するための１つまたは複数の画像アンカテンプレートの自動生成に関する。しかしながら、これらのシステム及び方法を詳しく論じる前に、表記法及び幾つかの基本的な構成ブロックについて論じることが有益である。
【０００８】
画像アンカテンプレートｔは、画像ｔ．ｉｍと、関心領域ｔ．ｒｏｉとを含む。テンプレートの画像ｔ．ｉｍはテンプレートソースＴのサブ画像Ｔａである。
ｔ．ｉｍ＝Ｔａ
ここで、ａはテンプレートソースＴのサブ領域を示す。サブ領域ａは、テンプレートソースＴの座標に関して指定され、かつ典型的には、サブ領域ａは軸平行の長方形領域になる。これに対して、関心領域ｔ．ｒｏｉは、ターゲット画像Ｉの座標に関して指定される。ターゲット画像Ｉは、画像アンカテンプレートｔに対してマッチングされる画像である。
【０００９】
所定の実施形態では、関心領域ｔ．ｒｏｉは、ターゲット画像Ｉの左上の角に対して指定される。他の実施形態では、関心領域ｔ．ｒｏｉは、ターゲット画像Ｉの境界に対して指定される。関心領域をターゲット画像の境界に対して指定するために、次の方程式を用いて関心領域のロケーションを指定することができる。
【数１】
2011243200.tif 000003
ターゲット画像Ｉの幅及び高さは各々、ｗ及びｈで表されている。α及びβは共にゼロから１までの範囲であり、ターゲット画像Ｉ内の正規化された位置を表す。例えば、α＝１及びβ＝１はターゲット画像Ｉの右下の角をもたらす。同様に、α＝０．５及びβ＝０．５はターゲット画像Ｉの中心をもたらす。正規化された位置からの偏りは、ｘ０及びｙ０で表される。
【００１０】
図１Ａ及び図１Ｂを参照すると、テンプレートソース１００が示されている。テンプレートソース１００は、図示されているように未記入の書式であり、画像アンカテンプレート１０２を含んでいる。画像アンカテンプレートは、関心領域１０４と画像１０６とで構成される。
【００１１】
テンプレートアンカリング関数Ａ（ｔ，Ｉ）は画像アンカテンプレートｔ及びターゲット画像Ｉを取り込み、ターゲット画像Ｉ内でテンプレート画像ｔ．ｉｍに最もよく類似するものを発見するためにテンプレート画像ｔ．ｉｍの有効変換セットを探索する。有効変換はテンプレート関心領域ｔ．ｒｏｉに限定され、かつテンプレート画像ｔ．ｉｍの平行移動、テンプレート画像ｔ．ｉｍの回転、ｔ．ｉｍのスケーリング及びｔ．ｉｍのアフィン変換のうちの少なくとも１つを含んでもよい。しかしながら、テンプレート画像ｔ．ｉｍの他の変換も等しく適する。
【００１２】
ターゲット画像Ｉ内のよく類似するものを位置決めした後、テンプレートアンカリング関数は概して、一致スコアＡ（ｔ，Ｉ）．ｓｃｏｒｅ及び一致ロケーションＡ（ｔ，Ｉ）．ｘを含む一致結果を返す。所定の実施形態では、テンプレートアンカリング関数はターゲット画像Ｉの最良一致及び／または最良一致のサブ画像に対応する有効変換も返してもよい。
【００１３】
一致スコアＡ（ｔ，Ｉ）．ｓｃｏｒｅは［０，１］の範囲内のスコアである。但し、ゼロは一致なし、を示し、１は完全一致を示す。完全一致は、ターゲット画像Ｉの何らかのサブ領域が有効変換下でテンプレート画像ｔ．ｉｍに精確にピクセル単位で一致する場合にのみ存在する。さらに、画像アンカテンプレートｔが複数のロケーションに一致すれば、スコアは一致の数と共に増大する係数で割り引かれる。従って、テンプレートアンカリング関数Ａ（ｔ，Ｉ）．ｓｃｏｒｅによって返されるスコアは、典型的には発見された最良一致の「優良度」を表すスコアであるが、この限りではない。
【００１４】
一致ロケーションｍ（ｔ，Ｉ）．ｘは、データフィールドの見込みのあるロケーションに対応するターゲット画像内のロケーションである。ターゲットデータフィールドのロケーションに関する決定は、画像アンカテンプレートに対するデータフィールドの既知のロケーションを用いて行われる。
【００１５】
テンプレートアンカリング関数は上述の制限を受ける任意のものが使用されてもよいが、所定の実施形態では、テンプレートアンカリング関数は、種々の正規化を行った、または行わない基本的な相関測度、確率的尤度または尤度比（文書画像復号化のためのマルチレベルテンプレート等）、ハウスドルフ距離及び局所的測定ヒストグラム（アースムーバーズ距離等）を基礎とする比較のうちの少なくとも１つを基礎としている。
【００１６】
２値文書を取り扱う場合は、ハウスドルフ距離を基礎とするテンプレートアンカリング関数が特に興味深いが、これは、このテンプレートアンカリング関数が２値画像の取扱いにおいて高速かつ効率的であることが知られているためである。２画像（例えば、テンプレート画像及びターゲット画像のサブ画像）間のハウスドルフ距離は、最良一致シナリオを得るためにテンプレートが最も好適な有効変換によって変換された後の対応する２つのフォアグラウンドの点間の最大距離として定義される。
【００１７】
複合画像アンカテンプレートＣは、画像アンカテンプレート（ｔ１，ｔ２，．．．，ｔｋ）の集合体である。先に述べたテンプレートアンカリング関数と同様に、複合テンプレートアンカリング関数Ａ（Ｃ，Ｉ）も予測局在及び［０，１］の範囲内のスコアを返す。但し、このスコアはマッチングの「優良度」を表す。しかしながら、先に述べたテンプレートアンカリング関数とは対照的に、複合テンプレートマッチング関数は画像アンカテンプレートの各々がターゲット画像Ｉとどのようにマッチングするか、及び画像アンカテンプレートの各々のロケーション予測について考慮する。
【００１８】
典型的な複合テンプレートアンカリング関数は、個々のテンプレートアンカリング関数に渡る関数を画定することによって得られる。
【数２】
2011243200.tif 000004
所定の実施形態では、複合テンプレートマッチング関数は、一致スコアと、最も高いスコアの画像アンカテンプレートの一致ロケーションとを返す。他の実施形態では、複合テンプレートマッチング関数は、画像アンカテンプレートの一致スコアの平均と、個々の一致スコアで重み付けされた画像アンカテンプレートの一致ロケーションの平均とを返す。
【００１９】
図２を参照すると、第１のクラスの文書のデータフィールドからデータを抽出するための１つまたは複数の画像アンカテンプレートを生成する方法２００が示されている。方法２００は、画像アンカテンプレート候補を生成すること（アクション２０２）と、品質スコアを決定すること（アクション２０４）と、画像アンカテンプレート候補に等級を付けること（アクション２０６）と、最も高い等級の画像アンカテンプレートのうちの１つまたはそれ以上を選択すること（アクション２０８）を含む。所定の実施形態では、方法２００はさらに、１つまたは複数の手本のページ境界に対するデータフィールドの近似ロケーションを最も良く記述する方法を決定すること（アクション２１０）と、及び／または終了条件が満たされるまでアクション２０２から２０８までを反復すること（アクション２１２）を含む。
【００２０】
本方法は、任意選択として、第１のクラスの１つまたは複数の手本のページ境界に対するデータフィールドの近似ロケーションを最も良く記述する方法を、最小二乗分析を用いて決定すること（アクション２１０）によって開始されてもよい。手本画像は、方法２００をトレーニングするために使用される、あるクラス（例えば、第１のクラス）からの文書例の画像である。データフィールドの近似ロケーションを最も良く記述する方法の選択に際しては、（二乗）空間誤差が最低になるような座標枠が選ばれる。
【００２１】
ページ境界に対するデータフィールドの近似ロケーションを最も良く記述する方法を決定するために、最小二乗分析を用いて下記の方程式の最良解が決定される。
【数３】
2011243200.tif 000005
ここで、ｘｕｋ及びｙｕｋはｋ番目の手本内のデータフィールドの既知のロケーションに相当する。さらに、ｗｋ及びｈｋは、ｋ番目の手本の既知のページ幅及び高さに相当する。
【００２２】
最小二乗回帰を用いて変数α，β，ｘ０，ｙ０の値を求める場合、変数α，β，ｘ０，ｙ０を次のように推定することができる。
【数４】
2011243200.tif 000006
ここで、ｎはラベリングされたデータフィールドを有する手本の数に相当する。さらに、ｎ，ｘｕｋ，ｙｕｋ，ｗｋ，ｈｋは既知であり、よってα，β，ｘ０，ｙ０の決定は単に「数字を当てはめる」だけの問題である。
【００２３】
α，β，ｘ０，ｙ０が決定されると、最低の（二乗）空間誤差をもたらす座標枠が知られ、これにより、ページ境界を基礎として各手本のデータフィールドの近似ロケーションが知られる。効果的には、これは、画像アンカテンプレートの探索空間を近似ロケーションに近接する手本領域まで狭めることを可能にする。近似ロケーションに近接するこれらの領域のサイズ及び変位は、近傍範囲によって与えられる。所定の実施形態では、近傍範囲は単に、近似ロケーションを中心として全方向へ予め画定されたピクセル数だけ広がる領域である。さらに、所定の実施形態では、近似ロケーションに近接するこれらの領域は、画像アンカテンプレートの生成に使用される画像候補のコレクションを画定する手本から抽出される。他の実施形態では、これらの領域のロケーションは単に、画像アンカテンプレート候補の生成の間に使用される場合があるだけであり、よって画像候補を抽出する必要がなくなる。
【００２４】
これまでに述べたことを基礎とすれば、手本のページ境界に対してデータフィールドの近似ロケーションは既知であることから、上記手本と同じクラスに属する他の文書内のデータフィールドの近似ロケーションはおおまかに知られることになる。必然的に、近似ロケーションは、本明細書における生成された画像アンカテンプレートに関して関心領域を限定するために使用されることが可能である。所定の実施形態では、関心領域の幅及び高さは、各々ｘ及びｙ誤差の先に論じた最小二乗分析からの標準偏差の定倍数に設定される。
【００２５】
データフィールドの近似ロケーションが決定されたか（アクション２１０）どうかに関わらず、次には、画像アンカテンプレート候補生成器を用いて画像アンカテンプレート候補が生成される（アクション２０２）。画像アンカテンプレート候補生成器は、入力として画像または画像アンカテンプレート、及び実施形態によっては、第１のクラスの手本文書画像、他のクラスの手本文書及び探索抑制のうちの少なくとも１つを取り込む。探索抑制は、画像アンカテンプレート候補に関して探索される入力画像の領域を限定する。所定の実施形態では、入力画像は、第１のクラスの手本文書画像及びアクション２１０からの画像候補の少なくとも一方である。所定の実施形態では、アクション２１０において決定されるデータフィールドの近似ロケーションに近接する領域のロケーションは、探索抑制として提供される。
【００２６】
この入力を基礎として、画像アンカテンプレート候補生成器は画像アンカテンプレート候補を生成する。所定の実施形態では、画像アンカテンプレート候補を生成することは、必然的に、入力画像からサブ領域を抽出すること、及び／または入力画像または入力された画像アンカテンプレートに対して任意数の有効変換を実行することを伴う。有効変換には、平行移動、回転、アフィン変換、他が含まれるが、この限りではない。データフィールドの近似ロケーションが決定される（アクション２１０）実施形態の下では、画像アンカテンプレート候補を抽出できる領域がこれらの領域に限定されてもよい。画像アンカテンプレート候補生成器の例には、粗グリッドサンプリング生成器、シードコレクション生成器及び推移エクスプローラ生成器が含まれる。
【００２７】
粗グリッドサンプリング生成器は入力画像を取り込み、入力画像から画像アンカテンプレートの粗いサンプリングを生成する。所定の実施形態では、そのピクセルがほぼ全て白またはほぼ全て黒である画像アンカテンプレートは放棄されるが、これは、これらが元来低い弁別力を有するものと理解されているためである。粗グリッドサンプリング生成器により生成される画像アンカテンプレート候補の数を制御するために、入力画像から抽出されるべき画像アンカテンプレートのサイズは変えられることが可能である。
【００２８】
図３ａを参照すると、粗グリッドサンプリング生成器３０２を用いる画像アンカテンプレート候補の生成が示されている。図から分かるように、粗グリッドサンプリング生成器３０２は入力として画像３０４を受信し、画像アンカテンプレート候補３０６を出力する。
【００２９】
シードコレクション生成器（摂動生成器とも称される）は入力として画像アンカテンプレートを取り込み、入力された画像アンカテンプレートに対して有効変換を実行することにより新しい画像アンカテンプレートを生成する。有効変換には、平行移動、回転、アフィン変換、他が含まれる。従って、シードコレクション生成器は、入力された画像アンカテンプレートの僅かな変動を探ることによって画像アンカテンプレートを生成する。所定の実施形態では、シードコレクション生成器は、入力された画像アンカテンプレートの関心領域の変動を探ってもよい。
【００３０】
図３ｂを参照すると、シードコレクション生成器３０８を用いる画像アンカテンプレート候補の生成が示されている。図から分かるように、シードコレクション生成器３０８は入力として画像アンカテンプレート３１０を受信し、画像アンカテンプレート候補３１２を出力する。
【００３１】
推移エクスプローラ生成器はシードコレクション生成器の特別な一種であり、入力として画像アンカテンプレート及び手本を取り込んで画像アンカテンプレートを手本にマッチングさせる。この場合、手本内に一致を作り出すことによって新しい画像アンカテンプレートが構築される。所定の実施形態では、推移エクスプローラ生成器もまた、シードコレクション生成器と同様に、入力された画像アンカテンプレート上で有効変換を探る。さらに、所定の実施形態では、推移エクスプローラ生成器は、手本内の全ての一致を結合することによって画像アンカテンプレートを生成する。これらの実施形態の中には、これが、全ての一致するロケーションが互いの上にオーバーレイされる際に最も一致したピクセルを識別することによって決定されるものがある。
【００３２】
図３ｃを参照すると、推移エクスプローラ生成器３１４を用いる画像アンカテンプレート候補の生成が示されている。図から分かるように、推移エクスプローラ生成器３１４は入力として画像アンカテンプレート３１６及び手本３１８を受信する。この入力を受信した後、推移エクスプローラ生成器は画像アンカテンプレート候補３２０を出力する。
【００３３】
列挙された画像アンカテンプレート生成器に関わらず、他の種類の画像アンカテンプレート生成器も等しく適する。さらに、画像アンカテンプレート生成器は、新しい複合生成器を取得するために様々な構成でネスト化されることも可能である。例えば、粗グリッドサンプリング生成器により生成される画像アンカテンプレートはシードコレクション生成器及び／または推移エクスプローラ生成器への入力として使用される。
【００３４】
図２を再度参照すると、画像アンカテンプレート候補がどのようにして生成されるか（アクション２０２）に関わらず、品質スコアは、テンプレートスコアリング関数を用いて画像アンカテンプレート候補毎に決定される（アクション２０４）。画像アンカテンプレートの品質スコアは、その一貫性、弁別可能性及びアンカリングの測度である。一貫性は、データフィールドが存在する場合に一貫して高いスコアを返す画像アンカテンプレートの能力を指す。弁別可能性は、データフィールドが存在しない場合に一貫して低いスコアを返す画像アンカテンプレートの能力を指す。アンカリングは、データフィールドのロケーションを高信頼度で予測する画像アンカテンプレートの能力を指す。
【００３５】
品質スコアの決定を容易にするために、テンプレートスコアリング関数は、概して、第１のクラスの１つまたは複数の手本（即ち、陽性手本）を入力として取り込む。但し、これらの手本はラベリングされたデータフィールドを有する。方法２００のオペレータは、例えば、各手本内でデータフィールドに手動でラベリングしてもよい。所定の実施形態では、テンプレートスコアリング関数はさらに、他のクラスの手本（即ち、陰性手本）を入力として取り込んでもよい。手本は、本方法が、局在化に関する画像アンカテンプレートの適切性を経験的に決定することを可能にする。
【００３６】
手本を入力として用いることにより、品質スコアは、固有の画像アンカテンプレート特性及び／または手本のサンプルコレクションに対する画像アンカテンプレート応答を使用して決定されてもよいが、必ずしもそうでなくてもよい。画像アンカテンプレート応答は、例えば、品質の監視された経験的推定、品質の監視されない経験的推定、品質の経験的片側推定及びテンプレートアンカリング品質の経験的片側推定を含んでもよい。画像アンカテンプレートの品質スコアは、その一貫性、弁別可能性及びアンカリングの測度であることから、所定の実施形態では、テンプレートアンカリング品質の経験的片側推定を用いるテンプレートスコアリング関数は、品質の監視された経験的推定及び／または品質の監視されない経験的推定を用いるテンプレートスコアリング関数と共に使用される。
【００３７】
固有のテンプレート特性を用いるテンプレートスコアリング関数は、略既知の局在力と相関するテンプレートの特性を探す。例えば、テンプレートソースの全て白または全て黒の領域が有益な画像アンカテンプレートを産出するようには思われない。他の例には、元来良質のアンカとして行動する可能性は低いと理解されている連続性の暗い、または白いパッチ、中間色調のパターン及び直線のセグメント、及び元来良質のアンカとして行動する可能性は高いと理解されている角及び大部分の文字形が含まれる。
【００３８】
品質の監視された経験的推定を用いるテンプレートスコアリング関数は、少なくとも１つの画像アンカテンプレート、陽性の手本画像及び陰性手本を入力として取り込む。これは次に、手本に対する画像アンカテンプレート応答に注目し、画像アンカテンプレートの弁別可能性に相当する数値スコアを返す。即ち、画像アンカテンプレートｔ及びマッチング関数ｍ（ｔ，Ｉ）について、全ての手本（陽性及び陰性）の一致スコアが生成され、かつテンプレート検出関数ｄ（ｔ，Ｉ）における受容しきい値ｑを変えて受信者動作特性（ＲＯＣ）曲線を生成するために使用される。
【００３９】
ＲＯＣ曲線は、受容しきい値ｑの変更に伴う誤警報率（即ち、偽陽性率）に対するヒット率（即ち、真陽性率）をプロットすることによって得られる。所定の受容しきい値ｑに対するヒット率は、単に、テンプレート検出関数ｄ（ｔ，Ｉ）が手本を正しく分類する率である。陽性及び陰性手本の集合は既知であることから、テンプレート検出関数ｄ（ｔ，Ｉ）の検証は容易に達成される。同様にして、誤警報率も容易に得られる。図４を参照して、ＲＯＣ曲線を例示する。
【００４０】
ＲＯＣ曲線が生成されると、画像アンカテンプレートの品質スコアｓを次のように計算することができる。
【数５】
2011243200.tif 000007
ａｒｅａＲＯＣ（ｔ，ｍ，α）は、単にＲＯＣ曲線から下の面積（即ち、図４の斜線領域）であり、ｍａｒｇｉｎ（ｔ，ｍ）は陽性手本の最小一致スコアと陰性手本の最大一致スコアとの差である。さらに、ｂｅｓｔＲＯＣ（ｔ，ｍ，α）は、
【数６】
2011243200.tif 000008
と定義される。但し、ｈｉｔＲａｔｅ（ｑ）及びｆａｌｓｅＡｌａｒｍＲａｔｅ（ｑ）は実質的に先に述べた通りのものであり、αは誤警報のペナルティである。αが高いほど、誤警報のペナルティは大きくなる。
【００４１】
品質の監視されない経験的推定を用いるテンプレートスコアリング関数は、手本のサンプルコレクションに対する画像アンカテンプレート応答に注目する。品質の監視された経験的推定と同様に、このテンプレートスコアリング関数は、画像アンカテンプレートの弁別可能性に相当する数値スコアを返す。この品質推定は、複数のターゲットカテゴリが存在し、かつ手本コレクションのカテゴリラベルは既知であるが、カテゴリをどのように分割するかに関する決定は行われていない状況を標的とする。このような事例では、テンプレートの品質スコアは、マッチング／検出結果と画像カテゴリラベルとの間の相互的情報である。
【００４２】
品質の経験的片側推定を用いるテンプレートスコアリング関数は、陽性手本のみのサンプルコレクションに対する画像アンカテンプレート応答に注目し、画像アンカテンプレートの一貫性に相当する数値スコアを返す。これは、陽性手本及び陰性手本の双方を考慮する品質の監視された経験的推定及び監視されない経験的推定とは対照的である。片側計量のある定義は、下記の通りである。
【数７】
2011243200.tif 000009
右辺の各確率は、ベイズ規則を用いて、下記の公式から始まる等しい先験的確率によって計算されることが可能である。
【数８】
2011243200.tif 000010
当然認識されるように、変数λはトレーニングされることが可能である。しかしながら、スペースに配慮して、所定の実施形態ではλｐｏｓ及びλｎｅｇは１に設定され、よって陰性カテゴリにはより平らな分布が与えられる。
【００４３】
テンプレートアンカリング品質の経験的片側推定を用いるテンプレートスコアリング関数は、陽性手本のみのサンプルコレクションに対する画像アンカテンプレート応答に注目する。これは、一貫性とアンカリングケイパビリティとを結合して、画像アンカテンプレート候補の等級付け、または除去を可能にする基礎となる単一の数値スコアにする。しかしながら、これが弁別可能性を考慮しないことは認識されるべきである。
【００４４】
下付き文字ｋを、第１のクラスの文書から抽出されるべきロケーションの異なる陽性例を表す指標変数とする。但し、ｕｋ（Ｉｋ）はｋ番目の例における既知のロケーションである。さらに、画像アンカテンプレートｔに関して、ｘｋは予測ロケーションを示すものとし、かつｓｋは相当する信頼スコアであるものとする。
【数９】
2011243200.tif 000011
一般性を失うことなく、（ｘｋ，ｓｋ）がｓの減少順（最も信頼度の高い予測が最初）にソートされるものと仮定すれば、テンプレートアンカリング品質の片側推定は、下記のように定義することができる。
【数１０】
2011243200.tif 000012
【００４５】
以上、幾つかのテンプレートスコアリング関数について記述したが、他のテンプレートスコアリング関数も等しく適することは認識されるべきである。例えば、複合テンプレートスコアリング関数が使用されてもよい。さらに、先に論じたテンプレートスコアリング関数は単一の画像アンカテンプレートに関して定義されたが、テンプレートスコアリング関数は複合テンプレートに使用されてもよい。
【００４６】
画像アンカスコア候補の品質スコアが生成されると（アクション２０４）、画像アンカテンプレート候補にはこれらの品質スコアに従って等級が付けられ（アクション２０６）、最も高い等級の画像アンカテンプレート候補のうちの１つまたはそれ以上が選択される（アクション２０８）。オペレータは、画像アンカテンプレート候補の数を手動で設定してもよい。
【００４７】
所定の実施形態では、この時点で方法２００は完了する。このような実施形態では、選択された画像アンカテンプレートは、データ抽出のために見出された最良の画像アンカテンプレートである。しかしながら、他の実施形態では、方法２００は続く場合がある。即ち、先に述べたように、画像アンカテンプレートが選択された後、後に述べる条件に従って、方法２００は、終了条件が満たされるまでアクション２０２から２０８までを任意選択として反復してもよい（アクション２１２）。これらの実施形態の下では、反復は、反復毎に変わってもよい。例えば、画像アンカテンプレート関数及び／またはテンプレートスコアリング関数は変わってもよい。
【００４８】
終了条件に関連して、所定の実施形態では、終了条件は経過した実行時間であり、及び／または予め画定された反復数で実行される。他の実施形態では、終了条件は、選択された画像アンカテンプレートが第１のクラスの全手本をカバーしているかどうかである。言い替えれば、選択された画像アンカテンプレートが第１のクラスの全手本におけるデータフィールドのロケーションを正しく決定することができるかどうかである。
【００４９】
後者の終了条件の下では、選択された画像アンカテンプレートによってカバーされていない第１のクラスの手本が存在すれば、これらの手本は次の反復において画像アンカテンプレートを生成するために使用されてもよい。さらに、もしくは代替として、カバーされていない手本から導出される画像アンカテンプレートは、シードコレクション生成器及び／または推移エクスプローラ生成器への入力として使用されてもよく、これにより、これらの画像アンカテンプレートはシード画像アンカテンプレートとして作用する。上述の例示的な終了条件に関わらず、他の終了条件も等しく適し、かつ終了条件が個々の終了条件の複合体であってもよいことは認識されるべきである。
【００５０】
反復に関して、アクション２０２から２０８までは、実質的に先に述べたようにして反復される。しかしながら、これについての１つの顕著な例外は、新しい画像アンカテンプレート候補が先に選択された画像アンカテンプレートと共に等級付けされることである。さらに、先に示唆したように、先の反復からの最も高い等級の画像アンカテンプレート候補のうちの１つまたはそれ以上は、アクション２０２において新しい画像アンカテンプレート候補を生成するための入力として使用されてもよい。
【００５１】
例示として、本方法の反復例を次に示す。粗グリッドサンプリング生成器を用いて、第１のカテゴリの手本から画像アンカテンプレート候補の初期集合が生成される。次に、これらの画像アンカテンプレート候補の品質スコアが決定され、かつ画像アンカテンプレート候補に等級が付けられる。この等級付けから、上位２００個の画像アンカテンプレートが選択される。終了条件が満たされていない（例えば、経過時間が経過していない）ものとすれば、選択された画像アンカテンプレートは、シードコレクション生成器及び／または推移エクスプローラ生成器によって追加の画像アンカテンプレートを生成するために使用される。次に、これらの新たに生成された画像アンカテンプレートには品質スコアが生成され、かつ新たに生成された画像アンカテンプレートは先に選択された画像アンカテンプレートと共に等級を付けられる。この等級付けから、上位２００個の画像アンカテンプレートが選択される。終了条件が満たされているものとすれば、これらの上位２００個の画像アンカテンプレートは本方法の最終結果を表す。
【００５２】
上述の方法２００のパフォーマンスを向上させるために、幾つかのオプションが利用可能である。例としては、グリッドサンプリング発生器の粗さを調整すること、２倍でサブサンプリングされた画像に取り組むこと、陰性手本に照らして検査される最大数の画像アンカテンプレートをキャッピングすること、画像アンカテンプレートの探索領域を縮小すること、検査される手本（陽性及び／または陰性）の数を減らすこと、マッチング関数（例えば、ハウスドルフマッチング）の変数を変えること、が含まれる。
【００５３】
画像アンカテンプレートの探索領域の縮小に関連して、少なくとも２つの方法論は、固有のテンプレート特性を基礎とする方法及びヒストグラムベースの方法を含む。元来、第１のクラスの手本から、有益な画像アンカテンプレートを産出する可能性があるのは手本の所定のエリアのみであることは明らかであると思われる。従って、画像アンカテンプレートの探索は、例えば画像アンカテンプレートの探索を手本の上半分及び／または下半分に限定することによって限定されることが可能である。さらに、もしくは代替として、画像アンカテンプレートの探索領域を限定するためのより高度な方法は、ヒストグラムベースのアプローチを使用することである。
【００５４】
ヒストグラムベースのアプローチによれば、１つのターゲット画像上で最初の数百個のテンプレート一致を調べた後は、他のテンプレート一致が発見される変位の可能性を推測するに足る手掛かりが存在している。例えば、陽性手本画像に一致させる数千個もの画像アンカテンプレートが存在するものとする。まず、変位の可能性のある大スペースで画像アンカテンプレートの一致を探索し、かつ一致が発見されている変位に渡ってヒストグラムを連続してポピュレートすれば、幾つか（例えば、１００個）の一致の後に、それまでの一致の９５％以上を含む最小の外接矩形を識別することができる。次に、残りのテンプレートは、相対変位のこのより密な矩形内でのみマッチングされることが可能である。
【００５５】
どの最適化が使用されるかに関わらず、方法２００が完了すると、画像アンカテンプレートを文書に一致させてデータフィールドのロケーションを決定することにより文書からデータを抽出するために、画像アンカテンプレートを容易に使用することができる。即ち、文書のデータフィールドからデータを抽出するために、画像アンカテンプレートは全て文書に適用され、データフィールドのロケーション予測が全て酷似していれば、データフィールドは発見され、データが抽出される。データ抽出以外の使用法には、文書の変更、新しい文書の生成、何らかの処理のトリガまたはごく単純に文書の分類が含まれるが、この限りではない。
【００５６】
これまでの記述に鑑みれば、方法２００が個々の画像アンカテンプレートの代わりに複合画像アンカテンプレートを使用してもよいことは認識されるべきである。さらに、オペレータによる入力は、これまでに述べたどのアクションにおいても、その行動を制御するために受信されてもよい。
【００５７】
図５を参照すると、図２の方法の特有の実施形態による画像アンカテンプレートの生成が示されている。まず、ラベリングされたデータフィールドを有する手本５０２を使用して、ページ境界に対するデータフィールドのロケーションが推定（または近似）される５０４（図２のアクション２１０参照）。図２の方法のオペレータは、手本５０２のデータフィールドに手動でラベリングしてもよい。この後、推定されたデータフィールドのロケーションに近接する手本５０２の部分を使用して、画像候補５０６が生成される。画像候補５０６は、推定されたロケーションの近傍５０８内の手本のサブ領域を指す。
【００５８】
これらの画像候補５０６及び推定されたデータフィールドロケーションから、画像アンカテンプレート候補５１０が生成される。即ち、画像候補５０６のサブ領域が作り出され、かつ画像アンカテンプレート候補５１０のテンプレート画像を生成するために使用される。さらに、データフィールドの推定されたロケーションを用いて画像アンカテンプレート５１０の関心領域が生成される５１２。例えば、関心領域の幅及び高さは、各々ｘ及びｙ誤差の最小二乗回帰からの標準偏差の定倍数に設定される。所定の実施形態では、粗グリッドサンプリング生成器が使用される。
【００５９】
画像アンカテンプレート候補が生成されると、手本５０２を要する品質の経験的片側推定を用いて画像アンカテンプレート候補に等級が付けられる５１４。この後、予め画定された数の最も高い等級の画像アンカテンプレートが選択され５１６、推移エクスプローラ生成器を用いて拡張される５１８。画像アンカテンプレートのこの拡張された集合は、選択された画像アンカテンプレート及び推移エクスプローラ生成器によって生成された画像アンカテンプレートを含む。次に、画像アンカテンプレートのこの拡張された集合には品質の経験的片側推定を用いて等級が付けられ５２０、予め画定された数の最も高い等級の画像アンカテンプレートが選択される５２２。この場合、これらの画像アンカテンプレートは、生成された最良の画像アンカテンプレート５２４に相当する。
【００６０】
当然認識されるように、図５は、図２の方法２００の反復変形例として特徴づけられることが可能である。即ち、先に述べた拡張は、先の反復から選択された画像アンカテンプレートを用いる画像アンカテンプレートの生成として特徴づけられることが可能であり、よって、選択された画像アンカテンプレートは推移エクスプローラ生成器のシードとして作用する。
【００６１】
図６を参照すると、図２の方法２００が図示されている。即ち、図６ａは、ボックス６０６でラベリングされたデータフィールド６０４を有する手本６０２を示している。先に述べたように、これは、方法２００のオペレータによって実行される場合が多い。図６ｂは、図２の方法２００に従って生成された２つの画像アンカテンプレート６０８を示している。但し、画像アンカテンプレート６０８は、データ抽出用の２文書６１０にマッチングされている。図から分かるように、各画像アンカテンプレート６０８は関心領域６１２と、テンプレート画像６１４とを含む。さらに、各画像アンカテンプレート６０８は、始点としてデータフィールド６０２の左上の角を丸印６１６において予測する。図示されていないが、他の実施形態では、画像アンカテンプレートは、データフィールドの異なる角を考慮するように準備されることも可能である。
【００６２】
図７を参照すると、図２の方法を用いる画像アンカテンプレート（ＩＡＴ）生成器７００が示されている。コンピュータ７０２または、記憶装置と、マイクロプロセッサ、マイクロコントローラ、グラフィック処理装置（ＧＰＵ）、他等のデジタルプロセッサとを含む他のデジタル処理デバイスは、ＩＡＴ生成器７００を適切に具現する。他の実施形態では、ＩＡＴ生成器７００は、デジタルプロセッサを含みかつデジタルデータ記憶装置を含む、またはデジタルデータ記憶装置へのアクセスを有するサーバによって具現され、このようなサーバは、インターネットまたはローカルエリアネットワークを介して、またはデジタルプロセッサ及びデジタルデータ記憶装置を含むパーソナルデータアシスタント（ＰＤＡ）、等々によって適切にアクセスされている。
【００６３】
コンピュータまたは他のデジタル処理デバイスは、適切には、ＩＡＴ生成器７００を制御するために、ユーザ入力を受信するための図示されているキーボード７０４等の１つまたは複数のユーザ入力デバイスを含むかこれらと動作可能式に接続され、かつさらに、ＩＡＴ生成器７００の出力を基礎として生成された出力を表示するために、図示されているディスプレイ７０６等の１つまたは複数のディスプレイデバイスを含むか、これらと動作可能式に接続される。他の実施形態では、ＩＡＴ生成器７００を制御するための入力は、コンピュータ７０２上でＩＡＴ生成器７００に先行して、またはＩＡＴ生成器７００と同時的に実行される別のプログラムから、またはネットワーク接続、等々から受信される。同様に、他の実施形態では、出力は、コンピュータ上でＩＡＴ生成器７００に続いて、またはＩＡＴ生成器７００と同時的に実行される別のプログラムへの入力として働いてもよく、またはネットワーク接続、等々を介して送信されてもよい。
【００６４】
ＩＡＴ生成器７００は、生成器モジュール７０８と、テンプレートスコアリングモジュール７１０と、ランキングモジュール７１２と、選択モジュール７１４とを含む。システムがページ境界に対するロケーションの記述をサポートする所定の実施形態では、システムはさらに境界モジュール７１６を含む。システムが図２の方法の反復変形例をサポートする他の実施形態では、システムはさらに終了モジュール７１８を含む。
【００６５】
先に述べたように、ＩＡＴ生成器７００は境界モジュール７１６を含み、よって、ＩＡＴ生成器７００はページ境界に対するロケーションの記述をサポートする。このような実施形態では、境界モジュール７１６は、ラベリングされたデータフィールドを有する手本を外部ソースから受信し、手本のページ境界に対するデータフィールドの近似ロケーションを最も良く記述する方法を決定する。先に述べたように、これは最小二乗分析を用いて達成される。外部ソースは、例えばＩＡＴ生成器７００のオペレータであってもよく、この場合、オペレータには、手本のデータフィールドのロケーションを識別できるようにするユーザインタフェースがディスプレイ７０６上に提示される。この近似ロケーションは次に、画像アンカテンプレートの生成を近似ロケーションに近接する手本領域に限定し及び／または画像アンカテンプレート候補に関する関心領域を近似ロケーションに近接する領域に限定するために使用される。生成器モジュール７１６は、好適には、図２のアクション２１０に関して述べたようにデータフィールドの近似ロケーションを決定する。
【００６６】
生成器モジュール７０８は、画像または画像アンカテンプレートを入力として受信し、これから画像アンカテンプレート候補を生成する。所定の実施形態では、生成器モジュール７０８は、入力をＩＡＴ生成器７００より外部のソースから受信する。ソースは、例えば、データベース、別のプログラム、オペレータ、他であってもよい。このような実施形態の下では、生成器モジュール７０８は、概して第１のクラスの１つまたは複数の手本を受信し、これらは粗グリッドサンプリング生成器によって画像アンカテンプレートを生成するために使用される。他の実施形態では、生成器モジュール７０８は入力を終了モジュール７１６から受信する。このような実施形態の下では、生成器モジュール７０８は、概して１つまたは複数の画像アンカテンプレートを受信し、これらはシードコレクション生成器及び／または推移エクスプローラ生成器によって使用される。他の実施形態では、生成器モジュール７０８は手本の一部を境界モジュール７１６から受信する。但し、これらの部分は、近似ロケーションの近傍内における手本の一部である。このような実施形態では、生成器モジュール７０８はさらに、画像アンカテンプレートに関する関心領域を限定するためにデータフィールドの近似ロケーションを使用してもよい。生成器モジュール７０８は、好適には、図２のアクション２０２に関して述べたように画像アンカテンプレート候補を生成する。
【００６７】
テンプレートスコアリングモジュール７１０は、生成器モジュール７０８から画像アンカテンプレート候補を受信し、これらの画像アンカテンプレート候補の各々について品質スコアを決定する。所定の実施形態では、テンプレートスコアリングモジュール７１０はさらに、ＩＡＴ生成器７００より外部のソース及び／または生成器モジュール７０８から、第１のクラスの手本及び／または他のクラスの手本を受信する。実施形態によっては、テンプレートスコアリングモジュール７１０によって受信される陽性手本はラベリングされたデータフィールドを有する。生成器モジュール７０８と同様に、テンプレートスコアリングモジュールは、好適には、図２のアクション２０４に関して述べたように品質スコアを生成する。
【００６８】
次に、ランキングモジュール７１２は画像アンカテンプレート候補及び対応する品質スコアを受信し、品質スコアに従って画像アンカテンプレート候補に等級を付ける。所定の実施形態において、ランキングモジュール７１２は先の反復からの画像アンカテンプレートも受信し、これらの画像アンカテンプレートをテンプレートスコアリングモジュール７１０から受信される画像アンカテンプレートと共に等級付けする。
【００６９】
選択モジュール７１４は、等級を付けられたこれらの画像アンカテンプレート候補を用いて、最も高い等級の画像アンカテンプレートのうちの１つまたはそれ以上を選択する。好適には、ランキングモジュール７１２及び選択モジュール７１４は、図２のアクション２０６及びアクション２０８に関して述べたように行動する。
【００７０】
実施形態によっては、ＩＡＴ生成器７００は終了モジュール７１８をさらに含み、これにより、ＩＡＴ生成器７００は反復的に行動して画像アンカテンプレートを生成する。このような実施形態では、終了モジュール７１８は終了条件が満たされているかどうかを決定する。終了条件が満たされていなければ、終了モジュール７１８は生成器モジュール７０８と調和して画像アンカテンプレートの新しい集合を生成し、次にこれらはテンプレートスコアリングモジュール７１０によってスコアを与えられ、かつ先に選択された画像アンカテンプレートと共にランキングモジュール７１２によって等級を付けられる。次に、画像アンカテンプレートの新しい集合が選択モジュール７１４によって選択され、かつ終了モジュール７１８は終了するかどうかを再度決定する。終了モジュール７１８は、好適には、図２のアクション２１０及び２１２に関して述べたように行動する。
【００７１】
終了条件が満たされているか、ＩＡＴ生成器７００に終了モジュール７１８が存在しなければ、選択モジュール７１４からの選択された画像アンカテンプレートは次に表示用に出力され、プリントされ及び／またはデータ抽出等の追加的な意志決定機構に実装される。データ抽出に関連して、画像アンカテンプレートは、文書内のデータフィールドを局在化するために使用されてもよく、これにより、内部データの抽出が可能にされる。
【００７２】
図８を参照すると、データ抽出システム８００の使用法が示されている。システム８００は、画像デバイス８０２と、画像アンカテンプレート生成器８０４と、データ抽出器８０６とを含む。画像デバイス８０２は、書式等の文書をターゲット画像に変換し、かつカメラ、スキャナまたは他の類似デバイスであってもよい。画像アンカテンプレート生成器８０４は、別段の記述のない限り、図７に記述されている通りである。データ抽出器８０６は、画像アンカテンプレートを用いて文書のターゲット画像からデータを抽出する。
【００７３】
データ抽出は、画像アンカテンプレート生成器８０４へ手本８０８が供給された後に開始可能となる。少なくとも、陽性手本は、ラベリングされたデータフィールドを有する画像アンカテンプレート生成器８０４へ供給される。しかしながら、使用される画像アンカテンプレートスコアリング関数に依存して、画像アンカテンプレート生成器へは陰性手本が供給されてもよい。所定の実施形態では、システム８００のオペレータは手本内のデータフィールドを手動で識別する。この後、画像アンカテンプレート生成器８０４は手本８０８を取り込み、図７に関して論じたように画像アンカテンプレート８１０を生成する。
【００７４】
画像アンカテンプレート８１０が生成された後、システム８００は文書からのデータ抽出を開始する。即ち、スキャンデバイス８０２は１つまたは複数の文書８１２を受信し、これらをターゲット画像８１４に変換する。所定の実施形態では、文書８１２は印刷デバイスの給紙トレイへ装填され、コンベヤ経路を介して画像デバイス８０２を通過される。
【００７５】
次に、ターゲット画像８１４はデータ抽出器８０６へ送られ、データ抽出器８０６は画像アンカテンプレート生成器８０４からの画像アンカテンプレート８１０を用いてターゲット画像８１４内のデータフィールドを位置決めしかつ対応するデータを抽出する。ターゲット画像８１４はデータ抽出器８０６へ文書８１２の変換と同時的に、または全文書８１２の変換後に送られてもよい。
【００７６】
データ抽出器８０６が文書８１２からのデータ抽出を試行すると、文書８１２及び／またはターゲット画像８１４は必要に応じて処理される。例えば、文書８１２は、データが抽出されたかどうかを基礎として、コンベヤ経路を介して目的地へルーティングされてもよい。さらに、もしくは代替として、ターゲット画像８１２は、データが抽出されたかどうかに従ってデータベースに格納されてもよく、及び／またはファイルシステム内に格納されてもよい。ターゲット画像８１４及び文書８１２以外にも、抽出されたデータはＳＱＬデータベース、リレーショナルデータベース、他等のデータベースに格納されてもよい。
【００７７】
これまでに行った論考に鑑みれば、実施形態によっては、本発明の例示的な方法、本方法を用いるＩＡＴ生成器、等々は、画像アンカテンプレートの決定を実装するために（例えば、デジタルプロセッサによって）実行可能な命令を格納する記憶媒体によって具現される。記憶媒体としては、例えば、磁気ディスクまたは他の磁気記憶媒体、光ディスクまたは他の光記憶媒体、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）または他の電子メモリデバイスまたはチップまたは動作可能式に相互接続されたチップセット、格納されている命令をインターネットまたはローカルエリアネットワークを介してそこから検索できるインターネットサーバ、等々が含まれてもよい。
【００７８】
さらに、様々な上述の、及び他の特徴及び機能またはその代替物が、望ましくは他の多くの異なるシステムまたはアプリケーションに組み合わされてもよいことは認識されるであろう。また、同じく添付の請求の範囲に包含されることが意図される、現時点では不測である、または予期されていないその様々な代替物、修正、変形または改良が当業者によって続いて行われ得ることも認識されるべきである。
【図１Ａ】
2011243200.tif 000013
【図１Ｂ】
2011243200.tif 000014
【図２】
2011243200.tif 000015
【図３】
2011243200.tif 000016
【図４】
2011243200.tif 000017
【図５】
2011243200.tif 000018
【図６】
2011243200.tif 000019
【図７】
2011243200.tif 000020
【図８】
2011243200.tif 000021