(57)【要約】【課題】外観に基づく文書画像分類のためのシステム及び方法を提供する。【解決手段】入力画像を分類する方法であって、クラスに従って入力画像にラベル付けするステップと、入力画像から少なくとも１つの連結成分を抽出するステップと、少なくとも１つの抽出された連結成分に基づいて、入力画像の少なくとも１つの特徴を計算するステップと、少なくとも１つの計算された特徴に基づいて、入力画像のクラスに対応するモデルを生成するステップと、少なくとも１つの他の入力画像について、前述のステップの少なくとも１つを繰り返すステップと、少なくとも１つの他の入力画像をモデルと比較するステップであって、該少なくとも１つの他の入力画像の前記少なくとも１つの計算された特徴が該モデルのものと実質的に類似している場合には、該少なくとも１つの他の入力画像は、該モデルの前記クラスに従って分類される、ステップと、を含む。【選択図】図１
2010140478.tif 000002
【特許請求の範囲】
【請求項１】
入力画像を分類する方法であって、
クラスに従って入力画像にラベル付けするステップと、
前記入力画像から少なくとも１つの連結成分を抽出するステップと、
前記少なくとも１つの抽出された連結成分に基づいて、前記入力画像の少なくとも１つの特徴を計算するステップと、
前記少なくとも１つの計算された特徴に基づいて、前記入力画像のクラスに対応するモデルを生成するステップと、
少なくとも１つの他の入力画像について、前述のステップの少なくとも１つを繰り返すステップと、
前記少なくとも１つの他の入力画像を前記モデルと比較するステップであって、該少なくとも１つの他の入力画像の前記少なくとも１つの計算された特徴が該モデルのものと実質的に類似している場合には、該少なくとも１つの他の入力画像は、該モデルの前記クラスに従って分類される、ステップと、
を含むことを特徴とする方法。
【請求項２】
同じクラスの入力画像を少なくとも１つのサブクラスのうちの１つにクラスター化するステップと、
前記サブクラスの前記少なくとも１つのクラスター化された入力画像の前記少なくとも１つの計算された特徴を集約するステップと、
前記サブクラスの前記少なくとも１つのクラスター化された入力画像の前記少なくとも１つの集約された特徴に基づいた、該サブクラスに対応するサブモデルを生成するステップであって、前記サブモデルの該少なくとも１つの集約された特徴と実質的に類似した少なくとも１つの計算された特徴を有する入力画像は、該サブクラスの該少なくとも１つのクラスター化された入力画像の前記クラスに従って分類される、ステップと、
前記抽出するステップの前に、前記入力画像を複数の領域に分割するステップであって、該抽出するステップの前記少なくとも１つの連結成分は、該入力画像の前記複数の領域のうちの少なくとも１つから抽出される、ステップと、
をさらに含むことを特徴とする、請求項１に記載の方法。
【請求項３】
前記抽出するステップの前に、前記入力画像の少なくとも１つのターゲットを境界付けするステップであって、該抽出するステップの前記少なくとも１つの連結成分は、該入力画像の前記少なくとも１つの境界付けられたターゲットから抽出される、ステップをさらに含むことを特徴とする、請求項１に記載の方法。
【請求項４】
入力画像を分類する方法であって、
クラスに従って入力画像にラベル付けするステップと、
前記入力画像から少なくとも１つの連結成分を抽出するステップと、
前記少なくとも１つの抽出された連結成分に基づいて、前記入力画像の少なくとも１つの特徴を計算するステップと、
少なくとも１つの他の入力画像について、前述のステップのうちの少なくとも１つを繰り返すステップと、
同じクラスの入力画像を少なくとも１つのサブクラスのうちの１つにクラスター化するステップと、
前記サブクラスの前記少なくとも１つのクラスター化された入力画像の前記少なくとも１つの計算された特徴を集約するステップと、
前記少なくとも１つのクラスター化された入力画像の前記少なくとも１つの集約された特徴に基づいて、前記サブクラスのモデルを生成するステップであって、前記モデルの前記少なくとも１つの集約された特徴と実質的に類似した少なくとも１つの計算された特徴を有する入力画像は、該サブクラスの該少なくとも１つのクラスター化された入力画像の前記クラスに従って分類される、ステップと、
含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、文書分類システムに関し、特定的には、外観に基づく文書画像分類のためのシステム及び方法に関する。
【背景技術】
【０００２】
シートの組を連続的に走査して、その上に画像をデジタル・データとして記録することができる、デジタル入力スキャナの使用は、デジタルコピー機及び電子アーカイビングなどの、オフィスとの関連においては一般的である。文書のカテゴリー化は、走査された文書を分析し、分析された文書に１つ又はそれ以上の予め定義されたカテゴリ・ラベルを分割り当てるために利用される技術である。このように、自動分析タスク（例えば、索引付け、検索、ソート、編成）を、特定の文書型に合うように調整することができる。
【０００３】
大容量文書の走査シナリオにおいては、文書の視覚的カテゴリー化及び/又は機能的カテゴリー化のために、かなりの時間とリソースが費やされる。典型的には、新たに取得された「入力画像」が、所定の及び前処理された「基準画像」又は「訓練モデル」と比較される。デジタルコピー機又はネットワーク印刷及びコピー・システムにおけるような実際的な状況においては、前もって基準画像を何らかの形で取得する必要がある。デジタルコピー機のユーザが、均一なテンプレートを有するスライドの組であることが分かっているものをスキャナから取り込んでいるときのような基本的ケースにおいては、ユーザは、組の中の最初に走査されたページ画像がその組の後続のページ画像に対して基準画像としての機能を果たすべきであると、ユーザ・インターフェースを通して走査システムに指示することができる。この考えの変形は、ユーザにより、走査システムが、共通の「テンプレート」を有すると考えられる複数のシートをスキャナから取り込み、アルゴリズムを分析して、シートの全てに共通のオブジェクトを見つける、動作の「訓練段階（ｔｒａｉｎｉｎｇ  ｐｈａｓｅ」に入るようにさせるものである。この動作の訓練段階から、共通のオブジェクトの基本テンプレートを得ることができる。この共通のオブジェクトの基本テンプレートを用いて、基準画像データを判断することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】米国特許第７，３７９，５８７号
【発明の概要】
【発明が解決しようとする課題】
【０００５】
走査文書を検索可能にするために、幾つかの文書分類子エンジンが、光学式文字認識（ＯＣＲ）技術を用いて電子文書に索引付けする。この技術は、典型的には、速度（例えば、１秒あたり２０−３０ページ）を必要とする大容量文書の走査動作には遅い（例えば、１秒あたり１−２ページ）ものである。さらに、ＯＣＲ技術は、画像文書内のグラフィック特徴（例えば、ロゴ、形状等）を認識することができないか、又は、異なる言語ロケールで表される同じカテゴリーの画像文書を認識することができない。この欠点は、例えば、同じカテゴリーの文書に属する画像が視覚的に異なるが、それにもかかわらず同じにラベル付けされるといった種々の文書分類シナリオにおいて露呈する。訓練段階の間、大部分の分類子エンジンは、同じカテゴリーに属する走査画像の計算された特徴を組み合わせて、訓練データ及び/又は訓練モデルを生成する。訓練データ及び/又は訓練モデルを生成するこの方法は、走査文書を後に分類する際、低い精度及び遅い処理の一因となる。
【課題を解決するための手段】
【０００６】
本開示の実施形態において、入力画像を分類する方法は、クラスに従って入力画像にラベル付けし、入力画像から１つ又はそれ以上の連結成分を抽出する最初のステップを含む。この方法はまた、１つ又はそれ以上の抽出された連結成分に基づいて入力画像の１つ又はそれ以上の特徴を計算し、１つ又はそれ以上の計算された特徴に基づいてモデルを生成するステップも含む。モデルは、入力画像のクラスに対応する。この方法はまた、１つ又はそれ以上の他の入力画像について、１つ又はそれ以上の前述のステップを繰り返し、１つ又はそれ以上の他の入力画像をモデルと比較するステップも含む。１つ又はそれ以上の他の入力画像の１つ又はそれ以上の計算された特徴がモデルのものと実質的に類似している場合には、１つ又はそれ以上の他の入力画像は、モデルのクラスに従って分類される。
【０００７】
本開示の別の実施形態においては、入力画像を分類する方法は、クラスに従って入力画像にラベル付けし、入力画像から１つ又はそれ以上の連結成分を抽出する最初のステップを含む。この方法はまた、１つ又はそれ以上の抽出された連結成分に基づいて入力画像の１つ又はそれ以上の特徴を計算し、１つ又はそれ以上の他の入力画像について、１つ又はそれ以上の前述のステップを繰り返すステップも含む。この方法はまた、同じクラスの入力画像をサブクラスにクラスター化し、サブクラスのクラスター化された入力画像の１つ又はそれ以上の計算された特徴を集約するステップも含む。この方法はまた、クラスター化された入力画像の１つ又はそれ以上の集約された特徴に基づいて、サブクラスのモデルを生成するステップも含む。モデルの集約された特徴と実質的に類似した１つ又はそれ以上の計算された特徴を有する入力画像は、サブクラスのクラスター化された入力画像のクラスに従って分類される。
【０００８】
本開示の別の実施形態において、入力画像を分類する方法は、入力画像の１つ又はそれ以上のターゲットを境界付け、入力画像のクラスに従って境界付けされたターゲットにラベル付けする最初のステップを含む。この方法はまた、境界付けされたターゲットから１つ又はそれ以上の連結成分を抽出し、抽出された連結成分に基づいて、境界付けされたターゲットの１つ又はそれ以上の特徴を計算するステップも含む。この方法はまた、計算された特徴に基づいて、境界付けされたターゲットのモデルを生成するステップも含む。モデルは、境界付けされたターゲットのラベルが対応する入力画像のクラスに従ってラベル付けされる。この方法はまた、１つ又はそれ以上の他の入力画像から１つ又はそれ以上の連結成分を抽出し、抽出された連結成分に基づいて、他の入力画像の１つ又はそれ以上の特徴を計算するステップも含む。この方法はまた、他の入力画像をモデルと比較するステップも含む。他の入力画像の計算された特徴がモデルのものと実質的に類似している場合には、他の入力画像は、モデルのクラスに従ってラベル付けされる。
【図面の簡単な説明】
【０００９】
【図１】本開示の実施形態の動作を説明するための例示的な画像を示す。
【図２】本開示の実施形態の動作を説明するための例示的な画像を示す。
【図３Ａ】本開示の実施形態による、走査画像文書に基づいてモデルを生成するための方法を示すフローチャート図である。
【図３Ｂ】本開示の実施形態による、モデルを生成するための方法を示すフローチャート図である。
【図４】本開示の実施形態の動作を説明するための例示的な画像を示す。
【図５】本開示の実施形態の動作を説明するための例示的な画像を示す。
【図６】本開示の実施形態による、走査画像文書に基づいてモデルを生成するための方法を示すフローチャート図である。
【図７】本開示の実施形態による、画像を分類するための方法を示すフローチャート図である。
【発明を実施するための形態】
【００１０】
本開示は、文書型を分類するための、走査画像の画像ベースの分析に関する。本開示の実施形態においては、訓練データ又は訓練モデル（複数の「モデル」）を生成するために、有効な連結成分分析を用いて、入力画像の属性又は特徴が、画像分類エンジン（「ＩＣＥ」）により自動的に学習される。他の走査入力画像がモデルと比較され、その比較に基づいて分類される。ＩＣＥは、外観に基づいて文書を分類するように構成された、高速で多面的な機械学習分類子である。外観に基づいて文書を分類する能力により、光学式文字認識（「ＯＣＲ」）に対する必要性がなくなる。本開示により具体化される方法を用いてモデルが生成されると（図３Ａ及び図６を参照されたい）、ＩＣＥは、任意の好適な確率的分類モデル（例えば、ナイーブ・ベイズ）又はサポート・ベクター・マシーンを利用して、入力文書とモデルとの間の比較に基づいて文書を分類することができる。
【００１１】
連結成分分析は、画素連結性に基づいて走査画像の画素を成分にグループ化するために利用される画像分析アルゴリズムである。より具体的には、連結成分内に含まれる全ての画素は、実質的に類似した画素強度値（例えば、グレイ・レベル、色等）を共有する。一実施形態においては、走査画像の特定の特徴は、同一出願人による特許文献１に記載された分析のような、高速で有効な連結成分分析を用いてＩＣＥにより計算される。実質的に類似した計算された特徴を共有する走査画像（例えば、同じ「クラス」の画像）が、これらの類似性に基づいてサブセットにクラスター化される。クラスター化とは、オブジェクトの異なるグループへの分類であり、又はより正確には、データ・セットのサブセット（クラスター）への区分化であり、各サブセット内のデータは、何らかの共通する特性（例えば、何らかの規定された距離測定に従った近接性）を共有する。下記にさらに詳細に述べられるように、クラスター化されたデータの集約された計算された特徴（例えば、再ラベル付けされたサブセット）に基づいて、モデルが生成される。この画像データの自動的クラスター化により、連結成分を計算するための高速で有効な技術としてＩＣＥの固有の実施が容易になる。
【００１２】
別の実施形態においては、走査画像の１つ又はそれ以上の特定のターゲットの特定の特徴が、連結成分分析を用いてＩＣＥにより計算される。ターゲットは、例えば、バーコード、形状、又はロゴといった、走査画像の任意のグラフィック特徴とすることができる。下記にさらに詳細に述べられるように、特定のターゲットの計算された特徴に基づいて、モデルが生成される。文書内の固有の特徴（例えば、バーコード）を検出するためのこのターゲット・スポッティング技術は、連結成分を計算するための高速で有効な技術としてＩＣＥにより実施される。
【００１３】
連結成分を迅速かつ効率的に計算するための上述した技術の各々は、従来のカテゴリー化技術と比べて小さいメモリ設置面積でＩＣＥを実装することを可能にする。
【００１４】
図１及び図２で示される１つのシナリオにおいて、外見が非常に異なる文書が、それにもかかわらず、同じクラスの画像（例えば、処方箋に属することができる）。ユーザの介入がない限り、既存の分類モデルは、こうした視覚的に異なる画像を同じクラスに属するものとして自動的に認識することができない。従って、このシナリオの画像は、対応するモデルを生成するために、同じクラスに属するものとして手動でラベル付けする必要がある。さらに、図１及び図２に示される文書は、異なる言語ロケールで、即ち、それぞれ英語及びドイツ語で表される。ＯＣＲは図１及び図２の画像のそれぞれにおける文字を認識するが、テキスト・コンテンツの差異により、ＯＣＲは、これらの画像を同じクラスの文書に属するものとして認識することができない。
【００１５】
図３及び図４で示される別のシナリオにおいては、文書は、利用可能な分類エンジン及び/又は方法が区別能力をもつことができない、実質的に類似した視覚的特徴を有してもよい。つまり、画像は、既存の分類エンジンが認識することができないわずかな相違しか有し得ず、その結果、望ましくないことに、これらの画像を同じクラスに属するものとして分類してしまう。
【００１６】
上述のように、ＩＣＥは、連結成分分析を利用して、上述したシナリオのような種々のシナリオにおいて文書を分類するためのモデルを生成する。より具体的には、ＩＣＥは、いわゆる「訓練」段階を含む、種々のモード又は段階で動作することができ、そこで、ＩＣＥは、下記に詳細に説明される対応するモデルを生成するために、入力画像の属性又は特徴を自動的に学習する。ＩＣＥはまた、いわゆる「分類」段階で動作することもでき、ここで、照合モデルの分類に従って入力画像を分類するために、ＩＣＥは、入力画像の属性又は特徴をモデルと照合する。使用において、ＩＣＥは、訓練段階及び分類段階において同時に動作することができ、又は、訓練段階及び分類段階のどちらか一方において独立に動作することができる。
【００１７】
図１及び図２は、実質的には視覚的に異なるにもかかわらず、同じカテゴリー又はクラスの文書に属する２つのページ画像１００ａ及び１００ｂを示す。見て分かるように、ページ画像１００ａ及び１００ｂは、グラフィックのサイズ及び位置、並びにテキストの言語といった特定の細部が異なる（例えば、図１は英語で表されたテキストを含み、図２はドイツ語で表されたテキストを含む）。ページ画像１００ａと１００ｂとの間の比較により提示されるシナリオは、ＯＣＲのような既存の又は従来の分類エンジンによって用いられる技術が、どれほどテキスト・コンテンツに基づいて文書を分類するための能力又は複雑性を有していないかを示す。例えば、同じクラスの２つ又はそれ以上の文書（例えば、ページ画像１００ａ及び１００ｂ）はそれぞれ、他の文書に対してコンテンツが異なるテキスト（例えば、異なるテキスト言語）を含むことがあり、従って、ＯＣＲによるテキスト・コンテンツに基づいて分類することはできない。さらに、グラフィック画像しか含まない（即ち、文字を含まない）文書、又は、画像を全く含まない文書（例えば、空白の文書）は、ＯＣＲ技術により認識可能であるどのようなデータ（例えば、文字）も含んでおらず、ましてＯＣＲ技術により分類することはできない。一例として、ページ画像１００ａ及び１００ｂのうちのどちらか一方は、如何なる文字も含まない、もっぱら１つ又はそれ以上のグラフィック画像（明示せず）から構成され得る。このシナリオにおいて、ＯＣＲは、ページ画像のいずれの特徴も認識することができず、ＯＣＲが文書を分類するための複雑性を欠いているさらに別のシナリオを示す。
【００１８】
図３Ａは、本開示の実施形態による、ＩＣＥがモデルを生成する方法２００を示す簡略化されたフローチャートである。説明のために、方法２００は、図１のページ画像１００ａ及び図２のページ画像１００ｂを参照して説明されるが、方法２００は、２つ又はそれ以上の画像からのそれぞれのデータを比較する種々のシナリオにおいてモデルを生成するために用い得ることを理解すべきである。
【００１９】
図１及び図２で示されるシナリオを参照すると、一例として、ＩＣＥは、例えばデジタルコピー機の一部としてのデジタル入力スキャナ（明示せず）を通して受け取られ、かつ、適切に処理された（例えば、セグメント化され、分析され、周知のフォーマットに変換された等）入力画像の特徴を計算する（例えば、連結成分分析によって）。デジタルコピー機は、プロセッサ、メモリ（例えば、ＲＡＭ）、ハードディスク・ドライブ、ＵＳＢインターフェース、ネットワーク・インターフェース、ディスプレイ／モニター、及び／又は他のコンポーネントを含む、幾つかのコンポーネントを含むことができる。実施形態において、ＩＣＥは、コピー機のメモリ内に格納され、コピー機のプロセッサによって実行可能なソフトウェア・アプリケーションとすることができる。ＩＣＥは、アプリケーション・プログラミング・インターフェース（ＡＰＩ）を通して実施することができる。ＡＰＩの実装により、別のコンピュータ・システム上に常駐する方法及び／又はソフトウェア・アプリケーション（例えば、ＩＣＥ）を呼び出す能力が与えられる。
【００２０】
図３Ｂを参照して下記に詳細に述べられるように、方法２００の最初のステップ２０５において、クラスに従って入力画像にラベル付けする。ステップ２１０において、入力画像は、複数の領域（例えば、１２８画素×１２８画素）に分割される。ステップ２１５において、ＩＣＥは、入力画像の複数の領域の各々から、１つ又はそれ以上の連結成分を抽出する。ステップ２２０において、ステップ２１５で抽出された１つ又はそれ以上の連結成分に基づいて、入力画像の複数の領域の各々についての１つ又はそれ以上の特徴を計算する。計算された１つ又はそれ以上の特徴は、例えば制限なく、領域内の連結成分の量（例えば、その各々の画素が実質的に類似した強度値を共有する、各領域内の個々の成分の数）、連結成分の各々の中の画素母集団（例えば、ＯＮ画素の数）（例えば、連結成分内で実質的に類似した強度値を共有する画素数）、領域内の連結成分の各々の相対的位置（例えば、領域内の連結成分の各々のｘ及びｙ座標）、及び、各成分（例えば、ｘ、ｙ、幅、高さ）を境界付けるいわゆる「境界ボックス（ｂｏｕｎｄｉｎｇ  ｂｏｘ）」（下記にさらに詳述される）の寸法を含むことができる。
【００２１】
図１及び図２で示される上述のシナリオに戻ると、実質的に視覚的に異なる入力画像は、それにもかかわらず、同じカテゴリー又はクラスの文書のものとすることができる。このシナリオでは、ステップ２２５において、ＩＣＥは、こうした入力画像の各々を共通のルート・クラスのサブクラスにクラスター化する。図３Ｂを参照して下記にさらに詳細に述べられるように、ルート・クラスのいずれかの数のサブクラスの１つに従って、特定のクラスのクラスター化された画像の各々を再分類する又はこれに再ラベル付けする。ステップ２３０において、ルート・クラスの各サブクラスについて、サブクラス内の１つ１つの画像の計算された特徴が集約される。実施形態においては、特定のサブクラスにおける各画像の各領域の計算された特徴の平均偏差及び標準偏差が計算され、その計算結果を利用して、その特定のサブクラスについてのモデルを生成する。ステップ２３５において、そのサブクラスのクラスター化画像の集約された特徴に基づいて、各サブクラスについてのモデルが生成される。実施形態において、サブクラスのモデルは、デジタルコピー機のメモリ内の、サブクラスのルート・クラスに対応するモデル・ファイル内に格納される。つまり、入力画像の同じルート・クラスからクラスター化されたサブクラスの各々は、共通のルート・クラスのような入力画像のそのクラスに対応する、又はこれを指し示す固有のモデルを含む。１つ又はそれ以上のそれぞれの計算された特徴を特定のサブクラスのモデルと共有する入力画像は、その特定のサブクラスが指し示すルート・クラスのラベルに従って分類される。ＩＣＥは、生成された各モデルと共に「知識ベース」の訓練データ蓄積する、自己学習アプリケーションである。
【００２２】
図１及び図２で示され、上述されたシナリオを参照すると、図３Ｂは、一例として、ＩＣＥが１つ又はそれ以上の入力画像２５５をクラスター化する方法２５０を示す。ＩＣＥは、クラスター化モジュール２６０、特徴モジュール２７０、及びモデル生成装置２７５を含む。クラスター化モジュール２６０は、同じクラス（例えば、ラベル１）に属する入力画像２５５を、１つ又はそれ以上のサブクラス（例えば、ラベル１＿０、ラベル１＿ｋ）にクラスター化する。図３Ｂに示されるように、一例として、ラベル１＿ｋは、ルート・クラス「１」のサブクラス「ｋ」を表す。各々のサブクラスは、１つ又はそれ以上の計算された特徴を共有する１つ又はそれ以上のクラスター化画像２６５を含む。各々のサブクラスは、最小でも１つのクラスター化画像２６５、最大でもｎ個のクラスター化画像２６５を含むことができ、ここで、ｎは、クラスター化モジュール２６０によりクラスター化された入力画像２５５の数を表す。特徴モジュール２７０は、サブクラス内の１つ１つのクラスター化画像２６５からの計算された特徴を集約する。モデル生成装置２７５は、特定のサブクラスについての集約された特徴に基づいて、そのサブクラスに対応する固有のモデルを生成する。より具体的には、特定のサブクラスに対応する生成されたモデルは、そのサブクラスのクラスター化画像２６５の集約された特徴に基づいている。実施形態において、特定のサブクラスについての集約された特徴は、特定のサブクラスの１つ１つのクラスター化画像２６５からの計算された特徴の平均偏差及び標準偏差に対応し得る。生成されたモデルは、入力画像の文書分類のために、後の入力画像と比較される。
【００２３】
図１及び図２で示されるシナリオ内の入力画像（例えば、１００ａ及び/又は１００ｂ）を分類するために、例えば、最尤推定（ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｅｓｔｉｍａｔｉｏｎ）のような適切な方法を利用して、入力画像の計算された特徴を、クラス又はサブクラスに対応するモデルに照合又は適合させる。特定のサブクラスに対応するモデルと成功裏に合致又は適合すると、戻される又は生成されるラベル又は分類は、その特定のサブクラスが指し示すルート・クラスに対応する。実際のシナリオでは、デジタルコピー機は、いわゆる「分類」段階（ＩＣＥの分類段階に対応する）で動作することができ、そこで、デジタルコピー機のメモリ内に格納されたモデルとの比較のために、方法２００を参照して上述されたように、入力画像を走査して分析し、１つ又はそれ以上の特徴を計算する。入力画像の分類又は入力画像分類の失敗と同時に、ＩＣＥは、入力画像の分類結果又は入力画像の失敗結果を適切に表示することができる（例えば、デジタルコピー機のユーザ・インターフェースを介して）。
【００２４】
図４及び図５は、異なるクラスに属し得る、２つの実質的に類似したページ画像３００ａ及び３００ｂを示す。見て分かるように、ページ画像３００ａ及び３００ｂは、それぞれバーコード・スタンプ３２５ａ及び３２５ｂのように、互いに対してわずかな細部の差異しか含まない。各々のバーコード・スタンプ３２５ａ及び３２５ｂは、それぞれ区画３５０ａ及び３５０ｂに囲まれ、画像３００ａ及び３００ｂ上に重ねられるように示される。さらに、ページ画像３００ｂは、ページ画像３００ｂの上右コーナー部上に含まれるロゴを含んでいない。ユーザの介入がない限り、既存の分類モデルは、画像間のわずかな相違を検出することができないため、ページ画像３００ａ及び３００ｂを同じクラスに属するものとして分類することになる。
【００２５】
図６は、本開示の別の実施形態による、ＩＣＥが訓練モデルを生成する方法４００を示す簡略化されたフローチャートである。説明のために、方法４００は、図４のページ画像３００ａ及び図５のページ画像３００ｂを参照して説明されるが、方法４００は、２つ又はそれ以上の画像からのそれぞれのデータを比較する種々のシナリオにおいて訓練モデルを生成するために用い得ることを理解すべきである。
【００２６】
図４及び図５で示されるシナリオを参照すると、一例として、ＩＣＥは、例えばデジタルコピー機の一部としてのデジタル入力スキャナを通して受け取られ、適切に処理された（例えば、セグメント化され、分析され、周知のフォーマットに変換された等）入力画像の特徴を計算する（例えば、連結成分分析によって）。方法４００の最初のステップ４１０において、入力画像の１つ又はそれ以上の区画（例えば、区画３５０ａ、３５０ｂ）を選択する（例えば、ＩＣＥの訓練段階の間、印刷装置のユーザにより区画を選択することができる）。より具体的には、画像を異なるクラスに属する画像と区別する入力画像の特徴又は特性、又は別の言い方をすれば、入力画像を特定のクラスに属するものとして定める特徴又は特性（例えば、識別特徴）をターゲットにするように、区画を選択することができる。図４及び図５を参照すると、大きい画像内で、オブジェクトと呼ばれる単一の識別可能なタイプのより小さい画像を分離するために、各々の区画３５０ａ及び３５０ｂは、画像処理において周知の一般的なタイプの境界ボックスとして具体化することができる。このシナリオにおいて、区画３５０ａ、３５０ｂは、オブジェクトを囲む又は境界付ける、できるだけ小さい矩形（大きい画像のｘ及びｙ方向に沿った寸法を有する）とすることができる。画像内に含まれているオブジェクトの数は、特定のセグメント化技術又はフィルタリング技術に応じて変わり得る。
【００２７】
ステップ４２０において、特定の入力画像から選択された区画の各々は、その特定の入力画像が属する画像のクラスに従ってラベル付けされる。つまり、同じ入力画像から選択された区画は、同じラベルを共有する。このように、各々の入力画像は、入力画像が属する画像のクラスを表す単一のラベルを含む。実際のシナリオでは、ＩＣＥの訓練段階の間、デジタルコピー機を用いて、ユーザにより入力画像の１つ又はそれ以上の区画について選択されたラベルを選択することができる（例えば、ユーザ・インターフェースを介して）。
【００２８】
ステップ４３０において、１つ又はそれ以上の連結成分が、ステップ４２０で選択された入力画像の選択された区画から抽出される。ステップ４４０において、その区画から抽出された連結成分に基づいて、選択された区画の１つ又はそれ以上の特徴が計算される。計算された１つ又はそれ以上の特徴は、例えば制限なく、抽出された連結成分の各々のサイズ（例えば、連結成分内に含まれる画素が占める区画の表面積）、抽出された連結成分の各々の中の画素母集団（例えば、ＯＮ画素の数）、区画内の抽出された連結成分の各々の相対的位置（例えば、領域内の連結成分の各々のｘ及びｙ座標）、及び、抽出された連結成分の各々の各側面（例えば、左側、右側、上部、下部）についての正規化された形状ヒストグラム又は色調分布を含むことができる。
【００２９】
ステップ４５０において、入力画像のために選択された区画の各々について、ＩＣＥは、ステップ４４０で計算された１つ又はそれ以上の特徴に基づいてモデルを生成する。生成されたモデルの各々は、モデルが基づく区画のために選択されたラベルに従ってラベル付けされる。このように、特定の入力画像から選択された区画の各々について、その入力画像が属する画像のクラスを表すようにモデルが生成される。特定の区画のモデルは、その選択された区画について計算された１つ又はそれ以上の特徴に基づいている。計算された特徴に基づいて、ＩＣＥは、区画により境界付けられた、ターゲットの特定のシーケンスを学習することができる。例えば、バーコードは、互いに対して特定の関係で離間配置された、形状又は形態の特定のシーケンスを含むことができる。下記にさらに詳細に述べられるように、分類のために、この特定のシーケンスを後の入力画像の計算された特徴と比較することができる。
【００３０】
図４及び図５で示されるシナリオにおいて入力画像（例えば、３００ａ及び/又は３００ｂ）を分類するために、入力画像全体の１つ又はそれ以上の特徴が計算され、方法４００のステップ４５０で生成された１つ又はそれ以上のモデルと比較される。より具体的には、分類される入力画像全体から、１つ又はそれ以上の連結成分が抽出される。抽出された１つ又はそれ以上の連結成分に基づいて、分類される入力画像の１つ又はそれ以上の特徴が計算される。このシナリオにおいて、方法４００のステップ４５０で生成された１つ又はそれ以上のモデルに対応する選択された区画の計算された特徴との比較のために、入力画像全体の計算された特徴をＩＣＥにより分析し、特徴及び/又は形状（例えば、バーコード）の特定のシーケンスを検出する。つまり、入力画像が、モデルに対応する選択された区画（例えば、ＩＣＥの訓練段階の間に選択された区画）と特徴の特定のシーケンスを共有する場合、入力画像は、モデルに従って分類される。特徴（例えば、バーコード、ロゴ等）の特定のシーケンスは、分類される入力画像のどこにあってもよく、特定の生成されたモデルに対応する選択された区画の相対的位置に制限されるものではないので、連結成分は、生成されたモデルに対応する区画の特徴又はシーケンスに合致するあらゆる可能なシーケンスを検出するように、入力画像全体にわたって計算される。上述の照合技術は、互いに対してわずかな相違しか含まない２つ又はそれ以上の画像（例えば、ページ画像３００ａ及び３００ｂ）の比較により提示されるシナリオの間に、入力画像とモデルが正確に照合されることを（例えば、ＩＣＥの分類段階の間に）保証にする。例えば、図５のページ画像３００ｂ上のバーコード３２５ｂは、図４のページ画像３００ｂ上のバーコード３２５ａとはわずかに異なる。より具体的には、互いに対するバーコード３２５ｂを含む形状の間隔は、バーコード３２５ａのものと同じではない。このシナリオにおいて、上述の照合技術を適用することにより、ページ画像３００ａ及び３００ｂは、互いとの比較又は１つ又はそれ以上のモデルとの比較に基づいて、異なるように分類される。
【００３１】
分類される入力画像の１つ又はそれ以上の計算された特徴又は検出されたシーケンスと、特定のモデルに対応する１つ又はそれ以上の計算された特徴との間が、成功裏に合致すると、戻されるラベル又は分類は、照合モデルが表す入力画像のクラスに対応する。実際のシナリオでは、デジタルコピー機は、いわゆる「分類」段階（ＩＣＥの分類段階に対応する）で動作することができ、そこで、デジタルコピー機のメモリ内に格納されたモデルとの比較のために、上述のように、入力画像が走査され分析されて１つ又はそれ以上の特徴を計算する。入力画像の分類と同時に、デジタルコピー機は、入力画像の分類結果、又は入力画像分類の失敗結果を適切に表示することができる（例えば、デジタルコピー機のユーザ・インターフェースを介して）。
【００３２】
図７は、（例えば、方法２００及び/又は方法４００によって）ＩＣＥにより生成された訓練データ又は訓練モデルを用いて文書を分類するための方法５００を示す。より具体的には、ステップ５１０において、適切な走査装置の入力により、入力画像が受け取られる。ステップ５２０において、ＩＣＥは、入力画像（例えば、１００ａ、１００ｂ、３００ａ、３００ｂ）の１つ又はそれ以上の特徴を（例えば、連結成分分析により）計算する。ステップ５３０においては、ステップ５２０で計算された１つ又はそれ以上の特徴が、前処理された（例えば、方法２００及び/又は方法４００により生成された）モデルと比較される。分類される入力画像の計算された特徴と特定のモデルに対応する１つ又はそれ以上の特徴との間が成功裏に合致すると、戻されるラベル又は分類は、照合モデルが表す画像のクラスに対応する。実施形態においては、方法２００及び４００は、モデルを生成するために、同時に又は互いに独立して実行することができる。
【符号の説明】
【００３３】
１００ａ、１００ｂ、３００ａ、３００ｂ：ページ画像
２５５：入力画像
２６０：クラスター化モジュール
２６５：クラスター化画像
２７０：特徴モジュール
２７５：モデル生成装置
３２５ａ、３２５ｂ：バーコード
３５０ａ、３５０ｂ：区画
【図１】
2010140478.tif 000003
【図２】
2010140478.tif 000004
【図３Ａ】
2010140478.tif 000005
【図３Ｂ】
2010140478.tif 000006
【図４】
2010140478.tif 000007
【図５】
2010140478.tif 000008
【図６】
2010140478.tif 000009
【図７】
2010140478.tif 000010