(57)【要約】【課題】記入欄の周囲における画像の存在についての可能性のすべてを考慮する場合と比較して、認識率の低下を抑制する。【解決手段】各カテゴリに対応する１以上のクラス候補を記憶する認識辞書１２０、各カテゴリについて、認識辞書１２０に記憶された当該カテゴリに対応する１以上のクラス候補の中から記入欄と当該記入欄の周囲の画像との位置関係に基づき特定される１以上のクラスを適用クラスとして選択する適用クラス判定部１１２、前記記入欄に対する記入の画像に対してパターン認識処理を実行することにより適用クラスのなかから前記記入の画像が属するクラスを認識するパターン認識部１１６、パターン認識部１１６が認識したクラスに対応するカテゴリを前記候補記憶手段に基づき特定するカテゴリ判定部１１８、を備える。【選択図】図１
2009223612.tif 000002
【特許請求の範囲】
【請求項１】
複数のカテゴリの各々について、当該カテゴリに対応する１以上のクラス候補を記憶する候補記憶手段と、
前記複数のカテゴリの各々について、前記候補記憶手段に記憶された当該カテゴリに対応する１以上のクラス候補の中から、記入欄と当該記入欄の周囲の画像要素との位置関係に基づき特定される１以上のクラスを、当該カテゴリについての判定に用いるべきクラスとして選択する選択手段と、
前記記入欄に対する記入の画像に対してパターン認識処理を実行することにより、前記選択手段が前記複数のカテゴリの各々について選択したクラスのなかから、前記記入欄に対する記入の画像が属するクラスを認識するパターン認識手段と、
前記パターン認識手段が認識したクラスに対応するカテゴリを前記候補記憶手段に基づき特定し、特定したカテゴリを前記記入欄に対する記入の画像が属するカテゴリとして出力する出力手段と、
を備える画像認識装置。
【請求項２】
入力された画像から前記記入欄に対する記入の画像を抽出する抽出手段と、
前記抽出手段により抽出された記入の画像の端点を検出する端点検出手段と、
を更に備え、
前記選択手段は、前記端点検出手段が検出した端点のいずれかと接触する１以上の画像要素を特定し、特定した１以上の画像要素と前記記入欄との位置関係に基づき前記判定に用いるべきクラスを選択する、
ことを特徴とする請求項１記載の画像認識装置。
【請求項３】
１以上の画像要素と１以上の記入欄とを含んだ定型文書の記入欄ごとに、且つカテゴリごとに前記候補記憶手段に記憶されたクラス候補のうち、当該記入欄の周囲の画像要素と当該記入欄との位置関係に基づき特定された１以上のクラスを、当該記入欄についての判定に用いるクラスとして記憶する記入欄情報記憶手段と、
入力された対象画像から前記各記入欄に対する記入の画像を抽出する抽出手段と、
を更に備え、
前記選択手段は、前記抽出手段が抽出した前記各記入欄に対する記入の画像ごとに、当該記入欄についての判定に用いるクラスを前記記入欄情報記憶手段から求める、
ことを特徴とする請求項１記載の画像認識装置。
【請求項４】
コンピュータを、
複数のカテゴリの各々について、当該カテゴリに対応する１以上のクラス候補を記憶する候補記憶手段と、
前記複数のカテゴリの各々について、前記候補記憶手段に記憶された当該カテゴリに対応する１以上のクラス候補の中から、記入欄と当該記入欄の周囲の画像要素との位置関係に基づき特定される１以上のクラスを、当該カテゴリについての判定に用いるべきクラスとして選択する選択手段、
前記記入欄に対する記入の画像に対してパターン認識処理を実行することにより、前記選択手段が前記複数のカテゴリの各々について選択したクラスのなかから、前記記入欄に対する記入の画像が属するクラスを認識するパターン認識手段、
前記パターン認識手段が認識したクラスに対応するカテゴリを前記候補記憶手段に基づき特定し、特定したカテゴリを前記記入欄に対する記入の画像が属するカテゴリとして出力する出力手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識装置及びプログラムに関する。
【背景技術】
【０００２】
手書き文字認識の応用分野の一つに、帳票や答案用紙、アンケート用紙などといった定型用紙（フォームとも呼ばれる）に対する手書き記入の認識がある。定型用紙に対する手書き記入の認識では、例えば、手書き記入後の定型用紙の画像と未記入の定型用紙の画像との差分を求め、求めた差分画像に対してパターン認識を行っている。このような認識では、手書き記入が記入枠、写真、グラフィックス図形などのように定型用紙上に元々存在する画像に対して重なってしまうと、手書き記入の完全な画像が得られないため、認識の精度が劣化してしまう可能性があった。
【０００３】
これに対し、特許文献１に開示された装置では、記入枠と文字を重ね合わせた枠接触文字を、記入枠に対する文字の位置、サイズ又は傾きを様々に替えながら多数作成し、それら様々な枠接触文字を知識テーブルに登録し、パターン認識に用いている。
【０００４】
【特許文献１】特開平１０−１５４２０４号公報（特に第２１１〜２２８段落、図４１〜図４４参照）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
記入欄の周囲の様々な位置に写真や図形などの様々な画像が存在する可能性がある場合、それらすべての可能性を考慮したパターン認識を行うことが考えられる。しかし、パターン認識の際に考慮するパターンが多くなるほど、誤認識が増えて認識率が低下することが懸念される。
【０００６】
本発明は、記入欄の周囲における画像の存在についての可能性のすべてを考慮する場合と比較して、認識率の低下を抑制することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、複数のカテゴリの各々について、当該カテゴリに対応する１以上のクラス候補を記憶する候補記憶手段と、前記複数のカテゴリの各々について、前記候補記憶手段に記憶された当該カテゴリに対応する１以上のクラス候補の中から、記入欄と当該記入欄の周囲の画像要素との位置関係に基づき特定される１以上のクラスを、当該カテゴリについての判定に用いるべきクラスとして選択する選択手段と、前記記入欄に対する記入の画像に対してパターン認識処理を実行することにより、前記選択手段が前記複数のカテゴリの各々について選択したクラスのなかから、前記記入欄に対する記入の画像が属するクラスを認識するパターン認識手段と、前記パターン認識手段が認識したクラスに対応するカテゴリを前記候補記憶手段に基づき特定し、特定したカテゴリを前記記入欄に対する記入の画像が属するカテゴリとして出力する出力手段と、を備える画像認識装置である。
【０００８】
１つの態様では、画像認識装置は、入力された画像から前記記入欄に対する記入の画像を抽出する抽出手段と、前記抽出手段により抽出された記入の画像の端点を検出する端点検出手段と、を更に備え、前記選択手段は、前記端点検出手段が検出した端点のいずれかと接触する１以上の画像要素を特定し、特定した１以上の画像要素と前記記入欄との位置関係に基づき前記判定に用いるべきクラスを選択する。
【０００９】
別の態様では、画像認識装置は、１以上の画像要素と１以上の記入欄とを含んだ定型文書の記入欄ごとに、且つカテゴリごとに前記候補記憶手段に記憶されたクラス候補のうち、当該記入欄の周囲の画像要素と当該記入欄との位置関係に基づき特定された１以上のクラスを、当該記入欄についての判定に用いるクラスとして記憶する記入欄情報記憶手段と、入力された対象画像から前記各記入欄に対する記入の画像を抽出する抽出手段と、を更に備え、前記選択手段は、前記抽出手段が抽出した前記各記入欄に対する記入の画像ごとに、当該記入欄についての判定に用いるクラスを前記記入欄情報記憶手段から求める。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照して本発明の実施の形態（以下、実施形態という）を説明する。
【００１１】
本実施形態の画像認識装置は、帳票や答案用紙などの定型用紙（フォーム）に対してユーザが記入した文字や記号など（以下「文字」と総称する）の記入内容を認識するための装置である。
【００１２】
本実施形態では、記入欄と、当該記入欄の周囲の画像オブジェクト（例えば写真、図形、記入枠、文字列などのように、記入される前から存在している印刷画像）との位置関係に基づき、その記入欄への記入内容をパターン認識する際に考慮するパターンを限定する。記入欄に対してあらゆる位置に画像オブジェクトが存在する可能性があると考慮すべきパターンの数は膨大なものとなるが、画像オブジェクトの位置を限定すれば考慮すべきパターンの数を減らすことができる。
【００１３】
一般に、パターン認識では、例えば識別すべき各文字の特徴情報を保持する認識辞書を用意し、その認識辞書を参照することで、識別対象の文字画像がいずれの文字に該当するかを判定する。ここで本実施形態では、完全な状態の文字に対応する特徴情報だけでなく、周囲の画像オブジェクトによって部分的に隠された状態の文字の特徴情報も、認識辞書に登録しておく。ここで、同じ文字であっても、周囲の画像オブジェクトとの相対的な位置関係が異なれば、その画像オブジェクトにより隠される部分が異なるので、文字ごとに、その文字が周囲の画像オブジェクトに対して様々な位置関係で隠された場合の特徴情報を認識辞書に登録しておく。ここでいう位置関係には、例えば相対的な方向又は距離、又はその両方が含まれる。そして、パターン認識の際には、認識辞書に登録されたそれら様々な特徴情報のうち、認識対象の文字とその周囲にある画像オブジェクトとの位置関係に対応するものを選択して用いる。
【００１４】
以下では、文字の種類を「カテゴリ」と呼び、文字は同じ種類であるが周囲の画像オブジェクトによる隠され方の異なる様々なバリエーションのことを「クラス」と呼ぶ。例えば、丸印が１つの「カテゴリ」であるとすると、周囲の画像オブジェクトにより一部分が隠された状態の丸印の形状が１つの「クラス」である。この場合、周囲の画像オブジェクトの形状や大きさ、又はその画像オブジェクトの丸印に対する位置関係、例えば上下左右のどこにあるかなどの組合せに応じて、同じ丸印という「カテゴリ」の中に様々な「クラス」ができる。
【００１５】
１つのカテゴリについてそのような様々なクラスのすべてを考慮するとなると、パターン認識の計算に多大のコストがかかる。しかし、認識対象の文字の周囲にその文字を部分的に隠す画像オブジェクトが存在するのか否か、存在するとしてそのオブジェクトのその文字に対する位置関係はいかなるものか、が何らかの手段で求めることができれば、カテゴリの中で考慮すべきクラスを絞り込むことができる。本実施形態は、このような考え方に即したものである。
【００１６】
本実施形態の画像認識装置の構成の例を図１に示す。この例では、定型用紙に対してユーザが記入を行った結果得られる記入済み文書がスキャナなどの画像読取装置により読み取られることにより、電子的な記入済み画像１０が生成される。その記入済み画像１０が、画像認識装置の備える記入抽出部１０２に入力される。
【００１７】
記入抽出部１０２は、入力された記入済み画像１０からユーザの記入内容の画像を抽出する。記入内容の抽出は、例えば記入済み画像１０から原本画像を減算することにより行うことができる。また、別の例として、記入済み画像１０から記入に用いられた筆記具の色の画素群を抽出することで、記入内容の画像（以下「記入内容画像」と呼ぶ）を抽出することもできる。この方式は、定型用紙の画像に含まれない色の筆記具を用いて記入が行われる場合などに適用できる。また、記入済み画像１０から原本画像を減算し、減算結果の画像の中から注目する筆記具の色の画素群を抽出する方式もある。この方式は、例えば被験者が鉛筆により記入した答案と、採点者が赤ペンにより記入した丸印、バツ印などの採点結果と、を分離して抽出する場合などに利用できる。なお、記入済み画像１０中に複数の記入内容画像が含まれる場合、記入抽出部１０２は、それら各記入内容画像に対応づけて、その画像の記入済み画像１０中での位置座標の情報を抽出してもよい。記入内容画像の位置座標は、例えば、当該記入内容画像の外接長方形（例えば、縦及び横の辺が、ｘ及びｙ軸方向にそれぞれ平行なもの）中の所定の基準点（例えばその長方形の対角線同士の交点、或いはその長方形の右上隅の点など）の座標の組で表せばよい。
【００１８】
認識処理部１１０は、記入抽出部１０２が抽出した記入内容画像に対してパターン認識処理を行うことで、記入内容画像が示す文字を判定する。この判定の際に認識辞書１２０が利用される。
【００１９】
認識処理部１１０は、適用クラス判定部１１２，判定情報記憶部１１４，パターン認識部１１６及びカテゴリ判定部１１８を備える。
【００２０】
適用クラス判定部１１２は、抽出された記入内容画像のパターン認識の際に適用するクラスを判定する。この実施形態では、判定情報記憶部１１４を参照して、当該記入内容画像のパターン認識に適用するクラス（以下「適用クラス」と呼ぶ）を特定する。
【００２１】
例えばアンケート用紙などのような定型文書の場合は、文書中の各記入欄の位置は固定であり、それら各記入欄の周囲のどの位置にどのような画像オブジェクトが存在するかは分かっている。記入欄に対して記入された記入内容画像は、例えばその記入欄の周囲近傍に画像オブジェクトがなければ隠されることがない。したがって、この場合には、記入内容画像が部分的に隠された文字である可能性は考慮する必要がない。また、記入欄の下方近傍に大きな、濃度が高い画像オブジェクトがあれば、その欄に対する記入内容画像の下部が部分的に隠れてしまうことを考慮する必要が出てくる。
【００２２】
例えば、図２に例示する定型文書には、テキスト記事１１や写真等の写真画像１２−１，１２−２，グラフィックス図形１３などの画像オブジェクト群と、記入欄１４−１，１４−２，…とがそれぞれ所定の位置に配置されている。例えば記入欄１４−１の下方近傍には写真画像１２−１が存在するので、記入欄１４−１の記入内容画像の下部が広い範囲にわたって写真画像１２−１により隠されてしまう可能性を考慮する必要がある。しかし記入欄１４−１の左右や上方は記入欄を示す括弧の線画やテキスト記事１１なので、仮に記入内容画像がそれらにより隠されるとしても、それは幅の細い線により隠されるだけなので、記入内容画像の形状特徴が変化するほど広い範囲にわたって隠されてしまう可能性は低い。細線幅で部分的に隠されただけなら、欠損線分補間などの公知の画像処理で隠された部分をほぼ復元できるので、隠されない場合と同等に扱うことができる。したがって、記入欄１４−１に対する記入内容の認識では、「丸印」や「バツ印」などの各カテゴリについて、それぞれそのカテゴリの文字がまったく隠されない場合（すなわちユーザが記入欄内に正しく収まるように文字を記入した場合）、及び下部が隠される場合に対応する各クラスを考慮すればよい。また、記入欄１４−２については、周囲近傍には記入欄を表す括弧の線があるのみ（上方の写真画像１２−１はその欄から遠すぎるとする）なので、文字がまったく隠されない場合に該当するクラスのみを考慮すればよい。
【００２３】
このように、定型文書のレイアウト又は画像の情報から、各記入欄に対する記入の認識には、どの部分が隠された状態のクラスを考慮すべきかが事前に分かる。従って、この場合は、判定情報記憶部１１４には、各カテゴリ中の多数のクラスの中からどのクラスを適用するのかを、記入欄ごとに示した判定情報を記憶しておけばよい。
【００２４】
また、別の例として、記入内容画像に対する周辺の画像オブジェクトの位置及び種類の組合せごとに、その組合せに対応する適用クラスを示した情報を判定情報記憶部１１４に記憶させておいてもよい。この例では、適用クラス判定部１１２は、例えば記入済み画像１０から抽出した記入内容画像の周囲近傍に画像オブジェクトがあるかどうかを調べ、あればその画像オブジェクトの位置と種類を判定し、その判定結果に対応する適用クラスを判定情報記憶部１１４中の情報から求める。この例は、記入内容画像の周囲近傍の画像オブジェクトについて事前の知識がない場合にも適用できる。
【００２５】
パターン認識部１１６は、公知のパターン認識処理を行うことで、適用クラス判定部１１２が判定した適用クラスの中から、記入内容画像に該当するクラスを判定する。この判定の際に、認識辞書１２０が参照される。
【００２６】
図３に認識辞書１２０のデータ内容の一例を示す。この例は、試験の採点のための丸印、三角印、バツ印の判別のための認識辞書の例である。この例では、丸、三角、バツのそれぞれのカテゴリについて、そのカテゴリに含まれる各クラスのクラスＩＤ（識別情報）とクラス判定情報とが含まれる。クラス判定情報は、パターン認識において、記入内容画像が当該クラスに属するかどうか判定する際の判定基準となる情報である。例えば、丸印の場合、様々な人が書いた丸印のサンプルを学習して得た丸印の特徴を表す特徴量がその一例である。丸印の下部が隠された場合のクラスについては、下部が隠された丸印の多数のサンプルから学習された特徴量をクラス判定情報として用いればよい。このような特徴量は「プロトタイプ」と呼ばれる。また、プロトタイプに加え学習サンプル群の分散を考慮する方法も知られており、この場合は分散に関する情報もクラス判定情報に含まれる。なお、クラス判定情報としてプロトタイプを用いるというのはあくまで一例に過ぎず、公知のパターン認識手法で用いられる他の判定情報を用いてもよい。例えば、クラスに該当するサンプル画像の集合自体を、そのクラスについてのクラス判定情報として用いてもよい。
【００２７】
なお、部分的に隠された状態に対応するクラスのクラス判定情報を作成するには、隠されていない状態の文字の各サンプル画像をそのクラスに対応した状態で部分的に隠した上で、学習を行えばよい。また、単に部分的に隠した状態のサンプル画像のクラスの他に、部分的に隠した結果生じたサンプル画像の端点同士を接続した画像も作成し、これらを学習することで端点接続を行った状態に対応する別のクラスの判定情報を生成してもよい。
【００２８】
そのような認識辞書１２０を用いて、パターン認識部１１６は、１以上の適用クラスの中から、対象の記入内容画像に最も近い１乃至複数のクラスを特定する。
【００２９】
カテゴリ判定部１１８は、パターン認識部１１６が特定したクラスがどのカテゴリに属するかを、認識辞書１２０を参照して判定する。例えば、記入内容画像がクラスＣ０３に最も近いとパターン認識部１１６が判定した場合、カテゴリ判定部１１８は、そのクラスＣ０３が属するカテゴリＣ（丸印）を、認識結果として求める。
【００３０】
以上、本実施形態の概要を説明した。次に、より具体的なシステムの例について説明する。
【００３１】
まず第１の例として、事前準備型の例を説明する。この例は、定型文書などのように記入内容がどのように隠される可能性があるかが事前に分かる文書に対する記入の認識のために用いられる。この例は、事前に分かる情報を用いて各記入欄についての適用クラスを事前に求めておき、実際のパターン認識時にその適用クラスの情報を利用するので、事前準備型と呼ぶ。この例を、図４〜図１０を参照して説明する。
【００３２】
図４は、この事前準備型のシステムの全体像を示す図である。図示のように、このシステムは、準備処理システム１３０と認識システム１５０とを備える。準備処理システム１３０は、前述の判定情報記憶部１１４を構築するための準備処理を実行するシステムである。この例では、判定情報記憶部１１４には、記入欄位置記憶部１４２と記入欄・クラス対応記憶部１４４とが含まれる（両者ともあとで詳述）。準備処理システム１３０は、記入前の定型文書の画像を解析することで、定型文書中の各記入欄についての適用クラスを特定し、記入欄・クラス対応記憶部１４４に登録する。記入欄位置記憶部１４２は、定形文書上での各記入欄の位置を記憶している。各記入欄の位置の情報は、ユーザが事前に求めて記入欄位置記憶部１４２に登録しておけばよい。
【００３３】
認識システム１５０は、準備処理システム１３０により構築された判定情報記憶部１１４を参照して、記入済み画像における記入内容のパターン認識を行う。
【００３４】
以下、準備処理システム１３０及び認識システム１５０の詳細な例について、順に説明する。
【００３５】
図５に準備処理システム１３０の詳細構成の例を示す。準備処理システム１３０は、定型文書の原本画像３０を読み込み、その原本画像３０の中の各記入欄について、その周辺に存在する画像オブジェクトを調べることで、当該記入欄の認識に適用すべきクラスを判定する。原本画像３０は、記入がまったくなされていない定型文書の原稿の画像である。
【００３６】
原本画像３０はこの機構中の画像入力部１３２に入力される。画像入力部１３２は、紙に印刷された原本画像３０を読み取るスキャナであってもよいし、原本画像３０の電子データを入力するインタフェースであってもよい。オブジェクト抽出部１３４は、入力された原本画像３０上に存在する文字列や写真、線画などの画像オブジェクトを、公知の技術により抽出する。このとき、オブジェクト抽出部１３４は、原本画像３０上での画像オブジェクトの位置も求める。画像オブジェクトの位置は、例えば、画像オブジェクトに外接する矩形（縦横の辺が原本画像３０の縦横の辺と並行なもの）の対角線の交点や、その矩形の対角線上の２点の座標の組などで表せばよい。
【００３７】
記入欄位置記憶部１４２には、図６に例示するように、原本画像３０上の記入欄ごとに、その記入欄の識別情報（記入欄ＩＤ）と原本画像３０上での位置が登録されている。記入欄の位置は、この例では、その記入欄の矩形範囲の右上隅と左下隅の２点の座標で表されている。
【００３８】
重複判定部１３６は、記入欄位置記憶部１４２に登録された記入欄ごとに、オブジェクト抽出部１３４が抽出した画像オブジェクトの中からその記入欄中の文字と重複する可能性のある画像オブジェクトを判定する。この処理では、例えば、記入欄の位置情報が示す記入欄の領域を所定倍率で拡大し、拡大された記入欄の領域と各画像オブジェクトとが位置的に重なるかどうかを判定する。この例では、記入欄の領域を拡大しておくことで、ユーザが記入欄から少しはみ出るように記入した場合に対応している。この判定で、それら記入欄の各々について、当該記入欄に対して位置的に重複する画像オブジェクトの種類（テキスト、線画、濃い写真画像、薄い写真画像など）や、その画像オブジェクトの当該記入欄に対する位置関係が特定できる。
【００３９】
選択規則記憶部１３９は、画像オブジェクトの種類と、記入欄と画像オブジェクトとの位置関係と、の組合せごとに、その組合せに該当する場合の適用クラスが記憶されている。図７に選択規則記憶部１３９が記憶する情報の一例を模式的に示す。厳密には、図７に示した表のうち、左端の列は具体的な重複の例を示すものであり、選択規則記憶部１３９には記憶されない。この列では、記入欄の範囲を、便宜上、破線の矩形で示している。選択規則記憶部１３９に記憶されるのは、「重複オブジェクト」と「認識に適用するクラス」（適用クラス）の列の情報である。
【００４０】
「重複オブジェクト」の欄には、重複オブジェクトの種類と位置（位置関係）の組合せが登録される。例えば、上から１番目の行の例は、例えば重複する画像オブジェクトが記入欄を示す括弧である場合の例である。この例では重複するオブジェクトの種類は、括弧なので「細い線分」であり、位置は記入欄の左右である。また、２番目の行は、記入欄の右上に濃い写真画像のオブジェクトが存在する場合に対応する。また、「認識に提供するクラス」の欄には、適用クラスのクラスＩＤが登録されている。図では、説明の便宜上、クラスＩＤの代わりに、クラスに対応する文字形状を示している。
【００４１】
例えば上から１番目の行の例では、重複するオブジェクトは細い線分だけなので、丸印、バツ印などの各カテゴリについて、それぞれ、画像オブジェクトにより隠蔽されない基本形のクラスのクラス判定情報が登録されている。一方、２番目の行の例では、記入欄の左上に濃い写真画像の領域があるので、記入欄に記入された文字の左上が隠される可能性を考慮する必要がある。したがって、２行目の場合の適用クラスには、カテゴリごとに、基本形のクラスに加え、そのカテゴリの文字の左上が隠されて欠けた場合に対応するクラスが登録される。４行目の例は、記入欄を囲む太線の矩形枠が存在する例である。矩形枠は、記入欄に対して上下左右にある太い線分と捉えられる。この場合、記入内容画像と画像オブジェクトである太い線分とが繋がった一連の文字画像と認識される場合がある。例えば、丸印が矩形枠の一部の辺を横切った場合には、丸印を構成する線と矩形枠の辺とが一体となった、例えば半月形の画像が記入内容画像と認識される場合がある。そこで、そのような半月形の画像に対応するクラスが、適用クラスに追加されている。
【００４２】
なお、記入欄の近傍にあるのが、記入内容画像がそのオブジェクトと重なったとしても記入内容画像が抽出できる程度の薄い写真画像オブジェクトである場合は、重複により記入内容画像が部分的に欠けることを考慮しなくてもよい。
【００４３】
オブジェクトが濃い写真画像であるか薄い写真画像であるかなどの種別判定は、（平均濃度を計算する等の）公知の技術で行える。
【００４４】
クラス対応情報登録部１３８は、重複判定部１３６の判定結果と選択規則記憶部１３９に記憶された情報とに基づき、各記入欄の適用クラスを判定し、判定した記入欄と適用クラスの対応関係を記入欄・クラス対応記憶部１４４に登録する。
【００４５】
例えば、重複判定部１３６が、ある記入欄の右上に濃い写真画像オブジェクトが重なると判定した場合、クラス対応情報登録部１３８は、記入欄・クラス対応記憶部１４４に対し、その記入欄のＩＤに対応づけて、図７の例の２行目の適用クラスの欄に登録されている各クラスのＩＤを登録する。図８に、記入欄・クラス対応記憶部１４４に記憶されたデータの一例を示す。”C01”、”T02”等はクラスのＩＤである。
【００４６】
以上のような処理を原本画像３０上のすべての記入欄について行うことで、各記入欄に対応する適用クラスの情報が記入欄・クラス対応記憶部１４４に蓄積されることになる。
【００４７】
以上、準備処理システム１３０について説明した。次に、図９及び図１０を参照して、認識システム１５０の詳細な例を説明する。
【００４８】
図９に例示した認識システム１５０は、画像入力部１５２，位置歪み補正部１５４，差分抽出部１５６，前処理部１６０，認識処理部１１０及び認識辞書１２０を含む。
【００４９】
認識の対象となる記入済み画像１０は、画像入力部１５２に入力される。記入済み画像は、原本画像３０に対してユーザが記入を行ったあとの画像である。画像入力部１５２は紙原稿を読み取るスキャナであってもよいし、画像データを入力するインタフェースであってもよく、準備処理システム１３０の画像入力部１３２と兼用してもよい。位置歪み補正部１５４は、入力された記入済み画像１０に対し、（原本画像３０との位置合わせのために）周知の位置ずれ補正や歪み補正を施す。差分抽出部１５６は、位置補正及び歪み補正が済んだ記入済み画像から原本画像を減算することで、ユーザの記入内容のみを示す差分画像を求める。前処理部１６０は、差分抽出部１５６が求めた差分画像に対し、後段のパターン認識に適した画像にするための前処理を施す。図示例では、前処理部１６０は、所定色画素抽出部１６２，欠損線分補間部１６４及び接触分離部１６６を含む。
【００５０】
所定色画素抽出部１６２は、差分画像から所定の色の画素のみを抽出する。これは、例えば試験答案の採点マークの認識を想定したものである。例えば、受験者が答案用紙に黒いペンで解答を記入し、採点者がその答案に対して赤いペンで丸印やバツ印等の採点マークを書き込んでいく典型的なケースでは、所定色画素抽出部１６２は、赤色の範囲に属する色を持つ画素を差分画像から抽出する。
【００５１】
欠損線分補間部１６４は、所定色画素抽出部１６２により抽出された所定色の画素からなる画像に対し、欠損線分補間を行う。欠損線分補間は、線分の欠損部分を保管する周知の処理である。これにより、線分の一部が読取ノイズや細線との交差などにより欠落した場合でもその部分が補間される。
【００５２】
接触分離部１６６は、欠損線分補間後の画像において、複数のオブジェクトに分離されるべき画像同士が接触しているのを分離するための処理を行う。この接触分離処理には公知の手法（例えば特開２００７−２４１３５７号公報参照）を用いることができるので、説明を省略する。
【００５３】
以上のような機能モジュールにより、前処理部１６０は、記入済み画像１０中の個々の採点マークの画像（前述の記入内容画像のこと）を求め、それら各画像を、その画像の記入済み画像１０上での位置を示す情報と対応づけて出力する。認識処理部１１０は、それら各記入内容画像がどのカテゴリに属するかを、認識辞書１２０を参照して判定する。
【００５４】
この認識処理部１１０の詳細な構成の例を図１０に示す。図１０の例において、正規化部１７２は、前処理部１６０から入力された個々の記入内容画像をそれぞれ正規化する。正規化は、画像のサイズや位置、傾き、線幅などを所定の基準に合わせるための周知の処理である。また、特徴量抽出部１７４が、正規化後の各記入内容画像のそれぞれについて、その画像の特徴量を求める。これは記入内容画像を、画像そのものではなく、その画像の特徴を表すパラメータの組（特徴量）に変換することで、情報圧縮を行う処理である。画像の特徴量やその求め方としては従来周知のものを用いればよい。
【００５５】
このような記入内容画像に対する処理に並行して、記入欄特定部１７６は、前処理部１６０から入力された各記入内容画像の位置の情報に基づき、各記入内容画像がどの記入欄に記入されたものかを特定する。この特定には、記入欄位置記憶部１４２内の情報を参照する。例えば、記入内容画像の位置と最も近い記入欄をその画像に対応する記入欄と判定し、その記入欄のＩＤを求めればよい。適用クラス判定部１１２は、記入内容画像ごとに、記入欄特定部１７６で特定された記入欄のＩＤに対応する各適用クラスのＩＤを、記入欄・クラス対応記憶部１４４から検索する。記入内容画像ごとに求められた各適用クラスのＩＤは、パターン認識部１１６に入力される。
【００５６】
パターン認識部１１６は、記入内容画像ごとにその画像がどのクラスに該当するかをパターン認識処理により求める。より具体的には、記入内容画像ごとに、適用クラス判定部１１２が求めたその記入内容画像に対応する各適用クラスのＩＤに対応するクラス判定情報を認識辞書１２０から求め、それら各適用クラスのクラス判定情報と、特徴量抽出部１７４が求めたその記入内容画像の特徴量に基づき、周知のパターン認識を行う。これにより、それら適用クラスの中から、その記入内容画像に最も近い１乃至複数のクラスを特定する。
【００５７】
カテゴリ判定部１１８は、特定されたクラスがどのカテゴリに属するかを認識辞書１２０（図３参照）から求める。求められたカテゴリ（図３の例では、丸、三角、バツの３つのいずれか）が、この認識システム１５０による記入内容画像の認識結果となる。
【００５８】
なお、以上では個々の記入内容画像の認識までを説明したが、そのあとにその認識結果を集計（例えば丸印の数を集計して点数を付けるなど）するなどの後処理が続いてもよい。
【００５９】
以上、事前準備型のシステムについて説明した。このシステムは、記入内容画像の近傍にどのような画像オブジェクトがあるかが事前に分かっている場合のものであった。これに対し、そのような事前知識がない場合にも適用可能な事前準備無しのシステムの例を、図１１及び図１２を参照して説明する。
【００６０】
このシステムでは、図４に例示した準備処理システム１３０のような機構は不要であり、認識システムのみを有すればよい。この場合の認識システムの全体構成は、例えば図９に示したものと同様でよいが、その中の認識処理部１１０の構成が事前準備型のシステムとは異なる。事前準備無しのシステムにおける認識処理部１１０の構成の例を図１１に示す。
【００６１】
図１１に例示する認識処理部１１０の内部構成のうち、端点抽出部１８０，接触判定部１８２、適用クラス判定部１８６、接触端点・クラス対応記憶部１４６を除いた残りの機能モジュールは、図１０に例示した事前準備型システムの認識処理部１１０内の同一符号のモジュールと同様のものである。
【００６２】
大略的にいえば、事前準備無しのシステムでは、事前準備型システムで準備処理システム１３０が行っていたのと似た処理を、（事前にではなく）記入内容画像の認識の際に実行する。ただし、事前処理の場合には実際の記入内容画像がないので記入欄と画像オブジェクトとの重複を調べていたのに対し、この例では実際の記入内容画像と画像オブジェクトとの重複を調べることができる。記入欄を調べていたのでは実際の記入内容画像がその欄に対して多少ずれても認識漏れがでないように、起こりうる画像オブジェクトによる部分的な隠れ状態をすべて適用クラスとして検査する必要があった。これに対し、この例では、記入内容画像と周囲の画像オブジェクトとの実際の重複状態に即したクラスのみを適用クラスとして検査すればよいので、よりよい絞込ができる。
【００６３】
この例では、端点抽出部１８０は、前処理部１６０から与えられた個々の記入内容画像から、端点を抽出する。画像からの端点抽出の仕方は周知なので説明は省略する。
【００６４】
接触判定部１８２は、端点抽出部１８０が抽出した記入内容画像の端点のうち、他の画像オブジェクトと接触している端点を特定する。検出した端点が他の画像オブジェクトと接しているかどうかは、その端点の位置と、原本画像３０から求められる各画像オブジェクトの位置との比較により判定できる。
【００６５】
適用クラス判定部１８６は、接触判定部１８２の判定結果に基づき、記入内容画像の認識の際に考慮すべきクラス、すなわち適用クラスを判定する。この判定では、接触端点・クラス対応記憶部１４６に記憶された情報を参照する。
【００６６】
接触端点・クラス対応記憶部１４６には、記入内容画像の端点のうち他の画像オブジェクトと接触する端点の位置に対応づけて、適用クラスが記憶されている。図１２にその記憶部１４６に記憶されるデータの一例を模式的に示す。厳密には、図１２に示した表のうち、左端の列は、各行が示すケースに対応する具体的な記入内容画像の例を示すものであり、接触端点・クラス対応記憶部１４６には記憶されない。接触端点・クラス対応記憶部１４６に記憶されるのは、「端点と他図形との接触」と「認識に適用するクラス」（適用クラス）の欄の情報である。「端点と他図形との接触」の欄には、記入内容画像中の端点のうち他の画像オブジェクトと接触している端点の位置が登録される。接触している端点の位置は、当該端点の記入内容画像内での位置のことであり、例えば、その端点が記入内容画像の上下左右のどの側にあるのかのことである。
【００６７】
例えば、図１２に示した表の左端の欄には、前処理部１６０から与えられる記入内容画像の例が示される。破線の矩形の内部の黒線の画像が記入内容画像である。１番上の行に示される例では、手書きの丸印全体が記入内容画像として切り出されている。この画像には、下方に２つの端点が存在するが、そのどちらも、他の画像オブジェクト（これは原本画像３０から求めておけばよい）とは接触していない。ここで、記入内容画像が他の画像オブジェクトに部分的に隠された場合は、記入内容画像にそのオブジェクトと接触する端点が存在するはずである。したがって、逆に言えば、図１２の１番上の行の記入内容画像は、他の画像オブジェクトで隠されていないことになる。このような場合は、図１２の表の右端の欄に示すように、各カテゴリの文字の基本形（欠落が一切ない状態）のクラスのみを適用クラスとすればよい。
【００６８】
一方、図１２の２番目の行の例では、前処理部１６０から与えられた記入内容画像は４つの端点を持っている。ここで、その記入内容画像の外接矩形（図中の破線矩形）の上方に画像オブジェクトがあり（図１２の表の中央欄の２行目を参照）、上方の２つの端点の位置がそのオブジェクトの領域に接していることが分かれば、それら２つの端点が端点抽出部１８０により抽出されることになる。この場合、それら２つの端点が当該記入内容画像における上方の端点であること、別観点からいえばその記入内容画像と重複する画像オブジェクトがその画像の外接矩形の上方にあること、が分かる。このように、記入内容画像の上方が隠されていることが分かるので、この場合、適用クラスには、各カテゴリについて、基本形のクラスに加え、上方が隠された状態に対応するクラスが追加されることになる。例えば、丸印のカテゴリについては、上部が欠けた円弧や、上部が欠けた半円形（端点接続が成されてしまう場合を考慮したもの）等のクラスが追加される。
【００６９】
適用クラス判定部１８６が判定した適用クラスはパターン認識部１１６に供給される。
【００７０】
パターン認識部１１６及びカテゴリ判定部１１８は、図１０の例における対応要素と同様の処理を行えばよい。
【００７１】
以上、本発明の実施形態を説明した。
【００７２】
記入内容画像のパターン認識に当たって他の画像オブジェクトにより起こり得る部分的な画像の欠落のケースをすべて考慮したのでは誤認識の可能性が高くなる。これに対し、本実施形態では、記入内容画像（又はそれが記入される記入欄）と周囲近傍の画像オブジェクトの位置関係に基づき、考慮すべきケースを絞り込んでいるので、誤認識の可能性を低減することができる。
【００７３】
以上に説明した各システムは、例えば、汎用のコンピュータに上述の各機能モジュールの処理を表すプログラムを実行させることにより実現される。ここで、コンピュータは、例えば、ハードウエアとして、図１３に示すように、ＣＰＵ１０００等のマイクロプロセッサ、ランダムアクセスメモリ（ＲＡＭ）１００２およびリードオンリメモリ（ＲＯＭ）１００４等のメモリ（一次記憶）、ＨＤＤ（ハードディスクドライブ）１００６を制御するＨＤＤコントローラ１００８、各種Ｉ／Ｏ（入出力）インタフェース１０１０、ローカルエリアネットワークなどのネットワークとの接続のための制御を行うネットワークインタフェース１０１２等が、たとえばバス１０１４を介して接続された回路構成を有する。また、そのバス１０１４に対し、例えばＩ／Ｏインタフェース１０１０経由で、ＣＤやＤＶＤなどの可搬型ディスク記録媒体に対する読み取り及び／又は書き込みのためのディスクドライブ１０１６、フラッシュメモリなどの各種規格の可搬型の不揮発性記録媒体に対する読み取り及び／又は書き込みのためのメモリリーダライタ１０１８、などが接続されてもよい。上に例示した各機能モジュールの処理内容が記述されたプログラムがＣＤやＤＶＤ等の記録媒体を経由して、又はネットワーク等の通信手段経由で、ハードディスクドライブ等の固定記憶装置に保存され、コンピュータにインストールされる。固定記憶装置に記憶されたプログラムがＲＡＭ１００２に読み出されＣＰＵ１０００等のマイクロプロセッサにより実行されることにより、上に例示した機能モジュール群が実現される。なお、それら機能モジュール群のうちの一部又は全部を、専用ＬＳＩ(Large Scale Integration)、ＡＳＩＣ（Application Specific Integrated Circuit、特定用途向け集積回路）又はＦＰＧＡ（Field Programmable Gate Array）等のハードウエア回路として構成してもよい。
【図面の簡単な説明】
【００７４】
【図１】実施形態の画像認識装置の一例を示す図である。
【図２】定型文書の記入済み画像の例と、そこから採点記号を抜き出した結果の画像の例を示す図である。
【図３】認識辞書のデータ内容の一例を模式的に示す図である。
【図４】事前準備型のシステムの全体像を示す図である。
【図５】事前準備型のシステムのうちの準備処理システムの詳細構成の例を示す図である。
【図６】記入欄位置記憶部が記憶するデータの例を示す図である。
【図７】選択規則記憶部が記憶する選択規則の例を示す図である。
【図８】記入欄・クラス対応記憶部が記憶するデータの例を示す図である。
【図９】認識システムの一例の全体構成の一例を示す図である。
【図１０】認識システムの認識処理部の内部構成の例を示す図である。
【図１１】事前準備無しのシステムにおける認識処理部の構成の例を示す図である。
【図１２】接触端点・クラス対応記憶部が記憶するデータの一例を示す図である。
【図１３】コンピュータのハードウエア構成の一例を示す図である。
【符号の説明】
【００７５】
１０  記入済み画像、１０２  記入抽出部、１１０  認識処理部、１１２  適用クラス判定部、１１４  判定情報記憶部、１１６  パターン認識部、１１８  カテゴリ判定部、１２０  認識辞書。
【図１】
2009223612.tif 000003
【図２】
2009223612.tif 000004
【図３】
2009223612.tif 000005
【図４】
2009223612.tif 000006
【図５】
2009223612.tif 000007
【図６】
2009223612.tif 000008
【図７】
2009223612.tif 000009
【図８】
2009223612.tif 000010
【図９】
2009223612.tif 000011
【図１０】
2009223612.tif 000012
【図１１】
2009223612.tif 000013
【図１２】
2009223612.tif 000014
【図１３】
2009223612.tif 000015