(57)【要約】【課題】  より高精度でかつ高速に帳票画像を認識することができる帳票認識装置及びその制御方法、プログラムを提供する。【解決手段】  認識対象の帳票画像を入力する。認識対象の帳票画像の形状特徴量で特定される該帳票画像の構成要素の内、隣接する構成要素同士が同一の色情報を有していると判定される場合、前記隣接する構成要素同士を統合する。統合処理後の帳票画像と、比較対象の登録帳票画像との類似度を算出する。その算出結果に基づいて、帳票画像に対応する登録帳票画像を決定する。【選択図】  図９
2005267408.tif 000002
【特許請求の範囲】
【請求項１】
複数の罫線で構成される帳票画像に対応する画像を登録帳票画像の中から認識する帳票認識装置であって、
認識対象の帳票画像を入力する入力手段と、
前記認識対象の帳票画像の形状特徴量で特定される該帳票画像の構成要素の内、隣接する構成要素同士が同一の色情報を有していると判定される場合、前記隣接する構成要素同士を統合する統合手段と、
前記統合手段による統合処理後の帳票画像と、比較対象の登録帳票画像との類似度を算出する算出手段と、
前記算出手段の算出結果に基づいて、前記帳票画像に対応する登録帳票画像を決定する決定手段と
を備えることを特徴とする帳票認識装置。
【請求項２】
前記算出手段は、形状特徴量と色情報に関し、前記統合処理後の帳票画像と前記比較対象の登録帳票画像との類似度を算出する
ことを特徴とする請求項１に記載の帳票認識装置。
【請求項３】
前記認識対象の帳票画像の形状特徴量と、前記比較対象の登録画像の形状特徴量との類似度が所定値以上であるか否かを判定する判定手段を更に備え、
前記判定手段による判定の結果、前記類似度が所定値以上である場合、前記統合手段及び前記算出手段を実行する
ことを特徴とする請求項１に記載の帳票認識装置。
【請求項４】
前記構成要素は、前記帳票画像を構成する罫線部分、前記罫線部分で囲まれるセル領域、前記セル領域内の文字領域のいずれかである
ことを特徴とする請求項１に記載の帳票認識装置。
【請求項５】
前記色情報は、前記帳票画像を構成する罫線部分、前記罫線部分で囲まれるセル領域、前記セル領域内の文字領域の文字画像の色である
ことを特徴とする請求項１に記載の帳票認識装置。
【請求項６】
前記認識対象の帳票画像の形状特徴量で特定される該帳票画像の構成要素の内、隣接する構成要素同士が同一の色情報を有しているか否かを判定する色情報判定手段を更に備え、
前記色情報判定手段は、隣接する構成要素同士の色情報の差が許容範囲内にある場合、前記隣接する構成要素同士が同一の色情報を有していると判定する
ことを特徴とする請求項１に記載の帳票認識装置。
【請求項７】
複数の罫線で構成される帳票画像に対応する画像を登録帳票画像の中から認識する帳票認識装置の制御方法であって、
認識対象の帳票画像を入力する入力工程と、
前記認識対象の帳票画像の形状特徴量で特定される該帳票画像の構成要素の内、隣接する構成要素同士が同一の色情報を有していると判定される場合、前記隣接する構成要素同士を統合する統合工程と、
前記統合工程による統合処理後の帳票画像と、比較対象の登録帳票画像との類似度を算出する算出工程と、
前記算出工程の算出結果に基づいて、前記帳票画像に対応する登録帳票画像を決定する決定工程と
を備えることを特徴とする帳票認識装置の制御方法。
【請求項８】
複数の罫線で構成される帳票画像に対応する画像を登録帳票画像の中から認識する帳票認識装置の制御を実現するプログラムであって、
認識対象の帳票画像を入力する入力工程のプログラムコードと、
前記認識対象の帳票画像の形状特徴量で特定される該帳票画像の構成要素の内、隣接する構成要素同士が同一の色情報を有していると判定される場合、前記隣接する構成要素同士を統合する統合工程のプログラムコードと、
前記統合工程による統合処理後の帳票画像と、比較対象の登録帳票画像との類似度を算出する算出工程のプログラムコードと、
前記算出工程の算出結果に基づいて、前記帳票画像に対応する登録帳票画像を決定する決定工程のプログラムコードと
を備えることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の罫線で構成される帳票画像に対応する画像を登録帳票画像の中から認識する帳票認識装置及びその制御方法、プログラムに関するものである。
【背景技術】
【０００２】
帳票を、あらかじめ登録されたフォーマットごとに自動分類する帳票認識は、大量の帳票の入力処理を行う上で大変有効な方法である。
【０００３】
この方法では、スキャナ等の読取部から読み取った帳票画像データから特徴量を抽出し、帳票書式データを生成する。そして、検索帳票（処理対象帳票）と登録帳票の書式データの類似度を算出し、類似度の最も高い登録帳票を、認識結果とするように構成されている。
【０００４】
また、現在は、カラー帳票も多く流通しているので、カラー帳票の高精度認識および処理時間短縮が求められている。
【０００５】
例えば、特許文献１では、多色帳票画像を、指定した色毎に範囲を指定して、その範囲位置と色とをフィールド毎にまとめた標準帳票を作成し、入力された帳票と比較、種類を判別している。
【０００６】
また、特許文献２では、罫線の形状の他に、文字列及び帳票の種別を特定するための色を用い、それら複数の特徴のある一つの特徴から帳票が特定できなかった場合、別の特徴を用いて帳票を認識するように構成されている。
【特許文献１】特開平９−１６７１４号公報
【特許文献２】特開２０００−２８５１９０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記特許文献１では、帳票を登録する際に事前に色範囲を指定しなくてはならないので、帳票認識の判別材料となる色情報の種類は限られる。
【０００８】
また、上記特許文献２では、形状が類似した帳票は色を使用することが可能であるものの、当初使用した特徴で判別できない帳票を、新たな特徴で判別するため、一つの類似度で判別できない。また、どの特徴から使用すべきかは判定できていない。
【０００９】
本発明は上記の課題に鑑みてなされたものであり、より高精度でかつ高速に帳票画像を認識することができる帳票認識装置及びその制御方法、プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明による帳票認識装置は以下の構成を備える。即ち、
複数の罫線で構成される帳票画像に対応する画像を登録帳票画像の中から認識する帳票認識装置であって、
認識対象の帳票画像を入力する入力手段と、
前記認識対象の帳票画像の形状特徴量で特定される該帳票画像の構成要素の内、隣接する構成要素同士が同一の色情報を有していると判定される場合、前記隣接する構成要素同士を統合する統合手段と、
前記統合手段による統合処理後の帳票画像と、比較対象の登録帳票画像との類似度を算出する算出手段と、
前記算出手段の算出結果に基づいて、前記帳票画像に対応する登録帳票画像を決定する決定手段と
を備える。
【００１１】
また、好ましくは、前記算出手段は、形状特徴量と色情報に関し、前記統合処理後の帳票画像と前記比較対象の登録帳票画像との類似度を算出する。
【００１２】
また、好ましくは、前記認識対象の帳票画像の形状特徴量と、前記比較対象の登録画像の形状特徴量との類似度が所定値以上であるか否かを判定する判定手段を更に備え、
前記判定手段による判定の結果、前記類似度が所定値以上である場合、前記統合手段及び前記算出手段を実行する。
【００１３】
また、好ましくは、前記構成要素は、前記帳票画像を構成する罫線部分、前記罫線部分で囲まれるセル領域、前記セル領域内の文字領域のいずれかである。
【００１４】
また、好ましくは、前記色情報は、前記帳票画像を構成する罫線部分、前記罫線部分で囲まれるセル領域、前記セル領域内の文字領域の文字画像の色である。
【００１５】
また、好ましくは、前記認識対象の帳票画像の形状特徴量で特定される該帳票画像の構成要素の内、隣接する構成要素同士が同一の色情報を有しているか否かを判定する色情報判定手段を更に備え、
前記色情報判定手段は、隣接する構成要素同士の色情報の差が許容範囲内にある場合、前記隣接する構成要素同士が同一の色情報を有していると判定する。
【００１６】
上記の目的を達成するための本発明による帳票認識装置の制御方法は以下の構成を備える。即ち、
複数の罫線で構成される帳票画像に対応する画像を登録帳票画像の中から認識する帳票認識装置の制御方法であって、
認識対象の帳票画像を入力する入力工程と、
前記認識対象の帳票画像の形状特徴量で特定される該帳票画像の構成要素の内、隣接する構成要素同士が同一の色情報を有していると判定される場合、前記隣接する構成要素同士を統合する統合工程と、
前記統合工程による統合処理後の帳票画像と、比較対象の登録帳票画像との類似度を算出する算出工程と、
前記算出工程の算出結果に基づいて、前記帳票画像に対応する登録帳票画像を決定する決定工程と
を備える。
【００１７】
上記の目的を達成するための本発明によるプログラムは以下の構成を備える。即ち、
複数の罫線で構成される帳票画像に対応する画像を登録帳票画像の中から認識する帳票認識装置の制御を実現するプログラムであって、
認識対象の帳票画像を入力する入力工程のプログラムコードと、
前記認識対象の帳票画像の形状特徴量で特定される該帳票画像の構成要素の内、隣接する構成要素同士が同一の色情報を有していると判定される場合、前記隣接する構成要素同士を統合する統合工程のプログラムコードと、
前記統合工程による統合処理後の帳票画像と、比較対象の登録帳票画像との類似度を算出する算出工程のプログラムコードと、
前記算出工程の算出結果に基づいて、前記帳票画像に対応する登録帳票画像を決定する決定工程のプログラムコードと
を備える。
【発明の効果】
【００１８】
本発明によれば、より高精度でかつ高速に帳票画像を認識することができる帳票認識装置及びその制御方法、プログラムを提供できる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００２０】
[実施形態１]
図１は本発明を実施形態１の帳票認識装置の構成を示すブロック図である。
【００２１】
尚、ここで帳票とは、複数の罫線によって囲まれる領域が、複数個配置されて構成される画像を示すものである。
【００２２】
１０１はＣＰＵであり、ＲＯＭ１０２に格納されている制御プログラムに従って本装置全体の制御を行う。１０２はＲＯＭであり、ＣＰＵ１０１が実行する後述するフローチャートに示す処理等の制御プログラムを含む各種プログラムや各種パラメータデータを格納する。
【００２３】
１０３はＲＡＭであり、帳票画像等の画像や各種情報を記憶する。また、ＲＡＭ１０３は、データの作業領域や一時待避領域として機能する。１０４は外部記憶装置であり、登録画像（帳票画像）を管理するデータベースを含む各種データを記憶する。また、外部記憶装置１０４は、例えば、ハードディスクやＣＤ−ＲＯＭ等で構成される。１０５はディスプレイであり、例えば、ＬＣＤやＣＲＴで構成される。
【００２４】
１０６はキーボードである。１０７はポインティングデバイスであり、例えば、マウスやペンタブレット等で構成される。１０８はカラー画像を入力することが可能なスキャナであり、画像（例えば、帳票）を光学的に読み取り、その画像データを取得する。また、スキャナ１０８には、必要に応じてＡＤＦ（オードドキュメントフィーダ：自動原稿給紙部）が構成されていても良い。
【００２５】
尚、本発明は汎用的なコンピュータでも実施可能であり、その場合、記憶媒体に記憶される制御プログラムを外部記憶装置１０４に記憶し、オペレータの指示等によりＣＰＵ１０１で実行するように構成されてもよい。
【００２６】
１０９はネットワークインターフェース（Ｉ／Ｆ）であり、ネットワーク上に接続されている外部装置（例えば、サーバ、外部記憶装置等）と通信し、プログラムやデータを読み込んだり、書き込んだりする。
【００２７】
尚、ネットワークは、典型的にはインターネットやＬＡＮやＷＡＮや電話回線、専用デジタル回線、ＡＴＭやフレームリレー回線、通信衛星回線、ケーブルテレビ回線、データ放送用無線回線等のいずれか、またはこれらの組み合わせにより実現されるいわゆる通信ネットワークであり、データの送受信が可能であれば良い。
【００２８】
また、スキャナ１０８やディスプレイ１０５は、ネットワークインターフェース１０９を介して接続されて構成されていても良い。
【００２９】
次に、図１の帳票認識装置における帳票登録処理について、図２を用いて説明する。
【００３０】
図２は本発明の実施形態１の帳票認識装置における帳票登録処理を示すフローチャートである。
【００３１】
まず、ステップＳ２０１で、スキャナ１０８から登録対象の画像（例えば、帳票画像）を入力する。ステップＳ２０２で、入力画像の形状に関する形状特徴量抽出を行う。ここで、形状特徴量としては、例えば、帳票画像内にある表枠の大きさ、位置、数、あるいは、表枠内のセル領域の数等の帳票画像を構成する構成要素に関する情報である。
【００３２】
次に、ステップＳ２０３で、抽出した形状特徴量によって特定される入力画像の形状（構成要素）を形状データとして、その入力画像と対応づけて外部記憶装置１０４に登録する。
【００３３】
ステップＳ２０４で、入力画像がカラー画像であるか否かを判定する。入力画像がカラー画像でない場合（ステップＳ２０４でＮＯ）、処理を終了する。一方、入力画像がカラー画像である場合（ステップＳ２０４でＹＥＳ）、ステップＳ２０５に進む。
【００３４】
ステップＳ２０５で、入力画像であるカラー画像と、ステップＳ２０３で登録した形状データに基づいて、入力画像の各構成要素と色情報を抽出する。
【００３５】
尚、色情報としては、例えば、ＲＧＢ値で表現される色とするが、それ以外にも輝度情報や濃度情報を色情報として抽出しても良い。
【００３６】
ステップＳ２０６で、入力画像の各構成要素において、位置が隣接していて、なおかつ同一の色情報を持つ構成要素を統合し、一つの統合構成要素を生成する。
【００３７】
ステップＳ２０７で、統合構成要素あるいは各構成要素毎の色情報を色情報データとして、その入力画像と対応づけて外部記憶装置１０４に登録する。
【００３８】
以上の処理によって、外部記憶装置１０４には、入力画像と対応する形状データとが少なくとも対応づけて登録され、加えて、入力画像がカラー画像である場合には、更に、その色情報データが対応づけて登録される。
【００３９】
次に、ステップＳ２０５の色情報抽出処理の具体例について、図３〜図６を用いて説明する。
【００４０】
図３は本発明の実施形態１の入力画像の一例を示す図である。
【００４１】
図３において、３０１は表枠の枠線（罫線）であり、破線で示す矩形３０２が表要素（罫線部分で囲まれる）を構成するセル領域である。この例では、９個のセル領域３０２が存在している。また、各セル領域３０２には文字画像で構成される文字領域が存在することがあり、図３では、矩形３０３が文字領域を示している。この例では、７個の文字領域３０３が存在している。
【００４２】
次に、この図３の入力画像を用いて、ステップＳ２０５の色情報抽出処理の詳細について、図４〜図６を用いて説明する。
【００４３】
特に、実施形態１では、ステップＳ２０５の色情報抽出処理として、帳票画像を構成する表中のセル領域の色情報を抽出するセル領域色情報抽出処理（図４）、セル領域内の文字領域の色情報を抽出する文字領域色情報抽出処理（図５）、表を構成する罫線の色情報を抽出する罫線色情報抽出処理を実行する。
【００４４】
まず、セル領域色情報抽出処理について、図４を用いて説明する。
【００４５】
図４は本発明の実施形態１のセル領域色情報抽出処理を示すフローチャートである。
【００４６】
ステップＳ４０１で、入力画像（カラー画像）内の表枠内に存在するセル領域中に存在する文字領域を削除する。例えば、図３の右端のセル領域３０２では、その内部にある文字領域３０３（「２００３」）を削除する。
【００４７】
ステップＳ４０２で、文字領域が削除されたセル領域を構成するセル領域画像の各画素の色情報の平均値（第１平均値）を算出する。そして、この第１平均値を、そのセル領域画像の色情報（セル色）とする。
【００４８】
以上の処理を、入力画像中に存在する各セル領域に対して実行する。
【００４９】
次に、文字領域色情報抽出処理について、図５を用いて説明する。
【００５０】
図５は本発明の実施形態１の文字領域色情報抽出処理を示すフローチャートである。
【００５１】
ステップＳ５０１で、入力画像であるカラー画像と、文字領域を１とし、残りの背景部を０とした場合の二値画像の文字領域と論理積を取る。ステップＳ５０２で、論理積によって得られる画像、つまり、文字領域中の文字領域画像に対応するカラー画像の色情報の平均値（第２平均値）を算出する。そして、この第２平均値を、その文字領域画像の色情報（文字色）とする。
【００５２】
以上の処理を、入力画像中に存在する各文字領域に対して実行する。
【００５３】
次に、罫線色情報抽出処理について、図６を用いて説明する。
【００５４】
図６は本発明の実施形態１の罫線色情報抽出処理を示すフローチャートである。
【００５５】
ステップＳ６０１で、入力画像中の表からセル領域（文字領域を含む）を削除する。ステップＳ６０２で、得られる表画像（罫線部分画像）の画素の色情報の平均値（第３平均値）を算出する。そして、この第３平均値を、その罫線部分画像の色情報（罫線色）とする。
【００５６】
尚、この処理は、入力画像中のすべての罫線部分全体に実行しても良いし、セル領域を構成する罫線部分領域毎に実行しても良い。
【００５７】
次に、ステップＳ２０６の処理の詳細について、図７を用いて説明する。
【００５８】
図７は本発明の実施形態１のステップＳ２０６の処理の詳細を示すフローチャートである。
【００５９】
ステップＳ７０１で、処理対象の構成要素を選択し、それに隣接する構成要素の色情報が同一であるか否かを判定する。色情報が同一でない場合（ステップＳ７０１でＮＯ）、ステップＳ７０３に進む。一方、色情報が同一である場合（ステップＳ７０３でＹＥＳ）、ステップＳ７０２に進む。
【００６０】
ステップＳ７０２で、処理対象の構成要素と判定対象の構成要素（つまり、処理対象の構成要素に隣接する構成要素）同士を統合する。ここで、構成要素とは、表枠内のセル領域、文字領域、罫線枠部分のいずれかであり、ステップＳ７０１では、これらのいずれかの構成要素毎にその色情報を比較することになる。
【００６１】
尚、色情報が全く同一である可能性は低いので、この色情報の比較には、オフセット値（許容範囲値）を設定しておき、色情報の差がそのオフセット値に含まれる場合には、同一であると判定する。
【００６２】
ステップＳ７０３で、画像中のすべての構成要素に対して、ステップＳ７０１の処理が完了したか否かを判定する。完了していない場合（ステップＳ７０３でＮＯ）、ステップＳ７０１に戻り、未処理の構成要素を選択して、すべての構成要素に対して処理が完了するまで、ステップＳ７０１〜ステップＳ７０３の処理を繰り返す。一方、完了している場合（ステップＳ７０３でＹＥＳ）、処理を終了する。
【００６３】
ここで、図７の処理の具体例について、図８を用いて説明する。
【００６４】
図８は本発明の実施形態１のステップＳ２０６の処理の具体例を説明するための図である。
【００６５】
図８（ａ）は、ステップＳ２０６の処理前の画像の一例であり、ここでは、８０１〜８０９のセル領域が存在している。また、セル領域８０１〜８０３は同一色、セル領域８０４及び８０５は同一色、セル領域８０６〜８０９は同一色であるとする。
【００６６】
この図８（ａ）の画像にステップＳ２０６の処理を適用すると、図８（ｂ）のようになる。
【００６７】
図８（ｂ）に示されるように、セル領域８０１〜８０３、セル領域８０４及び８０５、セル領域８０６〜８０９はそれぞれ同一色であるので、それぞれ統合されてセル領域９０１、９０２、９０３が生成されることがわかる。
【００６８】
次に、検索対象の画像に対応する画像を登録画像（帳票）群の中からを検索する検索処理（帳票認識処理）について、図９を用いて説明する。
【００６９】
図９は本発明の実施形態１の帳票認識装置における検索処理を示すフローチャートである。
【００７０】
ステップ９０１で、スキャナ１０８から検索対象の画像（例えば、帳票画像）を入力する。ステップＳ９０２で、入力画像の形状に関する形状特徴量抽出を行う。尚、ここでの形状特徴量抽出は、図３のステップＳ２０２と同様である。但し、ここでは、抽出した形状特徴量は、入力画像の形状データとして一時的にＲＡＭ１０３に記憶する。
【００７１】
ステップＳ９０３で、入力画像がカラー画像であるか否かを判定する。カラー画像でない場合（ステップＳ９０３でＮＯ）、ステップＳ９０６に進む。一方、カラー画像である場合（ステップＳ９０３でＹＥＳ）、ステップＳ９０４に進む。
【００７２】
ステップＳ９０４で、入力画像であるカラー画像と、ＲＡＭ１０３に一時記憶した形状データに基づいて、入力画像の各構成要素と色情報を抽出する。ステップＳ９０５で、入力画像の各構成要素において、位置が隣接していて、なおかつ同一の色情報を持つ構成要素を統合し、一つの統合構成要素を生成する。
【００７３】
ステップＳ９０６で、入力画像と、複数の登録画像中の比較対象の登録画像との間で、形状データに基づく類似度（第１類似度）を算出する。ステップＳ９０７で、入力画像と比較対象の登録画像がともに色情報を有しているか否かを判定する。色情報を有していない場合（ステップＳ９０７でＮＯ）、ステップＳ９０９に進む。一方、色情報を有している場合（ステップＳ９０７でＹＥＳ）、ステップＳ９０８に進む。
【００７４】
尚、ステップＳ９０７の判定では、入力画像と登録画像のどちらかが二値画像あるいは、どちらも二値画像である場合には、ステップＳ９０９に進むことになる。
【００７５】
ステップＳ９０８で、入力画像と比較対象の登録画像との構成要素同士の間で、色情報に基づく類似度（第２類似度）を算出する。特に、ここでは、算出した第２類似度を、ステップＳ９０６で算出した第１類似度に加算する。
【００７６】
尚、ステップＳ９０８での第２類似度の算出は、色情報が同一である場合にのみ実行するようにしても良い。
【００７７】
また、入力画像の印刷状態やスキャナの読取条件により、入力画像と比較対象の登録画像間で色情報が全く同一になる可能性は低いため、ある程度の誤差範囲（オフセット値）を持たせて、この誤差範囲内で、同一であるか否かの判定を行うようにしても良い。
【００７８】
また、第２類似度は、実験的に最適値が算出されるものであるが、例えば、形状による第１類似度の最大値に対し、その最大値が０．２となるようにしておき、処理対象の構成要素の内、一致した色の割合を乗じた値を第１類似度に加算する第２類似度（加算値）とする。また、この加算値は、構成要素であるセル領域、文字領域や罫線部分の種類に応じて、算出する類似度の重み付けを行うようにしても良い。
【００７９】
ステップＳ９０９で、すべての登録画像と類似度算出のための比較が終了したか否かを判定する。終了していない場合（ステップＳ９０９でＮＯ）、ステップＳ９０６に戻る。一方、終了している場合（ステップＳ９０９でＹＥＳ）、ステップＳ９１０に進む。
【００８０】
ステップＳ９１０で、各登録画像に対して算出した類似度をソートして、最大類似度の登録画像を入力画像に対応する認識結果として決定する。
【００８１】
尚、最大類似度があらかじめ定められた閾値に達しない場合は、入力画像に対応する登録画像がないとして、その旨を通知するようにしても良い。あるいは、最大類似度から上位３個までの登録画像を、入力画像に対応する認識結果候補として出力し、最終的にオペレータに選択させるようにしても良い。
【００８２】
以上説明したように、実施形態１によれば、登録処理では、処理対象となる入力画像の構成要素毎に色情報を抽出して、その抽出した色情報が隣接する構成要素同士で同一であると判定される場合には、それらの構成要素を統合して登録する。これにより、登録画像に関する情報の情報量を削減することができる。
【００８３】
一方、入力画像に対応する画像を登録画像群から検索する検索処理（認識処理）においては、その入力画像の形状特徴量に加えて、色情報に関する登録画像との類似度を算出することで、より高精度に画像検索（画像認識）を行うことが可能である。
【００８４】
また、類似度算出時には、色情報が同一である判定される構成要素についてはその構成要素を統合した上で、類似度算出を実行する。これにより、類似度算出に係る比較演算回数が低減することができる。
【００８５】
［実施形態２］
実施形態１では、検索処理において、登録画像中のすべての登録画像に対して、入力画像との色情報に関する類似度算出処理を実行する構成としているが、比較対象の登録画像の形状が、入力画像の形状と類似していない場合は、その色情報も類似していなかったり、共通する構成要素がない可能性が高い。そのため、このような登録画像に対して、入力画像との色情報に関する類似度算出処理を実行しても、その登録画像との類似度は低く、最終的な入力画像に対応する登録画像となることは低いので、この色情報に関する類似度算出処理そのものが冗長となる。
【００８６】
そこで、実施形態２では、比較対象の登録画像に対し、入力画像との形状データに基づく類似度が閾値以上でない場合には、その登録画像との色情報に関する類似度算出処理を禁止（省略）して、処理の冗長性を軽減し、かつ処理速度及び精度を向上させる構成について説明する。
【００８７】
以下、実施形態２の帳票認識装置における検索処理について、図１０を用いて説明する。
【００８８】
図１０は本発明の実施形態２の帳票認識装置における検索処理を示すフローチャートである。
【００８９】
尚、図１０において、ステップＳ１００１、ステップＳ１００２及びステップＳ１００８〜ステップＳ１０１０は、図９のステップＳ９０１、ステップＳ９０２及びステップＳ９０８〜ステップＳ９１０に対応するので、その説明は省略する。
【００９０】
ステップＳ１００１及びステップＳ１００２の処理後、ステップＳ１００３で、入力画像と、複数の登録画像中の比較対象の登録画像との間で、形状データに基づく類似度（第１類似度）を算出する。
【００９１】
ステップＳ１００４で、第１類似度が閾値以上であるか否かを判定する。所定値（閾値）未満である場合（ステップＳ１００４でＮＯ）、次の比較対象の登録画像を選択するために、ステップＳ１００９に進む。一方、第１類似度が閾値以上である場合（ステップＳ１００４でＹＥＳ）、ステップＳ１００５に進む。
【００９２】
ステップＳ１００５で、入力画像と比較対象の登録画像がともに色情報を有しているか否かを判定する。色情報を有していない場合（ステップＳ１００５でＮＯ）、ステップＳ１００９に進む。一方、色情報を有している場合（ステップＳ１００５でＹＥＳ）、ステップＳ１００６に進む。
【００９３】
ステップＳ１００６で、入力画像であるカラー画像と、ＲＡＭに一時記憶した形状データに基づいて、入力画像の各構成要素と色情報を抽出する。ステップＳ１００７で、入力画像の各構成要素において、位置が隣接していて、なおかつ同一の色情報を持つ構成要素を統合し、一つの統合構成要素を生成する。
【００９４】
その後、ステップＳ１００８〜ステップＳ１０１０の処理を実行する。但し、実施形態２のステップＳ１０１０では、第２類似度を算出した登録画像のみに対して処理を実行することになる。これにより、より入力画像に候補となる登録画像の検索精度を向上することができる。
【００９５】
以上説明したように、実施形態２によれば、実施形態１で説明した効果に加えて、入力画像に候補となる可能性の低い登録画像に対しては、色情報に基づく類似度算出処理を禁止するように処理を実行するので、装置の処理負荷を軽減するとともに、処理速度を向上させることができる。
【００９６】
以上、実施形態例を詳述したが、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００９７】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００９８】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【０１００】
プログラムを供給するための記録媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【０１０１】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【０１０２】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【０１０３】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【０１０４】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【０１０５】
【図１】本発明を実施形態１の帳票認識装置の構成を示すブロック図である。
【図２】本発明の実施形態１の帳票認識装置における帳票登録処理を示すフローチャートである。
【図３】本発明の実施形態１の入力画像の一例を示す図である。
【図４】本発明の実施形態１のセル領域色情報抽出処理を示すフローチャートである。
【図５】本発明の実施形態１の文字領域色情報抽出処理を示すフローチャートである。
【図６】本発明の実施形態１の罫線色情報抽出処理を示すフローチャートである。
【図７】本発明の実施形態１のステップＳ２０６の処理の詳細を示すフローチャートである。
【図８】本発明の実施形態１のステップＳ２０６の処理の具体例を説明するための図である。
【図９】本発明の実施形態１の帳票認識装置における検索処理を示すフローチャートである。
【図１０】本発明の実施形態２の帳票認識装置における検索処理を示すフローチャートである。
【符号の説明】
【０１０６】
１０１  ＣＰＵ
１０２  ＲＯＭ
１０３  ＲＡＭ
１０４  外部記憶装置
１０５  ディスプレイ
１０６  キーボード
１０７  ポインティングデバイス
１０８  スキャナ部
１０９  ネットワークインターフェース
【図１】
2005267408.tif 000003
【図２】
2005267408.tif 000004
【図３】
2005267408.tif 000005
【図４】
2005267408.tif 000006
【図５】
2005267408.tif 000007
【図６】
2005267408.tif 000008
【図７】
2005267408.tif 000009
【図８】
2005267408.tif 000010
【図９】
2005267408.tif 000011
【図１０】
2005267408.tif 000012