(57)【要約】【課題】処理負荷の重い条件で検索処理を行う前に、処理負荷の軽い条件であらかじめ検索対象を絞り込むプリサーチに関する技術が提案されているが、業務文書の増加で肥大化するデータベースを検索するには十分でなかった。【解決手段】文書画像を部分領域に領域分割し、前記部分領域の属性を判定し、入力画像と登録画像について、前記属性毎の部分領域の数に基づいて登録画像を選択することで検索対象を絞り込む。【選択図】      図２
2004355370.tif 000002
【特許請求の範囲】
【請求項１】
文書画像を部分領域に領域分割する領域分割手段と、
前記部分領域の属性を判定する属性判定手段と、
入力画像と登録画像について、前記属性毎の部分領域の数に基づいて登録画像を選択する画像選択手段とを有することを特徴とする文書処理装置。
【請求項２】
前記属性判定手段は、前記部分領域を少なくとも文字領域又は画像領域と判定し、
前記画像選択手段は、入力画像の文字領域と同数の文字領域を含み且つ入力画像の画像領域と同数の画像領域を含む登録画像を選択することを特徴とする請求項１記載の文書処理装置。
【請求項３】
前記属性判定手段は、前記部分領域を少なくとも文字領域又は画像領域と判定し、
前記画像選択手段は、入力画像の文字領域数に対し許容数を考慮した数の文字領域を含み且つ入力画像の画像領域数に対し許容数を考慮した数の画像領域を含む登録画像を選択することを特徴とする請求項１記載の文書処理装置。
【請求項４】
前記領域分割手段により分割された部分領域から外形特徴量を抽出する部分領域外形特徴量抽出手段と、
入力画像の部分領域と登録画像の部分領域の前記外形特徴量の類似度を算出する外形特徴量類似度算出手段を更に有し、
前記属性判定手段は前記部分領域を少なくとも文字領域又は画像領域と判定し、
前記画像選択手段は、入力画像の文字領域との外形特徴量類似度がある閾値を超える文字領域を同数含み且つ入力画像の画像領域との外形特徴量類似度がある閾値を超える画像領域を同数含む登録画像を選択することを特徴とする請求項１記載の文書処理装置。
【請求項５】
前記領域分割手段により分割された文字領域と画像領域から外形特徴量を抽出する部分領域外形特徴量抽出手段と、
入力画像の部分領域と登録画像の部分領域の前記外形特徴量の類似度を算出する外形特徴量類似度算出手段を更に有し、
前記属性判定手段は部分領域を少なくとも文字領域又は画像領域と判定し、
前記画像選択手段は、入力画像の文字領域との外形特徴量類似度がある閾値を超える文字領域を許容数を考慮した数で含み且つ入力画像の画像領域との外形特徴量類似度がある閾値を超える画像領域を許容数を考慮した数で含む登録画像を選択することを特徴とする請求項１記載の文書処理装置。
【請求項６】
画像領域の類似度を算出する画像領域類似度算出手段と、
文字領域の類似度を算出する文字領域類似度算出手段と、
前記領域分割手段により分割された部分領域から外形特徴量を抽出する部分領域外形特徴量抽出手段と、
入力画像の部分領域と登録画像の部分領域の前記外形特徴量の類似度を算出する外形特徴量類似度算出手段とを更に有し、
前記属性判定手段は前記部分領域を少なくとも文字領域又は画像領域と判定し、
前記文字領域類似度算出手段は前記画像選択手段により選択された登録画像の文字領域と入力画像の文字領域の外形特徴量類似度がある閾値を超える場合に文字領域の類似度を算出し、
前記画像領域算出手段は前記画像選択手段により選択された登録画像の画像領域と入力画像の画像領域の外形特徴量類似度がある閾値を超える場合に画像領域の類似度を算出することを特徴とする請求項１記載の文書処理装置。
【請求項７】
前記画像選択手段で選択された登録画像から入力画像と類似する画像を検索する検索手段を更に有し、
前記属性判定手段は前記部分領域を少なくとも文字領域又は画像領域と判定し、
前記画像選択手段は、まず入力画像の文字領域と同数の文字領域を含み且つ入力画像の画像領域と同数の画像領域を含む登録画像を選択し、該登録画像に対し前記検索手段を適用した結果該当するものが無い場合に、前記画像選択手段は入力画像の文字領域数に対し許容数を考慮した数の文字領域を含み且つ入力画像の画像領域数に対し許容数を考慮した数の画像領域を含む登録画像を選択し、該登録画像に対し前記検索手段を適用した結果該当するものが無い場合に、前記許容数を増加して入力画像の文字領域数に対し許容数を考慮した数の文字領域を含み且つ入力画像の画像領域数に対し許容数を考慮した数の画像領域を含む登録画像を選択し、該登録画像に対し前記検索手段を適用した結果該当するものが検索されるまで且つ前記許容数が予め定められた数に達するまで許容数を増加して再帰的に処理を行うことを特徴とする請求項１記載の文書処理装置。
【請求項８】
文書画像を部分領域に領域分割する領域分割ステップと、
前記部分領域の属性を判定する属性判定ステップと、
入力画像と登録画像について、前記属性毎の部分領域の数に基づいて登録画像を選択する画像選択ステップとを有することを特徴とする文書処理方法。
【請求項９】
請求項８に記載の文書処理方法に設けられている各ステップをコンピュータに実行させるためのプログラムコードから成ることを特徴とするコンピュータ読み取り可能な制御プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文書を検索するために検索対象を絞り込むための処理に関するものである。
【０００２】
【従来の技術】
従来、処理負荷の重い条件で検索処理を行う前に、処理負荷の軽い条件で予め検索対象を絞り込むプリサーチに関する技術がいくつか提案されている。
【０００３】
特許公報１は予めデータベース内の文書をその領域数と共に保存しておき、入力画像を領域分割して領域の数を算出し、まず領域の数が一致するもので検索対象を絞り込み、それから特徴量の比較を行うものであり、非常に軽い処理で絞込みが行える。
【０００４】
【特許文献１】
特開２００１−３１９２３１号公報
【０００５】
【発明が解決しようとする課題】
しかしながら、業務文書の増加などで肥大化するデータベースを検索するためには、上記従来技術による絞込みでは不十分であり、更に高精度な絞込み技術が求められている。また上記従来技術では領域分割処理における領域検出し損ねや領域の過検出に対する配慮が見られないため、検索漏れが生じてしまう恐れがあった。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明では、文書画像を部分領域に領域分割する領域分割手段と、前記部分領域の属性を判定する属性判定手段と、入力画像と登録画像について、前記属性毎の部分領域の数に基づいて登録画像を選択する画像選択手段とを有することを特徴とする文書処理装置を提供する。
【０００７】
また、本発明では、文書画像を部分領域に領域分割する領域分割ステップと、前記部分領域の属性を判定する属性判定ステップと、入力画像と登録画像について、前記属性毎の部分領域の数に基づいて登録画像を選択する画像選択ステップとを有することを特徴とする文書処理方法を提供する。
【０００８】
また、本発明では、前記文書処理方法に設けられている各ステップをコンピュータに実行させるためのプログラムコードから成ることを特徴とするコンピュータ読み取り可能な制御プログラムを提供する。
【０００９】
【発明の実施の形態】
以下本発明の一実施例について、文書検索を実行する文書処理装置の説明を詳細に行う。
【００１０】
〔装置構成〕
本願発明の実施の形態について説明する。図１は本願発明にかかる文書処理装置の構成例を示す図である。
【００１１】
同図において、１０１はＣＰＵであり、本実施の検索方法を用いた検索装置における各種演算・制御を実行する。１０２はＲＯＭであり、装置の立ち上げ時に実行するブートプログラムや各種の固定データを格納する。１０３はＲＡＭであり、ＣＰＵ１０１が処理するための制御プログラムを格納すると共に、ＣＰＵ１０１が各種制御を実行する際の作業領域を提供する。例えば、ＲＡＭ１０３は本発明の処理を行うプログラム１０３本体を格納するほか、領域分割モジュールや領域比較モジュールや検索結果総合判定モジュールなどを記憶するほか、画像入力を行う際の画像を一時格納する画像メモリとしても使用する。
【００１２】
１０４はキーボード、１０５はマウスであり、ユーザによる処理モード指定等の各種入力操作環境を提供する。１０６は外部記憶装置であり、ハードディスクやフロッピー（登録商標）ディスク、ＣＤ−ＲＯＭ等で構成され、例えば、以下に説明する画像管理ＤＢや画像領域管理ＤＢや文字領域管理ＤＢや画像データを蓄積するスペースとして用いる。１０７は液晶ディスプレイやＣＲＴ等の表示装置である。１０８はネットワークインターフェースであり、ネットワーク上の各機器との通信を可能とする。１０９はインターフェース、１１０はイメージスキャナやデジタルカメラなどの画像入力装置である。また、１１１は上記の各構成を接続するバスである。
【００１３】
図２は本実施の形態の画像検索処理装置の類似比較機能の構成を示すブロック図である。
【００１４】
同図において、２０１はユーザインターフェース部であり、表示装置１０７、キーボード１０４及びマウス１０５を用いてユーザからの各種操作入力を検出し、画像登録処理か類似画像検索処理であるかの処理分岐も行う。
【００１５】
２０２は画像入力手段であり、画像入力のための画像入力装置１１０による画像の取り込みを行う。２０３は画像記憶制御手段であり、画像入力手段で得た画像データをＲＡＭ１０３上の画像メモリへ一時記憶するとともに外部記憶装置１０６における画像蓄積手段へ記憶し、外部記憶装置１０６における画像管理ＤＢへも格納アドレスを記憶する。
【００１６】
２０４では画像メモリ上の画像を複数の部分領域に分割し、領域特徴抽出手段２０５において各部分領域の特徴抽出を行い、インデックス更新手段２０６により、外部記憶装置１０６における画像管理ＤＢ、画像領域管理ＤＢおよび文字領域管理ＤＢに対して各部分領域から抽出した特徴情報を記憶する。
【００１７】
検索元画像入力手段２０７では検索元となる画像データを画像入力装置１１０から取り込み、画像一時記憶手段２０８ではＲＡＭ１０３上の画像メモリにそれを一時記憶する。なお、本実施例では検索条件として入力した入力画像を、検索元画像と記載する。２０９では画像メモリ上の検索元画像を複数の部分領域に分割し、領域特徴抽出手段２１０において各部分領域の特徴抽出を行い、領域類似比較手段２１１において、検索元画像の各部分領域の特徴と外部記憶装置１０６における画像管理ＤＢ、画像領域管理ＤＢおよび文字領域管理ＤＢに対して各部分領域から抽出した特徴情報を比較し、検索元画像の部分領域に対する類似する既登録画像の部分領域の結果を得て、検索結果総合判定手段２１２においてその既登録画像の部分領域の結果を用い、類似する既登録画像の最終決定を行い、２１３の検索結果表示手段において表示装置１０７に検索結果を表示する。
【００１８】
次に、本実施例の処理を登録処理、検索処理別に詳しく説明する。
【００１９】
〔登録処理〕
まず、画像登録時に文書画像を複数の画像領域と文字領域へ分割を行い領域の外形特徴量、としてアスペクト比と文書画像に対する大きさおよび重心位置を求め、更に領域内容に関する特徴を求めこれらを画像と対応付けて図７の画像管理ＤＢ、図８画像領域管理ＤＢおよび図９文字領域管理ＤＢへ記憶格納する。
【００２０】
図３に登録処理におけるインデックス生成処理のフローを示す。
【００２１】
まず画像入力手段２０２での処理であるが、Ｓ３０１において画像入力装置１１０から文書画像を得て、更に画像記憶制御手段２０３において文書画像のＩＤを発行し、図７の文書画像ＩＤフィールドに文書画像のＩＤを記憶し、文書画像の格納先をフルパスのファイル名フィールドに記憶し、画像蓄積手段へ文書画像をファイルとして記憶する。なお、外部記憶装置１０６内の電子データを登録する場合は、その電子データをラスタ画像に変換して画像蓄積手段へ記憶すればよい。ラスタ画像への変換は、登録対象の電子データを生成したアプリケーション自身あるいは付加ソフトウェアが有するラスタデータ化機能を利用して実現しても良い。
【００２２】
次に、領域分割手段２０４における処理の説明である。Ｓ３０２では画像から部分領域とその属性を抽出し、またその個数Ｎ個を得る。部分領域と属性は、図４に示すように、左側の文書画像を、右に示すように各オブジェクト毎の塊として認識し、該ブロック各々を文字／図画／写真／線／表等の属性に判定することで抽出する。
【００２３】
上記処理の具体的な実施例を以下に説明する。先ず、入力画像を白黒に二値化し、輪郭線追跡をおこなって黒画素輪郭で囲まれる画素の塊を抽出する。面積の大きい黒画素の塊については、内部にある白画素に対しても輪郭線追跡をおこない白画素の塊を抽出、さらに一定面積以上の白画素の塊の内部からは再帰的に黒画素の塊を抽出する。
【００２４】
このようにして得られた黒画素の塊を、大きさおよび形状で分類し、異なる属性を持つ領域へ分類していく。たとえば、縦横比が１に近く、大きさが一定の範囲のものを文字相当の画素塊とし、さらに近接する文字が整列良くグループ化可能な部分を文字領域、扁平な画素塊を線領域、一定大きさ以上でかつ四角系の白画素塊を整列よく内包する黒画素塊の占める範囲を表領域、不定形の画素塊が散在している領域を写真領域、それ以外の任意形状の画素塊を図画領域、などとする。
【００２５】
ここでは、不定形の画素塊が散在している写真領域で且つその領域が矩形状のものを画像領域とし、領域を表現する座標とその領域の属性、即ち画像領域であるか文字領域であるかを抽出結果として出力する。
【００２６】
ついで領域特徴抽出手段２０５およびインデックス更新手段２０６における処理の説明を行う。
【００２７】
Ｓ３０３で、処理済の部分領域個数カウンタＩ、文字領域個数カウンタＪおよび画像領域個数カウンタＫを０にリセットし、Ｓ３０４でカウンタＩが部分領域個数Ｎより小さい場合にＳ３０５以下の処理を行い、Ｓ３０４のＩがＮより小さくない、即ち未処理の部分領域が無くなった時点でＳ３１４において図７文書画像管理ＤＢの処理中の文書画像に対応するレコードへ、文字領域個数カウンタＪ、画像領域個数カウンタＫ、処理中の文書画像が含む画像領域のＩＤ群および処理中の文書画像が含む文字領域のＩＤ群を記憶した後処理を終了する。
【００２８】
Ｓ３０４でＩ＜Ｎ即ち未処理の部分領域があると判断した場合には、Ｓ３０５においてこの部分領域が画像領域であるか或いは文字領域であるかを判断し、文字領域であればＳ３０６において、文字領域個数カウンタを１つ増加させ、Ｓ３０７においてその領域の重心位置、文書画像に対する大きさ、アスペクト比を求め、更にその領域に対してＯＣＲ処理を行い領域の内容を表す情報としての領域内文字情報を抽出し、Ｓ３０８において画像領域インデックスにおいてユニークな画像領域ＩＤを発行し、Ｓ３０９において画像領域インデックスへ画像領域ＩＤと重心位置、文書画像に対する大きさ、アスペクト比と領域内文字情報を対応付けて記憶し、再びＳ３０４の未処理の部分領域判断へ戻る。
【００２９】
図８に文字領域管理ＤＢのデータスキーマを示す。発行した文字領域ＩＤに関連つけてそのアスペクト比、大きさ、重心位置、領域内文字情報および画像領域を含む文書画像のＩＤを１レコードに記憶する。
【００３０】
他方、Ｓ３０５においてこの部分領域が文字領域でないと判断すれば、Ｓ３１０において画像領域個数カウンタを１つ増加させ、Ｓ３１１においてその領域の重心位置、文書画像に対する大きさ、アスペクト比と領域の内容を表す情報としての色特徴情報を抽出し、Ｓ３１２において画像領域インデックスにおいてユニークな画像領域ＩＤを発行し、Ｓ３１３において画像領域インデックスへ画像領域ＩＤと重心位置、文書画像に対する大きさ、アスペクト比と色特徴情報を対応付けて記憶し、Ｓ３１５において領域個数カウンタを１つ増加させ、再びＳ３０４の未処理の部分領域判断へ戻る。
【００３１】
図９に文字領域管理ＤＢのデータスキーマを示す。発行した画像領域ＩＤに関連つけてそのアスペクト比、大きさ、重心位置、色特徴情報および画像領域を含む文書画像のＩＤを１レコードに記憶する。
【００３２】
重心位置とは文書画像の縦および横を１とした場合の相対的（０≦Ｘ≦１）位置座標と定義し、文書の大きさとは文書画像の面積を１とした場合の面積と定義し、アスペクト比とは横の画素数に対する縦の画素数の比と定義する。
【００３３】
色特徴情報とは画像を図５の例の様に縦横にブロック分割を行い、そのブロックに属する画素のＲＧＢチャネルの平均値を求め、図６で示す様な走査順で配列として保持するものである。図６では表現の制約上３ｘ３の９ブロックに関する走査順を示している。
【００３４】
領域内文字情報とは領域内の文字画像をＯＣＲによりテキストデータへ変換したものである。文字種が判断できる場合には、文字種を記憶しても良い。
【００３５】
〔検索処理〕
画像検索時の処理として完全一致モード検索と文書画像を複数の部分領域へ分割する際に発生する領域検出し損ねや領域の過検出に対応する部分一致モード検索の２つのモードがある。ユーサーインターフェース２０１において、完全一致モード検索か部分一致モード検索か、或いは後述の完全一致モード検索と部分一致モード検索を組み合わせて用いるハイブリッド方式であるかを選択する。デフォルト状態で完全一致モード検索か部分一致モード検索の２つの良さを兼ね備えたハイブリッド方式をデフォルト選択としておき、もし厳密な検索が好みであれば、完全一致モード検索を選択する様なユーザインターフェースが好ましい。
【００３６】
また、本実施例では、ＤＢに登録していない検索元文書画像を指定して検索を行う場合の処理を説明する。
【００３７】
＜完全一致モード検索＞
図１０の処理フローを用いて完全一致モード検索の処理の説明を行う。
【００３８】
検索元画像入力手段２０７の制御のもと画像入力装置１１０を用いＳ１００１において検索元文書画像を得てこれを画像一時記憶手段によりＲＡＭ１０３上の画像メモリへ検索元文書画像を一時記憶する。
【００３９】
領域分割手段２０９に関しては、Ｓ１００２において検索元文書画像を複数文字領域および画像領域へ分割を行い、領域特徴抽出手段２１０に関しては、総領域数Ｎ、画像領域個数Ｊｑ、文字領域個数Ｋｑ、検索元文書画像が含む文書領域群の重心位置と大きさとアスペクト比と領域内文字情報、画像領域群の重心位置と大きさとアスペクト比と色特徴情報を抽出し、ＲＡＭ１０３上のワーク領域にこれらを一時記憶する。
【００４０】
このｓＳ１００２の処理は基本的に図３の画像登録時の処理と同様であり、図７、図８および図９のＤＢへ登録をせず検索元文書画像解析結果としてＲＡＭ１０３上のワーク領域に一時記憶するだけの違いなので詳細説明は割愛する。
【００４１】
次に、領域類似比較手段２１１における処理の説明を行う。
【００４２】
完全一致検索の場合には、検索元文書画像の含む画像領域の個数と同数の画像領域を持ち且つ検索元文書画像の含む文字領域の個数と同数の文字領域を持つ登録文書画像群を求める事前比較処理を行い、それらの登録文書画像群に含まれる画像領域および文字領域だけに対して類似度を算出すると極めて効率が良い。そこで、Ｓ１００３において、図７のＤＢから画像領域個数フィールドおよび文字領域個数フィールドを参照し、画像領域個数がＪｑであり且つ文字領域個数がＫｑである文書画像ＩＤ群を求める。
【００４３】
更にＳ１００４において、上記文書画像ＩＤ群に含まれる画像領域の画像領域ＩＤ群の論理和を取り比較対象画像領域ＩＤ群を生成し、同様に上記文書画像ＩＤ群に含まれる文字領域の文字領域ＩＤ群の論理和を取り比較対象文字領域ＩＤ群を生成する。
【００４４】
Ｓ１００５において、領域個数カウンタＩ、文字領域個数カウンタＪおよび画像領域個数カウンタＫを０にリセットする。Ｓ１００６において、領域個数カウンタＩと総領域数の比較を行い、未処理の領域があればＳ１００７に分岐する。
【００４５】
Ｓ１００７ではＩ番目の領域が文字領域であるか画像領域であるかを判断し、文字領域であればＳ１００８においてＪ番目の文字領域の重心位置と文書画像に対する大きさとアスペクト比とＯＣＲにより文字情報を、図８のＤＢを参照し比較対象文字領域ＩＤ群の物と類似比較を行い、閾値以上の類似度の文字領域ＩＤ群と類似度を一時記憶する。
【００４６】
この領域どうしの類似度算出は部分一致モード検索と共通なので、後で詳しく述べる。
【００４７】
Ｓ１００９において、図８のＤＢを参照し上記文字領域ＩＤ群を文書画像ＩＤ群へ変換し、文書画像ＩＤ群とそれに対応する類似度として一時記憶し直す。
【００４８】
Ｓ１０１０において、文字領域個数カウンタＪを１増加する。
【００４９】
もしＳ１００７でＩ番目の領域が文字領域でない場合には画像領域として扱い、Ｓ１０１１においてＫ番目の画像領域の重心位置と文書画像に対する大きさとアスペクト比と色特徴情報を、図９のＤＢを参照し比較対象画像領域ＩＤ群の物と類似比較を行い、閾値以上の類似度の画像領域ＩＤ群と類似度を一時記憶する。
【００５０】
この領域どうしの類似度算出は部分一致モード検索と共通なので、後で詳しく述べる。
【００５１】
Ｓ１０１２において、図８のＤＢを参照し上記画像領域ＩＤ群を文書画像ＩＤ群へ変換し、文書画像ＩＤ群とそれに対応する類似度として一時記憶し直す。
【００５２】
Ｓ１０１３において、画像領域個数カウンタＫを１増加する。
【００５３】
Ｓ１０１６において、領域個数カウンタＩを１増加する。
【００５４】
以上の処理において、検索元文書画像の各部分領域に類似する画像領域および文字領域を持つ文書画像ＩＤ群とその領域の類似度の対が得られる。そして、Ｓ１００６において、領域個数カウンタＩと総領域数の比較を行い、未処理の領域が無くなればＳ１０１４に分岐する。
【００５５】
検索結果総合判断手段２１２においてＳ１０１４の処理を行う。
【００５６】
Ｓ１０１４では、検索元文書画像の各部分領域に類似する画像領域および文字領域を持つ文書画像ＩＤ群の論理積を取り、検索元文書画像の各部分領域に類似する画像領域および文字領域をある類似度以上で全て持つ検索結果文書画像ＩＤ群が得られる。
【００５７】
他方、検索結果文書画像ＩＤ群に対する類似度は、論理積を取る前の検索元文書画像の各部分領域に類似する画像領域および文字領域を持つ文書画像ＩＤ群に対応する類似度を参照して、検索結果文書画像ＩＤに対応するものの平均を取ることにより得られ、この平均類似度を類似度の降順でソートして類似比較結果とする。
【００５８】
最後に、検索結果表示手段２１３における処理ｓ１０１５を行う。
【００５９】
最後にＳ１０１５において、図１９に示す様に検索された画像サムネール画像を用い検索一覧表示を行い、類似度も合わせて表示する。
【００６０】
またＳ１００３およびＳ１００４の処理においては図７のフィールドを探索する代わりに、図１１の文字領域個数から文書画像ＩＤ群および文字領域ＩＤ群を簡便に検索可能なインデックスおよび図１２の画像領域個数から文書画像ＩＤ群をおよび画像領域ＩＤ群簡便に検索可能なインデックスを用いることでより高速な処理が可能となる。
【００６１】
＜部分一致モード検索＞
部分一致モード検索の特徴は、検索元画像の部分領域群のうち「類似する領域を予め指定された割合を含む部分一致した既登録文書画像を求める」ところにある。
【００６２】
図１３の処理フローを用いて完全一致モード検索の処理の説明を行う。
【００６３】
検索元画像入力手段２０７の制御のもと画像入力装置１１０を用いＳ１３０１において検索元文書画像を得てこれを画像一時記憶手段２０８によりＲＡＭ１０３上の画像メモリへ検索元文書画像を一時記憶する。
【００６４】
更にＳ１３０１においてユーザインターフェース２０１において含むべき割合を得るが、これはユーサーがユーザインターフェース２０１により予め指定したものでも、プログラムに予めセットされたものでも構わない。
【００６５】
含むべき割合とは「類似する領域を予め指定された割合を含む部分一致した既登録文書画像を求める」の割合のことである。
【００６６】
例えば、画像領域のみ１０個持つ文書画像を検索元文書画像とした場合、含むべき割合が９０％の場合は許容範囲が１０％となり１個の許容数を許すことになる。従って、領域個数で言えば９個から１１個が許容範囲となり、この許容範囲の個数の画像領域を含む文書画像を検索対象とする事になる。画像が少ない場合もあるので、小数点以下切り上げとしても良い。また、含むべき割合でなく、はじめから許容数１などとして設定しても構わない。
【００６７】
次に述べるのは、領域分割手段２０９および領域特徴抽出手段２１０における処理である。
【００６８】
ｓＳ１３０２において検索元文書画像を文字領域および画像領域へ分割を行い、総領域数Ｎ、画像領域個数Ｊｑ、文字領域個数Ｋｑ、検索元文書画像が含む文書領域群の重心位置と大きさとアスペクト比と領域内文字情報、画像領域群の重心位置と大きさとアスペクト比と色特徴情報を抽出する。
【００６９】
このＳ１３０２の処理は基本的に図３の画像登録時の処理と同様であり、図７、図８および図９のＤＢへ登録をせず検索元文書画像解析結果としてメモリ上へ一時記憶するだけの違いなので詳細説明は割愛する。
【００７０】
更に、以下に述べるのは領域特徴比較手段２１１にて行われる処理でである。
【００７１】
部分一致検索の場合には、検索元文書画像の含む画像領域の個数と指定された許容範囲の個数の画像領域を持ち且つ検索元文書画像の含む文字領域の個数と指定された許容範囲の個数の文字領域を持つ登録文書画像群を求める事前比較処理を行い、それらの登録文書画像群に含まれる画像領域および文字領域だけに対して類似度を算出すると極めて効率が良い。
【００７２】
そこで、Ｓ１３０３において、図７のＤＢから画像領域個数フィールドおよび文字領域個数フィールドを参照し、画像領域個数が検索元文書画像の含む画像領域個数Ｊｑの許容範囲の文書画像ＩＤ群を求め同様に図７のＤＢから文字領画像領域個数が検索元文書画像の含む画像領域個数Ｋｑの許容範囲の文書画像ＩＤ群を求め、両者の論理積を取り比較対象の文書画像ＩＤ群を得る。このように許容範囲を考慮することで、領域分割の際に領域検出し損ねや領域の過検出があった場合でも、検索漏れを防ぐことができる。
【００７３】
更にＳ１３０４において、上記文書画像ＩＤ群に含まれる画像領域の画像領域ＩＤ群の論理和を取り比較対象画像領域ＩＤ群を生成し、同様に上記文書画像ＩＤ群に含まれる文字領域の文字領域ＩＤ群の論理和を取り比較対象文字領域ＩＤ群を生成する。
【００７４】
Ｓ１３０５において、領域個数カウンタＩ、文字領域個数カウンタＪおよび画像領域個数カウンタＫを０にリセットする。
【００７５】
Ｓ１３０６において、領域個数カウンタＩと総領域数の比較を行い、未処理の領域があればＳ１３０７に分岐する。
【００７６】
Ｓ１３０７ではＩ番目の領域が文字領域であるか画像領域であるかを判断し、文字領域であればＳ１３０８においてＪ番目の文字領域の重心位置と文書画像に対する大きさとアスペクト比とＯＣＲにより文字情報を、図８のＤＢを参照し比較対象文字領域ＩＤ群の物と類似比較を行い、閾値以上の類似度の文字領域ＩＤ群と類似度を一時記憶する。
【００７７】
この領域どうしの類似度算出は完全一致モード検索と共通なので、後で詳しく述べる。
【００７８】
Ｓ１３０９において、図８のＤＢを参照し上記文字領域ＩＤ群を文書画像ＩＤ群へ変換し、文書画像ＩＤ群とそれに対応する類似度として一時記憶し直す。
【００７９】
Ｓ１３１０において、文字領域個数カウンタＪを１増加する。
【００８０】
もしＳ１３０７でＩ番目の領域が文字領域でない場合には画像領域として扱い、Ｓ１３１１においてＫ番目の画像領域の重心位置と文書画像に対する大きさとアスペクト比と色特徴情報を、図９のＤＢを参照し比較対象画像領域ＩＤ群の物と類似比較を行い、閾値以上の類似度の画像領域ＩＤ群と類似度を一時記憶する。
【００８１】
この領域どうしの類似度算出は部分一致モード検索と共通なので、後で詳しく述べる。
【００８２】
Ｓ１３１２において、図８のＤＢを参照し上記画像領域ＩＤ群を文書画像ＩＤ群へ変換し、文書画像ＩＤ群とそれに対応する類似度として一時記憶し直す。
【００８３】
Ｓ１３１３において、画像領域個数カウンタＫを１増加する。
【００８４】
Ｓ１３１６において、領域個数カウンタＩを１増加する。
【００８５】
以上の処理において、検索元文書画像の各部分領域に類似する画像領域および文字領域を持つ文書画像ＩＤ群とその領域の類似度の対が得られる。
【００８６】
そして、Ｓ１３０６において、領域個数カウンタＩと総領域数の比較を行い、未処理の領域が無くなればＳ１３１４に分岐する。
【００８７】
検索結果総合判定手段２１２においてＳ１３１４の処理が行われる。
【００８８】
Ｓ１３１４では、部分一致検索を実現するために、各領域に対応する文書画像ＩＤ群の論理和を取り得られた文書画像ＩＤ群を総合的な類似度を算出する対象文書画像のＩＤとする。
【００８９】
着目した文書画像ＩＤに対して、検索元文書画像の各画像領域および文書領域に対する類似度を累積してゆきこれを検索元文書画像の総領域数で割ることにより平均類似度を算出するが部分一致のため、必ずしも検索元文書画像の各画像領域および文書領域に対する類似度が得られている訳ではない。
【００９０】
そこで、対応する類似度が算出されていないものに関しては、類似しているとも類似してないとも取れない差し障りの無いデフォルトの類似度で補完を行う。
【００９１】
この様にして得た平均類似度を用い、平均類似度の降順で文書画像ＩＤ群をソートして類似比較結果とする。
【００９２】
最後に、検索結果表示手段２１３における処理ｓ１０１５を行う。
【００９３】
最後にＳ１０１５において、図１９に示す様に検索された画像サムネール画像を用い検索一覧表示を行い、類似度も合わせて表示する。
【００９４】
また、先の完全一致検索と同様、Ｓ１３０３およびＳ１３０４の処理においては図７のフィールドを探索する代わりに、図１１の文字領域個数から文書画像ＩＤ群および文字領域ＩＤ群を簡便に検索可能なインデックスおよび図１２の画像領域個数から文書画像ＩＤ群をおよび画像領域ＩＤ群簡便に検索可能なインデックスを用いることでより高速な処理が可能となる。
【００９５】
〔領域類似比較処理２１１の説明〕
完全一致モード検索における処理フロー図１０のＳ１０１１および部分一致モード検索における処理フロー図１３のＳ１３１１の画像領域の類似度を求める方法と、完全一致モード検索における処理フロー図１０のＳ１００８および部分一致モード検索における処理フロー図１３のＳ１３０８の文字領域の類似度を求める方法について詳しく説明を行う。
【００９６】
これまでの説明どおり、部分領域は少なくとも画像領域と文字領域に分別し、画像領域の場合には領域の内容に関する特徴に色等に関する画像特徴量を用い、或いは文字領域の場合にはＯＣＲで得るテキストデータ情報や文字種や文字の色等を用いるが、比較処理は同じ属性の領域しか比較を行わない。
【００９７】
＜画像領域の比較＞
はじめに、検索元文書画像の着目する画像領域と比較先画像領域の類似比較処理について図１４の処理フローを用いて説明する。
【００９８】
まずＳ１４０１において、検索元着目画像領域の重心位置と大きさとアスペクト比と色特徴情報を読み込み、Ｓ１４０２において次いで比較先画像領域の重心位置と大きさとアスペクト比と色特徴情報を読み込む。
【００９９】
Ｓ１４０３においてアスペクト比の差異を求め、Ｓ１４０４でアスペクト比の差異は閾値以下か判断し、閾値以下であればＳ１４０５に分岐し、閾値よりも大きい場合にはＳ１４０９へ分岐し類似比較処理を行わず類似度０％と出力する。
【０１００】
Ｓ１４０５において重心位置の差異を求め、Ｓ１４０６で重心位置の差異は閾値以下か判断し、閾値以下であればＳ１４０７に分岐し、閾値よりも大きい場合にはＳ１４０９へ分岐し類似比較処理を行わず類似度０％と出力する。
【０１０１】
Ｓ１４０７において文書に対する大きさの差異を求め、Ｓ１４０８で大きさの差異は閾値以下か判断し、閾値以下であればＳ１４１０に分岐し、閾値よりも大きい場合にはＳ１４０９へ分岐し類似比較処理を行わず類似度０％と出力する。
【０１０２】
Ｓ１４１０では、上記アスペクト比の差異、重心位置の差異および大きさの差異を元に後で求める類似度からの減点割合Ｒｐを設定する。
【０１０３】
なお、画像領域を比較する際に文書画像ＩＤごとに比較を行う構成とし、入力画像の１つの画像領域に対して、外形特徴量が類似する画像領域をもたない文書画像については、検索対象外として比較先文書画像から外してもよい。
【０１０４】
検索元文書画像の着目する画像領域のアスペクト比をＡｓｐ０、重心位置を（Ｇｘ０，Ｇｙ０）および大きさをＳ０とする。
【０１０５】
比較先画像領域のアスペクト比、重心位置および大きさＡｓｐ１、重心位置を（Ｇｘ１，Ｇｙ１）および大きさをＳ１とする。
【０１０６】
尚、先の登録処理の説明で、重心位置とは文書画像の縦および横を１とした場合の相対的（０≦Ｘ≦１）位置座標と定義し、文書の大きさとは文書画像の面積を１とした場合の面積と定義し、アスペクト比とは横の画素数に対する縦の画素数の比と定義してある。
【０１０７】
更に、実験により正解と認められるデータセットを用いて正解と認められるアスペクト比の差異、重心位置の差異および大きさの差異の分散それぞれＤ＿ＡＳＰ，Ｄ＿Ｇ、Ｄ＿Ｓとし、アスペクト比の差異、重心位置の差異および大きさの差異の類似度に与える寄与係数をそれぞれα１、α２、α３とすると、
Ｒｐ＝α１＊ａｂｓ（Ａｓｐ１−Ａｓｐ０）／Ｄ＿ＡＳＰ＋α２＊ｓｑｒｔ（（Ｇｘ１−Ｇｘ０）＊Ｇｘ１−Ｇｘ０）＋（Ｇｙ１−Ｇｙ０）＊（Ｇｙ１−Ｇｙ０））／Ｄ＿Ｇ＋α２＊ａｂｓ（Ｓ１−Ｓ０）／Ｄ＿Ｓ      （式１）
と表現できる。
【０１０８】
そしてＳ１４１１において、色特徴情報を比較し類似度を得る。
【０１０９】
色特徴情報とは画像を図５の例では様に縦横に同じブロック数で分割を行い、そのブロックに属する画素のＲＧＢチャネルの平均値を求め、図６で示す様な走査順で配列として保持するものである。図６では表現の制約上３ｘ３の９ブロックに関する走査順を示している。
【０１１０】
そして、比較の際にはこの並び替えた特徴量において対応する分割ブロックの色特徴量を下記要領で処理すればよい。
【０１１１】
検索元画像領域の着目ブロックの色平均値（Ｒ０，Ｇ０，Ｂ０）、比較先画像領域の着目ブロックの色平均値（Ｒ１，Ｇ１，Ｂ１）、着目ブロック間の類似距離ｄとすると、
ｄ＝ｓｑｒｔ（（Ｒ０−Ｒ１）＊（Ｒ０−１）＋（Ｇ０−Ｇ１）＊（Ｇ０−Ｇ１）＋（Ｂ０−Ｂ１）＊（Ｂ０−Ｂ１））      （式２）
と表すことが出来、これを対応する全ブロックに対して計算し累積距離Ｄｓｕｍを算出する。
【０１１２】
そして類似度Ｓｉｍは図１５のグラフの様なＤｓｕｍが０の時に類似度が１００となるような非線形特性を持つ累積距離⇔類似度テーブルを通して得ることが出来る。
【０１１３】
そして、最後にＳ１４１２においてＳ１４１０で求めた減点割合を用い、
Ｓｉｍ＿Ｔｏｔａｌ＝Ｓｉｍ＊（１−Ｒｐ）        （式３）
の要領で画像領域の比較類似度をＳｉｍ＿Ｔｏｔａｌを得る。
【０１１４】
＜文字領域の比較＞
他方、検索元文書画像の着目する部分領域が文字領域の場合には文字の部分領域とのみ比較を行うが、その際ＯＣＲを経て得たテキストデータとアスペクト比と文書画像に対する大きさおよび重心位置を用いる。
【０１１５】
検索元文書画像の着目する文字領域と比較先文字領域の類似比較処理について図１６の処理フローを用いて説明する。
【０１１６】
まずＳ１６０１において、検索元着目画像領域の重心位置と大きさとアスペクト比と領域内文字情報を読み込み、Ｓ１６０２において次いで比較先画像領域の重心位置と大きさとアスペクト比と領域内文字情報を読み込む。
【０１１７】
Ｓ１６０３においてアスペクト比の差異を求め、Ｓ１６０４でアスペクト比の差異は閾値以下か判断し、閾値以下であればＳ１６０５に分岐し、閾値よりも大きい場合にはＳ１６０９へ分岐し類似比較処理を行わず類似度０％と出力する。
【０１１８】
Ｓ１６０５において重心位置の差異を求め、Ｓ１６０６で重心位置の差異は閾値以下か判断し、閾値以下であればＳ１６０７に分岐し、閾値よりも大きい場合にはＳ１６０９へ分岐し類似比較処理を行わず類似度０％と出力する。Ｓ１４０７において文書に対する大きさの差異を求め、Ｓ１６０８で大きさの差異は閾値以下か判断し、閾値以下であればＳ１６１０に分岐し、閾値よりも大きい場合にはＳ１６０９へ分岐し類似比較処理を行わず類似度０％と出力する。
【０１１９】
Ｓ１６１０では、上記アスペクト比の差異、重心位置の差異および大きさの差異を元に後で求める類似度からの減点割合Ｒｐを設定する。
【０１２０】
なお、文字領域を比較する際に文書画像ＩＤごとに比較を行う構成とし、入力画像の１つの文字領域に対して、外形特徴量が類似する文字領域をもたない文書画像については、検索対象外として比較先文書画像から外してもよい。
【０１２１】
検索元文書画像の着目する画像領域のアスペクト比をＡｓｐ０、重心位置を（Ｇｘ０，Ｇｙ０）および大きさをＳ０とし、比較先画像領域のアスペクト比、重心位置および大きさＡｓｐ１、重心位置を（Ｇｘ１，Ｇｙ１）および大きさをＳ１とする。
【０１２２】
尚、先の登録処理の説明で、重心位置とは文書画像の縦および横を１とした場合の相対的（０≦Ｘ≦１）位置座標と定義し、文書の大きさとは文書画像の面積を１とした場合の面積と定義し、アスペクト比とは横の画素数に対する縦の画素数の比と定義してある。
【０１２３】
更に、実験により正解と認められるデータセットを用いて正解と認められるアスペクト比の差異、重心位置の差異および大きさの差異の分散それぞれＤ＿ＡＳＰ，Ｄ＿Ｇ、Ｄ＿Ｓとし、アスペクト比の差異、重心位置の差異および大きさの差異の類似度に与える寄与係数をそれぞれα１、α２、α３とすると、
Ｒｐ＝α１＊ａｂｓ（Ａｓｐ１−Ａｓｐ０）／Ｄ＿ＡＳＰ＋α２＊ｓｑｒｔ（（Ｇｘ１−Ｇｘ０）＊Ｇｘ１−Ｇｘ０）＋（Ｇｙ１−Ｇｙ０）＊（Ｇｙ１−Ｇｙ０））／Ｄ＿Ｇ＋α２＊ａｂｓ（Ｓ１−Ｓ０）／Ｄ＿Ｓ      （式４）
と表現できる。
【０１２４】
そしてＳ１６１１において、領域内文字情報を比較し類似度を得る。
【０１２５】
図１７を用いてその類似度を求める処理のフローを説明する。
【０１２６】
Ｓ１７０１では検索元文字領域の領域内文字数Ｍと文字配列Ｓｔｒ１［Ｍ］を得る。
【０１２７】
Ｓ１７０２では比較先文字領域の領域内文字数Ｎと文字配列Ｓｔｒ２［Ｎ］を得る。
【０１２８】
Ｓ１７０３では、Ｓｔｒ１［Ｍ］を参照するための配列要素番号Ｉ、Ｓｔｒ２［Ｎ］を参照するための配列要素番号Ｊ、類似距離Ｄｉｓｔを０リセットする。但し、配列要素番号は０オリジンとする。
【０１２９】
即ち、Ｓｔｒ１［０］は検索元文字領域の先頭文字となる。
【０１３０】
Ｓ１７０４では、Ｉ番目の検索元文字Ｓｔｒ１［Ｉ］とＪ番目の比較先文字Ｓｔｒ２［Ｊ］を比較し、もし同一であればＳ１７０５においてＩおよびＪを１増加し検索元と比較先文字をそれぞれ１文字進め、Ｓ１７０７に進む。
【０１３１】
他方、Ｓ１７０４でＳｔｒ１［Ｉ］とＳｔｒ２［Ｊ］が異なる場合には、Ｓ１７０６にてＩのみを１増加、即ち検索元文字のみを１文字進め、類似距離Ｄｉｓｔを１増加し、Ｓ１７０７に進む。
【０１３２】
Ｓ１７０７では、Ｉ＜Ｍ且つＪ＜Ｎ、即ち参照する文字が制限範囲であるかどうかをチェックしており、この条件を満たす場合には再びＳ１７０４に戻り文字の比較を行う。
【０１３３】
Ｓ１７０７でＮＯの場合には、下式５に従って正規化類似距離を得る。
【外１】
2004355370.tif 000003
【０１３４】
式５によれば、検索元文字列と比較先文字列が同一であればＤｎｏｒｍ＝０となり、比較先文字列の比較元文字列に無い文字が存在すれば存在ずるほどＤｎｏｒｍの値は大きくなる。
また、検索元文字列と比較先文字列の長さが異なる場合に、未比較文字の長さが長いほどＤｎｏｒｍの値が大きくなる。
【０１３５】
更に、正規化類似距離Ｄｎｏｒｍを得て、これを図１８の様な非線形特性をもつ距離を類似度へ変換するテーブルを参照して類似度Ｓｉｍを得る。
【０１３６】
そして、最後にＳ１６１２においてＳ１６１０で求めた減点割合を用い、
Ｓｉｍ＿Ｔｏｔａｌ＝Ｓｉｍ＊（１−Ｒｐ）      （式６）
の要領で文字領域の比較類似度をＳｉｍ＿Ｔｏｔａｌを得る。
【０１３７】
〔完全一致モード検索と部分一致モード検索のコンビネーションによるロバスト処理〕
先に、画像検索時の処理として２つのモードが考えられ、１つは完全一致モード検索であり、他方は文書画像を複数の部分領域へ分割する際に発生する領域検出し損ねや領域の過検出に対応する部分一致モード検索であると述べたが、まず完全一致モード検索で処理を行いその結果該当するものが無い場合に、指定した「含むべき割合」で部分一致モード検索を行い、更にその結果該当するものが無い場合には部分一致の「含むべき割合」を減らして制限を緩くして部分一致モード検索で処理行い、定められた「含むべき割合」の下限値に達する再帰的に部分一致モード検索で処理を行う事により、検索精度を保ち且つ検索漏れを低減することが可能である。その処理を図２０のフローを用い説明する。
【０１３８】
まず、Ｓ２００１にて、検索元文書画像と類似度の閾値と部分一致モード検索許容範囲の限界値を与える。そしてＳ２００２において検索条件の最も厳しい図１０の完全一致モード検索のうち検索結果一覧表示Ｓ１０１５を除く部分を実行する。
【０１３９】
Ｓ２００３にて、Ｓ２００２の検索結果と類似度の閾値の閾値を比較し、類似度の閾値以上の検索結果が得られているかをチェックし、得られていればＳ２００４にて類似度の降順で文書画像ＩＤをソートし類似度を対した検索結果を出力する。
【０１４０】
他方、Ｓ２００３において類似度の閾値以上の検索結果が得られて無いと判断した場合には、Ｓ２００５において部分一致モード検索の「含むべき割合」を下げる。当然Ｓ２００５に初回に来た場合に例外処理として初期設定の「含むべき割合」を設定しても良い。
【０１４１】
そして、Ｓ２００６において、含むべき割合が下限値以上か判断し条件を満たす場合にはＳ２００７にて図１３の部分一致モード検索のうち検索結果一覧表示Ｓ１０１５を除く部分を実行する。
【０１４２】
その結果、Ｓ２００３に戻り、部分一致モード検索結果と類似度の閾値の閾値を比較し、類似度の閾値以上の検索結果が得られているかをチェックし、得られていればＳ２００４にて類似度の降順で文書画像ＩＤをソートし類似度を対した検索結果を出力する。
【０１４３】
もし、類似度の閾値以上の検索結果が得られていなければＳ２００５の処理に戻り、Ｓ２００３で類似度閾値以上のヒットが見つかるか或いはＳ２００６にて「含むべき割合」が下限値を下回るまで再帰的処理を行う。そして、Ｓ２００６にて含むべき割合が下限値を下回った場合にはＳ２００８にて検索結果にヒット無しを設定し終了する。
【０１４４】
図２１にユーザインターフェース２０１で表示する検索方式を選択する画面の一例を示す。図２１ではデフォルト状態であり上記コンビネーション方式をデフォルト選択としてあり、もし厳密な検索が好みであれば完全一致モード検索を選択する事が可能である。もちろん、部分一致モード検索も選択肢として表示してよいが上記コンビネーション方式が部分一致モード検索の最適な利用法であるので必ずしも選択肢とし無くとも良い。
【０１４５】
なお、本実施例では領域を文字領域と画像領域に分割した例のみを説明したが、本発明はこれに限定されるものではない。文字、図画、写真、線、表などに分割し、それぞれの数に基づいて検索対象を絞り込んでもよい。
【０１４６】
（他の実施例）
本実施例では検索元画像を検索クエリとして与える例を述べたが、当然、既登録画像を検索クエリとして与えることも可能である。
【０１４７】
その場合、完全一致モード検索の処理で図１０のＳ１００１およびＳ１００２が登録済みの検索元画像の総領域数Ｎ、画像領域個数Ｊｑ、文字領域個数Ｋｑ、検索元文書画像が含む文書領域群の重心位置と大きさとアスペクト比と領域内文字情報、画像領域群の重心位置と大きさとアスペクト比と色特徴情報をＤＢから読み出す処理と読み替えるだけで良い。
【０１４８】
又、部分一致モード検索の処理も図１３のＳ１３０１およびＳ１３０２は部分一致検索の許容範囲の指定と、登録済みの検索元画像の総領域数Ｎ、画像領域個数Ｊｑ、文字領域個数Ｋｑ、検索元文書画像が含む文書領域群の重心位置と大きさとアスペクト比と領域内文字情報、画像領域群の重心位置と大きさとアスペクト比と色特徴情報をＤＢから読み出す処理と読み替えるだけで良い。
【０１４９】
ところで、部分一致検索では検索結果が含むべき割合を指定して検索を行うが、画像領域と文字領域に対する「含むべき割合」は同じ値であっても異なる値でも良い。例えば、文字領域の領域検出精度が画像領域の検出精度より高い場合には文字領域に対する「含むべき割合」は画像領域の「含むべき割合」よりも高い値とすべきである。
【０１５０】
また、本実施例では、完全一致モード検索の処理で図１０のＳ１００１および部分一致モード検索の処理も図１３のＳ１３０１において、各部分領域に対して算出した類似度の平均を取り総合類似度としたが、類似度の平均或いは重み付け平均を取る事も可能である。
【０１５１】
実現方法としては、予め検索条件として文字領域と画像領域の重視の重みγおよびβをユーザへ指定させ、文字領域の正規化重みＷＴ＝γ／（γ＋β）、画像領域の正規化重みＷＩ＝β／（γ＋β）を各類似度に乗じて平均を算出する事により重み付け平均を取ると良い。
【０１５２】
そして、総合類似度ＦｉｎａｌＳｉｍは、文字領域個数Ｍ、ｉ番目の文字領域の類似度ＳＴｉ、Ｗｉ、および画像領域個数Ｎ、ｊ番目の文字領域の類似度ＳＩｊを用いて下式で表現できる。
【外２】
2004355370.tif 000004
【０１５３】
また、画像領域における色特徴比較の精度と文字領域における領域内文字情報の比較における精度の差は、特に文字領域内の文字数に依存する所が大きく、文字領域中のテキストデータの量が少ない場合には情報量が少ないということで文字領域に対する類似度の重みを減じると自動的に最適な重み付けが可能となる。
【０１５４】
その実現のためには、例えば、画像領域と同等な類似度精度を得られる経験的な文字数閾値ζを用い、ｉ番目の文字領域中の文字数ｎの場合の重みＷｉは例えば下式で表現できる。
【外３】
2004355370.tif 000005
【０１５５】
そして、総合類似度ＦｉｎａｌＳｉｍは、文字領域個数Ｍ、ｉ番目の文字領域の類似度ＳＴｉ、Ｗｉ、および画像領域個数Ｎ、ｊ番目の文字領域の類似度ＳＩｊを用いて下式で表現できる。
【外４】
2004355370.tif 000006
【０１５６】
【発明の効果】
以上、本発明によれば、属性毎の部分領域の数を考慮することで、より高精度な絞込みを実現することができる。
【図面の簡単な説明】
【図１】本発明の実施例におけるシステム構成図である。
【図２】本発明の実施例におけるシステムブロック図である。
【図３】本発明の実施例における登録処理のフローである。
【図４】本発明の実施例における部分領域画像抽出の例である。
【図５】本発明の実施例における画像特徴量抽出のための分割ブロックの例である。
【図６】本発明の実施例における画像特徴量抽出のための分割ブロックの特徴量走査順番の例である。
【図７】本発明の実施例における画像管理ＤＢのデータスキーマの例である。
【図８】本発明の実施例における画像領域管理ＤＢのデータスキーマの例である。
【図９】本発明の実施例における文字領域管理ＤＢのデータスキーマの例である。
【図１０】本発明の実施例における完全一致モード検索の処理フローである。
【図１１】本発明の実施例における画像領域個数から文書画像ＩＤなどを求めるインデックスの例である。
【図１２】本発明の実施例における文字領域個数から文書画像ＩＤなどを求めるインデックスの例である。
【図１３】本発明の実施例における部分一致モード検索の処理フローである。
【図１４】本発明の実施例における画像領域比較処理のフローである。
【図１５】本発明の実施例における画像領域比較処理で用いる類似距離を類似度へ変換する関数の特性の例である。
【図１６】本発明の実施例における文字領域比較処理のフローである。
【図１７】本発明の実施例における文字列比較処理のフローである。
【図１８】本発明の実施例における文字領域比較処理で用いる文字列比較処理で得た類似距離を類似度へ変換する関数の特性の例である。
【図１９】本発明の実施例における検索結果表示画面の例である。
【図２０】本発明の実施例における完全一致モード検索と部分一致モード検索のコンビネーションによるロバスト処理のフローである。
【図２１】本発明の実施例における検索モード選択の例である。
【図１】
2004355370.tif 000007
【図２】
2004355370.tif 000008
【図３】
2004355370.tif 000009
【図４】
2004355370.tif 000010
【図５】
2004355370.tif 000011
【図６】
2004355370.tif 000012
【図７】
2004355370.tif 000013
【図８】
2004355370.tif 000014
【図９】
2004355370.tif 000015
【図１０】
2004355370.tif 000016
【図１１】
2004355370.tif 000017
【図１２】
2004355370.tif 000018
【図１３】
2004355370.tif 000019
【図１４】
2004355370.tif 000020
【図１５】
2004355370.tif 000021
【図１６】
2004355370.tif 000022
【図１７】
2004355370.tif 000023
【図１８】
2004355370.tif 000024
【図１９】
2004355370.tif 000025
【図２０】
2004355370.tif 000026
【図２１】
2004355370.tif 000027