(57)【要約】      （修正有）【課題】検索の対象となる対象画像に関する情報を保持して、当該対象画像の検索処理を行う場合に、検索処理の効率を向上できる画像処理装置を提供する。【解決手段】検索の対象となる対象画像を複数の単位画像に分割し、当該単位画像の画像特徴量を算出し、単位画像を所定の数含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定め、当該画像部分を特定する画像部分特定情報を当該定めた検索見出し情報に関連づけて検索用データベースに格納する画像処理装置である。【選択図】図２
2007334445.tif 000002
【特許請求の範囲】
【請求項１】
検索の対象となる対象画像を複数の単位画像に分割する対象画像分割手段と、
前記単位画像の画像特徴量を算出する画像特徴量算出手段と、
前記単位画像を所定の数含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定め、当該画像部分を特定する画像部分特定情報を当該定めた検索見出し情報に関連づけて検索用データベースに格納するデータ格納手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記対象画像分割手段は、前記対象画像を互いに異なる大きさの複数種類の単位画像に分割し、
前記データ格納手段は、それぞれ前記複数種類の単位画像を所定の数含んでなる複数種類の画像部分について、当該画像部分を特定する画像部分特定情報を前記検索用データベースに格納する
ことを特徴とする画像処理装置。
【請求項３】
検索の対象となる各対象画像を分割して得た単位画像を、所定の数含んでなる画像部分について、当該各画像部分を特定する画像部分特定情報を、当該各画像部分に含まれる単位画像ごとに算出される画像特徴量を用いて定められる検索見出し情報に関連づけて保持する検索用データベースから、データを読み出すデータ読み出し手段と、
検索のキーとなる検索キー画像を複数の単位画像に分割する検索キー画像分割手段と、
前記検索キー画像分割手段により得られる単位画像の画像特徴量を算出する画像特徴量算出手段と、
前記検索キー画像分割手段により得られる単位画像を前記所定の数だけ含んでなる画像部分について、前記検索用データベースにおいて、当該画像部分に含まれる単位画像の画像特徴量を用いて定められる検索見出し情報に関連づけられた画像部分特定情報を、前記データ読み出し手段に読み出させて取得する画像部分特定情報取得手段と、
前記取得された画像部分特定情報に基づいて、前記複数の対象画像の中から前記検索キー画像に類似する類似画像を選択する類似画像選択手段と、
を含むことを特徴とする画像処理装置。
【請求項４】
請求項３に記載の画像処理装置において、
前記検索キー画像分割手段により得られる単位画像と、前記各対象画像を分割して得た単位画像と、は互いに異なる大きさである
ことを特徴とする画像処理装置。
【請求項５】
請求項３又は４に記載の画像処理装置において、
前記画像部分特定情報取得手段は、前記検索キー画像分割手段により得られる単位画像の画像特徴量を用いて定められる検索見出し情報として、当該画像特徴量を含む所定範囲の画像特徴量の値に対応する検索見出し情報を用いる
ことを特徴とする画像処理装置。
【請求項６】
検索の対象となる対象画像を複数の単位画像に分割する対象画像分割手段、
前記単位画像の画像特徴量を算出する画像特徴量算出手段、及び
前記単位画像を所定の数含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定め、当該画像部分を特定する画像部分特定情報を当該定めた検索見出し情報に関連づけて検索用データベースに格納するデータ格納手段、
としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びプログラムに関する。
【背景技術】
【０００２】
例えばプリンタや、複写機、スキャナ、ファックス送受信装置などの、画像データの入出力を行う画像処理装置は、一般に画像データの入出力処理に対するログ情報を生成し、記録している。しかし、単に入出力処理の履歴をログ情報として記録するだけでは、後にログ情報の内容をユーザが確認しても、実際にどのような画像データが入出力されたのか、調査することができない。すなわち、例えば調査対象としたい画像が形成された紙などの記録媒体が手元にあったとしても、ユーザは入出力処理の履歴だけからでは、当該調査対象としたい画像がいつ、誰によって画像形成装置により記録媒体上に形成されたか、調査することができない。
【０００３】
このような問題に対して、画像の印刷に際して、ログ情報に出力画像データ自体を含めることで、後にログ情報を調査して出力画像データを確認することのできる技術がある（例えば特許文献１参照）。
【特許文献１】特開２００３−３３０６７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来例の技術においては、ログ情報を用いて画像データの検索を行う際の便宜について十分に配慮されていない。そのため、検索のキーとなる検索キー画像（例えば流出画像など）に類似する画像を検索の対象となる対象画像の中から検索しようとする場合、検索キー画像と全ての対象画像との比較を一つ一つ実行する必要があり、効率が悪い。
【０００５】
本発明は上記実情に鑑みてなされたものであって、その目的の一つは、検索の対象となる対象画像に関する情報を保持して、当該対象画像の検索処理を行う場合に、検索処理の効率を向上できる画像処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するための本発明に係る画像処理装置は、検索の対象となる対象画像を複数の単位画像に分割する対象画像分割手段と、前記単位画像の画像特徴量を算出する画像特徴量算出手段と、前記単位画像を所定の数含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定め、当該画像部分を特定する画像部分特定情報を当該定めた検索見出し情報に関連づけて検索用データベースに格納するデータ格納手段と、を含むことを特徴とする。
【０００７】
上記画像処理装置において、前記対象画像分割手段は、前記対象画像を互いに異なる大きさの複数種類の単位画像に分割し、前記データ格納手段は、それぞれ前記複数種類の単位画像を所定の数含んでなる複数種類の画像部分について、当該画像部分を特定する画像部分特定情報を前記検索用データベースに格納することとしてもよい。
【０００８】
また、本発明に係る別の画像処理装置は、検索の対象となる各対象画像を分割して得た単位画像を、所定の数含んでなる画像部分について、当該各画像部分を特定する画像部分特定情報を、当該各画像部分に含まれる単位画像ごとに算出される画像特徴量を用いて定められる検索見出し情報に関連づけて保持する検索用データベースから、データを読み出すデータ読み出し手段と、検索のキーとなる検索キー画像を複数の単位画像に分割する検索キー画像分割手段と、前記検索キー画像分割手段により得られる単位画像の画像特徴量を算出する画像特徴量算出手段と、前記検索キー画像分割手段により得られる単位画像を前記所定の数だけ含んでなる画像部分について、前記検索用データベースにおいて、当該画像部分に含まれる単位画像の画像特徴量を用いて定められる検索見出し情報に関連づけられた画像部分特定情報を、前記データ読み出し手段に読み出させて取得する画像部分特定情報取得手段と、前記取得された画像部分特定情報に基づいて、前記複数の対象画像の中から前記検索キー画像に類似する類似画像を選択する類似画像選択手段と、を含むことを特徴とする。
【０００９】
上記画像処理装置において、前記検索キー画像分割手段により得られる単位画像と、前記各対象画像を分割して得た単位画像と、は互いに異なる大きさであることとしてもよい。
【００１０】
また、上記画像処理装置において、前記画像部分特定情報取得手段は、前記検索キー画像分割手段により得られる単位画像の画像特徴量を用いて定められる検索見出し情報として、当該画像特徴量を含む所定範囲の画像特徴量の値に対応する検索見出し情報を用いることとしてもよい。
【００１１】
また、本発明に係るプログラムは、検索の対象となる対象画像を複数の単位画像に分割する対象画像分割手段、前記単位画像の画像特徴量を算出する画像特徴量算出手段、及び前記単位画像を所定の数含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定め、当該画像部分を特定する画像部分特定情報を当該定めた検索見出し情報に関連づけて検索用データベースに格納するデータ格納手段、としてコンピュータを機能させることを特徴とする。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について、図面を参照しながら説明する。本発明の一実施形態に係る画像処理装置１は、図１に示すように、制御部１１、記憶部１２、操作部１３、表示部１４、及び通信部１５を含んで構成されている。また、ここでは画像処理装置１は、通信ネットワーク２を介して画像読み取り装置３、及び画像形成装置４と接続されているものとする。
【００１３】
制御部１１は、ＣＰＵ等であって、記憶部１２に格納されたプログラムに従って動作する。本実施形態においては、制御部１１は、検索対象となる対象画像に関する情報を検索用データベースに格納する画像情報登録処理を行う。また、検索用データベースに格納されているデータを用いて、検索キー画像と類似する画像を対象画像の中から検索する類似画像検索処理を行う。本実施形態において制御部１１が実行する処理の例については、後述する。
【００１４】
記憶部１２は、制御部１１によって実行されるプログラムを保持するコンピュータで読み取り可能な情報記憶媒体であって、ＲＡＭやＲＯＭ等のメモリ素子とディスクデバイス等との少なくとも一方を含んで構成されている。また、記憶部１２は、制御部１１のワークメモリとしても動作する。さらに本実施形態においては、記憶部１２は、対象画像に関する情報を含む検索用データベースＤを記憶している。検索用データベースＤの内容については、後述する。
【００１５】
操作部１３は、例えばキーボードやマウス等であり、ユーザの指示操作を受け付けて、当該指示操作の内容を制御部１１に出力する。表示部１４は、例えばディスプレイ等であり、制御部１１からの指示に従って、情報の表示を行う。
【００１６】
通信部１５は、ネットワークインタフェースであって、制御部１１からの指示に従って、通信ネットワーク２を介して情報を送信する。また、通信部１５は、通信ネットワーク２を介して到来する情報を受信して制御部１１に出力する。
【００１７】
また、画像読み取り装置３は、紙などの記録媒体上に形成されている画像を、光学的に読み取ってスキャン画像データを生成する。画像形成装置４は、例えば通信ネットワーク２を介して到来する画像形成命令に基づいて、当該画像形成命令に含まれる画像データにより表される形成画像を紙などの記録媒体上に形成する。
【００１８】
次に、画像処理装置１が実現する機能について説明する。ここでは一例として、画像処理装置１は、画像形成装置４が記録媒体上に形成する形成画像の情報を取得し、検索用データベースＤに登録する画像情報登録処理を実行することとする。さらに画像処理装置１は、画像読み取り装置３が記録媒体から読み取って得られたスキャン画像を検索キー画像として取得し、当該検索キー画像と類似する画像を画像形成装置４の形成画像の中から検索する類似画像検索処理を実行することとする。
【００１９】
画像処理装置１は、機能的には図２に示すように、対象画像分割部２１と、対象画像特徴量算出部２２と、データ格納部２３と、データ読み出し部２４と、検索キー画像分割部２５と、検索キー画像特徴量算出部２６と、画像部分特定情報取得部２７と、類似画像選択部２８と、を含んで構成されている。これらの機能は、例えば制御部１１が記憶部１２に格納されたプログラムを実行することによって実現できる。ここで、当該プログラムは、通信ネットワークを介して提供されてもよいし、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な各種情報記録媒体に格納されて提供されるものであってもよい。
【００２０】
まず、対象画像分割部２１、対象画像特徴量算出部２２、及びデータ格納部２３が実現する機能について説明する。これらの機能によって、画像処理装置１は検索対象となる対象画像に関する情報を検索用データベースＤに登録する画像情報登録処理を実行する。
【００２１】
対象画像分割部２１は、検索の対象となる対象画像を取得し、取得した対象画像を複数の単位画像に分割する。具体例として、まず画像形成装置４は通信ネットワーク２を介して到来する画像形成命令に基づいて、紙などの記録媒体上に形成画像（対象画像）を形成する画像形成処理を実行する。そして、通信ネットワーク２を介して当該対象画像の画像データを画像処理装置１に対して送信する。このとき画像形成装置４は、対象画像の情報とともに、当該画像を記録媒体上に形成する画像形成処理に関するログ情報（画像形成処理を実行した日時、実行を指示したユーザ名など）を送信することとしてもよい。対象画像分割部２１は、画像形成装置４から送信される対象画像の画像データを受信することにより、取得する。
【００２２】
そして、対象画像分割部２１は、取得した対象画像を単位画像に分割する。例えば対象画像分割部２１は、対象画像を所定の大きさの単位画像に分割する。あるいは対象画像分割部２１は、対象画像を所定の数に分割することにより、単位画像を得ることとしてもよい。具体的に、例えば対象画像分割部２１は、対象画像を縦４行、横４列で合計１６個の矩形の単位画像に分割する。図３は、この場合の分割された対象画像を示す説明図である。図３においては、対象画像は破線に沿って１６個の単位画像に分割されている。なお、図中において示されている数字は、各単位画像を識別するための識別番号の一例を示している。
【００２３】
なお、対象画像分割部２１は、対象画像を複数の異なる条件に基づいて複数回分割することによって、互いに異なる大きさの複数種類の単位画像を得ることとしてもよい。例えば対象画像分割部２１は、前述した１６個の単位画像を得るとともに、さらに同じ対象画像を縦２行、横２列で合計４個の矩形の単位画像に分割してもよい。これにより、対象画像の４分の１の大きさの単位画像４個と、対象画像の１６分の１の大きさの単位画像１６個と、からなる合計２０個の単位画像が得られることになる。
【００２４】
対象画像特徴量算出部２２は、対象画像分割部２１によって得られる単位画像の画像特徴量を算出する。ここで画像特徴量としては、様々なものを用いることができる。例えば、単位画像に含まれる色数や、各成分色（例えば赤、緑、青など）の平均画素値（平均濃度）、また単位画像をモノクロ画像化した場合の平均濃度などを用いてもよい。また、エッジ量（隣接画素間の濃度差）や、コントラスト、局所相関などに関する情報を用いてもよい。
【００２５】
データ格納部２３は、単位画像を所定の数Ｎだけ含んでなる画像部分について、当該画像部分に関連づけるべき検索見出し情報を、当該画像部分に含まれる単位画像の画像特徴量に基づいて複数の検索見出し情報の候補のいずれかから選択的に定める。そして、当該画像部分を特定する画像部分特定情報を、当該定めた検索見出し情報に関連づけて検索用データベースＤに格納する。ここで、所定の数Ｎは１であってもよいし、２以上であってもよい。
【００２６】
具体例として、データ格納部２３は、まず検索用データベースＤに登録する対象となる複数の画像部分（登録対象画像部分）を特定する。各登録対象画像部分は、単位画像を所定の数Ｎだけ含んでいる。またここでは、登録対象画像部分は、所定の形状であることとする。具体例として、所定の数Ｎが３である場合、各登録対象画像部分に含まれる３個の単位画像は、対象画像中で例えば横一列に並んでいることとする。すなわち、一つの検索用データベースＤに登録される登録対象画像部分のうち、このような３個の単位画像が横一列に並んだ画像部分と、縦一列に並んだ画像部分やＬ字型に並んだ画像部分とは、混在しないこととなる。ただし、対象画像分割部２１が対象画像をそれぞれ異なる大きさの単位画像に複数回分割している場合、単位画像をＮ個含んだ各登録対象画像部分の大きさは、互いに異なってもよい。
【００２７】
なお、各登録対象画像部分は、互いに重なってもよい。すなわち、対象画像に含まれる各単位画像のうち、複数の登録対象画像部分に属する単位画像があってもよい。
【００２８】
ここで、登録対象画像部分は、画像部分特定情報によって特定される。具体的に画像部分特定情報は、当該情報によって特定される登録対象画像部分を含んだ対象画像と、対象画像内における登録対象画像部分の位置と、を特定する情報である。具体例として、画像部分特定情報は、対象画像の識別情報と、対象画像内の登録対象画像部分の位置を表す位置情報とを含んでなる。位置情報は、例えば対象画像内の座標値であってもよいし、対象画像内の位置に応じて予め定められた識別番号などであってもよい。あるいは、位置情報に代えて、画像部分特定情報は、登録対象画像部分に含まれる単位画像の対象画像内における位置を示す情報（例えば単位画像の識別番号など）を含むこととしてもよい。さらに、対象画像分割部２１によって大きさの異なる複数種類の単位画像が得られる場合、画像部分特定情報は、登録対象画像部分に含まれる単位画像の大きさに関する情報を含んでもよい。
【００２９】
次にデータ格納部２３は、登録対象画像部分に含まれる単位画像について対象画像特徴量算出部２２が算出した画像特徴量に基づいて、登録対象画像部分に関連づける検索見出し情報を、複数の検索見出し情報の候補のいずれかから選択的に定める。
【００３０】
ここで検索見出し情報の各候補は、対象画像特徴量算出部２２によって算出される画像特徴量がとり得る値（候補値）を、Ｎ個組み合わせた組からなる。具体例として、所定の数Ｎが２である場合の例について説明する。また、この例においては、対象画像特徴量算出部２２が算出する画像特徴量は、端数について四捨五入されて０から２５５までの整数値をとり得ることとする。この場合、検索見出し情報の候補は、１番目の単位画像の画像特徴量の値Ｖ１と、２番目の単位画像の画像特徴量の値Ｖ２と、の組（Ｖ１，Ｖ２）（Ｖ１及びＶ２はともに０から２５５までの値）で表される。この例においては、全部で６５５３６個（２５６×２５６）の検索見出し情報の候補が予め定められていることとなる。そして、データ格納部２３は、登録対象画像部分に含まれる２個の単位画像のうち、各単位画像の位置関係に応じて決まる１番目の単位画像と、２番目の単位画像と、のそれぞれについて算出された画像特徴量に基づいて、対応する検索見出し情報を６５５３６個の候補の中から選択する。
【００３１】
なお、ここでは検索見出し情報の候補が画像特徴量のとり得る候補値の組み合わせからなる場合の例について説明したが、検索見出し情報の候補は、候補値そのものではなく、候補値の所定範囲の組み合わせからなるものであってもよい。すなわち、例えば前述した例のように画像特徴量のとり得る値の範囲が０から２５５までの場合に、所定範囲として０から３１まで、３２から６３まで、６４から９５まで、９６から１２７まで、１２８から１５９まで、１６０から１９１まで、１９２から２２３まで、２２４から２５５まで、の８つの範囲に画像特徴量のとり得る値の範囲を分割する。そしてＮ＝２の場合、この所定範囲の組として、６４個（８×８）の検索見出し情報の候補が予め定められる。データ格納部２３は、登録対象画像部分に含まれる単位画像について算出された画像特徴量が、それぞれどの範囲に含まれるかによって、検索見出し情報を６４個の候補の中から選択する。
【００３２】
また、検索見出し情報の候補は、複数の画像特徴量の組み合わせからなるものであってもよい。例えば対象画像特徴量算出部２２が、各単位画像について、第１の画像特徴量Ｆ１及び第２の画像特徴量Ｆ２それぞれの値を算出するものとする。この場合、Ｎ＝２であれば、検索見出し情報の候補は、１番目の単位画像についての画像特徴量Ｆ１の値Ｖ１１及び画像特徴量Ｆ２の値Ｖ１２、並びに２番目の単位画像についての画像特徴量Ｆ１の値Ｖ２１及び画像特徴量Ｆ２の値Ｖ２２、の４つの値の組（Ｖ１１，Ｖ１２，Ｖ２１，Ｖ２２）で表される。そして、データ格納部２３は、登録対象画像部分を関連づけるべき検索見出し情報を、当該画像部分に含まれる２個の単位画像のそれぞれについて算出された画像特徴量Ｆ１及びＦ２の値に基づいて、検索見出し情報の候補の中から選択する。
【００３３】
データ格納部２３は、登録対象部分を関連づけるべき検索見出し情報を決定した後、当該画像部分を特定する画像部分特定情報を、決定した検索見出し情報に関連づけて検索用データベースＤに格納する。これにより、登録対象画像部分に関する情報が検索用データベースＤに追加される。データ格納部２３は、対象画像に含まれる全ての登録対象画像部分について、以上説明した処理を行う。
【００３４】
ここで、このようにしてデータ格納部２３により画像部分特定情報が格納された検索用データベースＤの一例について説明する。ここでは簡単のため、Ｎ＝１、すなわち画像部分が単位画像に一致する場合の例について説明する。また、対象画像は前述した例のように４分割及び１６分割され、対象画像の４分の１の大きさの単位画像４個と、１６分の１の大きさの単位画像１６個と、が各対象画像について得られるものとする。
【００３５】
図４は、このような検索用データベースＤの一例を示す図である。図４に示されるように、検索用データベースＤは、検索見出し情報に対して、対象画像識別情報及び単位画像識別番号からなる画像部分特定情報が関連づけられたデータである。ここで図中の検索見出し情報の欄に示されているｆ１，ｆ２，ｆ３，ｆ４，・・・は、画像特徴量の値を表している。また、Ｉ１及びＩ２は対象画像を識別する対象画像識別情報を表している。
【００３６】
さらに、Ｕ（４，ｎ）（ｎ＝１，２，３，４）は、各対象画像を４分割して得られる単位画像のそれぞれを識別する単位画像識別情報を示している。ここで、Ｕ（４，１）が対象画像の左上に、Ｕ（４，２）が対象画像の右上に、Ｕ（４，３）が対象画像の左下に、Ｕ（４，４）が対象画像の右下に位置する単位画像にそれぞれ対応づけられている。また、同様に、Ｕ（１６，ｍ）（ｍ＝１，２，３，・・・，１６）が、各対象画像を１６分割して得られる単位画像のそれぞれを識別する単位画像識別情報を示している。この単位画像識別情報Ｕ（１６，ｍ）は、それぞれ対象画像中の所定の位置にある単位画像に対応づけられており、図３に示されている数字がそれぞれの単位画像識別情報におけるｍの値を示している。例えばＵ（１６，４）は、対象画像を１６分割して得られる単位画像のうち、右上に位置する単位画像に対応づけられている。この単位画像識別情報によって、各画像部分に含まれる単位画像の対象画像中における位置及び大きさが特定される。
【００３７】
次に、画像処理装置１が実行する画像情報登録処理の流れの一例について、図５のフロー図に基づいて説明する。
【００３８】
まず、対象画像分割部２１が、画像形成装置４から受信したデータに基づいて、対象画像の画像データを取得する（Ｓ１）。そして、取得した対象画像を、所定の条件に基づいて複数の単位画像に分割する（Ｓ２）。
【００３９】
次に、対象画像特徴量算出部２２が、Ｓ２で得られた各単位画像の画像特徴量を算出する（Ｓ３）。
【００４０】
続いて、データ格納部２３が、検索用データベースＤに対する登録対象となる登録対象画像部分について、まず画像部分特定情報を決定する（Ｓ４）。そして、Ｓ４で決定した画像部分特定情報により特定される登録対象画像部分に対して、当該画像部分に含まれる単位画像についてＳ３で算出された画像特徴量に基づいて、検索見出し情報を決定する（Ｓ５）。さらに、データ格納部２３は、Ｓ５で決定した検索見出し情報に関連づけて、Ｓ４で決定した画像部分特定情報を検索用データベースＤに格納する（Ｓ６）。
【００４１】
次にデータ格納部２３は、対象画像に含まれる全ての登録対象画像部分について、Ｓ４からＳ６までの処理を実行して登録対象画像部分の情報を検索用データベースＤに格納したか否かを判定する（Ｓ７）。まだ検索用データベースＤに登録されていない登録対象画像部分があれば、データ格納部２３はＳ４に戻って未処理の登録対象画像部分について処理を続行する。
【００４２】
一方、全ての登録対象画像部分の情報を格納した場合、次に対象画像分割部２１は、予め定められた全ての条件に基づいて対象画像の分割を行ったか否かを判定する（Ｓ８）。複数の条件に基づいて対象画像を複数種類の単位画像に分割するよう定められており、かつ全ての条件に応じた処理を実行していない場合、対象画像分割部２１はＳ２に戻って異なる条件に基づいて対象画像を分割する処理を続行する。一方、予め定められた全ての条件に基づいて対象画像の分割を行い、得られた単位画像に対する処理を実行した場合、画像処理装置１は画像情報登録処理を終了する。
【００４３】
以上説明した処理により、画像処理装置１は、登録対象となった対象画像を様々な大きさの単位画像に分割し、当該単位画像を所定の数だけ含んだ複数の画像部分の情報を、画像特徴量に応じた検索見出し情報に関連づけて検索用データベースＤに登録できる。
【００４４】
次に、データ読み出し部２４、検索キー画像分割部２５、検索キー画像特徴量算出部２６、画像部分特定情報取得部２７、及び類似画像選択部２８が実現する機能について説明する。これらの機能によって、画像処理装置１は検索用データベースＤに格納されているデータを用いて、検索キー画像と類似する画像を対象画像の中から検索する類似画像検索処理を実行する。
【００４５】
データ読み出し部２４は、検索用データベースＤからデータを読み出す。ここではデータ読み出し部２４は、画像部分特定情報取得部２７からの要求に従って、特定の検索見出し情報に関連づけられた画像部分特定情報の読み出しを行う。
【００４６】
検索キー画像分割部２５は、検索のキーとなる検索キー画像を取得し、取得した検索キー画像を複数の単位画像に分割する。具体的に、例えば検索キー画像分割部２５は、まず以下のようにして検索キー画像を取得する。例えば不正に流出したと思われる画像が形成された記録媒体を入手した場合、ユーザは画像読み取り装置３に対して、検索キー画像であることを指定して、当該記録媒体に形成された画像を読み取らせる。これにより、画像読み取り装置３は、読み取って得られたスキャン画像データを、検索キー画像である旨の情報とともに画像処理装置１に対して送信する。この送信されたデータを受け入れることにより、検索キー画像分割部２５は検索キー画像の画像データを取得する。
【００４７】
さらに検索キー画像分割部２５は、対象画像分割部２１と同様にして、取得した検索キー画像を所定の大きさ又は数の単位画像に分割する。
【００４８】
ここで、検索キー画像分割部２５は、対象画像分割部２１と同様に、検索キー画像を複数の異なる条件に基づいて複数回分割することによって、互いに異なる大きさの複数種類の単位画像を得ることとしてもよい。また、検索キー画像分割部２５によって得られる単位画像は、対象画像分割部２１によって得られる単位画像と異なる大きさの画像であってもよい。このように、対象画像分割部２１によって得られる単位画像と異なる大きさの単位画像を生成し、後述するようにこの異なる大きさの単位画像を含んだ画像部分どうしを比較することにより、検索キー画像が、画像サイズの異なる対象画像と類似するか否かを判定することができる。
【００４９】
検索キー画像特徴量算出部２６は、検索キー画像分割部２５によって得られる単位画像の画像特徴量を算出する。具体的に、検索キー画像特徴量算出部２６は、対象画像に含まれる単位画像ついて対象画像特徴量算出部２２が算出した画像特徴量と同じ種類の画像特徴量について、算出を行う。
【００５０】
画像部分特定情報取得部２７は、検索キー画像分割部２５によって得られる単位画像を所定の数Ｎだけ含んでなる画像部分（比較対象画像部分）について、検索用データベースＤにおいて、当該画像部分に含まれる単位画像の画像特徴量を用いて定められる検索見出し情報に関連づけられた画像部分特定情報を取得する。画像部分特定情報取得部２７は、このような画像部分特定情報を、データ読み出し部２４に検索用データベースＤから読み出させることによって取得する。
【００５１】
具体的に、画像部分特定情報取得部２７は、まずデータ格納部２３と同様にして、検索キー画像に含まれる比較対象画像部分を特定する。比較対象画像部分は、検索用データベースＤに登録されている登録対象画像部分と比較する対象となる検索キー画像内の画像部分である。比較対象画像部分は、検索用データベースＤに登録されている各登録対象画像部分と同じ数だけ単位画像を含んでおり、かつ当該画像部分内の単位画像の配置が登録対象画像部分と同じ配置となるように決定される。ただし、前述したように、その大きさは登録対象画像部分の大きさと異なってもよい。
【００５２】
画像部分特定情報取得部２７は、この比較対象画像部分に含まれる単位画像の画像特徴量に基づいて、データ格納部２３と同様にして、検索見出し情報を決定する。そして、検索用データベースＤにおいて当該決定した検索見出し情報に関連づけられた画像部分特定情報を取得する。これにより画像部分特定情報取得部２７は、検索キー画像に含まれる比較対象画像部分に対して、当該各比較対象画像部分と類似する可能性のある類似候補画像部分を、複数の対象画像に含まれる登録対象画像部分の集合の中から抽出することができる。ここで述べた画像部分特定情報を取得する処理は、例えばデータベースに登録された登録対象画像部分を網羅的に検索して条件を満たす画像部分を抽出する処理に比べて簡易な処理であり、処理時間も比較的短い。このような処理によって検索キー画像に類似する画像の候補を絞り込むことにより、画像処理装置１は、検索処理の際の処理効率を向上できる。
【００５３】
なお、画像部分特定情報取得部２７は、検索用データベースＤから画像部分特定情報を取得する対象となる検索見出し情報を決定する場合に、以下のようにしてもよい。すなわち、比較対象画像部分に含まれる単位画像について算出された画像特徴量の値に対して、当該画像特徴量の値そのものに一致する検索見出し情報だけでなく、算出された画像特徴量の値の近傍の値に対応する検索見出し情報を、画像部分特定情報を取得する対象として決定する。例えば、比較対象画像部分に含まれる単位画像について算出された画像特徴量の値を含む所定範囲の値に対応する検索見出し情報を、画像部分特定情報を取得する対象として決定する。そして、このような検索見出し情報に関連づけられた画像部分特定情報を取得する。これにより、画像部分特定情報取得部２７は、比較対象画像部分に含まれる単位画像と、画像特徴量の差が所定値以下となるような単位画像を含んだ登録対象画像部分を、比較対象画像部分に類似する可能性のある類似候補画像部分として抽出できる。
【００５４】
類似画像選択部２８は、画像部分特定情報取得部２７が取得した画像部分特定情報に基づいて、検索対象となる複数の対象画像の中から検索キー画像に類似する類似画像を選択する。具体的には、検索キー画像内における比較対象画像部分の位置関係と、同じ位置関係で対象画像中に含まれる類似候補画像部分があるか否かを判定し、このような条件を満たす類似候補画像部分を含む対象画像（又は対象画像の一部分）を、類似候補画像として選択する。
【００５５】
ここで類似画像選択部２８が実行する処理の一例について、以下説明する。ここでは、検索キー画像に含まれる比較対象画像部分が４個あることとし、４個の比較対象画像部分をＣｉ（ｉ＝１，２，３，４）と表記する。また、画像部分特定情報取得部２７は、各比較対象画像部分Ｃｉに含まれる単位画像の画像特徴量に基づいて取得対象となる検索見出し情報を決定し、検索用データベースＤにおいて決定した検索見出し情報に関連づけられている全ての画像部分特定情報を取得するものとする。なお、比較対象画像部分Ｃｉに対して、画像部分特定情報取得部２７が取得した画像部分特定情報によって特定される登録対象画像部分（類似候補画像部分）からなる画像部分の集合を、Ｓｉ（ｉ＝１，２，３，４）と表記する。
【００５６】
この場合、類似画像選択部２８は、４個の集合Ｓ１，Ｓ２，Ｓ３及びＳ４に属する登録対象画像部分の情報に基づいて、以下の条件を満たす対象画像を類似候補画像として抽出する。まず第１の条件は、Ｓ１，Ｓ２，Ｓ３及びＳ４のどの集合についても、当該類似候補画像に含まれるいずれかの登録対象画像部分が属していることである。そして第２の条件は、各集合に含まれる類似候補画像の登録対象画像部分が、それぞれ同じ大きさの単位画像を含んでいることである。さらに第３の条件は、検索キー画像内の比較対象画像部分の位置関係と、当該比較対象画像部分に対応する登録対象画像部分の類似候補画像内における位置関係と、が一致することである。類似画像選択部２８は、このような条件を満たす類似候補画像を抽出する。
【００５７】
例えばある対象画像Ｉに含まれる４個の登録対象画像部分をＲｉ（ｉ＝１，２，３，４）とする。この場合、４個の登録対象画像部分Ｒ１，Ｒ２，Ｒ３及びＲ４が、それぞれＳ１，Ｓ２，Ｓ３及びＳ４に属していれば、第１の条件を満たす。また、４個の登録対象画像部分がいずれも同じ大きさの単位画像を含んだ画像部分であれば、第２の条件を満たす。
【００５８】
さらに類似画像選択部２８は、比較対象画像部分Ｃ１，Ｃ２，Ｃ３及びＣ４の検索キー画像内における位置関係と、対象画像Ｉ内における登録対象画像部分Ｒ１，Ｒ２，Ｒ３及びＲ４の位置関係と、が一致するか否かを判定する。具体例として、各画像部分が単位画像を１個だけ含んでおり、比較対象画像部分Ｃ１は検索キー画像の左上に、Ｃ２は検索キー画像の右上に、Ｃ３は検索キー画像の左下に、Ｃ４は検索キー画像の右下に、それぞれ位置していることとする。この場合において、登録対象画像部分Ｒ１，Ｒ２，Ｒ３及びＲ４も、Ｃ１，Ｃ２，Ｃ３及びＣ４と同様に、対象画像Ｉ内においてＲ１が左上に、Ｒ２が右上に、Ｒ３が左下に、Ｒ４が右下に、それぞれ位置している場合、両者の位置関係は一致し、第３の条件は満たされる。
【００５９】
なお、比較対象画像部分の位置関係と、登録対象画像部分の位置関係と、を比較する場合、両者が同じ向きで一致しなくともよい。すなわち、例えば一方を９０度回転させた場合に同じ配置になる場合にも、両者が一致すると判定してもよい。例えばそれぞれの画像部分に含まれる単位画像の形状が正方形である場合、このように判定することで、画像処理装置１は、検索キー画像が対象画像に対して９０度単位で回転された画像である場合にも、両者を類似する画像と判定することができる。
【００６０】
類似画像選択部２８は、このようにして選択された類似候補画像を、そのまま検索キー画像に類似する類似画像としてユーザに提示してもよいし、さらに類似画像の絞り込みを行ってもよい。すなわち、検索キー画像と、類似候補画像との間で、公知の画像類否判定技術などにより画像の類似度を判定することにより、類似候補画像の中でも比較的類似度の高い画像を、類似画像としてユーザに提示してもよい。この場合でも、予め検索用データベースＤから得られた情報に基づいて類似候補画像を絞り込むことにより、全ての対象画像について公知の画像類否判定技術を用いて画像の類似度を判定する場合に比べて、処理効率を向上できる。
【００６１】
ここで、図４に示す検索用データベースＤを用いて検索を行う場合に、類似画像選択部２８が類似候補画像として抽出する画像の例について、説明する。以下の例においては、検索キー画像分割部２５は検索キー画像を２行２列の４個の単位画像に分割しているものとする。また、検索キー画像特徴量算出部２６は、それぞれ検索キー画像の左上に位置する単位画像及び右下に位置する単位画像についてｆ１、右上に位置する単位画像についてｆ３、左下に位置する単位画像についてｆ４を、画像特徴量の値として算出しているものとする。
【００６２】
図４の例においては、検索用データベースＤは単位画像を１個だけ含む画像部分が登録されたデータベースなので、画像部分特定情報取得部２７による処理対象となる比較対象画像部分も、単位画像を１個だけ含む画像部分となる。以下、それぞれ検索キー画像の左上に位置する単位画像を含む比較対象画像部分をｃ１、右上に位置する単位画像を含む比較対象画像部分をｃ２、左下に位置する単位画像を含む比較対象画像部分をｃ３、右下に位置する単位画像を含む比較対象画像部分をｃ４とする。
【００６３】
この場合において、検索用データベースＤに登録されている対象画像のうち、対象画像Ｉ１は、前述した３つの条件を満たす。すなわち、対象画像Ｉ１を４個の単位画像に分割した場合に、検索キー画像と同様に、左上及び右下に位置する単位画像の画像特徴量がｆ１、右上に位置する単位画像の画像特徴量がｆ３、左下に位置する単位画像の画像特徴量がｆ４であることが、検索用データベースＤに登録されている登録対象画像部分の情報から分かる。よって、類似画像選択部２８は、対象画像Ｉ１を類似候補画像と判定する。
【００６４】
また、画像特徴量の値が完全に一致することが要求される場合、対象画像Ｉ２は、類似候補画像としての条件を満たさないことが分かる。なぜなら、検索用データベースＤにおいて、比較対象画像部分ｃ４の画像特徴量ｆ１に関連づけられた画像部分特定情報には、対象画像Ｉ２の右下に位置する単位画像を含む画像部分（単位画像識別情報Ｕ（４，４）によって特定される画像部分）が含まれていないからである。しかしながら、画像部分特定情報取得部２７が、画像特徴量ｆ１を含む所定範囲の値に対応する検索見出し情報を取得対象とする場合、対象画像Ｉ２も類似候補画像となることがある。すなわち、この所定範囲にｆ２が含まれる場合、比較対象画像部分ｃ４に対応する類似候補画像部分には、検索用データベースＤにおいてｆ１に関連づけられた画像部分だけでなく、ｆ２に関連づけられた画像部分も含まれることとなる。この場合には、対象画像Ｉ２も類似候補画像の条件を満たすこととなる。
【００６５】
さらに、対象画像Ｉ２が全体として類似候補画像の条件を満たさない場合であっても、対象画像Ｉ２の一部分は類似候補画像としての条件を満たす。すなわち、図４の検索用データベースＤにおいて、比較対象画像部分ｃ１の画像特徴量ｆ１に関連づけられた画像部分特定情報には、単位画像識別情報Ｕ（１６，３）によって特定される画像部分が含まれている。同様にして、比較対象画像部分ｃ２に対応する類似候補画像部分にはＵ（１６，４）によって特定される画像部分が、比較対象画像部分ｃ３に対応する類似候補画像部分にはＵ（１６，７）によって特定される画像部分が、比較対象画像部分ｃ２に対応する類似候補画像部分にはＵ（１６，８）によって特定される画像部分が、それぞれ含まれている。そして、これらの画像部分の対象画像内における位置関係は、図３に示されるように、検索キー画像内における比較対象画像部分の位置関係と一致する。従って、これらの画像部分からなる対象画像Ｉ２の一部の画像は、検索キー画像に類似する可能性のある類似候補画像となる。
【００６６】
このように、本実施形態によれば、大きさの異なる単位画像を含んだ比較対象画像部分と登録対象画像部分とを対比することによって、検索キー画像と、対象画像の一部を占める画像とが類似するか否かを判定することもできる。
【００６７】
次に、画像処理装置１が実行する類似画像検索処理の流れの一例について、図６のフロー図に基づいて説明する。
【００６８】
まず、検索キー画像分割部２５が、画像読み取り装置３から受信したデータに基づいて、検索キー画像の画像データを取得する（Ｓ１１）。そして、取得した検索キー画像を、所定の条件に基づいて複数の単位画像に分割する（Ｓ１２）。
【００６９】
次に、検索キー画像特徴量算出部２６が、Ｓ１２で得られた各単位画像の画像特徴量を算出する（Ｓ１３）。
【００７０】
続いて、画像部分特定情報取得部２７が、検索キー画像に含まれる処理対象の比較対象画像部分について、検索用データベースＤからデータを取得する対象となる検索見出し情報を決定する（Ｓ１４）。そして、データ読み出し部２４が、画像部分特定情報取得部２７の制御に基づいて、Ｓ１４で決定された検索見出し情報に関連づけられた画像部分特定情報を検索用データベースＤから読み出す（Ｓ１５）。
【００７１】
次に画像部分特定情報取得部２７は、検索キー画像に含まれる全ての比較対象画像部分について、Ｓ１４及びＳ１５の処理を実行して画像部分特定情報を取得したか否かを判定する（Ｓ１６）。まだ画像部分特定情報の取得を行っていない比較対象画像部分があれば、画像部分特定情報取得部２７はＳ１４に戻って未処理の画像部分について処理を続行する。
【００７２】
一方、全ての比較対象画像部分について、画像部分特定情報の取得を実行した場合、次に類似画像選択部２８が、Ｓ１６の処理によって取得された画像部分特定情報に基づいて、検索キー画像に類似する類似候補画像を特定する（Ｓ１７）。
【００７３】
その後、検索キー画像分割部２５は、予め定められた全ての条件に基づいて検索キー画像の分割を行ったか否かを判定する（Ｓ１８）。複数の条件に基づいて検索キー画像を複数種類の単位画像に分割するよう定められており、かつ全ての条件に応じた処理を実行していない場合、検索キー画像分割部２５はＳ１２に戻って異なる条件に基づいて検索キー画像を分割する処理を続行する。一方、予め定められた全ての条件に基づいて検索キー画像の分割を行い、得られた単位画像に対する処理を実行した場合、Ｓ１９の処理に進む。
【００７４】
最後に、類似画像選択部２８は、Ｓ１７によって得られた類似候補画像に対して、さらに類似度の高い画像を抽出する類否判定処理を行う（Ｓ１９）。そして、Ｓ１９の結果得られる検索キー画像に類似する画像を、類似画像検索処理の処理結果として表示部１４に表示させる等の手段によりユーザに提示する（Ｓ２０）。
【００７５】
以上説明した処理により、画像処理装置１は、検索用データベースＤを用いて、検索キー画像に類似する画像を対象画像の中から抽出し、ユーザに提示することができる。
【００７６】
以上説明した本実施の形態によれば、検索対象となる対象画像に含まれる複数の登録対象画像部分が、各登録対象画像部分に含まれる単位画像の画像特徴量に基づいて定められた検索見出し情報に関連づけて検索用データベースＤに登録される。そして、画像処理装置１は、検索キー画像に含まれる複数の比較対象画像部分について、各比較対象画像部分に含まれる単位画像の画像特徴量に基づいて定められた検索見出し情報に関連づけて検索用データベースＤに登録されている登録対象画像部分の情報に基づいて、検索キー画像に類似する対象画像を検索できる。これにより、検索キー画像と対象画像とを一つ一つ比較する場合と比べて、より簡易な処理で検索キー画像に類似する画像を絞り込むことができ、類似画像検索処理の処理効率を向上できる。
【００７７】
なお、本発明は以上説明した実施形態に限定されるものではなく、種々の実施形態により実現可能である。
【００７８】
例えば画像処理装置１は、画像形成装置４によって形成される形成画像に限らず、様々なデジタル画像に対して画像情報登録処理を実行することとしてもよい。また、画像処理装置１は、画像読み取り装置３や画像形成装置４などと一体に構成されていてもよい。また、画像処理装置１は、画像情報登録処理を実行して対象画像の情報を検索用データベースＤに登録する画像情報登録装置と、検索用データベースＤを用いて類似画像検索処理を行う類似画像検索装置とに分かれてもよい。
【００７９】
さらに、本実施形態における検索用データベースＤは、画像処理装置１の外部にあってもよい。例えば検索用データベースＤは、通信ネットワーク２を介して画像処理装置１と接続されるファイルサーバ等の記憶装置に格納されることとしてもよい。
【００８０】
また、検索用データベースＤは、複数あってもよい。例えば、画像特徴量の種別に応じて、複数の検索用データベースＤが用意されてもよい。具体例として、赤、緑、青の各成分色について、それぞれの成分色の平均画素値を画像特徴量として用いた、３つの検索用データベースＤが用意されてもよい。この場合、例えば、この複数の検索用データベースＤのそれぞれを用いて類似画像検索処理を実行し、全ての処理において類似すると判定された対象画像を、検索キー画像に類似する類似画像としてユーザに提示する。また、画像部分に含まれる単位画像の数Ｎの違いに応じて、複数の検索用データベースＤが用意されてもよい。
【図面の簡単な説明】
【００８１】
【図１】本発明の実施の形態に係る画像処理装置の構成例を表すブロック図である。
【図２】本発明の実施の形態に係る画像処理装置の機能の一例を表す機能ブロック図である。
【図３】単位画像に分割された対象画像の一例を示す説明図である。
【図４】検索用データベースに格納されたデータの一例を示す説明図である。
【図５】本発明の実施の形態に係る画像処理装置によって実行される画像情報登録処理の一例を示すフロー図である。
【図６】本発明の実施の形態に係る画像処理装置によって実行される類似画像検索処理の一例を示すフロー図である。
【符号の説明】
【００８２】
１  画像処理装置、２  通信ネットワーク、３  画像読み取り装置、４  画像形成装置、１１  制御部、１２  記憶部、１３  操作部、１４  表示部、１５  通信部、２１  対象画像分割部、２２  対象画像特徴量算出部、２３  データ格納部、２４  データ読み出し部、２５  検索キー画像分割部、２６  検索キー画像特徴量算出部、２７  画像部分特定情報取得部、２８  類似画像選択部。
【図１】
2007334445.tif 000003
【図２】
2007334445.tif 000004
【図３】
2007334445.tif 000005
【図４】
2007334445.tif 000006
【図５】
2007334445.tif 000007
【図６】
2007334445.tif 000008