(57)【要約】【課題】任意の検索キー画像に基づく画像検索処理の高速化を図る。【解決手段】検索キー画像として指定された画像を形成するオブジェクト及び当該各オブジェクトの属性を抽出し、当該各オブジェクトの属性情報を生成する属性情報生成部２２と、予め決められた選出基準に従い検索キー画像の中から当該検索キー画像において特徴的なオブジェクトを優先キーとして選出するオブジェクト選出部２３と、優先キーの属性情報と、画像データベース３０に登録された画像のオブジェクトの属性情報とを比較・照合することによって検索キー画像の類似画像を抽出する比較・照合部２４と、を有する。【選択図】図２
2009223468.tif 000002
【特許請求の範囲】
【請求項１】
各画像を形成するオブジェクトの属性情報を記憶する画像情報記憶手段と、
検索キー画像として指定された画像を形成するオブジェクト及び当該各オブジェクトの属性を抽出し、当該各オブジェクトの属性情報を生成する第１の抽出手段と、
予め決められた選出基準に従い検索キー画像の中から当該検索キー画像において特徴的なオブジェクトを選出すると共に、その選出したオブジェクトの属性情報を、前記第１の抽出手段により生成された情報の中から選出する選出手段と、
前記選出手段により選出されたオブジェクトの属性情報と、前記画像情報記憶手段に記憶されたオブジェクトの属性情報とを比較・照合することによって、前記画像情報記憶手段に記憶された画像のうち検索キー画像と一致又は類似する画像を一部分に含む１又は複数の画像を抽出する第２の抽出手段と、
前記第２の抽出手段により抽出された画像に関する情報を出力する出力手段と、
を有することを特徴とする画像検索装置。
【請求項２】
請求項１記載の画像検索装置において、
画像を受け付ける受付手段と、
受け付けた画像を形成するオブジェクトを抽出し、そのオブジェクトの属性情報を生成して画像と共に前記画像情報記憶手段に登録する画像情報登録手段と、
画像のオブジェクトに関する統計情報を記憶する統計情報記憶手段と、
前記画像情報記憶手段に画像が新たに登録されたときに、前記画像情報記憶手段に記憶されている全画像のオブジェクトに関する統計情報を生成して、その生成した統計情報で前記統計情報記憶手段に記憶されている統計情報を更新する統計情報更新手段と、
を有し、
前記選出手段は、統計情報を参照することにより、相対的にオブジェクト数の少ない属性が設定されたオブジェクトを優先的に選出することを特徴とする画像検索装置。
【請求項３】
請求項１記載の画像検索装置において、
前記選出手段は、検索キー画像の予め決められた位置にある画像を抽出するという抽出基準に従いオブジェクトを抽出することを特徴とする画像検索装置。
【請求項４】
請求項１記載の画像検索装置において、
前記選出手段は、予め指定されたオブジェクトの画像を抽出するという抽出基準に従いオブジェクトを抽出することを特徴とする画像検索装置。
【請求項５】
コンピュータを、
各画像を形成するオブジェクトの属性情報を記憶する画像情報記憶手段、
検索キー画像として指定された画像を形成するオブジェクト及び当該各オブジェクトの属性を抽出し、当該各オブジェクトの属性情報を生成する第１の抽出手段、
予め決められた選出基準に従い検索キー画像の中から当該検索キー画像において特徴的なオブジェクトを選出すると共に、その選出したオブジェクトの属性情報を、前記第１の抽出手段により生成された情報の中から選出する選出手段、
前記選出手段により選出されたオブジェクトの属性情報と、前記画像情報記憶手段に記憶されたオブジェクトの属性情報とを比較・照合することによって、前記画像情報記憶手段に記憶された画像のうち検索キー画像と一致又は類似する画像を一部分に含む１又は複数の画像を抽出する第２の抽出手段、
前記第２の抽出手段により抽出された画像に関する情報を出力する出力手段、
として機能させる画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置及び画像検索プログラムに関する。
【背景技術】
【０００２】
従来から、検索キー画像を入力して、その検索キー画像に一致又は類似する画像を検索する画像検索技術がある。画像検索は、検索キー画像を検索対象とする各画像とパターンマッチングを順次行うことで、検索キー画像に一致又は類似する画像を検出することは容易に実現できる。ただ、画像データはラスタデータであるため、パターンマッチングを行って画像検索を行うには多大な時間を要してしまう。そこで、従来から、画像検索処理をより効率的又は高速に行うための技術が種々提案されている（例えば、特許文献１，２）。
【０００３】
ところで、画像検索というのは、一般的に画像同士、つまり画像全体の比較・照合を行うものであったが、近年では、画像の一部分を切り出し、その切出画像を検索キー画像として画像検索を行う技術が提案されている（例えば、特許文献３，４）。
【０００４】
【特許文献１】特開２０００−２８５２３７号公報
【特許文献２】特開平１１−１６７６４２号公報
【特許文献３】特開２００２−２４５０４８号公報
【特許文献４】特許第３６２１０６５号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献３では、オブジェクトの全体像を含む画像に基づく画像検索であり、切れた状態のオブジェクトを含む画像を検索キー画像とする画像検索には言及していない。また、特許文献４は、オブジェクトの全体像が含まれなくても画像検索を行うことは可能でも、交通標識や看板等画像検索が可能なオブジェクトが限定されている。このような何らかの制限の有無にかかわらず、画像の一部分を検索キー画像とした場合でも、画像検索処理の高速化が望まれる。このように、従来においては、検索キー画像等に何らかの制限を設けることによって画像検索処理の効率化や高速化が実現されていた。
【０００６】
本発明は、任意の検索キー画像に基づく画像検索処理の高速化を図ることを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像検索装置は、各画像を形成するオブジェクトの属性情報を記憶する画像情報記憶手段と、検索キー画像として指定された画像を形成するオブジェクト及び当該各オブジェクトの属性を抽出し、当該各オブジェクトの属性情報を生成する第１の抽出手段と、予め決められた選出基準に従い検索キー画像の中から当該検索キー画像において特徴的なオブジェクトを選出すると共に、その選出したオブジェクトの属性情報を、前記第１の抽出手段により生成された情報の中から選出する選出手段と、前記選出手段により選出されたオブジェクトの属性情報と、前記画像情報記憶手段に記憶されたオブジェクトの属性情報とを比較・照合することによって、前記画像情報記憶手段に記憶された画像のうち検索キー画像と一致又は類似する画像を一部分に含む１又は複数の画像を抽出する第２の抽出手段と、前記第２の抽出手段により抽出された画像に関する情報を出力する出力手段と、を有することを特徴とする。
【０００８】
また、画像を受け付ける受付手段と、受け付けた画像を形成するオブジェクトを抽出し、そのオブジェクトの属性情報を生成して画像と共に前記画像情報記憶手段に登録する画像情報登録手段と、画像のオブジェクトに関する統計情報を記憶する統計情報記憶手段と、前記画像情報記憶手段に画像が新たに登録されたときに、前記画像情報記憶手段に記憶されている全画像のオブジェクトに関する統計情報を生成して、その生成した統計情報で前記統計情報記憶手段に記憶されている統計情報を更新する統計情報更新手段と、を有し、前記選出手段は、統計情報を参照することにより、相対的にオブジェクト数の少ない属性が設定されたオブジェクトを優先的に選出することを特徴とする。
【０００９】
また、前記選出手段は、検索キー画像の予め決められた位置にある画像を抽出するという抽出基準に従いオブジェクトを抽出することを特徴とする。
【００１０】
また、前記選出手段は、予め指定されたオブジェクトの画像を抽出するという抽出基準に従いオブジェクトを抽出することを特徴とする。
【００１１】
本発明に係る画像検索プログラムは、コンピュータを、各画像を形成するオブジェクトの属性情報を記憶する画像情報記憶手段、検索キー画像として指定された画像を形成するオブジェクト及び当該各オブジェクトの属性を抽出し、当該各オブジェクトの属性情報を生成する第１の抽出手段、予め決められた選出基準に従い検索キー画像の中から当該検索キー画像において特徴的なオブジェクトを選出すると共に、その選出したオブジェクトの属性情報を、前記第１の抽出手段により生成された情報の中から選出する選出手段、前記選出手段により選出されたオブジェクトの属性情報と、前記画像情報記憶手段に記憶されたオブジェクトの属性情報とを比較・照合することによって、前記画像情報記憶手段に記憶された画像のうち検索キー画像と一致又は類似する画像を一部分に含む１又は複数の画像を抽出する第２の抽出手段、前記第２の抽出手段により抽出された画像に関する情報を出力する出力手段、として機能させる。
【発明の効果】
【００１２】
請求項１記載の発明によれば、検索キー画像として指定された画像により画像検索を行う際に、その検索キー画像の中から特徴的な部分のオブジェクトを抽出して比較・照合を行うようにしたので、一致又は類似した画像をより高速に検索することができる。
【００１３】
請求項２記載の発明によれば、統計量の少ないオブジェクトを優先的に比較・照合対象としたので、検索対象画像に一致又は類似する画像が見つけやすくなる。
【００１４】
請求項３記載の発明によれば、検索キー画像の特定の位置に特徴的なオブジェクトが存在する検索キー画像においてはそのオブジェクトに基づき画像検索させれば、検索キー画像に一致又は類似する画像が見つけやすくなる。
【００１５】
請求項４記載の発明によれば、検索キー画像において特徴的であると考えられるオブジェクトに基づき画像検索させれば、検索キー画像に一致又は類似する画像が見つけやすくなる。
【００１６】
請求項５記載の発明によれば、検索キー画像として指定された画像により画像検索を行う際、コンピュータに、その検索キー画像の中から特徴的な部分のオブジェクトを抽出して比較・照合を行わせるようにしたので、一致又は類似した画像をより高速に検索させることができる。
【発明を実施するための最良の形態】
【００１７】
以下、図面に基づいて、本発明の好適な実施の形態について説明する。
【００１８】
図１は、本発明に係る画像検索装置２０を形成するコンピュータのハードウェア構成図である。本実施の形態において画像検索装置２０を形成するコンピュータは、従前から存在するパーソナルコンピュータ（ＰＣ）などの汎用的なコンピュータのハードウェア構成で実現できる。すなわち、コンピュータは、図１に示したようにＣＰＵ１、ＲＯＭ２、ＲＡＭ３、ハードディスクドライブ（ＨＤＤ）４を接続したＨＤＤコントローラ５、入力手段として設けられたマウス６とキーボード７、及び表示装置として設けられたディスプレイ８をそれぞれ接続する入出力コントローラ９、通信手段として設けられたネットワークコントローラ１０を内部バス１１に接続して構成される。
【００１９】
図２は、本実施の形態における画像検索装置２０のブロック構成図である。画像検索装置２０は、検索キー画像受付部２１、属性情報生成部２２、オブジェクト選出部２３、比較・照合部２４、類似度算出部２５、検索画像情報表示部２６、画像受付部２７、画像情報生成登録部２８、統計情報更新部２９、画像データベース（ＤＢ）３０及び統計情報データベース（ＤＢ）３１を有している。検索キー画像受付部２１は、ユーザにより指定された画像を検索キー画像として受け付ける。属性情報生成部２２は、検索キー画像を画像解析することによって検索キー画像を形成するオブジェクト及び当該各オブジェクトの属性を抽出し、当該各オブジェクトの属性情報を生成する。オブジェクト選出部２３は、予め決められた選出基準に従い検索キー画像の中から当該検索キー画像において特徴的なオブジェクトを選出する。また、その選出したオブジェクトの属性情報を、属性情報生成部２２により生成された情報の中から選出する。比較・照合部２４は、オブジェクト選出部２３により選出されたオブジェクトの属性情報と、画像データベース３０に記憶されたオブジェクトの属性情報とを比較・照合することによって、画像データベース３０に記憶された画像のうち検索キー画像と一致又は類似する画像を一部分に含む１又は複数の画像を抽出する。類似度算出部２５は、検索キー画像と、比較・照合部２４により抽出された各画像の検索キー画像に対応する部分画像との類似度を算出する。検索画像情報表示部２６は、類似度算出部２５により算出された類似度に基づいて検索キー画像に一致又は類似する画像を一部分に含む画像の表示形態を決定し、その画像に関する情報を表示する。画像受付部２７は、画像データベース３０に登録する画像を受け付ける。画像情報生成登録部２８は、画像受付部２７が受け付けた画像を形成するオブジェクト及び当該各オブジェクトの属性を抽出し、当該各オブジェクトの属性情報を生成して画像データベース３０に登録する。統計情報更新部２９は、画像データベース３０に画像が新たに登録されたときに、画像データベース３０に記憶されている全画像のオブジェクトに関する統計情報を生成して、その生成した統計情報で統計情報データベース３１に記憶されている統計情報を更新する。画像データベース３０には、画像及び当該各画像を形成するオブジェクトの属性情報が記憶される。統計情報データベース３１には、画像データベース３０に記憶されている各画像のオブジェクトに関する統計情報が記憶される。
【００２０】
画像検索装置２０における各構成要素２１〜２９は、画像検索装置２０を形成するコンピュータと、コンピュータに搭載されたＣＰＵ１で動作するプログラムとの協調動作により実現される。また、各データベース３０，３１は、画像検索装置２０に搭載されたＨＤＤ４にて実現される。なお、各データベース３０，３１は、ネットワーク経由でアクセス可能であれば、必ずしも画像検索装置２０に搭載する必要はない。
【００２１】
また、本実施の形態で用いるプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ等のコンピュータ読み取り可能な記録媒体に格納して提供することも可能である。通信手段や記録媒体から提供されたプログラムはコンピュータにインストールされ、コンピュータのＣＰＵがインストールプログラムを順次実行することで各種処理が実現される。
【００２２】
図３は、本実施の形態における画像データベース３０のデータ構成例を示した図である。図３には、登録された画像に関連する情報が示されており、設定されるデータ項目として、登録された画像の識別情報である画像ＩＤ、画像毎に当該画像を構成する各ページの識別情報であるページＩＤ、画像に含まれるページ毎に当該ページを形成するオブジェクトの識別情報であるオブジェクトＩＤ、オブジェクト毎に当該オブジェクトの属性情報に含める属性項目として種類、形状、領域及び色、そして各画像の格納先を特定する格納先情報が示されている。なお、属性情報に含める属性項目は一例であって、これに限定する必要はない。
【００２３】
次に、本実施の形態における動作について説明するが、最初に画像を画像データベース３０に登録するときの処理について説明する。この処理は、後述する画像検索処理とは独立してユーザによる登録指示に応じて実行される。
【００２４】
ユーザが登録したい画像を選択し所定の登録指示操作を行うと、画像受付部２７は、その画像を受け付ける。そして、画像情報生成登録部２８は、その画像を形成するオブジェクト及び当該各オブジェクトの属性を抽出し、当該各オブジェクトの属性情報を生成する。そして、生成した画像、画像を形成する各オブジェクトの属性情報を画像データベース３０に登録する。画像データベース３０に画像が新たに登録されたことを検出すると、統計情報更新部２９は、画像データベース３０に記憶されている全画像のオブジェクトに関する統計情報を生成する。例えば、全ページ画像のうち、形状が円／三角形／矩形／文字等のオブジェクトが含まれているページ画像の数、黒／赤／緑等の色の円のオブジェクトが含まれているページ画像の数などの統計情報を生成する。どのような統計情報を生成するかは、事前に決められている。そして、統計情報更新部２９は、生成した統計情報で統計情報データベース３１に記憶されている統計情報を更新する。すなわち、統計情報データベース３１には、常に最新の情報が登録されることになる。
【００２５】
本実施の形態における画像検索処理は、図４に示したように、ユーザが検索対象の画像４１をディスプレイ８に表示し、その表示した画像の中から検索キー画像としたい領域４２を指定した後、検索ボタン４３を選択することで開始される。この本実施の形態における画像検索処理について図５に示したフローチャートを用いて説明する。
【００２６】
検索ボタン４３が選択されると、検索キー画像受付部２１は、検索対象の画像４１のデータを格納先であるＨＤＤ４又はネットワーク経由で取得し、そしてユーザにより指定された領域４２に含まれる画像を画像４１から切り出す。このように画像を切り出すことで抽出した画像を検索キー画像として受け付ける（ステップ１０１）。
【００２７】
続いて、属性情報生成部２２は、検索キー画像を画像解析することによって検索キー画像を形成するオブジェクト及び当該各オブジェクトの属性を抽出し、その抽出した属性に基づき当該各オブジェクトの属性情報を生成する（ステップ１０２）。生成する属性情報に含まれる属性項目は、画像データベース３０に含まれる属性情報と同じでよい。オブジェクト選出部２３は、予め決められた選出基準に従い検索キー画像の中から当該検索キー画像において特徴的なオブジェクトを選出する（ステップ１０３）。なお、選出するオブジェクトの数は１つに限る必要はない。この選出したオブジェクトが画像検索のためのキー画像となるが、以降の説明ではこの選出したオブジェクトを「優先キー」と称することにする。この優先キーとするオブジェクトの選出基準としては、例えば次のような基準を予め設定しておく。
【００２８】
例えば、検索キー画像の中に黒色と金色の文字のオブジェクトがそれぞれ存在したとする。このうち黒色の文字のオブジェクトは、文書画像であればほとんどの画像に含まれているため、このオブジェクトに基づき検索を行っても多くのオブジェクトが類似画像として選択される可能性がある。一方、金色の文字のオブジェクトは、文書画像であっても黒色と比較すると登録済みの画像内に含まれている可能性は高いとは言えず、よってこの金色の文字のオブジェクトに基づき検索を行うと画像を効率的に絞り込むことができる可能性がある。従って、この例の場合、金色の文字のオブジェクトを優先キーとして選択するのが好都合である。優先キーの候補とされたオブジェクトの各属性に一致するオブジェクトの存在する数や割合は統計情報データベース３１に統計情報として含まれているので、オブジェクト選出部２３は、検索キー画像を形成するオブジェクトのうち、統計情報を参照することによって相対的にオブジェクトの数や割合の少ない属性が設定されているオブジェクトを優先的に優先キーとして選出する。
【００２９】
また、その他の選出基準として、検索キー画像の枠近傍に位置する画像を抽出するという抽出基準に従いオブジェクトを抽出してもよい。あるいは、検索キー画像の中央に位置するオブジェクトを抽出してもよい。つまり、検索キー画像の特定の位置に存在するオブジェクト画像を抽出してもよい。あるいは、オブジェクトの位置ではなく、オブジェクトの種類、例えば顔画像が検出できれば顔画像、写真が含まれていれば写真等予め指定されたオブジェクトの種類に該当する画像を抽出するという抽出基準に従いオブジェクトを抽出してもよい。このように、何を抽出基準とするかは、検索対象の画像の種類、あるいは形状や色などの各属性項目の特性を抽出基準として決めればよい。何を基準にするかは、取扱い画像の特性等を参照にユーザに適宜決めさせてもよい。
【００３０】
また、上記ではディスプレイに表示された画像からユーザインタフェースによって検索キー画像となる部分画像を指定しているが、ディスプレイに表示される画像は電子的に生成されたか、あるいは印刷媒体に印刷された画像をスキャンして得られたか、あるいはインターネット等の通信手段でダウンロードして得られたか、といった画像の生成元は問わないのは明らかであり、さらに、ディスプレイに表示せずに例えばスキャンした画像またはインターネット等の通信手段でダウンロードして得られた画像をそのままあるいは前処理を施して検索キー画像としてもよく、いずれも本実施の形態の趣旨を逸脱しないことは明らかである。
【００３１】
以上のようにして検索キー画像の中から実際に検索に用いるオブジェクト（優先キー）を選出すると、比較・照合部２４は、その選出されたオブジェクトの属性情報と、画像データベース３０に記憶されたオブジェクトの属性情報とを比較・照合する（ステップ１０４）。これにより、画像データベース３０に記憶された画像のうち優先キーと一致又は類似する画像を一部分に含む１又は複数の画像を抽出する。
【００３２】
ここで、比較・照合の結果、一致又は類似すると判断された１又は複数の画像が検出された場合（ステップ１０５でＹ）、類似度算出部２５は、検索キー画像と、比較・照合部２４により抽出された各画像の検索キー画像に対応する部分画像との類似度を算出する（ステップ１０６）。なお、類似度の算出方法は既存の方法を用いて行う。ここで、本実施の形態では、類似画像か否かの判定基準とする類似度の閾値を設定しているので、その閾値に達した画像が少なくとも１つ存在した場合（ステップ１０７でＹ）、検索画像情報表示部２６は、類似度算出部２５により算出された類似度に基づいて検索キー画像の類似画像を含む画像の表示形態を決定し、その画像に関する情報をディスプレイ８に表示する（ステップ１０８）。画像の表示形態というのは、例えば画像の属性情報をリスト表示するなどの形態である。このリストの並び順は、類似度の大きい順に並べるなど類似度を参照して決められる。なお、本実施の形態では、検索画像情報表示部２６によってディスプレイ８に表示させるようにしたが、媒体への印刷等他の出力手段を用いて類似画像に関する情報をユーザに提示するように構成してもよい。また、検索結果情報を他のアプリケーションソフトウェアの入力としてもよい。
【００３３】
一方、比較・照合の結果、一致又は類似すると判断された画像が１つも検出されなかった場合（ステップ１０５でＮ）、また類似度が算出された結果、類似度の閾値を超える画像が１つも存在しなかった場合（ステップ１０７でＮ）、本実施の形態では、次のようにして条件等を変更して再度検索を行うことができる（ステップ１０９でＹ，１１０）。
【００３４】
まず、解像度や拡縮率を変更することである。すなわち、検索キー画像と画像データベース３０に登録されている検索対象の画像との解像度や拡縮率、画像サイズ等が一致していないために類似していたとしても所定の閾値に達しなかった可能性がある。そこで、これらを一致させるよう比較対象のいずれかの画像の解像度や拡縮率などを画像変換する。
【００３５】
その他にも、画像の向きが一致していない可能性もあるため、比較するいずれかの画像を反転、回転などの座標変換を行う。また、色変換を行うようにしてもよい。更に、他の方法としては、ステップ１０３で選出したオブジェクトを他のオブジェクトに変更することである。つまり、優先キーとなるオブジェクトを変更する。以上のような画像変換、若しくは優先キーの変更等を行った後、比較・照合を再度行う（ステップ１０４）。
【００３６】
以上の検索処理を繰り返したとしても検索キー画像に類似する画像が最終的に検出できなかった場合（ステップ１０９でＮ）、検索画像情報表示部２６は、類似画像が存在しなかった旨のメッセージをディスプレイ８に表示する（ステップ１１１）。
【図面の簡単な説明】
【００３７】
【図１】本発明に係る画像検索装置を形成するコンピュータのハードウェア構成図である。
【図２】本実施の形態における画像検索装置のブロック構成図である。
【図３】本実施の形態における画像データベースのデータ構成例を示した図である。
【図４】本実施の形態において検索キー画像を指定させる画像検索画面の表示例を示した図である。
【図５】本実施の形態における画像検索処理を示したフローチャートである。
【符号の説明】
【００３８】
１  ＣＰＵ、２  ＲＯＭ、３  ＲＡＭ、４  ハードディスクドライブ（ＨＤＤ）、５  ＨＤＤコントローラ、６  マウス、７  キーボード、８  ディスプレイ、９  入出力コントローラ、１０  ネットワークコントローラ、１１  内部バス、２０  画像検索装置、２１  検索キー画像受付部、２２  属性情報生成部、２３  オブジェクト選出部、２４  比較・照合部、２５  類似度算出部、２６  検索画像情報表示部、２７  画像受付部、２８  画像情報生成登録部、２９  統計情報更新部、３０  画像データベース（ＤＢ）、３１  統計情報データベース（ＤＢ）。
【図１】
2009223468.tif 000003
【図２】
2009223468.tif 000004
【図３】
2009223468.tif 000005
【図４】
2009223468.tif 000006
【図５】
2009223468.tif 000007