(57)【要約】【課題】  検索対象画像が多くなっても処理時間の増加を抑えることができると共に、精度の高い検索を行うことのできる画像検索装置を得る。【解決手段】  参照画像特徴量抽出手段２は参照画像の特徴量を抽出する。この参照画像特徴量は、特徴量変換手段４によって検索領域特徴量に変換される。検索領域抽出手段６は、検索対象画像群格納手段５の検索対象画像に対して、特徴量変換手段４で変換された検索領域特徴量に対応した領域を検索処理領域として抽出する。画像照合手段７は、参照画像と、検索対象画像中の、検索領域抽出手段６で抽出された検索処理領域とを照合し、これら画像の類似度を求める。【選択図】        図１
2005242889.tif 000002
【特許請求の範囲】
【請求項１】
参照画像の特徴量を抽出する参照画像特徴量抽出手段と、
任意の参照画像の特徴量を、検索対象となる検索対象画像における検索領域特徴量に変換する特徴量変換手段と、
前記特徴量変換手段で変換された検索領域特徴量に基づいて、前記検索対象画像の検索処理領域を抽出する検索領域抽出手段とを備えた画像検索装置。
【請求項２】
参照画像の特徴量を抽出する参照画像特徴量抽出手段と、
任意の参照画像の特徴量を、検索対象となる検索対象画像における検索領域特徴量に変換する特徴量変換手段と、
前記検索対象画像の特徴量を予め格納する検索対象画像特徴量格納手段と、
前記特徴量変換手段で変換された検索領域特徴量と、前記検索対象画像特徴量格納手段で格納されている特徴量を照合して、検索対象画像の検索処理領域を抽出する検索領域抽出手段とを備えた画像検索装置。
【請求項３】
検索対象画像における検索領域抽出手段で抽出された検索処理領域の画像と、参照画像との照合を行ってこれら検索対象画像と参照画像との類似度を算出する画像照合手段を備えたことを特徴とする請求項１または請求項２記載の画像検索装置。
【請求項４】
参照画像と検索対象画像との類似度に基づいて類似検索対象画像候補の順番を算出する候補算出手段を備えたことを特徴とする請求項３記載の画像検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、参照画像と類似した画像を画像データベース等に格納されている検索対象画像から検索する画像検索装置に関するものである。
【背景技術】
【０００２】
従来、画像検索装置では、検索したい画像のサンプル画像を利用者が入力し、それと類似した画像を画像データベースから検索するものであった。また、従来の他の方法としては、検索対象画像に予めその画像の特徴を表すキーワードを設定しておき、利用者が検索したい画像のキーワードを入力することにより、所望する画像検索を行うものであった（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開２００２−１４０３３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像検索装置では、サンプル画像と類似した画像を画像データベースから検索する方法では、画像データベース中の１枚１枚の画像全領域に対して、サンプル画像との類似度を算出するため、画像サイズが大きくなればなるほど、また、検索対象画像の枚数が多くなればなるほど、処理時間（検索時間）がかかってしまうという問題があった。
【０００５】
また、従来のキーワードを用いる検索方法を用いたものでは、必ずしも画像データベース内の全ての画像に必要なキーワードの全てが付与されているとは限らず、また、キーワードを付与する人間によって、与えるキーワードにばらつきがあるといった点から、精度の高い検索結果が得られないという問題があった。
【０００６】
この発明は上記のような課題を解決するためになされたもので、検索対象画像が多くなっても処理時間の増加を抑えることができると共に、精度の高い検索を行うことのできる画像検索装置を得ることを目的とする。
【課題を解決するための手段】
【０００７】
この発明に係る画像検索装置は、特徴量変換手段によって、参照画像の特徴量を検索領域特徴量に変換し、この変換された検索領域特徴量に基づいて、検索対象画像の検索処理領域を抽出するようにしたものである。
【発明の効果】
【０００８】
この発明の画像検索装置は、参照画像の特徴量を検索領域特徴量に変換し、この特徴量に基づいて検索処理領域を抽出するようにしたので、実際に検索を行う領域として、参照画像が存在する可能性の高い領域のみに絞ることができる。従って、検索対象画像が多くなっても処理時間の増加を抑えることができると共に、精度の高い検索を行うことができる。
【発明を実施するための最良の形態】
【０００９】
実施の形態１．
図１は、この発明の実施の形態１による画像検索装置を示す構成図である。
図において、画像検索装置は、参照画像格納手段１、参照画像特徴量抽出手段２、特徴量変換テーブル３、特徴量変換手段４、検索対象画像群格納手段５、検索領域抽出手段６、画像照合手段７からなる。
【００１０】
参照画像格納手段１は、利用者が検索する為の参照画像（サンプル画像）を格納する機能部である。参照画像特徴量抽出手段２は、参照画像格納手段１に格納されているいずれかの参照画像が利用者によって指定された場合、その参照画像の特徴量を抽出する機能部である。ここで、参照画像の特徴量とは、例えば、画像におけるテクスチャやカラー情報といったものである。
【００１１】
特徴量変換テーブル３は、参照画像の特徴量に対応する検索領域特徴量との対応関係を示すテーブルである。
図２は、特徴量変換テーブル３の一例を示す説明図である。
図示のように、特徴量変換テーブル３は、任意の参照画像特徴量に対する検索領域特徴量を示すものであり、例えば、参照画像特徴量Ｒ１であれば検索領域特徴量はＲ１１であるといったように、対応関係を示すデータを保持している。また、参照画像特徴量のＲ１，Ｒ２，Ｒ３，…とは、それぞれが異なる型の航空機の画像の特徴量であったり、Ｒ１が航空機、Ｒ２が艦船、Ｒ３が車両といった画像の特徴量であったりすることを表している。更に、［ｘ１，ｙ１，…，ｚ１］ｔや［ｘ１１，ｙ１１，…，ｚ１１］ｔといった値は、色情報や輝度情報といった、画像における特徴量を表している。
【００１２】
特徴量変換手段４は、特徴量変換テーブル３を参照して、参照画像特徴量抽出手段２で抽出された参照画像特徴量から検索領域特徴量に変換する機能部である。即ち、例えば参照画像特徴量がＲ１であった場合は検索領域特徴量としてＲ１１を出力する、といったように構成されている。
【００１３】
検索対象画像群格納手段５は、種々の検索対象画像を格納する為の機能部である。また、検索領域抽出手段６は、特徴量変換手段４で変換された特徴量を用いて、検索対象画像群格納手段５に格納されている１枚１枚の画像に対して検索処理領域を抽出する機能を有している。画像照合手段７は、指定された参照画像と、検索対象画像における検索領域抽出手段６で抽出された領域とを照合し、類似度の高い検索対象画像を検索結果として出力する機能部である。
【００１４】
また、本発明の画像検索装置はコンピュータによって実現され、参照画像格納手段１や検索対象画像群格納手段５は、ハードディスク装置やＣＤ−ＲＯＭ装置といった記憶装置上に構成されている。また、特徴量変換テーブル３はハードディスク装置等に格納され、特徴量変換手段４における変換処理時に読み出されるよう構成されている。更に、参照画像特徴量抽出手段２、特徴量変換手段４、検索領域抽出手段６、画像照合手段７は、それぞれの処理に対応した機能のソフトウェアと、これらのソフトウェアを実行するためのＣＰＵやメモリ等のハードウェアから実現されるか、あるいは、それぞれ専用のハードウェアから構成されている。
【００１５】
次に、実施の形態１の動作について説明する。
図３は、実施の形態１の動作を示すフローチャートである。
図４は、実施の形態１の動作を概念的に示す説明図である。
尚、これらの図において、同一のステップ番号が付与された処理は同一の処理を表しているものとする。
【００１６】
先ず、利用者によって参照画像１００が入力される（ステップＳＴ１０１）。ここで、参照画像１００の入力は、参照画像格納手段１に入力されている画像をそのまま選択するか、あるいは、１枚の画像中の任意の領域を参照画像として入力するようにしてもよい。ここでは、その一例として、参照画像１００は航空機の画像であるとする。
【００１７】
次に、参照画像特徴量抽出手段２は、ステップＳＴ１０１で入力された参照画像１００に対してその特徴量を抽出する（ステップＳＴ１０２）。これにより、特徴量として、航空機の形状に基づく、例えば、色やテクスチャ情報といった特徴量が抽出される。
【００１８】
次に、特徴量変換手段４は、特徴量変換テーブル３を参照して、ステップＳＴ１０２で抽出された参照画像特徴量を検索領域特徴量に変換する（ステップＳＴ１０３）。ここで、特徴量変換テーブル３において、参照画像１００が航空機である場合の検索領域特徴量としては、主として航空機が配置されているのは空港であることから、事前に空港領域の複数画像から特徴量を抽出した色やテクスチャ情報が検索領域特徴量として設定されているものとする。
【００１９】
尚、上記ステップＳＴ１０３においては、ステップＳＴ１０２で抽出された特徴量に最も値が近い参照画像特徴量を、ステップＳＴ１０１で入力された参照画像１００の特徴量として特徴量変換を行う。尚、ある値の範囲内（事前に設定した場合）で該当する参照画像特徴量がなかった場合は、新規の参照画像１００として、全ての領域を検索処理領域とする情報を検索領域特徴量として出力することも可能である。
【００２０】
次に、検索領域抽出手段６は、ステップＳＴ１０３で変換された検索領域特徴量を用いて、検索対象画像群格納手段５に格納されている検索対象画像２００を１枚読み込んで、その検索対象画像２００における検索処理領域を抽出する（ステップＳＴ１０４）。即ち、検索領域特徴量が空港に相当する色、テクスチャ情報であった場合、検索対象画像中の検索領域特徴量（空港）に相当する部分を検索処理領域２００ａとして抽出し、この特徴量に一致しない領域２００ｂや領域２００ｃは検索処理の対象外の領域とする。
【００２１】
次に、画像照合手段７は、ステップＳＴ１０４で抽出された検索処理領域２００ａ中で、ステップＳＴ１０１で入力された参照画像１００と検索対象画像２００の類似度を算出する（ステップＳＴ１０５）。即ち、参照画像１００をテンプレート画像として、検索対象画像２００中の検索処理領域２００ａのみをサーチエリアとし、このサーチエリア内でテンプレートマッチング等の手法を用いて、参照画像１００との類似度を算出する。
【００２２】
更に、画像照合手段７は、ステップＳＴ１０５の類似度算出処理の結果、類似度が所定の閾値ｔｈを超えているかを判定し（ステップＳＴ１０６）、超えていた場合は、検索対象画像２００内に参照画像１００と類似のものが存在するとして（ステップＳＴ１０７）、この検索対象画像２００を類似検索対象画像候補とする検索結果を出力する（ステップＳＴ１０８）。一方、ステップＳＴ１０６において、閾値を超えていなかった場合は、検索対象画像２００内に参照画像１００と類似のものが存在しないとして（ステップＳＴ１０９）、次のステップに進む。
【００２３】
次に、検索領域抽出手段６は、検索対象画像２００が検索対象画像群格納手段５における最後の画像であるかを判定し（ステップＳＴ１１０）、そうでなかった場合は、検索対象画像群格納手段５より次の検索対象画像２００を読み込んで（ステップＳＴ１１１）、ステップＳＴ１０４からの処理を行う。このような処理を最後の検索対象画像２００となるまで繰り返し行い、ステップＳＴ１１０で最後の検索対象画像２００であった場合は、検索処理を終了する。
【００２４】
以上のように、実施の形態１によれば、参照画像の特徴量を抽出する参照画像特徴量抽出手段２と、任意の参照画像の特徴量を、検索対象となる検索対象画像における検索領域特徴量に変換する特徴量変換手段４と、特徴量変換手段４で変換された特徴量に基づいて、検索対象画像の検索処理領域を抽出する検索領域抽出手段６とを備えたので、任意の参照画像が入力されても参照画像に応じて検索処理領域を効果的に限定することができるため、検索対象画像の枚数や画像サイズが大きくなっても、高速かつ高精度に参照画像と類似した画像を検索することができる。
【００２５】
また、実施の形態１によれば、検索領域抽出手段６で抽出された検索処理領域中の画像と、参照画像との照合を行ってこれら検索対象画像と参照画像との類似度を算出する画像照合手段７を備えたので、検索対象画像全体について参照画像と画像照合する必要がないため、検索対象画像の枚数や画像サイズが大きくなっても、高速かつ高精度で所望する検索対象画像を得ることができる。
【００２６】
実施の形態２．
実施の形態２は、検索対象画像の特徴量を予め抽出するようにしたものである。
【００２７】
図５は、実施の形態２の画像検索装置の構成図である。
図の装置は、参照画像格納手段１、参照画像特徴量抽出手段２、特徴量変換テーブル３、特徴量変換手段４、検索対象画像群格納手段５、検索領域抽出手段６ａ、画像照合手段７、検索対象画像特徴量抽出手段８、検索対象画像特徴量格納手段９からなる。
【００２８】
ここで、検索対象画像特徴量抽出手段８は、検索対象画像群格納手段５に格納されているそれぞれの検索対象画像に対して、その特徴量を抽出する機能を有している。検索対象画像特徴量格納手段９は、検索対象画像特徴量抽出手段８で抽出された各検索対象画像毎の特徴量を格納する記憶部である。また、検索領域抽出手段６ａは、特徴量変換手段４から検索領域特徴量が与えられた場合、検索対象画像特徴量格納手段９に格納されている検索対象画像特徴量に基づいて検索対象領域を抽出する機能を有している。その他の各構成は図１に示した実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。
【００２９】
次に、実施の形態２の動作について説明する。
図６は、実施の形態２における検索処理領域抽出の動作を概念的に示す説明図である。
【００３０】
先ず、事前処理（ステップＳＴ２００）として、検索対象画像特徴量抽出手段８によって検索対象画像群格納手段５から検索対象画像３００の特徴量を算出し（ステップＳＴ３０１）、これを検索対象画像特徴量格納手段９に格納する。即ち、検索対象画像３００を特徴量毎の領域に分割し、それぞれの特徴量と領域との関係を示す情報を検索対象画像特徴量として検索対象画像特徴量格納手段９に格納する。例えば、図中の領域３００ａは空港領域、領域３００ｂは市街地領域、領域３００ｃは海領域といったように、特徴量によって領域分割した情報を検索対象画像特徴量格納手段９に格納する。
【００３１】
このように事前処理がなされた状態で、検索対象画像の検索処理領域を求める場合は次のように行う。先ず、参照画像１００が入力されると、参照画像特徴量抽出手段２によって特徴量が抽出され（ステップＳＴ３０１）、次に、特徴量変換手段４で特徴量変換が行われる（ステップＳＴ３０２）のは、実施の形態１と同様である。
【００３２】
次に、実施の形態２では、検索領域抽出手段６ａは、検索対象画像特徴量格納手段９に格納されている検索対象画像特徴量に基づいて検索処理領域を抽出する（ステップＳＴ３０３）。例えば、ステップＳＴ３０２において変換された検索画像特徴量が、検索対象画像３００における領域３００ａの特徴量に相当する特徴量であった場合、検索領域抽出手段６ａは、その検索対象画像の検索処理領域２００ａとして領域３００ａの部分を抽出する。
【００３３】
また、これ以降の画像照合動作は実施の形態１と同様であるため、ここでの説明は省略する。
【００３４】
以上のように、実施の形態２によれば、参照画像の特徴量を抽出する参照画像特徴量抽出手段２と、任意の参照画像の特徴量を、検索対象となる検索対象画像における検索領域特徴量に変換する特徴量変換手段４と、検索対象画像の特徴量を予め格納する検索対象画像特徴量格納手段９と、特徴量変換手段４で変換された検索領域特徴量と、検索対象画像特徴量格納手段９で格納されている特徴量を照合して、検索対象画像の検索処理領域を抽出する検索領域抽出手段６ａとを備えたので、更に検索時間の高速化を図ることができる。これは、検索対象画像が多くなればなるほど大きな効果を得ることができる。
【００３５】
実施の形態３．
実施の形態３は、画像照合の結果を類似度の順番で並び替えるようにしたものである。
【００３６】
図７は、実施の形態３による画像検索装置を示す構成図である。
図示の画像検索装置は、参照画像格納手段１、参照画像特徴量抽出手段２、特徴量変換テーブル３、特徴量変換手段４、検索対象画像群格納手段５、検索領域抽出手段６、画像照合手段７、候補算出手段１０からなる。ここで、候補算出手段１０は、画像照合手段７で照合する場合に求めた類似度に基づいて、類似度の高い順に類似検索対象画像候補の順番を算出する機能を有している。これ以外の構成は実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。
【００３７】
次に、実施の形態３の動作について説明する。
参照画像が入力された場合の画像照合までの動作は実施の形態１と同様である。即ち、図３のフローチャートで示した動作と同様の動作を行う。更に、実施の形態３では、全ての検索対象画像の画像照合が終了し、類似検索対象画像候補として抽出された検索対象画像が複数あった場合、候補算出手段１０は、これらの検索対象画像に対して類似度の順番を求める。即ち、図３のフローチャートを援用して説明すると、ステップＳＴ１０５で求めた類似度に基づいて、ステップＳＴ１０８で出力された候補の検索対象画像を類似度の高い順番に並び替えるものである。これにより、例えば、類似検索対象画像候補をディスプレイ表示する場合、類似度の高い順番に並べて表示したり、類似度の高い順番に検索対象画像を表示したりするといった出力を行う。
【００３８】
以上のように、実施の形態３によれば、参照画像と検索対象画像との類似度に基づいて類似検索対象画像候補の順番を算出する候補算出手段を備えたので、利用者が検索結果を別途並び替える必要がなく、また、順番に検索対象画像を表示すれば、利用者にとって視覚的に理解し易くなるという効果が得られる。
【００３９】
尚、上記各実施の形態において、検索結果の出力として、更に、検索対象画像中に例えば航空機等の参照画像の部分を枠で囲んで表示するといった検索対象画像中の参照画像の部分を識別するようにしたり、また、検索対象画像中に参照画像が複数個存在する場合は、例えば「同型の航空機は３機あります」といったメッセージ出力を行うようにしてもよい。
【００４０】
また、上記各実施の形態では、参照画像特徴量と検索領域特徴量は同じ特徴量空間であるとしたが、異なる特徴量空間のものであってもよい。
【００４１】
また、各実施の形態では、参照画像として航空機の画像の例を説明したが、これに限定されるものではなく、どのような参照画像であっても適用可能である。
【００４２】
更に、各実施の形態では、参照画像の特徴量を抽出するために特徴量変換テーブル３を用いたが、このような予めテーブルデータを用意するのではなく、ソフトウェアによる自動変換を行うようにしてもよい。例えば、参照画像特徴量と検索領域特徴量の関係がある関数によって対応付けられる場合、参照画像特徴量をＸ、検索領域特徴量をＹ、その対応関係の変換関数をｆ（Ｘ）、ＸとＹの関係が線形であると仮定すれば、
Ｙ＝ｆ（Ｘ）×Ｘ＋Ｃ（Ｃは定数）
で表すことができる。尚、この場合、ＸとＹとの関係が線形の場合の式であるため、これらの関係が線形ではない場合は、別の関係式となる。
【００４３】
また、上記各実施の形態では、参照画像や検索対象画像は画像検索装置で備えるようにしたが、例えばこれらの画像データを外部からネットワーク等を通して与えるよう構成してもよい。
【図面の簡単な説明】
【００４４】
【図１】この発明の実施の形態１による画像検索装置を示す構成図である。
【図２】特徴量変換テーブルの一例を示す説明図である。
【図３】実施の形態１の動作を示すフローチャートである。
【図４】実施の形態１の動作を概念的に示す説明図である。
【図５】この発明の実施の形態２の画像検索装置の構成図である。
【図６】実施の形態２における検索処理領域抽出の動作を概念的に示す説明図である。
【図７】実施の形態３による画像検索装置を示す構成図である。
【符号の説明】
【００４５】
２  参照画像特徴量抽出手段、４  特徴量変換手段、６，６ａ  検索領域抽出手段、７  画像照合手段、９  検索対象画像特徴量格納手段、１０  候補算出手段。
【図１】
2005242889.tif 000003
【図２】
2005242889.tif 000004
【図３】
2005242889.tif 000005
【図４】
2005242889.tif 000006
【図５】
2005242889.tif 000007
【図６】
2005242889.tif 000008
【図７】
2005242889.tif 000009