(57)【要約】【課題】クエリ画像に基づいてユーザの検索意図を考慮した類似画像検索のランキングを生成すること。【解決手段】類似物体検索部３０の特徴ベクトル生成部３０ｃによりクエリ画像から検出した特徴領域の数と、類似領域検索部４０の特徴ベクトル生成部４０ｃによるクエリ画像を分割する分割数とを用いて、類似度統合部５０が類似物体検索による類似度と、類似領域検索による類似度とに重み付けを行って、各検索対象画像の統合類似度によるランク付けを行う。【選択図】図１
2011070244.tif 000002
【特許請求の範囲】
【請求項１】
画像データベースに記憶された検索対象の画像とクエリ画像との類似度を算出して、該類似度に基づいた検索結果を出力する画像検索装置において、
前記クエリ画像から物体の存在を示す特徴領域を検出する特徴領域検出手段と、
前記検出された特徴領域に基づいて前記クエリ画像の特徴ベクトルを生成する物体ベクトル生成手段と、
前記クエリ画像と、前記検索対象の画像との類似度を前記物体特徴生成手段により生成された特徴ベクトルに基づいて算出する物体類似度算出手段と、
前記クエリ画像を領域分割する領域分割手段と、
前記領域分割された各画像領域に基づいて前記クエリ画像の特徴ベクトルを生成する領域ベクトル生成手段と、
前記クエリ画像と、前記検索対象の画像との類似度を前記領域ベクトル生成手段により生成された特徴ベクトルに基づいて算出する領域類似度算出手段と、
前記物体類似度算出手段により算出された類似度と、前記領域類似度算出手段により算出された類似度とに、前記特徴領域検出手段により検出された特徴領域の数と、前記領域分割手段により領域分割された分割数とに基づいた重み付けを行って前記検索対象の画像毎に該類似度を統合する類似度統合手段と、
を備えることを特徴とする画像検索装置。
【請求項２】
前記領域分割手段は、
前記特徴領域検出手段により検出された特徴領域の数に基づいて前記領域分割する数を決定することを特徴とする請求項１に記載の画像検索装置。
【請求項３】
前記クエリ画像が、画像の一部を切り出すことにより生成された画像である場合に、
前記類似度統合手段は、
前記特徴領域検出手段がクエリ画像から検出した特徴領域を前記切り出す前の画像から検出される特徴領域の数により正規化し、その正規化した特徴領域の数を用いて前記類似度を統合することを特徴とする請求項１又は２に記載の画像検索装置。
【請求項４】
コンピュータが、画像データベースに記憶された検索対象の画像とクエリ画像との類似度を算出して、該類似度に基づいた検索結果を出力する画像検索方法において、
前記クエリ画像から物体の存在を示す特徴領域を検出する特徴領域検出工程と、
前記検出された特徴領域に基づいて前記クエリ画像の特徴ベクトルを生成する物体ベクトル生成工程と、
前記クエリ画像と、前記検索対象の画像との類似度を前記物体特徴生成工程において生成された特徴ベクトルに基づいて算出する物体類似度算出工程と、
前記クエリ画像を領域分割する領域分割手段と、
前記領域分割された各画像領域に基づいて前記クエリ画像の特徴ベクトルを生成する領域ベクトル生成工程と、
前記クエリ画像と、前記検索対象の画像との類似度を前記領域ベクトル生成工程において生成された特徴ベクトルに基づいて算出する領域類似度算出工程と、
前記物体類似度算出工程において算出された類似度と、前記領域類似度算出工程において算出された類似度とに、前記特徴領域検出工程において検出された特徴領域の数と、前記領域分割工程において領域分割された分割数とに基づいた重み付けを行って前記検索対象の画像毎に該類似度を統合する類似度統合工程と、
を前記コンピュータが行うことを特徴とする画像検索方法。
【請求項５】
請求項４に記載の画像検索方法をコンピュータに実行させることを特徴とする画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の有する特徴量に基づいた類似画像を検索する画像検索装置、画像検索方法及びプログラムに関する。
【背景技術】
【０００２】
画像を検索キーとして入力し、画像の特徴量（配色、テクスチャ、形状等の画像の特徴を数値化して表現したもの）を比較することにより、検索キーである画像（以下「クエリ画像」という）に類似する画像を検索する技術が知られている。ユーザがクエリ画像を入力すると、検索対象の画像を格納した画像データベース内から類似する画像が検索されて、類似度にランキングされた検索結果が得られる。
【０００３】
類似画像検索を行う際のユーザの検索意図としては対象とする画像に応じて複数の意図が想定される。先ず、例えば、クエリ画像中のオブジェクト（人や物や文字等の物体）と類似するオブジェクトを含む画像を検索したいという検索意図である。この場合、画像中のオブジェクトに注目して抽出した特徴量に基づいて画像検索を行う。
【０００４】
また、クエリ画像全体と構成が類似する画像を検索したいという検索意図がある。この場合は、画像を構成する各領域の特徴量に基づいて画像検索を行う。
【０００５】
このように、ユーザの検索意図が複数ある場合には、画像検索のアルゴリズムを検索意図に応じて切り替える必要がある。しかし、クエリ画像だけからユーザの検索意図を判別することは難しいため、複数の検索アルゴリズムにより画像検索を行って、それらの検索により得られる類似度（スコア）を統合して検索結果を得る技術が考案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００１−１６００５７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ところで、上述した特許文献１の技術のように、複数の検索アルゴリズムによる類似度を統合する場合、ユーザが検索意図を指定しない限り、検索アルゴリズム毎の類似度が均等に考慮されるため、一方のアルゴリズムによるランキングに他方の類似度が影響を与えてしまう。
【０００８】
例えば、オブジェクトを含むクエリ画像の場合、オブジェクトが含まれる画像が上位にランキングされるのが望ましいが、領域に注目した類似度がこのランキングに統合されると、クエリ画像と同じオブジェクトを含まないが、画像全体の配色やパターンが類似するような画像が上位にランキングされるようになってしまう。
【０００９】
このように、単に複数の検索アルゴリズムによる類似度を統合する場合は、それぞれの検索アルゴリズムがランキングに互いに影響を与えてしまうため、ユーザの検索意図を考慮したランキングで検索結果を得ることは難しかった。
【００１０】
また、クエリとして複数の画像の組合せを指定する場合もある。この場合、各クエリ画像について複数の検索アルゴリズムにより類似画像検索を行って、それらの検索結果を統合することとなるが、それらの検索結果の統合は複雑である。
【００１１】
本発明は、上述した課題に鑑みて為されたものであり、その目的とするところは、クエリ画像に基づいてユーザの検索意図を考慮した類似画像検索のランキングを生成することである。
【課題を解決するための手段】
【００１２】
上記目的を達成するため、第１の発明は、
画像データベースに記憶された検索対象の画像とクエリ画像との類似度を算出して、該類似度に基づいた検索結果を出力する画像検索装置において、
前記クエリ画像から物体の存在を示す特徴領域を検出する特徴領域検出手段と、
前記検出された特徴領域に基づいて前記クエリ画像の特徴ベクトルを生成する物体ベクトル生成手段と、
前記クエリ画像と、前記検索対象の画像との類似度を前記物体特徴生成手段により生成された特徴ベクトルに基づいて算出する物体類似度算出手段と、
前記クエリ画像を領域分割する領域分割手段と、
前記領域分割された各画像領域に基づいて前記クエリ画像の特徴ベクトルを生成する領域ベクトル生成手段と、
前記クエリ画像と、前記検索対象の画像との類似度を前記領域ベクトル生成手段により生成された特徴ベクトルに基づいて算出する領域類似度算出手段と、
前記物体類似度算出手段により算出された類似度と、前記領域類似度算出手段により算出された類似度とに、前記特徴領域検出手段により検出された特徴領域の数と、前記領域分割手段により領域分割された分割数とに基づいた重み付けを行って前記検索対象の画像毎に該類似度を統合する類似度統合手段と、
を備えることを特徴としている。
【００１３】
第１の発明によれば、クエリ画像から検出した特徴領域の数と、該クエリ画像の領域分割の数とに基づいて、特徴領域に基づいて生成した特徴ベクトルによる類似度と、領域分割した画像領域に基づいて生成した特徴ベクトルによる類似度とに重み付けを行う。即ち、クエリ画像中に物体の存在を示す特徴領域の数が多い場合には、特徴領域に基づいて生成した特徴ベクトルによる類似度に対する重み付けが高まり、また、特徴領域が少ない場合には、画像領域に基づいて生成した特徴ベクトルによる類似度の重みが高まる。
【００１４】
このため、物体の存在に注目した検索意図なのか、画像全体の領域構成に注目した検索意図なのかを指し示す重み付けをクエリ画像に基づいて各類似度に対して行うことができる。従って、クエリ画像に基づいてユーザの検索意図を考慮した類似画像検索のランキングを生成することができる。
【００１５】
また、第２の発明において、前記領域分割手段は、
前記特徴領域検出手段により検出された特徴領域の数に基づいて前記領域分割する数を決定することを特徴としている。
【００１６】
このため、クエリ画像から検出した特徴領域の数に基づいてクエリ画像の領域分割の数を決定するため、特徴領域が多く検出された場合には細かく、少ない場合には荒く領域分割するといったように、特徴領域の数に応じて領域分割の精度を変えることができる。
【００１７】
また、第３の発明において、
前記クエリ画像が、画像の一部を切り出すことにより生成された画像である場合に、
前記類似度統合手段は、
前記特徴領域検出手段がクエリ画像から検出した特徴領域を前記切り出す前の画像から検出される特徴領域の数により正規化し、その正規化した特徴領域の数を用いて前記類似度を統合することを特徴としている。
【００１８】
このため、クエリ画像の特徴領域の数を、該クエリ画像を切り出す前の元の画像の特徴領域の数に基づいて正規化することにより、クエリ画像にオブジェクトが含まれる確率として重み付けを行うことができる。
【００１９】
また、第４の発明は、
コンピュータが、画像データベースに記憶された検索対象の画像とクエリ画像との類似度を算出して、該類似度に基づいた検索結果を出力する画像検索方法において、
前記クエリ画像から物体の存在を示す特徴領域を検出する特徴領域検出工程と、
前記検出された特徴領域に基づいて前記クエリ画像の特徴ベクトルを生成する物体ベクトル生成工程と、
前記クエリ画像と、前記検索対象の画像との類似度を前記物体特徴生成工程において生成された特徴ベクトルに基づいて算出する物体類似度算出工程と、
前記クエリ画像を領域分割する領域分割手段と、
前記領域分割された各画像領域に基づいて前記クエリ画像の特徴ベクトルを生成する領域ベクトル生成工程と、
前記クエリ画像と、前記検索対象の画像との類似度を前記領域ベクトル生成工程において生成された特徴ベクトルに基づいて算出する領域類似度算出工程と、
前記物体類似度算出工程において算出された類似度と、前記領域類似度算出工程において算出された類似度とに、前記特徴領域検出工程において検出された特徴領域の数と、前記領域分割工程において領域分割された分割数とに基づいた重み付けを行って前記検索対象の画像毎に該類似度を統合する類似度統合工程と、
を前記コンピュータが行うことを特徴としている。
【００２０】
また、第５の発明の画像検索プログラムは、上記第４の発明である画像検索方法をコンピュータに実行させることを特徴としている。
【００２１】
第４、第５の発明によれば、第１の発明と同様に、物体の存在に注目した検索意図なのか、画像全体の領域構成に注目した検索意図なのかを指し示す重み付けをクエリ画像に基づいて各類似度に対して行うことができるため、クエリ画像に基づいてユーザの検索意図を考慮した類似画像検索のランキングを生成することができる。
【発明の効果】
【００２２】
本発明によれば、クエリ画像に基づいてユーザの検索意図を考慮した類似画像検索のランキングを生成することができる。
【図面の簡単な説明】
【００２３】
【図１】本発明に係る画像検索装置の機能構成を示すブロック図。
【図２】類似物体検索におけるインデクシング処理の処理フローを示すフローチャート。
【図３】類似領域検索におけるインデクシング処理の処理フローを示すフローチャート。
【図４】ビジュアルキーワードによるインデクシングの概要を説明するための図。
【図５】検索処理（物体類似度算出処理、領域類似度算出処理、類似度統合処理）の処理フローを示すフローチャート。
【図６】クエリ画像に対する特徴領域の抽出例、領域分割の例を示す図。
【図７】クエリ画像にオブジェクトが含まれる確率についての近似グラフ。
【発明を実施するための最良の形態】
【００２４】
［画像検索装置の構成］
以下、本発明の実施の形態を図面に基づいて説明する。
図１は、本発明を適用した画像検索装置１の機能ブロック図である。画像検索装置１には、図示しないクライアント端末が通信ネットワーク（インターネットや電話回線網等）を介して接続され、互いにデータ通信可能となっている。
【００２５】
画像検索装置１は、通信ネットワークを介して接続されたパーソナルコンピュータや携帯端末等のクライアント端末から送信されるクエリ画像を検索要求として受信する。そして、その検索要求に応じた類似画像検索を行って、類似度順にランキングした検索結果をクライアント端末に返送する。
【００２６】
本実施形態における画像検索装置１は、ビジュアルキーワードによる画像領域をインデックス化することによる画像検索手法を用いる。ビジュアルキーワードによる画像検索とは、画像を複数の画像領域の集合として表現し、各画像を構成する画像領域（以下、適宜「部分画像」という）から得られる特徴量に基づいて画像のインデックス（特徴ベクトル）を生成する技術であり、テキスト中のキーワードから文章の特徴量を求めるテキスト検索技術の応用といえる。
【００２７】
このため、ビジュアルキーワードによる画像検索では、画像中の画像領域をキーワードとして扱うことでテキスト検索技術（転置インデックスやベクトル空間モデル、単語の出現頻度等）における技術を画像領域検索へ適用して、大規模且つ高速性を実現することができる。ビジュアルキーワードによる画像検索についての参考技術文献としては、
・Sivic  and  Zisserman:“Efficient  visual  search  for  objects  in  videos”,  Proceedings  of  the  IEEE,  Vol.96,No.4.,pp.548-566,Apr  2008.
・Yang  and  Hauptmann:“A  text  categorization  approach  to  video  scene  classification  using  keypoint  features”,Carnegie  Mellon  University  Technical  Report,pp.25,Oct  2006.
・Jiang  and  Ngo:“Bag-of-visual-words  expansion  using  visual  relatedness  for  video  indexing”,Proc.31st  ACM  SIGIR  Conf.,pp.769-770,Jul  2008.
・Jiang,  Ngo,  andYang:“Towards  optimal  bag-of-features  for  object  categorization  and  semantic  video  retrieval”,Proc.6th  ACM  CIVR  Conf.,pp.494-501,Jul.2007.
・Yang,  Jiang,  Hauptmann,  and  Ngo:“Evaluating  bag-of-visual-words  representations  in  scene  classification”,Proc.15th  ACM  MM  Conf.,  Workshop  onMMIR,pp.197-206,Sep.  2007.
等が挙げられる。
【００２８】
また、ある一つの画像を複数の領域画像の集合として表現することによって、一般的な類似画像検索とは異なり、画像中の一部分を任意大きさや位置で切り出した部分画像をクエリ画像とした検索が可能となる。このため、ユーザは、所望の検索結果を得るために、画像の一部分を指定するといった操作により、より直接・正確にクエリを表現することができる。
【００２９】
本実施形態では、ビジュアルキーワードによる画像領域検索の技術の応用として次ぎの二つの画像検索を用いる。
先ずは、クエリ画像内に含まれるオブジェクトと類似するオブジェクトを含む類似画像を検索する類似物体検索である。オブジェクトとは、人物や物等の形状を有する物体であり、この検索では、クエリ画像には特定のオブジェクトが含まれている必要がある。
もう一方は、クエリ画像と同じ画像領域又は視覚的に類似している画像領域を含み、全体的な特徴が類似する類似画像を検索する類似領域検索である。この検索では、クエリ画像は特定のオブジェクトを含む必要がなく、また、複数の画像の組み合わせであってもよい。
【００３０】
画像検索装置１は、類似物体検索及び類似領域検索それぞれに対応した検索アルゴリズムを備えて、クエリ画像に対してそれぞれの検索処理を行って検索結果を出力する。
【００３１】
図１に示すように、画像検索装置１は、クエリ画像受付部１０、画像ＤＢ２０、類似物体検索部３０、類似領域検索部４０、類似度統合部５０及び検索結果出力部６０を備えて構成される。これらの機能部は、所謂コンピュータにより構成され、演算／制御装置としてのＣＰＵ（Central  Processing  Unit）、記憶媒体としてのＲＡＭ（Random  Access  Memory）及びＲＯＭ（Read  Only  Memory）、通信インターフェイス等が連関することで実現される。
【００３２】
クエリ画像受付部１０は、クライアント端末から送信される類似画像検索の検索キーとなるクエリ画像を受信して受け付ける。
【００３３】
画像ＤＢ２０は、クエリ画像に対して類似する画像を検索する対象となる画像データ（以下適宜「検索対象画像」という）を記憶するデータベースである。例えば、画像を識別するための識別情報である画像ＩＤと、画像データとを対応付けて記憶する。
【００３４】
類似物体検索部３０は、クエリ画像と検索対象画像とについて、画像中に含まれるオブジェクトに注目した類似度を検索対象画像毎に算出して出力する。詳細は後述するが、簡単には、画像中のオブジェクトの存在を示す特徴領域を抽出し、その特徴領域を含む画像領域の特徴量に基づいて特徴ベクトルを生成する。そして、画像毎の特徴ベクトルに基づいて、クエリ画像と検索対象画像との類似度を算出する。
【００３５】
図１によれば、類似物体検索部３０は、インデクシング部３０ａ、インデックスＤＢ３０ｂ、特徴ベクトル生成部３０ｃ、物体類似度算出部３０ｄ及びクラスタＤＢ３０ｅを備えて構成される。
【００３６】
類似物体検索部３０は、画像ＤＢ２０に記憶された画像データの特徴ベクトルを生成し予めインデックス化しておくインデックス処理工程と、クエリ画像から生成した特徴ベクトルとインデックスＤＢ３０ｂに記憶された特徴ベクトルとを比較することで類似度を算出する類似度算出工程とを行う。尚、インデクシング部３０ａが行う特徴ベクトルの生成と、特徴ベクトル生成部３０ｃが行う特徴ベクトルの生成とは同じアルゴリズムを用い、各処理工程の詳細については後述する。
【００３７】
類似領域検索部４０は、クエリ画像と検索対象画像とについて、画像中の各画像領域に注目した類似度を検索対象画像毎に算出して出力する。簡単には、画像をＮ×Ｍの領域に分割して、その画像領域の特徴量に基づいて画像の特徴ベクトルを生成する。そして、その画像毎の特徴ベクトルに基づいて、クエリ画像と検索対象画像との類似度を算出する。
【００３８】
図１によれば、類似領域検索部４０は、インデクシング部４０ａ、インデックスＤＢ４０ｂ、特徴ベクトル生成部４０ｃ、領域類似度算出部４０ｄ及びクラスタＤＢ４０ｅを備えて構成される。類似領域検索部４０も類似物体検索部３０と同様に、インデックス処理工程と、類似度算出工程とを行う。尚、インデクシング部４０ａが行う特徴ベクトルの生成と、特徴ベクトル生成部４０ｃが行う特徴ベクトルの生成とは同じアルゴリズムを用いて実現できる。
【００３９】
類似度統合部５０は、類似物体検索部３０により算出された検索対象画像毎の類似度と、類似領域検索部４０により算出された検索対象画像毎の類似度とを、その検索対象画像毎に統合する演算を行う。
【００４０】
検索結果出力部６０は、類似度統合部５０により統合された類似度に基づいて検索対象画像をランク付けしたデータを生成する。この検索結果出力部６０が出力するデータは、例えば、検索対象画像の画像ＩＤを類似度に基づいてソートしたデータである。画像ＩＤには、画像ＤＢ２０にアクセスするためのアドレス（ＵＲＬ）を付加してもよい。
【００４１】
［類似物体検索におけるインデクシング処理］
次ぎに、類似物体検索におけるインデクシング処理について、図２のインデクシング処理工程の処理フローを示すフローチャートと、図４の特徴ベクトルの生成についての概略を示す図を参照しながら説明する。
【００４２】
先ず、インデクシング部３０ａは、画像ＤＢ２０に記憶されている画像データを読み出して、各検索対象画像中のオブジェクトに着目した特徴領域を検出する（ステップＳ１１）。この特徴領域の検出方法としては、
・Ｈａｒｒｉｓ−ａｆｆｉｎｅ
・Ｈｅｓｓｉａｎ−ａｆｆｉｎｅ
・Ｍａｘｉｍａｌｌｙ  ｓｔａｂｌｅ  ｅｘｔｒｅｍａｌ  ｒｅｇｉｏｎｓ（ＭＳＥＲ）
・Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎｓ（ＤｏＧ）
・Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ（ＬｏＧ）
・Ｄｅｔｅｒｍｉｎａｎｔ  ｏｆ  Ｈｅｓｓｉａｎ（ＤｏＨ）
等がある。
また、特徴領域の検出手法としては、画像中のランダムな大きさ・位置の画像領域を特徴領域として選択する手法も知られている。
【００４３】
また、特徴領域の検出技術については、“Local  Invariant  Feature  Detectors:  A  Survey”（Foundations  and  Trends  in  Computer  Graphics  and  Vision,Vol.3,No.3,pp.177-280,2007.）等において公開されており、適宜公知技術を採用可能である。
【００４４】
インデクシング部３０ａは、画像中にある特徴点を中心とした所定の形状の特徴領域（楕円や矩形）を「領域画像」として検出する。
【００４５】
図４は、画像ＩＤが‘０００１’について、画像中の特徴点を検出して、その特徴点を中心とした領域Ｔ１〜Ｔ６を切り出している例を示している。また、画像ＩＤ‘０００２’については領域Ｔ１１〜Ｔ１４、画像ＩＤ‘０００３’については領域Ｔ２１〜Ｔ２６を切り出している例を示している。
【００４６】
次ぎにインデクシング部３０ａは、領域画像から特徴量を抽出する（ステップＳ１２）。尚、類似物体検索におけるインデクシングでは、スケール変化や回転、角度変化等のアフィン変換に耐性を持つ局所特徴量を抽出する。局所特徴量の一例としては、例えば次ぎのものが挙げられる。
【００４７】
・ＳＩＦＴ
・ｇｒａｄｉｅｎｔ  ｌｏｃａｔｉｏｎ  ａｎｄ  ｏｒｉｅｎｔａｔｉｏｎ  ｈｉｓｔｏｇｒａｍ
・ｓｈａｐｅ  ｃｏｎｔｅｘｔ
・ＰＣＡ−ＳＩＦＴ
・ｓｐｉｎ  ｉｍａｇｅｓ
・ｓｔｅｅｒａｂｌｅ  ｆｉｌｔｅｒｓ
・ｄｉｆｆｅｒｅｎｔｉａｌ  ｉｎｖａｒｉａｎｔｓ
・ｃｏｍｐｌｅｘ  ｆｉｌｔｅｒｓ
・ｍｏｍｅｎｔ  ｉｎｖａｒｉａｎｔｓ
【００４８】
局所特徴量の抽出については、“A  performance  evaluation  of  local  descriptors”（IEEE  Trans.  Pattern  Analysis  and  Machine  Intelligence,  Vol.27,  No.10,pp.1615-1630,2005.）等において公開されており、適宜公知技術を採用可能である。
【００４９】
そして、領域画像の集合を特徴量に基づいてクラスタリングする（ステップＳ１３）。インデクシング部３０ａは、クラスタＤＢ３０ｅで予めクラスタリングされた画像の分布と、領域画像との特徴量空間における距離に基づいて、領域画像が属するクラスタを決定する。
【００５０】
クラスタＤＢ３０ｅは、予め画像を特徴量に基づいてクラスタリングして、画像とクラスタとを対応付けて蓄積記憶したデータベースである。クラスタＤＢ３０ｅにおいてクラスタリングしておく画像は、画像ＤＢ２０に記憶された画像から検出した特徴領域（領域画像）であってもよいし、学習用に予め用意した画像から検出した特徴領域（領域画像）であってもよい。
【００５１】
クラスタリングにより、類似する特徴量を有する領域画像は同じクラスタに属することとなる。例えば、画像の特徴を軸とした特徴量空間に全ての領域画像を配置して、領域画像の総数に対して所定割合以上の領域画像の集合が得られた領域をクラスタとみなすようにすればよい。以下、各クラスタを識別するＩＤを‘＃’を付して説明する。
【００５２】
尚、クラスタリングの標準的な手法としては、k-means,  Hierarchical  Agglomerative  Clustering(HAC)などが用いられる。参考文献として、
・Jain,  Murty,  Flynn:"Data  clustering:a  review",  ACM  Computing  Surveys,Vol.31,Issue  3,pp.264-323,1999.
がある。
【００５３】
図４では、切り出した領域Ｔ１、Ｔ３〜Ｔ６の画像がクラスタ＃１、Ｔ２の画像がクラスタ＃２、領域Ｔ１２〜Ｔ１４の画像がクラスタ＃３、領域Ｔ１１及びＴ２１の画像がクラスタ＃４、領域Ｔ２４〜Ｔ２６の画像がクラスタ＃５、領域Ｔ２２及びＴ２３の画像がクラスタ＃６に分類されている。
【００５４】
インデクシング部３０ａは、領域画像をクラスタリングすると、各検索対象画像から検出したそれぞれの領域画像が属するクラスタと、各クラスタでの該領域画像の出現頻度を取得する（ステップＳ１４）。例えば、Ｎｏ．０００１の画像については、クラスタ＃１において５つ、＃２において１つの領域画像が出現している。
【００５５】
そして、インデクシング部３０ａは、各検索対象画像の領域画像が属するクラスタと出現頻度により特徴ベクトルを生成する（ステップＳ１５）。図４に示すクラスタリングの特徴ベクトルの一例に基づいて生成される特徴ベクトルは次ぎのようになる。
【００５６】
【数１】
2011070244.tif 000003
【００５７】
インデクシング部３０ａは、検索対象画像毎に生成した特徴ベクトルをインデックスとして画像ＩＤに対応付けてインデックスＤＢ３０ｂに記憶する。以上の処理により、インデクシング部３０ａは、画像ＤＢ２０に記憶された画像について、画像中のオブジェクトに注視した特徴ベクトルを生成してインデックスＤＢ３０ｂに予め記憶しておく。
【００５８】
［類似領域検索におけるインデクシング処理］
次ぎに、類似領域検索におけるインデクシング処理について、図３のインデクシング処理工程の処理フローを示すフローチャートと、図４の特徴ベクトルの生成についての概略を示す図を参照しながら説明する。
【００５９】
先ず、類似領域検索部４０のインデクシング部４０ａは、画像ＤＢ２０に記憶されている画像データを読み出して、各検索対象画像を所定領域で分割する（ステップＳ２１）。ここで、画像を分割する手法としては、例えば、予め定めたＭ×Ｎブロックに分割したり、分割後のブロックの大きさが予め定めたｍ×ｎ画素となるように分割したりする手法がある。例えば、画像を１０×１０のブロックに分割する場合、画像の大きさが６４０×４８０画素であれば、１ブロックの大きさは６４×４８画素となる。
【００６０】
図４の例では、Ｎｏ．０００１の画像については７×６ブロックに分割されている。また、Ｎｏ．０００２の画像については５×７ブロック、Ｎｏ．０００３の画像については６×６ブロックに分割されている。
【００６１】
次ぎにインデクシング部４０ａは、検索対象画像を分割したブロック状の各画像から特徴量を抽出する（ステップＳ２２）。そして、分割画像の集合を特徴量に基づいてクラスタリングする（ステップＳ２３）。この類似領域検索のインデクシングにおいて抽出する特徴量は、画像の配色やテクスチャ、形状等の各画像の特徴を数値化して表現したものである。尚、図４では、特徴領域として検出点に基づいて切り出した領域画像をクラスタリングした場合を例示しており、分割画像のクラスタリングについての例示は省略している。
【００６２】
画像特徴量についての参考文献は、
“Content-based  image  retrieval  at  the  end  of  the  early  years”,IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence,  Vol.22,No.12,pp.1349-1380.Dec  2000.
が知られている。
【００６３】
また、インデクシング部４０ａは、クラスタＤＢ４０ｅで予めクラスタリングされた画像の分布と、分割画像との特徴量空間における距離に基づいて、分割画像が属するクラスタを決定する。クラスタＤＢ４０ｅは、予め画像を特徴量に基づいてクラスタリングして、画像とクラスタとを対応付けて蓄積記憶したデータベースである。クラスタＤＢ４０ｅにおいてクラスタリングしておく画像は、画像ＤＢ２０に記憶された画像を所定領域に分割した分割画像であってもよいし、学習用に予め用意した画像を分割した分割画像であってもよい。
【００６４】
インデクシング部４０ａは、分割画像をクラスタリングすると、各検索対象画像から分割された分割画像が属するクラスタと、各クラスタでの該分割画像の出現頻度を取得する（ステップＳ２４）。そして、インデクシング部４０ａは、各検索対象画像を構成する分割画像が属するクラスタと出現頻度により特徴ベクトルを生成する（ステップＳ２５）。
【００６５】
インデクシング部４０ａは、検索対象画像毎に生成した特徴ベクトルをインデックスとして画像ＩＤに対応付けてインデックスＤＢ４０ｂに記憶する。以上の処理により、インデクシング部４０ａは、画像ＤＢ２０に記憶された画像について、各画像を構成する領域に着目した特徴ベクトルを生成してインデックスＤＢ４０ｂに予め記憶しておく。
【００６６】
このように、類似物体検索部３０のインデクシング部３０ａが生成する特徴ベクトルは、オブジェクトの存在する可能性の高い特徴領域から生成されるため、オブジェクトの特徴を示す指標として有効である。
【００６７】
また、類似領域検索部４０のインデクシング部４０ａが生成する特徴ベクトルは、画像を構成する各分割画像から生成されるため、画像の全体的な構成を示す指標として有効である。
【００６８】
［画像検索装置の検索処理］
次ぎに、クエリ画像に類似する画像を検索する検索処理について図５のフローチャートと、図６の類似度の算出についての概略を示す図を参照しながら説明する。
【００６９】
クエリ画像受付部１０がクライアント端末からクエリ画像を受け付けると、図５に示す検索処理を行うが、この検索処理は、大きく分けて物体類似度算出処理と、領域類似度算出処理と、類似度統合処理とに分けられる。
【００７０】
［物体類似度算出処理］
先ず、物体類似度算出処理について説明する。
類似物体検索部３０の特徴ベクトル生成部３０ｃは、クエリ画像をクエリ画像受付部１０から取得して、上述したインデクシング処理と同様にクエリ画像中から特徴領域を検出する（ステップＳ３１）。
【００７１】
そして、検出した特徴領域を（領域画像）から特徴量を抽出する（ステップＳ３２）。特徴ベクトル生成部３０ｃは、各領域画像から抽出した特徴量と、クラスタＤＢ３０ｅに記憶されたクラスタの情報とに基づいて、各領域画像をクラスタリングして、各領域画像が属するクラスタを特定する（ステップＳ３３）。
【００７２】
このクエリ画像から検出した領域画像のクラスタリングは、クラスタＤＢ３０ｅにおいてオブジェクトの特徴に着目したクラスタに対して行われる。各領域画像が属するクラスタと、そのクラスタへの領域画像の出現頻度とに基づいて、上述した手法と同様に特徴ベクトルを生成する（ステップＳ３４）。
【００７３】
類似物体検索部３０の物体類似度算出部３０ｄは、クエリ画像の特徴ベクトルと、インデックスＤＢ３０ｂに記憶された各検索対象画像の特徴ベクトルとに基づいて、検索対象画像毎の類似度（以下「物体類似度」という）を算出する（ステップＳ３５）。尚、類似度の算出方法としては、コサイン距離やBhattacharyya距離等の公知技術が用いられる。
【００７４】
ここで、例えば、クエリ画像から類似物体検索によるインデクシングにより次ぎの特徴ベクトルが生成されたとする。
【数２】
2011070244.tif 000004
【００７５】
このとき、図４の図示した画像ＩＤ‘０００１’〜‘０００３’の画像から生成した特徴ベクトルとのコサイン距離を類似度１〜３として算出すると、次ぎのようになる。
【００７６】
【数３】
2011070244.tif 000005
【００７７】
即ち、クエリ画像と検索対象画像とのそれぞれの画像中に含まれるオブジェクトに着目した特徴ベクトルに基づいて、画像ＩＤ‘０００３’の検索対象画像がクエリ画像に最も類似しているとして、類似度が算出される。
【００７８】
［領域類似度算出処理］
次ぎに、領域類似度算出処理について説明する。
先ず、類似領域検索部４０の特徴ベクトル生成部４０ｃは、クエリ画像をクエリ画像受付部１０から取得して、上述したインデクシング処理と同様に、そのクエリ画像を所定領域に分割する（ステップＳ４１）。そして、所定領域に分割した画像から特徴量を抽出する（ステップＳ４２）。
【００７９】
特徴ベクトル生成部４０ｃは、各分割画像から抽出した特徴量と、クラスタＤＢ４０ｅに記憶されたクラスタの情報とに基づいて各領域画像をクラスタリングして、各領域画像が属するクラスタを特定する（ステップＳ４３）。クエリ画像から得られる分割画像のクラスタリングは、検索対象画像の特徴量に基づいてインデクシング部４０ａにより生成された画像を構成する各領域に着目したクラスタに対して行われる。
【００８０】
特徴ベクトル生成部４０ｃは、各分割画像が属するクラスタと、そのクラスタへの分割画像の出現頻度とに基づいて、上述した手法と同様に特徴ベクトルを生成する（ステップＳ４４）。
【００８１】
類似領域検索部４０の領域類似度算出部４０ｄは、クエリ画像の特徴ベクトルと、インデックスＤＢ４０ｂに記憶された各検索対象画像の特徴ベクトルとに基づいて、検索対象画像毎の類似度（以下「領域類似度」という）を算出する（ステップＳ４５）。即ち、領域類似度算出部４０ｄでは、各画像全体を構成する各領域に着目した特徴ベクトルに基づいて類似度が算出される。
【００８２】
［類似度統合処理］
次ぎに、類似度統合処理について説明する。
類似度統合部５０は、類似物体検索部３０の特徴ベクトル生成部３０ｃにおいてクエリ画像から抽出された特徴領域の数と、類似領域検索部４０の特徴ベクトル生成部４０ｃにおいてクエリ画像を分割して得られた領域画像の分割数分割数とを取得する（ステップＳ５１）。
【００８３】
そして、各検索対象画像について物体類似度算出部３０ｄが算出した物体類似度と、領域類似度算出部４０ｄが算出した領域類似度に特徴領域数と分割数とに基づいた重み付けを行って、その類似度を検索対象画像毎に統合する（ステップＳ５２）。検索対象画像毎に統合された類似度を以下「統合類似度」といい、次式により算出される。
【００８４】
統合類似度  ＝  物体類似度  ×（特徴領域数／（特徴領域数＋分割数））
＋領域類似度  ×（分割数  ／（特徴領域数＋分割数））
【００８５】
即ち、上式による算出される統合類似度は、クエリ画像に含まれるオブジェクトの特徴を示す特徴領域の数が多いと、物体類似度に対する重みが高められ、クエリ画像が画像全体に特徴を有する場合は、領域類似度に対する重みが高められるように各類似度が統合される。
【００８６】
例えば、図６（ａ）に示すようなクエリ画像Ｑ１がクエリ画像受付部１０で受け付けられたとする。このとき、類似物体検索部３０においてクエリ画像Ｑ１中の特徴領域が抽出され、クエリ画像Ｑ１から、図６（ｂ）の黒点にて示す特徴領域が１７０個抽出されるとする。また、類似領域検索部４０において、図６（ｃ）に示すようにクエリ画像Ｑ１が８×１０の８０個のブロックに分割されるとする。
【００８７】
この特徴領域数と分割数により、物体類似度に乗算される重みは  １７０／（１７０＋８０）＝０．６８、領域類似度に乗算される重みは  ８０／（１７０＋８０）＝０．３２となる。
【００８８】
従って、クエリ画像Ｑ１と各検索対象画像との物体類似度と領域類似度とを統合する場合に、クエリ画像Ｑ１にオブジェクトが含まれていることから、オブジェクトに特化した物体類似度のほうが高く重み付けされた統合類似度が算出される。
【００８９】
また、図６（ｅ）に示すようなクエリ画像Ｑ３がクエリ画像受付部１０で受け付けられたとする。このとき、類似物体検索部３０においてクエリ画像Ｑ３中の特徴領域が抽出され、クエリ画像Ｑ３からは、図６（ｆ）の黒点にて示す特徴領域が２０個抽出されるとする。また、類似領域検索部４０において、図６（ｇ）に示すようにクエリ画像Ｑ３が８×１０の８０個のブロックに分割されるとする。
【００９０】
この特徴領域数と分割数により、物体類似度に乗算される重みは  ２０／（２０＋８０）＝０．２、領域類似度に乗算される重みは  ８０／（２０＋８０）＝０．８となる。
【００９１】
従って、クエリ画像Ｑ３と各検索対象画像との物体類似度と領域類似度とを統合する場合に、クエリ画像Ｑ３に含まれているオブジェクトの占有率が低く、全体的な配色等の構成に特徴を持つ画像であるから、画像領域に特化した領域類似度のほうが高く重み付けされた統合類似度が算出される。
【００９２】
以上のように、本実施形態によれば、類似物体検索によりクエリ画像から検出した特徴領域の数と、類似領域検索によるクエリ画像を分割する分割数とを用いて、類似物体検索による類似度と、類似領域検索による類似度とに重み付けを行って、各検索対象画像の統合類似度によるランク付けを行う。
【００９３】
これにより、ユーザが検索時に入力するクエリ画像にオブジェクトの存在を示す特徴領域が多いと、類似物体検索による類似度が重要視されたランキングとなる。また、クエリ画像中にオブジェクトの存在を示す特徴領域が少ない場合には、類似領域検索によるクエリ画像の全体的な構成が重要視されたランキングとなる。従って、クエリ画像に基づいてユーザの検索意図を考慮した類似画像検索のランキングを生成することができる。
【００９４】
尚、上述した実施形態により本発明が限定されるものではなく、その要旨を逸脱しない範囲で変更可能である。
【００９５】
［変形例１］
例えば、類似物体検索による類度と、類似領域検索による類似度とを類似度の統合の際の反映させる際の比率をユーザに入力させて、その比率を重み付けに付加してもよい。尚、この場合、クエリ画像の入力時又は事前の設定処理において、比率αをユーザに設定入力させる。
【００９６】
比率αを用いた統合類似度の算出は次式により行われる。
統合類似度＝α×物体類似度  ×（特徴領域数／（特徴領域数＋分割数））
＋（１−α）×領域類似度  ×（分割数／（特徴領域数＋分割数））
尚、αは０〜１の範囲の値をとする。
【００９７】
これにより、物体類似度及び領域類似度を統合する際の類似度にユーザの設定入力に応じた重み付けを加えることができる。従って、ユーザは、クエリ画像に含まれるとオブジェクトと、クエリ画像の画像構成とのどちらを重要視するかを適宜設定できる。
【００９８】
［変形例２］
また、クエリ画像が、ある画像（元画像）の一部を切り出した画像である場合に、クエリ画像の分割数と、元画像の分割数とに基づいて、重み付け値を正規化することとしてもよい。
【００９９】
分割数により正規化を行った場合の、統合類似度の算出は次式により行われる。
正規特徴領域数  ＝  クエリ画像の特徴領域数／元画像の特徴領域数
正規分割数      ＝  クエリ画像の分割数  ／元画像の分割数
統合類似度＝物体類似度  ×（正規特徴領域数／（正規特徴領域数＋正規分割数））
＋領域類似度  ×（正規分割数    ／（正規特徴領域数＋正規分割数））
但し、元画像の特徴領域数≧クエリ画像の特徴領域数、元画像の分割数≧クエリ画像の分割数。
【０１００】
例えば、図６（ａ）に示した画像Ｑ１が元画像であって、この画像の一部分を切り出した画像をクエリ画像Ｑ１ａとした場合、画像Ｑ１の特徴領域及び分割数と、クエリ画像Ｑ１ａの特徴領域数及び分割数とに基づいて、正規化される。
【０１０１】
これにより、クエリ画像を切り出した元画像から検出される特徴領域数や、元画像をインデクシングする際にインデクシング部４０ａで分割する分割数に基づいて、クエリ画像の特徴領域数や分割数を正規化し、個々のクエリ画像による統合類似度のばらつきを抑えることができる。
【０１０２】
尚、この変形例２においても、変形例１と同様に、ユーザの設定入力された比率αに基づいて、物体類似度及び領域類似度に重み付けを行ってもよい。
【０１０３】
［変形例３］
また、類似領域検索でのインデクシングによる分割数を、類似物体検索でのインデクシングにおいて画像から検出した特徴領域数に基づいた値としてもよい。
【０１０４】
例えば、インデクシング部３０ａ及び特徴ベクトル生成部３０ｃが画像から検出した特徴領域数がＫの場合、インデクシング部４０ａ及び特徴ベクトル生成部４０ｃが画像を分割する際の分割数をＫに設定する。Ｎ×Ｎのブロックへの分割の場合、合計の領域数をＮ×Ｎ＝（Ｋの平方根）×（Ｋの平方根）＝Ｋ、即ち、特徴領域数と同じになる。
【０１０５】
このように、画像から検出した特徴領域数に基づいて分割数を設定することで、例えば、特徴領域数が少ない場合には分割精度を低くし、特徴領域数が多い場合には分割精度が高くなる。
【０１０６】
このため、類似領域検索のインデクシングにおける分割数を画像から検出される特徴領域数に応じて画像の分割精度を変えることができる。また、統合類似度の算出の際の正規化が不要になる。
【０１０７】
［変形例４］
また、類似物体検索のインデクシングで検出した特徴領域数に基づいて物体類似度及び領域類似度の統合を算出してもよい。特徴領域数のみを用いた統合類似度の算出は次式により行われる。
【０１０８】
統合類似度  ＝  物体類似度×ｆ（特徴領域数）＋領域類似度×（１−ｆ（特徴領域数））
【０１０９】
尚、ｆ（ｎ）は、クエリ画像にオブジェクトが含まれる確率を近似したものであり、一例として式１又は式２により与えられる。Ｆ１，Ｆ２，Ｎ１，Ｎ２は実験的に設定される。また、式１によるｆ（ｎ）のグラフを図７（ａ）に、式２によるｆ（ｎ）のグラフを図７（ｂ）に示す。
【０１１０】
【数４】
2011070244.tif 000006
【０１１１】
【数５】
2011070244.tif 000007
【０１１２】
上述の式により、クエリ画像にオブジェクトが含まれる確率が高くなると、物体類似度を重要視した統合類似度が算出されるようになる。また、特徴領域数のみに基づいて統合類似度を算出した場合には、特徴領域数がＮ２以上になった場合には、物体類似検索による類似度のみが統合類似度として得られる。
【０１１３】
また、図１に示す機能ブロックにより画像検索装置１は、特徴ベクトルの生成や類似度の算出、類似度の統合を行うこととしたが、図に示した機能ブロックは一例であり、図示にとらわれるものではない。
【０１１４】
例えば、上述では、インデクシング部と特徴ベクトル生成部とをそれぞれ別の機能ブロックで図示して説明したが、画像ＤＢ２０に記憶された画像に対する事前処理（インデクシング）と、クエリ画像に対する処理（特徴ベクトルの生成）とを説明の都合上、個別に記載したものであり、それらを一つの機能ブロックにより実現することとしてもよい。
【０１１５】
即ち、インデクシング部が、画像ＤＢ２０に記憶された画像から特徴ベクトルを生成してインデックスＤＢに記憶すると共に、クエリ画像受付部２０から入力されたクエリ画像から特徴ベクトルを生成して物体類似度算出部や領域類似度算出部に出力することとしてもよい。
【０１１６】
［変形例５］
また、上述では、一つのクエリ画像が受け付けられた場合を例示して説明したが、クエリ画像が複数受け付けることとしてもよい。この場合は、類似物体検索や類似領域検索による特徴ベクトルの生成を各クエリ画像に対して行う。そして、特徴ベクトル生成部が各クエリ画像から生成した複数の特徴ベクトルを加算することで一つの特徴ベクトルに合成して、物体類似度算出部や領域類似度算出部がインデックスＤＢの特徴ベクトルと比較し類似度を算出する。
【０１１７】
このように、複数の特徴ベクトルを加算することで一つの特徴ベクトルに合成できるのは、画像を複数の画像領域の集合として表現するというビジュアルキーワード固有の技術による。即ち、クエリ画像が複数である場合には、その複数のクエリ画像から検出される部分画像（領域画像や分割画像）の集合を、１つのクエリ（検索要求）に対する部分画像の集合と見なすことができるため、特徴ベクトルの合成が可能となる。
【０１１８】
また、類似度統合部は、特徴ベクトル生成部が各クエリ画像から検出した特徴領域数の総数と、各クエリ画像を領域分割した分割数の総数とに基づいて重み付けを行って、物体類似度と領域類似度との統合を行う。
【０１１９】
これにより、ユーザが検索時に入力するクエリ画像が複数であった場合にも、類似物体検索と類似領域検索とによる類似度それぞれの重要視する重み付けをクエリ画像全体から算出でき、ユーザの検索意図を考慮した類似画像検索のランキングを生成することができる。
【０１２０】
また、複数のクエリ画像が入力された場合にも、類似物体検索による検索結果の類似度と、類似領域検索による検索結果の類似度とを統合することができ、ユーザの検索意図に応じた検索結果のランキングを精度よく得ることができる。
【０１２１】
［変形例６］
また、上述では、特徴ベクトルを領域画像や分割画像の出現頻度に基づいて生成することとしたが、テキスト検索における単語の重み付け手法であるＴＦ／ＩＤＦ（term  frequency-inverse  document  frequency）により重み付けを行って特徴ベクトルを生成することとしてもよい。
【０１２２】
ＴＦ／ＩＤＦに関する参考資料としては、
C.D.Manning,  P.Raghavan  and  H.Schutze:"  Introduction  to  Information  Retrieval",Cambridge  University  Press.2008.
が知られている。
【０１２３】
以下、簡単にＴＦ／ＩＤＦによる重み付けの手法を説明する。
画像ＩＤがｉ、各クラスタｋでの出現頻度をＴＦ／ＩＤＦにより重み付けした出現頻度（ｋ,ｉ）は、次式で算出される。
【０１２４】
出現頻度（ｋ,ｉ）＝ＴＦ（ｋ,ｉ）／Ｔ（ｉ）＊ＩＤＦ（ｋ）
ＩＤＦ（ｋ）      ＝ｌｏｇ（Ｎ／ＤＦ（ｋ））
尚、
ＴＦ（ｋ,ｉ）は、画像ｉについての部分画像がクラスタｋで出現する数（出現頻度）
Ｔ（ｉ）は、画像ｉから検出した部分画像の数
ＤＦ（ｋ）は、クラスタｋに出現する画像の数
Ｎは、画像ＤＢ２０の画像総数
である。
【０１２５】
上述した例に基づいて、Ｎ＝３とした場合、ＴＦ／ＩＤＦにより重み付けした出現頻度による特徴ベクトルは、次ぎのようになる。
【０１２６】
【数６】
2011070244.tif 000008
【０１２７】
このように、ＴＦ／ＩＤＦにおけるドキュメントを画像とみなし、ドキュメント内の単語を部分画像とみなして重み付けを行うことで、各画像に出現する部分画像の重要度を下げ、特定の画像に際立って出現する特徴的な部分画像についての重要度を上げるように出現頻度に重み付けを行うことができる。
【０１２８】
尚、上述した実施形態では、物体に特化した画像検索アルゴリズムにより算出した類似度と、画像の領域構成に特化した画像検索アルゴリズムにより算出した類似度と、をそれぞれから検出した部分画像の数に基づいて重み付けすることで類似度を統合することとして説明したが、このアルゴリズムの組み合わせは適宜変更可能である。
【０１２９】
例えば、顔画像に特化した特徴量を用いて検索する類似度と、風景画像に特化した特徴量を用いて検索するアルゴリズムによる類似度とに、顔画像に特化した特徴領域と、風景画像に特化した特徴領域の数により上述した重み付けを行うこととしてもよい。この場合、クエリ画像が顔画像であるか風景画像であるかに応じた重み付けを行うことができるので、ユーザの検索意図に合わせた検索結果のランキングを得ることができる。
【０１３０】
また、二つの検索アルゴリズムによる類似度を統合することとして説明したが、複数の検索アルゴリズムに対して類似度の統合を行うことができる。即ち、各検索アルゴリズムによる類似度と、各検索アルゴリズムによりクエリ画像から検出した部分画像の数とを用いて、類似度に重み付けを行える。
【０１３１】
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【０１３２】
１      画像検索装置
１０    クエリ画像受付部
２０    画像ＤＢ
３０    類似物体検索部
３０ａ  インデクシング部
３０ｂ  インデックスＤＢ
３０ｃ  特徴ベクトル生成部
３０ｄ  物体類似度算出部
４０    類似領域検索部
４０ａ  インデクシング部
４０ｂ  インデックスＤＢ
４０ｃ  特徴ベクトル生成部
４０ｄ  領域類似度算出部
５０    類似度統合部
６０    検索結果出力部
Ｑ１    クエリ画像
【図１】
2011070244.tif 000009
【図２】
2011070244.tif 000010
【図３】
2011070244.tif 000011
【図４】
2011070244.tif 000012
【図５】
2011070244.tif 000013
【図６】
2011070244.tif 000014
【図７】
2011070244.tif 000015