(57)【要約】【課題】正確な類似度を算出する。【解決手段】類似度計算部３２は、第１の画像の所定のレイヤにおける所定のブロックから抽出される特徴量と、第２の画像における、所定のレイヤに対応するレイヤの所定のブロックに対応するブロックから抽出される特徴量とに基づいて、第１の画像の所定のブロックと、所定のブロックに対応する第２の画像のブロックとの間の特徴量の隔たりを表す特徴量距離を求める。そして、類似度計算部３２は、ブロック間特徴量距離算出手段により求められる複数のブロック間の特徴量距離に基づいて、第１の画像と第２の画像との類似度を算出する。本発明は、例えば、画像検索装置に適用できる。【選択図】図３
2009059133.tif 000002
【特許請求の範囲】
【請求項１】
第１の画像に類似する画像を、複数の第２の画像から検索する検索装置において、
前記第１の画像および前記第２の画像は、前記第１の画像と前記第２の画像とで対応する複数のレイヤで構成され、
前記第１の画像を構成する各レイヤは、前記レイヤごとに異なる分割数のブロックで、それぞれ分割され、
前記第２の画像を構成する各レイヤは、それぞれ対応する前記第１の画像の各レイヤにおけるブロックに対応するブロックで、それぞれ分割されており、
前記第１の画像の所定のレイヤにおける所定のブロックから抽出される特徴量と、前記第２の画像における、前記所定のレイヤに対応するレイヤの前記所定のブロックに対応するブロックから抽出される特徴量とに基づいて、前記第１の画像の所定のブロックと、前記所定のブロックに対応する前記第２の画像のブロックとの間の特徴量の隔たりを表す特徴量距離を求めるブロック間特徴量距離算出手段と、
前記ブロック間特徴量距離算出手段により求められる複数の前記ブロック間の特徴量距離に基づいて、前記第１の画像と前記第２の画像との類似度を算出する類似度算出手段と
を備える画像検索装置。
【請求項２】
前記画像を構成する複数のレイヤの各ブロックから前記特徴量を抽出する特徴量抽出手段
をさらに備える請求項１に記載の画像検索装置。
【請求項３】
前記画像から抽出される特徴量は、前記画像の色情報のベクトルと、前記ベクトルの重みとにより表されるシグニチャであり、
前記ブロック間特徴量距離算出手段は、前記特徴量どうしの距離の計算を輸送問題に置き換えて最適な輸送コストを用いて定義されるＥＭＤ（Earth Mover's Distance）に基づいて、前記第１の画像から抽出されるシグニチャと、前記第２の画像から抽出されるシグニチャとの距離を求める
請求項１に記載の画像検索装置。
【請求項４】
前記ブロック間特徴量距離算出手段は、前記第１の画像の所定のブロックから前記特徴量距離を求めるのに用いる前記第２の画像のブロックとして、前記所定のブロックと同位置に配置されている前記第２の画像のブロックと、前記所定のブロックの近傍に配置されている前記第２の画像のブロックとを用いる
請求項１に記載の画像検索装置。
【請求項５】
前記類似度算出手段は、
前記ブロック間特徴量距離算出手段により求められる所定のレイヤのブロックごとの特徴量距離に基づいて、前記所定のレイヤ間の特徴量距離を求め、
前記第１および第２の画像の前記レイヤごとの特徴量距離に、各レイヤのブロックの分割数に応じた重みを付けて、前記類似度を算出する
請求項１に記載の画像検索装置。
【請求項６】
前記類似度の算出に用いられる重みは、類似している画像どうしがあらかじめ組み合わされた画像のセットと、前記画像のセットに含まれる画像に対して検索を行ったときに検索結果として得られる画像のセットとの重なり合う領域が最大となるように決定される
請求項５に記載の画像検索装置。
【請求項７】
第１の画像に類似する画像を、複数の第２の画像から検索する検索方法において、
前記第１の画像および前記第２の画像は、前記第１の画像と前記第２の画像とで対応する複数のレイヤで構成され、
前記第１の画像を構成する各レイヤは、前記レイヤごとに異なる分割数のブロックで、それぞれ分割され、
前記第２の画像を構成する各レイヤは、それぞれ対応する前記第１の画像の各レイヤにおけるブロックに対応するブロックで、それぞれ分割されており、
前記第１の画像の所定のレイヤにおける所定のブロックから抽出される特徴量と、前記第２の画像における、前記所定のレイヤに対応するレイヤの前記所定のブロックに対応するブロックから抽出される特徴量とに基づいて、前記第１の画像の所定のブロックと、前記所定のブロックに対応する前記第２の画像のブロックとの間の特徴量の隔たりを表す特徴量距離を求め、
前記複数の前記ブロック間の特徴量距離に基づいて、前記第１の画像と前記第２の画像との類似度を算出する
ステップを含む検索方法。
【請求項８】
第１の画像に類似する画像を、複数の第２の画像から検索する検索処理をコンピュータに実行させるプログラムにおいて、
前記第１の画像および前記第２の画像は、前記第１の画像と前記第２の画像とで対応する複数のレイヤで構成され、
前記第１の画像を構成する各レイヤは、前記レイヤごとに異なる分割数のブロックで、それぞれ分割され、
前記第２の画像を構成する各レイヤは、それぞれ対応する前記第１の画像の各レイヤにおけるブロックに対応するブロックで、それぞれ分割されており、
前記第１の画像の所定のレイヤにおける所定のブロックから抽出される特徴量と、前記第２の画像における、前記所定のレイヤに対応するレイヤの前記所定のブロックに対応するブロックから抽出される特徴量とに基づいて、前記第１の画像の所定のブロックと、前記所定のブロックに対応する前記第２の画像のブロックとの間の特徴量の隔たりを表す特徴量距離を求め、
前記複数の前記ブロック間の特徴量距離に基づいて、前記第１の画像と前記第２の画像との類似度を算出する
ステップを含む検索処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索装置および画像検索方法、並びにプログラムに関し、特に、正確な類似度を算出することができるようにした画像検索装置および画像検索方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、画像を検索する画像検索装置は、例えば、画像検索装置に入力される入力画像と、データベースに蓄積されている複数の画像との類似度を算出し、類似度の高い画像をデータベースから読み出して、検索結果として出力する。
【０００３】
画像どうしの類似度を算出する方法としては、例えば、画像の全体的な色情報を用いる方法、画像の各部分の色情報を用いる方法、画像全体のテクスチャ（texture）情報を用いる方法、および、画像の色情報とテクスチャ情報とを組み合わせて用いる方法などがある。
【０００４】
画像の全体的な色情報を用いて類似度を算出する方法では、色の配置が考慮されないために、正確な類似度を算出することが難しく、類似していない画像どうしの類似度が高くなることがあった。
【０００５】
例えば、図１を参照して説明すると、図１の左側の画像では、ある色の領域が、画像の中央に大きな円形で配置されており、図１の右側の画像では、その色と同じ色の領域が、複数の箇所に小さな円形で配置されている。
【０００６】
このように、図１の左側の画像と右側の画像とは類似していないが、同じ色の領域の面積が同一であると、画像の全体的な色情報を用いて類似度を算出する方法では、左側の画像と右側の画像との類似度が高くなる。従って、その結果、これらの画像が類似している、または、同一であると判断されることがある。
【０００７】
また、画像の各部分の色情報を用いて類似度を算出する方法では、例えば、画像に映っている物体（object）に応じて、画像を複数のセグメント（segment）に分割するセグメンテーション（segmentation）処理を行い、各セグメントの色情報に基づいて類似度が算出される。
【０００８】
セグメンテーション処理において用いられる分割手法については、様々な手法が提案されているが、画像に映っている１つの物体を、１つのセグメントに確実に分割することが困難であった。即ち、画像に映っている１つの物体が、その物体を撮像したときの撮像装置や撮像環境などに応じて、２つ以上のセグメントに分割されることがあった。
【０００９】
例えば、図２を参照して説明すると、図２の上側に示されている入力画像には、ある１つの物体が映されており、図２の下側には、この入力画像に対してセグメンテーション処理を施した結果得られる２つの結果画像が示されている。図２の左下側の結果画像１では、入力画像に映されている１つの物体が、１つのセグメントとされているが、図２の右下側の結果画像２では、入力画像に映されている１つの物体が、４つのセグメントに分割されている。
【００１０】
このように、セグメンテーション処理により、入力画像に映っている１つの物体が、１つのセグメントに確実に分割されないことがあり、その処理の結果が不安定であるため、各セグメントの色情報に基づいて算出される類似度も不安定となる。従って、画像の各部分の色情報を用いて類似度を算出する方法でも、正確な類似度を算出することが難しかった。
【００１１】
また、画像全体のテクスチャ情報を用いて類似度を算出する方法では、例えば、画像全体の周波数成分で、画像どうしを比較し、その比較結果に基づいて類似度が算出される。テクスチャ情報には、色情報が含まれていないため、色情報が重要な要素を占める物体が映っている画像については、画像どうしを正確に比較することができず、正確な類似度を算出することは難しかった。
【００１２】
また、画像の色情報とテクスチャ情報とを組み合わせて用いて類似度を算出する方法では、例えば、色情報に基づく類似度とテクスチャ情報に基づく類似度とに、それぞれ適切な重みをつけて、それらの類似度の重み和により類似度が算出される。色情報の特徴量とテクスチャ情報の特徴量とは、それぞれ異なるものであるので、色情報に基づく類似度とテクスチャ情報に基づく類似度とを適切に組み合わせるための、適切な重みを決定することは困難であった。従来、この重みは経験的に決定され、重みが適切でないときには、正確な類似度を算出することができなかった。
【００１３】
また、特許文献1には、色情報と動き情報を利用して、画像の特徴部分を分割するセグメンテーション処理が開示されている。
【００１４】
【特許文献１】特開２００７−２７２２２４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
上述したような画像どうしの類似度を算出する方法では、正確な類似度を算出することは困難であった。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、正確な類似度を算出することができるようにするものである。
【課題を解決するための手段】
【００１７】
本発明の一側面の検索装置は、第１の画像に類似する画像を、複数の第２の画像から検索する検索装置であって、前記第１の画像および前記第２の画像は、前記第１の画像と前記第２の画像とで対応する複数のレイヤで構成され、前記第１の画像を構成する各レイヤは、前記レイヤごとに異なる分割数のブロックで、それぞれ分割され、前記第２の画像を構成する各レイヤは、それぞれ対応する前記第１の画像の各レイヤにおけるブロックに対応するブロックで、それぞれ分割されており、前記第１の画像の所定のレイヤにおける所定のブロックから抽出される特徴量と、前記第２の画像における、前記所定のレイヤに対応するレイヤの前記所定のブロックに対応するブロックから抽出される特徴量とに基づいて、前記第１の画像の所定のブロックと、前記所定のブロックに対応する前記第２の画像のブロックとの間の特徴量の隔たりを表す特徴量距離を求めるブロック間特徴量距離算出手段と、前記ブロック間特徴量距離算出手段により求められる複数の前記ブロック間の特徴量距離に基づいて、前記第１の画像と前記第２の画像との類似度を算出する類似度算出手段とを備える。
【００１８】
本発明の一側面の検索方法またはプログラムは、第１の画像に類似する画像を、複数の第２の画像から検索する検索方法、または、第１の画像に類似する画像を、複数の第２の画像から検索する検索処理をコンピュータに実行させるプログラムであって、前記第１の画像および前記第２の画像は、前記第１の画像と前記第２の画像とで対応する複数のレイヤで構成され、前記第１の画像を構成する各レイヤは、前記レイヤごとに異なる分割数のブロックで、それぞれ分割され、前記第２の画像を構成する各レイヤは、それぞれ対応する前記第１の画像の各レイヤにおけるブロックに対応するブロックで、それぞれ分割されており、前記第１の画像の所定のレイヤにおける所定のブロックから抽出される特徴量と、前記第２の画像における、前記所定のレイヤに対応するレイヤの前記所定のブロックに対応するブロックから抽出される特徴量とに基づいて、前記第１の画像の所定のブロックと、前記所定のブロックに対応する前記第２の画像のブロックとの間の特徴量の隔たりを表す特徴量距離を求め、前記複数の前記ブロック間の特徴量距離に基づいて、前記第１の画像と前記第２の画像との類似度を算出するステップを含む。
【００１９】
本発明の一側面においては、第１の画像および第２の画像が、第１の画像と第２の画像とで対応する複数のレイヤで構成され、第１の画像を構成する各レイヤが、レイヤごとに異なる分割数のブロックで、それぞれ分割され、第２の画像を構成する各レイヤが、それぞれ対応する第１の画像の各レイヤにおけるブロックに対応するブロックで、それぞれ分割されている。そして、第１の画像の所定のレイヤにおける所定のブロックから抽出される特徴量と、第２の画像における、所定のレイヤに対応するレイヤの所定のブロックに対応するブロックから抽出される特徴量とに基づいて、第１の画像の所定のブロックと、所定のブロックに対応する第２の画像のブロックとの間の特徴量の隔たりを表す特徴量距離が求められ、複数のブロック間の特徴量距離に基づいて、第１の画像と第２の画像との類似度が算出される。
【発明の効果】
【００２０】
本発明の一側面によれば、正確な類似度を算出することができる。
【発明を実施するための最良の形態】
【００２１】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書又は図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書又は図面に記載されていることを確認するためのものである。従って、明細書又は図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２２】
本発明の一側面の検索装置は、第１の画像に類似する画像を、複数の第２の画像から検索する検索装置であって、
前記第１の画像および前記第２の画像は、前記第１の画像と前記第２の画像とで対応する複数のレイヤで構成され、
前記第１の画像を構成する各レイヤは、前記レイヤごとに異なる分割数のブロックで、それぞれ分割され、
前記第２の画像を構成する各レイヤは、それぞれ対応する前記第１の画像の各レイヤにおけるブロックに対応するブロックで、それぞれ分割されており、
前記第１の画像の所定のレイヤにおける所定のブロックから抽出される特徴量と、前記第２の画像における、前記所定のレイヤに対応するレイヤの前記所定のブロックに対応するブロックから抽出される特徴量とに基づいて、前記第１の画像の所定のブロックと、前記所定のブロックに対応する前記第２の画像のブロックとの間の特徴量の隔たりを表す特徴量距離を求めるブロック間特徴量距離算出手段（例えば、図８のステップＳ１２の処理を実行する図３の類似度計算部３２）と、
前記ブロック間特徴量距離算出手段により求められる複数の前記ブロック間の特徴量距離に基づいて、前記第１の画像と前記第２の画像との類似度を算出する類似度算出手段（例えば、図８のステップＳ１３の処理を実行する図３の類似度計算部３２）と
を備える。
【００２３】
また、本発明の一側面の検索装置は、
前記画像を構成する複数のレイヤの各ブロックから前記特徴量を抽出する特徴量抽出手段（例えば、図３の特徴量抽出部２４）
をさらに備えることができる。
【００２４】
本発明の一側面の検索方法またはプログラムは、第１の画像に類似する画像を、複数の第２の画像から検索する検索方法、または、第１の画像に類似する画像を、複数の第２の画像から検索する検索処理をコンピュータに実行させるプログラムであって、
前記第１の画像および前記第２の画像は、前記第１の画像と前記第２の画像とで対応する複数のレイヤで構成され、
前記第１の画像を構成する各レイヤは、前記レイヤごとに異なる分割数のブロックで、それぞれ分割され、
前記第２の画像を構成する各レイヤは、それぞれ対応する前記第１の画像の各レイヤにおけるブロックに対応するブロックで、それぞれ分割されており、
前記第１の画像の所定のレイヤにおける所定のブロックから抽出される特徴量と、前記第２の画像における、前記所定のレイヤに対応するレイヤの前記所定のブロックに対応するブロックから抽出される特徴量とに基づいて、前記第１の画像の所定のブロックと、前記所定のブロックに対応する前記第２の画像のブロックとの間の特徴量の隔たりを表す特徴量距離を求め（例えば、図８のステップＳ１２）、
前記複数の前記ブロック間の特徴量距離に基づいて、前記第１の画像と前記第２の画像との類似度を算出する（例えば、図８のステップＳ１３）
ステップを含む。
【００２５】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【００２６】
図３は、本発明を適用した画像検索装置の一実施の形態の構成例を示すブロック図である。
【００２７】
図３において、画像検索装置１１は、データベース構築部１２、記憶部１３、および画像検索部１４から構成される。
【００２８】
データベース構築部１２は、カメラ２１、フレームメモリ２２、色量子化部２３、および特徴量抽出部２４から構成され、記憶部１３に記憶されるデータベース（辞書）を構築する。
【００２９】
カメラ２１は、撮像レンズや撮像素子などを有しており、図示しない被写体を撮像し、その結果得られる画像を、フレームメモリ２２に供給する。
【００３０】
フレームメモリ２２は、カメラ２１により撮像される画像を、一時的に記憶する。
【００３１】
色量子化部２３は、フレームメモリ２２に記憶されている画像を読み出し、その画像に対して色量子化（色情報の削減）を施し、その結果得られる画像を特徴量抽出部２４に供給する。
【００３２】
特徴量抽出部２４は、色量子化部２３から供給される画像の色情報、および画像の色の配置情報に基づいて、画像の特徴量を抽出する。そして、特徴量抽出部２４は、色量子化部２３を介してフレームメモリ２２から画像を読み出し、特徴量と、特徴量を抽出した画像とを応付けて記憶部１３に供給し、記憶部１３に記憶されているデータベースに登録する。
【００３３】
記憶部１３は、特徴量抽出部２４から供給される画像と特徴量とが対応付けられて登録されるデータベースを記憶する。
【００３４】
画像検索部１４は、画像選択部３１、類似度計算部３２、および結果表示部３３から構成される。
【００３５】
画像選択部３１は、例えば、図示しない表示装置に、記憶部１３に記憶されている画像の一覧を表示させ、ユーザが、それらの画像の中から検索を要求する画像（以下、適宜、クエリ画像と称する）を指定すると、そのクエリ画像に対応付けられている特徴量を記憶部１３のデータベースから読み出して、類似度計算部３２に供給する。
【００３６】
類似度計算部３２は、クエリ画像の特徴量が、画像選択部３１から供給されると、クエリ画像と、記憶部１３のデータベースに登録されているクエリ画像を除く全ての画像との類似度を算出する。即ち、類似度計算部３２は、記憶部１３のデータベースに登録されている画像（クエリ画像を除く）を、順次、クエリ画像との類似度を算出する対象となる対象画像とし、対象画像とクエリ画像との類似度を算出する。そして、類似度計算部３２は、例えば、所定の閾値より高い類似度が算出された画像を記憶部１３から読み出し、類似度の高い順に、結果表示部３３に供給する。
【００３７】
結果表示部３３は、類似度計算部３２から供給される画像を、検索結果として表示する。
【００３８】
次に、色量子化部２３において行われる色量子化について説明する。
【００３９】
カメラ２１により撮像される画像（カラー画像）は、一般に、赤（Red）、緑（Green）、青（Blue）の３色で表現され、例えば、各色に８ビットのデータ量が割り当てられているとすると、1677万7216色により表現される。このように、画像の色数が非常に大きいと、特徴量抽出部２４において特徴量を抽出する処理が困難になるため、効率的に処理を行うことができるように、色量子化部２３により色数を削減（減色）する処理が行われる。
【００４０】
具体的には、色量子化部２３は、次の式（１）を演算することにより、RGB色空間をXYZ色空間に変換し、その後、式（２）を演算することにより、XYZ色空間をCIE Lab色空間に変換する。
【００４１】
【数１】
2009059133.tif 000003
・・・（１）
【００４２】
【数２】
2009059133.tif 000004
・・・（２）
【００４３】
CIE Lab色空間とは、心理的（色を見たとき）に、同じ色違いに見える色同士の距離が均等になる色空間であり、CIE（Commission Internationale de l'Eclairage：国際照明委員会）により定められたものである。
【００４４】
色量子化部２３は、RGB色空間をCIE Lab色空間に変換した後、各画素のLab値を、所定の数のクラスタのうちのいずれかに分類するクラスタリング処理を行う。
【００４５】
クラスタリング処理には、様々な手法があり、以下では、k-Meansクラスタリングについて説明する。
【００４６】
k-Meansクラスタリングでは、まず、複数のデータを分類するクラスタの数（ｋ個）があらかじめ設定され、そのクラスタ数分のクラスタ中心（Seed点）がランダムに配置される。次に、各データとクラスタ中心との距離が計算されて、各データが、それぞれのデータに最も近い距離のクラスタ中心に割り当てられる。その後、あるクラスタ中心に割り当てられた複数のデータから、それらのデータの平均が求められ、その平均値によりクラスタ中心が更新される。そして、このようにクラスタ中心を更新する処理が繰り返されて、クラスタ中心の位置が変化しなくなると、各データが、それぞれのデータに割り当てられたクラスタ中心に置き換えられる。
【００４７】
色量子化部２３は、フレームメモリ２２から読み出した画像をCIE Lab色空間に変換して得られる各画素のLab値に対し、k-Meansクラスタリングを施すことにより、クラスタ数（ｋ個）で表現される画像を取得する。ここで、色量子化部２３は、クラスタ数を、フレームメモリ２２に記憶されている画像の色数より小さな値に設定することで、色数が削減された画像を取得することができる。
【００４８】
なお、k-Meansクラスタリングは、クラスタリング処理における最も代表的な手法であるが、色量子化部２３において用いられる手法は、k-Meansクラスタリングに限定されるものではなく、他の手法、例えば、Mean Shift手法などを用いることができる。また、クラスタリング処理が行われる色情報は、CIE Lab色空間により表されるものに限定されることなく、その他の一般的な色空間により表現されるものを用いてよい。
【００４９】
次に、特徴量抽出部２４が画像から抽出する特徴量について説明する。
【００５０】
色情報を含む画像の特徴量としては、一般的に、ヒストグラムが用いられる。ヒストグラムは、例えば、図４の左側に示すように、横軸に、色の範囲（Bin）が示され、縦軸に、各色の範囲におけるデータの数が示されるグラフにより表現される。
【００５１】
一方、特徴量抽出部２４は、画像の特徴量として、シグニチャ（Signatures）を用いる。シグニチャは、画像の色情報を表すベクトルである特徴量中心ｍi、その色情報の重みを表すスカラーであるデータ数ｗiにより表現される特徴量である。図４の右側に示すように、シグニチャは、特徴量中心ｍiとデータ数ｗiとの組み合わせにより表現される。
【００５２】
即ち、特徴量中心ｍiは、色量子化部２３におけるクラスタリング処理により求められたクラスタ中心に応じて［ｌi，ａi，ｂi］Tにより表される３次元ベクトルである。また、データ数ｗiは、画像の所定の領域（図５を参照して後述するブロック）内にある特徴量中心ｍiの数（画素数）である。また、変数iは、１からｋ（クラスタの個数）までの値をとる。
【００５３】
ここで、特徴量として、ヒストグラムが用いられる場合には、横軸に表される色の範囲が固定されており、画像に用いられていない色の範囲であっても、その範囲を設定（即ち、メモリを確保）しておかなければならないため、処理の効率が悪かった。また、例えば、隣り合う色の範囲どうしの境界上の色を、その境界のどちら側に割り当てる（voting）かによって、結果が異なるという曖昧性があった。
【００５４】
これに対し、特徴量として、シグニチャを用いる場合には、全ての特徴量中心ｍiにデータ数ｗiが割り当てられているので、例えば、不要なメモリを確保する必要がなく、処理を効率よく行うことができる。また、特徴量中心ｍiに対応付けられるデータ数ｗiは、クラスタ中心からの距離によって、そのクラスタ中心に割り当てられるLab値により、一意に決定されるので、曖昧性を排除することができる。
【００５５】
また、特徴量抽出部２４は、画像の全体から特徴量を抽出するとともに、画像を複数のブロックに分割した各ブロックから特徴量を抽出する。
【００５６】
図５は、特徴量抽出部２４が特徴量を抽出する画像のレイヤおよびブロックの構造を示す図である。
【００５７】
例えば、特徴量抽出部２４は、色量子化部２３から供給される画像から、第１のレイヤ乃至第３のレイヤを生成し、各レイヤを異なる分割数のブロックで分割し、各レイヤの各ブロックから特徴量を抽出する。
【００５８】
即ち、第１のレイヤは、色量子化部２３から供給される画像そのもの（即ち、レイヤ全体が１つのブロック）であり、特徴量抽出部２４は、第１のレイヤから画像全体の特徴量Signatures１1を抽出する。また、特徴量抽出部２４は、第２のレイヤを、第１乃至第４のブロックの４つのブロックに分割し、各ブロックから特徴量Signatures２1乃至２4を抽出する。また、特徴量抽出部２４は、第３のレイヤを、第１乃至第１６のブロックの１６のブロックに分割し、各ブロックから特徴量Signatures３1乃至３16を抽出する。
【００５９】
このように、特徴量抽出部２４は、色量子化部２３から供給される画像から、特徴量Signatures１1、特徴量Signatures２1乃至２4、および、特徴量Signatures３1乃至３16を抽出し、これらの特徴量を、記憶部１３に供給する。特徴量Signatures１1により、画像の全体的な色の分布が表現される。また、特徴量Signatures３1乃至３16により、画像の局所的な部分における色の分布が表現されるとともに、特徴量Signatures３1乃至３16が抽出されたブロックの配置により、局所的な色の分布の画像全体に対する分布が表現される。
【００６０】
なお、特徴量抽出部２４が特徴量を求めるレイヤの数や、各レイヤの分割数は、図５の例に限られるものではなく、任意に設定可能である。
【００６１】
次に、類似度計算部３２が、クエリ画像と対象画像との類似度を算出する処理について説明する。
【００６２】
類似度計算部３２は、クエリ画像と対象画像との類似度を算出するにあたり、クエリ画像の特徴量と、対象画像の特徴量との隔たりを表す特徴量距離を、ＥＭＤ（Earth Mover's Distance）による距離計算方法を用いて求める。ＥＭＤでは、距離の計算を輸送問題としてとらえ、最適な輸送コストを用いて、特徴量距離が定義される。
【００６３】
ここで、ＥＭＤによる距離計算方法について説明する前に、一般的に、画像どうしの類似度の算出に用いられるヒストグラム間距離計算方法について、図６を参照して説明する。
【００６４】
図６の上側には、クエリ画像のヒストグラム示されており、その下側には、第１および第２の対象画像のヒストグラム示されている。ヒストグラム間距離計算方法では、同一の色の範囲（Bin）どうしで比較が行われる。
【００６５】
図６に示すように、第１の対象画像のヒストグラムでは、クエリ画像のヒストグラムで色が割り当てられている範囲と同一の範囲には、色が割り当てられていない。これに対し、第２の対象画像のヒストグラムでは、クエリ画像のヒストグラムで色が割り当てられている左端の範囲に、色が割り当てられている。従って、ヒストグラム間距離計算方法では、クエリ画像と第２の対象画像とのヒストグラム間距離が、クエリ画像と第１の対象画像とのヒストグラム間距離よりも短くなり、第２の対象画像が、第１の対象画像よりもクエリ画像に類似していると判断される。
【００６６】
しかしながら、ヒストグラムの全体的な形状を比較したとき、第１の対象画像のヒストグラムは、クエリ画像のヒストグラムにおいて色が割り当てら得ている範囲が、１つ右側の範囲にシフトした形状となっており、クエリ画像と第１の対象画像とのヒストグラム間距離が、クエリ画像と第２の対象画像とのヒストグラム間距離よりも短くなることが好ましい。即ち、ヒストグラムの全体的な形状を比較したときには、第１の対象画像が、第２の対象画像よりもクエリ画像に類似していると考えられる。
【００６７】
このような場合には、ＥＭＤによる距離計算方法を用いることで、クエリ画像と第１の対象画像との特徴量距離が、クエリ画像と第２の対象画像との特徴量距離よりも短くなるという結果を得ることができる。
【００６８】
ＥＭＤによる距離計算方法では、画像の特徴量としてシグニチャを用い、類似度を求める２つの画像のシグニチャを、シグニチャＰ｛（ｍP1，ｗP1），・・・（ｍPm，ｗPm）｝、およびシグニチャＱ｛（ｍQ1，ｗQ1），・・・（ｍQn，ｗQn）｝とする。
【００６９】
また、ｉ番目のシグニチャＰ（ｍPi，ｗPi）からｊ番目のシグニチャＱ（ｍPj，ｗQj）への輸送量（Flow）をｆijとし、ｉ番目のシグニチャＰ（ｍPi，ｗPi）とｊ番目のシグニチャＱ（ｍPj，ｗQj）との距離（ground distance）（ユークリッド距離）をｄijとする。そして、全てのシグニチャＰを全てのシグニチャＱに輸送するとしたときの全輸送量をＦとすると、仕事量WORK（P,Q,F）は、次の式（３）で表される。
【００７０】
【数３】
2009059133.tif 000005
・・・（３）
【００７１】
ただし、式（３）は、次の式（４）の制約条件を満たす必要がある。
【００７２】
【数４】
2009059133.tif 000006
・・・（４）
【００７３】
式（４）の条件の下で求められる最適な（最小の）全輸送量Ｆを用いて、シグニチャＰとシグニチャＱとのＥＭＤは、次の式（５）で求められる。
【００７４】
【数５】
2009059133.tif 000007
・・・（５）
【００７５】
このようにして求められるＥＭＤは、２つのシグニチャのサイズ（例えば、シグニチャの変数iの数）が異なっていても距離計算が可能であるため、シグニチャでの表現に対する距離計算に適している。
【００７６】
ここで、図５を参照して説明したように、特徴量抽出部２４は、画像を構成するレイヤごとのブロックごとに特徴量を抽出しており、類似度計算部３２は、レイヤごとのブロックごとに特徴量距離を求める。即ち、特徴量抽出部２４は、クエリ画像を構成する複数のレイヤごとのブロックから抽出された特徴量と、対象画像においる、対応するレイヤの対応するブロックから抽出された特徴量との特徴量距離を求める。
【００７７】
図７を参照して、レイヤごとの特徴量距離について説明する。
【００７８】
類似度計算部３２は、クエリ画像の第１のレイヤから抽出される特徴量Signatures１1と、対象画像の第１のレイヤから抽出される特徴量Signatures１1とに基づいて、第１のレイヤ間の特徴量距離Cost1を求める。
【００７９】
また、類似度計算部３２は、クエリ画像の第２のレイヤの４つのブロックから抽出される特徴量Signatures２1乃至２4と、対象画像の第２のレイヤから抽出される特徴量Signatures２1乃至２4に基づいて、それぞれ同じ位置にあるブロックどうしからブロック間の特徴量距離を求め、それらのブロック間の特徴量距離から、第２のレイヤ間の特徴量距離Cost2を求める。
【００８０】
また、類似度計算部３２は、クエリ画像の第３のレイヤの１６のブロックから抽出される特徴量Signatures３1乃至３16と、対象画像の第３のレイヤから抽出される特徴量Signatures３1乃至３16に基づいて、それぞれ同じ位置にあるブロックどうしからブロック間の特徴量距離を求め、それらのブロック間の特徴量距離から、第３のレイヤ間の特徴量距離Cost3を求める。
【００８１】
そして、類似度計算部３２は、レイヤ間の特徴量距離Cost1乃至Cost3から、クエリ画像と、対象画像との画像間特徴量距離Total Costを求める。
【００８２】
具体的には、類似度計算部３２は、次の式（６）を演算し、レイヤ間の特徴量距離Cost1乃至Cost3を算出する。
【００８３】
【数６】
2009059133.tif 000008
・・・（６）
【００８４】
ただし、式（６）において、P_Signaturesは、対象画像から抽出される特徴量であり、Q_Signaturesは、クエリ画像から抽出される特徴量であり、ｔは、特徴量が抽出されるブロックを特定するための変数である。
【００８５】
そして、類似度計算部３２は、あらかじめ設定されている重みＷ１乃至Ｗ３により、レイヤ間の特徴量距離Cost1乃至Cost3を重み付け加算、即ち、次の式（７）を算出することにより、画像間特徴量距離Total Costを算出する。
【００８６】
【数７】
2009059133.tif 000009
・・・（７）
【００８７】
なお、重みＷ１乃至Ｗ３は、より多くのブロックに分割されているレイヤが、画像の局所的な色情報の画像全体での分布を表していることより、多くのブロックに分割されているレイヤの重みが重くなるように設定されている。即ち、重みＷ１乃至Ｗ３は、Ｗ１＜Ｗ２＜Ｗ３の関係を満たすように設定されている。重みＷ１乃至Ｗ３は、例えば、１／２L（Ｌ＝1〜３）に設定される。
【００８８】
このようにして求められる画像間特徴量距離Total Costが、画像どうしの類似度であり、画像間特徴量距離Total Costが小さい値（距離が短い）であれば、類似度が高いということになる。
【００８９】
そして、類似度計算部３２は、クエリ画像と、記憶部１３に蓄積されている全ての画像（クエリ画像を除く）との画像間特徴量距離Total Cost、即ち、類似度を求める。さらに、類似度計算部３２は、類似度が高い順に、即ち、画像間特徴量距離Total Costが小さな順に、その画像間特徴量距離Total Costが算出された画像を、記憶部１３から読み出して、結果表示部３３に供給し、検索結果として表示させる。
【００９０】
また、類似度計算部３２は、所定の閾値以下の画像間特徴量距離Total Costが算出された画像のみを、結果表示部３３に供給したり、画像間特徴量距離Total Costの小さな順に所定の枚数だけの画像を、結果表示部３３に供給したりしてもよい。
【００９１】
次に、図８は、図３の画像検索装置１１が画像を検索する処理を説明するフローチャートである。
【００９２】
例えば、ユーザが、クエリ画像を指定すると処理が開始され、ステップＳ１１において、画像選択部３１は、クエリ画像に対応付けられている特徴量であるシグニチャを記憶部１３のデータベースから読み出して、類似度計算部３２に供給する。
【００９３】
ステップＳ１１の処理後、処理はステップＳ１２に進み、類似度計算部３２は、記憶部１３のデータベースに登録されている任意の画像を、クエリ画像との類似度を算出する対象とする。そして、類似度計算部３２は、クエリ画像を構成する各レイヤの各ブロックから抽出されたシグニチャと、対象画像の各レイヤの各ブロックから抽出されたシグニチャから、ブロック間の特徴量距離としてＥＭＤを算出し、処理はステップＳ１３に進む。
【００９４】
ステップＳ１３において、類似度計算部３２は、ステップＳ１２で算出されたブロック間の特徴量距離に基づいて、クエリ画像を構成する各レイヤと、対象画像を構成する各レイヤとのレイヤ間の特徴量距離を算出し、レイヤ間の特徴量距離から画像間特徴量距離、即ち、類似度を算出する。
【００９５】
ステップＳ１３の処理後、処理はステップＳ１４に進み、類似度計算部３２は、記憶部１３のデータベースに登録されている全ての画像（クエリ画像を除く）を対象画像としたか否かを判定する。
【００９６】
ステップＳ１４において、類似度計算部３２が、記憶部１３のデータベースに登録されている全ての画像を対象画像としていないと判定した場合、処理はステップＳ１２に戻り、類似度計算部３２は、まだ対象画像とされていない画像を新たな対象画像として、以下、同様の処理が繰り返される。
【００９７】
一方、ステップＳ１４において、類似度計算部３２が、記憶部１３のデータベースに登録されている全ての画像を対象画像としたと判定した場合、処理はステップＳ１５に進む。
【００９８】
ステップＳ１５において、類似度計算部３２は、ステップＳ１３で高い類似度が算出された順に、その類似度が算出された画像を記憶部１３のデータベースから読み出して結果表示部３３に供給する。結果表示部３３は、類似度計算部３２からの画像を検索結果として表示し、処理は終了される。
【００９９】
以上のように、画像検索装置１１では、画像を構成する各レイヤのブロックごとに求められる特徴量距離に基づいて類似度が求められるので、正確な類似度を算出することができる。
【０１００】
即ち、画像を構成する各レイヤは、それぞれ異なる分割数のブロックで分割されているので、それぞれのレイヤにより、画像の全体的な特徴量から、画像の詳細な特徴量までを得ることができ、これらの特徴量を組み合わせることで、類似度を効果的に求めることができ、従来よりも正確な類似度を算出することができる。
【０１０１】
また、画像の特徴量としてシグニチャを用いることで、例えば、色の範囲などが固定的なヒストグラムを用いる場合よりも、より柔軟に、効果的に特徴量を表現することができる。また、上述したように、不要なメモリを確保する必要がなく、効率的に類似度を求めることができる。
【０１０２】
さらに、例えば、セグメンテーション処理により画像を複数のセグメントに分割して類似度を求める場合においては、画像の種類（また、撮像装置や撮像環境など）によってセグメンテーション処理の結果が不安定であり、検索結果も不安定であった。これに対し、上述したように画像を所定のブロックで分割する場合においては、それぞれのブロックは固定的であるので、ブロックごとに抽出される特徴量が不安定になることがなく、これにより、画像の種類によらずロバストな検索結果を得ることができる。
【０１０３】
また、画像を分割するブロックは、例えば、図５に示したように、それぞれのブロックが隣接するように設けられているが、画像を分割するブロックどうしがオーバラップするように設けられていてもよい。
【０１０４】
図９は、ブロックがオーバラップするように設けられた画像を説明する図である。
【０１０５】
図９には、画像の面積の１／４の大きさ（図５の第２のレイヤのブロックと同じ大きさ）のブロックが、オーバラップするように９箇所に設けられた画像が示されている。図９の上側の９つの画像には、画像に設けられるブロックが１つずつ示されており、図に示すようなブロック１乃至９が画像に設けられている。
【０１０６】
また、図９の下側の画像には、ブロック１乃至９が重ね合わされて示されている。例えば、この画像においてハッチングが施されている部分が、ブロック１とブロック２とがオーバラップしている部分であり、ブロックの大きさの半分がオーバラップしている。
【０１０７】
このように、オーバラップするようにブロックを設け、特徴量抽出部２４が、それぞれのブロックから特徴量を抽出することで、色情報の分布をより詳細に取得することができる。そして、類似度計算部３２は、このようにオーバラップするように設けられたブロックから抽出された特徴量を用いて、クエリ画像と対象画像とのブロック間の特徴量距離を求め、クエリ画像と対象画像との類似度を求めることで、より正確な類似度を求めることができる。
【０１０８】
なお、類似度計算部３２は、クエリ画像と対象画像とのブロック間の特徴量距離を求めるにあたり、同一の位置にあるブロックどうしだけでなく、クエリ画像の特徴量距離を求めるブロックの近傍にある対象画像の複数のブロックを用いてもよい。
【０１０９】
図１０を参照して、所定のブロックと、所定のブロックの近傍にあるブロックとのブロック間の特徴量距離について説明する。
【０１１０】
図１０の上側には、クエリ画像が示されており、ブロック間の特徴量距離を求めるブロックが破線で示されている。
【０１１１】
図１０の下側には、対象画像が示されており、対象画像では、クエリ画像の特徴量距離を求めるブロックと同一の位置にあるブロックと、そのブロックとオーバラップするように右側および下側に設けられているブロックとが破線で示されている。
【０１１２】
このように、類似度計算部３２は、クエリ画像の所定のブロックと、所定のブロックの近傍の対象画像の複数のブロックとのブロック間の特徴量距離を求め、それらの特徴量距離の中から、最も小さい値の特徴量距離を、クエリ画像の所定のブロックに対する特徴量距離と決定する。
【０１１３】
これにより、クエリ画像と対象画像とに類似する物体が映っていて、クエリ画像と対象画像とで、物体が映っている位置がずれている場合でも、類似度計算部３２は、物体が類似しているので、高い類似度を算出する。
【０１１４】
即ち、例えば、クエリ画像と対象画像とに類似する物体が映っていても、クエリ画像と対象画像とで、物体が映っている位置がずれている場合に、同一の位置にあるブロックどうしだけからブロック間の特徴量距離を求めたとき、被写体の位置のずれにより、ブロック間の特徴量距離は大きな値となり、類似度が低くなる。即ち、その物体が映っている位置によって、類似度が低くなってしまう。
【０１１５】
そこで、クエリ画像の所定のブロックと、所定のブロックの近傍の対象画像の複数のブロックとのブロック間の特徴量距離を求め、それらの特徴量距離の中から、最も小さい値の特徴量距離を、クエリ画像の所定のブロックに対する特徴量距離とすることで、類似する物体が映っている位置がずれていた場合、そのずれている方向にある近傍のブロックとの特徴量距離が小さくなり、これにより、類似度が高くなる。即ち、類似する物体が映っている画像どうしの類似度を、より正確に求めることができる。
【０１１６】
次に、上述した式（７）において用いられる重みの決定方法について説明する。
【０１１７】
例えば、図１１に示すように、図３の画像検索装置１１の記憶部１３に、評価用データベースを記憶させておくことができる。評価用データベースには、重みを決定するために用いられる画像が、類似している画像どうしで組み合わされた評価用類似画像セット（図１１では、３つの評価用類似画像セット１乃至３）が登録されている。評価用類似画像セットにおける画像の組み合わせは、重みを決定する操作を行うユーザにより行われ、重みの決定には、複数の評価用類似画像セットが用いられる。
【０１１８】
図１２を参照して、重みの決定方法について説明する。
【０１１９】
まず、ある評価用類似画像セット（relevant）のうちの１つの画像をクエリ画像とし、評価用データベースに登録されている全ての画像を対象画像として、所定の重みで検索を行い、その評価用類似画像セットと、検索の結果、クエリ画像に類似しているとされた画像のセット（retrieved）とのオーバラップを測定する。
【０１２０】
そして、適宜、重みを変更して、オーバラップの測定を繰り返し、オーバラップが最も大きくなったときの重みが、適切な重みとして決定される。
【０１２１】
即ち、評価用類似画像セットは、重みを決定する操作を行うユーザにより類似しているとされたものであるので、検索結果として得られる画像のセットと、この評価用類似画像セットとのオーバラップが大きいということは、検索結果は、ユーザが類似しているとした感覚に近いものとなっている。従って、オーバラップが最大になったときの重みにより、クエリ画像に類似する画像を検索することができているので、その重みは適切なものであるとすることができる。
【０１２２】
このような重みの変更と、オーバラップの測定とを、評価用類似画像セットの中のクエリ画像を替えて行ったり、複数の評価用類似画像セットを用いて行うことで、様々な画像に対して正確な類似度を算出するための適切な重みを決定することができる。
【０１２３】
複数の評価用類似画像セットの複数の画像をクエリ画像として測定されるオーバラップの中から、最適なオーバラップを決定するのには、再現率・適合率曲線を用いることができる。
【０１２４】
図１３は、再現率・適合率曲線を示す図である。
【０１２５】
再現率・適合率曲線において、横軸に示されている再現率（Recall）と、縦軸に示されている適合率（Precision）は、次の式（８）により求めることができる。
【０１２６】
【数８】
2009059133.tif 000010
・・・（８）
【０１２７】
ただし、式（８）において、relevant documentsは、評価用類似画像セットに含まれている画像の数であり、retrieved documentsは、検索結果として得られる画像のセットに含まれている画像の数である。
【０１２８】
図１３において、再現率・適合率曲線よりも下側のハッチングされている領域（Area under the curve）の面積は、ある重みにおけるオーバラップの評価を表しており、重みを変更して、この領域の面積が最も大きくなったときに、その重みが、適切なものであるとして決定される。なお、重みは、式（７）で説明したように、例えば、重みＷ１乃至Ｗ３が、Ｗ１＜Ｗ２＜Ｗ３の関係を満たすように変更される。
【０１２９】
このようにして決定される重みを用いて類似度を求めることで、ユーザの経験に基づいて決定される重みを用いて類似度を求める場合よりも、より正確に類似度を求めることができる。
【０１３０】
なお、本実施の形態では、記憶部１３のデータベースに登録されている全ての画像と、クエリ画像との類似度を算出しているが、一部の画像との類似度を算出するだけで、検索を行うことができる。例えば、記憶部１３のデータベースに、画像と対応付けて、あらかじめ画像から求められたＥＭＤを登録しておき、ＥＭＤに基づくツリー構造でデータベースを構築することで、クエリ画像のＥＭＤに近い画像だけを対象画像として、類似度を求めるようにすることができ、効率よく処理を行うことができる。
【０１３１】
また、画像検索装置１１では、画像選択部３１が、記憶部１３からクエリ画像を選択しているが、例えば、ユーザが、画像検索装置１１を操作して、カメラ２１を撮像すると、その画像をクエリ画像として、記憶部１３の画像との類似度を算出するようにしてもよい。また、ユーザは、図示しない通信部やメディアを介して、画像検索装置１１にクエリ画像を入力することもできる。
【０１３２】
また、図３の画像検索装置１１には、データベース構築部１２と画像検索部１４が設けられているが、データベース構築部１２と画像検索部１４は、それぞれ別の装置に設けられていてもよい。即ち、データベースを構築する装置と、画像を検索する装置とが異なる装置であってもよい。さらに、データベースを記憶する記憶部１３も、画像検索部１４と同じ装置に設けられている必要はなく、例えば、画像検索部１４が、ネットワークを介して、記憶部１３にアクセスするようにしてもよい。
【０１３３】
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１３４】
図１４は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【０１３５】
コンピュータにおいて、CPU（Central Processing Unit）１０１，ROM（Read Only Memory）１０２，RAM（Random Access Memory）１０３は、バス１０４により相互に接続されている。
【０１３６】
バス１０４には、さらに、入出力インタフェース１０５が接続されている。入出力インタフェース１０５には、キーボード、マウス、マイクロホンなどよりなる入力部１０６、ディスプレイ、スピーカなどよりなる出力部１０７、ハードディスクや不揮発性のメモリなどよりなる記憶部１０８、ネットワークインタフェースなどよりなる通信部１０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア１１１を駆動するドライブ１１０が接続されている。
【０１３７】
以上のように構成されるコンピュータでは、CPU１０１が、例えば、記憶部１０８に記憶されているプログラムを、入出力インタフェース１０５及びバス１０４を介して、RAM１０３にロードして実行することにより、上述した一連の処理が行われる。
【０１３８】
コンピュータ（CPU１０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア１１１に記録して、あるいは、ローカルエリアネットワーク、インタネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０１３９】
そして、プログラムは、リムーバブルメディア１１１をドライブ１１０に装着することにより、入出力インタフェース１０５を介して、記憶部１０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１０９で受信し、記憶部１０８にインストールすることができる。その他、プログラムは、ROM１０２や記憶部１０８に、あらかじめインストールしておくことができる。
【０１４０】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
【０１４１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１４２】
【図１】画像の全体的な色情報を用いて類似度を算出する方法を説明する図である。
【図２】セグメンテーション処理を説明する図である。
【図３】本発明を適用した画像検索装置の一実施の形態の構成例を示すブロック図である。
【図４】ヒストグラムおよびシグニチャを説明する図である。
【図５】画像のレイヤおよびブロックの構造を示す図である。
【図６】ヒストグラム間距離計算方法を説明する図である。
【図７】レイヤごとの特徴量距離を説明する図である。
【図８】画像検索装置１１が画像を検索する処理を説明するフローチャートである。
【図９】ブロックがオーバラップするように設けられた画像を説明する図である。
【図１０】所定のブロックと、所定のブロックの近傍にあるブロックとのブロック間の特徴量距離を説明する図である。
【図１１】評価用データベースを説明する図である。
【図１２】重みの決定方法を説明する図である。
【図１３】再現率・適合率曲線を示す図である。
【図１４】本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。
【符号の説明】
【０１４３】
１１  画像検索装置，  １２  データベース構築部，  １３  記憶部，  １４  画像検索部，  ２１  カメラ，  ２２  フレームメモリ，  ２３  色量子化部，  ２４  特徴量抽出部，  ３１  画像選択部，  ３２  類似度計算部，  ３３  結果表示部
【図１】
2009059133.tif 000011
【図２】
2009059133.tif 000012
【図３】
2009059133.tif 000013
【図４】
2009059133.tif 000014
【図５】
2009059133.tif 000015
【図６】
2009059133.tif 000016
【図７】
2009059133.tif 000017
【図８】
2009059133.tif 000018
【図９】
2009059133.tif 000019
【図１０】
2009059133.tif 000020
【図１１】
2009059133.tif 000021
【図１２】
2009059133.tif 000022
【図１３】
2009059133.tif 000023
【図１４】
2009059133.tif 000024