(57)【要約】【課題】クエリ画像と類似するデータベース内の画像の部分画像を検索することができる画像検索システムを提供する。【解決手段】特徴ベクトルの集合を所定の数のクラスにクラスタリングし、それぞれのクラスの代表特徴ベクトルを算出し、データベースの画像の各点において算出された特徴ベクトルに対して最近傍の代表特徴ベクトルを検出し、各画像の各点に代表特徴ベクトルが属するクラス名を付したラベル画像を作成し、前記各画像の各点におけるラベル画像の累積ヒストグラムを算出する累積ヒストグラム算出すること等により解決する。【選択図】図１
2017188063.tif 000002
【特許請求の範囲】
【請求項１】
多数の画像を蓄積したデータベースと、
前記データベースの画像の各点において局所的な特徴ベクトルを算出する特徴ベクトル算出部と、
前記特徴ベクトルの集合を所定の数のクラスにクラスタリングし、それぞれのクラスの代表特徴ベクトルを算出し、前記データベースに該代表特徴ベクトルを登録する代表特徴ベクトル算出部と、
前記データベースの画像の各点において算出された特徴ベクトルに対して最近傍の代表特徴ベクトルを検出し、各画像の各点に代表特徴ベクトルが属するクラス名を付したラベル画像を作成するラベル画像作成部と、
前記各画像の各点におけるラベル画像の累積ヒストグラムを算出する累積ヒストグラム算出部と、
前記データベース内の画像と該画像に対して算出されたラベル画像の累積ヒストグラムとを関連づけて前記データベースに登録する学習部と、を備え、
前記特徴ベクトル算出部は、クエリ画像の各点おいても局所的な特徴ベクトルを算出し、
前記ラベル画像作成部は、前記クエリ画像の各点において算出された特徴ベクトルに対して最近傍の前記データベースに登録された代表特徴ベクトルを検出し、該クエリ画像の各点に代表特徴ベクトルが属するクラス名を付したラベル画像を作成し、
前記クエリ画像により算出されたラベル画像のヒストグラムを算出するクエリ画像ヒストグラム算出部と、
前記データベース内の画像と関連づけてデータベースに登録した累積ヒストグラムに基づいて、該画像の任意の部分矩形領域についてヒストグラムを算出する矩形領域ヒストグラム算出部と、
前記データベース内の画像に対して算出された矩形領域ヒストグラムとクエリ画像のヒストグラムの類似度をそれぞれ算出し、該画像に含まれる矩形領域ヒストグラムとクエリ画像のヒストグラムの類似度のうち、最大の類似度を出力する類似度算出部と
クエリ画像とデータベースに含まれる各画像の類似度を算出し、類似度が高い順に所定の個数提示する順位付部と、
を備えることを特徴とする画像検索装置。
【請求項２】
前記局所的な特徴ベクトルは回転不変の特徴ベクトルからなることを特徴とする請求項１記載の画像検索装置。
【請求項３】
前記特徴ベクトル算出部は、
画像に対してガウシアンフィルタを施すガウシアンフィルタ部と、
ガウシアンフィルタ処理後の画像にx方向の微分フィルタとｙ方向の微分フィルタを漸次的に所定の回数施す漸次的微分フィルタ部と、
漸次的微分フィルタの各出力を画素ごとに所定の演算処理により複数の回転不変な局所的特徴ベクトルを算出する回転不変ベクトル算出部と、
から構成されることを特徴とする請求項１又は２記載の画像検索装置。
【請求項４】
多数の画像を蓄積したデータベースを有し、
前記データベースの画像の各点において局所的な特徴ベクトルを算出する特徴ベクトル算出ステップと、
前記特徴ベクトルの集合を所定の数のクラスにクラスタリングし、それぞれのクラスの代表特徴ベクトルを算出し、前記データベースに該代表特徴ベクトルを登録する代表特徴ベクトル算出ステップと、
前記データベースの画像の各点において算出された特徴ベクトルに対して最近傍の代表特徴ベクトルを検出し、各画像の各点に代表特徴ベクトルが属するクラス名を付したラベル画像を作成するラベル画像作成ステップと、
前記各画像の各点におけるラベル画像の累積ヒストグラムを算出する累積ヒストグラム算出ステップと、
前記データベース内の画像と該画像に対して算出されたラベル画像の累積ヒストグラムとを関連づけて前記データベースに登録する学習ステップと、
クエリ画像の各点おいて局所的な特徴ベクトルを算出するクエリ画像特徴ベクトル算出ステップと、
前記クエリ画像の各点において算出された特徴ベクトルに対して最近傍の前記データベースに登録された代表特徴ベクトルを検出し、該クエリ画像の各点に代表特徴ベクトルが属するクラス名を付したラベル画像を作成するクエリ画像ラベル画像作成ステップと、
前記クエリ画像により算出されたラベル画像のヒストグラムを算出するクエリ画像ヒストグラム算出ステップと、
前記データベース内の画像と関連づけてデータベースに登録した累積ヒストグラムに基づいて、該画像の任意の部分矩形領域についてヒストグラムを算出する矩形領域ヒストグラム算出ステップと、
前記データベース内の画像に対して算出された矩形領域ヒストグラムとクエリ画像のヒストグラムの類似度をそれぞれ算出し、該画像に含まれる矩形領域ヒストグラムとクエリ画像のヒストグラムの類似度のうち、最大の類似度を出力する類似度算出ステップと
クエリ画像とデータベースに含まれる各画像の類似度を算出し、類似度が高い順に所定の個数提示する順位付ステップと、
を含む画像検索方法。
【請求項５】
前記局所的な特徴ベクトルは回転不変の特徴ベクトルからなることを特徴とする請求項４記載の画像検索方法。
【請求項６】
前記特徴ベクトル算出ステップは、
画像に対してガウシアンフィルタを施すガウシアンフィルタステップと、
ガウシアンフィルタ処理後の画像にx方向の微分フィルタとｙ方向の微分フィルタを漸次的に所定の回数施す漸次的微分フィルタステップと、
漸次的微分フィルタの各出力を画素ごとに所定の演算処理により複数の回転不変な局所的特徴ベクトルを算出する回転不変ベクトル算出ステップと、
から構成されることを特徴とする請求項４又は５記載の画像検索方法。
【請求項７】
請求項１〜３のいずれか１項に記載の画像検索装置を、コンピュータにより実現させる画像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像検索システム、画像検索方法、及び画像検索用プログラムに関し、詳しくは、利用者が提示した例示画像と類似した部分を含む画像をデータベースから幅広く検索することができる画像検索システム、画像検索方法、および画像検索用プログラムに関する。
【背景技術】
【０００２】
従来、画像で画像を検索する類似画像検索としては、様々な手法が提案されており、例えば、特許文献１や特許文献２などのものがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１１３４２９号公報
【特許文献２】特開２０１４−０９２９０９号公報
【特許文献３】特開２０１２−２２６４２９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来の手法は、利用者が提示された画像と全体として類似した画像をデータベースから検索できるが、利用者が提示した画像を部分画像として持つような画像は検索できないという問題点がある。この問題に対して、特許文献３はデータベース内のそれぞれの画像において顕著性の高いところを検出することで検索と対象となる可能性がある部分領域を予め求めておくことでこの問題を解決しようとしている。しかし、顕著性が高いことと検索の対象となり得るということが必ずしも一致しないという問題がある。
また、従来の手法ではデータベースに含まれる画像に利用者が提示した画像が部分として含まれるが、部分画像の向きが異なる時には適切に検索できなかった。
本発明に係る画像検索システム、画像検索方法、及び画像検索用プログラムは、画像の顕著性の有無に関わらず、利用者が提示した画像を部分画像として持つような画像を検索できる技術を提案することを目的とする。また、部分画像の向きが異なる時にも適切に検索できるようにすることを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像検索システムは、
多数の画像を蓄積したデータベースと、
前記データベースの画像の各点において局所的な特徴ベクトルを算出する特徴ベクトル算出部と、
前記特徴ベクトルの集合を所定の数のクラスにクラスタリングし、それぞれのクラスの代表特徴ベクトルを算出し、前記データベースに該代表特徴ベクトルを登録する代表特徴ベクトル算出部と、
前記データベースの画像の各点において算出された特徴ベクトルに対して最近傍の代表特徴ベクトルを検出し、各画像の各点に代表特徴ベクトルが属するクラス名を付したラベル画像を作成するラベル画像作成部と、
前記各画像の各点におけるラベル画像の累積ヒストグラムを算出する累積ヒストグラム算出部と、
前記データベース内の画像と該画像に対して算出されたラベル画像の累積ヒストグラムとを関連づけて前記データベースに登録する学習部と、を備え、
前記特徴ベクトル算出部は、クエリ画像の各点おいても局所的な特徴ベクトルを算出し、
前記ラベル画像作成部は、前記クエリ画像の各点において算出された特徴ベクトルに対して最近傍の前記データベースに登録された代表特徴ベクトルを検出し、該クエリ画像の各点に代表特徴ベクトルが属するクラス名を付したラベル画像を作成し、
前記クエリ画像により算出されたラベル画像のヒストグラムを算出するクエリ画像ヒストグラム算出部と、
前記データベース内の画像と関連づけてデータベースに登録した累積ヒストグラムに基づいて、該画像の任意の部分矩形領域についてヒストグラムを算出する矩形領域ヒストグラム算出部と、
前記データベース内の画像に対して算出された矩形領域ヒストグラムとクエリ画像のヒストグラムの類似度をそれぞれ算出し、該画像に含まれる矩形領域ヒストグラムとクエリ画像のヒストグラムの類似度のうち、最大の類似度を出力する類似度算出部と
クエリ画像とデータベースに含まれる各画像の類似度を算出し、類似度が高い順に所定の個数提示する順位付部と、を備えた。
【０００６】
また、好ましくは、前記画像検索システムにおける前記局所的な特徴ベクトルは回転不変なことである。
【０００７】
また、好ましくは、前記特徴ベクトル算出部は、
画像に対してガウシアンフィルタを施すガウシアンフィルタ部と、
ガウシアンフィルタ処理後の画像にx方向の微分フィルタとｙ方向の微分フィルタを漸次的に所定の回数施す漸次的微分フィルタ部と、
漸次的微分フィルタの各出力を画素ごとに所定の演算処理により複数の回転不変な局所的特徴ベクトルを算出する回転不変ベクトル算出部と、
から構成されることである。
【０００８】
また、本発明に係る画像検索方法は、
多数の画像を蓄積したデータベースを有し、
前記データベースの画像の各点において局所的な特徴ベクトルを算出する特徴ベクトル算出ステップと、
前記特徴ベクトルの集合を所定の数のクラスにクラスタリングし、それぞれのクラスの代表特徴ベクトルを算出する代表特徴ベクトル算出ステップと、
前記データベースの画像の各点において算出された特徴ベクトルに対して最近傍の代表特徴ベクトルを検出し、各画像の各点に代表特徴ベクトルが属するクラス名を付したラベル画像を作成するラベル画像作成ステップと、
前記各画像の各点におけるラベル画像の累積ヒストグラムを算出する累積ヒストグラム算出ステップと、
前記データベース内の画像と該画像に対して算出されたラベル画像の累積ヒストグラムとを関連づけて前記データベースに登録する学習ステップと、
クエリ画像の各点おいて局所的な特徴ベクトルを算出し、該特徴ベクトルに対して最近傍の前記代表特徴ベクトルを検出し、該クエリ画像の各点に代表特徴ベクトルが属するクラス名を付したラベル画像を作成し、該ラベル画像のヒストグラムを算出するクエリ画像ヒストグラム算出ステップと、
前記データベース内の画像と関連づけてデータベースに登録した累積ヒストグラムに基づいて、該画像の任意の部分矩形領域についてヒストグラムを算出する矩形領域ヒストグラム算出ステップと、
前記データベース内の画像に対して算出された矩形領域ヒストグラムとクエリ画像のヒストグラムの類似度をそれぞれ算出し、該画像に含まれる矩形領域ヒストグラムとクエリ画像のヒストグラムの類似度のうち、最大の類似度を出力する類似度算出ステップと
クエリ画像とデータベースに含まれる各画像の類似度を算出し、類似度が高い順に所定の個数提示する順位付ステップと、を含むものである。
【０００９】
また、好ましくは、前記画像検索方法における前記局所的な特徴ベクトルは回転不変なことである。
【００１０】
また、好ましくは、前記特徴ベクトル算出ステップは、
画像に対してガウシアンフィルタを施すガウシアンフィルタステップと、
ガウシアンフィルタ処理後の画像にx方向の微分フィルタとｙ方向の微分フィルタを漸次的に所定の回数施す漸次的微分フィルタステップと、
漸次的微分フィルタの各出力を画素ごとに所定の演算処理により複数の回転不変な局所的特徴ベクトルを算出する回転不変ベクトル算出ステップと、
から構成されることである
【００１１】
そして、本発明に係る画像検索プログラムは、
上記記載の画像検索装置を、コンピュータにより実現させるものである。
【発明の効果】
【００１２】
本発明に係る画像検索システム、画像検索方法、及び画像検索用プログラムは、データベース内の画像の任意の矩形領域についてヒストグラムを算出し、クエリ画像のヒストグラムの類似度を算出するため、クエリ画像と類似するデータベース内の画像の部分画像を検索することができる。
【００１３】
さらに、局所的な特徴ベクトルが回転不変であれば、クエリ画像とデータベース内の部分画像が回転して類似するときは類似度が高くなり、より直観に近い類似画像を検索することができる。
【００１４】
また、具体的には、上述した漸次的微分フィルタを演算処理すれば、回転不変な局所的特徴ベクトルを算出できるため、部分画像の向きが異なるときにも適切に検索できるようになる。
【図面の簡単な説明】
【００１５】
【図１】本発明に係る画像検索システムの第一実施の形態のブロック図である。
【図２】矩形領域ヒストグラム算出を示す図である。
【図３】本発明に係る画像検索システムの第二実施の形態のブロック図である。
【図４】ウィーン図形分類表の説明図である。
【図５】分類コード指示部の説明図である。
【図６】特徴ベクトル算出部の構成例を表すブロック図である。
【発明を実施するための形態】
【００１６】
本発明に係る画像検索システムの構成を以下に説明する。
【００１７】
図１は、本発明に係る画像検索システムの実施の形態のブロック図を示す。
【００１８】
画像検索システム１は、例えば、パーソナルコンピュータ（パソコン）によって構成されており、主として各構成要素の動作を制御する中央処理装置（ＣＰＵ）と、装置の制御プログラムが格納されたり、プログラム実行時の作業領域となる主メモリと、液晶ディスプレイ、液晶ディスプレイ等のモニタ装置の表示を制御するグラフィックボードと、ネットワーク網と接続される通信インターフェース（通信Ｉ／Ｆ）と、パソコンのオペレーティングシステム（ＯＳ）、パソコンに接続された周辺機器のデバイスドライバ、本発明に係る画像検索システム１を含む各種のアプリケーションソフト等が格納されるハードディスク装置と、ＣＤ−ＲＯＭドライブと、キーボードのキー操作を検出して指示入力としてＣＰＵに出力するキーボードコントローラと、位置入力装置としてのマウスの状態を検出してモニタ装置上のマウスポインタの位置やマウスの状態等の信号をＣＰＵに出力するマウスコントローラとから構成されている。
【００１９】
なお、上記構成のパソコンは、ハードディスク装置に格納されている、本発明に係る画像検索システム１を除いて周知のものであるため、各構成要素の詳細な説明については省略する。
【００２０】
本発明に係る画像検索システム１には学習部２０があり、そこではあらかじめデータベース１０のそれぞれの画像１１に対してその画像１１を特徴付ける累積ヒストグラム（定義は後述）を対応させる。また、検索時にクエリ画像４０を特徴付けるヒストグラムを作成するために必要な代表特徴の組みを作成する。詳細は以下の通りである。
【００２１】
学習部２０ではまず、データベース１０内のそれぞれの画像１１の各画素においてその画素を中心とするｋ×ｋの局所領域の特徴を表す特徴ベクトルを算出する特徴ベクトル算出部２１を設ける。特徴ベクトルの算出法は多種あるが、ここで、その一例を示す。
あらかじめｋ×ｋの大きさを持つ特徴パターンを所定の個数（たとえばN個）用意しておく。それをf1(u, v), f2(u, v), …, fN(u,v)とする。ここでkは奇数であるものとし、u,vは-(k-1)/2 から(k-1)/2まで動く整数である。
これらの特徴パターンはたとえば、あらかじめデータベース１０内の多数の画像１１内の多数のｋ×ｋの局所領域の画素値からなる多数のｋ×ｋ次元のベクトルに対して主成分分析を施し、固有値が大きいほうからN個の固有ベクトルを抽出することによって得られる。
別の例としては、Hp(u)をエルミート多項式であるとして、
fi(u,v) = 1/√(2p+qp!q!π)Hp(u) Hq(v)exp(-(u2+v2)/2)
のようにして得られる。ここで、p, qはiに応じて定まる整数である。
これらの特徴パターンを使って特徴ベクトルのi番目の成分は画像をI(x, y)として
vi(x, y) = Σu,vI(x＋u, y + v)fi(u, v)
によって得られる。
【００２２】
また、特徴ベクトル算出部２１は、図６のように構成することもできる。つまり、ガウシアンフィルタ部２１ａで入力された画像に対してガウシアンフィルタを施し、漸次的微分フィルタ部２１ｂでガウシアンフィルタ処理後の画像にx方向の微分フィルタとｙ方向の微分フィルタを漸次的に所定の回数施す。その後、回転不変ベクトル算出部２１ｃで、漸次的微分フィルタの各出力を画素ごとに所定の演算処理により複数の回転不変な局所的特徴ベクトルを算出することができる。
この構成は、クエリ画像４０からの入力に対する特徴ベクトル算出部２１においても、学習部２０内の特徴ベクトル算出部２１においても両方適用することができる。
【００２３】
具体的な回転不変な特徴ベクトルを算出する方法は下記に示す。
まず画像をexp(-(x2+y2)/2σ2)の形のガウシアンフィルタで平滑化する。結果をJ(x,y)とする。
T00(x,y)=J(x,y)によって、最初の特徴を表す画像T00(x,y)が得られる。
T10(x,y)=∂T00(x,y)/∂x = ∂J(x,y)/∂xによって２番目の特徴T10(x,y)が得られる。
T01(x,y)=∂T00(x,y)/∂y = ∂J(x,y)/∂yによって３番目の特徴T01(x,y)が得られる。
次に、さらに微分を繰り返すと
T20(x,y)=∂T10(x,y)/∂x = ∂2J(x,y)/∂x2 
T11(x,y)=∂T10(x,y)/∂y = ∂2J(x,y)/∂x∂y
T02(x,y)=∂T02(x,y)/∂y = ∂2J(x,y)/∂y2
これらは、改めて２階微分を行わずに、上記の結果に対してもう一度微分すれば得られるので効率的である。
【００２４】
さらに、微分を繰り返すと
T30(x,y)=∂T20(x,y)/∂x = ∂3J(x,y)/∂x3
T21(x,y)=∂T20(x,y)/∂y = ∂3J(x,y)/∂x2∂y
T12(x,y)=∂T11(x,y)/∂y = ∂3J(x,y)/∂x∂y2
T03(x,y)=∂T02(x,y)/∂y = ∂3J(x,y)/∂y3
このように漸次的に次々と微分していくことによっていくらでも必要な個数だけTpq(x,y)を構成できる。
これらの特徴はこのままでは回転不変ではない。しかし、式を少し変形して、
【数１】
2017188063.tif 000003
のようにすると、回転に対するふるまいの見通しが良くなり、これらから回転不変な特徴が以下のように構成できる（証明略）。
上記の式は虚数単位が含まれており複素数であるが、計算機上では実数部分と虚数部分に分けて計算すればよい。
ここで、以下の性質に注意する。
【数２】
2017188063.tif 000004
このとき、下記の数３は回転不変であることが証明できる。
【数３】
2017188063.tif 000005
以上のように、pとｑを一ずつ増やしながら漸次的に計算していくと、以下が得られる。
Q00 = T00
Q10 = T10 + iT01
Q20 = T20 − T02 + 2iT11
Q11 = T20 + T02
Q30 = T30 − 3T12 + i(3T21 − T03)
Q21 = T30 + T12 + i(T21 + T03)
Q40 = T40 − 6T22 + T04 + i(4T31 − 4T13)
Q31 = T40 − T04 + i(2T31 + 2T13)
Q22 = T40 + 2T22 + T04
Q50 = T50 − 10T32 + 5T14 + i(5T41 − 10T23 + T05)
Q41 = T50 − 2T32 − 3T14 + i(3T41 + 2T23 − T05)
Q32 = T50 + 2T32 + T14 + i(T41 + 2T23 + T05)
Q60 = T60 − 15T42 + 15T24 − T06 + i(6T51 − 20T33 + 6T15)
Q51 = T60 − 5T42 − 5T24 + T06 + i(4T51 − 4T15)
Q42 = T60 + T42 − T24 − T06 + i(2T51 + 4T33 + 2T15)
Q33 = T60 + 3T42 + 3T24 + T06
これらの画像は実数部と虚数部からなる複素数の画像であるが、n=p+q,l=p-q とおき、
【数４】
2017188063.tif 000006
とすると、Rnlは回転に不変である。
【００２５】
このようにして、データベース１０内のそれぞれの画像１１の各画素において特徴ベクトルが算出されるが、代表特徴ベクトル算出部２２ではこれらの特徴ベクトルからなる集合をＭ個のクラスにクラスタリングする。
ここでは代表的なクラスタリング手法であるk-means法によってクラスタリングする。ただし、本発明は、このクラスタリング手法に限定するものではない。その結果、それぞれのクラスに一つずつ代表特徴が定まり、M個の代表特徴ベクトルの組みが求まる。これをデータベース１０内に保存しておく。
【００２６】
次にラベル画像作成部２３ではデータベース１０内のそれぞれの画像１１のそれぞれの画素から特徴ベクトルを算出し、それとM個の代表特徴ベクトルのそれぞれとの距離を算出し、最近傍の代表特徴ベクトルを検出する。そして、その代表特徴ベクトルが属するクラスのクラス名をその画素に書き込む。
このようにして、各画素にクラス名が付されたラベル画像を作成するラベル画像作成部２３を設ける。ここでは簡単にクラス名として、0からM-1の整数を各画素に書き込むこととする。ラベル画像の各画素にはその画素を中心とするk×kの局所領域の特徴を示すラベル（0からM-1までの整数）が付されることになる。ラベル画像をL(x, y)で表すこととする。
【００２７】
図２は、矩形領域ヒストグラム算出を示す図である。
【００２８】
次に累積ヒストグラム算出部では以下で定まる累積ヒストグラムF(x, y; l)を算出する。
x = -1 または  y = -1 であるとき、F(x, y; l)  ＝０ 
そうでないとき、F(x, y; l) = “0 <= x’<= x, 0 <= y’ <= y である矩形領域においてL(x’, y’)= l  である画素の数。
たとえば、F(x2, y2; l)は図２で網掛けした領域においてラベルの値がｌである画素の数である。
データベース１０内のすべての画像を対象として、すべてのx, y, に対してF(x, y; l)を算出し、データベース１０に登録する。これを累積ヒストグラムと呼ぶことにする。画像の大きさがX×Yであるとき、F(X-1, Y-1;l)は画像全体におけるヒストグラムを表す。
ここまでが学習部２０における処理内容である。
【００２９】
次に、ユーザが検索したいクエリ画像４０として提示したとき、まず、特徴ベクトル算出部２１では学習部２０での処理と同様に、各画素においてその画素を中心とするk×ｋの局所領域の特徴を表す特徴ベクトルを算出する。
ラベル画像作成部２３では、学習部２０での処理と同様に、各画素における特徴ベクトルとデータベースに保持されているM個の代表特徴ベクトルのそれぞれとの距離を算出し、最近傍の代表特徴ベクトルを検出する。そして、その代表特徴ベクトルが属するクラスのクラス名をその画素に書き込む。
【００３０】
クエリ画像ヒストグラム算出部３０では、クエリ画像４０においてラベルの値がｌである画素の数を表すクエリ画像ヒストグラムHq(l)を算出する。
【００３１】
次に、矩形領域ヒストグラム算出部３１では、データベース１０内のそれぞれの画像において始点が(x1, y1)、終点が(x2, y2)である矩形領域におけるヒストグラムH(x1, y1; x2, y2; l)を次式で算出する（図２参照）。
H(x1, y1; x2, y2; l) 
= F(x2, y2; l) ‐ F(x2, y1 -1; l) - F(x1 -1, y2) + F(x1-1, y1-1; l)
【００３２】
類似度算出部３２では、クエリ画像ヒストグラムHq(l)と矩形領域ヒストグラムH(x1, y1; x2, y2; l)の類似度Rを以下のようにして算出する。
まず、クエリ画像４０の大きさをP×Qとして、クエリ画像４０の正規化ヒストグラム
ql ＝  Hq(l)/(P×Q)
を算出する。
【００３３】
次に、同様にデータベース１０内の画像の矩形領域の正規化ヒストグラム
pl = H(x1, y1; x2, y2; l)/((x2 - x1 + 1)×(y2 - y1 + 1))
を算出する。
【００３４】
qlとplはそれぞれすべてのｌで和をとると１となるので、確率を表すと考えることができる。qlはクェリー画像においてある画素のラベルがlである確率を表す。同様に、plはデータベース内の画像の始点が(x1, y1)、終点が(x2, y2)である矩形領域においてある画素のラベルがlである確率を表す。
qlとplの両者の確率が近ければ近いほどクエリー画像とデータベース内の画像の始点が(x1, y1)、終点が(x2, y2)である矩形領域の画像が似ていると考えられる。
一般に、二つの確率分布の相違の度合いはカルバック・ライブラの情報量で評価される。
D = Σl ql log(ql/pl)
矩形領域を様々に変化させて最も距離が近い矩形領域がクエリ画像に最も類似すると判断し、その時のDの逆数を類似度として算出する。二つのヒストグラムの類似度を評価する方法はこれに限られるものではない。
【００３５】
順位付部３３ではクエリ画像４０とデータベース１０に含まれる各画像の類似度を算出し、類似度が高い順に所定の個数提示する。
【００３６】
図３は、本発明に係る画像検索システムの第二実施の形態のブロック図を示す。また、図４は、ウィーン図形分類表の説明図を示す。さらに、図５は、分類コード指示部の説明図を示す。
【００３７】
第二の実施例は図形商標検索に応用する例である。図形商標検索はこれまでに登録された図形商標のデータベースから、ユーザが提示する新しい図形商標と類似したものを検索するものである。
【００３８】
一般に図形商標は複数の図形の組み合わせで作成されるので、ユーザはあらかじめ検索したい対象である部分図形を切り出してクエリ画像としてシステムに提示する。従って、第一の実施例の構成を基本とするが、それに領域指示を追加する。
また、図形商標のデータベースでは、図４に示すようにウィーン図形分類表のコードがそれぞれの図形に付与されている。
【００３９】
一般にそれぞれの図形には複数個のコードが付される。例えば、男性と女性の両者が図形に含まれていれば、”男性”のコードも”女性”のコードも付く。円の中に、星があれば”円”のコードも”星”のコードも付く。一つの図形要素が複数のコードを持つこともある。たとえは、太陽を表す図形は”太陽”でもあるし”円”でもある。ある図形にあるコードが付けられたとき、その図形がそのコードが指し示す要素図形（部分図形）を含んでいることを意味する。
もし、検索時に分類コードが既知であれば、データベース１０内のすべての画像１１を対象として類似したものを探す必要はなく、その分類コードが付与されている画像だけを対象とすれば良い。
そこで、本実施例では新たに分類コード指示も追加し、そこで指示された分類コードを持つ画像だけを対象にするようにした。
図３において、領域指示部５１はクエリ画像４０から図５に示すように検索したい部分図形の領域を指示する。
また、分類コード指示部５２ではその部分図形に対応する分類コード（図５の例では、3.9.1「魚、魚のような形の動物」）を指示する。
【００４０】
以上のように、本発明の画像検索システムは、従来の方法と比べ、クエリ画像と類似するデータベース内の画像の部分画像を検索することができる。
【符号の説明】
【００４１】
１            画像検索システム
１０            データベース
１１            画像
１２            代表特徴ベクトルの組
１３            累積ヒストグラム
２０            学習部
２１            特徴ベクトル算出部
２２            代表特徴ベクトル算出部
２３            ラベル画像作成部
２４            累積ヒストグラム算出部
３０            クエリ画像ヒストグラム算出部
３１            矩形領域ヒストグラム算出部
３２            類似度算出部
３３            順位付部
【図１】
2017188063.tif 000007
【図２】
2017188063.tif 000008
【図３】
2017188063.tif 000009
【図４】
2017188063.tif 000010
【図５】
2017188063.tif 000011
【図６】
2017188063.tif 000012