(57)【要約】【課題】クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索対象の画像データベース又はネットワーク上の画像から、高精度に検索可能とする画像検索装置及びプログラムを提供する。【解決手段】本発明の画像検索装置１は、検索対象画像及びクエリ画像のそれぞれに対し、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する画像特徴計算部１１１，１２１と、検索対象画像及びクエリ画像における各全体特徴ベクトルとの比較により第１の類似度を求め、且つ検索対象画像及びクエリ画像における各詳細特徴ベクトルとの比較により第２の類似度を求め、その双方を考慮した類似度を計算する画像類似度計算部１２２と、検索対象画像とクエリ画像との類似性を評価することによりクエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索して抽出する類似画像抽出部１２３と、を備える。【選択図】図１
2018205937.tif 000002
【特許請求の範囲】
【請求項１】
クエリ画像内の被写体と同一又は類似性の高い被写体の画像を、検索対象の画像データベース又はネットワーク上の画像から検索する画像検索装置であって、
検索対象画像及びクエリ画像のそれぞれに対し、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する画像特徴計算手段と、
前記検索対象画像における全体特徴ベクトルと前記クエリ画像における全体特徴ベクトルとの比較により第１の類似度を求め、且つ前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較により第２の類似度を求め、当該第１の類似度と第２の類似度の双方を考慮した類似度を計算する画像類似度計算手段と、
当該計算した類似度を基に前記検索対象画像と前記クエリ画像との類似性を評価することにより前記クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索して抽出する類似画像抽出手段と、
を備えることを特徴とする画像検索装置。
【請求項２】
前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し画像の濃淡が二方向に所定値以上変化している点を特徴点とし、各特徴点の所定画像サイズ内の周辺領域における色、テクスチャ、勾配のいずれか１つ以上の情報をベクトル化した局所特徴として求め、前記検索対象画像及び前記クエリ画像のそれぞれの全体に対し所定の代表ベクトルを用いて当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記全体特徴ベクトルとして求めることを特徴とする、請求項１に記載の画像検索装置。
【請求項３】
前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し当該局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行なって対称性グループを抽出し、特徴点の数が所定の閾値を超える対称性グループ、又は所属する特徴点が多い順に一定数の対称性グループを抽出し、当該所定の代表ベクトルを用いて、当該検索対象画像における各対称性グループに対し当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記詳細特徴ベクトルとして求めることを特徴とする、請求項１又は２に記載の画像検索装置。
【請求項４】
前記画像類似度計算手段は、前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較による前記第２の類似度を、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値により求めることを特徴とする、請求項１から３のいずれか一項に記載の画像検索装置。
【請求項５】
前記画像類似度計算手段は、当該第１の類似度と第２の類似度の双方を考慮した類似度として重み付け平均により、前記検索対象画像と前記クエリ画像との類似性を評価することを特徴とする、請求項１から４のいずれか一項に記載の画像検索装置。
【請求項６】
前記類似画像抽出手段は、所定数の当該検索対象画像に対し前記クエリ画像との類似性を評価し、類似度の高いものから所定数の検索対象画像を自動選択して外部に出力することを特徴とする、請求項１から５のいずれか一項に記載の画像検索装置。
【請求項７】
前記画像特徴計算手段は、複数の対称性グループの抽出を許容し、且つ線対称、回転対称、及び並進対称のうち１つ以上を用いて対称性グループを抽出することを特徴とする、請求項１から６のいずれか一項に記載の画像検索装置。
【請求項８】
請求項１から７のいずれか一項に記載の画像検索装置をコンピュータとして機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ及びデータベースを用いた画像検索技術に関する。
【背景技術】
【０００２】
現在実用化されている画像検索の中で主流な方法の一つは、手動或いは自動で予め画像に付与されたキーワードに対して、単語をクエリとして検索を行うものである。しかし、付与できるキーワードの種類や数には限りがあり、また、中には適切なキーワードを与えられない画像が存在することから、必ずしもユーザーの望む検索結果を提供することができない。
【０００３】
そこで、近年ではキーワードを介さずに、画像同士の画像特徴の比較に基づき、「見た目の似た」画像を検索する類似画像検索（Content-Based Image Retrieval，CBIR）技術が知られている。
【０００４】
類似画像検索の主な動作は以下の通りである。例えば画像データベースに登録されている画像から、色、テクスチャ、濃淡といった画像特徴を予め抽出する。クエリとして与えられた画像から同様に画像特徴を抽出し、当該画像データベースの画像の画像特徴と比較し、類似度を計算する。そして、類似度が高い画像を自動的に選択し検索結果を画面に表示する。
【０００５】
このような類似画像検索技法において、クエリ画像に対し大まかに見た目の類似した画像を検索する幾つかの技法が開示されている（例えば、特許文献１，２参照）。
【０００６】
また、対称軸に基づいて領域分割を行ったうえで、クエリ画像と比較画像との特徴点の位置を比較する技法が開示されている（例えば、特許文献３参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−２３３８００号公報
【特許文献２】特開２００３−２１６６４９号公報
【特許文献３】特開２０１０−２７２０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１，２に開示される技法では、クエリ画像に対し大まかに見た目の類似した画像を検索することはできるが、これらの技法で用いられている画像特徴では、画像内の被写体の詳細な構造や局所的な特徴の位置関係の情報を反映させることが難しい。従って、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を高精度に検索することは困難であるという問題があった。
【０００９】
また、特許文献３に開示される技法では、対称軸に基づいて領域分割を行ったうえで、クエリ画像と比較画像との特徴点の位置を比較する技法となっており、その処理効率の点では有効であるが、その領域分割に起因して対比する局所特徴の欠損が生じうるため、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を高精度に検索することに関して改善の余地がある。
【００１０】
本発明の目的は、上述の問題に鑑みて、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索対象の画像データベース又はネットワーク上の画像から、高精度に検索可能とする画像検索装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の画像検索装置は、クエリ画像内の被写体と同一又は類似性の高い被写体の画像を、検索対象の画像データベース又はネットワーク上の画像から検索する画像検索装置であって、検索対象画像及びクエリ画像のそれぞれに対し、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する画像特徴計算手段と、前記検索対象画像における全体特徴ベクトルと前記クエリ画像における全体特徴ベクトルとの比較により第１の類似度を求め、且つ前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較により第２の類似度を求め、当該第１の類似度と第２の類似度の双方を考慮した類似度を計算する画像類似度計算手段と、当該計算した類似度を基に前記検索対象画像と前記クエリ画像との類似性を評価することにより前記クエリ画像内の被写体と同一又は類似性の高い被写体の画像を検索して抽出する類似画像抽出手段と、を備えることを特徴とする。
【００１２】
また、本発明の画像検索装置において、前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し画像の濃淡が二方向に所定値以上変化している点を特徴点とし、各特徴点の所定画像サイズ内の周辺領域における色、テクスチャ、勾配のいずれか１つ以上の情報をベクトル化した局所特徴として求め、前記検索対象画像及び前記クエリ画像のそれぞれの全体に対し所定の代表ベクトルを用いて当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記全体特徴ベクトルとして求めることを特徴とする。
【００１３】
また、本発明の画像検索装置において、前記画像特徴計算手段は、前記検索対象画像及び前記クエリ画像のそれぞれに対し当該局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行なって対称性グループを抽出し、特徴点の数が所定の閾値を超える対称性グループ、又は所属する特徴点が多い順に一定数の対称性グループを抽出し、当該所定の代表ベクトルを用いて、当該検索対象画像における各対称性グループに対し当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを、前記詳細特徴ベクトルとして求めることを特徴とする。
【００１４】
また、本発明の画像検索装置において、前記画像類似度計算手段は、前記検索対象画像における詳細特徴ベクトルと前記クエリ画像における詳細特徴ベクトルとの比較による前記第２の類似度を、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値により求めることを特徴とする。
【００１５】
また、本発明の画像検索装置において、前記画像類似度計算手段は、当該第１の類似度と第２の類似度の双方を考慮した類似度として重み付け平均により、前記検索対象画像と前記クエリ画像との類似性を評価することを特徴とする。
【００１６】
また、本発明の画像検索装置において、前記類似画像抽出手段は、所定数の当該検索対象画像に対し前記クエリ画像との類似性を評価し、類似度の高いものから所定数の検索対象画像を自動選択して外部に出力することを特徴とする。
【００１７】
また、本発明の画像検索装置において、前記画像特徴計算手段は、複数の対称性グループの抽出を許容し、且つ線対称、回転対称、及び並進対称のうち１つ以上を用いて対称性グループを抽出することを特徴とする。
【００１８】
更に、本発明のプログラムは、本発明の画像検索装置をコンピュータとして機能させるためのプログラムとして構成される。
【発明の効果】
【００１９】
本発明によれば、クエリ画像の被写体と同一又は類似性の高い被写体の画像を高精度に検索することが可能となる。特に、対称性を有する被写体に有効であり、画像には多くの場合対称性が含まれているため、幅広い範囲で従来技法よりも検索精度を向上させることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明による一実施形態の画像検索装置の概略構成を示すブロック図である。
【図２】本発明による一実施形態の画像検索装置における画像特徴計算部の処理を示すフローチャートである。
【図３】本発明による一実施形態の画像検索装置における画像類似度計算部の処理を示すフローチャートである。
【図４】（ａ）,（ｂ）は、それぞれ本発明による一実施形態の画像検索装置における画像類似度計算部の処理に係る説明図である。
【図５】（ａ）,（ｂ）は、それぞれ本発明による一実施形態の画像検索装置における検索結果と、典型的な従来技法の検索結果とを数値で比較する図である。
【発明を実施するための形態】
【００２１】
以下、図面を参照して、本発明による一実施形態の画像検索装置１を説明する。図１は、本発明による一実施形態の画像検索装置の概略構成を示すブロック図である。
【００２２】
〔装置構成〕
本実施形態の画像検索装置１は、前処理部１１と検索処理部１２とを備える。前処理部１１は、画像特徴計算部１１１と、画像特徴ベクトル格納部１１２とを備える。また、検索処理部１２は、画像特徴計算部１２１と、画像類似度計算部１２２と、類似画像抽出部１２３とを備える。
【００２３】
本実施形態の画像検索装置１は、クエリ画像を基に、これと同一又は類似性の高い被写体の画像を検索する、インターネット等のネットワークに接続可能なコンピュータとして構成することができ、当該ネットワークに接続される所定の画像データベース、又はネットワークを介して閲覧可能なネットワーク上の画像を検索対象とする装置である。
【００２４】
以下に説明する例では、本発明の理解を高めるために、当該ネットワークに接続される所定の画像データベースとして予め特定した検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに対し、クエリ画像ＩＱの被写体と同一又は類似性の高い被写体の画像を高精度に検索する例を説明する。
【００２５】
ここで、本実施形態の画像検索装置１は、クエリ画像ＩＱの被写体と同一又は類似性の高い「被写体」の検索を行うものであり、検索対象画像内の被写体の画像サイズや画角、色、テクスチャ、濃淡等の違いがあっても、同一又は類似性の高い「被写体」であれば検索成功とし、これを従来技法よりも高精度に行うものである。
【００２６】
まず、前処理部１１における画像特徴計算部１１１は、検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに対し、それぞれ画像特徴ベクトルＶ［Ｉ１］，Ｖ［Ｉ２］，…，Ｖ［ＩＮ］を計算し、各検索対象画像群Ｉ１，Ｉ２，…，ＩＮと対応付けて画像特徴ベクトル格納部１１２に格納する。
【００２７】
一方、検索処理部１２における画像特徴計算部１２１は、ユーザーから与えられたクエリ画像ＩＱに対し、画像特徴ベクトルＶ［ＩＱ］を計算し、画像類似度計算部１２２に出力する。尚、前処理部１１における画像特徴計算部１１１と、検索処理部１２における画像特徴計算部１２１の処理は同一であり、その詳細は後述する。
【００２８】
画像類似度計算部１２２は、クエリ画像ＩＱに関する画像特徴ベクトルＶ［ＩＱ］と、画像特徴ベクトル格納部１１２に格納されるＮ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに関するそれぞれの画像特徴ベクトルＶ［Ｉ１］，Ｖ［Ｉ２］，…，Ｖ［ＩＮ］とを比較して、それぞれの類似度Ｓ（ＩＱ，Ｉ１），Ｓ（ＩＱ，Ｉ２），…，Ｓ（ＩＱ，ＩＮ）を計算し、検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに対応付けて類似画像抽出部１２３に出力する。
【００２９】
類似画像抽出部１２３は、Ｎ枚の検索対象画像群に対するそれぞれの類似度Ｓ（ＩＱ，Ｉ１），Ｓ（ＩＱ，Ｉ２），…，Ｓ（ＩＱ，ＩＮ）のうち、類似度が高い所定数の画像（本例では上位Ｒ枚の画像）Ｉｄ１，Ｉｄ２，…，ＩｄＲを自動選択し検索結果として外部（例えば表示装置）に出力する。
【００３０】
〔装置動作〕
（画像特徴計算処理）
図２は、本発明による一実施形態の画像検索装置１における画像特徴計算部１１１の処理を示すフローチャートである。尚、画像特徴計算部１２１の処理も図２と同様の処理である。
【００３１】
画像特徴計算部１１１は、検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに対し、それぞれ画像特徴ベクトルＶ［Ｉ１］，Ｖ［Ｉ２］，…，Ｖ［ＩＮ］を計算する。即ち、検索対象画像Ｉ１に対し画像特徴ベクトルＶ［Ｉ１］を求め、他の検索対象画像についても同様であり、以下では、検索対象画像Ｉ１に対し画像特徴ベクトルＶ［Ｉ１］を求める処理を説明する。
【００３２】
まず、画像特徴計算部１１１は、検索対象画像Ｉ１に対し特徴点を検出する（ステップＳ１）。ここでいう特徴点とは、画像の濃淡が二方向に所定値以上変化している点であり、コーナーやクロス、もしくはそれらに近い点が該当する。特徴点の検出方法としては、例えばＳＩＦＴ（Scale-Invariant Feature Transform）の検出に利用されるガウシアンピラミッドを用いた方法を利用できる（例えば、『D. G. Lowe,“Object recognition from local scale-invariant features,” Proc. of IEEE International Conference on Computer Vision (ICCV), pp. 1150-1157, 1999』参照)。
【００３３】
続いて、画像特徴計算部１１１は、検索対象画像Ｉ１に対し検出された各特徴点の周辺領域（所定画像サイズ内）の局所特徴を計算する（ステップＳ２）。ここでいう局所特徴とは、特徴点の周辺領域の色、テクスチャ、勾配のいずれか１つ以上の情報をベクトル化したものであり、勾配特徴をベクトル化した例として鏡面反転を考慮したＭＩＦＴと称される方法を利用できる（例えば、『X. Guo and X. Cao,“MIFT: A framework for feature descriptors to be mirror reflection invariant,”Image and Vision Computing, vol. 30, no. 8, pp. 546-556, 2012』参照)。
【００３４】
そして、画像特徴計算部１１１は、上記のステップＳ１，Ｓ２の処理を、Ｎ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに対しそれぞれ行う。
【００３５】
以下では、全体特徴計算処理と詳細特徴計算処理に分けて処理を行う。
まず、全体特徴計算処理を説明する。
【００３６】
画像特徴計算部１１１は、代表ベクトルを用いて、検索対象画像Ｉ１の全体に対し局所特徴をベクトル量子化する（ステップＳ３）。代表ベクトルは、本例ではＮ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮの全画像から抽出された局所特徴の全部、若しくは一部をクラスタリングし、そのクラスタ中心のベクトルを代表ベクトルとして定める。クラスタ数はデータベースの大きさに応じて適宜決定する。この代表ベクトルは予め不特定多数の画像から選出したものとしてもよい。
【００３７】
続いて、画像特徴計算部１１１は、検索対象画像Ｉ１に対しステップＳ３にて得られたベクトル量子化した局所特徴の出現頻度をヒストグラム化する（ステップＳ４）。つまり、当該検索対象画像Ｉ１内で代表ベクトルを持つ局所特徴の出現頻度を調べる。
【００３８】
続いて、画像特徴計算部１１１は、ステップＳ４で得られた当該ヒストグラムを正規化する（ステップＳ５）。正規化の手法は、ｔｆ-ｉｄｆを用いたＬ２正規化など、一般的な方法を用いることができる。即ち、検索対象画像Ｉ１に対し出現する局所特徴の出現頻度を基に、その全体を予測表現する特徴量を定義付ける。
【００３９】
続いて、画像特徴計算部１１１は、ステップＳ５で得られた正規化したヒストグラムを検索対象画像Ｉ１に対する全体特徴ベクトルＶＧ［Ｉ１］とする（ステップＳ６）。
【００４０】
そして、画像特徴計算部１１１は、上記のステップＳ３〜Ｓ６の処理を、Ｎ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに対しそれぞれ行って、全体特徴ベクトルＶＧ［Ｉ１］，ＶＧ［Ｉ２］，…，ＶＧ［ＩＮ］を求める。即ち、或る検索対象画像Ｉｎに対し、画像特徴計算部１１１は、全体特徴ベクトルＶＧ［Ｉｎ］を得る。
【００４１】
次に、詳細特徴計算処理を説明する。
【００４２】
画像特徴計算部１１１は、検索対象画像Ｉ１に対し局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行う（ステップＳ７）。例えば線対称性に着目する場合には、同じ対象軸によって結び付けられる特徴点の組を一つのグループとする。このグループを対称性グループと呼ぶこととする。特徴点の組をグループ分けする方法としては線対称、回転対称、又は並進対称とすることができるが、本例では線対称を用いる例を説明する。
【００４３】
尚、線対称によるグループ化処理として、例えば『Z. Tang, P. Monasse, and J. Morel,“Reflexive Symmetry Detection in Single Image,”Proc. of the 8th International Conference Curves and Surfaces, pp. 452-460, 2014』、或いは『G. Loy and J. Eklundh,“Detecting symmetry and symmetric constellations of features,”ECCV, 2006』に開示される技法を利用できる。
【００４４】
また、回転対称によるグループ化処理として、例えば上記の『G. Loy and J. Eklundh,“Detecting symmetry and symmetric constellations of features,”ECCV, 2006』に開示される技法を利用できる。
【００４５】
また、並進対称によるグループ化処理として、例えば『M. Park, K. Brocklehurst, R. T. Collins, and Y. Liu,“Deformed lattice detection in real-world images using mean-shift belief propagation,”IEEE Transaction on Pattern Analysis and Machine Intelligence (TPAMI), vol. 31, No. 10』に開示される技法を利用できる。
【００４６】
ここで、画像特徴計算部１１１は、検索対象画像Ｉ１に対し構成したグループのうち、各グループ内に所属する特徴点の数が所定の閾値を超えるもののみ採用する、または所属する特徴点が多い順に一定数の対称性グループのみ採用することで、検出された対称性グループの信頼度を上げることができる。最終的に採用された対称性グループの個数をＭ１個（Ｍ１は０以上の整数）とする。
【００４７】
続いて、画像特徴計算部１１１は、ステップＳ３で得られた代表ベクトルを用いて、検索対象画像Ｉ１における各対称性グループに対し、局所特徴をベクトル量子化する（ステップＳ８）。
【００４８】
続いて、画像特徴計算部１１１は、検索対象画像Ｉ１における各対称性グループに対し、ベクトル量子化された局所特徴の出現頻度のヒストグラムを生成する（ステップＳ９）。従って、Ｍ１個のヒストグラムが得られる。
【００４９】
続いて、画像特徴計算部１１１は、ステップＳ９で得られた対称性グループ毎に、当該ヒストグラムを正規化する（ステップＳ１０）。正規化の手法は、ステップＳ５と同様のものとする。即ち、検索対象画像Ｉ１内の各対称性グループにて出現する局所特徴の出現頻度を基に、その各対称性グループを予測表現する特徴量を定義付ける。
【００５０】
続いて、画像特徴計算部１１１は、ステップＳ１０で得られた、対称性グループ毎に正規化したヒストグラムを検索対象画像Ｉ１に対する詳細特徴ベクトルＶＳｙｍ［Ｉ１，１］，ＶＳｙｍ［Ｉ１，２］，…，ＶＳｙｍ［Ｉ１，Ｍ１］とする（ステップＳ１１）。
【００５１】
そして、画像特徴計算部１１１は、上記のステップＳ７〜Ｓ１１の処理を、Ｎ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに対しそれぞれ行って、Ｎ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮのうちの或る検索対象画像Ｉｎについて、詳細特徴ベクトルＶＳｙｍ［Ｉｎ，１］，ＶＳｙｍ［Ｉｎ，２］，…，ＶＳｙｍ［Ｉｎ，Ｍｎ］を求める。
【００５２】
最終的に、画像特徴計算部１１１は、上記のステップＳ６で得られた全体特徴ベクトルと、上記のステップＳ１１で得られた詳細特徴ベクトルをまとめて、Ｎ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに対し、それぞれの画像特徴ベクトルＶ［Ｉ１］，Ｖ［Ｉ２］，…，Ｖ［ＩＮ］を得る。即ち、或る検索対象画像Ｉｎに対し、画像特徴計算部１１１は、画像特徴ベクトルＶ［Ｉｎ］＝｛ＶＧ［Ｉｎ］，ＶＳｙｍ［Ｉｎ，１］， ＶＳｙｍ ［Ｉｎ，２］，…，ＶＳｙｍ ［Ｉｎ，Ｍｎ］｝を得る。
【００５３】
ただし、Ｎ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮのうちの或る検索対象画像Ｉｎに対し、Ｍｎ＝０となる（対称性グループが得られなかった）場合は、画像特徴ベクトルＶ［Ｉｎ］＝｛ＶＧ［Ｉｎ］，ＶＳｙｍ［Ｉｎ，１］｝と定める。ここで、対称性グループが得られなかった場合のＶＳｙｍ［Ｉｎ，１］は、その旨が識別できるように定める（例えば図３を参照して後述する画像類似度計算処理の際に詳細画像類似度が常に０となるように、０ベクトルとして定める）。
【００５４】
画像特徴計算部１２１の処理も図２と同様の処理であり、画像特徴計算部１２１は、クエリ画像ＩＱに対し、画像特徴ベクトルＶ［ＩＱ］＝｛ＶＧ［ＩＱ］，ＶＳｙｍ［ＩＱ，１］, ＶＳｙｍ ［ＩＱ，２］，…，ＶＳｙｍ ［ＩＱ，ＭＱ］｝を得る。
【００５５】
このようにして、画像特徴計算部１１１，１２１は、例えば図４（ａ）に示す多数の〇枠内で表された特徴点から構成された全体特徴ベクトルを、クエリ画像ＩＱについては全体特徴ベクトルＶＧ［ＩＱ］として、或る検索対象画像Ｉｎについては全体特徴ベクトルＶＧ［Ｉｎ］として、互いに対比可能に算出する。
【００５６】
また、画像特徴計算部１１１，１２１は、例えば図４（ｂ）に示す第１の対象軸Ｓｙｍ１を共通に持つ第１対称性グループを示す一点破線〇枠内の多数の〇枠内で表された特徴点から構成された詳細特徴ベクトルを、クエリ画像ＩＱについては詳細特徴ベクトルＶＳｙｍ［ＩＱ，１］として、或る検索対象画像Ｉｎについては詳細特徴ベクトルＶＳｙｍ［Ｉｎ，１］として、互いに対比可能に算出する。
【００５７】
更に、画像特徴計算部１１１，１２１は、例えば図４（ｂ）に示す第２の対象軸Ｓｙｍ２を共通に持つ第２対称性グループを示す一点破線〇枠内の多数の〇枠内で表された特徴点から構成された詳細特徴ベクトルを、クエリ画像ＩＱについては詳細特徴ベクトルＶＳｙｍ［ＩＱ，２］として、或る検索対象画像Ｉｎについては詳細特徴ベクトルＶＳｙｍ［Ｉｎ，２］として、互いに対比可能に算出する。
【００５８】
（画像類似度計算処理）
図３は、本発明による一実施形態の画像検索装置１における画像類似度計算部１２２の処理を示すフローチャートである。
【００５９】
画像類似度計算部１２２は、クエリ画像ＩＱに関する画像特徴ベクトルＶ［ＩＱ］と、画像特徴ベクトル格納部１１２に格納されるＮ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに関するそれぞれの画像特徴ベクトルＶ［Ｉ１］，Ｖ［Ｉ２］，…，Ｖ［ＩＮ］とを比較して、それぞれの類似度Ｓ（ＩＱ，Ｉ１），Ｓ（ＩＱ，Ｉ２），…，Ｓ（ＩＱ，ＩＮ）を計算する。類似度の計算には、ベクトル同士の内積や、ユークリッド距離を０〜１に正規化したものなど、一般的なものを用いる。
【００６０】
まず、画像類似度計算部１２２は、クエリ画像ＩＱに関する画像特徴ベクトルＶ［ＩＱ］と、Ｎ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮのうちの或る検索対象画像Ｉｎに関する画像特徴ベクトルＶ［Ｉｎ］とを入力する（ステップＳ２１）。
【００６１】
続いて、画像類似度計算部１２２は、全体画像類似度ＳＧ（ＩＱ，Ｉｎ）と、対称性グループ毎の類似度の平均値として詳細画像類似度ＳＳｙｍ（ＩＱ，Ｉｎ）を個別に求める。
【００６２】
第１に、画像類似度計算部１２２は、クエリ画像ＩＱに関する画像特徴ベクトルＶ［ＩＱ］における全体特徴ベクトルＶＧ［ＩＱ］と、当該検索対象画像Ｉｎに関する画像特徴ベクトルＶ［Ｉｎ］における全体特徴ベクトルＶＧ［ＩＱ］とを比較して、全体画像類似度ＳＧ（ＩＱ，Ｉｎ）を求める（ステップＳ２２）。
【００６３】
第２に、画像類似度計算部１２２は、詳細画像類似度ＳＳｙｍ（ＩＱ，Ｉｎ）を以下の手順で求める（ステップＳ２３）。
【００６４】
まず、クエリ画像ＩＱの対称性グループの添字集合をＩＤＱ＝｛１，２，…，ＭＱ｝、当該検索対象画像Ｉｎの対称性グループの添字集合をＩＤｎ＝｛１，２，…，Ｍｎ｝とする。ここで、ＭＱ，Ｍｎは、それぞれクエリ画像ＩＱと検索対象画像Ｉｎの詳細特徴ベクトルの個数である。
【００６５】
始めに、ｍの初期値を１とする。
【００６６】
（処理Ａ）画像類似度計算部１２２は、Ｖｓｙｍ[ＩＱ，ｉ]とＶｓｙｍ[Ｉｎ，ｊ]との類似度が最大となるｉとｊをそれぞれＩＤＱ，ＩＤｎから選択し、その類似度をＳＳｙｍ（ＩＱ，Ｉｎ）［ｍ］とする。詳細画像類似度の計算は、全体画像類似度の計算と同じ方法とする。
【００６７】
（処理Ｂ）次に、画像類似度計算部１２２は、ＳＳｙｍ（ＩＱ，Ｉｎ）［ｍ］＝０であるか否かを検査し、ＳＳｙｍ（ＩＱ，Ｉｎ）［ｍ］＝０であれば“処理Ｅ”へ移行する。
【００６８】
（処理Ｃ）次に、画像類似度計算部１２２は、ＳＳｙｍ（ＩＱ，Ｉｎ）［ｍ］＝０でないとき、ＩＤＱ，ＩＤｎから当該ｉ，ｊを除き、ｍ＝ｍ＋１とする。
【００６９】
（処理Ｄ）画像類似度計算部１２２は、ＩＤＱ，ＩＤｎが空集合となるまで、上記の（処理Ａ）〜（処理Ｃ）を繰り返し、ＩＤＱ，ＩＤｎが空集合となるとき、“処理Ｅ”へ移行する。
【００７０】
（処理Ｅ）画像類似度計算部１２２は、ＳＳｙｍ（ＩＱ，Ｉｎ）を、ＳＳｙｍ（ＩＱ，Ｉｎ））［１］，…，ＳＳｙｍ（ＩＱ，Ｉｎ）［ｍ−１］の平均値として求める。ただし、ＳＳｙｍ（ＩＱ，Ｉｎ）［１］＝０の場合、ＳＳｙｍ（ＩＱ，Ｉｎ）＝０とする。
【００７１】
このようにして、画像類似度計算部１２２は、対称性グループ毎の類似度の平均値として詳細画像類似度ＳＳｙｍ（ＩＱ，Ｉｎ）を求める。
【００７２】
最終的に、画像類似度計算部１２２は、クエリ画像ＩＱに関する画像特徴ベクトルＶ［ＩＱ］と、当該検索対象画像Ｉｎに関する画像特徴ベクトルＶ［Ｉｎ］との比較による画像類似度Ｓ（ＩＱ，Ｉｎ）を、全体画像類似度ＳＧ（ＩＱ，Ｉｎ）と、対称性グループ毎の類似度の平均値として詳細画像類似度ＳＳｙｍ（ＩＱ，Ｉｎ）の加重平均として、次式により求める（ステップＳ２４）。
Ｓ（ＩＱ,Ｉｎ）＝（１−ａ）ＳＧ（ＩＱ，Ｉｎ）＋ａＳＳｙｍ（ＩＱ，Ｉｎ）
【００７３】
ただし、ａは、対象軸の寄与を決めるパラメータである（０＜a＜１）。
【００７４】
即ち、図４（ｂ）に示す例では、ＭＱ＝Ｍｎ＝２であり、第１対称性グループにおける詳細特徴ベクトルの類似度ＳＳｙｍ（ＩＱ，Ｉｎ）［１］はＶＳｙｍ［ＩＱ，１］とＶＳｙｍ［Ｉｎ，１］の類似度、第２対称性グループにおける詳細特徴ベクトルのＳＳｙｍ（ＩＱ，Ｉｎ）［２］はＶＳｙｍ［ＩＱ，２］とＶＳｙｍ［Ｉｎ，２］の類似度となっている。このため、詳細画像類似度ＳＳｙｍ（ＩＱ，Ｉｎ）は、対称性グループ毎の類似度の平均値として、ＳＳｙｍ（ＩＱ，Ｉｎ）＝（ＳＳｙｍ（ＩＱ，Ｉｎ）［１］＋ＳＳｙｍ（ＩＱ，Ｉｎ）［２］）／２となる。
【００７５】
尚、図４（ｂ）に示す例では、本発明の理解を高めるために、複数の対称性グループは互いに重複していないが、実際には、本実施形態の画像検索装置１は、抽出する対称性グループの重複を許容しており、これにより対比する局所特徴の欠損を防止して精度を高めることができる。
【００７６】
尚、画像類似度計算部１２２は、対称性グループ毎の類似度の平均値として詳細画像類似度ＳＳｙｍ（ＩＱ，Ｉｎ）を求める代わりに、対称性グループ毎の類似度の和、即ち、ＳＳｙｍ（ＩＱ，Ｉｎ）＝ＳＳｙｍ（ＩＱ，Ｉｎ）［１］，…，ＳＳｙｍ（ＩＱ，Ｉｎ）［ｍ−１］の和として求めてもよい。
【００７７】
或いは、画像類似度計算部１２２は、対称性グループ毎の類似度の平均値として詳細画像類似度ＳＳｙｍ（ＩＱ，Ｉｎ）を求める代わりに、対称性グループ毎の類似度の重み付け平均値、即ち、ＳＳｙｍ（ＩＱ，Ｉｎ）＝ＳＳｙｍ（ＩＱ，Ｉｎ）［１］，…，ＳＳｙｍ（ＩＱ，Ｉｎ）［ｍ−１］の重み付け平均値として求めてもよい。このときの重みには、対称軸検出のアルゴリズムの結果として対称軸の信頼度の指標となる値が得られる場合にはそれを用いることができる。
【００７８】
このように、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値として詳細画像類似度ＳＳｙｍ（ＩＱ，Ｉｎ）を求めることにより、対称軸が多く検出されるほど類似度が低くなる状況を回避することができる。
【００７９】
以上のように、画像類似度計算部１２２は、画像特徴ベクトル格納部１１２に格納されるＮ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに関するそれぞれの画像特徴ベクトルＶ［Ｉ１］，Ｖ［Ｉ２］，…，Ｖ［ＩＮ］について、クエリ画像ＩＱに関する画像特徴ベクトルＶ［ＩＱ］と比較することにより、Ｎ枚の検索対象画像群に対するそれぞれの類似度Ｓ（ＩＱ，Ｉ１），Ｓ（ＩＱ，Ｉ２），…，Ｓ（ＩＱ，ＩＮ）を計算する。これにより、類似画像抽出部１２３は、Ｎ枚の検索対象画像群のうち、類似度が高い所定数の画像（本例では上位Ｒ枚の画像）Ｉｄ１，Ｉｄ２，…，ＩｄＲを自動選択し検索結果として外部（例えば表示装置）に出力することができる。
【００８０】
図５（ａ）,（ｂ）には、それぞれ本発明による一実施形態の画像検索装置１における検索結果と、典型的な従来技法（即ち、全体特徴ベクトルのみの類似度評価）の検索結果とを数値で比較する図である。図５（ａ）, （ｂ）にて使用したデータセットはそれぞれ一般的に開示されている種々の蝶々、陸橋を含む種々の建設物に関するデータセットを用いて、そのうちの１つの画像（図５（ａ）については或る蝶々、図５（ｂ）については或る陸橋）をクエリ画像として、他の画像を検索対象画像として評価した。対称性については線対称を考慮し、上記の『Z. Tang, P. Monasse, and J. Morel,“Reflexive Symmetry Detection in Single Image,”Proc. of the 8th International Conference Curves and Surfaces, pp. 452-460, 2014』をベースにした手法を用いている。
【００８１】
図５（ａ）に示す蝶々のデータセットでは、従来技法に対応する比較例では対称性を考慮した特徴ベクトルを使用しない場合（パラメータａ＝０）とし、本発明による実施例では対称性を考慮した特徴ベクトルを使用した場合（パラメータａ＝０．７）とした。
【００８２】
また、図５（ｂ）に示す陸橋のデータセットでは、従来技法に対応する比較例では対称性を考慮した特徴ベクトルを使用しない場合（パラメータａ＝０）とし、本発明による実施例では対称性を考慮した特徴ベクトルを使用した場合（パラメータａ＝０．５）とした。
【００８３】
平均適合率ＡＰは、ｉ番目の正解までの適合率（＝正解数／総数）をＰｉとして、以下の式で計算される。ただしＮは正解画像の総数である。０≦ＡＰ≦１であり、１に近いほど検索精度は良いデータセットとなっている。
【００８４】
【数１】
2018205937.tif 000003
【００８５】
図５（ａ）,（ｂ）に示す比較から分かるように、クエリ画像の被写体と同一又は類似性の高い被写体の画像を高精度に検索することが可能となる。特に、陸橋よりも蝶々の検索結果が従来技法より著しく向上しているように、対称性を有する被写体に有効であり、画像には多くの場合対称性が含まれているため、幅広い範囲で従来技法よりも検索精度を向上させることができる。また、図５（ａ）,（ｂ）では、それぞれ本発明による実施例としてパラメータａ＝０．７又は０．５としているがそれぞれの探索結果として最適化な数値を模索して設定した値であるが、概ね、パラメータａ＝０．５〜０．７の範囲で設定することで、汎用性が得られることも確認された。
【００８６】
図５（ａ）,（ｂ）に示す比較では、主観を除くために、クエリ画像内の被写体と「同一の被写体」の画像を高精度に検索することに関して評価したが、クエリ画像内の被写体と「同一又は類似性の高い被写体」の画像を高精度に検索する目的においてはより有効な結果が期待できる。
【００８７】
包括するに、本実施形態の画像検索装置１は、画像特徴計算部１１１，１２１により、検索対象画像及びクエリ画像のそれぞれに対し、まず、全体特徴ベクトルと詳細特徴ベクトルとを組み合わせた画像特徴ベクトルを計算する。
【００８８】
ここで、本実施形態の画像検索装置１における画像特徴計算部１１１，１２１は、検索対象画像及びクエリ画像のそれぞれに対し画像の濃淡が二方向に所定値以上変化している点を特徴点とし、各特徴点の所定画像サイズ内の周辺領域における色、テクスチャ、勾配のいずれか１つ以上の情報をベクトル化した局所特徴として求め、当該検索対象画像及びクエリ画像のそれぞれの全体に対し所定の代表ベクトルを用いて当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを全体特徴ベクトルとして求める。
【００８９】
また、本実施形態の画像検索装置１における画像特徴計算部１１１，１２１は、検索対象画像及びクエリ画像のそれぞれに対し当該局所特徴の特徴空間での距離が近い特徴点の組を列挙し、同じ対称性によって結び付けられる特徴点の組ごとにグループ分けを行なって対称性グループを抽出し、特徴点の数が所定の閾値を超える対称性グループ、又は所属する特徴点が多い順に一定数の対称性グループを抽出し、当該所定の代表ベクトルを用いて、当該検索対象画像における各対称性グループに対し当該局所特徴をベクトル量子化し、ベクトル量子化した局所特徴の出現頻度を正規化したヒストグラムを詳細特徴ベクトルとして求める。
【００９０】
そして、本実施形態の画像検索装置１は、画像類似度計算部１２２により、検索対象画像における全体特徴ベクトルとクエリ画像における全体特徴ベクトルとの比較により第１の類似度を求め、検索対象画像における詳細特徴ベクトルとクエリ画像における詳細特徴ベクトルとの比較により第２の類似度を求め、当該第１の類似度と第２の類似度の双方を考慮した類似度（本例ではパラメータａに基づく重み付け平均）により、検索対象画像とクエリ画像との類似性を評価する。
【００９１】
特に、画像類似度計算部１２２は、検索対象画像における詳細特徴ベクトルとクエリ画像における詳細特徴ベクトルとの比較による当該第２の類似度を、対称性グループ毎の類似度の平均値、加算値、又は重み付け平均値により求める。
【００９２】
そして、本実施形態の画像検索装置１は、類似画像抽出部１２３により、所定数の検索対象画像に対しクエリ画像との類似性を評価し、類似度の高いものから所定数の検索対象画像を自動選択して外部に出力する。
【００９３】
このように、本発明に係る画像検索装置１は、全体特徴ベクトルの比較による第１の類似度と、詳細特徴ベクトルの比較による第２の類似度を求め、当該第１の類似度と第２の類似度の双方を考慮した類似度（本例ではパラメータａに基づく重み付け平均）により、検索対象画像とクエリ画像との類似性を評価するようになっているため、例えば特許文献３に開示される技法など、他の従来技法よりも、画像の被写体の詳細な構造や位置関係の違いを類似度に反映させることができる。
【００９４】
また、特許文献３に開示される技法では、対称軸に基づいて領域分割を行ったうえでクエリ画像と比較画像との特徴点の位置を比較する技法となっており、その領域分割に起因して対比する局所特徴の欠損が生じうるが、本発明に係る画像検索装置１にて抽出する対称性グループは、その重複を許容しており、これにより対比する局所特徴の欠損を防止して精度を高めることができる。
【００９５】
また、特許文献３に開示される技法で用いる対称性は線対称性に限られているが、本発明に係る画像検索装置１では、一つの画像に複数の対称性が存在する場合にも適用することが可能であり、尚且つ線対称、回転対称、及び並進対称のうち１つ以上を用いて対称性グループを抽出することができる。これにより、原理的に、従来用いられていた画像特徴と比較して、被写体の詳細な構造や位置関係の情報を反映した画像特徴を構成することができ、類似画像検索の高精度化が可能となる。
【００９６】
本発明に係る画像検索装置１はコンピュータとして構成され、当該コンピュータに、本発明に係る各構成要素を実現させるためのプログラムは、当該コンピュータの内部又は外部に備えられるメモリ（図示せず）に記憶される。当該コンピュータに備えられる中央演算処理装置（ＣＰＵ）などの制御で、各構成要素の機能を実現するための処理内容が記述されたプログラムを、適宜、メモリから読み込んで、本発明に係る画像検索装置１の各構成要素の機能をコンピュータに実現させることができる。
【００９７】
本発明は、上述した実施形態の例に限定されるものではなく、特許請求の範囲の記載によってのみ制限される。例えば、上述した実施形態の例では、ネットワークに接続される所定の画像データベースとして予め特定した検索対象画像データベース２に格納されるＮ枚の検索対象画像群Ｉ１，Ｉ２，…，ＩＮに対し、クエリ画像ＩＱの被写体と同一又は類似性の高い被写体の画像を高精度に検索する例を説明したが、ネットワークを介して閲覧可能なネットワーク上の画像を検索対象とすることができる。例えば、閲覧可能なネットワーク上の画像を検索対象とするときは、ランダムに収集したものを検索対象画像データベース２に格納すればよい。
【産業上の利用可能性】
【００９８】
本発明によれば、クエリ画像の被写体と同一又は類似性の高い被写体の画像を高精度に検索することが可能となり、特に対称性を有する被写体に有効であり、幅広い範囲で従来技法よりも検索精度を向上させることができるので、アーカイブにおける資料検索、映像制作における素材検索、又はＷｅｂ上の画像検索エンジンにおいて有用である。
【符号の説明】
【００９９】
１  画像検索装置
２  検索対象画像データベース
１１  前処理部
１２  検索処理部
１１１  画像特徴計算部
１１２  画像特徴ベクトル格納部
１２１  画像特徴計算部
１２２  画像類似度計算部
１２３  類似画像抽出部
【図１】
2018205937.tif 000004
【図２】
2018205937.tif 000005
【図３】
2018205937.tif 000006
【図４】
2018205937.tif 000007
【図５】
2018205937.tif 000008