(57)【要約】【課題】  局所特徴量を用いた画像検索において、検索時に使用可能な特徴点の数に制限がある場合がある。そのような場合においても、検索精度の劣化を少なく抑えた検索を実現するため、他の画像との判別性能が高く、検索に有意な局所特徴点および局所特徴量を得ることができるようにする。【解決手段】  登録された画像特徴群の記憶数をもとに、他の画像との判別性能が高い特徴リストを生成する。その特徴リストをもとに、クエリ画像から抽出された特徴点の選別を行う。【選択図】  図８
2014134858.tif 000002
【特許請求の範囲】
【請求項１】
画像検索装置であって、
画像を入力する入力手段と、
前記画像の撮影の属性情報を取得する取得手段と、
前記画像の画像特徴群を抽出する抽出手段と、
前記画像と前記属性情報と前記画像特徴群を関連付けて記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成手段と、
前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴群のうち、前記取得手段で取得した前記検索元画像の撮影の属性情報に対応する前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の画像特徴として使用すると選別された検索元画像の画像特徴群と、前記記憶手段に記憶されている登録画像の画像特徴群との類似比較を行う比較手段と、
を備えることを特徴とする画像検索装置。
【請求項２】
前記比較手段で使用する前記検索元画像の画像特徴群の総サイズ或いは画像特徴の個数が予め定められていることを特徴とする請求項１に記載の画像検索装置
【請求項３】
前記撮影の属性情報は、場所および撮影方位、時間、天候、撮影モードおよび被写体属性の少なくとも１つであることを特徴とする請求項１乃至２に記載の画像検索装置
【請求項４】
前記生成手段は、前記属性情報の少なくとも１つが適合した登録画像に対する前記記憶手段に記憶された画像特徴の共起値が閾値よりも小さい或いは共起値が小さい順から定められた個数の画像特徴を画像特徴リストに記述することを特徴とする請求項１に記載の画像検索装置
【請求項５】
前記生成手段は、前記属性情報の少なくとも１つが適合した登録画像に対する画像特徴と関連付けられて記憶されている画像の共起値が閾値よりも小さい或いは共起値が小さい順から定められた個数の画像特徴を画像特徴リストに記述することを特徴とする請求項１に記載の画像検索装置
【請求項６】
前記生成手段は、前記属性情報の少なくとも１つが適合した登録画像に対する画像特徴と関連付けられて記憶されている画像の共起値に基づいて、ユーザが選択した画像特徴を画像特徴リストに記述することを特徴とする請求項１に記載の画像検索装置
【請求項７】
前記生成手段では、前記画像の撮影場所における方向ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記方向ごとに生成することを特徴とする請求項１に記載の画像検索装置。
【請求項８】
前記選別手段では、前記検索元画像の画像特徴群から前記画像特徴リストと一致する画像特徴群を抽出することにより、画像特徴を選別することを特徴とする請求項１記載の画像検索装置。
【請求項９】
前記選別手段では、前記検索元画像の画像特徴群から前記画像特徴リストに存在しない画像特徴を削除することにより画像特徴を選別することを特徴とする請求項１記載の画像検索装置。
【請求項１０】
前記選別手段では、前記画像特徴リストと一致する画像特徴群を前記検索元画像の画像特徴群において識別することにより選別することを特徴とする請求項１記載の画像検索装置。
【請求項１１】
前記場所および撮影方位は、ＧＰＳ情報、方位情報、撮影高度情報の少なくとも１つであることを特徴とする請求項３記載の画像検索装置。
【請求項１２】
前記時間は、前記撮影場所におけるローカルタイムであることを特徴とする請求項３記載の画像検索装置。
【請求項１３】
前記天候は、天気、気温、湿度、気圧の少なくとも１つであることを特徴とする請求項３記載の画像検索装置。
【請求項１４】
前記撮影モードは、カメラ撮影モードのダイヤル設定やフラッシュの有無、マクロ撮影、望遠撮影の少なくとも１つであることを特徴とする請求項３に記載の画像検索装置。
【請求項１５】
画像に対応する画像特徴群と撮影の属性情報を記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成手段と、
要求に応じて検索元画像の撮影の属性情報に対応する前記画像特徴リストを要求元に送信する送信手段と、
要求元で前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と選別された画像特徴群を受信する受信手段と、
前記受信した検索元画像の画像特徴群と前記記憶手段に記憶された画像特徴群との比較を行う比較手段と、
を備えることを特徴とする画像検索装置。
【請求項１６】
検索元画像を入力する入力手段と、
前記検索元画像の撮影の属性情報を取得する取得手段と、
前記画像の画像特徴群を抽出する抽出手段と、
画像特徴リストを画像検索装置から受信する受信手段と、
前記検索元画像の画像特徴群のうち、前記属性情報に対応する前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の画像特徴として使用すると選別された画像特徴群を前記画像検索装置に送信する送信手段と、
を備えることを特徴とする検索元画像提供装置。
【請求項１７】
画像検索方法であって、
画像を入力する入力工程と、
前記画像の撮影の属性情報を取得する取得工程と、
前記画像の画像特徴群を抽出する抽出工程と、
前記画像と前記属性情報と前記画像特徴群を関連付けて記憶手段に記憶させる工程と、
前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成工程と、
前記入力工程で入力された検索元画像について前記抽出工程で抽出した画像特徴群のうち、前記取得工程で取得した前記検索元画像の撮影の属性情報に対応する前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別工程と、
前記検索元画像の画像特徴として使用すると選別された検索元画像の画像特徴群と、前記記憶手段に記憶された登録画像の画像特徴群との類似比較を行う比較工程と、
を備えることを特徴とする画像検索方法。
【請求項１８】
画像に対応する画像特徴群と撮影の属性情報を記憶手段に記憶させる工程と、
前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成工程と、
要求に応じて検索元画像の撮影の属性情報に対応する前記画像特徴リストを要求元に送信する送信工程と、
要求元で前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と選別された画像特徴群を受信する受信工程と、
前記受信した検索元画像の画像特徴群と前記記憶手段に記憶されている登録画像の画像特徴群との比較を行う比較工程と、
を備えることを特徴とする画像検索方法。
【請求項１９】
検索元画像を入力する入力工程と、
前記検索元画像の撮影の属性情報を取得する取得工程と、
前記画像の画像特徴群を抽出する抽出工程と、
画像特徴リストを画像検索装置から受信する受信工程と、
前記検索元画像の画像特徴群のうち、前記属性情報に対応する前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する工程手段と、
前記検索元画像の画像特徴として使用すると選別された画像特徴群を前記画像検索装置に送信する送信工程と、
を備えることを特徴とする検索元画像提供方法。
【請求項２０】
コンピュータを、
画像を入力する入力手段と、
前記画像の撮影の属性情報を取得する取得手段と、
前記画像の画像特徴群を抽出する抽出手段と、
前記画像と前記属性情報と前記画像特徴群を関連付けて記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成手段と、
前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴群のうち、前記取得手段で取得した前記検索元画像の撮影の属性情報に対応する前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の画像特徴として使用すると選別された検索元画像の画像特徴群と、前記記憶手段に記憶されている登録画像の画像特徴群との類似比較を行う比較手段と、
として機能させるためのプログラム。
【請求項２１】
コンピュータを
画像に対応する画像特徴群と撮影の属性情報を記憶する記憶手段と、
前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成手段と、
要求に応じて検索元画像の撮影の属性情報に対応する前記画像特徴リストを要求元に送信する送信手段と、
要求元で前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と選別された画像特徴群を受信する受信手段と、
前記受信した検索元画像の画像特徴群と前記記憶手段に記憶された画像特徴群との比較を行う比較手段と、
として機能させるためのプログラム。
【請求項２２】
コンピュータを、
検索元画像を入力する入力手段と、
前記検索元画像の撮影の属性情報を取得する取得手段と、
前記画像の画像特徴群を抽出する抽出手段と、
画像特徴リストを画像検索装置から受信する受信手段と、
前記検索元画像の画像特徴群のうち、前記属性情報に対応する前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、
前記検索元画像の画像特徴として使用すると選別された画像特徴群を前記画像検索装置に送信する送信手段と、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像の特徴量の抽出技術、特に、類似画像の比較のために利用する局所特徴に係る技術に関するものである。
【背景技術】
【０００２】
画像の局所的な特徴量（局所特徴量）を用いて類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（非特許文献１）。また、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴量（局所特徴量）を計算する技術も知られている（非特許文献２）。画像の検索は、局所特徴量同士のマッチングによって行う。
【０００３】
局所特徴量を利用する手法においては、局所特徴量を回転不変・拡大・縮小不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、検索を可能にする。局所特徴量は一般的にベクトルとして表現される。ただし、局所特徴量が回転不変、拡大・縮小不変であることは理論上の話である。実際のデジタル画像においては、画像の回転や拡大・縮小処理を行う際に計算誤差が発生するため、これらの処理前の局所特徴量と処理後の対応する局所特徴量との間に若干の変動が生じる。
【０００４】
回転不変の局所特徴量抽出のために、たとえば非特許文献２では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴量算出時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴量を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点の抽出と局所特徴量の算出を行う。ここで、内部で生成した一連の異なるスケールの画像集合は一般的にスケールスペースと呼ばれる。
【０００５】
特許文献１では、画像データから特徴点を抽出するための画像特徴点抽出方法において、画像を変動させて複数枚の画像データを取得し、安定した特徴点に絞り込んでいる。また、特許文献２では、局所特徴点の再現性を評価し、再現性の高いものから記述し局所特徴量の個数を制御する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１１−４３９６９号
【特許文献２】特願２０１１−２３７９６２号
【非特許文献】
【０００７】
【非特許文献１】Ｃ．Ｈａｒｒｉｓ  ａｎｄ  Ｍ．Ｊ．  Ｓｔｅｐｈｅｎｓ，“Ａ  ｃｏｍｂｉｎｅｄ  ｃｏｒｎｅｒ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ，”  Ｉｎ  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，ｐａｇｅｓ  １４７−１５２，  １９８８．
【非特許文献２】Ｄａｖｉｄ  Ｇ．  Ｌｏｗｅ，  “Ｄｉｓｔｉｎｃｔｉｖｅ  Ｉｍａｇｅ  Ｆｅａｔｕｒｅｓ  ｆｒｏｍ  Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｋｅｙｐｏｉｎｔｓ，”  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  ６０，  ２  （２００４），  ｐｐ．９１−１１０．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
局所特徴量を用いた画像検索では、１枚の画像から複数の局所特徴点を抽出し、それぞれの局所特徴点から算出した局所特徴量同士の比較を行うことによりマッチングを行う。クエリ画像から多くの局所特徴点が抽出されると、局所特徴量同士の比較回数が増大し検索速度が低下するため、局所特徴点の数は多くなり過ぎないことと、クエリ画像に特有の希少性の高い（判別性能の高い）特徴を持つ特徴点が含まれていることが望ましい。
【０００９】
また、撮影機能と通信機能を備えた携帯電話、スマートフォン、デジタルカメラ等の携帯デバイスが増えており、それらの携帯デバイスで撮影した画像をクエリとし、ＰＣ／サーバで検索し、検索結果を携帯デバイスで表示するという用途も考えられてきている。その実現方法として、携帯デバイス内で局所特徴量を算出し、その局所特徴量をＰＣ／サーバに送信する方法がある。その場合、携帯デバイス内で算出された局所特徴量が多いと、ＰＣ／サーバへの送信に時間を要し、検索結果表示までの時間が長くかかることがあるため、局所特徴点の数は多くなり過ぎないことが望ましい。また、携帯デバイス、ＰＣ／サーバ、通信回線などの制限により、局所特徴量のサイズに上限がある場合もある。
【００１０】
これらのことから、抽出された局所特徴点をすべて利用するのではなく、特許文献１や特許文献２のように、一部の局所特徴点のみを利用することが考えられている。しかしながら、これらの方法は、クエリ画像から抽出された局所特徴点の中から安定して抽出される局所特徴点を絞り込む方法である。例えば、ある場所から撮影し得る複数のランドマークが存在する場合で、そのうちの１つをクエリ画像として検索する場合を考える。
【００１１】
その場合、それらのランドマークに共通して安定して抽出される局所特徴点から算出される局所特徴量が存在する場合、互いのランドマークを区別する事には役に立たない特徴量になってしまい、高い検索精度を得ることはできない。この様な、１枚の画像で閉じた特徴量の最適化には限界が有る。主に１枚の画像から得られる情報を使って特徴量を絞るだけでは、絞られた結果の特徴量が必ずしも、検索において判別性能の高い特徴量となっているとは限らない。
【００１２】
本発明は上記の課題に鑑みてなされたものであり、他の画像との判別性能が高く、検索に有意な局所特徴点および局所特徴量を得る技術を提供しようとするものである。
【課題を解決するための手段】
【００１３】
本発明の画像検索装置は以下の構成を備える。すなわち、画像を入力する入力手段と、前記画像の撮影の属性情報を取得する取得手段と、前記画像の画像特徴群を抽出する抽出手段と、前記画像と前記属性情報と前記画像特徴群を関連付けて記憶する記憶手段と、前記属性情報ごとの前記画像において共起する画像特徴の数が所定数よりも少ない画像特徴リストを前記属性情報ごとに生成する生成手段と、前記入力手段で入力された検索元画像について前記抽出手段で抽出した画像特徴群のうち、前記取得手段で取得した前記検索元画像の撮影の属性情報に対応する前記画像特徴リストに存在する画像特徴群に基づいて検索元画像の画像特徴として使用する画像特徴と使用を制限する画像特徴とに選別する選別手段と、前記検索元画像の画像特徴として使用すると選別された検索元画像の画像特徴群と、前記記憶手段に記憶されている登録画像の画像特徴群との類似比較を行う比較手段。
【発明の効果】
【００１４】
本発明によれば、他の画像との判別性能が高く、検索に有意な局所特徴点および局所特徴量を得ることができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施形態における画像検索装置の機能構成例を示すブロック図である。
【図２】第１の実施形態において、画像登録処理手順の一例を示すフローチャートである。
【図３】第１の実施形態において、縮小画像生成処理の一例を示す図である。
【図４】第１の実施形態において、特徴リストの一例を示す図である。
【図５】第１の実施形態において、特徴リストと登録画像が関連付けられて登録されたデータベースの一例を示す図である。
【図６】第１の実施形態において、差別化画像特徴リストの生成処理手順の一例を示すフローチャートである。
【図７】特徴量の共起値を計算する処理フローチャートである。
【図８】第１の実施形態において、画像検索処理手順の一例を示すフローチャートある。
【図９】第１の実施形態において、第一特徴抽出リストから差別化画像特徴量を優先して第二特徴抽出リストに追記する処理フローを示すフローチャートである。
【図１０】第１の実施形態において、画像特徴比較処理手順の一例を示すフローチャートである。
【図１１】第２の実施形態における画像検索システムの機能構成例を示すブロック図である。
【図１２】第２の実施形態の画像検索システムにおける画像検索処理手順の一例を示すフローチャートである。
【図１３】第２の実施形態において、差別化画像特徴リストの更新処理の一例を示すフローチャートである。
【図１４】第２の実施形態において、差別化画像特徴リストの更新設定のためのユーザインタフェースの一例である。
【図１５】差別化画像特徴リストの一例
【図１６】画像属性データの一例
【発明を実施するための形態】
【００１６】
（第１の実施形態）
以下、本発明の第１の実施形態について、図面を参照しながら説明する。第１の実施形態は、検索クエリ画像から画像特徴抽出を行い、その画像特徴群を使って検索を行い、検索結果を表示する画像検索システムの例である。
【００１７】
図１は、本実施形態における画像検索装置の機能構成例を示すブロック図である。図１に示す各構成における動作の詳細については、後述する。
【００１８】
図１において、画像入力部１０１は、登録画像およびクエリ画像（検索元画像）の入力を行う。画像特徴算出部１０２は、画像入力部１０１から入力された登録画像およびクエリ画像の画像特徴群を算出する。
【００１９】
差別化画像特徴リスト生成部１０３は、例えばＧＰＳによる位置情報や、それに加え時間情報、季節などの属性情報に合致した被写体オブジェクト群の画像を予め用意する。そしてそれらの画像に対し、被写体オブジェクト単位での画像特徴の共起性を求める。そして、共起性の低い画像特徴から順に採用する事により、同じ属性情報に対応する画像間で判別性能が高い差別化画像特徴リスト生成を行う。
【００２０】
画像特徴選別部１０４は、差別化画像特徴リストに有る判別性能が高い画像特徴群を参照し、クエリ画像の画像特徴群のうち差別化画像特徴リストに有る画像特徴群を画像特徴比較部１０５の処理に優先的に使用するように画像特徴群を選別する。
【００２１】
画像特徴比較部１０５は、画像特徴選別部１０４で選別されたクエリ画像の画像特徴群を用いて画像特徴比較を行う。画像特徴比較結果表示部１０６は、画像特徴比較部１０５の画像特徴比較結果を表示する。記憶部１０７は処理中のデータを記憶する他、画像特徴記憶にも用いるメモリ・ＨＤＤ等である。
【００２２】
なお、これら各構成は、不図示のＣＰＵにより統括的に制御されている。
【００２３】
尚、ＣＰＵはプログラムを実行することで各種の手段として機能することが可能である。なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。
【００２４】
［画像登録処理］
図２は、第１の実施形態の画像検索装置における画像登録処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【００２５】
まず、ステップＳ２０１において、画像入力部１０１を介して登録画像が入力される。入力された画像は、記憶部１０７に保存される。
【００２６】
次に、画像特徴算出部１０２において、ステップＳ２０２からステップＳ２０７の処理が行われる。まずステップＳ２０２で、入力された登録画像から輝度成分を抽出し、抽出した輝度成分に基づいて輝度成分画像を生成する。
【００２７】
次にステップＳ２０３で、輝度成分画像を倍率（縮小率）ｐに従って順次縮小することを繰り返し、オリジナルのサイズの画像から段階的に縮小した、オリジナルの画像を含めてｎ枚の縮小画像を生成する。ここで、倍率ｐ及び縮小画像の枚数ｎは予め決められているものとする。
【００２８】
図３は、縮小画像生成処理の一例を示す図である。図３に示す例は、倍率ｐが「２の−（１／４）乗」、縮小画像の枚数ｎが「９」の場合である。もちろん、倍率ｐは必ずしも「２の−（１／４）乗」で無くとも良い。図３において、符号３０１はステップＳ２０２で生成された輝度成分画像である。符号３０２は当該輝度成分画像３０１から倍率ｐに従って再帰的に４回の縮小処理を行って得られた縮小画像である。そして、符号３０３は当該輝度成分画像３０１から倍率ｐに従って８回縮小された縮小画像である。
【００２９】
この例では、縮小画像３０２は輝度成分画像３０１が１／２に縮小された画像となり、縮小画像３０３は輝度成分画像３０１が１／４に縮小された画像となる。尚、画像を縮小する方法は、第１の実施形態では、線形補間による縮小方法により縮小画像を生成するものとする。画像の縮小をその他の方法で行っても良い。
【００３０】
次に、ステップＳ２０４では、ｎ枚の縮小画像の各々に画像の回転があってもロバスト（ｒｏｂｕｓｔ）に抽出されるような局所的な特徴点（局所特徴点）を抽出する。この局所特徴点の抽出方法として、第１の実施形態ではＨａｒｒｉｓ作用素を用いる（非特許文献１：Ｃ．Ｈａｒｒｉｓ  ａｎｄ  Ｍ．Ｊ．  Ｓｔｅｐｈｅｎｓ，  “Ａ  ｃｏｍｂｉｎｅｄ  ｃｏｒｎｅｒ  ａｎｄ  ｅｄｇｅ  ｄｅｔｅｃｔｏｒ，”  Ｉｎ  Ａｌｖｅｙ  Ｖｉｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，  ｐａｇｅｓ  １４７−１５２，  １９８８．参照）。
【００３１】
具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値がしきい値以下の場合には局所特徴点として抽出しないようにする。
【００３２】
尚、局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限らず、どのような特徴点抽出方法でも適用可能である。
【００３３】
次に、ステップＳ２０５で、ステップＳ２０４で抽出された局所特徴点の各々について、画像の回転があっても不変となるように定義された特徴量（局所特徴量）を算出する。この局所特徴量の算出方法として、第１の実施形態ではＬｏｃａｌ  Ｊｅｔ及びそれらの導関数の組み合わせを用いる（Ｊ．Ｊ．Ｋｏｅｎｄｅｒｉｎｋ  ａｎｄ  Ａ．Ｊ．ｖａｎ  Ｄｏｏｒｎ，  “Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ  ｏｆ  ｌｏｃａｌ  ｇｅｏｍｅｔｒｙ  ｉｎ  ｔｈｅ  ｖｉｓｕａｌ  ｓｙｓｔｅｍ，”  Ｒｉｏｌｏｇｉｃａｌ  Ｃｙｂｅｒｎｅｔｉｃｓ，  ｖｏｌ．５５，  ｐｐ．３６７−３７５，  １９８７．参照）。
【００３４】
具体的には、以下の式（１）により局所特徴量Ｖを算出する。
【００３５】
【数１】
2014134858.tif 000003
【００３６】
ただし、式（１）の右辺で用いている記号は、以下に示す式（２）から式（７）で定義される。ここで、式（２）右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は式（３）で定義された変数Ｌｘのｘに関する偏導関数、式（７）は式（４）で定義されたＬｙのｙに関する偏導関数である。
【００３７】
【数２】
2014134858.tif 000004
【００３８】
尚、局所特徴量を算出可能な方法であれば、上述したような特徴量算出方法に限らず、どのような特徴量算出方法でも適用可能である。
【００３９】
次に、ステップＳ２０６で、ステップＳ２０５で算出された局所特徴量の各々について、量子化を行い、ラベル値を付与する。第一の実施形態で使用している局所特徴量、すなわち、Ｌｏｃａｌ  Ｊｅｔおよびそれらの導関数の組み合わせにより、１つの局所特徴点からＮ次元の局所特徴量が算出される。ここでは、各次元について、Ｋ個に量子化を行う。ここで、ＮおよびＫはあらかじめ決められているものとする。
【００４０】
具体的には以下の式（８）により、量子化を行う。
【００４１】
Ｑｎ＝（Ｖｎ＊Ｋ）／（Ｖｎｍａｘ−Ｖｎｍｉｎ＋１）      ・・・（８）
ここで、Ｑｎは、Ｎ次元のうちのｎ番目の次元の特徴量Ｖｎを量子化した値である。ＶｎｍａｘとＶｎｍｉｎはそれぞれｎ番目の次元の特徴量の取りうる値の最大値、および、最小値である。
【００４２】
各次元についての量子化を行った後、以下の式（９）により、ラベル化を行う。
【００４３】
【数３】
2014134858.tif 000005
【００４４】
尚、量子化、ラベル化可能な算出方法であれば、上述したような算出方法に限らずに、どのような量子化、ラベル化方法でも適用可能である。
【００４５】
次に、ステップＳ２０７では、それらの特徴量、および、量子化ラベルを、画像特徴リストとしてまとめる。図４は、画像特徴リストの一例である。量子化ラベルをキーとしてリストを生成する。１つの量子化ラベルに複数の画像特徴リストが関連付けられることもある。
【００４６】
尚、第一の実施形態では、特徴量、および、量子化ラベルを、画像特徴リストとしてまとめているが、量子化ラベルのみを画像特徴リストとしてまとめることも可能である。また、特徴点の座標などのその他の情報を画像特徴リストに含めることも可能である。
【００４７】
最後に、ステップＳ２０８で、画像特徴リストを登録画像と関連付けて記憶部１０７に登録する。図５は、画像特徴リストが登録画像と関連付けて登録されたデータベースの一例である。量子化ラベルをキーとしてデータベースに登録する。また、登録画像には画像ＩＤを割り振り、そのＩＤをデータベースに登録する。同じ画像を複数回登録した場合、類似する画像を登録した場合など、１つの量子化ラベルに複数の画像ＩＤが関連付けられることもある。また、使用されない量子化ラベルが存在することもある。
【００４８】
［差別化画像特徴リスト生成処理］
図６は、画像検索装置の差別化画像特徴リスト生成部１０３における差別化画像特徴リスト生成処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【００４９】
差別化画像特徴リストとは、例えばＧＰＳによる位置情報や、それに加え時間情報、季節などの前記属性情報に対応する被写体オブジェクト単位で画像特徴の共起性を求め、共起性の低さをもとにまとめた、判別性能が高く差別化が可能な画像特徴リストである。ステップＳ２０７で作成した画像特徴リストに載っている画族特徴群の部分リストである。共起値の低い画像特徴を順にソートしておき、閾値以下の共起値の部分を差別化画像特徴リストとしてもよい。
【００５０】
差別化画像特徴リスト生成部１０３は、それぞれの属性情報に対応する被写体オブジェクト群の画像を予め用意し、被写体オブジェクト単位での画像特徴の共起性を画像特徴の記憶情報を参照して求める。そして、共起性の低い画像特徴から順に採用する事により、同じ属性情報に対応する画像間で判別性能が高い画像特徴リストを生成する。
【００５１】
画像特徴選別部１０４は、差別化画像特徴リストに有る画像特徴群を参照し、クエリ画像の画像特徴群から差別化画像特徴リストに載っている判別性能が高い画像特徴群を選別する。
【００５２】
本実施形態では、撮影環境の情報取得にＧＰＳを用いる例を示す。位置の属性情報を用いている。またこの例では差別化画像特徴リストを生成する対象をランドマークとする。ランドマークが存在する位置のＧＰＳ情報とそのランドマーク画像を対にした知識ベースを構築しておく。
【００５３】
まず、ステップＳ６０１において、知識ベースを用いて、クエリ画像のＧＰＳ情報に基づき近傍のランドマーク群を推定する。  そして、ステップＳ６０２において、近傍のランドマーク群の画像特徴群を得る。ステップＳ６０３において、差別化画像特徴を生成する対象である被写体オブジェクトとしてのランドマークの単位で特徴の共起値を算出する。
【００５４】
図７は、ステップＳ６０３の共起値を算出するための処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【００５５】
ステップＳ７０１にて差別化画像特徴を生成する際の基準となるＧＰＳ情報を得る。
このＧＰＳ情報は、予め有名なランドマークのあるＧＰＳ情報のリストを得て置き、そのそれぞれのＧＰＳ情報に対して、図７の処理を行う事で、数多くのランドマークに対応することが可能である。もちろん、ＧＰＳ情報を適切なインターバルで自動生成しても良い。
ステップＳ７０２にて基準となるＧＰＳ値の近傍のランドマークを得てその個数をＭ個とする。予めランドマークとＧＰＳ値と画像データと画像特徴群を対応付けた知識ベースを準備しておき、基準となるＧＰＳ値との距離が予め定めた値以内のランドマークを求めれば良い。ＧＰＳ情報は高さ情報も含むが、その項は含んでいても含まなくとも構わない。
【００５６】
ステップＳ７０３にてＭ個のランドマーク画像に対応する画像特徴の個数等の下記の値を上記知識データからメモリへ読み込む。
・各ランドマークｉに対応する画像の個数をＮｕｍＰ（ｉ）    ｉ＝１，…，Ｍ
・ランドマークｉに対応する画像を  Ｐｉｃ［ｉ］  ［ｊ］    ｊ＝１，…，  ＮｕｍＰ（ｉ）
・各画像の特徴の個数をｎｕｍＦｅａｔ［  Ｐｉｃ［ｉ］  ［ｊ］  ］
・各画像のｋ番目の特徴をＦｅａｔ［  Ｐｉｃ［ｉ］  ［ｊ］  ］  ［ｋ］    ｋ＝１，…，  ｎｕｍＦｅａｔ［  Ｐｉｃ［ｉ］  ［ｊ］  ］
また、ｉ＝  １    とし、特徴毎の共起値ＣＯ［］＝０  で初期化する。
尚、共起値ＣＯの配列部［］には、特徴量の量子化ラベルの値が入る。
【００５７】
ステップＳ７０４にて比較基準と成る画像を現すカウンタがＭ以下であるか、即ち比較基準となるランドマーク画像の残りがあるかどうかを判断し、無いと判断すれば処理を終了する。
【００５８】
ステップＳ７０４からステップＳ７１３の処理は、比較基準のランドマークをＭ個まで切り替えながら、ランドマークに対する画像群を切り替え、更に画像の特徴量の参照をするための  Ｆｅａｔ［  Ｐｉｃ［ｉ］  ［ｊ］  ］  ［ｋ］  を生成する。
【００５９】
ランドマークに対応する画像全ての特徴量を基準に、その他の画像がどの位同じ特徴量をランドマーク単位で含んでいるかを求める処理で有る。
【００６０】
尚、特徴量は全て量子化を行い、量子化ラベルで扱う。（この実施形態では、特徴量の同一性ではなく、量子化ラベルの同一性で共起性を求める）
ステップＳ７０５にて、ランドマークｉに対応する画像群の何番目の画像であるかを示すｊを１に初期化する。
【００６１】
ステップＳ７０６にてｊがランドマークｉに対応する画像群の個数を超えていないか判断し、超えていればステップＳ７０７にて、次のランドマーク画像にｉを１つ増して変更させ、ステップＳ７０４に戻る。
【００６２】
ステップＳ７０６にてｊがランドマークｉに対応する画像群の個数を超えていないと判断したら、ステップＳ７０９にて特徴量を参照するためのカウンタｋを１に初期化する。
【００６３】
ステップＳ７０９ではｋがランドマークｉの関連するｊ番目画像の特徴量個数を超えていないか判断する。そして、超えていなければステップＳ７１１の比較先のランドマーク画像を表すｉ２を１に初期化し、ステップＳ７１２以降のステップＳ７２１までの参照比較先の特徴量Ｆｅａｔ［  Ｐｉｃ［ｉ２］  ［ｊ２］  ］  ［ｋ２］  を参照するための処理に移る。
【００６４】
ステップＳ７０９ではｋがランドマークｉの関連するｊ番目画像の特徴量個数を超えたと判断した場合にはステップＳ７１０にて関連する画像を表すｊを１つ増加させ、再びステップＳ７０６に戻る。
【００６５】
ステップＳ７１２では、比較するランドマークを表すｉ２がランドマーク数Ｍを超えていないか判断する。
【００６６】
超えている場合には、ステップＳ７１３にてｋを１つ増加させ基準となるランドマークの特徴量を更新する処理に戻る。
【００６７】
もし、ランドマークｉの画像特徴群を全て比較し終えた場合には、ステップＳ７１３、７０９、７１０、７０６を経てステップＳ７０７にて次のランドマークを比較基準に更新する事に成る。
【００６８】
ステップＳ７１２からステップＳ７２４の処理は、比較先となるランドマークをＭ個まで切り替えながら、ランドマークに対する画像群を切り替え、更に画像の特徴量の参照用の  Ｆｅａｔ［  Ｐｉｃ［ｉ２］  ［ｊ２］  ］  ［ｋ２］  を生成する。そして参照する特徴量をステップＳ７２２で比較処理を行う。
【００６９】
ランドマークに対応する画像全ての特徴量を基準に、その他の画像がどの位同じ特徴量をランドマーク単位で含んでいるかを求める処理で有る。
【００７０】
ステップＳ７１４にて、ランドマークｉ２に対応する画像群の何番目の画像であるかを示すｊ２を１に初期化し、更にｉ２にて既にどれかｉ２に関連する画像で共起値がインクリメントされているかどうかを表すＦｌａｇを０（未インクリメント）に初期化する。
ステップＳ７１５にてｊ２がランドマークｉ２に対応する画像群の個数を超えていないか判断し、超えていればステップＳ７１６にてＦｌａｇが１に成っているかどうかを判断し、１になっていれば特徴量量子化値に対応する共起値を１つ増加させる。
【００７１】
そして、ステップＳ７１８にて次のランドマーク画像にｉを１つ増して変更させ、ステップＳ７１２に戻る。
【００７２】
ステップＳ７１５にてｊ２がランドマークｉ２に対応する画像群の個数を超えていないと判断したら、ステップＳ７１９にて特徴量を参照するためのカウンタｋ２を１に初期化する。
【００７３】
ステップＳ７２０ではｋ２がランドマークｉ２の関連するｊ２番目画像の特徴量個数を超えていないか判断する。そして、超えていなければステップＳ７２２で特徴量  Ｆｅａｔ［  Ｐｉｃ［ｉ］  ［ｊ］  ］  ［ｋ］  と  Ｆｅａｔ［  Ｐｉｃ［ｉ２］  ［ｊ２］  ］  ［ｋ２］  が同じで有るか判断する。同じで有ればステップＳ７２３にてＦｌａｇを１にし既に同じ特徴が有ったとする。ステップＳ７２２で同じ特徴でないと判断した場合には、ステップＳ７２４にてｋ２を１つ増加させステップＳ７２０へ戻る。
もし、ランドマークｉ２の画像特徴群を全て比較し終えた場合には、ステップＳ７２４、１６２０を経て１６２１にて次のランドマークを比較基準に更新する事に成る。
【００７４】
これにより、共起値ｃｏｌ［］には、［］で示される特徴量量子化値に対する共起値が０からＭ＊Ｍの値で格納される。
【００７５】
更に、ｃｏｌ［］をＭ＊Ｍで割り、０から１．０までの値に正規化する。
【００７６】
０は特徴量が現われない事を意味するので、０より大きい共起値を小さい物からソートし、共起値に対応する特徴量量子化値も合わせてソートする。この特徴量量子化値をソートした結果が差別化画像特徴を生成する情報源となる。
【００７７】
この共起値が大きい場合、極端な場合で１．０の場合には、どのランドマークにも必ず共通に存在する特徴であり、ランドマークを弁別するのには役に立ちにくい事を表す。逆に、共起値が小さい場合にはランドマークを弁別するのに役立つ事を意味する。本実施形態では、差別化画像特徴として共起値の小さい特徴を積極的に採用する。
【００７８】
そこで、ステップＳ６０４において、共起値の低い順、即ち昇順で量子化ラベルをソートする。
【００７９】
ステップＳ６０５において、閾値未満の共起値の特徴（量子化ラベル）のリストを作成し、ステップＳ６０６において、差別化画像特徴リストとして出力・蓄積する。判別性能があると判断できる共起値を閾値に設定している。
【００８０】
図１５は、差別化画像特徴リストの一例である。
【００８１】
もちろん、ステップＳ６０５の処理で閾値を使わずに、共起値の小さいものから所定個数を選ぶとしても良い。もちろん、基準となるＧＰＳ情報の周辺に多くのランドマークが存在する場合には、少なくともそのランドマークの数以上の個数を用いる事が好ましい。更に、そのランドマークの数から所定個数を変更、例えば有る数を乗じた数とする事も可能である。
【００８２】
差別化画像特徴リスト生成のタイミングとしては、電源がＯＮや撮影モードや画像検索モードになった場合に現在のＧＰＳ情報を用いて、オンディマンド生成を行っても良い。
【００８３】
もちろん、予め複数の差別化画像特徴リストを生成しておき、ＧＰＳ情報に合わせて差別化画像特徴リストを選択する方法もある。撮影位置のＧＰＳ情報を、カメラで有る程度の大きさに映る限界を考慮し１００ｍ四方の区画で適切に量子化しておき、その量子化単位で差別化画像特徴リストを生成しておく事で可能である。
【００８４】
更に、差別化画像特徴リストの精度を高め、且つ個々の差別化画像特徴リストのサイズを小さくする方法がある。各ランドマークに対し、撮影される方向ごとに画像を用意しておく。撮影位置のＧＰＳ情報と近傍の各ランドマークの位置のＧＰＳ情報から、撮影される方角を得て、共起値を算出する画像を切り替える。これにより、撮影位置から写り得るランドマークの構図に即した差別化画像特徴リストを生成可能となる。撮影される可能性の有るランドマークの数も減る事から、個々の差別化画像特徴リストのサイズを小さくする事が可能である。
【００８５】
但し、もし、ランドマークが存在する位置のＧＰＳ情報とそのランドマーク画像を用意出来ない場合には、ＧＰＳ情報とコンパスによる撮影方位情報の組み合わせを代用する。即ち、そのＧＰＳ近傍から、全方位３６０度を例えば４５度単位、即ち８方向の撮影画像に分類し、これら分類に対して特徴の共起値を求めても構わない。
【００８６】
ステップＳ６０３において、ランドマークの単位で特徴の共起値を算出したが、簡易に行う場合には、ランドマーク単位ではなく、ランドマークを含む画像全体での共起値を代用しても良い。但し、この場合は、精度が下がる可能性が有る。
【００８７】
また、人にランドマークの画像を提示し、ランドマークの特色のある領域を指定させ、他方、画像特徴抽出処理により特徴点を検出し、人の指定した領域に存在する特徴点のみを用いて図６の処理を行う事でより精度の高い差別化画像特徴量リストを生成可能である。更に、その差別化画像特徴リストに対応する特徴点とその共起値を可視化表示し、人が選別を行う事で、よりコンパクトで人の感覚に近い差別化画像特徴リストを作成する事が可能となる。人が見てランドマークの特色を現す部分に関連する特徴点から算出される画像特徴群と関連付けられている画像の記憶数あるいは画像特徴群の共起値を表示しそれを考慮して差別化画像特徴リストを生成しても良い。
【００８８】
［画像検索処理］
図８は、第１の実施形態の画像検索装置における画像検索処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【００８９】
まず、ステップＳ８０１において、画像入力部１０１を介してクエリ（検索元）画像が入力される。入力された画像は、記憶部１０７に保存される。
【００９０】
次に、画像特徴算出部１０２において、ステップＳ８０２からステップＳ８０７の処理が行われる。本処理は、画像登録処理におけるステップＳ２０２からステップＳ２０７の処理と同等であるため、詳細の説明は省略する。
【００９１】
但し、画像特徴抽出リストに関しては、２種類の画像特徴抽出リストを使用する。クエリ画像から抽出した特徴をそのまま記憶する第一特徴抽出リストと、差別化画像特徴リストと一致する画像特徴を画像特徴比較部１０５による比較処理に優先して使用するように反映した特徴を記憶する第二特徴抽出リストである。
【００９２】
即ち、画像登録処理における画像特徴抽出リストは、画像検索処理における第一特徴抽出リストに相当する。第二特徴抽出リストは最終的な検索比較処理に用いる特徴を記憶するために使用する。
【００９３】
次に、ステップＳ８０８において、抽出されたクエリ画像の特徴数が、検索時に使用可能な特徴の最大数よりも多い場合、ステップＳ８０９に進み、最大数以下の場合は、ステップＳ８１４に進む。
【００９４】
最大数以下としたのは検索に用いる画像特徴の数の上限を制御し検索処理時間のばらつきを少なくすためである。もちろん最大数以下の場合でもステップＳ８０９に進んでも良好な結果が得られる場合も有るが、そもそもクエリ画像から取得される特徴自体が非常に少ない場合には特徴数が減りすぎないような注意が必要である。
【００９５】
尚、第１の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。
【００９６】
ステップＳ８０９では、差別化画像特徴リストに載っている量子化ラベルと同じ量子化ラベルを第二特徴抽出リストに追記する。第一特徴抽出リストから、差別化画像特徴リストに載っていない量子化ラベルを削除して判別性能の高い画像特徴を第一特徴抽出リストに残すように処理しても良い。その他、第一特徴抽出リストに、差別化画像特徴リストに載っている量子化ラベルかどうか識別子を追記しても良い。
【００９７】
ここで、図９は、ステップＳ８０９における差別化画像特徴リストに載っている量子化ラベルと同じ量子化ラベルを第二特徴抽出リストに追記する処理の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。本処理は、画像特徴選別部１０４による処理である。
【００９８】
まず、ステップＳ９０１において、差別化画像特徴リストの１番目の量子化ラベルを処理対象量子化ラベルに設定する。次に、ステップＳ９０２において、処理対象量子化ラベルがクエリ画像の画像特徴リストに存在する場合はステップＳ９０３に進み、存在しない場合はステップＳ９０５に進む。
【００９９】
ステップＳ９０３では、処理対象量子化ラベルを第二特徴抽出リストに追記する。そして、ステップＳ９０４において、クエリ画像の特徴数が、検索時に使用可能な特徴の最大数以下の場合にステップＳ９０５に進み、最大数になった場合は処理を終了する。
【０１００】
尚、第１の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、ステップＳ８０８と同様に、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。
【０１０１】
ステップＳ９０５では、差別化画像特徴リストに未処理の量子化ラベルが存在する場合はステップＳ９０６に進み、存在しない場合は、処理を終了する。
【０１０２】
ステップＳ９０６では、差別化画像特徴リストの次の量子化ラベルを処理対象量子化ラベルに設定し、ステップＳ９０２に戻る。
【０１０３】
ステップＳ８０９の処理終了後、ステップＳ８１０において、第二特徴抽出リストの特徴数が検索時に使用可能な特徴の最小数よりも少ない場合、ステップＳ８１１に進み、最小数より多い場合は、ステップＳ８１２に進む。
【０１０４】
特徴点ベースの画像検索において、図１０の様な投票方式のマッチングおいては少なくとも１０点ぐらいの特徴点がランドマークの領域にないと情報が不足する事が経験上判っている。そこで、差別化画像特徴リストにより最小数未満となる場合には、ステップＳ８１１により画像特徴を補充する。
【０１０５】
尚、第１の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、ステップＳ８０８と同様に、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。
【０１０６】
ステップＳ８１１では、クエリ画像の第一特徴抽出リストのうち、まだ第二特徴抽出リストに入れていない特徴量の安定性を評価する。そして、安定度の高い特徴量を第二特徴抽出リストに追加することにより、クエリ画像の特徴点数を検索時に使用可能な特徴の最大数を超えない数まで補充する。もちろん、第二特徴抽出リストの画像特徴数が最小数を満たさない場合には、その他の画像特徴を用いる。クエリ画像の特徴量の安定性を利用した特徴点数の選別方法については、特許文献２による方法を用いることで可能となる。
【０１０７】
すなわち、解析対象の画像を回転或いは縮小する等の画像処理を行う事による、特徴点の位置および特徴量の特徴間距離を求め、これを安定性の指標とする。特徴点の位置の変動が大きいと明らかに特徴量は変化してしまうため、まず、特徴点の位置が定められた閾値範囲内に収まる特徴点に絞る。そして、回転或いは縮小する等の画像処理の前後での特徴量の変化、即ち特徴量間距離を安定性の指標とする。そして、距離の小さな特徴点ほど安定性の高いものと見なし、これを距離の昇順でソートし、特徴点数が、検索時に使用可能な特徴点数に達するまで、安定度の高い特徴量から優先してクエリ画像の画像特徴リストを作成する。
【０１０８】
ステップＳ８１２では、第二特徴抽出リストの特徴数が検索時に使用可能な特徴の最大数よりも多い場合にステップＳ８１３に進み、最大以下の場合は、ステップＳ８１５に進む。
【０１０９】
ステップＳ８１３では、差別化画像特徴のみからなる第二特徴抽出リストの特徴から、共起値の小さいものから優先して画像特徴比較部１０５による比較処理で使用可能な最大数までの特徴を選択し、改めて第二特徴抽出リストに格納する。もちろん、性能は低くなるが、ランダムに画像特徴比較部１０５による比較処理で使用可能な最大数までの特徴を選択しても良い。
【０１１０】
ステップＳ８１４では、第一特徴抽出リストの特徴数が最大数に足りていないので、全特徴を採用し、第二特徴抽出リストへ全てコピーする。
【０１１１】
ステップＳ８１５では、記憶部１０７から画像特徴群を読み込み、画像特徴比較処理を行う。図１０は、ステップＳ８１５における画像特徴比較処理の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【０１１２】
まず、ステップＳ１００１において、登録画像数分の投票箱を用意し、０でリセットする。次に、ステップＳ１００２において、第二特徴抽出リストの１番目の量子化ラベルを処理対象量子化ラベルに設定する。
【０１１３】
次に、ステップＳ１００３において、処理対象量子化ラベルと関連付けて登録されている画像ＩＤがある場合はステップＳ１００４に進み、存在しない場合はステップＳ１００５に進む。  ステップＳ１００４では、処理対象量子化ラベルと関連付けて登録されている画像ＩＤの投票箱に１票投票する。
【０１１４】
ステップＳ１００５では、第二特徴抽出リストに未処理の量子化ラベルが存在する場合はステップＳ１００６に進み、存在しない場合は、ステップＳ１００７に進む。
【０１１５】
ステップＳ１００６では、第二特徴抽出リストの次の量子化ラベルを処理対象量子化ラベルに設定し、ステップＳ１００３に戻る。
【０１１６】
次に、ステップＳ１００７で投票数の多い順に投票結果をソートし、ステップＳ１００８で投票数の多い方から所定数の画像ＩＤを画像特徴比較結果リストとして出力する。
【０１１７】
最後にステップＳ８１６で画像特徴比較結果を表示する。画像特徴比較結果の表示にあたっては、画像ＩＤと対応する画像を合わせて表示する。
【０１１８】
もし、ランドマークのみを検索する場合には、ランドマークは移動しないのでＧＰＳ情報は一意であり、図１６の画像属性データを参照し、現在の検索装置のＧＰＳ情報から撮影しえる範囲のＧＰＳ情報を持つ画像に絞り込む処理をステップＳ１００８で行うと良い。もちろん、ランドマークの様に移動せず、一意のＧＰＳ情報と対応づけられるものであれば、同様な処理が可能である。
【０１１９】
以上のように第１の実施形態では、検索クエリ画像から抽出した画像特徴群からＧＰＳ情報を用いたランドマーク固有の画像特徴を記述した差別化画像特徴リストの差別化度の高い画像特徴を優先して採用した。検索クエリ画像から抽出した画像特徴群のうち差別化画像特徴リストに無く且つ画像特徴の安定度の低い画像特徴ほど使わないようにした。これにより、判別性能の高い特徴量に絞り込む事が可能となった。し、選別した画像特徴群を使って検索を行うようにした。これにより、検索時に使用可能な特徴点の数に制限がある場合であっても、検索精度の劣化を少なく抑えた検索を行うことができる。
【０１２０】
（第２の実施形態）
以下、本発明の第２の実施形態について、図面を参照しながら説明する。第２の実施形態は、画像検索端末である検索クライアント（要求元）で撮影することにより検索クエリ画像を生成して画像特徴群を抽出し、その画像特徴群を画像検索サーバに送って画像検索サーバ内で検索を行い、検索クライアントに検索結果を表示する画像検索システムの例である。画像検索クライアントは、検索元画像を提供する検索元画像提供装置である。画像検索サーバへの画像登録処理は、第１の実施形態と同様の方式により行う。
【０１２１】
図１１は、本実施形態における画像検索システムの機能構成例を示すブロック図である。図１１に示す各構成における動作の詳細については、後述する。
【０１２２】
図１１における画像検索システムは、検索クライアント１１０１と画像検索サーバ１１０２からなる。検索クライアント１１０１と画像検索サーバ１１０２にはそれぞれ通信部１１１２、１１２０があり、該通信部１１１２、１１２０の間はネットワーク（有線、無線）で接続されており、該ネットワークを介して、情報通信を行う。
【０１２３】
検索クライアント１１０１において、画像取得部１１０３は、カメラ撮影などにより、クエリ（検索元）画像の取得を行う。撮影環境情報送信部１１０４は、本実施形態ではＧＰＳ情報を画像検索サーバ１１０２へ送信する。
【０１２４】
差別化画像特徴リスト受信部１１０５は、画像検索サーバ１１０２で生成した差別化可能な画像特徴リストを通信部１１１２を介して受信する。
【０１２５】
例えば、現在の撮影場所から写し得る複数のランドマークが有り、それらのランドマークを区別するのに役立つ特徴量を差別化画像特徴リストで受け取る事を考える。そのために、検索クライアント１００１はＧＰＳ情報を画像検索サーバ１１０２へ送信し、ＧＰＳ情報と対応付けられた差別化画像特徴リストを、通信部１１１２を介して受信する。差別化画像特徴リストには、例えばＧＰＳ情報と日時情報を用い、その場所その季節その時刻で写り得る被写体群を想定し、それらの区別に役立つ差別化画像特徴を記述する事で、検索精度を大きく向上可能である。
【０１２６】
画像特徴算出部１１０６は、画像取得部１１０３で取得したクエリ画像の画像特徴群を算出する。画像特徴選別部１１０７は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴送信部１１０８は、画像特徴選別部１１０７で選別された画像特徴群を、通信部１１１２を介して画像検索サーバ１１０２に送信する。画像特徴比較結果取得部１１０９は、画像検索サーバ１１０２で実行された画像特徴比較結果の受信を、通信部１１１２を介して行う。画像特徴比較結果表示部１１１０は、画像特徴比較結果取得部１１０９で取得した画像特徴比較結果を表示する。記憶部１１１１は検索クライアントにおいて、処理中のデータを記憶するメモリ・ＨＤＤ等である。
【０１２７】
画像検索サーバ１１０２において、差別化画像特徴リスト生成部１１１４は、複数の登録画像から算出された画像特徴群の中から、同じ属性情報に対して出現頻度が低く、同じ撮影環境情報に対応する画像間で判別性能が高い画像特徴リストを生成する。
【０１２８】
差別化画像特徴リスト送信部１１１５は、撮影環境情報受信部１１１３から得た撮影環境情報に適合する、差別化可能な画像特徴リストの送信を、通信部１１２０を介して検索クライアント１１０１に対して行う。画像特徴受信部１１１６は、検索クライアント１１０１で算出され、画像特徴選別部１１０７で優先採用されたクエリ画像の画像特徴群を、通信部１１２０を介して受信する。画像特徴比較部１１１７は、画像特徴受信部１１１６で受信したクエリ画像の画像特徴群を用いて画像特徴比較を行う。画像特徴比較結果送信部１１１８は、画像特徴比較部１１１７で実行された画像特徴比較の結果を、通信部１１２０を介して検索クライアント１１０１に送信する。記憶部１１１９は画像検索サーバにおいて、処理中のデータを記憶するメモリ・ＨＤＤ等である。
【０１２９】
尚、画像特徴群選別部１１０７は画像検索サーバ側にあっても良い。その場合、画像特徴抽出部１１０６で抽出したクエリ画像の画像特徴群を画像特徴群送信部１１０８が通信部１１１２を介して画像検索サーバ１１０２に送信する。そして、画像検索サーバ１１０２にある画像特徴群選別部１１０７は、クエリ画像の画像特徴群から、判別性能が高い画像特徴群を選別する。画像特徴群比較部１１１７は、画像検索サーバ１１０２側にある画像特徴群選別部１１０７で選別された画像特徴群を用いて画像特徴群比較を行う。画像検索処理手順のフローチャートでも、画像特徴群選別部１１０７が画像検索サーバ１１０２側にある場合の処理を行うことになる。
【０１３０】
なお、これら各構成は、不図示のＣＰＵにより統括的に制御されている。
【０１３１】
尚、ＣＰＵはプログラムを実行することで各種の手段として機能することが可能である。なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能してもよい。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されてもよい。また、ＣＰＵは単一のものである必要はなく、複数であってもよい。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていてもよいし、物理的に異なる複数のコンピュータに配置されていてもよい。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されてもよい。
【０１３２】
［差別化画像特徴リスト生成処理］
第２の実施形態の画像検索システムの画像検索サーバの差別化画像特徴リスト生成部１１１４における差別化画像特徴リスト生成処理は、第１の実施形態の画像検索装置の差別化画像特徴リスト生成部１０３における差別化画像特徴リスト生成処理と同等である。従って、詳細の説明は省略する。
【０１３３】
尚、検索するたびに差別化画像特徴リストを受信する事は処理負荷が増すので、同じＧＰＳ情報の場合には検索クライアント１１０１において差別化画像特徴リストをキャッシュする事が好ましい。
【０１３４】
［画像検索処理］
図１２は、第２の実施形態の画像検索システムにおける画像検索処理手順の一例を示すフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【０１３５】
まず、ステップＳ１２０１では、検索クライアント１１０１において、カメラ撮影などにより、画像取得部１１０３を介してクエリ（検索元）画像を取得する。取得した画像は、記憶部１１１１に保存される。
【０１３６】
次に、画像特徴算出部１１０６において、ステップＳ１２０２からステップＳ１２０７の処理が行われる。本処理は、第１の実施形態の画像登録処理におけるステップＳ２０２からステップＳ２０７、もしくは、第１の実施形態の画像検索処理におけるステップＳ８０２からステップＳ８０７の処理と同等であるため、詳細の説明は省略する。
【０１３７】
次に、ステップＳ１２０８において、抽出されたクエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多い場合、ステップＳ１２０９に進み、最大数以下の場合は、ステップＳ１２１３に進む。
【０１３８】
尚、第２の実施形態では、クエリ画像の特徴点数が、検索時に使用可能な特徴点の最大数よりも多いかどうかで判定している。しかしながら、画像特徴リストを記憶部に格納する時のサイズが、検索時に使用可能なサイズの最大値よりも多いかどうかで判定するようにしてもよい。
【０１３９】
ステップＳ１２０９では、差別化画像特徴リストの更新処理を行う。
【０１４０】
ここで、図１３は、差別化画像特徴リストの更新処理の一例を示すステップＳ１２０９の詳細なフローチャートである。フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。
【０１４１】
まず、ステップＳ１３０１では、検索クライアント１１０１において、差別化画像特徴リストの更新設定を確認する。この差別化画像特徴リストの更新設定は、検索時に更新するかどうかを設定する。また、検索時に更新する設定の場合は、どのネットワーク接続のときに更新するかを設定する。図１４は、差別化画像特徴リストの更新設定のためのユーザインタフェースの一例である。図１４のボタン１４０１では、検索時に更新するかどうかを設定し、ボタン１４０２では、どのネットワーク接続のときに更新するかを設定する。
【０１４２】
ステップＳ１３０２において、前回検索時とＧＰＳ情報に変更がある場合にはステップＳ１３０３に進み、変更がない場合は、現在保持している差別化画像特徴リストをキャッシュとしてそのまま使用するとし、更新処理を終了する。
【０１４３】
ステップＳ１３０３では、接続中のネットワークの確認を行い、ステップＳ１３０４において、更新対象ネットワークである場合はステップＳ１３０５に進み、更新対象ネットワークではない場合は、差別化画像特徴リストの更新処理を終了する。
【０１４４】
次に、ステップＳ１３０５で、差別化画像特徴リスト受信部１１０５が、通信部１１１２を介して画像検索サーバ１１０２から差別化画像特徴リストを取得する。最後に、ステップＳ１３０６において、ステップＳ１３０５で受信した差別化画像特徴リストを記憶部１１１１に保存し、差別化画像特徴リストの更新処理を終了する。
【０１４５】
ステップＳ１２０９の差別化画像特徴リストの更新処理終了後、ステップＳ１２１０からステップＳ１２１２にかけて、第一特徴抽出リストから安定特徴を優先して第二特徴抽出リストへ補充処理を行う。これらの処理は、第１の実施形態の画像検索処理におけるステップＳ８０９からステップＳ８１１の処理と同等であるため、詳細の説明は省略する。
【０１４６】
次にステップＳ１２１３では、クエリ画像から抽出され選別された画像特徴リストを、通信部１１１２を介して画像検索サーバ１１０２に送信する。
【０１４７】
ステップＳ１２１７では、画像検索サーバ１１０２において画像特徴比較処理を行う。本処理は、第１の実施形態の画像検索処理におけるステップＳ８１５の処理と同等であるため、詳細の説明は省略する。ステップＳ１２１８では、ステップＳ１２１２により得られた画像特徴比較結果を、通信部１１２０を介して検索クライアント１１０１に送信する。
【０１４８】
最後に、ステップＳ１２１９で画像特徴比較結果を表示する。本処理は、第１の実施形態の画像検索処理におけるステップＳ８１６の処理と同等である。
【０１４９】
以上のように第２の実施形態では、検索クライアントにおいて検索クエリ画像から抽出した画像特徴群のうち、差別化画像特徴を優先して画像検索の比較処理に使用するように選別し、選別した画像特徴群を画像検索サーバに送信し、画像検索サーバで検索を行うようにした。これにより、検索時に使用可能な特徴点の数に制限がある場合であっても、検索精度の劣化を少なく抑えた検索を行うことができる。
【０１５０】
（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【０１５１】
ＧＰＳ情報（撮影場所のカテゴリ）と日時を用いる事で、その場所その時期で撮影され得る動植物などを高精度に検索出来る差別化画像特徴リストを生成する事も可能である。また、天候情報や時間情報などで出現の確率がかわる夜行性の昆虫や動物の差別化画像特徴リストを生成する事も可能である。時間情報はもちろん、ローカルタイムで処理する必要がある。
【０１５２】
また更に、天気、気温、湿度などにより出現頻度の変わる昆虫や動物の差別化画像特徴リストを生成する事も可能である。
【０１５３】
建物でも、天気により開閉するドームなどの可動物がアピアランスを変える場合にも差別化画像特徴は役に立つ。
【０１５４】
高山性の動植物などは、ＧＰＳ情報の撮影高度情報を用いても良いが、気圧をその高度の推定に代用しても良い。
【０１５５】
またフラッシュの有無、マクロ撮影などのカメラ撮影モードのダイヤル設定を属性情報とし、良く撮影される被写体間で共起性の低い画像特徴群を求める事で、高精度に検索出来る差別化画像特徴リストを生成する事も可能である。
【０１５６】
望遠撮影では、近づくことの困難な鳥類などを撮影すると仮定して、鳥類同士での共起性の低い画像特徴群を求める事で、高精度に検索出来る差別化画像特徴リストを生成する事も可能である。もちろん、撮影被写体の被写体属性そのものを指定するカメラ撮影モードを指定できる場合には、その属性の有る画像から差別化画像特徴リストを生成する事も可能である。
【符号の説明】
【０１５７】
１０１  画像入力部
１０２  画像特徴算出部
１０３  差別化画像特徴リスト生成部
１０４  画像特徴選別部
１０５  画像特徴比較部
１０６  画像特徴比較結果表示部
１０７  記憶部
１１０１  検索クライアント
１１０２  画像検索サーバ
１１０３  画像取得部
１１０４  撮影環境情報送信部
１１０５  差別化画像特徴リスト受信部
１１０６  画像特徴算出部
１１０７  画像特徴選別部
１１０８  画像特徴送信部
１１０９  画像特徴比較結果取得部
１１１０  画像特徴比較結果表示部
１１１１  記憶部
１１１２  通信部
１１１３  撮影環境情報受信部
１１１４  差別化画像特徴リスト生成部
１１１５  差別化画像特徴リスト送信部
１１１６  画像特徴受信部
１１１７  画像特徴比較部
１１１８  画像特徴比較結果送信部
１１１９  記憶部
１１２０  通信部
【図１】
2014134858.tif 000006
【図２】
2014134858.tif 000007
【図３】
2014134858.tif 000008
【図４】
2014134858.tif 000009
【図５】
2014134858.tif 000010
【図６】
2014134858.tif 000011
【図７】
2014134858.tif 000012
【図８】
2014134858.tif 000013
【図９】
2014134858.tif 000014
【図１０】
2014134858.tif 000015
【図１１】
2014134858.tif 000016
【図１２】
2014134858.tif 000017
【図１３】
2014134858.tif 000018
【図１４】
2014134858.tif 000019
【図１５】
2014134858.tif 000020
【図１６】
2014134858.tif 000021