(57)【要約】【課題】  画像の特徴を精度良く算出する。【解決手段】  オブジェクトの撮影画像とオブジェクトに対する距離画像を入力する。入力した撮影画像の画像特徴を算出する。算出した画像特徴に基づいて、距離画像上での距離勾配を算出する。算出した距離勾配に基づいて、算出した画像特徴を評価する。その評価結果に基づいて、算出した画像特徴を管理する。【選択図】  図３
2016085694.tif 000002
【特許請求の範囲】
【請求項１】
画像の特徴を抽出する画像処理装置であって、
オブジェクトの撮影画像と前記オブジェクトに対する距離画像を入力する入力手段と、
前記入力手段で入力した撮影画像の画像特徴を算出する特徴算出手段と、
前記特徴算出手段で算出した画像特徴に基づいて、前記距離画像上での距離勾配を算出する距離勾配算出手段と、
前記距離勾配算出手段で算出した距離勾配に基づいて、前記特徴算出手段で算出した画像特徴を評価する評価手段と、
前記評価手段の評価結果に基づいて、前記特徴算出手段で算出した画像特徴を管理する管理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記管理手段は、前記特徴算出手段で算出した複数の画像特徴から、それぞれに対応する前記距離勾配が所定の閾値未満の画像特徴を選択し、その選択した画像特徴を記憶部に記憶する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特徴算出手段は、前記画像特徴として、前記撮影画像の局所特徴と前記距離画像の局所特徴の少なくとも一方を算出する
ことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記特徴算出手段は、前記撮影画像から特徴点及び局所特徴を算出し、
前記距離勾配算出手段は、前記距離画像上で特徴点に対応する位置における距離勾配を算出し、
前記評価手段は、前記距離勾配に基づいて、前記局所特徴を評価し、
前記管理手段は、前記評価手段の評価結果に基づいて、前記局所特徴を管理する
ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
前記距離勾配算出手段は、前記距離画像上での前記撮影画像の局所特徴を算出する領域における距離勾配を算出する
ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記評価手段は、前記画像特徴に対する前記距離勾配に応じた信頼度を設定し、
前記信頼度は、前記距離勾配が大きいほど小さい
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記管理手段は、前記画像特徴と前記信頼度とを関連付けて管理する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記管理手段は、前記特徴算出手段で算出した複数の画像特徴から、それぞれに対応する前記信頼度が所定の閾値未満の画像特徴を選択し、その選択した画像特徴を記憶部に記憶する
ことを特徴とする請求項６または７に記載の画像処理装置。
【請求項９】
前記管理手段は、前記画像特徴として、前記撮影画像から算出される局所特徴と、前記距離画像から算出される前記オブジェクトのオブジェクト側面及び輪郭部の局所特徴の両者を記憶部に記憶する
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項１０】
前記管理手段は、前記画像特徴として、前記撮影画像から算出される局所特徴と、前記距離画像から算出される局所特徴とを区別して記憶部に記憶する
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記評価手段は、前記信頼度に応じた重み付けを行って算出されるスコアを用いて、前記画像特徴を評価する
ことを特徴とする請求項６乃至８のいずれか１項に記載の画像処理装置。
【請求項１２】
前記評価手段は、前記画像特徴として、前記前記撮影画像から算出される局所特徴と前記距離画像から算出される局所特徴とをそれぞれ独立にスコアを算出し、それらの総合スコアを用いて、前記画像特徴を評価する
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
画像の特徴を抽出する画像処理装置の制御方法であって、
オブジェクトの撮影画像と前記オブジェクトに対する距離画像を入力する入力工程と、
前記入力工程で入力した撮影画像の画像特徴を算出する特徴算出工程と、
前記特徴算出工程で前記画像特徴に基づいて、前記距離画像上での距離勾配を算出する距離勾配算出工程と、
前記距離勾配算出工程で算出した距離勾配に基づいて、前記特徴算出工程で算出した画像特徴を評価する評価工程と、
前記評価工程の評価結果に基づいて、前記特徴算出工程で算出した画像特徴を管理する管理工程と
を備えることを特徴とする画像処理装置の制御方法。
【請求項１４】
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置の各手段として機能させるための、または請求項１３に記載の画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の特徴を抽出する画像処理技術に関するものである。
【背景技術】
【０００２】
画像の局所的な特徴（局所特徴）を用いて類似画像を検索する方法が提案されている。この方法では、まず、画像から特徴的な点（局所特徴点）を抽出する（非特許文献１）。また、当該局所特徴点とその周辺の画像情報とに基づいて、当該局所特徴点に対応する特徴（局所特徴）を算出する技術も知られている（非特許文献２）。画像の検索は、局所特徴同士のマッチングによって行う。
【０００３】
局所特徴を利用する手法においては、局所特徴を回転・拡縮不変となる複数の要素で構成される情報として定義する。これにより、画像を回転させたり、拡大又は縮小させたりした場合であっても、画像の検索を可能にする。局所特徴は、一般的にベクトルとして表現される。但し、局所特徴が回転不変、拡大・縮小不変であることは理論上の話であり、実際のデジタル画像においては、画像の回転や拡大・縮小処理前の局所特徴と処理後の対応する局所特徴との間に若干の変動が生じる。
【０００４】
回転不変の局所特徴抽出のために、例えば、非特許文献２では、局所特徴点周辺の局所領域の画素パターンから主方向を算出し、局所特徴算出時に主方向を基準に局所領域を回転させて方向の正規化を行う。また、拡大・縮小不変の局所特徴を算出するために、異なるスケールの画像を内部で生成し、各スケールの画像からそれぞれ局所特徴点の抽出と局所特徴の算出を行う。ここで、内部で生成した一連の異なるスケールの画像集合は一般的にスケールスペースと呼ばれる。
【０００５】
特許文献１では、被写体（オブジェクト）としての顔のモデルを前提とした物であり、撮影画像の特徴量に単に距離情報（顔パーツの深さ情報）を加えているが、新たに距離情報を用いた局所特徴を算出しているわけではない。また、特許文献２では、距離画像上で凸部から特徴点を算出するのにハリス値を用い、その距離画像上での特徴点に対応する撮影画像の画素近傍から局所特徴を算出している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００６−２２１４２２号公報
【特許文献２】特許０５３２８９７９号公報
【非特許文献】
【０００７】
【非特許文献１】C.Harris and M.J. Stephens,“A combined corner and edge detector," In Alvey Vision Conference,pages 147-152, 1988.
【非特許文献２】David G. Lowe, “Distinctive Image Features from Scale-Invariant Keypoints," International Journal of Computer Vision, 60, 2 (2004), pp.91-110.
【非特許文献３】J.J.Koenderink and A.J.van Doorn, "Representation of local geometry in the visual system," Riological Cybernetics, vol.55, pp.367-375, 1987.
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の画像の局所特徴では、面外回転への耐性に難が有り、また、オブジェクト側面及び輪郭部の特徴算出時に背景画像の画素を特徴算出に用いてしまうことによる特徴の劣化変質がある。この特徴の劣化により、オブジェクト側面及び輪郭部の特徴は、背景の異なるオブジェクトの比較には寄与しにくい問題もあった。また、画像が非常に暗いと特徴が算出できないことも課題である。
【０００９】
本発明は上記の課題に鑑みてなされたものであり、画像の特徴を精度良く算出することができる画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明による画像処理装置は以下の構成を備える。即ち、
画像の特徴を抽出する画像処理装置であって、
オブジェクトの撮影画像と前記オブジェクトに対する距離画像を入力する入力手段と、
前記入力手段で入力した撮影画像の画像特徴を算出する特徴算出手段と、
前記特徴算出手段で算出した画像特徴に基づいて、前記距離画像上での距離勾配を算出する距離勾配算出手段と、
前記距離勾配算出手段で算出した距離勾配に基づいて、前記特徴算出手段で算出した画像特徴を評価する評価手段と、
前記評価手段の評価結果に基づいて、前記特徴算出手段で算出した画像特徴を管理する管理手段と
を備える。
【発明の効果】
【００１１】
本発明によれば、画像の特徴を精度良く算出することができる。
【図面の簡単な説明】
【００１２】
【図１】コンピュータ装置の構成を示すブロック図である。
【図２】画像処理装置の機能構成を示すブロック図である。
【図３】画像登録処理を示すフローチャートである。
【図４】局所特徴算出処理の詳細を示すフローチャートである。
【図５】縮小画像生成処理の一例を示す図である。
【図６】量子化を行う際の特徴空間分割の一例を示す図である。
【図７】特徴リストの一例を示す図である。
【図８】特徴リストと登録画像が関連付けられて登録されたデータベースの一例を示す図である。
【図９】撮影画像の局所特徴と、それに対応する距離画像上での濃度勾配の関係を表す図である。
【図１０】局所特徴照合処理を示すフローチャートである。
【図１１】画像登録処理を示すフローチャートである。
【図１２】濃度勾配と信頼度の関係を表すグラフである。
【図１３】局所特徴照合処理を示すフローチャートである。
【図１４】局所特徴算出処理を示すフローチャートである。
【図１５】局所特徴照合処理を示すフローチャートである。
【図１６】撮影画像と距離画像の局所特徴の性質を示す図である。
【図１７】各実施形態１〜３における課題と解決策と効果の関係を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１４】
（実施形態１）
本実施形態の画像処理装置として機能する、サーバ装置やクライアント装置を構成するコンピュータ装置の構成について、図１のブロック図を参照して説明する。サーバ装置やクライアント装置はそれぞれ単一のコンピュータ装置で実現してもよいし、必要に応じた複数のコンピュータ装置に各機能を分散して実現するようにしてもよい。複数のコンピュータ装置で構成される場合は、互いに通信可能なようにＬｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ（ＬＡＮ）等の通信回線で接続されている。コンピュータ装置は、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の情報処理装置によって実現することができる。
【００１５】
図１において、ＣＰＵ１０１は、コンピュータ装置１００全体を制御する。ＲＯＭ１０２は、変更を必要としないプログラムやパラメータを格納する。ＲＡＭ１０３は、外部装置から供給されるプログラムやデータを一時記憶したり、プログラムを実行するための作業領域やデータの一時待避領域として機能する。外部記憶装置１０４は、コンピュータ装置１００に固定して設置されたハードディスクやメモリカード等の記憶装置である。尚、外部記憶装置１０４は、コンピュータ装置１００から着脱可能なフレキシブルディスク（ＦＤ）やＣｏｍｐａｃｔ  Ｄｉｓｋ（ＣＤ）等の光ディスク、磁気や光カード、ＩＣカード、メモリカード等を含んでもよい。
【００１６】
入力デバイスインターフェイス１０５は、ユーザが操作する入力デバイス１０９接続するためのインターフェイスである。入力デバイス１０９には、例えば、ポインティングデバイスやキーボードがある。出力デバイスインターフェイス１０６は、コンピュータ装置１００が保持するデータや供給されたデータを表示するためのモニタ１１０とのインターフェイスである。モニタ１１０は、例えば、ＬＣＤやＣＲＴがあう。
【００１７】
通信インターフェイス１０７は、インターネット等のネットワーク回線１１１や、デジタルカメラ１１２、デジタルビデオカメラ１１３、スマートフォン１１４等の外部装置に接続するための通信インターフェイスである。システムバス１０８は、コンピュータ装置を構成する各種構成要素（１０１から１０７）を通信可能に相互に接続する伝送路である。
【００１８】
尚、後述するコンピュータ装置１００が実行する各種処理は、ＲＯＭ１０２に格納されたプログラムをＣＰＵ１０１が実行することにより実行される。
【００１９】
図２は画像検索装置として機能する画像処理装置の機能構成例を示すブロック図である。図２に示す各種構成要素における動作の詳細については、後述する。また、これらの各種構成要素は、ＲＯＭ１０２に格納されたプログラムをＣＰＵ１０１が実行することにより実現される。
【００２０】
図２において、入力部２０１は、登録画像及びクエリ画像（検索元画像）の撮影画像とともに距離画像の入力を行う。特徴算出部２０２は、入力部２０１から入力された登録画像及びクエリ画像の撮影画像から画像特徴として局所特徴を算出する。距離勾配算出部２０３は、撮影画像から算出した局所特徴を算出する際に用いた特徴点に対応する座標位置の距離画像の近傍画素を参照し、距離画像上での濃度勾配を算出する。
【００２１】
評価部２０４は、距離画像上での濃度勾配に基づき、撮影画像から算出した局所特徴の評価を行う。記憶部２０５は、処理中のデータを記憶する他、局所特徴の評価の結果によって合格した局所特徴をその評価の結果と関連付けて記憶する。この記憶部２０５は、例えば、ＲＡＭ１０３や外部記憶装置１０４によって実現することができる。比較部２０６は、クエリ画像の局所特徴と登録画像の局所特徴との比較を行う。表示部２０７は、比較部２０６の比較結果を表示する。
【００２２】
［画像登録処理］
図３は画像検索装置における画像登録処理を示すフローチャートである。尚、この画像登録処理は、ＲＯＭ１０２に格納されたプログラムをＣＰＵ１０１が実行することにより実現される。
【００２３】
まず、Ｓ３０１で、ＣＰＵ１０１は、入力部２０１を介して登録画像を入力する。この入力した登録画像は、記憶部２０５に保存される。次に、Ｓ３０２で、ＣＰＵ１０１は、特徴算出部２０２により、処理対象の画像の局所特徴を算出する。ここで、Ｓ３０２の処理の詳細について、図４（局所特徴算出処理）を用いて説明する。
【００２４】
まず、Ｓ４０２で、ＣＰＵ１０１は、入力画像から輝度成分を抽出し、抽出した輝度成分に基づいて輝度成分画像を生成する。次に、Ｓ４０３で、ＣＰＵ１０１は、輝度成分画像を倍率（縮小率）ｐに従って順次縮小することを繰り返し、オリジナルサイズの画像（オリジナル画像）から段階的に縮小した、オリジナル画像を含むｎ枚の縮小画像を生成する。ここで、倍率ｐ及び縮小画像の枚数ｎは予め決められているものとする。
【００２５】
図５はＳ４０３における縮小画像生成処理の一例を示す図である。図５に示す例は、倍率ｐが「２の−（１／４）乗」、縮小画像の枚数ｎが「９」の場合である。もちろん、倍率ｐは必ずしも「２の−（１／４）乗」で無くとも良い。図５において、輝度成分画像５０１は、Ｓ４０２で生成したものである。縮小画像５０２は、輝度成分画像５０１から倍率ｐに従って再帰的に４回の縮小処理を施して得られた縮小画像である。そして、縮小画像５０３は、輝度成分画像５０１から倍率ｐに従って再帰的に８回の縮小処理を施して得られた縮小画像である。
【００２６】
この例では、縮小画像５０２は輝度成分画像５０１が１／２に縮小された画像となり、縮小画像５０３は輝度成分画像５０１が１／４に縮小された画像となる。尚、画像を縮小する方法は何れの方法でも良く、実施形態１では、線形補間による縮小方法により縮小画像を生成するものとする。
【００２７】
次に、Ｓ４０４で、ＣＰＵ１０１は、ｎ枚の縮小画像の各々に画像の回転があってもロバスト（ｒｏｂｕｓｔ）に抽出されるような局所的な特徴点（局所特徴点）を抽出する。この局所特徴点の抽出方法として、実施形態１では、Ｈａｒｒｉｓ作用素を用いる（非特許文献１）。
【００２８】
具体的には、Ｈａｒｒｉｓ作用素を作用させて得られた出力画像Ｈ上の画素について、当該画素及び当該画素の８近傍にある画素（合計９画素）の画素値を調べる。そして、当該画素が局所極大になる（当該９画素の中で当該画素の画素値が最大になる）点を局所特徴点として抽出する。ここで、当該画素が局所極大になったときでも、当該画素の値が閾値以下の場合には局所特徴点として抽出しないようにする。
【００２９】
尚、局所特徴点を抽出可能な方法であれば、上述のＨａｒｒｉｓ作用素による特徴点抽出方法に限定されず、どのような特徴点抽出方法でも適用可能である。
【００３０】
次に、Ｓ４０５で、ＣＰＵ１０１は、Ｓ４０４で抽出した局所特徴点の各々について、画像の回転があっても不変となるように定義された特徴（局所特徴）を算出する。この局所特徴の算出方法として、実施形態１では、Ｌｏｃａｌ  Ｊｅｔ及びそれらの導関数の組み合わせを用いる。これについては、例えば、非特許文献３を参照されたい。
【００３１】
具体的には、以下の式（１）により局所特徴Ｖを算出する。
【００３２】
【数１】
2016085694.tif 000003
【００３３】
但し、式（１）の右辺で用いている記号は、以下に示す式（２）から式（７）で定義される。ここで、式（２）の右辺のＧ（ｘ，ｙ）はガウス関数、Ｉ（ｘ，ｙ）は画像の座標（ｘ，ｙ）における画素値であり、“＊”は畳み込み演算を表す記号である。また、式（３）は式（２）で定義された変数Ｌのｘに関する偏導関数、式（４）は当該変数Ｌのｙに関する偏導関数である。式（５）は、式（３）で定義された変数Ｌｘのｙに関する偏導関数、式（６）は、式（３）で定義された変数Ｌｘのｘに関する偏導関数である。式（７）は、式（４）で定義されたＬｙのｙに関する偏導関数である。
【００３４】
【数２】
2016085694.tif 000004
【００３５】
尚、局所特徴を算出可能な方法であれば、上述の算出方法に限定されず、どのような特徴算出方法でも適用可能である。
【００３６】
次に、Ｓ４０６で、ＣＰＵ１０１は、Ｓ４０５で算出した局所特徴の各々について、量子化を行い、ラベル値を付与するラベル化を行う。実施形態１で使用している局所特徴、即ち、Ｌｏｃａｌ  Ｊｅｔ及びそれらの導関数の組み合わせにより、１つの局所特徴点からＮ次元の局所特徴を算出することができる。ここでは、図６に示すように、各次元（ブロック６０１）について、Ｋ個の局所特徴６０２に量子化を行う。ここで、Ｎ及びＫは予め決められているものとする。
【００３７】
尚、量子化、ラベル化を実現できる算出方法であれば、これに限定されず、どのような量子化、ラベル化方法でも適用可能である。
【００３８】
次に、Ｓ４０７で、ＣＰＵ１０１は、それらの局所特徴、及び、量子化ラベルをまとめた特徴リストを作成する。図７は、特徴リストの一例である。特徴リストでは、量子化ラベルをキーとして対応する局所特徴が関連付けられている。ここで、１つの量子化ラベルに複数の特徴リストが関連付けられることもある。
【００３９】
尚、実施形態１では、特徴、及び、量子化ラベルをまとめた特徴リストを作成しているが、量子化ラベルのみを特徴リストとしてまとめることも可能である。また、局所特徴点の座標等その他の情報を特徴リストに含めることも可能である。
【００４０】
図８は、特徴リストが登録画像と関連付けて登録されたデータベースの一例である。量子化ラベルをキーとしてデータベースに登録する。また、登録画像には画像ＩＤを割り振り、その画像ＩＤをデータベースに登録する。同一の画像を複数回登録した場合、類似する画像を登録した場合など、１つの量子化ラベルに複数の画像ＩＤが関連付けられることもある。また、使用されない量子化ラベルが存在することもある。
【００４１】
以上の処理により、Ｎ個の局所特徴からなる特徴リストが生成される。
【００４２】
図３の説明に戻る。
【００４３】
Ｓ３０３で、ＣＰＵ１０１は、カウンタｉを０に設定する（ｉ＝０）。Ｓ３０４で、カウンタの示す値が局所特徴の個数Ｎ未満（ｉ＜Ｎ）であるか否かを判定する。カウンタｉの示す値がＮ未満である場合（Ｓ３０３でＹＥＳ）、Ｓ３０５で、ＣＰＵ１０１は、距離勾配算出部２０３により、距離画像上で撮影画像の局所特徴算出領域に対応する領域の濃度勾配、即ち、距離勾配を算出する。
【００４４】
距離勾配の算出に関しては、先の撮影画像の局所特徴の算出と同様に式（１）を用いることができる。即ち、局所特徴を算出した縮小段階で距離画像を縮小し、局所特徴を算出した領域と距離画像も同じ位置と同じ大きさの領域で式１の（Ｖ）を算出し、その要素の最大値を濃度勾配とする。
【００４５】
局所特徴の局所特徴点に対応する距離画像上の画素近傍で濃度勾配を算出する理由は、局所特徴の原理的な課題に起因する。
【００４６】
＜課題１＞
ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴に代表される局所特徴は、平面物体での面外回転には耐性がおおよそ±３０°程度確保できる。しかしながら、缶詰のラベル等の曲面や被写体（オブジェクト）の側面等に生ずるＳＩＦＴ特徴に関して、面外回転は非線形変換の要素が強くなり、耐性は±１０°程度と低い。また、オブジェクト側面及び輪郭部のＳＩＦＴ特徴は、背景画素を特徴算出に使ってしまう可能性が高く、検索に余り寄与しないことが経験的に判っている。
【００４７】
そこで、評価部２０４において、図９に示すように、局所特徴の局所特徴点に対応する距離画像上の画素近傍で濃度勾配を算出し、オブジェクトの側面らしさを推定する。そして、記憶すべき局所特徴を決定する。
【００４８】
即ち、処理対象の領域がオブジェクト側面及び輪郭部である場合には、濃度勾配を算出する領域が背景に掛かることで濃度勾配が大きくなる。また、オブジェクト側面で濃度勾配が大きく既に面外回転耐性に限界がきている場合でも、同様に距離画像上での濃度勾配が大きくなる。
【００４９】
そこで、Ｓ３０６で、ＣＰＵ１０１は、濃度勾配が所定の閾値以上であるか否かを判定する。濃度勾配が閾値以上である場合（Ｓ３０６でＹＥＳ）、処理対象の局所特徴は価値が低いと判定して、Ｓ３０８で、ＣＰＵ１０１は、特徴リストから削除する。この処理を、Ｎ個の局所特徴の全てに対して行うことにより、照合への寄与が低い局所特徴を特徴リストから除外することで、管理対象の局所特徴のデータ量の削減を行うとともに、信頼性の低い局所特徴を用いて、画像検索を行うことを防止することが可能となる。
【００５０】
一方、濃度勾配が閾値未満である場合（Ｓ３０６でＮＯ）、Ｓ３０７で、ＣＰＵ１０１は、次の処理対象の局所特徴点を選択するために、カウンタｉの値を１インクリメントする。そして、Ｓ３０４で、Ｎ個の局所特徴に対する処理が終了した場合、即ち、カウンタｉの示す値がＮ以上である場合（Ｓ３０４でＮＯ）、Ｓ３０９で、ＣＰＵ１０１は、特徴リストで管理されている局所特徴を記憶部２０５に記憶する。
【００５１】
［画像検索処理］
図１０は画像検索装置における局所特徴照合処理を示すフローチャートである。尚、この局所特徴照合処理は、ＲＯＭ１０２に格納されたプログラムをＣＰＵ１０１が実行することにより実現される。また、記憶部２０５に保存されているクエリ画像の局所特徴をＶｑ、局所特徴に関連付けされている局所特徴点をＱ、座標をＱ（x’，y’）とする。また、比較先画像に存在する局所特徴をＶｓ、局所特徴に関連付けされている局所特徴点をＳ、座標をＳ（x，y）とする。
【００５２】
まず、Ｓ１００１で、ＣＰＵ１０１は、最終投票数を表す変数ＶｏｔｅＭａｘを０に初期化する（ＶｏｔｅＭａｘ＝０）。次に、Ｓ１００２で、ＣＰＵ１０１は、ＶｑとＶｓとのベクトル特徴間距離を全ての組み合わせについて算出し、最短距離対応点リストを作成する。これは、算出したベクトル特徴間の距離が閾値Ｔｖ以下となり、かつ、最短距離となるＶｑとＶｓとの組み合わせ（対応点）を抽出し、これをまとめたものを最短距離対応点リストとして作成する。
【００５３】
これ以降、最短距離対応点リストに登録されたｋ番目の対応点について、当該対応点の局所特徴をそれぞれＶｑ（ｋ）とＶｓ（ｋ）と定義し、ベクトル特徴間の距離が閾値Ｔｖ以下となる特徴の個数をそれぞれＮｑ（ｋ）とＮｓ（ｋ）と定義する。更に、Ｖｑ（ｋ）とＶｓ（ｋ）に対応付けられている局所特徴点をそれぞれＱｋ、Ｓｋ、座標をＱｋ（ｘ’ｋ，ｙ’ｋ）、Ｓｋ（ｘｋ，ｙｋ）と添え字を合わせて記載する。また、Ｓ９０２で作成した最短距離対応点リストに登録された対応点の組数をｍ組とする。
【００５４】
次に、Ｓ１００３で、ＣＰＵ１０１は、類似度算出処理の反復カウント数を表す変数Ｃｏｕｎｔを０に初期化する（Ｃｏｕｎｔ＝０）。次に、Ｓ１００４で、ＣＰＵ１０１は、反復カウント数Ｃｏｕｎｔが予め定められた最大反復処理回数Ｒｎ未満であるか否か判定する。ここで、反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎ以上である場合（Ｓ１０４でＮＯ）、Ｓ１０１８で、ＣＰＵ１０１は、最終投票数ＶｏｔｅＭａｘを出力して、この処理を終了する。
【００５５】
一方、反復カウント数Ｃｏｕｎｔが最大反復処理回数Ｒｎ未満である場合（Ｓ１００４でＹＥＳ）、Ｓ１００５で、ＣＰＵ１０１は、投票数を表す変数Ｖｏｔｅを０に初期化する（Ｖｏｔｅ＝０）。次に、Ｓ１００６で、ＣＰＵ１０１は、最短距離対応点リストから対応点の組の座標をランダムに２組抽出する。ここで、抽出した２組の座標をＱ１（ｘ’１，ｙ’１）とＳ１（ｘ１，ｙ１）、及びＱ２（ｘ’２，ｙ’２）とＳ２（ｘ２，ｙ２）と記載する。次に、Ｓ１００７で、抽出した座標Ｑ１（ｘ’１，ｙ’１）とＳ１（ｘ１，ｙ１）及びＱ２（ｘ’２，ｙ’２）とＳ２（ｘ２，ｙ２）が、以下の式（８）に示す変換を満たしていると仮定し、式（８）中の変数ａからｆを算出する。但し、図１０中のＳ１００７では、変数ａからｄで構成される行列をＭで示し、変数ｅからｆで構成される行列をＴで示している。
【００５６】
【数３】
2016085694.tif 000005
【００５７】
ここで、実施形態１では、簡略化のため、相似変換だけを考える。このとき、上記式（８）は、以下の式（９）のように書き換えられる。
【００５８】
【数４】
2016085694.tif 000006
【００５９】
このとき、変数ａ、ｂ、ｅ、ｆはｘ’１、ｙ’１、ｘ１、ｙ１、ｘ’２、ｙ’２、ｘ２、ｙ２を使って式（１０）から式（１３）で表される。
【００６０】
【数５】
2016085694.tif 000007
【００６１】
次に、投票数集計処理を、Ｓ１００８〜Ｓ１０１７の処理を用いて行う。
【００６２】
Ｓ１００８で、ＣＰＵ１０１は、Ｓ１００５で最短距離対応点リストから選択した２組の点以外の点を選択するために、対応点選択変数ｋを３に初期化する（ｋ＝３）。そして、Ｓ１００９で、ＣＰＵ１０１は、対応点選択変数ｋが最短距離対応点リストに登録されている対応点の組数ｍ以下であるか否かを判定する。対応点選択変数ｋが対応点の組数ｍを超えている場合（Ｓ１００９でＮＯ）、Ｓ１０１５へ進む。一方、対応点選択変数ｋが対応点の組数ｍ以下である場合（Ｓ１００９でＹＥＳ）、Ｓ１０１０へ進む。
【００６３】
Ｓ１０１０で、ＣＰＵ１０１は、Ｓ９０５で最短距離対応点リストからランダムに抽出した２組の座標Ｓ１（ｘ１，ｙ１）及びＳ２（ｘ２，ｙ２）以外の１組の座標を最短距離対応点リストから抽出する。実施形態１では、抽出した１組の点をＳｋ（ｘｋ，ｙｋ）とＱｋ（ｘ’ｋ，ｙ’ｋ）と記載する。
【００６４】
Ｓ１０１１で、ＣＰＵ１０１は、Ｓｋ（ｘｋ，ｙｋ）が式（９）を使って変換される座標Ｓ’ｋ（ｘ’ｋ，ｙ’ｋ）を算出する。Ｓ１０１２で、ＣＰＵ１０１は、座標Ｓ’ｋ（ｘ’ｋ，ｙ’ｋ）と座標Ｑｋ（ｘ’ｋ，ｙ’ｋ）との幾何学的距離をユークリッド距離Ｄ（Ｓ’ｋ，Ｑｋ）で算出し、このユークリッド距離Ｄ（Ｓ’ｋ，Ｑｋ）が閾値Ｔｄ以下であるか否かを判定する。ユークリッド距離Ｄ（Ｓ’ｋ，Ｑｋ）が閾値Ｔｄ以下である場合（Ｓ１０１２でＹＥＳ）、Ｓ１０１３で、ＣＰＵ１０１は、投票数Ｖｏｔｅを１インクリメントする。一方、ユークリッド距離Ｄ（Ｓ’ｋ，Ｑｋ）が閾値Ｔｄより大きい場合（Ｓ１０１２でＮＯ）、Ｓ１０１４へ進む。
【００６５】
このＳ１０１４で、ＣＰＵ１０１は、対応点選択変数ｋを１インクリメントする。その後、Ｓ１００９に戻り、対応点選択変数ｋが最短距離対応点リストに登録されている対応点の組数ｍを超えるまで、上述の処理を繰り返す。
【００６６】
一方、Ｓ１００９で、対応点選択変数ｋが対応点の組数ｍより大きい場合（Ｓ１００９でＮＯ）、Ｓ１０１５で、ＣＰＵ１０１は、投票数Ｖｏｔｅの値と最終投票数ＶｏｔｅＭａｘの値とを比較し、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値より大きいか否かを判定する。投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値より大きい場合（Ｓ１０１５でＹＥＳ）、Ｓ１０１６で、ＣＰＵ１０１は、最終投票数ＶｏｔｅＭａｘの値を投票数Ｖｏｔｅの値で置換する。Ｓ１０１７で、ＣＰＵ１０１は、反復カウント数Ｃｏｕｎｔを１インクリメントし、その後、Ｓ１００４に戻る。
【００６７】
一方、投票数Ｖｏｔｅの値が最終投票数ＶｏｔｅＭａｘの値以下である場合（Ｓ１０１５でＮＯ）、Ｓ１０１７へ進む。
【００６８】
尚、実施形態１におけるスコア（評価結果）の算出方法の説明では、相似変換だけを考慮して説明しているが、アフィン変換等その他の幾何学変換についても、Ｓ１００７でそれぞれに応じた変換行列を算出することにより、対応可能である。例えば、アフィン変換の場合には、まず、Ｓ１００６で、対応点の組の座標数を３とする。次に、Ｓ１００７で、式（９）ではなく式（８）を使用して、Ｓ１００６で選択した３組の対応点（合計６点）を使って変数ａからｆを算出することができる良い。
【００６９】
以上説明したように、本実施形態によれば、局所特徴の特徴点に対応する距離画像上の画素近傍で濃度勾配を算出し、所定の閾値より濃度勾配が大きい場合には特徴リストからその局所特徴を削除する。これにより、オブジェクト側面及び輪郭部の面外回転への耐性が低く、また、特徴算出に背景画素を用いることで変質した局所特徴が検索に与える好ましくない影響を緩和することが可能となる。
【００７０】
（実施形態２）
実施形態１では、距離勾配が大きい局所特徴を破棄する（換言すれば、管理対象の局所特徴を選別する）構成としているが、実施形態２では、この局所特徴を破棄せずに距離勾配に応じた信頼度を導入し、信頼度に基づく重み付けを行う構成について説明する。
【００７１】
実施形態１で説明した課題１で示されるように、ＳＩＦＴ特徴に代表される局所特徴は平面物体での面外回転には耐性がおおよそ±３０°程度確保できる。しかしながら、缶詰のラベル等の曲面やオブジェクトの側面等に生ずるＳＩＦＴ特徴に関して、面外回転は非線形変換の要素が強くなり、耐性は±１０°程度と低い。また、オブジェクト側面及び輪郭部のＳＩＦＴ特徴は、背景画素を特徴算出に使ってしまう可能性が高く、検索に余り寄与しないことは経験的に判っている。
【００７２】
そこで、評価部２０４において、実施形態１と同様、図９のように、局所特徴の特徴点に対応する距離画像上の画素近傍で濃度勾配を算出することで、オブジェクト側面及び輪郭部らしさを推定する。即ち、処理対象の領域がオブジェクト側面及び輪郭部である場合には、濃度勾配を算出する領域が背景に掛かることで濃度勾配が大きくなる。また、オブジェクト側面で濃度勾配が大きく既に面外回転耐性に限界がきている場合でも、同様に、距離画像上での濃度勾配が大きくなる。
【００７３】
つまり、距離勾配の大きな局所特徴の価値（信頼度）は低く、距離勾配の小さい局所特徴の価値（信頼度）は高い。このように、距離勾配と信頼度は、反比例の関係と成る。これは、オブジェクト側面及び輪郭部においては距離勾配が大きいことと、距離勾配が大きいと既に面外回転への耐性の限界が近いことが理由である。尚、この信頼度は、０から１．０の実数とする。
【００７４】
以下、実施形態２における画像登録処理に関わる局所特徴抽出処理について、図１１を用いて説明する。尚、図１１は、実施形態１の図３の処理の一部を変更したものであり、実施形態１の図３と同一の処理については、同一のステップ番号を付加してその詳細説明は省略する。
【００７５】
Ｓ３０１〜Ｓ３０５の処理を経て、Ｓ１１０６で、ＣＰＵ１０１は、局所特徴に対し、距離勾配と信頼度とが反比例の関係と成る、信頼度（０から１．０の実数）を付与する。  ここで、距離勾配を信頼度に変換する変換テーブルの例を図１２に示す。所定の濃度勾配ＤＫｍｉｎまでは信頼度１であるが、（ＤＫｍｉｎ，１）から（ＤＫｍａｘ，０）までは急降下する特性とする。所定の濃度勾配ＤＫｍｉｎまでは信頼度１とする理由は、オブジェクト側面及び輪郭部でなく内側の構造的な部位の局所特徴でもある程度の濃度勾配を生ずるので、この場合でも信頼度を１とするためである。濃度勾配がＤＫｍａｘを超えると信頼度は０となり、これはオブジェクト側面及び輪郭部で背景を含む領域で撮影画像の局所特徴を算出している場合に発生する。
【００７６】
Ｓ３０７を経て、Ｓ３０４で、Ｎ個の局所特徴に対する処理が終了した場合、即ち、カウンタｉの示す値がＮ以上である場合（Ｓ３０４でＮＯ）、Ｓ３０９で、ＣＰＵ１０１は、算出した局所特徴を付与された信頼度とともに記憶部２０５に記憶する。
【００７７】
［画像検索処理］
実施形態２の画像検索装置における局所特徴照合処理について、図１３を用いて説明する。この図１３に示す局所特徴照合処理は、実施形態１の図１０の処理の一部を変更したものであり、実施形態１の図１０と同一の処理については、同一のステップ番号を付加してその詳細説明は省略する。
【００７８】
実施形態１では、Ｓ１１１２の条件を満足する場合、Ｓ１１１３で、ＣＰＵ１０１は、変数Ｖｏｔｅを１インクリメントしている。これに対して、実施形態では、このインクリメントをクエリ画像及び比較先画像の信頼度（０から１．０の実数）を掛け合わせた値とする。
【００７９】
即ち、距離勾配の大きい局所特徴は、オブジェクト側面から得られるものと推定し、面外回転耐性が低く、また、背景画素をその演算に含むため、実施形態１のように、変数Ｖｏｔｅを１インクリメントするに値しないということである。つまり、クエリ画像と比較先画像の両方の局所特徴に信頼度があるので、インクリメント量は、クエリ画像と比較先画像の両方の信頼度の積とすれば良い。もちろん、クエリ画像と比較先画像の両方の局所特徴に信頼度の２項関係で表現するルックアップテーブルを作成しても良い。
【００８０】
そこで、まず、Ｓ１３１３で、ＣＰＵ１０１は、記憶部２０５から、Ｓｋの信頼度Ｒ（Ｓｋ）、Ｑｋの信頼度Ｒ（Ｑｋ）を読み込む。Ｓ１３１４で、ＣＰＵ１０１は、ＳｋとＱｋの信頼度を掛け合わせた値をスコアＶｏｔｅに加算する。即ち、
【００８１】
【数６】
2016085694.tif 000008
【００８２】
となる。
【００８３】
以上説明したように、本実施形態によれば、局所特徴の特徴点に対応する距離画像上の画素近傍で濃度勾配を算出し、所定の閾値より濃度勾配が大きい場合には局所特徴に対して距離勾配に反比例した信頼度を付与する。これを比較処理における、照合インクリメント量の重み付けに用いることにより、オブジェクト側面及び輪郭部の面外回転への耐性が低く、また、特徴算出に背景画素を用いることで変質した局所特徴が検索に与える好ましくない影響を緩和することが可能となる。
【００８４】
（実施形態３）
＜課題２＞
実施形態１においては、撮影画像の局所特徴に対し距離勾配を算出し、オブジェクト側面及び輪郭部に生じる局所特徴の好ましくない影響を軽減する構成である。この構成の場合、オブジェクト側面及び輪郭部の局所特徴、換言すれば、オブジェクト側面及び輪郭部に関する情報量が減少する。
【００８５】
実施形態３では、この減少したオブジェクト側面及び輪郭部に関する情報量を補うために、距離画像から局所特徴を算出し、これを撮影画像の局所特徴と共に使用する構成について説明する。
【００８６】
現状のＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）センサに代表される距離画像取得デバイスはノイズが多く、浅い起伏部分からの形状特徴を取得するには性能が不足する。そこで、距離画像を２５６諧調のグレースケール画像で表現すると、オブジェクト側面及び輪郭部の内部ディテールは量子化により潰れ、オブジェクト側面及び輪郭部のメリハリのある画像が取得される。背景部とオブジェクト部のコントラストは大きく、しかも撮影画像のような背景部の図柄も距離画像では生じにくい。
【００８７】
そこで、この２５６諧調グレースケールで表される距離画像から、撮影画像と同様の局特徴を算出することを考える。距離画像から取得される局所特徴は、主にオブジェクト側面及び輪郭部から得られるので、実施形態１及び実施形態２で削減されるオブジェクト側面及び輪郭部の情報を効果的に補うことが可能となる。
【００８８】
更に、ＴＯＦセンサを用いて取得する距離画像の場合には、測距のため光を投射するので、画像が暗くてもオブジェクト側面及び輪郭部の特徴を取得することができるという利点がある。
【００８９】
図１４を用いて、実施形態３の局所特徴抽出処理について説明する。
【００９０】
尚、この局所特徴抽出処理は、ＲＯＭ１０２に格納されたプログラムをＣＰＵ１０１が実行することにより実現される。
【００９１】
Ｓ１４０１で、ＣＰＵ１０１は、撮影画像と距離画像を入力する。次に、Ｓ１４０２で、ＣＰＵ１０１は、図３のＳ３０２によって、撮影画像の局所特徴を算出し、記憶部２０５に記憶する。更に、Ｓ１４０３で、ＣＰＵ１０１は、距離画像を２５６諧調化し、グレースケール画像を取得する。
【００９２】
Ｓ１４０４で、このグレースケール画像に対し、図４のフローチャートによって、距離画像の局所特徴を算出し、撮影画像の局所特徴と区別して記憶部２０５に記憶する。尚、距離画像から局所特徴を算出する処理に関しては、距離画像を２５６階調化してあるので、実施形態１の図４のフローチャートで示す処理を使用することができる。
【００９３】
ここで、撮影画像の局所特徴と距離画像の局所特徴を記憶部２０５には区別して管理する理由は、撮影画像から取得する局所特徴と、距離画像から取得する局所特徴は異なるからである。
【００９４】
[画像検索処理]
画像検索処理に関しては、撮影画像から取得した局所特徴と、距離画像から取得した局所特徴を独立に照合し、それらの投票数を重み付け和で算出することで総合投票数を取得する。撮影画像から取得した局所特徴の照合に関しては、実施形態１及び実施形態２で説明した方法を用いることができる。一方、距離画像から取得した局所特徴の照合に関しては、実施形態１の局所特徴照合処理、即ち、図１０に示す処理を実行する。これは、距離画像から取得した局所特徴に関しては、信頼度という概念がないからである。
【００９５】
そこで、実施形態３における局所特徴処理について、図１５を用いて説明する。尚、この局所特徴照合処理は、ＲＯＭ１０２に格納されたプログラムをＣＰＵ１０１が実行することにより実現される。
【００９６】
Ｓ１５０１で、ＣＰＵ１０１は、クエリ画像の撮影画像の局所特徴を記憶部２０５から読み出す。Ｓ１５０２で、ＣＰＵ１０１は、比較先画像の撮影画像の局所特徴を記憶部２０５から読み出す。Ｓ１５０３で、ＣＰＵ１０１は、図１０のフローチャートを用いて、撮影画像に対する、クエリ画像の局所特徴と比較先画像の局所特徴を照合し、その出力（照合結果）をＶＲｅａｌＩｍｇとして記憶部２０５に記憶する。
【００９７】
Ｓ１５０４で、ＣＰＵ１０１は、クエリ画像の距離画像の局所特徴を記憶部２０５から読み出す。Ｓ１５０５で、比較先画像の距離画像の局所特徴を記憶部２０５から読み出す。Ｓ１５０６で、ＣＰＵ１０１は、撮影画像と同様、図１０のフローチャートを用いて、距離画像に対する、クエリ画像の局所特徴と比較先画像の局所特徴を照合し、その出力（照合結果）をＶＲａｎｇｅＩｍｇとして記憶部２０５に記憶する。
【００９８】
Ｓ１５０７で、ＣＰＵ１０１は、ＶＲｅａｌＩｍｇとＶＲａｎｇｅＩｍｇの重み付け和で総合スコアを算出する。
【００９９】
以上の処理で、撮影画像から取得した局所特徴の照合スコアＶＲｅａｌＩｍｇ、距離画像から取得した局所特徴の照合スコアＶＲａｎｇｅＩｍｇに対して、それぞれの重みＷ１、Ｗ２を用いて算出される総合スコアＶＴｏｔａｌは、
ＶＴｏｔａｌ＝Ｗ１＊ＶＲｅａｌＩｍｇ＋Ｗ２＊ＶＲａｎｇｅＩｍｇ      （１５）
但し、  Ｗ１  +  Ｗ２  ＝  １
と表される。
【０１００】
Ｗ１とＷ２の値に関しては、撮影観光が明るい場所での検索のＦ値、即ち、網羅率と棄却率の平均が最大となる値を実験により算出することができる。撮影観光が暗い場合には、撮影画像から取得した局所特徴の数が減少するが、距離画像から得た局所特徴の数は変わらないので、おのずと距離画像から取得した局所特徴を重視した検索と成り、適切な照合を行うことができる。もちろん、撮影画像の平均輝度や照度センサ等の測定機器を用いて、撮影観光が暗い場合にＷ２の大きくする方法もある。
【０１０１】
以上説明したように、本実施形態によれば、オブジェクト側面及び輪郭部に生じる距離画像より取得した局所特徴と、撮影画像から取得したオブジェクト側面及び輪郭部ではない局所特徴を用いることにより、両者の利点を生かした検索が可能となる。
【０１０２】
図１６に、撮影画像から取得する局所特徴と距離画像から取得する局所特徴の長所と短所の関係を示す。図１６に示されるように、撮影画像から取得する局所特徴と距離画像から取得する局所特徴の組み合わせは、互いの短所を、その長所で補うことが可能となる。  以上、実施形態１〜３において、課題１及び課題２を解決するための処理に関して説明しているが、これらの課題と各実施形態と効果をまとめたると、図１７のようになる。
【０１０３】
また、図１７に示す効果に加えて、オブジェクトの背景の違いによる特徴の影響を緩和することで、検索精度を改善することも可能となる。また、照明変動に対してロバストで、暗い環境でも検索が可能な類似画像検索を実現可能となる。
【０１０４】
（その他の実施形態）
実施形態３では、撮影画像から取得した局所特徴に関して、オブジェクト側面及び輪郭部に生じる局所特徴を削減する実施形態１の構成の応用例として説明しているが、局所特徴を削減せずに信頼度を与える実施形態２に応用しても良い。但し、通常の局所特徴抽出処理による撮影画像から取得する局所特徴、即ち、オブジェクト側面及び輪郭部に存在する局所特徴が存在しても、距離画像より取得する局所特徴を併用することによる性能改善の効果は当然ある。
【０１０５】
また、距離画像に関してはＴＯＦセンサから取得する構成を説明しているが、これに限定されず、様々な距離画像を取得可能なセンサを用いても、その有効性は変わらない。
【０１０６】
尚、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０７】
２０１：画像入力部、２０２：特徴算出部、２０３：距離勾配算出部、２０４：評価部、２０５：記憶部、２０６：比較部、２０７：表示部
【図１】
2016085694.tif 000009
【図２】
2016085694.tif 000010
【図３】
2016085694.tif 000011
【図４】
2016085694.tif 000012
【図５】
2016085694.tif 000013
【図６】
2016085694.tif 000014
【図７】
2016085694.tif 000015
【図８】
2016085694.tif 000016
【図９】
2016085694.tif 000017
【図１０】
2016085694.tif 000018
【図１１】
2016085694.tif 000019
【図１２】
2016085694.tif 000020
【図１３】
2016085694.tif 000021
【図１４】
2016085694.tif 000022
【図１５】
2016085694.tif 000023
【図１６】
2016085694.tif 000024
【図１７】
2016085694.tif 000025