(57)【要約】【課題】３次元物体の撮像視点に基づくアピアランスの相違に頑健な画像マッチング手法に比べて、さらに頑健性を向上させる。【解決手段】２次元画像から、第１の局所記述子を算出し、奥行画像から３次元座標を算出する手段と、データベース画像から第２の局所記述子を算出する手段と、第１と第２の局所記述子とを比較して暫定特徴箇所ペアの集合を生成する手段と、クエリ特徴箇所に３次元座標を付与した３次元空間と、データベース特徴箇所に２次元座標を付与した２次元空間とから射影変換行列を算出する手段と、射影変換行列を用いてクエリ特徴箇所を２次元空間に投影し、投影されたクエリ特徴箇所とデータベース特徴箇所が所定の要件を具備するときに、暫定特徴箇所ペアを組みなおす手段と、特徴箇所ペアについて、テンプレートマッチングを行った結果得られる評価関数の値を算出して２次元画像に類似するデータベース画像を選択する手段とを備える。【選択図】図１
2015045921.tif 000002
【特許請求の範囲】
【請求項１】
被写体の２次元画像と前記２次元画像の各画素の奥行値によって表現された奥行画像を用いて、複数のデータベース画像から被写体候補のデータベース画像を選択する被写体認識装置であって、
前記２次元画像から特徴箇所であるクエリ特徴箇所を抽出し、前記クエリ特徴箇所の局所記述子である第１の局所記述子を算出し、前記奥行画像から前記クエリ特徴箇所の３次元座標を算出するクエリ特徴表現手段と、
前記データベース画像から特徴箇所であるデータベース特徴箇所を抽出し、前記データベース特徴箇所の局所記述子である第２の局所記述子を算出するデータベース特徴表現手段と、
前記第１の局所記述子と前記第２の局所記述子とを比較した結果に基づいて前記クエリ特徴箇所と前記データベース特徴箇所を組にした暫定特徴箇所ペアの集合を生成する第１の集合生成手段と、
前記暫定特徴箇所ペアから、前記クエリ特徴箇所の集合と前記データベース特徴箇所の集合を抽出し、前記クエリ特徴箇所に３次元座標を付与することで構成する３次元空間と、前記データベース特徴箇所に次元座標を付与することで構成する２次元空間とから射影変換行列を算出する変換行列算出手段と、
前記射影変換行列を用いて前記３次元空間の点であるクエリ特徴箇所を前記２次元空間に投影し、前記投影されたクエリ特徴箇所と前記２次元空間の点であるデータベース特徴箇所が所定の要件を具備するときに、前記暫定特徴箇所ペアを組みなおすことで特徴箇所ペアの集合を生成する第２の集合生成手段と、
前記特徴箇所ペアについて、テンプレートマッチングを行った結果得られる評価関数の値を算出し、該評価関数の値に基づき前記２次元画像に類似する前記データベース画像を選択する照合手段と
を備えることを特徴とする被写体認識装置。
【請求項２】
前記変換行列算出手段は、前記射影変換行列を求める際に、外れ値と判断される暫定の特徴点ペアを前記暫定の特徴点ペアの集合から削除して用いることを特徴とする請求項１に記載の被写体認識装置。
【請求項３】
被写体の２次元画像と前記２次元画像の各画素の奥行値によって表現された奥行画像を用いて、複数のデータベース画像から被写体候補のデータベース画像を選択する被写体認識装置が行う被写体認識方法であって、
前記２次元画像から特徴箇所であるクエリ特徴箇所を抽出し、前記クエリ特徴箇所の局所記述子である第１の局所記述子を算出し、前記奥行画像から前記クエリ特徴箇所の３次元座標を算出するクエリ特徴表現ステップと、
前記データベース画像から特徴箇所であるデータベース特徴箇所を抽出し、前記データベース特徴箇所の局所記述子である第２の局所記述子を算出するデータベース特徴表現ステップと、
前記第１の局所記述子と前記第２の局所記述子とを比較した結果に基づいて前記クエリ特徴箇所と前記データベース特徴箇所を組にした暫定特徴箇所ペアの集合を生成する第１の集合生成ステップと、
前記暫定特徴箇所ペアから、前記クエリ特徴箇所の集合と前記データベース特徴箇所の集合を抽出し、前記クエリ特徴箇所に３次元座標を付与することで構成する３次元空間と、前記データベース特徴箇所に次元座標を付与することで構成する２次元空間とから射影変換行列を算出する変換行列算出ステップと、
前記射影変換行列を用いて前記３次元空間の点であるクエリ特徴箇所を前記２次元空間に投影し、前記投影されたクエリ特徴箇所と前記２次元空間の点であるデータベース特徴箇所が所定の要件を具備するときに、前記暫定特徴箇所ペアを組みなおすことで特徴箇所ペアの集合を生成する第２の集合生成ステップと、
前記特徴箇所ペアについて、テンプレートマッチングを行った結果得られる評価関数の値を算出し、該評価関数の値に基づき前記２次元画像に類似する前記データベース画像を特定する照合ステップと
を有することを特徴とする被写体認識方法。
【請求項４】
コンピュータを、請求項１または２に記載の被写体認識装置として機能させるための被写体認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮影した被写体を認識する被写体認識装置、被写体認識方法及び被写体認識プログラムに関する。
【背景技術】
【０００２】
従来からカメラ等の撮像装置で撮影した画像のみを用いて、被写体の３次元物体を特定する画像認識技術がある。例えば、事前にあらゆる撮像視点から被写体を撮影した画像群をデータベース内に準備しておき、これを任意方向から撮影された入力画像と画像マッチングする手法がある。
【０００３】
しかし、認識対象とするすべての物体について、あらゆる方向から撮影した画像群を準備するのは非常に大変であり、認識可能な被写体を増やすために、認識に必要な事前準備画像枚数を削減することが求められている。もし認識に必要な事前準備画像枚数を削減することができれば、すでにＷｅｂ上に膨大に蓄積されている画像を利用して、認識可能な対象物体を飛躍的に増加させることができる。
【０００４】
しかし、事前準備画像が減ると、事前準備画像の中に、入力画像の撮像視点と同様、もしくは近接した撮像視点の画像が存在する可能性が低下する。そのため、さまざまな物体を認識可能なサービス実現にあたっては、撮像視点が異なることによるアピアランスの相違に頑健な画像マッチング技術が必要である。
【０００５】
画像マッチング技術は、２画像間の「対応付け」、および対応づいた特徴箇所数や特徴量等によって「同一性を評価」することによって実現されるが、３次元物体の撮像視点変化に伴うアピアランスの相違に頑健な画像マッチングを実現に向けて、従来は「対応付け」「同一性評価」のそれぞれにフォーカスをあてた、２つのアプローチが存在する。
【０００６】
１つ目のアプローチは、比較する２画像には画像変形等の処理を加えずに、そこから得られた特徴点ペア情報をもとに画像マッチングを実現する方法である。ただし、画像特徴量は本来、特徴点間の同一性評価に用いられるのにも関わらず、アピアランスの異なる画像から得られた画像特徴量に基づき特徴箇所を対応付けた場合、対応付けられた特徴点の特徴量の違いが、「特徴点が物体上の異なる点から抽出されたものであること」に起因するのか、「撮像視点の違いによるアピアランスの相違」に起因するものなのか、その値からは判断することが出来ない。
【０００７】
その結果、被写体上の同一箇所から抽出された特徴点であるのにも関わらず特徴量の類似度が低かったり、異なる箇所から抽出された特徴点であるのにも関わらず、特徴量の類似度が高かったりと、特徴量による同一性評価の信頼度は劣化しており、誤対応が発生する。そのため１つ目のアプローチでは、局所で対応付けられた特徴箇所のペア群をまとめて、大域的な配置関係を考慮することで局所間では低下している同一性評価の信頼度を補い、画像マッチングを実現する（例えば、非特許文献１参照）。
【０００８】
２つ目のアプローチは、比較する２画像間（もしくはその部分領域間）において片方をもう一方のアピアランスに近づくよう画像変形させ、その後で両者を比較する方法である（例えば、非特許文献２参照）。これは、各データベース  画像をあらゆる角度にアフィン変換し、それらの画像から抽出した特徴量と入力画像の特徴点を対応付け、対応づいた特徴点間における特徴量を比較し、画像マッチングする手法である。
【先行技術文献】
【非特許文献】
【０００９】
【非特許文献１】堀貴博，滝口哲也，有木康雄，グラフ構造表現による一般物体認識，信学技報，ｖｏｌ．１１１，ｎｏ．３５３，ＰＲＭＵ２０１１−１２７，ｐｐ．１９−２４，２０１１年１２月．
【非特許文献２】J.M. Morel and G.Yu, ASIFT: A New Framework for Fully Affine Invariant Image Comparison, SIAM Journal on Imaging Sciences,vol. 2, issue 2, 2009.
【発明の概要】
【発明が解決しようとする課題】
【００１０】
ただし、非特許文献１にあっては、２次元画像のみから撮像視点の異なる特徴点配置を求めることは困難であるため、撮像視点が大きく異なる際に発生する特徴箇所の配置関係の変化に対応できるものではなく、また３次元的な配置関係が異なるのにも関わらず、大域的類似度が高いと評価されることもあり、これらによって厳密に被写体の同一性を評価することはできないという問題がある。
【００１１】
また、非特許文献２においても、３次元物体を被写体としたとき、奥行き情報を持たない２次元画像のみから、他の撮像視点画像を生成することは原理的に不可能であるため、３次元物体に対する撮像視点が大きく異なるような画像間においては、画像のアフィン変換のみでは画像間のアピアランスを近づけきれず、特徴点の誤対応が発生するという問題がある。
【００１２】
本発明は、このような事情に鑑みてなされたもので、３次元物体の撮像視点に基づくアピアランスの相違に対する頑健性を向上させることができる被写体認識装置、被写体認識方法及び被写体認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１３】
本発明は、被写体の２次元画像と前記２次元画像の各画素の奥行値によって表現された奥行画像を用いて、複数のデータベース画像から被写体候補のデータベース画像を選択する被写体認識装置であって、前記２次元画像から特徴箇所であるクエリ特徴箇所を抽出し、前記クエリ特徴箇所の局所記述子である第１の局所記述子を算出し、前記奥行画像から前記クエリ特徴箇所の３次元座標を算出するクエリ特徴表現手段と、前記データベース画像から特徴箇所であるデータベース特徴箇所を抽出し、前記データベース特徴箇所の局所記述子である第２の局所記述子を算出するデータベース特徴表現手段と、前記第１の局所記述子と前記第２の局所記述子とを比較した結果に基づいて前記クエリ特徴箇所と前記データベース特徴箇所を組にした暫定特徴箇所ペアの集合を生成する第１の集合生成手段と、前記暫定特徴箇所ペアから、前記クエリ特徴箇所の集合と前記データベース特徴箇所の集合を抽出し、前記クエリ特徴箇所に３次元座標を付与することで構成する３次元空間と、前記データベース特徴箇所に次元座標を付与することで構成する２次元空間とから射影変換行列を算出する変換行列算出手段と、前記射影変換行列を用いて前記３次元空間の点であるクエリ特徴箇所を前記２次元空間に投影し、前記投影されたクエリ特徴箇所と前記２次元空間の点であるデータベース特徴箇所が所定の要件を具備するときに、前記暫定特徴箇所ペアを組みなおすことで特徴箇所ペアの集合を生成する第２の集合生成手段と、前記特徴箇所ペアについて、テンプレートマッチングを行った結果得られる評価関数の値を算出し、該評価関数の値に基づき前記２次元画像に類似する前記データベース画像を選択する照合手段とを備えることを特徴とする。
【００１４】
本発明は、前記変換行列算出手段は、前記射影変換行列を求める際に、外れ値と判断される暫定の特徴点ペアを前記暫定の特徴点ペアの集合から削除して用いることを特徴とする。
【００１５】
本発明は、被写体の２次元画像と前記２次元画像の各画素の奥行値によって表現された奥行画像を用いて、複数のデータベース画像から被写体候補のデータベース画像を選択する被写体認識装置が行う被写体認識方法であって、前記２次元画像から特徴箇所であるクエリ特徴箇所を抽出し、前記クエリ特徴箇所の局所記述子である第１の局所記述子を算出し、前記奥行画像から前記クエリ特徴箇所の３次元座標を算出するクエリ特徴表現ステップと、前記データベース画像から特徴箇所であるデータベース特徴箇所を抽出し、前記データベース特徴箇所の局所記述子である第２の局所記述子を算出するデータベース特徴表現ステップと、前記第１の局所記述子と前記第２の局所記述子とを比較した結果に基づいて前記クエリ特徴箇所と前記データベース特徴箇所を組にした暫定特徴箇所ペアの集合を生成する第１の集合生成ステップと、前記暫定特徴箇所ペアから、前記クエリ特徴箇所の集合と前記データベース特徴箇所の集合を抽出し、前記クエリ特徴箇所に３次元座標を付与することで構成する３次元空間と、前記データベース特徴箇所に次元座標を付与することで構成する２次元空間とから射影変換行列を算出する変換行列算出ステップと、前記射影変換行列を用いて前記３次元空間の点であるクエリ特徴箇所を前記２次元空間に投影し、前記投影されたクエリ特徴箇所と前記２次元空間の点であるデータベース特徴箇所が所定の要件を具備するときに、前記暫定特徴箇所ペアを組みなおすことで特徴箇所ペアの集合を生成する第２の集合生成ステップと、前記特徴箇所ペアについて、テンプレートマッチングを行った結果得られる評価関数の値を算出し、該評価関数の値に基づき前記２次元画像に類似する前記データベース画像を特定する照合ステップとを有することを特徴とする。
【００１６】
本発明は、コンピュータを、前記被写体認識装置として機能させるための被写体認識プログラムである。
【発明の効果】
【００１７】
本発明によれば、３次元物体の撮像視点に基づくアピアランスの相違に対する頑健性を向上させることができるという効果が得られる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示すクエリ特徴表現部１１の処理動作を示すフローチャートである。
【図３】図１に示すデータベース特徴表現部１２の処理動作を示すフローチャートである。
【図４】図１に示す照合部１３の処理動作を示すフローチャートである。
【図５】リペアリング処理の詳細を示す図である。
【図６】投影幾何算出とリペアリングの処理の詳細を示す図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照して、本発明の一実施形態による被写体認識装置を説明する。図１は本実施形態の構成を示すブロック図である。被写体認識装置はコンピュータ装置によって構成する。図１において、符号１は、被写体認識処理を行う被写体認識部である。符号２は、カメラ等で撮影して得られた２次元画像とレンジファインダ等のセンサーから得られた奥行画像を入力する画像入力部である。符号３は、被写体認識処理に必要なデータを記憶する記憶部である。符号４はキーボード等から構成する入力部である。符号５は、表示装置等から構成する表示部である。
【００２０】
符号１１は、画像入力部２を介して入力した被写体の画像から特徴点を抽出し、特徴点から局所記述子を算出し、また同時に画像入力部２を介して入力した被写体の奥行き画像をもとに、特徴点の３次元座標を算出し、保存するクエリ特徴表現部である。符号１２は、予めさまざまな物体について、１物体につき、物体に対して任意の角度から撮影した１枚以上の画像からなる検索対象データベース画像群を記憶部３から読み出し、このすべてのデータベース画像において特徴箇所を抽出し、特徴箇所の局所記述子を算出するデータベース特徴表現部である。符号１３は、クエリ特徴表現部１１で算出したクエリ特徴量と、データベース特徴表現部１２で算出したデータベース特徴量を比較し、クエリ特徴量に最も類似するデータベース画像を特定し、このデータベース画像のＩＤを被写体認識結果として出力する照合部である。
【００２１】
次に、図１に示す被写体認識装置の処理動作を説明する。ここでは、クエリとして被写体の２次元画像と、２次元画像の各画素の奥行き情報が格納された奥行き画像が入力され、１枚もしくは複数の２次元画像を検索対象データベースとして予め記憶部３に記憶しておくものとして説明する。なお、クエリ・データベースともに２次元画像のデータは対象の被写体を任意の角度から撮影したものとし、データベース側の２次元画像群にはそれぞれ、予め対象の被写体毎に唯一に付与された被写体ＩＤや名前などの各種情報が関連づけられて保存されているものとする。また、クエリの奥行き画像はレンジファインダ等のセンサーによって計測し、同じくクエリとして入力する２次元画像の各画素と対応づいているものとする。
【００２２】
次に、図２を参照して、図１に示すクエリ特徴表現部１１の処理動作を説明する。図２は、図１に示すクエリ特徴表現部１１の処理動作を示すフローチャートである。まず、クエリ特徴表現部１１は、画像入力部２から、被写体を任意の方向から撮影した２次元画像と、該２次元画像の各画素の奥行き値が格納された奥行き画像を入力する（ステップＳ１）。次に、クエリ特徴表現部１１は、入力した２次元画像から特徴箇所の検出を行う（ステップＳ２）。特徴箇所の検出は、例えば参考文献１「Distinctive image features from scale-invariant keypoints. David G. Lowe, International Journal of Computer Vision, 60, 2 (2004)」に記載のＤｏＧ処理により検出することができる。
【００２３】
次に、クエリ特徴表現部１１は、検出された特徴箇所ごとに局所記述子を算出する（ステップＳ３）。局所記述子には例えば参考文献１に記載のＳＩＦＴ特徴量を利用することができ、１２８次元の特徴ベクトルを取得することができる。
【００２４】
また、クエリ特徴表現部１１は、奥行き画像に基づき、各特徴箇所の３次元座標を算出する（ステップＳ４）。ステップＳ４の３次元座標値の算出については、クエリ画像のカメラ内部パラメータ（焦点距離ｆ、主点（ｃｘ，ｃｙ））を既知とし、２次元座標の奥行き値がとしたとき、例えば以下の式によって行う。
【数１】
2015045921.tif 000003
【００２５】
そして最後に、クエリ特徴表現部１１は、各特徴箇所の局所記述子と３次元座標をクエリ特徴量として記憶部３に記憶して保存する（ステップＳ５）。
【００２６】
なお、前述した説明ではクエリとして、被写体の２次元画像と奥行き画像をセットで入力すると記載したが、テクスチャ付き３次元モデルから、任意視点画像を生成し、該画像から得られた特徴点の局所記述子と３次元モデル上の座標値を対応付けて用いてもよい。また、テクスチャ付き３次元モデル自体から、直接３次元特徴点を抽出し、その局所記述子と３次元モデル上の座標値を対応付けて用いてもよい。
【００２７】
また、特徴箇所の検出には、ＤｏＧ処理を利用する説明をしたが、画像上に等間隔グリッドを配置した点を特徴点として扱うなど、画像上の任意の点を特徴点として抽出することができる。また、局所記述子としてＳＩＦＴ特徴量を利用することができると記載したが、ＳＩＦＴ特徴量に限らず任意の局所記述子を利用することができる。
【００２８】
次に、図３を参照して、図１に示すデータベース特徴表現部１２の処理動作を説明する。図３は、図１に示すデータベース特徴表現部１２の処理動作を示すフローチャートである。まず、データベース特徴表現部１２は、記憶部３から全ての２次元画像データ（これをデータベース画像という）を入力する（ステップＳ１１）。この２次元画像データは、予めさまざまな物体を任意の角度から一枚だけ撮影した画像である。
【００２９】
次に、データベース特徴表現部１２は、入力したデータベース画像において、特徴箇所を検出し（ステップＳ１２）、この特徴箇所の局所記述子を算出する（ステップＳ１３）。特徴箇所の検出および局所記述子の算出は、クエリ特徴表現部におけるステップＳ２およびステップＳ３と同様の処理を行う。局所記述子の算出は、特徴箇所の数だけ行う。
【００３０】
そして、この処理を入力したデータベース画像の数だけ繰り返し、データベース特徴表現部１２は、算出した特徴箇所の局所記述子を、データベース画像ＩＤと関連付けて記憶部３に保存する（ステップＳ１４）。これにより、記憶部３に記憶されている画像検索対象のデータベース画像特徴箇所の局所記述子がデータベース特徴量として記憶部３に記憶される。
【００３１】
次に、図４を参照して、図１に示す照合部１３の処理動作を説明する。図４は、図１に示す照合部１３の処理動作を示すフローチャートである。まず、照合部１３は、記憶部３からクエリ特徴量とデータベース特徴量を読みだす（ステップＳ２１）。そして処理対象のデータベース画像を１枚決定し、該対象データベース画像から抽出された局所記述子とクエリから抽出された局所記述子とを比較することで暫定の特徴点ペアセットを生成する（ステップＳ２２）。
【００３２】
この暫定の特徴点ペアは例えば以下の方法によって生成する。まず、各クエリ特徴箇所の局所記述子において、対象データベース画像の特徴箇所の局所記述子の中からベクトル間距離が最も小さい特徴点を選ぶ。そして、次は逆に各対象データベースの局所記述子において、クエリの局所記述子の中からベクトル間距離が最も小さい特徴点を選ぶ。互いに最もベクトル間距離が小さい特徴点が一致した時、このクエリの特徴箇所と、対象データベース画像の局所記述子を、暫定の特徴点ペアとする。
【００３３】
なお、ここでは被写体上で同一の点を示すであろう２つの特徴箇所（１つはクエリ、もう１つはある１枚のデータベース画像上の点）を正しくペアリングするために、相互に最もベクトル間距離が小さい局所記述子として判定した２つの特徴箇所を、暫定の特徴点ペアとしたが、どちらか片方に属す特徴点から最もベクトル間距離が小さい特徴箇所を求め、それをもって特徴点ペアとしてもよい。片側のみから算出すればその分計算量を少なくできる。
【００３４】
次に、照合部１３は、生成した暫定の特徴点ペアの集合である暫定の特徴点ペアセットを構成する、クエリ特徴箇所の３次元座標位置とデータベース画像の特徴箇所の２次元座標間で参考文献２「コンピュータビジョン９０、射影幾何学によるＰｎＰカメラ補正問題の統一的解法、出口光一郎」に記載のＰｎＰ（Ｐｅｒｓｐｅｃｔｉｖｅ−ｎ−Ｐｏｉｎｔ）問題を解くことで、データベース画像の射影変換行列Ｐを求めることにより投影幾何を算出する（ステップＳ２３）。この際、外れ値を排除する手法としてロバスト推定法を用いる。例えば、参考文献２と同様に、ロバスト推定法の一種であるＲａｎｄｏｍ  Ｓａｍｐｌｅ  Ｃｏｎｓｅｎｓｕｓ（ＲＡＮＳＡＣ）法を適用する。
【００３５】
ステップＳ２３において外れ値と判定された暫定の特徴点ペアは幾何関係を満たしていないと見なし、暫定の特徴点ペアセットから削除を行う。一方、図５（ａ）に示すように、すべてのクエリ特徴箇所の奥行値ｄを利用して計算した３次元点群をデータベース画像に推定した射影変換行列Ｐに基づき投影し、三次元点のデータベース画像への投影点とデータベース画像の特徴箇所の画像上距離が近いものを組とするペアリングを再度行う（ステップＳ２４）。図５は、リペアリング処理の詳細を示す図である。ペアリングは、図５（ｂ）に示すように、三次元点をデータベース画像上に投影した投影点に対し、事前に与えた閾値ｒ範囲内にデータベース画像の特徴箇所が存在しない場合は、この投影点に対して、特徴点ペアを生成しないものとする。このリペアリングによって、投影幾何関係を満たさない特徴点ペアの削除と特徴量類似度によるステップＳ２２におけるペアリングでは生成できなかったペアを投影幾何関係を利用することで、生成することができる。
【００３６】
ここで、図６を参照して、投影幾何算出とリペアリングの処理について説明する。図６は、投影幾何算出とリペアリングの処理の詳細を示す図である。照合部１３は、クエリとデータベース画像の特徴箇所を検出およびクエリの特徴箇所の三次元座標を取得し（図６（ａ））、局所記述子に基づき暫定の特徴点ペアセットを生成する（ステップＳ２２、図６（ｂ））。続いて、照合部１３は、暫定の特徴点ペアセットの中から投影幾何、すなわちデータベース画像の射影変換行列Ｐを求める（ステップＳ２３、図６（ｃ））。そして、照合部１３は、この投影幾何を満たすよう、暫定の特徴点ペアセットの内、ステップＳ２３において外れ値とされたペアを削除すると共に、三次元点をデータベース画像に射影変換行列Ｐを利用して投影した投影点から画像上の距離が近いデータベース画像の特徴点箇所を特徴点ペアとして登録することで特徴点ペアセットを組み替える（ステップＳ２４、図６（ｄ））。
【００３７】
このように投影幾何に基づき特徴点ペアセットを組み替えることで、特徴量ではペアリングできなかった点や、誤ペアリングされた特徴点ペアセットを投影幾何が成り立つようにペアリングを追加・補正することができる。なお、ここでは外れ値の除去方法にＲＡＮＳＡＣを用いたが他の方法（例えばＬＭｅｄｓ）によって置き換えることも可能である。
【００３８】
図４に戻り、次に、照合部１３は、各特徴点ペアセットについて、クエリ画像およびデータベース画像上の２次元座標値を初期位置として、テンプレートマッチングによりテクスチャ特徴について最も整合性が取れる座標値へと更新を行う（ステップＳ２５）。この処理を行うことで投影幾何とテクスチャ類似度を満たすことが可能となる。テンプレートマッチングには例えば、参考文献３「S. Baker, F. Dellaert and I. Matthews, Aligning Images Incrementally Backwards, tech. report CMU-RI-TR-01-03, Robotics Institute, Carnegie Mellon University, Feb. 2001.」に記載のテンプレート位置合わせ手法Ｉｎｖｅｒｓｅ  Ｃｏｍｐｏｓｉｔｉｏｎａｌ  Ｉｍａｇｅ  Ａｌｉｇｎｍｅｎｔを用いることができる。この手法はテンプレートマッチングにおいて基準画像の小領域（矩形テンプレート）に対応する比較画像の小領域を推定する際、比較画像の小領域を矩形ではなく、最適な形状に歪ませて対応を取ることができる手法であり、視点が大きく異なる画像間の対応を求める際に問題となる射影歪みの問題を軽減することができる。
【００３９】
次に、照合部１３は、このテンプレートマッチングの評価関数の値（例えばＳＡＤ関数など）を画像間の同一性スコアとして算出する（ステップＳ２６）。また同時に投影幾何に基づき対応付けられた特徴点ペアセットから、周辺テクスチャが類似しない特徴点ペアセットがあった場合（あらかじめ規定したスコア閾値により判断を行う）にはこれの削除を行う。そして、ステップＳ２５とステップＳ２６を特徴点ペアセットの数分繰り返す。
【００４０】
なお、同一性スコアＳは例えば、特徴点ペアセット数Ｎ、各特徴点ペアセットのワーピング更新式収束時の小領域間のｍｅａｎ  ｅｒｒｏｒ値、を用いて、以下の式によって算出する。
【数２】
2015045921.tif 000004
【００４１】
次に、照合部１３は、ステップＳ２２〜２６をデータベース画像枚数分繰り返し、各データベースのスコアＳを比較することで、クエリ画像と最も被写体が類似していると考えられるデータベース画像ランキングをスコアの開票結果として出力する（ステップＳ２７）。
【００４２】
なお、ステップＳ２５において、Ｉｎｖｅｒｓｅ  Ｃｏｍｐｏｓｉｔｉｏｎａｌ  Ｉｍａｇｅ  Ａｌｉｇｎｍｅｎｔを用いる方法を記載したが、テンプレートマッチング手法には任意の手法を用いることができる。
【００４３】
このように、本実施形態では、以下の（１）、（２）の処理を行うようにした。
（１）撮像視点が異なっていても不変である投影幾何によって制約を与えて、複数局所間の大域的な配置関係を考慮することで、特徴点の対応付けを行う。
（２）対応付けられた特徴点周囲の２領域間において、領域間のアピアランスが近づくよう、画像を射影変換し、射影歪みの影響を取り除いたうえで、同一性を判定する。
【００４４】
これにより、従来の画像マッチングアプローチである「比較する画像間のアピアランスを近づけた上での画像の比較」および「大域的な配置関係の考慮」の両アプローチを改善しつつ組み合わせることで、３次元物体の撮像視点に基づくアピアランスの相違に頑健な画像マッチングを実現することができる。
【００４５】
前述した実施形態における被写体認識装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。
【００４６】
以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。
【産業上の利用可能性】
【００４７】
３次元物体の撮像視点に基づくアピアランスの相違に対する頑健性を向上させることが不可欠な用途に適用できる。
【符号の説明】
【００４８】
１・・・被写体認識部、２・・・画像入力部、３・・・記憶部、４・・・入力部、５・・・表示部、１１・・・クエリ特徴表現部、１２・・・データベース特徴表現部、１３・・・照合部
【図１】
2015045921.tif 000005
【図２】
2015045921.tif 000006
【図３】
2015045921.tif 000007
【図４】
2015045921.tif 000008
【図５】
2015045921.tif 000009
【図６】
2015045921.tif 000010