(57)【要約】【課題】照合回数の増加を抑えて高精度の認識結果を得ることができるようにする。【解決手段】顔画像から局所領域を切り出し、切り出した領域から顔を認識するための局所特徴量を求め、隣接する視点間での局所特徴同士の類似度を算出して、算出した類似度に基づいて多視点画像の視点にラベル付けを行う。そして、ラベル付け結果に基づいて局所特徴量を統合する。登録画像との比較においては、この統合された局所特徴量に基づいて類似度を算出し、認識結果を得る。【選択図】図１
2013218605.tif 000002
【特許請求の範囲】
【請求項１】
被写体の撮像方向がそれぞれ異なる複数の単視点画像を含む多視点画像を取得する取得手段と、
前記複数の単視点画像からそれぞれ特徴量を抽出する抽出手段と、
前記抽出手段によって抽出されたそれぞれの特徴量の間での類似度を算出する第一の類似度算出手段と、
前記第一の類似度算出手段によって算出された類似度と前記多視点画像の視点位置とに基づいて前記特徴量を統合する統合手段と、
前記統合手段によって統合された特徴量と、登録画像の特徴量との類似度を算出する第二の類似度算出手段と、
前記第二の類似度算出手段によって算出された類似度に基づいて前記被写体を認識する認識手段とを備えたことを特徴とする画像認識装置。
【請求項２】
前記第一の類似度算出手段は、前記多視点画像のうち、近傍の視点の単視点画像から抽出した特徴量同士で類似度を算出し、
前記統合手段は、前記多視点画像のうち、近傍の視点の単視点画像から抽出した特徴量同士を統合することを特徴とする請求項１に記載の画像認識装置。
【請求項３】
前記抽出手段は、前記単視点画像から複数の局所領域を抽出して前記局所領域から特徴量を抽出し、
前記第一の類似度算出手段は、前記局所領域ごとに類似度を算出し、
前記統合手段は、前記局所領域ごとに特徴量を統合し、
前記第二の類似度算出手段は、前記局所領域ごとに前記統合した特徴量に基づいて類似度を算出することを特徴とする請求項１又は２に記載の画像認識装置。
【請求項４】
前記統合した特徴量を前記多視点画像の視点位置と対応付けて登録する登録手段をさらに備えたことを特徴とする請求項１〜３の何れか１項に記載の画像認識装置。
【請求項５】
前記特徴量はヒストグラム特徴であることを特徴とする請求項１〜４の何れか１項に記載の画像認識装置。
【請求項６】
前記単視点画像は顔画像であることを特徴とする請求項１〜５の何れか１項に記載の画像認識装置。
【請求項７】
被写体の撮像方向がそれぞれ異なる複数の単視点画像を含む多視点画像を取得する取得工程と、
前記複数の単視点画像からそれぞれ特徴量を抽出する抽出工程と、
前記抽出工程において抽出されたそれぞれの特徴量の間での類似度を算出する第一の類似度算出工程と、
前記第一の類似度算出工程において算出された類似度と前記多視点画像の視点位置とに基づいて前記特徴量を統合する統合工程と、
前記統合工程において統合された特徴量と、登録画像の特徴量との類似度を算出する第二の類似度算出工程と、
前記第二の類似度算出工程において算出された類似度に基づいて前記被写体を認識する認識工程とを備えたことを特徴とする画像認識方法。
【請求項８】
被写体の撮像方向がそれぞれ異なる複数の単視点画像を含む多視点画像を取得する取得工程と、
前記複数の単視点画像からそれぞれ特徴量を抽出する抽出工程と、
前記抽出工程において抽出されたそれぞれの特徴量の間での類似度を算出する第一の類似度算出工程と、
前記第一の類似度算出工程において算出された類似度と前記多視点画像の視点位置とに基づいて前記特徴量を統合する統合工程と、
前記統合工程において統合された特徴量に基づいて、登録画像との類似度を算出する第二の類似度算出工程と、
前記第二の類似度算出工程において算出された類似度に基づいて前記被写体を認識する認識工程とをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、顔認識を行うために用いて好適な画像認識装置、画像認識方法及びプログラムに関する。
【背景技術】
【０００２】
従来、人物の顔を含む画像から顔の領域を顔画像として抽出し、抽出した顔画像を予め登録した特定人物の顔画像と比較することにより個人識別を行う顔認識技術が知られている。この顔認識技術は、例えば、カメラに写っている人物が登録者であると認証されたときにオフィス等への入室を許可するなどのセキュリティ用途に使用されている。
【０００３】
一方、この顔認識技術を同一人物が写っている写真の検索に利用したいといった要望もある。前述したようなセキュリティ用途においては、人物を撮影する際の撮影条件に制約を付けて高精度の認識を可能としているが、検索に利用する場合は人物の撮影条件が様々であるため認識精度が低下するといった問題がある。例えば、顔の向きや表情、撮影時の照明が異なった写真間では、同一人物が写っていても別人物と誤判定してしまうことがあった。
【０００４】
そこで、近年では、顔の向きが異なる場合においても高精度に顔認識を行う方法として、複数方向の顔画像を利用した様々な方式が提案されている。例えば、非特許文献１には、複数方向の顔画像から部分空間を作成し、登録顔及び入力顔の部分空間同士の類似度から認識を行う方法が開示されている。さらに、特許文献１では、複数のカメラから獲得された同一人物の時系列の顔画像を一つの画像列として統合し、顔の見え方の変動を獲得した上で個人識別を行う方法が開示されており、ここでも部分空間による認識が利用されている。一方、特許文献２には、複数方向の顔画像から向きの異なる２枚の顔画像を選択し、フィールドモーフィングにより正面顔画像を生成して正面顔同士で照合を行う方法が開示されている。また、第３の方法として、複数方向の顔画像を登録顔及び入力顔で用意し、登録顔画像群及び入力顔画像群から夫々一枚の顔画像を選択して網羅的に照合を繰り返す方法も提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−３１７０６２号公報
【特許文献２】特開２００９−２５８７４号公報
【非特許文献】
【０００６】
【非特許文献１】福井 和広: "複数視点画像を用いた顔画像認識", 精密工学会画像応用技術専門委員会研究報告, Vol.19, No.3, pp.1-10, (2004)
【非特許文献２】Viola and Jones. Rapid Object Detection using Boosted Cascade of Simple Features. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR2001)
【非特許文献３】Cootes, Edwards and Taylor. Active Appearance Models. IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No.6, JUNE 2001
【非特許文献４】C. Shan and T. Gritti, Learning Discriminative LBP-Histogram Bins For Facial Expression Recognition. In Proc. British Machine Vision Conference, 2008
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、部分空間を利用した方法においては、顔の向きの変化の範囲が広すぎると顔の見え方が大きく変わってしまうため、個人の特徴を正確に表現できる部分空間を作成することが困難になる。また、画像モーフィングを利用した方法では、画像間の対応付けを失敗すると生成した正面顔が破綻してしまうといった問題点がある。そこで、最も高精度に顔認証を行うためには、登録顔画像群と入力顔画像群とで網羅的に照合を繰り返す手法を用いることが望ましい。しかしながら、この方法では、取得する顔画像の枚数が多くなるに従って照合回数が増加し、計算量が膨大になるという問題点がある。
【０００８】
本発明は前述の問題点に鑑み、照合回数の増加を抑えて高精度の認識結果を得ることができるようにすることを目的としている。
【課題を解決するための手段】
【０００９】
本発明の画像認識装置は、被写体の撮像方向がそれぞれ異なる複数の単視点画像を含む多視点画像を取得する取得手段と、前記複数の単視点画像からそれぞれ特徴量を抽出する抽出手段と、前記抽出手段によって抽出されたそれぞれの特徴量の間での類似度を算出する第一の類似度算出手段と、前記第一の類似度算出手段によって算出された類似度と前記多視点画像の視点位置とに基づいて前記特徴量を統合する統合手段と、前記統合手段によって統合された特徴量と、登録画像の特徴量との類似度を算出する第二の類似度算出手段と、前記第二の類似度算出手段によって算出された類似度に基づいて前記被写体を認識する認識手段とを備えたことを特徴とする。
【発明の効果】
【００１０】
本発明によれば、多視点画像間の照合を網羅的に行っても照合回数の増加を抑えることが可能になる。また、複数画像群同士の照合において認識精度を保持することができる。
【図面の簡単な説明】
【００１１】
【図１】実施形態に係る画像認識装置の機能構成例を示すブロック図である。
【図２】実施形態における多視点画像取得部を構成する多眼撮像装置の一例を示す図である。
【図３】実施形態において、多視点画像を登録する処理手順の一例を示すフローチャートである。
【図４】多視点画像の一例を示す図である。
【図５】特徴点の位置を説明する図である。
【図６】人物の顔における局所領域を説明する図である。
【図７】実施形態におけるラベル付けの結果の一例を示す図である。
【図８】実施形態において、多視点画像を入力して登録されている多視点画像と照合する処理手順の一例を示すフローチャートである。
【発明を実施するための形態】
【００１２】
以下、図面を参照しながら、本発明の好適な実施形態について詳細に説明する。本実施形態では、多視点顔画像から顔の個人識別を行う例について説明する。
図１は、本実施形態に係る画像認識装置１００の機能構成例を示すブロック図である。
図１において、多視点画像取得部１０１は、複数の撮像部を備えた多眼撮像装置と、多眼撮像装置を構成する撮像部の制御を行う撮像制御部と、多眼撮像装置で取得した多視点画像を視点位置毎に記録する記録装置とにより構成されている。図２に、多眼撮像装置２００の一例を示す。図２に示すように、多眼撮像装置２００には、画像データを取得する２５個の撮像部２０１〜２２５が正方格子上に均等に配置されている。このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像した、撮像方向の異なる画像群を得ることができる。
【００１３】
顔検出部１０２は、多視点画像取得部１０１で取得した多視点画像を構成する夫々の単視点画像から顔領域を検出し、その位置座標の情報を出力する。顔画像正規化部１０３は、顔検出部１０２で検出した顔領域の位置座標から顔領域が所定の配置及び大きさになるように元の単視点画像に対して画像の幾何学的変換を行い、正規化された顔画像を切り出す。
【００１４】
顔特徴点検出部１０４は、顔画像正規化部１０３で正規化した顔画像から顔の特徴を表す目、鼻、口などの顔部品の端点を検出し、その位置座標の情報を出力する。局所特徴抽出部１０５は、顔特徴点検出部１０４で検出した顔特徴の端点位置に基づいて、顔画像正規化部１０３で正規化した顔画像から局所領域を切り出し、切り出した領域から顔を認識するための局所特徴量を求める。局所特徴記憶部１０６は、局所特徴抽出部１０５で求めた顔の局所特徴量を記憶するメモリである。
【００１５】
第一の類似度算出部１０７は、局所特徴記憶部１０６に記憶されている多視点画像内の異なる単視点画像の局所特徴量の類似度を算出する。ラベル付け部１０８は、第一の類似度算出部１０７が算出した類似度に基づいて多視点画像の視点にラベルを付ける。局所特徴統合部１０９は、ラベル付け部１０８の結果に基づいて局所特徴記憶部１０６に記憶されている局所特徴量を統合する。多視点顔特徴登録部１１０は、局所特徴統合部１０９によって統合した局所特徴量を多視点画像の視点位置と対応付けて登録する。
【００１６】
第二の類似度算出部１１１は、多視点画像間の局所特徴量の類似度を算出する。すなわち、局所特徴統合部１０９によって統合した局所特徴量と多視点顔特徴登録部１１０に既に登録されている局所特徴量との類似度を算出する。類似度統合部１１２は、第二の類似度算出部１１１で算出した類似度を統合して多視点画像間の類似度として出力する。認識部１１３は、類似度統合部１１２の類似度に基づいて入力された多視点画像の人物が登録されている多視点画像の人物と同一人物かどうかを判定する。
【００１７】
次に、本実施形態に係る画像認識装置１００の動作について説明する。
図３は、本実施形態における多視点画像を登録する処理手順の一例を示すフローチャートである。
まず、多視点画像取得部１０１は、多視点画像を取得し、取得した多視点画像を多視点画像取得部１０１の内部メモリに記憶する（Ｓ３０１）。このとき、取得する多視点画像は輝度画像とし、ＲＧＢ等のカラー画像を取得した場合は輝度画像に変換して内部メモリに記憶する。図４には、多視点画像の例を示しており、例えば、図４における左上端の顔画像４０１は図２の撮像部２０１で取得されたものである。
【００１８】
次に、顔検出部１０２は、多視点画像取得部１０１で取得した多視点画像から顔領域の正確な位置及び大きさを求める（Ｓ３０２）。例えば、非特許文献３で開示されている方法によって、多視点画像取得部１０１の内部メモリに記憶されている輝度画像中の顔領域の位置を求める。この処理では、例えば、図４に示した２５個の顔の位置（両目の中心位置に相当）、及び大きさ（両目間の距離に相当）を求め、不図示のメモリに記憶しておく。
【００１９】
次に、顔画像正規化部１０３は、顔検出部１０２で検出した顔の位置及び大きさに基づいて、検出した顔領域が所定の配置、大きさになるように幾何学変換を行い、不図示のメモリに記憶する（Ｓ３０３）。例えば、両目の夫々の位置が画像中の所定の位置に配置される１００×１００画素の顔画像になるように変換する。
【００２０】
次に、顔特徴点検出部１０４は、顔画像正規化部１０３で正規化した顔画像から顔の特徴を表す目、鼻、口などの顔部品の端点を検出する（Ｓ３０４）。本実施形態では、図５に示すように、両目の目尻、目頭、口の左右の端点の位置を特徴点として検出する。これらの特徴点を検出する技術は、例えば、非特許文献３に開示されている方法を用いる。そして、検出した端点の位置座標の情報を不図示のメモリに記憶しておく。
【００２１】
次に、局所特徴抽出部１０５は、顔特徴点検出部１０４で検出した端点の位置に基づいて、顔画像正規化部１０３で正規化した顔画像から局所領域を切り出し、切り出した領域から顔を認識するための局所特徴量を求める（Ｓ３０５）。本実施形態では、図６の破線で示すように左右の目、眉、鼻、口の６領域を局所領域として切り出す。例えば、左目の領域を切り出す場合は左目の目尻、目頭の位置座標を参照して顔画像から切り出す。すなわち、左目の目尻、目頭の位置座標から顔画像中の左目領域の四隅の位置座標を所定の幾何学的関係に基づいて求め、左目領域が所定の矩形になるように幾何変換を施して局所領域を切り出す。局所領域は、例えば３０×３０画素の矩形領域になるように変換する。
【００２２】
そして、求めた局所領域の画像から局所特徴量を求める。本実施形態では、局所特徴量としてＬＢＰヒストグラム（ヒストグラム特徴）を求める。ＬＢＰヒストグラムは、非特許文献４に記載されているように近傍の画素の輝度の増加あるいは減少傾向を符号化したＬＢＰ特徴を求め、局所領域内で符号化した値毎にヒストグラム化したものである。ＬＢＰ特徴は照明変動にロバストな特性を持つ。
【００２３】
求めた局所特徴量の情報は、顔画像の多視点画像中の視点インデックス（図２の各撮像手段のどれかを示すポインタ）、及び局所領域インデックス（局所領域のどれかを示すポインタ）とともに局所特徴記憶部１０６に記憶される。同様にして、その他の局所領域に対しても夫々参照すべき端点の位置座標に基づいて顔画像から局所特徴量を求める。本実施形態では、局所特徴量としてＬＢＰヒストグラムを用いる場合について説明したが、その他の特徴量を用いてもよい。例えば、輝度勾配ヒストグラムやガボールウェーブレット特徴量、等を用いるようにしてもよいし、それらを組合せた特徴量を用いるようにしてもよい。
【００２４】
次に、多視点画像中のすべての顔についてＳ３０３〜Ｓ３０５の処理を行ったか否かを判定する（Ｓ３０６）。この判定の結果、すべての顔について処理を行っていない場合はＳ３０３に戻り、すべての顔について処理が終了した場合は、次のＳ３０７に進む。
【００２５】
次に、第一の類似度算出部１０７は、局所特徴記憶部１０６に記憶されている局所特徴量のうち、一つの局所領域について、隣接する視点間での局所特徴同士の類似度を算出する（Ｓ３０７）。例えば、左目の領域について類似度を算出する場合には、まず、図４の左上端の視点インデックスと左目の局所領域インデックスを持つ局所特徴量とを局所特徴記憶部１０６から読み出す。そして、読み出した局所特徴量の右隣りの視点インデックスと左目の局所領域インデックスを持つ局所特徴量とを読みだし、類似度の計算を行う。類似度の計算では、ＬＢＰヒストグラムのヒストグラムインターセクションを計算する。同様にして、下隣りの視点インデックスと左目の局所領域インデックスを持つ局所特徴量とを読みだし、類似度の計算を行う。
【００２６】
本実施形態では、局所特徴量としてＬＢＰヒストグラムを用いたのでヒストグラムインターセクションを類似度としたが、正規化相関等の他の方法で類似度を求めるようにしてもよい。これらの処理を全ての隣接する視点間の局所特徴同士で繰り返し、求めた類似度を順次、不図示のメモリに記憶する。
【００２７】
次に、ラベル付け部１０８は、第一の類似度算出部１０７が算出した類似度に基づいて多視点画像の視点にラベルを付ける（Ｓ３０８）。例えば、図４の左上端の視点のラベルをＬ１として、Ｓ３０７で求めた類似度が所定の値よりも大きい場合には同じラベル、異なる場合には新規のラベル（例えばＬ２）を付ける。これらの処理を全ての隣接する視点間の局所特徴同士で繰り返す。図７には、ラベル付けの結果の一例を示している。そして、求めたラベル付けの結果を不図示のメモリに記憶する。
【００２８】
次に、局所特徴統合部１０９は、ラベル付け部１０８の結果に基づいて局所特徴記憶部１０６に記憶されている局所特徴量を統合する（Ｓ３０９）。本実施形態では、ラベル付け部１０８によって同じラベルが付けられた局所特徴量を局所特徴記憶部１０６から読み出し、統合を行う。統合処理では、複数のＬＢＰヒストグラムをヒストグラムのビン毎に加算し、統合する局所特徴量の数で正規化する。この統合処理はＳ３０８で付けられた全てのラベルについて繰り返し行う。このようにＳ３０７〜Ｓ３０９において、視点インデックスを利用して隣接する視点間で局所特徴量の類似度の算出を行うようにしたので、類似する局所特徴量のラベル付け及び局所特徴量の統合を精度良く、かつ効率良く行うことができる。
【００２９】
次に、すべての局所領域に対して前述したＳ３０７〜Ｓ３０９の処理を行ったか否かを判定する（Ｓ３１０）。この判定の結果、すべての局所領域に対して処理を行っていない場合は、Ｓ３０７に戻る。一方、すべての局所領域に対して処理を行った場合は、次のＳ３１１に進む。
【００３０】
このようにＳ３０７〜Ｓ３０９の処理を局所領域毎に行うことにより、夫々の領域に応じた多視点画像の視点のラベル付けが可能であり、局所特徴量の統合を高精度に行うことができる。例えば、目の領域は顔全面に対してほぼ平面であるため、正面顔に近い向きの画像の見えは類似している。したがって、多視点画像の中央の画像が正面顔である場合には図７に示したようなラベルが付くと予想される。一方、鼻の領域は顔全面に対して立体的な構造であるため、正面顔に近い向きでも画像の見えは異なってくる。したがって、多視点画像の中央の画像でも異なるラベルが付くことが予想される。しかし、側面に近い向きでは見えは類似しているので同じラベルになり、特徴量を統合できると期待できる。すなわちラベル付けの結果は対象とする物体や物体領域の形状に依存する。
【００３１】
次に、多視点顔特徴登録部１１０は、局所特徴統合部１０９によって統合した局所特徴量を局所領域毎に登録する（Ｓ３１１）。本実施形態では、ラベル及びラベル毎に統合した局所特徴量が登録される。また、図７に示したようなラベル付け部１０８で求めたラベル付けの結果も登録しておく。すなわち、統合した局所特徴量を多視点画像の視点位置と対応付けておく。
【００３２】
図８は、本実施形態において、多視点画像を入力して登録されている多視点画像（登録画像）と照合する処理手順の一例を示すフローチャートである。
まず、多視点画像取得部１０１は、多視点画像を取得する（Ｓ８０１）。ここでの処理は、図３のＳ３０１と同じである。次に、多視点画像から顔の局所特徴量を取得する（Ｓ８０２）。ここでの処理は、図３のＳ３０２〜Ｓ３０９と同じである。
【００３３】
次に、第二の類似度算出部１１１は、Ｓ８０２で取得した顔の局所特徴量と多視点顔特徴登録部１１０に登録されている局所特徴量との類似度を局所領域毎に算出する（Ｓ８０３）。例えば、左目の領域について類似度を算出する場合には、左目の局所領域インデックスを持つ局所特徴量を、Ｓ８０２の処理結果から取得するとともに、多視点顔特徴登録部１１０から取得する。
【００３４】
例えば、まず、Ｓ８０２のラベル付けステップでラベルＬ１の付いた局所特徴量と多視点顔特徴登録部１１０に登録されているラベルＬ１の付いた局所特徴量とを取得し、類似度を算出する。類似度の計算では、第一の類似度算出部１０７が行った方法と同様に、ＬＢＰヒストグラムのヒストグラムインターセクションを計算する。同様にして全てのラベルの組合せについて類似度の計算を行う。このとき、局所特徴統合部１０９により局所特徴量が統合されているので、この組合せの数は統合を行わない視点数の全組合せと比較すれば各段に削減されている。また、第一の類似度算出部１０７で算出した類似度に基づいて局所特徴量が統合されているので、ここで算出される類似度の精度は保持されている。
【００３５】
さらに、入力された多視点画像の視点位置と登録されている多視点画像の視点位置とが所定値以上に離れている場合は類似度の計算を省略することができる。例えば、入力した多視点画像の視点位置が左上端（図２の撮像部２０１に相当）であり、登録した多視点画像の視点位置が右下端（図２の撮像部２２５に相当）の場合である。統合した局所特徴量と多視点画像の位置とを対応付けておくことによえい、このような見えが一致する可能性の少ない状況を判断することができる。求めた類似度は順次、不図示のメモリに記憶される。以上の処理を局所領域毎に繰り返す。
【００３６】
次に、類似度統合部１１２は、第二の類似度算出部１１１で算出した類似度を統合し、多視点画像間の類似度として出力する（Ｓ８０４）。まず、局所領域毎に類似度を統合する。例えば、左目の領域についてＳ８０３で算出した類似度のうち、最も類似度の高い類似度を左目領域の類似度とする。入力時の顔の向きと登録時の顔の向きとでずれが生じていたとしても、多視点画像取得部１０１のいずれかの撮像部で向きが一致することが期待できる。入力された多視点画像と登録されている多視点画像との間の複数の視点の組合せの中から最大類似度を求めることにより、顔の向きが一致した画像間での類似度を抽出することができ、精度を上げることができる。同様にして他の局所領域での類似度を統合する。そして求めた局所領域毎の類似度の総和を取ることにより、多視点画像間の類似度として統合する。
【００３７】
次に、認識部１１３は、類似度統合部１１２で統合された類似度に基づいて、入力された多視点顔画像の人物が登録されている多視点顔画像の人物と同一人物かどうかを判定する（Ｓ８０５）。この処理では、多視点画像間の類似度が所定値以上の場合に同一人物と判定する。
【００３８】
以上の説明では、登録人物が一人の場合について説明したが、登録人物が複数の場合にも本発明は適用できる。この場合、前述したＳ８０３〜Ｓ８０５を登録人物の顔画像毎に繰り返し、類似度が所定値以上の登録顔が複数あった場合に、類似度が最大の登録人物を該当人物と判断するようにする。
【００３９】
以上、顔の個人識別に適用する実施形態について説明した。前述したように本実施形態では局所領域毎に隣接した視点の多視点画像内の類似度から局所特徴量を統合し、統合した局所特徴量を用いて多視点画像間での類似度を求めるようにした。したがって、多視点画像間の照合において、認識精度を保持しつつ、類似度算出回数の増加を抑えることができる。なお、本実施形態においては、登録する多視点画像及び入力される（判定される）多視点画像で夫々局所特徴量を統合して多視点画像間の照合を行うようにしたが、どちらかの多視点画像のみで局所特徴量を統合してもよい。
【００４０】
また、本実施形態では、多視点画像のうち隣接する視点の画像から抽出した局所特徴量同士の類似度を算出し、類似度に基づいて局所特徴量を統合するようにしたが、特に隣接する視点に限定するものではない。例えば、１００×１００個の撮像部を持つ多眼撮像装置で多視点画像を取得した場合、必ずしも全ての視点画像を用いて特徴抽出や類似度算出を行わなくてもよい。その場合には、局所特徴量の統合はできるだけ近傍視点の画像から行うようにする。
【００４１】
また、本実施形態では顔の認識を例に説明したが、顔以外の特定の物体の識別にも適用できる。特に顔のような、撮影方向の角度変化に対して見えの変化が異なる物体においても有効に機能する。特に、本実施形態では多視点画像内の類似度から局所特徴量の統合を行っているので、予め対象物の形状や向き等が分かっていない場合でも適切に局所特徴量の統合を行うことができる。
【００４２】
（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００４３】
１０１  多視点画像取得部
１０５  局所特徴抽出部
１０７  第一の類似度算出部
１０９  局所特徴統合部
１１１  第二の類似度算出部
１１３  認識部
【図１】
2013218605.tif 000003
【図２】
2013218605.tif 000004
【図３】
2013218605.tif 000005
【図４】
2013218605.tif 000006
【図５】
2013218605.tif 000007
【図６】
2013218605.tif 000008
【図７】
2013218605.tif 000009
【図８】
2013218605.tif 000010