(57)【要約】【課題】  比較的低解像度の二次元画像を用いて、被写体の識別を行うことのできる画像処理装置を提供する。【解決手段】  所定被写体を撮像して得た画像データを処理対象として、当該画像データ内に撮像されている被写体について、当該被写体の一部に関係した少なくとも一つの面ごとに、当該面を規定するＮ次元推定特徴量（Ｎ≧３）を演算し、このＮ次元推定特徴量と、その元となった被写体とを特定する情報を関連づけて認識データベースとして、記憶装置に保持させ、当該認識データベースが、被写体の認識処理に供される画像処理装置である。【選択図】        図１
2005234810.tif 000002
【特許請求の範囲】
【請求項１】
所定被写体を撮像して得た２次元画像データを処理対象として、該被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算する手段と、
前記Ｎ次元推定特徴量と、その元となった被写体とを特定する情報を関連づけて認識データベースとして、記憶装置に保持させる手段と、
を含み、
前記認識データベースが、被写体の認識処理に供されることを特徴とする画像処理装置。
【請求項２】
複数の被写体をそれぞれ撮像して得た２次元画像データについて、該被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算し、各被写体を特定する被写体特定情報と、当該被写体についてのＮ次元推定特徴量とを関連づけた認識データベースにアクセス可能に接続され、
認識処理の対象となった被写体を撮像して得た２次元画像データを処理対象として、当該処理対象の画像データ内に撮像されている認識処理の対象となった被写体について、該認識処理の対象となった被写体をそれぞれがＮ次元空間に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算する手段と、
前記認識データベース内の各被写体に関するＮ次元推定特徴量と、前記認識処理の対象となった被写体についてのＮ次元推定特徴量とを比較して当該比較の結果を出力する比較手段と、
前記比較手段における比較の結果に基づいて、前記認識データベース内に保持されている被写体特定情報を少なくとも一つ出力する手段と、
を含むことを特徴とする画像処理装置。
【請求項３】
請求項２に記載の画像処理装置において、
前記比較手段は、前記認識データベース内の各被写体に関するＮ次元推定特徴量を、前記認識処理の対象となった被写体の撮像状態に基づいて変形し、比較の結果を、当該変形の量に基づいて制御することを特徴とする画像処理装置。
【請求項４】
請求項１から３のいずれか一項に記載の画像処理装置において、
前記Ｎ次元推定特徴量は、該被写体を表現する複数の領域ごとの所定混合分布に関する量であることを特徴とする画像処理装置。
【請求項５】
所定被写体を撮像して得た２次元画像データを処理対象として、当該画像データ内に撮像されている被写体について、当該被写体の撮像部分に含まれる各画素について、画素の位置座標と、画素値に関する量とを組とした多次元量を生成し、
前記各画素について生成された多次元量の群について、所定混合分布で記述するときの所定尤度を演算し、
当該所定尤度が被写体の認識処理に供されることを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記所定混合分布は、単一のピークを有する確率分布を要素分布としており、
前記所定尤度を演算する手段は、混合分布の各要素分布の前記ピーク位置と、画素の位置座標との距離が予め定めた距離しきい値を越える部分については、前記尤度の演算に関係する処理を行わないよう制御することを特徴とする画像処理装置。
【請求項７】
請求項４から６のいずれか一項に記載の画像処理装置において、
前記所定混合分布は、単一のピークを有する確率分布を要素分布とすることを特徴とする画像処理装置。
【請求項８】
請求項４から６のいずれか一項に記載の画像処理装置において、
前記所定混合分布は、混合ガウス分布であることを特徴とする画像処理装置。
【請求項９】
所定被写体を撮像して得た２次元画像データを処理対象として、該被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算する工程と、
前記Ｎ次元推定特徴量と、その元となった被写体とを特定する情報を関連づけて認識データベースとして、記憶装置に保持させる工程と、
を含むことを特徴とする認識データベースの製造方法。
【請求項１０】
複数の被写体をそれぞれ撮像して得た２次元画像データについて、各画像データ内に撮像されている各被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算し、各被写体を特定する被写体特定情報と、当該被写体についてのＮ次元推定特徴量とを関連づけた認識データベースにアクセス可能に接続されたコンピュータを用い、
認識処理の対象となった被写体を撮像して得た２次元画像データを処理対象として、当該処理対象の画像データ内に撮像されている認識処理の対象となった被写体について、該認識処理の対象となった被写体画像をそれぞれがＮ次元空間に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算し、
前記認識データベース内の各被写体に関するＮ次元推定特徴量と、前記認識処理の対象となった被写体についてのＮ次元推定特徴量とを比較して当該比較の結果に基づいて、前記認識データベース内に保持されている被写体特定情報を少なくとも一つ出力する
ことを特徴とする画像処理方法。
【請求項１１】
複数の被写体をそれぞれ撮像して得た２次元画像データについて、各画像データ内に撮像されている各被写体について、該被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算し、各被写体を特定する被写体特定情報と、当該被写体についてのＮ次元推定特徴量とを関連づけた認識データベースにアクセス可能に接続されたコンピュータに、
認識処理の対象となった被写体を撮像して得た２次元画像データを処理対象として、当該処理対象の画像データ内に撮像されている認識処理の対象となった被写体について、該認識処理の対象となった被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算する手順と、
前記認識データベース内の各被写体に関するＮ次元推定特徴量と、前記認識処理の対象となった被写体についてのＮ次元推定特徴量とを比較して当該比較の結果に基づいて、前記認識データベース内に保持されている被写体特定情報を少なくとも一つ出力する手順と、
を実行させることを特徴とする画像処理プログラム。
【請求項１２】
コンピュータに、
所定被写体を撮像して得た２次元画像データを処理対象として、当該画像データ内に撮像されている被写体の撮像部分に含まれる各画素について、画素の位置座標と、画素値に関する量とを組とした多次元量を生成する手順と、
前記各画素について生成された多次元量の群について、複数の混合分布で記述するときの所定尤度を演算する手順と、
を実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば人物の顔等の所定被写体を識別する画像処理装置に関する。
【背景技術】
【０００２】
近年、セキュリティ技術や、大量の画像情報を処理する必要性が増大しており、ビデオカメラなどで撮像された画像データに含まれる顔部分の画像から個人を識別する技術が種々開発されている。従来、顔画像からの個人認識の技術としては、顔画像から特徴点を抽出し、当該特徴点に基づいて予め登録されているテンプレートとの照合を行う方法（非特許文献１）がある。また、顔を表すパターン情報を、個人差を増大させるよう規定された空間に写像し、当該空間でテンプレートと照合する方法（非特許文献２）も知られている。
【非特許文献１】Laurenz Wiskott, Jean-Marc Fellous,Norbert Krouger and Christoph von der Malsburg, "Face Recognition byElastic Bunch Graph Matching", Proc. 7th Intern. Conf. on Computer Analysysof Image and Patterns 1997
【非特許文献２】Matthew A. Turk and Alex P. Pentland,"Eigenfaces for Recognition", Journal of Cognitive NeuroscienceVol.3, No.1, pp.71-86(1991)
【特許文献１】特開平２−３１１９６２号公報
【特許文献２】特開２００３−２８１５４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ここで上記従来の個人認識の技術では、目、鼻、口といった特徴的な部分の形状や配置に基づく認識であるため、画像データの解像度としては、これらの形状・配置が明確になる程度の解像度を要する。具体的にこの解像度としては最低でも１００ピクセル四方は必要であると考えられる。しかしながら顔の画像は、必ずしもこのような高解像度で捉えられるものではない。
【０００４】
一方、特許文献１には、上記特徴的な部分の形状・配置ではなく、顔の三次元的形状の差を個人差と捉えて識別するための技術が開示されている。しかし、この技術を利用するためには、顔画像の三次元情報を取得する必要があり、必ずしも現実的な利用に供することができない。
【０００５】
本発明は上記実情に鑑みて為されたもので、比較的低解像度の二次元画像を用いて、被写体の識別を行うことのできる画像処理装置を提供することを、その目的の一つとする。
【課題を解決するための手段】
【０００６】
上記従来例の問題点を解決するための本発明は、画像処理装置であって、所定被写体を撮像して得た２次元画像データを処理対象として、該被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算する手段と、前記Ｎ次元推定特徴量と、その元となった被写体とを特定する情報を関連づけて認識データベースとして、記憶装置に保持させる手段と、を含み、前記認識データベースが、被写体の認識処理に供されることを特徴としている。
【０００７】
また、上記従来例の問題点を解決するための本発明は、複数の被写体をそれぞれ撮像して得た２次元画像データについて、各画像データ内に撮像されている各被写体について、該被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算し、各被写体を特定する被写体特定情報と、当該被写体についてのＮ次元推定特徴量とを関連づけた認識データベースにアクセス可能に接続された画像処理装置であって、認識処理の対象となった被写体を撮像して得た２次元画像データを処理対象として、当該処理対象の画像データ内に撮像されている認識処理の対象となった被写体について、該認識処理の対象となった被写体をそれぞれがＮ次元空間に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算する手段と、前記認識データベース内の各被写体に関するＮ次元推定特徴量と、前記認識処理の対象となった被写体についてのＮ次元推定特徴量とを比較して当該比較の結果を出力する比較手段と、前記比較手段における比較の結果に基づいて、前記認識データベース内に保持されている被写体特定情報を少なくとも一つ出力する手段と、を含むことを特徴としている。
【０００８】
ここで前記比較手段は、前記認識データベース内の各被写体に関するＮ次元推定特徴量を、前記認識処理の対象となった被写体の撮像状態に基づいて変形し、比較の結果を、当該変形の量に基づいて制御することとしてもよい。また、前記Ｎ次元推定特徴量は、該被写体を表現する複数の領域ごとの所定混合分布に関する量であることとしてもよい。
【０００９】
また、本発明の一態様に係る画像処理装置は、所定被写体を撮像して得た２次元画像データを処理対象として、当該画像データ内に撮像されている被写体について、当該被写体の撮像部分に含まれる各画素について、画素の位置座標と、画素値に関する量とを組とした多次元量を生成し、前記各画素について生成された多次元量の群について、所定混合分布で記述するときの所定尤度を演算し、当該所定尤度が被写体の認識処理に供されるものである。
【００１０】
ここで前記所定混合分布は、単一のピークを有する確率分布を要素分布としており、前記所定尤度を演算する手段は、混合分布の各要素分布の前記ピーク位置と、画素の位置座標との距離が予め定めた距離しきい値を越える部分については、前記尤度の演算に関係する処理を行わないよう制御することとしてもよい。
【００１１】
さらにここまでにいう所定混合分布は、単一のピークを有する確率分布を要素分布とすることとしてもよい。さらに前記所定混合分布は、混合ガウス分布であることとしてもよい。
【００１２】
また上記従来例の問題点を解決するための本発明は、認識データベースの製造方法であって、所定被写体を撮像して得た２次元画像データを処理対象として、当該画像データ内に撮像されている被写体について、該被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算する工程と、前記Ｎ次元推定特徴量と、その元となった被写体とを特定する情報を関連づけて認識データベースとして、記憶装置に保持させる工程と、を含むことを特徴としている。
【００１３】
さらに上記従来例の問題点を解決するための本発明は、画像処理方法であって、複数の被写体をそれぞれ撮像して得た２次元画像データについて、各画像データ内に撮像されている各被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算し、各被写体を特定する被写体特定情報と、当該被写体についてのＮ次元推定特徴量とを関連づけた認識データベースにアクセス可能に接続されたコンピュータを用い、認識処理の対象となった被写体を撮像して得た２次元画像データを処理対象として、当該処理対象の画像データ内に撮像されている認識処理の対象となった被写体について、当該認識処理の対象となった被写体をそれぞれがＮ次元空間に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算し、前記認識データベース内の各被写体に関するＮ次元推定特徴量と、前記認識処理の対象となった被写体についてのＮ次元推定特徴量とを比較して当該比較の結果に基づいて、前記認識データベース内に保持されている被写体特定情報を少なくとも一つ出力することを特徴としている。
【００１４】
さらに上記従来例の問題点を解決するための本発明は、画像処理プログラムであって、複数の被写体をそれぞれ撮像して得た２次元画像データについて、各画像データ内に撮像されている各被写体について、該被写体をそれぞれがＮ次元空間（Ｎ≧３）に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算し、各被写体を特定する被写体特定情報と、当該被写体についてのＮ次元推定特徴量とを関連づけた認識データベースにアクセス可能に接続されたコンピュータに、認識処理の対象となった被写体を撮像して得た２次元画像データを処理対象として、当該処理対象の画像データ内に撮像されている認識処理の対象となった被写体について、当該認識処理の対象となった被写体をそれぞれがＮ次元空間に配位する複数の領域の群により表現することで、当該領域に対応するＮ次元推定特徴量を演算する手順と、前記認識データベース内の各被写体に関するＮ次元推定特徴量と、前記認識処理の対象となった被写体についてのＮ次元推定特徴量とを比較して当該比較の結果に基づいて、前記認識データベース内に保持されている被写体特定情報を少なくとも一つ出力する手順と、を実行させることを特徴としている。
【００１５】
また、上記従来例の問題点を解決するための本発明は、画像処理プログラムであって、コンピュータに、所定被写体を撮像して得た２次元画像データを処理対象として、当該画像データ内に撮像されている被写体の撮像部分に含まれる各画素について、画素の位置座標と、画素値に関する量とを組とした多次元量を生成する手順と、前記各画素について生成された多次元量の群について、複数の混合分布で記述するときの所定尤度を演算する手順と、を実行させることを特徴としている。
【発明を実施するための最良の形態】
【００１６】
本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る画像処理装置は、図１に示すように、制御部１１と記憶部１２と外部インタフェース部１３とストレージ部１４と情報提示部１５とを含んで構成されている。制御部１１は、記憶部１２に格納されているプログラムに従って動作する。この制御部１１は、認識データベースの生成処理と、生成した認識データベースを用いて被写体の識別を行う処理とを行う。以下では説明を分かりやすくするため、被写体は人物の顔であるとし、識別の結果、個人を特定する情報が出力されるものとして説明する。これら制御部１１の具体的処理の内容は、後に詳しく述べる。
【００１７】
記憶部１２は、制御部１１によって実行されるプログラムを格納している。またこの記憶部１２は、制御部１１の処理の過程で生成される種々のデータを保持するワークメモリとしても動作する。外部インタフェース部１３は、処理の対象となる画像データ（画素を二次元に配列してなる、二次元画像データ）を外部の装置から受け入れて制御部１１に出力する。ストレージ部１４は、制御部１１によって生成される認識データベースを保持する。情報提示部１５は、例えばディスプレイ等であり、制御部１１による認識の処理の結果を出力する。
【００１８】
次に制御部１１によって実行される処理の具体的内容について説明する。本実施の形態においては、認識の基礎となる情報として三次元推定特徴量を用いており、認識データベースを生成する際にも、また、認識データベースに記録されているテンプレートと比較する際にも、この三次元推定特徴量を演算することとなる。そこで、まずこの三次元推定特徴量を演算する処理の内容から説明することとする。
【００１９】
［三次元推定特徴量の演算］
本実施の形態においては、外部インタフェース部１３から入力される一つの二次元画像データから三次元推定特徴量を演算する。これにより、被写体はそれぞれが３次元空間に配位する複数の領域の群により表現するように演算を行い、各領域自体に対応する３次元推定特徴量を決めることができる。各領域はそれぞれ関数を用いて表現することも可能であるが、所定の要素分布とパラメータの組合せで記述することで、演算を容易にすることができる。具体的に、制御部１１は被写体を構成する各画素について、その位置と画素値に関する量とを組とした多次元量を生成し、画素ごとに生成した多次元量の群について、所定個のパラメータを持つ所定混合分布で記述するときの尤度を最大とする所定混合分布のパラメータを三次元推定特徴量として演算することになる。なお、被写体の位置を画像データ内から見いだす技術としては、特許文献２に開示した技術を用いることができる。
【００２０】
制御部１１は、被写体（ここでは顔）を含む矩形領域（顔画像データ）について、その矩形領域内の画素について画素の位置座標（ａ，ｂ）と、画素の輝度値Ｉ（ａ，ｂ）とを用いて、多次元量
【数１】
2005234810.tif 000003
を生成する。なお、位置座標は、矩形領域の左下端を（０，０）として定義することができる。
【００２１】
この画素ごとに生成した多次元量の群（サンプル）がｍ個の要素分布による混合分布を用いて記述される確率が
【数２】
2005234810.tif 000004
と表される。ここでξjは、ｊ番目の要素分布の混合パラメータであり、θjは、ｊ番目の要素分布のパラメータである。ここで要素分布は、単一のピークを有する確率分布が好適であり、具体的にはガウス分布とすることができる。μjは、ｊ番目の要素分布のピークの中心（分布の中心）であり、Σjは、共分散行列である。ｄは次元数であり、この例では３である。以下の説明では要素分布がガウス分布であり、混合分布は従って混合ガウス分布であるものとして説明する。
【００２２】
すなわち、サンプルに係る混合分布のパラメータは、混合パラメータξjと、ガウス分布の中心μjと、共分散行列Σjとであり、これらのパラメータを三次元推定特徴量として扱う。所与の顔画像データに対するこれらのパラメータは、広く知られたＥＭアルゴリズムによって定めることができる。
【００２３】
ガウス分布を用いた場合においては、混合パラメータξjがj番目のガウス分布の重み付け、共分散行列Σjがｊ番目のガウス分布のピーク方向を意味する値となるため、これら３つのパラメータをｍ個の各要素分布ごとに求めることで、被写体がｍ個の領域の群によって表現されるようになる。
【００２４】
なお、ガウス分布に限らず、混合分布を構成する各要素分布の初期値は任意に設定できる。例えば、矩形の画像に対して等間隔の格子を設定して各格子内の中心を要素分布の初期位置と設定したり、被写体の構造が複雑になることが予想される、例えば画像の中心付近に、密に複数の要素分布を隣接配置させてもよい。前者のように等間隔や規則的に各要素分布の初期位置を設定すれば、多様な被写体に対応できる利点があるが、一方で画像の周縁部で混合パラメータξjが実質ゼロになる要素分布が生じやすく、識別に実質的に用いる特徴量の数が減ってしまうというデメリットもある。一方、不均一に要素分布の初期位置を設定する場合は一般にはこの逆になるが、入力される撮像画像は等間隔の画素から構成されるのが通常なので、要素分布の初期値が密に配置される箇所ではその要素分布により区分される領域の大きさ（面積）が小さくなり、そこに含まれる画素の数が減少して分布の精度が低下してしまうというデメリットもある。このため、各要素分布の範囲に対応する一領域内には１０画素以上含まれるように、要素分布の初期位置、および、要素分布の数ｍを決定することが望ましい。なお、要素分布数ｍは少なすぎると複雑な特徴を表現できないため、３０以上が望ましい。上限は、前述のように各領域に含まれる画素数が確保できれば、特に制限はない。
【００２５】
具体的には、サンプルがＪ番目のガウス分布に従う確率
【数３】
2005234810.tif 000005
を求め、この値を用いて完全データの対数尤度
【数４】
2005234810.tif 000006
を算出する（この処理はＥステップと呼ばれる）。
【００２６】
そして、上記対数尤度Ｑを最大化する混合分布のパラメータを、
【数５】
2005234810.tif 000007
として定める（この処理はＭステップと呼ばれる）。
【００２７】
この処理を所定回繰返して実行することで、対数尤度Ｑを最大化するパラメータを求めることができる。制御部１１は、処理対象となった顔画像データに対するこれらのパラメータを三次元推定特徴量として出力することになる。
【００２８】
具体的に、原画像（図２（ａ））に対して、ＥＭアルゴリズムで定めたパラメータで見いだされるガウス分布は図２（ｂ）に示すようなものとなる。この図２（ｂ）内の楕円形が各ガウス分布に対応している。また、この図２（ｂ）に示したガウス分布によって最も尤度が高くなる画像は、図２（ｃ）に模式的に示されるものとなる。実際の演算においては、初期状態として各パラメータを予め決められた値やランダムな値に定めた複数の混合分布を用い、ＥＭアルゴリズムによって各混合分布の各要素分布（ガウス分布）に係るパラメータを調整することとなる。
【００２９】
被写体を表現する領域を３次元に配位した平面に置き換えて、被写体を構成する領域を可視化することも可能である。例えば、要素分布をガウス分布とするときには、これら複数のガウス分布に係るパラメータは、いわば、被写体である顔を複数の面で近似的に表現したときの、当該面を規定する量となっている。尤も、被写体である顔を近似的に複数の面で表現したときに、各面について４次元以上の量を生成して当該高次元の量を用いても構わない。
【００３０】
［認識データベースの生成処理］
制御部１１は、照合の対象となる各被写体の各々について、上述の三次元推定特徴量を生成し、当該生成した三次元推定特徴量と被写体を特定する情報（その顔の人物名など）とを関連付けてストレージ部１４に認識データベースとして格納する（図３）。
【００３１】
具体的には、図４に示すように、照合の対象となる被写体の画像に対して初期化処理を行う（Ｓ１）。ここで初期化処理では、被写体の画像データを所定サイズ（例えば６４×１００ピクセル）に拡大・縮小し、この拡大縮小後の画像データについてガウスフィルタを適用して平滑化し、さらにヒストグラム等分布化変換（Histogram Equalization）を行う。ここでヒストグラム等分布化変換とは、画素値の値域範囲内で、画素値ごとの頻度数がほぼ一定になるように、画素値を再配分する変換処理である。この変換処理の結果、濃度差が明りょうになることが知られている。
【００３２】
次に制御部１１は、初期化処理後の画像データについて各画素値を、その位置座標と、輝度値とを組とした多次元値に変換する（Ｓ２）。そして制御部１１は、初期的なガウス分布の中心位置を被写体の画像データ内に均等に複数個（例えば７×７の４９個）配置する（Ｓ３）。制御部１１は、この初期的なガウス分布の中心位置を起点として、Ｅステップの処理を遂行し（Ｓ４）、次いでＭステップの処理を遂行する（Ｓ５）。この処理Ｓ４、Ｓ５を予め定めた回数だけ繰返したか否かを調べ（Ｓ６）繰返していれば、最後の処理Ｓ５で演算したパラメータと、照合の対象となっている（パラメータ演算の元となっている）被写体を特定する情報とを関連付けたテンプレートデータを生成してストレージ部１４に格納し（Ｓ７）、処理を終了する。このテンプレートデータの群により、認識データベースが構成されることとなる。
【００３３】
［認識処理］
次に、制御部１１による認識処理について説明する。制御部１１は、ストレージ部１４に格納されている認識データベース内の各テンプレートデータを未選択としてマークして図５に示す処理を開始する。制御部１１は、まず外部インタフェース部１３を介して入力される画像データを処理対象として、そこから顔部分を特定する（Ｓ１１）。この特定は、特許文献２に開示された方法等を用いて特定することができる。そしてこの特定した顔部分の部分画像データについて初期化処理を行う（Ｓ１２）。ここで初期化処理は、認識データベースの生成の際のものと同様であり、顔部分の部分画像データを所定サイズ（例えば６４×１００ピクセル）に拡大・縮小し、この拡大縮小後の画像データについてガウスフィルタを適用して平滑化し、さらにヒストグラム等分布化変換（Histogram Equalization）を行う。
【００３４】
次に制御部１１は、初期化処理後の画像データについて各画素値を、その位置座標と、輝度値とを組とした多次元値に変換する（Ｓ１３）。そしてストレージ部１４に格納されている認識データベース内のテンプレートデータのうち、未選択としてマークされているものを一つ、注目テンプレートデータとして選択して（この時点で選択済みとしてマークしてもよい）、この注目テンプレートデータに含まれるパラメータを初期値として設定する（Ｓ１４）。
【００３５】
そして制御部１１は、この初期値を起点として、Ｅステップの処理を遂行し（Ｓ１５）、次いでＭステップの処理を遂行する（Ｓ１６）。この処理Ｓ１５、Ｓ１６を予め定めた回数だけ繰返したか否かを調べ（Ｓ１７）、繰返していなければ、処理Ｓ１５に戻って処理を続ける。これらの処理によってテンプレートが自動的に変形されていく。また予め定めた回数だけ繰返した後に、さらにＥステップを実行する（Ｓ１８）。なお、処理Ｓ１７での繰返し回数は０回（すなわち、Ｅステップの処理とＭステップの処理とを行わない）でもよいので、その場合は処理Ｓ１５、Ｓ１６、Ｓ１７は必ずしも必要でない。
【００３６】
制御部１１は、処理Ｓ１８の処理結果として得られた対数尤度が予め定めた閾値以上であるか否かを調べる（Ｓ１９）。ここで、対数尤度が予め定めた閾値以上でなければ、すべてのテンプレートデータが選択済みとなっているか否かを調べ（Ｓ２０）、選択済みとなっていれば、識別不能であったとして、その旨を情報提示部１５に出力して（Ｓ２１）、処理を終了する。
【００３７】
また、処理Ｓ２０において、すべてが選択済みとしてマークされておらず、未選択のものがあれば、処理Ｓ１４に戻って処理を続ける。
【００３８】
一方処理Ｓ１９において、処理Ｓ１８の演算の結果得られた対数尤度が予め定めた閾値以上である場合は、その時点での注目テンプレートデータに含まれる、被写体を特定する情報を情報提示部１５に出力する（Ｓ２２）。この処理Ｓ２２の後、制御部１１は、そのまま処理を終了してもよいし、処理Ｓ２０に移行して処理を続け、所定値以上の対数尤度となっているテンプレートデータに係る被写体特定情報をリストとして提示することとしてもよい。この場合、対数尤度の大きい順に並替えて被写体特定情報のリストを提示させるようにしてもよい。
【００３９】
［テンプレートの変形］
また制御部１１は、この認識処理において、テンプレートデータと、特定された顔部分とに関する情報（顔の向きや位置、大きさ、表情など、テンプレートデータの元となった被写体の撮像状態と、認識処理の対象となった被写体の撮像状態とについての情報）をさらに取得して、これらの情報に基づいてテンプレートデータに含まれる各ガウス分布の中心位置を移動してもよい。例えばテンプレートデータの顔の中心位置に比べて、処理対象として入力された画像データから切出された顔部分の中心位置が、（Δｘ，Δｙ）だけずれている場合に、この位置座標のずれだけ各ガウス分布の中心位置を移動する。また、表情などについては、例えば無表情のものと笑顔のものとでは、頬の部分の位置が異なるなどの事情があるので、テンプレートデータのうち頬の部分に位置するガウス分布の中心位置を、予め定めた量だけ移動する。
【００４０】
なお、顔の向きや位置、大きさ等の情報は、特許文献２に開示されている処理によって取得してもよいし、利用者が図示しない操作部から入力することとしてもよい。
【００４１】
本実施の形態において特徴的なことの一つは、テンプレートデータに対して上記変形を行ったときに、比較の結果である尤度を、当該変形の量に基づいて制御することである。具体的に、上述のようにガウス分布の中心位置を、μj0からμjへと移動したときには、（４）式に代えて、
【数６】
2005234810.tif 000008
のように、付加的な項（第２項、以下「ペナルティ項」と呼ぶ）を加えて対数尤度を定義する。なお、ηはペナルティ項の強度を設定する定数であり、実験的に定めることができる。
【００４２】
また、この場合、Ｍステップの処理における分布の中心位置のパラメータを
【数７】
2005234810.tif 000009
として求める。このＭステップによっても各ガウス分布の中心が移動するが、その移動量もペナルティ項によって制限されることとなる。
【００４３】
なお、前述のＳ１５〜Ｓ１７においても同様にペナルティ項を加えて対数尤度を定義した上で処理することも可能であり、これにより自動的になされるテンプレートの変形を制限できるようになる。
【００４４】
［テンプレートデータの別の例］
なお、認識データベースには、同一の被写体特定情報に係るテンプレートデータが複数あってもよい。すなわち、同一の人物の顔について、顔の向きや大きさなどが異なる複数のテンプレートデータを生成して、これら複数のテンプレートデータについてその被写体特定情報を関連付けておく。この場合、被写体の顔の向きや大きさなどの情報をテンプレートデータに関連付けて認識データベースに格納してもよい。
【００４５】
［計算の高速化］
さらにここまでの説明では、対数尤度の計算において、各画素について、すべてのガウス分布からの生起確率（すべてのガウス分布について、当該ガウス分布で記述できるとの確率）を演算しているが、注目画素から所定距離しきい値を越える部分については、確率「０」として演算を行わないよう制御してもよい。なお、距離しきい値は例えば当該ガウス分布の共分散の１．２倍などとすればよい。これにより計算量を低減して、処理負荷を軽減できる。
【００４６】
［動作］
本実施の形態の画像処理装置の動作について説明する。本実施の形態の画像処理装置では、予め照合の対象となる人物に関する顔の画像について、三次元推定特徴量を演算しておき、各人物を特定する情報に関連付けて認識データベースとしてストレージ部１４に格納しておく。
【００４７】
そして例えば、ビデオ撮影により逐次的に得られる複数の画像データについて、顔部分を特定し、認識データベースに格納されている三次元推定特徴量を利用して、当該顔に対応する被写体特定情報を取得して提示する。
【００４８】
［従来技術との組み合せ］
さらに、本実施の形態の画像処理装置は、三次元推定特徴量を用いた処理に加えて、従来用いられていた２次元パターンマッチング処理を並行して用い、両者の処理結果に基づいて最終的な処理結果を得てもよい。この場合、三次元推定特徴量を用いた処理により得られた認識結果と類似度（尤度）との組のリストと、従来の処理により得られた認識結果と類似度との組のリストとを合成する。つまり、各認識結果（被写体特定情報）ごとに、各処理からの類似度の結果に重みをつけて加算して得点を算出し、得点の高い順に、各認識結果（被写体特定情報）を並べ替えて出力することとしてもよい。
【実施例】
【００４９】
上述の三次元推定特徴量を用い、１０９６人分の人物の顔を登録した認識データベースを生成し、顔部分の画素数の異ならせながら、認識処理を実行した結果を図６に示す。
【００５０】
図６に示すように、１００画素四方を越える画素数（１２８×２００や６４×１００）においては９５％以上の認識率を達成しており、１００画素四方を下回る３２×５０画素や２４×３８画素であっても、９５％前後の認識率を達成していることが理解される。このように本実施の形態によると、比較的低解像度の二次元画像を用いても、被写体を識別できる。
【図面の簡単な説明】
【００５１】
【図１】本発明の実施の形態に係る画像処理装置の構成ブロック図である。
【図２】本発明の実施の形態に係る画像処理の概要を表す説明図である。
【図３】識別データベースの内容例を表す説明図である。
【図４】識別データベースの生成処理例を表すフローチャート図である。
【図５】認識処理の例を表すフローチャート図である。
【図６】認識処理の実験結果例を表す説明図である。
【符号の説明】
【００５２】
１１  制御部、１２  記憶部、１３  外部インタフェース部、１４  ストレージ部、１５  情報提示部。
【図１】
2005234810.tif 000010
【図２】
2005234810.tif 000011
【図３】
2005234810.tif 000012
【図４】
2005234810.tif 000013
【図５】
2005234810.tif 000014
【図６】
2005234810.tif 000015