(57)【要約】【課題】高精度な顔画像認識を実現する。【解決手段】予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる顔画像の人物を特定するための顔画像認識装置において、前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録部と、前記顔画像登録部により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出部と、前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識部とを有することにより、上記課題を解決する。【選択図】図１
2007249394.tif 000002
【特許請求の範囲】
【請求項１】
予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる顔画像の人物を特定するための顔画像認識装置において、
前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録部と、
前記顔画像登録部により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出部と、
前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識部とを有することを特徴とする顔画像認識装置。
【請求項２】
前記入力画像に含まれる人物顔の中心位置及び大きさを検出する顔画像検出部を有し、
前記顔画像認識部は、前記顔画像検出部から得られる顔領域情報を前記所定のパラメータに含めて人物を特定することを特徴とする請求項１に記載の顔画像認識装置。
【請求項３】
前記顔画像認識部は、
前記パラメータの確率分布の逐次更新に逐次モンテカルロ法を用いることを特徴とする請求項１又は２に記載の顔画像認識装置。
【請求項４】
前記顔画像認識部は、
連続した入力画像の顔画像認識を行う際、直前に入力された画像を用いて前記パラメータの確率分布を逐次学習することを特徴とすることを特徴とする請求項１乃至３の何れか１項に記載の顔画像認識装置。
【請求項５】
予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる顔画像の人物を特定するための顔画像認識処理をコンピュータに実行させるための顔画像認識プログラムにおいて、
前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録処理と、
前記顔画像登録処理により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出処理と、
前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識処理とをコンピュータに実行させるための顔画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像認識装置及び顔画像認識プログラムに係り、特に高精度な顔画像認識を実現するための顔画像認識装置及び顔画像認識プログラムに関する。
【背景技術】
【０００２】
従来より、映像等に映っている顔の認識手法としては、音声認識や動作認識、顔表情認識、対象物認識、又はそれらを組み合わせた技術が有効な手段であることが知られており、そのための顔画像認識システムが用いられている。
【０００３】
ところで、顔画像認識が困難である大きな理由の一つは、認識対象可変性が多いことであり、特に顔の表情による可変性が挙げられる。そこで、従来の技術では、顔の変形等の変動要素に対して頑健な顔画像認識を行う技術として、Ｂａｙｅｓ（ベイズ）推定に基づいた認識手法がある（例えば、非特許文献１、特許文献１参照。）。
【０００４】
非特許文献１に記載された技術は、今まで登場人物の追加・削除、照明や背景等の撮影条件の変化が生じた場合、その都度パラメータの調整を行う必要あったが、そのシステムのパラメータを確率変数とみなし、顔テンプレートに付随するパラメータの事後確率分布を、階層的Ｂａｙｅｓ推定の枠組みから捉えて、その確率分布のサンプルをハミルトニアモンテカルロ法（ＨＭＣ法）で採取する。その上で、尤度を事後確率分布に関して周辺化（積分）することで、顔画像認識を行うものであった。
【非特許文献１】松井淳  他，“ハミルトニアモンテカルロ法によるＢａｙｅｓ的画像認識”，映像情報メディア学会誌  Ｖｏｌ．５９，Ｎｏ．８，ｐｐ．１１８３〜１１９０，２００５年．
【特許文献１】特開２００５−２０８８５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した従来手法である一括学習型のＢａｙｅｓ推定による方法は、映像等のように時々刻々と変化する入力画像上の顔の状態を、事前に与えられた学習データから抽出した普遍的なパラメータのサンプル分布として表している。したがって、例えば、映像に含まれている顔の表情変化等による顔モデルの変動に対しては、ある程度頑健な顔画像認識が実現できているが、直前の時刻までに与えられた入力画像を考慮していないため、高精度な画像認識を実現できているとはいえない。
【０００６】
本発明は、上述した問題点に鑑みなされたものであり、各時刻における顔モデルの確率分布を与えられた入力画像を用いて逐次的に推定することで、高精度な顔画像認識を実現するための顔画像認識装置及び顔画像認識プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本件発明は、以下の特徴を有する課題を解決するための手段を採用している。
【０００８】
請求項１に記載された発明は、予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる顔画像の人物を特定するための顔画像認識装置において、前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録部と、前記顔画像登録部により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出部と、前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識部とを有することを特徴とする。
【０００９】
請求項１記載の発明によれば、高精度な顔画像認識を実現することができる。つまり、入力画像を用いて逐次学習を行うことで、表情変化等による顔画像の変動に対して頑健な顔画像認識を実現することができる。
【００１０】
請求項２に記載された発明は、前記入力画像に含まれる人物顔の中心位置及び大きさを検出する顔画像検出部を有し、前記顔画像認識部は、前記顔画像検出部から得られる顔領域情報を前記所定のパラメータに含めて人物を特定することを特徴とする。
【００１１】
請求項２記載の発明によれば、顔領域情報をパラメータに含めることで、より高精度な顔認識を実現することができる。
【００１２】
請求項３に記載された発明は、前記顔画像認識部は、前記パラメータの確率分布の逐次更新に逐次モンテカルロ法を用いることを特徴とする。
【００１３】
請求項３記載の発明によれば、逐次モンテカルロ法を適用することで、高精度に確率分布の更新処理を実現することができる。したがって、高精度な顔画像認識を実現することができる。
【００１４】
請求項４に記載された発明は、前記顔画像認識部は、連続した入力画像の顔画像認識を行う際、直前に入力された画像を用いて前記パラメータの確率分布を逐次学習することを特徴とする。
【００１５】
請求項４記載の発明によれば、動画像や連続静止画像（映像を含む）等では、直前の顔の変形との関連性が強いため、連続する入力画像の顔画像認識を行う際、その直前の入力画像によりパラメータの確率分布を逐次学習させることで、より高精度に顔画像認識を行うことができる。
【００１６】
請求項５に記載された発明は、予め登録される登録顔画像と該登録顔画像の表情の異なる複数の画像とを用いて、入力画像に含まれる顔画像の人物を特定するための顔画像認識処理をコンピュータに実行させるための顔画像認識プログラムにおいて、前記登録顔画像の特徴点配置情報と人物識別情報とを、前記登録顔画像に対応付けて顔テンプレートとして登録する顔画像登録処理と、前記顔画像登録処理により登録された人物の表情の異なる複数の顔画像と、前記人物識別情報とから顔変形データを抽出する顔変形データ抽出処理と、前記顔テンプレートと前記顔変形データとに基づいて、顔認識に用いられる所定のパラメータの確率分布を逐次更新しながら、前記入力画像に含まれる顔画像の人物を特定する顔画像認識処理とをコンピュータに実行させる。
【００１７】
請求項５記載の発明によれば、高精度な顔画像認識を実現することができる。これにより、高精度な顔画像認識を実現することができる。また、実行プログラムをコンピュータにインストールすることにより、容易に顔画像認識を実現することができる。
【発明の効果】
【００１８】
本発明によれば、顔画像の様々な変動要素に対応して高精度な顔画像認識を実現することができる。
【発明を実施するための最良の形態】
【００１９】
＜本発明の特徴＞
本発明は、例えば動画像又は連続静止画像（映像を含む）等のように、ある人物の顔を連続的に撮影した画像の組（以下、「入力画像」という）が、撮影時刻の順に一枚ずつ与えられる場合において、予め与えられた複数の人物の顔画像（以下、「登録顔画像」という）の中から入力画像に含まれる顔と最も類似するものを探し、その人物を特定する人物識別情報としてのラベル（以下、「人物ＩＤ」という）を逐次出力するシステムに関する手法である。
【００２０】
また、本発明では、特に個々の登録顔画像を表現する顔テンプレートに付随する各種パラメータの確率分布を想定し、ベイズ（Ｂａｙｅｓ）推定に基づいて導出される各顔テンプレートの出現確率（事後確率分布）を直接比較する手法を用いる。つまり、表情変化や発話動作に伴って時々刻々と変化する顔の状態（画像平面上での歪み）に追従するため、各時刻における顔モデルの確率分布を与えられた入力画像そのものを用いて逐次的に推定（学習）する。
【００２１】
＜＜ベイズ推定に基づくパラメータ分布の逐次学習＞＞
次に、本発明におけるベイズ推定に基づくパラメータ分布の逐次学習手法について説明する。本発明では、顔モデルに付随するパラメータの各時刻ｎにおける値Θｎ（Θｎ＝ｘｎ，αｎ，βｎ，１：Ｒ，Ｔｎ）を確率変数と捉え、現時刻までの入力画像の集合：ｙ１：ｎ=(ｙ１，ｙ２，…，ｙｎ)が与えられたときのパラメータΘｎの事後確率分布Ｐ（Θｎ｜ｙ１，Ｈｊ）を推定する。
【００２２】
更に、各々の確率分布を計算するうえで仮定した顔テンプレートＨｊの事後確率分布Ｐ（Ｈｊ｜ｙ１：ｎ）を、ベイズ公式から導かれる関係式である（１）式に従って計算する。
【００２３】
【数１】
2007249394.tif 000003
【００２４】
ここで、（１）式の右辺、分子の第１項に表されている時刻ｎにおける顔テンプレートの尤度Ｐ（ｙｎ｜ｙ１：ｎ−１，Ｈｊ）は以下に示す（２）式、（３）式で定義される。
【００２５】
【数２】
2007249394.tif 000004
【００２６】
本発明で用いられる装置（システム）は、各時刻ｎにおける事後確率が最大となる顔テンプレートが表す人物ＩＤを認識結果として出力する。つまり、以下に示す（４）式が成立する。
【００２７】
【数３】
2007249394.tif 000005
【００２８】
ここで、上述した（２）式で定義される尤度Ｐ（ｙｎ｜ｙ１：ｎ−１，Ｈｊ）の計算は多次元連続空間に関する積分であり、一般に解析的な解を求めることは非常に困難である。
【００２９】
そこで、本発明では逐次モンテカルロ（Ｓｅｑｕｅｎｔｉａｌ  Ｍｏｎｔｅ  Ｃａｒｌｏ，ＳＭＣ）法と呼ばれる手法（詳細は、例えば伊庭幸人他、統計科学フロンティア１２「計算統計ＩＩ−マルコフ連鎖モンテカルロ法とその周辺−」、岩波書店、ｐｐ．２９３−３２４等を参照。）を用いてこの積分値の近似解を求める。
【００３０】
具体的には、まず標準的な乱数発生アルゴリズム等を用いて直接的に標本を抽出可能な提案分布π（Θｎ）を考える。なお、提案分布とは、注目する確率分布から直接サンプル（標本値）を得ることが困難なとき、直接的にサンプルが得られる別の分布関数を用いて近似を行う場合の分布関数（ｐｒｏｐｏｓａｌ  ｄｉｓｔｒｉｂｕｔｉｏｎ）を表す。また、ここでの提案分布は、ＳＭＣサンプルの粗密が表す分布であり、ＳＭＣサンプルとは逐次モンテカルロ法においてシステムが抽出した事後確率分布を模したパラメータ標本の集合である。
【００３１】
次に、この提案分布に従うＮｊ個の標本を以下に示す（５）式で抽出し、上述した（３）式及び（２）式の積分をそれぞれ以下に示す（６）式、（７）式で近似する。
【００３２】
【数４】
2007249394.tif 000006
【００３３】
ここで、上述した（６）式におけるδ（ｘ）は、クロネッカーのデルタ関数を表す。このクロネッカーのデルタ関数は、入力値ｘが０のときに１を返し、入力値ｘが０以外のときに０を返すものである。上述した（６）式では、分布関数Ｐ（Θｎ｜ｙ１：ｎ−１，Ｈｊ）を逐次モンテカルロ法で採取されたサンプルΘｎ（ｉ）における値の重ね合わせ（和）で近似するため、このような表現（サンプルが存在する部分だけ０以外の値を持ちうる不連続な関数）となる。
【００３４】
また、ｗ〜ｎ（ｉ）は、提案分布π（Θｎ）と、事後確率分布Ｐ（Θｎ｜ｙ１：ｎ，Ｈｊ）との間の誤差を補正するサンプル重み（補正値）であり、以下に示す（８）式で定義される。
【００３５】
【数５】
2007249394.tif 000007
【００３６】
ここで、ｗ〜ｎ（ｉ）は、その全ての和が１となるように大きさを補正（正規化）したｗｎ（ｉ）を表す。また、上述した（８）式において、Ｎｐｅｒｓｏｎｓは登録した人物(顔テンプレート)の総数を表す。
【００３７】
このように、本発明では、逐次モンテカルロ法を用いた学習則により顔テンプレートの事後確率分布を逐次的に計算し、その結果に基づいて高精度な顔認識を実現することができる。
【００３８】
＜実施の形態＞
次に、上述した特徴を有する本発明における顔画像認識装置及び顔画像認識プログラムを好適に実施した形態について、図面を用いて説明する。
【００３９】
図１は、顔画像認識装置の一構成例を示す図である。図１に示す顔画像認識装置１は、顔データ作成装置１０と、顔画像認識特定装置２０とを有するよう構成されている。また、顔データ作成装置１０は、顔画像登録部１１と、顔変形データ抽出部１２と、記録部１３とを有するよう構成されている。また、顔画像認識特定装置２０は、顔画像検出部２１と、顔画像認識部２２とを有するよう構成されている。
【００４０】
顔データ作成装置１０は、予め入力画像に出現することが予想される人物の顔画像（登録顔画像）と、個々の人物を区別するための人物識別情報としての人物ＩＤ、個々の人物の顔の変形の統計的性質を表現する表情サンプル画像と、登録顔画像及び表情サンプル画像のそれぞれの顔の各器官（目、鼻、口）の位置を記録した特徴点配置情報とから、個々の顔の静的な情報を記録した顔テンプレートと、個々の顔の動的な情報を記録した顔変形データを作成する。また、顔データ作成装置１０は、作成した顔テンプレート及び顔変形データを記録する。
【００４１】
具体的には、顔画像登録部１１は、予め入力される登録顔画像と、各登録顔画像について特徴点が配置された特徴点配置情報xＡと、各登録画像に対応する人物ＩＤｊとから、特徴点における登録画像の情報から特徴量ｃＡを計算し、個々の顔テンプレートＨｊ＝（xＡ，ｃＡ，ｊ）を生成する。また、顔画像登録部１１は、生成した顔テンプレートを記録部１３に出力する。
【００４２】
ここで、登録顔画像は、顔画像認識装置１に予め登録される人物の顔の画像データである。また、特徴点配置情報とは、顔の各器官（目、鼻、口等）に配置された点の画像平面上での位置ｘ（上述したパラメータΘｎに相当する）である。
【００４３】
また、人物ＩＤとは、登録顔画像に対応する人物を特定するためのラベル又は番号ｎ等からなる識別情報であり、人名や性別、年齢、顔画像の向き、ユニークＩＤ等により表されるものである。更に、顔テンプレートとは、登録顔画像の個々の顔の静的な特徴を予め設定された特徴点の配置と、それらの近傍の画像特徴量との組で表したモデルである。
【００４４】
また、顔変形データ抽出部１２は、予め設定された個々の人物の表情サンプル画像と、各サンプル画像に対応する特徴点配置情報を用いて、特徴点配置の変動に関する統計量（例えば、特徴点配置の変分の共分散行列等）を計算し、計算した結果を顔変形データとして記録部１３に出力する。
【００４５】
ここで、表情サンプル画像とは、個々の人物の表情変化に伴う顔の変形の様子を撮影した画像の集合を表す。また、特徴点配置の変動に関する統計量とは、例えば特徴点配置の提案分布π（ｘｎ）を決定する統計量である。
【００４６】
また、顔変形データとは、表情の変化等の一時的な変形に関する個々の顔の動的な特徴を、特徴点配置情報の共分散行列で表した統計モデルである。具体的には、顔変形データは、入力した変形サンプル画像に基づいて画像中の全ての特徴点が移動方向や移動距離等の移動情報を特徴付けたものであり、例えばある特徴点がどの程度動いたら、他の特徴点がどの向きにどの程度動くか等、特徴点毎に対応付けられた移動情報が統計的に求められたものである。
【００４７】
また、記録部１３は、個々の人物の顔に関するデータ（特徴点の座標と特徴量）と、人物ＩＤから構成される顔テンプレート及び個々の人物の顔変形データが記録される。
【００４８】
ここで、図２は、登録画像の特徴点配置の具体例を示したものである。図２に示すように、登録画像の特徴点は、例えば顔画像の両目元や目尻、鼻の頂点、口の端点の合計９点に特徴点３０−０〜３０−８を配置する。なお、特徴点配置の位置や数についてはこの限りではない。
【００４９】
ここで、上述した顔データ作成装置１０における処理は、後述する顔画像認識特定装置２０との処理と連動させる必要はなく、例えば顔画像認識特定装置２０に入力画像が与えられる前に実行されていればよい。
【００５０】
＜顔画像認識特定装置２０＞
顔画像認識特定装置２０は、顔データ作成装置１０が事前に作成し保存した顔テンプレートと顔変形データを利用して、逐次的に与えられる連続した入力画像から顔認識結果を出力する。つまり、顔画像認識装置２０は、記録部１３に保存されている顔テンプレートと顔変形データから決定される提案分布π（ｘｎ）を用いて、特徴点配置のサンプル｛ｘｎ（ｉ）｝ｉ＝１Ｎｊを抽出する。
【００５１】
次に、抽出されたサンプルを用いて、（６）式、（７）式、（１）式の計算、及び（４）式に示した最大値探索を実行し、例えば事後確率が最大となる顔テンプレートに対応する人物ＩＤ等を顔認識結果として出力する。
【００５２】
具体的には、顔画像検出部２１は、現時点において与えられた認識対象である入力画像を読み込み、入力画像に含まれる顔の領域を検出する。また、顔画像検出部２１は、検出した顔の画面上の位置と大きさを特定して、中心位置と大きさ等からなる顔領域情報を顔画像認識部２２に出力する。なお、画像検出技術については、例えば上述した特許文献１や「Ｐ．Ｖｉｏｌａ、Ｐ．，ａｎｄＭ．Ｊｏｎｅｓ，”Ｒａｐｉｄ  Ｏｂｊｅｃｔ  Ｄｅｔｅｃｔｉｏｎ  ｕｓｉｎｇ  ａ  Ｂｏｏｓｔｅｄ  Ｃａｓｃａｄｅ  ｏｆ  Ｓｉｍｐｌｅ  Ｆｅａｔｕｒｅｓ，”Ｐｒｏｃ．  ＣＶＰＲ２００１，Ｖｏｌ．１，ｐｐ．５１１−５１８．」に記載された単純かつ多様な画像判別器の集合からなる顔検出装置を多段に接続する手法等を用いることができる。
【００５３】
なお、入力画像とは、顔認識処理対象として、例えば人物ＩＤ等が知られていない人物の顔を撮影した動画像又は連続静止画像等である。また、本実施の形態において出力される顔認識結果は、動画像又は連続静止画像等の各画像に対応する各々の時刻において事後確率が最大となる顔テンプレートが表すＩＤであるが、本発明において出力される顔認識結果はこれに限定されるものではない。
【００５４】
また、顔画像認識部２２は、記録部１３に予め記録された顔テンプレート、顔変形データを入力し、更に顔画像検出部２１により逐次的に与えられる顔領域情報及び入力画像に基づいて、上述した（１）式〜（８）式に示した計算及び最大値探索を実行する。
【００５５】
また、顔画像認識部２２は、事後確率が最大となる顔テンプレートの情報として、例えば現時刻までに与えられた一連の入力画像に出現している確率が最も高い顔の人物ＩＤ等を認識結果として出力する。
【００５６】
更に、顔画像認識部２２は、連続して入力される画像を用いて顔認識に用いられる所定のパラメータの確率分布を逐次更新する。具体的には、顔画像認識部２２は、連続した入力画像の顔画像認識を行う際、直前に入力された画像を用いてパラメータの確率分布を上述したベイズ推定による逐次学習則に基づいて逐次学習する。これにより、認識対象の個々の人物に固有の情報（顔変形データ）と動画像等が予め備えている入力画像の連続性とを利用して、表情変化や発話動作に付随する顔の変形等に対応可能な高精度の顔画像認識を実現することができる。
【００５７】
＜顔画像認識＞
ここで、本実施の形態における顔画像認識について具体的に説明する。上述したように、顔データ作成装置１０にて作成された顔テンプレートは、登録顔画像上に定義したＮ個の特徴点（上述した図２ではＮ＝９）の配置ｘＡ∈Ｒ２×Ｎ、各特徴点におけるＫ個の方位、Ｒ段階の解像度のガボール・ウェーブレット係数ｃＡ∈ＣＮ×Ｋ×Ｒ、及び人物ＩＤから構成される。
【００５８】
ここで、システムに登録した各テンプレートと入力画像上の顔画像との各解像度ｒにおける類似度を以下に示す（９）式で定義する。
【００５９】
【数６】
2007249394.tif 000008
【００６０】
ここで、上述した（９）式の右辺第２項は特徴量の類似度を表す。また、上述した（９）式において、＜ｃｒＡ，ｃｒＢ＞は二つの複素ベクトルｃｒＡ，ｃｒＢの解像度ｒに関する成分の内積を表し、定数λｒは解像度ｒにおけるガボール・ウェーブレットの波長を表す。
【００６１】
各々のガボール・ウェーブレット係数は、２次元のガボール・ウェーブレットと、各特徴点の周囲の輝度との畳み込み積分である。解像度ｒ、方位ｎのガボール・ウェーブレットは、以下に示す（１０）式で定義される。
【００６２】
【数７】
2007249394.tif 000009
【００６３】
ここで、Ｋｎｒはガボール・ウェーブレットの中心周波数にあたる波数ベクトルであり、以下に示す（１１）式で定義される。
【００６４】
【数８】
2007249394.tif 000010
【００６５】
また、上述した（９）式において、ＥＡ，Ｂはテンプレートの特徴点配置ｘＡに対する入力画像上の特徴点配置ｘＢの変形の度合いを評価する歪みエネルギーである。
【００６６】
また、αｆ，αｓは，それぞれ特徴量の類似度，歪みエネルギーの重みであり，経験的に固定された定数である。可変テンプレートマッチングでは、与えられた画像に対してパラメータαｆ，αｓをある一組の値に固定した状態おいて上述した（９）式を最大化することで、各々の顔テンプレート毎に対応する入力画像上での特徴点配置を決定することができる。
【００６７】
＜＜オンラインＢａｙｅｓ推定＞＞
ここで、上述した（９）式のように、拘束条件の項が付いた評価関数についてのパラメータの最適化問題は、Ｂａｙｅｓ推定における事後確率最大化と関連付けて捉えることができる。本発明では、顔テンプレートに付随する幾つかのパラメータを確率変数とみなし、それらの確率分布から顔データテンプレートの出現確率（事後確率）を計算する。
【００６８】
事後分布が最大となるパラメータ値は、多くの場合うまく働くが、事後分布形状が複雑な場合、１点のみの推定は破綻する事も少なくない。したがって、本発明では、事後分布を１点ではなく確率分布サンプルを採取することにより、より相応しい事後分布とそれに基づく統計量を計算する。
【００６９】
なお、以下の説明では、連続した入力画像ｙ１：ｎ=(ｙ１，ｙ２，…，ｙｎ)が逐次的に与えられる場合について説明する。また、表記の簡略化のため、特に断りがない限りｘ＝ｘＢとする。
【００７０】
上述した（９）式において、二つの複素ベクトルｃｒＡ，ｃｒＢの類似度をそれらのノルム（例えば、ユークリッドノルム等）で正規化したもとでの内積で評価しているが，これは各解像度ｒについてのベクトルｃｒＢを指向性データとみなすことを意味する。そこで、一例として指向性データの自然な生成モデルとして知られているｖｏｎ  Ｍｉｓｅｓ−Ｆｉｓｈｅｒ分布（詳細は、例えばＩ．Ｓ．Ｄｈｉｌｌｏｎ  ａｎｄ  Ｓ．Ｓｒａ，”Ｍｏｄｅｌｉｎｇ  Ｄａｔａ  ｕｓｉｎｇ  Ｄｉｒｅｃｔｉｏｎａｌ  Ｄｉｓｔｒｉｂｕｔｉｏｎｓ，”ＴＲ−０３−０６，Ｕｎｉｖｅｒｓｉｔｙ  ｏｆ  Ｔｅｘａｓ  ａｔ  Ａｕｓｔｉｎ（２００３）．等を参照。）を用いてｎ枚目の入力画像ｙｎの尤度を以下に示す（１２）式で定義する。
【００７１】
【数９】
2007249394.tif 000011
【００７２】
ここで、Ｈｊは仮定したｊ番目の顔テンプレートであり、βｎ，１：Ｒ＝｛βｎ，１，βｎ，２，・・・，βｎ，Ｒ｝は、時刻ｎにおける尤度関数の鋭さを決定するハイパーパラメータである。また、Ｚｂは、正規化定数であり、ｐ次の第１種変形ベッセル関数Ｉｐを用いて以下に示す（１３）式で定義される。
【００７３】
【数１０】
2007249394.tif 000012
【００７４】
ただし、ｋはベクトルｃｒＢの次元数ｋ＝２Ｎ×Ｋである。また、入力画像ｙが与えられる前のｘｎの予測確率分布は以下に示す（１４）式で定義する。
【００７５】
【数１１】
2007249394.tif 000013
【００７６】
ここで、上述した（１４）式において、Λｊは正規特徴点配置空間上での特徴点配置の共分散行列を表す。また、αは、事前分布の鋭さを決定するハイパーパラメータであり、規格化定数Ｚαは以下に示す（１５）式で求められる。
【００７７】
【数１２】
2007249394.tif 000014
【００７８】
ここで、Ｔｎは、顔テンプレートの特徴点配置ｘｊＡが張る空間（以下、正規特徴点配置空間という）から入力画像上の特徴点配置ｘｎが張る空間への写像を表し、以下に示す（１６）式にて表現される。
【００７９】
【数１３】
2007249394.tif 000015
【００８０】
なお、上述した（１６）式に示すθは回転角を示す値である。また、以下の説明では表記の簡略化のため、Ｔｎを決定する４つのパラメータの組（ｒｎ、θｎ、ｕｎ，ｖｎ）のことをＴｎによって代表して表す。Ｔｎの各パラメータは、入力画像上の顔の中心位置と大きさ、画像平面内の回転を決定する。
【００８１】
ここで、入力画像が逐次的に与えられデータが与えられる度にパラメータの推定が逐次的に遂行するためにパラメータ空間を逐次的に探索することは自然な方策である。本発明では、顔全体の動きが極端に激しくない場合を想定してＴｎの逐次更新則Ｐ（Ｔｎ｜Ｔｎ−１）として、以下に示す（１７）式のような確率的ダイナミカルシステムを考える。
【００８２】
【数１４】
2007249394.tif 000016
【００８３】
ここで、上述した（１７）式において、変数ｒ，θ，ｕ，ｖは、推定対象の一部として扱う顔領域の中心位置座標（ｕ，ｖ）、大きさｒ、頭部の傾きの角度θを表す。また、それぞれの変数は、学習アルゴリズム（逐次モンテカルロ法）を用いて、時刻ｎと共に更新される。
【００８４】
つまり、上述した（１７）式は、各々のパラメータの確率が、直前の時刻での値の周りになだらかに分布している場合（言い換えると、あまり激しく動かない場合）の具体的な更新規則を示している。（１７）式では、直前の時刻における実現値ｒｎ−１，θｎ−１，ｕｎ−１，ｖｎ−１に正規分布に従う４つの乱数ｖｒ，ｖθ，ｖｕ，ｖｖの値を各々加算して、現在の時刻の予測値ｒｎ，θｎ，ｕｎ，ｖｎとしている。
【００８５】
また、同様に、尤度関数及び事前確率の分布の鋭さを決定するハイパーパラメータについて、次のような予測モデルＰ（αｎ，βｎ，１：Ｒ｜αｎ−１，βｎ−１，１：Ｒ）を仮定すると以下に示す（１８）式のようになる。
【００８６】
【数１５】
2007249394.tif 000017
なお，対数正規分布を考える理由は正値性を保証するためである。
【００８７】
ここで、データｙ１：ｎが与えられたときｊ番目のモデルＨｊの事後確率は、Ｂａｙｅｓの定理より以下に示す（１９）式によって再帰的に与えられる。
【００８８】
【数１６】
2007249394.tif 000018
【００８９】
ここで、システムはそれまでに観測された入力画像集合ｙ１：ｎについての事後確率が最大となるモデルＨＭＰを時刻ｎにおける認識結果として出力する。なお、この関係式は、以下に示す（２０）式にて表される。
【００９０】
【数１７】
2007249394.tif 000019
また、上述した（２０）式に表されるＨｊの尤度は、以下に示す（２１）式で与えられる。
【００９１】
【数１８】
2007249394.tif 000020
【００９２】
＜＜逐次モンテカルロ＞＞
次に、本発明で用いられる逐次モンテカルロ（ＳＭＣ）について説明する。上述した（１９）式の計算は、多次元連続空間に関する積分であり、ここで考えている問題を含め解析的に計算を実行することは不可能であることが多い。そのため、本発明では、この積分を逐次モンテカルロ法（ＳＭＣ法）による近似計算で実現する。
【００９３】
まず、時刻ｎにおける各パラメータの予測分布を独立同一なサンプルで表現するため、以下に示す（２２）式のような提案分布（ｐｒｏｐｏｓａｌ  ｄｉｓｔｒｉｂｕｔｉｏｎ）を考える。
【００９４】
【数１９】
2007249394.tif 000021
【００９５】
ここで、提案分布π（ｘｎ，αｎ，βｎ，Ｔｎ）に従うＮｊ個のサンプルが抽出されたとき、上述した（２１）式の積分は以下に示す（２３）式で近似的に計算することができる。
【００９６】
【数２０】
2007249394.tif 000022
【００９７】
ここで、上述した（２３）式において、ｗ〜ｎ（ｉ）｜Ｈｊは提案分布と事後確率分布との誤差の補正項（ｎｏｒｍａｌｉｚｅｄ  ｉｍｐｏｒｔａｎｃｅ  ｗｅｉｇｈｔ）であり、上述した（２２）式の提案分布を用いた場合、以下に示す（２４）式、（２５）式で計算される。
【００９８】
【数２１】
2007249394.tif 000023
【００９９】
また、δ（ｘ）は、クロネッカーのデルタ関数を表す。このとき、時刻ｎにおけるｊ番目の顔テンプレートＨｊの事後確率の逐次モンテカルロ近似は以下に示す（２６）式で与えられる。
【０１００】
【数２２】
2007249394.tif 000024
なお、第１番目の入力画像ｙ１が与えられる前の各々のモデルの事前確率Ｐ（Ｈｊ｜ｙ０）は、特別な理由がない限り等確率となり、以下に示す（２７）式で表される。
【０１０１】
【数２３】
2007249394.tif 000025
【０１０２】
上述したように、本発明では逐次モンテカルロ手法を用いて複数の顔画像を用いたパラメータの学習に係る時間を逐次的な更新則を適用することで、従来の一括学習型のアルゴリズムでの処理時間と比較して飛躍的に削減することができる。また、直前の時刻までに与えられた入力画像を用いて逐次学習を行うことで、表情変化等による顔画像の変動に対して頑健な顔画像認識を実現することができる。
【０１０３】
＜実行プログラム＞
ここで、上述した顔画像認識装置１は、上述した専用の装置構成等を用いて本発明における顔画像認識処理を行うこともできるが、各構成における処理をコンピュータに実行させるための実行プログラムを生成し、例えば汎用のパーソナルコンピュータ、サーバ等にそのプログラムをインストールすることにより、本発明に係る顔画像認識処理を実現することができる。
【０１０４】
＜ハードウェア構成＞
ここで、本発明における顔画像認識処理が実行可能なコンピュータのハードウェア構成例について図を用いて説明する。図３は、本発明における顔画像認識処理が実現可能なハードウェア構成の一例を示す図である。
【０１０５】
図３におけるコンピュータ本体には、入力装置４１と、出力装置４２と、ドライブ装置４３と、補助記憶装置４４と、メモリ装置４５と、各種制御を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）４６と、ネットワーク接続装置４７とを有するよう構成されており、これらはシステムバスＢで相互に接続されている。
【０１０６】
入力装置４１は、ユーザが操作するキーボード及びマウス等のポインティングデバイスや音声入力デバイス等を有しており、ユーザからのプログラムの実行指示等、各種操作信号、音声信号を入力する。出力装置４２は、本発明における処理を行うためのコンピュータ本体を操作するのに必要な各種ウィンドウやデータ等を表示するディスプレイやスピーカ等を有し、ＣＰＵ４６が有する制御プログラムにより実行経過や結果等を表示又は音声出力することができる。
【０１０７】
ここで、本発明において、コンピュータ本体にインストールされる実行プログラムは、例えばＣＤ−ＲＯＭ等の記録媒体４８等により提供される。プログラムを記録した記録媒体４８は、ドライブ装置４３にセット可能であり、記録媒体４８に含まれる実行プログラムが、記録媒体４８からドライブ装置４３を介して補助記憶装置４４にインストールされる。
【０１０８】
また、ドライブ装置４３は、本発明に係る実行プログラムを記録媒体４８に記録することができる。これにより、その記録媒体４８を用いて、他の複数のコンピュータに容易にインストールすることができ、容易に顔画像認識処理を実現することができる。
【０１０９】
補助記憶装置４４は、ハードディスク等のストレージ手段であり、本発明における実行プログラムや、コンピュータに設けられた制御プログラム等を蓄積し必要に応じて入出力を行うことができる。また、補助記憶装置４４は、上述した登録顔画像や特徴点配置情報、人物ＩＤ、表情サンプル画像、顔テンプレート、顔変形データ、入力画像（動画像、連続静止画像等）、顔領域情報、顔認識結果等を記録する記録部として用いることもできる。
【０１１０】
ＣＰＵ４６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）等の制御プログラム、及び補助記憶装置４４から読み出されメモリ装置４５に格納されている実行プログラムに基づいて、各種演算や各ハードウェア構成部とのデータの入出力等、コンピュータ全体の処理を制御して、顔画像認識処理における各処理を実現することができる。また、プログラムの実行中に必要な各種情報等は、補助記憶装置４４から取得することができ、また格納することもできる。
【０１１１】
ネットワーク接続装置４７は、電話回線やＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）ケーブル等の通信ネットワーク等と接続することにより、実行プログラムを通信ネットワークに接続されている他の端末等から取得したり、プログラムを実行することで得られた実行結果又は本発明における実行プログラムを他の端末等に提供することができる。
【０１１２】
上述したようなハードウェア構成により、特別な装置構成を必要とせず、低コストで上述した顔画像認識処理を実現することができる。また、プログラムをインストールすることにより、容易に顔画像認識処理を実現することができる。
【０１１３】
＜顔画像認識処理手順＞
次に、本発明における実行プログラム（顔画像認識プログラム）を用いた顔画像認識処理手順についてフローチャートを用いて説明する。図４は、顔画像認識処理手順の一例を示すフローチャートである。
【０１１４】
図４において、登録顔画像、特徴点配置情報、及び人物ＩＤを読み込み（Ｓ０１）、特徴量を計算して、個々の登録顔に対応する顔テンプレートを出力する（Ｓ０２）。また、表情サンプル画像及び特徴点配置情報を読み込み（Ｓ０３）、特徴点配置の提案分布を決定する統計量を顔変形データとして出力する（Ｓ０４）。なお、上述したＳ０１〜Ｓ０４の処理は、予め実行され、記録部等に記録されていてもよい。
【０１１５】
次に、顔認識を行うため、動画像又は連続静止画像等における各画像毎に対応して付与されている時刻情報を基準として、現時刻において与えられた１枚の入力画像を読み込み（Ｓ０５）、読み込んだ入力画像に含まれている人の顔の領域を検出する（Ｓ０６）。具体的には、顔領域の中心位置及び大きさを検出して顔領域情報を生成する。また、顔テンプレート、顔変形データ、顔領域情報、及び入力画像から、現時刻における事後確率が最大となる顔テンプレートの人物ＩＤを人物識別情報として出力する（Ｓ０７）。
【０１１６】
ここで、次の画像を入力するか否かを判断し（Ｓ０８）、次の画像を入力する場合（Ｓ０８において、ＹＥＳ）、逐次モンテカルロ法により、各パラメータである各時刻における確率分布を更新する（Ｓ０９）。具体的には、各時刻におけるパラメータの確率分布を直前の時刻における予測分布と、現時刻の入力画像から得られる情報（尤度）を用いて逐次的に推定し、パラメータの確率分布に逐次更新を行う。また、Ｓ０９の処理が終了後、Ｓ０５に戻り連続する次の画像を入力して顔認識処理を継続して行う。また、Ｓ０８において、入力画像がない場合等、次の画像を入力しない場合（Ｓ０８において、ＮＯ）、顔認識処理を終了する。
【０１１７】
上述したように、顔画像認識プログラムを用いた顔画像認識処理により、高精度な顔認識を実現することができる。具体的には、直前の時刻までに与えられた入力画像を用いて逐次学習を行うことで、表情変化等による顔画像の変動に対して頑健な顔画像認識を実現することができる。また、プログラムをインストールすることにより、容易に顔画像認識処理を実現することができる。
【０１１８】
＜顔認識の評価結果＞
次に、本発明を用いた顔認識の評価結果について説明する。本発明における顔認識手法（以下、Ｂａｙｅｓｉａｎ  ＳＭＣという）の有効性を検証するため、ハミルトニアンモンテカルロ法によりパラメータの確率分布を一括学習する手法（以下、Ｂａｙｅｓｉａｎ  ＨＭＣという）を比較対象とした認識実験を行った。
【０１１９】
＜＜実験条件＞＞
ここで、実験に用いるデータとして、評価データ、登録データ、学習データの３種類を用意した。なお、本装置（システム）に逐次的に与える入力データｙ１：ｎとして用いる評価データとして、１０人（男性７人、女性３人）の被験者それぞれについての発話時の顔の連続画像を用意した。また、各々の連続静止画像として、スタジオ照明・単色背景（ブルーバック）の条件で撮影した正面を向いた顔画像のＮＴＳＣ（Ｎａｔｉｏｎａｌ  Ｔｅｌｅｖｉｓｉｏｎ  Ｓｙｓｔｅｍ  Ｃｏｍｍｉｔｔｅｅ）動画像から、縦２４０画素×横３６０画素のサイズで３０フレーム（１秒間）を取得した。また、各人物の顔テンプレートＨｊ＝（ｘＡ，ｃＡ，ｊ）の作成に用いる登録データは、評価データと同じ条件で撮影した無表情・正面の顔画像１枚／人を用意した。
【０１２０】
ここで、本手法における共分散行列Λｊの推定及び従来手法においてパラメータの確率分布Ｐ（ｘｎ，αｎ，βｎ，１：Ｒ｜Ｈｊ）の推定に用いる学習データは、６つの基本表情（驚き，喜び，悲しみ，怒り，恐怖，嫌悪）について撮影した各々3パターン計１８枚／人の顔画像を用意した。
【０１２１】
なお，顔の位置情報の初期値Ｔ０＝（ｒ０，θ０，ｕ０，ｖ０）は、個々の評価データについて予め人手により抽出した結果を用いた。また、本手法において各種パラメータの予測モデルの分散とハイパーパラメータの初期値は、σｕ＝σｖ＝１．０，σｒ＝０．１，σθ＝０．０００１，σα＝σβ＝０．０１，α０＝１０．０，β０＝１．０とした。本手法及び従来手法において、モンテカルロ近似の精度を決定するサンプルの総数は、それぞれ一つの顔テンプレートあたりＮｊ＝３６００個に統一した。
【０１２２】
＜＜実験結果＞＞
ここで、図５は、一括学習型である従来手法（Ｂａｙｅｓｉａｎ  ＨＭＣ）と、逐次学習型である本手法（Ｂａｙｅｓｉａｎ  ＳＭＣ）のそれぞれの評価データを示す図である。図５には、顔認識誤り率（ＩＤ  Ｅｒｒｏｒ  Ｒａｔｅ）、及びパラメータ分布の推定（学習）と認識の一連の処理に要した処理時間（Ｐｒｏｃ．  ｔｉｍｅ）を示している。なお、各々の顔認識誤り率は、各時刻においてシステムが認識結果として出力した人物ＩＤが評価データに登場している真の人物ＩＤと一致した回数の評価データ全体のフレーム数（＝３００）に対する割合で評価した。また、図５に示す処理時間は、ＣＰＵ:Ｘｅｏｎ２．８ＧＨｚの計算機を用いて、学習と認識の両方の処理に要した時間の合計である。
【０１２３】
図５に示すように、実験結果より従来のＢａｙｅｓｉａｎ  ＨＭＣで１１．０％の顔認識誤りが発生したのに対して、本発明手法であるＢａｙｅｓｉａｎ  ＳＭＣでは顔認識誤りは２．３％であり直前の入力画像を用いた逐次学習を行うことで、顔の短時間的な形状変化に対する頑健性が改善していることがわかる。
【０１２４】
一方、処理時間については、Ｂａｙｅｓｉａｎ  ＨＭＣで合計１１５５秒だったのに対して、Ｂａｙｅｓｉａｎ  ＳＭＣでは２３２９秒であり約２倍の処理時間を必要とした。しかしながら、従来手法であるＢａｙｅｓｉａｎ  ＨＭＣで画像入力の度に本発明のように毎回学習させる処理を行った場合、処理時間は略整数倍に増加することになる。
【０１２５】
ここで、図６は、本発明手法を用いた特徴点分布の一例を示す図である。なお、図６は、計３６００×１０人＝３６０００個のサンプルのうち、重み（ｎｏｒｍａｌｉｚｅｄ  ｉｍｐｏｒｔａｎｃｅ  ｗｅｉｇｈｔ）の上位１００個のサンプルの特徴点配置の分布を対応する入力画像に重ねて示している。また、図６において、ｔは各時刻を示す。
【０１２６】
図６（ａ）〜（ｃ）に示すように、顔テンプレートの事後確率Ｐ(Ｈｊ｜ｙ１:ｎ)の計算への寄与が大きい、大きなｉｍｐｏｒｔａｎｃｅ  ｗｅｉｇｈｔの値を有する特徴点配置のサンプルが、顔の各器官、特に口の両端の位置変化に追従している様子が確認できる。
【０１２７】
上述したように、発話時の連続顔画像を用いた比較実験の結果、パラメータ分布の一括学習を行う従来手法に比べて逐次学習を行う本手法は顔認識誤りが約１／５に削減され、顔変形に対する頑健性が示される。
【０１２８】
上述したように本発明によれば、高精度な顔画像認識を実現することができる。具体的には、複数の顔画像を用いたパラメータの学習に係る時間を逐次的な更新則を適用することで、従来の一括学習型のアルゴリズムでの処理時間と比較して飛躍的に削減することができる。また、直前の時刻までに与えられた入力画像を用いて逐次学習を行うことで、表情変化等による顔画像の変動に対して頑健な顔画像認識を実現することができる。
【０１２９】
以上本発明の好ましい実施の形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形、変更が可能である。
【図面の簡単な説明】
【０１３０】
【図１】顔画像認識装置の一構成例を示す図である。
【図２】登録画像の特徴点配置の具体例を示したものである。
【図３】本発明における顔画像認識処理が実現可能なハードウェア構成の一例を示す図である。
【図４】顔画像認識処理手順の一例を示すフローチャートである。
【図５】一括学習型の従来手法（Ｂａｙｅｓｉａｎ  ＨＭＣ）と、逐次学習型の本手法（Ｂａｙｅｓｉａｎ  ＳＭＣ）それぞれの評価データを示す図である。
【図６】本発明手法を用いた特徴点分布の一例を示す図である。
【符号の説明】
【０１３１】
１  顔画像認識装置
１０  顔データ作成装置
１１  顔画像登録部
１２  顔変形データ抽出部
１３  記録部
２０  顔画像認識特定装置
２１  顔画像検出部
２２  顔画像認識部
３０  特徴点
４１  入力装置
４２  出力装置
４３  ドライブ装置
４４  補助記憶装置
４５  メモリ装置
４６  ＣＰＵ
４７  ネットワーク接続装置
４８  記録媒体
【図１】
2007249394.tif 000026
【図３】
2007249394.tif 000027
【図４】
2007249394.tif 000028
【図５】
2007249394.tif 000029
【図２】
2007249394.tif 000030
【図６】
2007249394.tif 000031