(57)【要約】【課題】ユーザの頭部姿勢の向きに対して頑健に様々な表情、及びその表出強度を正しく認識可能とする。【解決手段】テンプレート作成部１２は、学習画像上で所定の条件を満たす複数の線分からなる注目線分群を選択する注目線分選択部１２１と、複数の表情とそれらの表情が表出する程度を示す表出強度とに対して、注目線分選択部１２１で選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成する輝度プロファイルモデル作成部１２２と、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部１２３とを備える。【選択図】図１
2011086245.tif 000002
【特許請求の範囲】
【請求項１】
学習画像上で所定の条件を満たす複数の線分からなる注目線分群を選択する注目線分選択部と、
複数の表情とそれらの表情が表出する程度を示す表出強度とに対して、前記注目線分選択部で選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成する輝度プロファイルモデル作成部と、
入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部と
を備えることを特徴とするテンプレート作成装置。
【請求項２】
前記注目線分選択部は、
前記顔の正面画像に基づいて作成された形状モデル上で、前記注目線分群を選択することを特徴とする請求項１に記載のテンプレート作成装置。
【請求項３】
前記輝度プロファイルモデル作成部は、
前記顔の正面画像に基づいて作成された形状モデル上で、前記選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成することを特徴とする請求項２に記載のテンプレート作成装置。
【請求項４】
学習画像上で所定の条件を満たす複数の線分からなる注目線分群を選択する注目線分選択部と、
複数の表情とそれらの表情が表出する程度を示す表出強度とに対して、前記注目線分選択部で選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成する輝度プロファイルモデル作成部と、
入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部とを備えるテンプレート作成部と、
入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測する予測部と、
前記予測部により予測された前記頭部姿勢及び表情の状態分布を、前記テンプレート作成部により作成されたテンプレートを用いて評価する更新部と、
前記更新部により評価された前記頭部姿勢及び表情の状態分布から前記頭部姿勢及び表情の推定値を算出する算出部とを備える頭部姿勢及び表情推定部と
を備えることを特徴とする表情認識装置。
【請求項５】
前記予測部は、
前記テンプレート作成部により作成されたテンプレートに基づいて、現時刻における頭部姿勢及び表情の状態を近似する仮説群を生成することを特徴とする請求項４に記載の表情認識装置。
【請求項６】
前記更新部は、
前記予測部によって予測された仮説群について、前記仮説群に含まれる各仮説が保持する頭部姿勢及び表情の状態の入力顔画像に対する尤度を、前記注目線分群での輝度プロファイルが、前記形状モデルに対してどれだけずれているかに基づいて計算し、該尤度に比例した重みを前記各仮説に与えることを特徴とする請求項５に記載の表情認識装置。
【請求項７】
前記更新部は、
各注目線分を構成するサンプリング点のうち、自己遮蔽されているサンプリング点が含まれていないか否かを判定する判定手段と、
前記各仮説が持つ頭部姿勢状態での、各注目線分の全てのサンプリング点の入力画像上での画像座標を算出する座標算出手段と、
前記算出された入力画像でのサンプリング点の画像座標における輝度を、各注目線分の輝度とする輝度決定手段と、
前記各注目線分の輝度に基づいて、前記各仮説の保持する頭部姿勢及び表情の状態の入力画像に対する尤度を算出する尤度算出手段と、
前記尤度に基づいて、前記各仮説の保持する頭部姿勢及び表情の状態の入力画像に対する重みを算出する重み算出手段と、
を備えることを特徴とする請求項５に記載の表情認識装置。
【請求項８】
前記更新部は、
前記学習画像上に定義されている各注目線分を構成するサンプリング点を、前記形状モデルへ正射影し、
前記各仮説の持つ頭部姿勢に基づいて、前記形状モデルに２次元並進、３次元回転、及びスケーリングを施し、
前記２次元並進、３次元回転、及びスケーリングが施された形状モデル上のサンプリング点を、前記入力画像の平面へ投影することにより、前記各注目線分の全てのサンプリング点の入力画像上での画像座標を算出する、
ことを特徴とする請求項５に記載の表情認識装置。
【請求項９】
学習画像上で所定の条件を満たす複数の線分からなる注目線分群を選択する注目線分選択過程と、
複数の表情とそれらの表情が表出する程度を示す表出強度とに対して、前記注目線分選択過程で選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成する輝度プロファイルモデル作成過程と、
入力された顔画像に基づいて、顔の形状を近似する形状モデルを作成する形状モデル作成過程と
を有することを特徴とするテンプレート作成方法。
【請求項１０】
学習画像上で所定の条件を満たす複数の線分からなる注目線分群を選択する注目線分選択過程と、
複数の表情とそれらの表情が表出する程度を示す表出強度とに対して、前記注目線分選択過程で選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成する輝度プロファイルモデル作成過程と、
入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成過程と、
入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測する予測過程と、
前記予測過程により予測された前記頭部姿勢及び表情の状態分布を、前記輝度プロファイルモデル作成過程により作成されたテンプレートを用いて評価する更新過程と、
前記更新過程により評価された状態分布から前記頭部姿勢及び表情の推定値を算出する算出過程と
を有することを特徴とする表情認識方法。
【請求項１１】
請求項１〜３のいずれか１項に記載のテンプレート作成装置として、コンピュータを機能させるためのプログラム。
【請求項１２】
請求項４〜８のいずれか１項に記載の表情認識装置として、コンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に基づく人物表情認識技術に係るテンプレート作成装置、表情認識装置、テンプレート作成方法、表情認識方法、及びプログラムに関する。
【背景技術】
【０００２】
人物の表情認識技術はヒューマンマシンインタラクションの重要な要素技術の１つであり、顔の向きを限定することなく表情を認識可能な手法の実現が期待されている。これに対し、これまでに開発された人物表情認識手法のほとんどが正面顔に限定されたものであり、顔の向きの変化に対応できていない。また、一部の手法では顔向きの変化に対応できるものの、対象人物毎に詳細な３次元顔形状モデルが必要であり、事前の登録手続きに時間がかかるという課題が存在した。さらに、表情のカテゴリについては推定できるものの、表出強度については出力できないという問題が存在した。
【０００３】
例えば、非特許文献１では、実時間で頭部姿勢及び表情を推定する手法が提案されている。しかし、追跡する眼や、口の端点といった特徴点の３次元座標をステレオ視によって算出するため、単眼で撮影された既存のビデオ映像等に適用できないという課題がある。
【０００４】
非特許文献２では、実時間で頭部姿勢及び表情を推定する他の手法が提案されているが、追跡する眼や口の端点といった特徴点の３次元座標の複数人についての平均値を、事前にステレオ視やレンジスキャナ等を用いて計測しておく必要がある。さらに、変動の大きな個人間の顔形状や表情変化を精度よく近似できないという課題がある。
【０００５】
非特許文献３では、その場での簡単な作業により作成することができるモデルを用いて、実時間で頭部姿勢及び表情のカテゴリを推定する手法が提案されている。しかし、表情の表出強度については出力できないという課題がある。さらに、同手法では、注目点の配置が無表情の顔画像のみから決定されるため、それらが必ずしも各対象表情カテゴリに対して有効に配置されない場合があるという課題がある。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】S. B. Gokturk, C. Tomasi, B. Girod and J. -Y. Bouguet: "Model-based face tracking for view-independent facial expression recognition", Proc. of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp. 287-293 （2002）.
【非特許文献２】F. Dornaika and F. Davoine: "Simultaneous facial action tracking and expression recognition using a particle filter", Proc. of the Tenth IEEE International Conference on Computer Vision, 2, pp. 1733-1738 （2005）.
【非特許文献３】S. Kumano, K. Otsuka, J. Yamato, E. Maeda and Y. Sato, “Pose-Invariant Facial Expression Recognition Using Variable-Intensity Templates”, Proc. of the Asian Conference on Computer Vision, Vol. I, pp.324-334, 2007.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
顔向きを限定せずに表情を認識しようとする場合、顔向き変化に影響を受けない形で画像特徴量を定義することが必要となる。顔の３次元形状があらかじめ与えられている場合、顔形状を用いた画像の正規化によって顔向きの影響を取り除くことができる。しかし、人物毎に正確な顔形状モデルを準備するのはコストが大きく実用上問題となる。
【０００８】
本発明は、このような事情を考慮してなされたものであり、その目的は、大まかな幾何形状モデルのみを用いた場合でも、ユーザの頭部姿勢の向きに対して、頑健に様々な表情、及びその表出強度を正しく認識することができるテンプレート作成装置、表情認識装置、テンプレート作成方法、表情認識方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上述した課題を解決するために、本発明は、学習画像上で所定の条件を満たす複数の線分からなる注目線分群を選択する注目線分選択部と、複数の表情とそれらの表情が表出する程度を示す表出強度とに対して、前記注目線分選択部で選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成する輝度プロファイルモデル作成部と、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部とを備えることを特徴とする。
【００１０】
本発明は、上記の発明において、前記注目線分選択部は、前記顔の正面画像に基づいて作成された形状モデル上で、前記注目線分群を選択することを特徴とする。
【００１１】
本発明は、上記の発明において、前記輝度プロファイルモデル作成部は、前記顔の正面画像に基づいて作成された形状モデル上で、前記選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成することを特徴とする。
【００１２】
また、上述した課題を解決するために、本発明は、学習画像上で所定の条件を満たす複数の線分からなる注目線分群を選択する注目線分選択部と、複数の表情とそれらの表情が表出する程度を示す表出強度とに対して、前記注目線分選択部で選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成する輝度プロファイルモデル作成部と、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部とを備えるテンプレート作成部と、入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測する予測部と、前記予測部により予測された前記頭部姿勢及び表情の状態分布を、前記テンプレート作成部により作成されたテンプレートを用いて評価する更新部と、前記更新部により評価された前記頭部姿勢及び表情の状態分布から前記頭部姿勢及び表情の推定値を算出する算出部とを備える頭部姿勢及び表情推定部とを備えることを特徴とする表情認識装置である。
【００１３】
本発明は、上記の発明において、前記予測部は、前記テンプレート作成部により作成されたテンプレートに基づいて、現時刻における頭部姿勢及び表情の状態を近似する仮説群を生成することを特徴とする。
【００１４】
本発明は、上記の発明において、前記更新部は、前記予測部によって予測された仮説群について、前記仮説群に含まれる各仮説が保持する頭部姿勢及び表情の状態の入力顔画像に対する尤度を、前記注目線分群での輝度プロファイルが、前記形状モデルに対してどれだけずれているかに基づいて計算し、該尤度に比例した重みを前記各仮説に与えることを特徴とする。
【００１５】
本発明は、上記の発明において、前記更新部は、各注目線分を構成するサンプリング点のうち、自己遮蔽されているサンプリング点が含まれていないか否かを判定する判定手段と、前記各仮説が持つ頭部姿勢状態での、各注目線分の全てのサンプリング点の入力画像上での画像座標を算出する座標算出手段と、前記算出された入力画像でのサンプリング点の画像座標における輝度を、各注目線分の輝度とする輝度決定手段と、前記各注目線分の輝度に基づいて、前記各仮説の保持する頭部姿勢及び表情の状態の入力画像に対する尤度を算出する尤度算出手段と、前記尤度に基づいて、前記各仮説の保持する頭部姿勢及び表情の状態の入力画像に対する重みを算出する重み算出手段と、を備えることを特徴とする。
【００１６】
本発明は、上記の発明において、前記更新部は、前記学習画像上に定義されている各注目線分を構成するサンプリング点を、前記形状モデルへ正射影し、前記各仮説の持つ頭部姿勢に基づいて、前記形状モデルに２次元並進、３次元回転、及びスケーリングを施し、前記２次元並進、３次元回転、及びスケーリングが施された形状モデル上のサンプリング点を、前記入力画像の平面へ投影することにより、前記各注目線分の全てのサンプリング点の入力画像上での画像座標を算出する、ことを特徴とする。
【００１７】
また、上述した課題を解決するために、本発明は、学習画像上で所定の条件を満たす複数の線分からなる注目線分群を選択する注目線分選択過程と、複数の表情とそれらの表情が表出する程度を示す表出強度とに対して、前記注目線分選択過程で選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成する輝度プロファイルモデル作成過程と、入力された顔画像に基づいて、顔の形状を近似する形状モデルを作成する形状モデル作成過程とを有することを特徴とするテンプレート作成方法である。
【００１８】
また、上述した課題を解決するために、本発明は、学習画像上で所定の条件を満たす複数の線分からなる注目線分群を選択する注目線分選択過程と、複数の表情とそれらの表情が表出する程度を示す表出強度とに対して、前記注目線分選択過程で選択された注目線分群の輝度プロファイル変化のモデルを表すテンプレートを作成する輝度プロファイルモデル作成過程と、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成過程と、入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測する予測過程と、前記予測過程により予測された前記頭部姿勢及び表情の状態分布を、前記輝度プロファイルモデル作成過程により作成されたテンプレートを用いて評価する更新過程と、前記更新過程により評価された状態分布から前記頭部姿勢及び表情の推定値を算出する算出過程とを有することを特徴とする表情認識方法である。
【００１９】
また、上述した課題を解決するために、本発明は、請求項１〜３のいずれか１項に記載のテンプレート作成装置として、コンピュータを機能させるためのプログラムである。
【００２０】
また、上述した課題を解決するために、本発明は、請求項４〜８のいずれか１項に記載の表情認識装置として、コンピュータを機能させるためのプログラムである。
【発明の効果】
【００２１】
この発明によれば、大まかな幾何形状モデルのみを用いた場合でも、ユーザの頭部姿勢の向きに対して、頑健に様々な表情、及びその表出強度を正しく認識することができる。
【図面の簡単な説明】
【００２２】
【図１】本実施の形態における表情認識装置１の全体構成を示すブロック図である。
【図２】テンプレート作成部１２のより具体的な処理手順を示すフローチャートである。
【図３】正面・無表情の学習画像１２４における顔領域８を示す図である。
【図４】眉に対応する顔部品における注目線分を構成するサンプリング点を説明するための図である。
【図５】各注目線分での輝度プロファイルが各表情によってどのように変化するかをモデル化した図である。
【図６】注目線分選択部１２１のより具体的な処理手順を示すフローチャートである。
【図７】注目線分の候補の属性を示す図である。
【図８】頭部姿勢、表情及び顔画像からなる動的ベイジアンネットワークを示す図である。
【図９】頭部姿勢及び表情推定部１３による処理を説明するためフローチャートである。
【図１０】表情遷移処理を説明するための図である。
【図１１】更新部１３２での具体的な処理を説明するためのフローチャートである。
【図１２】入力画像上でのサンプリング点の画像座標の算出処理を示す概略図である。
【図１３】入力画像上でのサンプリング点の画像座標を算出する処理を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の一実施形態を、図面を参照して説明する。なお、以下の説明において、図面及び数式上では、文字の上にバーが付与された符号があるが、明細書中では、￣の次に文字を記すことでこれを表す。また、図面及び数式上では、文字の上に＾が付与された符号があるが、明細書中では、＾の次に文字を記すことでこれを表す。
【００２４】
図１は、本実施の形態における表情認識装置１の全体構成を示すブロック図である。図１において、入力部２は、撮影手段としてのＣＣＤ（電荷結合素子）カメラなどを用いて撮影された被験者の顔の動画像を表情認識装置１に出力する。すなわち、入力部２は、撮影された動画像を所定のサンプリング周期でサンプリングしてデータ化し、各時刻のデータからなるデータ列を表情認識装置１に供給する。そして、表情認識装置１によって実時間で推定された頭部姿勢及び表情のカテゴリとその表出強度の推定値３が出力部４から出力される。
【００２５】
表情認識装置１は、図１に示す通り、事前にテンプレート１１を作成するテンプレート作成部１２、及び、そのテンプレート１１を用いて動画像中の人物の頭部姿勢及び表情を同時に推定する頭部姿勢及び表情推定部１３からなる。これらの機能は、ソフトウェア処理によって実現される。
【００２６】
テンプレート作成部１２は、頭部姿勢及び表情の推定に使用する注目線分を選択する注目線分選択部１２１、ユーザの各表情における注目線分の輝度の分布を準備する輝度プロファイルモデル作成部１２２、及び、顔形状を近似する形状モデルを作成する形状モデル作成部１２３を備える。
【００２７】
頭部姿勢及び表情推定部１３は、パーティクルフィルタの枠組みに基づいており、入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測することで現時刻での頭部姿勢及び表情の状態を予測する予測部１３１、予測した状態分布をテンプレート作成部１２が作成したテンプレート１１を用いて評価する（頭部姿勢及び表情の状態とテンプレートの各状態との尤度を評価する）ことで、その予測状態に対する評価を行う更新部１３２、及び、予測状態及びその評価を元に頭部姿勢及び表情の推定値を算出する推定値算出部１３３を備える。
【００２８】
本実施形態では、頭部姿勢状態ｈを、形状モデル中心の入力画像上での位置（ｈ１，ｈ２）、カメラに正対する顔向きを基準とした頷き（上下）、首振り（左右）、傾け（面内）に対応する頭部姿勢角（ｈ３，ｈ４，ｈ５）、及び、スケールｈ６の６連続変数からなるものとする。一方、表情状態ｅについては、認識対象とする表情のカテゴリｃ（離散変数、例えば、怒りや悲しみなどに対応する番号にて表現する）、及び、その表出強度ｓ∈［０，１］（連続変数、例えば、０．５）の組とする。つまり、表情状態をｅ＝｛ｃ，ｓ｝と表す。Ｎｃを認識対象とする表情のカテゴリ数とすると、ｃ＝｛１，…，Ｎｃ｝である。無表情については、カテゴリｃに含めず、ｃの値に関わらず、表出強度ｓ＝０の状態として表現する。なお、表情のカテゴリの混在した状態はないものとする。
【００２９】
図２は、図１に示した表情認識装置１のテンプレート作成部１２のより具体的な処理手順を示すフローチャートである。以下、図２を参照してテンプレート作成部１２の説明を行う。
【００３０】
このテンプレート１１は、次式（１）で示す注目線分集合、次式（２）で示す表情輝度プロファイルモデル、及び次式（３）で示す形状モデルの３つの要素から構成される。表情輝度プロファイルモデルは、各注目線分の輝度が、各表情によってどのように変化するかをモデル化したものである。このテンプレート１１は、個人に特化したモデル（個人特化モデル）、あるいは、不特定多数の人物に対して汎用的に使用可能なモデル（汎用モデル）のいずれも作成可能である。
【００３１】
【数１】
2011086245.tif 000003
【００３２】
【数２】
2011086245.tif 000004
【００３３】
【数３】
2011086245.tif 000005
【００３４】
このテンプレート１１の作成に必要なものは、学習画像の集合Ｇ、及び、ベース形状（円柱などの単純な幾何形状を使用する場合を除く）である。学習画像集合Ｇは、無表情から始まり、各表情を最大限に表出するまでの一連の顔画像を対象表情カテゴリ分だけ用意した画像の集合のことである。これらの画像には、それぞれ表情状態ｅ、すなわち、表情のカテゴリｃ、及び表出強度ｓが付与されているものとする。ここでは、この学習画像を次式（４）、（５）のように表す。
【００３５】
【数４】
2011086245.tif 000006
【００３６】
【数５】
2011086245.tif 000007
【００３７】
なお、Ｇｃに含まれる画像の数は、対象ユーザ及び対象表情カテゴリのそれぞれについて異なり得る。また、以下では、特に、無表情の学習画像をｇＮＥＵと表す。これについては、各カテゴリｃの表出強度ｓ＝０の学習画像の平均画像、あるいは、表出強度ｓ＝０の学習画像のうちの任意の１つのカテゴリｃについての学習画像ｇｃ，ｓ＝０とする。
【００３８】
１つのＧに含まれる全ての学習画像ｇは、同じサイズのグレースケール画像であり、また、それらの中に含まれる対象人物の顔は、正面正立であり、かつ、画像間で頭部姿勢が変化しないものとする。そのような学習画像の作成方法については、後述の学習画像作成処理にて説明する。
【００３９】
なお、個人特化のテンプレートを作成する場合には、対象ユーザについてのこの学習画像集合Ｇを用意する。他方、汎用のテンプレートを作成する場合には、複数人物について学習画像の集合Ｇを用意しておき、それらを表情カテゴリ毎に時間方向のスケーリングを施した後に平均化した画像を学習画像とすればよい。
【００４０】
注目線分選択部１２１では、学習画像１２４において、頭部姿勢及び表情の推定に使用する複数の注目線分及びその中でのサンプリング点の集合を選択し、それらの学習画像の画像座標１２５を記憶する。
【００４１】
ここで、図３は、正面・無表情の学習画像１２４における顔領域８を示す図である。図３の顔領域８には、右眉に対応する顔部品の領域８１、左眉に対応する顔部品の領域８２、右目に対応する顔部品の領域８３、左目に対応する顔部品の領域８４、鼻に対応する顔部品の領域８５、及び口に対応する顔部品の領域８６がそれぞれ存在している。また、顔領域８上には抽出された複数の注目線分９、９、…が示されている。これらの注目線分９、９、…は、各顔部品の領域８１〜８６の端部（エッジ）を跨ぐように形成されている。
【００４２】
図４は、一例として、眉に対応する顔部品における注目線分を構成するサンプリング点を説明するための図である。各注目線分Ｌ（図３の注目線分９に相当）中には、複数のサンプリング点１０、１０、…、１０が定義されている。なお、サンプリング点の詳細については後述する。
【００４３】
上述した数式（１）で示す注目線分集合とは、図３及び図４に示すように、学習画像中の目や口などの顔部品の近傍に離散的に配置した線分の集合のことである。このような線分の輝度プロファイルに注目することで、表情変化に伴い顔部品が移動したときに、これらの注目線分の輝度プロファイルの変化からその表情変化を検出することが可能となる。ここでは、注目線分集合を次式（６）、（７）と表す。
【００４４】
【数６】
2011086245.tif 000008
【００４５】
【数７】
2011086245.tif 000009
【００４６】
ここで、ＮＬは、注目線分の数を表し、Ｌｌは、ｌ番目の注目線分を表す。さらに、各注目線分Ｌ中には、図４に示すように、ＭＬ個のサンプリング点１０、１０、…が定義されている。サンプリング点１０とは、１次元の連続空間である注目線分上のどの位置（離散座標）の輝度を観測として使用するかを決定するためのものである。ここでは、注目線分Ｌのｊ番目のサンプリング点１０の学習画像における画像座標をＰＬ，ｊと表す。
【００４７】
この注目線分９及びサンプリング点１０としては、学習画像集合Ｇを入力とし、注目線分選択部１２１にて対象とする表情カテゴリの検出に有効なものが選択される。一般に、異なる学習画像集合Ｇに対して異なる注目線分集合（数式（１））が選択される。つまり、個人特化のテンプレート１１を作成する場合には、注目線分集合が個人毎に異なり得る。
【００４８】
輝度プロファイルモデル作成部１２２では、各表情カテゴリについての学習画像１２４及び無表情についての学習画像１２６から、それぞれの注目線分の各表情についての輝度プロファイルのモデル１２７を作成する。表情輝度プロファイルモデル（数式（２））１２７とは、図５に示すように、各注目線分での輝度プロファイルが各表情によってどのように変化するかをモデル化したものである。図５に示す例では、無表情と怒り表情とで、破線と実線とで示されるように、輝度プロファイルが変化する様子が示されている。本実施形態では、事前に決定しておく表情の出力強度（表出強度）の各段階についての輝度プロファイルを記録しておく。そして、複数の注目線分の輝度プロファイルに注目し、それらが各表情変化に伴い大きく変化することを利用して、入力画像における表情を認識する。
【００４９】
ここでは、表情輝度プロファイルモデル１２７を次式（８）のように表す。
【００５０】
【数８】
2011086245.tif 000010
【００５１】
ここで、ＩＬ（ｃ，ｓ）は、注目線分Ｌにおける表情ｅ＝｛ｃ，ｓ｝での輝度プロファイルをベクトル化したものであり、次式（９）で表される。
【００５２】
【数９】
2011086245.tif 000011
【００５３】
ここで、Ｉ（ｐ，ｇ）は、画像ｇの画像座標ｐでの輝度を表す。本発明の枠組みでは、表情の表出強度ｓを連続量として扱うが、一般に学習画像ｇｃ，ｓとしては、画像の撮影機器や、記録媒体の制約上、離散的な強度のみ準備可能である。そこで、本実施形態では、Ｉ（ｐ，ｇｃ，ｓ）を学習画像の内挿により算出する。内挿方法については任意であるが、例えば、線形内挿法を用いた場合では、各サンプリング点ｐに対して次式（１０）となる。
【００５４】
【数１０】
2011086245.tif 000012
【００５５】
ここで、ｇｃ，ｓ１、及びｇｃ，ｓ２は、対象表情カテゴリｃについての学習画像のうち、対象表出強度ｓ未満のなかで最大の表出強度を持つ学習画像（表出強度ｓ１）、及び、対象表出強度ｓ以上のなかで最小の表出強度を持つ学習画像（表出強度ｓ２）である。また、次式（１１）で示す混合率αについては、次式（１２）で表される。
【００５６】
【数１１】
2011086245.tif 000013
【００５７】
【数１２】
2011086245.tif 000014
【００５８】
形状モデル作成部１２３では、無表情についての学習画像１２６及びベース形状１２８（使用する場合のみ）から、対象人物の顔形状を近似するための形状モデル１２９を作成する。形状モデル１２９は、剛体であり、学習画像中に定義される各サンプリング点の顔面上での３次元位置を獲得するためのものである。このサンプリング点の３次元位置は、様々な頭部姿勢における各サンプリング点の画像中での位置を計算するために利用される。なお、このサンプリング点の画像座標の算出処理の詳細については後述する。
【００５９】
本実施形態では、複数の人物についての平均顔形状をベース形状１２８とし、それを対象ユーザに対して簡単なフィッティングを施すことで形状モデルを作成する。まず、ベース形状１２８の正面方向（正面顔方向）を対象ユーザの無表情の学習画像平面に対して直交させた状態で、学習画像ｇＮＥＵの顔領域の中心と、ベース形状１２８の中心の位置とを合わせる。次いで、ベース形状１２８を縦方向及び横方向に線形に伸縮することで、その顔領域の幅、及び、目中心−口中心の高さをそれぞれ学習画像ｇＮＥＵのそれらと一致させる。最後に、その縦方向にスケーリングされた形状に対して、さらに、縦方向及び横方向のスケーリング係数の積の平方根をスケーリング係数として、奥行き方向に伸縮し、これを形状モデル１２９とする。
【００６０】
なお、本実施形態では、ベース形状１２８として平均顔形状を用いているが、本発明の枠組みでは、その他のベース形状を使用することも可能である。例えば、事前に計測した実際の対象人物の顔の３次元データが挙げられる。また、事前準備が不要な平面や、楕円体などの単純な媒介変数表示可能な形状も使用可能である。但し、ベース形状は、形状モデルの精度に関係しており、作成される形状モデルが正確であるほど、各サンプリング点の画像座標を、より正確に獲得できるため、表情及び頭部姿勢の推定をより精度よく行うことが可能となる。
【００６１】
次に、注目線分選択部１２１の詳細について説明する。
注目線分選択部１２１では、頭部姿勢推定と表情認識という２つの異なる用途のそれぞれに対して適した注目線分を用意する。表情認識用としては、対象とする表情カテゴリ毎に注目線分を用意する。これにより、頭部姿勢推定用の注目線分により、安定して頭部姿勢を追跡するとともに、表情変化が生じた場合には、そのカテゴリの表情の検出に特化した注目線分から、その表情を効果的に検出することが可能となる。ここでは、線分の用途を、ｕ＝｛０，１，…，Ｎｃ｝を用いて表す。ｕ＝０を頭部姿勢推定用とし、ｕ≠０を表情カテゴリｃ（＝ｕ）検出用とする。なお、表情カテゴリ用の学習画像としては、学習画像集合Ｇの対象カテゴリｕのうち、表出強度が最も高い画像とする。
【００６２】
本実施形態では、線分候補群から、後述する数式（１５）にて定義する評価値の高い線分から順に規定数に達するまで選択するという、グリーティ法に基づく注目線分の選択を行う。図６は、この注目線分選択部１２１のより具体的な処理手順を示すフローチャートである。以下、図６に従って注目線分選択部１２１の詳細について説明する。
【００６３】
注目線分選択部１２１では、まず、多数の注目線分の候補（以下、候補線分ともいう）を作成し（ステップＳ１１）、対象用途を初期化する（ステップＳ１２）。次に、各候補線分の対象用途についての評価値を計算し（ステップＳ１３）、評価値が最大の候補線分を選択する（ステップＳ１４）。次に、候補線分を規定数、選択したか否かを判定し（ステップＳ１５）、規定数選択していない場合には、ステップＳ１３に戻り、評価値の計算、候補線分の選択を繰り返す。
【００６４】
一方、規定数の候補線分を選択した場合には、全ての用途で選択したか否かを判定し（ステップＳ１６）、全ての用途で選択していない場合には、対象用途を次に移し（ステップＳ１８）、ステップＳ１３に戻って、次の対象用途において、評価値の計算、候補線分の選択を繰り返す。そして、全ての用途で、規定数の候補線分を選択した場合には、当該処理を終了する。
【００６５】
注目線分の候補の属性としては、図７に示すように、中心位置（中心座標）、方向（図７では縦方向）、長さ（線分長）、及びサンプリング点配置がある。各属性の範囲は、任意に設定可能であるが、以下に例を述べる。
【００６６】
まず、中心位置（中心座標）については、顔領域内の各画素とする方法がある。他には、数画素置きに候補線分の中心位置を配置するか、あるいは、逆に、サブピクセル単位で配置することも考えられる。次いで、方向としては、４方向（４５度刻み，すなわち，縦／横／斜め×２のいずれか）、あるいは１度刻みとするなど任意に選択できるが、ここでは４方向とする。最後に、長さ（線分長）としては、顔領域の幅Ｗｆに顔部品毎に経験的に決定した定数を乗じた値から線分長の範囲を決定する方法がある。乗じる定数についての具体的な値については、例えば、表情変化による移動量の小さい目領域については、Ｗｆ／６０〜Ｗｆ／１０、それ以外の顔部品領域については、Ｗｆ／４５〜Ｗｆ／１５などとする。
【００６７】
最後に、線分内でのサンプリング点１０の配置方法については、単純な方法の１つとして、注目線分Ｌの両端とその間に等間隔にサンプリング点１０を配置する方法がある。この他には、なるべく線分輝度プロファイルでの勾配の小さな位置にサンプリング点１０を配置するという方法が考えられる。このようなサンプリング点配置方法は、中心位置、方向、及びサンプリング点数が固定された条件の下では、単純に等間隔にサンプリング点を配置するよりも、後述する数式（１５）における第２項である次式（１３）が一般に高くなる。これにより、形状誤差によるサンプリング点の算出位置がずれに対し、その点で観測される輝度の誤差をなるべく抑えることが期待される。
【００６８】
【数１３】
2011086245.tif 000015
【００６９】
注目線分の選択数については、線分用途ｕ、及び顔の小領域ｂ毎に決めておくこととする。この選択数をＮｂ，ｕと表す。このとき全体として選択する線分の数は、次式（１４）となる。
【００７０】
【数１４】
2011086245.tif 000016
【００７１】
本実施形態では、小領域の設定方法の１つとして、顔を左右に分け、さらに鉛直方向に、眉、目、鼻、口の４つそれぞれの領域に小領域を設定することとする。この顔領域及び顔部品領域の検出方法は任意であるが、本発明の枠組みでは、それらの輪郭を詳細に検出するということは基本的に不要であり、それらをおおまかに分割する程度で十分である。そのような方法の１つとして、事前に検出対象の領域毎に準備したＨａａｒ−ｌｉｋｅ特徴を用いたカスケード型ＡｄａＢｏｏｓｔ識別器を用いて各領域を矩形として検出する方法がある。
【００７２】
各候補線分がどの小領域に属するかどうかについては、その線分中心がその小領域に含まれるかどうかで判断する。線分の選択数は、推定における計算コストと精度とに大きく影響を及ぼすため、アプリケーションに応じて適切に設定する必要がある。例えば、表情変化に影響に受けにくい鼻領域では、表情検出用の線分選択数を０（Ｎｂ，ｕ≠０＝０）とし、それ以外のものについては、Ｎｂ，ｕ＝１とする。
【００７３】
なお、上記で述べた中心位置、方向、長さ、及び、サンプリング点配置の全ての場合についての候補線分を準備した場合では、そこから実際に使用する注目線分を選択するのに計算コストがかかる。このため、短時間で処理を行う必要がある場合には、注目線分の候補を事前に絞り込む処理を導入しても構わない。例えば、線分の位置及び線分方向について絞り込む１つの有用な方法は、線分の中心位置を無表情画像における顔部品のエッジの存在する位置に限定し、さらに、候補とする線分方向については、そのエッジに対して直交する方向のみとすることである。なお、エッジ検出方法としては、ソーベルフィルタによる検出や、ラプラシアン−ガウシアンフィルタ画像におけるゼロ交差境界とする検出などが考えられる。
【００７４】
次に、注目線分選択部１２１による、注目線分の候補の対象用途について評価値を算出する処理について説明する。本実施形態では、頭部姿勢推定用（ｕ＝０）及び表情認識用（ｕ∈｛１，…，Ｎｃ｝）のそれぞれの候補線分についての評価値を、次式（１５）と定義する。α、β、γは、各項の重みを与える係数である。
【００７５】
【数１５】
2011086245.tif 000017
【００７６】
次式（１６）で示す、数式（１５）の右辺の第１項は、対象の候補線分上についての対象用途ｕとその他の用途ｕ’との間の輝度プロファイルの類似度であり、次式（１７）で表される。
【００７７】
【数１６】
2011086245.tif 000018
【００７８】
【数１７】
2011086245.tif 000019
【００７９】
ここで、ＩＬ（ｕ）は、無表情についての学習画像ｇＮＥＵ（ｕ＝０の場合）、あるいは、表情カテゴリｃ、かつ、表出強度ｓ＝１についての学習画像ｇｃ，ｓ＝１（ｕ≠０の場合）での、候補線分Ｌ上におけるサンプリング点での輝度をベクトル化したものを表す（数式（９））。ベクトル間の類似度ｓｉｍ（・，・）については、後述する輝度プロファイル間の類似度の算出処理により計算される。上記数式（１７）で表される、輝度プロファイルの類似度は、線分候補Ｌにおける輝度プロファイルが用途ｕについて特異であるほど値が小さくなる。
【００８０】
実際には、頭部姿勢推定用の線分により、表情変化に関わらず安定して頭部姿勢を追跡しつつ、表情認識用の線分から表情変化を、効率よく検出できるようにしたい。よって、表情認識用には、表情間の輝度プロファイルがなるべく異なる線分を選択し、頭部姿勢推定用には、それらがなるべく類似した線分を選択する必要がある。このため、数式（１５）での第１項、すなわち、この輝度プロファイルの類似度の符号が頭部姿勢推定用と表情認識用とで逆になっている。
【００８１】
次式（１８）で示す、数式（１５）の右辺の第２項は、注目している線分の輝度プロファイルが、その算出位置のずれに対してどの程度頑健であるのかを表す指標である。
【００８２】
【数１８】
2011086245.tif 000020
【００８３】
この線分の算出位置のずれは、形状モデルの誤差により引き起こされる。本実施形態では、この線分の算出位置のずれに対する頑健性を、注目している線分の輝度プロファイルと、その線分の近傍に位置する輝度プロファイルとの間の類似度として捉え、次式（１９）で示すように定義する。
【００８４】
【数１９】
2011086245.tif 000021
【００８５】
ここで、ｎｅ（Ｌ）は、線分Ｌの近傍に位置する線分（つまり、線分Ｌとの線分中心間の距離が所定の値よりも小さい線分）であり、かつ、中心位置の属性のみが異なる線分の集合を表す。φ（Ｌ，Ｌ’）は、近傍点の重みを決定する関数であり、線分Ｌ及び線分Ｌ’それぞれの中心点の座標をｐ０及びｐ０’として、次式（２０）で表し、次式（２１）を満たすものとする。
【００８６】
【数２０】
2011086245.tif 000022
【００８７】
【数２１】
2011086245.tif 000023
【００８８】
また、変数β＞０であり、||・||は、Ｌ２ノルムを表わす。近傍の範囲については、φ（Ｌ，Ｌ’）が閥値以上となる範囲とし、このときの近傍点の数をＮＬ’とする。
【００８９】
次式（２２）に示す、数式（１５）の右辺の第３項は、注目線分がなるべく広い範囲から選択されるようにするための項である。具体的には、注目している線分が既に選択済みの線分からどの程度離れているのかに基づき、用途ｕ毎の線分がなるべく疎に配置されるようにする。逆に、この項がなければ、顔のテクスチャは、さほど細かくないため、選択済みの線分と同様の評価値ＳＬとなりやすい、その付近の線分が次々と選択され、結果として、注目線分が一部の領域に固まって選択されやすくなる。
【００９０】
【数２２】
2011086245.tif 000024
【００９１】
本実施形態では、次式（２３）を次式（２４）と定義する。
【００９２】
【数２３】
2011086245.tif 000025
【００９３】
【数２４】
2011086245.tif 000026
【００９４】
ここで、Ｌ’’（ｕ）及びｐ０’’は、用途ｕについて、既に選択された線分の集合に含まれる任意の１つの線分、及び、その中心点の座標をそれぞれ表わす。また、まだ１つも線分が選択されていない場合には、次式（２５）とする。
【００９５】
【数２５】
2011086245.tif 000027
【００９６】
数式（１５）の第４項は、注目している線分の長さＭＬに応じて報償を与えるためのものである。なお、各線分候補中のサンプリング点数を一定とした場合には、この項は無視して構わない。
【００９７】
次に、注目線分選択部１２１による、評価値が最大の候補線分を選択する処理（図６、ステップＳ１４）について説明する。線分候補選択処理では、各用途ｕ、及び、小領域ｂについて独立に、評価値ＳＬ（ｕ）の高い順に線分候補を規定数まで選択する。このとき、対象の用途及び小領域についての線分選択数Ｎｕ，ｂが１よりも大きい場合には、１つの線分候補を選択する度に、残された全ての候補線分について、評価値ＳＬ（ｕ）（数式（１５））を再計算する必要がある。但し、評価値ＳＬ（ｕ）のうち、実際に再計算する必要があるのは、数式（２６）で示す値のみである。上記方法により選択される注目線分配置の例としては、図３に示したものが該当する。
【００９８】
【数２６】
2011086245.tif 000028
【００９９】
次に、学習画像ｇを作成する学習画像作成処理について説明する。
本実施形態では、学習画像ｇを以下の方法で作成する。対象人物がカメラに対して正面正立の状態のまま、頭部を静止させた状態で、無表情から始めて、対象表情を最大限に表出するということを、各対象表情カテゴリについて順に繰り返して撮影した画像とする。なお、不要なフレームについては削除してあるものとする。また、表情の表出強度については、フレーム間で線形に変化していることを仮定し、表情変化の起こる直前の無表情のフレームの表出強度ｓを０、表情を最大限に表出した状態のフレームの表出強度ｓを１とし、その間のフレームについては、強度が一定の割合で増加しているものとして決定する。
【０１００】
頭部姿勢が固定された画像を用意するその他の方法の１つとしては、頭部姿勢を固定せずに撮影した各画像に対して、両眼球中心及び口中心の位置が全ての画像について等しくなるようアフィン変換を施すことが考えられる。眼球中心の検出方法としては、Ｈａａｒ−ｌｉｋｅ特徴を用いたカスケード型ＡｄａＢｏｏｓｔ識別器や、Ｆａｓｔ  Ｒａｄｉａｌ  Ｓｙｍｍｅｔｒｙなどを用いる方法が考えられる。一方、口中心については、同じくカスケード型ＡｄａＢｏｏｓｔ識別器や、画像中の顔の中心を通る鉛直方向の輝度プロファイルの輝度の極小点とする方法が挙げられる。
【０１０１】
次に、頭部姿勢及び表情推定部１３の具体的な処理について説明する。
本実施形態では、頭部姿勢状態及び表情状態がそれぞれ独立した１次マルコフ連鎖に従うと仮定し、時刻ｔにおける顔画像ｚｔがそのときの頭部姿勢状態ｈｔ及び表情状態ｅｔに依存して観測されているものと考える。これらの関係は、図８に示す動的ベイジアンネットワーク（Ｄｙｎａｍｉｃ  Ｂａｙｅｓｉａｎ  Ｎｅｔｗｏｒｋ：ＤＢＮ）にて表現される。本発明では、時刻ｔでの頭部姿勢及び表情の同時事後確率分布を、時刻ｔまでに得られた全ての顔画像を用いて推定する。
【０１０２】
この動的ベイジアンネットワークの下では、対象時刻ｔまでに観測可能な全ての顔画像ｚ１：ｔが与えられた下での時刻ｔにおける頭部姿勢ｈｔ及び表情ｅｔの同時事後確率密度分布を、ベイズフィルタリングと呼ばれる方法により逐次的に算出可能である。その算出式は、次式（２７）で表される。
【０１０３】
【数２７】
2011086245.tif 000029
【０１０４】
ここで、ｐ（ｚｔ｜ｈｔ，ｅｔ）は、観測画像ｚｔに対する頭部姿勢ｈｔ、かつ表情ｅｔの状態の尤度である。また、ｐ（ｈｔ｜ｈｔ−１）、及びｐ（ｅｔ｜ｅｔ−１）は、頭部姿勢及び表情のそれぞれについての状態遷移モデル、ｐ（ｈｔ−１，ｅｔ−１｜ｚ１：ｔ−１）は、前時刻ｔ−１で得られた事後分布である。なお、比例定数については、本実施形態では、後述する重み算出処理で説明する数式（４１）での正規化に暗に含まれるため、特に個別に計算する必要はない。
【０１０５】
数式（２７）は、非線形性や、遮蔽、さらに表情についての条件分岐を含む複雑な形状となるため、解析的に厳密解を得ることができない。このため、本実施形態では、この頭部姿勢と表情の同時事後分布とを、サンプリング手法の１種であるパーティクルフィルタを用いて近似的に推定する。
【０１０６】
パーティクルフィルタの枠組みでは、事後確率密度分布を重み付きの仮説集合を用いて近似的に表現する。各仮説は、推定対象の１状態、及び、その仮説の仮説集合全体に対するその重みを保持する。本発明では、これらの仮説集合は、次式（２８）で表される。
【０１０７】
【数２８】
2011086245.tif 000030
【０１０８】
ここで、Ｎｍは仮説数を表し、次式（２９）の各々は、それぞれ時刻ｔにおけるｍ番目の仮説の保持する頭部姿勢、表情についての具体化した１つの状態、及び重みを表す。また、頭部姿勢及び表情の状態は、テンプレートの状態に対応している。
【０１０９】
【数２９】
2011086245.tif 000031
【０１１０】
パーティクルフィルタを用いたテンプレート１１の状態推定は、図１の頭部姿勢及び表情推定部１３によって、図９に示すように行う。すなわち、頭部姿勢及び表情推定部１３では、予測部１３１によってその時刻でのテンプレート１１の状態の事後確率分布を予測し、更新部１３２によって観測情報に基づいてその状態の事後確率分布を更新する。そして、推定値算出部１３３によって得られた事後確率分布の推定値を算出する。これらの処理の説明を図９を参照して以下に述べる。なお、ここでいう観測情報とは、例えば、予測部１３１によって予測された、その時刻でのテンプレート１１の状態の確率分布のことである。
【０１１１】
予測部１３１では、現在の時刻ｔにおける頭部姿勢及び表情の状態を近似する仮説群が生成される（ステップＳ２１）。具体的には、一時刻前までに得られた観測ｚ１：ｔ−１が与えられた下での、頭部姿勢ｈｔ及び表情ｅｔの同時確率密度分布（予測分布（ｐｒｅｄｉｃｔｉｖｅ  ｄｉｓｔｒｉｂｕｔｉｏｎ）と呼ばれる）ｐ（ｈｔ，ｅｔ｜ｚ１：ｔ−１）に従って、Ｎｍ個の仮説をサンプリングする。数式にて表すと、次式（３０）となる。
【０１１２】
【数３０】
2011086245.tif 000032
【０１１３】
ここで、ｘ〜Ｘは、変数ｘが分布Ｘからサンプリングした１つの実現値であることを意味する。
【０１１４】
続いて、更新部１３２では、予測部１３１で状態が予測された各仮説について、仮説が保持する頭部姿勢及び表情の状態の入力顔画像に対する尤度を、注目線分での輝度プロファイルがモデルに対してどれだけずれているかに基づいて計算し、その尤度に比例した重みを各仮説に与える（ステップＳ２２）。次に、推定値算出部１３３では、各時刻における頭部姿勢及び表情の推定値を、事後確率密度分布に基づいて算出する（ステップＳ２３）。
【０１１５】
ここで、上述した仮説のサンプリング（ステップＳ２１）について詳細に説明する。
まず、直前の時刻ｔ−１の事後確率密度分布ｐ（ｈｔ−１，ｅｔ−１｜ｚ１：ｔ−１）を近似している仮説群から、各仮説ｍの持つ、数式（３１）で示す重みに応じて、サンプリングが行われる。具体的には、仮説群からそれらの重みに比例した確率で仮説ｍを選択するというサンプリングを、それぞれ独立にＮｍ回繰り返す。このとき、サンプリングの度に、サンプリングされた仮説を記録した後にそれを元に戻す。つまり、サンプリングされるＮｍ個の仮説には、同じ仮説の番号ｍが複数含まれ得る。
【０１１６】
【数３１】
2011086245.tif 000033
【０１１７】
次いで、サンプリングされたそれぞれの仮説について、保持している頭部姿勢及び表情の状態を、それぞれの状態遷移モデルに従って遷移させることで、現時刻ｔにおける状態を予測する。
【０１１８】
（頭部姿勢遷移）
頭部姿勢の遷移モデル（運動モデル）ｐ（ｈｔ｜ｈｔ−１）としては、様々なものが使用できる。代表的なものとしては、ランダムウォークモデル、等速運動モデル、あるいは、等加速度運動モデルなどが挙げられる。一般的に、高次のモデルほど、運動を正確に表現可能であるが、一方でノイズに対して敏感になるというトレードオフの問題がある。よって、どのようなモデルがよいのかについては、アプリケーションに依存する。
【０１１９】
（表情遷移）
表情の状態遷移モデルｐ（ｅｔ｜ｅｔ−１）についても、様々なものが考えられる。本実施形態では、現在の表情のカテゴリｃｔ及びその表出強度ｓｔを、直前の表情のカテゴリｃｔ−１及びその表出強度ｓｔ−１に基づいて決定する。その要点は、表出強度についての遷移をランダムウォークモデルとし、その表出強度が負へと変化する場合に、表情カテゴリを他のカテゴリへ遷移させることである。この詳細については、以下の通りである。
【０１２０】
まず、直前の表出強度ｓｔ−１についてランダムノイズを加える。これをｓ’とする。このｓ’が非負であれば、現在の表出強度ｓｔをｓ’とし、現在のカテゴリｃｔを直前でのカテゴリｃｔ−１と等しいものとする。一方、ｓ’が負であれば、現在の表出強度ｓｔを−ｓ’とし、現在のカテゴリｃｔを直前でのカテゴリｃｔ−１以外のカテゴリへとランダムに変更する。なお、表出強度ｓｔを０から１の範囲に収める処理も入れている。以上をまとめると図１０のようになる。
【０１２１】
なお、これらの状態遷移モデルは、本表情認識装置を適用する場面に応じて適切なモデルを用いて構わない。例えば、表出強度を等速運動モデルなどのより高次のモデルとするか、あるいは、表情カテゴリ間の遷移をランダムでなく、各カテゴリについての表出の事前確率（直前の時刻におけるカテゴリの情報が得られていない場合での各カテゴリが表出される確率）を使用するといったことも考えられる。
【０１２２】
次に、図１１は、更新部１３２が行う処理（図９、ステップＳ２２）を具体的に説明するためのフローチャートである。更新部１３２での具体的な処理の流れについて図１１を参照して説明する。
【０１２３】
まず、各仮説が持つ頭部姿勢状態において、各注目線分に自己遮蔽されているサンプリング点が含まれていないかどうかの判定を行う（ステップＳ３１）。この判定については、近似的な方法として、法線ベクトルがカメラ方向を向いていない点、すわわち、形状モデルの各注目線分が射影される位置での法線ベクトルのカメラ方向成分が非正である点を、遮蔽されている点とみなすこととする。自己遮蔽されている点が含まれている注目線分については、仮説の保持する頭部姿勢及び表情の状態の入力画像に対する尤度の算出（ステップＳ３４）へ直ちに移ることとする。
【０１２４】
次に、各仮説が持つ頭部姿勢状態での、各注目線分の全てのサンプリング点の入力画像上での画像座標を算出する（ステップＳ３２）。詳細については、サンプリング点画像座標算出処理にて説明する。
【０１２５】
続いて、算出された入力画像でのサンプリング点の画像座標における輝度を、各サンプリング点の輝度とする（ステップＳ３３）。次に、上記方法により得られた各注目線分の輝度を用い、その仮説の保持する頭部姿勢及び表情の状態の入力画像に対する尤度を算出する（ステップＳ３４）。最後に、その仮説の保持する頭部姿勢及び表情の状態の入力画像に対する尤度に基づいて当該仮説の重みを算出する（ステップＳ３５）。
【０１２６】
次に、サンプリング点の画像座標の算出処理（ステップＳ３２）について説明する。以下では、学習画像上の座標ｐに定義されているサンプリング点の、頭部姿勢ｈにおける入力画像上での画像座標ｑ（ｈ）の算出処理を、図１２及び図１３を参照して説明する。図１２は、入力画像上でのサンプリング点の画像座標の算出処理を示す概略図である。図１３は、入力画像上でのサンプリング点の画像座標を算出する処理を示すフローチャートである。
【０１２７】
まず、形状モデル１２９（図２）の座標系２０１を、その中心及び鉛直軸が注目線分選択に用いた学習画像１２４の画像平面上の顔の中心及び画像の鉛直軸に一致するよう定義する。そして、学習画像１２４上に定義されているサンプリング点１０ａを、カメラに対して正対させた形状モデル１２９（Ｓ）へ正射影する（ステップＳ４１）。これにより、各注目線分の形状モデル座標を得る。サンプリング点１０ａは、形状モデル１２９（Ｓ）上では、サンプリング点１０ｂとなる。
【０１２８】
次いで、その状態で、各仮説の持つ頭部姿勢ｈに従って、形状モデル１２９（Ｓ）に２次元並進、３次元回転、及びスケーリングを施す（ステップＳ４２）。サンプリング点１０ｂは、サンプリング点１０ｃとなる。
【０１２９】
そして、その状態の形状モデル１２９（Ｓ）上にあるそのサンプリング点１０ｃを、入力画像１２４ａの平面へ弱中心投影し、そのサンプリング点１０ｄの座標をｑ（ｈ）とする（ステップＳ４３）。なお、本実施形態では、これらの投影において、弱中心投影を仮定するが、任意の投影が可能である。以上を次式（３２）、（３３）にて表す。
【０１３０】
【数３２】
2011086245.tif 000034
【０１３１】
【数３３】
2011086245.tif 000035
【０１３２】
ここで、ｐ（Ｓｈａｐｅ）は、対象サンプリング点の形状モデルＳ上での３次元座標である。これについては、無表情の学習画像において検出された顔領域の中心に形状モデルＳの中心を、画像ｙ軸に形状モデルＳの回転軸を一致させた状態で、そのサンプリング点の学習画像における画像座標ｐを形状モデル上へ正射影する関数ｇ（Ｓ，ｐ）により求める。Ｒ２×３は、頭部姿勢角（ｈ３，ｈ４，ｈ５）に対応する回転行列Ｒの上２行からなる行列を、ｔは並進ベクトル［ｈ１  ｈ２］Ｔを、ｓｃａｌｅは、スケールｈ６をそれぞれ表す。
【０１３３】
次に、上述した頭部姿勢及び表情の状態の入力画像に対する尤度の算出処理（ステップＳ３４）について説明する。本実施形態では、各仮説が保持する頭部姿勢及び表情の状態の入力顔画像に対する尤度を、各注目線分の輝度プロファイルが各々独立であることを仮定し、次式（３４）と定義する。
【０１３４】
【数３４】
2011086245.tif 000036
【０１３５】
ここで、Ｉ’Ｌ（ｈ，ｚ）は、頭部姿勢がｈであるときの注目線分Ｌの入力画像ｚでの輝度プロファイルであり、次式（３５）と表される。
【０１３６】
【数３５】
2011086245.tif 000037
【０１３７】
座標ｑＬ，ｊ（ｈ）は、注目線分Ｌに属するｊ番目のサンプリング点の頭部姿勢ｈでの画像座標である。これは、サンプリング点の画像座標の算出処理（図１１、ステップＳ３２）により算出される。
【０１３８】
次に、上述した輝度プロファイル間の類似度の算出処理について説明する。
類似度尺度ｓｉｍ（・，・）については、本実施形態では、正規化相互相関係数を範囲が０−１となるようにした値とする。但し、もし対象とする注目線分の中に、自己遮蔽されたサンプリング点が含まれる場合には、正規化相互相関が０であるものとする。これは次式（３６）、（３７）にて表される。
【０１３９】
【数３６】
2011086245.tif 000038
【０１４０】
【数３７】
2011086245.tif 000039
【０１４１】
ここで、Ｎ、Ｉｊ、￣Ｉは、順に、ベクトルＩ中の要素数、ｊ番目の要素の値、要素の平均値を表す。
【０１４２】
なお、類似度尺度としては、他にも、正規規分布に基づくものも考えられる。具体的には、各注目線分の輝度プロファイルの独立性を仮定し、次式（３８）と定義する。
【０１４３】
【数３８】
2011086245.tif 000040
【０１４４】
ここで、ｃｎｏｒｍは、正規化定数であり、次式（３９）で表される。
【０１４５】
【数３９】
2011086245.tif 000041
【０１４６】
また、αｏｃｃは、最大の尤度ｃｎｏｒｍ（Ｉ＝Ｉ’のとき）に対する遮蔽されている場合の尤度比であり、事前に決定しておく。Σは、輝度プロファイルモデルＩについての共分散行列である。これは、対象表情カテゴリ毎に多数の学習画像が用意されている場合には、学習画像から算出可能である。しかし、そうでない場合には、近似的な方法により作成する必要がある。これには、例えば、Σのｊ番目の対角成分を（α・Ｉｊ）２とし、非対角成分（ｉ，ｊ）をα２・Ｉｉ×Ｉｊとすることなどが考えられる。比例定数の値としては、例えば、α＝１／６などとする。
【０１４７】
なお、数式（３８）では、照明変化などにより入力輝度プロファイルＩ’が変化する（例えば、全体的に輝度が高くなる）といった輝度プロファイルのスケール変化に対応できない。この解決方法の１つとしては、Ｉ及びＩ’を、それぞれ、要素の和が１になるように正規化した上で、類似度（数式（３８））を計算するという方法が考えられる。
【０１４８】
次に、上述した重み算出処理（ステップＳ３５）について説明する。
次式（４０）に示す重みについては、次式（４１）とし、次式（４２）を満たすものとする。
【０１４９】
【数４０】
2011086245.tif 000042
【０１５０】
【数４１】
2011086245.tif 000043
【０１５１】
【数４２】
2011086245.tif 000044
【０１５２】
次に、上述した推定値算出部１３３における、事後確率密度分布に基づく、頭部姿勢及び表情の推定値の算出処理（ステップＳ２３）について説明する。
【０１５３】
頭部姿勢の推定＾ｈｔについては、頭部姿勢についての周辺事後分布ｐ（ｈｔ｜ｚ１：ｔ）の期待値とする。また、表情のカテゴリｃｔについては、周辺事後確率Ｐ（ｅｔ｜ｚ１：ｔ）が最大となるカテゴリを推定カテゴリ＾ｃｔとし、表情の推定表出強度＾ｓｔについては、推定表情カテゴリ＾ｃｔについての表出強度の周辺事後分布ｐ（ｓｔ｜ｚ１：ｔ，＾ｃｔ）の期待値とする。これらを次式（４３）、（４４）、（４５）で表す。
【０１５４】
【数４３】
2011086245.tif 000045
【０１５５】
【数４４】
2011086245.tif 000046
【０１５６】
【数４５】
2011086245.tif 000047
【０１５７】
ここで、次式（４６）で示す値は、分布Ｘの下での確率変数ｘの期待値を表す。また、δａ（ｂ）は、ａ＝ｂのときに１、そうでなければ、０を返す関数である。
【０１５８】
【数４６】
2011086245.tif 000048
【０１５９】
上述した実施形態によれば、以下に示す顕著な効果が期待できる。
（１）個人間及び照明環境による変動が大きい、顔形状のモデル、及び、表情及び頭部姿勢に対する顔の輝度変化のモデルを、その場での簡単な作業により作成することができる。
（２）広範囲にわたり頭部姿勢を変化させるユーザの表情を、カテゴリとその表出強度について、実時間で、かつ、高精度に認識することができる。
【０１６０】
なお、本発明の実施の形態は、上記のものに限定されず、例えば、図１に示す各ブロックを、統合したり、分割したり、あるいはさらに通信回線などを介して分散して配置することなどが可能である。また、本発明の実施の形態は、コンピュータとコンピュータによって実行されるプログラムとによって構成することができる。さらに、そのプログラムの全部あるいは、例えば、図１のテンプレート作成部１２に係る部分を構成するなどの一部を構成するプログラムは、通信回線あるいはコンピュータ読み取り可能な記録媒体を介して頒布することが可能である。
【符号の説明】
【０１６１】
１  表情認識装置
１１  テンプレート
１２  テンプレート作成部
１２１  注目線分選択部
１２２  輝度プロファイルモデル作成部
１２３  形状モデル作成部
１３  頭部姿勢及び表情推定部
１３１  予測部
１３２  更新部
１３３  推定値算出部
４  出力部
９、Ｌ  注目線分
１０  サンプリング点
【図１】
2011086245.tif 000049
【図２】
2011086245.tif 000050
【図３】
2011086245.tif 000051
【図４】
2011086245.tif 000052
【図５】
2011086245.tif 000053
【図６】
2011086245.tif 000054
【図７】
2011086245.tif 000055
【図８】
2011086245.tif 000056
【図９】
2011086245.tif 000057
【図１０】
2011086245.tif 000058
【図１１】
2011086245.tif 000059
【図１２】
2011086245.tif 000060
【図１３】
2011086245.tif 000061