(57)【特許請求の範囲】
【請求項１】
入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部と、
形状モデル作成部が作成した形状モデル上で、各顔部品のエッジに基づいて注目点を抽出することにより、複数の注目点からなる注目点群を抽出する注目点抽出部と、
複数の表情に対して、注目点抽出部で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成する輝度分布モデル作成部と
を備えることを特徴とするテンプレート作成装置。
【請求項２】
前記注目点抽出部が、形状モデル作成部で入力された顔の正面画像に基づいて作成された形状モデル上で注目点を抽出するものである
ことを特徴とする請求項１に記載のテンプレート作成装置。
【請求項３】
前記輝度分布モデル作成部が、前記顔の正面画像に基づいて作成された形状モデル上で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成するものである
ことを特徴とする請求項２に記載のテンプレート作成装置。
【請求項４】
入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部と、
形状モデル作成部が作成した形状モデル上で所定の条件を満たす複数の注目点からなる注目点群を抽出する注目点抽出部と、
複数の表情に対して、注目点抽出部で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成する輝度分布モデル作成部と
を有するテンプレート作成部と、
入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測する予測部と、
予測した状態分布をテンプレート作成部が作成したテンプレートを用いて評価する更新部と、
評価した状態分布から頭部姿勢及び表情の推定値を算出する推定値算出部と
を有する表情及び頭部姿勢推定部と
を備えることを特徴とする表情認識装置。
【請求項５】
入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成過程と、
形状モデル作成過程で作成した形状モデル上で、各顔部品のエッジに基づいて注目点を抽出することにより、複数の注目点からなる注目点群を抽出する注目点抽出過程と、
複数の表情に対して、注目点抽出過程で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成する輝度分布モデル作成過程と
を有することを特徴とするテンプレート作成方法。
【請求項６】
入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成過程と、
形状モデル作成過程で作成した形状モデル上で所定の条件を満たす複数の注目点からなる注目点群を抽出する注目点抽出過程と、
複数の表情に対して、注目点抽出過程で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成する輝度分布モデル作成過程と、
入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測する予測過程と、
予測した状態分布をテンプレート作成過程で作成したテンプレートを用いて評価する更新過程と、
評価した状態分布から頭部姿勢及び表情の推定値を算出する推定値算出過程と
を有することを特徴とする表情認識方法。
【請求項７】
請求項１〜４のいずれか１項に記載の装置がコンピュータを用いて構成されるものであって、そのコンピュータにおいて実行されるプログラム。
【請求項８】
請求項１〜４のいずれか１項に記載の装置がコンピュータを用いて構成されるものであって、そのコンピュータにおいて実行されるプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理に基づく人物表情認識技術に係るテンプレート作成装置及び表情認識装置並びにその方法、プログラム及び記録媒体に関する。
【背景技術】
【０００２】
人物の表情認識技術はヒューマンマシンインタラクションの重要な要素技術の一つであり、顔の向きを限定することなく表情を認識可能な手法の実現が期待されている。これに対し、これまでに開発された人物表情認識手法のほとんどが正面顔に限定されたものであり、顔の向きの変化に対応できていない。また、一部の手法では顔向きの変化に対応できるものの、対象人物毎に詳細な３次元顔形状モデルが必要であり、事前の登録手続きに時間がかかるという課題が存在した。
【０００３】
例えば、非特許文献１では、実時間で頭部姿勢及び表情を推定する手法が提案されている。しかし、追跡する眼や口の端点といった特徴点の３次元座標をステレオ視によって算出するため、単眼で撮影された既存のビデオ映像等に適用できないという課題がある。
【０００４】
非特許文献２では、実時間で頭部姿勢及び表情を推定する他の手法が提案されているが、追跡する眼や口の端点といった特徴点の３次元座標の複数人についての平均値を、事前にステレオ視やレンジスキャナ等を用いて計測しておく必要がある。さらに、変動の大きな個人間の顔形状や表情変化を精度よく近似できないという課題がある。
【非特許文献１】S. B. Gokturk, C. Tomasi, B. Girod and J. -Y. Bouguet: "Model-based face tracking for view-independent facial expression recognition", Proc. of the Fifth IEEE International Conference on Automatic Face and Gesture Recognition, pp. 287-293 （2002）.
【非特許文献２】F. Dornaika and F. Davoine: "Simultaneous facial action tracking and expression recognition using a particle filter", Proc. of the Tenth IEEE International Conference on Computer Vision, 2, pp. 1733-1738 （2005）.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
顔向きを限定せずに表情を認識しようとする場合、顔向き変化に影響を受けない形で画像特徴量を定義することが必要となる。顔の３次元形状があらかじめ与えられている場合、顔形状を用いた画像の正規化によって顔向きの影響を取り除くことができる。しかし、人物毎に正確な顔形状モデルを準備するのはコストが大きく実用上問題となる。そのため、大まかな幾何形状モデルのみを用いた表情認識手法の開発が望まれる。
【０００６】
上記課題を解決するため、請求項１記載の発明は、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部と、形状モデル作成部が作成した形状モデル上で、各顔部品のエッジに基づいて注目点を抽出することにより、複数の注目点からなる注目点群を抽出する注目点抽出部と、複数の表情に対して、注目点抽出部で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成する輝度分布モデル作成部とを備えることを特徴とするテンプレート作成装置である。
【課題を解決するための手段】
【０００７】
上記課題を解決するため、請求項１記載の発明は、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部と、形状モデル作成部が作成した形状モデル上で所定の条件を満たす複数の注目点からなる注目点群を抽出する注目点抽出部と、複数の表情に対して、注目点抽出部で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成する輝度分布モデル作成部とを備えることを特徴とするテンプレート作成装置である。
【０００８】
請求項２記載の発明は、前記注目点抽出部が、形状モデル作成部で入力された顔の正面画像に基づいて作成された形状モデル上で注目点を抽出するものであることを特徴とする。
【０００９】
請求項３記載の発明は、前記輝度分布モデル作成部が、前記顔の正面画像に基づいて作成された形状モデル上で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成するものであることを特徴とする。
【００１０】
請求項４記載の発明は、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成部と、形状モデル作成部が作成した形状モデル上で所定の条件を満たす複数の注目点からなる注目点群を抽出する注目点抽出部と、複数の表情に対して、注目点抽出部で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成する輝度分布モデル作成部とを有するテンプレート作成部と、入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測する予測部と、予測した状態分布をテンプレート作成部が作成したテンプレートを用いて評価する更新部と、評価した状態分布から頭部姿勢及び表情の推定値を算出する推定値算出部とを有する表情及び頭部姿勢推定部とを備えることを特徴とする表情認識装置である。
【００１１】
請求項５記載の発明は、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成過程と、形状モデル作成過程で作成した形状モデル上で、各顔部品のエッジに基づいて注目点を抽出することにより、複数の注目点からなる注目点群を抽出する注目点抽出過程と、複数の表情に対して、注目点抽出過程で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成する輝度分布モデル作成過程とを有することを特徴とするテンプレート作成方法である。
【００１２】
請求項６記載の発明は、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成する形状モデル作成過程と、形状モデル作成過程で作成した形状モデル上で所定の条件を満たす複数の注目点からなる注目点群を抽出する注目点抽出過程と、複数の表情に対して、注目点抽出過程で抽出された注目点群の輝度変化のモデルを表すテンプレートを作成する輝度分布モデル作成過程と、入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測する予測過程と、予測した状態分布をテンプレート作成過程で作成したテンプレートを用いて評価する更新過程と、評価した状態分布から頭部姿勢及び表情の推定値を算出する推定値算出過程とを有することを特徴とする表情認識方法である。
【００１３】
請求項７記載の発明は、請求項１〜４のいずれか１項に記載の装置がコンピュータを用いて構成されるものであって、そのコンピュータにおいて実行されるプログラムである。
【００１４】
請求項８記載の発明は、請求項１〜４のいずれか１項に記載の装置がコンピュータを用いて構成されるものであって、そのコンピュータにおいて実行されるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【発明の効果】
【００１５】
本発明によれば、入力された顔画像に基づいて顔の形状を近似する形状モデルを作成し、さらに作成した形状モデル上で所定の条件を満たす複数の注目点からなる注目点群を抽出して、複数の表情に対して抽出された注目点群の輝度変化のモデルを表すテンプレートを作成するようにしたので、そのテンプレートを用いることで、表情の変動に対して注目点における明るさがどのように変化するかということに基づき、大きな姿勢変動を伴う場合においても表情を正確に認識可能である。特に、他の手法のように精密な顔形状を必要とせず、各人物ごとのモデルの登録も容易であるというメリットがある。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面を参照して説明する。図１は、本実施の形態における表情認識装置1の全体構成を示すブロック図である。図１において、入力部2において、撮影手段としてのCCD（電荷結合素子）カメラなどを用いて撮影された被験者の顔の動画像が表情認識装置1に与えられる。すなわち、入力部2は、撮影された動画像を所定のサンプリング周期でサンプリングしてデータ化し、各時刻のデータからなるデータ列を表情認識装置1に供給する。そして、表情認識装置1によって実時間で推定された頭部姿勢及び表情の推定値3が出力部4から出力される。
【００１７】
表情認識装置１は、図１に示すとおり、事前にテンプレート11を作成するテンプレート作成部12、及び、動画像中の人物の頭部姿勢及び表情を同時に推定する頭部姿勢及び表情推定部13からなる。これらの機能はソフトウェア処理によって実現される。
【００１８】
テンプレート作成部12は、顔形状を近似する形状モデルを作成する形状モデル作成部121、形状モデル作成部121が作成した形状モデル上で所定の条件を満たす複数の注目点からなる注目点群を抽出する注目点抽出部122、及び、ユーザの各表情における各注目点の輝度変化の分布のモデルを表すテンプレートを準備する輝度分布モデル作成部123を備える。この注目点抽出部122が抽出した注目点は、頭部姿勢及び表情の推定に使用される。
【００１９】
頭部姿勢及び表情推定部13は、パーティクルフィルタの枠組みに基づき、入力された顔画像に基づいて頭部姿勢及び表情の状態分布を予測することで現時刻での頭部姿勢及び表情の状態を予測する予測部131、予測した状態分布をテンプレート作成部12が作成したテンプレート11を用いて評価する（頭部姿勢及び表情の状態とテンプレートの各状態との尤度を評価する）ことで、その予測状態に対する評価を行う更新部132、及び、予測状態及びその評価をもとに頭部姿勢及び表情の推定値を算出する推定値算出部133を備える。
【００２０】
図２は図１に示した表情認識装置1のテンプレート作成部12のより具体的な処理手順を示すフローチャートである。図２において、入力データ124及び127は図１の入力部2から入力される画像データであり、出力データ125、126及び128は図１のテンプレート11を構成するデータである。以下、図２に沿ってテンプレート作成部12の説明を行う。
【００２１】
形状モデル作成部121では、正面・無表情の顔画像124に基づいて顔形状を近似する媒介変数表示可能な形状モデル125を作成する。本実施の形態では、パラメータが１つのみで作成が容易であり、平面よりも実際の顔形状に近い円柱を形状モデルとして用いる。円柱の半径は、ユーザが無表情かつ顔をカメラに正対させた状態で撮像された１枚の顔画像において、たとえば文献（P. A. Viola and M. J. Jones: "Rapid object detection using a boosted cascade of simple features," Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, pp. 511-518（2001））に記載されているような既存の手法を用いて自動検出された顔領域の幅に既定の定数を乗じた値とする。
【００２２】
なお、本実施の形態では形状モデルとして円柱を用いているが、本発明の枠組みでは、平面や楕円体などの任意の媒介変数表示可能な形状モデルを用いることが可能である。また、形状モデル作成部121にてその場で形状モデルを作成するかわりに、事前に用意されている実際のユーザの顔の３次元データや複数人の平均顔形状など任意の形状を形状モデルとして用いることも可能である。
【００２３】
注目点抽出部122では、形状モデル125で用いた正面かつ無表情の顔画像124において、頭部姿勢及び表情の推定に使用する所定の条件を満たす注目点を複数抽出し、それらの画像座標を記憶する。
【００２４】
輝度分布モデル作成部123では、正面・各表情の複数の顔画像127に対して輝度分布モデル128が作成される。表情輝度分布モデル128とは、図３に示すように、各注目点（61a、62a、61b、62b等）の輝度が各表情によってどのように変化するかをモデル化したものである。本実施の形態では、この表情輝度分布モデル128を用意することで、輝度分布が各表情によって異なることを利用して、入力画像における注目点の輝度のパターンからそのときの表情の推定を行う。
【００２５】
ここでは、各注目点の輝度の独立性を仮定して、それぞれの輝度を正規分布にて表現し、さらに、それらの分布がそれぞれ表情によって変化するものとする。輝度を正規分布にて表現するのは、輝度が形状モデル誤差や撮像系ノイズなどによる複合的な要因による広がりを持つという考えによる。ただし、輝度の表現は、正規分布に限らず、単峰性をもつ他の確率分布（例えばコーシー分布など）を用いて行うことも可能である。
【００２６】
図３は、正面かつ無表情の顔画像124に基づいて作成された形状モデル125上の注目点61a及び62aの輝度が、形状モデル125と同一形式のモデルであって正面かつ怒りの表情を表す形状モデル7上の同一座標の注目点61b及び62bにおいてどのように変化するのかを説明するための概念図である。この場合、形状モデル125には、右眉に対応する顔部品51a、左眉に対応する顔部品52a、右目に対応する顔部品53a、左目に対応する顔部品54a及び口に対応する顔部品55aの各領域が図に示すような位置に対応づけられているものとする。また、注目点61a及び62aは、左眉の顔部品52aの外側（注目点61a）と内側（注目点62a）に設定されている。この場合、図３の下部に示すように、注目点の輝度とその確率は、左眉の内側に位置する注目点62aの輝度が、左眉の外側に位置する注目点61aの輝度よりも低い値となるような分布となっている。
【００２７】
一方、無表情から怒りに顔表情が変化した場合、正面かつ怒りの表情の形状モデル7上の注目点61aと同一座標の注目点61bと、注目点62aと同一座標の注目点62bは、ともに左眉に対応する顔部品52bの上側に位置するため、注目点61bと注目点62bにおける輝度は互いに重なる部分を持つ近い分布を有している。
【００２８】
なお、正面かつ怒りの表情の形状モデル7には、左眉に対応する顔部品52bのほかに、右眉に対応する顔部品51b、右目に対応する顔部品53b、左目に対応する顔部品54b及び口に対応する顔部品55bが図に示すような位置に対応づけられているものとする。
【００２９】
図２の輝度分布モデル作成部123で作成された輝度分布モデル128は、ユーザが前述した形状モデル作成部121及び注目点抽出部122で撮影された状態（顔をカメラに正対させた状態）のまま頭部を静止させた状態で、各表情を順に表出した複数の顔画像127から獲得される。このような方法とするのは、頭部を静止させた状態では各注目点の位置が固定されるため、それらの画素の輝度から各表情における各注目点の輝度を容易に獲得することができることによる。ここでは、たとえば上述した方法によって得られる各表情における各注目点の輝度を、それぞれの正規分布の平均として使用し、標準偏差を平均の1/6の値とするような校正処理を行う。
【００３０】
図４は、図２に示した注目点抽出部122のより具体的な処理手順を示すフローチャートである。以下、図４に沿って注目点抽出部122の説明を行う。まず、顔画像にラプラシアン−ガウシアンフィルタを施し（ステップS11）、その画像におけるゼロ交差する画素をエッジとして検出する（ステップS12）。次いで、そのエッジ画像の顔領域内において、図５のような点対の集合を注目点集合として抽出する（ステップS13〜S15）。すなわち、
まず、各顔部品の領域のエッジを跨ぎ、かつ、中心がエッジ上に存在する点対の全てを注目点対候補とする（ステップS13）。次に、点対候補を、点対内の点の輝度差の大きい順に並び変える（ステップS14）。そして、輝度差が大きい点対候補から順に、既に選択された点対の中心から規定距離離れていれば選択する（ステップS15）。このようにして、図５のような点対（10-1等）の集合が注目点集合（注目点群）として抽出される。
【００３１】
図５は、ステップS12でエッジとして検出された正面・無表情の入力画像124における顔領域8を示す図である。図５の顔領域8には、右眉に対応する顔部品の領域81、左眉に対応する顔部品の領域82、右目に対応する顔部品の領域83、左目に対応する顔部品の領域84、鼻に対応する顔部品の領域85及び口に対応する顔部品の領域86がそれぞれ存在している。また、顔領域8上には抽出された複数の注目点9、9、…が示されている。これらの注目点9、9、…は、各顔部品の領域81〜85の端部（エッジ）を跨ぐ形で対応づけられた１対の注目点9、9からなる点対（例えば注目点9-1と注目点9-2からなる点対10-1））をそれぞれ形成している。
【００３２】
本実施の形態では、このような注目点9、9、…の集合を、以下の条件を満たす点対の候補のうち、点対内の２点の輝度差が大きいものから順に、一定数の点対を選択するという方法で自動的に抽出する。その条件とは以下の３つである。
【００３３】
（C1）エッジを跨いでいる。（C2）点対を構成する各注目点間の中心（点対の中心）が顔部品のエッジ上にある。（C3）点対の中心が既に選択された全ての点対の中心から規定の距離以上離れている。
【００３４】
図５は、上記方法によって抽出される注目点9、9、…の配置の例を示したものである。
【００３５】
なお、本実施の形態では、エッジ検出方法をラプラシアン−ガウシアンフィルタ画像のゼロ交差する画素としたが、ソーベルフィルタの使用など他のエッジ検出方法でも構わない。また、必ずしも注目点集合をエッジを中心とした点対の集合として構成する必要はなく、図６（Ｂ）のように図５の左眉に対応する顔部品の領域85のエッジによって分割される両領域（内側の領域と外側の領域）にそれぞれ注目点9、9、…がエッジから適切な距離離れた位置に配置されるよう定義すればよい。
【００３６】
なお、図６は、複数の注目点を選択して作成した注目点集合を、上記の条件を満たす点対10、10、…から構成する例（図６（Ａ））と、顔部品のエッジから適切な距離離れた位置にある複数の注目点9、9、…から構成する例（図６（Ｂ））とを示している。
【００３７】
次いで、図１の頭部姿勢及び表情推定部13の具体的な処理を説明する。本実施の形態では、各時刻における頭部姿勢及び表情は、その時刻での顔画像が与えられた時に条件付き独立であり、ともに１次のマルコフ過程に従う確率変数であるものとする。このときの頭部姿勢h、表情e及び顔画像zの関係を動的ベイズネットワークにて表現すると図７のようになる。
【００３８】
本実施の形態では、時刻tでの頭部姿勢及び表情の同時事後確率分布を時刻tまでに得られた全ての顔画像を用いて推定する。これは、次式のように書ける。
【００３９】
【数１】
0004942197.tif 000002
【００４０】
ここで、zt、ht及びetはそれぞれ時刻tでの顔画像、頭部姿勢及び表情、P（ht, et｜z1:t）は時刻1〜tまでの全ての顔画像z1:tが与えられたもとでの時刻tでの頭部姿勢及び表情の同時事後確率分布、α=1／P（zt）は確率の正規化定数であり、P（h0）及びP（e0）はそれぞれ頭部姿勢及び表情の事前分布である。なお、（1）式の右辺は、左辺に対してベイズ則及び条件付き独立性を用いるとともに周辺化を行うことで得られる。
【００４１】
頭部姿勢は、顔形状モデル中心の入力画像上での位置、カメラに正対する顔向きを基準とした頷き（ピッチ）、首振り（ヨー）、傾げ（ロール）に対応する頭部姿勢角、及び、スケールの計６つの連続変数にて、表情は各表情に振られた番号にて表現される。
【００４２】
本実施の形態において、頭部姿勢の状態遷移モデルP（ht｜ht1）は、各変数がそれぞれ独立なランダムウォークモデルとする。表情の状態遷移モデルP（et｜et1）については、全ての表情間の遷移が等しい確率とする。なお、これらの状態遷移モデルは本表情認識装置１を適用する場面に応じて適切なモデルを用いて構わない。
【００４３】
頭部姿勢に関する変数は連続変数であり、かつ、遮蔽などによりその事後分布が複雑となるため、（1）式は厳密に解くことはできない。そこで、本実施の形態では、このような確率密度分布を推定する手法の一つであるパーティクルフィルタを用い、頭部姿勢及び表情を同時に推定する。以下では、パーティクルフィルタの枠組みにおいて頭部姿勢及び表情を同時に推定する方法について述べる。
【００４４】
パーティクルフィルタの枠組みでは、頭部姿勢及び表情の状態の確率分布は、パーティクル（粒子）と呼ばれるサンプル集合によって近似的に表現される。各粒子は、推定対象の１状態及びその重みを保持する。本実施の形態では、各粒子の保持する状態は、頭部姿勢（連続変数）及び表情（離散変数）の状態に相当する。また、これらの状態は、テンプレート11の状態に対応している。
【００４５】
パーティクルフィルタを用いたテンプレート11の状態推定は、図１の表情及び頭部姿勢及び表情推定部13によって図８に示すようにして行う。すなわち、頭部姿勢及び表情推定部13では、予測部131によってその時刻でのテンプレート11の状態の事後確率分布を予測し、更新部132によって観測情報に基づいてその状態の事後確率分布を更新する。そして、推定値算出部133によって得られた事後確率分布の推定値を算出する。これらの処理の説明を図８を参照して以下に述べる。なお、ここでいう観測情報とは、例えば、予測部131によって予測された、その時刻でのテンプレート11の状態の事後確率分布のことである。
【００４６】
予測部131では、現在の時刻における頭部姿勢及び表情の状態を近似する粒子群が予測される（ステップS21）。具体的には、まず、直前の時刻t1の状態を近似している粒子群から各粒子の持つ重みに応じてサンプリングが行われる。次いで、そのサンプリングされたそれぞれの粒子について、保持している頭部姿勢及び表情の状態を状態遷移モデルに従って遷移されることで、現時刻tにおける粒子の状態を予測する。
【００４７】
続いて更新部132では、予測部131で状態が予測された各粒子について、その顔状態での画像の尤度を計算し、その尤度に比例した各粒子の重み付けが行われる（ステップS22）。
【００４８】
推定値算出部133では、各時刻の頭部姿勢の推定値及び推定表情が、それぞれ、期待値及び事後確率が最大となる表情として計算される（ステップS23）。これは、次式にて算出される。
【００４９】
【数２】
0004942197.tif 000003
【００５０】
【数３】
0004942197.tif 000004
【００５１】
ここで、ht^及びht(l)は頭部姿勢の推定値及びl（英字のエル）番目の粒子が保持する頭部姿勢、et^は推定表情、ωt(l)はl（英字のエル）番目の粒子が保持する重みをそれぞれ表す。
【００５２】
以下では、更新部132での具体的な処理について、図９に従い説明する。まず、各粒子が持つ頭部姿勢状態において、各注目点が自己遮蔽されていないかどうかの判定を行う（ステップS31）。本実施の形態のように、形状モデルとして円柱のような凸体を用いる場合では、この判定は、法線ベクトルがカメラ方向を向いている点、すなわち、形状モデルの各注目点が射影される位置での法線ベクトルのカメラ方向成分が正である点を、遮蔽されていない点とみなすことができる。以下の更新部内の処理については、自己遮蔽されていない注目点についてのみを対象とする。
【００５３】
続いて、各粒子が持つ頭部姿勢状態での、入力画像での位置を算出する（ステップS32）。
【００５４】
続いて、得られた入力画像での注目点の位置における輝度を注目点の輝度とする（ステップS33）。
【００５５】
続いて、上記の方法により得られた各注目点の輝度を用い、その画像のモデルに対する尤度を算出する（ステップS34）。本実施の形態では、各注目点の輝度が各々独立であることを仮定し、各顔画像の尤度を、各注目点での輝度の輝度分布モデルに対する尤度の積として算出する。ここで、各注目点の輝度は、各々独立な正規分布に従うことを仮定する。なお、これらの正規分布は、テンプレート作成部12についての説明で述べたとおり、表情により変化する。その際、各表情における正規分布の平均及び標準偏差は、テンプレート作成部12による上述した校正処理で得た値とする。
【００５６】
そして、頭部姿勢及び表情における顔画像の尤度を、各点での輝度を輝度分布モデルに対する尤度の積として算出する。さらに、各注目点の輝度は、輝度によらず一定の確率で外れ値であると仮定し、その外れ値である一様確率と正規分布の尤度の大きな値をとるものをその注目点の尤度とする。
【００５７】
以上の頭部姿勢及び表情における顔画像の尤度の計算は、次式にて算出される。
【００５８】
【数４】
0004942197.tif 000005
【００５９】
【数５】
0004942197.tif 000006
【００６０】
【数６】
0004942197.tif 000007
【００６１】
ここで、P（zt｜ht, et）は、時刻tでの頭部姿勢htかつ表情etにおける画像ztの尤度、P（zi, t｜ht, et）は、時刻tでのその頭部姿勢及び表情における注目点iの輝度zi, tの尤度、Pは全注目点の集合のうち自己遮蔽されていない注目点の番号の集合、μi（et）及びσi（et）は注目点iの表情etにおける輝度分布モデルの平均及び標準偏差である。また、Poutlierは、その注目点での輝度が外れ値である確率であり、輝度値によらず一定の値であるとする。具体的には、（6）式においてzi, t=μi（et）±3σi（et）であるときのPNiの値をPoutlierとする。
【００６２】
画像の尤度の定義としては、その他にも、各注目点について、計算された位置における輝度のモデルに対するマハラノビス距離を引数とするロバスト関数値の、全注目点についての和の平均の逆数などが考えられる。
【００６３】
この場合の尤度の算出式は、次式にて算出される。
【００６４】
【数７】
0004942197.tif 000008
【００６５】
【数８】
0004942197.tif 000009
【００６６】
ここで、NPは自己遮蔽されていない注目点の数、ρ（・）はロバスト関数、cは定数（例えばc=1）を表す。
【００６７】
最後に、各粒子の重みは、前述の方法により算出した各粒子の持つ頭部姿勢及び表情に対する顔画像の尤度に比例し、かつ、それらの重みの総和が1となるものとして算出される（ステップS35）。
【００６８】
以下では、図９における各注目点の画像座標の算出処理（ステップS32）を、図１０及び図１１に従い説明する。まず、各注目点の画像座標を以下の方法により算出する。形状モデル125（図２参照）の３次元座標である形状モデル座標系201を、その中心及び鉛直軸が注目点抽出に用いた顔画像124の画像平面上の顔中心及び画像の鉛直軸に一致するよう定義する。そして、顔画像124上の注目点9a等の各注目点を、形状モデル座標系201へ投影することで、注目点9aに対応する注目点9b等の各注目点の形状モデル座標を得る（ステップS41）。
【００６９】
次いで、形状モデル125を各粒子の持つ頭部姿勢状態に従って２次元並進、３次元回転及びスケーリングを施すことで変形した形状モデル125a上で、注目点9bに対応する注目点9c等を含む各注目点の画像座標を得る（ステップS42）。
【００７０】
そして、上記処理後の形状モデル125a上の注目点9c等の各注目点を入力顔画像124と同平面上の入力画像124aへ投影する（ステップS43）。ここで、注目点9c（すなわち注目点9b及び9aに対応する注目点）に対応する注目点9d等の各注目点の画像を算出する。以上の処理によって図９のステップS32における各注目点の画像座標の算出が行われる。
【００７１】
なお、本実施の形態では、これらの投影において弱中心投影を仮定するが、任意の投影が利用可能である。
【００７２】
本実施の形態によれば、以下の従来にない顕著な効果が期待できる。
【００７３】
（１）個人間及び照明環境による変動が大きい、顔形状のモデル、及び、表情に対する顔の輝度変化のモデルを、その場での簡単な作業により作成することができる。
【００７４】
（２）広範囲にわたり頭部姿勢を変化させるユーザの表情を、実時間かつ高精度に認識することができる。
【００７５】
なお、本発明の実施の形態は、上記のものに限定されず、たとえば図１に示す各ブロックを、統合したり、分割したり、あるいはさらに通信回線などを介して分散して配置することなどが可能である。また、本発明の実施の形態は、コンピュータとコンピュータによって実行されるプログラムとによって構成することができる。さらに、そのプログラムの全部あるいは、たとえば図１のテンプレート作成部12に係る部分を構成するなどの一部を構成するプログラムは、通信回線あるいはコンピュータ読み取り可能な記録媒体を介して頒布することが可能である。
【００７６】
また、本発明にる表情認識装置は、上記の実施の形態によって、あるいはその一部を変形することによって、次のような特徴を有するものとしてとらえること、あるいは変形することが可能である。
【００７７】
（１）推定を開始したフレームから現在の時刻までに得られた全ての顔画像を用いて、現在の時刻における頭部姿勢状態及び表情状態の同時事後確率分布の推定を行う表情認識装置。（２）表情変化に伴う顔画像中の注目点の輝度変化のテンプレートを事前に用意しておき、それを動画像中の各時刻のユーザの表情に応じて変化させることで、各時刻での注目点の輝度からその顔画像中の人物の表情及び頭部姿勢を同時に推定する、請求項1に記載の表情認識装置。（３）表情変化に加え、一般的な照明環境下で生じる頭部姿勢の変化による輝度分布の変化のモデルを各表情毎に用意しておき、それをユーザの頭部姿勢及び表情に応じて変化させることで、各時刻での注目点の輝度からその顔画像中の人物の表情及び頭部姿勢を同時に推定する表情認識装置。
【００７８】
（４）変動量が大きく、かつ、大きな照明変動を引き起こす、首振り運動についてのみ、輝度分布のモデルを準備する表情認識装置。（５）テンプレートを輝度の値ではなく、分布として撮像系ノイズやテンプレート形状モデルの実際の顔形状に対する誤差など複合的な要因により生じる輝度の分布として用意する表情認識装置。（６）テンプレート形状モデルとして、平面モデル、円柱モデルや楕円体モデルなどの、作成が容易な媒介変数表示可能な形状を用いた表情認識装置。（７）テンプレート形状モデルとして、レーザスキャナやステレオ視などにより計測した実際の３次元形状を用いた表情認識装置。
【００７９】
（８）顔領域中において離散的に定義した点のみをテンプレートとして用いる表情認識装置。（９）顔領域内のエッジ近傍に配置した離散的な注目点の集合を使用する表情認識装置。（１０）エッジを跨ぐ点対の集合を離散的な点集合として定義する表情認識装置。
【００８０】
（１１）各時刻におけるある頭部姿勢及び表情におけるその時刻の画像の尤度を、計算された各注目点の位置における輝度の正規分布にて表現されたモデル（輝度分布モデル）に対する尤度の積として定義する表情認識装置。（１２）頭部姿勢及び表情における顔画像の尤度を、計算された各注目点の位置における輝度のモデルに対するマハラノビス距離を引数とするロバスト関数値の全注目点の和の逆数と定義する表情認識装置。
【００８１】
（１３）各時刻における頭部姿勢の推定値として、事後確率密度分布の期待値、最頻値(モード)、あるいは、中央値(メディアン)などを用いる表情認識装置。（１４）算出された事後確率が最大となる表情を推定表情とする表情認識装置。（１５）各時刻における頭部姿勢状態及び表情状態の同時事後確率分布の推定を、パーティクルフィルタの枠組みにて行う表情認識装置。
【図面の簡単な説明】
【００８２】
【図１】本発明の表情認識装置の実施の形態の構成を示すブロック図である。
【図２】図１のテンプレート作成部12による処理を説明するためのフローチャートである。
【図３】図２の輝度分布モデル128を説明するための概念図である。
【図４】図１の注目点抽出部122による処理を説明するためのフローチャートである。
【図５】図１の注目点抽出部122による処理を説明するための注目点の配置例を示す図である。
【図６】図１の注目点抽出部122による処理の変形例を説明するための説明図である。
【図７】図１の頭部姿勢及び表情推定部13による処理を説明するための図であって、頭部姿勢、表情及び顔画像からなる動的ベイジアンネットワークを示す図である。
【図８】図１の頭部姿勢及び表情推定部13による処理を説明するためフローチャートである。
【図９】図１の更新部132による処理を説明するためフローチャートである。
【図１０】図９のステップS32の処理を説明するためフローチャートである。
【図１１】図１０の処理を説明するため概念図である。
【符号の説明】
【００８３】
1  表情認識装置
11  テンプレート
12  テンプレート作成部
13  頭部姿勢及び表情推定部
9、9-1、9-2、9a〜9d、61a、62a、61b、62b  注目点
10、10-1  点対（注目点対）
125  形状モデル
128  輝度分布モデル
【図１】
0004942197.tif 000010
【図２】
0004942197.tif 000011
【図３】
0004942197.tif 000012
【図４】
0004942197.tif 000013
【図５】
0004942197.tif 000014
【図６】
0004942197.tif 000015
【図７】
0004942197.tif 000016
【図８】
0004942197.tif 000017
【図９】
0004942197.tif 000018
【図１０】
0004942197.tif 000019
【図１１】
0004942197.tif 000020