(57)【要約】画像処理システムは、顔の表情の強さ又は他の特徴を推定するために双方向スター型トポロジーの隠れマルコフモデル（ＨＭＭ）を用いて一連の画像を処理する。ＨＭＭは、少なくとも１つの無表情の表情の状態と、無表情の表情の状態から出る複数の表情パスとを有する。各表情パスは、悲しみ、喜び、怒り、恐れ、嫌悪、及び驚き等の対応する顔の表情に関連する多数の状態を含む。或る表情パスは、無表情の状態に連結する最初の状態と対応する表情の最高潮に関連する最後の状態とを含む。或るパスは更に、表情のオンセットに関連する最初の状態から最後の状態への順方向パスと、表情のオフセットに関連する最後の状態から最初の状態への戻りパスとを含む。画像処理システム中の１以上のアクションの制御は、少なくとも部分的に、モデルによってサポートされるどの顔の表情が一連の画像中に存在するのか、及び／又は、その顔の表情の強さ又は特徴に基づきうる。
2004513462.tif 000002
【特許請求の範囲】
【請求項１】
画像処理システムにおいて発生される一連の画像中の顔の表情の推定に用いる方法であって、
少なくとも１つの無表情の表情状態と上記無表情の表情状態から広がり夫々が対応する顔の表情に関連付けられる複数の状態を含む複数の表情パスとを有する隠れマルコフモデルを、上記一連の画像中に存在しそうな顔の表情のうちの特定の表情の特徴を決定するために用いて、上記一連の画像を処理する段階と、
上記決定された顔の表情の特徴に基づいて上記画像処理システムの動作を制御する段階とを含む方法。
【請求項２】
上記決定された顔の表情の特徴は、特定の顔の表情の強さを含む、請求項１記載の方法。
【請求項３】
上記複数の表情パスは、喜び、悲しみ、怒り、恐れ、嫌悪、及び、驚きの顔の表情のうちの１つ以上に対応する表情パスを含む、請求項１記
載の方法。
【請求項４】
上記表情パスの少なくとも部分集合は夫々別個の順方向パスと別個の戻りパスとを含み、上記順方向パス及び戻りパスは夫々複数の状態を含む、請求項１記載の方法。
【請求項５】
上記表情パスのうちの或る１つの表情パスの上記状態の少なくとも部分集合は夫々、上記隠れマルコフモデル中で上記無表情の表情状態を通らない連結線により少なくとも１つの他の表情パスの少なくとも１つの状態と連結される、請求項１記載の方法。
【請求項６】
上記表情パスの少なくとも部分集合の夫々は、無表情の表情状態に近い最初の状態と上記対応する顔の表情の最高潮の期間に関連付けられる最後の状態とを含む複数の状態を含む、請求項１記載の方法。
【請求項７】
上記最初の状態から上記最後の状態への上記表情パスのうちの或る１つのパスを通る順方向パスは上記対応する顔の表情へ向かう期間に関連付けられ、上記最後の状態から上記最初の状態への上記或る表情パスを通る戻りパスは上記対応する顔の表情から離れる期間に関連付けられる、請求項６記載の方法。
【請求項８】
上記制御段階は、上記決定された顔の表情の特徴に基づいて上記画像処理システムの出力を発生する段階を含む、請求項１記載の方法。
【請求項９】
上記制御段階は、上記決定された顔の表情の特徴に基づいて上記画像処理システムの動作パラメータを変更する段階を含む、請求項１記載の方法。
【請求項１０】
上記一連の画像中の特定の人物の顔を認識するために隠れマルコフモデルを用いて上記一連の画像を処理する段階を更に含む、請求項１記載の方法。
【請求項１１】
上記隠れマルコフモデルの表情パスは夫々、同じ数の状態を含む、請求項１記載の方法。
【請求項１２】
上記隠れマルコフモデルの上記表情パスの少なくとも１つの部分集合は夫々、異なる数の状態を含む、請求項１記載の方法。
【請求項１３】
画像処理システムにおいて発生される一連の画像中の顔の表情の推定に用いる装置であって、
プロセッサを基礎とする装置は、（ｉ）少なくとも１つの無表情の表情状態と、上記無表情の表情状態から広がり夫々が対応する顔の表情に関連付けられる複数の状態を含む複数の表情パスとを有する隠れマルコフモデルを、上記一連の画像中に存在しそうな顔の表情のうちの特定の表情の特徴を決定するために用いて、上記一連の画像を処理し、（ｉｉ）上記決定された顔の表情の特徴に基づいて上記画像処理システムの動作を制御するよう動作可能である装置。
【請求項１４】
画像処理システムにおいて発生される一連の画像中の顔の表情の推定に用いる１以上のプログラムを格納する記憶媒体を含む製品であって、
上記１以上のプログラムはプロセッサによって実行されると、
少なくとも１つの無表情の表情状態と、上記無表情の表情状態から広がり夫々が対応する顔の表情に関連付けられる複数の状態を含む複数の表情パスとを有する隠れマルコフモデルを、上記一連の画像中に存在しそうな顔の表情のうちの特定の表情の特徴を決定するために用いて、上記一連の画像を処理する段階と、
上記決定された顔の表情の特徴に基づいて上記画像処理システムの動作が動作される段階とを実行する製品。
【発明の詳細な説明】
【０００１】
［発明の分野］
本発明は、概して画像信号処理の分野に係り、特にビデオ信号又は他の種類の画像信号中で顔の表情を推定する技術に関する。
【０００２】
［発明の背景］
顔の表情は、心理学及びコンピュータビジョンの観点から広く研究されてきた。顔の表情は、対人間の意志疎通、関係、及び他の多くの状況に重要な感情を表す機構を与える。多くの異なる種類の顔の表情は、殆どの人種及び文化に亘って同じであると確かめられてきた。例えば、幾つかのはっきりと識別可能な顔の表情は感情的な状態に関連する。これらは、無表情、喜び、悲しみ、怒り、恐れを含む。他の顔の表情は、嫌悪や驚きといった反応に関連する。
【０００３】
顔の表情は、複雑な、空間的・時間的な動きのパターンであることが知られている。或る顔の表情に関連する動きは、一般的には３つの期間、即ち（ｉ）表情へ向かうオンセット（ｏｎｓｅｔ）期間、（ｉｉ）表情が最高潮である（ａｐｅｘ）期間、及び（ｉｉｉ）表情から離れるオフセット（ｏｆｆｓｅｔ）期間へ分割される。これらの期間は夫々、顔の表情への遷移、表情を表した状態でピークを維持する期間、及び表情から戻る遷移に対応する。オンセット期間中の変化の速度及び最高潮の期間中の持続時間は、顔の表情に関連付けられる裏にある感情の強さに関連することが多い。同様に、オンセット期間中とオフセット期間中の速度の差は、自然に起こる顔の表情と見せかけの顔の表情とを区別するために用いられうることが明らかである。
【０００４】
初期のコンピュータビジョンに基づく表情認識アルゴリズムは、一般的には顔の変形の最高潮の期間のみを頼りにするものであり、遷移中に存在する殆どの空間的・時間的な情報を棄ててしまう。最近開発された技術には、空間的・時間的な情報を活用することを試みるものがある。例えば、Ｔ． Ｏｈｔｓｕｋａ ｅｔ ａｌ．， ”Ｒｅｃｏｇｎｉｚｉｎｇ Ａｂｒｕｐｔｌｙ Ｃｈａｎｇｉｎｇ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎｓ Ｆｒｏｍ Ｔｉｍｅ−Ｓｅｑｕｅｎｔｉａｌ Ｆａｃｅ Ｉｍａｇｅｓ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ ａｎｄ Ｐａｔｔｅｒｎ Ｒｅｃｏｇｎｉｔｉｏｎ （ＣＶＰＲ）， １９９８及びＴ． Ｏｈｔｓｕｋａ ｅｔ ａｌ．， ”Ｒｅｃｏｇｎｉｚｉｎｇ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｏｎｓ’ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｕｓｉｎｇ ＨＭＭ Ｂａｓｅｄ ｏｎ Ａｕｔｏｍａｔｉｃ Ｅｘｔｒａｃｔｉｏｎ ｏｆ Ｓｉｇｎｉｆｉｃａｎｔ Ｆｒａｍｅｓ ｆｒｏｍ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅｓ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）， ｐｐ． ５４６−５４９， １９９７に記載の隠れマルコフモデル（ＨＭＭ）に基づく顔表情認識技術は、特に顔の表情のパターンの空間的・時間的な特徴を利用すべく設計されたものである。
【０００５】
それでも、殆どの顔表情認識アプローチは、主に不動でない顔変形パターンの解析に基づく。これらのアプローチは、オプティカルフロー、２次元グラフィックモデル（「ポテンシャルネット」としても知られる」）、及びローカルパラメータモデルといった技術を使用しうる。残念なことに、表情の変形による顔の見かけの変化は、動きフィールドによって常に良く表わされるわけではない。例えば、笑うときのように歯を見せることは、口の領域の動きフィールドではあまり良く表現されない。
【０００６】
上述の問題を解決する埋め込み式の顔及び顔の表情の認識のためのベイズ枠組みは、ここに参照として組み入れられる文献、Ａ． Ｃｏｌｍｅｎａｒｅｚ ｅｔ ａｌ．， ”Ａ Ｐｒｏｂａｂｌｉｓｔｉｃ Ｆｒａｍｅｗｏｒｋ ｆｏｒ Ｅｍｂｅｄｄｅｄ Ｆａｃｅ ａｎｄ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＣＶＰＲ）， １９９９； Ａ． Ｃｏｌｍｅｎａｒｅｚ ｅｔ ａｌ．，”Ｅｍｂｅｄｄｅｄ Ｆａｃｅ ａｎｄ Ｆａｃｉａｌ Ｅｘｐｒｅｓｓｉｏｎ Ｒｅｃｏｇｎｉｔｉｏｎ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）， １９９９； Ａ． Ｃｏｌｍｅｎａｒｅｚ ｅｔ ａｌ．， ”Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｆａｃｅｓ ａｎｄ Ｆａｃｉａｌ Ｆｅａｔｕｒｅｓ，” Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ｐｒｏｃｅｓｓｉｎｇ （ＩＣＩＰ）， １９９９； Ａ． Ｃｏｌｍｅｎａｒｅｚ ｅｔ ａｌ．， ”Ｆａｃｉａｌ Ａｎａｌｙｓｉｓ ｆｒｏｍ Ｃｏｎｔｉｎｕｏｕｓ Ｖｉｄｅｏ ｗｉｔｈ Ａｐｐｌｉｃａｔｉｏｎ ｔｏ Ｈｕｍａｎ−Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ，” Ｐｈ．Ｄ． Ｄｉｓｓｅｒｔａｔｉｏｎ， Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｉｌｌｉｎｏｉｓ ａｔ Ｕｒｂａｎａ−Ｃｈａｍｐａｉｇｎ， Ｍａｒｃｈ １９９９に記載されている。異なる人の異なる顔の表情の顔の特徴の見かけ及び幾何形状をモデル化し解析することにより、上述のベイズ枠組みは顔認識と顔表情認識の両方を達成することが可能である。しかしながら、枠組みは、一般的には顔の表情の動力学について考慮に入れない。例えば、このアプローチは、一般的には解析されるべき或るビデオ信号からの画像フレームは互いに独立であり、従って一回につき１つのフレーム毎にそれらを解析すると想定する。
【０００７】
従って、顔の表情の動力学を正確且つ有効に考慮に入れる顔の表情を推定するための改善された技術が必要とされる。
【０００８】
［発明の概要］
本発明は、双方向スター型トポロジーの隠れマルコフモデル（ＨＭＭ）を用いて顔の表情の強さ又は顔の表情の動力学に関連する他の特徴を推定するためにビデオ信号又は他の種類の画像信号を処理する方法及び装置を提供する。
【０００９】
本発明の１つの面によれば、ＨＭＭは、少なくとも１つの無表情の表情の状態と、無表情の表情の状態から出る複数の表情パスとを有する。各表情パスは、悲しみ、喜び、怒り、恐れ、嫌悪、及び驚き等の対応する顔の表情に関連する多数の状態を含む。画像処理システムにおける１以上のアクションの制御は、少なくとも部分的にモデルによってサポートされるどの顔の表情が一連の画像中に存在するのか、及び／又は、その顔の表情の強さ又は特徴に基づいて決定されうる。
【００１０】
本発明の他の面によれば、ＨＭＭの或る表情パスは、無表情の状態に連結する最初の状態と対応する表情の最高潮の期間に関連する最後の状態とを含みうる。或るパスは更に、最初の状態から最後の最終状態への順方向パスと、最後の状態から最初の状態への戻りパスとを含む。順方向パスは表情のオンセットに関連し、戻りパスは表情のオフセットに関連する。或る表情パスの順方向パス及び逆方向パスは、夫々、別々の状態を含むか、又は、多数の状態を共用しうる。
【００１１】
本発明の更なる面によれば、或る１つの表情パスの状態の少なくとも部分集合は夫々、無表情の状態を通らない連結線によってＨＭＭ中で少なくとも１つの表情パスの少なくとも１つの状態と連結されうる。
【００１２】
本発明は、上述の従来の技術と比較してかなり改善された顔の表情を推定する技術を提供する。有利に、本発明は、或る画像中に存在する特定の顔の表情だけでなく、その顔の表情の強さ又は他の関連する特徴も決定することを可能とする。本発明の技術は、ビデオ会議システム、テレビ監視及びモニタシステム、及びヒューマン・マシン・インタフェースといったビデオカメラに基づくシステムを含む広範な画像処理適用において用いられうる。
【００１３】
［発明の詳細な説明］
図１は、本発明による顔の表情を推定する技術が実施されうる画像処理システム１０を示す図である。システム１０は、プロセッサ１２、メモリ１４、入力／出力（Ｉ／Ｏ）装置１５、及び、コントローラ１６を含み、これら全ては１以上のシステムバス又は他の種類の配線の組１７を通じて通信するよう接続される。図示するように、システム１０はコントローラ１６に結合されるカメラ１８を更に含む。カメラ１８は、例えば機械的なパン・チルト・ズーム（ＰＴＺ）カメラ、広角電子ズームカメラ、又は任意の他の種類の画像捕捉装置でありうる。従って、本願で用いる「カメラ」という用語は、任意の種類の画像捕捉装置又はかかる装置の任意の形態を含むものと理解されるべきである。
【００１４】
システム１０は、例えばテレビ会議、監視テレビ、ヒューマン・マシン・インタフェース等を含む任意の多数の異なる画像処理適用における使用に適合されうる。更に一般的には、システム１０は本発明によって与えられる改善された顔の表情の推定の可能性から利益を受けうる任意の適用に使用されうる。
【００１５】
動作上、画像処理システム１０は、人物２０のビデオ信号又は他の種類の一連の画像を発生する。カメラ１８は、人物２０の頭部２４がカメラ１８の視野２２に入るよう調整されうる。カメラ１８によって発生される一連の画像に対応し人物２０の顔を含むビデオ信号は、以下詳述するように、システム１０中で本発明による顔の表情を推定する技術を用いて処理される。一連の画像は、双方向スター型トポロジーの隠れマルコフモデル（ＨＭＭ）を用いて決定される表情の強さ又は他の特徴の推定に少なくとも部分的に基づいて、画像中の人物２０の顔に表れる特定の表情を決定するよう処理されうる。システムの出力は、決定された表情に基づいて調整されうる。例えば、ヒューマン・マシン・インタフェース又は他の種類のシステムアプリケーションは、クエリー又は他の出力を発生するか、又は、決定された表情又はその特徴に基づいて他の種類のアクションを行いうる。任意の他の種類のシステムのアクションの制御は、少なくとも部分的に決定された表情、及び／又は、例えば強さといったその特徴に基づくものでありうる。
【００１６】
システム１０の要素又は要素群は、それ以外は従来通りであるデスクトップコンピュータ又は携帯型コンピュータの対応する要素、並びに、これらの及び他の処理装置の部分又は組合せを表わしうる。更に、本発明の他の実施例では、プロセッサ１２、メモリ１４、コントローラ１６、及び／又は、システム１０の他の要素の機能のうちの幾つか又は全ては、単一の装置へ組み合わされうる。例えば、システム１０の要素のうちの１つ以上の要素は、特定用途向け集積回路（ＡＳＩＣ）、又は、コンピュータ、テレビジョン、セットトップボックス、或いは、他の処理装置に組み込まれうる回路カードとして実施されうる。
【００１７】
本願では、「プロセッサ」という用語は、マイクロプロセッサ、中央処理装置（ＣＰＵ）、マイクロコントローラ、ディジタル信号プロセッサ（ＤＳＰ）、又は、或るデータ処理装置中で使用されうる任意の他のデータ処理要素を含むものとする。更に、メモリ１４は、電子メモリ、光又は磁気ディスク式のメモリ、テープ式メモリ、並びに、これらのメモリ及び他の種類の記憶装置の組合せ又は部分を表しうる。
【００１８】
本発明の例示的な実施例では、画像信号中で顔の表情を推定し、ＨＭＭを用いて顔の表情の動的な面を特徴付ける技術が提供される。本発明の典型的な実施例では、異なる顔の表情の間の遷移と、各顔の表情での多くの状態の間の遷移とをモデル化する。更に特定的には、各表情は、顔の外観の多次元空間中のパスに沿った多数の状態としてモデル化される。或る表情についてのこのパスは、感情が不明な無表情の表情に対応する点から、表情の最高潮の期間を表す点へ進み、無表情の表情に戻る。
【００１９】
有利に、本発明は、或る画像内での特定の顔の表情だけでなく、顔の表情の強さ又は他の関連する特徴を決定することを可能とする。特定の顔の表情は、一組の異なる顔の表情のモデルに対して最尤分類法を用いて取得されうる。顔の表情の強さ又は他の関連する特徴は、対応する顔の表情の上述のパスに関してどれだけ観察が達成されるかを決定することによって推定されうる。
【００２０】
本発明と共に使用されるのに適した典型的な顔の表情の分析の枠組みについて以下詳述する。ここで、ρ∈｛１，２，．．．Ｐ｝がＰ人のデータベース中のρ番目の人物の添え字であり、Ｖは顔の分析、例えば顔及び顔の表情の分析のために使用されるビデオ信号の一部である枠組みについて考える。顔の認識は、観察される画像の尤度確率を最大化するためのモデルを選択することによって、最尤法、
【００２１】
【数１】
2004513462.tif 000003
を用いて実行されうる。しかしながら、本発明は或る画像又は一連の画像が特定の人物に関連付けられると認識されることを必要としないことに注意すべきである。
【００２２】
人物ρが識別されると、顔の認識を行なうために対応する人物依存の顔モデルが使用される。このようなモデルの例について、以下、図２を参照して説明する。
【００２３】
本発明によれば、顔の表情の動力学を捕捉するためにＨＭＭが使用される。更に特定的には、本発明の例示的な実施例では、ＨＭＭの隠れ段階ε＝１，２，．．．，Ｎは、異なる顔の表情を表わすために使用され、
【００２４】
【外１】
2004513462.tif 000004
は或る人物ρに対する顔の表情の動力学の統計値を捕捉する。
【００２５】
ここで、
【００２６】
【外２】
2004513462.tif 000005
を時間ｔまでの順次的な画像フレームの集まりであると考える。或る人物ρについて、このビデオセグメントＰの尤度確率
【００２７】
【外３】
2004513462.tif 000006
は、以下の式、
【００２８】
【数２】
2004513462.tif 000007
から帰納的に計算され、但し、
【００２９】
【外４】
2004513462.tif 000008
は、或る表情状態εと人物ρについての観察の確率である。
【００３０】
図２は、本発明の例示的な実施例において顔の表情の推定と共に使用されうる顔の特徴及び領域のモデルを示す図である。このモデルは例としてのみ与えられるものであって、本発明の範囲を制限するものと理解されるべきではない。当業者によって明らかであるように、本発明は多くの種類の他の顔モデルを用いて実施されうる。
【００３１】
図２の顔モデルでは、画像４０中の人物の顔は、４つの特徴領域と９つの顔特徴の組としてモデル化される。この例では、各顔特徴の位置は、Ｘで示される。４つの特徴領域は、右眉領域５０−１、左眉領域５０−２、目及び鼻領域５０−３、及び、口領域５０−４を含む。
【００３２】
このモデルは、上述の文献、Ａ． Ｃｏｌｍｅｎａｒｅｚ ｅｔ ａｌ．， ”Ｄｅｔｅｃｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ ｏｆ Ｆａｃｅｓ ａｎｄ Ｆａｃｉａｌ Ｆｅａｔｕｒｅｓ，” ＩＣＩＰ， １９９９に記載されるように、顔特徴はビデオシーケンス中で正確に配置され追跡されうるという仮定の下で構築される。
【００３３】
各顔特徴の外観は、その位置の回りに配置される対応する特徴画像サブウィンドウによって与えられる。更に特定的には、右眉領域５０−１は画像サブウィンドウ５２及び５４を含み、左眉領域５０−２は画像サブウィンドウ６２及び６４を含み、目及び鼻領域５０−３は画像サブウィンドウ７２、７４及び７６を含み、口領域５０−４は画像サブウィンドウ８２及び８４を含む。顔の幾何学形状は、外側の目の隅の間の位置及び距離に対して標準的にされる顔の特徴の位置によって与えられる。
【００３４】
顔特徴領域
【００３５】
【外５】
2004513462.tif 000009
は、或る人物及び顔の表情の状態とは独立であると想定し、観察される画像フレームの尤度確率を、以下の式、
【００３６】
【数３】
2004513462.tif 000010
から計算することができる。
【００３７】
各領域において、尤度確率
【００３８】
【外６】
2004513462.tif 000011
は、その特徴Ｆｋの位置ｘｋｉ及び外観ｖｋｉを、以下の式、
【００３９】
【数４】
2004513462.tif 000012
から、計算しうる。
【００４０】
領域中の顔特徴の位置
【００４１】
【外７】
2004513462.tif 000013
は、全共分散行列を有する多次元ガウス分布で一緒にモデル化されうる。更に、領域中の各顔特徴の外観は独立にモデル化されえ、式（４）は、
【００４２】
【数５】
2004513462.tif 000014
となる。
【００４３】
図３は、本発明の例示的な実施例において顔の外観及び幾何学的な観察をモデル化するために使用されうるベイズネットワークの例を示す図である。或る観察された顔の表情の各状態ｋには、一組の特徴領域５０−１，５０−２，５０−３及び５０−４と、それらの特徴位置１００と特徴画像サブウィンドウ１１０の対応する組が関連付けられる。
【００４４】
或る人物と表情の状態のついての各顔特徴の外観は、ｐ個の主な構成要素とこのサブ空間からの距離に亘る多次元ガウス分布でモデル化されうる。尚、このアプローチは、全てのオブジェクトクラスが最も多く広がるサブ空間を見つけるために使用される主成分分析（ＰＣＡ）が使用される従来の固有の特徴を用いたアプローチとは異なる。このアプローチは、高い次元性の観察を扱う単純な観察モデルを構築するために各クラス独立性に対してＰＣＡが適用される点で異なる。
【００４５】
ここで、
【００４６】
【外８】
2004513462.tif 000015
を、モデル化されるべき幾らかの分布を有するｄ次元のランダムなベクトル、即ち、対応する顔の特徴の位置の回りの画像サブウィンドウとする。クラスの一組の学習サンプルは、そのクラスの観察の
【００４７】
【外９】
2004513462.tif 000016
と共分散行列Ωとを推定するために使用される。特異値分解を用いて、Ωの大きい方からｐ個の固有値に対応する対角行列Σと、対応する固有ベクトルを含む変換行列Ｔとを得ることができる。従って、或るクラスについてのｖの条件付き確率は、以下の式、
【００４８】
【数６】
2004513462.tif 000017
から計算され、式中、
【００４９】
【外１０】
2004513462.tif 000018
は上述のｐ次元の部分空間へのｖの投影であり、
【００５０】
【外１１】
2004513462.tif 000019
はこの部分空間からの距離であり、λはΩの固有値の残りの和から得られる。
【００５１】
尚、上述の学習手順は教師付きである。換言すれば、各学習サンプルのクラスは既知であり、各クラスについての統計値が容易に計算されうると想定される。上述の顔の表情のデータベースの場合、顔の表情が各画像フレームについて知られるよう、ビデオセグメントはラベル付けされうる。しかしながら、各顔の表情が、時間に亘って顔の表情の展開の異なる段階を捕捉する多数の状態を用いてモデル化されると、各顔の表情におけるこれらの状態の学習手順は教師なしである。このとき、上述において式（３）乃至（６）について説明したように観察モデルのパラメータを推定するために従来の期待値最大化（ＥＭ）アルゴリズムが使用されうる。ＥＭアルゴリズムについては、例えば、ここに参照として組み込まれるＢ．Ｊ．Ｆｒｅｙ， ”Ｇｒａｐｈｉｃａｌ Ｍｏｄｅｌｓ ｆｏｒ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ ａｎｄ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，” ＭＩＴ Ｐｒｅｓｓ， Ｃａｍｂｒｉｄｇｅ， ＭＡ， １９９８に示されている。
【００５２】
本発明による表情動力学のモデル化について、以下、図４、図５、及び図６を参照して詳述する。顔の表情及び幾何学形状の多次元空間について考える。この空間中の点は、顔の特定的な観察に対応する。従って、無表情の表情の点を、或る顔についての無表情の表情に対応する多次元空間中の点として定義することができる。或る顔の表情のオンセット期間中、当該の顔が或る顔の表情を反映するために変化されると、上述の空間中でパスをたどり、即ち無表情の表情の点から対応する表情の最高潮の状態までたどる。同様に、オフセット期間において、最高潮から無表情の表情の点まで戻るよう他の（又は同じである場合もある）パスをたどる。他の顔の表情は異なるパスを生じさせ、異なるパスは互いに交差しうる。
【００５３】
図４は、単一の無表情の表情の状態１２２を有する双方向スター型トポロジーのＨＭＭ１２０の形式の上述のパスの組の例を示す。無表情の表情の状態１２２から、１組の６つの異なるパスがあり、各パスは特定の顔表情に対応し、夫々が全部でＮ個の状態を含む。この例では、モデル化される顔の表情は、喜び、悲しみ、怒り、恐れ、嫌悪、及び、驚きである。他の実施例は、他の数、種類、配置の顔の表情を使用しうる。簡単化のため、各表情は多数の連結された状態のパスでモデル化される。更に、オンセット期間及びオフセット期間に夫々対応する順方向パス及び戻りパスは、同じであると想定する。無表情の表情は、単一の状態、即ち無表情の表情の状態１２２を用いてモデル化される。無表情の状態１２２は、各顔の表情のパスの最初の状態に連結される。モデル化される最も高い表情の強さに達する表情観察の場合、パスの全ての状態をまず順方向に次に反対向きに通り、無表情の表情の状態１２２に戻る。
【００５４】
学習のために十分なデータが利用可能であると想定すると、図４の双方向スター型トポロジーのＨＭＭは全ての強さのレベルにおいて顔の表情の展開を捕捉する。各状態は、対応する顔の表情のパス中の最も最近の状態と関連付けられる表情の最大レベルに１段階近づいたものを表わす。続く顔の表情の分析中、観察は必ずしもパスの最後の状態に達する必要はない。従って、パス中で通った最も高い状態と、その状態を通っている持続時間を用いて観察されている顔の表情の強さを測定しうる。
【００５５】
図４のＨＭＭ中の２つの連続する状態の間の分離は、各状態に対する最大の尤度を有する観察点を連結する線に沿って計算される対応する観察確率分布の周知のＫｕｌｌｂａｃｋ−Ｌｅｉｂｌｅｒダイバージェンスを用いて決定されうる。即ち、以下の式、
【００５６】
【数７】
2004513462.tif 000020
であり、式中、
【００５７】
【外１２】
2004513462.tif 000021
はガウシアンモデルの場合の平均ベクトルであり、状態ｓ１とｓ２の観察確率分布に対して、夫々、
【００５８】
【数８】
2004513462.tif 000022
である。尚、ダイバージェンスの種類は例としてのみ示したものであり、他の種類のダイバージェンスも使用されうる。
【００５９】
また、各パスに対する適当な状態数を決定することが重要である。これは以下のように行われうる。各パスは、まず、状態のデフォルト数を仮定し、状態間の平均的な分離を測定することによって学習される。次に、状態の数は反復的に増加又は減少され、ＨＭＭパスは平均分離が所定の範囲におさまるまで繰り返し学習される。ＨＭＭ１２０の或るパス中の適当な状態数の決定のための技術についての更なる詳細に付いては、ここに参照として組み入れられる、代理人整理番号第７０１２５５号の本願と共に発明者Ａ．Ｃｏｌｍｅｎａｒｅｚ及びＳ． Ｇｕｔｔａの名義で出願された「Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ ａ Ｎｕｍｂｅｒ ｏｆ Ｓｔａｔｅｓ ｆｏｒ ａ Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ ｉｎ ａ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍ」なる名称の米国特許出願に記載されている。
【００６０】
図４中の各パスでは、ＨＭＭは状態の数Ｎと同じ数を含むものとして示されたが、これは例示のためであり、本発明を制限するものではない。他の実施例では、各パスは異なる数の状態を含んでもよく、上述の学習手順はＨＭＭの或る表情パスの適切な状態数を決定するために使用される。
【００６１】
本発明による双方向スター型トポロジーのＨＭＭの多数の他の形態が可能である。かかる他の形態のうちの２つについて、以下、図５及び図６を参照して詳述する。本願では「双方向スター型トポロジーのＨＭＭ」という用語は、少なくとも１つの無表情の状態から外向きに出る１以上の双方向パスを有し、従って以下に示す他の配置のほかにも種々の他の配置とを含むことを意味する。
【００６２】
図５は、他の双方向スター型トポロジーのＨＭＭ１２０’の一部を示す図である。示される部分は、驚きを示す顔の表情のための表情パスを含む。図４のＨＭＭ１２０のように、ＨＭＭ１２０’中の驚きを示す顔の表情は無表情の表情の状態１２２から開始する。しかしながら、ＨＭＭ１２０’からの驚きを示す顔の表情のパスは、無表情の状態から表情の最高潮への遷移と、表情の最高潮から無表情の状態へ戻る遷移とをモデル化するため、２つの別々のパスを含む。かかる配置は、状態遷移過程にヒステリシスを与えるために使用されうる。図５中、１つの表情のみが示されているが、ＨＭＭ中の各表情に対して同様の別々のパスが与えられうる。
【００６３】
図６は、本発明による双方向スター型トポロジーのＨＭＭの他の形態を示す図である。この形態では、ＨＭＭ１２０”は、無表情の状態１２２と、図４のＨＭＭは同じ６つの表情のための表情パスとを含む。説明を容易とするため、表情パスの夫々のうちの一部のみを示す。ＨＭＭ１２０”中、異なる表情パスの夫々の最初の状態は図示される１以上の他の表情パスの最初の状態と連結される。例えば、状態「喜び１」は、状態「嫌悪１」、「驚き１」、「悲しみ１」と連結され、状態「驚き１」は、状態「喜び１」、「怒り１」、及び「恐れ１」と連結される等である。
【００６４】
各表情パスの最初の幾つかの状態の幾つか又は全てのこの種類の連結は、無表情の状態１２２を通らずに１つの表情から他の表情へ遷移することを可能とする。尚、連結線は、図示するように喜び及び驚きのパスといったスター型トポロジーにおいて隣り合うパスだけでなく、驚きと恐れ、嫌悪と喜び、及び、悲しみと喜びといった隣り合わないパスも含みうる。上述のように、図６に示す特定の状態、パス、及び連結線は、例としてのみ示したものであって、多数の他の形態が可能である。
【００６５】
本発明の上述の実施例は、例示のためにのみ与えられるものである。例えば、本発明は任意の数又は配置の表情パス、状態、及び連結線を有する双方向スター型トポロジーのＨＭＭを用いて実施されうる。本発明は、テレビ会議システム、監視テレビシステム、及び他のカメラを用いたシステムを含む種々の適用において、顔の表情の推定を与えるために使用されうる。本発明は、電子、磁気、又は光記憶媒体上に格納され、例えばシステム１０のプロセッサ１２といった処理装置によって実行されうる１以上のソフトウエアの形式で実施されうる。当業者によれば、本発明の請求の範囲に記載される範囲で、上述及び多くの他の実施例が明らかとなろう。
【図面の簡単な説明】
【図１】
本発明が実施されうる画像処理システムを示すブロック図である。
【図２】
本発明の例示的な実施例において顔の表情の推定と共に使用されうる顔の特徴及び領域のモデルを示す例である。
【図３】
本発明の例示的な実施例における使用に適した観察分布についてのベイズネットワークを示す図である。
【図４】
本発明により構成された双方向スター型トポロジーの隠れマルコフモデル（ＨＭＭ）の例を示す図である。
【図５】
本発明による図４の双方向スター型トポロジーのＨＭＭの他の形態を示す図である。
【図６】
本発明による図４の双方向スター型トポロジーのＨＭＭの他の形態を示す図である。
【図１】
2004513462.tif 000023
【図２】
2004513462.tif 000024
【図３】
2004513462.tif 000025
【図４】
2004513462.tif 000026
【図５】
2004513462.tif 000027
【図６】
2004513462.tif 000028
【国際公開パンフレット】
2004513462.tif 000029
2004513462.tif 000030
2004513462.tif 000031
2004513462.tif 000032
2004513462.tif 000033
2004513462.tif 000034
2004513462.tif 000035
2004513462.tif 000036
2004513462.tif 000037
2004513462.tif 000038
2004513462.tif 000039
2004513462.tif 000040
2004513462.tif 000041
2004513462.tif 000042
2004513462.tif 000043
2004513462.tif 000044
2004513462.tif 000045
2004513462.tif 000046
2004513462.tif 000047
2004513462.tif 000048
2004513462.tif 000049
2004513462.tif 000050
【国際公開パンフレット（コレクトバージョン）】
2004513462.tif 000051
2004513462.tif 000052
【国際調査報告】
2004513462.tif 000053
2004513462.tif 000054