(57)【要約】顔の特徴データから頭部運動推定を実行する線形の方法は、第１顔画像を得て、前記第１画像から頭部を検出するステップと、P={p1, p2, p3, p4}及びpk=(xk, yk)であるような前記第１顔画像の４つの点Pの位置を検出するステップと、第２顔画像を得て、前記第２画像から頭部を検出するステップと、P’={p1’, p2’, p3’, p4’}及びpk’=(xk’, yk’)であるような前記第２顔画像の４つの点P’の位置を検出するステップと、前記点P及びP’を使用して回転行列R及び並進ベクトルTにより表される前記頭部の運動を決定するステップとを有する。前記頭部運動推定は、式（方程式（I））によって決定され、方程式（II）は、それぞれカメラの回転及び並進を表す。
2005505063.tif 000002
【特許請求の範囲】
【請求項１】
顔の特徴データから頭部運動推定を実行する線形の方法であって、
−第１顔画像を得て、前記第１画像において頭部を検出するステップと、
−P={p1, p2, p3, p4}及びpk=(xk, yk)であるような前記第１顔画像の４つの点Pの位置を検出するステップと、
−第２顔画像を得て、前記第２画像から頭部を検出するステップと、
−P’={p1’, p2’, p3’, p4’}及びpk’=(xk’, yk’)であるような前記第２顔画像の４つの点P’の位置を検出するステップと、
−前記点P及びP’を使用して回転行列R及び並進ベクトルTにより表される前記頭部の運動を決定するステップと、
を有する方法。
【請求項２】
前記第１顔画像の前記４つの点Pと、前記第２顔画像の前記４つの点P’とが、それぞれ第１及び第２顔画像のそれぞれ目尻及び口角の位置を含む、請求項１に記載の線形の方法。
【請求項３】
前記頭部運動推定が、
Pi’=RPi+T,
によって決定され、ここで、
【数１】
2005505063.tif 000012
及びT=[T1 T2 T3]Tは、それぞれカメラの回転及び並進を表し、頭部姿勢推定は、前記頭部運動推定の特定の場合である、請求項１に記載の線形の方法。
【請求項４】
前記頭部運動推定が、前記回転行列Rによって決定され、前記方法が、更に、頭部姿勢を特徴付けるために、点PkをFkに写像する回転行列Rを決定するステップを有し、前記点F1, F2, F3,及び F4は、前記顔画像の基準の正面図の対応する前記４つの点の３次元（３Ｄ）座標を表し、Pkは、Pi=[Xi Yi Zi]Tであるような任意の点の３次元（３Ｄ）座標であり、前記写像は、以下の関係
R(P2-P1)∝[1 0 0]T
R(P6-P5)∝[0 1 0]T
によって決定され、ここでP5及びP6は、それぞれ点を接続する線分P1P2及びP3P4の中点であり、前記点を接続する線分P1P2は、前記点を接続する線分P5P6と直交し、∝は比例定数の存在を示す、請求項３に記載の線形の方法。
【請求項５】
成分r1, r2及びr3が、
r2T(P2-P1)=0
r3T(P2-P1)=0
r1T(P6-P5)=0
r3T(P6-P5)=0
として計算される、請求項４に記載の線形の方法。
【請求項６】
前記成分r1, r2及びr3が、
r3=(P6-P5)× (P2-P1)
r2=r3× (P2-P1)
r1=r2×r3
として計算される、請求項５に記載の線形の方法。
【請求項７】
【数２】
2005505063.tif 000013
であり、各点の対が３つの方程式を生じ、これにより前記回転及び並進について線形に解くために少なくとも４つの点の対が必要である、請求項４に記載の線形の方法。
【請求項８】
形式R=USVTを得るために特異値分解（ＳＶＤ）を使用して前記回転行列Rを分解するステップを更に有する、請求項７に記載の線形の方法。
【請求項９】
R=UVTによって新しい回転行列を計算するステップを更に有する、請求項７に記載の線形の方法。
【請求項１０】
顔の特徴データから頭部運動推定を実行する線形の方法であって、
−顔画像の４つの点Pkの画像位置を得るステップと、
−頭部姿勢を特徴付けるために点PkをFkに写像する回転行列Rを決定するステップであって、前記点F1, F2, F3, 及びF4は、前記顔画像の基準の正面図のそれぞれ前記４つの点の３次元（３Ｄ）座標を表し、Pkは、Pi=[Xi Yi Zi]Tであるような任意の点の３次元（３Ｄ）座標であり、前記写像は、
R(P2-P1)∝[1 0 0]T
R(P6-P5)∝[0 1 0]T
の関係によって決定され、ここでP5及びP6は、それぞれ点を接続する線分P1P2及びP3P4の中点であり、前記点を接続する線分P1P2は、前記点を接続する線分P5P6と直交し、∝は比例定数の存在を示す当該決定するステップと、
を有する方法。
【請求項１１】
成分r1, r2及びr3が、
r2T(P2-P1)=0
r3T(P2-P1)=0
r1T(P6-P5)=0
r3T(P6-P5)=0
として計算される、請求項１０に記載の線形の方法。
【請求項１２】
前記成分r1, r2及びr3が、
r3=(P6-P5)× (P2-P1)
r2=r3× (P2-P1)
r1=r2×r3
として計算される、請求項１１に記載の線形の方法。
【請求項１３】
頭部点の運動が、Pi’=RPi+Tによって表され、ここで
【数３】
2005505063.tif 000014
は画像回転を表し、T=[T1 T2 T3]Tは並進を表し、Pi’は、他の顔画像の４つの点Pkの３次元画像位置を示す、請求項１２に記載の線形の方法。
【請求項１４】
【数４】
2005505063.tif 000015
であり、各点の対が３つの方程式を生じ、これにより前記回転及び並進について線形に解くために、少なくとも４つの点の対が必要である、請求項１３に記載の線形の方法。
【請求項１５】
形式R=USVTを得るために特異値分解（ＳＶＤ）を使用して前記回転行列Rを分解するステップを更に有する、請求項１４に記載の線形の方法。
【請求項１６】
R=UVTによって新しい回転行列を計算するステップを更に有する、請求項１５に記載の線形の方法。
【請求項１７】
機械により読み取り可能なプログラム記憶装置であり、顔の特徴データから頭部運動推定を実行する方法ステップを実行するために前記機械により実行可能な命令のプログラムを有体として形体を与えるプログラム記憶装置であって、前記方法ステップが、
−第１顔画像を得て、前記第１画像において頭部を検出するステップと、
−P={p1, p2, p3, p4}及びpk=(xk, yk)であるような前記第１顔画像の４つの点Pの位置を検出するステップと、
−第２顔画像を得て、前記第２画像から頭部を検出するステップと、
−P’={p1’, p2’, p3’, p4’}及びpk’=(xk’, yk’)であるような前記第２顔画像の４つの点P’の位置を検出するステップと、
−前記点P及びP’を使用して回転行列R及び並進ベクトルTにより表される前記頭部の運動を決定するステップと、
を有する、プログラム記憶装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像位置、例えば、目尻及び口角から頭部運動推定を計算するシステム及び方法に関し、特に、４つの顔の特徴点を使用して頭部運動推定を実行する線形の方法に関する。特別な場合として、４つの特徴点からの頭部姿勢推定のためのアルゴリズムが、付加的に記述される。
【背景技術】
【０００２】
頭部姿勢認識は、人間とコンピュータの相互作用において重要な研究分野であり、頭部姿勢認識の多くのアプローチが提案されている。これらのアプローチのほとんどは、特定の特徴点を用いて顔をモデル化する。例えば、ほとんどの従来のアプローチは、瞳孔を含む６つの顔の特徴点を使用し、鼻孔及び口角が、顔をモデル化するために使用されるが、Z. Liu and Z. Zhangの題”Robust Head Motion Computation by Taking Advantage of Physical Properties”, Proc. Workshop on Human Motion, pp. 73-80, Austin, December 2000の参考文献において報告されるような、他のアプローチは、目尻と、口角と、鼻の頭とを含む５つの顔の特徴点を使用する。Zhangにおいて、頭部運動は、非線形最適化によって前記５つの特徴点から推定される。事実、顔姿勢推定のための従来のアルゴリズムは、非線形である。
【０００３】
線形であり、非線形解より少ないコンピュータの労力を要する顔姿勢推定アルゴリズムを提供することは、大いに望ましい。
【０００４】
更に、線形であり、目尻及び口角のような４つの特徴点のみに依存する顔姿勢推定アルゴリズムを提供することは、大いに望ましい。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
従って、本発明の目的は、線形解である頭部運動推定アルゴリズムを提供することである。
【０００６】
更に、本発明の目的は、線形であり、４つの顔の特徴点を使用する頭部運動推定アルゴリズムを提供することである。
【０００７】
本発明の他の目的は、頭部運動推定アルゴリズムに依存する頭部姿勢推定アルゴリズムを提供することである。
【課題を解決するための手段】
【０００８】
本発明の原理によると、顔の特徴データから頭部運動推定を実行する線形の方法が提供され、前記方法は、第１顔画像を得て、前記第１画像において頭部を検出するステップと、P={p1, p2, p3, p4}及びpk=(xk, yk)であるような前記第１顔画像の４つの点Pの位置を検出するステップと、第２顔画像を得て、前記第２画像において頭部を検出するステップと、P’={p1’, p2’, p3’, p4’}及びpk’=(xk’, yk’)であるような前記第２顔画像の４つの点P’の位置を検出するステップと、前記点P及びP’を使用して回転行列R及び並進ベクトルTにより表される前記頭部の運動を決定するステップとを有する。前記頭部運動推定は、以下の式によって決定される。
Pi’=RPi+T、ここで、
【数５】
2005505063.tif 000003
及びT=[T1 T2 T3]Tは、それぞれカメラの回転及び並進を表し、前記頭部姿勢推定は、頭部運動推定の特定の場合である。
【０００９】
有利に、４つの特徴点からの前記頭部姿勢推定アルゴリズムは、アバタ制御アプリケーション、ビデオチャット、及び顔認識アプリケーションに対して使用されることができる。
【００１０】
ここに開示される本発明の詳細は、下に列挙された図を利用して下に記述されるだろう。
【発明を実施するための最良の形態】
【００１１】
本発明の原理によると、目尻及び口角の画像位置から頭部運動推定を計算する線形の方法が提供される。特に、正面図画像が基準位置として使用される特別な場合である頭部姿勢推定を用いて、４つの点の照合から頭部運動を推定する方法が提供される。
【００１２】
前記方法は、より多くの点の照合（少なくとも７つ）を必要とするか、又は少なくとも５つの顔の特徴点の照合を必要とする非線形の方法であるかのどちらかであるような他の従来の方法より優れている。
【００１３】
一般に、前記頭部運動推定の方法は、下記の通りである。第１ステップは、第１画像I1を取得することであり、I1において前記頭部を検出する。この場合、I1において目尻及び口角に対応する点P、即ちP={p1, p2, p3, p4}が検出され、pk=(xk, yk)は、点の画像座標を示す。次いで、第２画像I2が取得され、I2において前記頭部が検出される。この場合、I2における目及び口並びにこれらの外側の角に対応する点P’、即ちP’={p1’, p2’, p3’, p4’}が検出され、ここでpk’=( xk’, yk’)である。P及びP’から、次のステップは、回転行列R及び並進ベクトルTにより表される前記頭部の運動の決定を含む。一度運動パラメータR及びTが計算されると、全ての点の照合の３次元構造が計算され得ると理解される。しかしながら、構造及び並進移動は、スケールのみによって決定されることができ、従って、もしTの大きさが固定されれば、前記構造は、一意的に決定される。もし３次元において１つの点の深さが固定されれば、Tは、一意的に決定されるだろう。
【００１４】
上述されたように、前記頭部姿勢推定のアルゴリズムは、前記頭部運動推定アルゴリズムの特別な場合であり、これが達成され得る２つの仕方、即ち１）基準画像を必要とする対話型と、２）汎用（平均バイオメトリック）頭部幾何学情報を使用し、汎用頭部モデル（ＧＨＭ）とも称される近似型がある。
【００１５】
対話型アルゴリズムに対して、以下のステップが実施される。１）システムを使用する前に、ユーザが、所定の基準位置においてカメラと向かい合うように頼まれる。基準の目尻及び口角P0が、上の前記ステップで記述されたように取得される。２）新しい画像が取得される場合、目尻及び口角が検出され、頭部運動が上の前記アルゴリズムにおいて示される残りのステップにおいて記述されるように推定される。３）前記頭部回転行列が、頭部姿勢行列に対応する。
【００１６】
近似アルゴリズムは、前記ユーザとのインタラクションを必要としないが、しかし特定のバイオメトリック情報が、全てのユーザに対して利用されることができ、固定されていると仮定する。例えば、図１に示されるように、システムCxyzとして示されるカメラ座標システム20に対する典型的な頭部19の典型的な特徴点の配置を含む前記近似アルゴリズムが描かれる。図１において、点P1及びP3は、汎用頭部モデル19のそれぞれ目尻及び口角を表す。前記正面図に対して、図１に示されるように、これらの点P1及びP3は、異なる深さ（それぞれZ1及びZ3）を持つ。角τが既知であり、全てのあり得る人間の頭部にわたる平均値が使用されると仮定される。これは正確な値ではないが、しかし、同じ人でさえ、カメラを真っ直ぐ見るように頼まれる場合に、繰り返しの実験において異なって頭部を傾けるかもしれないので、ピッチ（傾斜）角は、正確に計算することが非常に難しい。固定された角τに対して、頭部姿勢は、下でより詳細に説明されるであろうようにただ１つの頭部の画像から一意的に決定されることができる。
【００１７】
記述のために、カメラ又はデジタル画像キャプチャ装置は、異なる位置においてモデル頭部の２つの画像を取得したと仮定される。点p1, p2, p3及びp4は、第１画像における目尻（点p1, p2）及び口角（点p3, p4）の画像座標を示すとし、p1’, p2’, p3’,及び p4’は、第２画像における対応する目尻及び口角座標を示すとする。これらの特徴座標を与えられ、タスクは、これら第１及び第２の２つの画像間の頭部運動（回転及び並進により表される）を決定することである。
【００１８】
一般に、前記アルゴリズムは以下のステップ、即ち１）顔の制約を使用して、両方の画像から前記特徴点の３次元（３Ｄ）座標を計算するステップと、２）前記特徴点の前記３次元位置を与えられ、運動パラメータ（回転R及び並進T行列）を計算するステップとで実行される。
【００１９】
前記アルゴリズムによる前記特徴点の３次元座標を計算する前記ステップが、ここで記述される。図２に描かれる顔の幾何学10に示されるように、点P1, P2, P3,及び P4並びにP1’, P2’, P3’,及び P4’における特徴点は、前記初めの２つの画像における前記対応する目尻及び口角の３次元座標を示す。前記顔の幾何学から、図２に示されるように、以下の特性が仮定される。１）点を接続する線分P1P2 12は、点を接続する線分P3P4 15と平行であり、即ち、P1P2|| P3P4である。２）点を接続する線分P1P2 12は、点を接続する線分P5P6（P5及びP6は、それぞれ線分P1P2及び P3P4の中点である）と直交する。数値的に、これらの特性１及び２は、以下のように対応する式（１）及び（２）によって書かれることができる。
(X2-X1)/ (X4-X3)= (Y2-Y1)/ (Y4-Y3)= (Z2-Z1)/ (Z4-Z3)  （１）
((P1+P2)- (P3+P4))* (P2-P1)=0  （２）
ここでPi=[Xi Yi Zi]Tは、画像点piの３次元座標を示す。任意の点Pkの画像座標と３次元（３Ｄ）座標との間の関係は、以下のよく知られた遠近法方程式（perspective equation）により与えられる。
xk=Xk/Zk,  yk=Yk/Zk  （３）
モノクロ画像シーケンスからの構造再生は、スケールのみに従って実行され得るので、Z座標の１つが固定され、他の座標は、これに関して計算される。この故に、計算を単純化するために、及び一般性を失わずに、Z1=1と仮定される。式（１）をたすき掛けし、（３）を（１）に代入することにより、式（４）及び（５）に示される以下の関係が結果として生じる。
Z3[(x1-x3)- Z2(x2-x3)]- Z4[(x1-x4)- Z2(x2-x4)]=0  （４）
Z3[(y1-y3)- Z2(y2-y3)]- Z4[(y1-y4)- Z2(y2-y4)]=0  （５）
式（４）及び（５）が行列の形式で示される場合、式（６）が結果として生じる。
【数６】
2005505063.tif 000004
この式は、式（７）における判別式がゼロに等しい場合に限り、Z3及びZ4において非自明解を持つだろう。
【数７】
2005505063.tif 000005
同等に、式（７）は、以下のように式（８）として示され得る。
【数８】
2005505063.tif 000006
式（８）は、２次の多項式であり、２つの解を持つ。１つの自明解、Z2=1があり、第２の解が以下の式として見つかることは、（例えば（７）に代入することにより）証明することが容易である。
【数９】
2005505063.tif 000007
式（４）及び（５）の何れかにZ2を代入することにより、Z3及びZ4において１つの線形方程式が得られる。他の方程式は、（３）を（２）に代入することにより得られ、以下の形式である。
Z3ph3T(P1-P2)+ Z4ph4T(P1-P2)=||P1||2-||P2||2  （１０）
ここでphi=[xi yi 1]Tである。Z3及びZ4は、ここで式（１０）及び（４）から解かれることができる。
【００２０】
知られているように、前記頭部点の運動は、以下のように式（１１）によって表されることができる。
Pi’=RPi+T  （１１）
ここで
【数１０】
2005505063.tif 000008
及びT=[T1 T2 T3]Tは、それぞれカメラの回転及び並進を表す。式（１１）は、ここでR及びTによって以下のように書かれることができる。
【数１１】
2005505063.tif 000009
【００２１】
式（１２）から、各点の対が３つの方程式を生じることが観測される。未知の変数の総数は１２なので、少なくとも４つの点の対が、回転及び並進について線形に解くために必要である。
【００２２】
行列Rの要素が、独立ではない（即ち、RRT=I）と理解されるべきであり、従って一度行列Rが解かれると、行列Rは、真の回転行列を表すように補正される必要があるかもしれない。これは、特異値分解（ＳＶＤ）を使用してRをR=USVTの形式に分解し、以下のように式（１３）によって新しい回転行列を計算することにより実行されることができる。
R=UVT  （１３）
既知のように、“頭部姿勢”は、３つの角（ヨー、ロール及びピッチ）のセットとして、又は回転行列R（前記回転行列と前記姿勢角との間に１対１対応があると仮定する）として一意的に表され得る。対話型頭部姿勢推定は、頭部運動推定と同等であるが、しかしながら、以下のように２つのステップ、即ち１）目尻及び口角の両方が前記カメラから同じ距離にある（z1=z2=z3=z4）ようにユーザが彼／彼女の頭部を傾け、これが、補助基準位置（ＡＲＰ）であると仮定するステップと、２）前記ＡＲＰに対して頭部姿勢を計算するステップと、３）単にＡＲＰにおけるピッチ角の値からτを減算することによりピッチ角を更新するステップとに分解されることによりピッチ角を更新するステップとに分解することにより単純化され得る、近似頭部姿勢推定が記述される。
【００２３】
回転行列Rは、以下のように書かれることもできる。
【数１２】
2005505063.tif 000010
これは、条件RRT=I、又は同等に、
【数１３】
2005505063.tif 000011
を満たす。F1, F2, F3, F4は、前記顔の基準の正面図の前記目尻及び口角の前記３次元座標を示すとする。この場合、前記顔の幾何学的制約及び上の制約１）を説明して、以下の式１５）により決定される関係が得られる。
F2-F1∝[1 0 0]T  （１５）
F6-F5∝[0 1 0]T
ここで記号∝は、“スケール次第で等しい”即ち比例することを意味する。本発明により達成された目的は、PkをFkに写像する姿勢行列Rを見つけることであり、即ち、
R(P2-P1)∝[1 0 0]T  （１６）
R(P6-P5)∝[0 1 0]T
前記回転行列の行に関して、式（１６）は以下のように書かれてもよい。
r2T(P2-P1)=0  （１７）
r3T(P2-P1)=0
r1T(P6-P5)=0
r3T(P6-P5)=0
（１７）における２番目及び４番目の式から、r3は以下のように計算されることができる。
r3=(P6-P5)× (P2-P1)  （１８）
前記回転行列の残りの成分は、以下のように（１４）及び（１７）から計算されることができる。
r2=r3× (P2-P1)  （１９）
r1=r2×r3
式（１９）から、ヨー、ロール及びピッチ角を計算するのは簡単である。前記真のピッチ角は、この場合、現在の値からτを減算することにより得られる。
【００２４】
何が本発明の好ましい実施例であると見なされるかが示され、記述されたが、もちろん、形式又は詳細における様々な修正及び変更が、本発明の精神から外れることなく容易に行われることができると理解されるだろう。従って、本発明が、記述され、図示された正確な形式に制限されず、添付された請求項の範囲内に属し得る全ての修正を網羅するように構成されるべきであると意図される。
【図面の簡単な説明】
【００２５】
【図１】典型的な頭部に対する典型的な特徴点の構成を描く。
【図２】本発明の頭部姿勢推定アルゴリズムの基準を提供する顔の幾何学10を描く。
【国際公開パンフレット】
2005505063.tif 000016
2005505063.tif 000017
2005505063.tif 000018
2005505063.tif 000019
2005505063.tif 000020
2005505063.tif 000021
2005505063.tif 000022
2005505063.tif 000023
2005505063.tif 000024
2005505063.tif 000025
2005505063.tif 000026
2005505063.tif 000027
2005505063.tif 000028
【国際調査報告】
2005505063.tif 000029
2005505063.tif 000030
2005505063.tif 000031