(57)【要約】以下のステップからなる観察者の視線方向を決定する方法が開示されている。（ａ）少なくとも一つの観察者の画像を取得し、観察者の頭部姿勢角度を決定する。（ｂ）頭部姿勢角度を使用して、観察者の予想される眼の位置を位置測定する。また、（ｃ）観察者の少なくもと一方の眼の位置を位置測定するために予想される眼の位置を分析し、視線方向を設定するために眼の位置を観察する。
2004504684.tif 000002
【特許請求の範囲】
【請求項１】
人の頭部姿勢測定値の決定方法であって、前記頭部姿勢測定値は回転変位と並進変位とを含み、
（ａ）少なくとも２つの視点から前記人の顔及び頭部の画像を取得し、
（ｂ）頭部姿勢の初期推定を計算し、
（ｃ）２以上の顔器官の三次元位置を計算し、
（ｄ）前記２以上の顔器官の前記計算された位置に対して頭部モデルを最も適合させる、回転変位及び並進変位を決定する、
ステップを備える、人の頭部姿勢の測定値の測定方法。
【請求項２】
前記ステップ（ｂ）は、前記取得した画像のうちの２以上内で前記顔を位置測定するサブステップを含む、請求項１に記載の人の頭部姿勢測定値の決定方法。
【請求項３】
前記ステップ（ｃ）は、
前記頭部姿勢の初期推定に基づいて、識別可能な顔器官を含む可能性のある前記個々の取得した画像内で、器官検索領域を識別し、
前記取得した各画像内の２以上の各器官検索領域内で、２以上の顔器官の位置を測定する、
サブステップを備える、請求項１又は請求項２に記載の人の頭部姿勢測定値の決定方法。
【請求項４】
人の視線の方向を受動的に決定する方法であって、
（ａ）少なくとも２つの視点から前記人の顔及び頭部の画像を取得し、
（ｂ）前記２以上の取得した画像内で顔を位置測定し、
（ｃ）頭部姿勢の初期推定を計算し、
（ｄ）前記頭部姿勢の初期推定に基づいて、識別可能な顔器官を含む可能性のある前記個々の取得した画像内で、器官検索領域を識別し、
（ｅ）前記取得した各画像の２以上の各器官検索領域内で、２以上の顔器官の位置を測定し、
（ｆ）前記２以上の各顔器官の三次元位置を計算し、
（ｇ）前記２以上の顔器官の前記計算した位置に対して頭部モデルを最も適合させる回転変位及び並進変位を含む、頭部姿勢測定値を決定し、
（ｈ）眼球中心の位置の決定のために前記頭部姿勢測定値を使用し、
（ｉ）前記取得した各画像内で前記眼球と対応する眼領域を検知するために前記頭部姿勢の測定値を使用し、前記眼の虹彩の中心位置を決定し、
（ｊ）前記眼の視線方向を計算するために、前記決定した眼球の中心位置と前記決定した眼の虹彩の中心位置とを使用する、
ステップを備える、人の視線の方向を受動的に決定する方法。
【請求項５】
人の２つの眼の視線の方向を平均化することで、前記人の視線の方向を計算し、請求項４に記載の方法を使用して前記個々の眼の視線方向を決定する、人の視線の方向を受動的に決定する方法。
【請求項６】
人の顔の眼の眼閉鎖量を決定する方法であって、前記眼は眼球、上瞼、及び下瞼を備え、前記上瞼及び下瞼は一対の目尻で交わり、前記眼閉鎖量は瞼距離に対する目尻分離量の割合として定義され、
（ａ）少なくとも２つの視点から前記人の顔及び頭部の画像を取得し、
（ｂ）前記取得した画像から頭部姿勢の測定値を決定し、
（ｃ）前記取得した画像内で眼領域を決定するために前記頭部姿勢の測定値を使用し、
（ｄ）前記眼領域内の前記目尻の位置を決定し、
（ｅ）前記上瞼及び下瞼に対して少なくとも２つの指向性エッジディテクタを適合させ、各目尻において前記上瞼の前記指向性エッジディテクタの１つを、前記下瞼の前記指向性エッジディテクタの１つに交差させ、
（ｆ）前記各瞼に対応する前記少なくとも２つの指向性エッジディテクタに対して放物線を適合して、前記上瞼及び前記下瞼の位置を概算し、各放物線はその放物線の個々の瞼の少なくとも２つの指向性エッジディテクタに対して正接し、
（ｇ）前記瞼間の距離を計算することにより前記目尻分離量を決定し、
（ｈ）前記放物線の前記目尻間の部分での前記放物線間の前記目尻を結ぶ線に対して直交する方向の最大距離を計算することにより、最大瞼距離を決定し、
（ｉ）前記決定した目尻分離量の最大瞼距離に対する割合を用いて眼閉鎖量を計算する、
ステップを備える、人の顔の眼の眼閉鎖量を決定する方法。
【請求項７】
人の眼の瞬きを検出する方法であって、
前記請求項４に記載の方法を使用して眼閉鎖値を計算し、
前記眼閉鎖値のテンポラルシーケンスを形成し、
前記眼閉鎖値のテンポラルシーケンスと瞬きテンプレートを比較し、前記瞬きテンプレートは、前記瞬きテンプレートと眼閉鎖値の前記モデルテンプレートシーケンス間の相関値を決定するために、瞬きに対応する眼閉鎖値のシーケンスを含み、前記相関値が予め定められた閾値よりも大きい場合には瞬きの発生が決定される、
ステップを備える、人の眼の瞬きを検出する方法。
【請求項８】
複数の独立の測定値を使用して人の眼の瞬きを検出する方法であって、前記複数の測定値はそれぞれ経時変化する出力値を生成し、前記複数の測定値の少なくとも１つは請求項６に記載の方法を使用して計算された眼閉鎖値の測定値であり、
前記複数の独立の測定値の２以上の出力値を重み見付けして合成して瞬き検出値を計算し、前記瞬き検出値が予め定められた瞬き検出値の閾値よりも大きい場合には瞬きの発生が決定される、
ステップを備える、人の眼の瞬きを検出する方法。
【請求項９】
眼領域テンプレート相関係数と、
前記眼領域におけるオプティカルフローの測定値と、
眼領域画像の変動率と、
虹彩テンプレート相関係数と
のうちから、前記独立の測定値の少なくとも１つを選択する、請求項８に記載の人の眼の瞬きを検出する方法。
【請求項１０】
観察者の視線方向を決定する方法であって、
（ａ）前記観察者の少なくとも１つの画像を取得して前記観察者の頭部姿勢角度を決定し、
（ｂ）前記観察者の予想される眼位置を位置検出するために前記頭部姿勢角度を使用し、
（ｃ）前記観察者の少なくとも１つの眼を位置検出するために前記予想される眼位置を分析し、前記眼位置を観察して視線方向を決定する
ステップを備える、観察者の視線方向を決定する方法。
【請求項１１】
前記ステップ（ａ）はステレオ画像の取得と、このステレオ画像の処理を含む、請求項１０に記載の方法。
【請求項１２】
前記ステップ（ａ）は、
（ｉ）観察者の顔において一組の識別可能な器官を決定し、
（ｉｉ）現在の頭部姿勢の候補器官位置を分類して見込みのある頭部姿勢を決定する
ステップを含む、請求項１０又は請求項１１に記載の方法。
【請求項１３】
前記方法は、観察者の顔に遮蔽があると緩やかに質低下する、請求項１０から請求項１２のいずれか１項に記載の方法。
【請求項１４】
前記遮蔽はユーザによる眼鏡又はサングラスの装着である、請求項１３に記載の方法。
【請求項１５】
観察者の眼の回転の中心の三次元位置の決定をさらに含む、前記請求項のいずか１項に記載の方法。
【請求項１６】
観察者の眼の閉鎖及び瞬きの決定をさらにおこなう、前記請求項のいずれか１項に記載の方法。
【請求項１７】
人の柔軟性のある顔器官を検出する方法であって、
頭部姿勢の測定値に基づいて、前記顔器官の予想される位置に対する前記顔器官の位置の分散を、その器官が柔軟性を有するかを決定する閾値分散と比較する　ステップを備える、人の柔軟性のある顔器官を検出する方法。
【請求項１８】
前記頭部姿勢測定値は、前記請求項１から請求項３のいずれか１項に記載の方法を使用して決定される、請求項１７に記載の方法。
【請求項１９】
観察者の挙動を分析するために前記請求項のいずれか１項に記載の方法が使用される、仕事を実行中の人の分析方法。
【請求項２０】
観察者の顔の個々の器官が柔軟か固定されているかを決定するために測定器官位置を使用する、請求項１から請求項１７のいずれか１項に記載の方法。
【請求項２１】
被験者の動きが前記請求項のいずれか１項に係る方法を使用して追跡され、前記動きに応じて画像がアニメーション化される、画像をアニメーション化する方法。
【請求項２２】
オペレータの頭部姿勢、視線、眼閉鎖量、及び瞬き率のうちの１以上を追跡するステップを含む、オペレータの疲労を測定する方法。
【請求項２３】
請求項１から請求項３のいずれか１項に記載の方法を使用して頭部姿勢を測定する、オペレータの疲労を測定する方法。
【請求項２４】
前記請求項４、５、又は１０から１４のいずれか１項に記載の方法を使用して視線を測定する、オペレータの疲労を測定する方法。
【請求項２５】
前記請求項６に記載の方法を使用して眼閉鎖量を測定する、オペレータの疲労を測定する方法。
【請求項２６】
請求項７から請求項９のいずれか１項に記載の方法を使用して瞬き率を決定する、オペレータの疲労を測定する方法。
【請求項２７】
前記請求項の方法を実行するときの装置。
【請求項２８】
添付図面を参照して説明したものと実質的に同一の視線検出方法。
【請求項２９】
添付図面を参照して説明したものと実質的に同一の頭部姿勢検出方法。
【請求項３０】
添付図面を参照して説明したものと実質的に同一の瞬き検出方法。
【請求項３１】
添付図面を参照した説明したものと実質的に同一の眼閉鎖量の決定方法。
【発明の詳細な説明】
【０００１】
（発明の分野）
本発明は、複数のビデオソースからの画像解析を使用する、三次元頭部姿勢、視線方向、眼の閉鎖量、眼の瞬きの検出、及び人間の顔の柔軟性がある器官（ｆｌｅｘｉｂｌｅ ｆｅａｔｕｒｅ）検出の決定のためのシステム及び方法に関する。また、本発明は、人間の頭部や顔の受動型のビデオ解析を使用して決定を行う、システム及び方法に関する。これらの方法は、人体挙動計測、オペレータの監視、及びインタラクティブなマルチメディアのような応用分野で使用することができる。
【０００２】
（発明の背景）
頭部姿勢の決定に使用された初期の技術では、追跡される被験者の頭部に固定される装置が使用されていた。例えば、被験者の頭部に反射装置が取り付けられ、これらの反射器に照射される光源を使用して、反射器の位置を決定していた。このような反射装置は頭部自体よりもはるかに容易に追跡することができるので、頭部姿勢の追跡の問題は大幅に単純化された。
【０００３】
頭部姿勢追跡のための装置を装着する被験者の他の例としては、仮想現実のヘッドセットがある。通常、これらの装置は、指向性アンテナとラジオ周波数源、又は指向性磁気計測により、頭部姿勢を決定する。
【０００４】
装置の装着に対するユーザの能力と受容がシステムの信頼性に直接的に影響するので、いかなる種類の装置を装着することも明らかに欠点がある。一般に、装置は邪魔で、ユーザの挙動に影響を及ぼし、自然な動作ないしは操作を阻害する。
【０００５】
頭部姿勢を決定するために、あるパターンの光線を顔に照射する、構造化光線技術（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ ｔｅｃｈｎｉｑｕｅ）も知られている。
【０００６】
単純な画像処理を用いて３次元情報を回復するのを容易にするために、光線パターンが構造化される。しかしながら、この技術は照射変更の条件に誤りが生じる傾向があるので、自然の照明条件下で使用するのに適していない。
【０００７】
米国特許第６，０４９，７４７号には、構造化された赤外線を使用して頭部姿勢を決定するドライバ監視装置が記載されている。この技術では、頭部姿勢を測定し、それをドライバの視線方向の概算とみなす。より詳細な視線の解析に欠けるので、このようなシステムは有用性が明らかに制限される。
【０００８】
他のグループの頭部姿勢追跡技術には、いわゆる「分類技術（Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｔｅｃｈｎｉｑｕｅ）」がある。この分類技術では、ビデオ画像を可能性のある結果の組の一つとして分類する。この技術では、ヒストグラム、主成分分析、及びテンプレートマッチングのような方法を使用することが多い。このアプローチの主な問題は、頭部の方向のみが測定され、頭部の変位は考慮されていないことである。
【０００９】
その瞬間の方向を、定義された可能性のある方向の組の一つとして分類することで、頭部の方向が測定される。頭部位置の候補の数が増えると、分類を誤る可能性も増大する。他の難点としては、頭部位置の候補の組を事前に作成しなければならないことがある。これは面倒な処理である。
【００１０】
日本の奈良で１９９８年に開催された「自動及びジェスチャ認識の会議（Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ａｕｔｏｍａｔｉｃ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ）」の「視線方向の分類に対する質的アプローチ（Ａ Ｑｕａｌｉｔａｔｉｖｅ Ａｐｐｒｏａｃｈ ｔｏ Ｃｌａｓｓｉｆｙｉｎｇ Ｇａｚｅ Ｄｉｒｅｃｔｉｏｎ）」でパップウ（Ｐａｐｐｙ）とベアドスレイ（Ｂｅａｒｄｓｌｅｙ）によって、発表されたシステムは、頭部姿勢の決定に使用する分類技術の現状の一例を示している。
【００１１】
頭部姿勢検出の他の知られているシステムでは、一般化された３次元頭部メッシュ構造を一連の画像に対してマッチングする技術を使用している。この技術では、３次元メッシュの候補の２次元投影と画像の間との誤差の測定により、頭部姿勢の予測を反復して精緻化する。
【００１２】
この技術は計算上高価であり、一般化されたメッシュモデルと追跡される実際の頭部との間の類似性に精度が大きく依存する。従って、人間の顔は広範な多様性があるので、正確な計測は保証されない。この技術は、人の顔の外観を部分的に変える目的での非リアルタイムの画像処理への適用に適している。
【００１３】
この方式の技術を使用するシステムの例は、いずれもフランスのグルノーブルで開催された自動及びジェスチャ認識の会議２０００（Ｃｏｎｆｅｒｅｎｃｅ ｏｆ Ａｕｔｏｍａｔｉｃ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ ２０００）で発表された、マリウス・マルシウ（Ｍａｒｉｕｓ Ｍａｌｃｉｕ）とフランコイセ・プレティュク（Ｆｒａｎｃｏｉｓｅ Ｐｒｅｔｅｕｘ）の「ビデオシーケンスにおける３次元頭部追跡のロバスト・モデルに基づく試み（Ａ Ｒｏｂｕｓｔ Ｍｏｄｅｌ−Ｂａｓｅｄ Ａｐｐｒｏａｃｈ ｆｏｒ ３Ｄ Ｈｅａｄ Ｔｒａｃｋｉｎｇ ｉｎ Ｖｉｄｅｏ Ｓｅｑｕｅｎｃｅ）」や、イェ・チャン（Ｙｅ Ｚｈａｎｇ）とチャンドラ・カンブハメツ（Ｃｈａｎｄｒａ Ｋａｍｂｈａｍｅｔｔｕ）の「部分遮蔽下でのロブスト３次元頭部追跡（Ｒｏｂｕｓｔ ３Ｄ Ｈｅａｄ Ｔｒａｃｋｉｎｇ Ｕｎｄｅｒ Ｐａｒｔｉａｌ Ｏｃｃｌｕｓｉｏｎ）」に見られる。
【００１４】
頭部姿勢検出に使用される他の知られた技術としては、運動からの構造復元技術がある。運動からの構造復元は、単一のビデオソースから物体の三次元形状を復元できる技術であり、カメラに対して相対移動した時に異なる視野から得られるその物体の情報を使用する。このような技術は、１９９９年のコンピュータ映像の国際会議（Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ）における人間のモデリングに関する研究集会（Ｍｏｄｅｌｉｎｇ Ｐｅｏｐｌｅ Ｗｏｒｋｓｈｏｐ）で発表された、ジェイ・ストローム（Ｊ．Ｓｔｒｏｍ）、ティー・ジェバラ（Ｔ．Ｊｅｂａｒａ）、エス・バス（Ｓ．Ｂａｓｕ）、及びエイ・ペントランド（Ａ． Ｐｅｎｔｌａｎｄ）の「顔のリアルタイム追跡及びモデリング：統合アプローチによるＥＫＦに基づく解析（Ｒｅａｌ Ｔｉｍｅ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍｏｄｅｌｉｎｇ ｏｆ Ｆａｃｅｓ：Ａｎ ＥＦＫ−ｂａｓｅｄ Ａｎａｌｙｓｉｓ ｂｙ Ｓｙｎｔｈｅｓｉｓ Ａｐｐｒｏａｃｈ）」で論じられている。
【００１５】
頭部姿勢の追跡に使用する場合、頭部の３次元モデルは一般化された三次元メッシュを使用して初期化され、顔の形状及び頭部姿勢の両方を反復して更新するために、拡張されたカルマンフィルタが使用される。
【００１６】
一般的な人間の顔の形状の変化により、この技術の収斂は保証されない。使用されるアプローチに適応性があるのである程度緩和されるものの、これはテンプレート・メッシュモデルフィルタリング技術と同様の問題である。
【００１７】
また、この技術は微笑や瞬きのような顔のゆがみに弱いという点に留意することが重要である。
【００１８】
米国特許第５，８６７，５８７号には瞬き検出を使用する疲労計測が記載され、米国特許第５，８７８，１５６号には眼の状態の検出に基づく疲労計測の技術が記載されている。いずれの方法も、自動車の運転中のような広範囲での頭部の運動を伴う仕事（ｔａｓｋ）に適用された場合には、十分でない。
【００１９】
器官テンプレート（ｆｅａｔｕｒｉｎｇ ｔｅｍｐｌａｔｅ）を使用するステレオ復元も知られている。１９９８年に日本の奈良で開催された顔及びジェスチャの自動認識の会議（Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ａｕｔｏｍａｔｉｃ Ｆａｃｅ ａｎｄ Ｇｅｓｔｕｒｅ Ｒｅｃｏｇｎｉｔｉｏｎ）で発表されたミン・クゥ（Ｍｉｎｇ ＸＵ）とタカコ・アカツカ（Ｔａｋａｋｏ Ａｋａｔｓｕｋａ）の「動的顔認識のためのステレオ画像シーケンスからの頭部姿勢検出（Ｄｅｔｅｃｔｉｎｇ Ｈｅａｄ Ｐｏｓｅ ｆｒｏｍ Ｓｔｅｒｅｏ Ｉｍａｇｅ Ｓｅｑｕｅｎｃｅ ｆｏｒ Ａｃｔｉｖｅ Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ）」は、動的顔認識のためのシステムを示している。このシステムは、頭部姿勢を復元及び近似させるために、４種類の顔の器官のみを使用しており、そのうちの２種類は両眼である。頭部及び眼の運動（瞬きを含む。）に弱く、均質な画像背景が必要であるので、このシステムは実用的な頭部追跡に使用することができない。また、頭部が動いた時に器官の変形及び／又は遮蔽により、頭部運動の計測の範囲及び精度が大幅に制限される。
【００２０】
１９９６年の英国機械視覚会議（Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ）の会報に掲載のノーバート・クルーガ（Ｎｏｒｂｅｒｔ Ｋｒｕｇｅｒ）、マイケル・ポトッシュ（Ｍｉｃｈａｅｌ Ｐｏｔｚｓｈ）、トーマス・マウラー（Ｔｈｏｍａｓ Ｍａｕｒｅｒ）、及びマイケル・リン（Ｍｉｃｈａｅｌ Ｒｉｎｎｅ）の「ラベル付きグラフによる顔の位置及び姿勢の推定（Ｅｓｔｉｍａｔｉｏｎ ｏｆ Ｆａｃｅ Ｐｏｓｉｔｉｏｎ ａｎｄ Ｐｏｓｅ ｗｉｔｈ Ｌａｂｅｌｌｅｄ Ｇｒａｐｈｓ）」における研究では、一括化グラフフィッティング（ｂｕｎｃｈｅｄ ｇｒａｐｈ ｆｉｔｔｉｎｇ）と組み合わせた、ガボール・フィルタ（Ｇａｂｏｒ ｆｉｌｔｅｒ）に基づくテンプレート追跡の使用が研究されている。これは初期の論文であり、他の研究は以下のインターネットアドレスで見ることができる。
【００２１】
ｈｔｔｐ：／／ｓｅｌｆｏｒｇ．ｕｓｃ．ｅｄｕ：８３７６／−ｔｍａｕｒｅｒ／ｉｎｔｒｏｄｕｃｔｉｏｎ．ｈｔｍｌ
【００２２】
しかしながら、記載されているシステムは、信頼性を持って視線を追跡するために頭部姿勢情報を使用する機能を備えていない。
【００２３】
頭部姿勢検出と同様に、過去の視線の計測は被験者が着用する装置を使用することでなされていた。
【００２４】
視線検出のために装着する装置は、眼の近傍に配置される鏡、レンズ、あるいはカメラを備え、ある例では眼に配置される特別なコンタクトレンズを備えている。すべての方法が、高解像度を得ること、あるいは頭部位置とは無関係に眼の画像を容易に識別することを目的としている。
【００２５】
頭部姿勢検出の場合と同様に、ユーザが装置を着用する能力及び許容度と、それが信頼性に直接影響を与える点で、いかなる種類の装置を着用することも不利である。一般に装置は邪魔であって、ユーザの挙動に影響し、自然な動作及び操作を妨げる。
【００２６】
赤外線技術は、監視される人の顔に赤外線光を照射し、人の眼からの反射を検出及び分析する。
【００２７】
赤外線反射技術は、眼の表面、眼の角膜、又はその両方からの反射を検出することで機能する。
【００２８】
最初の反射は眼の球状表面から来る。この反射は眼の位置を決定する。ビデオカメラが赤外線源に連結されていれば、この反射の位置は眼球中心の位置を直接的に測定する。一方、角膜はコーナ・リフレクタとして機能する。
【００２９】
眼球表面又は角膜からの反射を検出し、角膜輪部の中心を位置検出するために、画像処理が使用される。次に、虹彩中心と反射の相対位置差を使用して精密な視線推定を計算することができる。
【００３０】
赤外線検出により非常に正確な視線計測が可能となる。しかし、この技術は以下の理由で限定される。
【００３１】
角膜は狭い角度範囲で、光源に対してのみ光線を反射する（コーナ・リフレクタと同様に機能する）。そのため視線が狭い範囲に限定される場合に、赤外線の適用が制限される。
【００３２】
高い信頼性をもって眼の反射を分析するには、高解像度の画像が必要となる。画像センサの解像度は限定されているので、これによってセンサの視野が制限される。この問題を解決するには、非常に高価な高解像度のセンサを使用するか、大型で故障がちである機械的なパン・チルト機構（ｐａｎ−ｔｉｌｔ ｍｅｃｈａｎｉｓｍ）を使用するかのいずれかである。
【００３３】
自然な照明条件では、反射屈折プロセスが容易に混乱する。信頼性向上のためにフラッシュ技術が使用されることが多いが、太陽光に対する瞳孔の飽和によりフラッシュ検出が失敗する。運転状態で一般的である瞳孔上での光の揺れによっても、計測に誤差が生じる。
【００３４】
赤外線反射技術を使用してなされる視線計測は二次元のみである。すなわち、眼球のカメラからの距離が決定されないので、頭部のカメラからの距離が固定されているという仮定に基づいて計測が行われる。カメラへ向かう又はそれから離れる頭部の運動により眼の反射の距離が変化し、視線方向の変化として判断される可能性がある。
【００３５】
カメラへ向かう又はそれから離れる運動を補償する技術は、反射物の画像領域又は顔の他の領域の計測に基づくが、解像度制約、他の光源からの反射の重なり、及び頭部の回転によるゆがみにより、ノイズが発生する傾向がある。
【００３６】
受動型の視線分析の既知の技術の大部分が、以下を含む多数の共通の問題のうちの一つを有している。
【００３７】
−視線は顔の向きに対して直角であると仮定されており、この方法は眼の領域を検出する技術に過ぎない。受動的な視線分析は実際には実行されていない。
【００３８】
−当該技術は頭部の向き及び運動を補償するための三次元的な頭部姿勢の追跡を行うことなく視線追跡を実行しており、画像平面上の並進が限定されているか、頭部が完全に動かない場合に応用が制限される。
【００３９】
いくつかの既知の技術では、視線方向の推定にニューラルネットワークを使用する。ニューラルネットワークは監視される人毎に長期間の学習が必要であり、すべての頭部運動に適用できるものではない。
【００４０】
眼の回転による虹彩環のゆがみの認知に基づく技術は、ノイズが激しく解像度に対して敏感な傾向がある。
【００４１】
１９９９年に日本の東京で開催された、システム、人、及びサイバネティクスに関するＩＥＥＥ国際会議（ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｓｙｓｔｅｍｓ， Ｍａｎ， ａｎｄ Ｃｙｂｅｒｎｅｔｉｃｓ）で発表されたキム・キュンナム（Ｋｉｍ Ｋｙｕｎｇ−Ｎａｍ）他の「ヒューマン・コンピュータ・インターフェースのための視野に基づく視線追跡（Ｖｉｓｉｏｎ−Ｂａｓｅｄ Ｅｙｅ−Ｇａｚｅ Ｔｒａｃｋｉｎｇ ｆｏｒ Ｈｕｍａｎ Ｃｏｍｐｕｔｅｒ Ｉｎｔｅｒｆａｃｅ）」は、虹彩中心を見つけ出すために、環状ハフ変換（ｃｉｒｃｕｌａｒ Ｈｏｕｇｈ ｔｒａｎｓｆｏｒｍ）を使用している。虹彩中心の顔上に装着される固定のマーカからの距離を使用して視線方向が決定される。よって、この技術では、頭部の回転及びカメラ軸に沿った頭部の並進は、視線方向の変化であると判断される。
【００４２】
米国特許第６，０７２，８９２号には、「眼の位置の検出装置及びその方法（ｅｙｅ ｐｏｓｉｔｉｏｎ ｄｅｔｅｃｔｉｎｇ ａｐｐａｒａｔｕｓ ａｎｄ ｍｅｔｈｏｄ ｔｈｅｒｅｏｆ）」について記載されている。この技術ではヒストグラム分類の手法を用いて、顔画像における眼の位置を検出する。この技術は眼の位置を検出するだけで、実際の視線測定は実行していない。
【００４３】
米国特許第６，０５５，３２３号には、まず両鼻孔（ｎａｒｅｓ， ｎｏｓｔｒｉｌｓ）を検出し、顔のデフォルトモデルを使用して眼の画像領域を決定することで、顔画像中の両眼の位置を検出する、「顔画像処理（ｆａｃｅ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ）」の技術が記載されている。
【００４４】
米国特許第５，８５９，６８６号には、検出誤差の可能性を減少するために可能性のある眼の位置に関する知識を組み合わせて、虹彩画像テンプレートの標準化された相互相関を使用して眼を検出して追跡する「眼の検知及び追跡システム（ｅｙｅ ｆｉｎｄｉｎｇ ａｎｄ ｔｒａｃｋｉｎｇ ｓｙｓｔｅｍ）」について記載されている。
【００４５】
これらの各技術は、頭部の三次元的運動を考慮しておらず、頭部の回転及びカメラ軸に沿った頭部の並進により誤差が生じる傾向がある。
【００４６】
装置の装着と能動的な感知も眼の閉鎖及び瞬きの検出に使用されている。
【００４７】
眼閉鎖量の測定又は瞬きの検出のために装着する装置は２つのカテゴリーに大別される。すなわち、眼の付近に装着され瞼の筋肉の活動を計測する電極を使用する技術と、頭部に装着されて眼の領域に赤外線光を照射し、反射光に基づいて眼閉鎖量を検出する装置とがある。
【００４８】
装着に対するユーザの能力と許容度が、信頼性に直接的に影響するので、いずれの種類の装置を装着することも問題があることは明らかである。この種の装置は一般に邪魔でユーザの挙動に影響し、自然な運動及び操作を阻害する。
【００４９】
眼閉鎖及び瞬きを検出するための既知の動的なビデオ技術の一つでは、３個のパラメータについて変形可能な眼のテンプレートを備えている。最初の２個のパラメータは瞼の放物線形状を表し、３番目のパラメータは虹彩と強膜の間の角度を示す円の半径を表している。この技術は個々の眼の目尻位置を検出することによるものである。頭部姿勢を三次元的に追跡していないので、頭部が画像平面から離れるようには回転しないという仮定が組み込まれている点は、眼を検出する技術と同様である。
【００５０】
米国特許第５，８６７，５８７号には、「眼の瞬きの分析を使用するオペレータの疲労の検出及び警告システム（ｉｍｐａｉｒｅｄ ｏｐｅｒａｔｏｒ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｗａｒｎｉｎｇ ｓｙｓｔｅｍ ｅｍｐｌｏｙｉｎｇ ｅｙｅｂｌｉｎｋ ａｎａｌｙｓｉｓ）」について記載されている。この技術は、瞬きの発生を検出し、オペレータの疲労を検出する目的で瞬きの継続時間を計測する。まず、米国特許第５，８５９，６８６号の特許されている技術を用いて眼が検出される。眼のテンプレートの相関における変動が特定の条件の組を満たすと、瞬きの発生が検出される。オペレータの頭部が大きく回転したような場合には頭部姿勢の追跡が不適切となるので、記載されている瞬き検出の技術は不完全である。
【００５１】
米国特許第５，８７８，１５６号には、「入力された顔画像における眼と眉の関係の分析に基づく眼の開放／閉鎖状態の検出（ｄｅｔｅｃｔｉｎｇ ｔｈｅ ｏｐｅｎ／ｃｌｏｓｅｄ ｓｔａｔｅ ｏｆ ｔｈｅ ｅｙｅｓ ｂａｓｅｄ ｏｎ ａｎａｌｙｓｉｓ ｏｆ ｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｅｙｅ ａｎｄ ｅｙｅｂｌｏｗ ｉｍａｇｅｓ ｉｎ ｉｎｐｕｔ ｆａｃｅ ｉｍａｇｅｓ）」のための技術について記載されている。この技術では、眼と眉の周辺の画像領域を二値化し、眼と眉を表す領域を決定し、次にこれらの領域の重心間距離を計算する。眼及び眉の画像領域の比率を決定する技術が、カメラからの頭部姿勢距離の変化に対する信頼性を与えるために使用される。平面での頭部の回転運動により眉と眼の画像領域の面積比率が変化し、それが頭部姿勢距離の変化であると判断されるので、頭部が左右に回転する場合には信頼性がない。また、この技術は、オペレータが色の薄い又はブロンドの眉を有する場合や、顔面で眉が動き回る場合や、眼における光の反射条件が変化する場合には、信頼性がない。さらに、この技術は、眼鏡又はサングラスを使用しているときには、フレームが眉の画像領域を覆うというだけの理由で、まったく機能しない。
【００５２】
要約すると、視線の測定、眼の閉鎖の測定、又は瞬き検出についての既知の技術は、頭部姿勢の三次元的推定を、視線、眼の閉鎖、又は瞬きの検出のようなさらに進んだ顔の分析の基礎として用いていない。これらの技術は、頭部姿勢、視線、眼の閉鎖、又は瞬きの検出を独立して計測しており、同時に行っていない。従って、これらの技術は測定間の関係を有効利用することができず、概ね、測定上の問題を過度に単純化した手法であるため、適用が制限される。
【００５３】
さらに詳細には、既知の技術は、視線や眼の閉鎖の測定や瞬きの検出の際の頭部の位置及び回転の広範な変化について好適に説明されておらず、信頼性を主張するにもかかわらず、特定の限られた頭部姿勢についてのみしか信頼性が得られない。従って、既知の技術は、自動車の運転のような着座姿勢での機械操作における一般的な頭部の運動に適用するには不十分である。
【００５４】
また、顔のどの部位に柔軟性があるかを自動的に検出する先行技術は知られていない。顔アニメーション（ｆａｃｉａｌ ａｎｉｍａｔｉｏｎ）のためのモーションキャプチャの分野では、このような技術に対する要求がある。
【００５５】
今日の顔アニメーション技術では、人間の顔上に規定されたポイントないしはノードを、コンピュータアニメーションのキャラクタ上の他の一群のポイントないしはノードにマッピングする。これらのポイントは顔上にマークを配置することで手動的に選択され、次にアニメーションソフトウェア中の顔の外形上に対応する制御ポイントが配置される。この制御ポイントを識別するプロセスは冗長であり、自動的に顔上のすべての柔軟性ポイントを見つけ出すことで改良することが望まれる。
【００５６】
米国特許第６，０２８，９６０号には、「自動読唇及びキャラクタ・アニメーションのための顔器官の分析（ｆａｃｅ ｆｅａｔｕｒｅ ａｎａｌｙｓｉｓ ｆｏｒ ａｕｔｏｍａｔｉｃ ｌｉｐ−ｒｅａｄｉｎｇ ａｎｄ ｃｈａｒａｃｔｅｒ ａｎｉｍａｔｉｏｎ）」の技術が記載されている。この技術では鼻孔の特徴を識別することで顔を追跡し、唇及び口の外形を決定する。次に、人工顔モデルを制御するために唇及び口の外形が使用される。この技術は、コンピュータアニメーションの喋るキャラクタ用に唇の運動を動画化するプロセスを単純化している。しかしながら、この技術はアニメーションを実行するために、唇以外の他の顔器官を使用することに言及していない。その代わりに、この技術は唇及び口の外形のみを使用する人工的な顔の造作の生成によっている。この技術は、口によらない瞼、眼球、眉及び他の顔の表情による顔の表情を捉えるアニメーションプロセスを単純化するものではない。
【００５７】
この技術は鼻孔のみを追跡するので、カメラに対して鼻孔が見えている間のみ追跡が可能である。このシステムでは、頭部が前方に傾斜して鼻の頂部で鼻孔がカメラに対して隠れている場合に、頭部の向きが得られないことは明らかである。
【００５８】
米国特許第６，０１６，１４８号には、「顔画像のアニメーション・ワイヤフレーム・トポロジーへの自動マッピング（ａｕｔｏｍａｔｅｄ ｍａｐｐｉｎｇ ｏｆ ｆａｃｉａｌ ｉｍａｇｅｓ ｔｏ ａｎｉｍａｔｉｏｎ ｗｉｒｅｆｒａｍｅｓ ｔｏｐｏｌｏｇｉｅｓ）」の技術について記載されている。この技術では、計測された顔上のポイントないしはノードの位置をコンピュータモデル化されたワイヤフレーム・メッシュ・トポロジー上の対応するポイントないしはノードに変換する一般原則が記載されている。この特許には、それら顔上のポイントないしはノードの位置を自動的に決定する方法は含まれていない。
【００５９】
（発明の概要）
本発明は、頭部姿勢を決定するための改良されたシステム及び方法を提供することを課題としている。
【００６０】
本発明の第１の態様は、人の視線の方向を受動的に検出する方法であって、少なくとも２つの方向から人の顔と頭部の画像を取得し、２以上の取得した画像内で顔を位置測定し、頭部姿勢の初期推定を計算し、識別可能な顔器官を含む可能性がある個々の取得した画像内で、頭部姿勢の初期推定に基づいて器官検索領域を識別し、個々の取得した画像中の前記２以上の個々の器官検索領域内で２以上の顔器官を測定し、前記２以上の個々の顔器官の３次元位置を計算し、頭部モデルを前記２以上の顔器官の位置に最も適合させる回転変位と並進変位を含む頭部姿勢測定を決定し、１つの眼球の中心の位置を決定するために頭部姿勢測定を使用し、前記個々の取得した画像中で前記眼球に対応する眼領域を検知するために前記頭部姿勢測定を使用し、眼の虹彩の中心の位置を決定し、その眼の視線方向を計算するために前記決定した眼球の中心の位置と前記決定した眼の虹彩の中心の位置を使用する、ステップを備える方法を提供する。
【００６１】
本発明の他の態様は、人の２つの眼の視線の方向を平均化することで人の眼の視線の方向を計算し、個々の眼の視線の方向は前記の方法で決定する、人の視線の方向を受動的に決定する方法を提供する。
【００６２】
本発明の他の態様は、人の顔の眼の眼閉鎖量を決定する方法であって、前記眼は眼球、上瞼、及び下瞼を備え、前記上瞼及び下瞼は一対の目尻で交わり、前記眼閉鎖量は瞼距離に対する目尻分離量の割合として定義され、少なくとも２つの視点からの前記人の顔及び頭部の画像を取得し、前記取得した画像から頭部姿勢測定値を決定し、前記取得した画像内で眼領域を決定するために前記頭部姿勢測定値を使用し、前記眼領域内の前記目尻の位置を決定し、前記上瞼及び下瞼に対して少なくとも２つの指向性エッジディテクタを適合させ、各目尻において前記上瞼の前記指向性エッジディテクタの１つを、前記下瞼の前記指向性エッジディテクタの１つに交差させ、前記各瞼に対応する前記少なくとも２つの指向性エッジディテクタに対して放物線を適合して、前記上瞼及び前記下瞼の位置を概算し、各放物線はその放物線の個々の瞼の少なくとも２つの指向性エッジディテクタに対して正接し、前記瞼間の距離を計算することにより前記目尻分離量を決定し、前記目尻を結ぶ線に対して直角な方向で、前記目尻間の前記放物線の一部での前記放物線間の最大距離を計算することにより、最大瞼距離を決定し、前記決定した目尻分量の最大瞼距離に対する割合を用いて眼閉鎖量を計算する、ステップを備える、人の顔の眼の眼閉鎖量を決定する方法を提供する。
【００６３】
本発明の他の態様は、人の眼の瞬きを検出する方法であって、眼閉鎖値を計算し、前記眼閉鎖値のテンポラルシーケンスを形成し、前記眼閉鎖値のテンポラルシーケンスと瞬きテンプレートを比較し、前記瞬きテンプレートは、前記瞬きテンプレートと眼閉鎖閉鎖量と前記モデルテンプレートシーケンスの間の相関値を決定するために、瞬きに対応する眼閉鎖値のシーケンスを含み、前記相関値が予め定められた閾値よりも大きい場合には瞬きの発生が決定される、ステップを備える、人の眼の瞬きを検出する方法を提供する。
【００６４】
本発明の他の態様は、複数の独立の測定値を使用して人の眼の瞬きを検出する方法であって、前記複数の測定値はそれぞれ経時変化する出力値を生成し、前記複数の測定値の少なくとも１つが測定可能であり、前記複数の独立の測定値の２以上の出力値を加重付けして合成して瞬き検出値を計算し、前記瞬き検出値が予め定められた瞬き検出値の閾値よりも大きい場合には瞬きの発生が決定される、ステップを備える、人の眼の瞬きを検出する方法を提供する。眼領域テンプレート相関係数と、前記眼領域におけるオプティカルフローの測定値と、眼領域画像の変動率と、虹彩テンプレート相関係数とのうちから、前記独立の測定値の少なくとも１つを選択する。
【００６５】
本発明の他の態様は、観察者の視線方向を決定する方法であって、（ａ）前記観察者の少なくとも１つの画像を取得して前記観察者の頭部姿勢角度を決定し、前記観察者の予想される眼位置を捜し出すために前記頭部姿勢角度を使用し、（ｂ）前記観察者の少なくとも１つの眼を捜し出すために前記予想される眼位置を分析し、（ｃ）前記眼の位置を観察して視線方向を決定するステップを備える、観察者の視線方向を決定する方法を提供する。
【００６６】
前記ステップ（ａ）はステレオ画像の取得と、このステレオ画像の処理を含むことが好ましい。前記ステップは、（ｉ）観察者の顔で一組の識別可能な器官を決定し、（ｉｉ）現在の頭部姿勢の候補器官位置を分類して見込みのある頭部姿勢を決定するステップをさらに含んでいてもよい。
【００６７】
前記方法は、ユーザがサングラスを装着する場合のように観察者の顔に遮蔽があると緩やかに質低下する。
【００６８】
前記方法は、観察者の眼の回転の中心の三次元位置の決定と、観察者の眼の閉鎖及び瞬きの決定をさらに含む。
【００６９】
前記方法は、観察者の顔の個々の器官が柔軟か固定されているかを決定するために器官位置の測定を使用する。
【００７０】
本発明の他の態様は、人の顔の柔軟性のある器官を検出する方法であって、前記顔器官の予想される位置からの前記器官の位置の分散を、頭部姿勢の測定値に基づいて、その器官が柔軟性を有するかを決定する閾値分散と比較するステップを備える、人の顔の柔軟性のある器官を検出する方法を提供する。頭部姿勢は前記方法を使用して決定することが好ましい。
【００７１】
本発明の他の態様は、前記被験者の挙動を分析するために前記請求項のいずれか１項に記載の方法で仕事を実行する人を分析する方法を提供する。
【００７２】
本発明の他の態様は、被験者の動作が前記請求項のいずれか１項に記載の方法により追跡され、前記動作に応じて画像がアニメーション化される、画像をアニメーション化する方法を提供する。
【００７３】
頭部姿勢、視線、眼閉鎖量、及びオペレータの瞬き率のうちの１以上を追跡するステップを備える、オペレータの疲労を測定する方法を提供する。
【００７４】
前記方法を使用して、頭部姿勢、視線、眼閉鎖量、及びオペレートの瞬き率のうちの１以上を測定することが好ましい。
【００７５】
前記方法を実行するための種々の応用が開示されている。
【００７６】
（実施例の詳細な説明）
他の形態も本発明の範囲に含まれるが、添付図面を参照して本発明の好適な形態を例示として説明する。
【００７７】
図１は、本発明の一実施例にかかる頭部姿勢の追跡を実行する方法を示すフローチャートである。この方法には２つの主な段階、すなわち予備的頭部姿勢決定１５と頭部姿勢追跡ループ５５がある。これらの段階１５，５５はそれぞれ幾つかのステップを備え、各サブステップがさらに幾つかのサブステップを備えていてもよい。
【００７８】
予備的頭部姿勢決定１５は、顔位置測定１０のステップと頭部姿勢概算３０のステップとを含む。頭部姿勢追跡ループ５５は、テンプレート投射４０の段階、テンプレート検索５０の段階、及び頭部姿勢計算及び眼画像取得７０の段階とを含む。
【００７９】
一般に、頭部追跡を実行可能なシステムは、研究の対象である頭部を両方が撮影可能となるように搭載された２つのカメラを備えている。一つの特定方向で顔が遮蔽された場合にシステムにロバスト性を付与し、距離及び位置をより正確に計算できるように、カメラは互いに離れて配置されなければならない。頭部姿勢、視線方向、及び後述する他の属性を決定するために、カメラで収集された画像データの蓄積及び／又は処理が可能なプロセッサにカメラが接続されていなければならない。
【００８０】
次に、各段階について詳細に説明する。頭部追跡を構築するために、最初に頭部姿勢追跡ループに入る前、又は追跡失敗からの回復時に、少なくとも１つのカメラの視野内での頭部位置の概算が決定される。この段階を予備的頭部姿勢決定１５という。
【００８１】
予備的頭部姿勢決定１５で実行される最初のステップは、顔位置測定１０である。顔位置測定１０は、カメラから取り込んだ画像をサブサンプリングし、このサブサンプリングされた画像を一連の低解像度の顔領域テンプレートのいずれか１つについて検索する。この検索では、サブサンプリングされた画像内で現在のテンプレートに対応する顔領域の候補位置を試すために、正規化相互相関法を使用する。
【００８２】
顔領域テンプレートは、顔の前面及び左右側面から取り込んだ画像から導出することができる。不利な条件下、すなわち照明が不足又は変化する条件下で、適合するテンプレートを検知する尤度を向上するために、顔の前面の画像が複数のサブ領域に分割される。
【００８３】
複数の顔領域テンプレートを使用することで、顔を検知する確率が増し、追跡ループ回復率が向上するので、システム全体として信頼性が向上する。例えば以下の状況が生じた際に、この技術は有利である。
【００８４】
カメラから顔がそれた。
【００８５】
顔が部分的に遮蔽された。
【００８６】
顔の一部の画像が飽和する程度まで顔が一方から明るく照らされている場合を含め、顔が不均一に照らされている。
【００８７】
顔の下半分に明るい光が直接照射されているが、上部は影に入っている（被験者が帽子を被っているかサンバイザを使用しているような場合）。
【００８８】
テンプレートの１つと適合するまで、顔位置測定１０が繰り返される。いずれのテンプレートもサブサンプリングされた画像と適合しなければ、カメラによって生成された次の画像について再び顔位置測定が試みられる。
【００８９】
顔領域テンプレートの少なくとも１つが予め定められた閾値を越える相関係数でサブサンプリングされた画像と適合すれば、上手く位置測定される顔領域が決定する。
【００９０】
顔位置測定が達成されると、この方法のステップ３０において、初期の頭部姿勢概算がなされる。適合した特定のテンプレートと、それの画像内での位置とに基づいて、顔姿勢の初期推定がなされる。例えば、左耳の周囲の領域で適合が上手くいったことは、頭部が右に回転していることを示すと解釈される。好適な頭部姿勢推定がなされると、その推定は頭部姿勢追跡ループに入るために使用される。
【００９１】
頭部姿勢追跡ループ５５は、予め定められた一連の顔器官テンプレートに対する画像領域の適合に基づく。このシステムは、２つのグループ、すなわちアクテイブサブセットとイナクティブサブセットに分かれている顔器官テンプレートを備えている。アクティブテンプレートは、それらの予想される可視性、画像に対する各テンプレートの適合の質、及びテンプレートの組で境界付けされる顔の領域に対するテンプレートの寄与を含む複数の基準に基づいて、テンプレートを加え又は減らすことによって、維持される。テンプレート選択技術は、テンプレートのサブセットが他のすべての候補サブセットよりも頭部姿勢測定が迅速かつ正確となるように、テンプレートのサブセットを維持することを目的としている。
【００９２】
頭部追跡ループ５５の最初のステップはテンプレート投射５０である。テンプレート投射５０の間、カルマンフィルタを適用した頭部姿勢の推定を使用して、各カメラから画像フレームに予想されるテンプレートが投射される。予想されるテンプレートの位置は、正確な器官適合を達成するためにテンプレートが検索される検索領域を規定する基礎を構成する。
【００９３】
頭部姿勢追跡ループ５５における次のステップは、前記ステップ５０で規定される検索領域内でのテンプレートの検索である。各カメラの指定された検索領域内での各テンプレートについての検索に、正規化相互相関が使用される。テンプレート適合ルーチンの１回の反復の間、アクテイブサブセットのテンプレートのみがビデオ画像での検索に使用される。最も機能しないテンプレート、すなわち検索領域内の画像との相関が最も低いテンプレートは、アクティブテンプレートのサブセットから除去され、特定の器官についての次の検索反復で使用される新たなテンプレートに置換される。この処理が顔のすべての検索領域について繰り返される。
【００９４】
各テンプレートについての相関の総和が予め定められた閾値を上回ると、頭部姿勢追跡は成功である。相関の総和が閾値を下回れば、頭部姿勢追跡が終了され、処理全体が再度開始される。テンプレートのサブセットの画像サブ領域に対する相互相関により好適な適合のテンプレートが検知されない場合、顔位置測定１０のステップにおいて、処理が初期条件に戻り、１つのサブサンプルビデオフレーム内で顔のサブ領域を検索することで処理が開始される。
【００９５】
選択された検索領域内の器官テンプレートの相互相関の総和に基づいて頭部姿勢追跡が確認されると、頭部姿勢計算及び眼画像取得が７０において実行される。
【００９６】
頭部姿勢計算及び眼画像取得７０のステップは、システムの２つのカメラから得た顔画像内での適合したテンプレートの三次元器官位置を決定することにより実行される。個々の器官の位置から頭部姿勢を決定することができる。また、画像内での眼領域の位置がステップ５０におけるテンプレート適合により決定されない場合には、眼領域の位置は適合した器官テンプレートの位置からの計算によって決定される。
【００９７】
正確な眼画像決定を維持するために、テンプレート投射４０のステップと、頭部姿勢計算及び眼画像取得７０に先行する各テンプレートの画像サブ領域との相互相関によるテンプレートの検索５０のステップとが、処理を通じて繰り返される。
【００９８】
前述のように、頭部姿勢は、口角、眼、鼻孔、又は顔の他の認識可能な領域のような顔器官の測定値により構成される。各器官についての検索領域は、顔位置測定１０又は追跡ループ５５の反復のいずれかで与えられる頭部姿勢測定値を使用して推定される。器官テンプレートに適合する器官を検索する、カメラから得た画像の小さなサブ領域を位置検出することには、２つの主な利点がある。まず、各検索に要する計算時間が大幅に低減され、次に誤った器官適合が防止される。
【００９９】
１９９３年にＩＮＲＩＡの技術レポートに掲載されたファウジャーズ・オー（Ｆａｕｇｅｒａｓ，Ｏ）他の「リアルタイム相関に基づくステレオ：アルゴリズムの実行及び応用（Ｒｅａｌ Ｔｉｍｅ Ｃｏｒｒｅｌａｔｉｏｎ−ｂａｓｅｄ Ｓｔｅｒｅｏ： ａｌｇｏｒｉｔｈｍ ｉｍｐｌｅｍｅｎｔａｔｉｏｎ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ）に記載されているような多重解像度正規化相互相関法を使用して、特定の検索領域内で各器官が正確に位置検出される。多重解像度テンプレート検索法は、２段階の単純な処理である。まず、各器官テンプレートのサブサンプリングされたバージョンが各器官の概算位置を検知するために使用される。次に、概算位置の周囲の小画像領域が最大解像度の器官テンプレートを使用して検索される。この技術により、器官検索の時間が大幅に低減される。
【０１００】
得られた相関係数が規定された閾値よりも大きい場合には、器官が検知される。器官が２以上の画像で検知され場合には、その器官の三次元位置を計算することができる。
【０１０１】
各器官の三次元位置は、図２に示すように複数の視点からその器官の位置を決定することで測定する。
【０１０２】
図２は、特定の顔器官ｘの位置とカメラ２１０，２２０，２３０に対する相対位置を示している。各カメラ２１０，２２０，２３０に対する画像平面は、それぞれ線２１５，２２５，２３５で示されている。このシステムはＮ個のカメラを含む場合に一般化することができるが、説明のため、この例ではＮ＝３としている。点ｃ０，ｃ１，ｃＮ−１はＮ個のカメラ２１０，２２０，２３０の中心をそれぞれ示し、線２１２，２２２，２３２はカメラ２１０，２２０，２３０の中心ｃ０，ｃ１，ｃＮ−１における法線ベクトルをそれぞれ示している。ベクトルｄ０，ｄ１，ｄＮ−１は、カメラ２１０，２２０，２３０の中心Ｃ０，Ｃ１，Ｃｎ−１から対象となっている特定の器官ｘの位置に向いた正規化ベクトルをそれぞれ示している。
【０１０３】
Ｎ個のカメラで観察されている器官の三次元位置ｘを計算するには、以下の等式を解く必要がある。
【０１０４】
【数１】
2004504684.tif 000003
【０１０５】
ここでマトリクスＡは以下のように定義される。
【０１０６】
【数２】
2004504684.tif 000004
【０１０７】
また、ベクトルｂは以下のように定義される。
【０１０８】
【数３】
2004504684.tif 000005
【０１０９】
また、Ｉは以下のマトリクスである。
【０１１０】
【数４】
2004504684.tif 000006
【０１１１】
ここでｃｉはｉ番目のカメラの中心を示し、ｄｉは画像平面内で見てカメラの中心ｃｉから器官ｘに向いた正規化方向ベクトルを示している。器官の３次元位置は以下のような得られる。
【０１１２】
【数５】
2004504684.tif 000007
【０１１３】
前記の方法を使用して、複数のカメラの画像で顔器官が適合すれば、顔器官の３次元位置を決定することができる。この方法で三次元位置が決定された顔器官が頭部姿勢決定に使用される。
【０１１４】
頭部姿勢を決定するために、適合したテンプレートが３次元剛体に連結されていると仮定され、この剛体を参照の３次元剛体に適合させるために必要な回転及び並進が、監視している人の頭部姿勢を決定するために使用される。
【０１１５】
頭部姿勢は、２組の座標の回転
2004504684.tif 000008
及び並進（ｘ，ｙ，ｚ）の組合せとして３次元的に決定される。計算された頭部姿勢（回転成分と並進成分からなる。）の最適値は、頭部モデルを顔器官３次元測定値に対して最も良好に適合させる。各テンプレートの相関の強度が、最小自乗法における加重値として使用される。この問題に対する閉じた形の解法（ｃｌｏｓｅｄ ｆｒｏｍ ｓｏｌｕｔｉｏｎ）は、良好に追跡している点に向けてバイアスされており、遮蔽、ノイズ、及び遠近ひずみに対して結果がロバスト化されている。
【０１１６】
この問題に対する最小自乗の閉じた形の解法の等式を以下に説明する。
【０１１７】
頭部モデルの回転Ｒと移動Ｔは、以下で定義される誤差Ｅを最小化することで、回復することができる。
【０１１８】
【数６】
2004504684.tif 000009
【０１１９】
ここでｗｉはｉ番目の器官の信頼測定値（ｃｏｎｆｉｄｅｎｃｅ ｍｅａｓｕｒｅｍｅｎｔ）、ｘｉはｉ番目の器官の測定された３次元位置、ｍｉは顔モデルにおけるこの器官の３次元位置である。
【０１２０】
以下の頭部回転Ｒの４元数表示を使用する。
【０１２１】
【数７】
2004504684.tif 000010
【０１２２】
回転Ｒは以下のようにラグランジェの方法を用いて誤差Ｆを最小化すること回復することができる。
【０１２３】
【数８】
2004504684.tif 000011
【０１２４】
ここでエックスバーは測定値ｘｉの加重平均、ｘｉ， エムバーはモデル点ｍｉの加重平均、λはラグランジエのパラメータである。また、移動は以下の等式を使用して計算される。
【０１２５】
【数９】
2004504684.tif 000012
【０１２６】
前述のように、頭部姿勢は一組の顔器官テンプレートを使用して再構成される。追跡速度と精度を最大にするために、各反復毎に既知の器官の総数のサブセットが検索される。各反復毎にサブセットに対して一定数のテンプレートが追加又は除去される。このサブセットにおけるテンプレートを「アクティブ」という。
【０１２７】
以下に基づいてアクティブテンプレートが選択される。
【０１２８】
最後の反復の画像に対するテンプレートの相関の質（遮蔽され又はゆがんだ顔器官は検索すべきでない。）。
【０１２９】
サブセット中の他のアクティブテンプレートからのテンプレートの距離（顔を隔てて器官が離れている程、頭部姿勢測定が正確になる。）。
【０１３０】
顔姿勢から計算した、テンプレートに対する顔器官のゆがみ（見えそうな器官が遮蔽されたそうな器官に優先して選択される。）。
【０１３１】
カルマンフィルタリングは推定処理においてノイズを平滑化するために使用され、次の反復における頭部姿勢の予測を与える。カルマンフィルタは頭部運動の力学について定速モデルを使用している。これは一般的に実行されている種類のカルマンフィルタである。追跡とデータ結合（Ｔｒａｃｋｉｎｇ ａｎｄ Ｄａｔａ Ａｓｓｏｃｉａｔｉｏｎ）、科学と工学における数学（Ｍａｔｈｅｍａｔｉｃｓ ｉｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ）の第１７９巻、アカデミープレス（Ａｃａｄｅｍｉｃ Ｐｒｅｓｓ）、１９８８年、ワイ・バーシャロム（Ｙ． Ｂａｒ−Ｓｈａｌｏｍ）とティー・イー・フォートマン（Ｔ．Ｅ． Ｆｏｒｔｍａｎｎ）には、カルマンフィルタのより詳細な説明が記載されている。
【０１３２】
視線測定に移る。視線推定法は、眼球の回転中心と、虹彩の中心の測定によるものである。個々の眼の視線方向は、射線がこの２点を通るように計算される。次に、全体の視線方向が以下のように計算される。
【０１３３】
頭部姿勢測定値を使用して個々の眼の視認性が決定され、
両眼が共に視認可能であれば、視線方向は両眼の平均方向として計算され、
１個の眼のみが視認可能であれば、視線方向は視認可能な眼のみを使用して計算され、
いずれの眼も視認可能でなければ、視線方向は顔の面に対して直交する方向として計算される。
【０１３４】
この技術を用いて、頭部姿勢にかかわらず、システムは緩やかに質低下する視線方向の推定（ｇｒａｃｅｆｕｌｌｙ ｄｅｇｒａｄｉｎｇ ｅｓｔｉｍａｔｅ ｏｆ ｅｙｅ ｇａｚｅ ｄｉｒｅｃｔｉｏｎ）を行うことができる。
【０１３５】
従って、視線方向の推定において重要なステップは、眼（両眼）の回転中心の位置を決定すること、及び虹彩の中心を位置検出することである。
【０１３６】
眼球中心は直接的に視認することができないので、眼の回転の観察からその中心が計算される。システムは個々の眼について正確に眼球中心を計算するために、独立したキャリブレーション処理を使用する。
【０１３７】
ユーザが直接的にカメラを覗き込んでいる場合、カメラ中心から虹彩の中心に向かう射線は眼球の回転中心を通る。この事実を利用して、本システムは射線の数の最小自乗交差を計算することにより、眼球回転の中心を推定することができる。
【０１３８】
キャリブレーション処理には、人がカメラの視野内で頭部が動かしつつ短時間の間特定のカメラを真っ直ぐに見る必要がある。本システムは、この時間内での頭部姿勢の測定値及び虹彩中心の位置を記録する。
【０１３９】
射線がカメラの基準座標で表された場合には、射線はすべてカメラ中心を通る。図３は、一連の眼球４００，４０２，４０４，４０６を示し、これらはキャリブレーション及び測定中のカメラ４１０に対する４箇所の異なる位置におけるユーザの眼球を表している。一連の射線４２０，４３０，４４０，４５０が示され、これらはカメラ４１０の中心、各眼球４００，４０２，４０４，４０６の回転中心４６０，４６２，４６４，４６６、及び各眼４００，４０２，４０４，４０６の虹彩の中心４７０，４７２，４７４，４７６を通る。これらの射線は、人が種々の位置からカメラを直接的に見ていることを示している。
【０１４０】
図４に移ると、射線が頭部の基準座標で表されている場合、射線４２０，４３０，４４０，４５０はすべて眼球の回転中心４７８を横切る。頭部姿勢測定処理から分かる眼の幾何学特性及び位置を利用して、本システムは各眼の眼球中心の最小自乗推定を計算することができる。
【０１４１】
この計算は両眼について実行され、２以上のカメラを伴う技術を使用することで精度が向上する。
【０１４２】
この技術は明らかに虹彩／瞳孔中心の２次元位置を決定することによりものである。しかしながら、説明したキャリブレーション法は２次元の瞳孔中心測定を実行可能なあらゆるシステムに適用できる。
【０１４３】
虹彩中心の測定は各画像における眼の周囲の領域を検索することで実行される。これらの領域は現時点における頭部姿勢の推定及び顔のモデルにより決定される。
【０１４４】
検索処理は以下のステップを備える。
【０１４５】
−頭部測定と虹彩の半径は６ｍｍで一定であるという仮定を用いて、画像中の虹彩の寸法を計算し、
−環状ハフ変換を使用して、予想される虹彩の寸法である最適の環状領域を検知する。ディ・ダブリュ・イオアノウ（Ｄ．Ｗ．Ｉｏａｎｎｏｕ）とライネ・エイ・ヒュダ（Ｌａｉｎｅ Ａ．Ｈｕｄａ）の「２次元ハフ変換と放射ヒストグラムによる円認識（Ｃｉｒｃｌｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｔｈｒｏｕｇｈ ２Ｄ Ｈｏｕｇｈ Ｔｒａｎｓｆｏｒｍ ａｎｄ Ｒａｄｉｕｓ Ｈｉｓｔｏｇｒａｍｍｉｎｇ）」、画像及び映像の計算（Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ）、第１７巻、１５−２６頁、１９９９年には、環状ハフ変換処理が詳細に説明されている。
【０１４６】
図５は視線測定計算を表す図である。図５は半径ｒが一定の眼球５００を示し、この眼球５００は中心がｓの虹彩５１０を備え、回転中心はｅである。中心がｃであるカメラ５２０と、このカメラ５２０の画像平面５３０が概略的に示されている。画像平面５３０上に眼球５００の像５５０が示されている。眼球５００の画像も中心がｐである虹彩５６０を備えている。ベクトルｄは、カメラ５５０の中心ｃ、虹彩５６０の像の中心ｐ、及び実際の虹彩５１０の中心ｓを通る射線を表している。ベクトルｅｓ５８０は、眼球５００の回転中心ｅと虹彩５１０の中心ｓを通るベクトルであり、視線方向を示している。虹彩又は瞳孔の中心と眼の回転中心が決定されると、視線方向を計算することができる。
【０１４７】
視線方向は、以下の関係を用いて眼球中心（左又は右）の三次元位置ｅを計算することで計算される。
【０１４８】
【数１０】
2004504684.tif 000013
【０１４９】
ここでｅｍは顔モデルにおける眼球中心のキャリブレーションした３次元位置、Ｒ及びＴは前述の顔器官の測定値を使用して修復した回転及び移動である。
【０１５０】
画像中で虹彩の中心ｐが位置検出されると、カメラ中心ｃから虹彩中心ｓへ向けることで、ベクトルｄの方向を計算することができる。次に、視線位置はベクトルｅｓの方向により与えられる。以下の等式を解くことで三次元座標ｓを計算することができる。
【０１５１】
【数１１】
2004504684.tif 000014
【０１５２】
ここで、ｒは一定である眼球の半径を示している。
【０１５３】
本発明の実施例の他の特徴は、眼の位置が決定されると、眼閉鎖量を測定できることである。眼閉鎖量は両瞼間の距離の量目尻間の距離に対する比率である。図６は、眼閉鎖の測定のために、眼６００の画像を示している。
【０１５４】
各目尻６１０，６２０の三次元位置は頭部姿勢と頭部に対する両目尻の位置から計算される。カメラ投射変換を使用して、両目尻が眼画像領域に投射されている。
【０１５５】
両瞼間の距離６３０は以下のステップに従って決定される。
【０１５６】
１）眼画像領域に４つの方向付けされたエッジディテクタ（ｅｄｇｅ ｄｅｔｅｃｔｏｒ）６４０，６５０，６６０，６７０を適用する。
【０１５７】
２）ステップ１で計算された縁情報に最も適合する放物線６８０，６９０を決定する。エッジディテクタ６４０，６５０，６６０，６７０は一般に放物線６８０，６９０の接線方向に延びる。放物線６８０，６９０は常に両目尻を通過する。
【０１５８】
放物線６８０，６９０が計算されると、これらの最大距離が計算され、眼開放量であると推定される。両目尻間の距離は単純に放物線６８０，６９０の両交点間の距離である。
【０１５９】
また、瞬き検出を実行することができる。本システムは複数のビジュアルキューからの出力を組み合わせて瞬き発生を検出する。この技術はマルチモード的であるので、個々の方法の不全に対してロバスト性を有している。
【０１６０】
図７の６個のグラフは、瞬き検出の一例を実行するために組み合わせられる、５個の独立のビジュアルキューを示している。最後のグラフ７Ｆは５つの独立の瞬き検出方法の加重和を示している。
【０１６１】
グラフ７Ａから７Ｆには、相関を示すために、同一期間の特定値を示している。
【０１６２】
各眼から測定した瞬き検出値は、視認可能な眼により大きな重み付けがされるように、頭部姿勢に応じて重み付け及び結合される。これによって頭部姿勢及び鼻による遮蔽による眼及び瞼のゆがみが補償される。
【０１６３】
個々のビジュアルキューは組み合わせて測定及び使用される。図７Ａは眼テンプレート相関係数がどのように時間変化するかを示している。眼が閉じているときも開いているときも、眼画像を眼のテンプレートと比較するために、眼テンプレート適合が使用される。瞬きの前後では、開いた眼のテンプレートが高い相関値を示すが、閉じた眼のテンプレートは低い相関値を示す。瞬き発生中は、その反対となる。グラフ７Ａを参照すると、領域７１０，７２０は瞬き又は他の眼の遮蔽により起こった相関係数の変化に対応している可能性がある。遮蔽が瞬きであるのか他の遮蔽であるのかを決定するために、相関値の時間系列の瞬きパターン信号テンプレートに対する畳み込みがなされる。この畳み込みの出力は瞬き発生の信頼度を構成する。
【０１６４】
グラフ７Ｂは、眼の鞏膜の色と同様の色を有する画像領域内に含まれる画素数を示している。
【０１６５】
眼画像領域中の画素の色分布が眼閉鎖量検出に使用される。眼を閉じているときには、色分布ヒストグラムは膚色の値の周辺でピークを示す。眼を開いているときには、色分布ヒストグラムは鞏膜、虹彩、及び膚の色と対応するピークを有する。谷７３０，７４０は瞬き発生に対応している可能性がある。眼の鞏膜に関連するピーク高さの時間計測により、眼の瞬き発生の測定に信頼度が付与される。
【０１６６】
グラフ７Ｃはグラフ化された眼画像の時間変化を示している。
【０１６７】
１つのフレームの次のフレームに対する経時的画像差分により、眼画像変化率が測定される。瞬き発生中、眼画像領域中の変化率が大きい。従って、ピーク７５０及び７６０は瞬きに対応する可能性がある。
【０１６８】
グラフ７Ｄは着目している期間の垂直オプティカルフローを示している。瞬き中の上瞼の運動は、眼画像領域中の垂直オプティカルフローを計算し、予想される信号と適合させることにより検出される。オプティカルフローは連続する画像中の運動を計算するために使用される周知の技術である。ビー・ホーン（Ｂ Ｈｏｒｎ）他の「オプティカルフローの決定（Ｄｅｔｅｒｍｉｎｉｎｇ Ｏｐｔｉｃａｌ Ｆｌｏｗ）」，人工知能（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）第１７巻，１８５−２０４頁，１９８１年には、好適なオプティカルフロー計算の詳細が記載されている。
【０１６９】
前述の眼閉鎖を計算する技術により瞬き検出に関する情報も得られる。グラフ７Ｅは該当する期間における眼閉鎖量の変化を示している。７８０における値の減少は瞬きに対応するはずである。
【０１７０】
この瞬き検出方法は、瞬きの際には同時に両眼が閉じてその後に開く、という仮定に基づくものである。両眼についての推定値を一つの値に組み合わせることで、両眼の部分的な遮蔽による検出の失敗や誤りの確率も低減することができる。
【０１７１】
５つの瞬き測定値を一つの加重和にまとめると、その値を閾値と比較することができる。閾値よりも大きい値は瞬きであり、閾値よりも小さい値は瞬きでないと決定される。グラフ７Ｆはグラフ７Ａから７Ｅの加重和を示している。範囲７９０の間のみ、線７９５で示す瞬き検出の閾値を上回っている。
【０１７２】
グラフ上の特徴７１０，７４０，７６０，７７０，７８０は瞬きであると決定されるが、事象７２０，７３０，７５０は瞬きでないと決定される。事象７２０は頭の傾き又は他の眼のゆがみにより起きている可能性があり、事象７３０は例えば鼻によって眼が部分的に遮蔽されることで起きている可能性がある。眼画像の変化の大きなピーク７５０は、照明の変化又は急な眼の動きにより起きている可能性がある。
【０１７３】
本発明の例により、柔軟性器官の検出が可能である。
【０１７４】
柔軟性顔器官は、顔モデル内での頭部姿勢に対するそれらの位置測定値の確率的解析により自動的に検出される。口角、眉、及びあごのような可動の顔器官は、位置測定値が広範に変化する。器官が柔軟性を有するとみなせるか否かを決定するために、この変化が閾値と比較される。
【０１７５】
当業者にとって明らかなように、本発明の例のシステム又は方法は広範な応用範囲に応用可能である。
【０１７６】
応用
前述の実施例は頭部姿勢と視線を同時に検出する能力があるので、有用な応用が大幅に広がる。本発明の応用は３つの大きな分野、すなわち人の能力測定、オペレータ監視、及びインタラクティブなマルチメディアに分類することができる。
【０１７７】
このようなシステムは仕事を行っている人の研究及び分析に適用することができる。このシステムにより、被験者が２次元又は３次元の作業空間で自然に仕事を実行している間、受動的で邪魔にならないやり方で、視線挙動のパターンを観察することができる。本発明は視線の推定に頭部姿勢を使用するので、従来知られている方法と比較して、より広い作業空間が適用範囲となる視線測定が可能となる。この特性により、例えば自動車内の運転室のデザイン、航空機の操縦室、及び原子力発電施設のような生命に関わるシステムで使用される装置の制御パネルのような、マン−マシンインターフェイスの人間工学的デザインの評価に本システムを適用することができる。現在、人間工学的デザインの評価は、まず、場合によっては口頭の注釈をつけて複数のカメラのビデオ画像を記録することで行われる。次に、視線の固定位置、視線固定に要した時間、及び視線が止まる時間を決定するために、ビデオ画像が一コマ毎にオフラインで手動解析される。人間工学的デザインの重要目的は、視線の固定に要する時間と視線が止まる時間を最小化するユーザインターフェースを生み出すことである。視線データの手動解析は時間のかかる作業であるので、通常は数分間だけ測定された短時間の実験を部分的に解析できるに過ぎない。前記のシステムにより、数時間にわたって実行された実験について、視線固定データ、すなわち位置、時間、及び継続時間を自動的に測定することができる。また、この計測はネットワークを介して遠隔実行できる。人間工学デザイナを補助するために、視線固定データを３次元グラフィック環境で可視化することができる。
【０１７８】
作業負荷が高い状況で、オペレータが戸惑い、注意散漫となり、又は混乱して結果的に誤りを犯そうとしているか否かを決定する目的で、人間であるオペレータの能力を監視するために、本発明を使用することができる。人間の能力の限界を知ることは、航空交通管制のような生命に関わるシステムでは極めて重要である。本発明は、新たなシステムの設計及び実装中に人間の能力の限界を見つけ出し、使用中にオペレータの能力が限界に近付くとリアルタイムで自動的に警告を発するために使用することができる。
【０１７９】
また、どの特徴又は事象が人の視覚的注意を引き付けるかを測定する応用に本発明を使用することができる。この応用には、ウェブページ又は他の視覚媒体上のどの特徴がユーザの視線を引き付けるかを、ユーザの眼がそのページにどのように目を通すかと共に測定することが含まれる。このデータはデザイナが効果的なウェブページ配置や出版物等を構成するのに役立つ。同様に、広告代理店はテレビコマーシャルやマルチメディアプレゼンテーションのような宣伝材料の効果を測定することができる。本発明は、心理学者や人間工学者が種々のシナリオに基づいて特定の作業を行う被験者の視線を測定する必要がある室内実験で使用することができる。
【０１８０】
本発明は、自動車の運転、飛行機の操縦、列車の運転、又は設備の操作のような生命に関わるシステムにおけるオペレータの不注意や疲労の測定にも適用することができる。既に発表されている方法は、現実世界におけるシナリオではオペレータの不注意と疲労の両方に同時に解決することはできない。本発明は、頭部姿勢、視線、眼閉鎖量の測定と瞬き検出を組み合わせて、オペレータの不注意と疲労の両方を検出する。
【０１８１】
従来の方法は、頭部姿勢又は眼の視線／瞬きデータにより、不注意又は疲労のいずれかを検出する。この方法は、ドライバが前方の道路ではなく横を見ているか否かを決定するには有効となり得るが、眼の状態に関する重要な情報が使用されていない。頭部は前を向いているが被験者が横を見ている可能性があり、疲労している場合には眼を閉じている可能もある。眼の視線／瞬き検出による従来報告されている不注意及び疲労システムは、頭部の動きに対する許容度が最小限である。眼の追跡のみを使用するシステムでは、頭部の自然な運動によりシステムが警告の不全又は誤りを起こし得る。
【０１８２】
本発明の実施例のシステムは頭部姿勢と視線の両方の追跡を実行し、それによって頭部姿勢にかかわらず被験者の視線を連続的に推定する。例えば、ドライバーが前方を見てカメラに向いていれば、システムは視線を正確に測定し、頭部がサイドウィンドを向けば、視線の推定の質は緩やかに低下する。眼の位置測定ができない場合には、頭部姿勢のみが視線方向の推定に使用される。本発明により、システムによる不注意又は疲労の検出の不全及び誤りが最小限度となる。
【０１８３】
眼の追跡のみによるシステムでは、信頼性のある眼の追跡が不可能であるので、被験者が眼鏡又はサングラスを装着している現実のシナリオを取り扱うことはできない。このような状況では、本発明の実施例のシステムは、頭部姿勢によって視線方向を推定する。本システムは、被験者が眼鏡を装着又は外した際に、頭部姿勢のみの追跡と、頭部姿勢と視線の追跡とを継ぎ目なく切り換えることができる。
【０１８４】
本システムは、眼の閉鎖と瞬きの検出の方法を記載している。これらの技術は、ＰＥＲＣＬＯＳと呼ばている公有の居眠り運転検出アルゴリズムのオンラインバージョンをロバスト的に実行するために使用し得る。
【０１８５】
本システムの実施例は、コンピュータ周辺機器として、インタラクティブなマルチメディアへの応用に適用することができる。本システムは、マウスやキーボードのような従来の方式の入力装置を補強する、自然で直感的な入力デバイスとして機能し得る。視線でカーソル位置を制御し、及び／又は頭部のうなずき又は眼の瞬きにより命令を実行することができる。本発明が柔軟性の器官を追跡可能であることと関連するこれらの特性により、ユーザは広範なインタラクティブな用途を制御することができる。インタラクティブな用途には、コンピュータ上の顔のアニメーション化、コンピュータ及びアーケードゲームでの遊戯、テレビ会議用の低帯域ビデオストリーミング、インタラクティブなデータキャスティング、及び家電機器の操作がある。
【０１８６】
現在、異なる色を付けたマークを柔軟性及び固定の顔器官に配置する、コンピュータ顔アニメーション法（ｃｏｍｐｕｔｅｒ ｆａｃｅ ａｎｉｍａｔｉｏｎ ｍｅｔｈｏｄ）が知られている。モーションキャプチャ技術を使用してアニメーションシーケンスが記録され、オフラインで解析される。固定の器官の動きと柔軟性器官の動きを識別するため、すなわち頭部の運動を唇のような顔器官の動きから分離するために、色付きマークが使用される。次に、マークの動きに従って顔のコンピュータモデルがアニメーション化される。本実施例に係るシステムにより、少なくとも色付きマークを使用することなくリアルタイムでアニメーション化処理を実行することができる。
【０１８７】
娯楽の分野では、本発明の実施例に係るシステムにより、インタラクティブ性の高いコンピュータゲームでの遊びを経験することができる。ゲーム世界を移動するのに視線を使用することができ、インターフェイスによりとらえたユーザの顔の表情は、他のユーザが制御する他のデジタルキャラクタと会話する、ゲーム中の仮想のキャラクタをアニメーション化するために使用される。
【０１８８】
テレビ会議のためのビデオストリーミングは、高帯域での応用である。通信リンクの遠隔の端部でユーザの複製をアニメーション化するために、実施例にかかるシステムを使用することができる。大量の顔画像データを送信するのではなく、柔軟性又は固定の顔器官の運動パラメータのみが送信される。従って、受信側のソフトウェアがユーザの複製をアニメーション化する。
【０１８９】
インタラクティブなデータキャスティング技術により、製品及びサービスの購入が可能となるのに加え、ユーザは必要に応じてテレビ番組及び娯楽プラグラムを選択することができ、インターネットへのアクセスも可能となる。本発明の実施例は、この技術に対する直感的で自然なインターフェイスを提供することができる。例えば、ユーザは所望の作品のアイコンに視線を固定することで、テレビ番組間の切り換えを行うことができる。
【０１９０】
将来の家電機器は、インターネットや音声認識のようなマルチモードの入力で制御可能となるように十分な情報処理能力を有する必要がある。このような機器の使用はここで記載したシステムを応用することで容易になる。ユーザは該当する装置を見つめるだけで、どの機器に「話す」かを選択することができる。例えば、照明を見て、次に「点灯」と言うだけでよい。また、本発明の実施例は、例えば地雷原、水中、又は宇宙のような危険な環境で装置やロボットの直感的な遠隔制御を行うために使用し、どの装置を操作すべきかの前後関係を操作することができる。本発明の実施例は、身体障害者が家電装置及び機器を制御したり、車椅子のような移動補助装置を制御するのを補助するために、ロボット工学と共に使用することができる。インタラクティブ及びバーチャルリアリティマルチメディアにおけるのと同様の方法で、頭部姿勢追跡と視線方向を例えば車椅子の操縦に使用することができる。四肢の動きが大幅に制限されるかまったくできない身体障害者にとって、視線は広範な種類の装置を操作するために使用することができる。
【０１９１】
前記のシステムのいずれか一つを実行可能なコンピュータには、１００ＭＨｚで１２８メガのＳＤＲＡＭを備える６００ＭＨｚのペンティアムＩＩＩプロセッサ２個と等価の処理能力が必要である。コンピュータシステムは、２以上のビデオ源から直接ＲＡＭにビデオ画像を取り込む機能を備えていなければならない。
【０１９２】
好ましくは、画像センサは、１秒間に３０フレームの速度で少なくとも２５６段階の画素強度で、６４０×４８０の画素解像度が可能である必要がある。
【０１９３】
画像センサは頭部の周囲に配置され、監視される人の顔に向いている必要がある。
【０１９４】
システムは、追跡される顔の器官位置から得られる情報を使用して、画像センサの利得を適応性を持って制御することができる。この技術は、器官位置での画像飽和を防止し、それによって照明の揺らぎや影による追跡失敗の可能性を低減することを目的とする。
【０１９５】
イメージセンサの利得は、センサ装置電子ゲイン、センサ露光／サンプリング周期（電子シャッタ速度）、レンズ虹彩の機械的開口、赤外線フィルタリング、及び赤外線照明を含む１以上のセンサパラメータにより調整される。
【０１９６】
画像の特定領域の質に優先度を置かないカメラにおける能動的なゲイン制御によるよりも、画像センサの制御に前記のパラメータを使用する方が有利である。このゲイン制御の技術（前述の通りである。）により、追跡ループに特に関連する器官に優先度をおいて画像利得を調整することができる。
【０１９７】
本発明の実施例に係るシステムを実行可能な他のハードウェアが当業者に知られる。
【０１９８】
開示及び説明した発明は、言及された又は文章及び図面から明らかである個々の特徴の２以上を代案の組み合わせのすべてに拡張すると理解される。これらの異なる組み合わせのすべては、本発明の代案の種々の態様をなす。
【０１９９】
以上は本発明の実施例を説明してものであり、本発明の範囲から離れることなく、当業者にとって明らかな変形を行うことができる。
【図面の簡単な説明】
【図１】本発明にかかる頭部姿勢追跡アルゴリズムを概略的に示すフローチャートである。
【図２】三次元のテンプレート位置測定の幾何学的配置を示す図である。
【図３】カメラの基準座標系から眼球の回転中心を検知する方法を示す図である。
【図４】眼球の基準座標系から眼球の回転中心を検知する方法を示す図である。
【図５】本発明の一実施例にかかる視線検出方法のための幾何学配置を示す図である。
【図６】本発明の一実施例にかかる眼閉鎖量測定方法についての眼及び関連する放物線を示す図である。
【図７】本発明の一実施例にかかる眼の瞬きのマルチモード分析のための一連のグラフを示す。
【符号の説明】
１０　顔位置測定
１５　予備的頭部姿勢決定
３０　頭部姿勢概算
４０　テンプレート投射
５０　テンプレートの検索
５５　頭部姿勢追跡ループ
７０　頭部姿勢計算及び眼画像取得
２１０，２２０，２３０　カメラ
２１２，２２２，２３２　法線ベクトル
２１５，２２５，２３５，５３０　画像平面
４００，４０２，４０４，４０６，５００　眼球
４１０，５２０　カメラ
４２０，４３０，４４０，４５０　射線
４６０，４６２，４６４，４６６　回転中心
４７０，４７２，４７４，４７６　虹彩の中心
５１０，５６０　虹彩
５５０　像
６００　眼
６１０，６２０　目尻
６３０　瞼間の距離
６４０，６５０，６６０，６７０　エッジディテクタ
６８０，６９０　放物線
７１０，７２０　領域
７３０，７４０　谷
７５０，７６０　ピーク
【図１】
2004504684.tif 000015
【図５】
2004504684.tif 000016
【図７】
2004504684.tif 000017
【国際公開パンフレット】
2004504684.tif 000018
2004504684.tif 000019
2004504684.tif 000020
2004504684.tif 000021
2004504684.tif 000022
2004504684.tif 000023
2004504684.tif 000024
2004504684.tif 000025
2004504684.tif 000026
2004504684.tif 000027
2004504684.tif 000028
2004504684.tif 000029
2004504684.tif 000030
2004504684.tif 000031
2004504684.tif 000032
2004504684.tif 000033
2004504684.tif 000034
2004504684.tif 000035
2004504684.tif 000036
2004504684.tif 000037
2004504684.tif 000038
2004504684.tif 000039
2004504684.tif 000040
2004504684.tif 000041
2004504684.tif 000042
2004504684.tif 000043
2004504684.tif 000044
2004504684.tif 000045
2004504684.tif 000046
2004504684.tif 000047
2004504684.tif 000048
2004504684.tif 000049
2004504684.tif 000050
2004504684.tif 000051
2004504684.tif 000052
2004504684.tif 000053
2004504684.tif 000054
2004504684.tif 000055
2004504684.tif 000056
2004504684.tif 000057
2004504684.tif 000058
2004504684.tif 000059
【手続補正書】
【提出日】平成14年8月7日(2002.8.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
人の頭部姿勢測定値の決定方法であって、前記頭部姿勢測定値は回転変位と並進変位とを含み、
（ａ）少なくとも２つの視点から前記人の顔及び頭部の画像を取得し、
（ｂ）頭部姿勢の初期推定を計算し、
（ｃ）２以上の顔器官の三次元位置を計算し、
（ｄ）前記２以上の顔器官の前記計算された位置に対して頭部モデルを最も適合させる、回転変位及び並進変位を決定する、
ステップを備える、人の頭部姿勢の測定値の測定方法。
【請求項２】
前記ステップ（ｂ）は、前記取得した画像のうちの２以上内で前記顔を位置測定するサブステップを含む、請求項１に記載の人の頭部姿勢測定値の決定方法。
【請求項３】
前記ステップ（ｃ）は、
前記頭部姿勢の初期推定に基づいて、識別可能な顔器官を含む可能性のある前記個々の取得した画像内で、器官検索領域を識別し、
前記取得した各画像内の２以上の各器官検索領域内で、２以上の顔器官の位置を測定する、
サブステップを備える、請求項１又は請求項２に記載の人の頭部姿勢測定値の決定方法。
【請求項４】
人の視線の方向を受動的に決定する方法であって、
（ａ）少なくとも２つの視点から前記人の顔及び頭部の画像を取得し、
（ｂ）前記２以上の取得した画像内で顔を位置測定し、
（ｃ）頭部姿勢の初期推定を計算し、
（ｄ）前記頭部姿勢の初期推定に基づいて、識別可能な顔器官を含む可能性のある前記個々の取得した画像内で、器官検索領域を識別し、
（ｅ）前記取得した各画像の２以上の各器官検索領域内で、２以上の顔器官の位置を測定し、
（ｆ）前記２以上の各顔器官の三次元位置を計算し、
（ｇ）前記２以上の顔器官の前記計算した位置に対して頭部モデルを最も適合させる回転変位及び並進変位を含む、頭部姿勢測定値を決定し、
（ｈ）眼球中心の位置の決定のために前記頭部姿勢測定値を使用し、
（ｉ）前記取得した各画像内で前記眼球と対応する眼領域を検知するために前記頭部姿勢の測定値を使用し、前記眼の虹彩の中心位置を決定し、
（ｊ）前記眼の視線方向を計算するために、前記決定した眼球の中心位置と前記決定した眼の虹彩の中心位置とを使用する、
ステップを備える、人の視線の方向を受動的に決定する方法。
【請求項５】
人の２つの眼の視線の方向を平均化することで、前記人の視線の方向を計算し、請求項４に記載の方法を使用して前記個々の眼の視線方向を決定する、人の視線の方向を受動的に決定する方法。
【請求項６】
人の顔の眼の眼閉鎖量を決定する方法であって、前記眼は眼球、上瞼、及び下瞼を備え、前記上瞼及び下瞼は一対の目尻で交わり、前記眼閉鎖量は瞼距離に対する目尻分離量の割合として定義され、
（ａ）少なくとも２つの視点から前記人の顔及び頭部の画像を取得し、
（ｂ）前記取得した画像から頭部姿勢の測定値を決定し、
（ｃ）前記取得した画像内で眼領域を決定するために前記頭部姿勢の測定値を使用し、
（ｄ）前記眼領域内の前記目尻の位置を決定し、
（ｅ）前記上瞼及び下瞼に対して少なくとも２つの指向性エッジディテクタを適合させ、各目尻において前記上瞼の前記指向性エッジディテクタの１つを、前記下瞼の前記指向性エッジディテクタの１つに交差させ、
（ｆ）前記各瞼に対応する前記少なくとも２つの指向性エッジディテクタに対して放物線を適合して、前記上瞼及び前記下瞼の位置を概算し、各放物線はその放物線の個々の瞼の少なくとも２つの指向性エッジディテクタに対して正接し、
（ｇ）前記瞼間の距離を計算することにより前記目尻分離量を決定し、
（ｈ）前記放物線の前記目尻間の部分での前記放物線間の前記目尻を結ぶ線に対して直交する方向の最大距離を計算することにより、最大瞼距離を決定し、
（ｉ）前記決定した目尻分離量の最大瞼距離に対する割合を用いて眼閉鎖量を計算する、
ステップを備える、人の顔の眼の眼閉鎖量を決定する方法。
【請求項７】
人の眼の瞬きを検出する方法であって、
前記請求項４に記載の方法を使用して眼閉鎖値を計算し、
前記眼閉鎖値のテンポラルシーケンスを形成し、
前記眼閉鎖値のテンポラルシーケンスと瞬きテンプレートを比較し、前記瞬きテンプレートは、前記瞬きテンプレートと眼閉鎖値の前記モデルテンプレートシーケンス間の相関値を決定するために、瞬きに対応する眼閉鎖値のシーケンスを含み、前記相関値が予め定められた閾値よりも大きい場合には瞬きの発生が決定される、
ステップを備える、人の眼の瞬きを検出する方法。
【請求項８】
複数の独立の測定値を使用して人の眼の瞬きを検出する方法であって、前記複数の測定値はそれぞれ経時変化する出力値を生成し、前記複数の測定値の少なくとも１つは請求項６に記載の方法を使用して計算された眼閉鎖値の測定値であり、
前記複数の独立の測定値の２以上の出力値を重み見付けして合成して瞬き検出値を計算し、前記瞬き検出値が予め定められた瞬き検出値の閾値よりも大きい場合には瞬きの発生が決定される、
ステップを備える、人の眼の瞬きを検出する方法。
【請求項９】
眼領域テンプレート相関係数と、
前記眼領域におけるオプティカルフローの測定値と、
眼領域画像の変動率と、
虹彩テンプレート相関係数と
のうちから、前記独立の測定値の少なくとも１つを選択する、請求項８に記載の人の眼の瞬きを検出する方法。
【請求項１０】
観察者の視線方向を決定する方法であって、
（ａ）前記観察者の少なくとも１つの画像を取得して前記観察者の頭部姿勢角度を決定し、
（ｂ）前記観察者の予想される眼位置を位置検出するために前記頭部姿勢角度を使用し、
（ｃ）前記観察者の少なくとも１つの眼を位置検出するために前記予想される眼位置を分析し、前記眼位置を観察して視線方向を決定する
ステップを備える、観察者の視線方向を決定する方法。
【請求項１１】
前記ステップ（ａ）はステレオ画像の取得と、このステレオ画像の処理を含む、請求項１０に記載の方法。
【請求項１２】
前記ステップ（ａ）は、
（ｉ）観察者の顔において一組の識別可能な器官を決定し、
（ｉｉ）現在の頭部姿勢の候補器官位置を分類して見込みのある頭部姿勢を決定する
ステップを含む、請求項１０又は請求項１１に記載の方法。
【請求項１３】
前記方法は、観察者の顔に遮蔽があると緩やかに質低下する、請求項１０から請求項１２のいずれか１項に記載の方法。
【請求項１４】
前記遮蔽はユーザによる眼鏡又はサングラスの装着である、請求項１３に記載の方法。
【請求項１５】
観察者の眼の回転の中心の三次元位置の決定をさらに含む、請求項１０に記載の方法。
【請求項１６】
観察者の眼の閉鎖及び瞬きの決定を含む、請求項１０に記載の方法。
【請求項１７】
人の柔軟性のある顔器官を検出する方法であって、
頭部姿勢の測定値に基づいて、前記顔器官の予想される位置に対する前記顔器官の位置の分散を、その器官が柔軟性を有するかを決定する閾値分散と比較する　ステップを備える、人の柔軟性のある顔器官を検出する方法。
【請求項１８】
前記頭部姿勢測定値は、前記請求項１から請求項３のいずれか１項に記載の方法を使用して決定される、請求項１７に記載の方法。
【請求項１９】
仕事を実行中の人の分析に使用される、請求項１０に記載の方法。
【請求項２０】
観察者の顔の個々の器官が柔軟か固定されているかを決定するために測定器官位置を使用する、請求項１から請求項１７のいずれか１項に記載の方法。
【請求項２１】
画像をアニメーション化するために使用され、観察者と前記画像が前記動きに応じてアニメーション化される、請求項１０に記載の方法。
【請求項２２】
視線、眼閉鎖量、及びオペレートの瞬き率のうちの１以上を追跡することでオペレータの疲労を測定するために使用される、請求項１０に記載の方法。
【請求項２３】
異なるカメラ角度から撮影した人のサンプル画像から初期頭部姿勢角度を決定し、
前記画像をサブサンプリングし、予め定められた一連のテンプレートの１つについてサブサンプリングされた画像を検索し、前記適合したテンプレートに基づいて頭部姿勢の概算を生成する、
ステップを備える、初期頭部姿勢角度を決定する方法。
【請求項２４】
前記予め定められたテンプレートは、顔の前面、左側面、及び右側面から取得される、請求項２３に記載の方法。
【請求項２５】
前記テンプレートは、被験者の顔の領域に特有である、請求項２３に記載の方法。
【請求項２６】
サンプル化された一連の人の画像から現在の頭部姿勢角度を追跡する方法であり、各サンプル化された画像を一時的に検査するステップを備え、
（ａ）顔器官テンプレートのコレクションから、アクティブな器官テンプレートの第１の現在の組と候補器官テンプレートの第２の組とを維持し、
（ｂ）前記候補器官テンプレートから前記アクティブな器官テンプレートの組に周期的にテンプレートを追加し、
（ｃ）現在サンプリングされている画像における現在アクティブである器官テンプレート中の各テンプレートについて相関値を計算し、
（ｄ）低相関値を有するアクティブなテンプレートの予め定められた１つを周期的に放棄する
ステップを備える、頭部姿勢角度を追跡する方法。
【請求項２７】
前記一連のサンプル画像は、それぞれ同時のカメラ視野を複数備える、請求項２６に記載の方法。
【請求項２８】
前記放棄されたテンプレートは前記候補器官テンプレートの第２の組に加えられる、請求項２６に記載の方法。
【請求項２９】
カメラ視野の視線方向を決定する方法であって、
（ａ）眼球の回転中心の測定値を決定し、
（ｂ）虹彩の中心の測定値を決定し、
（ｃ）前記眼球の回転中心の測定値と前記虹彩の中心の測定値とを通過する射線を計算する
ステップを備える、視線方向を決定する方法。
【請求項３０】
前記ステップ（ａ）は、複数のカメラ視野を使用した眼球の回転中心の第１の測定値の決定と、前記各第１の測定値からの画球の回転中心の総合的な測定値の決定とを別個に行うステップをさらに備える、請求項３４に記載の方法。
【請求項３１】
試験対象の視線測定をキャリブレーションする方法であって、
（ａ）カメラの視野内で頭部が移動している間に第１の点で試験対象を直接見させ、
（ｂ）前記頭部の移動の種々の位置で前記頭部について頭部姿勢と虹彩中心を計算する
ステップを備える、視線計測をキャリブレーションする方法。
【請求項３２】
前記虹彩中心位置の計算は、カメラにより受容した画像での環状ハフ変換を使用する、請求項３１に記載の方法。
【請求項３３】
少なくとも１つのカメラシステムを含む自動視野方向測定システムにおいて、測定値の質を徐々に低下させる方法であって、
（ａ）前記システムから被験者の両眼が見えるときに、計算された各眼の視線方向の組合せから総合的な視線方向を計算し、
（ｂ）あるいは、前記システムから被験者の片眼が見えるときに、その片眼の視線方向を計算し、
（ｃ）あるいは、前記システムから被験者の眼が両方見えないときには、被験者の顔に対してほぼ直交する方向である視線方向を計算する
ステップを備える、測定値の質を徐々に低下させる方法。
【請求項３４】
視線方向を決定する方法であって、
カメラ位置から虹彩中心に向かう第１のベクトルを決定し、
眼球中心の位置を決定し、
前記眼球中心から前記虹彩中心へ向かうベクトルを決定する
ステップを備える、視線方向を決定する方法。
【請求項３５】
画像内で瞼構造を決定する方法であって、
（ａ）各目尻の位置を決定し、
（ｂ）眼領域において一連のエッジ検出フィルタを適用し、
（ｃ）前記エッジ情報に適合する２つの放物線を決定し、該放物線は実質的な接線エッジ検出点を有する
ステップを備える、画像内で瞼構造を決定する方法。
【請求項３６】
（ｄ）前記放物線間の距離を計算するステップをさらに備える、請求項３５に記載の方法。
【請求項３７】
前記放物線は前記両方目尻を通る、請求項３５に記載の方法。
【請求項３８】
画像中の瞬き検出測定値を決定する方法であって、多数のビジュアルキューからの出力を組み合わせるステップを備え、前記ビジュアルキューは、
頭部姿勢角度の一時的変化と、
前記画像に適用される眼テンプレート適合信頼度の一時的変化と、
色適合における一時的変化と、
眼の周囲の画像における一時的変化と、
眼の周囲の画像のオプティカルフローにおける一時的変化と、
前記画像中で前記瞼に近似した曲線間の計算距離の一時的変化と
のうちの少なくとも１つを含む、
画像中の瞬き検出測定値を決定する方法。
【請求項３９】
前記瞬き検出測定値は前記ビジュアルキューの加重総和を含む、請求項３８に記載の方法。
【国際調査報告】
2004504684.tif 000060
2004504684.tif 000061
2004504684.tif 000062
2004504684.tif 000063