(57)【要約】  高精度で、かつ、画像から顔器官を検出することができない場合でも、顔姿勢の推定を行うことを可能とする顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラムを提供する。顔姿勢推定装置１０の顔器官検出部１１は、画像フレームから顔器官を検出する。顔姿勢候補群生成部１６は顔姿勢候補群を生成する。第１の類似度算出部１２は、３Ｄモデルベース類似度を算出する。第２の類似度算出部１３は、アピアランスベース類似度を算出する。第１の尤度算出部１４１は、３Ｄモデルベース類似度に対応する第１の尤度を算出する。第２の尤度算出部１４２は、アピアランスベース類似度に対応する第２の尤度を算出する。統合尤度算出部１４３は、第１の尤度と第２の尤度とを用いて統合尤度を算出する。顔姿勢推定部１５は、統合尤度を用いて顔姿勢を推定する。
2009091029.tif 000002
【特許請求の範囲】
【請求項１】
顔を時系列的に撮影した顔画像から前記顔の少なくとも向きを表す顔姿勢を推定する顔姿勢推定装置において、
前記顔画像から顔器官を検出する顔器官検出手段と、
推定される顔姿勢の候補である顔姿勢候補の集合である顔姿勢候補群を生成する顔姿勢候補群生成手段と、
前記顔姿勢候補群生成手段により生成された顔姿勢候補群各々の顔器官と、前記顔器官検出手段により検出された実際の顔器官と、の各々位置に対応する第１のパラメータによる第１の類似度を算出する第１の類似度算出手段と、
前記顔姿勢候補生成手段により生成された顔姿勢候補群各々の顔画像と、前記顔器官検出手段により検出対象となった実際の顔画像と、の各々所定の基準姿勢との変位に応じた画素値に対応する第２のパラメータによる第２の類似度を算出する第２の類似度算出手段と、
前記第１の類似度算出手段により算出された第１の類似度に対応する第１の尤度を算出する第１の尤度算出手段と、
前記第２の類似度算出手段により算出された第２の類似度に対応する第２の尤度を算出する第２の尤度算出手段と、
前記第１の尤度と、前記第２の尤度とを用いて、前記顔姿勢候補群各々の確からしさを表す統合尤度を算出する統合尤度算出手段と、
前記統合尤度算出手段により算出された統合尤度を用いて顔姿勢を推定する顔姿勢推定手段とを備え、
前記統合尤度は、前記顔姿勢候補生成手段による顔姿勢候補群の新たな更新生成へ反映されることを特徴とする顔姿勢推定装置。
【請求項２】
請求項１記載の顔姿勢推定装置において、前記統合尤度算出手段は、前記第１の尤度または前記第２の尤度のいずれかが算出されない場合には、算出された一方の尤度のみ用いて前記統合尤度を算出することを特徴とする顔姿勢推定装置。
【請求項３】
請求項１乃至２記載の顔姿勢推定装置において、前記第１の類似度算出手段と前記第２の類似度算出手段とは、それぞれの性能特性を補完する補完関係であることを特徴とする顔姿勢推定装置。
【請求項４】
請求項１乃至３の何れか１項に記載の顔姿勢推定装置において、前記統合尤度算出手段は、前記第１の尤度と前記第２の尤度とを乗算することを特徴とする顔姿勢推定装置。
【請求項５】
請求項１乃至４の何れか１項に記載の顔姿勢推定装置において、前記第１の類似度算出手段は、三次元顔形状モデルベースによる類似度算出手段で、前記第１のパラメータは、位置の誤差であって、前記第２の類似度算出手段は、射影変換アピアランスベースによる類似度算出手段で、前記第２のパラメータは、画素値の誤差であることを特徴とする顔姿勢推定装置。
【請求項６】
請求項１乃至５の何れか１項に記載の顔姿勢推定装置において、前記顔姿勢推定手段は、前記統合尤度算出手段により算出された統合尤度が最も高い顔姿勢候補に基づいて顔姿勢を推定することを特徴とする。
【請求項７】
請求項１乃至５の何れか１項に記載の顔姿勢推定装置において、前記顔姿勢推定手段は、前記顔姿勢候補群生成手段により生成された顔姿勢候補群の少なくとも一部に基づく数値の、平均値と、中央値と、前記統合尤度による重み付けを施した平均値である重心と、の何れかに基づいて顔姿勢を推定することを特徴とする。
【請求項８】
請求項１乃至５の何れか１項に記載の顔姿勢推定装置において、前記顔姿勢推定手段は、前記統合尤度算出手段により算出された最も高い統合尤度が所定の閾を超えている場合に、前記最も高い統合尤度に対応する顔姿勢候補に基づいて顔姿勢を推定し、
前記最も高い統合尤度が所定の閾値以下の場合に、前記顔姿勢候補群生成手段により生成された顔姿勢候補群の少なくとも一部に基づく数値の、平均値と、中央値と、前記統合尤度による重み付けを施した平均値である重心と、の何れかに基づいて顔姿勢を推定することを特徴とする。
【請求項９】
請求項１乃至８の何れか１項に記載の顔姿勢推定装置において、前記顔姿勢候補群生成手段は、前記統合尤度算出手段により算出された統合尤度が比較的高いものに対応する顔姿勢候補群に基づいて、次の前記第１の類似度と前記第２の類似度との算出に用いられる顔姿勢候補群を生成することを特徴とする。
【請求項１０】
請求項１乃至９の何れか１項に記載の顔姿勢推定装置において、前記顔画像は、車両の運転者の顔が撮影された画像であることを特徴とする。
【請求項１１】
請求項１乃至１０の何れか１項に記載の顔姿勢推定装置を備えた車両。
【請求項１２】
顔を時系列的に撮影した顔画像から前記顔の少なくとも向きを表す顔姿勢を推定する顔姿勢推定方法において、
前記顔画像から顔器官を検出する顔器官検出ステップと、
推定される顔姿勢の候補である顔姿勢候補の集合である顔姿勢候補群を生成する顔姿勢候補群生成ステップと、
前記顔姿勢候補群生成ステップにおいて生成された顔姿勢候補群各々の顔器官と、前記顔器官検出手段により検出された実際の顔器官と、の各々位置に対応する第１のパラメータによる第１の類似度を算出する第１の類似度算出ステップと、
前記顔姿勢候補生成ステップにおいて生成された顔姿勢候補群各々の顔画像と、前記顔器官検出ステップにおいて検出対象となった実際の顔画像と、の各々所定の基準姿勢との変位に応じた画素値に対応する第２のパラメータによる第２の類似度を算出する第２の類似度算出ステップと、
前記第１の類似度算出ステップにおいて算出された第１の類似度に対応する第１の尤度を算出する第１の尤度算出ステップと、
前記第２の類似度算出ステップにおいて算出された第２の類似度に対応する第２の尤度を算出する第２の尤度算出ステップと、
前記第１の尤度と、前記第２の尤度とを用いて、前記顔姿勢候補群各々の確からしさを表す統合尤度を算出する統合尤度算出ステップと、
前記統合尤度算出ステップにおいて算出された統合尤度を用いて顔姿勢を推定する顔姿勢推定ステップと
を備えることを特徴とする顔姿勢推定方法。
【請求項１３】
コンピュータに、
顔を時系列的に撮影した顔画像から顔器官を検出する顔器官検出ステップと、
推定される顔姿勢の候補である顔姿勢候補の集合である顔姿勢候補群を生成する顔姿勢候補群生成ステップと、
前記顔姿勢候補群生成ステップにおいて生成された顔姿勢候補群各々の顔器官と、前記顔器官検出手段により検出された実際の顔器官と、の各々位置に対応する第１のパラメータによる第１の類似度を算出する第１の類似度算出ステップと、
前記顔姿勢候補生成ステップにおいて生成された顔姿勢候補群各々の顔画像と、前記顔器官検出ステップにおいて検出対象となった実際の顔画像と、の各々所定の基準姿勢との変位に応じた画素値に対応する第２のパラメータによる第２の類似度を算出する第２の類似度算出ステップと、
前記第１の類似度算出ステップにおいて算出された第１の類似度に対応する第１の尤度を算出する第１の尤度算出ステップと、
前記第２の類似度算出ステップにおいて算出された第２の類似度に対応する第２の尤度を算出する第２の尤度算出ステップと、
前記第１の尤度と、前記第２の尤度とを用いて、前記顔姿勢候補群各々の確からしさを表す統合尤度を算出する統合尤度算出ステップと、
前記統合尤度算出ステップにおいて算出された統合尤度を用いて顔姿勢を推定する顔姿勢推定ステップと
を実行させるための顔姿勢推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔を撮影した画像を用いて顔姿勢の推定を行う顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラムに関する。
【背景技術】
【０００２】
顔向きや顔姿勢を推定する技術は、様々な分野で応用が可能である。ここで、「顔向き」は、ヨー、ピッチ、ロールの３方向を示す情報で表される。
また「顔姿勢」は、少なくとも顔向きを表す。なお、「顔姿勢」は、顔向きに加えて、３次元空間における位置の概念を含む場合もある。したがって、「顔姿勢」は、ヨー、ピッチ、ロール、ｘ座標、ｙ座標、ｚ座標の最大６次元の情報で表される。顔向きや顔姿勢を推定する技術は、特に車両の運転者の安全運転支援の分野で有用とされている。【０００３】
コンピュータビジョンによる顔向き推定や顔姿勢推定に用いられる代表的な手法として、３次元顔形状モデルベース（以下「３Ｄモデルベース」という）の手法と、アピアランスベースの手法と、顔特徴ベースの手法と、が知られている（例えば、佐藤洋一：“コンピュータビジョンによる顔のトラッキング”、映像情報メディア学会誌Ｖｏｌ．６０、Ｎｏ．４、ｐｐ．５１６−５１９（２００６））。以下、各方式について説明する。【０００４】
顔姿勢の推定を行うために、３Ｄモデルベースの手法を適用する場合について説明する。ここでは、時系列フィルタの１つであるパーティクルフィルタを用いた手法を例にとる。パーティクルフィルタはベイズフィルタの近似計算法であり、有限のパーティクルによって確率密度関数を表現するものである。パーティクルフィルタでは、状態量と尤度を持つ仮説を多数用いることによりトラッキング対象を離散的な確率密度関数として表現し、この確率密度関数を状態遷移モデルによって伝播させている。顔姿勢についての「状態」は顔位置や顔方向などの顔姿勢情報に関する状態を意味する。顔姿勢の推定の過程では、顔姿勢の状態についての仮説を多数生成し、その各仮説について入力された顔画像との類似度を算出し、この類似度に基づいて仮説の集合を更新する。そして、類似度の最も高い仮説の状態量に対応する顔姿勢を推定結果として出力する。【０００５】
アピアランスベースの手法では、様々な方向を向いた顔画像を予め用意しておき、新たに顔画像が入力された際にそれがどの顔画像と最も類似しているかを推定している。画像間の類似度の算出には、対応する画素間の画素値の差の２乗和がよく用いられる。
顔特徴ベースの手法では、入力画像中における目や口などの相対的な位置関係に基づいて顔特徴を求め、顔向きの推定を行う。顔特徴ベースの手法として、例えば、特開２００５−１９６５６７号公報（以下「文献１」という）及び特開平１１−２８１６６１号公報（以下「文献２」という）では、運転者の顔を撮影した画像を分析して、顔向きを推定している。
【発明の開示】
【０００６】
（発明が解決しようとする課題）
しかしながら、文献１及び２に記載の技術では、目、鼻、口といった既定の顔器官を利用して顔向きを推定しており、顔向きの変化あるいは眼鏡、サングラス着用などによりその部位が隠れてしまうと、顔姿勢を推定することが不可能となる。このため、推定可能な角度範囲は、おおむね左右６０度以内に限定される。推定可能な角度範囲が限定されると、運転者の安全運転支援を十分に行うことができないという問題点が生じる。
【０００７】
また、３Ｄモデルベースの手法により顔向き推定や顔姿勢推定を行った場合には、入力カメラ画像における目、鼻、口といった既定の顔器官の位置を用いるため、例えば大きく顔が横を向いた場合などに顔器官の一部が画像から隠れてしまうと、顔姿勢を推定することが不可能になるという問題が生じる。更に、一般的に３Ｄモデルベース手法に用いる３次元顔形状モデルは剛体であるため、表情変化や顔姿勢の変位などにより皮膚が引っ張られるなどして顔器官位置の変化が生じると、入力された顔画像と３次元顔形状モデルとの乖離が大きくなり、高精度の顔姿勢推定が不可能になる問題も生じる。
【０００８】
本発明は以上の問題点を鑑みてなされたものであり、高精度で、かつ、画像から顔器官を検出することができない場合でも、顔姿勢の推定を行うことを可能とする顔姿勢推定装置、顔姿勢推定方法、及び、顔姿勢推定プログラムを提供することを目的とする。
さらに、本発明は、利用者を拘束せず、利用者に器具を装着させることなく、目、鼻、口が隠れてしまう範囲での顔姿勢の推定を行えるようにすることを目的とする。また、眼鏡着用、髪型の変化などで既定の顔器官が隠れる場合でも、顔姿勢の推定を行えるようにすることを目的とする。
【０００９】
（課題を解決するための手段）
本発明は、顔を時系列的に撮影した顔画像から前記顔の少なくとも向きを表す顔姿勢を推定する顔姿勢推定装置において、前記顔画像から顔器官を検出する顔器官検出手段と、推定される顔姿勢の候補である顔姿勢候補の集合である顔姿勢候補群を生成する顔姿勢候補群生成手段と、前記顔姿勢候補群生成手段により生成された顔姿勢候補群各々の顔器官と、前記顔器官検出手段により検出された実際の顔器官と、の各々位置に対応する第１のパラメータによる第１の類似度を算出する第１の類似度算出手段と、前記顔姿勢候補生成手段により生成された顔姿勢候補群各々の顔画像と、前記顔器官検出手段により検出対象となった実際の顔画像と、の各々所定の基準姿勢との変位に応じた画素値に対応する第２のパラメータによる第２の類似度を算出する第２の類似度算出手段と、前記第１の類似度算出手段により算出された第１の類似度に対応する第１の尤度を算出する第１の尤度算出手段と、前記第２の類似度算出手段により算出された第２の類似度に対応する第２の尤度を算出する第２の尤度算出手段と、前記第１の尤度と、前記第２の尤度とを用いて、前記顔姿勢候補群各々の確からしさを表す統合尤度を算出する統合尤度算出手段と、前記統合尤度算出手段により算出された統合尤度を用いて顔姿勢を推定する顔姿勢推定手段とを備え、前記統合尤度は、前記顔姿勢候補生成手段による顔姿勢候補群の新たな更新生成へ反映されることを特徴とする顔姿勢推定装置を提供する。
【００１０】
本発明によれば、顔姿勢推定装置は、第１のパラメータによる第１の類似度に対応する第１の尤度と、第２のパラメータによる第２の類似度に対応する第２の尤度とを用いて統合尤度を算出し、該算出された統合尤度を用いて顔姿勢を推定するため、第１の尤度と第２の尤度とを個別に用いて顔姿勢を推定するよりも高精度な顔姿勢推定を行うことができる。
【００１１】
好ましい態様において、前記統合尤度算出手段は、前記第１の尤度または前記第２の尤度のいずれかが算出されない場合には、算出された一方の尤度のみ用いて前記統合尤度を算出することを特徴とする。
本発明によれば、統合尤度算出手段は、第１の尤度または第２の尤度のいずれかが算出されない場合には、算出された一方の尤度のみ用いて前記統合尤度を算出するため、顔器官の検出を行うことができない場合にも顔姿勢を推定することが可能となる。
【００１２】
好ましい態様において、前記第１の類似度算出手段と前記第２の類似度算出手段とは、それぞれの性能特性を補完する補完関係であることを特徴とする。
本発明によれば、第１の類似度算出手段と第２の類似度算出手段とが補完関係にあり、お互いに補い合うことができるため、高精度な顔姿勢推定を行うことができる。
好ましい態様において、前記統合尤度算出手段は、前記第１の尤度と前記第２の尤度とを乗算することを特徴とする。
【００１３】
本発明によれば、第１の尤度と第２の尤度とを乗算することにより統合尤度を算出するため、顔姿勢を推定するための精度の高い統合尤度を算出することができる。
好ましい態様において、前記第１の類似度算出手段は、三次元顔形状モデルベースによる類似度算出手段で、前記第１のパラメータは、位置の誤差であって、前記第２の類似度算出手段は、射影変換アピアランスベースによる類似度算出手段で、前記第２のパラメータは、画素値の誤差であることを特徴とする。
【００１４】
好ましい態様において、前記顔姿勢推定手段は、前記統合尤度算出手段により算出された統合尤度が最も高い顔姿勢候補に基づいて顔姿勢を推定することを特徴とする。
本発明によれば、前記顔姿勢推定手段は、前記統合尤度算出手段により算出された統合尤度が最も高い顔姿勢候補に基づいて顔姿勢を推定するため、精度高く顔姿勢を推定することが可能である。
【００１５】
好ましい態様において、前記顔姿勢推定手段は、前記顔姿勢候補群生成手段により生成された顔姿勢候補群の少なくとも一部に基づく数値の、平均値と、中央値と、前記統合尤度による重み付けを施した平均値である重心と、の何れかに基づいて顔姿勢を推定することを特徴とする。
本発明によれば、前記顔姿勢推定手段は顔姿勢候補群の少なくとも一部に基づく数値の、平均値と、中央値と、重心と、の何れかに基づいて顔姿勢を推定するため、統合尤度が最も高い顔姿勢候補を顔姿勢とする場合に比べて、推定精度は低くなるが、推定精度が著しく低下することがない。
【００１６】
好ましい態様において、前記顔姿勢推定手段は、前記統合尤度算出手段により算出された最も高い統合尤度が所定の閾を超えている場合に、前記最も高い統合尤度に対応する顔姿勢候補に基づいて顔姿勢を推定し、前記最も高い統合尤度が所定の閾値以下の場合に、前記顔姿勢候補群生成手段により生成された顔姿勢候補群の少なくとも一部に基づく数値の、平均値と、中央値と、前記統合尤度による重み付けを施した平均値である重心と、の何れかに基づいて顔姿勢を推定することを特徴とする。
【００１７】
本発明によれば、顔器官の検出誤差等のために最も高い尤度が所定の閾値以下である場合にも、平均値、中央値等を用いて顔姿勢を推定することができるため、精度の高い顔姿勢の推定を行うことができる。
好ましい態様において、前記顔姿勢候補群生成手段は、前記統合尤度算出手段により算出された統合尤度が比較的高いものに対応する顔姿勢候補群に基づいて、次の前記第１の類似度と前記第２の類似度との算出に用いられる顔姿勢候補群を生成することを特徴とする。
【００１８】
本発明によれば、実際の顔姿勢に比較的近似した顔姿勢候補群を生成することが可能となる。
好ましい態様において、前記顔画像は、車両の運転者の顔が撮影された画像であることを特徴とする。
本発明によれば、顔姿勢推定装置は運転者の顔姿勢を推定することができ、顔姿勢推定装置を運転者の安全運転支援に利用することができる。
また、本発明は、上述した顔姿勢推定装置を備えた車両を提供することを特徴とする。
本発明によれば、車両内で運転者の顔向き推定を行うことができ、顔姿勢推定装置を車両内での安全運転支援に利用することができる。
【００１９】
また、本発明は、顔を時系列的に撮影した顔画像から前記顔の少なくとも向きを表す顔姿勢を推定する顔姿勢推定方法において、前記顔画像から顔器官を検出する顔器官検出ステップと、推定される顔姿勢の候補である顔姿勢候補の集合である顔姿勢候補群を生成する顔姿勢候補群生成ステップと、前記顔姿勢候補群生成ステップにおいて生成された顔姿勢候補群各々の顔器官と、前記顔器官検出手段により検出された実際の顔器官と、の各々位置に対応する第１のパラメータによる第１の類似度を算出する第１の類似度算出ステップと、前記顔姿勢候補生成ステップにおいて生成された顔姿勢候補群各々の顔画像と、前記顔器官検出ステップにおいて検出対象となった実際の顔画像と、の各々所定の基準姿勢との変位に応じた画素値に対応する第２のパラメータによる第２の類似度を算出する第２の類似度算出ステップと、前記第１の類似度算出ステップにおいて算出された第１の類似度に対応する第１の尤度を算出する第１の尤度算出ステップと、前記第２の類似度算出ステップにおいて算出された第２の類似度に対応する第２の尤度を算出する第２の尤度算出ステップと、前記第１の尤度と、前記第２の尤度とを用いて、前記顔姿勢候補群各々の確からしさを表す統合尤度を算出する統合尤度算出ステップと、前記統合尤度算出ステップにおいて算出された統合尤度を用いて顔姿勢を推定する顔姿勢推定ステップとを備えることを特徴とする顔姿勢推定方法を提供する。
【００２０】
また、本発明は、コンピュータに、顔を時系列的に撮影した顔画像から顔器官を検出する顔器官検出ステップと、推定される顔姿勢の候補である顔姿勢候補の集合である顔姿勢候補群を生成する顔姿勢候補群生成ステップと、前記顔姿勢候補群生成ステップにおいて生成された顔姿勢候補群各々の顔器官と、前記顔器官検出手段により検出された実際の顔器官と、の各々位置に対応する第１のパラメータによる第１の類似度を算出する第１の類似度算出ステップと、前記顔姿勢候補生成ステップにおいて生成された顔姿勢候補群各々の顔画像と、前記顔器官検出ステップにおいて検出対象となった実際の顔画像と、の各々所定の基準姿勢との変位に応じた画素値に対応する第２のパラメータによる第２の類似度を算出する第２の類似度算出ステップと、前記第１の類似度算出ステップにおいて算出された第１の類似度に対応する第１の尤度を算出する第１の尤度算出ステップと、前記第２の類似度算出ステップにおいて算出された第２の類似度に対応する第２の尤度を算出する第２の尤度算出ステップと、前記第１の尤度と、前記第２の尤度とを用いて、前記顔姿勢候補群各々の確からしさを表す統合尤度を算出する統合尤度算出ステップと、前記統合尤度算出ステップにおいて算出された統合尤度を用いて顔姿勢を推定する顔姿勢推定ステップとを実行させるための顔姿勢推定プログラムを提供する。
【００２１】
（発明の効果）
本発明によれば、顔姿勢推定装置は、第１のパラメータによる第１の類似度に対応する第１の尤度と、第２のパラメータによる第２の類似度に対応する第２の尤度とを用いて統合尤度を算出し、該算出された統合尤度を用いて顔姿勢を推定するため、第１の尤度と第２の尤度とを個別に用いて顔姿勢を推定するよりも高精度な顔姿勢推定を行うことができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に係る顔姿勢推定装置の機能構成を示すブロック図である。
【図２】同実施の形態に係る顔姿勢推定処理の全体フロー図である。
【図３】同実施の形態に係る特徴点探索領域設定の一例を示す図である。
【図４】同実施の形態に係る特徴点探索領域内の輝度画像のエッジ抽出の一例を示す図である。
【図５】同実施の形態に係る選択された特徴点の一例を示す図である。
【図６】同実施の形態に係る顔姿勢トラッキング処理の流れを示すフロー図である。
【図７】同実施の形態に係る３次元顔形状モデルによる顔姿勢分布生成の一例を示す図である。
【図８】同実施の形態に係るＳｔｅｐ６０２において算出された顔器官の２次元座標の分布の一例を示す図である。
【図９】同実施の形態に係る射影変換画像の一例を示す図である。
【図１０】同実施の形態に係る顔姿勢推定処理の流れを示すフロー図である。
【図１１】同実施の形態に係る顔姿勢推定処理の流れの概略図である。
【図１２】本発明方式による顔姿勢の変位ヨー角推定結果を示すグラフである。
【図１３】本発明方式による顔姿勢のヨー角推定結果を示すグラフである。
【図１４】３Ｄモデルベースの尤度特性を変更した場合の、本発明方式による顔姿勢ヨー角推定結果を示すグラフである。
【図１５】３Ｄモデルベースのみで顔姿勢のヨー角推定を行った結果を示すグラフである。
【図１６】３Ｄモデルベースの尤度特性を図１５から変更し、かつ、３Ｄモデルベースのみで顔姿勢のヨー角推定を行った結果を示すグラフである。
【図１７】アピアランスベースのみで顔姿勢のヨー角推定を行なった場合の結果を示すグラフである。
【符号の説明】
【００２３】
１０  顔姿勢推定装置
１１  顔器官検出部
１２  第１の類似度算出部
１３  第２の類似度算出部
１４  尤度算出部
１４１  第１の尤度算出部
１４２  第２の尤度算出部
１４３  統合尤度算出部
１５  顔姿勢推定部
１６  顔姿勢候補群生成部
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態を、図面を参照しながら説明する。なお、以下の説明において参照する各図では、他の図と同等部分は同一符号によって示されている。
（顔姿勢推定装置の構成）
図１は、本発明の実施の形態に係る顔姿勢推定装置１０の機能構成を示すブロック図である。同図に示すように、顔姿勢推定装置１０は、顔器官検出部１１、第１の類似度算出部１２、第２の類似度算出部１３、尤度算出部１４及び顔姿勢推定部１５を備えている。なお、これらの機能構成は、図示せぬ顔姿勢推定装置１０のＣＰＵ（Central Processing Unit）が、ＲＯＭ（Read Only Memory）やハードディスク等の記憶装置に記憶されたプログラムを実行することにより顔姿勢推定装置１０に実現される。また、顔姿勢推定装置１０は、カメラで撮影された画像フレームを入力するための図示せぬ入力インターフェースを備えている。【００２５】
顔器官検出部１１は、顔が撮影された画像フレームから顔器官を検出する。
第１の類似度算出部１２は、３Ｄモデルベースによる推定方法を用いて、類似度を算出する。この方法の内容は、岡兼司、佐藤洋一、中西泰人、小池英樹：“適応的拡散制御を伴うパーティクルフィルタを用いた頭部姿勢推定システム”、信学論誌Ｄ−II、Ｊ８８−Ｄ−II、８、ｐｐ．１６０１−１６１３（２００５）に述べられている。具体的には、第１の類似度算出部１２は、顔姿勢情報に関する状態量の確率密度関数を表現した離散的な仮説（以下「顔姿勢候補」という）が多数（Ｎ個：Ｎは自然数）集まったものである仮説群（以下「顔姿勢候補群」という）を生成する。次に、顔姿勢候補群を構成する顔姿勢候補に基づいて、３次元顔形状モデルを３次元的に移動及び回転させ、３次元顔形状モデル上の顔器官の各特徴点を画像フレームの平面上に射影する（画像フレームの平面上に射影された各特徴点を、以下「顔器官座標候補」ともいう）。そして、顔器官検出部１１により検出された顔器官と、対応する顔器官の前記特徴点が射影された位置との誤差（「第１の類似度」に対応、以下「３Ｄモデルベース類似度」ともいう）を算出する。顔姿勢候補毎にこの誤差を算出する処理を、顔姿勢候補群を構成する全ての顔姿勢候補について行い、これらＮ個の類似度を求める。【００２６】
第２の類似度算出部１３は、顔画像の射影変換アピアランスを用いたアピアランスベース（射影変換アピアランスベース）による推定方法を用いて、類似度を算出する。具体的には、第２の類似度算出部１３は、まず、顔姿勢候補群を構成するＮ個の顔姿勢候補各々に対応する顔位置や顔方向などの顔姿勢情報を参照する。次に、所定の基準位置に対するこの顔姿勢情報の変位を求める。所定の基準位置とは、顔器官の検出対象の画像よりも時系列的に前に撮影された画像に対して推定された顔姿勢情報である。そして、求められたＮ個の変位に基づいて、この画像に対して射影変換を行う。射影変換により得られたＮ個の画像（以下「射影変換画像」という）は基準位置となった過去の画像に対して各顔姿勢候補の顔姿勢情報を反映した画像である。第２の類似度算出部１３は、これらＮ個の射影変換画像それぞれと、入力画像と、の対応する特徴点間の輝度の誤差（「第２の類似度」に対応、以下「アピアランスベース類似度」ともいう）を算出する。なお、輝度の誤差に限らず、輝度の概念を含む画素値の誤差であってもよい。また、射影変換の手法として、例えば、視点変換の機能を持つアフィン変換を用いることができる。【００２７】
尤度算出部１４は、第１の尤度算出部１４１と、第２の尤度算出部１４２と、統合尤度算出部１４３とを備えている。
第１の尤度算出部１４１は、第１の類似度算出部１２により算出された３Ｄモデルベース類似度に基づいて、当該３Ｄモデルベース類似度に対応する尤度(「第１の尤度」に対応)を算出する。この尤度は、３Ｄモデルベースの手法における、顔姿勢候補の確からしさを示す値である。具体的な算出式の例は後述する。【００２８】
第２の尤度算出部１４２は、第２の類似度算出部１３により算出されたアピアランスベース類似度に基づいて、アピアランスベース類似度に対応する尤度（「第２の尤度」に対応）を算出する。この尤度は、アピアランスベースの手法における、顔姿勢候補の確からしさを示す値である。具体的な算出式の例は後述する。【００２９】
統合尤度算出部１４３は、第１の尤度算出部１４１により算出された尤度と、第２の尤度算出部１４２により算出された尤度との両方を用いて、顔姿勢候補群を構成する各顔姿勢候補の確からしさを表す統合尤度を算出する。なお、顔器官が隠れている等で顔器官の検出を行うことができない場合には、３Ｄモデルベース類似度を算出することができないので、統合尤度算出部１４３はアピアランスベース類似度のみを用いて統合尤度を算出し、顔姿勢の推定を可能とする。また、なんらかの理由でアピアランスベース類似度を算出できなかった場合には、３Ｄモデルベース類似度のみを用いて統合尤度を算出し、顔姿勢の推定を可能とする。【００３０】
両方の尤度を用いる具体的な統合尤度の算出法の例としては、統合尤度算出部１４３は、同一の顔姿勢候補に対して、第１の尤度算出部１４１により算出された尤度と、第２の尤度算出部１４２により算出された尤度と、を乗算することにより、前記顔姿勢候補に対する統合尤度を算出する。このように尤度同士を乗算することで、互いに独立である３Ｄモデルベースによる尤度とアピアランスベースによる尤度とを、同時に起こる尤度として位置付けることができる。このように同時に起こる尤度を用いることで、３Ｄモデルベースとアピアランスベースのそれぞれが有する各々の性能特性（後述）を補完した性能特性を実現すると考えられる。なお、統合尤度の算出方法としては、乗算に限定されるわけではない。【００３１】
顔姿勢推定部１５は、統合尤度算出部１４３により算出された統合尤度を用いて顔姿勢を推定する。具体的には、顔姿勢推定部１５は、統合尤度が最も高い顔姿勢候補に対応する顔姿勢情報に基づいて顔姿勢を推定する。或いは、顔姿勢候補群の全部又は一部に対応する顔姿勢情報に含まれる各種数値について、平均値と、中央値と、統合尤度による重み付けを施した平均値（重心）と、の何れかを顔姿勢と推定する。例えば、算出された最も高い統合尤度の値に応じて、これらの顔姿勢推定の方法を変えてもよい。【００３２】
顔姿勢候補群生成部１６は、仮説としての顔姿勢候補の集合である顔姿勢候補群を生成する。具体的には、顔姿勢候補群生成部１６は、予め初期値としての任意の顔姿勢候補群を生成する。統合尤度算出部１４３により統合尤度が算出された後は、撮影により逐次入力される画像フレームに対して顔姿勢推定の処理を継続するために、統合尤度が比較的大きい顔姿勢候補群を用いて、次の画像フレームの顔姿勢推定に用いられる顔姿勢候補群を生成する。
（実施例１：所定の顔器官が検出できる範囲における顔姿勢推定）
次に、図２から図１０を参照して、顔姿勢推定装置１０が行う顔姿勢検出処理について説明する。本実施例では、所定の顔器官が検出できる範囲における顔姿勢推定において、車両を運転している運転手の顔姿勢を推定する場合を例にとり説明する。前提として、車両内に設置されたビデオカメラにより運転者の顔が逐次時系列的に撮影され、当該撮影された顔映像が画像フレームとして顔姿勢推定装置１０に入力されるものとする。【００３３】
図２のＳｔｅｐ１００において、顔姿勢推定装置１０は、入力インターフェースから逐次入力される画像フレームの１フレーム画像を取得する。
Ｓｔｅｐ１０１において、顔器官検出部１１は、そのフレーム画像から全体顔の検出を行う。フレーム画像からの顔検出は、例えばサポートベクターマシンなどの既存の顔検出技術を用いて行うことができる。【００３４】
Ｓｔｅｐ１０２において、全体顔検出が成功したかどうかを判断し、成功したと判断した場合にはＳｔｅｐ１０３とＳｔｅｐ１０７に進む。失敗したと判断した場合には再びＳｔｅｐ１００に戻り、次のフレ−ム画像を取得し、Ｓｔｅｐ１０１における全体顔検出処理を繰り返す。
Ｓｔｅｐ１０２において全体顔検出が成功したと判断した場合には、第１の類似度算出部１２が行う３Ｄモデルベースによる類似度算出処理（Ｓｔｅｐ１０３〜１０５）と、第２の類似度算出部１３が行うアピアランスベースによる類似度算出処理（Ｓｔｅｐ１０７〜１０９）との両方が同時に実施される。【００３５】
まず、第１の類似度算出部１２が行う３Ｄモデルベースによる類似度算出処理について、処理の流れを説明する。Ｓｔｅｐ１０３において、Ｓｔｅｐ１０１における全体顔検出結果を用いてそれぞれの所定の顔器官探索領域を設定し、顔器官検出を行う。顔器官探索領域内での顔器官検出は、例えばサポートベクターマシン等の既存検出技術を用いて行うことができる。【００３６】
Ｓｔｅｐ１０３での顔器官検出処理が終了すると、Ｓｔｅｐ１０５において次の１フレーム画像を取得し、再びＳｔｅｐ１０３の顔器官検出処理を繰り返す。
Ｓｔｅｐ１０５とＳｔｅｐ１０３における処理がループして行われている場合には、Ｓｔｅｐ１０３においては、Ｓｔｅｐ１０６において設定された顔器官探索領域内での顔器官検出が行われる。なお、Ｓｔｅｐ１０６における処理は後述する。
Ｓｔｅｐ１０４においては、Ｓｔｅｐ１０３で顔器官検出が行われる毎に、当該検出された顔器官の画像フレーム中の位置と、Ｓｔｅｐ１０６において生成された顔器官座標候補の位置との誤差を３Ｄモデルベース類似度として算出する。【００３７】
次に、第２の類似度算出部１３が行うアピアランスベースによる類似度算出処理の流れを説明する。Ｓｔｅｐ１０７において、顔画像の特徴点の設定を行う。顔画像の特徴点とは、時系列の画像フレームが与えられた場合に、その画像の特定の位置を追跡しやすい点である。特徴点の設定方法の一例としては、Ｓｔｅｐ１０１における全体顔検出結果を用いて、或いはＳｔｅｐ１０６において設定された特徴点探索領域を用いて、画像フレーム内の顔面上の特徴点探索領域を決め、その領域の中で輝度画像のエッジを抽出し、そのエッジをまたぐ２点対の中から、その２点間の輝度の誤差の大きなものを複数対選び、それらを特徴点とする。図３に画面上の特徴点探索領域設定の一例を示す。この例のように、特徴点探索領域としては、画面上の輝度変化が大きな顔器官領域や頭髪と顔面の境界領域、或いは顎の領域などを選択する。そして、図４に示すように、特徴点探索領域内の輝度画像のエッジを抽出し、図５に示すように、そのエッジをまたぐ２点対から、その２点間の輝度の誤差の大きなものを複数対選択し、それらの点を特徴点とする。【００３８】
Ｓｔｅｐ１０８において、次の１フレーム画像を取得する。
Ｓｔｅｐ１０９において、Ｓｔｅｐ１０６で生成された射影変換画像群それぞれと、Ｓｔｅｐ１０８で取得されたフレーム画像と、の対応する特徴点間の輝度値の誤差をアピアランスベース類似度として算出する。
Ｓｔｅｐ１０６においては、顔姿勢トラッキング処理を行う。【００３９】
図６は、Ｓｔｅｐ１０６における顔姿勢トラッキング処理の流れを示す図である。主に図６を参照して、Ｓｔｅｐ１０６における顔姿勢トラッキング処理の詳細について説明する。
まず、３次元の顔形状モデルをあらかじめ用意しておく。この３次元顔形状モデルは、アプリケーションに応じた顔形状、例えば日本人成人男性の平均顔形状、或いは日本人成人女性の平均顔形状などである。また、顔姿勢推定の対象となる特定個人の顔形状を測定したものでもよい。【００４０】
Ｓｔｅｐ６０１において、顔姿勢候補群生成部１６は、前記３次元顔形状モデルを用いて、推定を行う６変数の顔姿勢、すなわちカメラに正対する顔向きを基準にした首振り（ヨー）、頷き（ピッチ）、傾げ（ロール）の３次元と、顔形状モデルの中心の位置（ｘ座標、ｙ座標、ｚ座標）の３次元の計６変数に対して、それぞれ独立な乱数による顔姿勢の分布（確率密度関数）を生成する。本実施例においては、この顔姿勢の分布を計５００（＝Ｎ）個生成するものとし、これらの分布の各々を表現する仮説である顔姿勢候補の集合を顔姿勢候補群とする。【００４１】
図７には、両目の目頭と目尻、両口唇端などの配置を持った３次元顔形状モデルの一例を示す。この３次元顔形状モデルにおいて、ヨー、ピッチ、ロールの顔向き及び３次元顔形状モデルの中心座標の位置について、乱数を用いて分布を生成することにより、５００個の顔姿勢が生成される。その顔姿勢の分布のそれぞれが、目頭と目尻、両口唇端などの３次元配置を有する。【００４２】
Ｓｔｅｐ６０２において、Ｓｔｅｐ６０１で生成した５００個の３次元の各顔姿勢候補を画像フレーム上に射影することにより、各顔姿勢候補に対応した、画像フレーム内での顔器官の２次元座標を算出する。５００個の顔姿勢候補に対して算出された当該２次元座標を顔器官座標候補群とする。この顔器官座標候補群は、図２に示すＳｔｅｐ１０４において、当該顔器官座標候補群各々と実際の顔器官の座標との誤差を３Ｄモデルベース類似度として算出するために使用される。【００４３】
図８には、Ｓｔｅｐ６０２において算出された顔器官の２次元座標の分布の例を示す。この例は、Ｓｔｅｐ６０１において生成された、３次元顔形状モデルにおける目頭と目尻、口唇端、鼻孔の３次元配置の組み合わせ分布を、射影変換を用いて画像フレーム内での２次元座標に変換した分布であり、分布は白点で示されている。
Ｓｔｅｐ６０５においては、第１の尤度算出部１４１は、図２のＳｔｅｐ１０４において算出された５００個の３Ｄモデルベース類似度それぞれを、【００４４】
【数１】
2009091029.tif 000003
の式を用いて尤度Ｐpに変換する。ここに、（ｘm、ｙm）は撮影されたフレ−ム画像から検出された顔器官の座標であり、（ｘd、ｙd）は５００個の顔器官座標候補から構成される顔器官座標候補群である。また、σは５００個の顔器官座標候補から構成される顔器官座標候補群の標準偏差を示し、ｅは自然対数の底を示す。【００４５】
Ｓｔｅｐ６０３においては、Ｓｔｅｐ６０１で生成した３次元の顔姿勢候補群を構成する各顔姿勢候補の顔姿勢情報を参照する。次に、所定の基準位置に対するこの顔姿勢情報の変位を求める。この基準位置に対応する顔画像を、求めた５００個の各変位に基づいて、顔器官の検出対象の画像を射影変換することにより、射影変換画像群を生成する。なお、基準位置は、画像フレームを処理する毎に更新したものを用いてもよいし、固定の基準位置を用いてもよい。当該射影変換画像は、図２のＳｔｅｐ１０９において、当該射影変換画像群各々と、画像フレームと、の対応する特徴点間の輝度値の誤差をアピアランスベース類似度として算出するために用いられる。図９には射影変換画像の一例を示す。
Ｓｔｅｐ６０６において、第２の尤度算出部１４２は、Ｓｔｅｐ１０９において算出された５００個のアピアランスベース類似度それぞれを、【００４６】
【数２】
2009091029.tif 000004
の式を用いて、尤度Ｐiに変換する。ここで、Ｉdは撮影されたフレーム画像から検出された顔面特徴点の輝度であり、Ｉmは５００個の各射影変換画像の対応する特徴点の輝度である。また、σは５００個の射影変換画像から構成される射影変換画像群の標準偏差を示し、ｅは自然対数の底を示す。
Ｓｔｅｐ６０４において、統合尤度算出部１４３は、Ｓｔｅｐ６０５で算出した尤度、及び、Ｓｔｅｐ６０６で算出した尤度について、共通の顔姿勢候補に対応する尤度同士を掛け合わせることで、Ｓｔｅｐ６０１で生成した５００個の顔姿勢候補にそれぞれ対応する統合尤度を算出する。【００４７】
このように、Ｓｔｅｐ６０５及びＳｔｅｐＳ６０６において、３Ｄモデルベース類似度（次元は距離）と、アピアランスベース類似度（次元は輝度）とを、同じ次元の尤度に変換することにより、ＳｔｅｐＳ６０４において掛け合わせて統合尤度を算出することが可能となる。なお、算出した統合尤度が著しく低い等で顔姿勢のトラッキングが外れたと判断した場合、Ｓｔｅｐ１００に戻り画像フレーム取得から処理をやり直す。【００４８】
そして、Ｓｔｅｐ６０７において、Ｓｔｅｐ６０４において統合尤度が対応付けされた５００個の顔姿勢候補の中から、対応する統合尤度の偏りに応じて、高いものから順に、より少数の顔姿勢候補群を選出する。
その後、再びＳｔｅｐ６０１の顔姿勢候補群生成処理に戻り、顔姿勢候補群生成部１６は、Ｓｔｅｐ６０７において少数に選出された顔姿勢候補群に対して、対応する統合尤度の重みに応じて顔姿勢の６変数に独立な乱数を発生させることにより、再び計５００個の顔姿勢候補から構成される顔姿勢候補群を生成し、次の画像フレームの処理を行うために、以後同様の処理を繰り返す。【００４９】
Ｓｔｅｐ６０８において、Ｓｔｅｐ６０４で算出された、統合尤度が対応付けされた５００個の顔姿勢候補の中から、その値が最大となる統合尤度に対応した顔姿勢情報に含まれる各種数値に基づく顔姿勢を出力する。或いは、顔姿勢候補群に対応する顔姿勢情報に含まれる各種数値についての重心や平均、或いは中央値などを、推定した顔姿勢として出力する。【００５０】
また、Ｓｔｅｐ６０９においては、Ｓｔｅｐ６０４で算出された、統合尤度が対応付けされた５００個の顔姿勢候補について、統合尤度による重み付けを考慮して、各顔姿勢候補（３次元の顔器官座標）を画像フレーム上に射影した２次元座標の分布領域を生成することにより、図２のＳｔｅｐ１０３で用いられる顔器官探索領域や、Ｓｔｅｐ１０７で用いられる顔面特徴点探索領域を設定する。【００５１】
（顔姿勢推定処理）
次に、図１０に示す処理フローを参照して、Ｓｔｅｐ６０８において顔姿勢推定部１５が行う顔姿勢推定処理について説明する。
Ｓｔｅｐ６０４から、５００個の顔姿勢候補と、それぞれの顔姿勢候補に対応した統合尤度が入力される。
Ｓｔｅｐ８０１において、その５００個の統合尤度の中から最も高い尤度（以下、「最高統合尤度」という）に対応した顔姿勢候補を選出する。【００５２】
また、Ｓｔｅｐ８０２においては、顔姿勢候補の顔姿勢情報である、顔向き３パラメータ、顔位置３パラメータの計６パラメータのそれぞれについて、５００個の顔姿勢候補に対応した統合尤度の重み付けによる平均、すなわち重心の計算を行うことにより、顔姿勢を算出する。重み付けの方法としては、例えば、各パラメータに対して統合尤度を掛け合わせる。なお、重心に限らず、平均値や中央値を顔姿勢としてもよい。【００５３】
そして、Ｓｔｅｐ８０３において、Ｓｔｅｐ８０１における顔姿勢推定結果か、或いはＳｔｅｐ８０２における顔姿勢推定結果のどちらかを選択し、選択した推定結果を顔姿勢として出力する。
Ｓｔｅｐ８０１における顔姿勢推定結果は、入力された顔画像の照明条件などが良く、カメラの前に手をかざした場合などの画像の部分隠れなどが生じていない状況において顔姿勢推定が高精度に行なわれている場合には非常に有効であるが、その一方、照明条件が悪かったり、画像の部分隠れなどが生じている状況においては、例えば顔器官の誤検出などの影響を直接受けてしまうために、推定された顔姿勢が１フレームごとに大きく変化するという場合も生じうる。【００５４】
また、Ｓｔｅｐ８０２における顔姿勢推定結果は、統合尤度を考慮した顔姿勢候補群全体の演算結果によるものであるため、急激な顔姿勢変化への対応レスポンスは多少鈍るものの、例えば顔器官の誤検出などの影響を低減することが可能であり、推定された顔姿勢が１フレームごとに大きく変化するといった現象を抑えることができる。
Ｓｔｅｐ８０３における選択は、例えば、Ｓｔｅｐ８０１で選出した最高統合尤度が所定の閾値を超えて、最高統合尤度に対応した顔姿勢の推定に信頼が置ける場合にはＳｔｅｐ８０１の顔姿勢推定結果を選択し、所定の閾値を超えなかった場合にはＳｔｅｐ８０２の顔姿勢候補群の分布の重心から算出した顔姿勢推定結果を選択する。顔姿勢候補群の分布重心を顔姿勢推定結果の選択肢の一つとして用意することにより、顔器官の検出誤差などに対して堅牢なシステムを構築することが可能となる。【００５５】
（実施例１のまとめ）
図１１には、実施例１に係る顔姿勢推定処理の流れの概略を示す。
Ｓｔｅｐ６０１においては、３Ｄモデルベースとアピアランスベースとの両方に用いられる共通の顔姿勢候補群が生成される。
Ｓｔｅｐ６０２、１０４、６０５においては、共通の顔姿勢候補に対して３Ｄモデルベースによる類似度及び尤度が算出される。Ｓｔｅｐ６０３、１０９、６０６においては、共通の顔姿勢候補に対して、アピアランスベースによる類似度及び尤度が算出される。【００５６】
そして、Ｓｔｅｐ６０４において、３Ｄモデルベースによる尤度とアピアランスベースによる尤度とが統合され、共通の顔姿勢候補に対する統合尤度が算出される。
Ｓｔｅｐ６０８においては、最高統合尤度に対応する顔姿勢、或いは尤度の高い顔姿勢候補群の中央値や平均値などが、推定結果として出力される。
また、Ｓｔｅｐ６０１においては、Ｓｔｅｐ６０４で算出された例えば５００個の顔姿勢候補のうち、例えば統合尤度の高い上位５０個のみが選択され、選択された５０個の顔姿勢候補に基づいて、また新たな５００個の顔姿勢候補が生成される。【００５７】
このように、Ｓｔｅｐ６０４において、３Ｄモデルベースとアピアランスベースとによる統合尤度を算出したことにより、顔姿勢の推定精度が向上し、また、その推定結果を用いて、Ｓｔｅｐ６０１における、３Ｄモデルベースとアピアランスベースとの両方に用いる共通の顔姿勢候補群を生成することができ、顔姿勢候補群の共通化が初めて可能になった。また、従来においては、３Ｄモデルベース及びアピアランスベース各々の手法を各々の顔姿勢候補群に対して用いて顔姿勢を推定していたため顔姿勢推定の精度が不十分であったが、性能特性（後述）が補完的な関係にある２つの手法を用いて顔姿勢を推定することで、高精度に顔姿勢を推定することが可能となった。【００５８】
（実施例２：所定の顔器官が隠れる範囲を含む顔姿勢推定）
次に、所定の顔器官が隠れる範囲を含む顔姿勢推定の実施例について説明する。
一例として、運転者の顔映像を撮影するカメラが、メーター・フード上などの運転者の正面に設置されている場合には、運転者の横方向の顔向き（ヨー角）が、正面方向を０度として、左右におよそ６０度以上横を向いた場合、３次元顔形状モデルベースによる顔姿勢推定において一般的に用いられる目頭・目尻や鼻孔や口唇端が撮影画像から隠れてしまい、３Ｄモデルベースによる顔姿勢推定が行えなくなる。本実施例では、運転者の水平方向（ヨー方向）の顔向きが、正面方向から横方向を向き始め、６０度を超えて横を向いた場合の顔姿勢推定について説明する。【００５９】
運転者の顔向きが正面方向から横方向６０度以内においては、カメラにより撮影されたフレーム画像内の顔画像において所定の顔器官が検出できるため、実施例１で説明したように、図２に示す全体処理フローにおける、Ｓｔｅｐ１０３、Ｓｔｅｐ１０４、Ｓｔｅｐ１０５、Ｓｔｅｐ１０６のループと、Ｓｔｅｐ１０７、Ｓｔｅｐ１０８、Ｓｔｅｐ１０９、Ｓｔｅｐ１０６のループとが共に動作する。【００６０】
そして、Ｓｔｅｐ１０６では、Ｓｔｅｐ１０４で算出された３Ｄモデルベース類似度と、Ｓｔｅｐ１０９で算出されたアピアランスベース類似度の両方を用いて統合尤度を算出し、例えばパーティクルフィルタなどによる顔姿勢トラッキング処理を実施し、その顔姿勢トラッキング処理の結果として顔姿勢推定値を出力する。
続いて更に顔が横方向を向き、６０度を超えた場合について説明する。【００６１】
左右横方向への顔向きがおよそ６０度を超えると、カメラで撮影したフレーム画像内の顔画像において顔半分の顔器官が隠れ始めるため、所定の顔器官の検出を行うことができなくなる。
このような状況になると、Ｓｔｅｐ１０３とＳｔｅｐ１０４における処理を行うことができないため、Ｓｔｅｐ１０６においては、Ｓｔｅｐ１０９で算出されたアピアランスベース類似度のみを顔姿勢推定のための尤度として用いることで、顔姿勢トラッキング処理を実施し、その結果として顔姿勢推定値を出力する。【００６２】
（実施例３：常に所定の顔器官が隠れる場合の顔姿勢推定）
次に、例えば運転者のサングラスなどの装着による目頭・目尻の隠れや、或いはマスクなどの装着による口唇端の隠れなど、常に所定の顔器官が隠れる場合の顔姿勢推定についての実施例について説明する。
この場合には、常に所定の顔器官が隠れているため、図２に示す全体処理フローにおける、Ｓｔｅｐ１００、Ｓｔｅｐ１０１、Ｓｔｅｐ１０２の全体顔検出と、Ｓｔｅｐ１０７、Ｓｔｅｐ１０８、Ｓｔｅｐ１０９、Ｓｔｅｐ１０６のループは動作するものの、Ｓｔｅｐ１０３、Ｓｔｅｐ１０４、Ｓｔｅｐ１０５、Ｓｔｅｐ１０６のループは一度も動作しない。【００６３】
Ｓｔｅｐ１０７、Ｓｔｅｐ１０８、Ｓｔｅｐ１０９、Ｓｔｅｐ１０６のループでは、Ｓｔｅｐ１０６において設定された特徴点からの顔姿勢の変位分のみが推定される。このため、絶対値としての顔姿勢を算出するために、基準位置が必要となる。通常の場合、この基準位置は、Ｓｔｅｐ１０３、Ｓｔｅｐ１０４、Ｓｔｅｐ１０５、Ｓｔｅｐ１０６のループにより３Ｄモデルベースによる顔姿勢推定処理がひとたび実施されれば、得ることができる。
この実施例の場合、運転者がサングラスやマスクを装着しているため、一度もＳｔｅｐ１０３、Ｓｔｅｐ１０４、Ｓｔｅｐ１０５、Ｓｔｅｐ１０６のループが実施されず、基準位置を得ることができない。【００６４】
これを解決するために、運転者の運転中の顔向きとして最も頻度が大きいのは正面方向であると推定できることから、Ｓｔｅｐ１０６において、過去のある区間の顔姿勢変位の履歴を求め、その変位ヒストグラムから最も頻度が大きい顔向きを正面方向（ヨー角）０度とすることで、基準位置を設定する。そして、その基準位置に対応するフレーム画像からの顔姿勢変位分を加えることで、顔姿勢推定処理を実施する。【００６５】
（推定データ）
図１２には、本発明手法を用いて、顔の正面方向から横方向６０度を超える範囲で顔姿勢を推定した結果を示す。グラフの横軸は画像フレーム番号（時間）、縦軸は顔の正面方向から６０度横方向（ヨー方向）を基準（０度）として当該基準から顔が横方向に変位した角度を表す。実線が実際の顔姿勢を示しており、点の分布が顔姿勢推定装置１０から出力された顔姿勢推定結果を示す。同図から判るように、顔器官を検出できない、顔の正面方向から横方向６０度を超える範囲においても、１０度以内の誤差で顔姿勢を推定することが可能である。【００６６】
図１３には、顔姿勢のヨー角の推定を、本発明手法を用いて行った結果を示す。ここでは、（１）式に示す３Ｄモデルベースによる尤度Ｐpの係数値σmを１６（σm2＝２５６）として推定を行った。グラフの縦軸が顔姿勢のヨー角を示し、顔正面方向を０°とし、＋方向が右向き、−方向が左向きを示している。グラフの横軸は経過時間を示している。実線が実際の顔姿勢を示しており、点の分布が顔姿勢推定装置１０から出力された顔姿勢推定結果を示す。この場合には、顔姿勢は顔正面方向（０°）からスタートし、その後１０秒後あたりから左を向き始め、約２３秒後に左方向に約９０°まで向いたところで正面方向に戻し始め、４２秒後あたりで正面方向に戻り、そのまま右方向を向き始め、約５０秒後に右方向に約９０°まで向いている。この図に示すように、左右方向約９０度の全方向について、１０度以内の誤差で顔姿勢を推定可能であることが判る。【００６７】
図１４には、図１３における３Ｄモデルベースの尤度特性を変更した場合の顔姿勢のヨー角推定結果を示す。図１４では、（１）式に示す３Ｄモデルベースによる尤度Ｐpの係数値σmを１（σm2＝１）として推定を行った。なお、アピアランスベースの尤度特性は図１３と同じものを使用している。
図１４では、図１３と同様に、共通の顔姿勢候補群に対して３Ｄモデルベース及びアピアランスベースを用いた統合尤度を用いることで、顔姿勢推定の性能の飛躍的向上が実現できていることが分かる。しかしながら、図１３と比較すると、推定精度の低下が確認される。【００６８】
３Ｄモデルベースにおいては、顔姿勢候補群に対する尤度分布特性は（１）式に示す３Ｄモデルベースによる尤度Ｐpの係数値σm2で決められ、その結果、例えばσm2の値を小さくすることで位置の誤差の小さいものだけを考慮した尤度にすることにより、推定顔姿勢に対して鋭敏な反面、追跡頑健性に弱い特性を強調したり、或いは逆にσm2の値を大きくすることで位置の誤差の大きなものまで考慮した尤度にすることにより、推定顔姿勢に対して鈍感な反面、追跡頑健性に強い特性傾向を持たせるなど、精度敏感性と推定頑健性の特性を変化させることができる。【００６９】
また、アピアランスベースにおいては、顔姿勢候補群に対する尤度分布特性は（２）式に示すアピアランスベースによる尤度Ｐiの係数値σa2で決められ、その結果、例えばσa2の値を小さくすることで位置の誤差の小さいものだけを考慮した尤度にすることにより、推定顔姿勢に対して鋭敏な反面、追跡頑健性に弱い特性を持たせたり、或いは逆にσm2の値を大きくすることで位置の距離の大きなものまで考慮した尤度にすることにより、推定顔姿勢に対して鈍感な反面、追跡頑健性に強い特性傾向を強調させるなど、精度敏感性と推定頑健性の特性を変化させることができる。【００７０】
そして、３Ｄモデルベース顔姿勢推定の尤度特性とアピアランスベース顔姿勢推定の尤度特性とをそれぞれ調整することで、最も効果的な統合尤度を得ることができる。３Ｄモデルベース、アピアランスベースのそれぞれに対する最適な尤度特性は、いくつかの特性の組み合わせを試し、それらの中から最適な組み合わせを見つけることで、求めることができる。【００７１】
なお、上記では、図１３及び図１４を用いて、３Ｄモデルベースの尤度特性を変更したことによる影響のみを示したが、アピアランスベースの尤度特性を変化させ、或いは３Ｄモデルベースとアピアランスベース双方の尤度特性を変化させて、最も効果的な統合尤度を求めることができる。
図１５には、図１３に示す本発明方式との比較において、顔姿勢のヨー角の推定を３Ｄモデルベースのみで行った結果を示す。ここでは、図１３と同様に、（１）式に示す３Ｄモデルベースによる尤度Ｐpの係数値σmを１６（σm2＝２５６）として推定を行った。図１５に示すように、多くの顔器官が画面から隠れてしまう６０°を超えた約２１秒後で、顔姿勢推定が行なえなくなったことが分かる。また、６０°以内においても、３Ｄモデルベースのみでは推定精度が悪く、本発明のアピアランスベースとの統合尤度を用いる効果が確認できる。【００７２】
図１６には、図１４に示す本発明方式との比較において、顔姿勢のヨー角の推定を３Ｄモデルベースのみで行った結果を示す。図１６では、図１４と同様に、（１）式に示す３Ｄモデルベースによる尤度Ｐpのσmを１（σm2＝１）として推定を行った。図１６では、図１５に示す係数値σmを１６とした場合の３Ｄモデルベースの顔姿勢ヨー角推定結果と比較して、スタートから１０秒後あたりまでと、３８秒後から４５秒後あたりまでの推定結果に大きな値の変動が無くなり、精度が向上している。その反面、追跡頑健性は弱くなり、図１５では２１秒後あたりまで推定できていたものが、図１６では１８秒後あたりで推定が行なえなくなっている。すなわち、尤度特性を変更したことで、図１５に示す推定結果と比較して、推定顔姿勢に対して鋭敏な反面、追跡頑健性に弱い特性が強調されている。【００７３】
図１７には、図１３及び図１４に示す本発明方式との比較において、顔姿勢のヨー角の推定をアピアランスベースのみで行った推定結果を示す。図１７では、アピアランスベースの尤度特性は、図１３及び図１４と同じものを用いている。アピアランスベースによる顔姿勢推定は、特定の顔器官座標を用いないため、ヨー角がおよそ６０°を超えた場合においても、顔姿勢の推定が行なえていることが分かる。しかしながら、アピアランスベースによる顔姿勢推定においては２次元画像パターンの射影変換情報のみを用いるため、推定精度は高くは無く、本発明の３Ｄモデルベースとの統合尤度を用いる効果が確認できる。【００７４】
図１５〜図１７に示す単独手法による推定結果から分るように、一般的に、３Ｄモデルベースによる顔姿勢推定は精度に対して敏感に反応する反面、推定に対する頑健性には弱い特性を持つ。一方、アピアランスベースの顔姿勢推定は精度に対しては鈍感である反面、推定に対する頑健性には強い特性を持つ。
これに対して、図１３及び図１４に示すように、本発明方式による顔姿勢推定は、３Ｄモデルベースとアピアランスベースとの個々の推定結果と比較して、非常に高精度である。【００７５】
その理由としては、３Ｄモデルベースとアピアランスベースとを、共通顔姿勢候補群に対して尤度レベルで統合することにより、３Ｄモデルベースの持つ、推定精度に敏感な反面、頑健性には弱い特性と、アピアランスベースの持つ、推定精度に鈍感な反面、頑健性には強い特性の、両者の良い特性を組み合わせることが可能になり、結果として、推定精度に敏感であり、かつ頑健性にも強い特性を実現できる。【００７６】
また、３Ｄモデルベースのみによる顔姿勢推定では推定が行なえていなかった約２１秒後から３５秒後までの顔姿勢推定においても、たとえ顔姿勢推定には十分な顔器官数ではなくても、画面上で検出できる一部の顔器官座標を用いた尤度をアピアランスベースによる尤度と統合し、共通の顔姿勢候補群を用いることで、アピアランスベースのみによる顔姿勢推定と比較して、高精度な推定を実現することができている。【００７７】
上の例で、一般的に３Ｄモデルベースの顔姿勢推定は精度に対して敏感に反応する反面、推定に対する頑健性には弱い特性を持ち、一方、アピアランスベースの顔姿勢推定は精度に対しては鈍感である反面、推定に対する頑健性には強い特性を持つことを示すことができた。そして、この両者を共通の顔姿勢候補群に対して尤度ベースで統合することで、それぞれの良い特性を組み合わせることが可能になり、結果として推定精度に敏感であり、かつ頑健性にも強い特性を実現することができた。【００７８】
以上説明したように、顔姿勢推定装置１０は、３Ｄモデルベース類似度に対応する尤度と、アピアランスベース類似度に対応する尤度とを用いて統合尤度を算出し、該算出された統合尤度を用いて顔姿勢を推定するため、３Ｄモデルベース類似度に対応する尤度と、アピアランスベース類似度に対応する尤度とを個別に用いて顔姿勢を推定するよりも高精度な顔姿勢推定を行うことができる。従来においては、各々の手法を各々の顔姿勢候補群に対して用いて顔姿勢を推定していたため顔姿勢推定の精度が不十分であったが、性能特性が補完的な関係にある２つの手法を用いて顔姿勢を推定することで、高精度に顔姿勢を推定することが可能となる。すなわち、３Ｄモデルベースは、所定の顔器官が精度良く検出できる条件においては、高精度な顔姿勢推定を行なうことができる反面、所定の顔器官の検出誤差が大きな場合に顔姿勢推定性能が急激に劣化し、また所定の顔器官検出が行なえない顔向き範囲には対応できない。一方、アピアランスベースは、２次元の顔画像のみを対象としているため、３Ｄモデルベースと比較して顔姿勢推定精度は劣るものの、所定の顔器官検出座標を用いないため、顔器官検出誤差の直接的な影響はなく、また顔向き範囲の制約もないという補完関係にある。【００７９】
なお、上述した実施例では、補完的な関係にある手法として、アピアランスベース及び３Ｄモデルベースについて説明したが、これらの手法と同様の補完関係にある別の名称の手法を本発明に適用できることはいうまでもない。
また、一方の尤度が算出されない場合には、算出された一方の尤度のみ用いて前記統合尤度を算出するため、顔器官の検出を行うことができない場合にも顔姿勢を推定することが可能となる。運転者等の利用者を拘束せず、利用者に器具を装着させることなく、目、鼻、口が隠れてしまう範囲での顔姿勢の推定を行うことができる。また、眼鏡着用、髪型の変化などで既定の顔器官が隠れる場合でも、顔姿勢の推定を行うことができる。
【産業上の利用可能性】
【００８０】
本発明は、画像から顔器官が検出できない場合にも顔姿勢を検出することが可能であり、車両の運転者の安全運転支援に利用することができる。
【図１】
2009091029.tif 000005
【図２】
2009091029.tif 000006
【図３】
2009091029.tif 000007
【図４】
2009091029.tif 000008
【図５】
2009091029.tif 000009
【図６】
2009091029.tif 000010
【図７】
2009091029.tif 000011
【図８】
2009091029.tif 000012
【図９】
2009091029.tif 000013
【図１０】
2009091029.tif 000014
【図１１】
2009091029.tif 000015
【図１２】
2009091029.tif 000016
【図１３】
2009091029.tif 000017
【図１４】
2009091029.tif 000018
【図１５】
2009091029.tif 000019
【図１６】
2009091029.tif 000020
【図１７】
2009091029.tif 000021
【手続補正書】
【提出日】平成21年4月27日(2009.4.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔を時系列的に撮影した顔画像から前記顔の少なくとも向きを表す顔姿勢を推定する顔姿勢推定装置において、
前記顔画像から顔器官を検出する顔器官検出手段と、
推定される顔姿勢の候補である顔姿勢候補の集合である顔姿勢候補群を生成する顔姿勢候補群生成手段と、
前記顔姿勢候補群生成手段により生成された顔姿勢候補群各々の顔器官と、前記顔器官検出手段により検出された実際の顔器官と、の各々位置に対応する第１のパラメータによる第１の類似度を算出する第１の類似度算出手段と、
前記顔姿勢候補生成手段により生成された顔姿勢候補群各々の顔画像と、前記顔器官検出手段により検出対象となった実際の顔画像と、の各々所定の基準姿勢との変位に応じた画素値に対応する第２のパラメータによる第２の類似度を算出する第２の類似度算出手段と、
前記第１の類似度算出手段により算出された第１の類似度に対応する第１の尤度を算出する第１の尤度算出手段と、
前記第２の類似度算出手段により算出された第２の類似度に対応する第２の尤度を算出する第２の尤度算出手段と、
前記第１の尤度と、前記第２の尤度とを用いて、前記顔姿勢候補群各々の確からしさを表す統合尤度を算出する統合尤度算出手段と、
前記統合尤度算出手段により算出された統合尤度が最も高い顔姿勢候補に基づいて顔姿勢を推定する顔姿勢推定手段とを備え、
前記統合尤度は、前記顔姿勢候補生成手段による顔姿勢候補群の新たな更新生成へ反映されることを特徴とする顔姿勢推定装置。
【請求項２】
請求項１記載の顔姿勢推定装置において、前記統合尤度算出手段は、前記第１の尤度または前記第２の尤度のいずれかが算出されない場合には、算出された一方の尤度のみ用いて前記統合尤度を算出することを特徴とする顔姿勢推定装置。
【請求項３】
請求項１乃至２記載の顔姿勢推定装置において、前記第１の類似度算出手段と前記第２の類似度算出手段とは、それぞれの性能特性を補完する補完関係であることを特徴とする顔姿勢推定装置。
【請求項４】
請求項１乃至３の何れか１項に記載の顔姿勢推定装置において、前記統合尤度算出手段は、前記第１の尤度と前記第２の尤度とを乗算することを特徴とする顔姿勢推定装置。
【請求項５】
請求項１乃至４の何れか１項に記載の顔姿勢推定装置において、前記第１の類似度算出手段は、三次元顔形状モデルベースによる類似度算出手段で、前記第１のパラメータは、位置の誤差であって、前記第２の類似度算出手段は、射影変換アピアランスベースによる類似度算出手段で、前記第２のパラメータは、画素値の誤差であることを特徴とする顔姿勢推定装置。
【請求項６】
（削除）
【請求項７】
請求項１乃至５の何れか１項に記載の顔姿勢推定装置において、前記顔姿勢推定手段は、前記統合尤度算出手段により算出された統合尤度が最も高い顔姿勢候補に基づいて顔姿勢を推定することに代えて、前記顔姿勢候補群生成手段により生成された顔姿勢候補群の少なくとも一部に基づく数値の、平均値と、中央値と、前記統合尤度による重み付けを施した平均値である重心と、の何れかに基づいて顔姿勢を推定することを特徴とする顔姿勢推定装置。
【請求項８】
請求項１乃至５の何れか１項に記載の顔姿勢推定装置において、前記顔姿勢推定手段は、前記統合尤度算出手段により算出された最も高い統合尤度が所定の閾を超えている場合に、前記最も高い統合尤度に対応する顔姿勢候補に基づいて顔姿勢を推定し、
前記最も高い統合尤度が所定の閾値以下の場合に、前記顔姿勢候補群生成手段により生成された顔姿勢候補群の少なくとも一部に基づく数値の、平均値と、中央値と、前記統合尤度による重み付けを施した平均値である重心と、の何れかに基づいて顔姿勢を推定することを特徴とする顔姿勢推定装置。
【請求項９】
請求項１乃至５、７又は８の何れか１項に記載の顔姿勢推定装置において、前記顔姿勢候補群生成手段は、前記統合尤度算出手段により算出された統合尤度が比較的高いものに対応する顔姿勢候補群に基づいて、次の前記第１の類似度と前記第２の類似度との算出に用いられる顔姿勢候補群を生成することを特徴とする顔姿勢推定装置。
【請求項１０】
請求項１乃至５、又は、７乃至９の何れか１項に記載の顔姿勢推定装置において、前記顔画像は、車両の運転者の顔が撮影された画像であることを特徴とする顔姿勢推定装置。
【請求項１１】
請求項１乃至５、又は、７乃至１０の何れか１項に記載の顔姿勢推定装置を備えた車両。
【請求項１２】
顔を時系列的に撮影した顔画像から前記顔の少なくとも向きを表す顔姿勢を推定する顔姿勢推定方法において、
前記顔画像から顔器官を検出する顔器官検出ステップと、
推定される顔姿勢の候補である顔姿勢候補の集合である顔姿勢候補群を生成する顔姿勢候補群生成ステップと、
前記顔姿勢候補群生成ステップにおいて生成された顔姿勢候補群各々の顔器官と、前記顔器官検出手段により検出された実際の顔器官と、の各々位置に対応する第１のパラメータによる第１の類似度を算出する第１の類似度算出ステップと、
前記顔姿勢候補生成ステップにおいて生成された顔姿勢候補群各々の顔画像と、前記顔器官検出ステップにおいて検出対象となった実際の顔画像と、の各々所定の基準姿勢との変位に応じた画素値に対応する第２のパラメータによる第２の類似度を算出する第２の類似度算出ステップと、
前記第１の類似度算出ステップにおいて算出された第１の類似度に対応する第１の尤度を算出する第１の尤度算出ステップと、
前記第２の類似度算出ステップにおいて算出された第２の類似度に対応する第２の尤度を算出する第２の尤度算出ステップと、
前記第１の尤度と、前記第２の尤度とを用いて、前記顔姿勢候補群各々の確からしさを表す統合尤度を算出する統合尤度算出ステップと、
前記統合尤度算出ステップにおいて算出された統合尤度が最も高い顔姿勢候補に基づいて顔姿勢を推定する顔姿勢推定ステップと
を備えることを特徴とする顔姿勢推定方法。
【請求項１３】
コンピュータに、
顔を時系列的に撮影した顔画像から顔器官を検出する顔器官検出ステップと、
推定される顔姿勢の候補である顔姿勢候補の集合である顔姿勢候補群を生成する顔姿勢候補群生成ステップと、
前記顔姿勢候補群生成ステップにおいて生成された顔姿勢候補群各々の顔器官と、前記顔器官検出手段により検出された実際の顔器官と、の各々位置に対応する第１のパラメータによる第１の類似度を算出する第１の類似度算出ステップと、
前記顔姿勢候補生成ステップにおいて生成された顔姿勢候補群各々の顔画像と、前記顔器官検出ステップにおいて検出対象となった実際の顔画像と、の各々所定の基準姿勢との変位に応じた画素値に対応する第２のパラメータによる第２の類似度を算出する第２の類似度算出ステップと、
前記第１の類似度算出ステップにおいて算出された第１の類似度に対応する第１の尤度を算出する第１の尤度算出ステップと、
前記第２の類似度算出ステップにおいて算出された第２の類似度に対応する第２の尤度を算出する第２の尤度算出ステップと、
前記第１の尤度と、前記第２の尤度とを用いて、前記顔姿勢候補群各々の確からしさを表す統合尤度を算出する統合尤度算出ステップと、
前記統合尤度算出ステップにおいて算出された統合尤度が最も高い顔姿勢候補に基づいて顔姿勢を推定する顔姿勢推定ステップと
を実行させるための顔姿勢推定プログラム。
【国際調査報告】
2009091029.tif 000022
2009091029.tif 000023