(57)【特許請求の範囲】
【請求項１】
対象者の左右の瞳孔及び左右の鼻孔のうちの３つの組み合わせである第１基準部位群における部位間の距離を求める距離導出ステップと、
１台の撮像手段によって前記対象者の顔画像を生成し、前記顔画像に基づいて前記顔画像上における前記第１基準部位群の２次元的位置を検出する位置検出ステップと、
前記距離導出ステップにおいて求められた前記距離と、前記位置検出ステップにおいて検出された前記２次元的位置とに基づいて、前記第１基準部位群を含む平面の法線方向を算出することによって、前記対象者の顔姿勢を導出する姿勢導出ステップと、
を備え、
前記距離導出ステップでは、前記左右の瞳孔及び前記左右の鼻孔のうちの第１基準部位群以外の３つの組み合せである第２基準部位群における部位間の距離を併せて求め、
前記位置検出ステップでは、前記顔画像に基づいて前記顔画像上における前記第２基準部位群の２次元的位置を併せて検出し、
前記姿勢導出ステップでは、前記距離導出ステップにおいて求められた前記第２基準部位群に関する前記距離と、前記位置検出ステップにおいて検出された前記第２基準部位群に関する前記２次元的位置とに基づいて、前記第２基準部位群を含む平面の法線方向を更に算出し、該法線方向と前記第１基準部位を含む平面の法線方向とを用いて前記対象者の顔姿勢を導出する、
ことを特徴とする顔姿勢検出方法。
【請求項２】
前記距離導出ステップでは、２台の撮像手段を用いてステレオ計測により前記第１基準部位群における部位間の距離を求め、
前記位置検出ステップでは、前記２台の撮像手段のうちの一方の撮像手段を用いて前記第１基準部位群の２次元的位置を検出する、
ことを特徴とする請求項１記載の顔姿勢検出方法。
【請求項３】
位置検出ステップでは、前記撮像手段に取り付けられた第１の光源から前記対象者に向けて照明光を照射させると同時に第１の顔画像を生成する一方、前記撮像手段の光軸からの距離が前記第１の光源よりも大きくなるように設けられた第２の光源から、前記対象者に向けて照明光を照射させると同時に第２の顔画像を生成し、前記第１の顔画像と前記第２の顔画像との差分を取ることによって第１基準部位群のうちの瞳孔の２次元的位置を検出する、
ことを特徴とする請求項１又は２に記載の顔姿勢検出方法。
【請求項４】
位置検出ステップでは、第１の光源から前記対象者に向けて照明光を照射させると同時に第１の顔画像を生成する一方、発光波長が前記第１の光源と異なる第２の光源から、前記対象者に向けて照明光を照射させると同時に第２の顔画像を生成し、前記第１の顔画像と前記第２の顔画像との差分を取ることによって第１基準部位群のうちの瞳孔の２次元的位置を検出する、
ことを特徴とする請求項１又は２に記載の顔姿勢検出方法。
【請求項５】
前記第１及び第２の光源は、前記撮像手段の光軸からの距離が等しくなるように設けられている、
ことを特徴とする請求項４記載の顔姿勢検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、観察対象者の顔姿勢を検出する顔姿勢検出方法に関するものである。
【背景技術】
【０００２】
従来から、自動車等において運転者の顔方向を検出する機能を搭載してよそ見運転をモニターすることが検討されている。このような機能は、自動車の安全運転のために重要な情報を提供する。この種の顔方向検出の技術としては、２台のカメラによって対象者の顔画像を撮像して、三角測量の原理から顔の特徴点の３次元的位置を計測し、それらの特徴点の位置関係から顔の方向を捉える方法が開示されている（下記非特許文献１参照）。また、２台のカメラを使って対象者の瞳孔及び鼻孔の座標を演算して、演算結果に応じて顔方向を求める方法も開示されている（特許文献１参照）。
【特許文献１】特開２００５−２６６８６８号公報
【非特許文献１】Yoshio Matsumoto, Alexander Zelinsky, 「頭部の方向と視線方向の実時間計測のアルゴリズム（An Algorithm forReal-time Stereo Vision Implementation of Head Pose and Gaze DirectionMeasurement）」,Proceedings of IEEE Fourth International Conference on Face and GestureRecognition (FG'2000), pp.499-505, 2000
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した従来の顔方向の検出方法においては、２台のカメラを利用して顔方向を検出する場合にその顔方向の検出範囲が所定範囲（例えば±４０度）に限られるため、検出範囲を拡げたい場合は別の一組のカメラが必要になる。しかしながら、カメラを複数組設けることは、検出システムの構成を複雑にすると同時にコスト上昇を招くおそれがある。
【０００４】
そこで、本発明は、かかる課題に鑑みて為されたものであり、複雑な撮像系システムを必要とすることなく、効率的に顔姿勢の方向を検出することが可能な顔姿勢検出方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の顔姿勢検出方法は、対象者の左右の瞳孔及び左右の鼻孔のうちの３つの組み合わせである第１基準部位群における部位間の距離を求める距離導出ステップと、１台の撮像手段によって対象者の顔画像を生成し、顔画像に基づいて顔画像上における第１基準部位群の２次元的位置を検出する位置検出ステップと、距離導出ステップにおいて求められた距離と、位置検出ステップにおいて検出された２次元的位置とに基づいて、第１基準部位群を含む平面の法線方向を算出することによって、対象者の顔姿勢を導出する姿勢導出ステップとを備え、距離導出ステップでは、左右の瞳孔及び左右の鼻孔のうちの第１基準部位群以外の３つの組み合せである第２基準部位群における部位間の距離を併せて求め、位置検出ステップでは、顔画像に基づいて顔画像上における第２基準部位群の２次元的位置を併せて検出し、姿勢導出ステップでは、距離導出ステップにおいて求められた第２基準部位群に関する距離と、位置検出ステップにおいて検出された第２基準部位群に関する２次元的位置とに基づいて、第２基準部位群を含む平面の法線方向を更に算出し、該法線方向と第１基準部位を含む平面の法線方向とを用いて対象者の顔姿勢を導出する。
【０００６】
このような顔姿勢検出方法によれば、対象者の左右の瞳孔及び鼻孔のうちの３部位間の距離を求めておいて、１台の撮像手段によって撮像された顔画像からその３部位の２次元的位置を検出し、３部位間の距離と３部位の２次元的位置から３部位を含む平面の法線方向を算出することによって顔姿勢を特定するので、１組の撮像手段によって特徴点を捉えることができる角度よりも１台の撮像手段によって捉えることができる角度の方が広くなり、簡易な撮像系によって効率的な顔姿勢の検出が可能となる。さらに、左右の瞳孔及び鼻孔のうちの３つの組み合わせを２組選択して、それぞれの組み合わせの部位を含む２つの平面の法線方向から顔姿勢を検出するので、顔姿勢の検出精度がより向上する。
【０００７】
距離導出ステップでは、２台の撮像手段を用いてステレオ計測により第１基準部位群における部位間の距離を求め、位置検出ステップでは、２台の撮像手段のうちの一方の撮像手段を用いて第１基準部位群の２次元的位置を検出することが好ましい。この場合、対象者ごとの特徴点間の距離が容易に把握されると同時に、検出可能な顔姿勢の範囲をより効率的に拡げることができる。
【０００９】
さらに、位置検出ステップでは、撮像手段に取り付けられた第１の光源から対象者に向けて照明光を照射させると同時に第１の顔画像を生成する一方、撮像手段の光軸からの距離が第１の光源よりも大きくなるように設けられた第２の光源から、対象者に向けて照明光を照射させると同時に第２の顔画像を生成し、第１の顔画像と第２の顔画像との差分を取ることによって第１基準部位群のうちの瞳孔の２次元的位置を検出することも好ましい。このような構成により、対象者に対して第１の光源から照明光を照射することによって得られた顔画像は瞳孔が明るく光る画像（明瞳孔画像）となり、対象者に対して第２の光源から照明光を照射することによって得られた顔画像は瞳孔が暗く写る画像（暗瞳孔画像）となり、両者の画像の差分を取ることによって、ロバスト性の高い瞳孔の検出を行うことができる。
【００１０】
またさらに、位置検出ステップでは、第１の光源から対象者に向けて照明光を照射させると同時に第１の顔画像を生成する一方、発光波長が第１の光源と異なる第２の光源から、対象者に向けて照明光を照射させると同時に第２の顔画像を生成し、第１の顔画像と第２の顔画像との差分を取ることによって第１基準部位群のうちの瞳孔の２次元的位置を検出することも好ましい。対象者に対して異なる波長領域の照明光を照射することによって得られた顔画像の差分を取ることによって、ロバスト性の高い瞳孔の検出を行うことができる。
【００１１】
さらにまた、第１及び第２の光源は、撮像手段の光軸からの距離が等しくなるように設けられていることも好ましい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。
【発明の効果】
【００１２】
本発明による顔姿勢検出方法によれば、複雑な撮像系システムを必要とすることなく、効率的に顔姿勢の方向を検出することができる。
【発明を実施するための最良の形態】
【００１３】
以下、図面を参照しつつ本発明に係る顔姿勢検出方法の好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。
【００１４】
（第１実施形態）
本発明の第１実施形態について説明する。まず、本発明にかかる顔姿勢検出方法を実施するための撮像系の構成について、図１を参照しながら説明する。
【００１５】
図１は、撮像系と対象者との位置関係を示す平面図である。同図に示すように、撮像系１は、対象者Ａの顔画像を撮像する１台のカメラ（撮像手段）２と、カメラ２の前面２ａの撮像レンズの近傍に設けられた光源３ａと、カメラ２の前面２ａから離れた位置に設けられた光源３ｂとを備えている。
【００１６】
カメラ２は、対象者Ａの顔画像を生成できる撮像手段であれば特定の種類のものには限定されないが、画像データをリアルタイム性が高く処理できるという点で、ＣＣＤ、ＣＭＯＳ等の撮像素子を内蔵するデジタルカメラを用いる。対象者Ａは、顔姿勢の検出時にこのカメラ２の撮像レンズの光軸Ｌ１上に位置する。
【００１７】
光源３ａは、カメラ２の光軸Ｌ１に沿って、光軸Ｌ１上に位置する対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。光源３ｂは、光軸Ｌ１からの距離が光源３ａよりも離れた位置に固定され、光軸Ｌ１に沿って対象者Ａをカバーする範囲に向けて、近赤外光成分を有する照明光を照射可能に構成されている。ここで、光源３ａ，３ｂから照射される照明光は、瞳孔の部分に輝度差を生じさせるような異なる波長成分（例えば、中心波長が850nmと950nm）を有する光であり、かつ、光源３ｂは光軸Ｌ１からの距離が光源３ａと等しい位置に固定されていてもよい。この場合は、瞳孔の部分に輝度差を生じさせながら、光源の構成を簡略化及び小型化することができる。
【００１８】
なお、カメラ２及び光源３ａ，３ｂは、対象者Ａが眼鏡をかけていたときの顔画像における反射光の写り込みを防止し、対象者Ａの鼻孔を検出し易くする目的で、対象者Ａの顔の高さよりも低い位置（例えば、光軸Ｌ１の水平面に対する傾斜角２０度〜３０度）に設けられることが好ましい。
【００１９】
次に、上述した撮像系１を用いた顔姿勢検出方法について説明する。
【００２０】
まず、対象者Ａの左右の瞳孔中心及び左の鼻孔中心（第１基準部位群）の３つの各部位間の距離を実測する。また、対象者Ａの左右の瞳孔中心及び右の鼻孔中心（第２基準部位群）の３つの各部位間の距離、及び左右の鼻孔中心間の距離も併せて実測する（以上、距離導出ステップ）。
【００２１】
次に、対象者Ａをカメラ２の光軸Ｌ１上に位置させ、任意の方向を向いた対象者Ａの顔画像を撮像する。このようにしてカメラ２によって生成された顔画像に基づいて、顔画像上の左右の瞳孔中心の２次元座標、及び左右の鼻孔中心の２次元座標を検出する（位置検出ステップ）。以下、瞳孔中心及び鼻孔中心の検出方法について詳細に説明する。
【００２２】
（瞳孔中心の検出）
顔画像の撮像時には、光源３ａ，３ｂを交互に点灯させて、それぞれの点灯に同期した顔画像を生成させることによって、明瞳孔画像及び暗瞳孔画像を得る。明瞳孔画像は、光源３ａの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に明るくなっている。これに対し、暗瞳孔画像は、光源３ｂの照射に伴って得られる画像であり、瞳孔部分の輝度が相対的に暗くなっている。これらの２種類の画像は、２つの光源３ａ，３ｂからの照明光の照射に伴う瞳孔からの反射光の強度が異なることに起因して得られる。例えば、フィールド走査を採用するカメラの場合は、光源３ａ，３ｂをカメラ２のフィールド信号に同期させて点灯させることで、奇数フィールドと偶数フィールド間で明瞳孔画像と暗瞳孔画像とを分離することができる。そして、明瞳孔画像と暗瞳孔画像との差分を取った後に瞳孔部分の範囲を判別する。このような差分処理を行うことで、ロバスト性の高い瞳孔の検出を行うことができる。
【００２３】
その後、検出した瞳孔の輪郭を特定して、その輪郭に近似できる楕円を算出してその楕円の中心を瞳孔の中心位置として求める。また、差分処理を施された画像を用いて、その画像を２値化した後に重心法を用いて瞳孔中心の位置を算出してもよい。このとき、画像中に目蓋等の動く対象があると瞳孔以外も明るく写る場合があるので、重心を求める際の画像領域の広さの選択が問題となる。そこで、特開２００５−３４８８３２号公報に記載にように、分離度フィルタを用いて瞳孔中心の位置を算出してもよい。すなわち、円形に近いパターンを用いて分離度が最大になる中心座標を求める。
【００２４】
（鼻孔中心の検出）
左右の鼻孔中心の２次元座標は、明瞳孔画像又は暗瞳孔画像を参照して検出する。すなわち、左右の瞳孔中心の中点を求め、それより下の位置に、対象者Ａが正面を向いていたと仮定した場合に中心がほぼ鼻孔位置に一致する大ウィンドウを設定し、その大ウィンドウ内で鼻孔を検出する。そして、画像の大ウィンドウ内を対象にＰ−ｔｉｌｅ法により輝度が低いほうから０．８％の画素を検出し、ＨＩＧＨ画素及びＬＯＷ画素からなる２値化画像に変換する。その後、検出された２値化画像の膨張処理及び収縮処理（モルフォロジー処理）を繰り返し画像内の領域を明確化させた後、ラベリング処理を施して大きなほうから２つの領域を選び出し、それぞれの領域について上下左右の端点より形成される長方形の中心、縦横比、及び面積を算出する。ここで、膨張処理とは、２値画像中で対象画素の近傍の８画素の１つでもＨＩＧＨ画素がある場合に、対象画素をＨＩＧＨ画素に変換する処理であり、収縮処理とは、２値画像中で対象画素の近傍の８画素の１つでもＬＯＷ画素がある場合に、対象画素をＬＯＷ画素に変換する処理である。そして、縦横比が０．５より小さいか０．７より大きく、かつ、全体の画像サイズが６４０×２４０画素に対して面積が１００画素より小さいか３００画素より大きい場合は、鼻孔像を示す領域ではないと判断する。そうでない場合は、上記長方形の中心を中心に３０×３０画素の小ウィンドウを設定し、もとの画像の小ウィンドウ内を対象に、Ｐ−ｔｉｌｅ法により輝度が低いほうから５％の画素を抽出する。その後、上記のモルフォロジー処理及びラベリング処理を繰り返し、最大面積の領域を求める。その領域の面積が１３０画素以上か７０画素以下の場合は鼻孔像でないと判断し、そうでない場合は鼻孔像であると判断し、領域の上下左右の端点より形成される長方形の中心を鼻孔の中心として求める。その結果、２つの鼻孔中心が検出されたら、それぞれの座標値の大きさから左右の鼻孔の対応関係を判断する。
【００２５】
上記のように、大ウィンドウと小ウィンドウとを用いて鼻孔検出を行うと、撮像条件の異なる２つの鼻孔のそれぞれを検出するのに最適な閾値を与えることができ、確実に鼻孔を検出できる。
【００２６】
このような鼻孔検出時において左右どちらかの鼻孔のみしか検出できなかった場合は、距離導出ステップで実測された距離と、検出された左右の瞳孔中心の位置及び片方の鼻孔中心の位置とを用いて、他方の鼻孔中心の位置を推定する。今、右瞳孔中心の座標を（ｘＲＰ，ｙＲＰ）、左瞳孔中心の座標を（ｘＬＰ，ｙＬＰ）、右鼻孔中心の座標を（ｘＲＮ，ｙＲＮ）、左鼻孔中心の座標を（ｘＬＮ，ｙＬＮ）、左右の瞳孔中心間の実測距離をＤＰ０、左右の鼻孔中心間の実測距離をＤＮ０とし、左鼻孔を検出できなかった場合を考える。このときの顔画像における左右の瞳孔間の傾斜率ＩＰ、及び瞳孔中心間距離ＤＰは、下記式（１）及び（２）；
ＩＰ＝（ｙＲＰ−ｙＬＰ）／（ｘＲＰ−ｘＬＰ）  …（１）
ＤＰ＝｛（ｘＲＰ−ｘＬＰ）２＋（ｙＲＰ−ｙＬＰ）２｝１／２    …（２）
と考えることができる。
【００２７】
ここで、左右の瞳孔中心を結ぶ線と左右の鼻孔中心を結ぶ線とは常に平行であると考えられるので、左右の鼻孔間の傾斜率ＩＮ＝ＩＰとなる。また、顔画像上の鼻孔中心間距離ＤＮは、左右の瞳孔中心間の実測距離ＤＰ０、左右の鼻孔中心間の実測距離ＤＮ０、及び瞳孔中心間距離ＤＰから、下記式（３）；
ＤＮ＝（ＤＮ０／ＤＰ０）×ＤＰ    …（３）
により求まる。鼻孔中心間距離ＤＮは下記式（４）；
ＤＮ＝｛（ｘＲＮ−ｘＬＮ）２＋（ｙＲＮ−ｙＬＮ）２｝１／２    …（４）
と表されるので、左の鼻孔中心の座標（ｘＬＮ，ｙＬＮ）は、下記式（５）及び（６）；
ｘＬＮ＝ｘＲＮ−｛ＤＮ２／（１＋ＩＮ２）｝１／２    …（５）
ｙＬＮ＝ｙＲＮ−｛（ＤＮ２．ＩＮ２）／（１＋ＩＮ２）｝１／２    …（６）
によって求めることができる。逆に右の鼻孔中心が検出されなかった場合も、下記式（７）及び（８）；
ｘＲＮ＝ｘＬＮ＋｛ＤＮ２／（１＋ＩＮ２）｝１／２    …（７）
ｙＲＮ＝ｙＬＮ＋｛（ＤＮ２．ＩＮ２）／（１＋ＩＮ２）｝１／２    …（８）
によって求めることができる。
【００２８】
（顔姿勢の検出）
上述の位置検出ステップにおいて検出された顔画像の左右の瞳孔中心の位置及び左右の鼻孔中心の位置、及び距離導出ステップにおいて実測された距離に基づいて、現実の左右の鼻孔中心の３次元座標及び左右の鼻孔中心の３次元座標を算出し、対象者Ａの姿勢を導出する（姿勢導出ステップ）。以下、対象者の姿勢の導出方法について詳細に説明する。
【００２９】
図２は、カメラ２の撮像レンズの主点を原点とした２次元座標系における画像平面ＰＬと対象者Ａとの位置関係を示す図である。同図に示すように、３次元座標系（Ｘ，Ｙ，Ｚ）をＺ軸がカメラ２の光軸に一致する方向に設定すると、２次元座標系（ｘ、ｙ）の画像平面ＰＬは、原点Ｏからの距離がカメラ２の焦点距離ｆとなり、かつＺ軸に垂直な平面として捉えることができる。また、対象者Ａの画像平面ＰＬ上における左右の瞳孔中心及び左右の鼻孔中心の４つの特徴点をＰｎ＝（Ｘｎ，Ｙｎ，Ｚｎ）（ｎ＝１，２，３，４）とおくと、３次元空間における各特徴点間の距離Ｌｉｊ（ｉ，ｊ＝１，２，３，４）は、下記式（９）；
Ｌｉｊ＝｛（Ｘｉ−Ｘｊ）２＋（Ｙｉ−Ｙｊ）２＋（Ｚｉ−Ｚｊ）２｝１／２    …（９）
で与えられる。このような特徴点Ｐｎの画像平面ＰＬ上の投影像の２次元座標をＱｎ（ｘｎ，ｙｎ）（ｎ＝１，２，３，４）とすると、Ｐｎは原点Ｏと投影像Ｑｎとを通る延長線上に存在すると考えることができる。よって、Ｐｎの位置ベクトルｐｎは、直線ＯＱｎの方向を向く単位ベクトルｕｎとスカラーａｎを用いて、下記式（１０）；
ｐｎ＝ａｎ・ｕｎ      …（１０）
によって表せる。単位ベクトルｕｎは投影像Ｑｎの座標値（ｘｎ，ｙｎ）を用いてｕｎ＝（ｘｎ，ｙｎ，ｆ）／（ｘｎ２＋ｙｎ２＋ｆ２）１／２と計算され、投影像Ｑｎの座標が既知であるので、ａｎが求まればＰｎの３次元座標を求めることができる。
【００３０】
ここで、４つの特徴点Ｐｎのうちの左右の瞳孔中心及び左の鼻孔中心（第１基準部位群）間の距離Ｌｉｊ（ｉ，ｊ＝１，２，３）は予め実測されており、特徴点Ｐｎの位置ベクトルｐｎを用いて下記式（１１）；
｜ｐｉ−ｐｊ｜＝Ｌｉｊ  （ｉ，ｊ＝１，２，３）    …（１１）
の関係が成立するので、式（１０）及び式（１１）に基づいて、下記式（１２）〜（１４）；
ａ１２＋ａ２２−２ａ１ａ２（ｕ１，ｕ２）＝Ｌ１２    …（１２）
ａ２２＋ａ３２−２ａ２ａ３（ｕ２，ｕ３）＝Ｌ２３    …（１３）
ａ３２＋ａ１２−２ａ３ａ１（ｕ３，ｕ１）＝Ｌ３１    …（１４）
が導かれる。これらの式（１２）〜式（１４）からスカラーａ１，ａ２，ａ３を解くことによって、第１基準部位群の３次元座標Ｐ１，Ｐ２，Ｐ３を算出することができる。
【００３１】
また、同様にして、４つの特徴点Ｐｎのうちの左右の瞳孔中心及び右の鼻孔中心（第２基準部位群）の実測距離Ｌｉｊ（ｉ，ｊ＝１，２，４）に基づいて、３次元座標Ｐ４を算出する。このようにして求められた３次元座標Ｐ１（ＸＰＲ，ＹＰＲ，ＺＰＲ），Ｐ２（ＸＰＬ，ＹＰＬ，ＺＰＬ），Ｐ３（ＸＮＬ，ＹＮＬ，ＺＮＬ），Ｐ４（ＸＮＲ，ＹＮＲ，ＺＮＲ）を用いて、第１基準部位群を含む平面の法線ベクトルｎＬ＝（ｎＬＸ，ｎＬＹ，ｎＬＺ）を下記式（１５）〜（１７）；
ｎＬＸ＝（ＹＮＬ−ＹＰＬ）（ＺＰＲ−ＺＰＬ）−（ＹＰＲ−ＹＰＬ）（ＺＮＬ−ＺＰＬ）…（１５）
ｎＬＹ＝（ＺＮＬ−ＺＰＬ）（ＸＰＲ−ＸＰＬ）−（ＺＰＲ−ＺＰＬ）（ＸＮＬ−ＸＰＬ）…（１６）
ｎＬＺ＝（ＸＮＬ−ＸＰＬ）（ＹＰＲ−ＹＰＬ）−（ＸＰＲ−ＸＰＬ）（ＹＮＬ−ＹＰＬ）…（１７）
によって導出する。さらに、同様の算出方法で第２基準部位群を含む平面の法線ベクトルｎＲ＝（ｎＲＸ，ｎＲＹ，ｎＲＺ）を導出する。最後に、求めた法線ベクトルｎＬ，ｎＲの合成ベクトルｎＦ＝ｎＲ＋ｎＬ＝（ｎＸ，ｎＹ，ｎＺ）を最終的な顔姿勢の方向を示す顔方向ベクトルとして導き出す。
【００３２】
また、上述したようにして求められた第１及び第２基準部位群を含む２つの三角形のそれぞれの重心（ＸＧＲ，ＹＧＲ，ＺＧＲ），（ＸＧＬ，ＹＧＬ，ＺＧＬ）を下記式（１８），（１９）；
（ＸＧＲ，ＹＧＲ，ＺＧＲ）＝｛（ＸＰＲ＋ＸＰＬ＋ＸＮＲ）／３，（ＹＰＲ＋ＹＰＬ＋ＹＮＲ）／３，（ＺＰＲ＋ＺＰＬ＋ＺＮＲ）／３｝      …（１８）
（ＸＧＬ，ＹＧＬ，ＺＧＬ）＝｛（ＸＰＲ＋ＸＰＬ＋ＸＮＬ）／３，（ＹＰＲ＋ＹＰＬ＋ＹＮＬ）／３，（ＺＰＲ＋ＺＰＬ＋ＺＮＬ）／３｝      …（１９）
によって算出し、さらに２つの重心間の重心（ＸＧＣ，ＹＧＣ，ＺＧＣ）を、下記式（２０）；
（ＸＧＣ，ＹＧＣ，ＺＧＣ）＝｛（ＸＧＲ＋ＸＧＬ）／２，（ＹＧＲ＋ＹＧＬ）／２，（ＺＧＲ＋ＺＧＬ）／２｝      …（２０）
によって求める。
【００３３】
最終的に、対象者Ａの顔姿勢は、重心（ＸＧＣ，ＹＧＣ，ＺＧＣ）を通り、方向がベクトルｎＦで表される方向であると特定する。これにより、対象者の顔の位置と顔の方向を決定することができる。なお、顔の位置として計算される重心（ＸＧＣ，ＹＧＣ，ＺＧＣ）は、４つの特徴点の重心として計算してもよい。
【００３４】
以上説明した顔姿勢検出方法によれば、対象者Ａの左右の瞳孔及び鼻孔のうちの３部位間の距離を求めておいて、１台のカメラ２によって撮像された顔画像からその３部位の２次元的位置を検出し、３部位間の距離と３部位の２次元的位置から３部位を含む平面の法線方向を算出することによって顔姿勢を特定するので、１組のカメラを用いたステレオ計測等によって特徴点を捉えることができる角度よりも、１台のカメラによって捉えることができる角度の方が広くなり、簡易な撮像系によって効率的な顔姿勢の検出が可能となる。例えば、１台のカメラで対象者の特徴点を捉えることができる水平方向の範囲を±４５度とすると、互いの光軸の傾斜角が１０度程度である２台のカメラを用いて顔姿勢を検出した場合の検出範囲が±４０度程度であるのに対して（図４参照）、本発明の検出方法によれば、１台のカメラで±４５度程度の顔姿勢の検出範囲を実現することができる（図１参照）。
【００３５】
また、左右の瞳孔及び鼻孔のうちの３つの組み合わせを、第１及び第２基準部位群として２組選択して、それぞれの部位群を含む２つの平面の法線方向から顔姿勢を検出するので、顔姿勢の検出精度がより向上する。
【００３６】
（第２実施形態）
次に、本発明の第２実施形態について説明する。図３は、本発明の第２実施形態にかかる撮像系１０１と対象者Ａとの位置関係を示す平面図である。同図に示すように、撮像系１０１は、対象者Ａの顔画像を撮像する２台のカメラ（撮像手段）１０２，１１２と、カメラ１０２，１１２の前面１０２ａ，１１２ａのそれぞれの撮像レンズの近傍に設けられた光源１０３ａ，１１３ａと、カメラ２の前面１０２ａ，１１２ａから離れた位置に設けられた光源１０３ｂ，１１３ｂとを備えている。すなわち、２台のカメラを用いて対象者Ａの顔姿勢を検出する。
【００３７】
カメラ１０２とカメラ１１２とは、それらの光軸Ｌ２，Ｌ３が互いに直交するように配置される。対象者Ａは、顔姿勢の検出時にこの光軸Ｌ２と光軸上Ｌ２との交点上に位置する。光源１０３ａ，１０３ｂの機能及びカメラ１０２との位置関係、及び光源１１３ａ，１１３ｂの機能及びカメラ１１２との位置関係は、第１実施形態において説明した光源３ａ，３ｂと同様である。
【００３８】
以下、上記撮像系１０１を用いた顔姿勢検出方法について、第１実施形態との相違点を中心に説明する
【００３９】
まず、対象者Ａにカメラ１０２の光軸Ｌ２又はカメラ１１２の光軸Ｌ３に沿った方向に顔を向けさせた状態で顔画像を撮像し、左右の瞳孔中心の位置及び左右の鼻孔中心の位置を検出した後、顔画像上における左右の瞳孔中心間の距離ＤＰ１、左右の鼻孔中心間の距離ＤＮ１を計算しておく。その上で、対象者Ａに、光軸Ｌ２と光軸Ｌ３との交点、及びカメラ１０２とカメラ１１２との間の中点を通る直線Ｌ４の方向に、顔を向けさせる。そこで、２台のカメラ１０２，１１２のそれぞれで同時に顔画像を撮像し顔画像上の４点の特徴点の２次元位置を検出する。ここで、カメラ１０２，１１２の光軸Ｌ２，Ｌ３が対象者Ａの顔の向きに対して４５度傾いているため、カメラ１０２，１１２が鼻孔を検出できないおそれがある。このようにどちらかの鼻孔が検出できなかった場合は、予め計算しておいた左右の瞳孔中心間の距離ＤＰ１及び左右の鼻孔中心間の距離ＤＮ１と、既に検出した瞳孔中心間の距離ＤＰとから、上述した方法と同様の方法で、鼻孔中心の２次元位置を推定する。その後、２つの顔画像における特徴点の２次元位置から、ステレオ計測により４つの特徴点Ｐｎ（ｎ＝１，２，３，４）の３次元座標を求め、これらの３次元座標から各特徴点間の距離Ｌｉｊ（ｉ，ｊ＝１，２，３，４）を算出する（以上、距離導出ステップ）。
【００４０】
その後、対象者Ａに検出したい方向に顔を向けてもらい、２台のカメラ１０２，１１２のうちのどちらかのカメラで生成された顔画像に基づいて、顔画像上の左右の瞳孔中心の２次元座標Ｑ１，Ｑ２、及び左右の鼻孔中心の２次元座標Ｑ３，Ｑ４を検出する（位置検出ステップ）。このとき、どちらのカメラの顔画像を選択するかは、対象者Ａの特徴点の検出が成功したか否かにより判断する。
【００４１】
最後に、位置検出ステップにおいて検出された顔画像上の４つの特徴点の２次元位置Ｑｎ（ｎ＝１，２，３，４）、及び距離導出ステップにおいて計算された距離Ｌｉｊ（ｉ，ｊ＝１，２，３，４）に基づいて、現実の左右の鼻孔中心の３次元座標Ｐ１，Ｐ２及び左右の鼻孔中心の３次元座標Ｐ３，Ｐ４を算出した後に、第１基準部位群又は第２基準部位群を含む平面の法線ベクトルｎＬ，ｎＲを求めることによって、対象者Ａの姿勢を導出する（姿勢導出ステップ）。
【００４２】
以上説明した顔姿勢検出方法によれば、対象者Ａごとの特徴点Ｐｎ間の距離が容易に把握されると同時に、検出可能な顔姿勢の範囲を、少ないカメラで効率的に拡げることができる。例えば、２台のカメラ１０２，１１２の光軸Ｌ２，Ｌ３の成す角が９０度の場合は、±９０度の範囲で顔方向が検出できることになる（図３参照）。
【００４３】
なお、本発明は、前述した実施形態に限定されるものではない。例えば、本発明の顔姿勢検出方法においては、法線ベクトルを算出する対象の対象者Ａの基準部位群として、どちらかの鼻孔中心を除いた３つの特徴点を選択していたが、３つの特徴点の組合せとして様々な組合せを選択することができる。例えば、瞳孔中心を除いた特徴点を基準部位群としてもよい。
【図面の簡単な説明】
【００４４】
【図１】本発明の第１実施形態にかかる撮像系と対象者との位置関係を示す平面図である。
【図２】図１のカメラの撮像レンズの主点を原点とした２次元座標系における画像平面と対象者との位置関係を示す図である。
【図３】本発明の第２実施形態にかかる撮像系と対象者との位置関係を示す平面図である。
【図４】本発明の比較例にかかる撮像系と対象者との位置関係を示す平面図である。
【符号の説明】
【００４５】
１，１０１…撮像系、２，１０２，１１２…カメラ、３ａ，３ｂ，１０３ａ，１０３ｂ，１１３ａ，１１３ｂ…光源、Ａ…対象者。    
【図１】
0004431749.tif 000002
【図２】
0004431749.tif 000003
【図３】
0004431749.tif 000004
【図４】
0004431749.tif 000005