(57)【要約】【課題】運転者の顔のロール・オフセット運動とヨー運動による顔の向き変えを区別する顔向き検出装置３を提供する。【解決手段】車両の運転者の顔を撮影したビデオ信号Ｓ1を顔画像データＳ5として展開する顔画像取得部３１と、顔画像データＳ5から第１のペアとなりうる顔部位と第２のペアとなりうる顔部位の座標Ｓ6を取得する顔部位検出部３２と、第１のペアとなりうる顔部位と第２のペアとなりうる顔部位の座標Ｓ6から運転者の顔向きを検出するのに必要な特徴データＳ7を算出する特徴量計算部３３と、特徴データＳ7をあらかじめ算出された運転者の顔向きモデルデータＳ8に照らし合わせることにより運転者の顔の向きを判定する顔向き判定部３４とを有する。【選択図】図２
2005196567.tif 000002
【特許請求の範囲】
【請求項１】
車両の運転者の顔を撮影したビデオ信号を顔画像データとして展開する顔画像取得部と、
前記顔画像データから、第１のペアとなりうる顔部位と第２のペアとなりうる顔部位の座標を取得する顔部位検出部と、
前記第１のペアとなりうる顔部位と前記第２のペアとなりうる顔部位の座標から、前記運転者の顔向きを検出するのに必要な特徴データを算出する特徴量計算部と、
前記特徴データをあらかじめ算出された前記運転者の顔向きモデルデータに照らし合わせることにより、前記運転者の顔の向きを判定する顔向き判定部
とを有することを特徴とする顔向き検出装置。
【請求項２】
前記特徴量計算部は、前記第１のペアとなりうる顔部位として左眼及び右眼、前記第２のペアとなりうる顔部位として顔の左右の輪郭線をそれぞれ用いて、前記左眼と顔の左端間の距離と、前記右眼と顔の右端間の距離との比を前記特徴データとすることを特徴とする請求項１記載の顔向き検出装置。
【請求項３】
前記特徴量計算部は、前記第１のペアとなりうる顔部位として鼻、前記第２のペアとなりうる顔部位として顔の左右の輪郭線をそれぞれ用いて、前記鼻と顔の左端間の距離と、前記鼻と顔の右端間の距離との比を前記特徴データとすることを特徴とする請求項１記載の顔向き検出装置。
【請求項４】
前記顔向き判定部は、顔のヨー運動のみを分離し顔の向きを検出することを特徴とする請求項１乃至３何れか１項記載の顔向き検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔向き検出装置に係り、特に、車両の運転者の顔画像から運転者の視線や顔の向きを検出する装置に関する。
【背景技術】
【０００２】
従来から、車両の運転者の脇見を検出する目的や、運転中の運転者の注視点を調べる目的で、運転者の顔画像を撮影し、得られた画像を処理して運転者の視線や顔の向きを検出する装置が多数提案されている。また、これらの装置を用いた、運転中の脇見検出装置、漫然運転防止装置、或いは安全未確認防止装置等の交通事故防止装置や、視線によりスイッチのオン／オフを制御したり、メニューを選択したりなど機器の制御を行う視線入力装置等への応用が期待されている。
【０００３】
例えば、特許文献１において、運転者の顔画像の時間差分値を算出し、時間差分値が一定値以上の画像部分を顔位置として切り出し、切り出された画像部分を入力とするニューラルネットワークを用いて運転者の顔方向を検出し、顔方向と操舵角や車速から、運転者の脇見の有無を判定する車両運転者監視装置が提案されている。また、非特許文献１においては、運転者の顔画像から両眼及び鼻の３つの座標を検出し、この３点の座標から３次元座標を推定し、この３点により構成される平面の法線方向を求めることにより、運転者の顔の向きを検出する方法が提案されている。
【０００４】
運転者の顔向き検出以外にも、顔向きによる視線入力装置に類するものとして、特許文献２において、顔画像から顔の輪郭と鼻の座標を検出して顔の向きを計算する方法が提案されている。また、非特許文献２及び非特許文献３において、ステレオカメラにより撮影した顔画像から目頭、目じり、鼻孔、口の両端を検出し、視線方向を推定する方法が提案されている。
【特許文献１】特開平１１−１６１７９８号公報
【特許文献２】特開平９−１６３２１２号公報
【非特許文献１】関真規人, 下谷光生, 西田稔, "ドライバの顔の向き検出方法の開発", 社団法人 自動車技術会 学術講演会前刷集 No. 94-98 - 141, 9839254
【非特許文献２】松本吉央, 小笠原司, Alexander Zelinsky, "リアルタイム視線検出・動作認識システムの開発", 信学技法 PRMU99-151, pp.9-15, 1999
【非特許文献３】小笠原司, 松本吉央, "受付案内ロボットASKAの画像に基づく対話機能", 映像情報インダストリアル, 2003, June, pp.33-37
【発明の開示】
【発明が解決しようとする課題】
【０００５】
運転者の顔の動きには、図１１（ａ）及び図１１（ｂ）に示すように、回転運動であるロール運動、ピッチ運動、ヨー運動と、平行移動である上下、左右、前後のオフセット運動とがある。ヨー運動とロール運動は、図１１（ｃ）及び図１１（ｄ）に示すように、運転者の頭部を上から見ると明らかに異なる動きであることが分かる。しかし、図１２に示すように、運転者の正面やや下方より撮影した画像からでは、画像上での眼の座標の変化をほとんど区別できない。この現象については、川戸慎二郎, 鉄谷信二, "アイカメラへの目位置出力を目的とした目の検出と追跡", 信学技法 PRMU 2001-153, pp.1-6において、「顔の中心部分は、振り向く動作(ヨー運動)の場合でも平行移動とみなせる」との記述があり通り、現在では一般に広く認知されている。
【０００６】
また、一般道走行中に運転者の正面やや下方より撮影した画像から、同一の運転者が前方を見ていると思われる個所の右眼及び左眼の座標をグラフにプロットすると図１３のようになる。右眼及び左眼の分布の広がりは、路面の凹凸や車両の振動、運転者自身の着座位置の変化等により、運転者の顔のロール運動及び上下、左右のオフセット運動が生じているためと考えられる。
【０００７】
これらの現象を踏まえると、運転者の顔の向きを検出する上で、とりわけヨー運動と、ロール及び左右のオフセット運動とを区別することが重要であり、これまでに提案されている上記の従来技術も、この点に言及している。
【０００８】
例えば、非特許文献１、特許文献２、非特許文献２及び特開平１０−３０７９２３号公報においては、両眼と鼻の座標により構成される三角形の形状の変化から３次元空間における顔の向きを検出している。両眼と鼻は共に顔画像中では顔の中心付近に位置する顔部位であるため、前述したように、ヨー運動の場合であっても、平行移動とみなすことができる。したがって、図１３で示したような顔の位置が安定しない状況下において、特にヨー運動の角度が小さい顔の向き変えの場合には顔の向きを検出することが困難となる。
【課題を解決するための手段】
【０００９】
本発明の特徴は、車両の運転者の顔を撮影したビデオ信号を顔画像データとして展開する顔画像取得部と、顔画像データから第１のペアとなりうる顔部位と第２のペアとなりうる顔部位の座標を取得する顔部位検出部と、第１のペアとなりうる顔部位と第２のペアとなりうる顔部位の座標から運転者の顔向きを検出するのに必要な特徴データを算出する特徴量計算部と、特徴データをあらかじめ算出された運転者の顔向きモデルデータに照らし合わせることにより運転者の顔の向きを判定する顔向き判定部とを有する顔向き検出装置であることを要旨とする。
【発明の効果】
【００１０】
本発明によれば、運転者の顔のロール・オフセット運動とヨー運動による顔の向き変えを区別する顔向き検出装置を提供することができる。
【発明を実施するための最良の形態】
【００１１】
以下図面を参照して、本発明の実施の形態を説明する。図面の記載において同一あるいは類似部分には同一あるいは類似な符号を付している。
【００１２】
＜全体構成＞
図１に示すように、運転者１の顔７の正面やや下方に設置されたＣＣＤカメラ等の撮像装置２を用いて運転者１の顔画像を撮影し、顔画像をビデオ信号Ｓ1として本発明の実施の形態に係わる顔向き検出装置３へ出力する。顔向き検出装置３は、運転者１の顔画像から運転者１の顔７の向きを検出し顔向き信号Ｓ2を制御装置４へ出力する。制御装置４は、顔向き信号Ｓ2とその時の車両状態や車両周辺環境状態に応じて適切な処理を行う。具体的には、制御装置４は、車外の環境５から得られる環境信号Ｓ3及び車両６から得られる車両信号Ｓ4と顔向き信号Ｓ2とに従って所定の処理を行う。外部機器としての制御装置４には、運転者１の顔向きとその時の車両状態から脇見を判断し運転者１に報知を行う脇見検出装置や、運転者１の顔向きから運転者１の顔７が正対している機器に何らかの制御を行う視線入力装置等が含まれる。
【００１３】
図２に示すように、図１の顔向き検出装置３は、図１の撮像装置２から出力されたビデオ信号Ｓ1をキャプチャし、ビデオ信号Ｓ1を顔画像データＳ5として装置内に展開する顔画像取得部３１と、顔画像データＳ5から第１のペアとなりうる顔部位と第２のペアとなりうる顔部位の座標（顔部位座標データＳ6）を取得する顔部位検出部３２と、顔部位座標データＳ6から、顔部位間の距離の比率や位置関係を表すパラメータを、運転者１の顔向きを検出するのに必要な特徴データＳ7として算出する特徴量計算部３３と、特徴データＳ7をあらかじめ算出された運転者１の顔向きモデルデータＳ8に照らし合わせることにより、運転者１の顔７の向きを判定する顔向き判定部３４と、判定された顔向きデータＳ9を顔向き信号Ｓ2に変換して制御装置４へ出力する信号出力部３５と、あらかじめ算出された運転者１の顔向きモデルデータＳ8が記憶されたモデルデータ記憶部３６とを有する。
【００１４】
顔部位検出部３２は、顔画像から顔部位として両眼の座標と顔の両端の座標を求め、これらの座標を顔部位座標データＳ6として出力する。顔向き判定部３４は、特徴データＳ7に対してあらかじめ設定される閾値や、あらかじめ計算された特徴データと顔向きの角度との関係表により顔の向きを判定し、その判定結果を顔向きデータＳ9として出力する。ここで、あらかじめ算出された運転者１の顔向きモデルデータＳ8には、あらかじめ設定される閾値や、あらかじめ計算された特徴データと顔向きの角度との関係表などが含まれる。
【００１５】
以下、顔向き検出装置３の各構成要素について具体的に説明する。
【００１６】
＜顔画像取得部＞
図２の顔画像取得部３１は、ビデオ信号Ｓ1により入力されるデータをキャプチャし装置内の記憶領域にディジタル画像として顔画像を格納する。図３（ａ）乃至図３（ｃ）に顔画像の例を示めす。図３（ａ）は運転者が正面を向いている状態の顔画像を示し、図３（ｂ）は正面を向いている状態からロール運動により頭部位置を変化させた状態を示し、図３（ｃ）は正面を向いている状態からヨー運動により横を向いた状態を示している。
【００１７】
＜顔部位検出部＞
顔部位検出部３２は、図３（ａ）乃至図３（ｃ）に示した顔画像から第１及び第２のペアとなりうる顔部位の座標を検出する。実施の形態においては、第１のペアとなり得る顔部位座標として運転者の顔画像から両眼つまり左眼及び右眼の座標を求め、第２のペアとなり得る顔部位座標として顔の輪郭線を利用して顔の両端の座標を求める。両眼の座標を求める方法としては、特開平１１−９６３７９号公報に開示されているように、顔の縦方向の画素列に沿って画素の濃度を検出し、画素列における濃度の局所的な高まりごとに１個ずつの要素を定めて抽出点とし、隣接する画素列の画素列方向に近接した抽出点を連結して顔の横方向に伸びる曲線データから眼の位置を検出する方法等が利用できる。
【００１８】
顔の輪郭線を利用して顔の両端の座標を求める方法としては、カラーの顔画像を用いて顔画像から肌色の領域を検出する方法や、特開平１１−１６１７９８号公報（特許文献１）及び特開平１１−２８６２２７号公報に開示されているように、車の微振動のため顔画像のフレーム間の差分を求めたときに顔の輪郭が浮かび上がるところを利用してエッジを検出する方法等により求めることができる。また、図６（ａ）に示すように、右眼Ａ及び左眼Ｂの座標を求めることができれば、右眼Ａ及び左眼Ｂを結ぶ線分を延長し、顔の輪郭を検出した部分と交差する点をそれぞれ顔の右端Ｅ及び左端Ｆの座標とすることができる。
【００１９】
図４（ａ）は、ロール運動をした時の右眼、左眼、鼻、右端、及び左端の座標変化の例を示し、図４（ｂ）は、ヨー運動をした時の右眼、左眼、鼻、右端、及び左端の座標変化の例を示す。図４（ａ）及び図４（ｂ）共に、図３（ａ）乃至図３（ｃ）を基にして測定された実測値の例を示す。
【００２０】
＜特徴量計算部＞
図２の特徴量計算部３３は、第１のペアとなりうる顔部位として左眼Ｂ及び右眼Ａ、第２のペアとなりうる顔部位として顔の左右の輪郭線をそれぞれ用いて、左眼Ｂと顔の左端Ｆ、右眼Ａと顔の右端Ｅ間の比を特徴データＳ7として計算する。以下、具体的に説明する。
【００２１】
運転者の顔７の動きは、図１１（ａ）及び図１１（ｂ）に示したように、回転運動であるロール運動、ピッチ運動及びヨー運動と、平行移動である上下、左右、前後のオフセット運動とからなる。図１１（ｃ）及び図１１（ｄ）に示したように、運転者の頭部を上から見ると明らかに異なる動きである。
【００２２】
図１２は運転者の正面やや下方より撮影した画像から眼の座標を追跡し座標の移動を時系列で表示したグラフであり、顔のロール運動と、ヨー運動による座標の変化を示している。このように、運転者の正面やや下方より撮影した顔画像から、眼を検出・追跡する方法による視線追跡装置において、眼の座標の動きのみから顔の向きを変えるヨー運動と、ロール運動及び左右のオフセット運動を区別することは困難である。
【００２３】
次に、顔のヨー運動時における、顔の中心部分と顔の端部分の動きについて説明する。ヨー運動時における回転の中心を原点０とし、正面方向にＺ軸、ヨー運動における回転面内で正面方向に対し垂直にＸ軸、Ｚ軸及びＸ軸に対し垂直な軸をつまりヨー運動における回転軸をＹ軸とする。顔の任意の３次元座標（ｘ、ｙ、ｚ）は、ヨー運動による回転角θを用いて、（１）式で回転後の移動先（ｘ’、ｙ’、ｚ’）を求めることができる。
【数１】
2005196567.tif 000003
【００２４】
ｘ、ｙ、ｚ成分のうち、画像上での見かけの動きに最も影響する成分はｘ成分、即ち、ｘ'＝ｘ sinθ＋ｚcosθである。回転角θが比較的小さい(４５度未満)の領域においては、cosθのほうがsinθより大きい値をとり、sinθのほうがcosθより変化量が大きい。顔の中心に存在する顔部位(鼻、眉間、顎等)はｘ座標が０に近くｙ座標の値が大きいため、cosθの影響を大きく受ける。一方、顔の中心から少し離れた位置に存在する顔部位(眼、眉、口の両端等)はｘ座標、ｙ座標共にある程度の値を持っているため、sinθ、cosθ両方の影響を受ける。
【００２５】
また、ヨーの運動により頭部が左に回転する場合、顔の両端は画像上での見かけの動きはほとんどない。顔の中心付近の顔部位は、cosθの影響によりほぼ一定の変化割合で画像上左に移動する。このとき、顔の両端との位置関係もほぼ一定の変化割合で左側に移動する。顔の左側にある顔部位（左眼）は、画面上顔の左端へ近づく方向に移動し、顔の右側にある顔部位（右眼）は、画面上顔の右端から遠ざかる方向へ移動する。このときsinθよりcosθのほうが大きい値をとるため、顔の左側の変化量と右側の変化量は、初めは同じであるが、徐々に顔の左側の変化量より、顔の右側の変化量のほうが大きくなっていく。
【００２６】
図７は、ヨー運動時の顔の中心付近の顔部位の代表例として鼻と顔の両端との位置関係、顔の左右に位置する顔部位の代表例として眼と顔の両端との位置関係、及び鼻と眼の位置関係を示す。鼻と顔の両端の関係は、左右端に対して均等に変化するのに対し、右眼と右端、左眼と左端の関係は左右不均等に変化する。眼と鼻の関係も左右不均等に変化するが、変化の量が少ないことが読み取れる。よって、顔の中心の顔部位と顔の両端の位置関係より、顔の左右に存在する顔部位（右眼、左眼）と顔の両端（右端、左端）の位置関係を用いたほうが、ヨー運動を検出しやすいといえる。
【００２７】
以上の説明から、実施の形態における特徴量計算部３３は、図６（ａ）に示す右眼Ａと右端Ｅの座標間の距離ａと左眼Ｂと左端Ｆの座標間の距離ｂとの比ｕ＝ａ／（ａ＋ｂ）を求める。パラメータｕを実施の形態において「特徴データＳ7」として用いる。
【００２８】
図５（ａ）は、頭部のロール運動の実測値から求めた眼と鼻の関係を示すパラメータｓ、鼻と顔端の関係を示すパラメータｔ及び眼と顔端の関係を示すパラメータｕの例を示し、図５（ｂ）は、頭部のヨー運動の実測値から求めたパラメータｓ、パラメータｔ及びパラメータｕの例を示す。パラメータｓ、パラメータｔ及びパラメータｕを図５（ａ）と図５（ｂ）との間で比べると、ロール運動とヨー運動とを区別するには、眼と顔端の関係を示すパラメータｕが優れていることがわかる。
【００２９】
なお、図６（ｂ）に示すように、各パラメータｓ、ｔ、ｕは、以下のようにして定義される。鼻の座標Ｃから右眼Ａと左眼Ｂを結ぶ線分ＡＢに下ろした垂線の交点Ｄとする。両眼を結ぶ線分ＡＢを延長して顔の輪郭と交わる点の右端をＥ、左端をＦとする。鼻を通る線分で線分ＡＢと平行な線分と顔の輪郭の交わる点の右側をＥ’、左端をＦ’とする。眼と鼻の関係を示すパラメータｓは、線分ＡＤと線分ＡＢとの比（ｓ＝ＡＤ／ＡＢ）であり、鼻と顔端の関係を示すパラメータｔは線分Ｅ’Ｃと線分Ｅ’Ｆ’との比（ｔ＝Ｅ’Ｃ／Ｅ’Ｆ’）であり、眼と顔端の関係を示すパラメータｕは線分ＥＡと２線分の和(ＥＡ＋ＦＢ)との比である。
【００３０】
＜顔向き判定部＞
図２の顔向き判定部３４は、特徴データであるパラメータｕをあらかじめ算出された運転者の顔向きモデルデータＳ8に照らし合わせることにより、運転者の顔の向きを判定する。具体的には、顔向き判定部３４は、実測値から計算した図５（ａ）及び図５（ｂ）に示すパラメータｕを図９（ａ）及び図９（ｂ）に示すあらかじめ計算されたパラメータｕに当てはめることにより、顔の向きを推定する。即ち、運転者の顔向きモデルデータＳ8として、運転者についてあらかじめ計算された図８（ａ）及び図８（ｂ）に示した理論値から求められたパラメータｓ、ｔ、ｕを用いて、実測値と比較することにより、顔の運動がロール運動或いはヨー運動であるかを判定する。なお、図９（ａ）及び図９（ｂ）は、図８（ａ）及び図８（ｂ）に示した頭部位の座標変化の理論値から特徴量計算部３３が計算したパラメータｓ，ｔ，ｕを示すグラフである。
【００３１】
図１０を参照して、顔向き判定部３４の処理手順を説明する。Ｓ０１段階で処理を開始した顔向き判定部３４は、Ｓ０２段階において、図５（ａ）又は図５（ｂ）に示すパラメータｕの実測値を受け取る。Ｓ０３段階において、図９（ａ）又は図９（ｂ）に示すパラメータｕの理論値の最小値と比較する。パラメータｕの実測値がパラメータｕの理論値の最小値以下である場合、Ｓ０７段階に進み、顔の向きに変化がないと判定し、処理手順は終了する。最小値以下でない場合、Ｓ０４段階に進み、パラメータｕの実測値をパラメータｕの理論値の最大値と比較する。パラメータｕの実測値がパラメータｕの理論値の最大値以上である場合、Ｓ０６段階に進み、顔の向きの変化大であると判定し、処理手順は終了する。パラメータｕの実測値がパラメータｕの理論値の最小値と最大値の間にある場合、Ｓ０５段階に進み、図９（ｂ）に示すヨー運動によるパラメータｕの変化を表すグラフとマッチングを行い現在のパラメータｕが示す顔の向きのヨー運動に起因する角度を推定する。以上の処理により、顔の向きを判定し、その結果を顔向きデータＳ9として出力する。
【００３２】
＜信号出力部＞
図２の信号出力部３５は、顔向きデータＳ9に応じて、顔向き検出装置３の外部に顔向き信号Ｓ2を出力する。実施の形態では、顔向きデータＳ9に顔の向きの角度が含まれているため、シリアル通信では顔の向きの角度をアスキーコードの文字データとして出力することができる。また、通信方式によっては、外部機器からの要求に応じて最新の顔向き信号Ｓ2を出力する方式と、顔画像を処理するごとに随時顔向き信号Ｓ2を出力する方式のいずれにも対応可能である。
【００３３】
以上説明したように、本発明の実施の形態によれば、運転者の顔のロール運動とヨー運動による顔の向き変えを区別することができる。
【００３４】
また、運転者の顔向きの検出に対する、図１３に示したような路面の凹凸や車両の振動、運転者自身の着座位置変化等の影響を低減することができる。
【００３５】
また、前述した特許文献１では、運転者の顔画像間の差分を演算して顔を検出し、顔の向き検出を、検出した顔の領域の画像を入力として用いるニューラルネットワークを利用していた。従って、顔の画像全体を入力とするため、計算負荷が高かった。一方、本発明の実施の形態によれば、運転者の顔画像から複数の顔部位を検出し特徴量を算出することにより計算負荷を低減することができる。
【００３６】
また、前述した特許文献２においては、顔画像から顔の輪郭と鼻の座標を検出し顔の向きを計算している。この手法は、図１１（ｃ）及び図１１（ｄ）に示すように顔の両端というヨー運動時には比較的動きに少なく、ロール運動時には動きが大きい顔部位と、鼻という顔の中心に位置しヨー運動、ロール運動共に動きの大きい顔部位を用いるため、ロバスト性が高く、顔の向きを検出する手法としては有効な手段であるといえる。しかし、運転者の顔画像に適応する場合においては、よりロバスト性の優れた手法であることが望ましく、また、視線検出に適応するためには、眼の座標をこの手法とは別途用意する必要がある。一方、本発明の実施の形態によれば、顔の向き検出だけでなく視線検出へ応用することもできる。
【００３７】
また、前述した非特許文献３においては、ステレオカメラにより目頭、目じり、鼻孔、口の両端といった特徴点を捉え３次元空間での顔の向きを検出しているが、ステレオカメラによるコストアップは否めない。一方、本発明の実施の形態では、単一のカメラを用いることにより最小限のコストで顔向き検出装置を実現することができる。
【００３８】
上記のように、本発明は、１つの実施の形態によって記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。
【００３９】
実施の形態では、運転者の顔のロール運動とヨー運動による顔の向き変えを区別する場合を説明したが、ロール運動の替わりに図１１（ｂ）に示した左右へのオフセット運動とヨー運動とを区別するようにしても構わない。
【００４０】
また、特徴データとしてパラメータｕを用いた場合について説明したが、パラメータｕの替わりに鼻と顔端の関係を示すパラメータｔを用いても構わないし、或いは鼻と両眼の関係を示すパラメータｓを用いても構わない。
【００４１】
このように、本発明はここでは記載していない様々な実施の形態等を包含するということを理解すべきである。したがって、本発明はこの開示から妥当な特許請求の範囲に係る発明特定事項によってのみ限定されるものである。
【００４２】
請求項１の発明によれば、運転者の顔を撮影した映像信号をデジタルデータに変換し顔画像として装置内の記憶領域に展開する顔画像取得部３１と、この顔画像から第１のペアとなりうる顔部位と、第２のペアとなりうる顔部位を取得する顔部位検出部３２と、第１のペアとなりうる顔部位と第２のペアとなりうる顔部位の座標から運転者の顔向き検出するに必要な特徴データを算出する特徴量計算部３３と、特徴データとあらかじめ算出された運転者の顔向きのモデルデータに照らして顔向きを判定する顔向き判定部３４と、判定された顔向きデータを変換し顔向き信号を装置外に出力する信号出力手段３５を備えているので、単一のカメラを用いることにより最小限のコストの低減と、第１のペアとなりうる顔部位と、第２のペアとなりうる顔部位により特徴データ求めていることから特徴データの量を減らすことで計算負荷低減することができる。
【００４３】
請求項２、３の発明によれば、特徴量計算部３３は、第１のペアとなりうる顔部位として左右の眼又は鼻、第２のペアとなりうる顔部位として顔の輪郭線つまり左右の端の顔画像上で座標を用い、左眼と左端、右眼と右端間の比、或いは鼻と左端、鼻と右端間の比を特徴データとするので、眼の座標を検出し顔の向き検出だけでなく視線検出への応用することができる。
【００４４】
請求項４の発明によれば、顔向き判定部３４は、特徴データとあらかじめ算出された運転者の顔向きのモデルデータに照らし合わせることにより、顔のヨー運動のみを分離し顔の向きを検出するので、運転者の顔向きの検出に対する路面の凹凸や車両の振動、運転者自身の着座位置変化等の影響を低減し、運転者の顔のロール・オフセット運動とヨー運動による顔の向き変えの区別することができる。
【図面の簡単な説明】
【００４５】
【図１】本発明の実施の形態に係わる顔向き検出装置及びその周辺システムを示すブロック図である。
【図２】図１に示した本発明の実施の形態に係わる顔向き検出装置の構成及び各構成要素間でのデータの流れを示すデータフローダイアグラムである。
【図３】図３（ａ）乃至図３（ｃ）は、図１の顔画像取得部により取得された顔画像の例を示す模式図である。
【図４】図４は、図３（ａ）乃至図３（ｃ）に示した顔画像から顔部位検出部が検出した右眼、左眼、鼻、右端、及び左端の座標変化の例を示すグラフであり、図４（ａ）はロール運動をした時の各顔部位の座標変化を示し、図４（ｂ）はヨー運動をした時の各顔部位の座標変化を示す。
【図５】図５（ａ）は、頭部のロール運動の実測値から求めた眼と鼻の関係を示すパラメータｓ、鼻と顔端の関係を示すパラメータｔ及び眼と顔端の関係を示すパラメータｕの例を示すグラフである。図５（ｂ）は、頭部のヨー運動の実測値から求めた眼と鼻の関係を示すパラメータｓ、鼻と顔端の関係を示すパラメータｔ及び眼と顔端の関係を示すパラメータｕの例を示すグラフである。
【図６】図６（ａ）及び図６（ｂ）は、運転者の顔画像から抽出する特徴点（顔部位）及び特徴データとしてのパラメータｓ，ｔ，ｕを示す図である。
【図７】頭部のヨー運動における顔画像上での見かけの顔部位の位置関係を示すグラフである。
【図８】図８（ａ）はロール運動をした時の各顔部位の座標変化（理論値）を示し、図８（ｂ）はヨー運動をした時の各顔部位の座標変化（理論値）を示す。
【図９】図９（ａ）及び図９（ｂ）は、図８（ａ）及び図８（ｂ）に示した頭部位の座標変化の理論値から特徴量計算部が計算したパラメータｓ，ｔ，ｕを示すグラフである。
【図１０】顔向き判定部の処理手順を示すフローチャートである。
【図１１】図１１（ａ）及び図１１（ｂ）は運転者頭部の動きを説明する為の斜視図であり、図１１（ｃ）及び図１１（ｄ）は運転者頭部のヨー運動及びロール運動を頭部上方から見た図である。
【図１２】運転者頭部のロール運動及びヨー運動による眼の座標変化を示すグラフである。
【図１３】直線路走行時の右眼及び左眼の移動範囲を示すグラフである。
【符号の説明】
【００４６】
１    運転者
２    撮像装置
３    顔向き検出装置
４    制御装置
５    環境
６    車両
７    顔
３１    顔画像取得部
３２    顔部位検出部
３３    特徴量計算部
３４    顔向き判定部
３５    信号出力部
３６    モデルデータ記憶部
【図１】
2005196567.tif 000004
【図２】
2005196567.tif 000005
【図３】
2005196567.tif 000006
【図４】
2005196567.tif 000007
【図５】
2005196567.tif 000008
【図６】
2005196567.tif 000009
【図７】
2005196567.tif 000010
【図８】
2005196567.tif 000011
【図９】
2005196567.tif 000012
【図１０】
2005196567.tif 000013
【図１１】
2005196567.tif 000014
【図１２】
2005196567.tif 000015
【図１３】
2005196567.tif 000016