(57)【要約】【課題】顔の特徴点を高い精度で、且つ短い処理時間で検出可能とする顔画像の特徴点検出方法およびその装置を提供することを目的とする。【解決手段】顔を撮影して顔画像を取得する顔画像取得ステップと、顔画像に基づいて上下方向および／または左右方向の顔の向きを検出する顔向き角度検出ステップと、顔画像中で、探索の対象とする顔の特徴点毎に該特徴点を探索する探索範囲の位置および大きさを、顔向き角度検出ステップに検出された顔の向きに基づいて設定する探索範囲設定ステップと、探索範囲設定ステップで設定された各探索範囲の画像に基づいて、対応する特徴点をそれぞれ検出する特徴点検出ステップとを備える顔画像の特徴点検出方法である。【選択図】図７
2009176005.tif 000002
【特許請求の範囲】
【請求項１】
顔を撮影して顔画像を取得する顔画像取得ステップと、
前記顔画像に基づいて上下方向および／または左右方向の顔の向きの角度を検出する顔向き角度検出ステップと、
前記顔画像中で、探索の対象とする顔の特徴点毎に該特徴点を探索する探索範囲の大きさを、前記顔向き角度検出ステップに検出された前記顔の向きに基づいて設定する探索範囲設定ステップと、
前記探索範囲設定ステップで設定された各探索範囲の画像に基づいて、対応する特徴点をそれぞれ検出する特徴点検出ステップとを備える顔画像の特徴点検出方法。
【請求項２】
前記顔画像中で、顔の左右両端の中間点を通る顔の縦方向の中心線を検出する縦中心線検出ステップをさらに備え、
前記探索範囲設定ステップは、前記探索範囲の中心が前記顔の縦方向の中心線に近づくほど前記探索範囲を横方向に大きくする、請求項１に記載の顔画像の特徴点検出方法。
【請求項３】
前記顔画像中で、顔の上下両端の中間点を通る顔の横方向の中心線を検出する横中心線検出ステップをさらに備え、
前記探索範囲設定ステップは、前記探索範囲の中心が前記顔の横方向の中心線に近づくほど前記探索範囲を縦方向に大きくする、請求項１に記載の顔画像の特徴点検出方法。
【請求項４】
前記特徴点は、左側の眼および右側の眼、左側の眉および右側の眉、ならびに左側の耳および右側の耳の少なくとも何れか一対の特徴点を含み、
前記特徴点検出ステップは、
前記一対の特徴点を探索対象とする各探索範囲の大きさを比較して、大きい方の探索範囲を選択する探索範囲サイズ選択ステップと、
前記探索範囲サイズ選択ステップにより選択された大きい方の前記探索範囲の画像に基づいて、前記一対の特徴点のうち該探索範囲の探索対象である一方の特徴点の位置を、検出する第１の特徴点検出ステップと、
前記第１の特徴点検出ステップにより検出された前記一方の特徴点の位置に基づいて、他方の特徴点の探索範囲の位置および／または大きさを変更する探索範囲変更ステップと、
前記探索範囲変更ステップにより変更された探索範囲の画像に基づいて、前記他方の特徴点の位置を検出する第２の特徴点検出ステップとを含む、請求項２に記載の顔画像の特徴点検出方法。
【請求項５】
前記顔画像中で鼻の位置を検出する鼻位置検出ステップと、
前記顔画像中で顔幅を検出する顔幅検出ステップと、
前記顔画像中で前記一対の特徴点の間隔を検出する間隔検出ステップと、
前記顔画像中で、前記鼻の位置が前記顔の縦方向の中心線上に存在するか否かを判定する鼻位置判定ステップと、
前記鼻位置判定ステップで前記鼻の位置が前記顔の縦方向の中心線上にあると判定された場合、その時点における前記一対の特徴点の間隔および顔幅の検出値、もしくはこれらの検出値に基づいて算出される係数を記憶する記憶ステップと、
前記鼻位置判定ステップで前記鼻の位置が前記顔の縦方向の中心線上に無いと判定された場合、前記他方の特徴点の位置を、その時点における顔幅および顔向き角度の検出値と、前記記憶ステップで記憶された検出値もしくは係数に基づいて推定する位置推定ステップとをさらに備え、
前記探索範囲変更ステップは、前記鼻位置判定ステップで前記鼻の位置が前記顔の縦方向の中心線上に無いと判定された場合、前記位置推定ステップにおいて推定された前記他方の特徴点の推定位置に基づいて当該他方の特徴点の探索範囲の位置を変更する、請求項４に記載の顔画像の特徴点検出方法。
【請求項６】
前記特徴点は、眼、鼻、鼻穴、口、眉、および耳の何れかを含む、請求項１に記載の顔画像の特徴点検出方法。
【請求項７】
顔を撮影して顔画像を取得する顔画像取得手段と、
前記顔画像に基づいて上下方向および／または左右方向の顔の向きの角度を検出する顔向き角度検出手段と、
前記顔画像中で、探索の対象とする顔の特徴点毎に該特徴点を探索する探索範囲の大きさを、前記顔向き角度検出手段に検出された前記顔の向きに基づいて設定する探索範囲設定手段と、
前記探索範囲設定手段で設定された各探索範囲の画像に基づいて、対応する特徴点をそれぞれ検出する特徴点検出手段とを備える顔画像の特徴点検出装置。
【請求項８】
前記顔画像中で、顔の左右両端の中間点を通る顔の縦方向の中心線を検出する縦中心線検出手段をさらに備え、
前記探索範囲設定手段は、前記探索範囲の中心が前記顔の縦方向の中心線に近づくほど前記探索範囲を横方向に大きくする、請求項７に記載の顔画像の特徴点検出装置。
【請求項９】
前記顔画像中で、顔の上下両端の中間点を通る顔の横方向の中心線を検出する横中心線検出手段をさらに備え、
前記探索範囲設定手段は、前記探索範囲の中心が前記顔の横方向の中心線に近づくほど前記探索範囲を縦方向に大きくする、請求項７に記載の顔画像の特徴点検出装置。
【請求項１０】
前記特徴点は、左側の眼および右側の眼、左側の眉および右側の眉、ならびに左側の耳および右側の耳の少なくとも何れか一対の特徴点を含み、
前記特徴点検出手段は、
前記一対の特徴点を探索対象とする各探索範囲の大きさを比較して、大きい方の探索範囲を選択する探索範囲サイズ選択手段と、
前記探索範囲サイズ選択手段により選択された大きい方の前記探索範囲の画像に基づいて、前記一対の特徴点のうち該探索範囲の探索対象である一方の特徴点の位置を、検出する第１の特徴点検出手段と、
前記第１の特徴点検出手段により検出された前記一方の特徴点の位置に基づいて、他方の特徴点の探索範囲の位置および／または大きさを変更する探索範囲変更手段と、
前記探索範囲変更手段により変更された探索範囲の画像に基づいて、前記他方の特徴点の位置を検出する第２の特徴点検出手段とを含む、請求項８に記載の顔画像の特徴点検出装置。
【請求項１１】
前記顔画像中で鼻の位置を検出する鼻位置検出手段と、
前記顔画像中で顔幅を検出する顔幅検出手段と、
前記顔画像中で前記一対の特徴点の間隔を検出する間隔検出手段と、
前記顔画像中で、前記鼻の位置が前記顔の縦方向の中心線上に存在するか否かを判定する鼻位置判定手段と、
前記鼻位置判定手段で前記鼻の位置が前記顔の縦方向の中心線上にあると判定された場合、その時点における前記一対の特徴点の間隔および顔幅の検出値、もしくはこれらの検出値に基づいて算出される係数を記憶する記憶手段と、
前記鼻位置判定手段で前記鼻の位置が前記顔の縦方向の中心線上に無いと判定された場合、前記他方の特徴点の位置を、その時点における顔幅および顔向き角度の検出値と、前記記憶手段で記憶された検出値もしくは係数に基づいて推定する位置推定手段とをさらに備え、
前記探索範囲変更手段は、前記鼻位置判定手段で前記鼻の位置が前記顔の縦方向の中心線上に無いと判定された場合、前記位置推定手段において推定された前記他方の特徴点の推定位置に基づいて当該他方の特徴点の探索範囲の位置を変更する、
請求項１０に記載の顔画像の特徴点検出装置。
【請求項１２】
前記特徴点は、眼、鼻、鼻穴、口、眉、および耳の何れかを含む、請求項７に記載の顔画像の特徴点検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像の特徴点検出方法および特徴点検出装置に関し、より特定的には、人物の顔が撮影された画像中から該人物の眼、鼻、口などの顔の特徴点を検出する顔画像の特徴点検出方法および特徴点検出装置に関する。
【背景技術】
【０００２】
従来、様々な分野において、人物の顔の画像をカメラで撮影し、撮影された画像中で該人物の眼、鼻、および口などの顔の特徴点を検出する技術が開発されている。例えば、特許文献１には、車両の運転者の眼の位置および状態を検出して、居眠り運転を防止する装置が開示されている。特許文献１に開示される装置は、画像中で、運転者の鼻孔の位置に基づいて眼を探索する領域（以下、探索範囲と呼称する）を定める。そして、眼の探索範囲の大きさは、眼の検出状況に応じて変更される。具体的には、定められた時間、眼を検出することができない場合には、眼の探索範囲の大きさが拡大される。このように、拡大された探索範囲内で再度探索されることにより、眼が検出され易くなる。
【特許文献１】特許第３４２２１８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、人物の顔の向きに応じて、画像中における眼の位置（鼻を基準とした相対位置）は変化する。上記の特許文献１に開示される眼の検出方法では、このような特徴点の位置の変化により、画像中の眼が探索範囲内に収まらず、眼が検出されなくなる場合がある。このような場合、特許文献１に開示される眼の検出方法によると、上記の通り探索範囲が拡大されて眼の探索が再度行われる。しかしながら、眼が検出されなくなる度に上記のような探索範囲の拡大処理と再探索処理が実行されると、処理に時間がかかる。また、探索範囲が拡大されることにより、探索範囲内に眼以外のものが含まれて、眼以外のものを眼であると誤検出してしまう場合がある。さらに、探索範囲が拡大されることにより、１回の探索に要する時間も増加してしまう。
【０００４】
本発明は、上記に鑑みてなされたものであり、顔の特徴点を高い精度で、且つ短い処理時間で検出可能とする顔画像の特徴点検出方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記の課題を解決するため、本願は以下の構成を採用した。すなわち、第１の発明は、顔を撮影して顔画像を取得する顔画像取得ステップと、顔画像に基づいて上下方向および／または左右方向の顔の向きを検出する顔向き角度検出ステップと、顔画像中で、探索の対象とする顔の特徴点毎に該特徴点を探索する探索範囲の位置および大きさを、顔向き角度検出ステップに検出された顔の向きに基づいて設定する探索範囲設定ステップと、探索範囲設定ステップで設定された各探索範囲の画像に基づいて、対応する特徴点をそれぞれ検出する特徴点検出ステップとを備える顔画像の特徴点検出方法である。
【０００６】
第２の発明は、第１の発明において、特徴点検出方法は、顔画像中で、顔の左右両端の中間点を通る顔の縦方向の中心線を検出する縦中心線検出ステップをさらに備える。そして、探索範囲設定ステップは、探索範囲の中心が顔の縦方向の中心線に近づくほど探索範囲を横方向に大きくする。
【０００７】
第３の発明は、第１の発明において、特徴点検出方法は、顔画像中で、顔の上下両端の中間点を通る顔の横方向の中心線を検出する横中心線検出ステップをさらに備える。そして探索範囲設定ステップは、探索範囲の中心が顔の横方向の中心線に近づくほど探索範囲を縦方向に大きくする。
【０００８】
第４の発明は、第２の発明において、特徴点検出方法は、検出する特徴点として、左側の眼および右側の眼、左側の眉および右側の眉、ならびに左側の耳および右側の耳の少なくとも何れか一対の特徴点を含む。そして、特徴点検出ステップは、一対の特徴点を探索対象とする各探索範囲の大きさを比較して、大きい方の探索範囲を選択する探索範囲サイズ選択ステップと、探索範囲サイズ選択ステップにより選択された大きい方の探索範囲の画像に基づいて、一対の特徴点のうち該探索範囲の探索対象である一方の特徴点の位置を、検出する第１の特徴点検出ステップと、第１の特徴点検出ステップにより検出された一方の特徴点の位置に基づいて、他方の特徴点の探索範囲の位置および／または大きさを変更する探索範囲変更ステップと、他方の特徴点の位置を探索範囲変更ステップにより変更された探索範囲の画像に基づいて検出する第２の特徴点検出ステップとを含む。
【０００９】
第５の発明は、第４の発明において、特徴点検出方法は、顔画像中で鼻の位置を検出する鼻位置検出ステップと、顔画像中で顔幅を検出する顔幅検出ステップと、顔画像中で一対の特徴点の間隔を検出する間隔検出ステップと、顔画像中で、鼻の位置が顔の縦方向の中心線上に存在するか否かを判定する鼻位置判定ステップと、鼻位置判定ステップで鼻の位置が顔の縦方向の中心線上にあると判定された場合、その時点における一対の特徴点の間隔および顔幅の検出値、もしくはこれらの検出値に基づいて算出される係数を記憶する記憶ステップと、鼻位置判定ステップで鼻の位置が顔の縦方向の中心線上に無いと判定された場合、他方の特徴点の位置を、その時点における顔幅および顔向き角度の検出値と、記憶ステップで記憶された検出値もしくは係数に基づいて推定する位置推定ステップとをさらに備え、探索範囲変更ステップは、鼻位置判定ステップで鼻の位置が顔の縦方向の中心線上に無いと判定された場合、位置推定ステップにおいて推定された他方の特徴点の推定位置に基づいて当該他方の特徴点の探索範囲の位置を変更する。
【００１０】
第６の発明は、第１の発明において、特徴点検出方法により検出される特徴点は、眼、鼻、鼻穴、口、眉、および耳の何れかを含む。
【００１１】
なお、本発明は、上述した特徴点検出方法と同様の処理を実行する装置としても実現することが可能である。
【発明の効果】
【００１２】
第１の発明によれば、顔の向きに応じて顔画像中の特徴点の位置や大きさが変わった場合であっても、顔の向きに応じて特徴点の探索範囲が設定されるため、より正確に特徴点を検出することができる。
【００１３】
第２の発明によれば、顔が左右何れかの方向を向いて、顔画像中の特徴点の大きさが変化した場合であっても、顔の左右方向の向きに応じて特徴点の探索範囲の大きさが変更されるため、より正確に特徴点を検出することができる。
【００１４】
第３の発明によれば、顔が上下何れかの方向を向いて、顔画像中の特徴点の大きさが変化した場合であっても、顔の上下方向の向きに応じて特徴点の探索範囲の大きさが変更されるため、より正確に特徴点を検出することができる。
【００１５】
第４の発明によれば、一対の特徴点のうち、顔画像中で大きく写っている方の特徴点の位置を基準として、他方の特徴点の探索範囲の位置を変更するため、他方の特徴点が探索範囲内に収まり易くなる。その結果、他方の特徴点の検出精度が向上する。
【００１６】
第５の発明によれば、一対の特徴点の一方の特徴点から、推定した他方の特徴点の位置を基準に他方の特徴点の探索範囲が決定されるため、他方の特徴点の検出精度が向上する。
【００１７】
第６の発明によれば、眼、鼻、鼻穴、口、眉、および耳などの特徴点を検出することができる。
【発明を実施するための最良の形態】
【００１８】
以下、図１から図１１を参照して本発明の一実施形態に係る特徴点検出装置１３２について説明する。なお、本実施形態では、特徴点検出装置１３２を含む運転者監視システム１が、車両に搭載される例について説明する。運転者監視システム１は、搭載される車両の運転者の顔の画像を撮影し、該画像をもとに運転者の状態を監視するシステムである。特徴点検出装置１３２は、上記の画像中で運転者の左眼の位置、および右眼の位置を検出する。そして、特徴点検出装置１３２は、左右それぞれの瞼がどの程度開いているかを示す値（以下、瞼開度と呼称する）を算出する。
【００１９】
まず、図１を参照して運転者監視システム１の機能構成について説明する。図１は、特徴点検出装置１３２を含む運転者監視システム１の機能構成を示すブロック図である。
【００２０】
運転者監視システム１は、近赤外照明１１、近赤外カメラ１２、およびＥＣＵ（Ｅｌｅｃｔｒｉｃａｌ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１３を備える。そしてＥＣＵ１３は顔向き検知マイコン１３１および特徴点検出装置１３２を備える。運転者監視システム１は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを介して車両制御システム２に接続される。顔向き検知マイコン１３１および特徴点検出装置１３２は、運転者の状態を示すデータを車両制御システム２へ出力する。
【００２１】
近赤外照明１１は、近赤外光を発する照明装置であり、典型的には、近赤外光を発するＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）である。近赤外照明１１は、近赤外光が運転者に照射されるように車両内に配置される。
【００２２】
近赤外カメラ１２は、請求項に記載の撮像装置の一例である。近赤外カメラ１２は、近赤外領域で高い感度特性を有する撮像装置であり、典型的には、近赤外ＣＣＤカメラである。近赤外領域で高い感度特性を有するカメラを用いることにより、夜間やトンネル内などを走行中で車内が暗い状況でも、近赤外照明１１に照らされた撮像対象を感度良く撮像することが可能である。近赤外カメラ１２は運転者の顔を撮像可能な位置に配置される。近赤外カメラ１２は運転者の顔およびその周囲の画像を撮影し、撮影された画像をＥＣＵ１３へ出力する。なお、以下では、近赤外カメラ１２によって撮影される画像をカメラ画像と呼称する。また、説明のため、カメラ画像中の位置情報を、左下端を原点として、縦方向をＹ座標、横方向をＸ座標とする座標系で表す。
【００２３】
ＥＣＵ１３は、顔向き検知マイコン１３１および特徴点検出装置１３２などの情報処理装置、およびインターフェース回路などを備える処理装置である。ＥＣＵ１３は、カメラ画像を顔向き検知マイコン１３１および特徴点検出装置１３２などの情報処理装置で処理する。ＥＣＵ１３は、上記の処理の結果として得られる運転者の状態を示すデータを車両制御システム２へ出力する。
【００２４】
顔向き検知マイコン１３１は、典型的にはマイクロコンピュータなどの情報処理装置である。顔向き検知マイコン１３１は、カメラ画像中における運転者の顔の向きの角度を検出する。なお、本実施形態では、説明を簡単にするため、顔向き検知マイコン１３１が、運転者の顔の左右方向の角度（以下、顔向き角度αと呼称する）を検出する例について説明する。
【００２５】
特徴点検出装置１３２は、典型的にはマイクロコンピュータなどの情報処理装置である。特徴点検出装置１３２は、後述する処理に用いるデータを記憶するメモリなどの記憶装置を備える。特徴点検出装置１３２は、上記の画像中で左眼を探索する範囲（以下、左眼探索範囲と呼称する）、および右眼を探索する範囲（以下、右眼探索範囲と呼称する）を設定する。なお、左眼探索範囲および右眼探索範囲は、カメラ画像のＸＹ座標軸と平行な４辺から成る長方形で設定される。特徴点検出装置１３２は、左眼探索範囲内でカメラ画像中の左眼の位置（Ｌｘ，Ｌｙ）を検出し、右眼探索範囲内でカメラ画像中の右眼の位置（Ｒｘ，Ｒｙ）を検出する。特徴点検出装置１３２は、左右の眼の位置を検出すると、左眼の瞼開度ＭＬおよび右眼の瞼開度ＭＲを各々算出する。そして、特徴点検出装置１３２は、左眼の位置（Ｌｘ，Ｌｙ）、右眼の位置（Ｒｘ，Ｒｙ）、左眼の瞼開度ＭＬ、および右眼の瞼開度ＭＲを示すデータを車両制御システム２へ出力する。
【００２６】
車両制御システム２には、プリクラッシュ制御システムなどの車両を制御するシステムが含まれる。例えば、プリクラッシュ制御システムは、運転者の疲れ具合などを顔向き検知マイコン１３１から出力される顔向き角度α、特徴点検出装置１３２から出力される運転者の左眼の位置（Ｌｘ，Ｌｙ）および右眼の位置（Ｒｘ，Ｒｙ）、ならびに左右の眼の各々の瞼開度などの運転者の状態を示すデータに基づいて判断することができる。この判断により、プリクラッシュ制御システムは、車両と障害物との衝突の危険を報ずる警告や、衝突回避走行の制御などを実行するタイミングを、上記の運転者の疲れ具合に応じて決定する。
【００２７】
次に、図２を参照して、ＥＣＵ１３の処理について説明する。図２は、ＥＣＵ１３によって実行される処理を示すフローチャートである。なお、ＥＣＵ１３を含む運転者監視システム１は、搭載される車両のＩＧ電源がオンにされることによって動作する。したがって、図２に示すＥＣＵ１３の処理は、運転者監視システム１が搭載される車両のＩＧ電源がオンにされることによって開始される。
【００２８】
ステップＳ１において、ＥＣＵ１３は、ＩＧ電源がオンであるか否かを判定する。ＥＣＵ１３は、ＩＧ電源がオンであると判断した場合、処理をステップＳ２へ進める。一方、ＥＣＵ１３は、ＩＧ電源がオフであると判断した場合、処理を終了する。
【００２９】
上記ステップＳ１の処理により、ＩＧ電源がオンである間、下記のステップＳ２からステップＳ６の処理が繰り返される。
【００３０】
ステップＳ２において、ＥＣＵ１３は、カメラ画像を取得する。具体的には、ＥＣＵ１３は、近赤外カメラ１２から出力されるカメラ画像を取得し、ＥＣＵ１３が備える記憶装置へ保存する。ＥＣＵ１３は、ステップＳ２の処理を完了すると、処理をステップＳ３へ進める。
【００３１】
ステップＳ３において、ＥＣＵ１３は、顔向き検知処理を実行する。具体的には、ＥＣＵ１３は、上記のステップＳ２において取得したカメラ画像に基づいて顔向き角度αを検出する処理を、備えられた顔向き検知マイコン１３１に実行させる。
【００３２】
ここで、図３を参照して、顔向き角度αについて説明する。図３はカメラ画像および、該画像が撮影された時点の運転者の頭部の上面図である。本実施形態では運転者の頭部は頭頂部を上面とする円柱形状を成しているものと見なす。また、顔は円柱状の頭部の中心線を中心に回転するものと見なす。顔向き角度αの値は、近赤外カメラ１２に対して正面を向いた状態でα＝０である。そして、顔向き角度αの値は、顔が近赤外カメラ１２に対して正面を向いた状態から右方向を向くほど大きくなる。一方、顔が近赤外カメラ１２に対して正面を向いた状態から左方向を向くほど、顔向き角度αの値は小さくなる。したがって、顔向き角度αの値は、顔が右方向を向くと正の値となり、左方向を向くと負の値となる。
【００３３】
以下、図３を参照して、顔向き検知マイコン１３１が、顔向き角度αを検知する手法の一例について説明する。なお、下記の顔向き検知マイコン１３１が顔向き角度αを検出する手法は一例であり、顔向き角度αを検出する手法は上記の例に限らず、従来の既知の手法を用いて構わない。
【００３４】
顔向き検知マイコン１３１は、カメラ画像中における運転者の顔の左端ＥＬ、および右端ＥＲ、および顔の中心Ｃを検出する。運転者の顔の左端ＥＬは、顔の輪郭の左の端点のＸ座標である。運転者の顔の右端ＥＲは、顔の輪郭の右の端点のＸ座標である。顔の中心Ｃは、運転者の鼻の位置のＸ座標である。顔向き検知マイコン１３１は、カメラ画像中の運転者の顔の輪郭を検出して左端ＥＬおよび右端ＥＲを検出する。また、カメラ画像中の運転者の鼻の位置を検出して顔の中心Ｃを検出する。そして、左端ＥＬから顔の中心Ｃまでの幅ＷＬを算出する。また、右端ＥＲから顔の中心Ｃまでの幅ＷＲを算出する。
【００３５】
顔向き検知マイコン１３１は、上記のようにして算出された幅ＷＬおよび幅ＷＲの値の比に基づいて顔向き角度αを検出する。図３に示すように、顔が近赤外カメラ１２に対して正面を向いている場合、幅ＷＲおよび幅ＷＬは同値である。一方、顔が右を向いている場合、幅ＷＲに比べ幅ＷＬの方が大きい。すなわち、顔向き角度αの大きさに応じて、幅ＷＲおよび幅ＷＬの値の比率が変化する。そこで、顔向き検知マイコン１３１は、幅ＷＲおよび幅ＷＬの値の比率を、顔向き角度αの値に換算するデータテーブルを予め記憶し、幅ＷＲ、幅ＷＬ、および該データテーブルに基づいて顔向き角度αを算出する。
【００３６】
顔向き検知マイコン１３１は、顔向き角度αを検出できた場合、顔向き角度αを示すデータを、特徴点検出装置１３２および車両制御システム２へ出力して処理を完了する。そして、ＥＣＵ１３は、顔向き検知マイコン１３１の処理が完了すると、処理をステップＳ４へ進める。
【００３７】
ステップＳ４において、ＥＣＵ１３は、顔向きが検出されたか否かを判定する。具体的には、上記のステップＳ３において、顔向き検知マイコン１３１が顔向き角度αを示すデータを出力したか否かを判定する。ＥＣＵ１３は、顔向きが検出されたと判断した場合、処理をステップＳ４へ進める。一方、ＥＣＵ１３は、顔向きが検出されていないと判断した場合、処理をステップＳ１へ進める。
【００３８】
ステップＳ５において、ＥＣＵ１３は、閉眼検知処理を実行する。具体的には、ＥＣＵ１３は、カメラ画像中における運転者の左眼の位置（Ｌｘ，Ｌｙ）および右眼の位置（Ｒｘ，Ｒｙ）、ならびに左眼の瞼開度ＭＬおよび右眼の瞼開度ＭＲを検出する処理を、特徴点検出装置１３２に実行させる。特徴点検出装置１３２は、上記のステップＳ２において取得されたカメラ画像、および上記のステップＳ３において取得された顔向き角度αに基づいて運転者の左眼の位置（Ｌｘ，Ｌｙ）および右眼の位置（Ｒｘ，Ｒｙ）、ならびに左眼の瞼開度ＭＬおよび右眼の瞼開度ＭＲを検出する。ステップＳ５の処理の詳細については後述する。ＥＣＵ１３は、ステップＳ５の処理を完了すると、処理をステップＳ６へ進める。
【００３９】
ステップＳ６において、ＥＣＵ１３は、処理結果を車両制御システム２へ出力する。具体的には、ＥＣＵ１３は、上記のステップＳ３およびステップＳ５において、顔向き角度α、左眼の位置（Ｌｘ，Ｌｙ）および右眼の位置（Ｒｘ，Ｒｙ）、ならびに左眼の瞼開度ＭＬおよび右眼の瞼開度ＭＲを車両制御システム２へ出力する。ＥＣＵ１３は、ステップＳ６の処理を完了すると、処理をステップＳ１へ戻す。
【００４０】
次に、図４を参照して、上記に説明したＥＣＵ１３のステップＳ５の処理において特徴点検出装置１３２が処理する主なデータについて説明する。図４は、特徴点検出装置１３２における処理において用いられる主なデータ（以下、処理用データと呼称する）を示す図である。図４に示す処理用データは、特徴点検出装置１３２が有するメモリ等の記憶手段に記憶される。処理用データには、顔幅Ｗ、顔向き角度α、鼻の位置（Ｎｘ，Ｎｙ）、左眼探索範囲の横幅ＳＬ、左眼探索範囲の縦の長さＶＬ、右眼探索範囲の横幅ＳＲ、右眼探索範囲の縦の長さＶＲ、左眼探索範囲の中心（ＣＬｘ，ＣＬｙ）、右眼探索範囲の中心（ＣＲｘ，ＣＲｙ）、眼角度θの正弦ｓｉｎθ、推定両眼幅Ｄｅ、係数テーブル、左眼の位置（Ｌｘ，Ｌｙ）、および右眼の位置（Ｒｘ，Ｒｙ）が含まれる。
【００４１】
顔幅Ｗは、カメラ画像中の運転者の顔の幅である。特徴点検出装置１３２は、カメラ画像中で顔の輪郭部分を探索して顔幅Ｗを検出する。特徴点検出装置１３２は、後述の推定眼幅Ｄｅを顔幅Ｗに基づいて算出する。
【００４２】
鼻の位置（Ｎｘ，Ｎｙ）は、カメラ画像中において運転者の鼻の位置を示す座標である。特徴点検出装置１３２は、カメラ画像中で鼻の部分を探索して鼻の位置（Ｎｘ，Ｎｙ）を検出する。詳細は後述するが、特徴点検出装置１３２は、左眼探索範囲の位置、および右眼探索範囲の位置を鼻の位置（Ｎｘ，Ｎｙ）に基づいて設定する。
【００４３】
顔向き角度αは、上記に説明した運転者の顔の左右方向の角度である。特徴点検出装置１３２は、顔向き検知マイコン１３１から出力される顔向き角度αを取得する。
【００４４】
ＳＬ、およびＶＬは、各々左眼探索範囲の横幅および縦の長さである。ＳＲ、およびＶＲは、各々右眼探索範囲の横幅および縦の長さである。特徴点検出装置１３２は、左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの値を、顔向き角度αの値に応じて変更する。左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの初期値は、予め定められた所定値Ｐとする。また、左眼探索範囲の縦の長さＶＬ、および右眼探索範囲の縦の長さＶＲの初期値は、予め定められた所定値Ｑとする。なお、所定値Ｐおよび所定値Ｑの値は、事前の実験により、車両ユーザ毎の眼の位置および大きさのばらつきを考慮した大きさで設定されて良い。
【００４５】
左眼探索範囲の中心（ＣＬｘ，ＣＬｙ）は左眼探索範囲の中心を示す座標である。また、右眼探索範囲の中心（ＣＲｘ，ＣＲｙ）は左眼探索範囲の中心を示す座標である。特徴点検出装置１３２は、左眼探索範囲の中心のＸ座標ＣＬｘ、および右眼探索範囲の中心のＸ座標ＣＲｘの値を、左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの値に基づいて算出する。
【００４６】
係数テーブルは、図５に示すように、顔向き角度αの値に対応した左サイズ係数ＫＬおよび右サイズ係数ＫＲの値を示すデータテーブルである。図５は、係数テーブルの一例を示す図である。左サイズ係数ＫＬおよび右サイズ係数ＫＲは、各々左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの値を変更するため、左眼探索範囲の横幅ＳＬの初期値Ｐ、および右眼探索範囲の横幅ＳＲの初期値Ｐの各々の値に乗算される係数である。詳細は後述するが、特徴点検出装置１３２は、顔向き角度αの値に基づいて係数テーブルから左サイズ係数ＫＬ、および右サイズ係数ＫＲを求める。そして、特徴点検出装置１３２は、左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの値を左サイズ係数ＫＬ、および右サイズ係数ＫＲに基づいて補正する。
【００４７】
眼角度θは、図６に示すように、鼻および頭部中心を通る鉛直面（Ｘ＝Ｎｘ）と、左眼探索範囲の中心および頭部の中心を通る鉛直面とが成す角度である。図６は、カメラ画像および、該画像が撮影された時点の運転者の頭部の上面図である。なお、鼻および頭部中心を通る鉛直面（Ｘ＝Ｎｘ）と、右眼探索範囲の中心および頭部の中心を通る鉛直面とが成す角度も眼角度θと同値である。詳細は後述するが、眼角度θの正弦ｓｉｎθは、顔向き角度αの値が０の時点における、左眼探索範囲の中心のＸ座標と、右眼探索範囲の中心のＸ座標との間の距離（以下、基準両眼幅Ｄと呼称する）および顔幅Ｗから算出される。
【００４８】
推定両眼幅Ｄｅは、カメラ画像中における、一方の眼の位置から他方の眼の位置までの推定距離である。詳細は後述するが、特徴点検出装置１３２は、顔幅Ｗ、顔向き角度α、および眼角度θの正弦ｓｉｎθの値に基づいて推定両眼幅Ｄｅを算出する。そして、特徴点検出装置１３２は、一方の眼の位置、および推定両眼幅Ｄｅの値に基づいて、他方の眼の探索範囲を設定する。
【００４９】
次に、図７を参照して、上記に説明したＥＣＵ１３のステップＳ５の処理において、特徴点検出装置１３２が実行する閉眼検知処理の詳細について説明する。図７は、特徴点検出装置１３２によって実行される処理を示すフローチャートである。
【００５０】
ステップＳ５０１において、特徴点検出装置１３２は、カメラ画像中の運転者の顔幅Ｗを検出する。具体的には、例えば公知のソーベルオペレータを用いたエッジ抽出処理によって、カメラ画像中で顔の輪郭部分を探索して顔幅Ｗを検出する。そして、特徴点検出装置１３２は、検出した顔幅Ｗを示すデータを特徴点検出装置１３２が備える記憶装置に記憶する。特徴点検出装置１３２は、ステップＳ５０１の処理を完了すると、処理をステップＳ５０２へ進める。
【００５１】
ステップＳ５０２において、特徴点検出装置１３２は、カメラ画像中で鼻の部分を探索して鼻の位置（Ｎｘ，Ｎｙ）を検出する。具体的には、特徴点検出装置１３２は、一対の鼻孔の位置を検出する。そして、一対の鼻孔の中間位置を鼻の位置（Ｎｘ，Ｎｙ）として検出する。特徴点検出装置１３２は、検出した鼻の位置（Ｎｘ，Ｎｙ）を示すデータを特徴点検出装置１３２が備える記憶装置に記憶する。特徴点検出装置１３２は、ステップＳ５０１の処理を完了すると、処理をステップＳ５０３へ進める。
【００５２】
上記ステップＳ５０２において検出される鼻孔の形状は、眼の形状に比べて個人差が小さい。そのため、鼻の位置は眼の位置に比べてより正確に検出することができる。一方、眼の形状は個人差が大きいため、最適な探索範囲を設定しなければ誤検出し易い。したがって、下記のステップＳ５０３からステップＳ５１３の処理では、鼻の位置（Ｎｘ，Ｎｙ）を基準に最適な左眼の探索範囲および右眼の探索範囲を設定することによって、より正確に左眼の位置（Ｌｘ，Ｌｙ）、および右眼の位置（Ｒｘ，Ｒｙ）を検出可能とする。
【００５３】
ステップＳ５０３において、特徴点検出装置１３２は、基準となる探索範囲（以下、基準探索範囲と呼称する）を設定する。以下、図８を参照して、特徴点検出装置１３２が、基準探索範囲を設定する方法について説明する。図８は、カメラ画像中で設定された基準探索範囲を示す図である。
【００５４】
特徴点検出装置１３２は、ステップＳ５０２において検出した鼻の位置（Ｎｘ，Ｎｙ）の値に基づいて、右眼探索範囲の右下端点（ＲＯｘ，ＲＯｙ）を算出する。右眼探索範囲の右下端点のＸ座標ＲＯｘは、鼻の位置のＸ座標Ｎｘから予め定められた所定値Ｕを減算して算出される。また、右眼探索範囲の右下端点のＹ座標ＲＯｙは、鼻の位置のＹ座標Ｎｙから予め定められた所定値Ｔを加算して算出される。そして、特徴点検出装置１３２は、カメラ画像中において、右眼探索範囲の右下端点を基準に、横幅ＳＲ、縦の長さＶＲの範囲を右眼探索範囲として設定する。なお、上記のとおり、横幅ＳＲの初期値はＰであり、縦の長さＶＲの初期値はＱである。
【００５５】
同様に、特徴点検出装置１３２は、ステップＳ５０２において検出した鼻の位置（Ｎｘ，Ｎｙ）の値に基づいて、左眼探索範囲の左下端点（ＬＯｘ，ＬＯｙ）を算出する。左眼探索範囲の左下端点のＸ座標ＬＯｘは、鼻の位置のＸ座標Ｎｘから予め定められた所定値Ｕを加算して算出される。また、左眼探索範囲の左下端点のＹ座標ＬＯｙは、鼻の位置のＹ座標Ｎｙから予め定められた所定値Ｔを加算して算出される。そして、特徴点検出装置１３２は、カメラ画像中において、左眼探索範囲の左下端点を基準に、横幅ＳＬ、縦の長さＶＬの範囲を右眼探索範囲として設定する。なお、上記のとおり、横幅ＳＬの初期値はＰであり、縦の長さＶＬの初期値はＱである。
【００５６】
特徴点検出装置１３２は、ステップＳ５０３の処理を完了すると、処理をステップＳ５０４へ進める。
【００５７】
上記のステップＳ５０２およびステップＳ５０３の処理により、鼻の位置に合わせて左眼探索範囲および右眼探索範囲の位置を変更することができる。したがって、カメラ画像中で顔が移動しても、顔の位置に応じて左眼探索範囲および右眼探索範囲の位置が変更される。
【００５８】
なお、上記のＵ、Ｔ、Ｐの値を、ステップＳ５０１で検出された顔幅Ｗに応じて増減させても構わない。このようにＵ、Ｔ、Ｐの値を増減することにより、カメラ画像中で顔の大きさが変化しても（つまり運転者の顔と近赤外カメラ１２の間の距離が変化しても）、顔の大きさの変化に追従して左眼探索範囲および右眼探索範囲の大きさを適切に設定することができる。
【００５９】
ステップＳ５０４において、特徴点検出装置１３２は、顔向き角度αを検出する。具体的には、特徴点検出装置１３２は、顔向き検知マイコン１３１から出力される顔向き角度αを示すデータを取得する。そして、特徴点検出装置１３２は、取得した顔向き角度αを示すデータを特徴点検出装置１３２が備える記憶装置に記憶する。特徴点検出装置１３２は、ステップＳ５０４の処理を完了すると、処理をステップＳ５０５へ進める。
【００６０】
ステップＳ５０５において、特徴点検出装置１３２は、顔向き角度αの値がゼロか否か判定する。特徴点検出装置１３２は、顔向き角度がゼロであると判定した場合、処理をステップＳ５０６へ進める。一方、特徴点検出装置１３２は、顔向き角度がゼロでないと判定した場合、処理をステップＳ５０８へ進める。
【００６１】
ステップＳ５０６において、特徴点検出装置１３２は、左右の眼の位置を検出する。具体的には、特徴点検出装置１３２は、カメラ画像中において、左眼探索範囲内で左眼を探索して検出し、右眼探索範囲内で右眼を探索して検出する。特徴点検出装置１３２は、ステップＳ５０６の処理を完了すると、処理をステップＳ５０７へ進める。探索範囲内における眼の検出には、例えば公知のパターンマッチング手法を用いることができる。
【００６２】
ステップＳ５０７において、特徴点検出装置１３２は、眼角度θの正弦ｓｉｎθを算出する。以下、図６を参照して眼角度θの正弦ｓｉｎθの算出方法について説明する。
【００６３】
まず、特徴点検出装置１３２は、ステップＳ５０６において検出された左右の眼の位置に基づいて、左眼探索範囲の中心から右眼探索範囲の中心までの基準両眼幅Ｄの値を算出する。ここで、顔向き角度αの値が０である場合の顔幅Ｗの値をＷ１とする。図６の上面図に示すように、左眼の中心、右眼の中心、および頭部の中心の三点から成る三角形は、二等辺三角形を形成する。この二等辺三角形の底辺の長さは基準両眼幅Ｄと等しい。また、この二等辺三角形の等しい２辺の長さはＷ１／２である、また、二等辺三角形の頂角は２θである。したがって、基準両眼幅Ｄ、眼角度θ、および顔幅Ｗの値Ｗ１を用いて下式が成り立つ。
Ｄ＝Ｗ１ｓｉｎθ
上記の２式に基づいて、眼角度θの正弦ｓｉｎθの値は、下式で求める事ができる。
ｓｉｎθ＝Ｄ／Ｗ１
【００６４】
特徴点検出装置１３２は、上記の方法で算出した眼角度θの正弦ｓｉｎθの値を記憶装置に記憶する。そして、特徴点検出装置１３２は、ステップＳ５０７の処理を完了すると、処理をステップＳ５１４へ進める。
【００６５】
なお、眼角度θの正弦ｓｉｎθの値は、上記のように、ＤおよびＷ１の値から求めることができるので、ステップＳ５０７において、眼角度θの正弦ｓｉｎθの値の代わりにＤおよびＷ１の値を記憶装置に記憶しても構わない。
【００６６】
ステップＳ５０８において、特徴点検出装置１３２は、左眼探索範囲および右眼探索範囲の大きさを補正する。具体的には、特徴点検出装置１３２は、左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの値を顔向き角度αに応じて変更する。
【００６７】
まず、特徴点検出装置１３２は、顔向き角度αの値に基づいて、係数テーブルから顔向き角度αの値に対応した左サイズ係数ＫＬ、および右サイズ係数ＫＲの値を算出する。
【００６８】
次に、特徴点検出装置１３２は、左眼探索範囲の横幅ＳＬの値（Ｐ）に左サイズ係数ＫＬを乗算し、および右眼探索範囲の横幅ＳＲの値（Ｐ）に右サイズ係数ＫＲを乗算して、左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの値を変更する。
【００６９】
以下、図５および図９を参照して、特徴点検出装置１３２が左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの値の大きさを補正する様子について説明する。なお、図９は、カメラ画像中で、顔向き角度に応じて変更される特徴点の探索範囲を示す図である。例えば、図９に示すように、顔向き角度αの値が０の時に左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの値はいずれもＰであるとする。
【００７０】
顔向き角度αの値が＋１０である場合、まず、特徴点検出装置１３２は、図５に示す係数テーブルを参照して、左サイズ係数ＫＬ、および右サイズ係数ＫＲの値を求める。特徴点検出装置１３２は、顔向き角度αの値を係数テーブル中の１列目において探索する。そして、当該顔向き角度αが記された行と同じ行の２列目、および３列目に記された左サイズ係数ＫＬ、および右サイズ係数ＫＲの値を求める。図５に示す係数テーブルによると、顔向き角度αの値が＋１０である場合、左サイズ係数ＫＬの値は１．２、右サイズ係数ＫＲの値は０．８である。
【００７１】
次に、特徴点検出装置１３２は、左眼探索範囲の横幅ＳＬ＝Ｐの値に左サイズ係数ＫＬ＝１．２を乗算し、左眼探索範囲の横幅ＳＬの値を１．２Ｐに変更する。同様に、右眼探索範囲の横幅ＳＲ＝Ｐの値に左サイズ係数ＫＲ＝０．８を乗算し、右眼探索範囲の横幅ＳＲの値を０．８Ｐに変更する。
【００７２】
特徴点検出装置１３２は、左眼探索範囲の横幅ＳＬ、および右眼探索範囲の横幅ＳＲの値を変更した後、各値を示すデータを記憶装置に上書きして記憶する。特徴点検出装置１３２は、ステップＳ５０８の処理を完了すると処理をステップＳ５０９へ進める。
【００７３】
上記のステップＳ５０８の処理により、運転者の顔の向き角度αの値に応じて左眼探索範囲および右眼探索範囲の大きさが最適な大きさに変更される。カメラ画像で、顔の特徴点は、顔幅の中心線に近づくほど大きく写る。例えば、図９に示すように、運転者の顔が右を向いた場合（顔向き角度αの値が＋１０の場合）には、カメラ画像において左眼は大きく写り、右眼は小さく写る。ここで、ステップＳ５０８の処理により、運転者の顔の向きに応じて左眼探索範囲は大きく変更され、右眼探索範囲は小さく変更される。その結果、左眼が左眼探索範囲内に収まり易くなるため、左眼の検出精度が向上する。また、右眼探索範囲内には右眼以外のものが含まれ難くなるため、右眼以外のものを右眼として誤検出し難くなる。このように、特徴点検出装置１３２は、顔の向きに応じて特徴点の探索範囲の大きさを変更することにより、特徴点の検出精度を向上させることができる。
【００７４】
ところで、図９に示すように、顔が右を向いた場合、カメラ画像中で右眼は小さく写るため、崩れた形状で写り易い。一方で、顔が右を向いた状態では、カメラ画像中で左眼は大きく写るため、形状が崩れ難い。そのため、顔が右を向いた状態では、左眼に比べて右眼は誤検出され易い。このように、カメラ画像中で小さく写る特徴点は、大きく写る特徴点に比べて誤検出され易い。そこで、下記のステップＳ５０９からステップＳ５１３の処理では、カメラ画像中で大きく写る特徴点の位置を先に検出し、先に検出した特徴点の位置を基準に、カメラ画像中で小さく写る特徴点の位置を推定する。そして、推定した特徴点の位置を中心として、当該特徴点の探索範囲を再設定する。下記のステップＳ５０９からステップＳ５１３の処理により、カメラ画像中で小さく写る特徴点の探索範囲がより適切に設定され、当該特徴点の検出精度を向上させることができる。
【００７５】
図７の説明に戻り、ステップＳ５０９において、特徴点検出装置１３２は、大きい方の探索範囲で眼を検出する。まず、特徴点検出装置１３２は、左眼探索範囲および右眼探索範囲の面積を算出し、どちらが大きいかを判断する。そして、面積が大きい方の探索範囲で眼の位置を検出する。
【００７６】
例えば、図９において、顔向き角度αの値が＋１０である場合、左眼探索範囲の面積は１．２ＰＱと表せる。一方、右眼探索範囲の面積は０．８ＰＱと表せる。左眼探索範囲の面積と右眼探索範囲の面積とを比較すると、左眼探索範囲の面積の方が大きい。したがって、特徴点検出装置１３２は、左眼探索範囲を大きい方の探索範囲と判断し、右眼探索範囲を小さい方の探索範囲と判断する。そして、特徴点検出装置１３２は、左眼探索範囲で左眼の位置（Ｌｘ，Ｌｙ）を検出する。例えば、左眼探索範囲の画像に対してパターンマッチング手法を適用することによって左眼の位置（Ｌｘ，Ｌｙ）を検出することができる。
【００７７】
なお、左眼探索範囲の面積と右眼探索範囲の面積のどちらが大きいかを、顔向き角度αの符号（正か負か）によって簡易的に判断しても構わない。
【００７８】
ステップＳ５０９の処理を完了すると、特徴点検出装置１３２は、処理をステップＳ５１０へ進める。
【００７９】
ステップＳ５１０において、特徴点検出装置１３２は、眼角度θの正弦ｓｉｎθが算出済であるか否かを判定する。具体的には、眼角度θの正弦ｓｉｎθの値を示すデータが記憶装置に記憶されているかを判断する。特徴点検出装置１３２は、眼角度θの正弦ｓｉｎθが算出済であると判断した場合、処理をステップＳ５１１へ進める。一方、特徴点検出装置１３２は、眼角度θの正弦ｓｉｎθが算出済でないと判断した場合、処理をステップＳ５１３へ進める。
【００８０】
ステップＳ５１１において、特徴点検出装置１３２は、眼角度θの正弦ｓｉｎθに基づいて推定両眼幅Ｄｅの値を算出する。図１０は運転者が右を向いている場合の運転者の頭部の上面図の一例である。図１０に示すように、顔の向き角度αの値が０でない場合、両眼の中心を通る鉛直面がカメラ撮像面に対して角度αを成すと考えられる。したがって、推定両眼幅Ｄｅは、基準両眼幅Ｄを用いて下式で表すことができる。
Ｄｅ＝Ｄｃｏｓα
また、基準両眼幅Ｄ＝Ｗｓｉｎθであることから、推定両眼幅Ｄｅは下式で表すことができる。
Ｄｅ＝Ｗｓｉｎθｃｏｓα
特徴点検出装置１３２は、推定両眼幅Ｄｅの値を、顔幅Ｗ、眼角度θの正弦ｓｉｎθ、および顔向き角度αに基づいて、上式により算出する。特徴点検出装置１３２は、算出した推定両眼幅Ｄｅの値を示すデータを記憶装置に記憶する。特徴点検出装置１３２は、ステップＳ５１１の処理を完了すると、処理をステップＳ５１２へ進める。
【００８１】
ステップＳ５１２において、特徴点検出装置１３２は、小さい方の探索範囲を再設定する。まず、特徴点検出装置１３２は、ステップＳ５０９において検出した一方の眼の位置から、他方の眼の推定位置（Ｅｘ，Ｅｙ）を算出する。具体的には、特徴点検出装置１３２は、一方の眼の位置から、他方の眼がある方向へ推定両眼幅Ｄｅだけ移動した点を他方の眼の推定位置（Ｅｘ，Ｅｙ）とする。次に、特徴点検出装置１３２は、他方の眼の推定位置（Ｅｘ，Ｅｙ）を探索範囲の中心点として小さい方の探索範囲の位置を変更する。
【００８２】
以下、顔向き角度αの値が＋１０であった場合に、特徴点検出装置１３２が、小さい方の探索範囲を再設定する例について、図１１を参照して説明する。なお、図１１は、カメラ画像および、該画像が撮影された時点の運転者の頭部の上面図である。図１１において、右眼探索範囲が小さい方の探索範囲に相当する。
【００８３】
まず、特徴点検出装置１３２は、左眼の位置（Ｌｘ，Ｌｙ）を基準に右眼の推定位置（Ｅｘ，Ｅｙ）を算出する。右眼の推定位置（Ｅｘ，Ｅｙ）は、左眼の位置（Ｌｘ，Ｌｙ）から推定両眼幅Ｄｅだけ右眼側に移動した位置である。すなわち、この場合、右眼の推定位置（Ｅｘ，Ｅｙ）は、下式で表せる。
Ｅｘ＝Ｌｘ−Ｄｅ
Ｅｙ＝Ｌｙ
次に、右眼の推定位置（Ｅｘ，Ｅｙ）を右眼探索範囲の中心（ＣＲｘ、ＣＲｙ）とする。特徴点検出装置１３２は、上記の処理により決定されるカメラ画像中の範囲を右眼探索範囲として再設定する。
【００８４】
特徴点検出装置１３２は、ステップＳ５１２の処理を完了すると、処理をステップＳ５１３へ進める。
【００８５】
ステップＳ５１３において、特徴点検出装置１３２は、小さい方の探索範囲で眼を検出する。図１１の例では、特徴点検出装置１３２は、再設定された右眼探索範囲を探索して右眼の位置（Ｒｘ，Ｒｙ）を検出する。例えば、右眼探索範囲の画像に対してパターンマッチング手法を適用することによって右眼の位置（Ｒｘ，Ｒｙ）を検出することができる。特徴点検出装置１３２は、ステップＳ５１３の処理を完了すると、処理をステップＳ５１４へ進める。
【００８６】
ステップＳ５１４において、特徴点検出装置１３２は、両眼の瞼開度を算出する。具体的には、特徴点検出装置１３２は、左眼および右眼の各々について、上瞼の輪郭および下瞼の輪郭を検出する。そして、特徴点検出装置１３２は、上瞼と下瞼との間の距離を各眼の瞼開度として算出する。特徴点検出装置１３２は、ステップＳ５１４の処理を完了すると、閉眼検知処理を終了する。
【００８７】
また、上記に説明した特徴点検出装置１３２のステップＳ５１２の処理において、特徴点検出装置１３２は、ステップＳ５０９で検出した一方の眼の位置から予め定めた所定値だけ移動した位置を他方の眼の推定位置（Ｅｘ，Ｅｙ）として算出しても良い。この場合、推定両眼幅Ｄｅの値を算出する必要が無いため、特徴点検出装置１３２は、ステップＳ５０７、ステップＳ５１０、およびステップＳ５１１の処理を実行しなくて良い。したがって、特徴点検出装置１３２は、少ない処理量で特徴点を検出することができる。
【００８８】
また、上記に説明した特徴点検出装置１３２のステップＳ５１２の処理において、再設定される探索範囲の大きさが変更されても構わない。例えば、図１１に示すように右眼探索範囲の縦の長さＶＲの値は所定値Ｑより小さい所定値Ｑ２に変更されても構わない。上記のとおり、所定値Ｑの値は、車両ユーザ毎の眼の位置のばらつきを考慮した大きさで設定されることが望ましい。しかしながら、本ステップＳ５１２の処理では、右眼の位置が左眼の位置に基づいて推定されるため、右眼の位置のＹ軸方向のばらつきを考慮する必要がない。そのため、右眼探索範囲の縦の長さＶＲの値は、右眼の位置のＹ軸方向のばらつきを考慮する場合の所定値Ｑより小さい所定値Ｑ２として良い。
【００８９】
また、本実施形態では一方の眼の位置から他方の眼の位置を推定して、他方の眼を探索するための探索範囲を再設定したが、本発明はこれに限定されず、他方の眼を探索するための探索範囲を再設定することなく他方の眼を探索するようにしてもよい。
【００９０】
また、上記の実施形態では、運転者の顔の向きが横方向に変化する場合について説明したが、運転者の顔の向きが縦方向に変化する場合についても、運転者の頭部を頭部側面を上面および底面とする円柱形状を成すものと見なせば、縦方向の顔の向きに応じて特徴点の探索範囲を設定することができる。
【００９１】
また、上記の実施形態では、運転者の左右の眼の位置を検出する例を示したが、本発明の特徴点検出装置が検出する顔の特徴点は眼に限らず、鼻、鼻穴、口、眉、および耳などであっても構わない。
【産業上の利用可能性】
【００９２】
本発明に係る顔画像の特徴点検出方法および装置は、より正確に顔の特徴点を検出することができる顔画像の特徴点検出方法および装置などとして有用である。
【図面の簡単な説明】
【００９３】
【図１】特徴点検出装置を含む運転者監視システムの機能構成を示すブロック図
【図２】ＥＣＵによって実行される処理を示すフローチャート
【図３】カメラ画像および、該画像が撮影された時点の運転者の頭部の上面図
【図４】特徴点検出装置における処理において用いられる主なデータを示す図
【図５】係数テーブルの一例を示す図
【図６】カメラ画像および、該画像が撮影された時点の運転者の頭部の上面図
【図７】特徴点検出装置によって実行される処理を示すフローチャート
【図８】カメラ画像中で設定された基準探索範囲を示す図
【図９】顔向き角度に応じて変更される特徴点の探索範囲を示す図
【図１０】運転者が右を向いている場合の運転者の頭部の上面図の一例
【図１１】カメラ画像および、該画像が撮影された時点の運転者の頭部の上面図
【符号の説明】
【００９４】
１        運転者監視システム
２        車両制御システム
１１      近赤外照明
１２      近赤外カメラ
１３      ＥＣＵ
１３１    顔向き検知マイコン
１３２    特徴点検出装置
【図１】
2009176005.tif 000003
【図２】
2009176005.tif 000004
【図３】
2009176005.tif 000005
【図４】
2009176005.tif 000006
【図５】
2009176005.tif 000007
【図６】
2009176005.tif 000008
【図７】
2009176005.tif 000009
【図８】
2009176005.tif 000010
【図９】
2009176005.tif 000011
【図１０】
2009176005.tif 000012
【図１１】
2009176005.tif 000013