(57)【要約】【課題】  車両運転者の視認対象の検出精度を向上させることが可能な車両用視線方向検出装置及び方法を提供する。【解決手段】  車両用視線方向検出装置１は、車内機器などの車内視認対象物から補正値（静的補正値）を求めるだけでなく、動的な対象（車外視認対象物）から補正値（動的補正値）を求める構成となっている。ここで、動的補正値は、静的な対象から得ることができない動的特有の特徴を含んだ補正値である。例えば、運転者は動いている物体を見ているとき、物体の動きにあわせて黒眼部分を動かすが、その黒眼部分の動きは年齢や運転の熟練度などの種々の要因によって異なってくる。動的補正値は、上記のような動的な対象を見ているときの特有の特徴が含まれた補正値となる。よって、静的補正値を用いて視線方向を補正することで、動的特有の特徴をもとに補正することとなり、車両運転者の視認対象の検出精度を向上させることができる【選択図】      図２
2006263334.tif 000002
【特許請求の範囲】
【請求項１】
車両運転者の顔の画像から運転者の視線方向を検出する視線検出手段と、
車内空間において静止している車内の対象物のうち、運転者が視認していると推定される車内視認対象物を特定する車内視認対象物特定手段と、
前記視線検出手段により検出された視線方向と、運転者の眼位置から前記車内視認対象物特定手段により特定された車内視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた静的補正値を求める静的補正値算出手段と、
前記静的補正値算出手段により求められた静的補正値に応じて、前記視線検出手段により検出された視線方向を補正する静的補正手段と、
車両周囲の障害物を検出する障害物検出手段と、
前記障害物検出手段により検出された障害物のうち実空間上で移動している移動物であって、運転者が視認していると推定される車外視認対象物を特定する車外視認対象物特定手段と、
前記静的補正手段により補正された視線方向と、運転者の眼位置から前記車外視認対象物特定手段により特定された車外視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた動的補正値を求める動的補正値算出手段と、
前記静的補正値算出手段により求められた静的補正値と前記動的補正値算出手段により求められた動的補正値とに応じて、前記視線検出手段により検出された視線方向を補正する動的補正手段と、
を備えることを特徴とする車両用視線方向検出装置。
【請求項２】
前記動的補正手段により補正された視線方向と、運転者の眼位置から自車両と衝突可能性がある衝突物体までを結ぶ方向とが一致しているか否かを判断することで、運転者が前記衝突物体を視認しているか否かを判断する視認判断手段と、
前記視認判断手段により運転者が前記物体を視認していないと判断された場合に、車両運転者に対して警告を行う警告手段と、
をさらに備えることを特徴とする請求項１に記載の車両用視線方向検出装置。
【請求項３】
前記車外視認対象特定手段は、先行車両が存在する場合であって、自車両から先行車両までの車間距離と運転者による車両のペダル操作量とに所定の相関があるときに、前記運転者が視認していると推定される車外視認対象物として先行車両を特定することを特徴とする請求項１に記載の車両用視線方向検出装置。
【請求項４】
前記動的補正値算出手段は、自車両の平均車速毎に前記動的補正値を求めることを特徴とする請求項３に記載の車両用視線方向検出装置。
【請求項５】
前記車外視認対象特定手段は、先行車両が存在し、且つ運転者の黒眼部分に揺らぎが検出された場合であって、揺らぎの検出後の所定時間以内に、所定車速以上でブレーキペダルが操作されたときに、前記運転者が視認していると推定される車外視認対象物として先行車両を特定することを特徴とする請求項１に記載の車両用視線方向検出装置。
【請求項６】
前記動的補正値算出手段は、自車両から先行車両までの車間距離と、先行車両に対する自車両の相対車速との相関を示す相関値毎に前記動的補正値を求めることを特徴とする請求項５に記載の車両用視線方向検出装置。
【請求項７】
前記車外視認対象特定手段は、車両周辺に歩行者が存在し、且つ歩行者が存在する状態が所定時間継続した場合、前記運転者が視認していると推定される車外視認対象物として歩行者を特定することを特徴とする請求項１に記載の車両用視線方向検出装置。
【請求項８】
前記静的補正手段又は前記動的補正手段により補正された視線方向と、運転者の眼位置から歩行者までを結ぶ方向との差が所定値以下となる時間の平均を算出する歩行者平均視認時間算出手段と、
前記歩行者平均視認時間算出手段により算出された平均時間から、歩行者を視認しているか否かの基準となる歩行者視認基準時間を算出する歩行者視認基準値算出手段と、
前記動的補正手段により補正された視線方向と、運転者の眼位置から自車両と衝突可能性がある衝突歩行者までを結ぶ方向とが、前記歩行者視認基準値算出手段により算出された歩行者視認基準時間以上にわたって一致しているか否かを判断することで、運転者が前記衝突歩行者を視認しているか否かを判断する視認判断手段と、
前記視認判断手段により運転者が前記歩行者を視認していないと判断された場合に、車両運転者に対して警告を行う警告手段と、
をさらに備えることを特徴とする請求項７に記載の車両用視線方向検出装置。
【請求項９】
前記障害物検出手段により検出された障害物のうち、実空間上で静止している車外静止物を特定する車外静止物特定手段と、
前記静的補正手段又は前記動的補正手段により補正された視線方向と、運転者の眼位置から前記車外静止物特定手段により特定された前記車外静止物までを結ぶ方向との差が所定値以下となる時間の平均を算出する静止物平均視認時間算出手段と、
前記静止物平均視認時間算出手段により算出された平均時間から、静止物を視認しているか否かの基準となる静止物視認基準時間を算出する静止物視認基準値算出手段と、
前記視認判断手段は、前記静止物視認基準値算出手段により算出された静止物視認基準時間に基づいて、運転者が前記車外静止物を視認しているか否かを判断する
ことを特徴とする請求項８に記載の車両用視線方向検出装置。
【請求項１０】
車両運転者の顔の画像を取得する画像取得ステップと、
前記画像取得ステップにおいて得られた顔の画像から、車両運転者の視線方向を検出する視線検出ステップと、
車内空間において静止している車内の対象物のうち、運転者が視認していると推定される車内視認対象物を特定する車内視認対象物特定ステップと、
前記視線検出ステップにおいて検出された視線方向と、運転者の眼位置から前記車内視認対象物特定ステップにおいて特定された車内視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた静的補正値を求める静的補正値算出ステップと、
前記画像取得ステップ以後に車両運転者の顔の画像を再度取得する画像再取得ステップと、
前記画像再取得ステップにより取得された顔の画像から、車両運転者の視線方向を検出する視線方向再検出ステップと、
前記視線方向再検出ステップにおいて検出された視線方向を前記静的補正値算出ステップにおいて求められた静的補正値に応じて補正する静的補正ステップと、
車両周囲の障害物を検出する障害物検出ステップと、
前記障害物検出ステップにおいて検出された障害物のうち実空間上で移動している移動物であって、運転者が視認していると推定される車外視認対象物を特定する車外視認対象物特定ステップと、
前記静的補正ステップにおいて補正された視線方向と、運転者の眼位置から前記車外視認対象物特定ステップにおいて特定された車外視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた動的補正値を求める動的補正値算出ステップと、
前記画像再取得ステップ以後に車両運転者の顔の画像をさらに取得する画像再々取得ステップと、
前記画像再々取得ステップにおいて取得された顔の画像から、車両運転者の視線方向を検出する視線方向再々検出ステップと、
前記視線方向再々検出ステップにおいて検出された運転者の視線方向を、前記静的補正値算出ステップにおいて求められた静的補正値と、前記動的補正値算出ステップにおいて求められた動的補正値とから補正する動的補正ステップと、
を有することを特徴とする車両用視線方向検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両用視線方向検出装置及び方法に関する。
【背景技術】
【０００２】
従来、人間が見ている方向を検出する装置が種々知られている。その１つとして、カメラのオートフォーカス技術に利用される視線検出機能付光学機器が知られている。この機器では、使用者の視線方向を補正する補正値を工場出荷時に記憶しておき、実際に使用者が使用するときには使用者の使用状況に応じて工場出荷時の補正値を変更するようにしている。これにより、補正値の変更後には使用者ごとに視線方向を精度良く検出することができるようになる（例えば特許文献１参照）。
【０００３】
また、ナビゲーション画面やドアミラーなどの特定の機器操作をするときの頭部位置と眼球向きとを予め記憶し、使用者の使用状況に応じて頭部位置と眼球向きとを補正し、補正された頭部位置と眼球向きとからその使用者の視線方向を精度良く検出する視線方向計測装置が知られている（例えば特許文献２参照）。
【特許文献１】特開平７−１５１９５８号公報
【特許文献２】特開平９−２３８９０５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、一般に人間は移動しているものを見るときと止まっているものを見るときでは、眼球運動は異なる。このような事情から、静止物（カメラのファインダーを除いたときに見える対象や車内機器など）を対象に視線方向を補正しても、動的なもの（先行車両や歩行者など）を認識する必要がある車両運転者の視線方向を正確に検出できない可能性がある。
【課題を解決するための手段】
【０００５】
本発明の車両用視線方向検出装置は、視線検出手段と、車内視認対象物特定手段と、静的補正値算出手段と、静的補正手段と、障害物検出手段と、車外視認対象物特定手段と、動的補正値算出手段と、動的補正手段とを備えている。視線検出手段は車両運転者の顔の画像から運転者の視線方向を検出するものである。車内視認対象物特定手段は、車内空間において静止している車内の対象物のうち、運転者が視認していると推定される車内視認対象物を特定するものである。静的補正値算出手段は、視線検出手段により検出された視線方向と、運転者の眼位置から車内視認対象物特定手段により特定された車内視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた静的補正値を求めるものである。静的補正手段は、静的補正値算出手段により求められた静的補正値に応じて、視線検出手段により検出された視線方向を補正するものである。障害物検出手段は車両周囲の障害物を検出するものである。車外視認対象物特定手段は、障害物検出手段により検出された障害物のうち実空間上で移動している移動物であって、運転者が視認していると推定される車外視認対象物を特定するものである。動的補正値算出手段は、静的補正手段により補正された視線方向と、運転者の眼位置から車外視認対象物特定手段により特定された車外視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた動的補正値を求めるものである。動的補正手段は、静的補正値算出手段により求められた静的補正値と動的補正値算出手段により求められた動的補正値とに応じて、視線検出手段により検出された視線方向を補正するものである。
【発明の効果】
【０００６】
本発明によれば、画像から検出した視線方向と、運転者の眼位置から車内視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた静的補正値を求め、求められた静的補正値に応じて、視線方向を補正することとしている。このため、一度静的補正値を求めることができれば、静的補正値を元に補正を行うことができ、静止した対象物に関しては正確な視線方向を求めることができる。
【０００７】
また、静的補正値によって補正された視線方向と、運転者の眼位置から車外視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた動的補正値を求め、求められた動的補正値と既に求められている静的補正値とによって画像から検出された視線方向を補正することとしている。ここで、動的補正値は、静的な対象から得ることができない動的特有の特徴を含んだ補正値である。例えば、運転者は動いている物体を見ているとき、物体の動きにあわせて黒眼部分を動かすが、その黒眼部分の動きは年齢や運転の熟練度などの種々の要因によって異なってくる。動的補正値は、上記のような動的な対象を見ているときの特有の特徴が含まれた補正値となる。よって、静的補正値に加えて、動的特有の特徴を含んだ動的補正値を用いて、画像から検出された視線方向を補正することで、動的なものを視認している車両運転者の視線方向を正確に検出することができる。
【０００８】
従って、車両運転者の視認対象の検出精度を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の好適な実施形態を図面に基づいて説明する。図１は、本発明の第１実施形態に係る車両用視線方向検出装置の概略を示す構成図である。同図に示すように、車両用視線方向検出装置１は、車両運転者の顔を撮像して、得られた画像から運転者の視線方向を検出するものである。この車両用視線方向検出装置１は、撮像部１０と、演算部２０と、警告部（警告手段）３０と、障害物検出部（障害物検出手段）４０と、車両運動情報取得部５０と、車両周囲環境情報取得部６０とを備えている。
【００１０】
撮像部１０は、着座した運転者の顔を撮像するものであって、運転席前方のインストルメントパネル部分に設けられている。また、撮像部１０は、運転席前方に２つ設けられており、異なった角度から運転者の顔の画像を取得するようになっている。また、図示を省略しているが、撮像部１０の近傍には２つの赤外発光素子が設けられている。この赤外発光素子のうち一方は、１つの撮像部１０の近傍に設けられており、一方の赤外発光素子が点灯している間にその１つの撮像部１０が撮像を行う構成となっている。また、他方の赤外発光素子は、もう１つの撮像部１０の近傍に設けられており、他方の赤外発光素子が点灯している間にそのもう１つの撮像部１０が撮像を行う構成となっている。
【００１１】
演算部２０は、撮像部１０にて撮像された画像データを入力し、運転者の視線方向を求めるものである。また、演算部２０は、工場出荷時などに予め補正値が記憶されており、撮像部１０からの画像データから求められる視線方向を補正値により補正することでより正確な視線方向を求めるようになっている。なお、工場出荷時の補正値は、複数人の被験者を測定したデータから求められる。
【００１２】
さらに、演算部２０は、撮像により得られた画像から、運転者特有の補正値を求めるようになっている。特に、本実施形態において運転者特有の補正値としては、静的補正値及び動的補正値の２つがあり、静的補正値によって静止物を見ている運転者の視線方向を正確に求め、静的補正値及び動的補正値とによって移動している物体を見ている運転者の視線方向を正確に求めるようになっている。
【００１３】
警告部３０は、車両と衝突の可能性がある物体等と運転者の視線方向とが一致せず、運転者がその物体等を視認していないと判断できる場合に、運転者に対して警告を行うものである。この警告部３０は、音声により運転者に注意喚起するものでもよく、画像（ナビゲーション画面やヘッドアップディスプレイ）により運転者に注意喚起するものであってもよい。
【００１４】
障害物検出部４０は、車両周囲の障害物を検出するものである。ここで、障害物としては、先行車両や歩行者など実空間上で移動している移動物（すなわち車両が動いていることにより移動しているように見えるものでなく絶対的に移動しているもの）、及び交通標識や看板など実空間上で静止している静止物（すなわち絶対的に静止しているもの）が含まれる。この障害物検出部４０は、例えばレーザーレーダにより構成され、前方に照射したレーザ光の反射光を受信して、自車両前方にある障害物までの距離及び障害物の幅などから障害物を検出することができるように構成されている。
【００１５】
車両運動情報取得部５０は、車両運動に関する情報、例えば車速情報、（前後や横方向などの）加速度情報、及びハンドルの操舵量などの情報を取得するものである。このため、車両運動情報取得部５０は、車速、加速度及び操舵量などを検出するセンサを含んで構成されることとなる。
【００１６】
車両周囲環境情報取得部６０は、車両周囲の環境の情報、例えば車両が走行している道路の種別情報や形状情報などを取得するものである。この車両周囲環境情報取得部６０は、例えばルームミラーの裏側などに設けられたＣＣＤカメラを含んで構成されている。このため、車両周囲環境情報取得部６０は、ＣＣＤカメラで捉えた自車両前方の撮像画像から道路の種別情報や形状情報などを取得できるように構成されている。
【００１７】
ここで、車両用視線方向検出装置１の構成をさらに詳細について説明する。図２は、第１実施形態に係る車両用視線方向検出装置の詳細を示す構成図である。同図に示すように、車両用視線方向検出装置１は、撮像部１０、演算部２０、警告部３０、障害物検出部４０、車両運動情報取得部５０、及び車両周囲環境情報取得部６０に加えて、さらに運転者動作検出部７０を備えている。
【００１８】
運転者動作検出部７０は、運転席に着座する運転者の動作を検出するものであり、本実施形態において運転者動作検出部７０は、運転者がエアコンやオーディオ機器などの車内機器、及びドアミラーの角度調整スイッチなどを操作したか否かを検出する構成となっている。すなわち、運転者動作検出部７０は、車内機器等のスイッチが操作されたか否かを監視する構成となっている。
【００１９】
また、上記した演算部２０は、視線検出部（視線検出手段）２１と、車内視認対象特定部（車内視認対象特定手段）２２と、補正値算出部２３と、補正値記憶部２４と、補正部２５と、車外視認対象特定部（車外視認対象特定手段）２６と、視認判断部（視認判断手段）２７とを備えている。
【００２０】
視線検出部２１は、撮像部１０により撮像された運転者の顔の画像を処理して、運転者の視線方向を検出するものである。具体的に視線検出部２１は、運転者の顔画像から、運転者の角膜球中心位置（眼位置）を検出すると共に、運転者の瞳孔中心位置（黒眼位置）を検出する構成となっている。また、視線検出部２１は、角膜球中心位置と瞳孔中心位置とから眼に対する黒眼の回転角を求め、この回転角から運転者の視線方向を検出する構成となっている。
【００２１】
車内視認対象特定部２２は、車内空間において静止している車内の対象物のうち、運転者が視認していると推定される車内視認対象物を特定するものである。詳細に車内視認対象特定部２２は、運転者動作検出部７０に接続されており、運転者がスイッチ操作したか否かの情報を入力する構成となっている。また、車内視認対象特定部２２は、運転者によるスイッチ操作の情報を入力した場合、スイッチ操作された車内機器を運転者が視認していると判断し、その車内機器を上記車内視認対象物として特定する構成となっている。
【００２２】
補正値算出部２３は、視線検出部２１により検出された視線方向を補正して正確な視線方向を求めるための補正値を算出するものであり、静的補正値算出部（静的補正値算出手段）２３ａを有している。静的補正値算出部２３ａは、視線検出部２１により検出された視線方向と、運転者の眼位置から車内視認対象特定部２２により検出された車内視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた静的補正値を求めるものである。ここで、車内視認対象物である車内機器の操作中において運転者は車内機器を見ていることから、正しい視線方向は眼位置から車内視認対象物までを結ぶ方向である。このため、静的補正値算出部２３ａは、視線検出部２１により検出された方向と、上記結ぶ方向とが相違する場合、その相違分を静的補正値として求めるようになっている。
【００２３】
補正値記憶部２４は、視線検出部２１により検出された視線方向を補正して正確な視線方向を求めるための補正値を記憶しておくものである。この補正値記憶部２４は、工場出荷時等に予め一般的な補正値が記憶されている。また、補正値記憶部２４は、静的補正値記憶部２４ａを有しており、静的補正値算出部２３ａにより算出された静的補正値を記憶しておく構成となっている。
【００２４】
補正部２５は、補正値記憶部２４に記憶される補正値に従って、視線検出部２１により検出された視線方向を補正するものである。この補正部２５は、視線検出部２１により初期的に検出された視線方向を、補正値記憶部２４に記憶される工場出荷時等の補正値により補正するようになっている。また、補正部２５は、静的補正部２５ａを有しており、静的補正値が一度求められた後には、静的補正値記憶部２４ａに記憶される静的補正値に応じて、視線検出部２１により検出された視線方向を補正するようになっている。
【００２５】
車外視認対象特定部２６は、障害物検出部４０により検出された障害物のうち、実空間上で移動している移動物であって、運転者が視認していると推定される車外の視認対象物を特定するものである。すなわち、車外視認対象特定部２６は、障害物検出部４０により検出された障害物のうち先行車両や歩行者などの移動物から、運転者が視認していると推定されるものを特定する構成となっており、標識や看板などの静止物を特定しない構成となっている。また、車外視認対象特定部２６は、車両周囲環境情報取得部６０や運転者動作検出部７０からの情報に基づいて車外視認対象物を特定するようになっている。例えば、運転者が急ブレーキをした場合など、運転者は自車両前方の移動物を視認している可能性が高い。このような場合、車外視認対象特定部２６は、自車両前方の移動物を車外視認対象物として特定するようになっている。
【００２６】
また、上記した補正値算出部２３は動的補正値算出部（動的補正値算出手段）２３ｂを有し、補正値記憶部２４は動的補正値記憶部２４ｂを有し、補正部２５は動的補正部（動的補正手段）２５ｂを有している。
【００２７】
動的補正値算出部２３ｂは、静的補正部２５ａにより補正された視線方向と、運転者の眼位置から車外視認対象特定部２６により特定された車外視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた動的補正値を求めるものである。ここで、動的補正値とは、静的な対象から得ることができない動的特有の特徴を含んだ補正値である。例えば、運転者は動いている物体を見ているとき、物体の動きにあわせて黒眼部分を動かすが、その黒眼部分の動きは年齢や運転の熟練度などの種々の要因によって異なってくる。このため、動的補正値算出部２３ｂは、このような動的特有の特徴を含んだ動的補正値を求めることとなる。
【００２８】
動的補正値記憶部２４ｂは、動的補正値算出部２３ｂにより算出された動的補正値を記憶しておくものである。動的補正部２５ｂは、動的補正値が一度求められた後、静的補正値記憶部２４ａに記憶される静的補正値と動的補正値記憶部２４ｂにより記憶される動的補正値とに応じて、視線検出部２１により検出された視線方向を補正するようになっている。
【００２９】
また、視認判断部２７は、動的補正部２５ｂにより補正された視線方向と、運転者の眼位置から自車両と衝突可能性がある衝突物体までを結ぶ方向とが一致しているか否かを判断することで、運転者が衝突物体を視認しているか否かを判断するものである。また、視認判断部２７は、運転者が衝突物体を視認していないと判断した場合、その旨の情報を警告部３０に送信するようになっている。このため、警告部３０は、視認判断部２７により運転者が衝突物体を視認していないと判断された場合に、車両運転者に対して警告を行うこととなる。
【００３０】
次に、本実施形態に係る車両用視線方向検出方法を図１及び図２を参照して説明する。まず、撮像部１０は車両運転者の顔の画像を取得する（画像取得ステップ）。次に、視線検出部２１は、取得した顔の画像から、車両運転者の視線方向を検出する（視線検出ステップ）。このとき、視線検出部２１は、眼位置と黒眼位置とから眼に対する黒眼の回転角を求め、この回転角から運転者の視線方向を検出する。
【００３１】
次いで、車内視認対象特定部２２は、車内空間において静止している車内の対象物のうち、運転者が視認していると推定される車内視認対象物を特定する（車内視認対象物特定ステップ）。このとき、車内視認対象特定部２２は、運転者によるスイッチ操作がされた場合に、スイッチ操作された車内機器を車内視認対象物として特定する。そして、静的補正値算出部２３ａは、上記の如く検出した視線方向と、運転者の眼位置から車内視認対象物までを結ぶ方向とが相違するか否かを判断し、相違する場合、その相違分に応じた静的補正値を求める（静的補正値算出ステップ）。
【００３２】
その後、撮像部１０は、車両運転者の顔の画像を再度取得する（画像再取得ステップ）。次に、視線検出部２１は取得した顔の画像から視線方向を求める（視線方向再検出ステップ）。次いで、静的補正部２５ａは視線検出部２１により求められた視線方向を静的補正値を用いて補正する（静的補正ステップ）。これにより、静的な対象については正確な視線方向を検出することができることとなる。
【００３３】
また、この一方で、障害物検出部４０は車両周囲の障害物を検出する（障害物検出ステップ）。次に、車外視認対象特定部２６は、検出した障害物のうち実空間上で移動している移動物であって、運転者が視認していると推定される車外視認対象物を特定する（車外視認対象物特定ステップ）。このとき、車外視認対象特定部２６は、例えば運転者が急ブレーキをして自車両前方の移動物を視認している可能性が高い場合などに、その移動物を車外視認対象物とする。
【００３４】
そして、動的補正値算出部２３ｂは、静的補正値を用いて補正された視線方向と、運転者の眼位置から車外視認対象物までを結ぶ方向とが相違するか否かを判断し、相違する場合、その相違分に応じた動的補正値を求める（動的補正値算出ステップ）。
【００３５】
次に、撮像部１０は、車両運転者の顔の画像をさらに取得する（画像再々取得ステップ）。次いで、視線検出部２１は、取得した顔の画像から、車両運転者の視線方向を検出する（視線方向再々検出ステップ）。
【００３６】
そして、動的補正部２５ｂは、検出した運転者の視線方向を、静的補正値と動的補正値とから補正する（動的補正ステップ）。ここで、動的補正値は、静的な対象から得ることができない動的特有の特徴を含んだ補正値である。このため、車両用視線方向検出装置１は、動的特有の特徴を含んだ動的補正値を用いて補正することで、動的なものを視認している車両運転者の視線方向を正確に検出することができることとなる。
【００３７】
次に、本実施形態に係る車両用視線方向検出装置１の詳細動作を説明する。図３は、第１実施形態に係る車両用視線方向検出装置１の動作を示すフローチャートである。なお、図３に示す処理は、車両のイグニッションキーがオフされるなど、車両用視線方向検出装置１の電源がオフされるまで繰り返されるものとする。
【００３８】
同図に示すように、車両用視線方向検出装置１は、まず、赤外発光素子を発光させ（ＳＴ１）、撮像部１０にて撮像を行う。そして、演算部２０は、撮影角度が異なる２枚の画像データを読み込む（ＳＴ２）。次いで、車両用視線方向検出装置１は、赤外発光素子を消光させる（ＳＴ３）。
【００３９】
次に、演算部２０は、初期検出モードであるか否かを判断する（ＳＴ４）。ここで、演算部２０は、例えばイグニッションキーをオンしてから所定時間（例えば１０秒）以内である場合、又は予め設けられた初期検出モードスイッチがオンされている場合に、初期検出モードであると判断する（ＳＴ４：ＹＥＳ）。
【００４０】
そして、視線検出部２１は視線方向を求め、静的補正値算出部２３ａは静的補正値を算出する（ＳＴ５）。このとき、視線検出部２１は運転者の顔の画像から得られた眼位置と黒眼位置とから視線方向を求め、静的補正値算出部２３ａは、その方向と、眼位置から車内視認対象物までを結ぶ方向とを比較することで静的補正値を求める。次に、静的補正値記憶部２４ａは、静的補正値を記憶し、図３に示す処理は終了する。
【００４１】
ところで、演算部２０は、イグニッションキーをオンしてから所定時間を超えた場合、且つ初期検出モードスイッチがオンされていない場合には、初期検出モードでないと判断する（ＳＴ４：ＮＯ）。そして、演算部２０は、ステップＳＴ６において記憶した静的補正値と、後述のステップＳＴ１１において記憶される動的補正値とを用いて運転者の視線方向を検出する（ＳＴ７）。
【００４２】
次に、演算部２０は、動作モードを判定する（ＳＴ８）。この処理において演算部２０は、危急モードであるか通常モードであるかを判定する。ここで、危急モードとは、自車両の衝突の可能性が高いと判断されたときのモードであり、通常モードとは、自車両の衝突の可能性が低いと判断されたときのモードである。このため、演算部２０は、衝突の可能性を求めてモード判定することとなる。
【００４３】
具体的に演算部２０は、障害物検出部４０からの情報と、車両運動情報取得部５０からの情報と入力し、
【数１】
2006263334.tif 000003
なる関係式を用いて衝突の可能性を求める。ここで、Ｌｏは自車両から障害物までの距離であり、Ｖｒは障害物に対する自車両の相対速度である。演算部２０は、ＴＴＣが規定値Ｔｏ（例えば２秒）より小さく、自車速度Ｖｍが規定値Ｖｏ（例えば２０ｋｍ／ｈ）よりも小さい場合、衝突の可能性が高いと判断し、危急モードと判定する。
【００４４】
次いで、演算部２０は、ステップＳＴ８において判定されたモードが危急モードであったか否かを判断する（ＳＴ９）。ステップＳＴ８において判定されたモードが危急モードでなかった場合（ＳＴ９：ＮＯ）、演算部２０は、動的補正値を算出可能か否かを判断する（ＳＴ１０）。動的補正値を算出できないと判断した場合（ＳＴ１０：ＮＯ）、図３に示す処理は終了する。
【００４５】
他方、動的補正値を算出できると判断した場合（ＳＴ１０：ＹＥＳ）、動的補正値算出部２３ｂは動的補正値を求め、動的補正値記憶部２４ｂは求められた動的補正値を記憶する（ＳＴ１１）。そして、図３に示す処理は終了する。
【００４６】
また、ステップＳＴ８において判定されたモードが危急モードであった場合（ＳＴ９：ＹＥＳ）、視認判断部２７は、自車両と衝突の可能性がある衝突物体を運転者が視認しているか否かを判断する（ＳＴ１２）。このとき、視認判断部２７は、ステップＳＴ７において得られた視線方向（すなわち静的補正値と動的補正値とによって補正された視線方向）と、運転者の眼位置から障害物検出部４０により検出された衝突物体までを結ぶ方向とが一致するか否かを判断する。そして、視認判断部２７は、上記両方向が一致する場合、衝突物体を運転者が視認していると判断する（ＳＴ１２：ＹＥＳ）。その後、図３に示す処理は終了する。
【００４７】
一方、上記両方向が一致しない場合、視認判断部２７は運転者が衝突物体を視認していないと判断する（ＳＴ１２：ＮＯ）。そして、視認判断部２７はその旨の情報を警告部３０に送信する。これにより、警告部３０は運転者に対して警告を行うこととなり（ＳＴ１３）、その後、図３に示す処理は終了する。
【００４８】
図４は、図３に示したステップＳＴ５の詳細を示すフローチャートである。同図に示すように、まず、視線検出部２１は、ステップＳＴ２において得られた画像から、運転者の角膜中心位置Ｐｅｙｅ（眼位置）を求める（ＳＴ２１）。このとき、視線検出部２１は、図５に示すようにして角膜中心位置Ｐｅｙｅを把握する。
【００４９】
図５は、図４に示したステップＳＴ２１の詳細を示す説明図である。同図に示すように、視線検出部２１は、２つの撮像部１０の中点位置を原点とする３次元座標系において、角膜球中心位置Ｐｅｙｅを把握する。また、本実施形態において視線検出部２１は、運転者の左右眼球のうち、光環境が比較的安定している自動車室内中心側の眼球から、角膜球中心位置Ｐｅｙｅを求める。
【００５０】
なお、視線検出部２１は、３次元座標系において角膜球中心位置Ｐｅｙｅを把握する場合、図６に示す処理を行う。図６は、角膜球中心位置Ｐｅｙｅを求める際の詳細を示す説明図であり、（ａ）は一方の撮像部１０にて撮像された画像を示し、（ｂ）は他方の撮像部１０にて撮像された画像を示し、（ｃ）は視線検出部２１が角膜球中心位置Ｐｅｙｅを３次元で把握する際の様子を示している。
【００５１】
まず、視線検出部２１は、図６（ａ）及び（ｂ）に示すような撮像画像それぞれから眼の特徴を捉えて、２次元上で角膜球位置を求める。次に、視線検出部２１は、撮像画像を得た側の撮像部１０の位置を仮想カメラ位置とし、２次元上で仮想カメラ位置から角膜球位置に至る直線を、それぞれの撮像画像について求める。そして、視線検出部２１は、図６（ｃ）に示すように、求めた２本の直線を３次元上で把握し、２本の直線の交点を角膜球中心位置Ｐｅｙｅとする。なお、角膜球中心位置Ｐｅｙｅの算出について詳細は、特開平９−２３８９０５号公報などに記載されているため、説明を省略する。
【００５２】
再度、図４を参照する。上記のようにして角膜球中心位置Ｐｅｙｅを求めた後、視線検出部２１は、瞳孔中心位置Ｐｐｍｐ（黒眼位置）を求める（ＳＴ２２）。このとき、視線検出部２１は、瞳孔の外周エッジを検出して円形近似し、円の中心を瞳孔中心位置Ｐｐｍｐとする。
【００５３】
そして、視線検出部２１と補正部２５とは、協働して視線方向を演算する（ＳＴ２３）。このとき、視線検出部２１は、角膜球中心位置Ｐｅｙｅと瞳孔中心位置Ｐｐｍｐとから、眼に対する瞳孔の回転角ｅｙｅ１を求める。すなわち、視線検出部２１は、
【数２】
2006263334.tif 000004
なる関係式から眼に対する瞳孔の回転角θｅｙｅ１を求める。ここで、Ｌ１は、角膜球中心から瞳孔中心までの標準的な距離であって、予め定められた値である。また、Ｐｅｙｅ１は一方の撮像画像から得られた角膜球中心位置であり、｜ＰｐｕｐＰｅｙｅ１｜は、角膜反射像中心位置Ｐｅｙｅ１から瞳孔中心位置Ｐｐｕｐに向かうベクトルの大きさを示している。さらに、ｆｓｃａｌｅは、眼球画像を撮像するカメラのレンズ系と角膜球中心位置Ｐｅｙｅ１との位置関係によって決まる補正係数（光学的な倍率に相当）である。また、αｅｙｅは、Ｌ１に関して個人差を補正するための補正係数であり、αｅｙｅには工場出荷時の補正値αｅｙｅ０が代入される。
【００５４】
次に、補正部２５は、瞳孔の回転角θｅｙｅ１を補正して補正後の回転角θｅｙｅを得る。具体的に、補正部２５は、
【数３】
2006263334.tif 000005
なる関係式を実行する。ここで、θｏは、θｅｙｅ１の角度補正項（既定値）であり、βｅｙｅ（Ｐｅｙｅ）は補正係数であって、βｅｙｅ（Ｐｅｙｅ）には工場出荷時の補正値βｅｙｅ０（Ｐｅｙｅ）が代入される。補正部２５は、上記式（３）から工場出荷時の補正値によって補正された回転角θｅｙｅを得ることとなる。
【００５５】
そして、補正部２５は、回転角θｅｙｅを得た後、回転角θｅｙｅを図３に示した３次元座標系に変換し、視線方向を得る。このとき、補正部２５は、視線方向を、水平方向Φｌｖと垂直方向ξｌｖとに分けて把握する。このように、図４のステップＳＴ２３では、眼に対する瞳孔の回転角ｅｙｅ１を求め、その回転角を補正し、補正した回転角を３次元座標系に置き換えて、水平方向Φｌｖと垂直方向ξｌｖとからなる視線方向を取得することとなる。
【００５６】
以上のように視線方向が取得された後、運転者動作検出部７０は、既定の操作スイッチがオンされたか否かを判断する（ＳＴ２４）。ここで、既定の操作スイッチがオンされていないと判断した場合（ＳＴ２４：ＮＯ）、図４に示す処理は終了し、図３のステップＳＴ６に移行する。他方、既定の操作スイッチがオンされたと判断した場合（ＳＴ２４：ＹＥＳ）、車内視認対象特定部２２は操作されたスイッチを車内視認対象物と特定する。そして、静的補正値算出部２３ａは、角膜球中心位置Ｐｅｙｅからスイッチ位置Ｐｓｗ（ｉ）へ向かう方向（Φｓｗ，ξｓｗ）を求める（ＳＴ２５）。
【００５７】
その後、静的補正値算出部２３ａは、ステップＳＴ２３において求めた視線方向（Φｌｖ，ξｌｖ）と、ステップＳＴ２５において求めた方向（Φｓｗ，ξｓｗ）との差が規定値（例えば１０％）以内か否かを判断する（ＳＴ２６）。そして、両方向の差が規定値以内でないと判断した場合（ＳＴ２６：ＮＯ）、静的補正値算出部２３ａは、車両運転者がスイッチを見ることなく操作していると考えられるため、静的補正値を取得しない。そして、図４に示す処理は終了し、図３のステップＳＴ６に移行する。
【００５８】
また、両方向の差が規定値以内であると判断した場合（ＳＴ２６：ＹＥＳ）、運転者はスイッチを見ながら操作していると仮定できる。このため、静的補正値算出部２３ａは、ステップＳＴ２３において求めた視線方向（Φｌｖ，ξｌｖ）をステップＳＴ２５において求めた方向（Φｓｗ，ξｓｗ）に一致させるべく、両方向の差を静的補正値Δαｅｙｅ，Δβｅｙｅとして求める（ＳＴ２７）。次いで、静的補正値記憶部２４ａは求めた静的補正値Δαｅｙｅ，Δβｅｙｅを記憶する。
【００５９】
次に、演算部２０は、最初に操作スイッチがオンされてから規定時間経過したか否かを判断する（ＳＴ２８）。ここで、規定時間経過していないと判断した場合（ＳＴ２８：ＮＯ）、図４に示す処理は終了し、図３のステップＳＴ６に移行する。一方、規定時間経過したと判断した場合（ＳＴ２８：ＹＥＳ）、静的補正値算出部２３ａは、規定時間中に得られた複数の静的補正値Δαｅｙｅ，Δβｅｙｅを平均化し、平均化された静的補正値Δαｅｙｅ，Δβｅｙｅを静的補正値記憶部２４ａに記憶させる（ＳＴ２９）。ここで、記憶された静的補正値が今後の視線方向の補正に用いられることとなる。
【００６０】
なお、図３のステップＳＴ４を参照して説明したように、図４に示すフローチャートは、イグニッションスイッチをオンしてから所定時間（例えば１０秒）以内である場合に限らず、予め設けられた初期検出モードスイッチがオンされた場合にも実行される。このため、図４のステップＳＴ２３について、既に静的補正値が得られている場合がある。この場合、式（２）のαｅｙｅ及び式（３）のβｅｙｅ（Ｐｅｙｅ）には静的補正値を反映した値が代入されることとなる。
【００６１】
図７は、図３に示したステップＳＴ７の詳細を示すフローチャートである。同図に示すように、視線方向を検出する場合、演算部２０は、図４に示したステップＳＴ２１〜ＳＴ２３に示す処理と同様の処理を実行する。すなわち、視線検出部２１は、運転者の角膜中心位置Ｐｅｙｅ（眼位置）を求め（ＳＴ３１）、瞳孔中心位置Ｐｐｍｐ（黒眼位置）を求める（ＳＴ３２）。その後、視線検出部２１及び補正部２５は、上記した式（２）及び式（３）を用いて視線方向を演算する（ＳＴ３３）。
【００６２】
ここで、補正部２５は、上記式（２）のαｅｙｅを、
【数４】
2006263334.tif 000006
なる関係式から求める。ここで、αｅｙｅ０は上記したように工場出荷時の補正値であり、Δαｅｙｅは静的補正値である。
【００６３】
また、補正部２５は、上記式（３）のβｅｙｅ（Ｐｅｙｅ）を、
【数５】
2006263334.tif 000007
なる関係式から求める。ここで、βｅｙｅ０（Ｐｅｙｅ）は上記したように工場出荷時の補正値であり、Δβｅｙｅは静的補正値である。また、βｅｙｅ＿ｋは、図３のステップＳＴ１１において求められる動的補正値である。
【００６４】
このように、演算部２０は、静的補正値及び動的補正値を用いて視線方向を求めることとなる。特に、動的補正値は、静的な対象から得ることができない動的特有の特徴を含んだ補正値であるため、上記式（３）において用いられるβｅｙｅ（Ｐｅｙｅ）は、車両という環境において視線方向を求めるのに、適切な値となる。なお、動的補正値βｅｙｅ＿ｋが得られていない場合には、式（５）のβｅｙｅ＿ｋには「０」が代入される。
【００６５】
図８は、図３に示したステップＳＴ１０の詳細を示すフローチャートである。動的補正値を取得可能か否かは図８に示すようにして判断される。まず、演算部２０は、障害物検出部４０からの信号により先行車両が存在するか否かを判断し、先行車両が存在する場合に、自車両が既定時間以上連続して先行車両に追従走行しているか否かを判断する（ＳＴ４１）。
【００６６】
ここで、自車両が既定時間以上連続して先行車両に追従走行していないと判断した場合（ＳＴ４１：ＮＯ）、演算部２０は、車速、先行車両位置（自車両との車間距離、自車両との横方向の差）、アクセルペダルの操作量、角膜球中心位置Ｐｅｙｅ、視線方向（Φｌｖ、ξｌｖ）を、走行道路の情報とともにバッファに記憶する（ＳＴ４２）。そして、演算部２０は、動的補正値を取得できないと判断する（ＳＴ４３）。これにより、演算部２０は図３のステップＳＴ１０において「ＮＯ」と判断することとなる。
【００６７】
一方、自車両が既定時間以上連続して先行車両に追従走行していると判断した場合（ＳＴ４１：ＹＥＳ）、演算部２０は、取得したデータが単路且つ直進走行時のものであるか否かを判断する（ＳＴ４４）。ここで、取得したデータとはステップＳＴ４２において得られたデータである。また、ステップＳＴ４４において直進走行とは、完全な直進でなくともよく、曲率が小さいカーブ区間を走行したり、右折や左折を行わなかったたりすることをいう。
【００６８】
取得したデータが単路且つ直進走行時のものでないと判断した場合（ＳＴ４４：ＮＯ）、演算部２０はバッファの記憶内容をリセットし（ＳＴ４５）、動的補正値を取得できないと判断する（ＳＴ４３）。これにより、演算部２０は図３のステップＳＴ１０において「ＮＯ」と判断することとなる。
【００６９】
また、取得したデータが単路且つ直進走行時のものであると判断した場合（ＳＴ４４：ＹＥＳ）、演算部２０は自車両から先行車両までの車間距離と運転者による車両のペダル操作量とに所定の相関があるがあるか否かを判断する（ＳＴ４６）。具体的に説明すると、演算部２０は、既定時間内に得られた車間距離の時間変化を表す式Ｌｖ（ｔ）と、運転者によるアクセルペダルの操作量の時間変化を表す式Ｓａ（ｔ）とについて相互相関係数を求める。このとき、演算部２０は、
【数６】
2006263334.tif 000008
なる演算式から相互相関係数を求める。ここでＴはバッファの記憶時間であり、ステップＳＴ４１の既定時間に相当する。そして、演算部２０は、求めた相関相互係数が規定値以上であるか否かを判断し、規定値以上である場合にステップＳＴ４６の所定の相関があると判断する。
【００７０】
車間距離とペダル操作量とに所定の相関があると判断した場合（ＳＴ４６：ＹＥＳ）、演算部２０は、動的補正値を取得できると判断する（ＳＴ４７）。これにより、演算部２０は図３のステップＳＴ１０において「ＹＥＳ」と判断することとなる。一方、車間距離とペダル操作量とに所定の相関がないと判断した場合（ＳＴ４６：ＮＯ）、演算部２０はバッファの記憶内容をリセットし（ＳＴ４５）、動的補正値を取得できないと判断する（ＳＴ４３）。これにより、演算部２０は図３のステップＳＴ１０において「ＮＯ」と判断することとなる。
【００７１】
ここで、ステップＳＴ４６について補足説明する。一般に運転者が先行車両を視認しているとき、運転者は先行車両との車間距離が保たれるようにペダルを操作する。このため、車間距離をペダル操作量とに相関がある場合、運転者が先行車両を視認していると推定できる。また、動的補正値を算出するためには、運転者が何らかの移動体を視認している必要がある。よって、車間距離をペダル操作量とに所定の相関がある場合は、動的補正値の算出条件が整っていると言え、演算部２０は、ステップＳＴ４７において動的補正値を取得できると判断している。なお、所定の相関についてさらに説明すると、所定の相関とは、車間距離が保たれるようにペダル操作されていることを相関をいい、車間距離が小さくなるに従って、アクセルペダルの踏み込み量が小さく又はブレーキの踏み込み量が大きくなり、車間距離が大きくなるに従って、アクセルペダルの踏み込み量が大きくなる相関をいう。
【００７２】
図９は、図３に示したステップＳＴ１１の詳細を示すフローチャートである。動的補正値は図９に示すようにして求められる。まず、車外視認対象特定部２６は、運転者が視認していると推定される車外視認対象物として先行車両を特定し、動的補正値算出部２３ｂは、自車両が追従している先行車両の位置を３次元座標系において把握し、角膜球中心位置Ｐｅｙｅから先行車両位置Ｐｏｂへの方向（Φｏｂ，ξｏｂ）を求める（ＳＴ５１）。
【００７３】
次に、動的補正値算出部２３ｂは、図３のステップＳＴ７において求められた視線方向（Φｌｖ，ξｌｖ）と、ステップＳＴ５１において求めた方向（Φｏｂ，ξｏｂ）との差を視線偏差（Φｌｖ（ｔ），ξｌｖ（ｔ））として求める（ＳＴ５２）。次に、動的補正値算出部２３ｂは、視線偏差（Φｌｖ（ｔ），ξｌｖ（ｔ））と頭部位置Ｐｈｅａｄの角度時間変化Φｈｅａｄ（ｔ），ξｈｅａｄ（ｔ）の規格化相互相関係数を算出する（ＳＴ５３）。すなわち、動的補正値算出部２３ｂは、
【数７】
2006263334.tif 000009
【数８】
2006263334.tif 000010
なる２つの関係式から規格化相互相関係数を演算する。
【００７４】
次いで、動的補正値算出部２３ｂは、時間Ｔの間の車速から、自車両の平均車速Ｖｍを求める（ＳＴ５４）。そして、動的補正値算出部２３ｂは、式（７）及び式（８）から得られたＲｌｖｈ＿ｘ，Ｒｌｖｈ＿ｙとＶｍとを対応づけて動的補正値記憶部２４ｂに記憶させる。次に、動的補正値算出部２３ｂは、記憶されているＲｌｖｈ＿ｘ，Ｒｌｖｈ＿ｙ，Ｖｍの組み合わせデータを回帰処理して、車速毎の視線補正係数Ｒｌｖｈ＿ｘ（Ｖｍ），Ｒｌｖｈ＿ｙ（Ｖｍ）を求める（ＳＴ５５）。
【００７５】
その後、動的補正値算出部２３ｂは、動的補正値βｅｙｅ＿ｋを求める（ＳＴ５６）。このとき、動的補正値算出部２３ｂは、
【数９】
2006263334.tif 000011
【数１０】
2006263334.tif 000012
なる２つの関係式を実行する。ここで、Φ［φｅｙｅ（ｔ）］及びΦ［ξｅｙｅ（ｔ）］は、時刻ｔにおける既定時間内のφｅｙｅ、ξｅｙｅの自己相関係数であり、Ｋｘ及びＫｙは、角膜球中心位置Ｐｅｙｅと３次元座標系の原点とを結ぶ直線の回転運動と角膜球の回転運動との大きさの比から定まる補正係数（規定値）である。
【００７６】
そして、上記式（９）及び式（１０）にて得られたβｅｙｅ＿ｋ＿ｘ及びβｅｙｅ＿ｋ＿ｙが図３に示したステップＳＴ７において用いられて、正確な視線方向が検出されることとなる。なお、図９に示すように、視線補正係数を車速毎に求めるということは、式（９）及び式（１０）に示す動的補正値についても車速毎に求められることとなる。すなわち、本実施形態に係る車両用視線方向検出装置１は、動的補正値を用いて運転者が移動物を視認しているときの視線方向を精度良く求め、しかも動的補正値を車速毎に求めることで自車両の車速毎に一層適切に視線方向を求めることができる。
【００７７】
図１０は、図９に示したステップＳＴ５５にて求められる視線補正係数と車速との相関を示す説明図である。同図に示すように、視線補正係数は車速が小さい場合に値が大きく、車速が大きくなるに従って値が小さくなる傾向にある。この傾向について説明する。車速が高い場合、例えば高速道路を走行している場合など、運転者は車間距離を大きくする傾向にある。このため、高速走行時において運転者は遠方を視認していることが多い。そして、遠方の移動物は近くに存在する対象物よりも、運転者からの見かけの移動量が小さい。ここで、見かけの移動量が小さい対象物を見ている場合、運転者にとっては、移動物を視認しているが、状況としては静止物を見ているときに近くなる。従って、視線補正係数は、高速走行時に小さくなる傾向にある。
【００７８】
このようにして、本実施形態に係る車両用視線方向検出装置１及び方法によれば、画像から検出した視線方向と、運転者の眼位置から車内視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた静的補正値を求め、求められた静的補正値に応じて、視線方向を補正することとしている。このため、一度静的補正値を求めることができれば、静的補正値を元に補正を行うことができ、静止した対象物に関しては正確な視線方向を求めることができる。
【００７９】
また、静的補正値によって補正された視線方向と、運転者の眼位置から車外視認対象物までを結ぶ方向とが相違する場合、その相違分に応じた動的補正値を求め、求められた動的補正値と既に求められている静的補正値とによって画像から検出された視線方向を補正することとしている。ここで、動的補正値は、静的な対象から得ることができない動的特有の特徴を含んだ補正値である。例えば、運転者は動いている物体を見ているとき、物体の動きにあわせて黒眼部分を動かすが、その黒眼部分の動きは年齢や運転の熟練度などの種々の要因によって異なってくる。動的補正値は、上記のような動的な対象を見ているときの特有の特徴が含まれた補正値となる。よって、静的補正値に加えて、動的特有の特徴を含んだ動的補正値を用いて、画像から検出された視線方向を補正することで、動的なものを視認している車両運転者の視線方向を正確に検出することができる。
【００８０】
従って、車両運転者の視認対象の検出精度を向上させることができる。
【００８１】
また、動的補正値を用いて補正された視線方向と、運転者の眼位置から衝突物体への方向とが一致しているか否かを判断して運転者が衝突物体を視認しているか否かを判断するようにしている。このため、動的補正値により正確に検出された視線方向をもとに、衝突物体を視認しているか否かを判断することとなり、視認しているか否かの判断を精度良く行うことができる。また、運転者が物体を視認していないと判断された場合に、車両運転者に対して警告を行うこととしているので、視認しているか否かの判断を精度良く判断したうえで、警告を行うこととなり、精度の良い注意喚起を行うことができる。
【００８２】
また、先行車両が存在し、車間距離と運転者によるペダル操作量とに所定の相関があるときに、運転者が視認していると推定される車外視認対象物として先行車両を特定することとしている。ここで、運転者が先行車両を視認してるとき、一般的に運転者は先行車両との車間距離が保たれるようにペダルを操作する。このため、車間距離をペダル操作量とに相関がある場合、運転者が先行車両を視認していると推定でき、車外視認対象物として特定することに適しているといえる。従って、運転者が視認していると推定される車外視認対象物を正確に特定することができる。
【００８３】
自車両の平均車速毎に動的補正値を求めることとしているため、運転者の視線方向を車両の車速毎に適切に補正することができる。ここで、車速が高いと動的補正値も小さくなる傾向にある。このため、車速毎に動的補正値を求めることで、車両運転者の視認対象の検出精度を一層向上させることができる。
【００８４】
次に、本発明の第２実施形態を説明する。第２実施形態に係る車両用視線方向検出装置２は、第１実施形態のものと同様であるが、図３のステップＳＴ１０，ＳＴ１１の処理内容が第１実施形態と異なっている。以下、第１実施形態との相違点を説明する。
【００８５】
まず、運転者は、漫然としている状態から脱却するときに黒眼部分に揺らぎ（以下サッカードと称する）が発生する傾向がある。すなわち、黒眼部分に揺らぎが発生した場合とは、運転者が漫然としておらず何らかの対象を視認している状態と言える。特に、先行車両が存在している場合、黒眼部分に揺らぎが発生すれば運転者は先行車両を視認していると言える。第２実施形態では、この考えに基づいて動的補正値を求めることができるか否かを判断するようにしている。
【００８６】
図１１は、第２実施形態に係る図３に示したステップＳＴ１０の詳細を示すフローチャートである。同図に示すように、演算部２０は、先行車両が存在するか否かを判断する（ＳＴ６１）。ここで、先行車両が存在しないと判断した場合（ＳＴ６１：ＮＯ）、演算部２０はサッカードフラグをオフし（ＳＴ６２）、動的補正値を取得できないと判断する（ＳＴ６３）。その後、処理は終了することとなる。
【００８７】
他方、先行車両が存在すると判断した場合（ＳＴ６１：ＹＥＳ）、演算部２０は、サッカードフラグがオンであるか否かを判断する（ＳＴ６４）。サッカードフラグがオンでないと判断した場合（ＳＴ６４：ＮＯ）、演算部２０は、サッカードが発生したか否かを判断する（ＳＴ６５）。そして、サッカードが発生していないと判断した場合（ＳＴ６５：ＮＯ）、演算部２０は、動的補正値を取得できないと判断する（ＳＴ６３）。その後、処理は終了することとなる。一方、サッカードが発生したと判断した場合（ＳＴ６５：ＹＥＳ）、演算部２０は、サッカードフラグをオンする（ＳＴ６６）。その後、処理は終了することとなる。
【００８８】
ところで、サッカードフラグがオンであると判断した場合（ＳＴ６４：ＹＥＳ）、演算部２０は、所定車速以上でブレーキペダルが操作されたか否かを判断する（ＳＴ６７）。ここで、所定車速以上でブレーキペダルが操作されていないと判断した場合（ＳＴ６７：ＮＯ）、演算部２０は、サッカードフラグがオンされてから、所定時間経過したか否かを判断することとなる（ＳＴ６８）。
【００８９】
所定時間経過していないと判断した場合（ＳＴ６８：ＮＯ）、演算部２０は動的補正値を取得できないと判断し（ＳＴ６３）、その後、処理は終了することとなる。一方、所定時間したと判断した場合（ＳＴ６８：ＹＥＳ）、演算部２０は、サッカードフラグをオフし（ＳＴ６２）、動的補正値を取得できないと判断する（ＳＴ６３）。その後、処理は終了することとなる。
【００９０】
また、所定車速以上でブレーキペダルが操作されたと判断した場合（ＳＴ６７：ＹＥＳ）、演算部２０は、そのときの車速、先行車両位置（自車両との車間距離、自車両との横方向の差）、角膜球中心位置Ｐｅｙｅ、及び視線方向（Φｌｖ、ξｌｖ）をバッファに記憶する（ＳＴ６８）。次に、演算部２０は、ブレーキペダルをオンしてからの経過時間が規定値以上であるか、又は車速がゼロであるかのいずれか一方でも満たすか否かを判断する（ＳＴ６９）。ここで、双方とも満たさない場合（ＳＴ６９：ＮＯ）、演算部２０は、動的補正値を取得できないと判断し（ＳＴ６３）、その後、処理は終了することとなる。
【００９１】
一方、いずれか一方でも満たすと判断した場合（ＳＴ６９：ＹＥＳ）、演算部２０は、サッカードフラグをオフし（ＳＴ７０）、動的補正値を取得できると判断する（ＳＴ７１）。その後、処理は図３のステップＳＴ１１に移行することとなる。
【００９２】
図１２は、第２実施形態に係る図３に示したステップＳＴ１１の詳細を示すフローチャートである。第２実施形態において動的補正値は図１２に示すようにして求められる。まず、車外視認対象特定部２６は、運転者が視認していると推定される車外視認対象物として先行車両を特定する。そして、動的補正値算出部２３ｂは、図９のステップＳＴ５１〜ＳＴ５３と同様の処理を実行する。
【００９３】
次いで、動的補正値算出部２３ｂは、ブレーキペダルをオンしたときのＴＴＣ（自車両から先行車両までの車間距離と、先行車両に対する自車両の相対車速との相関を示す相関値）を求める（ＳＴ８４）。なお、ここで言うＴＴＣは上記式（１）にて示したものと同じである。
【００９４】
次いで、動的補正値算出部２３ｂは、図９のステップＳＴ５５，ＳＴ５６と同様の処理を実行し、視線補正係数を求め、視線補正係数から動的補正値を求める。なお、視線補正係数を求める際に動的補正値算出部２３ｂは
【数１１】
2006263334.tif 000013
【数１２】
2006263334.tif 000014
なる２つの関係式を実行する。そして、動的補正値を求めた後に、図１２に示す処理は終了することとなる。
【００９５】
このようにして、第２実施形態に係る車両用視線方向検出装置２によれば、第１実施形態と同様に、車両運転者の視認対象の検出精度を向上させることができる。また、視認しているか否かの判断を精度良く行うことができ、視認しているか否かの判断を精度良く判断したうえで、警告を行うこととなり、精度の良い注意喚起を行うことができる。
【００９６】
さらに、第２実施形態によれば、先行車両が存在し、運転者の黒眼部分に揺らぎが検出された場合であって、揺らぎの検出後の所定時間以内に、所定車速以上でブレーキペダルが操作されたときに、運転者が視認していると推定される車外視認対象物として先行車両を特定することとしている。ここで、運転者は、漫然としている状態から脱却するときに黒眼部分に揺らぎが発生する傾向がある。すなわち、黒眼部分に揺らぎが発生した場合とは、運転者が漫然としておらず何らかの対象を視認している状態と言える。特に、先行車両が存在している場合、黒眼部分に揺らぎが発生すれば運転者は先行車両を視認していると言える。また、所定車速以上でブレーキペダルが操作されたことを確認しているため、信号待ちなどで漫然状態から脱却して先行車両を視認した場合などが除かれることとなり、実空間上で移動している対象を確実に車外視認対象物として特定できることとなる。従って、運転者が視認していると推定される車外視認対象物をより正確に特定することができる。
【００９７】
また、車間距離と相対車速との相関を示す相関値（ＴＴＣ）毎に動的補正値を求めることとしているため、運転者の視線方向を車間距離と相対車速に応じて適切に補正することができる。ここで、車間距離が短いと運転者は先行車両に集中する傾向にあり、相対車速が大きいとさらに集中することとなり、先行車両への集中度が高いと先行車両の移動に応じて運転者の視線方向は素早く追従する傾向にある。そして、運転者の視線方向が素早く追従することとなると、検出された視線方向と眼位置から車外視認対象物への方向とは近くなり、補正量は小さくなる傾向にある。
【００９８】
また、先行車両への集中度が低いと先行車両の移動に応じて運転者の視線方向は素早く追従していかなくなってくる。このため、検出された視線方向と眼位置から車外視認対象物への方向とは相違が大きくなり、補正量は大きくなる傾向にある。
【００９９】
このように、車間距離と相対車速との相関を示す相関値毎に動的補正値を求めることことで、集中度に応じた適切な補正を行うことができることとなり、車両運転者の視認対象の検出精度を一層向上させることができる。
【０１００】
次に、本発明の第３実施形態を説明する。第３実施形態に係る車両用視線方向検出装置３は、第１実施形態のものと同様であるが、構成の一部及び図３のステップＳＴ１０，ＳＴ１１の処理内容が第１実施形態と異なっている。以下、第１実施形態との相違点を説明する。
【０１０１】
図１３は、第３実施形態に係る車両用視線方向検出装置の詳細を示す構成図である。同図に示すように、車両用視線方向検出装置３は、新たに演算部２０が算出部２８を備えている。算出部２８は、歩行者平均視認時間算出部（歩行者平均視認時間算出手段）２８ａ及び歩行者視認基準値算出部（歩行者視認基準値算出手段）２８ｂを有している。
【０１０２】
歩行者平均視認時間算出部２８ａは、運転者が歩行者を視認している時間の平均を算出するものである。具体的に歩行者平均視認時間算出部２８ａは、運転者の眼位置から、障害物検出部４０によって検出された歩行者までを結ぶ方向と、視線方向との差が所定値以下となる時間の平均を算出する構成となっている。
【０１０３】
また、歩行者視認基準値算出部２８ｂは、歩行者平均視認時間算出部２８ａにより算出された平均時間Ｓｔから、歩行者を視認しているか否かの基準となる歩行者視認基準時間を算出するものである。具体的に歩行者視認基準値算出部２８ｂは、平均時間Ｓｔに係数ｋ（ｋは０を超える１未満の数）を乗じて基準となる歩行者視認基準時間を求める構成となっている。
【０１０４】
図１４は、第３実施形態に係る図３に示したステップＳＴ１０の詳細を示すフローチャートである。同図に示すように、演算部２０は、まず、障害物検出部４０によって歩行者が検出されたか否かを判断する（ＳＴ９１）。ここで、歩行者が検出されなかったと判断した場合（ＳＴ９１：ＮＯ）、演算部２０は動的補正値を取得できないと判断し（ＳＴ９２）、処理は終了することとなる。
【０１０５】
一方、歩行者が検出されたと判断した場合（ＳＴ９１：ＹＥＳ）、演算部２０は、歩行者を検出してから既定時間経過したか否かを判断する（ＳＴ９３）。歩行者を検出してから既定時間経過していないと判断した場合（ＳＴ９３：ＮＯ）、演算部２０は、バッファの記憶内容をリセットし（ＳＴ９４）、動的補正値を取得できないと判断し（ＳＴ９２）、処理は終了することとなる。
【０１０６】
また、歩行者を検出してから既定時間経過したと判断した場合（ＳＴ９３：ＹＥＳ）、演算部２０は、既定時間内の車速、歩行者の位置（歩行者までの距離、横方向のずれ）、角膜球位置Ｐｅｙｅ、視線方向（Φｌｖ，ξｌｖ）をバッファに記憶させ、動的補正値を取得できると判断し（ＳＴ９６）、処理は図３のステップＳＴ１１に移行することとなる。
【０１０７】
図１５は、第３実施形態に係る図３に示したステップＳＴ１１の詳細を示すフローチャートである。第３実施形態において動的補正値は図１２に示すようにして求められる。まず、車外視認対象特定部２６は、運転者が視認していると推定される車外視認対象物として歩行者を特定する。このとき、車外視認対象特定部２６は、歩行者がｎ人（ｎは２以上の整数）いる場合、ｎ人すべての歩行者を車外視認対象物として特定する。
【０１０８】
そして、動的補正値算出部２３ｂは、歩行者の位置を３次元座標系において把握し、角膜球中心位置Ｐｅｙｅから歩行者への方向（Φｏｂ，ξｏｂ）を求める（ＳＴ１０１）。このとき、歩行者がｎ人存在する場合、ｎ人の歩行者全てについて方向（Φｏｂ，ξｏｂ）を求める。
【０１０９】
次に、動的補正値算出部２３ｂは、図３のステップＳＴ７において求められた視線方向（Φｌｖ，ξｌｖ）と、ステップＳＴ１０１において求めた方向（Φｏｂ，ξｏｂ）との差を視線偏差（Φｌｖ（ｔ），ξｌｖ（ｔ））ｉとして求める（ＳＴ１０２）。この視線偏差（Φｌｖ（ｔ），ξｌｖ（ｔ））ｉは、ｎ人すべて歩行者について求められる。なお、ｉは歩行者を表す数である。
【０１１０】
次いで、動的補正値算出部２３ｂは、視線偏差（Φｌｖ（ｔ），ξｌｖ（ｔ））ｉのうち既定割合（例えば５％）以内のデータを抽出する（ＳＴ１０３）。すなわち、動的補正値算出部２３ｂは、視線偏差のうち或る程度小さいものを抽出することで、運転者が見ている歩行者を特定するようにしている。
【０１１１】
その後、動的補正値算出部２３ｂは、抽出された全データについて視線方向(Φｌｖ，ξｌｖ)を歩行者の方向（Φｏｂ,ξｏｂ）に一致させるための動的補正（βｅｙｅ＿ｋ＿ｐ＿ｘ，βｅｙｅ＿ｋ＿ｐ＿ｙ）を、（Φｏｂ,ξｏｂ）を目的変数とし、視線方向(Φｌｖ，ξｌｖ）を説明変数としておいたときの、回帰係数として算出する（ＳＴ１０４）。これにより、動的補正値算出部２３ｂは動的補正値を取得する。
【０１１２】
次に、歩行者平均視認時間算出部２８ａは、角膜球中心位置Ｐｅｙｅから歩行者への方向（Φｏｂ,ξｏｂ）と、視線方向（Φｌｖ，ξｌｖ）との差が所定割合以下となる時間の平均を算出する（ＳＴ１０５）。
【０１１３】
図１６は、歩行者を視認しているときの視線方向を示す説明図である。同図に示すように、運転者は歩行者視認してる場合、視線方向（Φｌｖ，ξｌｖ）のうち水平方向Φｌｖについて特徴的変動を生じる。歩行者平均視認時間算出部２８ａは、この変動が生じている時間Ｓｔｉを歩行者の視認時間として検出し、これら時間の平均を求める。
【０１１４】
再度、図１５を参照する。平均時間Ｓｔを求めた後、歩行者視認基準値算出部２８ｂは、平均時間Ｓｔに係数ｋを乗じて基準となる歩行者視認基準時間を求める（ＳＴ１０６）。これにより、図３のステップＳＴ９において危急モード判断された場合（ＳＴ９において「ＹＥＳ」と判断された場合）、歩行者視認基準時間に基づいて歩行者を視認しているか否かが判断されることとなる。
【０１１５】
すなわち、ステップＳＴ１２において視認判断部２７は、静的補正値と動的補正値を用いて補正された視線方向と、運転者の眼位置から自車両と衝突可能性がある衝突歩行者までを結ぶ方向とが、歩行者視認基準時間以上にわたって一致しているか否かを判断する。そして、一致している場合、視認判断部２７は、運転者が衝突歩行者を視認していると判断する。よって、ステップＳＴ１３の警告を経ることなく処理は終了する。一方、歩行者視認基準時間以上にわたって一致していない場合、視認判断部２７は、運転者が歩行者を視認していないと判断し、ステップＳＴ１３において車両運転者に対して警告が行われることとなる。
【０１１６】
このようにして、第３実施形態に係る車両用視線方向検出装置３によれば、第１実施形態と同様に、車両運転者の視認対象の検出精度を向上させることができる。
【０１１７】
さらに、第３実施形態によれば、車両周辺に歩行者が存在し、歩行者が存在する状態が所定時間継続したときに、運転者が視認していると推定される車外視認対象物として歩行者を特定することとしている。ここで、歩行者が周囲に存在し、しかも所定時間継続する場合とは、運転者が歩行者を認識していることに他ならない。すなわち、運転者が歩行者に気が付いて車速を「０」又は微速としているからこそ、所定時間継続して車両周囲の歩行者がいると言える。このため、車両周辺に歩行者が存在し、歩行者が存在する状態が所定時間継続した場合、運転者が歩行者を視認していると推定でき、車外視認対象物として特定することに適しているといえる。従って、運転者が視認していると推定される車外視認対象物を正確に特定することができる。
【０１１８】
また、動的補正値を用いて補正された視線方向と、運転者の眼位置から歩行者への方向とが一致している時間の平均を求め、平均時間から歩行者を視認しているか否かの基準となる視認基準時間を算出することとしている。このため、運転者が歩行者を視認しているか否かを判断する基準となる時間を得ることができる。
【０１１９】
また、動的補正値を用いて補正された視線方向と、運転者の眼位置から衝突歩行者までを結ぶ方向とが、視認基準時間以上にわたって一致しているか否かを判断することで、運転者が衝突歩行者を視認しているか否かを判断する。そして、その歩行者を視認していないと判断された場合に、車両運転者に対して警告を行うこととしている。このため、歩行者に関して視認しているか否かの判断を特に精度良く判断したうえで、警告を行うこととなり、精度の良い注意喚起を行うことができる。
【０１２０】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよいし、各実施形態を組み合わせるようにしてもよい。
【０１２１】
例えば、第３実施形態にて説明した歩行者視認基準時間を、看板や標識などの静止物について求めるようにしてもよい。これにより、標識の重要な情報（例えば渋滞情報や行き先情報）を運転者が視認したか否かを判断できるようになる。具体的には、以下のように構成するとよい。
【０１２２】
すなわち、車両用視線方向検出装置１〜３に、障害物検出部４０により検出された障害物のうち、実空間上で静止している車外静止物を特定する車外静止物特定手段を設ける。また、静的補正値のみ又は静的補正値及び動的補正値を用いて補正された視線方向と、運転者の眼位置から車外静止物特定手段により特定された車外静止物までを結ぶ方向との差が所定値以下となる時間の平均を算出する静止物平均視認時間算出手段とを設ける。さらに、静止物平均視認時間算出手段により算出された平均時間から、静止物を視認しているか否かの基準となる静止物視認基準時間を算出する静止物視認基準値算出手段を設ける。そして、視認判断部２７を、静止物視認基準値算出手段により算出された静止物視認基準時間に基づいて運転者が車外静止物を視認しているか否かを判断する構成とする。以上の構成によって、歩行者視認基準時間を求めるときとほぼ同様にして、看板や標識などの静止物を運転者が視認したか否かを判断できるようになる。
【図面の簡単な説明】
【０１２３】
【図１】発明の第１実施形態に係る車両用視線方向検出装置の概略を示す構成図である。
【図２】第１実施形態に係る車両用視線方向検出装置の詳細を示す構成図である。
【図３】第１実施形態に係る車両用視線方向検出装置の動作を示すフローチャートである。
【図４】図３に示したステップＳＴ５の詳細を示すフローチャートである。
【図５】図４に示したステップＳＴ２１の詳細を示す説明図である。
【図６】角膜球中心位置Ｐｅｙｅを求める際の詳細を示す説明図であり、（ａ）は一方の撮像部にて撮像された画像を示し、（ｂ）は他方の撮像部にて撮像された画像を示し、（ｃ）は視線検出部が角膜球中心位置Ｐｅｙｅを３次元で把握する際の様子を示している。
【図７】図３に示したステップＳＴ７の詳細を示すフローチャートである。
【図８】図３に示したステップＳＴ１０の詳細を示すフローチャートである。
【図９】図３に示したステップＳＴ１１の詳細を示すフローチャートである。
【図１０】図９に示したステップＳＴ５５にて求められる視線補正係数と車速との相関を示す説明図である。
【図１１】第２実施形態に係る図３に示したステップＳＴ１０の詳細を示すフローチャートである。
【図１２】第２実施形態に係る図３に示したステップＳＴ１１の詳細を示すフローチャートである。
【図１３】第３実施形態に係る車両用視線方向検出装置の詳細を示す構成図である。
【図１４】第３実施形態に係る図３に示したステップＳＴ１０の詳細を示すフローチャートである。
【図１５】第３実施形態に係る図３に示したステップＳＴ１１の詳細を示すフローチャートである。
【図１６】歩行者を視認しているときの視線方向を示す説明図である。
【符号の説明】
【０１２４】
１〜３…車両用視線方向検出装置
１０…撮像部
２０…演算部
２１…視線検出部（視線検出手段）
２２…車内視認対象特定部（車内視認対象特定手段）
２３…補正値算出部
２３ａ…静的補正値算出部（静的補正値算出手段）
２３ｂ…動的補正値算出部（動的補正値算出手段）
２４…補正値記憶部
２４ａ…静的補正値記憶部
２４ｂ…動的補正値記憶部
２５…補正部
２５ａ…静的補正部（静的補正手段）
２５ｂ…動的補正部（動的補正手段）
２６…車外視認対象特定部（車外視認対象特定手段）
２７…視認判断部（視認判断手段）
２８…算出部
２８ａ…歩行者平均視認時間算出部（歩行者平均視認時間算出手段）
２８ｂ…歩行者視認基準値算出部（歩行者視認基準値算出手段）
３０…警告部（警告手段）
４０…障害物検出部（障害物検出手段）
５０…車両運動情報取得部
６０…車両周囲環境情報取得部
７０…運転者動作検出部
【図１】
2006263334.tif 000015
【図２】
2006263334.tif 000016
【図３】
2006263334.tif 000017
【図４】
2006263334.tif 000018
【図５】
2006263334.tif 000019
【図６】
2006263334.tif 000020
【図７】
2006263334.tif 000021
【図８】
2006263334.tif 000022
【図９】
2006263334.tif 000023
【図１０】
2006263334.tif 000024
【図１１】
2006263334.tif 000025
【図１２】
2006263334.tif 000026
【図１３】
2006263334.tif 000027
【図１４】
2006263334.tif 000028
【図１５】
2006263334.tif 000029
【図１６】
2006263334.tif 000030