(57)【要約】【課題】運転者の視線方向の検出結果の妥当性を検証することができる視線状態検出装置を提供する。【解決手段】自車両の運転者の視線方向を検出する視線状態検出装置１０であって、運転者の視線方向Ｌを検出するドライバモニタセンサ１及び方向検出部２と、自車両の操舵角Ｒを検出する操舵角センサ３と、ドライバモニタセンサ１及び方向検出部２により検出された視線方向Ｌの検出結果が妥当であるか否かを、操舵角センサ３により検出された操舵角Ｒに基づいて判定する誤検出判定部４と、を備える。ドライバモニタセンサ１及び方向検出部２により検出された視線方向Ｌの検出結果が妥当であるか否かを、操舵角センサ３により検出された操舵角Ｒに基づいて誤検出判定部４により判定することができる。【選択図】図１
2010066968.tif 000002
【特許請求の範囲】
【請求項１】
自車両の運転者の視線方向を検出する視線状態検出装置であって、
前記運転者の視線方向を検出する方向検出手段と、
前記自車両の操舵角を検出する操舵角検出手段と、
前記方向検出手段により検出された前記視線方向の検出結果が妥当であるか否かを、前記操舵角検出手段により検出された前記操舵角に基づいて判定する判定手段と、
を備えることを特徴とする視線状態検出装置。
【請求項２】
前記方向検出手段は、前記運転者の顔向き角度及び瞳孔位置を取得することにより前記視線方向を検出することを特徴とする請求項１に記載の視線状態検出装置。
【請求項３】
前記判定手段は、前記方向検出手段により検出された前記視線方向の検出結果と、前記操舵角検出手段により検出された前記操舵角に基づく前記自車両の進行方向の検出結果とが一致しない場合に、当該視線方向の検出結果は妥当でないと判定することを特徴とする請求項１または２に記載の視線状態検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自車両の運転者の視線方向を検出する視線状態検出装置に関する。
【背景技術】
【０００２】
従来、自車両の運転者が脇見をしているか否かを判定する技術が提案されている。例えば、特許文献１には、運転者の視方向を検出し、この視方向に基づいて、運転者による視認の対象となっている視認領域を検出して、この視認領域に対応するリスク値の検出、即ち脇見によるリスク度の算出を行う技術が開示されている。
【特許文献１】特開２００４−１１４９３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
特許文献１に記載の技術では、カメラを用いて運転者の顔を撮影して顔画像を取得し、この顔画像に基づいて、運転者の眼の移動量及びまぶたの開閉量を算出して、この算出の結果に基づいて運転者の視方向を検出している。
【０００４】
しかしながら、運転者が眼鏡をかけている場合や、顔に装飾品やマスクを付けている場合や、視方向の検出装置において外乱が生じた場合は、運転者の視線方向等の特徴点を誤検出してしまうおそれがある。このため、運転者の顔の特徴点に基づく視線方向の検出結果の精度が悪くなってしまうおそれがある。
【０００５】
そこで本発明は、運転者の視線方向の検出結果の妥当性を検証することができる視線状態検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
すなわち、本発明に係る視線状態検出装置は、自車両の運転者の視線方向を検出する視線状態検出装置であって、運転者の視線方向を検出する方向検出手段と、自車両の操舵角を検出する操舵角検出手段と、方向検出手段により検出された視線方向の検出結果が妥当であるか否かを、操舵角検出手段により検出された操舵角に基づいて判定する判定手段と、を備えることを特徴とする。
【０００７】
車両の運転者は、自車両の進行方向の先を視認しようとする傾向を有する。従って、運転者の視線方向と、自車両の操舵角に対応した自車両の進行方向とは通常、一致する。そこで、方向検出手段により検出された視線方向の検出結果が妥当であるか否かを、操舵角検出手段により検出された操舵角に基づいて判定手段により判定することができる。これにより、運転者の視線方向の検出結果の妥当性を検証することができる。
【０００８】
また、方向検出手段は、運転者の顔向き角度及び瞳孔位置を取得することにより視線方向を検出するのも好ましい。
【０００９】
これにより、運転者の顔向き角度及び瞳孔位置が方向検出手段により取得され、これに基づいて視線方向が方向検出手段により検出される。このように、取得された顔向き角度及び瞳孔位置に基づいて視線方向が検出されるため、方向検出手段により検出される視線方向の検出結果の精度を高めることができる。
【００１０】
また、判定手段は、方向検出手段により検出された視線方向の検出結果と、操舵角検出手段により検出された操舵角に基づく自車両の進行方向の検出結果とが一致しない場合に、当該視線方向の検出結果は妥当でないと判定するのも好ましい。
【００１１】
これにより、方向検出手段により検出された視線方向の検出結果と、操舵角検出手段により検出された操舵角に基づく自車両の進行方向の検出結果とが一致しない場合に、当該視線方向の検出結果は妥当でないと判定手段により判定される。このように、車両の運転者が自車両の進行方向の先を視認しようとする傾向を利用して、方向検出手段により検出された視線方向の検出結果と、操舵角に基づく自車両の進行方向の検出結果とが一致しない場合に、当該視線方向の検出結果は妥当でないと判定するため、視線方向の検出結果の妥当性を精度良く検証することができる。
【発明の効果】
【００１２】
本発明によれば、運転者の視線方向の検出結果の妥当性を検証することができる視線状態検出装置を提供することができる。
【発明を実施するための最良の形態】
【００１３】
以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の符号を附し、重複する説明は省略する。
【００１４】
まず、図１を用いて、本発明の実施形態に係る視線状態検出装置の構成について説明する。図１は、本実施形態に係る視線状態検出装置１０の構成概略図である。視線状態検出装置１０は、自動車などの車両（以下、自車両という。）に取り付けられ、自車両の運転者により視認される視認領域の存在方向（即ち視線方向）を検出し、この検出結果が妥当であるか否かを、自車両の操舵状態（即ちステアリングホイールの回転方向等）に基づいて判定する装置である。
【００１５】
本実施形態に係る視線状態検出装置１０は、ドライバモニタセンサ１（方向検出手段）と、方向検出部２（方向検出手段）と、操舵角センサ３（操舵角検出手段）と、誤検出判定部４（判定手段）と、を備えている。なお、方向検出部２及び誤検出判定部４による機能は、例えば、自車両の内部に搭載された電子制御装置であるＥＣＵ（図示せず）により実現される。ＥＣＵは、ＣＰＵ、ＲＯＭ、ＲＡＭ等からなるマイクロコンピュータを主要構成部品とするユニットである。
【００１６】
ドライバモニタセンサ１は、ステアリングコラムに取り付けられて自車両の運転者の顔を撮像し、顔の画像（以下、顔画像という。）を取得する監視用センサである。ドライバモニタセンサ１は、例えば、ＣＣＤあるいはＣＭＯＳ等の半導体素子を用いた魚眼カメラ等により構成されている。ドライバモニタセンサ１によって取得された顔画像のデータは、方向検出部２に送信される。
【００１７】
方向検出部２は、ドライバモニタセンサ１によって取得された顔画像に基づく処理（例えば画像処理）を行い、自車両前方を基準として運転者の顔面（頭）の向いている角度、いわゆる顔向き角度を検出して取得する部分である。また、方向検出部２は、ドライバモニタセンサ１によって取得された顔画像に基づく処理（例えば画像処理）を行い、顔面を基準として運転者の瞳孔位置（即ち瞳の位置）を検出して取得する。そして、方向検出部２は、取得したこの顔向き角度及び瞳孔位置に基づいて、運転者の視線方向を検出する。方向検出部２によって検出された視線方向のデータは、誤検出判定部４に送信される。
【００１８】
操舵角センサ３は、自車両の操舵角、即ちステアリングホイールの回転方向及び回転角を検出するセンサである。操舵角センサ３によって検出された操舵角のデータは、誤検出判定部４に送信される。
【００１９】
誤検出判定部４は、方向検出部２により検出された視線方向の検出結果が妥当であるか否かを、操舵角センサ３により検出された操舵角の状態（即ちステアリングホイールの回転方向やゼロ度の中立位置に戻すまでに必要な時間等）に基づいて判定する部分である。誤検出判定部４は、まず、自車両前方を基準として一定角度以上の視線方向が一定時間保持されているか否かを判定し、このように保持されていると判定された場合に、この検出結果が妥当であるか否か（即ち誤検出しているか否か）を判定する。
【００２０】
ここで、この判定方法の詳細について説明する。自車両の運転者は、例えば右折時や左折時といったステアリングホイールを回転させながらの操舵時に、自車両の進行方向の先に顔や視線を向けて、自車両の進行方向の先を視認しようとする傾向を有する。従って、運転者により視認される視認領域の存在方向（即ち視線方向）と、自車両の操舵角に対応した自車両の進行方向（即ち操舵方向）とは通常、所定の誤差範囲内で一致する。そこで、方向検出部２により検出された視線方向の検出結果が妥当であるか否かを、操舵角センサ３により検出された操舵角に基づいて判定することができる。これにより、視線方向の誤検出を防止することが可能となる。
【００２１】
引き続き、図２及び図３を用いて、視認領域の存在方向（即ち視線方向）の検出結果の妥当性判定方法の詳細について説明する。図２及び図３のそれぞれは、視認領域の存在方向の検出結果の妥当性判定方法の詳細について説明するための説明図である。図２及び図３のそれぞれは、方向検出部２によって検出された運転者Ｄの視線方向と、操舵角センサ３によって検出されたステアリングホイールＷの操舵角を紙面上に示したものである。図２及び図３のそれぞれの紙面における上下方向が、自車両の前後方向（紙面における上方向が自車両の前方方向）を示し、紙面における左右方向が、自車両の車幅方向（紙面における右方向が自車両の右側）を示している。
【００２２】
図２（ａ）は、取得された運転者Ｄの顔向き角度Ａに対応する顔の向く方向が自車両の右斜め前方の方向であり、更に、取得された運転者Ｄの瞳孔位置が運転者Ｄから見て略中央であって視線方向Ｌが顔面に対して略垂直に前方の方向を向いていることを示している。この結果、この視線方向Ｌの検出結果は、自車両の右斜め前方の方向となっている。また、検出されたステアリングホイールＷの操舵角Ｒに対応する回転方向が右回転の方向（即ち、自車両の進行方向が右斜め前方の方向）であることを示している。
【００２３】
この場合、誤検出判定部４は、視線方向Ｌの検出結果（即ち、自車両の右斜め前方の方向）と、操舵角Ｒに基づく自車両の進行方向の検出結果（即ち、自車両の進行方向が右斜め前方の方向）とが、所定の誤差範囲内で一致しているため、視認領域の存在方向の検出結果は妥当であると判定する。
【００２４】
図２（ｂ）は、取得された運転者Ｄの顔向き角度Ａに対応する顔の向く方向が自車両の左斜め前方の方向であり、更に、取得された運転者Ｄの瞳孔位置が運転者Ｄから見て右端であって視線方向Ｌが顔面に対して略平行に右方向を向いていることを示している。この結果、この視線方向Ｌの検出結果は、自車両の右斜め前方の方向となっている。また、検出されたステアリングホイールＷの操舵角Ｒに対応する回転方向が右回転の方向（即ち、自車両の進行方向が右斜め前方の方向）であることを示している。
【００２５】
この場合、誤検出判定部４は、視線方向Ｌの検出結果（即ち、自車両の右斜め前方の方向）と、操舵角Ｒに基づく自車両の進行方向の検出結果（即ち、自車両の進行方向が右斜め前方の方向）とが、所定の誤差範囲内で一致しているため、視認領域の存在方向の検出結果は妥当であると判定する。
【００２６】
図３（ａ）は、取得された運転者Ｄの顔向き角度Ａに対応する顔の向く方向が自車両の右斜め前方の方向であり、更に、取得された運転者Ｄの瞳孔位置が運転者Ｄから見て略中央であって視線方向Ｌが顔面に対して略垂直に前方の方向を向いていることを示している。この結果、この視線方向Ｌの検出結果は、自車両の右斜め前方の方向となっている。また、検出されたステアリングホイールＷの操舵角Ｒに対応する回転方向が左回転の方向（即ち、自車両の進行方向が左斜め前方の方向）であることを示している。
【００２７】
この場合、誤検出判定部４は、視線方向Ｌの検出結果（即ち、自車両の右斜め前方の方向）と、操舵角Ｒに基づく自車両の進行方向の検出結果（即ち、自車両の進行方向が左斜め前方の方向）とは、所定の誤差範囲を考慮しても一致していないため、視認領域の存在方向の検出結果は妥当でない（即ち、誤検出である）と判定する。
【００２８】
図３（ｂ）は、取得された運転者Ｄの顔向き角度Ａに対応する顔の向く方向が自車両の左斜め前方の方向であり、更に、取得された運転者Ｄの瞳孔位置が運転者Ｄから見て右端であって視線方向Ｌが顔面に対して略平行に右方向を向いていることを示している。この結果、この視線方向Ｌの検出結果は、自車両の右斜め前方の方向となっている。また、検出されたステアリングホイールＷの操舵角Ｒに対応する回転方向が左回転の方向（即ち、自車両の進行方向が左斜め前方の方向）であることを示している。
【００２９】
この場合、誤検出判定部４は、視線方向Ｌの検出結果（即ち、自車両の右斜め前方の方向）と、操舵角Ｒに基づく自車両の進行方向の検出結果（即ち、自車両の進行方向が左斜め前方の方向）とは、所定の誤差範囲を考慮しても一致していないため、視認領域の存在方向の検出結果は妥当でない（即ち、誤検出である）と判定する。
【００３０】
引き続き、図４を用いて、視線状態検出装置１０で実行される、運転者の顔の撮像処理から視認領域の存在方向（即ち視線方向）の検出結果の妥当性の判定処理までの一連の流れを説明する。図４は、これらの処理の一連の流れを説明するためのフローチャートである。図４のフローチャートに示される処理は、主としてドライバモニタセンサ１、操舵角センサ３、及び（方向検出部２及び誤検出判定部４による機能を実現する）ＥＣＵによって行われるものであり、視線状態検出装置１０の電源がオンされてからオフされるまでの間、所定のタイミングで繰り返し実行される。
【００３１】
まず、ドライバモニタセンサ１が、自車両の運転者の顔を撮像して、顔画像を取得する（ステップＳ０１）。そして、方向検出部２が、ドライバモニタセンサ１によって取得された顔画像に基づく処理（例えば画像処理）を行い、顔向き角度及び瞳孔位置を取得し、これに基づいて視線方向を検出する（ステップＳ０２）。そして、操舵角センサ３が、自車両の操舵角を検出する（ステップＳ０３）。
【００３２】
次に、誤検出判定部４が、方向検出部２により検出された視線方向の検出結果が妥当であるか否かを、操舵角センサ３により検出された操舵角に基づいて判定する（ステップＳ０４）。
【００３３】
ここで、視線方向の検出結果と、操舵角に基づく自車両の進行方向の検出結果とが所定の誤差範囲内で一致する場合、視線方向の検出結果は妥当であると判定されて、これら一連の処理の流れは終了する。
【００３４】
一方、視線方向の検出結果と、操舵角に基づく自車両の進行方向の検出結果とが所定の誤差範囲を考慮しても一致しない場合、視線方向の検出結果は妥当でない（即ち、誤検出である）と判定される（ステップＳ０５）。そして、これら一連の処理の流れは終了する。
【００３５】
引き続き、本実施形態の作用効果について説明する。本実施形態によれば、視線方向Ｌの検出結果が妥当であるか否かが、検出された操舵角に基づいて判定される。これにより、運転者の視線方向Ｌの検出結果の妥当性を検証することができる。即ち、視線方向Ｌを誤検出しているか否かを、判定することができる。
【００３６】
また、車両の運転者が自車両の進行方向の先を視認しようとする傾向を利用して、視線方向Ｌの検出結果と、操舵角Ｒに基づく自車両の進行方向の検出結果とが、所定の誤差範囲を考慮しても一致しない場合に、当該視線方向Ｌの検出結果は妥当でないと判定する。このため、視線方向Ｌの検出結果の妥当性を精度良く検証することができる。
【００３７】
以上、本発明の好適な実施形態について説明したが、本発明は上記実施形態に限定されるものではない。例えば、上記の実施形態では、方向検出部２が、顔向き角度の取得処理と瞳孔位置の取得処理とを行う構成としたが、方向検出部２の代わりに、顔向き角度の取得処理を行う部分と、瞳孔位置の取得処理を行う部分の二つに分ける構成としてもよい。
【００３８】
また、上記の実施形態では、誤検出判定部４が、検出された操舵角の状態に基づいて、視線方向Ｌの検出結果の妥当性を判定する構成としたが、更に、自車両に搭載されたナビゲーションシステムに集められた情報や、自車両に搭載された光ビーコンアンテナによって得られた道路情報等のインフラ情報にも基づいて、この判定を行う構成としてもよい。このように、判定に用いる情報を多くすることにより、この判定の精度を更に高めることができる。
【図面の簡単な説明】
【００３９】
【図１】本実施形態に係る視線状態検出装置の構成概略図である。
【図２】視線方向の検出結果の妥当性判定方法の詳細について説明するための説明図である。
【図３】視線方向の検出結果の妥当性判定方法の詳細について説明するための説明図である。
【図４】視線状態検出装置で実行される処理の一連の流れを説明するためのフローチャートである。
【符号の説明】
【００４０】
１…ドライバモニタセンサ、２…方向検出部、３…操舵角センサ、４…誤検出判定部、１０…視線状態検出装置、Ａ…角度、Ｄ…運転者、Ｌ…視線方向、Ｒ…操舵角、Ｗ…ステアリングホイール。
【図１】
2010066968.tif 000003
【図２】
2010066968.tif 000004
【図３】
2010066968.tif 000005
【図４】
2010066968.tif 000006