(57)【要約】 【課題】  運転者の脇見状態の有無を迅速に検出する。【解決手段】  脇見判定部３５は、各赤外線ＬＥＤ２３１，…，２３ｎの発光状態を示す信号と、赤外線反射判定部３３での判定結果とに基づき、複数の赤外線ＬＥＤ２３１，…，２３ｎのうち脇見判定位置に配置された赤外線ＬＥＤにより運転者の眼球に向けて赤外線が照射され、かつ、赤外線反射判定部３３にて運転者の眼鏡で赤外線が反射されたと判定された場合に、運転者が脇見状態であると判定する。【選択図】      図１
2005301727.tif 000002
【特許請求の範囲】
【請求項１】
自車両の運転者の眼球に互いに異なる照射方向から赤外線を照射する複数の赤外線照射手段と、
前記複数の赤外線照射手段の各作動状態を制御し、赤外線の照射方向を切り換えて照射する照射制御手段と、
自車両の運転者の眼球を赤外線領域にて撮影する赤外線撮影手段と、
前記赤外線撮影手段の撮影により得られる赤外線画像に基づき、前記赤外線照射手段により運転者の眼球に照射された赤外線が運転者の眼鏡で反射した反射赤外線を検出する反射赤外線検出手段と、
前記反射赤外線検出手段により検出された反射赤外線に基づき運転者の脇見状態の有無を判定する脇見判定手段と
を備えることを特徴とする脇見判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、脇見判定装置に関する。
【背景技術】
【０００２】
従来、例えば運転者の顔を撮影するカメラを備え、このカメラの撮影画像に基づき検出される運転者の顔の向きや視線方向と、自車両の走行状態、例えば操舵角等に基づき検出される旋回状態やシフトポジション等に基づき検出される後進状態等に応じて、運転者の顔の向きや視線方向が自車両の前方に向いていなくても良いか否かを判定し、この判定結果に応じて脇見状態の有無を判定する装置が知られている（例えば、特許文献１参照）。
【特許文献１】特開平６−２４３３６７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術においては、カメラにより撮影して得られる撮影画像に対して所定の画像処理および認識処理を行って運転者の顔や眼を検出し、さらに、検出した顔や眼の向きに応じて視線方向を検出するようになっており、カメラによる撮影から運転者の視線が検出されるまでに煩雑な処理が必要であって、検出した視線方向に基づき脇見状態の有無を判定するまでに要する時間が長くなってしまうという問題がある。
本発明は上記事情に鑑みてなされたもので、運転者の脇見状態の有無を迅速に検出することが可能な脇見判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の脇見判定装置は、自車両の運転者の眼球に互いに異なる照射方向から赤外線を照射する複数の赤外線照射手段（例えば、実施の形態での赤外線発光ダイオード（赤外線ＬＥＤ）２３１，…，２３ｎ）と、前記複数の赤外線照射手段の各作動状態を制御し、赤外線の照射方向を切り換えて照射する照射制御手段（例えば、実施の形態での発光制御部３２）と、自車両の運転者の眼球を赤外線領域にて撮影する赤外線撮影手段（例えば、実施の形態での赤外線カメラ２２）と、前記赤外線撮影手段の撮影により得られる赤外線画像に基づき、前記赤外線照射手段により運転者の眼球に照射された赤外線が運転者の眼鏡で反射した反射赤外線を検出する反射赤外線検出手段（例えば、実施の形態での赤外線反射判定部３３）と、前記反射赤外線検出手段により検出された反射赤外線に基づき運転者の脇見状態の有無を判定する脇見判定手段（例えば、実施の形態での脇見判定部３５）とを備えることを特徴としている。
【０００５】
上記構成の脇見判定装置によれば、予め複数の赤外線照射手段を、赤外線照射手段から運転者の眼球に照射された赤外線が脇見状態の運転者の眼鏡により反射され、この反射赤外線が所定位置に配置された赤外線撮影手段により撮影されるような位置に配置しておくことにより、赤外線撮影手段の撮影により得られる赤外線画像において所定の反射赤外線が検出された場合には運転者が脇見状態であると容易に判定することができる。つまり、運転者の眼球や顔の向きから視線を検出し、さらに、この視線の対象物を検出して脇見状態であるか否かを判定する場合に比べて、煩雑な処理を実行する必要なしに迅速に脇見状態の有無を検出することができる。
【発明の効果】
【０００６】
本発明の脇見判定装置によれば、煩雑な処理を実行する必要なしに迅速に脇見状態の有無を検出することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の一実施形態に係る脇見判定装置について添付図面を参照しながら説明する。
本実施の形態による脇見判定装置１０は、例えば車両の走行安全装置に具備され、図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された検出制御装置１１と、視線センサ１２と、警報装置１３とを備えて構成されている。
【０００８】
視線センサ１２は、例えば図２に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えばＣＣＤカメラやＣ−ＭＯＳカメラ等の赤外線領域にて撮影可能な赤外線カメラ２２と、運転者の眼球に向けて互いに異なる方向から赤外線を照射する複数の赤外線発光ダイオード（赤外線ＬＥＤ）２３１，…，２３ｎ（ｎは任意の自然数であって、例えばｎ＝３等）と、赤外線画像処理部２４とを備えて構成されている。
赤外線カメラ２２は、検出制御装置１１の制御により各赤外線ＬＥＤ２３１，…，２３ｎから運転者の眼球に向けて照射された赤外線の反射を撮影する。
赤外線画像処理部２４は、赤外線カメラ２２により撮影して得た赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して検出制御装置１１へ出力する。
【０００９】
検出制御装置１１は、各赤外線ＬＥＤ２３１，…，２３ｎの発光状態を制御する発光制御部３２と、視線センサ１２から赤外線画像の画像データが入力される赤外線反射判定部３３および赤外線視線算出部３４と、脇見判定部３５とを備えて構成されている。
【００１０】
発光制御部３２は、複数の赤外線発光ダイオード（赤外線ＬＥＤ）２３１，…，２３ｎの発光状態を制御し、所定の発光順序に応じて赤外線の照射方向を順次切り換えて照射する。そして、各赤外線ＬＥＤ２３１，…，２３ｎの発光状態を示す信号を脇見判定部３５へ出力している。
なお、複数の赤外線ＬＥＤ２３１，…，２３ｎは、例えば自車両の進行方向前方を視線方向とする運転者の眼球に対して適切に赤外線を照射することができる位置に加えて、眼鏡を装着した運転者が脇見状態である場合に運転者の眼球に対して照射した赤外線が眼鏡で反射された反射像が赤外線カメラ２２にて撮影されるような位置（脇見判定位置）に配置されている。すなわち、赤外線カメラ２２の撮影により得られた赤外線画像の画像データにおいて、複数の赤外線ＬＥＤ２３１，…，２３ｎのうちの何れかにより照射された赤外線の反射像が検出された場合には、運転者が脇見状態であると判定することができるように設定されている。
【００１１】
赤外線反射判定部３３は、視線センサ１２から入力される赤外線画像の画像データに対して、例えば所定値以上の輝度および大きさを有する領域を検知対象物とした特徴量算出および形状判別等の認識処理を行い、各赤外線ＬＥＤ２３１，…，２３ｎから運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定し、この判定結果を赤外線視線算出部３４および脇見判定部３５へ出力する。この赤外線反射判定部３３による認識処理では、例えば図３（ａ）に示すように、運転者の眼球を撮影した赤外線画像の画像データに対して、所定値以上の輝度および大きさを有する領域を抽出することで、例えば図３（ｂ）に示すような赤外線の各反射像Ｑ１，Ｑ２，Ｑ３を検出する。
赤外線視線算出部３４は、赤外線反射判定部３３にて各赤外線ＬＥＤ２３１，…，２３ｎから運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されていないと判定された際に、視線センサ１２から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。この赤外線視線算出部３４による認識処理では、例えば角膜表面における反射像（プルキニエ像）の中心位置と瞳孔の中心位置との相対距離に基づき視線ベクトルを算出する。
【００１２】
脇見判定部３５は、各赤外線ＬＥＤ２３１，…，２３ｎの発光状態を示す信号と、赤外線反射判定部３３での判定結果とに基づき、運転者が脇見状態であるか否かを判定する。例えば、脇見判定部３５は、複数の赤外線ＬＥＤ２３１，…，２３ｎのうち脇見判定位置に配置された赤外線ＬＥＤにより運転者の眼球に向けて赤外線が照射され、かつ、赤外線反射判定部３３にて運転者の眼鏡で赤外線が反射されたと判定された場合に、運転者が脇見状態であると判定する。そして、脇見判定部３５は、運転者が脇見状態であると判定した場合に警報装置１４を作動させる。
【００１３】
警報装置１４は、例えば、触覚的伝達装置４１と、視覚的伝達装置４２と、聴覚的伝達装置４３とを備えて構成されている。
触覚的伝達装置４１は、例えばシートベルト装置や操舵制御装置等であって、制御装置１１から入力される制御信号に応じて、例えばシートベルトに所定の張力を発生させて自車両の乗員が触覚的に知覚可能な締め付け力を作用させたり、例えばステアリングホイールに自車両の運転者が触覚的に知覚可能な振動（ステアリング振動）を発生させる。
視覚的伝達装置４２は、例えば表示装置等であって、制御装置１１から入力される制御信号に応じて、例えば表示装置に所定の警報情報を表示したり、所定の警報灯を点滅させる。
聴覚的伝達装置４３は、例えばスピーカ等であって、制御装置１１から入力される制御信号に応じて所定の警報音や音声等を出力する。
【００１４】
本実施の形態による脇見判定装置１０は上記構成を備えており、次に、この脇見判定装置１０の動作について説明する。
【００１５】
例えば図４に示すステップＳ０１においては、所定の発光順序に応じて、複数の赤外線ＬＥＤ２３１，…，２３ｎの発光順序を設定する。
次に、ステップＳ０２においては、設定した発光順序に応じて選択した赤外線ＬＥＤを発光させる。
次に、ステップＳ０３においては、選択した赤外線ＬＥＤにより赤外線を照射した際に赤外線カメラ２２により撮影して得た赤外線画像を取得する。
そして、ステップＳ０４においては、例えば所定値以上の輝度および大きさを有する領域を検知対象物とした特徴量算出および形状判別等の認識処理を行い、運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定する。
この判定結果が「ＹＥＳ」の場合には、後述するステップＳ０６に進む。
一方、この判定結果が「ＮＯ」の場合には、ステップＳ０５に進む。
そして、ステップＳ０５においては、視線センサ１２から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出し、一連の処理を終了する。
【００１６】
また、ステップＳ０６においては、各赤外線ＬＥＤ２３１，…，２３ｎの発光状態を示す信号と、赤外線反射判定部３３での判定結果とに基づき、運転者が脇見状態であるか否かを判定する。
そして、ステップＳ０７においては、運転者が脇見状態であると判定されたか否かを判定する。
この判定結果が「ＮＯ」の場合には、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、警報装置１４を作動させ、一連の処理を終了する。
【００１７】
上述したように、本実施の形態による脇見判定装置１０によれば、複数の赤外線ＬＥＤ２３１，…，２３ｎのうち脇見判定位置に配置された赤外線ＬＥＤにより運転者の眼球に向けて赤外線が照射され、かつ、赤外線反射判定部３３にて運転者の眼鏡で赤外線が反射されたと判定された場合に、運転者が脇見状態であると判定することにより、単純な判定処理によって運転者の脇見状態を適切かつ迅速に検出することができる。
【図面の簡単な説明】
【００１８】
【図１】本発明の一実施形態に係る視線検出装置の構成図である。
【図２】図１に示す視線センサを搭載した車両を示す斜視図である。
【図３】運転者の眼鏡で反射される赤外線の反射像の一例を示す図である。
【図４】図１に示す視線検出装置の動作を示すフローチャートである。
【符号の説明】
【００１９】
１０  脇見判定装置
２２  赤外線カメラ（赤外線撮影手段）
２３１，…，２３ｎ  赤外線発光ダイオード（赤外線照射手段）
３２  発光制御部（照射制御手段）
３３  赤外線反射判定部（反射赤外線検出手段）
３４  赤外線視線算出部
３５  脇見判定部（脇見判定手段）
【図１】
2005301727.tif 000003
【図２】
2005301727.tif 000004
【図３】
2005301727.tif 000005
【図４】
2005301727.tif 000006