(57)【要約】 【課題】  運転者の視線を精度良く検出する。【解決手段】  赤外線視線算出部３４は、眼鏡装着判定部３１にて運転者が眼鏡を装着していないと判定された際、あるいは、赤外線反射判定部３３にて赤外線ＬＥＤ２３から運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されていないと判定された際に、視線センサ１２から入力される赤外線画像の画像データに基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、視線ベクトルに基づき、視線の対象位置を算出する。可視光視線算出部３２は、赤外線反射判定部３３にて赤外線ＬＥＤ２３から運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されていると判定された際に、視線センサ１２から入力される可視光画像の画像データに基づき、運転者の視線ベクトルおよび視線の対象位置を算出する。【選択図】      図１
2005296382.tif 000002
【特許請求の範囲】
【請求項１】
自車両の運転者の眼球あるいは顔を可視光領域にて撮影する可視光撮影手段と、
自車両の運転者の眼球に赤外線を照射する赤外線照射手段と、
自車両の運転者の眼球を赤外線領域にて撮影する赤外線撮影手段と、
前記可視光撮影手段の撮影により得られる可視光画像に基づき運転者が眼鏡を装着しているか否かを判定する眼鏡装着判定手段と、
前記眼鏡装着判定手段の判定結果に応じて、少なくとも前記可視光撮影手段の撮影により得られる可視光画像または前記赤外線撮影手段の撮影により得られる赤外線画像に基づき運転者の視線を検出する視線検出手段と
を備えることを特徴とする視線検出装置。
【請求項２】
前記赤外線撮影手段の撮影により得られる赤外線画像に基づき、前記赤外線照射手段により運転者の眼球に照射された赤外線が運転者の眼鏡で反射したか否かを判定する赤外線反射判定手段を備え、
前記眼鏡装着判定手段により運転者が眼鏡を装着していると判定され、かつ、前記赤外線反射判定手段により運転者の眼球に照射された赤外線が運転者の眼鏡で反射したと判定された場合に、前記視線検出手段は前記可視光撮影手段の撮影により得られる可視光画像に基づき運転者の視線を検出することを特徴とする請求項１に記載の視線検出装置。
【請求項３】
前記眼鏡装着判定手段により運転者が眼鏡を装着していないと判定された場合に、前記視線検出手段は前記赤外線撮影手段の撮影により得られる赤外線画像に基づき運転者の視線を検出することを特徴とする請求項１に記載の視線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線検出装置に関する。
【背景技術】
【０００２】
従来、例えば可視光領域にて撮影可能なカメラ、あるいは、赤外線領域にて撮影可能なカメラを用いて視線を検出する方法が知られており（例えば、非特許文献１参照）、可視光領域にて撮影可能なカメラを用いる方法では、カメラにより撮影した眼球像から眼の特徴点（目尻、瞼など）および虹彩を検出し、特徴点に対する虹彩の相対位置に基づき視線を検出するようになっている。ただし、この方法では、視線方向の変化に対する虹彩の位置変化が相対的に小さいことから、検出精度を向上させることが困難であるという問題がある。
このような問題に対して、赤外線領域にて撮影可能なカメラを用いる方法では、赤外線の点光源から眼球に赤外線を照射し、撮影画像から検出された瞳孔中心および角膜表面における反射像（プルキニエ像）の相対位置に基づき視線を検出するようになっており、この方法では相対的に高精度の視線検出を行うことが可能である。
【非特許文献１】大野健彦著，「視線を用いたインタフェース」，情報処理，社団法人情報処理学会，２００３年７月，第４４巻，第７号，ｐ．７２６−７３２
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、上記従来技術において、赤外線領域にて撮影可能なカメラを用いる方法では、運転者が眼鏡を装着している際に、赤外線の点光源から眼球に照射される赤外線が運転者の顔の向きに応じて眼鏡で反射されてしまい、角膜表面の反射像を明確に撮影することができない場合があり、この場合には視線検出の検出精度が低下あるいは視線検出が不可となる虞がある。
本発明は上記事情に鑑みてなされたもので、眼鏡の有無に関わらず視線を検出することが可能な視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
上記課題を解決して係る目的を達成するために、請求項１に記載の本発明の視線検出装置は、自車両の運転者の眼球あるいは顔を可視光領域にて撮影する可視光撮影手段（例えば、実施の形態での可視光カメラ２１）と、自車両の運転者の眼球に赤外線を照射する赤外線照射手段（例えば、実施の形態での赤外線発光ダイオード（赤外線ＬＥＤ）２３）と、自車両の運転者の眼球を赤外線領域にて撮影する赤外線撮影手段（例えば、実施の形態での赤外線カメラ２２）と、前記可視光撮影手段の撮影により得られる可視光画像に基づき運転者が眼鏡を装着しているか否かを判定する眼鏡装着判定手段（例えば、実施の形態での眼鏡装着判定部３１）と、前記眼鏡装着判定手段の判定結果に応じて、少なくとも前記可視光撮影手段の撮影により得られる可視光画像または前記赤外線撮影手段の撮影により得られる赤外線画像に基づき運転者の視線を検出する視線検出手段（例えば、実施の形態での可視光視線算出部３２および赤外線視線算出部３４）とを備えることを特徴としている。
【０００５】
上記構成の視線検出装置によれば、運転者が眼鏡を装着しているか否かに応じて少なくとも可視光画像または赤外線画像に基づき運転者の視線を検出することにより、視線検出が不可となる状態が発生することを抑制しつつ、視線検出の検出精度が低下することを防止することができる。
【０００６】
さらに、請求項２に記載の本発明の視線検出装置は、前記赤外線撮影手段の撮影により得られる赤外線画像に基づき、前記赤外線照射手段により運転者の眼球に照射された赤外線が運転者の眼鏡で反射したか否かを判定する赤外線反射判定手段（例えば、実施の形態での赤外線反射判定部３３）を備え、前記眼鏡装着判定手段により運転者が眼鏡を装着していると判定され、かつ、前記赤外線反射判定手段により運転者の眼球に照射された赤外線が運転者の眼鏡で反射したと判定された場合に、前記視線検出手段は前記可視光撮影手段の撮影により得られる可視光画像に基づき運転者の視線を検出することを特徴としている。
【０００７】
上記構成の視線検出装置によれば、赤外線撮影手段の撮影により得られる赤外線画像において、赤外線照射手段により運転者の眼球に照射された赤外線の角膜表面における反射像（プルキニエ像）を検出することができない場合であっても、可視光画像に基づき運転者の視線を継続して検出することができる。
【０００８】
さらに、請求項３に記載の本発明の視線検出装置は、前記眼鏡装着判定手段により運転者が眼鏡を装着していないと判定された場合に、前記視線検出手段は前記赤外線撮影手段の撮影により得られる赤外線画像に基づき運転者の視線を検出することを特徴としている。
【０００９】
上記構成の視線検出装置によれば、運転者が眼鏡を装着していない場合、つまり赤外線照射手段により運転者の眼球に照射された赤外線が運転者の眼鏡で反射される虞がない場合には、赤外線画像に基づき運転者の視線を検出することにより、視線検出の検出精度が低下することを防止することができる。
【発明の効果】
【００１０】
本発明の視線検出装置によれば、視線検出が不可となる状態が発生することを抑制しつつ、視線検出の検出精度が低下することを防止することができる。
さらに、請求項２に記載の本発明の視線検出装置によれば、赤外線照射手段により運転者の眼球に照射された赤外線の角膜表面における反射像（プルキニエ像）を検出することができない場合であっても、可視光画像に基づき運転者の視線を継続して検出することができる。
さらに、請求項３に記載の本発明の視線検出装置によれば、視線検出の検出精度が低下することを防止することができる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の一実施形態に係る視線検出装置について添付図面を参照しながら説明する。
本実施の形態による視線検出装置１０は、例えば車両の走行安全装置に具備され、図１に示すように、自車両の運転者の視線を検出するためにＣＰＵ等を含む電子回路により構成された検出制御装置１１と、視線センサ１２とを備えて構成されている。
【００１２】
視線センサ１２は、例えば図２に示すように、車室内のインストルメントパネルやダッシュボード上部等に設けられ、例えばＣＣＤカメラやＣ−ＭＯＳカメラ等の可視光領域にて撮影可能な可視光カメラ２１および赤外線領域にて撮影可能な赤外線カメラ２２と、運転者の眼球に向けて赤外線を照射する赤外線発光ダイオード（赤外線ＬＥＤ）２３と、可視光画像処理部２４および赤外線画像処理部２５とを備えて構成されている。
可視光カメラ２１は、運転者の顔や眼球から反射される可視光を撮影する。
赤外線カメラ２２は、検出制御装置１１の制御により赤外線ＬＥＤ２３から運転者の眼球に向けて照射された赤外線の反射を撮影する。
各画像処理部２４，２５は、各カメラ２１，２２により撮影して得た可視光画像および赤外線画像に対して、例えばフィルタリングや二値化処理等の所定の画像処理を行い、二次元配列の画素からなる画像データを生成して検出制御装置１１へ出力する。
【００１３】
検出制御装置１１は、視線センサ１２から可視光画像の画像データが入力される眼鏡装着判定部３１および可視光視線算出部３２と、視線センサ１２から赤外線画像の画像データが入力される赤外線反射判定部３３および赤外線視線算出部３４と、赤外線ＬＥＤ２３の発光状態を制御する発光制御部３５とを備えて構成されている。
【００１４】
眼鏡装着判定部３１は、視線センサ１２から入力される可視光画像の画像データに対して、例えば眼鏡を検知対象物とした特徴量算出および形状判別等の認識処理を行い、運転者が眼鏡を装着しているか否かを判定し、この判定結果を赤外線反射判定部３３および赤外線視線算出部３４へ出力する。
可視光視線算出部３２は、赤外線反射判定部３３にて赤外線ＬＥＤ２３から運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されていると判定された際に、視線センサ１２から入力される可視光画像の画像データに対して、例えば運転者の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。
例えば、運転者の眼球を検知対象物とした特徴量算出および形状判別では、目頭の位置と虹彩の中心位置との相対距離に基づき視線ベクトルを算出する。
なお、画像データの認識処理において、特徴量算出の処理では、例えば二値化処理後の画像データに対して、画素の連続性に基づく検知対象物の抽出およびラベリングを行い、抽出した検知対象物の重心および面積および外接四角形の縦横比等を算出する。また、形状判別の処理では、例えば予め記憶している所定パターン（例えば輪郭等）に基づき画像データ上の検索を行い、所定パターンとの類似性に応じて検知対象物を抽出する。
【００１５】
赤外線反射判定部３３は、眼鏡装着判定部３１にて運転者が眼鏡を装着していると判定された際に、視線センサ１２から入力される赤外線画像の画像データに対して、例えば所定値以上の輝度および大きさを有する領域を検知対象物とした特徴量算出および形状判別等の認識処理を行い、赤外線ＬＥＤ２３から運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定し、この判定結果を可視光視線算出部３２および赤外線視線算出部３４へ出力する。この赤外線反射判定部３３による認識処理では、例えば図３（ａ）に示すように、運転者の眼球を撮影した赤外線画像の画像データに対して、所定値以上の輝度および大きさを有する領域を抽出することで、例えば図３（ｂ）に示すような赤外線の各反射像Ｑ１，Ｑ２，Ｑ３を検出する。
赤外線視線算出部３４は、眼鏡装着判定部３１にて運転者が眼鏡を装着していないと判定された際、あるいは、赤外線反射判定部３３にて赤外線ＬＥＤ２３から運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されていないと判定された際に、視線センサ１２から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトル（視線方向）を算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出する。この赤外線視線算出部３４による認識処理では、例えば角膜表面における反射像（プルキニエ像）の中心位置と瞳孔の中心位置との相対距離に基づき視線ベクトルを算出する。
【００１６】
本実施の形態による視線検出装置１０は上記構成を備えており、次に、この視線検出装置１０の動作について説明する。
【００１７】
先ず、例えば図４に示すステップＳ０１においては、赤外線画像を取得する。
次に、ステップＳ０２においては、可視光画像を取得する。
次に、ステップＳ０３においては、取得した可視光画像の画像データに対して、例えば眼鏡を検知対象物とした特徴量算出および形状判別等の認識処理を行う。
そして、ステップＳ０４においては、運転者が眼鏡を装着しているか否かを判定する。
この判定結果が「ＮＯ」の場合には、ステップＳ０５に進み、視線センサ１２から入力される赤外線画像の画像データに対して、例えば運転者の眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトルを算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出し、一連の処理を終了する。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０６に進む。
【００１８】
ステップＳ０６においては、取得した赤外線画像の画像データに対して、例えば所定値以上の輝度および大きさを有する領域を検知対象物とした特徴量算出および形状判別等の認識処理を行い、赤外線ＬＥＤ２３から運転者の眼球に向けて照射される赤外線が運転者の眼鏡で反射されているか否かを判定する。
この判定結果が「ＮＯ」の場合には、上述したステップＳ０５に進む。
一方、この判定結果が「ＹＥＳ」の場合には、ステップＳ０７に進む。
ステップＳ０７においては、取得した可視光画像の画像データに対して、例えば運転者の顔や眼球を検知対象物とした特徴量算出および形状判別等の認識処理を行い、認識した検知対象物に基づき、運転者の視線ベクトルを算出し、さらに、この視線ベクトルに基づき、視線の対象位置を算出し、一連の処理を終了する。
【００１９】
上述したように、本実施の形態による視線検出装置１０によれば、運転者が眼鏡を装着しているか否かに応じて少なくとも可視光画像または赤外線画像に基づき運転者の視線を検出することにより、視線検出が不可となる状態が発生することを抑制することができる。すなわち、赤外線カメラ２２の撮影により得られる赤外線画像において、赤外線ＬＥＤ２３により運転者の眼球に照射された赤外線の角膜表面における反射像（プルキニエ像）を検出することができない場合であっても、可視光画像に基づき運転者の視線を継続して検出することができる。
また、運転者が眼鏡を装着していない場合、つまり赤外線ＬＥＤ２３により運転者の眼球に照射された赤外線が運転者の眼鏡で反射される虞がない場合には、赤外線画像に基づき運転者の視線を検出することにより、視線検出の検出精度が低下することを防止することができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の一実施形態に係る視線検出装置の構成図である。
【図２】図１に示す視線センサを搭載した車両を示す斜視図である。
【図３】運転者の眼鏡で反射される赤外線の反射像の一例を示す図である。
【図４】図１に示す視線検出装置の動作を示すフローチャートである。
【符号の説明】
【００２１】
１０  視線検出装置
２１  可視光カメラ（可視光撮影手段）
２２  赤外線カメラ（赤外線撮影手段）
２３  赤外線発光ダイオード（赤外線照射手段）
３１  眼鏡装着判定部（眼鏡装着判定手段）
３２  可視光視線算出部（視線検出手段）
３３  赤外線反射判定部（赤外線反射判定手段）
３４  赤外線視線算出部（視線検出手段）
【図１】
2005296382.tif 000003
【図２】
2005296382.tif 000004
【図３】
2005296382.tif 000005
【図４】
2005296382.tif 000006