(57)【要約】【課題】装置にかかるコストを高くすることがなく、かつ、装置の使用環境を限定することなく、暗瞳孔画像において、より大きく、より明るい角膜反射像を取得することのできる視線検出装置を提供する。【解決手段】第１光源および第３光源を点灯させて第１カメラで明瞳孔画像を取得し第２カメラで暗瞳孔画像を取得する第１画像取得と、第２光源および第３光源を点灯させて第２カメラで明瞳孔画像を取得し第１カメラで暗瞳孔画像を取得する第２画像取得とが行われ、第３光源は、第１カメラおよび第２カメラに対して、所定距離以上離間して配置されている。【選択図】図１
2017124037.tif 000002
【特許請求の範囲】
【請求項１】
離れて配置されてそれぞれが少なくとも眼を含む領域の画像を取得する第１カメラおよび第２カメラと、
前記第１カメラに接近して配置された第１光源と、
前記第２カメラに接近して配置された第２光源と、
前記第１カメラと前記第２カメラの中間位置に配置された第３光源と、
それぞれのカメラで取得した明瞳孔画像と暗瞳孔画像とから瞳孔画像を抽出する瞳孔画像抽出部とを有する視線検出装置であって、
前記第１光源および前記第３光源を点灯させて前記第１カメラで明瞳孔画像を取得し前記第２カメラで暗瞳孔画像を取得する第１画像取得と、
前記第２光源および前記第３光源を点灯させて前記第２カメラで明瞳孔画像を取得し前記第１カメラで暗瞳孔画像を取得する第２画像取得とが行われ、
前記第３光源は、前記第１カメラおよび前記第２カメラに対して、所定距離以上離間して配置されていることを特徴とする視線検出装置。
【請求項２】
前記第３光源からの出射光は前記眼に照射され、かつ、この照射光の前記眼の内部での反射光は前記第１カメラおよび前記第２カメラのいずれにも入射しないことを特徴とする請求項１に記載の視線検出装置。
【請求項３】
前記第１光源および前記第２光源からの出射光は８００ｎｍ以上９００ｎｍ以下の波長を有し、前記第３光源からの出射光は９００ｎｍを超えて１０００ｎｍ未満の波長を有することを特徴とする請求項１または請求項２に記載の視線検出装置。
【請求項４】
前記第３光源は、複数の個別光源からなり、前記複数の個別光源が配置された領域は前記第１カメラおよび前記第２カメラに対して前記所定距離以上離間して配置されていることを特徴とする請求項１から請求項３のいずれか１項に記載の視線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車の運転者その他の対象者の視線方向を検出可能な視線検出装置に関する。
【背景技術】
【０００２】
特許文献１に記載の三次元視点計測装置は、２台のカメラと、２台のカメラの近傍にそれぞれ配置された２つの光源とを備える。２つの光源は交互に点灯され、それぞれの光源の点灯時に２台のカメラで同時に撮影することによって、点灯した光源の近傍のカメラでは明瞳孔画像が得られ、光源から離れた位置のカメラでは暗瞳孔画像が得られる。このようにして得られた画像から対象者の瞳孔中心と角膜反射中心を検出し、これに基づいて三次元空間における視点の計測を行っている。ここで、角膜反射中心は、明瞳孔画像よりも暗瞳孔画像の方がより明りょうに現れやすいため、暗瞳孔画像において輝度の高い位置を角膜反射像として検出している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１９８７４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１に記載の三次元視点計測装置においては、点灯した光源から離れた位置のカメラで暗瞳孔画像を取得するときに、角膜反射像が小さく、暗いスポットとなってしまい、これを検出することが難しい場合がある。
これに対して、光源の出射強度を高めることによって、スポットとその周辺領域の輝度差を高めたり、高解像度や高感度を有するカメラを用いて撮影するなどの方法が考えられる。しかし、前者の場合には、対象者が車両の運転者である場合には、運転の妨げになるなどの支障があるため、使用できる環境が限定されてしまう。また、出射強度の高い光源や高性能のカメラは、装置にかかるコストを高くしてしまうという問題がある。
【０００５】
そこで本発明は、装置にかかるコストを高くすることがなく、かつ、装置の使用環境を限定することなく、暗瞳孔画像において、より大きく、より明るい角膜反射像を取得することのできる視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明の視線検出装置は、離れて配置されてそれぞれが少なくとも眼を含む領域の画像を取得する第１カメラおよび第２カメラと、第１カメラに接近して配置された第１光源と、第２カメラに接近して配置された第２光源と、第１カメラと第２カメラの中間位置に配置された第３光源と、それぞれのカメラで取得した明瞳孔画像と暗瞳孔画像とから瞳孔画像を抽出する瞳孔画像抽出部とを有する視線検出装置であって、第１光源および第３光源を点灯させて第１カメラで明瞳孔画像を取得し第２カメラで暗瞳孔画像を取得する第１画像取得と、第２光源および第３光源を点灯させて第２カメラで明瞳孔画像を取得し第１カメラで暗瞳孔画像を取得する第２画像取得とが行われ、第３光源は、第１カメラおよび第２カメラに対して、所定距離以上離間して配置されていることを特徴としている。
これにより、第１画像取得と第２画像取得の両方において、第１カメラと第２カメラの中間位置であって両者から所定距離以上離れて配置された第３光源を点灯させるため、暗瞳孔画像の取得において、角膜反射像のスポットの輝度および大きさを確保することが可能となる。
【０００７】
本発明の視線検出装置において、第３光源からの出射光は眼に照射され、かつ、この照射光の眼の内部での反射光は第１カメラおよび第２カメラのいずれにも入射しないことが好ましい。
このような第３光源を用いることによって、暗瞳孔画像の取得において、角膜反射像が小さくなったり、暗いスポットとなることを防ぐことができる。
【０００８】
本発明の視線検出装置において、第１光源および第２光源からの出射光は８００ｎｍ以上９００ｎｍ以下の波長を有し、第３光源からの出射光は９００ｎｍを超えて１０００ｎｍ未満の波長を有することが好ましい。
これにより、第３光源からの出射光は、眼球内で吸収されやすいことから、暗瞳孔画像の取得において、角膜反射像のスポットの輝度を高め、かつ、その大きさを確保することが可能となる。
【０００９】
本発明の視線検出装置において、第３光源は、複数の個別光源からなり、複数の個別光源が配置された領域は第１カメラおよび第２カメラに対して所定距離以上離間して配置されていることが好ましい。
これにより、第３光源全体としての出射強度その他の特性を調整しやすくなるとともに、構成の自由度を高めることができる。
【発明の効果】
【００１０】
本発明によると、装置にかかるコストを高くすることがなく、かつ、装置の使用環境を限定することなく、暗瞳孔画像において、より大きく、より明るい角膜反射像を取得することのできる視線検出装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る視線検出装置の構成を示す正面図である。
【図２】本発明の実施形態に係る視線検出装置の構成を示すブロック図である。
【図３】本発明の実施形態における各光源の発光と各カメラによる画像取得のタイミングを示すチャート図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態に係る視線検出装置について図面を参照しつつ詳しく説明する。
＜視線検出装置の構造＞
図１は、本実施形態の視線検出装置の構成を示す正面図、図２は、本実施形態の視線検出装置の構成を示すブロック図である。
本実施形態の視線検出装置は、図２に示すように、３つの光源１１、１２、１３と、２つのカメラ２１、２２と、演算制御部５０とを備え、自動車の車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。
【００１３】
図１に示すように、２つのカメラ２１、２２は、それぞれの光軸２１ｃ、２２ｃが互いに所定距離Ｌ１だけ離間して配置されており、光軸２１ｃ、２２ｃは運転者などの目に向けられる。カメラ２１、２２は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などの撮像素子を有しており、運転者の目を含む顔の画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。
【００１４】
図１に示すように、第１光源１１は、複数の個別光源として４個のＬＥＤ（発光ダイオード）光源１１ａ、１１ｂ、１１ｃ、１１ｄからなる。これらの光源１１ａ、１１ｂ、１１ｃ、１１ｄは、第１カメラ２１の外側において、その光軸２１ｃから一定の距離だけそれぞれ離れるように配置されている。また、第２光源１２は、図１に示すように、複数の個別光源として４個のＬＥＤ光源１２ａ、１２ｂ、１２ｃ、１２ｄからなる。これらのＬＥＤ光源１２ａ、１２ｂ、１２ｃ、１２ｄは、第２カメラ２２の外側において、その光軸２２ｃから一定の距離だけそれぞれ離れるように配置されている。第１カメラ２１の光軸２１ｃと第２カメラ２２の光軸２２ｃは距離Ｌ１だけ離れている。
【００１５】
第３光源１３は、複数の個別光源としての４個のＬＥＤ光源１３ａ、１３ｂ、１３ｃ、１３ｄからなる。これらのＬＥＤ光源１３ａ、１３ｂ、１３ｃ、１３ｄは、第１カメラ２１と第２カメラ２２の中間点１３０ｃを中心とする、直径Ｄの円形領域１３０内において、中間点１３０ｃから等距離の位置にそれぞれ配置されている。ここで、第３光源１３と、第１カメラ２１の光軸２１ｃとの距離はＬ２であり、また第３光源１３と、第２カメラ２２の光軸２２ｃとの距離もＬ２である。ここで、第３光源１３は、４個以外の個数の複数個の光源、又は、単一の光源で構成することもできる。第３光源１３を複数個の個別光源で構成すると、第３光源１３の全体としての出射強度その他の特性を調整しやすくなり、また、構成の自由度を高めることができる。
【００１６】
第１光源１１および第２光源１２の各ＬＥＤ光源は、検知光として、人の目の眼球内での光吸収率が低い波長の光を出射する。このような波長としては、８００ｎｍ以上９００ｎｍ以下の波長が好ましく、例えば、８５０ｎｍの赤外光（近赤外光）を出射する。これに対して、第３光源１３の各ＬＥＤ光源は、人の目の眼球内での光吸収率が高い波長の光を出射する。このような波長としては、９００ｎｍを超えて１０００ｎｍ未満の波長が好ましく、例えば、９４０ｎｍの赤外光を出射する。ただし、第１光源、第２光源および第３光源を８００ｎｍ以上９００ｎｍ以下の同一波長または９００ｎｍを超えて１０００ｎｍ未満の同一波長にしても良い。
【００１７】
第１カメラ２１と第１光源１１のＬＥＤ光源１１ａ、１１ｂ、１１ｃ、１１ｄとの光軸間距離は、視線検出装置と対象者としての運転者との距離を考慮して、第１カメラ２１と第２カメラ２２の光軸間距離Ｌ１に対して十分に短くしている。このため、第１光源１１の各ＬＥＤ光源は第１カメラ２１に対して互いの光軸が略同軸であるとみなすことができる。同様に、第２カメラ２２と第２光源１２のＬＥＤ光源１２ａ、１２ｂ、１２ｃ、１２ｄの光軸間距離は、第１カメラ２１と第２カメラ２２の光軸間距離Ｌ１に対して十分に短いため、第２光源１２は第２カメラ２２に対して互いの光軸が略同軸であるとみなすことができる。なお、光軸間距離Ｌ１は、例えば人の両目の間隔とほぼ一致する寸法に設定されている。
【００１８】
これに対して、第１カメラ２１と第２カメラ２２の光軸間距離Ｌ１は十分に長いために、第１光源１１および第１カメラ２１の各光軸と、第２光源１２および第２カメラ２２の各光軸とは、互いに同軸ではない。また、第３光源１３と、第１カメラ２１および第２カメラ２２のそれぞれとの距離Ｌ２も十分に長いため、第３光源１３と、第１カメラ２１および第２カメラ２２のそれぞれの光軸とは、それぞれ同軸ではない。以下の説明において、上述のそれぞれの状態に関し、２つの部材が略同軸である等と表現し、又は、２つの部材が非同軸である等と表現することがある。
【００１９】
図２に示す演算制御部５０は、コンピュータのＣＰＵやメモリで構成されており、図２に示す各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。
図２に示す演算制御部５０には、光源制御部３１と、画像比較部３２と、画像取得部３３、３４と、露光制御部３５と、瞳孔画像抽出部４０と、瞳孔中心算出部４３と、角膜反射光中心検出部４４と、視線方向算出部４５とが設けられている。
【００２０】
光源制御部３１は、露光制御部３５からの指示信号にしたがって、第１光源１１、第２光源１２、および第３光源１３の点灯・非点灯をそれぞれ制御する。カメラ２１、２２で取得された画像は、フレームごとに画像取得部３３、３４にそれぞれ取得される。
【００２１】
画像比較部３２は、画像取得部３３、３４で取得された画像、すなわち、明瞳孔画像又は暗瞳孔画像を抽出するための画像について、第１画像取得において取得した画像の明るさと、第２画像取得において取得した画像の明るさと、を互いに比較する。
ここで、第１画像取得とは、第１光源１１および第３光源１３から検知光を同時に与えたときに第１カメラ２１および第２カメラ２２から同時又は略同時に画像をそれぞれ取得する行程を意味し、第２画像取得とは、第２光源１２および第３光源１３から検知光を同時に与えたときに第１カメラ２１および第２カメラ２２から同時又は略同時に画像をそれぞれ取得する行程を意味する。なお、第２光源および第３光源１３から検知光を同時に与えるときが第１画像取得で、第１光源および第３光源１３から検知光を同時に与えるときが第２画像取得としてもよい。
【００２２】
画像比較部３２では、第１画像取得において、明瞳孔画像を得るために第１カメラ２１で取得された画像と、第２画像取得において、暗瞳孔画像を得るために第１カメラ２１で取得された画像との明るさが比較される。また、第１画像取得において、暗瞳孔画像を得るために第２カメラ２２で取得された画像と、第２画像取得において、明瞳孔画像を得るために第２カメラ２２で取得された画像との明るさが比較される。この比較結果を露光制御部３５に与えることにより、第１画像取得と第２画像取得において、第１カメラ２１で得られる明瞳孔画像と暗瞳孔画像との明るさの差（瞳孔部以外の顔画像の明るさの差）を無くし、または、少なくでき、また第２カメラ２２で得られる暗瞳孔画像と明瞳孔画像との明るさの差（瞳孔部以外の顔画像の明るさの差）を無くし、または、少なくできる。
【００２３】
また、他の実施の形態での画像比較部３２の動作として、第１画像取得において、第１カメラ２１で取得された明瞳孔画像を得るための画像と、次の第１画像取得において、第１カメラ２１で取得された明瞳孔画像を得るための画像とで明るさを比較し、第１画像取得において、第２カメラ２２で取得された暗瞳孔画像を得るための画像と、次の第１画像取得において、第２カメラ２２で取得された暗瞳孔画像を得るための画像とで明るさを比較してもよい。
同様に、第２画像取得と、その次の第２画像取得とで、明瞳孔画像を得るための画像どうしで明るさを比較し、第２画像取得と、その次の第２画像取得とで、暗瞳孔画像を得るための画像どうしで明るさを比較してもよい。この比較結果を露光制御部３５に与えることにより、第１画像取得と第２画像取得において、明るさのばらつきの少ない明瞳孔画像と暗瞳孔画像を得ることができるようになる。
あるいは、予め画像の明るさの基準をターゲット値として決めておく。画像比較部３２では、第１画像取得において、第１カメラ２１で取得された明瞳孔画像を得るための画像の明るさと、明瞳孔画像用のターゲット値とを比較し、また、第２カメラ２２で取得された暗瞳孔画像を得るための画像の明るさと、暗瞳孔画像用のターゲット値とを比較し、その比較結果が露光制御部３５に与えられてもよい。この制御では、先に行われた第１画像取得での画像の明るさを最適化するように、次の第１画像取得での露光条件が変更される。これは第２画像取得においても同じである。
画像どうしの明るさの比較、あるいは画像の明るさとターゲット値との比較は、例えば、画像取得部３３、３４で取得された画像全体の輝度値の平均値の比較若しくは合計値の比較である。あるいは、輝度の最大値と最小値の差の比較であってもよいし、輝度値の標準偏差を互いに比較してもよい。
【００２４】
露光制御部３５は、画像比較部３２による比較結果に応じて、第１画像取得と第２画像取得で取得する、比較すべく画像間の明るさの差が所定範囲内に収まるように、撮像のための露光条件を制御する。
露光制御部３５で制御する露光条件は、例えば、第１光源１１、第２光源１２、および第３光源１３の発光時間および発光強度、並びに、第１カメラ２１と第２カメラ２２による画像取得時間（カメラの露光時間）、センサーゲインのうちの少なくとも１つを制御する。この制御に対応する信号は、露光制御部３５から、光源制御部３１、第１カメラ２１、および第２カメラ２２に出力され、光源制御部３１では、制御信号にしたがって、第１光源１１、第２光源１２、および第３光源１３の発光時間および発光強度が設定され、第１カメラ２１および第２カメラ２２では、制御信号にしたがって、シャッタの開口時間に対応する画像取得時間、およびセンサーゲインが設定される。
【００２５】
画像取得部３３、３４で取得された画像は、フレームごとに瞳孔画像抽出部４０に読み込まれる。図２に示すように、瞳孔画像抽出部４０は、明瞳孔画像検出部４１と暗瞳孔画像検出部４２とを備える。
瞳孔画像抽出部４０では、明瞳孔画像検出部４１で検出された明瞳孔画像から暗瞳孔画像検出部４２で検出された暗瞳孔画像がマイナスされ、好ましくは瞳孔以外の画像が相殺されて、瞳孔の形状が明るくなった瞳孔画像信号が生成される。この瞳孔画像信号は、瞳孔中心算出部４３に与えられる。瞳孔中心算出部４３では、瞳孔画像信号が画像処理されて二値化され、瞳孔の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔の中心位置として算出される。あるいは、瞳孔画像の輝度分布から瞳孔の中心が求められる。
また、暗瞳孔画像検出部４２で検出された暗瞳孔画像信号は、角膜反射光中心検出部４４に与えられる。暗瞳孔画像信号には、角膜の反射点から反射された反射光による輝度信号が含まれている。
【００２６】
第１光源１１と第２光源１２のいずれかの光源が点灯しているときには、点灯している光源からの光が、角膜の表面で反射されて、その光が第１カメラ２１と第２カメラ２２の双方で取得され、明瞳孔画像検出部４１と暗瞳孔画像検出部４２で検出される。特に、暗瞳孔画像検出部４２では、瞳孔の画像が比較的暗いため、角膜の反射点から反射された反射光が明るくスポット画像として検出される。
角膜の反射点からの反射光はプルキニエ像を結像するものであり、カメラ２１、２２の撮像素子には、きわめて小さい面積のスポット画像が取得される。角膜反射光中心検出部４４では、スポット画像が画像処理されて、角膜の反射点からの反射光の中心が求められる。
【００２７】
瞳孔中心算出部４３で算出された瞳孔中心算出値と角膜反射光中心検出部４４で算出された角膜反射光中心算出値は、視線方向算出部４５に与えられる。視線方向算出部４５では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。
視線方向算出部４５では、瞳孔の中心と、角膜からの反射点の中心との直線距離αが算出される。また瞳孔の中心を原点とするＸ−Ｙ座標が設定され、瞳孔の中心と角膜からの反射点の中心とを結ぶ線とＸ軸との傾き角度βが算出される。さらに、前記直線距離αと前記傾き角度βとから、視線方向が算出される。
前記の瞳孔画像抽出と、角膜反射光中心の検出と、これらを利用した視線方向の算出は、２つのカメラ２１、２２で得られたステレオ画像に基づいて行われるため、視線方向の検出を三次元的に求めることが可能になる。
【００２８】
＜撮像および検知動作＞
視線検出装置においては、第１画像取得で第１光源１１および第３光源１３を発光させて、この間に、第１カメラ２１と第２カメラ２２で同時又は略同時に画像を取得する。また、第２の画像取得では、第２光源および第３光源１３を発光させ、この間に、第１カメラ２１と第２カメラ２２で同時又は略同時に画像を取得する。
第１画像取得および第２の画像取得と、明瞳孔画像および暗瞳孔画像の検知との関係は以下（Ａ）、（Ｂ）の通りである。
【００２９】
（Ａ）第１画像取得：第１光源１１および第３光源１３が点灯、
（Ａ−１）第１カメラ２１で明瞳孔画像を得るための画像取得。
（Ａ−２）第２カメラ２２で暗瞳孔画像を得るための画像取得。
（Ｂ）第２画像取得：第２光源１２および第３光源１３が点灯、
（Ｂ−１）第２カメラ２２で明瞳孔画像を得るための画像取得。
（Ｂ−２）第１カメラ２１で暗瞳孔画像を得るための画像取得。
前記（Ａ）第１画像取得と（Ｂ）第２画像取得は、基本的に交互に行なわれる。
【００３０】
第１画像取得と第２画像取得を１回ずつ行った後において、画像比較部３２は、画像取得を行うたびに、直前に行った、第１画像取得と第２画像取得で取得した画像の明るさを互いに比較し、比較結果を露光制御部３５へ送出する。比較結果を受けた露光制御部３５は、その比較結果に応じて、今後の画像取得で取得する画像の明るさが所定範囲内に収まるように光源の露光条件を制御するための制御信号を生成する。この制御信号は、次の画像取得で用いる光源に対応する光源制御部３１、および、カメラ２１、２２に送出され、例えば、光源においては発光時間又は発光強度が調整され、カメラにおいては露光時間、ゲインが調整される。
【００３１】
また、この実施の形態では、第１画像取得において、第１カメラで明瞳孔画像が取得され第２カメラで暗瞳孔画像が取得され、この時点で、明瞳孔画像と暗瞳孔画像から瞳孔画像を得て、さらに角膜反射光を得て、視線方向を算出できる。同様に、第２画像取得においても、第１カメラで暗瞳孔画像が取得され第２カメラで明瞳孔画像が取得されるため、この時点で、瞳孔画像と角膜反射光とから視線方向を算出できる。
このように、第１画像取得と第２画像取得のそれぞれの時点で視線方向を算出できるので、視線検出動作を高速化することが可能である。
【００３２】
以下、図３を参照して、より具体的に説明する。図３は、本実施形態における各光源の発光と各カメラによる画像取得のタイミングを示すチャート図である。図３の（Ａ）〜（Ｅ）は、それぞれ以下の信号等のタイミングを示している。
（Ａ）：第１光源１１の発光タイミング
（Ｂ）：第２光源１２の発光タイミング
（Ｃ）：第３光源１３の発光タイミング
（Ｄ）：第１カメラ２１における画像取得（露光）のタイミング
（Ｅ）：第２カメラ２２における画像取得（露光）のタイミング
ここで、図３（Ｄ）と図３（Ｅ）に示すように、第１カメラ２１による画像取得と第２カメラ２２による画像取得は同時に開始され、かつ同時に終了する。また、第１光源１１、第２光源１２、及び第３光源１３の発光時間は互いに同一である。
【００３３】
図３に示す例では、第１画像取得として、第１光源１１の発光Ｌ１１と第３光源１３の発光Ｌ３１が同時に行われ、これらの発光に合わせて、第１カメラ２１における露光Ｅ１１および第２カメラ２２における露光Ｅ２１が同時に行われる。このときに第１光源１１と略同軸の第１カメラ２１で取得する画像は明瞳孔画像抽出のための画像であって、第１光源１１と非同軸の第２カメラ２２で取得する画像は暗瞳孔画像抽出のための画像である。
【００３４】
上記発光Ｌ１１、Ｌ３１が終了すると、同時に露光Ｅ１１、Ｅ２１も終了し、露光の終了と同時に、第１カメラ２１および第２カメラ２２から画像取得部３３、３４へのデータ転送とフレームへの展開がそれぞれ開始される。データ転送の時間は、３つの光源１１、１２、１３の露光時間に拘わらず、各区間において同一である。
【００３５】
次に、第２画像取得として、第２光源１２の発光Ｌ２１と第３光源１３の発光Ｌ３２が同時に行われ、これらの発光に合わせて、第１カメラ２１における露光Ｅ１２および第２カメラ２２における露光Ｅ２２が同時に行われる。第２光源１２と略同軸の第２カメラ２２で取得する画像は明瞳孔画像抽出のための画像であって、第２光源１２と非同軸の第１カメラ２１で取得する画像は暗瞳孔画像抽出のための画像である。
【００３６】
上記発光Ｌ２１、Ｌ３２が終了すると、同時に露光Ｅ１２、Ｅ２２も終了し、露光の終了と同時に、第１カメラ２１および第２カメラ２２から画像取得部３３、３４へのデータ転送とフレームへの展開がそれぞれ開始される。ここまでの発光Ｌ１１、Ｌ２１、Ｌ３１、Ｌ３２の時間、および、露光Ｅ１１、Ｅ１２、Ｅ２１、Ｅ２２の時間は、予め設定した同一の時間である。
【００３７】
ここで、画像比較部３２は、先に行われた第１画像取得と第２画像取得とで得られた画像の明るさを互いに比較し、比較結果を露光制御部３５へ送出する。この比較では、第１画像取得で得られた明瞳孔画像のための画像の明るさと、第２画像取得で得られた暗瞳孔画像のための画像の明るさとが比較される。また、第１画像取得で得られた暗瞳孔画像のための画像の明るさと、第２画像取得で得られた明瞳孔画像のための画像の明るさとが比較される。この比較の結果、例えば、第１画像取得で得られた画像の明るさが、第２画像取得で得られた画像の明るさよりも低下している場合には、露光制御部３５は、次の期間の第１画像取得で、第１光源１１の発光Ｌ１２における露光条件を高め（例えばカメラの画像取得時間（露光）を長くし）、受光量を高めるようにするとよい。
【００３８】
以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）第１画像取得と第２画像取得の両方において、第１カメラ２１と第２カメラ２２の中間位置であって両者から所定距離以上離れて配置された第３光源１３を点灯させるため、暗瞳孔画像の取得において、角膜反射像のスポットの輝度を高めることができ、これにより角膜反射像のスポットを明るくし、このスポットの大きさを確保することが可能となる。
（２）第３光源１３からの出射光が眼に照射し、かつ、この照射光の眼の内部での反射光が第１カメラ２１および第２カメラ２２のいずれにも入射しない構成にしているため、暗瞳孔画像の取得において、角膜反射像が小さくなったり、暗いスポットとなることを防ぐことができる。
（３）第１光源１１および第２光源１２からの出射光の波長を８００ｎｍ以上９００ｎｍ以下とし、第３光源１３からの出射光の波長を９００ｎｍを超えて１０００ｎｍ未満とすることにより、第３光源１３からの出射光は、眼球内で吸収されやすいことから、暗瞳孔画像の取得において、角膜反射像のスポットの輝度を高め、かつ、その大きさを確保することが可能となる。
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。
【産業上の利用可能性】
【００３９】
以上のように、本発明に係る視線検出装置は、装置周辺の明るさが低い状況や明るさが変動しやすい環境などにおいて角膜反射像が小さく、暗いスポットになりやすいとき場合であっても、暗瞳孔画像を確実に取得できる点で有用である。
【符号の説明】
【００４０】
１１    第１光源
１１ａ、１１ｂ、１１ｃ、１１ｄ  ＬＥＤ光源
１２    第２光源
１２ａ、１２ｂ、１２ｃ、１２ｄ  ＬＥＤ光源
１３    第３光源
１３ａ、１３ｂ、１３ｃ、１３ｄ  ＬＥＤ光源
２１    第１カメラ
２１ｃ  光軸
２２    第２カメラ
２２ｃ  光軸
３１    光源制御部
３２    画像比較部
３３、３４  画像取得部
３５    露光制御部
４０    瞳孔画像抽出部
４１    明瞳孔画像検出部
４２    暗瞳孔画像検出部
４３    瞳孔中心算出部
４４    角膜反射光中心検出部
４５    視線方向算出部
５０    演算制御部
１３０  円形領域
１３０ｃ  中間点
【図１】
2017124037.tif 000003
【図２】
2017124037.tif 000004
【図３】
2017124037.tif 000005