(57)【要約】【課題】明るさが変動し、明るさが一定値未満になる測定場所であっても、対象者の視線方向を正確に検出することのできる視線検出装置を提供する。【解決手段】視線検出装置の周囲の明るさに関する判定情報を取得する判定情報取得部を備え、画像取得部は、光軸が互いに略同軸とならない所定距離だけ離間されるように配置された複数のカメラから画像を取得し、複数の光源は、複数のカメラのいずれかに対して、光軸が略同軸となるようにそれぞれ配置され、複数の光源は、第１波長の検知光を出射する第１光源と、第１波長よりも長い波長であって対象者が視認できない第２波長の検知光を出射する第２光源とを含み、視線検出装置は、判定情報取得部によって取得された判定情報に基づいて、明瞳孔画像と暗瞳孔画像のいずれの画像を抽出するかに応じて、複数の光源と複数のカメラの組み合わせを選択する撮像制御部を備える。【選択図】図２
2016051312.tif 000002
【特許請求の範囲】
【請求項１】
対象者の目に検知光を与える複数の光源と、少なくとも目を含む領域の画像を取得するカメラと、前記カメラで取得した明瞳孔画像と暗瞳孔画像とから瞳孔画像を抽出する瞳孔画像抽出部とを有する視線検出装置において、
前記カメラに近い位置に配置された近接の光源と、それよりも前記カメラから離れた位置に配置された遠隔の光源とを有し、前記明瞳孔画像を取得するために前記近接の光源を点灯し、前記暗瞳孔画像を取得するために前記遠隔の光源を点灯する光源制御部と、
前記カメラによる撮像領域の明るさに関する判定情報を取得して、前記近接の光源ならびに前記遠隔の光源から発せられる前記検知光の光量を変化させる制御を行う撮像制御部と、が設けられていることを特徴とする視線検出装置。
【請求項２】
前記撮像制御部では、前記近接の光源ならびに前記遠隔の光源から発せられる前記検知光の光量を変化させる制御を行うことに代えて、またはこの制御と併行して、異なる波長の検知光を発する複数種類の光源を選択する制御を行う請求項１記載の視線検出装置。
【請求項３】
前記暗瞳孔画像から角膜反射光を検出する角膜反射光中心検出部と、前記瞳孔画像と前記角膜反射光とから前記対象者の視線方向を算出する視線方向算出部とを有する請求項１または２記載の視線検出装置。
【請求項４】
前記近接の光源と前記遠隔の光源がそれぞれ複数設けられ、前記撮像制御部では、前記近接の光源と前記遠隔の光源の点灯数を切換えて、前記検知光の光量を変化させる請求項１記載の視線検出装置。
【請求項５】
前記近接の光源と前記遠隔の光源は、第１波長の検知光を出射する第１光源と、前記第１波長よりも波長が長い第２波長の検知光を出射する第２光源とを含んでおり、
前記撮像制御部では、前記第１光源のみからの検知光の発光と、前記第２光源のみからの検知光の発光とを切換えて、前記検知光の光量を変化させる請求項２記載の視線検出装置。
【請求項６】
前記近接の光源と前記遠隔の光源は、第１波長の検知光を出射する第１光源と、前記第１波長よりも波長が長い第２波長の検知光を出射する第２光源とを含んでおり、
前記撮像制御部では、前記第１光源と前記第２光源の双方からの検知光の発光と、前記第１光源と前記第２光源のいずれか一方のみからの検知光の発光とを切換えて、前記検知光の光量を変化させる請求項２記載の視線検出装置。
【請求項７】
離れて配置された第１カメラならびに第２カメラと、２組の前記光源とを有し、一方の組の光源が前記第１カメラに接近して配置され、他方の組の光源が前記第２カメラに接近して配置されており、
一方の組の前記光源が、前記第１カメラに対して前記近接の光源となり、前記第２カメラに対しては前記遠隔の光源となり、
他方の組の前記光源が、前記第２カメラに対して前記近接の光源となり、前記第１カメラに対しては前記遠隔の光源となる請求項１ないし６のいずれかに記載の視線検出装置。
【請求項８】
一方の組の前記光源を点灯したときに、前記第１カメラで明瞳孔画像が取得されて前記第２カメラで暗瞳孔画像が取得され、
他方の組の前記光源を点灯したときに、前記第２カメラで明瞳孔画像が取得されて前記第１カメラで暗瞳孔画像が取得される請求項７記載の視線検出装置。
【請求項９】
前記撮像領域の照度を測定する照度測定部が設けられ、
前記照度測定部で測定された照度に基づいて、前記撮像制御部による制御動作が行われる請求項１ないし８のいずれかに記載の視線検出装置。
【請求項１０】
前記瞳孔画像から瞳孔径を算出する瞳孔径算出部が設けられ、
前記瞳孔径算出部が算出した瞳孔径に基づいて、前記撮像制御部による制御動作が行われる請求項１ないし８のいずれかに記載の視線検出装置。
【請求項１１】
ＧＰＳから位置情報及び日時情報を取得する位置時刻取得部が設けられ、
前記位置時刻取得部が取得した情報に基づいて、前記撮像制御部による制御動作が行われる請求項１ないし８のいずれかに記載の視線検出装置。
【請求項１２】
前記撮像制御部は、前記判定情報に基づいて、検知光の発光状態を複数段階に変化させる制御を行う請求項１ないし１１いずれかに記載の視線検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車の運転者その他の対象者の視線方向を検出可能な視線検出装置に関する。
【背景技術】
【０００２】
特許文献１に記載の注視点検出方法は、２台以上のカメラと、これらのカメラの開口部の外側に設けられた光源とを用いて、対象者の顔画像を明瞳孔画像及び暗瞳孔画像として生成し、明瞳孔画像と暗瞳孔画像との差分画像から瞳孔画像が抽出される。さらに角膜反射光も検出される。カメラと瞳孔を結ぶ基準線に垂直な平面上における対象者の角膜反射点から瞳孔の中心までのベクトルが計算され、このベクトルに基づいて、各カメラの基準線に対する対象者の視線の方向が所定の関数を用いて計算される。
【０００３】
さらに、各カメラに対応して計算した視線の方向が近くなるように前記関数を補正し、補正された関数を用いて視線の方向を計算して視線の所定の平面上の交点を求めることによって、対象者の注視点の検出精度を高めている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開２０１２／０２０７６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の注視点検出方法は、主に近赤外線や赤外線光の波長の光が目を含む顔に照射されるため、可視光の波長の光に比べて、人の目で検知されにくい。しかし、夜間走行中の自動車の室内などのように測定場所が暗いときや、昼間の走行でトンネル内に入ったときのように測定場所の明るさが急に暗くなるようなときに、前記光源からの光が対象者の視界に入ることがあると、対象者にとっては眩しく感じられることがある。このとき、対象者が視線を逸らすことがあると、視線方向を正確に算出できないことになり、さらには、視線を逸らすことで不注意となるおそれもある。
【０００６】
一方、夜間など暗いときに視界に入っても眩しく感じられない程度の弱い光量の光を使用すると、昼間で気候が晴れのときなどのように周囲環境が明るくなっていると、前記明瞳孔画像において、網膜で反射されて瞳孔を通じて検出されるべき光と、瞳孔以外の顔領域との輝度の差が少なくなりすぎて、明瞳孔画像と暗瞳孔画像の差分画像から瞳孔画像を正確に検出するのが難しくなる。
【０００７】
そこで本発明は、使用環境が暗くなったときに、視界に入ることがあっても、眩しく感じるのを抑制でき、しかも使用環境の明るさに変動が生じても、常に画像を最適な輝度で取得できるようにして、対象者の視線方向を正確に検出することのできる視線検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明は、対象者の目に検知光を与える複数の光源と、少なくとも目を含む領域の画像を取得するカメラと、前記カメラで取得した明瞳孔画像と暗瞳孔画像とから瞳孔画像を抽出する瞳孔画像抽出部とを有する視線検出装置において、
前記カメラに近い位置に配置された近接の光源と、それよりも前記カメラから離れた位置に配置された遠隔の光源とを有し、前記明瞳孔画像を取得するために前記近接の光源を点灯し、前記暗瞳孔画像を取得するために前記遠隔の光源を点灯する光源制御部と、
前記カメラによる撮像領域の明るさに関する判定情報を取得して、前記近接の光源ならびに前記遠隔の光源から発せられる前記検知光の光量を変化させる制御を行う撮像制御部と、が設けられていることを特徴としている。
【０００９】
または、本発明は、前記撮像制御部では、前記近接の光源ならびに前記遠隔の光源から発せられる前記検知光の光量を変化させる制御を行うことに代えて、またはこの制御と併行して、異なる波長の検知光を発する複数種類の光源を選択する制御を行うものである。
【００１０】
本発明の視線検出装置は、前記暗瞳孔画像から角膜反射光を検出する角膜反射光中心検出部と、前記瞳孔画像と前記角膜反射光とから前記対象者の視線方向を算出する視線方向算出部とを有するものとして構成できる。
【００１１】
本発明の視線検出装置は、周囲の明るさに関する判定情報に基づいて、検知光の光量を選択し、または検知光の波長を選択しているため、夜間の車両内などのように暗い使用環境下において、光源の発光点が視野に入ることがあっても、その光が目で眩しく感じられるのを抑制できる。また使用環境が明るいときであっても、対象者の視線方向を正確に検出することが可能になる。
【００１２】
本発明の視線検出装置は、前記近接の光源と前記遠隔の光源がそれぞれ複数設けられ、前記撮像制御部では、前記近接の光源と前記遠隔の光源の点灯数を切換えて、前記検知光の光量を変化させる。
【００１３】
または、本発明は、前記近接の光源と前記遠隔の光源は、第１波長の検知光を出射する第１光源と、前記第１波長よりも波長が長い第２波長の検知光を出射する第２光源とを含んでおり、前記撮像制御部では、前記第１光源のみからの検知光の発光と、前記第２光源のみからの検知光の発光とを切換えて、前記検知光の光量を変化させる。
【００１４】
あるいは、本発明は、前記近接の光源と前記遠隔の光源は、第１波長の検知光を出射する第１光源と、前記第１波長よりも波長が長い第２波長の検知光を出射する第２光源とを含んでおり、前記撮像制御部では、前記第１光源と前記第２光源の双方からの検知光の発光と、前記第１光源と前記第２光源のいずれか一方のみからの検知光の発光とを切換えて、前記検知光の光量を変化させる。
【００１５】
上記本発明は、視線検出装置の使用環境が暗くなったときに、検知光を、対象者の目に刺激を与えにくい第２波長にすることができるため、対象者に眩しさを感じさせず、特に対象者が運転者であるときは運転に支障を生じさせないようにできる。また、視線検出装置の周囲が明るい場合は、適切な強度の検知光を与えることにより、高精度に視線検出を行うことができる。
【００１６】
本発明の視線検出装置は、離れて配置された第１カメラならびに第２カメラと、２組の前記光源とを有し、一方の組の光源が前記第１カメラに接近して配置され、他方の組の光源が前記第２カメラに接近して配置されており、
一方の組の前記光源が、前記第１カメラに対して前記近接の光源となり、前記第２カメラに対しては前記遠隔の光源となり、他方の組の前記光源が、前記第２カメラに対して前記近接の光源となり、前記第１カメラに対しては前記遠隔の光源となるものが好ましい。
【００１７】
この場合に、一方の組の前記光源を点灯したときに、前記第１カメラで明瞳孔画像が取得されて前記第２カメラで暗瞳孔画像が取得され、他方の組の前記光源を点灯したときに、前記第２カメラで明瞳孔画像が取得されて前記第１カメラで暗瞳孔画像が取得されることが好ましい。
【００１８】
上記視線検出装置は、一方の組の光源が点灯しているときに、第１カメラと第２カメラとで同時にまたは交互に画像を取得し、他方の組の光源が点灯しているときも、第１カメラと第２カメラとで同時にまたは交互に画像を取得することで、２つのカメラでほぼ同時に暗瞳孔画像と明瞳孔画像を取得できるようになり、カメラの撮像のタイミング数を最少にできる。
【００１９】
本発明は、例えば、前記撮像領域の照度を測定する照度測定部が設けられ、前記照度測定部で測定された照度に基づいて、前記撮像制御部による制御動作が行われる。
【００２０】
または、前記瞳孔画像から瞳孔径を算出する瞳孔径算出部が設けられ、前前記瞳孔径算出部が算出した瞳孔径に基づいて、前記撮像制御部による制御動作が行われる。
【００２１】
あるいは、ＧＰＳから位置情報及び日時情報を取得する位置時刻取得部が設けられ、前記位置時刻取得部が取得した情報に基づいて、前記撮像制御部による制御動作が行われる。
【００２２】
さらに本発明の視線検出装置は、前記撮像制御部は、前記判定情報に基づいて、検知光の光量を複数段階に変化させる制御を行うものとして構成できる。
【発明の効果】
【００２３】
本発明によると、視線検出装置の周囲の明るさに関する判定情報に基づいて、明るさに応じた最適な検知光の光量を選択でき、あるいは検知光の波長を選択でき、さらには、光源とカメラの組み合わせを選択することも可能となる。そのため、例えば車両内のように明るさが変動し、明るさが一定値未満になる測定場所においても、対象者の視線方向を常時正確に検出することが可能となる。また、暗い使用環境下において、光源の発光点が視界に入っても、眩しすぎると感じることがなくなる。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態に係る視線検出装置の構成を示す正面図である。
【図２】本発明の実施形態に係る視線検出装置の構成を示すブロック図である。
【図３】人の目の視線の向きとカメラとの関係を示す平面図である。
【図４】瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。
【図５】判定情報の取得から点灯までの流れを示すフローチャートである。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態に係る視線検出装置について図面を参照しつつ詳しく説明する。
【００２６】
＜視線検出装置の構造＞
図１は、本実施形態の視線検出装置の構成を示す正面図、図２は、本実施形態の視線検出装置の構成を示すブロック図である。本実施形態の視線検出装置は、図２に示すように、２つの受像装置１０、２０と、照度測定部３１と、位置時刻取得部３２と、演算制御部ＣＣとを備え、車室内の、例えばインストルメントパネルやウインドシールドの上部などに、対象者としての運転者の顔に向けるように設置される。
【００２７】
図１に示すように、受像装置１０に設けられた第１カメラ１３の光軸１３Ｃと、受像装置２０に設けられた第２カメラ２３の光軸２３Ｃは、所定距離Ｌ１だけ離間するように配置されている。この距離Ｌ１は、例えば人の両目の間隔を参照して決められている。カメラ１３、２３は、ＣＭＯＳ（相補型金属酸化膜半導体）やＣＣＤ（電荷結合素子）などの撮像素子を有しており、運転者の目を含む顔の画像を取得する。撮像素子では、二次元的に配列された複数の画素で光が検出される。
【００２８】
図１と図２に示すように、受像装置１０は、第１カメラ１３と、第１光源１１ならびに第２光源１２を有している。以下では、受像装置１０に設けられている複数の光源１１，１２を、左組の光源と呼ぶことがある。
【００２９】
第１光源１１は、複数（４つ）のＬＥＤ（発光ダイオード）光源１１１、１１２、１１３、１１４からなり、第２光源１２は、複数（４つ）のＬＥＤ光源１２１、１２２、１２３、１２４からなる。ＬＥＤ光源１１１、１１２、１１３、１１４は、第１カメラ１３のレンズ１３Ｌの両側に配置され、それらの光軸１１１Ｃ、１１２Ｃ、１１３Ｃ、１１４Ｃと第１カメラ１３の光軸１３Ｃとの距離Ｌ１１をなるべく接近させている。ＬＥＤ光源１２１、１２２、１２３、１２４は、ＬＥＤ光源１１１、１１２、１１３、１１４のさらに左右外側に配置され、それらの光軸１２１Ｃ、１２２Ｃ、１２３Ｃ、１２４Ｃと第１カメラ１３の光軸１３Ｃとの距離Ｌ２は、前記距離Ｌ１１よりも長く設定されている。
【００３０】
図１、２に示すように、受像装置２０は、第２カメラ２３と、第１光源２１ならびに第２光源２２を有している。以下では、受像装置２０に設けられている複数の光源２１，２２を、右組の光源と呼ぶことがある。
【００３１】
第１光源２１は、複数（４つ）のＬＥＤ光源２１１、２１２、２１３、２１４からなり、第２光源２２は、複数（４つ）のＬＥＤ光源２２１、２２２、２２３、２２４からなる。ＬＥＤ光源２１１、２１２、２１３、２１４は、第２カメラ２３のレンズ２３Ｌの両側に配置され、それらの光軸２１１Ｃ、２１２Ｃ、２１３Ｃ、２１４Ｃと第２カメラ２３の光軸２３Ｃとの距離Ｌ２１をなるべく接近させている。ＬＥＤ光源２２１、２２２、２２３、２２４は、ＬＥＤ光源２１１、２１２、２１３、２１４のさらに左右外側に配置され、それらの光軸２２１Ｃ、２２２Ｃ、２２３Ｃ、２２４Ｃと第２カメラ２３の光軸２３Ｃとの距離Ｌ２２は、前記距離Ｌ２１よりも長く設定されている。
【００３２】
ここで、第１カメラ１３とＬＥＤ光源１１１、１１２、１１３、１１４の光軸間距離Ｌ１１、及び、第１カメラ１３とＬＥＤ光源１２１、１２２、１２３、１２４の光軸間距離Ｌ１２は、視線検出装置と対象者としての運転者との距離を考慮して、第１カメラ１３と第２カメラ２３の光軸間距離Ｌ１に対して十分に短いため、第１光源１１と第２光源１２は、第１カメラ１３に対して互いの光軸が実質的に同軸であるとみなすことができる。同様に、第２カメラ２３とＬＥＤ光源２１１、２１２、２１３、２１４の光軸間距離Ｌ２１、及び、第２カメラ２３とＬＥＤ光源２２１、２２２、２２３、２２４の光軸間距離Ｌ２２は、第１カメラ１３と第２カメラ２３の光軸間距離Ｌ１に対して十分に短いため、第１光源２１と第２光源２２は、カメラ２３に対して互いの光軸が実質的に同軸であるとみなすことができる。これに対して、第１カメラ１３と第２カメラ２３の光軸間距離Ｌ１が十分に長いため、左組の第１光源１１と第２光源１２ならびに第１カメラ１３の各光軸と、右組の第１光源２１と第２光源２２ならびに第２カメラ２３の各光軸とは、実質的に同軸ではない。
【００３３】
以下の説明において、２つの部材の光軸が実質的に同軸であることを、２つの部材が略同軸である等と表現し、２つの部材の光軸が実質的に同軸でないことを、２つの部材が非同軸である等と表現することがある。
【００３４】
第１光源１１のＬＥＤ光源１１１、１１２、１１３、１１４、及び、第１光源２１のＬＥＤ光源２１１、２１２、２１３、２１４は、検知光として波長が８５０ｎｍ（第１波長）の赤外光（近赤外光）を出射し、この検知光を対象者の目に与えることができるように配置されている。また、第２光源１２のＬＥＤ光源１２１、１２２、１２３、１２４、及び、第２光源２２のＬＥＤ光源２２１、２２２、２２３、２２４は、検知光として波長が９４０ｎｍ（第２波長）の赤外光を出射し、この検知光を対象者の目に与えることができるように配置されている。
【００３５】
なお、第１光源１１、２１、第２光源１２、２２の各ＬＥＤ光源から出射する光の波長は、第１光源１１、２１の方が短く、第２光源１２、２２の方が長いものであれば、上記以外の波長であってもよい。
【００３６】
図２に示す照度測定部３１は、視線検出装置の周囲の明るさとしての照度を測定する照度センサであり、特に、対象者側の明るさを測定する。
【００３７】
位置時刻取得部３２は、ＧＰＳ（グローバル・ポジショニング・システム）から位置情報及び日時情報を取得する受信機である。なお、日時情報は、自身の計時機能によって取得してもよい。
【００３８】
演算制御部ＣＣは、コンピュータのＣＰＵやメモリで構成されており、図２に示す各ブロックの機能は、予めインストールされたソフトウエアを実行することで演算が行われる。
【００３９】
演算制御部ＣＣには、光源制御部４１、４２と、撮像制御部４３と、画像取得部４４、４５と、瞳孔画像抽出部５０と、瞳孔中心算出部５３と、瞳孔径算出部５４と、角膜反射光中心検出部５５と、視線方向算出部５６とが設けられている。
【００４０】
光源制御部４１は、第１光源１１と第２光源１２の点灯・非点灯を制御し、光源制御部４２は、第１光源２１と第２光源２２の点灯・非点灯を制御する。カメラ１３、２３で取得された画像は、フレームごとに画像取得部４４、４５にそれぞれ取得される。
【００４１】
撮像制御部４３には、照度測定部３１によって測定された視線検出装置の周囲の照度情報と、位置時刻取得部３２で取得された位置情報及び日時情報と、瞳孔径算出部５４で算出された瞳孔径情報とが入力される。ここで、照度測定部３１、位置時刻取得部３２、及び、瞳孔径算出部５４が、判定情報取得部である。
【００４２】
撮像制御部４３は、入力された情報に基づいて、第１光源１１、２１、及び、第２光源１２、２２のいずれを点灯させるかの切換制御を行うとともに、第１カメラ１３と第２のカメラ２３の画像取得タイミングを設定する。別言すると、撮像制御部４３は、入力された情報に基づいて、複数の光源と複数のカメラの組み合わせを選択する。撮像制御部４３は、この選択結果に基づいて、点灯させる光源に対応する光源制御部４１，４２に対して、点灯を指示する信号を出力するとともに、画像を取得するカメラ１３，２３に対して撮像を指示する信号を出力する。これにより、選択された光源の点灯と、選択されたカメラによる撮像が同期して行われる。
【００４３】
画像取得部４４、４５で取得された画像は、フレームごとに瞳孔画像抽出部５０に読み込まれる。瞳孔画像抽出部５０は、明瞳孔画像検出部５１と暗瞳孔画像検出部５２とを備えている。
【００４４】
＜明瞳孔画像と暗瞳孔画像＞
図３は、対象者の目６０の視線の向きとカメラとの関係を模式的に示す平面図である。図４は、瞳孔中心と角膜反射光の中心とから視線の向きを算出するための説明図である。図３（Ａ）と図４（Ａ）では、対象者の視線方向ＶＬがカメラの光軸１３Ｃと光軸２３Ｃとの中間に向けられており、図３（Ｂ）と図４（Ｂ）では、視線方向ＶＬがカメラの光軸１３Ｃ側へずれている。ここでは、受像装置１０から目６０に向かって検知光を与える例について説明するが、受像装置２０から検知光を与える場合も同様である。
【００４５】
目６０は前方に角膜６１を有し、その後方に瞳孔６２と水晶体６３が位置している。そして最後部に網膜６４が存在している。
【００４６】
目を含む領域の画像をカメラ１３，２３で取得するときに、点灯させる光源を選択することで、瞳孔６２の明るさが相違する画像を得ることができる。明瞳孔画像と暗瞳孔画像は、画像内の瞳孔６２の明るさの違いを相対的に表した概念であり、２つの画像を比較したときに瞳孔６２が明るい方の画像が明瞳孔画像であり、瞳孔６２が暗い方の画像が暗瞳孔画像である。
【００４７】
暗瞳孔画像と明瞳孔画像を取得するために、従来は、カメラに略同軸に配置されている第１光源１１の発光と第２光源１２の発光とを切換える方法が採用されていた。
【００４８】
すなわち、第１光源１１の波長８５０ｎｍは、眼球内での吸収率が低く網膜６４で反射されやすいため、第１光源１１が点灯したときに、第１光源１１と略同軸の第１カメラ１３で取得される画像では、網膜６４で反射された赤外光が瞳孔６２を通じて検出され、瞳孔６２が明るく見える。この画像が明瞳孔画像として明瞳孔画像検出部５１で抽出される。これは、第１光源２１が点灯したときに、これと略同軸に配置された第２カメラ２３で取得される画像についても同様である。
【００４９】
第２光源１２の波長９４０ｎｍは、眼球内での吸収率が高く網膜６４で反射されにいため、第２光源１２が点灯したときに第２光源１２と略同軸の第１カメラ１３で取得される画像では、網膜６４から赤外光がほとんど反射されず、瞳孔６２が暗く見える。この画像が暗瞳孔画像として、暗瞳孔画像検出部５２で抽出される。これは、第２光源２２が点灯したときに、これと略同軸のカメラ２３で取得される画像についても同様である。
【００５０】
本実施の形態では、さらに次のように点灯する光源を切換えることで、明瞳孔画像と暗瞳孔画像とを取得できるようにしている。
【００５１】
図３（Ａ）に示すように、左側の受像装置１０の光軸１３Ｃと右側の受像装置の光軸２３Ｃは、異なる角度で対象者の目６０に与えられる。
【００５２】
受像装置１０に搭載されている左側の第１光源１１を点灯したときに、第１光源１１と実質的に同軸の第１のカメラ１３で取得した画像では、網膜６４で反射された赤外光がカメラ１３に入射しやすいため、瞳孔６２が明るく見える明瞳孔画像となる。この画像は明瞳孔画像として、明瞳孔画像検出部５１で抽出される。これに対し、受像装置２０に設けられた第２カメラ２３の光軸２３Ｃは第１光源１１の光軸１３Ｃと非同軸となるため、第１光源１１を点灯したときに、網膜６４で光が反射されたとしてもその光は第２カメラ２３で検知されにくい。そのため、第２カメラ２３で取得した画像は、瞳孔６２が比較的暗い暗瞳孔画像となる。この画像は暗瞳孔画像として、暗瞳孔画像検出部５２で抽出される。
【００５３】
逆に、右側の受像装置２０の第１光源２１を点灯したときは、網膜６４で反射された光が瞳孔６２を通過し、光軸２３Ｃに沿って第２カメラ２３で検知されやすく、第２カメラ２３で取得された画像が明瞳孔画像となる。このとき、網膜６４で反射された光は、斜め前方に位置する第１カメラ１３で検知されにくく、第１カメラ１３で取得された画像が暗瞳孔画像となる。
【００５４】
つまり、同じ波長の検知光が発せられたときに、カメラに近接する組の光源（カメラと同軸の光源）から光が発せられたときは、そのカメラから取得された画像が明瞳孔画像となり、カメラから遠隔の組の光源（カメラと非同軸の光源）から光が発せられたときは、そのカメラから取得された画像が暗瞳孔画像となる。
【００５５】
これは、左組の第２光源１２と右組の第２光源２２と、カメラ１３，２３との組み合わせにおいても同じである。
【００５６】
前記説明のように、第２光源１２から発せられる波長９４０ｎｍの赤外光は、網膜６４で吸収されやすいため、従来の方法では、第２光源１２と同軸の第１カメラ１３で取得した画像は暗瞳孔画像として使用されている。
【００５７】
しかし、夜間のように周囲の光が少なく、かなり暗い環境での使用に限定してみると、左組の光源である第２光源１２を点灯したときに、第２光源１２と略同軸の第１カメラ１３で取得される画像と、第２光源１２と非同軸の右側の第２カメラ２３で取得される画像とを比較したときに、第１カメラ１３で取得された画像の方が、第２カメラ２３で取得された画像に比べて瞳孔６２が明るくなる。
【００５８】
すなわち、第２光源１２から発せられる光は網膜６４では反射されにくいが、周囲が暗い場合には、網膜６４でわずかに反射された光が瞳孔６２を経て第１カメラ１３で検知されるのに対し、斜め前方に位置する第２カメラ２３は網膜６４から反射された光を検知しにくくなる。よって、第２光源１２のみを点灯したときであっても、周囲が暗ければ、第１カメラ１３から明瞳孔画像を取得でき、第２カメラ２３で暗瞳孔画像が取得される。
【００５９】
同様に、周囲が暗い環境のときに、右組の光源のうちの第２光源２２を点灯すると、この光源と略同軸の第２カメラ２３で取得された画像が明瞳孔画像となり、前記光源の斜め前方に位置する非同軸の左側の第１カメラ１３で取得された画像が暗瞳孔画像となる。
【００６０】
さらには、真昼の自動車の車内のように、きわめて明るい環境下では、左組の光源である第１光源１１と第２光源１２を全て点灯する。このとき、第１カメラ１３で取得された画像が明瞳孔画像となり、第２カメラ２３で取得された画像が暗瞳孔画像となる。逆に、右組の光源である第１光源２１と第２光源２２の全てを点灯すると、第２カメラ２３で取得された画像が明瞳孔画像となり、第１カメラ１３で取得された画像が暗瞳孔画像となる。
【００６１】
以上を整理すると、以下の通りである。
（ａ）第１光源１１，２１の点灯
（ａ−１）第１光源１１を点灯すると、第１カメラ１３で明瞳孔画像が取得され、第２カメラ２３で暗瞳孔画像が取得される。
（ａ−２）第１光源２１を点灯すると、第２カメラ２３で明瞳孔画像が取得され、第１カメラ１３で暗瞳孔画像が取得される。
（ｂ）第２光源１２，２２の点灯
（ｂ−１）第２光源１２を点灯すると、第１カメラ１３で明瞳孔画像が取得され、第２カメラ２３で暗瞳孔画像が取得される。
（ｂ−２）第２光源２２を点灯すると、第２カメラ２３で明瞳孔画像が取得され、第１カメラ１３で暗瞳孔画像が取得される。
（ｃ）全ての光源１１，１２，２１，２２の点灯
（ｃ−１）左組の第１光源１１と第２光源１２を点灯すると、第１カメラ１３で明瞳孔画像が取得され、第２カメラ２３で暗瞳孔画像が取得される。
（ｃ−２）右組の第１光源２１と第２光源２２を点灯すると、第２カメラ２３で明瞳孔画像が取得され、第１カメラ１３で暗瞳孔画像が取得される。
【００６２】
このカメラと光源との組み合わせでは、例えば、（ａ−１）で、第１カメラ１３と第２カメラ２３で同時に画像を取得でき、（ａ−２）でも、第１カメラ１３と第２カメラ２３で同時に画像を取得できる。そして、（ａ−１）と（ａ−２）の撮像が終わると、第１カメラ１３で明瞳孔画像と暗瞳孔画像が取得され、第２カメラ２３で明瞳孔画像と暗瞳孔画像が取得される。なお、（ａ−１）において、第１光源１１が点灯しているときに、第１カメラ１３による撮像と第２カメラ２３による撮像を互いに重ならない時間帯に交互に行ってから（ａ−２）に移行し、（ａ−２）においても、第１カメラ１３による撮像と第２カメラ２３による撮像を互いに重ならない時間帯に交互に行ってもよい。
【００６３】
このように、（ａ−１）と（ａ−２）の２つのプロセスで、２つのカメラで明瞳孔画像と暗瞳孔画像を取得できるので、その後の処理で、瞳孔の位置や向きを３次元的に算出することができる。これは（ｂ−１）（ｂ−２）と、（ｃ−１）（ｃ−２）においても同じである。
【００６４】
図２に示す瞳孔画像抽出部５０では、例えば、（ａ−１）と（ａ−２）の２つのプロセスにより、受像装置１０と受像装置２０の双方で明瞳孔画像と暗瞳孔画像が取得されたら、明瞳孔画像検出部５１で検出された明瞳孔画像から暗瞳孔画像検出部５２で検出された暗瞳孔画像がマイナスされる。この計算により明瞳孔画像に明るく現れている瞳孔６２の画像が残り、それ以外の画像は相殺されてほぼ見えなくなる。
【００６５】
瞳孔６２の形状を示す瞳孔画像信号は、瞳孔中心算出部５３及び瞳孔径算出部５４に与えられる。瞳孔中心算出部５３では、瞳孔画像信号が画像処理されて二値化され、瞳孔６２の形状と面積に対応する部分のエリア画像が算出される。さらに、このエリア画像を含む楕円が抽出され、楕円の長軸と短軸との交点が瞳孔６２の中心位置として算出される。瞳孔径算出部５４では、瞳孔画像信号と、瞳孔中心算出部５３で算出された瞳孔６２の中心位置と、楕円の長軸と短軸と、に基づいて瞳孔６２の瞳孔径が算出される。
【００６６】
次に、図３（Ａ）に示すように、いずれかの光源が点灯しているときには、その光源からの光が、角膜６１の表面で反射されて、その光が第１カメラ１３と第２カメラ２３の双方で取得され、明瞳孔画像検出部５１と暗瞳孔画像検出部５２で検出される。特に、暗瞳孔画像検出部５２では、瞳孔６２の画像が比較的暗いため、角膜６１の反射点６５から反射された反射光が明るくスポット画像として検出される。
【００６７】
暗瞳孔画像検出部５２で検出された暗瞳孔画像信号は、角膜反射光中心検出部５５に与えられる。暗瞳孔画像信号には、図３と図４に示す、角膜６１の反射点６５から反射された反射光による輝度信号が含まれている。角膜６１の反射点６５からの反射光はプルキニエ像を結像するものであり、図４に示すように、カメラ１３、２３の撮像素子には、きわめて小さい面積のスポット画像として取得される。角膜反射光中心検出部５５では、スポット画像が画像処理されて、角膜６１の反射点６５からの反射光の中心が求められる。
【００６８】
図２に示すように、瞳孔中心算出部５３で算出された瞳孔中心算出値と角膜反射光中心検出部５５で算出された角膜反射光中心算出値は、視線方向算出部５６に与えられる。視線方向算出部５６では、瞳孔中心算出値と角膜反射光中心算出値とから視線の向きが検出される。
【００６９】
図３（Ａ）に示す場合では、人の目６０の視線方向ＶＬが、第１カメラ１３の撮像光軸１３Ｃと第２カメラ２３の光軸２３Ｃとの中間方向に向けられている。このとき、図４（Ａ）に示すように、角膜６１からの反射点６５の中心が瞳孔６２の中心と一致している。これに対して、図３（Ｂ）に示す場合では、人の目６０の視線方向ＶＬが、かなり左側へ向けられている。このとき、図４（Ｂ）に示すように、瞳孔６２の中心と角膜６１からの反射点６５の中心とが位置ずれする。
【００７０】
視線方向算出部５６では、瞳孔６２の中心と、角膜６１からの反射点６５の中心との直線距離αが算出される（図４（Ｂ））。また瞳孔６２の中心を原点とするＸ−Ｙ座標が設定され、瞳孔６２の中心と反射点６５の中心とを結ぶ線とＸ軸との傾き角度βが算出される。２つのカメラ１３，２３で取得した画像に基づいて前記直線距離αと前記傾き角度βが算出されることで、視線方向ＶＬが算出される。
【００７１】
＜光源の選択＞
本実施形態の視線検出装置においては、その周囲の明るさに関する判定情報としての、照度測定部３１によって測定された視線検出装置の周囲の照度情報と、位置時刻取得部３２で取得された位置情報及び日時情報と、瞳孔径算出部５４で算出された瞳孔径情報と、が予め定めた閾値と比較され、その判定結果に基づいて、撮像制御部４３によって複数の光源のいずれかが選択される。選択された光源の点灯に基づいて撮影された画像から瞳孔画像が抽出され、この画像から瞳孔中心及び角膜反射光中心が算出されて、これらに基づいて対象者の視線方向が算出される。
【００７２】
判定情報と比較する閾値は、照度情報、位置情報及び日時情報、及び、瞳孔径情報のそれぞれについて設定することが好ましい。判定情報を閾値と比較することにより、対象者の周辺を含んだ、視線検出装置の周辺の明るさが一定値未満になったかどうかが判定できる。例えば、位置情報及び日時情報によれば、視線検出装置が設置された場所と日時により、太陽の方向や太陽の高さ、すなわち日光の照射方向と照射角度を予測して、明るさを推定することができるため、照度情報に対応する情報を得ることができる。また、人の瞳孔は、明るさによって径が変化するため、瞳孔径情報によって照度情報に対応する情報を得ることができる。
【００７３】
以下、判定情報の取得から光源の点灯までの流れについて説明する。図５は、判定情報の取得から点灯までの流れを示すフローチャートである。図５に示す例では、閾値として、第１閾値と、第１閾値より小さな第２閾値とを設けている。第１閾値と第２閾値は、例えば次のように設定する。晴天時の日中の車両内の明るさであれば、判定情報は第１閾値より大きくなり、晴天時の夕方や曇天時の日中の明るさであれば、判定情報は第１閾値よりも小さく第２閾値よりも大きくなり、日没後の明るさであれば、第２閾値より小さくなる。
【００７４】
ここで、判定情報が取得できない場合として、装置を起動してから画像を取得していないために瞳孔径を算出していない場合や、ＧＰＳとの通信状態が悪い場合などがある。このような場合、取得できなかった情報については閾値に対する判定処理は行わず、照度などの取得できた判定情報のみで判定処理を行うことが好ましい。
【００７５】
また、照度情報、位置情報及び日時情報、及び、瞳孔径情報についての判定結果が異なる場合がある。このため、あらかじめ判定結果に優先順位を付けることが好ましい。優先順位としては、例えば、実際の明るさを測定した照度情報を最も優先することが好ましい。
【００７６】
図５においては、まず、照度測定部３１、位置時刻取得部３２、及び、瞳孔径算出部５４において判定情報を取得する（ステップＳ１）。この判定情報は、撮像制御部４３に出力され、第１閾値と第２閾値に対する判定処理を順に行う（ステップＳ２、Ｓ４）。
【００７７】
判定情報が第１閾値より大きい場合（ステップＳ２でＹ）には、第１光源１１，２１及び第２光源１２，２２を点灯し、（ｃ−１）（ｃ−２）のステップを経てカメラ１３，２３のそれぞれから明瞳孔画像と暗瞳孔画像を取得する。
【００７８】
判定情報が第１閾値以下であって第２閾値より大きい場合（ステップＳ２でＮであり、ステップＳ４でＹ）、第１光源１１，２１のみを点灯し、（ａ−１）（ａ−２）のステップを経てカメラ１３，２３のそれぞれから明瞳孔画像と暗瞳孔画像を取得する。
【００７９】
判定情報が第１閾値以下であって第２閾値以下である場合（ステップＳ２でＮであり、ステップＳ４でＮ）、第２光源１２，２２のみを点灯し、（ｂ−１）（ｂ−２）のステップを経てカメラ１３，２３のそれぞれから明瞳孔画像と暗瞳孔画像を取得する。
【００８０】
以下に変形例について説明する。
上述の実施形態では、撮像制御部４３は、視線検出装置の周囲の照度情報と、位置情報及び日時情報と、瞳孔径情報と、に基づいて、複数の光源と複数のカメラの組み合わせを選択していたが、これらの情報のうちのいずれか１つ又は２つのみに基づいて組み合わせを選択してもよい。これにより、組み合わせの選択に用いない情報を取得するための構成を省略することができるため、装置を小型化し、処理を簡略化することができる。
【００８１】
上述の実施形態では、第１閾値と第２閾値の２つを用いたが、これらのどちらか一方のみとしてもよい。すなわち、第１閾値のみを用いる場合は、図５に示すステップＳ２において、第１閾値以下であるときは第２光源のみを点灯する。また、第２閾値のみを用いる場合は、第２閾値以下であるときは第２光源のみを点灯し、第２閾値より大きいときは、第１光源と第２光源の両方を点灯するか、第１光源のみを点灯する。
【００８２】
上述の実施形態では、第１閾値以下であるときは、第１光源のみ（図５のステップＳ５）又は第２光源のみ（図５のステップＳ６）を点灯し、光源と略同軸のカメラで取得した画像から明瞳孔画像を抽出し、光源と非同軸のカメラで取得した画像から暗瞳孔画像を抽出していた。これに対して、第１光源と第２光源から出射される検知光を、フィルタなどの手段によって、いずれも視認不可能な波長に切り替え、かつ、第１光源と第２光源の検知光を異なる波長にして、各光源と略同軸のカメラでそれぞれ画像を取得し、各光源の波長に応じて、明瞳孔画像と暗瞳孔画像を抽出してもよい。
【００８３】
図１に示す受像装置１０には、第１光源１１と第２光源１２が複数個設けられ、受像装置２０にも第１光源２１と第２光源２２が複数個設けられているため、それぞれに受像装置１０，２０において点灯する光源の数を変えることによっても光の光量を変化させることができる。また、受像装置１０，２０のそれぞれに例えば第１光源のみを複数設け、または第２光源のみを複数設け、点灯する光源の数を切換えることによってのみ、光量を変化させることができる。
【００８４】
第１光源及び第２光源の数及び配置は、図１に示すものに限定されず、１つのカメラの周りに、第１光源及び第２光源をそれぞれ３つ以上設けても良い。また、カメラの光軸と、そのカメラと略同軸とする、第１光源及び第２光源との距離は、同一であってもよいし、第１光源よりも第２光源の方がカメラに近くてもよい。
【００８５】
受像装置は、それぞれが備えるカメラ、第１光源、及び第２光源の光軸が、互いに非同軸となるような配置であれば、３組以上設けても良い。
【００８６】
以上のように構成されたことから、上記実施形態によれば、次の効果を奏する。
（１）視線検出装置の周囲の明るさに関する判定情報を取得する判定情報取得部（照度測定部３１、位置時刻取得部３２、瞳孔径算出部５４）を設け、この判定情報に基づいて、光源とカメラとの組み合わせを制御しているため、
視線検出装置の周囲の明るさに応じて最適となるように、光源とカメラの組み合わせを選択することが可能となる。そのため、車両内のように明るさが変動し、明るさが一定値未満になる測定場所においても、対象者の視線方向を常に正確に検出することが可能となる。
【００８７】
（２）判定情報取得部によって取得された判定情報が第２閾値以下であった場合、例えば夜間の走行などでは、撮像制御部４３は、第２光源を点灯し、第２光源の光軸と略同軸となる光軸を有するカメラ（第２光源１２の点灯ではカメラ１３、第２光源２２の点灯ではカメラ２３）で明瞳孔画像を取得し、第２光源を点灯し、第２光源の光軸と略同軸とならないカメラ（第２光源１２の点灯ではカメラ２３、第２光源２２の点灯ではカメラ１３）で暗瞳孔画像を取得している。
【００８８】
これにより、視線検出装置の周囲が暗くなった場合に対象者の目に与える検知光を、明瞳孔画像と暗瞳孔画像のいずれの撮影・抽出においても、視認しにくい第２波長にできる。そのため、光源の発光点が視野に入ったとしても、対象者に眩しさを感じさせることが少なくなり、特に対象者が運転者であるときは運転に支障を生じさせないようにできる。
【００８９】
（３）判定情報取得部によって取得された判定情報が第１閾値よりも小さく第２閾値より大きい場合、例えば、昼間で天候が曇りのときの走行などの場合には、撮像制御部４３は、第１光源を点灯させ、第１光源の光軸と略同軸となる光軸を有するカメラ（第１光源１１の点灯ではカメラ１３、第１光源２１の点灯ではカメラ２３）で明瞳孔画像を取得し、第１光源を点灯させ、第１光源の光軸と略同軸とならない光軸を有するカメラ（第１光源１１の点灯ではカメラ２３、第１光源２１の点灯ではカメラ１３）で暗瞳孔画像が取得される。
【００９０】
これにより、視線検出装置の周囲がわずかに明るい場合に、適切な強度の検知光を与えることにより、高精度で視線検出を行うことができる。
【００９１】
（４）判定情報取得部によって取得された判定情報が第１閾値よりも大きい場合、例えば昼間の晴れの日の走行などの場合には、撮像制御部４３は、第１光源ならびに第２光源を点灯させ、第１光源ならびに第２光源の光軸と略同軸となる光軸を有するカメラ（光源１１，１２の点灯ではカメラ１３、光源２１，２２の点灯ではカメラ２３）で明瞳孔画像が取得され、第１光源ならびに第２光源を点灯させ、第１光源ならびに第２光源の光軸と略同軸とならない光軸を有するカメラ（光源１１，１２の点灯ではカメラ２３、２１，２２の点灯ではカメラ１３）で暗瞳孔画像が取得される。
【００９２】
これにより、視線検出装置の周囲が非常に明るい場合であっても、視線検出に十分な強度の検知光を与えることができ、高精度で視線検出を行うことができる。
【００９３】
（５）判定情報取得部として、視線検出装置の周囲の照度を測定する照度測定部３１を備えることにより、視線検出装置の周囲の明るさを直接的に測定することができるため、対象者の視線方向の正確な検出に資することができる。
【００９４】
判定情報取得部として、瞳孔画像から瞳孔径を算出する瞳孔径算出部５４、及び／又は、ＧＰＳから位置情報及び日時情報を取得する位置時刻取得部３２を備えることにより、視線検出装置の周囲の明るさに対応する情報を得ることができるため、対象者の視線方向の正確な検出に資することができる。
（６）本発明の視線検出装置においては、複数の光源は、カメラの光軸から同一の距離に光軸が配置された複数の発光ダイオードをそれぞれ備えることが好ましい。
【００９５】
これにより、十分な強度の検知光を与えることができ、かつ、部品コストを抑えることができる。
【００９６】
本発明について上記実施形態を参照しつつ説明したが、本発明は上記実施形態に限定されるものではなく、改良の目的または本発明の思想の範囲内において改良または変更が可能である。
【産業上の利用可能性】
【００９７】
以上のように、本発明に係る視線検出装置は、明るさが一定値未満になる測定場所に設置した場合でも対象者の視線方向を正確に検出することのできる点で有用である。
【符号の説明】
【００９８】
１０、２０      受像装置
１１、２１      第１光源
１２、２２      第２光源
１３、２３      カメラ
１３Ｃ、２３Ｃ  光軸
３１            照度測定部（判定情報取得部）
３２            位置時刻取得部（判定情報取得部）
４３            撮像制御部
４４、４５      画像取得部
５０            瞳孔画像抽出部
５３            瞳孔中心算出部
５４            瞳孔径算出部（判定情報取得部）
５５            角膜反射光中心検出部
５６            視線方向算出部
６０            目
１１１、１１２、１１３、１１４  ＬＥＤ光源（第１光源）
１１１Ｃ、１１２Ｃ、１１３Ｃ、１１４Ｃ  光軸
１２１、１２２、１２３、１２４  ＬＥＤ光源（第２光源）
１２１Ｃ、１２２Ｃ、１２３Ｃ、１２４Ｃ  光軸
２１１、２１２、２１３、２１４  ＬＥＤ光源（第１光源）
２１１Ｃ、２１２Ｃ、２１３Ｃ、２１４Ｃ  光軸
２２１、２２２、２２３、２２４  ＬＥＤ光源（第２光源）
２２１Ｃ、２２２Ｃ、２２３Ｃ、２２４Ｃ  光軸
【図２】
2016051312.tif 000003
【図３】
2016051312.tif 000004
【図４】
2016051312.tif 000005
【図５】
2016051312.tif 000006
【図１】
2016051312.tif 000007