(57)【要約】【課題】運転者の視線位置の検出精度を高く保つ。【解決手段】車両周辺の明るさを検出して、車両周辺の明るさの変化量が所定量を超えた場合に、視線検出手段によって検出された視線位置を校正する。車両周辺の明るさの変化量が大きくなると、視線位置の検出精度が低下しやすくなると考えられる。そこで、車両周辺の明るさの変化量が所定量を超えた場合に、視線検出手段によって検出された視線位置を校正することとすれば、視線位置の検出精度が低下したタイミングで校正を行って検出精度を高めることができる。その結果、視線位置の検出精度を高く保つことができる。【選択図】図１０
2015118579.tif 000002
【特許請求の範囲】
【請求項１】
車両に設けられ、運転者の視線が到達する視線位置を検出する視線検出装置であって、
前記運転者の前記視線位置を検出する視線検出手段（１１ａ）と、
前記視線検出手段によって検出された前記視線位置を校正する校正手段（１１ｂ）と、
前記車両の周辺の明るさを検出する周辺環境検出手段（１１ｃ）と
を備え、
前記校正手段は、前記車両の周辺の明るさの変化量が所定量を超えた場合に、前記視線位置を校正する手段である視線検出装置。
【請求項２】
請求項１に記載の視線検出装置であって、
前記視線位置を校正した時の前記車両の周辺の明るさを記憶する記憶手段（１３）を備え、
前記校正手段は、前記周辺環境検出手段で検出された前記車両の周辺の明るさと、前記記憶手段に記憶されている明るさとの差が前記所定量より大きくなった場合に、前記視線位置を校正する手段である視線検出装置。
【請求項３】
請求項１または請求項２に記載の視線検出装置であって、
前記運転者に対して注視用画像を表示する画像表示手段（１１ｄ）を備え、
前記校正手段は、前記画像表示手段が前記注視用画像を表示した位置と、前記視線検出手段が検出した前記視線位置とに基づいて、該視線位置を校正する手段である視線検出装置。
【請求項４】
車両に設けられ、運転者の視線が到達する視線位置を検出する視線検出方法であって、
前記運転者の前記視線位置を検出する工程（Ｓ１０６）と、
前記視線位置を検出する工程によって検出された前記視線位置を校正する工程（Ｓ２１２）と、
前記車両の周辺の明るさを検出する工程（Ｓ２０２）と
を備え、
前記視線位置を校正する工程は、前記車両の周辺の明るさの変化量が所定量を超えた場合に、前記視線位置を校正する工程である視線検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の視線が到達する視線位置を検出する技術に関する。
【背景技術】
【０００２】
運転者の顔画像を解析することによって、運転者の視線位置を検出する技術が知られている。この技術を用いれば、運転者の脇見運転を監視することが可能である。更に、視線位置の検出精度が十分に高ければ、車両に搭載された各種の機器（カーナビなど）を視線で操作することも可能となる（たとえば特許文献１）。
【０００３】
各種の機器を視線で操作することができれば、運転者が運転中に手を伸ばして機器を操作する必要がなくなるので、運転者の負担を軽減することが可能と考えられる。その一方で、視線位置の検出精度が低下すると、運転者の意図とは異なる操作が行われてしまう。そこで、運転中にたとえば前方車両を検出したら、その前方車両を運転者が注視しているものとして、検出した視線位置が前方車両の位置となるように、視線位置を校正する技術が提案されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−１４３０１２号公報
【特許文献２】特開２００９−０１５５３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、提案されている技術では、視線位置の検出精度が低下していても前方車両が検出されないときは校正ができないので、視線位置の検出精度を高く保つことができないという問題があった。
【０００６】
この発明は、上述した問題に鑑みてなされたものであり、視線位置の検出精度を高く保つことが可能な技術の提供を目的とする。
【課題を解決するための手段】
【０００７】
上述した問題を解決するために、本発明の視線検出装置および視線検出方法は、車両周辺の明るさを検出して、車両周辺の明るさの変化量が所定量を超えた場合に、視線検出手段によって検出された視線位置を校正する。
【０００８】
車両周辺の明るさの変化量が大きくなると、視線位置の検出精度が低下しやすくなると考えられる。そこで、車両周辺の明るさを検出して、車両周辺の明るさの変化量が所定量を超えた場合に、視線検出手段によって検出された視線位置を校正することとすれば、視線位置の検出精度が低下したタイミングで校正を行って検出精度を高めることができる。その結果、視線位置の検出精度を高く保つことができる。
【０００９】
また、上述した本発明の視線検出装置においては、次のようにしてもよい。視線位置を校正した時の車両周辺の明るさを記憶することとし、視線位置の校正は、検出された車両周辺の明るさと、記憶されている明るさとの差が所定量より大きくなった場合に行う。
【００１０】
車両周辺の明るさは、トンネルの出入り時のように急変する場合だけでなく、時間の経過とともに徐々に変化する場合がある。このような場合でも、視線位置を校正した時の車両周辺の明るさを記憶しておき、その時の明るさから、車両周辺の明るさが所定量以上変化した場合に校正することとすれば、必要となったタイミングで視線位置を校正することができる。この結果、視線位置の検出精度を高く保つことができる。
【００１１】
また、上述した本発明の視線検出装置においては、次のようにしてもよい。運転者に対して注視用画像を表示して、この注視用画像を表示した位置と、視線検出手段が検出した視線位置とに基づいて、視線位置を校正する。
【００１２】
注視用画像を表示すれば、運転者はその注視用画像に視線を移動させると考えて良い。従って、注視用画像を表示すれば、必要となったタイミングで視線位置を校正することができる。その結果、視線位置の検出精度を確実に高く保つことができる。
【図面の簡単な説明】
【００１３】
【図１】本実施例の視線検出装置の構成を示す説明図である。
【図２】本実施例の視線検出装置が実施する視線位置検出処理のフローチャートである。
【図３】運転者の右目を撮像した画像に写った瞳孔および角膜反射像を例示した説明図である。
【図４】瞳孔相対位置を検出する方法を示す説明図である。
【図５】視線位置決定テーブルを例示した説明図である。
【図６】本実施例の視線検出装置が実施する校正処理のフローチャートである。
【図７】運転者に対して表示される注視用画像を例示した説明図である。
【図８】視線位置決定テーブルを校正する様子を概念的に示す説明図である。
【図９】運転者に対して表示される注視用画像の別例を示した説明図である。
【図１０】本実施例における車両周辺の明るさと視線位置の検出精度との関係を示す説明図である。
【発明を実施するための形態】
【００１４】
以下では、上述した本願発明の内容を明確にするために実施例について説明する。本実施例の視線検出装置は、車両に搭載され、車両の運転者の視線が到達する視線位置を検出する装置である。
Ａ．装置構成  ：
図１（ａ）には、本実施例の視線検出装置１０の構成が示されている。図示されるように、視線検出装置１０は、ＣＰＵ１１を中心として、ＣＰＵ１１が実行するプログラム等が記憶されているフラッシュメモリ１２や、ＣＰＵ１１の作業領域であるＲＡＭ１３などが、バス１４を介して接続されている。ＣＰＵ１１は、各種のプログラムやプログラムの実行に必要なデータをフラッシュメモリ１２から読み出し、視線位置を検出する処理を行う。
【００１５】
視線位置を検出する方法としては、各種の方法を採用することができるが、本実施例では、運転者の目の画像に写った角膜反射像と瞳孔との位置関係に基づいて視線位置を検出する方法（詳細は後述）を採用することとする。
このような方法を採用することに対応して、バス１４には、近赤外光を用いて撮像する近赤外光カメラ１６や、近赤外光照射用のＬＥＤ（近赤外光ＬＥＤ）１７が、カメラ用インターフェース１５を介して接続されている。近赤外光カメラ１６および近赤外光ＬＥＤ１７は、運転者を撮像すべく、運転席の前方に運転席側を向けて設けられている。ＣＰＵ１１は、近赤外光カメラ１６および近赤外光ＬＥＤ１７を制御することで、近赤外光を照射した状態で撮像された運転者の目の画像を取得する。
【００１６】
また、バス１４には、照度センサー用インターフェース１８を介して、照度センサー１９が接続されており、ＣＰＵ１１は、照度センサー１９を用いて車両周辺の明るさを検出する。さらに、バス１４には、ＨＵＤ装置用インターフェース２０を介して、ＨＵＤ装置（ヘッドアップディスプレイ装置）２１が接続されている。ＨＵＤ装置２１は、ＣＰＵ１１からの指示に基づいて、車両のフロントガラス（以下「ウィンドシールド」）に所定の画像を投影することが可能である。
【００１７】
図１（ｂ）には、ＣＰＵ１１が有する機能を示すブロック図が示されている。これらの機能は、ＣＰＵ１１がフラッシュメモリ１２に記憶されているプログラムを実行することによって実現される。図１（ｂ）に示されるように、ＣＰＵ１１は、視線位置の検出処理を行う視線位置検出機能１１ａと、詳しくは後述するが、検出処理によって検出された視線位置の校正を行う校正機能１１ｂと、車両周辺の明るさを検出する周辺環境検出機能１１ｃと、運転者に対して所定の画像を表示する画像表示機能１１ｄとを有する。
尚、本実施例の視線位置検出機能１１ａは、本発明の「視線検出手段」に相当し、本実施例の校正機能１１ｂは、本発明の「校正手段」に相当し、本実施例の周辺環境検出機能１１ｃは、本発明の「周辺環境検出手段」に相当し、本実施例の画像表示機能１１ｄは、本発明の「画像表示手段」に相当する。
【００１８】
Ｂ．視線位置検出処理  ：
図２には、本実施例のＣＰＵ１１によって実行される視線位置検出処理のフローチャートが示されている。視線位置検出処理では、運転者の視線位置を検出するための処理が行われる。また、この処理は、所定の条件が成立した場合（たとえば、車両のエンジンが起動された場合や、運転者によって所定の開始操作が行われた場合）に開始される。
ＣＰＵ１１は、視線位置検出処理を開始すると、先ず、近赤外光カメラ１６および近赤外光ＬＥＤ１７を制御することで、近赤外光を照射した状態で運転者の目を撮像して、撮像された目の画像をＲＡＭ１３の所定アドレスに記憶する（Ｓ１００）。
【００１９】
続いて、ＣＰＵ１１は、Ｓ１００の処理で撮像された目の画像から、エッジ検出等の周知の方法を用いて、「瞳孔」の中心、および「角膜反射像」の中心を検出する（Ｓ１０２）。「角膜反射像」とは、近赤外光ＬＥＤ１７から照射された光が角膜で反射したもの（いわゆるプルキンエ像）であり、角膜の部分に明るく写っている。
図３には、運転者の右目を撮像した画像に写った「瞳孔」および「角膜反射像」が例示されている。このうち、図３（ａ）には、視線が正面に向けられたときに撮像した画像が示されており、図示された例では、「瞳孔」の真下に「角膜反射像」が写っている。ＣＰＵ１１は、このようにして目の画像に写った「瞳孔」および「角膜反射像」の中心を検出する。
【００２０】
ここで、目の画像に写った「瞳孔」と「角膜反射像」との位置関係は、視線位置に応じて変化する。たとえば、大まかに説明すると、図３（ａ）に例示したように、視線が正面に向けられたときに瞳孔が角膜反射像の「真上」に位置していたとしても、視線が左側に向けられると、図３（ｂ）に例示するように、瞳孔が角膜反射像の「右上」に位置することとなる。また、視線が右側に向けられると、図３（ｃ）に例示するように、瞳孔が角膜反射像の「左上」に位置することとなる。
このように視線位置に応じて「角膜反射像」と「瞳孔」との位置関係が変化するので、「角膜反射像の中心に対する相対的な瞳孔の中心の位置」に基づき視線位置を検出することができる。
【００２１】
そこでＣＰＵ１１は、Ｓ１０２の処理で「瞳孔」および「角膜反射像」の中心を検出したら、続いて、「角膜反射像の中心に対する相対的な瞳孔の中心の位置」（以下「瞳孔相対位置」）を検出する（Ｓ１０４）。尚、瞳孔相対位置は、図４に示されるように、角膜反射像の中心から瞳孔の中心までの水平方向（ｘ方向）の距離、および垂直方向（ｙ方向）の距離で表される。また、これらの距離は、画素数で表される。
【００２２】
こうして、瞳孔相対位置を検出したら（Ｓ１０４）、ＣＰＵ１１は、視線位置決定テーブルを参照して、運転者の視線位置を検出する（Ｓ１０６）。視線位置決定テーブルには、図５に例示するように、瞳孔相対位置が取り得る全ての値（ａｘ、ａｙ）に対して、運転者の視線位置（ｂｘ、ｂｙ）が設定されている。ＣＰＵ１１は、この視線位置決定テーブルを参照して、上述のＳ１０４の処理で得られた瞳孔相対位置に対応する視線位置を検出する。
【００２３】
尚、視線位置決定テーブルは、車両のエンジンが起動された後など、視線位置検出処理を開始する前に、次のようにして生成し、フラッシュメモリ１２に予め記憶しておく。先ず、運転者に所定の位置を注視させた状態で（たとえば、ＨＵＤ装置２１が所定の位置に表示した画像を注視させた状態で）運転者の目を撮像し、上述と同様の方法で瞳孔相対位置を検出する。そして、注視させた位置（視線位置）と、得られた瞳孔相対位置とを対応付けて記憶する。このような処理を、注視させる位置を変更しながら複数回（たとえば、５〜１０回）繰り返す。また、注視させていない位置（視線位置）については、周知の補間処理や捕外処理等を行うことで瞳孔相対位置を演算する。これにより、「瞳孔相対位置」と「視線位置」との対応関係、すなわち視線位置決定テーブルが生成される。
【００２４】
このように、本実施例の視線検出装置１０では、目の画像から得られた瞳孔相対位置に基づいて視線位置を検出する。ＣＰＵ１１は、こうして検出された視線位置に関するデータを、各種の運転支援装置（図示省略）からの求めに応じて該装置へ出力する。これにより、運転者の視線位置を利用した各種の運転支援が行われる。
たとえば、運転者の視線位置が、操舵角センサー（図示省略）で検出された車両の進行方向から大きく外れている場合、運転者に警告することで脇見運転を防止することが行われる。あるいは、カーナビ等の機器を、運転者の視線の動きで操作することが行われる。この場合は、指で操作するのに比べて身体的な負担を軽減することができ、手が塞がっている状況でも機器の操作が可能となる。
【００２５】
以上のように、視線位置を検出するための一連の処理を行ったら（Ｓ１００〜Ｓ１０６）、ＣＰＵ１１は、校正処理を行う（図２のＳ２００）。この校正処理では、視線位置の検出精度が低下したと推定された場合に、次回からの視線位置の検出精度を高めるべく、上述した視線位置決定テーブルを校正する。
【００２６】
Ｃ．校正処理  ：
図６には、ＣＰＵ１１によって行われる校正処理のフローチャートが示されている。ＣＰＵ１１は、校正処理を開始すると、照度センサー１９を用いて車両周辺の明るさを検出する（Ｓ２０２）。そして、前回校正を行った時からの車両周辺の明るさの変化量が所定量を超えたか否かを判断する（Ｓ２０４）。詳しくは後述するが、本実施例の視線検出装置１０では、視線位置決定テーブルの校正を行うたびに、車両周辺の明るさをＲＡＭ１３に記憶する。そこで、Ｓ２０４の処理では、前回校正を行ったときにＲＡＭ１３に記憶された明るさと、今回検出された明るさとを比較し、これらの明るさの差が所定量より大きくなったか否かを判断する（Ｓ２０４）。尚、所定量としては、数１００〜数１０００ｌｘを例示することができる。
【００２７】
ここで、車両周辺の明るさが変化すると、次のような理由により、視線位置の検出精度が低下することがある。すなわち、車両周辺の明るさが変化すると、車室内の運転者の目に入る光の明るさも変化するので、運転者の目の瞳孔径の大きさが変化する。すると、実際の視線位置が変化していなくても、目の画像から得られる「瞳孔相対位置」が変化することがある。「瞳孔相対位置」には、該「瞳孔相対位置」に応じた視線位置が対応付けられているので、瞳孔相対位置が異なれば、当然ながら、対応する視線位置は異なったものとなる。このように、車両周辺の明るさが変化すると、実際の視線位置が変化していなくても目の画像から得られる「瞳孔相対位置」が変化し、ひいては該「瞳孔相対位置」に基づいて検出される視線位置が、実際の視線位置からずれてしまうことがある。
【００２８】
したがって、上述したＳ２０４の判断処理で、車両周辺の明るさの変化量が所定量を超えたと判断された場合は（Ｓ２０４：ｙｅｓ）、視線位置の検出精度が低下したと推定することができる。そこで、ＣＰＵ１１は、車両周辺の明るさの変化量が所定量を超えたと判断したら（Ｓ２０４：ｙｅｓ）、Ｓ２０２の処理で検出した車両周辺の明るさを「今回校正時の明るさ」としてＲＡＭ１３に記憶した後（Ｓ２０６）、視線位置の検出精度を高めるべく、次のようにして視線位置決定テーブルの校正を行う。
【００２９】
先ず、ＣＰＵ１１は、所定の制御信号をＨＵＤ装置２１に出力することで、運転者の前方に「注視用画像３０ａ」を表示する（Ｓ２０８）。図７には、運転者の前方のウィンドシールドに注視用画像３０ａが表示された様子が例示されている。尚、図７は、運転席から車両前方を見たときの様子を示しており、矩形形状の破線は、ＨＵＤ装置２１によるウィンドシールド上での画像表示領域を表している。そして、図示された例では、画像表示領域の右下部分に注視用画像３０ａが表示されている。ＨＵＤ装置２１は、ＣＰＵ１１からの制御信号に基づいて、普段表示する画像よりも目立つような態様で（たとえば、点滅させたり輝度を高くしたりして）注視用画像３０ａを表示する。こうして運転者の前方に注視用画像３０ａを表示すると、前方を見ながら運転する運転者は、その注視用画像３０ａを注視するものと考えられる。
【００３０】
そこで、ＣＰＵ１１は、運転者が注視用画像３０ａを注視している状態での瞳孔相対位置、すなわち注視用画像３０ａを表示したときの瞳孔相対位置を検出する（Ｓ２１０）。瞳孔相対位置の検出は、図２を用いて前述した視線位置検出処理と同様の方法で行う。すなわち、近赤外光を照射した状態で運転者の目を撮像し、目の画像から検出された瞳孔および角膜反射像の中心に基づいて瞳孔相対位置を検出する。
【００３１】
こうして、注視用画像３０ａを表示したときの「瞳孔相対位置」を検出したら（Ｓ２１０）、ＣＰＵ１１は、注視用画像３０ａを表示した位置、および注視用画像３０ａを表示したときに得られた「瞳孔相対位置」に基づいて、視線位置決定テーブルを校正する（Ｓ２１２）。すなわち、今回得られた「瞳孔相対位置」は、運転者が注視用画像３０ａを注視している状態での「瞳孔相対位置」であると推定できるので、該「瞳孔相対位置」が検出された場合に、「注視用画像３０ａを表示した位置」が視線位置として検出されるように、視線位置決定テーブルにおける該「瞳孔相対位置」に対応する視線位置を、「注視用画像３０ａを表示した位置」に対応する視線位置に更新する。
たとえば、図８に示すように、今回得られた「瞳孔相対位置」（注視用画像３０ａを表示したときに得られた「瞳孔相対位置」）の値が（１２０，２５０）であった場合、この瞳孔相対位置（１２０、２５０）に対応する視線位置を、「注視用画像３０ａを表示した位置」に対応する視線位置（ｂｘ８０、ｂｙ８０）に更新する。
【００３２】
こうして、注視用画像３０ａを表示したときに得られた「瞳孔相対位置」に対応する視線位置を更新したら、これに連動して、その他の「瞳孔相対位置」に対応する視線位置も、周知の補間処理や捕外処理等を行うことによって更新する。こうして視線位置決定テーブルを校正することで、視線位置検出処理で検出される視線位置と実際の視線位置とのズレが解消され、視線位置の検出精度が高められる。
尚、本実施例では、視線位置決定テーブルを校正することにより、視線位置の検出精度が高められる。したがって、本実施例において「視線位置決定テーブルを校正する」ことは、本発明における「視線位置を校正する」ことに相当する。
【００３３】
尚、視線位置決定テーブルを上述のようにして校正するのではなく、視線位置決定テーブルを生成し直すこととしてもよい。すなわち、図９に示されるように、Ｓ２０８の処理で説明した注視用画像３０ａを表示する処理を、表示位置を変更しながら複数回繰り返す。図９に示す例では、ＨＵＤ装置２１の画像表示領域の５カ所（四隅、および中央の部分）に注視用画像３０ｂ〜３０ｆを順次表示する。運転者は、順次表示された注視用画像３０ｂ〜３０ｆを注視すると考えられるので、ＣＰＵ１１は、注視用画像３０ｂ〜３０ｆを表示したときに撮像した目の画像から、瞳孔相対位置を検出する。そして、注視用画像３０ｂ〜３０ｆの表示位置（視線位置）と、検出された瞳孔相対位置とを対応付けて記憶する。また、注視用画像３０ｂ〜３０ｆを表示していない位置（視線位置）については、周知の補間処理や捕外処理等を行うことによって瞳孔相対位置を演算する。
【００３４】
こうして、視線位置決定テーブルを生成し直すと、視線位置検出処理で検出される視線位置と実際の視線位置とのズレが確実に解消され、視線位置の検出精度を確実に高めることができる。尚、このように視線位置決定テーブルを生成し直した場合は、「視線位置決定テーブルを生成し直す」ことが、本発明における「視線位置を校正する」ことに相当する。
【００３５】
以上に説明したように、本実施例の視線検出装置１０は、視線位置決定テーブルの校正（あるいは生成し直し）を行うに際し、運転者に対して注視用画像３０ａを表示する。運転者に対して注視用画像３０ａを表示する処理は、ＨＵＤ装置２１を用いていつでも行うことができる。また、前方を見ながら運転する運転者は、運転者に対して表示された（運転者の前方に表示された）注視用画像３０ａを注視すると考えられる。これらのことから、運転者に対して注視用画像３０ａを表示する処理により、所望のタイミングで運転者の「実際の視線位置」を取得することができる。
そこで、本実施例の視線検出装置１０では、前述したように、運転者に対して注視用画像３０ａを表示して、その注視用画像３０ａを表示した位置と、視線位置検出処理（と同様の方法）で検出した瞳孔相対位置とに基づいて、視線位置決定テーブルを校正する。こうすれば、車両周辺の明るさの変化量が所定量を超えたタイミングを逃すことなく、運転者の「実際の視線位置」を取得して、その「実際の視線位置」が視線位置検出処理によって検出されるように視線位置決定テーブルを校正することができる。その結果、視線位置の検出精度を確実に高く保つことができる。
尚、本実施例では、注視用画像３０ａを表示した位置と、視線位置検出処理（と同様の方法）で検出した「瞳孔相対位置」とに基づいて、視線位置決定テーブルを校正したが、この「瞳孔相対位置」は、視線位置検出処理によって検出される「視線位置」に対応するものである。したがって、本実施例における「注視用画像３０ａを表示した位置と、視線位置検出処理（と同様の方法）で検出した「瞳孔相対位置」とに基づいて、視線位置決定テーブルを校正する」ことは、本発明における「注視用画像を表示した位置と、視線検出手段が検出した「視線位置」とに基づいて、視線位置を校正する」ことに相当する。
【００３６】
また、前方を見ながら運転する運転者は、運転者に対して表示された（運転者の前方に表示された）注視用画像３０ａを、視線を大きく動かすことなく無意識のうちに注視するものと考えられる。このため、運転者の運転を妨げることがないので、視線位置決定テーブルの校正を安全に行うことができる。
【００３７】
さらに、上述した説明では、運転者を所定の位置に注視させるために、注視用画像３０ａを表示することとしたが、注視用画像３０ａのように専用の画像を用いるのではなく、ＨＵＤ装置２１によって普段から表示される画像を用いることとしてもよい。なかでも、運転者に警告するための警告画像（たとえば、前方に障害物を検出したことを警告する警告画像や、道路標識を提示して注意を促す警告画像）は、一般的に、運転者の注意を引き付けるような表示態様が採用されている。このため、警告画像は、注視用画像３０ａと同様に、運転者を所定の位置に注視させることができる。
【００３８】
そこで、ＣＰＵ１１は、車両周辺の明るさの変化量が所定量を超えた場合、視線位置決定テーブルの校正を、警告画像の表示位置に基づいて行うこととしてもよい。このように、専用の画像（注視用画像３０ａ）ではなく、普段から表示される警告画像を利用することとすれば、運転者に対して表示される画像は普段と何ら変わることがない。このため、運転者の運転を妨げることなく、視線位置決定テーブルの校正をより安全に行うことができる。
【００３９】
また、前述したように、本実施例の視線検出装置１０では、車両周辺の明るさの変化量が所定量を超えた場合に視線位置の検出精度が低下したと推定して、視線位置決定テーブルの校正を行うこととした。以下では、この点について補足して説明する。
【００４０】
図１０には、本実施例における「車両周辺の明るさ」と「視線位置の検出精度」との関係が概念的に示されている。図１０中の上側には、車両周辺の明るさが示されており、図１０中の下側には、視線位置の検出精度が示されている。
【００４１】
車両が日中に走行しているとき、図１０中の時刻ｔ１で示されるように、トンネル内に進入することで車両周辺の明るさが大きく低下することがある。これにより、車室内の運転者の目に入る光の明るさが低下すると、実際には視線位置が変化していなくても、目の画像から得られる瞳孔相対位置が変化してしまい、視線位置の検出精度が低下することがある。そこで、ＣＰＵ１１は、車両周辺の明るさの変化量が所定量を超えた（所定量を超えて低下した）と判断したら、視線位置決定テーブルの校正を行う。これにより、図１０中の時刻ｔ２で示されるように、視線位置の検出精度を高めることができる。
【００４２】
そして、図１０中の時刻ｔ３で示されるように、いずれ、車両がトンネルの外に出ると、車両周辺の明るさが元の明るさに戻り、運転者の目に入る光の明るさも元に戻る。すると、実際には視線位置が変化していなくても、瞳孔相対位置が変化してしまい、視線位置の検出精度が低下することがある。そこで、ＣＰＵ１１は、車両周辺の明るさの変化量が所定量を超えた（所定量を超えて上昇した）と判断したら、視線位置決定テーブルの校正を行う。これにより、図１０中の時刻ｔ４で示されるように、視線位置の検出精度を高めることができる。
【００４３】
このように、車両周辺の明るさの変化量が所定量を超えた場合に視線位置決定テーブルの校正を行うこととすれば、視線位置の検出精度が低下したタイミングで校正を行って検出精度を高めることができる。この結果、視線位置の検出精度を高く保つことができる。
【００４４】
また、車両が日没時に走行しているとき、図１０中の時刻ｔ５から、時刻ｔ６,ｔ７,ｔ８にかけて示されているように、車両周辺の明るさが徐々に低下することがある。この場合、たとえば、単位時間当たりの明るさの変化量だけでは、車両周辺の明るさの変化量が所定量を超えたか否かを適切に判断することができない虞がある。
そこで、本実施例の視線検出装置１０（ＣＰＵ１１）は、視線位置決定テーブルを校正したときの車両周辺の明るさをＲＡＭ１３に記憶することとし、視線位置決定テーブルの校正は、検出された車両周辺の明るさと、ＲＡＭ１３に記憶されている明るさとの差が所定量より大きくなった場合に行うこととする。
こうすれば、車両周辺の明るさが徐々に変化する場合であっても、記憶されている明るさ（すなわち、前回校正を行ったときの明るさ）と、今回検出された明るさとを比較することができるので、車両周辺の明るさの変化量が所定量を超えたか否かを適切に判断することができる。これにより、車両周辺の明るさが徐々に変化することで視線位置の検出精度が徐々に低下するような場合でも、検出精度が前回の校正により高められた状態から大きく低下する前に校正を行って、視線位置の検出精度を高く保つことができる（図１０中の時刻ｔ６,ｔ７,ｔ８を参照）。尚、本実施例におけるＲＡＭ１３は、本発明における「記憶手段」に相当する。
【００４５】
以上、本実施例では、視線位置を検出する方法として、運転者の目の画像に写った角膜反射像と瞳孔との位置関係を利用する方法を用いて説明した。しかし、視線位置を検出する方法としては、この方法に限られるものではない。すなわち、視線位置を検出する各種方法において、車両周辺の明るさの変化量が大きくなると、視線位置の検出精度が低下しやすくなると考えられる。そこで、視線位置を検出する各種方法において、車両周辺の明るさの変化量が所定量を超えた場合に、視線位置の検出で行われる処理を校正することとすれば、上述した実施例と同様の効果を得ることができる。尚、視線位置の検出で行われる処理の校正は、検出方法に対応した方法で行われる。たとえば、視線位置の検出を、視線位置決定テーブルではなく、所定の関係式に基づいて行っている場合、その関係式を校正する。
【００４６】
また、本実施例では、視線位置決定テーブルを例として、「視線位置を検出する際に行われる処理」を校正するものとして説明したが、もちろん、検出して得られた結果物である「視線位置」を校正することとしてもよい。すなわち、本発明における「視線位置を校正する」とは、「視線位置を検出する際に行われる処理」を校正するのか、検出して得られた結果物である「視線位置」を校正するのかに拘らず、結果的に視線位置の検出精度が高められるように校正することを表す。尚、検出して得られた結果物である「視線位置」を校正する方法としては、注視用画像３０ａを表示した位置（すなわち、実際の視線位置）と、検出された視線位置とに基づいて、該視線位置が「実際の視線位置」となるように、該視線位置をオフセットする方法を例示することができる。
【符号の説明】
【００４７】
１０…視線検出装置、                    １１…ＣＰＵ、
１１ａ…視線位置検出機能、              １１ｂ…校正機能、
１１ｃ…周辺環境検出機能、              １１ｄ…画像表示機能、
１２…フラッシュメモリ、                １３…ＲＡＭ、
１４…バス、                            １５…カメラ用インターフェース、
１６…近赤外光カメラ、                  １７…近赤外光ＬＥＤ、
１８…照度センサー用インターフェース、  １９…照度センサー、
２０…ＨＵＤ装置用インターフェース、    ２１…ＨＵＤ装置、
３０ａ〜３０ｆ…注視用画像。
【図１】
2015118579.tif 000003
【図２】
2015118579.tif 000004
【図３】
2015118579.tif 000005
【図４】
2015118579.tif 000006
【図５】
2015118579.tif 000007
【図６】
2015118579.tif 000008
【図７】
2015118579.tif 000009
【図８】
2015118579.tif 000010
【図９】
2015118579.tif 000011
【図１０】
2015118579.tif 000012