(57)【要約】【課題】漫然運転を検知すること。【解決手段】車両１０を運転する運転者Uの眼球Eの焦点距離D2と、運転者Uの視線の先にある物体である対象物Fと車両１０との離間距離D1とを用いて、眼球Eの焦点が対象物Fに合っていないことを判定する電子機器１による。【選択図】図２
2019032747.tif 000002
【特許請求の範囲】
【請求項１】
車両を運転する運転者の眼球の焦点距離と、前記運転者の視線の先にある物体である対象物と前記車両との離間距離とを用いて、前記眼球の焦点が前記対象物に合っていないことを判定する電子機器。
【請求項２】
前記焦点距離と前記離間距離とを比較することにより、前記眼球の焦点が前記対象物に合っていないことを判定することを特徴とする請求項1に記載の電子機器。
【請求項３】
前記車両の前方の画像を取得する画像取得部と、
前記運転者の視線を検出する視線検出部と、
前記画像と検出した前記視線とを用いて、前記対象物を特定する対象特定部と、
を有することを特徴とする請求項１又は請求項２に記載の電子機器。
【請求項４】
前記焦点距離と前記離間距離の各々の時間変化が類似している場合に漫然運転ではないと判定し、そうではない場合に漫然運転であると判定する漫然運転判定部を更に有することを特徴とする請求項１に記載の電子機器。
【請求項５】
前記漫然運転判定部は、前記離間距離と前記焦点距離との差分が予め定めておいた閾値距離以上になった期間の長さが、予め定めておいた閾値時間以上になった場合に、前記焦点距離と前記離間距離の各々の時間変化が類似せず、そうでない場合に前記焦点距離と前記離間距離の各々の時間変化が類似すると判定することを特徴とする請求項４に記載の電子機器。
【請求項６】
車両を運転する運転者の眼球の焦点距離を測定し、
前記運転者の視線の先にある対象物と前記車両との離間距離を検出し、
前記焦点距離と前記離間距離とを比較することにより、前記運転者が漫然運転をしているかどうかを判定する、
処理を電子機器に実行させるための運転状態判定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、及び運転状態判定プログラムに関する。
【背景技術】
【０００２】
交通事故の原因の一つに運転者の漫然運転がある。漫然運転は、自動車等の車両の運転者が注意力を欠いた状態でぼんやりと運転している状態であり、運転者が運転以外のことを考えているときに生じやすい。
【０００３】
漫然運転を検知して事故を未然に防ぐ様々な提案がなされているが、いずれも改善の余地がある。
【０００４】
例えば、運転者の視線方向に対象物が存在する場合にその対象物を運転者が注視していると推定し、その対象物と自車両との間に障害物が割り込んだときに警報を出す方法が提案されている。この方法では、視線の先にある物を運転者が注視していることを前提としているが、漫然運転の場合には視線の先の対象物に運転者の焦点が合っておらず、その対象物を運転者が注視していない可能性もある。
【０００５】
上記の提案手法ではこの場合に警報を出すことができず、漫然運転による交通事故を減らすのが難しくなる。
【０００６】
なお、本明細書における「視線」とは、「目で見る方向」を意味するものとする。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−９４７１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
一側面によれば、本発明は、漫然運転を検知することができる電子機器及び運転状態判定プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
一側面によれば、車両を運転する運転者の眼球の焦点距離と、前記運転者の視線の先にある物体である対象物と前記車両との離間距離とを用いて、前記眼球の焦点が前記対象物に合っていないことを判定する電子機器が提供される。
【発明の効果】
【００１０】
一側面によれば漫然運転を検知することができる。
【図面の簡単な説明】
【００１１】
【図１】図１は、本実施形態における焦点距離について説明するための模式図である。
【図２】図２は、本実施形態に係る電子機器のハードウェア構成図である。
【図３】図３は、本実施形態に係る焦点検出装置の構成図である。
【図４】図４は、本実施形態において、円柱レンズから射出した光線を模式的に示す図である。
【図５】図５は、本実施形態に係る制御装置の機能構成図である。
【図６】図６は、本実施形態において取得したステレオ画像に含まれる左画像と右画像のうちの一方の模式的に示す図である。
【図７】図７は、本実施形態における視線の検出方法の一例について模式的に示す図である。
【図８】図８は、本実施形態に係る時系列記憶部が記憶した時系列データを模式的に示す図である。
【図９】図９は、本実施形態の第１例に係る判定方法について模式的に示す図である。
【図１０】図１０は、本実施形態の第２例に係る判定方法について模式的に示す図である。
【図１１】図１１は、本実施形態において、相対速度と閾値時間との関係について示す模式図である。
【図１２】図１２は、本実施形態において、相対速度に応じて閾値時間を設定した場合における判定方法について模式的に示す図である。
【図１３】図１３は、本実施形態に係る漫然運転判定方法について説明するためのフローチャートである。
【図１４】図１４は、図１３のステップＳ１９における判定方法について説明するためのフローチャートである。
【発明を実施するための最良の形態】
【００１２】
以下に、本実施形態について図面を参照しながら詳細に説明する。
【００１３】
本実施形態では、運転者が対象物を注視しているか否かを判定するために、運転者の眼球の焦点距離を用いる。
【００１４】
図１は、その焦点距離について説明するための模式図である。
【００１５】
この例では、運転者Uが自動車等の車両を運転しており、その運転者Uの視線Sの先に対象物Fが存在する場合を想定する。なお、車両と対象物Fとの離間距離を以下ではD1で表す。
【００１６】
この場合、眼球Eの焦点距離D2は、眼球Eの焦点が合っている位置Fから眼球Eまでの距離として定義される。
【００１７】
運転者Uが対象物Fを注視している場合には、対象物Fを良く観察しようとする意図が運転者Uに働く。そのため、この場合には視線Sの先に対象物Fがあるだけでなく、離間距離D1と焦点距離D2との差が小さくなる。
【００１８】
これとは逆に、運転者Uが対象物Fを注視せずに漫然運転を行っている場合には、離間距離D1と焦点距離D2との差が大きくなる。
【００１９】
よって、離間距離D1と焦点距離D2との差分｜D1−D2｜は、運転者Uが漫然運転を行っているか否かを判定するための目安となる。本実施形態ではこれを利用して漫然運転の状態にあるかどうかを以下のように判定する。
【００２０】
［ハードウェア構成］
図２は、本実施形態に係る電子機器のハードウェア構成図である。
【００２１】
この電子機器１は、運転者が漫然運転をしているか否かを判定する機器であり、ステレオカメラ２、顔撮影カメラ３、焦点検出装置４、制御装置５、及び警報装置６を有する。これらの各部を設置する位置は特に限定されないが、この例では車両１０の内部に各部を設置する。
【００２２】
このうち、ステレオカメラ２は、視差が生じる左右二つの撮像レンズを備えており、フロントガラス１０ａ越しに車両１０の前方のステレオ画像を撮像する。そのステレオ画像は、各撮像レンズが撮像した右画像と左画像からなり、ステレオカメラ２によって制御装置５に出力される。
【００２３】
また、顔撮像カメラ３は、運転者Uの顔画像を撮像してそれを制御装置５に出力する。
【００２４】
一方、焦点検出装置４は、運転者Uの眼球Eの焦点距離を測定するために使用する装置であって、眼底で反射した試験光の反射像を撮像してそれを制御装置５に出力する。
【００２５】
制御装置５は、前述のステレオ画像、顔画像、及び反射像を基にして運転者Uが漫然運転しているかどうかを判定するハードウェアである。そして、漫然運転をしていると判定した場合には、制御装置５は、運転者に警報を出すための警報フラグをONにする。
【００２６】
その制御装置５は、記憶部１１、メモリ１２、及びプロセッサ１３を備える。
【００２７】
記憶部１１は、例えばフラッシュメモリ等の不揮発性のストレージであり、本実施形態に係る運転状態判定プログラム１５を記憶する。
【００２８】
なお、その運転状態判定プログラム１５をコンピュータが読み取り可能な記録媒体１６に記録させておき、プロセッサ１３に記録媒体１６の運転状態判定プログラム１５を読み取らせるようにしてもよい。
【００２９】
そのような記録媒体１６としては、例えばCD-ROM(Compact Disc - Read Only Memory)、DVD(Digital Versatile Disc)、及びUSB(Universal Serial Bus)メモリ等の物理的な可搬型記録媒体がある。また、フラッシュメモリ等の半導体メモリやハードディスクドライブを記録媒体１６として使用してもよい。これらの記録媒体１６は、物理的な形態を持たない搬送波のような一時的な媒体ではない。
【００３０】
更に、公衆回線、インターネット、及びLAN(Local Area Network)等に接続された装置に運転状態判定プログラム１５を記憶させておき、プロセッサ１６が運転状態判定プログラム１５を読み出して実行するようにしてもよい。
【００３１】
また、メモリ１２は、DRAM(Dynamic RAM)等のようにデータを一時的に記憶するハードウェアであって、その上に前述の運転状態判定プログラム１５が展開される。
【００３２】
プロセッサ１３は、電子機器１の各部を制御したり、メモリ１２と協働して運転状態判定プログラム１５を実行したりするCPU(Central Processing Unit)等のハードウェアである。
【００３３】
そして、警報装置６は、制御装置５から警報フラグの通知を受け、その警報フラグがONとなったときに警報を出す。警報の出し方は特に限定されない。一例として、警報装置６は、運転者に注意を促すための警報音を発する。
【００３４】
次に、前述の焦点検出装置４について説明する。
【００３５】
図３は、焦点検出装置４の構成図である。
【００３６】
図３に示すように、焦点検出装置４は、光源２１、光学系２２、及び撮像部２３を備える。
【００３７】
このうち、光源２１は、試験光Lとして赤外線を発光する点状の光源である。この例では、その光源２１として赤外線LED(Light Emitting Diode)を採用する。
【００３８】
一方、光学系２２は、コリメータレンズ２４、ダイクロイックミラー２５、可視光カットフィルタ２６、ハーフミラー２７、及び円柱レンズ２８を備える。
【００３９】
上記の光源２１から出た試験光Lは、コリメータレンズ２４により平行光にされた後、ハーフミラー２７とダイクロイックミラー２５の各々で反射して眼球Eに入射する。
【００４０】
このように眼球Eに入射した試験光Lは眼底で反射し、その反射光が光軸Cに沿って撮像部２３に入射する。なお、その反射光に含まれる可視光は可視光カットフィルタ２６によりカットされる。
【００４１】
また、円柱レンズ２８は、円柱面２８ａを備えた凸レンズであって、眼底で反射した試験光Lを撮像部２３に結像させる。なお、この例では、円柱面２８ａの軸方向をX方向とし、X方向と光軸Cの各々に垂直な方向をY方向とする。
【００４２】
そして、撮像部２３は、赤外画像を取得するCCD(Charge Coupled Device)イメージセンサやCMOS(Complementary Metal Oxide Silicon)イメージセンサであって、眼底で反射した試験光Lの反射像を撮像する。
【００４３】
その反射像の形状は、眼球Eの焦点距離に応じて以下のように変形する。
【００４４】
図４は、円柱レンズ２８から射出した光線を模式的に示す図である。
【００４５】
図４に示すように、眼底で反射した光源２１の反射像２１ａは、円柱レンズ２８の非点収差によって楕円状に歪む。点A、B、Cに示すように、その楕円の縦横比は眼球Eの焦点距離によって変わるため、その縦横比から眼球Eの焦点距離を求めることができる。
【００４６】
［機能構成］
次に、制御装置５の機能構成について説明する。
【００４７】
図５は、制御装置５の機能構成図である。
【００４８】
図５に示すように、制御装置５は、画像処理部３１、視線検出部３２、焦点距離測定部３３、データ処理部３４、時系列記憶部３５、及び漫然運転判定部３６を備える。
【００４９】
これらの各部は、プロセッサ１３がメモリ１２と協働して運転状態判定プログラム１５を実行することにより実現される。
【００５０】
このうち、画像処理部３１は、画像取得部４１、識別部４２、距離算出部４３、及び速度算出部４４を備える。
【００５１】
画像取得部４１は、前述のステレオカメラ２から車両１０の前方のステレオ画像を取得する。
【００５２】
図６は、取得したステレオ画像に含まれる左画像と右画像のうちの一方を模式的に示す図である。
【００５３】
図６に示すように、ステレオ画像には様々な対象物Fが現れる。
【００５４】
再び図５を参照する。
【００５５】
識別部４２は、画像取得部４１が取得したステレオ画像の左画像と右画像のいずれか一方に対してエッジ抽出処理を行うことにより、その画像に含まれる各対象物Fを識別し、その識別結果をデータ処理部３４に通知する。
【００５６】
また、距離算出部４３は、左画像と右画像との視差を基にして、識別部４２が識別した各対象物Fと車両１０との離間距離D1を対象物Fごとに算出する。なお、算出した離間距離D1は、距離算出部４３によってデータ処理部３４に通知される。
【００５７】
そして、速度算出部４４は、距離算出部４３が算出した離間距離D1の時間変化率を対象物Fごとに算出することにより、各対象物Fと車両１０との相対速度Vを算出し、その相対速度Vをデータ処理部３４に通知する。
【００５８】
一方、視線検出部３２は、顔撮影カメラ３が撮像した運転者の顔画像を取得する。そして、その顔画像を基にして、視線検出部３２は以下のように運転者の視線を検出し、その検出結果をデータ処理部３４に通知する。
【００５９】
図７は、視線の検出方法の一例について模式的に示す図である。
【００６０】
この例では、視線検出部３２が顔画像から運転者の目頭CEと虹彩IRとを抽出し、目頭CEから虹彩IRの中心に向かうベクトルLを求める。ベクトルLの向きと長さは運転者の視線に応じて変わる。そのため、ベクトルLと視線との関係を予め求めておくことで、視線検出部３２は、ベクトルLを基にして視線を検出することができる。
【００６１】
再び図５を参照する。
【００６２】
焦点距離測定部３３は、反射像２１ａ（図４参照）を基にして、運転者の眼球Eの焦点距離D2を測定する。例えば、焦点距離測定部３３は、楕円状の反射像２１ａの縦横比を求め、その縦横比に対応した眼球Eの焦点距離D2を算出する。
【００６３】
一方、データ処理部３４は、対象特定部５１、距離検出部５２、及び演算部５３を備える。
【００６４】
このうち、対象特定部５１は、識別部４２が識別した各対象物Fのうち、視線検出部３２が検出した視線の先にあるものを特定する。
【００６５】
また、距離検出部５２は、距離算出部４３が算出した離間距離D1を用いることにより、対象特定部５１が特定した対象物Fと車両１０との離間距離D1を検出し、その離間距離D1を漫然運転判定部３６と演算部５３の各々に通知する。
【００６６】
そして、演算部５３は、距離検出部５２が算出した離間距離D1と、焦点距離測定部３３が測定した焦点距離D2との差分Diff=｜D1−D2｜を算出する。その差分Diffは、演算部５３によって漫然運転判定部３６に通知される。
【００６７】
一方、時系列記憶部３５は、データ処理部３４から前述の離間距離D1と焦点距離D2とを受信し、これらの時系列データを記憶する。
【００６８】
図８は、時系列記憶部３５が記憶した時系列データ３９を模式的に示す図である。
【００６９】
図８に示すように、その時系列データ３９においては、離間距離D1と焦点距離D2の各々がこれらを取得した時刻と対応付けられる。
【００７０】
再び図５を参照する。
【００７１】
漫然運転判定部３６は、差分Diff（=｜D1−D2｜）を基にして離間距離D1と焦点距離D2とを比較することにより、運転者が漫然運転をしているかどうかを判定し、その判定結果を警報装置６に通知する。
【００７２】
図１を参照して説明したように、差分Diff（=｜D1−D2｜）が大きいと運転者Uが漫然運転をしている可能性が高い。そこで、この例では演算部５３が算出した差分Diffを基にして、漫然運転をしているかどうかを漫然運転判定部３６が以下のように判定する。
【００７３】
［漫然運転判定方法］
漫然運転判定部３６による判定方法には第１例と第２例とがある。以下にこれらについて説明する。
【００７４】
＜第１例＞
図９は、第１例に係る判定方法について模式的に示す図である。
【００７５】
図９においては、離間距離D1、焦点距離D2、及び差分Diff（=｜D1−D2｜）の各々を時系列に並べている。
【００７６】
また、この例では漫然運転をしているかどうかの基準となる第１の閾値距離TH1を設定し、差分Diffがその第１の閾値距離TH1以上となった時点で即座に漫然運転をしていると判定し、漫然運転判定部３６が第１の警報フラグW1をONにする。
【００７７】
なお、差分Diffが第１の閾値距離TH1未満の場合には、漫然運転をしていないと判定し、漫然運転判定部３６が第１の警報フラグW1をOFFにする。
【００７８】
第１の閾値距離TH1の設定の仕方は特に限定されない。この例では、離間距離D1の２０%の値を第１の閾値距離TH1とすることにより、離間距離D1が大きくなるほど第１の閾値距離TH1を大きくする。これにより、遠方の対象物ほど焦点を合わし難いという人間の目の特性を第１の閾値距離TH1に反映させて、離間距離D1の大きさと目の特性とを考慮して適切に漫然運転か否かの判定を行うことができる。
【００７９】
図９の例では、１時２０分００．０秒〜１時２０分００．２秒の期間においては差分Diffが第１の閾値距離TH1以上とはなっておらず、運転者の焦点が対象物Fに合っていると考えられる。よって、この期間においては漫然運転の状態にはないと判定され、第１の警報フラグはOFFとなる。
【００８０】
一方、時刻が１時２０分００．３秒を過ぎると、対象物Fが自車両に迫って離間距離D1が短くなっているのに対し、焦点距離D2には大きな変化はないため、運転者Uは自車両に迫る対象物Fに気づいていない可能性がある。この場合には差分Diffが第１の閾値距離TH1以上となって漫然運転の状態にあると判定される。これにより、第１の警報フラグがONとなり、運転者に注意を促すことができる。
【００８１】
＜第２例＞
運転者が車両を運転しているときには、他の車両が自車両の前に急に割り込んだり、他の車両が車線変更をしたりする場合がある。
【００８２】
このように運転者の前景が短時間で急に変化する場合においては、眼球の焦点調節機能がその変化に追従できず、一時的に離間距離D1と焦点距離D2とが大きく異なってしまう。
【００８３】
本例では、このような生理的な限界を考慮し、一時的に差分Diff（=｜D1−D2｜）が大きくなっただけでは漫然運転の状態にあるとは判定せず、その判定に以下のように時間的な猶予を与える。
【００８４】
図１０は、第２例に係る判定方法について模式的に示す図である。
【００８５】
図１０においては、離間距離D1、焦点距離D2、及び差分Diffの他に、第２の閾値距離TH2、閾値時間t1、相対速度V、及びカウント値cntの各々を時系列に並べている。
【００８６】
なお、離間距離D1等の各データを取得する時間間隔Δtは特に限定されないが、この例ではその時間間隔Δtを０．１秒とする。
【００８７】
また、第２の閾値距離TH2は、漫然運転をしているかどうかを判定するための差分Diffに対する基準値である。
【００８８】
第１例（図９参照）における第１の閾値距離TH1は、即座に警報を出さなければならない程度に差分Diffが大きくなったと判断するのに利用されるのに対し、本例では差分Diffが第２の閾値距離TH2を超えてからある程度の時間が経過した後に警報を出す。第２の閾値距離TH2は、このように差し迫った危険を判定するのに使用するわけではないので、第１の閾値距離TH1よりも小さい値に設定するのが好ましい。一例として、本例では、離間距離D1の１０%の値を第２の閾値距離TH2とする。
【００８９】
また、閾値時間t1は、差分Diffが第２の閾値距離TH2以上となってから漫然運転の状態にあると判定するまでの猶予時間であって、この例では０．４秒とする。
【００９０】
一方、カウント値cntは、最初に差分Diffが第２の閾値距離TH2以上になってからの経過時間を時間間隔Δtで除した値である。
【００９１】
運転者が漫然運転をしていない場合には、生理的な限界によって一時的に差分Diffは大きくなるものの、車両前方を注視しようとする意図が運転者に働くため、離間距離D1と焦点距離D2の各々の時間変化は類似すると考えられる。
【００９２】
そこで、この例では差分Diffが第２の閾値距離TH2以上になった期間の長さcnt・Δtが閾値時間t1以上となった場合に離間距離D1と焦点距離D2の各々の時間変化が類似せず、そうでない場合に両者の時間変化は類似すると判定する。
【００９３】
なお、閾値時間t1は、離間距離D1と焦点距離D2の各々の時間変化が類似しているかどうかを判定するために予め定められた基準時間である。
【００９４】
そして、離間距離D1と焦点距離D2の各々の時間変化が類似していない場合には運転者は漫然運転をしていると判定し、漫然運転判定部３６が第２の警報フラグW2をONにする。
【００９５】
なお、離間距離D1と焦点距離D2の各々の時間変化が類似している場合には、運転者は漫然運転をしていないと判定し、漫然運転判定部３６が第２の警報フラグW2をOFFにする。
【００９６】
図１０の例では、１時２０分００．４秒に差分Diffが第２の閾値距離TH2以上になったものの、その時点から閾値時間t1を経過する前に差分Diffは第２の閾値距離TH2よりも小さくなっており、上記の値cnt・Δtが閾値時間t1以上になることはない。
【００９７】
よって、１時２０分００．４秒〜１時２０分００．５秒の期間において差分Diffが一時的に大きくなったのは、自車両の前を走行していた他の車両が車線変更をしたためであり、運転者は漫然運転をしていないと判定できる。
【００９８】
ところで、閾値時間t1は、前述のように漫然運転の判定に時間的な猶予を与えるものであるが、対象物Fと自車両との相対速度Vが速い場合には、対象物Fとの衝突を避けるために時間的な猶予を短くするのが好ましい。
【００９９】
そこで、本実施形態では相対速度Vに応じて以下のように閾値時間t1を設定する。
【０１００】
図１１は、相対速度Vと閾値時間t1との関係について示す模式図である。
【０１０１】
図１１に示すように、本実施形態では、相対速度Vが速くなるほど閾値時間t1を短くする。これにより、対象物Fが高速に動いている場合には差分Diffが第２の閾値距離TH2以上になってから短時間で漫然運転であると判定でき、対象物Fと自車両とが衝突する危険性を低減することができる。
【０１０２】
このような閾値時間t1の求め方は特に限定されない。例えば、図１１の関係を演算部５３（図５参照）がテーブルとして保持しておき、速度算出部４４から通知された相対速度Vに対応した閾値時間t1を演算部５３が求めてもよい。
【０１０３】
図１２は、このように相対速度Vに応じて閾値時間t1を設定した場合における判定方法について模式的に示す図である。
【０１０４】
図１２に示すように、この例では１時２０分００．４秒の時点で相対速度Vが１０m/sに増加しているため、当該時点を境にして閾値時間t1が０．２秒と短くなっている。
【０１０５】
これにより、１時２０分００．５秒の時点において、差分Diffが閾値距離TH2以上となった期間の長さcnt・Δが閾値時間t1以上となり、警報フラグを速やかにONにすることができる。
【０１０６】
［フローチャート］
次に、本実施形態に係る漫然運転判定方法について、フローチャートを参照しながら説明する。
【０１０７】
図１３は、本実施形態に係る漫然運転判定方法について説明するためのフローチャートである。
【０１０８】
（ステップＳ１０）
まず、画像取得部４１が、ステレオカメラ２から車両１０の前方のステレオ画像を取得する。
【０１０９】
（ステップＳ１１）
次に、識別部４２が、ステップＳ１０で取得したステレオ画像の左画像と右画像のいずれか一方に対してエッジ抽出処理を行うことにより、その画像に含まれる各対象物Fを識別する。
【０１１０】
更に、距離算出部４３が、ステレオ画像の左画像と右画像との視差を基にして、識別部４２が識別した各対象物Fと車両１０との離間距離D1を算出する。
【０１１１】
（ステップＳ１２）
続いて、視線検出部３２が、顔撮影カメラ３から運転者の顔画像を取得する。
【０１１２】
（ステップＳ１３）
そして、視線検出部３２が、その顔画像を基にして運転者の視線を検出する。その視線は、図７に示したように、運転者の目頭CEから虹彩IRに向かうベクトルLから検出することができる。
【０１１３】
（ステップＳ１４）
続いて、対象特定部５１が、ステップＳ１１で識別した各対象物Fのうち、ステップＳ１３で検出した視線の先にあるものを特定する。
【０１１４】
（ステップＳ１５）
次に、距離検出部５２が、ステップＳ１１で算出した離間距離D1を用いることにより、視線の先にある対象物Fと車両１０との離間距離D1を検出する。
【０１１５】
（ステップＳ１６）
次いで、焦点距離測定部３３が、焦点検出装置４から反射像２１ａ（図４参照）を取得する。
【０１１６】
（ステップＳ１７）
続いて、焦点距離測定部３３が、取得した反射像２１ａに基づいて、運転者の眼球の焦点距離D2を測定する。焦点距離D2は、図４を参照して説明したように、楕円状の反射像２１ａの縦横比を基にして測定することができる。
【０１１７】
（ステップＳ１８）
次に、演算部５３が、ステップＳ１５で検出した離間距離D1と、ステップＳ１７で測定した焦点距離D2との差分Diff（=｜D1−D2｜）を算出する。
【０１１８】
（ステップＳ１９）
次いで、漫然運転判定部３６が、離間距離D1と焦点距離D2とを比較することにより、運転者が漫然運転をしているかどうかを判定する。その判定方法のフローチャートについては後述する。
【０１１９】
（ステップＳ２０）
ステップＳ１９において漫然運転をしていると判定された場合には、漫然運転判定部３６が第１の警報フラグや第２の警報フラグをONにする。これにより、警報装置６から警報音が発せられ、運転者に注意を促すことができる。
【０１２０】
次に、ステップＳ１９における判定方法について説明する。
【０１２１】
図１４は、その判定方法について説明するためのフローチャートである。
（ステップＳ２１）
まず、漫然運転判定部３６がカウント値cntを０に初期化する。
（ステップＳ２２）
次いで、時系列記憶部３５が、前述の時系列データ３９（図８参照）の記憶を開始する。
【０１２２】
そして、記憶した時系列データ３９のうち、最新の時刻における離間距離D1と焦点距離D2を利用して以下の各ステップＳ２３〜Ｓ３２が行われる。
【０１２３】
（ステップＳ２３）
次に、漫然運転判定部３６が、距離検出部５２から通知された離間距離D1を基にして第１の閾値距離TH1を算出する。この例では、前述のように離間距離D1の２０%の値を第１の閾値距離TH1とする。
【０１２４】
（ステップＳ２４）
そして、漫然運転判定部３６が、差分Diffが第１の閾値距離TH1以上であるかどうかを判定する。
【０１２５】
（ステップＳ２５）
ステップＳ２４において差分Diffが第１の閾値距離TH1以上である（ＹＥＳ）と判定された場合には、図９を参照して説明したように、即座に警報を出さなければならない程度に差分Diffが大きいということになる。
【０１２６】
よって、この場合には漫然運転判定部３６が第１の警報フラグW1をONにする。
【０１２７】
（ステップＳ２６）
ステップＳ２４において差分Diffが第１の閾値距離TH1以上ではない（ＮＯ）と判定された場合には、危険がそれほど差し迫っておらず、警報を出すまでに時間的な余裕がある。
【０１２８】
よって、この場合には、漫然運転判定部３６が距離検出部５２から通知された離間距離D1を基にして第２の閾値距離TH2を算出する。この例では、前述のように離間距離D1の１０%の値を第２の閾値距離TH2とする。
【０１２９】
（ステップＳ２７）
次に、演算部５３が前述の閾値時間t1を算出する。一例として、演算部５３は、図１１の相対速度Vに対応した閾値時間t1を算出する。
【０１３０】
（ステップＳ２８）
そして、漫然運転判定部３６が、差分Diffが第２の閾値距離TH2以上であるかどうかを判定する。
【０１３１】
（ステップＳ２９）
ステップＳ２８において差分Diffが第２の閾値距離TH2以上である（ＹＥＳ）と判定された場合には、漫然運転判定部３６がカウント値cntを１だけインクリメントする。
【０１３２】
（ステップＳ３０）
そして、漫然運転判定部３６が、値cnt・Δtが閾値時間t1以上であるか否かを判定する。
【０１３３】
（ステップＳ３１）
ステップＳ３０において値cnt・Δtが閾値時間t1以上である（ＹＥＳ）と判定された場合には、前述のように離間距離D1と焦点距離D2の各々の時間変化が類似していないことになるので、この場合には漫然運転判定部３６が第２の警報フラグW2をONにする。
【０１３４】
（ステップＳ３２）
ステップＳ２８とステップＳ３０の各々においてＮＯと判定された場合には、漫然運転判定部３６が、全ての時系列データ３９に対して前述のステップＳ２３〜３１を行ったかどうかを判定する。
【０１３５】
ここで、行っていない（ＮＯ）と判定された場合にはステップＳ２３に戻り、時系列データ３９における次の時刻のデータに対して上記の各ステップを行う。
【０１３６】
一方、行った（ＹＥＳ）と判定された場合には処理を終える。
【０１３７】
以上説明した本実施形態によれば、ステップＳ２４やステップＳ２８において差分Diffを基にして離間距離D1と焦点距離D2とを比較し、その結果を基にして漫然運転かどうかを判定する。
【０１３８】
これにより、差分Diffが大きい場合には、運転者の視線の先に対象物があるものの、その対象物に運転者の焦点が合っておらず漫然運転の状態にあることが検知できる。
【０１３９】
更に、ステップＳ３１においては、値cnt・Δtが閾値時間t1以上となったときに初めて第２の警報フラグW2をONにする。そのため、運転者が漫然運転をしていないにも関わらず、眼球の焦点調節機能の限界によって一時的に離間距離D1と焦点距離D2とが大きく異なった場合に誤って漫然運転であると判定してしまうのを防止できる。
【０１４０】
なお、上述の説明では、距離算出部４３が画像に含まれる各対象物Fと車両１０との離間距離D１を算出した後に、対象特定部５１が各対象物Fのうちから運転手の視線の先にある対象物を特定し、特定された対象物に対応する各対象物Fと車両１０との離間距離D１を漫然運転判定部３６と演算部５３に通知する例を説明したが、これに限られるものではない。例えば、対象特定部５１が運転手の視線の先にある対象物を特定した後に、特定された対象物と車両１０との離間距離D１を距離算出部４３が算出するようにしてもよい。
【０１４１】
以上説明した各実施形態に関し、更に以下の付記を開示する。
【０１４２】
（付記１）  車両を運転する運転者の眼球の焦点距離と、前記運転者の視線の先にある物体である対象物と前記車両との離間距離とを用いて、前記眼球の焦点が前記対象物に合っていないことを判定する電子機器。
【０１４３】
（付記２）  前記焦点距離と前記離間距離とを比較することにより、前記眼球の焦点が前記対象物に合っていないことを判定することを特徴とする付記1に記載の電子機器。
【０１４４】
（付記３）  前記車両の前方の画像を取得する画像取得部と、
前記運転者の視線を検出する視線検出部と、
前記画像と検出した前記視線方向とを用いて、前記対象物を特定する対象特定部と、
を有することを特徴とする付記１又は付記２に記載の電子機器。
【０１４５】
（付記４）  前記焦点距離と前記離間距離の各々の時間変化が類似している場合に漫然運転ではないと判定し、そうではない場合に漫然運転であると判定する漫然運転判定部を有することを特徴とする付記１に記載の電子機器。
【０１４６】
（付記５）
前記漫然運転判定部は、前記離間距離と前記焦点距離との差分が予め定めておいた閾値距離以上になった期間の長さが、予め定めておいた閾値時間以上になった場合に、前記焦点距離と前記離間距離の各々の時間変化が類似せず、そうでない場合に前記焦点距離と前記離間距離の各々の時間変化が類似すると判定することを特徴とする付記４に記載の電子機器。
【０１４７】
（付記６）  前記閾値時間は、前記対象物と前記車両との相対速度が速くなるほど短く設定されることを特徴とする付記５に記載の電子機器。
【０１４８】
（付記７）  車両を運転する運転者の眼球の焦点距離を測定し、
前記運転者の視線の先にある対象物と前記車両との離間距離を検出し、
前記焦点距離と前記離間距離とを比較することにより、前記運転者が漫然運転をしているかどうかを判定する、
処理を電子機器に実行させるための運転状態判定プログラム。
【符号の説明】
【０１４９】
１０…車両、１０ａ…フロントガラス、１１…記憶部、１２…メモリ、１３…プロセッサ、１５…運転状態判定プログラム、１６…記録媒体、２１…光源、２１ａ…反射像、２２…光学系、２３…撮像部、２４…コリメータレンズ、２５…ダイクロイックミラー、２６…可視光カットフィルタ、２７…ハーフミラー、２８…円柱レンズ、３１…画像処理部、３２…視線検出部、３３…焦点距離測定部、３４…データ処理部、３５…時系列記憶部、３６…漫然運転判定部、３９…時系列データ、４１…画像取得部、４２…識別部、４３…距離算出部、４４…速度算出部、５１…対象特定部、５２…距離検出部、５３…演算部。
【図１】
2019032747.tif 000003
【図２】
2019032747.tif 000004
【図３】
2019032747.tif 000005
【図４】
2019032747.tif 000006
【図５】
2019032747.tif 000007
【図６】
2019032747.tif 000008
【図７】
2019032747.tif 000009
【図８】
2019032747.tif 000010
【図９】
2019032747.tif 000011
【図１０】
2019032747.tif 000012
【図１１】
2019032747.tif 000013
【図１２】
2019032747.tif 000014
【図１３】
2019032747.tif 000015
【図１４】
2019032747.tif 000016