(57)【要約】【課題】  運転者の前方以外の間接視界に対する視認負荷を正確に判断する。【解決手段】  視点検出部５１によって運転者の視点座標を検出すると共に、瞬目状態検出部５２によって運転者の瞬目行為の有無を検出することによって運転者を監視し、更に、視点移動量算出部４３により、視点座標に基づいて視点移動が前方直接視界と後側方間接視界デバイスとの間の視点移動であることの判断を行うと共に、視点移動時瞬目有無判断部４４により、瞬目行為の有無に基づいて前方直接視界と間接視界との間の視点移動期間における瞬目行為の有無を判断する。視線移動時瞬目パターン判断部４８は、前方直接視界と後側方間接視界デバイスとの間の視点移動の方向と、瞬目行為の有無との組み合わせパターンによって、間接視界に対する視認負荷を判断する。【選択図】      図５
2006043429.tif 000002
【特許請求の範囲】
【請求項１】
前方直接視界と、前方以外の直接視界を含む間接視界とを視認する運転者の視認負荷を判断する視認負荷判断装置において、
前記運転者の視点座標を検出する視点座標検出手段と、
前記運転者の瞬目行為の有無を検出する瞬目状態検出手段と、
前記視点座標検出手段で検出された視点座標に基づいて、視点移動が前記前方直接視界と前記間接視界との間の視点移動であることを判断する視点移動判断手段と、
前記瞬目状態検出手段で検出された瞬目行為の有無に基づいて、前記視点移動判断手段により判断された前記前方直接視界と前記間接視界との間の視点移動期間における瞬目行為の有無を判断する瞬目行為有無判断手段と、
前記視点移動判断手段により判断された前記前方直接視界と前記間接視界との間の視点移動の方向と、前記瞬目行為有無判断手段により判断された瞬目行為の有無との組み合わせパターンを判断するパターン判断手段と、
前記パターン判断手段により判断されたパターンに基づいて、前記間接視界に対する視認負荷を判断する視認負荷判断手段と
を備えることを特徴とする視認負荷判断装置。
【請求項２】
前記パターン判断手段は、前記間接視界から前記前方直接視界への視点移動時に瞬目行為の無いパターンを判断し、
前記視認負荷判断手段は、前記間接視界から前記前方直接視界への視点移動時に瞬目行為の無いパターンであることが判断された場合に、前記間接視界に対する視認負荷が高いことを判断すること
を特徴とする請求項１に記載の視認負荷判断装置。
【請求項３】
前記視認負荷判断手段は、前記パターン判断手段により前記間接視界から前記前方直接視界への視点移動時に瞬目行為の無いパターンが検出された場合に、緊急度の低い情報の提示を停止又は保留することを特徴とする請求項２に記載の視認負荷判断装置。
【請求項４】
前記視認負荷判断手段は、前記パターン判断手段により前記間接視界から前記前方直接視界への視点移動時に瞬目行為の無いパターンが所定の頻度で検出された場合に、運転操作を支援する情報を提示することを特徴とする請求項２又は請求項３に記載の視認負荷判断装置。
【請求項５】
前記間接視界は、ミラーによって前記運転者に認知される後側方の状況であって、
前記視認負荷判断手段は、前記パターン判断手段により判断されたパターンに基づいて、後側方の間接視界に対する視認負荷を判断すること
を特徴とする請求項１乃至請求項４の何れかに記載の視認負荷判断装置。
【請求項６】
前記瞬目有無判断手段は、前記前方直接視界と前記間接視界との間の視点移動時における前記運転者の右眼及び左眼それぞれの瞬目の有無を判断して、当該瞬目が有る場合における右眼及び左眼それぞれの瞬目時間を計測し、
前記瞬目有無判断手段により計測された右眼の瞬目時間と左眼の瞬目時間との時間差から左右眼の位相差を演算する左右眼瞬目位相差演算手段を更に備えること
を特徴とする請求項１乃至請求項５の何れか一項に記載の視認負荷判断装置。
【請求項７】
前記視認負荷判断手段は、前記左右眼瞬目位相差演算手段で演算された左右眼の位相差に基づいて、前記間接視界に対する視認負荷を判断することを特徴とする請求項６に記載の視認負荷判断装置。
【請求項８】
前記視認負荷判断手段は、前記視点移動判断手段により判断された前記前方直接視界と前記間接視界との間の視点移動量と、前記左右眼瞬目位相差演算手段により判断された左右眼の位相差との組み合わせパターンを判断して、所定の組み合わせパターンである場合に視認負荷が高いことを判断することを特徴とする請求項７に記載の視認負荷判断装置。
【請求項９】
車両周囲の混雑度を含む道路状況を検出する道路状況取得手段を更に備え、
前記視認負荷判断手段は、視認負荷が高いと判断した場合に、当該視認負荷が高いと判断した時の道路状況を取得して、当該道路状況に対応した運転操作を支援する情報を提示することを特徴とする請求項１乃至請求項８の何れか一項に記載の視認負荷判断装置。
【請求項１０】
車両周囲の天候又は道路種別を含む道路環境を検出する道路環境取得手段を更に備え、
前記視認負荷判断手段は、視認負荷が高いと判断した場合に、当該視認負荷が高いと判断した時の道路環境を取得して、当該道路環境に対応した運転操作を支援する情報を提示することを特徴とする請求項１乃至請求項８の何れか一項に記載の視認負荷判断装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば車両を運転する運転者等により周囲の物体を認知するのに要する視認負荷を計測する視認負荷判断装置に関する。
【背景技術】
【０００２】
従来より、車両運転者の認知状態を推定して、運転行動の危険度を精度良く演算するための技術としては、例えば下記の特許文献１に記載された運転行動危険度演算装置が知られている。
【０００３】
この運転行動危険度演算装置は、操舵角センサで検出された操舵角に基づいて自車の進行方向を判断し、運転者の視点行動を検出することで、現在から所定時間前までにおいて、どの程度の時間、どの程度の頻度で自車の進行方向を見たかを考慮して、運転行動危険度を演算する。この運転行動危険度演算装置によれば、例えば、進行方向を所定の閾値時間以上見たり、進行方向を所定の閾値回数以上見た場合には、運転行動危険度を低くする一方で、進行方向を所定の閾値時間以上見ていなかったり、進行方向を所定の閾値回数以上見ていなかった場合には、運転行動危険度を高くする。
【０００４】
このような特許文献１に記載の技術を始めとして、運転者への運転支援のための情報量が増えるに伴い、当該情報による運転操作に対する煩わしさ（お節介感や不安感）を回避するために、運転者の注意状態等の運転者の状態を監視し、監視結果に基づいて提示する情報を制御する必要がある。
【０００５】
これに対し、上述の特許文献１に記載された運転行動危険度演算装置では、請求項２に記載の通り、車両の進行方向を「見ていた時間（注視時間）」と「見ていた頻度（注視頻度）」の少なくとも一つの視行動を用いて運転危険度を演算し、また、更に危険度演算精度を向上させるために、請求項３に記載されているように、「視覚的注意状態」を検出している。この視覚的注意状態の検出は、視行動を、例えば注視、瞬き、サッケード眼球運動、追従眼球運動及び輻輳運動に分類することによって、運転者の注意状態を推定している。例えば、視行動が注視である場合には運転手は運転行動に注意を払っているが、視行動が瞬きや輻輳運動が多い場合には運転手は運転に注意を払っていないことを検出している。
【特許文献１】特開２００３−９９８９９号公報（請求項２，請求項３）
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載された運転行動危険度演算装置では、運転者の注視時間、注視頻度、さらに瞬目率による運転状態の監視は、前方直接視界における視行動に対する技術であるので、自車両の前方以外に対する視行動については考慮していなかった。これに対し、車両運転中の運転者は、進行方向である前方のみならず、後側方を含めた周囲の状況を視認することによって把握し、適切な運転行動を行う必要がある。したがって、後側方についても視行動検出精度をあげなければ、運転者の状態を十分に監視しているとは言えないという問題があり、上述の運転行動危険度演算装置を運転者の後側方間接視界に対して適用しても、視行動検出精度が不十分であるという問題点があった。
【０００７】
ところで、例えば車両に搭載されたサイドミラー等を使用した後側方間接視界に関して、運転者にとって危険な状態は、（１）後側方に注意を向けるべき状況ではあるが後側方間接視界に視線を向けておらず情報を取りに行っていない状態、（２）後側方に注意を向けて後側方間接視界に視線を向けて情報を取りに行っているが、後側方の状況が把握しきれない状態である。
【０００８】
この２つの状態は、ミラー等を介さない前方直接視界であってもあてはまることであるが、前方直接視界では視線を向けるのみでその情報をほぼ得ることができるのに対して、後側方間接視界では必ずしもそうではない。上記（２）の状態は、視認負荷が高く後側方の情報を判断できない状態であり、視認負荷が前方直接視界よりも高い後側方間接視界では、上記（２）の状態を検出する必要性が顕在化する。
【０００９】
具体的には、合流シーンのように、限られた時間と道路区間で走行車線に合流しなければならない状況では、特に運転者の注意資源を有効に利用する必要があり、上記（２）の状態を検出した時には前方と後側方との双方の視認が困難になっている状態であり、他車両等の見落としの可能性がある。これに対し、不安感を与えないようにする必要があり、更に、運転能力によっては運転支援情報を提供する必要性が高くなってくる。
【００１０】
したがって、上記（２）の状態の検出を運転支援の必要性判断のために行う必要があるが、上述の特許文献１では、視線行動を監視することによって視線が後側方間接視界に向いているか否かを判定して上記（１）の状況判断できるが、上記（２）の状況を判断することができない。
【００１１】
この理由としては、後側方間接視界に視線を移す場合には前方から視線を離すことが前提となり、前方から視線を離していられる時間には限度があり、ある注視時間以上にならないため、視認負荷が高くなっても後側方間接視界の注視時間が長くならない。また、運転負荷がある閾値を超えると運転行動を省略することがあり、これは視認行為においてもあてはまるので、後側方間接視界の視認負荷が高くなると、運転者によっては視線行為を省略することがあるためである。
【００１２】
また、従来において、時間あたりの瞬目数（瞬目率）による視認負荷の判断を、後側方間接視界に適用しようとすると、視線の移動量や視界の切り替わりなどにより、瞬目率が通常よりも高くなることがあり、瞬目率では上記（２）の状態を判断できないという問題点があった。
【００１３】
そこで、本発明は、上述した実情に鑑みて提案されたものであり、前方以外の直接視界を含む間接視界に対する視認負荷を正確に判断することができる視認負荷判断装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、前方直接視界と、前方以外の直接視界を含む間接視界とを視認する運転者の視認負荷を判断する視認負荷判断装置であって、視点座標検出手段によって運転者の視点座標を検出すると共に、瞬目状態検出手段によって運転者の瞬目行為の有無を検出することによって運転者を監視し、更に、視点移動判断手段により、視点座標検出手段で検出された視点座標に基づいて、視点移動が前方直接視界と間接視界との間の視点移動であることの判断を行うと共に、瞬目行為有無判断手段により、瞬目状態検出手段で検出された瞬目行為の有無に基づいて、視点移動判断手段により判断された前方直接視界と間接視界との間の視点移動期間における瞬目行為の有無を判断する。
【００１５】
そして、この視認負荷判断装置は、視点移動判断手段により判断された前方直接視界と間接視界との間の視点移動の方向と、瞬目行為有無判断手段により判断された瞬目行為の有無との組み合わせパターンをパターン判断手段により判断し、パターン判断手段により判断されたパターンに基づいて、視認負荷判断手段により間接視界に対する視認負荷を判断することにより、上述の課題を解決する。
【発明の効果】
【００１６】
本発明に係る視認負荷判断装置によれば、前方直接視界と間接視界との間の視点移動の方向と、瞬目行為の有無との組み合わせパターンに基づいて、間接視界に対する視認負荷を判断するので、前方以外の間接視界に対する視認負荷を正確に判断することができる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を参照して説明する。
【００１８】
本発明を適用した視認負荷判断装置は、例えばドアミラー等の運転者に後側方を間接的に視認させる後側方間接視界デバイスへの視点と、前方直接視界への視点との間で視点移動が行われる時の瞬目行為の有無との組み合わせパターンである瞬目パターンの変化によって、後側方間接視界デバイスによって提供される情報、すなわち後側方に関する情報の要求度が高いか否かを判断することによって、運転者の視認負荷を計測するものである。
【００１９】
［視認負荷を計測するための原理］
先ず、本発明を適用した視認負荷判断装置の構成及び動作を説明する前に、計測対象者である運転者が物体を認知するときの視認負荷を判断するための原理について説明する。
【００２０】
運転者は、運転中に瞬目行為を行うと共に後側方間接視界デバイスへの視点と前方視界への視点との間で視点移動を行っているが、瞬目を伴いながら視点移動が行われる確率が高くなっており、本発明を適用した視認負荷判断装置は、視点移動の往復と瞬目の有無との組み合わせを判断している。
【００２１】
ここで、運転者の瞬目行為は、３種類ある。すなわち、瞬目行為は、運転者の意志の関与が明確なときの瞬目であって意識的に目を閉じたり合図に合わせて閉じる随意性瞬目、外的反射誘発刺激が明確なときの瞬目であってゴミなどの異物が目に入らないように防御したり、急な物音や光などによって驚いたときに反射的に眼瞼を閉じる瞬目である反射性瞬目、随意的でもなく外的反射誘発刺激を特定できない瞬目であって運転者の認知や心理の状態と深く関わっている自発性瞬目がある。
【００２２】
これに対し、本発明を適用した視認負荷判断装置では、３種類の瞬目行為のうち、認知や心理の状態が反映される自発性瞬目に着目したものである。この自発性瞬目の特徴としては、（１）視覚情報に注意・関心が向けられているときの瞬目率低下、（２）思考活動に意識が向けられているときの瞬目率増加、（３）認知判断終了時の瞬目、（４）疲労時の群発瞬目発生率の増加がある。
【００２３】
これに対し、後側方間接視界デバイスへの視点移動時には、（１）〜（４）の自発性瞬目の複合的な条件によって瞬目の有無が分かれるが、本発明を適用した視認負荷判断装置では、（１）の「視覚情報に注意・関心が向けられているときの瞬目行為の抑制」という特徴を利用して、視認負荷を判断している。この理由としては、通常、視覚情報を得ようとする要求度が高くなると瞬目を行わなくなるという人間の性質があり、後側方間接視界デバイスへの視点と前方直接視界への視点との間の視点移動時にも同様な状態であることを利用するものである。
【００２４】
このような視点移動時の瞬目行為の有無を、後側方間接視界デバイスへの視点と前方直接視界への視点との間での視点移動時に当てはめると、図１に示すような視点移動と瞬目行為の有無との組み合わせパターンである瞬目パターンを導き出すことができる。この瞬目パターンは、前方直接視界への視点から後側方間接視界デバイスへの視点に移動する往路方向と、後側方間接視界デバイスへの視点から前方直接視界への視点に移動する復路方向とにおける瞬目行為の有無により第１瞬目パターン〜第４瞬目パターンに区分できる。
【００２５】
第１瞬目パターンは、前方直接視界への視点から後側方間接視界デバイスへの視点に移動する往路方向と、後側方間接視界デバイスへの視点から前方直接視界への視点に移動する復路方向との双方において瞬目行為が発生する場合である。
【００２６】
また、第２瞬目パターンは、前方直接視界への視点から後側方間接視界デバイスへの視点に移動する往路方向において瞬目行為が無く、後側方間接視界デバイスへの視点から前方直接視界への視点に移動する復路方向において瞬目行為が発生する場合である。
【００２７】
更に、第３瞬目パターンは、前方直接視界への視点から後側方間接視界デバイスへの視点に移動する往路方向と、後側方間接視界デバイスへの視点から前方直接視界への視点に移動する復路方向との双方において瞬目行為が発生しない場合である。
【００２８】
更にまた、第４瞬目パターンは、前方直接視界への視点から後側方間接視界デバイスへの視点に移動する往路方向において瞬目行為が発生し、後側方間接視界デバイスへの視点から前方直接視界への視点に移動する復路方向において瞬目行為が無い場合である。
【００２９】
通常、視認負荷が低く、視覚情報を得ようとする要求度があまり高くない状態では、自発性瞬目要素の複合的な状態から、第１瞬目パターン又は第２瞬目パターンを示す。これに対し、交通流の多い場所での車線変更や合流時に、視認負荷が高まると、視覚情報を得ようとする要求度が高まり、視点移動時の瞬目行為が抑制され、第３瞬目パターン又は第４瞬目パターンとなる比率が高くなる。
【００３０】
このような瞬目パターンの変化は、運転中の道路環境と運転者の運転能力との相対的な関係によって決まると考えられる。したがって、視認負荷判断装置は、瞬目パターンの変化を検出することによって、運転者の後側方への視認負荷を判断することができる。
【００３１】
具体的には、瞬目パターンの変化と視認負荷との相関があることを実際の運転時の視行動から観察しておき、視認負荷判断装置は、視認負荷が高い場合には第３瞬目パターン又は第４瞬目パターンが発生する頻度が増加することを利用して、後側方間接視界デバイスへの視点移動を行う視認負荷が高いと判定する。
【００３２】
その概念図を図２に示すように視認負荷判断装置は、視点移動の検出を行い、図２（ａ）に示すように、視点移動検出信号の立ち上がり時を、前方直接視界への視点から後側方間接視界デバイスへの視点に移動する往路方向とし、信号の立ち下がり時を、後側方間接視界デバイスへの視点から前方直接視界への視点に移動する復路方向とした場合、図２（ｂ）に示すように、視点移動検出信号の立ち上がり時及び立ち上がり時における瞬目行為の有無を検出する。
【００３３】
そして、視認負荷判断装置は、図２（ｃ）に示すように、瞬目有りの場合を●とし、図中で瞬目無しの場合を○とした場合、往路時と復路時の瞬目パターンを判断し、当該瞬目パターンが第３瞬目パターン又は第４瞬目パターンである場合、すなわち復路で瞬目無しの瞬目パターンに該当する時には、図２（ｄ）の×印で示すように、後側方に対する視認負荷が高くなっていることを判断することができる。
【００３４】
［第１実施形態に係る視認負荷判断装置の構成］
本発明は、例えば図３〜図５に示すように構成された第１実施形態に係る視認負荷判断装置１に適用される。この視認負荷判断装置１は、図３に機能的な構成を示すように、視線・瞬き状態計測装置２、車速センサ３、情報提供装置４及び情報提示装置５と接続されて構成されている。このような視認負荷判断装置１は、運転者の後側方間接視界に対する視認負荷を判断するに際して、視線・瞬き状態計測装置２から視点座標信号及び瞬目信号を入力すると共に、車速センサ３から車速信号を入力して、視認負荷演算部１１によって視認負荷を判断し、当該判断結果に基づいて、情報提供装置４によって提供される情報の提示手法を情報提供判断部１２によって判断する。これにより、情報提示装置５に提示される情報は、視認負荷の判断結果が反映されたものとなる。
【００３５】
具体的には、視認負荷判断装置１は、図４に示すように、例えばナビゲーション装置やＩＴ機器等の運転支援情報を提示する情報提示装置５と視認負荷判断装置１との間に情報制御装置２１を設け、更に、運転者の顔を撮像範囲３１ａとした顔画像カメラ３１と視線・瞬き状態計測装置２とを接続して構成され、自車両２０に搭載されている。このように、自車両２０に視認負荷判断装置１を搭載する場合、顔画像カメラ３１は、運転者の眼球部分を撮像可能な位置に設けられ、車速センサ３は、車両駆動部分に接続されて車輪速を検出可能な位置に設けられ、視認負荷判断装置１、情報制御装置２１及び情報提示装置５は、例えば車両のインストルメントパネル内に設けられ、情報提示装置５は、運転者から視認可能な位置に設けられる。
【００３６】
視線・瞬き状態計測装置２は、所謂アイトラッカシステムを有し、運転者の視点位置及び瞬目状態を計測する。この視線・瞬き状態計測装置２は、赤外線角膜反射や、画像処理を行って視点位置及び瞬目状態を計測する。これにより、視線・瞬き状態計測装置２は、時間軸に従った視点座標データ及び瞬目データを作成して、視認負荷判断装置１に送る。なお、視線・瞬き状態計測装置２は、視点座標データと瞬目データと個別に計測処理しても良く、視点移動信号のみを計測して当該視点移動信号が所定の値になったときに瞬目状態であると判断して瞬目データを抽出しても良い。
【００３７】
また、視線・瞬き状態計測装置２は、アイトラッカシステムとして、帽子のように頭部にかぶせる接触式と、インストルメントパネル上に固定した２台のステレオカメラからなる顔画像カメラ３１により状態検出を行う非接触式とが使用可能である。これに対し、本例の視線・瞬き状態計測装置２では、ドアミラーやルームミラー等のある程度面積のある後側方間接視界デバイスに視線が向いているかどうかの判断を目的とするため、検出精度が若干劣るが安価な非接触式を用いている。これにより、運転者に対して非接触式であるので、計測負荷を与えないという利点がある。
【００３８】
車速センサ３は、自車両が走行しているか否かを示す車速データを作成して、視認負荷判断装置１に送る。
【００３９】
視認負荷判断装置１は、視線・瞬き状態計測装置２からの視点座標データ及び瞬目データ、車速センサ３からの車速データを用いて、運転者の運転時の視認負荷を演算する。なお、この視認負荷判断装置１の処理内容については後述する。
【００４０】
情報提供装置４は、視認負荷判断装置１が搭載されている車両の現在位置や、道路渋滞等の交通状況情報や、推奨経路の走行を促すための走行案内情報を算出する。そして、この情報提供装置４は、運転者に提示する交通状況情報や走行案内情報の提示タイミングや提示内容が情報提供判断部１２によって制御される。
【００４１】
情報提供判断部１２は、情報提供装置４から送られた交通状況情報や走行案内情報を情報提示装置５によって提示させるに際して、視認負荷判断装置１によって演算された視認負荷に基づいて、各情報の提示タイミングを演算する。具体的には、運転者の視認負荷が高い場合には、提示内容を容易に認識させ、限られた時間内において認知可能な情報量が少ないため、特に交差点等の情報提供装置４により提示する情報量が多い状況では、優先順位の低い情報の提示タイミングを、優先順位が高い情報の提示タイミングよりも遅くして情報提示装置５で提示させる。
【００４２】
［視認負荷判断装置１の機能的な構成］
このように構成された視認負荷判断装置１は、図示しないＲＯＭ（Read Only Memory）等に視認負荷を演算するためのプログラムデータを記憶しておき、当該プログラムデータをＣＰＵ（Central Processing Unit）により実行することにより、図５に示すように、視認負荷演算部１１及び情報提供判断部１２の機能を有し、視認負荷演算部１１が各部４１〜４９によって構成されている。そして、視認負荷判断装置１は、各部４１〜４９によって演算処理を行うことによって、情報提示装置５でナビゲーションシステムによるポップアップ情報やＩＴＳ運転情報等の運転支援情報を提示するか否かを情報提供判断部１２で判断し、情報制御装置２１を制御する。
【００４３】
ここで、視線・瞬き状態計測装置２は、例えばアイトラッカシステムによって構成されることにより、視点座標データを作成する視点検出部５１と瞬目データを作成する瞬目状態検出部５２とを有している。視点検出部５１及び瞬目状態検出部５２は、顔画像カメラ３１によって撮像された顔画像データを用いて所定の画像処理を行い、視点検出部５１は、運転者の視点位置を示す視点座標データを生成し、瞬目状態検出部５２は、運転者の瞬目行為の有無を示す瞬目データを生成して、例えば所定期間毎に視認負荷判断装置１に出力する。
【００４４】
視認負荷判断装置１は、視点検出部５１と接続された処理実行判断部４１、車速センサ３と接続された走行状態判断部４２、視点移動量算出部４３、瞬目有無判断部４４、視点停留座標算出部４５、停留点位置判断部４６、停留点位置一時記憶部４７、視点移動時瞬目パターン判断部４８、情報提供判断部１２と接続された高負荷瞬目パターン頻度演算部４９を備える。
【００４５】
走行状態判断部４２は、車速センサ３からの車速信号から、自車両２０が走行中か、停車中かを判断し、判断結果を走行状態情報として処理実行判断部４１に出力する。
【００４６】
処理実行判断部４１は、走行状態判断部４２から入力された走行状態情報に基づいて、後述の各部４１〜４９，情報提供判断部１２による処理を実行するか否かを判定し、実行する場合に視点検出部５１から視点座標データを読み込んで視点移動量算出部４３に出力すると共に、瞬目状態検出部５２から瞬目データを読み込んで瞬目有無判断部４４に出力する。
【００４７】
視点移動量算出部４３は、処理実行判断部４１から時間的に前後する複数の視点座標データが送られると、視点間の移動量を示すデータを算出して、視点停留座標算出部４５に送る。この視点の移動量を示すデータは、複数の視点座標データの単位時間当たりの移動距離を示す。
【００４８】
視点停留座標算出部４５は、視点移動量算出部４３から視点の移動量を示すデータが送られると、視点の停留状態を判断する。このとき、視点停留座標算出部４５では、通常、運転者が視認対象を認識するに際して、各視点が微小な動きをするため、単位時間当たりの動きが所定値以下の場合には停留していると判断する。これにより、視点停留座標算出部４５は、各視点座標データごとに停留状態での視点であるか否かを判断する。そして、視点停留座標算出部４５は、視点座標データ及び停留判断結果を停留点位置判断部４６に送る。
【００４９】
停留点位置判断部４６は、視点停留座標算出部４５から送られた停留判断結果による停留点座標が、ドアミラー等の後側方間接視界デバイスを見ていると判断される座標範囲か、自車両２０の進行方向前方を見ていると判断される座標範囲かを判断する。そして、停留点位置判断部４６は、後側方間接視界デバイス又は進行方向前方を見ていると判断されない座標範囲である場合には、当該視点座標データ及び停留判断結果を破棄し、後側方間接視界デバイス又は進行方向前方を見ていると判断される座標範囲である場合に、当該視点座標データ及び停留判断結果を停留点位置一時記憶部４７に記憶させる。
【００５０】
瞬目有無判断部４４は、処理実行判断部４１から時間的に前後する複数の瞬目データが送られ、視点移動量算出部４３から視点の移動量を示すデータが送られると、当該視点が移動するときに瞬目行為が発生していたか否かを判断する。これにより、瞬目有無判断部４４は、瞬目行為が発生したときに検出された視点座標データを抽出する。そして、瞬目有無判断部４４は、瞬目行為発生時の視点座標データ、瞬目行為を伴わない視点移動による視点座標データを瞬目有無判断結果として視線移動時瞬目パターン判断部４８に送る。
【００５１】
視線移動時瞬目パターン判断部４８は、停留点位置一時記憶部４７に記憶された視点座標データ及び停留判断結果、瞬目有無判断部４４から送られた瞬目有無判断結果及び視点座標データから、上述の図１に示した何れかの瞬目パターンに該当するかを判断する。そして、視線移動時瞬目パターン判断部４８は、視点移動及び瞬目の有無から、該当すると判断した瞬目パターンを示す情報を判断結果として高負荷瞬目パターン頻度演算部４９に送る。
【００５２】
高負荷瞬目パターン頻度演算部４９は、視線移動時瞬目パターン判断部４８から送られた瞬目パターンのうち、後側方間接視界デバイスを視認する時に視認負荷が高いと認定される第３瞬目パターン又は第４瞬目パターンの頻度を演算する。そして、高負荷瞬目パターン頻度演算部４９は、第３瞬目パターン又は第４瞬目パターンの頻度が高いと判断した場合には、その旨を情報提供判断部１２に送る。
【００５３】
これによって、視認負荷判断装置１は、情報提供判断部１２によって情報制御装置２１の情報提示を制御して、情報提示装置５の情報提示タイミングや情報提示内容を制御させる。
【００５４】
［視認負荷判断装置１による視認負荷演算処理］
つぎに、上述したような機能的な構成の視認負荷判断装置１により、視認負荷を演算するときの処理手順について図６のフローチャートを参照して説明する。
【００５５】
視認負荷判断装置１は、先ずステップＳ１において、車速センサ３からの車速信号を走行状態判断部４２により読み込みんで走行状態を判断した判断結果を処理実行判断部４１に送り、ステップＳ２において、処理実行判断部４１により、自車両２０の走行状態が停止中か否かを判定する。そして、処理実行判断部４１は、自車両２０が停止中であると判定した場合には処理を終了し、停止中ではない走行中であると判定した場合にはステップＳ３に処理を進めて、視点検出部５１から視点座標データを読み込んで、視点移動量算出部４３に出力する。
【００５６】
次に視点移動量算出部４３は、ステップＳ４において、単位時間当たりの複数の視点座標データの移動量を演算することによって視点移動速度を演算し、ステップＳ５において、ステップＳ４で演算した視点移動速度が所定速度以上か否かを判断することによって、視点移動中か否かを判定する。この視点移動速度に対する所定速度は、単位時間当たりに停留していると認められない移動量以上視点が移動した速度が予め実験等によって記憶されている。そして、視認負荷判断装置１は、視点移動量算出部４３により視点移動中であると判定した場合には、当該視点座標データを瞬目有無判断部４４に出力させてステップＳ７に処理を進め、視点移動量算出部４３により視点移動中ではない停留中であると判定した場合には、当該視点座標データを視点停留座標算出部４５に出力させてステップＳ６に処理を進める。
【００５７】
ステップＳ６において、視点停留座標算出部４５は、視点移動量算出部４３からの視点座標データの平均座標の演算等を行って、停留点座標を算出して停留点位置判断部４６に出力して、ステップＳ９に処理を進める。
【００５８】
一方、ステップＳ７において、瞬目有無判断部４４は、ステップＳ５において視点移動中であると判定するために使用された視点座標データと同じ期間で取得された瞬目データを処理実行判断部４１から取得して、当該瞬目データから視点移動中の瞬目が発生していたか否かを判定する。そして、ステップＳ８において、瞬目有無判断部４４は、視点移動中に瞬目が発生したことをカウントするカウンタ値をインクリメントする。
【００５９】
次のステップＳ９において、停留点位置判断部４６により、ステップＳ６で演算された停留点座標が、予め登録しておいたミラー等の後側方間接視界デバイスの視点範囲内に入っているか否かを判定することによって、停留点座標が前方直接視界での停留点か、後側方間接視界での停留点かを判断する。そして、停留点位置判断部４６は、停留点座標が後側方間接視界での停留点である場合には、判断結果として、後述の処理で視点の移動方向を判断するために用いられるミラー注視フラグの値を「１」に設定して、停留点位置一時記憶部４７に記憶させて、ステップＳ１に処理を戻す。
【００６０】
一方、停留点座標がミラー等の後側方間接視界デバイスの視点範囲内ではない場合には、ステップＳ１１において、視線移動時瞬目パターン判断部４８により、ミラー注視フラグの値を参照することにより、直前にミラー等の後側方間接視界デバイスから視点が移動したか否かを判定して、今回の処理の直前の停留点座標がミラー等の後側方間接視界デバイスであったか否かを判定する。これにより、今回の処理でミラー等の後側方間接視界デバイス以外の停留点座標となった直前から開始された視点移動が、ミラー等の後側方間接視界デバイスから前方直接視界への復路方向の視点移動か否かを判定する。そして、視点移動がミラー等の後側方間接視界デバイスから開始されたものではないと判定した場合には、ステップＳ１２においてミラー注視フラグの値を「０」に設定してステップＳ１に処理を戻し、視点移動がミラー等の後側方間接視界デバイスから開始されたと判定した場合には、ステップＳ１３においてミラー注視フラグの値を「０」に設定して、ステップＳ１４に処理を進める。
【００６１】
次に視線移動時瞬目パターン判断部４８は、ステップＳ１４において、ステップＳ８で設定したカウント値を参照することによって、視点移動中に瞬目が発生していたか否かを判定し、発生していたと判定した場合にはステップＳ１に処理を戻す。これにより、視認負荷判断装置１は、後側方間接視界デバイスへの視点から前方直接視界への視点に視点移動する復路で瞬目が発生していないという第３瞬目パターン及び第４瞬目パターンに該当しないので、ステップＳ１に処理を戻す。
【００６２】
一方、視点移動中に瞬目が発生していなかったと判定した場合には、視線移動時瞬目パターン判断部４８により瞬目パターンの判断結果を高負荷瞬目パターン頻度演算部４９に送る。そして、高負荷瞬目パターン頻度演算部４９は、ステップＳ１５において、後側方間接視界デバイスへの視点から前方直接視界への視点となる復路において瞬目が発生してない第３瞬目パターン又は第４瞬目パターンに該当するので、視認負荷が高い瞬目パターンが検出された回数のカウンタ値をカウントアップし、ステップＳ１６において、視認負荷が高い第３瞬目パターン又は第４瞬目パターンの単位時間当たりの発生頻度を演算する。
【００６３】
次に高負荷瞬目パターン頻度演算部４９は、ステップＳ１６で演算した第３瞬目パターン又は第４瞬目パターンの単位時間当たりの発生頻度が、所定値を超えているか否かを判定する。この所定値は、視認負荷を高く感じている運転者であるほど、第３瞬目パターン又は第４瞬目パターンが検出される頻度が高いことを考慮した値であって、例えば車線変更時や合流時において後側方に他車両が存在するような場面における第３瞬目パターン又は第４瞬目パターンを繰り返す頻度や、運転能力が低い運転者が第３瞬目パターン又は第４瞬目パターンを繰り返す頻度等を実験等により求めておく。
【００６４】
そして、高負荷瞬目パターン頻度演算部４９は、第３瞬目パターン又は第４瞬目パターンの単位時間当たりの発生頻度が、所定値を超えていると判定した場合には、ステップＳ１８において運転支援情報提供フラグの値を「１」に設定すると共に、ステップＳ１９において低重要度情報停止フラグの値を「１」に設定して、当該各フラグを情報提供判断部１２に送った後に処理を終了する。一方、高負荷瞬目パターン頻度演算部４９は、第３瞬目パターン又は第４瞬目パターンの単位時間当たりの発生頻度が、所定値を超えていないと判定した場合には、ステップＳ１９において低重要度情報停止フラグの値を「１」に設定して、当該フラグを情報提供判断部１２に送った後に処理を終了する。
【００６５】
その後、情報提供判断部１２は、高負荷瞬目パターン頻度演算部４９からのフラグの値に応じて情報制御装置２１から情報提示装置５に供給する情報を制御することになる。
【００６６】
ここで、視認負荷が高い運転者に対して提示する情報としては、緊急度が低い情報と、運転操作を支援する情報とがある。この緊急度が低い情報とは、ナビゲーションシステム等のポップアップ情報や、情報提示時刻をある程度の期間、例えば数秒間ほど遅らせても問題のない燃料警告等のワーニングである。このような緊急度の低い情報は、視認負荷の高い運転者にとっては後側方に対する認知を妨げる可能性があるため、情報提供を停止する、又は、数秒間保留状態とする。したがって、情報提供判断部１２は、低重要度情報停止フラグの値が「１」に設定されている場合には、緊急度の低い情報の提示を停止又は保留する情報制御信号を情報提供判断部１２に出力する。そして、情報提供判断部１２は、情報提供装置４から情報提示装置５に出力すべき情報のうち、予め設定された緊急度の低い情報の出力を停止又は保留状態とする。
【００６７】
また、運転操作を支援する情報とは、上述したように視認負荷が高い場合には後側方に対する認知が十分に行われない可能性が高くなるため、当該後側方の状況把握の欠落を補うための情報であって、例えば所定距離以内に存在する後側方の他車両の有無等が挙げられる。この運転操作を支援する情報は、視認負荷が高くなっている運転者に音声等の視覚以外の情報で提供することが望ましい。したがって、情報提供判断部１２は、運転支援情報提供フラグの値が「１」に設定されている場合には、運転操作を支援する情報を提示する情報制御信号を情報提供判断部１２に出力する。そして、情報提供判断部１２は、予め設定された運転操作を支援する情報を情報提供装置４から取得して、情報提示装置５で提示させる。
【００６８】
このように、ステップＳ１７において第３瞬目パターン又は第４瞬目パターンが検出される頻度が高くない場合であっても、緊急度の低い情報の提示を停止又は保留させることによって、運転操作の妨げとなって更に視認負荷が高くなることを回避する。これに対し、ステップＳ１７において、第３瞬目パターン又は第４瞬目パターンが検出される頻度が高い場合には、緊急度の低い情報の提示の停止又は保留に加えて、後側方の状況把握を容易とする情報を提示させて、視認負荷を低くさせる。
【００６９】
なお、本例においては、情報提供判断部１２は、第３瞬目パターン又は第４瞬目パターンの視認負荷の高い瞬目パターンが１回検出された段階で緊急度の低い情報の提供を停止又は保留し、第３瞬目パターン又は第４瞬目パターンの視認負荷の高い瞬目パターンが２回を超えた場合に、運転操作を支援する情報を提示するものとしている。
【００７０】
このような処理を行う視認負荷判断装置１では、ミラー等を介して得られる後側方間接視界の視認負荷が高くなる時の典型的な運転場面として、合流シーンが挙げられ、このおような場面において、図７に示すように視点座標、瞬目の有無を検出する。
【００７１】
図７によれば、視点座標は、右側ドアミラー、前方、ルームミラー、メータやスイッチ類のその他の間で移動し、視認負荷判断装置１は、視点移動の発生時での瞬目の有無を検出する。そして、視認負荷判断装置１は、図中の●で示す場合が「瞬目を伴う視点移動」、○の場合が「瞬目の伴わない視点移動」、◎が「完全に瞬きをしていない半開き状態」と判定して、瞬目パターンを判定することができる。
【００７２】
視認負荷判断装置１は、自車両２０の後側方に他車両が存在しない視認負荷が高くならないような場合において、視線位置及び瞬目の有無が図７（ａ）に示すように検出される。したがって、視認負荷判断装置１は、右側ドアミラーから前方への視点移動時に瞬目の発生を伴っている頻度が低いことを検出することができる。
【００７３】
これに対し、視認負荷判断装置１は、自車両２０の後側方に他車両が存在し、走行車線や距離等を確認するために視認負荷が高くなるような場合において、視線位置及び瞬目の有無が図７（ｂ）に示すように検出されると、右側ドアミラーから前方への視点移動時に瞬目の発生を伴っている頻度が高いことを検出することができる。
【００７４】
［第１実施形態の効果］
以上詳細に説明したように、本発明を適用した第１実施形態に係る視認負荷判断装置１によれば、眼球運動と瞬目運動を検出し、後側方間接視界デバイスから前方直接視界への方向の視点移動が行われるときの瞬目パターンの変化を利用して、後側方の視認負荷を判断するので、運転者に負荷をかけることなく視認負荷の状態を判断することができる。したがって、この視認負荷判断装置１によれば、視認負荷に応じて情報提供の仕方を変化させることができ、視認負荷が高い時に情報を提示することによるお節介感や不安感を与えることを抑制することができる。また、この視認負荷判断装置１では、車線変更や合流時など運転者状態監視の範囲を大幅に向上することができる。
【００７５】
また、この視認負荷判断装置１によれば、第１〜第４の瞬目パターンのうち、第３瞬目パターン又は第４瞬目パターンであると判断した場合に、後側方間接視界に対する視認負荷が高いことを判断するので、演算方法を簡略化して処理能力の低い演算機能でもリアルタイムに視認負荷を判断できる。
【００７６】
更に、この視認負荷判断装置１によれば、第３瞬目パターン又は第４瞬目パターンが検出され、後側方に対する視認負荷が高く、運転環境に対応する運転者の運転能力が十分に高くないと判断した場合に、緊急度の低い情報の提示を停止又は保留するので、当該緊急度の低い情報を提供することによる視認負荷の上昇や、運転能力の低下を回避することができる。
【００７７】
更にまた、この視認負荷判断装置１によれば、第３瞬目パターン又は第４瞬目パターンが所定の頻度で検出されたことによって、後側方に対する視認負荷が非常に高くなったと判断した場合には、運転操作を支援する情報を提示するので、視認負荷を効率的に低下させることができると共に、後側方の状況把握を速やかに行わせることができる。また、この場合に、視覚情報ではなく、音声によって情報提示することによって、視認負荷を低下させることを抑制することができる。
【００７８】
［第２実施形態］
つぎに、第２実施形態に係る視認負荷判断装置１について説明する。なお、上述の第１実施形態と同様の部分については同一符号を付することによりその詳細な説明を省略する。
【００７９】
第２実施形態に係る視認負荷判断装置１は、上述の第１実施形態で説明した機能に加えて、運転者の右眼及び左眼それぞれの瞬目時間の位相差及び視線移動量を計測し、当該位相差及び視線移動量に基づいて視認負荷が高いものと判定することを特徴とする。なお、上述した第１実施形態においては、直接視界を、運転者が視認すべき車両前方とし、間接視界を、後側方間接視界デバイスへの視点としたが、第２実施形態においては、間接視界を、前方以外の直接視界を含む視界としている。
【００８０】
［視認負荷判断装置１の構成］
第２実施形態に係る視認負荷判断装置１は、図８に示すように、第１実施形態に係る視認負荷判断装置１に加えて、瞬目有無判断部４４と接続された左右眼瞬目位相差演算部６１を備え、当該視認負荷判断装置１に、天候や路面、道路線種や道路幅、曲率などを含む道路環境情報を取得する道路環境取得部７１と、道路の混雑状況（混雑度）を含む道路状況情報を取得する道路状況取得部７２と、運転教育法データベース７３と、脳神経系の疾患可能性を判断する神経疾患判断部７４と、自動運転装置を含む車両制御部７５とが接続されている。
【００８１】
また、第２実施形態における視線・瞬き状態計測装置２の瞬目状態検出部５２は、運転者の両眼部分を含む画像に対して所定の画像処理を行うことにより、眼瞼が開いていて瞳孔が確認できる開眼状態、眼瞼が閉じて瞳孔が隠れる閉眼状態とを区別した瞬目データを作成する。
【００８２】
瞬目有無判断部４４は、処理実行判断部４１を介して瞬目状態検出部５２から供給された瞬目データから、運転者の右眼及び左眼それぞれについて、開眼状態から閉眼状態に変化して、更に、閉眼状態から開眼状態に変化するまでの瞬目時間を取得する。そして、瞬目有無判断部４４は、当該左右眼それぞれの瞬目時間を左右眼瞬目位相差演算部６１に供給する。
【００８３】
左右眼瞬目位相差演算部６１は、右眼の瞬目時間、左眼の瞬目時間を取得すると、当該瞬目時間同士の時間差を演算して、左右眼の位相差を演算する。この左右眼の位相差は、情報提供判断部１２に供給されて、情報提供判断部１２によって視認負荷が演算されるために使用される。
【００８４】
具体的には、図９に示すように、図９（Ａ）のように運転者の左眼が開眼状態、閉眼状態、開眼状態の順に変化したことに対し、左右眼の位相差がない場合には、図９（Ｂ）のように、運転者の右眼は、運転者の左眼と同期して開眼状態、閉眼状態、開眼状態の順に変化する。一方、左右眼の位相差が生じると、運転者の左眼が閉眼状態と判断された時刻でも、図９（Ｃ）のように、運転者の右眼が開眼状態と判断されており、更に、運転者の左眼が開眼状態と判断された時刻でも、運転者の右眼が閉眼状態と判断される。
【００８５】
左右眼瞬目位相差演算部６１によって瞬目時間の位相差があると判断された場合には、情報提供判断部１２によって、当該位相差及び視点移動量算出部４３で演算された視点移動量データを読み込む。これにより、情報提供判断部１２は、運転者の現在の視認負荷が高い状態か否か、疾患可能性が高いか否かを判断する。このとき、情報提供判断部１２は、図１０に示すように、予め設定された左右眼の位相差に関する条件と、視線移動量に関する条件との対応関係を記した条件テーブルを参照する。なお、視認負荷が高い、又は、疾患可能性が高いという左右眼の位相差及び視線移動量の判断基準値は、被験者に対する実験の結果から導いたものでも良く、運転者の個人特性や運転状況別に学習、判断して総合的に決めても良く、更には、各種状況に応じて適宜可変してもよい。
【００８６】
情報提供判断部１２によって視認負荷が高いと判定された場合には、第１実施形態と同様に、運転情報等の運転支援情報を提示するか否かを情報提供判断部１２で判断し、情報制御装置２１を制御する。また、情報提供判断部１２によって疾患可能性が高いと判定された場合には、神経疾患判断部７４にその旨を通知して、情報制御装置２１及び表示部５によって警報をさせる。
【００８７】
このように、第２実施形態においては、視認負荷が高いと判断された場合には、道路環境取得部７１で取得した道路環境情報及び道路状況取得部７２で取得した道路状況を情報提供判断部１２で取得し、視認負荷が高くなっていると判断された時の道路環境及び道路状況と、車両制御部７５で取得した自車両情報、年齢等の運転者固有の情報を加えて、視認負荷が高くなる状況を学習する。そして、情報提供判断部１２は、視認負荷が高くなる道路環境、道路状況、自車両情報及び運転者固有の情報に合致した運転教育法を運転教育法データベース７３から取得して、情報制御装置２１で提示させる。
【００８８】
このように、運転教育法データベース７３に格納された教育プログラムを運転者に提示して、視認負荷が高くなるときの運転方法などを教育させる。なお、教育プログラムを提示するタイミングとしては、例えば運転操作に余裕がある停車時や駐車時に行うことが望ましい。
【００８９】
［視認負荷判断装置１による視認負荷演算処理］
つぎに、上述したような機能的な構成の視認負荷判断装置１により、視認負荷を演算するときの処理手順について図１１のフローチャートを参照して説明する。なお、上述した第１実施形態と同様の処理については、同一のステップ番号を使用するものとする。
【００９０】
視認負荷判断装置１は、先ずステップＳ１において、車速センサ３からの車速信号を走行状態判断部４２により読み込みんで走行状態を判断した判断結果を処理実行判断部４１に送り、ステップＳ２において、処理実行判断部４１により、自車両２０の走行状態が停止中か否かを判定する。
【００９１】
そして、処理実行判断部４１は、ステップＳ２において、自車両２０が停止中であると判定した場合には処理を終了し、停止中ではない走行中であると判定した場合にはステップＳ３に処理を進めて、視点検出部５１から視点座標データを読み込んで、視点移動量算出部４３に出力する。なお、運転者が安静な停車時等において、左右眼瞬目位相差を用いて神経疾患等を判断する場合には、ステップＳ２の処理を行わずに、ステップＳ３に移行することになる。
【００９２】
次に視点移動量算出部４３は、ステップＳ４において、単位時間当たりの複数の視点座標データの移動量を演算することによって視点移動速度を演算し、ステップＳ２１において、ステップＳ４で演算した視点移動速度が所定速度以上か否かを判断することによって、サッケード（跳躍運動、急速眼球運動）に相当する視点移動か否かを判定する。この視点移動速度に対する所定速度は、サッケードと認められる速度が設定されている。したがって、ステップＳ４において、視点移動量算出部４３は、サッケードに該当する視点移動速度以上である場合には、ステップＳ２２に処理を進め、そうでない場合にはステップＳ１に処理を戻す。
【００９３】
ステップＳ２２において、視点移動量算出部４３は、サッケードと認められた視線移動に対して、視線移動量を取得して、ステップＳ２３に処理を進める。そして、ステップＳ２３において、サッケードと認められる視線移動であって、当該視線移動の量が反射性瞬目を誘発し易い移動量となっているか否かを判定する。例えば、前方直接視界内となっている現在の視点から、２０度以上に亘る視角に相当する視線移動量である場合には、反射性瞬目が発生し易いと認められる。したがって、このステップＳ２３において、視点移動量算出部４３は、ステップＳ２２で演算された視線移動量が、視角内において２０度以上の視線移動量か否かを判定して、そうである場合にはステップＳ２４に処理を進め、そうでない場合にはステップＳ２８に処理を進める。
【００９４】
ここで、後段の左右眼の位相差から視認負荷の高低を判定するためには、随意性瞬目、自発性瞬目ではなく、反射性瞬目時のデータを使用することが望ましい。また、一般的な生活をしている時には、サッケード時の視線移動量は、視角における１５度以内であることが８５％を占めていると言われている。そのため、視角における１５度以上に相当する視線移動量を、比較的大きい視線移動量と定義し、車両運転時には、視角における２０度以上に相当する視線移動量であることを条件として、視認負荷の高低を判定するものとする。なお、後側方間接視界デバイスとしてのドアミラーへの視線移動は視角における３５〜４０度程である。
【００９５】
ステップＳ２４において、左右眼瞬目位相差演算部６１により、瞬目有無判断部４４で演算した右眼の瞬目時間、左眼の瞬目時間を読み込む。この右眼の瞬目時間、左眼の瞬目時間は、ステップＳ２１でサッケードに相当する視線移動と判定され、且つ、ステップＳ２３で視線移動量が視角における２０度以上と判定された時の反射性瞬目を検出して得たものである。
【００９６】
次のステップＳ２５において、左右眼瞬目位相差演算部６１は、ステップＳ２４で読み込んだ右眼の瞬目時間、左眼の瞬目時間との時間差を演算することにより、左右眼の位相差を演算する。
【００９７】
次のステップＳ２６において、左右眼瞬目位相差演算部６１は、図９に示すように、例えば左眼の開閉状態が図９（Ａ）のように変化した場合に、右眼が図９（Ｂ）のように変化した場合には左右眼の位相差が無いものと判定し、右眼が図９（Ｃ）のように変化した場合には左右眼の位相差が有るものと判定する。そして、左右眼の位相差が有るものと検出された場合、左右眼瞬目位相差演算部６１は、左右眼の位相差と所定時間とを比較して、左右眼の位相差が所定時間以上であるか否かを判定する。
【００９８】
ここで、瞬目時間は、個人差、心身の状態等各種条件によって変化するが、一般的には０．１秒程度である。したがって、左右眼の位相差と比較される所定期間は、例えば０．０２秒以上に設定する。なお、この０．０２秒といったオーダの瞬目時間は、既存の視線計測器やアイマークカメラといった機器で計測可能な範囲であり、当該機器を瞬目状態検出部５２として使用することにより実現可能である。なお、この左右眼の位相差に対する所定時間は、左右眼瞬目位相差演算部６１によって瞬目時間の平均及び頻度分布を求めておいても良い。そして、ステップＳ２６において、左右眼の位相差が０．０２秒以上ではないと判定した場合には、図１０に示した条件テーブルの「視認負荷が能力範囲内」に該当するのでステップＳ１に処理を戻す。
【００９９】
一方、ステップＳ２６において、左右眼の位相差が０．０２秒以上である場合には、図１０の条件テーブルの「視認負荷が能力範囲を越えている」に該当するので、ステップＳ２７に処理を進める。
【０１００】
次のステップＳ２７おいては、情報提供判断部１２によって、低重要度のポップアップ情報等の提示を停止して、運転支援をする混雑度等の道路状況を提示する。このとき、視認負荷が高くなっていると判断された時の道路環境及び道路状況を道路環境取得部７１及び道路状況取得部７２から取得すると共に、自車両情報を車両制御部７５から取得し、年齢等の運転者固有の情報を加えて、視認負荷が高くなる状況を学習する。
【０１０１】
そして、このステップＳ２７においては、視認負荷が高くなる道路環境、道路状況、自車両情報及び運転者固有の情報に合致した運転教育法を運転教育法データベース７３から取得して、情報制御装置２１で提示させる。これにより、運転教育法データベース７３に格納された教育プログラムを運転者に提示して、視認負荷が高くなるときの運転方法などを教育させる。
【０１０２】
このように、視線移動がサッケードと認められ、視線移動量が視角における２０度以上となる場合には、当該視線移動中に視認された映像がノイズとして認識されて運転者の視覚中枢に伝達しないように瞬目行為が行われる。この瞬目行為は、反射性瞬目として分類される。一方、視認負荷が高く、瞬目する暇もなく現在の視覚情報を取得するために、自発性瞬目として、瞬目行動を抑制する行動が発生すると考えられる。したがって、このようなサッケード時で、特に身体的な機能低下が進んだ高齢者においては、左右眼の瞬目に位相差が生じやすく、現在の運転負荷及び視認負荷が高いと判断することができる。また、現象的にも、両眼を合計した瞬目時間は位相差分が伸びることになり、左右眼の視認開始及び終了時間のずれによって周囲物体への距離把握及び速度把握の精度低下が予想され、視認負荷としても高い状況と言える。これに対し、ステップＳ２７においては、教育プログラムを運転者に提示して、視認負荷が高くなるときの運転方法などを教育させる。
【０１０３】
また、ステップＳ２３において、視線移動量が、視角における２０度以上に相当する視線移動量に満たないと判定されたステップＳ２８において、ステップＳ２４と同様に、瞬目有無判断部４４で演算した右眼の瞬目時間、左眼の瞬目時間を読み込み、ステップＳ２９において、ステップＳ２５と同様に、ステップＳ２８で読み込んだ右眼の瞬目時間、左眼の瞬目時間との時間差を演算することにより、左右眼の位相差を演算する。
【０１０４】
そして、ステップＳ３０において、ステップＳ２６と同様に、左右眼の位相差が所定時間以上であるか否かを判定する。そして、ステップＳ３０において、左右眼の位相差が０．０２秒以上ではないと判定した場合には、図１０の条件テーブルの「健常者、一般」に該当するので、ステップＳ１に処理を戻す。
【０１０５】
一方、ステップＳ３０において左右眼の位相差が０．０２秒以上であると判定した場合には、図１０の条件テーブルの「脳神経系等の疾患可能性有り」に該当するので、ステップＳ３１に処理を進める。
【０１０６】
このステップＳ３１において、情報提供判断部１２は、疾患可能性有りの運転者に対して情報提供を行う。ここで、視線移動量が大きくないが左右眼の位相差が生じた場合には、脳神経系の病気、例えば多発性硬化症などである可能性がある。したがって、このステップＳ３１においては、情報提供判断部１２で疾患可能性の高さを検出したことを神経疾患判断部７４で判断して、情報提示装置２１及び表示部５を用いて運転者に報知、警告を行う。更に、車両制御部７５によって車両の各種機器の制御（自動運転装置の起動など）を行い、安定した運転操作に寄与することができる。
【０１０７】
［第２実施形態の効果］
以上詳細に説明したように、本発明を適用した第２実施形態に係る視認負荷判断装置１によれば、瞬目有無判断部４４によって、前方直接視界と間接視界との間の視点移動時における運転者の右眼及び左眼それぞれの瞬目の有無を判断して、当該瞬目が有る場合における右眼及び左眼それぞれの瞬目時間を計測し、左右眼瞬目位相差演算部６１によって、右眼の瞬目時間と左眼の瞬目時間との時間差から左右眼の位相差を演算するので、当該左右眼の位相差も視認負荷の判断に使用して、前方以外の直接視界を含む間接視界に対する視認負荷を正確に判断することができる。すなわち、図１に示した瞬目パターンによる視認負荷の判断は、個人特性に依存したり、絶対的な瞬目データの数が少ない場合には視認負荷の判断精度が十分なものではなくなるが、図１０のように左右眼の位相差も視認負荷の判断に使用して、視認負荷の判断の精度を向上させることができる。
【０１０８】
具体的には、第１実施形態においては、第３瞬目パターン又は第４瞬目パターンに該当する場合には視認負荷が高いものと判定していたが、瞬目において左右眼の位相差を検出した場合には、視認負荷が高いものと判断できる。これにより、個人によって瞬目データの数が少なくなる場合であっても、正確に視認負荷を判断できる。また、第２実施形態においては、間接視界として、ドアミラー等の運転者に後側方を間接的に視認させる後側方間接視界デバイスへの視点を利用することなく、前方直接視界と、当該前方以外の直接視界との間の視線移動のみで視認負荷が判断できる。
【０１０９】
また、この視認負荷判断装置１によれば、図１０に示すような視点移動量と左右眼の位相差との組み合わせパターンを判断して、左右眼の位相差が多い且つ視線移動量が大きいという所定の組み合わせパターンである場合に視認負荷が高いことを判断することができる。
【０１１０】
更に、この視認負荷判断装置１によれば、視認負荷が高いと判断した時の道路状況を取得して、当該道路状況に対応した運転操作を支援する情報を提示することができるので、低重要度のポップアップ情報等の提示を停止して、運転支援をする混雑度等の道路状況を提示できる。
【０１１１】
更に、この視認負荷判断装置１によれば、視認負荷が高いと判断した時の道路環境を取得して、当該道路環境に対応した運転操作を支援する情報を提示することができるので、低重要度のポップアップ情報等の提示を停止して、運転支援をする天候や道路種別等の道路環境を提示できる。
【０１１２】
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
【０１１３】
すなわち、この視認負荷判断装置１では、後側方の状況を把握するための視認負荷を判断する場合について説明したが、間接視界であれば、後方や側方であっても良いとは勿論であり、間接視認行為が含まれる幅広いシーンに対して適用できる。
【図面の簡単な説明】
【０１１４】
【図１】後側方間接視界デバイスへの視点と前方直接視界への視点との往路及び復路と、瞬目行為の有無との関係に応じて区分された瞬目パターンについて説明するための図である。
【図２】本発明を適用した第１実施形態に係る視認負荷判断装置の処理概念図であって、（ａ）は視点移動の変化、（ｂ）は瞬目の有無の変化、（ｃ）は視点移動時における瞬目の有無、（ｄ）は瞬目パターンを示す図である。
【図３】本発明を適用した第１実施形態に係る視認負荷判断装置の機能的な構成を示すブロック図である。
【図４】本発明を適用した第１実施形態に係る視認負荷判断装置を自車両に搭載した場合の構成を示すブロック図である。
【図５】本発明を適用した第１実施形態に係る視認負荷判断装置の機能的な内部構成を示すブロック図である。
【図６】本発明を適用した第１実施形態に係る視認負荷判断装置の視認負荷判断処理の処理手順を示すフローチャートである。
【図７】合流シーンにおける視点座標、瞬目の有無、瞬目パターンの判断を説明するための図であって、（ａ）は後側方に他車両が存在しない場合、（ｂ）は後側方に他車両が存在する場合である。
【図８】本発明を適用した第２実施形態に係る視認負荷判断装置の機能的な内部構成を示すブロック図である。
【図９】左右眼の位相差を説明するための図であり、（Ａ）は左眼の開閉状態の変化、（Ｂ）は左眼の開閉状態に対して位相差が無い時の右眼の開眼状態の変化、（Ｃ）は左眼の開閉状態に対して位相差が有る時の右眼の開眼状態の変化である。
【図１０】左右眼の位相差と視線移動量との関係から視認負荷を判断する条件テーブルを示す図である。
【図１１】本発明を適用した第２実施形態に係る視認負荷判断装置の視認負荷判断処理の処理手順を示すフローチャートである。
【符号の説明】
【０１１５】
１  視認負荷判断装置
２  視線・瞬き状態計測装置
３  車速センサ
４  情報提供装置
５  情報提示装置
１１  視認負荷演算部
１２  情報提供判断部
２１  情報制御装置
３１  顔画像カメラ
４１  処理実行判断部
４２  走行状態判断部
４３  視点移動量算出部
４４  瞬目有無判断部
４５  視点停留座標算出部
４６  停留点位置判断部
４７  停留点位置一時記憶部
４８  視線移動時瞬目パターン判断部
４９  高負荷瞬目パターン頻度演算部
５１  視点検出部
５２  瞬目状態検出部
６１  左右眼瞬目位相差演算部
７１  道路環境取得部
７２  道路状況取得部
７３  運転教育法データベース
７４  神経疾患判断部
７５  車両制御部
【図１】
2006043429.tif 000003
【図２】
2006043429.tif 000004
【図３】
2006043429.tif 000005
【図４】
2006043429.tif 000006
【図５】
2006043429.tif 000007
【図６】
2006043429.tif 000008
【図７】
2006043429.tif 000009
【図８】
2006043429.tif 000010
【図９】
2006043429.tif 000011
【図１０】
2006043429.tif 000012
【図１１】
2006043429.tif 000013