(57)【要約】【課題】ドライバの視線状態が中心視状態又は周辺視状態の何れであるかを正確に判定できる視線状態判定装置を提供する。【解決手段】視線状態判定装置１は、ドライバの左眼及び右眼それぞれを含む画像を撮像するドライバ監視カメラ２と、撮像した画像に基づき左眼及び右眼それぞれの眼球回転角データを取得する眼球回転角データ取得部４１と、左眼及び右眼それぞれの眼球回転角データの眼球回転角ヒストグラムに基づきドライバの視線状態を判定する視線状態判定部４５と、を備える。視線状態判定部４５は、左眼及び右眼それぞれにおける眼球回転角ヒストグラムの最頻値の差異が閾値よりも大きい場合には視線状態が周辺視状態である判定し、当該差異が閾値以下の場合には視線状態が中心視状態であると判定する。【選択図】図１
2016038843.tif 000002
【特許請求の範囲】
【請求項１】
車両のドライバにおける左眼の挙動量及び右眼の挙動量を取得する挙動量取得部と、
前記挙動量取得部で取得した前記左眼の挙動量及び前記右眼の挙動量を記憶する記憶部と、
前記記憶部に記憶した前記左眼の挙動量の記憶データ及び前記右眼の挙動量の記憶データに基づいて、前記ドライバの視線状態を判定する視線状態判定部と、を備え、
前記視線状態判定部は、
前記左眼の挙動量の記憶データ及び前記右眼の挙動量の記憶データそれぞれの統計値の差異が閾値よりも大きい場合、前記視線状態が周辺視状態である判定し、前記差異が前記閾値以下の場合、前記視線状態が中心視状態であると判定する、視線状態判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視線状態判定装置に関する。
【背景技術】
【０００２】
視線状態判定装置に関する技術として、例えば下記特許文献１に記載されたものが知られている。特許文献１に記載された技術では、ＣＣＤカメラ及び赤外線照射器によって車両のドライバの瞳孔中心及び角膜反射点を検出し、検出した瞳孔中心及び角膜反射点の座標位置関係から、視線方向として、車両前方方向を向いたときの２次元の車両固定投影面角度座標系における水平方向角度及び垂直方向角度を算出する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−３６７１００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術では、通常、ドライバの両眼の総合的な挙動量からドライバの視線状態（以下、単に「視線状態」ともいう）が判定される。この場合、視線状態が中心視状態のときと周辺視状態のときとの間で当該挙動量に差異が生じない可能性があり、視線状態が中心視状態又は周辺視状態の何れであるかを正確に判定することが困難となるおそれがある。
【０００５】
本発明は、ドライバの視線状態が中心視状態又は周辺視状態の何れであるかを正確に判定できる視線状態判定装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
本発明に係る視線状態判定装置は、車両のドライバにおける左眼の挙動量及び右眼の挙動量を取得する挙動量取得部と、挙動量取得部で取得した左眼の挙動量及び右眼の挙動量を記憶する記憶部と、記憶部に記憶した左眼の挙動量の記憶データ及び右眼の挙動量の記憶データに基づいて、ドライバの視線状態を判定する視線状態判定部と、を備え、視線状態判定部は、左眼の挙動量の記憶データ及び右眼の挙動量の記憶データそれぞれの統計値の差異が閾値よりも大きい場合、視線状態が周辺視状態である判定し、差異が閾値以下の場合、視線状態が中心視状態であると判定する。
【０００７】
視線状態が周辺視状態の場合、視線状態が中心視状態の場合に比べ、左眼の挙動量及び右眼の挙動量それぞれの統計値の差異が大きくなることが見出される。そこで、本発明の視線状態判定装置では、ドライバの左眼及び右眼それぞれの挙動量を取得し、左眼の挙動量の記憶データ及び右眼の挙動量の記憶データそれぞれの統計値の差異が閾値よりも大きい場合、視線状態が周辺視状態である判定し、当該差異が閾値以下の場合、視線状態が中心視状態であると判定する。これにより、視線状態が中心視状態又は周辺視状態の何れであるかを、正確に判定することが可能となる。
【発明の効果】
【０００８】
本発明によれば、ドライバの視線状態が中心視状態又は周辺視状態の何れかを正確に判定できる視線状態判定装置を提供することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態に係る視線状態判定装置を含む運転支援装置の構成を示すブロック図である。
【図２】（ａ）は、視線状態が中心視状態の場合における左眼及び右眼それぞれの眼球回転角ヒストグラムの例を示す図である。（ｂ）は、視線状態が周辺視状態の場合における左眼及び右眼それぞれの眼球回転角ヒストグラムの例を示す図である。
【図３】視線状態判定処理を示すフローチャートである。
【図４】運転支援処理を示すフローチャートである。
【図５】（ａ）は、視線状態が中心視状態の場合における両眼の眼球回転角ヒストグラムの例を示す図である。（ｂ）は、視線状態が周辺視状態の場合における両眼の眼球回転角ヒストグラムの例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について図面を用いて詳細に説明する。なお、以下の説明において、同一又は相当要素には同一符号を用い、重複する説明は省略する。
【００１１】
図１は、一実施形態に係る視線状態判定装置を含む運転支援装置の構成を示すブロック図である。本実施形態の視線状態判定装置は、乗用車等の車両のドライバにおける視線状態を判定する。図１に示すように、視線状態判定装置１は、運転支援装置１０に含まれている。以下の説明では、視線状態判定装置１の構成を運転支援装置１０の構成と共に説明する。
【００１２】
運転支援装置１０は、ドライバ監視カメラ２、車外センサ３、ＥＣＵ（Electronic Control Unit）４、及び運転支援実行部５を備えている。ドライバ監視カメラ２は、ドライバの左眼及び右眼の挙動量を監視するカメラである。ドライバ監視カメラ２は、車室内に設けられ、ドライバの左眼及び右眼それぞれを含む画像を撮像する。ドライバ監視カメラ２として、ドライバの目に向けられた単眼カメラ、ステレオカメラ及びマルチカメラ等が用いられている。
【００１３】
車外センサ３は、車両の外部環境に関する外部環境データを検出するセンサである。外部環境データは、例えば車両が回避すべき障害物、車両の周囲の渋滞状況、及び天気状況に関する情報を含んでいる。車外センサ３として、単眼カメラ、ステレオカメラ、マルチカメラ、レーザスキャナ及びレーダ等が用いられている。
【００１４】
ＥＣＵ４は、例えばＣＰＵ（CentralProcessing Unit）、ＲＯＭ（ReadOnly Memory）、及びＲＡＭ（RandomAccess Memory）等から構成されている。ＥＣＵ４は、眼球回転角データ取得部（挙動量取得部）４１、眼球回転角データ記憶部（記憶部）４２、データ量判定部４３、ヒストグラム算出部４４、視線状態判定部４５及び支援要否判定部４６を機能的構成として備えている。
【００１５】
眼球回転角データ取得部４１は、ドライバ監視カメラ２で撮像した画像に基づいて、ドライバの左眼及び右眼それぞれの挙動量に関するデータとして、左眼及び右眼それぞれの眼球回転角に関する眼球回転角データを取得する。眼球回転角は、ドライバが予め設定されたキャリブレーション面を見たときの眼球の状態を基準にし、当該状態から眼球（黒目）が何度回転しているかによって表される角度である。キャリブレーション面は、例えばドライバの前方の位置する、車両前後方向に垂直な面とすることができる。
【００１６】
眼球回転角データ記憶部４２は、眼球回転角データ取得部４１で取得した左眼及び右眼それぞれの眼球回転角データを、フレーム毎に記憶して蓄積する。なお、眼球回転角データ記憶部４２は、車両の運転終了時に、蓄積した眼球回転角データを消去してもよい。眼球回転角データ記憶部４２は、そのデータ量が所定容量を超えた場合、新たに眼球回転角データを記憶する都度、最も古い眼球回転角データを消去してもよい。
【００１７】
データ量判定部４３は、眼球回転角データ記憶部４２に記憶され蓄積された眼球回転角データ（記憶データ）のデータ量が規定データ量に達しているか否かを判定する。規定データ量とは、視線状態を判定するために必要な最小データ量であって、例えば過去１０秒程度の時間内で蓄積されるデータ量が挙げられる。
【００１８】
ヒストグラム算出部４４は、データ量判定部４３により眼球回転角データのデータ量が規定データ量に達していると判定した場合、眼球回転角データ記憶部４２に記憶された眼球回転角データに基づいて、左眼及び右眼それぞれの眼球回転角のヒストグラムである眼球回転角ヒストグラムを算出する。眼球回転角ヒストグラムを算出は、公知のヒストグラム算出方法を適用することができる。
【００１９】
視線状態判定部４５は、データ量判定部４３に記憶された左眼及び右眼それぞれの眼球回転角データに基づきドライバの視線状態を判定する。具体的には、視線状態判定部４５は、ヒストグラム算出部４４により算出した左眼及び右眼それぞれの眼球回転角ヒストグラムに基づいて、視線状態を判定する。より具体的には、視線状態判定部４５は、左眼の挙動量の眼球回転角データ及び右眼の挙動量の眼球回転角データそれぞれの統計値の差異として、左眼の眼球回転角ヒストグラム及び右眼の眼球回転角ヒストグラムぞれぞれの最頻値（ピーク値）の差異を算出する。そして、当該差異が閾値よりも大きい場合には視線状態が周辺視状態である判定し、当該差異が閾値以下の場合には視線状態が中心視状態であると判定する。
【００２０】
図２（ａ）は、視線状態が中心視状態の場合における左眼及び右眼それぞれの眼球回転角ヒストグラムの例を示す図である。（ｂ）は、視線状態が周辺視状態の場合における左眼及び右眼それぞれの眼球回転角ヒストグラムの例を示す図である。図２中では、縦軸は頻度を示し、横軸は、眼球回転角を水平方向成分に投影した値であって、眼球回転角の水平方向成分（視野角の水平成分）を示す（図５において同様）。
【００２１】
図２に示すように、視線状態判定部４５は、左眼の眼球回転角ヒストグラムＨｌ及び右眼の眼球回転角ヒストグラムＨｒそれぞれにおける最頻値Ｐｌ，Ｐｒを求める。そして、最頻値Ｐｌ，Ｐｒの差異ΔＰを算出し、この差異ΔＰと閾値とを比較する。
【００２２】
差異ΔＰが小さく、閾値以下の場合には、視線状態が中心視状態であると判定する（図２（ａ）参照）。一方、差異ΔＰが大きく、閾値よりも大きい場合には、視線状態が周辺視状態であると判定する（図２（ｂ）参照）。閾値は、最頻値に対応した値であって、例えば設計、経験或いは実測により予め設定することができる。中心視状態とは、網膜の中心部を使って特定領域を凝視して見ている状態であり、色彩や形状を正確に捉えるのに適する状態である。周辺視状態とは、網膜の周辺部を使って視野の周辺領域を漠然と見ている状態である。
【００２３】
支援要否判定部４６は、視線状態判定部４５で判定した視線状態、及び、車外センサ３で外部環境データに少なくとも基づいて、車両の運転支援が必要か否かを判定する（詳しくは後述）。支援要否判定部４６は、その判定結果を運転支援実行部５へ出力する。
【００２４】
運転支援実行部５は、支援要否判定部４６の判定結果に応じて、運転支援を実行する。運転支援実行部５は、フロントガラスやナビゲーションシステムへ運転を支援する表示を出力する。運転支援実行部５は、運転を支援する音を出力してもよい。
【００２５】
このような運転支援装置１０においては、図１に示すように、ドライバ監視カメラ２、ＥＣＵ４における眼球回転角データ取得部４１、眼球回転角データ記憶部４２、データ量判定部４３、ヒストグラム算出部４４及び視線状態判定部４５が、視線状態判定装置１を構成する。
【００２６】
次に、視線状態判定装置１により実施される視線状態判定処理について、図３のフローチャートを参照しつつ説明する。
【００２７】
視線状態判定装置１では、以下の一連の処理を所定の処理周期で繰り返し実行する。図３に示すように、まず、眼球回転角データ取得部４１により、ドライバ監視カメラ２で撮像した画像データに基づいて、ドライバの左眼及び右眼それぞれの眼球回転角データを取得する（Ｓ１）。取得した左眼及び右眼それぞれの眼球回転角データについて、眼球回転角データ記憶部４２に記憶して蓄積する（Ｓ２）。眼球回転角データ記憶部４２に蓄積された眼球回転角データのデータ量が規定データ量よりも多いか否かを判定する（Ｓ３）。
【００２８】
上記Ｓ３でＮｏの場合、そのまま一連の処理を終了する。上記Ｓ３でＹｅｓの場合、ヒストグラム算出部４４により、左眼及び右眼それぞれの眼球回転角ヒストグラムＨｌ，Ｈｒを算出して生成する（Ｓ４）。
【００２９】
視線状態判定部４５により、左眼及び右眼の眼球回転角ヒストグラムＨｌ，Ｈｒそれぞれの最頻値Ｐｌ，Ｐｒを求め、最頻値Ｐｌ，Ｐｒの差異ΔＰを算出する（Ｓ５）。視線状態判定部４５により、差異ΔＰと閾値とを比較し、差異ΔＰが閾値以下か否かを判定する（Ｓ６）。上記Ｓ６でＹｅｓ（差異ΔＰ≦閾値）の場合、視線状態が中心視状態と判定し、一連の処理を終了する（Ｓ７）。一方、上記Ｓ６でＮｏ（差異ΔＰ＞閾値）の場合、視線状態が周辺視状態と判定し、一連の処理を終了する（Ｓ８）。
【００３０】
次に、上述した視線状態判定処理の結果に基づき運転支援装置１０により実施される運転支援処理について、図４のフローチャートを参照しつつ説明する。
【００３１】
運転支援装置１０では、以下の一連の処理を所定の処理周期で繰り返し実行する。図４に示すように、まず、上述した視線状態判定処理により視線状態が中心視状態と判定されたか否かを判定する（Ｓ１１）。
【００３２】
上記Ｓ１１でＮｏの場合、支援要否判定部４６により運転支援を不要と判定し、運転支援を実行せずに運転支援なしとして、そのまま一連の処理を終了する（Ｓ１２）。上記Ｓ１１でＹｅｓの場合、車外センサ３により、外部環境データを取得する（Ｓ１３）。支援要否判定部４６により、取得した外部環境データに少なくとも基づいて、運転支援が必要であるか否かを判定する（Ｓ１４）。
【００３３】
上記Ｓ１４においては、例えば、障害物の位置及び車両の車速からＴＴＣ（Time To Collision）を算出し、ＴＴＣに基づいて障害物との衝突が迫っているか否かの衝突判定を行う。障害物との衝突が迫っていると判定した場合、運転支援が必要と判定する。このような衝突判定では、公知の方法を用いて判定可能である。
【００３４】
また、上記Ｓ１４においては、例えば車両の周囲の渋滞状況及び天気状況、現在時刻や車両の連続運転時間からドライバの状態を判定するドライバ状態判定を行う。ここでのドライバ状態判定は、ドライバの眠気を判定する眠気判定、ドライバの不快感（イライラ感）を判定する不快感判定、ドライバの疲労度を判定する疲労度判定、及び、ドライバの焦り度合を判定する焦り判定を含んでいる。このようなドライバ状態判定では、公知の方法を用いてドライバの状態を判定可能である。
【００３５】
上記Ｓ１４でＮｏの場合、運転支援を実行せずに運転支援なしとして、一連の処理を終了する（Ｓ１５）。上記Ｓ１４でＹｅｓの場合、運転支援実行部５により運転支援を実行し、一連の処理を終了する（Ｓ１５）。このＳ１５では、例えば、支援要否判定部４６で行われた衝突判定及びドライバ状態判定に応じて、下記（Ａ）（Ｂ）（Ｃ）の少なくとも一つの運転支援を実行する。
【００３６】
（Ａ）  ドライバ状態判定で判定されたドライバの状態に適した経路（例えば、大通り、曲がり角が少ない道、及び近道等）を選択し、選択した経路のナビゲーションを実行する。当該経路選択は、公知の方法により実行できる。
（Ｂ）  衝突判定において障害物との衝突が迫っていると判定された場合、警報表示を表示する。このとき、警報表示を所定箇所や障害物に対応する箇所に警報表示させてもよいし、表示場所、表示順、表示個数又は表示タイミング等を適宜変更してもよい。表示場所等を適宜変更する場合、衝突回避のための警報表示が却ってドライバの注意を引きつけてしまうことを抑制できる。
（Ｃ）  ドライバ状態判定の判定結果から、ドライバに休息や仮眠が必要と判断される場合、車両を適切な場所へ誘導する誘導表示を表示する。
【００３７】
図５（ａ）は、視線状態が中心視状態の場合における両眼の眼球回転角ヒストグラムの例を示す図である。（ｂ）は、視線状態が周辺視状態の場合における両眼の眼球回転角ヒストグラムの例を示す図である。図５に示すように、ドライバの両眼の総合的な挙動量に係る両眼の眼球回転角ヒストグラムＨは、視線状態が中心視状態のときと周辺視状態のときとの間で差異を有さない場合がある。これに対し、図２に示すように、視線状態が周辺視状態のとき、視線状態が中心視状態のときと比べ、左眼及び右眼それぞれの眼球回転角ヒストグラムＨｌ，Ｈｒにはズレが生じ、最頻値Ｐｌ，Ｐｒの差異ΔＰが大きくなることが見出される。
【００３８】
そこで、本実施形態の視線状態判定装置１では、上述したように、ドライバの左眼及び右眼それぞれの眼球回転角データを取得し、左眼及び右眼の眼球回転角ヒストグラムＨｌ，Ｈｒそれぞれの最頻値Ｐｌ，Ｐｒを求め、最頻値Ｐｌ，Ｐｒの差異ΔＰを算出する。差異ΔＰが閾値よりも大きい場合、視線状態が周辺視状態であると判定し、差異ΔＰが閾値以下の場合、視線状態が中心視状態であると判定する。これにより、視線状態が中心視状態又は周辺視状態の何れであるかを、正確に判定することが可能となる。
【００３９】
なお、一般的に、熟練ドライバは周辺視状態で運転する一方、初心者ドライバは中心視状態で運転する傾向がある。よって、視線状態判定装置１において、視線状態が周辺視状態の場合にドライバの運転レベルが高い（運転能力が熟練ドライバレベル）と判定し、視線状態が中心視状態の場合に運転レベルが低い（運転能力が初心者ドライバレベル）と判定することもできる。
【００４０】
以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されることなく様々な形態で実施される。
【００４１】
上記実施形態では、左眼及び右眼の挙動量として、眼球回転角を採用したが、例えば、瞬き回数及び瞳孔径を採用してもよい。瞬き回数は、所定時間当たりの瞬きの回数である。瞳孔径は、瞳孔の径である。上記実施形態では、左眼及び右眼の挙動量の統計値として、眼球回転角ヒストグラムＨｌ，Ｈｒの最頻値Ｐｌ，Ｐｒを採用したが、眼球回転角ヒストグラムＨｌ，Ｈｒの平均値、中央値、重心値又は分散値等の他の統計値を採用してもよい。統計値とは、複数のデータ（検出値）に統計学的アルゴリズムを適用して得られる、当該複数のデータの特徴を示す１つの数値である。統計値として平均値、中央値、重心値又は分散値を採用した場合には、閾値は、平均値、中央値、重心値又は分散値それぞれに応じた値に設定される。
【符号の説明】
【００４２】
１…視線状態判定装置、４１…眼球回転角データ取得部（挙動量取得部）、４２…眼球回転角データ記憶部（記憶部）、４５…視線状態判定部、Ｐｌ，Ｐｒ…最頻値（統計値）、ΔＰ…差異。
【図１】
2016038843.tif 000003
【図２】
2016038843.tif 000004
【図３】
2016038843.tif 000005
【図４】
2016038843.tif 000006
【図５】
2016038843.tif 000007