(57)【要約】【課題】監視対象者の眼球運動に基づいて監視対象者の状態をより精度良く推定することを可能にする。【解決手段】ドライバのサッカード及びマイクロサッカードの少なくともいずれかの発生頻度である急速眼球運動頻度を算出する急速眼球運動頻度算出部１３２と、ドライバの瞬目の発生頻度を算出する瞬目頻度算出部１３１と、ドライバの追従眼球運動の発生時間を算出する追従眼球運動時間算出部１３３と、ドライバの急速眼球運動頻度の変化量を算出する変化量算出部１３４と、急速眼球運動頻度に加え、瞬目頻度，追従眼球運動時間，急速眼球運動頻度変化量を用いて、ドライバの状態を推定する状態推定部１４０とを備える。【選択図】図２
2018183532.tif 000002
【特許請求の範囲】
【請求項１】
監視対象者の眼球運動に基づいて前記監視対象者の状態を推定する状態推定装置であって、
前記監視対象者のサッカード及びマイクロサッカードの少なくともいずれかの発生頻度である急速眼球運動頻度を取得する頻度取得部（１３２）と、
前記監視対象者の瞬目の発生頻度を取得する瞬目取得部（１３１）、前記監視対象者の追従眼球運動の発生時間を取得する追従眼球運動取得部（１３３）、及び前記監視対象者の前記急速眼球運動頻度の変化量を取得する頻度変化量取得部（１３４）の少なくともいずれかである補強情報取得部（１３５）と、
前記頻度取得部で取得する前記急速眼球運動頻度に加え、前記補強情報取得部で取得する情報を用いて、前記監視対象者の状態を推定する状態推定部（１４０，１４０ｂ，１４０ｃ）とを備える状態推定装置。
【請求項２】
前記状態推定部は、前記頻度取得部で取得する直近の一定期間における前記急速眼球運動頻度に加え、前記補強情報取得部で取得するその直近の一定期間の情報を用いて、前記監視対象者の状態を逐次推定する請求項１に記載の状態推定装置。
【請求項３】
前記状態推定部は、前記頻度取得部で取得する前記急速眼球運動頻度がその急速眼球運動頻度についての閾値よりも大きい場合に、前記監視対象者の状態が正常であると推定する請求項１又は２に記載の状態推定装置。
【請求項４】
前記状態推定部は、前記急速眼球運動頻度についての閾値を、前記頻度取得部で逐次取得した過去の一定期間における実際の前記急速眼球運動頻度のデータ群から決定する請求項３に記載の状態推定装置。
【請求項５】
前記補強情報取得部は、少なくとも前記瞬目取得部であり、
前記状態推定部は、前記頻度取得部で取得する前記急速眼球運動頻度がその急速眼球運動頻度についての閾値以下である場合であっても、前記瞬目取得部で取得する前記瞬目の発生頻度がその発生頻度についての閾値よりも大きい場合には、前記監視対象者の状態が正常であると推定する請求項３又は４に記載の状態推定装置。
【請求項６】
前記状態推定部は、前記瞬目の発生頻度についての閾値を、前記瞬目取得部で逐次取得した過去の一定期間における実際の前記瞬目の発生頻度のデータ群から決定する請求項５に記載の状態推定装置。
【請求項７】
車両で用いられ、前記監視対象者として前記車両のドライバの状態を推定するものであり、
前記車両の室内の湿度及び明るさの少なくともいずれかである室内環境情報を取得する室内環境情報取得部（１７０）を備え、
前記状態推定部（１４０ｃ）は、前記瞬目の発生頻度についての閾値を、前記室内環境情報取得部で逐次取得する前記室内環境情報に応じて逐次決定して更新する請求項５又は６に記載の状態推定装置。
【請求項８】
前記補強情報取得部は、少なくとも前記追従眼球運動取得部であり、
前記状態推定部は、前記頻度取得部で取得する前記急速眼球運動頻度がその急速眼球運動頻度についての閾値以下である場合であっても、前記追従眼球運動取得部で取得する前記追従眼球運動の発生時間がその発生時間についての閾値よりも大きい場合には、前記監視対象者の状態が正常であると推定する請求項３〜７のいずれか１項に記載の状態推定装置。
【請求項９】
前記状態推定部は、前記追従眼球運動の発生時間についての閾値を、前記追従眼球運動取得部で逐次取得した過去の一定期間における実際の前記追従眼球運動の発生時間のデータ群から決定する請求項８に記載の状態推定装置。
【請求項１０】
車両で用いられ、前記監視対象者として前記車両のドライバの状態を推定するものであり、
前記車両周辺の注視対象物の前記車両に対する位置及び速度の少なくともいずれかである対象物情報を取得する対象物情報取得部（１６０）と、
前記対象物情報取得部で取得する前記対象物情報をもとに前記監視対象者の追従眼球運動の発生を推定する発生推定部（１１３ａ）とを備え、
前記追従眼球運動取得部は、前記発生推定部での推定結果をもとに前記監視対象者の追従眼球運動の発生時間を取得する請求項８又は９に記載の状態推定装置。
【請求項１１】
車両で用いられ、前記監視対象者として前記車両のドライバの状態を推定するものであって、
前記車両周辺の注視対象物の前記車両に対する位置及び速度の少なくともいずれかである対象物情報を取得する対象物情報取得部（１６０）を備えるものであり、
前記状態推定部（１４０ｂ）は、前記追従眼球運動の発生時間についての閾値を、前記対象物情報取得部で取得する前記対象物情報に応じて決定する請求項８〜１０のいずれか１項に記載の状態推定装置。
【請求項１２】
前記補強情報取得部は、少なくとも前記頻度変化量取得部であり、
前記状態推定部は、前記頻度取得部で取得する前記急速眼球運動頻度がその急速眼球運動頻度についての閾値以下である場合であっても、前記頻度変化量取得部で取得する前記監視対象者の前記急速眼球運動頻度の変化量がその変化量についての閾値よりも大きい増加である場合には、前記監視対象者の状態が正常であると推定する請求項３〜１１のいずれか１項に記載の状態推定装置。
【請求項１３】
前記状態推定部は、前記急速眼球運動頻度の変化量についての閾値を、前記頻度変化量取得部で逐次取得した過去の一定期間における実際の前記急速眼球運動頻度の変化量のデータ群から決定する請求項１２に記載の状態推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視対象者の眼球運動に基づいて監視対象者の状態を推定する状態推定装置に関するものである。
【背景技術】
【０００２】
特許文献１には、監視対象者のサッカードの発生頻度を表す通常サッカード頻度と監視対象者のマイクロサッカードの発生頻度を表すマイクロサッカード頻度との合計値が閾値未満である場合に異常であると推定する技術が開示されている。つまり、サッカード及びマイクロサッカードの発生頻度が閾値未満である場合に異常であると推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−２３５１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、サッカード，マイクロサッカードの発生頻度が低い場合であっても、監視対象者が異常でない場合もある。例えば、サッカード，マイクロサッカードの発生頻度は、監視対象者の周辺環境によって生じる瞬目及び／又は追従眼球運動によっても低下する。よって、監視対象者の周辺環境によっては、監視対象者が正常であってもサッカード，マイクロサッカードの発生頻度が低下し、監視対象者の状態の推定精度が低下する場合がある。
【０００５】
また、サッカード，マイクロサッカードの発生頻度が低い場合であっても、時間経過とともに増加傾向にある場合には、監視対象者の状態がすでに正常に回復していると考えられる。よって、このような場合にも、監視対象者の状態の推定精度が低下すると考えられる。
【０００６】
この開示のひとつの目的は、監視対象者の眼球運動に基づいて監視対象者の状態をより精度良く推定することを可能にする状態推定装置を提供することにある。
【課題を解決するための手段】
【０００７】
上記目的は独立請求項に記載の特徴の組み合わせにより達成され、また、下位請求項は、発明の更なる有利な具体例を規定する。特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。
【０００８】
上記目的を達成するために、本発明の状態推定装置は、監視対象者の眼球運動に基づいて監視対象者の状態を推定する状態推定装置であって、監視対象者のサッカード及びマイクロサッカードの少なくともいずれかの発生頻度である急速眼球運動頻度を取得する頻度取得部（１３２）と、監視対象者の瞬目の発生頻度を取得する瞬目取得部（１３１）、監視対象者の追従眼球運動の発生時間を取得する追従眼球運動取得部（１３３）、及び監視対象者の急速眼球運動頻度の変化量を取得する頻度変化量取得部（１３４）の少なくともいずれかである補強情報取得部（１３５）と、頻度取得部で取得する急速眼球運動頻度に加え、補強情報取得部で取得する情報を用いて、監視対象者の状態を推定する状態推定部（１４０，１４０ｂ，１４０ｃ）とを備える。
【０００９】
これによれば、監視対象者の瞬目の発生頻度と、監視対象者の追従眼球運動の発生時間と、監視対象者のサッカード及びマイクロサッカードの発生頻度の変化量との少なくともいずれかを用いて監視対象者の状態を推定することが可能になる。監視対象者の瞬目の発生頻度を用いた場合には、瞬目による急速眼球運動頻度の低下を監視対象者の状態の異常と推定しないようにすることが可能になる。監視対象者の追従眼球運動の発生時間を用いた場合には、追従眼球運動による急速眼球運動頻度の低下を監視対象者の状態の異常と推定しないようにすることが可能になる。監視対象者の急速眼球運動頻度の変化量を用いた場合には、急速眼球運動頻度が増加傾向にある場合の急速眼球運動頻度の低下を監視対象者の状態の異常と推定しないようにすることが可能になる。よって、監視対象者のサッカード及びマイクロサッカードの発生頻度だけを用いる場合に比べ、監視対象者の状態をより精度良く推定することが可能になる。その結果、監視対象者の眼球運動に基づいて監視対象者の状態をより精度良く推定することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】車両システム１の概略的な構成の一例を示す図である。
【図２】ＨＣＵ１０の概略的な構成の一例を示す図である。
【図３】急速眼球運動頻度についての判定閾値の決定を説明するための図である。
【図４】ＨＣＵ１０での状態推定関連処理の流れの一例を示すフローチャートである。
【図５】ＨＣＵ１０での眼球運動抽出処理の流れの一例を示すフローチャートである。
【図６】ＨＣＵ１０での判定閾値決定処理の流れの一例を示すフローチャートである。
【図７】ＨＣＵ１０での状態推定処理の流れの一例を示すフローチャートである。
【図８】ＨＣＵ１０ａの概略的な構成の一例を示す図である。
【図９】ＨＣＵ１０ｂの概略的な構成の一例を示す図である。
【図１０】ＨＣＵ１０ｃの概略的な構成の一例を示す図である。
【発明を実施するための形態】
【００１１】
図面を参照しながら、開示のための複数の実施形態を説明する。なお、説明の便宜上、複数の実施形態の間において、それまでの説明に用いた図に示した部分と同一の機能を有する部分については、同一の符号を付し、その説明を省略する場合がある。同一の符号を付した部分については、他の実施形態における説明を参照することができる。
【００１２】
（実施形態１）
＜車両システム１の概略構成＞
図１に示す車両システム１は、車両といった移動体で用いられるものであり、ＨＣＵ（Human Machine Interface Control Unit）１０、車両センサ２０、周辺監視センサ３０、周辺監視ＥＣＵ４０、ドライバ撮像ユニット５０、及び報知装置６０を含んでいる。ＨＣＵ１０と車両センサ２０と周辺監視ＥＣＵ４０とは、例えば車内ＬＡＮに接続されているものとする。以下では、車両システム１を自動車で用いる場合を例に挙げて説明を続ける。
【００１３】
車両センサ２０は、自車の状態を検出するためのセンサ群である。車両センサ２０としては、自車の車室内の湿度を検出する湿度センサ，自車前方の明るさを検出する外光センサ，自車の操舵角を検出する舵角センサ等がある。一例として、外光センサとしては照度を検出する照度センサを用いればよい。車両センサ２０は、センシング結果を車内ＬＡＮへ出力する。なお、車両センサ２０でのセンシング結果は、自車に搭載されるＥＣＵを介して車両ＬＡＮへ出力される構成であってもよい。
【００１４】
周辺監視センサ３０は、歩行者、人間以外の動物、車両等の移動物体、さらに標識，ガードレール，縁石，樹木等の静止物体といった自車周辺の物体を検出する。他にも、自車周辺の走行区画線、停止線等の路面標示を検出する。周辺監視センサ３０は、例えば、自車周囲の所定範囲を撮像する周辺監視カメラ、自車周囲の所定範囲に探査波を送信するミリ波レーダ、ソナー、ＬＩＤＡＲ（Light Detection and Ranging/Laser Imaging Detection and Ranging）等のセンサである。周辺監視カメラは、逐次撮像する撮像画像をセンシング情報として周辺監視ＥＣＵ４０へ逐次出力する。ソナー、ミリ波レーダ、ＬＩＤＡＲ等の探査波を送信するセンサは、障害物によって反射された反射波を受信した場合に得られる受信信号に基づく走査結果をセンシング情報として周辺監視ＥＣＵ４０へ逐次出力する。
【００１５】
周辺監視ＥＣＵ４０は、プロセッサ、揮発性メモリ、不揮発性メモリ、及びこれらを相互に接続するバス等からなるマイクロコンピュータを備え、不揮発性メモリに記憶された制御プログラムを実行することで各種の処理を実行する。周辺監視ＥＣＵ４０は、周辺監視センサ３０から取得したセンシング結果から、自車の周辺環境を認識する。
【００１６】
周辺監視ＥＣＵ４０は、周辺監視カメラのセンシング結果から、自車の周辺環境として、自車周辺の物体を検出する。一例として、テンプレートマッチング等の周知の画像認識処理によって、ドライバの注視対象となる物体を注視対象としない物体と区別して検出することが好ましい。ドライバの注視対象となる物体（以下、注視対象物）の一例としては、歩行者，他車両，標識等がある。また、周辺監視ＥＣＵ４０は、周辺監視センサのセンシング結果から、公知の手法によって自車周辺に存在する物体の自車に対する相対位置，相対速度を検出する。なお、周辺監視ＥＣＵ４０は、自車で用いられる通信モジュールを介した車車間通信及び／又は路車間通信によって得られた他車両，歩行者等の対象物の位置，速度の情報から、自車の周辺に存在する対象物について、自車に対する相対位置，相対速度を検出してもよい。
【００１７】
ドライバ撮像ユニット５０は、ドライバの頭部を撮像するための撮像装置を含む。一例としては、照明装置と、この照明装置による照明と同じ帯域に感度を持つ撮像装置とを含む構成とすればよい。具体例としては、近赤外カメラと近赤外光源とを含む構成とすればよい。以下では、この近赤外カメラと近赤外光源とを用いる場合を例に挙げて説明を行う。後述するマイクロサッカードを抽出する場合には、例えば空間分解能０．０１度，時間分解能２２０Ｈｚといった高性能カメラを用いればよい。
【００１８】
近赤外カメラは、自車の運転席側に向けた姿勢にて、例えばステアリングコラムカバーに配置される。なお、近赤外カメラは、自車の運転席に着座したドライバの顔を撮像できる位置であれば他の位置に配置される構成であってもよく、インスツルメントパネルの上面等に配置される構成であってもよい。ドライバ撮像ユニットは、近赤外光源によって近赤外光を照射されたドライバの頭部を、近赤外カメラによって撮影する。近赤外カメラによる撮像画像（以下、顔画像）は、ＨＣＵ１０に出力する。
【００１９】
報知装置６０は、自車のドライバに向けて報知を行う。報知装置６０としては、表示装置，音声出力装置，振動子等がある。また、報知装置６０による報知としては、表示装置による表示，音声出力装置による音声出力，振動子による振動等がある。
【００２０】
ＨＣＵ１０は、プロセッサ、揮発性メモリ、非遷移的実体的記録媒体（non- transitory tangible storage medium）である不揮発性メモリ、Ｉ／Ｏ、これらを接続するバスを備えるマイクロコンピュータを主体として構成され、ドライバ撮像ユニット５０，報知装置６０と車内ＬＡＮとに接続される。ＨＣＵ１０は、不揮発性メモリに記憶された制御プログラムを実行することにより、自車のドライバの状態を推定したり、自車のドライバに向けた報知を行わせたりする。このＨＣＵ１０が請求項の状態推定装置に相当し、ドライバが請求項の監視対象者に相当する。
【００２１】
＜ＨＣＵ１０の概略構成＞
ここで、図２を用いて、ＨＣＵ１０の概略構成を説明する。図２に示すように、ＨＣＵ１０は、機能ブロックとして、画像認識処理部１００、眼球運動抽出部１１０、眼球運動情報記憶部１２０、判定用データ算出部１３０、状態推定部１４０、及び報知処理部１５０を備えている。なお、ＨＣＵ１０が実行する機能の一部又は全部を、一つ或いは複数のＩＣ等によりハードウェア的に構成してもよい。また、ＨＣＵ１０が備える機能ブロックの一部又は全部は、プロセッサによるソフトウェアの実行とハードウェア部材との組み合わせによって実現されてもよい。
【００２２】
画像認識処理部１００は、ドライバ撮像ユニット５０から逐次出力される顔画像から、公知の画像認識処理によって、ドライバの顔部位の抽出，顔部位の形状的な特徴の抽出，視線角度の算出等を逐次行う。視線角度は視線方向と言い換えることもできる。以下に、画像認識処理部１００で行う画像認識処理の一例について述べる。
【００２３】
まず、画像認識処理部１００は、顔画像中の目を抽出し、その目の中の黒い丸を瞳孔として抽出する。続いて、顔画像中の目の中の白い点を角膜反射像として抽出する。そして、瞳孔と角膜反射との位置関係から車室内の基準位置に対する視線角度を検出する。基準位置は、例えば近赤外カメラの設置位置等とすればよい。ここで言うところの視線角度は、自車の左右方向と概ね一致する水平方向と垂直方向との両方についての視線角度であるものとする。算出した視線角度は、例えば揮発性メモリといったメモリに記憶する構成とすればよい。
【００２４】
眼球運動抽出部１１０は、画像認識処理部１００での画像認識処理の結果をもとに、自車のドライバの眼球運動を抽出する眼球運動抽出処理を行う。図２に示すように、眼球運動抽出部１１０は、サブ機能ブロックとして、瞬目抽出部１１１、急速眼球運動抽出部１１２、及び追従眼球運動抽出部１１３を備える。
【００２５】
瞬目抽出部１１１は、ドライバの瞬目を抽出する。瞬目は瞬きと言い換えることもできる。瞬目抽出部１１１は、画像認識処理部１００で逐次行う画像認識処理において、例えば瞳孔が抽出できない場合を瞬目として抽出する構成とすればよい。他にも、画像認識処理部１００で抽出したドライバの上瞼の曲率半径に基づいて瞬目を抽出する構成としてもよい。瞬目抽出部１１１は、瞬目の抽出結果として、瞬目を抽出した時刻を眼球運動情報記憶部１２０に例えば有効時間Ｔが経過するまで記憶する。眼球運動情報記憶部１２０としては、例えば揮発性メモリを用いる構成とすればよい。有効時間Ｔとは、後述するサッカード，マイクロサッカードといった急速眼球運動の発生頻度を精度よく算出するために必要な時間であって、例えば１〜数分程度の時間とすればよい。以降についても同様とする。
【００２６】
急速眼球運動抽出部１１２は、ドライバのサッカード，マイクロサッカードといった急速眼球運動を抽出する。サッカードは、人が意図的に視線方向を変化させる場合に生じる短時間の高速な眼球運動である。マイクロサッカードは、人が注視している際に不随意に生じる固視微動のうちのごく細かい急速な眼球運動である。急速眼球運動抽出部１１２は、サッカードとマイクロサッカードとのうちのいずれか一方のみを抽出する構成としてもよいし、両方を抽出する構成としてもよい。
【００２７】
急速眼球運動抽出部１１２は、画像認識処理部１００で算出した過去数フレーム分（例えば１０フレーム分）の視線角度から、視線角度の変化量を算出し、この変化量を時間で除算することで視線角速度を算出する。また、急速眼球運動抽出部１１２は、上述したように算出した視線角速度の変化量を時間で除算することで視線角加速度を算出する。
【００２８】
そして、急速眼球運動抽出部１１２は、視線角加速度が基準角加速度以上であって、且つ、視線の移動距離が基準距離以上の場合にサッカードとして抽出する。一方、急速眼球運動抽出部１１２は、視線角加速度が基準角加速度以上であって、且つ、視線の移動距離が基準距離未満の場合にマイクロサッカードとして抽出する。基準角加速度は例えば１２００ｄｅｇ／ｓ２とすればよく、基準距離は例えば２ｄｅｇとすればよい。なお、視線角加速度に換えて、視線角速度が基準角速度以上であるか否かによって判定を行う構成としてもよい。急速眼球運動抽出部１１２は、サッカード，マイクロサッカードの抽出結果として、サッカード，マイクロサッカードを抽出した時刻を眼球運動情報記憶部１２０に例えば有効時間Ｔが経過するまで記憶すればよい。
【００２９】
追従眼球運動抽出部１１３は、ドライバの追従眼球運動を抽出する。追従眼球運動は、対象に反射的に視線を追従させる眼球運動である。追従眼球運動抽出部１１３は、一定時間あたりの視線角速度が一定の範囲内である場合に、追従眼球運動として抽出する。一例としては、１秒あたりの視線角速度が０．５〜２．０ｄｅｇ／ｓ２である場合に、追従眼球運動として抽出する。なお、追従眼球運動抽出部１１３は、視線角速度に換えて、視線角加速度が一定の範囲内であるか否かによって判定を行う構成としてもよい。追従眼球運動抽出部１１３は、追従眼球運動の抽出結果として、追従眼球運動の抽出有無を時刻別に眼球運動情報記憶部１２０に例えば有効時間Ｔが経過するまで記憶すればよい。
【００３０】
判定用データ算出部１３０は、ドライバの状態を推定するのに用いる判定用データを算出することで、この判定用データを取得する。図２に示すように、判定用データ算出部１３０は、サブ機能ブロックとして、瞬目頻度算出部１３１、急速眼球運動頻度算出部１３２、追従眼球運動時間算出部１３３、及び変化量算出部１３４を備える。瞬目頻度算出部１３１、追従眼球運動時間算出部１３３、及び変化量算出部１３４が補強情報取得部１３５にあたる。
【００３１】
瞬目頻度算出部１３１は、眼球運動情報記憶部１２０に蓄積された瞬目抽出部１１１での抽出結果である瞬目を抽出した時刻をもとに、ドライバの瞬目の発生頻度（以下、瞬目頻度）を算出することで、瞬目頻度を取得する。この瞬目頻度算出部１３１が請求項の瞬目取得部に相当する。具体例としては、瞬目頻度算出部１３１は、所定時間ｔごとに、所定時間ｔ内の瞬目抽出部１１１での抽出結果から、所定時間ｔあたりの瞬目頻度を算出すればよい。所定時間ｔは、例えば１０秒程度とする。以降についても同様とする。瞬目頻度算出部１３１は、逐次算出する瞬目頻度を時系列に沿って眼球運動情報記憶部１２０に蓄積する。
【００３２】
急速眼球運動頻度算出部１３２は、眼球運動情報記憶部１２０に蓄積された急速眼球運動抽出部１１２での抽出結果であるサッカード，マイクロサッカードを抽出した時刻をもとに、ドライバのサッカード，マイクロサッカードの発生頻度（以下、急速眼球運動頻度）を算出することで、急速眼球運動頻度を取得する。この急速眼球運動頻度算出部１３２が請求項の頻度取得部に相当する。
【００３３】
具体例としては、急速眼球運動頻度算出部１３２は、所定時間ｔごとに、所定時間ｔ内の急速眼球運動抽出部１１２での抽出結果から、所定時間ｔあたりの急速眼球運動頻度を算出すればよい。急速眼球運動頻度算出部１３２は、逐次算出する急速眼球運動頻度を時系列に沿って眼球運動情報記憶部１２０に蓄積する。なお、瞬目抽出部１１１で瞬目を抽出していた時刻のデータは急速眼球運動頻度の算出の処理から除外することで、急速眼球運動頻度の算出精度を向上させることが好ましい。
【００３４】
追従眼球運動時間算出部１３３は、眼球運動情報記憶部１２０に蓄積された追従眼球運動抽出部１１３での抽出結果である時刻別の追従眼球運動の有無をもとに、ドライバの追従眼球運動の発生時間（以下、追従眼球運動時間）を算出することで、追従眼球運動時間を取得する。追従眼球運動の発生時間は、追従眼球運動に要した時間と言い換えることもできる。この追従眼球運動時間算出部１３３が請求項の追従眼球運動取得部に相当する。具体例としては、追従眼球運動時間算出部１３３は、所定時間ｔごとに、所定時間ｔ内の追従眼球運動抽出部１１３での抽出結果から、所定時間ｔあたりの追従眼球運動時間を算出すればよい。追従眼球運動時間算出部１３３は、逐次算出する追従眼球運動時間を時系列に沿って眼球運動情報記憶部１２０に蓄積する。
【００３５】
変化量算出部１３４は、眼球運動情報記憶部１２０に蓄積された急速眼球運動抽出部１１２での抽出結果であるサッカード，マイクロサッカードを抽出した時刻をもとに、急速眼球運動頻度の変化量（以下、急速眼球運動頻度変化量）を算出することで、この急速眼球運動頻度変化量を取得する。この変化量算出部１３４が、請求項の頻度変化量取得部に相当する。具体例としては、急速眼球運動頻度算出部１３２での所定時間ｔごとの急速眼球運動頻度の算出時に、その所定時間ｔの直前ｓ秒間のサッカード，マイクロサッカードの発生回数を算出する。ここで言うところのｓ秒とは、所定時間ｔよりも短い時間であって、例えば２〜３秒とすればよい。そして、直前ｓ秒間のサッカード，マイクロサッカードの発生回数の、所定時間ｔ内での全発生回数における割合を、急速眼球運動頻度変化量として算出する。変化量算出部１３４は、逐次算出する急速眼球運動頻度変化量を時系列に沿って眼球運動情報記憶部１２０に蓄積する。
【００３６】
状態推定部１４０は、判定用データ算出部１３０で逐次算出した判定用データのデータ群から、ドライバの状態を推定するのに用いる判定閾値を決定する判定閾値決定処理を行う。そして、判定用データ算出部１３０で逐次算出する判定用データとこの判定閾値とから、ドライバの状態を推定する状態推定処理を行う。図２に示すように、状態推定部１４０は、サブ機能ブロックとして判定閾値決定部１４１を備える。
【００３７】
判定閾値決定部１４１は、瞬目頻度についての判定閾値，急速眼球運動頻度についての判定閾値，追従眼球運動時間についての判定閾値，急速眼球運動頻度変化量についての判定閾値を決定する判定閾値決定処理を行う。
【００３８】
判定閾値決定部１４１での瞬目頻度についての判定閾値の決定は、一例として以下のようにして行う。判定閾値決定部１４１は、眼球運動情報記憶部１２０に蓄積されている、瞬目頻度算出部１３１で算出した有効時間Ｔ内における所定時間ｔごとの瞬目頻度の平均値（以下、平均瞬目頻度）を算出する。そして、算出した平均瞬目頻度から瞬目頻度についての判定閾値を決定する。言い換えると、瞬目頻度算出部１３１で算出した過去の一定期間における実際の瞬目の発生頻度のデータ群から瞬目頻度についての判定閾値を決定する。
【００３９】
例えば、平均瞬目頻度が１回／秒より少ない場合には、判定閾値を０．５回／秒とし、平均瞬目頻度が１〜２回の場合は判定閾値を１回／秒とし、平均瞬目頻度が２回以上である場合は判定閾値を２回／秒とする。また、所定時間ｔごとの瞬目頻度のばらつきを算出し、ばらつきの度合いが大きくなるのに応じて判定閾値を小さく決定する構成としてもよい。
【００４０】
判定閾値決定部１４１での急速眼球運動頻度についての判定閾値の決定は、一例として以下のようにして行う。判定閾値決定部１４１は、眼球運動情報記憶部１２０に蓄積されている、急速眼球運動頻度算出部１３２で算出した有効時間Ｔ内における所定時間ｔごとの急速眼球運動頻度をもとに、急速眼球運動頻度についての判定閾値を決定する。言い換えると、急速眼球運動頻度算出部１３２で算出した過去の一定期間における実際の急速眼球運動頻度のデータ群から瞬目頻度についての判定閾値を決定する。
【００４１】
急速眼球運動頻度として、サッカードの発生頻度とマイクロサッカードの発生頻度とのうちのいずれかのみを用いる場合には、この発生頻度の平均値から予め定められたシフト量だけ低くした値を判定閾値とすればよい。このシフト量は、ドライバの状態の推定精度が所望の精度となるように実験等によって予め定める構成とすればよい。また、所定時間ｔごとの発生頻度のばらつきの度合いが大きくなるのに応じて判定閾値を小さく決定する構成としてもよい。
【００４２】
一方、急速眼球運動頻度として、サッカードの発生頻度とマイクロサッカードの発生頻度とのいずれも用いる場合には、サッカードの発生頻度とマイクロサッカードの発生頻度とから求める回帰式を用いて判定閾値を決定すればよい。回帰式は、以下のようにして求めればよい。まず、サッカードの発生頻度とマイクロサッカードの発生頻度とをそれぞれ横軸と縦軸としたグラフ上において、有効時間Ｔ内における所定時間ｔごとのサッカードの発生頻度及びマイクロサッカードの発生頻度をプロットする（図３参照）。続いて、これらのプロットの傾向を示す最も確からしい直線若しくは曲線といった線Ａを求める。例えば、最小二乗法によって最も確からしい線Ａ（図３のＡ参照）を求める構成とすればよい。そして、この線Ａをグラフの原点方向にシフトさせることで、回帰式Ｂ（図３のＢ参照）を求める。この回帰式Ｂが示す境界が判定閾値となる。
【００４３】
なお、線Ａを原点方向にシフトさせる際のシフト量は、ドライバの状態の推定精度が所望の精度となるように実験等によって予め定める構成とすればよい。また、所定時間ｔごとのサッカード，マイクロサッカードの発生頻度のばらつきの度合いが大きくなるのに応じてシフト量を大きくする構成としてもよい。
【００４４】
判定閾値決定部１４１での追従眼球運動時間についての判定閾値の決定は、一例として以下のようにして行う。判定閾値決定部１４１は、眼球運動情報記憶部１２０に蓄積されている、追従眼球運動時間算出部１３３で算出した有効時間Ｔ内における所定時間ｔごとの追従眼球運動時間の平均値（以下、平均追従眼球運動時間）を算出する。そして、算出した平均追従眼球運動時間から追従眼球運動時間についての判定閾値を決定する。言い換えると、追従眼球運動時間算出部１３３で算出した過去の一定期間における実際の追従眼球運動の発生時間のデータ群から追従眼球運動時間についての判定閾値を決定する。例えば、判定閾値決定部１４１は、平均追従眼球運動時間から予め定められたシフト量だけ低くした値を判定閾値とすればよい。このシフト量は、ドライバの状態の推定精度が所望の精度となるように実験等によって予め定める構成とすればよい。また、所定時間ｔごとの追従眼球運動時間のばらつきの度合いが大きくなるのに応じて判定閾値を小さく決定する構成としてもよい。
【００４５】
判定閾値決定部１４１での急速眼球運動頻度変化量についての判定閾値の決定は、一例として以下のようにして行う。判定閾値決定部１４１は、眼球運動情報記憶部１２０に蓄積されている、変化量算出部１３４で算出した有効時間Ｔ内における所定時間ｔごとの急速眼球運動頻度変化量の平均値（以下、平均変化量）を算出する。そして、算出した平均変化量から急速眼球運動頻度変化量についての判定閾値を決定する。言い換えると、変化量算出部１３４で算出した過去の一定期間における実際の急速眼球運動頻度変化量のデータ群から急速眼球運動頻度変化量についての判定閾値を決定する。例えば、判定閾値決定部１４１は、平均変化量から予め定められたシフト量だけ低くした値を判定閾値とすればよい。このシフト量は、ドライバの状態の推定精度が所望の精度となるように実験等によって予め定める構成とすればよい。また、所定時間ｔごとの平均変化量のばらつきの度合いが大きくなるのに応じて判定閾値を小さく決定する構成としてもよい。
【００４６】
状態推定部１４０の状態推定処理では、急速眼球運動頻度算出部１３２で逐次算出する急速眼球運動頻度が、判定閾値決定部１４１で決定した急速眼球運動頻度についての判定閾値以上である場合には、ドライバの状態が正常であると判定する。また、状態推定部１４０の状態推定処理では、急速眼球運動頻度算出部１３２で逐次算出する急速眼球運動頻度が、急速眼球運動頻度についての判定閾値未満である場合であっても、瞬目頻度算出部１３１で逐次算出する瞬目頻度，追従眼球運動時間算出部１３３で逐次算出する追従眼球運動時間，変化量算出部１３４で逐次算出する急速眼球運動頻度変化量のいずれかが、それぞれの判定閾値以上である場合には、ドライバの状態が正常であると判定する。
【００４７】
一方、状態推定部１４０は、急速眼球運動頻度算出部１３２で逐次算出する急速眼球運動頻度が、急速眼球運動頻度についての判定閾値未満である場合であって、且つ、瞬目頻度算出部１３１で逐次算出する瞬目頻度，追従眼球運動時間算出部１３３で逐次算出する追従眼球運動時間，変化量算出部１３４で逐次算出する急速眼球運動頻度変化量の全てが、それぞれの判定閾値未満である場合に、ドライバの状態が異常であると判定する。本実施形態では、一例として、ドライバが集中している集中状態が正常であるものとし、ドライバの注意力が低下している不注意状態が異常であるものとして説明を行う。
【００４８】
報知処理部１５０は、状態推定部１４０でドライバの状態が不注意状態であると推定した場合に、報知装置６０に指示を行って報知を行わせる。報知としては、不注意状態であることをドライバに認識させるものであればよく、例えば警報等とすればよい。
【００４９】
＜ＨＣＵ１０での状態推定関連処理＞
続いて、図４〜図７のフローチャートを用いて、ＨＣＵ１０での、ドライバの状態の推定に関連する処理（以下、状態推定関連処理）の流れの一例について説明を行う。図４のフローチャートは、ＨＣＵ１０の電源がオンになったときに開始し、ＨＣＵ１０の電源がオフになったときに終了する構成とすればよい。ＨＣＵ１０の電源のオンオフが、自車の内燃機関又はモータジェネレータを始動させるためのスイッチ（以下、パワースイッチ）のオンオフに応じて切り替えられる場合には、このパワースイッチのオン時に開始し、オフ時に終了する構成とすればよい。
【００５０】
まず、ステップＳ１では、画像認識処理部１００が、ドライバ撮像ユニット５０から取得する顔画像から画像認識処理を行う。画像認識処理部１００は、この画像認識処理によって、ドライバの顔部位の抽出，顔部位の形状的な特徴の抽出，視線角度の算出等を行う。
【００５１】
ステップＳ２では、眼球運動抽出部１１０が眼球運動抽出処理を行って、ステップＳ３に移る。眼球運動抽出処理では、抽出対象とする眼球運動が生じている場合に、この眼球運動を抽出する。ここで、図５のフローチャートを用いて、眼球運動抽出処理の概略について説明を行う。
【００５２】
まず、ステップＳ２１では、瞬目抽出部１１１が、ドライバの瞬目を抽出する。ステップＳ２２では、急速眼球運動抽出部１１２が、画像認識処理部１００で算出した過去数フレーム分の視線角度をもとに視線角速度を算出する。ステップＳ２３では、急速眼球運動抽出部１１２が、上述した視線角速度をもとに視線角加速度を算出する。
【００５３】
ステップＳ２４では、急速眼球運動抽出部１１２が、Ｓ２３で算出した視線角加速度が基準角加速度以上であって、且つ、視線の移動距離が基準距離以上の場合に、サッカードを抽出する。ステップＳ２５では、急速眼球運動抽出部１１２が、視線角加速度が基準角加速度以上であって、且つ、視線の移動距離が基準距離未満の場合に、マイクロサッカードを抽出する。ステップＳ２６では、追従眼球運動抽出部１１３が、ドライバの追従眼球運動を抽出し、ステップＳ３に移る。なお、Ｓ２４〜Ｓ２６の処理は順番を入れ替えても構わない。
【００５４】
図４に戻って、ステップＳ３では、Ｓ２の眼球運動抽出処理で抽出した眼球運動のデータを眼球運動情報記憶部１２０に有効時間Ｔが経過するまで記憶する。ステップＳ４では、状態推定関連処理を開始してから有効時間Ｔが経過した場合（Ｓ４でＹＥＳ）には、ステップＳ５に移る。状態推定関連処理を開始してから有効時間Ｔが経過していない場合（Ｓ４でＮＯ）には、Ｓ１に戻って処理を繰り返す。状態推定関連処理を開始してから有効時間Ｔが経過したか否かについては、状態推定部１４０が例えばタイマ回路によるカウント等をもとに判断すればよい。
【００５５】
ステップＳ５では、判定閾値決定部１４１が判定閾値を決定済みであった場合には、ステップＳ７に移る。一方、判定閾値決定部１４１が判定閾値を決定済みでなかった場合には、ステップＳ６に移る。ステップＳ６では、判定閾値決定部１４１が判定閾値決定処理を行って、ステップＳ７に移る。ここで、図６のフローチャートを用いて、判定閾値決定処理の概略について説明を行う。
【００５６】
まず、ステップＳ６１では、判定閾値決定部１４１が急速眼球運動頻度についての判定閾値を決定する。ステップＳ６２では、判定閾値決定部１４１が瞬目頻度についての判定閾値を決定する。ステップＳ６３では、判定閾値決定部１４１が追従眼球運動についての判定閾値を決定する。ステップＳ６４では、判定閾値決定部１４１が急速眼球運動変化量についての判定閾値を決定し、ステップＳ７に移る。なお、Ｓ６１〜Ｓ６４の処理は順番を入れ替えても構わない。
【００５７】
状態推定関連処理において、判定閾値決定処理は１回のみ実施され、判定閾値を決定した後は、決定済みの判定閾値を用いて状態推定処理を行う構成とすればよい。本実施形態では、ＨＣＵ１０の電源がオンになった後に判定閾値決定処理を１回実施して判定閾値を決定し、ＨＣＵ１０の電源がオフになるまでは決定済みの判定閾値を用いて状態推定を行う。これによれば、自車のパワースイッチのオン，ＨＣＵ１０の電源オン等の状態推定関連処理の開始のトリガごとに判定閾値を新たに決定し直すので、乗車ごとにドライバに合った判定閾値を決定し直すことが可能になる。よって、日ごとにドライバの体調が異なる場合であっても、その日のドライバの体調に合わせた判定閾値を決定し、ドライバの状態の推定精度を向上させることができる。従って、自車の走行中に何度も判定閾値を決定し直す処理負荷を抑えつつ、ドライバの状態の推定精度を向上させることが可能になる。
【００５８】
図４に戻って、ステップＳ７では、状態推定部１４０が状態推定処理を行ってドライバの状態を推定し、ステップＳ８に移る。ここで、図７のフローチャートを用いて、状態推定処理の概略について説明を行う。状態推定処理では、所定時間ｔごとの判定用データを算出し、この判定用データとＳ６で決定した判定閾値との比較によってドライバの状態を推定する。本実施形態では、ドライバの注意力を推定する。
【００５９】
まず、Ｓ７１では、状態推定部１４０が、急速眼球運動頻度算出部１３２で算出した直近の所定時間ｔにおけるドライバのサッカード，マイクロサッカードの発生頻度（つまり、急速眼球運動頻度）を取得する。急速眼球運動頻度は、サッカード及びマイクロサッカードのいずれかの発生頻度であってもよいが、ここではサッカードの発生頻度とマイクロサッカードの発生頻度の合計値とする。続いて、状態推定部１４０は、直近の所定時間ｔの急速眼球運動頻度とＳ６で決定した急速眼球運動頻度についての判定閾値とを比較する。そして、急速眼球運動頻度がこの判定閾値よりも大きい場合（Ｓ７１でＹＥＳ）には、ステップＳ７５に移る。一方、急速眼球運動頻度がこの判定閾値以下である場合（Ｓ７１でＮＯ）には、ステップＳ７２に移る。
【００６０】
ステップＳ７２では、状態推定部１４０が、瞬目頻度算出部１３１で算出した直近の所定時間ｔにおけるドライバの瞬目頻度を取得し、この瞬目頻度とＳ６で決定した瞬目頻度についての判定閾値とを比較する。そして、瞬目頻度がこの判定閾値よりも大きい場合（Ｓ７２でＹＥＳ）には、ステップＳ７５に移る。一方、瞬目頻度がこの判定閾値以下である場合（Ｓ７２でＮＯ）には、ステップＳ７３に移る。
【００６１】
ステップＳ７３では、状態推定部１４０が、追従眼球運動時間算出部１３３で算出した直近の所定時間ｔにおけるドライバの追従眼球運動時間を取得し、この追従眼球運動時間とＳ６で決定した追従眼球運動時間についての判定閾値とを比較する。そして、追従眼球運動時間がこの判定閾値よりも大きい場合（Ｓ７３でＹＥＳ）には、ステップＳ７５に移る。一方、追従眼球運動時間がこの判定閾値以下である場合（Ｓ７３でＮＯ）には、ステップＳ７４に移る。
【００６２】
ステップＳ７４では、状態推定部１４０が、変化量算出部１３４で算出した直近の所定時間ｔについてのドライバの急速眼球運動頻度変化量を取得し、この急速眼球運動頻度変化量とＳ６で決定した急速眼球運動頻度変化量についての判定閾値とを比較する。そして、急速眼球運動頻度変化量がこの判定閾値よりも大きい場合（Ｓ７４でＹＥＳ）には、ステップＳ７５に移る。一方、急速眼球運動頻度変化量がこの判定閾値以下である場合（Ｓ７４でＮＯ）には、ステップＳ７６に移る。
【００６３】
ステップＳ７５では、状態推定部１４０が、ドライバの状態を正常、つまり集中状態であると推定し、ステップＳ８に移る。つまり、状態推定部１４０は、急速眼球運動頻度、瞬目頻度、追従眼球運動時間、及び急速眼球運動頻度変化量のいずれかでもそれぞれの判定閾値よりも大きい場合に、ドライバの状態を集中状態であると推定する。
【００６４】
一方、ステップＳ７６では、状態推定部１４０が、ドライバの状態を異常、つまり不注意状態であると推定し、ステップＳ８に移る。つまり、状態推定部１４０は、急速眼球運動頻度、瞬目頻度、追従眼球運動時間、及び急速眼球運動頻度変化量の全てがそれぞれの判定閾値以下の場合に、ドライバの状態を不注意状態であると推定する。なお、Ｓ７１〜Ｓ７４の処理の順番は入れ替えても構わない。
【００６５】
図４に戻って、ステップＳ８では、Ｓ７でドライバの状態を不注意状態と推定した場合（Ｓ８でＹＥＳ）には、ステップＳ９に移る。一方、Ｓ７でドライバの状態を集中状態と推定した場合（Ｓ８でＮＯ）には、ステップＳ１０に移る。ステップＳ９では、報知処理部１５０が、報知装置６０に指示を行って警報を行わせ、ステップＳ１０に移る。
【００６６】
ステップＳ１０では、状態推定関連処理の終了タイミングである場合（Ｓ１０でＹＥＳ）には、状態推定関連処理を終了する。一方、状態推定関連処理の終了タイミングでない場合（Ｓ１０でＮＯ）には、Ｓ１に戻って処理を繰り返す。状態推定関連処理の終了タイミングとしては、例えばＨＣＵ１０の電源がオフになった場合，自車のパワースイッチがオフになった場合等がある。
【００６７】
＜実施形態１のまとめ＞
実施形態１の構成によれば、ドライバのサッカード及びマイクロサッカードの少なくともいずれかの発生頻度である急速眼球運動頻度だけでなく、ドライバの瞬目頻度、追従眼球運動時間、及び急速眼球運動頻度変化量を用いてドライバの状態を推定することで、ドライバの状態をより精度良く推定することが可能になる。
【００６８】
詳しくは、瞬目頻度を用いることで、瞬目による急速眼球運動頻度の低下をドライバの状態の異常と推定しないようにすることが可能になる。また、追従眼球運動時間を用いることで、追従眼球運動による急速眼球運動頻度の低下をドライバの状態の異常と推定しないようにすることが可能になる。さらに、急速眼球運動頻度変化量を用いた場合には、急速眼球運動頻度が増加傾向にある場合の急速眼球運動頻度の低下をドライバの状態の異常と推定しないようにすることが可能になる。よって、急速眼球運動頻度だけを用いる場合に比べ、ドライバの状態をより精度良く推定することが可能になる。また、ドライバの瞬目頻度、追従眼球運動時間、及び急速眼球運動頻度変化量の一部を用いる場合と比較しても、ドライバの状態をより精度良く推定することが可能になる。
【００６９】
（実施形態２）
実施形態１では、視線角速度若しくは視線角加速度をもとにドライバの追従眼球運動を抽出する構成を示したが、必ずしもこれに限らない。例えば、注視対象物の自車に対する位置及び／又は速度をもとにドライバの追従眼球運動の発生を推定することでドライバの追従眼球運動を抽出する構成（以下、実施形態２）としてもよい。以下、実施形態２の構成について説明する。
【００７０】
実施形態２の車両システム１は、ＨＣＵ１０の代わりにＨＣＵ１０ａを含む点を除けば、実施形態１の車両システム１と同様である。ここで、図８を用いて、ＨＣＵ１０ａの概略構成を説明する。
【００７１】
図８に示すように、ＨＣＵ１０ａは、機能ブロックとして、画像認識処理部１００、眼球運動抽出部１１０ａ、眼球運動情報記憶部１２０、判定用データ算出部１３０、状態推定部１４０、報知処理部１５０、及び対象物情報取得部１６０を備えている。ＨＣＵ１０ａは、対象物情報取得部１６０を備えている点、及び眼球運動抽出部１１０の代わりに眼球運動抽出部１１０ａを備えている点を除けばＨＣＵ１０と同様である。このＨＣＵ１０ａも請求項の状態推定装置に相当する。
【００７２】
対象物情報取得部１６０は、自車周辺の注視対象物の自車に対する位置及び速度の少なくともいずれかである対象物情報を取得する。一例としては、周辺監視ＥＣＵ４０で検出した、自車に対する注視対象物の位置及び／又は速度を対象物情報として取得する構成とすればよい。注視対象物が複数存在する場合には、その複数の注視対象物についての対象物情報を取得する構成とすればよい。
【００７３】
眼球運動抽出部１１０ａは、サブ機能ブロックとして、瞬目抽出部１１１、急速眼球運動抽出部１１２、及び追従眼球運動抽出部１１３ａを備える。眼球運動抽出部１１０ａは、追従眼球運動抽出部１１３の代わりに追従眼球運動抽出部１１３ａを備える点を除けば眼球運動抽出部１１０と同様である。
【００７４】
追従眼球運動抽出部１１３ａは、対象物情報取得部１６０で取得する対象物情報をもとにドライバの追従眼球運動の発生を推定することでドライバの追従眼球運動を抽出する。よって、この追従眼球運動抽出部１１３ａが請求項の発生推定部に相当する。ドライバは、注視対象物が視野範囲内に位置し、且つ、自車に対する速度差が一定以上に大きい場合に、この注視対象物に対して追従眼球運動を起こす。よって、注視対象物が自車の前方に位置したり、自車に対する注視対象物の速度差が一定以上に大きかったりする場合には、追従眼球運動が発生する確率が高い。よって、このような場合を条件としてドライバの追従眼球運動の発生を推定することでドライバの追従眼球運動を抽出すればよい。
【００７５】
実施形態２の構成であっても、追従眼球運動の抽出の態様が異なる点を除けば実施形態１と同様であるので、実施形態１の構成と同様の効果を奏することができる。
【００７６】
（実施形態３）
実施形態１では、追従眼球運動時間についての判定閾値を、有効時間Ｔ内における所定時間ｔごとの追従眼球運動時間の平均値又はばらつきの度合いから決定する構成を示したが、必ずしもこれに限らない。例えば、注視対象物の自車に対する位置及び／又は速度をもとに、追従眼球運動時間についての判定閾値を決定する構成（以下、実施形態３）としてもよい。以下、実施形態３の構成について説明する。
【００７７】
実施形態３の車両システム１は、ＨＣＵ１０の代わりにＨＣＵ１０ｂを含む点を除けば、実施形態１の車両システム１と同様である。ここで、図９を用いて、ＨＣＵ１０ｂの概略構成を説明する。
【００７８】
図９に示すように、ＨＣＵ１０ｂは、機能ブロックとして、画像認識処理部１００、眼球運動抽出部１１０、眼球運動情報記憶部１２０、判定用データ算出部１３０、状態推定部１４０ｂ、報知処理部１５０、及び対象物情報取得部１６０を備えている。ＨＣＵ１０ｂは、対象物情報取得部１６０を備えている点、及び状態推定部１４０の代わりに状態推定部１４０ｂを備えている点を除けばＨＣＵ１０と同様である。このＨＣＵ１０ｂも請求項の状態推定装置に相当する。
【００７９】
対象物情報取得部１６０は、実施形態２の対象物情報取得部１６０と同様である。状態推定部１４０ｂは、サブ機能ブロックとして、判定閾値決定部１４１ｂを備える。状態推定部１４０ｂは、判定閾値決定部１４１の代わりに判定閾値決定部１４１ｂを備える点を除けば状態推定部１４０と同様である。
【００８０】
判定閾値決定部１４１ｂは、対象物情報取得部１６０で取得する対象物情報に応じて、追従眼球運動時間についての判定閾値を決定する。また、判定閾値決定部１４１ｂは、実施形態１の判定閾値決定部１４１と同様にして決定した追従眼球運動時間についての判定閾値を、対象物情報取得部１６０で取得する対象物情報に応じて変更することで決定する構成としてもよい。
【００８１】
一例としては、自車に対する注視対象物の速度が速くなるほど追従眼球運動時間が短くなる確率が高いため、自車に対する注視対象物の速度が速くなるのに応じて、追従眼球運動時間についての判定閾値を小さく決定する構成とすればよい。また、自車に対して注視対象物が遠くにある場合は追従眼球運動時間が長くなる確率が高いため、自車に対する注視対象物の位置及び速度から、自車に対する注視対象物の接近の度合いが低くなるのに応じて、追従眼球運動時間についての判定閾値を大きく決定する構成としてもよい。他にも、自車周辺の注視対象物の数が多くなるほど一つの注視対象物に対する追従眼球運動時間が短くなる確率が高いため、自車に対する注視対象物の位置から、自車周辺の注視対象物の数が多くなるのに応じて、追従眼球運動時間についての判定閾値を小さく決定する構成としてもよい。
【００８２】
注視対象物の自車に対する位置及び／又は速度によって、自車のドライバがその注視対象物を注視することによって生じる追従眼球運動の発生時間の長さの傾向が変わる。実施形態３の構成によれば、対象物情報取得部１６０で取得する対象物情報に応じて追従眼球運動時間についての判定閾値を決定することで、この対象物情報に応じて変わる追従眼球運動の発生時間の長さの傾向に合わせて、追従眼球運動時間についての判定閾値を決定することが可能になる。従って、追従眼球運動時間についての判定閾値の精度をより向上させ、ドライバの状態の推定精度をより向上させることが可能になる。
【００８３】
なお、実施形態３の構成であっても、追従眼球運動時間についての判定閾値を変更する点を除けば実施形態１と同様であるので、実施形態１の構成と同様の効果も奏することができる。また、実施形態３の構成を実施形態１若しくは実施形態２と組み合わせても構わない。
【００８４】
（実施形態４）
実施形態１では、瞬目頻度についての判定閾値を、有効時間Ｔ内における所定時間ｔごとの瞬目頻度の平均値又はばらつきの度合いから決定する構成を示したが、必ずしもこれに限らない。例えば、自車の室内の湿度及び／又は明るさをもとに、瞬目頻度についての判定閾値を決定する構成（以下、実施形態４）としてもよい。以下、実施形態４の構成について説明する。
【００８５】
実施形態４の車両システム１は、ＨＣＵ１０の代わりにＨＣＵ１０ｃを含む点を除けば、実施形態１の車両システム１と同様である。ここで、図１０を用いて、ＨＣＵ１０ｃの概略構成を説明する。
【００８６】
図１０に示すように、ＨＣＵ１０ｂは、機能ブロックとして、画像認識処理部１００、眼球運動抽出部１１０、眼球運動情報記憶部１２０、判定用データ算出部１３０、状態推定部１４０ｃ、報知処理部１５０、及び室内環境情報取得部１７０を備えている。ＨＣＵ１０ｃは、室内環境情報取得部１７０を備えている点、及び状態推定部１４０の代わりに状態推定部１４０ｃを備えている点を除けばＨＣＵ１０と同様である。このＨＣＵ１０ｃも請求項の状態推定装置に相当する。
【００８７】
室内環境情報取得部１７０は、自車の室内の湿度及び／又は明るさである室内環境情報を取得する。一例としては、車両センサ２０のうちの外光センサで検出する照度及び／又は車両センサ２０のうちの湿度センサで検出する湿度を室内環境情報として取得する構成とすればよい。
【００８８】
状態推定部１４０ｃは、サブ機能ブロックとして、判定閾値決定部１４１ｃを備える。状態推定部１４０ｃは、判定閾値決定部１４１の代わりに判定閾値決定部１４１ｃを備える点を除けば状態推定部１４０と同様である。
【００８９】
判定閾値決定部１４１ｃは、室内環境情報取得部１７０で取得する室内環境情報に応じて、瞬目頻度についての判定閾値を決定する。また、判定閾値決定部１４１ｃは、実施形態１の判定閾値決定部１４１と同様にして決定した瞬目頻度についての判定閾値を、室内環境情報取得部１７０で取得する室内環境情報に応じて変更することで決定する構成としてもよい。一例としては、外光センサで検出する照度が大きくなるのに応じて、瞬目頻度についての判定閾値を大きく決定する構成とすればよい。また、湿度センサで検出する湿度が低くなるのに応じて、瞬目頻度についての判定閾値を大きく変更する構成としてもよい。
【００９０】
自車の室内の湿度及び／又は明るさによって、自車のドライバの瞬目頻度の傾向が変わる。例えば、湿度が低いほど乾燥によって瞬きが増えるため瞬目頻度は高くなる。また、明るさが大きいほど瞬きが増えるため瞬目頻度は高くなる。実施形態４の構成によれば、室内環境情報取得部１７０で取得する室内環境情報に応じて瞬目頻度についての判定閾値を変更することで、この室内環境情報に応じて変わる瞬目頻度の傾向に合わせて、瞬目頻度についての判定閾値を変更することが可能になる。従って、瞬目頻度についての判定閾値の精度をより向上させ、ドライバの状態の推定精度をより向上させることが可能になる。
【００９１】
なお、実施形態４の構成であっても、瞬目頻度についての判定閾値を変更する点を除けば実施形態１と同様であるので、実施形態１の構成と同様の効果も奏することができる。また、実施形態４の構成を実施形態１〜３の構成と組み合わせても構わない。
【００９２】
（実施形態５）
前述の実施形態では、急速眼球運動頻度、瞬目頻度、追従眼球運動時間、及び急速眼球運動頻度変化量をＨＣＵ１０，１０ａ，１０ｂ，１０ｃで算出することで取得する構成を示したが、必ずしもこれに限らない。例えば、ＨＣＵ１０，１０ａ，１０ｂ，１０ｃ以外の装置で算出した急速眼球運動頻度、瞬目頻度、追従眼球運動時間、及び／又は急速眼球運動頻度変化量を、ＨＣＵ１０，１０ａ，１０ｂ，１０ｃが取得する構成としてもよい。また、ＨＣＵ１０，１０ａ，１０ｂ，１０ｃの機能は、複数の装置で担う構成としてもよい。
【００９３】
（実施形態６）
前述の実施形態では、状態推定部１４０，１４０ｂ，１４０ｃが、瞬目頻度、追従眼球運動時間、及び急速眼球運動頻度変化量を用いてドライバの状態を推定する構成を示したが、必ずしもこれに限らない。例えば、瞬目頻度、追従眼球運動時間、及び急速眼球運動頻度変化量のうちの一部のみをドライバの状態の推定に用いる構成としてもよい。なお、瞬目頻度、追従眼球運動時間、及び急速眼球運動頻度変化量のうち、急速眼球運動頻度変化量は、急速眼球運動頻度の算出結果を用いて算出できるため、急速眼球運動頻度変化量も用いてドライバの状態を推定する構成とした場合でも、新たな演算処理の増加を抑えることができ、処理負荷を抑えることができる利点がある。
【００９４】
（実施形態７）
前述の実施形態では、状態推定関連処理をＨＣＵ１０，１０ａ，１０ｂ，１０ｃの電源がオンになるごとに実行する構成を示したが、必ずしもこれに限らない。例えば、自車に設けられた操作入力部に状態推定関連処理を実行するための操作入力をユーザが行うごとに、状態推定関連処理を実行する構成としてもよい。これによれば、自車のドライバが変更するごとにドライバからこの操作入力を受け付けることで、個々のドライバに応じた判定閾値を決定し、個々のドライバに応じてドライバの状態を精度良く推定することが可能になる。
【００９５】
また、個々のドライバごとに異なる電子キーのＩＤといった識別情報を車両システム１のメモリに登録しておくことで、電子キーＩＤから近距離無線通信で得られるドライバごとの識別情報をもとに、ドライバが変更されるごとに状態推定関連処理を実行する構成としてもよい。この場合でも、個々のドライバに応じた判定閾値を決定し、個々のドライバに応じてドライバの状態を精度良く推定することが可能になる。
【００９６】
（実施形態８）
前述の実施形態では、本発明を車両に適用した場合を例に挙げて説明を行ったが、必ずしもこれに限らない。例えば、車両以外の移動体に適用し、車両以外の移動体の乗員の状態を推定する構成としてもよい。また、移動体以外に適用する構成としてもよい。例えば、工場のライン等での作業員の状態を推定する構成としてもよい。
【００９７】
なお、本発明は、上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【００９８】
１  車両システム、１０，１０ａ，１０ｂ，１０ｃ  ＨＣＵ（状態推定装置）、２０  車両センサ、３０  周辺監視センサ、４０  周辺監視ＥＣＵ、５０  ドライバ撮像ユニット、１００  画像認識処理部、１１０  眼球運動抽出部、１１１  瞬目抽出部、１１２  急速眼球運動抽出部、１１３  追従眼球運動抽出部、１１３ａ  追従眼球運動抽出部（発生推定部）、１２０  眼球運動情報記憶部、１３０  判定用データ算出部、１３１  瞬目頻度算出部（瞬目取得部）、１３２  急速眼球運動頻度算出部（頻度取得部）、１３３  追従眼球運動時間算出部（追従眼球運動取得部）、１３４  変化量算出部（頻度変化量取得部）、１３５  補強情報取得部、１４０，１４０ｂ，１４０ｃ  状態推定部、１４１，１４１ｂ，１４１ｃ  判定閾値決定部、１５０  報知処理部、１６０  対象物情報取得部、１７０  室内環境情報取得部
【図１】
2018183532.tif 000003
【図２】
2018183532.tif 000004
【図３】
2018183532.tif 000005
【図４】
2018183532.tif 000006
【図５】
2018183532.tif 000007
【図６】
2018183532.tif 000008
【図７】
2018183532.tif 000009
【図８】
2018183532.tif 000010
【図９】
2018183532.tif 000011
【図１０】
2018183532.tif 000012