(57)【要約】【課題】簡易な構成で、ドライバの開閉眼状態を精度よく判定することができるようにする。【解決手段】各種センサによって、ヨー角速度、横加速度、車速、及び操舵角を検出する。目標コース推定部２４によって目標コースを推定する。開眼時操舵角推定部２６によって、前方注視点における目標コースからのずれに基づいて、開眼状態に対する操舵角を推定する。閉眼時操舵角推定部２８によって、前方注視点における目標コースからのずれを０として、閉眼状態に対する操舵角を推定する。開眼状態判定部３０によって、推定された開眼状態及び閉眼状態に対する操舵角の各々と、操舵角センサ１８によって検出された操舵角とを比較し、比較結果に基づいて、ドライバの開閉眼状態を判定する。【選択図】図１
2010224827.tif 000002
【特許請求の範囲】
【請求項１】
自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段と、
前記状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、ドライバの開眼状態及び閉眼状態の各々に対する前記操作状態を推定する操作状態推定手段と、
前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段と、
を含む開閉眼状態判定装置。
【請求項２】
前記開閉眼状態判定手段によって判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定する居眠り判定手段を更に含む請求項１記載の開閉眼状態判定装置。
【請求項３】
前記開閉眼状態判定手段によって判定された開閉眼状態の時系列データに基づいて、瞬目特徴量を算出する特徴量算出手段を更に含む請求項１又は２記載の開閉眼状態判定装置。
【請求項４】
前記状態検出手段は、自車両の走行状態として、ヨー角速度、横加速度、及び車速を検出し、前記操作状態として、操舵角を検出し、
前記操作状態推定手段は、前記検出されたヨー角速度、横加速度、及び車速に基づいて、前方注視点における目標コースからのずれを推定し、前方注視モデルに従って、推定された前方注視点における目標コースからのずれに基づいて開眼状態に対する操舵角を推定し、前方注視点における目標コースからのずれを所定値として、閉眼状態に対する操舵角を推定する請求項１〜請求項３の何れか１項記載の開閉眼状態判定装置。
【請求項５】
前記状態検出手段は、自車両の走行状態として、ヨー角速度、横加速度、及び車速を検出し、前記操作状態として、操舵角を検出し、
前記操作状態推定手段は、前記検出されたヨー角速度、横加速度、及び車速に基づいて、目標コースに対する自車両の横位置を推定し、推定された目標コースに対する自車両の横位置に基づいて開眼状態に対する操舵角を推定し、目標コースに対する自車両の横位置を所定値として、閉眼状態に対する操舵角を推定する請求項１〜請求項３の何れか１項記載の開閉眼状態判定装置。
【請求項６】
ドライバの眼を含む領域を撮像する撮像手段と、
前記撮像手段により撮像された画像に基づいて、前記ドライバの開閉眼状態を判定する第２開閉眼状態判定手段と、
前記開閉眼状態判定手段による判定結果及び前記第２開閉眼状態判定手段による判定結果を統合して、前記ドライバの開閉眼状態を判定する判定結果統合手段とを更に含む請求項１〜請求項５の何れか１項記載の開閉眼状態判定装置。
【請求項７】
自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段と、
前記状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、ドライバの前向き状態及び横向き状態の各々に対する前記操作状態を推定する操作状態推定手段と、
前記操作状態推定手段によって推定された前記前向き状態及び横向き状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバが前向き状態であるか又は横向き状態であるかを判定する前横向き状態判定手段と、
を含む前横向き状態判定装置。
【請求項８】
前記前横向き状態判定手段による判定結果の時系列データに基づいて、脇見状態であるか否かを判定する脇見判定手段を更に含む請求項７記載の前横向き状態判定装置。
【請求項９】
コンピュータを、
自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、ドライバの開眼状態及び閉眼状態の各々に対する前記操作状態を推定する操作状態推定手段、及び
前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段
として機能させるためのプログラム。
【請求項１０】
コンピュータを、
自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、ドライバの前向き状態及び横向き状態の各々に対する前記操作状態を推定する操作状態推定手段、及び
前記操作状態推定手段によって推定された前記前向き状態及び横向き状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバが前向き状態であるか又は横向き状態であるかを判定する前横向き状態判定手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、開閉眼状態判定装置、前横向き状態判定装置、及びプログラムに係り、特に、車両の走行状態やドライバの操作状態に基づいて、ドライバの開閉眼状態を判定する開閉眼状態判定装置及びプログラム、並びに、ドライバの前向き状態及び横向き状態を判定する前横向き状態判定装置及びプログラムに関する。
【背景技術】
【０００２】
従来より、カメラを用いて、ドライバの開閉眼状態を検知する技術が知られている（例えば、特許文献１）。また、ＥＯＧ（ｅｌｅｃｔｒｏ−ｏｃｕｌｏｇｒａｐｈ）法を用いて、ドライバの開閉眼状態を検出する技術が知られている。
【０００３】
また、操舵角検出信号における、所定の居眠り運転で変化する周波数成分（人間周波数成分）を抽出し、この抽出した周波数成分の絶対値を加算（積分）して、その加算値が所定値に達するまでの時間が所定範囲内であるときに、警報を発生する装置が知られている（例えば、特許文献２）。この装置では、居眠り時に多く発生するふらつきを捉えることにより、居眠り運転を検出している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−１７１１０７号公報
【特許文献２】特開平８−２６８１９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に記載の技術では、ドライバを撮影するカメラを搭載する必要があるため、コストが高くなってしまう、という問題がある。
【０００６】
また、上記のＥＯＧを用いてドライバの開閉眼状態を検出する技術では、ドライバ自身にセンサを取り付ける必要があるため、自動車に搭載するには現実的ではない、という問題がある。
【０００７】
また、上記の特許文献２に記載の技術では、抽出するふらつき成分が、ドライバが初心者である場合や、風、轍、カーブなどの外乱影響によっても発生するため、誤検出が多く発生してしまう、という問題がある。
【０００８】
本発明は、上記の問題点を解決するためになされたもので、簡易な構成で、ドライバの開閉眼状態を精度よく判定することができる開閉眼状態判定装置及びプログラムを提供することを第１の目的とする。
【０００９】
また、簡易な構成で、ドライバが前向き状態であるか横向き状態であるかを精度よく判定することができる前横向き状態判定装置及びプログラムを提供することを第２の目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するために第１の発明に係る開閉眼状態判定装置は、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段と、前記状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、ドライバの開眼状態及び閉眼状態の各々に対する前記操作状態を推定する操作状態推定手段と、前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段とを含んで構成されている。
【００１１】
第２の発明に係るプログラムは、コンピュータを、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、ドライバの開眼状態及び閉眼状態の各々に対する前記操作状態を推定する操作状態推定手段、及び前記操作状態推定手段によって推定された前記開眼状態及び閉眼状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバの開閉眼状態を判定する開閉眼状態判定手段として機能させるためのプログラムである。
【００１２】
第１の発明及び第２の発明によれば、状態検出手段によって、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する。操作状態推定手段によって、状態検出手段によって検出された走行状態、又は走行状態及び操作状態に基づいて、ドライバの開眼状態及び閉眼状態の各々に対する操作状態を推定する。
【００１３】
そして、開閉眼状態判定手段によって、操作状態推定手段によって推定された開眼状態及び閉眼状態に対する操作状態の各々と、状態検出手段によって検出された操作状態とを比較し、比較結果に基づいて、ドライバの開閉眼状態を判定する。
【００１４】
このように、推定された開眼状態及び閉眼状態に対する操作状態の各々と、検出された操作状態とを比較して、ドライバの開閉眼状態を判定することにより、簡易な構成で、ドライバの開閉眼状態を精度よく判定することができる。
【００１５】
第１の発明に係る開閉眼状態判定装置は、開閉眼状態判定手段によって判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定する居眠り判定手段を更に含むことができる。これによって、簡易な構成で、ドライバが居眠り状態であるか否かを精度よく判定することができる。
【００１６】
第１の発明に係る開閉眼状態判定装置は、開閉眼状態判定手段によって判定された開閉眼状態の時系列データに基づいて、瞬目特徴量を算出する特徴量算出手段を更に含むことができる。これによって、簡易な構成で、瞬目特徴量を精度よく算出することができる。
【００１７】
第１の発明に係る状態検出手段は、自車両の走行状態として、ヨー角速度、横加速度、及び車速を検出し、操作状態として、操舵角を検出し、操作状態推定手段は、検出されたヨー角速度、横加速度、及び車速に基づいて、前方注視点における目標コースからのずれを推定し、前方注視モデルに従って、推定された前方注視点における目標コースからのずれに基づいて開眼状態に対する操舵角を推定し、前方注視点における目標コースからのずれを所定値として、閉眼状態に対する操舵角を推定することができる。これによって、前方注視モデルを用いて、開眼状態及び閉眼状態に対する操舵角を推定することができる。
【００１８】
第１の発明に係る状態検出手段は、自車両の走行状態として、ヨー角速度、横加速度、及び車速を検出し、操作状態として、操舵角を検出し、操作状態推定手段は、検出されたヨー角速度、横加速度、及び車速に基づいて、目標コースに対する自車両の横位置を推定し、推定された目標コースに対する自車両の横位置に基づいて開眼状態に対する操舵角を推定し、目標コースに対する自車両の横位置を所定値として、閉眼状態に対する操舵角を推定することができる。これによって、目標コースに対する自車両の横位置を用いて、開眼状態及び閉眼状態に対する操舵角を推定することができる。
【００１９】
上記の開閉眼状態判定装置は、ドライバの眼を含む領域を撮像する撮像手段と、前記撮像手段により撮像された画像に基づいて、ドライバの開閉眼状態を判定する第２開閉眼状態判定手段と、開閉眼状態判定手段による判定結果及び第２開閉眼状態判定手段による判定結果を統合して、ドライバの開閉眼状態を判定する判定結果統合手段とを更に含むことができる。これによって、ドライバの開閉眼状態をより精度よく判定することができる。
【００２０】
第３の発明に係る前横向き状態判定装置は、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段と、前記状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、ドライバの前向き状態及び横向き状態の各々に対する前記操作状態を推定する操作状態推定手段と、前記操作状態推定手段によって推定された前記前向き状態及び横向き状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバが前向き状態であるか又は横向き状態であるかを判定する前横向き状態判定手段とを含んで構成されている。
【００２１】
第４の発明に係るプログラムは、コンピュータを、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する状態検出手段によって検出された前記走行状態、又は前記走行状態及び前記操作状態に基づいて、ドライバの前向き状態及び横向き状態の各々に対する前記操作状態を推定する操作状態推定手段、及び前記操作状態推定手段によって推定された前記前向き状態及び横向き状態に対する前記操作状態の各々と、前記状態検出手段によって検出された前記操作状態とを比較し、比較結果に基づいて、前記ドライバが前向き状態であるか又は横向き状態であるかを判定する前横向き状態判定手段として機能させるためのプログラムである。
【００２２】
第３の発明及び第４の発明によれば、状態検出手段によって、自車両の走行状態及びドライバが自車両を操作したときの操作状態を検出する。操作状態推定手段によって、状態検出手段によって検出された走行状態、又は走行状態及び操作状態に基づいて、ドライバの前向き状態及び横向き状態の各々に対する操作状態を推定する。
【００２３】
そして、前横向き状態判定手段によって、操作状態推定手段によって推定された前向き状態及び横向き状態に対する操作状態の各々と、状態検出手段によって検出された操作状態とを比較し、比較結果に基づいて、ドライバが前向き状態であるか又は横向き状態であるかを判定する。
【００２４】
このように、推定された前向き状態及び横向き状態に対する操作状態の各々と、検出された操作状態とを比較して、ドライバの前向き状態及び横向き状態を判定することにより、簡易な構成で、ドライバが前向き状態であるか横向き状態であるかを精度よく判定することができる。
【００２５】
第３の発明に係る前横向き状態判定装置は、前横向き状態判定手段による判定結果の時系列データに基づいて、脇見状態であるか否かを判定する脇見判定手段を更に含むことができる。これによって、簡易な構成で、ドライバが脇見状態であるか否かを精度よく判定することができる。
【発明の効果】
【００２６】
以上説明したように、本発明の開閉眼状態判定装置及びプログラムによれば、推定された開眼状態及び閉眼状態に対する操作状態の各々と、検出された操作状態とを比較して、ドライバの開閉眼状態を判定することにより、簡易な構成で、ドライバの開閉眼状態を精度よく判定することができる、という効果が得られる。
【００２７】
本発明の前横向き状態判定装置及びプログラムによれば、推定された前向き状態及び横向き状態に対する操作状態の各々と、検出された操作状態とを比較して、ドライバの前向き状態及び横向き状態を判定することにより、簡易な構成で、ドライバが前向き状態であるか横向き状態であるかを精度よく判定することができる、という効果が得られる。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施の形態に係る居眠り判定装置の構成を示すブロック図である。
【図２】前方注視点における目標コースからのずれを説明するための図である。
【図３】前方注視点における目標コースからのずれの算出方法を説明するための図である。
【図４】開眼時操舵角推定部、閉眼時操舵角推定部、及び開眼状態判定部の処理の流れを説明するための図である。
【図５】本発明の第１の実施の形態に係る居眠り判定装置における居眠り判定処理ルーチンの内容を示すフローチャートである。
【図６】本発明の第１の実施の形態に係る居眠り判定装置における開閉眼判定処理ルーチンの内容を示すフローチャートである。
【図７】本発明の第２の実施の形態に係る居眠り判定装置の構成を示すブロック図である。
【図８】本発明の第２の実施の形態に係る居眠り判定装置における居眠り判定処理ルーチンの内容を示すフローチャートである。
【図９】本発明の第４の実施の形態に係る脇見状態判定装置の構成を示すブロック図である。
【発明を実施するための形態】
【００２９】
以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、車両に搭載された居眠り判定装置に本発明を適用した場合を例に説明する。
【００３０】
図１に示すように、第１の実施の形態に係る居眠り判定装置１０は、自車両の走行状態としてのヨー角速度を検出するヨー角速度センサ１２と、自車両の走行状態としての横加速度を検出する横加速度センサ１４と、自車両の走行状態としての車速を検出する車速センサ１６と、ドライバが自車両を操作したときの操作状態としてのハンドルの操舵角を検出する操舵角センサ１８と、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８からの出力に基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させるコンピュータ２０とを備えている。
【００３１】
ヨー角速度センサ１２は、検出したヨー角速度を示すヨー角速度信号を出力し、横加速度センサ１４は、検出した横加速度を示す横加速度信号を出力する。車速センサ１６は、検出した自車両の車速を示す車速信号を出力し、操舵角センサ１８は、検出したハンドルの操舵角を示す操舵角信号を出力する。ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８は、ある一定間隔で（例えば、１００ｍｓ毎）で、各信号をコンピュータ２０に入力する。
【００３２】
コンピュータ２０は、ＣＰＵと、ＲＡＭと、後述する居眠り判定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ２０は、操舵角センサ１８からの操舵角信号を所定時間分取得してメモリ（図示省略）に記憶するセンサ値取得部２２と、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、及び車速センサ１６からの車速信号に基づいて、目標コースを推定する目標コース推定部２４と、推定された目標コースに基づいて、ドライバが開眼状態であるときの操舵角を所定時間分推定してメモリに記憶する開眼時操舵角推定部２６と、ドライバが閉眼状態であるときの操舵角を所定時間分推定してメモリに記憶する閉眼時操舵角推定部２８と、センサ値取得部２２によって取得された操舵角信号が示す操舵角と、推定された開眼状態の操舵角及び閉眼状態の操舵角の各々とを比較して、ドライバの開閉眼状態を判定する開眼状態判定部３０と、判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させる居眠り状態判定部３２とを備えている。なお、居眠り状態判定部３２は、居眠り判定手段及び特徴量算出手段の一例である。
【００３３】
センサ値取得部２２は、操舵角センサ１８からの操舵角信号を所定時間ΔＴ分取得して、メモリ（図示省略）に記憶する。
【００３４】
目標コース推定部２４は、ヨー角速度センサ１２からのヨー角速度信号及び横加速度センサ１４からの横加速度信号に、例えば０．５Ｈｚ以下をカットオフ周波数とするフィルタを掛けて得られた、ヨー角速度及び横加速度に基づいて、横滑り角を算出する。目標コース推定部２４は、時刻ｔまでに算出された横滑り角、時刻ｔまでに得られたヨー角速度、及び時刻ｔまでに車速センサ１６から得られた車速信号が示す車速に基づいて、以下の（１）式〜（３）式から、時刻ｔにおける目標コースの位置を推定する。
【００３５】
【数１】
2010224827.tif 000003
【００３６】
ただし、Ｘ（ｔ）、Ｙ（ｔ）は、時刻ｔにおける前後位置及び横位置であり、θ（ｔ）は時刻ｔにおけるヨー角である。Ｖは車速であり、βは、横滑り角であり、ｒは、ヨー角速度である。また、Ｘ０は、前後位置の初期値であり、Ｙ０は、横位置の初期値であり、θ０はヨー角の初期値であり、これらの初期値として、予め定めれた値を用いればよい。
【００３７】
目標コース推定部２４は、上記のように、各センサからの出力に基づいて、逐次、目標コースの位置を推定し、推定された目標コースの位置をメモリに記憶しておく。
【００３８】
また、コンピュータ２０では、ヨー角速度センサ１２からのヨー角速度信号及び横加速度センサ１４からの横加速度信号に基づいて、横滑り角を逐次算出し、時刻ｔまでに算出された横滑り角、時刻ｔまでに得られたヨー角速度、及び時刻ｔまでに車速センサ１６から得られた車速信号が示す車速に基づいて、上記（１）式〜（３）式に従って、時刻ｔにおける自車両の位置を逐次算出し、メモリに記憶する。
【００３９】
開眼時操舵角推定部２６は、以下に説明するように、時刻ｔ０から時刻ｔ０＋ΔＴまでの開眼状態における操舵角を各々推定する。
【００４０】
まず、時刻ｔ０において、ヨー角速度センサ１２からのヨー角速度信号、横加速度センサ１４からの横加速度信号、車速センサ１６からの車速信号、及び操舵角センサ１８からの操舵角信号を取得し、ヨー角速度及び横加速度に基づいて、時刻ｔ０における横滑り角を算出する。
【００４１】
時刻ｔ０における車両位置と時刻ｔ０におけるヨー角速度、横滑り角、及び車速とに基づいて、上記（１）式〜（３）式に従い時刻ｔ０＋Δｔの車両位置を算出する。なお、車速については、時刻ｔ０において車速センサ１６から得られた車速信号が示す車速を用いる。
【００４２】
また、各種センサから得られた、ヨー角速度、車速、及び操舵角と、算出された横滑り角とに基づいて、以下の（４）式に示す車両モデルに従って、時刻ｔ０におけるヨー角速度の微分値及び横滑り角の微分値を算出する。
【００４３】
【数２】
2010224827.tif 000004
【００４４】
ただし、Ｉは、慣性モーメントであり、ｌｆ、ｌｒは、前後車軸間距離であり、ｋｆ、ｋｒは、前後コーナリングパワーであり、δは、操舵角である。なお、上記（４）式で表される車両モデルは、非特許文献（安倍正人著、「自動車の運動と制御」）に記載された二輪操舵モデルである。
【００４５】
算出された時刻ｔ０におけるヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角を算出し、上記（１）式〜（３）式に従って算出された時刻ｔ０＋Δｔの車両位置と、次の時刻ｔ０＋Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋２・Δｔにおける車両の位置を算出する。
【００４６】
そして、次の時刻ｔ０＋Δｔにおける、前方注視点での目標コースからのずれεを算出する。前方注視点での目標コースからのずれεは、図２に示すように、前方注視点（前方注視距離Ｌだけ前方に離れた位置）での目標コースと、前方注視点での車両位置との横位置のずれεを示している。
【００４７】
具体的には、図３に示すように、目標コース推定部２４により推定された時刻ｔ０＋Δｔにおける目標コースの横位置と、上記のように算出された時刻ｔ０＋Δｔにおける自車両の横位置との差ｙと、自車両の横位置の微分から得られる自車両の横位置速度ｖｙと、予め求められた前方注視時間Ｔ０とに基づいて、以下の（５）式に従って、前方注視点での目標コースからのずれεを算出する。
【００４８】
【数３】
2010224827.tif 000005
【００４９】
次に、非特許文献（安倍正人著、「自動車の運動と制御」）に記載されている前方注視モデルを用いて、前方注視点での目標コースからのずれεと操舵角δの伝達関数Ｈ（ｓ）を用いて、時刻ｔ０＋Δｔにおける前方注視点での目標コースからのずれεから、時刻ｔ０＋Δｔ操舵角δを推定する。伝達関数Ｈ（ｓ）は、以下の（６）式で表される。
【００５０】
【数４】
2010224827.tif 000006
【００５１】
ただし、ｈ、τＩ、τＬ、τＤは、伝達関数の定数である。
【００５２】
ここで、前方注視点での目標コースからのずれεを、開眼状態における前方注視点での目標コースからのずれとして、推定された操舵角を、開眼状態における操舵角の推定値とする。
【００５３】
また、推定された時刻ｔ０＋Δｔにおける操舵角と、上記で算出された時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出し、算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、次の時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００５４】
開眼時操舵角推定部２６は、図４に示すように、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの開眼状態における操舵角を推定し、メモリに記憶する。
【００５５】
閉眼時操舵角推定部２８は、以下に説明するように、時刻ｔ０〜ｔ０＋ΔＴについて、開眼状態における操舵角を推定する。
【００５６】
まず、開眼時操舵角推定部２６と同様に、次の時刻ｔ０＋Δｔにおける車両位置、ヨー角速度、及び横滑り角を算出し、次の時刻ｔ０＋２・Δｔにおける車両の位置を算出する。
【００５７】
そして、閉眼状態における目標コースからのずれとして、前方注視点での目標コースからのずれεを０とし、上記（６）式の伝達関数Ｈ（ｓ）を用いて、時刻ｔ０＋Δｔにおける閉眼状態に対する操舵角δを推定する。
【００５８】
また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出し、算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、次の時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【００５９】
閉眼時操舵角推定部２８は、上記図４に示すように、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの閉眼状態における操舵角を推定し、メモリに記憶する。
【００６０】
開眼状態判定部３０は、上記図４に示すように、時刻ｔ０〜時刻ｔ０＋ΔＴについて推定された開眼状態における操舵角と、センサ値取得部２２によって取得された時刻ｔ０〜時刻ｔ０＋ΔＴの操舵角とを、時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。また、開眼状態判定部３０は、時刻ｔ０〜時刻ｔ０＋ΔＴについて推定された閉眼状態における操舵角と、センサ値取得部２２によって取得された時刻ｔ０〜時刻ｔ０＋ΔＴの操舵角とを、時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。差分の移動平均を比較して、閉眼状態に対する差分の移動平均の方が大きい場合には、開眼状態であると判定され、開眼状態に対する差分の移動平均の方が大きい場合には、閉眼状態であると判定される。なお、操舵角の差分として、２乗誤差を算出するようにしてもよい。
【００６１】
居眠り状態判定部３２は、開眼状態判定部３０の判定結果の時系列データから、瞬目特徴量として、所定時間内の閉眼時間を算出し、算出された閉眼時間について閾値判断を行って、ドライバが居眠り状態であるか否かを判定する。また、居眠り状態判定部３２は、ドライバが居眠り状態であると判定すると、居眠り状態であることを示す警告メッセージを表示装置４０に表示させる。
【００６２】
次に、第１の実施の形態に係る居眠り判定装置１０の作用について説明する。居眠り判定装置１０を搭載した車両の走行中に、コンピュータ２０において、図５に示す居眠り判定処理ルーチンが実行される。
【００６３】
まず、ステップ１００で、開閉眼状態を判定する処理を行う。上記ステップ１００は、図６に示す開閉眼判定処理ルーチンによって実現される。以下、開閉眼判定処理ルーチンについて説明する。
【００６４】
ステップ１１８において、時刻を表わす変数ｔに、現在時刻ｔ０を初期値として設定する。そして、ステップ１２０において、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、操舵角センサ１８の各々から出力された信号を取得して、メモリに記憶する。そして、ステップ１２４で、所定時間ΔＴ経過したと判定されるまで、上記ステップ１２０を繰り返し、所定時間ΔＴ経過すると、ステップ１２８へ進む。これによって、所定時間ΔＴ分のヨー角速度信号、横加速度信号、車速信号、及び操舵角信号が、メモリに記憶される。
【００６５】
次のステップ１２８では、上記ステップ１２０で取得された時刻ｔ０〜時刻ｔ０＋ΔＴのヨー角速度センサ１２、横加速度センサ１４、車速センサ１６の出力の各々にフィルタを掛けて得られた値に基づいて、上記ステップ時刻ｔ０〜時刻ｔ０＋ΔＴまでの自車両の目標コースの位置を推定する。そして、ステップ１３０で、時刻ｔを次の時刻（ｔ＋Δｔ）に設定し、ステップ１３２において、コンピュータ２０で逐次算出されている自車両の位置から、時刻ｔ（＝ｔ０＋Δｔ）における自車両の位置を取得する。
【００６６】
そして、ステップ１３４では、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。ｔ＝ｔ０＋Δｔである場合には、上記ステップ１２０で取得した時刻ｔのセンサ値と、上記ステップ１３２で取得した時刻ｔの車両位置とに基づいて、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。それ以外の場合には、後述するステップ１４０で推定された時刻ｔの開眼状態における操舵角と、前回のステップ１３４で算出した時刻ｔの車両位置とに基づいて、車両モデルに従って、次の時刻ｔ＋Δｔにおける開眼状態に対する自車両の位置を算出する。
【００６７】
ステップ１３６では、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。ｔ＝ｔ０＋Δｔの場合には、上記ステップ１２０で取得した時刻ｔのセンサ値と、上記ステップ１３２で取得した時刻ｔの車両位置とに基づいて、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。それ以外の場合には、後述するステップ１４２で推定された時刻ｔの閉眼状態における操舵角と、前回のステップ１３６で算出した時刻ｔの車両位置とに基づいて、車両モデルに従って、次の時刻ｔ＋Δｔにおける閉眼状態に対する自車両の位置を算出する。
【００６８】
そして、ステップ１３８において、上記ステップ１２８で推定された時刻ｔにおける目標コースの位置と、上記ステップ１３２で取得した時刻ｔにおける自車両の位置、又は上記ステップ１３４で算出された自車両の位置とに基づいて、前方注視点における目標コースからのずれを算出する。
【００６９】
次のステップ１４０では、上記ステップ１３８で算出された前方注視点における目標コースからのずれに基づいて、時刻ｔの開眼状態における操舵角を推定して、メモリに記憶する。また、ステップ１４２では、目標コースからのずれを０として、時刻ｔの閉眼状態における操舵角を推定して、メモリに記憶する。
【００７０】
そして、ステップ１４４において、時刻ｔが、ｔ０＋ΔＴに到達したか否かを判定し、ｔ０＋ΔＴに達していない場合には、ステップ１４６において、時刻ｔを、次の時刻ｔ＋Δｔに設定し、ステップ１３４へ戻る。一方、時刻ｔが、ｔ０＋ΔＴに到達した場合には、ステップ１４８へ進む。
ステップ１４８では、上記ステップ１２０で取得した時刻ｔ０＋Δｔ〜ｔ０＋ΔＴまでの操舵角信号が示す操舵角と、上記ステップ１４０で推定された時刻ｔ０＋Δｔ〜ｔ０＋ΔＴまでの開眼状態に対する操舵角とを、時刻毎に比較して差分を算出し、差分の合計値を算出する。
【００７１】
次のステップ１５０では、上記ステップ１２０で取得した時刻ｔ０＋Δｔ〜ｔ０＋ΔＴまでの操舵角信号が示す操舵角と、上記ステップ１４２で推定された時刻ｔ０＋Δｔ〜ｔ０＋ΔＴまでの閉眼状態に対する操舵角とを、時刻毎に比較して差分を算出し、差分の合計値を算出する。
【００７２】
そして、ステップ１５２において、上記ステップ１４８で算出された開眼状態に対する差分の合計値と、上記ステップ１５０で算出された閉眼状態に対する差分の合計値とを比較して、開眼状態に対する差分の合計値の方が小さい場合には、ドライバが開眼状態であると判定し、閉眼状態に対する差分の合計値の方が小さい場合には、ドライバが閉眼状態であると判定し、判定結果をメモリに記憶して、開閉眼判定処理ルーチンを終了する。
【００７３】
そして、上記図５の居眠り判定処理ルーチンのステップ１０２では、処理開始から所定時間経過したか否かを判定し、経過していない場合には、再びステップ１００で、開閉眼状態を判定する処理を行う。一方、処理開始から所定時間経過した場合には、ステップ１０４へ進む。このとき、所定時間分の開閉眼状態の判定結果がメモリに記憶されている。
【００７４】
ステップ１０４では、所定時間分の開閉眼状態の判定結果に基づいて、所定時間内における閉眼時間を計測する。そして、ステップ１０６において、上記ステップ１０４で計測された閉眼時間が、閾値以上であるか否かを判定する。閉眼時間が閾値以上であると判定された場合には、ドライバが居眠り状態であると判定されるため、ステップ１０８で、ドライバが居眠り状態であることを示す警告メッセージを表示装置４０に表示させて、居眠り判定処理ルーチンを終了する。一方、上記ステップ１０６において、閉眼時間が閾値未満である場合には、ドライバが居眠り状態ではないと判定されるため、ステップ１１０において、ドライバの状態が正常状態であることを示すメッセージを表示装置４０に表示させて、居眠り判定理ルーチンを終了する。
【００７５】
以上説明したように、第１の実施の形態に係る居眠り判定装置によれば、推定された開眼状態及び閉眼状態に対する操舵角の各々と、センサから検出された操舵角とを比較して、ドライバの開閉眼状態を判定することにより、簡易な構成で、ドライバの開閉眼状態を精度よく判定することができる。また、簡易な構成で、ドライバが居眠り状態であるか否かを精度よく判定することができる。
【００７６】
また、センサによって検出された走行状態及び操作状態から、ドライバの前方注視モデル及び車両モデルを用いて、開眼状態か閉眼状態かを判定し、それに基づき居眠り状態を判定することによって、カメラやＥＯＧなどのドライバ自身を計測する装置を用いることなく判定したドライバの開閉眼を用いて、居眠り状態を判定することができる。
【００７７】
また、居眠り運転と相関の高い開閉眼状態を判定して、居眠り状態を精度よく判定することができる。
【００７８】
次に、第２の実施の形態について説明する。なお、第１の実施の形態と同様の構成の部分については、同一符号を付して説明を省略する。
【００７９】
第２の実施の形態では、撮像装置で撮像された目画像に基づいて、ドライバの開閉眼状態を更に判定している点と、判定結果を統合している点とが、第１の実施の形態と主に異なっている。
【００８０】
図７に示すように、第２の実施の形態に係る居眠り判定装置２１０は、ヨー角速度センサ１２と、横加速度センサ１４と、車速センサ１６と、操舵角センサ１８と、ドライバの斜め前方に設置され、そのドライバの目を含む領域を斜め上から撮像する撮像装置２１２と、撮像装置２１２で撮像された目画像、並びにヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８からの出力に基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させるコンピュータ２２０とを備えている。
【００８１】
コンピュータ２２０は、センサ値取得部２２と、目標コース推定部２４と、開眼時操舵角推定部２６と、閉眼時操舵角推定部２８と、開眼状態判定部３０と、撮像装置２１２から所定時間分の目画像を取得する画像取得部２２６と、所定時間分の目画像から瞼開度を検出して開閉眼状態を判定する第２開眼状態判定部２２８と、開眼状態判定部３０の判定結果及び第２開眼状態判定部２２８の判定結果を統合して、ドライバの開閉眼状態を最終的に判定する結果統合部２３０と、最終的に判定された開閉眼状態の時系列データに基づいて、ドライバが居眠り状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させる居眠り状態判定部２３２とを備えている。
【００８２】
第２開眼状態判定部２２８は、以下のように開閉眼状態を判定する。
【００８３】
まず、目画像から、ドライバの目を表す目領域を抽出し、各目領域から、瞼が開いている度合いを示す瞼開度を検出する。そして、検出された瞼開度が、閉眼閾値以下となる場合には、閉眼状態であると判定する。一方、検出された瞼開度が、閉眼閾値より大きい場合には、開眼状態であると判定する。
【００８４】
結果統合部２３０は、開眼状態判定部３０による判定結果及び第２開眼状態判定部２２８による判定結果に基づいて、少なくとも一方の判定結果が、閉眼状態であると判定している場合には、最終的に、閉眼状態であると判定する。また、両方の判定結果が、開眼状態であると判定した場合に、最終的に、開眼状態であると判定される。
【００８５】
居眠り状態判定部２３２は、結果統合部２３０による最終的な判定結果の時系列データから、所定時間内の閉眼時間を算出し、算出された閉眼時間について閾値判断を行って、ドライバが居眠り状態であるか否かを判定する。また、居眠り状態判定部２３２は、ドライバが居眠り状態であると判定すると、居眠り状態であることを示す警告メッセージを表示装置４０に表示させる。
【００８６】
次に、第２の実施の形態に係る居眠り判定処理ルーチンについて図８を用いて説明する。なお、第１の実施の形態と同様の処理については、同一符号を付して説明を省略する。
【００８７】
まず、ステップ２５０において、撮像装置２１２によって撮像された目画像を取得し、ステップ１００において、第１の実施の形態と同様に開閉眼判定処理ルーチンを実行することにより、開閉眼状態を判定する。
【００８８】
そして、ステップ２５２において、上記ステップ２５０で取得した目画像から瞼開度を検出し、ステップ２５４において、上記ステップ２５２で検出された瞼開度と閉眼閾値とを比較して、ドライバの開閉眼状態を判定する。
【００８９】
次のステップ２５６では、上記ステップ１００で判定された判定結果と上記ステップ２５４で判定された判定結果とを統合して、最終的に開閉眼状態を判定して、メモリに記憶する。
【００９０】
そして、ステップ１０２では、処理開始から所定時間経過したか否かを判定し、経過していない場合には、上記ステップ２５０へ戻る。一方、処理開始から所定時間経過した場合には、ステップ１０４へ進む。
【００９１】
ステップ１０４では、上記ステップ２５６で得られた所定時間分の最終的な判定結果に基づいて、所定時間内における閉眼時間を計測する。そして、ステップ１０６において、計測された閉眼時間が、閾値以上であるか否かを判定する。閉眼時間が閾値以上であると判定された場合には、ステップ１０８で、ドライバが居眠り状態であることを示す警告メッセージを表示装置４０に表示させて、居眠り判定処理ルーチンを終了する。一方、上記ステップ１０６において、閉眼時間が閾値未満である場合には、ステップ１１０において、ドライバの状態が正常状態であることを示すメッセージを表示装置４０に表示させて、居眠り判定理ルーチンを終了する。
【００９２】
以上説明したように、第２の実施の形態に係る居眠り判定装置によれば、推定された開眼状態及び閉眼状態に対する操舵角の各々と、センサから検出された操舵角とを比較して、ドライバの開閉眼状態を判定すると共に、撮像装置により撮像された目画像からドライバの開閉眼状態を判定することにより、ドライバの開閉眼状態をより精度よく判定することができる。
【００９３】
なお、上記の実施の形態では、少なくとも一方の判定結果が閉眼状態である場合に、最終的に閉眼状態と判定するように、判定結果を統合している場合を例に説明したが、これに限定されるものではなく、他の方法により判定結果を統合してもよい。例えば、少なくとも一方の判定結果が開眼状態である場合に、最終的に開眼状態と判定するように、判定結果を統合してもよい。
【００９４】
次に、第３の実施の形態について説明する。第３の実施の形態に係る居眠り判定装置の構成は、第１の実施の形態と同様であるため、説明を省略する。
【００９５】
第３の実施の形態では、一般化予測制御理論を用いて、開眼状態における操舵角を推定している点が、第１の実施の形態と異なっている。
【００９６】
第３の実施の形態における、開眼状態に対する操舵角を推定する原理について説明する。本実施の形態では、非特許文献（堀内伸一郎、砂田圭、「車線追従のための操舵支援システムと多入力ドライバモデルを用いた評価」）に記載された、一般化予測制御理論を用いて、開眼状態における操舵角を推定する。
【００９７】
ドライバは、Ｍサンプル先までの横位置と操舵角の二乗和によって計算される、以下の（７）式で表される評価関数Ｊを最小にするように操舵すると仮定する。
【００９８】
【数５】
2010224827.tif 000007
【００９９】
時刻ｔにおける目標コースを基準とした、車両モデルから算出された時刻ｔの自車両位置の横位置ｙに対して、上記（７）式で表される評価関数Ｊを最小にする操舵角δを求めて、時刻ｔの開眼状態における操舵角の推定値とする。
【０１００】
なお、上記（７）式の評価関数Ｊを最小とする操舵角を解く場合には、以下の（８）式に示す横位置ｙと操舵角δとの関係式と、以下の（９）式に示すセンサ値ｚと横位置ｙとの関係式とを用いて、リッカチ方程式を解くことにより、解を求める。
【０１０１】
【数６】
2010224827.tif 000008
【０１０２】
ただし、Ａ、Ｂは、信号を１時刻遅らせる時間遅れ演算子ｑ−１によって記述される多項式である。また、Ｃは、センサ値ｚと横位置ｙとの関係を表わす定数である。
【０１０３】
また、上記（８）式は、以下の（１０）〜（１２）式から得られる関係式である。
【０１０４】
【数７】
2010224827.tif 000009
【０１０５】
上記（１０）式は、車両モデルに基づくヨー角速度ｒ、横位置速度ｖｙ、及び操舵角δの関係を表わす関係式であり、上記（１１）式は、前方偏差εに関する関係式である。また、上記（１２）式は、前方偏差速度εのドットに関する関係式であり、上記（１３）式は、ヨー角速度θに関する関係式である。
【０１０６】
開眼時操舵角推定部２６は、第１の実施の形態と同様に、次の時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角を算出し、次の時刻ｔ０＋２・Δｔにおける自車両の位置を算出する。
【０１０７】
そして、次の時刻ｔ０＋Δｔにおける目標コースと、算出された自車両の位置とに基づいて、目標誤差として、目標コースに対する自車両の横位置を算出する。
【０１０８】
次に、時刻ｔ０＋Δｔにおける自車両の横位置に基づいて、上記の評価関数Ｊを最小にする操舵角を算出し、次の時刻ｔ０＋Δｔの開眼状態における操舵角として推定する。
【０１０９】
また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出する。算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、次の時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【０１１０】
開眼時操舵角推定部２６は、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの開眼状態における操舵角を推定し、メモリに記憶する。
【０１１１】
閉眼時操舵角推定部２８は、第１の実施の形態と同様に、次の時刻ｔ０＋Δｔにおけるヨー角速度及び横滑り角を算出し、次の時刻ｔ０＋２・Δｔにおける自車両の位置を算出する。
【０１１２】
そして、目標誤差が一定であると仮定して、時刻ｔ０における目標コースと、時刻ｔ０に算出された自車両の位置とに基づいて得られる目標コースに対する自車両の横位置（目標誤差）を、次の時刻ｔ０＋Δｔ以降における横位置とする。
【０１１３】
次に、自車両の横位置に基づいて、上記の評価関数Ｊを最小にする操舵角を算出し、次の時刻ｔ０＋Δｔの閉眼状態における操舵角として推定する。
【０１１４】
また、推定された操舵角と、上記で算出されたヨー角速度及び横滑り角とを用いて、上記（４）式に従って、ヨー角速度の微分値及び横滑り角の微分値を算出する。算出されたヨー角速度の微分値及び横滑り角の微分値から、次の時刻ｔ０＋２・Δｔにおけるヨー角速度及び横滑り角を算出する。算出された時刻ｔ０＋２・Δｔにおける自車両の位置と、次の時刻ｔ０＋２・Δｔにおけるヨー角速度、横滑り角、及び車速とに基づいて、次の時刻ｔ０＋３・Δｔにおける車両の位置を算出する。
【０１１５】
閉眼時操舵角推定部２８は、上記の処理を繰り返すことにより、時刻ｔ０から所定時間ΔＴ先までの閉眼状態における操舵角を推定し、メモリに記憶する。
【０１１６】
なお、第３の実施の形態に係る居眠り判定装置の他の構成及び作用については第１の実施の形態と同様であるため、説明を省略する。
【０１１７】
このように、センサによって検出された走行状態及び操作状態から、ドライバモデルとして一般化予測制御理論を用いて、開眼状態か閉眼状態かを判定し、それに基づき居眠り状態を判定することによって、カメラやＥＯＧなどのドライバ自身を計測する装置を用いることなく判定したドライバの開閉眼を用いて、居眠り状態を判定することができる。
【０１１８】
なお、上記の第１の実施の形態〜第３の実施の形態では、計測された閉眼時間が閾値以上である場合に、居眠り状態であると判定する場合を例に説明したが、これに限定されるものではなく、複数の計測結果から得られる平均閉眼時間が閾値以上である場合に、居眠り状態であると判定するようにしてもよい。
【０１１９】
また、瞬目特徴量として閉眼時間を求める場合を例に説明したが、これに限定されるものではなく、例えば、ＰＥＲＣＬＯＳ（単位時間に対する閉眼時間の割合）などを算出し、算出されたＰＥＲＣＬＯＳを用いて、居眠り状態であるか否かを判定してもよい。
【０１２０】
次に、第４の実施の形態について説明する。なお、第１の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
【０１２１】
第４の実施の形態では、ドライバの脇見状態を判定する脇見状態判定装置に本発明を適用した場合について説明する。
【０１２２】
図９に示すように、第４の実施の形態に係る脇見状態判定装置４１０は、ヨー角速度センサ１２と、横加速度センサ１４と、車速センサ１６と、操舵角センサ１８と、ヨー角速度センサ１２、横加速度センサ１４、車速センサ１６、及び操舵角センサ１８からの出力に基づいて、ドライバが脇見状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させるコンピュータ４２０とを備えている。
【０１２３】
コンピュータ４２０は、ＣＰＵと、ＲＡＭと、後述する脇見状態判定処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ４２０は、センサ値取得部２２と、目標コース推定部２４と、推定された目標コースに基づいて、ドライバが前向き状態であるときの操舵角を所定時間分推定してメモリに記憶する前向き時操舵角推定部４２６と、ドライバが横向き状態であるときの操舵角を所定時間分推定してメモリに記憶する横向き時操舵角推定部４２８と、センサ値取得部２２によって取得された操舵角信号が示す操舵角と、推定された前向き状態の操舵角及び横向き状態の操舵角の各々とを比較して、ドライバが前向き状態であるか横向き状態であるかを判定する前向き状態判定部４３０と、判定された判定結果の時系列データに基づいて、ドライバが脇見状態であるか否かを判定し、判定結果に応じて、表示装置４０に警告メッセージを表示させる脇見状態判定部４３２とを備えている。
【０１２４】
前向き時操舵角推定部４２６は、上記の第１の実施の形態で説明した開眼時操舵角推定部２６と同様に、前方注視点での目標コースからのずれを用いて、操舵角を推定して、前向き状態における操舵角の推定値とし、時刻ｔ０から時刻ｔ０＋ΔＴまでの前向き状態における操舵角を推定する。
【０１２５】
横向き時操舵角推定部４２８は、上記の第１の実施の形態で説明した閉眼時操舵角推定部２８と同様に、前方注視点での目標コースからのずれを０として、操舵角を推定して、横向き状態における操舵角の推定値とし、時刻ｔ０から時刻ｔ０＋ΔＴまでの横向き状態における操舵角を推定する。
【０１２６】
前向き状態判定部４３０は、時刻ｔ０＋Δｔ〜ｔ０＋ΔＴについて推定された前向き状態における操舵角と、センサ値取得部２２によって取得された時刻ｔ０＋Δｔ〜ｔ０＋ΔＴの操舵角とを時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。また、前向き状態判定部４３０は、時刻ｔ０＋Δｔ〜ｔ０＋ΔＴについて推定された横向き状態における操舵角と、センサ値取得部２２によって取得された時刻ｔ０＋Δｔ〜ｔ０＋ΔＴの操舵角とを時刻毎に比較して差分を各々算出し、差分の移動平均を算出する。差分の移動平均を比較して、横向き状態に対する差分の移動平均の方が大きい場合には、前向き状態であると判定され、前向き状態に対する差分の移動平均の方が大きい場合には、横向き状態であると判定される。
【０１２７】
脇見状態判定部４３２は、前向き状態判定部４３０の判定結果の時系列データから、所定時間内の横向き時間を算出し、算出された横向き時間について閾値判断を行って、ドライバが脇見状態であるか否かを判定する。また、脇見状態判定部４３２は、ドライバが脇見状態であると判定すると、脇見状態であることを示す警告メッセージを表示装置４０に表示させる。
【０１２８】
次に、第４の実施の形態に係る脇見状態判定装置４１０の作用について説明する。脇見状態判定装置４１０を搭載した車両の走行中に、コンピュータ４２０において、以下に説明するように、脇見状態判定処理ルーチンが実行される。
【０１２９】
まず、上記第１の実施の形態における開閉眼判定処理ルーチンと同様の処理を実行することにより、ドライバが前向き状態であるか横向き状態であるかを判定する処理を行う。
【０１３０】
そして、処理開始から所定時間経過するまで、上記の判定処理を繰り返す。これによって、所定時間分の前向き状態か横向き状態かの判定結果がメモリに記憶される。
【０１３１】
次に、メモリに記憶された所定時間分の判定結果に基づいて、所定時間内における横向き時間を計測し、計測された横向き時間が、閾値以上であるか否かを判定する。横向き時間が閾値以上であると判定された場合には、ドライバが脇見状態であると判定されるため、ドライバが脇見状態であることを示す警告メッセージを表示装置４０に表示させて、脇見判定処理ルーチンを終了する。一方、横向き時間が閾値未満である場合には、ドライバが脇見状態ではないと判定されるため、ドライバの状態が正常状態であることを示すメッセージを表示装置４０に表示させて、脇見状態判定処理ルーチンを終了する。
【０１３２】
以上説明したように、第４の実施の形態に係る脇見状態判定装置によれば、推定された前向き状態及び横向き状態に対する操舵角の各々と、センサから検出された操舵角とを比較して、ドライバの前向き状態及び横向き状態を判定することにより、簡易な構成で、ドライバの前向き状態及び横向き状態を精度よく判定することができる。また、簡易な構成で、ドライバが脇見状態であるか否かを精度よく判定することができる。
【０１３３】
また、センサによって検出された走行状態及び操作状態から、ドライバの前方注視モデル及び車両モデルを用いて、前向き状態か横向き状態かを判定し、それに基づき脇見状態を判定することによって、カメラやＥＯＧなどのドライバ自身を計測する装置を用いることなく判定したドライバの前向き状態及び横向き状態を用いて、脇見状態を判定することができる。
【０１３４】
なお、上記の第１の実施の形態〜第４の実施の形態では、センサ値を用いて、目標コースの位置を推定する場合を例に説明したが、これに限定されるものではなく、自車両の前方を撮像するように設置された撮像装置からの前方画像に基づいて、目標コースの位置を推定するようにしてもよい。この場合には、前方画像から推定された目標コースの位置に基づいて、前方注視点における目標コースとの位置ずれや、目標コースに対する自車両の横位置を推定することができる。
【０１３５】
また、閉眼状態のドライバモデルとして、前方注視点における目標コースとのずれを０とした場合や、目標コースに対する自車両の横位置を一定とした場合を例に説明したが、これに限定されるものではない。例えば、前方注視点における目標コースとのずれが一定となる（更新されない）と仮定して、閉眼状態における操舵角を推定するようにしてもよい。また、操舵角が一定となると仮定して、閉眼状態における操舵角を推定するようにしてもよい。また、操舵トルクが一定となると仮定して、閉眼状態における操舵角を推定するようにしてもよい。
【０１３６】
また、検出する操作状態又は走行状態として、ヨー角速度、横加速度、車速、及び操舵角を採用した場合を例に説明したが、これに限定されるものではない。例えば、走行状態として、車速、ヨー角速度、横滑り角、横加速度、及びこれらの値に簡易に変換可能な走行状態量の少なくとも１種類以上を検出するようにしてもよい。また、操作状態として、操舵角、実舵角、操舵トルク、アクセルペダル操作量、及びブレーキペダル操作量の少なくとも１種類以上を検出するようにしてもよい。この場合には、検出された走行状態、又は検出された走行状態及び操作状態を用いて、開眼状態及び閉眼状態の各々における操作状態、又は前向き状態及び横向き状態の各々における操作状態を推定するようにすればよい。
【０１３７】
なお、本発明のプログラムは、記憶媒体に格納して提供することができる。
【符号の説明】
【０１３８】
１０、２１０  居眠り状態判定装置
１２   ヨー角速度センサ
１４   横加速度センサ
１６   車速センサ
１８   操舵角センサ
２０、２２０、４２０  コンピュータ
２２   センサ値取得部
２４   目標コース推定部
２６   開眼時操舵角推定部
２８   閉眼時操舵角推定部
３０   開眼状態判定部
３２、２３２  居眠り状態判定部
２１２  撮像装置
２２８  第２開眼状態判定部
２３０  結果統合部
４１０  脇見状態判定装置
４２６  前向き時操舵角推定部
４２８  横向き時操舵角推定部
４３０  前向き状態判定部
４３２  脇見状態判定部
【図１】
2010224827.tif 000010
【図２】
2010224827.tif 000011
【図３】
2010224827.tif 000012
【図４】
2010224827.tif 000013
【図５】
2010224827.tif 000014
【図６】
2010224827.tif 000015
【図７】
2010224827.tif 000016
【図８】
2010224827.tif 000017
【図９】
2010224827.tif 000018