(57)【要約】【課題】眼の開閉が検出されない状態が生じても、居眠りを精度よく検出し適切な運転支援制御が可能な居眠り検知装置及び居眠り検知方法を提供すること。【解決手段】眼の開閉を検出する開閉検出手段１２ａと、連続した閉眼時間を計測する閉眼時間計測手段１７ａと、連続閉眼時間が所定時間以上の場合に運転者に警告する警告手段１６と、を有する居眠り検知装置１０において、車両の状態を検出する車両状態検出手段１３、１４、１８を有し、閉眼時間計測手段１７ａは、閉眼の後に開眼が検出された場合であって、車両状態検出手段１３、１４，１８が検出した車両状態量が所定の条件を満たす場合、開眼の検出結果を閉眼と変更して連続閉眼時間を計測する、ことを特徴とする。【選択図】図５
2008165348.tif 000002
【特許請求の範囲】
【請求項１】
眼の開閉を検出する開閉検出手段と、連続した閉眼時間を計測する閉眼時間計測手段と、連続閉眼時間が所定時間以上の場合に運転者に警告する警告手段と、を有する居眠り検知装置において、
車両の状態を検出する車両状態検出手段を有し、
前記閉眼時間計測手段は、閉眼の後に開眼が検出された場合であって、前記車両状態検出手段が検出した車両状態量が所定の条件を満たす場合、開眼の検出結果を閉眼と変更して連続閉眼時間を計測する、
ことを特徴とする居眠り検知装置。
【請求項２】
障害物を検出する障害物検出手段と、
前記障害物検出手段が障害物と異常接近すると判定した場合に車載装置を制御する車両制御手段と、を有し、
前記閉眼時間計測手段が、閉眼に変更された眼の開閉の検出結果に基づき継続して計測した連続閉眼時間が所定時間以上の場合、前記車両制御手段は、開眼が継続して検出された場合よりも早期に車両を制御する、
ことを特徴とする請求項１記載の居眠り検知装置。
【請求項３】
前記車両制御手段は、開眼が継続して検出された場合よりも早期に、障害物の異常接近を知らせる警報音を吹鳴する、ことを特徴とする請求項２記載の居眠り検知装置。
【請求項４】
前記車両制御手段は、開眼が継続して検出された場合よりも早期に、車両を制動する、ことを特徴とする請求項２記載の居眠り検知装置。
【請求項５】
前記警告手段は、
前記車両状態検出手段が検出した車両状態量が所定の条件を満たし、かつ、連続閉眼時間が所定時間以上の場合、
車両状態量が所定の条件を満たさず、かつ、連続閉眼時間が所定時間未満の場合、又は、車両状態量が所定の条件を満たし、かつ、連続閉眼時間が所定時間以上の場合、よりも
注意喚起性の高い警告を運転者に発する、
ことを特徴とする請求項１記載の居眠り検知装置。
【請求項６】
運転者の操作又は生理状態から眠気を推定する眠気推定手段を有し、
前記閉眼時間計測手段は、閉眼の後に開眼が検出された場合であって、前記眠気推定手段が運転者に眠気があると推定した場合、開眼の検出結果を閉眼と変更して連続閉眼時間を計測する、
ことを特徴とする請求項１記載の居眠り検知装置。
【請求項７】
眼の開閉を検出し、連続閉眼時間が所定時間以上の場合に居眠りを検知する車載装置の居眠り検知方法において、
車両状態検出手段が車両の状態を検出するステップと、
開閉検出手段が、眼の開閉を検出する開閉検出ステップと、
閉眼時間計測手段が、閉眼の後に開眼が検出されたか否かを判定する判定ステップと、
前記判定ステップにおいて閉眼の後に開眼が検出された場合であって、前記車両状態検出手段が検出した車両状態量が所定の条件を満たす場合、前記閉眼時間計測手段が、開眼の検出結果を閉眼と変更して連続閉眼時間を計測するステップと、
連続閉眼時間が所定時間以上の場合、警告手段が運転者に警告するステップと、
を有することを特徴とする居眠り検知方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、居眠り検知装置及び居眠り検知方法に関し、検出された運転者の眼の開閉を車両状態により補完して居眠りを検知する居眠り検知装置及び居眠り検知方法に関する。
【背景技術】
【０００２】
運転者の居眠りを検出した場合に運転者に警告することで覚醒状態を維持させ、安全な運転を促す支援装置が提案されている（例えば、特許文献１参照。）。特許文献１では、走行中の運転者の顔を撮影し、撮影された顔画像を処理して得られるまばたきの時間及び頻度が所定以上の場合に運転者が居眠りしていると判定して警告を与える。
【０００３】
しかしながら、走行中は西日や光のコントラスト等の影響を受けて画像処理能力が低下し、運転者のまばたきの有無が検出できない場合がある。そこで、運転者の操舵を検出して得られた操舵の修正周期データの信頼度、及び、まばたきデータの信頼度に応じてそれぞれを重み付けして覚醒度を評価する技術が提案されている（例えば、特許文献２参照。）。
【特許文献１】特開１１−１７５８９５号公報
【特許文献２】特開平７−２５７２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、光の影響等により顔画像から眼の開閉が正確に検出されない場合には閉眼状態と判定し閉眼時間が所定以上継続したら運転者に警告するなど、支援装置を安全サイドに設定することが考えられる。しかし、この設定では光の影響等により眼の開閉が検出されない場合には運転者が覚醒していても警告が与えられることになり、運転者に煩わしさを感じさせてしまう。このため、眼の開閉が検出されない場合には、眼が開状態であると判定し誤警報を防止する設定になされることが多い。しかしながら、このように眼の開閉が検出されない場合は眼が開状態であると判定すると、実際には覚醒度が低下し眼が閉状態又は眼の開度が低下しているにも関わらず閉眼時間が細切れになってしまい、居眠りの判定が過小評価となったり警告が遅れるおそれがある。
【０００５】
この点に関し特許文献２記載では、まばたきデータの信頼度を雨、曇り、晴れ、西日の天候状態に基づき一律に決定するため、眼の開閉が実際に検出されていてもその信頼度によっては操舵の修正周期データに大きな重み付けがなされ覚醒度が評価されることから、眼の開閉状態に基づく居眠り検出が二次的になりの居眠りの検出精度が低下するおそれがある。
【０００６】
本発明は、上記課題に鑑み、眼の開閉が検出されない状態が生じても、居眠りを精度よく検出し適切な運転支援制御が可能な居眠り検知装置及び居眠り検知方法提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題に鑑み、本発明は、眼の開閉を検出する開閉検出手段と、連続した閉眼時間を計測する閉眼時間計測手段と、連続閉眼時間が所定時間以上の場合に運転者に警告する警告手段と、を有する居眠り検知装置において、車両の状態を検出する車両状態検出手段（例えば、前方カメラ１３、カメラコンピュータＢ、ミリ波レーダ装置１５、操舵角センサ１８）を有し、閉眼時間計測手段は、閉眼の後に開眼が検出された場合であって、車両状態検出手段が検出した車両状態量が所定の条件を満たす場合、開眼の検出結果を閉眼と変更して連続閉眼時間を計測する、ことを特徴とする。
【０００８】
本発明によれば、閉眼の後に開眼が検出され、かつ、車両状態量に基づき眠気があると推定された場合、開眼の検出結果を閉眼と変更して連続閉眼時間を計測することで、光の影響等により開閉が検出されない場合や一瞬だけ開眼した場合でも、継続して閉眼時間を計測するので確実に警告することができる。
【０００９】
また、本発明の一形態において、障害物を検出する障害物検出手段と、障害物検出手段が障害物と異常接近すると判定した場合に車載装置を制御する車両制御手段と、を有し、閉眼時間計測手段が、閉眼に変更された眼の開閉の検出結果に基づき継続して計測した連続閉眼時間が所定時間以上の場合、車両制御手段は、開眼が継続して検出された場合よりも早期に車両を制御する、ことを特徴とする。
【００１０】
本発明によれば、閉眼に変更して計測した連続閉眼時間が所定時間以上の場合、障害物に対し早期に車両制御することができる。
【００１１】
また、本発明の一形態において、車両制御の一例は、障害物の異常接近を知らせる警報音の吹鳴、又は、車両の制動である。
【００１２】
本発明によれば、閉眼に変更して計測した連続閉眼時間が所定時間以上の場合、早期に警告し又車両を制動できるので、運転者に回避のための時間を与えることができる。
【００１３】
また、本発明の一形態において、警告手段は、車両状態検出手段が検出した車両状態量が所定の条件を満たし、かつ、連続閉眼時間が所定時間以上の場合、車両状態量が所定の条件を満たさず、かつ、連続閉眼時間が所定時間未満の場合、又は、車両状態量が所定の条件を満たし、かつ、連続閉眼時間が所定時間以上の場合、よりも注意喚起性の高い警告を運転者に発する、ことを特徴とする。
【００１４】
本発明によれば、車両状態量と連続閉眼時間を組み合わせて眠気を多段階に判定して、眠気の強さに応じた警告ができるので、眠気が少ない場合などの警告の煩わしさを低減できる。
【００１５】
また、本発明の一形態において、運転者の眠気を推定する眠気推定手段（例えば、前方カメラ１３、カメラコンピュータＢ、ミリ波レーダ装置１５、操舵角センサ１８、脈拍センサ１９）を有し、閉眼時間計測手段は、閉眼の後に開眼が検出された場合であって、眠気推定手段が運転者に眠気があると推定した場合、開眼の検出結果を閉眼と変更して連続閉眼時間を計測する、ことを特徴とする。
【００１６】
本発明によれば、眠気推定手段により眠気があると推定された場合、開眼の検出結果を閉眼と変更して連続閉眼時間を計測することで、光の影響等により開閉が検出されない場合や一瞬だけ開眼した場合でも、継続して閉眼時間を計測するので確実に警告することができる。
【発明の効果】
【００１７】
眼の開閉が検出されない状態が生じても、居眠りを精度よく検出し適切な運転支援制御が可能な居眠り検知装置及び居眠り検知方法を提供することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態を、図面を参照しながら説明する。
図１は、居眠り検知装置１０のシステム構成図の一例を示す。本実施形態の居眠り検知装置１０は、原則的に眼の開閉を検出して閉眼時間に基づき居眠りを検出するが、並行して車両状態を検出し、車両状態から運転者に眠気があることが推定される場合は、閉眼の後に開眼が検出されても閉眼と見なす。これにより、眼の開状態が光の影響など開閉検出の欠損や一瞬だけ開眼したことによるものであっても、閉眼時間を継続して計測することができるので、居眠りの判定が過小評価となったり警告が遅れることを防止し、精度よく居眠りを検出することができる。
【００１９】
居眠り検知装置１０は、カメラコンピュータＡ１２（以下、単にカメラコンピュータＡという）、カメラコンピュータＢ１４（以下、単にカメラコンピュータＢという）、ドライビングサポートＥＣＵ（ＤＶＳ  ＥＣＵ（Electronic  Control  Unit）、以下単にＤＶＳという）１７及び警告装置１６がＣＡＮ（Controller  Area  Network）など車内ＬＡＮを介して接続された構成を有し、ＤＶＳ１７がカメラコンピュータＡ、Ｂからの情報により居眠りと判定すると、警告装置１６により運転者に警告し、また、障害物が検出された場合の警告や制動などの車両制御を早期に実行する。
【００２０】
ミリ波レーダ装置１５は、車両前方のフロントグリル内や車両後部のバンパ内に配設され、ミリ波が自車両の前方及び後方の障害物に反射して帰ってくるまでの時間により障害物までの距離を、反射波の周波数変化により障害物との相対速度を検出する。警告装置１６は、居眠りしていると判定された運転者に警告する装置であって、例えば警報音を吹鳴するブザーやスピーカ、コンビネーションパネルの警告ランプ、偏芯モータなどの振動手段等である。警告装置１６はこれらを使い分けたり音色や音量を調整して注意喚起性に強弱をつけた警告が可能になっている。ＰＣＳシートベルト２１は、ＤＶＳ１７の要求に応じて乗員が装着しているシートベルトを巻き上げ衝撃に備える。また、ブレーキＥＣＵ２２はブレーキＡＣＴ２３を制御し、強制的な制動、車輪のロック防止など各輪のホイルシリンダ圧を制御する。
【００２１】
ＤＶＳ１７は、ミリ波レーダ装置１５，警告装置１６、ＰＣＳシートベルト２１及びブレーキＥＣＵ２２と協働して、プリクラッシュ制御を実現する。例えば、ミリ波レーダ装置１５により障害物が検出され衝突の可能性が高くなると、警告装置１６により運転者に警告を発し、さらに衝突の可能性が増し衝突が不可避になるとＰＣＳシートベルト２１を巻き上げたり、車両を制動して衝撃から乗員を保護する。
【００２２】
また、ＤＶＳ１７は、運転者が居眠りしている場合には居眠りしていない場合よりもＴＴＳ（Time  To  Collision）に対し早めに警告するなど車両制御を早期に実行するので、警報音により覚醒した運転者が対応する時間を確保しやすくなっている。なお、同様の制御は、ＬＫＡ（Lane  Keeping  Assist）、ＡＣＣ（Adaptive  Cruise  Control）等についても可能である。
【００２３】
ＤＶＳ１７、カメラコンピュータＡ、Ｂは、プログラムを実行するＣＰＵ、プログラム実行の作業領域となりまた一時的にデータを記憶するＲＡＭ、イグニションオフしてもデータを保持するＥＥＰＲＯＭ（Electronically  Erasable  and  Programmable  Read  Only  Memory）、データのインターフェイスとなる入出力インターフェイス、他のＥＣＵと通信する通信コントローラ、及び、プログラムを記憶するＲＯＭ等がバスにより接続されたマイコンにより構成される。ＣＰＵがプログラム実行することで、開閉検出手段１２ａ、閉眼時間計測手段１７ａ及び居眠り判定手段１７ｂが実現される。
【００２４】
〔眼の開閉の検出〕
眼の開閉は周知の方法で検出することができる。顔カメラ１１は、運転者の顔を正面やや下方から臨む位置、例えば、コンビネーションパネル内やステアリングコラム上に配置される。
【００２５】
顔カメラ１１は、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）やＣＣＤ（Charge  Coupled  Device）の光電変換素子を有し、入射した光をその強度に応じて光電変換して、所定の輝度階調（例えば、２５６階調）のデジタル画像（顔画像）を出力する。図２（ａ）は顔画像の一例を示す図である。開閉検出手段１２ａは、順次入力される顔画像から、顔の輪郭、中央線、鼻孔位置、眼の位置を順に特定し、眼の位置を含む所定の眼球追跡領域を設定する。いったん、眼球追跡領域が設定された後は、その中の眼の開閉の検出を繰り返し、眼の開閉が検出されない状態が継続すると改めて顔の輪郭から検出をやり直す。
【００２６】
まず、開閉検出手段１２ａは、顔画像から顔のおよその位置として顔の輪郭を検出する。例えば、開閉検出手段１２ａは、順次入力される顔画像の間で画素値（輝度）が所定以上に異なる画素の画素値の差をその位置情報と共に記憶しておき、所定数の顔画像について同じ位置の画素値の差をカウントすると、カウントした値の縦方向のヒストグラムを作りその積分値のピークを横方向の顔の輪郭位置とする。顔画像には背景なども写っているが、背景は静止しているため、画素値の変化する領域の左右の端部から横方向の顔の輪郭を検出することができる。
【００２７】
顔の上下方向の輪郭はエッジ情報から検出する。エッジ情報により、顔のパーツ、眉、まぶた、鼻孔、口角、上下の唇の境、など、肌に比べ輝度の変化の大きい画素が検出される。なお、エッジ情報の抽出には例えばＳｏｂｅｌのエッジ検出アルゴリズムを用い、これにより、輝度小から大、輝度大から小の２種類のエッジ情報に囲まれる顔の各パーツの輪郭が得られる。
【００２８】
また、人の顔の眼や鼻などのパーツは左右対称に配置されているので、開閉検出手段１２ａは左右のエッジ情報の数がほぼ均等になるように顔の中央線を検出する。ここで得られた中央線は、顔向きを追跡するために使用される。
【００２９】
そして、得られた顔の中央線から例えば左側に黒画素の連続した領域（エッジ情報で囲まれた領域）を、上側（眉毛側）から走査線ａ〜ｃのように走査して、片方の眉を検出する。眉は左右対称にあると考えてよいので、中央線の反対側に同様の黒画素の連続領域があればその左右の眉位置を顔の上側の輪郭として決定する。また、眉位置よりも下側であって顔の中央線を跨ぎ所定以上に連続したエッジ情報を抽出し、当該エッジ情報を上下の唇の境とみなし、顔の下側の輪郭として決定する。このようにして、顔の輪郭位置が得られる。
【００３０】
ついで、開閉検出手段１２ａは鼻孔位置を検出する。鼻孔は、メガネや髪の毛などに覆われることが少なく、また、眉毛とも離れているので眼と比べ比較的検出が容易である。開閉検出手段１２ａは、顔の中心線をとおるやや縦長の鼻孔検出領域を唇よりも上方に設定し、例えば２値化処理などにより顔画像の明暗をはっきりさせ、鼻孔の特徴（形状、大きさ、水平に２つ存在）を備える連続した黒画素の領域を鼻孔位置として決定する。鼻孔検出領域を縦長とすることでほくろや光の影響を排除し易くなり、また、パターンマッチングにより鼻孔を検出する上でも画像処理の負担を軽減できる。
【００３１】
ついで、開閉検出手段１２ａは、鼻孔と眼の位置の関係の統計データを利用して、鼻孔位置に対する所定の領域を眼球追跡領域として設定する。図２（ｂ）は眼球追跡領域を説明するための図を示す。顔が水平状態であれば鼻孔が水平に２つ並ぶので、その中点に対し眼球の位置は、距離ｒ・方向θにより指定される。統計データから例えば眼球位置が所定以上の割合（例えば、９９％）に入る距離ｒの範囲・方向θの範囲は明らかなので、開閉検出手段１２ａはこれをカバーする眼球追跡領域を設定する。
【００３２】
そして、開閉検出手段１２ａは、眼球追跡領域の上瞼と下瞼を監視することで眼の開閉を検出する。開閉検出手段１２ａは、眼球追跡領域において所定の閾値よりも輝度の小さい画素を黒（画素値０）に、閾値以上の画素を白（画素値２５５）に置き換える２値化処理を行う。図２（ｃ）は眼球追跡領域の２値化画像の一例を示す。図２（ｃ）では上瞼、下瞼及び眼球が黒に置き換えられている。なお、眼球追跡領域を２値化するのでなくエッジ情報を取得してもよい。
【００３３】
開閉検出手段１２ａは、二値化画像における左の画素列から、上から下向きに向かって画素値０の黒画素を検索し、黒画素が検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、上瞼の画素位置が得られる。同様に、二値化画像における左の画素列から、下から上向きに向かって画素値０の黒画素を検索し、黒画素が検索できたら１つ右の画素列について同様の検索を行っていく。したがって、この検索が右端まで終われば、下瞼の画素位置が得られる。
【００３４】
なお、眼球追跡領域の上端から連続して黒画素が検出される場合は、次に白画素が検出されるまで黒画素を無視する。これは、眼球追跡領域の上端に眉毛を表す横エッジが存在していると考えられるからである。この場合、開閉検出手段１２ａは、次に検出された黒画素を上瞼の画素位置とする。なお、下瞼のエッジは検出が困難な場合があるので、上瞼の左右端を結んだ直線を下瞼としてもよい。
【００３５】
また、顔画像は連続的に撮影されるので、このようにして検出された上瞼の位置が、所定数の顔画像が得られる間に大きく変わるか否かにより上瞼の位置を決定してもよい。これは、運転者は所定時間毎にまばたきするため上瞼の位置は他の眼の部分(例えば下瞼や、眉毛やメガネのフレーム)に比べてより大きく動くことが分かっているため、上瞼の位置が大きく動く場合は上瞼の位置を正確に検出していると考えられるからである。
【００３６】
ついで、開閉検出手段１２ａは、上瞼と下瞼の画素位置の差（上下の距離）を左から順に算出し、最大となる画素数を眼の開度とする。なお、運転者が目を閉じている場合も上下の瞼の位置から同様な処理過程により眼の開度が検出される。
【００３７】
開閉検出手段１２ａは、例えば運転開始から所定時間（例えば数分間）の間、サイクル時間毎に撮影される顔画像から眼の開度を検出し、その大きさから開閉を判定するための閾値を設定する。例えば、閾値は、「所定時間における最大の眼の開度×１／２」として設定され、この閾値は予めＤＶＳ１７に送出される。
【００３８】
開閉を判定するための閾値をＤＶＳ１７に送出した後、開閉検出手段１２ａはサイクル時間毎に撮影される顔画像から眼の開度を検出し、順次ＤＶＳ１７に送出する。なお、眼の開閉を判定するための閾値と比較した結果である、閉眼状態又は開眼状態を示す情報をＤＶＳ１７に送出してもよい。
【００３９】
そして、ＤＶＳ１７の閉眼時間計測手段１７ａは、眼の開閉を判定するための閾値と眼の開度を比較して、閾値以上であれば開状態、閾値より小さければ閉状態と判定し、閉眼が連続した場合は閉眼時間を継続して計測する。なお、開状態又は閉状態の２つの状態に分類するのでなく、例えば、所定時間における最大の眼の開度に対する眼の開度の比率に基づき、眼の開閉状態を多段階に判定してもよい。これにより、運転者の眠気を多段階に判定することができる。
【００４０】
〔車両状態〕
車両状態について説明する。本実施形態における車両状態は、眠気と相関する車両の状態をいい、例えば、車両状態を特徴づける車両の横方向の変位、操舵角の変位、操舵角の操作量、前方車両との距離、等が車両状態量となる。これら車両状態量は、次に説明するように眠気と相関する。
【００４１】
・閉眼時間と車両状態量の関係
閉眼時間と車両状態量の関係について説明する。図３は、閉眼時間と車両の横方向の変位の相関の１例を示す。図３では、横軸に取った時間に対し、車両の横方向の変位の大きさ（左軸）と閉眼時間の平均（右軸）を示す。横方向の変位の大きさは、例えば、走行レーンを区切る白線の中央と車両の幅方向の中心との距離を計測して、所定時間（例えば３０秒）ごとに幅員で割って算出したもの（％）である。したがって、横方向の変位が大きいことは白線に対し車両が蛇行傾向にあることを意味する。
【００４２】
閉眼時間は、所定時間（例えば３０秒）における閉眼時間の割合を算出したものである。したがって、閉眼時間の平均が高いことは閉眼時間が長いこと、すなわち眠気が強い傾向にあることを意味する。
【００４３】
９０分前後のグラフに示されるように、閉眼時間の平均が長い場合は横方向の変位も大きくなることから、閉眼時間の平均と横方向の変位の標準偏差には大きな相関性があると言える。なお、１２０分〜１８０分、１８０分〜２１０分程度にかけて閉眼時間の平均と横方向の変位の大きさに若干の乖離が見られるが、閉眼時間の平均は約０．３秒以上で眠気有りを示すものであるため、それ以下における乖離は誤差と見なすことができる。
【００４４】
したがって、ＤＶＳ１７は、例えば、白線に対する自車両の位置を監視することで、眠気に相関性の高い車両情報を取得することができる。白線の検出について簡単に説明する。
【００４５】
前方カメラ１３は例えばルーフヘッドライニング又は室内ルームミラーに搭載されており、車両前方へ向けて水平下向きに所定角範囲で広がる領域を撮影する。カメラ１１はＣＭＯＳやＣＣＤ等の光電変換素子により、所定の輝度階調（例えば、２５６階調）の車両前方を前方画像を所定サイクル時間毎に出力する。
【００４６】
カメラコンピュータＢは、前方画像に映し出されている道路上に描かれた走行レーンを区切る左右の白線を、底部から上方に向けて探索する。白線は両端に高周波成分たるエッジを有するので前方画像の輝度値を水平方向に微分すると、白線の両端にピークが得られるので、白線部分が推定できる。推定した白線部分について、輝度や路面とのコントラストから定められる閾値、白線幅の閾値等により白線を抽出し、線状の形状である等の特徴からマッチングなどの手法を適用して白線を検出する。
【００４７】
カメラコンピュータＢは、認識された白線に基づき走行レーンの道路曲率、ヨー角、走路幅、目標走行線（中央線）からのオフセット量Ｄ等の情報を含む白線情報をＤＶＳ１７に送出する。
【００４８】
閉眼時間計測手段１７ａは、例えば所定時間（例えば１分）ごとにオフセット量Ｄの標準偏差を算出し、順次、ＲＡＭなどの記憶手段に記憶する。オフセット量Ｄはそのまま横方向の変位の大きさになるのでオフセット量Ｄの標準偏差を本実施の形態における車両状態量とすることができる。そして閉眼時間計測手段１７ａは、オフセット量Ｄの標準偏差が閾値Ｄｔｈｄ以上の場合、眠気があると推定して眼の開閉の検出結果（閉眼時間）を補正する。本実施形態では、車両状態量としてオフセット量Ｄの標準偏差を用いる。
【００４９】
車両状態量として操舵角の変位を用いる場合、操舵角センサ１８が検出した操舵角に基づき、例えば正面位置を基準に左右の操舵角の標準偏差を所定時間毎に算出する。
【００５０】
また、操舵角の修正周期を用いる場合、操舵角のＦＦＴ（フーリエ変換）又は操舵角データの微分波形のゼロポイントを求めそのゼロポイントの時間間隔により求めることができる。閉眼時間計測手段１７ａは予め覚醒状態の操舵角の修正周期を求めておき、これと操舵角の修正周期の差が所定以上であれば、眠気があると推定して眼の開閉の検出結果（閉眼時間）を補正する。
【００５１】
また、前方車両との距離を用いる場合、ミリ波レーダ装置１５が検出した前方車両までの距離の標準偏差、又は、最短距離を所定時間毎に算出する。距離の標準偏差が所定値以上の場合又は最短距離が低下傾向にある場合、閉眼時間計測手段１７ａは眠気があると推定して眼の開閉の検出結果（閉眼時間）を補正する。
【００５２】
ところで、より直接的に眠気を検出してもよい。運転者の眠気は各種の生理状態と相関するものであるため、例えば、脈拍、皮膚電位、脳波、などから運転者の眠気を推定することができる。脈拍により眠気を検出する場合、閉眼時間計測手段１７ａは予め覚醒状態の脈拍の時間間隔を求めておき、これと脈拍センサ１９が検出する脈拍との差が所定以上の場合、眼の開閉の検出結果（閉眼時間）を補正する。
【００５３】
また、オフセット量Ｄ、操舵角、操舵角の修正周期、前方車両との距離を単体で用いるのでなく、これらの複数を組み合わせて車両状態量としてもよいし、さらに、生理状態を組み合わせて車両状態量としてもよい。
【００５４】
〔閉眼時間と車両状態量の補完関係〕
閉眼時間と車両状態量の補完関係について図４に基づき説明する。図４（ａ）は、閉眼時間の一例を、図４（ｂ）は図４（ａ）と同じ時間軸にオフセット量Ｄの標準偏差を表示したグラフである。図４（ａ）の閉眼時間は、継続して計測された閉眼時間をそのまま表示した閉眼時間の瞬間値である。例えば、閉眼時間の閾値Ｔｔｈｄと、オフセット量Ｄの標準偏差の閾値Ｄｔｈｄと、を基準にすると、それぞれ数回の警報機会があることが分かる。
【００５５】
・閉眼時間の優位性
一般に車両状態量に基づく眠気の推定は、閉眼時間による眠気の判定よりも時間間隔が長い。例えば、閉眼時間は数秒の継続で居眠りと判定できるが、車両状態量に基づく眠気の判定は１分間隔程度である。車両状態量は、次の車両状態量が検出されるまで直前の車両状態量を使用するため、図４（ｂ）に示すように、車両状態量が一定となる時間が長い。
【００５６】
したがって、閉眼時間ではＴｔｈｄ（例えば、数秒）後に警告することができるのに対し、車両状態量で警報しようとすると次に車両状態量が検出されるまで（図ではΔｔ）遅れてしまう。
【００５７】
・閉眼時間の不安定性
しかしながら、閉眼時間の計測は、光の影響や日差しが強くて眼を細めたり、顔画像の認識処理の不良等により、安定しない場合がある。この場合、開閉検出手段１２ａは誤警報を防止するため開状態と判定するので、閉眼時間が短めに計測され実際にはＴｔｈｄ以上目を閉じているのに、運転者に警告することができず、運転者が不安感を持ったり、警告遅れによる危険が増大する。
【００５８】
図４（ｃ）は許容可能な脇見時間の調査結果を示す図である。図４（ｃ）は、７秒間の脇見を許容できる（不安を感じない）人はほぼ０％であり、２秒間の脇見を許容できる人は５０％程度、１秒以内の脇見時間であれば９５％以上の人が許容できることを示している。したがって、５０％程度の人が許容できる２秒を脇見の限界と考えれば、閉眼時間の許容時間も２秒程度と考えてよく、閉眼時間が途切れて計測されることは、運転者が不安感を持ったり、警告遅れによる危険が増大するため好ましくない。
【００５９】
〔車両状態量による閉眼時間の補正〕
そこで、本実施形態では、場合のよっては不安定となる閉眼時間を車両状態量に基づき補正する。上記のように車両状態量により運転者に眠気があることが推定できるので、これに基づき閉眼時間を補正することができる。図５（ａ）は眼の開閉の検出の一例を示す図である。時間の経過に対し運転者の眼の開閉を開状態又は閉状態のいずれかで示すものであり、Ｔ１時間の閉眼が継続した後、時刻ｔｏにおいて開眼が検出された後、再度Ｔ２時間の閉眼が継続している。
【００６０】
時刻ｔｏにおける開眼が、実際には閉状態であったにも関わらず、光の影響・顔画像の認識不良・個人差（眼が細い）などにより眼の開閉が検出されないために開状態であると判定された場合、又は、居眠り状態の中で一瞬だけ開眼したものである場合、時刻ｔｏにおいて閉眼時間の継続が途切れてしまう。このような場合、居眠りの判定が過小評価となったり警告が遅れるおそれがある。
【００６１】
そこで、本実施形態では、閉眼から開眼になった場合にその時（時刻ｔｏ）の車両状態量から運転者の眠気を推定し、図５（ａ）のような眼の開閉の検出結果を補正する。図５（ｂ）は、補正後の眼の開閉の検出結果を示す。時刻ｔｏにおける車両状態量（オフセット量Ｄの標準偏差）が閾値Ｄｔｈｄ以上であれば、閉眼時間計測手段１７ａは時刻ｔｏの開眼を閉眼とみなし、時刻ｔｏを含み時間Ｔ１〜Ｔ２までを継続して閉眼時間を計測する。
【００６２】
図５（ｃ）は車両状態量により補正された閉眼時間の一例を示す。図５（ｃ）は図４（ａ）と同じ図であるが、このように閉眼時間を補正することで、正しい警告を増やすことができる。
【００６３】
〔眠気の多段階化〕
車両状態量を利用すると閉眼時間を補正するだけでなく眠気を多段階化して判定することができる。例えば、閉眼時間とオフセット量Ｄの標準偏差を組み合わせた場合、図６のように眠気を多段階化できる。
ａ．覚醒      ：閉眼時間小（＜Ｔｈｔｄ）＆オフセット量Ｄの標準偏差小（＜Ｄｔｈｄ）
ｂ．眠い      ：閉眼時間小（＜Ｔｈｔｄ）＆オフセット量Ｄの標準偏差大（＞Ｄｔｈｄ）
閉眼時間大（＞Ｔｈｔｄ）＆オフセット量Ｄの標準偏差小（＜Ｄｔｈｄ）
ｃ．かなり眠い：閉眼時間大（＞Ｔｈｔｄ）＆オフセット量Ｄの標準偏差大（＞Ｄｔｈｄ）
閉眼時間だけでは閾値Ｔｈｔｄを基準に「覚醒」かそうでないかしか判定できないが、車両状態量を組み合わせることで、閉眼時間が閾値Ｔｈｔｄ以上の場合を「眠い」と「かなり眠い」に区別し、閉眼時間が閾値Ｔｈｔｄ未満の場合を「覚醒」と「眠い」に区別することができる。なお、車両状態量よりも閉眼時間に重み付けして、ｂ．「眠い」をさらに２段階に多段階化してもよい。
【００６４】
なお、図６に点線で示した○は閉眼時間を車両状態量により補正する前の眠気の判定結果を示す。上述したように、閉眼時間を補正することで、「眠い」と判定されていたものを「かなり眠い」と判定でき、「覚醒」と判定されていたものを「眠い」と判定することができる。
【００６５】
眠気を多段階化できれば、眠気に応じて警告内容を切り替えることができる。例えば、居眠り判定手段１７ｂは「眠い」のか「かなり眠い」のかを判定して、「眠い」場合は注意喚起（ステアリングの振動、ランプ点灯など）し、「かなり眠い」場合は警報音を吹鳴するなど、刺激レベルを制御できるので運転者に煩わしさを感じさせることを防止できる。
【００６６】
〔眠気判定の処理手順〕
続いて、居眠り検知装置１０による眠気判定の処理手順について図７のフローチャート図に基づき説明する。図７の処理手順は例えばイグニッションオンでスタートする。
【００６７】
まず、開閉検出手段１２ａ、閉眼時間計測手段１７ａは眼の開閉を検出するための初期設定を行う（Ｓ１）。初期設定では、例えば、眼球追跡領域の設定、眼の開閉を判定するための閾値の決定、閉眼時間Ｔのリセット、等が行われる。
【００６８】
ついで、閉眼時間計測手段１７ａは、開閉検出手段１２ａが眼の開度を検出するサイクル時間毎に眼の開度を取得する（Ｓ２）。また、閉眼時間計測手段１７ａはカメラコンピュータＢが検出した白線情報を順次取得しておき所定時間毎にオフセット量Ｄの標準偏差を算出してＲＡＭ等に記憶しておく。
【００６９】
ついで、閉眼時間計測手段１７ａは眼が閉じているか否かを、眼の開度と閾値Ｔｔｈｄとを比較して判定する（Ｓ３）。
【００７０】
目が閉じている場合（Ｓ３のＹｅｓ）、閉眼時間計測手段１７ａは閉眼時間Ｔにサイクル時間ｔｓを加算する（Ｓ４）。すなわち、目の閉じた顔画像が撮影されるたびに閉眼時間が継続して計測されることになる。
【００７１】
ついで、閉眼時間計測手段１７ａは閉眼時間Ｔが閾値Ｔｔｈｄ以上か否かを判定する（Ｓ５）。閾値Ｔｔｈｄはこれ以上では居眠りと判定される時間（例えば数秒程度）である。
【００７２】
閉眼時間Ｔが閾値Ｔｔｈｄ以上の場合（Ｓ５のＹｅｓ）、居眠り判定手段１７ｂはそれまでに得られた閉眼時間Ｔとオフセット量Ｄの標準偏差に基づき眠気を判定する（Ｓ６）。
【００７３】
閉眼時間Ｔが閾値Ｔｔｈｄ以上でない場合（Ｓ５のＮｏ）、閉眼時間を継続して計測するため、閉眼時間計測手段１７ａはステップＳ２の眼の開度の取得から処理を繰り返す（Ｓ２）。
【００７４】
ステップＳ３に戻り、目が閉じてない場合（Ｓ３のＮｏ）、閉眼時間計測手段１７ａは前回、開閉検出手段１２ａが取得した眼の開度が閉じていたか否かを判定する（Ｓ１１）。閉じていない場合には（Ｓ１１のＮｏ）、今回（Ｓ３）と前回（Ｓ１１）のいずれも眼が開いていることになるので、閉眼時間Ｔを計測することなくステップＳ２から処理を繰り返す。
【００７５】
閉じていた場合（Ｓ１１のＹｅｓ）、閉眼時間計測手段１７ａはＲＡＭ等に記憶してあるオフセット量Ｄの標準偏差を抽出し（Ｓ１２）、オフセット量Ｄの標準偏差が閾値Ｄｔｈｄ以上か否かを判定する（Ｓ１３）。ステップＳ１１の判定がＹｅｓとなるのは、閉状態から開状態となった場合であるので、この開状態が光の影響等によるものかどうかをオフセット量Ｄの標準偏差に基づき判定することができる。
【００７６】
オフセット量Ｄの標準偏差が閾値Ｄｔｈｄ以上の場合（Ｓ１３のＹｅｓ）、閉眼時間計測手段１７ａは閉眼時間Ｔにサイクル時間ｔｓを加算する（Ｓ１４）。開眼を閉眼と変更するこの処理により、眼の開状態が光の影響等や一瞬の開眼によるものと推定される場合、閉眼時間Ｔを補正して継続した閉眼時間Ｔを計測することができる。以降は、それまでに得られた閉眼時間Ｔとオフセット量Ｄの標準偏差に基づき眠気を判定する（Ｓ６）。
【００７７】
オフセット量Ｄの標準偏差が閾値Ｄｔｈｄ以上でない場合（Ｓ１３のＮｏ）、これは閉状態から開状態となった場合であるが、開状態が光の影響等や一瞬の開眼によるものとは推定できないので、閉眼時間を補正することなくそれまでに得られた閉眼時間Ｔとオフセット量Ｄの標準偏差に基づき眠気を判定する（Ｓ６）。
【００７８】
居眠り判定手段１７ｂはオフセット量Ｄの標準偏差を利用して眠気を多段階に判定する（Ｓ６）。ここでは、
閉眼時間Ｔ＜Ｔｔｈｄ  かつ  Ｄ＜Ｄｔｈｄ  の場合、    「覚醒」（Ｓ７）と、
閉眼時間Ｔ≧Ｔｔｈｄ  かつ  Ｄ＜Ｄｔｈｄ  の場合、又は、
閉眼時間Ｔ＜Ｔｔｈｄ  かつ  Ｄ≧Ｄｔｈｄの場合  「眠い」（Ｓ９）と、
閉眼時間Ｔ＜Ｔｔｈｄ  かつ  Ｄ≧Ｄｔｈｄ  の場合、    「かなり眠い」（Ｓ１５）、
と判定する。
【００７９】
「覚醒」と判定した場合、閉眼時間計測手段１７ａは閉眼時間Ｔをリセットし（Ｓ８）、ステップＳ２からの処理を繰り返す（Ｓ９）。
【００８０】
「眠い」と判定した場合、居眠り判定手段１７ｂは運転者に注意喚起し（Ｓ１０）、「かなり眠い」と判定した場合、居眠り判定手段１７ｂは運転者に警報を吹鳴する（Ｓ１６）。そして、注意喚起又は警報された場合、警告のルーチン処理に移行し、例えば、開眼が継続して検出されるまで注意喚起又は警報を継続し、開眼が所定時間継続して検出されたらステップＳ２から処理を繰り返す。
【００８１】
以上のように、本実施形態の居眠り検知装置１０は、光の影響により開眼が検出された場合や瞬間的に目を開けた場合に車両状態量から運転者の眠気を推定し、眠気があると推定される場合には閉眼時間を補正するので、居眠りの判定が過小評価となったり警告が遅れることがなく確実に警告することができる。また、運転支援のための車載装置を眠気に応じて適切に制御することができる。
【図面の簡単な説明】
【００８２】
【図１】居眠り検知装置のシステム構成図の一例である。
【図２】眼の開閉の検出を説明するための図である。
【図３】閉眼時間と車両の横変位の相関の１例を示す図である。
【図４】閉眼時間と車両状態量の補完関係を示す図である。
【図５】眼の開閉の検出の一例を示す図である。
【図６】閉眼時間と車両状態量の組み合わせに応じて多段階化した眠気を表にして示す図である。
【図７】居眠り検知装置による眠気判定の処理手順を示すフローチャート図である。
【符号の説明】
【００８３】
１１      顔カメラ
１２      カメラコンピュータＡ
１２ａ    開閉検出手段
１３      前方カメラ
１４      カメラコンピュータＢ
１５      ミリ波レーダ装置
１６      警告装置
１７      ドライビングサポート（ＤＶＳ）ＥＣＵ
１７ａ    閉眼時間計測手段
１７ｂ    居眠り判定手段
１８      操舵角センサ
１９      脈拍センサ
２１      ＰＣＳシートベルト  
２２      ブレーキＥＣＵ
２３      ブレーキＡＣＴ
【図１】
2008165348.tif 000003
【図２】
2008165348.tif 000004
【図３】
2008165348.tif 000005
【図４】
2008165348.tif 000006
【図５】
2008165348.tif 000007
【図６】
2008165348.tif 000008
【図７】
2008165348.tif 000009