(57)【特許請求の範囲】
【請求項１】
車両の運転者の顔の画像から、前記運転者の目の開閉を検知する瞬き判別部と、
前記車両の加速度の変化を検出する加加速度検出部と、
前記瞬き判別部により第１の時間以上継続する閉眼が検出された直後の第２の時間内の前記加速度の変化の検出状況に基づき、前記運転者の居眠りを判別する居眠り判別部と、
を有することを特徴とする居眠り判別装置。
【請求項２】
前記加速度の変化を計算する加加速度計算部、
をさらに有し、
前記加加速度計算部は、前記車両の速度加速度の変化、および操舵角加速度の変化のいずれか少なくとも一方の加加速度を計算し、
前記居眠り判別部は、前記第２の時間内において、前記速度加加速度が予め決められた値以上の減速方向の変化を示す値であるか、または前記操舵角加加速度の絶対値が予め決められた値以上である一定範囲の場合には、居眠りと判別する、
ことを特徴とする請求項１に記載の居眠り判別装置。
【請求項３】
前記居眠り判別部は、前記瞬き判別部により第１の時間以上継続する閉眼が検出された直後の第２の時間内、および前記第１の時間以外かつ第２の時間以外の第３の時間内の前記加加速度の検出状況に基づき、前記運転者の居眠りを判別する、
ことを特徴とする請求項２に記載の居眠り判別装置。
【請求項４】
前記居眠り判別部は、検出された前記加加速度が、前記第２の時間および前記第３の時間のいずれにおいて検出されたかを判別し、前記第２の時間内の前記一定範囲内でない前記加加速度の第１の発生確率を算出するとともに、前記第３の時間内における前記加加速度の第２の発生確率を算出し、前記第１の発生確率が前記第２の発生確率を所定値以上、上回る場合に、居眠りと判別することを特徴とする請求項３に記載の居眠り判別装置。
【請求項５】
過去に前記加加速度が検出された位置及び前記位置での前記第３の時間における前記加加速度の発生確率を記録する記録部と、
前記車両の現在位置を検出する位置検出部と、
をさらに有し、
前記居眠り判定部は、前記記録部に記録された情報に基づき前記現在位置を前記車両が以前通ったことがあるか否かを判別し、通ったことがある場合には、前記第３の時間における前記加加速度の発生確率を前記記録部から読み出して前記居眠りの判別に用いる、
ことを特徴とする請求項４に記載の居眠り判別装置。
【請求項６】
前記瞬き判別部は、前記運転者の顔の画像の取得を行うことを特徴とする請求項１から５のうちのいずれか一項に記載の居眠り判別装置。
【請求項７】
居眠り判別装置が、
車両の運転者の顔の画像から、前記運転者の目の開閉を検知し、
前記車両の加速度の変化を検出し、
前記目の開閉の検知により第１の時間以上継続する閉眼が検出された直後の第２の時間内の前記加速度の変化の検出状況に基づき、前記運転者の居眠りを判別する、
ことを特徴とする居眠り判別方法。
【請求項８】
車両の運転者の顔の画像から、前記運転者の目の開閉を検知し、
前記車両の加速度の変化を検出し、
前記目の開閉の検知により第１の時間以上継続する閉眼が検出された直後の第２の時間内の前記加速度の変化の検出状況に基づき、前記運転者の居眠りを判別する、
処理を演算処理装置に行わせるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、居眠り判別装置、および居眠り判別方法に関する。
【背景技術】
【０００２】
昨今、交通事故やヒヤリハット（事故の危険を認識した事象）の原因として追突事故が上位にランクされている。追突事故の主な要因の一つとして、居眠り運転が挙げられる。そのため、居眠り運転を検出し、警告することで事故を未然に防ぐ試みがなされている。
【０００３】
例えば、車内カメラによって運転者の顔を撮影して得られた顔画像を画像解析し、運転者が目を所定時間以上長く瞑る状態を検出することで、居眠り検知を行う技術が知られている。このとき、一定時間以下の短い開眼時間は閉眼と判定するようにして、居眠り検出精度をあげることを試みている例がある。また、心電図などから眠気を検出する例も知られている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１１８９８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかし、運転中に運転者が目を長く瞑る現象には「居眠り」以外にも、「目の渇きによる長いまばたき」などがあり、単純に目を瞑っている時間を測定するだけでは、「目の渇きによる長いまばたき」を居眠りと誤検知する恐れがある。また、居眠り運転を検出するために、心電図の測定器など、追加の装置が必要な場合には、費用や装置の配置場所などがさらに必要であるという問題もある。そこで、簡易かつ正確に居眠り運転を検出する方法を提供することが望まれている。
【課題を解決するための手段】
【０００６】
ひとつの態様である居眠り判別装置は、瞬き判別部と、加加速度検出部と、居眠り判別部を有している。瞬き判別部は、車両の運転者の顔の画像から、前記運転者の目の開閉を検知する。加加速度検出部は、前記車両の加速度の変化を検出する。居眠り判別部は、前記瞬き判別部により第１の時間以上継続する閉眼が検出された直後の第２の時間内の前記加加速度の検出状況に基づき、前記運転者の居眠りを判別する。
【０００７】
別の態様である居眠り判別方法では、居眠り判別装置が、車両の運転者の顔の画像から、前記運転者の目の開閉を検知する。また、居眠り判別装置は、前記車両の加速度の変化を検出し、前記目の開閉の検知により第１の時間以上継続する閉眼が検出された直後の第２の時間内の前記加速度の変化の検出状況に基づき、前記運転者の居眠りを判別する。
【発明の効果】
【０００８】
上述した態様の居眠り判別装置、および居眠り判別方法によれば、簡易かつ正確に居眠り運転を検出することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施の形態による居眠り判別システムの構成を示す図である。
【図２】第１の実施の形態による居眠り判別システムの機能を示すブロック図である。
【図３】第１の実施の形態による瞬き判別部の出力の一例を示す図である。
【図４】第１の実施の形態による運転状況情報の一例を示す図である。
【図５】第１の実施の形態による瞬き判別部及び車速センサ、操舵角センサの出力の一例を示す図である。
【図６】第１の実施の形態による運転状況情報の一例を示す図である。
【図７】第１の実施の形態による瞬き判別部の出力の一例を示す図である。
【図８】第１の実施の形態による運転状況情報の一例を示す図である。
【図９】第１の実施の形態による第２の時間帯における加加速度の発生確率の一例を示す図である。
【図１０】第１の実施の形態による第３の時間帯における加加速度の発生確率の一例を示す図である。
【図１１】第１の実施の形態による居眠り判別システムの動作を示すフローチャートである。
【図１２】第１の実施の形態による加加速度発生区分判定の動作を示すフローチャートである。
【図１３】第１の実施の形態による発生確率計算の動作を示すフローチャートである。
【図１４】第２の実施の形態による居眠り判別システムの構成を示す図である。
【図１５】第２の実施の形態による居眠り判別システムの機能を示すブロック図である。
【図１６】第２の実施の形態による居眠り判別システムにおける発生確率計算の動作を示すフローチャートである。
【発明を実施するための形態】
【００１０】
（第１の実施の形態）
以下、図面を参照しながら、本発明の第１の実施の形態による居眠り運転判別装置について説明する。図１は、第１の実施の形態による居眠り判別システム１の構成を示す図である。居眠り判別システム１は、例えば車両内に備えられる。図１に示すように、居眠り判別システム１は、居眠り判別装置３、および外部計測器５を有している。居眠り判別装置３は、外部計測器５で取得される情報に基づき、居眠りを判別する装置であり、演算処理装置６、主記憶装置７、入力装置９、および出力装置１１を有している。外部計測器５は、居眠りを判別するための情報を検出する装置であり、カメラ１７、車速センサ１９、操舵角センサ２１を有している。
【００１１】
演算処理装置６は、居眠り判別装置３における各種演算処理を行う装置であり、例えば主記憶装置７に記録されたプログラムを読み込んで実行することにより、居眠り判別装置３の各種機能を実現するように構成することができる。主記憶装置７は、例えば、Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ（ＲＡＭ）や、Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ（ＲＯＭ）、またはハードディスク装置等の記憶装置である。主記憶装置７は、居眠り判別装置３における各種処理を実行するためのプログラムや、各種情報を格納するように構成される。入力装置９は、外部計測器５からの情報を取得するための入力装置である。出力装置１１は、モニタ１３、スピーカ１５を有しており、居眠り判別装置３での演算結果を出力する装置である。
【００１２】
カメラ１７は、例えば車両の運転者の前方のバックミラー等に備えられ、例えば所定時間ごとに運転者の顔を撮影する撮影装置である。カメラ１７は、例えばドライブレコーダ等を用いることができる。車速センサ１９は、例えばスピードメータ等により、車両の線速度を検出する検出器である。操舵角センサ２１は、例えばステアリングホイールに備えられ、車両の操舵角を検出する検出器である。車速センサ１９、操舵角センサ２１は、例えばカーナビゲーション装置のために備えられる装置など、既存のものを用いることができる。
【００１３】
図２は、第１の実施の形態による居眠り判別システム１の機能を示すブロック図である。上述のように、居眠り判別システム１は、居眠り判別装置３および外部計測器５を有している。居眠り判別装置３は、瞬き判別部３１、加加速度計算部３３、警告部３７の機能を有しているとともに、計算結果等、各種情報を格納する居眠りＤａｔａ  Ｂａｓｅ（ＤＢ）３９を有している。
【００１４】
瞬き判別部３１は、カメラ１７により撮影される運転者の顔の画像から瞬きを検出し、一定時間（例えば、０．３〜０．６秒以上）の目の瞑りか否かを判定する。目の瞑りが一定以上長ければ居眠り運転の可能性があるため、加加速度計算部３３の処理を行う。一定以上長くなければ、居眠り運転の可能性が低いため再度、瞬き判別部３１の処理を繰り返す。瞬きの判別方法については、所定時間ごとに撮影される運転者の顔の画像において、目の下瞼と上瞼の位置の違いにより判別するなど、既知の方法を用いることができる。
【００１５】
加加速度計算部３３は、車速センサ１９、操舵角センサ２１が検出する車両の動きに基づき、車両の線加速度の変化（速度加加速度ともいう）、または操舵角加速度の変化（操舵角加加速度ともいう）である加加速度を計算する。瞬き判別部３１により、目をつぶっている時間が一定以上長いと判定された場合、加加速度計算部３３は、目を開けた直後と、それ以外の目を開けて運転している時間に発生した速度もしくは操舵角情報を車速センサ１９、操舵角センサ２１から取得する。さらに加加速度計算部３３は、取得した速度加加速度もしくは操舵角加加速度を計算する。
【００１６】
居眠り判別部３５は、瞬き判別部３１、加加速度計算部３３の出力に基づき、運転者の居眠りを判別する。すなわち、居眠り判別部３５は、加加速度発生区分判定処理と発生確率計算処理を行う。加加速度発生区分判定処理では、居眠りＤＢ３９に、目の開閉時間、加加速度の大きさを記録し、目の瞑りの判別の基準とする第１の時間を取得し、目を開けてから第２の時間以内に発生した加加速度か否かを判別する。このとき、第２の時間以内の加加速度が一定範囲か否かを判別し、一定範囲の場合は、検出された加加速度が、危険回避動作によるものであり、居眠り運転を行っている可能性が高いと判断し、警告部３７による警告処理を行う。一定範囲でない場合は、発生率計算処理により、警告を行うか否かを判別する。一定範囲とは、速度加加速度が、一定以上の減速方向の加速度の変化を示す値であるか、操舵角加加速度の絶対値が一定以上であるかの範囲である。
【００１７】
発生率計算処理においては、居眠り判別部３５は、居眠りＤＢ３９から、所定の第１の時間以上継続した目の「閉」動作（以下、単に目の閉動作という）が終了した直後の第２の時間内（以下、第２の時間帯という）に発生した加加速度回数を取得する。居眠り判別部３５は、第２の時間帯における加加速度の発生確率を計算する。また、居眠り判別部３５は、居眠りＤＢ３９から、第１の時間以外、かつ第２の時間以外の時間帯、すなわち、第２の時間帯直後から、次の、目の閉動作の開始までの第３の時間内（以下、第３の時間帯という）に発生した加加速度回数を取得する。居眠り判別部３５は、第３の時間帯における加加速度の発生確率を計算する。居眠り判別部３５は、取得した発生確率を居眠りＤＢ３９に記録する。居眠り判別部３５は、第２の時間帯における加加速度の発生確率が、第３の時間帯における加加速度の発生確率と比較して所定以上大きければ、居眠りであると判別する。
【００１８】
警告部３７は、居眠り判別部３５により運転者が居眠りをしていると判別された場合に、例えば所定の音、光などにより警告を発する音声発生装置、発光装置などである。居眠りＤＢ３９は、居眠り判別システム１における演算結果等、居眠り判別に必要な情報を保存するデータベースである。
【００１９】
次に、図３から図１０を参照しながら、第１の実施の形態による居眠り判別システム１で生成される情報のデータ構成について説明する。図３、および図７は、瞬き判別部３１の出力の一例を示す図、図５は、瞬き判別部３１、車速センサ１９及び操舵角センサの出力の一例を示す図である。図４、図６、及び図８は、運転状況情報の一例を示す図である。
【００２０】
図３においては、縦軸は、カメラ１７の出力５０を瞼の「開」「閉」のいずれかにより示しており、横軸は時間を示している。図３に示すように、瞬き判別部３１は、カメラ１７からの出力５０に基づき、時刻ｔ１＝１７時００分１９．７秒に「開」であった瞼が閉じるのを検出する。このとき、図４に示すように、運転状態情報５２において、目の開閉動作５４は「Ｃｌｏｓｅ」、時刻５６＝１７時００分１９．７秒と記録される。同様に、瞬き判別部３１は、時刻ｔ２＝１７時００分２０．０秒に「閉」であった瞼が開くのを検出する。このとき、図４に示すように、目の開閉動作５４は「Ｏｐｅｎ」、時刻５６＝１７時００分２０．０秒と記録される。
【００２１】
また、図４に示すように、瞬き判別部３１は、時刻ｔ３＝１７時００分３５．７秒に目の開閉動作５４＝「Ｃｌｏｓｅ」を検出している。以下同様に、図４は、瞬き判別部３１が、時刻ｔ４＝１７時００分３６．０秒に目の開閉動作５４＝「Ｏｐｅｎ」を検出し、時刻ｔ５＝１７時００分５０．０秒に目の開閉動作５４＝「Ｃｌｏｓｅ」を検出したことを示している。
【００２２】
図５における加加速度６０は、車速センサ１９および操舵角センサ２１に基づく加加速度６０を示しており、横軸は時間を示している。図５は、加加速度計算部３３が、時間帯６２において、２回のブレーキと１回のハンドル操作による加加速度６０を検出し、時間帯６４において、１回のブレーキによる加加速度６０を検出していることを示している。また、時間帯６６においては、加加速度６０は検出されていない。なお、時間帯６２、時間帯６６は、目の閉動作が終了した直後の第２の時間帯に属している。時間帯６４は、第２の時間帯直後から、次の、目の閉動作の開始までの第３の時間帯に属している。第２の時間帯は、予め定められた所定の時間であり、例えば主記憶装置７に予め記憶させておく。第３の時間帯は、上述のように時間は一定ではない。
【００２３】
図５のような加加速度６０の情報は、例えば図６に示すように、運転状態情報７０において、時刻５６＝１７時００分２０．５秒に速度加加速度７２＝−０．１と記録される。同様に、時刻５６＝１７時００分２２．０秒に操舵角加加速度７４＝−０．１と記録され、時刻５６＝１７時００分３０．０秒に速度加加速度７２＝−０．１と記録される。ここで、速度加加速度のマイナスの値は、減速を表し、操舵角加速度のマイナスの値は、例えば進行方向右方向をプラス方向にした場合の左方向の操舵角などとすることができる。
【００２４】
図７に示すように、出力８０において、時間帯８２は、目の閉動作直後の第２の時間帯の一例であり、時間帯８４は、第３の時間帯の一例である。本実施の形態においては、図８に示すように、運転状態情報８６において加加速度発生区分８８は、第２の時間帯に該当する場合には「α」、第３の時間帯に該当する場合には「β」と記載される。なお、第２の時間帯は、例えば２秒など、予め設定される一定の時間帯である。
【００２５】
図９は、第２の時間帯における加加速度の発生確率９０の一例を示す図、図１０は、第３の時間帯における加加速度の発生確率１００の一例を示す図である。上記のように、加加速度の検出処理を継続して行うことにより、第２の時間帯における加加速度の発生確率９０、および第３の時間帯における加加速度の発生確率が算出される。
【００２６】
図９において、時間帯区分９２は、第２の時間帯の識別情報であり、時間帯区分９２＝α１、α２、・・・は、それぞれ、１回の目の閉動作直後の第２の時間帯に、一つの識別情報を割り当てて示している。発生回数９４は、各第２の時間帯において、加加速度の発生が検出された回数であり、発生確率９６は、以下の式１のように、各時間帯区分９２における加加速度の単位時間当たりの発生回数で表される。
発生確率９６＝第２の時間帯に発生した加加速度発生回数（回）／第２の時間（秒）・・・（式１）
また、「合計」とは、各時間帯の発生確率９６を足し合わせた値である。
【００２７】
図１０において、時間帯区分１０２は、第３の時間帯の識別情報であり、時間帯区分１０２＝β１、β２、・・・は、それぞれ、１回の第２の時間帯直後の第３の時間帯に、一つの識別情報を割り当てて示している。発生回数１０４は、各第３の時間帯において、加加速度の発生が検出された回数であり、発生確率１０６は、以下の式２のように、各時間帯区分１０２における加加速度の単位時間当たりの発生回数で表される。
発生確率１０６＝第３の時間帯に発生した加加速度発生回数（回）／第３の時間（秒）・・・（式２）
また、「合計」とは、各時間帯の発生確率１０６を足し合わせた値である。
【００２８】
以上説明した居眠り判別システム１の処理動作について、フローチャートを参照しながらさらに説明する。図１１は、居眠り判別システム１の動作を示すフローチャートである。まず、瞬き判別部３１は、カメラ１７が撮影した画像に基づき、目の開閉時間を計測する（Ｓ１２１）。これにより、上述の運転状態情報５２が取得される。瞬き判別部３１は、目を閉じている時間が一定以上長いか否かを判別する（Ｓ１２２）。
【００２９】
加加速度計算部３３は、車速センサ１９、および操舵角センサ２１からの情報により、第２の時間帯、または第３の時間帯に発生した速度加加速度、または操舵角加加速度を計算する（Ｓ１２３）。これにより、図６を参照しながら説明した速度加加速度７２、操舵角加加速度７４が計算され、運転状態情報７０が取得される。
【００３０】
居眠り判別部３５は、加加速度発生区分判定処理を行う（Ｓ１２４）。加加速度発生区分判定処理についての詳細は、後述する。居眠り判別部３５は、判定された発生区分に基づき、第２の時間帯に観測された加加速度が一定範囲か否かを判別する（Ｓ１２５）。ここで一定範囲とは、速度加加速度が、一定以上の減速方向の加速度の変化を示す値であるか、操舵角加加速度の絶対値が一定以上であるかの範囲である。一定範囲の場合には（Ｓ１２５：ＹＥＳ）、Ｓ１２８に進み、警告部３７は、警報を発する。一定範囲でない場合には（Ｓ１２５：ＮＯ）、Ｓ１２６に進み、発生確率計算処理を行う。発生確率計算処理の詳細については、後述する。
【００３１】
居眠り判別部３５は、予め定められた時間内の第２の時間帯と第３の時間帯との加加速度発生確率の合計の差が、閾値以上であるか否かを判別する（Ｓ１２７）。居眠り判別部３５は、差が閾値（例えば、１）以内である場合には（Ｓ１２７：ＮＯ）、居眠りの可能性が低いと判断して、Ｓ１２１に戻って処理を繰り返す。差が閾値以上である場合には、居眠り判別部３５は、居眠りと判定し、警告部３７は運転者に警告を発し（Ｓ１２８）、処理を終了する。
【００３２】
図１２は、加加速度発生区分判定の動作を示すフローチャートである。図１２に示すように、居眠り判別部３５は、居眠りＤＢ３９に、瞬き判別部３１が判別した目の開閉時間、および、加加速度計算部３３が計算した加加速度の大きさを記録する（Ｓ１３１）。この処理により、上述のように、図６に示した運転状態情報７０における時刻５６、速度加加速度７２、操舵角加加速度７４が取得される。居眠り判別部３５は、例えば、主記憶装置７に記憶されている第２の時間帯の時間を取得し（Ｓ１３２）、加加速度が取得された時間が、第２の時間帯であるか否かを判別する（Ｓ１３３）。
【００３３】
加加速度が取得された時間が第２の時間帯である場合には（Ｓ１３３：ＹＥＳ）、居眠り判別部３５は、図８に示した運転状態情報８６の加加速度発生区分８８に「α」と記録し、居眠りＤＢ３９に記録すし（Ｓ１３４）、図１１の処理に戻る。第２の時間帯でない場合には（Ｓ１３３：ＮＯ）、居眠り判別部３５は、運転状態情報８６の加加速度発生区分８８に「β」と記録し、居眠りＤＢ３９に記録し（Ｓ１３５）、図１１の処理に戻る。以上により、図８に示した運転状態情報８６が得られる。
【００３４】
図１３は、発生確率計算の動作を示すフローチャートである。図１３に示すように、居眠り判別部３５は、加加速度計算部３３が計算した加加速度のうち、一定範囲外であって、第２の時間帯における発生回数をカウントする（Ｓ１４１）。一定範囲とは、速度加加速度が、一定以上の減速方向の加速度の変化を示す値であるか、操舵角加加速度の絶対値が一定以上であるかの範囲である。これにより、図９の発生確率情報９０における発生回数９４が取得される。また、居眠り判別部３５は、カウントされた第２の時間帯における発生回数９４と、第２の時間帯の時間とから、式１のように発生確率を計算する（Ｓ１４２）。これにより、発生確率情報９０の発生確率９６が取得される。
【００３５】
同様に、居眠り判別部３５は、加加速度計算部３３が計算した加加速度のうち、第３の時間帯における発生回数をカウントする（Ｓ１４３）。これにより、図１０の発生確率情報１００における発生回数１０４が取得される。また、居眠り判別部３５は、カウントされた第３の時間帯における発生回数１０４と、第３の時間帯の時間帯区分１０２＝β１、β２、・・・の時間とから、式２のように発生確率を計算する（Ｓ１４４）。これにより、発生確率情報１００の発生確率１０６が取得される。居眠り判別部３５は、取得された発生確率情報９０、発生確率情報１００を、居眠りＤＢ３９に記録し（Ｓ１４５）、図１１の処理に戻る。上述のように、図１１の処理において、居眠り判別部３５は、第２の時間帯と第３の時間帯における加加速度の発生確率の差に基づき、居眠りを判別する。
【００３６】
以上説明したように、居眠り判別システム１によれば、瞬き判別部３１は、カメラ１７で取得した画像により、第１の時間以上継続する目の閉動作を判別する。加加速度計算部３３は、加加速度を検出すると、目の閉動作の直後の予め定められた第２の時間帯において発生したか、第２の時間帯の直後から次の目の閉動作までの第３の時間帯において発生したかを記録する。加加速度計算部３３は、第２の時間帯と、第３の時間帯において発生した速度加加速度７２、操舵角加加速度７４を計算する。居眠り判別部３５は、第２の時間帯において、一定範囲内でない加加速度の発生回数９４を算出し、発生確率９６を求める。また、居眠り判別部３５は、第３の時間帯において、加加速度の発生回数１０４を算出し、発生確率１０６を求める。
【００３７】
第２の時間帯において、一定範囲の加加速度が検出された場合には、警告部３７は、警告を発する。さらに居眠り判別部３５は、予め定められた時間内の発生確率９６の合計と、発生確率１０６の合計との差が閾値を超えている場合に居眠りと判別し、警告部３７により警告を行なう。
【００３８】
以上説明したように、居眠り判別システム１によれば、運転者が第１の時間以上目を閉じた後、目を開けた直後の第２の時間帯と、それ以外の目を開けて運転している第３の時間帯について検出される加加速度に基づき、居眠りを判別することができる。
【００３９】
すなわち、一定時間における意識的な目の瞑りと、無意識の目の瞑りでは、目の開けた直後の加加速度の発生確率に差がでる。例えば、目の渇きによって目を長く瞑ることは運転者が意識的に行うことができ、居眠りによって目を長く瞑ることは運転者が意識的に行うことができない。意識的に目を長く瞑る場合は、運転者は、事前に周りの安全を確保してから行うことができる。例えば、前方車両がいる場合、運転者は、前方車両との車間距離を十分に開けるか、減速してから目を長く瞑るため、目を開いた後でも衝突するリスクは少ない。しかし、無意識に目を長く瞑る場合は、事前にリスク回避する動作を行えないため、目を開いた直後に前方車両との車間距離が想定より詰まっていること等で、急ブレーキが発生することがある。前方車両がいない場合でも、車線逸脱による急ハンドルが発生することがある。以上のことから、目を長く瞑った後に発生する急ブレーキ、急ハンドルなどの一定範囲の加加速度を検知することで、居眠りをより確実に特定することができる。すなわち、第２の時間帯に速度加加速度が、一定以上の減速を示す値であるか、操舵角加加速度の絶対値が一定以上であるかの範囲であると検出された場合には、危険回避動作を行なったと判断され、居眠りと判定される。
【００４０】
しかし、目を開けた直後に毎回大きな加加速度が検出されるとは限らない。例えば、前方車両との車間距離が危険なほどつまってない場合や、前方車両がいない場合には、運転者は急ブレーキを踏むとは限らない。このため、第２の時間帯と第３の時間帯との加加速度の発生確率の差が所定以上の場合に、居眠りと判定することができる。よって、大きな加加速度が検出されない場合にも、高い確率で居眠りを検知できる。
【００４１】
このように、居眠り判別システム１は、自動的かつ高精度に居眠りを判定することができるので、運転者に適切に警告を発することができ、事故防止効果を高めることが可能となる。すなわち、走行中に発生した危険回避動作を検知して居眠り運転を判別することにより、自動車業界における運行の安全管理をより適切に行なうことができる。
【００４２】
（第２の実施の形態）
以下、図面を参照しながら、第２の実施の形態による居眠り判別システム２００について説明する。居眠り判別システム２００において、居眠り判別システム１と同様の構成および動作については、同一の符号を付し、詳細説明を省略する。
【００４３】
図１４は、第２の実施の形態による居眠り判別システム２００の構成を示す図である。図１４に示すように、居眠り判別システム２００は、居眠り判別装置３０、および外部計測器２０を有している。居眠り判別装置３０は、外部計測器２０で取得される情報に基づき、居眠りを判別する装置であり、演算処理装置６、主記憶装置７、入力装置９、および出力装置１１を有している。居眠り判別装置３０のハードウエア構成は、居眠り判別装置３と同様である。外部計測器２０は、居眠りを判別するための情報を検出する装置であり、外部計測器５のカメラ１７、車速センサ１９、操舵角センサ２１に加え、Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ（ＧＰＳ）センサ２３を有している。ＧＰＳセンサ２３は、複数の衛星からの電波を受信することにより自己位置を検出する検出器である。
【００４４】
図１５は、第２の実施の形態による居眠り判別システム２００の機能を示すブロック図である。上述のように、居眠り判別システム２００は、居眠り判別装置３０および外部計測器２０を有している。居眠り判別装置３０は、居眠り判別装置３において、居眠り判別部３５の機能に代えて居眠り判別部３６の機能を有しているとともに、さらに位置検出部４１の機能を有している。
【００４５】
居眠り判別部３６は、瞬き判別部３１、加加速度計算部３３の出力に加え、位置検出部４１の出力に基づき、運転者の居眠りを判別する。居眠り判別部３６は、加加速度発生区分判定処理と発生確率計算処理を行う。加加速度発生区分判定処理では、居眠り判別部３５と同様に、居眠りＤＢ３９に、目の開閉時間、加加速度の大きさを記録し、目の瞑りの判別の基準とする第１の時間を取得し、目を開けた直後の第２時間以内に発生した加加速度か否かを判別する。このとき、第２の時間帯の加加速度が一定範囲のものであるか否かを判別し、一定範囲である場合は、居眠り運転を行っている可能性が高いため、警告部３７による警告処理を行う。一定範囲内でない場合は、発生率計算処理により、警告を行うか否かを判別する。
【００４６】
発生率計算処理においては、居眠り判別部３６は、居眠りＤＢ３９から、目の閉動作が終了した直後の第２の時間帯に発生した加加速度回数を取得する。居眠り判別部３６は、第２の時間帯における加加速度の発生確率を、第１の実施の形態における式１により計算する。また、居眠り判別部３６は、位置検出部４１により自己の位置を検出し、居眠りＤＢ３９から、過去に同区間を走行したことがあるかを判別する。このとき、例えば、図１０の発生確率情報１００に、各情報を取得したときの車両の位置を記憶させておくようにし、取得した自己の位置と照合する。
【００４７】
過去に走行したことがあると判別された場合は、居眠り判別部３６は、居眠りＤＢ３９に記憶された過去の第３の時間帯における発生確率を使って計算する。すなわち、居眠り判別部３６は、居眠りＤＢ３９から同区間の過去の第３の時間帯の発生確率を取得し、算出した第２の時間帯における発生確率とともに居眠りＤＢ３９に記憶する。居眠り判別部３６は、第２の時間帯における加加速度の発生確率を所定時間分足し合わせた値と、第３の時間帯における加加速度の発生確率を所定時間分足し合わせた値との差が所定以上大きければ、居眠りであると判別する。
【００４８】
過去に当該区間を走行したことがないと判別された場合は、居眠り判別部３６は、第１の実施の形態と同様に、新たに第３の時間における加加速度の発生回数を取得し、第１の実施の形態において説明したように、式２に基づき発生確率を計算する。居眠り判別部３６は、算出した第２の時間帯における発生確率とともに第３の時間帯における加加速度の発生確率を居眠りＤＢ３９に記憶する。居眠り判別部３６は、第２の時間帯における加加速度の発生確率を所定時間分足し合わせた値から、第３の時間帯における加加速度の発生確率を所定時間分足し合わせた値を引いた差が所定以上大きければ、居眠りであると判別する。警告部３７は、居眠り判別部３６により運転者が居眠りをしていると判別された場合に、例えば所定の音、光などにより警告を発する音声発生装置、発光装置などである。
【００４９】
以下、図１６を参照しながら、本発明の第２の実施の形態による居眠り判別システム２００の動作について説明する。居眠り判別システム２００においては、居眠りＤＢ３９に、予め、第３の時間帯における加加速度が取得された位置を記録しておく。居眠り判別システム２００の動作は、図１３を参照しながら説明した発生確率計算の動作のみが居眠り判別システム１の動作と異なっている。よって、ここでは、発生確率計算の動作のみを説明する。
【００５０】
図１６は、第２の実施の形態による居眠り判別システム２００における発生確率計算の動作を示すフローチャートである。図１６に示すように、居眠り判別部３６は、加加速度計算部３３が計算した加加速度のうち、一定範囲外である加加速度の第２の時間帯における発生回数を、居眠りＤＢ３９から取得する（Ｓ２１１）。これにより、図９の発生確率情報９０における発生回数９４が取得される。また、居眠り判別部３６は、カウントされた第２の時間帯における発生回数９４と、第２の時間帯の時間とから、発生確率を計算する（Ｓ２１２）。これにより、発生確率情報９０の発生確率９６が取得される。
【００５１】
居眠り判別部３６は、位置検出部４１により、現在の自己の位置を取得し、例えば、図１０の発生確率情報１００に加えて記録された、過去に記録された第３の時間帯における加加速度の発生確率が取得された位置を参照する。居眠り判別部３６は、自己の位置において過去に取得された第３の時間帯における加加速度の発生確率がある場合には、過去に走行したことがあると判別し（Ｓ２１３：ＹＥＳ）、居眠りＤＢ３９から同区間の過去の加加速度の発生確率を取得する（Ｓ２１４）。
【００５２】
居眠り判別部３６は、自己の位置において過去に取得された第３の時間帯における加加速度の発生確率がない場合には、過去に走行したことがないと判別する（Ｓ２１３：ＮＯ）。居眠り判別部３６は、居眠りＤＢ３９から、加加速度計算部３３が計算した加加速度のうち、第３の時間帯における発生回数をカウントする（Ｓ２１５）。これにより、図１０の発生確率情報１００における発生回数１０４が取得される。また、居眠り判別部３６は、カウントされた第３の時間帯における発生回数１０４と、第３の時間帯の時間帯区分１０２＝β１、β２、・・・の時間とから、発生確率を計算する（Ｓ２１６）。これにより、発生確率情報１００の発生確率１０６が取得される。居眠り判別部３６は、取得された発生確率情報９０、発生確率情報１００を、居眠りＤＢ３９に記録し（Ｓ２１７）、図１１の処理に戻る。上述のように、図１１の処理において、居眠り判別部３６は、第２の時間帯と第３の時間帯における加加速度の発生確率の差に基づき、居眠りを判別する。
【００５３】
以上説明したように、第２の実施の形態による居眠り判別システム２００によれば、瞬き判別部３１は、カメラ１７で取得した画像により、第１の時間以上継続する目の閉動作を判別する。加加速度計算部３３は、目の閉動作の直後の予め定められた第２の時間帯において加加速度を検出すると、発生したことを居眠りＤＢ３９に記録するとともに、速度加加速度７２、操舵角加加速度７４を計算する。
【００５４】
居眠り判別部３は、位置検出部４１により自己の位置を取得し、居眠りＤＢ３９に記録された発生確率情報１００において、過去に同区間を走行したことがあるか否かを判別する。走行したことがある場合には、居眠り判別部３６は、過去に発生確率情報１００に記録されている発生確率１０６を取得する。走行したことがない場合には、居眠り判別部３６は、第３の時間帯において、加加速度の発生回数１０４を算出し、発生確率１０６を求める。
【００５５】
第２の時間帯において、一定範囲内の加加速度が検出された場合には、警告部３７は、警告を発する。さらに居眠り判別部３６は、予め定められた時間内の発生確率９６の合計と、発生確率１０６の合計との差が閾値を超えている場合に居眠りと判別し、警告部３７により警告を行なう。
【００５６】
以上説明したように、第２の実施の形態による居眠り判別システム２００においては、位置検出部４１が備えられており、取得した位置とともに、第３の時間帯における発生確率を記憶しておく。居眠り判別システム２００は、居眠りを判別する際に自己の位置を検出し、第３の時間帯における加加速度の発生確率が既に居眠りＤＢ３９に記憶されているか否かを判別する。記憶されていれば、居眠り判別部３６は、既に算出されている第３の時間帯における発生確率と、新たに算出した第２の時間帯における発生確率を用いて居眠りを判別する。よって、第１の実施の形態による居眠り判別システム１による効果に加え、より処理時間を短縮することが可能である。また、上述のように居眠り判別部３６は、居眠りを判別するために発生確率を所定時間合計する。
【００５７】
なお、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または実施形態を採ることができる。例えば、上記第１、第２の時間については、上記例に限定されず、別の値を採用してもよい。カメラ１７については、目の閉動作を検出できるものであれば、別の検出器を用いてもよい。車速センサ１９、操舵角センサ２１、ＧＰＳセンサ２３についても、それぞれ車両の速度加加速度、操舵角加加速度、自己位置を検出可能なものであれば、どのような形態の装置でもよい。
【００５８】
また、上記第１または第２の実施の形態においては、第２の時間における加加速度の発生確率と、第３の時間における加加速度の発生確率とを、同一の所定時間足し合わせて差を算出したが、これに限定されない。例えば、特に第２の実施の形態において、過去に記録された第３の時間帯における発生確率を用いる場合などに、同一の所定時間足し合わせることができなければ、例えば比例計算などにより同一の時間における発生確率を算出する方法を採用する等の変更は可能である。
【００５９】
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）
車両の運転者の顔の画像を取得するとともに、取得された前記画像を解析して、前記運転者の目の開閉を検知する瞬き判別部と、
前記車両の加速度の変化を検出する加加速度検出部と、
前記瞬き判別部により第１の時間以上継続する閉眼が検出された直後の第２の時間内の前記加速度の変化の検出状況に基づき、前記運転者の居眠りを判別する居眠り判別部と、
を有することを特徴とする居眠り判別装置。
（付記２）
前記加速度の変化を計算する加加速度計算部、
をさらに有し、
前記加加速度計算部は、前記車両の速度加速度の変化、および操舵角加速度の変化のいずれか少なくとも一方の加加速度を計算し、
前記居眠り判別部は、前記第２の時間内において、前記速度加加速度が予め決められた値以上の減速方向の変化を示す値であるか、または前記操舵角加加速度の絶対値が予め決められた値以上である一定範囲の場合には、居眠りと判別する、
ことを特徴とする付記１に記載の居眠り判別装置。
（付記３）
前記居眠り判別部は、前記瞬き判別部により第１の時間以上継続する閉眼が検出された直後の第２の時間内、および前記第１の時間以外かつ第２の時間以外の第３の時間内の前記加加速度の検出状況に基づき、前記運転者の居眠りを判別する、
ことを特徴とする付記１または付記２に記載の居眠り判別装置。
（付記４）
前記居眠り判別部は、検出された前記加加速度が、前記第２の時間および前記第３の時間のいずれにおいて検出されたかを判別し、前記第２の時間内の前記一定範囲内でない前記加加速度の第１の発生確率を算出するとともに、前記第３の時間内における前記加加速度の第２の発生確率を算出し、前記第１の発生確率が前記第２の発生確率を所定値以上、上回る場合に、居眠りと判別することを特徴とする付記３に記載の居眠り判別装置。
（付記５）
過去に前記加加速度が検出された位置及び前記位置での前記第３の時間における前記加加速度の発生確率を記録する記録部と、
前記車両の現在位置を検出する位置検出部と、
をさらに有し、
前記居眠り判定部は、前記記録部に記録された情報に基づき前記現在位置を前記車両が以前通ったことがあるか否かを判別し、通ったことがある場合には、前記第３の時間における前記加加速度の発生確率を前記記録部から読み出して前記居眠りの判別に用いる、
ことを特徴とする付記４に記載の居眠り判別装置。
（付記６）
居眠り判別装置が、
車両の運転者の顔の画像を取得するとともに、取得された前記画像を解析して、前記運転者の目の開閉を検知し、
前記車両の加速度の変化を検出し、
前記瞬き判別部により第１の時間以上継続する閉眼が検出された直後の第２の時間内の前記加速度の変化の検出状況に基づき、前記運転者の居眠りを判別する、
ことを特徴とする居眠り判別方法。
（付記７）
前記車両の速度加速度の変化、および操舵角加速度の変化のいずれか少なくとも一方の加加速度を計算し、
前記第２の時間内において、前記速度加加速度が予め決められた値以上の減速方向の変化を示す値であるか、または前記操舵角加加速度の絶対値が予め決められた値以上である一定範囲の場合には、居眠りと判別する、
ことを特徴とする付記６に記載の居眠り判別方法。
（付記８）
第１の時間以上継続する閉眼が検出された直後の第２の時間内、および前記第１の時間以外かつ第２の時間以外の第３の時間内の前記加加速度の検出状況に基づき、前記運転者の居眠りを判別する、
ことを特徴とする付記６または付記７に記載の居眠り判別方法。
（付記９）
検出された加加速度が、前記第２の時間および前記第３の時間のいずれにおいて検出されたかを判別し、
前記第２の時間内の前記一定範囲内でない前記加加速度の第１の発生確率を算出するとともに、前記第３の時間内における前記加加速度の第２の発生確率を算出し、
前記第１の発生確率が前記第２の発生確率を所定値以上、上回る場合に、居眠りと判別する、
ことを特徴とする付記８に記載の居眠り判別方法。
（付記１０）
前記車両の現在位置を検出して、過去に保存された前記加加速度が検出された位置及び前記第３の時間に検出されたか否かの情報に基づき前記現在位置を前記車両が以前通ったことがあるか否かを判別し、
通ったことがある場合には、前記第３の時間における発生確率を保存された前記情報から読み出して前記居眠りの判別に用いる
ことを特徴とする付記９に記載の居眠り判別方法。
【符号の説明】
【００６０】
１      居眠り判別システム
３      居眠り判別装置
５      外部計測器
６      演算処理装置
７      主記憶装置
９      入力装置
１１      出力装置
１３      モニタ
１５      スピーカ
１７      カメラ
１９      車速センサ
２１      操舵角センサ
２３      ＧＰＳセンサ
３１      瞬き判別部
３３      加加速度計算部
３５      居眠り判別部
３７      警告部
３９      居眠りＤＢ
【図１】
0006035806.tif 000002
【図２】
0006035806.tif 000003
【図４】
0006035806.tif 000004
【図６】
0006035806.tif 000005
【図８】
0006035806.tif 000006
【図９】
0006035806.tif 000007
【図１０】
0006035806.tif 000008
【図１１】
0006035806.tif 000009
【図１２】
0006035806.tif 000010
【図１３】
0006035806.tif 000011
【図１４】
0006035806.tif 000012
【図１５】
0006035806.tif 000013
【図１６】
0006035806.tif 000014
【図３】
0006035806.tif 000015
【図５】
0006035806.tif 000016
【図７】
0006035806.tif 000017