(57)【要約】【課題】運転者の覚醒低下状態を精度よく判定する居眠り運転防止装置を提供する。【解決手段】本発明は、撮影した眼の画像データを用いて眼の開き具合である開眼度を計測する開眼度計測手段２０と、判定精度向上のために計測した瞬目のデータを補間する瞬目時データ補間部３０と、計測した開眼度と運転者が覚醒した状態で計測した開眼度とから開眼率を演算する開眼率演算手段４０と、演算した開眼率に応じて運転者の覚醒の低下を判定し、覚醒が低下している場合に運転者を覚醒させる覚醒手段５０と、運転者の反応時間に対する確率を演算する手段６０と、運転者個々人の覚醒低下の状態に合わせた覚醒のための車両制御部７０を備えた居眠り運転防止装置である。【選択図】図１
2008210285.tif 000002
【特許請求の範囲】
【請求項１】
運転者の眼を撮影する眼撮影手段と、
撮影した眼の画像データを用いて眼の開き具合である開眼度を計測する開眼度計測手段と、
計測した開眼度と運転者が覚醒した状態で計測した開眼度とから開眼率を演算する開眼率演算手段と、
演算した開眼率に応じて運転者の覚醒の低下を判定し、覚醒が低下している場合に運転者を覚醒する覚醒手段とを備えたことを特徴とする居眠り運転防止装置。
【請求項２】
前記覚醒手段は、前記開眼率が所定値以下の場合に運転者の覚醒が低下していると判定することを特徴とする請求項１に記載の居眠り運転防止装置。
【請求項３】
前記開眼度は、移動平均値を用いて演算されることを特徴とする請求項１に記載の居眠り運転防止装置。
【請求項４】
前記移動平均開眼度の演算の前に、前記開眼度の計測データから眼が瞬きしている瞬目の時間の影響を除外するデータの補間を行うデータ補間手段を備えることを特徴とする請求項３に記載の居眠り運転防止装置。
【請求項５】
前記開眼率に基づき運転者の反応時間を推定する反応時間推定手段を備えたことを特徴とする請求項１に記載の居眠り運転防止装置。
【請求項６】
前記反応時間推定手段は、前記開眼率に応じて設定される反応時間の分布関数に基づいて運転者の反応時間を推定することを特徴とする請求項５に記載の居眠り運転防止装置。
【請求項７】
前記開眼率が前記所定値以下となる状態が所定時間以上継続する場合に、居眠り運転による危険を回避する危険回避制御を実施する危険回避手段を備えることを特徴とする請求項１に記載の居眠り運転防止装置。
【請求項８】
前記危険回避手段は、車両の制動装置を制御して走行中の車両に制動力を作用させることを特徴とする請求項７に記載の居眠り運転防止装置。
【請求項９】
前記開眼度計測手段は、運転者の少なくとも一方の眼の開眼度を計測することを特徴とする請求項１に記載の居眠り運転防止装置。
【請求項１０】
前記開眼度計測手段は、前記開眼度として、眼の目頭と目尻とを結ぶ直線の中点から直線に直交する上瞼と下瞼までの距離を計測することを特徴とする請求項１に記載の居眠り運転防止装置。
【請求項１１】
前記開眼度計測手段は、前記開眼度として、眼の上瞼と下瞼とで区画される面積である開眼面積を計測することを特徴とする請求項１に記載の居眠り運転防止装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、居眠り運転防止装置の改良に関するものである。
【背景技術】
【０００２】
従来、車両運転者が眼を閉じている時間である閉眼時間を計測し、閉眼時間に応じて運転者に警報を出力することで居眠り運転を防止する居眠り運転防止装置がある。
【特許文献１】特開平８−１４７５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来の居眠り運転防止装置においては、眼が閉じた時間に基づいて運転者の居眠りを判定するため、眼は完全に閉眼していないが、覚醒水準が低下している状態の場合、居眠り運転を防止する警報の出力が遅くなり、居眠り運転による事故等を招く確率が高くなってしまうという問題がある。
【０００４】
本発明においては、上記の問題点に鑑みてなされたものであり、上記問題点を解決する居眠り運転防止装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
第１の発明は、運転者の眼を撮影する眼撮影手段と、撮影した眼の画像データを用いて眼の開き具合である開眼度を計測する開眼度計測手段と、計測した開眼度と運転者が覚醒した状態で計測した開眼度とから開眼率を演算する開眼率演算手段と、演算した開眼率に応じて運転者の覚醒の低下を判定し、覚醒が低下している場合に運転者を覚醒する覚醒手段とを備えた居眠り運転防止装置である。
【０００６】
第２の発明は、第１の発明において、前記覚醒手段が前記開眼率が所定値以下の場合に運転者の覚醒が低下していると判定する居眠り運転防止装置である。
【０００７】
第３の発明は、第１の発明において、前記開眼度が移動平均値を用いて演算されることを特徴とする請求項１に記載の居眠り運転防止装置。
【０００８】
第４の発明は、第３の発明において、前記移動平均開眼度の演算の前に、前記開眼度の計測データから眼が瞬きしている瞬目の時間の影響を除外するデータの補間を行うデータ補間手段を備える居眠り運転防止装置である。
【０００９】
第５の発明は、第１の発明において、前記開眼率に基づき運転者の反応時間を推定する反応時間推定手段を備えた居眠り運転防止装置である。
【００１０】
第６の発明は、第５の発明において、前記反応時間推定手段が前記開眼率に応じて設定される反応時間の分布関数に基づいて運転者の反応時間を推定する居眠り運転防止装置である。
【００１１】
第７の発明は、第１の発明において、前記開眼率が前記所定値以下となる状態が所定時間以上継続する場合に、居眠り運転による危険を回避する危険回避制御を実施する危険回避手段を備える居眠り運転防止装置である。
【００１２】
第８の発明は、第７の発明において、前記危険回避手段が車両の制動装置を制御して走行中の車両に制動力を作用させる居眠り運転防止装置である。
【００１３】
第９の発明は、第１の発明において、前記開眼度計測手段が運転者の少なくとも一方の眼の開眼度を計測する居眠り運転防止装置である。
【００１４】
第１０の発明は、第１の発明において、前記開眼度計測手段が前記開眼度として、眼の目頭と目尻とを結ぶ直線の中点から直線に直交する上瞼と下瞼までの距離を計測する居眠り運転防止装置である。
【００１５】
第１１の発明は、第１の発明において、前記開眼度計測手段が前記開眼度として、眼の上瞼と下瞼とで区画される面積である開眼面積を計測する居眠り運転防止装置である。
【発明の効果】
【００１６】
第１の発明では、計測した開眼度と運転者が覚醒した状態で計測した開眼度とから設定される開眼率を用いて運転者の覚醒低下の状態を判定し、判定に応じて運転者を覚醒するので、運転者の覚醒の状態を精度よく判定し、居眠り運転を確実に防止することができる。
【００１７】
第２の発明では、運転者の開眼率が所定値以下の場合に運転者の覚醒が低下していると判定するので、運転者の覚醒低下を運転者の開眼度にかかわらず精度よく判定することができる。
【００１８】
第３の発明では、開眼度を移動平均値とすることで、開眼度に基づき算出される開眼率の算出精度を向上することができる。
【００１９】
第４の発明では、瞬目中の開眼度を、瞬目前後の開眼度を用いて補間することによって、反応時間の推定や定量判定算出の精度を向上することができる。
【００２０】
第５、６の発明では、運転者個々人の覚醒レベルを定量的に測ることができる。
【００２１】
第７、８の発明では、車両の制動制御を行う危険回避手段を備えたので、運転者の覚醒が復帰しない場合にも居眠り運転に起因する事故を防止することが可能となる。
【００２２】
第９の発明では、運転者の一方の眼の開眼度を測定するればよいので、コスト低減を図ることができる。
【００２３】
第１０、１１の発明では、開眼度を容易に計測することができる。
【発明を実施するための最良の形態】
【００２４】
図１は、本発明の居眠り運転防止装置のシステム構成図を示す。
【００２５】
本発明のシステムは、運転者の少なくとも一方の眼を撮影するデジタルカメラ等からなる開眼度計測用データ取得部１０と、取得した眼の画像データを用いて開眼度及び開眼率を演算し、開眼率から運転者の覚醒低下の状態を判定し、車両を制御するコントローラ１００とからなる。
【００２６】
コントローラ１００は、撮影した眼の画像データから開眼度を計測する開眼度計測部２０と、計測する開眼度の精度向上のための瞬目時のデータを補間するデータ補間保管部３０と、計測した開眼度から開眼率を演算する開眼率演算部４０と、演算した開眼率に基づいて運転者の覚醒状態を判定する覚醒状態判定部５０と、演算した開眼率に基づいて運転者の反応時間と反応時間以下で反応する確率とを演算する反応時間演算部６０と、運転者の覚醒状態に応じて運転者への警告及び車両の走行状態を制御する車両制御部７０とから構成される。
【００２７】
開眼度計測部２０は、開眼度計測用データ取得部１０が撮影した画像データをデジタル処理して開眼度D(pixel)を求める。ここで、開眼度Dの算出規定について図２を用いて説明する。開眼度Dは、眼の開き具合の指標であり、例えば、眼の目頭と目尻とを結ぶ直線の中点から直線に直交する方向での直線から上瞼及び下瞼までの距離の合計の長さ（開眼度の計測位置は、定位置とする必要があるが、目頭と目尻とを結ぶ直線の中点にこだわらなくてもよい）とする。開眼度Dの基準値としては、明らかに覚醒がはっきりしている状態、覚醒状態にある場合、例えば車両運転開始時の開眼度を基準値とする。ここで、開眼度Dは、左右の開眼度が同じと考えることができるため、少なくとも左右一方の眼の開眼度を測定すればよい。なお、開眼度として図３に示すように上瞼と下瞼とで区画される領域の面積である開眼面積を開眼度として用いてもよい。以下の説明においては、上瞼と下瞼との間の距離を用いて説明するが、開眼面積に適用することが可能であることはいうまでもない。
【００２８】
瞬目時データ補間部３０は、眼の瞬き（以下、瞬目）による閉眼が覚醒状態の判定に影響するため、瞬目による開眼度のデータの補間を行う。開眼度のデータ取得中に瞬目が生じると図４に示すように一時的に開眼度が低下するようなデータとなる。この低下傾向を示す時間に応じて瞬目か否かを判断し、瞬目であれば、図５に示すような補間処理を行う。補間処理の方法としては、瞬目が生じる前後の開眼度のデータを用いて瞬目が生じなかった場合の開眼度を推定、補間する。
【００２９】
具体的には、以下の方法によりデータの補間を実施する。
【００３０】
瞬目時i（i=1,…,d）番目の開眼度のデータは、下式により瞬目期間の取得データを補間する。
【００３１】
【数１】
2008210285.tif 000003
【００３２】
なお、上式において、x_init：閉眼する直前の開眼度、x_current：閉眼が終了した直後の開眼度、d：閉眼状態において取得されたデータのフレーム数、を示す。
【００３３】
開眼率演算部４０では、開眼度計測部２０で計測した開眼度Dを基準値と比較して開眼率（％）を演算する。開眼率とは、前述したように運転者の覚醒がはっきりとした覚醒状態での眼の開眼度を基準として、測定時の眼の開眼度を百分率で示す指標であり、個々人の開眼度のバラツキを排除する効果もある。以下、開眼率EORの演算方法について説明する。
【００３４】
任意の時刻Tにおける開眼率EORは、下式で算出される。
【００３５】
【数２】
2008210285.tif 000004
【００３６】
ここで、EOR(T)：時刻Tにおける開眼率、D(T)：時刻Tにおける開眼度、Dawake：覚醒時の開眼度である。
【００３７】
但し、ここでの開眼度Dは瞬目時データ補間部３０にて補間済みのものを用いる。また、測定誤差の影響を少なくするために下式に示すように開眼度は移動平均値として開眼率EORを算出しても良い。
【００３８】
【数３】
2008210285.tif 000005
【００３９】
ここで、T：測定時刻、Ta：解析開始時刻、Tb：解析終了時刻を表す。
【００４０】
このようにして演算された開眼率EORを用いて覚醒状態判定部５０にて、運転者の覚醒状態を判定する。覚醒状態判定部５０で行われる覚醒状態の判定は、図６、図７のフローチャートを用いて説明する。
【００４１】
本発明の居眠り運転防止装置は、眼の開眼率が運転者の覚醒の低下度合いを示す反応時間と一定の関係があることを発明者らが見出し、開眼率によって覚醒の低下状態を判定して運転者に警告や注意喚起を行い、覚醒状態に復帰させることを目的としている。ここで、開眼率EORを用いることにより、各運転者により開眼度Dが異なっても的確に運転者の覚醒低下の状態を判定することができるのである。
【００４２】
図８は、反応時間RTと開眼率EORとの関係を示すグラフであり、開眼率１００％程度、すなわち覚醒状態にある場合に比して、開眼率EORが低下するほどに反応時間が遅くなる相関関係にあることが分かる。また発明者は、運転者の開眼率EORと反応時間RTの分布関数（CDF：Cumulative Distribution Function）との関係を実験的に見出した。この関係性を利用して、反応時間演算部６０では、運転者の現在の開眼率を算出し，車の制御などで必要な反応時間に対して、運転者の反応時間を図８に示すようなグラフを用いて推定することが可能である。また、運転者が反応できる確率を推定することが図９に示すような図を用いて可能である。例えば、障害物への衝突時間が現車速と障害物までの距離から予測される場合には、その時の運転者の開眼率によって反応時間が遅れて衝突する確率値を推定することができる。したがって、本発明では、この開眼率に応じて運転者の覚醒の状態を推定し、その覚醒の低下状態に応じて、この状況を運転者に知らしめたり、車両制御を用いて覚醒状態に復帰させる手段を実施する。
【００４３】
次に、コントローラ１００が実施する居眠り運転防止制御を図６、図７に示すフローチャートを用いて説明する。
【００４４】
まずステップＳ０では、瞬目時データ補間部３０にて必要なパラメータ（ここで、x_last：１フレーム前に測定した開眼度、Flag：計測データの補間要否を表すフラグであり、「１」で補間不要、「０」で補間必要を示し、Frm：瞬目判断の閾値、E1：閉眼状態を判定する閾値、E2：閉眼後の開眼を判定する閾値を示す）の初期化を行う。
【００４５】
ステップＳ１では、開眼度計測用データ取得部１０としてのデジタルカメラから画像データを取り込む。画像データの取得間隔は、演算する平均開眼率の精度に関連するため、必要な精度に応じて任意に設定すればよい。ステップＳ２では、取り込んだ画像データを画像処理して開眼度Dを計測する。
【００４６】
続くステップＳ３からステップＳ１２において、瞬目による平均開眼度の演算精度悪化を除外するために、瞬目データの補間処理を行う。
【００４７】
以下に、瞬目データの補間処理について説明する。
【００４８】
計測時に瞬目が発生した場合、その瞬目によって閉眼している間の開眼度については、眠気によるものとは区別する必要がある。そのため、瞬目が発生した場合には、その間の開眼度については瞬目の直前の開眼度および瞬目が終了した直後の開眼度を用いて欠損したデータを補間する。
【００４９】
まずステップＳ３では、データ補間の必要性を表す状態指標フラグの状態を調べる。状態指標フラグが「１」の場合、補間は不要と判断してステップＳ９へ移行する。
【００５０】
ステップＳ９で現在より１フレーム前に測定した開眼度x_lastと現在測定した開眼度x_currentの差が閾値Ｅ１以下の場合には、ステップＳ１２で現在より１フレーム前に測定した開眼度データx_lastを現在測定した開眼度データx_currentで置き換えてステップＳ１３へ移行する。ステップＳ９で現在より１フレーム前に測定した開眼度x_lastと現在測定した開眼度x_currentの差が、閉眼状態となったか否かを判定する閾値Ｅ１（例えば1.4mm）より大きければ、ステップＳ１０で状態指標フラグに「０」を格納する。ステップＳ１１で、フレーム数dに初期値１を格納し、閉眼状態になる直前の開眼度のデータx_initを現在より１フレーム前に測定した開眼度データx_lastで置き換えてステップＳ１へ戻り処理を継続する。
【００５１】
ステップＳ３で状態指標フラグが「０」であれば、ステップＳ４に進み、閉眼後サンプリングされたフレーム数dと、瞬目判定つまり閉眼後何フレームまで開眼されれば瞬目と判定するかのフレーム数閾値Frm（例えば２０フレーム）とを比較する。閉眼後のフレーム数dが閾値Frmよりも少なければ瞬目と判定してステップＳ５へ移行する。
【００５２】
ステップＳ５で閉眼状態になる直前の開眼度x_initと現在測定した開眼度x_currentの差が、閉眼した後、再び開眼したか否かを判定する閾値E2よりも大きければ、ステップＳ６で処理フレーム数dを１つカウントアップしてステップＳ１に戻り、処理を継続する。ステップＳ５で閉眼状態になる直前の開眼度x_initと現在測定した開眼度x_currentの差が閾値E2（例えば2.8mm）以下であれば、ステップＳ７で瞬目期間のデータを数式１で補間し、Ｓ８で状態指標フラグに「１」を格納してステップＳ１３へ移行する。
【００５３】
もし、ステップＳ４で閉眼後サンプリングされたフレーム数dが閾値Frm以上であれば、ステップＳ８で状態指標フラグに「１」を格納してステップＳ１３へ移行する。
【００５４】
続いてステップＳ１３で、計測した開眼度Dの移動平均値を算出する。なお、移動平均を用いない場合は、ステップ４の処理を省き、代わりにその時刻の開眼度DをステップＳ１４以降で用いても良い。ステップＳ１４では、算出した移動平均開眼度と基準となる覚醒時の移動平均開眼度とから開眼率EORを演算する。開眼率EORは、ステップＳ１３で演算した移動平均開眼度と覚醒状態での開眼度との比で算出される。
【００５５】
続くステップＳ１５以下のステップでは、演算した開眼率EORを用いて、運転者の覚醒状態を判定し、覚醒の低下状態に応じた警報等を運転者に発する。
【００５６】
まずステップＳ１５では、開眼率EORと第１所定値、例えば９０％とを比較して、９０％以下ではステップＳ１６へ進み、９０％を超えていればステップＳ１７へと進む。ステップＳ１７では、運転者ははっきりした覚醒状態にあると判定し、続くステップＳ２６で警報の有無を確認し、警報が発せられていればステップＳ２７で警報を解除してステップＳ１の画像データの取り込みに戻る。
【００５７】
ステップＳ１６では、開眼率EORと第１所定値より小さい第２所定値、例えば８０％とを比較し、８０％以下ではステップＳ１８へ進み、８０％を超えていればステップＳ１９へと進む。ステップＳ１９では、運転者が軽度の覚醒低下状態にあるとして、１次警報を発する。１次警報としては、例えば、音声、音楽や警報音を鳴らすことにより運転者の覚醒を正常状態に復帰させる。
【００５８】
ステップＳ１８では、開眼率EORを第２所定値より小さい第３所定値、例えば６５％と比較して、６５％以下ではステップＳ２０に進み、６５％を超えていればステップＳ２１へ進む。
【００５９】
ステップＳ２１では、運転者が中度の覚醒低下状態にあると判定して２次警報、例えば１次警報に加えて不快で耳障りな警告音を頻繁に発する。一方、ステップＳ２０では、運転者が重度の覚醒低下状態にあるとして３次警報を発する。３次警報としては、例えば、２次警報に加えて、窓開け、シートベルトの巻き込みや、制動制御により車両を減速して運転者の覚醒を覚醒させる。
【００６０】
ステップＳ２０に続くステップＳ２２では、開眼率EORが第３所定値以下である、つまり睡眠している入眠状態と判断しうる状態の継続時間を所定時間と比較する。ここで所定時間は、例えば３秒である。３秒以下であれば、３次警報により３秒以内に覚醒状態に復帰したと判定でき、この場合にはステップＳ１に戻る。対して３次警報を発したにもかかわらず３秒を超えて覚醒状態に復帰しない場合には、居眠り運転による危険を回避する危険回避制御を、例えば以下のように実施する。
【００６１】
まずステップＳ２３で運転者が重度の覚醒低下状態にあることを車両の運行管理者に連絡するとともに、続くステップＳ２４で車両の制動装置を制御して車両を減速状態に移行する。同時に後続車への注意喚起のため、ハザードランプを点灯してもよい。そしてステップＳ２５で車両が高速道路を走行している場合には、車速を法定最低速度まで減速して、その速度を維持する。法定最低速度の規定のない一般道路を走行している場合には停車状態まで車速を減速するようにしてもよい。また、車両が障害物へ接近し衝突までの時間が現車速と障害物までの距離から予測される場合には、反応時間演算部６０で運転者の現開眼率EORから反応時間RTが遅れて衝突する確率値を下式にて推定することができる。
【００６２】
【数４】
2008210285.tif 000006
【００６３】
ここに、hRT[RT,EOR]：開眼率EORに対する反応時間の分布関数、fRT[t,EOR]：反応時間EORに対する反応時間の確率密度、RT：反応時間、t：時間を示す。
【００６４】
この値を使って事前に危険回避制御を実施することで、居眠り運転による事故の可能性を低減することができる。
【００６５】
ここで、式４で表される反応時間RTの分布関数について、図９で説明する。図中のグラフ（分布関数）は、ある反応時間RT以下で反応することが出来る確率を表している。例えば、このグラフは開眼率EORが65％のときの分布関数が、図中のグラフであるとする。このとき、1.2秒以下で反応できる確率は、57％であることが推定される。また、逆に100％から57％を引いた残余である43％は、反応時間RTが1.2秒より遅れる確率を表すことになる。
【００６６】
ステップＳ２５に続くステップＳ２８では、車両のメインスイッチのオンオフ状態を読み込み、オンであればステップＳ１に進み、居眠り運転防止制御を継続し、オフであれば制御を終了する。
【００６７】
したがって、本発明は、運転者の眼を撮影し、撮影した眼の画像データから開眼度を計測し、計測した開眼度と運転者が覚醒した状態で計測した開眼度とから開眼率を演算する。演算した開眼率を所定値と比較し、所定値以下の場合に運転者の覚醒が低下しているとして運転者を覚醒する居眠り運転防止装置であり、計測時の開眼度と基準となる覚醒時の開眼度とから演算する開眼率を用いて運転者の覚醒状態を判定することにより、運転者の覚醒低下をより精度よく判定し、この判定結果により運転者を覚醒させることで、確実に居眠り運転を防止することができる。
【００６８】
本発明は上記の実施の形態に限定されずに、その技術的な思想の範囲内において種々の変更がなしうることは明白である。
【図面の簡単な説明】
【００６９】
【図１】本実施形態の居眠り運転防止装置のシステム構成図である。
【図２】開眼度の説明図である。
【図３】開眼面積を説明する図である。
【図４】瞬目を説明する図である。
【図５】計測データの補間を説明する図である。
【図６】居眠り運転防止制御を説明するフローチャートである。
【図７】居眠り運転防止制御を説明するフローチャートである。
【図８】反応時間RTと開眼率EORとの関係を示す図である。
【図９】反応時間RTの分布関数を説明する図である。
【符号の説明】
【００７０】
Ｄ：開眼度
ＥＯＲ：開眼率
１０：開眼度計測用データ取得部
２０：開眼度計測部
３０：瞬目時データ補間部
４０：開眼率演算部
５０：覚醒状態判定部
６０：反応時間演算部
７０：車両制御部
１００：コントローラ
【図４】
2008210285.tif 000007
【図５】
2008210285.tif 000008
【図６】
2008210285.tif 000009
【図７】
2008210285.tif 000010
【図８】
2008210285.tif 000011
【図１】
2008210285.tif 000012
【図２】
2008210285.tif 000013
【図３】
2008210285.tif 000014
【図９】
2008210285.tif 000015