(57)【特許請求の範囲】
【請求項１】
ドライバの顔情報を取得する顔情報取得手段と、
前記ドライバの顔情報に基づいて前記ドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、
前記ドライバの顔情報に基づいて前記ドライバの顔向きのばらつきを求める顔向きばらつき計算手段と、
前記ドライバの開眼時間のばらつきと前記ドライバの顔向きのばらつきとに基づいて、前記ドライバの覚醒度を判定する覚醒度判定手段と、
前記覚醒度判定手段により判定された前記ドライバの覚醒度から前記ドライバのぼんやり状態が検知された後、前記ドライバの開眼時間のばらつきの増減傾向に基づいて、前記ドライバに眠気が発生する可能性があるかどうかを判定する眠気発生判定手段と、
を備えることを特徴とする生体状態判定装置。
【請求項２】
前記覚醒度判定手段は、前記ドライバの顔向きのばらつきが少なくなるほど前記ドライバの覚醒度が低くなると判定することを特徴とする請求項１記載の生体状態判定装置。
【請求項３】
前記眠気発生判定手段により前記ドライバに眠気が発生する可能性があると判定されたときに、前記ドライバの開眼時間のばらつきを近似して得られる近似式の傾きと予め設定された閾値とに基づいて、前記ドライバに眠気が発生する時刻を予測する眠気発生時刻予測手段を更に備えることを特徴とする請求項１又は２記載の生体状態判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ドライバの生体状態を判定する生体状態判定装置に関するものである。
【背景技術】
【０００２】
従来の生体状態判定装置としては、例えば特許文献１に記載されているものが知られている。特許文献１に記載の生体状態判定装置は、覚醒度を反映する閉眼時間割合等の運転者情報と、注意集中度を反映する頭部振動伝達率等の運転者情報とを検出し、各運転者情報の運転者個人の平均値及び標準偏差を演算し、この平均値及び標準偏差と車両・運転環境情報とに基づいて、運転者の居眠り状態、居眠り葛藤状態、集中状態、漫然状態を判定するものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２６５３７７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来技術においては、眠気が出る前のぼんやり状態とそれ以外の状態とで値が異なる指標（特徴量）が無いため、ぼんやり状態のような不明確な生体状態を一義的に判定するのは困難である。【０００５】
本発明の目的は、ドライバのぼんやり状態を的確に判定することができる生体状態判定装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明の生体状態判定装置は、ドライバの顔情報を取得する顔情報取得手段と、ドライバの顔情報に基づいてドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段と、ドライバの顔情報に基づいてドライバの顔向きのばらつきを求める顔向きばらつき計算手段と、ドライバの開眼時間のばらつきとドライバの顔向きのばらつきとに基づいて、ドライバの覚醒度を判定する覚醒度判定手段とを備えることを特徴とするものである。【０００７】
このような本発明の生体状態判定装置においては、ドライバの顔情報に基づいて、ドライバの開眼時間のばらつきとドライバの顔向きのばらつきとを求める。ここで、ドライバの開眼時間のばらつきが増加すると共にドライバの顔向きのばらつきが減少すると、ドライバの覚醒度が低くなり、ドライバがぼんやり状態となる傾向にある。そこで、ドライバの開眼時間のばらつきとドライバの顔向きのばらつきとに基づいて、ドライバの覚醒度を判定することにより、ぼんやり状態の判定精度を高くすることができる。【０００８】
好ましくは、覚醒度判定手段は、ドライバの顔向きのばらつきが少なくなるほどドライバの覚醒度が低くなると判定する。これにより、ドライバの顔向きのばらつきが少なくなると、ドライバがぼんやり状態となる傾向にあると判断することができる。【０００９】
また、覚醒度判定手段により判定されたドライバの覚醒度からドライバのぼんやり状態が検知された後、ドライバの開眼時間のばらつきの増減傾向に基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気発生判定手段を更に備える。ドライバの開眼時間のばらつきが減少傾向にあるときは、ドライバがぼんやり状態から眠気状態へ移行するようになる。このようにドライバに眠気が発生する可能性があるかどうかを判定することにより、眠気を抑えるための対応策をドライバに取らせることができる。
【００１０】
このとき、好ましくは、眠気発生判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの開眼時間のばらつきを近似して得られる近似式の傾きと予め設定された閾値とに基づいて、ドライバに眠気が発生する時刻を予測する眠気発生時刻予測手段を更に備える。この場合には、例えば眠気が発生する時刻または眠気が発生するまでの時間をドライバに告知することで、ドライバに対して休息を促すことができる。
【発明の効果】
【００１１】
本発明によれば、ドライバのぼんやり状態を的確に判定することができる。これにより、ドライバの生体状態をより詳細に判別することが可能となる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。
【図２】図１に示したＥＣＵにより実行される処理手順を示すフローチャートである。
【図３】単位時間幅内における開眼時間のばらつきの一例を示す図である。
【図４】開眼時間格納バッファの一例を示す表である。
【図５】ドライバの顔向き左右角を示す概念図である。
【図６】顔向き角格納バッファの一例を示す表である。
【図７】開眼時間ばらつきと顔向き左右角ばらつきとぼんやり検知フラグとの関係の一例を示すグラフである。
【図８】ぼんやり検知フラグと開眼時間ばらつきとの関係の一例を示すグラフである。
【図９】２つのデータ処理区間が設定された顔向き左右角ばらつきの一例を示すグラフである。
【図１０】図９に示したデータ処理区間毎の顔向き左右角ばらつきの周波数分布を示すグラフである。
【図１１】眠気発生可能性判定結果と開眼時間ばらつきとの関係の一例を示すグラフである。
【図１２】本発明に係わる生体状態判定装置の一実施形態を実走行に適用した実施例において、開眼時間ばらつきと顔向き左右角ばらつきとの関係を示すグラフである。
【図１３】本発明に係わる生体状態判定装置の一実施形態を実走行に適用した他の実施例において、開眼時間ばらつきと顔向き左右角ばらつきとの関係を示すグラフである。
【発明を実施するための形態】
【００１３】
以下、本発明に係わる生体状態判定装置の好適な実施形態について、図面を参照して詳細に説明する。
【００１４】
図１は、本発明に係わる生体状態判定装置の一実施形態の概略構成を示すブロック図である。本実施形態の生体状態判定装置１は、車両に搭載され、車両のドライバの生体状態を判定する装置である。
【００１５】
生体状態判定装置１は、顔撮像カメラ２と、ＥＣＵ（Electronic Control Unit）３と、出力器４とを備えている。顔撮像カメラ２は、ドライバの顔を撮像し、顔画像を生成する。出力器４としては、音声出力を発生させる機器や、画面表示を行う機器が用いられる。
【００１６】
ＥＣＵ３は、ＣＰＵ、ＲＯＭやＲＡＭ等のメモリ、入出力回路等により構成されている。ＥＣＵ３は、顔撮像カメラ２の撮像画像を入力し、所定の処理を行い、ドライバの覚醒度を判定し、その覚醒度からドライバの生体状態（覚醒状態、ぼんやり状態、眠気状態等）を判別し、その判別結果を出力器４に送出する。
【００１７】
図２は、ＥＣＵ３により実行される処理手順を示すフローチャートである。同図において、まず顔撮像カメラ２の顔画像データを取得する（手順Ｓ５１）。そして、図３に示すように、顔画像データから瞼の開閉を判断し、眼が開いている時間（開眼時間）を検出する（手順Ｓ５２）。なお、図３において、tonはｎ回目の開眼時間であり、tsnはｎ回目の開眼の開始時刻であり、tenはｎ回目の開眼の終了時刻である。
【００１８】
続いて、図４に示すように、開眼時間データ（開始時刻tsn、終了時刻ten、開眼時間ton）を開眼時間格納バッファに保持する（手順Ｓ５３）。ここで、開眼時間格納バッファのサイズ要件としては、ten−ts１＞ｔｗを満足している。なお、ｔｗ（図３参照）は、開眼時間のばらつき（後述）を定量化する際の単位時間幅である。
【００１９】
続いて、図５に示すように、手順Ｓ５１で取得した顔画像データからドライバの顔向き左右角βを検出する（手順Ｓ５４）。顔向き左右角βは、車両前後方向（Ｚ軸方向）に対する顔向き角度であり、ここでは右向きを正としている。
【００２０】
続いて、図６に示すように、顔向き左右角データ（走行時間tn、顔向き左右角βn）を顔向き角格納バッファに保持する（手順Ｓ５５）。ここで、顔向き角格納バッファのサイズ要件としては、tn−t１＞ｔｗを満足している。なお、ここでのｔｗは、顔向き左右角のばらつき（後述）を定量化する際の単位時間幅である。
【００２１】
続いて、複数の開眼時間のばらつきを統計量として計算する（手順Ｓ５６）。統計量としては標準偏差及び分散等があるが、ここでは標準偏差を求める。このとき、単位時間幅ｔｗ内の開眼時間データを取得し、開眼時間ばらつき（標準偏差）Ｔsdを以下のようにして算出する。
単位時間幅ｔｗ内に含まれる開眼時間＝｛ｔｏ１，ｔｏ２，ｔｏ３，…ｔｏｎ｝
【数１】
0005447657.tif 000002
【００２２】
また、過去に検出された開眼時間データを任意の個数だけ取得して、開眼時間ばらつきＴsdを求めても良い。具体的には、図４に示すような開眼時間格納バッファに格納されている開眼時間データを、最新のものから遡って任意の個数だけ抽出する。例えば、最新の開眼時間をｔｏｎ、個数を３とすると、抽出される開眼時間は、ｔｏｎ−２，ｔｏｎ−１，ｔｏｎの３つとなる。そして、これらの開眼時間データを用いて、上記式により開眼時間ばらつきＴsdを算出する。
【００２３】
続いて、複数の顔向き左右角（絶対値）のばらつきを統計量として計算する（手順Ｓ５７）。統計量としては標準偏差及び分散等があるが、ここでも標準偏差を求める。このとき、単位時間幅ｔｗ内の顔向き左右角（絶対値）データを取得し、顔向き左右角ばらつき（標準偏差）βsdを以下のようにして算出する。
単位時間幅ｔｗ内に含まれる顔向き左右角（絶対値）＝｛β１，β２，β３，…βｎ｝
【数２】
0005447657.tif 000003
【００２４】
続いて、図７に示すように、開眼時間ばらつきＴsdと顔向き左右角ばらつきβsdとを各々閾値処理することで、ドライバのぼんやり状態を検知する（手順Ｓ５８）。具体的には、開眼時間ばらつきＴsdと閾値ＴＨ１とを比較すると共に、顔向き左右角ばらつきβsdと閾値ＴＨ２とを比較する。このとき、時刻ｔにおける開眼時間ばらつきＴsd（ｔ）及び顔向き左右角ばらつきβsd（ｔ）が下記の条件を満足したときは、ぼんやり検知フラグがＯＮとなり、下記の条件を満足しないときは、ぼんやり検知フラグがＯＦＦとなる。
Ｔsd（ｔ）＞ＴＨ１
βsd（ｔ）＜ＴＨ２
【００２５】
なお、図７において、区間ＤＴＨ１は、閾値ＴＨ１を設定するためのデータ取得区間であり、区間ＤＴＨ２は、閾値ＴＨ２を設定するためのデータ取得区間である。
【００２６】
閾値ＴＨ１の設定法としては、以下の方法が挙げられる。即ち、下記式の通り、運転開始から任意時刻ｔｎまでの開眼時間ばらつきの統計量から閾値ＴＨ１を設定する。
ＴＨ１＝T_MEAN_SD＋Ｎ×T_STDEV_SD          …（Ａ）
T_MEAN_SD：運転開始から任意時刻ｔｎまでの開眼時間ばらつきの平均値
Ｎ：係数（例えば３）
T_STDEV_SD：運転開始から任意時刻ｔｎまでの開眼時間ばらつきの標準偏差
【００２７】
また、ドライバの名前と閾値ＴＨ１の値とを対応づけてデータベースとして保管しておき、運転開始時に個人認証を行い、ドライバに対応するデータベースを参照して閾値ＴＨ１を設定しても良い。この場合、例えばドライバが初めて本装置を使った時のデータを閾値ＴＨ１として保持しておく必要がある。
【００２８】
さらに、上記（Ａ）式における係数Ｎの値を、ドライバの着用物によって変えても良い。例えばドライバがメガネを着用している場合には、裸眼の場合に比べて、ぼんやりしていなくても目が疲れやすい傾向にあることから、開眼時間ばらつきが大きくなることがあるので、係数Ｎを大きくする（例えばＮ＝５）とすることで、誤検知しにくくする。この場合、例えば顔撮像カメラ２によりドライバがメガネを着用しているか否かを判定し、メガネを着用しているときは、メガネ有り用のデータベースを参照して閾値ＴＨ１を設定し、メガネを着用していないときは、メガネ無し用のデータベースを参照して閾値ＴＨ１を設定する。
【００２９】
閾値ＴＨ２の設定法としては、以下の方法が挙げられる。即ち、下記式の通り、運転開始から任意時刻ｔｎまでの顔向き左右角ばらつきの統計量から閾値ＴＨ２を設定する。
ＴＨ２＝β_MEAN_SD−Ｎ×β_STDEV_SD          …（Ｂ）
β_MEAN_SD：運転開始から任意時刻ｔｎまでの顔向き左右角ばらつきの平均値
Ｎ：係数（例えば２）
β_STDEV_SD：運転開始から任意時刻ｔｎまでの顔向き左右角ばらつきの標準偏差
【００３０】
また、ドライバの名前と閾値ＴＨ２の値とを対応づけてデータベースとして保管しておき、運転開始時に個人認証を行い、ドライバに対応するデータベースを参照して閾値ＴＨ２を設定しても良い。この場合にも、例えばドライバが初めて本装置を使った時のデータを閾値ＴＨ２として保持しておく必要がある。
【００３１】
続いて、図８に示すように、ぼんやり検知フラグ及び開眼時間ばらつきに基づき、直線あてはめ手法を用いて将来におけるドライバの眠気発生の可能性を判定する（手順Ｓ５９）。
【００３２】
具体的には、ぼんやり検知フラグがＯＦＦからＯＮになる時刻を、直線あてはめ区間の先頭時間ｔｓに設定する。次いで、時刻ｔｓから直線あてはめ区間幅ＬＷだけ経過した時刻を直線あてはめ区間の末尾時間ｔｅに設定する。次いで、時刻ｔｓ〜時刻ｔｅの区間の開眼時間ばらつきデータに対し、直線近似式を取得する。近似方法の一例としては、最小自乗法がある。直線近似式ＳＤは、以下の通りである。
ＳＤ＝Ａｔ＋Ｂ      …（Ｃ）
【００３３】
そして、上記（Ｃ）式の傾きＡに対し、下記のような判断を行う。
Ａ＜０      …（条件１）
Ａ≧０      …（条件２）
ここで、Ａ＜０（条件１）を満足するときは、ぼんやり状態から眠気状態へ移行すると推定され、Ａ＞０を満足するときは、ぼんやり状態から覚醒状態へ移行すると推定される。
【００３４】
なお、直線あてはめ区間幅ＬＷは、例えば３分に設定される。その理由としては、睡眠潜時（寝入るまでの時間）が短い人（睡眠障害の患者）でも最短３分程度であることによる。これにより、健常者を含むどのドライバについても、眠気発生の可能性を素早く判定することができる。また、時刻ｔｅは、開眼時間ばらつきデータの取得が完了する時刻であるため、眠気発生の可能性の判定を行う時刻でもある。
【００３５】
上記（Ｃ）式においてＡ＜０（条件１）を満たすと判断されたときは、図９に示すように、顔向き左右角ばらつきデータに対し、２つのデータ処理区間Ｐ，Ｑを設定する。データ処理区間Ｐは、時刻（ｔｓ−ＬＷ）〜時刻ｔｓまでの時間幅区間であり、データ処理区間Ｑは、時刻ｔｓ〜時刻ｔｅまでの時間幅区間である。
【００３６】
次いで、データ処理区間Ｐの顔向き左右角ばらつきデータを切り出し、それに対して周波数解析処理（例えばＦＦＴ処理）を施すことにより、図１０（Ａ）に示すように、周波数成分に対する振幅スペクトル（周波数分布）を得る。そして、データ処理区間Ｐの顔向き左右角ばらつきデータの周波数分布における重心周波数ｆｇ１を抽出する。
【００３７】
また、上記と同様にして、データ処理区間Ｑの顔向き左右角ばらつきデータを切り出し、それに対して周波数解析処理を施すことにより、図１０（Ｂ）に示すような周波数分布を得る。そして、データ処理区間Ｑの顔向き左右角ばらつきデータの周波数分布における重心周波数ｆｇ２を抽出する。
【００３８】
そして、重心周波数ｆｇ１，ｆｇ２の関係が下記式を満たすときに、ドライバに眠気発生の可能性があると判断する。
ｆｇ１＞ｆｇ２
【００３９】
続いて、手順Ｓ５９においてドライバに眠気発生の可能性があると判定されたときは、図１１に示すように、眠気発生可能性の判定結果と直線近似式ＳＤとを用いて、将来のドライバの眠気発生予想時刻を推定する（手順Ｓ６０）。具体的には、まず直線近似式ＳＤを延長した線（眠気発生予想直線）と眠気発生状態検知用の閾値ＴＨ３との交点となる時刻ｔｄを計算する。その時刻ｔｄが眠気発生予想時刻と推定される。また、時刻ｔｅは眠気発生予想時刻の推定処理を行う時刻となるため、時刻ｔｄと時刻ｔｅとの時間差（眠気発生予想時刻までの所要時間）を計算する。
【００４０】
続いて、手順Ｓ５８〜Ｓ６０の処理結果として、ドライバがぼんやり状態であるか否か、ドライバに眠気発生の可能性があるか否か、ドライバに眠気が発生するまでの所要時間等を、出力器４に送出してドライバに伝える（手順Ｓ６１）。
【００４１】
図１２は、生体状態判定装置１を実走行に適用した実施例を示したものである。同図において、開眼時間ばらつきが閾値ＴＨ１よりも大きくなり、顔向き左右角ばらつきが閾値ＴＨ２よりも小さくなる時刻Ｔａで、ドライバのぼんやり状態が検知されている。また、直線近似式ＳＤを延長した眠気発生予想直線と閾値ＴＨ３との交点となる時刻Ｔｃが、ドライバが眠くなる時刻であると予想されている。このとき、ドライバにより申告された実際の眠気発生時刻は、時刻Ｔｃにほぼ一致した。
【００４２】
図１３は、生体状態判定装置１を実走行に適用した他の実施例を示したものである。同図においても、開眼時間ばらつきが閾値ＴＨ１よりも大きくなり、顔向き左右角ばらつきが閾値ＴＨ２よりも小さくなる時刻Ｔａで、ドライバのぼんやり状態が検知されている。また、直線近似式ＳＤを延長した眠気発生予想直線と閾値ＴＨ３との交点となる時刻Ｔｃが、ドライバが眠くなる時刻であると予想されている。このときも、ドライバにより申告された実際の眠気発生時刻は、時刻Ｔｃにほぼ一致した。
【００４３】
以上において、顔撮像カメラ２とＥＣＵ３の上記手順Ｓ５１（図２参照）とは、ドライバの顔情報を取得する顔情報取得手段を構成する。ＥＣＵ３の上記手順Ｓ５２，Ｓ５３，Ｓ５６（図２参照）は、ドライバの顔情報に基づいてドライバの開眼時間のばらつきを求める開眼時間ばらつき計算手段を構成する。同手順Ｓ５４，Ｓ５５，Ｓ５７は、ドライバの顔情報に基づいてドライバの顔向きのばらつきを求める顔向きばらつき計算手段を構成する。同手順Ｓ５８は、ドライバの開眼時間のばらつきとドライバの顔向きのばらつきとに基づいて、ドライバの覚醒度を判定する覚醒度判定手段を構成する。
【００４４】
また、同手順Ｓ５９は、覚醒度判定手段によりにより判定されたドライバの覚醒度からドライバのぼんやり状態が検知された後、ドライバの開眼時間のばらつきの増減傾向に基づいて、ドライバに眠気が発生する可能性があるかどうかを判定する眠気発生判定手段を構成する。同手順Ｓ６０は、眠気発生判定手段によりドライバに眠気が発生する可能性があると判定されたときに、ドライバの開眼時間のばらつきを近似して得られる近似式の傾きと予め設定された閾値とに基づいて、ドライバに眠気が発生する時刻を予測する眠気発生時刻予測手段を構成する。
【００４５】
以上のように本実施形態にあっては、顔撮像カメラ２の顔画像データに基づいてドライバの開眼時間及び顔向き左右角を検出して、ドライバの開眼時間ばらつき及び顔向き左右角ばらつきを算出し、これらの開眼時間ばらつき及び顔向き左右角ばらつきを各々閾値処理することで、ドライバのぼんやり状態を検知するようにしたので、判定が困難とされるぼんやり状態を的確に判定することができる。これにより、眠気が出る前のぼんやり状態であることをドライバに気付かせることで、ドライバに注意を促すことができる。
【００４６】
また、ドライバの開眼時間ばらつき及び顔向き左右角ばらつきに基づいて、ぼんやり状態から眠気発生状態への移行の有無を判断するので、将来ドライバに眠気発生の可能性があると判定されたときに、ドライバに眠気を発生させないための対応策（例えばガムを噛む等）を取らせることができる。
【００４７】
さらに、将来ドライバに眠気発生の可能性があると判定されたときには、ドライバの眠気発生予想時刻を推定するので、眠気が発生するまでの時間をドライバに知らせることで、休息を取るための対応策となる参考情報（例えば退避するパーキングの選定等）を与えることができる。
【産業上の利用可能性】
【００４８】
本発明は、ドライバのぼんやり状態を的確に判定することができる生体状態判定装置を提供するものである。
【符号の説明】
【００４９】
１…生体状態判定装置、２…顔撮像カメラ（顔情報取得手段）、３…ＥＣＵ（顔情報取得手段、開眼時間ばらつき計算手段、顔向きばらつき計算手段、覚醒度判定手段、眠気発生判定手段、眠気発生時刻予測手段）。
【図１】
0005447657.tif 000004
【図２】
0005447657.tif 000005
【図３】
0005447657.tif 000006
【図４】
0005447657.tif 000007
【図５】
0005447657.tif 000008
【図６】
0005447657.tif 000009
【図７】
0005447657.tif 000010
【図８】
0005447657.tif 000011
【図９】
0005447657.tif 000012
【図１０】
0005447657.tif 000013
【図１１】
0005447657.tif 000014
【図１２】
0005447657.tif 000015
【図１３】
0005447657.tif 000016