(57)【特許請求の範囲】
【請求項１】
被験者の瞬き及び瞬き時間を検出する瞬き検出手段と、
検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成手段と、
高覚醒時の所定時間における瞬き時間別度数分布の分布重心を評価値基準値とすると共に、正規化基準値を設定する基準値設定手段と、
所定時間における瞬き時間別度数分布の分布重心を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定手段を備えたことを特徴とする覚醒度推定装置。
【請求項２】
被験者の瞬き及び瞬き時間を検出する瞬き検出手段と、
検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成手段と、
高覚醒時の所定時間における瞬き時間別度数分布の分布重心と、分散値を定数倍した値の和を評価値基準値とすると共に、正規化基準値を設定する基準値設定手段と、
所定時間における瞬き時間別度数分布の分布重心と、分散値の定数倍した値の和を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定手段を備えたことを特徴とする覚醒度推定装置。
【請求項３】
被験者の瞬き及び瞬き時間を検出する瞬き検出手段と、
検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成手段と、
高覚醒時の所定時間における瞬き時間別度数分布の分布重心と、分布重心より長い瞬きに対する分散値の定数倍した値の和を評価値基準値とすると共に、正規化基準値を設定する基準値設定手段と、
所定時間における瞬き時間別度数分布の分布重心と、分布重心より長い瞬きに対する分散値の定数倍した値の和を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定手段を備えたことを特徴とする覚醒度推定装置。
【請求項４】
上記基準値設定手段における正規化基準値は、高覚醒時の所定時間における瞬き時間別度数分布の分散値とすることを特徴とする請求項１から請求項３のいずれか１項に記載の覚醒度推定装置。
【請求項５】
上記基準値設定手段における正規化基準値は、高覚醒時の所定時間における瞬き時間別度数分布の分布重心より長い瞬きに対する分散値とすることを特徴とする請求項１から請求項３のいずれか１項に記載の覚醒度推定装置。
【請求項６】
上記基準値設定手段は、評価値基準値または正規化基準値の信頼性を判断する手段を備え、信頼性が低い場合には評価値基準値または正規化基準値を更新することを特徴とする請求項１から請求項５のいずれか１項に記載の覚醒度推定装置。
【請求項７】
上記瞬き時間別度数分布作成手段は、瞬きの信頼度を判定する手段を備え、信頼度に応じて度数重みを変化させ、所定時間における瞬き時間別度数分布を作成することを特徴とする請求項１から請求項６のいずれか１項に記載の覚醒度推定装置。
【請求項８】
上記瞬き時間別度数分布作成手段は、所定時間中の瞬き回数が覚醒度推定に十分あるか否かを判定する手段を備え、十分でない場合には過去の瞬きデータを再利用し、瞬き時間別度数分布を再作成することを特徴とする請求項１から請求項７のいずれか１項に記載の覚醒度推定装置。
【請求項９】
被験者の瞬き及び瞬き時間を検出する瞬き検出ステップと、検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成ステップと、
高覚醒時の所定時間における瞬き時間別度数分布の分布重心を評価値基準値とすると共に、正規化基準値を設定する基準値設定ステップと、
所定時間における瞬き時間別度数分布の分布重心を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定ステップを備えたことを特徴とする覚醒度推定方法。
【請求項１０】
被験者の瞬き及び瞬き時間を検出する瞬き検出ステップと、
検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成ステップと、
高覚醒時の所定時間における瞬き時間別度数分布の分布重心と、分散値を定数倍した値の和を評価値基準値とすると共に、正規化基準値を設定する基準値設定ステップと、
所定時間における瞬き時間別度数分布の分布重心と、分散値の定数倍した値の和を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定ステップを備えたことを特徴とする覚醒度推定方法。
【請求項１１】
被験者の瞬き及び瞬き時間を検出する瞬き検出ステップと、
検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成ステップと、
高覚醒時の所定時間における瞬き時間別度数分布の分布重心と、分布重心より長い瞬きに対する分散値の定数倍した値の和を評価値基準値とすると共に、正規化基準値を設定する基準値設定ステップと、
所定時間における瞬き時間別度数分布の分布重心と、分布重心より長い瞬きに対する分散値の定数倍した値の和を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定ステップを備えたことを特徴とする覚醒度推定方法。
【請求項１２】
上記基準値設定ステップにおける正規化基準値は、高覚醒時の所定時間における瞬き時間別度数分布の分散値とすることを特徴とする請求項９から請求項１１のいずれか１項に記載の覚醒度推定方法。
【請求項１３】
上記基準値設定ステップにおける正規化基準値は、高覚醒時の所定時間における瞬き時間別度数分布の分布重心より長い瞬きに対する分散値とすることを特徴とする請求項９から請求項１１のいずれか１項に記載の覚醒度推定方法。
【請求項１４】
上記基準値設定ステップは、評価値基準値または正規化基準値の信頼性を判断するステップを備え、信頼性が低い場合には評価値基準値または正規化基準値を更新することを特徴とする請求項９から請求項１３のいずれか１項に記載の覚醒度推定方法。
【請求項１５】
上記瞬き時間別度数分布作成ステップは、瞬きの信頼度を判定するステップを備え、信頼度に応じて度数重みを変化させ、所定時間における瞬き時間別度数分布を作成することを特徴とする請求項９から請求項１４のいずれか１項に記載の覚醒度推定方法。
【請求項１６】
上記瞬き時間別度数分布作成ステップは、所定時間中の瞬き回数が覚醒度推定に十分あるか否かを判定するステップを備え、十分でない場合には過去の瞬きデータを再利用し、瞬き時間別度数分布を再作成することを特徴とする請求項９から請求項１５のいずれか１項に記載の覚醒度推定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、所定時間における瞬き時間別度分布を用いて、覚醒度推定を行う装置および方法を提供するものである。
【０００２】
【従来の技術】
従来の覚醒度を推定する手法としては、例えば特開昭６０−５９２号公報、特開平９−２７７８４９号公報、または特開平１０−２７２９６０号公報等に記載された技術がある。ここでは、（従来例１）特開昭６０−５９２号公報、及び（従来例２）特開平９−２７７８４９号公報の技術について、下記に説明する。
【０００３】
従来例１．
図１５は特開昭６０−５９２号公報に示された居眠り防止装置のブロック構成図である。図１５の居眠り防止装置は、まばたき信号波形計測器２２２、パラメータ測定部２２３、覚醒パターン決定部２２４、距離決定部２２５、比較器２２６、警告音発生器２２７から構成される。この発明は、眠気が生じる頃のまばたき信号波形は、波高が小さく、立ち上がり角度、立ち下がり角度が緩やかでしかも持続時間が短いという特色に着目している。
【０００４】
具体的な手法としては、運転者２２１の瞼又はまばたきに伴って生じる眼球の上下運動をまばたき波形計測器２２２によって計測し、パラメータ測定部２２３がその出力信号より運転者のまばたきの波高、立ち上がり角度、立ち下がり角度、持続時間の４つのパラメータを測定する。計測開始後は、運転者が覚醒状態にあるとみなし、例えば計測開始直後から２０回目までのまばたき信号波形から、上記４つのパラメータについてそれぞれの平均値と分散を求める。覚醒パターン決定部２２４は、パラメータ測定部２２３で求めた４つのパラメータのそれぞれに対しての平均値と分散から信頼限界９５％の範囲を求め、それぞれの平均値から信頼区間の端までの距離を覚醒パターンの距離限界とし、平均値と距離限界を記録する。次に、２１回目以降のまばたき信号波形は、パラメータ測定部２２３で４つのパラメータを測定した後、その出力信号を距離決定部２２５へ送る。距離決定部２２５では４つのパラメータの各測定値と、既に定めた覚醒時における４つのパラメータの平均値との差を求め、距離と定義する。比較器２２６では各パラメータの距離限界と距離とを比較し、いずれか一つの距離が距離限界よりも大きい場合に眠気が発生したと判断し、警告音発生器２２７へ出力信号を送出する。
【０００５】
従来例２．
図１６は特開平９−２７７８４９号公報に示された覚醒度推定装置の全体構成を示す図である。図１６の覚醒度推定装置は、ＴＶカメラ３０２、ディスプレイ３０３、スピーカ３０４、画像処理部３１０、瞬き閾値算出部３２０、長い瞬き比率算出部３３０、長い瞬き比率表示部３４０、警報出力部３２７、瞬き閾値タイマ３６０、瞬き比率算出用タイマ３７０、全体制御部３８０から構成される。この発明は、人間の瞬きの時間には個人差があるが、一般的には覚醒度が低下するに従って瞬き時間が長くなることに着目している。
【０００６】
具体的な手法としては、ＴＶカメラ３０２にて撮像入力される顔画像を画像処理部３１０にて認識処理を行い、例えば瞼の経時的変化（開閉）からその瞬きを検出する。瞬きが検出される都度、その閉眼開始からその終了までの閉眼時間で示される瞬きの時間を検出する。瞬き閾値算出部３２０では、上記画像処理によって検出される瞬きの情報に従って、運転者の標準的な瞬き時間よりも時間の長い瞬きを検出するための判定閾値を設定する。その設定方法は、運転開始初期における所定期間において検出される瞬き時間を順次記憶し、さらに記憶された瞬き時間に従ってその頻度分布を求め、頻度分布に基づいて判定閾値を設定する。長い瞬き比率演算部３４０は、設定された判定閾値に基づき、画像処理部３１０で検出される全ての瞬き回数に対する、標準的な瞬き時間よりも時間の長い瞬きの回数の比率ＬＢＲを求める。覚醒度推定はＬＢＲに基づいて推定し、覚醒度低下時には警報を行う。前記瞬き閾値算出部３２０で設定される判定閾値は、以下のように算出する。瞬き閾値算出部３２０では、高覚醒時における瞬き時間の頻度分布から、その最頻値に対してＸ％となる位置で頻度分布をスライスしたときの時間範囲を、その個人に固有な標準的な瞬き時間の範囲（＝標準的な瞬き時間の分布領域の時間幅Ａ）とし、時間幅Ａの中心値を標準的な瞬き時間Ｔｃとする。そしてＴｃよりも一定時間以上の長い瞬き（例えば、時間幅ＡのＹ％）を、その個人固有の時間の長い瞬きとして判定する。長い瞬き生起比率計算部では、例えば長い瞬き検出部にて評価された瞬きの全回数と長い瞬きの数をそれぞれ計数し、所定期間における瞬きの総数とその瞬き中の長い瞬きの回数とから、長い瞬きの生起比率を求める。覚醒度評価値は所定時間における長い瞬きの生起比率で表される。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来例１のように距離限界を用いて瞬き個々に対して覚醒度推定を行う方法では、各瞬き検出精度に大きく依存する。また、上記従来例２のように所定時間における長時間瞬き回数割合などある指標に対する固定閾値を用いて覚醒度推定を行う方法の場合、閾値設定を誤ると精度が非常に悪くなる。また、所定時間に検出した瞬きをそのまま用いて覚醒度の判定を行うと、伏せ目等の誤検出瞬き等の影響で覚醒度が正しく推定されない場合がある。更に、システムの検出不良時に、検出良好時と同じ判定を行う場合も同様に覚醒度が正しく推定されない可能性がある。
【０００８】
この発明は、上記のような問題点を解消するためになされたものであり、所定時間における瞬きデータを利用し、かつ固定閾値を用いず覚醒度を推定する方法、あるいは検出した瞬きの信頼性を判定し、その信頼性に応じて度数重みを変化させ覚醒度を推定する方法、および検出した瞬き数が覚醒度推定に十分でないと判断された場合は過去の瞬き情報を再利用し覚醒度を推定する方法を用いることで、精度良く覚醒度推定を行う。
【０００９】
【課題を解決するための手段】
請求項１による覚醒度推定装置の発明は、被験者の瞬き及び瞬き時間を検出する瞬き検出手段と、検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成手段と、高覚醒時の所定時間における瞬き時間別度数分布の分布重心を評価値基準値とすると共に正規化基準値を設定する基準値設定手段と、所定時間における瞬き時間別度数分布の分布重心を評価値として、この評価値の上記評価値基準値に対する変化を上記正規化基準値で正規化したものを覚醒度とする覚醒度推定手段を備えたことを特徴とする。
【００１０】
請求項２による覚醒度推定装置の発明は、被験者の瞬き及び瞬き時間を検出する瞬き検出手段と、検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成手段と、高覚醒時の所定時間における瞬き時間別度数分布の分布重心と分散値を定数倍した値の和を評価値基準値とすると共に、正規化基準値を設定する基準値設定手段と、所定時間における瞬き時間別度数分布の分布重心と分散値の定数倍した値の和を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定手段を備えたことを特徴とする。
【００１１】
請求項３による覚醒度推定装置の発明は、被験者の瞬き及び瞬き時間を検出する瞬き検出手段と、検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成手段と、高覚醒時の所定時間における瞬き時間別度数分布の分布重心と、分布重心より長い瞬きに対する分散値の定数倍した値の和を評価値基準値とすると共に、正規化基準値を設定する基準値設定手段と、所定時間における瞬き時間別度数分布の分布重心と、分布重心より長い瞬きに対する分散値の定数倍した値の和を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定手段を備えたことを特徴とする。
【００１２】
請求項４による覚醒度推定装置の発明は、請求項１から請求項３の発明において、基準値設定手段が設定する正規化基準値は、高覚醒時の所定時間における瞬き時間別度数分布の分散値とすることを特徴とする。
【００１３】
請求項５による覚醒度推定装置の発明は、請求項１から請求項３の発明において、基準値設定手段が設定する正規化基準値は、高覚醒時の所定時間における瞬き時間別度数分布の分布重心より長い瞬きに対する分散値とすることを特徴とする。
【００１４】
請求項６による覚醒度推定装置の発明は、請求項１から請求項５の発明において、評価値基準値または正規化基準値の信頼性を判断する手段を備え、信頼性が低い場合には評価値基準値または正規化基準値を更新することを特徴とする。
【００１５】
請求項７による覚醒度推定装置の発明は、請求項１から請求項６の発明において、瞬き時間別度数分布作成手段は、瞬きの信頼度を判定する手段を備え、信頼度に応じて度数重みを変化させ、所定時間における瞬き時間別度数分布を作成することを特徴とする。
【００１６】
請求項８による覚醒度推定装置の発明は、請求項１から請求項７の発明において、瞬き時間別度数分布作成手段は、所定時間中の瞬き回数が覚醒度推定に十分あるか否かを判定する手段を備え、十分でない場合には過去の瞬きデータを再利用し、瞬き時間別度数分布を再作成することを特徴とする。
【００１７】
請求項９による覚醒度推定方法の発明は、被験者の瞬き及び瞬き時間を検出する瞬き検出ステップと、検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成ステップと、高覚醒時の所定時間における瞬き時間別度数分布の分布重心を評価値基準値とすると共に、正規化基準値を設定する基準値設定ステップと、所定時間における瞬き時間別度数分布の分布重心を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定ステップを備えたことを特徴とする。
【００１８】
請求項１０による覚醒度推定方法の発明は、被験者の瞬き及び瞬き時間を検出する瞬き検出ステップと、検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成ステップと、高覚醒時の所定時間における瞬き時間別度数分布の分布重心と、分散値を定数倍した値の和を評価値基準値とすると共に、正規化基準値を設定する基準値設定ステップと、所定時間における瞬き時間別度数分布の分布重心と、分散値の定数倍した値の和を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定ステップを備えたことを特徴とする。
【００１９】
請求項１１による覚醒度推定方法の発明は、被験者の瞬き及び瞬き時間を検出する瞬き検出ステップと、検出した瞬き時間をもとに所定時間における瞬き時間別度数分布を作成する瞬き時間別度数分布作成ステップと、高覚醒時の所定時間における瞬き時間別度数分布の分布重心と、分布重心より長い瞬きに対する分散値の定数倍した値の和を評価値基準値とすると共に、正規化基準値を設定する基準値設定ステップと、所定時間における瞬き時間別度数分布の分布重心と、分布重心より長い瞬きに対する分散値の定数倍した値の和を評価値として、この評価値の評価値基準値に対する変化を正規化基準値で正規化したものを覚醒度とする覚醒度推定ステップを備えたことを特徴とする。
【００２０】
請求項１２による覚醒度推定方法の発明は、請求項９から請求項１１の発明において、基準値設定ステップにおける正規化基準値は、高覚醒時の所定時間における瞬き時間別度数分布の分散値とすることを特徴とする。
【００２１】
請求項１３による覚醒度推定方法の発明は、請求項９から請求項１１の発明において、基準値設定ステップにおける正規化基準値は、高覚醒時の所定時間における瞬き時間別度数分布の分布重心より長い瞬きに対する分散値とすることを特徴とする。
【００２２】
請求項１４による覚醒度推定方法の発明は、請求項９から請求項１３の発明において、基準値設定ステップは、評価値基準値または正規化基準値の信頼性を判断するステップを備え、信頼性が低い場合には評価値基準値または正規化基準値を更新することを特徴とする。
【００２３】
請求項１５による覚醒度推定方法の発明は、請求項９から請求項１４の発明において、瞬き時間別度数分布作成ステップは、瞬きの信頼度を判定するステップを備え、信頼度に応じて度数重みを変化させ、所定時間における瞬き時間別度数分布を作成することを特徴とする。
【００２４】
請求項１６による覚醒度推定方法の発明は、請求項９から請求項１５の発明において、瞬き時間別度数分布作成ステップは、所定時間中の瞬き回数が覚醒度推定に十分あるか否かを判定するステップを備え、十分でない場合には過去の瞬きデータを再利用し、瞬き時間別度数分布を再作成することを特徴とする。
【００２５】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態１を図に基づいて説明する。図１はこの発明の実施の形態１による覚醒度推定装置の概要を示すブロック構成図である。
【００２６】
図１において、覚醒度推定装置は、ドライバ等の顔画像を撮像するＣＣＤカメラ等の撮像手段１と、撮像手段１により取り込まれた画像データを記憶する画像メモリ２と、画像メモリ２の記憶データに基づいて画像処理を行う処理部１０と、処理部１０の画像処理結果に基づいてドライバ等に注意を促す警報部２０とで概略構成される。
【００２７】
図２は撮像手段１（ＣＣＤカメラ等）から出力された画像データの一例１０１を示す図である。
【００２８】
図３は図１の処理部１０内の処理を行うブロック図であり、顔画像入力手段１１と、目画像抽出手段１２と、瞬き検出手段１３と、覚醒度判定手段１４とから構成される。
【００２９】
図３において、まず、顔画像入力手段１１により画像メモリ２から顔画像データを処理部１０に入力する。次に、入力された画像内で目画像抽出手段１２により目候補を抽出し、瞬き検出手段１３により瞬きおよび瞬き時間を推定する。更に、瞬き検出手段１３により推定した瞬き時間から覚醒度判定手段１４によりドライバの覚醒度を判定する。覚醒度判定手段１４により覚醒度低下と判断された場合は警報部２０より警報を発してドライバに注意を促す。以下、各手段について詳細を説明する。
【００３０】
図４及び図５は処理部１０の説明図である。瞬き検出は、図２に示すような入力画像１０１より目画像抽出手段１２を用いて図４に示すような目画像領域１０２を抽出し、目画像領域を２値化画像変換した後に行う。ここでは、２値化された目画像の黒色画素群の中心を通る回帰直線１０３に対する相関値を評価関数とし、開または閉を判定する。図５のａは開、図５のｂは閉を示す図である。図５のｂに示すように、閉の場合には目を示す黒色画素が直線に近づくので、回帰直線１０３と目画像を示す黒色画素の相関値が高くなる。また、図５のｃは評価関数値を表す。図５のｃにおける閾値ｔｈより評価関数が大きければ開、小さければ閉と判定する。
【００３１】
図６は覚醒度判定手段１４の詳細を示すブロック図である。また、図７及び図８は覚醒度判定手段の説明図である。図６に示すように覚醒度判定手段１４は、瞬き時間別度数分布作成手段１１０、基準値設定手段１１１、覚醒度推定手段１１２から構成される。瞬き時間別度数分布作成手段１１０は、図７に示すように基準値設定または覚醒度推定に十分な所定時間Ｔ０またはＴ［分］の全瞬きに対し、瞬き時間別に度数分布１１３を作成する。
【００３２】
次に、基準値設定が行われていない場合は基準値設定手段１１１による基準値設定を行い、既に基準値設定が行われている場合は覚醒度推定手段１１２により覚醒度推定を行う。システム動作後即時はドライバが覚醒状態であると仮定し、基準値設定手段１１１は、下記の式Ｓ０１（所定時間Ｔにおける瞬き時間別度数分布における分布重心である時間Ｊを求める式）により、例えばシステム起動から所定時間Ｔ０（例えば３分間）における時間Ｊ０（ＮＴＳＣ信号の１Ｆｒａｍｅ＝３３ｍｓｅｃを単位時間とする）を求め、時間Ｊ０を評価値基準値Ｈ０とする。また、下記の式Ｓ０２（所定時間Ｔにおける瞬き時間度数別分布における分散値Ｂを求める式）により、システム起動から所定時間Ｔ０における分散値である時間Ｂ０を求め、正規化基準値Ｋ０として算出する。
【００３３】
一方、覚醒度推定手段１１２でも基準値設定手段１１１と同様に、下記の式Ｓ０１で表すような所定時間Ｔの瞬き時間別度数分布における分布重心である時間Ｊを評価値Ｈとして一定時間間隔で（例えば１０秒おきに過去Ｔ分のデータをもとに）算出し、下記の式Ｓ０６のように覚醒度Ｄｒを推定する。一般的には覚醒度が低下すると長い瞬きが増え、瞬き時間のばらつきが大きくなる傾向にあることから、図８に示すようにＤｒは覚醒度が低下するに従って大きくなる。また、高覚醒時と低覚醒時における分布重心の変化は各個人によって異なるが、実際の実験結果より分散値が大きい者は覚醒低下による分布重心のずれが大きいことがわかった。そこで正規化基準値Ｋ０を用いて正規化することで、分布重心における個人差を吸収することが可能である。
【００３４】
警報部２０では上記で推定した覚醒度Ｄｒが所定値以上であれば警報レベルであると判定し、ドライバに注意を促す。但し、上記基準値設定時の瞬き時間別度数分布を作成する所定時間Ｔ０と、覚醒度推定時の瞬き時間別度数分布を作成する所定時間Ｔは、同じまたは異なっても良いものとする。
【００３５】
【数１】
0003681657.tif 000002
【００３６】
以上のように実施の形態１によれば、所定時間における瞬き検出値を用いることにより個々の瞬き検出精度に大きく依存することない。
また、固定閾値を用いず高覚醒時および低覚醒時の瞬き時間別度数分布における分布重心の変化を用いることで閾値設定ミスによる誤判定がなくなる。
さらに、各被験者における瞬きデータを用いて正規化することで個人差を吸収し精度よく覚醒度を推定することができる。
【００３７】
実施の形態２．
本実施の形態は、実施の形態１における覚醒度判定手段１４の基準値設定及び覚醒度推定を下記のように変更したものである。覚醒度判定手段１４のブロック図は図６と同様である。
【００３８】
実施の形態２において、基準値設定手段１１１は、下記の式に示すように、例えばシステム起動から所定時間Ｔ０（例えば３分間）において、瞬き時間別度数分布の重心である時間Ｊ０、および分散値である時間Ｂ０を算出し、（Ｊ０＋Ｃ×Ｂ０）を評価値基準値Ｈ０とし、さらに分散値である時間Ｂ０を正規化基準値Ｋ０とする。また、覚醒度推定手段１１２でも基準値設定手段１１１と同様に、所定時間Ｔの瞬き時間別度数分布の分散値である時間Ｂを算出し、（Ｊ０＋Ｃ×Ｂ）を評価値Ｈとして、上記の式Ｓ０６により覚醒度Ｄｒを推定する。なお、上記においてＣは定数とする。
【００３９】
一般的に覚醒度が低下すると長い瞬きが増え、瞬き時間のばらつきが大きくなる傾向にあることから、図９に示すようにＤｒは覚醒度が低下するに従って大きくなる。また、高覚醒時と低覚醒時における分布重心の変化は各個人によって異なるが、実際の実験結果より分散値が大きい者は覚醒低下による分布重心のずれが大きいことがわかった。そこで正規化基準値Ｋ０を用いて正規化することで、分布重心における個人差を吸収することが可能である。
【００４０】
警報部２０では、推定した覚醒度Ｄｒが所定値以上であれば警報レベルであると判定し、ドライバに注意を促す。なお、所定時間Ｔ０の瞬き時間別度数分布の重心である時間Ｊ０のかわりに、所定時間Ｔの瞬き時間別度数分布の重心である時間Ｊを用いて、（Ｊ＋Ｃ×Ｂ）を評価値Ｈとしても良い。
【００４１】
【数２】
0003681657.tif 000003
【００４２】
以上のように実施の形態２によれば、所定時間における瞬き検出値を用いることで個々の瞬き検出精度に大きく依存することない。
また、固定閾値を用いず高覚醒時および低覚醒時の瞬き時間別度数分布における分布重心の変化を用いることで閾値設定ミスによる誤判がなくなる。
さらに、各被験者における瞬きデータを用いて正規化することで個人差を吸収し精度よく覚醒度を推定することができる。
【００４３】
実施の形態３．
本実施の形態は、実施の形態１における覚醒度判定手段１４の基準値設定及び覚醒度推定を下記のように変更したものである。覚醒度判定手段１４のブロック図は図６と同様である。
【００４４】
実施の形態３において、基準値設定手段１１１は、例えばシステム起動から所定時間Ｔ０（例えば３分間）において、瞬き時間別度数分布の重心である時間Ｊ０、下記の式Ｓ１０で示すような瞬き時間度数別分布における分布重心である時間Ｊ０よりも長い瞬きに対する分散値である時間ＢＬを算出し、その和（Ｊ０＋Ｃ×ＢＬ０）を評価値基準値Ｈ０とし、瞬き時間度数別分布における分散値である時間Ｂ０を正規化基準値Ｋ０として算出する。
【００４５】
また、覚醒度推定手段１１２でも基準値設定手段１１１と同様に、下記の式Ｓ１０で示すような所定時間ＴのＪ０よりも長い瞬きに対する分散値である時間ＢＬを算出し、（Ｊ０＋Ｃ×ＢＬ）を評価値Ｈとして、上記の式Ｓ０６のように覚醒度Ｄｒを推定する。なおＣは定数とする。
【００４６】
一般的に覚醒度が低下すると長い瞬きが増え、瞬き時間のばらつきが大きくなる傾向にあることから、図１０に示すようにＤｒは覚醒度が低下するに従って大きくなる。また、高覚醒時と低覚醒時における分布重心の変化は各個人によって異なるが、実際の実験結果より分散値が大きい者は覚醒低下による分布重心のずれが大きいことがわかった。そこで正規化基準値Ｋ０を用いて正規化することで、分布重心における個人差を吸収することが可能である。
【００４７】
警報部２０では、推定した覚醒度Ｄｒが所定値以上であれば警報レベルであると判定し、ドライバに注意を促す。なお、所定時間Ｔ０の瞬き時間別度数分布の重心である時間Ｊ０のかわりに、所定時間Ｔの瞬き時間別度数分布の重心である時間Ｊを用いて、所定時間ＴのＪよりも長い瞬きに対する分散値である時間ＢＬを算出し、（Ｊ＋Ｃ×ＢＬ）を評価値Ｈとしても良い。
【００４８】
【数３】
0003681657.tif 000004
【００４９】
以上のように実施の形態３によれば、所定時間における瞬き検出値を用いることで個々の瞬き検出精度に大きく依存することない。
また、固定閾値を用いず高覚醒時および低覚醒時の瞬き時間別度数分布における分布重心の変化を用いることで閾値設定ミスによる誤判がなくなる。
さらに、各被験者における瞬きデータを用いて正規化することで個人差を吸収し精度よく覚醒度を推定することができる。
【００５０】
実施の形態４．
本実施の形態は、実施の形態１における覚醒度判定手段１４の基準値設定及び覚醒度推定を下記のように変更したものである。覚醒度判定手段１４のブロック図は図６と同様である。
【００５１】
実施の形態４において、基準値設定手段１１１は、例えばシステム起動から所定時間Ｔ０（例えば３分間）において、下記の式に示すように、瞬き時間別度数分布における分布重心である時間Ｊを評価値基準値Ｈ０、および瞬き時間度数別分布における分布重心である時間Ｊよりも長い瞬きに対する分散値である時間ＢＬ０を正規化基準値Ｋ０として算出する。
【００５２】
また、覚醒度推定手段１１２でも基準値設定手段１１１と同様に、所定時間Ｔの瞬き時間別度数分布における分布重心である時間Ｊを評価値Ｈとして算出し、上記の式Ｓ０６のように覚醒度Ｄｒを推定する。なお、Ｃは定数である。
【００５３】
一般的には覚醒度が低下すると長い瞬きが増え、瞬き時間のばらつきが大きくなる傾向にあることから、図８に示すようにＤｒは覚醒度が低下するに従って大きくなる。また、高覚醒時と低覚醒時における分布重心の変化は各個人によって異なるが、実際の実験結果より分散値が大きい者は覚醒低下による分布重心のずれが大きいことがわかった。さらに、分布重心より長い瞬きに対する分散値の方が、分散値よりも分布重心の変化と相関がるとがわかった。そこで正規化基準値Ｋ０を用いて正規化することで、分布重心における個人差をさらに精度良く吸収することが可能である。従って、推定した覚醒度Ｄｒが所定値以上であれば警報レベルであると判定し、警報部２０にてドライバに注意を促す。
【００５４】
【数４】
0003681657.tif 000005
【００５５】
実施の形態５．
本実施の形態は、実施の形態２における覚醒度判定手段１４の基準値設定及び覚醒度推定を下記のように変更したものである。覚醒度判定手段１４のブロック図は図６と同様である。
【００５６】
実施の形態５において、基準値設定手段１１１は、下記の式に示すように、例えばシステム起動から所定時間Ｔ０（例えば３分間）において、瞬き時間別度数分布の重心である時間Ｊ０、および分散値である時間Ｂ０を算出し、その和（Ｊ０＋Ｃ×Ｂ０）を評価値基準値Ｈ０とし、さらに瞬き度数分布における重心Ｊ０よりも長い瞬きに対する分散値である時間ＢＬ０を正規化基準値Ｋ０として算出する。
【００５７】
また、覚醒度推定手段１１２でも基準値設定手段１１１と同様に、所定時間Ｔの瞬き時間別度数分布の分散値である時間Ｂを算出し、（Ｊ０＋Ｃ×Ｂ）を評価値Ｈとして、上記の式Ｓ０６のように覚醒度Ｄｒを推定する。なお、Ｃは定数である。
【００５８】
一般的に覚醒度が低下すると長い瞬きが増え、瞬き時間のばらつきが大きくなる傾向にあることから、図９に示すようにＤｒは覚醒度が低下するに従って大きくなる。従って、推定した覚醒度Ｄｒが所定値以上であれば警報レベルであると判定し、警報部２０にてドライバに注意を促す。但し、所定時間Ｔ０の瞬き時間別度数分布の重心である時間Ｊ０のかわりに、所定時間Ｔの瞬き時間別度数分布の重心である時間Ｊを用いて、（Ｊ＋Ｃ×Ｂ）を評価値Ｈとしても良い。
【００５９】
【数５】
0003681657.tif 000006
【００６０】
実施の形態６．
本実施の形態は、実施の形態２における覚醒度判定手段１４の基準値設定及び覚醒度推定を下記のように変更したものである。覚醒度判定手段１４のブロック図は図６と同様である。
【００６１】
実施の形態６において、基準値設定手段１１１は、下記の式に示すように、例えば、システム起動から所定時間Ｔ０（例えば３分間）において、瞬き時間別度数分布の重心である時間Ｊ０、瞬き時間度数別分布における分布重心である時間Ｊ０よりも長い瞬きに対する分散値である時間ＢＬ０を算出し、その和（Ｊ０＋Ｃ×ＢＬ０）を評価値基準値Ｈ０とし、さらにＢＬ０を正規化基準値Ｋ０として算出する。
【００６２】
また、覚醒度推定手段１１２でも基準値設定手段１１１と同様に、所定時間Ｔの瞬き時間別度数分布における分布重心である時間Ｊよりも長い瞬きに対する分散値である時間ＢＬを算出し、その和（Ｊ０＋Ｃ×ＢＬ）を評価値Ｈとして、上記の式Ｓ０６のように覚醒度Ｄｒを推定する。なお、Ｃは定数である。
【００６３】
一般的に覚醒度が低下すると長い瞬きが増え、瞬き時間のばらつきが大きくなる傾向にあることから、図１０に示すように、Ｄｒは覚醒度が低下するに従って大きくなる。従って、推定した覚醒度Ｄｒが所定値以上であれば警報レベルであると判定し、警報部２０にてドライバに注意を促す。但し、所定時間Ｔ０の瞬き時間別度数分布の重心である時間Ｊ０のかわりに、所定時間Ｔの瞬き時間別度数分布の重心である時間Ｊを用いて、所定時間ＴのＪよりも長い瞬きに対する分散値である時間ＢＬを算出し、（Ｊ＋Ｃ×ＢＬ）を評価値Ｈとしても良い。
【００６４】
【数６】
0003681657.tif 000007
【００６５】
実施の形態７．
本実施の形態は、実施の形態１の覚醒度推定手段１４を下記のように変更したものである。図１１は実施の形態７による覚醒度推定手段１４のブロック図である。
【００６６】
実施の形態７では、図１１に示すように、基準値設定手段１１１において設定された基準値が不適か否かの基準値正誤判定手段１１４を設ける。基準値正誤判定手段１１４では、例えば、覚醒度推定手段１１２により推定された覚醒度Ｄｒが負の値をとる場合、基準値が実際の値より長めに設定されたと判断し、基準値再設定手段１１５により再設定を行う。そして再設定された正規化基準値および評価値基準値が共に、最初に設定された正規化基準値および評価値基準値より小（すなわち高覚醒時のもの）である場合に、これらを基準値更新手段１１６により更新する。これにより覚醒度判定の誤判定を軽減する。
【００６７】
以上のように実施の形態７によれば、評価基準値および正規化基準値の信頼性を判断するようにしたので、誤った評価基準値および正規化基準値を用いることによる覚醒度誤判定を減少させることができる。
【００６８】
実施の形態８．
本実施の形態は、実施の形態１から実施の形態７の覚醒度判定手段１４を下記のように変更したものである。
【００６９】
画像を用いて瞬きを検出する瞬き検出手段では、ドライバがメータ視認等のために下を向く動作（以下、伏せ目と呼ぶ）と通常の瞬きを区別することが困難な場合がある。伏せ目時間は通常の瞬き時間に比べて長い場合が多く、これらを瞬きと判断すると、覚醒度の誤判定の原因となる。
【００７０】
また、太陽光やその他の外乱等により、目画像がうまく抽出できなかった場合等、通常では考えられないような短い瞬きや長い瞬きとして検出される場合がある。これらも覚醒度の誤判定の原因となる。本実施の形態ではその解決法の一例をあげる。
【００７１】
実施の形態８による覚醒度推定手段１４のブロック図を図１２に示す。ここでは瞬き時間別度数分布作成手段１１０に瞬き重み設定手段１１７を設け、瞬き時間別度数分布を作成する前に、瞬き重み設定手段１１７により検出された瞬きの信頼性を判定して重みを付加する。瞬き重み設定手段１１７では、例えば、通常では瞬きと考えにくい瞬き時間（ａ：短い瞬き時間、ｂ：長い瞬き時間、ｃ:伏せ目と考えられる瞬き時間）において、通常の瞬き度数の重みを１とした場合に、それ以下の重み（０〜１．０）、例えば下記の表１のような重みを付加する。これにより覚醒度判定の誤判定を軽減する。
【００７２】
【表１】
0003681657.tif 000008
【００７３】
ここでは、重みを各瞬き時間別に固定値としたが、例えば瞬き時間別度数分布重心等各個人のデー タを基に可変としても良い。
【００７４】
上記のような重みを付加することで、高覚醒時は、長い瞬きまたは伏せ目区間の瞬き誤検出や伏せ目による覚醒度推定への悪影響を下げる効果がある。
また、標準的な瞬き区間の瞬き誤検出または伏せ目は、重みは下げなくとも覚醒度推定に影響は ない。
低覚醒時は、長い瞬きまたは伏せ目区間の瞬きの発生率は多くなり、標準的な区間の瞬きは減少 するため、重みは下げても十分覚醒度推定が可能である。
【００７５】
実施の形態９．
本実施の形態は、実施の形態１から実施の形態６の覚醒度判定手段１４を下記のように変更したものである。本実施の形態による覚醒度推定手段１４のブロック図を図１３に示す。
【００７６】
実施の形態９では、瞬き時間別度数分布作成手段１１０により瞬き時間別度数分布を作成する前に、検出された瞬きの瞬き時間を時系列的に記憶する瞬き時間記憶手段１１８を設ける。瞬き時間記憶手段１１８では、例えば、瞬き時間別度数分布を作成する所定時間×５（所定倍）の期間分の瞬きを記憶するメモリを持ち、現在の瞬き時間別度数分布作成期間と前回〜４回前の瞬き時間別度数分布作成期間の全瞬きを記憶する。そして、現在の瞬き時間別度数分布作成期間の瞬き数が何らかの理由（瞬き不検出または目画像未検出など）により基準値設定または覚醒度を判定するに十分でないと判断された場合、前回〜４回前の瞬き時間別度数分布作成期間の瞬きを現在に近いものより順にメモリより必要数呼だし、瞬き時間別度数分布補正手段１１９により瞬き時間別度数分布を補正する。
【００７７】
図１４は基準値設定または覚醒度を判定するに十分な瞬き数を１所定時間あたり２０回とした場合の説明図である。Ｔｉｍｅ４〜Ｔｉｍｅ２では各所定時間における瞬きが２０回以上あり、基準値設定または覚醒度推定は各所定時間のデータのみを用いた瞬き時間別度数分布を用いて行われる。Ｔｉｍｅ１〜Ｔｉｍｅ０では、各所定時間における瞬きが２０回未満であり、瞬き時間別度数分布の補正を行い、基準値設定または覚醒度推定を行う。補正はＴｉｍｅ１では２０回に足りない７回分の瞬きデータをＤＡＴＡ２のＴｉｍｅ１に時間的に近いもの７回分ＤＡＴＡ２ｐ７で補う。Ｔｉｍｅ０では２０回に足りない１５回分の瞬きデータをＤＡＴＡ１の１３回分とＤＡＴＡ２のＴｉｍｅ１に時間的に近いもの２回分ＤＡＴＡ２ｐ２で補う。
【００７８】
以上のように実施の形態９によれば、現在検出された瞬きを覚醒度判定に反映させるとともに、現在と大きく違わないであろうと推定される現在に近い時間に発生した瞬き時間を用いることにより、瞬き検出が十分でないことによる誤判定を軽減する。
【００７９】
【発明の効果】
請求項１及び請求項９の発明によれば、所定時間における瞬きを用いることで個々の瞬き検出精度に大きく依存することがなくなる。また、固定閾値を用いず高覚醒時および低覚醒時の瞬き時間別度数分布における重心の変化を用いることにより閾値設定ミスによる誤判定がなくなる。さらに、各被験者における瞬きデータを用いて正規化することで個人差を吸収し精度よく覚醒度を推定することができる。
【００８０】
請求項２及び請求項１０の発明によれば、所定時間における瞬きを用いることで個々の瞬き検出精度に大きく依存することがなくなる。また、固定閾値を用いず高覚醒時および低覚醒時の瞬き時間別度数分布における重心の変化を用いることにより閾値設定ミスによる誤判定がなくなる。さらに、各被験者における瞬きデータを用いて正規化することで個人差を吸収し精度よく覚醒度を推定することができる。
【００８１】
請求項３及び請求項１１の発明によれば、所定時間における瞬きを用いることで個々の瞬き検出精度に大きく依存することがなくなる。また、固定閾値を用いず高覚醒時および低覚醒時の瞬き時間別度数分布における重心の変化を用いることにより閾値設定ミスによる誤判定がなくなる。さらに、各被験者における瞬きデータを用いて正規化することで個人差を吸収し精度よく覚醒度を推定することができる。
【００８２】
請求項４及び請求項１２の発明によれば、基準値設定における正規化基準値を高覚醒時の所定時間における瞬き時間別度数分布における分散値とすることにより、各被験者における瞬き時間の標準的なばらつきを反映することができ、高覚醒時と低覚醒時の重心の変化度合いにおける個人差を吸収し、精度よく覚醒度を推定することができる。
【００８３】
請求項５及び請求項１３の発明によれば、基準値設定における正規化基準値を高覚醒時の所定時間における瞬き時間別度数分布における分布重心より長い瞬きに対する分散値とすることにより、各被験者における高覚醒時の所定時間における瞬き時間別度数分布における分布重心より長い瞬きに対する瞬き時間の標準的なばらつきを反映することができ、瞬き時間別度数分布が正規分布でない可能性もあることから分散値で正規化するよりもさらに、高覚醒時と低覚醒時の重心の変化度合いにおける個人差を吸収し、精度よく覚醒度を推定することができる。
【００８４】
請求項６及び請求項１４の発明によれば、基準値設定において評価基準値および正規化基準値の信頼性を判断することにより、誤った評価基準値および正規化基準値を用いることによる覚醒度誤判定を減少させることができる。
【００８５】
請求項７及び請求項１５の発明によれば、瞬き時間別度数分布作成において、瞬きの信頼度を判定するようにし、信頼度に応じて度数重みを変化させ、所定時間の瞬き時間別度数分布を作成することで、誤った瞬き検出による覚醒度誤判定を減少させることができる。
【００８６】
請求項８及び請求項１６の発明によれば、瞬き時間別度数分布作成において、所定時間中の瞬き回数が覚醒度推定に十分あるか否かを判定し、十分でない場合には過去の瞬きデータを再利用し、所定時間の瞬き時間別度数分布を作成することにより、瞬き未検出による覚醒度誤判定を減少させることができる。
【図面の簡単な説明】
【図１】  この発明による覚醒度推定装置の概要を示すブロック構成図である。
【図２】  撮像手段の画像データの一例を示す図である。
【図３】  図１の覚醒度推定装置の処理部のブロック図である。
【図４】  実施の形態１による目画像抽出手段の説明図である。
【図５】  実施の形態１による瞬き検出手段の説明図である。
【図６】  実施の形態１による覚醒度判定手段を示すブロックである。
【図７】  実施の形態１による瞬き時間別度数分布作成手段の説明図である。
【図８】  実施の形態１又は４による基準値設定手段、覚醒度推定手段の説明図である。
【図９】  実施の形態２又は５による基準値設定手段、覚醒度推定手段の説明図である。
【図１０】  実施の形態３又は６による基準値設定手段、覚醒度推定手段の説明図である。
【図１１】  実施の形態７による覚醒度判定手段を示すブロック図である。
【図１２】  実施の形態８による覚醒度判定手段を示すブロック図である。
【図１３】  実施の形態９による覚醒度判定手段を示すブロック図である。
【図１４】  実施の形態９による瞬き時間別度数分布補正手段の説明図である。
【図１５】  従来例１の装置全体の構成を示す図である。
【図１６】  従来例２の装置全体の構成を示す図である。
【符号の説明】
１  撮像手段、２  画像メモリ、１０  処理部、１１  顔画像入力手段、１２目画像抽出手段、１３  瞬き検出手段、１４  覚醒度判定手段、２０  警報部、１１０  瞬き時間別度数分布作成手段、１１１  基準値設定手段、１１２  覚醒度推定手段、１１４  基準値正誤判定手段、１１５  基準値再設定手段、１１６  基準値更新手段、１１７  瞬き重み設定手段、１１８  瞬き時間記憶手段、１１９  瞬き時間別度数分布補正手段。
【図１】
0003681657.tif 000009
【図２】
0003681657.tif 000010
【図３】
0003681657.tif 000011
【図４】
0003681657.tif 000012
【図５】
0003681657.tif 000013
【図６】
0003681657.tif 000014
【図７】
0003681657.tif 000015
【図８】
0003681657.tif 000016
【図９】
0003681657.tif 000017
【図１０】
0003681657.tif 000018
【図１１】
0003681657.tif 000019
【図１２】
0003681657.tif 000020
【図１３】
0003681657.tif 000021
【図１４】
0003681657.tif 000022
【図１５】
0003681657.tif 000023
【図１６】
0003681657.tif 000024