(57)【要約】【課題】高い精度で多段階の覚醒度推定が可能な覚醒度推定装置を提供する。【解決手段】  覚醒度推定装置は、動作者が閉眼状態である閉眼時間を計測する閉眼時間計測回路１２０と、動作者の覚醒度を段階的に示す複数の覚醒度レベルに応じて複数の閉眼時間範囲Ｒ１，Ｒ２を規定する範囲規定部１３２と、閉眼時間計測回路１２０により計測された閉眼計測時間を閉眼時間範囲Ｒ１，Ｒ２に分類する分類部１３３と、覚醒度レベルに応じて規定された判定値算出方法に従って、分類部１３３により分類された閉眼計測時間から、覚醒度レベルに応じた判定値を算出する判定値算出部１３４と、判定値に基づいて動作者の覚醒度がいずれの覚醒度レベルに属するかを判定する判定部１３５と、を備えている。【選択図】  図１
2010191853.tif 000002
【特許請求の範囲】
【請求項１】
動作者の覚醒度を推定する覚醒度推定装置であって、
前記動作者が閉眼状態である閉眼時間を計測する閉眼時間計測手段と、
前記動作者の覚醒度を段階的に示す複数の覚醒度レベルに応じて複数の閉眼時間範囲を規定する範囲規定手段と、
前記閉眼時間計測手段により計測された閉眼計測時間を前記閉眼時間範囲に分類する分類手段と、
前記覚醒度レベルに応じて規定された判定値算出方法に従って、前記分類手段により分類された閉眼計測時間から、前記覚醒度レベルに応じた判定値を算出する判定値算出手段と、
前記判定値に基づいて前記動作者の覚醒度がいずれの覚醒度レベルに属するかを判定する判定手段と、を備えたことを特徴とする覚醒度推定装置。
【請求項２】
請求項１記載の覚醒度推定装置であって、
第１の所定時間内に前記閉眼時間計測手段によって計測された閉眼計測時間に基づいて、前記動作者の通常の覚醒状態における通常閉眼時間を設定する通常閉眼時間設定手段を備え、
前記範囲規定手段は、前記通常閉眼時間を前記閉眼時間範囲から除外することを特徴とする覚醒度推定装置。
【請求項３】
請求項２記載の覚醒度推定装置であって、
前記通常閉眼時間設定手段は、前記第１の所定時間内において所定時間範囲に属する閉眼計測時間の出現回数が所定回数以上となった場合に、前記所定時間範囲に応じて前記通常閉眼時間を設定し、
前記所定回数は、前記所定時間範囲の上限値が大きくなるほど多く設定されていることを特徴とする覚醒度推定装置。
【請求項４】
請求項１〜３の何れかに記載の覚醒度推定装置であって、
前記範囲規定手段は、前記覚醒度レベルの対応する覚醒度が高いほど、前記覚醒度レベルに対応した前記閉眼時間範囲を短い閉眼時間で規定することを特徴とする覚醒度推定装置。
【請求項５】
請求項１〜４の何れかに記載の覚醒度推定装置であって、
前記範囲規定手段は、前記覚醒度レベルの対応する覚醒度が低いほど、前記覚醒度レベルに対応した前記閉眼時間範囲を長い閉眼時間で規定することを特徴とする覚醒度推定装置。
【請求項６】
請求項１〜５の何れかに記載の覚醒度推定装置であって、
複数の前記閉眼時間範囲は、
通常の覚醒状態よりも前記動作者の覚醒度が低い第１の覚醒度レベルに対応した第１の閉眼時間範囲と、
前記第１の覚醒度レベルよりも前記動作者の覚醒度がさらに低い第２の覚醒度レベルに対応した第２の閉眼時間範囲と、を少なくとも含み、
前記分類手段は、第２の所定時間内において前記閉眼時間計測手段によって計測された閉眼計測時間を、前記第１又は第２の閉眼時間範囲に分類することを特徴とする覚醒度推定装置。
【請求項７】
請求項６記載の覚醒度推定装置であって、
前記第１の閉眼時間範囲の上限値は、前記第２の閉眼時間範囲の下限値よりも大きいことを特徴とする覚醒度推定装置。
【請求項８】
請求項６又は７記載の覚醒度推定装置であって、
前記判定値算出手段は、前記分類手段によって前記第１の閉眼時間範囲に分類された前記閉眼計測時間の累積値を求めることで、前記第１の覚醒度レベルに応じた第１の判定値を算出することを特徴とする覚醒度推定装置。
【請求項９】
請求項６〜８の何れかに記載の覚醒度推定装置であって、
前記判定値算出手段は、前記分類手段によって前記第２の閉眼時間範囲に分類された前記閉眼計測時間を、時間長さに応じて重み付けをした値に置換し、当該置換値の累積値を求めることで、前記第２の覚醒度レベルに応じた第２の判定値を算出することを特徴とする覚醒度推定装置。
【請求項１０】
請求項９記載の覚醒度推定装置であって、
前記判定値算出手段は、前記閉眼計測時間が第３の所定時間よりも短い場合には、置換後の閉眼時間を置換前の閉眼計測時間よりも長くし、前記閉眼計測時間が前記第３の所定時間よりも長い場合には、置換後の閉眼時間を置換前の閉眼計測時間よりも短くすることを特徴とする覚醒度推定装置。
【請求項１１】
請求項６〜１０の何れかに記載の覚醒度推定装置であって、
前記第２の所定時間は２分以下であることを特徴とする覚醒度推定装置。
【請求項１２】
請求項１〜１１の何れかに記載の覚醒度推定装置であって、
前記判定手段は、前記動作者の覚醒度の低下度合に応じた数の前記判定値に基づいて、前記動作者の覚醒度が同一の覚醒度レベルにおいて何れの段階に属するかを判定することを特徴とする覚醒度推定装置。
【請求項１３】
請求項１２記載の覚醒度推定装置であって、
前記判定値算出手段は、通常の覚醒状態よりも前記動作者の覚醒度が低い第１の覚醒度レベルに応じた第１の判定値を算出し、
前記判定手段は、
単一の前記第１の判定値に基づいて、前記動作者の覚醒度が前記第１の覚醒度レベルの前期段階に属するか否かを判定し、
複数の前記第１の判定値に基づいて、前記動作者の覚醒度が前記第１の覚醒度レベルの後期段階に属するか否かを判定することを特徴とする覚醒度推定装置。
【請求項１４】
請求項１３記載の覚醒度推定装置であって、
前記判定手段は、単一の前記第１の判定値が第１の閾値を超えた場合に、前記動作者の覚醒度が前記第１の覚醒度レベルの前期段階であると判定することを特徴とする覚醒度推定装置。
【請求項１５】
請求項１３又は１４記載の覚醒度推定装置であって、
前記判定手段は、複数の前記第１の判定値がいずれも第２の閾値を超えた場合に、前記動作者の覚醒度が前記第１の覚醒度レベルの後期段階であると判定することを特徴とする覚醒度推定装置。
【請求項１６】
請求項１５記載の覚醒度推定装置であって、
前記動作者の欠伸を検出する欠伸検出手段をさらに備えており、
前記分類手段は、前記欠伸検出手段により欠伸が検出された時から第４の所定時間の間、前記第２の閾値を低下させることを特徴とする覚醒度推定装置。
【請求項１７】
請求項１３〜１６の何れかに記載の覚醒度推定装置であって、
前記判定値算出手段は、前記第１の覚醒度レベルよりも前記動作者の覚醒度がさらに低い第２の覚醒度レベルに応じた第２の判定値を算出し、
前記判定手段は、
単一の前記第２の判定値に基づいて、前記動作者の覚醒度が前記第２の覚醒度レベルの前期段階に属するか否かを判定し、
複数の前記第２の判定値に基づいて、前記動作者の覚醒度が前記第２の覚醒度レベルの後期段階に属するか否かを判定することを特徴とする覚醒度推定装置。
【請求項１８】
請求項１７記載の覚醒度推定装置であって、
前記判定手段は、単一の前記第２の判定値が第３の閾値を超えた場合に、前記動作者の覚醒度が前記第２の覚醒度レベルの前期段階であると判定することを特徴とする覚醒度推定装置。
【請求項１９】
請求項１８記載の覚醒度推定装置であって、
前記判定手段は、複数の第２の判定値がいずれも第４の閾値を超えた場合に、前記動作者の覚醒度が前記第２の覚醒度レベルの後期段階であると判定することを特徴とする覚醒度推定装置。
【請求項２０】
請求項１９記載の覚醒度推定装置であって、
前記動作者の欠伸を検出する欠伸検出手段をさらに備えており、
前記判定手段は、前記欠伸検出手段による欠伸の検出から第４の所定時間の間、前記第４の閾値を低下させることを特徴とする覚醒度推定装置。
【請求項２１】
請求項１〜２０の何れかに記載の覚醒度推定装置であって、
前記動作者の欠伸を検出する欠伸検出手段をさらに備えており、
前記分類手段は、欠伸検出手段が欠伸を検出した間に前記閉眼時間計測手段により計測された閉眼計測時間を、分類対象から除外することを特徴とする覚醒度推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動作者の覚醒度を推定する覚醒度推定装置に関するものである。
【背景技術】
【０００２】
運転初期における瞬き時間の頻度分布に基づいて、長い瞬きを判定するための閾値を設定し、所定時間内における瞬きの全回数に対する長い瞬きの回数の比率を算出し、この比率に基づいて覚醒度低下を検出する技術が知られている（例えば特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平９−２７７８４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の技術では、長い瞬きを判定するための閾値が単一であるため、たとえば、覚醒度が大きく低下している際に出現する長い閉眼と、覚醒度の低下度合が小さい時に出現するやや遅い瞬きとを区別することができず、覚醒度を多段階で推定するのに適していないという問題があった。
【０００５】
本発明が解決しようとする課題は、高い精度で多段階の覚醒度推定が可能な覚醒度推定装置を提供することである。
【課題を解決するための手段】
【０００６】
本発明は、覚醒度レベルに応じて規定した複数の閉眼時間範囲に閉眼計測時間を分類し、覚醒度レベルに応じた判定値算出方法に従って、覚醒度レベルに応じた判定値を算出し、この判定値に基づいて動作者の覚醒度がいずれの覚醒度レベルに属するかを判定することによって上記課題を解決する。なお、特に限定されないが、動作者には、たとえば車輌を運転する運転者や、パソコン等の電子機器や精密機器を操作する操作者（オペレータ）等を含む。
【発明の効果】
【０００７】
本発明によれば、覚醒度レベルに応じて閉眼時間範囲を規定すると共に、覚醒度レベルに応じた算出方法を用いて判定値を算出するので、それぞれの覚醒度レベルにおいて判定精度を向上することができ、高い精度で多段階の覚醒度を推定することができる。
【図面の簡単な説明】
【０００８】
【図１】図１は、本発明の第１実施形態における覚醒度推定装置の全体構成を示すブロック図である。
【図２】図２は、本発明の第１実施形態におけるカメラの設置位置を示す斜視図である。
【図３】図３は、本発明の第１実施形態における開閉眼検出装置の他の例を示す回路図である。
【図４】図４は、図３に示す開閉眼検出装置の発光ダイオードの設置位置を示す斜視図である。
【図５】図５は、本発明の第１実施形態における閉眼時間範囲と覚醒度レベルの対応関係を示す概念図である。
【図６】図６は、時間経過に伴って覚醒度が低下していく過程における閉眼率の変化の一例を示すグラフである。
【図７】図７は、本発明の第１実施形態における覚醒度推定装置の処理を示すフローチャート（その１）である。
【図８】図８は、本発明の第１実施形態における覚醒度推定装置の処理を示すフローチャート（その２）である。
【図９】図９は、図７のステップＳ１０１（瞬き学習）のサブルーチンを示すフローチャートである。
【図１０Ａ】図１０Ａは、動作者Ｘの時間経過に伴う閉眼時間の出現度数の変化の一例を示すグラフであり、Ａ〜Ｂ秒の閉眼のみを表すグラフである。
【図１０Ｂ】図１０Ｂは、動作者Ｘの時間経過に伴う閉眼時間の出現度数の変化の一例を示すグラフであり、Ｃ秒以上の閉眼を表すグラフである。
【図１１Ａ】図１１Ａは、動作者Ｙの時間経過に伴う閉眼時間の出現度数の変化の一例を示すグラフであり、Ａ〜Ｂ秒の閉眼のみを表すグラフである。
【図１１Ｂ】図１１Ｂは、動作者Ｙの時間経過に伴う閉眼時間の出現度数の変化の一例を示すグラフであり、Ｃ秒以上の閉眼を表すグラフである。
【図１２Ａ】図１２Ａは、動作者Ｙの補正後の閉眼時間の出現度数の変化の一例を示すグラフであり、Ａ〜Ｂ’秒の閉眼のみを表すグラフである。
【図１２Ｂ】図１２Ｂは、動作者Ｙの補正後の閉眼時間の出現度数の変化の一例を示すグラフであり、Ｃ’秒以上の閉眼を表すグラフである。
【図１３Ａ】図１３Ａは、閉眼時間の出現度数を３０秒毎にカウントした場合の一例を示すグラフであり、平常時の瞬き時間のみを表すグラフである。
【図１３Ｂ】図１３Ｂは、閉眼時間の出現度数を３０秒毎にカウントした場合の一例を示すグラフであり、平常時の瞬きよりも長い閉眼時間を示すグラフである。
【図１４】図１４は、閉眼時間の出現度数を１分毎にカウントした場合の一例を示すグラフである。
【図１５】図１５は、閉眼時間の出現度数を２分毎にカウントした場合の一例を示すグラフである。
【図１６】図１６は、閉眼時間の出現度数を５分毎にカウントした場合の一例を示すグラフである。
【図１７】図１７は、閉眼時間の出現度数を１０分毎にカウントした場合の一例を示すグラフである。
【図１８】図１８は、閉眼時間の出現度数を１５分毎にカウントした場合の一例を示すグラフである。
【図１９】図１９は、閉眼時間を出現度数で表した場合と閉眼率で表した場合とを比較するためのグラフである。
【図２０】図２０は、閉眼時間を出現度数で表した場合と閉眼率で表した場合と重み付け値で表した場合とを比較するためのグラフである。
【図２１】図２１は、図７及び図８に示すフローチャートのステップＳ１１１及びＳ１１７における処理を説明する概念図である。
【図２２】図２２は、図８に示すフローチャートのステップＳ１１２及びＳ１１８における処理を説明するためのグラフである。
【図２３】図２３は、図８に示すフローチャートのステップＳ１１４及びＳ１２０における処理を説明するためのグラフである。
【図２４】図２４は、本発明の第２実施形態における覚醒度推定装置の全体構成を示すブロック図である。
【図２５】図２５は、欠伸による開閉眼誤判定の一例を示すグラフである。
【図２６】図２６は、欠伸における口の縦横比と眼の開閉との同期性の一例を示すグラフである。
【図２７】図２７は、本発明の第２実施形態における覚醒度推定装置による第１の処理を示すフローチャートである。
【図２８】図２８は、本発明の第２実施形態における除外期間の設定方法を説明するためのグラフである。
【図２９】図２９は、本発明の第２実施形態における覚醒度推定装置による第２の処理を示すフローチャートである。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
＜第１実施形態＞
図１は本実施形態における覚醒度推定装置の全体構成を示すブロック図、図２は本実施形態におけるカメラの設置位置を示す斜視図、図３は本実施形態における開閉眼検出装置の他の例を示す回路図、図４は図３の開閉眼検出装置の発光ダイオードの設置位置を示す斜視図である。
【００１１】
本実施形態における覚醒度推定装置１は、図１に示すように、開閉眼検出装置１１０、閉眼時間計測回路１２０、及び覚醒度レベル判定回路１３０を備えている。この覚醒度推定装置１は、以下の４つの段階で運転者の覚醒度（覚醒の度合）を推定することが可能となっている。
【００１２】
(I)  第１の覚醒度レベル（覚醒度低下度合“小”）の前期段階
(II)   第１の覚醒度レベル（覚醒度低下度合“小”）の後期段階
(III)   第２の覚醒度レベル（覚醒度低下度合“大”）の前期段階
(IV)   第２の覚醒度レベル（覚醒度低下度合“大”）の後期段階
【００１３】
第１の覚醒度レベル（覚醒度低下度合“小”）は、通常の覚醒状態よりも運転者の覚醒度が低いレベルであり、第２の覚醒度レベル（覚醒度低下度合“大”）は、第１の覚醒度レベルよりも運転者の覚醒度がさらに低いレベルである。また、覚醒度レベルの前期段階は、当該覚醒度レベルの中でも運転者の覚醒度の低下度合が比較的小さい段階であり、覚醒度レベルの後期段階は、同一の覚醒度レベルの中で前期段階よりも運転者の覚醒度の低下度合が大きい段階である。なお、覚醒度レベルの段階の数は特に限定されない。また、本実施形態では、車輌を運転する運転者について覚醒度推定装置１を用いた例について説明するが、パソコン等の電子機器や精密機器を操作する操作者（オペレータ）等について本例における覚醒度推定装置１を用いてもよい。
【００１４】
開閉眼検出装置１１０は、運転者３００の眼の開閉を検出する装置であり、カメラ１１１と画像処理回路１１２を有している。カメラ１１１は、ＣＣＤやＣＭＯＳ等の撮像素子を有しており、図２に示すように、たとえばインストルメントパネルの前方に、運転者３００の顔３１０を撮像可能に設置されている。画像処理回路１１２は、カメラ１１１により撮像された顔画像に画像処理を行うことで、当該顔画像における運転者３００の眼の位置を検出すると共に、その眼の開閉の判定を行う。なお、眼の位置検出や開閉判定についての具体的な処理方法については、特開平１０−２７５２１２号公報に記載されているのでここではその説明を省略する。
【００１５】
なお、画像処理技術に代えて、図３に示すように、開閉眼検出装置を、発光ダイオード２１１、フォトダイオード２１２、及び増幅器２１３から構成してもよい。この方法では、図４に示すように、眼鏡フレーム２００の下部に取り付けた発光ダイオード２１１によって、運転者３００の眼に近赤外線を照射し、上瞼と眼球部の反射率の差をフォトダイオード２１２によって電流値の差としてセンシングし、この差を増幅器２１３で増幅して開閉眼を検出する。
【００１６】
図１に戻り、閉眼時間検出回路１２０は、開閉眼検出装置１１０によって検出された運転者３００の眼の閉開に伴ってオン／オフされるタイマ（不図示）を有している。この閉眼時間検出回路１２０は、開閉眼検出装置１１０によって閉眼を検出したらタイマをオンにして計時を開始し、開閉眼検出装置１１０によって開眼を検出したらタイマをオフにして計時を終了することで、運転者３００の閉眼から開眼までの時間（閉眼時間）を計測する。
【００１７】
覚醒度レベル判定回路１３０は、図１に示すように、通常閉眼時間設定部１３１、範囲規定部１３２、分類部１３３、判定値検出部１３４、及び判定部１３５を機能的に有している。
【００１８】
通常閉眼時間設定部１３１は、閉眼時間計測回路１２０によって計測された閉眼時間（閉眼計測時間）に基づいて、通常の覚醒状態（平常状態）における運転者の閉眼時間（通常閉眼時間）を設定する。この通常閉眼時間は、通常の覚醒状態にある運転者の通常の瞬きに伴う閉眼時間である。通常の瞬きの長さには大きな個人差があるため、本実施形態では、通常閉眼時間設定部１３１によって個人別に通常閉眼時間を設定することで、その個人差を吸収する。
【００１９】
範囲規定部１３２は、覚醒度レベルに応じた複数の閉眼時間範囲を規定する。本実施形態では、この範囲規定部１３２は、図５に示すように、第１の覚醒度レベルに対応し、Ｃ〜Ｆ秒の閉眼時間で構成される第１の閉眼時間範囲Ｒ１と、第２の覚醒度レベルに対応し、Ｅ秒以上の閉眼時間で構成される第２の閉眼時間範囲Ｒ２と、を規定する。また、この範囲規定部１３２は、第１の閉眼時間範囲Ｒ１から通常閉眼時間以下の閉眼時間（Ａ〜Ｂ秒）を除外することで、第１の閉眼時間範囲Ｒ１の下限値を決定する。なお、図５は本実施形態における閉眼時間範囲Ｒ１，Ｒ２と覚醒度レベルの対応関係を示す概念図である。
【００２０】
このように、覚醒度の比較的高い第１の覚醒度レベルに対応する第１の閉眼時間範囲Ｒ１を比較的短い閉眼時間（Ｃ〜Ｆ秒）で構成し、覚醒度の比較的低い第２の覚醒度レベルに対応する第２の閉眼時間範囲Ｒ２を比較的長い閉眼時間（Ｅ秒以上）で構成することで、高い精度で多段階の覚醒度推定を行うことができる。なお、本実施形態で用いる閉眼時間Ａ〜Ｏ秒は、アルファベット順に時間が長くなる関係にある。
【００２１】
また、本実施形態では、図５に示すように、第１の閉眼時間範囲Ｒ１の上限値（Ｆ秒）が、第２の閉眼時間範囲Ｒ２の下限値（Ｅ秒）よりも大きくなっており（Ｆ＞Ｅ）、第１の閉眼時間範囲Ｒ１と第２の閉眼時間範囲Ｒ２とが部分的に重複している。このため、更に高い精度で多段階の覚醒度推定を行うことができる。なお、本実施形態では、第１の閉眼時間範囲Ｒ１の上限値と第２の閉眼時間範囲Ｒ２の下限値は、実験等によって予め設定された固定値として設定されているが、たとえば通常閉眼時間に応じてこれらを可変としてもよい。
【００２２】
分類部１３３は、閉眼時間計測回路１２０により計測された閉眼時間を、第１の閉眼時間範囲Ｒ１又は第２の閉眼時間範囲Ｒ２に分類する。
【００２３】
判定値算出部１３４は、覚醒度レベルに応じて規定された判定値算出方法に従って、分類部１３３により分類された閉眼時間から、覚醒度レベルに応じた判定値を算出する。
【００２４】
たとえば、第１の覚醒度レベルに応じた第１の判定値を算出する場合には、判定値算出部１３４は、分類部１３３によって第１の閉眼時間範囲Ｒ１に分類された閉眼時間の累積時間を、第１の判定値として算出する。
【００２５】
一方、第２の覚醒度レベルに応じた第２の判定値を算出する場合には、判定値算出部１３４は、分類部１３３によって第２の閉眼時間範囲Ｒ２に分類された閉眼時間を、時間長さに応じて重み付けをした値に置換し、当該置換後の閉眼時間の累積値を、第２の判定値として算出する。
【００２６】
ここで、図６は時間経過に伴って覚醒度が低下していく過程における閉眼率の変化の一例を示すグラフである。同図中における実線は全ての閉眼時間を累積して３０秒毎の閉眼率を算出したものであり、同図中における一点鎖線は瞬き時間を除いた閉眼時間を累積して３０秒毎の閉眼率を算出したものである。同図に示すように、閉眼率は、覚醒度の低下に伴って一方的に上昇するのではなく、大きな増減を繰り返しながら徐々に上昇するため、単に数段階の閾値を設定するだけでは、覚醒度を精度良く多段階で推定することは困難である。
【００２７】
これに対し、本実施形態では、上述のように覚醒度レベルに応じた算出方法を用いて判定値を算出するので、それぞれの覚醒度レベルにおいて判定精度を向上することができ、高い精度で多段階の覚醒度を推定することができる。
【００２８】
判定部１３５は、判定値算出部１３４が算出した判定値に基づいて、運転者の覚醒状態がいずれの覚醒度レベル（上記の(I)〜(IV)）に属するかを判定する。この際、判定部１３５は、同一の覚醒度レベルにおいて、単一の判定値に基づいて当該覚醒度レベルの前期段階に属するか否かを判定し、複数の判定値に基づいて当該覚醒度レベルの後期段階に属するか否かを判定する。
【００２９】
次に、本実施形態における覚醒度推定装置１の処理について説明する。図７及び図８は本実施形態における覚醒度レベル推定装置の処理を示すフローチャート、図９は瞬き学習のサブルーチンを示すフローチャートである。
【００３０】
覚醒度レベル推定装置１による処理が開始されると、先ず、図７のステップＳ１０１において、運転者毎に異なる平常時の瞬き時間の学習を実行する。
【００３１】
ここで、図１０Ａ〜図１２Ｂを参照しながら、瞬き時間の学習の必要性について説明する。図１０Ａ〜図１１Ｂは動作者Ｘ及びＹについて時間経過に伴って覚醒度が低下していく過程で計測した閉眼時間を一定時間で区分けし（Ａ〜Ｂ秒：瞬き相当時間、Ｃ〜Ｄ秒、Ｅ〜Ｆ秒、…）、各区分の１分毎の出現度数をそれぞれ表したものである。
【００３２】
図１０Ａは動作者ＸのＡ〜Ｂ秒の閉眼の出現度数のみを表したものであり、図１０Ｂは同じ動作者ＸのＣ秒以上の閉眼の出現度数を表したものである。図１０Ｂに示すように、動作者Ｘの覚醒度が低下するに従って、やや遅い閉眼時間の出現が増加し、次第に長い閉眼が徐々に発生する傾向を確認することができる。
【００３３】
一方、図１１Ａは、動作者ＹのＡ〜Ｂ秒の閉眼の出現度数のみを表したものであり、図１１Ｂは同じ動作者ＹのＣ秒以上の閉眼の出現度数を表したものである。図１１ＢのXI部に示すように、測定開始直後からやや遅い瞬きと考えられるＣ〜Ｄ［秒］の閉眼が数多く発生している。図１０Ｂと図１１Ｂを比較すると、動作者Ｙの平常時の瞬き時間の方が、動作者Ｘの平常時の瞬き時間よりも長く、平常時の瞬き時間に個人差があることが分かる。
【００３４】
そこで、図１１Ｂにおける測定開始直後の５分間（図１１ＢのXI部）に出現したＣ〜Ｄ秒の時間長さが動作者Ｙの平常時の瞬き時間に含まれるように、Ｂ−Ｃ間の閾値をＢ’−Ｃ’に補正すると、動作者Ｙの時間経過に伴う閉眼時間の出現度数の変化は、図１２Ａ及び図１２Ｂのようになる。なお、図１２Ａは動作者ＹのＡ〜Ｂ’秒の閉眼の出現度数のみを表したものであり、図１２Ｂは同じ動作者ＹのＣ’以上の閉眼の出現度数を表したものである。
【００３５】
図１２Ｂから理解できるように、Ｂ−Ｃ間の閾値を変更することで、動作者Ｙの時間経過に伴う閉眼時間の出現度数の変化も、図１０Ｂに示す動作者Ｘと同様の傾向を示すようになる。このような補正により、平常時の瞬き時間の個人差を吸収することができ、覚醒度を精度よく把握することができるようになる。
【００３６】
以下に、図７のステップＳ１０１（瞬き時間の学習）のサブルーチンについて、図９を参照しながら説明する。
【００３７】
図９のステップＳ２０１において、覚醒度レベル判定回路１３０が、特に図示しないタイマによって学習期間（第１の所定時間）の計時を開始し、ステップＳ２０２において学習期間が経過したか否かを判断する。なお、学習期間は、たとえば運転者が乗車した直後の５分間である。
【００３８】
ステップＳ２０２において学習期間が経過していないと判断した場合（ステップＳ２０２においてＮＯ）には、ステップＳ２０３において、覚醒度レベル判定回路１３０は、閉眼時間計測回路１２０によって計測された閉眼計測時間を取り込む。
【００３９】
次いで、ステップＳ２０４において、閉眼計測時間がａ秒以下か否かを判断する。このａ秒は、後述のｂ秒（ステップＳ２０７）及びｃ秒（ステップＳ２１２）よりも短い時間値であり（ａ＜ｂ，ｃ）、このステップＳ２０４では、運転者の平常時の瞬きが比較的速いものであるか否かを判定している。
【００４０】
ステップＳ２０４において閉眼計測時間がａ秒以下であると判断した場合（ステップＳ２０４にてＹＥＳ）には、ステップＳ２０５において通常閉眼時間が未設定であるか否かを判断する。
【００４１】
ステップＳ２０５において通常閉眼時間が未設定であると判定した場合（ステップＳ２０６にてＹＥＳ）には、ステップＳ２０６において、このａ秒に対応したα秒を通常閉眼時間として設定し、その後にステップＳ２０２に戻る。
【００４２】
一方、ステップＳ２０５において通常閉眼時間が既に設定されていると判定した場合（ステップＳ２０６にてＮＯ）には、ステップＳ２０２に戻り、閉眼計測時間がａ秒以下である限り、ステップＳ２０３〜ステップＳ２０５のループを繰り返す。
【００４３】
たとえば上述の動作者Ｙのように平常時でもやや遅めの瞬きが混じる場合には、閉眼計測時間がａ秒を超える。そこで、本実施形態では、閉眼計測時間がａ秒より大きいと判断した場合（ステップＳ２０４にてＮＯ）には、ステップＳ２０７において、閉眼計測時間がｂ秒以下か否かを判断する。このｂ秒は、後述のｃ秒（ステップＳ２１２）よりも短い時間値である（ｂ＜ｃ）。
【００４４】
ステップＳ２０７において閉眼計測時間がｂ秒以下であると判断した場合（ステップＳ２０７にてＹＥＳ）には、ａ〜ｂ秒の間の閉眼計測時間の出現回数をカウントアップし（ステップＳ２０８）、ステップＳ２０９において、当該出現回数が第１の所定回数よりも多いか否かを判断する。このように、やや遅い瞬きについては複数回の出現を条件とすることで、平常時の瞬きの誤判定を抑制することができる。なお、本実施形態におけるａ〜ｂ秒が、本発明における所定時間範囲の一例に相当し、本実施形態における第１の所定回数が、本発明における所定回数の一例に相当する。
【００４５】
ステップＳ２０９において出現回数が第１の所定回数よりも多いと判断した場合（ステップＳ２０９にてＹＥＳ）、さらに、ステップＳ２１０において通常閉眼時間が未設定又はα秒に設定されているか否かを判断する。そして、通常閉眼時間が未設定であるか又はα秒に設定されている場合（ステップＳ２１０にてＹＥＳ）には、ステップＳ２１１において、ｂ秒に対応したβ秒を通常閉眼時間として設定し、その後ステップＳ２０２に戻る。
【００４６】
一方、ａ秒〜ｂ秒の間の閉眼計測時間の出現回数が第１の所定回数以下である場合（ステップＳ２０９にてＮＯ）や、通常閉眼時間としてβ秒やγ秒（後述）が設定されている場合（ステップＳ２１０にてＮＯ）には、通常閉眼時間をβ秒に設定せずに、ステップＳ２０２に戻る。
【００４７】
たとえば上述の動作者Ｙよりも平常時の瞬きが遅い場合には、閉眼計測時間がｂ秒を超える。そこで、本実施形態では、閉眼計測時間がｂ秒より大きいと判断した場合（ステップＳ２０７にてＮＯ）には、ステップＳ２１２において閉眼計測時間がｃ秒以下か否かを判定する。このｃ秒は、通常の瞬き時間の個人差を十分に考慮した最大値に設定されており、仮にｃ秒よりも大きな閉眼計測時間が出現したとしても、本実施形態における瞬き学習では特に処理をしない（ステップＳ２１２にてＮＯ）。
【００４８】
ステップＳ２１２において閉眼計測時間がｃ秒以下であると判断した場合（ステップＳ２１２にてＹＥＳ）には、ｂ秒〜ｃ秒の間の閉眼計測時間の出現回数をカウントアップし（ステップＳ２１３）、ステップＳ２１４において、当該出現回数が第２の所定回数よりも多いか否かを判断する。このように、遅い瞬きについては複数回の出現を条件とすることで、平常時の瞬きの誤判定を抑制することができる。なお、本実施形態におけるｂ〜ｃ秒が、本発明における所定時間範囲の一例に相当し、本実施形態における第２の所定回数が、本発明における所定回数の一例に相当する。
【００４９】
また、一般的に、瞬き時間が遅くなる程、該当する運転者が減少するので、ステップＳ２１４における第２の所定回数は、上述のステップＳ２０９における第１の所定回数も多く設定されている。これにより、平常時の瞬きの誤判定を更に抑制することができる。
【００５０】
ステップＳ２１４においてｂ秒〜ｃ秒の間の閉眼計測時間の出現回数が第２の所定回数よりも多いと判断した場合（ステップＳ２１４にてＹＥＳ）には、ステップＳ２１５において、ｃ秒に対応したγ秒を通常閉眼時間として設定し、その後にステップＳ２０２に戻る。
【００５１】
一方、ステップＳ２１４においてｂ秒〜ｃ秒の間の閉眼計測時間の出現回数が第２の所定回数以下であると判断した場合（ステップＳ２１４にてＮＯ）には、通常閉眼時間をγ秒に設定することなく、ステップＳ２０２に戻る。
【００５２】
この図９に示すサブルーチンを繰り返す中で、ステップＳ２０２において学習時間の経過が判定されると（ステップＳ２０２にてＹＥＳ）、ステップＳ２１６において、ステップＳ２０６，Ｓ２１１又はＳ２１５で設定された通常設定時間を確定し、瞬き学習のサブルーチンを終了する。なお、既に運転者の瞬き時間を学習したことがある場合には、図９に示す瞬き学習（すなわち図７のステップＳ１０１）を省略してもよい。
【００５３】
覚醒度レベル推定回路１３０の範囲規定部１３２は、図５に示すような第１及び第２の閉眼時間範囲Ｒ１，Ｒ２を規定し、以上のように設定された通常閉眼時間を第１の閉眼時間範囲Ｒ１から除外して、第１の閉眼時間範囲Ｒ１の下限値を決定する。
【００５４】
図７に戻り、瞬き学習が完了したら、ステップＳ１０２において、覚醒度レベル判定回路１３０は、特に図示しないタイマによって判定期間（第２の所定時間）の計時を開始し、ステップ１０３において判定期間が経過したか否かを判断する。判定期間は２分以下であり、好ましくは３０秒〜１分である。
【００５５】
ここで、図１３Ａ〜図１８を参照しながら、判定期間の長さの設定理由について説明する。図１３Ａ〜図１８は同一の閉眼出現度数データを異なる判定期間毎にカウントした例を示すグラフである。各図における判定期間は、図１３Ａ及び図１３Ｂが３０秒、図１４が１分、図１５が２分、図１６が５分、図１７が１０分、及び、図１８が１５分である。なお、図１４〜図１８では、平常時の瞬き時間（Ａ〜Ｂ秒）の出現度数は省略しており、平常時の瞬きよりも長い閉眼時間の出現度数のみを図示している。
【００５６】
図１３Ａ〜図１８に示すように、判定期間を長くするほど、覚醒度低下と長い閉眼時間の増加との相関関係を把握し易くなるが、その反面、判定期間を長くすると覚醒度の推定のタイミングが遅くなるという問題がある。そこで、本実施形態では、早期に覚醒度を推定するために、上述のとおり、判定期間を２分以下、好ましくは３０秒〜１分に設定している。
【００５７】
図７に戻り、ステップＳ１０３において判定期間を経過していないと判断した場合（ステップＳ１０３にてＮＯ）には、ステップＳ１０４において、覚醒度レベル判定回路１３０は、閉眼時間計測回路１２０によって計測された閉眼計測時間を取り込む。
【００５８】
次いで、ステップＳ１０５において、閉眼計測時間が第１の閉眼時間範囲Ｒ１（Ｃ〜Ｆ秒）に属するか否かを判断する。このステップＳ１０５において、閉眼計測時間が第１の閉眼時間範囲Ｒ１に属しないと判断した場合（ステップＳ１０５にてＮＯ）には、ステップＳ１０８に進む。
【００５９】
一方、ステップＳ１０５において、閉眼計測時間が第１の閉眼時間範囲Ｒ１に属すると判断した場合（ステップＳ１０５にてＹＥＳ）には、ステップＳ１０６において、第１の覚醒度レベルに対応した第１の判定値を、閉眼計測時間に基づいて算出する。このステップＳ１０６では、判定期間内に発生する閉眼計測時間の中で第１の閉眼時間範囲Ｒ１に属するものを累積することで第１の判定値を算出する。
【００６０】
覚醒度の低下度合が小さい時は、図１４で示すように、やや遅い閉眼時間であるＣ〜Ｆ秒から発生し始める。そこで、本実施形態では、覚醒度の低下度合が小さい時は、Ｃ〜Ｆ秒の閉眼時間だけを累積対象としているので、Ｇ秒以上の長い閉眼の影響を受けることがなく、推定精度を高めることができる。
【００６１】
なお、本実施形態では、上記のとおり長い閉眼時間の影響を受けることがないので、図１９のXIXA部及びXIXB部に示すように、出現度数よりも閉眼時間の累積値を用いて閉眼率として扱った方が、感度の高い推定を行うことができる。なお、図１９は、閉眼時間を出現度数で表した場合と閉眼率で表した場合とを比較するためのグラフであり、図１９（ａ）は閉眼時間を出現度数で表したグラフであり、図１９（ｂ）は図１９（ａ）と同一データを閉眼率で表したグラフである。
【００６２】
次いで、ステップＳ１０７において、ステップＳ１０６で算出した第１の判定値をメモリ（不図示）に記憶する。
【００６３】
次いで、ステップＳ１０８において、閉眼計測時間が第２の閉眼時間範囲Ｒ２（Ｅ秒以上）に属するか否かを判断する。このステップＳ１０８において、閉眼計測時間が第２の閉眼時間範囲Ｒ２に属しないと判断した場合（ステップＳ１０８にてＮＯ）には、ステップＳ１０３に戻る。
【００６４】
一方、ステップＳ１０８において、閉眼計測時間が第２の閉眼時間範囲Ｒ２に属すると判断した場合（ステップＳ１０８にてＹＥＳ）には、ステップＳ１０９において、第２の覚醒度レベルに対応した第２の判定値を、閉眼計測時間に基づいて算出する。
【００６５】
このステップＳ１０９では、判定期間内に発生する閉眼計測時間の中で第２の閉眼時間範囲Ｒ２に属するものを下記の表１のように一定時間で区分けし、各区分の時間長さに応じて重み付けされた値に各閉眼計測時間をそれぞれ置換し、当該置換値の累積値を算出することで、第２の判定値を算出する。
【００６６】
【表１】
2010191853.tif 000003
【００６７】
上記の表１では、各閉眼時間の区分の代表閉眼時間を便宜的に０．４〜１．２秒及び∞と設定し、１秒の閉眼を基準として、その基準よりも閉眼時間が長い区分（表１において“Ｍ〜Ｎ”区分及び“Ｏ〜”区分）については、実際の閉眼計測時間よりも置換後の値を長く設定している。一方、基準よりも閉眼時間が短い区分（表１において“Ｅ〜Ｆ”区分、“Ｇ〜Ｈ”区分、及び“Ｉ〜Ｊ”区分）については、実際の閉眼計測時間よりも置換後の値を短く設定している。なお、一般的に運転者が眠気と葛藤しているぐらいの覚醒状態になると１秒程度の閉眼が頻出するため、本実施形態では上記の基準を１秒と設定している。本実施形態における１秒の閉眼が、本発明における第３の所定時間の一例に相当するが、第３の所定時間は１秒に特に限定されない。
【００６８】
このように、閉眼時間が長い区分については、実測値よりも置換値を短くすることで、下記の表２に示すような眼の動きを閉眼と誤判定した場合の影響を極力小さくすることができる。また、閉眼時間が短い区分については、実測値よりも置換値を長くすることで、検出感度を高めることができる。
【００６９】
【表２】
2010191853.tif 000004
【００７０】
また、一般的に、運転者が覚醒状態を下げてはいけないという意識の高い状況下では、１回の非常に長い閉眼が出現するよりも、やや長めの閉眼が頻出する。そこで、本実施形態では、上述のように実測値を置換値に変換することで、ノイズとなる長い閉眼の影響を極力小さくした上で、頻出するやや長めの閉眼を検出し易くなっている。
【００７１】
たとえば、図２０（ａ）〜（ｃ）はいずれも同一の閉眼時間データに基づくグラフであり、図２０（ａ）は区分毎の単なる出現度数で表したグラフであり、図２０（ｂ）は閉眼時間を累積して算出した閉眼率で表したグラフであり、図２０（ｃ）は本例における上述の置換値で表したグラフである。図２０（ａ）〜（ｃ）を比較すると、ノイズとなる長い閉眼の影響を極力小さくした上で、頻出するやや長い閉眼を最も検出し易いのは、本実施形態の算出方法であることが分かる。
【００７２】
図７に戻り、ステップＳ１０９での第２の判定値の算出が完了したら、ステップＳ１１１０において、当該第２の判定値をメモリに記憶する。
【００７３】
以上のステップＳ１０３〜Ｓ１１０を判定期間が経過するまで繰り返し、判定期間を経過したら（ステップＳ１０３にてＹＥＳ）、ステップＳ１１１に進んで、図２１に示すように、メモリ内における最新判定期間の第１及び第２の判定値を、今回の判定期間で算出した第１の判定値と第２の判定値で更新する。なお、図２１はステップＳ１１１とＳ１１７における処理を説明するための概念図である。
【００７４】
次いで、図８のステップＳ１１２において、最新の単一の判定期間において算出された第１の判定値が第１の閾値ＴＨ１よりも大きいか否かを判断する。図２２に示すように、ステップＳ１１２で第１の判定値ＴＨ１が第１の閾値ＴＨ１よりも大きいと判断した場合（ステップＳ１１２にてＹＥＳ）には、ステップＳ１１３において、運転者の覚醒度が第１の覚醒度レベル（覚醒度低下度合“小”）の前期段階に属すると判定し、ステップＳ１１３に進む。一方、ステップＳ１１２で第１の判定が第１の閾値ＴＨ１以下であると判断した場合（ステップＳ１１２でＮＯ）には、ステップＳ１１３の判定を行わずにステップＳ１１４に進む。なお、図２２はステップＳ１１２及びＳ１１８における処理を説明するためのグラフである。
【００７５】
ステップＳ１１４では、最新の単一の判定期間において算出された第２の判定値が第２の閾値ＴＨ２よりも大きいか否かを判断する。図２３に示すように、ステップＳ１１４で第２の判定値が第２の閾値ＴＨ２よりも大きいと判断した場合（ステップＳ１１４にてＹＥＳ）には、ステップＳ１１５において、運転者の覚醒度が第２の覚醒度レベル（覚醒度レベル“大”）の前期段階に属すると判定し、ステップＳ１１６に進む。一方、ステップＳ１１４で第２の判定値が第２の閾値ＴＨ２以下であると判断した場合（ステップＳ１１４にてＮＯ）には、ステップＳ１１５の判定を行わずにステップＳ１１６に進む。なお、図２３はステップＳ１１４及びＳ１２０における処理を説明するためのグラフである。
【００７６】
なお、ステップＳ１１２及びＳ１１４では、図６に示すように覚醒度合の低下に伴って閉眼率が大きく増減を繰り返すので、単一の判定期間における判定値を用いて運転者の覚醒度を判定している。
【００７７】
図８のステップＳ１１６では、図２１に示すように、所定数の判定期間（本例では直近の３つの判定期間）に亘る第１及び第２の判定値がメモリに記憶されているか否かを判断する。所定数の判定値が記憶されていない場合（ステップＳ１１６にてＮＯ）には、所定数の判定値が記憶されるまで図７のステップＳ１０２〜Ｓ１１０の処理を繰り返す（ステップＳ１２４）。
【００７８】
一方、ステップＳ１１６において、所定数の判定値がメモリに記憶されていると判断された場合（ステップＳ１１６にてＹＥＳ）には、ステップＳ１１７において、図２１に示すように、３つの判定期間の中で時系列的に最古の判定期間の判定値を最新の判定値で更新する。なお、このステップＳ１１７に初めて入った場合にはこの更新は行わない。
【００７９】
次いで、ステップＳ１１８において、所定数の判定期間に亘る第１の判定値を第３の閾値ＴＨ３とそれぞれ比較する。図２２に示すように、全ての判定期間において第１の判定値が第３の閾値ＴＨ３よりも大きい場合（ステップＳ１１８にてＹＥＳ）には、ステップＳ１１９において、運転者の覚醒度が第２の覚醒度レベル（覚醒度低下度合“小”）の後期段階に属すると判定し、ステップＳ１２０に進む。
【００８０】
一方、ステップＳ１１８において、一つの判定期間の第１の判定値でも第３の閾値ＴＨ３以下であると判断した場合（ステップＳ１１８にてＮＯ）には、ステップＳ１１９の判定を行わずにステップＳ１２０に進む。
【００８１】
ステップＳ１２０では、所定数の判定期間に亘って第２の判定値を第４の閾値ＴＨ４とそれぞれ比較する。図２３に示すように、全ての判定期間において第２の判定値が第４の閾値ＴＨ４よりも大きい場合（ステップＳ１２０にてＹＥＳ）には、ステップＳ１２１において、運転者の覚醒度が第２の覚醒度レベル（覚醒度低下度合“大”）の後期段階に属すると判定し、ステップＳ１２２に進む。
【００８２】
一方、ステップＳ１２０において、一つの判定期間の第２の判定値でも第４の閾値ＴＨ４以下であると判断した場合（ステップＳ１２０にてＮＯ）には、ステップＳ１２１の判定を行わずにステップＳ１２２に進む。
【００８３】
なお、ステップＳ１１８及びＳ１２０では、一般的に運転者の覚醒度の低下に伴って瞬間的に増加した閉眼が継続的になるので、複数の判定期間における判定値を用いて運転者の覚醒度を判定している。
【００８４】
次いで、ステップＳ１２２において、いずれかの覚醒度レベルが判定されているか否かを判断する。ステップＳ１２２で覚醒度レベルが判定されていると判断した場合（ステップＳ１２２にてＹＥＳ）には、ステップＳ１２３において、既に判定されている覚醒度レベルの中で覚醒度の最も低いものを運転者の現状の覚醒度レベルとして決定する。つまり、ステップＳ１２２及びＳ１２３では、所定数の判定期間に亘る判定値が記憶されるまでは、第１の覚醒度レベルの前期段階又は第２の覚醒度レベルの前期段階の２つの覚醒度レベルから運転者の現状の覚醒度レベルを選択し、所定数の判定期間に亘る判定値が記憶されたら、上記の(I)〜(IV)の４つの覚醒度レベルから現状の覚醒度レベルを選択する。
【００８５】
覚醒度推定装置１は、以上に説明したステップＳ１０３〜ステップＳ１２３を繰り返し、たとえば音声等を介して覚醒度レベルに応じた対処を運転者に対して実行する。
【００８６】
以上のように、本実施形態では、下記の表３に示すように、覚醒度レベルに応じて閉眼時間範囲Ｒ１，Ｒ２を規定すると共に、覚醒度レベルに応じた算出方法を用いて第１及び第２の判定値を算出するので、それぞれの覚醒度レベルにおいて判定精度を向上することができ、高い精度で多段階の覚醒度を推定することができる。
【００８７】
【表３】
2010191853.tif 000005
【００８８】
また、本実施形態では、平常時の瞬き時間（通常閉眼時間）を閉眼時間範囲Ｒ１，Ｒ２から除外するので、個人差による影響を低減することができる。
【００８９】
また、本実施形態では、平常時の瞬き時間を設定する際に、閉眼時間が長くなる程出現回数を多く要求しているので、瞬き学習の精度を向上することができる。
【００９０】
また、本実施形態では、覚醒度レベルの対応する覚醒度が高いほど、そのレベルに対応した閉眼時間範囲を短い閉眼時間で構成し、覚醒度レベルの対応する覚醒度が低いほど、そのレベルに対応した閉眼時間範囲を長い閉眼時間で構成しているので、高い精度で多段階の覚醒度推定を行うことができる。
【００９１】
また、本実施形態では、第１の閉眼時間範囲Ｒ１の上限値を第２の閉眼時間範囲Ｒ２の下限値より大きく設定しており、第１の閉眼時間範囲Ｒ１と第２の閉眼時間範囲Ｒ２とが部分的に重複しているので、更に高い精度で多段階の覚醒度推定を行うことができる。
【００９２】
また、本実施形態では、第１の閉眼時間範囲Ｒ１に分類された閉眼計測時間の累積値を求めたり、第２の閉眼時間範囲Ｒ２に分類された閉眼計測時間を、時間長さに応じて重み付けをした値に置換し、当該置換値の累積値を求めることで、それぞれの覚醒度レベルに応じた判定値を算出するので、高い精度で多段階の覚醒度推定を行うことができる。
【００９３】
また、本実施形態では、閉眼計測時間が特定の閉眼時間（第３の所定時間）よりも短い場合には、置換後の閉眼時間を置換前の閉眼時間よりも長くし、閉眼計測時間が特定の閉眼時間よりも長い場合には、置換後の閉眼時間を置換前の閉眼時間よりも短くするので、開閉眼誤判定のノイズに対するロバスト性を向上させることができる。
【００９４】
また、本実施形態では、判定期間（第２の所定時間）を２分以下としているので、早期に覚醒度を推定することができる。
【００９５】
また、本実施形態では、運転者の覚醒度の低下度合に応じた数の判定値に基づいて、運転者の覚醒度が同一の覚醒度レベルにおいて前期段階又は後期段階の何れかに属するかを判定するので、高い精度で多段階の覚醒度推定を行うことができる。
【００９６】
＜第２実施形態＞
図２４は本実施形態における覚醒度レベル推定装置１’の全体構成を示すブロック図である。
【００９７】
本実施形態では、図２４に示すように、欠伸検出回路１４０を備えている点で第１実施形態と相違するが、それ以外の構成は第１実施形態と同様である。以下に、第２実施形態について第１実施形態との相違点のみを説明し、第１実施形態と同様の構成である部分については同一符号を付して説明を省略する。
【００９８】
本実施形態における欠伸検出回路１４０は、画像処理回路１１２によって運転者の顔画像から抽出された口の形状の縦横比を算出し、この縦横比が第５の閾値ＴＨ５を超えた場合に運転者が欠伸をしていると判定する。なお、第５の閾値ＴＨ５には、大きく口を開く欠伸の特徴に基づいて、通常の会話ではありえない口の縦横比が設定されている。
【００９９】
本実施形態における覚醒度レベル判定装置１’は、第１実施形態において図７〜図９を参照しながら説明した処理に加えて、欠伸検出回路１４０を用いて、以下の２つの処理を実行する。
【０１００】
欠伸は、覚醒度の低下に対する運転者の防御反応に起因する現象であり、図２５のXXV部に示すように所定の時間帯に集中して発生する傾向がある。この欠伸の際には、図２６のXXVI部に示すように、口を大きく開く動作に伴って眼が細くなるため、図２５のXXV部に示すように、長い閉眼として誤判定されるおそれがある。なお、図２５は欠伸による開閉眼誤判定の一例を示すグラフ、図２６は欠伸における口の縦横比と眼の開閉との同期性の一例を示すグラフである。
【０１０１】
そこで、本実施形態では、欠伸検出回路１４０を用いた第１の処理として、欠伸検出後の一定期間を覚醒度レベルの判定対象から除外する処理を行う。図２７は本実施形態における覚醒度推定装置１’による第１の処理を示すフローチャートである。
【０１０２】
この第１の処理では、図２７に示すように、先ず、ステップＳ３０１において運転者の口の縦横比を算出し、次いでステップＳ３０２においてその縦横比を第５の閾値ＴＨ５と比較する。
【０１０３】
ステップＳ３０２において縦横比が第５の閾値ＴＨ５よりも大きい場合（ステップＳ３０２にてＹＥＳ）には、図２８に示すように、縦横比が第５の閾値ＴＨ５を超えたのを起点として一定の長さの期間を覚醒度レベルの判定対象から除外する。なお、図２８は本実施形態における除外期間の設定方法を説明するためのグラフである。
【０１０４】
また、一般的に、欠伸は一定周期で何度も繰り返す傾向があると共に、欠伸の後に所定時間を経過してから覚醒度が大きく低下する傾向がある。このような欠伸の特性に鑑みて、本実施形態では、欠伸検出回路１４０を用いた第２の処理として、欠伸の出現頻度が多くなったら所定時間に亘って第２の閾値ＴＨ２（図８のステップＳ１１４参照）と第４の閾値ＴＨ４（図８のステップＳ１２０参照）を低下させて、判定感度を高める処理を行う。
【０１０５】
図２９は本実施形態における覚醒度推定装置１’による第２の処理を示すフローチャートである。
【０１０６】
この第２の処理では、図２９に示すように、ステップＳ４０１において、特に図示しないタイマにより判定期間の計時を開始し、ステップＳ４０２において判定期間が経過したか否かを判断する。本例における判定期間を、第１実施形態における判定期間と一致させてもよいし相違させてもよい。
【０１０７】
ステップＳ４０２において判定期間を経過していないと判断した場合（ステップＳ４０２にてＮＯ）には、ステップＳ４０３において、欠伸検出回路１４０によって欠伸検出を行う。
【０１０８】
一方、ステップＳ４０２において判定期間を経過したと判断した場合（ステップＳ４０２にてＹＥＳ）には、ステップＳ４０４において当該判定期間内に欠伸を検出したか否かを判断する。なお、判定期間内に欠伸を検出しなかったと判断した場合（ステップＳ４０４にてＮＯ）には、ステップＳ４１１において欠伸の連続検出期間をカウントするカウンタをリセットして、ステップＳ４０２に戻る。
【０１０９】
一方、ステップＳ４０４にて欠伸の検出があったと判断した場合（ステップＳ４０４にてＹＥＳ）には、ステップＳ４０５において欠伸を連続して検出した期間をカウントアップする。
【０１１０】
次いで、ステップＳ４０６において欠伸の連続検出期間と所定長さとを比較する。ステップＳ４０６において欠伸の連続検出期間が所定長さを超えていないと判断した場合（ステップＳ４０６にてＮＯ）には、ステップＳ４０２に戻る。
【０１１１】
一方、ステップＳ４０６において欠伸の連続検出期間が所定長さを超えていると判断した場合（ステップＳ４０６にてＹＥＳ）には、ステップＳ４０７において現在時刻を記憶し、ステップＳ４０８において第２及び第４の閾値ＴＨ２，ＴＨ４を低下させる。
【０１１２】
そして、ステップＳ４０７で記憶した時刻から所定時間が経過するまで第２及び第４の閾値ＴＨ２，ＴＨ４を低下させたままにしておき、それぞれの覚醒度レベルの後期段階に関する判定感度を高める。所定時間が経過したら（ステップＳ４０９）、第２及び第４の閾値ＴＨ２，ＴＨ４を元の値に戻して（ステップＳ４１０）、一連の処理を終了する。なお、本実施形態のステップＳ４０９で用いられる所定時間が、本発明における第４の所定時間の一例に相当する。
【０１１３】
本実施形態では、第１実施形態と同様に、覚醒度レベルに応じて閉眼時間範囲Ｒ１，Ｒ２を規定すると共に、覚醒度レベルに応じた算出方法を用いて第１及び第２の判定値を算出するので、それぞれの覚醒度レベルにおいて判定精度を向上することができ、高い精度で多段階の覚醒度を推定することができる。
【０１１４】
また、本実施形態では、第１実施形態と同様に、平常時の瞬き時間（通常閉眼時間）を閉眼時間範囲Ｒ１，Ｒ２から除外するので、個人差による影響を低減することができる。
【０１１５】
また、本実施形態では、第１実施形態と同様に、平常時の瞬き時間を設定する際に、閉眼時間が長くなる程出現回数を多く要求しているので、瞬き学習の精度を向上することができる。
【０１１６】
また、本実施形態では、第１実施形態と同様に、覚醒度レベルの対応する覚醒度が高いほど、そのレベルに対応した閉眼時間範囲を短い閉眼時間で構成し、覚醒度レベルの対応する覚醒度が低いほど、そのレベルに対応した閉眼時間範囲を長い閉眼時間で構成しているので、高い精度で多段階の覚醒度推定を行うことができる。
【０１１７】
また、本実施形態では、第１実施形態と同様に、第１の閉眼時間範囲Ｒ１の上限値を第２の閉眼時間範囲Ｒ２の下限値より大きく設定しており、第１の閉眼時間範囲Ｒ１と第２の閉眼時間範囲Ｒ２とが部分的に重複しているので、更に高い精度で多段階の覚醒度推定を行うことができる。
【０１１８】
また、本実施形態では、第１実施形態と同様に、第１の閉眼時間範囲Ｒ１に分類された閉眼計測時間の累積値を求めたり、第２の閉眼時間範囲Ｒ２に分類された閉眼計測時間を、時間長さに応じて重み付けをした値に置換し、当該置換値の累積値を求めることで、それぞれの覚醒度レベルに応じた判定値を算出するので、高い精度で多段階の覚醒度推定を行うことができる。
【０１１９】
また、本実施形態では、第１実施形態と同様に、閉眼計測時間が特定の閉眼時間（第３の所定時間）よりも短い場合には、置換後の閉眼時間を置換前の閉眼時間よりも長くし、閉眼計測時間が特定の閉眼時間よりも長い場合には、置換後の閉眼時間を置換前の閉眼時間よりも短くするので、開閉眼誤判定のノイズに対するロバスト性を向上させることができる。
【０１２０】
また、本実施形態では、第１実施形態と同様に、判定期間（第２の所定時間）を２分以下としているので、早期に覚醒度を推定することができる。
【０１２１】
また、本実施形態では、第１実施形態と同様に、運転者の覚醒度の低下度合に応じた数の判定値に基づいて、運転者の覚醒度が同一の覚醒度レベルにおいて前期段階又は後期段階の何れかに属するかを判定するので、高い精度で多段階の覚醒度推定を行うことができる。
【０１２２】
さらに、本実施形態では、欠伸検出後の一定期間を覚醒度レベルの判定対象から除外するので、欠伸による開閉眼誤判定のノイズの影響を抑制し、高い精度で多段階の覚醒度推定を行うことができる。
【０１２３】
さらに、本実施形態では、欠伸の出現頻度が多くなったら所定時間に亘って第２の閾値ＴＨ２と第４の閾値ＴＨ４を低下させるので、欠伸が頻発した後に発生する覚醒度の大きな低下を高い精度で捉えることができる。
【０１２４】
なお、本実施形態における閉眼時間計測回路１２０が本発明における閉眼時間計測手段の一例に相当し、本実施形態における通常閉眼時間設定部１３１が本発明における通常閉眼時間設定手段の一例に相当し、本実施形態における範囲規定部１３２が本発明における範囲規定手段の一例に相当し、本実施形態における分類部１３３が本発明における分類手段の一例に相当し、本実施形態における判定値算出部１３４が本発明における判定値算出手段の一例に相当し、本実施形態における判定部１３５が本発明における判定手段の一例に相当する。また、本実施形態における欠伸検出回路１４０が本発明における欠伸検出手段の一例に相当する。
【０１２５】
なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【符号の説明】
【０１２６】
１，１’…覚醒度推定装置
１１０…開閉眼検出装置
１１１…カメラ
１１２…画像処理回路
１２０…閉眼時間計測回路
１３０…覚醒度レベル判定回路
１３１…通常閉眼時間設定部
１３２…範囲規定部
１３３…分類部
１３４…判定値算出部
１３５…判定部
１４０…欠伸検出回路
２００…眼鏡フレーム
２１０…開閉眼検出装置
２１１…発光ダイオード
２１２…フォトダイオード
２１３…増幅器
３００…運転者
３１０…顔
【図１】
2010191853.tif 000006
【図２】
2010191853.tif 000007
【図３】
2010191853.tif 000008
【図４】
2010191853.tif 000009
【図５】
2010191853.tif 000010
【図６】
2010191853.tif 000011
【図７】
2010191853.tif 000012
【図８】
2010191853.tif 000013
【図９】
2010191853.tif 000014
【図１０Ａ】
2010191853.tif 000015
【図１０Ｂ】
2010191853.tif 000016
【図１１Ａ】
2010191853.tif 000017
【図１１Ｂ】
2010191853.tif 000018
【図１２Ａ】
2010191853.tif 000019
【図１２Ｂ】
2010191853.tif 000020
【図１３Ａ】
2010191853.tif 000021
【図１３Ｂ】
2010191853.tif 000022
【図１４】
2010191853.tif 000023
【図１５】
2010191853.tif 000024
【図１６】
2010191853.tif 000025
【図１７】
2010191853.tif 000026
【図１８】
2010191853.tif 000027
【図１９】
2010191853.tif 000028
【図２０】
2010191853.tif 000029
【図２１】
2010191853.tif 000030
【図２２】
2010191853.tif 000031
【図２３】
2010191853.tif 000032
【図２４】
2010191853.tif 000033
【図２５】
2010191853.tif 000034
【図２６】
2010191853.tif 000035
【図２７】
2010191853.tif 000036
【図２８】
2010191853.tif 000037
【図２９】
2010191853.tif 000038