(57)【要約】【課題】  違和感の少ない覚醒度の提示が可能な覚醒度情報提示装置を提供する。【解決手段】  覚醒度情報提示装置１は、撮像した画像から運転者の眼の開度を示す開度値を検出し、この開度値に基づいて眼の開閉眼を判定する。そして、覚醒度情報提示装置１は覚醒度を判定し、表示部３０にて表示する。さらに、覚醒度情報提示装置１は、覚醒度の信頼度を判定し、覚醒度と信頼度とを共に表示する。【選択図】      図１
2006174960.tif 000002
【特許請求の範囲】
【請求項１】
運転者の顔を撮像する撮像手段と、
前記撮像手段により撮像された画像から、運転者の眼の開度を示す開度値を検出する開度値検出手段と、
前記開度値検出手段により検出された開度値から開閉眼を判定する開閉眼判定手段と、
前記開閉眼判定手段による開閉眼の判定結果に基づいて、運転者の覚醒度を判定する覚醒度判定手段と、
前記覚醒度判定手段により判定された覚醒度の信頼度を判定する信頼度判定手段と、
前記覚醒度判定手段により判定された覚醒度、及び前記信頼度判定手段により判定された信頼度を共に表示する表示手段と、
を備えることを特徴とする覚醒度情報提示装置。
【請求項２】
前記覚醒度判定手段は、前記開閉眼判定手段により閉眼と判定された時間の所定時間中に占める割合である閉眼時間比率を求めることで、覚醒度を判定することを特徴とする請求項１に記載の覚醒度情報提示装置。
【請求項３】
前記覚醒度判定手段は、前記閉眼時間比率を求めるにあたり、１回の閉眼について閉眼の継続時間が一定の時間を超える場合、その閉眼については前記閉眼時間比率の算出に用いないことを特徴とする請求項２に記載の覚醒度情報提示装置。
【請求項４】
前記表示手段は、前記覚醒度判定手段により判定された覚醒度を表示するにあたり、前記閉眼時間比率に応じて、覚醒度情報の表示面積を変更することを特徴とする請求項２又は請求項３のいずれかに記載の覚醒度情報提示装置。
【請求項５】
前記表示手段は、前記覚醒度判定手段により判定された覚醒度を表示するにあたり、前記閉眼時間比率に応じて、覚醒度情報の表示色を変化させることを特徴とする請求項４に記載の覚醒度情報提示装置。
【請求項６】
前記表示手段は、前記覚醒度判定手段により判定された覚醒度を表示するにあたり、前記閉眼時間比率に応じて、覚醒度情報の表示色の色相を変化させることを特徴とする請求項５に記載の覚醒度情報提示装置。
【請求項７】
前記表示手段は、前記覚醒度判定手段により判定された覚醒度を表示するにあたり、前記閉眼時間比率が小さくなるに従って、覚醒度情報の表示面積を大きくすることを特徴とする請求項４に記載の覚醒度情報提示装置。
【請求項８】
前記表示手段は、前記覚醒度判定手段により判定された覚醒度を覚醒度情報の表示面積にて表現する場合において、前記閉眼時間比率が第１所定値を下回るとき、前回に判定された覚醒度についての表示面積から一定面積だけ増加させた面積にて覚醒度情報を表示し、前記閉眼時間比率が第２所定値以上となるとき、前回に判定された覚醒度についての表示面積から特定面積だけ減少させた面積にて覚醒度情報を表示することを特徴とする請求項７に記載の覚醒度情報提示装置。
【請求項９】
前記表示手段は、前記撮像手段により撮像された画像中における運転者の眼の移動量が所定量を超える場合、覚醒度情報の表示面積について増加させ又は減少させることを中止することを特徴とする請求項８に記載の覚醒度情報提示装置。
【請求項１０】
前記信頼度判定手段は、前記撮像手段により撮像された画像から眼を検出するのに要した時間が反映された検出時間比率を求めることで、前記信頼度を判定することを特徴とする請求項２〜請求項９のいずれか１項に記載の覚醒度情報提示装置。
【請求項１１】
前記表示手段は、前記信頼度判定手段により判定された信頼度を表示するにあたり、前記検出時間比率に応じて、覚醒度情報の表示色を変化させることを特徴とする請求項１０に記載の覚醒度情報提示装置。
【請求項１２】
前記表示手段は、前記信頼度判定手段により判定された信頼度を表示するにあたり、前記検出時間比率に応じて、覚醒度情報の表示色の彩度を変化させることを特徴とする請求項１１に記載の覚醒度情報提示装置。
【請求項１３】
前記表示手段は、前記覚醒度判定手段により求められた閉眼時間比率を、前記信頼度判定手段により求められた検出時間比率で乗じた値に応じて、覚醒度情報の表示面積を変更することを特徴とする請求項１０〜請求項１２のいずれか１項に記載の覚醒度情報提示装置。
【請求項１４】
前記表示手段は、車両のエンジンの停止によって、前記覚醒度判定手段により判定された覚醒度の表示を初期状態に戻すことを特徴とする請求項１〜請求項１３のいずれか１項に記載の覚醒度情報提示装置。
【請求項１５】
前記表示手段は、ナビゲーションシステムのモニタと兼用されることを特徴とする請求項１〜請求項１４のいずれか１項に記載の覚醒度情報提示装置。
【請求項１６】
車両の走行速度、操舵量、及び走行道路の種別のうち少なくとも１つを含む走行状態を検出する車両走行状態検出手段をさらに備え、
前記信頼度判定手段は、前記検出時間比率に加えて、前記車両走行状態検出手段により検出された走行状態から、前記覚醒度判定手段により判定された覚醒度の信頼度を判定する
ことを特徴とする請求項１０に記載の覚醒度情報提示装置。
【請求項１７】
運転者の顔を撮像して得られた画像から、運転者の眼の開度を示す開度値を検出し、この開度値から開閉眼を判定して運転者の覚醒度を判定する一方、判定した覚醒度の信頼度を判定し、これら覚醒度と信頼度とを共に表示することを特徴とする覚醒度情報提示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、覚醒度情報提示装置に関する。
【背景技術】
【０００２】
従来、走行の単調度、操舵量及び蛇行率などから運転者の覚醒度を順次記憶し、記憶された所定期間の覚醒度の変化をグラフ化して表示することで、運転者に覚醒度と覚醒度の変化との認識を促して覚醒維持効果を高める覚醒度情報提示装置が知られている（特許文献１参照）。
【特許文献１】特開平９−２６７６６０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかし、この従来装置では、外乱による影響を考慮していなかったため、運転者にとって違和感のある覚醒度情報を提供することがある。その一例を説明すると、操舵量や蛇行率は路面の轍の有無、横風の有無、及び走路の曲率などによる影響を受け易く、運転者の覚醒度に関係なく変化する要素を持っている。このため、特許文献１に係る装置では、運転者が覚醒状態にあるにも関わらず、居眠り状態にあるなどの情報提供をしてしまう可能性があり、運転者にとって違和感のある情報提供をしてしまう可能性があった。
【０００４】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、違和感の少ない覚醒度の提示が可能な覚醒度情報提示装置を提供することにある。
【課題を解決するための手段】
【０００５】
本発明によれば、覚醒度情報提示装置は、撮像手段、開度値検出手段、開閉眼判定手段、覚醒度判定手段、信頼度判定手段及び表示手段を備えている。撮像手段は運転者の顔を撮像するものであり、開度値検出手段は、撮像手段により撮像された画像から、運転者の眼の開度を示す開度値を検出するものである。また、開閉眼判定手段は、開度値検出手段により検出された開度値から開閉眼を判定するものであり、覚醒度判定手段は、開閉眼判定手段による開閉眼の判定結果に基づいて、運転者の覚醒度を判定するものである。さらに、信頼度判定手段は、覚醒度判定手段により判定された覚醒度の信頼度を判定するものであり、表示手段は、覚醒度判定手段により判定された覚醒度、及び信頼度判定手段により判定された信頼度を共に表示するものである。
【発明の効果】
【０００６】
本発明によれば、判定された覚醒度について信頼度を判定し、その信頼度を覚醒度と共に表示することとしている。このため、運転者は信頼度を見ることにより、表示される覚醒度の正確性を知ることができる。この結果、たとえ外乱などの影響により正確でない覚醒度が表示されていたとしても、運転者は外乱などの影響により覚醒度が正確でないことを知ることができる。従って、運転者への違和感を軽減することができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略するものとする。
【０００８】
まず、本発明の第１実施形態に係る覚醒度情報提示装置を説明する。図１は、本発明の第１実施形態に係る覚醒度情報提示装置のハード構成図である。本実施形態の覚醒度情報提示装置１は、運転者の覚醒度を提示するためのものであって、特に外乱などの影響によって覚醒度の判定が不正確となった場合にも運転者に違和感がないように覚醒度情報の提示を行うものである。
【０００９】
この覚醒度情報提示装置１は、図１に示すように、運転者の顔を撮像する撮像部（撮像手段）１０を備えている。撮像部１０は、例えば、可視光を撮像するためのＣＣＤカメラなどであり、運転者の正面下方に設置される。
【００１０】
また、上記覚醒度情報提示装置１は、撮像部１０により撮像された画像に基づき、運転者の覚醒度を判定する処理装置２０を具備している。さらに、上記覚醒度情報提示装置１は、処理装置２０にて判定された覚醒度を提示する表示部（表示手段）３０を有している。この表示部３０は、ナビゲーションシステムのモニタと兼用され、例えば、運転者からの操作などによって、ナビゲーション情報と覚醒度情報との表示が切り替え可能とされている。
【００１１】
次に、処理装置２０の詳細構成を図２を参照して説明する。図２は、図１に示した処理装置２０の詳細構成図である。なお、図２においては、接続関係を明確にするために、撮像部１０や表示部３０についても図示することとする。
【００１２】
図２に示すように、処理装置２０は、眼位置検出部２１、追跡部２２、開度値検出部（開度値検出手段）２３、学習部２４、開閉眼判定基準値算出部２５、開閉眼判定部（開閉眼判定手段）２６、及び覚醒度判定部（覚醒度判定手段）２７を備えている。
【００１３】
眼位置検出部２１は、撮像部１０からの画像のデータに基づいて、運転者の眼の位置を検出するものである。図３は、眼位置検出部２１が眼の位置の検出に際して行う初期処理の説明図である。なお、図３においては、縦４８０画素、横５１２画素の画像を例に説明する。
【００１４】
まず、眼位置検出部２１は、画像縦方向にすべての画素について、濃度値のデータを取得する。その後、眼位置検出部２１は、濃度値の変化が所定の条件を満たす画素を抽出して、図４に示すような画素群を得る。図４は、眼位置検出部２１が所定の画素を抽出したとき様子を示す説明図である。同図に示すように、抽出された画素は、運転者の眉、眼、鼻及び口の位置に対応するものとなっている。そして、画素の抽出後、眼位置検出部２１は、画像横方向に近接する画素をグループ化する。
【００１５】
図５は、画像横方向に近接する画素をグループ化したときの様子を示す説明図である。同図に示すように、グループ化することにより、眼位置検出部２１は、運転者の右眉、左眉、右眼、左眼、鼻及び口それぞれに対応した連続データＧ１〜Ｇ６を形成する。
【００１６】
その後、眼位置検出部２１は、ゾーン化の処理を行う。図６は、眼位置検出部２１によるゾーン化後の様子を示す説明図である。眼位置検出部２１は、連続データＧ１〜Ｇ６の存在位置について画像縦方向にゾーン化する。この際、眼位置検出部２１は、３つのゾーン（ＺＯＮＥ：Ｌ、ＺＯＮＥ：Ｃ、ＺＯＮＥ：Ｒ）を形成する。そして、眼位置検出部２１は、相対位置関係を判断して眼の位置を検出する。
【００１７】
再度、図２を参照する。追跡部２２は、運転者の眼の位置を追跡するものである。この追跡部２２は、眼の位置の検出後、検出された眼の位置の座標値を記憶し、この記憶した位置を基準にして、全体画像よりも小さい追跡領域を設定する。その後、追跡部２２は、画像が入力される毎に、追跡領域内において眼の位置を検出する。
【００１８】
図７は、追跡部２２による眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。なお、図７において、破線は前回検出された眼を示し、実線は今回検出された眼を示すものとする。
【００１９】
眼位置検出部２１により眼の位置が検出された場合、追跡部２２は、検出された眼の位置を中心として追跡領域を設定する（図７（ａ））。このときの眼の座標位置を（ｘｋ１，ｙｋ１）とする。その後、画像が入力された場合、追跡部２２は、（ｘｋ１，ｙｋ１）を中心とする追跡領域内から眼の位置を検出する（図７（ｂ））。このとき検出された眼の座標位置を（ｘｋ２，ｙｋ２）とする。
【００２０】
そして、追跡部２２は、新たに検出された眼の座標位置（ｘｋ２，ｙｋ２）を中心とする追跡領域を設定する（図７（ｃ））。その後、再度画像が入力された場合、追跡部２２は、（ｘｋ２，ｙｋ２）を中心とする追跡領域内から眼の位置を検出する。このときに検出された眼の座標位置を（ｘｋ３，ｙｋ３）とする。
【００２１】
そして、追跡部２２は、再度、新たな眼の座標位置（ｘｋ３，ｙｋ３）を中心とする追跡領域を設定する（図７（ｄ））。その後、同様に、追跡部２２は、追跡領域内から眼の位置を検出していく。
【００２２】
再度、図２を参照する。追跡部２２は、上記のようにして得られた眼の位置のデータを開度値検出部２３に送出する。開度値検出部２３は、撮像部１０により撮像された画像から、運転者の眼の開度を示す開度値を検出するものである。すなわち、開度値検出部２３は、眼位置検出部２１及び追跡部２２により検出・追跡された眼について開度値を検出するものである。
【００２３】
図８は、眼の縦幅の開度を示す説明図であり、（ａ）は開眼時を示しており、（ｂ）は閉眼時を示している。同図（ａ）及び（ｂ）に示すように、開度値は具体的に眼の縦幅の大きさである。従って、開度値検出部２３は、眼の縦幅を検出し、検出値を開度値とすることとなる。
【００２４】
再度、図２を参照する。学習部２４は、開度値検出部２３により検出された開度値の検出頻度から、運転者個人の開眼状態における開度値を求めて学習するものである。すなわち、眼の縦幅は運転者毎に異なるものであるため、学習部２４は、現在の運転者個人の開眼状態における開度値を求めることとしている。
【００２５】
詳細に学習部２４は、開度値検出部２３により検出された開度値の再頻値を求める。ここで、運転者は、瞬きをするものの多くの時間眼を見開いているのが通常である。よって、再頻値は運転者が眼を開いているときの眼の開度値を示すといえる。このため、学習部２４は、再頻値を求めることで、運転者個人の開眼状態における開度値を求める。そして、学習部２４は、再頻値を学習する。これにより、運転者個人の開眼状態における開度値が学習されることとなる。
【００２６】
開閉眼判定基準値算出部２５は、学習部２４により学習された開度値から、眼の開眼及び閉眼を判定するための開閉眼判定基準値を求めるものである。すなわち、眼の縦幅は運転者毎に異なるため、開閉眼判定基準値算出部２５は、学習部２４からの学習内容によって現在の運転中の運転者に適した開閉眼判定基準値を求めるようになっている。
【００２７】
具体的に開閉眼判定基準値算出部２５は、学習部２４により学習された開度値よりもやや小さい値を開閉眼判定基準値として求める。すなわち、開閉眼判定基準値算出部２５は、運転者の開眼状態における開度値よりも、やや小さい開度値を開閉眼判定基準値とする。これにより、開閉眼判定基準値算出部２５は、好適に開閉眼を判定するための開閉眼判定基準値を設定するようにしている。
【００２８】
また、開閉眼判定部２６は、撮像部１０により新たに撮像されて開度値検出部２３により新たに検出された開度値から開閉眼を判定するものである。より具体的に開閉眼判定部２６は、開度値検出部２３により新たに検出された開度値と、開閉眼判定基準値算出部２５により算出された開閉眼判定基準値と比較して、開閉眼を判定する。すなわち、開閉眼判定部２６は、開閉眼判定基準値算出部２５により一度開閉眼判定基準値が算出されると、その後撮像された画像について開度値検出部２３により眼の開度値を検出し、その開度値と開閉眼判定基準値とを比較することで開閉眼を判定する。そして、開閉眼判定部２６は、比較の結果、新たに検出された開度値が開閉眼判定基準値よりも大きい場合、運転者が開眼状態であると判定し、開度値が開閉眼判定基準値以下である場合、運転者が閉眼状態であると判定する。
【００２９】
覚醒度判定部２７は、開閉眼判定部２６による開閉眼の判定結果に基づいて、運転者の覚醒度を判定するものである。具体的に、覚醒度判定部２７は、開閉眼判定部２６により閉眼と判定された時間の所定時間中に占める割合である閉眼時間比率を求めることで、覚醒度を判定する。
【００３０】
図９は、図２に示した覚醒度判定部２７の詳細説明図である。同図に示すように、運転者は、所定時間中に開眼状態と閉眼状態とを繰り返すのが通常である。ここで、運転者の覚醒度が低下している場合、運転者が眼を閉じる時間は長くなる傾向にある。このため、運転者の覚醒度が低下している場合、所定時間中に占める閉眼時間が長くなって、閉眼時間比率が高くなる。そして、例えば覚醒度判定部２７は、閉眼時間比率がＡ％未満であるとき、運転者が覚醒状態であると判定し、閉眼時間比率がＡ％以上Ｂ％未満であるとき、運転者が覚醒度低下状態であると判定し、閉眼時間比率がＢ％以上であるとき、運転者が居眠り状態であると判定する。
【００３１】
再度、図２を参照する。処理装置２０は、上記構成の他に、信頼度判定部（信頼度判定手段）２８を有している。信頼度判定部２８は、覚醒度判定部２７により判定された覚醒度の信頼度を判定するものである。ここで、信頼度判定部２８は、撮像部１０により撮像された画像から眼を検出するのに要した時間を反映した検出時間比率を求めることで、信頼度を判定する構成となっている。
【００３２】
図１０は、図２に示した信頼度判定部２８の詳細説明図である。図９を参照して説明したように、覚醒度の判定には所定時間にわたって開閉眼を判定することが必要である（図１０の符号Ｂの時間）。また、眼の開閉眼を判定するためには、前提として画像中から眼が検出（追跡を含む）されていることが必要である。従って、図１０（符号Ａ）に示すように、覚醒度を判定するためには、眼の検出時間と、所定時間とを要することとなる。信頼度判定部２８は、所定時間（Ｂの時間）を、眼の検出時間と所定時間とからなる全処理時間（Ａの時間）で除して検出時間比率を求めることとしている。なお、図１０に示すように、所定時間を全処理時間で除して得られた値に「１００」を乗ずることで、検出時間比率としてもよい。
【００３３】
ここで、覚醒度判定のための所定時間は固定の時間である。一方、眼の検出時間は固定でなく、眼の検出の失敗により長くなってしまう。すなわち、眼の検出時間は、眼の検出の失敗が多くなるにつれて長くなっていく。故に、眼の検出の失敗が多くなると、全処理時間も長くなって、検出時間比率は小さい値となっていく。
【００３４】
また、眼の検出の失敗が多いということは、装置自体が眼を検出できておらず、検出の正確性が低いと言える。このため、検出の正確性が低い状況下で判定された覚醒度も同様に信頼度が低いと言える。
【００３５】
以上より、検出時間比率が小さいということは、覚醒度の信頼度が低いといえる。このように、信頼度判定部２８は、検出時間比率から、覚醒度の信頼度を判定することとなる。
【００３６】
ここで、眼の検出について失敗する場合を説明する。図１１は、運転者がハンドル操作する場合において撮像部１０により撮像された画像を示す説明図である。まず、図１１（ａ）に示すように撮像部１０が運転者の顔全体を撮像したとする。この場合、顔全体が撮像されていることから、運転者の眼は正確に検出される。
【００３７】
また、運転者がハンドル操作したとする。この場合、図１１（ｂ）及び（ｃ）に示すように、運転者の顔全体が撮像されている限りは、運転者の眼は正確に検出される。
【００３８】
ところが、運転者がさらにハンドルを操作すると、図１１（ｄ）に示すように、運転者の眼が撮像されなくなる。特に、図１１（ｅ）に示すように運転者の両眼が撮像されなくなる場合もある。このような場合、本装置１は眼の検出に失敗することとなる。
【００３９】
図１２は、運転者が顔を横方向に向ける場合において撮像部１０により撮像された画像を示す説明図である。まず、図１２（ａ）に示すように撮像部１０が運転者の顔を撮像したとする。このとき、運転者の顔が正面から撮像され、両眼がはっきりと撮像されることから、運転者の眼は正確に検出される。
【００４０】
そして、運転者が顔を横方向に向け始めたとする。この場合、図１２（ｂ）及び（ｃ）に示すように、運転者の両眼がはっきりと撮像されている限りは、運転者の眼は正確に検出される。
【００４１】
ところが、運転者がさらに顔を横に向けると、図１２（ｄ）に示すように、運転者の眼（左眼）が撮像されなくなる。特に、図１２（ｅ）に示すように運転者の両眼が撮像されなくなる場合もある。このような場合、本装置１は眼の検出に失敗することとなる。
【００４２】
また、本装置１は、光環境が悪化する場合も同様に眼の検出に失敗する。例えば光環境が好適である場合に撮像部１０により撮像された画像中には、運転者の両眼がはっきりと写る。このため、運転者の眼は正確に検出される。ところが、光環境が悪化して暗くなっていくと、撮像画像中には両眼がはっきりと写らず、本装置１は、運転者の両眼を認識できなくなる。このような場合、本装置１は眼の検出に失敗することとなる。
【００４３】
再度、図２を参照する。上記のようにして、覚醒度と信頼度とが判定された後、表示部３０は、これら覚醒度と信頼度とを共に表示する。これにより、たとえ外乱などの影響により正確でない覚醒度が表示されていたとしても、運転者は外乱などの影響により覚醒度が正確でないことを知ることができる。
【００４４】
具体的に説明すると、光環境が悪い場合において本装置１が動作していたとする。このとき、本装置１は、眼の位置を特定しにくく、たとえ眼を特定できたとしても、開眼と閉眼とを誤る可能性もある。このような場合、判定された覚醒度は正確性が乏しいと言える。ところが、本装置１では、表示部３０が覚醒度と共に信頼度を表示するため、覚醒度が正確でなかったとしても、運転者に与える違和感は軽減されることとなる。
【００４５】
次に、本実施形態に係る覚醒度情報提示装置１の動作を説明する。まず、覚醒度情報提示装置１の撮像部１０は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置２０に送出する。
【００４６】
そして、処理装置２０は、図１３及び図１４に従う処理を実行する。図１３及び図１４は、図２に示した処理装置２０の詳細動作を示すフローチャートである。なお、図１３は処理の前半部分を示し、図１４は処理の後半部分を示している。
【００４７】
図１３に示すように、まず、眼位置検出部２１は、画像のデータを入力する（ＳＴ１）。その後、信頼度判定部２８は、変数Ｔｋが初期値であるか否かを判断する（ＳＴ２）。変数Ｔｋが初期値である場合（ＳＴ２：ＹＥＳ）、信頼度判定部２８は現在時刻を変数Ｔｋに代入し、記憶する（ＳＴ３）。そして、処理はステップＳＴ４に移行する。一方、変数Ｔｋが初期値でない場合（ＳＴ２：ＮＯ）、変数Ｔｋについて代入及び記憶が行われることなく、処理はステップＳＴ４に移行する。
【００４８】
ここで、変数Ｔｋは、図１０を参照して説明した時間Ａ、すなわち眼の検出時間と所定時間とからなる全処理時間を計測するために、代入及び記憶が行われるものである。すなわち、ステップＳＴ３において現在時刻は、時間Ａの始期を定めるものとして、変数Ｔｋに代入されることとなる。
【００４９】
次いで、眼位置検出部２１は、眼の追跡領域が設定されているか否かを判断する（ＳＴ４）。眼の追跡領域が設定されている場合（ＳＴ４：ＹＥＳ）、処理はステップＳＴ７に移行する。
【００５０】
一方、本装置１の起動直後など、眼の追跡領域が設定されていない場合（ＳＴ４：ＮＯ）、眼位置検出部２１は、画像全体から眼の位置を検出する（ＳＴ５）。ここでは、図３〜図６を参照して説明したように、眼の位置を検出する。そして、眼位置検出部２１は、眼の位置のデータを追跡部２２に送出する。
【００５１】
その後、追跡部２２は、眼位置検出部２１からの眼の位置のデータに基づいて、追跡領域を設定する（ＳＴ６）。このとき、追跡部２２は、眼の移動量や、画像の取り込み間隔を考慮して、追跡領域の大きさをできる限り小さく設定する。これにより、より速く眼の追従性に優れた処理を行うことができる。
【００５２】
その後、追跡部２２は、新たに入力される画像のデータに基づいて、追跡領域内から眼を検出する（ＳＴ７）。そして、追跡部２２は、眼の追跡が正しく行われているか否かを判断する（ＳＴ８）。
【００５３】
眼の追跡が正しく行われていないと判断した場合（ＳＴ８：ＮＯ）、追跡部２２は、眼の追跡領域をクリアする（ＳＴ９）。さらに、後述するタイマーが作動している場合、処理装置２０は、タイマーを停止させる（ＳＴ１０）。その後、処理はステップＳＴ１に戻る。そして、再度追跡領域の設定処理が行われることとなる。なお、処理がステップＳＴ１に戻ったとしても、ステップＳＴ２において「ＮＯ」と判断されるため、変数Ｔｋは更新されない。
【００５４】
一方、眼の追跡が正しく行われていると判断した場合（ＳＴ８：ＹＥＳ）、図７を参照して説明したように、追跡部２２は追跡領域の更新を行う（ＳＴ１１）。
【００５５】
その後、開度値検出部２３は、ステップＳＴ７において追跡部２２により追跡された眼について開度値を求める（ＳＴ１２）。そして、学習部２４は、運転者個人の開眼状態における開度値を学習し終えたか否かを判断する（ＳＴ１３）。なお、学習部２４が、開度値検出部２３により検出された開度値の再頻値から学習を行う場合、学習部２４は、開度値検出部２３により検出された開度値を所定回数求め、所定回数分の開度値から学習を行うようにする。
【００５６】
ここで、学習し終えていないと判断した場合（ＳＴ１３：ＮＯ）、学習部２４は例えば所定回数分の開度値に基づいて、運転者個人の開眼状態における開度値を求めて学習する。さらに、開閉眼判定基準値算出部２５は、学習された開度値から開閉眼判定基準値を求める（ＳＴ１４）。そして、処理はステップＳＴ１に移行する。
【００５７】
一方、学習し終えていると判断した場合（ＳＴ１３：ＹＥＳ）、開閉眼判定部２６は、ステップＳＴ１２にて算出された開度値と、ステップＳＴ１４にて求めた開閉眼判定基準値とを比較して、開閉眼判定を行う（図１４のＳＴ１５）。
【００５８】
そして、覚醒度判定部２７は、閉眼時間を積算する（ＳＴ１６）。次いで、処理装置２０は、タイマーが作動中か否かを判断し（ＳＴ１７）、作動中でないと判断した場合には（ＳＴ１７：ＮＯ）、タイマーをスタートさせる（ＳＴ１８）。その後、処理はステップＳＴ１９に移行する。一方、タイマーが作動中であると判断した場合には（ＳＴ１７：ＹＥＳ）、タイマーをスタートさせることなく、処理はステップＳＴ１９に移行する。
【００５９】
ステップＳＴ１９において、処理装置２０は、タイマーにより計時される時間が所定時間に達したか否かを判断する（ＳＴ１９）。所定時間に達していないと判断した場合（ＳＴ１９：ＮＯ）、処理は図１３のステップＳＴ１に戻る。
【００６０】
一方、所定時間に達したと判断した場合（ＳＴ１９：ＹＥＳ）、信頼度判定部２８は以下の４処理を行う（ＳＴ２０）。まず、信頼度判定部２８は、現在時刻を変数Ｔｎに代入し、記憶する。次いで、信頼度判定部２８は、変数Ｔｎ−変数Ｔｋを実行し、時間Ｔａを求める。この時間Ｔａが図１０を参照して説明した時間Ａである。そして、信頼度判定部２８は、所定時間を時間Ｔａで除して検出時間比率を算出する。これにより、信頼度判定部２８は、信頼度を判定する。次いで、変数Ｔｋに、変数Ｔｎを代入する。すなわち、現在時刻を変数Ｔｋに代入することとなる。これにより、次回のステップＳＴ３における処理では「ＮＯ」と判断されることとなる。
【００６１】
その後、処理装置２０は、タイマーを停止させると共に、計時されている時間をクリアする（ＳＴ２１）。そして、覚醒度判定部２７は、閉眼時間比率を求める（ＳＴ２２）。このとき、覚醒度判定部２７は、ステップＳＴ１６において積算された積算時間に基づいて閉眼時間比率を求める（ＳＴ２２）。
【００６２】
次いで、表示部３０は、ステップＳＴ２０において算出した検出時間比率に基づいて信頼度を表示し、ステップＳＴ２２において算出した閉眼時間比率に基づいて覚醒度を表示する（ＳＴ２３）。その後、処理はステップＳＴ１に戻る。
【００６３】
次に、覚醒度の表示例について説明する。図１５は、表示部３０による覚醒度の第１の表示例を示す説明図である。図１５に示すように、表示部３０は、覚醒度判定部２７により判定された覚醒度を表示するにあたり、ステップＳＴ２２において算出した閉眼時間比率に応じて、覚醒度情報の表示面積を変更することとしている。ここで、図１５に示す表示例では、表示面積が大きいほど、運転者の覚醒度が高い（すなわち起きている）こととなっている。このため、表示部３０は、閉眼時間比率が小さくなるに従って、覚醒度情報の表示面積が大きくすることとなる。
【００６４】
なお、図１５では覚醒度を横長のメモリにより表示しているが、これに限らず、以下のようにされていてもよい。図１６は、表示部３０による覚醒度の第２の表示例を示す説明図である。図１６に示すように、覚醒度は横長のメモリにより表示される場合に限らず、半円系のメモリにより表示されもよい。図１７は、表示部３０による覚醒度の第３の表示例を示す説明図であり、図１８は、表示部３０による覚醒度の第４の表示例を示す説明図である。覚醒度は、図１７に示すように、円形のメモリにより表示されてもよく、図１８に示すように、三角形状のメモリにより表示されてもよい。
【００６５】
図１９は、表示部３０による覚醒度の第５の表示例を示す説明図である。同図に示すように、表示部３０は、覚醒度情報の表示面積の全消失すると、休憩勧告マークを表示するようにしてもよい。これにより、運転者に覚醒度の低下を知らせ、休憩を勧告することができる。なお、休憩勧告マークとしては、パーキングエリアを想起させるコーヒーカップのマークなどが挙げられる。
【００６６】
また、表示部３０は、閉眼時間比率が小さくなるに従って、覚醒度情報の表示面積が小さくなるようにしてもよい。図２０は、表示部３０による覚醒度の第６の表示例を示す説明図である。同図に示すように、表示部３０は、覚醒度情報の表示面積が大きいほど、運転者の覚醒度が低い（すなわち眠くなっている）ことを示している。なお、図２０に示す例において、表示部３０は、表示メモリ１００〜１１３ごとに表示色を変化させるようにしている。このとき、表示部３０は、図２１に示す色相環を考慮して表示メモリの表示色を変更して、表示全体としてグラデーションが表現されるようにするとよい。図２１は、色相環を示す説明図である。表示部３０は、色相環の特定の色から、時計回り又は反時計回りに順番に、表示メモリ１００〜１１３の表示色を決定することとなる。
【００６７】
なお、図２０に示す例では、閉眼時間比率が小さくなるに従って、覚醒度情報の表示面積が小さくなるようにしている。このため、運転者は、覚醒度の高低を逆に認識してしまう可能性がある。そこで、表示部３０は、覚醒度情報の表示面積が大きい部分（すなわち表示メモリ１１１〜１１３などの部分）を赤色系の色により表示することとしている。一般的に運転者は赤色系の色彩が危険を示すものと認識する傾向がある。このため、閉眼時間比率が小さくなるに従って覚醒度情報の表示面積が小さくなるようにした場合、覚醒度情報の表示面積が大きくなるに従って、赤色系の色が増えるように表示すると、運転者が覚醒度の高低を逆に認識してしまうことを防止することができる。
【００６８】
なお、図２０に示す第６の表示例では、表示メモリ１００〜１１３ごとに表示色を変更してグラデーション表示するようにしているが、これに限らず、単に、閉眼時間比率（すなわち覚醒度の高低）に応じて、表示メモリ１００〜１１３の全体（すなわち覚醒度情報）の表示色を変更するようにしてもよい。特に、図２０に示すように、表示部３０は、閉眼時間比率に応じて、覚醒度情報の表示色の色相を変えるようにするとよい。すなわち、色は色相、明度及び彩度により表現されるが、表示部３０は、明度や彩度を変更して表示色を変更するのでなく、色相を変更して表示色を変更することが望ましい。
【００６９】
また、表示部３０は、前回に判定されて表示されている覚醒度の表示面積を基準として、この面積を増減させることで、今回に判定された覚醒度を表示するようにしてもよい。図２２〜図２５は、閉眼時間比率と表示される覚醒度との関係を示す説明図であり、（ａ）は閉眼時間比率を示し、（ｂ）は覚醒度の表示の様子を示している。なお、これら図において、覚醒度は横長のメモリにより表示されるものとし、表示部３０は、閉眼時間比率が小さくなるに従って覚醒度情報の表示面積を大きくするものとする。
【００７０】
まず、図２２（ａ）に示すように、閉眼時間比率がＡ％未満であるとする。また、図２２（ｂ）に示すように、前回の覚醒度情報の表示面積が最大であったとする。この場合、表示面積の増加及び減少はない。
【００７１】
次いで、図２３（ａ）に示すように、閉眼時間比率がＡ％（第２所定値）以上Ｂ％未満であるとする。また、図２３（ｂ）に示すように、前回の覚醒度情報の表示面積が最大であったとする。この場合、表示部３０は、表示面積を特定面積分だけ減少させる。具体的に表示部３０は表示面積について表示メモリを１つ分減少させる。
【００７２】
次に、図２４（ａ）に示すように、閉眼時間比率がＢ％（第２所定値）以上であるとする。また、図２４（ｂ）に示すように、前回の覚醒度情報の表示面積が最大であったとする。この場合、表示部３０は、表示面積を特定面積分だけ減少させる。具体的に表示部３０は表示面積について表示メモリを３つ分減少させる。
【００７３】
さらに、図２５（ａ）に示すように、閉眼時間比率がＡ％（第１所定値）未満であるとする。また、図２５（ｂ）に示すように、前回の覚醒度情報の表示面積が最大から表示メモリ４つ分だけ減少された状態であったとする。この場合、表示部３０は、表示面積を一定面積分だけ増加させる。具体的に表示部３０は表示面積について表示メモリを１つ分増加させる。
【００７４】
このように、表示部３０は、判定した覚醒度を覚醒度情報の表示面積にて表現する場合において、閉眼時間比率が第１所定値（Ａ％）を下回るとき、前回に判定された覚醒度についての表示面積から一定面積（例えば表示メモリ１つ分）だけ増加させた面積にて覚醒度情報を表示する。また、表示部３０は、閉眼時間比率が第２所定値（Ａ％又はＢ％）以上となるとき、前回に判定された覚醒度についての表示面積から特定面積（例えば表示メモリ１つ分又は３つ分）だけ減少させた面積にて覚醒度情報を表示する。
【００７５】
次に、信頼度の表示例について説明する。図２６は、表示色の説明図である。前述したように、色は色相、明度及び彩度により表現される。また、表示部３０は、覚醒度について色相を変化させて表現する。このため、表示部３０は、色相以外の彩度によって信頼度の変化を表現する。すなわち、表示部３０は、信頼度が高い場合、表示メモリなどの表示色を鮮やかにし、信頼度が低い場合、表示色をくすんだようにする。
【００７６】
図２７は、表示部３０による信頼度の第１の表示例を示す説明図である。同図に示すように、表示部３０は、信頼度に応じて、すなわち検出時間比率に応じて、覚醒度情報の表示色（彩度）を変化させている。
【００７７】
図２８は、表示部３０による信頼度の第２の表示例を示す説明図である。同図に示すように、表示部３０は、検出時間比率に応じて、覚醒度情報の表示色の彩度を変化させると共に、覚醒度情報についてグラデーション表示するようにしてもよい。
【００７８】
以上、本装置１では、表示部３０が覚醒度と共に信頼度を表示するため、覚醒度が正確でなかったとしても、運転者は正確でないことを知ることができるため、運転者に与える違和感は軽減されることとなる。
【００７９】
このようにして、第１実施形態に係る覚醒度情報提示装置１によれば、判定された覚醒度について信頼度を判定し、その信頼度を覚醒度と共に表示することとしている。このため、運転者は信頼度を見ることにより、表示される覚醒度の正確性を知ることができる。この結果、たとえ外乱などの影響により正確でない覚醒度が表示されていたとしても、運転者は外乱などの影響により覚醒度が正確でないことを知ることができる。従って、運転者への違和感を軽減することができる。
【００８０】
また、閉眼と判定された時間の所定時間中に占める割合である閉眼時間比率を求めることで、覚醒度を判定することとしている。このため、簡便な演算処理にて覚醒度を判定することができる。
【００８１】
また、覚醒度の表示にあたり、閉眼時間比率に応じて覚醒度情報の表示面積を変更することとしている。特に、閉眼時間比率が小さくなるに従って、覚醒度情報の表示面積を大きくしている。このため、運転者に対し、覚醒度の高低を容易に認識させることができる。
【００８２】
また、覚醒度の表示にあたり、閉眼時間比率に応じて覚醒度情報の表示色、特に色相を変更することとしている。このため、覚醒度が低いことを赤色系の色によって表現して注意喚起させるなど、運転者に対し、覚醒度の高低について感覚にあった表示を提供することが可能となる。従って、一層違和感の軽減を図ることができる。
【００８３】
また、閉眼時間比率が第１所定値（Ａ％）を下回るとき、前回に判定された覚醒度についての表示面積から一定面積（例えば表示メモリ１つ分）だけ増加させた面積にて覚醒度情報を表示している。さらに、閉眼時間比率が第２所定値（Ａ％又はＢ％）以上となるとき、前回に判定された覚醒度についての表示面積から特定面積（例えば表示メモリ１つ分又は３つ分）だけ減少させた面積にて覚醒度情報を表示している。このため、覚醒度情報の表示面積により、覚醒度が低下しつつある様子や、低下したが覚醒状態に復帰する様子などを表現でき、運転者の感覚にあった表示を提供することができる。従って、一層違和感の軽減を図ることができる。
【００８４】
また、撮像された画像から眼を検出するのに要した時間が反映された検出時間比率を求めることで、信頼度を判定することとしている。ここで、検出時間比率は、眼の検出に要した時間、すなわち眼の検出に失敗回数などを反映している。また、眼の検出の失敗回数などは眼の検出環境を示しているといえる。すなわち、眼の検出環境が悪いと失敗回数が多くなるなど、失敗回数と検出環境とは関連している。ここで、検出環境が悪いと眼の検出についても不安定となり、覚醒度の信頼度が下がる。一方、検出環境がよいと眼を安定的に検出でき、覚醒度の信頼度が上がる。このため、検出時間比率を求めることで、精度の高い信頼度の判定を行うことができる。
【００８５】
また、信頼度を表示するにあたり、検出時間比率に応じて、覚醒度情報の表示色、特に彩度を変化させることとしている。このため、信頼度が低いことをくすんだ表示色によって表現して注意喚起させるなど、運転者に対し、信頼度の高低について感覚にあった表示を提供することが可能となる。従って、一層違和感の軽減を図ることができる。
【００８６】
特に、覚醒度を色相により、信頼度を彩度により表現するため、両者のすみわけをし、運転者に２つの情報を同時に分かり易く提示することができる。
【００８７】
また、表示部３０は、ナビゲーションシステムのモニタと兼用されるため、ハード構成を新たに追加することなく、情報表示を実現することができる。
【００８８】
ここで、特開平９−２０２１５４号公報には、眼の未検出などの異常時に異常である旨を報知する装置が開示されている。この装置によれば、眼が未検出であるなどの異常である旨を報知できるが、その報知が非常に煩わしくなる可能性がある。例えば木漏れ日の中を車両が走行している場合、車室内は明るい状態と暗い状態とが連続的に発生することとなり、眼の未検出と検出とが繰り返されることとなる。このため、異常状態の報知が頻繁に行われることとなり、運転者にとって報知が非常に煩わしくなる。
【００８９】
ところが、本実施形態では、検出時間比率は、眼の検出に要した時間と、覚醒度の判定のために開閉眼を判定する所定時間とからなる時間が反映されたものとなっている。すなわち、検出時間比率を求めるには、少なくとも所定時間経過することを要している。このため、木漏れ日の中を走行する場合のように眼の未検出と検出とが繰り返されたとしても、表示部３０には検出時間比率が小さくなって信頼度が低いことが表示されるのみで、表示が頻繁に行われることにならない。従って、表示が煩わしくなってしまうことを防止することができる。
【００９０】
次に、本発明の第２実施形態を説明する。第２実施形態に係る覚醒度情報提示装置２は、第１実施形態のものと同様であるが、処理内容が第１実施形態のものと一部異なっている。
【００９１】
以下、第１実施形態との相違点について説明する。図２９は、撮像部１０により撮像された画像の一例を示す説明図である。まず、眼位置検出部２１は眼を検出し、追跡部２２は眼を含む追跡領域１２０ａを設定する。同図に示すように、例えば運転者が眼鏡を着用しているとする。このとき、追跡部２２は、誤って眼鏡のフレーム部を含む追跡領域１２０ｂを設定してしまう場合がある。
【００９２】
図３０は、閉眼時における眼の開度と、眼鏡のフレーム部を眼と誤追跡しているときに得られる開度とを示す説明図であり、（ａ）は閉眼時の例を示し、（ｂ）は眼鏡のフレーム部の例を示している。
【００９３】
まず、図３０（ａ）に示すように、閉眼時における眼の開度は小さくなる。また、図３０（ｂ）に示すように、眼鏡のフレーム部は縦幅が大きくなく、閉眼時における眼の縦幅と同程度である。このため、眼鏡のフレーム部を眼と誤追跡している場合、得られる開度値は閉眼時と同様となり、開閉眼判定部２６は閉眼と判定し続けることとなる。
【００９４】
そこで、第２実施形態に係る覚醒度情報提示装置２において、覚醒度判定部２７は長時間に渡る閉眼状態が継続すると、その閉眼状態が継続した時間について閉眼時間比率の算出に用いないこととしている。
【００９５】
図３１は、第２実施形態に係る覚醒度情報提示装置２の処理を示す説明図である。同図に示すように、覚醒度判定部２７は、閉眼時間比率を求めるにあたり、１回の閉眼について閉眼の継続時間が一定の時間を超える場合、その閉眼については閉眼時間比率の算出に用いないこととしている。すなわち、閉眼の継続時間が一定の時間を超える場合、覚醒度判定部２７は、その継続時間について閉眼時間として積算することなく、開眼時間とみなすこととしている。
【００９６】
このようにして、第２実施形態に係る覚醒度情報提示装置２によれば、第１実施形態と同様に、運転者への違和感を軽減することができ、簡便な演算処理にて覚醒度を判定することができる。また、運転者に対し、覚醒度の高低を容易に認識させることができ、一層違和感の軽減を図ることができる。さらに、精度の高い信頼度の判定を行うことができる。
【００９７】
さらに、第２実施形態によれば、閉眼時間比率を求めるにあたり、１回の閉眼について閉眼の継続時間が一定の時間を超える場合、その閉眼については閉眼時間比率の算出に用いないこととしている。このため、眼鏡のフレーム部などノイズを誤って眼であるとして検出及び追跡したとしても、これによって、覚醒度を不正確に判定してしまうことが防止される。従って、覚醒度の判定精度を向上させることができる。なお、上記した「１回の閉眼」とは、一度閉眼と判定されてから、次に開眼と判定されるまでのことを意味することは言うまでもない。
【００９８】
次に、本発明の第３実施形態を説明する。第３実施形態に係る覚醒度情報提示装置３は、第１実施形態のものと同様であるが、処理内容が第１実施形態のものと一部異なっている。
【００９９】
以下、第１実施形態との相違点について説明する。図３２は、撮像部１０により撮像された画像の例を示す説明図であり、（ａ）は運転者が正面を向いている場合の画像例を示し、（ｂ）は運転者が左ドアミラーを見ている場合の画像例を示し、（ｃ）は運転者が右ドアミラーを見ている場合の画像例を示している。
【０１００】
同図（ａ）に示すように、運転者が正面を向いているときの右眼の座標値は（ＲＸ１，ＲＹ１）となり、左眼の座標値は（ＬＸ１，ＬＹ１）となっている。また、同図（ｂ）に示すように、運転者が左ドアミラーを見ているときの右眼の座標値は（ＲＸ２，ＲＹ２）となり、左眼の座標値は（ＬＸ２，ＬＹ２）となっている。さらに、同図（ｃ）に示すように、運転者が右ドアミラーを見ているときの右眼の座標値は（ＲＸ３，ＲＹ３）となり、左眼の座標値は（ＬＸ３，ＬＹ３）となっている。
【０１０１】
第３実施形態において処理装置２０は、上記のような眼の座標値を所定フレーム数分だけ記憶するようになっている。そして、表示部３０は、所定フレーム数分の眼の座標値から、眼の画像中における移動量が所定量を超えるか否かを判断し、超える場合には、覚醒度情報の表示面積について増加及び減少を中止する。
【０１０２】
以下、具体的に説明する。図３３は、眼の移動量についての説明図である。まず、上記したように、開閉眼判定部２６は、所定時間にわたり眼の開閉眼を判定し閉眼時間比率を求める。また、これと並行して、処理装置２０は、追跡される眼の座標値を所定フレーム数分記憶する。次いで、処理装置２０は、所定フレーム数分の眼の座標値を記憶すると、これらの標準偏差を求める。
【０１０３】
具体的に、運転者が正面を向いている場合、標準偏差は小さくなる。すなわち、図３３に示すように、右眼に関してはＸ座標の標準偏差は「９．８」となり、Ｙ座標の標準偏差は「４．５」となる。また、左眼に関してはＸ座標の標準偏差は「９．４」となり、Ｙ座標の標準偏差は「５．０」となる。
【０１０４】
これに対し、運転者が正面を見ている状態から左ドアミラーを見た場合、標準偏差は大きくなる。すなわち、図３３に示すように、運転者が左ドアミラーを見た場合、右眼に関してはＸ座標の標準偏差は「２６．２」となり、Ｙ座標の標準偏差は「１２．２」となる。また、左眼に関してはＸ座標の標準偏差は「３１．５」となり、Ｙ座標の標準偏差は「７．８」となる。さらに、運転者が右ドアミラーを見た場合、右眼に関してはＸ座標の標準偏差は「４０．５」となり、Ｙ座標の標準偏差は「１４．７」となる。また、左眼に関してはＸ座標の標準偏差は「４８．４」となり、Ｙ座標の標準偏差は「１４．５」となる。
【０１０５】
ここで、運転者は、居眠り状態にあるとき、安全確認などをせず、顔の動きが鈍る傾向がある。このため、運転者が左右のドアミラーを見る場合、運転者は居眠り状態でなく覚醒状態にあると言える。特に、運転者が安全確認する場合、Ｘ座標の標準偏差は「３０」を超え、Ｙ座標の標準偏差は「２０」を超える傾向にある。このため、標準偏差が上記値を超える場合、運転者は安全確認をしていたと言える。
【０１０６】
また、運転者が安全確認をしていた場合、黒眼部分が左右に片寄ることから、眼の縦幅を誤って認識する可能性が高まる。図３４は、第３実施形態に係る覚醒度情報提示装置３の処理を示す説明図である。同図（ａ）に示すように、運転者が安全確認をしていた場合、覚醒度判定部２７は閉眼時間比率がＢ％を超えると判断することがある。
【０１０７】
この場合、第１実施形態であれば、表示部３０は、覚醒度の表示面積を減少させるなどして、覚醒度の低下を表現していた。ところが、図３４（ｂ）に示すように、第３実施形態において表示部３０は、標準偏差が上記の条件を満たす場合、覚醒度情報の表示面積を減少させていない。これにより、第３実施形態では、運転者が安全確認をして覚醒状態にあるにもかかわらず、誤って閉眼時間比率を大きく算出してしまったとしても、覚醒度の表示面積を減少させないため、正確に覚醒度を表示することができる。
【０１０８】
なお、図３４では、表示面積を減少させることを中止する例を説明したが、これに限らず、表示面積の増加を中止するようにしてもよい。また、上記では、眼の画像中における移動量としての標準偏差が所定量を超えるか否かを判断しているが、標準偏差に限らず、他の値によって判断するようにしてもよい。
【０１０９】
このようにして、第３実施形態に係る覚醒度情報提示装置３によれば、第１実施形態と同様に、運転者への違和感を軽減することができ、簡便な演算処理にて覚醒度を判定することができる。また、運転者に対し、覚醒度の高低を容易に認識させることができ、一層違和感の軽減を図ることができる。さらに、精度の高い信頼度の判定を行うことができる。
【０１１０】
ここで、運転者が安全確認をしている場合、覚醒状態にあるにもかかわらず、眼の開度値を小さく検出してしまうことがある。ところが、第３実施形態によれば、画像中における運転者の眼の移動量が所定量を超える場合、覚醒度情報の表示面積について増加させ又は減少させることを中止することとしている。このため、運転者が覚醒状態であるにも関わらず居眠り状態であると誤判断して、覚醒度の表示面積を不適切に変更してしまうことを防止することができる。従って、一層違和感の軽減を図ることができる。
【０１１１】
次に、本発明の第４実施形態を説明する。第４実施形態に係る覚醒度情報提示装置４は、第１実施形態のものと同様であるが、処理内容が第１実施形態のものと一部異なっている。
【０１１２】
以下、第１実施形態との相違点について説明する。図３５は、運転者が覚醒状態から居眠り状態にまで至る経緯を示す説明図である。同図に示すように、運転者の覚醒度が高い場合、閉眼の時間が短いことから、閉眼時間比率は小さくなり、且つ、安全確認などが頻繁に行われて、検出時間比率も小さくなる（領域１３０）。
【０１１３】
その後、安全確認の必要性が少ない道路等を走行して運転が単調となると、眼の移動も少なくなり検出時間比率は大きくなる（領域１３１，１３２）。次いで、運転の単調さから運転者が眠気を感じ始める。このとき、閉眼時間比率は大きくなっていく（領域１３３）。そして、さらに単調運転が続くと、最終的に運転者は居眠り状態となって、閉眼時間比率は一層大きくなる（領域１３４）。このように、覚醒状態から居眠り状態に至るまでの間に、検出時間比率及び閉眼時間比率が大きくなっていくが、これらは図中の符号１３５のように同時に大きくなるわけでなく、まず、検出時間比率が大きくなった後に、閉眼時間比率が大きくなる。
【０１１４】
さらに、検出時間比率が小さいと言うことは運転者が安全確認をしているため、居眠り状態であることがなく、図中の符号１３６に示すように、検出時間比率が小さく、閉眼時間比率が大きくなることはない（領域１３７）。
【０１１５】
図３６は、運転者の顔を撮像して、閉眼時間比率と検出時間比率とを１０回にわたって求めた結果を示す説明図であり、検出時間比率及び閉眼時間比率が、図３５に示す領域１３２から領域１３４に遷移するまでを示している。
【０１１６】
まず、検出結果１において、閉眼時間比率は「５」％であり、検出時間比率は「１」となっている。これを図３５に照らすと、検出結果１は領域１３２に属する。また、検出結果２において、閉眼時間比率は「８」％であり、検出時間比率は「０．９８」となっている。これを図３５に照らすと、検出結果１は領域１３２に属する。
【０１１７】
検出結果３において、閉眼時間比率は「１５」％であり、検出時間比率は「０．９４」となっている。これを図３５に照らすと、検出結果１は領域１３３に属する。検出結果４において、閉眼時間比率は「３０」％であり、検出時間比率は「０．４８」となっている。これを図３５に照らすと、検出結果１は領域１３７に属する。ここで、上記したように領域１３７は、本来的にあり得ない状態である。すなわち、ノイズにより検出時間比率が小さくなったといえる。
【０１１８】
また、検出結果５において、閉眼時間比率は「１２」％であり、検出時間比率は「０．９５」となっている。これを図３５に照らすと、検出結果５は領域１３２に属する。検出結果６において、閉眼時間比率は「１６」％であり、検出時間比率は「０．９９」となっている。これを図３５に照らすと、検出結果６は領域１３３に属する。
【０１１９】
検出結果７において、閉眼時間比率は「２０」％であり、検出時間比率は「０．８９」となっている。これを図３５に照らすと、検出結果７は領域１３４に属する。検出結果８において、閉眼時間比率は「１８」％であり、検出時間比率は「０．９２」となっている。これを図３５に照らすと、検出結果８は領域１３３に属する。
【０１２０】
検出結果９において、閉眼時間比率は「２３」％であり、検出時間比率は「０．９」となっている。これを図３５に照らすと、検出結果７は領域１３４に属する。検出結果１０において、閉眼時間比率は「２６」％であり、検出時間比率は「１」となっている。これを図３５に照らすと、検出結果１０は領域１３４に属する。以上１０つの検出結果を見ると、検出結果４だけが異常となっている。このため、表示部３０にて表示する覚醒度が不正確なる可能性があり、運転者に違和感を与える可能性がある。
【０１２１】
そこで、第４実施形態において表示部３０は、閉眼時間比率と検出時間比率とを乗じた値（表示反映値）に応じて、覚醒度情報の表示面積を変更する。すなわち、第４実施形態では、表示反映値を用いることにより、表示の違和感を解消することとしている。以下説明する。
【０１２２】
図３７は、第４実施形態に係る覚醒度情報提示装置４の処理を示す説明図であり、（ａ）は閉眼時間比率及び表示反映値を示し、（ｂ）は覚醒度の表示の様子を示している。同図（ａ）に示すように、覚醒度判定部２７は閉眼時間比率がＢ％を超えると判断したとする。
【０１２３】
この場合、第１実施形態であれば、表示部３０は、覚醒度の表示面積を減少させるなどして、覚醒度の低下を表現していた。ところが、図３７（ａ）に示すように、表示反映値がＡ％未満となっている。このため、表示部３０は、図３７（ｂ）に示すように覚醒度の表示面積を変化させないこととする。
【０１２４】
このように、第４実施形態では、閉眼時間比率に応じて覚醒度を表示せず、閉眼時間比率と検出時間比率とを乗じた表示反映値に応じて覚醒度を表示することとなる。これにより、第４実施形態では、運転者の眼をうまく検出できず、誤って閉眼時間比率を大きく算出してしまったとしても、検出時間比率は小さくなるので、表示反映値は適度な値となり、正確に覚醒度を表示することができる。
【０１２５】
具体的に図３６との関係において説明する。まず、図３７におけるＡ％を「１０％」とし、Ｂ％を「２０％」とする。また、表示反映値は、検出結果１〜１０について順に、「５」「７．８４」「１４．１」「１４．４」「１１．４」「１５．８４」「１７．８」「１６．５６」「２０．７」「２６」となっている。このため、検出結果１，２にあっては表示反映値がＡ％未満となり、覚醒度の低下の様子は表示されない。一方、検出結果３〜８にあっては表示反映値がＡ％以上Ｂ％未満となり、覚醒度の低下の様子は表示される（例えば表示メモリの１つ分など）。また、検出結果９，１０にあっては表示反映値がＢ％以上となり、覚醒度の著しい低下の様子が表示される（例えば表示メモリの３つ分など）。
【０１２６】
ここで、検出結果４の閉眼時間比率は「３０」である。このため、上記実施形態では、閉眼時間比率がＢ％以上となるため、覚醒度の著しい低下の様子が表示されていた。故に、運転者に違和感を与えていた。ところが、本実施形態では、表示反映値を基準に判断し、表示反映値がＡ％以上Ｂ％未満であるため、覚醒度の著しい低下の様子は表示されない。従って、運転者への違和感を軽減させることとなる。
【０１２７】
このようにして、第４実施形態に係る覚醒度情報提示装置４によれば、第１実施形態と同様に、運転者への違和感を軽減することができ、簡便な演算処理にて覚醒度を判定することができる。また、運転者に対し、覚醒度の高低を容易に認識させることができ、一層違和感の軽減を図ることができる。さらに、精度の高い信頼度の判定を行うことができる。
【０１２８】
さらに、第４実施形態によれば、閉眼時間比率を検出時間比率で乗じた値に応じて、覚醒度情報の表示面積を変更することとしている。このため、ノイズにより閉眼時間比率が異常となったとしても、両者を乗ずることによりノイズの影響が緩和される。従って、ノイズの影響を緩和して覚醒度情報を表示することとなり、運転者への違和感を一層軽減することができる。
【０１２９】
なお、本実施形態は、閉眼時間比率でなく表示反映値に応じて表示面積を変更する例を説明しているが、これに限らず、表示反映値に応じて表示色（色相）を変更してもよい。また、覚醒度を覚醒度情報の表示面積にて表現する場合において、表示反映値が第１所定値（Ａ％）を下回るとき、前回に判定された覚醒度についての表示面積から一定面積だけ増加させた面積にて覚醒度情報を表示してもよい。さらに、表示反映値が第２所定値（Ａ％又はＢ％）以上となるとき、前回に判定された覚醒度についての表示面積から特定面積だけ減少させた面積にて覚醒度情報を表示してもよい。
【０１３０】
次に、本発明の第５実施形態を説明する。第５実施形態に係る覚醒度情報提示装置５は、第１実施形態のものと同様であるが、構成及び処理内容が第１実施形態のものと一部異なっている。
【０１３１】
以下、第１実施形態との相違点について説明する。図３８は、第５実施形態に係る覚醒度情報提示装置のハード構成図である。同図に示すように、第５実施形態に係る覚醒度情報提示装置５は、新たにイグニッションスイッチ４１、車速センサ４２、舵角センサ４３、及びナビゲーションシステム４４を備え、これらが処理装置２０に信号を送信する構成となっている。
【０１３２】
図３９は、図３８に示した処理装置２０の詳細構成図である。図３９に示すように、処理装置２０は、車両走行状態検出部（車両走行状態検出手段）２９を有している。車両走行状態検出部２９は、図３８に示したイグニッションスイッチ４１、車速センサ４２、舵角センサ４３、及びナビゲーションシステム４４に接続されている。そして、車両走行状態検出部２９は、これらの信号を入力して、車両の走行状態を検出する。
【０１３３】
具体的に車両走行状態検出部２９は、イグニッションスイッチ４１のオフを検出することで車両のエンジン停止を検出する。また、車両走行状態検出部２９は、車速センサ４２からの信号をもとに、車両の走行速度を検出する。さらに、車両走行状態検出部２９は、舵角センサ４３からの信号をもとに操舵量を検出し、ナビゲーションシステム４４からの信号をもとに走行中の走行道路の種別（高速道や一般道など）を検出する。
【０１３４】
また、車両走行状態検出部２９は、表示部３０に接続されている。そして、表示部３０は、車両走行状態検出部２９によりエンジンの停止が検出された場合、覚醒度の表示を初期状態に戻すこととしている。すなわち、表示部３０は、エンジンが停止した場合、運転者が休憩をとったと考えられるため、覚醒度情報の表示面積を図２２〜図２５に示したように増減させているときには、これを一度クリアして、初期状態に戻すこととする。
【０１３５】
さらに、車両走行状態検出部２９は、信頼度判定部２８に接続されている。そして、信頼度判定部２８は、検出時間比率に加えて、走行速度、操舵量及び走行道路の種別などの走行状態に基づいて、覚醒度の信頼度を判定する。具体的に説明すると、車速が高くなってくると運転者が注視する範囲は狭まり、またハンドルの操舵量も小さくなってくる。そして、注視範囲が狭まったりハンドル操舵量が小さくなったりすると、図１１及び図１２に示すように、顔の動きやハンドルの重なりによって眼の検出ができなくなってしまうことが少なくなる。
【０１３６】
図４０は、検出時間比率と車速との関係を示すグラフである。上記したように、車速が高いときには顔の動きが少なく、眼を検出し易い。このため、図４０に示すように、車速が高いときには、検出時間比率は高くなっている。図４１は、検出時間比率と操舵量との関係を示すグラフである。同様に操舵量が少ないときには、検出時間比率は高くなっている。図４２は、検出時間比率と走行道路の種別との関係を示すグラフである。同様に高速道路、自動車専用道路及び郊外の幹線道路など、車速が高くなりやすい道路については、検出時間比率は高くなっている。
【０１３７】
また、上記の如く、車速が高く、検出時間比率が高くなっているということは、検出時間比率が低下する要因が少なくなっていると言える。また、車速が高い状態を維持する限り、検出時間比率は高い値を保つのが通常である。このため、突然に検出時間比率が小さくなった場合、信頼度判定部２８は、その検出時間比率がノイズにより小さな値になったと判断する。よって、信頼度判定部２８は、ノイズにより小さくなった検出時間比率から信頼度を判定しないこととし、例えば前回の正常な検出時間比率を用いて、信頼度を判定する。これにより、信頼度を的確に判断して、表示部３０による表示を一層違和感がないものとすることができる。なお、操舵量及び走行道路の種別についても、同様に違和感がないものとすることができる。
【０１３８】
次に、第５実施形態に係る覚醒度情報提示装置５の動作を説明する。図４３は、第５実施形態に係る覚醒度情報提示装置５の動作を示すフローチャートである。なお、図４３に示す処理内容は、図１３に示す第１実施形態の処理との相違点を明確にするため、一部分のみが図示されている。
【０１３９】
まず、車両走行状態検出部２９は、イグニッションスイッチ４１がオンか否かを判断する（ＳＴ３１）。ここで、イグニッションスイッチ４１がオンである場合（ＳＴ３１：ＹＥＳ）、処理はステップＳＴ３３に進む。一方、イグニッションスイッチ４１がオンでない場合（ＳＴ３１：ＮＯ）、車両走行状態検出部２９は、エンジンの停止を検出する。そして、表示部３０は、覚醒度判定部２７により判定された覚醒度の表示を初期状態に戻す（ＳＴ３２）。そして、処理はステップＳＴ３３に進む。これにより、運転者が休憩をとった場合に的確な表示を実現することができる。
【０１４０】
ステップＳＴ３３において、眼位置検出部２１は、画像のデータを入力する（ＳＴ３３）。その後、信頼度判定部２８は、変数Ｔｋが初期値であるか否かを判断する（ＳＴ３４）。変数Ｔｋが初期値である場合（ＳＴ３４：ＹＥＳ）、信頼度判定部２８は現在時刻を変数Ｔｋに代入し、記憶する（ＳＴ３５）。そして、処理は図１３に示したステップＳＴ４に移行する。以降、図１３及び図１４に示した処理を同様の処理が実行されることとなる。
【０１４１】
一方、変数Ｔｋが初期値でない場合（ＳＴ３４：ＮＯ）、変数Ｔｋについて代入及び記憶が行われることなく、処理は図１３に示したステップＳＴ４に移行し、後の処理が実行されていくこととなる。
【０１４２】
そして、図示を省略しているが、車両走行状態検出部２９は、車両の走行速度、操舵量、及び走行道路を検出し、信頼度判定部２８は、検出時間比率に加えて、検出された走行状態に基づいて、信頼度を判定する。
【０１４３】
このようにして、第５実施形態に係る覚醒度情報提示装置５によれば、第１実施形態と同様に、運転者への違和感を軽減することができ、簡便な演算処理にて覚醒度を判定することができる。また、運転者に対し、覚醒度の高低を容易に認識させることができ、一層違和感の軽減を図ることができる。さらに、精度の高い信頼度の判定を行うことができる。
【０１４４】
さらに、第５実施形態によれば、車両のエンジンの停止によって、覚醒度の表示を初期状態に戻すこととしている。ここで、エンジンが停止した場合、運転者が休憩をとったと考えられる。このため、エンジンの停止が検出された段階で、覚醒度の表示を初期状態に戻すことで、覚醒度の表示について一層違和感の軽減を図ることができる。
【０１４５】
また、車両の走行速度、操舵量、及び走行道路の種別などの走行状態を検出し、検出時間比率のみならず走行状態から、信頼度を判定することとしている。ここで、車両の走行速度に応じて運転者の注視範囲や操舵量が異なってくる。また、検出時間比率は、注視範囲や操舵量に影響を受ける。具体的に走行速度が小さい場合、検出時間比率は低い値で安定し、走行速度が大きい場合、検出時間比率は高い値で安定する。このため、例えば走行速度が高い場合において、検出時間比率が急激に小さくなったときは、ノイズにより信頼度が低くなったといえる。従って、信頼度を的確に判断して、表示部３０による表示を一層違和感がないものとすることができる。なお、走行道路の種別についても同様に違和感を軽減することができる。
【０１４６】
以上、実施形態に基づき本発明を説明したが、本発明は上記実施形態に限られるものではなく、各実施形態を組み合わせてもよい。また、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。例えば上記覚醒度情報提示装置５において車両走行状態検出部２９は、エンジンの停止、走行速度、操舵量及び走行道路の種別を検出する構成となっているが、これら全てを検出する構成に限らず、少なくとも１つを検出するものであればよい。
【図面の簡単な説明】
【０１４７】
【図１】本発明の第１実施形態に係る覚醒度情報提示装置のハード構成図である。
【図２】図１に示した処理装置の詳細構成図である。
【図３】眼位置検出部が眼の位置の検出に際して行う初期処理の説明図である。
【図４】眼位置検出部が所定の画素を抽出したとき様子を示す説明図である。
【図５】画像横方向に近接する画素をグループ化したときの様子を示す説明図である。
【図６】眼位置検出部によるゾーン化後の様子を示す説明図である。
【図７】追跡部による眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。
【図８】眼の縦幅の開度を示す説明図であり、（ａ）は開眼時を示しており、（ｂ）は閉眼時を示している。
【図９】図２に示した覚醒度判定部の詳細説明図である。
【図１０】図２に示した信頼度判定部の詳細説明図である。
【図１１】運転者がハンドル操作する場合において撮像部により撮像された画像を示す説明図であり、（ａ）は第１の画像例を示し、（ｂ）は第２の画像例を示し、（ｃ）は第３の画像例を示し、（ｄ）は第４の画像例を示し、（ｅ）は第５の画像例を示している。
【図１２】運転者が顔を横方向に向ける場合において撮像部により撮像された画像を示す説明図であり、（ａ）は第１の画像例を示し、（ｂ）は第２の画像例を示し、（ｃ）は第３の画像例を示し、（ｄ）は第４の画像例を示し、（ｅ）は第５の画像例を示している。
【図１３】図２に示した処理装置の詳細動作を示すフローチャートであり、処理の前半部分を示している。
【図１４】図２に示した処理装置の詳細動作を示すフローチャートであり、処理の後半部分を示している。
【図１５】表示部による覚醒度の第１の表示例を示す説明図である。
【図１６】表示部による覚醒度の第２の表示例を示す説明図である。
【図１７】表示部による覚醒度の第３の表示例を示す説明図である。
【図１８】表示部による覚醒度の第４の表示例を示す説明図である。
【図１９】表示部による覚醒度の第５の表示例を示す説明図である。
【図２０】表示部による覚醒度の第６の表示例を示す説明図である。
【図２１】色相環を示す説明図である。
【図２２】閉眼時間比率と表示される覚醒度との関係を示す第１の説明図であり、（ａ）は閉眼時間比率を示し、（ｂ）は覚醒度の表示の様子を示している。
【図２３】閉眼時間比率と表示される覚醒度との関係を示す第２の説明図であり、（ａ）は閉眼時間比率を示し、（ｂ）は覚醒度の表示の様子を示している。
【図２４】閉眼時間比率と表示される覚醒度との関係を示す第３の説明図であり、（ａ）は閉眼時間比率を示し、（ｂ）は覚醒度の表示の様子を示している。
【図２５】閉眼時間比率と表示される覚醒度との関係を示す第４の説明図であり、（ａ）は閉眼時間比率を示し、（ｂ）は覚醒度の表示の様子を示している。
【図２６】表示色の説明図である。
【図２７】表示部による信頼度の第１の表示例を示す説明図である。
【図２８】表示部による信頼度の第２の表示例を示す説明図である。
【図２９】撮像部により撮像された画像の一例を示す説明図である。
【図３０】閉眼時における眼の開度と、眼鏡のフレーム部を眼と誤追跡しているときに得られる開度とを示す説明図であり、（ａ）は閉眼時の例を示し、（ｂ）は眼鏡のフレーム部の例を示している。
【図３１】第２実施形態に係る覚醒度情報提示装置の処理を示す説明図である。
【図３２】撮像部により撮像された画像の例を示す説明図であり、（ａ）は運転者が正面を向いている場合の画像例を示し、（ｂ）は運転者が左ドアミラーを見ている場合の画像例を示し、（ｃ）は運転者が右ドアミラーを見ている場合の画像例を示している。
【図３３】眼の移動量についての説明図である。
【図３４】第３実施形態に係る覚醒度情報提示装置の処理を示す説明図である。
【図３５】運転者が覚醒状態から居眠り状態にまで至る経緯を示す説明図である。
【図３６】運転者の顔を撮像して、閉眼時間比率と検出時間比率とを１０回にわたって求めた結果を示す説明図であり、検出時間比率及び閉眼時間比率が、図３５に示す領域１３２から領域１３４に遷移するまでを示している。
【図３７】第４実施形態に係る覚醒度情報提示装置の処理を示す説明図であり、（ａ）は閉眼時間比率及び表示反映値を示し、（ｂ）は覚醒度の表示の様子を示している。
【図３８】第５実施形態に係る覚醒度情報提示装置のハード構成図である。
【図３９】図３８に示した処理装置２０の詳細構成図である。
【図４０】検出時間比率と車速との関係を示すグラフである。
【図４１】検出時間比率と操舵量との関係を示すグラフである。
【図４２】検出時間比率と走行道路の種別との関係を示すグラフである。
【図４３】第５実施形態に係る覚醒度情報提示装置の動作を示すフローチャートである。
【符号の説明】
【０１４８】
１〜５…覚醒度情報提示装置
１０…撮像部（撮像手段）
２０…処理装置
２１…眼位置検出部
２２…追跡部
２３…開度値検出部（開度値検出手段）
２４…学習部
２５…開閉眼判定基準値算出部
２６…開閉眼判定部（開閉眼判定手段）
２７…覚醒度判定部（覚醒度判定手段）
２８…信頼度判定部（信頼度判定手段）
２９…車両走行状態検出部（車両走行状態検出手段）
３０…表示部（表示手段）
４１…イグニッションスイッチ
４２…車速センサ
４３…舵角センサ
４４…ナビゲーションシステム
【図１】
2006174960.tif 000003
【図２】
2006174960.tif 000004
【図３】
2006174960.tif 000005
【図４】
2006174960.tif 000006
【図５】
2006174960.tif 000007
【図６】
2006174960.tif 000008
【図７】
2006174960.tif 000009
【図８】
2006174960.tif 000010
【図９】
2006174960.tif 000011
【図１０】
2006174960.tif 000012
【図１１】
2006174960.tif 000013
【図１２】
2006174960.tif 000014
【図１３】
2006174960.tif 000015
【図１４】
2006174960.tif 000016
【図１５】
2006174960.tif 000017
【図１６】
2006174960.tif 000018
【図１７】
2006174960.tif 000019
【図１８】
2006174960.tif 000020
【図１９】
2006174960.tif 000021
【図２０】
2006174960.tif 000022
【図２１】
2006174960.tif 000023
【図２２】
2006174960.tif 000024
【図２３】
2006174960.tif 000025
【図２４】
2006174960.tif 000026
【図２５】
2006174960.tif 000027
【図２６】
2006174960.tif 000028
【図２７】
2006174960.tif 000029
【図２８】
2006174960.tif 000030
【図２９】
2006174960.tif 000031
【図３０】
2006174960.tif 000032
【図３１】
2006174960.tif 000033
【図３２】
2006174960.tif 000034
【図３３】
2006174960.tif 000035
【図３４】
2006174960.tif 000036
【図３５】
2006174960.tif 000037
【図３６】
2006174960.tif 000038
【図３７】
2006174960.tif 000039
【図３８】
2006174960.tif 000040
【図３９】
2006174960.tif 000041
【図４０】
2006174960.tif 000042
【図４１】
2006174960.tif 000043
【図４２】
2006174960.tif 000044
【図４３】
2006174960.tif 000045