(57)【要約】【課題】判定精度の向上を図ることが可能な覚醒度レベル判定装置を提供する。【解決手段】覚醒度レベル判定装置１は、画像撮影部１０と開閉眼判定部２３と覚醒度レベル判定部２５を備えている。画像撮影部１０は、運転者の顔の画像を撮影し、開閉眼判定部２３は、得られた画像から運転者の眼の開閉眼状態を判定し、覚醒度レベル判定部２５は、開閉眼状態から運転者の覚醒度レベルを判定する。また、覚醒度レベル判定装置１は、バラツキ度合検出部２６及び覚醒度レベル補正部２７を具備している。バラツキ度合検出部２６は、得られた画像から順次眼の位置を検出し、順次検出された眼の位置から眼の座標位置のバラツキ度合いを検出する。また、覚醒度レベル補正部２７は、バラツキ度合いが所定の閾値を超える場合に、前記覚醒度レベルを覚醒側に補正する。【選択図】      図２
2004341954.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を処理して運転者の覚醒度レベルを判定する覚醒度レベル判定装置において、
運転者の顔を撮影する画像撮影手段と、
前記画像撮影手段により得られた画像全体から運転者の眼の位置を検出する位置検出手段と、
前記位置検出手段により検出された眼の位置を基準にして運転者の眼を含む所定領域を画像上に設定し、この所定領域内から眼を追跡していく追跡手段と、
前記追跡手段により追跡される所定領域内の眼についての開閉眼状態を判定する開閉眼判定手段と、
前記開閉眼判定手段によって判定された眼の開閉眼状態に基づいて、所定時間中に占める閉眼状態の出現時間の割合を検出する閉眼割合検出手段と、
前記閉眼割合検出手段によって検出された割合から覚醒度レベルを判定する覚醒度レベル判定手段と、
前記追跡手段により追跡される眼の位置に基づいて、眼の座標位置のバラツキ度合いを検出するバラツキ度合検出手段と、
前記バラツキ度合検出手段により検出された眼の座標位置のバラツキ度合いが所定の閾値を超える場合に、前記覚醒度レベル判定手段により判定された覚醒度レベルを覚醒側に補正する覚醒度レベル補正手段と、
を備えることを特徴とする覚醒度レベル判定装置。
【請求項２】
顔画像を処理して運転者の覚醒度レベルを判定する覚醒度レベル判定装置において、
運転者の顔を撮影する画像撮影手段と、
前記画像撮影手段により得られた画像全体から運転者の眼の位置を検出する位置検出手段と、
前記位置検出手段により検出された眼の位置を基準にして運転者の眼を含む所定領域を画像上に設定し、この所定領域内から眼を追跡していく追跡手段と、
前記追跡手段により追跡される所定領域内の眼についての開閉眼状態を判定する開閉眼判定手段と、
前記開閉眼判定手段によって判定された眼の開閉眼状態に基づいて、所定時間中に占める閉眼状態の出現時間の割合を検出する閉眼割合検出手段と、
前記閉眼割合検出手段によって検出された割合から覚醒度レベルを判定する覚醒度レベル判定手段と、
前記覚醒度レベル判定手段により判定された覚醒度レベルを補正する覚醒度レベル補正手段と、を備え、
前記開閉眼判定手段は、
前記所定領域内に存する眼の縦幅に基づいて開閉眼状態を判定する縦幅開閉眼判定部と、
前記所定領域内に存する眼の上瞼の形状に基づいて開閉眼状態を判定する形状開閉眼判定部と、
前記所定領域内に存する眼の上瞼のピーク点と眼の上方に存在する眉との間隔に基づいて開閉眼状態を判定する間隔開閉眼判定部と、
これら開閉眼判定部の３つの検出結果のうち少なくとも１つに基づいて、最終的に開閉眼状態を判定する統括開閉眼判定部と、を有し、
前記覚醒度レベル補正手段は、前記統括開閉眼判定部が開閉眼状態を判定する際に用いた検出結果の数が少なくなるに従って、前記覚醒度レベルを覚醒側に補正する
ことを特徴とする覚醒度レベル判定装置。
【請求項３】
顔画像を処理して運転者の覚醒度レベルを判定する覚醒度レベル判定装置において、
運転者の顔を撮影する画像撮影手段と、
前記画像撮影手段により得られた画像全体から運転者の眼の位置を検出する位置検出手段と、
前記位置検出手段により検出された眼の位置を基準にして運転者の眼を含む所定領域を画像上に設定し、この所定領域内から眼を追跡していく追跡手段と、
前記追跡手段により追跡される所定領域内の眼についての開閉眼状態を判定する開閉眼判定手段と、
前記開閉眼判定手段によって判定された眼の開閉眼状態に基づいて、所定時間中に占める閉眼状態の出現時間の割合を検出する閉眼割合検出手段と、
前記閉眼割合検出手段によって検出された割合から覚醒度レベルを判定する覚醒度レベル判定手段と、
車両内の光環境を検出する光環境検出手段と、
前記光環境検出手段により検出された光環境が、予め定義される良好時の光環境よりも悪化しているものである場合、前記覚醒度レベル判定手段により判定された覚醒度レベルを覚醒側に補正する覚醒度レベル補正手段と、
を備えることを特徴とする覚醒度レベル判定装置。
【請求項４】
顔画像を処理して運転者の覚醒度レベルを判定する覚醒度レベル判定装置において、
運転者の顔を撮影する画像撮影手段と、
前記画像撮影手段により得られた画像全体から運転者の眼の位置を検出する位置検出手段と、
前記位置検出手段により検出された眼の位置を基準にして運転者の眼を含む所定領域を画像上に設定し、この所定領域内から眼を追跡していく追跡手段と、
前記追跡手段により追跡される所定領域内の眼についての開閉眼状態を判定する開閉眼判定手段と、
前記開閉眼判定手段によって判定された眼の開閉眼状態に基づいて、所定時間中に占める閉眼状態の出現時間の割合を検出する閉眼割合検出手段と、
前記閉眼割合検出手段によって検出された割合から覚醒度レベルを判定する覚醒度レベル判定手段と、
運転者の眼鏡の着用の有無を検出する眼鏡検出手段と、
前記眼鏡検出手段により運転者の眼鏡の着用が検出された場合、前記覚醒度レベル判定手段により判定された覚醒度レベルを覚醒側に補正する覚醒度レベル補正手段と、
を備えることを特徴とする覚醒度レベル判定装置。
【請求項５】
顔画像を処理して運転者の覚醒度レベルを判定する覚醒度レベル判定装置において、
運転者の顔を撮影する画像撮影手段と、
前記画像撮影手段により得られた画像全体から運転者の眼の位置を検出する位置検出手段と、
前記位置検出手段により検出された眼の位置を基準にして運転者の眼を含む所定領域を画像上に設定し、この所定領域内から眼を追跡していく追跡手段と、
前記追跡手段により追跡される所定領域内の眼についての開閉眼状態を判定する開閉眼判定手段と、
前記開閉眼判定手段によって判定された眼の開閉眼状態に基づいて、所定時間中に占める閉眼状態の出現時間の割合を検出する閉眼割合検出手段と、
前記閉眼割合検出手段によって検出された割合から覚醒度レベルを判定する覚醒度レベル判定手段と、
画像上における運転者の眼の大きさを判定する寸法判定手段と、
前記寸法判定手段により判定された眼の大きさが所定の大きさよりも小さいものである場合、前記覚醒度レベル判定手段により判定された覚醒度レベルを覚醒側に補正する覚醒度レベル補正手段と、
を備えることを特徴とする覚醒度レベル判定装置。
【請求項６】
前記覚醒度レベル補正手段により補正された覚醒度レベルを表示する覚醒度レベル表示手段を更に備えることを特徴とする請求項１〜請求項５のいずれか１項に記載の覚醒度レベル判定装置。
【請求項７】
前記覚醒度レベル補正手段が覚醒度レベルを補正したときの補正内容を表示する補正内容表示手段を更に備えることを特徴とする請求項６に記載の覚醒度レベル判定装置。
【請求項８】
前記覚醒度レベル補正手段は、覚醒度レベル判定手段により判定された覚醒度レベルを覚醒側に補正するのに代えて、前回覚醒度レベル判定手段により判定された覚醒度レベルを今回の覚醒度レベルとして保持することを特徴とする請求項１〜請求項７のいずれか１項に記載の覚醒度レベル判定装置。
【請求項９】
運転者の顔を撮影し、得られた画像から運転者の眼の開閉眼状態を判定し、この開閉眼状態から運転者の覚醒度レベルを判定する覚醒度レベル判定装置であって、
得られた画像から順次眼の位置を検出し、順次検出された眼の位置から眼の座標位置のバラツキ度合いを検出し、このバラツキ度合いが所定の閾値を超える場合に、前記覚醒度レベルを覚醒側に補正することを特徴とする覚醒度レベル判定装置。
【請求項１０】
運転者の顔を撮影し、得られた画像から運転者の眼の開閉眼状態を判定し、この開閉眼状態から運転者の覚醒度レベルを判定する覚醒度レベル判定装置であって、
開閉眼状態を判定するに当たり、眼の縦幅に基づく開閉眼状態の検出結果と、眼の上瞼の形状に基づく開閉眼状態の検出結果と、及び眼の上瞼のピーク点と眼の上方に存在する眉との間隔とに基づく開閉眼状態の検出結果との３つの検出結果のうち、少なくとも１つの検出結果に基づいて、最終的な開閉眼状態を判定し、
最終的な開閉眼状態を判定する際に用いた検出結果の数が少なくなるに従って、前記覚醒度レベルを覚醒側に補正する
ことを特徴とする覚醒度レベル判定装置。
【請求項１１】
運転者の顔を撮影し、得られた画像から運転者の眼の開閉眼状態を判定し、この開閉眼状態から運転者の覚醒度レベルを判定する覚醒度レベル判定装置であって、
車両内の光環境を検出し、この検出された光環境が、予め定義される良好時の光環境よりも悪化しているものである場合、前記覚醒度レベルを覚醒側に補正することを特徴とする覚醒度レベル判定装置。
【請求項１２】
運転者の顔を撮影し、得られた画像から運転者の眼の開閉眼状態を判定し、この開閉眼状態から運転者の覚醒度レベルを判定する覚醒度レベル判定装置であって、
運転者の眼鏡の着用の有無を検出し、運転者の眼鏡の着用が検出された場合、前記覚醒度レベルを覚醒側に補正することを特徴とする覚醒度レベル判定装置。
【請求項１３】
運転者の顔を撮影し、得られた画像から運転者の眼の開閉眼状態を判定し、この開閉眼状態から運転者の覚醒度レベルを判定する覚醒度レベル判定装置であって、
画像上における運転者の眼の大きさを判定し、判定された眼の大きさが所定の大きさよりも小さいものである場合、前記覚醒度レベルを覚醒側に補正することを特徴とする覚醒度レベル判定装置。
【請求項１４】
顔画像を処理して運転者の覚醒度レベルを判定する覚醒度レベル判定装置において、
運転者の顔を撮影する画像撮影手段と、
前記画像撮影手段により得られた画像全体から運転者の眼の位置を検出する位置検出手段と、
前記位置検出手段により検出された眼の位置を基準にして運転者の眼を含む所定領域を画像上に設定し、この所定領域内から眼を追跡していく追跡手段と、
前記追跡手段により追跡される所定領域内の眼についての開閉眼状態を判定する開閉眼判定手段と、
前記開閉眼判定手段によって判定された眼の開閉眼状態に基づいて、所定時間中に占める閉眼状態の出現時間の割合を検出する閉眼割合検出手段と、
前記閉眼割合検出手段によって検出された割合から覚醒度レベルを判定する覚醒度レベル判定手段と、
前記覚醒度レベル判定手段により判定された覚醒度レベルを覚醒側に補正する覚醒度レベル補正手段と、を備え、
前記覚醒度レベル補正手段は、
前記追跡手段により追跡される眼の位置に基づいて眼の座標位置のバラツキ度合いを検出するバラツキ度合検出手段、
前記開閉眼判定手段の一部であって、前記所定領域内に存する眼の縦幅、上瞼の形状、及び上瞼のピーク点と眼の上方に存在する眉との間隔とのうち少なくとも１つに基づいて開閉眼状態を判定する統括開閉眼状態判定部、
車両内の光環境を検出する光環境検出手段、
運転者の眼鏡の着用の有無を検出する眼鏡検出手段、並びに
画像上における運転者の眼の大きさを判定する寸法判定手段、のうち少なくとも２つからの情報に基づいて、覚醒度レベルを覚醒側に補正する
ことを特徴とする覚醒度レベル判定装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、覚醒度レベル判定装置に関する。
【０００２】
【従来の技術】
従来、閉眼状態が継続している時間を瞬き時間とし、所定の時間帯における瞬き時間毎に度数分布を求め、これに基づいて運転者の覚醒度レベルを判定する覚醒度レベル判定装置が知られている。この装置では、瞬きの信頼度を判定し、その信頼度に応じて度数重みを変化させ、所定時間帯の度数分布を求めている。すなわち、メータを見ている伏せ目状態など実際に目が閉じていないものについて、度数分布にあまり反映させないようにし、誤った覚醒度レベルを判定しないようにしている（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２００３−０００５７１号公報
【０００４】
【発明が解決しようとする課題】
上記特許文献１の装置では、メータを見ている伏せ目の継続時間が、通常の瞬きによる閉眼状態の継続時間よりも長いことに着目している。そして、通常の瞬きより長い時間閉眼状態が検出された場合に、「０．２〜０．８」の重み付け係数を用いることで度数分布にあまり反映させず、伏せ眼状態を閉眼状態と判定しないようにしている。
【０００５】
しかしながら、実際の居眠り状態において、運転者は、メータを見ている時間よりも長い時間継続して眼を閉じていることもある。このため、通常の瞬きより長い時間閉眼状態が継続したことをもって、上記係数を用いると、覚醒度レベルの判定精度の低下を招いてしまう可能性がある。
【０００６】
このように、従来の覚醒度レベル判定装置では、未だ判定精度の向上が望まれるものである。
【０００７】
【課題を解決するための手段】
本発明によれば、顔画像を処理して運転者の覚醒度レベルを判定する覚醒度レベル判定装置であって、画像撮影手段にて運転者の顔を撮影し、その画像撮影手段により得られた画像全体から、位置検出手段が運転者の眼の位置を検出し、追跡手段が、位置検出手段により検出された眼の位置を基準にして運転者の眼を含む所定領域を画像上に設定し、この所定領域内から眼を追跡していき、開閉眼判定手段が、追跡手段により追跡される所定領域内の眼についての開閉眼状態を判定し、閉眼割合検出手段が、開閉眼判定手段によって判定された眼の開閉眼状態に基づいて、所定時間中に占める閉眼状態の出現時間の割合を検出し、覚醒度レベル判定手段が、閉眼割合検出手段によって検出された割合から覚醒度レベルを判定する一方、バラツキ度合検出手段は、追跡手段により追跡される眼の位置に基づいて、眼の座標位置のバラツキ度合いを検出し、覚醒度レベル補正手段は、バラツキ度合検出手段により検出された眼の座標位置のバラツキ度合いが所定の閾値を超える場合に、覚醒度レベル判定手段により判定された覚醒度レベルを覚醒側に補正することを特徴としている。
【０００８】
【発明の効果】
本発明によれば、眼の座標位置のバラツキ度合いが所定の閾値を超える場合に、覚醒度レベルを覚醒側に補正している。このため、覚醒度レベルが低く居眠り状態と判定されるような場合であっても、座標位置のバラツキ度合いが所定の閾値を超えるときには、覚醒度レベルを覚醒側に補正して正確なものとすることができる。従って、判定精度の向上を図ることができる。
【０００９】
【発明の実施の形態】
以下、本発明の好適な実施形態を図面に基づいて説明する。
【００１０】
図１は、本発明の第１実施形態に係る覚醒度レベル判定装置の構成図である。同図に示すように、本実施形態の覚醒度レベル判定装置１は、運転者の顔を含む画像を処理することにより運転者の覚醒度レベルを判定するものであって、車両の運転者の顔を撮影する画像撮影部（画像撮影手段）１０を備えている。この画像撮影部１０は、例えば、可視光を撮像するためのＣＣＤカメラなどであり、運転者の正面下方に設置される。
【００１１】
また、上記覚醒度レベル判定装置１は、画像撮影部１０により撮影された画像に基づき、運転者の覚醒度レベルを判定する処理装置２０を具備している。さらに、上記覚醒度レベル判定装置１は、処理装置２０にて検出された覚醒度レベルを表示する覚醒度レベル表示部（覚醒度レベル表示手段）３０を有している。この覚醒度レベル表示部３０は、運転者にとって視認可能な位置、例えばダッシュボード付近に設けられ、処理装置２０にて検出される覚醒度レベルを運転者に提示するものである。なお、覚醒度レベル表示部３０は、運転者に対し覚醒度レベルを明示できればよく、例えば音声により報知する覚醒度レベル報知部として構成しても構わない。
【００１２】
次に、処理装置２０の詳細構成を図２を参照して説明する。図２は、本発明の第１実施形態に係る覚醒度レベル判定装置１の機能ブロック図である。なお、図２においては、接続関係を明確にするために、画像撮影部１０及び覚醒度レベル表示部３０についても図示する。
【００１３】
上記処理装置２０は、画像撮影部１０からの画像のデータに基づいて、運転者の眼の位置を検出する位置検出部（位置検出手段）２１と、運転者の眼の位置を追跡する追跡部（追跡手段）２２とを備えている。
【００１４】
この位置検出部２１は、画像撮影部１０から入力した画像全体から眼の位置を検出するものである。また、追跡部２２は、位置検出部２１により検出された運転者の眼の位置を基準に眼を含む追跡領域（所定領域）を画像上に定め、後に撮像された画像から眼の位置を検出する場合、追跡領域内から運転者の眼を検出するものである。さらに、追跡部２２は、位置検出部２１及び自己が検出した眼の位置の座標値を順次記憶する機能を有している。
【００１５】
また、上記処理装置２０は、追跡部２２により設定される追跡領域内の眼について解析し、眼の開閉眼状態を判定する開閉眼判定部（開閉眼判定手段）２３を有している。開閉眼判定部２３は、例えば、運転者の眼の縦幅に応じた眼の開度を求め、眼の開度と開度閾値とを比較することにより開閉眼状態を判定する。なお、開閉眼判定部２３は、眼の縦幅により開閉眼状態を判定する構成に限らず、他の手法により開閉眼状態を判定してもよい。
【００１６】
さらに、上記処理装置２０は、開閉眼判定部２３にて判定された眼の開閉眼状態に基づいて、所定時間中に占める閉眼状態の出現時間の割合（以下閉眼割合という）を検出する閉眼割合検出部（閉眼割合検出手段）２４を備えている。この閉眼割合検出部２４は、閉眼時間を積算する機能を有しており、これにより積算時間を得る。そして、所定時間中に占める積算時間の割合に基づいて閉眼割合を求める。
【００１７】
また、上記処理装置２０は、閉眼割合検出部２４により検出された閉眼割合から覚醒度レベルを判定する覚醒度レベル判定部（覚醒度レベル判定手段）２５を具備している。覚醒度レベル判定部２５は、例えば予め記憶された覚醒度レベル判定用テーブルを有し、閉眼割合検出部２４からの検出結果と判定用テーブルとを比較して、覚醒度レベルを判定する。
【００１８】
以上の構成によって、撮影された画像に基づき覚醒度レベルが判定される。しかしながら、上記構成のみでは、判定した結果である覚醒度レベルは、不正確なものとなっている可能性がある。そこで、本実施形態に係る覚醒度レベル判定装置１は、さらに、バラツキ度合検出部（バラツキ度合検出手段）２６と、覚醒度レベル補正部（覚醒度レベル補正手段）２７とを有し、判定した覚醒度レベルの正確化を図っている。
【００１９】
バラツキ度合検出部２６は、追跡部２２により検出される眼の位置に基づいて、眼の座標位置のバラツキ度合いを検出するものである。例えば、バラツキ度合検出部２６は、追跡部２２が順次記憶する眼の座標値を入力し、この入力した座標値の集合からバラツキ度合いを検出する。
【００２０】
覚醒度レベル補正部２７は、眼の座標位置のバラツキ度合いが所定の閾値を超える場合に、覚醒度レベル判定部２５により判定された覚醒度レベルを覚醒側に補正するものである。通常、運転者は、覚醒状態にある場合、種々の動作、例えば巻き込み確認等を行う。このため、眼の座標位置がばらついている場合、すなわち、バラツキ度合いが所定の閾値を超える場合、運転者は種々の動作を行っているといえ、また、覚醒状態であるともいえる。そこで、バラツキ度合いが所定の閾値を超える場合には、覚醒度レベル判定部２５により判定された覚醒度レベルを覚醒側に補正することとしている。
【００２１】
次に、上記覚醒度レベル判定装置１の動作の概略を説明する。まず、画像撮影部１０は、運転者の顔を含む領域を撮影し、得られた画像のデータを処理装置２０に送出する。
【００２２】
処理装置２０の位置検出部２１は、画像データの入力し、運転者の眼の位置を検出する。眼の位置の検出は、例えば以下のように行う。図３は、位置検出部２１が眼の位置の検出に際して行う初期処理の説明図である。なお、図３においては、縦４８０画素、横５１２画素の画像を例に説明する。
【００２３】
まず、位置検出部２１は、画像縦方向にすべての画素について、濃度値のデータを取得する。その後、位置検出部２１は、濃度値の変化が所定の条件を満たす画素を抽出して、図４に示すような画素群を得る。図４は、位置検出部２１が所定の画素を抽出したとき様子を示す説明図である。同図に示すように、抽出された画素は、運転者の眉、眼、鼻及び口の位置に対応するものとなっている。そして、画素の抽出後、位置検出部２１は、画像横方向に近接する画素をグループ化する。
【００２４】
図５は、画像横方向に近接する画素をグループ化したときの様子を示す説明図である。同図に示すように、グループ化することにより、位置検出部２１は、運転者の右眉、左眉、右眼、左眼、鼻及び口それぞれに対応した連続データＧ１〜Ｇ６を形成する。
【００２５】
その後、位置検出部２１は、ゾーン化の処理を行う。図６は、位置検出部２１によるゾーン化後の様子を示す説明図である。位置検出部２１は、連続データＧ１〜Ｇ６の存在位置について画像縦方向にゾーン化する。この際、位置検出部２１は、３つのゾーン（ＺＯＮＥ：Ｌ、ＺＯＮＥ：Ｃ、ＺＯＮＥ：Ｒ）を形成する。そして、位置検出部２１は、相対位置関係を判断して眼の位置を検出する。
【００２６】
眼の位置の検出後、追跡部２２は、検出された眼の位置の座標値を記憶し、この記憶した位置を基準にして、全体画像よりも小さい追跡領域を設定する。その後、追跡部２２は、画像が入力される毎に、追跡領域内において眼の位置を検出する。
【００２７】
図７は、追跡部２２による眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。なお、図７において、破線で示す眼は前回検出されたものとし、実線で示す眼は今回検出されたものとする。
【００２８】
位置検出部２１により眼の位置が検出された場合、追跡部２２は、検出された眼の位置を中心として追跡領域を設定する（図７（ａ））。このときの眼の座標位置を（ｘｋ１，ｙｋ１）とする。その後、画像が入力された場合、追跡部２２は、（ｘｋ１，ｙｋ１）を中心とする追跡領域内から眼の位置を検出する（図７（ｂ））。このとき検出された眼の座標位置を（ｘｋ２，ｙｋ２）とする。
【００２９】
そして、追跡部２２は、新たに検出された眼の座標位置（ｘｋ２，ｙｋ２）を中心とする追跡領域を設定する（図７（ｃ））。その後、再度画像が入力された場合、追跡部２２は、（ｘｋ２，ｙｋ２）を中心とする追跡領域内から眼の位置を検出する。このときに検出された眼の座標位置を（ｘｋ３，ｙｋ３）とする。
【００３０】
そして、追跡部２２は、再度、新たな眼の座標位置（ｘｋ３，ｙｋ３）を中心とする追跡領域を設定する（図７（ｄ））。その後、同様に、追跡部２２は、追跡領域内から眼の位置を検出していく。
【００３１】
そして、追跡部２２は、図７に示すように追跡する眼の位置のデータを開閉眼判定部２３に送出する。開閉眼判定部２３は、例えば、運転者の眼の縦幅に応じた眼の開度を求め、眼の開度と開度閾値とを比較して開閉眼状態を判定する。
【００３２】
図８は、眼の縦幅の開度を示す説明図であり、（ａ）は開眼時を示しており、（ｂ）は閉眼時を示している。同図に示すように、開度は眼の縦幅により決定されるものである。この場合、眼の縦幅の大きさは個人差があるため、開閉眼判定部２３は、開度を絶対値としてとらえるのでなく、撮影により基準となる開度を求め、基準開度に対する相対値としてとらえることが望ましい。
【００３３】
すなわち、開閉眼判定部２３は、図８（ａ）に示す開眼時の眼の縦幅を基準値として取得する。その後、図８（ｂ）に示す開眼時の眼の縦幅を検出した場合、開閉眼判定部２３は、この状態における眼の開度を基準値に対する値として取得する。そして、基準値に対する値と開度閾値とを比較して開閉眼状態を判定する。
【００３４】
判定後、開閉眼判定部２３は、開閉眼状態のデータを閉眼割合検出部２４に送出する。これを受けた閉眼割合検出部２４は、開閉眼判定部２３により判定された眼の状態が閉眼を示すものである場合、閉眼状態の出現時間の積算を開始する。そして、画像が入力され、閉眼割合検出部２４により閉眼状態が検出される毎に、積算を行い、所定時間経過後に、閉眼割合を求める。求めた後、閉眼割合検出部２４は、閉眼割合のデータを覚醒度レベル判定部２５に送出する。
【００３５】
そして、覚醒度レベル判定部２５は、閉眼割合検出部２４からの検出結果と判定用テーブルとを比較して、覚醒度レベルを判定する。
【００３６】
一方、この間にバラツキ度合検出部２６は、追跡部２２が順次記憶する座標値を入力し、この入力した座標値の集合からバラツキ度合いを検出する。検出後、バラツキ度合いのデータを覚醒度レベル補正部２７に送出する。
【００３７】
これを受けた覚醒度レベル補正部２７は、眼の座標位置のバラツキ度合いが所定の閾値を超えるか否かを判断する。そして、超えると判断した場合、覚醒度レベル判定部２５により判定された覚醒度レベルを覚醒側に補正する。ここで、バラツキが大きい場合に覚醒度レベルを覚醒側に補正する理由は上述の通りである。
【００３８】
補正後、処理装置２０は、覚醒度レベルの情報を覚醒度レベル表示部３０に送出し、覚醒度レベル表示部３０は、運転者に当該情報を提示すべく、覚醒度レベルを表示する。
【００３９】
次に、本実施形態に係る覚醒度レベル判定装置１の動作を詳細に説明する。まず、覚醒度レベル判定装置１の画像撮影部１０は、運転者の顔を含む領域を撮像し、得られた画像のデータを処理装置２０に送出する。
【００４０】
そして、処理装置２０は、図９及び図１０に従う処理を実行する。図９及び図１０は、図１に示した処理装置２０の詳細動作を示すフローチャートである。なお、図９は処理の前半部分を示し、図１０は処理の後半部分を示している。
【００４１】
同図に示すように、まず、位置検出部２１は、画像のデータを入力する（ＳＴ１）。その後、位置検出部２１は、眼の追跡領域が設定されているか否かを判断する（ＳＴ２）。眼の追跡領域が設定されている場合（ＳＴ２：ＹＥＳ）、処理はステップＳＴ５に移行する。
【００４２】
一方、本装置１の起動直後など、眼の追跡領域が設定されていない場合（ＳＴ２：ＮＯ）、位置検出部２１は、画像全体から眼の位置を検出する（ＳＴ３）。ここでは、図３〜図６を参照して説明したように、眼の位置を検出する。そして、位置検出部２１は、眼の位置のデータを追跡部２２に送出する。
【００４３】
その後、追跡部２２は、位置検出部２１からの眼の位置のデータに基づいて、追跡領域を設定する（ＳＴ４）。このとき、追跡部２２は、眼の移動量や、画像の取り込み間隔を考慮して、追跡領域の大きさをできる限り小さく設定する。これにより、より速く眼の追従性に優れた処理を行うことができる。
【００４４】
その後、追跡部２２は、新たに入力される画像のデータに基づいて、追跡領域内から眼を検出する（ＳＴ５）。その後、追跡部２２は、眼の追跡が正しく行われているか否かを判断する（ＳＴ６）。
【００４５】
眼の追跡が正しく行われていないと判断した場合（ＳＴ６：ＮＯ）、追跡部２２は、眼の追跡領域をクリアする（ＳＴ７）。さらに、後述するタイマーが作動している場合、処理装置２０は、タイマーを停止させる（ＳＴ８）。その後、処理はステップＳＴ１に戻る。そして、再度追跡領域の設定処理が行われることとなる。
【００４６】
一方、眼の追跡が正しく行われていると判断した場合（ＳＴ６：ＹＥＳ）、開閉眼判定部２３は、図８を参照して説明したように開閉眼状態を判定する（ＳＴ９）。
【００４７】
その後、閉眼割合検出部２４は、開閉眼判定部２３により検出された眼の状態が閉眼を示すものである場合、閉眼状態の出現時間の積算を開始する（ＳＴ１０）。なお、開閉眼判定部２３により検出された眼の状態が開眼を示すものである場合、積算は開始されないこととなる。
【００４８】
また、上記ステップＳＴ９，ＳＴ１０が行われている間に、追跡部２２は、検出した眼の座標位置をメモリする（ＳＴ１１）。そして、処理装置２０は、タイマーが作動中か否かを判断し（ＳＴ１２）、作動中でないと判断した場合には（ＳＴ１２：ＮＯ）、タイマーをスタートさせる（ＳＴ１３）。その後、処理はステップＳＴ１４に移行する。一方、タイマーが作動中であると判断した場合には（ＳＴ１２：ＹＥＳ）、タイマーをスタートさせことなく、処理はステップＳＴ１４に移行する。
【００４９】
ステップＳＴ１４において、追跡部２２は、眼の追跡領域を更新する（ＳＴ１４）。このとき、追跡部２２は、例えば検出された眼の位置を中心とする追跡領域を設定して更新する（ＳＴ１４）。そして、処理は図１０のステップＳＴ１５に移行する。
【００５０】
ステップＳＴ１５において、処理装置２０は、タイマーにより計時される時間が所定時間に達したか否かを判断する（ＳＴ１５）。所定時間に達していないと判断した場合（ＳＴ１５：ＮＯ）、処理は図９のステップＳＴ１に戻る。
【００５１】
一方、所定時間に達したと判断した場合（ＳＴ１５：ＹＥＳ）、処理装置２０は、タイマーを停止させると共に、計時されている時間をクリアする（ＳＴ１６）。そして、閉眼割合検出部２４は、閉眼割合を求める（ＳＴ１７）。このとき、閉眼割合検出部２４は、図９に示すステップＳＴ１０において積算が開始された積算時間に基づいて閉眼割合を求める。その後、覚醒度レベル判定部２５は、閉眼割合に基づいて、覚醒度レベルを判定する（ＳＴ１８）。
【００５２】
その後、バラツキ度合検出部２６は、所定時間中における眼の座標位置のバラツキ度合いを算出する（ＳＴ１９）。このとき、バラツキ度合検出部２６は、追跡部２２が所定時間中に記憶した眼の位置の座標値データを入力し、この入力した座標値に基づいてバラツキ度合いを求める。
【００５３】
そして、覚醒度レベル補正部２７は、求められたバラツキ度合いと開度閾値とを比較する。比較の結果、バラツキ度合いが所定の閾値を超える場合、覚醒度レベル補正部２７は、覚醒度レベル判定部２５がステップＳＴ１８において判定した覚醒度レベルを覚醒側に補正する（ＳＴ２０）。一方、比較の結果、バラツキ度合いが所定の閾値を超えない場合、覚醒度レベル補正部２７は、覚醒度レベルの補正を行わないこととなる。
【００５４】
そして、覚醒度レベルが補正されると、覚醒度レベル判定部２５は、補正された覚醒度レベルを覚醒度レベル表示部３０に与える。一方、覚醒度レベルが補正されなった場合には、覚醒度レベル判定部２５は、ステップＳＴ１８において判定された覚醒度レベルを覚醒度レベル表示部３０に与える。これにより、覚醒度レベル表示部３０は、運転者に対し現在の覚醒度レベルに関する情報を提示する（ＳＴ２１）。
【００５５】
その後、開閉眼判定部２３は、今まで積算してきた所定時間中の積算時間をクリアする（ＳＴ２２）。さらに、追跡部２２は、今まで記憶してきた所定時間中の眼の座標位置データをクリアする（ＳＴ２３）。そして、処理はステップＳＴ１に戻る。
【００５６】
以上の処理が、例えば本装置１の電源がオフされるまで繰り返されることとｔなる。
【００５７】
次に、眼の座標位置のバラツキ度合い、及び覚醒度レベル補正部２７による補正について更に詳細に説明するが、これに先立って、覚醒度レベルを評価するための覚醒度指標について説明する。
【００５８】
図１１は、覚醒度指標の説明図である。覚醒度指標とは、本装置１によることなく実際に運転者の表情や脳波等に基づいて求めた運転者の覚醒度を示すものであり、本装置１の検出結果として得られる覚醒度レベルとは異なるものである。
【００５９】
また、覚醒度指標は、覚醒している方が高い数値となるように「３〜９」の値によって示されている。この「３〜９」の数値は、図１１に示すように、瞬きの回数や時間、脳波、顔の表情の３つの評価項目により決定される。これら各項目は、それぞれ３〜５段階に分けられており、段階毎に評点が割り振られている。
【００６０】
具体的に説明すると、脳波の項目は５段階に分けられており、それぞれ「１」「１．５」「２」「２．５」「３」の評点が割り振られている。脳波について評点「３」の状態とは、α２波が出現しない状態をいう。また、評点「２．５」の状態とは小振幅α２波が出現する状態（閉眼安静時の約半分程度出現する状態）をいい、評点「２」の状態とは小振幅α２波が多く出現する状態をいう。また、評点「１．５」の状態とは大振幅α２波が出現する状態（閉眼安静時と同等程度出現する状態）をいい、評点「１」の状態とは大振幅α２波が連続して出現する状態をいう。
【００６１】
同様に、瞬きの項目も５段階に分けられており、それぞれ「１」「１．５」「２」「２．５」「３」の評点が割り振られている。具体的に、瞬きについて評点「３」の状態とは速く鋭い瞬きが続く状態をいう。また、評点「２．５」の状態とは評点「３」のときよりも瞬きの回数が増える状態をいい、評点「２」の状態とは遅い瞬きが現れる状態をいう。また、評点「１．５」の状態とは短い閉眼（瞬きよりも長い）が現れる状態をいい、評点「１」の状態とは長い閉眼が現れる状態をいう。
【００６２】
さらに、顔の表情の項目は３段階に分けられており、それぞれ「１」「２」「３」の評点が割り振られている。具体的に、顔の表情について評点「３」の状態とは顔筋が引き締まりすっきりとした表情を保つ状態をいう。また、評点「２」の状態とは上瞼が下がりややぼんやりとした表情となった状態をいい、評点「１」の状態とは薄目且つ朦朧とした状態をいう。
【００６３】
これらの項目を評価し、例えば、脳波について小振幅のα２波が多く出現し、瞬きについて遅い瞬きが現れ、顔の表情について上瞼が下がりぼんやりとした表情となっている場合、それぞれ評点は順に「２」「２」「２」となる。よって、この場合の覚醒度指標は、「６」ということとなる。
【００６４】
ここで、本装置１において正確に覚醒度レベルが判定されている場合とは、覚醒度レベルと、覚醒度指標とが一致している場合である。これは、覚醒度指標が画像処理に頼ることなく検出されるものであって極めて正確なものだからである。よって、覚醒度指標と覚醒度レベルとが一致している場合は、正確な判定が行われているといえる。また、覚醒度レベルは、所定時間中の閉眼の割合が高いほど、低い値を示すものである。従って、覚醒度指標の値と閉眼積算時間との関係がマッチングしている状態は、正確に覚醒度レベルが判定されているといえる。
【００６５】
図１２及び図１３は、実際に運転者を計測して得た覚醒度指標、本装置１にて検出される閉眼積算時間、及び眼の座標位置のバラツキとを示す説明図である。なお、図１２は覚醒度レベルが良好に判定されている場合の例を示しており、図１３は覚醒度レベルがやや誤差を含んで判定されている場合の例を示している。また、図１２及び図１３の説明において、覚醒度指標「３」の状態を居眠り状態とし、覚醒度指標「６」の状態を軽い居眠り状態とし、覚醒度指標「９」の状態を覚醒状態とする。
【００６６】
まず、図１２について説明する。なお、ここでは、説明の便宜上、経過時間前半部分について説明する。図１２では、覚醒度指標１０１の数値と、閉眼積算時間１０２とが対応していることがわかる。すなわち、閉眼積算時間１０２が閾値Ｔｈ１を超えている箇所と、覚醒度指標が低い値（「６」）を示す箇所とが概ね一致している。
【００６７】
前述したように、覚醒度指標の値と閉眼積算時間との関係がマッチングしている状態は、本装置１による覚醒度レベルの判定が正確に行われている状態といえる。図１２の例では、上記要件に該当しており、正確に覚醒度レベルが判定されることとなる。
【００６８】
図１３では、図１２に示した閾値Ｔｈ１と同じグラフ位置に閾値Ｔｈ２を描いている。図１３に示す例では、閉眼積算時間２０２が閾値Ｔｈ２を超えており、軽い居眠り状態を示すはずにもかかわらず、実際に計測された覚醒度指標２０１は覚醒状態を示している。すなわち、図１３の例では、多少のズレがあることがわかる。本実施形態では、図１３に示すような場合に補正を行って精度良く覚醒度レベルの判定を行うようにしている。
【００６９】
再度、図１２を参照する。図１２では、Ｘ軸方向のバラツキを示す標準偏差１０３及びＹ軸方向のバラツキを示す標準偏差１０４は、小さい値を示している。上述したように、運転者の眼の座標位置がばらついていない場合、運転者は居眠り状態である可能性が高い。すなわち、居眠りにより運転者の動作が無く眼の座標位置がばらついていないといえる。
【００７０】
一方、図１３では、Ｘ軸方向のバラツキを示す標準偏差２０３及びＹ軸方向のバラツキを示す標準偏差２０４は、図１２の場合よりも大きい値を示している。上述したように、運転者の眼の座標位置がばらついている場合、運転者が覚醒状態である可能性が高い。すなわち、運転者の動作により眼の座標位置がばらついているといえる。
【００７１】
本実施形態では、この座標位置のバラツキに着目し、バラツキが或る所定の閾値を超えると、覚醒度レベルを覚醒側に補正するようにしている。その補正の様子を図１４及び図１５に示す。
【００７２】
図１４及び図１５は、図１３に示した閉眼積算時間に基づいて得られる覚醒度レベルの補正前及び補正後の様子を示す説明図である。なお、図１５は図１４に示したデータをグラフ化した場合の例を示している。また、図１４及び図１５の説明では、積算時間を画像フレーム数にて表している。このため、実際の積算時間は１フレームの処理速度を乗じた値となる。
【００７３】
まず、図１４に示すように、覚醒度レベル判定区間「１〜４０」のそれぞれにおいて、それぞれの閉眼積算時間が得られる。このとき、閉眼積算時間が３０フレーム以上のものを軽い居眠り状態を示す覚醒度レベル「２」とし、閉眼積算時間が６０フレーム以上のものを居眠り状態を示す覚醒度レベル「１」とすると、図１４に示すように覚醒度レベルが判定される。
【００７４】
従前の覚醒度レベル判定装置では、この覚醒度レベルをもって居眠り等の検出を行っていたが、本実施形態では眼の座標位置のバラツキ度合いにより補正を行っている。ここで、画像横方向及び縦方向についての所定の閾値を「２０．０」とすると、複数の覚醒度レベル判定区間において、上記閾値を超えるバラツキ度合いが検出されている。
【００７５】
この閾値を超えるバラツキ度合いが検出された場合であって、閉眼積算時間により求められた覚醒度レベルが「１」又は「２」のものについて、覚醒側への補正が行われる。すなわち、覚醒度レベル判定区間「３，８，１２，１４，１６，２４〜２６，２８，２９」のそれぞれにおいて、覚醒度レベルが「２」から「３」にされている。
【００７６】
グラフに示すと図１５のようになる。なお、同図においては、覚醒度指標「３」と覚醒度レベル「１」とが対応している。また、覚醒度指標「９」と覚醒度レベル「３」、及び覚醒度指標「６」と覚醒度レベル「２」とが対応している。
【００７７】
同図に示すように、補正前よりも補正後の方が覚醒度指標との一致率が高いことがわかる。特に、経過時間前半部分において一致率は顕著に向上していることがわかる。以上、眼の座標位置のバラツキ度合いに基づく補正により、覚醒度レベルの判定精度が向上していることが明らかとなっている。
【００７８】
また、上記例においてバラツキ度合検出部２６は、眼の座標位置の標準偏差を求める構成とされているが、標準偏差に限らず、基準位置に対する眼の相対位置関係を求めるようにしてもよい。
【００７９】
以下、上記相対位置関係をバラツキ度合いとする場合の例を説明する。図１６は、眼の基準位置及び図１２に示した場合における眼の座標位置の分布を示す説明図である。また、図１７は、眼の基準位置及び図１３に示した場合における眼の座標位置の分布を示す説明図である。
【００８０】
まず、バラツキ度合検出部２６は、基準位置を求める。この基準位置は、例えば、パターンマッチングなどによりドライバが前方を注視している確立の高い眼の位置を求めることにより決定される。基準位置を図１６及び図１７それぞれに示す。
【００８１】
基準位置を求めた後、バラツキ度合検出部２６は、平均座標値を求める。平均座標値は、図１６及び図１７それぞれに示される眼の座標位置を平均化することにより求められる。
【００８２】
そして、バラツキ度合検出部２６は、この平均座標値と基準位置との相対位置関係、例えば距離等をバラツキ度合いとする。
【００８３】
ここで、図１６及び図１７に示される眼の座標位置の分布を比較すると、図１６の方が基準位置に集中していることがわかる。このため、図１７に示す例の方が、図１６に示す例よりもバラツキ度合いが大きいと言える。そして、ここで得られるバラツキ度合いが所定の閾値を超える場合、図１２〜図１５に示したものと同様に補正される。このように、バラツキ度合いが眼の相対位置関係であっても、標準偏差を用いたときと同様に覚醒度レベルの判定精度の向上を図ることができる。
【００８４】
なお、図１２の経過時間後半部分では、眼のＸ軸方向の座標位置に大きなばらつきが見られるため、図１６においてもその部分が反映されて示されている。しかし、このように大きなバラツキは例えばサイドミラーを視認しようとした場合などであり、この後半部分を除くと図１６に示すように眼の座標位置は基準位置に集中していることがわかる。
【００８５】
このようにして、本実施形態に係る覚醒度レベル判定装置１によれば、眼の座標位置のバラツキ度合いが所定の閾値を超える場合に、覚醒度レベルを覚醒側に補正している。
【００８６】
通常、運転者は、覚醒状態にある場合、種々の動作、例えば巻き込み確認等を行う。このため、眼の座標位置がばらついている場合、すなわち、バラツキ度合いが所定の閾値を超える場合、運転者は種々の動作を行っているといえ、また、覚醒状態であるともいえる。そこで、バラツキ度合いが所定の閾値を超える場合には、覚醒度レベル判定手段により判定された覚醒度レベルを覚醒側に補正することとしている。これにより、覚醒度レベルが低く居眠り状態と判定されたとしても、覚醒度レベルを覚醒側に補正して正確なものとすることができる。
【００８７】
従って、判定精度の向上を図ることができる。
【００８８】
また、補正された覚醒度レベルを覚醒度レベル表示部３０により表示している。このため、運転者に対し覚醒度レベルを明示でき、運転者自らの判断で休息等を取らせることができる。
【００８９】
ここで、本件出願人の研究によると、運転者は、覚醒度レベルが著しく低下してしまうと、何らかの対策、例えば音楽を聴くといったようなことを行ったとしても、眠気に押し切られてしまうという結果が得られている。ところが、従前の判定装置では、かなり長期間閉眼が出現したときのみ警報等するという構成にされているものもある。この場合、覚醒度レベルが著しく低下したときにインフォメーションが行われることとなり、本来のインフォメーション機能が損なわれてしまう。
【００９０】
しかし、本実施形態では、判定精度の向上が図れるため、厳しい条件にてインフォメーション等する必要がなく、効果的な眠気解消に寄与することができる。
【００９１】
さらには、本実施形態では、図１５に示すように、覚醒状態と軽い居眠り状態との判定精度が顕著に向上している。すなわち、覚醒度レベルが著しく低下する前の状態を精度良く判定することができ、覚醒度レベルが著しく低下する前に効果的にインフォメーションすることができる。従って、一層の眠気解消効果をもたらすことができる。
【００９２】
次に、本発明の第２実施形態を説明する。第２実施形態に係る覚醒度レベル判定装置２は、第１実施形態のものと同様であるが、開閉眼判定部２３の構成が、第１実施形態のものと異なっている。また、第２実施形態に係る覚醒度レベル判定装置２は、第１実施形態のバラツキ度合検出部２６を有していない。
【００９３】
以下、第１実施形態との相違点について説明する。図１８は、第２実施形態に係る覚醒度レベル判定装置２の機能ブロック図である。同図に示すように、第２実施形態の開閉眼判定部２３は、内部に縦幅開閉眼判定部２３ａ、形状開閉眼判定部２３ｂ、及び間隔開閉眼判定部２３ｃを備えている。
【００９４】
縦幅開閉眼判定部２３ａは、追跡領域内に存する眼の縦幅に基づいて開閉眼状態を判定するものである。形状開閉眼判定部２３ｂは、追跡領域内に存する眼の上瞼の形状に基づいて開閉眼状態を判定するものである。間隔開閉眼判定部２３ｃは、追跡領域内に存する眼の上瞼のピーク点と眼の上方に存在する眉との間隔とに基づいて開閉眼状態を判定するものである。次に、図１９を参照してこれらについてより詳細に説明する。
【００９５】
図１９は、縦幅開閉眼判定部２３ａ、形状開閉眼判定部２３ｂ及び間隔開閉眼判定部２３ｃによる判定手法を示す説明図である。縦幅開閉眼判定部２３ａは、眼の縦幅に基づいて基準となる開度を求めた後に、基準開度に対する相対値をとらえ、この相対値と閾値とを比較して開閉眼状態を判定する。具体的には、第１実施形態の説明（図８の説明）と同様にして、開閉眼状態を判定する。
【００９６】
また、形状開閉眼判定部２３ｂは、追跡領域内でエッジ検出処理を行うことで上瞼ラインを示すデータを生成する。そして、３点法及び曲率半径法の双方の手法により開閉眼状態を判定する。
【００９７】
ここで、３点法とは、図１９に示すように、上瞼ラインを示すデータの左端点を目頭ポイント５０、右端点を目尻ポイント５１とし、両端点を結ぶ直線に対する上瞼のピーク点５２の垂線長さを求める手法である。これにより、形状開閉眼判定部２３ｂは、垂線長さを得る。そして、形状開閉眼判定部２３ｂは、求めた垂線長さと予め設定しておいた開度閾値とを比較し、閉閉眼状態を判定する。
【００９８】
また、曲率半径法とは、図１９に示すように、上瞼の各エッジ抽出点５３を対象として二次曲線の近似式を演算し、上瞼の曲率半径を求める手法である。そして、形状開閉眼判定部２３ｂは、求めた曲率半径と予め設定しておいた開度閾値とを比較し、閉閉眼状態であるとの判定する。
【００９９】
なお、形状開閉眼判定部２３ｂは、開度閾値を予め設定しておく構成に限らず、個人差を考慮すべく、撮影した画像から開度閾値を算出するようにしてもよい。
【０１００】
間隔開閉眼判定部２３ｃは、画像中の追跡領域部分を二値化して眼の形状を切り出し、その形状から上瞼のピーク点を求める。そして、間隔開閉眼判定部２３ｃは、眉に相当するデータについて、求めた上瞼のピーク点とＸ軸方向の座標値が同じ点を代表座標点として求める。その後、間隔開閉眼判定部２３ｃは、上瞼のピーク点のＹ軸座標から眉の代表座標点のＹ軸座標を減算して、上瞼のピーク点と眉と上下間隔を算出する。
【０１０１】
そして、間隔開閉眼判定部２３ｃは、求めた上瞼と眉との間隔と、予め設定しておいた開度閾値とを比較し、閉閉眼状態を判定する。なお、間隔開閉眼判定部２３ｃについても、形状開閉眼判定部２３ｂと同様に、開度閾値を予め設定しておく構成に限らず、撮影した画像から開度閾値を算出するようにしてもよい。
【０１０２】
このように、これらは互いに干渉しない開閉眼判定を行うようになっている。すなわち、いずれか１つの開閉眼判定について誤検出があったとしても、他の開閉眼判定がその誤検出により影響を受けて、共に誤検出してしまうことが無いようなっている。
【０１０３】
また、上記開閉眼判定部２３は、統括開閉眼判定部２３ｄを有している。統括開閉眼判定部２３ｄは、これら開閉眼判定部２３ａ〜２３ｃの３つの検出結果のうち少なくとも１つに基づいて、最終的に開閉眼状態を判定するものである。ここで、統括開閉眼判定部２３ｄが３つの検出結果のうちいずれを判定に用いるかは、３つの検出結果それぞれが利用可能なものであるかによって決定される。
【０１０４】
具体的に統括開閉眼判定部２３ｄは、３つの開閉眼判定部２３ａ〜２３ｃそれぞれが自己診断した結果に基づいていずれを用いるか決定する。次に、３つの開閉眼判定部２３ａ〜２３ｃそれぞれが行う自己診断を説明する。
【０１０５】
まず、縦幅開閉眼判定部２３ａは、時系列的に得られる複数個の眼の縦幅データに基づいて、自己診断を行う。具体的に自己診断方法としては、複数個の眼の縦幅データの平均値及び標準偏差と所定の条件とを比較することによって行われる。
【０１０６】
より詳細には、対象が眼である限り、開閉眼により縦幅が変化する範囲、及び眼の開閉時の動作パターンは限定されている。このため、縦幅開閉眼判定部２３ａは、複数個の眼の縦幅データから、縦幅の変化量及び動作パターンを求め、これが開閉眼変化に合致するか否かを判断し、検出結果が利用可能なものであるか否かを決定する。
【０１０７】
また、形状開閉眼判定部２３ｂは、３点法では画像認識される眼の横幅データに基づいて自己診断し、曲率半径法では上瞼の各エッジ抽出点５１を対象として二次曲線の近似式に基づいて自己診断する。
【０１０８】
まず、３点法について説明する。形状開閉眼判定部２３ｂは、目頭と目尻との両点間距離を検出する。これらは、垂線の長さを算出する際に求められる上瞼ラインを示すデータの左端点を目頭ポイント５０、及び右端点を目尻ポイント５１との差によって検出することができる。次に、求めた値と、画像特徴量として眼を正しく検出しているときの目頭と目尻との両点間距離とを比較し、検出結果が利用可能なものであるか否かを決定する。
【０１０９】
具体的に形状開閉眼判定部２３ｂは、時系列的に得られる眼の目頭ポイント５０、及び目尻ポイント５１について平均値及び標準偏差を求め、これらを眼が正しく検出されているときの値と比較して検出結果が利用可能なものであるか否かを決定する。
【０１１０】
これにより、眼の一部に太陽の直射光等が当たり、目頭と目尻の両点間距離が小さく検出されるような場合であっても、上瞼の形状変化による開閉眼判定結果の使用を制限することができる。
【０１１１】
また、曲率半径法では、形状開閉眼判定部２３ｂは、上瞼の個人差によるもので運転者が二重瞼である場合、エッジ抽出点５３からなるエッジラインが正確に上瞼のラインに沿い難くなる場合がある。そこで、形状開閉眼判定部２３ｂは、曲率半径を求めるための近似曲線と、画像上において複数の抽出点５３を繋いだ画像上実ラインとの相関を求める。そして、得られた相関値により、検出結果が利用可能なものであるか否かを決定する。
【０１１２】
具体的に形状開閉眼判定部２３ｂは、時系列的に得られる眼のデータから求められた相関値の平均値及び標準偏差を求め、これらと所定の閾値を比較して検出結果が利用可能なものであるか否かを決定する。例えば平均値が小さい場合や標準偏差が大きい場合に、検出結果が利用できないものと決定する。
【０１１３】
また、間隔開閉眼判定部２３ｃは、眉データの出現率、眉データの出現位置の安定度、時系列的に得られる複数個の上瞼と眉との間の間隔データに基づいて、自己診断を行う。
【０１１４】
例えば、元々眉が薄い人や、前髪が長く眉が隠れている人などについては、眉のデータの検出が困難である。そして、このような困難な状況にあるにかかわらず、開閉眼判定してしまうと検出結果がばらついてしまう可能性がある。そこで、これらの出現率を求め、出現率の条件を満たさないものについては、検出結果が利用できないものであると決定する。
【０１１５】
また、運転者が顔を頻繁に動かしている場合には、眉のデータの検出が困難であり、このような場合のデータに基づいて開閉眼判定してしまうと検出結果が不正確となる可能性がある。そこで、間隔開閉眼判定部２３ｃは、出現位置の安定度、すなわち所定個数の眉の位置が安定しているかを判断する。具体的に間隔開閉眼判定部２３ｃは、眉の出現位置の平均値及び標準偏差を求め、これを所定の基準値と比較して、検出結果が利用可能なものであるか否かを決定する。
【０１１６】
さらに、現在眼と判断して処理している顔部位が眼でない可能性もある。そこで、眼の開閉に伴う上瞼と眉と縦幅の変化量は或る程度限定されていることから、時系列的に得られる複数個の上瞼と眉との間の間隔データに基づいて、この変化量を求め、所定の条件を満たしているか否かを判断している。詳細には、時系列的に得られる複数個の上瞼と眉との間の間隔データを順次メモリし、上瞼と眉との間隔の平均値及び標準偏差が所定条件を満たしているか否かを判断し、検出結果が利用可能なものであるか否かを決定する。
【０１１７】
以上のようにして利用可能か否か決定した後、統括開閉眼判定部２３ｄは、利用可能なものに基づいて、現在の眼の開閉眼状態を判定する。
【０１１８】
また、上記のように構成されているため、覚醒度レベル補正部２７は、統括開閉眼判定部２３ｄが開閉眼状態を判定する際に用いた検出結果の数が少なくなるに従って、覚醒度レベルを覚醒側に補正する構成とされている。また、覚醒度レベル補正部２７は、覚醒度レベルを覚醒側に補正する際、例えば閉眼積算時間を減じるように補正する。例えば、閉眼積算時間にＸ％（Ｘは１００以下）を乗じるなどする。
【０１１９】
ここで、このＸ％は、統括開閉眼判定部２３ｄが開閉眼状態を判定する際に用いた検出結果の数に応じて決定する。例えば縦幅開閉眼判定部２３ａのみなど１つの検出結果に基づいて開閉眼状態を判定した場合、数値Ｘは「８０」とされる。また、２つの検出結果に基づいて開閉眼状態を判定した場合、数値Ｘは「９０」とされ、３つの検出結果に基づいて開閉眼状態を判定した場合、数値Ｘは「１００」とされる。さらに、いずれの検出結果に基づかなかった場合、数値Ｘを設定せず、覚醒度レベル補正部２７は強制的に覚醒度レベルを１段階覚醒側に補正する。
【０１２０】
このように、覚醒度レベル補正部２７は、統括開閉眼判定部２３ｄが開閉眼状態を判定する際に用いた検出結果の数に応じて、覚醒度レベルを補正する構成とされている。
【０１２１】
次に、上記構成を有する処理装置２０の動作について説明する。図２０〜図２３は、図１８に示した処理装置２０の詳細動作を示すフローチャートである。
【０１２２】
まず、図１８に示すステップＳＴ３１〜ＳＴ３８に示す処理は、図９に示したステップＳＴ１〜ＳＴ８と同様であるため、説明を省略する。ステップＳＴ３９において、追跡部２２は、検出した眼の座標位置をメモリする（ＳＴ３９）。その後、縦幅開閉眼判定部２３ａは、眼として検出したデータの縦幅値を算出する（ＳＴ４０）。
【０１２３】
そして、縦幅開閉眼判定部２３ａは、求めた縦幅値をメモリして時系列的に複数個のデータを保持する（ＳＴ４１）。その後、縦幅開閉眼判定部２３ａは、眼の縦幅による開閉眼判定を行う（図２１：ＳＴ４２）。ここでは、例えば図１９を参照して説明したように、眼の縦幅を閾値と比較して、開眼又は閉眼状態を決定する。
【０１２４】
開閉眼判定の後、縦幅開閉眼判定部２３ａは、眼の縦幅値が所定の条件を満たしているか否かを判断する（ＳＴ４３）。具体的に縦幅開閉眼判定部２３ａは、所定時間範囲内における複数の縦幅値データから、縦幅の変化量等を求めて、これが眼の変化量等に合致するか否かを判断する。
【０１２５】
眼の縦幅値が所定の条件を満たしていないと判断した場合（ＳＴ４３：ＮＯ）、眼の縦幅値による開閉眼判定結果を後の処理にて未使用にすると決定する（ＳＴ４４）。すなわち、縦幅開閉眼判定部２３ａによる開閉眼判定の結果を利用可能でないものと決定する。そして、処理は、ステップＳＴ４６に移行する。
【０１２６】
一方、眼の縦幅値が所定の条件を満たしていると判断した場合（ＳＴ４３：ＹＥＳ）、眼の縦幅値による開閉眼判定結果を後の処理にて使用すると決定する（ＳＴ４５）。すなわち、縦幅開閉眼判定部２３ａによる開閉眼判定の結果を利用可能なものと決定する。
【０１２７】
その後、間隔開閉眼判定部２３ｃは、上瞼のピーク点と眉との間隔による開閉眼判定を行う（ＳＴ４６）。ここでは、上記したように、求めた間隔と、予め設定しておいた開度閾値とを比較し、閉閉眼状態を判定する。
【０１２８】
そして、間隔開閉眼判定部２３ｃは、眉データの出現率は所定の条件を満たしているか否かを判断する（ＳＴ４７）。ここでは、上記したように、運転者が元々眉が薄い人などである場合に、検出結果がばらついてしまうことを防止すべく行われている。
【０１２９】
眉データの出現率は所定の条件を満たしていないと判断した場合（ＳＴ４７：ＮＯ）、上瞼のピーク点と眉との間隔による開閉眼判定結果を後の処理にて未使用にすると決定する（ＳＴ４８）。すなわち、間隔開閉眼判定部２３ｃによる開閉眼判定の結果を利用可能でないものと決定する。そして、処理は、図２２のステップＳＴ５４に移行する。
【０１３０】
一方、眉データの出現率は所定の条件を満たしていると判断した場合（ＳＴ４７：ＹＥＳ）、間隔開閉眼判定部２３ｃは、眉の出現位置をメモリして時系列的に複数個のデータを保持する（ＳＴ４９）。
【０１３１】
その後、間隔開閉眼判定部２３ｃは、所定個数の眉の出現位置の平均値及び標準偏差が所定条件を満たしているか否かを判断する（ＳＴ５０）。ここでは、上記したように、運転者が顔を頻繁に動かしている場合に、検出結果が不正確となってしまうことを防止すべく行われている。
【０１３２】
所定条件を満たしていないと判断した場合（ＳＴ５０：ＮＯ）、処理はステップＳＴ４８に移行する。一方、所定条件を満たしていると判断した場合（ＳＴ５０：ＹＥＳ）、間隔開閉眼判定部２３ｃは、上瞼と眉との間隔値をメモリして時系列的に複数個のデータを保持する（ＳＴ５１）。
【０１３３】
その後、間隔開閉眼判定部２３ｃは、所定個数の間隔値の平均値及び標準偏差が所定条件を満たしているか否かを判断する（ＳＴ５２）。この処理は、上記したように、眼の開閉に伴う上瞼と眉と縦幅の変化量は或る程度限定されているという考えに基づいて行われている。
【０１３４】
所定条件を満たしていないと判断した場合（ＳＴ５２：ＮＯ）、処理はステップＳＴ４８に移行する。一方、所定条件を満たしていると判断した場合（ＳＴ５２：ＹＥＳ）、間隔開閉眼判定部２３ｃは、上瞼のピーク点と瞼の間隔による開閉眼判定結果を後の処理にて使用することを決定する（ＳＴ５３）。すなわち、間隔開閉眼判定部２３ｃによる開閉眼判定の結果を利用可能なものと決定する。
【０１３５】
そして、形状開閉眼判定部２３ｂは、上瞼の形状変化による開閉眼判定を行う（図２２：ＳＴ５４）。まず、ここでは３点法による開閉眼判定を行う。
【０１３６】
開閉眼判定の後、形状開閉眼判定部２３ｂは、目頭と目尻との両点間距離をメモリして時系列的に複数個のデータを保持する（ＳＴ５５）。そして、形状開閉眼判定部２３ｂは、所定個数の両点間距離の平均値及び標準偏差が所定の条件を満たしているか否かを判断する（ＳＴ５６）。ここで所定の条件とは、上記した画像特徴量として眼を正しく検出しているときの目頭と目尻との両点間距離である。
【０１３７】
所定の条件を満たしていないと判断した場合（ＳＴ５６：ＮＯ）、上瞼の形状変化による開閉眼判定結果を後の処理にて未使用にすることを決定する（ＳＴ５７）。すなわち、形状開閉眼判定部２３ｂによる開閉眼判定の結果を利用可能でないものと決定する。そして、処理は、ステップＳＴ６４に移行する。
【０１３８】
一方、所定の条件を満たしていると判断した場合（ＳＴ５６：ＹＥＳ）、上瞼の形状変化による開閉眼判定結果（３点法によるものに限る）を後の処理にて使用することを決定する（ＳＴ５８）。すなわち、縦幅開閉眼判定部２３ａによる開閉眼判定結果（３点法）を利用可能なものと決定する。
【０１３９】
その後、形状開閉眼判定部２３ｂは、上瞼の形状変化による開閉眼判定を行う（ＳＴ５９）。ここでは曲率半径法による開閉眼判定を行う。そして、開閉眼判定の後、形状開閉眼判定部２３ｂは、曲率半径を求めるための近似曲線と、画像上において複数の抽出点５３を繋いだ画像上実ラインとの相関値をメモリして時系列的に複数個のデータを保持する（ＳＴ６０）。
【０１４０】
そして、形状開閉眼判定部２３ｂは、所定個数の相関値の平均値及び標準偏差が所定の条件を満たしているか否かを判断する（ＳＴ６１）。ここで、形状開閉眼判定部２３ｂは、例えば平均値が小さい場合や標準偏差が大きい場合に、条件を満たしていないと判断する。
【０１４１】
所定の条件を満たしていないと判断した場合（ＳＴ６１：ＮＯ）、上瞼の形状変化による開閉眼判定結果（曲率半径法によるものに限る）を後の処理にて未使用にすることを決定する（ＳＴ６２）。すなわち、形状開閉眼判定部２３ｂによる開閉眼判定結果（曲率半径法）を利用可能でないものと決定する。そして、処理は、ステップＳＴ６４に移行する。
【０１４２】
一方、所定の条件を満たしていると判断した場合（ＳＴ６１：ＹＥＳ）、上瞼の形状変化による開閉眼判定結果（曲率半径法）を後の処理にて使用することを決定する（ＳＴ６３）。すなわち、縦幅開閉眼判定部２３ａによる開閉眼判定結果（３点法及び曲率半径法の双方）を利用可能なものと決定する。
【０１４３】
そして、統括開閉眼判定部２３ｄは、上記処理により利用可能とされた開閉眼判定の結果を総合的に判定する（ＳＴ６４）。その後、閉眼割合検出部２４は、開閉眼判定部２３により検出された眼の状態が閉眼を示すものである場合、閉眼状態の出現時間の積算を開始する（ＳＴ６５）。なお、開閉眼判定部２３により検出された眼の状態が開眼を示すものである場合、積算は開始されないこととなる。
【０１４４】
以後、図２３のステップＳＴ６６〜ＳＴ７２にかけて、図９及び図１０を参照して説明したステップＳＴ１２〜ＳＴ１８と同様の処理が実行され、ステップＳＴ７３に至る。
【０１４５】
ステップＳＴ７３では、覚醒度レベル補正部２７は、統括開閉眼判定部２３ｄが判定する際に用いた検出結果の数を算出する（ＳＴ７３）。そして、覚醒度レベル補正部２７は、その数が少なくなるに従って、覚醒度レベルを覚醒側に補正する（ＳＴ７４）。具体的には、検出結果の数が少なくなるに従って、閉眼積算時間を減じるようにして、覚醒度レベルを覚醒側に補正する。
【０１４６】
以後、ステップＳＴ７５及びＳＴ７６の処理が、図１０に示したステップＳＴ２１及びＳＴ２２と同様に行われて、処理は図２０のステップＳＴ３１に戻る。
【０１４７】
このようにして、本実施形態に係る覚醒度レベル判定装置２によれば、３つの開閉眼判定部２３ａ〜２３ｃの判定結果のうち利用可能なものに基づいて、統括開閉眼判定部２３ｄが最終的に開閉眼状態を判定している。
【０１４８】
そして、覚醒度レベル補正部２７は、統括開閉眼判定部２３ｄが開閉眼状態を判定する際に用いた検出結果の数が少なくなるに従って、覚醒度レベルを覚醒側に補正している。
【０１４９】
ここで、３つの開閉眼判定部２３ａ〜２３ｃは、それぞれ相互に影響し合わないようにされている。このため、統括開閉眼判定部２３ｄが開閉眼状態を判定する際に用いた検出結果の数が多い場合、判定精度が高まることとなる。
【０１５０】
一方、統括開閉眼判定部２３ｄが開閉眼状態を判定する際に用いた検出結果の数が少ない場合、統括開閉眼判定部２３ｄが誤判定している可能性が高まることとなる。そこで、覚醒度レベル補正部２７は、利用可能な検出結果の数が少ない場合に覚醒度レベルを覚醒側に補正している。つまり、誤って居眠りを検出しないようにしている。
【０１５１】
従って、判定精度の向上を図ることができる。
【０１５２】
また、第１実施形態と同様に、運転者自らの判断で休息等を取らせることができると共に、効果的な眠気解消に寄与することができる。
【０１５３】
次に、本発明の第３実施形態を説明する。第３実施形態に係る覚醒度レベル判定装置３は、第１実施形態のものと同様であるが、バラツキ度合検出部２６に代えて、車室内光環境検出部（光環境検出手段）２８を備える点で、第１実施形態のものと異なっている。また、第３実施形態に係る覚醒度レベル判定装置２では、画像撮影部１０は位置検出部２１だけでなく、車室内光環境検出部２８にも接続されている。
【０１５４】
以下、第１実施形態との相違点について説明する。図２４は、第３実施形態に係る覚醒度レベル判定装置３の機能ブロック図である。車室内光環境検出部２８は、車両内の光環境を検出するものであって、撮影された画像の濃度データに基づいて車室内環境を検出するものである。
【０１５５】
また、本装置３は、バラツキ度合検出部２６を有していない。このため、覚醒度レベル補正部２７は、車室内光環境検出部２８により検出された光環境に基づいて、覚醒度レベル判定部２５により判定された覚醒度レベルを補正する構成とされている。詳しくは、覚醒度レベル補正部２７は、まず、予め定義される良好時の光環境を記憶しており、車室内光環境検出部２８により検出された光環境と記憶している光環境とを比較する。そして、検出された光環境が、予め定義される良好時の光環境よりも悪化しているものである場合、覚醒度レベル判定部２５により判定された覚醒度レベルを覚醒側に補正する。
【０１５６】
図２５は、車室内光環境検出部２８により検出される光環境の説明図である。なお、図２５では、（ａ１）、（ｂ１）及び（ｃ１）に示す眼の周囲の四角領域内の光環境を計測し、その光環境をそれぞれ（ａ２）、（ｂ２）及び（ｃ２）に濃度ヒストグラムとして表している。
【０１５７】
まず、図２５（ａ１）では、眼の周囲の光環境が良好な場合を示している。そのときの濃度ヒストグラムを図２５（ａ２）に示す。覚醒度レベル補正部２７は、例えば図２５（ａ２）に示す濃度ヒストグラムを光環境が良好なときのデータとして記憶している。
【０１５８】
次に、図２５（ｂ１）では、眼付近が影に覆われている。このとき濃度ヒストグラムは、図２５（ｂ２）に示すように、濃度値の低いところで度数が高くなっている。また、図２５（ｃ１）では、眼付近に太陽光が照射している。このとき濃度ヒストグラムは、図２５（ｂ２）に示すように、濃度値の高いところで度数が高くなっている。
【０１５９】
そして、これらと図２５（ａ２）に示す濃度ヒストグラムとを比較すると、双方とも明らかに中程度の濃度値が得られておらず、光環境が悪化しているといえる。このような状況において、運転者の眼の開閉眼状態を検出しようとしても、運転者の眼付近の影又は太陽光の照射により、正確に検出できない可能性がある。
【０１６０】
本実施形態では、このような場合に、覚醒度レベルを覚醒側に補正することにより、覚醒状態にもかかわらず誤って居眠り状態であると判断してしまうことを防止している。
【０１６１】
次に、上記構成を有する処理装置２０の動作について説明する。図２６及び図２７は、図２４に示した処理装置２０の詳細動作を示すフローチャートである。図２６は、処理の前半部分を示し、図２７は処理の後半部分を示している。
【０１６２】
まず、図２６に示すステップＳＴ８１〜ＳＴ９０に示す処理は、図９に示したステップＳＴ１〜ＳＴ１０と同様であるため、説明を省略する。ステップＳＴ９１において、車室内光環境検出部２８は、眼の周囲の濃度情報を算出する（ＳＴ９１）。
【０１６３】
その後、図９のステップＳＴ１２〜ＳＴ１８と同様にして、ステップＳＴ９２〜ＳＴ９８の処理を経て、図２７のステップＳＴ９９に至る。ステップＳＴ９９において、車室内光環境検出部２８は、所定時間中における眼の周囲の濃度情報に基づいて、光環境状態を推定する（ＳＴ９９）。
【０１６４】
そして、覚醒度レベル補正部２７は、車室内光環境検出部２８により得られた光環境と、予め記憶する良好時の光環境とを比較する。比較の結果、光環境が良好時よりも悪化していると判断した場合、覚醒度レベル補正部２７は覚醒度レベルを覚醒側に補正する（ＳＴ１００）。そして、処理はステップＳＴ１０１に移行する。
【０１６５】
一方、光環境が良好時に比べ悪化していないと判断した場合、覚醒度レベルを補正することなく、処理はステップＳＴ１０１に移行する。その後、図９のステップＳＴ２１〜ＳＴ２３と同様にして、ステップＳＴ１０１〜ＳＴ１０３の処理を行う。そして、処理は図２６のステップＳＴ８１に戻る。
【０１６６】
このようにして、本実施形態に係る覚醒度レベル判定装置３によれば、検出された光環境が、予め定義される良好時の光環境よりも悪化しているものである場合、覚醒度レベルを覚醒側に補正する構成としている。
【０１６７】
すなわち、覚醒度レベル補正部２７は、光環境が悪化している場合、覚醒度レベルを居眠り側に誤判定する可能性が高まるので、覚醒度レベルを覚醒側に補正している。そして、誤って居眠りを検出しないようにしている。逆に、光環境が悪化していない場合には、覚醒度レベルの補正を行わず、覚醒度レベルの判定が正確に行われる環境においては、不要な補正をして覚醒度レベルの判定精度の低下を招かないようにしている。
【０１６８】
従って、判定精度の向上を図ることができる。
【０１６９】
また、第１実施形態と同様に、運転者自らの判断で休息等を取らせることができると共に、効果的な眠気解消に寄与することができる。
【０１７０】
なお、本実施形態では、車室内光環境検出部２８により検出された光環境が、良好時の光環境よりも悪化している場合に、覚醒度レベルを覚醒側に補正する構成とされている。しかし、本実施形態の構成はこれに限らず、検出された光環境が良好時の光環境よりも悪化していても、その悪化により誤検出する可能性が低い場合などには、覚醒度レベルを補正しないようにしてもよい。これにより、一層判定精度の向上を図ることができる。
【０１７１】
次に、本発明の第４実施形態を説明する。第４実施形態に係る覚醒度レベル判定装置４は、第１実施形態のものと同様であるが、バラツキ度合検出部２６に代えて、眼鏡有無検出部（眼鏡検出手段）２９を備える点で、第１実施形態のものと異なっている。また、第４実施形態に係る覚醒度レベル判定装置４では、位置検出部２１は追跡部２２だけでなく、眼鏡有無検出部２９にも接続されている。
【０１７２】
以下、第１実施形態との相違点について説明する。図２８は、第４実施形態に係る覚醒度レベル判定装置４の機能ブロック図である。まず、上記したように、覚醒度レベル判定装置４は、眼鏡有無検出部２９を有している。眼鏡有無検出部２９は、運転者の眼鏡の着用の有無を検出するものであって、眼鏡着用時に検出される特有の連続データに基づいて着用の有無検出するものである。このため、眼鏡有無検出部２９は、連続データを得るべく位置検出部２１に接続されており、位置検出部２１から連続データを入力する構成とされている。
【０１７３】
また、上記のように構成されているため、覚醒度レベル補正部２７は、眼鏡有無検出部２９により運転者の眼鏡の着用が検出された場合、覚醒度レベル判定部２５により判定された覚醒度レベルを補正する構成とされている。
【０１７４】
次に眼鏡着用時の撮影画像及び連続データについて説明する。図２９は、眼鏡着用時の撮影画像の例を示す説明図である。
【０１７５】
同図に示すように、眼鏡着用時にはレンズ部分に景色等が映り込んでしまうときがある。そして、眼と映り込む部分とが重なって撮影される場合には、正確に眼の開度等をとらえることができず、覚醒度レベルの判定に支障をきたしてしまう。
【０１７６】
具体的には、眼の縦幅により眼の開度を求めて覚醒度レベルを判断する場合、眼と映り込む部分とが重なっていることから、開閉眼判定部２３は、実際の眼のより小さな開度と認識する可能性がある。そして、眼の開度が小さく検出されることにより、居眠りの状態であるとの判定結果が増加することとなる。
【０１７７】
そこで、本実施形態では、運転者の眼鏡の着用の有無を検出し、着用している場合には覚醒度レベルを補正して、増加分を除去することとしている。図３０は、眼鏡着用時に撮影画像から得られる連続データの例を示す説明図である。
【０１７８】
同図に示すように、眼鏡着用時には、連続データが眼鏡の非着用時よりも多く検出される傾向がある。すなわち、本装置４の位置検出部２１では、眼と類似する特徴部分を画像中から抽出している。このとき、眼と類似する特徴量ものとして、画像横方向に連続的に伸びる連続データすべてが抽出されることとなる。そして、眼鏡のフレーム部は形状的に画像横方向に伸びる部分を有することから、眼鏡着用時には、連続データが眼鏡の非着用時よりも多く検出されることとなる。
【０１７９】
眼鏡有無検出部２９は、このように連続データの数や連続データの抽出された位置等に基づいて、眼鏡の着用の有無を検出することとなる。
【０１８０】
次に、上記構成を有する処理装置２０の動作について説明する。図３１及び図３２は、図２８に示した処理装置２０の詳細動作を示すフローチャートである。図３１は、処理の前半部分を示し、図３２は処理の後半部分を示している。
【０１８１】
まず、位置検出部２１は、画像のデータを入力する（ＳＴ１１１）。その後、位置検出部２１は、眼の追跡領域が設定されているか否かを判断する（ＳＴ１１２）。眼の追跡領域が設定されていると判断した場合（ＳＴ１１２：ＹＥＳ）、処理はステップＳＴ１１７に移行する。
【０１８２】
一方、眼の追跡領域が設定されていないと判断した場合（ＳＴ１１２：ＮＯ）、位置検出部２１は、画像全体から眼の位置を検出する（ＳＴ１１３）。このとき、位置検出部２１は、眼の候補として複数の連続データを抽出している。
【０１８３】
その後、眼鏡有無検出部２９は、位置検出部２１から複数の連続データを受け取り、複数の連続データに基づいて、運転者が眼鏡を着用しているか否かを検出する（ＳＴ１１４）。そして、ここでの検出結果を覚醒度レベル補正部２７に送出する。
【０１８４】
覚醒度レベル補正部２７は、眼鏡有無検出部２９により眼鏡の着用が検出されていた場合、覚醒度レベル補正係数を設定する（ＳＴ１１５）。そして、この補正係数を覚醒度レベル判定部２５に与える。一方、この間に、追跡部２２は、位置検出部２１からの眼の位置のデータに基づいて、追跡領域を設定する（ＳＴ１１６）。
【０１８５】
その後は、図９に示したステップＳＴ６〜ＳＴ１４と同様にして、図３１に示すステップＳＴ１１７〜ＳＴ１２５に示す処理が実行される。そして、処理は、図３２のステップＳＴ１２６に移行する。ステップＳＴ１２６〜ＳＴ１２８は、図１０のステップＳＴ１５〜ＳＴ１７と同様であるため、説明を省略する。
【０１８６】
ステップＳＴ１２９で覚醒度レベル判定部２５は、ステップＳＴ１１５において覚醒度レベル補正部２７から与えられた補正係数を用いて覚醒度レベルを判定する（ＳＴ１２９）。そして、図１０のステップＳＴ２１，ＳＴ２２と同様にして、ステップＳＴ１３０，ＳＴ１３１の処理を実行する。その後、処理は図３１のステップＳＴ１１１に戻る。
【０１８７】
このように、覚醒度レベル補正部２７は、覚醒度レベル判定部２５に補正係数を与えることにより、実質的に覚醒度レベルを補正している。すなわち、前述の第１〜第３実施形態において、覚醒度レベル補正部２７は、覚醒度レベル判定部２５により判定された後の覚醒度レベルを補正するようにしていた。一方、本実施形態では、覚醒度レベル判定部２５による判定前に補正係数を与え、判定後の覚醒度レベルを補正するようにはしていない。
【０１８８】
しかし、本実施形態の場合、覚醒度レベル補正部２７が作用しないときの覚醒度レベルと異なる覚醒度レベルが得られるため、実質的に覚醒度レベルを補正していると言える。
【０１８９】
このようにして、本実施形態に係る覚醒度レベル判定装置４によれば、運転者の眼鏡の着用の有無を検出し、運転者の眼鏡の着用が検出された場合、覚醒度レベルを覚醒側に補正している。
【０１９０】
すなわち、覚醒度レベル補正部２７は、眼鏡の着用時に眼鏡に映り込みが発生するなどして、覚醒度レベルを居眠り側に誤判定する可能性が高くなることから、覚醒度レベルを覚醒側に補正している。つまり、映り込みにより眼の開度が小さく検出されて、居眠りの状態であるとの判定結果数が増加することとなるが、その増加分を取り除くことにより、判定精度の向上を図っている。逆に、眼鏡の非着用時には、覚醒度レベルの補正を行わず、覚醒度レベルの判定が正確に行われる環境においては、不要な補正をして覚醒度レベルの判定精度の低下を招かないようにしている。
【０１９１】
従って、判定精度の向上を図ることができる。
【０１９２】
また、第１実施形態と同様に、運転者自らの判断で休息等を取らせることができると共に、効果的な眠気解消に寄与することができる。
【０１９３】
なお、第１〜第４の実施形態おいては、覚醒度レベル判定部２５による判定前に補正係数を与えても、判定後の覚醒度レベルを補正するようにしても、どちらの方法で覚醒度レベルを補正してもよいものとする。
【０１９４】
次に、本発明の第５実施形態を説明する。第５実施形態に係る覚醒度レベル判定装置５は、第１実施形態のものと同様であるが、バラツキ度合検出部２６に代えて、寸法判定部（寸法判定手段）３１を備える点で、第１実施形態のものと異なっている。また、第５実施形態に係る覚醒度レベル判定装置５では、追跡部２２は開閉眼判定部２３のみに接続され、開閉眼判定部２３は、閉眼割合検出部２４だけでなく、寸法判定部３１にも接続されている。
【０１９５】
以下、第１実施形態との相違点について説明する。図３３は、第５実施形態に係る覚醒度レベル判定装置５の機能ブロック図である。まず、上記したように、覚醒度レベル判定装置５は、寸法判定部３１を有している。寸法判定部３１は、画像上における運転者の眼の大きさを学習して、大きさが所定値よりも小さいか否かを判定するものである。
【０１９６】
また、寸法判定部３１は、開閉眼判定部２３に接続されており、眼の大きさを学習すべく開閉眼判定部２３から眼の開度に関する情報を入力する構成とされている。
【０１９７】
ここで、上記学習とは、居眠りや眼を細めている以外の通常の状態における運転者の眼の大きさ学習するものである。例えば、眼の縦幅により運転者の居眠り状態等を判定する場合、通常、判定用の閾値を設け、画像中から得られた運転者の眼の大きさが当該閾値よりも大きいか否かを判断する。しかし、運転者の眼が一般的な人よりも小さい場合などには、眼の縦幅と閾値とが近くなり、僅かに眼を細めただけで居眠り状態であると誤判定してしまう可能性がある。そして、このような場合、居眠りの状態であるとの判定結果が増加することとなり、判定結果が不正確なものとなる。
【０１９８】
そこで、本実施形態では、運転者の眼の大きさを学習し、大きさが所定値よりも小さい場合には、覚醒度レベルを覚醒側に補正して、居眠りの状態であるとの判定の増加分を除去するようにしている。
【０１９９】
また、上記のように構成されているため、覚醒度レベル補正部２７は、寸法判定部３１により眼の大きさが所定値よりも小さいと判定された場合、覚醒度レベル判定部２５により判定された覚醒度レベルを補正する構成とされている。
【０２００】
次に、上記構成を有する処理装置２０の動作について説明する。図３４及び図３５は、図３３に示した処理装置２０の詳細動作を示すフローチャートである。図３４は、処理の前半部分を示し、図３５は処理の後半部分を示している。
【０２０１】
まず、図３４に示すステップＳＴ１４１〜ＳＴ１４８に示す処理は、図９に示したステップＳＴ１〜ＳＴ８と同様であるため、説明を省略する。ステップＳＴ１４９において、寸法判定部３１は、眼の大きさの学習が終了したか否かを判断する（ＳＴ１４９）。
【０２０２】
眼の大きさの学習が終了していないと判断した場合（ＳＴ１４９：ＮＯ）、寸法判定部３１は、眼の大きさの学習を継続する（ＳＴ１５０）。そして、処理は、ステップＳＴ１４１に戻る。
【０２０３】
一方、眼の大きさの学習が終了したと判断した場合（ＳＴ１４９：ＹＥＳ）、処理はステップＳＴ１５１に移行する。ステップＳＴ１５１において覚醒度レベル補正部２７は、寸法判定部３１により学習された眼の大きさに応じて、覚醒度レベル補正係数を設定する（ＳＴ１５１）。
【０２０４】
ここでは、学習した眼の大きさが所定値よりも小さいか否か判断され、所定値よりも小さい場合には、覚醒度レベルを覚醒側に補正するための補正係数が設定される。一方、学習した眼の大きさが所定値よりも小さくない場合には、補正係数は設定されないこととなる。その後、覚醒度レベル補正部２７は、この補正係数を覚醒度レベル判定部２５に与える。
【０２０５】
そして、図９のステップＳＴ９，ＳＴ１０，ＳＴ１２〜ＳＴ１７と同様にして、ステップＳＴ１５２〜ＳＴ１５６の処理を経て、図３５のステップＳＴ１６０に至る。ステップＳＴ１６０で覚醒度レベル判定部２５は、ステップＳＴ１５１５において覚醒度レベル補正部２７から与えられた補正係数を用いて覚醒度レベルを判定する（ＳＴ１６０）。そして、図１０のステップＳＴ２１，ＳＴ２２と同様にして、ステップＳＴ１６１，ＳＴ１６２の処理を実行する。その後、処理は図３５のステップＳＴ１４１に戻る。
【０２０６】
ここで、覚醒度レベル補正部２７は、第４実施形態と同様の方法で、実質的に覚醒度レベルを補正しているが、これに限らず、覚醒度レベル判定部２５による判定前に補正係数を与えるようにしてもよい。
【０２０７】
このようにして、本実施形態に係る覚醒度レベル判定装置５によれば、画像上における運転者の眼の大きさを判定し、判定された眼の大きさが所定の大きさよりも小さいものである場合、覚醒度レベルを覚醒側に補正している。
【０２０８】
すなわち、覚醒度レベル補正部２７は、運転者の眼の大きさが小さい場合、覚醒度レベルを居眠り側に誤判定する可能性が高くなることから、覚醒度レベルを覚醒側に補正している。つまり、元々眼の小さい人を対象としている場合に、目の大きい人に比べ居眠り状態であると判定されやすくなってしまうことを防止している。逆に、眼の大きさが小さくない場合には、覚醒度レベルの補正を行わず、覚醒度レベルの判定が正確に行われる環境においては、不要な補正をして覚醒度レベルの判定精度の低下を招かないようにしている。
【０２０９】
従って、判定精度の向上を図ることができる。
【０２１０】
また、第１実施形態と同様に、運転者自らの判断で休息等を取らせることができると共に、効果的な眠気解消に寄与することができる。
【０２１１】
次に、本発明の第６実施形態を説明する。第６実施形態に係る覚醒度レベル判定装置６は、第１実施形態のものと同様であるが、補正内容表示部（補正内容表示手段）４０を備える点で、第１実施形態のものと異なっている。
【０２１２】
以下、第１実施形態との相違点について説明する。図３６は、第６実施形態に係る覚醒度レベル判定装置６の構成図であり、図３７は、第６実施形態に係る覚醒度レベル判定装置６の機能ブロック図である。図３６に示すように、補正内容表示部４０は、運転者の視認可能な位置、例えば、覚醒度レベル表示部３０の近傍に設けられている。
【０２１３】
また、図３７に示すように、補正内容表示部４０は、覚醒度レベル補正部２７に接続され、覚醒度レベル補正部２７が覚醒度レベル判定部２５に対して行った補正内容を入力する構成とされている。
【０２１４】
ここで、補正内容表示部４０は、補正内容をそのまま提示する構成であってもよいが、グラフ化等して運転者に提示することが望ましい。これにより、運転者に対し一層明確に補正内容を提示することができる。
【０２１５】
また、補正内容表示部４０と覚醒度レベル表示部３０とを一体的に構成することが望ましい。これにより、省スペース化を図ることができる。さらに、一体的に構成していることから、補正内容と補正後の覚醒度レベルを並列的に表示することも可能となり、見やすさを考慮した表示も可能となる。
【０２１６】
次に、第６実施形態に係る覚醒度レベル判定装置６の動作であるが、動作については、第１実施形態に係るものとほぼ同様である。ただし、第６実施形態では、補正内容表示部４０を有しているため、補正内容の表示処理が行われる。この処理は、例えば、図１０に示した覚醒度レベルの表示（ＳＴ２１）の際に、同時行ってもよし、座標位置のクリア（ＳＴ２３）の後に行うようにしてもよい。
【０２１７】
このようにして、本実施形態に係る覚醒度レベル判定装置６によれば、第１実施形態と同様に、判定精度の向上を図ることができ、運転者自らの判断で休息等を取らせることができると共に、効果的な眠気解消に寄与することができる。
【０２１８】
さらに、覚醒度レベル補正部２７が覚醒度レベルを補正したときの補正内容を表示する補正内容表示部４０を備えるので、運転者に対し、現在表示さえている覚醒度がどの程度信頼性に基づくものである等を明示できる。また、この明示により、本装置６の動作状態について運転者に対し安心感を与えることができる。
【０２１９】
なお、本実施形態では、第１実施形態のものに補正内容表示部４０を追加した構成を説明したが、これに限らず、上記の他の実施形態のいずれに補正内容表示部４０を付加するようにしてもよい。
【０２２０】
次に、本発明の第７実施形態を説明する。第７実施形態に係る覚醒度レベル判定装置７の構成は、第１実施形態のものと同様である。ただし、第７実施形態に係る覚醒度レベル判定装置７では、覚醒度レベル補正部２７の補正手法が第１実施形態と異なっている。
【０２２１】
以下、第１実施形態との相違点について説明する。図３８は、第７実施形態に係る覚醒度レベル判定装置７による補正手法を示す説明図である。なお、図３８では、積算時間を画像フレーム数にて表している。このため、実際の積算時間は１フレームの処理速度を乗じた値となる。
【０２２２】
同図に示すように、覚醒度レベル判定区間「１３〜５２」のそれぞれにおいて、それぞれの閉眼積算時間が得られる。第１実施形態においては、画像横方向及び縦方向についての所定の閾値「２０．０」を超えるバラツキ度合いが検出されると、覚醒度レベルを１段階覚醒側に補正するようにしていた。
【０２２３】
ところが、本実施形態においては覚醒度レベルを覚醒側に補正するのに代えて、前回覚醒度レベル判定部２５により判定された覚醒度レベルを今回の覚醒度レベルとして保持する処理を行っている。
【０２２４】
詳しく説明すると、まず、覚醒度レベル判定区間「１４」では、所定の閾値「２０．０」を超えるバラツキ度合いが検出されている。このため、覚醒度レベル補正部２７は、前回の覚醒度レベルである判定区間「１３」の覚醒度レベルを保持する。すなわち、判定区間「１３」の覚醒度レベル「３」が、そのまま判定区間「１４」の覚醒度レベルとなる。
【０２２５】
このとき、覚醒度レベル判定区間「１４」では、閉眼積算時間が３０フレーム以上となっているにもかかわらず、軽い居眠り状態を示す覚醒度レベル「２」とせず、覚醒度レベルを前回の値「３」のままにしている。
【０２２６】
また、覚醒度レベル判定区間「１５」についても、所定の閾値「２０．０」を超えるバラツキ度合いが検出されている。このため、覚醒度レベル補正部２７は、前回の覚醒度レベルである判定区間「１４」の覚醒度レベルを保持し、覚醒度レベルを「３」とする。
【０２２７】
他の判定区間「１６〜１８，２１，２５〜３０，４２，４３，４６」についても同様に、前回の覚醒度レベルを今回の覚醒度レベルとして保持している。これにより、外乱による影響を低減させている。すなわち、前回の覚醒度レベルを保持することにより、外乱によって覚醒度レベルが激しく変化していしまう事態を防止している。
【０２２８】
このようにして、本実施形態に係る覚醒度レベル判定装置７によれば、座標位置のバラツキ度合いが所定の閾値を超える場合に、前回の覚醒度レベルを保持するようにしている。このため、外乱によって覚醒度レベルが激しく変化することがなく、運転者に与える煩わしさを軽減させることができる。
【０２２９】
また、第１実施形態と同様に、運転者自らの判断で休息等を取らせることができると共に、効果的な眠気解消に寄与することができる。
【０２３０】
なお、上記では、第１実施形態の覚醒度レベル判定装置１の処理内容を変更した例を説明したが、これに限らず、他の第２〜第６実施形態について本実施形態の処理方法を適用するようにしてもよい。
【０２３１】
以上、第１〜第７実施形態について説明したが、本発明はこれらに限られるものではない。例えば、第１〜第７の実施形態をそれぞれ組み合わせるようにしてもよい。例えば、第１〜第５の実施形態の構成を組み合わせた場合、２以上の手法を組み合わせることから、一層の判定精度の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態に係る覚醒度レベル判定装置の構成図である。
【図２】本発明の第１実施形態に係る覚醒度レベル判定装置の機能ブロック図である。
【図３】位置検出部が眼の位置の検出に際して行う初期処理の説明図である。
【図４】位置検出部が所定の画素を抽出したとき様子を示す説明図である。
【図５】画像横方向に近接する画素をグループ化したときの様子を示す説明図である。
【図６】位置検出部によるゾーン化後の様子を示す説明図である。
【図７】追跡部による眼の位置の追跡の様子を示す説明図であり、（ａ）は初期の追跡領域を示しており、（ｂ）は初期の追跡領域の設定後に、検出した眼の位置を示しており、（ｃ）は検出した眼の位置に基づいて新たに設定する追跡領域を示しており、（ｄ）は新たに設定した追跡領域内から検出した眼の位置を示している。
【図８】眼の縦幅の開度を示す説明図であり、（ａ）は開眼時を示しており、（ｂ）は閉眼時を示している。
【図９】図１に示した処理装置の詳細動作を示すフローチャートであり、処理の前半部分を示している。
【図１０】図１に示した処理装置の詳細動作を示すフローチャートであり、処理の後半部分を示している。
【図１１】覚醒度指標の説明図である。
【図１２】実際に運転者を計測して得た覚醒度指標、本装置にて検出される閉眼積算時間、及び眼の座標位置のバラツキとを示す説明図であり、覚醒度レベルが良好に判定されている場合の例を示している。
【図１３】実際に運転者を計測して得た覚醒度指標、本装置にて検出される閉眼積算時間、及び眼の座標位置のバラツキとを示す説明図であり、覚醒度レベルがやや誤差を含んで判定されている場合の例を示している。
【図１４】図１３に示した閉眼積算時間に基づいて得られる覚醒度レベルの補正前及び補正後の様子を示す説明図である。
【図１５】図１３に示した閉眼積算時間に基づいて得られる覚醒度レベルの補正前及び補正後の様子を示す説明図であり、図１４に示したデータをグラフ化した場合の例を示している。
【図１６】眼の基準位置及び図１２に示した場合における眼の座標位置の分布を示す説明図である。
【図１７】眼の基準位置及び図１３に示した場合における眼の座標位置の分布を示す説明図である。
【図１８】第２実施形態に係る覚醒度レベル判定装置の機能ブロック図である。
【図１９】縦幅開閉眼判定部、形状開閉眼判定部及び間隔開閉眼判定部による判定手法を示す説明図である。
【図２０】図１８に示した処理装置の詳細動作を示すフローチャートであり、処理の初期部分を示している。
【図２１】図１８に示した処理装置の詳細動作を示すフローチャートであり、処理の中間処理の前半部分を示している。
【図２２】図１８に示した処理装置の詳細動作を示すフローチャートであり、中間処理の後半部分を示している。
【図２３】図１８に示した処理装置の詳細動作を示すフローチャートであり、処理の最終部分を示している。
【図２４】第３実施形態に係る覚醒度レベル判定装置の機能ブロック図である。
【図２５】車室内光環境検出部により検出される光環境の説明図である。
【図２６】図２４に示した処理装置の詳細動作を示すフローチャートであり、処理の前半部分を示している。
【図２７】図２４に示した処理装置の詳細動作を示すフローチャートであり、処理の後半部分を示している。
【図２８】第４実施形態に係る覚醒度レベル判定装置の機能ブロック図である。
【図２９】眼鏡着用時の撮影画像の例を示す説明図である。
【図３０】眼鏡着用時に撮影画像から得られる連続データの例を示す説明図である。
【図３１】図２８に示した処理装置の詳細動作を示すフローチャートであり、処理の前半部分を示している。
【図３２】図２８に示した処理装置の詳細動作を示すフローチャートであり、処理の後半部分を示している。
【図３３】第５実施形態に係る覚醒度レベル判定装置の機能ブロック図である。
【図３４】図３３に示した処理装置の詳細動作を示すフローチャートであり、処理の前半部分を示している。
【図３５】図３３に示した処理装置の詳細動作を示すフローチャートであり、処理の後半部分を示している。
【図３６】第６実施形態に係る覚醒度レベル判定装置の構成図である。
【図３７】第６実施形態に係る覚醒度レベル判定装置の機能ブロック図である。
【図３８】第７実施形態に係る覚醒度レベル判定装置による補正手法を示す説明図である。
【符号の説明】
１〜７…覚醒度レベル判定装置
１０…画像撮影部（画像撮影手段）
２１…位置検出部（位置検出手段）
２２…追跡部（追跡手段）
２３…開閉眼判定部（開閉眼判定手段）
２３ａ…縦幅開閉眼判定部
２３ｂ…形状開閉眼判定部
２３ｃ…間隔開閉眼判定部
２３ｄ…統括開閉眼判定部
２４…閉眼割合検出部（閉眼割合検出手段）
２５…覚醒度レベル判定部（覚醒度レベル判定手段）
２６…バラツキ度合検出部（バラツキ度合検出手段）
２７…覚醒度レベル補正部（覚醒度レベル補正手段）
２８…車室内光環境検出部（光環境検出手段）
２９…眼鏡有無検出部（眼鏡検出手段）
３０…覚醒度レベル表示部（覚醒度レベル表示手段）
３１…寸法判定部（寸法判定手段）
４０…補正内容表示部（補正内容表示手段）
【図１】
2004341954.tif 000003
【図２】
2004341954.tif 000004
【図３】
2004341954.tif 000005
【図４】
2004341954.tif 000006
【図５】
2004341954.tif 000007
【図６】
2004341954.tif 000008
【図７】
2004341954.tif 000009
【図８】
2004341954.tif 000010
【図９】
2004341954.tif 000011
【図１０】
2004341954.tif 000012
【図１１】
2004341954.tif 000013
【図１２】
2004341954.tif 000014
【図１３】
2004341954.tif 000015
【図１４】
2004341954.tif 000016
【図１５】
2004341954.tif 000017
【図１６】
2004341954.tif 000018
【図１７】
2004341954.tif 000019
【図１８】
2004341954.tif 000020
【図１９】
2004341954.tif 000021
【図２０】
2004341954.tif 000022
【図２１】
2004341954.tif 000023
【図２２】
2004341954.tif 000024
【図２３】
2004341954.tif 000025
【図２４】
2004341954.tif 000026
【図２５】
2004341954.tif 000027
【図２６】
2004341954.tif 000028
【図２７】
2004341954.tif 000029
【図２８】
2004341954.tif 000030
【図２９】
2004341954.tif 000031
【図３０】
2004341954.tif 000032
【図３１】
2004341954.tif 000033
【図３２】
2004341954.tif 000034
【図３３】
2004341954.tif 000035
【図３４】
2004341954.tif 000036
【図３５】
2004341954.tif 000037
【図３６】
2004341954.tif 000038
【図３７】
2004341954.tif 000039
【図３８】
2004341954.tif 000040