(57)【要約】【課題】自動車等を運転する運転者等で生じる眠気状態についてより高い精度の判定を行うことができる眠気状態判定装置を提供する。【解決手段】この眠気状態判定装置は、人間１１の目を撮像するカメラ１２と、カメラからの撮像信号から得られる画像データに基づき人間の初期状態の瞳孔径を算出する初期瞳孔径算出部２５と、初期状態の瞳孔径を記憶する記憶部２４と、その後の撮像信号から得られる画像データに基づき所定期間内での人間の瞳孔径特性値を算出する瞳孔径特性値算出部２６と、初期状態の瞳孔径と所定期間内の瞳孔径特性値とを比較し、初期状態の瞳孔径を基準として瞳孔径が次第に小さくなる傾向を有するか否かを判定する比較判定部２７と、瞳孔径が次第に小さくなる傾向を有すると判定されるとき眠気予兆状態にあると判定する眠気予兆状態判定部（眠気状態判定部２８）とによって構成される。【選択図】図１
2009078006.tif 000002
【特許請求の範囲】
【請求項１】
人間の目を含む領域を撮像する撮像手段と、
前記撮像手段から出力される撮像信号から得られる画像データに基づき前記人間の初期状態の瞳孔径を算出する初期瞳孔径算出手段と、
前記初期状態の瞳孔径を記憶する記憶手段と、
前記初期状態の瞳孔径を算出した後、前記撮像手段から出力される撮像信号から得られる画像データに基づき所定期間内での前記人間の瞳孔径特性値を算出する瞳孔径特性値算出手段と、
前記初期状態の瞳孔径と前記所定期間内の前記瞳孔径特性値とを比較し、前記初期状態の瞳孔径を基準として前記瞳孔径が次第に小さくなる傾向を有するか否かを判定する比較判定手段と、
前記比較判定手段で前記瞳孔径が次第に小さくなる傾向を有すると判定されるとき、前記人間は眠気予兆状態にあると判定する眠気予兆状態判定手段と、
を備えることを特徴とする眠気状態判定装置。
【請求項２】
前記所定期間内の前記瞳孔径特性値は前記所定期間における前記瞳孔径の平均値であることを特徴とする請求項１記載の眠気状態判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は眠気状態判定装置に関し、特に、自動車等を運転する運転者等で生じる眠気の予兆状態を高い精度で事前に抽出するのに好適な眠気状態判定装置に関する。
【背景技術】
【０００２】
自動車等を運転する運転者が眠気状態であるかを判定する従来技術として特許文献１〜３に開示される技術が存在している。特許文献１に開示される運転者状態検出装置では、運転者の視線方向と瞳孔径を検出し、視線方向頻度分布（視線行動）と瞳孔径の変化率を算出し、視線方向頻度分布と瞳孔径の変化率を組み合わせて運転者状態を検出する。特許文献１に開示される移動体制御装置では、運転者の瞳孔径の変化速度を検出して運転者の状態を判定し、自動車等の移動体の制御に反映させるようにしている。特許文献３に開示される覚醒状態検知装置は、人間の目に関する瞳孔領域の円形度を検出し、円形度の変化に基づく瞬き状態を監視することにより人間の覚醒状態の低下を判定するように構成されている。
【特許文献１】特開２００２−３６７１００号公報
【特許文献２】特開２０００−３５１３３７号公報
【特許文献３】特開平６−２７０７１１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記の特許文献１〜３に開示される装置は、いずれも、照明装置（赤外線照射等）を用いて評価対象である人間の目（瞳）の部分に照明を行い、カメラ等で目の像を取得し、画像処理を行う構成を有している。
【０００４】
また、人間が眠たくなるときには、瞳孔径は低周波で大きく揺らぎ、その揺らぎ幅は最初瞳孔径から最大瞳孔径に大きく変化することもあるという研究結果が報告されている。従って、単純に、瞳孔径の変化率、瞳孔径の変化速度、瞳孔領域の円形度を計算するだけでは、人間の眠気状態を正確に判定することはできない。従って、従来の判定技術は精度がそれほど高いものではなく、運転者等の眠気状態についてより高い精度の判定技術が求められていた。
【０００５】
本発明の目的は、上記の課題に鑑み、自動車等を運転する運転者等で生じる眠気状態についてより高い精度の判定を行うことができる眠気状態判定装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明に係る眠気状態判定装置は上記の目的を達成するため次のように構成される。
【０００７】
第１の眠気状態判定装置（請求項１に対応）は、人間の目を含む領域を撮像する撮像手段と、撮像手段から出力される撮像信号から得られる画像データに基づき人間の初期状態の瞳孔径を算出する初期瞳孔径算出手段と、初期状態の瞳孔径を記憶する記憶手段と、初期状態の瞳孔径を算出した後、撮像手段から出力される撮像信号から得られる画像データに基づき所定期間内での人間の瞳孔径特性値を算出する瞳孔径特性値算出手段と、初期状態の瞳孔径と所定期間内の瞳孔径特性値とを比較し、初期状態の瞳孔径を基準として瞳孔径が次第に小さくなる傾向を有するか否かを判定する比較判定手段と、比較判定手段で瞳孔径が次第に小さくなる傾向を有すると判定されるとき、人間は眠気予兆状態にあると判定する眠気予兆状態判定手段とによって構成される。
【０００８】
上記の眠気状態判定装置では、瞳孔径の変動に関して、眠気予兆状態が生じるときの時間的変化特性である「単調縮瞳区間」、およびそれに続いて現れる「低周波ゆらぎ区間」等を利用して瞳孔径の変化を正確に抽出し、その瞳孔径の変化特性を比較することに基づいて眠気予兆状態を高い精度で判定する。
【０００９】
第２の眠気状態判定装置（請求項２に対応）は、上記の構成において、好ましくは、所定期間内の瞳孔径特性値は所定期間における瞳孔径の平均値であることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、対象人間の瞳孔径の変動に関して、眠気予兆状態が生じるときの時間的変化特性である「単調縮瞳区間」およびそれに続いて現れる「低周波ゆらぎ区間」等を利用して瞳孔径の変化を正確に抽出するように構成したため、その瞳孔径の変化特性を基準瞳孔径と比較することに基づいて眠気予兆状態を高い精度で判定することができ、自動車等を運転する運転者で生じる眠気予兆状態を確実に防止することができる。
【発明を実施するための最良の形態】
【００１１】
以下に、本発明の好適な実施形態（実施例）を添付図面に基づいて説明する。
【００１２】
図１は本発明の実施形態に係る眠気状態判定装置のブロック構成を示し、図２は眠気状態を判定する処理の手順を示す。
【００１３】
図１において、符号１１は、眠気状態を評価される必要のある対象人間の頭部を示す。当該対象人間としては自動車やトラック等に搭乗し運転操作を行っている運転者や、自動二輪車を運転している運転者である。対象人間１１に対しては、顔の正面に向かって例えばカメラ１２が設置されている。カメラ１２は、特に対象人間１１の顔の目を含む領域を撮像する。カメラ１２は、評価される必要のある対象人間１１の目（瞳）の部分を撮像し、その撮像情報を利用して後段のコンピュータで構成される眠気状態判定装置１３においてデータ処理、画像処理、および判定処理を行うことにより、対象人間１１の瞳孔径の変化をモニタし、当該対象人間の眠気状態または眠気予兆状態を判定する。
【００１４】
カメラ１２は、自動車等の場合には運転者の正面側前方の適宜な車室内箇所に設置され、自動二輪車の場合には運転者のヘルメット等の箇所に取り付けられる。カメラ１２には通常的な撮像装置が使用される。この場合に、原則的に、自然な環境光が存在する場合には、対象人間１１の目の領域には照明は行わない。カメラ１２は、対象人間１１が存在する環境において自然光の状態で対象人間の目の部分を撮像する。このとき、対象人間１１の目（瞳）の瞳孔径の状態は自然の状態で決まっている。しかしながら、自然な環境光が存在しない夜間等の場合には、赤外線等の光を照射することが望ましい。
【００１５】
カメラ１２から出力される撮像信号は眠気状態判定装置１３に入力される。眠気状態判定装置１３はコンピュータで構成され、その内部の機能要素（データ処理機能、画像処理機能、判定処理機能等）は所定のアルゴリズムに基づいて作成されたプログラム等によって実現されている。
【００１６】
眠気状態判定装置１３を構成する基本的な機能要素等としては、カメラ１２から出力される撮像信号を取り込むインターフェース２１、アナログ信号である撮像信号をディジタル画像信号に変換するＡ／Ｄ変換部２２、ディジタル画像信号から目すなわち瞳部分の画像データを抽出する瞳画像データ抽出部２３、瞳部分の画像データを記憶する記憶部２４、カメラ１２から継続して与えられるリアルタイムの撮像信号を基礎にしてその後得られる瞳部分の画像データに基づき対象人間１１の初期状態の瞳孔径を算出する初期瞳孔径算出部２５、初期状態の瞳孔径に係るデータを記憶する上記記憶部２４、初期状態の瞳孔径を算出した後、カメラ１２から出力される撮像信号により上記のごとく得られる画像データに基づき所定期間内での対象人間１１の瞳孔径特性値（判定に用いられる後述の特徴量）を算出する瞳孔径特性値算出部２６、初期状態の瞳孔径２４ａと所定期間内の瞳孔径特性値とを比較し、初期状態の瞳孔径２４ａを基準として瞳孔径が次第に小さくなる傾向（トレンド）を有するか否かを判定する比較判定部２７、比較判定部２７で瞳孔径が次第に小さくなる傾向（トレンド）を有すると判定されるとき対象人間１１は眠気予兆状態にあると判定する眠気状態判定部２８、を有している。この眠気状態判定部２８は広義の眠気状態判定部であり、上記の眠気予兆状態を判定する機能部分（眠気予兆状態判定部）の他、後述するように眠気状態（低周波ゆらぎ状態）を判定する機能部分（狭義の眠気状態判定部）を有している。判定の結果は、眠気状態判定部２８から出力される。
【００１７】
上記のごとき機能要素（２１〜２８）を備えて構成される眠気状態判定装置１３では、各機能要素によって実施される図２に示されるごとき処理手順に基づいて対象人間１１の眠気状態の判定プロセスを実行する。図２に示したフローチャートを説明する前の段階で、眠気状態判定の考え方を説明する。
【００１８】
図３は、運転状態の運転者で眠気状態（覚醒状態の低下）が生じたときのドライビングシミュレータによる瞳孔径の時間変化特性３０を示している。図３で、横軸は時間（分）を意味し、縦軸は瞳孔径（ｍｍ）を意味する。運転状態の運転者で眠気状態が生じると、当該運転者の瞳の瞳孔径は図３のごとく変化する。この瞳孔径の時間変化特性３０では、最初に単調縮瞳区間３１が０〜４分程度の期間で生じ、その後に続いて低周波ゆらぎ区間３２が４〜１０分程度の期間で生じるということが判明している。単調縮瞳区間３１は、瞳孔径が次第に小さくなる傾向を有する眠気予兆状態を示す。また低周波ゆらぎ区間３２は眠気ありの状態を示す。単調縮瞳区間３１と低周波ゆらぎ区間３２の他には、通常的な覚醒区間が存在する。
【００１９】
そこで、本発明の眠気状態判定では、カメラ１２で撮像した対象人間１１の目の撮像情報に基づく瞳孔径の状態に関して、図３に示した瞳孔径の時間的変化特性３０を基礎にしてその特徴量を算出する。上記のごとく、単調縮瞳区間３１、低周波ゆらぎ区間３２、および覚醒区間を判定するため、例えば、２０秒毎に４０秒毎のデータ（以下「１セグメントのデータ」と記す）を用いて特徴量を算出する。
【００２０】
判定に用いる特徴量としては、（１）判定処理開始時の初期瞳孔径（ＰＤ１）、（２）当該初期瞳孔径（ＰＤ１）と各セグメントの瞳孔径平均値（ＰＤ２）との差（ΔＰＤ）、（３）１セグメント内の瞳孔径の時間変化に対する回帰直線係数（α）とその標準偏差（ＳＤ１）、瞳孔径変化のトレンド（傾向）成分除去後の標準偏差（ＳＤ２）である。これらの特徴量に対して、対象人間１１に依存しない汎化性の高い閾値（ＴＨ１，ＴＨ２，ＴＨ３）を設定し、下記の判定アルゴリズムに基づいて瞳孔径変動に見られる各区間を判定する。
【００２１】
（１）覚醒区間の判定
高い覚醒度を維持している場合には上記ΔＰＤが小さな値に保たれる。そこで、ΔＰＤが所定の閾値ＴＨ１以下になるセグメントを「覚醒セグメント」と判定する。
【００２２】
（２）低周波ゆらぎ区間３２の判定
低周波ゆらぎ区間では、覚醒区間および単調縮瞳区間と比較するとゆらぎによりデータのばらつきが大きくなる。そこで、覚醒区間と判定されなかったセグメントであって（ΔＰＤが閾値ＴＨ１よりも大きい場合）、かつ上記ＳＤ１が所定の閾値ＴＨ２以上となるか、または、上記ＳＤ２が所定の閾値ＴＨ３以上となるセグメントを「低周波ゆらぎセグメント」と判定する。
また前セグメントが低周波ゆらぎセグメントである場合には、現セグメントも低周波ゆらぎセグメントであると判定されやすいように閾値の操作を行う。
【００２３】
（３）単調縮瞳区間３１の判定
αが負となり、かつ低周波ゆらぎ区間と判定されなかったセグメントを「単調縮瞳セグメント」と判定する。
【００２４】
（４）誤判定の修正
単調縮瞳区間３１についての判定で、前または前後のセグメントが単調縮瞳セグメントであるときには、単調縮瞳と判定されなかった区間も単調縮瞳区間と再判定する。
【００２５】
上記の特徴量および判定アルゴリズムを前提として、図２のフローチャートに従って眠気状態装置１３で実行される眠気状態の判定プロセスを説明する。
【００２６】
眠気状態判定プロセスが開始されると、最初に瞳画像が取得される（ステップＳ１１）。瞳画像は、前述したカメラ１２から出力される撮像信号から取得される。次に瞳画像について画像の二値化の処理が実行される（ステップＳ１２）。瞳画像が二値化されると、瞳画像上において円形の瞳孔領域と環状の虹彩領域を識別することができるので、二値化された瞳画像に基づいて虹彩領域の内径としての瞳孔径が算出される（ステップＳ１３）。眠気状態判定プロセスが開始された直後の初期状態において算出された瞳孔径は初期瞳孔径ＰＤ１として記憶部２４に記憶される（ステップＳ１４）。カメラ１２から継続して出力される撮像信号は、その後も、眠気状態判定装置１３に供給され続ける。従って眠気状態判定装置１３は、継続して、現在の瞳画像を取得する（ステップＳ１５）。現在の瞳画像は、同様に、二値化され（ステップＳ１６）、さらに瞳孔径の算出が行われる（ステップＳ１７）。なお、継続して取得された瞳画像に関して得られた瞳孔径のデータは、必要とされる期間の間、記憶部２４に保存されている。その結果、次のステップＳ１８では、任意時間区間の平均瞳孔径ＰＤ２を算出する。ここで、任意時間区間は前述した１セグメントである。
【００２７】
さらに次のステップＳ１９では、初期瞳孔径ＰＤ１と任意時間区間（１セグメント）の平均瞳孔径ＰＤ２との差ΔＰＤを算出する。算出された差ΔＰＤが閾値ＴＨ１以下であるか否かが判定される（ステップＳ２０）。判定ステップＳ２０でＹＥＳであるときには覚醒状態（「覚醒セグメント」）であると判定され（ステップＳ２７）、その後、判定ステップＳ３０に移行する。判定ステップＳ２０でＮＯであるときには、ステップＳ２１に移行する。
【００２８】
ステップＳ２１では、任意時間区間（１セグメント）での瞳孔径−時間の回帰直線係数αを算出する。これによって任意時間区間内における瞳孔径の時間変化を特定する回帰直線（変化特性）を線形近似によって確定する。
【００２９】
次にステップＳ２２では、任意時間区間（１セグメント）での瞳孔径の標準偏差ＳＤ１を算出する。標準偏差ＳＤ１の計算は、瞳孔径の時間変化を特定する確定された回帰直線を基準して行われる。任意時間区間すなわち１セグメントでは、１セグメントは４０秒間であり、１秒間に瞳孔画像が３０フレーム取得されるので、瞳孔径データは１２００個得られる。確定した上記の回帰直線を基準にしてこれらの１２００個の瞳孔径データの標準偏差をＳＤ１として計算する。
【００３０】
さらに次のステップＳ２３では、任意時間区間（１セグメント）での瞳孔径変化のトレンドを除去した後の標準偏差ＳＤ２を算出する。標準偏差ＳＤ２の計算は、上記の１２００個の瞳孔径データに関して、各瞳孔径データで実測値と回帰直線で近似された計算値との差分求め、この差分データを１２００個集め、１２００個の差分データの標準偏差がＳＤ２となる。
【００３１】
その次に続く判定ステップＳ２４では、前述のごとくして求められた２つの標準偏差ＳＤ１，ＳＤ２について、ＳＤ１が所定の閾値ＴＨ２以上となるか、またはＳＤ２が所定の閾値ＴＨ３以上となるかが判定される。判定ステップＳ２４でＹＥＳである場合には、現在の任意時間区間（１セグメント）が低周波ゆらぎ区間３２、すなわち「低周波ゆらぎセグメント」と判定されるので、閾値ＴＨ１，ＴＨ３の閾値調整を行った後（ステップＳ２８）、「眠気あり状態（眠気状態）である」と判定する（ステップＳ２９）。その後は、判定ステップＳ３０に移行する。また判定ステップＳ２４でＮＯの場合には、次の判定ステップＳ２５で上記の回帰直線係数αが０よりか小さいか否かを判定し、ＹＥＳである場合には「眠気予兆状態である」すなわち単調縮瞳区間３１（「単調縮瞳セグメント」）と判定する。判定ステップＳ２５でＮＯであるときには判定ステップ３０に移行する。
【００３２】
判定ステップＳ３０では、眠気状態判定プロセスを継続するか否かが判定される。判定ステップＳ３０で、ＹＥＳの場合にはステップＳ１５に戻って上記のプロセスを繰り返して継続し、ＮＯの場合には眠気状態判定プロセスを終了する。
【００３３】
眠気状態判定装置１３は、図２に示した上記の判定プロセスに従って対象人間１１の眠気状態、眠気予兆状態、覚醒状態を判定する。判定結果の利用の仕方については、特に「単調縮瞳」は、数分後（例えば３分後）に眠たくなるという予兆信号となるので、この判定結果を利用して「まもなく眠気が襲います。換気するなどして注意して下さい。」と音声警報等を発することができる。または自動で空調装置やオーディオなどを作動させてもよいし、近くのサービスエリアを案内して休息を促すこともできる。
【００３４】
また「低周波ゆらぎ」が発生している時には、本人が自覚的に眠気を催している状態であるので、上記の各種の警告に加えて、「換気するなど目覚めて下さい。」等と警告を発してもよい。
【００３５】
本実施形態による眠気状態判定装置の適用例は自動車と二輪車の例について説明したが、これに限定されない。本発明に係る眠気状態判定装置は、船舶、航空機等の移動体、パーソナルコンピュータやテレビなど操作者をモニタする場合にも適用することができる。例えばテレビに本手法を適用した場合、テレビ視聴者の覚醒水準を判定して当該視聴者の覚醒水準が低く、程なく眠りに落ちてしまいそうな場合にはテレビを自動的に消す等の技術に利用することができる。また同時に居住空間の照明を減光あるいは消灯するように連動させることもできる。
【００３６】
以上の実施形態で説明された構成、形状、大きさおよび配置関係については本発明が理解・実施できる程度に概略的に示したものにすぎず、また数値および各構成の組成（材質）等については例示にすぎない。従って本発明は、説明された実施形態に限定されるものではなく、特許請求の範囲に示される技術的思想の範囲を逸脱しない限り様々な形態に変更することができる。
【産業上の利用可能性】
【００３７】
本発明に係る眠気状態判定装置は、自動車等の運転者の眠気予兆状態を的確に判定し、眠気状態の発生を確実に防止するのに利用される
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態に係る眠気状態判定装置の装置構成を示すブロック図である。
【図２】本実施形態に係る眠気状態判定装置で実行される眠気状態判定のプロセスを示すフローチャートである。
【図３】運転状態の運転者で眠気状態（覚醒状態の低下）が生じたときのドライビングシミュレータによる瞳孔径の時間変化特性を示すグラフである。
【符号の説明】
【００３９】
１１        対象人間（頭部）
１２        カメラ
１３        眠気状態判定装置
２３        瞳画像データ抽出部
２４        記憶部
２５        初期瞳孔径算出部
２６        瞳孔径特性値算出部
２７        比較判定部
２８        眠気状態判定部
【図１】
2009078006.tif 000003
【図２】
2009078006.tif 000004
【図３】
2009078006.tif 000005