(57)【要約】【課題】撮影条件や顔との距離の影響を受けずに、開閉眼を精度よく判定する開閉眼判定装置および開眼度推定装置を提供する。【解決手段】開閉眼判定装置は、被験者の眼を含む領域を撮像する撮像部１１と、前記撮像部１１により撮像された画像から前記被験者の上下の瞼を検出し、該上下の瞼の縁間の開眼幅を計測する開眼幅計測部１２と、前記開眼幅計測部１２により計測された開眼幅にフィルタ処理を施すフィルタ部１３と、前記フィルタ部１３により得られた開眼幅から前記開眼幅計測手段により計測された開眼幅を減じた値が閾値より大きい場合に閉眼と判定し、前記差が閾値以下の場合に開眼と判定する開閉眼判定部１４と、を備えている。【選択図】図１
2010067137.tif 000002
【特許請求の範囲】
【請求項１】
被験者の眼を含む領域を撮像する撮像手段と、
前記撮像手段により撮像された画像から前記被験者の上下の瞼を検出し、該上下の瞼の縁間の開眼幅を計測する開眼幅計測手段と、
前記開眼幅計測手段により計測された開眼幅にフィルタ処理を施すフィルタ手段と、
前記フィルタ手段により得られた開眼幅から前記開眼幅計測手段により計測された開眼幅を減じた値が閾値より大きい場合に閉眼と判定し、前記差が閾値以下の場合に開眼と判定する開閉眼判定手段と、
を備えた開閉眼判定装置。
【請求項２】
前記フィルタ手段は、瞬目の周波数よりも低い周波数のデータを通過させる低域濾過フィルタである請求項１記載の開閉眼判定装置。
【請求項３】
請求項１または請求項２記載の開閉眼判定装置と、
前記開閉眼判定手段により閉眼と判定された場合に、前記開眼幅計測手段により計測された開眼幅に基づいて閉眼閾値を算出し、前記開閉眼判定手段により開眼と判定された場合に、前記フィルタ手段により得られた開眼幅に基づいて開眼閾値を算出する閾値算出手段と、
前記閉眼閾値、前記開眼閾値、および前記開眼幅計測手段により計測された開眼幅または前記フィルタ手段により得られた開眼幅に基づいて開眼度推定値を算出する開眼度推定手段と、
を備えた開眼度推定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、運転者の覚醒状態を推定して必要に応じて警報を発する居眠り警報装置などに適用される開閉眼判定装置および開眼度推定装置に関する。
【背景技術】
【０００２】
自動車等の安全性向上のため、運転者の居眠り状態を検出して警報を発する居眠り検出装置が提案されている。このような装置として、例えば、運転者の顔を撮像した画像データから上下瞼の位置を算出し、その値に基づいて開度および開閉眼の閾値を計算する開閉眼モニタ装置（例えば、特許文献１参照。）が開示されている。具体的には、開度の時系列データから開度の極小値を計算し、その値を大きさ順に並べ替えて得られる系列間の差が最大となる点を開眼候補群と閉眼候補群との識別の基準とする。そして、各群から得られる標準偏差の値に基づいて開眼、閉眼の閾値を定めることにより、開閉眼を計算する。この開閉眼モニタ装置では、極小値がそれほど大きく変動しない場合には好適に動作する。これは、開眼幅の頻度分布が図７に示すような二峰性の分布に近い場合には、開閉眼の閾値が適切に設定できるためである。
【特許文献１】特開２００４−４１４８５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、開眼幅は画像認識装置から得られる眼後画像の縁を検出し、その上下端点から計算されるが、図８に示すように運転者の姿勢変化などによって顔の位置がカメラから離れた場合、開眼幅が小さく算出される。また、特許文献１の開閉眼モニタ装置では、図９に示すように、通常時における閉眼時の開眼幅と、顔が離れた場合の開眼時の開眼幅とが同等になってしまうような場合、開眼幅の頻度分布は二峰性の分布にはならない。これは、開眼幅の絶対値を基に分布を規定しているために生じる現象であり、基準となる値（顔との距離）が変化する場合には適切には動作しないという問題点がある。
【０００４】
本発明は、上記問題点を解決するために成されたものであり、撮影条件や顔との距離の影響を受けずに、開閉眼を精度よく判定する開閉眼判定装置および開眼度推定装置を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１記載の開閉眼判定装置は、被験者の眼を含む領域を撮像する撮像手段と、前記撮像手段により撮像された画像から前記被験者の上下の瞼を検出し、該上下の瞼の縁間の開眼幅を計測する開眼幅計測手段と、前記開眼幅計測手段により計測された開眼幅にフィルタ処理を施すフィルタ手段と、前記フィルタ手段により得られた開眼幅から前記開眼幅計測手段により計測された開眼幅を減じた値が閾値より大きい場合に閉眼と判定し、前記差が閾値以下の場合に開眼と判定する開閉眼判定手段と、を備えている。
【０００６】
請求項１記載の発明によれば、撮影条件や被験者の顔の動きなどに影響されることなく、開閉眼を精度よく判定することができる。
【０００７】
請求項２記載の開閉眼判定装置は、請求項１記載の開閉眼判定装置において、前記フィルタ手段は、瞬目の周波数よりも低い周波数のデータを通過させる低域濾過フィルタである。
【０００８】
請求項２記載の発明によれば、被験者の瞬きによる開眼幅の変化を除去し、眠気などの顔の動きによる開眼幅の変化に基づいて、開閉眼を精度よく判定することができる。
【０００９】
請求項３記載の開眼度推定装置は、請求項１または請求項２記載の開閉眼判定装置と、前記開閉眼判定手段により閉眼と判定された場合に、前記開眼幅計測手段により計測された開眼幅に基づいて閉眼閾値を算出し、前記開閉眼判定手段により開眼と判定された場合に、前記フィルタ手段により得られた開眼幅に基づいて開眼閾値を算出する閾値算出手段と、前記閉眼閾値、前記開眼閾値、および前記開眼幅計測手段により計測された開眼幅または前記フィルタ手段により得られた開眼幅に基づいて開眼度推定値を算出する開眼度推定手段と、を備えている。
【００１０】
請求項３記載の発明によれば、撮影条件や被験者の顔の動きなどに影響されることなく判定した開閉眼に基づいて、開眼度を推定することができる。
【発明の効果】
【００１１】
以上説明したように、本発明によれば、撮影条件や顔との距離の影響を受けずに、開閉眼を精度よく判定し、また、開閉眼の判定結果に基づいて開閉度を推定することができるという効果が得られる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本実施の形態では、本発明に係る開閉眼判定装置および開眼度推定装置を運転者の居眠り警報装置に利用した場合の実施の形態を示す。
【００１３】
図１は、本実施の形態に係る居眠り警報装置の主要構成を示すブロック図である。同図に示すように、居眠り警報装置は、撮像部１１と、開眼幅計測部１２と、フィルタ部１３と、開閉眼判定部１４と、開眼度推定部１５と、居眠り判定部１６と、警報部１７と、を備えている。
【００１４】
撮像部１１は、ＣＣＤカメラ等からなり、運転者をほぼ正面から撮像できるように設置され、運転者の少なくとも眼を含む領域を撮像する。
【００１５】
開眼幅計測部１２は、撮像部１１により撮像されたカメラ画像から運転者の上下の瞼を検出し、両瞼の縁間の画素数に基づいて運転者の開眼幅を計測する。
【００１６】
フィルタ部１３は、開眼幅計測手段により計測された開眼幅の時系列トレンドを追跡する。図２は、フィルタ部１３の出力例を示す。実線ｈで示されるのが開眼幅計測部１２による実測値であり、破線ｆで示されるのがフィルタ部１３による出力値である。本実施の形態では、フィルタ部１３として低域濾過フィルタを用いる。低域濾過フィルタのフィルタ特性は、図３に示すように、瞬目の周波数２５よりも低い周波数の信号のみが通過するように設定する。これにより、通常の瞬目を閉眼と判定することを防止する。
【００１７】
開閉眼判定部１４は、フィルタ部１３により得られた開眼幅と開眼幅計測部１２により計測された開眼幅との差に基づいて開眼または閉眼の判定を行う。また、開閉眼判定部１４は、内部に開眼バッファおよび閉眼バッファ（いずれも不図示）を含んでいる。開眼バッファには開眼と判定された場合に開眼幅が格納され、閉眼バッファには閉眼と判定された場合の開眼幅が格納される。
【００１８】
開眼度推定部１５は、閉眼と判定された場合に開眼幅計測部１２により計測された開眼幅に基づいて閉眼閾値を算出し、開眼と判定された場合にフィルタ部１３により得られた開眼幅に基づいて開眼閾値を算出する。そして、閉眼閾値、開眼閾値、および開眼幅計測部１２により計測された開眼幅またはフィルタ部１３により得られた開眼幅に基づいて開眼度推定値を算出する。また、開眼度推定部１４は、算出された開眼度推定値を格納する開眼度バッファ（不図示）を含んでいる。
【００１９】
居眠り判定部１６は、開眼度バッファに格納された開眼度から単位時間当たりの開眼率を算出し、算出した開眼率と閾値とを比較することにより運転者が居眠り状態であるか否かを判定する。
【００２０】
警報部１７は、居眠り判定部１６により居眠り状態であると判定された場合に、警報音や音声、表示装置（不図示）への文字等の出力によって運転者に注意を促す。
【００２１】
次に、本実施の形態における居眠り警報装置の作用の流れについて、図４に示すフローチャートに沿って説明する。
【００２２】
まず、ステップ１００およびステップ１１０では、開閉眼判定部１４が、開眼バッファおよび閉眼バッファを初期化する。これらのバッファは何れもＦＩＦＯ（First In First Out）型のバッファであり、初期化処理では開眼時および閉眼時の開眼幅をバッファ中に埋めることによって行う。
【００２３】
ステップ１２０では、開眼幅計測部１２が、撮像部１１により撮像されたカメラ画像の画像認識結果から運転者の開眼幅を計測し、計測した開眼幅を変数ｈに代入する。
【００２４】
ステップ１３０では、フィルタ部１３が、計測された開眼幅の時系列データを低域濾過フィルタ（ＬＰＨ）を通して得られた値のうち、変数ｈに相当する時刻における値を変数ｆに代入する。
【００２５】
ステップ１４０では、開眼度推定部１５が、前述の変数ｈと変数ｆから開眼度の推定値を計算し、変数ｒに代入する。開眼度推定値の計算方法については後述する。
【００２６】
ステップ１５０では、開眼度推定部１５が、変数ｒを開眼度バッファに格納する。開眼度バッファはＦＩＦＯ型のバッファであり、単位時間分のｒを格納する。
【００２７】
ステップ１６０では、開眼度推定部１５が、開眼度バッファに格納されたｒの値に基づいて、単位時間当たりの開眼率を計算し、変数ｐｃに代入する。開眼度バッファには単位時間分のｒが格納されているので、格納されている全ての値を加算することによって単位時間当たりの開眼率が求まる。
【００２８】
ステップ１７０では、居眠り判定部１６が、単位時間当たりの開眼率ｐｃと予め定めた閾値とを比較する。ｐｃが閾値以上の場合は居眠り状態ではないと判定してステップ１２０に戻って、ステップ１２０以降の処理を繰り返し、ｐｃが閾値より小さい場合は居眠り状態であると判定してステップ１８０に進む。
【００２９】
ステップ１８０では、警報部１７が、運転者に対して警報音や音声等によって、覚醒させたり休憩をとるように注意を促す。その後、ステップ１２０に戻ってステップ１２０以降の処理を繰り返す。
【００３０】
ここで、ステップ１４０における開眼度推定値の算出方法について、図５に示すフローチャートに沿って説明する。
【００３１】
まず、ステップ２００およびステップ２１０では、開閉眼判定部１４が時刻ごとに開眼状態か閉眼状態かの判定を行う。図９は、この開閉眼の判定方法を示す。
【００３２】
ステップ２００では、開閉眼判定部１４が、開閉眼を判定すべき時刻ｔにおけるフィルタ部１３の出力値であるｆから開眼幅計測部１２の計測値であるｈを減じた値を変数ｄに代入する。
【００３３】
ステップ２１０では、開閉眼判定部１４が、変数ｄと予め定めた閾値ｔｈｒとを比較し、ｄがｔｈｒより大きい場合は閉眼状態と判定してステップ２２０に進み、ｄがｔｈｒ以下の場合は開眼状態と判定してステップ２４０に進む。
【００３４】
ステップ２２０では、閉眼と判定された場合であり、開閉眼判定部１４が、閉眼バッファにｈを格納し、ステップ２３０では、開眼幅計測部１２による計測値ｈを変数ｃに代入する。
【００３５】
ステップ２４０では、開眼と判定された場合であり、開閉眼判定部１４が、開眼バッファにｈを格納し、ステップ２５０では、フィルタ部１３の出力値ｆを変数ｃに代入する。
【００３６】
ステップ２６０では、開眼度推定部１５が開眼バッファ内の値の平均値を求めて開眼閾値ｃｏに代入し、ステップ２７０では、開眼度推定部１５が閉眼バッファ内の値の平均値を求めて閉眼閾値ｃｃに代入する。本実施の形態では、開眼バッファおよび閉眼バッファに格納されたその時刻までの開眼幅の平均値をそれぞれ開眼閾値、閉眼閾値としているが、その時刻において開眼幅計測部１２によって計測された開眼幅ｈを開眼閾値、閉眼閾値としてもよい。
【００３７】
ステップ２８０及びステップ２９０では、開眼度推定部１５が、上述のｃを開眼閾値ｃｏおよび閉眼閾値ｃｃと比較する。
【００３８】
その結果、ｃがｃｏより大きい場合は、ステップ３００に進み、開眼度推定値ｒを１．０とし、ｃがｃｃより小さい場合は、ステップ３１０に進み、開眼度推定値ｒを０．０とする。また、ｃがｃｃ以上でｃｏ以下の場合は、ステップ３２０に進み、式（１）に従って、ｃから閉眼閾値ｃｃを減じた値を、開眼閾値ｃｏと閉眼閾値との差によって正規化した値を開眼度推定値ｒとする。
【００３９】
ｒ＝（ｃ−ｃｃ）／（ｃｏ−ｃｃ）  ・・・（１）
【００４０】
このようにして、その時刻における開眼度推定値ｒを求めた後に、図４のフローに戻ってステップ１５０以下の処理を行う。
【００４１】
以上のように、本実施の形態では、撮影条件や顔との距離の影響を受けずに、開閉眼を精度よく判定することができる。また、単位時間当たりの開眼率に基づいて運転者が居眠り状態か否かを判定し、居眠り状態である場合には適切に運転者に対して注意を促すことができる。
【００４２】
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された範囲内で設計上の変更をされたものにも適用できる。
【図面の簡単な説明】
【００４３】
【図１】本実施の形態に係る居眠り警報装置の主要構成を示すブロック図である。
【図２】開眼幅の計測値とフィルタの出力値を示す図である。
【図３】低域濾過フィルタの特性を示す図である。
【図４】本実施の形態に係る居眠り警報装置の作用の流れを示すフローチャートである。
【図５】開眼度推定処理の流れを示すフローチャートである。
【図６】開閉眼の判定方法を示す図である。
【図７】開眼幅の分布を示す図である。
【図８】顔の位置と開眼幅を示す図である。
【図９】顔の位置と開眼幅の時系列変化を示す図である。
【符号の説明】
【００４４】
１１    撮像部
１２    開眼幅計測部
１３    フィルタ部
１４    開閉眼判定部
１５    開眼度推定部
１６    居眠り判定部
１７    警報部
【図１】
2010067137.tif 000003
【図２】
2010067137.tif 000004
【図３】
2010067137.tif 000005
【図４】
2010067137.tif 000006
【図５】
2010067137.tif 000007
【図６】
2010067137.tif 000008
【図７】
2010067137.tif 000009
【図８】
2010067137.tif 000010
【図９】
2010067137.tif 000011