(57)【特許請求の範囲】
【請求項１】
顔を撮像して顔画像データを出力する画像出力手段と、
該画像出力手段が出力した顔画像データを処理して濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出した連続データを顔の特徴量とする特徴量検出手段と、
前記検出された顔の特徴量を含んで特定された各存在領域に対して眼のテンプレートを用いた検索を行い眼の位置を検出する第１の眼の位置検出手段と、
前記第１の眼の位置検出手段で眼のテンプレートを用いた検索により眼の位置が検出できないと判断されたとき前記連続データ相互の相対的な位置関係が予め設定された両眼の相対的な位置関係に対応するものを眼の位置として検出する第２の眼の位置検出手段とを設けたことを特徴とする眼の状態検出装置。
【請求項２】
請求項１記載の眼の状態検出装置であって、
前記第１の眼の位置検出手段は、前記濃度情報による特徴量を基準に範囲を特定し、該範囲内の濃度情報から２値化閾値を求め、該２値化閾値を用いて２値化した特徴量により前記眼のテンプレートを用いた検索を行うことを特徴とする眼の状態検出装置。
【請求項３】
請求項１又は２記載の眼の状態検出装置であって、
前記第１の眼の位置検出手段は、前記連続データ相互の相対的な位置関係が予め設定された両眼の相対的な位置関係に対応するとき該連続データを含んで特定された存在領域に対し眼のテンプレートを用いた眼の位置検出を可能とすることを特徴とする眼の状態検出装置。
【請求項４】
請求項１〜３の何れかに記載の眼の状態検出装置であって、
前記検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細な位置を検出し、且つ該特徴量の濃度変化から眼の開度を検出する眼の開度検出手段を設け、
前記検出した眼の位置、眼の開度情報が設定された眼の条件に対応するとき次の顔画像データに基づき前記追跡領域内で前記テンプレートによる検索を行い前記眼の追跡領域による追跡状態の良否を判定する眼の追跡状態判定手段を設け、
前記第１の眼の位置検出手段は、前記眼の追跡状態判定手段により眼の追跡ミスがあったと判定されたとき再度眼の位置検出を行うことを特徴とする眼の状態検出装置。
【請求項５】
請求項４記載の眼の状態検出装置であって、
前記眼の追跡状態判定手段は、前記顔画像データから眼の位置が検出され前記眼の開度検出手段に移行した直後に前記テンプレートによる検索を行うことを特徴とする眼の状態検出装置。
【請求項６】
請求項４又は５記載の眼の状態検出装置であって、
前記眼の追跡状態判定手段は、前記追跡領域内に検出した特徴量が上下方向に設定値を上回って移動したとき前記テンプレートによる検索を行うことを特徴とする眼の状態検出装置。
【請求項７】
請求項４〜６の何れかに記載の眼の状態検出装置であって、
前記眼の追跡状態判定手段は、前記追跡領域内に検出した特徴量が左右方向に設定値を上回って移動し且つ設定時間を上回って滞留しているとき前記テンプレートによる検索を行うことを特徴とする眼の状態検出装置。
【請求項８】
請求項４〜７の何れかに記載の眼の状態検出装置であって、
前記眼の追跡状態判定手段は、前記追跡領域により眼を追跡しているときに眼の基準位置を学習し、眼の追跡ミスがあったと判定したとき前記学習した眼の基準位置に前記追跡領域を復帰させ、該復帰直後に前記テンプレートによる検索を行うことを特徴とする眼の位置検出装置。
【請求項９】
請求項４〜８の何れかに記載の眼の状態検出装置であって、
前記眼の追跡状態判定手段は、前記テンプレートによる検索が適さない環境条件のとき設定タイミングでの眼のテンプレートによる検索動作に切り替え、該検索動作で特徴量が検出できたときに前記設定タイミングでの眼のテンプレートによる検索動作を終了することを特徴とする眼の状態検出装置。
【請求項１０】
請求項４〜９の何れかに記載の眼の状態検出装置であって、
前記検出された眼の開度から眼の開閉状態を判定することにより覚醒度を判定する覚醒度判定手段を設け、
前記眼の追跡状態判定手段は、前記判定された覚醒度に応じて前記テンプレートによる検索動作使用の有無を切り替えることを特徴とする眼の状態検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の居眠り状態を検出し警報することなどに供する眼の状態検出装置に関する。
【０００２】
【従来の技術】
従来の画像処理によるこの種の装置には、例えば特開平８−１７５２１８号に記載されたようなものがある。これは運転者の顔画像全体に対して標準顔テンプレートによる検索を行って顔を含む領域を抽出し、該領域に対して次の標準眼近傍テンプレートによる検索を行って眼を含む縦方向に長い中間程度の大きさの領域を抽出し、さらに次の標準眼テンプレートによる検索を行って眼を含む最小の領域を抽出して眼の位置を検出するようにしている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、顔画像全体の広い範囲を対象とした標準顔テンプレートから最小範囲の標準眼テンプレートまで用いて段階的に判定を行っており、判定処理が煩雑となって演算時間が長くなり、しかも高い検出精度も維持できないと言う問題があった。
【０００４】
また標準顔テンプレートを用いる際に、眼鏡をかけている人や髪を伸ばしている人など様々な人に対応させようとして、眼や眉毛の配置の他、眼鏡、伸びた髪などの条件を入れて緩和しすぎると、標準顔テンプレートによる顔領域の判定が不正確となり、テンプレートを用いるメリットが小さくなることが予測される。反面、個人差に対応させるためにテンプレートによる判定の条件を厳しくしすぎると、眼鏡をかけている人や、髪を伸ばしている人の判定ができず、眼の位置検出可能な人の範囲が限られると言う問題が残る。
【０００５】
さらに、かかる問題は、個人差によって起こるのみならず、車室内という厳しい光環境下によって起こることも予測される。
【０００６】
この発明は、テンプレートを用いて正確且つ迅速に眼の位置検出を行うことのできる眼の状態検出装置の提供を課題とする。
【０００７】
【課題を解決するための手段】
請求項１の発明は、顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段が出力した顔画像データを処理して濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出した連続データを顔の特徴量とする特徴量検出手段と、前記検出された顔の特徴量を含んで特定された各存在領域に対して眼のテンプレートを用いた検索を行い眼の位置を検出する第１の眼の位置検出手段と、前記第１の眼の位置検出手段で眼のテンプレートを用いた検索により眼の位置が検出できないと判断されたとき前記連続データ相互の相対的な位置関係が予め設定された両眼の相対的な位置関係に対応するものを眼の位置として検出する第２の眼の位置検出手段とを設けたことを特徴とする。
【００１０】
請求項２の発明は、請求項１記載の眼の状態検出装置であって、前記第１の眼の位置検出手段は、前記濃度情報による特徴量を基準に範囲を特定し、該範囲内の濃度情報から２値化閾値を求め、該２値化閾値を用いて２値化した特徴量により前記眼のテンプレートを用いた検索を行うことを特徴とする
【００１１】
請求項３の発明は、請求項１又は２記載の眼の状態検出装置であって、前記第１の眼の位置検出手段は、前記連続データ相互の相対的な位置関係が予め設定された両眼の相対的な位置関係に対応するとき該連続データを含んで特定された存在領域に対し眼のテンプレートを用いた眼の位置検出を可能とすることを特徴とする。
【００１２】
請求項４の発明は、請求項１〜３の何れかに記載の眼の状態検出装置であって、前記検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細な位置を検出し、且つ該特徴量の濃度変化から眼の開度を検出する眼の開度検出手段を設け、前記検出した眼の位置、眼の開度情報が設定された眼の条件に対応するとき次の顔画像データに基づき前記追跡領域内で前記テンプレートによる検索を行い前記眼の追跡領域による追跡状態の良否を判定する眼の追跡状態判定手段を設け、前記第１の眼の位置検出手段は、前記眼の追跡状態判定手段により眼の追跡ミスがあったと判定されたとき再度眼の位置検出を行うことを特徴とする。
【００１３】
請求項５の発明は、請求項４記載の眼の状態検出装置であって、前記眼の追跡状態判定手段は、前記顔画像データから眼の位置が検出され前記眼の開度検出手段に移行した直後に前記テンプレートによる検索を行うことを特徴とする。
【００１４】
請求項６の発明は、請求項４又は５記載の眼の状態検出装置であって、前記眼の追跡状態判定手段は、前記追跡領域内に検出した特徴量が上下方向に設定値を上回って移動したとき前記テンプレートによる検索を行うことを特徴とする。
【００１５】
請求項７の発明は、請求項４〜６の何れかに記載の眼の状態検出装置であって、前記眼の追跡状態判定手段は、前記追跡領域内に検出した特徴量が左右方向に設定値を上回って移動し且つ設定時間を上回って滞留しているとき前記テンプレートによる検索を行うことを特徴とする。
【００１６】
請求項８の発明は、請求項４〜７の何れかに記載の眼の状態検出装置であって、前記眼の追跡状態判定手段は、前記追跡領域により眼を追跡しているときに眼の基準位置を学習し、眼の追跡ミスがあったと判定したとき前記学習した眼の基準位置に前記追跡領域を復帰させ、該復帰直後に前記テンプレートによる検索を行うことを特徴とする。
【００１７】
請求項９の発明は、請求項４〜８の何れかに記載の眼の状態検出装置であって、前記眼の追跡状態判定手段は、前記テンプレートによる検索が適さない環境条件のとき設定タイミングでの眼のテンプレートによる検索動作に切り替え、該検索動作で特徴量が検出できたときに前記設定タイミングでの眼のテンプレートによる検索動作を終了することを特徴とする。
【００１８】
請求項１０の発明は、請求項４〜９の何れかに記載の眼の状態検出装置であって、前記検出された眼の開度から眼の開閉状態を判定することにより覚醒度を判定する覚醒度判定手段を設け、前記眼の追跡状態判定手段は、前記判定された覚醒度に応じて前記テンプレートによる検索動作使用の有無を切り替えることを特徴とする。
【００１９】
【発明の効果】
請求項１の発明によれば、検出された顔の特徴量を含んで特定された各存在領域に対して眼のテンプレートを用いた検索を行い眼の位置を検出することができ、顔のテンプレートのような広い範囲を対象としたものから眼のテンプレートの狭い範囲を対象としたものまで段階的に縮小して眼の位置検出を行う必要がなくなり、顔画像データ全体での検索段階から眼のテンプレートを使用することができる。このため判定処理が簡単となり、演算時間を短くすることができ、しかも高い検出精度を維持することができる。また、眼鏡を掛けている人や髪を伸ばしている人など様々な個人差や、車室内に片側から直射日光が当たるなど光環境の大きな変化があっても、少なくとも片側の眼において眼のテンプレートによる検索によるテンプレートマッチングを効果的に用いることができ、眼の位置検出精度を向上させることができる。さらに、厳しい光環境下や極端に眼の細い運転者等の場合に、眼のテンプレートを用いた検索ができなかった場合でも、予め設定された両眼の相対的な位置関係を用いることによって眼の位置を検出することができ、より確実かつ迅速に眼の位置検出を行うことができる。
【００２２】
請求項２の発明では、請求項１の発明の効果に加え、特徴量検出手段が２値化閾値を用いて２値化した特徴量を検出することにより、眼を正確に捉えて眼のテンプレートを用いた検索をより正確に行うことができ、眼の位置検出精度をより向上することができる。
【００２３】
請求項３の発明では、請求項１又は２の発明の効果に加え、検索対象の連続データ相互の相対的な位置関係を、予め設定された両眼の相対的な位置関係に対応するものとして特定してから、眼のテンプレートを用いるため、検索対象となる連続データを予め絞り込むことができ、眼の位置検出をより正確に短時間で行うことができる。
【００２４】
請求項４の発明では、請求項１〜３の何れかの発明の効果に加え、眼の追跡状態判定手段によって眼の位置、眼の開度情報が設定された眼の条件に対応するとき、次の顔画像に基づき追跡領域内で眼のテンプレートによる検索を行い、該検索によって眼の追跡領域による追跡状態の良否を判定し、眼の追跡ミスがあったと判定されたとき、第１の眼の位置検出手段により再度眼の位置検出を行うことができる。従って、より短時間で精度の良い眼の位置検出を行うことができる。
【００２５】
請求項５の発明では、請求項４の発明の効果に加え、顔画像データから眼の位置が検出され、眼の開度検出手段による眼の開度検出に移行した直後に、眼のテンプレートによる検索を行うようにしたので、誤った特徴量を対象とした眼の開度検出の追跡処理を抑制することが可能となり、眼の位置、開度検出をより正確に行うことができる。
【００２６】
請求項６の発明では、請求項４又は５の発明の効果に加え、追跡領域内に検出された特徴量が上下方向に設定値を上回って移動したとき、追跡領域は眼から眉か眼鏡のフレームを追跡対象とするように移動する可能性が高くなり、この移動したときに限って眼のテンプレートによる検索を行うことにより、追跡対象が眼から眉や眼鏡のフレームに移動したことを短時間で正確に認識することができ、眼の位置、開度検出をより正確に行わせることができる。
【００２７】
請求項７の発明では、請求項４〜６の何れかの発明の効果に加え、追跡領域内に検出した特徴量が左右方向に設定値を上回って移動し、かつ設定時間を上回って滞留しているときは、追跡領域は、眼からヘッドレストの端部やルームランプ等眼以外のものを追跡対象とするように移動する可能性が高くなる。このときに限って眼のテンプレートを用いて検索を行うことにより、追跡対象が眼からヘッドレストの端部やルームランプ等へ移動したことを短時間に正確に認識することができ、眼の位置、開度検出をより正確に行わせることができる。
【００２８】
請求項８の発明では、請求項４〜７の何れかの発明の効果に加え、追跡領域により眼を追跡しているとき眼の基準位置を学習し、眼の追跡ミスがあったと判定したとき、前記学習した眼の基準位置に追跡領域を復帰させ、その位置に存在する特徴量に対し眼のテンプレートを用いて検索を行うことができる。したがって、誤った特徴量を対象とした追跡処理を抑制することができ、眼の位置、開度検出をより正確に行わせることができる。
【００２９】
請求項９の発明では、請求項４〜８の何れかの発明の効果に加え、例えば車室内の光環境の悪化状態が長く続き、眼のテンプレートによる検索が適さない環境条件となったときは、設定タイミングでの眼のテンプレートによる検索動作に切り替えることができる。従って、光環境の悪化があったとしても、特徴量の出現がある限り眼の位置、開度検出を続行することができ、検出精度的には若干低下するものの、全く判定ができない状態に陥ることを回避することができる。又、眼のテンプレートによる検索を設定タイミングで続けていることにより、眼のテンプレートによる検索が正常にできるようになったか否かを確認することができ、光環境等が回復した場合には、直ちに精度の良い検出を行うことができる。
【００３０】
請求項１０の発明では、請求項４〜９の何れかの発明の効果に加え、覚醒度判定手段によって眼の開度から眼の開閉状態を判定することによって覚醒度を判定し、眼の追跡状態検出手段が、前記判定された覚醒度に応じて眼のテンプレートによる検索動作使用の有無を切り替えるため、覚醒度が低下し眼の開度が常に小さくなっている状態での眼のテンプレートの使用を停止するなどして眼のテンプレートによる検索が行えない時間比率を少なくすることができる。
【００３１】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータ等の居眠り運転警報として用いることができるが、本実施例では自動車に適用した場合で説明する。
（第１実施形態）
図１は、本発明を適用した眼の状態検出装置の第１の構成ブロック図にかかり、該装置は、画像出力手段ＣＬ１と、顔の特徴量検出手段ＣＬ２と、第１の眼の位置検出手段ＣＬ３と、第２の眼の位置検出手段ＣＬ４とを備えている。
【００３２】
前記画像出力手段ＣＬ１は、乗員の顔を撮像して顔画像データを出力する。前記顔の特徴量検出手段ＣＬ２は、前記画像出力手段ＣＬ１から出力された顔画像データを処理して顔の特徴量を検出する。本実施形態において顔の特徴量検出手段ＣＬ２は、前記画像出力手段ＣＬ１が出力した顔画像データから顔の縦方向の画素列に沿って画素の濃度値を読み出し、該濃度値の局所的な高まり毎に１個づつの画素を定めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを抽出して顔の特徴量とする。
【００３３】
前記第１の眼の位置検出手段ＣＬ３は、前記検出された顔の特徴量を含んで特定された存在領域内で眼のテンプレートに合致する特徴量を抽出して眼の位置を検出する。本実施形態において前記第１の眼の位置検出手段ＣＬ３は、前記検出された顔の特徴量の代表座標値から該特徴量を含んで特定された存在領域内で眼のテンプレートに合致する特徴量を抽出して眼の位置を検出する。
【００３４】
前記第２の眼の位置検出手段ＣＬ４は、前記第１の眼の位置検出手段ＣＬ３で眼のテンプレートに合致する特徴量が抽出できないと判断されたとき、前記特徴量相互の相対的な位置関係が予め設定された両眼の相対的な位置関係に対応するものを眼の位置として検出する。
【００３５】
こうして検出された眼の位置から、例えば基準値を用いて覚醒度判定、脇見判定などを行い、居眠り運転状態、脇見運転状態などであれば、ブザーによる警報などを発する。
【００３６】
図２は、本発明の第１実施形態にかかる構成ブロック図である。
【００３７】
同図のように、ＴＶカメラ１が自動車のインストルメントに設置され、運転者の顔部分を正面から撮影する。ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、Ａ−Ｄ変換器２を介して画素毎のアナログ電圧が２５６階調のデジタル値に変換され、入力画像データとして画像メモリ３に格納される。画像メモリ３の出力は、画像データ演算回路４に入力される。
【００３８】
従って、ＴＶカメラ１、Ａ−Ｄ変換器２、画像メモリ３は、本実施形態において前記画像出力手段ＣＬ１を構成している。
【００３９】
前記画像データ演算回路４は、前記特徴量検出手段ＣＬ２を構成し、前記入力された顔画像データから顔の縦方向の画素列に沿って画素の濃度値を読み出し、該濃度値の局所的な高まり毎に１個づつの画素を定めて抽出点とし、隣接した抽出点を連続させて顔の横方向に延びる連続データを抽出して顔の特徴量とし、その出力は眼の位置検出回路５に入力される。
【００４０】
前記眼の位置検出回路５は、前記検出された顔の特徴量の代表座標値から該特徴量を含んで特定された存在領域内で眼のテンプレートに合致する特徴量を抽出して眼の位置を検出する。また、眼のテンプレートに合致する特徴量が抽出できないと判断されたとき前記特徴量相互の相対的な位置関係が予め設定された両眼の相対的な位置関係に対応するものを眼の位置として検出する。従って、本実施形態において、眼の位置検出回路５は、前記第１の眼の位置検出手段ＣＬ３、第２の眼の位置検出手段ＣＬ４を構成している。
【００４１】
そして図示はしないが、眼の位置検出回路５によって検出された眼の位置のデータを用いて眼の状態を判定し、乗員の居眠りや脇見運転などを判断し、居眠り運転や脇見運転が行われているときにはブザーなどによって警告を行うようにしている。
【００４２】
次に、上記構成における動作の流れを、図３，図４のフローチャートと、図５〜図１７を用いて説明する。まず、図３のステップＳ３０１は画像出力手段ＣＬ１として機能し、前記ＴＶカメラ１によって顔部分が撮影され、１フレーム分の入力画像がＡ−Ｄ変換器２でデジタル信号に変換されたうえ画像メモリ３に格納される。
【００４３】
次に、ステップＳ３０２〜Ｓ３０７は、特徴量検出手段ＣＬ２として機能する。まず、ステップＳ３０２では、縦方向に１ライン終了後に、一つ隣のラインの処理に移して行き、縦方向の全ラインでのポイント抽出が終了したか否かを判断する。ステップＳ３０２で全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップＳ３０３に移行する。
【００４４】
ステップＳ３０３では、縦方向（Ｙ軸方向）の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。ステップＳ３０４では、ステップＳ３０３の演算結果である相加平均値における微分演算を行う。ステップＳ３０５では、ステップＳ３０４の演算結果である微分値によるポイント抽出を行う。この処理が１ライン終了した後、ステップＳ３０６で、次のラインの処理に切り替えて行く。
【００４５】
前記ステップＳ３０２で全ラインのポイント抽出が終了したと判断されると、ステップＳ３０７へ移行し、隣合う各ラインの抽出ポイントのＹ座標値を比較し、Ｙ座標値が所定値以内の場合、連続データとして、▲１▼連続データのグループ番号、▲２▼連続開始ライン番号、▲３▼連続データ数、▲４▼連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、▲５▼連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする。ここでの検出対象は眼としているため、その特徴量は横に比較的長く続くデータであるといえるので、横方向に所定値以上続くことを条件に連続データを選択することができる。
【００４６】
このようにして選択した顔の特徴量を連続データＧとして表したものを図５に示す。なお、連続データＧの抽出方法をフローチャートの流れのみで簡単に説明したが、処理状態の詳細については、「特開平１０−４０３６１号」「特開平１０−１４３６６９号」などにも記載されている。
【００４７】
次にステップＳ３０８〜Ｓ４０３は、第１の眼の位置検出手段ＣＬ３として機能する。ステップＳ３０８において、図５に示すような各連続データＧの代表座標値Ｃを基準に各連続データＧを含む存在領域ＥＡを設定する。この存在領域ＥＡは、次のようにして決定する。
（存在領域ＥＡの大きさの決め方）
存在領域ＥＡの大きさは、図６〜図８のようにして決めている。図６は存在領域ＥＡの大きさを示し、図７，図８は数人の眼の大きさを調べた横、縦の長さの統計データを示している。ここで存在領域ＥＡの大きさはノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。現在の居眠り検出などの処理で使っている大きさは数人の眼の大きさを調べ、それに余裕分（例えば×１．５倍）を加味した大きさにしている。数人の眼の大きさを統計的に求める方法としては、図７，図８のように、眼の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分をみて決定する方法が考えられる。そしてこの９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに図６のように余裕分（×１．５）をみて決定している。尚、画像処理により眼の幅や高さを推定し、縦横の大きさに余裕分を加える方法も考えられる。
【００４８】
（存在領域ＥＡの位置の決め方）
図９は、例えば右眼の存在領域ＥＡを位置決めする方法について示している。眼の座標値（ｘ１，ｙ１）を基準に、距離ｘ２，ｙ２の位置に存在領域ＥＡを描く基準点Ｐを決め、Ｐ点から予め決めておいた存在領域ＥＡの寸法ｘ３，ｙ３を描画し、位置を決める。ｘ２及びｙ２はｘ３，ｙ３の１／２で予め存在領域ＥＡが眼の中心にくるような長さとしている。
【００４９】
こうして存在領域ＥＡが設定されたらステップＳ３０９に移行し、図１０の上側に示すような２値化閾値を設定するために濃度情報を読み出す範囲ＡＲを設定する。この範囲ＡＲは、前記存在領域ＥＡより小さく、２値化閾値を正確に設定できるようにしている。
【００５０】
ステップＳ３１０では、各範囲ＡＲ内において各連続データＧに対応した２値化処理を行う。
【００５１】
各範囲ＡＲでの２値化閾値の算出方法の一例を、図１０を用いて説明する。範囲ＡＲにおいて縦方向に数ラインの濃度値の読み出しを行う。図１０では、この縦方向へのラインが４本あることを示している。この各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリして行き、全ラインのメモリが終了したら、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求め、その中央値を２値化閾値とする。この２値化閾値のための範囲ＡＲは、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定し、また、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにしている。また、２値化閾値は、その領域内の眼の一番低い（暗い）濃度値と、皮膚の部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。さらに、２値化閾値を決定するのに皮膚の部分の濃度値の一番低い（暗い）濃度値を用いている理由は、次の通りである。前述したように眼の周囲の明るさのバラツキによる影響を少なくするために、濃度値を読み出す範囲ＡＲを極力小さくしていても、該範囲ＡＲの一部に直射光が当たっているような部分が外乱として入ることがあり、この部分を２値化閾値の決定に用いないようにするためである。こうして決定した２値化閾値を用いて各連続データＧの存在領域ＥＡにおける２値化処理を行った画像を図１１に示している。このような２値化閾値を用いて２値化した連続データを検出することにより、眼を正確に捉えて眼のテンプレートを用いた検索をより正確に行うことができ、眼の位置検出精度をより向上することができる。
【００５２】
次に図４のステップＳ４０１に移行し、各存在領域ＥＡの２値化画像を対象とした眼のテンプレートを用いた検索（テンプレートマッチング）を行う。
【００５３】
眼の２値化した形状は光環境が良く安定した画像であれば図１２の（ａ）に示すようなものになるが、車室内に直射日光が一側から当たる等して光環境が悪化した時は、図１２の（ｂ）や（ｃ）のような形状になることもある。
【００５４】
眼のテンプレートは、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることの条件▲１▼と、黒眼の左側の凹み形状条件の▲２▼と、黒眼の右側の凹み形状条件の▲３▼とを組み合わせることにより設定し、図１２の（ｂ），（ｃ）の例を許容するために▲１▼と▲２▼、または▲１▼と▲３▼の条件を満たすものであっても良いものとする。
【００５５】
ステップＳ４０２では眼のテンプレートに合致する連続データが存在するか否かの判断が行われ、連続データが１つ以上あると判定された場合は、ステップＳ４０３に移行する。
【００５６】
この時、眼のテンプレートに合致する連続データが、ちょうど２つ検出できた場合は、そのデータを眼であると決定する。一方、一つの検出しかできていない場合は、図１３に示すように、もう一方の眼が存在すると考えられる位置をＤ１，Ｄ２の横、縦の眼の間隔の相場値から検索し、該当する位置にある連続データをもう一方の眼として両眼位置の検出を行う。また、３つ以上の検出がなされた場合についても、両眼の相対的な位置としてふさわしい２つのデータを選択して両眼の位置とする。
【００５７】
ステップＳ４０２で眼のテンプレートに合致するデータが１つもないと判定された場合は、ステップＳ４０４に移行する。ステップＳ４０４は、前記第２の眼の位置検出手段ＣＬ４として機能し、各連続データの相対位置関係による眼の位置検出を行うことにより、厳しい光環境下や、極端に眼の細い運転者を対象とした場合でも全く眼の位置検出ができないということをなくすことができる。
【００５８】
各連続データの相対位置関係による眼の位置検出の具体例を図１４〜１７を用いて説明する。図１４，図１５は眼鏡を掛けていない人の場合である。前記ステップＳ３０７でメモりされたデータから、まず連続データＧ１を眼であると仮定し、もう一方の眼は、連続データＧ２〜Ｇ６のどれが眼として相応しいかを図１３で示したＤ１とＤ２の間隔を基準にして判定して行く。連続データＧ１を基準として判定した場合、連続データＧ３，Ｇ５，Ｇ６は、もう一方の眼であるとは考えられない相対位置関係に当たるため、判定対象からは除外し、残る連続データＧ２とＧ４とでどちらがより眼である可能性が高いかによって順位付けを行う。その結果、眉の下には眼は存在するものであるから、連続データＧ４を眼の第１候補と置く。このようにして基準にする連続データをＧ２〜Ｇ６へと順に切り替えて同様の判定を行う。この判定が全て終了した後に、眼の候補として考えられる順位付けが高い連続データを２つ選び出すことによって眼の位置を決定する。
【００５９】
図１６，図１７は眼鏡を掛けている人の場合を示したものである。眼鏡を掛けている場合、当然、抽出される連続データが多くなるので、眉の下には眼は存在する等の他、眼鏡との関係も条件に加えるなど相対位置関係による判定は、やや複雑になるが、同様の判定により眼の位置を決定することができる。
【００６０】
この相対位置関係による連続データの絞り込みを、眼のテンプレートによる検索ができない場合に使用すると、眼のテンプレートによる検索を行う対象を削減できるので処理の高速化を図ることができる。
【００６１】
このように本実施形態によれば、広い範囲を対象としたテンプレートの検索から狭い範囲を対象としたテンプレートの検索へ段階的に縮小して眼の位置検出を行う必要がなくなり、顔画像データ全体の検索段階から眼のテンプレートによる検索を行うことができ、検索処理が簡単になり、演算時間が短く、迅速な処理を行うことができる。従って、高速で走行する自動車等においてもその機能を十分に発揮することができる。又、顔画像データ全体の検索段階から眼のテンプレートを使用することができ、眼鏡の有無等の個人差や、車室内に片側から直射日光が当たるなどの光環境変化があっても眼のテンプレートを効果的に用いることができ、眼の位置検出を正確に行うことができる。
【００６２】
また本実施形態において、眼のテンプレートによる検索対象の連続データ相互の相対的な位置関係を、予め設定された両眼の相対的な位置関係に対応するものとしてステップＳ３０７でメモりされた連続データの中から特定し、この特定した連続データに対して存在領域ＥＡ、範囲ＡＲを決定して眼のテンプレートを用いることにより、検索対象となる連続データを予め絞り込むことができ、眼の位置検出をより正確に短時間で行うことができる。
（第２実施形態）
図１８は本発明を適用した眼の状態検出装置の第２の構成ブロック図に係り、図１９は本発明の第２実施形態に係る構成ブロック図である。
【００６３】
図１８の第２の構成ブロック図は、図１の第１の構成ブロック図に対し、眼の開度検出手段ＣＬ５、眼の追跡状態判定手段ＣＬ６を追加して設け、眼の位置の再検出を行うようにしている。すなわち前記眼の開度検出手段ＣＬ５は、前記第１の眼の位置検出手段ＣＬ３又は第２の眼の位置検出手段ＣＬ４において検出された眼の位置を基準に眼を含む追跡領域を設定すると共に、該追跡領域内で顔の特徴量を検出して眼の詳細な位置を検出し、かつ該特徴量の濃度変化から眼の開度を検出する。
【００６４】
前記眼の追跡状態判定手段ＣＬ６は、検出した眼の位置、眼の開度情報が設定された眼の条件に対応するとき、前記追跡領域内で前記眼のテンプレートによる検索を行い、前記眼の追跡領域による追跡状態の良否を判定する。また眼の追跡状態判定手段ＣＬ６は、顔画像データから眼の位置が検出され、前記眼の開度検出手段ＣＬ５に移行した直後に前記テンプレートによる検索を行う。さらに、眼の追跡状態判定手段ＣＬ６は、前記追跡領域内に検出した特徴量が上下方向に設定値を上回って移動したとき前記テンプレートによる検索を行う。また前記眼の追跡状態判定手段ＣＬ６は、前記追跡領域内に検出した特徴量が左右方向に設定値を上回って移動し且つ設定時間を上回って滞留しているとき前記テンプレートによる検索を行う。また眼の追跡状態判定手段ＣＬ６は、前記追跡領域により眼を追跡しているときに眼の基準位置を学習し、眼の追跡ミスがあったと判定したとき前記学習した眼の基準位置に前記追跡領域を復帰させ、該復帰直後に前記テンプレートによる検索を行う。
【００６５】
眼の位置の再検出は、例えば前記第１の眼の位置検出手段ＣＬ３、第２の眼の位置検出手段ＣＬ４が行う。
【００６６】
図１９の構成ブロック図では、前記第１実施形態の図２の構成ブロック図に対し、眼の開度検出回路６、眼の追跡状態判定回路７を追加して設けている。前記眼の開度検出回路６は、前記眼の開度検出手段ＣＬ５を構成し、眼の開度を検出する。前記眼の追跡状態判定回路７は、前記眼の追跡状態判定手段ＣＬ６を構成し、眼の追跡領域による追跡状態の良否を判定することなどを行う。
【００６７】
次に、上記構成における動作の流れを、図２０，図２１のフローチャートと、図２２〜図２６を用いて説明する。
【００６８】
まず、図２０のステップＳ１６０１において、ＴＶカメラ１によって顔部分が撮影され、１フレーム分の入力画像がＡ−Ｄ変換器２デジタル信号に変換されたうえ画像メモリ３格納される。
【００６９】
次に、ステップＳ１６０２〜Ｓ１６０４、Ｓ１６０９は前記眼の開度検出手段ＣＬ５として機能する。まずステップＳ１６０２において、眼の追跡領域が設定されているかどうかをチェックする。眼の追跡領域とは、本実施形態において前記眼を含む存在領域ＥＡと同一のものを示している。すなわち、ステップＳ１６０３では、画像出力手段ＣＬ１と、顔の特徴量検出手段ＣＬ２と、第１の眼の位置検出手段ＣＬ３と、第２の眼の位置検出手段ＣＬ４により、実施例１と同様に眼の位置が検出され、この眼の位置からステップＳ１６０４で実施例１の存在領域ＥＡと同様の処理により眼の追跡領域を設定する。次の顔画像データに基づき追跡領域内に出現する連続データの位置を検出することによって、眼の詳細位置を認識し、その特定された位置の濃度データを読み出すことにより眼の開度検出を行っている。また、この追跡領域内に出現する連続データの詳細位置を基に次の取り込み画像での追跡領域を設定することによって眼の位置変化に対応できるようにしている。
【００７０】
ステップＳ１６０２において眼の追跡領域が設定されていない場合は、ステップＳ１６０３およびＳ１６０４において、眼の追跡領域となる横方向（Ｘ方向）の幅と縦方向の（Ｙ方向）の幅を設定する。該領域の位置大きさの決め方は前記の通りである。
【００７１】
ステップＳ１６０２で眼の追跡領域が設定されていると判断された場合、ステップＳ１６０５に移行し、眼の位置検出から移行直後の眼の追跡領域であるか否かを判定する。このステップＳ１６０５等、前記ステップＳ１６０１〜Ｓ１６０４，Ｓ１６０９以外の各ステップは、前記眼の追跡状態判定手段ＣＬ６として機能する。ステップＳ１６０５で眼の追跡処理への移行直後であると判定された場合は、ステップＳ１６０６に移行する。このように、眼の開度検出に移行した直後に、眼のテンプレートによる検索を行うようにしたので、誤った連続データを対象とした眼の開度検出の追跡処理を抑制することが可能となり、眼の位置、開度検出をより正確に行うことができる。
【００７２】
ステップＳ１６０６では、眼のテンプレートを用いた検索により眼の位置検出がなされたか否かを判定し、眼のテンプレート検索により眼の位置検出がなされている場合は、眼の追跡による開閉眼判定を続ける前に、再度ステップＳ１６０７で連続データの２値化形状が眼のテンプレートに合致するかどうかを判定する。この時、眼のテンプレートに合致しないと判定された場合は、誤った対象を追跡候補としている可能性が高いため、眼の追跡ミスがあったものとしてステップＳ１６０８に移行させ、眼の追跡領域をクリアして、再度ステップＳ１６０３で眼の位置検出を行う。
【００７３】
このように、眼の位置、眼の開度情報が設定された眼の条件に対応する時、設定した追跡領域内で眼のテンプレートによる検索を行い、該検索によって眼の追跡領域による追跡状態の良否を判定し、眼の追跡ミスがあったと判定されたとき、再度眼の位置検出を行うことができる。従って、特に追跡ミスが起こった時に限定して眼のテンプレートを用いることができ、より短時間で精度の良い眼の位置検出を行うことができる。
【００７４】
ステップＳ１６０４以降の処理、及びステップＳ１６０５で眼の位置検出から移行直後の眼の追跡領域でないと判定された場合、ステップＳ１６０６でテンプレートによる眼の位置検出がなされていない場合、ステップＳ１６０７で連続データの２値化形状が眼のテンプレートに合致していると判定された場合は、ステップＳ１６０９に移行する。ステップＳ１６０９では、眼の開度検出による眼の開度値と眼の追跡領域内に出現した連続データの抽出位置に基づく眼の座標位置をメモリする。
【００７５】
その後、ステップＳ１６１０に移行し、眼の基準位置が設定されているか否かを判定する。初期状態であれば、眼の基準位置は当然設定されていないため、ステップＳ１６１１に移行する。ステップＳ１６１１では、眼の基準位置の設定条件を満たしたかどうかを判定している。眼の基準位置は、運転者が車両前方を見ているとき、画像上で眼の位置が滞留するポイントと定義づけており、何フレームかの、眼の位置や開度変化状態を判定することによって決定している。よって、条件が満たされるまでは、ステップＳ１６０１に戻り、次に取り込んだ画像での判断を続ける。ステップＳ１６１１で眼の基準位置の条件を満たした時は、ステップＳ１６１２に移行して、眼の基準位置をメモリする。ステップＳ１６１０で眼の基準位置が既に設定されていると判定された場合と、ステップＳ１６１２で新たに眼の基準位置がメモリされた場合は、図２１のステップＳ１７０１に移行する。
【００７６】
ステップＳ１７０１では、眼の位置座標が上下方向に所定値以上移動したかどうかを判定している。例えば図２２に示すように運転者が眼鏡を掛けている場合、顔の上下方向のちょっとした動きで、図２３の眼の追跡領域ＣＥ１内に眼鏡のフレームの連続データＧ２が入り、眼の連続データＧ１がはみ出てしまった場合、追跡対象を眼鏡のフレームと間違えてＣＥ２，ＣＥ３で示すように眼の追跡領域が移動してしまうことがある。このような誤追跡を防止するために眼の位置座標の上下方向の動きを判定している。この時の動きを判定している所定量は、眼と眉の間隔や、眼と眼鏡のフレームの間隔の相場値である２〜３ｃｍとしこの範囲を越えて移動するときに追跡ミスありと判断する。
【００７７】
このように、追跡領域ＣＥ内に検出された連続データが上下方向に設定値を上回って移動したとき、追跡領域ＣＥは眼から眉か眼鏡のフレームを追跡対象とするように移動する可能性が高くなり、この移動したときに限って眼のテンプレートによる検索を行うことにより、追跡対象が眼から眉や眼鏡のフレームに移動したことを短時間で正確に認識することができ、眼の位置、開度検出をより正確に行わせることができる。
【００７８】
ステップＳ１７０１で眼の位置座標の上下方向の移動がないと判定された場合は、ステップＳ１７０２に移行し、左右方向の眼の位置座標の動きを判定する。眼の位置の左右方向の動きは、上下方向と違い図２４のように安全確認などで、しばらく前方以外を見ていることもあるため、眼の追跡領域ＣＥが図２５のように眼と共に移動しても、すぐに眼のテンプレートによる検索を行わないように、移動量の判定に加え、その移動した状態が所定時間以上続いているかどうかも判定している。眼の左右方向への移動の時も、眼鏡のフレームへ追跡対象が移動することもあるため、上下方向と同様に動きの判定の所定量を２〜３ｃｍとしており、時間的には安全確認中と考えられる時間の２〜３秒ぐらいとし、この範囲を越えるときに追跡ミスありと判断する。
【００７９】
このように、追跡領域ＣＥ内に検出した連続データが左右方向に設定値を上回って移動し、かつ設定時間を上回って滞留しているときは、追跡領域ＣＥは、眼からヘッドレストの端部やルームランプ等眼以外のものを追跡対象とするように移動する可能性が高くなる。このときに限って眼のテンプレートを用いて検索を行うことにより、追跡対象が眼からヘッドレストの端部やルームランプ等へ移動したことを短時間に正確に認識することができ、眼の位置、開度検出をより正確に行わせることができる。
【００８０】
ステップＳ１７０２で眼の位置座標の左右方向の移動がないか、あっても短時間であると判定された場合は、ステップＳ１７０３に移行する。ステップＳ１７０３では、眼の開度値が変化しているか否かを判定し、眼を正しく捉えている状態で瞬きに相当する眼の開度変化が認識できる時は、ステップＳ１７０４に移行する。
【００８１】
ステップＳ１７０１で眼の位置座標の上下方向への移動、ステップＳ１７０２で左右方向への移動、ステップＳ１７０３で眼の開度値の変化がないと判定された時は、ステップＳ１７０７に移行する。ステップＳ１７０７では、追跡領域内の連続データの２値化形状が眼のテンプレートに合致するかどうかを判定する。眼のテンプレートに合致する時は、眼の追跡が正常に行われていると判定してステップＳ１７０４に移行する。また、眼のテンプレートに合致しない時は、追跡ミスがあって現在の追跡対象が眼でない可能性が高いとしてステップＳ１７０８に移行する。
【００８２】
ステップＳ１７０８では、図２６に示す事前に学習した眼の基準位置ＢＡに眼の追跡領域ＣＥを復帰させる。この処理を行う理由は、眼の追跡領域ＣＥが移動し、その連続データが眼でない可能性が高いと判定された場合、基準位置として認識されたもともと眼があった位置に眼がある確率が高いと判断できるからである。ステップＳ１７０９では、眼の基準位置ＢＡに復帰させた追跡領域ＣＥ内に出現する連続データＧの２値化形状に対して眼のテンプレートを用いて検索を行う。ステップＳ１７０９で眼のテンプレートに合致した時は、眼の基準位置で眼が正しく捉えられたと判定してステップＳ１７０４に移行する。ステップＳ１７０９において眼のテンプレートに合致しないと判断されたときは、ステップＳ１７１０に移行して、追跡領域の復帰ＮＧ回数のカウントアップを行い、ステップＳ１７１１で眼の追跡領域をクリアし、再度ステップＳ１６０１、Ｓ１６０２、Ｓ１６０３の眼の位置検出から行う。追跡領域の復帰ＮＧ回数をカウントアップする目的は、事前に学習した眼の基準位置の検証を行うためで、基準位置に眼の追跡領域を何度復帰させても眼と考えられるデータが見つからない時は、その基準位置の妥当性を判定する必要があるからである。
【００８３】
ステップＳ１７０４では、上述したように基準位置の妥当性を判定するために、眼の追跡領域の復帰ＮＧ回数が所定数を越えたかどうかを判定している。つまり、復帰ＮＧ回数が所定回数を越えた場合は、眼の基準位置が妥当でないと判定して、ステップＳ１７０５に移行して眼の基準位置と復帰ＮＧ回数のカウンタをクリアする。その後、ステップＳ１７０６において眼の追跡領域を該領域内の連続データの出現位置に基づき更新し、次の画像取り込みに移る。
【００８４】
このように、追跡領域により眼を追跡しているとき眼の基準位置を学習し、眼の追跡ミスがあったと判定したとき、前記学習した眼の基準位置に追跡領域を復帰させ、その位置に存在する連続データに対し眼のテンプレートを用いて検索を行うことができる。したがって、誤った連続データを対象とした追跡処理を抑制することができ、眼の位置、開度検出をより正確に行わせることができる。
【００８５】
そして、眼の位置、眼の開度情報が設定された眼の条件に対応する時、設定した追跡領域内で眼のテンプレートによる検索を行い、該検索によって眼の追跡領域による追跡状態の良否を判定し、眼の追跡ミスがあったと判定されたとき、再度眼の位置検出を行うことができる。従って、より短時間で精度の良い眼の位置検出を行うことができる。
【００８６】
まず図２７の第３の構成ブロック図は、前記図１８の第２の構成ブロック図に対し覚醒度判定手段ＣＬ７を備えている。
【００８７】
前記覚醒度判定手段ＣＬ７は、検出された眼の開度から眼の開閉状態を判定することにより覚醒度を判定する。そして判定された覚醒度に応じてテンプレートによる検出動作使用の有無を切り替える。この切り替えは、前記眼の追跡状態判定手段ＣＬ６で行われる。また眼の追跡状態判定手段ＣＬ６は、前記テンプレートによる検索が適さない環境条件のとき設定タイミングでの眼のテンプレートによる検索動作に切り替えると共に、該検索動作で検出ができたときに前記設定タイミングでの眼のテンプレートによる検出動作を終了する。ここで、設定タイミングとは、光環境等の環境条件の変化により、テンプレートによる検索ができない状態になったとき、例えば数分に一回程度、テンプレートによる検索動作に切り替えることによりテンプレートによる検索動作が可能かどうかを確認するタイミングである。例えば、車速、ナビ情報、時刻、季節などの走行状態、走行環境に応じて設定タイミングの間隔を変更するようにすれば、無駄な処理をしなくてすむため、より早い検出動作が可能となる。
【００８８】
図２８の構成ブロック図では、前記第２実施形態の図１９のブロック図に対し、覚醒度判定回路８を設けている。この覚醒度判定回路８は、前記覚醒度判定手段ＣＬ７を構成するもので、運転者の覚醒度を判定している。
【００８９】
次に、上記構成における覚醒度の判定結果に基づき眼のテンプレート検索を切り替える動作を、図２９のフローチャートを用いて説明する。また、車室内の光環境の変化により眼のテンプレート検索を切り替える動作を図３０，図３１を用いて説明する。
【００９０】
まず、始めに覚醒度の判定結果に基づき眼のテンプレート検索を切り替える動作を図２９のフローチャートを用いて説明する。本実施形態において基本的な動作は、前述の眼の開度検出装置のフローチャート図２０と図２１と同様であり、特に図２０に記載してある処理の流れは、本実施形態も同一でありそのまま踏襲する。即ち、図２９の▲２▼は、図２０の▲２▼からの移行を示し、図２９の▲１▼は、図２０の▲１▼への移行を示している。また、図２１の処理の流れに対しては一部異なるところがあるので、図２１のフローチャートに代わる図２９を用いて説明する。
【００９１】
図２９のステップＳ２５０１で、眼の位置座標の上下方向の移動がないことが判定され、ステップＳ２５０２で眼の位置座標が左右方向の移動がないことが判定され、ステップＳ２５０３で眼の開度変化があることが確認された場合、ステップＳ２５０４に移行して、眼の開度に基づき開閉眼の判定を行う。その後、ステップＳ２５０５に移行して、閉眼の発生パターンから覚醒度判定を行う。即ちこのステップＳ２５０４、ステップＳ２５０５は、本実施形態において前記覚醒度判定手段ＣＬ７として機能している。
【００９２】
ステップＳ２５０１で眼の位置座標の上下方向の移動がある、ステップＳ２５０２で眼の左右方向の移動がある、ステップＳ２５０３で眼の開度変化がないことが認識された場合は、ステップＳ２５０９に移行する。ステップＳ２５０９では、ステップＳ２５０５で判定している覚醒度レベルが低いかどうかを判定しており、覚醒度が低いと判定された場合は、ステップＳ２５１０の眼のテンプレートとの合致判定をカットしてステップＳ２５１１に移行し、眼の基準位置への追跡領域の復帰を行う。これは、覚醒度レベルが低くなると眼の開度値が小さくなっている状態であると考えられるため、仮にそのデータが眼でないかもしれないことが判定できても、眼のテンプレートを用いた検索が有効に機能しないこがあるからである。また、覚醒度レベルが低くなってくると、顔の動きそのものは、起きている時に比べて小さくなってくる傾向があるので、このような状態で眼の座標位置が、上下または左右に移動したと判定された場合は、顔の動きによるものでなく誤追跡があったと考えることが妥当である。従って、上記のステップＳ２５０９からステップＳ２５１０をカットしてステップＳ２５１１に移行するのである。
【００９３】
なお、眼の位置が移動したのではなく（ステップＳ２５０２ＮＯ）、眼の開度変化がない（ステップＳ２５０３ＹＥＳ）ことが認識されてステップＳ２５０４に移行した場合は、本来ステップＳ２５１１で眼の基準位置への追跡領域の復帰は必要としない処理であるが、仮にこの判定がなされたとしても、眼の追跡を行っていた位置と、眼の基準位置が大きく違っている可能性は低く、全体の処理として問題は発生しない。
【００９４】
眼の基準位置への眼の追跡領域の復帰後の眼のテンプレート検索の判定（ステップＳ２５１３）においても、その前のステップＳ２５１２における覚醒度レベルの判定で、覚醒度レベルが低いと判定された場合は、眼のテンプレート検索をすることなく、ステップＳ２５０４の通常の開閉眼判定の処理に戻す。
【００９５】
このように、眼の開度から眼の開閉状態を判定することによって覚醒度を判定し、判定された覚醒度に応じて眼のテンプレートによる検索動作使用の有無を切り替えるため、覚醒度が低下し眼の開度が常に小さくなっている状態での眼のテンプレートの使用を停止するなどして眼のテンプレートによる検索が行えない時間比率を少なくすることができる。
【００９６】
次に、車室内の光環境の変化により眼のテンプレート検索を切り替える動作の流れを説明する。この処理は、光環境が悪い状態が続く場合など、眼のテンプレート検索に適さない状態が長く続くこともあることを想定したものである。眼の位置座標の移動判定など、所定条件下で眼のテンプレート検索を使用する構成としていると、前述のような光環境状態の悪化が発生すると、光環境状態が改善するまで眼の位置、開度、居眠り状態検出ができないことになる。この問題点を解決するために、所定条件による眼のテンプレート検索が使用できる状態にあるかないかを判定し、使用できない状態と判定された時は、設定タイミングで眼の追跡領域内に出現する連続データを対象として眼のテンプレート検索を行いながら所定条件での眼のテンプレート検索ができる状態になったか否かの判定を行う。
【００９７】
本実施形態でも、前述の覚醒度の判定結果に基づき眼のテンプレート検索の使用方法の切り替えを説明した図２９のフローチャートと基本的には同一である。従って、図３０，図３１においても図２９と同様に、図３０の▲２▼は、図２０の▲２▼からの移行を示し、図３１の▲１▼は、図２０の▲１▼への移行を示している。そして図３０，図３１では、図２９と異なる部分のみを説明する。
【００９８】
眼の位置の移動があった時や、眼の開度変化がなくなり、眼のテンプレート検索が使用できない状態になった時に、図２９の例ではステップＳ２５０９において覚醒度レベル判断により眼のテンプレート検索の使用を制限していたが、本実施形態の図３０の例ではステップＳ２６１０、ステップＳ２６１３に示すように、所定条件でのテンプレートマッチングの中止フラグのＯＮ，ＯＦＦ判断により眼のテンプレート検索の使用を制限する。
【００９９】
前記所定条件でのテンプレートマッチングの中止フラグのＯＮ，ＯＦＦのコントロール方法を、図３１のフローチャートで説明する。図３１のフローチャートは、左側が前記フラグをＯＦＦにする判定を行う流れを示し、右側が同ＯＮにする判定を行う流れを示している。通常、処理の開始直後は、眼のテンプレートを用いた検索ができる状態であるため、図３１の右側の処理から行われる。
【０１００】
即ち処理の開始直後は、眼のテンプレートを用いた検索ができる状態であるとして、図３０のステップＳ２６１０，Ｓ２６１３の判断は、所定条件でのテンプレートマッチングの中止フラグがＯＦＦと判断され（ＮＯ）、ステップＳ２６１１や、ステップＳ２６１４へ移行する。眼の追跡中に、眼の座標位置の移動が確認されるなどしてステップＳ２６０１，Ｓ２６０２，Ｓ２６０３からステップＳ２６１０側へ移行したときは、図３０のステップＳ２６１１や、ステップＳ２６１４の何れでも、眼のテンプレートに合致しないと判定される。
【０１０１】
この判定により図３１のステップＳ２７０８から、ステップＳ２７０９に移行して眼の追跡領域のクリアを行い、眼の位置の再検出処理に移行させる。この眼の位置の再検出に移行させる処理回数はステップＳ２７１０でカウントアップされる。その後、ステップＳ２７１１に移行して、該クリアのカウント値が所定回数を越えたか否かが判定される。この判定により、比較的長い時間にわたり眼のテンプレートを用いた検索ができない状態が発生していることを認識した場合は、ステップＳ２７１２に移行してテンプレートマッチングの中止フラグをＯＮにする。その後、ステップＳ２７１３において眼の追跡領域クリアカウンタの初期化を行う。
【０１０２】
このようにして眼のテンプレート検索が使用できる状態にあるかないかを判定し、使用できない状態と判定された時は、眼のテンプレートを用いた検索は中止される。
【０１０３】
また、この眼の追跡領域クリアカウンタの積算中に、図３０のステップＳ２６０６で、眼の再検出中に眼のテンプレート検索による眼の位置検出が行われたか否かを判定し、眼のテンプレート検索による眼の位置検出がなされていることが確認できれば、ステップＳ２６０７に移行して眼の追跡領域クリアカウンタの初期化を行い、テンプレートマッチングの中止フラグをＯＮにするタイミングを遅延する処理がある。
【０１０４】
従って、眼のテンプレート検索による眼の位置検出が適さないと判断されているときでも、眼の位置検出がなされていることが確認されている限り眼のテンプレートを用いた検索により眼の開度検出を続行することができ、検出精度的には若干低下するものの、全く判定ができない状態に陥ることを回避することができる。
【０１０５】
次に、テンプレートマッチングの中止フラグをＯＮからＯＦＦにする時の判定内容を、図３１の左側のフローチャートを用いて説明する。ステップＳ２７０１でテンプレートマッチングの中止フラグのＯＮ，ＯＦＦを確認し、ＯＮである場合は、ステップＳ２７０２に移行し、開閉眼処理回数のカウントアップを行う。このカウントアップは、設定タイミングを計測しているものである。ステップＳ２７０３で該回数が設定の所定回数に達したかどうかを判定し、所定回数に達していることが確認できれば、ステップＳ２７０４で開閉眼処理回数カウンタをクリアして、ステップＳ２７０５で眼のテンプレートを用いた検索が行える状態になったか否かの判定を行う。ステップＳ２７０５で眼のテンプレート検索が行えることが確認できれば、ステップＳ２７０６でテンプレートマッチングの中止フラグをＯＦＦにし、以降の処理からは、眼の位置の移動状態などが所定条件となった時に眼のテンプレートを用いた検索を行う。
【０１０６】
即ち、又、眼のテンプレートによる検索を設定タイミングで続けていることにより、眼のテンプレートによる検索が正常にできるようになったか否かを確認することができ、光環境等が回復した場合には、眼のテンプレートを用いて直ちに精度の良い検出を行うことができる。
【０１０７】
なお、本願発明の上記実施形態において出てくる眼の開度検出、眼の追跡、開閉眼の判定、覚醒度の判定の原理については、特開平１０−４０３６１号公報、特開平１０−１４３６６９号公報にも記載されている。
【図面の簡単な説明】
【図１】本発明の眼の状態検出装置の構成を示す第１の構成ブロック図である。
【図２】本発明の第１実施形態に係るブロック図である。
【図３】第１実施形態に係り、眼の位置検出の全体動作を示すフローチャートである。
【図４】第１実施形態に係り、眼の位置検出の全体動作を示すフローチャートである。
【図５】第１実施形態に係り、眼のテンプレートを用いた眼の位置検出の説明図である。
【図６】眼の存在領域の大きさを示す説明図である。
【図７】眼の横方向の長さの統計図である。
【図８】眼の縦方向の長さの統計図である。
【図９】眼の存在領域の位置を決める説明図である。
【図１０】第１実施形態に係り、眼のテンプレートを用いた眼の位置検出の説明図である。
【図１１】第１実施形態に係り、眼のテンプレートを用いた眼の位置検出の説明図である。
【図１２】第１実施形態に係り、眼のテンプレートを用いた眼の位置検出の説明図である。
【図１３】眼の相対位置関係による眼の位置検出の説明図である。
【図１４】第１実施形態に係り、眼の相対位置関係による眼の位置検出の説明図である。
【図１５】第１実施形態に係り、眼の相対位置関係による眼の位置検出の説明図である。
【図１６】第１実施形態に係り、眼の相対位置関係による眼の位置検出の説明図である。
【図１７】第１実施形態に係り、眼の相対位置関係による眼の位置検出の説明図である。
【図１８】本発明の眼の状態検出装置の第２の構成ブロック図である。
【図１９】本発明の第２実施形態に係るブロック図である。
【図２０】第２実施形態に係り、眼の開度検出の全体動作を示すフローチャートである。
【図２１】第２実施形態に係り、眼の開度検出の全体動作を示すフローチャートである。
【図２２】第２実施形態に係り、眼のテンプレートを用いた眼の開度検出の説明図である。
【図２３】第２実施形態に係り、眼のテンプレートを用いた眼の開度検出の説明図である。
【図２４】第２実施形態に係り、眼のテンプレートを用いた眼の開度検出の説明図である。
【図２５】第２実施形態に係り、眼のテンプレートを用いた眼の開度検出の説明図である。
【図２６】第２実施形態に係り、眼のテンプレートを用いた眼の開度検出の説明図である。
【図２７】本発明の眼の状態検出装置の第３の構成ブロック図である。
【図２８】本発明の第３実施形態に係るブロック図である。
【図２９】第３実施形態に係り、居眠り状態検出の全体動作を示すフローチャートである。
【図３０】第３実施形態に係り、居眠り状態検出の全体動作を示すフローチャートである。
【図３１】第３実施形態に係り、居眠り状態検出の全体動作を示すフローチャートである。
【符号の説明】
１  ＴＶカメラ（画像出力手段ＣＬ１）
２  Ａ−Ｄ変換器（画像出力手段ＣＬ１）
３  画像メモリ（画像出力手段ＣＬ１）
４  画像データ演算回路（画像出力手段ＣＬ１）
５  眼の位置検出回路（第１の眼の位置検出手段ＣＬ３、第２の眼の位置検出手段ＣＬ４）
６  眼の開度検出回路（眼の開度検出手段ＣＬ５）
７  眼の追跡状態判定回路（眼の追跡状態判定手段ＣＬ６）
８  覚醒度判定回路（覚醒度判定手段ＣＬ７）
【図１】
0003851050.tif 000002
【図２】
0003851050.tif 000003
【図３】
0003851050.tif 000004
【図４】
0003851050.tif 000005
【図５】
0003851050.tif 000006
【図６】
0003851050.tif 000007
【図７】
0003851050.tif 000008
【図８】
0003851050.tif 000009
【図９】
0003851050.tif 000010
【図１０】
0003851050.tif 000011
【図１１】
0003851050.tif 000012
【図１２】
0003851050.tif 000013
【図１３】
0003851050.tif 000014
【図１４】
0003851050.tif 000015
【図１５】
0003851050.tif 000016
【図１６】
0003851050.tif 000017
【図１７】
0003851050.tif 000018
【図１８】
0003851050.tif 000019
【図１９】
0003851050.tif 000020
【図２０】
0003851050.tif 000021
【図２１】
0003851050.tif 000022
【図２２】
0003851050.tif 000023
【図２３】
0003851050.tif 000024
【図２４】
0003851050.tif 000025
【図２５】
0003851050.tif 000026
【図２６】
0003851050.tif 000027
【図２７】
0003851050.tif 000028
【図２８】
0003851050.tif 000029
【図２９】
0003851050.tif 000030
【図３０】
0003851050.tif 000031
【図３１】
0003851050.tif 000032