(57)【特許請求の範囲】
【請求項１】
顔を撮像して顔画像データを出力する画像出力手段と、
該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、
前記検出された眼の位置を基準に眼の開度を検出する眼の開度検出手段と、
周囲の明暗環境が所定以上暗くなったとき前記撮像を行うために照明する照明手段と、
前記顔画像データの少なくとも一部の濃度値が設定値を上回るか下回るかにより前記明暗環境の明暗判定を行う明暗判定手段と、
前記濃度値が設定値を下回るとの判定により前記照明手段をＯＮとし同上回るとの判定により同ＯＦＦとする照明制御手段とを設けた眼の状態検出装置において、
前記明暗判定手段は、前記照明手段のＯＦＦ時に、前記濃度値が設定値を上回っている状態から同下回る状態に変化したことを検出したとき所定の時系列で取り込んだ濃度値の変化が時系列的に徐々に低くなったか否かを判定し、
前記照明制御手段は、前記照明手段のＯＮ状態から一時的にＯＦＦとする制御を予め設定された時間間隔で行うとともに、前記明暗判定手段による濃度値の変化が時系列的に徐々に低くなったとの判定により前記時間間隔を長く設定し、同否と判定されたとき同短く設定することを特徴とする眼の状態検出装置。
【請求項２】
請求項１記載の眼の状態検出装置であって、
前記明暗判定手段は、前記照明手段のＯＮ後に、前記ＯＮ、ＯＦＦ制御によるＯＮ時と一時的なＯＦＦ時との濃度値の差が設定濃度差を上回るか下回るかの判定を前記設定された時間間隔に応じて行い、
前記照明制御手段は、前記濃度値の差が設定濃度差を上回るとの判定により前記照明手段をＯＮとし同下回るとの判定により前記照明手段をＯＦＦとすることを特徴とする眼の状態検出装置。
【請求項３】
請求項１記載の眼の状態検出装置であって、
前記明暗判定手段は、前記顔画像データの処理による眼の濃度データ検出が行われているか否かを判定し、
前記照明制御手段は、前記濃度値が設定値を下回ると共に前記眼の濃度データ検出が行われていないとの判定により前記照明手段をＯＮとし、同上回ると共に眼の濃度データ検出が行われているとの判定により同ＯＦＦとすることを特徴とする眼の状態検出装置。
【請求項４】
請求項３記載の眼の状態検出装置であって、
前記照明制御手段は、前記照明手段のＯＮ状態から一時的にＯＦＦとする制御を設定した時間間隔で行わせ、
前記明暗判定手段は、前記照明手段のＯＮ後に、前記ＯＮ，ＯＦＦ制御によるＯＮ時と一時的なＯＦＦ時との濃度値の差が設定濃度差を上回るか下回るかの判定を前記設定された時間間隔に応じて行い、
前記照明制御手段は、前記濃度値の差が設定濃度差を上回るとの判定により前記照明手段をＯＮとし同下回ると共に眼の濃度データ検出が行われているとの判定により前記照明手段をＯＦＦとすることを特徴とする眼の状態検出装置。
【請求項５】
請求項１〜４の何れかに記載の眼の状態検出装置であって、
前記明暗判定手段は、前記照明制御手段により前記濃度値が設定値を下回るとの判定で前記照明手段をＯＮとしたとき、前記顔画像データの処理による眼の濃度データ検出が行われているか否かを判定し、
前記照明制御手段は、前記照明手段をＯＮとしたとき光環境の劣化により眼の濃度データ検出が行われていないとの判定がある場合前記照明手段をＯＦＦとすることを特徴とする眼の状態検出装置。
【請求項６】
請求項１〜５の何れかに記載の眼の状態検出装置であって、
前記明暗判定手段は、前記明暗判定を行う濃度情報を前記顔画像データの画面上下中央部より下の部分の自然光が当たりやすい部分に設定された画素の濃度値としたことを特徴とする眼の状態検出装置。
【請求項７】
請求項６記載の眼の状態検出装置であって、
前記明暗判定手段は、前記濃度情報を最も高い濃度値としたことを特徴とする眼の状態検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の居眠り状態を検出し警報することなどに供する眼の状態検出装置に関する。
【０００２】
【従来の技術】
従来の画像処理によるこの種の装置には、例えば特開平６−３２１５４号に記載されたようなものがある。これは夜間照明に赤外線照明を用いることにより、運転者に煩わしさを与えることなく昼夜を問わず眼の位置検出、開度検出ができるようにしたものである。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、昼夜を問わず常に赤外線照明を使用しているため、次のような問題があった。
【０００４】
即ち、昼間直射日光が眼の付近に当たり運転者が眩しさを感じる状態と、夜間に赤外線照明を使用しているときの眼の付近の状態が近似し、このままでは昼間、直射日光により運転者が眩しさを感じる状態であることを特定することが困難となる。このためさらに性能の良いカメラを使用するなどして運転者が眩しさにより眼を細める状態か否かを確実に判定するようにしなければならず、装置が高価になると言う問題があった。
【０００５】
この対策として、赤外線照明を前照灯などのＯＮ、ＯＦＦ信号に連動させ、あるいは周囲の明暗環境をセンサによって検出して昼間は赤外線照明を消すようにし、昼間の直射日光による眩しさ状態を確実に判定する構成とすることも考えられる。しかし、前照灯スイッチのＯＮ、ＯＦＦは、運転者の操作によるものであるため、周囲の明暗環境が暗くなったと感じて前照灯をＯＮにするタイミングが運転者毎に異なったり、トンネル内では前照灯をＯＮしない運転者がいたり、トンネル通過後でも前照灯のＯＦＦを忘れる運転者がいたりするため、前記判定の精度が運転者毎にまちまちとなる恐れがある。また、明暗環境をセンサによって検出する場合は、特別にセンサを設けなければならないと言う問題がある。
【０００６】
この発明は、周囲の明暗環境が暗いときは顔を撮像するために照明手段を用いながら、特別なセンサを必要とすることなく周囲の明暗環境の正確な明暗判定により精度良く照明制御を行わせ、安価で精度良い検出を可能とする眼の状態検出装置の提供を課題とする。
【０００７】
【課題を解決するための手段】
請求項１の発明は、顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置を基準に眼の開度を検出する眼の開度検出手段と、周囲の明暗環境が所定以上暗くなったとき前記撮像を行うために照明する照明手段と、前記顔画像データの少なくとも一部の濃度値が設定値を上回るか下回るかにより前記明暗環境の明暗判定を行う明暗判定手段と、前記濃度値が設定値を下回るとの判定により前記照明手段をＯＮとし同上回るとの判定により同ＯＦＦとする照明制御手段とを設けた眼の状態検出装置において、前記明暗判定手段は、前記照明手段のＯＦＦ時に、前記濃度値が設定値を上回っている状態から同下回る状態に変化したことを検出したとき所定の時系列で取り込んだ濃度値の変化が時系列的に徐々に低くなったか否かを判定し、前記照明制御手段は、前記照明手段のＯＮ状態から一時的にＯＦＦとする制御を予め設定された時間間隔で行うとともに、前記明暗判定手段による濃度値の変化が時系列的に徐々に低くなったとの判定により前記時間間隔を長く設定し、同否と判定されたとき同短く設定することを特徴とする。
【０００８】
請求項２の発明は、請求項１記載の眼の状態検出装置であって、前記明暗判定手段は、前記照明手段のＯＮ後に、前記ＯＮ、ＯＦＦ制御によるＯＮ時と一時的なＯＦＦ時との濃度値の差が設定濃度差を上回るか下回るかの判定を前記設定された時間間隔に応じて行い、前記照明制御手段は、前記濃度値の差が設定濃度差を上回るとの判定により前記照明手段をＯＮとし同下回るとの判定により前記照明手段をＯＦＦとすることを特徴とする。
【００１０】
請求項３の発明は、請求項１記載の眼の状態検出装置であって、前記明暗判定手段は、前記顔画像データの処理による眼の濃度データ検出が行われているか否かを判定し、前記照明制御手段は、前記濃度値が設定値を下回ると共に前記眼の濃度データ検出が行われていないとの判定により前記照明手段をＯＮとし、同上回ると共に眼の濃度データ検出が行われているとの判定により同ＯＦＦとすることを特徴とする。
【００１１】
請求項４の発明は、請求項３記載の眼の状態検出装置であって、前記照明制御手段は、前記照明手段のＯＮ状態から一時的にＯＦＦとする制御を設定した時間間隔で行わせ、
前記明暗判定手段は、前記照明手段のＯＮ後に、前記ＯＮ，ＯＦＦ制御によるＯＮ時と一時的なＯＦＦ時との濃度値の差が設定濃度差を上回るか下回るかの判定を前記設定された時間間隔に応じて行い、前記照明制御手段は、前記濃度値の差が設定濃度差を上回るとの判定により前記照明手段をＯＮとし同下回ると共に眼の濃度データ検出が行われているとの判定により前記照明手段をＯＦＦとすることを特徴とする。
【００１２】
請求項５の発明は、請求項１〜４の何れかに記載の眼の状態検出装置であって、前記明暗判定手段は、前記照明制御手段により前記濃度値が設定値を下回るとの判定で前記照明手段をＯＮとしたとき、前記顔画像データの処理による眼の濃度データ検出が行われているか否かを判定し、前記照明制御手段は、前記照明手段をＯＮとしたとき光環境の劣化により眼の濃度データ検出が行われていないとの判定がある場合前記照明手段をＯＦＦとすることを特徴とする。
【００１３】
請求項６の発明は、請求項１〜５の何れかに記載の眼の状態検出装置であって、前記明暗判定手段は、前記明暗判定を行う濃度情報を前記顔画像データの画面上下中央部より下の部分の自然光が当たりやすい部分に設定された画素の濃度値としたことを特徴とする。
【００１４】
請求項７の発明は、請求項６記載の眼の状態検出装置であって、前記明暗判定手段は、前記濃度情報を最も高い濃度値としたことを特徴とする。
【００１７】
【発明の効果】
請求項１の発明では、顔を撮像して顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して眼の位置を検出する眼の位置検出手段と、前記検出された眼の位置を基準に眼の開度を検出する眼の開度検出手段と、周囲の明暗環境が所定以上暗くなったとき前記撮像を行うために照明する照明手段と、前記顔画像データの少なくとも一部の濃度値が設定値を上回るか下回るかにより前記明暗環境の明暗判定を行う明暗判定手段と、前記濃度値が設定値を下回るとの判定により前記照明手段をＯＮとし同上回るとの判定により同ＯＦＦとする照明制御手段とを設けた眼の状態検出装置において、前記明暗判定手段は、前記照明手段のＯＦＦ時に、前記濃度値が設定値を上回っている状態から同下回る状態に変化したことを検出したとき所定の時系列で取り込んだ濃度値の変化が時系列的に徐々に低くなったか否かを判定し、前記照明制御手段は、前記照明手段のＯＮ状態から一時的にＯＦＦとする制御を予め設定された時間間隔で行うとともに、前記明暗判定手段による濃度値の変化が時系列的に徐々に低くなったとの判定により前記時間間隔を長く設定し、同否と判定されたとき同短く設定するので、新たにセンサ等を追加することなく、周囲の明暗環境の明暗判定を確実に行うことができる。そして、この明暗判定手段による明暗判定に応じて、照明制御手段によって照明手段を制御するようにしたので、周囲の明暗環境が所定以上暗くなったときは照明手段の照明によって撮像を行い、周囲の明暗環境が明るくなったときは照明手段による照明をＯＦＦにすることができる。従って、昼夜の人間の生活リズムを考えて居眠り状態を検出するゲインを昼夜で変更したり、可視光下と近赤外光下との画像データの違いによる画像処理方法を変更することにより正確な検出が可能となる。また顔画像データの濃度情報を利用するから安価な装置にすることができる。
【００１８】
また、明暗判定手段は顔画像データの少なくとも一部の濃度値が設定値を上回るか下回るかにより明暗判定を行うため、より正確な判定により照明手段をＯＮ、ＯＦＦ制御することができる。
【００１９】
さらに、明暗判定手段は濃度値が設定値を上回っている状態から同下回るか否かを判定するときは、濃度値が時系列的に徐々に低くなったか否かを判定し、照明制御手段は、前記徐々に低くなったとの判定により照明手段のＯＮ状態から一時的にＯＦＦとする制御を行う時間間隔を長く設定し、同否と判定されたとき、同短く設定することができる。従って、昼から夜になったのか、あるいはトンネルの中に入ったのかなどを区別することができる。このため照明手段を一時的にＯＦＦとして明暗判定を行う時間間隔を的確に設定することができ、周囲の明暗環境が明るくなって照明手段をＯＮ状態からＯＦＦとするとき、確実に制御することができる。
【００２０】
請求項２の発明では、請求項１の発明の効果に加え、前記明暗判定手段は、前記照明手段のＯＮ後に、前記ＯＮ、ＯＦＦ制御によるＯＮ時と一時的なＯＦＦ時との濃度値の差が設定濃度差を上回るか下回るかの判定を前記設定された時間間隔に応じて行い、前記照明制御手段は、前記濃度値の差が設定濃度差を上回るとの判定により前記照明手段をＯＮとし同下回るとの判定により前記照明手段をＯＦＦとするから、周囲の明暗環境が所定以上暗くなり濃度値が設定値を下回った状態で照明手段がＯＮとなっているとき、設定した時間間隔で正確な明暗判定を行うことができる。そして、かかる正確な明暗判定によって濃度値の差が設定濃度差を下回るとの判定により、照明手段をＯＦＦにすることができ、照明手段の正確なＯＮ、ＯＦＦ制御を行うことができる。
【００２２】
請求項３の発明では、請求項１の発明の効果に加え、顔画像データの濃度値の判定に加え、眼の濃度データ検出が行われているか否かを判定し、照明手段をＯＮ、ＯＦＦ制御するので、周囲の明暗環境状態に正確に応じて照明手段の制御を行うことができる。このため明暗環境状態のバラツキやカメラなど画像出力手段の個々の違いを許容することができ、汎用性の高い装置を得ることができる。
【００２３】
請求項４の発明では、請求項３の発明の効果に加え、周囲の明暗環境が明るくなって照明手段をＯＮ状態からＯＦＦとする際に、照明手段のＯＮ状態から一時的にＯＦＦとする制御を設定した時間間隔で行わせ、ＯＮ、ＯＦＦ制御によるＯＮ時とＯＦＦ時の濃度値の差が設定濃度差を上回るか、下回るかにより正確な明暗判定を行い、かかる濃度値を用いた正確な明暗判定に加えて、眼の濃度データ検出が行われているか否かを判定し、照明手段をＯＦＦとするかどうかを制御するので、周囲の明暗環境に応じた照明手段の制御を行うことができる。このため明暗環境のバラツキやカメラなど画像出力手段の個々の違いを許容することができ、汎用性の高い装置を得ることができる。
【００２４】
請求項５の発明では、請求項１〜４の何れかの発明の効果に加え、明暗判定手段によって周囲の明暗環境が所定以上暗くなったとの判定で照明手段をＯＮしたときは、顔画像データの処理による眼のデータ検出が行われているか否かを判定するので、照明手段をＯＮとしたとき眼の濃度データ検出が行われていないとの判定がある場合、照明手段をＯＦＦとすることができる。従って、ハレーションなどによって光環境が特に劣悪な状態となっても、常に安定した明暗判定により安定した制御を行うことができる。
【００２５】
請求項６の発明では、請求項１〜５の何れかの発明の効果に加え、明暗判定を行う濃度情報を顔画像データの画面上下中央部より下の部分の自然光が当たりやすい部分に設定された画素の濃度値としたため、顔の部分で自然光が当たりやすい部分の濃度値を用いることができ、自然光の変化を的確に捉え、より正確な制御を行うことができる。
【００２６】
請求項７の発明では、請求項６の発明の効果に加え、濃度情報を最も高い濃度値としたため、自然光による光環境状態をより的確に捉え、より正確な制御を行うことができる。
定される。
【００２７】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータの居眠り運転警報等として用いることができるが、本実施例では自動車に適用した場合で説明する。
（第１実施形態）
図１は、本発明を適用した眼の状態検出装置の構成ブロック図にかかり、該装置は、画像出力手段ＣＬ１と、眼の位置検出手段ＣＬ２と、眼の開度検出手段ＣＬ３と、照明手段ＣＬ４と、明暗判定手段ＣＬ５と、照明制御手段ＣＬ６とを備えている。
【００２８】
前記画像出力手段ＣＬ１は、運転者の顔を撮像して顔画像データを出力する。前記眼の位置検出手段ＣＬ２は、前記画像出力手段ＣＬ１から出力された顔画像データを処理して眼の位置を検出する。前記眼の開度検出手段ＣＬ３は、検出された眼の位置を基準に眼の開度を検出する。前記照明手段ＣＬ４は、周囲の明暗環境が所定以上暗くなったときに前記撮像を行うために照明する。前記明暗判定手段ＣＬ５は、前記顔画像データの濃度情報により明暗環境の明暗判定を行う。前記照明制御手段ＣＬ６は、前記明暗判定に応じて前記照明手段ＣＬ４を制御する。
【００２９】
図２は、本発明の第１実施形態にかかる構成ブロック図である。同図のように、ＴＶカメラ１が自動車のインストルメントに設置され、運転者の顔部分を正面から撮影する。ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からなる。
【００３０】
前記ＴＶカメラ１で撮像された入力画像は、Ａ−Ｄ変換器２を介して、デジタル量の入力画像データとして画像メモリ３に格納される。画像メモリ３の出力は、画像データ演算回路４に入力される。
【００３１】
前記画像データ演算回路４は、前記入力された画像データに基づいて顔の縦方向の画素列の濃度を検出し、画素列における濃度の高まりとその変化状態によりポイントを抽出し（抽出点）、隣接する画素列の近接したポイントを連続して顔の横方向への連続データを抽出し、顔画像データとして出力する。
【００３２】
従って、ＴＶカメラ１、Ａ−Ｄ変換器２、画像メモリ３、画像データ演算回路４は、本実施形態において前記画像出力手段ＣＬ１を構成している。
【００３３】
前記画像データ演算回路４の出力は、眼の位置検出回路５に入力される。この眼の位置検出回路５は、前記眼の位置検出手段ＣＬ２を構成するもので、前記顔画像データから顔の複数の特徴量としての連続データを抽出し、その座標を求める。また前記連続データから眼のテンプレートを用いることなどによって眼の選択を行うことで眼の位置を検出し、該眼の位置からその代表座標を用いることにより眼の位置を含む追跡領域を左右の眼に対してそれぞれ１個づつ決定する。該追跡領域は、前記眼の移動に応じて該眼を追跡し、この眼を追跡する各追跡領域内において縦方向への濃度の高まりとその変化状態からポイントを抽出し、隣接する画素列の近接したポイントを連続して顔の横方向への連続データを抽出し、左右の眼の詳細位置を検出する。
【００３４】
前記眼の位置検出回路５の出力は、眼の開度検出回路６に入力される。前記眼の開度検出回路６は、眼の開度検出手段ＣＬ３を構成するもので、前記追跡領域内の眼の位置の連続データの濃度変化状態から眼の開度を検出する。
【００３５】
そして図示はしないが、眼の開度検出回路６によって検出された眼の開度データを用いて眼の状態を判定し、乗員の居眠り運転など判断し、居眠り運転等が行われているときにはブザー等によって警告を行うようにしている。
【００３６】
一方、前記明暗判定回路７は、前記明暗判定手段ＣＬ５を構成し、前記画像データ演算回路４から顔画像データを入力し、その濃度情報により明暗環境の明暗判定を行っている。そして、前記明暗判定に応じて照明制御手段ＣＬ６としての赤外光照明制御回路８は、照明手段ＣＬ４としての赤外光照明９を制御する。すなわち、明暗判定回路７は顔画像データの少なくとも一部の濃度値が設定値を上回るか、下回るかにより明暗判定を行い、赤外光照明制御回路８は濃度値が設定値を下回るとの判定により赤外光照明９をＯＮとし、同上回るとの判定により同ＯＦＦとする。
【００３７】
さらに、赤外光照明制御回路８は、明暗判定回路７により、前記濃度値が設定値を下回っている状態から同上回るか否かを判定するとき、前記赤外光照明９のＯＮ状態から一時的にＯＦＦとする制御を設定した時間間隔で行わせ、明暗判定回路７はＯＮ、ＯＦＦ制御によるＯＮ時とＯＦＦ時との濃度値の差が設定濃度差を上回るか、下回るかにより明暗判定を行い、赤外光照明制御回路８は濃度値の差が設定濃度差を下回るとの判定により赤外光照明９をＯＦＦとする。
【００３８】
かかる制御によって、昼夜の正確な判定を行うことができ、昼間は赤外光照明９をＯＦＦとし、夜間は赤外光照明９をＯＮとして、ＴＶカメラ１による顔の撮像を行わせることができる。
【００３９】
ここで、前記明暗判定回路７によって明暗判定を行う濃度情報を説明する。図３は前記画像データ演算回路４から出力された顔画像データであり、この顔画像データの中で、画面上下中央部より下の横方向に並ぶデータ１１のいずれかの濃度値とし、本実施形態においてはこのうち最も高い（明るい）濃度値を明暗判定を行う濃度情報としている。この顔画像データの画面上下中央部より下の部分は、自動車の運転者の場合、自然光が当たりやすい部分であり、自然光の変化を的確に捉えることができる。又、最も高い（明るい）濃度値を前記判定の濃度情報とすることによって、自然光による光環境状態を的確に捉えることができる。このため、かかる濃度情報によって以下の制御を正確に行うことができる。なお、前記判定の濃度情報としては、顔画像データの全体の濃度値の平均などを用いることも可能である。
【００４０】
次に、図４，図５のフローチャートを用いてさらに説明する。
【００４１】
まず、図４において、ステップＳ４０１は、前記画像出力手段ＣＬ１として機能し、前記ＴＶカメラ１によって運転者の顔を撮影し、前記のようにして顔画像データとして出力する。
【００４２】
ステップＳ４０２では、眼の位置検出がなされたかの判断を行い、眼の位置が検出できていない場合に限って、ステップＳ４０３で眼の位置検出を行う。ステップＳ４０３は、前記眼の位置検出手段ＣＬ２として機能し、前記のように眼の位置を検出して出力し、ステップＳ４０４へ移行する。ステップＳ４０４は、前記眼の開度検出手段ＣＬ３として機能し、前記のように眼の開度を検出して出力し、ステップＳ４０５へ移行する。
【００４３】
ステップＳ４０５以降、Ｓ４０５、Ｓ４０８、Ｓ４１２、Ｓ４１５は、前記明暗判定手段ＣＬ５として機能し、その他のステップＳ４０７，Ｓ４０９などは、照明制御手段ＣＬ６として機能する。
【００４４】
ステップＳ４０５では、顔画像データの現在検出されている濃度値を、後述する明暗判定に使用するためにNOUDO_Nに代入する。ステップＳ４０６では、赤外光照明９がＯＮ（点灯）しているか否かの判断が行われ、ＯＮ（点灯）している場合は図５のステップＳ５０１に移行する。図５の説明は後述する。ＯＦＦ（消灯）の場合は、ステップＳ４０７に移行し、照明制御フラグがＯＮか否かを判断する。この照明制御フラグは、初期値がＯＦＦであり、夜間等に明暗判定のため前記赤外光照明９が前記赤外光照明制御回路８によってＯＦＦ（消灯）された場合にＯＮとなる。
【００４５】
ステップＳ４０７において、前記照明制御フラグがＯＦＦであれば、初期状態でありステップＳ４０８へ移行する。ステップＳ４０８では、前記明暗判定の検出濃度値NOUDO_Nが前記赤外光照明９をＯＮ（点灯）とする基準となる設定値を上回るか、下回るかの判断が行われる。ステップＳ４０８において濃度値NOUDO_Nが設定値を下回ると判断されれば、周囲の明暗環境が夜間などと判断できるため、ステップＳ４０９で赤外光照明９をＯＮ（点灯）とする。ステップＳ４１０では、タイマーカウンタをスタートさせ、後述する赤外光照明９のＯＮ（点灯）状態から一時的にＯＦＦとする制御の時間間隔を設定する。ステップＳ４０８において濃度値NOUDO_Nが設定値を上回ると判断されれば、周囲の明暗環境が昼間などと判断できるため、ステップＳ４０９、ステップＳ４１０を飛ばしてステップＳ４１５に移行する。
【００４６】
ステップＳ４１５では、現在の濃度値NOUDO_NをNOUDO_0に代入し、後述するステップＳ４１２において一つ前の検出濃度値として用いる。ステップＳ４１５からはステップＳ４０１に戻り次のフレームの処理に移る。
【００４７】
前記ステップＳ４０７の判定において、夜間等に明暗判定のため前記赤外光照明９が前記赤外光照明制御回路８によってＯＦＦ（消灯）にされて照明制御フラグがＯＮであれば、ステップＳ４１１で照明制御フラグをＯＦＦにし、ステップＳ４１２で一つ前の検出濃度値NOUDO_0と現在の検出濃度値NOUDO_Nとの差を取り、設定濃度差に対して比較する。この濃度値の差（NOUDO_０−NOUDO_N）と設定濃度差との比較は、夜間などに前記赤外光照明９をＯＮ（点灯）させたとき、設定した時間間隔での明暗判定をするため赤外光照明９を０ＦＦ（消灯）にするか否かを決めるものである。従って、検出濃度値NOUDO_0は、赤外光照明９がＯＮ（点灯）時のものとなり、検出濃度値NOUDO_Nは、同ＯＦＦ（消灯）時のものとなっている。
【００４８】
ステップＳ４１２で濃度値の差（NOUDO_０−NOUDO_N）が設定濃度差を上回っていれば、前記赤外光照明９のＯＮ、ＯＦＦ時の濃度値の差があり、赤外光照明９をＯＦＦ（消灯）にしたとき濃度値の差の分だけ暗いと言うことになり、まだ周囲の明暗環境が夜間などのままであると判断できる。従って、一時的にＯＦＦ（消灯）にした赤外光照明９をステップＳ４１３でＯＮ（点灯）とする。ステップＳ４１４では、タイマーカウントをスタートさせ、前記ステップＳ４１０と同様に、後述する赤外光照明９のＯＮ（点灯）状態から再び一時的にＯＦＦとする制御の時間間隔を設定する。
【００４９】
ステップＳ４１２で濃度値の差（NOUDO_０−NOUDO_N）が設定濃度差を下回っていれば、前記赤外光照明９のＯＮ、ＯＦＦ時の濃度値の差が無く、赤外光照明９をＯＦＦにしても明るいと言うことになり、周囲の明暗環境が夜間から昼間へ移行したなどと判断できる。従って、ステップＳ４１２からステップＳ４１３、ステップＳ４１４を飛ばすことにより一時的にＯＦＦ（消灯）した赤外光照明９をＯＦＦ（消灯）のままとし、ステップＳ４１５に移行する。
【００５０】
一方、前記ステップＳ４０９での処理によりステップＳ４０６において赤外光照明９がＯＮ（点灯）していると判断されたときは、図５のステップＳ５０１に移行する。ステップＳ５０１では、タイマーカウント数が所定値、即ち、前記ステップＳ４１０，Ｓ４１４においてタイマーカウントをスタートさせて設定した時間間隔に達しているか否かを判定する。設定した時間間隔に達した場合は、ステップＳ５０２に移行して、赤外光照明９をＯＦＦ（消灯）し、ステップＳ５０３でタイマーカウントをクリアし、ステップＳ５０４で照明制御フラグをＯＮして、図４のステップＳ４１５に移行する。またステップＳ５０１でタイマーカウント数が設定した時間間隔に達していない場合にはステップＳ５０２、Ｓ５０３、Ｓ５０４を飛ばして図４のステップＳ４１５に移行する。そして再びステップＳ４０１〜Ｓ４０７を経てステップＳ４１１，Ｓ４１２と移行し、ステップＳ４１２において明暗判定が行われる。
【００５１】
即ち、本実施形態において、基本的には顔画像データの少なくとも一部の濃度値が設定値を上回るか、下回るかにより明暗判定を行なっているが、ステップＳ４１２は、明暗環境の変化が夜から昼に変わるときなどに、赤外光照明９のＯＮ状態から一時的にＯＦＦとする制御を設定した時間間隔で行わせ、ＯＮ、ＯＦＦ制御によるＯＮ時とＯＦＦ時との濃度値の差（NOUDO_０−NOUDO_N）が設定濃度差を上回るか、下回るかにより明暗判定を行っている。従って、かかる判定により昼、夜などの明暗判定をより正確に行うことができ、赤外光照明９の正確なＯＮ、ＯＦＦ制御を行うことができる。
【００５２】
そして、全体として明暗判定回路７により顔画像データの濃度情報を利用して周囲の明暗環境の明暗判定を行うようにしたので、新たにセンサ等を追加することなく、明暗環境の明暗判定を確実に行うことができる。また、顔画像データの濃度情報を利用して判定を行うから安価な装置にすることができる。
【００５３】
さらに、明暗判定回路７による明暗判定に応じて、赤外光照明制御回路８により赤外光照明９を制御するので、周囲の明暗環境が所定以上暗くなったときは赤外光照明９の照明によって撮像を行い、周囲の明暗環境が明るくなったときは照明をＯＦＦにすることができる。このため、昼夜の人間の生活リズムを考えて居眠り状態を検出するゲインを昼夜で変更したり、可視光下と近赤外光下との画像データの違いによる画像処理方法を変更することにより正確な検出が可能となる。
【００５４】
即ち、一般的に、昼間と比較して夜間は睡眠状態に陥りやすいので、前記のような精度の良い明暗判定により、例えば夜間では居眠り検出精度を昼間よりも上げて検出精度を向上させることができる。また、昼間の可視光下での画像と夜間の赤外光下の画像とでは、同じ黒でも濃度階調が異なるので、前記のような精度の良い明暗判定により、階調差の補正を行うことができるので検出精度を向上することができ、夜間の赤外光照明９のＯＮ（点灯）状態と昼間の眩しさ状態とを区別することができる。
（第２実施形態）
図６〜図９は、本発明の第２実施形態を示している。図６、図７は、顔画像データの濃度値の時系列的な変化の程度に応じて赤外光照明９のＯＦＦ（消灯）タイミングの切替えを説明するフローチャートである。尚、基本的な処理は第１実施形態と同様であり、図６は図４に対応するため重複するステップは図４での説明を参照し、また図５はそのまま踏襲する。図６と図４との対応を示すと、図６のステップＳ６０１は図４のステップＳ４０１に対応し、同様にＳ６０２とＳ４０２、Ｓ６０３とＳ４０３、Ｓ６０４とＳ４０４、Ｓ６０５とＳ４０５、Ｓ６０６とＳ４０６、Ｓ６０７とＳ４０７、Ｓ６１３とＳ４０９、Ｓ６１４とＳ４１０、Ｓ６１５とＳ４１１、Ｓ６１６とＳ４１２、Ｓ６１７とＳ４１３、Ｓ６１８とＳ４１４、Ｓ６１９とＳ４１５がそれぞれ対応している。図６の▲１▼は、図５の▲１▼への移行を示し図５の▲２▼は、図６の▲２▼への移行を示している。
【００５５】
本実施形態におけるブロック図は図２と同様であるが、明暗判定手段ＣＬ５としての図２の明暗判定回路７は、本実施形態において顔画像データの濃度値が設定値を上回っている状態から同下回るか否かを判定するときは、該濃度値が時系列的に徐々に低くなったか否かを判定する。また図２の照明制御手段ＣＬ６としての照明制御回路７は、本実施形態において濃度値が徐々に低くなったとの判定により、前記赤外光照明９のＯＮ状態から一時的にＯＦＦとする制御を行う時間間隔を長く設定し、同否と判定されたとき同短く設定する。さらに照明制御回路７は、前記時間間隔を短く設定するとき最初に最短時間間隔を設定し該最短時間間隔から時間間隔を漸時延ばすようにする。
【００５６】
図６のステップＳ６０１〜Ｓ６０５を経てステップＳ６０６の判定により赤外光照明９がＯＮ（点灯）となっている場合には、図５のステップ５０１に移行する。図５の説明は既に行っているので省略する。
【００５７】
ステップＳ６０６において赤外光照明９がＯＦＦ（消灯）と判断され、ステップＳ６０７を経てステップＳ６０８に移行すると、該ステップＳ６０８において検出濃度値NOUDO_Nが設定値を上回るか否かが判断される。検出濃度値NOUDO_Nが設定値を上回るときは図７のステップＳ７０１に移行し、後述する濃度値の時系列的な変化を見る。ステップＳ６０８においてNOUDO_Nが設定値を下回るときは、周囲の明暗環境が夜間などと判断できるため、ステップＳ６１３で照明をＯＮ（点灯）とするためにステップＳ６０９側へ移行する。
【００５８】
ステップＳ６０９では、空データフラグがＯＮか否かの判定が行われる。この判定に用いられる空データフラグは、明暗判定用の検出濃度値の時系列変化を見るための、Ｎ１からＮ５の濃度値が一つでも代入されていない場合にＯＮになり、全てに濃度値が代入されている場合はＯＦＦになるフラグである。ステップＳ６０９で空データフラグがＯＮと判定された場合は、ステップＳ６１１でタイマーカウントのカウント数を最小値に設定して、赤外光照明９がＯＮ（点灯）の時に一時的にＯＦＦ（ＯＦＦ）とする時間間隔を最短時間間隔に設定する。即ち、明暗判定用の濃度値が徐々に低くなったものではないと判定されたとき前記時間間隔を短く設定している。
【００５９】
ステップＳ６０９で空データフラグがＯＦＦと判定されたときはステップＳ６１０へ移行し、明暗判定用濃度値の時系列濃度データ演算結果であるNOUDO_Cが所定値を下回っているか上回っているかが判定される。ステップＳ６１０で明暗判定用濃度値の時系列濃度データ演算結果であるNOUDO_Cが所定の値を下回り濃度値が急に低くなって明暗環境がトンネル走行などによって変化したものであると判定されているときは、ステップＳ６２０へ移行する。
【００６０】
ステップＳ６２０では、前記時間間隔を短く設定する処理が初回か否かの判定が行われ、初回であれば，ステップＳ６１１へ移行し、前記同様に最短時間間隔が設定される。ステップＳ６２０で初回でないと判定されたときは、ステップＳ６２１へ移行し、前回カウント数に＋αがなされる。この＋αは、前記時間間隔の設定を、最短時間間隔から時間間隔を漸時延ばすためのものであり、かかる時間間隔の設定により、高架橋下の通過などから長いトンネルの通過などまで全てに応じて時間間隔を設定することができ、より正確な明暗判定により赤外光照明９のＯＮ、ＯＦＦ制御を行うことができる。
【００６１】
前記ステップＳ６１０でNOUDO_Cが所定値を上回ると判定され、濃度値が徐々に低くなって明暗環境が昼から夜へ移行して変化したものであると判定されたときは、ステップＳ６１２でタイマーカウンタのカウント数を大きめに設定し、前記時間間隔を長く設定する。即ち、明暗判定用の濃度値が徐々に低くなったものと判定されたとき前記時間間隔を長く設定している。
【００６２】
前記ステップＳ６１１、Ｓ６１２、Ｓ６２１からは、ステップＳ６１３へ移行する。ステップＳ６１３では、赤外光照明９をＯＮ（点灯）し、ステップＳ６１４でタイマーカウンタをスタートさせ、ステップＳ６１９に移行する。
【００６３】
前記ステップＳ６０８でNOUDO_Nが設定値を上回ると判定されたときは、明暗判定用濃度値の時系列濃度データNOUDO_Cを演算するために図７のステップＳ７０１側に移行する。ステップＳ７０１で、NOUDO_NをＮ０に代入し、Ｎ４の値をＮ５に代入し、Ｎ３の値をＮ４に代入し、Ｎ２の値をＮ３に代入し、Ｎ１をＮ２に代入し、Ｎ０の値をＮ１に代入する。Ｎ０〜Ｎ４までの値は、Ｎ０が現在の検出値であり、Ｎ１〜Ｎ４まで順に古い値となっており、前記代入により順次濃度値を更新している。
【００６４】
ステップＳ７０２では、Ｎ１〜Ｎ５までに空データが有るか否かの判定を行い、空データが有ればステップＳ７０４で空データフラグをＯＮとする。ステップＳ７０２の判定で空データが無いときは、ステップＳ７０３で空データフラグをＯＦＦとし、ステップＳ７０５で時系列濃度データの演算を行い、この結果をNOUDO_Cに代入し、ステップＳ６１９に移行する。
【００６５】
次に、ステップＳ７０５で用いられる時系列濃度データの演算方法の一例を示す。
【００６６】
図８の（ａ），（ｂ），（ｃ）はそれぞれ夕暮れ時（徐々に暗くなる場合）と昼間高架橋の下を通過した場合とトンネルを通過した場合の濃度変化イメージを示している。図９（ａ）は各グラフでサンプリングしたＮ１〜Ｎ５の濃度データを示すテーブルの図表、図９（ｂ）はNOUDO_Cの演算結果を示す図表である。
【００６７】
時系列濃度データNOUDO_Cの演算は、図８の（ａ），（ｂ），（ｃ）に示したＮ１〜Ｎ５の所定の間隔で取り込んだ濃度値を用いて、次式(1)の演算を行う。
【００６８】
0003967863.tif 000002
式(1)の演算を用いると、例えば、図８（ａ）のように、昼から夜へ変化する日暮れ時などのように徐々に暗くなる場合は、図９（ａ）のデータテーブルに示すように、時間に対して徐々に濃度値が小さくなり、図９（ｂ）の演算結果NOUDO_Cは１２７になる。図８（ｂ）のように、昼間高架橋の下を通過した場合は、濃度値の変化は小さくNOUDO_Cは７となる。図８（ｃ）のように昼間トンネルを通過した場合は、NOUDO_Cは−１０となる。
【００６９】
このように、濃度値が徐々に変化する場合は演算結果が０から離れた値になり、トンネル通過など通過後は元の濃度状態に戻る場合は０に近くなるので、濃度値が徐々に変化した状態を演算結果により推定できる。かかる時系列濃度データNOUDO_Cの演算結果を前記ステップＳ６１０の判定に用いることにより、昼から夜になったのか、あるいはトンネルの中に入ったのかなどを区別することができる。従って、赤外光照明９を一時的にＯＦＦとして明暗判定を行う時間間隔を的確に設定することができ、周囲の明暗環境が明るくなって赤外光照明９をＯＮ状態からＯＦＦとするとき、確実に制御することができる。また、一時的にＯＦＦとする時間間隔を短く設定するとき、最初に最短時間間隔を設定し、該最短時間間隔から時間間隔を漸時延ばすことによって、例えば長いトンネルの中に入ったのか、高架橋の下を通過しているのかなどを区別することができ、より正確に制御を行うことができる。その他の作用効果は第１実施形態と同様である。
（第３実施形態）
図１０、図１１は本発明の第３実施形態を示している。図１０は、明暗判定の画像データの濃度値判定に加え、眼の濃度データ検出が行われているか否かの判定を加えた制御のフローチャートである。
【００７０】
尚、基本的な処理は第１実施形態と同様であり、図１０は図４に対応するため重複するステップは図４での説明を参照し、また図５はそのまま踏襲する。図１０と図４との対応を示すと、図１０のステップＳ１００１は図４のステップＳ４０１に対応し、同様にＳ１００３とＳ４０３、Ｓ１００５とＳ４０４、Ｓ１０１０とＳ４０５、Ｓ１０１１とＳ４０６、Ｓ１０１２とＳ４０７、Ｓ１０１４とＳ４０９、Ｓ１０１５とＳ４１０、Ｓ１０１６とＳ４１１、Ｓ１０１７とＳ４１２、Ｓ１０１８とＳ４１３、Ｓ１０１９とＳ４１４、Ｓ１０２０とＳ４１５がそれぞれ対応している。図１０の▲１▼は、図５の▲１▼への移行を示し図５の▲２▼は、図１０の▲２▼への移行を示している。
【００７１】
本実施形態におけるブロック図は図２と同様であるが、明暗判定手段ＣＬ５としての図２の明暗判定回路７は、本実施形態において前記顔画像データの処理による眼の濃度データ検出が行われているか否かを判定し、前記照明制御手段は、前記濃度値が設定値を下回ると共に前記眼の濃度データ検出が行われていないとの判定により赤外光照明９をＯＮ（点灯）し、同上回ると共に眼の濃度データ検出が行われているとの判定により同ＯＦＦ（ＯＦＦ）とする。
【００７２】
まずステップＳ１００１で画像入力を行い、ステップＳ１００２で眼の追跡領域が有るか無いかを判定する。ステップＳ１００２で眼の追跡領域がないと判定されたときは、ステップＳ１００３で眼の位置検出を行い、ステップＳ１００４で眼の追跡領域を設定し、ステップＳ１００５に移行する。ステップＳ１００２で眼の追跡領域があると判定されたときは、ステップＳ１００３とステップＳ１００４を飛ばして、ステップＳ１００５の眼の開度検出を行う。
【００７３】
ステップＳ１００６で眼の追跡領域に明暗判定に使用する眼の濃度データが存在するかを判定する。濃度データがない場合は、ステップＳ１００７で、追跡領域データフラグをＯＦＦにし、ステップＳ１００８で眼の追跡領域をクリアし、ステップＳ１０１０に移行する。ステップＳ１００６の判定により、眼の追跡領域に昼夜判定に使用する濃度データが有る場合はステップＳ１００９で、追跡領域フラグをＯＮとし、ステップＳ１０１０へ移行する。
【００７４】
ステップＳ１０１０では、NOUDO_Nに明暗判定用の検出濃度値を代入する。ステップＳ１０１１では、赤外光照明９がＯＮ（点灯）か、０ＦＦ（消灯）かの判定が行われる。ステップＳ１０１１で赤外光照明９がＯＮ（点灯）していると判定されたときは、図５のステップＳ５０１に移行する。図５の説明は既に行っているためここでは省略する。
【００７５】
ステップＳ１０１１で赤外光照明９がＯＦＦ（消灯）であると判定されたときは、ステップＳ１０１２に移行し、照明制御フラグがＯＮか否かが判定される。この判定で照明制御フラグがＯＮであるとされた場合はステップＳ１０１６に移行する。この流れ（ステップＳ１０１６〜Ｓ１０１９）は、図４において既に説明を行っているので詳細は省略する。
【００７６】
ステップＳ１０１２で照明制御フラグがＯＦＦであると判定された場合は、ステップＳ１０１３に移行し、NOUDO_Nが設定値を下回るか否かの判定に加え、追跡領域フラグがＯＦＦか否かを判定する。
【００７７】
ステップＳ１０１３で前述の濃度値による判定に、追跡領域に濃度値データが有るか否かの判定を加えた理由は次の通りである。濃度情報は、カメラ１の画像によって得られるものであるため、カメラ１の種類やゲインのかけ方や光環境などによって同じ明るさでも常に同一の濃度階調を示すとは限らない。従って、あるカメラ１で、ある状況において赤外光照明９をＯＮ（点灯）させるように閾値を決めておいても、カメラ調整や光環境等の変化によって、実際は暗くなって追跡領域内に濃度値データを見つけられない状態でありながら、濃度値のみの判定では赤外光照明９をＯＮ（点灯）しないといった場合がある。一方、判定用濃度値の設定値を高めにすると、まだ昼間の状態であるにも係わらず赤外光照明９の０Ｎ（点灯）を行ってしまい、前記のように赤外光照明９ＯＮ状態での眼の周りの状況が、昼間の眩しい状況と似ていることから、誤った眼の開度判定をしてしまう原因になる恐れがある。
【００７８】
そこで、ステップＳ１０１３のように濃度値の判定に追跡領域データフラグの状態判定を加えることによって、濃度値判定用の設定値を高めとし、例えば、その設定値よりNOUDO_Nが小さくなっても、追跡領域の濃度データが読める限り赤外光照明９をＯＮ（点灯）しないため、光環境状態のバラツキや、カメラ、画像入出力部の違いを許容することができる。
【００７９】
ステップＳ１０１３の判定で判定内容を満たす場合は、ステップＳ１０１４で赤外光照明９をＯＮ（点灯）とし、ステップＳ１０１５でタイマーカウンタをスタートさせ、ステップＳ１０２０に移行する。ステップＳ１０１３で判定内容を満たさない場合は、ステップＳ１０１４とステップＳ１０１５を飛ばして、ステップＳ１０２０に移行する。
【００８０】
このうように、本実施形態では、顔画像データの濃度値の判定に加え、追跡領域内に眼の濃度データ検出が行われているか否かを判定し、赤外光照明９をＯＮ、ＯＦＦ制御するので、周囲の明暗環境状態により正確に応じて赤外光照明９の制御を行うことができる。このため明暗環境状態のバラツキやカメラ１など画像出力部の個々の違いを許容することができ、汎用性の高い装置を得ることができる。
【００８１】
なお、前記赤外光照明制御回路８は、前記明暗判定回路７により前記濃度値が設定値を下回っている状態から同上回るか否かを判定するとき、前記赤外光照明９のＯＮ状態から一時的にＯＦＦとする制御を設定した時間間隔で行わせ、前記明暗判定回路７は、前記ＯＮ、ＯＦＦ制御によるＯＮ時とＯＦＦ時との濃度値の差が設定濃度差を上回るか下回るかにより明暗判定を行い、前記赤外光照明制御回路８は、前記濃度値の差が設定濃度差を下回ると共に眼の濃度データ検出が行われているとの判定により前記赤外光照明９をＯＦＦとする構成にすることもできる。
【００８２】
この場合、周囲の明暗環境が明るくなって赤外光照明９をＯＮ状態からＯＦＦとする際に、周囲の明暗環境に応じた赤外光照明９の制御をより正確に行うことができる。このため明暗環境のバラツキやカメラ１など画像出力部の個々の違いを許容することができ、汎用性の高い装置を得ることができる。
（第４実施形態）
図１１〜図１３は、本発明の第４実施形態を示している。本実施形態では、ハレーション対策を導入した制御を説明する。図１１（ａ）は昼間の正常時の顔画像を示している。図１１（ｂ）はハレーションが起こった状態のイメージを示している。図１１（ｂ）のようにハレーションを起こすと、昼間にも拘わらず、濃度情報が夜間と近似するため、前記赤外光照明９をＯＮ（点灯）させてしまうという不具合が起こる。従って、図１２，図１３のようなフローチャートで制御を行う。
【００８３】
尚、基本的な処理は第３実施形態と同様であり、図１２は図１０に対応し、図１３は第３実施形態でそのまま踏襲する図５に対応するため重複するステップは図１０、図５での説明を参照する。また、図１２と図１０との対応を示すと、図１２のステップＳ１２０１は図１０のステップＳ１００１に対応し、同様にＳ１２０２とＳ１００２、Ｓ１２０３とＳ１００３、Ｓ１２０５とＳ１００６、Ｓ１２０６とＳ１００７、Ｓ１２０７とＳ１００８、Ｓ１２０８とＳ１００９、Ｓ１２１２とＳ１０１０、Ｓ１２１３とＳ１０１１、Ｓ１２１４とＳ１０１２、Ｓ１２１６とＳ１０１４、Ｓ１２１７とＳ１０１５、Ｓ１２１８とＳ１０１６、Ｓ１２１９とＳ１０１７、Ｓ１２２０とＳ１０１８、Ｓ１２２１とＳ１０１９、Ｓ１２２２とＳ１０２０がそれぞれ対応している。図１３と図５との対応を示すと、図１３のステップＳ１３０２は図５のステップＳ５０１に対応し、同様にＳ１３０３とＳ５０２、Ｓ１３０４とＳ５０３、Ｓ１３０５とＳ５０４がそれぞれ対応している。
【００８４】
まず、図１２において、ステップＳ１２０１〜ステップＳ１２０８、ステップＳ１２１４〜ステップＳ１２２２までは、前述しているので、説明を省略する。但し、本実施形態では眼の開度検出のステップＳ１２０４で眼の追跡領域の設定を行っている。
【００８５】
ステップＳ１２０５で眼の追跡領域に濃度データがあると判定された場合は、ステップＳ１２０８に移行し、追跡領域データフラグをＯＮし、ステップＳ１２０９でハレーションフラグがＯＮしているかを判定する。ハレーションフラグは、後述するように夜間赤外光照明９がＯＮ（点灯）した後も、眼の追跡領域に眼のデータが存在しない場合にＯＮとなるフラグである。
【００８６】
ハレーションフラグがＯＮの場合は、ステップＳ１２１０で赤外光照明９をＯＦＦ（消灯）し、ステップＳ１２１１でハレーションフラグがＯＦＦとなり、ステップＳ１２１２に移行する。ステップＳ１２０９でハレーションフラグがＯＦＦの場合は、ステップＳ１２１０とステップＳ１２１１を飛ばして、ステップＳ１２１２に移行する。
【００８７】
ステップＳ１２１２では、明暗判定用の検出濃度値をNOUDO_Nに代入し、ステップＳ１２１３で赤外光照明９がＯＮ（点灯）していない場合は、ステップＳ１２１４に移行し、以下前述した説明同様の処理を行う。
【００８８】
ステップＳ１２１３で赤外光照明９がＯＮ（点灯）していれば、図１３のステップＳ１３０１に移行する。ステップＳ１３０１で追跡領域データフラグがＯＮでなければ、赤外光照明９がＯＮ（点灯）した後も、眼の追跡領域に眼の濃度データが存在しない場合としてステップＳ１３０６に移行し、ハレーションフラグをＯＮとし、図１２のステップＳ１２２２に移行する。
【００８９】
図１３のステップＳ１３０１で、追跡領域データフラグがＯＮである場合は、追跡領域内に眼の濃度データが存在するのでハレーションは起こっていないとし、ステップＳ１３０２に移行する。ステップＳ１３０２，Ｓ１３０５からは、図１２のステップＳ１２２２に移行する。
【００９０】
このように本実施形態では、明暗判定回路７によって周囲の明暗環境が所定以上暗くなったとの判定で赤外光照明９をＯＮ（点灯）したときは、顔画像データの処理による眼の濃度データ検出が行われているか否かを判定するので、赤外光照明９をＯＮ（点灯）としたとき眼の濃度データ検出が行われていないとの判定がある場合、眼の濃度データ検出が行われているとの判定に変わることにより赤外光照明９をＯＦＦ（消灯）とすることができる。従って、ハレーションなどによって光環境が特に劣悪な状態となっても、常に安定した明暗判定により安定した制御を行うことができる
なお、前記実施形態に出てきた眼の位置検出、眼の開度検出、眼の追跡方法、開閉眼の判定方法の原理は、「特開平１０−４０３６１号」、「特開平１０−１４３６６９号」公報などにも記載されている。
【図面の簡単な説明】
【図１】本発明の構成ブロック図である。
【図２】本発明の第１実施形態に係るブロック図である。
【図３】第１実施形態に係り、濃度による明暗判定の濃度値を読み出す領域の説明図である。
【図４】第１実施形態のフローチャートである。
【図５】第１実施形態のフローチャートである。
【図６】本発明の第２実施形態に係り、明暗判定時に濃度値の時系列変化による照明の制御例にかかるフローチャートである。
【図７】第２実施形態に係り、明暗判定時に濃度値の時系列変化による照明の制御例を示したフローチャートである。
【図８】第２実施形態に係り、時系列濃度変化を示し、（ａ）は昼から夜へ徐々に変化する場合、（ｂ）は高架橋の下を通過した場合、（ｃ）はトンネルを通過した場合を示す説明図である。
【図９】第２実施形態に係り、（ａ）は濃度値変化のデータテーブルを示す図表、（ｂ）は演算結果を示す図表である。
【図１０】本発明の第３実施形態に係り、明暗判定を濃度値による判定に加え、追跡領域中のデータの有無判定を加えたフローチャートである。
【図１１】本発明の第４実施形態に係り、（ａ）は昼間の正常時の顔画像を示し、（ｂ）はハレーションが起こった状態のイメージを示す説明図である。
【図１２】第４実施形態に係り、ハレーション対策の制御を示すフローチャートである。
【図１３】第４実施形態に係り、ハレーション対策の制御を示すフローチャートである。
【符号の説明】
１  ＴＶカメラ（画像出力手段ＣＬ１）
２  Ａ−Ｄ変換器（画像出力手段ＣＬ１）
３  画像メモリ（画像出力手段ＣＬ１）
４  画像データ演算回路（画像出力手段ＣＬ１）
５  眼の位置検出回路（眼の位置検出手段ＣＬ２）
６  眼の開度検出回路（眼の開度検出手段ＣＬ３）
７  明暗判定回路（明暗判定手段ＣＬ５）
８  赤外光照明制御回路（照明制御手段ＣＬ６）
９  赤外光照明（照明手段ＣＬ４）
【図１】
0003967863.tif 000003
【図２】
0003967863.tif 000004
【図３】
0003967863.tif 000005
【図４】
0003967863.tif 000006
【図５】
0003967863.tif 000007
【図６】
0003967863.tif 000008
【図７】
0003967863.tif 000009
【図８】
0003967863.tif 000010
【図９】
0003967863.tif 000011
【図１０】
0003967863.tif 000012
【図１１】
0003967863.tif 000013
【図１２】
0003967863.tif 000014
【図１３】
0003967863.tif 000015