(57)【特許請求の範囲】
【請求項１】
乗員の顔画像データを出力する画像出力手段と、
該画像出力手段から出力された顔画像データを処理して顔の特徴量を検出する特徴量検出手段と、
前記検出された顔の特徴量に基づいて眼の位置を検出する第一の眼の位置検出手段と、
前記検出された眼の位置を含む所定領域を左右の眼に対してそれぞれ一つづつ決定すると共に該所定領域に前記眼の移動に応じて該眼を追跡させる領域決定手段と、
前記各所定領域の中で左右の眼の位置を検出する第二の眼の位置検出手段と、
前記第二の眼の位置検出手段で検出された左右の眼の相対位置が設定範囲を超えたとき、左右の眼のうち一方の眼が眼として検出されなくなったとして、車両が振動した時に左右の眼を同時に含めることの可能な最小の大きさとして定められた大きさに前記所定領域を拡張する領域拡張手段と、
前記拡張した所定領域の中で左右の眼の位置を検出する第三の眼の位置検出手段と
を備えたことを特徴とする眼の状態検出装置。
【請求項２】
請求項１記載の眼の状態検出装置であって、
前記領域拡張手段は、前記検出されている他方の眼の位置を含む所定領域を拡張する
ことを特徴とする眼の状態検出装置。
【請求項３】
請求項１記載の眼の状態検出装置であって、
前記領域拡張手段は、前記第一の眼の位置検出手段又は第二の眼の位置検出手段が検出する眼の位置の少なくとも一方を記憶し、該記憶した眼の位置を含む大きさに前記所定領域を拡張する
ことを特徴とする眼の状態検出装置。
【請求項４】
請求項１〜３の何れかに記載の眼の状態検出装置であって、
前記領域決定手段は、前記拡張した所定領域の中で左右の眼の相対位置が設定範囲内となったとき再び左右の所定領域を決定する
ことを特徴とする眼の状態検出装置。
【請求項５】
請求項４記載の眼の状態検出装置であって、
前記相対位置は、左右の眼の左右距離であることを特徴とする眼の状態検出装置。
【請求項６】
請求項４記載の眼の状態検出装置であって、
前記相対位置は、左右の眼の上下距離であることを特徴とする眼の状態検出装置。
【請求項７】
請求項３記載の眼の状態検出装置であって、
前記領域拡張手段は、前記第二の眼の位置検出手段が検出する左右の眼の相対位置が設定範囲に設定時間あるとき、該左右の眼の位置を記憶すると共に、同相対位置が設定範囲に設定時間ないとき前記第一の眼の位置検出手段が検出する左右の眼の位置を記憶し、該記憶した眼の位置から前記所定領域を拡張する
ことを特徴とする眼の状態検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、車両の運転者、船舶の操船者、プラント等のオペレータ等の居眠り状態や脇見状態を検出し警報することなどに供する眼の状態検出装置に関する。
【０００２】
【従来の技術】
従来の画像処理によるこの種の装置には、例えば特開平６−２５１２７３号に記載されたようなものがある。これは運転者の顔画像から眼の位置を検出し、その後、眼の位置を追跡することで運転者の状態を判断している。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の装置では、運転者が振り向く動作をし、或いはドアミラーを見るなどして顔を大きく動かし眼を追跡しきれない状態が発生したとき、再度顔画像から眼の位置を検出し、追跡するようにしなければ成らず、運転者の脇見状態など短時間での判断が必要となる状況では判断に限界があった。
【０００４】
この発明は、眼を追跡しきれない状態が発生したときでも速い処理が可能な眼の状態検出装置の提供を課題とする。
【０００５】
【課題を解決するための手段】
請求項１の発明は、乗員の顔画像データを出力する画像出力手段と、該画像出力手段から出力された顔画像データを処理して顔の特徴量を検出する特徴量検出手段と、前記検出された顔の特徴量に基づいて眼の位置を検出する第一の眼の位置検出手段と、前記検出された眼の位置を含む所定領域を左右の眼に対してそれぞれ一つづつ決定すると共に該所定領域に前記眼の移動に応じて該眼を追跡させる領域決定手段と、前記各所定領域の中で左右の眼の位置を検出する第二の眼の位置検出手段と、前記第二の眼の位置検出手段で検出された左右の眼の相対位置が設定範囲を超えたとき、左右の眼のうち一方の眼が眼として検出されなくなったとして、車両が振動した時に左右の眼を同時に含めることの可能な最小の大きさとして定められた大きさに前記所定領域を拡張する領域拡張手段と、前記拡張した所定領域の中で左右の眼の位置を検出する第三の眼の位置検出手段とを備えたことを特徴とする。
【０００６】
請求項２の発明は、請求項１記載の眼の状態検出装置であって、前記領域拡張手段は、前記検出されている他方の眼の位置を含む所定領域を拡張することを特徴とする。
【０００７】
請求項３の発明は、請求項１記載の眼の状態検出装置であって、前記領域拡張手段は、前記第一の眼の位置検出手段又は第二の眼の位置検出手段が検出する眼の位置の少なくとも一方を記憶し、該記憶した眼の位置を含む大きさに前記所定領域を拡張することを特徴とする。
【０００９】
請求項４の発明は、請求項１〜３の何れかに記載の眼の状態検出装置であって、前記領域決定手段は、前記拡張した所定領域の中で左右の眼の相対位置が設定範囲内となったとき再び左右の所定領域を決定することを特徴とする。
【００１０】
請求項５の発明は、請求項４記載の眼の状態検出装置であって、前記相対位置は、左右の眼の左右距離であることを特徴とする。
【００１１】
請求項６の発明は、請求項４記載の眼の状態検出装置であって、前記相対位置は、左右の眼の上下距離であることを特徴とする。
【００１２】
請求項７の発明は、請求項３記載の眼の状態検出装置であって、前記領域拡張手段は、前記第二の眼の位置検出手段が検出する左右の眼の相対位置が設定範囲に設定時間あるとき、該左右の眼の位置を記憶すると共に、同相対位置が設定範囲に設定時間ないとき前記第一の眼の位置検出手段が検出する左右の眼の位置を記憶し、該記憶した眼の位置から前記所定領域を拡張することを特徴とする。
【００１３】
【発明の効果】
請求項１の発明では、画像出力手段から出力された乗員の画像データを処理して特徴量検出手段により顔の特徴量を検出し、検出された顔の特徴量に基づいて第一の眼の位置検出手段により眼の位置を検出することができる。領域決定手段は、前記検出された眼の位置を含む所定領域を左右の眼に対してそれぞれ一つづつ決定すると共に眼の移動に応じて前記所定領域により眼を追跡することができる。そして、前記各所定領域の中で、第二の眼の位置検出手段により左右の眼の位置を検出することができる。
【００１４】
かかる検出において、乗員が振り向く動作をし、或いはドアミラーを見るなどして顔を大きく動かし眼を追跡しきれない状態が発生したとき、第二の眼の位置検出手段で左右の眼のうち一方の眼が検出されなくなるが、領域拡張手段により前記所定領域が車両が振動した時に左右の眼を同時に含めることの可能な最小の大きさとして定められた大きさに拡張され、拡張した所定領域の中で第三の眼の位置検出手段により左右の眼の位置を検出することができる。従って、画像データの処理から再び行う必要が無くなり、早い処理を可能とし、脇見運転などにも十分対応することができる。
【００１５】
請求項２の発明では、請求項１の発明の効果に加え、領域拡張手段により検出されている他方の眼の位置を含む所定領域を拡張することができ、片方の眼が消失した場合に、他方の眼の所定領域を利用することで速い処理を行わせることができる。
【００１６】
請求項３の発明では、請求項１の発明の効果に加え、領域拡張手段により第一の眼の位置検出手段又は第二の眼の位置検出手段が検出する眼の位置の少なくとも一方を記憶し、該記憶した眼の位置を含む大きさに所定領域を拡張することができ、両方の眼が消失した場合でも、記憶した眼の所定領域を利用することで速い処理を行わせることができる。
【００１８】
請求項４の発明では、請求項１〜３の何れかの発明の効果に加え、領域決定手段により、拡張した所定領域の中で左右の眼の相対位置が設定範囲内となったとき再び左右の所定領域を決定することができ、拡張した領域に比べて再びノイズの少ない範囲で眼の検出を行うことができ、迅速且つ正確な眼の検出を行うことができる。
【００１９】
請求項５の発明では、請求項４記載の発明の効果に加え、相対位置を、左右の眼の左右距離とすることにより、乗員の顔の左右方向で眼でないものを誤って検出した場合でも所定領域を拡張し、迅速且つ正確な眼の検出を行うことができる。
【００２０】
請求項６の発明では、請求項４記載の発明の効果に加え、相対位置を、左右の眼の上下距離とすることにより、乗員の顔の上下方向で眼でないものを誤って検出した場合でも所定領域を拡張し、迅速且つ正確な眼の検出を行うことができる。
【００２１】
請求項７の発明では、請求項３の発明の効果に加え、前記領域拡張手段により、前記第二の眼の位置検出手段が検出する左右の眼の相対位置が設定範囲に設定時間あるとき、該左右の眼の位置を記憶すると共に、同相対位置が設定範囲に設定時間ないとき前記第一の眼の位置検出手段が検出する左右の眼の位置を記憶し、該記憶した眼の位置から前記所定領域を拡張することができ、簡単な処理で所定領域を拡張できると共に、確実に眼の位置を検出することができる。
【００２２】
【発明の実施の形態】
本装置は、自動車の他に鉄道車両、船舶、プラントのオペレータ等の居眠り運転警報装置や脇見運転警報装置として用いることができるが、本実施例では脇見運転警報装置として自動車に適用した場合で説明する。
【００２３】
図１は、本発明を適用した眼の状態検出装置の構成ブロック図にかかり、該装置は、画像入力手段ＣＬ１と、顔の特徴量検出手段ＣＬ２と、第一の眼の検出手段ＣＬ３と、領域決定手段ＣＬ４と、第二の眼の位置検出手段ＣＬ５と、領域拡張手段ＣＬ６と、第三の眼の位置検出手段ＣＬ７とを備えている。
【００２４】
前記画像入力手段ＣＬ１は、乗員の顔画像を入力し画像データを出力する。前記顔の特徴量検出手段ＣＬ２は、前記画像入力手段ＣＬ１により出力された顔画像データを処理して顔の特徴量を検出する。前記第一の眼の位置検出手段ＣＬ３は、前記検出された顔の特徴量に基づいて眼の位置を検出する。前記領域決定手段ＣＬ４は、前記検出された眼の位置を含む所定領域を左右の眼に対してそれぞれ一つづつ決定すると共に該所定領域により前記眼の移動に応じて該眼を追跡する。前記第二の眼の位置検出手段ＣＬ５は、前記各所定領域の中で左右の眼の位置を検出する。
【００２５】
前記領域拡張手段ＣＬ６は、前記所定領域を左右の眼を同時に含めることの可能な大きさに拡張する。前記第三の眼の位置検出手段ＣＬ７は、前記拡張した所定領域の中で左右の眼の位置を検出する。
【００２６】
検出された眼の位置から、例えば基準値を用いて脇見判定などを行い、脇見運転状態などであれば、ブザーなどの警報を発する。
【００２７】
図２は、本発明の一実施形態にかかる構成ブロック図である。
【００２８】
同図のように、ＴＶカメラ１が自動車のインストルメントに設置され、運転者の顔部分を正面から撮影する。ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ）５１２画素、縦方向（Ｙ）４８０画素からなる。
【００２９】
前記ＴＶカメラ１で撮像された入力画像は、Ａ−Ｄ変換器２を介して、デジタル量の入力画像データとして画像メモリ３に格納される。画像メモリ３の出力は、画像データ演算回路４に入力される。
【００３０】
画像データ演算回路４は、前記入力された画像データに基づいて顔の縦方向の画素列の濃度を検出し、画素列における濃度の高まりとその変化状態によりポイントを抽出し（抽出点）、隣接する画素列の画素列方向に近接したポイントを連続して顔の横方向への連続データを抽出し、顔画像データとして出力する。
【００３１】
従って、ＴＶカメラ１、Ａ−Ｄ変換器２、画像メモリ３、画像データ演算回路４は、本実施形態において前記画像出力手段ＣＬ１を構成している。画像データ演算回路２４の出力は、顔の特徴量検出回路５に入力される。
【００３２】
この顔の特徴量検出回路５は、前記顔の特徴量検出手段ＣＬ２を構成し、抽出された顔の複数の特徴量から眼を特定すると共にその座標を求める。顔の特徴量検出回路５の出力は、眼の位置検出回路６に入力される。
【００３３】
眼の位置検出回路６は、前記連続データから眼の選択を行うことで眼の位置を検出し、該眼の位置から眼の位置を含む所定領域を左右の眼に対してそれぞれ１つづつ決定すると共に、該所定領域に前記眼の移動に応じて該眼を追跡させ、この眼を追跡する各所定領域内において縦方向への濃度の高まりとその変化状態からポイントを抽出し、隣接する画素列の画素列方向に近接したポイントを連続して顔の横方向への連続データを抽出し、左右の眼の位置を検出する。従って、本実施形態において、眼の位置検出回路６は前記第一の眼の位置検出手段ＣＬ３、領域決定手段ＣＬ４、第２の眼の位置検出手段ＣＬ５を構成している。
【００３４】
前記眼の位置検出回路６の出力は、領域拡張回路７に入力される。領域拡張回路７は、前記領域拡張手段ＣＬ６を構成するもので、前記眼を追跡する所定領域により左右の眼のうち一方の眼が検出されなくなったとき、前記所定領域を左右の眼を同時に含めることの可能な大きさに拡張する。領域拡張回路７の出力は、眼の位置検出回路８に入力される。眼の位置検出回路８は、前記第三の眼の位置検出手段ＣＬ７を構成するもので、拡張した所定領域の中で左右の眼の位置を検出する。尚、眼の位置検出回路６，８は、１つの回路として構成することもできる。
【００３５】
そして図示はしないが、眼の位置検出回路６，８によって検出された眼の位置のデータを用いて眼の状態を判定し、乗員の居眠りや脇見運転など判断し、居眠り運転や脇見運転が行われているときにはブザーなどによって警告を行うようにしている。
【００３６】
次に、顔画像全体から顔の特徴量を検出し、眼の位置を特定する方法を説明する。
【００３７】
図３は、前記ＴＶカメラ１によって映し出された乗員の顔を示すもので、９は画面枠、１１は乗員の顔を示している。この顔画像全体から眼の特徴量を特定することも可能であるが、検索エリアが広いと演算時間が長くなるため、本実施形態においては画面を４分割して領域を小さくし、演算時間を短くし処理を早めるようにしている。
【００３８】
１３は画面を４分割にし、眼をを特定するための検索エリアであり、図３の▲１▼で眼が特定できれば、ここで眼の初期検出は終了する。位置１で眼が見つからなければ▲２▼，▲３▼，▲４▼と順次検索エリアを変えていく。
【００３９】
次に、図４は検索エリア１３の顔の特徴量を検出する説明図である。検出エリア１３には、縦方向に例えば１０画素毎の画素列が設定され、画素列ごとに濃度変化の大きい点を抽出する。更に、横方向に向いている抽出点をグループ化することにより、図４の符号１５，１７のように特徴量としてデータ化される。そして、眼のテンプレートマッチングにより１５が眼として特定される。ここでテンプレートマッチングについて図５〜図８を用いて説明する。
【００４０】
図５は眼の濃度値を調べるための説明図であり、図５の領域１３内に縦方向に並んでいるＸａ，Ｘｂ，Ｘｃ，…，Ｘｎは濃度値を調べるための画素列である。この画素列Ｘａ，Ｘｂ，Ｘｃ，…，Ｘｎ上の濃度値を図６，図７，図８に示している。
【００４１】
図６は画素列Ｘａ上の濃度値示している。濃度変化の大きいところに（ａ１，ａ２）を抽出する。図７は画素列ＸａとＸｃの中間位置にある画素列Ｘｂ上の濃度値と抽出ポイント（ｂ１，ｂ２）を示している。図８は右側の画素列Ｘｃ上の濃度値及び抽出ポイント（ｃ１，ｃ２）を示している。
【００４２】
眼であるかどうかの判断は、両側の画素列Ｘａ，Ｘｃと中央の画素列Ｘｂとの抽出ポイント間の距離Ｙａ，Ｙｂ，Ｙｃの関係
Ｙａ＜Ｙｂ＞Ｙｃ
が成立すれば眼と判断する。
【００４３】
こうして特定された片方の眼の位置から両眼を特定する。まず、図９のように、片方の眼の座標値（ｘ１，ｙ１）を基準に左右対称位置に他方の眼が存在するものと仮定して、横長の検索エリア１９を設定する。そして、前記同様に、他方の眼に相当する位置で画素列毎に濃度変化の大きい点が抽出され、該抽出点をグループ化することにより、特徴量２１としてデータ化され、他方の眼の座標値（ｘ２，ｙ２）が特定され、両眼の位置が検出される。そして、図１０のように、両眼の座標にそれぞれ所定領域としてのウインドウ２３，２５を設定し、ウインドウ２３，２５により両眼の移動を追跡する。
【００４４】
（眼のウインドウの大きさと位置の決め方）
ウインドウの大きさ
ウインドウの大きさは、図１１〜図１３のようにして決めている。図１１はウインドウの大きさを示し、図１２，図１３は数人の眼の大きさを調べた横、縦の長さの統計データを示している。ここでウインドウの大きさはノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。現在の脇見検出などの処理で使っている大きさは数人の眼の大きさを調べ、それに余裕分（例えば×１．５倍）を加味した大きさにしている。数人の眼の大きさを統計的に求める方法としては、図１２，図１３のように、眼の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分をみて決定する方法が考えられる。そしてこの９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに図１１のように余裕分（×１．５）をみて決定している。尚、画像処理により眼の幅や高さを推定し、縦横の大きさに余裕分を加える方法も考えられる。
【００４５】
位置の決め方
図１４は、例えば右眼のウインドウを位置決めする方法について示している。
【００４６】
眼の座標値（ｘ２，ｙ２）を基準に、距離ｘ３，ｙ３の位置にウインドウを描く基準点Ｐを決め、Ｐ点から予め決めておいたウインドウの寸法ｘ４，ｙ４を描画し、位置を決める。ｘ３及びｙ３はｘ４，ｙ４の１／２で予めウインドウが眼の中心にくるような長さとしている。
【００４７】
以上が顔画像から両眼の位置を特定し、両眼追跡までの過程を説明している
図１５は、図２の領域拡張回路７における処理のフローチャートを示している。まず、Ｓ１では前記眼の位置検出回路６において検出されている両眼の座標値の入力を行う。次にＳ２においては、片眼の座標値が消えたか否かの判断を行う。この場合、両眼が追跡できていれば両眼の座標値２個が認識され、片眼しか追跡できていなければ消えていないほうの眼の座標値１個だけとなる。これら座標値の個数により片眼の座標値が消えたかどうかを判断している。片眼が消える例としては、例えばドアミラーの確認、後方の安全確認など画像から片方の眼が消えるほどの大きな動作をしたときに起こる場合がある。
【００４８】
Ｓ２で片眼の座標値が消えたと判断された場合、Ｓ２’へ進み、両眼の座標値が消えたかどうかが判断される。両眼の座標値が消えたと判断された場合は、Ｓ１へ戻る。そして消えていない方の眼の座標値が確認されれば、Ｓ３において所定領域、すなわちウインドウの拡張を行う。
【００４９】
図１６〜図１８は処理画像の経過を示している。図１６は例えば右ドアミラーを見たときの顔の位置を示している。この場合、両眼追跡の各ウインドウ２３，２５は距離が減少して重なることがあり、ドアミラーから前方方向に視線が戻ったときに片側の眼の追跡が図１７のようにできなくなる。このような場合は、図１８のように所定領域としてウインドウ２７を左右の眼を同時に含めることの可能な大きさに拡張する。そしてこの拡張したウインドウ２７の中で、左右の眼の位置を再び検出する。ここで検索領域の大きさと位置の決め方について説明する。
【００５０】
（検索領域の大きさと位置の決め方）
大きさの決め方
図１９は検索領域、すなわちウインドウの大きさの決め方を示している。ウインドウ２７の大きさはノイズ（顔の皺や明暗などを抽出してしまう）の低減や、処理速度を落とさないためにも小さい領域が良い。しかし小さすぎて走行中の上下左右振動で眼が領域から頻繁に出ると、眼の位置が判別できなくなる。よって、縦方向は上下振動で動く距離、横方向は両眼の距離に左右振動で動く距離に余裕分を加えた大きさとしている。例えば図１９のように、横方向の大きさｘ１１は、両眼の距離Ｌ０（Ｌ０＝ｘ１−ｘ２）に所定の定数Ｋを掛けた値とする。定数Ｋは車両の左右振動で動く分に余裕分を含んだもので、例えばＫ＝２．０に設定する。縦方向Ｙ１１は例えばｘ１１の０．３掛けとして大きさを決めている
位置の決め方
片眼が消えた場合に、ウインドウの位置を設定するには、過去に両眼の位置を図９の段階で検出しており、この座標をもとに設定する。
【００５１】
ここで、右眼の座標を基準にした例を示すと、右眼座標（ｘ２，ｙ２）から距離ｘ１０，ｙ１０の場所に描画をするときの基準点Ｑを作る。このＱ点から（ｘ１１，ｙ１１）の寸法で描画することにより領域を設定する。この（ｘ１１，ｙ１１）はウインドウ２７が両眼の中心に位置するように設定されるものである。こうしてドアミラーを見るなどして片眼が消失し、再び正面方向を向いたときに図１６，図１７のように片眼の追跡ができなくなっても、ウインドウを拡張することによって直ちに両眼を追跡することができる。従って、最初の画像データの取り込みから行う必要がなく、一旦片眼が消失した場合でも迅速に両眼の追跡を再開することができ、乗員の脇見運転検出などの早い処理が必要とする場合でも十分に対応することができる。
【００５２】
尚、上記実施形態では、片眼が消失した場合に、過去に検出されている眼の座標値からウインドウを拡張するようにしたが、例えば、検出されている他方の眼の位置のみを基準にウインドウを拡張するようにしてもよい。
【００５３】
図２１は第１実施形態の変形例に係る実施形態のフローチャートを示し、図１５と対応したものである。本実施形態においては、Ｓ１，Ｓ３は図１５と同一であり、Ｓ４の判断において両眼の相対距離が所定範囲より大となったときにＳ３の所定領域の拡張を行うようにしたものである。これは例えば、図２２のように、ウインドウ２３が誤って眉毛を捉え、相対位置が異常となる場合の処理の例である。
【００５４】
このような場合、前記同様に両眼追跡からウインドウを拡張して両眼の検出を行うものである。両眼の相対距離が所定距離より大となったときとは、例えば図２３のように左右の眼の左右距離ｘ２０は異常ではないが、上下距離ｙ２０の値が明らかに大きければ、どちらかが眼でないと判断し、その後テンプレートマッチングによって眼を特定する。テンプレートマッチングについては前記同様である。
【００５５】
この場合、右眼が眼と特定され、この右眼の座標値を基準に前記同様にウインドウを拡張し、両眼の検出を行うものである。また左右の眼の上下距離ｙ２０は小さいが、左右距離ｘ２０が例えば１．５倍に変化した場合にも異常と見なし、同様にテンプレートマッチングにより眼を特定し、ウインドウを拡張する。従って、何れの場合にも左右のウインドウ２３，２５が眼でないものを追跡している場合に、これを直ちに異常として正しい左右の眼の検出に移行することができる。しかも、この場合にも、画像データの取り込みから行う必要がなく、迅速な処理を行わせることができ、脇見運転など早い処理が必要な場合でも十分に対応することができる。
【００５６】
次に、図２４により、前記眼の位置検出回路８での拡張した領域での眼の検出から眼の位置検出回路６での各左右のウインドウによる眼の追跡に復帰する場合について説明する。この処理は、前記眼の位置検出回路８が行うものである。
【００５７】
まず、ステップＳ５では、両眼に相当する眼の座標値を入力する。ステップＳ６では、両眼の相対距離が所定範囲内となったかどうかの判断を行い、所定範囲内となっていればステップＳ７において両眼に相当する座標値を基準に左右のウインドウを再び設定し、左右両眼の検出、追跡を行うようにする。従って、拡張したウインドウに比べて再びノイズの少ない範囲で眼の検出を行うことができ、迅速な眼の検出を正確に行うことができる。
【００５８】
このように本発明第１実施形態では、両眼の位置を独立して検出、追跡すると共に、片眼が消失したり誤検出した場合でも、直ちにウインドウを拡張することによって両眼の有無を検出することができ、乗員が振り向いた場合や顔を大きく動かした場合などでも短時間で眼の位置を検索することができ、連続的に眼の追跡が可能となる。
【００５９】
（第２実施形態）
図２５は本発明の第２実施形態に係るフローチャートを示している。本実施形態における基本的な構成は、前記図２と同様である。そして、この図２５のフローチャートも前記領域拡張回路７を実行するものである。従って、図１５と対応するステップには同符合を付して説明し、また重複した説明は省略する。
【００６０】
一方、本実施形態の図２５においては、片眼の座標値が消えたあと、Ｓ８において移動前の両眼の距離が所定範囲内かつ所定時間以上続いていたかどうかの判断を行う。ここで所定範囲内とは、眼の位置検出時の座標値から両眼の距離Ｌ０（図２６参照）を基準に、例えば±２０％以内に入っている座標値を１０００データ取り込む。この１０００データの座標値の分布から眼の位置が最も存在する確率が高い座標値を計算して記憶する。１０００データは時間に換算すると１ループの時間を０．１ｓｅｃとすると、１００ｓｅｃとなるが、これは顔が静止しているような条件の良い場合であり、実際は顔が動いているため１０００データ集まるまでには時間がかかる（例えば２００ｓｅｃ）。できるだけ眼が滞留している条件で眼のデータが集まれば、眼の位置の精度は良くなる。
【００６１】
Ｓ８において、移動前の両眼の距離が所定範囲内かつ所定時間以上続いた場合には、Ｓ９において移動する前の両眼の座標を含むように所定領域、すなわちウインドウを拡張する。次いでＳ１０では、ウインドウ内の両眼の距離が安定しているか否かが判断される。すなわち、拡張したウインドウ内に両眼に相当するデータが検出されているかどうかを判定し、検出されていれば再びＳ１へ戻る。
【００６２】
また前記Ｓ８において、移動前の両眼の距離が所定範囲内かつ所定時間以上続いていないと判断されたとき、又は比較的短時間しかとどまっていなかったときは、乗員が動いている可能性がある。ここで比較的短時間しかとどまっていなかった場合とは、移動前の両眼の距離Ｌ０±２０％の座標値が２００sec経っても １０００データに満たない場合であり、運転者の顔が動いていると推定され、ウインドウを拡張するときの基準としてふさわしくないので、この場合は初期に検索した眼の位置座標を基準とする。すなわち、Ｓ１１において、初期の両眼の座標値を含むように所定領域、すなわちウインドウを拡張する。この初期の両眼の座標値は、前記眼の位置検出回路６において検出され記憶された両眼の座標値が用いられる。
【００６３】
ここでは初期のデータを用いるため、顔が画面枠１３の中央にあるとは限らないので、画像全体にウインドウを拡げて検索するのが理想である。しかし全体に拡げると、例えば車両内装の模様などを眼と認識するなどノイズが多くなり、また処理速度が遅くなり、顔の動きに追従できなくなる。よって、乗員が前を見ている状態で、車両の上下左右振動で眼が動く範囲をウインドウの大きさとし、これを実験的に求める。顔の大きさは運転者により変わるため、求めた基準のウインドウをベースに両眼の距離から比例計算で可変とする。
【００６４】
次いでＳ１２において、両眼の距離が安定しているか否かの判断が行われる。
【００６５】
この判断は前記Ｓ１０と同様である。
【００６６】
図２６〜図２８は処理画像を示している。尚、Ｓ１，Ｓ２までの画像の入力、及び片眼の座標値が消えたあと、片方のウインドウが消えて追跡ができなくなるまでの処理画像は第１実施形態と同様であり、前記図３〜図１４を参照する。尚、前記図１６、１７に対応する図を図２７、２８に示している。
【００６７】
このように片方のウインドウが消失したとき、その消失する前に前方を見ていて、かつ位置が安定していたと判断されているときの両眼の座標、すなわち図２６の（ｘ１０，ｙ１０）（ｘ２０，ｙ２０）を含むように図２９のようにウインドウ２９を拡張する。また、図３０のように初期の両眼の座標、例えば３３，３５を用いるときは、ウインドウ３１を大きめに拡張する。
【００６８】
従って、乗員の顔１１が反対側に大きく動いた場合でも、眼を連続的に捉えることができる。このようにして本実施形態においても第１実施形態と略同様な作用効果を奏することができる。一方、本実施形態においては、予め記憶した眼の位置を含むようにウインドウを拡張するため、両眼が消失した場合でも迅速かつ的確に眼の追跡を行うことができる。
【図面の簡単な説明】
【図１】本発明のブロック図である。
【図２】本発明の第１実施形態に係るブロック図である。
【図３】第１実施形態に係る処理画像である。
【図４】第１実施形態の処理画像である。
【図５】テンプレートマッチングの説明図である。
【図６】画素列と濃度値との説明図である。
【図７】画素列と濃度値との説明図である。
【図８】画素列と濃度列との説明図である。
【図９】第１実施形態の処理画像を示す説明図である。
【図１０】第１実施形態の処理画像を示す説明図である。
【図１１】ウインドウの大きさを示す説明図である。
【図１２】眼の横方向の長さの統計図である。
【図１３】眼の縦方向の長さの統計図である。
【図１４】ウインドウの位置を決める説明図である。
【図１５】第１実施形態のフローチャートである。
【図１６】第１実施形態の処理画像である。
【図１７】第１実施形態の処理画像である。
【図１８】第１実施形態の処理画像である。
【図１９】ウインドウの大きさの決め方の説明図である。
【図２０】ウインドウの位置の決め方の説明図である。
【図２１】第１実施形態のフローチャートである。
【図２２】第１実施形態の変形例に係る実施形態の処理画像である。
【図２３】左右特徴点の上下距離と左右距離との関係を示す説明図である。
【図２４】第１実施形態のフローチャートである。
【図２５】本発明の第２実施形態に係るフローチャートである。
【図２６】第２実施形態の処理画像である。
【図２７】第２実施形態の処理画像である。
【図２８】第２実施形態の処理画像である。
【図２９】第２実施形態の処理画像である。
【図３０】第２実施形態の処理画像である。
【符号の説明】
ＣＬ１  画像出力手段
ＣＬ２  顔の特徴量検出手段
ＣＬ３  第一の眼の位置検出手段
ＣＬ４  領域決定手段
ＣＬ５  第二の眼の位置検出手段
ＣＬ６  領域拡張手段
ＣＬ７  第三の眼の位置検出手段
【図１】
0003858534.tif 000002
【図２】
0003858534.tif 000003
【図３】
0003858534.tif 000004
【図４】
0003858534.tif 000005
【図５】
0003858534.tif 000006
【図６】
0003858534.tif 000007
【図７】
0003858534.tif 000008
【図８】
0003858534.tif 000009
【図９】
0003858534.tif 000010
【図１０】
0003858534.tif 000011
【図１１】
0003858534.tif 000012
【図１２】
0003858534.tif 000013
【図１３】
0003858534.tif 000014
【図１４】
0003858534.tif 000015
【図１５】
0003858534.tif 000016
【図１６】
0003858534.tif 000017
【図１７】
0003858534.tif 000018
【図１８】
0003858534.tif 000019
【図１９】
0003858534.tif 000020
【図２０】
0003858534.tif 000021
【図２１】
0003858534.tif 000022
【図２２】
0003858534.tif 000023
【図２３】
0003858534.tif 000024
【図２４】
0003858534.tif 000025
【図２５】
0003858534.tif 000026
【図２６】
0003858534.tif 000027
【図２７】
0003858534.tif 000028
【図２８】
0003858534.tif 000029
【図２９】
0003858534.tif 000030
【図３０】
0003858534.tif 000031