(57)【特許請求の範囲】
【請求項１】
顔を含んだ画像データを入力する画像入力手段と、前記入力された画像データを複数個に分割して複数個の眼の検索領域を設定する眼の検索領域設定手段と、前記各眼の検索領域を順に切り替える眼の検索領域変更手段と、前記順に切り替える眼の検索領域のそれぞれで顔の縦方向の画素列に沿って画素の濃度を検出し、画像内の明暗のうち暗い側を明るい側よりも濃度値が低くなるように規定した場合に、前記画素列上の濃度値の低い側のピークの直前の濃度変化の微分値が判定基準値以下であることを条件に濃度値の低い側のピークの画素を特定して抽出点とするポイント抽出手段と、前記抽出点が画素列方向に連続して顔の横方向に伸びる曲線データを抽出可能な曲線データ抽出手段と、前記眼の検索領域で曲線データの有無を確認する曲線データ確認手段と、前記曲線データ確認手段により曲線データが確認されなかった場合に前記複数個に分割した他の眼の検索領域に変更すべく前記眼の検索領域変更手段に出力する検索領域変更指令手段と、前記曲線データ確認手段により曲線データが確認された場合に前記眼の検索領域内の曲線データの相対位置関係より眼の位置を検出する眼の位置検出手段からなることを特徴とする眼位置検出装置。
【請求項２】
請求項１記載の眼位置検出装置であって、
前記曲線データ確認手段により曲線データが確認された場合に前記眼の検索領域の最上端の曲線データを検出する最上端曲線データ検出手段と、前記最上端の曲線データが複数回同等位置に出現することを条件に安定と判定する最上端の曲線データの第１安定条件判定手段と、前記第１安定条件判定手段の判定により最上端の曲線データの出現が安定した場合に前記最上端の曲線データを基準とした縮小第１領域を設定する縮小第１領域設定手段と、前記縮小第１領域内に出現する曲線データから眼の位置を検出する眼位置検出手段からなることを特徴とする眼位置検出装置。
【請求項３】
請求項１又は２記載の眼位置検出装置であって、
前記第１安定条件判定手段の判定により最上端の曲線データの出現が安定しない場合に前記最上端の曲線データを基準として眼の検索領域上部をカットする眼の第１検索領域カット手段を設け、前記最上端曲線データ検出手段は、前記カット後の眼の検索領域内において再度最上端の曲線データを検出することを特徴とする眼位置検出装置。
【請求項４】
請求項２又は３記載の眼位置検出装置であって、
前記第１安定条件判定手段の判定により最上端の曲線データの出現が安定した場合に前記最上端の曲線データを基準として領域を上下方向に縮小すると共に左右方向に拡大した縮小第２領域を設定する縮小第２領域設定手段と、前記縮小第２領域において出現する曲線データを上部より一つ又は二つを抽出する曲線データ抽出手段と、該曲線データ抽出手段により抽出された曲線データの位置関係、長さの少なくとも一方を判定する曲線データの特徴量判定手段と、前記曲線データ抽出手段により抽出された曲線データが複数回同等位置、同等長さで出現することを条件に安定と判定する曲線データの第２安定条件判定手段と、を備え、前記縮小第１領域設定手段は、前記第２安定条件判定手段の判定により曲線データの出現が安定した場合に該曲線データを基準とした縮小第１領域を設定することを特徴とする眼位置検出装置。
【請求項５】
請求項４記載の眼位置検出装置であって、
前記第２安定条件判定手段の判定により前記縮小第２領域内の曲線データの出現が安定しない場合に前記曲線データを基準として眼の検索領域上部をカットする眼の第２検索領域カット手段を有し、前記最上端曲線データ検出手段は、カット後の眼の検索領域内において再度最上端の曲線データを検出することを特徴とする眼位置検出装置。
【請求項６】
請求項４又は５記載の眼位置検出装置であって、
前記縮小第２領域内の安定条件を満たした曲線データの状態に応じて前記縮小第１領域の設定を補正する縮小第１領域設定補正手段を有することを特徴とする眼位置検出装置。
【請求項７】
請求項６記載の眼位置検出装置であって、
前記縮小第１領域設定補正手段は、前記縮小第２領域内において安定条件を満たした曲線データの長さが所定値を上回るとき前記縮小第１領域の設定を補正することを特徴とする眼位置検出装置。
【請求項８】
請求項４〜７のいずれか１項に記載の眼位置検出装置であって、
前記縮小第２領域設定手段は、前記最上端の曲線データの中心座標を基準に縮小第２領域を設定することを特徴とする眼位置検出装置。
【請求項９】
請求項４〜８のいずれか１項に記載の眼位置検出装置であって、
前記縮小第２領域内に出現する左右二つの曲線データの間隔が所定値を下回るときは、曲線データが確認されなかったと判断する曲線データ判断手段を備え、
前記検索領域変更指令手段は、前記曲線データ判断手段により、曲線データが確認されなかったと判断された場合に前記複数個に分割した他の眼の検索領域に変更すべく前記眼の検索領域変更手段に出力することを特徴とする眼位置検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、ミラー、シートを自動制御するためや、ドライバの目の開閉状態から居眠り運転状態を検出するために必要な眼の位置の特定に用いることができる眼位置検出装置に関する。
【０００２】
【従来の技術】
従来の運転者等の眼位置検出装置としては、例えば特開平７−１８１０１２号に記載されたようなものがある。
【０００３】
この眼位置検出装置は、ドライバの前方に設置したカメラで撮影した濃淡画像データの二値化処理を行い、二値化画像において濃度投影、ラベリング処理等を行うことで眼の位置を検出する構成となっている。
【０００４】
又、濃淡画像を対象とした眼位置検出装置としては、特願平８−１０１９０４号に記載されたようなものがある。
【０００５】
この眼位置検出装置は、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列における濃度の局所的な高まりごとに１個ずつの要素を定めて抽出点とし、隣接する画素列の画素列方向に近接した抽出点を連結して顔の横方向に伸びる曲線データから眼の位置を検出する構成となっている。
【０００６】
【発明が解決しようとする課題】
しかしながら、上記の眼位置検出装置では、図２３に示すように眼位置検出対象者の背景に当たる部分に模様（例えば、リヤウインドウから見える景色が写ってできる模様など）があった場合、眼や眉、鼻の穴などのデータに加え背景の模様によるデータが数多く出現し、眼を検出する選択式が非常に複雑になるだけでなく、眼の位置検出精度も低下するという問題点があった。
【０００７】
又、濃淡画像を対象とした眼位置検出装置でも、図２４に示すように背景の模様による曲線データが数多く出現するのに変わりはなく、やはり同一の問題点があった。
【０００８】
この発明は、眼の位置検出対象者の背景の部分にノイズとなる模様などが、数多く存在しても眼の位置の検出精度を保つことのできる装置を提供することを目的としている。
【０００９】
【課題を解決するための手段】
請求項１の発明は、顔を含んだ画像データを入力する画像入力手段と、前記入力された画像データを複数個に分割して複数個の眼の検索領域を設定する眼の検索領域設定手段と、前記各眼の検索領域を順に切り替える眼の検索領域変更手段と、前記順に切り替える眼の検索領域のそれぞれで顔の縦方向の画素列に沿って画素の濃度を検出し、画像内の明暗のうち暗い側を明るい側よりも濃度値が低くなるように規定した場合に、前記画素列上の濃度値の低い側のピークの直前の濃度変化の微分値が判定基準値以下であることを条件に濃度値の低い側のピークの画素を特定して抽出点とするポイント抽出手段と、前記抽出点が画素列方向に連続して顔の横方向に伸びる曲線データを抽出可能な曲線データ抽出手段と、前記眼の検索領域で曲線データの有無を確認する曲線データ確認手段と、前記曲線データ確認手段により曲線データが確認されなかった場合に前記複数個に分割した他の眼の検索領域に変更すべく前記眼の検索領域変更手段に出力する検索領域変更指令手段と、前記曲線データ確認手段により曲線データが確認された場合に前記眼の検索領域内の曲線データの相対位置関係より眼の位置を検出する眼の位置検出手段からなることを特徴とする。
【００１０】
請求項２の発明は、請求項１記載の眼位置検出装置であって、前記曲線データ確認手段により曲線データが確認された場合に前記眼の検索領域の最上端の曲線データを検出する最上端曲線データ検出手段と、前記最上端の曲線データが複数回同等位置に出現することを条件に安定と判定する最上端の曲線データの第１安定条件判定手段と、前記第１安定条件判定手段の判定により最上端の曲線データの出現が安定した場合に前記最上端の曲線データを基準とした縮小第１領域を設定する縮小第１領域設定手段と、前記縮小第１領域内に出現する曲線データから眼の位置を検出する眼位置検出手段からなることを特徴とする。
【００１１】
請求項３の発明は、請求項１又は２記載の眼位置検出装置であって、前記第１安定条件判定手段の判定により最上端の曲線データの出現が安定しない場合に前記最上端の曲線データを基準として眼の検索領域上部をカットする眼の第１検索領域カット手段を設け、前記最上端曲線データ検出手段は、前記カット後の眼の検索領域内において再度最上端の曲線データを検出することを特徴とする。
【００１２】
請求項４の発明は、請求項２又は３記載の眼位置検出装置であって、前記第１安定条件判定手段の判定により最上端の曲線データの出現が安定した場合に前記最上端の曲線データを基準として領域を上下方向に縮小すると共に左右方向に拡大した縮小第２領域を設定する縮小第２領域設定手段と、前記縮小第２領域において出現する曲線データを上部より一つ又は二つを抽出する曲線データ抽出手段と、該曲線データ抽出手段により抽出された曲線データの位置関係、長さの少なくとも一方を判定する曲線データの特徴量判定手段と、前記曲線データ抽出手段により抽出された曲線データが複数回同等位置、同等長さで出現することを条件に安定と判定する曲線データの第２安定条件判定手段と、を備え、前記縮小第１領域設定手段は、前記第２安定条件判定手段の判定により曲線データの出現が安定した場合に該曲線データを基準とした縮小第１領域を設定することを特徴とする。
【００１３】
請求項５の発明は、請求項４記載の眼位置検出装置であって、前記第２安定条件判定手段により前記縮小第２領域内の曲線データの出現が安定しない場合に前記曲線データを基準として眼の検索領域上部をカットする眼の第２検索領域カット手段を有し、前記最上端曲線データ検出手段は、カット後の眼の検索領域内において再度最上端の曲線データを検出することを特徴とする。
【００１４】
請求項６の発明は、請求項４又は５記載の眼位置検出装置であって、前記縮小第２領域内の安定条件を満たした曲線データの状態に応じて前記縮小第１領域の設定を補正する縮小第１領域設定補正手段を有することを特徴とする。
【００１５】
請求項７の発明は、請求項６記載の眼位置検出装置であって、前記縮小第１領域設定補正手段は、前記縮小第２領域内において安定条件を満たした曲線データの長さが所定値を上回るとき前記縮小第１領域の設定を補正することを特徴とする。
【００１６】
請求項８の発明は、請求項４〜７のいずれか１項に記載の眼位置検出装置であって、前記縮小第２領域設定手段は、前記最上端の曲線データの中心座標を基準に縮小第２領域を設定することを特徴とする。
【００１７】
請求項９の発明は、請求項４〜８のいずれか１項に記載の眼位置検出装置であって、前記縮小第２領域内に出現する左右二つの曲線データの間隔が所定値を下回るときは、曲線データが確認されなかったと判断する曲線データ判断手段を備え、前記検索領域変更指令手段は、前記曲線データ判断手段により、曲線データが確認されなかったと判断された場合に前記複数個に分割した他の眼の検索領域に変更すべく前記眼の検索領域変更手段に出力することを特徴とする。
【００１８】
【発明の効果】
請求項１の発明によれば、眼の検出領域を予め複数個の小領域に分割し、該領域の一つに眼の候補データとなる濃度変化状態から抽出したポイントの横方向への連続性で抽出された曲線データが確認されるか否かを判定し、該領域に曲線データが確認されたときに眼の位置を検出することにより、眼の検出を行う選択式を簡素化でき、眼の位置検出精度を向上することができる。
【００１９】
すなわち、画像全体を分割し、その領域内の上部に出現する曲線データの安定的な出現を判断し、眼の検索領域を順次絞り込んでいく構成とすることにより、ドライバ等の個人差による顔の位置の違いに対応でき、又、顔の構成物以外のノイズとなるデータが数多く含まれても精度の高い眼の位置検出が可能である。
【００２０】
請求項２の発明によれば、請求項１の発明の効果に加え、前記眼の検出領域の最上端に出現する曲線データが安定することを条件に縮小第１領域を設定し、該領域に出現する曲線データを対象として眼の位置を検出することにより、眼の検出を行う選択式を簡素化でき、更に眼の位置検出精度を向上することができる。
【００２１】
請求項３の発明によれば、請求項１又は２の発明の効果に加え、最上端の曲線データが出現しない場合に、検索領域上部をカットするため、最上端の安定した曲線データを確実に検出することができる。
【００２２】
請求項４の発明によれば、更に、請求項２又は３の効果に加え、上記眼の検索領域の最上端に出現する曲線データが安定することを条件に縮小第２領域を設定し、該領域に出現する曲線データの状態が安定することを条件に縮小第１領域を設定するため、更に眼の位置検出精度を向上することができる。
【００２３】
請求項５の発明によれば、請求項４の発明の効果に加え、曲線データの出現が安定しない場合に再度検索領域上部をカットし、安定した曲線データを確実に検出することができる。
【００２４】
請求項６の発明によれば、請求項４又は５の発明の効果に加え、曲線データの状態に応じて縮小第１領域の設定位置を補正し、更に眼の位置検出精度を向上させることができる。
【００２５】
請求項７の発明によれば、請求項６の発明の効果に加え、曲線データの長さが所定値を上回るとき縮小第１領域の設定位置を補正することにより、例えば、眼鏡を掛けている場合でも正確な縮小第１領域を設定し、眼の位置検出精度をより向上させることができる。
【００２６】
請求項８の発明によれば、請求項４〜７のいずれかの発明の効果に加え、最上端の曲線データの中心座標を基準に縮小第２領域を設定することにより、眼の位置検出精度をより向上させることができる。
【００２７】
請求項９の発明によれば、請求項４〜８のいずれかの発明の効果に加え、縮小第２領域内に出現する左右二つの曲線データの間隔が所定値を下回るときは、曲線データが確認されなかったと判断するため、眼の位置検出精度をより向上させることができる。
【００２８】
【発明の実施の形態】
図１は、本発明の一実施形態の眼位置検出装置の機能ブロック図にかかり、該眼位置検出装置は、眼の検索領域の設定及び変更手段ＣＬ１と、画像入力手段ＣＬ２と、濃度検出手段ＣＬ３と、ポイント抽出手段ＣＬ４と、曲線データ抽出手段ＣＬ５と、確認手段ＣＬ６と、最上端曲線データ検出手段ＣＬ７と、第１安定条件判定手段ＣＬ８と、縮小第２領域設定手段ＣＬ９と、曲線データ判定手段ＣＬ１０と、縮小第１領域設定手段ＣＬ１１と、縮小第１領域設定補正手段ＣＬ１２と、眼の位置検出手段ＣＬ１３とを備えている。
【００２９】
前記眼の検索領域の設定及び変更手段ＣＬ１は、検索領域設定手段、検索領域変更手段、検索領域変更指令手段、及び第１、第２検索領域カット手段として眼の検索領域を設定もしくは変更する。前記画像入力手段ＣＬ２は、顔画像を入力する。前記画素列の濃度検出手段ＣＬ３は、前記画像入力手段ＣＬ２から入力された顔画像の縦方向の画素列の濃度を検出する。前記ポイント抽出手段ＣＬ４は、前記画素列における濃度の高まりとその変化状態によりポイントを抽出する。前記曲線データ抽出手段ＣＬ５は、隣接する画素列の画素列方向に近接したポイントを連続して顔の横方向への曲線群を抽出する。前記曲線データ確認手段ＣＬ６は、曲線データ確認手段、曲線データ判断手段として、設定された眼の検索領域内において曲線データ数を確認する。前記最上端曲線データ検出手段ＣＬ７は、眼の検索領域内において最上端の曲線データを検出する。前記最上端の曲線データ安定条件判定手段ＣＬ８は、最上端の曲線データの安定的な出現を判定する。前記縮小第２領域設定手段ＣＬ９は、最上端の曲線データの出現が安定したときに、前記曲線データを基準とした縮小第２領域を設定する。前記曲線データ判定手段ＣＬ１０は、曲線データ抽出手段、特微量判定手段、及び第２安定条件判定手段として前記縮小第２領域内での曲線データの出現状態を判定する。前記縮小第１領域設定手段ＣＬ１１は、前記縮小第２領域内で特定された曲線群を基準に縮小第１領域を設定する。前記縮小第１領域の設定補正手段ＣＬ１２は、縮小第２領域内で特定された曲線データの状態に応じて縮小第１領域の設定を補正する。前記眼位置検出手段ＣＬ１３は、縮小第１領域内で眼の位置検出を行う。
【００３０】
図２は、本発明の一実施形態にかかる構成ブロック図である。
【００３１】
図２のように、インストルメントに設置され、ドライバの顔部分を正面から撮影する画像入力手段ＣＬ２としてカメラ２１が備えられ、カメラ２１による入力画像は本実施形態では図７に示すように、横（Ｘ）方向５１２画素、縦（Ｙ）方向４８０画素からなる。
【００３２】
前記カメラ２１で撮影された入力画像は、ＡーＤ変換器２２を介して、デジタル量の入力画像データとして画像メモリ２３に格納される。
【００３３】
前記画像メモリ２３には、画像データ演算回路２４が接続されている。
【００３４】
該画像データ演算回路２４は、前記眼の検索領域の設定及び変更手段ＣＬ１と、前記画素列の濃度検出手段ＣＬ３と、ポイント抽出手段ＣＬ４と、前記曲線データ抽出手段ＣＬ５と、前記曲線データ数の確認手段ＣＬ６と、前記最上端曲線データ検出手段ＣＬ７と、前記第１安定条件判定手段ＣＬ８と、前記縮小第２領域設定手段ＣＬ９と、前記曲線データ判定手段ＣＬ１０と、前記縮小第１領域設定手段ＣＬ１１と、前記縮小第１領域の設定補正手段ＣＬ１２とからなる。
【００３５】
該画像データ演算回路２４には、縮小した眼の検索領域内において眼の位置を検出する眼の位置検出手段ＣＬ１３としての眼の位置検出回路２５が接続されている。
【００３６】
次に、上記構成における動作の流れを、図３〜図６のフローチャートと、図７〜図２２の説明図を用いて説明する。
【００３７】
まず、ステップＳ３０１において、眼の検索領域の設定を行う。眼の検索領域の初期状態での設定値は、全画面を分割した一つとする。本実施形態での分割例を図１０を用いて説明する。図１０では、画面全体をＩ〜ＩＶで４分割しており、初期状態ではＩの領域としている。
【００３８】
ステップＳ３０２では、以降の判定に用いるカウンタ、フラグ、メモリなど各変数の初期化を行う。このとき、眼の検索領域の切り替えをコントロールしている変数ｇｋｓｙｆｌｇの初期値は１としている。
【００３９】
ステップＳ３０３では、眼の検索領域変更フラグが立っているか否かを判定する。ステップＳ３０２で各変数の初期化後は、眼の検索領域変更フラグが立っていることはないため、ステップＳ３０４に移行する。
【００４０】
ステップＳ３０４では、１画像データの判定毎に初期化する必要のある変数の初期化を行う。ステップＳ３０５では、眼の検索領域内の画素データを読み出し、ステップＳ３０６で、曲線データとなる眼の候補データ（移行ステップでは、曲線データのことを連続データと呼ぶ）を抽出する。
【００４１】
ステップＳ３０５とＳ３０６での処理内容を、図６のフローチャートと図７〜図９の説明図を用いて説明する。
【００４２】
まず、ステップＳ６０１においてカメラによってドライバの顔部分を撮影し、１フレーム分の入力画像がデジタル信号に変換されたうえ画像メモリに格納される。ステップＳ６０２では、図７に示すように眼の検索領域Ｉに対してポイント抽出の処理を行い、１ライン終了後に一つ隣りのラインの処理に移していき、所定方向の全ラインでのポイント抽出が終了したか否かを判断する。
【００４３】
ステップＳ６０２で全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップＳ６０３に移行する。このステップＳ６０３では、所定方向の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなばらつきをなくすことを目的としており、濃度値の大局的な変化を捉えるためである。図８（ａ）に、図７のＸａのラインデータの相加平均演算の処理結果を示す。
【００４４】
図６のステップＳ６０４では、ステップＳ６０３の演算結果である相加平均値における微分演算を行う。この処理結果を図８の（ｂ）に示す。
【００４５】
図６のステップＳ６０５では、ステップＳ６０４の演算結果である微分値によるポイント抽出を行う。そのポイント抽出方法は、微分値が負から正に変化するポイント（ｐ１〜ｐ１０）、図８の（ａ）でいうと、グラフが下向きに凸になるポイントを抽出する。該ポイントは、画素列上の濃度値の片方向のピークとなる。次にそのポイントに達するまでの濃度値の変化（ｑ１〜ｑ１０）が所定値以下であるか否か、図８の（ｂ）の微分値の判定基準値以下（所定値を超えること）であるか否かを判定し、所定値以下の濃度ちの変化を持つポイントを対象としてＹ座標値（ａ３、ａ４）を抽出する。この処理が１ライン終了後、ステップＳ６０６で、次のラインの処理に切り替えていく。
【００４６】
ステップＳ６０２で全ラインのポイント抽出が終了したと判断されると、図９の（ａ）に示すようなポイント抽出がされる。つまり、図７上でのＸａ＝Ｘ１ライン状では、Ａ１、Ａ２、Ａ３の三つのポイントが抽出されていることになる。その後、ステップＳ６０７へ移行し、隣り合う各ラインの抽出ポイント（Ａ１、Ａ２、Ａ３…）のＹ座標値を比較し、Ｙ座標値が所定値以内の場合、連続データとして、▲１▼連続データのグループ番号、▲２▼連続開始ライン番号、▲３▼連続データ数をメモリする。
【００４７】
ここでは検出対象を眼としているため、その特徴量としては横に比較的長く続くデータであるとすることができるため、横方向に所定値以上続くということを条件に連続データを抽出できる。よってステップＳ６０７での処理結果として図９の（ｂ）に示すようなＧ１、Ｇ２の連続データを曲線データとして認識できる。
【００４８】
ステップＳ３０６で連続データの抽出後、ステップＳ３０７に移行する。ステップＳ３０７では眼の検索領域の切り替えをコントロールしている変数ｇｋｓｙｆｌｇの状態を判定している。ステップＳ３０２のところで説明したようにｇｋｓｙｆｌｇの初期値は１であるためステップＳ３０８に移行する。ステップＳ３０８では、眼の検索領域内に連続データが存在するか否かを判定しており、連続データが一つ以上ある場合は、ステップＳ３１２に移行する。又、一つもない場合は、ステップＳ３０９に移行し、連続データの未検出カウンタ１をインクリメントする。ステップＳ３１０では、連続データの未検出カウンタ１が２０を越えたか否かを判定している。つまり、未検出カウンタ１をインクリメント後に再度ステップＳ３０４に戻り、同眼の検索領域において連続データを抽出してもない場合に未検出カウンタをインクリメントして行き、この処理回数が２０回を越える場合に、ステップＳ３１１に移行する。
【００４９】
ステップＳ３１１では、検索領域変更フラグ１を立てる。その後ステップＳ３０３に移行し、検索領域変更フラグが立っているか否かの判定に移る。この時、検索領域変更フラグは立っているのでステップＳ３０１に移行し、眼の検索領域の変更を行う。この処理内容を図１１の説明図を用いて説明する。
【００５０】
図１１のＩに示すようにドライバの顔が画面のほぼ中央部にある場合は、ステップＳ３０６では図１１のＩに示すように眉と眼の連続データが抽出される。しかし、ドライバの顔が運転姿勢や体格によって、図１１のＩＩに示すような位置にくると眼の検索領域Ｉには連続データが存在しなくなる。この状況は、複数回処理を繰り返すことで確実に捉えることができる。この状態をステップＳ３１０で判定し、領域ＩＩへ切り替えるトリガーとして検索領域変更フラグ１を立てる。又、顔が左寄りにきたり、顔が左寄りで更に低い場合においても図１１のＩＩＩ  、ＩＶの例で示すように眼の検索領域内に連続データが存在しないことをトリガーに順次切り替えていくことができる。
【００５１】
この分割した眼の検索領域の初期位置と、その切り替え順序は、ドライバの左目の位置を検出することをより早く、より確実に検出することを目的としている。その理由は、通常の運転姿勢では、ドライバの左目が確率的に一番多く含まれるのはＩの領域であり、その次に体格差によって顔の位置が低くなるＩＩの領域が多い傾向があるからである。、又、ドライバの左目に注目している理由は、車室内の光環境状態を考えると右ハンドルの車では、右側から太陽の直射光によりドライバの右目の画像が著しく悪化することがあるからである。よって、本領域の設定、切り替え順序は左ハンドル車である場合左右対称とする。
【００５２】
このようにして、分割した眼の検索領域内の連続データは、図９の（ｂ）に示すように、その個数が限定されるため、この領域内における眼の検出においても従来例に対し眼の選択式が簡素化でき、眼の位置検出精度を向上させることができる。
【００５３】
次に、図３のフローチャートのステップＳ３１２以降で、更に眼の位置検出精度を高める方法を説明する。
【００５４】
ステップＳ３１２では、各連続データの判断値の読み出しを行っており、ステップＳ３１３では、その判断値の一つである連続開始点の上下位置と、連続終了点の上下位置から、連続データの傾きを算出し、傾きの大きい連続データを削除するステップである。これは、眼の連続データであると仮定した場合、顔の傾き以上となるデータは削除できる。これは、眼の選択対象から一つでも候補データを減らすことで眼の検出精度を向上させるためである。
【００５５】
ステップＳ３１４では、ステップＳ３０７と同様に眼の検索領域の切り替えをコントロールしている変数ｇｋｓｙｆｌｇの状態を判定している。ここでも、ｇｋｓｙｆｌｇの初期値の１であるためステップＳ３１５に移行する。ステップＳ３１５では、ステップＳ３１３で傾きの大きい連続データの削除後において、ステップＳ３０８と同様の判定を行う。
【００５６】
ステップＳ３１５でも、眼の検索領域内に削除後に連続データが存在するか否かを判定しており、連続データが一つ以上ある場合は、図４のステップＳ４０１に移行する。又、一つもない場合は、ステップＳ３１６に移行し、連続データの未検出カウンタ２をインクリメントする。
【００５７】
ステップＳ３１７では、連続データの未検出カウンタ２が２０を越えたか否かを判定している。つまり、未検出カウンタ２をインクリメント後に再度ステップＳ３０４に戻り、同眼の検索領域において連続データを抽出してもない場合に未検出カウンタをインクリメントして行き、この処理回数が２０回を越える場合に、ステップＳ３１８に移行する。
【００５８】
ステップＳ３１８では、検索領域変更フラグ１を立てる。その後、ステップＳ３０３に移行し、検索領域変更フラグが立っているか否かの判定に移る。このとき、検索領域変更フラグは立っているので、ステップＳ３０１に移行し眼の検索領域の変更を行う。眼の検索領域の変更方法は、図１１の説明で前述しているのでここでは省略する。
【００５９】
図４のステップＳ４０１では、図１２に示すように眼の検索領域内の最上端の連続データを検出する。その後ステップＳ４０３に移行し最上端の連続データの出現が安定したか否かを判定する。最上端の連続データの出現が安定する条件は、眼の検索領域内に連続データの抽出誤差を許容した同等の位置に所定回数続けて出現することを判定している。この条件を満たさない場合は、ステップＳ４１９に移行し、最上端の連続データの出現状態が不安定条件を満たしたか否かを判定する。不安定条件とは、最上端の連続データの位置が各フレーム毎の処理毎にばらつく状態を検出しており、連続データ位置が異なる度にカウントアップし、所定回数以上になったときに不安定条件を満たしたとしている。よって、不安定条件が満たされるまでの処理は、ステップＳ３０４に戻り、次のフレームの連続データの抽出に移る。
【００６０】
また、ステップＳ４０３で最上端の連続データの出現が安定する前に、ステップＳ４１９で不安定条件を満たした場合は、ステップＳ４０４に移行する。ステップＳ４０４では検索領域変更フラグ３を立て、ステップＳ３０３に戻り、ステップＳ３０１で眼の検索領域の変更を行う。
【００６１】
眼の検索領域の変更方法は、図１３に示すように同眼の検索領域内でばらついて出現した中の一番上の連続データ位置を基準に検索領域上部をカットし縮小を行う。この処理により、不安定な状態での出現が多い傾向がある背景の模様やはねた髪の毛による連続データによる領域が削除される。又、図１３のように最上端の連続データが不安定な状態が続く場合は、段階的に眼の検索領域を縮小し、図１４に示すように縮小した領域内に連続データが出現しなくなった場合は、図３のステップＳ３０８もしくはステップＳ３１５により、眼の検索領域ＩからＩＩに切り替え、図１４に示す画像データの眼のある箇所に眼の検索領域を切り替えることができる。
【００６２】
このように眼の検索領域内の最上端の連続データとして眼又は眉などを捉えることができれば、最上端の連続データの出現は非常に安定しており、ステップＳ４０３の安定条件を容易に満たすことができる。このとき、ｇｋｓｙｆｌｇを０とし、ステップＳ４０５に移行する。ステップＳ４０５ではｇｋｓｙｆｌｇが０であるか否かを判定しており、０である場合に、ステップＳ４０６に移行し、安定して出現した最上端の連続データ位置を基準に、更に眼の検出精度を向上させるため、図１５に示す判定領域として上下方向に縮小し、左右方向に拡大した縮小第２領域を設定する。この領域内においては、同領域内の上部より、出現する一つないし二つの連続データの出現状態より、検出した連続データが眼又は眉であるかを判定する。
【００６３】
ステップＳ４０６で縮小第２領域の設定後にｇｋｓｙｆｌｇを８８とし、ステップＳ４０７でｇｋｓｙｆｌｇが８８の時は、ステップＳ４０８に移行する。
【００６４】
ステップＳ４０８では、図１５に示す縮小第２領域内の出現する連続データを一つないし二つを検出し、その連続データの長さと位置関係により、該当する連続データが眉か眼又は眼鏡のフレームであるかを判定する判定値を算出し、ステップＳ４０９に移行する。
【００６５】
ステップＳ４０９では、眼或いは眉であれば左右対称の位置関係で安定的に出現する連続データが出現することを捉えることにより検出している。図１５のように眼の検索領域内で安定して出現する最上端の連続データが眼又は眉の片側である場合は、その連続データを基準とした左右方向への横に長い（最上端の曲線データの中心座標を基準とした）縮小第２領域内の上部から二つまでの連続データを検出すると、対象関係にあるもう一方の眼或いは眉が検出できる。この二つの連続データにおいても、最上端の連続データの場合と同様に眼或いは眉である場合は、同等位置で且つ同等間隔で出現する。よって、ステップＳ４０３の時と同じように安定条件を容易に満たすことができる。
【００６６】
ステップＳ４０９で該当する連続データの出現が安定しない場合、又は、安定して出現する場合であっても図１６に示すような二つの連続データ間隔が所定値Ｌ１以上ないときは、該当する連続データを眼或いは眉とはせず、ステップＳ４２０に移行する。図１６は、背景の模様が安定した最上端の連続データとして検出されてしまった例を挙げている。このような場合であっても、ステップＳ４０８、Ｓ４０９の判定によって、該当するノイズデータを除去することができる。その理由は、背景の模様や跳ねた髪の毛などの連続データである場合、それ単体での出現でも安定しにくく、更に同等高さに所定間隔以上離れた位置にもう一つの連続データが存在することが極めて少ないからである。
【００６７】
ステップＳ４２０では、左右対称の連続データの出現状態が不安定条件を満たしたか否かを判定する。不安定条件とは、前述したように左右対称となる連続データの位置や長さが、各フレーム毎の処理毎にばらつく状態を検出しており、連続データや長さが異なる度にカウントアップし、所定回数以上になったときに不安定条件を満たしたとしている。よって、不安定条件が満たされるまでの処理は、ステップＳ３０４に戻り次のフレームの連続データの抽出に移る。この処理を繰り返す際は、ｇｋｓｙｆｌｇが８８であるためステップＳ３０７、Ｓ３１２、Ｓ３１３、Ｓ３１４、Ｓ４０７、Ｓ４０８、Ｓ４０９、Ｓ４２０の順に流れ、最上端の連続データの検出は行わない。
【００６８】
又、ステップＳ４０９で左右対称の連続データの出現が安定する前に、ステップＳ４２０で不安定条件を満たした場合は、ステップＳ４１０に移行する。ステップＳ４１０では、検索領域変更フラグ３を立て、ステップＳ３０３に戻り、ステップＳ３０１で眼の検索領域の変更を行う。この時の眼の検索領域の変更方法は、左右対称の連続データの出現を判定する領域として設定した縮小第２領域の設定位置を基準に領域の縮小を行う。この処理により、不安定の状態での出現が多い傾向がある背景の模様や跳ねた髪の毛による連続データによる領域が削除される。
【００６９】
又、ｇｋｓｙｌｆｇを１に、ステップＳ３０２で初期化することにより、再度、縮小した眼の検索領域内の最上端連続データの安定条件判定の戻る。縮小した眼の検索領域内で再度、安定した最上端の連続データが検出された場合は、その連続データを基準に、再度左右対称の連続データの安定条件判定を行い、左右対称連続データの安定条件が満たされるまで、同様判定が繰り返される。よって、この場合においても図１７に示すように、階段的に眼の検索領域の縮小を行い、眼の検索領域に連続データが出現しなくなった場合は、ステップＳ３０８もしくはステップＳ３１５により、眼の検索領域ＩからＩＩに切り替え、図１８に示す画像データでの眼のある箇所に眼の検索領域を切り替えることができる。
【００７０】
次に、図１９に示すようにドライバが眼鏡をかけており、ステップＳ４０８、Ｓ４０９での連続データが一つしか出現しない場合や、二つの連続データが出現してもその一方が非常に長い場合の判定方法について説明する。
【００７１】
黒いフレームの眼鏡をかけているドライバの場合は、縮小第２領域での左右の連続データが一体化されることがある。このような場合は、二つの連続データの間隔を判定する変わりに、対象となる連続データの長さが所定値以上であるか否かによって判定することができる。
【００７２】
ステップＳ４０９で安定した左右対称の連続データが検出された場合は、眼の検索領域の切り替えをコントロールしている変数ｇｋｓｙｆｌｇを９９にする。ステップＳ４１１では、そのｇｋｓｙｆｌｇの状態が９９であることの確認後、ステップＳ４１２に移る。
【００７３】
ステップＳ４１２での縮小領域は縮小第１領域と定義づけており、図２０に示すように車両内側の眼、つまり右ハンドル車である場合は、ドライバの左目の周りに小さく設定する領域である。該領域の設定基準は、左右対称となる連続データの向かって右側の連続データの中心座標を用いている。
【００７４】
次に図２１を用いて縮小第１領域の設定する際の補正について説明する。ドライバが、眼鏡をかけている場合、眼の検索領域の範囲で検出される最上端の連続データは図２１の（ａ）のようになり、最上端の連続データの横方向への中心座標が眼の位置と合わないことがある。この座標値をそのまま用いて縮小第１領域を設定すると図２１の（ｂ）に示すように、ドライバの左目が領域の中央部に捉えきれず眼の検出精度が悪化することがある。このような場合においては、最上端の連続データが所定値以上の長さであることを判定して眼鏡を掛けていると認識し、図２１の（ｃ）に示すように、縮小第２領域で該当する連続データの全体長さＬ２を算出し、Ｌ２を所定比のａ：ｂで分割することによって補正後の縮小第２領域を設定する。この補正により、区間Ｄが補正され眼を縮小第１領域の中央部に検出できるようになる。このようにしてドライバの左目の周りに小さく設定した図２２の縮小第１領域内で眼の検出を行うことで、眼の選択式を非常に簡素化でき、検出精度も向上することが可能である。又、この選択式を用いる前までの検出においては、眉か眼、或いは眼鏡のフレームであることを前提としているため、限定した領域内の一つ又は二つの連続データを上部から検出しているにすぎず、非常にシンプルな形態での判定の繰り返しである。
【００７５】
最後にステップＳ４１３以降の処理で眼の位置の特定法について説明する。
【００７６】
ステップＳ４１３では眼鏡のフレーム、眉、眼など限られた顔の構成物の相対位置関係による判定式を作り、そのどれに該当するかによって、連続データの選択を行う。尚、この選択の際、どのパターンにも一致しないときは、ステップＳ４１４からステップＳ４１６に移行し、連続データの未検出カウンタ３をインクリメントしステップＳ４１７に移る。
【００７７】
ステップＳ４１７では、未検出カウンタ３が２０を越えるまで同様の判定を繰り返す。このときの処理の流れでは、ｇｋｓｙｆｌｇが９９であるため、最上端、左右対称の連続データの判定は行わない。又、ステップＳ４１７で未検出カウンタ３が２０を越えた場合は、ステップＳ４１８で検索領域変更フラグ４を立て、ステップＳ３０３からステップＳ３０４に戻し、初期状態から眼の位置検出をやり直す。このフローにはいることは、実際はまれであり、又検出したものが眼ではない確率も非常に高い。
【００７８】
ステップＳ４１４で眼の選択式に合致した連続データが存在する場合は、ステップＳ４１５に移行する。ステップＳ４１５では眼として特定された連続データの出現位置が同等の位置に複数回検出することを条件に安定条件値を算出する。
【００７９】
この後、図５のステップＳ５０１で前記安定条件を判定する。安定条件が満たされてない場合は、ステップＳ５０２で各フレーム毎眼の位置座標の変化から座標データのばらつき判定を行う。ステップＳ５０２のばらついていないと判断される場合は、ステップＳ３０４に戻り、ｇｋｓｙｆｌｇが９９であるときの処理を繰り返す。又、ステップＳ５０２において座標がばらついていると判断された場合は、ステップＳ５０３に移行し、連続データの未検出カウンタ４をインクリメントする。
【００８０】
ステップＳ５０４では、前記ばらつき状態をカウントするばらつきカウンタが１０を越えたか否かを判定し、越えるまでは同様の処理を繰り返し、越えた場合は、ステップＳ５０５で検索領域変更フラグ５を立て、ステップＳ３０３からステップＳ３０４に戻し、初期状態から眼の位置検出をやり直す。このフローに入る場合は、最終的な眼検出段階に入ったときにドライバの顔位置が大きく動いている状態であるといえ、この状態での眼の位置検出は誤差を多く含むため、再度初期状態に戻し顔位置が落ち着くタイミングを待つ方が好ましいからである。
【００８１】
ステップＳ５０１で眼の連続データの座標位置が安定した場合においては、ステップＳ５０６で眼の座標の出力を行う。
【００８２】
以上図３〜図５のフローチャートで全体的な処理の流れを説明し、本実施形態では縮小第２領域の設定後に、縮小第１領域を設定するという順序で説明したが、処理の内容としては縮小第２領域の設定を省略しても、従来例に対し眼の検出精度の向上は可能である。
【図面の簡単な説明】
【図１】本発明の一実施形態の機能ブロック図である。
【図２】本発明の一実施形態の構成を示すブロック図である。
【図３】実施形態の動作を示すフローチャートである。
【図４】実施形態の動作を示すフローチャートである。
【図５】実施形態の動作を示すフローチャートである。
【図６】実施形態の動作を示すフローチャートである。
【図７】フローチャートの処理に関する説明図である。
【図８】フローチャートの処理に関する説明図である。
【図９】フローチャートの処理に関する説明図である。
【図１０】フローチャートの処理に関する説明図である。
【図１１】フローチャートの処理に関する説明図である。
【図１２】フローチャートの処理に関する説明図である。
【図１３】フローチャートの処理に関する説明図である。
【図１４】フローチャートの処理に関する説明図である。
【図１５】フローチャートの処理に関する説明図である。
【図１６】フローチャートの処理に関する説明図である。
【図１７】フローチャートの処理に関する説明図である。
【図１８】フローチャートの処理に関する説明図である。
【図１９】フローチャートの処理に関する説明図である。
【図２０】フローチャートの処理に関する説明図である。
【図２１】フローチャートの処理に関する説明図である。
【図２２】フローチャートの処理に関する説明図である。
【図２３】従来例にかかる説明図である。
【図２４】従来例にかかる説明図である。
【符号の説明】
ＣＬ１    眼の検索領域の設定及び変更手段（検索領域設定手段、検索領域変更手段、検索領域変更指令手段、第１、第２検索領域カット手段）
ＣＬ２  画像入力手段
ＣＬ３  顔の縦方向の画素列の濃度検出手段
ＣＬ４  各画素列におけるポイント抽出手段
ＣＬ５    曲線データ抽出手段
ＣＬ６    曲線データ数の確認手段                                        （曲線データ確認手段、曲線データ判断手段）
ＣＬ７  所定領域内の最上端曲線データ検出手段
ＣＬ８  最上端の曲線データの第１安定条件判定手段
ＣＬ９    縮小第２領域設定手段
ＣＬ１０  縮小第２領域内での曲線データ判定手段                        （曲線データ抽出手段、特徴量判定手段、第２安定条件判定手段）
ＣＬ１１  縮小第１領域設定手段
ＣＬ１２  縮小第１領域設定補正手段
ＣＬ１３  眼の位置検出手段
２１  ＴＶカメラ
２２  ＡーＤ変換器
２３  画像メモリ
２４  画像データ演算回路
２５  眼の位置検出回路
【図１】
0003582324.tif 000002
【図２】
0003582324.tif 000003
【図３】
0003582324.tif 000004
【図４】
0003582324.tif 000005
【図５】
0003582324.tif 000006
【図６】
0003582324.tif 000007
【図７】
0003582324.tif 000008
【図８】
0003582324.tif 000009
【図９】
0003582324.tif 000010
【図１０】
0003582324.tif 000011
【図１１】
0003582324.tif 000012
【図１２】
0003582324.tif 000013
【図１３】
0003582324.tif 000014
【図１４】
0003582324.tif 000015
【図１５】
0003582324.tif 000016
【図１６】
0003582324.tif 000017
【図１７】
0003582324.tif 000018
【図１８】
0003582324.tif 000019
【図１９】
0003582324.tif 000020
【図２０】
0003582324.tif 000021
【図２１】
0003582324.tif 000022
【図２２】
0003582324.tif 000023
【図２３】
0003582324.tif 000024
【図２４】
0003582324.tif 000025