(57)【特許請求の範囲】
【請求項１】
顔の画像データを処理して眼の位置を検出する眼位置検出装置において、
顔の縦方向の画素列に沿って画素の濃度を検出し、画像内の明暗のうち暗い側を明るい側よりも濃度値が低くなるように規定した場合に、前記画素列上の濃度値の低い側のピークの直前の濃度変化の最小微分値が判定基準値以下であることを条件に、濃度値の低い側のピークの画素を特定して抽出点とするポイント抽出手段と、
隣接する画素列の画素列方向に近接した前記抽出点を連続して顔の横方向に伸びる曲線群を抽出する曲線群抽出手段と、
前記曲線群を構成するポイントの最小濃度値を基準にした所定濃度範囲を設定し、同曲線群データの各ポイントの判定を行う曲線群の選択手段と、
前記曲線群の選択手段により選択された曲線群データの中から眼の位置を検出する眼の位置検出手段と
を有することを特徴とする眼位置検出装置。
【請求項２】
請求項１に記載の眼位置検出装置において、
前記曲線群の選択手段が、最小濃度値を基準にした所定濃度範囲に入る同曲線群データのポイントが所定値以上連続することを条件に選択することを特徴とする眼位置検出装置。
【請求項３】
請求項１に記載の眼位置検出装置において、
前記曲線群の選択手段が、最小濃度値を基準にした所定濃度範囲に入る同曲線群データのポイントが所定値以上連続するものが複数個ある場合に、該当する曲線群データを相当個数に分割することを特徴とする眼位置検出装置。
【請求項４】
請求項１に記載の眼位置検出装置において、
前記曲線群の選択手段により除外された曲線群データが所定個数を越えた場合に最小濃度値を基準にした所定濃度範囲を変更し、再選択することを特徴とする眼位置検出装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は眼位置検出装置、より具体的には、ミラー、シートを自動制御するためや、ドライバの眼の開閉状態から居眠り運転状態を検出するために必要な眼の位置の特定に用いることができる眼位置検出装置に関する。
【０００２】
【従来の技術】
従来の運転者等の眼位置検出装置としては、特願平５−３４６０９４号公報に記載されているようなものがある。
この眼位置検出装置は、運転者の前方に設置したカメラで撮影した濃淡画像データの二値化処理を行い、二値化画像において濃度投影、ラベリング処理等を行うことで眼の位置を検出する構成となっているものである。
【０００３】
また、濃淡画像を対象とした眼位置検出装置としては、特願平８−１０１９０４号公報に記載されたようなものがある。
この眼位置検出装置は、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列における濃度の局所的な高まりごとに１個づつの画素を定めて抽出点とし、隣接する画素列の画素列方向に近接した抽出点を連結して顔の横方向に伸びる曲線群から眼の位置を検出する構成となっているものである。
【０００４】
【発明が解決しようとする課題】
しかしながら、このような従来の眼位置検出装置にあっては、眼の部分が影などによりコントラストが弱くなった場合、正確に二値化閾値を設定することが困難になり、眼の位置検出精度が低下するという問題点があった。
【０００５】
また、濃淡画像を対象とした眼位置検出装置でも、図１６（ａ）に示すように、極端にコントラストが弱くなった画像では、図１６（ｂ）に示すように、顔のしわなどによる濃淡でポイントが抽出されて左右の眼のデータが連続して眼の検出ができなかったり、また、実際の眼のデータに影のデータが接続された場合においても眼の位置検出精度が低下するという問題点があった。
【０００６】
本発明は、このような従来の問題点に着目してなされたもので、光環境状態が悪くコントラストの弱い状況下にあっても、安定して眼の位置検出が行える眼位置検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上述の課題を解決するために、図１に示すように、顔画像を入力する画像入力手段ＣＬ１と、該画像入力手段から入力された顔画像の縦方向の画素列の濃度を検出する画素列の濃度検出手段ＣＬ２と、前記画素列における濃度の高まりとその変化状態によりポイントを抽出するポイント抽出手段ＣＬ３と、隣接する画素列の画素列方向に近接したポイントを連続して顔の横方向への曲線群を抽出する曲線群の抽出手段ＣＬ４と、曲線群を構成するポイントの最小濃度値を基準にした曲線群の選択手段ＣＬ５と、前記曲線群の選択手段により選択された曲線群のデータから眼の位置を検出する眼の位置検出手段ＣＬ６とを備えるものとする。
【０００８】
本発明によれば、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列上における濃度の高まりと、その変化状態からポイントを抽出し、隣接する画素列の画素列方向に近接したポイントを連結して顔の横方向への曲線群とし、曲線群を構成する抽出ポイントの最小濃度値を基準にした濃度範囲の判定により曲線群を選択することにより、光環境状態が悪くコントラストの弱い状況下にあっても安定して眼の位置検出ができ、より検出精度を向上させることができる。
【０００９】
【発明の実施の形態】
以下、本発明による眼位置検出装置の実施の形態を添付図面を参照して詳細に説明する。
図１は、本発明による眼位置検出装置の構成を示すブロック図であり、図２は、一実施の形態を示すブロック図である。
【００１０】
まず、図１および図２を用いて、構成を説明する。インスト設置され、運転者の顔部分を正面から撮影する画像入力手段ＣＬ１としてのＴＶカメラ２１があり、ＴＶカメラ２１の入力画像は、本実施の形態では、図６に示すように、横（Ｘ）方向５１２画素、縦（Ｙ）方向４８０画素からなる。ＴＶカメラ２１で撮影された入力画像は、Ａ−Ｄ変換器２２を介して、デジタル量の入力画像データとして画像メモリ２３に格納される。画像メモリ２３には、これに格納された入力画像データに基づいて顔の縦方向の画素列の濃度を検出する画素列の濃度検出手段ＣＬ２と、前記画素列における濃度の高まりとその変化状態によりポイントを抽出するポイント抽出手段ＣＬ３と、隣接する画素列の画素列方向に近接したポイントを連結して顔の横方向への曲線群を抽出する曲線群の抽出手段ＣＬ４と、曲線群を構成するポイントの最小濃度値を基準にした濃度範囲の判定による曲線群の選択手段ＣＬ５からなる画像データ演算回路２４と、選択された曲線群から眼の位置を検出する眼の位置検出手段ＣＬ６としての眼の位置検出回路２５より構成されている。
【００１１】
次に、上記構成における動作の流れを、図３〜図５のフローチャートと、図６〜図１５を用いて説明する。
まず、ステップＳ３０において、ＴＶカメラ２１によって運転者の顔部分が撮影され、１フレーム分の入力画像がＡ−Ｄ変換器２２でデジタル信号に変換されたうえ、画像メモリ２３に格納される。
【００１２】
ステップＳ３１では、図６に示すように、Ｙ軸方向に４８０のライン上のデータに対してポイント抽出の処理を行い、１ライン終了後に、一つ隣のラインの処理に移していき、所定方向の全ラインでのポイント抽出が終了したか否かを判断する。
【００１３】
ステップＳ３１で、全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップＳ３２に移行する。このステップＳ３２では、所定方向の１ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなばらつきを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。図７（ａ）に、図６のＸａのラインデータの相加平均演算の処理結果を示す。
【００１４】
図３のステップＳ３３では、ステップＳ３２の演算結果である相加平均値における微分演算を行う。この処理結果を図７（ｂ）に示す。
【００１５】
図３のステップＳ３４では、ステップＳ３３の演算結果である微分値によるポイント抽出を行う。そのポイントの抽出方法は、図７（ｂ）に示す微分値が負から正に変化するポイント（ｐ１〜ｐ１０）、図７（ａ）でいうと、グラフが下向きに凸になるポイントを抽出する。次に、そのポイントに達する直前の最小微分値（例えばｑ３やｑ４）が所定値以下であるか否か、図７（ｂ）に示す微分値の判定基準値以下であるか否かを判定し、所定値以下の最小微分値を有するポイント（ｑ３，ｑ４）を対象として、Ｙ座標値（ａ３，ａ４）を抽出する。この処理が１ライン終了後、ステップＳ３５で、次のラインの処理に切り換えていく。
【００１６】
図３のステップＳ３１で、全ラインのポイント抽出が終了したと判断されると、図８（ａ）に示すようなポイントが抽出される。つまり、図８（ａ）のＸ１ライン上では、Ａ１，Ａ２の二つのポイントが抽出されており、Ｘ２ライン上では、Ａ１，Ａ２，Ａ３，Ａ４の四つのポイントが抽出されていることになる。
【００１７】
その後、ステップＳ３６へ移行し、隣合う各ラインの抽出ポイント（Ａ１，Ａ２，Ａ３，…）のＹ座標値を比較し、Ｙ座標値が所定値以内の場合、連続データとして、▲１▼連続データのグループ番号、▲２▼連続開始ライン番号、▲３▼連続データ数をメモリする。
【００１８】
ここでは、検出対象を眼としているため、その特徴量としては横に比較的長く続くデータであるとすることができるため、横方向に所定値以上続くということを条件に連続データを抽出できる。よって、ステップＳ３６での処理結果として、図８（ｂ）に示すようなＧ１〜Ｇ６までの連続データを、曲線群として認識できる。
【００１９】
これら曲線群の検出後、各曲線群を構成するポイントの中の最小濃度値を基準とした濃度範囲による判定により、再度曲線群データの選択を行う。ステップＳ３７では、この判定が全ての曲線群データに成されたか否かを判定する。ステップＳ３７において、判定が未（Ｎｏ）と判定された場合は、ステップＳ３８に移行する。
【００２０】
この曲線群データの選択を行う処理は、図４４に示すステップＳ３８，Ｓ３９，Ｓ３１０，Ｓ３１１で行っている。この処理は、図９および図１０を用いて、処理内容を具体的に説明する。
【００２１】
ステップＳ３８では、曲線群（連続データ）を構成する抽出ポイントの最も暗い階調値を基準に所定階調範囲を設定し、同曲線群を構成する抽出ポイントが前記範囲内にあるか否かを判定する。この処理を、図８（ｂ）のＧ５で示す鼻の連続データの例で説明する。
【００２２】
鼻の連続データを構成する抽出ポイントの濃度値は、図９（ｂ）に示すような値を持っている。この連続データで最も暗い階調値を持つポイントは左から２番目のポイントであり、そのポイントの濃度値を基準に所定濃度範囲を設定し、この鼻の連続データを構成する全てのポイントが範囲内にあるか否かを判定する。この例の場合、範囲内にあるポイントは、基準となった左から２番目のポイント以外に、右から２番目のポイントが該当する。この場合、ステップＳ３９で、ステップＳ３８の条件を満たす抽出ポイントの横方向への連続性は１個づつのデータが分離してある状態と判定される。
【００２３】
次のステップＳ３１０では、ステップＳ３８の条件を満たす抽出ポイントの連続性が、所定値を越えるか否かを判定している。
【００２４】
鼻が連続データを構成している場合、二つの鼻の穴が鼻下の影により連結されていることが多く、ステップＳ３８の条件により分割されるため、ステップＳ３１０の条件を満たすことはなく、ステップＳ３１１で、眼の検出対象データから除外することができる。
【００２５】
ただし、図８（ｂ）のＧ３で示す暗い階調が横方向に長く存在する眼の連続データの場合は、図１０（ｂ）に示すように、ステップＳ３８の条件を満たす抽出ポイントの横方向への連続性は長くなり、除外対象にならない。
【００２６】
よって、画像状態が悪いために起こる影などの抽出ポイントが含まれる不適切な曲線群を本処理により削除でき、眼の検出精度が向上する。
【００２７】
次に、図１１に示すような画像状態が悪いために起こる影などの抽出ポイントにより、左右の眼の連続データがつながってしまう場合についての処理内容を説明する。
【００２８】
このような連続データが検出された場合、ステップＳ３１２で、ステップＳ３９での判定による連続データが複数個あるか否かを判定する。左右の眼がつながって一つの曲線群を構成している場合は、図１２（ｂ）に示すように、所定濃度範囲による判定により分割され、かつ、所定値以上の長さを持つデータとして認識できる。よって、ステップＳ３１３へ移行し、独立したデータとして再メモリする。
【００２９】
このようにして、一つの連続データの判定終了後に、ステップＳ３１４で、次の連続データの判定に切り替え、全連続データに対し同様の処理を行う。
【００３０】
ステップＳ３７で、全連続データについて処理が終了したと判定されると、図５のステップＳ４１に移行し、ステップＳ３１０により削除されたデータが所定個数を越えたか否かを判定する。このステップは、ある特殊な条件により眼のデータがステップＳ３１０の削除条件を見たし、削除されてしまうことを防ぐためのものである。
【００３１】
ステップＳ３１０は、鼻の穴のような点状のデータが影などにより連続したものを除外すること目的として設定しているもので、主に鼻のデータを削除対象としている。よって、複数個の除外対象がある場合は、眼のデータが含まれているか否かを再チェックしている。
【００３２】
実際に眼の連続データが、ステップＳ３１０で除外対象となってしまう例を、図１３を用いて説明する。
これに該当する例は、対象者が黒縁の眼鏡を掛けており、目頭のしわなどによる抽出ポイントと眼鏡のフレームによる抽出ポイントが接続されてしまったような場合である。この場合、最も暗い階調となるポイントが眼鏡のフレーム部になることがあり、その値を基準に濃度範囲を設定した場合に、眼にあたる抽出ポイントが含まれず、ステップＳ３１０で除外対象となることがある。
【００３３】
この例で説明するような場合は、ステップＳ３１０で除外対象となる連続データが複数個となることが多い。よって、図５のステップＳ４１で削除されたデータが所定個数を越えた場合は、ステップＳ４４へ移行し、削除されたデータの再チェックを行う。
【００３４】
ステップＳ４４は、図１４（ｂ）に示す所定濃度範囲の拡大領域の上限を設定しているものである。よって、このステップに初めて入ってきた場合は、当然ステップＳ４５へ移行し、図３のステップＳ３８での所定階調範囲を拡大し、除外対象となった連続データに対し再判定を行う。この処理は、ステップＳ３１０からステップＳ３１１、ステップＳ４１の処理を繰り返す場合に段階的に所定階調が拡大され、ステップＳ４４で設定されている上限まで行われる。
【００３５】
この処理内容を、図１４（ｂ）を用いて具体的に説明する。所定濃度範囲の拡大により、本来の眼の抽出ポイントの部分が連続データとして認識することができる。また、最小濃度となっていた眼鏡のフレームの部分は、目頭の影の抽出ポイントの濃度が明るく分離されるため、眼の連続データに含まれず、本当の眼の部分データのみが認識できる。
【００３６】
図５のステップＳ４１で削除されるデータが所定個数以下となった場合、ステップＳ４２へ移行し、図４のステップＳ３１０の条件を満たす連続データ抽出ポイントの各Ｙ座標値を平均することにより、その連続データの代表値となるＹ座標値▲４▼を求め、連続開始ラインにあたるＸ座標値と連続終了ラインのＸ座標値からその連続データの代表値となるＸ座標値▲５▼を求め、メモリする。
【００３７】
この後、ステップＳ４３へ移行し、選択された曲線群（連続データ）の代表座標値の位置関係より、眼の連続データの検出を行う。
【００３８】
次に、図１５を用いて、具体的な眼の位置検出方法について説明する。
前述した各グループのＸ，Ｙの代表座標値の位置を考えると、図１５（ｂ）に示すように、Ｘ座標方向での接近度合いより、ＺＯＮＥ：Ｌ，ＺＯＮＥ：Ｃ，ＺＯＮＥ：Ｒに分類できる。これは、左眼と左眉でＸ座標方向に大きく離れることはなく、また右眼と右眉でＸ座標方向に大きく離れることはないからである。
この時、ノイズとなる鼻下の影により連続データとなったものは、眼の位置検出候補から事前に除外することができる。
また、口の連続データ（Ｇ５）は、中央部下方に位置する。
【００３９】
このように、Ｘ座標方向の接近度合いで更にデータを分類し、データを絞り込んでいくことで、眼の位置検出を容易に行うことができる。ＺＯＮＥ：Ｌに含まれる連続データとしては、左眼と左眉であり、ＺＯＮＥ：Ｒに含まれる連続データは右眼と右眉であると判定すると、眼の位置はＧ３，Ｇ４であり、その座標値も特定できる。
【００４０】
【発明の効果】
以上、詳細に説明したように、本発明によれば、顔の縦方向の画素列に沿って画素の濃度を検出し、前記画素列における濃度の高まりと、その変化状態からポイントを抽出し、隣接する画素列の画素列方向に近接したポイントを連結して顔の横方向への曲線群とし、曲線群を構成する抽出ポイントの最小濃度値を基準にした濃度範囲の判定により曲線群を選択することにより、眼以外のデータを的確に削除することができるため、光環境状態が悪くコントラストの弱い状況下にあっても、安定した眼の位置検出が可能である。
【００４１】
また、眼のデータに目頭や目尻のしわによるノイズがある場合においても的確に取り除くことができ、眼の代表座標値の精度を向上させることも可能であるため、特願平８−２０７７８２号公報に記載の居眠り状態検出装置における開閉眼判定を行いながらの眼の追跡精度の向上も可能である。
【図面の簡単な説明】
【図１】本発明による眼位置検出装置の構成を示すブロック図である。
【図２】実施の形態の構成を示すブロック図である。
【図３】実施の形態の動作を示すフローチャートである。
【図４】実施の形態の動作を示すフローチャートである。
【図５】実施の形態の動作を示すフローチャートである。
【図６】図３〜図５に示すフローチャートの処理に関する説明図である。
【図７】図３〜図５に示すフローチャートの処理に関する説明図である。
【図８】図３〜図５に示すフローチャートの処理に関する説明図である。
【図９】図３〜図５に示すフローチャートの処理に関する説明図である。
【図１０】図３〜図５に示すフローチャートの処理に関する説明図である。
【図１１】図３〜図５に示すフローチャートの処理に関する説明図である。
【図１２】図３〜図５に示すフローチャートの処理に関する説明図である。
【図１３】図３〜図５に示すフローチャートの処理に関する説明図である。
【図１４】図３〜図５に示すフローチャートの処理に関する説明図である。
【図１５】図３〜図５に示すフローチャートの処理に関する説明図である。
【図１６】従来技術に関する説明図である。
【符号の説明】
２１    ＴＶカメラ
２２    Ａ−Ｄ変換器
２３    画像メモリ
２４    画像データ演算回路
２５    眼の位置検出回路
【図１】
0003582326.tif 000002
【図２】
0003582326.tif 000003
【図３】
0003582326.tif 000004
【図４】
0003582326.tif 000005
【図５】
0003582326.tif 000006
【図６】
0003582326.tif 000007
【図７】
0003582326.tif 000008
【図８】
0003582326.tif 000009
【図９】
0003582326.tif 000010
【図１０】
0003582326.tif 000011
【図１１】
0003582326.tif 000012
【図１２】
0003582326.tif 000013
【図１３】
0003582326.tif 000014
【図１４】
0003582326.tif 000015
【図１５】
0003582326.tif 000016
【図１６】
0003582326.tif 000017