(57)【特許請求の範囲】
【請求項１】
カメラによって撮影されマトリックス状に配置された多数の画素によって表示されるように構成された顔画像が記憶される画像メモリ、この画像メモリに記憶された顔画像を２値化すると共に目候補を抽出する候補抽出手段、この候補抽出手段によって２値化された顔画像内で目の存在する範囲を示す目検索領域を推定する目検索領域設定手段、この目検索領域設定手段によって推定された目検索領域内に含まれる目候補について、上記画像メモリに記憶されている顔画像を用いて顔の縦方向の走査を顔の横方向に順次行い、上記走査毎に細線部分を抽出し、この細線部分が抽出された走査ライン数の上記目候補の画像の上記顔の横方向の走査ライン数に対する比率を計算し、上記比率が所定値以上の目候補を目と判別する目確定手段を備えたことを特徴とする顔画像処理装置。
【請求項２】
目確定手段は、顔画像中の特定画素と、この特定画素から顔の縦方向の所定長さの位置にある２画素との輝度の比較を行って細線部分を抽出することを特徴とする請求項１記載の顔画像処理装置。
【請求項３】
カメラによって撮影されマトリックス状に配置された多数の画素によって表示されるように構成された顔画像が記憶される画像メモリ、この画像メモリに記憶された顔画像を２値化すると共に目候補を抽出する候補抽出手段、この候補抽出手段によって２値化された顔画像内で目の存在する範囲を示す目検索領域を推定する目検索領域設定手段、この目検索領域設定手段によって推定された目検索領域内に含まれる目候補について、上記画像メモリに記憶されている顔画像を用いて細線部分を抽出し、上記目候補の画像全体に対する細線部分の割合によって目を判別する目確定手段を備え、上記目確定手段は、顔画像中の特定画素と、この特定画素から顔の縦方向の所定長さの位置にある２画素及び顔の横方向の所定長さの位置にある画素との輝度の比較を行って細線部分を抽出することを特徴とする顔画像処理装置。
【請求項４】
横方向の所定長さの位置にある画素は、特定画素から顔の外側に向けてあることを特徴とする請求項３記載の顔画像処理装置。
【請求項５】
目確定手段は、目候補の重心から外側に特定画素がある場合は、顔の外側に向けて横方向の所定長さの位置にある画素との輝度の比較を行うと共に、上記目候補の重心から内側に特定画素がある場合は、顔の内側に向けて横方向の所定長さの位置にある画素との輝度の比較を行うことを特徴とする請求項３記載の顔画像処理装置。
【請求項６】
目確定手段は、特定画素とこの特定画素に縦方向に隣接する画素との輝度の差分値を算出し、算出された差分値のピークからピークまでの長さによって細線部分を抽出することを特徴とする請求項１記載の顔画像処理装置。
【請求項７】
目検索領域設定手段は、鼻孔領域を設定し、設定された鼻孔領域に基づき、目検索領域を推定することを特徴とする請求項１〜請求項６のいずれか一項記載の顔画像処理装置。
【請求項８】
候補抽出手段は、顔画像を眉及び目の幅に対応した長さのＭＡＸ／ＭＩＮフィルタを通して、目候補を抽出することを特徴とする請求項１〜請求項７のいずれか一項記載の顔画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、目候補画像より、目が細線部分をもつ特徴を用いて、目と他の像を判別する顔画像処理装置に関するものである。
【０００２】
【従来の技術】
従来の運転者の顔画像を処理する画像処理装置は、例えば特開平８−１７５２１８号公報（眉領域及び目領域を含むテンプレートによるマッチングにより目領域を判定する）、及び特開平８−３００９７８号公報に記載されている。
以下、特開平８−３００９７８号公報につき、詳細に説明する。
図１４は、特開平８−３００９７８号公報に示される従来の顔画像処理装置の全体構成を示す図である。
図において、１は運転者を撮像するカメラ、２は撮像に用いられる近赤外照明、３は近赤外照明２を制御する照明制御手段、４はカメラ１の撮像した画像を処理する顔画像処理装置で、画像入力手段５、濃淡レベル変換手段６、浮動２値化手段７、目存在領域設定手段８、候補領域設定手段９、目領域判定手段１０から構成されている。１１は顔画像処理装置４によって画像処理された結果を用いて、まばたきを検出する瞬目検出手段、１２は画像処理結果から居眠り状態を判定する居眠り判定手段、１３は警報手段である。
【０００３】
図１５は、従来の顔画像処理装置の目領域判定手段の動作の流れを示すフローチャートである。
図において、１４は目評価関数演算手段、１５は目領域選定手段である。
特開平８−３００９７８号公報における実施例１では、目領域判定手段１０は、目候補領域の顔横方向幅ＥＡＷを読み出し、ＥＡＷが予め設定した所定範囲内にある場合のみ、目領域であるとし、領域のＸ軸ヒストグラムＳＵＭＸを読み出し、ＳＵＭＸの最大値ＳＵＭＸＭＡＸを算出後、さらに評価関数ＥＦＶ１＝Σｙ（ＳＵＭＸＭＡＸ−ＳＵＭＸ）／ΣｙＳＵＭＸ、評価関数ＥＦＶ２＝ＳＵＭＸＭＡＸ−Ｃ（Ｃ：定数）を算出後、目評価関数値ＥＦＶ＝ＥＦＶ１×ＥＦＶ２（またはＣ１×ＥＦＶ１＋Ｃ２×ＥＦＶ２（重みＣ１＞重みＣ２がベター）が、所定値ＥＦＶＭＩＮより大きいものを目領域として判定する。目領域が複数ある場合は、目領域の代表点と顔重心との距離が最小のものを最終的に目領域として判定する。
実施例３では、Ｘ軸ヒストグラムの度数分布曲線の重心位置ＭＣ、ピーク値ＰＨ、半値幅ＨＷとする時、眉領域ではシングルピーク、目領域ではツインピークを示すことを利用し、目評価関数値ＨＷ／ＰＨが最大でＭＣの左右にピークが存在する目候補領域を目領域として判定する。
実施例４では、実施例１における目評価関数値の時間的変化を用いて目領域を判定する。
実施例５では、左右目候補領域代表点のＸ座標ＸＥＣと顔重心のＸ座標ＸＦＣの偏差ＤＸ、及び左右目候補領域代表点のＹ座標ＹＥＣと顔重心のＹ座標ＹＦＣの偏差ＤＹがともに所定値より小さく、なおかつ最小値の組み合わせのものを目領域として判定する方法が述べられている。
【０００４】
【発明が解決しようとする課題】
しかしながら、画像を多値データのまますべての処理を行うと、非常に時間がかかり、２値化においても眼鏡装着の有無や天候・髪等の付属情報によって顔の状態（眉と目の関係等）は変化し不安定である。ところが上記従来装置では、２値データをもとに作成したＸ・Ｙ軸ヒストグラムを用いた目評価関数値と、目候補領域と顔重心または左右目候補領域の位置関係により、目領域を判定しているため、誤検出を起こしやすい。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、眉や眼鏡フレームにはほとんど存在しない細線部分の割合を算出することで、目を判別するようにした顔画像処理装置を得ることを目的にしている。
【０００６】
【課題を解決するための手段】
この発明に係わる顔画像処理装置においては、カメラによって撮影されマトリックス状に配置された多数の画素によって表示されるように構成された顔画像が記憶される画像メモリ、この画像メモリに記憶された顔画像を２値化すると共に目候補を抽出する候補抽出手段、この候補抽出手段によって２値化された顔画像内で目の存在する範囲を示す目検索領域を推定する目検索領域設定手段、この目検索領域設定手段によって推定された目検索領域内に含まれる目候補について、画像メモリに記憶されている顔画像を用いて顔の縦方向の走査を顔の横方向に順次行い、走査毎に細線部分を抽出し、この細線部分が抽出された走査ライン数の目候補の画像の顔の横方向の走査ライン数に対する比率を計算し、比率が所定値以上の目候補を目と判別する目確定手段を備えたものである。
また、目確定手段は、顔画像中の特定画素と、この特定画素から顔の縦方向の所定長さの位置にある２画素との輝度の比較を行って細線部分を抽出するものである。
【０００７】
また、カメラによって撮影されマトリックス状に配置された多数の画素によって表示されるように構成された顔画像が記憶される画像メモリ、この画像メモリに記憶された顔画像を２値化すると共に目候補を抽出する候補抽出手段、この候補抽出手段によって２値化された顔画像内で目の存在する範囲を示す目検索領域を推定する目検索領域設定手段、この目検索領域設定手段によって推定された目検索領域内に含まれる目候補について、画像メモリに記憶されている顔画像を用いて細線部分を抽出し、目候補の画像全体に対する細線部分の割合によって目を判別する目確定手段を備え、目確定手段は、顔画像中の特定画素と、この特定画素から顔の縦方向の所定長さの位置にある２画素及び顔の横方向の所定長さの位置にある画素との輝度の比較を行って細線部分を抽出するものである。
さらに、横方向の所定長さの位置にある画素は、特定画素から顔の外側に向けてあるものである。
【０００８】
また、目確定手段は、目候補の重心から外側に特定画素がある場合は、顔の外側に向けて横方向の所定長さの位置にある画素との輝度の比較を行うと共に、目候補の重心から内側に特定画素がある場合は、顔の内側に向けて横方向の所定長さの位置にある画素との輝度の比較を行うものである。
また、目確定手段は、特定画素とこの特定画素に縦方向に隣接する画素との輝度の差分値を算出し、算出された差分値のピークからピークまでの長さによって細線部分を抽出するものである。
【０００９】
さらにまた、目検索領域設定手段は、鼻孔領域を設定し、設定された鼻孔領域に基づき、目検索領域を推定するものである。
また、候補抽出手段は、顔画像を眉及び目の幅に対応した長さのＭＡＸ／ＭＩＮフィルタを通して、目候補を抽出するものである。
【００１０】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態１を図にそって説明する。
図１は、この発明の実施の形態１による顔画像処理装置の構成を示す図である。
図において、１７は顔画像を撮影するＣＣＤカメラ、１８はＣＣＤカメラ１７から出力され、マトリックス状に配置された多数の画素によって表示されるように構成された顔画像の多値データを記憶する画像メモリ、１９は画像メモリ１８のデータをもとに画像処理を行うＣＰＵである。
図２は、図１におけるＣＰＵ内の処理の概要を示すフローチャートである。
図において、２０は顔画像入力手段、２１は候補抽出手段、２２は目検索領域設定手段、２３は目確定手段であり、顔画像入力手段２０で画像メモリ１８より顔画像データをＣＰＵ１９に入力し、入力された画像内で候補抽出手段２１により、２値化を行い目候補を抽出し（２値化データは別メモリに保存し、入力画像データも後に参照できるようにする）、目検索領域設定手段２２により目が存在する範囲を示す目検索領域を推定する。さらに、設定した目検索領域内の目候補から目確定手段２３により目を確定する。各手段の詳細については後述する。
【００１１】
図３は、この発明の実施の形態１による顔画像処理装置におけるカメラよりの入力画像を示す図であり、顔画像入力手段２０によってＣＰＵ１９に入力される。
図において、２５はＣＣＤカメラ１７より入力された顔画像である。
図４は、この発明の実施の形態１による顔画像処理装置の候補抽出手段２１によって２値化された２値化画像を示す図である。
図において、２６は顔画像２５を２値化した画像、２７は処理方向を示している。
図５は、この発明の実施の形態１による顔画像処理装置の候補抽出手段２１に用いられるＭＡＸ／ＭＩＮフィルタの説明図であり、図５（ａ）はＭＡＸフィルタ及びＭＩＮフィルタをかける前後の画像信号を示す図、図５（ｂ）は図５（ａ）に対応させて輝度値を模式化したものである。図５（ｃ）はＭＡＸ／ＭＩＮフィルタ処理後の画像信号を示す図、図５（ｄ）は図５（ｃ）に対応させて輝度値を模式化したものである。
図において、２８は入力画像の一部分の画像信号、２９はＭＡＸフィルタをかけた後の画像信号、３０はＭＩＮフィルタをかけた後の画像信号、３１は画像信号２８に対応する輝度値、３２は画像信号２９に対応する輝度値、３３は画像信号３０に対応する輝度値である。ここでは各輝度値を囲む１枠は１画素を表し、簡単のため輝度値を０〜２０までの値とした。
【００１２】
図６は、この発明の実施の形態１による顔画像処理装置の候補抽出手段２１の説明図であり、図６（ａ）は入力画像にＭＡＸ／ＭＩＮフィルタをかけた後の画像信号を示す図、図６（ｂ）は２値化後の信号を示す図である。
図において、３５はＭＡＸ／ＭＩＮフィルタをかけた後の画像信号、３６は２値化するときの閾値である。
図７は、この発明の実施の形態１による顔画像処理装置の目検索領域設定手段の流れを示すフローチャートである。
図において、３７は鼻孔領域設定手段、３８は鼻孔検索手段、３９は鼻孔確定手段、４０は目領域推定手段であり、詳細については、後述する。
図８は、この発明の実施の形態１による顔画像処理装置の鼻孔領域設定手段、鼻孔検索手段、鼻孔確定手段の一部を示す図であり、図８（ａ）は入力画像上で、鼻孔検索領域を示す図、図８（ｂ）は２値化画像とＸ軸方向、Ｙ軸方向のヒストグラムを表す図である。
【００１３】
図９は、この発明の実施の形態１による顔画像処理装置の目検索領域設定手段２２で設定された目検索領域を示す図である。
図１０は、この発明の実施の形態１による顔画像処理装置の目確定手段２３を説明する顔画像の細線部分を示す図であり、図１０（ａ）は、入力画像をもとに候補の細線部分の検出を説明する図、図１０（ｂ）は、輝度値を表す図である。
【００１４】
以下、図２をもとに、図４〜図１０を用いて図２に示す各手段の詳細について説明する。
顔画像入力手段２０によって、画像メモリ１８より顔画像データがＣＰＵ１９に入力される。
次いで、候補抽出手段２１により、２値化を行い、目候補を抽出する。
候補抽出手段２１では、目候補を抽出するためにＭＡＸ／ＭＩＮフィルタを用いる。最初に入力画像にＭＡＸフィルタをかけるが、ＭＡＸフィルタは所定の長さ（画素数ａとする。以下フィルターサイズという）をもち、フィルタ中央の画素の輝度値をフィルタ内の最大輝度値に変換する。例えばａを５とし、図５（ｂ）輝度模式３１の太線部にＭＡＸフィルタをかけると、ここでは最大輝度は９であるので、フィルタの中央の画素３１ａの輝度値は７から９に変換される。１画素ずつ右にシフトして同様にＭＡＸフィルタをかけると、図５（ｂ）の輝度模式３１は輝度模式３２のように変換される。
【００１５】
次に、ＭＡＸフィルタ処理後の画像にＭＩＮフィルタをかける。ＭＩＮフィルタもＭＡＸフィルタと同じフィルターサイズをもち、フィルタ中央の画素の輝度値をフィルタ内の最小輝度値に変換するものである。ＭＡＸフィルタ処理後の図５（ｂ）の輝度模式３２に、１画素ずつ右にシフトしてＭＩＮフィルタをかけると、図５（ｂ）の輝度模式３３のように変換される。そして、ＭＡＮ／ＭＩＸフィルタ処理後の画像から，入力画像をひくとフィルターサイズ以下の幅の低輝度の領域が抽出される。図では、図５（ｂ）の輝度模式３３から輝度模式３１をひいた図５（ｄ）が得られ、画像信号になおすと図５（ｃ）になる。ただし、ＭＡＸフィルタ、ＭＩＮフィルタは共に、最初にかけたフィルタの中央から変換がはじまり、最後にかけたフィルタの中央で変換が終わるため、ＭＡＸフィルタ処理後のデータは、図５（ｂ）３２ａ〜３２ｂ、ＭＩＮフィルタ処理後のデータは図５（ｂ）３３ａ〜３３ｂとなり、ＭＡＸ／ＭＩＮフィルタ処理後の画像は結局、処理開始位置、処理終了位置よりそれぞれａ−１画素ずつ小さくなる。
【００１６】
実施の形態１では、顔縦方向に沿って一行ずつ処理を行う（処理方向：図４の２７）。図６（ａ）の画像信号３５は入力画像に眉、及び目の幅に対応した長さのＭＡＸ／ＭＩＮフィルタをかけた後の画像信号である。ここでは眉及び目より幅の狭い鼻、口等も抽出される。眉及び目等の顔画像の特徴点は周りとの輝度差が大きいため、差分後の輝度値が大きくなる（３５ａ）が、影や衣服などは周りとの輝度差が小さい（３５ｂ）。そこで図６（ａ）のように閾値３６を設定し、これをもとに２値化を行う。図６（ｂ）は２値化後の信号である。以上の処理によって得られた画像を示したものが図４である。
【００１７】
候補抽出手段２１により抽出された２値化画像内で、目候補が存在する範囲を示す目検索領域を推定する目検索領域設定手段２２は、例えば図７のフローチャートに示すように、鼻孔領域設定手段３７、鼻孔検索手段３８、鼻孔確定手段３９、目領域推定手段４０からなり、鼻孔検索モード中は図８（ａ）鼻孔検索領域５ｎ、鼻孔追跡モード中は鼻孔追跡領域５ｎｎに示すような領域を設定する。鼻孔検索モードとは鼻孔位置学習が未（未だ目を見つけていない状態）をさし、鼻孔追跡モードとは鼻孔学習済の状態を指す。検索領域５ｎは画面内で通常の運転姿勢で顔が入る範囲に限定し設定する。追跡領域５ｎｎは、鼻孔学習位置（または、鼻孔前回位置）５ｇｎから所定幅の領域を設定する。鼻孔検索手段３８では、図８（ａ）に示すような、等円が顔横方向に二つ並ぶような領域を検索する。検索は例えば図８（ｂ）に示すような、Ｘ軸方向ヒストグラム及びＹ軸方向ヒストグラムを用いて行う。鼻孔確定手段３９では、検索した候補中より最も鼻孔らしいものを選択し、その位置を算出する。鼻孔確定後は目領域推定手段４０により、鼻孔位置を基準に左右の目が存在すると思われる領域である図９の５ｒ５ｌを設定する。５ｒ５ｌは目が十分入る大きさとし、図２の目確定手段２３により、眉と目の判別を行う。
なお、鼻孔確定手段３９により確定した鼻孔位置は、メモリ内に保存し、鼻孔追跡モード時の鼻孔領域設定に用いる。
【００１８】
次に、目確定手段２３により上記で抽出した領域中の目候補及び目位置を確定する。目候補は目検索領域設定手段２２によって推定された目検索領域内に存在する要素ブロックを、例えばＸ軸ヒストグラム及びＹ軸ヒストグラムを用いて抽出する。次に抽出した要素ブロックに対して、似た形状である眉及び目の判別を行うために、図１０（ａ）に示すように、入力画像データ（多値）をもとに各候補の細線部分を検出する。検出は、各顔縦方向ラインにつき順次走査し、少なくとも図１０（ａ）に示すような２点以上から構成されるフィルタ点（４１ａ、４１ｂ）を通過する点（４１）をもつラインを細線ラインとしてカウントする。通過は注目画素（４１）の輝度値がフィルタ点（４１ａ、４１ｂ）の輝度値より所定値小さいことが条件である（図１０（ｂ））。
【００１９】
細線割合は各候補の顔横方向ライン数に対する細線ライン数で表す。目が最も細線部分（瞼ライン）が多いと推定されることから、細線割合が所定値以上でかつ最大値をとるものを目として判定する。フィルタ点４１ａまたは４１ｂは注目点よりそれぞれ固定のＯＦＳＴを持つ点、または注目点より所定範囲内に存在する画素の最明点、または注目点より所定範囲内に存在する画素輝度値の平均値等が考えられる。
（図１０（ａ）で、
眉：細線割合＝（細線ライン数１９×１００）／顔横方向ライン数４１＝４６％
目：細線割合＝（細線ライン数２６×１００）／顔横方向ライン数３６＝７２％）
このとき、眼鏡フレームの細いものは目候補抽出時にカットできるため、あまり問題なく、太いものや眉などは顔縦方向に幅が太い部分が多く、フィルタを通過しにくいため、候補に入りにくいと思われる。よって精度良く目が抽出できる。
また、細線条件通過点があれば、そこでそのラインの処理は終了するので、処理は比較的高速に行える。
【００２０】
実施の形態２．
図１１は、この発明の実施の形態２による顔画像処理装置の顔画像の細線部分を示す図である。
実施の形態２は、実施の形態１の目確定手段２３を次のように変更したものである。
目候補は、目検索領域設定手段２２によって推定された目検索領域内に存在する要素ブロックを、例えばＸ軸方向ヒストグラム及びＹ軸方向ヒストグラムを用いて抽出する。次に、抽出した要素ブロックに対して、似た形状である眉及び目の判別を行うために、図１１（ａ）に示すように、入力画像データ（多値）をもとに、各候補の細線部分を検出する。検出は、各顔縦方向ラインにつき順次走査し、少なくとも図１１（ａ）に示すような３点以上から構成されるフィルタ点（４２ａ、４２ｂ、４２ｃ）を通過する点（４２）をもつラインを、細線ラインとしてカウントする（但し、図１１（ａ）に示すのは左目であり、右目に関してはフィルタ点４２ｃを顔縦方向線に対し対照にする必要がある）。通過は注目画素（４２）の輝度値がフィルタ点（４２ａ、４２ｂ、４２ｃ）の輝度値より所定値小さいことが条件である（図１１（ｂ））。細線割合は、各候補の顔横方向ライン数に対する細線ライン数で表す。目が最も細線部分（瞼ライン）が多く、また目尻ラインの曲率が高いためフィルタ点４２ｃの条件を満たしやすいと推定されることから、細線割合が所定値以上でかつ最大値をとるものを目として判定する。
【００２１】
フィルタ点４２ａ、４２ｂ、４２ｃは、注目点よりそれぞれ固定のＯＦＳＴを持つ点、または注目点より所定範囲内に存在する画素の最明点、または注目点より所定範囲内に存在する画素輝度値の平均値が考えられる。
（図１１（ａ）で、
眉：細線割合＝（細線ライン数１５×１００）／顔横方向ライン数４１＝３６％
目：細線割合＝（細線ライン数２１×１００）／顔横方向ライン数３６＝５８％）
ここで眼鏡フレームの細いものは、目候補抽出時にカットできるため、あまり問題なく、太いものや眉などは顔縦方向に幅が太い部分が多く、フィルタを通過しにくいため、候補に入りにくいと思われる。また顔横方向ライン（４２ｃ）もみるため、目に比べ曲率の少ない眉は、フィルタを通過しにくく候補に入りにくいと思われる。よって、精度良く目が抽出できる。また、細線条件通過点があればそこでそのラインの処理は終了するので、処理は比較的高速に行える。
【００２２】
実施の形態３．
図１２は、この発明の実施の形態３による顔画像処理装置の顔画像の細線部分を示す図である。
実施の形態３は、実施の形態１の目確定手段２３を次のように変更したものである。
目候補は、目検索領域設定手段２２によって確定された目検索領域内に存在する要素ブロックを、例えばＸ軸方向ヒストグラム及びＹ軸方向ヒストグラムを用いて抽出する。次に抽出した要素ブロックに対して、似た形状である眉及び目の判別を行うために図１２（ａ）に示すように、入力画像データ（多値）をもとに各候補の細線部分を検出する。検出は、各顔縦方向ラインにつき順次走査し、少なくとも図に示すような３点以上から構成されるフィルタ点４３、４３ａ、４３ｂ、４３ｃまたは４４、４４ａ、４４ｂ、４４ｃを通過する点（４３、４４）をもつラインを細線ラインとしてカウントする。但し、フィルタ点４３は目候補の重心位置より顔横方向左側半分、４４は顔右側半分に対して用い、通過は注目画素（４３または４４）の輝度値がフィルタ点（４３ａ、４３ｂ、４３ｃまたは４４ａ、４４ｂ、４４ｃ）の輝度値より所定値小さいことが条件である（図１２（ｂ））。細線割合は各候補の顔横方向ライン数に対する細線ライン数で表す。目が最も細線部分（瞼ライン）が多く、また目尻ラインの曲率が高いためフィルタ点の条件を満たしやすいと推定されることから、細線割合が所定値以上でかつ最大値をとるものを目として判定する。
【００２３】
フィルタ点４３ａ、４３ｂ、４３ｃまたは４４ａ、４４ｂ、４４ｃは、注目点よりそれぞれ固定のＯＦＳＴを持つ点、または注目点より所定範囲内に存在する画素の最明点、または注目点より所定範囲内に存在する画素輝度値の平均値等が考えられる。
（図１２（ａ）で、
眉：細線割合＝（細線ライン数１９×１００）／顔横方向ライン４１＝４６％
目：細線割合＝（細線ライン数２６×１００）／顔横方向ライン数３６＝７２％）
ここで、眼鏡フレームの細いものは、目候補抽出時にカットできるため、あまり問題なく、太いものや眉などは顔縦方向に幅が太い部分が多く、フィルタを通過しにくいため、候補に入りにくいと思われる。
また、顔横方向ライン（４３ｃまたは４４ｃ）もみるため、目に比べ曲率の少ない眉はフィルタを通過しにくく候補に入りにくいと思われる。よって、精度良く目が抽出できる。
また、細線条件通過点があれば、そこでそのラインの処理は終了するので、処理は比較的高速に行える。
【００２４】
実施の形態４．
図１３は、この発明の実施の形態４による顔画像処理装置の顔画像の細線部分を示す図である。
実施の形態４は、実施の形態１の目確定手段２３を次のように変更したものである。
目候補は、目検索領域設定手段２２によって推定された目検索領域内に存在する要素ブロックを、例えばＸ軸方向ヒストグラム及びＹ軸方向ヒストグラムを用いて抽出する。次に抽出した要素ブロックに対して、似た形状である眉及び目の判別を行うために、図１３（ａ）に示すように、入力画像データ（多値）をもとに各候補の細線部分を検出する。検出は、各顔縦方向ラインにつき順次走査し、注目画素と前画素の輝度の差分（＝微分値 図１３（ｂ））を算出し、微分値のピーク４５ａからピーク４５ｂまでの幅が所定以下のラインを、細線ラインとしてカウントする。
【００２５】
細線割合は各候補の顔横方向ライン数に対する細線ライン数で表す。目が最も細線部分（瞼ライン）が多いと推定されることから、細線割合が所定値以上でかつ最大値をとるものを目として判定する。
（図１３（ａ）で、
眉：細線割合＝（細線ライン数１６×１００）／顔横方向ライン数４１＝３９％
目：細線割合＝（細線ライン数２４×１００）／顔横方向ライン数３６＝６６％）
ここで、眼鏡フレームの細いものは目候補抽出時にカットできるため、あまり問題なく、太いものや眉などは顔縦方向に幅が太い部分が多く、候補に入りにくいと思われる。よって、精度良く目が抽出できる。
また、細線条件通過点があれば、そこでそのラインの処理は終了するので、処理は比較的高速に行える。
【００２６】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
カメラによって撮影されマトリックス状に配置された多数の画素によって表示されるように構成された顔画像が記憶される画像メモリ、この画像メモリに記憶された顔画像を２値化すると共に目候補を抽出する候補抽出手段、この候補抽出手段によって２値化された顔画像内で目の存在する範囲を示す目検索領域を推定する目検索領域設定手段、この目検索領域設定手段によって推定された目検索領域内に含まれる目候補について、画像メモリに記憶されている顔画像を用いて顔の縦方向の走査を顔の横方向に順次行い、走査毎に細線部分を抽出し、この細線部分が抽出された走査ライン数の目候補の画像の顔の横方向の走査ライン数に対する比率を計算し、比率が所定値以上の目候補を目と判別する目確定手段を備えたので、細線部分の抽出を画像メモリに入力されている多値顔画像で行い、細線部分の抽出された走査ライン数の比率により目と判定することにより、正確に目を判別することができると共に、２値化画像を用いて目検索領域を推定するので、高速に処理することができる。
また、目確定手段は、顔画像中の特定画素と、この特定画素から顔の縦方向の所定長さの位置にある２画素との輝度の比較を行って細線部分を抽出するので、精度よく細線部分を抽出できる。
【００２７】
また、カメラによって撮影されマトリックス状に配置された多数の画素によって表示されるように構成された顔画像が記憶される画像メモリ、この画像メモリに記憶された顔画像を２値化すると共に目候補を抽出する候補抽出手段、この候補抽出手段によって２値化された顔画像内で目の存在する範囲を示す目検索領域を推定する目検索領域設定手段、この目検索領域設定手段によって推定された目検索領域内に含まれる目候補について、画像メモリに記憶されている顔画像を用いて細線部分を抽出し、目候補の画像全体に対する細線部分の割合によって目を判別する目確定手段を備え、目確定手段は、顔画像中の特定画素と、この特定画素から顔の縦方向の所定長さの位置にある２画素及び顔の横方向の所定長さの位置にある画素との輝度の比較を行って細線部分を抽出するので、目確定手段は、細線部分の抽出を画像メモリに入力されている多値顔画像で行うことにより、正確に目を判別することができると共に、顔の横方向の画素も用いることにより、より正確に細線部分を抽出することができる。
さらに、横方向の所定長さの位置にある画素は、特定画素から顔の外側にあるので、細線部分抽出の確実度が増す。
【００２８】
また、目確定手段は、目候補の重心から外側に特定画素がある場合は、顔の外側に向けて横方向の所定長さの位置にある画素との輝度の比較を行うと共に、目候補の重心から内側に特定画素がある場合は、顔の内側に向けて横方向の所定長さの位置にある画素との輝度の比較を行うので、細線部分抽出の確実度が増す。
また、目確定手段は、特定画素とこの特定画素に縦方向に隣接する画素との輝度の差分値を算出し、算出された差分値のピークからピークまでの長さによって細線部分を抽出するので、精度よく細線部分を抽出することができる。
【００２９】
さらにまた、目検索領域設定手段は、鼻孔領域を設定し、設定された鼻孔領域に基づき、目検索領域を推定するので、確実に目検索領域を推定することができる。
また、候補抽出手段は、顔画像を眉及び目の幅に対応した長さのＭＡＸ／ＭＩＮフィルタを通して、目候補を抽出するので、効率よく目候補を抽出することができる。
【図面の簡単な説明】
【図１】この発明の実施の形態１による顔画像処理装置の構成を示す図である。
【図２】この発明の実施の形態１による顔画像処理装置の処理の流れを示すフローチャートである。
【図３】この発明の実施の形態１による顔画像処理装置におけるカメラよりの入力画像を示す図である。
【図４】この発明の実施の形態１による顔画像処理装置の２値化画像を示す図である。
【図５】この発明の実施の形態１による顔画像処理装置のＭＡＸ／ＭＩＮフィルタの説明図である。
【図６】この発明の実施の形態１による顔画像処理装置の候補抽出手段の説明図である。
【図７】この発明の実施の形態１による顔画像処理装置の目検索領域設定手段の流れを示すフローチャートである。
【図８】この発明の実施の形態１による顔画像処理装置の鼻孔領域設定手段、鼻孔検索手段、鼻孔確定手段の一部を示す図である。
【図９】この発明の実施の形態１による顔画像処理装置の目検索領域を示す図である。
【図１０】この発明の実施の形態１による顔画像処理装置の顔画像の細線部分を示す図である。
【図１１】この発明の実施の形態２による顔画像処理装置の顔画像の細線部分を示す図である。
【図１２】この発明の実施の形態３による顔画像処理装置の顔画像の細線部分を示す図である。
【図１３】この発明の実施の形態４による顔画像処理装置の顔画像の細線部分を示す図である。
【図１４】従来の顔画像処理装置の装置全体の構成を示す図である。
【図１５】従来の顔画像処理装置の目領域判定手段の動作の流れを示すフローチャートである。
【符号の説明】
１７ ＣＣＤカメラ、  １８  画像メモリ、 １９  ＣＰＵ、
２０ 顔画像入力手段、  ２１  候補抽出手段、
２２ 目検索領域設定手段、  ２３  目確定手段、
３７ 鼻孔領域設定手段、  ３８  鼻孔検索手段、
３９ 鼻孔確定手段、  ４０  目領域推定手段。
【図１】
0003629164.tif 000002
【図２】
0003629164.tif 000003
【図３】
0003629164.tif 000004
【図４】
0003629164.tif 000005
【図５】
0003629164.tif 000006
【図６】
0003629164.tif 000007
【図７】
0003629164.tif 000008
【図８】
0003629164.tif 000009
【図９】
0003629164.tif 000010
【図１０】
0003629164.tif 000011
【図１１】
0003629164.tif 000012
【図１２】
0003629164.tif 000013
【図１３】
0003629164.tif 000014
【図１４】
0003629164.tif 000015
【図１５】
0003629164.tif 000016