(57)【特許請求の範囲】
【請求項１】
顔画像を入力する画像入力手段、この画像入力手段によって入力された顔画像から２値化された鼻孔領域を抽出する鼻孔領域抽出手段、この鼻孔領域抽出手段によって抽出された２値化された鼻孔領域を基準点として上記顔画像から２値化された目領域を抽出する目領域抽出手段、この目領域抽出手段によって抽出された２値化された目領域に基づき、目の開閉を判定する開閉判定手段を備え、鼻孔領域抽出手段は、注目画素とその参照画素及びこの参照画素を次の注目画素としたときの次の参照画素を順次渦巻き状になるように設定した渦巻き状検索テーブルを有し、所定の検索開始点を最初の注目画素として、上記渦巻き状検索テーブルにより上記注目画素の参照画素として設定された画素の４方向のいずれかに鼻孔領域を構成する画素があるとき上記参照画素を次の注目画素とするように、上記渦巻き状検索テーブルに従って、順次注目画素を辿ることによって鼻孔領域の抽出を行うことを特徴とする顔画像処理装置。
【請求項２】
画像入力手段によって入力された顔画像を１フレーム分格納するメモリを備え、上記１フレームの顔画像を用いて、鼻孔領域抽出手段による鼻孔領域の抽出及び目領域抽出手段による目領域の抽出及び開閉判定手段による目の開閉の判定を行うことを特徴とする請求項１記載の顔画像処理装置。
【請求項３】
鼻孔領域抽出手段の検索開始点は、前フレームの顔画像の鼻孔領域から算出された鼻孔重心位置であることを特徴とする請求項２記載の顔画像処理装置。
【請求項４】
顔画像を入力する画像入力手段、この画像入力手段によって入力された顔画像から２値化された鼻孔領域を抽出する鼻孔領域抽出手段、この鼻孔領域抽出手段によって抽出された２値化された鼻孔領域を基準点として上記顔画像から２値化された目領域を抽出する目領域抽出手段、この目領域抽出手段によって抽出された２値化された目領域に基づき、目の開閉を判定する開閉判定手段を備え、上記鼻孔領域抽出手段は、顔画像の投影ヒストグラムのピーク位置から顔画像の水平方向に左右等間隔な２つの位置に設定される検索開始点から、渦巻き状に検索開始点の周囲を順次検索することによって鼻孔領域の抽出を行うことを特徴とする顔画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、画像処理によって、目の開閉状態を判定する顔画像処理装置に関するものである。
【０００２】
【従来の技術】
テンプレートを用いた従来の顔画像処理装置としては、例えば、特開平８−１７５２１８号公報に記載されたようなものがある。これは、撮像された画像に対して予め設定されている標準顔テンプレートを上下左右に順次移動させて相関演算を行い、その検出対象者用の対象テンプレートを作成するテンプレート作成手段と、対象テンプレートを用いて相関演算を行い、検出対象者の目領域を検出する目領域検出手段を有することを特徴としている。
図１２は、この特開平８−１７５２１８号公報に開示されたテンプレートマッチングを用いた顔画像処理装置を簡略化して示す構成図である。
図において、１は検出対象者、２は検出対象者１を撮影するカメラ、３はカメラ２に接続された画像処理装置で、Ａ／Ｄ変換器、正規化回路、相関演算回路を有する。４は画像処理装置３に接続されたメモリで、標準テンプレート及び目、眉などの顔要素の配置データが予め格納されている。５は画像処理装置３に接続され、画像処理装置３の処理結果が供給される電子制御装置であるＥＣＵ、６はＥＣＵ５に接続された警報装置である。
【０００３】
このように構成された従来の顔画像処理装置では、カメラ２は、検出対象者１の顔画像を画像処理装置３に供給する。画像処理装置３は、入力された画像信号をディジタル信号に変換し、さらに濃淡正規化処理を行い、処理結果をＥＣＵ５に供給する。ＥＣＵ５は、処理結果から検出対象者の運転状態を判別し、警報装置６に制御信号を出力して警報を発する。
【０００４】
【発明が解決しようとする課題】
テンプレートを用いた従来の顔画像処理装置では、顔が上下方向に動いても目と眉の上下方向の位置関係は不変であるので、対象目近傍領域を用いて目近傍領域が検出されると、その内の上方の黒色部分は眉、下方の黒色部分は目であるというように、目領域を確実に特定できる。しかしながら、顔の動きを考慮すると画像に対して広い範囲を走査してテンプレートマッチングを行わなければならず、相関演算の処理時間増大を招くこととなっていた。
【０００５】
この発明は、上述のような課題を解決するためになされたものであり、処理速度を向上して目領域を特定でき、目の開閉を判定することができる顔画像処理装置を得ることを目的にしている。
【０００６】
【課題を解決するための手段】
この発明に係わる顔画像処理装置においては、顔画像を入力する画像入力手段、この画像入力手段によって入力された顔画像から２値化された鼻孔領域を抽出する鼻孔領域抽出手段、この鼻孔領域抽出手段によって抽出された２値化された鼻孔領域を基準点として顔画像から２値化された目領域を抽出する目領域抽出手段、この目領域抽出手段によって抽出された２値化された目領域に基づき、目の開閉を判定する開閉判定手段を備え、鼻孔領域抽出手段は、注目画素とその参照画素及びこの参照画素を次の注目画素としたときの次の参照画素を順次渦巻き状になるように設定した渦巻き状検索テーブルを有し、所定の検索開始点を最初の注目画素として、渦巻き状検索テーブルにより注目画素の参照画素として設定された画素の４方向のいずれかに鼻孔領域を構成する画素があるとき参照画素を次の注目画素とするように、渦巻き状検索テーブルに従って、順次注目画素を辿ることによって鼻孔領域の抽出を行うものである。
【０００７】
また、画像入力手段によって入力された顔画像を１フレーム分格納するメモリを備え、１フレームの顔画像を用いて、鼻孔領域抽出手段による鼻孔領域の抽出及び目領域抽出手段による目領域の抽出及び開閉判定手段による目の開閉の判定を行うものである。
さらに、鼻孔領域抽出手段の検索開始点は、前フレームの顔画像の鼻孔領域から算出された鼻孔重心位置であるものである。
また、顔画像を入力する画像入力手段、この画像入力手段によって入力された顔画像から２値化された鼻孔領域を抽出する鼻孔領域抽出手段、この鼻孔領域抽出手段によって抽出された２値化された鼻孔領域を基準点として顔画像から２値化された目領域を抽出する目領域抽出手段、この目領域抽出手段によって抽出された２値化された目領域に基づき、目の開閉を判定する開閉判定手段を備え、鼻孔領域抽出手段は、顔画像の投影ヒストグラムのピーク位置から顔画像の水平方向に左右等間隔な２つの位置に設定される検索開始点から、渦巻き状に検索開始点の周囲を順次検索することによって鼻孔領域の抽出を行うものである。
【０００８】
【発明の実施の形態】
実施の形態１．
以下、この発明の実施の形態１について、図に基づいて説明する。
図１は、この発明の実施の形態１による顔画像処理装置を簡略化して示す構成図である。
図１において、１は検出対象者、２は検出対象者１の顔画像を撮影して入力するための撮影手段あるいは画像入力手段としてのＣＣＤカメラである。８はＣＣＤカメラ２から出力される多値画像を一時的に記憶する多値画像メモリ、９は多値画像より相対的輝度分布を用いて目・鼻孔領域を抽出する多値画像特徴抽出手段で、鼻孔領域を抽出する鼻孔領域抽出手段および目領域を抽出する目領域抽出手段から構成される。１０は多値画像特徴抽出結果を２値化画像として一時的に記憶する２値化画像メモリである。１１は目２値化領域の有無により目の開閉判定を行う開閉判定手段である。ここで、多値画像特徴抽出手段９及び開閉判定手段１１は、マイクロコンピュータなどによりソフトウェア的に実行されるものである。
【０００９】
図２は、この発明の実施の形態１による顔画像処理装置の鼻孔の２次元抽出フィルタを示す説明図である。
図３は、この発明の実施の形態１による顔画像処理装置の多値画像及び２値化画像を示す説明図であり、図３（ａ）は、多値画像メモリ８に格納された多値画像、図３（ｂ）は２値化画像メモリに格納された２値化画像を示す。
図３において、１は検出対象者、１２は原画像、１３は２値化画像である。
図４は、この発明の実施の形態１による顔画像処理装置の鼻孔位置を基準に目検索領域設定を示す説明図である。
図４において、１４は鼻孔位置、１５は目検索範囲、１６は目２値化領域である。
図５は、この発明の実施の形態１による顔画像処理装置の鼻孔の渦巻き状検索を示す説明図である。
図５において、１７は左鼻孔領域である。
【００１０】
図６は、この発明の実施の形態１による顔画像処理装置の鼻孔の渦巻き状検索の検索条件を示す説明図であり、図６（ａ）は、注目画素の選定方法を示す図、図６（ｂ）は、注目画素に対する参照画素を設定する渦巻き状検索テーブルである。
図７は、この発明の実施の形態１による顔画像処理装置の左右鼻孔領域の重心及び鼻孔位置を示す説明図である。
図７において、１４は図４におけるものと、１７は図５におけるものと、それぞれ同一のものである。１８は右鼻孔領域、１９は左鼻孔重心位置、２０は右鼻孔重心位置である。
図８は、この発明の実施の形態１による顔画像処理装置の目・鼻孔追跡アルゴリズムを示すフローチャートである。
図９は、この発明の実施の形態１による顔画像処理装置の渦巻き状の鼻孔検索アルゴリズムを示すフローチャートである。
【００１１】
次に、動作について、図８のフローチャートを基にして説明する。
ステップＳ１で撮影された顔画像を、ステップＳ２で多値画像メモリ８に１フレーム分、保存する。同じくステップＳ２で多値画像メモリ８より出力される多値画像について、ステップＳ３で鼻孔領域抽出手段による鼻孔検索及びステップＳ５で目領域抽出手段による目検索を行う。
図２は、ステップＳ３における鼻孔検索の２次元抽出フィルタの説明図である。注目画素Ｐの輝度値及びフィルタ参照画素Ｆの輝度値が条件を満たせば、注目画素Ｐはフィルタ通過として２値化画像メモリ１０に書き込む。このフィルタ処理を探索ウィンドウ内の全ての画素について行うことにより、図３（ｂ）に示すように２値化画像メモリ１０に抽出結果が格納される。
ステップＳ４において、フィルタ処理後の２値化画像メモリ１０より出力される２値化画像を用いて、鼻孔領域を選択する。
ステップＳ４において、鼻孔領域が選択されていれば、図４に示すように鼻孔位置１４よりＸ方向偏差及びＹ方向偏差を考慮して目検索範囲１５を設定する。ステップＳ５目検索において、検索方法は鼻孔と同様に目形状に対応した２次元抽出フィルタを用い、目２値化領域１６を抽出する。
ステップＳ６において目領域が選択されていれば、ステップＳ７で、目２値化領域１６形状の直線度などにより、目の開閉状態を判定する。
ステップＳ７の開閉判定の後、ステップＳ１顔画像撮影に戻り、１フレームごとに処理を繰り返す。ステップＳ４の鼻孔領域選択及びステップＳ６の目領域選択において領域が選択されない場合もステップＳ１に戻る。
図９は、図８のステップＳ３における鼻孔検索を示すフローチャートである。
【００１２】
以下、図９のフローチャートを基に説明する。
ステップＳ１１の２次元フィルタ処理は、ステップＳ３で説明したとおりである。ここでは、フィルタにより抽出された２値化領域を構成する画素をフィルタパス画素と呼ぶことにする。
ステップＳ１２にて、前回鼻孔重心位置を鼻孔検索開始点として設定する。
ステップＳ１３にて、図５に示すように渦巻き状に鼻孔領域を検索し、ステップＳ１５で渦巻き状検索抽出画素の（Ｘ、Ｙ）座標を記録する。
図６は、ステップＳ１３〜Ｓ１５の渦巻き状検索を説明する図である。図６（ａ）に示すように現在の注目画素から参照画素の４方向を検索し、いずれかにフィルタパス画素があれば、参照画素を次の注目画素とする。注目画素に対する参照画素は、図６（ｂ）に示す渦巻き状検索テーブルで設定される。このようにして、参照画素の４方向にフィルタパス画素がなくなるまで、ステップＳ１３〜Ｓ１５の渦巻き状検索を繰り返す。
【００１３】
ステップＳ１４において、参照画素の４方向にフィルタパス画素がなくなれば終了。ステップＳ１６へ進み、記録した（Ｘ、Ｙ）座標より鼻孔領域の重心位置を求める。
ステップＳ１７において、左右鼻孔領域の重心位置が検出されていれば、ステップＳ１８にて、図７のように左右鼻孔重心位置１９、２０の中心より、鼻孔位置１４を設定する。このとき、複数の左右鼻孔重心位置が検出された場合は、顔における相対的位置関係より２個の重心位置を左右鼻孔重心位置として選択する。この鼻孔位置１４及び左右鼻孔重心位置１９、２０は、フレームごとにそれぞれ前画面の抽出位置、重心位置として１フレームの間、保存する。
以上により、円形の近い形状の鼻孔の検索にあたって、鼻孔２値化領域を構成する画素すべてを走査することなく、また、Ｘ、Ｙ方向の走査回数を低減して重心位置を決定することで、鼻孔検索の処理速度が向上できる。
【００１４】
実施の形態２．
実施の形態２は、実施の形態１の鼻孔領域抽出手段の鼻孔検索開始点設定において、前回鼻孔重心位置の代わりに、２値化領域投影ヒストグラムのピーク位置から顔水平方向に左右等間隔に左右鼻孔検索開始点を設定することで、前回鼻孔重心位置にフィルタパス画素が存在しない場合でも、渦巻き状検索が可能な開始点を設定でき、安定した鼻孔抽出及び鼻孔抽出の信頼性向上を図ることができる。
図１０は、この発明の実施の形態２による顔画像処理装置の鼻孔のＸ軸投影ピーク位置から左右鼻孔検索開始点の基準となる鼻孔仮位置の設定を示す説明図である。
図１０において、１７、１８は図７におけるものと同一のものである。２１は鼻孔仮位置である。
図１１は、この発明の実施の形態１による顔画像処理装置の鼻孔仮位置から左右鼻孔検索開始点の設定を示す説明図である。
図１１において、１７、１８、２１は図１０におけるものと同一のものである。
【００１５】
次に、２値化領域投影ヒストグラムピークによる検索開始点の設定について説明する。
図３（ｂ）に示した２値化領域に対して、図１０に示すように鼻孔周辺のＸ軸投影を行い、投影ヒストグラムのピーク位置と前回鼻孔重心Ｙ座標とを合わせて鼻孔仮位置２１を設定する。
図１１に示すように、鼻孔仮位置２１から左右等間隔に左右鼻孔検索開始点を設定する。左右それぞれの鼻孔検索開始点より渦巻き状に検索を開始するが、渦巻き状検索は一定画素数で打ち切り、左右ペアでこの画素に満たない場合は、鼻孔領域と認識しないことにする。ピークが複数個存在する場合、同様に左右ペアの渦巻き状検索を各ピークについて行う。
左右ペアとも渦巻き状検索画素数を満たす場合、左右鼻孔領域として設定し、それぞれの領域の重心位置より、鼻孔位置を設定する。
これにより、顔の動きが大きく前回の鼻孔重心位置を鼻孔検索開始点として設定できない場合でも、無効な重心位置設定を避けることにより、鼻孔検索の処理速度を向上できる。また、鼻孔見失い時の復帰に要する時間を短縮することで、目の開閉状態を判定できない目見失い時間を短縮し、目の開閉状態を見落とすことなく正しく判定できるものである。
【００１６】
実施の形態２のように、前回鼻孔重心位置に鼻孔領域が存在しない状態を想定する場合、渦巻き状検索では実際の鼻孔２値化領域の重心位置とのずれが大きくなる恐れがあるため、渦巻き状検索は、鼻孔検索開始点に領域が存在するかどうかを判定するだけに用い、領域の重心決定は通常のＸ、Ｙ走査により行うといった複合的な方法も考えられる。
【００１７】
【発明の効果】
この発明は、以上説明したように構成されているので、以下に示すような効果を奏する。
顔画像を入力する画像入力手段、この画像入力手段によって入力された顔画像から２値化された鼻孔領域を抽出する鼻孔領域抽出手段、この鼻孔領域抽出手段によって抽出された２値化された鼻孔領域を基準点として顔画像から２値化された目領域を抽出する目領域抽出手段、この目領域抽出手段によって抽出された２値化された目領域に基づき、目の開閉を判定する開閉判定手段を備え、鼻孔領域抽出手段は、注目画素とその参照画素及びこの参照画素を次の注目画素としたときの次の参照画素を順次渦巻き状になるように設定した渦巻き状検索テーブルを有し、所定の検索開始点を最初の注目画素として、渦巻き状検索テーブルにより注目画素の参照画素として設定された画素の４方向のいずれかに鼻孔領域を構成する画素があるとき参照画素を次の注目画素とするように、渦巻き状検索テーブルに従って、順次注目画素を辿ることによって鼻孔領域の抽出を行うので、目の開閉状態を正しく判定することができると共に、鼻孔領域の抽出の処理速度が向上できる。
【００１８】
また、画像入力手段によって入力された顔画像を１フレーム分格納するメモリを備え、１フレームの顔画像を用いて、鼻孔領域抽出手段による鼻孔領域の抽出及び目領域抽出手段による目領域の抽出及び開閉判定手段による目の開閉の判定を行うので、１フレームごとに目の開閉を判定することができる。
【００１９】
さらに、鼻孔領域抽出手段の検索開始点は、前フレームの顔画像の鼻孔領域から算出された鼻孔重心位置であるので、効率のよい渦巻き状の検索による鼻孔領域の抽出を行うことができる。
また、顔画像を入力する画像入力手段、この画像入力手段によって入力された顔画像から２値化された鼻孔領域を抽出する鼻孔領域抽出手段、この鼻孔領域抽出手段によって抽出された２値化された鼻孔領域を基準点として顔画像から２値化された目領域を抽出する目領域抽出手段、この目領域抽出手段によって抽出された２値化された目領域に基づき、目の開閉を判定する開閉判定手段を備え、鼻孔領域抽出手段は、顔画像の投影ヒストグラムのピーク位置から顔画像の水平方向に左右等間隔な２つの位置に設定される検索開始点から、渦巻き状に検索開始点の周囲を順次検索することによって鼻孔領域の抽出を行うので、目の開閉状態を正しく判定することができると共に、初回のときや、前フレームの画像から鼻孔領域が抽出されなかったときでも、渦巻き状に検索することができ、鼻孔領域の抽出の処理速度が向上できる。
【図面の簡単な説明】
【図１】  この発明の実施の形態１による顔画像処理装置を簡略化して示す構成図である。
【図２】  この発明の実施の形態１による顔画像処理装置の鼻孔の２次元抽出フィルタを示す説明図である。
【図３】  この発明の実施の形態１による顔画像処理装置の多値画像及び２値化画像を示す説明図である。
【図４】  この発明の実施の形態１による顔画像処理装置の鼻孔位置を基準に目検索領域設定を示す説明図である。
【図５】  この発明の実施の形態１による顔画像処理装置の鼻孔の渦巻き状検索を示す説明図である。
【図６】  この発明の実施の形態１による顔画像処理装置の鼻孔の渦巻き状検索の検索条件を示す説明図である。
【図７】  この発明の実施の形態１による顔画像処理装置の左右鼻孔領域の重心及び鼻孔位置を示す説明図である。
【図８】  この発明の実施の形態１による顔画像処理装置の目・鼻孔追跡アルゴリズムを示すフローチャートである。
【図９】  この発明の実施の形態１による顔画像処理装置の渦巻き状の鼻孔検索アルゴリズムを示すフローチャートである。
【図１０】  この発明の実施の形態２による顔画像処理装置の鼻孔のＸ軸投影ピーク位置から左右鼻孔検索開始点の基準となる鼻孔仮位置の設定を示す説明図である。
【図１１】  この発明の実施の形態２による顔画像処理装置の鼻孔仮位置から左右検索開始点の設定を示す説明図である。
【図１２】  従来のテンプレートマッチングを用いた顔画像処理装置を簡略化して示す構成図である。
【符号の説明】
１  検出対象者、  ２  ＣＣＤカメラ、  ８  多値画像メモリ、
９  多値画像特徴抽出手段、  １０  ２値化画像メモリ、
１１  開閉判定手段、  １２  原画像、  １３  ２値化画像、
１４  鼻孔位置、  １５  目検索範囲、  １６  目２値化領域、
１７  左鼻孔領域、  １８  右鼻孔領域、  １９  左鼻孔重心位置、
２０  右鼻孔重心位置、  ２１  鼻孔仮位置。
【図１】
0003636927.tif 000002
【図２】
0003636927.tif 000003
【図３】
0003636927.tif 000004
【図４】
0003636927.tif 000005
【図５】
0003636927.tif 000006
【図６】
0003636927.tif 000007
【図７】
0003636927.tif 000008
【図８】
0003636927.tif 000009
【図９】
0003636927.tif 000010
【図１０】
0003636927.tif 000011
【図１１】
0003636927.tif 000012
【図１２】
0003636927.tif 000013