(57)【要約】      （修正有）【課題】背景濃度が不均一である微小画像から、正常に顔部位の検出を行うことができる顔部位判定方法及びその装置を提供する。【解決手段】顔部位判定方法は、ＴＶカメラの撮像により得られた被検出者の顔画像から検出対象となる顔部位の候補を特定して、この顔部位の候補の位置を基準に顔画像よりも小さい微小画像を顔画像から抽出した後、微小画像内の背景の濃度情報を除去して、微小画像に基づいて検出対象となる顔部位を判定するようになっている。また、顔部位判定装置は、ＴＶカメラと、顔部位候補点抽出手段ＣＬ２１と、顔部候補微小画像抽出手段ＣＬ２２と、背景濃度情報除去手段ＣＬ２３と、顔部位判定手段ＣＬ２５とを備えている。【選択図】図１
2007213376.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段の撮像により得られた被検出者の顔画像から検出対象となる顔部位の候補を特定して、この顔部位の候補の位置を基準に前記顔画像よりも小さい微小画像を顔画像から抽出した後、前記微小画像内の背景の濃度情報を除去して、前記微小画像に基づいて検出対象となる顔部位を判定することを特徴とする顔部位判定方法。
【請求項２】
被検出者の顔を撮像する撮像手段と、
前記撮像手段の撮像により得られた被検出者の顔画像から、検出対象となる顔部位の候補を特定する候補特定手段と、
候補特定手段により特定された顔部位の候補の位置を基準に、前記顔画像よりも小さい微小画像を、顔画像から抽出する微小画像抽出手段と、
微小画像抽出手段により抽出された微小画像について背景の濃度情報を除去する背景濃度情報除去手段と、
背景濃度情報除去手段により背景濃度情報が除去された微小画像に基づいて検出対象となる顔部位を判定する顔部位判定手段とを備えることを特徴とする顔部位判定装置。
【請求項３】
被検出者の顔を撮像する撮像手段と、
前記撮像手段の撮像により得られた被検出者の顔画像から、検出対象となる顔部位を検出する顔部位位置検出手段と、
前記顔部位位置検出手段により検出された顔部位を追跡していく顔部位追跡手段と、を備え、
前記顔部位追跡手段は、
前記顔部位位置検出手段によって前フレームの顔画像から検出された顔部位位置または前記顔部位追跡手段によって前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域画像を現フレームの顔画像から抽出する顔部位探査領域画像抽出手段と、
前記顔部位探査領域画像抽出手段によって抽出された顔部位探査領域画像から、検出対象となる顔部位の候補を特定する候補特定手段と、
前記候補特定手段により特定された顔部位の候補の位置を基準に、前記顔部位探査領域画像よりも小さい微小画像を、前記顔部位探査領域画像から抽出する微小画像抽出手段と、
前記微小画像抽出手段により抽出された微小画像について背景の濃度情報を除去する背景濃度情報除去手段と、
背景濃度情報除去手段により背景濃度情報が除去された微小画像に基づいて検出対象となる顔部位を判定する顔部位判定手段と、を有することを特徴とする顔部位判定装置。
【請求項４】
前記背景濃度情報除去手段により背景の濃度情報を除去された微小画像から顔部位候補の輪郭形状を抽出する輪郭抽出手段をさらに備え、
前記輪郭抽出手段は、
前記背景濃度情報除去手段により背景の濃度情報を除去された微小画像のコントラストを強調するコントラスト強調手段と、
コントラスト強調された背景の濃度情報を除去済み微小画像の濃度状態から二値化処理を行うための二値化閾値を算出する二値化閾値手段と、
前記二値化閾値手段によって算出された二値化閾値によって、コントラスト強調された背景の濃度情報を除去済み微小画像を二値化する二値化手段と、
前記二値化手段による二値化によって得られる像を顔部位オブジェクトとして抽出する顔部位オブジェクト抽出手段と、を有し、
前記顔部位オブジェクト抽出手段によって抽出された顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出することを特徴とする請求項２又は請求項３のいずれかに記載の顔部位判定装置。
【請求項５】
前記背景濃度情報除去手段により背景の濃度情報を除去された微小画像から顔部位候補の輪郭形状を抽出する輪郭抽出手段をさらに備え、
前記輪郭抽出手段は、
前記背景濃度情報除去手段により背景の濃度情報を除去された微小画像のコントラストを強調するコントラスト強調手段と、
コントラスト強調された背景の濃度情報を除去済み微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が白方向から黒方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第１のエッジラインを抽出する第１エッジライン抽出手段と、
コントラスト強調された背景の濃度情報を除去済み微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が黒方向から白方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第２のエッジラインを抽出する第２エッジライン抽出手段と、を有し、
前記１エッジライン抽出手段によって抽出された第１のエッジラインと前記第２エッジライン抽出手段によって抽出された第２のエッジラインとを対応付け、対応付けられた第１及び第２のエッジラインによって囲まれる領域を顔部位オブジェクトとして抽出し、抽出した顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出することを特徴とする請求項２又は請求項３のいずれかに記載の顔部位判定装置。
【請求項６】
前記候補特定手段は、前記撮像手段により撮像された画像の縦方向の画素列に沿って画素の濃度値を検出し、
検出した濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出点とし、
縦方向の画素列ごとに定められた抽出点が、画像横方向に隣接する場合に、横方向に延びる抽出点群の連続データを形成し、
形成された連続データの代表座標値を、検出対象となる顔部位の候補の位置として特定することを特徴とする請求項２又は請求項３のいずれかに記載の顔部位判定装置。
【請求項７】
請求項１および請求項２に記載の背景濃度情報除去手段は、
微小画像抽出手段によって顔画像から抽出された微小画像の濃度情報から背景濃度情報画像を作成する背景濃度情報画像作成手段と、
微小画像抽出手段によって顔画像から抽出された微小画像と背景濃度情報画像との差分により背景濃度情報が除去された微小画像を生成する背景濃度情報除去微小画像生成手段を有することを特徴とする請求項２又は請求項３のいずれかに記載の顔部位判定装置。
【請求項８】
前記背景濃度情報画像作成手段は、
微小画像抽出手段によって顔画像から抽出された微小画像の画素濃度をその画素およびその画素の周辺にある画素の濃度情報によって平滑化する画素濃度平滑化手段と、
画素濃度平滑化手段によって平滑化された画素濃度になった微小画像を繰り返し画素濃度平滑化手段によって画素濃度を平滑化することによって顔部位のオブジェクト情報を消去していくことによって背景濃度情報画像を生成することを特徴とする請求項７に記載の顔部位判定装置。
【請求項９】
前記背景濃度情報画像作成手段は、
微小画像抽出手段によって顔画像から抽出された微小画像を縮小する画像縮小手段と、
画像縮小手段によって縮小された縮小微小画像の画素濃度をその画素およびその画素の周辺にある画素の濃度情報によって平滑化する画素濃度平滑化手段と、
画素濃度平滑化手段によって平滑化された画素濃度になった縮小微小画像を繰り返し画素濃度平滑化手段によって画素濃度を平滑化することによって顔部位のオブジェクト情報を消去していく顔部位オブジェクト情報消去手段と、
顔部位オブジェクト情報消去手段によって顔部位オブジェクト情報を消去された縮小微小画像を元の微小画像の大きさに拡大する画像拡大手段を備えることを特徴とする請求項７に記載の顔部位判定装置。
【請求項１０】
前記画素濃度平滑化手段は、
移動平均フィルタもしくはガウシアンフィルタによる画素濃度の平滑化であることを特徴とする請求項８又は請求項９に記載の顔部位判定装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば乗物の運転者の顔部位を監視するときに用いる顔部位判定方法及びその装置に関するものである。
【背景技術】
【０００２】
例えば、車両運転者の脇見運転、或いは居眠り運転を検出するために、運転者の状態を検出する運転状態検出装置が知られている。この運転状態検出装置では、運転者の顔画像全体に対して標準顔テンプレート画像との濃度差分によって検索を行って顔を含む領域を抽出し、該領域に対して次の標準眼近傍テンプレート画像との濃度差分により検索を行って眼を含む縦方向に長い中間程度の大きさの領域を抽出し、更に、次の標準眼テンプレート画像との濃度差分によって検索を行い、眼を含む最小の領域を抽出して眼の位置を検出するようにしていた。
【０００３】
しかしながら、この運転状態検出装置では、撮像した画像とテンプレート画像との間の濃度差分による相関関係を調べているので、一つの領域を処理する時間は短いが、眼鏡をかけている人や髪を伸ばしている人等、様々な人に対応させようとして、眼や眉毛の配置の他、眼鏡、伸びた髪などの条件を入れて相関関係を緩和しすぎると、標準顔テンプレートによる顔領域の判定や標準眼テンプレートによる眼の位置判定が不正確となるものであった。
【０００４】
これを解消するために、第１の顔部位判定部と第２の顔部位判定部とを有する顔部位の位置状態検出回路（顔部位判定手段）を設けると共に、第１の顔部位判定部により精度の高い顔部位の判定処理が行われるように設定し、第２の顔部位判定部により処理速度が速くなるように設定したものが知られている（例えば特許文献１参照）。
【０００５】
ところで、顔部位が影に入っているような状況であって、顔の背景と顔部位のコントラストが低い場合、背景より顔部位が暗くなることもある。この場合には、顔部位の肌の濃度がほぼ均一であり、顔部位が背景より暗くなることを前提として、背景と顔部位の分離を行うことも行われていた（例えば特許文献２参照）。
【特許文献１】特開２００３−１２３０７５号公報
【特許文献２】特願２００５−２０７５４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、照明による陰影がある顔画像や、顔の眼に髪の毛が重なる画像の場合については、眼の背景である顔画像の画素濃度が均一ではなくなる。また、部分的に顔部位の濃度と顔の背景の濃度がほぼ等しいか、顔の背景の方が顔より濃くなることもある。
【０００７】
このため顔の原画像を直接二値化した場合、顔の背景の濃度が顔の濃度とほぼ等しいか、顔の背景の方が顔より濃くなる部分が顔と一緒になってオブジェクトとして抽出されてしまうこともあった。また、顔画像のコントラストの強調処理の技術を用いると、背景の濃淡がさらに強調されてしまうため、さらに顔部位をその背景から分離するのは難しくなるという問題点があった。
【０００８】
そこで、この発明は、背景濃度が不均一である微小画像から、正常に顔部位の検出を行うことができる顔部位判定方法及びその装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００９】
この目的を達成するため、請求項１の発明の顔部位判定方法は、撮像手段の撮像により得られた被検出者の顔画像から検出対象となる顔部位の候補を特定して、この顔部位の候補の位置を基準に前記顔画像よりも小さい微小画像を顔画像から抽出した後、前記微小画像内の背景の濃度情報を除去して、前記微小画像に基づいて検出対象となる顔部位を判定することを特徴とする。
【００１０】
また、上述した目的を達成するため、請求項２に記載の顔部位判定装置は、被検出者の顔を撮像する撮像手段と、前記撮像手段の撮像により得られた被検出者の顔画像から、検出対象となる顔部位の候補を特定する候補特定手段と、候補特定手段により特定された顔部位の候補の位置を基準に、前記顔画像よりも小さい微小画像を、顔画像から抽出する微小画像抽出手段と、微小画像抽出手段により抽出された微小画像について背景の濃度情報を除去する背景濃度情報除去手段と、背景濃度情報除去手段により背景濃度情報が除去された微小画像に基づいて検出対象となる顔部位を判定する顔部位判定手段とを備えることを特徴とする。
【００１１】
更に、上述した目的を達成するため、請求項３の発明の顔部位判定装置は、被検出者の顔を撮像する撮像手段と、前記撮像手段の撮像により得られた被検出者の顔画像から、検出対象となる顔部位を検出する顔部位位置検出手段と、前記顔部位位置検出手段により検出された顔部位を追跡していく顔部位追跡手段と、を備えている。しかも、前記顔部位追跡手段は、前記顔部位位置検出手段によって前フレームの顔画像から検出された顔部位位置または前記顔部位追跡手段によって前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域画像を現フレームの顔画像から抽出する顔部位探査領域画像抽出手段と、前記顔部位探査領域画像抽出手段によって抽出された顔部位探査領域画像から、検出対象となる顔部位の候補を特定する候補特定手段と、前記候補特定手段により特定された顔部位の候補の位置を基準に、前記顔部位探査領域画像よりも小さい微小画像を、前記顔部位探査領域画像から抽出する微小画像抽出手段と、前記微小画像抽出手段により抽出された微小画像について背景の濃度情報を除去する背景濃度情報除去手段と、背景濃度情報除去手段により背景濃度情報が除去された微小画像に基づいて検出対象となる顔部位を判定する顔部位判定手段と、を有する。
【発明の効果】
【００１２】
請求項１の顔部位判定方法及び請求項２，３の顔部位判定装置によれば、背景濃度が不均一である微小画像から、正常に顔部位の検出を行うことができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態を図面に示す実施例に基づいて説明する。
【００１４】
なお、実際の顔の動きと画像上の顔の動きは左右逆になる。また、本実施例の説明においては、実際の顔の動きで説明するため、例えば「左を向いた」と説明にあれば図では右向きに動いているという具合に図上での動きとは左右逆になることをあらかじめ断っておく。
［システムブロック図］
図１は、本発明を適用した顔部位追跡装置の実施例の構成ブロック図である。この顔部位追跡装置は、顔画像撮像手段ＣＬ１と、顔部位位置検出手段ＣＬ２と、顔部位追跡手段ＣＬ３を備えている。
【００１５】
この顔部位位置検出手段ＣＬ２は、顔部位候補点抽出手段（候補特定手段）ＣＬ２１、顔部位候補微小画像抽出手段ＣＬ２２、背景濃度情報除去手段ＣＬ２３、顔部位候補輪郭抽出手段ＣＬ２４、顔部位判定手段ＣＬ２５を備えている。また、顔部位追跡手段ＣＬ３は、顔部位探査領域設定手段ＣＬ３１、顔部位候補点抽出手段ＣＬ３２、顔部位候補微小画像抽出手段ＣＬ３３、背景濃度情報除去手段ＣＬ３４、顔部位候補輪郭抽出手段ＣＬ３５、顔部位判定手段ＣＬ３６を備えている。
【００１６】
顔画像撮像手段ＣＬ１は、乗員の顔を撮像して顔画像データを出力して、この顔画像データを顔部位位置検出手段ＣＬ２の顔部位候補点抽出手段ＣＬ２１及び顔部位追跡手段ＣＬ３の顔部位探査領域設定手段ＣＬ３１に入力する。
Ａ．顔部位位置検出手段ＣＬ２の詳細
顔部位位置検出手段ＣＬ２は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して顔画像全体の中から顔部位を検出特定するようになっている。
【００１７】
即ち、先ず、顔部位候補点抽出手段ＣＬ２１は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して顔画像全体の中から顔部位候補点を抽出するようになっている。
【００１８】
また、顔部位候補微小画像抽出手段ＣＬ２２は、顔部位候補点抽出手段ＣＬ２１で抽出された顔部位候補点を中心とした顔部位候補微小画像を抽出するようになっている。
【００１９】
また、背景濃度情報除去手段ＣＬ２３は、顔部位候補微小画像抽出手段ＣＬ２２で抽出された顔部位候補微小画像から背景濃度情報を除去を行うようになっている。
＜背景濃度情報除去手段ＣＬ２３＞
この背景濃度情報除去手段ＣＬ２３は、図１Ａに示したように背景濃度情報画像作成手段ＣＬ２３１，背景濃度情報除去微小画像生成手段ＣＬ２３２を有する。
【００２０】
この背景濃度情報画像作成手段ＣＬ２３１は、顔部位候補微小画像抽出手段ＣＬ２２によって顔画像から抽出された微小画像の濃度情報から背景濃度情報を作成するようになっている。また、背景濃度情報除去微小画像生成手段ＣＬ２３２は、顔部位候補微小画像抽出手段ＣＬ２２によって顔画像から抽出された微小画像と、背景濃度情報との差分により背景濃度が除去された微小画像を生成するようになっている。
【００２１】
また、背景濃度情報画像作成手段ＣＬ２３１は、画素濃度平滑化手段ＣＬ２３３，画素濃度平滑化手段の繰り返し手段ＣＬ２３４，画像縮小手段ＣＬ２３５，画像拡大手段ＣＬ２３６，顔部位オブジェクト情報消去手段ＣＬ２３７を有する。
【００２２】
画素濃度平滑化手段ＣＬ２３３は、顔部位候補微小画像抽出手段ＣＬ２２で抽出された微小画像の画素濃度をその画素及びその画素の周辺にある画素の濃度情報によって平滑化するようになっている。尚、画素濃度平滑化手段ＣＬ２３３としては、移動平均フィルタ又はガウシアンフィルタが画素濃度の平滑化に用いられる。
【００２３】
また、画素濃度平滑化手段の繰り返し手段ＣＬ２３４は、画素濃度平滑化手段ＣＬ２３３によって平滑化される微小画像を繰り返し平滑化させるようになっている。
【００２４】
この画像縮小手段ＣＬ２３５は、顔部位候補微小画像抽出手段ＣＬ２２によって顔画像から抽出された微小画像を縮小するようになっている。この画像縮小手段ＣＬ２３５により縮小された微小画像は画素濃度平滑化手段ＣＬ２３３によって平滑化されるようになっている。
【００２５】
また、画像拡大手段ＣＬ２３６は、画素濃度平滑化手段ＣＬ２３３によって平滑化された微小画像を拡大するようになっている。
【００２６】
更に、顔部位オブジェクト情報消去手段ＣＬ２３７は、画素濃度平滑化手段ＣＬ２３３によって平滑化された画素濃度になった縮小微小画像を繰り返し画素濃度平滑化手段ＣＬ２３３によって画素濃度を平滑化することによって、顔部位のオブジェクト情報を消去していくようになっている。
＜顔部位候補輪郭抽出手段ＣＬ２４＞
また、顔部位候補輪郭抽出手段ＣＬ２４は、背景濃度情報除去手段ＣＬ２３で背景濃度情報を除去された顔部位候補微小画像から顔部位候補の輪郭を抽出するようになっている。
【００２７】
この顔部位候補輪郭抽出手段ＣＬ２４は、図１Ｂに示したようにコントラスト強調手段ＣＬ２４１，第１エッジライン抽出手段ＣＬ２４２，第２エッジライン抽出手段ＣＬ２４３，二値化閾値手段ＣＬ２４４，二値化手段ＣＬ２４４ａ，顔部位オブジェクト抽出手段ＣＬ２４５を有する。
【００２８】
このコントラスト強調手段ＣＬ２４１は、背景濃度情報除去手段ＣＬ２３により背景の濃度情報を除去された微小画像のコントラストを強調するようになっている。
【００２９】
第１エッジライン抽出手段ＣＬ２４２は、コントラスト強調手段ＣＬ２４１によりコントラスト強調された背景の濃度情報を除去済み微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が白方向から黒方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第１のエッジラインを抽出するようになっている。
【００３０】
第２エッジライン抽出手段ＣＬ２４３は、コントラスト強調された背景の濃度情報を除去済み微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が黒方向から白方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第２のエッジラインを抽出するようになっている。
【００３１】
二値化閾値手段ＣＬ２４４は、コントラスト強調された背景の濃度情報を除去済み微小画像の濃度状態から二値化処理を行うための二値化閾値を算出するようになっている。
【００３２】
二値化手段ＣＬ２４４ａは、二値化閾値手段ＣＬ２４４によって算出された二値化閾値によって、コントラスト強調された背景の濃度情報を除去済み微小画像を二値化するようになっている。
【００３３】
顔部位オブジェクト抽出手段ＣＬ２４５は、二値化手段２４４ａによる二値化によって得られる像を顔部位オブジェクトとして抽出するようになっている。
【００３４】
即ち、顔部位オブジェクト抽出手段ＣＬ２４５は、前記１エッジライン抽出手段ＣＬ２４２によって抽出された第１のエッジラインと前記第２エッジライン抽出手段ＣＬ２４３によって抽出された第２のエッジラインとを対応付け、対応付けられた第１及び第２のエッジラインによって囲まれる領域を顔部位オブジェクトとして抽出し、抽出した顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出するようになっている。
【００３５】
顔部位オブジェクト抽出手段ＣＬ２４５は、二値化手段ＣＬ２４４ａによる二値化によって得られる像を顔部位オブジェクトとして抽出する。
＜顔部位判定手段ＣＬ２５＞
また、顔部位判定手段ＣＬ２５は、顔部位候補輪郭抽出手段ＣＬ２４で抽出された顔部位候補の輪郭形状の持つ幾何パラメータと顔部位テンプレートが持つ幾何パラメータが一致することによって顔部位候補オブジェクトが顔部位であるか否かを判定するようになっている。
Ｂ．顔部位追跡手段ＣＬ３の詳細
また、顔部位追跡手段ＣＬ３は、顔部位位置検出手段ＣＬ２よって検出された顔部位を追跡するようになっている。
【００３６】
即ち、先ず、顔部位探査領域設定手段（顔部位探査領域画像抽出手段）ＣＬ３１は、前フレーム以前の画像で顔部位と判定された点を元に顔部位を探査する領域を設定するようになっている。
【００３７】
また、顔部位候補点抽出手段（候補特定手段）ＣＬ３２は顔画像撮像手段ＣＬ１から出力された顔画像データから顔部位探査領域設定手段ＣＬ３１によって設定された顔部位探査領域の画像データを抽出、処理して顔部位探査領域の中から顔部位候補点を抽出するようになっている。
【００３８】
また、顔部位候補微小画像抽出手段ＣＬ３３は顔部位候補点抽出手段ＣＬ３２で抽出された顔部位候補点を中心とした顔部位候補微小画像を抽出する。
背景濃度情報除去手段ＣＬ３４は顔部位候補微小画像抽出手段ＣＬ３３で抽出された顔部位候補微小画像から背景濃度情報を除去を行う。
＜背景濃度情報除去手段ＣＬ３４＞
この背景濃度情報除去手段ＣＬ３４は、図１Ａに示したように背景濃度情報画像作成手段ＣＬ３４１，背景濃度情報除去微小画像生成手段ＣＬ３４２を有する。
【００３９】
この背景濃度情報画像作成手段ＣＬ３４１は、顔部位候補微小画像抽出手段ＣＬ３３によって顔画像から抽出された微小画像の濃度情報から背景濃度情報を作成するようになっている。また、背景濃度情報除去微小画像生成手段ＣＬ３４２は、顔部位候補微小画像抽出手段ＣＬ３３によって顔画像から抽出された微小画像と、背景濃度情報との差分により背景濃度が除去された微小画像生成するようになっている。
【００４０】
また、背景濃度情報画像作成手段ＣＬ３４１は、画素濃度平滑化手段ＣＬ３４３，画素濃度平滑化手段の繰り返し手段ＣＬ３４４，画像縮小手段ＣＬ３４５，画像拡大手段ＣＬ３４６，顔部位オブジェクト情報消去手段ＣＬ３４７を有する。尚、画素濃度平滑化手段としては、移動平均フィルタ又はガウシアンフィルタが画素濃度の平滑化に用いられる。
【００４１】
画素濃度平滑化手段ＣＬ３４３は、顔部位候補微小画像抽出手段ＣＬ３３で抽出された微小画像の画素濃度をその画素及びその画素の周辺にある画素の濃度情報によって平滑化するようになっている。尚、画素濃度平滑化手段ＣＬ３４３としては、移動平均フィルタ又はガウシアンフィルタが画素濃度の平滑化に用いられる。
【００４２】
また、画素濃度平滑化手段の繰り返し手段ＣＬ３４４は、画素濃度平滑化手段ＣＬ３４３によって平滑化される微小画像を繰り返し平滑化させるようになっている。
【００４３】
画像縮小手段ＣＬ３４５は、顔部位候補微小画像抽出手段ＣＬ３３によって顔画像から抽出された微小画像を縮小するようになっている。この画像縮小手段ＣＬ３４５により縮小された微小画像は画素濃度平滑化手段Ｃ３４３によって平滑化されるようになっている。
【００４４】
また、画像拡大手段ＣＬ３４６は、画素濃度平滑化手段ＣＬ３４３によって平滑化された微小画像を拡大するようになっている。
【００４５】
更に、顔部位オブジェクト情報消去手段ＣＬ３４７は、画素濃度平滑化手段ＣＬ３４３によって平滑化された画素濃度になった縮小微小画像を繰り返し画素濃度平滑化手段ＣＬ３４３によって画素濃度を平滑化することによって、顔部位のオブジェクト情報を消去していくようになっている。
＜顔部位候補輪郭抽出手段ＣＬ３５＞
また、顔部位候補輪郭抽出手段ＣＬ３５は、背景濃度情報除去手段ＣＬ３４で背景濃度情報を除去された顔部位候補微小画像から顔部位候補の輪郭を抽出するようになっている。
【００４６】
この顔部位候補輪郭抽出手段ＣＬ３５は、図１Ｂに示したようにコントラスト強調手段ＣＬ３５１，第１エッジライン抽出手段ＣＬ３５２，第２エッジライン抽出手段ＣＬ３５３，二値化閾値手段ＣＬ３５４，二値化手段ＣＬ３５４ａ，顔部位オブジェクト抽出手段ＣＬ３５５を有する。
【００４７】
このコントラスト強調手段ＣＬ３５１は、背景濃度情報除去手段ＣＬ３４により背景の濃度情報を除去された微小画像のコントラストを強調するようになっている。
【００４８】
第１エッジライン抽出手段ＣＬ３５２は、コントラスト強調手段ＣＬ３５１によりコントラスト強調された背景の濃度情報を除去済み微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が白方向から黒方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第１のエッジラインを抽出するようになっている。
【００４９】
第２エッジライン抽出手段ＣＬ３５３は、コントラスト強調された背景の濃度情報を除去済み微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が黒方向から白方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第２のエッジラインを抽出するようになっている。
【００５０】
二値化閾値手段ＣＬ３５４は、コントラスト強調された背景の濃度情報を除去済み微小画像の濃度状態から二値化処理を行うための二値化閾値を算出するようになっている。
【００５１】
二値化手段ＣＬ３５４ａは、二値化閾値手段ＣＬ３５４によって算出された二値化閾値によって、コントラスト強調された背景の濃度情報を除去済み微小画像を二値化するようになっている。
【００５２】
顔部位オブジェクト抽出手段ＣＬ３５５は、二値化手段３５４ａによる二値化によって得られる像を顔部位オブジェクトとして抽出するようになっている。
【００５３】
即ち、顔部位オブジェクト抽出手段ＣＬ３５５は、前記１エッジライン抽出手段ＣＬ３５２によって抽出された第１のエッジラインと前記第２エッジライン抽出手段ＣＬ３５３によって抽出された第２のエッジラインとを対応付け、対応付けられた第１及び第２のエッジラインによって囲まれる領域を顔部位オブジェクトとして抽出し、抽出した顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出するようになっている。
【００５４】
顔部位オブジェクト抽出手段ＣＬ３５５は、二値化手段ＣＬ３５４ａによる二値化によって得られる像を顔部位オブジェクトとして抽出する。
＜顔部位判定手段ＣＬ３６＞
この顔部位判定手段ＣＬ３６は顔部位候補輪郭抽出手段ＣＬ３５で抽出された顔部位候補の輪郭形状の持つ幾何パラメータと顔部位テンプレートが持つ幾何パラメータが一致することによって顔部位候補オブジェクトが顔部位であるか否かを判定する。
【００５５】
本装置は、自動車、鉄道車両、船舶、プラントのオペレータ等の顔の向き検知に用いることができるが、本発明のすべての実施例で自動車の運転手の顔部位のうち特に眼に適用した場合で説明する。顔部位も眼だけに留まらず眉、鼻、口、耳なども同様の方法で追跡処理することができる。
［機器の配置］
図２は、本発明の機器の配置図である。この図２においては、ＴＶカメラ１が上述した顔画像撮像手段ＣＬ１として自動車のインストルメント上に取り付けられている。このＴＶカメラ１は、運転者を略正面から撮像できる位置に設置されていて、運転者の顔部分を撮影するようになっている。
【００５６】
そして、ＴＶカメラ１の入力画像は、本実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。前記ＴＶカメラ１で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ２に画像データとして入力される。
【００５７】
このマイクロコンピュータ２はＥＥＰＲＯＭ等の図示しないメモリを有し、このメモリには上述した顔部位位置検出手段ＣＬ２及び顔部位追跡手段ＣＬ３を構成するプログラム（プログラムロジック）が記憶されている。即ち、このメモリには、顔部位候補点抽出手段ＣＬ２１と、顔部位候補微小画像抽出手段ＣＬ２２と、背景濃度情報除去手段ＣＬ２３と、顔部位候補輪郭抽出手段ＣＬ２４と、顔部位判定手段ＣＬ２５とを含む顔部位位置検出手段ＣＬ２と、顔部位探査領域設定手段ＣＬ３１と、顔部位候補点抽出手段ＣＬ３２と、顔部位候補微小画像抽出手段ＣＬ３３と、背景濃度情報除去手段ＣＬ３４と、顔部位候補輪郭抽出手段ＣＬ３５と、顔部位判定手段ＣＬ３６とを含む顔部位追跡手段ＣＬ３を構成するプログラムが記憶されている。尚、背景濃度情報除去手段ＣＬ３４は、図１Ａに示したように背景濃度情報画像作成手段ＣＬ３４１，背景濃度情報除去微小画像生成手段ＣＬ３４２，画素濃度平滑化手段ＣＬ３４３，画素濃度平滑化手段の繰り返し手段ＣＬ３４４を有する。また、背景濃度情報除去手段ＣＬ３４は、画像縮小手段ＣＬ３４５，画像拡大手段ＣＬ３４６，顔部位オブジェクト情報消去手段ＣＬ３４７を有する。更に、画素濃度平滑化手段としては、移動平均フィルタ又はガウシアンフィルタが画素濃度の平滑化に用いられる。
【００５８】
この顔部位候補輪郭抽出手段ＣＬ３５は、図１Ｂに示したようにコントラスト強調手段ＣＬ３５１，第１エッジライン抽出手段ＣＬ３５２，第２エッジライン抽出手段ＣＬ３５３，二値化閾値手段ＣＬ３５４，顔部位オブジェクト抽出手段ＣＬ３５５を有する。
【００５９】
そして、マイクロコンピュータ２は、起動時にメモリから顔部位位置検出手段ＣＬ２及び顔部位追跡手段ＣＬ３のプログラムを読み出して、この読み出したプログラムに従って以下の画像処理を実行する。
［システム全体の処理］
次に、マイクロコンピュータ２の処理状況について説明する。
【００６０】
図３はマイクロコンピュータ２によるシステムの全体の処理の流れを示している。
【００６１】
まず、マイクロコンピュータ２が起動されて処理が開始されると、マイクロコンピュータ２はステップＳ１で、初期値入力（プログラムを動作させるために必要なパラメータの各種初期値設定）の処理が実行され、ステップＳ２に移行する。
【００６２】
このステップＳ２では、顔部位が見つかっているか否かを表す顔部位検出フラグＧｅｔＦｌａｇをＦＡＬＳＥに設定し、ステップＳ３に移行する。
【００６３】
このステップＳ３では、処理フレームカウンタｉを０に初期化して、ステップＳ４に移行する。
【００６４】
このステップＳ４では、「終了判断」の処理が実行され、例えばエンジンの起動判断などが行われ、ステップＳ５に移行する。
【００６５】
このステップＳ５では、「ＳＴＯＰか否か」の判断処理が実行される。即ち、ステップＳ５では、エンジンが起動されておらず、車両が走行状態でないなどと判断された場合、ＹＥＳと判断されて処理が終了（ＥＮＤ）する。また、ステップＳ５において、エンジンが起動され走行しているなどと判断された場合、ＮＯと判断されて、ステップＳ６に移行して「顔画像の撮像」の処理を実行する。
【００６６】
すなわち、ステップＳ６では、ＴＶカメラ１で撮像された運転者の顔画像のデータがマイクロコンピュータ２に入力され、ステップＳ７に移行する。このマイクロコンピュータ２では入力された画像フレーム全体を全体画像Ｇとして画像メモリ（図示せず）に保存する。
【００６７】
ステップＳ７では、顔部位検出フラグＧｅｔＦｌａｇがＦＡＬＳＥか否かを判断し、ＧｅｔＦｌａｇがＦＡＬＳＥであればＹＥＳと判断してステップＳ８に移行し、ＧｅｔＦｌａｇがＴＲＵＥであればＮＯと判断して、ステップＳ１０に移行する。
【００６８】
そして、ステップＳ８では顔部位位置検出手段ＣＬ２により顔部位検出処理を行ってステップＳ９に移行し、ステップＳ１０では顔部位追跡手段ＣＬ３により顔部位追跡処理を行ってステップＳ９に移行する。
【００６９】
このステップＳ９では、処理フレームカウンタｉをインクリメントし、ステップＳ４の終了判断処理に戻ってループする。
［顔部位検出処理］
上述したステップＳ８の顔部位検出処理を図４のフローチャートを用いてさらに詳細に説明する。
【００７０】
まず、図４のステップＳ８１では、顔部位候補点抽出手段ＣＬ２１により顔部位の候補の位置の特定の処理（図５参照、後述）が実行され、ステップＳ８２に移行する。
【００７１】
このステップＳ８２では、ステップＳ８１で特定された顔部位候補のうち判定を行う顔部位候補の選定を行い、ステップＳ８３に移行する。尚、顔部位検出処理ステップＳ８を開始した直後は、判定された全ての顔部位候補が判定対象となる。しかし、顔部位と判定された顔部位候補は、次の顔部位の判定では判定対象の顔部位候補点からはずされていく。
【００７２】
ステップＳ８３では、判定を行う顔部位を設定して、ステップＳ８４に移行する。尚、本実施例では左右の眼を検出するわけであるが、最初は左眼の判定を行い、後から右眼の判定を行う。即ち、ステップＳ８の顔部位検出処理を開始した直後のステップＳ８３では、判定を行う顔部位として左眼を設定し、ステップＳ８４の顔部位判定処理に渡す左眼判定用のパラメータを設定する。また、左眼が判定された後に処理されるステップＳ８３では、判定を行う顔部位として右眼を設定し、ステップＳ８４の顔部位判定処理に渡す右眼判定用のパラメータを設定する。
【００７３】
このステップＳ８４では、顔部位判定処理を行い（図１３参照、後述）、ステップＳ８５に移行する。
【００７４】
このステップＳ８５では、ステップＳ８４の顔部位判定処理の結果、顔部位と判定されたか否かを判断する。そして、ステップＳ８５において顔部位と判定された場合にはＹＥＳとなり、ステップＳ８６に移行する。また、ステップＳ８５において顔部位と判定されなかった場合にはＮＯとなり、ステップＳ８９に移行する。
【００７５】
ステップＳ８６では、判定対象の顔部位の全てを判定し終えたか否かを判断する。そして、ステップＳ８６において判定対象の顔部位の全てを判定し終えたと判定された場合にはＹＥＳとなり、ステップＳ８７に移行する。また、ステップＳ８６において判定対象の顔部位の全てを判定し終えていないと判定された場合、ＮＯとなって、ステップＳ８２に戻ってループし、まだ、判定を行っていない顔部位についての顔部位判定を実行する。
【００７６】
ステップＳ８７では、顔部位検出フラグＧｅｔＦｌａｇをＴＲＵＥに設定してステップＳ８８に移行する。
【００７７】
このステップＳ８８では、各々の顔部位の位置関係の取得処理を行ってステップＳ９に処理を進める。
【００７８】
ステップＳ８９では、選定された顔部位の候補を全て判定したか否かを判断する。そして、ステップＳ８９において、選定された顔部位の候補を全て判定したと判断した場合、ＹＥＳとなり、ステップＳ９に処理を進める。また、ステップＳ８９において選定された顔部位の候補を全て判定していないと判断した場合、ＮＯとなり、ステップＳ８４の顔部位判定処理へ戻ってループし、まだ判定していない顔部位の候補の判定処理を実行する。
［顔部位の候補の位置の特定の処理］
次に、ステップＳ８１における顔部位の候補の位置の特定の処理の流れを、図５のフローチャートと図６〜図１０を用いて更に詳細に説明する。
【００７９】
まず、図５のステップＳ８１１では、ステップＳ６の撮像処理で撮像しマイクロコンピュータ２に入力された画像データ全体を全体画像Ｇとして図示しない画像メモリに保存する。
【００８０】
次に、ステップＳ８１２では、縦方向に１ライン終了後に、一つ隣のラインの処理に移して行き、縦方向の全ラインでのポイント抽出が終了したか否かを判断する。そして、ステップＳ８１２で、全ラインにおいてポイント抽出が行われていると判断された場合は、ステップＳ８１７に移行する。また、ステップＳ８１２で、全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップＳ８１３に移行する。
【００８１】
ステップＳ８１３では、縦方向（Ｙ軸方向）の１ラインについて、各画素の濃度値を隣接する所定個数の画素の濃度の平均値に置き換える濃度値の相加平均演算を行い、ステップＳ８１４に移行する。このステップＳ８１３の処理は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。
【００８２】
このステップＳ８１４では、ステップＳ８１３の演算結果である相加平均値を用いて各画素の濃度値における微分演算を行って、特徴抽出を行い、ステップＳ８１５に移行する。
【００８３】
このステップＳ８１５では、ステップＳ８１４の演算結果である微分値に基づいてポイント抽出を行う。この処理が１ライン終了した後、ステップＳ８１６で、次のラインの処理に切り替えて行く。
（ステップＳ８１３〜ステップＳ８１５の詳細な内容は、特許第００３３１２５６２号（特開平１０−０４０３６１）図６、図７と同じであるので、その詳細な説明は省略する。
【００８４】
また、ステップＳ８１２で、全ラインのポイント抽出が終了したと判断されると、ステップＳ８１７へ移行する。このステップＳ８１７では、隣合う各ラインの抽出ポイントのＹ座標値を比較し、Ｙ座標値が所定値以内の場合、次の（１）〜（５）の連続データをメモリし、ステップＳ８１８に移行する。この連続データは、（１）連続データのグループ番号、（２）連続開始ライン番号、（３）連続データ数、（４）連続データを構成する各抽出ポイントの縦方向位置の平均値（またはその連続データの代表上下位置）、（５）連続開始ラインと終了ラインの横方向位置の平均値（またはその連続データの代表左右位置）等である。ここでの検出対象は顔部位のうち左眼としているため、その特徴量は横に比較的長く続くデータであるといえるので、横方向に所定値以上続くことを条件に連続データを選択することができる。
【００８５】
このようにして選択した顔の特徴量は、図６に示したように連続データＧとして表すことができる。なお、連続データＧの抽出方法をフローチャートの流れのみで簡単に説明したが、処理状態の詳細については、「特開平１０−４０３６１号」「特開平１０−１４３６６９号」などにも記載されている。
【００８６】
また、連続データＧがいわば顔部位の候補となり、この連続データＧの代表座標値Ｃ（例えば中心値）が顔部位の候補点の位置となる。
【００８７】
次にステップＳ８１８において、図６に示すような各連続データＧの代表座標値Ｃを基準に各連続データＧを含む存在領域ＥＡを設定する。この存在領域ＥＡは、次のようにして決定する。
（存在領域ＥＡの大きさの決め方）
存在領域ＥＡの大きさは、図７〜図１０のようにして決めている。図７は存在領域ＥＡの大きさを示し、図８、図９は数人の顔部位の大きさを調べた横、縦の長さの統計データを示している。ここで存在領域ＥＡの大きさはノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。現在の居眠り検出などの処理で使っている大きさは数人の顔部位の大きさを調べ、それに余裕分（例えば×１．５倍）を加味した大きさにしている。数人の顔部位の大きさを統計的に求める方法としては、図８，図９のように、顔部位の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分をみて決定する方法が考えられる。そしてこの９５％をカバーする寸法、すなわち図７のように横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）をみて決定している。尚、画像処理により顔部位の幅や高さを推定し、縦横の大きさに余裕分を加える方法も考えられる。
（存在領域ＥＡの位置の決め方）
図１０は、例えば顔部位のうち左眼の存在領域ＥＡを位置決めする方法について示している。眼の座標値（ｘ１，ｙ１）を基準に、距離ｘ２，ｙ２の位置に存在領域ＥＡを描く基準点Ｐを決め、Ｐ点から予め決めておいた存在領域ＥＡの寸法ｘ３，ｙ３を描画し、位置を決める。ｘ２及びｙ２はｘ３，ｙ３の１／２で予め存在領域ＥＡが眼の中心にくるような長さとしている。
【００８８】
存在領域ＥＡを画像全体で見つかった連続データＧすべてについて設定する。
このようにして、図１１に示すような照明による陰影がある画像や、図１２に示すような顔部位に髪の毛が重なる画像の場合も光の当り方が正常な状態と同様に連続データＧを抽出することができ、各連続データＧの代表座標値Ｃを基準に各連続データＧを含む存在領域ＥＡを設定することができる。
［顔部位判定処理］
図４の顔部位判定処理Ｓ８４を、図１３のフローチャートと図１４〜図１６を用いて説明する。
【００８９】
まず、図１３のステップＳ８４０１では、顔部位候補微小画像抽出手段ＣＬ２２により眼の候補点の存在領域ＥＡの画像データを微小画像ＩＧとして抽出し、この微小画像ＩＧを画像メモリ（図示せず）に保存し、ステップＳ８４０２に移行する。尚、連続データ（全体画像）Ｇと画像メモリに保存される微小画像ＩＧの状態を図１４に示す。
【００９０】
次にステップＳ８４０２では、背景濃度情報除去手段ＣＬ２３により微小画像ＩＧの背景濃度情報除去処理を行い（図１７〜２４参照、後述）、ステップＳ８４０４に移行する。
【００９１】
次にステップＳ８４０４では、範囲ＡＲの背景濃度情報が除去された濃度情報をもとに顔部位候補輪郭抽出手段ＣＬ２４の二値化域値手段ＣＬ２４４により二値化閾値を設定し、ステップＳ８４０５に移行する。ここで、範囲ＡＲは微小画像ＩＧの代表座標値ＩＣを基準としており、微小画像ＩＧの代表座標値ＩＣは連続データ（全体画像）Ｇの代表座標値Ｃに相当している。
【００９２】
この範囲ＡＲは、前記存在領域ＥＡより小さく、二値化閾値を正確に設定できるようにしている。各範囲ＡＲでの二値化閾値の算出方法の一例を、図１５を用いて説明する。
【００９３】
先ず、図１５の範囲ＡＲにおいて縦方向に数ラインの濃度値の読み出しを行う。図１５では、この縦方向へのラインがＬ１〜Ｌ４で示したように４本あることを示している。この各ラインＬ１〜Ｌ４において、濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリする。また、全ラインＬ１〜Ｌ４の濃度値のメモリが終了したら、各ラインＬ１〜Ｌ４の最も高い（明るい）濃度値の中で一番低い濃度値（皮膚の部分）と、各ラインＬ１〜Ｌ４の最も低い（暗い）濃度値の中で一番低い濃度値（眼の部分）とを求める。そして、各ラインＬ１〜Ｌ４の最も高い（明るい）濃度値と最も低い（暗い）濃度値の中央値を二値化閾値とする。
【００９４】
この二値化閾値のための範囲ＡＲは、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定し、また、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにしている。また、二値化閾値は、その領域内の眼の一番低い（暗い）濃度値と皮膚の部分の一番低い（暗い）濃度値との中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。さらに、二値化閾値を決定するのに皮膚の部分の濃度値の一番低い（暗い）濃度値を用いている理由は、次の通りである。前述したように眼の周囲の明るさのバラツキによる影響を少なくするために、濃度値を読み出す範囲ＡＲを極力小さくしていても、範囲ＡＲの一部に直射光が当たっているような部分が外乱として入ることがあり、この部分を二値化閾値の決定に用いないようにするためである。
【００９５】
ステップＳ８４０５では、こうして決定した二値化閾値を用いて図１４の微小画像ＩＧを顔部位候補輪郭抽出手段ＣＬ２４の二値化閾値手段ＣＬ２４４により二値化処理し、この二値化処理した二値画像（図１６に示す画像）をｂＧとして画像メモリ（図示せず）に保存する。
【００９６】
このような二値化閾値を用いて二値化した候補オブジェクトを顔部位候補輪郭抽出手段ＣＬ２４の顔部位オブジェクト抽出手段ＣＬ２４５により検出することにより、眼を正確に捉えて候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上することができる。
【００９７】
次にステップＳ８４０６に移行し、図６の連続データＧの代表座標値Ｃに相当する図１６の二値画像ｂＧの位置ｂＣを初期位置に設定する。
【００９８】
ステップＳ８４０７では、設定位置が黒画素か否かを判定し、設定位置が黒画素と判定されればＹＥＳで処理をステップＳ８４０８に移行する。また、ステップＳ８４０７において、設定位置が黒画素と判定されなければＮＯとして、ステップＳ８４１３に移行する。このステップＳ８４１３では、設定位置を上下左右に１画素ずつずらして、再度しステップＳ８４０７に戻り、設定位置が黒画素か否かのを判定を行い、設定位置が黒画素になるまで処理を行う。
【００９９】
ステップＳ８４０８では、その黒画素を包括する連結成分を候補オブジェクトとして設定し、ステップＳ８４０９に移行する。
【０１００】
このステップＳ８４０９では、候補オブジェクトの輪郭情報を白画素と黒画素の境界を追跡することで抽出し、抽出された輪郭情報から候補オブジェクトの幾何形状パラメータを算出し、ステップＳ８４１０に移行する。
【０１０１】
このステップＳ８４１０では、特定したい眼テンプレートの幾何形状パラメータと候補オブジェクトの幾何形状パラメータを比較し、ステップＳ８４１１に移行する。
【０１０２】
ステップＳ８４１０の候補オブジェクトと眼テンプレートの幾何形状の比較方法の一例を眼の場合について図１６を用いて説明する。
【０１０３】
眼の二値化した二値画像の形状は、光環境が良く安定した画像であれば図１６の（ａ）に示すようなものになる。しかし、車室内に直射日光が一側から当たる等して光環境が悪化した時は、二値画像の形状が図１６の（ｂ）や（ｃ）のような形状になることもある。
【０１０４】
眼のテンプレートは、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることの条件（１）と、黒眼の左側の凹み形状条件の（２）と、黒眼の右側の凹み形状条件の（３）とを組み合わせることにより設定し、図１６の（ｂ），（ｃ）の例を許容するために（１）と（２）、または（１）と（３）の条件を満たすものであっても良いものとする。
【０１０５】
ステップＳ８４１１では、ステップＳ８４１０の比較の結果、候補オブジェクトと眼テンプレートの幾何形状が一致するか否かを判定する。そして、ステップＳ８４１１において、候補オブジェクトと眼テンプレートの幾何形状が一致する場合、ＹＥＳとなり、ステップＳ８４１２に移行する。また、ステップＳ８４１１において、候補オブジェクトと眼テンプレートの幾何形状が一致しない場合、ＮＯとなり、ステップＳ８４１４に移行する。
【０１０６】
このステップＳ８４１２では、その候補オブジェクトを眼と判定し、図４のステップＳ８５に移行する。
【０１０７】
また、ステップＳ８４１４では、眼と判定された候補オブジェクトの連続データＧでの代表座標値Ｃをこの画像フレームでの眼の座標としてメモリし、即ち、眼だと判定された代表候補点の微小画像ＩＧを眼画像ＭＧｉとして画像メモリに保存し、図４のステップＳ８５に移行する。
［背景濃度情報除去処理］
図１３の背景濃度情報除去処理Ｓ８４０２について２通りの方法を説明する。
【０１０８】
本例では顔画像のサイズをＶＧＡサイズとし、そこから抽出される微小画像を８０画素×４０画素としている。ここで例示される数値は構築されるシステムによって個々に設定される設計要件であるため、数値が絶対的な意味を持つものではない。
［第１の方法］
図１３の背景濃度情報除去処理Ｓ８４０の第１の方法を図１７から図２０を使って説明する。
【０１０９】
図１７、図１９が照明による陰影がある場合であり、図１８、図２０は顔部位に髪の毛が重なる場合である。図１７および図１８は処理の過程を示している。
眼の候補点の存在領域ＥＡの画像データを微小画像の原画像とする。
【０１１０】
次に原画像を画素濃度平滑化手段ＣＬ２３３の繰り返し手段ＣＬ２３４により平滑化処理を複数回繰り返し行うことで、背景濃度情報画像を作成する。画像の平滑化には移動平均処理を用いるが、その他ガウシアンフィルタによる平滑化処理でも同様の結果が得られる。
【０１１１】
次に原画像と背景濃度情報画像の差分画像を作成する。作成された差分画像はコントラストが弱いためコントラスト強調手段ＣＬ２４１によりコントラスト強調を行って、コントラスト強調画像を作成する。ここ作成されたコントラスト強調画像が微小画像の背景情報除去画像となる。
【０１１２】
この背景情報除去画像の濃度情報をもとに［顔部位判定処理］に記述したように二値化閾値を決定し、二値化閾値手段ＣＬ２４４により二値化処理を行って二値化画像を得る。
【０１１３】
図１９、図２０に平滑化の処理回数と二値化によって得られる顔部位オブジェクトを示す。
【０１１４】
処理回数が１０回を下回るような場合はノイズが多数発生し顔部位オブジェクトとノイズとの分離が困難である。逆に処理回数が５０回を超えるような場合は背景の濃淡が除去されず影の部分や髪の毛で黒い部分が顔部位オブジェクトと融合してしまう。本例の場合では処理回数は１０回から５０回の範囲が適切であり、３０回程度がもっともきれいに顔部位オブジェクトを分離できている。
［第２の方法］
図１３の背景濃度情報除去処理の第２の方法を図２１から図２４を使って説明する。
【０１１５】
図２１、図２３が照明による陰影がある場合であり、図２２、図２４は顔部位に髪の毛が重なる場合である。
【０１１６】
図２１および図２２は処理の過程を示している。眼の候補点の存在領域ＥＡの画像データを微小画像の原画像とする。
【０１１７】
次に原画像を画像縮小手段ＣＬ２３５により縮小処理し、縮小画像を作成する。縮小率は顔部位の濃度情報がつぶれてしまわない程度で設定し、本例では１／４としている。
【０１１８】
画素濃度平滑化手段ＣＬ２３３の繰り返し手段ＣＬ２３４により縮小画像に平滑化処理を複数回繰り返し行うことで、平滑化画像を作成する。
【０１１９】
画像の平滑化には移動平均処理を用いるが、その他ガウシアンフィルタによる平滑化処理でも同様の結果が得られる。
【０１２０】
また、平滑化画像を画像拡大手段ＣＬ２３６により微小画像と同サイズに拡大することで背景濃度情報画像を作成する。
【０１２１】
次に原画像と背景濃度情報画像の差分画像を作成する。作成された差分画像は平滑化画像を拡大して背景濃度情報画像を作成したときのノイズが残っているので、そのノイズの除去処理を行う。
【０１２２】
ノイズ除去処理を行った差分画像はコントラストが弱いためコントラスト強調手段ＣＬ２４１によりコントラスト強調を行って、コントラスト強調画像を作成する。ここ作成されたコントラスト強調画像が微小画像の背景濃度情報除去画像となる。
【０１２３】
この背景濃度情報除去画像の濃度情報をもとに［顔部位判定処理］に記述したように二値化閾値を決定し、二値化閾値手段ＣＬ２４４により二値化処理を行って二値化画像を得る。
【０１２４】
図２３、図２４に平滑化の処理回数と二値化によって得られる顔部位オブジェクトを示す。
【０１２５】
処理回数が１回ではノイズが多数発生し顔部位オブジェクトとノイズとの分離が困難である。逆に処理回数が１０回を超えるような場合は背景の濃淡が除去されず影の部分や髪の毛で黒い部分が顔部位オブジェクトと融合してしまう。本例の場合では処理回数は２回から１０回の範囲が適切であり、３回程度がもっともきれいに顔部位オブジェクトを分離できている。
［顔部位追跡処理］
図３におけるステップＳ１０の顔部位追跡処理を図２５、図２６のフローチャートを用いて説明する。
【０１２６】
まず、図２５のステップＳ１００１では、顔部位探査領域の設定（図２７参照、後述）の処理が実行され、ステップＳ１００２に移行する。
【０１２７】
このステップＳ１００２では、顔部位の候補の位置の特定の処理（図５参照、前述）が実行され、ステップＳ１００３に移行する。
【０１２８】
ステップＳ１００３では、顔部位判定処理（図１３参照、前述）が行われ、ステップＳ１００４に移行する。
【０１２９】
ステップＳ１００４では、ステップＳ１００３の顔部位判定処理の結果、処理を行った顔部位候補が顔部位か否かを判定する。そして、処理を行った顔部位候補が顔部位であると判定された場合、ＹＥＳとなり、ステップＳ１００５に処理を進める。また、処理を行った顔部位候補が顔部位ではないと判断された場合、ＮＯとなり、ステップＳ１００９に処理を進める。
【０１３０】
ステップＳ１００５では、ステップＳ１００３で顔部位判定処理を行い、顔部位と判定された顔部位候補の代表座標点Ｃの座標を顔部位の座標としてメモリし、ステップＳ１００６に移行する。
【０１３１】
ステップＳ１００６では、微小画像ＩＧを顔部位画像ＭＧｉとして画像メモリ（図示せず）に保存し、ステップＳ１００７に移行する。
【０１３２】
ステップＳ１００７では、不検出カウンタを０に初期化し、ステップＳ１００８に移行する。この不検出カウンタは顔部位が検出できない連続処理数をカウントするものである。
【０１３３】
ステップＳ１００８では、追跡対象の顔部位のすべてを判定し終えたかを判定する。この判定において、追跡対象の顔部位のすべてを判定し終えたと判定された場合、ＹＥＳとなり、ステップＳ９に処理を進める。また、ステップＳ１００８において追跡対象の顔部位のすべてを判定し終えていないと判定された場合、ＮＯとなり、処理をステップＳ１００１に戻し、次の顔部位検出を行う。
【０１３４】
ステップＳ１００９では他に顔部位候補があるかを判定する。この判定において、他に顔部位候補がある場合、ＹＥＳとなり、処理をステップＳ１００３の顔部位判定処理に戻す。また、ステップＳ１００９において他に顔部位候補がない場合、ＮＯとなり、図２６のステップＳ１０１０に処理を進める。
【０１３５】
図２６のステップＳ１０１０では、不検出カウンタをインクリメントして、ステップＳ１０１１に移行する。
【０１３６】
このステップＳ１０１１では、不検出カウンタが顔部位再検出処理移行数を超えたか否かを判断する。この判断において、不検出カウンタが顔部位再検出処理移行数を超えたと判断された場合、Ｙｅｓとなり、ステップＳ１０１２に移行する。また、ステップＳ１０１１において、不検出カウンタが顔部位再検出処理移行数を越えていないと判断された場合、ＮＯとなり、図２５のステップＳ１００８に移行する。
【０１３７】
ステップＳ１０１２では、顔部位検出フラグＧｅｔＦｌａｇをＦＡＬＳＥに設定して、ステップＳ１０１３に移行する。このステップＳ１０１３では、不検出カウンタを０に初期化して、図２５のステップＳ９に処理を進める。
［顔部位探査領域の設定］
図２５におけるステップＳ１００１の顔部位探査領域の設定を図２７のフローチャートを用いて説明する。
【０１３８】
図２７のステップＳ１００１１では、顔部位探査領域の位置設定を行い、ステップＳ１００１２に移行する。
【０１３９】
このステップＳ１００１２では、顔部位探査領域の大きさの設定を行い、ステップＳ１００１３に移行する。
【０１４０】
このステップＳ１００１３では、顔部位探査領域の領域設定を行い、図２５のステップＳ１００２に移行する。
［実状況での説明］
図２８に実際の処理状況を示す。上側が処理画像全体を表し、下側は上側の画像の左眼の周囲を拡大して詳細に表している。（画像処理として拡大しているわけではなく、説明上便宜的に拡大した画像を図示しているにすぎない。）
前フレームでの顔部位位置を中心に顔部位探査領域を設定している。顔部位探査領域があらかじめ設定されるわけであるから、顔部位検出処理の時のように顔画像全体から連続データを抽出するのではなく、顔部位探査領域を囲む領域を連続データ抽出領域として設定し、その領域内だけで連続データを抽出するようにしても処理は可能である。図２９は顔部位探査領域を囲む領域を連続データ抽出エリア領域として設定したときの実際の状況であり、図３０はそのときの連続データの抽出状況である。
【０１４１】
前処理において顔部位が見つからなかった場合（不検出カウンタが０でないとき）は、それだけ顔部位が存在するであろう領域が広がるわけであるから、顔部位探査領域を広くしなければならない。
【０１４２】
図３１に示すように顔部位が追跡できていないと判断した場合、例えば３〜５回連続して顔部位を検出できなかった場合には、図３１のように一気に顔部位検出領域を広くする方法や、図３２に示すように顔部位を検出できなかった連続処理数に応じて顔部位検出領域を徐々に広くする方法がある。
【０１４３】
次に、図３３のように照明による陰影がある場合と図３４のように顔部位に髪の毛が重なる場合についても、同様に顔部位探査領域を囲む連続データ抽出領域の中で連続データの抽出を行う。図３５、図３６はそのときの連続データの抽出状況である。
【０１４４】
このようにして、図３７に示すような照明による陰影がある画像や、図３８に示すような顔部位に髪の毛が重なる画像の場合も光の当り方が正常な状態と同様に連続データＧを抽出することができ、各連続データＧの代表座標値Ｃを基準に各連続データＧを含む存在領域ＥＡを設定することができる。
［顔部位判定処理］
図３のステップＳ８における顔部位検出処理は、図４におけるステップＳ８４の顔部位判定処理（具体的には図１３のステップＳ８４０１〜ステップＳ８４１４の処理）と同等の処理により実現できるため説明を省略する。
【０１４５】
以上説明したように、この発明の実施の形態の顔部位判定方法は、撮像手段［顔画像撮像手段ＣＬ１（ＴＶカメラ１）］の撮像により得られた被検出者の顔画像から検出対象となる顔部位の候補を特定して、この顔部位の候補の位置を基準に前記顔画像よりも小さい微小画像を顔画像から抽出した後、前記微小画像内の背景の濃度情報を除去して、前記微小画像に基づいて検出対象となる顔部位を判定するようになっている。
【０１４６】
この顔部位判定方法によれば、背景濃度が不均一な微小画像になる顔画像においても正常に顔部位の検出をが行うことができる。
【０１４７】
また、この発明の実施の形態の顔部位判定装置は、被検出者の顔を撮像する撮像手段［顔画像撮像手段ＣＬ１（ＴＶカメラ１）］と、前記撮像手段［顔画像撮像手段ＣＬ１（ＴＶカメラ１）］の撮像により得られた被検出者の顔画像から、検出対象となる顔部位の候補を特定する候補特定手段（顔部位候補点抽出手段ＣＬ２１）と、候補特定手段（顔部位候補点抽出手段ＣＬ２１）により特定された顔部位の候補の位置を基準に、前記顔画像よりも小さい微小画像を、顔画像から抽出する微小画像抽出手段（顔部候補微小画像抽出手段ＣＬ２２）と、
微小画像抽出手段（顔部候補微小画像抽出手段ＣＬ２２）により抽出された微小画像について背景の濃度情報を除去する背景濃度情報除去手段ＣＬ２３と、
背景濃度情報除去手段ＣＬ２３により背景濃度情報が除去された微小画像に基づいて検出対象となる顔部位を判定する顔部位判定手段ＣＬ２５とを備えている。
【０１４８】
この構成によれば、背景濃度が不均一な微小画像になる顔画像においても正常に顔部位の検出をが行うことができる。
【０１４９】
また、この発明の実施の形態の顔部位判定装置は、被検出者の顔を撮像する撮像手段［顔画像撮像手段ＣＬ１（ＴＶカメラ１）］と、前記撮像手段［顔画像撮像手段ＣＬ１（ＴＶカメラ１）］の撮像により得られた被検出者の顔画像から、検出対象となる顔部位を検出する顔部位位置検出手段ＣＬ２と、前記顔部位位置検出手段ＣＬ２により検出された顔部位を追跡していく顔部位追跡手段ＣＬ３と、を備えている。
【０１５０】
しかも、前記顔部位追跡手段ＣＬ３は、前記顔部位位置検出手段ＣＬ２によって前フレームの顔画像から検出された顔部位位置または前記顔部位追跡手段ＣＬ３によって前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域画像を現フレームの顔画像から抽出する顔部位探査領域画像抽出手段（顔部位探査領域設定手段ＣＬ３１）を有する。また、前記顔部位追跡手段ＣＬ３は、前記顔部位探査領域画像抽出手段（顔部位探査領域設定手段３１）によって抽出された顔部位探査領域画像から、検出対象となる顔部位の候補を特定する候補特定手段（顔部位候補点抽出手段ＣＬ３２）を有する。更に、前記顔部位追跡手段ＣＬ３は、前記候補特定手段（顔部位候補点抽出手段ＣＬ３２）により特定された顔部位の候補の位置を基準に、前記顔部位探査領域画像よりも小さい微小画像を、前記顔部位探査領域画像から抽出する微小画像抽出手段（顔部位候補微小画像抽出手段ＣＬ３３）を有する。また、前記顔部位追跡手段ＣＬ３は、前記微小画像抽出手段により抽出された微小画像について背景の濃度情報を除去する背景濃度情報除去手段ＣＬ３４と、背景濃度情報除去手段ＣＬ３４により背景濃度情報が除去された微小画像に基づいて検出対象となる顔部位を判定する顔部位判定手段ＣＬ３６とを有する。
【０１５１】
この構成によれば、背景濃度が不均一な微小画像になる顔画像においても正常に顔部位の検出、追跡を行うことができる。
【０１５２】
また、この発明の実施の形態の顔部位判定装置は、前記背景濃度情報除去手段（ＣＬ２３，ＣＬ３４）により背景の濃度情報を除去された微小画像から顔部位候補の輪郭形状を抽出する輪郭抽出手段（ＣＬ２４，ＣＬ３５）をさらに備えている。しかも、前記輪郭抽出手段（ＣＬ２４，ＣＬ３５）は、前記背景濃度情報除去手段（ＣＬ２３，ＣＬ３４）により背景の濃度情報を除去された微小画像のコントラストを強調するコントラスト強調手段（ＣＬ２４１，ＣＬ３５１）と、コントラスト強調された背景の濃度情報を除去済み微小画像の濃度状態から二値化処理を行うための二値化閾値を算出する二値化閾値手段（ＣＬ２４４，ＣＬ３５４）と、前記二値化閾値手段（ＣＬ２４４，ＣＬ３５４）によって算出された二値化閾値によって、コントラスト強調された背景の濃度情報を除去済み微小画像を二値化する二値化手段を有する。また、前記輪郭抽出手段（ＣＬ２４，ＣＬ３５）は、前記二値化手段による二値化によって得られる像を顔部位オブジェクトとして抽出する顔部位オブジェクト抽出手段（ＣＬ２４５，ＣＬ３５５）を有する。そして、前記顔部位オブジェクト抽出手段（ＣＬ２４５，ＣＬ３５５）によって抽出された顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出するようになっている。
【０１５３】
この構成によれば、背景濃度が不均一な微小画像になる顔画像においても正常に顔部位の検出、追跡を行うことができる。
【０１５４】
また、この発明の実施の形態の顔部位判定装置は、前記背景濃度情報除去手段（ＣＬ２３，ＣＬ３４）により背景の濃度情報を除去された微小画像から顔部位候補の輪郭形状を抽出する輪郭抽出手段（ＣＬ２４，ＣＬ３５）をさらに備えている。しかも、前記輪郭抽出手段（ＣＬ２４，ＣＬ３５）は、前記背景濃度情報除去手段により背景の濃度情報を除去された微小画像のコントラストを強調するコントラスト強調手段を有する。また、前記輪郭抽出手段（ＣＬ２４，ＣＬ３５）は、コントラスト強調された背景の濃度情報を除去済み微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が白方向から黒方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第１のエッジラインを抽出する第１エッジライン抽出手段（ＣＬ２４２，ＣＬ３５２）を有する。更に、前記輪郭抽出手段（ＣＬ２４，ＣＬ３５）は、コントラスト強調された背景の濃度情報を除去済み微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が黒方向から白方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第２のエッジラインを抽出する第２エッジライン抽出手段（ＣＬ２４３，ＣＬ３５３）を有する。そして、前記１エッジライン抽出手段（ＣＬ２４２，ＣＬ３５２）によって抽出された第１のエッジラインと前記第２エッジライン抽出手段（ＣＬ２４３，ＣＬ３５３）によって抽出された第２のエッジラインとを対応付け、対応付けられた第１及び第２のエッジラインによって囲まれる領域を顔部位オブジェクトとして抽出し、抽出した顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出するようになっている。
【０１５５】
この構成によれば、背景濃度が不均一な微小画像になる顔画像においても正常に顔部位の検出、追跡を行うことができる。
【０１５６】
また、この発明の実施の形態の顔部位判定装置の前記候補特定手段（顔部位候補点抽出手段ＣＬ２１）は、前記撮像手段［顔画像撮像手段ＣＬ１（ＴＶカメラ１）］と、前記撮像手段［顔画像撮像手段ＣＬ１（ＴＶカメラ１）］により撮像された画像の縦方向の画素列に沿って画素の濃度値を検出し、検出した濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出点とし、縦方向の画素列ごとに定められた抽出点が、画像横方向に隣接する場合に、横方向に延びる抽出点群の連続データＧを形成し、形成された連続データＧの代表座標値Ｃを、検出対象となる顔部位の候補の位置として特定するようになっている。
【０１５７】
この構成によれば、背景濃度が不均一な微小画像になる顔画像においても正常に顔部位の候補の位置を特定することができる。
【０１５８】
また、この発明の実施の形態の顔部位判定装置の背景濃度情報除去手段（ＣＬ２３，ＣＬ３４）は、微小画像抽出手段（ＣＬ２２，ＣＬ３３）によって顔画像から抽出された微小画像の濃度情報から背景濃度情報画像を作成する背景濃度情報画像作成手段（ＣＬ２３１，ＣＬ３４１）と、微小画像抽出手段（ＣＬ２２，ＣＬ３３）によって顔画像から抽出された微小画像と背景濃度情報画像との差分により背景濃度情報が除去された微小画像を生成する背景濃度情報除去微小画像生成手段（ＣＬ２３２，ＣＬ３４２）を有する。
【０１５９】
この構成によれば、背景濃度が不均一な微小画像になる顔画像において背景濃度情報を除去して顔部位オブジェクトを抽出できる。
【０１６０】
また、この発明の実施の形態の顔部位判定装置の背景濃度情報画像作成手段（ＣＬ２３１，ＣＬ３４１）は、微小画像抽出手段によって顔画像から抽出された微小画像の画素濃度をその画素およびその画素の周辺にある画素の濃度情報によって平滑化する画素濃度平滑化手段（ＣＬ２３３，ＣＬ３４３）を有する。しかも、この顔部位判定装置では、画素濃度平滑化手段（ＣＬ２３３，ＣＬ３４３）によって平滑化された画素濃度になった微小画像を、繰り返し画素濃度平滑化手段（ＣＬ２３４，ＣＬ３４４）によってさらに画素濃度を平滑化して、顔部位のオブジェクト情報を消去していくことにより、背景濃度情報画像を生成するようになっている。
【０１６１】
この構成によれば、精度よく背景濃度情報を除去して顔部位オブジェクトを抽出できる。
【０１６２】
また、この発明の実施の形態の顔部位判定装置の背景濃度情報画像作成手段（ＣＬ２３１，ＣＬ３４１）は、微小画像抽出手段によって顔画像から抽出された微小画像を縮小する画像縮小手段（ＣＬ２３５，ＣＬ３４５）と、画像縮小手段（ＣＬ２３５，ＣＬ３４５）によって縮小された縮小微小画像の画素濃度をその画素およびその画素の周辺にある画素の濃度情報によって平滑化する画素濃度平滑化手段（ＣＬ２３３，ＣＬ３４３）と、画素濃度平滑化手段（ＣＬ２３３，ＣＬ３４３）によって平滑化された画素濃度になった縮小微小画像を繰り返し画素濃度平滑化手段（ＣＬ２３３，ＣＬ３４３）によって画素濃度を平滑化することによって顔部位のオブジェクト情報を消去していく顔部位オブジェクト情報消去手段（ＣＬ２３７，ＣＬ３４７）と、顔部位オブジェクト情報消去手段（ＣＬ２３７，ＣＬ３４７）によって顔部位オブジェクト情報を消去された縮小微小画像を元の微小画像の大きさに拡大する画像拡大手段（ＣＬ２３６，ＣＬ３４６）を備えている。
【０１６３】
この構成によれば、精度よく背景濃度情報を除去して顔部位オブジェクトを抽出できる。
【０１６４】
また、この発明の実施の形態の顔部位判定装置の画素濃度平滑化手段（ＣＬ２３３，ＣＬ３４３）は、移動平均フィルタもしくはガウシアンフィルタによる画素濃度の平滑化としている。この構成によれば、精度よく背景濃度情報を除去して顔部位オブジェクトを抽出できる。
【図面の簡単な説明】
【０１６５】
【図１】本発明の発明の実施の形態のブロック図である。
【図１Ａ】図１のブロック図における背景濃度除去手段の詳細なブロック図である。
【図１Ｂ】図１のブロック図における顔部位候補輪郭抽出手段の詳細なブロック図である。
【図２】本発明の実施例の構成要素の配置図例である。
【図３】本発明の実施例における全体の処理フローを示すフローチャートである。
【図４】本発明の実施例における顔部位検出処理の処理フローを示すフローチャートである。
【図５】本発明の実施例における顔部位の候補の位置特定の処理の処理フローを示すフローチャートである。
【図６】本発明の実施例における顔部位の候補の位置特定の説明図である。
【図７】本発明の実施例における顔部位の候補の位置特定の他の説明図である。
【図８】本発明の実施例における顔部位の候補の位置特定の他の説明図である。
【図９】本発明の実施例における顔部位の候補の位置特定の他の説明図である。
【図１０】本発明の実施例における顔部位の候補の位置特定の他の説明図である。
【図１１】本発明の実施例における顔部位の候補の位置特定の他の説明図である。
【図１２】本発明の実施例における顔部位の候補の位置特定の他の説明図である。
【図１３】本発明の実施例における顔部位判定処理の処理フローを示すフローチャートである。
【図１４】本発明の実施例における顔部位判定処理の説明図である。
【図１５】本発明の実施例における顔部位判定処理の他の説明図である。
【図１６】本発明の実施例における顔部位判定処理の他の説明図である。
【図１７】本発明の実施例における背景濃度情報除去処理の第一の方法の説明図である。
【図１８】本発明の実施例における背景濃度情報除去処理の第一の方法の他の説明図である。
【図１９】本発明の実施例における背景濃度情報除去処理の第一の方法の他の説明図である。
【図２０】本発明の実施例における背景濃度情報除去処理の第一の方法の他の説明図である。
【図２１】本発明の実施例における背景濃度情報除去処理の第二の方法の説明図である。
【図２２】本発明の実施例における背景濃度情報除去処理の第二の方法の他の説明図である。
【図２３】本発明の実施例における背景濃度情報除去処理の第二の方法の他の説明図である。
【図２４】本発明の実施例における背景濃度情報除去処理の第二の方法の他の説明図である。
【図２５】本発明の実施例における顔部位追跡処理の処理フローを示すフローチャートである。
【図２６】本発明の実施例における顔部位追跡処理の処理フローを示す他のフローチャートである。
【図２７】本発明の実施例における顔部位探査領域の設定処理の処理フローを示すフローチャートである。
【図２８】本発明の実施例の動作説明図である。
【図２９】本発明の実施例の他の動作説明図である。
【図３０】本発明の実施例の他の動作説明図である。
【図３１】本発明の実施例の他の動作説明図である。
【図３２】本発明の実施例の他の動作説明図である。
【図３３】本発明の実施例の他の動作説明図である。
【図３４】本発明の実施例の他の動作説明図である。
【図３５】本発明の実施例の他の動作説明図である。
【図３６】本発明の実施例の他の動作説明図である。
【図３７】本発明の実施例の他の動作説明図である。
【図３８】本発明の実施例の他の動作説明図である。
【符号の説明】
【０１６６】
１…ＴＶカメラ（撮像手段）
ＣＬ１…顔画像撮像手段（撮像手段）
ＣＬ２…顔部位位置検出手段
ＣＬ２１…顔部位候補点抽出手段（候補特定手段）
ＣＬ２２…顔部候補微小画像抽出手段（微小画像抽出手段）
ＣＬ２３…背景濃度情報除去手段
ＣＬ２３１…背景濃度情報画像作成手段
ＣＬ２３２…背景濃度情報除去微小画像生成手段
ＣＬ２３３…画素濃度平滑化手段
ＣＬ２３４…繰り返し画素濃度平滑化手段
ＣＬ２３５…画像縮小手段
ＣＬ２３６…画像拡大手段
ＣＬ２３７…顔部位オブジェクト情報消去手段
ＣＬ２４…顔部位候補輪郭抽出手段（輪郭抽出手段）
ＣＬ２４１…コントラスト強調手段
ＣＬ２４２…第１エッジライン抽出手段
ＣＬ２４３…第２エッジライン抽出手段
ＣＬ２４４…二値化閾値手段
ＣＬ２４５…顔部位オブジェクト抽出手段
ＣＬ２５…顔部位判定手段
ＣＬ３…顔部位追跡手段
ＣＬ３１…顔部位探査領域設定手段（顔部位探査領域画像抽出手段）
ＣＬ３２…顔部位候補点抽出手段（候補特定手段）
ＣＬ３３…顔部位候補微小画像抽出手段（微小画像抽出手段）
ＣＬ３４…背景濃度情報除去手段
ＣＬ３４１…背景濃度情報画像作成手段
ＣＬ３４２…背景濃度情報除去微小画像生成手段
ＣＬ３４３…画素濃度平滑化手段
ＣＬ３４４…繰り返し画素濃度平滑化手段
ＣＬ３４５…画像縮小手段
ＣＬ３４６…画像拡大手段
ＣＬ３４７…顔部位オブジェクト情報消去手段
ＣＬ３５…顔部位候補輪郭抽出手段（輪郭抽出手段）
ＣＬ３５１…コントラスト強調手段
ＣＬ３５２…第１エッジライン抽出手段
ＣＬ３５３…第２エッジライン抽出手段
ＣＬ３５４…二値化閾値手段
ＣＬ３５５…顔部位オブジェクト抽出手段
ＣＬ３６…顔部位判定手段
ＣＬ２４，ＣＬ３５…顔部位候補輪郭抽出手段（輪郭抽出手段）
【図１】
2007213376.tif 000003
【図１Ａ】
2007213376.tif 000004
【図１Ｂ】
2007213376.tif 000005
【図２】
2007213376.tif 000006
【図３】
2007213376.tif 000007
【図４】
2007213376.tif 000008
【図５】
2007213376.tif 000009
【図７】
2007213376.tif 000010
【図８】
2007213376.tif 000011
【図９】
2007213376.tif 000012
【図１０】
2007213376.tif 000013
【図１３】
2007213376.tif 000014
【図１６】
2007213376.tif 000015
【図２５】
2007213376.tif 000016
【図２６】
2007213376.tif 000017
【図２７】
2007213376.tif 000018
【図６】
2007213376.tif 000019
【図１１】
2007213376.tif 000020
【図１２】
2007213376.tif 000021
【図１４】
2007213376.tif 000022
【図１５】
2007213376.tif 000023
【図１７】
2007213376.tif 000024
【図１８】
2007213376.tif 000025
【図１９】
2007213376.tif 000026
【図２０】
2007213376.tif 000027
【図２１】
2007213376.tif 000028
【図２２】
2007213376.tif 000029
【図２３】
2007213376.tif 000030
【図２４】
2007213376.tif 000031
【図２８】
2007213376.tif 000032
【図２９】
2007213376.tif 000033
【図３０】
2007213376.tif 000034
【図３１】
2007213376.tif 000035
【図３２】
2007213376.tif 000036
【図３３】
2007213376.tif 000037
【図３４】
2007213376.tif 000038
【図３５】
2007213376.tif 000039
【図３６】
2007213376.tif 000040
【図３７】
2007213376.tif 000041
【図３８】
2007213376.tif 000042