(57)【要約】【課題】顔部位の検出精度の向上を図ることが可能な顔部位判定装置及び方法を提供する。【解決手段】顔部位判定装置１は、撮像して得られた被検出者の顔画像から、検出対象となる顔部位の候補を特定し、特定した顔部位の候補の位置を基準に、顔画像よりも小さい微小画像を抽出する。その後、顔部位判定装置１は、抽出した微小画像について濃度状態を均質にする。ここで、顔部位判定装置１は、顔画像全体について濃度状態を均質にするのでなく、微小画像について均質化を行う。その後、顔部位判定装置１は、均質にした微小画像に基づいて検出対象となる顔部位を判定する。【選択図】      図１
2007026103.tif 000002
【特許請求の範囲】
【請求項１】
被検出者の顔を撮像する撮像手段と、
前記撮像手段の撮像により得られた被検出者の顔画像から、検出対象となる顔部位の候補を特定する候補特定手段と、
前記候補特定手段により特定された顔部位の候補の位置を基準に、前記顔画像よりも小さい微小画像を、前記顔画像から抽出する微小画像抽出手段と、
前記微小画像抽出手段により抽出された微小画像について濃度状態を均質にする濃度状態均質手段と、
前記濃度状態均質手段により均質にされた微小画像に基づいて検出対象となる顔部位を判定する顔部位判定手段と、
を備えることを特徴とする顔部位判定装置。
【請求項２】
被検出者の顔を撮像する撮像手段と、
前記撮像手段の撮像により得られた被検出者の顔画像から、検出対象となる顔部位を検出する顔部位検出手段と、
前記顔部位検出手段により検出された顔部位を追跡していく顔部位追跡手段と、を備え、
前記顔部位追跡手段は、
前記顔部位検出手段によって前フレームの顔画像から検出された顔部位位置または前記顔部位追跡手段によって前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域画像を現フレームの顔画像から抽出する顔部位探査領域画像抽出手段と、
前記顔部位探査領域抽出手段によって抽出された顔部位探査領域画像から、検出対象となる顔部位の候補を特定する候補特定手段と、
前記候補特定手段により特定された顔部位の候補の位置を基準に、前記顔部位探査領域画像よりも小さい微小画像を、前記顔部位探査領域画像から抽出する微小画像抽出手段と、
前記微小画像抽出手段により抽出された微小画像について濃度状態を均質にする濃度状態均質手段と、
前記濃度状態均質手段により均質にされた微小画像に基づいて検出対象となる顔部位を判定する顔部位判定手段と、を有する
ことを特徴とする顔部位判定装置。
【請求項３】
前記濃度状態均質手段により均質にされた微小画像から顔部位候補の輪郭形状を抽出する輪郭抽出手段をさらに備え、
前記輪郭抽出手段は、
前記濃度状態均質手段により均質にされた微小画像の濃度状態から二値化処理を行うための二値化閾値を算出する二値化閾値手段と、
前記二値化閾値手段によって算出された二値化閾値によって、前記濃度状態均質手段により均質にされた微小画像を二値化する二値化手段と、
前記二値化手段による二値化によって得られる像を顔部位オブジェクトとして抽出する顔部位オブジェクト抽出手段と、を有し、
前記顔部位オブジェクト抽出手段によって抽出された顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出する
ことを特徴とする請求項１又は請求項２のいずれかに記載の顔部位判定装置。
【請求項４】
前記濃度状態均質手段により均質にされた微小画像から顔部位候補の輪郭形状を抽出する輪郭抽出手段をさらに備え、
前記輪郭抽出手段は、
前記濃度状態均質手段により均質にされた微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が白方向から黒方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第１のエッジラインを抽出する第１エッジライン抽出手段と、
前記濃度状態均質手段により均質にされた微小画像の縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が黒方向から白方向へ変化する点をエッジ点として抽出し、抽出されたエッジ点を線状にグルーピングすることによって第２のエッジラインを抽出する第２エッジライン抽出手段と、を有し、
前記１エッジライン抽出手段によって抽出された第１のエッジラインと前記第２エッジライン抽出手段によって抽出された第２のエッジラインとを対応付け、対応付けられた第１及び第２のエッジラインによって囲まれる領域を顔部位オブジェクトとして抽出し、抽出した顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出する
ことを特徴とする請求項１又は請求項２のいずれかに記載の顔部位判定装置。
【請求項５】
前記候補特定手段は、
前記撮像手段により撮像された画像の縦方向の画素列に沿って画素の濃度値を検出し、
検出した濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出点とし、
縦方向の画素列ごとに定められた抽出点が、画像横方向に隣接する場合に、横方向に延びる抽出点群の連続データを形成し、
形成された連続データの代表座標値を、検出対象となる顔部位の候補の位置として特定する
ことを特徴とする請求項１又は請求項２のいずれかに記載の顔部位判定装置。
【請求項６】
前記濃度状態均質手段は、
前記微小画像抽出手段によって抽出された微小画像の濃度値についてヒストグラムを算出するヒストグラム算出手段と、
前記ヒストグラム算出手段により算出されたヒストグラムから、統計的に棄却されるべき異常値を除いたうえで、濃度の最大値及び最小値を算出する最大値最小値算出手段と、
前記最大値最小値算出手段により算出された濃度の最大値及び最小値に基づいて、コントラストを強調するためのルックアップデータを作成し、このルックアップデータに従って、画素の濃度を変換する濃度変換手段と、
を有することを特徴とする請求項１又は請求項２のいずれかに記載の顔部位判定装置。
【請求項７】
被検出者の顔を撮像する撮像ステップと、
前記撮像ステップにおける撮像によって得られた被検出者の顔画像から、検出対象となる顔部位の候補を特定する候補特定ステップと、
前記候補特定ステップにおいて特定された顔部位の候補の位置を基準に、前記顔画像よりも小さい微小画像を、前記顔画像から抽出する微小画像抽出ステップと、
前記微小画像抽出ステップにより抽出された微小画像について濃度状態を均質にする濃度状態均質ステップと、
前記濃度状態均質ステップにおいて均質にされた微小画像に基づいて検出対象となる顔部位を判定する顔部位判定ステップと、
を有することを特徴とする顔部位判定方法。
【請求項８】
被検出者の顔を撮像する撮像ステップと、
前記撮像ステップにおける撮像によって得られた被検出者の顔画像から、検出対象となる顔部位を検出する顔部位検出ステップと、
前記顔部位検出ステップにおいて検出された顔部位を追跡していく顔部位追跡ステップと、を有し、
前記顔部位追跡ステップは、
前記顔部位検出ステップにおいて前フレームの顔画像から検出された顔部位位置または前回の前記顔部位追跡ステップによって前フレームの顔画像上で追跡された顔部位の位置を含み顔画像よりも小さくされた顔部位探査領域画像を現フレームの顔画像から抽出する顔部位探査領域抽出ステップと、
前記顔部位探査領域抽出ステップにおいて抽出された顔部位探査領域画像から、検出対象となる顔部位の候補を特定する候補特定ステップと、
前記候補特定ステップにおいて特定された顔部位の候補の位置を基準に、前記顔部位探査領域画像よりも小さい微小画像を、前記顔部位探査領域画像から抽出する微小画像抽出ステップと、
前記微小画像抽出ステップにおいて抽出された微小画像について濃度状態を均質にする濃度状態均質ステップと、
前記濃度状態均質ステップにより均質にされた微小画像に基づいて検出対象となる顔部位を判定する顔部位判定ステップと、を有する
ことを特徴とする顔部位判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔部位判定装置及び方法に関する。
【背景技術】
【０００２】
従来、特定の顔部位を追跡する顔部位追跡装置が知られている。この装置は、まず、顔画像の濃度情報から横方向に伸びる連続データを検出し、その連続データの代表座標点を顔部位候補の位置とする。次いで、追跡装置は、その顔部位候補の位置を中心として微小画像を設定し、その微小画像を画像処理することによって顔部位候補オブジェクトを抽出する。その後、この装置は、顔部位候補オブジェクトの輪郭形状の幾何パラメータと特定の顔部位についての顔部位テンプレートが持つ幾何テンプレートのマッチングによって顔部位候補が特定の顔部位か否かを判定する（例えば特許文献１参照）。
【特許文献１】特開２００３−１２３０７５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
このように、従来装置は、特定の顔部位を正確に検出（追跡）することができるものであるが、顔部位の検出精度は高いほど望ましく、従来装置の顔部位検出精度をさらに向上させることが考えられている。
【０００４】
本発明はこのような従来の課題を解決するためになされたものであり、その目的とするところは、顔部位の検出精度の向上を図ることが可能な顔部位判定装置及び方法を提供することにある。
【課題を解決するための手段】
【０００５】
本発明に係る顔部位判定装置は、被検出者の顔を撮像する撮像手段と、撮像手段の撮像により得られた被検出者の顔画像から、検出対象となる顔部位の候補を特定する候補特定手段と、候補特定手段により特定された顔部位の候補の位置を基準に、顔画像よりも小さい微小画像を、顔画像から抽出する微小画像抽出手段とを備えている。さらに、顔部位判定装置は、微小画像抽出手段により抽出された微小画像について濃度状態を均質にする濃度状態均質手段と、濃度状態均質手段により均質にされた微小画像に基づいて検出対象となる顔部位を判定する顔部位判定手段とを備えている。
【発明の効果】
【０００６】
本発明によれば、顔画像全体でなく微小画像について濃度状態を均質にするので、顔の片側に光が当たることにより顔の一部が明るく残り部分が暗くなり顔画像内で濃度差が大きくなったような場合であっても、抽出した微小画像内の濃度差が大きくなければ、その濃度状態に応じて微小画像が適切に均質にされることとなる。これにより、たとえ顔の片側に光が当たるような場合であっても誤検出を軽減することができる。従って、顔部位の検出精度の向上を図ることができる。
【発明を実施するための最良の形態】
【０００７】
以下、本発明の好適な実施形態を図面に基づいて説明する。なお、各図において、同一又は同様の要素には同一の符号を付して説明を省略する。
【０００８】
図１は、本発明の実施形態に係る顔部位判定装置の構成を示す機能ブロック図である。同図に示すように、顔部位判定装置１は、撮像部（撮像手段）１０と、顔部位検出部（顔部位検出手段）２０と、顔部位追跡部（顔部位追跡手段）３０とを備えている。
【０００９】
撮像部１０は、被検出者の顔を撮像するものである。また、撮像部１０は、撮像により得られた顔の画像のデータを、顔部位検出部２０及び顔部位追跡部３０に送信する構成とされている。顔部位検出部２０は、撮像部１０の撮像により得られた被検出者の顔画像から、検出対象となる顔部位（眼、耳、鼻など）を検出するものである。また、顔部位検出部２０は、顔部位追跡部３０に接続されており、検出した顔部位の位置情報を顔部位追跡部３０に送信する構成とされている。顔部位追跡部３０は、撮像部１０及び顔部位検出部２０からの情報に基づいて、目的となる顔部位を追跡していくものである。
【００１０】
ここで、上記顔部位検出部２０は、顔部位候補点特定部（候補特定手段）２１、微小画像抽出部（微小画像抽出手段）２２、濃度状態均質部（濃度状態均質手段）２３、輪郭抽出部（輪郭抽出手段）２４、及び顔部位判定部（顔部位判定手段）２５を備えている。
【００１１】
顔部位候補点特定部２１は、撮像部１０の撮像によって得られた被検出者の顔画像から、検出対象となる顔部位の候補の位置を特定するものである。すなわち、顔部位候補点特定部２１は、検出対象が眼である場合、眼の特徴である横長形状を条件とし、顔画像全体から条件に合致するものを眼の候補として特定すると共に、その候補の位置を特定することとなる。このため、顔部位の候補は、１つに限らず、条件に合致する限りは合致した個数分だけ特定されることとなる。従って、多くの場合、顔部位候補は複数個特定される。以下、顔部位の候補が複数個特定された場合を例に説明することとする。
【００１２】
微小画像抽出部２２は、顔部位候補点特定部２１により特定された顔部位の候補の位置を基準に、顔画像よりも小さい微小画像を、顔画像から抽出するものである。すなわち、微小画像抽出部２２は、複数の候補位置それぞれに対し、候補位置を含んだ小さめの領域を設定し、その領域内の画像を顔画像から抽出することで、微小画像を抽出するとなる。従って、微小画像は、顔部位の候補の数と同じ数だけ、抽出されることとなる。
【００１３】
濃度状態均質部２３は、微小画像抽出部２２により抽出された微小画像について濃度状態を均質にするものである。ここで、濃度状態均質部２３が行う均質化について説明する。まず、均質とは、画像の全体的な濃度値を、予め定めた濃度に変換するこという。このため、複数の画像間で濃度状態が異なっていたとしても、これら画像はすべて同程度の濃度状態にされる。
【００１４】
図２は、被検出者の顔画像の例及び濃度状態のヒストグラムを示す説明図であり、（ａ）は光環境が良好な場合を示し、（ｂ）は光環境が悪く、暗すぎる場合を示している。なお、濃度状態のヒストグラムは、画像中の各画素の濃度値を検出し、検出された濃度値の数をカウントすることにより求めることができる。例えば、縦４画素×横４画素の画像の場合、１６個の画素の濃度値をすべて検出し、５個の画素が濃度値αで、８個の画素が濃度値βで、３個の画素が濃度値γであったとすると、これらの情報を例えば横軸を濃度値とし縦軸を画素数とした座標系に当てはめることでヒストグラムを作成することができる。
【００１５】
図２（ａ）に示すように、光環境が良好である場合、被検出者の顔は、暗すぎることも明るすぎることもない状態で撮像される。このため、ヒストグラムに示すように、画素数のピークは「１２８」となっている。このような画像であれば、例えば検出対象の顔部位が眼である場合、眼がはっきりと映っているため、予め記憶した眼のテンプレートとテンプレートマッチングすることにより、眼を正確に判定することができる。
【００１６】
ところが、光環境が悪化して周囲が暗くなった場合、図２（ｂ）に示すように、被検出者の顔は、暗すぎる状態で撮像される。このため、画素数のピークは、光環境が良好であるときに比べ、濃度値「０」側に偏っている。このような画像の場合、テンプレートマッチングしたとしても、眼がはっきりと映っておらず、眼の輪郭がはっきりしないことから、正確な眼の検出が困難となってくる。
【００１７】
図３は、均質にされた顔画像の例及び濃度状態のヒストグラムを示す説明図であり、（ａ）は光環境良好時に得られた画像を均質にした場合を示し、（ｂ）は光環境が悪く暗すぎるときに得られた画像を均質にした場合を示している。
【００１８】
図３（ｂ）に示すように、画像を均質にすることにより、光環境が悪く暗すぎるときの顔画像が、光環境が良好なときの顔画像と同様の明るさで表現されている。ヒストグラムについても、画素数のピークは、濃度値「０」側に偏らず、図３（ａ）と同様に濃度値「１２８」付近となっている。これにより、たとえ光環境が悪いときに撮像されて得られた画像であっても、顔部位を正確に検出できることとなる。
【００１９】
再度、図１を参照する。濃度状態均質部２３は、上記したような均質処理を行うようになっている。なお、図２及び図３では、説明の便宜上、顔画像全体を均質にする例を示しているが、本実施形態の濃度状態均質部２３は、顔画像全体でなく、微小画像抽出部２２により抽出された微小画像について濃度状態を均質にする。
【００２０】
さらに、濃度状態均質部２３を詳細に説明する。この濃度状態均質部２３は、ヒストグラム算出機能（ヒストグラム算出手段）と、最大値最小値算出機能（最大値最小値算出手段）と、濃度変換機能（濃度変換手段）とからなっている。
【００２１】
ヒストグラム算出機能は、微小画像抽出部２２によって抽出された微小画像の濃度値についてヒストグラムを算出する機能である。このヒストグラム算出機能は、上記したようにして、ヒストグラムを算出する。すなわち、ヒストグラム算出機能は、画像中の各画素の濃度値を検出し、検出された濃度値の数をカウントすることによりヒストグラムを算出する。
【００２２】
最大値最小値算出機能は、ヒストグラム算出機能により算出されたヒストグラムから、統計的に棄却されるべき異常値を除いたうえで、濃度の最大値及び最小値を算出する機能である。ここで、統計的に棄却されるべき異常値とは、例えば、平均値及び標準偏差から定まる範囲外の値である。図４を参照して具体的に説明する。
【００２３】
図４は、最大値最小値算出機能の説明図である。最大値最小値算出機能は、ヒストグラムのデータに基づいて、図４に示すように、統計的に棄却されるべき異常値を除く。例えば、最大値最小値算出機能は、μ±２σ（μは濃度値の平均を示し、σは標準偏差を示している）の範囲外の濃度値を異常値として除く。このとき、異常値を除いた正常値には、もとのデータの９５％が含まれることとなる。
【００２４】
そして、最大値最小値算出機能は、異常値を除いたうえで、最大値及び最小値を算出する。すなわち、最大値最小値算出機能は、図４に示す「ｍｉｎ」及び「ｍａｘ」に該当する個所の濃度値を算出する。
【００２５】
濃度変換機能は、最大値最小値算出機能により算出された濃度の最大値及び最小値に基づいて、コントラストを強調するためのルックアップデータを作成し、このルックアップデータに従って、画素の濃度を変換する機能である。図５は、濃度変換機能の説明図である。濃度変換機能は、最大値及び最小値に基づいて、コントラストを強調するように濃度変換を行う。すなわち、図５に示すように、濃度変換機能は、最大値を濃度値「２５５」とし、最小値を濃度値「０」となるように拡大処理を行う。これにより、コントラストが強調されることとなる。
【００２６】
なお、ルックアップデータとは図６に示すようなものをいう。図６は、ルックアップデータの一例を示す説明図である。同図に示すように、ルックアップデータは、最大値最小値算出機能により算出された最大値が変換後に濃度値「２５５」とされ、最小値が変換後に濃度値「０」とされるような計算式となっている。
【００２７】
具体的に、ルックアップデータは、
【数１】
2007026103.tif 000003
【００２８】
となっている。ここで、ルックアップデータは、コントラストを一部の濃度値についてのみ強調することなく、均等に強調するように、比例式となっている。なお、上記式において、ｍａｘは最大値最小値算出機能により算出された濃度の最大値であり、ｍｉｎは最大値最小値算出機能により算出された濃度の最小値である。また、ｚは変換前の濃度値を示し、ｚ’は変換後の濃度値を示している。
【００２９】
以上のようにして、濃度状態均質部２３は、光環境に関わらず、微小画像を均質なものとする。その後、濃度状態均質部２３は、均質にされた微小画像の情報を輪郭抽出部２４に送信する。
【００３０】
輪郭抽出部２４は、濃度状態均質部２３により均質にされた微小画像から顔部位候補の輪郭形状を抽出するものである。この輪郭抽出部２４は、濃度状態均質部２３により均質にされた微小画像から輪郭を抽出するため、微小画像の数と同じ数の輪郭を抽出することとなる。
【００３１】
ここで、輪郭抽出部２４は、二値化閾値機能（二値化閾値手段）と、二値化機能（二値化手段）と、オブジェクト抽出機能（オブジェクト抽出手段）とを有している。二値化閾値機能は、濃度状態均質部２３により均質にされた微小画像の濃度状態から微小画像の二値化処理を行うための二値化閾値を算出する機能である。二値化機能は、二値化閾値機能によって算出された二値化閾値によって、濃度状態均質部２３により均質にされた微小画像を二値化する機能である。オブジェクト抽出機能は、二値化機能による二値化によって得られる像を顔部位オブジェクトとして抽出する機能である。
【００３２】
輪郭抽出部２４は、上記３機能により、微小画像から顔部位を像として浮かび上がらせ、その像を顔部位オブジェクトとして抽出することとなる。そして、輪郭抽出部２４は、顔部位オブジェクト抽出機能によって抽出された顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出する。
【００３３】
顔部位判定部２５は、濃度状態均質部２３により均質にされた微小画像に基づいて検出対象となる顔部位を判定するものである。より詳しく説明すると、顔部位判定部２５は、濃度状態均質部２３により均質にされた微小画像に基づいて得られた顔部位候補の輪郭形状と、予め記憶する顔部位のテンプレートとを比較することにより、検出対象となる顔部位を判定するものである。上記した如く、微小画像の均質化により微小画像から顔部位候補の輪郭形状がはっきりと抽出される。このため、本装置１は、光環境の悪化によっても影響を受けず、顔部位検出ができることとなる。
【００３４】
また、上記した顔部位追跡部３０は、顔部位探査領域抽出部（顔部位探査領域抽出手段）３１、第２顔部位候補点特定部（候補特定手段）３２、及び第２微小画像抽出部（微小画像抽出手段）３３を備えている。さらに、顔部位追跡部３０は、第２濃度状態均質部（濃度状態均質手段）３４、第２輪郭抽出部（輪郭抽出手段）３５、及び第２顔部位判定部（顔部位判定手段）３６を備えている。
【００３５】
顔部位探査領域抽出部３１は、顔部位検出部２０によって前フレームの顔画像から検出された顔部位位置または顔部位追跡部３０によって前フレームの顔画像上で追跡された顔部位位置のいずれかを含み顔画像全体よりも小さくされた顔部位探査領域画像を現フレームの顔画像上から抽出するものである。つまり、顔部位探査領域抽出部３１は、前回検出・追跡された顔部位位置を含んだ顔画像全体よりも小さい顔部位探査領域画像を現フレームの顔画像上から抽出するものである。なお、顔部位探査領域画像が抽出された後は、この画像内から顔部位検出が行われることとなる。
【００３６】
第２顔部位候補点特定部３２は、顔部位探査領域抽出部３１によって抽出された顔部位探査領域画像から、検出対象となる顔部位の候補を特定するものである。すなわち、第２顔部位候補点特定部３２は、顔部位検出部２０の顔部位候補点特定部２１と同様の構成であり、両者は、顔部位候補点特定部２１が顔画像全体から顔部位候補を特定していたのに対し、第２顔部位候補点特定部３２が顔部位探査領域画像から顔部位候補を特定する点でのみ異なっている。
【００３７】
第２微小画像抽出部３３は、第２顔部位候補点特定部３２により特定された顔部位の候補の位置を基準に、顔部位探査領域画像よりも小さい微小画像を抽出するものである。すなわち、第２微小画像抽出部３３は、顔部位検出部２０の微小画像抽出部２２と同様の構成であり、両者は、微小画像抽出部２２が顔画像全体よりも小さい微小画像を抽出していたのに対し、第２顔部位候補点特定部３２が顔部位探査領域画像よりも小さい微小画像を抽出する点でのみ異なっている。
【００３８】
第２濃度状態均質部３４は、第２微小画像抽出部３３により抽出された微小画像について濃度状態を均質にするものである。また、第２輪郭抽出部３５は、第２濃度状態均質部３４により均質にされた微小画像から顔部位候補の輪郭形状を抽出するものである。また、第２顔部位判定部３６は、第２濃度状態均質部３４により均質にされた微小画像に基づいて検出対象となる顔部位を判定するものである。より詳しく説明すると、第２顔部位判定部３６は、第２濃度状態均質部３４により均質にされた微小画像に基づいて得られた顔部位候補の輪郭形状と、予め記憶する顔部位のテンプレートとを比較することにより、検出対象となる顔部位を判定するものである。これら各部３４〜３６は、それぞれ顔部位検出部２０の濃度状態均質部２３、輪郭抽出部２４及び顔部位判定部２５と同じ構成のものである。
【００３９】
図７は、本発明の実施形態に係る顔部位判定装置のハード構成図である。同図に示すように、撮像部１０としてＴＶカメラ２が自動車のインストルメント上に設けられている。ＴＶカメラ２は、被検出者を略正面から撮像できる位置に設置されており、少なくとも被検出者の顔部分を撮影するようにされている。このＴＶカメラ２の入力画像は、本実施形態では、例えば横方向（Ｘ）６４０画素、縦方向（Ｙ）４８０画素からなる。ＴＶカメラ２で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ３に画像データとして入力される。
【００４０】
マイクロコンピュータ３には、顔部位検出部２０、及び顔部位追跡部３０を構成するプログラムロジックがプログラミングされている。なお、顔部位検出部２０のプログラムロジックは、顔部位候補点特定部２１、微小画像抽出部２２、濃度状態均質部２３、輪郭抽出部２４、及び顔部位判定部２５のそれぞれのロジックを含むものである。また、顔部位追跡部３０のプログラムロジックは、顔部位探査領域抽出部３１、第２顔部位候補点特定部３２、第２微小画像抽出部３３と、第２濃度状態均質部３４、第２輪郭抽出部３５、及び第２顔部位判定部３６のそれぞれのロジックを含むものである。
【００４１】
次に、顔部位判定装置１による顔部位判定方法の概略について説明する。まず、顔部位判定装置１では、撮像部１０が被検出者の顔を撮像し、得られた画像データを顔部位検出部２０に送信する。これを受けた顔部位検出部２０の顔部位候補点特定部２１は、画像全体から顔部位の候補を特定する。このとき、顔部位候補点特定部２１は、検出対象の顔部位が眼であれば、眼の特徴である横長形状を条件とし、顔画像全体から条件に合致するものを眼の候補として特定する。また、検出対象の顔部位が鼻であれば、鼻孔の特徴である２つの隣接する円形状を条件とし、顔画像全体から条件に合致するものを鼻の候補として特定する。そして、顔部位候補点特定部２１は、特定した顔部位候補の位置情報を微小画像抽出部２２に送信する。そして、微小画像抽出部２２は、顔部位候補点特定部２１により特定された顔部位候補の位置を基準とした微小画像を抽出する。
【００４２】
次に、濃度状態均質部２３は、抽出された微小画像の濃度状態を均質にする。このとき、濃度状態均質部２３は、図２〜図６を参照して説明したようにして、微小画像の濃度状態を均質する。図８は、被検出者の顔の一側のみが明るいときの顔画像の例を示す説明図であり、図９は、図８に示した顔画像全体について均質化を行ったときの画像を示す説明図である。
【００４３】
被検出者の顔の一側のみが明るい場合、図８に示すように、例えば右眼付近が明るく、左眼付近は暗くなる。このような画像では、顔部位が眼である場合、左眼の検出精度が低下してしまう。そこで、均質化を行うこととなるが、顔画像全体について、例えば暗い側を基準に均質化を行うと、図９に示すように右眼付近は明るくなりすぎてしまい、眼の形状がはっきりしなくなってしまう。すなわち、顔画像全体に対して均質化を行ったとしても、顔部位の検出精度が向上しない場合がある。ところが、本実施形態では、微小画像について均質化を行うので、図８に示すような画像が得られた場合、右眼付近について暗くなるように均質化を行い、左眼付近について明るくなるように均質化を行うことができる。
【００４４】
そして、輪郭抽出部２４は、濃度状態が適切とされた微小画像から顔部位の輪郭を抽出するため、適切に輪郭を抽出することとなり、顔部位判定部２５は、適切に抽出された輪郭をもとに顔部位判定を行うこととなる。これにより、顔部位判定装置１は、顔部位の検出精度の向上させることができる。
【００４５】
なお、本装置１は、自動車、鉄道車両、船舶の被検出者やプラントのオペレータ等の顔部位判定に用いることができるが、以下の説明においては、自動車の被検出者の顔部位判定に適用した場合で説明する。また、以下の説明では、顔部位が左眼及び右眼である例を説明するが、これに限らず、基準顔部位及び他顔部位は眉、鼻、口、耳などであっても構わない。また、顔部位は１つでも複数でも構わない。
【００４６】
次に、本実施形態に係る顔部位判定装置１の顔部位検出方法の詳細について説明する。図１０は、本実施形態に係る顔部位判定方法の概略を示すメインフローチャートである。同図に示すように、まず、処理が開始されると、マイクロコンピュータ３は、初期値入力処理を実行する（ＳＴ１０）。この初期値入力の処理では、サンプリング時間などの各種定数が読み込まれる。
【００４７】
そして、マイクロコンピュータ３は、検出対象の顔部位が見つかっているか否かを示す顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ１１）。その後、マイクロコンピュータ３は、処理フレームカウンタ「ｉ」を「０」に初期化する（ＳＴ１２）。
【００４８】
初期化後、マイクロコンピュータ３は、終了判断処理を実行する（ＳＴ１３）。この際、マイクロコンピュータ３は、例えばエンジンが起動しているか等に基づいて判断を行う。
【００４９】
そして、マイクロコンピュータ３は、「ＳＴＯＰ」か否かを判断する（ＳＴ１４）。例えばエンジンが起動されていないと判断した場合、マイクロコンピュータ３は、「ＳＴＯＰ」であると判断し（ＳＴ１４：ＹＥＳ）、処理は終了することとなる。
【００５０】
一方、エンジンが起動され走行しているなどにより、「ＳＴＯＰ」でないと判断した場合（ＳＴ１４：ＮＯ）、マイクロコンピュータ３は、顔画像の撮像処理を実行する（ＳＴ１５）。これにより、ＴＶカメラ２は、運転者の顔を撮像する。
【００５１】
その後、マイクロコンピュータ３は、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」か否かを判断する（ＳＴ１６）。すなわち、検出対象となる顔部位が見つかっているか否かを判断する。
【００５２】
顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」であり、検出対象となる顔部位が見つかっていないと判断した場合（ＳＴ１６：ＹＥＳ）、マイクロコンピュータ３は、顔部位検出処理を実行する（ＳＴ１７）。このステップＳＴ１７の処理は、図１にて説明した顔部位検出部２０にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位検出部２０に相当するプログラムを実行することとなる。なお、この処理において、検出対象となる顔部位が見つけられた場合には、後述するが、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされることとなる。
【００５３】
顔部位検出処理の実行後、マイクロコンピュータ３は、処理フレームカウンタ「ｉ」をインクリメントする（ＳＴ１８）。そして、処理は、ステップＳＴ１３に戻る。
【００５４】
その後、上記したステップＳＴ１３〜１５を経て、ステップＳＴ１５に至る。このとき、前述の顔部位検出処理（ＳＴ１７）において、検出対象となる顔部位が見つけられていた場合には、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」となっている。このため、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＦＡＬＳＥ」でないと判断されて（ＳＴ１６：ＮＯ）、マイクロコンピュータ３は顔部位追跡処理を実行する（ＳＴ１９）。このステップＳＴ１９の処理は、図１にて説明した顔部位追跡部３０にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位追跡部３０に相当するプログラムを実行する。そして、顔部位の追跡が行われる。
【００５５】
その後、処理はステップＳＴ１８に移行し、処理フレームカウンタをインクリメント後、再度処理はステップＳＴ１３に戻る。以上の処理が、ステップＳＴ１４にて「ＹＥＳ」と判断されるまで繰り返されることとなる。
【００５６】
なお、先述したように、顔部位検出部２０は、撮像画像全体に対して処理を行い、検出対象となる顔部位を検出する。一方、顔部位追跡部３０は、顔画像から顔部位探査領域画像を抽出し、この画像内から検出対象となる顔部位を検出する。このため、本装置１は、少なくとも一度は画像全体に対して処理を行うものの、その後は画像の一部に対して処理を行うこととなり、常に画像全体に処理を行う装置に比して、迅速な処理を行うことができる。
【００５７】
次に、顔部位検出処理（ＳＴ１７）の詳細な動作について説明する。図１１は、図１０に示した顔部位検出処理（ＳＴ１７）の詳細な動作を示すフローチャートである。
【００５８】
同図に示すように、ステップＳＴ１６にて「ＹＥＳ」と判断された場合、マイクロコンピュータ３は、顔部位候補の位置の特定処理を実行する（ＳＴ２０）。この処理により、画像全体から検出対象である眼の可能性を有する候補の位置が複数特定される。このとき、マイクロコンピュータ３は、顔部位候補点特定部２１に相当するプログラムを実行する。
【００５９】
そして、マイクロコンピュータ３は、複数の顔部位候補から、顔部位か否か判定する顔部位候補を選定する（ＳＴ２１）。次いで、マイクロコンピュータ３は、右眼及び左眼のうち、判定する顔部位をどちらにするかの設定処理を実行する（ＳＴ２２）。
【００６０】
その後、マイクロコンピュータ３は、顔部位判定処理を実行する（ＳＴ２３）。顔部位判定処理（ＳＴ２３）では、ステップＳＴ２２において選定された顔部位候補がステップＳＴ２３において設定された検出対象の眼に該当するか否かが判断される。この処理において、マイクロコンピュータ３は、微小画像抽出部２２、濃度状態均質部２３、輪郭抽出部２４、及び顔部位判定部２５に相当するプログラムを実行する。
【００６１】
その後、マイクロコンピュータ３は、顔部位判定処理（ＳＴ２３）の結果に基づいて、選別された候補が検出対象の顔部位であると判定されたか否かを判断する（ＳＴ２４）。検出対象の顔部位であると判定されていなかった場合（ＳＴ２４：ＮＯ）、マイクロコンピュータ３は、特定された複数の顔部位候補のすべてについて判定したか否かを判断する（ＳＴ２５）。
【００６２】
全てに対して判定した場合（ＳＴ２５：ＹＥＳ）、処理は図１０のステップＳＴ１８に移行する。一方、全てに対して判定していない場合（ＳＴ２５：ＮＯ）、処理はステップＳＴ２３に戻る。
【００６３】
ところで、ステップＳＴ２４において、検出対象の顔部位であると判定されていた場合（ＳＴ２４：ＹＥＳ）、マイクロコンピュータ３は、判定対象の顔部位のすべてを判定し終えたか否かを判断する（ＳＴ２６）。すなわち、マイクロコンピュータ３は、右眼及び左眼の双方の判定を終えたか否かを判断する。
【００６４】
いずれか一方の眼の判定を終えていないと判断した場合（ＳＴ２６：ＮＯ）、処理はステップＳＴ２１に移行する。一方、双方の眼の判定を終えたと判断した場合（ＳＴ２６：ＹＥＳ）、マイクロコンピュータ３は、顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＴＲＵＥ」にする（ＳＴ２７）。そして、マイクロコンピュータ３は、各々の顔部位の位置関係の取得処理を行う（ＳＴ２８）。すなわち、マイクロコンピュータ３は、右眼と左眼との位置関係の情報を取得する。その後、処理は図１０のステップＳＴ１８に移行する。
【００６５】
以上のようにして、本装置１では、所望する顔部位である可能性を有する複数の顔部位候補を画像全体から特定し、特定された複数の顔部位候補を１つずつ判定して検出対象である顔部位（両眼）を検出することとなる。なお、検出対象である可能性を有する複数の顔部位候補を画像全体から特定する処理（ステップＳＴ２０の処理）は、以下のようにして行われる。
【００６６】
図１２は、図１１に示した顔部位候補位置特定処理（ＳＴ２０）の詳細を示すフローチャートである。同図において、まず、マイクロコンピュータ３は、撮像した画像のデータ全体を、全体画像として画像メモリに保存する（ＳＴ３０）。
【００６７】
次に、マイクロコンピュータ３は、ステップＳＴ３１の判断を行う。この判断については後述する。ステップＳＴ３１において「ＮＯ」と判断された場合、マイクロコンピュータ３は、全体画像の縦方向（Ｙ軸方向）の画素列のうち１ラインのみに沿って濃度値の相加平均演算を行う（ＳＴ３２）。
【００６８】
この相加平均演算は、例えば縦方向に並ぶ所定数の画素について、濃度の平均値を求め、所定数の画素のうちの１画素の濃度値を前記平均値とする処理である。例えば、所定数が「５」である場合、画面上方から１〜５番目に位置する画素を選択して平均値を求め、この平均値を５番目の画素の濃度値とする。次に、画面上方から２〜６番目に位置する画素を選択して平均値を求め、この平均値を６番目の画素の濃度値とする。そして、これを順次繰り返し、１ラインすべての画素について濃度の平均値を求める。
【００６９】
このように相加平均演算することで、本装置１は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことができ、濃度値の大局的な変化を捉えることができる。
【００７０】
相加平均演算後、マイクロコンピュータ３は、縦方向に相加平均値の微分演算を行う（ＳＴ３３）。そして、マイクロコンピュータ３は、微分値に基づいてポイント抽出を行う（ＳＴ３４）。このポイント抽出とは、縦方向の画素列に沿って画素濃度の相加平均値の局所的な高まり毎に１個ずつの画素を定めて抽出点とする処理であって、例えば相加平均値の微分値が負から正に変化する画素を定めて抽出点とする処理である。
【００７１】
ポイントとなる画素を定めた後、マイクロコンピュータ３は、ポイント抽出していたラインを次ラインへ切り替える（ＳＴ３５）。
【００７２】
そして、マイクロコンピュータ３は、縦方向の全ラインでのポイント抽出が終了したか否かを判断する（ＳＴ３１）。全ラインでのポイント抽出が終了していないと判断した場合（ＳＴ３１：ＮＯ）、前述のステップＳＴ３２〜ＳＴ３５の処理を経て、再度ステップＳＴ３１に戻る。
【００７３】
一方、全ラインでのポイント抽出が終了したと判断した場合（ＳＴ３１：ＹＥＳ）、隣り合う各ラインの抽出ポイントのＹ座標値を比較する。そして、Ｙ座標値が所定値以内の場合（抽出ポイントが画像横方向に隣接する場合）、抽出ポイントの群を連続データとして、（i）連続データのグループ番号、（ii）連続開始ライン番号、（iii）連続データ数をメモリする。また、（iv）連続データを構成する各抽出ポイントの縦方向位置の平均値（その連続データの代表上下位置）、（v）連続開始ラインと終了ラインの横方向位置の平均値（その連続データの代表左右位置）をメモリする（ＳＴ３６）。
【００７４】
なお、本実施形態では、検出対象を眼としているため、連続データは横方向比較的長く延びるものとなる。このため、マイクロコンピュータ３は、連続データ形成後、横方向に所定値以上続くことを条件にさらに眼である可能性が高い連続データを選択することができる。
【００７５】
その後、マイクロコンピュータ３は、各連続データについて代表座標値Ｃを定め、これを基準として存在領域ＥＡを設定する（ＳＴ３７）。この代表座標値Ｃとは、ステップＳＴ３６の処理において、メモリされたＸ座標値の平均値及びＹ座標値の平均値により決定するものである（上記iv，vに示す平均値）。また、この代表座標値Ｃは、顔部位候補の位置、すなわち顔部位候補点となる。なお、存在領域ＥＡについては、図１３〜図１７を参照して後述する。
【００７６】
代表座標値Ｃを定めて存在領域ＥＡを設定した後、処理は、図１１のステップＳＴ２１に移行する。以上が顔部位候補位置特定処理（ＳＴ２０）である。以上のようにして、求められた連続データが眼の候補となり、連続データの代表座標値Ｃが眼の候補点の位置となる。
【００７７】
次に、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成される連続データ、その連続データの代表座標値Ｃ及び存在領域ＥＡについて説明する。
【００７８】
図１３は、図１２に示したステップＳＴ３６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。
【００７９】
同図に示すように、マイクロコンピュータ３は、複数の連続データＧを形成している。これは、眼を検出対象としているため、眼と似た特徴量（横に長い）を示すもの（口、鼻、眉毛など）が検出されるためである。
【００８０】
連続データＧは、前述したように、縦方向の画素列ごとに定められた抽出ポイントが画像横方向に隣接する場合に形成されるものである。そして、この連続データＧを形成する横方向両端の画素のＸ座標値の平均値と、連続データを形成する各画素のＹ座標の平均値により、代表座標値Ｃが決定される。さらに、存在領域ＥＡは、この代表座標値Ｃを基準として設定される。
【００８１】
次に、存在領域ＥＡの設定方法を説明する。図１４は、図１３に示した存在領域ＥＡの大きさを示す説明図であり、図１５及び図１６は数人の眼の大きさを調べた横Ｘａ、縦Ｙａの長さの統計データを示す説明図であり、図１７は存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【００８２】
存在領域ＥＡの設定は、存在領域ＥＡの大きさが決定され、その後、存在領域ＥＡの画像上における位置が定められることでなされる。  
存在領域ＥＡの大きさは、ノイズ（顔の皺や明暗などを抽出してしまう）の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。本実施形態では、数人の顔部位の大きさを調べ、それに余裕分（例えば×１．５倍）を加味して、存在領域ＥＡの大きさを決定している。すなわち、図１５及び図１６のように、顔部位の縦横寸法のデータを集め、その分布の例えば９５％をカバーする寸法に余裕分を考慮して決定する方法を採用している。
【００８３】
そして上記９５％をカバーする寸法、すなわち横寸法ｘａ、縦寸法ｙａに余裕分（×１．５）を加味して決定している（図１４）。なお、存在領域ＥＡの大きさについては、画像処理により顔部位の幅や高さを推定し、縦横の大きさに余裕分を加える大きさとしてもよい。
【００８４】
このように存在領域ＥＡの大きさが決定された後、図１７に示すように、例えば眼の座標値（ｘ１，ｙ１）を基準に、基準点Ｐを決める。基準点Ｐは、眼の座標値（ｘ１，ｙ１）から距離ｘ２，ｙ２だけ離れた位置に定められるものである。
【００８５】
そして、マイクロコンピュータ３は、点Ｐを基準に存在領域ＥＡの寸法ｘ３，ｙ３を描画する。これにより、存在領域ＥＡの位置が決定される。その後、画像全体で見つかった連続データＧすべてについて存在領域ＥＡを設定する。
【００８６】
なお、上記のｘ２及びｙ２はｘ３，ｙ３の１／２であって、予め存在領域ＥＡが眼の中心にくるような長さとすることが望ましい。
【００８７】
以上の図１２〜図１７の処理により、図１１の顔部位候補位置特定処理（ＳＴ２０）がなされる。次に、図１２に示した濃度値の微分値演算処理（ＳＴ３３）及びポイント抽出処理（ＳＴ３４）を詳細に説明する。
【００８８】
図１８は、被検出者の顔の一側のみが明るいときのステップＳＴ３３，ＳＴ３４の処理の説明図である。まず、被検出者の右眼側のみが明るく左眼側が暗い場合に、右眼を通過する縦ラインＸａと左眼を通る縦ラインＸｂとについて、微分値演算及びポイント抽出を行うとする。
【００８９】
図１９は、図１８に示した縦ラインＸａでの微分値演算及びポイント抽出を示すグラフであり、（ａ）は濃度値を示し、（ｂ）は微分値を示している。なお、図１９（ａ）において、縦軸は濃度値であり横軸は縦ラインＸａのＹ座標値を示している。また、図１９（ｂ）において、縦軸は微分値であり横軸は縦ラインＸａのＹ座標値を示している。
【００９０】
図１８に示した縦ラインＸａの濃度値が図１９（ａ）に示すようになっているとすると、マイクロコンピュータ３は、濃度値の微分値が負から正に転じる点（図１９（ｂ）においてｐ１〜ｐ１０）を抽出する。すなわち、マイクロコンピュータ３は、図１９（ａ）において濃度値が下に凸となる点を抽出する。なお、図１９（ａ）において濃度値（縦軸）は画素が暗くなるほど小さい値（下）となり、画素が明るくなるほど大きい値（上）となるようにされている。
【００９１】
次に、マイクロコンピュータ３は、濃度値の微分値が負から正に転じる点の直前の微分値の最小値が（負の）判定基準値以下であるか否かを判断する。具体的に図１９（ｂ）では、濃度値の微分値が負から正に転じる点ｐ３，ｐ４の直前の微分値の最小値ｑ３，ｑ４が判定基準値以下となっている。このため、マイクロコンピュータ３は、濃度値の微分値が負から正に転じる点ｐ３，ｐ４に相当する画素をステップＳＴ３４においてポイントとして抽出する。すなわち、マイクロコンピュータ３は、図１９（ａ）に示す画素ａ３，ａ４をポイントとして抽出する。
【００９２】
なお、上記した判定基準値は、縦ラインＸａのうち最も高い濃度値Ｎｍａｘによって決定されるようになっている。このため、縦ラインＸｂのように、全体的に濃度値が低い場合であっても、ポイント抽出が適切に行われる。
【００９３】
図２０は、図１８に示した縦ラインＸｂでの微分値演算及びポイント抽出を示すグラフであり、（ａ）は濃度値を示し、（ｂ）は微分値を示している。なお、図２０（ａ）において、縦軸は濃度値であり横軸は縦ラインＸｂのＹ座標値を示している。また、図２０（ｂ）において、縦軸は微分値であり横軸は縦ラインＸｂのＹ座標値を示している。
【００９４】
図１８に示した縦ラインＸｂの濃度値が図２０（ａ）に示すようになっているとすると、マイクロコンピュータ３は、濃度値の微分値が負から正に転じる点（図２０（ｂ）においてｐ１〜ｐ７）を抽出する。なお、図２０（ａ）において濃度値（縦軸）は画素が暗くなるほど小さい値となり、画素が明るくなるほど大きい値となるようにされている。
【００９５】
次に、マイクロコンピュータ３は、濃度値の微分値が負から正に転じる点の直前の微分値の最小値が（負の）判定基準値以下であるか否かを判断する。具体的に図２０（ｂ）では、縦ラインＸｂにおいて最も高い濃度値Ｎｍａｘが図１９（ａ）のＮｍａｘと比べて低い値となっているため、判定基準値の絶対値は小さくされる。このため、濃度値の微分値が負から正に転じる点ｐ２，ｐ３の直前の微分値の最小値ｑ２，ｑ３が判定基準値以下となる。よって、マイクロコンピュータ３は、図２０（ａ）に示す画素ａ２，ａ３をポイントとして抽出する。
【００９６】
次に、図１１の顔部位判定処理（ＳＴ２３）について説明する。図２１は、図１１に示した顔部位判定処理（ＳＴ２３）の詳細を示すフローチャートである。
【００９７】
まず、マイクロコンピュータ３は、図１２の処理にて求められた存在領域ＥＡの画像データを微少画像ＩＧとして画像メモリに保存する（ＳＴ４０）。全体画像と画像メモリに保存される微小画像ＩＧとの状態を図２２に示す。図２２は、微小画像を示す説明図である。図２２に示すように、マイクロコンピュータ３は、全体画像から存在領域ＥＡ内の画像を抽出し、微小画像ＩＧとしている。なお、この処理において、マイクロコンピュータ３は、微小画像抽出部２２に相当するプログラムを実行することとなる。
【００９８】
再度、図２１を参照して説明する。微小画像ＩＧの抽出後、マイクロコンピュータ３は、微小画像ＩＧの濃度情報からコントラスト強調量を決定する（ＳＴ４１）。すなわち、マイクロコンピュータ３は、図６を参照して説明したように、ルックアップデータを作成することによって、コントラスト強調量を決定する。次に、マイクロコンピュータ３は、微小画像ＩＧのコントラストを強調する（ＳＴ４２）。すなわち、マイクロコンピュータ３は、上記した均質化を行うこととなる。
【００９９】
図２３は、右眼及び左眼の光環境に大きな差がある場合において微小画像ＩＧを均質化したときの様子を示す説明図である。図２３に示すように、微小画像ＩＧごとに均質化を行うことにより、右眼及び左眼の光環境に大きな差がある場合であっても、双方の微小画像ＩＧが適切に均質化され、眼の形状がはっきりとしたものとなる。なお、ステップＳＴ４１，ＳＴ４２の処理において、マイクロコンピュータ３は、濃度状態均質部２３に相当するプログラムを実行する。
【０１００】
次に、マイクロコンピュータ３は、全体画像の代表座標値Ｃを微少画像ＩＧの代表座標値ＩＣとする。そして、マイクロコンピュータ３は、微少画像ＩＧの代表座標値ＩＣを基準とした範囲ＡＲを設定し、範囲ＡＲの濃度情報（コントラストが強調された後の濃度情報）をもとに二値化閾値を設定する（ＳＴ４３）。このとき、マイクロコンピュータ３は、二値化閾値機能のプログラムを実行する。
【０１０１】
範囲ＡＲでの二値化閾値の算出方法の一例を、図２４を参照して説明する。図２４は、範囲ＡＲでの二値化閾値の算出方法の説明図である。まず、マイクロコンピュータ３は、範囲ＡＲにおいて縦方向に数ラインの濃度値の読み出しを行う（図２４では４ライン）。そして、マイクロコンピュータ３は、各ラインにおいて濃度値の最も高い（明るい）濃度値と、最も低い（暗い）濃度値をメモリしていく。全ラインのメモリが終了したら、マイクロコンピュータ３は、各ラインの最も高い（明るい）濃度値の中で、一番低い濃度値（皮膚の部分）と、各ラインの最も低い（暗い）濃度値の中で、一番低い濃度値（眼の部分）とを求める。そして、その中央値を二値化閾値とする。
【０１０２】
なお、上記した範囲ＡＲは、好適に二値化閾値を決定するため、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定される。また、範囲ＡＲは、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにされる。
【０１０３】
さらに、二値化閾値は、範囲ＡＲ内の眼の一番低い（暗い）濃度値と、皮膚の部分の一番低い（暗い）濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。
【０１０４】
ここで、二値化閾値を決定するのに皮膚部分における一番低い（暗い）濃度値を用いている理由は、次の通りである。例えば、範囲ＡＲの一部に直射光が当たっている場合、皮膚部分は、眼球の黒色部分に比して、光を強く反射する傾向にある。このため、本装置１は、多くのノイズとも言える光を入力してしまうこととなる。
【０１０５】
この場合、濃度値を読み出す範囲ＡＲを極力小さくしても、画像がノイズ光による影響を受け、本装置１は正確な二値化閾値を決定できなくなってしまう。このため、本実施形態では、強く反射している可能性がある濃度値の高い部分を用いず、皮膚の部分の濃度値の一番低い（暗い）濃度値を用いることで、より適切な二値化閾値を決定できるようにしている。なお、ステップＳＴ４３では、範囲ＡＲの濃度から二値化閾値を求めているが、微小画像ＩＧの濃度から二値化閾値を求めてもよい。
【０１０６】
再度、図２１を参照して説明する。二値化閾値の決定後、マイクロコンピュータ３は、決定した二値化閾値を用いて微少画像ＩＧを二値化処理し、二値画像ｂＧとして画像メモリに保存する（ＳＴ４４）。このとき、マイクロコンピュータ３は、二値化機能に相当するプログラムを実行する。
【０１０７】
次に、マイクロコンピュータ３は、全体画像の代表座標値Ｃを二値画像ｂＧの位置ｂＣとし、この位置ｂＣを初期位置として設定する（ＳＴ４５）。その後、マイクロコンピュータ３は、設定位置が黒画素か否かを判断する（ＳＴ４６）。ここでは、ステップＳＴ４５において設定された初期位置が黒画素か否か判断される。
【０１０８】
そして、設定位置が黒画素でないと判断した場合（ＳＴ４６：ＮＯ）、マイクロコンピュータ３は、設定位置を上下左右に１画素ずつずらす（ＳＴ４７）。その後、マイクロコンピュータ３は、再度、設定位置が黒画素か否かを判断する。ここでは、ステップＳＴ４７においてずらされた設定位置が黒画素か否か判断される。そして、黒画素と判断されるまで、この処理が繰り返される。
【０１０９】
一方、設定位置が黒画素であると判断した場合（ＳＴ４６：ＹＥＳ）、マイクロコンピュータ３は、その黒画素の連結成分を候補オブジェクトとして設定する（ＳＴ４８）。この処理においてマイクロコンピュータ３は、顔部位オブジェクト抽出機能に相当するプログラムを実行する。
【０１１０】
そして、マイクロコンピュータ３は、候補オブジェクトの幾何形状を算出する（ＳＴ４
９）。すなわち、マイクロコンピュータ３は、顔部位オブジェクトの輪郭形状を抽出する。その後、マイクロコンピュータ３は、予め記憶している検出対象のテンプレートの幾何形状と候補オブジェクトの幾何形状とを比較する（ＳＴ５０）。候補オブジェクトと検出対象のテンプレートとの幾何形状の比較方法の一例を、図２５を参照して説明する。
【０１１１】
図２５は、候補オブジェクトと検出対象である眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。
【０１１２】
眼の画像を二値化した形状は光環境が良く安定した画像であれば図２５（ａ）に示すようなものになる。ところが、車室内に直射日光が一側から当たる等して光環境が悪化したときには、図２５（ｂ）及び（ｃ）に示すように、一部が欠けた形状になることもある。
【０１１３】
マイクロコンピュータ３は、上記のような候補オブジェクトを正確に判断するために、３つの条件により比較判断を行う。まず、条件（i）としては、横幅が眼の相場値の２／３以上あり、且つ上に凸の所定範囲の曲率を持っていることである。次に、条件（ii）としては、黒眼の左側の凹み形状があることである。また、条件（iii）としては、黒眼の右側の凹み形状があることである。
【０１１４】
再度、図２１を参照して説明する。幾何形状の比較後、マイクロコンピュータ３は、上記３つの条件に基づき、比較判断を行い、候補オブジェクトと眼テンプレートとの幾何形状が一致するか否かを判断する（ＳＴ５１）。ここで、図２５（ｂ）及び（ｃ）のように眼の形状の一部が欠けている場合を考慮し、マイクロコンピュータ３は、条件（i）及び（ii）を満たすもの、並びに条件（ii）及び（iii）を満たすものを一致すると判断する。
【０１１５】
一致しないと判断した場合（ＳＴ５１：ＮＯ）、マイクロコンピュータ３は、その候補オブジェクトが検出対象となる顔部位でないと判定し（ＳＴ５２）、その後、処理は、図１１のステップＳＴ２４に移行する。
【０１１６】
一方、一致すると判断した場合（ＳＴ５１：ＹＥＳ）、マイクロコンピュータ３は、その候補オブジェクトが検出対象となる顔部位であると判定する（ＳＴ５３）。そして、処理は、図１１のステップＳＴ２４に移行する。
【０１１７】
なお、ステップＳＴ５０〜ＳＴ５３の処理において、マイクロコンピュータ３は、顔部位判定部２５に相当するプログラムを実行することとなる。また、図２１の処理では、二値化閾値を用いて二値化した候補オブジェクトを検出している。このため、本実施形態では、眼の部分と他の部分（背景や眼以外の顔部分）とを明確に区別し、眼を正確に捉えることができる。さらには、候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上させることができる。
【０１１８】
以上、図１１〜図２５を参照して説明したように、マイクロコンピュータ３（顔部位検出部２０）は、入力した画像全体から、検出対象となる顔部位を検出することとなる。そして、前述したように、検出対象となる顔部位が検出されると、顔部位検出フラグ「ＧｅｔＦｌａｇ」が「ＴＲＵＥ」とされる。そして、図３に示すように、顔部位追跡処理（ＳＴ１９）が実行されるようになる。
【０１１９】
図２６及び図２７は、図１０に示した顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、図２６は処理の一部を示し、図２７は処理の残り部分を示している。図２６に示すように、ステップＳＴ１６にて「ＮＯ」と判断された場合、マイクロコンピュータ３は、顔部位探査領域の設定処理を実行する（ＳＴ６０）。このステップＳＴ６０の処理は、図１に示した顔部位探査領域抽出部３１にて行われる処理である。すなわち、マイクロコンピュータ３は、顔部位探査領域抽出部３１に相当するプログラムを実行することとなる。
【０１２０】
ここで、ステップＳＴ６０の処理をさらに説明する。図２８は、顔部位探査領域の設定処理（ＳＴ６０）の詳細を示すフローチャートである。図２８に示すように、マイクロコンピュータ３は、顔部位探査領域の位置を設定する（ＳＴ８０）。ここでは、前回の処理において検出又は追跡された検出対象の顔部位の代表座標値Ｃ、すなわち顔部位の位置に基づいて、顔部位探査領域の中心位置が設定される。図２９は、顔画像の一例及びその顔画像に映る左眼周辺の拡大画像を示す説明図である。図２９に示すように、顔部位探査領域は前回処理時の顔部位の位置を中心にして設定される。
【０１２１】
その後、マイクロコンピュータ３は、顔部位探査領域の大きさを設定する（ＳＴ８１）。この処理では、例えば、不検出カウンタ（後述する図２７に示す不検出カウンタ）の数値などの情報に基づいて、大きさが決定される。不検出カウンタとは、検出対象である顔部位を特定できない連続処理数をカウントするものである。
【０１２２】
図３０は、顔部位探査領域の大きさを示す説明図である。同図に示すように、マイクロコンピュータ３は、顔部位探査領域を小さくしておき、検出対象の顔部位が特定できなかった場合に顔部位探査領域を広くする。例えば、一度検出対象である顔部位が特定されず不検出カウンタが「１」となった場合、検出対象が存在するであろう領域を広げて、検出対象の候補を見つけるようにしてもよい。
【０１２３】
また、顔部位探査領域の大きさは次のようにされて決定してもよい。図３１は、顔部位探査領域の大きさの他の例を示す説明図である。同図に示すように、マイクロコンピュータ３は、顔部位探査領域を広くする際に不検出カウンタのカウント値に基づいて、顔部位探査領域の大きさを順次大きくするようにしてもよい。すなわち、不検出カウンタの数値が大きければ大きいほど、顔部位探査領域を広くするようにしている。このように、不検出カウンタの数値に基づいて領域の大きさを決定することで、検出対象である顔部位が特定できなかった連続回数に応じて領域の大きさを決定することとなる。
【０１２４】
通常、顔部位探査領域を大きくすると処理速度の低下を招くため、顔部位探査領域の大きさを前回処理のときの大きさに比して、突然に大きくしてしまうことは、急激な処理速度の低下を招いてしまう。ところが、この例のように大きさを不検出カウンタの数値に応じて決定することで、処理速度の急激な低下を防止しつつ顔部位探査領域を適切な大きさにすることができる。
【０１２５】
再度、図２８を参照する。顔部位探査領域の大きさを決定した後、マイクロコンピュータ３は、顔部位探査領域の抽出処理を行い（ＳＴ８２）、処理は、図２６のステップＳＴ６１に移行する。その後、マイクロコンピュータ３は、顔部位候補位置の特定処理を実行する（ＳＴ６１）。この処理は、図１２〜図２０を参照して説明した処理と同様の処理である。
【０１２６】
図３２は、顔画像に映る左眼周辺の拡大画像を示す説明図であって、連続データ抽出エリアの設定例を示している。図３２に示すように、顔部位探査領域を設定した後、顔部位探査領域を含む連続データ抽出エリアを設定し、この連続データ抽出エリアを顔部位探査領域画像として抽出するようにしてもよい。図３３は、連続データ抽出エリアを設定した場合に検出される連続データを示している。連続データ抽出エリアを顔部位探査領域画像として抽出しても、図３３に示すように、連続データＧ１が得られることは明らかである。
【０１２７】
上記したように、顔部位追跡部３０は、顔部位探査領域画像を抽出し、その画像から顔部位候補を特定する。このため、顔部位候補（連続データＧ１）は、図１８〜図２０に示したように、顔画像全体から特定されるわけでなく、顔部位探査領域画像から特定される。
【０１２８】
図３４は、被検出者の顔の一側のみが明るいときのステップＳＴ６１の処理の説明図である。図３４に示すような顔部位探査領域画像Ａ，Ｂが抽出されたとする。なお、顔部位探査領域画像Ａは全体的に明るい画像となっており、顔部位探査領域画像Ｂは全体的に暗い画像となっている。
【０１２９】
図３５は、図３４に示した顔部位探査領域画像Ａにおける顔部位候補の特定を示す説明図であり、（ａ）は顔部位探査領域画像Ａを示し、（ｂ）は濃度値を示し、（ｃ）は微分値を示している。なお、図３５（ｂ）において、横軸は濃度値であり縦軸は顔部位探査領域画像ＡのＹ座標値を示している。また、図３５（ｃ）において、横軸は微分値であり縦軸は顔部位探査領域画像ＡのＹ座標値を示している。
【０１３０】
マイクロコンピュータ３は、図３５（ａ）に示すような顔部位探査領域画像Ａを抽出した後、図１２のステップＳＴ３２と同様に相加平均演算を行う。そして、マイクロコンピュータ３は、平均濃度値の微分値が負から正に転じる点（図３５（ｃ）においてｐ１，ｐ２）を抽出する。すなわち、マイクロコンピュータ３は、図３５（ｂ）において濃度値が黒方向に凸となる点を抽出する。なお、図３５（ｂ）において濃度値（縦軸）は画素が暗くなるほど小さい値となり、画素が明るくなるほど大きい値となるようにされている。
【０１３１】
次に、マイクロコンピュータ３は、濃度値の微分値が負から正に転じる点の直前の微分値の最小値が（負の）判定基準値以下であるか否かを判断する。さらに、マイクロコンピュータ３は、濃度値の微分値が負から正に転じる点の直後の微分値の最大値が（正の）判定基準値以上であるか否かを判断する。具体的に図３５（ｃ）では、濃度値の微分値が負から正に転じる点ｐ１の直前の微分値の最小値ｑが判定基準値以下となっている。このため、マイクロコンピュータ３は、最小値ｑに相当する画素をポイントとして抽出する。すなわち、マイクロコンピュータ３は、図３５（ａ）に示す画素ａ１をポイントとして抽出する。また、図３５（ｃ）では、濃度値の微分値が負から正に転じる点ｐ２の直後の微分値の最大値ｒが判定基準値以上となっている。このため、マイクロコンピュータ３は、最大値ｒに相当する画素をポイントとして抽出する。すなわち、マイクロコンピュータ３は、図３５（ａ）に示す画素ａ２をポイントとして抽出する。
【０１３２】
なお、図３５（ｃ）に示す判定基準値は、縦ラインのうち最も高い濃度値Ｎｍａｘによって決定されるようになっている。このため、顔部位探査領域画像Ｂのように、全体的に濃度値が低い場合であっても、ポイント抽出が適切に行われる。
【０１３３】
図３６は、図３４に示した顔部位探査領域画像Ｂにおける顔部位候補の特定を示す説明図であり、（ａ）は顔部位探査領域画像Ｂを示し、（ｂ）は濃度値を示し、（ｃ）は微分値を示している。なお、図３６（ｂ）において、横軸は濃度値であり縦軸は顔部位探査領域画像ＢのＹ座標値を示している。また、図３６（ｃ）において、横軸は微分値であり縦軸は顔部位探査領域画像ＢのＹ座標値を示している。
【０１３４】
マイクロコンピュータ３は、図３６（ａ）に示すような顔部位探査領域画像Ｂを抽出した後、図１２のステップＳＴ３２と同様に相加平均演算を行う。そして、マイクロコンピュータ３は、平均濃度値の微分値が負から正に転じる点（図３６（ｃ）においてｐ１，ｐ２）を抽出する。なお、図３６（ｂ）において濃度値（縦軸）は画素が暗くなるほど小さい値となり、画素が明るくなるほど大きい値となるようにされている。
【０１３５】
次に、マイクロコンピュータ３は、濃度値の微分値が負から正に転じる点の直前の微分値の最小値が（負の）判定基準値以下であるか否かを判断する。さらに、マイクロコンピュータ３は、濃度値の微分値が負から正に転じる点の直後の微分値の最大値が（正の）判定基準値以上であるか否かを判断する。ここで、図３６（ｃ）に示すように、最も高い濃度値Ｎｍａｘが図３５（ｂ）のＮｍａｘと比べて低い値となっているため、判定基準値の絶対値は小さくされる。このため、濃度値の微分値が負から正に転じる点ｐ１の直前の最小値ｑ及び点ｐ２の直後の最大値ｒが判定基準値以下又は以上となる。よって、マイクロコンピュータ３は、図３６（ａ）に示す画素ａ１，ａ２をポイントとして抽出する。
【０１３６】
図３７は、図３５及び図３６のようにして得られた顔部位候補（連続データＧ）を示す説明図である。図３７に示すように、顔部位候補は適切に特定される。再度図２６を参照する。上記の処理を経て、顔部位候補が特定されると、マイクロコンピュータ３は、顔部位判定処理を実行する（ＳＴ６２）。すなわち、マイクロコンピュータ３は、微小画像ＩＧを抽出し、濃度状態を均質にし、顔部位候補の輪郭形状を抽出し、顔部位の判定を行う。
【０１３７】
図３８は、濃度状態を均質にしたときの様子を示す説明図である。図３８に示すように、微小画像ＩＧごとに均質化を行うため、右眼及び左眼の光環境に大きな差がある場合であっても、双方の微小画像ＩＧが適切に均質化されている。
【０１３８】
再度、図２６を参照する。顔部位判定処理の結果、顔部位候補が顔部位でないと判定されていた場合（ＳＴ６３：ＮＯ）、マイクロコンピュータ３は、すべての顔部位候補で判定したか否かを判断する（ＳＴ６４）。すべての顔部位候補で判定していない場合（ＳＴ６４：ＮＯ）、処理はステップＳＴ６２に移行する。
【０１３９】
一方、すべての顔部位候補で判定した場合（ＳＴ６４：ＹＥＳ）、マイクロコンピュータ３は、不検出カウンタをインクリメントする（ＳＴ６５）。その後、マイクロコンピュータ３は、不検出カウンタの数値が顔部位再検出処理移行数を超えたか否かを判断する（ＳＴ６６）。顔部位再検出処理移行数は、検出対象となる顔部位が特定できなかった場合であっても、図１０のステップＳＴ１７の処理を行うことなく、ステップＳＴ１９の顔部位追跡処理を連続して何度実行するかを示す数である。この数は、システムの処理速度、検出精度等によって異なってくるものであり、本装置１の適用対象に合わせて適宜設定すればよいものである。
【０１４０】
顔部位再検出処理移行数を超えていないと判断した場合（ＳＴ６６：ＮＯ）、処理は、図２６のステップＳＴ７２に移行する。不検出カウンタの値が顔部位再検出処理移行数を超えている場合（ＳＴ６６：ＹＥＳ）、マイクロコンピュータ３は、顔部位検出フラグ「ＧｅｔＦｌａｇ」を「ＦＡＬＳＥ」に設定する（ＳＴ６７）。その後、マイクロコンピュータ３は、不検出カウンタを初期化し（ＳＴ６８）、処理は、図１０に示したステップＳＴ１８に移行する。
【０１４１】
ところで、顔部位候補が顔部位であると判定されていた場合（ＳＴ６３：ＹＥＳ）、マイクロコンピュータ３は顔部位候補の代表座標点Ｃの座標を顔部位の座標としてメモリする（ＳＴ６９）。そして、マイクロコンピュータ３は、微小画像ＩＧを顔部位画像ＭＧｉとして画像メモリに保存し（ＳＴ７０）、不検出カウンタを初期化する（ＳＴ７１）。そして、マイクロコンピュータ３は、検出対象となる顔部位のすべてを判定し終えたか否かを判断する（ＳＴ７２）。すなわち、マイクロコンピュータ３は、右眼及び左眼の双方の判定をし終えたか否かを判断する。判定し終えていないと判断した場合（ＳＴ７２：ＮＯ）、処理はステップＳＴ６０に移行する。一方、判定し終えたと判断した場合（ＳＴ７２：ＹＥＳ）、処理は図１０に示したステップＳＴ１８に移行する。
【０１４２】
このようにして、本実施形態に係る顔部位判定装置１及び方法によれば、顔画像全体でなく微小画像ＩＧについて濃度状態を均質にするので、顔の片側に光が当たって顔の一部が明るく残り部分が暗くなり濃度差が大きくなったような場合であっても、抽出した微小画像内の濃度差が大きくなければ、その濃度状態に応じて微小画像が適切に均質にされることとなる。これにより、たとえ顔の片側に光が当たるような場合であっても誤検出を軽減することができる。従って、顔部位の検出精度の向上を図ることができる。
【０１４３】
また、顔部位候補点を中心とした微小画像内の濃度情報に基づいて、二値化閾値を設定し、この二値化閾値を用いて、二値化処理を行うため、顔部位と他の部分（背景や顔部位以外の顔部分）とを明確に区別し、顔部位を正確に捉えることができる。また、顔部位が正確に捉えられるため、顔部位の輪郭についても正確なり、高い精度で顔部位を判定することができる。
【０１４４】
また、画像縦方向について濃度値の局所的な高まり毎に１個ずつの画素を定めて抽出点とし、抽出点が画像横方向に隣接する場合に、横方向に延びる抽出点群の連続データを形成し、形成された連続データの代表座標値を顔部位の候補点とする。このため、高精度な顔部位候補の設定が可能となり、顔部位の候補点を確実に特定することができる。
【０１４５】
また、顔画像の濃度値についてヒストグラムを算出し、そのヒストグラムから異常値を除いて最大値及び最小値を求めるので、顔画像中における正常な濃度値の最大値及び最小値を求めることとなる。このとき、異常値は統計的に棄却されるべきものとして除かれる。このため、光環境の変化によって影響を受けることなく、異常値を除くことができる。例えば、２５６階調のうち、濃度値「０」から「３０」までの範囲を異常値として除くと決定していた場合、周囲環境が暗くなったときには、多くの画素が異常な濃度値を有するとして除かれることとなる。ところが、統計的に、具体的にはμ±２σの範囲外の濃度値を異常値として除くことにより、光環境の変化があったとしても影響を受けにくくすることができる。
【０１４６】
そして、異常値を除いた後にコントラストを強調するので、光環境に影響なく且つ正常な濃度値のコントラストが強調されることとなる。このとき、コントラストは最大値及び最小値に基づいて強調される。具体的には、最大値を「２５５」となるように、また、最小値を「０」となるように強調する。すなわち、例えば、濃度値「０」から「３０」までの範囲を異常値として除くと決定していた場合には、周囲環境が暗くなったときに多くの画素が異常値を有するとして除かれるため、コントラストを強調したとしても強調後の濃度分布は濃度値の低い側に偏ったものとなってしまう。ところが、統計的に異常値を除いているため、具体的にはμ±２σの範囲外の濃度値を異常値として除いているため、強調処理を行ったとしても、濃度分布は片側に偏ったものとならないようになっている。
【０１４７】
以上から、光環境によらず取得した顔画像を正確に均質とすることができる（請求項６の効果１）。
【０１４８】
また、濃度の最大値及び最小値に基づいて、濃度変換用のルックアップデータを作成するので、データ作成後には、そのデータと濃度変換前の濃度値データとを対応付けることで容易に濃度変換を行うことができる（請求項６の効果２）。
【０１４９】
なお、本発明は上記実施形態に限られず、本発明の趣旨を逸脱しない範囲において変更等が可能である。例えば、本実施形態では、顔部位の輪郭抽出は、二値化処理を行う方式でなくともよく、以下のように行われてもよい。
【０１５０】
例えば、輪郭抽出部２４及び第２輪郭抽出部３５が、第１エッジライン抽出機能（第１エッジライン抽出手段）と、第２エッジライン抽出機能（第２エッジライン抽出手段）とを有し、第１エッジライン抽出機能は、濃度状態均質部２３により均質にされた微小画像ＩＧの縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が白方向から黒方向へ変化する点をエッジ点として抽出する。次いで、第１エッジライン抽出機能は、抽出されたエッジ点を線状にグルーピングすることによって第１のエッジラインを抽出する。
【０１５１】
第２エッジライン抽出機能は、濃度状態均質部２３により均質にされた微小画像ＩＧの縦方向及び横方向の少なくとも一方に、ポジ画像で濃度が黒方向から白方向へ変化する点をエッジ点として抽出する。次いで、第２エッジライン抽出機能は、抽出されたエッジ点を線状にグルーピングすることによって第２のエッジラインを抽出する。
【０１５２】
次に、輪郭抽出部２４及び第２輪郭抽出部３５は、第１のエッジラインと第２のエッジラインとを対応付け、対応付けられた第１及び第２のエッジラインによって囲まれる領域を顔部位オブジェクトとして抽出し、抽出した顔部位オブジェクトの輪郭を顔部位候補の輪郭形状として抽出する。
【０１５３】
このように輪郭を抽出することも可能である。具体的には、図３５及び図３６に示したようにして、第１及び第２エッジラインを抽出することとなる。これによっても、顔部位の輪郭を精度良く抽出することができる。
【図面の簡単な説明】
【０１５４】
【図１】本発明の実施形態に係る顔部位判定装置の構成を示す機能ブロック図である。
【図２】被検出者の顔画像の例及び濃度状態のヒストグラムを示す説明図であり、（ａ）は光環境が良好な場合を示し、（ｂ）は光環境が悪く、暗すぎる場合を示している。
【図３】均質にされた顔画像の例及び濃度状態のヒストグラムを示す説明図であり、（ａ）は光環境良好時に得られた画像を均質にした場合を示し、（ｂ）は光環境が悪く暗すぎるときに得られた画像を均質にした場合を示している。
【図４】最大値最小値算出機能の説明図である。
【図５】濃度変換機能の説明図である。
【図６】ルックアップデータの一例を示す説明図である。
【図７】本発明の実施形態に係る顔部位判定装置のハード構成図である。
【図８】被検出者の顔の一側のみが明るいときの顔画像の例を示す説明図である。
【図９】図８に示した顔画像全体について均質化を行ったときの画像を示す説明図である。
【図１０】本実施形態に係る顔部位判定方法の概略を示すメインフローチャートである。
【図１１】図１０に示した顔部位検出処理（ＳＴ１７）の詳細な動作を示すフローチャートである。
【図１２】図１１に示した顔部位候補位置特定処理（ＳＴ２０）の詳細を示すフローチャートである。
【図１３】図１２に示したステップＳＴ３６の処理にて形成される連続データ、並びにステップＳＴ３７の処理にて定められる代表座標値Ｃ及び存在領域ＥＡを示す説明図である。
【図１４】図１３に示した存在領域ＥＡの大きさを示す説明図である。
【図１５】数人の眼の大きさを調べた横Ｘａの長さの統計データを示す説明図である。
【図１６】数人の眼の大きさを調べた縦Ｙａの長さの統計データを示す説明図である。
【図１７】存在領域ＥＡの画像上の位置を決定する方法を示す説明図である。
【図１８】被検出者の顔の一側のみが明るいときのステップＳＴ３３，ＳＴ３４の処理の説明図である。
【図１９】図１８に示した縦ラインＸａでの微分値演算及びポイント抽出を示すグラフであり、（ａ）は濃度値を示し、（ｂ）は微分値を示している。
【図２０】図１８に示した縦ラインＸｂでの微分値演算及びポイント抽出を示すグラフであり、（ａ）は濃度値を示し、（ｂ）は微分値を示している。
【図２１】図１１に示した顔部位判定処理（ＳＴ２３）の詳細を示すフローチャートである。
【図２２】微小画像を示す説明図である。
【図２３】右眼及び左眼の光環境に大きな差がある場合において微小画像ＩＧを均質化したときの様子を示す説明図である。
【図２４】範囲ＡＲでの二値化閾値の算出方法の説明図である。
【図２５】候補オブジェクトと検出対象である眼のテンプレートとの幾何形状の比較方法の説明図であり、（ａ）は候補オブジェクトが最適な状態で撮像された場合を示し、（ｂ）は眼の右側が欠けた状態を示し、（ｃ）は眼の左側が欠けた状態を示している。
【図２６】図１０に示した顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の一部を示している。
【図２７】図１０に示した顔部位追跡処理（ＳＴ１９）の詳細を示すフローチャートであり、処理の残り部分を示している。
【図２８】部位探査領域の設定処理（ＳＴ６０）の詳細を示すフローチャートである。
【図２９】顔画像の一例及びその顔画像に映る左眼周辺の拡大画像を示す説明図である。
【図３０】顔部位探査領域の大きさを示す説明図である。
【図３１】顔部位探査領域の大きさの他の例を示す説明図である。
【図３２】顔画像に映る左眼周辺の拡大画像を示す説明図であって、連続データ抽出エリアの設定例を示している。
【図３３】連続データ抽出エリアを設定した場合に検出される連続データを示している。
【図３４】被検出者の顔の一側のみが明るいときのステップＳＴ６１の処理の説明図である。
【図３５】図３４に示した顔部位探査領域画像Ａにおける顔部位候補の特定を示す説明図であり、（ａ）は顔部位探査領域画像Ａを示し、（ｂ）は濃度値を示し、（ｃ）は微分値を示している。
【図３６】図３４に示した顔部位探査領域画像Ｂにおける顔部位候補の特定を示す説明図であり、（ａ）は顔部位探査領域画像Ｂを示し、（ｂ）は濃度値を示し、（ｃ）は微分値を示している。
【図３７】図３５及び図３６のようにして得られた顔部位候補（連続データＧ）を示す説明図である。
【図３８】濃度状態を均質にしたときの様子を示す説明図である。
【符号の説明】
【０１５５】
１…顔部位判定装置
２…ＴＶカメラ
３…マイクロコンピュータ
１０…撮像部（撮像手段）
２０…顔部位検出部（顔部位検出手段）
２１…顔部位候補点特定部（候補特定手段）
２２…微小画像抽出部（微小画像抽出手段）
２３…濃度状態均質部（濃度状態均質手段）
２４…輪郭抽出部（輪郭抽出手段）
２５…顔部位判定部（顔部位判定手段）
３０…顔部位追跡部（顔部位追跡手段）
３１…顔部位探査領域抽出部（顔部位探査領域抽出手段）
３２…第２顔部位候補点特定部（候補特定手段）
３３…第２微小画像抽出部（微小画像抽出手段）
３４…第２濃度状態均質部（濃度状態均質手段）
３５…第２輪郭抽出部（輪郭抽出手段）
３６…第２顔部位判定部（顔部位判定手段）
【図１】
2007026103.tif 000004
【図４】
2007026103.tif 000005
【図５】
2007026103.tif 000006
【図６】
2007026103.tif 000007
【図１０】
2007026103.tif 000008
【図１１】
2007026103.tif 000009
【図１２】
2007026103.tif 000010
【図１４】
2007026103.tif 000011
【図１５】
2007026103.tif 000012
【図１６】
2007026103.tif 000013
【図１７】
2007026103.tif 000014
【図１９】
2007026103.tif 000015
【図２０】
2007026103.tif 000016
【図２１】
2007026103.tif 000017
【図２６】
2007026103.tif 000018
【図２７】
2007026103.tif 000019
【図２８】
2007026103.tif 000020
【図３０】
2007026103.tif 000021
【図３１】
2007026103.tif 000022
【図３５】
2007026103.tif 000023
【図３６】
2007026103.tif 000024
【図２】
2007026103.tif 000025
【図３】
2007026103.tif 000026
【図７】
2007026103.tif 000027
【図８】
2007026103.tif 000028
【図９】
2007026103.tif 000029
【図１３】
2007026103.tif 000030
【図１８】
2007026103.tif 000031
【図２２】
2007026103.tif 000032
【図２３】
2007026103.tif 000033
【図２４】
2007026103.tif 000034
【図２５】
2007026103.tif 000035
【図２９】
2007026103.tif 000036
【図３２】
2007026103.tif 000037
【図３３】
2007026103.tif 000038
【図３４】
2007026103.tif 000039
【図３７】
2007026103.tif 000040
【図３８】
2007026103.tif 000041