(57)【要約】【課題】被検出者の顔の幅方向両側の輪郭線から耳の存在の有無を確実に求めて、耳の検出精度を向上できる顔部位検出方法及びその装置を提供すること。【解決手段】被検出者の顔を前方から撮像して、この撮像された画像から被検出者の顔の輪郭を検出した後、この顔の輪郭が幅方向に不連続となる箇所を検出し、この検出された不連続点に囲まれた領域を耳領域とする。【選択図】図１
2007257322.tif 000002
【特許請求の範囲】
【請求項１】
画像上のある領域から顔部位を検出する顔部位検出方法であって、
被検出者の顔を前方から撮像して、この撮像された画像から被検出者の顔の輪郭を検出した後、この顔の輪郭が幅方向に不連続となる箇所を検出し、この検出された不連続点に囲まれた領域を耳領域とすることを特徴とする顔部位検出方法。
【請求項２】
被検出者の顔を前方から撮像する撮像手段と、
前記撮像手段より前記被検出者の顔の輪郭を検出する輪郭検出手段と、
前記輪郭検出手段によって検出された前記被検出者の顔の輪郭が幅方向に不連続となる箇所を検出する不連続点検出手段と、
前記不連続点検出手段によって検出された不連続点に囲まれた領域を耳領域とする耳領域設定手段とを、備えることを特徴とする顔部位検出装置。
【請求項３】
請求項２に記載の顔部位検出装置において、前記不連続点検出手段は、前記被検出者の顔の高さ方向で一方向に輪郭線を追跡したときに輪郭線がとぎれる輪郭切断点を検出する輪郭切断点検出手段と、前記輪郭切断点検出手段によって検出された輪郭切断点を中心に顔幅方向に隔たった位置に顔の高さ方向に伸びる別の輪郭線の有無を検出する他輪郭線検出手段とを備えると共に、前記他輪郭線検出手段によって輪郭線が検出された場合は前記輪郭切断点検出手段によって検出された輪郭切断点を不連続点とすることを特徴とする顔部位検出装置。
【請求項４】
請求項２に記載の顔部位検出装置において、前記輪郭検出手段は、前記被検出者の顔幅の中心線を規定する顔幅中心線規定手段と、前記顔幅中心線規定手段によって規定された前記顔幅中心線から顔幅方向に外側に向かって画像濃度の変化をみて白方向から黒方向に濃度値が変化する点を見つける濃度変化点検出手段とを備えると共に、前記被検出者の顔の高さ方向に順次、前記濃度変化点検出手段によって濃度変化点を見つけていき、連続する濃度変化点の集合を前記被検出者の顔の輪郭とすることを特徴とする顔部位検出装置。
【請求項５】
請求項４に記載の顔部位検出装置において、前記顔幅中心線規定手段は前記撮像手段によって撮像された画像の中心線を顔幅中心線とすることを特徴とする顔部位検出装置。
【請求項６】
請求項４に記載の顔部位検出装置において、前記顔幅中心線規定手段は、前記撮像手段によって撮像された画像から眼もしくは眉といった前記被検出者の顔の左右にほぼ対称の位置に存在する顔部位を検出する左右対称顔部位検出手段を備えると共に、前記左右対称顔部位検出手段によって検出された前記眼もしくは前記眉といった前記被検出者の顔の左右にほぼ対称の位置に存在する前記顔部位を結んだ顔部位間線分の垂直二等分線を顔幅中心線と規定することを特徴とする顔部位検出装置。
【請求項７】
請求項２に記載の顔部位検出装置において、輪郭検出手段は、時系列上で異なる時間に前記撮像手段によって撮像された複数の画像より差分画像を生成する差分画像生成手段を備えると共に、前記差分画像生成手段によって生成された前記差分画像を画像処理することによって顔の輪郭線を抽出することを特徴とする顔部位検出装置。
【請求項８】
請求項７に記載の顔部位検出装置において、前記撮像手段は時系列に連続的に動画像として撮像を行うと共に、前記差分画像生成手段は時系列的に近接した２枚の画像フレームから前記差分画像を生成することを特徴とする顔部位検出装置。
【請求項９】
請求項８に記載の顔部位検出装置において、前記差分画像生成手段は２枚の原画像から生成された前記差分画像の画素濃度を時系列的に近接した複数枚について蓄積することを特徴とする顔部位検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、被検出者の顔の輪郭から顔の向きを検出可能な顔部位検出方法及びその装置に関するものである。
【背景技術】
【０００２】
従来、例えば車両等の乗物においては、運転者（被検出者）の顔をＴＶカメラ（撮像手段）で撮像して、この撮像した顔画像を画像処理して顔の眼、耳、鼻等の顔部位を求めることにより、この顔部位を運転者の顔の特徴量として検出する顔の特徴量検出装置が知られている。この特徴両検出装置では、検出された顔部位に基づいて、顔の向きや覚醒等の運転者状態を把握することが可能となる。
【０００３】
このような顔の特徴量検出装置には、ＴＶカメラで撮像された顔画像の幅方向の最外部を耳とする画像処理をするようにしたものも知られている（例えば、特許文献１参照）。
【特許文献１】特開２００４−７８７４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
ところで、このような顔の特徴量検出装置においては、運転者がＴＶカメラの正面を向いている場合、顔画像の左右の耳を検出可能である。このような耳の位置から運転者の顔の向きを検出して、運転者状態を把握することが考えられる。
【０００５】
しかしながら、運転者の顔がＴＶカメラに対して横方向を向いた場合、片側の耳、或いは両方の耳について誤検出することが考えられる。
【０００６】
そこで、この発明は、被検出者の顔の幅方向両側の輪郭線から耳の存在の有無を確実に求めて、耳の検出精度を向上させることができる顔部位検出方法及びその装置を提供することを目的とするものである。
【課題を解決するための手段】
【０００７】
この目的を達成するため、この発明は、画像上のある領域から顔部位を検出する顔部位検出方法及びその装置であって、被検出者の顔を前方から撮像して、この撮像された画像から被検出者の顔の輪郭を検出した後、この顔の輪郭が幅方向に不連続となる箇所を検出し、この検出された不連続点に囲まれた領域を耳領域とすることを特徴とする。
【発明の効果】
【０００８】
このれらの発明によれば、被検出者の顔の幅方向両側の輪郭線から耳の存在の有無を確実に求めて、耳の検出精度を向上させることができる。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
＜第１の実施形態＞
［システムブロック図］
図１は、本発明を適用した顔部位検出装置の、第１の実施形態の構成を示すブロック図である。同図に示すように顔部位検出装置は、被検出者である検出対象者（例えば、車両の運転者）の顔を撮像して顔画像データを出力する顔画像撮像手段ＣＬ１と、顔画像撮像手段ＣＬ１で撮像された検出対象者の顔部位検出手段ＣＬ２を有する。
【００１０】
顔画像撮像手段ＣＬ１は、検出対象者の顔を時系列的に連続的に撮像して動画像の映像信号を出力する。
【００１１】
顔部位検出手段ＣＬ２は、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して画像内で顔が移っている領域を検出する顔領域検出手段ＣＬ３と、顔領域検出手段ＣＬ３により検出された運転者の顔の輪郭を検出する輪郭検出手段ＣＬ４と、輪郭検出手段ＣＬ４によって検出された検出対象者の顔の輪郭が幅方向に不連続となる箇所を検出する不連続点検出手段ＣＬ５と、不連続点検出手段ＣＬ５で検出された不連続点から耳領域を設定する耳領域設定手段ＣＬ６を備えている。
【００１２】
輪郭検出手段ＣＬ４は、顔幅中心線規定手段ＣＬ４１と、濃度変化点検出手段ＣＬ４２を備えている。
【００１３】
顔幅中心線規定手段ＣＬ４１は、顔画像撮像手段ＣＬ１によって撮像された顔画像から眼もしくは眉といった顔の左右にほぼ対称の位置に存在する顔部位を検出する左右対称顔部位検出手段ＣＬ４１１を備えている。そして、この顔幅中心線規定手段ＣＬ４１は、左右対称顔部位検出手段ＣＬ４１１によって検出された眼もしくは眉といった顔の左右にほぼ対称の位置に存在する顔部位を結んだ顔部位間線分の垂直二等分線を顔幅中心線と規定する。
【００１４】
また、濃度変化点検出手段ＣＬ４２は顔幅中心線規定手段ＣＬ４１によって規定された顔幅中心線から顔幅方向に外側に向かって画像濃度の変化をみて白方向から黒方向に濃度値が変化する点を見つける。しかも、輪郭検出手段ＣＬ４は、顔の高さ方向に順次、濃度変化点検出手段ＣＬ４２によって濃度変化点を見つけていき、連続する濃度変化点の集合を顔の輪郭とする。
【００１５】
更に、不連続点検出手段ＣＬ５は、顔の高さ方向で一方向に輪郭線を追跡したときに輪郭線がとぎれる切断点を検出する輪郭切断点検出手段ＣＬ５１と、輪郭切断点検出手段ＣＬ５１によって検出された輪郭切断点を中心に顔幅方向に隔たった位置に顔の高さ方向に伸びる別の輪郭線の有無を検出する他輪郭線検出手段ＣＬ５２とを備えている。しかも、不連続点検出手段ＣＬ５は、他輪郭線検出手段ＣＬ５２によって輪郭線が検出された場合、輪郭切断点検出手段ＣＬ５１によって検出された輪郭切断点を不連続点とする。
【００１６】
耳領域設定手段ＣＬ６は、不連続点検出手段ＣＬ５によって検出された不連続点に囲まれた領域を耳領域とし、耳領域の重心位置を顔の耳の位置とする。
【００１７】
この装置は、自動車、鉄道車両等の運転者の顔の輪郭を検出するのに用いることができるものであるが、以下に示す全ての実施形態で、自動車の運転者に適用した場合で説明する。
［機器の配置］
図２は、本発明の機器の配置図である。顔画像撮像手段ＣＬ１としてカメラ１が、自動車のインストルメント上で検出対象者（被検出者）である運転者Ｄの顔Ｄｆを略正面下側（左右方向の略正面で、水平位置よりも下側）から撮像できる位置に設置され、運転者の顔Ｄｆを撮影する。
【００１８】
カメラ１を、検出対象者の略正面下側から撮像できるように設置するのは、検出対象者の顔の左右の動きを、左右どちらについても同等に捕捉し、且つ、顔の構造物の状態を正確に捉えるためである。
【００１９】
カメラ１には、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（complement Metal Oxide Semicondutor)等の撮像素子からなる動画を撮像可能なカメラが用いられる。、本実施形態では、例えば横方向（Ｘ軸方向）６４０画素、縦方向（Ｙ軸方向）４８０画素からなるＣＣＤがカメラ１として用いられている。そして、このカメラ１は、マイクロコンピュータ２への入力画像を撮像する。このカメラ１で撮像された入力画像は、インストルメント裏側等、車体内部に設置されたマイクロコンピュータ２に画像データとして入力される。
【００２０】
このマイクロコンピュータ２には、図１に示した顔部位検出手段ＣＬ２がプログラミングされている。このマイクロコンピュータ２は、顔部位検出手段ＣＬ２のプログラミングに従って以下の処理を実行する。
［システム全体の処理］
次に、システムの処理状況について説明する。図３は、システムの全体の処理の流れを示すフローチャートである。まず、図示しないイグニッションキーによりキーシリンダがＩＧ（イグニッション位置）からスタート位置にキー操作されて、エンジンが稼働すると、図３に示す処理が開始される。この処理が開始されると、顔画像の撮像処理ステップＳ１（以下、「ステップＳ」は単に「Ｓ」と表す）で、カメラ１で検出対象者である運転者Ｄの顔Ｄｆを含む画像を撮像し、マイクロコンピュータ２に画像データとして入力し、Ｓ２に移行する。
【００２１】
Ｓ２の、顔領域検出処理では、撮像処理Ｓ１で撮像された画像から顔領域を検出する。尚、顔領域の検出処理については、従来周知の方法を用いることができるので、その詳細な説明は省略する。
【００２２】
Ｓ３では、Ｓ２の顔領域検出処理の検出結果をもとに、顔領域が検出できたかどうかを判断する。Ｓ２で顔領域が検出できている場合、Ｓ３ではＹＥＳとなり、Ｓ４の顔幅中心線規定処理に移行する。また、Ｓ２で顔領域が検出できない場合は、Ｓ３でＮＯなり、Ｓ１の顔画像の撮像処理へ処理を戻し、顔領域が検出できるまで、Ｓ２の顔領域検出処理を繰り返す。
【００２３】
Ｓ４の顔幅中心線規定処理では、Ｓ２の顔領域検出処理で検出された顔領域の顔幅中心線Ｌを図４〜図７に示したように求め、Ｓ５の画像濃度変化点検出処理に移行する。尚、図４，図６は正面を向いている状態を示し、図５，図７は左側を見ている状態を示す。そして、図４，図６では左右の耳が見えており、図５，図７では右の耳のみが見えている状態となっている。
【００２４】
ところで、Ｓ４の顔幅中心線Ｌを求める方法としては例えば次のような方法がある。
【００２５】
まず、第一の方法としては、図４，図５に示したように、Ｓ２で検出された顔画像３がカメラ１で撮像された画像４の略中央に位置していると判断できるような場合、或いはＳ２で検出された顔画像３がカメラ１で撮像された画像４の略全体にあるような場合、顔幅中心線規定手段ＣＬ４１により画像４の左右方向中央を顔画像３の顔幅中心線とする方法がある。この顔幅中心線の設定方法は、運転者（ドライバー）は運転している時はほとんど顔の位置が動かないから顔幅中心線を固定してしまってもいいという考えに基づくものである。
【００２６】
また、第二の方法としては、図５，図６に示した様に運転者の左右の眼５Ｌ，５Ｒを検出して、左右の眼５Ｌ，５Ｒ間の中心Ｏを通り且つ左右の眼５Ｌ，５Ｒの中心５Ｌｃ，５Ｒｃ間を結ぶ線６に対して垂直な線を顔幅中心線規定手段ＣＬ４１により顔幅中心線Ｌとする方法がある。尚、眼の位置を求める方法としては従来周知の画像処理方法を用いることができるので、その詳細な説明は省略する。
【００２７】
Ｓ５の画像濃度変化点検出処理では、顔幅中心線Ｌから顔幅方向の外側に向かって画像濃度の変化をみて白方向から黒方向に濃度値が変化する点を濃度変化点検出手段ＣＬ４２により検出し、Ｓ６の切断点検出処理に移行する。例えば、図８（ａ）に示した眼５Ｌ，５Ｒより僅かに下方の水平線７における顔からの反射光量を見てみると、図８（ｂ）に示したように反射光量が変化する。この図８（ｂ）において、ｘ１〜ｘ２の範囲は右側の髪の毛の部分の明るさの変化を示し、ｘ２〜ｘ３の範囲は顔の部分の明るさの変化を示し、ｘ３〜ｘ４は左側の髪の毛の明るさの変化を示す。
【００２８】
従って、白方向から黒方向に濃度値が変化する濃度変化点ｘ２，ｘ３を検出する。このような検出は縦方向全体にわたって所定間隔毎に実行して、図９に示したように顔の高さ方向に濃度変化点ｘ２，ｘ３を順次検出していき、この検出した高さ方向の濃度変化点ｘ２，ｘ３の集合を縦方向に繋いで顔の輪郭とし、Ｓ６の顔の輪郭切断点検出処理に移行する。図１０では左側の顔の輪郭ＦＬ１，ＦＬ２，ＦＬ３と右側の顔の輪郭ＦＲ１，ＦＲ２，ＦＲ３が検出されている。また、図１１では左側の顔の輪郭ＦＬ１と右側の顔の輪郭ＦＲ１，ＦＲ２，ＦＲ３が検出されている。尚、図９に示す眼、鼻、口等における濃度変化点Ｅｐ，Ｎｐ，Ｍｐは、高さ方向（縦方向）にたくさん並ぶように集合していないので、顔の輪郭を構成する濃度変化点ｘ２，ｘ３ではない（ノイズ）と判断する。
【００２９】
Ｓ６の切断点検出処理では、顔の高さ方向で一方向に輪郭線を追跡したときに輪郭線がとぎれる切断点を輪郭切断点検出手段ＣＬ５１で検出して、Ｓ７の他輪郭検出処理に移行する。図１２では輪郭線ＦＬ１，ＦＬ２，ＦＬ３の切断点Ｌｃ１１，ＬＣ１２，Ｌｃ２１，ＬＣ２２，Ｌｃ３１，Ｌｃ３２、輪郭線ＦＲ１，ＦＲ２，ＦＲ３の切断点Ｒｃ１１，Ｒｃ１２，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１，Ｒｃ３２を検出する。また、図１３では左の輪郭線ＦＬ１の切断点Ｌｃ１１，Ｌｃ１２を検出すると共に、右側の顔の輪郭線ＦＲ１，ＦＲ２，ＦＲ３の切断点Ｒｃ１１，Ｒｃ１２，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１，Ｒｃ３２を検出する。
【００３０】
Ｓ７の他輪郭検出処理では、輪郭線ＦＬ１，ＦＬ２，ＦＬ３や輪郭線ＦＲ１，ＦＲ２，ＦＲ３がそれぞれ他の輪郭であることを他輪郭線検出手段ＣＬ５２で検出し、Ｓ８の不連続点検出処理に移行する。
【００３１】
この他輪郭検出処理の例を、例えば図１４に示したように顔の左側の輪郭線ＦＲ１，ＦＲ２，ＦＲ３について説明する。この図１４において、輪郭線ＦＲ１の切断点Ｒｃ１２を中心に例えば左右３０〜５０画素、上下に５〜１０画素の探査領域８を設定する。そして、他輪郭線検出手段ＣＬ５２は、探査領域８内に水平方向（左右）に乖離した輪郭線ＦＲ１，ＦＲ２があるか否かを判断して、乖離した輪郭線ＦＲ１，ＦＲ２がある場合、輪郭線ＦＲ２は輪郭線ＦＲ１に対して他輪郭として検出する。
【００３２】
この探査領域８は、図１５に示したように切断点Ｒｃ１１，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１，Ｒｃ３２にそれぞれ設定し、輪郭線ＦＲ１，ＦＲ２，ＦＲ３がそれぞれ他輪郭であることを検出する。輪郭線ＦＬ１，ＦＬ２，ＦＬ３についても同様にしてそれぞれ他輪郭であることが検出できる。
【００３３】
Ｓ８の不連続点検出処理では、Ｓ７で検出した輪郭線ＦＲ１，ＦＲ２，ＦＲ３がそれぞれ他輪郭線であるので、切断点Ｒｃ１２，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１を輪郭線ＦＲ１，ＦＲ２，ＦＲ３の不連続点として検出する。即ち、この不連続点の検出でも上述した探査領域８を用いる。例えば図１４において、探査領域８内に水平方向（左右）に乖離した輪郭線ＦＲ１，ＦＲ２がある場合、輪郭線ＦＲ１，ＦＲ２が連続していないので、探査領域８の中心の切断点Ｒｃ１２は輪郭線ＦＲ２に対し不連続点として検出される。切断点Ｌｃ１２，Ｌｃ２１，Ｌｃ２２，Ｌｃ３１や切断点Ｒｃ２１，Ｒｃ２２，Ｒｃ３１についても同様にして不連続点として検出できる。この結果、図１２〜図１５の切断点Ｒｃ１１，Ｒｃ３２は不連続点ではないとして検出でき、図１３の切断点Ｌｃ１１，Ｌｃ１２は不連続点はないとして検出できる。
【００３４】
同様にこのＳ８では、Ｓ７で輪郭線ＦＬ１，ＦＬ２，ＦＬ３や輪郭線ＦＲ１，ＦＲ２，ＦＲ３がそれぞれ他輪郭線であるので、不連続点検出手段ＣＬ５がＳ６で検出した切断点Ｌｃ１２，Ｌｃ２１，Ｌｃ２２，Ｌｃ３１を輪郭線ＦＬ１，ＦＬ２，ＦＬ３の不連続点として検出し、Ｓ９の耳領域検出処理に移行する。この結果、図１２の切断点Ｌｃ１１，Ｌｃ３２は不連続点ではないとして検出でき、図１３の切断点Ｌｃ１１，Ｌｃ１２は不連続点でないとして検出できる。
【００３５】
Ｓ９の耳領域検出処理では、耳領域設定手段ＣＬ６が不連続点に囲まれた領域を耳領域として、Ｓ１０の耳位置設定処理に移行する。即ち、図１２では、不連続点である切断点Ｌｃ１２，Ｌｃ２１，Ｌｃ２２，Ｌｃ３１で囲まれた領域を左の耳領域ＥＬとし、不連続点である切断点Ｒｃ１２，Ｒｃ２１，Ｌｃ２２，Ｒｃ３１で囲まれた領域を右の耳領域ＥＲ（図１６参照）とする。図１３では、不連続点である切断点Ｒｃ１２，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１で囲まれた領域を右の耳領域ＥＲとする。
【００３６】
このステップＳ１０の耳位置設定処理では、耳領域設定手段ＣＬ６が耳領域ＥＬの重心位置Ｌｇ（図１２参照）を左の耳位置とし、耳領域設定手段ＣＬ６が耳領域ＥＲの重心位置Ｒｇを右の耳位置として、ステップＳ１１に移行する。
【００３７】
Ｓ１１（図１２，図１３参照）では、撮像された運転者の顔画像の左右に耳が検出されているか否か（２つあるか否か）を判断して、左右に耳が検出されている場合にはＳ１に戻って輪郭検出の処理を繰り返し、左右のいずれか一方でも耳が検出されてない場合にはＳ１２に移行する。
【００３８】
このＳ１２では、顔が横方向に大きく向いているとして、運転者に運転上のアドバイス等を報知して、ステップＳ１３に移行する。
【００３９】
このステップＳ１３では、イグニッションキーがＩＧ位置（イグニッション位置）からＡＣＣ位置（アクセサリ位置）に回されてエンジンが停止したか否かが判断され、停止していなければＳ１に戻って輪郭検出の処理を繰り返させ、停止していれば終了する。
【００４０】
尚、図９，図１０、図１２は正面を向いている状態を示し、図１１，図１３は左側を見ている状態を示す。そして、図９，図１０，図１２では左右の耳が見えており、図１１，図１３では右の耳のみが見えている状態となっている。
【００４１】
また、上述した例では、画像４の左右方向中央を顔画像３の顔幅中心線とする場合について説明したが、必ずしもこれに限定されるものではない。例えば、カメラ１がセンターコンソール付近に設置され、広角レンズで車室内を広く撮影して運転手のみならず車室内の状況を撮像するようなカメラであれば、画像内のオフセットした場所に顔幅中心線が設定されても良い。
＜第２の実施形態＞
この第２の実施形態では、顔画像撮像手段ＣＬ１から時系列的に連続して出力される動画像から近接した２枚の画像フレームを抽出して、抽出した２枚の画像フレームから差分画像を生成し、この差分画像の画素濃度に基づいて顔の輪郭線を求めるようにしている。
［システムブロック図］
図１７は、本発明を適用した顔部位検出装置の、第２の実施形態の構成を示すブロック図である。同図に示すように顔部位検出装置は、被検出者である検出対象者（例えば、車両の運転者）の顔を撮像して顔画像データを出力する顔画像撮像手段ＣＬ１と、顔画像撮像手段ＣＬ１で撮像された検出対象者の顔部位検出手段ＣＬ２ａを有する。
【００４２】
顔画像撮像手段ＣＬ１は、検出対象者の顔を時系列的に連続的に撮像して動画像の映像信号を出力し、この動画像の映像信号を顔部位検出手段ＣＬ２ａに入力する。
【００４３】
顔部位検出手段ＣＬ２ａは、顔画像撮像手段ＣＬ１から出力された顔画像データを処理して画像内で顔が移っている領域を検出する顔領域検出手段ＣＬ３と、顔領域検出手段ＣＬ３により検出された運転者の顔の輪郭を検出する輪郭検出手段ＣＬ４ａと、輪郭検出手段ＣＬ４ａによって検出された検出対象者の顔の輪郭が幅方向に不連続となる箇所を検出する不連続点検出手段ＣＬ５を備えている。
【００４４】
輪郭検出手段ＣＬ４ａは、顔画像撮像手段ＣＬ１で撮像された運転者の顔の輪郭線を差分画像処理により生成（検出）する差分画像生成手段ＣＬ７と、差分画像生成手段ＣＬ７により生成された差分画像をから二値化処理画像を生成する二値化画像処理手段ＣＬ８と、この二値化処理画像から縦方向に延びる線を検出する縦輪郭線検出手段ＣＬ９を備えている。
【００４５】
差分画像生成手段ＣＬ７は、顔画像撮像手段ＣＬ１から時系列的に連続して出力される動画像から近接した２枚の画像フレームを抽出して、抽出した２枚の画像フレームから差分画像を生成し、差分画像の画素濃度を図示しないメモリ等に記憶させる。この差分画像の生成は時系列的に順次実行し、この順次生成される差分画像は複数枚が図示しないフレームメモリに時系列的に順次更新しながら記憶される。
［機器の配置］
機器の配置は、第１の実施の形態と同じであるので、図示は省略する。この発明の実施の形態では、図２のマイクロコンピュータ２に図１７に示した顔部位検出手段ＣＬ２ａがプログラミングされる。このマイクロコンピュータ２は、顔部位検出手段ＣＬ２ａのプログラミングに従って以下の処理を実行する。
［システム全体の処理］
次に、システムの処理状況について説明する。図１８は、システムの全体の処理の流れを示すフローチャートである。まず、図示しないイグニッションキーによりキーシリンダがＩＧ（イグニッション位置）からスタート位置にキー操作されて、エンジンが稼働すると、図３に示す処理が開始される。この処理が開始されると、顔画像の撮像処理ステップＳ２０（以下、「ステップＳ」は単に「Ｓ」と表す）で、図２のカメラ１で検出対象者の顔画像を撮像し、マイクロコンピュータ２に画像データとして入力し、Ｓ２１に移行する。
【００４６】
Ｓ２１の、顔領域検出処理では、顔画像の撮像処理Ｓ２０で撮像された画像（例えば、コントラストや画像内の動きの変化等）から顔領域を検出し、Ｓ２２に移行する。
【００４７】
Ｓ２２では、Ｓ２１の顔領域検出処理の検出結果をもとに、顔領域が検出できたかどうかを判断する。Ｓ２１で顔領域が検出できている場合、Ｓ２２ではＹＥＳとなり、Ｓ２３の差分画像処理に移行する。Ｓ２１で顔領域が検出できない場合は、Ｓ２２でＮＯとなり、Ｓ２０の顔画像の撮像処理へ処理を戻し、顔領域が検出できるまで、Ｓ２１の顔領域検出処理を繰り返す。
【００４８】
Ｓ２３の差分画像処理では、図２のカメラ１から時系列的に連続して出力される動画像から近接した２枚の画像フレームを抽出して、抽出した２枚の画像フレームから差分画像生成手段ＣＬ７により差分画像を生成し、この差分画像の画素濃度を図示しないフレームメモリ（図示せず）に記憶させ、Ｓ２４に移行する。即ち、図１９（ａ）の前フレームの画像と図１９（ｂ）の現フレームの画像を抽出し、この抽出した２枚の画像フレームの差分画像を図１９（ｃ）の如く生成し、Ｓ２４に移行する。
【００４９】
尚、この差分画像の生成は時系列的に近接した画像フレームについて順次実行し、この順次生成される差分画像の複数枚を時系列的にフレームメモリに記憶させる。この際、フレームメモリに時系列的に記憶させた複数枚の差分画像は順次更新させて、フレームメモリに記憶されている複数枚の差分画像が順に新しい時系列のものとなるようにする。
【００５０】
Ｓ２４では、差分画像生成手段ＣＬ７で生成した差分画像を二値化画像処理手段ＣＬ８により二値化処理して、図１９（ｄ）に示したような二値化処理画像を生成し、Ｓ２５の輪郭線検出処理に移行する。
【００５１】
このＳ２５の輪郭線検出処理では、縦輪郭線検出手段ＣＬ９が図２０[図１９（ｄ）と同じ]の二値化処理画像から、高さ方向に連続する顔の左の縦線であるＦＬ１，ＦＬ２，ＦＬ３を顔の左の輪郭線として検出し、高さ方向に連続する顔の右の縦線であるＦＲ１，ＦＲ２，ＦＲ３を顔の右の輪郭線として検出し、Ｓ２６の切断点検出処理に移行する。
【００５２】
この際、眼において検出される縦線１０や鼻において検出される縦線１１は、長さが短いので顔の輪郭を構成する変化点ではないと判断する。また、髪の毛と背景との間の縦線１２は、耳の部分の縦線に略連なっているので、顔の輪郭線としない。
【００５３】
Ｓ２６の切断点検出処理では、顔の高さ方向で一方向に輪郭線を追跡したときに輪郭線がとぎれる切断点を輪郭切断点検出手段ＣＬ５１で検出して、Ｓ２７の他輪郭検出処理に移行する。図１２では輪郭線ＦＬ１，ＦＬ２，ＦＬ３の切断点Ｌｃ１１，ＬＣ１２，Ｌｃ２１，ＬＣ２２，Ｌｃ３１，Ｌｃ３２、輪郭線ＦＲ１，ＦＲ２，ＦＲ３の切断点Ｒｃ１１，Ｒｃ１２，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１，Ｒｃ３２を検出する。また、図１３では左の輪郭線ＦＬ１の切断点Ｌｃ１１，Ｌｃ１２を検出すると共に、右側の顔の輪郭線ＦＲ１，ＦＲ２，ＦＲ３の切断点Ｒｃ１１，Ｒｃ１２，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１，Ｒｃ３２を検出する。
【００５４】
Ｓ２７の他輪郭検出処理では、輪郭線ＦＬ１，ＦＬ２，ＦＬ３や輪郭線ＦＲ１，ＦＲ２，ＦＲ３がそれぞれ他の輪郭であることを他輪郭線検出手段ＣＬ５２で検出し、Ｓ２８の不連続点検出処理に移行する。
【００５５】
この他輪郭検出処理の例を、例えば図１４に示したように顔の左側の輪郭線ＦＲ１，ＦＲ２，ＦＲ３について説明する。この図１４において、輪郭線ＦＲ１の切断点Ｒｃ１２を中心に例えば左右３０〜５０画素、上下に５〜１０画素の探査領域８を設定する。そして、他輪郭線検出手段ＣＬ５２は、探査領域８内に水平方向（左右）に乖離した輪郭線ＦＲ１，ＦＲ２があるか否かを判断して、乖離した輪郭線ＦＲ１，ＦＲ２がある場合、輪郭線ＦＲ２は輪郭線ＦＲ１に対して他輪郭として検出する。
【００５６】
この探査領域８は、図１５に示したように切断点Ｒｃ１１，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１，Ｒｃ３２にそれぞれ設定し、輪郭線ＦＲ１，ＦＲ２，ＦＲ３がそれぞれ他輪郭であることを検出する。輪郭線ＦＬ１，ＦＬ２，ＦＬ３についても同様にしてそれぞれ他輪郭であることが検出できる。
【００５７】
Ｓ２８の不連続点検出処理では、Ｓ２７で検出した輪郭線ＦＲ１，ＦＲ２，ＦＲ３がそれぞれ他輪郭線であるので、切断点Ｒｃ１２，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１を輪郭線ＦＲ１，ＦＲ２，ＦＲ３の不連続点として検出する。即ち、この不連続点の検出でも上述した探査領域８を用いる。例えば図１４において、探査領域８内に水平方向（左右）に乖離した輪郭線ＦＲ１，ＦＲ２がある場合、輪郭線ＦＲ１，ＦＲ２が連続していないので、探査領域８の中心の切断点Ｒｃ１２は輪郭線ＦＲ２に対し不連続点として検出される。切断点Ｌｃ１２，Ｌｃ２１，Ｌｃ２２，Ｌｃ３１や切断点Ｒｃ２１，Ｒｃ２２，Ｒｃ３１についても同様にして不連続点として検出できる。この結果、図１２〜図１５の切断点Ｒｃ１１，Ｒｃ３２は不連続点ではないとして検出でき、図１３の切断点Ｌｃ１１，Ｌｃ１２は不連続点でないとして検出できる。
【００５８】
同様にこのＳ２８では、Ｓ２７で輪郭線ＦＬ１，ＦＬ２，ＦＬ３や輪郭線ＦＲ１，ＦＲ２，ＦＲ３がそれぞれ他輪郭線であるので、不連続点検出手段ＣＬ５がＳ２６で検出した切断点Ｌｃ１２，Ｌｃ２１，Ｌｃ２２，Ｌｃ３１を輪郭線ＦＬ１，ＦＬ２，ＦＬ３の不連続点として検出し、Ｓ２９の耳領域検出処理に移行する。この結果、切断点Ｌｃ１１，Ｌｃ３２は不連続点ではないとして検出できる。
【００５９】
Ｓ２９の耳領域検出処理では、不連続点に囲まれた領域を耳領域として、Ｓ３０の耳位置設定処理に移行する。即ち、図１２では、不連続点である切断点Ｌｃ１２，Ｌｃ２１，Ｌｃ２２，Ｌｃ３１で囲まれた領域を左の耳領域ＥＬとし、不連続点である切断点Ｒｃ１２，Ｒｃ２１，Ｌｃ２２，Ｒｃ３１で囲まれた領域を右の耳領域ＥＲ（図１６参照）とする。図１３では、不連続点である切断点Ｒｃ１２，Ｒｃ２１，Ｒｃ２２，Ｒｃ３１で囲まれた領域を右の耳領域ＥＲとする。
【００６０】
このステップＳ３０の耳位置設定処理では、耳領域設定手段ＣＬ６が耳領域ＥＬの重心位置Ｌｇ（図１２参照）を左の耳位置とし、耳領域設定手段ＣＬ６が耳領域ＥＲの重心位置Ｒｇを右の耳位置として、ステップＳ３１に移行する。
【００６１】
Ｓ３１（図１２，図１３参照）では、撮像された運転者の顔画像の左右に耳が検出されているか否か（２つあるか否か）を判断して、左右に耳が検出されている場合にはＳ２０に戻って輪郭検出の処理を繰り返し、左右のいずれか一方でも耳が検出されてない場合にはＳ３２に移行する。
【００６２】
このＳ３２では、顔が横方向に大きく向いているとして、運転者に運転上のアドバイス等を報知して、Ｓ２０に戻って輪郭検出の処理を繰り返させる。
【００６３】
このＳ３２では、顔が横方向に大きく向いているとして、運転者に運転上のアドバイス等を報知して、ステップＳ３３に移行する。
【００６４】
このステップＳ３３では、イグニッションキーがＩＧ位置（イグニッション位置）からＡＣＣ位置（アクセサリ位置）に回されてエンジンが停止したか否かが判断され、停止していなければＳ２０に戻って輪郭検出の処理を繰り返させ、停止していれば終了する。
【００６５】
尚、図９，図１０、図１２は正面を向いている状態を示し、図１１，図１３は左側を見ている状態を示す。そして、図９，図１０，図１２では左右の耳が見えており、図１１，図１３では右の耳のみが見えている状態となっている。
【００６６】
以上説明したように、この発明の実施の形態の顔部位検出方法は、被検出者の顔を前方から撮像して、この撮像された画像から被検出者の顔の輪郭を検出した後、この顔の輪郭が幅方向に不連続となる箇所を検出し、この検出された不連続点に囲まれた領域を領域とするようになっている。
【００６７】
即ち、この顔部位検出方法は、被検出者の顔を前方から撮像手段（顔画像取得手段ＣＬ１，カメラ１）で撮像して、この撮像手段（顔画像取得手段ＣＬ１，カメラ１）で撮像された画像から被検出者の顔の輪郭を輪郭検出手段（ＣＬ４，ＣＬ４ａ）で検出した後、この顔の輪郭が幅方向に不連続となる箇所を不連続点検出手段ＣＬ５で検出し、この検出された不連続点に囲まれた領域を耳領域設定手段ＣＬ６で耳領域とするようになっている。
【００６８】
この方法によれば、被検出者（Ｄ）の顔（Ｄｆ）の幅方向両側の輪郭線から耳の存在を確実に求めることができるので、耳の検出精度を向上させることができる。
【００６９】
また、この発明の実施の形態の顔部位検出装置は、被検出者（運転者Ｄ）の顔（Ｄｆ）を前方から撮像する撮像手段（顔画像撮像手段ＣＬ１，カメラ１）と、前記撮像手段（顔画像撮像手段ＣＬ１，カメラ１）より前記被検出者（Ｄ）の顔の輪郭を検出する輪郭検出手段（ＣＬ４，ＣＬ４ａ）と、
前記輪郭検出手段（ＣＬ４，ＣＬ４ａ）によって検出された前記被検出者（Ｄ）の顔（Ｄｆ）の輪郭が幅方向に不連続となる箇所を検出する不連続点検出手段ＣＬ５と、前記不連続点検出手段ＣＬ５によって検出された不連続点に囲まれた領域を耳領域（ＥＬ，ＥＲ）とする耳領域設定手段ＣＬ６とを備えている。
【００７０】
この構成によれば、被検出者（Ｄ）の顔（Ｄｆ）の幅方向両側の輪郭線から耳の存在を確実に求めることができるので、耳の検出精度を向上させることができる。
【００７１】
また、この発明の実施の形態の顔部位検出装置の前記不連続点検出手段ＣＬ５は、前記被検出者（Ｄ）の顔（ＤＦ）の高さ方向で一方向に輪郭線（ＦＬ１〜ＦＬ３，ＦＲ１〜ＦＲ３）を追跡したときに輪郭線がとぎれる輪郭切断点（切断点Ｌｃ１２，Ｌｃ２１，Ｌｃ２２，Ｌｃ３１、切断点Ｒｃ１２，Ｒｃ２１，Ｌｃ２２，Ｒｃ３１）を検出する輪郭切断点検出手段ＣＬ５１と、前記輪郭切断点検出手段ＣＬ５１によって検出された前記輪郭切断点（切断点Ｌｃ１２，Ｌｃ２１，Ｌｃ２２，Ｌｃ３１、切断点Ｒｃ１２，Ｒｃ２１，Ｌｃ２２，Ｒｃ３１）を中心に顔幅方向に隔たった位置に顔の高さ方向に伸びる別の輪郭線の有無を検出する他輪郭線検出手段ＣＬ５２とを備えている。しかも、前記不連続点検出手段ＣＬ５は、前記他輪郭線検出手段ＣＬ５２によって輪郭線が検出された場合は前記輪郭切断点検出手段ＣＬ５１によって検出された前記輪郭切断点を不連続点とするようになっている。
【００７２】
この構成によれば、被検出者（Ｄ）の顔（Ｄｆ）の幅方向両側、即ち顔画像３の両側に高さ方向に延びる輪郭線を検出した場合において、顔幅方向の各側に複数の高さ方向に延びる輪郭線がそれぞれ他輪郭線としてあるか否かを検出できる。しかも、顔幅方向の各側に複数の高さ方向に延びる輪郭線がそれぞれ他輪郭線としてある場合には、複数の輪郭線と輪郭切断点から輪郭線同士の不連続点を検出できる。そして、この不連続点で囲まれる部分を耳領域とすることができる。
【００７３】
また、この発明の実施の形態の顔部位検出装置の前記輪郭検出手段（ＣＬ４，ＣＬ４ａ）は、前記被検出者（Ｄ）の顔の顔幅中心線Ｌを規定する顔幅中心線規定手段ＣＬ４１と、前記顔幅中心線規定手段ＣＬ４１によって規定された前記顔幅中心線から顔幅方向に外側に向かって画像濃度の変化をみて白方向から黒方向に濃度値が変化する点を見つける濃度変化点検出手段ＣＬ４２とを備えている。しかも、前記輪郭検出手段（ＣＬ４，ＣＬ４ａ）は、前記被検出者（Ｄ）の顔の高さ方向に順次、前記濃度変化点検出手段ＣＬ４２によって濃度変化点を見つけていき、連続する濃度変化点の集合を前記被検出者（Ｄ）の顔（Ｄｆ）の輪郭とするようになっている。
【００７４】
この構成によれば、被検出者（Ｄ）の顔幅方向両側の高さ方向に延びる輪郭線を容易に検出できる。
【００７５】
更に、この発明の実施の形態の顔部位検出装置の前記顔幅中心線規定手段ＣＬ４１は前記撮像手段によって撮像された画像の中心線を顔幅中心線とするようになっている。
【００７６】
この構成によれば、顔画像の中心線の規定が単純で容易であるので、顔画像の中心線を顔画像から求める場合に比べて、画像処理時間を短縮できる。尚、この構成では、被検出者が運転者（ドライバー）である場合、運転しているとき殆ど顔の位置が動かないので、顔画像が撮像手段で撮像された画像の略中心又は画像の略全体にある場合、顔幅中心線を画像の幅方向の中心に固定しても良いからである。
【００７７】
また、この発明の実施の形態の顔部位検出装置の前記顔幅中心線規定手段ＣＬ４１は、前記撮像手段（顔画像撮像手段ＣＬ１，カメラ１）によって撮像された画像から眼もしくは眉といった前記被検出者の顔の左右にほぼ対称の位置に存在する顔部位を検出する左右対称顔部位検出手段ＣＬ４１１を備えている。しかも、前記顔幅中心線規定手段ＣＬ４１は、前記左右対称顔部位検出手段ＣＬ４１１によって検出された前記眼もしくは前記眉といった前記被検出者の顔の左右にほぼ対称の位置に存在する前記顔部位を結んだ顔部位間線分の垂直二等分線を顔幅中心線Ｌと規定するようになっている。
【００７８】
この構成によれば、顔画像の顔幅方向の中央部側に位置する左右対称の顔部位を検出するようにしているので、耳の画像の一方が顔画像にないような場合でも顔幅中心線Ｌを確実に求めて、顔幅方向両側において高さ方向に延びる輪郭線を求めることができる。
【００７９】
また、この発明の実施の形態の顔部位検出装置の輪郭検出手段ＣＬ４ａは、時系列上で異なる時間に前記撮像手段（顔画像撮像手段ＣＬ１，カメラ１）によって撮像された複数の画像より差分画像を生成する差分画像生成手段ＣＬ７を備えている。しかも、輪郭検出手段は、前記差分画像生成手段ＣＬ７によって生成された前記差分画像を画像処理することによって顔の輪郭線を抽出するようになっている。この構成によれば、複数枚の差分画像の輪郭線を時系列的に検出できる。
【００８０】
更に、この発明の実施の形態の顔部位検出装置の前記撮像手段（顔画像撮像手段ＣＬ１，カメラ１）は時系列に連続的に動画像として撮像を行うと共に、前記差分画像生成手段ＣＬ７は時系列的に近接した２枚の画像フレームから前記差分画像を生成する。この構成によれば、複数枚の差分画像の輪郭線を連続する時系列で検出できる。
【００８１】
また、この発明の実施の形態の顔部位検出装置の前記差分画像生成手段は、２枚の原画像（画像フレーム）から生成された前記差分画像の画素濃度を時系列的に近接した複数枚について蓄積するようになっている。この構成によれば、複数枚の差分画像の画素濃度を連続する時系列で蓄積できるので、蓄積される差分画像を順次新しいものに更新することで、連続的な輪郭線の変化を検出することができる。この結果、顔の左右方向或いは上下方向への向きの変化を時間の変化と共に連続的に検出して、被検出者の顔の動きを連続的に監視できる。
【図面の簡単な説明】
【００８２】
【図１】本発明の第１の実施形態に係る顔部位検出装置の構成を示すブロック図である。
【図２】図１の顔部位検出装置を車両に搭載した場合の配置を示す説明図である。
【図３】第１の実施形態に係る顔部位検出装置の処理動作を示すフローチャートである。
【図４】図１に示した顔幅中心線規定手段により規定される顔幅中心線を画像の幅方向中心として、この顔幅中心線と顔画像の一例との関係を示した説明図である。
【図５】図１に示した顔幅中心線規定手段により規定される顔幅中心線を画像の幅方向中心として、この顔幅中心線と顔画像の他の例との関係を示した説明図である。
【図６】図１に示した顔幅中心線規定手段により規定される顔幅中心線を左右の眼から求めて表示すると共に、この顔幅中心線と顔画像の一例との関係を示す説明図である。
【図７】図１に示した顔幅中心線規定手段により規定される顔幅中心線を左右の眼から求めて表示すると共に、この顔幅中心線と顔画像の他の関係を示す説明図である。
【図８】（ａ）は顔画像濃度の変化点を検出するための顔高さ方向の検出位置の説明図、（ｂ）は（ａ）の検出位置における顔幅方向の画像濃度の変化を示す画像濃度変化曲線図である。
【図９】図１の濃度変化点検出手段により検出された濃度変化点の集合を示す説明図である。
【図１０】図９の濃度変化点の集合を繋ぐことにより求められた輪郭線の一例を示す説明図である。
【図１１】図９の濃度変化点の集合を繋ぐことにより求められた輪郭線の他の例を示す説明図である。
【図１２】図９の輪郭線から求められる耳領域及び耳位置を示す説明図である。
【図１３】図１０の輪郭線から求められる耳領域及び耳位置を示す説明図である。
【図１４】顔の複数の輪郭線から輪郭線の不連続点の一つを求めるための説明図である。
【図１５】図１４の不連続点の求め方を用いて他の輪郭線の不連続点を求めるための説明図である。
【図１６】図１５のようにして求められた不連続点から耳領域及び耳位置を求めるための説明図である。
【図１７】本発明の第２の実施形態に係る顔部位検出装置の構成を示すブロック図である。
【図１８】第２の実施形態に係る顔部位検出装置の処理動作を示すフローチャートである。
【図１９】図１７の差分画像生成手段により差分画像を生成するための説明図である。
【図２０】図１９で求められた差分画像から高さ方向の輪郭線を求めるための説明図である。
【図２１】図１９で求められた高さ方向の輪郭線と顔画像との関係を示す説明図である。
【符号の説明】
【００８３】
１…カメラ（撮像手段）
ＣＬ１…顔画像撮像手段（撮像手段）
ＣＬ４…輪郭検出手段
ＣＬ４１…顔幅中心線規定手段
ＣＬ４１１…左右対称顔部位検出手段
ＣＬ４２…濃度変化点検出手段
ＣＬ４ａ…輪郭検出手段
ＣＬ５…不連続点検出手段
ＣＬ５１…輪郭切断点検出手段
ＣＬ５２…他輪郭線検出手段
ＣＬ６…耳領域設定手段
ＣＬ７…差分画像生成手段
Ｄ…運転者（被検出者）
Ｄｆ…顔
ＥＬ，ＥＲ…耳領域
ＦＬ１〜ＦＬ３…輪郭線
ＦＲ１〜ＦＲ３…輪郭線
Ｌｃ１２，Ｌｃ２１，Ｌｃ２２，Ｌｃ３１…切断点（輪郭切断点）
Ｒｃ１２，Ｒｃ２１，Ｌｃ２２，Ｒｃ３１…切断点（輪郭切断点）
【図１】
2007257322.tif 000003
【図２】
2007257322.tif 000004
【図３】
2007257322.tif 000005
【図１７】
2007257322.tif 000006
【図１８】
2007257322.tif 000007
【図４】
2007257322.tif 000008
【図５】
2007257322.tif 000009
【図６】
2007257322.tif 000010
【図７】
2007257322.tif 000011
【図８】
2007257322.tif 000012
【図９】
2007257322.tif 000013
【図１０】
2007257322.tif 000014
【図１１】
2007257322.tif 000015
【図１２】
2007257322.tif 000016
【図１３】
2007257322.tif 000017
【図１４】
2007257322.tif 000018
【図１５】
2007257322.tif 000019
【図１６】
2007257322.tif 000020
【図１９】
2007257322.tif 000021
【図２０】
2007257322.tif 000022
【図２１】
2007257322.tif 000023