(57)【要約】【課題】顔の姿勢変化に対応して顔器官を検出し、顔向きを推定する。【解決手段】顔画像データの信号入力部１０１、入力ＲＧＢ信号から色相，彩度，明るさの３要素を持つ信号に変換する色空間変換部１０２、前記色相と彩度の値から、肌色に近い色相，彩度を持つ信号のみを抽出し、その抽出信号が最も多く集まる矩形領域を顔領域として抽出する顔領域抽出部１０３、顔器官特徴点の候補を検出する顔器官特徴点候補検出部１０４、前記顔器官特徴点候補の中から６点を選択する顔器官特徴点候補組合せ部１０５、前記顔器官特徴点候補組合せ部で選択された点から射影不変量を計算し、基準顔画像から計算される射影不変量とを比較し、真の顔器官特徴点を探索する不変量探索部１０６、前記探索結果から顔向きを推定する顔向き推定部１０７を備える。【選択図】  図１
2004252511.tif 000002
【特許請求の範囲】
【請求項１】
顔画像を入力し、
前記顔画像から顔器官特徴点の候補を検出し、
検出された前記顔器官特徴点の候補の中から射影不変量を用いて顔器官特徴点を検出し、
前記顔器官特徴点と予め登録された正面顔の顔器官特徴点との間で、対応する顔器官特徴点の位置ずれから顔の向きを推定する顔向き推定方法。
【請求項２】
請求項１記載の顔向き推定方法において、
顔に光線を照射し、
前記光線の照射による前記顔からの反射光を検出し、
前記反射光を顔画像データに変換して前記顔画像を入力する顔向き推定方法。
【請求項３】
請求項１記載の顔向き推定方法において、
前記顔画像の撮影環境に基づいて予め定められた顔画像の入力方法を切り替える顔向き推定方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔が含まれる画像から顔器官の特徴点を検出し、顔の向きを推定する手法および装置に関し、顔認証システムや居眠り運転防止システムや視線入力インターフェースを搭載するシステムに関する。
【０００２】
【従来の技術】
顔器官の位置決めのために、多くの手法で瞳や鼻孔などの顔器官を検出している。この検出方法として瞳検出にＨｏｕｇｈ  変換を用いる手法（例えば非特許文献１参照）や、分離度フィルタによって検出する方法（例えば、非特許文献２参照）や、顔器官の標準位置を記憶しているメッシュモデルを動的に顔画像にフィッティングさせる手法が提案されている（例えば、非特許文献３参照）。
【０００３】
【非特許文献１】
川口  剛，モハメド  リゾン，日高  大輔，“ハフ変換と分離度フィルタによる人物顔からの両目の検出”，信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ，Ｎｏ．１０，ｐｐ．２１９０−２２００，Ｏｃｔ．  ２００１
【非特許文献２】
福井  和広，山口    修，“形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．２１７０−２１７７，Ａｕｇ．  １９９７
【非特許文献３】
十河  浩二，“顔の特徴による個人認証技術”，Ｏ  ｐｌｕｓ  Ｅ，Ｖｏｌ．２４，Ｎｏ．８，ｐｐ．８６１−８６５，２００２
【０００４】
【発明が解決しようとする課題】
上記手法のうち、瞳や鼻孔の円形状を検出する手法は、比較的安定して顔器官の特徴点を検出できる。しかし、顔の姿勢が変化すると瞳や鼻孔が隠れて見えなくなることがある。メッシュモデルをフィッティングさせる手法も安定した顔器官の位置決めが可能であるが、姿勢変化が大きくメッシュモデルの変形の許容範囲を超えると位置決めできなくなる可能性がある。またその場合、顔の向きを推定することが困難となる。
【０００５】
監視システムなどでは、カメラが天井や壁に設置されることが多く、俯角が大きくなるにつれて顔器官検出が困難になると考えられる。また、顔器官検出は顔認証の前処理のみならず、顔の向きや視線の向きを入力とするヒューマン・インターフェースにも用いることができる。このように実際応用を想定した場合、姿勢変化に対して安定して顔器官を検出することが必須となる。
【０００６】
本発明は上記問題点を解決することを目的とし、顔の姿勢変化に対応した顔器官検出および顔向き推定を目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明では顔器官の特徴点候補をコーナー検出フィルタによって検出し、候補点の中から目尻，目頭そして口元の６点を特定する。以下、これら６点を顔器官特徴点と呼ぶ。通常、コーナー検出フィルタでは顔器官以外の特徴点も検出されるため、それらの点群から顔器官特徴点を特定する必要がある。本発明では射影不変量を用いて顔器官特徴点を特定する。
【０００８】
具体的には、目尻，目頭，口元の顔器官特徴点が近似的に同一平面上に存在し、これらの点は表情変化に対して大きな位置変動がないと仮定する。このような仮定を設定すると、平面上の５点から射影不変量を計算することができる。顔器官特徴点をマウス操作で指定し、これらの点から射影不変量をあらかじめ計算しておくと、コーナー検出フィルタの出力点群から事前計算した不変量を持つ点の組合せを選択できる。射影不変量は射影変換に対して不変な量なので顔の姿勢変化に対応するための恣意的なパラメータ設定が不要となり、処理が簡易になる。
【０００９】
この手法により、顔の向きによっては検出が困難な瞳や鼻腔などの顔器官特徴点を用いずに顔器官を検出することが可能となり、それらの検出した顔器官と正面顔の顔器官との相対的な位置ずれから顔向きを推定できる。
【００１０】
【発明の実施の形態】
本発明の一実施例を以下に示す。
【００１１】
図１は本実施例の全体構成図である。１０１は信号入力部であり、ＣＣＤカメラや赤外線カメラ、あるいは紫外線カメラからの信号を入力する。信号入力部に入った画像信号は１０２の色空間変換部でＲＧＢ信号から色相，彩度，明るさの３要素を持つ信号に変換される。前記入力信号がモノクロ信号の場合は、１０２では色空間の変換処理を行わずに次のステップへ進む。１０３では前記色相，彩度の値から、肌色に近い色相，彩度を持つ信号のみを抽出し、その抽出信号が最も多く集まる矩形領域を顔領域として抽出する。
【００１２】
次に１０４で特徴点検出フィルタ（例えば、福井  和広，山口    修，“形状抽出とパターン照合の組合せによる顔特徴点抽出”，信学論（Ｄ−ＩＩ），Ｖｏｌ．Ｊ８０−Ｄ−ＩＩ，Ｎｏ．８，ｐｐ．２１７０−２１７７，Ａｕｇ．  １９９７．  ）によって顔器官特徴点の候補を検出する。１０５では前記顔器官特徴点候補の中から６点を選択する。選択位置は図３中の白丸で示す目尻，目頭，口元の６点である。
【００１３】
図２の２０１に本発明で用いる顔器官特徴点を示す。そして、１０６の不変量探索部で前記６点中５点を用いて射影不変量を計算する。この計算は次のようにして行う。
【００１４】
平面上の５点（Ａ１，…，Ａ５）が決まると、射影不変量は次式で計算される（例えば、佐藤  淳著，“コンピュータビジョン  −視覚の幾何学−”，コロナ社，東京，１９９９．）。
【００１５】
【数１】
2004252511.tif 000003
【００１６】
上式はＡｉ  （ｉ＝１，…，５）の並び順が変わると値も変わってしまう順序依存性の不変量である。実際応用では特徴点抽出の順番が必ず同じになるとは限らないので特徴点の並び方に依存しない不変量を用いる必要がある。本稿ではそのような不変量としてＰ２（ｐｒｏｊｅｃｔｉｖｅ  ａｎｄ  ｐｅｒｍｕｔａｔｉｏｎ  ｉｎｖａｒｉａｎｔ）不変量を用いる（例えば、Ｒ．  Ｌｅｎｚ  ａｎｄ  Ｐ．Ｍｅｅｒ：“Ｅｘｐｅｒｉｍｅｎｔａｌ  ｉｎｖｅｓｔｉｇａｔｉｏｎ  ｏｆ  ｐｒｏｊｅｃｔｉｏｎ  ａｎｄ  ｐｅｒｍｕｔａｔｉｏｎ  ｉｎｖａｒｉａｎｔｓ，”Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｌｅｔｔｅｒｓ，Ｖｏｌ．１５，ｐｐ．７５１−７６０，１９９４．）。これは式（１）（２）を用いて次のように計算できる。
【００１７】
【数２】
2004252511.tif 000004
【００１８】
【数３】
2004252511.tif 000005
【００１９】
【数４】
2004252511.tif 000006
【００２０】
【数５】
2004252511.tif 000007
【００２１】
式（３）は特徴点の並び順に依存しない不変量である。式（３）によって計算された射影不変量は１０６の不変量探索部で基準顔画像（例えば、複数の顔を重ね合わせた平均顔）の顔器官特徴点から計算された式（３）の値と比較される。両者の差で定義される比較結果が最小になるまで１０５の顔器官特徴点候補の組合せと、１０６の不変量計算を繰り返す。最終的に、基準顔画像の顔器官特徴点配置が持つ不変量と最も差が小さい顔器官特徴点配置が検出される。これが顔器官特徴点検出の最終結果になる。１０７では前記基準顔画像の顔器官特徴点配置と、入力画像から検出された顔器官特徴点配置とのずれから、入力画像中の顔がどの方向にどの程度向いているかを計算する。
【００２２】
なお、画像入力部１０１において、アプリケーションや照明環境によっては自然光下の顔画像の取得が困難な場合がある。例えば、車中は西日や朝日が射して逆光となったり、ピラーの影になったり、夜間走行で暗い場合が考えられる。このような場合は、図３のように自然光とは別の光線照射部３０２を設けて、自然光撮影と光線照射撮影を適応的に切り替える。自然光、または光線照射部から照射された光線（赤外光，紫外光などの電磁波）は顔３０３に当たり、反射光が画像撮影部３０４で撮影される。３０４で撮影された信号は信号入力部３０５へ送られ、色空間変換部１０２へ送られる。
【００２３】
本発明によれば、射影不変量を用いる顔器官特徴点の検出方法において、俯角が付くように設置されたカメラ、あるいはカメラの前で人および頭部が動くようなシステムで撮像された斜めに傾いた顔画像から顔器官特徴点を顔の向きに関する恣意的なパラメータ設定を行うことなく、安定して検出できる。
【００２４】
【発明の効果】
顔の姿勢変化に対応した顔器官検出および顔向き推定を実現できる。
【図面の簡単な説明】
【図１】本発明の一実施例の全体構成図である。
【図２】不変量計算部において、不変量を計算するための顔器官特徴点を示す図である。
【図３】
自然光の他に、別途光線照射光源が必要な場合の構成を示す図である。
【符号の説明】
１０１…信号入力部、１０２…色空間変換部、１０３…顔領域抽出部、１０４…顔器官特徴点候補検出部、１０５…顔器官特徴点候補組合せ部、１０６…不変量計算部、１０７…顔向き推定部、２０１…不変量計算に用いる顔器官特徴点、３０１…自然光、３０２…光線照射部、３０３…顔、３０４…画像撮影部、３０５…信号入力部。
【図１】
2004252511.tif 000008
【図２】
2004252511.tif 000009
【図３】
2004252511.tif 000010