(57)【特許請求の範囲】
【請求項１】
顔画像特徴量を抽出する顔画像特徴抽出方法において、
入力された顔画像から特徴となる部分の位置を抽出する位置抽出ステップと、
前記位置抽出ステップにおいて抽出した特徴となる部分に位置座標を割り当て、前記特徴となる部分を頂点としてつなぎ合わせた第１の領域の面積を算出する第１の計算ステップと、
前記特徴となる部分を頂点としてつなぎ合わせた領域であり更に前記第１の領域とは異なる領域である第２の領域の面積を算出する第２の計算ステップと、
前記第１の領域の面積と、前記第２の領域の面積の比を算出し、当該算出により得られた値を顔画像特徴量とする顔画像特徴量算出ステップと、
を備え、
前記第１の領域及び前記第２の領域のそれぞれは、前記特徴となる部分として、顔の左右に対となって存在する部分を少なくとも一対含んでいることを特徴とする顔画像特徴抽出方法。
【請求項２】
請求項１に記載の顔画像特徴抽出方法において、
前記第１の領域の及び前記第２の領域のそれぞれの前記特徴となる部分は、全て異なった部分であることを特徴とする顔画像特徴抽出方法。
【請求項３】
請求項１又は２に記載の顔画像特徴抽出方法において、
前記第１の領域の及び前記第２の領域に加えて、前記第１の領域の及び前記第２の領域の何れとも異なる領域である第３の領域の面積を算出する第３の計算ステップを更に備え、
前記顔画像特徴量算出ステップにおいては、前記第１の領域の面積、前記第２の領域の面積及び前記第３の領域の面積の比を算出し、当該算出により得られた値を顔画像特徴量とすることを特徴とする顔画像特徴抽出方法。
【請求項４】
請求項１乃至３の何れか１項に記載の顔画像特徴抽出方法において、
前記第１の領域の及び前記第２の領域のそれぞれが、４つの前記特徴となる部分を頂点とする四角形領域であることを特徴とする顔画像特徴抽出方法。
【請求項５】
請求項１乃至４の何れか１項に記載の顔画像特徴抽出方法において、
前記特徴となる部分が、顔の左右に対となって存在する部分であることを特徴とする顔画像特徴抽出方法。
【請求項６】
請求項１乃至５の何れか１項に記載の顔画像特徴抽出方法において、
前記顔画像特徴量を用いて、入力された顔画像と登録されている顔画像の比較を行うことを特徴とする顔画像特徴抽出方法。
【請求項７】
請求項１乃至６の何れか１項に記載の顔画像特徴抽出方法において、
前記第１の領域の頂点が右目の中心、左目の中心、右の鼻孔の中心及び左の鼻孔の中心であり、前記第２の領域の頂点が右の鼻孔の中心、左の鼻孔の中心、右唇端及び左唇端であることを特徴とする顔画像特徴抽出方法。
【請求項８】
顔画像特徴量を抽出する顔画像特徴抽出装置において、
入力された顔画像から特徴となる部分の位置を抽出する位置抽出手段と、
前記位置抽出手段において抽出した特徴となる部分に位置座標を割り当て、前記特徴となる部分を頂点としてつなぎ合わせた第１の領域の面積を算出する第１の計算手段と、
前記特徴となる部分を頂点としてつなぎ合わせた領域であり更に前記第１の領域とは異なる領域である第２の領域の面積を算出する第２の計算手段と、
前記第１の領域の面積と、前記第２の領域の面積の比を算出し、当該算出により得られた値を顔画像特徴量とする顔画像特徴量算出手段と、
を備え、
前記第１の領域及び前記第２の領域のそれぞれは、前記特徴となる部分として、顔の左右に対となって存在する部分を少なくとも一対含んでいることを特徴とする顔画像特徴抽出装置。
【請求項９】
請求項８に記載の顔画像特徴抽出装置において、
前記第１の領域の及び前記第２の領域のそれぞれの前記特徴となる部分は、全て異なった部分であることを特徴とする顔画像特徴抽出装置。
【請求項１０】
請求項８又は９に記載の顔画像特徴抽出装置において、
前記第１の領域の及び前記第２の領域に加えて、前記第１の領域の及び前記第２の領域の何れとも異なる領域である第３の領域の面積を算出する第３の計算手段を更に備え、
前記顔画像特徴量算出手段においては、前記第１の領域の面積、前記第２の領域の面積及び前記第３の領域の面積の比を算出し、当該算出により得られた値を顔画像特徴量とすることを特徴とする顔画像特徴抽出装置。
【請求項１１】
請求項８乃至１０の何れか１項に記載の顔画像特徴抽出装置において、
前記第１の領域の及び前記第２の領域のそれぞれが、４つの前記特徴となる部分を頂点とする四角形領域であることを特徴とする顔画像特徴抽出装置。
【請求項１２】
請求項８乃至１１の何れか１項に記載の顔画像特徴抽出装置において、
前記特徴となる部分が、顔の左右に対となって存在する部分であることを特徴とする顔画像特徴抽出装置。
【請求項１３】
請求項８乃至１２の何れか１項に記載の顔画像特徴抽出装置において、
前記顔画像特徴量を用いて、入力された顔画像と登録されている顔画像の比較を行うことを特徴とする顔画像特徴抽出装置。
【請求項１４】
請求項８乃至１３の何れか１項に記載の顔画像特徴抽出装置において、
前記第１の領域の頂点が右目の中心、左目の中心、右の鼻孔の中心及び左の鼻孔の中心であり、前記第２の領域の頂点が右の鼻孔の中心、左の鼻孔の中心、右唇端及び左唇端であることを特徴とする顔画像特徴抽出装置。
【請求項１５】
顔画像特徴量を抽出する顔画像特徴抽出装置としてコンピュータを機能させるための顔画像特徴抽出プログラムにおいて、
請求項８乃至１４の何れか１項に記載の顔画像特徴抽出装置としてコンピュータを機能させることを特徴とする顔画像特徴抽出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラにより顔画像を入力し顔認識する装置における特徴量の抽出に関する。
【背景技術】
【０００２】
監視システムや、情報処理装置の生体認証といった分野においては、顔画像の分析の精度を高める必要がある。
【０００３】
この点に関連する発明として、例えば特許文献１に記載されている技術のように、取得される顔画像の特徴（目，鼻，唇の位置や形など）をそのまま特徴量とするという技術がある（例えば特許文献１参照。）。
特許文献１に記載の技術では、情報処理装置のイメージセンサの撮像情報が、肌色検知手段と生体認証手段に入力される。そして、肌色検知手段は撮像情報中の肌色の部位を検索して顔の輪郭を検知する。並行して生体認証手段は、撮像情報中の顔を構成する部品を検索し顔を検知し、検索結果を顔情報に照らし合わせて登録された顔かどうか判別し、顔認証を実現している。
【特許文献１】特開２００６−２９３７３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上述したように特許文献１に記載の技術では、取得される顔画像の特徴（目，鼻，唇の位置や形など）をそのまま特徴量としていた。
【０００５】
しかし、この特許文献１に記載の技術には問題があった。すなわち目、鼻、唇の位置を特徴量として使用していたため、顔の向きが大きく変化すると、目、鼻、唇の位置（特徴量）が変化してしまい認識できない。または、誤認識してしまうという問題である。
【０００６】
そこで、本発明は顔の向きが登録時と異なっていたとしても、特徴量が、大きな差異となってあらわれず、誤った認識することを防ぐことが可能な顔画像特徴抽出方法、その装置及びそのプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明の第１の観点によれば、顔画像特徴量を抽出する顔画像特徴抽出方法において、入力された顔画像から特徴となる部分の位置を抽出する位置抽出ステップと、前記位置抽出ステップにおいて抽出した特徴となる部分に位置座標を割り当て、前記特徴となる部分を頂点としてつなぎ合わせた第１の領域の面積を算出する第１の計算ステップと、前記特徴となる部分を頂点としてつなぎ合わせた領域であり更に前記第１の領域とは異なる領域である第２の領域の面積を算出する第２の計算ステップと、前記第１の領域の面積と、前記第２の領域の面積の比を算出し、当該算出により得られた値を顔画像特徴量とする顔画像特徴量算出ステップと、を備え、前記第１の領域及び前記第２の領域のそれぞれは、前記特徴となる部分として、顔の左右に対となって存在する部分を少なくとも一対含んでいることを特徴とする顔画像特徴抽出方法が提供される。
【０００８】
本発明の第２の観点によれば、顔画像特徴量を抽出する顔画像特徴抽出装置において、入力された顔画像から特徴となる部分の位置を抽出する位置抽出手段と、前記位置抽出手段において抽出した特徴となる部分に位置座標を割り当て、前記特徴となる部分を頂点としてつなぎ合わせた第１の領域の面積を算出する第１の計算手段と、前記特徴となる部分を頂点としてつなぎ合わせた領域であり更に前記第１の領域とは異なる領域である第２の領域の面積を算出する第２の計算手段と、前記第１の領域の面積と、前記第２の領域の面積の比を算出し、当該算出により得られた値を顔画像特徴量とする顔画像特徴量算出手段と、を備え、前記第１の領域及び前記第２の領域のそれぞれは、前記特徴となる部分として、顔の左右に対となって存在する部分を少なくとも一対含んでいることを特徴とする顔画像特徴抽出装置が提供される。
【０００９】
本発明の第３の観点によれば、顔画像特徴量を抽出する顔画像特徴抽出装置としてコンピュータを機能させるための顔画像特徴抽出プログラムにおいて、上記本発明の第２の観点により提供される顔画像特徴抽出装置としてコンピュータを機能させることを特徴とする顔画像特徴抽出プログラムが提供される。
【発明の効果】
【００１０】
本発明によれば、顔の異なる領域の比をとることから、顔の向きによる変化量を減らすことができ、顔の向きに寄らない顔特徴量を算出することを行うことが可能となる。
【発明を実施するための最良の形態】
【００１１】
まず、本発明の概略を述べる。
【００１２】
本発明では、課題を解決するために、カメラから取得した画像より、左右の目と左右の鼻孔で囲まれた領域の面積と、二つの鼻孔と唇両端に囲まれた領域の面積の比を特徴量として使用する。この様な処理を行うことによって、もし、顔の向きが登録時と異なっていたとしても、特徴量が二つの面積の比であり、大きな差異となってあらわれないため、誤って認識することを防ぐことが可能となる。
【００１３】
次に、本発明の実施形態について図面を用いて説明する。
【００１４】
本発明の実施形態を図１のブロック図に示す。本発明の実施形態は、カメラ１１、中央処理装置１２、顔画像記憶装置１３、目位置抽出装置１４、鼻孔位置抽出装置１５、唇端位置抽出装置１６、顔上部面積記憶装置１７及び顔下部面積記憶装置１８を有する。
【００１５】
中央処理装置１２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）及びＣＰＵを有する。顔画像記憶装置１３は、顔画像を格納する。目位置抽出装置１４は、入力した顔画像から目の位置を抽出する。鼻孔位置抽出装置１５は、鼻孔の位置を抽出する。唇端位置抽出装置１６は、唇両端の位置を抽出する。顔上部面積記憶装置１７は、両目と二つの鼻孔を頂点とする四角形領域の面積を格納しておく装置である。顔下部面積記憶装置１８は、二つの鼻孔と唇両端点を頂点とする四角形領域の面積を格納しておく装置である。
【００１６】
顔画像記憶装置１３、顔上部面積記憶装置１７及び顔下部面積記憶装置１８は、全てＲＡＭ（Random Access Memory）やハードディスクといった情報記憶媒体を有する。そして、顔画像記憶装置１３、顔上部面積記憶装置１７及び顔下部面積記憶装置１８は、中央処理装置１２と接続されている。接続方法としては、例えば、ＬＡＮ（Local Area Network）やＲＳ２３２Ｃシリアル通信，バス信号線での接続等が挙げられる。
【００１７】
顔画像記憶装置１３の情報記憶媒体の記憶容量は、カメラ１１で得られる画像が格納できる容量とする。また、顔上部面積記憶装置１７、顔下部面積記憶装置１８の情報記憶媒体の記憶容量は、中央処理装置１２で計算された面積値が格納できるだけの容量である。
【００１８】
顔画像を装置へ入力するには、図２のようにカメラの前に立ち、画像取得開始スイッチ（図中では、フットスイッチを例として示す。）によって、カメラの画像取得を開始させる。
【００１９】
それにより、図３のような、顔画像が取得される。なお、画像取得開始スイッチ１９は、図２に示したように、フットスイッチとしてもよいし、手の操作によるスイッチ、タイマーやセンサーによるスイッチ等の任意のスイッチであってよい。
【００２０】
［実施形態の動作の説明］
図１のブロック図と前処理について示すフローチャートである図４を参照し、実施形態の動作を説明する。
画像取得開始スイッチ１９を押下すると（ステップＳ１０１）、カメラ１１に顔画像取得開始が指示され、カメラ１１の撮像素子から顔画像記憶装置１３に顔画像データが送信される。そして、顔画像データは、顔画像記憶装置１３に保存される（ステップＳ１０２）。
【００２１】
顔画像記憶装置１３に取得された顔画像データに対して、目位置抽出装置１４、鼻孔位置抽出装置１５、唇端位置抽出装置１６が、パターンマッチング法などの物体検出手法によって、それぞれ左の目中心座標（顔画像の左下を原点（０，０）とした座標（Ｅｘ１，Ｅｙ１））、右の目中心座標（顔画像の左下を原点（０，０）とした座標（Ｅｘ２，Ｅｙ２））を算出する（ステップＳ１０３）。
【００２２】
また、左の鼻孔中心座標（顔画像の左下を原点（０，０）とした座標（Ｎｘ１，Ｎｙ１））、右の鼻孔中心座標（顔画像の左下を原点（０，０）とした座標（Ｎｘ２，Ｎｙ２））を算出する（ステップＳ１０４）。
【００２３】
また、左の唇端座標（顔画像の左下を原点（０，０）とした座標（Ｍｘ１，Ｍｙ１））、右の唇端座標（顔画像の左下を原点（０，０）とした座標（Ｍｘ２，Ｍｙ２））を算出する（ステップＳ１０５）。
【００２４】
次に、前述の処理で得られた右目中心座標（Ｅｘ１，Ｅｙ１）、左目中心座標（Ｅｘ２，Ｅｙ２）、右鼻孔中心座標（Ｎｘ１，Ｎｙ１）、左鼻孔中心座標（Ｎｘ２，Ｎｙ２）の４点で囲まれる図５に示した領域Ａ１（顔上部領域）を定義することができる。
【００２５】
また、左右目中心点（Ｅｘ１，Ｅｙ１），（Ｅｘ２，Ｅｙ２）を通る直線Ｌ１と、左右鼻孔中心点（Ｎｘ１，Ｎｙ１），（Ｎｘ２，Ｎｙ２）を通る直線Ｌ２は、両目と両鼻孔の顔の位置関係から平行であると仮定し、以下に記載の数式１で（Ｅｘ１，Ｅｙ１），（Ｅｘ２，Ｅｙ２），（Ｎｘ１，Ｎｙ１），（Ｎｘ２，Ｎｙ２）の４点を頂点とする四角形の面積Ｓ１が算出できる（ステップＳ１０６）。
【００２６】
これらの計算は、中央処理装置１１が行い、計算結果を顔上部面積記憶装置１７に保存する。
【００２７】
【数１】
0004725900.tif 000002
前述の処理で得られた右鼻孔中心座標（Ｎｘ１，Ｎｙ１）、左鼻孔中心座標（Ｎｘ２，Ｎｙ２）、右唇端座標（Ｍｘ１，Ｍｙ１）、左唇端座標（Ｍｘ２，Ｍｙ２）の４点で囲まれる図６に示した領域Ａ２（顔下部領域）を定義することができる。また、顔上部領域のときと同様に、左右鼻孔中心点（Ｎｘ１，Ｎｙ１），（Ｎｘ２，Ｎｙ２）を通る直線Ｌ２と、左右唇端座標（Ｍｘ１，Ｍｙ１），（Ｍｘ２，Ｍｙ２）を通る直線Ｌ３は、左右鼻孔と左右唇端の顔の位置関係から平行であると仮定し、以下に記載の数式２で（Ｎｘ１，Ｎｙ１），（Ｎｘ２，Ｎｙ２），（Ｍｘ１，Ｍｙ１），（Ｍｘ２，Ｍｙ２）の４点を頂点とする四角形の面積Ｓ２が算出できる。この計算は、中央処理装置１１が行い、計算結果を顔下部面積記憶装置１８に保存する（ステップＳ１０７）。
【００２８】
【数２】
0004725900.tif 000003
最後にＣＰＵ１１は、上記で算出された顔上部面積Ｓ１と顔下部面積Ｓ２を顔上部面積記憶装置１７と顔下部面積記憶装置１８から取得し、以下に記載の数式３で、Ｓ１とＳ２の比Ｈを求め、顔認識のための特徴量として使用する（ステップＳ１０８）。顔の向きにより、顔上部面積と顔下部面積の変化は、同じような傾向で変化するため、顔の向きによるＨの変化は、小さい。このことから、Ｈは、顔の向きに影響されにくい特徴量である。
【００２９】
【数３】
0004725900.tif 000004
［発明の他の実施形態］
本発明の他の実施形態について説明する。本発明では、左右の目と左右鼻孔、左右鼻孔と左右唇端の面積比を特徴量として算出したが、両眉毛位置と左右の目の位置で構成される四角形の面積を用いてもよい。一般的な人の顔の左右に存在する眉毛、目、耳、鼻、唇などの位置座標を用いて領域を決定し、それぞれの領域の面積比を計算することによって、顔特徴量とすることも可能である。
【００３０】
なお、これら眉毛、目、耳、鼻、唇等は本発明でいう「特徴となる部分」に相当する。
【００３１】
また、上述の実施形態では、２箇所の面積の比を特徴量として算出したが、３箇所以上の面積の比を特徴量として算出してもよい。
【００３２】
また、本発明では、座標原点をカメラから取得した顔画像の左下としたが、顔画像上の１点が指定できるならば、どこを原点としてもよい。
【００３３】
以上説明した本発明の実施形態は、以下の効果を奏する。
【００３４】
第１の効果は、顔の異なる領域の比をとることによって、顔の向きによる変化量を減らすことができ、顔の向きに寄らない顔特徴量を算出することができることである。
【００３５】
第２の効果は、台形の面積を求めるだけであるため、少ない計算量で顔特徴量が得られることである。
【００３６】
なお、本発明の実施形態である顔画像特徴抽出装置は、ハードウェア、ソフトウェア又はこれらの組合せにより実現することができる。
【図面の簡単な説明】
【００３７】
【図１】本発明の実施形態の基本的構成を表すブロック図である。
【図２】本発明の実施形態における顔画像の入力について示した図である。
【図３】本発明の実施形態において取得した顔画像について示した図である。
【図４】本発明の実施形態の動作について示した図である。
【図５】顔上部領域Ａ１について示した図である。
【図６】顔下部領域Ａ２について示した図である。
【符号の説明】
【００３８】
１１  カメラ
１２  中央処理装置
１３  顔画像記憶装置
１４  目位置抽出装置
１５  鼻孔位置抽出装置
１６  唇端位置抽出装置
１７  顔上部面積記憶装置
１８  顔下部面積記憶装置
【図１】
0004725900.tif 000005
【図２】
0004725900.tif 000006
【図３】
0004725900.tif 000007
【図４】
0004725900.tif 000008
【図５】
0004725900.tif 000009
【図６】
0004725900.tif 000010