(57)【特許請求の範囲】
【請求項１】
識別すべき人物の顔画像を入力するための画像入力部と、
前記画像入力部により入力された顔画像の特徴点を抽出する特徴点抽出部と、
標準的な顔画像の特徴点を記録させた第１のデータベース部と、
特徴点が前記標準的な顔画像の特徴点と一致するように変形させられた基準顔画像を人物毎に記録させた第２のデータベース部と、
前記特徴点抽出部で抽出された特徴点が前記第１のデータベース部の標準的な顔画像の特徴点と一致するように、前記画像入力部によって入力された顔画像を変形させる顔正規化部と、
前記顔正規化部によって正規化された顔画像と前記第２のデータベース部に記録された人物毎の顔画像との相関を逐次求める画像相関演算部と、
人物毎の顔画像の特徴点と前記標準的な顔画像の特徴点との変位量を記憶させた第３のデータベース部と、
前記第１のデータベース部に記録させた標準的な顔画像の特徴点と前記特徴点抽出部で抽出された顔画像の特徴点との変位量を求める変位量演算部と、
前記第３のデータベース部の変位量と前記変位量演算部で求めた人物毎の変位量との相関を逐次求める変位量相関演算部と、
前記画像相関演算部で求められた第１の相関値と前記変位量相関演算部で求められた第２の相関値とにそれぞれ重み係数を乗算し、得られた値の両方が所定の閾値を超えた場合に、前記画像入力部により入力された顔画像が、前記第２データベース部に前記基準顔画像が記録され、かつ、前記第３のデータベース部に前記変位量が記録された人物の顔画像であると判定する判断部とを、
有する個人識別装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔の画像により個人の識別を行う個人識別装置に関する。
【０００２】
【従来の技術】
従来の顔画像による個人識別として、例えば、特開平５−４６７４３号公報に記載のものがあった。図４はこの個人識別装置の概略構成を示すブロック図である。同図において、顔画像を入力するための画像入力部１は、例えば、テレビカメラであり、識別対象者のカラー顔画像を取り込んで特徴点抽出部２に与える。特徴点抽出部２は入力された画像をＡ／Ｄ変換してデジタル画像に変換した後、回転、拡大、縮小等の補正を行った後、輝度情報、色相情報などを基に輪郭抽出、２値化処理等を行うことにより眉、目、鼻、口などの各特徴点の位置情報を抽出する。この特徴点の位置情報は表情変化の影響を受けない点の一つである鼻の頂点を原点として二次元座標に変換される。
【０００３】
一方、個人データベース部３には識別対象者の無表情顔画像の特徴点が記録されている。そこで、差分検出部４が特徴点抽出部２によって抽出された特徴点の各座標値と個人データベース部に記録されている顔画像の特徴点の各座標値との差分を検出し差分ベクトルを求める。また、表情筋データベース５には表情筋の動きベクトルが格納されている。そして、処理部６が差分検出部４の差分情報と、個人データベース部３、表情筋データベース部５の情報とに基づき本人かどうかの検出を行う構成になっている。
【０００４】
【発明が解決しようとする課題】
上述した従来の個人識別装置にあっては、顔の幾何学的特徴量のみに基づいて顔の識別を行っていた。この識別に際して、表情の変化による特徴点位置の変位に対する補正を行っているが、顔の向きの変化などによる特徴点位置の変化に対する補正は行っておらず、顔の向きの変化に対して個人認識率が低下するという問題があった。
【０００５】
本発明は上記の問題点を解決するためになされたもので、本発明は顔の表情や向きが変化したとしても高精度にて個人認識が可能な個人識別装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明では入力された顔画像に所定の変形処理を施すようにして高い個人認識率を得るようにしている。すなわち本発明によれば、識別すべき人物の顔画像を入力するための画像入力部と、
前記画像入力部により入力された顔画像の特徴点を抽出する特徴点抽出部と、
標準的な顔画像の特徴点を記録させた第１のデータベース部と、
特徴点が前記標準的な顔画像の特徴点と一致するように変形させられた基準顔画像を人物毎に記録させた第２のデータベース部と、
前記特徴点抽出部で抽出された特徴点が前記第１のデータベース部の標準的な顔画像の特徴点と一致するように、前記画像入力部によって入力された顔画像を変形させる顔正規化部と、
前記顔正規化部によって正規化された顔画像と前記第２のデータベース部に記録された人物毎の顔画像との相関を逐次求める画像相関演算部と、
人物毎の顔画像の特徴点と前記標準的な顔画像の特徴点との変位量を記憶させた第３のデータベース部と、
前記第１のデータベース部に記録させた標準的な顔画像の特徴点と前記特徴点抽出部で抽出された顔画像の特徴点との変位量を求める変位量演算部と、
前記第３のデータベース部の変位量と前記変位量演算部で求めた人物毎の変位量との相関を逐次求める変位量相関演算部と、
前記画像相関演算部で求められた第１の相関値と前記変位量相関演算部で求められた第２の相関値とにそれぞれ重み係数を乗算し、得られた値の両方が所定の閾値を超えた場合に、前記画像入力部により入力された顔画像が、前記第２データベース部に前記基準顔画像が記録され、かつ、前記第３のデータベース部に前記変位量が記録された人物の顔画像であると判定する判断部とを、
有する個人識別装置が提供される。
【００１１】
【発明の実施の形態】
以下、本発明を好適な実施形態に基づいて詳細に説明する。
図１は本発明の一実施形態の構成を示すブロック図である。同図において、画像入力部１１としては、例えば、テレビカメラを用いることができる。画像入力部１１は識別対象者の顔画像を取り込んで一次顔正規化部１２に与える。一次顔正規化部１２は、眼と口の位置があらかじめ指定した位置にくるように正規化し、その顔画像を特徴点抽出部１３と二次顔正規化部１５とに与える。このうち、特徴点抽出部１３は顔の特徴点の位置情報を抽出して二次顔正規化部１５に与える。
【００１２】
一方、標準顔画像特徴点データベース部１４は人間の標準的な顔の特徴点座標を記録させたものであり、基準顔画像データベース部１６には標準的な顔画像の特徴点と一致するように変形させられた人物毎の基準顔画像が記録されている。二次顔正規化部１５は特徴点抽出部１３で検出された特徴点が、標準顔画像特徴点データベース部１４に記録された対応する特徴点位置にくるように顔画像を変形させるものである。画像相関演算部１７は、基準顔画像データベース部１６の基準顔画像と二次顔正規化部１５で変形された顔画像との相関を求めるものである。
【００１３】
また、特徴点変位量データベース部２２には標準顔画像特徴点データベース部１４に記録された標準顔画像の特徴点に対する人物毎の顔画像の特徴点の変位量が記録されている。変位量演算部２１は、特徴点抽出部１３で抽出された位置情報と標準顔画像特徴点データベース部１４に記録された特徴点座標との変位量を演算するものである。変位量相関演算部２３は特徴点変位量データベース部２２に記録された個人の顔画像の特徴点の変位量と変位量演算部で演算された特徴点の変位量との相関を求めるものである。判断部１８は画像相関演算部１７と変位量相関演算部２３でそれぞれ演算された相関値に基づき、画像入力部１１から画像が入力された顔の人物を特定するものである。
【００１４】
上記のように構成された本実施形態の動作について、図２及び図３をも参照して以下に説明する。
画像入力部１１で取り込んで得られた顔画像Ｆ１０が一次顔正規化部１２に入力される。この場合、顔画像Ｆ１０は図２（ａ）に示したように傾斜したり、その輪郭が狭くなったりしていることが多い。そこで、一次顔正規化部１２は図２（ｂ）に示したように両眼と口の位置があらかじめ指定した位置にくるようにアフィン変換を実行し、眼と口を基準として傾斜分と大きさを補正した顔画像Ｆ２０を出力する。特徴点抽出部１３は顔画像Ｆ２０に基づいて、図３に示すような特徴点、例えば、顎の下端ａ、唇の上下ｂ，ｃ、左右端ｄ，ｅ、口の横方向に延長した頬の端ｆ，ｇ、鼻孔の位置ｈ，ｉ、鼻孔の横方向に延長した頬の端ｊ，ｋなどを含む多数の特徴点の座標を求め、その座標データＤ１０を出力する。
【００１５】
二次顔正規化部１５は特徴点抽出部１３で求めた各特徴点が標準顔画像特徴点データベース部１４に記録されている特徴点位置にくるようにモルフィング（MORPHING）により画像を変形させ、顔画像Ｆ３０を出力する。画像相関演算部１７は二次顔正規化部１５で求められた顔画像Ｆ３０と基準顔画像データベース部１６に記憶させてある各個人の顔画像との相関Ｒ１０を求める。また、変位量演算部２１は特徴点抽出部１３で求めた各特徴点の座標データＤ１０と標準顔画像特徴点データベース部１４に記憶されている標準顔画像の対応する各特徴点座標との変位量Ｅ１０を求める。そこで、変位量相関演算部２３は変位量演算で求められた変位量Ｅ１０と特徴点変位量データベース部２２に記録されている各個人の変位量との相関Ｒ２０を求める。
【００１６】
最後に、判断部１８は画像相関演算部１７で求められた相関Ｒ１０と、変位量相関演算部２３で求められた相関Ｒ２０に対して、それぞれ適当な重み係数を乗算した値から最も相関の高いものを選択する。そして、相関Ｒ１０に重み係数を乗算した値と、相関Ｒ２０に重み係数を乗算した値のうち、少なくとも相関Ｒ１０に重み係数を乗算した値があらかじめ定めた閾値を超えたとき、顔画像が入力された人物が基準顔画像データベース部１６及び特徴点変位量データベース部２２に登録した人物であると判定するとともに、その人物を特定する。
【００１７】
したがって、この実施形態によれば、特徴点が標準的な顔画像の特徴点と一致するように変形させられた基準顔画像と、新たに入力された顔画像を標準的な顔画像の特徴点と一致するように変形させられた顔画像との相関を演算するので、顔の表情や向きが変化したとしても高精度にて個人認識することが可能になる。この場合、相関Ｒ１０に重み係数を乗算した値が閾値を超え、かつ、相関Ｒ２０に重み係数を乗算した値が閾値を超えたことを条件にすることにより、認識精度をより一層高めることができる。
【００１８】
なお、上記実施形態では一次顔正規化部１２によって両眼と口の位置があらかじめ指定した位置にくるようにアフィン変換を実行し、眼と口の合計３点を基準として傾斜分と大きさを補正したが、画像入力部１１に対する識別すべき人物の顔画像の傾斜や大きさが無視できる程度であれば、一次顔正規化部１２を除去することによって簡易構成の個人識別装置が得られる。
【００１９】
また、識別精度が若干低下しても支障の無い場合には、相関Ｒ１０に重み係数を乗算した値と相関Ｒ２０に重み係数を乗算した値のいずれか一方が閾値を超えたことを条件として個人識別を行うようにすることもできる。
【００２０】
【発明の効果】
以上の説明によって明らかなように、本発明によれば、特徴点が標準的な顔画像の特徴点と一致するように変形させられた基準顔画像と、新たに入力された顔画像を標準的な顔画像の特徴点と一致するように変形させられた顔画像との相関値に基づいて個人識別を行うので、顔の表情や向きが変化したとしても高精度にて個人認識をすることが可能になる。
【００２２】
また、本発明によれば、顔画像の相関と併せて、特徴点に対する変位量の相関をも条件とするので、認識精度を一層高めることができる。
【００２３】
また、本発明によれば、顔画像の相関値及び特徴点の変位量の相関値にそれぞれ適当な重み係数を乗じて個人識別を行うので、得られた値の両方が所定の閾値を超えるか否かにより個人識別を行うので、認識精度をさらに高める効果もある。
【図面の簡単な説明】
【図１】本発明の一実施形態の構成を示すブロック図である。
【図２】図１に示した実施形態の動作のうち、特に、アフィン変換を説明するための説明図である。
【図３】図１に示した実施形態の動作を説明するために、あらかじめ設定する特徴点位置を示した図である。
【図４】従来の個人識別装置の構成を示すブロック図である。
【符号の説明】
１１  画像入力部
１２  一次顔正規化部
１３  特徴点抽出部
１４  標準顔画像特徴点データベース部（第１のデータベース部）
１５  二次顔正規化部
１６  基準顔画像データベース部（第２のデータベース部）
１７  画像相関演算部
１８  判断部
２１  変位量演算部
２２  特徴点変位量データベース部（第３のデータベース部）
２３  変位量相関演算部
【図１】
0003861421.tif 000002
【図２】
0003861421.tif 000003
【図３】
0003861421.tif 000004
【図４】
0003861421.tif 000005