(57)【要約】【課題】テンプレートマッチングを用いる顔認証システムでは、顔テンプレートは髪が眉毛にかかっていないが、変換撮影画像では髪が眉毛にかかっている状況も生じ、同じ人物であっても、本人でないと判定してしまう。【解決手段】データベースの登録画像から顔テンプレートＴを編集し、撮影画像から前記顔テンプレート領域に対応する領域の変換撮影画像Ｗを編集し、該顔テンプレートＴと変換撮影画像Ｗとの間の正規化相関係数を算出し、この値に基づいて本人の当否を判定するに際し、前記顔テンプレートＴを変換撮影画像Ｗの上に重ねたとき、対応するピクセルの両方ともが、顔の膚領域に属するピクセルのみを用いて正規化相関係数を算出することを特徴とする顔を用いた個人認証システム【選択図】図４
2005242928.tif 000002
【特許請求の範囲】
【請求項１】
データベースの登録画像から顔テンプレートＴを編集し、撮影画像から前記顔テンプレート領域に対応する領域の変換撮影画像Ｗを編集し、該顔テンプレートＴと変換撮影画像Ｗとの間の正規化相関係数を算出し、この値に基づいて本人の当否を判定するに際し、前記顔テンプレートＴを変換撮影画像Ｗの上に重ねたとき、対応するピクセルの両方を、顔の膚領域に属するピクセルのみを用いて正規化相関係数を算出することを特徴とするテンプレートマッチング式個人顔認証システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テンプレートマッチング式個人顔認証システムに関するものである。
【背景技術】
【０００２】
顔を用いた個人認証システム（例えば、ＩＤカードやパスポートをもった人物、あるいは、パスワードを入力した人物が本人か本人でないかを、顔画像を用いて確認するシステム）では、認証を受ける人物にカメラの前に立ってもらい、その人物の顔画像を撮影する。同時に、人物の名前を入力する。
この際、名前を直接、入力するかわりに、ＩＤカードやパスワードなど、人物の名前を特定するためのものを入力することもある。
続いて、すでに登録されているデータベース中の顔画像の中から、前記入力された名前の人物の顔画像を取り出す。
そして、カメラの前に立っている人物の顔画像とこの顔画像の間でマッチングを行い、両者の類似度を計算する。
そして、類似度が、閾値以上のとき、カメラの前の人物は本人であると判定し、閾値以下のとき本人でないと判定する。
又、データベースに人物の顔画像を登録しておくかわりに、ＩＤカードに人物の顔画像をつけておき、この顔画像とカメラの前の人物の顔画像との間の類似度から、本人か否かを判定することもある。
顔を用いる個人認証システムにおいては、データベースから取り出された顔の登録画像とカメラの前に立っている人物の顔の撮影画像との間の類似度を計算する。
通常よく用いられている類似度計算方法は、テンプレートマッチングと呼ばれる方法を用いる。
そこで、テンプレートマッチングを用いる顔認証システムでのモデリング過程は、データベース中のすべての登録画像から、図１の１例に示すように、目、眉毛を含む長方形領域Ｚ1、または、目、眉毛、鼻、口を含む長方形領域を切り出し、これらの領域を顔テンプレートとする。
髪型は、時間とともに変化するので、髪が含まれないように顔テンプレートを作成する。
領域の形が長方形の場合、顔テンプレートの中に髪や背景が含まれやすいので、長方形の角を切り取った領域を顔テンプレートとすることもある。
次に、テンプレートマッチングを用いる顔認証システムでの顔認識過程であるが、カメラの前に立った人物の顔入力画像は、通常、図２に示すように、パスポート写真等と同様に、人物の肩から上の撮影画像である。それ故、撮影画像のどの部分が顔テンプレートに対応する領域かを求める必要がある。また、撮影画像（入力画像）と顔テンプレートでは、顔の大きさや回転角も異なる場合もある。そこで、まず、撮影画像から人物の両目の位置を検出し、撮影画像の両目の位置が、顔テンプレート中の両目の位置と一致するように、撮影画像を編集変換する。この結果、変換撮影画像中の顔と顔テンプレートの間で、位置、大きさ、回転角が同じになる。
【０００３】
次に、顔テンプレートと、顔テンプレートに対応する領域に変換された変換撮影画像の間で正規化相関係数を計算する。そして、この値が閾値以上のとき、入力画像中の人物を「本人」と判定し、閾値以下のとき「本人でない」と判定する。
顔テンプレートと変換撮影画像間の正規化相関係数は、従来次のようにして算出する。
顔テンプレートＴの列数をｍ、行数をｎとし、Ｔの第ｉ列ｊ行目
【０００４】
【数１】
2005242928.tif 000003
のピクセルを（ｉ、ｊ）で表し、その輝度値をＴ（ｉ、ｊ）で表す。また、変換撮影画像ＷもＴと同じ列数、行数をもつとし、Ｗの第ｉ列ｊ行目のピクセル（ｉ、ｊ）の輝度値をＷ（ｉ、ｊ）で表す。このとき、ＴとＷの間の正規化相関係数Ｃは次式で与えられる。
【０００５】
【数２】
2005242928.tif 000004
ただし、
【０００６】
【数３】
2005242928.tif 000005
【０００７】
【数４】
2005242928.tif 000006
【０００８】
【数５】
2005242928.tif 000007
【０００９】
【数６】
2005242928.tif 000008
【００１０】
【数７】
2005242928.tif 000009
Ｅ（Ｔ・Ｗ）は、ＴとＷの対応するピクセルどおしの輝度値の積の平均値を表す。
【００１１】
【数８】
2005242928.tif 000010
は、Ｔ中ピクセルの輝度値の平均値と標準偏差を表す。
【００１２】
【数９】
2005242928.tif 000011
は、Ｗ中ピクセルの輝度値の平均値と標準偏差を表す。
正規化相関係数Ｃの最大値は１である。すべてのピクセル（ｉ、ｊ）に対してＴ（ｉ、ｊ）＝Ｗ（ｉ、ｊ）が成り立つとき、Ｃは最大値１をとる。そして、ＴとＷが類似した画像である程、Ｃは１に近い値をとる。
【発明の開示】
【発明が解決しようとする課題】
【００１３】
そこで従来のテンプレートマッチングを用いる顔認証システムでは、変換撮影画像と顔テンプレート間の類似度として正規化相関係数（以降単に類似度とも言う）を用いるが、次の問題がある。
本人か本人でないかを判定するためには、類似度の閾値を前もって決めておく必要がある。このとき、変換撮影画像中の人物が本人ならば、常に類似度が閾値以上となり、本人でないならば、常に類似度が閾値以下となるように、閾値の値を決めておく必要がある。
そして、本人でない場合でも類似度の値が比較的１に近い値となることがある。それ故、本人でない人物を誤って、「本人」と判定してしまわないためには、閾値を１に近い値に設定しておく必要がある。
前述した従来のテンプレートマッチングを用いる顔認証システムでは、登録画像から、目、眉毛を含む長方形領域（または、目、眉毛、鼻、口を含む長方形領域）を切り出し、これを顔テンプレートとするが、髪型は時間とともに変化するので、できる限り、顔テンプレートに髪が含まれないように領域選定する必要がある。そこで、長方形領域のかわりに、長方形の角を切り取った領域を顔テンプレートとする方法もある。
しかし、顔テンプレートでは髪が眉毛にかかっていないが、変換撮影画像では髪が眉毛にかかっているというような状況も生じる。このような場合、従来法では、変換撮影画像と顔テンプレートが同じ人物であっても、両者の間の類似度が１より相当小さな値になることがある。従って、このような場合、本人であるのに誤って、本人でないと判定してしまう。
このような問題を解決するための一つの方法は、変換撮影画像に髪が入らないように、例えば、眉毛に髪がかからないように、カメラの前の人物に対して、髪を掻き上げてもらうことである。しかし、このようにすると、顔の表情が変化する場合が多い。また、カメラの前の人物にとっても面倒である。
【課題を解決するための手段】
【００１４】
本発明は、上記問題を解決するためになされたものであり、その特徴とするところは、データベースの登録画像から顔テンプレートＴを編集し、撮影画像から前記顔テンプレート領域に対応する領域の変換撮影画像Ｗを編集し、該顔テンプレートＴと変換撮影画像Ｗとの間の正規化相関係数を算出し、この値に基づいて本人の当否を判定するに際し、前記顔テンプレートＴを変換撮影画像Ｗの上に重ねたとき、対応するピクセルの両方を、顔の膚領域に属するピクセルのみを用いて正規化相関係数を算出することを特徴とするテンプレートマッチング式個人顔認証システム。
【発明の効果】
【００１５】
顔認識（face recognition）は、顔による人物同定（face identification）と顔による個人認証（face authentication）に分類される。
顔による人物同定では、カメラの前の人物に最も類似した顔をもつ人物をデータベースから選ぶことにより、カメラの前の人物の名前を求める。人物同定の場合は、カメラの前の人物との類似度が最大となる顔を選べばよいので、その類似度の値は１に近くなくてもよい。本人の顔に対する類似度が、データベース中の他の顔に対する類似度より大きくなりさえすればよい。
従って、顔テンプレートＴや変換された入力画像Ｗに髪や背景が含まれることは、あまり問題でない。
一方、顔による個人認証の場合は、本人か、本人でないかを判定するための閾値を前もって決めておく必要がある。それ故、「本人の場合は、類似度が常に１に近い値となる」類似度を用いる必要がある。このため顔テンプレートＴや変換撮影画像Ｗから髪や背景を除く処理が必要になる。
本発明は、顔による個人認証に対して有効な手法である。
即ち、前記顔テンプレートＴと変換撮影画像Ｗの間の正規化相関係数を算出するに際し、従来手法では、該ＴとＷ中のすべてのピクセルを用いて、正規化相関係数を算出するのに対して、本発明は、ＴをＷの上に重ねたとき、対応するピクセルの両方ともが、顔の膚領域に属するピクセルのみを選択して用いて、正規化相関係数を算出する。これによって、顔テンプレートと変換撮影画像が同じ人物のとき、髪や背景が、顔テンプレートや変換撮影画像に含まれているか否かにかかわらず、常に正規化相関係数の値を１に近い値にすることができるのである。そして、この結果として、カメラの前の人物の髪型が変化する場合でも、本人か、本人でないかを正確に判定できるのである。
【発明を実施するための最良の形態】
【００１６】
次の実施例と共に説明する。
【実施例】
【００１７】
次に本発明の実施を、本発明を実施するための最良の形態例と共に説明する。
データベースの登録画像から編集する顔テンプレートＴは、図１に示す「目、眉毛のみを含む領域」以外に、一人の人物に対して「目、眉毛、鼻、口を含む領域」あるいは、「目と眉毛を含む領域と鼻の領域と口の領域との３領域」を顔テンプレートとしてもよい。後者の場合、３領域に対する類似度の和を、撮影画像と登録座像間の類似度とすればよい。
但し、眉毛のほとんどが隠されているような画像まで、認証の対象とする場合は「目と眉毛」のみの顔テンプレートでは、個人認証が難しくなる。従って「目、眉毛、口、鼻からなる領域」の顔テンプレートにするほうが好ましい。
データベース中の登録画像から顔テンプレートＴを編集するための具体的方法は次の通り。
まず、システムによって自動的に人物の両目の中心位置（両目の虹彩の中心位置）を検出する。次に、両目の中心位置および両目の中心間の距離をもとにして、登録画像から切り出す長方形領域の位置、大きさを決定する。そして、登録画像からこの長方形領域を切り出し、これを顔テンプレートＴとする。
データベース中の登録画像から、顔の膚領域を検出するための具体的方法は次の通り。
作成したシステムでは、膚の色モデルを用いて顔の膚領域を抽出するが、色空間としてはｒｇ色空間を用いる。登録画像のピクセルの色はＲＧＢ色空間で与えられている。そこで、登録画像中のすべてのピクセルに対して、次式を用いて色（ｒ、ｇ）を求める。
【００１８】
【数１０】
2005242928.tif 000012
【００１９】
【数１１】
2005242928.tif 000013
膚の色モデルは次のようにして作成する。人物の顔画像の学習例から膚領域を切り出し、膚領域中のピクセルの色（ｒ、ｇ）の
【００２０】
【数１２】
2005242928.tif 000014
と共分散行列を計算する。次に、膚領域中のピクセルの色（ｒ、ｇ）の分布を、この平均値、共分散行列ガウス分布で近似し、色ｖ＝（ｒ、ｇ）の膚色度Ｇ（ｖ）を次式で与える。
【００２１】
【数１３】
2005242928.tif 000015
上記の膚の色モデルを用いて、登録画像から顔の膚領域を検出する過程は次の通り。まず、登録画像中のすべてのピクセル（ｘ、ｙ）に対して、色（ｒ、ｇ）を求め、その膚色度Ｇ（ｒ、ｇ）が閾値以上ならばＢ（ｘ、ｙ）＝１とし、そうでなければＢ（ｘ、ｙ）＝０とすることによって、２値画像Ｂをつくる。次に、２値画像Ｂにモーフォロジー処理を適用して雑音を除いた後、Ｂ中で値が１であるピクセルの連結成分の中で面積が最大の連結成分を求め、これを顔の膚領域ＦＲとする。しかし、このＦＲにおいては、図３に示す例のように、目や眉毛が欠けている可能性がある。そこで、ＦＲ中の穴を埋めた後、サイズの大きい近傍を用いて膨張処理を適用し、得られる領域を最終的な顔の膚領域ＦＲとする。図４左の画像から上記の方法を用いて顔の膚領域を抽出すると、図４右に示すような画像が得られる。
撮影画像から顔の膚領域を検出する方法は、登録画像から顔の膚領域を検出するために用いた方法と同じである。
撮影画像から顔テンプレート領域に対応する領域の変換撮影画像Ｗを編集する具体的方法は次の通り。
まず、撮影画像から両目の中心位置（ｘ１、ｙ１）、（ｘ２、ｙ２）を、システムによって自動的に求める。
また、顔テンプレート作成時に求めた、顔テンプレート中の両目の中心位置を（ｉ１、ｊ１）、（ｉ２、ｊ２）で表す。次に、撮影画像の座標系（これをｘｙ座標系と呼ぶ）は顔テンプレートの座標系（これをｉｊ座標系とよぶ）に
【００２２】
【数１４】
2005242928.tif 000016
を適用して得られると仮定し、（ｘ１、ｙ１）、（ｘ２、ｙ２）がそれぞれ（ｉ１、ｊ１）、（ｉ２、ｊ２）に対応するという関係を用いて、
【００２３】
【数１５】
2005242928.tif 000017
の値を求める。このとき、ｘｙ座標系（撮影画像の座標系）とｉｊ座標系（顔テンプレートの座標系）の間の変換式は次式で与えられる。
【００２４】
【数１６】
2005242928.tif 000018
【００２５】
【数１７】
2005242928.tif 000019
【００２６】
【数１８】
2005242928.tif 000020
【００２７】
【数１９】
2005242928.tif 000021
【００２８】
【数２０】
2005242928.tif 000022
【００２９】
【数２１】
2005242928.tif 000023
ここで、
【００３０】
【数２２】
2005242928.tif 000024
【００３１】
【数２３】
2005242928.tif 000025
変換撮影画像Ｗの座標系は、顔テンプレートＴの座標系と同じである。そこで、Ｗ中のピクセルを
【００３２】
【数２４】
2005242928.tif 000026
で表す。そして、Ｗ中のピクセル（ｉ、ｊ）の輝度値Ｗ（ｉ、ｊ）を次のようにして求める。Ｗ中のすべてのピクセル（ｉ、ｊ）に対して、（ｉ、ｊ）に対応する撮影画像中の点（ｘ、ｙ）を上記の変換式から求める。このとき（ｘ、ｙ）が整数点ならば、Ｗ（ｉ、ｊ）を撮影画像中のピクセル（ｘ、ｙ）の輝度値で与える。（ｘ、ｙ）が整数点でないならば、（ｘ、ｙ）に最も近い４個の整数点を（ｐ、ｑ）、（ｐ+１、ｑ）、（ｐ、ｑ+１）、（ｐ+１、ｑ+１）とするとき、Ｗ（ｉ、ｊ）をこれらの点の輝度値の線形補間で与える。
顔テンプレートＴと変換撮影画像Ｗの間で、正規化相関係数Ｃを計算する手順は次の通りである。
第一に、顔テンプレートＴ中のすべてのピクセル（ｉ、ｊ）に対して、ＴＢ（ｉ、ｊ）を式ＴＢ（ｉ、ｊ）＝１（ピクセル（ｉ、ｊ）が顔の膚領域に属す場合）ＴＢ（ｉ、ｊ）＝０（そうでない場合）で与える。
第二に、変換撮影画像Ｗ中のすべてのピクセル（ｉ、ｊ）に対して、ＷB（ｉ、ｊ）を式ＷＢ（ｉ、ｊ）＝１（ピクセル（ｉ、ｊ）が顔の膚領域に属す場合）、ＷＢ（ｉ、ｊ）＝０（そうでない場合）で与える。
第三に、顔テンプレートＴと変換撮影画像Ｗの間の正規化相関係数Ｃを次式で与える。
【００３３】
【数２５】
2005242928.tif 000027
ただし
【００３４】
【数２６】
2005242928.tif 000028
【００３５】
【数２７】
2005242928.tif 000029
ここで、
【００３６】
【数２８】
2005242928.tif 000030
【００３７】
【数２９】
2005242928.tif 000031
【００３８】
【数３０】
2005242928.tif 000032
【００３９】
【数３１】
2005242928.tif 000033
【００４０】
【数３２】
2005242928.tif 000034
上に述べた方法では、撮影画像から顔テンプレートＴと同じ行数、列数をもつ変換撮影画像Ｗを作成し、ＴとＷの間の正規化相関係数Ｃの値によって本人の当否を判定する。この方法のかわりに次のような方法を用いてもよい。登録画像から顔テンプレートＴを作成するとき、同時に、Ｔの上、下、左、右を少し拡げたテンプレートＴＥを作成しておき、撮影画像からＴに対応する変換撮影画像Ｗを作成するかわりに、撮影画像からＴＥに対応する変換撮影画像ＷＥを作成する。そして、ＴをＷＥ上で移動させながら、正規化相関係数Ｃを計算し、Ｃを最大にする位置でのＣの値によって本人の当否を判定する。
【産業上の利用可能性】
【００４１】
本発明は、前記の優れた効果を有するため、顔を用いた個人認証システム（例えば、ＩＤカードやパスポートをもった人物、あるいは、パスワードを入力した人物が本人か本人でないかを、顔画像を用いて確認する防犯システム等）に有効に適用することができるものである。
【図面の簡単な説明】
【００４２】
【図１】テンプレートマッチングを用いる顔認証システムでのモデリング過程で、データベース中登録画像から、目、眉毛を含む長方形領域Z1を切り出した顔テンプレート例を示す説明図である。
【図２】テンプレートマッチングを用いる顔認証システムでの顔認識過程で、カメラの前に立った人物の顔撮影画像例を示す説明図である。
【図３】登録画像から顔の膚領域を検出する過程で得られる画像の１例を示す。
【図４】登録画像から顔の膚領域を検出する過程の説明図。
【符号の説明】
【００４３】
Ｚ1    目、眉毛を含む長方形領域
【図１】
2005242928.tif 000035
【図２】
2005242928.tif 000036
【図３】
2005242928.tif 000037
【図４】
2005242928.tif 000038