(57)【要約】  特徴量抽出用画像生成手段２は、入力された画像から、各画素値に所定の演算を施した特徴量抽出用画像を生成する。顔検出手段３および両目検出手段４は、特徴量抽出用画像に基づいて顔検出および両目検出を行う。特徴量取得手段６は、両目の位置に基づいて正規化した画像から特徴量を抽出する。顔認証手段１０は、特徴量取得手段６で取得された特徴量と、予め登録された特徴量とを比較することにより、顔認証を行う。【特許請求の範囲】
【請求項１】
入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を生成する特徴量抽出用画像生成手段と、
前記特徴量抽出用画像生成手段で生成した特徴量抽出用画像から、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔検出手段と、
検出した顔領域の前記特徴量抽出用画像から、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出手段と、
両目の位置に基づいて前記顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、
予め登録された個人の特徴量と、前記特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えた顔認証装置。
【請求項２】
顔検出手段は、特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて顔検出を行い、
両目検出手段は、前記特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて両目検出を行い、
顔認証手段は、前記特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求めた結果を用いて顔認証を行うことを特徴とする請求項１記載の顔認証装置。
【請求項３】
特徴量抽出用画像生成手段は、各画素の画素値を座標軸の方向に加算または乗算した値を持つ画像を特徴量抽出用画像として生成することを特徴とする請求項１記載の顔認証装置。
【請求項４】
顔検出手段は、検索ウインドウを拡大または縮小し、当該拡大縮小率に応じて特徴量を正規化して顔領域の検出を行うことを特徴とする請求項１記載の顔認証装置。
【請求項５】
特徴量抽出用画像生成手段は、特徴量抽出用画像の演算値が表現可能な範囲内で分割された各分割画像に対して、前記特徴量抽出用画像を求めることを特徴とする請求項１記載の顔認証装置。
【請求項６】
入力された画像データに対して各画素値に所定の演算を施した特徴量抽出用画像データを生成する特徴量抽出用画像取得ステップと、
前記特徴量抽出用画像データから、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔領域検出ステップと、
検出した顔領域の前記特徴量抽出用画像データから、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出ステップと、
両目の位置に基づいて正規化された画像データから、特徴量データを抽出する特徴量取得ステップと、
予め登録された各個人の特徴量データと、前記特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う認証ステップとを備えたことを特徴とする顔認証方法。
【請求項７】
入力された画像から顔領域を検出する顔検出手段と、
検出された顔領域における両目の探索範囲の中心から周辺に向かって探索を行い、両目の位置を検出する両目検出手段と、
両目の位置に基づいて前記顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、
予め登録された個人の特徴量と、前記特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えた顔認証装置。
【請求項８】
入力された画像データから顔領域を検出する顔領域検出ステップと、
検出された顔領域における両目の探索範囲の中心から周辺に向かって目の探索処理を行い、両目の位置を検出する両目検出ステップと、
両目の位置に基づいて前記顔領域を正規化した画像データから、特徴量データを抽出する特徴量取得ステップと、
予め登録された個人の特徴量データと、前記特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う顔認証ステップとを備えた顔認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、顔を撮影した画像から顔領域を抽出し、この顔領域の画像と、予め登録したデータと比較して認証を行う顔認証装置及び顔認証方法に関するものである。
【背景技術】
【０００２】
従来の顔認証装置では、装置に入力された顔画像から顔領域を検出する際、眉間を中心とする円心の画素の画素値をフーリエ変換し、周波数２となる領域を顔領域として求めていた。また、顔認証を行う際にZernike（ゼルニケ）モーメントを用いて抽出した特徴量を用いていた（例えば、特許文献１参照）。【０００３】
【特許文献１】特開２００２−３４２７６０号公報
【０００４】
しかしながら、上記従来の顔認証装置では、顔領域を検出する際に眉間を中心とする円心の画素の画素値をフーリエ変換し、周波数２となる領域を顔領域としていたため、例えば、眉が髪の毛で覆われているような画像の場合顔領域を正確に求めることが困難であった。【０００５】
また、顔画像認証可能な場合であっても、認証を行う際に用いるZernikeモーメントを求める際に複雑な演算を必要とする等、演算量が多く、例えば演算能力に制限を有する携帯電話やＰＤＡ（Personal Digital Assistants）では計算コストが高く、リアルタイム処理を実現することが困難であるといった問題があった。【０００６】
この発明は上記のような課題を解決するためになされたもので、種々の顔画像であっても正確に顔領域を抽出することができ、かつ、演算量を少なくすることのできる顔認証装置及び顔認証方法を得ることを目的とする。
【発明の開示】
【０００７】
この発明に係る顔認証装置は、入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を生成する特徴量抽出用画像生成手段と、特徴量抽出用画像から、顔領域を検出する顔検出手段と、特徴量抽出用画像から、両目の位置を検出する両目検出手段と、両目の位置に基づいて顔領域を正規化した画像から特徴量を抽出する特徴量取得手段と、予め登録された個人の特徴量と、特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えたものである。
【０００８】
このことによって、顔認証装置としての信頼性向上と、演算量の削減化を図ることができる。
【図面の簡単な説明】
【０００９】
【図１】この発明の実施の形態１による顔認証装置を示すブロック図である。
【図２】この発明の実施の形態１による顔認証装置の動作を示すフローチャートである。
【図３】この発明の実施の形態１による顔認証装置の原画像と積分画像との関係を示す説明図である。
【図４】この発明の実施の形態１による顔認証装置の画像を分割して処理する方法を示す説明図である。
【図５】この発明の実施の形態１による顔認証装置のレクタングルフィルタの説明図である。
【図６】この発明の実施の形態１による顔認証装置の画素値合計を求める処理の説明図である。
【図７】この発明の実施の形態１による顔認証装置の積分画像を分割して求めた際の矩形内の画素値合計を求める処理の説明図である。
【図８】この発明の実施の形態１による顔認証装置の顔領域を検出する際に検出対象とする探索ブロックの説明図である。
【図９】この発明の実施の形態１による顔認証装置の顔領域検出処理を示すフローチャートである。
【図１０】この発明の実施の形態１による顔認証装置の顔領域検出結果を示す説明図である。
【図１１】この発明の実施の形態１による顔認証装置の両目探索の説明図である。
【図１２】この発明の実施の形態１による顔認証装置の目領域の探索動作の説明図である。
【図１３】この発明の実施の形態１による顔認証装置の正規化処理の説明図である。
【図１４】この発明の実施の形態１による顔認証装置の特徴量データベースの説明図である。
【発明を実施するための最良の形態】
【００１０】
以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１は、この発明の実施の形態１による顔認証装置を示すブロック図である。【００１１】
本実施の形態の顔認証装置は、画像入力手段１、特徴量抽出用画像生成手段２、顔検出手段３、両目検出手段４、顔画像正規化手段５、特徴量取得手段６、特徴量格納手段７、特徴量抽出用画像格納手段８、特徴量データベース９、顔認証手段１０を備えている。
画像入力手段１は、画像を入力するための機能部であり、例えば、携帯電話やＰＤＡ等に搭載されたデジタルカメラや、外部メモリ等で入力された画像、インターネット等から通信手段を用いて取得する取得手段等からなるものである。【００１２】
特徴量抽出用画像生成手段２は、画像入力手段１で入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を取得する手段である。特徴量抽出用画像とは、例えば積分画像であるが、その詳細については後述する。
顔検出手段３は、特徴量抽出用画像生成手段２で取得された特徴量抽出用画像に基づいて、所定の手法により顔領域を検出する機能部である。両目検出手段４は、顔検出手段３と同様の手法により、顔領域中から両目領域を検出する機能部である。顔画像正規化手段５は、両目検出手段４で検出された両目の位置に基づいて顔認証の対象となる画像サイズに顔領域を拡大縮小する機能部である。特徴量取得手段６は、正規化した顔画像から顔認証のための特徴量を取得する機能部であり、特徴量格納手段７は、その特徴量を特徴量データベース９や顔認証手段１０に送出する機能部である。【００１３】
特徴量抽出用画像格納手段８は、特徴量抽出用画像生成手段２で取得された特徴量抽出用画像を格納する機能部であり、顔検出手段３〜特徴量取得手段６は、この特徴量抽出用画像格納手段８に格納された特徴用抽出用画像に基づいて各種の処理を行うよう構成されている。また、特徴量データベース９は、顔検出手段３が使用するための顔の特徴量、両目検出手段４が使用するための目の特徴量および顔認証手段１０が使用するための各人の特徴量を格納するデータベースである。更に、顔認証手段１０は、特徴量取得手段６で取得された認証対象となる特徴量と、特徴量データベース９に予め登録された各人の顔の特徴量データとを比較して顔認証を行う機能部である。【００１４】
次に、本実施の形態の顔認証装置の動作について説明する。
図２は、動作を示すフローチャートである。
先ず、画像入力手段１において画像を入力する（ステップＳＴ１０１）。ここでは、携帯電話やＰＤＡなどに装備されたデジタルカメラで撮影された画像、外部メモリ等で入力された画像、インターネット等から通信手段を用いて取得した画像等、携帯電話やＰＤＡ等に入力可能な全ての画像を対象とする。【００１５】
次に、特徴量抽出用画像生成手段２において特徴量抽出用画像を求める（ステップＳＴ１０２）。ここで、特徴量抽出用画像とは、顔検出、両目検出、顔認証でそれぞれの特徴を抽出するために用いるRectangle Filter（レクタングル  フィルタ）と呼ばれるフィルタで画像をフィルタリングする際に用いられる画像であり、例えば、図３に示すようにｘ，ｙ座標の座標軸方向（水平垂直方向）に画素値の累計を求めた積分画像である。【００１６】
積分画像は次式で求めることができる。
グレースケールの画像をＩ（ｘ，ｙ）とすると、積分画像Ｉ’（ｘ，ｙ）は次式で表現する。
【数１】
2006030519.tif 000002
図３は、特徴量抽出用画像生成手段２で原画像を積分画像に変換した結果を示す説明図である。
例えば、原画像１１を積分画像に変換した場合は、積分画像１２のようになる。即ち、原画像１１の各画素値に対応した積分画像１２の演算値は、原画像１１の各画素値を図面左上の画素値から水平垂直方向に加算した値となっている。
積分画像は、グレースケール画像を対象として求められるため、カラー画像に対しては、画素値を一度次式で変換してから積分画像を求める。
カラー画像の各画素のＲ成分、Ｇ成分、Ｂ成分をＩｒ，Ｉｇ，Ｉｂとすると、グレースケールＩは、例えば次式を用いて求められる。尚、ＲＧＢ各成分の平均値を求めても良い。
I(x,y)=0.2988Ir(x,y)+0.5868Ig(x,y)+0.1144Ib(x,y)【００１７】
ここで、画像入力手段１において、入力する画像サイズが例えば３００万画素などの大きなサイズであった場合、積分画像の各画素値を表現するために用いる整数型のデータでは表現できない場合がある。つまり、積分値が整数型のデータサイズをオーバーフローしてしまう場合がある。
そのため、本実施の形態ではこのような場合を考慮し、オーバーフローしない範囲で画像を次のように分割し、分割した各部分画像の積分画像を求める。【００１８】
尚、本実施の形態では、積分画像１２は、原画像１１の画素値をそのまま累計した値であるが、原画像１１の各画素値を自乗した値の積分画像であっても同様に適用可能である。但し、この場合は、積分値が整数型のデータサイズをオーバーフローしないために、分割は更に細かい（分割画像が小さい）ものとなる。【００１９】
図４は、画像を分割して処理する方法を示す説明図である。
図において、１３〜１６は、分割された画像を示し、１７〜１９は探索ウインドウが分割された画像同士とオーバラップするケースを示している。
このように、本実施の形態では、分割した各部分画像１３，１４，１５，１６で積分画像を求める。この場合、合計値を求める矩形が複数の分割画像に跨ってしまう場合があり、その場合は、縦方向に異なる場合１８、横方向に異なる場合１７、四つの分割画像に異なる場合１９の三つの場合が考えられる。これらのそれぞれの場合における処理方法は後述する。【００２０】
以上で積分画像を求めた後、顔検出手段３において画像から顔領域を検出する（ステップＳＴ１０４）。
本実施の形態の顔認証装置では、人間の顔の特徴、目の特徴、顔の個人差の特徴を全て図５に示すRectangle Filter２０を複数用いて画像をフィルタリングした後のレスポンス値の組み合わせによって表現する。【００２１】
図５に示すRectangle Filter２０は、固定サイズの検索ブロック内、例えば２４×２４画素のブロック内で白い矩形内の画素値合計からハッチングされた矩形内の画素値合計を引き算した値を求めるものである。
つまり、次式で表現した値をRectangle Filter２０のレスポンスとする。
【数２】
2006030519.tif 000003
ここで、Ｉ（ｘｗ，ｙｗ）は、白い矩形内の画素値合計、Ｉ（ｘｂ，ｙｂ）は、ハッチング矩形内の画素値合計を示している。
尚、図５に示したRectangle Filter２０は基本的なものを示したものであり、実際には、探索ブロック内で位置および大きさが異なる複数のRectangle Filter２０が存在する。【００２２】
顔検出手段３では、人物の顔を検出するのに適した複数のRectangle Filterを用いてフィルタリングした複数のフィルタリングレスポンス値に応じて重み付けし、重み付けした値の線形和が閾値よりも大きいか否かによって探索ブロックが顔領域か否かを判定する。つまり、フィルタリングレスポンス値に応じて付与される重みが顔の特徴を表すものであり、この重みは事前に学習アルゴリズムなどを用いて獲得しておく。
つまり、以下の判別式で識別する。
【数３】
2006030519.tif 000004
但し、ＲＦｗｉは、Rectangle Filterレスポンスに対する重み、Ｆは重みの線形和、ｔｈは顔判定閾値を示している。【００２３】
以上の通り、顔検出手段３では、探索ブロック内での各矩形の画素値合計に基づいて顔検出を行う。このとき、画素値合計演算を効率的に行うための手段として特徴量抽出用画像生成手段２で求めた積分画像を用いる。
例えば、図６に示すように、領域２１内のＡＢＣＤで囲まれた矩形内の画素値合計を求める場合、積分画像を用いれば矩形内の画素値合計は次式で求めることができる。【００２４】
S=Int(xｄ,yｄ)-Int(xｂ,yｂ)-Int(xｃ,yｃ)+Int(xａ,yａ)
Int(xｄ,yｄ)：点Ｄにおける積分画素値
Int(xｂ,yｂ)：点Ｂにおける積分画素値
Int(xｃ,yｃ)：点Ｃにおける積分画素値
Int(xａ,yａ)：点Ａにおける積分画素値
このように、一度積分画像を求めておけば、矩形内の画素値合計は４点の演算のみで求めることができ、効率的に任意の矩形内の画素値合計を求めることが可能である。また、積分画像１２の積分画素値も整数で表されているため、このような積分画像１２を用いて各種の処理を行っている本実施の形態の顔認証処理は全て整数演算で行うことが可能である。【００２５】
ここで、先に述べたように、画像を分割して積分画像を求めた場合に、図４における１７〜１９に示すように複数の分割画像と重なって画素値合計を求めなければならない場合がある。
重なりのパターンとしては、前述の通り、縦方向に重なっている場合１８、横方向に重なっている場合１７、四つの分割画像と重なっている場合１９に分けられる。【００２６】
図７は、三つの重なりのパターンのケースを示す説明図である。
先ず、縦方向に重なっているケースで、図中の２２に示すようにＡＢＥＦ内の画素値合計を求める場合は、次式で求めることができる。
S=Int(xｄ,yｄ)+Int(xａ,yａ)-(Int(xｂ,yｂ)+Int(xｃ,yｃ))+Int(xｆ,yｆ)+Int(xｃ,yｃ)-(Int(xｅ,yｅ)+Int(xｄ,yｄ))
Int(xｄ,yｄ)：点Ｄにおける積分画素値
Int(xｂ,yｂ)：点Ｂにおける積分画素値
Int(xｃ,yｃ)：点Ｃにおける積分画素値
Int(xａ,yａ)：点Ａにおける積分画素値
Int(xｅ,yｅ)：点Ｅにおける積分画素値
Int(xｆ,yｆ)：点Ｆにおける積分画素値【００２７】
横方向に重なっている場合も上記同様に求めることができる。例えば図７の２３におけるＡＢＥＦも次式で求めることができる。
S=Int(xｄ,yｄ)+Int(xａ,yａ)-(Int(xｂ,yｂ)+Int(xｃ,yｃ))+Int(xｆ,yｆ)+Int(xｃ,yｃ)-(Int(xｅ,yｅ)+Int(xｄ,yｄ))
Int(xｄ,yｄ)：点Ｄにおける積分画素値
Int(xｂ,yｂ)：点Ｂにおける積分画素値
Int(xｃ,yｃ)：点Ｃにおける積分画素値
Int(xａ,yａ)：点Ａにおける積分画素値
Int(xｅ,yｅ)：点Ｅにおける積分画素値
Int(xｆ,yｆ)：点Ｆにおける積分画素値【００２８】
四つの分割画像と重なっている場合は、各分割画像に重なっている部分の画素値合計を足し合わせればよい。例えば、図７の２４に示すように矩形ＡＧＥＩの画素値合計を求める場合は、次式で求めることができる。【００２９】
S=Int(xａ,yａ)+Int(xｄ,yｄ)-(Int(xｂ,yｂ)+Int(xｃ,yｃ))+Int(xｃ,yｃ)+Int(xｆ,yｆ)-(Int(xｄ,yｄ)+Int(xｅ,yｅ))+Int(xｂ,yｂ)+Int(xｈ,yｈ)-(Int(xｄ,yｄ)+Int(xｇ,yｇ))+Int(xｄ,yｄ)+Int(xｉ,yｉ)-(Int(xｆ,yｆ)+Int(xｈ,yｈ))
Int(xｄ,yｄ)：点Ｄにおける積分画素値
Int(xｂ,yｂ)：点Ｂにおける積分画素値
Int(xｃ,yｃ)：点Ｃにおける積分画素値
Int(xａ,yａ)：点Ａにおける積分画素値
Int(xｅ,yｅ)：点Ｅにおける積分画素値
Int(xｆ,yｆ)：点Ｆにおける積分画素値
Int(xｇ,yｇ)：点Ｇにおける積分画素値
Int(xｈ,yｈ)：点Ｈにおける積分画素値
Int(xｉ,yｉ)：点Ｉにおける積分画素値【００３０】
次に、通常、上記顔特徴量抽出のために使用する探索ブロックは例えば２４×２４画素などのように固定されており、顔特徴量を学習する際はその探索ブロックサイズの顔画像を学習している。しかしながら、画像から任意の大きさで撮影された顔領域を、サイズが固定された探索ブロックを用いて検出することは不可能である。この問題を解決するためには、画像を拡大縮小して複数の解像度画像を作成するか、あるいは探索ブロックを拡大縮小するかのいずれかの方法があり、どちらの方法を用いても良い。【００３１】
本実施の形態では、積分画像を複数解像度に合わせて求めた場合、メモリ効率が悪いため、探索ブロックを拡大縮小する。つまり、次のように、探索ブロックを一定の拡大縮小率で拡大することによって任意の大きさの顔領域が検出可能となる。
図８は、顔領域を検出する際に検出対象とする探索ブロックの説明図である。
図中の探索ブロック２５の拡大縮小によって顔領域を検出する動作は次の通りである。【００３２】
図９は、顔領域検出処理を示すフローチャートである。
先ず、拡大縮小率Ｓを１．０とし、等倍の探索ブロックからスタートする（ステップＳＴ２０１）。
顔検出は、探索ブロックを縦横一画素ずつ移動しながら探索ブロック内の画像が顔領域か否かを判定し、顔領域であればその座標を記憶する（ステップＳＴ２０２〜ステップＳＴ２０９）。
先ず、Rectangle Filter内の矩形座標に拡大縮小率Ｓをかけたときの新たな矩形座標（矩形を構成する頂点の座標）を求める（ステップＳＴ２０４）。【００３３】
ここで、単純に各座標値に拡大縮小率Ｓをかけただけでは、丸め誤差が生じて正しい座標値を求めることができない。よって、探索ブロックを拡大縮小したときの各矩形座標は次式で求める。
【数４】
2006030519.tif 000005
尚、上記計算式において、ｔｏｐは矩形の左上Ｙ座標、ｌｅｆｔは矩形の左上Ｘ座標、ｈｅｉｇｈｔは矩形の高さ、ｗｉｄｔｈは矩形の幅、Ｓは拡大縮小率、ｒｃ，ｃｃは矩形のオリジナル頂点座標、ｒｎ，ｃｎは変換後の頂点座標である。
上記計算式は、矩形座標に依存せず、常に矩形の大きさを一定に保つために必要なものである。【００３４】
以上で求めた座標を基に特徴量抽出用画像格納手段８に格納されている積分画像に基づいてフィルタレスポンスを求める（ステップＳＴ２０５）。このフィルタレスポンスは矩形が拡大されているため、学習時に用いた探索ブロックサイズでの値より拡大縮小率だけ大きくなっている。
よって、次式で示すようにフィルタレスポンスを拡大縮小率で割ることによって学習時と同じ探索ブロックサイズで求めた場合の値が得られる（ステップＳＴ２０６）。
Ｆ＝Ｒ／Ｓ
尚、Ｆはレスポンス、Ｒは拡大した矩形から求めたレスポンス、Ｓは拡大率を示している。【００３５】
上記で求めた値からレスポンスに応じた重みを求め、全ての重みの線形和を求め、求めた値と閾値を比較することにより顔か否かを判定する（ステップＳＴ２０７）。顔であればそのときの探索ブロックの座標を記憶する。
画像全体を走査した後、拡大縮小率Ｓに対して固定値、例えば１．２５をかけて（ステップＳＴ２１０）、新たな拡大縮小率をもってステップＳＴ２０２〜ステップＳＴ２０９の処理を繰り返す。そして、拡大後の探索ブロックサイズが画像サイズを超えたときに処理を終了する（ステップＳＴ２１１）。【００３６】
上記の処理において、拡大縮小率を整数で表現し、例えば１．０を１００で置き換えて表現したとき、１００未満を小数として扱うことが可能となる。このときの計算は、掛け算の場合、計算後１００で割る。割り算の場、割られる数を１００倍して計算すればよい。このように小数を用いないで計算することが可能となる。【００３７】
以上で検出した顔領域は、前述の通り探索ブロックを１ピクセルずつ移動させながら顔領域判定を行うため、顔の付近では複数の探索ブロックが顔領域と判定することにより記憶した顔領域矩形が重なり合う場合がある。
図１０は、これを示す説明図であり、顔領域の検出結果を示すものである。
図中の複数の探索ブロック２５は、本来一つの領域であるので、矩形同士が重なり合っている場合、その重なり合う割合に応じて矩形同士を統合する。
重なり合う割合は、例えば矩形１、矩形２が重なり合っている場合、次式で求めることができる。
if矩形１の面積＞矩形２の面積
重なり率＝重なり部分の面積／矩形１の面積
else
重なり率＝重なり部分の面積／矩形２の面積【００３８】
そして、重なり率が閾値よりも大きい場合に二つの矩形を統合し、一つの矩形にする。二つの矩形を統合する場合、各４点の座標の平均値を求めるか、あるいは、座標値の大小関係から求めることができる。
以上で求めた顔領域から、次に両目検出手段４で両目を検出する（ステップＳＴ１０５）。
顔検出手段３で検出した顔領域から、人間の顔の特徴を考慮すれば、左目および右目がどの位置に存在するかを予め予測することが可能である。
両目検出手段４では、各目の探索領域を顔領域の座標から特定し、探索領域内に着目して目を検出する。【００３９】
図１１は、両目探索の説明図であり、図中、２６は左目探索領域、２７は右目探索領域を示している。
両目の検出もステップＳＴ１０４の顔検出と同等の処理で行うことができる。左目、右目それぞれの特徴を、例えば、目の中心が探索ブロックの中心となるようにしてRectangle Filterを用いて特徴量を学習させる。そして、顔検出のステップＳＴ２０１〜ステップＳＴ２１１と同様に探索ブロックを拡大しながら目を検出する。【００４０】
目を検出する場合は、拡大後の探索ブロックサイズが各目の探索領域サイズを超えた場合に終了するように設定すればよい。ここで、目を探索する場合、顔検出手段３のように探索領域の左上から走査することは非常に効率が悪い。それは、目の位置は、上記設定した探索領域の中心付近に存在する場合が多いためである。
そこで、探索ブロックの走査を中心から外側に向けて走査するようにし、目が検出された時点で探索処理を中断することで処理を効率化できる。
図１２は、目領域の探索動作の説明図である。
即ち、両目検出手段４は、検出された顔領域における両目の探索範囲の中心から周辺に向かって目の探索処理を行い、両目の位置を検出する。本実施の形態では、探索領域の中心から周辺に向かって渦巻状に探索している。【００４１】
次に、ステップＳＴ１０５において検出された両目の位置に基づいて顔画像を正規化する（ステップＳＴ１０６）。
図１３は、正規化処理の説明図である。
顔画像正規化手段５は、両目検出手段４で検出した両目の位置２８，２９から、顔認証に必要な画角となるように顔領域を拡大縮小したときの画像から顔認証に必要な顔特徴量を抽出する。
ここで、正規化画像３０の大きさが例えば幅と高さがｎｗ×ｎｈ画素で、左目の位置、右目の位置が正規化画像３０における座標Ｌ（xl,yl），Ｒ（xr,yr）と設定されている場合、検出した顔領域を設定された正規化画像通りにするためには以下の処理を行う。【００４２】
先ず、拡大縮小率を求める。
拡大縮小率ＮＳは、検出した両目の位置がＤＬ（xdl,ydl），ＤＲ（xdr,ydr）とすると次式で求めることができる。
ＮＳ＝((xr-xl+1)２+(yr-yl+1)２)／((xdr-xdl+1)２+(ydr-ydl+1)２)
次に、求めた拡大縮小率と、正規化画像上で設定された左目、右目の位置の情報を用いて原画像における正規化画像の位置、つまり認証対象となる矩形位置を求める。【００４３】
正規化画像３０の左上座標、右下座標を左目の位置の相対位置で表現すると、
TopLeft(x,y)=(-xl,-yl)
BottomRight(x,y)=(nw-xl,nh-yl)
となる。
よって原画像における正規化画像３０の矩形座標は
矩形左上座標：OrgNrImgTopLeft(x,y)=(xdl-xl/NS,ydl-yl/NS)
矩形右上座標：OrgNrmImgBtmRight(x,y)=(xdl+(nw-xl)/NS,ydl+(nh-yl)/NS)
となる。【００４４】
以上で求めた認証対象領域から顔認証に必要な特徴量を顔認証用のRectangle Filterを用いて抽出する。
このとき、顔認証用のRectangle Filterは正規化画像サイズを想定して設計されているため顔検出同様Rectangle Filter内の矩形座標を原画像における座標に変換し、画素値合計を積分画像に基づいて求め、求めたフィルタレスポンスを上記で求めた拡大縮小率ＮＳをかけることで正規化画像サイズにおけるフィルタレスポンスを求めることができる。【００４５】
先ず、現画像におけるRectangle Filterの矩形座標は、
OrgRgn(x,y)=(xdl+rx*NS, ydl+ry*NS)
となる。ここでrx,ryは正規化画像３０上での矩形座標である。
そして、ここで求めた矩形座標から積分画像の画素値を参照し、矩形内画素値合計を求める。
FRorgを原画像におけるフィルタレスポンス、ＦＲを正規化画像３０におけるレスポンスとした場合、
FR=FRorg*NS
となる。【００４６】
顔認証に必要なRectangle Filterは複数あるので、複数のRectangle Filterのレスポンスを求める（ステップＳＴ１０７）。顔を登録する際は、複数のRectangle Filterのレスポンスを、特徴量格納手段７によって特徴量データベース９に格納する（ステップＳＴ１０８、ステップＳＴ１０９）。
図１４は、特徴量データベース９の説明図である。
特徴量データベース９は、図示のように、登録ＩＤと特徴量データのテーブル構造となっている。即ち、正規化画像３０に対して複数のRectangle Filter２０のレスポンス３１を求め、これらのレスポンス３１を、個人に対応した登録ＩＤに関連付けたものである。【００４７】
次に、顔認証手段１０で顔認証を行う処理（図２におけるステップＳＴ１１０、ステップＳＴ１１１）を説明する。
顔認証は、入力画像から特徴量取得手段６で抽出した特徴量と、特徴量データベース９に格納された特徴量を比較することにより行う。
具体的には、入力画像の特徴量をＲＦｃ、登録された特徴量をＲＦｒとしたとき、特徴量間の差分に応じて次式の数５の通り重みを与える。
【数５】
2006030519.tif 000006
【００４８】
そして、重みの線形和が閾値を超える場合、同一人物とする。つまり、線形和をＲｃｇＶとすると次式の数６のようになる。
【数６】
2006030519.tif 000007
以上のような処理により、顔認証装置における特徴量の格納（登録処理）と顔認証（認証処理）を実施することができる。また、本実施の形態では、以上の処理からなるため、例えば、携帯電話やＰＤＡであってもリアルタイム処理を実現することが可能となる。【００４９】
尚、上記実施の形態では、特徴量抽出用画像として積分画像の場合を説明したが、これ以外にも、例えば積算画像であっても同様に適用することができる。
積算画像の場合は、水平垂直方向に画素値を乗算して求める。即ち、グレースケールの画像をＩ（ｘ，ｙ）とすると、積算画像Ｉ’（ｘ，ｙ）は次式で表現する。
【数７】
2006030519.tif 000008
また、このような積算画像を特徴量抽出用画像とする場合、Rectangle Filter２０のレスポンスは次の式で表現される。
【数８】
2006030519.tif 000009
ここで、Ｉ（xｗ,yｗ）は、白い矩形内の画素値合計、Ｉ（xｂ,yｂ）は、ハッチング矩形内の画素値合計である。【００５０】
このように、特徴量抽出用画像として積算画像を用いる場合は、特徴量の表現として積算画像に対応したものとすることにより、上述した積分画像の場合と同様に適用することができる。
また、特徴量抽出用画像として、積算画像以外にも、水平垂直方向に画素値を引き算した累計を求める積分画像を用いてもよい。【００５１】
以上のように、実施の形態１の顔認証装置によれば、入力された画像に対して各画素値に所定の演算を施した特徴量抽出用画像を生成する特徴量抽出用画像生成手段と、特徴量抽出用画像生成手段で生成した特徴量抽出用画像から、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔検出手段と、検出した顔領域の特徴量抽出用画像から、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出手段と、両目の位置に基づいて顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、予め登録された個人の特徴量と、特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えたので、顔認証装置としての正確な認証処理を実現できると共に、演算量の削減化を図ることができる。【００５２】
また、実施の形態１の顔認証装置によれば、顔検出手段は、特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて顔検出を行い、両目検出手段は、特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求め、その結果に基づいて両目検出を行い、顔認証手段は、特徴量抽出用画像における所定の検索ウインドウ内の特定矩形の画素値合計差分により特徴量を求めた結果を用いて顔認証を行うようにしたので、少ない演算量で特徴量を正確に求めることができる。また、顔検出、両目検出、顔認証処理を１度求めた特徴量抽出用画像に基づいて行うため、処理効率を向上させることができる。【００５３】
また、実施の形態１の顔認証装置によれば、特徴量抽出用画像生成手段は、各画素の画素値を座標軸の方向に加算または乗算した値を持つ画像を特徴量抽出用画像として生成するようにしたので、例えば任意の矩形内の画素値合計を四点の演算のみで求めることができる等、演算量が少なく効率的に特徴量を求めることができる。【００５４】
また、実施の形態１の顔認証装置によれば、顔検出手段は、検索ウインドウを拡大または縮小し、拡大縮小率に応じて特徴量を正規化して顔領域の検出を行うようにしたので、複数解像度画像および各解像度に応じた特徴量抽出用画像を求める必要がなく、メモリ効率を高めることができる。【００５５】
また、実施の形態１の顔認証装置によれば、特徴量抽出用画像生成手段は、特徴量抽出用画像の演算値が表現可能な範囲内で分割された各分割画像に対して、特徴量抽出用画像を求めるようにしたので、画像サイズが大きくなった場合においても、特徴量抽出用画像を求める際に画像を分割することによりオーバフローを起こすことがなく、従って、どのような入力画像サイズにも対応できる効果がある。【００５６】
また、実施の形態１の顔認証方法によれば、入力された画像データに対して各画素値に所定の演算を施した特徴量抽出用画像データを生成する特徴量抽出用画像取得ステップと、特徴量抽出用画像データから、予め顔の特徴を学習させた学習データを用いて、顔領域を検出する顔領域検出ステップと、検出した顔領域の特徴量抽出用画像データから、予め目の特徴を学習させた学習データを用いて、両目の位置を検出する両目検出ステップと、両目の位置に基づいて正規化された画像データから、特徴量データを抽出する特徴量取得ステップと、予め登録された各個人の特徴量データと、特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う認証ステップとを備えたので、どのような入力画像であっても正確な顔認証処理が行え、かつ、少ない演算量で顔認証処理を実施することができる。【００５７】
また、実施の形態１の顔認証装置によれば、入力された画像から顔領域を検出する顔検出手段と、検出された顔領域における両目の探索範囲の中心から周辺に向かって探索を行い、両目の位置を検出する両目検出手段と、両目の位置に基づいて顔領域を正規化した画像から、特徴量を抽出する特徴量取得手段と、予め登録された個人の特徴量と、特徴量取得手段で取得した特徴量とを比較し、顔認証を行う顔認証手段とを備えたので、両目探索処理における演算量を少なくすることができ、その結果、顔認証処理を効率化することできる。【００５８】
また、実施の形態１の顔認証方法によれば、入力された画像データから顔領域を検出する顔領域検出ステップと、検出された顔領域における両目の探索範囲の中心から周辺に向かって目の探索処理を行い、両目の位置を検出する両目検出ステップと、両目の位置に基づいて顔領域を正規化した画像データから、特徴量データを抽出する特徴量取得ステップと、予め登録された個人の特徴量データと、特徴量取得ステップで取得した特徴量データとを比較し、顔認証を行う顔認証ステップとを備えたので、少ない演算量で両目探索処理を行うことができ、その結果、顔認証処理を効率化することができる。
【産業上の利用可能性】
【００５９】
以上のように、この発明に係る顔認証装置及び顔認証方法は、入力された画像と予め登録した画像とを比較することにより顔認証を行うものであり、顔認証を行う種々のセキュリティシステムなどに用いるのに適している。
【図１】
2006030519.tif 000010
【図２】
2006030519.tif 000011
【図３】
2006030519.tif 000012
【図４】
2006030519.tif 000013
【図５】
2006030519.tif 000014
【図６】
2006030519.tif 000015
【図７】
2006030519.tif 000016
【図８】
2006030519.tif 000017
【図９】
2006030519.tif 000018
【図１０】
2006030519.tif 000019
【図１１】
2006030519.tif 000020
【図１２】
2006030519.tif 000021
【図１３】
2006030519.tif 000022
【図１４】
2006030519.tif 000023
【国際調査報告】
2006030519.tif 000024
2006030519.tif 000025
2006030519.tif 000026
2006030519.tif 000027
2006030519.tif 000028
2006030519.tif 000029
2006030519.tif 000030