(57)【特許請求の範囲】
【請求項１】
同一人物の判別などを行なう際に使用する特徴点並びに特徴量を統計学習によって選択し、該選択された特徴点を使って統合的に人物判定処理を行なう顔画像処理装置であって、
任意の顔検出手段によって検出された顔画像を入力する入力手段と、
該入力された顔画像から人物に起因する個体差の少ない安定的な特徴点に関する特徴量を基に数箇所の顔パーツの位置を検出する顔パーツ検出手段と、
該検出された各顔パーツの位置に基づいて顔姿勢を推定する顔姿勢推定手段と、
前記顔姿勢推定手段による顔姿勢の推定結果に基づいて、同一人物の判別を行なう際に使用する人物毎に違いが顕著に現れる各特徴点の位置を補正する特徴点位置補正手段と、
前記特徴点位置補正手段により位置補正された後の人物毎に違いが顕著に現れる各特徴点において該入力された顔画像の特徴量を計算し、登録顔の特徴量と照合して人物判定を行なう顔識別手段と、
を具備することを特徴とする顔画像処理装置。
【請求項２】
前記顔姿勢推定手段は、顔パーツとして検出された左右の目の位置が水平になるように顔画像に画面内ロール回転補正を行なった後に、前記顔パーツ検出手段により検出された各顔パーツの位置と平均的な３次元顔モデルの関係に基づいて、前記のロール回転補正した後の顔画像に含まれるピッチ及びヨー回りの回転角を推定し、
前記特徴点位置補正手段は、前記顔姿勢推定手段によって推定された顔画像のピッチ及びヨー回りの回転角に基づいて、同一人物の判別を行なう際に使用する各特徴点の位置を補正する、
ことを特徴とする請求項１に記載の顔画像処理装置。
【請求項３】
前記顔パーツ検出手段は、顔パーツとしての左目、右目、鼻の頭、口の中心の各座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）を検出し、
前記顔姿勢推定手段は、両目が水平となるように適当な点を中心にして、下式（１）から求まるθだけロール回りに回転補正し、
【数１】
0004946730.tif 000023
さらに、下式（２）を用いて両目の中間を原点とする座標系上の位置Ｘpに変換する、
【数２】
0004946730.tif 000024
ことを特徴とする請求項１に記載の顔画像処理装置。
【請求項４】
前記顔姿勢推定手段は、顔パーツとしての左目、右目、鼻の頭、口それぞれの３次元位置を要素とする平均的な３次元顔モデルＸmを定義し、前記３次元顔モデルＸmを前記の顔画像に含まれるピッチ及びヨー回りの回転角ｐ、ｙだけ回転行列Ｒで回転変換させるとともにスケールｓだけスケール変換させると両目の中間を原点とする座標系上の位置Ｘpとなることをあらわす下記の関係式（３）に基づいて、顔画像に含まれるピッチ及びヨー回りの回転角ｐ、ｙを推定する、
【数３】
0004946730.tif 000025
ことを特徴とする請求項３に記載の顔画像処理装置。
【請求項５】
前記顔姿勢推定手段は、上式（３）の２行目すなわち下式（４）に着目し、
【数４】
0004946730.tif 000026
さらに擬似的な回転行列Ｂを導入して、
【数５】
0004946730.tif 000027
下式（６）によって顔画像に含まれるピッチ回りの回転角ｐを推定する、
【数６】
0004946730.tif 000028
ことを特徴とする請求項４に記載の顔画像処理装置。
【請求項６】
前記顔姿勢推定手段は、上式（５）中の逆行列演算を含む（ＢTＢ）-1ＢTを、平均的な３次元顔モデルの各特徴点の３次元位置を表す行列Ｘmからあらかじめ計算しておく、
ことを特徴とする請求項５に記載の顔画像処理装置。
【請求項７】
前記顔姿勢推定手段は、顔画像に含まれるピッチ回りの回転角ｐを推定した後に上式（３）の２行目すなわち下式（７）に着目し、
【数７】
0004946730.tif 000029
さらに擬似的な回転行列Ｄを導入して、
【数８】
0004946730.tif 000030
下式（９）によって顔画像に含まれるヨー回りの回転角ｙを推定する、
【数９】
0004946730.tif 000031
ことを特徴とする請求項５に記載の顔画像処理装置。
【請求項８】
前記顔姿勢推定手段は、上式（６）及び（９）を平均化して、下式（１０）によってスケールｓを求める、
【数１０】
0004946730.tif 000032
ことを特徴とする請求項７に記載の顔画像処理装置。
【請求項９】
前記顔姿勢推定手段は、上式（３）の１行目に着目して得た、顔画像のヨー回りの回転角ｙを求めるための上式（７）を下式（１１）のように変形し、
【数１１】
0004946730.tif 000033
下式（１２）によって顔画像のヨー回りの回転角ｙを求める、
【数１２】
0004946730.tif 000034
ことを特徴とする請求項７に記載の顔画像処理装置。
【請求項１０】
前記顔姿勢推定手段は、上式（１２）中の逆行列演算を含む（ＸmＸmT）-1Ｘmを、平均的な３次元顔モデルの各特徴点の３次元位置を表す行列Ｘmからあらかじめ計算しておく、
ことを特徴とする請求項９に記載の顔画像処理装置。
【請求項１１】
前記特徴点位置補正手段は、同一人物の判別を行なう際に使用する特徴点の３次元定義座標をＸsとし、顔姿勢ｐ、ｙ及びスケール値ｓに基づいて回転及びスケール変換して補正した特徴点の座標をｘsとおくと、補正後の特徴点の座標ｘsを下式（１３）によって求める、
【数１３】
0004946730.tif 000035
ことを特徴とする請求項９に記載の顔画像処理装置。
【請求項１２】
同一人物の判別などを行なう際に使用する特徴点並びに特徴量を統計学習によって選択し、該選択された特徴点を使って統合的に人物判定処理を行なう顔画像処理方法であって、
任意の顔検出手段によって検出された顔画像を入力する入力ステップと、
該入力された顔画像から人物に起因する個体差の少ない安定的な特徴点に関する特徴量を基に数箇所の顔パーツの位置を検出する顔パーツ検出ステップと、
該検出された各顔パーツの位置に基づいて顔姿勢を推定する顔姿勢推定ステップと、
前記顔姿勢推定ステップにおける顔姿勢の推定結果に基づいて、同一人物の判別を行なう際に使用する人物毎に違いが顕著に現れる各特徴点の位置を補正する特徴点位置補正ステップと、
前記特徴点位置補正ステップにおいて位置補正された後の人物毎に違いが顕著に現れる各特徴点において該入力された顔画像の特徴量を計算し、登録顔の特徴量と照合して人物判定を行なう顔識別ステップと、
を有することを特徴とする顔画像処理方法。
【請求項１３】
同一人物の判別などを行なう際に使用する特徴点並びに特徴量を統計学習によって選択し、該選択された特徴点を使って統合的に人物判定処理を行なうための顔画像処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
任意の顔検出手段によって検出された顔画像を入力する入力手段、
該入力された顔画像から人物に起因する個体差の少ない安定的な特徴点に関する特徴量を基に数箇所の顔パーツの位置を検出する顔パーツ検出手段、
該検出された各顔パーツの位置に基づいて顔姿勢を推定する顔姿勢推定手段、
前記顔姿勢推定手段による顔姿勢の推定結果に基づいて、同一人物の判別を行なう際に使用する人物毎に違いが顕著に現れる各特徴点の位置を補正する特徴点位置補正手段、
前記特徴点位置補正手段により位置補正された後の人物毎に違いが顕著に現れる各特徴点において該入力された顔画像の特徴量を計算し、登録顔の特徴量と照合して人物判定を行なう顔識別手段、
として機能させることを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像などに含まれる顔画像を認識する顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラムに係り、特に、照合画像と登録画像の特徴点や特徴量を照合して同一人物の判定を行なう顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、同一人物の判別を行なう際に使用する特徴点や特徴量を統計学習によって選択し、選択された特徴量を使って統合的に人物判定処理を行なう顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラムに係り、特に、照合画像の姿勢が変動しても登録画像と照合画像上の特徴点を正確に対応付けして高い認識性能を得る顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
顔認識の技術は、ユーザに負担をかけない個人認証システムをはじめとして、性別の識別など、マンマシン・インターフェースに幅広く適用が可能である。また、最近では、デジタルカメラにおける被写体検出若しくは被写体認識に基づく自動焦点合わせ（ＡＦ）や自動露光調整（ＡＥ）、自動画角設定、自動撮影といったカメラワークの自動化のために顔認識が適用されている。
【０００４】
顔認識システムは、例えば、入力画像に含まれる顔画像の位置と大きさを検出する顔検出処理と、検出された顔画像から主要な顔パーツの位置を検出する顔パーツ検出処理と、顔パーツの位置に基づいて顔画像に位置合わせや回転の補正を行なって得られる照合画像と登録画像を照合して顔画像の識別（人物の特定）を行なう顔識別処理で構成される。
【０００５】
同一人物の判別を行なう際に使用する特徴点や特徴量を統計学習によって選択し、選択された特徴量を使って統合的に人物判定処理を行なう顔認識システムが知られている（例えば、特許文献１を参照のこと）。顔画像の特徴量の抽出には、方位選択性を持ち周波数成分の異なる複数の「ガボア・フィルタリング（Ｇａｂｏｒ  Ｆｉｌｔｅｒｉｎｇ）」を適用することができる。
【０００６】
人間の視覚細胞にはある特定の方位に対して選択性を持つ細胞が存在することが既に判明されているが、ガボア・フィルタは、これと同様に、方向選択性を持つ複数のフィルタで構成される空間フィルタである。窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。フィルタ窓の大きさは例えば２４×２４固定とする。また、周波数ｆを５種類、角度θを８方向とすると、４０種類のガボア・フィルタが構成される。
【０００７】
ガボア・フィルタの演算を、周波数ｆと角度θを切り替えながら最大４０種類のガボア・フィルタを適用し、得られた最大４０個のスカラ値の組を「ガボア・ジェット」と呼ぶ。顔画像データ上で水平方向及び垂直方向に一定間隔で検出される特徴量抽出位置毎に、局所特徴量としてガボア・ジェットが求められる。ガボア・ジェットは、特徴量抽出位置のある程度の位置のずれや変形に対してロバストであるという特徴を有している。
【０００８】
登録顔画像に関しては、あらかじめ特徴量抽出位置毎のガボア・ジェットが算出されている。そして、同じ特徴量抽出位置における入力顔のガボア・ジェットと登録顔のガボア・ジェットの類似度を演算し、複数の特徴量抽出位置における類似度の集合である類似度ベクトルが求められる。続いて、サポート・ベクタ・マシーン（ＳＶＭ）によるクラス判定を行なって、照合画像と登録画像の認識を行なう。サポート・ベクタ・マシーンは、パターン認識の分野で最も学習汎化能力が高いと当業界では評価されている。
【０００９】
上記のように同一人物の判別を行なう際に使用する特徴点や特徴量を適切に選択するという問題を統計学習の利用によって解決する顔認識システムは、判別に有効な特徴点や特徴量が自動的に且つ大量に選ばれるという利点を持つ。また、ガボア・フィルタは特徴量抽出位置のある程度の位置のずれや変形に対してロバストであるから、学習サンプル中に多少の姿勢変動を含めてロバストな特徴点が選択されるようにすることで、入力画像に含まれる照合画像の姿勢変動に対応することが可能である。
【００１０】
しかしながら、照合画像の姿勢変化が大きくなると、特徴点のずれが大きくなり過ぎて、ガボア・フィルタのロバスト性ではカバーできなくなってしまう。画像による顔の識別（人物照合）において登録画像と照合画像上の特徴点の対応付けを正しくとることは、認識性能を向上させる上で極めて重要である。
【００１１】
姿勢変動がある照合画像を登録画像の特徴点と正しく対応付けするために、例えば、Ｅｌａｓｔｉｃ  ｇｒａｐｈという顔形状を伸縮するグラフ構造を導入した方法が提案されている（例えば、非特許文献１を参照のこと）。この方法では、グラフのノード部分に特徴点を配置し、対応する特徴量を覚えさせておく。そして、グラフ全体を移動させて最も特徴量が合致する場所を探すとともに、ノードの位置を局所的にずらすことでグラフの形状を調節することができるようにしている。グラフの枝の伸縮量を制約することで、顔の形状から大幅に逸脱することなく、姿勢や個人による違いを吸収することが可能となっている。人物を照合する場合には、ノード上の特徴量の類似度と初期ノードからの位置ずれを使って照合画像が登録画像と同一人物であるか否か判別される。
【００１２】
また、顔のパーツ位置を推定する手法として、ＡＡＭ（Ａｃｔｉｖｅ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ）が挙げられる。この手法では、人手によりラベルされた多数のパーツ点（特徴点）をさまざまな人や姿勢に対して用意して、パーツの位置とその周辺の画像を合わせたデータを主成分分析（Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ）することで、パーツの位置やパターンのバリエーションを学習する。入力画像からパーツの位置を推定する際には、初期パーツ位置を与えておき、その位置周辺の画像を合わせて学習した部分空間に写像する。このときに部分空間までの距離が近いほどうまく学習したバリエーションと一致したことになるので、写像されて空間のパラメータを微少に変えてより一致するようなパーツ位置を算出することで対応するパーツ位置を求めることができる。この手法は、上述したＥｌａｓｔｉｃ  ｇｒａｐｈなどの２次元の幾何学的モデルに対して、統計的な制約を与えていることから統計的モデルと言うことができる。また、人物の判別には、通常この部分空間上のパラメータを直接比較し判別することで行なうことができる。このパラメータ上には位置やパターンのバリエーションが含まれている。
【００１３】
Ｅｌａｓｔｉｃ  ｇｒａｐｈとＡＡＭは制約が異なるだけで、本質的には似通ったアプローチと言える。しかしながら、これらの方法では、特徴量を照合するノード位置をどのように決めるかは明らかにされていない。また、異なる画像同士で特徴点の対応を取るためには人物毎に違いが少ない特徴点を使う方が都合良いが、実際の人物の違いを照合するには特徴量が人物毎に違った方がより判別し易いという点で矛盾している。
【００１４】
人物判定という観点から特徴点の対応付けを考えた場合、同一人物であれば顔姿勢などの撮影状況の相違に依存することなく顔上の特定の点の対応関係が一致することが望ましいが、異なる人物間では対応点がずれても構わない。同じ特徴点であっても人物毎にその配置は異なるので、むしろ対応点がずれることが好ましく、このようなずれによりパターンに違いが発生して、人物判別が容易になると考えられる。
【００１５】
上述のＥｌａｓｔｉｃ  ｇｒａｐｈやＡＡＭといった方法では、顔の姿勢と個人の姿勢をいっぺんに推定しているが、同一人物同士の対応点さえ取れれば良いのであれば姿勢だけ考慮すれば良い。顔の姿勢だけを推定し対応点を取ることを考えると、顔の形状を３次元で扱うようなモデルが考えられる。
【００１６】
３次元モデルを使った顔認識の例として、Ｂｌａｎｚらが提案するＣＧ（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ）技術を利用した方法が挙げられる（例えば、非特許文献２を参照のこと）。この方法では、あらかじめ均質照明下で取得した数多の顔の３次元形状データ［ｘ，ｙ，ｚ］と対応するテクスチャ（Ｒ，Ｇ，Ｂ）を使って主成分分析（ＰＣＡ）を行ない、３次元統計モデルを構成する。最終的に入力された顔に近い画像をこの３次元モデルのパラメータと姿勢パラメータと照明パラメータを変化させて合成する（合成する際にＣＧ技術が利用される）。顔の判別自体は、３次元モデルのパラメータのみで行なうことで、姿勢や照明の影響を排除した判別を行なう。
【００１７】
あるいは、正面で登録された画像を３次元顔モデルに貼り付けて、あらかじめ想定し得る照明変化や姿勢変化のバリエーションを加えてさまざまな顔を合成する方法についても提案されている（例えば、非特許文献３を参照のこと）。これらの画像すべてを主成分分析（ＰＣＡ）に掛けることでこれらの画像が取り得る部分空間（摂動部分空間）を求める。入力された画像とこの各個人の部分空間との距離を求めることで個人識別を行なっている。
【００１８】
３次元モデルを使って顔認識を行なうこれらのいずれも方法も、顔画像を合成すること特徴としており、かなりの処理負荷、計算コストを必要とする。
【００１９】
【特許文献１】ＷＯ２００３／０１９４７５
【非特許文献１】Ｌａｕｒｅｎｚ  Ｗｉｓｃｏｔｔ，Ｊｅａｎ−Ｍａｒｃ  Ｆｅｌｌｏｕｓ，Ｎｏｒｂｅｒｔ  Ｋｒｕｇｅｒ，ａｎｄ  Ｃｈｒｉｓｔｏｐｈ  ｖｏｎ  ｄｅｒＭａｌｓｂｕｒｇ，“Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｂｙ  Ｅｌａｓｔｉｃ  Ｂｕｎｃｈ  Ｇｒａｐｈ  Ｍａｔｃｈｉｎｇ”（Ｉｎ  Ｉｎｔｅｌｌｉｇｅｎｔ  Ｂｉｏｍｅｔｒｉｃ  Ｔｅｃｈｎｉｑｕｅｓ  ｉｎ  Ｆｉｎｇｅｒｐｒｉｎｔ  ａｎｄ  Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ，ＣＲＣ  Ｐｒｅｓｓ，ＩＳＢＮ０−８４９３−２０５５−０，Ｃｈａｐｔｅｒ１１，ｐｐ．３５５−３９６，１９９９）
【非特許文献２】Ｖｏｌｋｅｒ  Ｂｌａｎｚ  ａｎｄ  Ｔｈｏｍａｓ  Ｖｅｔｔｅｒ，“Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｂａｓｅｄ  ｏｎ  Ｆｉｔｔｉｎｇ  ａ  ３Ｄ  Ｍｏｒｐｈａｂｌｅ  Ｍｏｄｅｌ”，（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２５，Ｎｏ．９，２００３）
【非特許文献３】井上晃、坂本静生、佐藤敦共著「部分領域マッチングと摂動空間法を用いた顔照合」（電子情報通信学会、２００３年総合大会講演論文集）
【発明の開示】
【発明が解決しようとする課題】
【００２０】
本発明の目的は、同一人物の判別を行なう際に使用する特徴点や特徴量を統計学習によって選択し、選択された特徴量を使って統合的に人物判定処理を好適に行なうことができる、優れた顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【００２１】
本発明のさらなる目的は、照合画像の姿勢が変動しても登録画像と照合画像上の特徴点を正確に対応付けして高い認識性能を得ることができる、優れた顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２２】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、同一人物の判別などを行なう際に使用する特徴点並びに特徴量を統計学習によって選択し、該選択された特徴点を使って統合的に人物判定処理を行なう顔画像処理装置であって、
任意の顔検出手段によって検出された顔画像を入力する入力手段と、
該入力された顔画像から数箇所の顔パーツの位置を検出する顔パーツ検出手段と、
該検出された各顔パーツの位置に基づいて顔姿勢を推定する顔姿勢推定手段と、
前記顔姿勢推定手段による顔姿勢の推定結果に基づいて、同一人物の判別を行なう際に使用する各特徴点の位置を補正する特徴点位置補正手段と、
前記特徴点位置補正手段により位置補正された後の各特徴点において該入力された顔画像の特徴量を計算し、登録顔の特徴量と照合して人物判定を行なう顔識別手段と、
を具備することを特徴とする顔画像処理装置である。
【００２３】
顔認識システムは、基本的には、入力画像に含まれる顔画像の位置と大きさを検出する顔検出処理と、検出された顔画像から主要な顔パーツの位置を検出する顔パーツ検出処理と、顔パーツの位置に基づいて顔画像に位置合わせや回転の補正を行なって得られる照合画像と登録画像を照合して顔画像の識別（人物の特定）を行なう顔識別処理で構成される。
【００２４】
同一人物の判別を行なう際に使用する特徴点や特徴量を統計学習によって選択し、選択された特徴量を使って人物判定処理を行なう顔認識システムが知られているが、判別に有効な特徴点や特徴量が自動的に且つ大量に選ばれるという利点を持つ。また、顔画像の特徴量の抽出には、方位選択性を持ち周波数成分の異なる複数のガボア・フィルタを適用することができるが、ガボア・フィルタは特徴量抽出位置のある程度の位置のずれや変形に対してロバストであるから、学習サンプル中に多少の姿勢変動を含めてロバストな特徴点が選択されるようにすることで、入力画像に含まれる照合画像の姿勢変動に対応することが可能である。
【００２５】
しかしながら、照合画像の姿勢変化が大きくなると、特徴点のずれが大きくなり過ぎて、ガボア・フィルタのロバスト性ではカバーできなくなってしまう。画像による顔の識別（人物照合）において登録画像と照合画像上の特徴点の対応付けを正しくとることは、認識性能を向上させる上で極めて重要である。
【００２６】
そこで、本発明に係る顔画像処理装置は、人物に因らず安定的な特徴点（すなわち、顔パーツ検出用に定義された特徴点）を使って顔の姿勢を推定した後、顔の平均的な３次元モデルを用いて、人毎に違いが顕著に現れるその他の特徴点（すなわち、顔識別（人物判別）用に定義された特徴点）を特定の姿勢へ変換し、かかる変換後の位置での特徴量を比較することで人物の判定を行なうようにしている。
【００２７】
顔パーツ検出手段では、顔パーツ検出辞書に登録されている人物に因らず（すなわち個体差の少ない）安定的な特徴点に関する特徴量を基に顔パーツを検出する。そして、顔姿勢推定手段は検出された各顔パーツの位置に基づいて顔姿勢を推定し、特徴点位置補正手段は、このときに得られた顔の姿勢に応じて、人物判定用の識別辞書から読み出した特徴点の位置の補正を施すことによって、顔の姿勢変化に対してロバストな人物照合を実現することができる。
【００２８】
具体的には、顔姿勢推定手段は、顔パーツとして検出された左右の目の位置が水平になるように顔画像に画面内ロール回転補正を行なった後に、前記顔パーツ検出手段により検出された各顔パーツの位置と平均的な３次元顔モデルの関係に基づいて、前記のロール回転補正した後の顔画像に含まれるピッチ及びヨー回りの回転角を推定する。そして、特徴点位置補正手段は、前記顔姿勢推定手段によって推定された顔画像のピッチ及びヨー回りの回転角に基づいて、同一人物の判別を行なう際に使用する各特徴点の位置を補正する。
【００２９】
ここで、前記顔パーツ検出手段は、人物に起因する個体差の少ない安定的な特徴点に関する特徴量を基に顔パーツを検出するようにしている。したがって、異なる画像同士で特徴点の対応を取る際には人物毎に違いが少ない特徴点を使うことになるので、登録画像と照合画像上の特徴点の対応付けを正しくとることができる。他方、前記顔識別手段は、人物毎に違いが顕著に現れる特徴点の特徴量を基に人物判定を行なうようになっている。すなわち、実際の人物の違いを照合する際には人物毎の特徴量が相違する特徴点を用いるので、人物判別の精度がよい。
【００３０】
また、本発明の第２の側面は、同一人物の判別などを行なう際に使用する特徴点並びに特徴量を統計学習によって選択し、該選択された特徴点を使って統合的に人物判定処理を行なうための顔画像処理をコンピュータ上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、前記コンピュータを、
任意の顔検出手段によって検出された顔画像を入力する入力手段と、
該入力された顔画像から数箇所の顔パーツの位置を検出する顔パーツ検出手段と、
該検出された各顔パーツの位置に基づいて顔姿勢を推定する顔姿勢推定手段と、
前記顔姿勢推定手段による顔姿勢の推定結果に基づいて、同一人物の判別を行なう際に使用する各特徴点の位置を補正する特徴点位置補正手段と、
前記特徴点位置補正手段により位置補正された後の各特徴点において該入力された顔画像の特徴量を計算し、登録顔の特徴量と照合して人物判定を行なう顔識別手段と、
として機能させることを特徴とするコンピュータ・プログラムである。
【００３１】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータにインストールすることによって、コンピュータ上では協働的作用が発揮され、本発明の第１の側面に係る顔画像処理装置と同様の作用効果を得ることができる。
【発明の効果】
【００３２】
本発明によれば、同一人物の判別を行なう際に使用する特徴点や特徴量を統計学習によって選択し、選択された特徴量を使って統合的に人物判定処理を好適に行なうことができる、優れた顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３３】
また、本発明によれば、照合画像の姿勢が変動しても登録画像と照合画像上の特徴点を正確に対応付けして高い認識性能を得ることができる、優れた顔画像処理装置及び顔画像処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３４】
顔画像による人物の照合では照合画像と登録画像の特徴点をどのように対応付けるかが課題となるが、本発明に係る顔画像処理装置では、人物に因らず安定的な特徴点を使って顔の姿勢を推定した後、顔の平均的な３次元モデルを用いて、人毎に違いが顕著に現れるその他の特徴位置を特定の姿勢へ変換し、かかる変換後の位置での特徴量を比較することで人物の判定を行なうようになっており、姿勢変化に対してロバストな人物照合を実現することができる。
【００３５】
また、本発明に係る顔画像処理装置では、異なる画像同士で特徴点の対応を取る際には人物毎に違いが少ない特徴点を使うことになるので、登録画像と照合画像上の特徴点の対応付けを正しくとることができる。一方、実際の人物の違いを照合する際には人物毎の特徴量が相違する特徴点を用いるので、人物判別の精度がよい。
【００３６】
このように本発明に係る顔画像処理装置では、姿勢の推定のための特徴点と識別のための特徴点を分離して扱っていることから、人物判別の性能がより良いものとなり、識別のために必要な特徴選択を統計的に求めるという利点を好適に活用することができる。
【００３７】
また、本発明に係る顔画像処理装置では、顔画像の姿勢を推定する際に３次元の平均的な顔モデルを利用しているが、画像を合成するなどの複雑な処理は行なっていないので、高速で且つ低い計算コストで顔識別処理が可能である。
【００３８】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００３９】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００４０】
図１には、本発明の一実施形態に係る顔認識システムの全体構成を模式的に示している。図示の顔認識システム１０は、顔検出部１１と、顔パーツ検出部１２と、顔識別部１３で構成される。
【００４１】
顔検出部１１では、入力画像から顔を検出し、検出された顔の大きさと顔の位置を求める。顔検出の特徴抽出として所定サイズの画素内において顔の特徴を抽出し易い２点の画素の輝度差をさまざまな２点で行なう２点画素差分方式を適用することができる。また、識別器演算として、例えばＡｄａｂｏｏｓｔアルゴリズムを用いることができる。Ａｄａｂｏｏｓｔは、１９９６年にＦｒｅｕｎｄらによって提案された、「ランダムよりも少し良い弱い識別器」（Ｗｅａｋ  Ｌｅａｒｎｅｒ（ＷＬ）とも呼ぶ）を多数組み合わせることで、「強い識別器」を構築できるとする理論である。具体的には、顔の特徴を抽出し易い輝度差を持つとされる２点の画素の複数の組み合わせを選び、それぞれの組み合わせについて２点画素間の輝度差に関する弱仮説として定義し、事前に統計学習した弱仮説によって最終仮説を定義する。２点画素の輝度差に関する弱仮説の集合は顔検出器を構成し、顔検出辞書として登録される。そして、検出時には、入力画像領域内で所定の画素サイズからなる顔検出器をスキャンさせていき、各スキャン位置において弱仮説が定義されたそれぞれの２点画素間の輝度差を算出し、その計算結果が弱仮説に合致するかに応じてスコアをつけ、弱仮説が定義されたすべての２点画素におけるスコアの合計を最終仮説として、当該スキャン位置が目の位置か否か真偽判定する。それぞれの弱識別器は自分の前に生成された弱識別器が不得意とする識別に重みαを置くようにして生成され、それぞれの弱認識器がどの程度確からしいによって信頼度を求め、それに基づき多数決を行なう。なお、２点画素差分方式を適用した顔検出方法については、例えば本出願人に既に譲渡されている特開２００５−１５７６７９号公報にも記載されている。
【００４２】
顔パーツ検出部１２は、顔画像を顔認識するための準備として、顔検出部１１によって検出された顔に対して解像度を上げた画像の顔を正規化するために、顔パーツとして例えば左右の目、鼻の頭、口の中心といった主要な顔パーツの位置を特定する。そして、検出された両目位置などに基づいて、顔検出によって得られた顔の大きさ、顔の位置から、その顔画像の解像度を上げた顔の大きさ、顔の位置、顔の角度を求める。両目位置検出の特徴抽出として２点画素差分方式を適用することができる。また、識別器演算としてａｄａｂｏｏｓｔアルゴリズムを用いることができる。
【００４３】
顔認識部１３では、両目位置検出によって左右の目位置が特定された顔画像から顔の大きさ、位置、角度を求め、それらに応じて顔を所定の画素サイズに正規化して内部のＳＲＡＭ（図示しない）に一旦蓄えて、登録画像と一致するか否かを調べる。
【００４４】
顔認識部１３は、顔認識の特徴抽出としてガボア・フィルタリングを適用する。また、識別器演算としてｇｅｎｔｌｅｂｏｏｓｔを用いる。正規化された顔画像にガボア・フィルタを適用して得られた結果と、以前に登録された画像にガボア・フィルタを適用して得られた結果との類似度を求める。そして、求められた類似度に対してｇｅｎｔｌｅｂｏｏｓｔを施すことによって、登録画像と一致したか否か識別する。
【００４５】
なお、顔検出部１１、顔パーツ検出部１２、顔識別部１３においてそれぞれ必要な統計データ（すなわち、顔検出辞書２１、顔パーツ検出辞書２２、識別辞書２３）は、あらかじめ大量の顔データ・サンプルから学習されているものとする。顔検出辞書２１や顔パーツ検出辞書２２には、人物に因らず（すなわち個体差の少ない）安定的な特徴点に関する特徴量が登録されている。これに対し、顔識別辞書には、人物毎に違いが顕著に現れる特徴点の特徴量が登録されている。
【００４６】
図２には、顔識別部１３の内部構成を模式的に示している。図示の顔認識器１３は、顔画像入力部１３１と、ガボア・フィルタ適用部１３２と、相関演算部１３３と、一致判定部１３４を備えている。
【００４７】
顔画像入力部１３１は、顔パーツ検出部１２で検出された両目などの各顔パーツの位置を基に顔認識に必要である解像度に相当する顔画像を、顔識別部１３のローカル・メモリ（図示しない）に転送する。次いで、両目などの顔パーツの位置情報から顔の大きさ、顔の位置、顔の角度を求め、顔画像を正規化して、顔認識に必要な顔画像を作成する。つまり、顔画像入力部１３１では、両目などの顔パーツの位置情報から固定した座標に右目、左目の位置を合わせるように、顔画像を縮小、シフト、回転変換して顔認識に必要な顔画像を作成する。
【００４８】
ガボア・フィルタ適用部１３２は、画像入力部１３１において正規化された顔画像に対してガボア・フィルタを適用する。
【００４９】
ガボア・フィルタは、窓にガウス関数、周波数応答にサイン関数又はコサイン関数を基底とするガボア関数によって空間表現される。フィルタ窓は、例えば図３Ａに示すように２４×２４画素固定とする。そして、図３Ｂに示すような特定の周波数成分のサイン関数又はコサイン関数からなる応答関数にフィルタ窓をかけると、図３Ｃに示すようなガボア・フィルタを作成することができる。また、例えば、０度、２２．５度、４５度、６７．５度、９０度、１１２．５度、１３５度、１５７．５度と２２．５度ずつずらした８方向のサイン関数又はコサイン関数からなる応答関数に対してそれぞれフィルタ窓をかけると、図３Ｄに示すように８通りのガボア・フィルタを作成することができる。さらに、低周波域から高周波域に至る５種類の周波数ｆの応答関数について、同様に８方向の角度θでフィルタ窓をかけることで、図３Ｅに示すように合計で４０種類のガボア・フィルタが構成される。ガボア・フィルタ（ガボア・カーネルＫ（ｘ，ｙ））は、以下の演算式で表される。
【００５０】
【数１】
0004946730.tif 000002
【００５１】
ガボア・フィルタの演算は、ガボア・フィルタＧi（ｘ，ｙ）を適用する画素Ｉ（ｘ，ｙ）とガボア・フィルタの係数との畳み込みである。ガボア・フィルタの係数は、周波数応答がコサイン関数からなる実部Ｒｅ（ｘ，ｙ）と周波数応答がサイン関数Ｉｍ（ｘ，ｙ）からなる虚部に分離することができ、それぞれに畳み込み演算を実施し、それぞれの成分を合成して、１個のスカラ値からなるガボア・フィルタ結果Ｊi（ｘ，ｙ）を求めることができる。但し、（ｘ，ｙ）は特徴量抽出位置の画素位置を示し、ｉは上述した４０通りのガボア・フィルタのうちｉ番目であることを示す。
【００５２】
【数２】
0004946730.tif 000003
【００５３】
画像の特徴量抽出位置（ｘ，ｙ）において最大４０種類のガボア・フィルタを適用して得られた最大４０スカラ値の組｛Ｊ1，Ｊ2，…，Ｊ40｝をガボア・ジェットと呼ぶ。
【００５４】
相関演算部１３３は、入力画像について算出されたガボア・ジェットＧＳと登録画像のガボア・ジェットＧＲに正規化相関演算を行ない、照合画像と登録画像の相関演算として特徴量抽出位置毎の類似度ｄを求める。
【００５５】
【数３】
0004946730.tif 000004
【００５６】
そして、正規化された画素の顔画像のうち、特徴量が抽出し易いとされる多数の箇所の特徴量抽出位置すなわち特徴点において、正規化相関演算を行ない、類似度を求める。この結果、各特徴点で抽出された正規化相関演算結果ｄ0、ｄ1、…を要素とする類似度ベクトルＤが得られる。
【００５７】
【数４】
0004946730.tif 000005
【００５８】
なお、上記では「最大４０種類」のガボア・フィルタを適用することを記述したが、これは定義されているすべての特徴点において４０種類すべてのガボア・フィルタを適用する必要はないことを意味する。何種類のガボア・フィルタを適用するかは、類似度を抽出する特徴量抽出位置の場所に依存し、場所に応じてガボア・フィルタの種類とその数（ガボア・ジェットの要素数）が異なる。
【００５９】
一致判定部１３４は、入力画と登録画間の類似度ベクトルに基づいて、両画像の一致を判定する。本実施形態では、識別器演算としてｇｅｎｔｌｅｂｏｏｓｔを用いる。ここでは、以下の演算式を用いてｇｅｎｔｌｅｂｏｏｓｔを算出する。但し、同式中のａ、ｑ、ｂは識別辞書にあらかじめ登録されているものとする。
【００６０】
【数５】
0004946730.tif 000006
【００６１】
そして、以下の判別式に従って、入力画が登録画と一致するかどうかを判定する。
【００６２】
【数６】
0004946730.tif 000007
【００６３】
なお、上記の説明では、一致判定にｇｅｎｔｌｅｂｏｏｓｔを用いているが、本発明の要旨は必ずしもこれに限定されるものではない。例えば、サポート・ベクタ・マシーンを用いて類似ベクトルの境界面の値をクラス判定して、顔画像の一致を判定するようにしてもよい。
【００６４】
顔識別部１３における大まかな処理手順を以下にまとめておく。
ステップ１）まず顔パーツ検出部１２から位置合わせされて切り出された顔画像が渡される。
ステップ２）次いで、統計学習された識別辞書から特徴点の位置とガボア・フィルタの種類（次元）を読み出し、その情報に基づいて画像に対してガボア・フィルタ演算を行ない、フィルタ出力を得る。
ステップ３）次いで、あらかじめ登録された個人の顔データ（登録顔にガボア・フィルタ演算を掛けた結果を保存したもの）から照合される個人のデータを順に読み出し、入力画像のフィルタ出力との相関を計算する。
ステップ４）得られた相関値を統計学習辞書から読み込んだ判別関数で同一人物かを判定する。
ステップ５）上記ステップ２に戻って次の特徴量読み出し、ステップ４までの処理をＮ回繰り返す（Ｎは弱識別器ＷＬの個数）。
ステップ６）Ｎ回分の判別結果を総合して、最終判定を出力する。
【００６５】
これまで説明してきたように、本実施形態に係る顔認識システム１０は、基本的に、同一人物の判別を行なう際に使用する特徴点や特徴量を統計学習によって選択し、選択された特徴点の特徴量を使って統合的に判定処理を行なうものである。
【００６６】
特徴量の抽出に用いるガボア・フィルタは特徴量を抽出する特徴点のある程度の位置のずれや変形に対してロバストであるから、学習サンプル中に多少の姿勢変動を含めてロバストな特徴点が選択されるようにすることで、入力画像に含まれる照合画像の姿勢変動に対応することが可能である。
【００６７】
しかしながら、照合画像の姿勢変化が大きくなると、特徴点のずれが大きくなり過ぎて、ガボア・フィルタのロバスト性ではカバーできなくなってしまう。言い換えれば、顔識別において、登録画像と照合画像上の特徴点の対応付けを正しくとることは、認識性能を向上させる上で極めて重要である。
【００６８】
そこで、本実施形態に係る顔認識システム１０では、人物に因らず安定的な特徴点（すなわち、顔パーツ検出用に定義された特徴点）を使って顔の姿勢を推定した後、顔の平均的な３次元モデルを用いて、人毎に違いが顕著に現れるその他の特徴点（すなわち、顔識別（人物判別）用に定義された特徴点）を特定の姿勢へ変換し、かかる変換後の位置での特徴量を比較することで人物の判定を行なうようにしている。
【００６９】
顔パーツ検出部１２において顔パーツ検出辞書２２に登録されている人物に因らず（すなわち個体差の少ない）安定的な特徴点に関する特徴量を基に顔パーツを検出する。異なる画像同士で特徴点の対応を取る際には人物毎に違いが少ない特徴点を使うことになるので、登録画像と照合画像上の特徴点の対応付けを正しくとることができる。続いて、顔画像から検出されたそれぞれの特徴点と顔の平均的な３次元モデル上の特徴点との対応関係を用いて、顔の姿勢を推定する。そして、識別辞書２３から読み出した特徴点の位置の補正を施してから、顔画像の照合処理を行なうので、顔の姿勢変化に対してロバストな人物照合を実現することができる。
【００７０】
このように、識別辞書２３から読み出した（人毎に違いが顕著に現れる）特徴点の座標を適応的に変化させることを、本明細書では「アダプティブ・サンプリング（Ａｄａｐｔｉｖｅ  Ｓａｍｐｌｉｎｇ）」と呼ぶことにする。
【００７１】
アダプティブ・サンプリングは以下に示す処理手順で構成される。
ステップ１１）顔パーツ検出
ステップ１２）顔姿勢の推定
（１２−１）目が水平になるように特徴点を画面内ロール回転補正
（１２−２）顔パーツの標準モデルと入力画像から検出された顔パーツの関係から両目の中間点を原点としたヨー及びピッチ角の推定
ステップ１３）推定角と推定スケールに基づいて顔領域の切り出し
（１３−１）顔領域の入力画像中の領域中心と４隅を計算する。
（１３−２）領域中心に画像を回転する。
（１３−３）回転した画像を切り出し所定の画素サイズに正規化する。
ステップ１４）姿勢角に基づくサンプリング点の補正
（１４−１）定義されたサンプリング点（ｘ，ｙ，ｚ）を両目の中間点を原点として、ピッチ、ヨーの順番に回転する。
【００７２】
以下では、Ａｄａｐｔｉｖｅ  Ｓａｍｐｌｉｎｇを構成する各処理ステップについて詳解する。
顔パーツ検出：
【００７３】
図４には、顔及び顔の中のパーツ（図示の例では、目中心、鼻の頭、口の中心の４点）の検出結果例を示している。顔の検出は顔のパターンを画像中からくまなくスキャンすることによって得ることができ、顔パーツは見つかったそれぞれの顔領域の内部の所定の領域を右目、左目、鼻の頭、及び口の中心それぞれの顔パーツのパターンについてスキャンして得ることができる。
【００７４】
なお、顔パーツ検出処理に、重なり合った複数の顔検出結果を使って、顔の姿勢角を大まかに推定する機能を搭載することもできる。当該機能を利用すると、図５Ｂに示すように、顔の姿勢が大きく変わって、顔パーツの検出が困難な場合であっても、顔パーツ検出の探索領域を推定姿勢角に合わせて上下左右にシフトすることで、安定して顔パーツを検出することが可能になる。勿論、顔検出部１２で検出された顔が正面を向いているときには、図５Ａに示すように通常の１つの探索領域だけで十分である。
【００７５】
顔姿勢推定：
顔パーツの検出が済むと、左上画素の左上隅が原点となる画素エッジ座標表現系で各顔パーツの特徴点に画像上での座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、…が与えられる（図６を参照のこと）。これを両目が水平となるように適当な点を中心にしてθだけロール回りに回転補正する。但し、回転角θは下式（７）の通りである。
【００７６】
【数７】
0004946730.tif 000008
【００７７】
さらに両目の中間を原点とする座標系に変換する。この座標をＸpとすると、下式（８）のように表される。
【００７８】
【数８】
0004946730.tif 000009
【００７９】
但し、（ｘ0，ｙ0）、（ｘ1，ｙ1）、（ｘ2，ｙ2）、（ｘ3，ｙ3）は、それぞれ左目、右目、鼻の頭、口の中心の座標に相当する。上式（８）のような座標変換を施すことによって、顔姿勢推定を行なうための変数は、ピッチ及びヨー回りの回転角ｐ、ｙと、顔画像のサイズを登録顔に適合させる（すなわち正規化する）ためのスケール値ｓのみとなる。
【００８０】
平均的な顔パーツの３次元位置関係は、上述のように両目の中間点を原点とすると、図７Ａに示すように定義される（単位はｍｍ）。また、図７Ａには、顔の切り出しに使う顔枠の大きさとの関係も定義している。また、図７Ｂには、図７Ａに示した平均的な顔パーツをヨー軸回りに４５度だけ回転したときの３次元位置関係を併せて示している。
【００８１】
入力された顔パーツ（特徴点）の画像中の座標と平均的な顔パーツ位置の定義から入力画像中の顔の姿勢角及びスケール変換（正規化）を行なう処理手順を以下に示す。
【００８２】
ステップ２１）入力画像中の特徴点のうち両目を水平にして、両目中間を原点とする座標Ｘpに変換する（前述）。
【００８３】
ステップ２２）図７Ａに示した平均的な顔モデルの各特徴点の３次元位置を以下の行列Ｘmで表す。下式の行列Ｘmは１行目から順に右目、左目、鼻の頭、口の３次元位置に対応する。
【００８４】
【数９】
0004946730.tif 000010
【００８５】
ステップ２３）図７Ａに示した平均的な顔モデルの座標表現において、ｘ軸回りの回転をピッチｐ、ｙ軸回りの回転をヨーｙとすると、これらの回転による４つの特徴点右目、左目、鼻の頭、口の座標変換を表す回転行列Ｒは下式のように表される。
【００８６】
【数１０】
0004946730.tif 000011
【００８７】
ステップ２４）入力画像中の各特徴点の座標Ｘpと平均的な顔モデルの座標Ｘmは原点が一致しており、ｚ軸回りのロール回転が既に補正されているので、これらの間にはスケール変換ｓとヨー並びにピッチの回転変換Ｒを介して下式の関係がある。
【００８８】
【数１１】
0004946730.tif 000012
【００８９】
なお、モデル点の入力画像への投影は直交投影を仮定している。またＸp_x、Ｘp_yは入力画像の特徴点のそれぞれｘ座標、ｙ座標であり、Ｘm_x、Ｘm_y、Ｘm_zはモデルの特徴点をそれぞれｘ、ｙ、ｚ座標に分離したものである。
ステップ２５）上式（１１）に示した行列演算の２行目に着目すると、ピッチ回りの回転ｐのみをパラメータとしており、下式のように変形することができる。
【００９０】
【数１２】
0004946730.tif 000013
【００９１】
ステップ２６）擬似逆行列を使って上式（１２）を解くと、下式（１３）のようになる。
【００９２】
【数１３】
0004946730.tif 000014
【００９３】
なお、上式（１３）のうち（ＢTＢ）-1ＢTは、平均的な顔モデルの各特徴点の３次元位置を表す行列Ｘmから求まるので、オフライン処理により上式（９）からあらかじめ計算しておくことで、オンライン処理の際には逆行列演算を省略することができる。
【００９４】
ステップ２７）上式（１３）の計算結果を基に、下式（１４）により顔画像のピッチ回りの回転角ｐを求めることができる。
【００９５】
【数１４】
0004946730.tif 000015
【００９６】
ステップ２８）次いで、上式（１１）の１行目に着目して、顔画像のヨー回りの回転角ｙを下式のように求めることができる。
【００９７】
【数１５】
0004946730.tif 000016
【００９８】
ステップ２９）ピッチ角ｐは上式（１４）によって既に求められているので、上式（１３）と同様に擬似逆行列を使って上式（１５）を解くと、下式のようになる。
【００９９】
【数１６】
0004946730.tif 000017
【０１００】
ステップ３０）したがって、下式により顔画像のヨー回りの回転角ｙを求めることができる。
【０１０１】
【数１７】
0004946730.tif 000018
【０１０２】
ステップ３１）そして、上式（１４）及び（１４）を平均化して、下式のようにスケールｓを求める。
【０１０３】
【数１８】
0004946730.tif 000019
【０１０４】
なお、上式（１１）の１行目に着目して得た、顔画像のヨー回りの回転角ｙを求めるための上式（１５）を下式のように変形することができる。
【０１０５】
【数１９】
0004946730.tif 000020
【０１０６】
この場合、ヨー角を求めるための式は以下のように表される。
【０１０７】
【数２０】
0004946730.tif 000021
【０１０８】
上式（２０）の左辺のうち（ＸmＸmT）-1Ｘmは上式（９）からあらかじめ（言い換えればオフライン処理として）求めておくことができる。したがって、上式（２０）によれば、オンライン処理の際には逆行列演算を省略して、ピッチに関する回転行列Ｒ3pの反対回転を使うことでヨー回りの回転角ｙを導き出すことができる。
【０１０９】
顔領域の切り出し：
上記の顔姿勢推定処理によって顔画像の姿勢とスケールｓが推定されると、顔領域の中心及び４隅を計算し、領域中心に対しロール回りに顔画像を回転するとともに、スケールｓに基づいて顔領域が所定の画素サイズ（例えば８０×８０）に正規化して、切り出しを行なう。
【０１１０】
図８には、顔領域の切り出し処理を行なう様子を示している。
【０１１１】
顔の切り出し領域は、顔姿勢の推定処理を通して求めたモデルと入力座標のスケール変換ｓを利用する。平均的な顔モデル上の顔領域のサイズは１６９．０であるが、これにスケール値ｓを掛けたものが画像中の顔領域の大きさになる。また、切り出し位置は、平均的な顔モデル上の原点からの位置から算出することができる。
【０１１２】
各顔パーツの特徴点の座標Ｘpは、実際は目が水平になるようにロール回転しているので、今度は実際に画像の方を回転変換して、水平に合わせて矩形領域を切り出す。
【０１１３】
最後に、画像を識別する際の所定の大きさ（例えば８０×８０）に正規化する。この際にスケール値ｓも８０×８０相当への変換へ更新しておく。
サンプル点の補正：
【０１１４】
図９には、統計学習によって選択された特徴点の候補を例示している。顔上の全体にわたって格子状に多数の特徴点の候補が選択される。この格子点は顔識別する際の画像サイズに正規化しておく。図示の例では、８０×８０画素からなる顔画像の中からマスクされた５画素間隔で合計９７点が特徴点として定義される。図９Ａは正面から見た様子を示しているが、図９Ｂに示すように３次元の平均的な顔モデルを基に、各格子点（すなわち人物判別に使用する特徴点）のｚ座標をあらかじめ求めておく。このデータは、学習辞書に使用される特徴量の指定とともに保存しておく。
【０１１５】
次に、実際に照合画像として切り出された顔画像が入力され、特徴点毎の特徴量を計算する際には、辞書から読み出したこれら９７個の特徴点の座標を、推定された顔姿勢ｐ、ｙ及びスケール値ｓに基づいて回転及びスケール変換して補正する。
【０１１６】
顔識別辞書に登録されている特徴点の３次元定義座標をＸsとし、顔姿勢ｐ、ｙ及びスケール値ｓに基づいて回転及びスケール変換して補正した特徴点の座標をｘsとおくと、補正後の特徴点の座標ｘsは下式（２１）から求めることができる。同式において、右辺の定数Ｃは両目中点の定義座標（８０／２，８０×６６．０５／１６９．０）である。
【０１１７】
【数２１】
0004946730.tif 000022
【０１１８】
なお、実際に画素をサンプリングするときは、画素エッジ座標表現から画素中心座標表現に変換（−０．５）する。
【０１１９】
図１０Ａには、正面から撮影した被写体の顔画像から抽出される特徴点を示している。また、図１０Ｂには、同一の被写体を斜めから撮影したときの顔画像から抽出から抽出される特徴点を示している。図１０Ａ及び図１０Ｂを比較して分かるように、同一の被写体を斜めから撮影したときの顔画像においては、顔画像から数箇所の顔パーツの位置を検出し、さらに検出された各顔パーツの位置に基づいてピッチ及びロールといった顔姿勢を推定し、これらピッチ及びロールの推定角に基づいて、同一人物の判別などを行なう際に使用する特徴点の位置が補正される。この結果、後続の顔識別などの処理において精度を向上させることができる。
【０１２０】
統計学習時のアダプティブ・サンプリング：
これまで顔の識別処理に関するアダプティブ・サンプリングの方法について説明してきたが、学習時にもこれを適用することが必要である。
【０１２１】
識別時には、特徴量とそれに対応する判別関数を１つずつ計算して最後に総合判定を行なうような手順を取る。これに対し、学習時には、あらかじめすべての学習サンプルのすべての特徴候補点に関してすべての特徴次元を使って特徴量を算出しておき、サンプル中の同一人物と他人の判別が最適となる特徴点と特徴量を順番に選んでいく。したがって、計算量が多いだけで、学習時に適用する処理は、識別時のそれとまったく同じである。
【０１２２】
また、学習時には、顔検出や顔パーツ検出の代わりに通常人手でラベルされた顔、顔パーツ位置が与えられるが、それらを使った姿勢推定及びサンプル点の補正は同様に行なう。
【産業上の利用可能性】
【０１２３】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。
【０１２４】
例えば、顔認識技術を適用する個人認証システムや、性別識別などのマンマシン・インターフェースや、カメラワークの自動化などの目的で被写体認識技術を搭載したデジタルカメラ、デジタルカメラ付きの携帯電話機やその他の携帯端末に対して、本発明を適用することができる。
【０１２５】
要するに、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、特許請求の範囲を参酌すべきである。
【図面の簡単な説明】
【０１２６】
【図１】図１は、発明の一実施形態に係る顔認識システムの全体構成を模式的に示した図である。
【図２】図２は、顔識別部１３の内部構成を模式的に示した図である。
【図３Ａ】図３Ａは、固定の画素サイズで構成されるガウス関数からなるフィルタ窓を示した図である。
【図３Ｂ】図３Ｂは、サイン関数又はコサイン関数からなる応答関数を示した図である。
【図３Ｃ】図３Ｃは、図３Ｂに示した応答関数に図３Ａに示したフィルタ窓をかけて得られるガボア・フィルタを示した図である。
【図３Ｄ】図３Ｄは、２２．５度ずつずらした８方向の応答関数についてそれぞれフィルタ窓をかけて得られる８通りのガボア・フィルタを示した図である。
【図３Ｅ】図３Ｅは、５種類の周波数ｆの応答関数について、同様に８方向の角度θでフィルタ窓をかけて得られる４０種類のガボア・フィルタを示した図である。
【図４】図４は、顔及び顔の中のパーツ（図示の例では、目中心、鼻の頭、口の中心の４点）の検出結果例を示した図である。
【図５Ａ】図５Ａは、通常の顔パーツ検出の探索領域を上下左右にシフトする様子を示した図である。
【図５Ｂ】図５Ｂは、顔の姿勢角の推定結果に基づいて顔パーツ検出の探索領域を上下左右にシフトする様子を示した図である。
【図６】図６は、左上画素の左上隅が原点となる画素エッジ座標表現系で各顔パーツの特徴点に画像上での座標（ｘ0，ｙ0）、（ｘ1，ｙ1）、…が与えられ、さらに両目が水平となるように適当な点を中心にしてθだけ顔画像を回転させる様子を示した図である。
【図７Ａ】図７Ａは、平均的な顔パーツの３次元位置関係を示した図である。
【図７Ｂ】図７Ｂは、図７Ａに示した平均的な顔パーツをヨー軸回りに４５度だけ回転したときの３次元位置関係を示した図である。
【図８】図８は、顔領域の切り出し処理を行なう様子を示した図である。
【図９Ａ】図９Ａは、統計学習によって選択された特徴点の候補を例示した図（正面から見た様子）である。
【図９Ｂ】図９Ｂは、統計学習によって選択された特徴点の候補を例示した図（３次元の平均的な顔モデルを基に、各格子点（すなわち人物判別に使用する特徴点）のｚ座標をあらかじめ求めておく様子）である。
【図１０Ａ】図１０Ａは、正面から撮影した被写体の顔画像から抽出される特徴点を示した図である。
【図１０Ｂ】図１０Ｂは、図１０Ａと同一の被写体を斜めから撮影したときの顔画像から抽出から抽出される特徴点を顔パーツ位置から推定される顔姿勢（ピッチ及びロールの推定角）に基づいて位置補正した様子を示した図である。
【符号の説明】
【０１２７】
１０…顔認識システム
１１…顔検出部
１２…顔パーツ検出部
１３…顔識別部
１３１…顔画像入力部
１３２…ガボア・フィルタ適用部
１３３…相関演算部
１３４・・・一致判定部
【図１】
0004946730.tif 000036
【図２】
0004946730.tif 000037
【図４】
0004946730.tif 000038
【図５Ａ】
0004946730.tif 000039
【図５Ｂ】
0004946730.tif 000040
【図６】
0004946730.tif 000041
【図７Ａ】
0004946730.tif 000042
【図７Ｂ】
0004946730.tif 000043
【図８】
0004946730.tif 000044
【図１０Ａ】
0004946730.tif 000045
【図１０Ｂ】
0004946730.tif 000046
【図３Ａ】
0004946730.tif 000047
【図３Ｂ】
0004946730.tif 000048
【図３Ｃ】
0004946730.tif 000049
【図３Ｄ】
0004946730.tif 000050
【図３Ｅ】
0004946730.tif 000051
【図９Ａ】
0004946730.tif 000052
【図９Ｂ】
0004946730.tif 000053