(57)【要約】  画像処理装置（１０）は、人物の顔を含む入力画像から、人物の顔のヨー角及びピッチ角を含む姿勢情報を推定する姿勢推定部（１１０）と、入力画像中の人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける複数の特徴点の位置と、姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する画像変換部（１２０）と、を有する。
2015029982.tif 000002
【特許請求の範囲】
【請求項１】
人物の顔を含む入力画像から、前記人物の顔のヨー角及びピッチ角を含む姿勢情報を推定する姿勢推定手段と、
前記入力画像中の前記人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける前記複数の特徴点の位置と、前記姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する画像変換手段と、
を有する画像処理装置。
【請求項２】
前記画像変換手段は、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記入力画像の座標系と前記３次元立体形状モデルの座標系とを変換可能な幾何変形パラメータを算出するパラメータ算出手段と、
前記姿勢情報に基づいて前記幾何変形パラメータを補正するパラメータ補正手段と、
補正された前記幾何変形パラメータに基づいて、前記正規化顔画像を生成する正規化顔画像生成手段と、
を有する請求項１に記載の画像処理装置。
【請求項３】
前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記パラメータ算出手段は、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定し、
前記パラメータ補正手段は、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうちのヨー角及びピッチ角を除くパラメータと、前記姿勢情報に含まれるヨー角及びピッチ角とを初期値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記透視投影変換行列に含まれる前記幾何変形パラメータを補正する、
請求項２に記載の画像処理装置。
【請求項４】
前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記パラメータ算出手段は、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定し、
前記パラメータ補正手段は、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうち、前記姿勢情報に含まれるヨー角及びピッチ角を固定値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記幾何変形パラメータの残りの９個のパラメータを補正する、
請求項２に記載の画像処理装置。
【請求項５】
前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記幾何変形パラメータのうち、校正された５個の内部パラメータを取得する内部パラメータ取得手段を更に備え、
前記パラメータ算出手段は、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定し、
前記パラメータ補正手段は、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうち、前記校正された５個の内部パラメータと前記姿勢情報に含まれるヨー角及びピッチ角とを固定値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記幾何変形パラメータの残りの４個のパラメータを補正する、
請求項２に記載の画像処理装置。
【請求項６】
前記画像変換手段は、
前記姿勢情報に基づいて、前記複数の特徴点毎に与える重み係数を算出する重み係数算出手段を更に備え、
前記パラメータ算出手段は、
前記重み係数を更に用いて前記幾何変形パラメータを算出し、
前記パラメータ補正手段は、
前記重み係数を更に用いて前記幾何変形パラメータを補正する、
請求項２から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記重み係数算出手段は、
前記姿勢情報に基づいて回転させた前記３次元立体形状モデルにおいて、所定の基準点からの奥行きを表す奥行き情報を前記複数の特徴点毎に取得し、前記奥行き情報に基づいて、前記複数の特徴点のうち前記所定の基準点に近い特徴点ほど大きい重みを与える、
請求項６に記載の画像処理装置。
【請求項８】
前記画像変換手段は、
顔の位置、大きさ、及び向きが一定の状態に補正された前記正規化顔画像を生成する、
請求項１から７のいずれか１項に記載の画像処理装置。
【請求項９】
コンピュータが、
人物の顔を含む入力画像から、前記人物の顔のヨー角及びピッチ角を含む姿勢情報を推定し、
前記入力画像中の前記人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける前記複数の特徴点の位置と、前記姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する、
ことを含む画像処理方法。
【請求項１０】
コンピュータを、
人物の顔を含む入力画像から、前記人物の顔のヨー角及びピッチ角を含む姿勢情報を推定する姿勢推定手段、
前記入力画像中の前記人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける前記複数の特徴点の位置と、前記姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する画像変換手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
現在、人物の顔が含まれる画像を用いた個人認証技術が実用化されている。このような個人認証技術において、姿勢の異なる顔画像の照合が大きな技術課題のひとつとなっている。【０００３】
この課題に対して、顔の立体形状モデルを利用することにより、入力された顔画像とは異なる顔画像を生成して照合する手法が開示されている。【０００４】
例えば、下記特許文献１には、被写体となる人物の２次元画像と３次元顔形状情報とを取得し、予め準備された一般的な顔の３次元モデルである標準モデルと、取得した３次元顔形状情報との間の姿勢・形状変化情報に基づいて２次元画像テクスチャを補正することにより得られる２次元特徴と、３次元顔形状情報から得られる３次元特徴点とを利用して２次元画像中の人物を照合する手法が開示されている。【０００５】
また、下記特許文献２には、人物によらず安定的な特徴点を使って顔の姿勢を推定した後、標準的な顔の立体形状モデルを用いて、人物ごとに違いが顕著に現れるその他の特徴点を特定の姿勢へ変換し、当該その他の特徴点の位置での特徴量を比較することで照合する手法が開示されている。【０００６】
また下記特許文献３には、顔の標準的な立体形状モデル上に配置された特徴点と、入力画像中の顔の特徴点と、入力画像中の顔の向きの情報とをもとに、特徴点周辺の部分領域を参照画像と同じ顔の向きとなるように変形した部分領域画像を生成し、当該部分領域画像と参照画像とを照合する手法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特許第５０１８０２９号公報
【特許文献２】特許第４９４６７３０号公報
【特許文献３】特開２００４−２８８２２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１では、照合対象となる人物の３次元形状情報を取得する必要がある。物体の３次元形状情報を取得するにはレンジファインダのような特殊な機材が必要とされるため、利用環境が限定される可能性がある。さらに、３次元形状情報を取得するだけでなく、２次元画像テクスチャと３次元形状情報との両方からそれぞれの特徴量を抽出する必要があり、計算コストが高い。【０００９】
また、特許文献２では、画像中の顔の特徴点座標と標準顔立体モデル上の特徴点座標の対応関係に基づいて姿勢を推定する際、人物によらない安定的な特徴点として、両目、鼻、及び口の４点のみを用いている。そのため、特徴点の誤検出や外れ値があった場合には誤った姿勢を推定してしまう可能性が高い。【００１０】
また、特許文献３では、何らかの手段により事前に取得しておいた顔の向きの情報を利用して姿勢を変換する際、特徴点周辺の部分領域についてのみ姿勢を変換するため、特徴点の誤検出の影響を大きく受けてしまう。また、顔全体の大域的な特徴を照合に利用する場合には適さない手法と考えられる。【００１１】
本発明は、上記課題に鑑みてなされたものであり、その目的は、特殊な機材がなくとも、精度よく正規化された画像を生成できる画像処理装置、画像処理方法、及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明によれば、
人物の顔を含む入力画像から、前記人物の顔のヨー角及びピッチ角を含む姿勢情報を推定する姿勢推定手段と、
前記入力画像中の前記人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける前記複数の特徴点の位置と、前記姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する画像変換手段と、
を有する画像処理装置が提供される。【００１３】
本発明によれば、
コンピュータが、
人物の顔を含む入力画像から、前記人物の顔のヨー角及びピッチ角を含む姿勢情報を推定し、
前記入力画像中の前記人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける前記複数の特徴点の位置と、前記姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する、
ことを含む画像処理方法が提供される。【００１４】
本発明によれば、
コンピュータを、
人物の顔を含む入力画像から、前記人物の顔のヨー角及びピッチ角を含む姿勢情報を推定する姿勢推定手段、
前記入力画像中の前記人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける前記複数の特徴点の位置と、前記姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する画像変換手段、
として機能させるためのプログラムが提供される。
【発明の効果】
【００１５】
本発明によれば、特殊な機材がなくとも、精度よく正規化された画像を生成できる。
【図面の簡単な説明】
【００１６】
上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。【００１７】
【図１】第１実施形態における画像処理装置の構成例を示すブロック図である。
【図２】第１実施形態における画像処理装置の処理の流れを示すフローチャートである。
【図３】画像変換部の詳細な処理構成を示すブロック図である。
【図４】第２実施形態における画像処理装置の処理構成例を示すブロック図である。
【図５】第２実施形態における画像処理装置の処理の流れを示すフローチャートである。
【図６】Ｓ１０６の処理の詳細な流れを示すフローチャートである。
【図７】第３実施形態における画像変換部の詳細な処理構成を示すブロック図である。
【図８】第３実施形態におけるＳ１０６の処理の詳細な流れを示すフローチャートである。
【発明を実施するための形態】
【００１８】
以下、本発明の実施形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
【００１９】
（第１実施形態）
図１は、第１実施形態における画像処理装置１０の構成例を示すブロック図である。画像処理装置１０は姿勢推定部１１０及び画像変換部１２０を有する。
【００２０】
姿勢推定部１１０は、人物の顔を含む入力画像から人物の顔の姿勢情報を推定する。この「姿勢情報」とは、人物の顔の姿勢を示す情報であり、当該人物の顔のヨー角及びピッチ角を少なくとも含む。姿勢情報は人物の顔の向きを表す情報と言うこともできる。
【００２１】
姿勢推定部１１０は、様々な手段を用いて入力画像中の人物の顔の姿勢情報を推定することができる。例えば、ヨー角及びピッチ角がそれぞれ異なる各姿勢に対応する顔識別器を記憶部（不図示）に用意しておき、姿勢推定部１１０は、入力画像中の人物の顔を少なくとも含む顔領域画像と各々の顔識別器との比較結果を総合的に判断して、当該入力画像中の人物の顔のヨー角及びピッチ角を含む姿勢情報を推定することができる。また、姿勢推定部１１０は、部分空間法を用いて入力画像中の人物の姿勢を推定してもよい。また、姿勢推定部１１０は、入力画像から顔領域画像を取得すると同時に顔の３次元立体形状を取得しておき、当該取得された顔の３次元立体形状と、画像処理装置１０の記憶領域等に予め記憶された平均的な正面顔の３次元立体形状との対応関係から、入力画像中の人物の頭部の姿勢を推定してもよい。この場合において、３次元立体形状同士の対応付けにはＩＣＰ（Iterative Closest Point）アルゴリズム等を用いることができる。なお、姿勢情報を推定する手法の詳細については、例えば、以下の文献に開示されている。
・安藤、草地 他、「サポートベクトル回帰を用いた三次元物体の姿勢推定法」、電子情報通信学会論文誌
・山田、中島 他「因子分解法と部分空間法による顔向き推定」、電子情報通信学会技術研究報告PRMU
・特開２０１１−２０９１１６号公報
・佐藤洋一、「コンピュータビジョンによる顔のトラッキング」、映像情報メディア学会誌
ただし、上述した姿勢情報を推定する手法はあくまで一例であり、姿勢推定部１１０は、その他の既知の手法を用いて人物の顔の姿勢情報を推定することもできる。
【００２２】
画像変換部１２０は、顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける複数の特徴点の位置と、姿勢推定部１１０によって取得された姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する。ここで、顔画像の照合処理等を行う場合を考慮して、正規化顔画像を生成する際は正面を向くように補正することが好ましい。この場合、画像変換部１２０は、顔が正面を向いている３次元立体形状モデルを利用する。以下、本実施形態では、正面を向いた正規化顔画像を生成する場合を例に説明する。
【００２３】
画像変換部１２０は、顔領域画像と、記憶部２０の３次元モデル記憶部２１０に記憶されている３次元立体形状モデルとを利用して、正規化顔画像を生成する。ここで、３次元モデル記憶部２１０は、平均的な正面顔の３次元立体形状モデルと、当該３次元立体形状モデルにおける複数の特徴点の位置とを記憶している。この「平均的な正面顔の３次元立体形状モデル」は、正面を向いた複数の顔画像サンプルを平均化する等して生成することができる。また、この「平均的な正面顔の３次元立体形状モデル」は、年齢又は性別といった属性毎に複数用意されていてもよい。なお、図１では、画像処理装置１０が記憶部２０を備えているが、画像処理装置１０の外部に位置する他の装置が記憶部２０を備えていてもよい。この場合、画像処理装置１０は、当該他の装置と有線又は無線で通信して３次元立体形状モデルを取得する。
【００２４】
詳細には、画像変換部１２０は以下のようにして正規化顔画像を生成する。まず、画像変換部１２０は、３次元立体形状モデル上の複数の特徴点と、顔領域画像上の複数の特徴点との対応関係を判別する。次に、画像変換部１２０は、顔の３次元立体形状モデルの姿勢（顔の向き）が顔領域画像の姿勢と同様となるように、姿勢推定部１１０によって取得された姿勢情報を用いて当該３次元立体形状モデルを回転させる。そして、画像変換部１２０は、同じ姿勢に補正された３次元立体形状モデルの複数の特徴点の位置と、顔領域画像における複数の特徴点の位置との対応関係から、入力画像の座標系と３次元立体形状モデルの座標系とを変換する幾何変形パラメータを算出する。そして、画像変換部１２０は、算出された幾何変形パラメータを用いて、正面顔の３次元立体形状モデルを入力画像の座標系に投影した際の座標を算出する。
【００２５】
例えば、正面顔の３次元立体形状モデルは複数の点で構成されており、この３次元立体形状モデルを構成する各点が正規化顔画像の１画素に相当する。画像変換部１２０は、算出された幾何変形パラメータを利用して、３次元立体形状モデルを構成する各点を２次元の入力画像上へ投影（順投影）することにより、３次元立体形状モデルの各点が持つべき色情報（画素値）を判断することができる。具体的には、画像変換部１２０は、３次元立体形状モデルを構成する各点が投影された２次元画像上の位置に対応する画素値を、当該３次元形状モデルの各点が持つべき画素値として判断する。そして、画像変換部１２０は、３次元立体形状モデルの各点と正規化顔画像との対応関係に基づいて、正規化顔画像の各画素の画素値を判断できる。この画像変換部１２０によって行われる画像変換処理は、順変換処理ではなく逆変換処理である。具体的には、画像変換部１２０は、正規化顔画像の各座標が２次元画像上のどの部分に対応するかを３次元立体形状モデルを介して判断し、正規化顔画像の各画素の画素値を２次元画像から取得している（逆変換処理）。このため、画像変換部１２０は、２次元画像の各座標が正規化顔画像のどの部分に対応するかを判断し、当該２次元顔画像の各座標に対応する画素値を正規化顔画像に埋め込む順変換処理を用いる場合よりも、より正確な正規化顔画像を生成することができる。
【００２６】
このように、画像変換部１２０は、３次元立体形状モデルを構成する各点に対して逆変換処理を行うことにより、顔の位置と大きさ、及び顔の向きが一定に補正された正規化顔画像を生成することができる。なお、３次元立体形状モデルの各点を幾何変形パラメータに基づいて２次元画像上に投影した場合の座標値が必ずしも整数値であるとは限らない。２次元画像上に投影された座標値が小数値である場合には、投影した座標の周辺画素を利用して正規化顔画像の各画素の画素値を補間することが望ましい。このような場合、画像変換部１２０は、例えば、最近傍補間（ニアレストネイバー補間）や双線形補間（バイリニア補間）等、任意の手法を用いて正規化顔画像の各画素の画素値を補間することができる。
【００２７】
なお、図中に示される画像処理装置１０の各構成要素は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。画像処理装置１０の各構成要素は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされた本図の構成要素を実現するプログラム、そのプログラムを格納するハードディスクなどの記憶メディア、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置には様々な変形例がある。
【００２８】
本実施形態における画像処理装置１０の処理の流れについて、図２を用いて説明する。図２は、第１実施形態における画像処理装置１０の処理の流れを示すフローチャートである。
【００２９】
画像処理装置１０は、入力画像から顔領域画像を抽出する（Ｓ１０２）。ここで、抽出される顔領域画像は入力画像中の人物の顔を含んでいればよく、入力画像そのものであっても、入力画像の一部であってもよい。そして、画像処理装置１０は、顔領域画像に含まれる人物の顔の姿勢情報を推定する（Ｓ１０４）。そして、画像処理装置１０は、抽出された顔領域画像における複数の特徴点の位置と、顔の３次元立体形状モデルとにおける複数の特徴点の位置との対応関係、及びＳ１０４で推定された姿勢情報に基づいて、顔の向きが補正された正規化顔画像を生成する（Ｓ１０６）。
【００３０】
以上、本実施形態では、顔の３次元立体形状モデルが、入力画像中の人物の顔と同じ姿勢（顔の向き）に回転される。そして、入力画像における複数の特徴点の位置と、回転された３次元立体形状モデルの特徴点の位置との対応関係から、入力画像の座標軸と３次元立体形状モデルの座標軸とを互いに変換可能な幾何変形パラメータが算出される。そして、算出された幾何変形パラメータを用いて、顔の向きが補正された正規化顔画像が生成される。
【００３１】
これにより、本実施形態によれば、幾何変形パラメータを推定する際、誤検出された特徴点やオクルージョン等によって正しい位置を検出できない特徴点の影響を低減できる。すなわち、より確からしい幾何変形パラメータを推定することができる。そして、このように推定された幾何変形パラメータを用いることで、より精度の高い正規化顔画像を生成することができる。例えば、入力画像中の人物の顔の姿勢によりいくつか特徴点が隠れていて正規化が難しい顔画像についても、３次元立体形状モデルを入力画像の姿勢に合わせることにより隠れている特徴点を精度よく推定することができ、より精度の高い正規化顔画像を生成することができる。
【００３２】
また、本実施形態によれば、入力画像から人物の顔の姿勢を推定するためレンジファインダのような特殊な機材が必要なく、高い汎用性を実現できる。
【００３３】
また、画像処理装置１０により生成される正規化顔画像は、顔の位置、大きさ及び、向きが一定の状態に変換される。ここで、正規化顔画像における顔の位置、大きさ、及び向きを、顔認証の照合処理で用いられる正解データの顔の位置、大きさ及び、向きに合わせるように設定すれば、当該照合処理の精度を向上させることができる。
【００３４】
（第２実施形態）
本実施形態では、画像変換部１２０の詳細な処理構成について説明する。また、本実施形態の画像処理装置１０は顔画像を照合するための構成を更に含む。
【００３５】
本実施形態における画像処理装置１０は、概略以下のように動作する。まず、画像処理装置１０は、入力顔画像中の各特徴点の位置と３次元立体形状モデル上の位置との対応関係から幾何変形パラメータを算出する。そして、画像処理装置１０は、再投影誤差の２乗和が最小となるように幾何変形パラメータを最適化（補正）する。ここで、幾何変形パラメータを算出又は最適化する際、ヨー角及びピッチ角に関しては、入力画像から推定されたヨー角及びピッチ角が用いられる。入力画像から推定されたヨー角及びピッチ角のほうが、各特徴点の位置の対応関係から算出されるヨー角及びピッチ角よりも精度が高いため、画像処理装置１０は、より精度の高い幾何変形パラメータを推定することができる。
【００３６】
図３は、画像変換部１２０の詳細な処理構成を示すブロック図である。図３において、画像変換部１２０は、パラメータ算出部１２２と、パラメータ補正部１２４と、正規化顔画像生成部１２６とを有する。
【００３７】
パラメータ算出部１２２は、顔領域画像における複数の特徴点の位置と、３次元立体形状モデルにおける複数の特徴点の位置との対応関係に基づいて、入力画像の座標系と３次元立体形状モデルの座標系とを変換可能な幾何変形パラメータを算出する。
【００３８】
パラメータ補正部１２４は、姿勢推定部１１０によって推定された姿勢情報に基づいて、パラメータ算出部１２２で算出された幾何変形パラメータを補正する。
【００３９】
正規化顔画像生成部１２６は、パラメータ補正部１２４によって補正された幾何変形パラメータに基づいて、顔の向きが補正された正規化顔画像を生成する。
【００４０】
図４は、第２実施形態における画像処理装置１０の処理構成例を示すブロック図である。図４において、画像処理装置１０は、顔検出部１３０、顔特徴点検出部１４０、及び顔識別部１５０を更に有する。
【００４１】
また、図４において、記憶部２０は照合用データ記憶部２２０を更に有する。照合用データ記憶部２２０は、正規化顔画像の人物を照合するために用いられる照合用データを記憶している。ここで「照合用データ」とは、ある顔画像データに対して特定の人物を示す情報が対応付けられているデータを言う。すなわち、照合用データはある人物を特定可能な顔画像データであるとも言える。
【００４２】
顔検出部１３０は、入力画像の中から顔を含む領域（顔領域画像）を検出して抽出する。なお、顔検出部１３０は、任意の顔検出アルゴリズムを利用することができる。例えば、顔検出部１３０は、Ｖｉｏｌａらによって提案された、Ｈａａｒ特徴とＡｄａＢｏｏｓｔを利用した顔検出アルゴリズム等を用いることができる。顔検出部１３０によって検出された顔領域画像は、姿勢推定部１１０及び顔特徴点検出部１４０に入力される。
【００４３】
顔特徴点検出部１４０は、顔検出部１３０によって検出された顔画像領域から特徴点を検出する。例えば、顔特徴点検出部１４０は、目、鼻、口、及び顔の輪郭等を特徴点として検出する。なお、顔特徴点検出部１４０は、顔画像領域から特徴点を検出する任意のアルゴリズムを用いることができる。例えば、顔特徴点検出部１４０は、顔検出部１３０と同様に、Ｈａａｒ特徴とＡｄａＢｏｏｓｔを利用した特徴点検出アルゴリズムを用いることができる。また、顔特徴点検出部１４０は、Ａｃｔｉｖｅ Ｓｈａｐｅ ＭｏｄｅｌやＡｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ等を用いて顔の特徴点を検出してもよい。
【００４４】
顔識別部１５０は、画像変換部１２０によって生成された正規化顔画像から特徴量を抽出し、抽出された特徴量と照合用データ記憶部２２０に記憶されている照合用データの特徴量とを照合することで入力画像の人物を特定する。そして、顔識別部１５０は、特定された人物を照合結果として出力する。
【００４５】
本実施形態における画像処理装置１０の処理の流れについて、図５及び６を用いて説明する。
【００４６】
図５は、第２実施形態における画像処理装置１０の処理の流れを示すフローチャートである。Ｓ１０２からＳ１０６までの処理の流れは、第１実施形態で説明したとおりである。詳細には、画像処理装置１０は、任意の顔検出アルゴリズムを用いて、入力画像から人物の顔を含む顔領域画像を抽出する（Ｓ１０２）。そして、画像処理装置１０は、顔領域画像に含まれる人物の顔の姿勢情報を推定する（Ｓ１０４）。
【００４７】
ここで、Ｓ１０６の詳細な流れについて図６を用いて説明する。図６は、Ｓ１０６の処理の詳細な流れを示すフローチャートである。
【００４８】
画像処理装置１０は、任意の特徴点検出アルゴリズムを用いて、Ｓ１０２で抽出された顔領域画像からｎ点（ｎは１以上の整数）の特徴点の位置（ｕｎ，ｖｎ）を検出する（Ｓ１０６１）。
【００４９】
そして、画像処理装置１０は、Ｓ１０６１で検出された特徴点（ｕｎ，ｖｎ）と、３次元立体形状モデルにおける特徴点（Ｘｎ，Ｙｎ，Ｚｎ）との対応関係に基づいて、幾何変形パラメータ算出する（Ｓ１０６２）。具体的には、画像処理装置１０は以下のように幾何変形パラメータを算出する。
【００５０】
下記の式１は、入力画像上の座標と３次元立体形状モデル上の座標との対応関係を示す式である。下記の式１において３行４列で示される行列が、入力画像上の座標系と３次元立体形状モデル上の座標系とを変換する透視投影変換行列である。画像処理装置１０は、顔領域画像において検出された特徴点（ｕｎ，ｖｎ）、当該特徴点（ｕｎ，ｖｎ）に対応する３次元立体形状モデルにおける特徴点（Ｘｎ，Ｙｎ，Ｚｎ）、及び下記の式１に基づいて、透視投影変換行列に含まれる幾何変形パラメータを導出する。
【００５１】
【数１】
2015029982.tif 000003
【００５２】
ここで、式１からは下記の式２を得ることができる。
【００５３】
【数２】
2015029982.tif 000004
【００５４】
そして、この式２に対して線形最小２乗法を用いて３行４列の透視投影変換行列を得ることができる。
【００５５】
そして、得られた透視投影変換行列に対してＱＲ分解を行うことにより、下記の式３に示されるように、透視投影変換行列を分解することができる。
【００５６】
【数３】
2015029982.tif 000005
【００５７】
上記の式３において「Ｋ」がカメラの内部パラメータを表す行列であり、その自由度は５である。また、「Ｒ」及び「Ｔ」がそれぞれカメラの外部パラメータを表す行列であり、その自由度は６である。なお、「Ｒ」が回転に関する外部パラメータであり、「α」がヨー角、「β」がピッチ角、「γ」がロール角を示す。また、「Ｔ」が平行移動成分に関する外部パラメータである。このように、透視投影変換行列に含まれる幾何変形パラメータは合計で１１の自由度を有する。
【００５８】
なお、式２において、線形最小２乗法ではなく、固有値計算等によってパラメータを算出してもよい。または、入力画像中の各特徴点の座標系の原点と３次元立体形状モデル上の各特徴点の座標系の原点やスケールを予め揃えるような座標変換を施すことにより、各特徴点を投影した際の座標がおおよそ適切な位置になるような幾何変形パラメータを算出してもよい。
【００５９】
そして、画像処理装置１０は、Ｓ１０４で推定された姿勢情報（ヨー角、ピッチ角）を用いて、幾何変形パラメータを補正する（Ｓ１０６３）。詳細には、画像処理装置１０は、次のようにして幾何変形パラメータを補正する。
【００６０】
画像処理装置１０は、式３に示される１１個の幾何変形パラメータのうちヨー角α及びピッチ角βを固定値とし、残りの９個のパラメータについて再投影誤差の２乗和が最小となるように最適化を行う。ここで、ヨー角α及びピッチ角βについては、Ｓ１０４で推定された姿勢情報に含まれるヨー角及びピッチ角が利用される。また、１１個の幾何変形パラメータのうちヨー角α及びピッチ角β以外の９個のパラメータについては、Ｓ１０６２で算出された幾何変形パラメータが初期値として利用される。
【００６１】
また、画像処理装置１０は、式３に示される１１個の幾何変形パラメータにおいて、Ｓ１０４で推定された姿勢情報に含まれるヨー角及びピッチ角を初期値として代入し、透視投影変換行列に含まれる１１個のパラメータについて再投影誤差の２乗和が最小となるように最適化を行ってもよい。この場合、ヨー角α及びピッチ角βについては、Ｓ１０４で推定された姿勢情報に含まれるヨー角及びピッチ角を基準とした所定の範囲内で最適化されるように制限される。このようにすることで、Ｓ１０４で推定されたヨー角及びピッチ角の値が最適化処理で大きく変更されることを防ぎつつ、幾何変形パラメータを補正することができる。
【００６２】
また、画像処理装置１０は、既に校正された内部パラメータを取得する内部パラメータ取得部を更に有しており、取得された５個の内部パラメータと姿勢推定部１１０で推定されたヨー角及びピッチ角とを固定値として、残りの４個のパラメータを最適化するようにしてもよい。この場合、５個の内部パラメータは、例えば、入力画像を撮像した撮像装置（不図示）において事前にカメラ校正を行う等して校正され、入力画像と共に取得される。また、画像処理装置１０は、動画像を入力画像として受け付け、当該動画像を連続した静止画像に分割し、各静止画像における同一人物の様々な姿勢から５個の内部パラメータを自己校正することもできる。画像処理装置１０は、このように校正された５個の内部パラメータを取得し、姿勢推定部１１０で推定されたヨー角及びピッチ角を合わせた７個のパラメータを固定値として、残りの４個のパラメータを最適化する。
【００６３】
そして、画像処理装置１０は、補正された幾何変形パラメータを用いて正規化顔画像を生成する（Ｓ１０６４）。具体的には、画像処理装置１０は、補正された幾何変形パラメータと３次元立体形状モデル上の各特徴点の座標とに基づいて、３次元立体形状モデル上の各特徴点を入力画像の座標系に投影した際の座標を算出する。そして、画像処理装置１０は、補正された幾何変形パラメータを用いて、算出された座標に対応する画素を３次元立体形状モデルに逆投影する。そして、画像処理装置１０は、画素が逆投影された３次元立体形状モデルを用いて、顔の位置と大きさが一定であり、かつ、人物の顔の向きが正面に補正された正規化顔画像を生成することができる。
【００６４】
以上が、Ｓ１０６の詳細な流れである。
【００６５】
図５に戻る。画像処理装置１０は、Ｓ１０６で生成された正規化顔画像と照合用データとを照合する（Ｓ２０２）。詳細には、画像処理装置１０は、Ｓ１０６で生成された正規化顔画像から特徴量を抽出する。ここで抽出される特徴量は任意であり、例えば、複数の周波数と角度のＧａｂｏｒ Ｗａｖｅｌｅｔを利用することで抽出されるＧａｂｏｒ特徴量等を用いればよい。抽出された特徴量は、例えばベクトルで表現される。そして、画像処理装置１０は、正規化顔画像から抽出された特徴量ベクトルと、照合用データ記憶部２２０に記憶されている各照合用データの特徴量ベクトルとを照合し、その照合スコアを算出する。特徴量ベクトル同士の照合には、例えば、正規化相関やユークリッド距離を利用することができる。また、画像処理装置１０は、学習によって予め生成しておいた特徴量変換行列に抽出された特徴量ベクトルを射影することで、より低次元で識別性能に優れた特徴量ベクトルに変換し、当該変換された特徴量ベクトルを用いて正規化顔画像を照合するようにしてもよい。
【００６６】
そして、画像処理装置１０は、Ｓ２０２の照合結果を、例えばディスプレイ等に出力する（Ｓ２０４）。
【００６７】
以上、本実施形態では、画像処理装置１０により生成された顔画像を用いて、入力画像中の人物の顔が照合される。これにより、本実施形態によれば、顔認証処理の精度を向上させることができる。
【００６８】
また、本実施形態では、幾何変形パラメータの中のいくつかのパラメータが固定された状態で、再投影誤差の２乗和が最小となるように残りのパラメータが最適化される。これにより、幾何変形パラメータの最適化の精度を向上させることができる。従って、より精度よく正規化顔画像を生成することができる。また、最適化するパラメータの個数が減ることにより、計算コストを低減させることもできる。
【００６９】
（第３実施形態）
本実施形態は、以下の点を除いて、第１及び第２実施形態と同様である。
【００７０】
図７は、第３実施形態における画像変換部１２０の詳細な処理構成を示すブロック図である。図３に示されるように、本実施形態の画像変換部１２０は、第２実施形態の画像変換部１２０の処理構成に加えて、重み係数算出部１２８を更に有する。
【００７１】
重み係数算出部１２８は、姿勢推定部１１０で推定された入力画像中の人物の顔の姿勢情報を利用して、複数の特徴点毎に与える寄与率（重み係数）を算出する。具体的には、人物の顔の向きに応じて、人物の顔の各特徴点と撮像装置のレンズ中心等の所定の基準点との距離が異なってくる。そこで、重み係数算出部１２８は、所定の基準点に近い特徴点ほど重み係数を大きく設定し、所定の基準点から遠い特徴点ほど重み係数を小さく設定する。例えば、入力画像中の人物の顔が右側に傾いている場合は、顔の左半分の特徴点が顔の右半分の特徴点よりも手前側に位置することになり、顔の左半分の特徴点に付与される重み係数が大きく、顔の右半分の特徴点に付与される重み係数が小さくなる。
【００７２】
詳細には、重み係数算出部１２８は、以下のようにして各特徴点の重み係数を設定する。まず、重み係数算出部１２８は、入力画像中の人物の顔と同様の姿勢になるように、姿勢推定部１１０で推定された姿勢情報に基づいて３次元顔形状モデルを回転させる。これにより、重み係数算出部１２８は、回転させた３次元立体形状モデル上の各特徴点の奥行き情報を得ることができる。この「奥行き情報」は、３次元立体形状モデル上の各特徴点の所定の基準点からの奥行きを示す情報である。重み係数算出部１２８は、この特徴点毎の奥行き情報に基づいて、所定の基準点に近い特徴点ほど大きな重み係数を設定する。
【００７３】
本実施形態のパラメータ算出部１２２は、重み係数算出部１２８で算出された特徴点毎の重み係数に基づいて、幾何変形パラメータを算出する。また、本実施形態のパラメータ補正部１２４は、重み係数算出部１２８で算出された特徴点毎の重み係数に基づいて、幾何変形パラメータを補正する。
【００７４】
本実施形態における画像処理装置１０の処理の流れについて、図８を用いて説明する。図８は、第３実施形態におけるＳ１０６の処理の詳細な流れを示すフローチャートである。
【００７５】
画像処理装置１０は、姿勢推定部１１０で推定された姿勢情報を用いて重み係数を算出する（Ｓ１０６５）。詳細には、画像処理装置１０は、姿勢推定部１１０で推定された姿勢情報を用いて３次元立体形状モデルを回転させ、当該回転させた３次元立体形状モデルの各特徴点と所定の基準点との距離に応じて、特徴点毎に重み係数を付与する。
【００７６】
そして、画像処理装置１０は、Ｓ１０６５において算出された特徴点毎の重み係数を更に用いて、幾何変形パラメータを算出する（Ｓ１０６２）。詳細には、画像処理装置１０は、以下のように幾何変形パラメータを算出する。まず、式２は下記の式４のように表すことができる。
【００７７】
【数４】
2015029982.tif 000006
【００７８】
ここで、各特徴点に付与される重み係数を対角成分とした対角行列をＷとする。そして、式４において各特徴点に付与された重み係数を考慮した上で擬似逆行列演算をした場合、式５が得られる。
【００７９】
【数５】
2015029982.tif 000007
【００８０】
そして、画像処理装置１０は、式５に基づいて、各特徴量に付与された重み係数を考慮した透視投影変換行列を得ることができる。以降の処理については、第２実施形態と同様に、透視投影変換行列から幾何変形パラメータを算出することができる。
【００８１】
そして、画像処理装置１０は、Ｓ１０６５において算出された特徴点毎の重み係数を更に用いて、幾何変形パラメータを補正する（Ｓ１０６３）。詳細には、再投影誤差は特徴点毎に算出されるため、画像処理装置１０は、各特徴点に対応する重み係数を考慮して各特徴点の再投影誤差を算出する。そして、画像処理装置１０は、第２実施形態と同様に、再投影誤差の２乗和が最小となるように幾何変形パラメータを補正する。
【００８２】
以上、本実施形態では、顔の向き（姿勢）の情報が各特徴点の信頼度として利用される。これにより、本実施形態によれば、幾何変形パラメータの推定精度を高めることができる。そして、このように推定された幾何変形パラメータを利用して顔画像を正規化することにより、顔認証処理の精度を向上させることができる。
【００８３】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【００８４】
また、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。
【００８５】
以下、参考形態の例を付記する。
１．人物の顔を含む入力画像から、前記人物の顔のヨー角及びピッチ角を含む姿勢情報を推定する姿勢推定手段と、
前記入力画像中の前記人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける前記複数の特徴点の位置と、前記姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する画像変換手段と、
を有する画像処理装置。
２．前記画像変換手段は、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記入力画像の座標系と前記３次元立体形状モデルの座標系とを変換可能な幾何変形パラメータを算出するパラメータ算出手段と、
前記姿勢情報に基づいて前記幾何変形パラメータを補正するパラメータ補正手段と、
補正された前記幾何変形パラメータに基づいて、前記正規化顔画像を生成する正規化顔画像生成手段と、
を有する１．に記載の画像処理装置。
３．前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記パラメータ算出手段は、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定し、
前記パラメータ補正手段は、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうちのヨー角及びピッチ角を除くパラメータと、前記姿勢情報に含まれるヨー角及びピッチ角とを初期値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記透視投影変換行列に含まれる前記幾何変形パラメータを補正する、
２．に記載の画像処理装置。
４．前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記パラメータ算出手段は、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定し、
前記パラメータ補正手段は、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうち、前記姿勢情報に含まれるヨー角及びピッチ角を固定値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記幾何変形パラメータの残りの９個のパラメータを補正する、
２．に記載の画像処理装置。
５．前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記幾何変形パラメータのうち、校正された５個の内部パラメータを取得する内部パラメータ取得手段を更に備え、
前記パラメータ算出手段は、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定し、
前記パラメータ補正手段は、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうち、前記校正された５個の内部パラメータと前記姿勢情報に含まれるヨー角及びピッチ角とを固定値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記幾何変形パラメータの残りの４個のパラメータを補正する、
２．に記載の画像処理装置。
６．前記画像変換手段は、
前記姿勢情報に基づいて、前記複数の特徴点毎に与える重み係数を算出する重み係数算出手段を更に備え、
前記パラメータ算出手段は、
前記重み係数を更に用いて前記幾何変形パラメータを算出し、
前記パラメータ補正手段は、
前記重み係数を更に用いて前記幾何変形パラメータを補正する、
２．から５．のいずれか１つに記載の画像処理装置。
７．前記重み係数算出手段は、
前記姿勢情報に基づいて回転させた前記３次元立体形状モデルにおいて、所定の基準点からの奥行きを表す奥行き情報を前記複数の特徴点毎に取得し、前記奥行き情報に基づいて、前記複数の特徴点のうち前記所定の基準点に近い特徴点ほど大きい重みを与える、
６．に記載の画像処理装置。
８．前記画像変換手段は、
顔の位置、大きさ、及び向きが一定の状態に補正された前記正規化顔画像を生成する、
１．から７．のいずれか１つに記載の画像処理装置。
９．コンピュータが、
人物の顔を含む入力画像から、前記人物の顔のヨー角及びピッチ角を含む姿勢情報を推定し、
前記入力画像中の前記人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける前記複数の特徴点の位置と、前記姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する、
ことを含む画像処理方法。
１０．前記コンピュータが、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記入力画像の座標系と前記３次元立体形状モデルの座標系とを変換可能な幾何変形パラメータを算出し、
前記姿勢情報に基づいて前記幾何変形パラメータを補正し、
補正された前記幾何変形パラメータに基づいて、前記正規化顔画像を生成する、
ことを含む９．に記載の画像処理方法。
１１．前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記コンピュータが、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定し、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうちのヨー角及びピッチ角を除くパラメータと、前記姿勢情報に含まれるヨー角及びピッチ角とを初期値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記透視投影変換行列に含まれる前記幾何変形パラメータを補正する、
ことを含む１０．に記載の画像処理方法。
１２．前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記コンピュータが、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定し、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうち、前記姿勢情報に含まれるヨー角及びピッチ角を固定値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記幾何変形パラメータの残りの９個のパラメータを補正する、
ことを含む１０．に記載の画像処理方法。
１３．前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記コンピュータが、
前記幾何変形パラメータのうち、校正された５個の内部パラメータを取得し、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定し、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうち、前記校正された５個の内部パラメータと前記姿勢情報に含まれるヨー角及びピッチ角とを固定値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記幾何変形パラメータの残りの４個のパラメータを補正する、
ことを含む１０．に記載の画像処理方法。
１４．前記コンピュータが、
前記姿勢情報に基づいて、前記複数の特徴点毎に与える重み係数を算出し、
前記重み係数を更に用いて前記幾何変形パラメータを算出し、
前記重み係数を更に用いて前記幾何変形パラメータを補正する、
ことを含む１０．から１３．のいずれか１つに記載の画像処理方法。
１５．前記コンピュータが、
前記姿勢情報に基づいて回転させた前記３次元立体形状モデルにおいて、所定の基準点からの奥行きを表す奥行き情報を前記複数の特徴点毎に取得し、前記奥行き情報に基づいて、前記複数の特徴点のうち前記所定の基準点に近い特徴点ほど大きい重みを与える、
ことを含む１４．に記載の画像処理方法。
１６．前記コンピュータが、
顔の位置、大きさ、及び向きが一定の状態に補正された前記正規化顔画像を生成する、
ことを含む９．から１５．のいずれか１つに記載の画像処理方法。
１７．  コンピュータを、
人物の顔を含む入力画像から、前記人物の顔のヨー角及びピッチ角を含む姿勢情報を推定する姿勢推定手段、
前記入力画像中の前記人物の顔を含む領域である顔領域画像における複数の特徴点の位置と、人物の顔の３次元立体形状モデルにおける前記複数の特徴点の位置と、前記姿勢情報とに基づいて、顔の向きが補正された正規化顔画像を生成する画像変換手段、
として機能させるためのプログラム。
１８．前記コンピュータを、
前記画像変換手段において、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記入力画像の座標系と前記３次元立体形状モデルの座標系とを変換可能な幾何変形パラメータを算出するパラメータ算出手段、
前記姿勢情報に基づいて前記幾何変形パラメータを補正するパラメータ補正手段と、
補正された前記幾何変形パラメータに基づいて、前記正規化顔画像を生成する正規化顔画像生成手段、
として機能させるための１７．に記載のプログラム。
１９．前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記コンピュータに、
前記パラメータ算出手段において、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定させ、
前記パラメータ補正手段において、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうちのヨー角及びピッチ角を除くパラメータと、前記姿勢情報に含まれるヨー角及びピッチ角とを初期値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記透視投影変換行列に含まれる前記幾何変形パラメータを補正させる、
１８．に記載のプログラム。
２０．前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記コンピュータに、
前記パラメータ算出手段において、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定させ、
前記パラメータ補正手段において、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうち、前記姿勢情報に含まれるヨー角及びピッチ角を固定値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記幾何変形パラメータの残りの９個のパラメータを補正させる、
１８．に記載のプログラム。
２１．前記幾何変形パラメータは、５個の内部パラメータと６個の外部パラメータを有しており、
前記コンピュータを、
前記幾何変形パラメータのうち、校正された５個の内部パラメータを取得する内部パラメータ取得手段として更に機能させ、
前記コンピュータに、
前記パラメータ算出手段において、
前記顔領域画像と前記３次元立体形状モデルとにおける前記複数の特徴点の位置の対応関係に基づいて、前記幾何変形パラメータを含む透視投影変換行列を推定させ、
前記パラメータ補正手段において、
前記透視投影変換行列に含まれる前記幾何変形パラメータのうち、前記校正された５個の内部パラメータと前記姿勢情報に含まれるヨー角及びピッチ角とを固定値として、前記各特徴点の再投影誤差の２乗和が最小となるように前記幾何変形パラメータの残りの４個のパラメータを補正させる、
１８．に記載のプログラム。
２２．前記コンピュータを、
前記画像変換手段において、
前記姿勢情報に基づいて、前記複数の特徴点毎に与える重み係数を算出する重み係数算出手段として更に機能させ、
前記コンピュータに、
前記パラメータ算出手段において、
前記重み係数を更に用いて前記幾何変形パラメータを算出させ、
前記パラメータ補正手段において、
前記重み係数を更に用いて前記幾何変形パラメータを補正させる、
１８．から２１．のいずれか１つに記載のプログラム。
２３．前記コンピュータに、
前記重み係数算出手段において、
前記姿勢情報に基づいて回転させた前記３次元立体形状モデルにおいて、所定の基準点からの奥行きを表す奥行き情報を前記複数の特徴点毎に取得させ、前記奥行き情報に基づいて、前記複数の特徴点のうち前記所定の基準点に近い特徴点ほど大きい重みを与えさせる、
２２．に記載のプログラム。
２４．前記コンピュータに、
前記画像変換手段において、
顔の位置、大きさ、及び向きが一定の状態に補正された前記正規化顔画像を生成させる、
１７．から２３．のいずれか１つに記載のプログラム。
【００８６】
この出願は、２０１３年８月２９日に出願された日本出願特願２０１３−１７８４６１号を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【図１】
2015029982.tif 000008
【図２】
2015029982.tif 000009
【図３】
2015029982.tif 000010
【図４】
2015029982.tif 000011
【図５】
2015029982.tif 000012
【図６】
2015029982.tif 000013
【図７】
2015029982.tif 000014
【図８】
2015029982.tif 000015
【国際調査報告】
2015029982.tif 000016
2015029982.tif 000017