(57)【特許請求の範囲】
【請求項１】
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する遮蔽特徴点推定手段と、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する疑似特徴点推定手段と、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する照合手段と
を含む顔照合装置。
【請求項２】
前記照合画像の取得に代えて、前記第２の顔の特徴量ベクトルを取得する
請求項１に記載の顔照合装置。
【請求項３】
前記遮蔽特徴点推定手段が、
前記入力画像中の顔の角度情報と同じ角度を用いて前記顔の３次元立体形状モデル及びその上に配置されるモデル特徴点を回転させ、回転後のモデル特徴点を通る視線と回転後の顔の３次元立体形状モデルとが、前記回転後のモデル特徴点より撮影装置に近い位置で交点を持つ場合、その交点を遮蔽特徴点として推定する
請求項１又は２に記載の顔照合装置。
【請求項４】
前記遮蔽特徴点推定手段が、
前記顔の３次元立体形状モデルを正射影する場合において、前記入力画像中の顔の角度情報と同じ角度で回転させたモデル特徴点を通って奥行方向であるＺ方向に平行な直線と、回転後の顔の３次元立体形状モデルとが、前記回転後のモデル特徴点より撮影装置に近い位置で交点を持つ場合、その交点を遮蔽特徴点として推定する
請求項１ないし３のいずれか１項に記載の顔照合装置。
【請求項５】
前記照合手段が、
前記遮蔽特徴点と前記疑似特徴点との位置情報の差に、前記入力画像中の顔と前記回転後の顔の３次元立体形状モデルとのスケールの違い分の値を乗じた量を、補正量として用いて、前記入力画像中の顔の特徴点の位置情報を補正する
請求項１ないし４のいずれか１項に記載の顔照合装置。
【請求項６】
前記照合手段が、
少なくとも、前記遮蔽特徴点と前記疑似特徴点との水平方向であるＸ方向の座標値の差に、前記入力画像中の顔と前記回転後の顔の３次元立体形状モデルとのスケールの違い分の値を掛け合わせ倍率であるスケール倍した量を、補正量とする
請求項１ないし５のいずれか１項に記載の顔照合装置。
【請求項７】
記憶手段をさらに含み、
前記記憶手段が、予め、前記入力画像、顔の３次元立体形状モデル、及び、その上に配置されたモデル特徴点、照合画像又は照合画像の正規化画像の顔の特徴量ベクトルを、記憶する
請求項１ないし６のいずれか１項に記載の顔照合装置。
【請求項８】
前記入力画像中の顔の特徴点に基づいて、前記入力画像中の顔の角度を算出する角度推定手段をさらに含む請求項１ないし６のいずれか１項に記載の顔照合装置。
【請求項９】
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力し、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力し、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する
顔照合方法。
【請求項１０】
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する処理と、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する処理と、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する処理と
をコンピューターに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔認識技術に関し、特に、入力画像中の顔の情報を利用して顔を照合する顔認識技術に関する。
【背景技術】
【０００２】
顔認識技術は、人の顔画像から複数の特徴点を抽出し、特徴を数値化し、数値化した特徴点を他の画像に当てはめて本人を認証する技術である。顔認識装置は、抽出した複数の特徴点を基に、多少の変装された顔、又は、数十年前の写真における顔を認識することが可能である。そのため、顔認識装置は、すでに、個人識別などの分野で、幅広く実用化されている。【０００３】
しかし、人の顔画像は、顔の角度、姿勢、明るさ、位置、又は、大きさなどに基づき、顔の見え方が変わる、又は、顔の一部が隠れる場合がある。顔の見えない部分の特徴点を抽出することは、難しい。そのため、顔画像に対する認識が、正確にできないという問題があった。【０００４】
これに対して、最近、顔の見えない部分を考慮した正確さを達成するための３次元顔認識の技法が、提案されている。この技法は、３次元センサを使って顔の立体的情報を取得する。そして、この技法は、立体的情報から眼窩、鼻、又は、あごの輪郭などの際立った特徴点を抽出し、入力された顔画像とは異なる角度の顔画像を生成し、他の顔画像と照合することができる。【０００５】
例えば、特許文献１に開示されている画像認識装置は、入力画像から検出された顔の特徴点情報と、予め登録された顔の３次元形状情報とを利用して、３次元顔モデルを生成する。次に、特許文献１の画像認識装置は、生成した３次元顔モデルを用いて幾何学的変換パラメータを算出する。このパラメータを基に、特許文献1の画像認識装置は、複数の異なる姿勢の顔パターン画像（２次元の顔画像）を生成し、生成した顔パターン画像から顔の特徴量ベクトルを抽出する。そして、特許文献1の画像認識装置は、予め登録された登録画像の顔の特徴量ベクトルと、生成した顔パターン画像の特徴ベクトルとの類似度を計算し、顔画像を認識する。上記のような手法を用いることで、特許文献１の画像認識装置は、顔画像の顔の位置又は大きさなどを、基準のデータに揃える（正規化する）ことが可能である。【０００６】
しかし、特許文献１の方法は、入力画像から検出された顔の特徴点を、顔の角度、姿勢、又は、明るさに基づいて、正しく検出できない場合がある。特に、特許文献１の方法は、顔の姿勢の変化に基づいて（例えば、鼻の側面や輪郭などに発生する隠れ（セルフオクルージョン）に基づいて）、鼻の正しい位置の特徴点情報を誤って検出する場合がある。【０００７】
図１３は、顔輪郭点を例として、本来の特徴点がオクルージョン（occlusion）に基づいて遮蔽された場合、画像上のそれらしい位置を特徴点として誤って検出する例を示す図である。【０００８】
図１３に示すように、正面顔の画像１００において検出される顔輪郭点（黒点）と、斜め右向きの顔の画像２００において検出される顔輪郭点とは、厳密に、両者の位置が異なる。正面顔の画像１００における顔輪郭点が、３次元的に回転したときに本来存在する位置は、顔の画像３００に示すように、斜め右向きの顔の画像２００において検出される顔輪郭点よりも顔の内側に位置する。つまり、斜め右向きの顔の画像２００において検出された顔輪郭点は、正しくない特徴点である。【０００９】
従って、右向きの顔の画像２００において検出されるような情報を用いて幾何学的変換パラメータを算出して生成した顔パターン画像からは、顔の正しい特徴量ベクトルを抽出することができない。つまり、特許文献１に記載の技術は、上記の問題点があった。【００１０】
特許文献１に記載の技術の問題を解決するために、２つの方法が考えられる。第１の方法は、正しい位置に検出できなかった特徴点を利用しないで、幾何学的変換パラメータを推定する方法である。【００１１】
第１の方法は、例えば、RANSAC (Random Sample Consensus)に代表されるロバスト推定法を利用することで実現できる。第１の方法において、顔の見えている部分は、正しく正規化される。しかし、画面奥側の隠れている領域は、正規化に基づいて、画像が破綻する。【００１２】
具体的には、本来顔のテクスチャが存在する領域に背景のテクスチャが混ざりこんでしまう現象（欠損）が、発生する。つまり、第１の方法は、上記の問題点があった。【００１３】
第２の方法は、正しい位置に検出できなかった特徴点を、正しい位置に補正する方法である。
第２の方法における特徴点の補正の方法として、例えば、特許文献２に開示されている方法がある。特許文献２の方法は、事前に特徴点位置の部分空間の変動分（例えば、正面、右向き及び左向きの３パターン）を生成して、それら部分空間への射影又は逆射影を基に補正後の特徴点位置を得る。【００１４】
また、非特許文献１には、標準的な立体顔形状モデルを回転させたときの補正量を、予め角度ごとにテーブルとして保持しておき、２次元画像中の顔の角度に基づいてテーブル内の適切な補正量を選択する技術が開示されている。【００１５】
なお、特許文献３には、発明を実施するための形態の説明に用いる方法が、記載されている。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特許第４６５３６０６号公報
【特許文献２】特開２０１１−１３８３８８号公報
【特許文献３】特開２０１１−２０９１１６号公報
【非特許文献】
【００１７】
【非特許文献１】高野博幸、金出武雄、山崎彬人、出口光一郎、「多様な顔の向きに対してフェイスアライメントする方法」、MIRU2012 第15回 画像の認識・理解シンポジウム論文集、IS1-66、2012年8月6日
【発明の概要】
【発明が解決しようとする課題】
【００１８】
しかしながら、特許文献２に記載の方法は、部分空間を生成する学習データが必要となる。しかも、特許文献２に記載の方法は、変動のパターン分の部分空間を生成しなければならない。そのため、特許文献２に記載の方法は、細かい角度ごとに特徴点を補正するためには、膨大な学習データが必要であり、多数の部分空間を生成しなければならないという問題点があった。【００１９】
また、非特許文献１に記載の技術は、事前に顔の角度と特徴点の補正量の関係を示すテーブルを生成する必要がある。また、非特許文献１に記載の技術は、補正の対象となる隠れた特徴点に関しても、事前に角度ごとにビジビリティテーブルを生成しておかなくてはならない。また、非特許文献１に記載の技術は、上下方向（ピッチ角）の角度に対する対応や初期値を手動で入力しなければならない。このように、非特許文献１に記載の技術は、事前にテーブル及び初期値を生成する必要があるという問題点があった。【００２０】
本発明の目的は、上記の問題点に鑑み、より精度の高い認証を実現する顔照合装置、方法、及び、記憶媒体を提供することにある。
【課題を解決するための手段】
【００２１】
上記目的を達成するために、本発明の一形態における顔照合装置は、入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、遮蔽特徴点の位置情報を出力する遮蔽特徴点推定手段と、入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、疑似特徴点の位置情報を出力する疑似特徴点推定手段と、遮蔽特徴点の位置情報及び疑似特徴点の位置情報を利用して入力画像の正規化画像を生成し、生成した入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する照合手段とを含む。【００２２】
また、本発明の一形態における顔照合方法は、入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、遮蔽特徴点の位置情報を出力し、入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、疑似特徴点の位置情報を出力し、遮蔽特徴点の位置情報及び疑似特徴点の位置情報を利用して入力画像の正規化画像を生成し、生成した入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する。【００２３】
さらに、本発明の一形態における記憶媒体は、入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、遮蔽特徴点の位置情報を出力する処理と、入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、疑似特徴点の位置情報を出力する処理と、遮蔽特徴点の位置情報及び疑似特徴点の位置情報を利用して入力画像の正規化画像を生成し、生成した入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する処理とをコンピューターに実行させるプログラムを記録する。
【発明の効果】
【００２４】
本発明に基づけば、より精度の高い認証を実現するとの効果を奏することができる。
【図面の簡単な説明】
【００２５】
【図１】図１は、本発明における第一の実施形態に係る顔照合装置の構成の一例を示すブロック図である。
【図２】図２は、第一の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。
【図３】図３は、第一の実施形態に係る顔照合装置における３次元立体形状モデルを、真上から見た３次元空間でのイメージの一例を示す図である。
【図４】図４は、第一の実施形態に係る顔照合装置における３次元立体形状モデルを所定の回転角度で回転させた３次元空間でのイメージの一例を示す図である。
【図５】図５は、第二の実施形態に係る顔照合装置の３次元立体形状モデルを回転角度θで回転させた３次元空間のイメージの一例を示す図である。
【図６】図６は、第二の実施形態に係る顔照合装置の構成の一例を示すブロック図である。
【図７】図７は、第二の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。
【図８】図８は、第三の実施形態に係る顔照合装置の構成の一例を示すブロック図である。
【図９】図９は、第三の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。
【図１０】図１０は、第四の実施形態に係る顔照合装置の構成の一例を示すブロック図である。
【図１１】図１１は、第四の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。
【図１２】図１２は、第一ないし第四の実施形態に係る顔照合装置のハードウェアの構成の一例を示すブロック図である。
【図１３】図１３は、顔輪郭点を例として、本来の特徴点がオクルージョンに基づいて遮蔽された場合、画像上のそれらしい位置を特徴点として誤って検出する例を示す図である。
【発明を実施するための形態】
【００２６】
以下、本発明における実施の形態に係る顔照合装置について、図面を参照して、詳細に説明する。
（第一の実施形態）
次に、本発明における第一の実施形態について、図面を参照して詳細に説明する。
【００２７】
図１は、本発明における第一の実施形態に係る顔照合装置１０の構成の一例を示すブロック図である。
【００２８】
図１に示すように、本実施形態に係る顔照合装置１０は、遮蔽特徴点推定部１１と、疑似特徴点推定部１２と、照合部１３とを含む。
【００２９】
次に、図１に示す顔照合装置１０の各構成を説明する。
【００３０】
遮蔽特徴点推定部１１は、顔の正面ではない２次元画像（以下、「入力画像」と称する）の顔の向きを表す角度情報に基づいて、顔の３次元立体形状モデルと、そのモデル上のモデル特徴点とを回転させる。
【００３１】
そして、遮蔽特徴点推定部１１は、回転後の顔の３次元立体形状モデルとそのモデル上のモデル特徴点の位置情報とを用いて、顔の３次元立体形状モデル上における、入力画像上に写らない顔の特徴点に対応するモデル特徴点を推定する。即ち、遮蔽特徴点推定部１１は、オクルージョンのために遮蔽された入力画像に写らない顔の特徴点が、入力画像上において、本来存在する位置を推定する。そして、遮蔽特徴点推定部１１は、その位置の情報を出力する。
【００３２】
顔の３次元立体形状モデル上における入力画像上に写らない顔の特徴点に対応するモデル特徴点の位置は、後述される遮蔽特徴点が、本来存在する入力画像上の位置と同じ又は近似した位置である。
【００３３】
ここで、特徴点は、顔の部位、例えば、鼻穴、口端、又は、眼尻等に関する点である。また、特徴点の位置情報は、顔の部位の座標値である。勿論、特徴点の位置情報は、位置を推定できるデータであれば、他のデータでもよい。
【００３４】
そして、例えば、顔の正面を横に向けた姿勢で画像を撮った場合の正面の顔における輪郭点若しくは鼻の脇の点、又は、下向きの姿勢で画像を取った場合の顔における顎の特徴点などは、入力画像の奥側に回転される。そのため、上記の特徴点は、オクルージョンの影響を受けて遮蔽され、入力画像上で見えなくなる。本実施形態では、このような遮蔽された特徴点の代わりに、顔の３次元立体形状モデル上に、これらの特徴点が本来ある位置のモデル特徴点を用いて定義される点を推定する。以下、このように遮蔽された特徴点を、「遮蔽特徴点」という。
【００３５】
疑似特徴点推定部１２は、入力画像の顔の角度情報に基づき、回転された顔の３次元立体形状モデルの位置情報を利用して、オクルージョンの影響で入力画像に写らない顔の特徴点として誤って検出される特徴点を推定する。以下、誤って検出される特徴点を、「疑似特徴点」という。
【００３６】
例えば、顔の正面を横に向けた姿勢で画像を撮った場合の正面の顔における輪郭点若しくは鼻の脇の点、又は、下向きの姿勢で画像を取った場合の顔における顎の特徴点などは、入力画像の奥側に回転される。そのため、本来オクルージョンの影響で入力画像に見えないはずの顔の特徴点は、入力画像上で、本来存在する位置とは異なる位置に顔の特徴点として検出される。このように誤って検出される特徴点が、疑似特徴点である。
【００３７】
照合部１３は、遮蔽特徴点推定部１１において推定された遮蔽特徴点の位置情報と、疑似特徴点推定部１２おいて推定された疑似特徴点の位置情報とを受信すると、入力画像と入力画像中の顔の特徴点とを取得する。
【００３８】
そして、照合部１３は、遮蔽特徴点及び疑似特徴点の位置情報、並びに、入力画像における顔及び顔の３次元立体形状モデルのスケールなどの情報に基づいて、入力画像中の顔の特徴点を補正する補正量を算出する。そして、照合部１３は、算出した補正量を用いて、入力画像中の顔の特徴点を補正する。
【００３９】
次に、照合部１３は、補正した入力画像中の顔の特徴点、並びに、顔の３次元立体形状モデル及びそのモデル上に配置されたモデル特徴点を利用して、幾何学的変換パラメータを推定する。そして、照合部１３は、推定した幾何学的変換パラメータを用いて、入力画像の正規化顔画像を生成する。そして、照合部１３は、生成した正規化顔画像を基に、顔の特徴量ベクトルを抽出する。
【００４０】
そして、照合部１３は、照合用の顔の正面の２次元画像（以下は、「照合画像」と称する）を取得する。照合部１３は、取得した照合画像を正規化して、照合画像の正規化顔画像を生成する。次に、照合部１３は、照合画像の正規化画像を基に、顔の特徴量ベクトルを抽出する。
【００４１】
そして、照合部１３は、照合画像の正規化画像を基に抽出した顔の特徴量ベクトルと、入力画像の正規化顔画像を基に抽出した顔の特徴量ベクトルとを照合する。そして、照合部１３は、照合の結果を出力する。
【００４２】
次に、本発明の第一の実施形態に係る顔照合装置の動作を図面に基づいて説明する。
【００４３】
図２は、本発明の第一の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。
【００４４】
先ず、遮蔽特徴点推定部１１は、入力画像の顔の角度情報、並びに、顔の３次元立体形状モデル及びモデル上に存在するモデル特徴点を取得する。そして、遮蔽特徴点推定部１１は、入力画像の顔の角度情報と同じ角度で、顔の３次元立体形状モデル及びモデル上に存在するモデル特徴点を回転させる（ステップＳ１０）。
【００４５】
例えば、入力画像の顔の角度情報が、顔が右向きにθ度（０＜θ＜９０度）回転している場合、遮蔽特徴点推定部１１は、顔の３次元立体形状モデルＭ及びモデル特徴点Ｐｍをθ度だけ右向きに回転させる。
【００４６】
入力画像の顔の角度情報、並びに、顔の３次元立体形状モデル及びモデル上に存在するモデル特徴点は、顔照合装置１０の外部の装置から入力されてもよい。あるいは、顔照合装置１０が、図示しない記憶部を備える。そして、顔照合装置１０は、予め、入力画像の顔の角度情報、並びに、顔の３次元立体形状モデル、及び、モデル上に存在するモデル特徴点を、その記憶部に記憶する。そして、遮蔽特徴点推定部１１が、その記憶部から、上記の情報を取得して、使用してもよい。
【００４７】
また、顔照合装置１０が用いる顔の３次元立体形状モデルは、顔を３次元的に表現できる立体形状モデルであれば、特に制限はない。例えば、顔の３次元立体形状モデルは、画像に写った人物の３次元立体形状モデルでもよい。あるいは、顔の３次元立体形状モデルは、平均的な顔を基とする、３次元立体形状モデルでもよい。
【００４８】
顔照合装置１０は、入力画像中の顔の角度情報を、一般的な手法を用いて、事前に取得しておけばよい。例えば、顔照合装置１０は、特許文献３（特開２０１１−２０９１１６号公報）に記載の方法などを用いればよい。ただし、これは、あくまで一例である。顔照合装置１０は、入力画像中の顔の角度情報を取得することができれば、他の手法を用いてもよい。
【００４９】
図３は、第一の実施形態に係る顔照合装置１０における３次元立体形状モデル（Ｍ）を、真上から見た３次元空間でのイメージの一例を示す図である。
【００５０】
図３において、弧状の実線は、真上から見た状態の顔の３次元立体形状モデルＭを示す。図３に示されている弧状の実線は、顔の正面を真上から見たイメージを示す。弧状の実線上の黒点は、顔の３次元立体形状モデルＭの輪郭上の特徴点を示すモデル特徴点Ｐｍである。図３に示されているモデル特徴点Ｐｍは、顔の特徴点である。図３の下方に示されているカメラは、入力画像を生成する装置である。図３において、カメラは、顔の３次元立体形状モデルＭの正面の位置（奥行Ｚ＝０の位置）を想定している。また、カメラは、視線Ｇの方向の基準となる。
【００５１】
また、図３において、Ｘ（平行方向）とＺ（奥行）とは、破線を用いて示すように３次元空間の座標軸を示す。図３が、真上から見た状態のため、Ｙ（縦方向）軸は、図３に示されていない。
【００５２】
図４は、本発明の第一の実施形態に係る顔照合装置における３次元立体形状モデルＭを回転角度θで回転させた３次元空間でのイメージの一例を示す図である。
【００５３】
図４に示すように、遮蔽特徴点推定部１１は、顔の３次元立体顔形状モデルとそのモデル上の特徴点（モデル特徴点Ｐｍ）とを、入力画像中の顔の角度情報（回転角度θ）を用いて回転させる（ステップＳ１０）。
【００５４】
図４に示す場合、回転後の入力画像中の顔の３次元立体形状モデルは、顔の３次元立体形状モデルＭｒに相当する。また、回転後の入力画像中の顔の特徴点は、モデル特徴点Ｐｍｒに相当する。
【００５５】
ここで、回転後のモデル特徴点Ｐｍｒを通る視線Ｌと、モデル特徴点Ｐｍｒよりカメラ側に近い位置で回転後の顔の３次元立体形状モデルＭｒとが、交点Ｐｍｒ'で交差するとする。この場合、遮蔽特徴点推定部１１は、交点Ｐｍｒ'を、遮蔽特徴点Ｐｍｒ'として推定する。そして、遮蔽特徴点推定部１１は、推定した遮蔽特徴点Ｐｍｒ'の位置情報を出力する（ステップＳ１１）。
【００５６】
なお、回転させた３次元立体形状モデルを奥行方向（Ｚ方向）へ正射影することも、可能である。奥行方向への正射影の場合、遮蔽特徴点推定部１１は、回転させたモデル特徴点Ｐｍｒを含む奥行方向（Ｚ方向）に平行な直線（視線）Ｌと、回転後の顔の３次元立体形状モデルＭｒとの交点Ｐｍｒ'を用いる。すなわち、遮蔽特徴点推定部１１は、回転後のモデル特徴点Ｐｍｒよりカメラ側に近い位置で交点Ｐｍｒ'を持つ場合、交点Ｐｍｒ'を遮蔽特徴点Ｐｍｒ'として推定してもよい。
【００５７】
次に、疑似特徴点推定部１２は、遮蔽特徴点Ｐｍｒ'が入力画像上において検出されると想定される点（疑似特徴点）を推定する（ステップＳ１２）。
【００５８】
即ち、疑似特徴点推定部１２は、入力画像の顔の角度情報に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点（疑似特徴点）を推定する。そして、疑似特徴点推定部１２は、疑似特徴点の位置情報を出力する。
【００５９】
疑似特徴点は、既に説明したとおり、本来オクルージョンの影響で入力画像に見えないはずの顔の特徴点が入力画像上で顔の特徴点として誤って検出される特徴点である。疑似特徴点は、例えば、顔の正面を横に向けた姿勢で画像を撮った場合の正面の顔における輪郭点若しくは鼻の脇の点、又は、下向きの姿勢で画像を取った場合の顔における顎の特徴点などである。
【００６０】
図５に示すように、回転させた３次元立体形状モデルを奥行方向（Ｚ方向）へ正射影を仮定する。そして、疑似特徴点推定部１２は、回転させた３次元立体形状モデルＭｒを奥行方向（Ｚ方向）に正射影する。この正射影を基に、疑似特徴点推定部１２は、視線Ｌを移動して、モデル特徴点Ｐｍｒより顔の外側において、３次元立体形状モデルＭｒと接する場合の接点Ｐｆを、疑似特徴点Ｐｆとして、推定する。そして、疑似特徴点推定部１２は、疑似特徴点Ｐｆの位置情報を出力する。
【００６１】
また、例えば、顔輪郭点を想定する場合、顔輪郭点は、顔と背景の境界線Ｑにおいて検出されると考えられる。そのため、疑似特徴点推定部１２は、入力画像中の顔の角度に合わせて回転された顔の３次元立体形状モデルＭｒを視点（カメラ）から見たときに、顔の３次元立体形状モデルＭｒと背景との境界線Ｑに対応する点Ｐｆを、疑似特徴点Ｐｆとして推定してもよい。そして、疑似特徴点推定部１２は、推定した疑似特徴点Ｐｆの位置情報を出力してもよい。
【００６２】
３次元立体形状モデルと背景との境界点を疑似特徴点として推定する場合、疑似特徴点推定部１２は、モデル特徴点Ｐｍｒよりカメラに近い（Ｚが小さい）位置において、最も顔の外側に位置する点Ｐｆを疑似特徴点Ｐｆとして推定する。そして、疑似特徴点推定部１２は、推定した疑似特徴点Ｐｆの位置情報を出力する。
【００６３】
次に、照合部１３は、入力画像の正規化画像の顔の特徴量ベクトルと、照合画像の正規化画像の顔の特徴量ベクトルとを抽出する。そして、照合部１３は、抽出した２つの顔の特徴量ベクトルを照合する。そして、照合部１３は、照合の結果を出力する（ステップＳ１３）。
【００６４】
即ち、照合部１３は、遮蔽特徴点Ｐｍｒ'と疑似特徴点Ｐｆとの位置情報を受信すると、入力画像と入力画像中の顔の特徴点とを取得する。ここで、照合部１３の取得方法は、特制限はない。例えば、照合部１３は、図示しない外部の装置から取得してもよい。あるいは、顔照合装置１０が図示しない記憶部を備える。そして、顔照合装置１０は、予め、入力画像と入力画像中の顔の特徴点とをその記憶部に記憶する。そして、照合部１３が、その記憶部から、上記の情報を取得してもよい。
【００６５】
続いて、照合部１３は、遮蔽特徴点Ｐｍｒ'及び疑似特徴点Ｐｆの位置情報、並びに、取得した入力画像の顔及び顔の３次元立体形状モデルとのスケール情報に基づいて、入力画像中の顔の特徴点を補正する補正量を算出する。そして、照合部１３は、入力画像中の顔の特徴点を補正する。
【００６６】
ここで求める補正量は、図５に示す疑似特徴点Ｐｆを、遮蔽特徴点Ｐｍｒ'に補正する補正量を基準として、入力画像中の顔の特徴点を本来の特徴点に補正する補正量である。
【００６７】
即ち、照合部１３は、取得した入力画像の顔と顔の３次元立体形状モデルＭとの比較を基に、顔の３次元立体形状モデルＭと入力画像中の顔とのスケールの差を求める。続いて、照合部１３は、回転させた３次元立体形状モデルＭｒ上の遮蔽特徴点Ｐｍｒ'と疑似特徴点Ｐｆとの位置情報の差分に、スケール差を乗じた値を、補正量とする。
【００６８】
本実施形態では、入力画像内には、Ｚ軸が、存在しない。そのため、ここで求める補正量は、疑似特徴点Ｐｆと、モデル特徴点Ｐｍｒが入力画像中に本来存在する遮蔽特徴点Ｐｍｒ'とのＸ座標上のずれの補正量である。そのため、照合部１３は、遮蔽特徴点Ｐｍｒ'と疑似特徴点ＰｆとのＸ軸上でのずれに基づいて、遮蔽特徴点Ｐｍｒ'の位置を補正する補正量を算出する。
【００６９】
具体的には、照合部１３は、補正量として、遮蔽特徴点Ｐｍｒ'と疑似特徴点Ｐｆとの２点のＸ座標の差分値に基づいて、顔の３次元立体形状モデルＭｒと入力画像中とにおけるスケールの違いに応じた倍率（スケール倍した量）を、補正量とすればよい。
【００７０】
ここまでの説明では、Ｘ方向の補正について説明したが、照合部１３は、Ｙ方向の補正量についても、同様に、ステップＳ１０からステップＳ１２までの一連の処理で用いて算出できる。
【００７１】
照合部１３は、算出した補正量に基づいて、入力画像中の顔の特徴点を補正する。
【００７２】
次に、照合部１３は、補正した特徴点を含む入力画像の顔の特徴点、並びに、顔の３次元立体形状モデル及びそのモデル上に配置されたモデル特徴点Ｐｍｒを利用して、幾何学的変換パラメータを推定する。そして、照合部１３は、推定した幾何学的変換パラメータを用いて、入力画像の正規化顔画像を生成する。
【００７３】
具体的には、照合部１３は、まず、補正した入力画像中の顔の特徴点「Ｐｉ＝(ｕ，ｖ)」とモデル特徴点「Ｐｍ＝(Ｘ，Ｙ，Ｚ)」との間の透視投影変換パラメータを推定する。ここで、Ｐｉは、２次元画像にある補正した顔の特徴点を意味する。また、ｕは、２次元座標の横軸を意味し、ｖは、２次元座標の縦軸を意味する。なお、照合部１３は、透視投影変換パラメータを、非線形最適化手法を用いて推定してもよいし、線形近似した線形最小二乗法を用いて推定してもよい。
【００７４】
そして、照合部１３は、推定した透視投影変換パラメータを用いて、顔の３次元立体形状モデルが２次元画像上に投影される位置を計算する。
【００７５】
照合部１３は、上記の計算結果を基に、顔の３次元立体形状モデルに、２次元画像上の色情報を貼り付けることができる。そして、照合部１３は、貼り付けた色情報を含む顔の３次元立体形状モデルを基に、顔の角度又は大きさを正規化した２次元顔画像を生成する。
【００７６】
続いて、照合部１３は、正規化した入力画像の顔の特徴量ベクトルを抽出する。照合部１３は、特徴量ベクトルの抽出に、一般的なGabor特徴又はLBP(Local Binary Pattern)などを利用すればよい。照合部１３が用いる手法は、特徴量ベクトルを抽出できる手法であれば、特に制限はない。
【００７７】
そして、照合部１３は、照合画像を取得し、取得した照合画像に対して同様の処理を適用して、照合画像の特徴ベクトルを抽出する。そして、照合部１３は、抽出した正規化画像における顔の特徴量ベクトルと、入力画像における顔の特徴量ベクトルとを照合する。そして、照合部１３は、照合結果を出力する。
【００７８】
本実施形態は、入力画像及び照合画像を、図示しない外部の装置から取得してもよい。あるいは、本実施形態は、顔照合装置１０に図示しない記憶部を備えてもよい。その場合、本実施形態は、予め、入力画像及び照合画像、又は、照合画像に対して正規化処理を適用して得られた正規化画像の顔の特徴量ベクトルを記憶部に記憶してもよい。そして、照合部１３は、記憶部から、上記の画像又は特徴量ベクトルなどの情報を取得して、使用してもよい。
【００７９】
ここまで説明した動作を終了すると、第一の実施形態に係る顔照合装置１０は、動作を終了する。
【００８０】
本発明の第一の実施形態は、顔の角度や補正量に関するテーブルを事前に生成する必要ないとの効果を奏する。その理由は、遮蔽特徴点推定部１１が、オクルージョンの影響で遮蔽された遮蔽特徴点の位置を推定する。また、疑似遮蔽特徴点推定部１２が、誤って検出される疑似特徴点を推定する。そして、照合部１３が、特徴点の補正量を算出し、特徴点を補正し、正規化後の特徴量ベクトルを基に入力画像と照合画像を照合するためである。また、第一の実施形態は、オクルージョンの影響で正しい位置に検出できない特徴点について、より正確な位置に補正し、入力画像の正規化画像を生成し、正規化画像の顔の特徴量ベクトルを利用して、照合画像と照合する。そのため、第一の実施形態は、より精度の高い認証を実現するとの効果を奏することができる。
（第二の実施形態）
本発明の第二の実施形態に係る顔照合装置２０について説明する。
【００８１】
図６は、第二の実施形態に係る顔照合装置２０の構成の一例を示すブロック図である。
【００８２】
図６に示すように、第二の実施形態に係る顔照合装置２０の照合部２６は、第一の実施形態に係る顔照合装置１０の照合部１３と異なり、照合機能を担当する。第二の実施形態は、補正量算出、特徴点補正、及び、正規化画像の生成の機能を、それぞれ、補正量算出部２３、特徴点補正部２４、及び、正規化部２５に分担させる。なお、補正量算出部２３と、特徴点補正部２４と、正規化部２５との処理の内容及び処理方法は、第一の実施形態に係る顔照合装置１０の照合部１３における機能と同じである。
【００８３】
本実施形態の顔照合装置２０は、さらに、記憶部２７を含む。記憶部２７は、予め、入力画像と、顔の３次元立体形状モデル上に配置されたモデル特徴点と、照合画像又は照合画像を正規化して正規化した照合画像の顔の特徴量ベクトルとを記憶する。第二の実施形態における上記以外の構成及び処理は、第一の実施形態と同様である。例えば、遮蔽特徴点推定部２１及び疑似特徴点推定部２２は、第一の実施形態における遮蔽特徴点推定部１１及び疑似特徴点推定部１２と同様である。
【００８４】
図７は、第二の実施形態に係る顔照合装置の動作の一例を示すフローチャートである。
【００８５】
図７に示すように、本実施形態に係る顔照合装置２０の遮蔽特徴点推定部２１は、入力画像と、顔の３次元立体形状モデル上に配置されたモデル特徴点を記憶部２７から取得する。それ以外の遮蔽特徴点推定部２１及び疑似特徴点推定部２２の処理は、第一の実施形態に係る顔照合装置の遮蔽特徴点推定部１１と疑似特徴点推定部１２と同じ処理を行うため、ここで詳細な説明を省略する（ステップＳ２１〜Ｓ２２）。
【００８６】
次に、補正量算出部２３は、入力画像の顔の特徴点を補正する補正値を算出する。その処理は、第一の実施形態に係る顔照合装置の照合部１３の補正値算出処理と同じであるため、ここで詳細な説明を省略する（ステップＳ２３）。
【００８７】
続いて、特徴点補正部２４は、補正量算出部２３から補正値を受け取り、入力画像の顔の特徴点を補正し、補正した特徴点を含む入力画像の顔の特徴点を出力する。特徴点補正部２４における補正処理は、第一の実施形態に係る顔照合装置の照合部１３の補正処理と同じである。そのため、ここでは、詳細な処理の説明を省略する（ステップＳ２４）。
【００８８】
次に、正規化部２５は、補正した遮蔽特徴点を含む入力画像の顔の特徴点を受け取り、入力画像の正規化を基に正規化画像を生成し、生成した正規化画像を出力する。正規化部２５における正規化処理は、第一の実施形態に係る顔照合装置の照合部１３の正規化処理と同じである。そのため、ここでは、詳細な処理の説明を省略する（ステップＳ２５）。
【００８９】
続いて、照合部２６は、入力画像の正規化画像から顔の特徴量ベクトルを抽出し、抽出した顔の特徴量ベクトルと、照合画像を正規化して生成した照合画像の正規化画像の顔の特徴量ベクトルとを照合する。そして、照合部２６は、照合結果を出力する。照合部２６における照合処理は、第一の実施形態に係る顔照合装置の照合部１３の照合処理と同じである。そのため、ここでは、詳細な処理の説明を省略する（ステップＳ２６）。
【００９０】
上記の処理をもって、第二の実施形態に係る顔照合装置２０は、動作（処理）を終了する。
【００９１】
第二の実施形態は、記憶部２７をさらに含む。また、第二の実施形態は、第一の実施形態に係る照合部１３における補正量算出、特徴点補正、及び、正規化画像の生成の機能を、それぞれ、補正量算出部２３、特徴点補正部２４、及び、正規化部２５に分担させる。そのため、複数の画像を処理する場合、補正量算出部２３、特徴点補正部２４、及び、正規化部２５は、それぞれの処理を並列に実行できる。つまり、第二の実施形態は、パイプライン処理を実現できる。このように、第二の実施形態は、複数の画像を処理する場合の処理の速度を高めることができる。なお、補正量算出部２３、特徴点補正部２４、及び、正規化部２５は、上記の動作を実現するために、図示しない記憶部（バッファ等）を含んでもよい。
（第三の実施形態）
本発明の第三の実施形態に係る顔照合装置３０について説明する。
【００９２】
図８は、第三の実施形態に係る顔照合装置３０の構成の一例を示すブロック図である。
【００９３】
図８に示すように、第三の実施形態に係る顔照合装置３０は、第二の実施形態の構成に加え、さらに、角度推定部３１を含む。角度推定部３１以外の構成、すなわち、遮蔽特徴点推定部３２、疑似特徴点推定部３３、補正量算出部３４、特徴点補正部３５、正規化部３６、及び、照合部３７の構成及び処理は、第二の実施形態における構成及び処置と同様である。個別に説明すると、次のとおりである。遮蔽特徴点推定部３２は、遮蔽特徴点推定部２１と同様である。疑似特徴点推定部３３は、疑似特徴点推定部２２と同様である。補正量算出部３４は、補正量算出部２３と同様である。特徴点補正部３５は、特徴点補正部２４と同様である。正規化部３６は、正規化部２５と同様である。照合部３７は、照合部２６と同様である。
【００９４】
図９は、第三の実施形態に係る顔照合装置３０の動作の一例を示すフローチャートである。
【００９５】
本実施形態に係る顔照合装置３０の角度推定部３１は、入力画像中の顔の特徴点と、顔の３次元立体形状モデル上に配置されたモデル特徴点とを利用して、入力画像中の顔の角度を推定する。角度推定部３１は、入力画像中の顔の特徴点と、顔の３次元立体形状モデル上に配置されたモデル特徴点とを、図示しない外部の装置から取得してもよい。あるいは、第三の実施形態の記憶部３８が、予め、これらの情報を記憶していてもよい。
【００９６】
より具体的には、角度推定部３１は、入力画像中の顔の特徴点「Ｐｉ＝(ｕ，ｖ)」と、モデル特徴点「Ｐｍ＝(Ｘ，Ｙ，Ｚ)」との間の透視投影変換パラメータを推定する。なお、第一の実施形態と同様に、Ｐｉは、２次元画像にある顔の特徴点を意味する。また、ｕは、２次元座標の横軸を意味し、ｖは、２次元座標の縦軸を意味する。角度推定部３１は、推定した透視投影変換パラメータを表す行列を、直交行列Ｑと上三角行列Ｒとに分解（ＱＲ分解）する。角度推定部３１は、ＱＲ分解して得た行列（カメラ外部パラメータの回転行列に相当）を、さらに分解する。角度推定部３１は、上記の分解処理を基に、Ｘ軸に関する顔の上下回転角度（ピッチ角）と、Ｙ軸に関する顔の左右回転角度（ヨー角）とを算出する。そして、角度推定部３１は、算出した角度を基に、入力画像の顔の角度情報を推定する。
【００９７】
なお、角度推定部３１は、透視投影変換パラメータを、非線形最適化手法を用いて推定してもよい。あるいは、角度推定部３１は、線形近似を想定し、線形最小二乗法を用いて、透視投影変換パラメータを推定してもよい。
【００９８】
角度推定部３１は、算出した入力画像中の顔の角度情報を遮蔽特徴点推定部３２に送信する（ステップＳ３１）。
【００９９】
以降の処理（ステップＳ３２〜Ｓ３５）は、それぞれ、第二の実施形態の処理（ステップＳ２１〜Ｓ２４）と同じ処理のため、詳細な説明を省略する。
【０１００】
そして、角度推定部３１は、特徴点補正部３５から補正した特徴点を含む顔の特徴点を取得し、補正された顔の特徴点と顔の３次元立体形状モデル上に配置されたモデル特徴点とを基に、入力画像中の顔の角度を再推定する。
【０１０１】
第三の実施形態は、上記のステップＳ３２乃至ステップＳ３５の処理を繰り返す。そして、第三の実施形態は、特徴点補正部３５からの遮蔽特徴点の補正値が一定値以下、又は、繰り返し回数が所定の回数以上となった場合に、繰り返し処理を終了する。
【０１０２】
角度推定部３１は、特徴点補正部３５が最終的に補正した特徴点を含む顔の特徴点と顔の３次元立体形状モデル上に配置されたモデル特徴点とを基に、入力画像中の顔の角度情報を推定する。そして、角度推定部３１は、推定した入力画像中の顔の角度情報を、遮蔽特徴点推定部３２に出力する。
【０１０３】
以降、第三の実施形態は、第二の実施形態と同様の処理を実行し、実行後、処理を終了する。
【０１０４】
本実施形態は、事前に入力画像中の顔の角度情報を取得しなくても、入力画像中の顔の特徴点の情報を用いて入力画像中の顔の角度情報を推定することが可能である。その理由は、角度推定部３１が、入力画像中の顔の角度情報を推定するためである。
（第四の実施形態）
本発明の第四の実施形態に係る顔照合装置４０について説明する。
【０１０５】
図１０は、第四の実施形態に係る顔照合装置４０の構成の一例を示すブロック図である。
【０１０６】
図１０に示すように、第四の実施形態に係る顔照合装置４０は、第三の実施形態の構成に加え、さらに、特徴点検出部４１を含む。特徴点検出部４１以外の構成、すなわち、角度推定部４２、遮蔽特徴点推定部４３、疑似特徴点推定部４４、補正量算出部４５、特徴点補正部４６、正規化部４７、及び、照合部４８の構成及び処理は、第三の実施形態の構成及び処理と同様である。個別に説明すると、次のとおりである。角度推定部４２は、角度推定部３１と同様である。遮蔽特徴点推定部４３は、遮蔽特徴点推定部３２と同様である。疑似特徴点推定部４４は、疑似特徴点推定部３３と同様である。補正量算出部４５は、補正量算出部３４と同様である。特徴点補正部４６は、特徴点補正部３５と同様である。正規化部４７は、正規化部３６と同様である。照合部４８は、照合部３７と同様である。
【０１０７】
図１１は、第四の実施形態に係る顔照合装置４０の動作の一例を示すフローチャートである。
【０１０８】
本実施形態では、図１１に示すように、特徴点検出部４１は、入力画像に存在する顔と、その顔内部に存在する顔の特徴点とを検出する（ステップＳ４１）。なお、第四の実施形態は、入力画像を、図示しない外部の装置から取得してもよい。あるいは、第四の実施形態は、予め、記憶部４９に、上記の情報を記憶していてもよい。
【０１０９】
なお、顔照合装置４０は、検出する入力画像中の顔の特徴点に合わせて、モデル特徴点を設定してもよい。ここで、入力画像中から顔及び顔の特徴点を検出する手法は、任意であり、一般的なアルゴリズムを利用してもよい。例えば、顔照合装置４０は、顔検出に一般的に用いられているHaar-Like特徴量と、機械学習アルゴリズムであるAdaBoost（Adaptive Boosting）とを利用した顔検出アルゴリズムを用いてもよい。
【０１１０】
特徴点検出部４１において検出された顔の特徴点は、記憶部４９に記憶する顔の３次元立体形状モデル上に配置されたモデル特徴点と同じ位置の特徴点である。
【０１１１】
なお、入力画像及び顔の３次元立体形状モデル上に配置されたモデル特徴点は、予め、記憶部４９に記憶されていてもよい。あるいは、これらの情報は、図示しない外部の装置から取得されてもよい。
【０１１２】
続くステップＳ４２からＳ４７は、第三の実施形態と同様である。より詳細には、顔の角度の推定（ステップＳ４２）、遮蔽特徴点の推定（ステップＳ４３）、疑似特徴点の推定（ステップＳ４４）、補正量の算出（ステップＳ４５）、特徴点の補正（ステップＳ４６）、及び、正規化（ステップＳ４７）の処理は、同様である。これらの処理は、第三の実施形態の処理（ステップＳ３１及びＳ３６）と同様の処理である。そのため、詳細な説明を省略する。
【０１１３】
次に、照合部４８は、正規化部４７から、生成され正規化された２次元顔画像を受け取り、正規化画像の顔の特徴量ベクトルを抽出する。そして、照合部４８は、照合画像に対して同様の処理を用いて得られた、又は、記憶部４９に予め記憶された照合画像の顔の特徴量ベクトルと、正規化画像の顔の特徴量ベクトルとを照合する。そして、照合部４８は、照合結果を出力する（ステップＳ４８）。
【０１１４】
この処理をもって、第四の実施形態に係る顔照合装置４０は、動作を終了する。
【０１１５】
本実施形態は、事前に入力画像に存在する顔とその顔内部に存在する顔の特徴点を取得しなくても、入力画像を用いて入力画像中の顔の特徴点を検出するとの効果を奏することが可能となる。その理由は、特徴点検出部４１が、特徴点を検出するためである。
【０１１６】
（ハードウェア構成）
次に、上述した各実施形態に係る顔認証装置１０ないし４０のハードウェアの構成について、図面を参照して、説明する。
【０１１７】
上述した各実施形態において、各フローチャートを参照して説明した処理は、コンピューターを用いて、実現することができる。
【０１１８】
コンピューターを用いる場合、顔照合装置１０ないし４０が含む機能の処理内容を記述したプログラムが、顔認証装置１０ないし４０に提供される。
【０１１９】
図１２は、本発明の第一ないし第四の実施形態に係る顔照合装置１０ないし４０のハードウェアの構成の一例を示すブロック図である。
【０１２０】
図１２に示すように、顔照合装置１０ないし４０は、ＣＰＵ（Central Processing Unit）８０１を含むコンピューターとして、上記の説明における各機能を実現する。そのため、ＣＰＵ８０１は、ＲＯＭ（Read Only Memory）８０３、又は、記憶装置８０４（ＨＤＤ： Hard Disk Drive）に記憶されたコンピューター・プログラムを、ＲＡＭ（Random Access Memory）８０２に読み込んで実行する。そして、この様な動作において、図１２に示すコンピューターは、外部機器接続インタフェース８０５、又は、ネットワークインタフェース８０６を介して受信しデータを処理する。
【０１２１】
また、上記の処理内容を記述したプログラムは、コンピューターで読み取り可能な不揮発な記録媒体に、記録されてもよい。コンピューターで読み取り可能な記録媒体は、例えば、磁気記録装置、光ディスク、光磁気記録媒体、又は、半導体メモリである。
【０１２２】
上記プログラムを流通させる場合、例えば、そのプログラムが記録されたＤＶＤ、又は、ＣＤ−ＲＯＭなどの可搬型記録媒体が、販売される。また、プログラムの流通は、プログラムをサーバコンピューターに格納しておき、ネットワークを通じて、サーバコンピューターから他のコンピューターにそのプログラムを転送することを用いても実現できる。
【０１２３】
上記プログラムを実行するコンピューターは、例えば、可搬型記録媒体に記録されたプログラム又はサーバコンピューターから転送されたプログラムを、自己の記憶装置に格納する。
【０１２４】
そして、コンピューターは、自己の記憶装置からプログラムを読み出し、プログラムに基づいた処理を実行する。なお、コンピューターは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに基づいて、処理を実行してよい。
【０１２５】
また、コンピューターは、サーバコンピューターからプログラムが転送されるごとに、受け取ったプログラムに基づいた処理を実行してもよい。
【０１２６】
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１２７】
この出願は、２０１４年  ３月２８日に出願された日本出願特願２０１４−０６７５９８を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【０１２８】
上記の実施形態の一部又は全部は、以下の付記のように記載されうるが、以下には限られない。
（付記１）
（付記１）
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する遮蔽特徴点推定手段と、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する疑似特徴点推定手段と、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する照合手段と
を含む顔照合装置。
【０１２９】
（付記２）
前記照合画像の取得に代えて、前記第２の顔の特徴量ベクトルを取得する
付記１に記載の顔照合装置。
【０１３０】
（付記３）
前記遮蔽特徴点推定手段が、
前記入力画像中の顔の角度情報と同じ角度を用いて前記顔の３次元立体形状モデル及びその上に配置されるモデル特徴点を回転させ、回転後のモデル特徴点を通る視線と回転後の顔の３次元立体形状モデルとが、前記回転後のモデル特徴点より撮影装置に近い位置で交点を持つ場合、その交点を遮蔽特徴点として推定する
付記１又は２に記載の顔照合装置。
【０１３１】
（付記４）
前記遮蔽特徴点推定手段が、
前記顔の３次元立体形状モデルを正射影する場合において、前記入力画像中の顔の角度情報と同じ角度で回転させたモデル特徴点を通って奥行方向であるＺ方向に平行な直線と、回転後の顔の３次元立体形状モデルとが、前記回転後のモデル特徴点より撮影装置に近い位置で交点を持つ場合、その交点を遮蔽特徴点として推定する
付記１ないし３のいずれか１項に記載の顔照合装置。
【０１３２】
（付記５）
前記照合手段が、
前記遮蔽特徴点と前記疑似特徴点との位置情報の差に、前記入力画像中の顔と前記回転後の顔の３次元立体形状モデルとのスケールの違い分の値を乗じた量を、補正量として用いて、前記入力画像中の顔の特徴点の位置情報を補正する
付記１ないし４のいずれか１項に記載の顔照合装置。
【０１３３】
（付記６）
前記照合手段が、
少なくとも、前記遮蔽特徴点と前記疑似特徴点との水平方向であるＸ方向の座標値の差に、前記入力画像中の顔と前記回転後の顔の３次元立体形状モデルとのスケールの違い分の値を掛け合わせ倍率であるスケール倍した量を、補正量とする
付記１ないし５のいずれか１項に記載の顔照合装置。
【０１３４】
（付記７）
記憶手段をさらに含み、
前記記憶手段が、予め、前記入力画像、顔の３次元立体形状モデル、及び、その上に配置されたモデル特徴点、照合画像又は照合画像の正規化画像の顔の特徴量ベクトルを、記憶する
付記１ないし６のいずれか１項に記載の顔照合装置。
【０１３５】
（付記８）
前記入力画像中の顔の特徴点に基づいて、前記入力画像中の顔の角度を算出する角度推定手段をさらに含む付記１ないし６のいずれか１項に記載の顔照合装置。
【０１３６】
（付記９）
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力し、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力し、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する
顔照合方法。
【０１３７】
（付記１０）
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する処理と、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する処理と、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する処理と
をコンピューターに実行させるプログラム。
【０１３８】
（付記１１）
入力画像中の顔の角度と、顔の３次元立体形状モデル及びその上に配置されたモデル特徴点とを基に、前記入力画像上で見えない顔の特徴点である遮蔽特徴点を推定し、前記遮蔽特徴点の位置情報を出力する処理と、
前記入力画像の顔の角度に基づいて回転された顔の３次元立体形状モデルの位置情報を利用し、オクルージョンの影響で入力画像に写らない顔の特徴点が誤って検出される特徴点である疑似特徴点を推定し、前記疑似特徴点の位置情報を出力する処理と、
前記遮蔽特徴点の位置情報及び前記疑似特徴点の位置情報を利用して前記入力画像の正規化画像を生成し、生成した前記入力画像の正規化画像から第１の顔の特徴量ベクトルを抽出し、取得した照合画像の正規化画像を生成し、生成した照合画像の正規化画像から第２の顔の特徴量ベクトルを抽出し、第１の顔の特徴量ベクトルと第２の顔の特徴量ベクトルとを照合する処理と
をコンピューターに実行させるプログラムが記録された記録媒体。
【産業上の利用可能性】
【０１３９】
本発明の顔照合装置は、例えば、顔認証技術を搭載する個人認証システム、又は、端末等の電子機器に、適用可能である。
【符号の説明】
【０１４０】
１０、２０、３０、４０    顔照合装置
１１、２１、３２、４３    遮蔽特徴点推定部
１２、２２、３３、４４    疑似特徴点推定部
１３、２６、３７、４８    照合部
２３、３４、４５    補正量算出部
２４、３５、４６    特徴点補正部
２５、３６、４７    正規化部
２７、３８、４９    記憶部
３１、４２    角度推定部
４１    特徴点検出部
１００    顔の画像
２００    顔の画像
３００    顔の画像
８０１    ＣＰＵ
８０２    ＲＡＭ
８０３    ＲＯＭ
８０４    記憶装置
８０５    外部機器接続インタフェース
８０６    ネットワークインタフェース
【図１】
0006528764.tif 000002
【図２】
0006528764.tif 000003
【図３】
0006528764.tif 000004
【図４】
0006528764.tif 000005
【図５】
0006528764.tif 000006
【図６】
0006528764.tif 000007
【図７】
0006528764.tif 000008
【図８】
0006528764.tif 000009
【図９】
0006528764.tif 000010
【図１０】
0006528764.tif 000011
【図１１】
0006528764.tif 000012
【図１２】
0006528764.tif 000013
【図１３】
0006528764.tif 000014