(57)【要約】【課題】  人物の同一性を認証するに際して、人物の姿勢の相違の影響を軽減し、高精度の認証を行うことが可能な認証技術を提供する。【解決手段】  認証システムは、認証対象者の顔に関するテクスチャ情報（第１テクスチャ情報）および３次元情報を取得し、また、比較対象者の顔に関するテクスチャ情報（第２テクスチャ情報）を取得する。第１テクスチャ情報は、個別モデル（立体モデル）ＭＤｂを用いて変換される。そして、認証システムは、互いに同じ視点による第１テクスチャ情報と第２テクスチャ情報とを比較することによって、比較対象者と認証対象者との同一性を判定する。【選択図】図１１
2007164498.tif 000002
【特許請求の範囲】
【請求項１】
認証対象者に関する認証動作を行う認証システムであって、
認証対象者の顔に関するテクスチャ情報および３次元情報を取得する第１取得手段と、
前記認証対象者の顔に関する立体モデルである第１立体モデルを、前記３次元情報に基づいて生成する生成手段と、
前記第１立体モデルを用いて、前記認証対象者の顔に関するテクスチャ情報である第１テクスチャ情報を変換する変換手段と、
比較対象者の顔に関するテクスチャ情報である第２テクスチャ情報を取得する第２取得手段と、
互いに同じ視点による前記第１テクスチャ情報と前記第２テクスチャ情報とを比較することによって、比較対象者と認証対象者との同一性を判定する判定手段と、
を備えることを特徴とする認証システム。
【請求項２】
請求項１に記載の認証システムにおいて、
前記変換手段は、前記第１立体モデルの各代表点と人物の顔の標準的な立体モデルである標準モデルの各代表点との対応関係に基づいて、前記第１立体モデルの複数の代表点をそれぞれ前記標準モデルの対応代表点の投影先の点と同一の位置に投影し、前記複数の代表点によって構成されるパッチに対応したテクスチャ情報を投影面上に割り付けることを特徴とする認証システム。
【請求項３】
請求項２に記載の認証システムにおいて、
前記変換手段は、前記標準モデルの周囲に配置される所定の投影面に前記第１立体モデルのテクスチャ情報を割り付けることを特徴とする認証システム。  
【請求項４】
請求項３に記載の認証システムにおいて、
前記所定の投影面は、円筒面であることを特徴とする認証システム。
【請求項５】
請求項３に記載の認証システムにおいて、
前記所定の投影面は、球面であることを特徴とする認証システム。  
【請求項６】
請求項１または請求項２に記載の認証システムにおいて、
前記変換手段は、前記第１立体モデルに含まれるパッチを複数のグループに分類し、分類後のグループごとに設定した投影面に、そのグループにおける各パッチに対応したテクスチャ情報を割り付けることを特徴とする認証システム。
【請求項７】
請求項１から請求項６のいずれかに記載の認証システムにおいて、
前記変換手段は、前記第１立体モデル上での各パッチの面積が投影後の投影面上での各パッチの面積と同じになるように、前記第１立体モデルの各パッチを前記投影面にマッピングすることを特徴とする認証システム。
【請求項８】
請求項１から請求項７のいずれかに記載の認証システムにおいて、
前記判定手段は、前記比較対象者の顔に関する前記第２テクスチャ情報から抽出された特徴量と、変換後の前記第１テクスチャ情報から抽出された特徴量とを比較することによって、比較対象者と認証対象者との同一性を判定することを特徴とする認証システム。
【請求項９】
認証対象者に関する認証動作を行う認証方法であって、
認証対象者の顔に関するテクスチャ情報および３次元情報を取得する工程と、
前記認証対象者の顔に関する立体モデルである第１立体モデルを、前記３次元情報に基づいて生成する工程と、
前記第１立体モデルを用いて、前記認証対象者の顔に関するテクスチャ情報である第１テクスチャ情報を変換する工程と、
比較対象者の顔に関するテクスチャ情報である第２テクスチャ情報を取得する工程と、
互いに同じ視点による前記第１テクスチャ情報と前記第２テクスチャ情報とを比較することによって、比較対象者と認証対象者との同一性を判定する工程と、
を備えることを特徴とする認証方法。
【請求項１０】
コンピュータに、認証対象者に関する認証動作を行う認証方法を実行させるためのプログラムであって、前記コンピュータに、
認証対象者の顔に関するテクスチャ情報および３次元情報を取得する手順と、
前記認証対象者の顔に関する立体モデルである第１立体モデルを、前記３次元情報に基づいて生成する手順と、
前記第１立体モデルを用いて、前記認証対象者の顔に関するテクスチャ情報である第１テクスチャ情報を変換する手順と、
比較対象者の顔に関するテクスチャ情報である第２テクスチャ情報を取得する手順と、
互いに同じ視点による前記第１テクスチャ情報と前記第２テクスチャ情報とを比較することによって、比較対象者と認証対象者との同一性を判定する手順と、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の認証技術に関する。
【背景技術】
【０００２】
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
【０００３】
このような認証技術としては、予め登録された登録画像と認証対象物を撮影した撮影画像とをそれぞれ平面情報（「テクスチャ情報」あるいは「２次元情報」）としてのみ取得しておき、単純に両画像の平面情報を比較することによって、登録画像内の人物と撮影画像内の人物とが同一人物であるか否かを判定することが行われる（例えば、非特許文献１参照）。
【０００４】
【非特許文献１】ダデット・プラマディハント、呉海元、谷内田正彦、「多様な姿勢を有する入力顔画像からの個人識別」、電子情報通信学会論文誌、D-II、１９９７年８月、Vol.J80-D-II、No.８、pp.2232-2238
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記のような比較技術においては、比較の対象となる両画像における人物の姿勢（向き）が同一でない場合には、高精度の認証を行うことができないという問題がある。
【０００６】
そこで、この発明の課題は、人物の同一性を認証するに際して、人物の姿勢の相違の影響を軽減し、高精度の認証を行うことが可能な認証技術を提供することにある。
【課題を解決するための手段】
【０００７】
上記課題を解決すべく、請求項１の発明は、認証対象者に関する認証動作を行う認証システムであって、認証対象者の顔に関するテクスチャ情報および３次元情報を取得する第１取得手段と、前記認証対象者の顔に関する立体モデルである第１立体モデルを、前記３次元情報に基づいて生成する生成手段と、前記第１立体モデルを用いて、前記認証対象者の顔に関するテクスチャ情報である第１テクスチャ情報を変換する変換手段と、比較対象者の顔に関するテクスチャ情報である第２テクスチャ情報を取得する第２取得手段と、互いに同じ視点による前記第１テクスチャ情報と前記第２テクスチャ情報とを比較することによって、比較対象者と認証対象者との同一性を判定する判定手段とを備えることを特徴とする。
【０００８】
請求項２の発明は、請求項１の発明に係る認証システムにおいて、前記変換手段は、前記第１立体モデルの各代表点と人物の顔の標準的な立体モデルである標準モデルの各代表点との対応関係に基づいて、前記第１立体モデルの複数の代表点をそれぞれ前記標準モデルの対応代表点の投影先の点と同一の位置に投影し、前記複数の代表点によって構成されるパッチに対応したテクスチャ情報を投影面上に割り付けることを特徴とする。
【０００９】
請求項３の発明は、請求項２の発明に係る認証システムにおいて、前記変換手段は、前記標準モデルの周囲に配置される所定の投影面に前記第１立体モデルのテクスチャ情報を割り付けることを特徴とする。
【００１０】
請求項４の発明は、請求項３の発明に係る認証システムにおいて、前記所定の投影面は、円筒面であることを特徴とする。
【００１１】
請求項５の発明は、請求項３の発明に係る認証システムにおいて、前記所定の投影面は、球面であることを特徴とする。
【００１２】
請求項６の発明は、請求項１または請求項２の発明に係る認証システムにおいて、前記変換手段は、前記第１立体モデルに含まれるパッチを複数のグループに分類し、分類後のグループごとに設定した投影面に、そのグループにおける各パッチに対応したテクスチャ情報を割り付けることを特徴とする。
【００１３】
請求項７の発明は、請求項１から請求項６のいずれかの発明に係る認証システムにおいて、前記変換手段は、前記第１立体モデル上での各パッチの面積が投影後の投影面上での各パッチの面積と同じになるように、前記第１立体モデルの各パッチを前記投影面にマッピングすることを特徴とする。
【００１４】
請求項８の発明は、請求項１から請求項７のいずれかの発明に係る認証システムにおいて、前記判定手段は、前記比較対象者の顔に関する前記第２テクスチャ情報から抽出された特徴量と、変換後の前記第１テクスチャ情報から抽出された特徴量とを比較することによって、比較対象者と認証対象者との同一性を判定することを特徴とする。
【００１５】
請求項９の発明は、認証対象者に関する認証動作を行う認証方法であって、認証対象者の顔に関するテクスチャ情報および３次元情報を取得する工程と、前記認証対象者の顔に関する立体モデルである第１立体モデルを、前記３次元情報に基づいて生成する工程と、前記第１立体モデルを用いて、前記認証対象者の顔に関するテクスチャ情報である第１テクスチャ情報を変換する工程と、比較対象者の顔に関するテクスチャ情報である第２テクスチャ情報を取得する工程と、互いに同じ視点による前記第１テクスチャ情報と前記第２テクスチャ情報とを比較することによって、比較対象者と認証対象者との同一性を判定する工程とを備えることを特徴とする。
【００１６】
請求項１０の発明は、コンピュータに、認証対象者に関する認証動作を行う認証方法を実行させるためのプログラムであって、前記コンピュータに、認証対象者の顔に関するテクスチャ情報および３次元情報を取得する手順と、前記認証対象者の顔に関する立体モデルである第１立体モデルを、前記３次元情報に基づいて生成する手順と、前記第１立体モデルを用いて、前記認証対象者の顔に関するテクスチャ情報である第１テクスチャ情報を変換する手順と、比較対象者の顔に関するテクスチャ情報である第２テクスチャ情報を取得する手順と、互いに同じ視点による前記第１テクスチャ情報と前記第２テクスチャ情報とを比較することによって、比較対象者と認証対象者との同一性を判定する手順とを実行させるためのプログラムであることを特徴とする。
【発明の効果】
【００１７】
請求項１から請求項１０に記載の発明によれば、第１立体モデルを用いて第１テクスチャ情報が変換され、互いに同じ視点による第１テクスチャ情報と第２テクスチャ情報とを比較することによって、認証対象者と比較対象者との同一性が判定されるので、人物の姿勢の相違に基づく影響を軽減し、高精度の認証を行うことが可能である。
【００１８】
特に、請求項２に記載の発明によれば、第１立体モデルの各代表点と標準モデルの各代表点との対応関係に基づいて、第１立体モデルの複数の代表点がそれぞれ標準モデルの対応代表点の投影先の点と同一の位置に投影され、第１立体モデル上のパッチのテクスチャ情報が所定の投影面上に割り付けられるので、比較条件を十分に整えた上で比較処理を行うことが可能になり、より高精度の認証を行うことが可能である。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施形態を図面に基づいて説明する。以下では、顔画像を用いた認証動作を行う認証システムについて説明する。
【００２０】
＜Ａ．概要＞
図１は、この実施形態に係る顔認証システム１の概要を示す概念図である。
【００２１】
顔認証システム１は、後述するように、認証時に２台のカメラＣＡ１，ＣＡ２（図２参照）によって、認証対象者である人物ＨＭｂ（人物ＨＭａであると名乗る人物）の顔について多眼視（ここではステレオ視）による複数（ここでは２枚）の画像（ステレオ画像）Ｇ１，Ｇ２を撮影する。詳細には、カメラＣＡ１により画像Ｇ１が撮影され、カメラＣＡ２により画像Ｇ２が撮影される。そして、顔認証システム１は、２枚の画像Ｇ１，Ｇ２から得られた情報を、人物ＨＭａについて予め登録された顔画像に基づく情報と比較（ないし照合）することによって認証動作を行い、認証対象者である人物ＨＭｂが比較対象者（登録者）である人物ＨＭａと同一人物であるか否かを判定する。
【００２２】
人物ＨＭｂに関する画像Ｇ１，Ｇ２から得られる情報は、形状情報（各部位の位置等に関する情報）とテクスチャ情報（各点の表面輝度の集合等として得られる表面情報）とに大別される。
【００２３】
人物ＨＭｂに関する画像Ｇ１，Ｇ２からは、テクスチャ情報ＴＢが得られるとともに、形状情報として３次元情報ＳＢも得られる。より詳細には、まず、画像Ｇ１および画像Ｇ２の少なくとも一方から、人物ＨＭｂの顔のテクスチャ情報ＴＢが得られる。また、ステレオ視による２枚の画像Ｇ１，Ｇ２からは、人物ＨＭｂの顔の各点の３次元位置の集合等を含む３次元情報ＳＢが得られる。
【００２４】
また、人物（比較対象者）ＨＭａについても、例えば、予め人物（認証対象者）ＨＭｂに対する処理と同様の処理が行われる。具体的には、比較対象者ＨＭａの撮影動作が予め行われ、得られた複数の画像からテクスチャ情報ＴＡと３次元情報ＳＡとを得ることができる。
【００２５】
基本的には、このようにして得られたテクスチャ情報ＴＡとテクスチャ情報ＴＢとが比較される。また、この実施形態においては、３次元情報ＳＡと３次元情報ＳＢとの比較も行われる。なお、３次元情報ＳＡ，ＳＢの比較（換言すれば「形状情報の対比」）には、３次元形状情報の対比と２次元形状情報の比較とが包含されている。
【００２６】
ただし、このようにして得られたテクスチャ情報ＴＡ，ＴＢおよび形状情報ＳＡ，ＳＢは、膨大な情報量を有しているため、特徴選択動作（換言すれば、情報圧縮動作（後述））を行った後に比較動作を行うことが好ましい。この実施形態においても、情報圧縮動作を行う。これによれば、情報量を削減して、より効率的な照合動作を行うことができる。
【００２７】
また、この実施形態において、顔認証システム１は、テクスチャ情報ＴＡとテクスチャ情報ＴＢとの比較において、人物の姿勢変化による影響を受けにくくするための処理を行う。具体的には、３次元モデル上のテクスチャをそれぞれ共通の投影面（２次元画像）に投影する変換処理を行う。その後、変換処理後のテクスチャ情報ＴＡと変換処理後のテクスチャ情報ＴＢとが比較される。
【００２８】
この顔認証システム１によれば、互いに同じ視点によるテクスチャ情報ＴＡとテクスチャ情報ＴＢとを比較することによって、比較対象者と認証対象者との同一性が判定されるので、人物の姿勢の相違に基づく影響を軽減し、高精度の認証を行うことが可能である。
【００２９】
＜Ｂ．詳細構成＞
図２は、本発明の実施形態に係る顔認証システム１を示す構成図である。図２に示すように顔認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１，ＣＡ２とを備えている。カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から撮影対象者（登録対象者ＨＭａあるいは認証対象者ＨＭｂ）の顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって撮影対象者の顔画像が撮影されると、当該撮影対象者の外観情報すなわち２枚の顔画像Ｇ１，Ｇ２がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間での画像データの通信方式は有線方式に限定されず、無線方式であってもよい。
【００３０】
図３は、コントローラ１０の構成概要を示す図である。図３に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されてもよい。
【００３１】
次に、コントローラ１０の機能について、図４および図５を参照して説明する。
【００３２】
図４は、コントローラ１０の各種機能構成を示すブロック図であり、図５は、個人認証部１４の詳細な機能構成を示すブロック図である。
【００３３】
図４および図５の各種機能構成は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用い所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって実現される機能を概念的に示すものである。
【００３４】
図４に示されるように、コントローラ１０は、画像入力部１１と顔領域検索部１２と顔部位検出部１３と個人認証部１４と出力部１５とを備えている。
【００３５】
画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された認証用の２枚の画像をコントローラ１０に入力する機能を有している。
【００３６】
顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。
【００３７】
顔部位検出部１３は、特定した顔領域から顔の特徴的な部位（例えば、目、眉、鼻、口等）の位置を検出する機能を有している。
【００３８】
個人認証部１４は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この個人認証部１４の詳細については、次述する。
【００３９】
出力部１５は、個人認証部で得られた認証結果を出力する機能を有している。
【００４０】
次に、個人認証部１４の詳細構成について図５を用いて説明する。
図５に示すように、個人認証部１４は、３次元再構成部２１と最適化部２２と補正部２３と特徴抽出部２４と情報圧縮部２５と比較部２６とを有している。
【００４１】
３次元再構成部２１は、入力画像から得られる顔の特徴的な部位の座標から各部位の３次元における座標を算出する機能を有している。この３次元座標算出機能は、カメラパラメータ記憶部２７に格納されているカメラ情報を用いて実現される。
【００４２】
最適化部２２は、算出された３次元座標を用いて３次元モデルデータベース２８に格納されている顔の標準的な立体モデル（「標準立体モデル」あるいは「標準モデル」とも称する）から、固有の人物に関する「個別モデル」を生成する機能を有している。
【００４３】
補正部２３は、生成された個別モデルを補正する機能を有しており、個別モデル（立体モデル）に貼り付けられたテクスチャを２次元画像（投影面）上に貼り付け直す機能（変換機能）を有している。
【００４４】
これらの各処理部２１，２２，２３によって、認証対象者ＨＭｂおよび登録者ＨＭａに関する情報は、標準化（正規化）され、相互比較しやすい状態に変換される。また、各処理部の機能によって作成された個別モデルは、人物の顔に関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、代表点の３次元座標値等の立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）および／または代表点の平面的な位置情報（２次元形状情報）等の平面的構成に関連する情報である。また、個別モデルは、人物の顔に関する形状情報（３次元形状情報および２次元形状情報）とテクスチャ情報との双方を含むものとも表現される。
【００４５】
特徴抽出部２４は、上記各処理部２１，２２，２３において作成された個別モデルから３次元情報と２次元情報とを抽出する特徴抽出機能を有している。
【００４６】
情報圧縮部２５は、特徴抽出部２４で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な顔特徴量に変換することによって、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、基底ベクトルデータベース２９に格納された情報等を用いて実現される。
【００４７】
比較部２６は、人物データベース３０に予め登録されている登録者（比較対象者）ＨＭａの顔特徴量と、上記各機能部によって得られる認証対象者ＨＭｂの顔特徴量との類似度を計算し、顔の認証を行う機能を有している。
【００４８】
＜Ｃ．動作＞
＜Ｃ１．動作概要＞
以下では、上述したコントローラ１０の顔認証動作についてより詳細に説明する。具体的には、上述したように、カメラＣＡ１及びＣＡ２で撮影した認証対象者ＨＭｂの顔画像と、予め登録された人物ＨＭａの顔画像とに関する情報を用いて、認証対象者ＨＭｂが登録済み人物ＨＭａと同一人物であるかを認証する場合（顔認証を行う場合）について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報としてテクスチャ（輝度）情報を用いる場合を例示する。
【００４９】
図６は、コントローラ１０の全体動作（認証動作）を示すフローチャートであり、図７は、図６の処理に先立って行われる登録動作（ステップＳＰ３０）を示すフローチャートある。さらに、図８は、顔画像における特徴的な部位の特徴点を例示する図であり、図９は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。図９における画像Ｇ１、Ｇ２中の点Ｑ２０は、図８における口の右端に相当する。
【００５０】
図６に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ８までの工程において、認証対象者の顔を撮影した画像に基づいて、認証対象者に関する顔特徴量を取得する。コントローラ１０は、その後、さらにステップＳＰ９，ＳＰ１０の工程を実行することによって、顔認証を実現する。なお、実際には、図７に示す処理（ステップＳＰ３１〜ＳＰ３９）が図６のステップＳＰ１〜ＳＰ１０に示す処理に先立って行われるが、ここでは説明の便宜上、図６に示す処理から説明する。
【００５１】
＜Ｃ２．認証対象者ＨＭｂに関する情報収集＞
＜個別モデル作成処理等＞
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された所定の人物（認証対象者）ＨＭｂの顔画像が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１・・Ｎ）は既知であり、予めカメラパラメータ記憶部２７（図５）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。カメラパラメータＢｉについては後述する。
【００５２】
次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の画像Ｇ１，Ｇ２のそれぞれにおいて、顔の存在する領域が検出される。顔領域検出手法としては、例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像Ｇ１，Ｇ２のそれぞれから顔領域を検出する手法を採用することができる。
【００５３】
次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域画像の中から、顔の特徴的な部位の位置が検出される。例えば、顔の特徴的な部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３においては、図８に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。特徴部位は、例えば、特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図８における口の右端に相当する特徴点Ｑ２０に関して、図９中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。
【００５４】
また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ５等において、個別モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域内の対応する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
【００５５】
次のステップＳＰ４では、３次元再構成処理が行われる。具体的には、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ(j)（ｊ＝１・・・ｍ）が算出される。端的に言えば、三角測量の原理に基づいて各特徴点の３次元位置が算出される。なお、ｍは特徴点の数を示している。
【００５６】
以下、３次元座標Ｍ(j)の算出について具体的に説明する。
【００５７】
各特徴点Ｑｊの３次元座標Ｍ(j)と各特徴点Ｑｊの２次元座標Ｕｉ(j)とカメラパラメータＢｉとの関係は式（１）のように表される。
【００５８】
【数１】
2007164498.tif 000003
【００５９】
なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。
【００６０】
例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ(20)を算出する場合を図９を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。
【００６１】
【数２】
2007164498.tif 000004
【００６２】
【数３】
2007164498.tif 000005
【００６３】
上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ(20)の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ(j)を取得することができる。
【００６４】
次のステップＳＰ５では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔のモデルである「（顔の）標準モデル」を、認証対象者に関する情報を用いて変形することによって、認証対象者の顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理（当該テクスチャ情報を個別モデルの表面に貼り付ける処理）とが行われる。
【００６５】
図１０は、３次元の顔の標準モデルを示している。
【００６６】
図１０に示されるように、顔の標準モデルは、頂点データとポリゴンデータとで構成され、３次元モデルデータベース２８（図５）として記憶部３等に保存されている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ４において算出される各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図１０では、各ポリゴンの頂点が標準制御点ＣＯｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は標準制御点ＣＯｊの座標値を用いた適宜の補完手法によって得ることが可能である。
【００６７】
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
【００６８】
まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ４において算出された各特徴点に移動させる。具体的には、各特徴点Ｑｊの３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを３次元座標Ｍ(j)で表した個別モデルに変形することができる。なお、個別モデルにおける個別制御点Ｃｊ以外の中間点の座標は、個別制御点Ｃｊの座標値を用いた適宜の補間手法によって得ることが可能である。
【００６９】
また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ６において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。たとえば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
【００７０】
次の式（４）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。
【００７１】
【数４】
2007164498.tif 000006
【００７２】
上述のようにして、認証対象者に関する３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理が行われる。
【００７３】
その後、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、入力画像Ｇ１，Ｇ２における各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付けられる（マッピングされる）。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は、「パッチ」とも称せられる。
【００７４】
以上のようにして、モデルフィッティング処理（ステップＳＰ５）が行われる。これによって、認証対象者ＨＭｂに関する情報は、認証対象者ＨＭｂに関する３次元情報と２次元情報との双方を含む「個別モデル」（ＭＤｂ）として生成される。
【００７５】
＜変換処理等（概要）＞
次のステップＳＰ６においては、標準モデルを基準にして個別モデルの補正等が行われる。本工程では、３次元情報に関する位置（アライメント）補正と、３次元モデル上のテクスチャ情報を２次元平面に投影する変換処理とが実行される。
【００７６】
前者のアライメント（顔向き）補正は、３次元情報に関する位置および姿勢等の補正処理である。アライメント補正は、標準モデルを基準にした際の個別モデルのスケール、傾き及び位置に基づいて行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルを座標変換することによって、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者に関する３次元情報を適切に正規化することができる。
【００７７】
また、後者の変換処理は、３次元モデル（個別モデル）上のテクスチャ情報を２次元平面に投影する処理である。後述するように、この変換処理によって２次元平面に投影された画像（投影画像）を認証対象者と比較対象者との双方について求め、両投影画像を比較することによって（詳細には、両投影画像から抽出した特徴量を比較することによって）、認証動作が行われる。
【００７８】
＜移動処理＞
この変換処理は、個別モデル（例えばＭＤｂ）上の特徴点（ＰＢ等）を投影面ＰＬ上の対応点（ＰＴ）に移動（ワープ）させる処理を伴う（図１１参照）。この結果、３次元空間内の特徴点が２次元平面上の特徴点へと変換される。
【００７９】
ここでは、個別モデルにおける特徴点の移動先の点（「目的点」とも称する）として、標準モデルにおける対応特徴点の移動先の点（「目的点」）を用いる場合を例示する。
【００８０】
たとえば、個別モデル（３次元モデル）ＭＤｂ上での特徴点ＰＢ０〜ＰＢ５（図１１参照）は、それぞれ、投影面ＰＬ上において、点ＰＴ０〜ＰＴ５（次述）に移動（ないし投影とも称する）される。詳細には、特徴点ＰＢ０は対応点ＰＴ０に投影され、特徴点ＰＢ１は対応点ＰＴ１に投影され、特徴点ＰＢ２は対応点ＰＴ２に投影される。他の特徴点ＰＢ３，ＰＢ４，ＰＢ５，...についても、同様に、それぞれ、特徴点ＰＴ３，ＰＴ４，ＰＴ５，...に投影される。
【００８１】
ここで、点ＰＴ０〜ＰＴ５は、「標準モデル」ＭＤｓ上の各特徴点ＰＳ０〜ＰＳ５が手法ＭＴ１あるいは手法ＭＴ２（次述）等によって投影される投影面ＰＬ上の点（移動先の点、ないし「目的点」とも称する）として決定される。詳細には、点ＰＴ０は特徴点ＰＳ０の目的点であり、点ＰＴ１は特徴点ＰＳ１の目的点であり、点ＰＴ２は特徴点ＰＳ２の目的点である。他の点ＰＴ３，ＰＴ４，ＰＴ５，...についても同様である。
【００８２】
個別モデルＭＤｂ上の各特徴点ＰＢ０〜ＰＢ６，...をこのような目的点ＰＴ０〜ＰＴ６，...へとそれぞれ移動させることによれば、個別モデルＭＤｂ上の特徴点を標準モデルＭＤｓ上の特徴点と同一の位置に対応付けた２次元画像が生成されることになる。
【００８３】
詳細には、まず、手法ＭＴ１あるいは手法ＭＴ２等によって、標準モデルＭＤｓの各特徴点ＰＳ１〜ＰＳ５，...を投影面ＰＬに投影するときの目的点ＰＴ０〜ＰＴ５，...を決定しておく。つぎに、個別モデルＭＤｂの各特徴点ＰＢ０〜ＰＢ５，...と標準モデルの各特徴点ＰＳ０〜ＰＳ５，...との対応関係を把握する。そして、この対応関係に基づいて、個別モデルＭＤｂの各特徴点ＰＢ０〜ＰＢ５，...を、標準モデルの対応特徴点ＰＳ０〜ＰＳ５，...の投影先の点ＰＴ０〜ＰＴ５，...と同一の位置に投影する。例えば、個別モデルＭＤｂの特徴点ＰＢ１には標準モデルＭＤｓの特徴点ＰＳ１が対応するので、標準モデルＭＤｓの特徴点ＰＳ１に関する目的点ＰＴ１が、個別モデルＭＤｂの特徴点ＰＢ１に関する目的点として決定される。他の特徴点についても同様である。
【００８４】
ここで、各手法ＭＴ１，ＭＴ２は、それぞれ、
（１）手法ＭＴ１：全パッチに対して共通の投影面（および共通の座標系）を設定し、当該共通の投影面に各パッチの頂点を投影する手法、
（２）手法ＭＴ２：全パッチをいくつかのグループに分類し、分類後のグループごとに設定された個別の投影面に、そのグループに所属する各パッチの頂点を投影する手法、
である。
【００８５】
以下では、これらの２種類の手法ＭＴ１，ＭＴ２について順次に説明する。
【００８６】
まず、（１）手法ＭＴ１について説明する。
【００８７】
手法ＭＴ１における共通の投影面および共通の座標系としては、それぞれ、例えば、円筒面ＰＬ１１（図１２参照）および円筒座標系を採用することができる。具体的には、図１２に示すように、標準モデルＭＤｓの周囲に配置した円筒面ＰＬ１１に標準モデルＭＤｓの各パッチの頂点を投影し、投影された各頂点を、上記の「目的点」として決定することができる。例えば、標準モデルＭＤｓの各特徴点ＰＳ１〜ＰＳ５は、それぞれ、投影面ＰＬ（ＰＬ１１）上の投影点ＰＴ０〜ＰＴ５（図１１参照）に投影される。このとき各特徴点ＰＳ１〜ＰＳ５に対応する投影点が目的点（対応目的点）ＰＴ０〜ＰＴ５として決定される。
【００８８】
なお、手法ＭＴ１により決定された投影面ＰＬ（ＰＬ１１）上の点へと個別モデルの特徴点を投影する投影処理は、個別モデルの周囲に配置した投影面に個別モデルの各パッチの頂点を投影する処理に相当する。また、ここでは、手法ＭＴ１における共通の投影面（および共通の座標系）として、円筒面ＰＬ１１および円筒面座標系をそれぞれ例示したが、これに限定されず、例えば、共通の投影面および共通の座標系として、それぞれ、球面ＰＬ１２（図１３参照）および球面座標系等を採用してもよい。
【００８９】
次に、（２）手法ＭＴ２について説明する。
【００９０】
手法ＭＴ２は、上述したように、全パッチをいくつかのグループに分類し、分類後のグループごとに設定された個別の投影面に、そのグループに所属する各パッチの頂点を投影する手法である。
【００９１】
図１４は、各パッチの分類例を示す図である。図１４においては、標準モデルＭＤｓの表面を形成する複数のパッチが、右眼付近のパッチを含むグループＧＲ１、左眼付近のパッチを含むグループＧＲ２、鼻付近のパッチを含むグループＧＲ３、および口付近のパッチを含むグループＧＲ４等に、分類されている様子が示されている。たとえば、標準モデルＭＤｓのパッチをこのような各グループＧＲ（ＧＲ１〜ＧＲ４等）に分類することができる。
【００９２】
手法ＭＴ２においては、各グループごとに個別の投影平面が設定される。
【００９３】
図１５は、標準モデルＭＤｓの各特徴点ＰＳ０〜ＰＳ５が、それぞれ、投影面ＰＬ１５上の投影点ＰＴ０〜ＰＴ５に投影される様子を示す図である。図１５においては、標準モデルＭＤｓの各特徴点ＰＳ０〜ＰＳ５は、それぞれ、投影面ＰＬ１５上の投影点ＰＴ０〜ＰＴ５に投影されており、各特徴点ＰＳ０〜ＰＳ５に対応する投影点が目的点（対応目的点）ＰＴ０〜ＰＴ５として決定される。なお、図１５においては、標準モデルＭＤｓの或るグループに属する各パッチが、或る投影面ＰＬ１５に投影される様子も示されている。詳細には、標準モデルＭＤｓ上の特徴点ＰＳ０〜ＰＳ５で構成されるパッチＣ１〜Ｃ５が、投影面ＰＬ１５上に投影される様子が示されている。
【００９４】
この投影平面ＰＬ１５は、注目点（ここでは特徴点ＰＳ０）付近のパッチＣ１〜Ｃ５の（外向き）法線ベクトルを合成して得られるベクトル（合成ベクトルとも称する）をその法線ベクトルとする平面として定められる。なお、この合成ベクトルは、これら複数のパッチＣ１〜Ｃ５の（外向き）法線ベクトルの平均ベクトルであるとも表現される。これによれば、注目点付近のパッチを真上から（より正確には合成ベクトルの方向が視線方向となるようにして）見た画像が投影画像として生成されることになる。
【００９５】
また、標準モデルにおける別グループに属するパッチについても上記と同様の処理が行われる。これにより、標準モデルにおける複数のグループのそれぞれに属する各特徴点を所属グループ固有の投影面に投影した対応点が、対応目的点として決定される。
【００９６】
以上のようにして、標準モデルの特徴点に関する目的点が決定される。そして、上述したように、標準モデルの特徴点に関する目的点は、個別モデルの特徴点に関する目的点として決定される。
【００９７】
＜貼り付け処理＞
この変換処理においては、上述のようなワープ処理によって「個別モデル」の各特徴点が投影面上の各「目的点」へと移動されるとともに、個別モデル上の特徴点で囲まれるパッチ（三角形領域）が、投影面ＰＬ上のパッチ（三角形領域）に割り付けられる。すなわち、個別モデル上の各パッチのテクスチャ情報を投影面ＰＬに貼り付ける処理も行われる。
【００９８】
具体的には、変換前の個別モデル上の各パッチ（「変換前パッチ」とも称する）内の画素を、変換後の投影面上の各パッチ（「変換後パッチ」とも称する）内の対応位置にワープ（移動）させるような変換を考える。この変換においては、例えば３つの頂点に囲まれた変換前パッチ内の２次元位置（ｘ，ｙ）は、式（５）で表現される変換によって、変換後の座標系における座標値（ｕ，ｖ）に変換される。なお、行列Ｈの３行目が（０，０，１）になる場合には、行列Ｈによって表される変換はアフィン変換となる。
【００９９】
【数５】
2007164498.tif 000007
【０１００】
変換後の各位置（ｕ，ｖ）における画素の画素値を実際に求める際には、まず、この行列Ｈの逆行列であるＨ-1を求め、変換後パッチ内の各（ｕ，ｖ）の対応位置（ｘ、ｙ）を式（６）で求める。
【０１０１】
【数６】
2007164498.tif 000008
【０１０２】
そして、この式（６）で得られる変換前の位置（ｘ，ｙ）における画素の画素値、もしくは当該位置近傍に存在する複数の画素の画素値によって補間（線形補間等）される画素値を、変換後パッチ内の位置（ｕ，ｖ）における画素の画素値として決定する。
【０１０３】
このようにして、変換後パッチ内の各画素の画素値、すなわち２次元平面に投影されたテクスチャ情報が取得される。
【０１０４】
なお、手法ＭＴ２を用いる場合には、複数のグループについて同様の処理が施され、これによって、各グループごとに設定された投影面ＰＬに対する投影画像が生成される。この場合、各投影画像は、それぞれ、個別の座標系を有することになる。
【０１０５】
＜変換処理における微調整＞
基本的には、上記のように手法ＭＴ１，ＭＴ２等によって得られた移動先の点（目的点）へと、標準モデルＭＤｓ上の各特徴点を移動させることなどによって、変換処理を行うことが可能である。
【０１０６】
ただし、上記の変換処理においては、３次元形状を有する各パッチの法線と投影面ＰＬの法線との角度が互いに異なることに起因して、標準モデルＭＤｓ上での各パッチの面積と変換処理によって投影された投影面ＰＬ上での各パッチの面積とが異なることがある（図１５参照）。パッチのテクスチャ情報を比較するに際しては、標準モデルＭＤｓ上での変換前パッチの面積と投影面ＰＬ上での変換後パッチの面積とは同じであることが好ましい。また、パッチの変換前後の面積比はパッチによって異ならないことが好ましい。
【０１０７】
そこで、ここでは各パッチについて変換前パッチの面積と変換後パッチの面積とを近づけるような変換処理を行うものとする。換言すれば、３次元モデル上での各パッチの面積と変換処理によって投影された投影面上での各パッチの面積とが、より近い値になるように、各移動先の点を決定するものとする。これによれば、各標準モデル上のパッチが、３次元モデル上での表面積とほぼ同じ面積を有する状態に変換される。したがって、個別モデルのテクスチャ比較における比較条件をさらに整えることができる。
【０１０８】
以下では、手法ＭＴ２にこの変形例に係る技術を適用する場合について説明する。
【０１０９】
具体的には、パッチの頂点ＰＴ１〜ＰＴ５を移動しつつ式（７）の評価関数ＦＤを算出し、当該評価関数ＦＤを最小化する移動後のパッチの頂点ＰＴ１〜ＰＴ５を得る。最小化手法（最適化手法）としては、最急降下法などの適宜の手法を用いればよい。
【０１１０】
【数７】
2007164498.tif 000009
【０１１１】
ただし、Ｓｍ（ｐ）は第ｐパッチの標準モデル上での面積を表し、Ｓｒ（ｐ）は第ｐパッチの投影面上での面積を表し、Ｎｐは頂点の数を表し、Θ（ｑ）は座標軸ＡＸｑ（後述）と投影面における座標軸ＣＸｑとがなす角度を表しており、βは適宜の定数である。
【０１１２】
式（７）の右辺第１項を最小化することによって、変換前パッチの面積と変換後パッチの面積とを近づけるような変換処理が行われることになる。また、式（７）の右辺第２項は、面積の最適化の方向性に拘束を加える作用を有する項である。
【０１１３】
図１６，図１７，図１８は、モデル上のテクスチャ情報が２次元平面上に投影される様子を示すための図である。
【０１１４】
図１６は、標準モデルの注目点中心に設定される座標軸を示す図であり、標準モデルの右眼を注目点としたときに、当該注目点を中心にして標準モデルの表面形状に沿って設定される座標軸ＡＸ１〜ＡＸ４を示している。なお、ここでは、右眼中央部を注目点として示しているが、図１４の点Ｑ７等を注目点とするようにしてもよい。
【０１１５】
座標軸ＡＸ１は、平面ＰＬ１と標準モデルのパッチ（詳細には注目点の右側パッチＣ２（図１５参照））との交線であり、座標軸ＡＸ３は、平面ＰＬ１と標準モデルのパッチ（詳細には注目点の左側パッチＣ５）との交線である。なお、平面ＰＬ１は、上記注目点と標準モデルＭＤｓの中心点との双方を通る鉛直平面である。
【０１１６】
また、座標軸ＡＸ２は、平面ＰＬ２と標準モデルのパッチ（詳細には注目点の上側パッチＣ１）との交線であり、座標軸ＡＸ４は、平面ＰＬ２と標準モデルのパッチ（詳細には注目点の下側パッチＣ３）との交線である。なお、平面ＰＬ２は、上記注目点を通る水平面である。
【０１１７】
図１７は、投影平面ＰＬ１５における座標系の座標軸ＣＸ１〜ＣＸ４と最適化処理前の座標軸ＡＸ１〜ＡＸ４との関係を示す図である。また、図１８は、最適化処理後の状態を示す図である。なお、図１５には、投影面ＰＬ１５上に最適化処理前の座標軸ＡＸ１〜ＡＸ４が示されている。
【０１１８】
ここでは、対象グループに関する合成ベクトルの方向が方向ＡＲ１と相違している状況、詳細には、図１６における両平面ＰＬ１，ＰＬ２の交線に沿う方向ＡＲ１よりもやや右上側から斜めに標準モデルの対象グループ近傍を眺めている状況を想定している。この場合、図１７に示すように、投影面ＰＬ１５上においては、ポリゴン表面上の座標軸ＡＸ１〜ＡＸ４は、それぞれ、座標軸ＣＸ１〜ＣＸ４に対して、「ずれた」状態となっている。
【０１１９】
式（７）の右辺第２項によれば、このずれを抑制し、３次元モデル上での水平線および垂直線をより正確に合わせることが可能になる。また、このような制約の元で、面積の同一化を図ることができる。
【０１２０】
また、各パッチの投影状態が図１８のような状態に変更されれば、投影面ＰＬ上での各パッチＣ１〜Ｃ５の面積は、それぞれ、標準モデルＭＤｓ上の各パッチＣ１〜Ｃ５の面積にほぼ等しくなる。
【０１２１】
以上のように、ステップＳＰ６においては、認証対象者ＨＭｂに関する３次元位置情報が個別モデルＭＤｂにおける各特徴点の３次元位置情報として生成されるとともに、認証対象者ＨＭｂに関するテクスチャ情報が上述のような投影面への投影画像として生成される。
【０１２２】
＜抽出処理等＞
次のステップＳＰ７（図６）においては、認証対象者ＨＭｂの特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
【０１２３】
３次元情報としては、個別モデルＭＤｂにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（８）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈSが３次元情報（３次元形状情報）として抽出される。
【０１２４】
【数８】
2007164498.tif 000010
【０１２５】
また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。ここでは、テクスチャ情報（局所２次元情報）として、上記変換処理（ステップＳＰ６）後の情報（すなわち投影画像に基づく情報）が用いられる。
【０１２６】
局所２次元情報は、例えば、各局所領域が有する各画素の輝度情報として構成される。各局所領域としては、複数のパッチで構成されるグループ領域、又は、単一のパッチで構成される領域等が該当する。
【０１２７】
局所２次元情報ｈ(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（９）のようなベクトル形式で表される。また、局所２次元情報ｈ(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。
【０１２８】
【数９】
2007164498.tif 000011
【０１２９】
以上のように、ステップＳＰ７においては、個別モデルの特徴を表す情報として、３次元形状情報（３次元情報）ＳＢ（図１）とテクスチャ情報（２次元情報）ＴＢとが抽出される。
【０１３０】
抽出された情報は後述の認証動作（ステップＳＰ９，ＳＰ１０）に用いられる。当該認証動作においては、式（９）で得られる情報をそのまま用いて認証動作を行うようにしてもよいが、その場合、局所領域内の画素数が多いときには、認証動作での計算量が非常に大きくなってしまう。そこで、この実施形態では、計算量を低減して効率的に認証動作を行うことを企図して、式（９）で得られる情報を更に圧縮し圧縮後の情報を用いて認証動作を行うものとする。
【０１３１】
そのため、次のステップＳＰ８においては、ステップＳＰ７で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理を行う。
【０１３２】
情報圧縮処理は、３次元形状情報ｈS及び各局所２次元情報ｈ(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ(k)に対して情報圧縮処理を施す場合について詳細に説明する。
【０１３３】
局所２次元情報ｈ(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ(k)（次述）とを用いて式（１０）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ(k)が、局所２次元情報ｈ(k)についての圧縮情報として取得される。
【０１３４】
【数１０】
2007164498.tif 000012
【０１３５】
上述のように式（１０）中の行列Ｐ(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、基底ベクトルデータベース２９に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
【０１３６】
例えば、或るグループＧＲの局所領域の局所２次元情報ｈ(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ(GR)は、当該局所領域の平均情報ｈave(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（１１）のように表される。平均情報ｈave(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
【０１３７】
【数１１】
2007164498.tif 000013
【０１３８】
また、上記式（１１）は、顔情報量ｃ(GR)＝（ｃ１，ｃ２，ｃ３）Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ(GR)を圧縮した情報といえる。
【０１３９】
上記のようにして取得された局所２次元顔情報量ｃ(GR)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（１２）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ(GR)をベクトルサイズｇの局所２次元特徴量ｄ(GR)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ(GR)で表される特徴空間を局所２次元特徴量ｄ(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
【０１４０】
【数１２】
2007164498.tif 000014
【０１４１】
ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、特徴空間から級内分散と級間分散との比率（Ｆ比）の大きい主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。
【０１４２】
また、上述した局所２次元情報ｈ(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元顔特徴量ｄ(k)を取得することができる。また、３次元形状情報ｈSに対しても同様の手法を適用することにより３次元顔特徴量ｄSを取得することができる。
【０１４３】
上記ステップＳＰ８を経て取得される３次元顔特徴量ｄSと局所２次元顔特徴量ｄ(k)とを組み合わせた顔特徴量ｄは、ベクトル形式で式（１３）のように表すことができる。
【０１４４】
【数１３】
2007164498.tif 000015
【０１４５】
以上に述べたステップＳＰ１〜ＳＰ８の工程において、入力される認証対象者ＨＭｂの顔画像Ｇ１，Ｇ２から当該対象者の顔特徴量ｄ（Ｂｄ）が取得される。認証対象者ＨＭｂの顔特徴量ｄ（Ｂｄ）は、次述する登録者ＨＭａの顔画像に関する特徴量ｄ（Ａｄ）とともに、ステップＳＰ９，ＳＰ１０の処理において用いられる。
【０１４６】
＜Ｃ３．登録者ＨＭａに関する情報収集＞
次に、図７を参照して、登録時の顔画像に関する特徴量ｄ（Ａｄ）を得る動作（ステップＳＰ３０）について説明する。ステップＳＰ３０の処理は、ステップＳＰ３１〜ＳＰ３９の処理を含む。ステップＳＰ３１〜ＳＰ３８の各処理は、それぞれ、対応するステップＳＰ１〜ＳＰ８の各処理と同様の処理である。
【０１４７】
まず、ステップＳＰ３１〜ＳＰ３５の処理によって、登録者（比較対象者）ＨＭａに関する情報は、登録者ＨＭａに関する３次元情報と２次元情報との双方を含む「個別モデル」ＭＤａとして生成される。
【０１４８】
また、ステップＳＰ３６においては、上記ステップＳＰ６の処理と同様の処理が行われる。３次元情報に関する位置（アライメント）補正が施されるとともに、個別モデル上のパッチに貼り付けられていたテクスチャ情報が所定の投影面に投影された状態に変換される。
【０１４９】
次のステップＳＰ３７（図６）においては、登録者ＨＭａの特徴を表す情報として、３次元形状情報とテクスチャ情報とが抽出される。ステップＳＰ３７においては、ステップＳＰ７と同様の処理が行われる。なお、ここでは、テクスチャ情報として、所定の投影面に投影された状態の情報を用いるものとする。
【０１５０】
さらに、ステップＳＰ３８においては、ステップＳＰ３７で抽出された情報を、認証に適した状態に変換する情報圧縮処理を行う。ステップＳＰ３８においては、ステップＳＰ８と同様の処理が行われる。
【０１５１】
これによって、ステップＳＰ３８において取得される３次元顔特徴量ｄSと局所２次元顔特徴量ｄ(k)とを組み合わせた顔特徴量ｄ（Ａｄ）が取得される。
【０１５２】
次のステップＳＰ３９においては、取得された顔特徴量ｄ（Ａｄ）が、登録者ＨＭａの情報として、コントローラ１０内の人物データベース３０に登録され記憶される。
【０１５３】
以上のようにして、ステップＳＰ３０（図７）の処理が行われる。
【０１５４】
＜Ｃ４．登録者ＨＭａと認証対象者ＨＭｂとの照合処理等＞
再び図６を参照して、ステップＳＰ９以降の処理について説明する。
【０１５５】
ステップＳＰ９，ＳＰ１０においては、上述の２つの顔特徴量Ａｄ，Ｂｄを用いて顔認証が行われる。
【０１５６】
具体的には、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅが算出され（ステップＳＰ９）、その後、この総合類似度Ｒｅに基づく認証対象者と比較対象者との比較動作等（ステップＳＰ１０）が行われる。総合類似度Ｒｅは、３次元顔特徴量ｄSから算出される３次元類似度ＲｅSと、局所２次元顔特徴量ｄ(k)から算出される局所２次元類似度Ｒｅ(k)とに加えて、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重みを規定する適宜の重み付け係数（以下、単に「重み係数」とも称する）ＷＴ，ＷＳ（式（１４）参照）を用いて算出される。
【０１５７】
【数１４】
2007164498.tif 000016
【０１５８】
ステップＳＰ９では、人物データベース３０に予め登録されている比較対象者の顔特徴量（比較特徴量）ｄ（Ａｄ）と、上記ステップＳＰ１〜ステップＳＰ８を経て算出された認証対象者の顔特徴量ｄ（Ｂｄ）との類似性の評価が行われる。具体的には、登録されている顔特徴量（比較特徴量）（ＲｅSM及びＲｅ(k)M）と認証対象者の顔特徴量（ＲｅSI及びＲｅ(k)I）との間で類似度計算が実行され、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)とが算出される。
【０１５９】
さて、認証対象者と比較対象者との３次元類似度ＲｅSは、式（１５）に示されるように対応するベクトル同士のユークリッド距離ＲｅSを求めることによって取得される。
【０１６０】
【数１５】
2007164498.tif 000017
【０１６１】
また、局所２次元の類似度Ｒｅ(k)は、式（１６）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ(k)を求めることによって取得される。
【０１６２】
【数１６】
2007164498.tif 000018
【０１６３】
そして、式（１７）に示されるように、３次元の類似度ＲｅSと局所２次元の類似度Ｒｅ(k)とを、所定の重み係数ＷＴ，ＷＳを用いて合成し、認証対象者（認証対象物）と比較対象者（比較対象物）との類似度である総合類似度Ｒｅを取得することができる。
【０１６４】
【数１７】
2007164498.tif 000019
【０１６５】
次に、ステップＳＰ１０においては、総合類似度Ｒｅに基づいて認証判定が行われる。具体的には、認証対象者ＨＭｂの顔特徴量と特定の登録者（比較対象者）ＨＭａの顔特徴量との類似度Ｒｅを一定の閾値ＴＨ１と比較することによって、認証対象者ＨＭｂと比較対象者ＨＭａとの同一性が判定される。詳細には、類似度Ｒｅが一定の閾値ＴＨ１よりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
【０１６６】
以上のように、上記実施形態の認証システムによれば、個別モデル（ＭＤｂ等）の各代表点（特徴点等）と標準モデルＭＤｓの各代表点との対応関係に基づいて、個別モデルの各代表点が標準モデルの対応代表点（対応特徴点等）の投影先の点と同一の位置に投影される（図１１等参照）。そして、個別モデルＭＤａ，ＭＤｂ上の各パッチが共通の投影面上に同様に割り付けられる。このことは、個別モデルＭＤａに関するテクスチャ情報と個別モデルＭＤｂに関するテクスチャ情報とが、同じ視点から見られた状態で比較されることに相当する。そのため、認証対象者と比較対象者との同一性の判定において、人物の姿勢の相違に基づく影響を軽減し、高精度の認証を行うことが可能である。
【０１６７】
また、標準モデルの投影位置に合わせて各個別モデルＭＤａ，ＭＤｂが共通の投影面に投影された状態（標準状態）で、認証対象者ＨＭｂに関する個別モデルから抽出されたテクスチャ情報と比較対象者ＨＭａに関する個別モデルから抽出されたテクスチャ情報とが比較される。この場合、各個別モデルＭＤａ，ＭＤｂの対応パッチは、その位置が同一となるように共通の投影面に投影されることになる。したがって、比較条件を十分に整えた上で比較処理を行うことが可能になるため、より高精度の認証を行うことが可能である。
【０１６８】
さらに、標準モデルの投影位置に合わせて両個別モデルＭＤａ，ＭＤｂが共通の投影面に投影される場合、各個別モデルＭＤａ，ＭＤｂの対応パッチは、その形状が同一となるように共通の投影面に投影されることになる。そのため、対応パッチの形状に関しても標準化された状態で、認証対象者ＨＭｂに関する個別モデルから抽出されたテクスチャ情報と比較対象者ＨＭａに関する個別モデルから抽出されたテクスチャ情報とが比較されるので、より高精度のテクスチャ比較を行うことができる。
【０１６９】
＜Ｄ．変形例＞
上記実施形態においては、３次元モデルの代表点として「特徴点」を例示したが、これに限定されず、３次元モデルの代表点として特徴点以外の点を採用してもよい。
【０１７０】
また、上記実施形態においては、各局所２次元情報ｈ(k)として、式（９）のように、各画素の輝度値をそのまま列挙したものを例示したが、これに限定されない。例えば、各特徴点の特徴量をガボールフィルタを用いて算出するようにしてもよい。具体的には、グループ内に含まれる複数の特徴点のそれぞれについて、式（１８）に示されるような２次元ガボールフィルタを用いた特徴量を算出することができる。ここで、σはガウス関数の広がりを表し、εはスケールパラメータを表し、τは方向パラメータを表す。
【０１７１】
【数１８】
2007164498.tif 000020
【０１７２】
詳細には、各特徴点において、方向パラメータτの４つの値（例えば、τ＝０，π／４，π／２，３π／４（rad））と、スケールパラメータεの３段階の値と（例えば、ε＝π，π／２，π／４（rad））を変更しつつ、式（１８）のガボールフィルタを作用させて、合計１２（４×３）の特徴量を得る。そして、当該グループ内の各特徴点に関する合計１２個の値を、複数の特徴点について並べたベクトルを各局所２次元情報ｈ(k)として求めることができる。なお、このとき、各局所２次元情報ｈ(k)の次元数は、当該グループに含まれる特徴点の数に「１２」を乗じた値になる。
【０１７３】
ガボールフィルタによれば、画像の局所的な濃淡情報（特定方向の輪郭線等）を効率的に抽出することが可能である。
【０１７４】
また、上記実施形態においては、式（１７）に示すように、テクスチャ情報だけでなく形状情報をも用いて認証対象者と登録者との同一性を判定しているが、これに限定されず、テクスチャ情報だけを用いて認証対象者と登録者との同一性を判定してもよい。
【０１７５】
また、上記実施形態においては、入力された顔（認証対象者の顔）が特定の登録者であるか否かを判定する場合について説明したが、これに限定されず、認証対象者が複数の登録者のうちの誰であるかを判定する顔識別に上記の思想を適用するようにしてもよい。例えば、登録されている複数の人物の各顔特徴量と認証対象者の顔特徴量との類似度を全て算出して、各比較対象者（登録者）と認証対象者との同一性をそれぞれ判定すればよい。また、特定数の人物に絞り込むことで足りる場合には、複数の比較対象者のうち、その同一性が高い順に特定数の比較対象者を選択するようにしてもよい。
【０１７６】
また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて、認証対象者の顔の３次元情報を取得しているがこれに限定されない。具体的には、図１９に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者の顔の３次元情報を取得してもよい。すなわち、光切断法によって３次元情報を取得するようにしてもよい。但し、上記実施形態のように２台のカメラを含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。
【図面の簡単な説明】
【０１７７】
【図１】顔認証システムの概要を示す概念図である。
【図２】顔認証システムを示す構成図である。
【図３】コントローラの構成概要を示す図である。
【図４】コントローラの各種機能構成を示すブロック図である。
【図５】個人認証部の詳細な機能構成を示すブロック図である。
【図６】認証動作を示すフローチャートである。
【図７】登録動作を示すフローチャートである。
【図８】顔画像における特徴的な部位の特徴点を示す図である。
【図９】２次元画像中の特徴点から３次元座標を算出する模式図である。
【図１０】３次元の顔の標準モデルを示す図である。
【図１１】個別モデルにおける各特徴点の移動先の点と標準モデルにおける対応特徴点の移動先の点とを示す図である。
【図１２】標準モデルの周囲に配置される円筒面を示す図である。
【図１３】標準モデルの周囲に配置される球面を示す図である。
【図１４】各パッチの分類例を示す図である。
【図１５】標準モデルの或るグループに属する各パッチが、投影面に投影される様子を示す図である。
【図１６】標準モデルの表面形状に沿って設定される座標軸を示す図である。
【図１７】標準モデルの注目点において設定される座標軸と投影平面における座標系の座標軸との関係を示す図である。
【図１８】最適化処理後の状態を示す図である。
【図１９】光切断法を用いた３次元形状測定器を示す図である。
【符号の説明】
【０１７８】
１  顔認証システム（認証システム）
１０  コントローラ
ＡＸ１〜ＡＸ４，ＣＸ１〜ＣＸ４  座標軸
Ａｄ，Ｂｄ  顔特徴量
Ｃ１〜Ｃ５  パッチ
ＣＡ１，ＣＡ２  カメラ
ＨＭａ  比較対象者
ＨＭｂ  認証対象者
ＰＢ１〜ＰＢ５  （個別モデル上の）特徴点
ＰＬ，ＰＬ１１，ＰＬ１２，ＰＬ１５  投影面
ＰＳ０〜ＰＳ５  （標準モデル上の）特徴点
ＰＴ０〜ＰＴ５  目的点
【図１】
2007164498.tif 000021
【図２】
2007164498.tif 000022
【図３】
2007164498.tif 000023
【図４】
2007164498.tif 000024
【図５】
2007164498.tif 000025
【図６】
2007164498.tif 000026
【図７】
2007164498.tif 000027
【図８】
2007164498.tif 000028
【図９】
2007164498.tif 000029
【図１１】
2007164498.tif 000030
【図１２】
2007164498.tif 000031
【図１３】
2007164498.tif 000032
【図１４】
2007164498.tif 000033
【図１５】
2007164498.tif 000034
【図１６】
2007164498.tif 000035
【図１７】
2007164498.tif 000036
【図１８】
2007164498.tif 000037
【図１９】
2007164498.tif 000038
【図１０】
2007164498.tif 000039