(57)【要約】【課題】人物を含む物の同一性を認証するに際して、高精度の認証を行うことが可能な認証技術を提供する。【解決手段】認証対象物（例えば、認証対象者）及び比較対象物（例えば、比較対象者）のうちの少なくとも一方について、同種の物（例えば、人物）に共通して具備されている共通特徴部位とは異なり且つ個別に具備されている個別特徴部位を検出する。その後、検出された個別特徴部位の特徴量を認識し、当該特徴量を用いた認証を実行する。【選択図】図３
2007304857.tif 000002
【特許請求の範囲】
【請求項１】
認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、
多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出する個別部位検出手段と、
前記個別部位に係る個別部位特徴量を認識する個別特徴量認識手段と、
前記個別部位特徴量を用いて前記認証対象物に関する認証を行う認証手段と、
を備えることを特徴とする認証システム。
【請求項２】
請求項１に記載の認証システムであって、
前記認証対象画像、及び前記比較対象画像について、前記共通部位に係る共通部位特徴量を認識する共通特徴量認識手段、
を更に備え、
前記認証手段が、
前記個別部位特徴量と前記共通部位特徴量とを用いて前記認証対象物に関する認証を行うことを特徴とする認証システム。
【請求項３】
請求項２に記載の認証システムであって、
前記認証手段が、
前記個別部位特徴量を用いた第１の判定、及び前記共通部位特徴量を用いた第２の判定の双方において、物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする認証システム。
【請求項４】
請求項１または請求項２に記載の認証システムであって、
前記個別部位検出手段が、
多数の同種の物をそれぞれ捉えた多数の基準画像と、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像とを、それぞれ同一のルールで分割して生成した部分画像毎に比較することで、前記個別部位を検出することを特徴とする認証システム。
【請求項５】
請求項４に記載の認証システムであって、
前記個別部位検出手段が、
前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を対象として、前記部分画像毎に、前記多数の基準画像から求められた当該部分画像を特徴付ける所定のパラメータに係る基準値に対して、前記所定のパラメータに係る偏差を算出する手段と、
前記偏差が所定の基準を超える場合に、当該偏差に係る部分画像を、前記個別部位を捉えた個別部位含有部分画像として判別する判別手段と、
を有することを特徴とする認証システム。
【請求項６】
請求項５に記載の認証システムであって、
前記個別部位検出手段が、
前記個別部位含有部分画像が複数隣接する場合、当該隣接する複数の個別部位含有部分画像を１つの個別部位に相当する個別部位領域として認識する領域認識手段、
を更に有することを特徴とする認証システム。
【請求項７】
請求項６に記載の認証システムであって、
前記個別部位検出手段が、
前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、前記個別部位領域毎に、前記多数の基準画像から求められた当該個別部位領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る偏差を算出する手段と、
前記複数の個別部位領域のうち、大きな方から前記所定数の因子偏差に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段と、
を更に有することを特徴とする認証システム。
【請求項８】
請求項５または請求項６に記載の認証システムであって、
前記個別部位毎に、前記多数の基準画像から求められた各前記個別部位に対応する領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る因子偏差を算出する偏差算出手段、
を更に備え、
前記認証手段が、
各前記個別部位特徴量に対して、各前記個別部位に係る前記因子偏差に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする認証システム。
【請求項９】
請求項１または請求項２に記載の認証システムであって、
前記個別部位検出手段が、
部分空間法を用いることで、前記個別部位を検出することを特徴とする認証システム。
【請求項１０】
請求項９に記載の認証システムであって、
前記個別部位検出手段が、
多数の同種の物をそれぞれ捉えた多数の基準画像から共通部分空間を決定し、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を構成する画素毎に当該画素に係るパラメータを部分空間に投影した際に、前記共通部分空間に含まれない画素投影領域に係る画素群によって形成される画像領域を、前記個別部位に相当する個別部位領域として認識する領域認識手段、
を有することを特徴とする認証システム。
【請求項１１】
請求項１０に記載の認証システムであって、
前記個別部位検出手段が、
前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、当該複数の個別部位領域のうち、前記共通部分空間からのズレ角が大きな方から所定数の画素投影領域に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段、
を更に有することを特徴とする認証システム。
【請求項１２】
請求項１０または請求項１１に記載の認証システムであって、
前記認証手段が、
前記個別部位毎に前記個別部位特徴量に対して、当該個別部位に係る画素投影領域の前記共通部分空間からのズレ角に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする認証システム。
【請求項１３】
請求項１から請求項１２のいずれかに記載の認証システムであって、
前記個別部位の位置を前記共通部位の位置を基準とした相対的な値によって表現した相対位置を算出する位置算出手段、
を更に備えることを特徴とする認証システム。
【請求項１４】
請求項１３に記載の認証システムであって、
前記相対位置が、
前記共通部位の位置を基準とした３次元相対位置を含むことを特徴とする認証システム。
【請求項１５】
請求項１３または請求項１４に記載の認証システムであって、
前記個別部位特徴量が、
前記相対位置を示す情報を含むことを特徴とする認証システム。
【請求項１６】
請求項１から請求項１５のいずれかに記載の認証システムであって、
前記個別特徴量認識手段が、
前記個別部位に相当する画像領域の輝度値及び当該画像領域を構成する画素値の微分値のうちの少なくとも一方を用いて、前記個別部位特徴量を算出する特徴量算出手段、
を備えることを特徴とする認証システム。
【請求項１７】
請求項１から請求項１６のいずれかに記載の認証システムであって、
前記個別部位検出手段が、
前記認証対象画像を対象として、前記個別部位を検出する第１の検出手段と、
前記比較対象画像を対象として、前記個別部位を検出する第２の検出手段と、
を有し、
前記個別特徴量認識手段が、
前記第１の検出手段によって検出された個別部位について、第１の特徴量を認識する第１の認識手段と、
前記第２の検出手段によって検出された個別部位について、第２の特徴量を認識する第２の認識手段と、
を有し、
前記認証手段が、
前記第１の特徴量を用いた一方向の判定、及び前記第２の特徴量を用いた逆方向の判定の双方において物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする認証システム。
【請求項１８】
請求項１から請求項１６のいずれかに記載の認証システムであって、
前記個別部位検出手段が、
前記認証対象画像を対象として、前記個別部位を検出する第１の検出手段と、
前記比較対象画像を対象として、前記個別部位を検出する第２の検出手段と、
を有し、
前記個別特徴量認識手段が、
前記第１の検出手段によって検出された個別部位について、第１の特徴量を認識する第１の認識手段と、
前記第２の検出手段によって検出された個別部位について、第２の特徴量を認識する第２の認識手段と、
を有し、
前記認証手段が、
前記第１の特徴量を用いた一方向の判定を行う一方向判定手段と、
前記第２の特徴量を用いた逆方向の判定を行う逆方向判定手段と、
を有し、
前記認証システムが、
前記一方向の判定を行う第１のモードと、前記逆方向の判定を行う第２のモードとを切り替えるモード切替手段、
を更に備えることを特徴とする認証システム。
【請求項１９】
認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、
(a)多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出するステップと、
(b)前記個別部位に係る個別部位特徴量を認識するステップと、
(c)前記個別部位特徴量を用いて前記認証対象物に関する認証を行うステップと、
を備えることを特徴とする認証方法。
【請求項２０】
認証システムに含まれるコンピュータによって実行されることにより、前記認証システムを、請求項１から請求項１８のいずれかに記載の認証システムとして機能させるプログラム。
【請求項２１】
認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、
前記認証対象物の特徴量を記憶媒体に記憶する情報記憶システムと、
前記記憶媒体に記憶された前記認証対象物の特徴量を用いて前記認証対象物に関する認証を行う認証実行システムと、
を備え、
前記情報記憶システムが、
前記認証対象物を捉えた画像について、多数の同種の物に共通して具備されている共通部位の特徴量を認識して第１の記憶媒体に記憶させる一方、前記共通部位とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第１の記憶媒体とは異なる第２の記憶媒体に記憶させる記憶制御手段、
を有し、
前記認証実行システムが、
前記第１の記憶媒体を受け付ける第１の受付手段と、
前記第２の記憶媒体を受け付ける第２の受付手段と、
前記第１の受付手段によって受け付けられた前記第１の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行う第１の認証手段と、
前記第２の受付手段によって受け付けられた前記第２の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行う第２の認証手段と、
を備えることを特徴とする認証システム。
【請求項２２】
認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、
(i)前記認証対象物を捉えた画像から多数の同種の物に共通して具備されている共通部位の特徴量を認識して第１の記憶媒体に記憶させるとともに、前記画像から前記共通部分とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第１の記憶媒体とは異なる第２の記憶媒体に記憶させるステップと、
(ii)前記第１の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行うステップと、
(iii)前記第２の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行うステップと、
を備えることを特徴とする認証方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の認証技術に関する。
【背景技術】
【０００２】
近年、ネットワーク技術等の発展によって電子化された様々なサービスが普及し、人に頼らない非対面での本人認証技術の必要性が高まっている。これに伴い、人物の生体特徴によって自動的に個人の識別を行うバイオメトリクス認証技術（生体認証技術）の研究が盛んに行われている。バイオメトリクス認証技術の一つである顔認証技術は、非接触型の認証方法であり、監視カメラによるセキュリティ或いは顔をキーとした画像データベース検索等、様々な分野での応用が期待されている。
【０００３】
このような認証技術としては、予め登録された登録画像と認証対象物を撮影した撮影画像とをそれぞれ平面情報（「テクスチャ情報」あるいは「２次元情報」）としてのみ取得しておき、単純に両画像の平面情報を比較することによって、登録画像内の人物と撮影画像内の人物とが同一人物であるか否かを判定することが行われる（例えば、非特許文献１参照）。
【０００４】
そして、輪郭、左目、右目、鼻、及び口などといった一般的な顔の部位について、形状や配置の特徴に個人性に応じた重みを付与して、個人性が多く含まれている特徴を個人性が乏しい特徴に比べ重視して照合を行うことで、認証精度を高める技術が提案されている（例えば、特許文献１）。
【０００５】
また、一般的な顔の部品である顔輪郭、頭髪、眉毛、目、鼻孔、及び口唇等についての一般特徴と、顔の凹凸による皺、疵などを示す線分、及びほくろ等といった個人の顔を特徴づける固有特徴とを用いて照合を行うことで、認証精度を高める技術が提案されている（例えば、特許文献２）。
【０００６】
【非特許文献１】ダデット・プラマディハント、呉海元、谷内田正彦、「多様な姿勢を有する入力顔画像からの個人識別」、電子情報通信学会論文誌、D-II、１９９７年８月、Vol.J80-D-II、No.８、pp.2232-2238
【特許文献１】特開２００３−５８８８８号公報
【特許文献２】特開２００５−２４２４３２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、上記技術においては、比較の対象となる両画像における人物の姿勢（向き）が同一でない場合には、高精度の認証を行うことができないという問題がある。
【０００８】
また、特許文献１で提案された技術では、一般的な顔の部位の形状や配置のみに着目した照合を行うため、認証精度が決して高いとは言えない。
【０００９】
更に、特許文献２で提案された技術では、顔全体を用いたパターンマッチングを行うため、個人毎に特徴的でない領域も含めた広範囲の認証となり、認証精度が低下してしまう。
【００１０】
このような問題は、顔認証に限らず物体の認証技術一般に共通する。
【００１１】
本発明は、上記課題に鑑みてなされたものであり、人物を含む物の同一性を認証するに際して、高精度の認証を行うことが可能な認証技術を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記の課題を解決するために、請求項１の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出する個別部位検出手段と、前記個別部位に係る個別部位特徴量を認識する個別特徴量認識手段と、前記個別部位特徴量を用いて前記認証対象物に関する認証を行う認証手段とを備えることを特徴とする。
【００１３】
また、請求項２の発明は、請求項１に記載の認証システムであって、前記認証対象画像、及び前記比較対象画像について、前記共通部位に係る共通部位特徴量を認識する共通特徴量認識手段を更に備え、前記認証手段が、前記個別部位特徴量と前記共通部位特徴量とを用いて前記認証対象物に関する認証を行うことを特徴とする。
【００１４】
また、請求項３の発明は、請求項２に記載の認証システムであって、前記認証手段が、前記個別部位特徴量を用いた第１の判定、及び前記共通部位特徴量を用いた第２の判定の双方において、物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする。
【００１５】
また、請求項４の発明は、請求項１または請求項２に記載の認証システムであって、前記個別部位検出手段が、多数の同種の物をそれぞれ捉えた多数の基準画像と、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像とを、それぞれ同一のルールで分割して生成した部分画像毎に比較することで、前記個別部位を検出することを特徴とする。
【００１６】
また、請求項５の発明は、請求項４に記載の認証システムであって、前記個別部位検出手段が、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を対象として、前記部分画像毎に、前記多数の基準画像から求められた当該部分画像を特徴付ける所定のパラメータに係る基準値に対して、前記所定のパラメータに係る偏差を算出する手段と、前記偏差が所定の基準を超える場合に、当該偏差に係る部分画像を、前記個別部位を捉えた個別部位含有部分画像として判別する判別手段とを有することを特徴とする。
【００１７】
また、請求項６の発明は、請求項５に記載の認証システムであって、前記個別部位検出手段が、前記個別部位含有部分画像が複数隣接する場合、当該隣接する複数の個別部位含有部分画像を１つの個別部位に相当する個別部位領域として認識する領域認識手段を更に有することを特徴とする。
【００１８】
また、請求項７の発明は、請求項６に記載の認証システムであって、前記個別部位検出手段が、前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、前記個別部位領域毎に、前記多数の基準画像から求められた当該個別部位領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る偏差を算出する手段と、前記複数の個別部位領域のうち、大きな方から前記所定数の因子偏差に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段とを更に有することを特徴とする。
【００１９】
また、請求項８の発明は、請求項５または請求項６に記載の認証システムであって、前記個別部位毎に、前記多数の基準画像から求められた各前記個別部位に対応する領域を特徴付ける所定の変動因子に係る基準値に対し、前記所定の変動因子に係る因子偏差を算出する偏差算出手段を更に備え、前記認証手段が、各前記個別部位特徴量に対して、各前記個別部位に係る前記因子偏差に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする。
【００２０】
また、請求項９の発明は、請求項１または請求項２に記載の認証システムであって、前記個別部位検出手段が、部分空間法を用いることで、前記個別部位を検出することを特徴とする。
【００２１】
また、請求項１０の発明は、請求項９に記載の認証システムであって、前記個別部位検出手段が、多数の同種の物をそれぞれ捉えた多数の基準画像から共通部分空間を決定し、前記認証対象画像及び前記比較対象画像のうちの少なくとも一方の画像を構成する画素毎に当該画素に係るパラメータを部分空間に投影した際に、前記共通部分空間に含まれない画素投影領域に係る画素群によって形成される画像領域を、前記個別部位に相当する個別部位領域として認識する領域認識手段を有することを特徴とする。
【００２２】
また、請求項１１の発明は、請求項１０に記載の認証システムであって、前記個別部位検出手段が、前記領域認識手段によって所定数を超える複数の個別部位領域が認識された場合に、当該複数の個別部位領域のうち、前記共通部分空間からのズレ角が大きな方から所定数の画素投影領域に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない手段を更に有することを特徴とする。
【００２３】
また、請求項１２の発明は、請求項１０または請求項１１に記載の認証システムであって、前記認証手段が、前記個別部位毎に前記個別部位特徴量に対して、当該個別部位に係る画素投影領域の前記共通部分空間からのズレ角に応じた重み付けを行って、前記認証対象物に関する認証を行うことを特徴とする。
【００２４】
また、請求項１３の発明は、請求項１から請求項１２のいずれかに記載の認証システムであって、前記個別部位の位置を前記共通部位の位置を基準とした相対的な値によって表現した相対位置を算出する位置算出手段を更に備えることを特徴とする。
【００２５】
また、請求項１４の発明は、請求項１３に記載の認証システムであって、前記相対位置が、前記共通部位の位置を基準とした３次元相対位置を含むことを特徴とする。
【００２６】
また、請求項１５の発明は、請求項１３または請求項１４に記載の認証システムであって、前記個別部位特徴量が、前記相対位置を示す情報を含むことを特徴とする。
【００２７】
また、請求項１６の発明は、請求項１から請求項１５のいずれかに記載の認証システムであって、前記個別特徴量認識手段が、前記個別部位に相当する画像領域の輝度値及び当該画像領域を構成する画素値の微分値のうちの少なくとも一方を用いて、前記個別部位特徴量を算出する特徴量算出手段を備えることを特徴とする。
【００２８】
また、請求項１７の発明は、請求項１から請求項１６のいずれかに記載の認証システムであって、前記個別部位検出手段が、前記認証対象画像を対象として、前記個別部位を検出する第１の検出手段と、前記比較対象画像を対象として、前記個別部位を検出する第２の検出手段とを有し、前記個別特徴量認識手段が、前記第１の検出手段によって検出された個別部位について、第１の特徴量を認識する第１の認識手段と、前記第２の検出手段によって検出された個別部位について、第２の特徴量を認識する第２の認識手段とを有し、前記認証手段が、前記第１の特徴量を用いた一方向の判定、及び前記第２の特徴量を用いた逆方向の判定の双方において物の特徴が一致していることを示す所定の基準を満たしていると判定された場合に、前記認証対象物と前記比較対象物とが同一であると判定することを特徴とする。
【００２９】
また、請求項１８の発明は、請求項１から請求項１６のいずれかに記載の認証システムであって、前記個別部位検出手段が、前記認証対象画像を対象として、前記個別部位を検出する第１の検出手段と、前記比較対象画像を対象として、前記個別部位を検出する第２の検出手段とを有し、前記個別特徴量認識手段が、前記第１の検出手段によって検出された個別部位について、第１の特徴量を認識する第１の認識手段と、前記第２の検出手段によって検出された個別部位について、第２の特徴量を認識する第２の認識手段とを有し、前記認証手段が、前記第１の特徴量を用いた一方向の判定を行う一方向判定手段と、前記第２の特徴量を用いた逆方向の判定を行う逆方向判定手段とを有し、前記認証システムが、前記一方向の判定を行う第１のモードと、前記逆方向の判定を行う第２のモードとを切り替えるモード切替手段を更に備えることを特徴とする。
【００３０】
また、請求項１９の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、(a)多数の同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を、前記認証対象物を捉えた認証対象画像、及び前記比較対象物を捉えた比較対象画像のうちの少なくとも一方の画像から検出するステップと、(b)前記個別部位に係る個別部位特徴量を認識するステップと、(c)前記個別部位特徴量を用いて前記認証対象物に関する認証を行うステップとを備えることを特徴とする。
【００３１】
また、請求項２０の発明は、認証システムに含まれるコンピュータによって実行されることにより、前記認証システムを、請求項１から請求項１８のいずれかに記載の認証システムとして機能させるプログラムである。
【００３２】
また、請求項２１の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムであって、前記認証対象物の特徴量を記憶媒体に記憶する情報記憶システムと、前記記憶媒体に記憶された前記認証対象物の特徴量を用いて前記認証対象物に関する認証を行う認証実行システムとを備え、前記情報記憶システムが、前記認証対象物を捉えた画像について、多数の同種の物に共通して具備されている共通部位の特徴量を認識して第１の記憶媒体に記憶させる一方、前記共通部位とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第１の記憶媒体とは異なる第２の記憶媒体に記憶させる記憶制御手段を有し、前記認証実行システムが、前記第１の記憶媒体を受け付ける第１の受付手段と、前記第２の記憶媒体を受け付ける第２の受付手段と、前記第１の受付手段によって受け付けられた前記第１の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行う第１の認証手段と、前記第２の受付手段によって受け付けられた前記第２の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行う第２の認証手段とを備えることを特徴とする。
【００３３】
また、請求項２２の発明は、認証対象物が比較対象物と同一であるか否かを認証する認証システムにおける認証方法であって、(i)前記認証対象物を捉えた画像から多数の同種の物に共通して具備されている共通部位の特徴量を認識して第１の記憶媒体に記憶させるとともに、前記画像から前記共通部分とは異なり且つ個別に具備されている個別部位の特徴量を認識して前記第１の記憶媒体とは異なる第２の記憶媒体に記憶させるステップと、(ii)前記第１の記憶媒体に記憶された前記共通部位の特徴量を用いて前記認証対象物に関する認証を行うステップと、(iii)前記第２の記憶媒体に記憶された前記個別部位の特徴量を用いて前記認証対象物に関する認証を行うステップとを備えることを特徴とする。
【発明の効果】
【００３４】
請求項１から請求項２０のいずれに記載の発明によっても、認証対象物及び比較対象物のうちの少なくとも一方について、同種の物に共通して具備されている共通部位とは異なり且つ個別に具備されている個別部位を検出するとともに、当該個別部位の特徴量を認識して認証を行うような構成を採用することで、物体毎すなわち個別に異なる特徴的な部位を用いた認証が可能となるため、人物を含む物の同一性を認証するに際して、高精度の認証を行うことが可能な認証技術を提供することができる。
【００３５】
また、請求項２に記載の発明によれば、個別部位の特徴量と共通部位の特徴量とを用いて認証を行うような構成を採用することで、大まかな特徴と細かい特徴の双方を用いた認証を行うことができるため、高精度の認証が可能となる。
【００３６】
また、請求項３に記載の発明によれば、個別部位の特徴量を用いた判定、及び共通部位の特徴量を用いた判定の双方において、特徴が一致していると判定された場合に、認証対象物と比較対象物とが同一であると判定されるような構成を採用することで、厳しい基準に沿った認証によって更に高精度の認証が可能となる。
【００３７】
また、請求項４に記載の発明によれば、同種の物をそれぞれ捉えた多数の基準画像と、認証対象物及び比較対象物のうちの少なくとも一方を捉えた画像とを、それぞれ同一のルールで分割した部分画像毎に比較することで、個別部位を検出するような構成を採用することで、個別部位を検出する演算時間を短縮化することができる。また、共通部位に係る微妙な相違以外の大きな相違点である個別部位をより確実に検出することができる。
【００３８】
また、請求項５に記載の発明によれば、多数の基準画像から求まる部分画像の特徴についての基準値に対する偏差が所定の基準を超える部分画像を、個別部位を捉えた画像として判別するような構成を採用することで、ある程度大きな相違点である個別部位を容易に検出することができる。
【００３９】
また、請求項６に記載の発明によれば、個別部位を捉えた部分画像が複数隣接する場合に、当該隣接する複数の部分画像を１つの個別部位に相当する部分画像領域として認識するような構成を採用することで、１まとまりの個別部位をより確実に検出することができる。
【００４０】
また、請求項７に記載の発明によれば、所定数を超える数の個別部位に相当する複数の部分画像領域が認識された場合には、多数の基準画像から求まる基準値に対して偏差が大きな方から所定数の部分画像領域を、複数の部分画像領域から選択的に採用する一方で、残余の部分画像領域は採用しないような構成を採用することで、ある程度大きな特徴を有する個別部位に絞り込んだ認証が可能となるため、認証に要する演算時間を短縮化することができる。
【００４１】
また、請求項８に記載の発明によれば、個別部位毎に個別部位の特徴量に対して、多数の基準画像から求まる基準値に対する偏差に応じた重み付けを行って認証を行うような構成を採用することで、より大きな特徴を有する個別部位を重視した認証が可能となるため、認証精度をより一層向上させることができる。
【００４２】
また、請求項９及び請求項１０のいずれに記載の発明によっても、部分空間法を用いて、認証対象物及び比較対象物のうちの少なくとも一方について個別部位を検出するような構成を採用することで、より安定かつ確実に個別部位を検出することができる。
【００４３】
また、請求項１１に記載の発明によれば、所定数を超える数の個別部位領域が認識された場合には、当該複数の個別部位領域から、多数の同種の物をそれぞれ捉えた多数の基準画像に基づいて決定される共通部分空間からのズレ角が大きな方から所定数の個別部位領域を選択的に採用する一方で、残余の個別部位領域は採用しないような構成を採用することで、ある程度大きな特徴を有する個別部位に絞り込んだ認証が可能となるため、認証に要する演算時間を短縮化することができる。
【００４４】
また、請求項１２に記載の発明によれば、個別部位毎に個別部位の特徴量に対して、共通部分空間からのズレ角に応じた重み付けを行って認証を行うような構成を採用することで、より大きな特徴を有する個別部位を重視した認証が可能となるため、認証精度をより一層向上させることができる。
【００４５】
また、請求項１３に記載の発明によれば、個別部位の位置を共通部位の位置を基準とした相対的な値によって表現するような構成を採用することで、表情の変化等といった認証対象物の状況の変化の影響に拘わらず、高精度の認証を行うことができる。
【００４６】
また、請求項１４に記載の発明によれば、個別部位の位置を共通部位の位置を基準とした３次元相対位置によって表現するような構成を採用することで、顔等の認証対象物の向きによらず安定した認証が可能となる。
【００４７】
また、請求項１５及び請求項１６のいずれに記載の発明によっても、共通部位の位置に対する個別部位の相対位置を示す情報を、個別部位の特徴量に含めて認証を行うような構成を採用することで、より確実かつ精度の高い認証が可能となる。
【００４８】
また、請求項１７に記載の発明によれば、認証対象物に係る個別部位の特徴量を認識して当該特徴量を用いて行う一方向の判定、及び比較対象者に係る個別部位の特徴量を認識して当該特徴量を用いて行う逆方向の判定の双方において、特徴が一致していることを示す所定の基準を満たすと判定された場合に、認証対象物と比較対象物とが同一であると判定されるような構成を採用することで、更に精度の高い認証が可能となる。
【００４９】
また、請求項１８に記載の発明によれば、認証対象物に係る個別部位の特徴量を認識して当該特徴量を用いて認証を行うモードと、比較対象者に係る個別部位の特徴量を認識して当該特徴量を用いて認証を行うモードとを切り替えるような構成を採用することで、比較対象物の数に応じた高精度の認証が可能となる。
【００５０】
また、請求項２１及び請求項２２のいずれに記載の発明によっても、認証対象物を捉えた画像から同種の物に共通して具備されている共通部位の特徴量と、当該共通部分とは異なり且つ個別に具備されている個別部位の特徴量とをそれぞれ認識して、各々別の記憶媒体に記憶させておき、一方の記憶媒体に記憶されている共通部位の特徴量を用いた認証と、他方の記憶媒体に記憶されている個別部位の特徴量を用いた認証とを別々に実行するような構成を採用することで、要求される認証精度に応じた認証を実行させることができる。
【発明を実施するための最良の形態】
【００５１】
以下、本発明の実施形態を図面に基づいて説明する。なお、以下の実施形態では顔の認証について説明するが、本発明は他の物体の認証にも適用できる。
【００５２】
＜実施形態＞
＜認証システムの概要＞
図１は、本発明の実施形態に係る認証システム１を示す構成図である。図１に示すように認証システム１は、コントローラ１０と２台の画像撮影カメラ（以下、単に「カメラ」とも称する）ＣＡ１及びＣＡ２とで構成されている。
【００５３】
カメラＣＡ１とカメラＣＡ２とは、それぞれ異なる位置から撮影対象物である人物ＨＭの顔を撮影できるように配置されている。カメラＣＡ１とカメラＣＡ２とによって人物（認証対象者又は登録対象者）の顔画像が撮影されると、当該撮影により得られる人物の外観情報すなわち２種類の顔画像がコントローラ１０に通信線を介して送信される。なお、各カメラとコントローラ１０との間における画像データの通信方式は有線方式に限定されず、無線方式であっても良い。
【００５４】
図２は、コントローラ１０の構成概要を示す図である。図２に示されるように、コントローラ１０は、ＣＰＵ２と、記憶部３と、メディアドライブ４と、液晶ディスプレイなどの表示部５と、キーボード６ａ及びポインティングデバイスであるマウス６ｂなどの入力部（操作部）６と、ネットワークカードなどの通信部７とを備えたパーソナルコンピュータなどの一般的なコンピュータで構成される。
【００５５】
記憶部３は、複数の記憶媒体、具体的には、ハードディスクドライブ（ＨＤＤ）３ａと、ＨＤＤ３ａよりも高速処理可能なＲＡＭ（半導体メモリ）３ｂとを有している。また、メディアドライブ４は、ＣＤ−ＲＯＭ、ＤＶＤ（Digital Versatile Disk）、フレキシブルディスク、メモリカードなどの可搬性の記録媒体８からその中に記録されている情報を読み出すことができる。また、記憶部３は、コントローラ１０のおける各種データ処理の過程で生成される各種データをＲＡＭ３ｂで一時的に記憶したり、ＨＤＤ３ａで記憶する。
【００５６】
なお、このコントローラ１０に対して供給される情報は、記録媒体８を介して供給される場合に限定されず、ＬＡＮ及びインターネットなどのネットワークを介して供給されても良い。
【００５７】
＜コントローラの機能構成＞
図３は、コントローラ１０が備える各種機能を示すブロック図である。図４は、画像正規化部１４の詳細な機能構成を示すブロック図であり、図５は、特徴認識部１５の詳細な機能構成を示すブロック図であり、図６は、登録部１８の詳細な機能構成を示すブロック図であり、図７は、認証部１９の詳細な機能構成を示すブロック図である。
【００５８】
コントローラ１０の備える各種機能は、コントローラ１０内のＣＰＵ等の各種ハードウェアを用いて所定のソフトウェアプログラム（以下、単に「プログラム」とも称する）を実行することによって、実現される機能を概念的に示すものである。
【００５９】
図３に示されるように、コントローラ１０は、画像入力部１１、顔領域検索部１２、顔部位検出部１３、画像正規化部１４、特徴認識部１５、操作入力部１６、モード切替部１７、登録部１８、認証部１９、及び出力部２０を備えている。
【００６０】
画像入力部１１は、カメラＣＡ１及びＣＡ２によって撮影された２枚の画像をコントローラ１０に入力する機能を有している。
【００６１】
顔領域検索部１２は、入力された顔画像から顔領域を特定する機能を有している。
【００６２】
顔部位検出部１３は、特定した顔領域から多数の人物に共通して具備されている顔の特徴的な部位（例えば、目、眉、鼻、口等であり、以下「共通特徴部位」と総称する）の位置を検出する機能を有している。
【００６３】
画像正規化部１４は、認証対象者（又は登録対象者）に関する情報を正規化する機能を有している。この画像正規化部１４の詳細については後述する。
【００６４】
特徴認識部１５は、画像正規化部１４で得られた情報から認証対象者（又は登録対象者）の顔を構成する部位に係る３次元情報と２次元情報とを認識する機能を有している。この特徴認識部１５は、一般的な人間の顔に具備されている共通特徴部位に係る情報だけでなく、共通特徴部位とは異なり、各人個別に具備されている顔の特徴的な部位（例えば、ほくろ、傷、皺等であり、以下「個別特徴部位」と総称する）を検出するとともに、当該個別特徴部位に係る位置情報等の各種情報を認識する機能を有している。この特徴認識部１５の詳細については後述する。
【００６５】
操作入力部１６は、操作部６に対するユーザーの操作に応答して入力される信号を受け付け、各種動作や制御を実現させる機能を有している。
【００６６】
モード切替部１７は、操作入力部１６からの信号に応じて、登録モード、詳細照合モード、高速照合モード、及び１対ｎ識別モードによって構成される４つのモードのうちの何れか１つのモードにコントローラ１０を選択的に切り替える機能を有している。登録モードは、登録対象者の顔の特徴を登録するモードであり、詳細照合モードは、認証対象者と比較対象者とが同一人物か否かを極めて高精度で照合するモードであり、高速照合モードは、認証対象者と比較対象者とが同一人物であるか否かを比較的高精度かつ短時間で照合するモードであり、１対ｎ識別モードは、既に登録された多数（ｎ人）の人物の中に認証対象者が含まれているか否かを識別するモードである。なお、以下では、詳細照合モード、高速照合モード、及び１対ｎ識別モードを適宜「認証モード」と総称する。
【００６７】
登録部１８は、コントローラ１０が登録モードに設定されている場合に、特徴認識部１５で認識された情報を記憶部３内のＨＤＤ３ａに登録する機能を有している。この登録部１８の詳細については後述する。
【００６８】
認証部１９は、顔の認証を主たる目的として構成され、各個人を顔画像で認証する機能を有している。この認証部１９の詳細についても後述する。
【００６９】
出力部２０は、認証部１９で得られた認証結果を出力する機能を有している。
【００７０】
次に、画像正規化部１４の詳細構成について図４を用いて説明する。
【００７１】
図４に示すように、画像正規化部１４は、３次元再構成部１４１、最適化部１４２、及び補正部１４３を有している。
【００７２】
３次元再構成部１４１は、予めカメラパラメータ記憶部５１に記憶されている各カメラＣＡ１，ＣＡ２の位置姿勢等を示すカメラパラメータを参照することで、入力画像から得られる顔を構成する共通特徴部位の座標から各部位の３次元座標を算出する機能を有している。
【００７３】
最適化部１４２は、３次元再構成部１４１で算出された各部位の３次元座標を用いて、３次元モデルデータベース（ＤＢ）５２に格納されている顔の標準モデルから個別モデルを生成する機能を有している。
【００７４】
補正部１４３は、最適化部１４２で生成された個別モデルを補正する機能を有している。
【００７５】
これらの各処理部１４１〜１４３によって、認証対象者（又は登録対象者）に関する情報は、正規化され、相互比較しやすい状態に変換される。具体的には、顔の向き、サイズ（画素数）が正規化される。また、各処理部の機能によって作成された個別モデルは、認証対象者（又は登録対象者）に関する３次元情報と２次元情報との双方を含むものとして形成される。「３次元情報」は、３次元座標値等で構成される立体的構成に関連する情報であり、「２次元情報」は、表面情報（テクスチャ情報）及び／又は平面的な位置情報等で構成される平面的構成に関連する情報である。
【００７６】
次に、特徴認識部１５の詳細構成について図５を用いて説明する。
【００７７】
図５に示すように、特徴認識部１５は、共通部位特徴量認識部１５１、情報圧縮部１５２、個別部位領域認識部１５３、個別部位領域選択採用部１５４、及び個別部位特徴量認識部１５５を有している。
【００７８】
共通部位特徴量認識部１５１は、画像正規化部１４で得られた３次元顔モデルから３次元情報と２次元情報とを共通特徴部位に係る特徴量（以下「共通部位特徴量」とも称する）として認識する機能を有する。
【００７９】
情報圧縮部１５２は、共通部位特徴量認識部１５１で抽出された３次元情報と２次元情報とをそれぞれ、顔認証用の適切な共通部位特徴量に変換することで、顔認証に用いる３次元情報と２次元情報とをそれぞれ圧縮する機能を有している。この情報圧縮機能は、部位基底ベクトルデータベース（ＤＢ）６１に格納された情報等を用いて実現される。
【００８０】
個別部位領域認識部１５３は、画像正規化部１４で得られた３次元顔モデル（以下「正規化画像」とも称する）を微分した画像を解析することで、正規化画像から各個別特徴部位をそれぞれ捉えた画像領域（以下「個別部位領域」とも称する）を認識する個別部位領域認識機能を有している。この個別部位領域認識機能は、統計微分画像情報データベース（ＤＢ）６２に格納された情報等を用いて実現される。
【００８１】
個別部位領域選択採用部１５４は、個別部位領域認識部１５３で認識された個別部位領域が所定数（例えば、１０個）を超える場合に、他人と異なる度合いが顕著な方から順に所定数の個別部位領域を選択的に採用する機能を有している。なお、個別部位領域選択採用部１５４では、個別部位領域認識部１５３で認識された個別部位領域が所定数（例えば、１０個）を超えていない場合は、全ての個別部位領域をそのまま採用する。
【００８２】
個別部位特徴量認識部１５５は、個別部位領域選択採用部１５４で採用された個別部位領域についての特徴量、すなわち位置、画素値等といった個別部位に係る特徴量（以下「個別部位特徴量」とも称する）を認識する機能を有している。
【００８３】
次に、登録部１８の詳細構成について図６を用いて説明する。
【００８４】
登録部１８は、記憶制御部１８１を有している。
【００８５】
記憶制御部１８１は、特徴認識部１５で認識された共通部位特徴量及び個別部位特徴量を登録対象者毎に区別してＨＤＤ３ａに記憶することで、特徴量データベース（ＤＢ）７１を構築するように制御する機能を有している。
【００８６】
次に、認証部１９の詳細構成について図７を用いて説明する。
【００８７】
認証部１９は、共通特徴量読出部１９１、共通部位比較部１９２、個別部位比較位置決定部１９３、個別部位比較部１９４、及び総合判定部１９５を有している。
【００８８】
共通特徴量読出部１９１は、特徴量ＤＢ７１から比較対象者に係る共通特徴量を読み出す機能を有している。
【００８９】
共通部位比較部１９２は、特徴認識部１５で認識された認証対象者に係る共通部位特徴量と、共通特徴量読出部１９１で読み出された比較対象者に係る共通部位特徴量との類似度を算出する機能を有している。
【００９０】
個別部位比較位置決定部１９３は、高速照合モードでは、認証対象者を捉えた画像のうち比較対象者に係る個別特徴部位の位置と対応する位置を個別特徴部位に係る比較位置として決定し、１対ｎ識別モードでは、比較対象者を捉えた画像のうち認証対象者に係る個別特徴部位の位置と対応する位置を個別特徴部位に係る比較位置として決定する機能を有している。
【００９１】
個別部位比較部１９４は、個別部位比較位置決定部１９３によって決定された比較位置について、特徴認識部１５で認識された認証対象者に係る個別部位特徴量と特徴量ＤＢ７１に予め登録された比較対象者に係る個別部位特徴量との類似度を算出する機能と、特徴量ＤＢ７１に予め登録された比較対象者に係る個別部位特徴量と特徴認識部１５で認識された認証対象者に係る個別部位特徴量との類似度を算出する機能とを有している。
【００９２】
総合判定部１９５は、共通部位比較部１９２で算出された共通特徴部位に係る類似度と、個別部位比較部１９４で算出した個別特徴部位に係る類似度とに基づいて、認証対象者と比較対象者とが同一人物であるか否かを判定する機能を有する。
【００９３】
＜登録モードにおける動作＞
以下では、上述したコントローラ１０の登録モードに係る各機能についてより詳細に説明する。
【００９４】
図８は、登録モード設定時におけるコントローラ１０の動作を示すフローチャートであり、図９は、画像正規化処理工程（ステップＳＰ４）の詳細なフローチャートである。図１０は、顔画像における共通特徴部位の特徴点を示す図である。図１１は、２次元画像中の特徴点から三角測量の原理を用いて３次元座標を算出する様子を示す模式図である。なお、図１１中の符号Ｇ１は、カメラＣＡ１により撮影されコントローラ１０に入力された画像Ｇ１を示し、符号Ｇ２は、カメラＣＡ２により撮影されコントローラ１０に入力された画像Ｇ２を示している。また、画像Ｇ１，Ｇ２中の点Ｑ２０は、図１０における口の右端に相当する。
【００９５】
以下では、カメラＣＡ１及びＣＡ２で撮影した人物を登録対象者として、実際に顔認証用の情報を登録する場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報として主にテクスチャ（輝度）情報を用いる場合を例示する。
【００９６】
図８に示されるように、コントローラ１０は、ステップＳＰ１からステップＳＰ６までの工程において、登録対象者の顔を撮影した画像（以下「登録対象画像」とも称する）に基づき登録対象者の顔に係る共通部位特徴量を取得するとともに、ステップＳＰ７からステップＳＰ９までの工程において、登録対象画像に基づき登録対象者の顔に係る個別部位特徴量を取得し、ステップＳＰ１０の工程を経ることで、登録対象者の顔の特徴が登録される。
【００９７】
まず、ステップＳＰ１において、カメラＣＡ１及びＣＡ２によって撮影された人物（登録対象者）の顔画像（登録対象画像）が、通信線を介しコントローラ１０に入力される。顔画像を撮影するカメラＣＡ１及びカメラＣＡ２は、それぞれ、２次元画像を撮影可能な一般的な撮影装置で構成される。また、当該各カメラＣＡｉの位置姿勢等を示すカメラパラメータＢｉ（ｉ＝１・・Ｎ）は既知であり、予めカメラパラメータ記憶部５１（図４）に記憶されている。ここで、Ｎはカメラの台数を示している。本実施形態ではＮ＝２の場合を例示しているが、Ｎ≧３としてもよい（３台以上のカメラを用いてもよい）。また、カメラパラメータＢｉについては後述する。
【００９８】
次に、ステップＳＰ２において、カメラＣＡ１及びＣＡ２より入力された２枚の登録対象画像それぞれにおいて、顔の存在する領域が検出される。例えば、予め用意された標準の顔画像を用いたテンプレートマッチングにより、２枚の画像それぞれから顔領域を検出することができる。
【００９９】
次に、ステップＳＰ３において、ステップＳＰ２で検出された顔領域の画像の中から、一般的な人物の顔に共通して具備されている特徴的な部位（共通特徴部位）の位置が検出される。例えば、共通特徴部位としては、目、眉、鼻又は口等が考えられ、ステップＳＰ３では、図１０に示されるような上記各部位の特徴点Ｑ１〜Ｑ２３の座標が算出される。
【０１００】
共通特徴部位は、例えば、共通特徴部位の標準的なテンプレートを用いて行うテンプレートマッチングにより検出することができる。また、算出される特徴点の座標は、カメラより入力された画像Ｇ１、Ｇ２上の座標として表される。例えば、図１０における口の右端に相当する特徴点Ｑ２０に関して、図１１中に示すように、２枚の画像Ｇ１，Ｇ２のそれぞれにおける座標値が求められる。具体的には、画像Ｇ１の左上の端点を原点Ｏとして、特徴点Ｑ２０の画像Ｇ１上の座標（ｘ１，ｙ１）が算出される。画像Ｇ２においても同様に特徴点Ｑ２０の画像Ｇ２上の座標（ｘ２，ｙ２）が算出される。
【０１０１】
また、入力された画像における各特徴点を頂点とする領域内の各画素の輝度値が、当該領域の有する情報（以下、「テクスチャ情報」とも称する）として取得される。各領域におけるテクスチャ情報は、後述のステップＳＰ４２等において、個別モデルに貼り付けられる。なお、本実施形態の場合、入力される画像は２枚であるので、各画像の対応する領域に属する画素における平均の輝度値を当該領域のテクスチャ情報として用いるものとする。
【０１０２】
次のステップＳＰ４（画像正規化工程）では、ステップＳＰ３で検出された各特徴点の座標値及び各領域のテクスチャ情報等に基づいて、登録対象者に関する画像情報が正規化される。この画像正規化工程（ステップＳＰ４）は、図９に示されるように、３次元再構成工程（ステップＳＰ４１）とモデルフィッテング工程（ステップＳＰ４２）と補正工程（ステップＳＰ４３）とを有している。これらの工程を経ることによって、登録対象者に関する情報は、登録対象者に関する３次元情報と２次元情報との双方を含む「個別モデル」として、正規化された状態で生成される。以下、各工程（ステップＳＰ４１〜ＳＰ４３）について詳細に説明する。
【０１０３】
まず、３次元再構成工程（ステップＳＰ４１）では、ステップＳＰ３において検出された各特徴点Ｑｊの各画像Ｇｉ（ｉ＝１，...，Ｎ）における２次元座標Ｕｉ(j)と、各画像Ｇｉを撮影したカメラのカメラパラメータＢｉとに基づいて、各特徴点Ｑｊの３次元座標Ｍ(j)（ｊ＝１・・・ｍ）が算出される。なお、ｍは特徴点の数を示している。
【０１０４】
以下、３次元座標Ｍ(j)の算出について具体的に説明する。
【０１０５】
各特徴点Ｑｊの３次元座標Ｍ(j)と各特徴点Ｑｊの２次元座標Ｕｉ(j)とカメラパラメータＢｉとの関係は式（１）のように表される。
【０１０６】
【数１】
2007304857.tif 000003
【０１０７】
なお、μｉは、スケールの変動分を示す媒介変数である。また、カメラパラメータ行列Ｂｉは、予め３次元座標が既知の物体を撮影することにより求められる各カメラ固有の値であり、３×４の射影行列で表される。
【０１０８】
例えば、上記式（１）を用いて３次元座標を算出する具体的な例として、特徴点Ｑ２０の３次元座標Ｍ(20)を算出する場合を図１１を用いて考える。式（２）は画像Ｇ１上の特徴点Ｑ２０の座標（ｘ１，ｙ１）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。同様に、式（３）は、画像Ｇ２上の特徴点Ｑ２０の座標（ｘ２，ｙ２）と特徴点Ｑ２０を３次元空間で表したときの３次元座標（ｘ，ｙ，ｚ）との関係を示している。
【０１０９】
【数２】
2007304857.tif 000004
【０１１０】
【数３】
2007304857.tif 000005
【０１１１】
上記式（２）及び式（３）中の未知数は、２つの媒介変数μ１、μ２と３次元座標Ｍ(20)の３つの成分値ｘ，ｙ，ｚとの合計５つである。一方、式（２）及び式（３）に含まれる等式の数は６であるため、各未知数つまり特徴点Ｑ２０の３次元座標（ｘ，ｙ，ｚ）を算出することができる。また、同様にして、全ての特徴点Ｑｊについての３次元座標Ｍ(j)を取得することができる。
【０１１２】
次のステップＳＰ４２では、モデルフィッテングが行われる。この「モデルフィッティング」は、予め準備された一般的（標準的）な顔の立体モデルである「（顔の）標準モデル」を、登録対象者に関する情報を用いて変形することによって、登録対象者の顔に関する入力情報が反映された「個別モデル」を生成する処理である。具体的には、算出された３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理と、上記のテクスチャ情報を用いて標準モデルの２次元情報を変更する処理とが行われる。
【０１１３】
図１２は、３次元の顔の標準モデルを示している。
【０１１４】
図１２に示されるように、顔の標準モデルは、頂点データとポリゴンデータとで構成され、記憶部３に格納された３次元モデルデータベース（ＤＢ）５２（図４）に含まれている。頂点データは、標準モデルにおける特徴部位の頂点（以下、「標準制御点」とも称する）ＣＯｊの座標の集合であり、ステップＳＰ４１において算出される各特徴点Ｑｊの３次元座標と１対１に対応している。ポリゴンデータは、標準モデルの表面を微小な多角形（例えば、三角形）のポリゴンに分割し、ポリゴンを数値データとして表現したものである。なお、図１０では、各ポリゴンの頂点が標準制御点ＣＯｊ以外の中間点によっても構成される場合を例示しており、中間点の座標は標準制御点ＣＯｊの座標値を用いた適宜の補完手法によって得ることが可能である。
【０１１５】
ここで、標準モデルから個別モデルを構成するモデルフィッティングについて詳述する。
【０１１６】
まず、標準モデルの各特徴部位の頂点（標準制御点ＣＯｊ）を、ステップＳＰ４１において算出された各特徴点に移動させる。具体的には、各特徴点Ｑｊの３次元座標値を、対応する標準制御点ＣＯｊの３次元座標値として代入し、移動後の標準制御点（以下、「個別制御点」とも称する）Ｃｊを得る。これにより、標準モデルを３次元座標Ｍ(j)で表した個別モデルに変形することができる。なお、個別モデルにおける個別制御点Ｃｊ以外の中間点の座標は、個別制御点Ｃｊの座標値を用いた適宜の補間手法によって得ることが可能である。
【０１１７】
また、この変形（移動）による各頂点の移動量から、後述のステップＳＰ４３において用いられる、標準モデルを基準にした場合の個別モデルのスケール、傾き及び位置を求めることができる。具体的には、標準モデルにおける所定の基準位置と、変形後の個別モデルにおける対応基準位置との間のずれ量によって、個別モデルの標準モデルに対する位置変化を求めることができる。また、標準モデルにおける所定の２点を結ぶ基準ベクトルと、変形後の個別モデルにおける当該所定の２点の対応点を結ぶ基準ベクトルとの間のずれ量によって、個別モデルの標準モデルに対する傾きの変化及びスケール変化を求めることができる。例えば、右目の目頭の特徴点Ｑ１と左目の目頭の特徴点Ｑ２との中点ＱＭの座標と標準モデルにおいて中点ＱＭに相当する点の座標とを比較することによって個別モデルの位置を求めることができ、さらに、中点ＱＭと他の特徴点とを比較することによって個別モデルのスケール及び傾きを算出することができる。
【０１１８】
次の式（４）は、標準モデルと個別モデルとの間の対応関係を表現する変換パラメータ（ベクトル）ｖｔを示している。式（４）に示すように、この変換パラメータ（ベクトル）ｖｔは、両者のスケール変換指数ｓｚと、直交３軸方向における並進変位を示す変換パラメータ（ｔｘ，ｔｙ，ｔｚ）と、回転変位（傾き）を示す変換パラメータ（φ，θ，ψ）とをその要素とするベクトルである。
【０１１９】
【数４】
2007304857.tif 000006
【０１２０】
上述のようにして、認証対象者に関する３次元座標Ｍ(j)を用いて標準モデルの３次元情報を変更する処理が行われる。
【０１２１】
その後、テクスチャ情報を用いて標準モデルの２次元情報を変更する処理も行われる。具体的には、入力画像Ｇ１，Ｇ２における各領域のテクスチャ情報が、３次元の個別モデル上の対応する領域（ポリゴン）に貼り付け（マッピング）られる。なお、立体モデル（個別モデル等）上でテクスチャ情報が貼り付けられる各領域（ポリゴン）は「パッチ」とも称せられる。
【０１２２】
以上のようにして、モデルフィッティング処理（ステップＳＰ４２）が行われる。
【０１２３】
次のステップＳＰ４３では、標準モデルを基準にして個別モデルの補正が行われる。本工程では、アライメント補正と、シェーディング補正とが実行される。アライメント補正は、３次元情報に関する補正処理であり、シェーディング補正は、２次元情報に関する補正処理である。
【０１２４】
アライメント（顔向き）補正は、上記ステップＳＰ４２において求められる標準モデルを基準にした際の個別モデルのスケール、傾き及び位置を基にして行われる。より詳細には、標準モデルを基準にした際の標準モデルと個別モデルとの関係を示す変換パラメータｖｔ（式（４）参照）を用いて個別モデルを座標変換することで、標準モデルの姿勢と同じ姿勢を有する３次元顔モデルを作成することができる。すなわち、このアライメント補正によって、認証対象者に関する３次元情報を適切に正規化することができる。
【０１２５】
また、シェーディング補正は、個別モデルにマッピングされているパッチ内の各画素の輝度値（テクスチャ情報（図１３参照））を補正する処理である。このシェーディング補正によれば、光源と被写体人物との位置関係が標準モデル作成のための人物撮影時と個別モデルの対象人物撮影時（登録対象者撮影時）とで相違する場合に生じる、両モデル（標準モデルおよび個別モデル）のテクスチャ情報の相違を補正することができる。すなわち、シェーディング補正によれば、認証対象者に関する２次元情報の１つであるテクスチャ情報を適切に正規化することができる。
【０１２６】
以上のように画像正規化工程（ステップＳＰ４）では、登録対象者に関する情報が、登録対象者に関する３次元情報と２次元情報との双方を含む個別モデルとして、正規化された状態で生成される。
【０１２７】
次のステップＳＰ５（図８）では、個別モデルの特徴すなわち共通特徴部位の特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが抽出される。
【０１２８】
３次元情報としては、個別モデルにおけるｍ個の個別制御点Ｃｊの３次元座標ベクトルが抽出される。具体的には、式（５）に示されるように、ｍ個の個別制御点Ｃｊ（ｊ＝１，...，ｍ）の３次元座標（Ｘｊ，Ｙｊ，Ｚｊ）を要素とするベクトルｈSが３次元情報（３次元形状情報）として抽出される。
【０１２９】
【数５】
2007304857.tif 000007
【０１３０】
また、２次元情報としては、個人認証にとって重要な情報となる顔の特徴的な部分つまり個別制御点付近のパッチ又はパッチのグループ（局所領域）が有するテクスチャ（輝度）情報（以下、「局所２次元情報」とも称する）が抽出される。
【０１３１】
局所２次元情報は、例えば、正規化後の特徴的な部位の個別制御点を示す図１４中のグループＧＲ（個別制御点Ｃ２０、Ｃ２２及びＣ２３を頂点とするパッチＲ１と個別制御点Ｃ２１、Ｃ２２及びＣ２３を頂点とするパッチＲ２）から構成される領域、又は、単に一つのパッチからなる領域等の各局所領域が有する各画素の輝度情報として構成される。局所２次元情報ｈ(k)（ｋ＝１，...，Ｌ；Ｌは局所領域数）は、それぞれ、当該局所領域内の画素数をｎ、各画素の輝度値をＢＲ１，...，ＢＲｎとすると、式（６）のようなベクトル形式で表される。また、局所２次元情報ｈ(k)をＬ個の局所領域について集めた情報は、総合的な２次元情報であるとも表現される。
【０１３２】
【数６】
2007304857.tif 000008
【０１３３】
以上のように、ステップＳＰ５では、個別モデルの特徴、すなわち共通部位特徴量を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが認識される。
【０１３４】
抽出された情報は後述の認証に用いられる。当該認証では、式（６）で得られる情報をそのまま用いて認証を行うようにしてもよいが、その場合、局所領域内の画素数が多いときには、認証での計算量が非常に大きくなってしまう。そこで、この実施形態では、計算量を低減して効率的に認証を行うことを企図して、式（６）で得られる情報を更に圧縮し圧縮後の情報を用いて認証動作を行うものとする。
【０１３５】
そのため、次のステップＳＰ６では、ステップＳＰ５で抽出された情報を、認証に適した状態に変換する次述の情報圧縮処理を行う。
【０１３６】
情報圧縮処理は、３次元形状情報ｈS及び各局所２次元情報ｈ(k)のそれぞれに対して同様の手法を用いて行われるが、ここでは、局所２次元情報ｈ(k)に対して情報圧縮処理を施す場合について詳細に説明する。
【０１３７】
局所２次元情報ｈ(k)は、複数のサンプル顔画像から予め取得される当該局所領域の平均情報（ベクトル）ｈave(k)と、複数のサンプル顔画像をＫＬ展開することによって予め算出される当該局所領域の固有ベクトルのセットで表現される行列Ｐ(k)（次述）とを用いて式（７）のように基底分解された形式で表すことができる。この結果、局所２次元顔情報量（ベクトル）ｃ(k)が、局所２次元情報ｈ(k)についての圧縮情報として取得される。
【０１３８】
【数７】
2007304857.tif 000009
【０１３９】
上述のように式（７）中の行列Ｐ(k)は、複数のサンプル顔画像から算出される。具体的には、行列Ｐ(k)は、複数のサンプル顔画像をＫＬ展開することによって求められる複数の固有ベクトルのうち、固有値の大きい数個の固有ベクトル（基底ベクトル）のセットとして求められる。これらの基底ベクトルは、部分基底ベクトルＤＢ６１に記憶されている。顔画像についてのより大きな特徴を示す固有ベクトルを基底ベクトルとしてその顔画像を表現することによれば、顔画像の特徴を効率的に表現することが可能となる。
【０１４０】
例えば、図１４に示されているグループＧＲからなる局所領域の局所２次元情報ｈ(GR)を基底分解された形式で表現する場合を考える。当該局所領域の固有ベクトルのセットＰが、３つの固有ベクトルＰ１、Ｐ２及びＰ３によってＰ＝（Ｐ１，Ｐ２，Ｐ３）と表現されているとすると、局所２次元情報ｈ(GR)は、当該局所領域の平均情報ｈave(GR)と固有ベクトルのセットＰ１，Ｐ２，Ｐ３を用いて式（８）のように表される。平均情報ｈave(GR)は、様々なサンプル顔画像についての複数の局所２次元情報（ベクトル）を対応要素ごとに平均して得られるベクトルである。なお、複数のサンプル顔画像は、適度なばらつきを有する標準的な複数の顔画像を用いればよい。
【０１４１】
【数８】
2007304857.tif 000010
【０１４２】
また、上記式（８）は、顔情報量ｃ(GR)＝（ｃ１，ｃ２，ｃ３）Tによって元の局所２次元情報を再現することが可能であることを示している。すなわち、顔情報量ｃ(GR)は、グループＧＲからなる局所領域の局所２次元情報ｈ(GR)を圧縮した情報といえる。
【０１４３】
上記のようにして取得された局所２次元顔情報量ｃ(GR)をそのまま認証動作に用いてもよいが、この実施形態ではさらなる情報圧縮を行う。具体的には、局所２次元顔情報量ｃ(GR)が表す特徴空間を個人間の分離を大きくするような部分空間へと変換する処理を更に行う。より詳細には、式（９）に表されるようベクトルサイズｆの局所２次元顔情報量ｃ(GR)をベクトルサイズｇの局所２次元特徴量ｄ(GR)に低減させる変換行列Ａを考える。これにより、局所２次元顔情報量ｃ(GR)で表される特徴空間を局所２次元特徴量ｄ(GR)で表される部分空間に変換することができ、個人間の情報の相違が顕著になる。
【０１４４】
【数９】
2007304857.tif 000011
【０１４５】
ここで、変換行列Ａはｆ×ｇのサイズを有する行列である。重判別分析（ＭＤＡ：Multiple Discriminant Analysis）法を用いて、特徴空間から級内分散と級間分散との比率（Ｆ比）の大きい主成分をｇ個選び出すことによって、変換行列Ａを決定することができる。
【０１４６】
また、上述した局所２次元情報ｈ(GR)について行った情報圧縮処理と同様の処理を他の全ての局所領域にも実行することによって、各局所領域についての局所２次元共通部位特徴量ｄ(k)を取得することができる。また、３次元形状情報ｈSに対しても同様の手法を適用することにより３次元共通部位特徴量ｄSを取得することができる。
【０１４７】
上記ステップＳＰ６を経て取得される３次元共通部位特徴量ｄSと局所２次元共通部位特徴量ｄ(k)とを組み合わせた共通部位特徴量ｄは、ベクトル形式で式（１０）のように表すことができる。
【０１４８】
【数１０】
2007304857.tif 000012
【０１４９】
以上に述べたステップＳＰ１〜ＳＰ６の工程において、入力される登録対象者の顔画像から当該対象者の共通部位特徴量ｄが認識される。
【０１５０】
そして、次のステップＳＰ７〜ＳＰ９では、個別部位特徴量が認識される。
【０１５１】
ステップＳＰ７（個別特徴部位検出工程）では、ステップＳＰ４で正規化された画像に基づいて、個別特徴部位が検出される。この個別特徴部位検出工程（ステップＳＰ７）は、図１５に示すステップＳＰ７１〜ＳＰ７４の工程を行う。以下、各工程について、図１３に示すように、右目の斜め下に有るホクロを個別特徴部位として認識する場合を例示しつつ、説明する。
【０１５２】
ステップＳＰ７１では、個別特徴部位として採用する候補（以下「個別特徴部位候補」とも称する）を認識する。個別特徴部位候補の認識方法としては、例えば、ステップＳＰ４で正規化されたテクスチャ情報（以下「正規化済画像」とも称する）を微分した画像（微分画像）を解析する手法を採用することができる。
【０１５３】
例えば、図１３に示すように、右目の斜め下にホクロがある顔を捉えたテクスチャー画像を微分すると、図１６に示すような微分画像が得られ、右目の斜め下に有るホクロＨＫの存在が強調された態様となる。次に、図１７に示すように、微分画像をグリッド状に分割することで同一形状・サイズをそれぞれ有する多数の正方形状の部分画像ＣＵに分け、各部分画像ＣＵ毎に画素値の合計値を算出する。そして、予め多数の人物についても同一のルールで分割して部分画像毎に画素値の合計値（画素合計値）を統計的に処理した情報（以下「統計微分画像情報」とも称する）と比較することで、個別特徴部位候補を認識する。
【０１５４】
ここでは、登録対象画像に係る部分画像ＵＣのうち、多数の人物をそれぞれ捉えた多数の基準画像から求まる各部分画像を特徴付ける所定のパラメータ（ここでは、微分画像の画素合計値）に係る基準値に対し、偏差が所定の基準値を超える部分画像を、個別特徴部位を捉えた部分画像（以下「個別部位含有画像」とも称する）として判別する。
【０１５５】
例えば、ある部分画像ＣＵについて、図１８(a)に示すような多数の基準画像に係る統計的情報が得られている場合に、登録対象画像に係る微分画像を構成する部分画像について、図１８(b)に示すように、基準値Ｖaveに対する所定の偏差値Ｖthを超える画素合計値Ｖpが算出された場合には、当該部分画像が、個別特徴部位を捉えた個別部位含有画像すなわち個別特徴部位候補であると認識される。このように、多数の基準画像から求まる基準値に対する偏差が所定の基準を超える部分画像を、個別特徴部位を捉えた個別部位含有画像として判別するため、ある程度大きな差異点を有する個別特徴部位候補ひいては個別特徴部位を容易に検出することができる。
【０１５６】
更に、個別部位含有画像が複数個相互に隣接し合う場合には、当該相互に隣接し合う複数個の個別部位含有画像が１つの個別部位に相当する領域（以下「個別部位領域」とも称する）として認識される。このようにして個別部位領域を認識することで、１まとまりの個別特徴部位候補をより確実に検出することができる。
【０１５７】
なお、統計微分画像情報は、予め統計微分画像情報データベース（ＤＢ）６２に格納しておけば良く、人物以外の認証を行う場合には、統計微分画像情報は、多数の同種の物をそれぞれ捉えた多数の基準画像に係る微分画像を統計的に処理した情報であれば良い。
【０１５８】
また、グリッド状に分割した後の部分画像としては、例えば、１６×１６画素などといった具合に一定の画素領域によって構成される部分画像などが挙げられる。なお、画素毎に画素値を比較して個別特徴部位を含む画素を認識することで個別部位領域を認識する手法も考えられるが、ある程度の大きさを有する部分画像毎に比較する手法を採用する方が、個別特徴部位候補ひいては個別特徴部位を検出する演算時間を短縮化することができる。
【０１５９】
また、画素毎に比較を行うと、個人間における共通特徴部位に係る微妙な差異点まで、個別特徴部位を含有する画素として認識してしまい、個別特徴部位を共通特徴部位とは区別して検出することができない。これに対して上述の如く、ある程度の大きさを有する部分画像毎に比較する手法を採用すると、共通特徴部位とは区別して、より顕著な差異点である個別特徴部位をより確実に検出することができる。
【０１６０】
図１５のステップＳＰ７２では、ステップＳＰ７１で所定数（例えば１０個）を超える数の個別部位領域が認識されたか否かを判定する。ここで、個別部位領域の数が所定数を超えている場合には、ステップＳＰ７３に進み、所定数を超えていない場合には、ステップＳＰ７４に進む。
【０１６１】
ステップＳＰ７３では、ステップＳＰ７１で認識した個別特徴部位候補のうち、顕著な特徴を有する方から順に所定数（例えば１０個）の個別特徴部位候補（すなわち個別部位領域）を選択的に採用する一方で、残余の個別特徴部位候補については採用しない。顕著な特徴を有する順番を判断する際の手法としては、例えば、各個別部位領域について、多数の人物をそれぞれ捉えた多数の基準画像から求まる各個別部位領域を特徴付ける所定の変動因子（ここでは、微分画像の画素合計値）に係る基準値からの離れ度合い（偏差）を利用する手法が挙げられる。ここでは、所定の変動因子に係る基準値は上述した統計微分画像情報から求めることができ、各個別部位領域に係る離れ度合い（偏差）を微分画像に係る画素合計値から算出して、当該偏差が大きい方から顕著な特徴を有していると判断することができる。
【０１６２】
ステップＳＰ７４では、ステップＳＰ７２から進んで来た場合には、ステップＳＰ７１で認識された所定数以下の個別特徴部位候補をそのまま個別特徴部位として決定し、ステップＳＰ７３から進んで来た場合には、ステップＳＰ７３で選択的に採用された所定数の個別特徴部位候補を個別特徴部位として決定する。
【０１６３】
なお、ここで個別特徴部位の数を所定数以下に絞り込んだのは、ある程度大きな特徴を有する個別特徴部位に絞り込んだ方が、後述する認証等に要する演算時間を短縮化することができるからである。
【０１６４】
このように、ステップＳＰ７（個別特徴部位検出工程）では、多数の人物をそれぞれ捉えた多数の基準となる画像（基準画像）と登録対象画像とをそれぞれ微分し、それぞれ同一のルールで分割した部分画像ＣＵ毎に比較することで、個別特徴部位候補ひいては個別特徴部位を認識することができる。
【０１６５】
図８のステップＳＰ８（個別特徴部位の位置算出工程）では、ステップＳＰ７で検出された個別特徴部位の３次元位置を算出する。この個別特徴部位の位置算出工程（ステップＳＰ８）は、図１９に示すステップＳＰ８１、ステップＳＰ８２の工程を行う。以下、各工程について説明する。
【０１６６】
ステップＳＰ８１では、ステップＳＰ７で検出された各個別特徴部位について、３次元の絶対位置を算出する。ここでは、ステップＳＰ４１の３次元再構成工程における座標系と同様な座標系において、各個別特徴部位の重心の位置が算出される。
【０１６７】
ステップＳＰ８２では、ステップＳＰ７で検出された各個別特徴部位について、共通特徴部位を基準とした相対的な値によって表現された３次元位置（３次元相対位置）を算出する。ここでは、各個別特徴部位について、正規化後における共通特徴部位のうちの個別特徴部位から最も近い方から３つ以上の共通特徴部位を基準とした相対位置が算出される。例えば、図２０で示すように、個別特徴部位（ここでは、ホクロ）ＰＰについて、個別特徴部位ＰＰから最も近い３つの共通特徴部位（ここでは、右目、鼻、口）にそれぞれ属する特徴点Ｑ３，Ｑ１７，Ｑ２０に対する相対位置が算出される。
【０１６８】
より詳細には、例えば、式（１１）に表されるように、ｉ番目の個別特徴部位の３次元相対位置Ｐipを、ｊ番目の共通特徴部位の３次元位置Ｐjcに係数（ここでは、ｉ番目の個別特徴部位を表現するｊ番目の共通特徴部位に係る係数）を乗じたベクトルの総和（すなわち線形和）によって算出する。
【０１６９】
【数１１】
2007304857.tif 000013
【０１７０】
なお、ここでは、個別特徴部位の位置を３つ以上の共通特徴部位に対する相対位置によって表現しようとすれば、最低限３つの異なる方向に向いたベクトルによってそれぞれ３次元位置が示される共通特徴部位の特徴点を基準に表現すれば良い。
【０１７１】
このように、個別特徴部位の位置を共通特徴部位の位置を基準とした相対的な数値によって表現するような構成としたのは、顔の表情が若干変化すると、顔全体に対して個別特徴部位が占める位置がずれるが、複数の共通特徴部位に対する個別特徴部位の相対的な位置関係は比較的ずれ難い。そこで、ここでは、上述したように、個別特徴部位の位置を３つ以上の共通特徴部位を基準とした相対的な値によって表現することで、表情の変化等といった認証対象物の状況の変化の影響によらず、後述する認証を高精度に行うことができる。特に、個別特徴部位の位置を共通特徴部位の位置を基準とした３次元相対位置によって表現することで、顔等の認証対象物の向きによらず安定した認証が可能となる。
【０１７２】
図８のステップＳＰ９（個別特徴部位の特徴量認識工程）では、各個別特徴部位について、登録対象画像のうちの個別部位領域の輝度値（画素値）の加算値、登録対象画像に係る微分画像のうちの当該個別部位領域における画素値の加算値、個別部位領域の大きさ（サイズ）、共通特徴部位からの３次元相対位置などを個別特徴部位に係る特徴量（以下「個別部位特徴量」とも称する）として認識する。ここでは、例えば、個別部位特徴量は、各値を各ベクトル成分として表現したベクトルの形式で認識される。
【０１７３】
ステップＳＰ１０（記憶処理工程）では、ステップＳＰ５で認識した上でステップＳＰ６で情報圧縮処理を施された共通部位特徴量と、ステップＳＰ９で認識した個別部位特徴量とを特徴量ＤＢ７１に記憶し、１人の顔の特徴量に係る登録処理が終了する。なお、このステップＳＰ１０では、各個別特徴部位に相当する個別部位領域について、統計微分画像情報から求まる基準値に対する微分画像に係る画素合計値の離れ度合い（偏差）を、登録対象者に係る特徴量と併せて特徴量ＤＢ７１に登録する。
【０１７４】
以上では、１人の登録対象者に係る登録処理について説明したが、以上の登録処理を複数回行うことで、多数の人物の顔の特徴量を蓄積した特徴量ＤＢ７１を構築することができる。このようにして特徴量ＤＢ７１に蓄積された登録対象者の顔の特徴量は、後述する認証処理において認証対象者の顔の特徴量と比較する対象となる。つまり、登録処理において登録対象者であった人物は、認証処理では比較対象者となる。
【０１７５】
＜認証モードにおける動作＞
以下では、上述したコントローラ１０の認証モードに係る各機能についてより詳細に説明する。
【０１７６】
図２１は、認証モード設定時におけるコントローラ１０の動作を示すフローチャートであり、図２２は、詳細照合処理工程（ステップＳＴ８）の詳細なフローチャートである。図２３は、個別特徴部位に係る一方向類似度算出工程（ステップＳＴ８２）の詳細なフローチャートである。図２４は、個別特徴部位に係る逆方向類似度算出工程（ステップＳＴ８３）の詳細なフローチャートである。図２５は、高速照合処理工程（ステップＳＴ９）の詳細なフローチャートである。図２６は、１対ｎ識別処理工程（ステップＳＴ１０）の詳細なフローチャートである。
【０１７７】
以下では、カメラＣＡ１及びＣＡ２で撮影した人物を認証対象者として、実際に顔認証用の情報を認証する場合について説明する。ここでは、３次元情報として、カメラＣＡ１，ＣＡ２による画像を利用して三角測量の原理によって計測された３次元形状情報を用い、２次元情報として主にテクスチャ（輝度）情報を用いる場合を例示する。
【０１７８】
図２１に示されるように、コントローラ１０は、ステップＳＴ１からステップＳＴ６までの工程において、認証対象者の顔を撮影した画像（以下「認証対象画像」とも称する）に基づき認証対象者の顔に係る共通部位特徴量を取得するとともに、ステップＳＴ７からステップＳＴ１０までの工程において、各認証モードに応じた実際の認証を行い、ステップＳＴ１１の工程を経ることで、認証対象者の顔に関する認証処理が実現される。
【０１７９】
まず、ステップＳＴ１では、図８のステップＳＰ１と同様に、カメラＣＡ１及びＣＡ２によって撮影された人物（認証対象者）の顔画像（認証対象画像）が、通信線を介しコントローラ１０に入力される。
【０１８０】
ステップＳＴ２では、図８のステップＳＰ２と同様な処理により、カメラＣＡ１及びＣＡ２より入力された２枚の認証対象画像それぞれにおいて、顔の存在する領域が検出される。
【０１８１】
ステップＳＴ３では、図８のステップＳＰ３と同様な処理により、ステップＳＴ２で検出された顔領域の画像の中から、一般的な人物の顔に共通して具備されている共通特徴部位の位置が検出される。
【０１８２】
ステップＳＴ４（画像正規化工程）では、図８のステップＳＰ４と同様な処理、すなわち図９の画像正規化工程を認証対象画像について行うことで、認証対象者に関する画像情報が正規化される。つまり、認証対象者に関する情報が、認証対象者に関する３次元情報と２次元情報との双方を含む個別モデルとして、正規化された状態で生成される。
【０１８３】
ステップＳＴ５では、図８のステップＳＰ５と同様な処理により、個別モデルの特徴すなわち共通特徴部位の特徴を表す情報として、３次元形状情報（３次元情報）とテクスチャ情報（２次元情報）とが認識される。つまり、認証対象者の共通部位特徴量ｄが認識される。
【０１８４】
ステップＳＴ６では、図８のステップＳＰ６と同様な処理により、ステップＳＴ５で認識された情報を、認証に適した状態に変換する情報圧縮処理を行う。
【０１８５】
このように、ステップＳＴ１〜ＳＴ６の工程では、入力される認証対象者の顔画像から当該対象者の共通部位特徴量ｄが認識される。
【０１８６】
そして、次のステップＳＰ７〜ＳＰ１０では、各認証モードに応じた実際の認証を行う。
【０１８７】
ステップＳＴ７では、現在設定されている認証モードが、詳細照合モード、高速照合モード、及び１対ｎ識別モードの３つのモードのうちの何れのモードに設定されているかを判定する。ここでは、ユーザーの操作部６に対する操作により、コントローラ１０が詳細照合モードに設定されている場合にはステップＳＴ８に進み、コントローラ１０が高速照合モードに設定されている場合にはステップＳＴ９に進み、コントローラ１０が１対ｎ識別モードに設定されている場合にはステップＳＴ１０に進む。
【０１８８】
まず、ステップＳＴ７からステップＳＴ８へ進んで行われる、詳細照合処理工程（ステップＳＴ８）の内容について説明する。
【０１８９】
ステップＳＴ８（詳細照合処理工程）では、［Ａ］共通特徴部位の特徴量を用いて類似度（以下「共通部位類似度」とも称する）を算出する工程（以下「共通部位類似度算出工程」とも称する）と、［Ｂ］認証対象者に係る個別特徴部位の特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度となる一方向の類似度（以下「個別特徴部位に係る一方向類似度」とも称する）を算出する工程（一方向類似度算出工程）と、［Ｃ］特徴量ＤＢ７１に既に登録された比較対象者に係る個別特徴部位の特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度となる逆方向の類似度（以下「個別特徴部位に係る逆方向類似度」とも称する）を算出する工程（逆方向類似度算出工程）とを順次行う。そして、３つの類似度を用いた総合的な判定により、認証対象者と比較対象者とが同一人物か否かを照合する。この詳細照合処理工程（ステップＳＴ８）は、図２２に示すステップＳＴ８１〜ＳＴ８４の工程を行う。なお、ここでは、ユーザーが操作部６を種々操作すること等により、登録済みの多数の人物の中から１名の比較対象者が選択的に指定されているものとして説明する。
【０１９０】
ステップＳＴ８１では、特徴量ＤＢ７１に予め登録されている比較対象者に係る共通部位特徴量（比較特徴量）ｄ（Ａｄ）と、上記ステップＳＴ１〜ＳＴ６を経て算出された認証対象者に係る共通部位特徴量ｄ（Ｂｄ）との類似性の評価（類似度の算出）が行われる。
【０１９１】
具体的には、認証対象者（認証対象物）と比較対象者（比較対象物）との間における共通特徴部位に係る類似度（以下「共通部位類似度」とも称する）Ｒｅcが算出され、後述する総合判定処理（ステップＳＴ８４）において用いられる。共通部位類似度Ｒｅcは、３次元顔特徴量ｄSから算出される３次元類似度ＲｅSと、局所２次元顔特徴量ｄ(k)から算出される局所２次元類似度Ｒｅ(k)とに加えて、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)との重みを規定する適宜の重み付け係数（以下、単に「重み係数」とも称する）ＷＴ，ＷＳ（式（１２）参照）を用いて算出される。
【０１９２】
【数１２】
2007304857.tif 000014
【０１９３】
より詳細には、登録されている比較対象者に係る共通部位特徴量（比較特徴量）（ｄSM及びｄ(k)M）と認証対象者に係る共通部位特徴量（ｄSI及びｄ(k)I）との間で類似度計算が実行され、３次元類似度ＲｅSと局所２次元類似度Ｒｅ(k)とが算出される。
【０１９４】
さて、認証対象者と比較対象者との３次元類似度ＲｅSは、式（１３）に示されるように対応するベクトル同士のユークリッド距離ＲｅSを求めることによって取得される。
【０１９５】
【数１３】
2007304857.tif 000015
【０１９６】
また、局所２次元の類似度Ｒｅ(k)は、式（１４）に示されるように対応する局所領域同士における特徴量の各ベクトル成分ごとのユークリッド距離Ｒｅ(k)を求めることによって取得される。
【０１９７】
【数１４】
2007304857.tif 000016
【０１９８】
そして、式（１５）に示されるように、３次元の類似度ＲｅSと局所２次元の類似度Ｒｅ(k)とを、所定の重み係数ＷＴ，ＷＳを用いて合成し、認証対象者（認証対象物）と比較対象者（比較対象物）との共通部位特徴に係る類似度（共通部位類似度）Ｒｅcを算出することができる。
【０１９９】
【数１５】
2007304857.tif 000017
【０２００】
次に、ステップＳＴ８２（一方向類似度算出工程）では、認証対象者に係る個別部位特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度（一方向類似度）を算出する。この一方向類似度算出工程（ステップＳＴ８２）では、図２３に示されるステップＳＴ８２１〜ＳＴ８２５を行うことで、個別特徴部位に係る一方向類似度Ｒｅpaが算出される。以下、各工程（ステップＳＴ８２１〜ＳＴ８２５）について詳細に説明する。
【０２０１】
ステップＳＴ８２１では、ステップＳＴ４で正規化された認証対象画像（正規化後認証対象画像）から個別特徴部位を検出する。ここでは、例えば、図８のステップＳＰ７における処理と同様な処理によって個別特徴部位を検出する。
【０２０２】
ステップＳＴ８２２では、ステップＳＴ８２１で検出された個別特徴部位の位置を算出する。ここでは、例えば、図８のステップＳＰ８における処理と同様な処理によって、個別特徴部位の共通特徴部位に対する３次元相対位置を算出する。
【０２０３】
ステップＳＴ８２３では、ステップＳＴ８２１で検出された個別特徴部位に係る特徴量（個別部位特徴量）を認識する。ここでは、図８のステップＳＰ９における処理と同様な処理によって、各個別特徴部位について、認証対象画像のうちの個別部位領域の輝度値（画素値）の加算値、認証対象画像に係る微分画像のうちの当該個別部位領域における画素値の加算値、個別部位領域の大きさ（サイズ）、共通特徴部位からの３次元相対位置などを個別部位特徴量として認識する。
【０２０４】
ステップＳＴ８２４では、認証対象画像における個別特徴部位の位置（ステップＳＴ８２２で算出された３次元相対位置）を、比較対象画像において個別特徴部位の特徴量を比較する位置（比較位置）として決定する。この比較位置は、上述した部分画像（例えば１６×１６画素）の単位で決定される。このように、比較位置がある程度の領域の広さを有することで、表情の違いなどにより同一人物を捉えた比較対象画像と認証対象画像間で個別特徴部位の位置が若干ずれても、個別特徴部位が比較位置から容易に外れないようにするためである。
【０２０５】
ステップＳＴ８２５では、ステップＳＴ８２４で決定された比較位置について、特徴量ＤＢ７１に予め登録されている比較対象者に係る個別部位特徴量と、ステップＳＴ８２３で認識された認証対象者に係る個別部位特徴量とを用いて一方向類似度を算出する。
【０２０６】
ここでは、例えば、図２２のステップＳＴ８１と同様に、各比較位置についてそれぞれ個別特徴部位に係る特徴量を表したベクトル同士のユークリッド距離を類似度（ｊ番目の個別部位の類似度をＲｅjpa）として求める。そして、各比較位置について特徴の顕著性に応じた重み付けを行って、全ての比較位置に係る一方向類似度Ｒｅpaを算出する。一方向類似度Ｒｅpaは、式（１６）に示すようなものとなる。
【０２０７】
【数１６】
2007304857.tif 000018
【０２０８】
式（１６）のＷjpaはｊ番目の個別特徴部位に係る特徴の顕著性に応じた重み付け用の係数である。例えば、ｊ番目の個別特徴部位に相当する個別部位領域について、多数の人物をそれぞれ捉えた多数の基準画像から求まる各個別部位領域を特徴付ける所定の変動因子（ここでは、微分画像の画素合計値）に係る基準値からの離れ度合い（偏差）を、重み付け用の係数Ｗjpaとして採用することができる。ここでは、所定の変動因子に係る基準値は上述した統計微分画像情報から求めることができ、各個別部位領域に係る離れ度合い（偏差）を微分画像に係る画素合計値から算出することができる。
【０２０９】
このように、個別部位毎に個別部位の特徴量に対して、多数の顔をそれぞれ捉えた基準画像から求められた基準値に対する偏差に応じた重み付けを行って認証を行うため、より大きな特徴を捉えた個別部位を重視した認証が可能となる。その結果として、認証精度をより一層向上させることができる。
【０２１０】
次の図２２のステップＳＴ８３（逆方向類似度算出工程）では、比較対象者に係る個別部位特徴量を基準として認証対象者の特徴と比較対象者の特徴とが一致するか否かを判定する尺度（逆方向類似度）の算出が行われる。この逆方向類似度算出工程（ステップＳＴ８３）では、図２４に示されるステップＳＴ８３１〜ＳＴ８３４を行うことで、個別特徴部位に係る逆方向類似度Ｒｅpbが算出される。以下、各工程（ステップＳＴ８３１〜ＳＴ８３４）について詳細に説明する。
【０２１１】
ステップＳＴ８３１では、特徴量ＤＢ７１から比較対象者（すなわち比較対象画像）に係る個別特徴部位の３次元相対位置を示す情報を取得する。
【０２１２】
ステップＳＴ８３２では、比較対象画像における個別特徴部位の位置（ステップＳＴ８３１で特徴量ＤＢ７１から取得した３次元相対位置）を、認証対象画像において個別特徴部位の特徴量を比較する位置（比較位置）として決定する。当該比較位置も、上述した部分画像（例えば１６×１６画素）の単位で決定される。
【０２１３】
ステップＳＴ８３３では、認証対象画像について、ステップＳＴ８３２で決定された各比較位置における特徴量を認識する。ここでは、各比較位置について、認証対象画像のうちの個別部位領域の輝度値（画素値）の加算値、認証対象画像に係る微分画像のうちの当該個別部位領域における画素値の加算値などを個別部位特徴量として認識する。
【０２１４】
ステップＳＴ８３４では、ステップＳＴ８３２で決定された比較位置について、特徴量ＤＢ７１に予め登録されている比較対象者に係る個別部位特徴量と、ステップＳＴ８３３で認識された認証対象者の比較位置に係る特徴量とを用いて類似度を算出する。
【０２１５】
ここでは、例えば、図２３のステップＳＴ８２５とほぼ同様に、各比較位置についてそれぞれ個別特徴部位に係る特徴量を表したベクトル同士のユークリッド距離を類似度（ｊ番目の個別部位の類似度をＲｅjpb）として求める。そして、各比較位置について特徴の顕著性に応じた重み付けを行って、全ての比較位置に係る逆方向類似度Ｒｅpbを算出する。逆方向類似度Ｒｅpbは、式（１７）に示すようなものとなる。
【０２１６】
【数１７】
2007304857.tif 000019
【０２１７】
式（１７）のＷjpbはｊ番目の個別特徴部位に係る特徴の顕著性に応じた重み付け用の係数である。例えば、比較対象者に係るｊ番目の個別特徴部位に相当する個別部位領域について、多数の人物をそれぞれ捉えた多数の基準画像から求まる各個別部位領域を特徴付ける所定の変動因子（ここでは、微分画像の画素合計値）に係る基準値からの離れ度合い（偏差）を、重み付け用の係数Ｗjpbとして採用することができる。ここでは、所定の変動因子に係る基準値は上述した統計微分画像情報から求めることができ、各個別部位領域に係る離れ度合い（偏差）を微分画像に係る画素合計値から算出することができる。なお、上述したように、当該偏差は、比較対象者に係る特徴量を特徴量ＤＢ７１に登録する際に併せて登録されている。
【０２１８】
ステップＳＴ８４では、ステップＳＴ８１〜ＳＴ８３のそれぞれにおいて求められた３つの類似度（共通部位類似度Ｒｅc、一方向類似度Ｒｅpa、逆方向類似度Ｒｅpb）から総合類似度Ｒｅ１を算出し、当該総合類似度Ｒｅ１に基づいて認証判定が行われる。総合類似度Ｒｅ１は、例えば、式（１８）に示すように、３つの類似度Ｒｅc，Ｒｅpa，Ｒｅpbと、共通特徴部位に係る重み付け用の係数Ｗcと、個別特徴部位に係る重み付け用の係数Ｗpとを用いて算出された値とすることができる。
【０２１９】
【数１８】
2007304857.tif 000020
【０２２０】
具体的には、総合類似度Ｒｅ１を一定の閾値ＴＨａと比較することによって、認証対象者と比較対象者との同一性が判定される。詳細には、総合類似度Ｒｅ１が一定の閾値ＴＨａよりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
【０２２１】
次に、ステップＳＴ７からステップＳＴ９へ進んで行われる高速照合処理工程（ステップＳＴ９）の内容について説明する。
【０２２２】
ステップＳＴ９（高速照合処理工程）では、［Ａ］共通部位類似度を算出する工程と、［Ｃ］個別特徴部位に係る逆方向類似度を算出する工程（逆方向類似度算出工程）とを順次行う。そして、２つの類似度を用いた総合的な判定により、認証対象者と比較対象者とが同一人物か否かを照合する。この高速照合処理工程（ステップＳＴ９）は、図２５に示すステップＳＴ９１〜ＳＴ９３の工程を行う。なお、ここでは、ユーザーが操作部６を種々操作すること等により、登録済みの多数の人物の中から１名の比較対象者が選択的に指定されているものとして説明する。
【０２２３】
ステップＳＴ９１では、図２２のステップＳＴ８１と同様に、共通部位類似度が算出される。
【０２２４】
ステップＳＴ９２では、図２２のステップＳＴ８３と同様に、個別特徴部位に係る逆方向類似度が算出される。
【０２２５】
ステップＳＴ９３では、ステップＳＴ９１、ステップＳＴ９２のそれぞれにおいて求められた２つの類似度（共通部位類似度Ｒｅc、逆方向類似度Ｒｅpb）から総合類似度Ｒｅ２が算出され、当該総合類似度Ｒｅ２に基づいた判定が行われる。総合類似度Ｒｅ２は、例えば、式（１９）に示すように、２つの類似度Ｒｅc，Ｒｅpbと、共通特徴部位に係る重み付け用の係数Ｗcと、個別特徴部位に係る重み付け用の係数Ｗpとを用いて算出された値とすることができる。
【０２２６】
【数１９】
2007304857.tif 000021
【０２２７】
具体的には、総合類似度Ｒｅ２を一定の閾値ＴＨｂと比較することによって、認証対象者と比較対象者との同一性が判定される。より詳細には、類似度Ｒｅ２が一定の閾値ＴＨｂよりも小さいときに認証対象者が比較対象者と同一人物であると判定される。
【０２２８】
次に、ステップＳＴ７からステップＳＴ１０へ進んで行われる１対ｎ識別処理工程（ステップＳＴ１０）の内容について説明する。
【０２２９】
ステップＳＴ１０（１対ｎ識別処理工程）では、ｎ人の既登録者うちの何れの者が１人の認証対象者と同一人物であるか否かを判定する。この１対ｎ識別工程（ステップＳＴ１０）では、ｎ人の既登録者の全ての者を時間順次に比較対象者として指定して、［Ａ］共通部位類似度を算出する工程と、［Ｂ］個別特徴部位に係る一方向類似度を算出する工程（一方向類似度算出工程）とを順次行う。そして、ｎ人分の２つの類似度の総合的な判定により、ｎ人の既登録者うちの何れの者が１人の認証対象者と同一人物であるかを判定する。この１対ｎ識別工程（ステップＳＴ１０）は、図２６に示すステップＳＴ１０１〜ＳＴ１０８の工程を行う。
【０２３０】
ステップＳＴ１０１では、どの既登録者を比較対象者として指定するのかを決定するためのカウントＮが１に設定される。
【０２３１】
ステップＳＴ１０２では、ステップＳＴ１０１における設定結果に応じて、ｎ人の既登録者のうちのＮ番目の既登録者を比較対象者として指定する。
【０２３２】
ステップＳＴ１０３では、ステップＳＴ１０２で指定された比較対象者と認証対象者とについて、図２２のステップＳＴ８１と同様に、共通部位類似度が算出される。
【０２３３】
ステップＳＴ１０４では、ステップＳＴ１０２で指定された比較対象者と認証対象者とについて、図２２のステップＳＴ８２と同様に、個別特徴部位に係る一方向類似度が算出される。
【０２３４】
ステップＳＴ１０５では、ステップＳＴ１０３で算出された共通部位類似度と、ステップＳＴ１０４で算出された一方向類似度とを用いて、総合類似度Ｒｅ３が算出される。総合類似度Ｒｅ３は、例えば、式（２０）に示すように、２つの類似度Ｒｅc，Ｒｅpaと、共通特徴部位に係る重み付け用の係数Ｗcと、個別特徴部位に係る重み付け用の係数Ｗpとを用いて算出された値とすることができる。
【０２３５】
【数２０】
2007304857.tif 000022
【０２３６】
ステップＳＴ１０６では、ｎ人の既登録者の全てを比較対象者として指定したか否か（具体的には、カウントＮがｎに達したか否か）を判定する。ここで、カウントＮがｎに達していなければ、ステップＳＴ１０７でカウントＮが１だけ増加されて、ステップＳＴ１０２に戻り、次の比較対象者についてステップＳＴ１０２〜ＳＴ１０５の処理が行われる。一方、カウントＮがｎに達していれば、ステップＳＴ１０８に進む。
【０２３７】
ステップＳＴ１０８では、ｎ人の既登録者うちの何れの者が、１人の認証対象者と同一人物であるか否かを判定する。詳細には、例えば、ステップＳＴ１０５で算出されたｎ人の比較対象者についての総合類似度Ｒｅ３のうち、一定の閾値ＴＨｃよりも小さい総合類似度Ｒｅ３が算出された認証対象者と比較対象者の組合せが、同一人物の組合せであると判定される。
【０２３８】
そして、図２１のステップＳＴ１１では、ステップＳＴ８〜ＳＴ１０のうちの何れか一つの処理における判定結果を所望の機能に対して適宜出力する。
【０２３９】
以上のように、上記実施形態の認証システム１によれば、認証対象物（ここでは認証対象者）及び比較対象物（ここでは比較対象者）のうちの少なくとも一方について、同種の物（ここでは人物）に共通して具備されている共通特徴部位とは異なり且つ個別に具備されている個別特徴部位を検出する。そして、各個別特徴部位の特徴量をそれぞれ認識して認証を行う。このようなような構成を採用することで、個別（個人毎）に異なる特徴的な部分を用いた認証が可能となるため、人物を含む物の同一性を認証するに際して、高精度の認証を行うことができる。すなわち、認識率が向上する。そして、共通特徴部位及び個別特徴部位等に係る部分画像を用いて認証を行うことで、顔を捉えた顔画像全体を用いた認識では反映されないような微小な特徴も用いて認証することができるため、結果として認識率が向上する。
【０２４０】
また、個別特徴部位の特徴量と共通特徴部位の特徴量とを用いて認証を行う。このような構成を採用することで、大まかな特徴と細かい特徴の双方を用いた認証を行うことができるため、高精度の認証が可能となる。
【０２４１】
また、共通特徴部位の位置に対する個別特徴部位の相対位置を示す数値を、個別特徴部位の特徴量に含めて認証を行う。このような構成を採用することで、個別特徴部位を特徴付ける大きな要素である位置情報を含めた認証によって、より確実かつ精度の高い認証が可能となる。
【０２４２】
また、ユーザーによる操作部６の操作に応答して、複数の登録対象画像に含まれる登録対象物（ここでは登録対象者及び／又は比較対象者）を捉えた画像について各個別特徴部位の特徴量を認識して認証対象物（ここでは認証対象者）に関する認証を行う高速照合モードと、認証対象物を捉えた画像について個別特徴部位の特徴量を認識して認証対象物に関する認証を行う１対ｎ識別モードとを切り替える。このような構成を採用することで、比較対象物の数が多い場合と１つである場合等といった具合に比較対象物の数に応じた高精度の認証が可能となる。
【０２４３】
＜変形例＞
以上、この発明の実施形態について説明したが、この発明は上記説明した内容のものに限定されるものではない。
【０２４４】
◎例えば、上記実施形態における個別特徴部位の特徴量認識工程では、各個別特徴部位に相当する個別部位領域の輝度値（画素値）の加算値、及び微分画像のうちの個別部位領域における画素値の加算値の双方の値を個別部位特徴量に含ませた。しかしながら、これに限られず、例えば、個別部位領域の輝度値、及び部分画像に係る微分画像の画素値のうちの少なくとも一方を用いて個別部位特徴量を算出するようにしても、上記実施形態と同様な効果を得ることができる。
【０２４５】
◎また、上記実施形態における１対ｎ識別工程では、ｎ人全ての比較対象者と認証対象者との総合類似度Ｒｅ３が算出され、一定の閾値ＴＨｃよりも小さい総合類似度Ｒｅ３が算出された認証対象者と比較対象者の組合せが、同一人物の組合せであると判定された。しかしながら、これに限られず、例えば、各比較対象者に係る総合類似度Ｒｅ３を算出する度に、総合類似度Ｒｅ３が一定の閾値ＴＨｃよりも小さいか否かが判定され、一定の閾値ＴＨｃよりも小さい総合類似度Ｒｅ３が算出された時点で、当該認証対象者と比較対象者の組合せが同一人物の組合せであると判定されて、残余の既登録者については類似度が算出されないようにしても良い。このような構成を採用すれば、１対ｎ識別工程の演算時間を短縮化することができる。
【０２４６】
また、ｎ人全ての比較対象者と認証対象者との総合類似度Ｒｅ３が算出され、一定の閾値ＴＨｃよりも小さい総合類似度Ｒｅ３が算出された認証対象者と比較対象者の組合せのうち、総合類似度Ｒｅ３が最小となる認証対象者と比較対象者の組合せが同一人物の組合せであると判定されるようにしても良い。このような構成とすれば、１対ｎ識別における認証精度が更に向上する。
【０２４７】
◎また、上記実施形態における詳細照合モードでは、３つの類似度Ｒｅc，Ｒｅpa，Ｒｅpbから求めた総合類似度Ｒｅ１が一定の閾値ＴＨａよりも小さいときに認証対象者が比較対象者と同一人物であると判定された。しかしながら、これに限られず、例えば、各類似度Ｒｅc，Ｒｅpa，Ｒｅpbについて、個別に所定の閾値よりも小さいか否か判定し、類似度Ｒｅc，Ｒｅpa，Ｒｅpbが、所定の閾値ＴＨc，ＴＨpa，ＴＨpbよりもそれぞれ小さいときに認証対象者が比較対象者と同一人物であると判定されるようにしても良い。詳細には、式（２１）が成立するようにしても良い。
【０２４８】
【数２１】
2007304857.tif 000023
【０２４９】
また、高速照合モードでは、２つの類似度Ｒｅc，Ｒｅpbから求めた総合類似度Ｒｅ２が一定の閾値ＴＨｂよりも小さいときに認証対象者が比較対象者と同一人物であると判定された。しかしながら、これに限られず、例えば、各類似度Ｒｅc，Ｒｅpbについて、個別に所定の閾値よりも小さいか否か判定し、類似度Ｒｅc，Ｒｅpbが、所定の閾値ＴＨc，ＴＨpbよりもそれぞれ小さいときに認証対象者が比較対象者と同一人物であると判定されるようにしても良い。詳細には、式（２２）が成立するようにしても良い。
【０２５０】
【数２２】
2007304857.tif 000024
【０２５１】
また、１対ｎ識別モードでは、２つの類似度Ｒｅc，Ｒｅpaから求めた総合類似度Ｒｅ３が一定の閾値ＴＨｃよりも小さくなる認証対象者と比較対象者の組合せが同一人物の組合せであると判定された。しかしながら、これに限られず、例えば、各類似度Ｒｅc，Ｒｅpaについて、個別に所定の閾値よりも小さいか否か判定し、類似度Ｒｅc，Ｒｅpaが、所定の閾値ＴＨc，ＴＨpaよりもそれぞれ小さいときに認証対象者が比較対象者と同一人物であると判定するようにしても良い。詳細には、式（２３）が成立するようにしても良い。
【０２５２】
【数２３】
2007304857.tif 000025
【０２５３】
このように、共通部位特徴量を用いた判定、個別部位特徴量を用いた判定の双方において、人物を含む物の特徴が一致していることを示す所定の基準（閾値未満）を満たす場合に、認証対象物と比較対象物とが同一であると判定するようにしても良い。このような構成を採用すると、厳しい基準に沿った認証によって更に高精度の認証が可能となる。
【０２５４】
また、当該変形例に係る詳細照合モードにおいては、認証対象者に係る個別特徴部位の特徴量を用いて求められた一方向類似度Ｒｅpaを用いた判定（一方向判定）、及び比較対象者に係る個別特徴部位の特徴量を用いて求められた逆方向類似度Ｒｅpbを用いた判定（逆方向判定）の双方において、人物等の物の特徴が一致していることを示す所定の基準（閾値ＴＨpa，ＴＨpb未満）をそれぞれ満たす場合に、認証対象物と比較対象物とが同一人物であると判定する。このため、更に精度の高い認証が可能となる。
【０２５５】
なお、ユーザーが操作部６を種々操作することで、モード切替部１７が、登録モード、詳細照合モード、高速照合モード、及び１対ｎ識別モードを備えて構成される４つのモードのうちの何れか１つのモードにコントローラ１０を選択的に切り替えるため、当該モード切替機能により、一方向判定を行う１対ｎ識別モードと逆方向判定を行う高速照合モードとを含む複数モード間でモードが切り替わる。
【０２５６】
◎また、上記実施形態では、微分画像の画素値を単に用いて個別特徴部位を検出したが、これに限られず、その他の手法、例えば、いわゆる部分空間法を用いて、登録対象画像及び／又は認証対象画像から個別特徴部位を検出するようにしても良い。この部分空間法としては、公知の文献（西山 正志, 山口 修, 福井 和広,"制約相互部分空間法を用いたジェスチャー認識, " 第10回 画像センシングシンポジウム講演論文集 SSII04, pp.439-444, 2004.等）に記載された技術を採用することができる。
【０２５７】
以下、部分空間法を用いて、登録対象画像及び／又は認証対象画像から個別特徴部位を検出する工程を、認証対象画像から個別特徴部位を検出する工程を例にとって簡単に説明する。
【０２５８】
まず、多数の同種の物（例えば人物）をそれぞれ捉えた多数の画像をそれぞれ微分して多数の微分画像を生成する。そして、当該多数の微分画像を構成する画素（具体的には、位置情報や画素値等に基づくパラメータ）から部分空間（すなわち共通部分空間）を決定する。次に、認証対象画像を正規化して微分することで認証対象画像に係る微分画像を生成する。更に、当該認証対象画像に係る微分画像を構成する画素（具体的には、位置情報や画素値等に基づくパラメータ）を部分空間に投影する。そして、当該画素が投影された領域（以下「画素投影領域」とも称する）のうち共通部分空間に含まれない画素投影領域に係る画素群によって形成される画像領域を、個別特徴部位に相当する個別部位領域として認識する。すなわち、個別特徴部位候補として認識し、登録する。
【０２５９】
このとき、所定数（例えば１０個）を超える複数の個別部位領域が認識された場合には、各個別部位領域を部分空間に投影した空間と、共通部分空間とのズレ角を算出する。そして、認識された複数の個別部位領域のうちの当該ズレ角が大きな方から所定数の画像投影領域に係る個別部位領域を選択的に採用する一方で、残余の個別部位領域については採用しない。なお、認識された個別部位領域が所定数を超えない場合には、認識された個別部位領域全てを採用する。つまり、所定数以下の個別部位領域を個別特徴部位に相当する画像領域として採用することで、所定数以下の個別特徴部位を検出する。
【０２６０】
このように、画像全体について比較を行うことで個別特徴部位を検出する部分空間法を用いて、認証対象物及び比較対象物のうちの少なくとも一方について個別特徴部位を検出するような構成を採用すると、より安定かつ確実に個別特徴部位を検出することができる。特に、上記実施形態のように微分画像をグリッド状に分割して評価することで個別特徴部位を検出する手法では、微分画像を分割する境界線上に個別特徴部位が跨って存在する場合には、正しく個別特徴部位を検出することが困難であるが、部分空間法では画像全体について画素毎に評価することができるため、より確実かつ安定して個別特徴部位を検出することができる。
【０２６１】
また、上述したように、所定数を超える数の個別特徴部位に相当する複数の画素群が判別された場合には、上記手法により所定数の画素群を選択的に採用するような構成を採用すると、ある程度大きな特徴を有する個別特徴部位に絞り込んだ認証が可能となる。その結果、認証に要する演算時間を短縮化することができる。
【０２６２】
また、上記実施形態では、各個別特徴部位について類似度を算出する際に、当該個別特徴部位に係る特徴の顕著性に応じた重み付け用の係数として、個別特徴部位に相当する個別部位領域について、統計微分画像情報から求まる所定の基準値からの離れ度合い（偏差）を重み付け用の係数として採用した。しかしながら、本変形例では、部分空間法によって個別特徴部位を検出する過程で容易に算出できる、個別特徴部位に相当する個別部位領域に係る部分空間と共通部分空間とのズレ角度を、重み付け用の係数として採用しても良い。つまり、個別特徴部位毎に個別特徴部位の特徴量に対して、当該個別特徴部位に係る画素投影領域の共通部分空間からのズレ角に応じた重み付けを行って、認証対象物に関する認証を行うようにしても良い。このような構成を採用しても、上記実施形態と同様に、より大きな特徴を捉えた個別特徴部位を重視した認証が可能となるため、認証精度をより一層向上させることができる。
【０２６３】
◎また、上記実施形態では、共通特徴部位に係る特徴量及び個別特徴部位に係る特徴量の双方を用いて１つの認証を行ったが、これに限られず、例えば、高精度の認証の要否に応じて、個別特徴部位に係る特徴量を用いた認証を適宜行うようにしても良い。以下、当該変形例について、より詳細に説明する。
【０２６４】
図２７は、変形例に係る認証システム１Ａを例示する構成図である。
【０２６５】
認証システム１Ａの機械的構成うち、認証システム１の機械的構成とは異なる部分は、メディアドライブ４が、メディアドライブ４ａ，４ｂと２つに増加している点であり、変形例に係るコントローラ１０Ａでは、メディアドライブ４ａ，４ｂに対して、それぞれ別個の記憶媒体であるメモリカード８ａ，８ｂを装着することができる。つまり、メモリカード８ａ，８ｂを別々に受け付けることができる。
【０２６６】
また、機能的構成については、認証システム１では、認証の際に認証対象物（例えば、認証対象者）を撮影して各部位に係る特徴量を認識していたが、認証システム１Ａでは、認証対象物に係る特徴量を予め記憶しておいたメモリカード８ａ，８ｂをメディアドライブ４ａ，４ｂに装着することで、コントローラ１０Ａが認証対象物に係る特徴量を認識する。
【０２６７】
以下、変形例に係る認証システム１Ａについて、登録モード設定時における動作と、認証を行う認証モード設定時における動作とを説明する。なお、コントローラ１０Ａは、登録モード設定時には、認証対象物の特徴量を記憶媒体に記憶する情報記憶システムとして機能し、認証モード設定時には、メモリカード８ａ，８ｂに記憶された認証対象物の特徴量を用いて認証対象物に関する認証を行う認証実行システムとして機能する。
【０２６８】
登録モード設定時におけるコントローラ１０Ａの動作を示すフローチャートは、図８に示すフローチャートと同様なものとなる。但し、本変形例では、ステップＳＰ１０の記憶処理において、共通特徴部位に係る特徴量が、メディアドライブ４ａに装着されたメモリカード８ａに記憶され、個別特徴部位に係る特徴量が、メディアドライブ４ｂに装着されたメモリカード８ｂに記憶される。
【０２６９】
図２８は、認証モード設定時におけるコントローラ１０Ａの動作を例示するフローチャートである。
【０２７０】
ステップＳｔｅｐ１では、共通特徴部位の特徴量が入力されているか否かを判定する。ここでは、認証対象物に係る共通特徴部位の特徴量が記憶されたメモリカード８ａがメディアドライブ４ａに装着されて、コントローラ１０Ａに読み込まれるまでステップＳｔｅｐ１の判定が繰り返され、認証対象物に係る共通特徴部位の特徴量がコントローラ１０Ａに読み込まれるとステップＳｔｅｐ２に進む。
【０２７１】
ステップＳｔｅｐ２では、ＨＤＤ３ａなどに予め登録されている比較対象物に係る共通特徴部位の特徴量と、ステップＳｔｅｐ１で入力された認証対象物に係る共通特徴部位の特徴量とを用いて、共通特徴部位の類似度を算出する。この類似度の算出は、上記実施形態と同様な手法で行えば良い。
【０２７２】
ステップＳｔｅｐ３では、個別特徴部位を用いた認証の要求があるか否かを判定する。ここでは、セキュリティーレベルの高い情報を使用する場合等、高精度の認証が必要な場合に、個別特徴部位を用いた認証が要求されるように設定される態様が考えられ、個別特徴部位を用いた認証の要求があればステップＳｔｅｐ４に進み、個別特徴部位を用いた認証の要求がなければステップＳｔｅｐ６に進む。
【０２７３】
ステップＳｔｅｐ４では、個別特徴部位の特徴量が入力されているか否かを判定する。ここでは、認証対象物に係る個別特徴部位の特徴量が記憶されたメモリカード８ｂがメディアドライブ４ｂに装着されて、コントローラ１０Ａに読み込まれるまでステップＳｔｅｐ４の判定が繰り返され、認証対象物に係る個別特徴部位の特徴量がコントローラ１０Ａに読み込まれるとステップＳｔｅｐ５に進む。
【０２７４】
ステップＳｔｅｐ５では、ＨＤＤ３ａなどに予め登録されている比較対象物に係る個別特徴部位の特徴量と、ステップＳｔｅｐ４で入力された認証対象物に係る個別特徴部位の特徴量とを用いて、個別特徴部位の類似度を算出する。この類似度の算出は、上記実施形態と同様な手法で行えば良い。
【０２７５】
ステップＳｔｅｐ６では、認証対象者と比較対象者とが同一人物であるか否かを判定する。より詳細には、ステップＳｔｅｐ３からステップＳｔｅｐ６に進んで来た場合には、ステップＳｔｅｐ２で算出された共通特徴部位に係る類似度が所定の閾値よりも小さければ、認証対象者と比較対象者とが同一人物であると判定する。また、ステップＳｔｅｐ５からステップＳｔｅｐ６に進んで来た場合には、例えば、ステップＳｔｅｐ２で算出された共通特徴部位に係る類似度と、ステップＳｔｅｐ４で算出された個別特徴部位に係る類似度とが、それぞれ所定の閾値よりも小さければ、認証対象者と比較対象者とが同一人物であると判定する。なお、ステップＳｔｅｐ２で算出された共通特徴部位に係る類似度と、ステップＳｔｅｐ５で算出された個別特徴部位に係る類似度とから算出される総合類似度が所定の閾値よりも小さければ、認証対象者と比較対象者とが同一人物であると判定するようにしても良い。
【０２７６】
そして、図２８のステップＳｔｅｐ７では、ステップＳｔｅｐ６の処理における判定結果を所望の機能に対して適宜出力する。
【０２７７】
このような構成を採用することで、要求される認証精度の厳しさに応じて、認証精度の高い個別特徴部位の特徴量を用いた認証を行うようにすることで、要求される認証精度が低ければ、認証に要する時間を短縮化することができ、要求される認証精度が高ければ、認証に要する時間が若干長くなるものの、認証精度を高めることができる。
【０２７８】
なお、上記変形例では、情報記憶システムの機能と、認証実行システムとしての機能を、１つのコントローラ１０Ａに持たせたが、これに限られず、それぞれ別個の装置に２つの機能を別々に分けて持たせるようにしても良い。
【０２７９】
また、認証対象者に係る共通特徴部位の特徴量を認識してメモリカード８ａに記憶させる機能と、認証対象者に係る個別特徴部位の特徴量を認識してメモリカート８ｂに記憶させる機能とを、それぞれ別個の装置に分けて持たせるようにしても良い。このような構成を採用すると、共通特徴部位の特徴量を認識して記憶媒体に記憶させる装置としては汎用性の高い装置を使用する一方で、個別特徴部位の特徴量を認識して記憶媒体に記憶させる装置は特別な装置として提供するようなシステムを構築することができる。
【０２８０】
また、上記変形例では、認証対象者に係る共通特徴部位の特徴量と、認証対象者に係る個別特徴部位の特徴量とを、それぞれ別個の記憶媒体に記憶したが、個別特徴部位に係る特徴量のみを記憶媒体に記憶させるような構成も考えられる。
【０２８１】
更に、上記変形例では、１つの装置で、共通特徴部位の特徴量を用いた認証と、個別特徴部位の特徴量を用いた認証とを行ったが、これに限られず、例えば、共通特徴部位の特徴量を用いた認証を行う装置と、個別特徴部位の特徴量を用いた認証を行う装置とを別個に分けて設けても良い。このような構成を採用すると、例えば、セキュリティレベルの異なる２つのゲートが設けられている場合に、第１のゲートで共通特徴部位の特徴量を用いた認証を行い、その後、第２のゲートで個別特徴部位の特徴量を用いた認証を行うような種々の態様も実現可能となる。
【０２８２】
以上のように、変形例に係る認証システム１Ａでは、認証対象物に係る共通特徴部位の特徴量と、個別特徴部位の特徴量とをそれぞれ認識して、各々別の記憶媒体に記憶させておく。そして、一方の記憶媒体に記憶されている共通特徴部位の特徴量を用いた認証と、他方の記憶媒体に記憶されている個別特徴部位の特徴量を用いた認証とを別々に実行させることができる。このような構成を採用することで、要求される認証精度に応じた認証を実行させることができる。
【０２８３】
◎また、上記実施形態では、２台のカメラを用いて登録対象物及び認証対象物を撮影することで、各撮影対象物を構成する部位の３次元位置を検出及び算出したが、これに限られず、例えば、１台のカメラを用いて登録対象物及び認証対象物を撮影することで、各撮影対象物を構成する部位の２次元位置を検出及び算出するようにしても、個別特徴部位を検出し、当該個別特徴部位に係る特徴量を認識して認証対象物と比較対象物とが同一であるか否かを判定することができる。
【０２８４】
但し、２方向以上の方向から登録対象物及び認証対象物を撮影して、各撮影対象物を構成する部位の３次元位置を検出及び算出する方が、顔などの認証対象物の向きに拘わらず高精度の認証を安定して実現することができる。
【０２８５】
◎また、上記実施形態では、顔の認証を行う例を挙げて説明したが、これに限られず、例えば、認証の対象が、例えば手のひら等、顔以外の人間固有の部分であっても良いし、犬や猫などといった人間以外の動物を対象としても良いし、更には、建物等といった生物以外のあらゆる物体を認証の対象としても良い。
【０２８６】
◎また、上記実施形態においては、複数台のカメラより入力される複数の画像を用いて顔等の対象物の３次元形状情報を取得しているがこれに限定されない。具体的には、図２９に示されるようなレーザ光出射部Ｌ１とカメラＬＣＡとから構成される３次元形状測定器を用いてレーザ光出射部Ｌ１の照射するレーザの反射光をカメラＬＣＡによって計測することにより、認証対象者及び／又は登録対象者の顔の３次元形状情報を取得してもよい。但し、上記実施形態のようにカメラ２台を含む入力装置を用いて３次元の形状情報を取得する手法によれば、レーザ光を用いる入力装置に比べて、比較的簡易な構成で３次元の形状情報を取得することができる。
【図面の簡単な説明】
【０２８７】
【図１】本発明の実施形態に係る認証システムを示す構成図である。
【図２】コントローラの構成概要を示す図である。
【図３】コントローラが備える各種機能を示すブロック図である。
【図４】画像正規化部の詳細な機能構成を示すブロック図である。
【図５】特徴認識部の詳細な機能構成を示すブロック図である。
【図６】登録部の詳細な機能構成を示すブロック図である。
【図７】認証部の詳細な機能構成を示すブロック図である。
【図８】登録モードにおけるコントローラの動作を示すフローチャートである。
【図９】画像正規化処理工程の詳細なフローチャートである。
【図１０】顔画像における特徴的な部位の特徴点を示す図である。
【図１１】２次元画像中の特徴点から３次元座標を算出する様子を示す図である。
【図１２】３次元の顔の標準モデルを示す図である。
【図１３】テクスチャ情報を例示する図である。
【図１４】正規化後の特徴的な部位の個別制御点を示す図である。
【図１５】個別特徴部位検出工程の詳細なフローチャートである。
【図１６】正規化後のテクスチャー画像に係る微分画像を例示する図である。
【図１７】微分画像を部分画像毎に比較する手法について説明するための図である。
【図１８】微分画像毎の合計画素値に係る統計的情報を例示する図である。
【図１９】個別特徴部位の位置算出工程の詳細なフローチャートである。
【図２０】個別特徴部位の相対位置を算出する方法を説明するための図である。
【図２１】認証モードにおけるコントローラの動作を示すフローチャートである。
【図２２】詳細照合処理工程の詳細なフローチャートである。
【図２３】個別特徴部位に係る一方向類似度算出の詳細なフローチャートである。
【図２４】個別特徴部位に係る逆方向類似度算出の詳細なフローチャートである。
【図２５】高速照合処理工程の詳細なフローチャートである。
【図２６】１対ｎ識別処理工程の詳細なフローチャートである。
【図２７】変形例に係る認証システムを示す構成図である。
【図２８】変形例に係る認証動作を示すフローチャートである。
【図２９】レーザ光出射部とカメラとを有する３次元形状測定器を示す図である。
【符号の説明】
【０２８８】
１，１Ａ  認証システム
３  記憶部
４，４ａ，４ｂ  メディアドライブ
６  操作部
８，８ａ，８ｂ  メモリカード
１０，１０Ａ  コントローラ
１１  画像入力部
１２  顔領域検索部
１３  顔部位検出部
１４  画像正規化部
１５  特徴認識部
１７  モード切替部
１８  登録部
１９  認証部
７１  特徴量データベース
１５１  共通部位特徴量認識部
１５３  個別部位領域認識部
１５４  個別部位領域選択採用部
１５５  個別部位特徴量認識部
１８１  記憶制御部
１９１  共通特徴量読出部
１９２  共通部位比較部
１９３  個別部位比較位置決定部
１９４  個別部位比較部
１９５  総合判定部
ＨＫ  ホクロ
ＰＰ  個別特徴部位
【図１】
2007304857.tif 000026
【図２】
2007304857.tif 000027
【図３】
2007304857.tif 000028
【図４】
2007304857.tif 000029
【図５】
2007304857.tif 000030
【図６】
2007304857.tif 000031
【図７】
2007304857.tif 000032
【図８】
2007304857.tif 000033
【図９】
2007304857.tif 000034
【図１０】
2007304857.tif 000035
【図１１】
2007304857.tif 000036
【図１２】
2007304857.tif 000037
【図１４】
2007304857.tif 000038
【図１５】
2007304857.tif 000039
【図１８】
2007304857.tif 000040
【図１９】
2007304857.tif 000041
【図２０】
2007304857.tif 000042
【図２１】
2007304857.tif 000043
【図２２】
2007304857.tif 000044
【図２３】
2007304857.tif 000045
【図２４】
2007304857.tif 000046
【図２５】
2007304857.tif 000047
【図２６】
2007304857.tif 000048
【図２７】
2007304857.tif 000049
【図２８】
2007304857.tif 000050
【図２９】
2007304857.tif 000051
【図１３】
2007304857.tif 000052
【図１６】
2007304857.tif 000053
【図１７】
2007304857.tif 000054