(57)【要約】【課題】テクスチャ情報を利用して３次元顔形状データを生成することにより、登録された２次元顔画像データの人物と、撮像される照合対象人物との照合精度を向上させることができる顔照合装置及び顔照合方法並びにプログラムを提供する。【解決手段】顔照合装置は、少なくともテクスチャ情報を利用して、あらかじめ登録された登録２次元顔画像データから参照３次元顔形状データを生成する参照３次元顔形状生成部と、撮影された照合対象人物の顔画像に基づき、距離情報を含む２．５次元顔形状データを計測する２．５次元顔形状計測部と、少なくともテクスチャ情報を利用して、前記２．５次元顔形状データから照合３次元顔形状データを生成する照合３次元顔形状生成部と、前記参照３次元顔形状データと前記照合３次元顔形状データとを照合して前記照合対象人物が前記前記登録２次元顔画像データの人物と同一人物であるか否かを判定する照合部と、を備える。【選択図】図１
2015162012.tif 000002
【特許請求の範囲】
【請求項１】
少なくともテクスチャ情報を利用して、あらかじめ登録された登録２次元顔画像データから参照３次元顔形状データを生成する参照３次元顔形状生成部と、
撮影された照合対象人物の顔画像に基づき、距離情報を含む２．５次元顔形状データを計測する２．５次元顔形状計測部と、
少なくともテクスチャ情報を利用して、前記２．５次元顔形状データから照合３次元顔形状データを生成する照合３次元顔形状生成部と、
前記参照３次元顔形状データと前記照合３次元顔形状データとを照合して前記照合対象人物が前記前記登録２次元顔画像データの人物と同一人物であるか否かを判定する照合部と、
を備えることを特徴とする顔照合装置。
【請求項２】
前記参照３次元顔形状生成部は、複数の形状係数及びテクスチャ係数を用いて所定の基準顔画像を変化させて、前記登録２次元顔画像データに対する適合を行い、前記参照３次元顔形状データを生成することを特徴とする請求項１に記載の顔照合装置。
【請求項３】
前記照合３次元顔形状生成部は、複数の形状係数及びテクスチャ係数を用いて所定の基準顔画像を変化させて、前記２．５次元顔形状データに対する適合を行い、前記照合３次元顔形状データを生成することを特徴とする請求項１又は２に記載の顔照合装置。
【請求項４】
前記照合３次元顔形状生成部は、複数方向から又は時系列に撮影された複数の前記２．５次元顔形状データに対する適合を行うことを特徴とする請求項１〜３のいずれか一項に記載の顔照合装置。
【請求項５】
前記照合部は、前記参照３次元顔形状データと前記照合３次元顔形状データとの類似度に基づいて同一人物であるか否かを判定することを特徴とする請求項１〜４のいずれか一項に記載の顔照合装置。
【請求項６】
前記登録２次元顔画像データは利用者が携帯する記憶媒体に記憶されたものであり、
前記顔照合装置は、前記記憶媒体から前記登録２次元顔画像データを読み取る登録２次元顔画像読取部を備えることを特徴とする請求項１〜５のいずれか一項に記載の顔照合装置。
【請求項７】
前記登録２次元顔画像データはあらかじめデータベースに登録されたものであり、
前記顔照合装置は、利用者の本人識別情報に対応する前記登録２次元顔画像データを読み出す登録２次元顔画像参照部を備えることを特徴とする請求項１〜５のいずれか一項に記載の顔照合装置。
【請求項８】
少なくともテクスチャ情報を利用して、あらかじめ登録された登録２次元顔画像データから参照３次元顔形状データを生成するステップと、
撮影された照合対象人物の顔画像に基づき、距離情報を含む２．５次元顔形状データを計測するステップと、
少なくともテクスチャ情報を利用して、前記２．５次元顔形状データから照合３次元顔形状データを生成するステップと、
前記参照３次元顔形状データと前記照合３次元顔形状データとを照合して前記照合対象人物が前記前記登録２次元顔画像データの人物と同一人物であるか否かを判定するステップと、
を備えることを特徴とする顔照合方法。
【請求項９】
少なくともテクスチャ情報を利用して、あらかじめ登録された登録２次元顔画像データから参照３次元顔形状データを生成する機能と、
少なくともテクスチャ情報を利用して、撮影された照合対象人物の顔画像に基づき計測された距離情報を含む２．５次元顔形状データから照合３次元顔形状データを生成する機能と、
前記参照３次元顔形状データと前記照合３次元顔形状データとを照合して前記照合対象人物が前記前記登録２次元顔画像データの人物と同一人物であるか否かを判定する機能と、
をコンピュータに実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、照合対象人物が、登録された２次元顔画像データの人物と同一人物であるか否かを判定する顔照合装置及び顔照合方法並びにプログラムに関する。
【背景技術】
【０００２】
近年、アクセス管理などの個人認証を必要とする分野において、紛失や盗難のおそれがあるパスワードやＩＤカードに代わり、人間の身体的特徴を利用した生体認証に基づく個人認証を行うシステムが開発されつつある。中でも顔認証システムは、非接触で顔画像を撮像して、参照顔画像と照合することが可能であるために、利便性が良く、また、利用者にとって受容性が高いとされている。
【０００３】
このような顔認証システムとして、あらかじめ登録された２次元顔画像の特徴量と、撮像した人物の２次元顔画像の特徴量とを比較する方法がある。この２次元顔画像を比較する方法では、顔の向きや表情、照明等の撮影状態が登録時と異なっていたり、２次元顔画像の登録時から長期間が経過して対象人物自体が歳を取ったりすることにより、照合精度が低下しやすい。これに対して、顔の３次元データを用いて参照顔画像と照合顔画像とを比較することにより、顔の３次元形状の情報も加味して照合することができるために、上記の撮影状態や加齢の影響を少なくすることができる。
【０００４】
例えば、特許文献１には、顔の３次元データを利用して、犯罪捜査における被疑者の特定、選別等を行う顔認証システムが開示されている。この特許文献１には、参照する顔の３次元データが十分に蓄積される前の状態からでもシステムの利用を開始することができるように、３次元顔形状計測装置により計測した３次元顔計測形状データを参照して、あらかじめ記憶された２次元の顔写真から３次元顔復元データを復元することにより登録データベースに逐次３次元顔形状データを蓄積する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４３６２４８９号
【非特許文献】
【０００６】
【非特許文献１】Volker Blanz andThomas Vetter, "A Morphable Model For The Synthesis of 3D Faces",Siggraph 1999: pp.187-194.
【非特許文献２】Volker Blanz andThomas Vetter, "Face Recognition Based on Fitting a 3D MorphableModel", IEEE Transactions on Pattern Analysis and Machine Intelligence,Vol.25, No.9, pp.1-12, September 2003.
【非特許文献３】AkihiroHayasaka, Koichi Ito, Takafumi Aoki, Hiroshi Nakajima and Koji Kobayashi, "ARobust 3D Face Recognition Algorithm Using Passive Stereo Vision", IEICETrans. Fundamentals, Vol.E92-A, No.4, pp.1047-1055, April 2009.
【発明の概要】
【発明が解決しようとする課題】
【０００７】
ここで、セキュリティシステムなどにおいて本人確認をするために使用されるＩＣカード等には、通常、本人の２次元顔画像が記録されている。また、セキュリティシステムで本人照合を行う際には、ＩＣカード等に記録されている本人の２次元顔画像を照合装置が読み取り、さらに照合装置は、利用者の顔を撮影し、本人の２次元顔画像と、撮影された利用者の顔画像とを照合する処理を行う。
【０００８】
このような本人情報を記録したＩＣカード等を利用したセキュリティシステムに特許文献１に記載された技術を適用するには、以下のような問題が発生し得る。例えば、２次元顔画像を３次元顔形状に復元する場合において、３次元顔形状を復元するに適した複数方向からの顔画像が撮影されているとは限らない。そのため、１枚の２次元顔画像から３次元顔形状を復元する場合には形状の奥行き情報が少なく、３次元顔形状の復元の精度は低くなりやすい。
【０００９】
また、特許文献１に記載された３次元顔形状計測装置により３次元顔形状計測データを撮影する場合に、計測装置の設置条件により計測装置と利用者との位置関係が大きく変化し、利用者が小さく写ってしまった場合には、３次元顔形状の復元の精度は低くなりやすい。具体的には、顔照合をより迅速に実行するために、歩行しながら照合処理をすることが考えられるが、例えば、駅の改札機のようなシステムとして顔照合装置を構築した場合には、３次元顔形状計測装置と利用者の顔とが正対しているとは限らず、また、３次元顔形状計測装置と利用者との位置関係を統一することも困難である。
【００１０】
したがって、３次元顔形状を利用した顔認証システムにおいては、照合精度の向上が望まれる。
【００１１】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、少なくともテクスチャ情報を利用して３次元顔形状データを生成することにより、登録された２次元顔画像データの人物と、撮像される照合対象人物との照合精度を向上させることができる顔照合装置及び顔照合方法並びにプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
上記課題を解決するために、本発明のある観点によれば、少なくともテクスチャ情報を利用して、あらかじめ登録された登録２次元顔画像データから参照３次元顔形状データを生成する参照３次元顔形状生成部と、撮影された照合対象人物の顔画像に基づき、距離情報を含む２．５次元顔形状データを計測する２．５次元顔形状計測部と、少なくともテクスチャ情報を利用して、前記２．５次元顔形状データから照合３次元顔形状データを生成する照合３次元顔形状生成部と、前記参照３次元顔形状データと前記照合３次元顔形状データとを照合して前記照合対象人物が前記前記登録２次元顔画像データの人物と同一人物であるか否かを判定する照合部と、を備えることを特徴とする顔照合装置が提供される。
【００１３】
また、前記参照３次元顔形状生成部は、複数の形状係数及びテクスチャ係数を用いて所定の基準顔画像を変化させて、前記登録２次元顔画像データに対する適合を行い、前記参照３次元顔形状データを生成するものであってもよい。
【００１４】
また、前記照合３次元顔形状生成部は、複数の形状係数及びテクスチャ係数を用いて所定の基準顔画像を変化させて、前記２．５次元顔形状データに対する適合を行い、前記照合３次元顔形状データを生成するものであってもよい。
【００１５】
また、前記照合３次元顔形状生成部は、時系列に撮影された複数の前記２．５次元顔形状データに対する適合を行うものであってもよい。
【００１６】
また、前記照合部は、前記参照３次元顔形状データと前記照合３次元顔形状データとの類似度に基づいて同一人物であるか否かを判定するものであってもよい。
【００１７】
また、前記登録２次元顔画像データは利用者が携帯する記憶媒体に記憶されたものであり、前記顔照合装置は、前記記憶媒体から前記登録２次元顔画像データを読み取る登録２次元顔画像読取部を備えるものであってもよい。
【００１８】
また、前記登録２次元顔画像データはあらかじめデータベースに登録されたものであり、前記顔照合装置は、利用者の本人識別情報に対応する前記登録２次元顔画像データを読み出す登録２次元顔画像参照部を備えるものであってもよい。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、少なくともテクスチャ情報を利用して、あらかじめ登録された登録２次元顔画像データから参照３次元顔形状データを生成するステップと、撮影された照合対象人物の顔画像に基づき、距離情報を含む２．５次元顔形状データを計測するステップと、少なくともテクスチャ情報を利用して、前記２．５次元顔形状データから照合３次元顔形状データを生成するステップと、前記参照３次元顔形状データと前記照合３次元顔形状データとを照合して前記照合対象人物が前記前記登録２次元顔画像データの人物と同一人物であるか否かを判定するステップと、を備えることを特徴とする顔照合方法が提供される。
【００２０】
また、上記課題を解決するために、本発明のさらに別の観点によれば、少なくともテクスチャ情報を利用して、あらかじめ登録された登録２次元顔画像データから参照３次元顔形状データを生成する機能と、少なくともテクスチャ情報を利用して、撮影された照合対象人物の顔画像に基づき計測された距離情報を含む２．５次元顔形状データから照合３次元顔形状データを生成する機能と、前記参照３次元顔形状データと前記照合３次元顔形状データとを照合して前記照合対象人物が前記前記登録２次元顔画像データの人物と同一人物であるか否かを判定する機能と、をコンピュータに実現させるためのプログラムが提供される。
【発明の効果】
【００２１】
以上説明したように本発明によれば、少なくともテクスチャ情報を利用して３次元顔形状データを生成することにより、登録された２次元顔画像データの人物と、撮像される照合対象人物との照合精度を向上させることが可能となる。
【図面の簡単な説明】
【００２２】
【図１】本発明の第１の実施形態にかかる顔照合装置を示すブロック図である。
【図２】同実施形態にかかる３次元顔形状データ生成処理の一例を示す説明図である。
【図３】同実施形態にかかる照合処理の一例を示す説明図である。
【図４】同実施形態にかかる顔照合処理の一例を示すフローチャートである。
【図５】本発明の第２の実施形態にかかる顔照合装置を示すブロック図である。
【図６】同実施形態にかかる顔照合処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２４】
＜＜第１の実施形態＞＞
＜１．顔照合装置の構成＞
まず、図１を参照して、第１の実施形態にかかる顔照合装置１０の構成について説明する。図１は、第１の実施形態にかかる顔照合装置１０を示すブロック図である。第１の実施形態にかかる顔照合装置１０は、例えば、利用者が、あらかじめ２次元顔画像が記録されたＩＣカードを２次元顔画像読取部１００に読み込ませることにより本人照合を試みる態様で使用される装置として構築されている。
【００２５】
本実施形態にかかる顔照合装置１０は、登録２次元顔画像読取部１００と、２．５次元顔形状計測部２００と、照合処理装置３００とにより構成されている。顔照合装置１０は、ＩＣカード等の媒体にあらかじめ登録された２次元顔画像データ（以下「登録２次元顔画像データ」という。）の人物と、撮像した照合対象人物とが同一人物であるか否かを判定する。
【００２６】
［１−１．登録２次元顔画像読取部］
登録２次元顔画像読取部１００は、例えばＩＣカードリーダであり、利用者が、その所有するＩＣカードを接触させ、あるいは、かざすことにより、当該ＩＣカードにあらかじめ記録された登録２次元顔画像データの情報を読み取る。読み取った登録２次元顔画像データは、照合処理装置３００の参照３次元顔形状生成部３１０に送信される。登録２次元顔画像データが記録された媒体としては、ＩＣカード以外にも磁気カードをはじめとして種々の媒体を利用することができる。また、登録２次元顔画像読取部１００は、代表的には接触式又は非接触式のカードリーダであるが、これ以外の読取装置としてもよい。
【００２７】
［１−２．２．５次元顔形状計測部］
２．５次元顔形状計測部２００は、コンシューマデプスセンサやステレオカメラ等を利用した計測装置である。２．５次元顔形状計測部２００は、登録２次元顔画像読取部１００にＩＣカードを読み込ませた利用者の顔を撮像し、得られる２次元顔画像の各位置の奥行き情報に相当する距離情報と併せてＲＧＢ情報を含む顔画像情報（以下「２．５次元顔形状データ」という。）を取得する。取得した２．５次元顔形状データは、照合処理装置３００の照合３次元顔形状生成部３２０に送信される。撮像は、利用者に対して撮影方法や撮影タイミングをガイダンスすることにより利用者の協力を得る協力型の計測方法としてもよく、あるいは、利用者に対して撮影方法や撮影タイミングを明示せずに計測する非協力型の計測方法としてもよい。
【００２８】
［１−３．照合処理装置］
照合処理装置３００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等により構成される情報処理装置である。また、照合処理装置３００は、例えば登録２次元顔画像読取部１００と一体となった装置であってもよい。さらに、照合処理装置３００は、以下に説明する機能を有するプログラムとして実現することもできる。図１に示したように、本実施形態にかかる照合処理装置３００は、参照３次元顔形状生成部３１０と、照合３次元顔形状生成部３２０と、照合部３３０とを備えている。
【００２９】
（１−３−１．参照３次元顔形状生成部）
参照３次元顔形状生成部３１０は、少なくともテクスチャ情報を利用して、登録２次元顔画像読取部１００で読み取った登録２次元顔画像データから、参照３次元顔形状データを生成する。テクスチャ情報を利用して２次元顔画像データから３次元顔形状データを生成する方法は特に限定されるものではないが、例えば、非特許文献１に記載のモーファブルモデル（Ｍｏｒｐｈａｂｌｅ  Ｍｏｄｅｌ，  ＭＭ）と呼ばれる３次元顔モデルデータを利用して、３次元顔形状データを生成する手法を採用することができる。
【００３０】
具体的に、非特許文献１のモーファブルモデルは、多数（例えば、２００以上）の３次元顔形状データとテクスチャとに対して固有値分解を適応することにより、３次元顔形状及びテクスチャの変化を表現する少数の基底を算出し、係数及び基底の積和によって様々な３次元顔形状やテクスチャを表現したものである。図２は、モーファブルモデルによる平均顔形状と、３次元顔形状及びテクスチャの第１主成分及び第２主成分により平均顔形状を変形させた例を示している。図２の例では、平均顔形状が基準顔画像として用いられる。
【００３１】
このモーファブルモデルを利用して３次元顔形状データを生成するには、モーファブルモデルの形状係数αとテクスチャ係数βとグローバルパラメータＲρを最適化することにより、基準顔形状としての平均顔形状の３次元顔形状やテクスチャを変化させて、入力された２次元顔画像データに対して３次元顔形状データを適合する。グローバルパラメータＲρは、得られる３次元顔形状データを回転、拡大又は縮小、及び平行移動させるためのパラメータである。また、形状係数αやテクスチャ係数β、グローバルパラメータＲρと併せて、光源の向きや強度を最適化するようにしてもよい。
【００３２】
図３は、形状係数α、テクスチャ係数β、グローバルパラメータＲρを変化させることにより平均顔形状を変化させ、入力された２次元顔画像データＩｉｎｐｕｔに対して３次元顔形状データＩｍｏｄｅｌを適合する様子を示す。具体的に、この適合は、グローバルパラメータＲρにより平均顔画像の大きさや向きを、入力された２次元顔画像データＩｉｎｐｕｔに近似させた後、形状係数α及びテクスチャ係数βを変化させながらレンダリングを繰り返す。すなわち、顔画像の大きさや向きを入力２次元顔画像データＩｉｎｐｕｔに適合した後、平均顔形状の要素αの一つを変化させ（−３σ〜＋３σ）、テクスチャβを最適化する（−３σ〜＋３σ）という処理を、変化させる３次元顔形状の要素を変えながら繰り返し行う（α＝α１，α２，α３…、β＝β１，β２，β３…）。例えば、３次元顔形状データＩｍｏｄｅｌ及び２次元顔画像データＩｉｎｐｕｔそれぞれにおける、変化させた３次元顔形状の要素の領域内のピクセルごとに差分を求め、差分が所定以下になった時に次の要素を変化させながら、すべての要素を最適化する。すべての要素の最適化が終了した時点で、適合処理を終了する。
【００３３】
このようにして、参照３次元顔形状生成部３１０は、登録２次元顔画像データＩｉｎｐｕｔ＿Ａから参照３次元顔形状データＩｍｏｄｅｌ＿Ａを生成する。適合が終了し、参照３次元顔形状データＩｍｏｄｅｌ＿Ａが確定した時点で、形状係数α及びテクスチャ係数βそれぞれについて、どの要素（α１，α２，α３…、β１，β２，β３…）をどれだけ変化させたかが確定する。参照３次元顔形状データは、登録２次元顔画像データから生成するものであり、テクスチャ（β１，β２，β３…）だけでなく、顔形状のすべての要素（α１，α２，α３…）について変化をさせながら最適化することが必要となる。
【００３４】
（１−３−２．照合３次元顔形状生成部）
照合３次元顔形状生成部３２０は、少なくともテクスチャ情報を利用して、２．５次元顔形状計測部２００により計測された２．５次元顔形状データから照合３次元顔形状データを生成する。テクスチャ情報を利用して照合３次元顔形状データを生成する手法は特に限定されるものではないが、本実施形態にかかる顔照合装置１０では、照合３次元顔形状生成部３２０は、参照３次元顔形状生成部３１０において参照３次元顔形状データを生成した手法と同様の手法により、照合３次元顔形状データを生成する。
【００３５】
ここで、ＩＣカード等に記録された登録２次元顔画像データは、通常、正面から撮影した顔画像となっているが、照合時にその場で顔画像を撮像する場合には、必ずしも正面から顔を撮像できるとは限らない。したがって、カメラ等により撮像した顔画像に対して、上述したモーファブルモデル等を利用して３次元顔形状データを適合することは、登録２次元顔画像データに対して３次元顔形状データを適合するよりも精度が落ちやすい。
【００３６】
しかしながら、本実施形態にかかる顔照合装置１０で利用する２．５次元顔形状データには距離情報が含まれている。したがって、平均顔画像の３次元顔形状及びテクスチャを変化させて、入力された２．５次元顔形状データＩｉｎｐｕｔ＿Ｂに適合する際に、３次元顔形状の要素については、より正確に合わせ込むことができる。また、２．５次元顔形状データには距離情報が含まれていることから、距離情報を参照して３次元顔形状を合わせ込むことができるため、処理を迅速に行うことができる。
【００３７】
また、距離情報及びＲＧＢ情報を含む２．５次元顔形状データから照合３次元顔形状データを生成するため、３次元顔形状とテクスチャとを同時に評価することができる。したがって、テクスチャが印刷された衣服等の人工物や、マネキン等のテクスチャのない顔形状から、過って照合３次元顔形状データを生成することを防ぐことができる。
【００３８】
（１−３−３．照合部）
照合部３３０は、参照３次元顔形状データと照合３次元形状データとを照合して、照合対象人物である利用者が、登録２次元顔画像データの人物と同一人物であるか否かを判定する。照合の手法は特に限定されるものではないが、例えば、非特許文献２に記載されているように、モーファブルモデルを用いて３次元顔形状データを生成したときの形状係数α及びテクスチャ係数βを比較することにより、参照３次元顔形状データと照合３次元形状データとの類似度を求めて、同一人物であるか否かを判定することができる。例えば、すべての形状係数α（＝α１，α２，α３…）及びテクスチャ係数β（＝β１，β２，β３…）の和の差分が所定の閾値以下であり、かつ、それぞれの形状係数α（＝α１，α２，α３…）及びテクスチャ係数β（＝β１，β２，β３…）の差分が所定の閾値以下である場合に、両者が同一人物であると判定し、それ以外の場合に、両者が別人物であると判定するようにしてもよい。
【００３９】
あるいは、非特許文献３に記載されているように、生成した参照３次元顔形状データと照合３次元形状データとを位置合わせしたときの、３次元形状を構成する点群間の平均距離により、参照３次元顔形状データと照合３次元形状データとの類似度を求めて、同一人物であるか否かを判定することができる。両データを位置合わせして照合する場合には、顔の表情が変化した場合であっても顔の３次元構造が変わりにくい目や鼻の周囲の部位を照合対象位置とするとよい。ただし、帽子等の装飾品を装着すると目の周辺が隠れることなどが考えられるため、装飾品の有無及び種類に応じて、照合対象位置を適切な部位に変更するようにしてもよい。
【００４０】
＜２．処理フロー＞
次に、図４を参照して、第１の実施形態にかかる顔照合装置１０による顔照合処理について説明する。図４は、本実施形態にかかる顔照合処理を示すフローチャートである。
【００４１】
まず、ステップＳ１０において、利用者がＩＣカード等を登録２次元顔画像読取部１００に接触させ、又は、かざした際に、登録２次元顔画像読取部１００はＩＣカード等に記録された登録２次元顔画像データを読み取る。読み取った登録２次元顔画像データは、参照３次元顔形状生成部３１０に送信される。
【００４２】
次いで、ステップＳ１４において、参照３次元顔形状生成部３１０は、少なくともテクスチャ情報を利用して、登録２次元顔画像データから参照３次元顔形状データを生成する。本実施形態においては、上述のように、モーファブルモデルを利用して、形状係数α及びテクスチャ係数βにより平均顔画像を変化させながら、３次元顔形状データを登録２次元顔画像データに対して適合して、参照３次元顔形状データを生成する。
【００４３】
次いで、ステップＳ１８において、２．５次元顔形状計測部２００は、撮像した利用者の顔に基づき、２．５次元顔形状データを計測する。計測した２．５次元顔形状データは、照合３次元顔形状生成部３２０に送信される。
【００４４】
次いで、ステップＳ２２において、照合３次元顔形状生成部３２０は、少なくともテクスチャ情報を利用して、２．５次元顔形状データから照合３次元顔形状データを生成する。本実施形態においては、上述のように、モーファブルを利用して、形状係数α及びテクスチャ係数βにより平均顔画像を変化させながら、３次元顔形状データを２．５次元顔形状データに対して適合して、照合３次元顔形状データを生成する。
【００４５】
このとき、２．５次元顔形状データに含まれる距離情報は、一つのデプスセンサや一組のステレオカメラにより、３次元の顔形状を一方向から撮影した距離情報であり、見えない範囲が存在する。したがって、複数のデプスセンサやステレオカメラを用いて複数方向から計測した複数の２．５次元顔形状データを用いたり、あるいは、時間をずらして計測した複数の２．５次元顔形状データを用いたりすることにより、見えない範囲を互いに補うようにして照合３次元顔形状データを生成するようにしてもよい。このように照合３次元顔形状データを生成することにより、２．５次元顔形状データＩｉｎｐｕｔ＿Ｂと照合３次元顔形状データＩｍｏｄｅｌ＿Ｂとの適合精度をより高めることができる。
【００４６】
次いで、ステップＳ２６において、照合部３３０は、参照３次元顔形状データと照合３次元顔形状データとを照合して、照合対象人物である利用者が、登録２次元顔画像の人物と同一人物であるか否かを判定する。両データの照合は、形状係数α及びテクスチャ係数βを比較することにより類似度を求める手法であってもよいし、両データの顔形状を位置合わせしたときの、３次元形状を構成する点群間の平均距離を比較することにより類似度を求める手法であってもよい。
【００４７】
なお、図４に示したフローチャートは一例であって、処理の順序を適宜変更してもよい。例えば、参照３次元顔形状データを生成するステップＳ１４は、２．５次元顔形状データを計測するステップＳ１８の後でもよく、あるいは、照合３次元顔形状データを生成するステップＳ２２の後でもよい。
【００４８】
＜３．まとめ＞
以上、第１の実施形態にかかる顔照合装置１０について説明した。本実施形態にかかる顔照合装置１０は、形状情報だけでなくテクスチャ情報も利用して、登録２次元顔形状データから参照３次元顔形状データを生成し、また、２．５次元顔形状データから照合３次元顔形状データを生成する。したがって、３次元顔形状データの照合精度が向上し、利用者と登録２次元顔画像データの人物との認証精度を向上させることができる。
【００４９】
また、本実施形態にかかる顔照合装置１０は、撮像される利用者の顔画像から照合３次元顔形状データを生成する際に、距離情報を含む２．５次元顔形状データを利用している。したがって、照合３次元顔形状データを作成する際に、２．５次元顔形状データに対する形状の適合を正確に、かつ、迅速に行うことができる。したがって、利用者と登録２次元顔画像データの人物との認証精度を向上させることができるとともに、照合処理速度も改善することができる。
【００５０】
＜＜第２の実施形態＞＞
＜１．顔照合装置の構成＞
まず、図５を参照して、第２の実施形態にかかる顔照合装置２０の構成について説明する。図５は、第２の実施形態にかかる顔照合装置２０を示すブロック図である。第２の実施形態にかかる顔照合装置２０は、例えば、複数の利用者の２次元顔画像をあらかじめデータベースに記憶させておき、特定の利用者がＩＣカードを識別情報読取部４００に読み込ませることにより、データベースから利用者の２次元顔画像を読出し、本人照合を試みる態様で使用される装置として構築されている。以下、第１の実施形態にかかる顔照合装置１０と異なる点を中心に説明する。
【００５１】
本実施形態にかかる顔照合装置２０は、例えば識別情報読取部４００と、２．５次元顔形状計測部２００と、照合処理装置３００と、データベース５００とにより構成されている。照合処理装置３００は、第１の実施形態にかかる顔照合装置１０の場合と同様の情報処理装置であって、登録２次元顔画像参照部３４０と、参照３次元顔形状生成部３１０と、照合３次元顔形状生成部３２０と、照合部３３０とを備えている。このうち、２．５次元顔形状計測部２００、参照３次元顔形状生成部３１０、照合３次元顔形状生成部３２０は、第１の実施形態にかかる各部と同様の構成を有している。
【００５２】
また、識別情報読取部４００は、例えばＩＣカードリーダであり、利用者が、その所有するＩＣカードを接触させ、あるいは、かざすことにより、当該ＩＣカードにあらかじめ記録された本人識別情報を読み取る。本人識別情報は、ＩＤナンバー等、利用者を特定するための情報であれば特に限定されるものではないが、本実施形態においては、ＩＣカードには２次元顔画像データは登録されていない。読み取った本人識別情報は、照合処理装置３００の登録２次元顔画像参照部３４０に送信される。本人識別情報が記録された媒体としては、ＩＣカード以外にも磁気カードをはじめとして種々の媒体を利用することができる。また、識別情報読取部４００は、代表的には接触式又は非接触式のカードリーダであるが、これ以外の読取装置としてもよい。例えば、識別情報読取部４００は、バーコードを読み取る機器であってもよい。
【００５３】
データベース５００には、あらかじめ利用者登録された複数の人物の２次元顔画像が、本人識別情報に関連付けられて記憶されている（以下、記憶されている２次元顔画像を「登録２次元顔画像データ」という。）。登録２次元顔画像参照部３４０は、識別情報読取部４００で読み取った本人識別情報に対応する登録２次元顔画像データをデータベース５００から読み出す。読み出した登録２次元顔画像データは、参照３次元顔形状生成部３１０に送信される。
【００５４】
参照３次元顔形状生成部３１０は、少なくともテクスチャ情報を利用して、データベース５００から読み出した２次元顔画像データから参照３次元顔形状データを生成する。参照３次元顔形状データを生成する具体的な手法は、第１の実施形態にかかる参照３次元顔形状生成部３１０の場合と同様にすることができる。また、照合３次元顔形状データは、第１の実施形態にかかる照合処理装置３００の場合と同様に、照合３次元顔形状生成部３２０によって、少なくともテクスチャ情報を利用して、２．５次元顔形状計測部２００で計測した２．５次元顔形状データから生成される。
【００５５】
このように生成された参照３次元顔形状データ及び照合３次元顔形状データは、照合部３３０により照合され、照合部３３０は、照合対象人物である利用者が、ＩＣカード等に記録された本人識別情報の人物と同一人物であるか否かを判定する。具体的な判定の手法は、第１の実施形態にかかる照合部３３０の場合と同様にすることができる。
【００５６】
＜２．処理フロー＞
次に、図６を参照して、第２の実施形態にかかる顔照合装置２０による顔照合処理について説明する。図６は、同実施形態にかかる顔照合処理を示すフローチャートである。
【００５７】
まず、ステップＳ５０において、利用者がＩＣカード等を識別情報読取部４００に接触させ、又は、かざした際に、識別情報読取部４００はＩＣカード等に記録された本人識別情報を読み取る。読み取った本人識別情報は、参照２次元顔画像参照部３４０に送信される。
【００５８】
次いで、ステップＳ５４において、登録２次元顔画像参照部３４０は、本人識別情報に対応する登録２次元顔画像データをデータベース５００から読み出す。読み出した登録２次元顔画像データは、参照３次元顔形状生成部３１０に送信する。
【００５９】
次いで、ステップＳ５８において、参照３次元顔形状生成部３１０は、少なくともテクスチャ情報を利用して、登録２次元顔画像データから参照３次元顔形状データを生成する。本実施形態においては、第１の実施形態にかかる顔照合処理の場合と同様に、モーファブルモデルを利用して、形状係数α及びテクスチャ係数βにより平均顔画像を変化させながら、３次元顔形状データを登録２次元顔画像データに対して適合して、参照３次元顔形状データを生成する。
【００６０】
次いで、ステップＳ６２において、２．５次元顔形状計測部２００は、撮像した利用者の顔に基づき、２．５次元顔形状データを計測する。計測した２．５次元顔形状データは、照合３次元顔形状生成部３２０に送信される。
【００６１】
次いで、ステップＳ６６において、照合３次元顔形状生成部３２０は、少なくともテクスチャ情報を利用して、２．５次元顔形状データから照合３次元顔形状データを生成する。本実施形態においては、第１の実施形態にかかる顔照合処理の場合と同様に、モーファブルを利用して、形状係数α及びテクスチャ係数βにより平均顔画像を変化させながら、３次元顔形状データを２．５次元顔形状データに対して適合して、照合３次元顔形状データを生成する。
【００６２】
このとき、第１の実施形態にかかる顔照合処理の場合と同様に、複数のデプスセンサやステレオカメラを用いて複数方向から計測した複数の２．５次元顔形状データを用いたり、あるいは、時間をずらして計測した複数の２．５次元顔形状データを用いたりすることにより、見えない範囲を互いに補うようにして照合３次元顔形状データを生成するようにしてもよい。
【００６３】
次いで、ステップＳ７０において、照合部３３０は、参照３次元顔形状データと照合３次元顔形状データとを照合して、照合対象人物である利用者が、登録２次元顔画像の人物と同一人物であるか否かを判定する。両データの照合は、形状係数α及びテクスチャ係数βを比較することにより類似度を求める手法であってもよいし、両データの顔形状を位置合わせしたときの、３次元形状を構成する点群間の平均距離を比較することにより類似度を求める手法であってもよい。
【００６４】
なお、図６に示したフローチャートは一例であって、処理の順序を適宜変更してもよい。例えば、登録２次元顔画像データをデータベース５００から読み出すステップＳ５４及び参照３次元顔形状データを生成するステップＳ５８は、２．５次元顔形状データを計測するステップＳ６２の後でもよく、あるいは、照合３次元顔形状データを生成するステップＳ６６の後でもよい。
【００６５】
＜３．まとめ＞
以上、第２の実施形態にかかる顔照合装置２０について説明した。本実施形態にかかる顔照合装置２０は、形状情報だけでなくテクスチャ情報も利用して、本人識別情報に対応する登録２次元顔形状データから参照３次元顔形状データを生成し、また、２．５次元顔形状データから照合３次元顔形状データを生成する。したがって、３次元顔形状データの照合精度が向上し、利用者と本人識別情報に対応する人物との認証精度を向上させることができる。
【００６６】
また、本実施形態にかかる顔照合装置２０は、撮像される利用者の顔画像から照合３次元顔形状データを生成する際に、距離情報を含む２．５次元顔形状データを利用している。したがって、照合３次元顔形状データを作成する際に、２．５次元顔形状データに対する形状の適合を正確に、かつ、迅速に行うことができる。したがって、利用者と本人識別情報に対応する人物との認証精度を向上させることができるとともに、照合処理速度も改善することができる。
【００６７】
＜＜その他の実施形態＞＞
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００６８】
例えば、顔照合装置は、２．５次元顔形状計測部２００による撮像の中に人物の顔を判別できない場合には、利用者に対して、適切な位置に移動するよう知らせるようにしてもよい。また、顔照合装置は、２．５次元顔形状計測部２００による撮像の中に人物の顔が存在してはいるものの、顔向きが適切でなく、２．５次元顔形状データの生成が困難である場合においても、利用者に対して、適切な位置に移動するよう知らせるようにしてもよい。
【００６９】
また、２．５次元顔形状計測部２００により人物の顔が判別できない場合や、人物の顔向きが適切でない場合の情報を蓄積可能に顔照合装置を構成することにより、コンシューマデプスセンサやステレオカメラ等の２．５次元顔形状計測部２００の設置位置が適切か否かを判断する指標とすることができる。したがって、２．５次元顔形状計測部２００の設置位置を最適化することにより、顔認証精度をより向上させることができる。
【００７０】
また、上述した照合処理装置３００に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した照合処理装置３００の構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、当該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【符号の説明】
【００７１】
１０，２０    顔照合装置
１００    登録２次元画像読取部
２００    ２．５次元顔形状計測部
３００    照合処理装置
３１０    参照３次元顔形状生成部
３２０    照合３次元顔形状生成部
３３０    照合部
３４０    登録２次元顔画像参照部
４００    識別情報読取部
５００    データベース
【図１】
2015162012.tif 000003
【図２】
2015162012.tif 000004
【図３】
2015162012.tif 000005
【図４】
2015162012.tif 000006
【図５】
2015162012.tif 000007
【図６】
2015162012.tif 000008