(57)【要約】【課題】  登録人物毎に姿勢や照明等の変動がある場合であっても、２枚の顔画像に写っている人物が同一人物か否かを判定できるようにする。【解決手段】  変動画像生成手段１０２は、正規化画像から姿勢や顔位置、大きさの異なる複数の変動画像を生成する。特徴抽出手段１０３は、複数の変動画像から周波数特徴を抽出する。判別空間射影手段１０４は、線形判別分析により得られた判別性の高い判別空間に周波数特徴を射影する。標準人物比較手段１０５は、標準人物比較を行い判別性の高い特徴を抽出する。一方、照合画像について、特徴抽出手段２０２及び判別空間射影手段２０３を用いて、判別特徴を抽出する。スコア算出手段３０１は、登録画像から得られた判別軸と照合画像から得られた判別特徴とを用いて、照合スコアを出力する。照合判定手段３０２は、照合スコアを閾値と比較することにより、同一人物か否かを判定する。【選択図】  図１
2006338092.tif 000002
【特許請求の範囲】
【請求項１】
顔画像のパタンを照合するために用いる、顔画像の特徴を抽出する画像特徴抽出方法であって、
顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成ステップと、
生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出ステップとを
含むことを特徴とする画像特徴抽出方法。
【請求項２】
顔画像の特徴に基づいて、顔画像のパタンを照合するパタン照合方法であって、
顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成ステップと、
生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出ステップとを
含むことを特徴とするパタン照合方法。
【請求項３】
抽出した顔画像の特徴に基づいて、予め登録する顔画像である登録画像と照合対象の顔画像である照合画像との特徴を比較し、登録画像と照合画像との特徴の一致の度合を示すスコアを求めるスコア算出ステップと、
求めたスコアを所定の閾値と比較することによって、前記登録画像中の人物と前記照合画像中の人物とが同一人物であるか否かを判定する照合判定ステップとを含む
請求項２記載のパタン照合方法。
【請求項４】
顔画像の特徴に基づいて、顔画像のパタンを照合するパタン照合方法であって、
予め登録する顔画像である登録画像に所定の変動を加えた複数の変動画像を生成する第１の変動画像生成ステップと、
前記登録画像から生成した各変動画像に基づいて、登録画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、前記登録画像の特徴を抽出する第１の画像特徴量抽出ステップと、
照合対象の顔画像である照合画像に所定の変動を加えた複数の変動画像を生成する第２の変動画像生成ステップと、
前記照合画像から生成した各変動画像に基づいて、照合画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、前記照合画像の特徴を抽出する第２の画像特徴量抽出ステップと、
抽出した前記登録画像の特徴に基づいて、前記登録画像と前記照合画像との特徴の一致の度合を示す第１のスコアを求める第１のスコア算出ステップと、
抽出した前記照合画像の特徴に基づいて、前記登録画像と前記照合画像との特徴の一致の度合を示す第２のスコアを求める第２のスコア算出ステップと、
求めた前記第１のスコアと前記第２のスコアとを用いた閾値判定を行うことによって、前記登録画像中の人物と前記照合画像中の人物とが同一人物であるか否かを判定する照合判定ステップとを
含むことを特徴とするパタン照合方法。
【請求項５】
顔画像のパタンを照合するために用いる、顔画像の特徴を抽出する画像特徴抽出システムであって、
顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成手段と、
前記変動画像生成手段が生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出手段とを
備えたことを特徴とする画像特徴抽出システム。
【請求項６】
顔画像の特徴に基づいて、顔画像のパタンを照合するパタン照合システムであって、
顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成手段と、
前記変動画像生成手段が生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出手段とを
備えたことを特徴とするパタン照合システム。
【請求項７】
画像特徴量抽出手段が抽出した顔画像の特徴に基づいて、予め登録する顔画像である登録画像と照合対象の顔画像である照合画像との特徴を比較し、登録画像と照合画像との特徴の一致の度合を示すスコアを求めるスコア算出手段と、
前記スコア算出手段が求めたスコアを所定の閾値と比較することによって、前記登録画像中の人物と前記照合画像中の人物とが同一人物であるか否かを判定する照合判定手段とを備えた
請求項６記載のパタン照合システム。
【請求項８】
照合判定手段は、
スコア算出手段が求めたスコアが所定の閾値より大きいか否かを判断し、
前記スコアが所定の閾値より大きいと判断すると、登録画像中の人物と照合画像中の人物とが同一人物であると判定し、
前記スコアが所定の閾値より大きくないと判断すると、登録画像中の人物と照合画像中の人物とが同一人物でないと判定する
請求項７記載のパタン照合システム。
【請求項９】
変動画像生成手段が生成した各変動画像の特徴を示す特徴情報を抽出する特徴情報抽出手段と、
前記特徴情報抽出手段が抽出した特徴情報を、所定の学習画像を用いた線形判別分析によって求めた判別空間に射影する判別空間射影手段とを備え、
画像特徴量抽出手段は、前記判別空間射影手段が特徴情報を判別空間に射影した結果に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求める
請求項６から請求項８のうちのいずれか１項に記載のパタン照合システム。
【請求項１０】
特徴情報抽出手段は、変動画像生成手段が生成した各変動画像から、特徴情報として周波数特徴を抽出する請求項９記載のパタン照合システム。
【請求項１１】
所定の学習画像を予め蓄積する学習画像蓄積手段を備え、
判別空間射影手段は、
前記学習画像蓄積手段が蓄積する学習画像を用いて、線形判別分析によって判別空間を求める判別空間算出手段と、
特徴情報抽出手段が抽出した特徴情報を、前記判別空間算出手段が求めた判別空間に射影する射影手段とを含む
請求項９又は請求項１０記載のパタン照合システム。
【請求項１２】
変動画像生成手段は、顔画像に写っている人物の顔の向き、顔の大きさ又は顔の位置を変えた画像を、変動画像として生成する請求項６から請求項１１のうちのいずれか１項に記載のパタン照合システム。
【請求項１３】
処理対象の顔画像中の人物の顔に似た分布をもつ人物の顔画像の集合を、標準人物の顔画像として予め蓄積する標準画像蓄積手段を備え、
画像特徴量抽出手段は、前記標準画像蓄積手段が蓄積する顔画像に基づいて、処理対象の顔画像中の人物と標準人物とを判別するための特徴量を求める
請求項６から請求項１２のうちのいずれか１項に記載のパタン照合システム。
【請求項１４】
画像特徴量抽出手段は、処理対象の顔画像中の人物と標準人物とを判別するための特徴量として、所定の判別ベクトル及び所定のパラメータを求める請求項６から請求項１３のうちのいずれか１項に記載のパタン照合システム。
【請求項１５】
顔画像の特徴に基づいて、顔画像のパタンを照合するパタン照合システムであって、
予め登録する顔画像である登録画像に所定の変動を加えた複数の変動画像を生成する第１の変動画像生成手段と、
前記第１の変動画像生成手段が生成した各変動画像に基づいて、登録画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、前記登録画像の特徴を抽出する第１の画像特徴量抽出手段と、
照合対象の顔画像である照合画像に所定の変動を加えた複数の変動画像を生成する第２の変動画像生成手段と、
前記第２の変動画像生成手段が生成した各変動画像に基づいて、照合画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、前記照合画像の特徴を抽出する第２の画像特徴量抽出手段と、
前記第１の画像特徴量抽出手段が抽出した登録画像の特徴に基づいて、前記登録画像と前記照合画像との特徴の一致の度合を示す第１のスコアを求める第１のスコア算出手段と、
前記第２の画像特徴量抽出手段が抽出した照合画像の特徴に基づいて、前記登録画像と前記照合画像との特徴の一致の度合を示す第２のスコアを求める第２のスコア算出手段と、
前記第１のスコア算出手段が求めた第１のスコアと前記第２のスコア算出手段が求めた第２のスコアとを用いた閾値判定を行うことによって、前記登録画像中の人物と前記照合画像中の人物とが同一人物であるか否かを判定する照合判定手段とを
備えたことを特徴とするパタン照合システム。
【請求項１６】
顔画像のパタンを照合するために用いる、顔画像の特徴を抽出する画像特徴抽出装置であって、
顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成手段と、
前記変動画像生成手段が生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出手段とを
備えたことを特徴とする画像特徴抽出装置。
【請求項１７】
顔画像のパタンを照合するために用いる、顔画像の特徴を抽出するための画像特徴抽出プログラムであって、
コンピュータに、
顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成処理と、
生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出処理とを
実行させる画像特徴抽出プログラム。
【請求項１８】
顔画像の特徴に基づいて、顔画像のパタンを照合するためのパタン照合プログラムであって、
コンピュータに、
顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成処理と、
生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出処理と、
抽出した顔画像の特徴に基づいて、予め登録する顔画像である登録画像と照合対象の顔画像である照合画像との特徴を比較し、登録画像と照合画像との特徴の一致の度合を示すスコアを求めるスコア算出処理と、
求めたスコアを所定の閾値と比較することによって、前記登録画像中の人物と前記照合画像中の人物とが同一人物であるか否かを判定する照合判定処理とを
実行させるパタン照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔画像の特徴に基づいて、顔画像のパタンの照合を行うパタン照合方法、パタン照合システム及びパタン照合プログラムに関する。また、本発明は、顔画像の特徴を抽出する画像特徴抽出方法、画像特徴抽出システム、画像特徴抽出装置及び画像特徴抽出プログラムに関する。
【背景技術】
【０００２】
従来、入退場管理システムやアクセスコントロールを用いたシステム等のセキュリティシステムにおいて、個人の身体的特徴を利用して、識別対象の本人と他人とを識別する技術が知られている。例えば、身体的特徴を利用した人物の識別方法として、顔画像による認証方法がある。顔画像による認証方法は、カメラ等で撮影した顔画像と予めデータベース等に登録した顔画像とを比較し、認証対象の本人を認証する方法である。しかし、顔画像による認証方法において、一般に、顔の向きや照明条件、撮影された日時等の影響により、単に入力画像と登録画像とを重ね合わせて照合スコアを比較するだけでは高い識別性能を得ることができない。
【０００３】
顔画像による照合方法として、一般に、ＥｉｇｅｎＦａｃｅ法と呼ばれる方法（非特許文献１参照）が知られている。非特許文献１に記載されたＥｉｇｅｎＦａｃｅ法では、画像集合中の各画像の大きさを正規化し、各画像の画素の濃淡値からなる特徴ベクトルの部分空間を主成分分析により生成する。また、入力画像と登録画像との特徴ベクトルを部分空間上に射影して照合スコアを計算する。そして、求めた照合スコアに基づいて、認証対象の人物であるか否かを判定する。しかし、非特許文献１に記載されたＥｉｇｅｎＦａｃｅ法では、特徴ベクトルを部分空間に射影する際に、同一人物内における画像の変動を抑えるだけでなく、異なる人物間における画像の変動も抑えてしまう。そのため、顔画像による認証を行う場合に、高い識別能力が得られるとは限らない。
【０００４】
このＥｉｇｅｎＦａｃｅ法における問題を回避するために、ＦｉｓｈｅｒＦａｃｅ法と呼ばれる方法（非特許文献２参照）が提案されている。非特許文献２に記載されたＦｉｓｈｅｒＦａｃｅ法では、複数個人がいる場合に、１人の個人をそれぞれ１つのクラスに割り当てる。また、多数の人物間でクラス内分散を小さくし、クラス間分散を大きくする手法（線形判別分析法）を用いて部分空間を構築する。また、入力画像と登録画像との特徴ベクトルを部分空間上に射影して照合スコアを計算する。そして、求めた照合スコアに基づいて、認証対象の人物であるか否かを判定する。非特許文献２に記載されたＦｉｓｈｅｒＦａｃｅ法では、顔画像を用いた照合実験によって、クラス内共分散行列とクラス間共分散行列とを求めるための学習サンプル画像が十分あれば、ＥｉｇｅｎＦａｃｅ法よりも高い精度が得られることが確認されている。
【０００５】
【非特許文献１】M.Turk, A.Pentland, "Eigenfaces for recognition", Journal of Cognitive Neuroscience, Vol.3, No.1, pp.71-86, 1991.
【非特許文献２】W.Zhao, R.Chellappa, P.J.Philips, "Subspace linear discriminant analysis for face recognition", Tech. Rep. CAR-TR-914, Centre for Automation Research, University of Maryland, College Park, 1999.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
非特許文献２に記載されたＦｉｓｈｅｒＦａｃｅ法では、クラス内共分散行列とクラス間共分散行列とを求めるときに用いた学習用の顔画像を、登録・照合用の顔画像（照合用の登録画像）として用いる場合、本人と他人との顔を高い精度で識別可能であることが知られている。しかし、一般に、学習用顔画像との照合を行った場合の識別能力が高くても、学習用顔画像以外の登録・照合用の顔画像との照合を行った場合に、高い識別能力が得られるとは限らない。そのため、登録・照合用の顔画像として、学習用の顔画像とは別の顔画像が登録された場合には、顔画像の照合を行う際に高い識別能力が得られない可能性がある。また、認証対象の本人の照合を高精度に行うためには、登録・照合画像における人物の個別の姿勢や照明等による変動成分を考慮する必要がある。
【０００７】
そこで、本発明は、登録人物毎に姿勢や照明等の変動成分を考慮することにより、顔画像を用いた本人照合を高精度に行うことができる画像特徴抽出方法、パタン照合方法、画像特徴抽出システム、パタン照合システム、画像特徴抽出装置、画像特徴抽出プログラム及びパタン照合プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明による画像特徴抽出方法は、顔画像のパタンを照合するために用いる、顔画像の特徴を抽出する画像特徴抽出方法であって、顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成ステップと、生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量（例えば、判別ベクトルｕやパラメータａ，ｂ）を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出ステップとを含むことを特徴とする。上記のような構成を採用し、同一人物か否かを判定することにより、本発明の目的を達成することができる。
【０００９】
本発明によるパタン照合方法は、顔画像の特徴に基づいて、顔画像のパタンを照合するパタン照合方法であって、顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成ステップと、生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出ステップとを含むことを特徴とする。上記のような構成を採用し、同一人物か否かを判定することにより、本発明の目的を達成することができる。
【００１０】
また、パタン照合方法は、抽出した顔画像の特徴に基づいて、予め登録する顔画像である登録画像と照合対象の顔画像である照合画像との特徴を比較し、登録画像と照合画像との特徴の一致の度合を示すスコア（例えば、照合スコアＳ１）を求めるスコア算出ステップと、求めたスコアを所定の閾値と比較することによって、登録画像中の人物と照合画像中の人物とが同一人物であるか否かを判定する照合判定ステップとを含むものであってもよい。
【００１１】
また、パタン照合方法は、顔画像の特徴に基づいて、顔画像のパタンを照合するパタン照合方法であって、予め登録する顔画像である登録画像に所定の変動を加えた複数の変動画像を生成する第１の変動画像生成ステップと、登録画像から生成した各変動画像に基づいて、登録画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、登録画像の特徴を抽出する第１の画像特徴量抽出ステップと、照合対象の顔画像である照合画像に所定の変動を加えた複数の変動画像を生成する第２の変動画像生成ステップと、照合画像から生成した各変動画像に基づいて、照合画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、照合画像の特徴を抽出する第２の画像特徴量抽出ステップと、抽出した登録画像の特徴に基づいて、登録画像と照合画像との特徴の一致の度合を示す第１のスコア（例えば、照合スコアＳ１）を求める第１のスコア算出ステップと、抽出した照合画像の特徴に基づいて、登録画像と照合画像との特徴の一致の度合を示す第２のスコア（例えば、照合スコアＳ２）を求める第２のスコア算出ステップと、求めた第１のスコアと第２のスコアとを用いた閾値判定を行うことによって、登録画像中の人物と照合画像中の人物とが同一人物であるか否かを判定する照合判定ステップとを含むものであってもよい。
【００１２】
本発明による画像特徴抽出システムは、顔画像のパタンを照合するために用いる、顔画像の特徴を抽出する画像特徴抽出システムであって、顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成手段（例えば、変動画像生成手段１０２によって実現される）と、変動画像生成手段が生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出手段（例えば、標準人物比較手段１０５によって実現される）とを備えたことを特徴とする。上記のような構成を採用し、同一人物か否かを判定することにより、本発明の目的を達成することができる。
【００１３】
本発明によるパタン照合システムは、顔画像の特徴に基づいて、顔画像のパタンを照合するパタン照合システムであって、顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成手段と、変動画像生成手段が生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出手段とを備えたことを特徴とする。上記のような構成を採用し、同一人物か否かを判定することにより、本発明の目的を達成することができる。
【００１４】
また、パタン照合システムは、画像特徴量抽出手段が抽出した顔画像の特徴に基づいて、予め登録する顔画像である登録画像と照合対象の顔画像である照合画像との特徴を比較し、登録画像と照合画像との特徴の一致の度合を示すスコアを求めるスコア算出手段（例えば、スコア算出手段３０１によって実現される）と、スコア算出手段が求めたスコアを所定の閾値と比較することによって、登録画像中の人物と照合画像中の人物とが同一人物であるか否かを判定する照合判定手段（例えば、照合判定手段３０２によって実現される）とを備えたものであってもよい。
【００１５】
また、パタン照合システムにおいて、照合判定手段は、スコア算出手段が求めたスコアが所定の閾値より大きいか否かを判断し、スコアが所定の閾値より大きいと判断すると、登録画像中の人物と照合画像中の人物とが同一人物であると判定し、スコアが所定の閾値より大きくないと判断すると、登録画像中の人物と照合画像中の人物とが同一人物でないと判定するものであってもよい。
【００１６】
また、パタン照合システムは、変動画像生成手段が生成した各変動画像の特徴を示す特徴情報（例えば、周波数特徴ｆ）を抽出する特徴情報抽出手段（例えば、特徴抽出手段１０３によって実現される）と、特徴情報抽出手段が抽出した特徴情報を、所定の学習画像（例えば、学習用画像）を用いた線形判別分析によって求めた判別空間に射影する判別空間射影手段とを備え、画像特徴量抽出手段は、判別空間射影手段が特徴情報を判別空間に射影した結果に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めるものであってもよい。
【００１７】
また、パタン照合システムにおいて、特徴情報抽出手段は、変動画像生成手段が生成した各変動画像から、特徴情報として周波数特徴を抽出するものであってもよい。
【００１８】
また、パタン照合システムは、所定の学習画像を予め蓄積する学習画像蓄積手段（例えば、学習画像データベースによって実現される）を備え、判別空間射影手段は、学習画像蓄積手段が蓄積する学習画像を用いて、線形判別分析によって判別空間を求める判別空間算出手段（例えば、判別空間射影手段１０４によって実現される）と、特徴情報抽出手段が抽出した特徴情報を、判別空間算出手段が求めた判別空間に射影する射影手段（例えば、判別空間射影手段１０４によって実現される）とを含むものであってもよい。
【００１９】
また、パタン照合システムにおいて、変動画像生成手段は、顔画像に写っている人物の顔の向き、顔の大きさ又は顔の位置を変えた画像を、変動画像として生成するものであってもよい。
【００２０】
また、パタン照合システムは、処理対象の顔画像中の人物の顔に似た分布をもつ人物の顔画像の集合を、標準人物の顔画像として予め蓄積する標準画像蓄積手段（例えば、標準画像データベースによって実現される）を備え、画像特徴量抽出手段は、標準画像蓄積手段が蓄積する顔画像に基づいて、処理対象の顔画像中の人物と標準人物とを判別するための特徴量を求めるものであってもよい。
【００２１】
また、パタン照合システムにおいて、画像特徴量抽出手段は、処理対象の顔画像中の人物と標準人物とを判別するための特徴量として、所定の判別ベクトル及び所定のパラメータを求めるものであってもよい。
【００２２】
また、パタン照合システムは、顔画像の特徴に基づいて、顔画像のパタンを照合するパタン照合システムであって、予め登録する顔画像である登録画像に所定の変動を加えた複数の変動画像を生成する第１の変動画像生成手段（例えば、変動画像生成手段１０２によって実現される）と、第１の変動画像生成手段が生成した各変動画像に基づいて、登録画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、登録画像の特徴を抽出する第１の画像特徴量抽出手段（例えば、標準人物比較手段１０５によって実現される）と、照合対象の顔画像である照合画像に所定の変動を加えた複数の変動画像を生成する第２の変動画像生成手段（例えば、変動画像生成手段２０４によって実現される）と、第２の変動画像生成手段が生成した各変動画像に基づいて、照合画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、照合画像の特徴を抽出する第２の画像特徴量抽出手段（例えば、標準人物比較手段２０５によって実現される）と、第１の画像特徴量抽出手段が抽出した登録画像の特徴に基づいて、登録画像と照合画像との特徴の一致の度合を示す第１のスコアを求める第１のスコア算出手段（例えば、スコア算出手段３０１Ａによって実現される）と、第２の画像特徴量抽出手段が抽出した照合画像の特徴に基づいて、登録画像と照合画像との特徴の一致の度合を示す第２のスコアを求める第２のスコア算出手段（例えば、スコア算出手段３０１Ａによって実現される）と、第１のスコア算出手段が求めた第１のスコアと第２のスコア算出手段が求めた第２のスコアとを用いた閾値判定を行うことによって、登録画像中の人物と照合画像中の人物とが同一人物であるか否かを判定する照合判定手段（例えば、照合判定手段３０２Ａによって実現される）とを備えたものであってもよい。
【００２３】
本発明による画像特徴抽出装置は、顔画像のパタンを照合するために用いる、顔画像の特徴を抽出する画像特徴抽出装置（例えば、登録画像蓄積サーバ４０，４０Ａによって実現される）であって、顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成手段と、変動画像生成手段が生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出手段とを備えたことを特徴とする。上記のような構成を採用し、同一人物か否かを判定することにより、本発明の目的を達成することができる。
【００２４】
本発明による画像特徴抽出プログラムは、顔画像のパタンを照合するために用いる、顔画像の特徴を抽出するための画像特徴抽出プログラムであって、コンピュータに、顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成処理と、生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出処理とを実行させることを特徴とする。上記のような構成を採用し、同一人物か否かを判定することにより、本発明の目的を達成することができる。
【００２５】
本発明によるパタン照合プログラムは、顔画像の特徴に基づいて、顔画像のパタンを照合するためのパタン照合プログラムであって、コンピュータに、顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成処理と、生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出処理と、抽出した顔画像の特徴に基づいて、予め登録する顔画像である登録画像と照合対象の顔画像である照合画像との特徴を比較し、登録画像と照合画像との特徴の一致の度合を示すスコアを求めるスコア算出処理と、求めたスコアを所定の閾値と比較することによって、登録画像中の人物と照合画像中の人物とが同一人物であるか否かを判定する照合判定処理とを実行させることを特徴とする。
【発明の効果】
【００２６】
本発明によれば、線形判別分析を用いた登録画像の特徴抽出を行うだけでなく、顔画像に対する変動画像群を生成し特徴抽出を行う。また、生成した変動画像群に基づいて、顔画像中の人物と標準人物とを判別するための所定の特徴量を求める。本発明によれば、顔画像の変動成分を考慮することによって、顔画像中の人物及び標準人物との２クラス判別を可能としている。また、顔画像中の人物及び標準人物との２クラス判別分析を行うことによって、照合画像中の人物が登録画像中の人物であるか否かを判定すれば、登録した人物固有の変動がある場合でも、高い精度で顔画像の照合を行うことができる。従って、登録人物毎に姿勢や照明等の変動成分を考慮することにより、顔画像を用いた本人照合を高精度に行うことができる。
【００２７】
また、本発明において、判別空間射影手段が判別空間を生成する際に、学習画像に加えて変動画像を用いて判別空間を生成するように構成すれば、通常の線形判別分析法を用いた顔照合アルゴリズムと比較して、学習パタン数を増加させることができる。そのため、顔画像を照合する際の判別性能を高くすることができる。
【００２８】
また、本発明において、登録画像に対する変動画像群だけでなく、照合画像に対する変動画像群を生成し、登録画像中の人物と標準人物とを判別するための特徴量だけでなく、照合画像中の人物と標準人物とを判別するための特徴量を求めるように構成すれば、複数の照合スコアを平均した平均照合スコアを求めることができる。そのため、複数の照合スコアを平均した平均照合スコアに基づいて照合できるので、顔画像を用いた本人照合をより高精度に行うことができる。
【発明を実施するための最良の形態】
【００２９】
実施の形態１．
以下、本発明の第１の実施の形態を図面を参照して説明する。図１は、本発明による２次元顔画像間のパタンを照合するパタン照合システムの構成の一例を示すブロック図である。図１に示すように、パタン照合システム１０は、登録画像蓄積手段１００、照合画像入力手段２００、画像正規化手段１０１，２０１、変動画像生成手段１０２、特徴抽出手段１０３，２０２、判別空間射影手段１０４，２０３、標準人物比較手段１０５、スコア算出手段３０１及び照合判定手段３０２を含む。
【００３０】
パタン照合システム１０は、具体的には、１又は複数のワークステーションやパーソナルコンピュータ等の情報処理装置を用いて実現される。また、パタン照合システム１０は、例えば、入退場管理システムや、アクセスコントロールを用いたシステム等のセキュリティシステムに適用される。例えば、パタン照合システム１０は、セキュリティシステムにおいて、本人認証を行う際に、２つの顔画像に写っている人物が同一人物であるか否かを判定する同一人物判定システム（装置）の用途に用いられる。
【００３１】
登録画像蓄積手段１００は、具体的には、磁気ディスク装置や光ディスク装置等のデータベース装置によって実現される。登録画像蓄積手段１００は、認証対象となりうる人物が写っている顔画像（登録画像）を予め蓄積する。本実施の形態は、例えば、パタン照合システム１０の管理者の登録操作によって、予め登録画像蓄積手段１００に登録画像が蓄積される。なお、登録画像蓄積手段１００は、複数の登録画像を予め蓄積してもよい。
【００３２】
画像正規化手段１０１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。画像正規化手段１０１は、登録画像を正規化する機能を備える。本実施の形態では、画像正規化手段１０１は、登録画像蓄積手段１００から登録画像を抽出する。また、画像正規化手段１０１は、抽出した顔画像（登録画像）に含まれる両目の位置を検出する。また、画像正規化手段１０１は、取得（検出）した両目位置情報等を用いて、登録画像に対して、予め決められた位置に目位置が重なるようにアフィン変換を行い、顔の大きさや位置を正規化する。また、画像正規化手段１０１は、正規化後の顔画像（正規化画像ともいう）を変動画像生成手段１０２に出力する機能を備える。
【００３３】
変動画像生成手段１０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。変動画像生成手段１０２は、登録画像に所定の変動を加えた変動画像を複数生成する機能を備える。本実施の形態では、変動画像生成手段１０２は、画像正規化手段１０１から、登録画像の正規化画像を入力する。また、変動画像生成手段１０２は、入力した正規化画像に対して所定の変換を行い、登録画像に写っている人物の顔の向きや顔の大きさ、顔位置を変えた画像を、変動画像として複数（例えば、３０画像）生成する。
【００３４】
例えば、パタン照合システム１０は、標準的な顔の形状モデル（例えば、複数人物の顔を平均した形状モデル）を予め蓄積する形状モデルデータベース（図示せず）を備える。この場合、変動画像生成手段１０２は、入力した正規化画像を、蓄積する標準的な顔の形状モデルに貼り合わせ、形状モデルを３次元空間上で回転し再び２次元平面に投影することによって、変動画像として、顔の向きを変えた画像を生成できる。また、変動画像生成手段１０２は、入力した正規化画像を拡大や縮小、並進移動させることによって、変動画像として、顔の大きさや位置を変えた画像を生成できる。
【００３５】
変動画像生成手段１０２は、生成した各変動画像を特徴抽出手段１０３に出力する機能を備える。また、変動画像生成手段１０２は、各変動画像とともに、変動前の正規化画像も特徴抽出手段１０３に出力する機能を備える。以下、変動画像生成手段１０２が出力する各変動画像と正規化画像とを包括的に表現する場合に、単に変動画像群ともいう。すなわち、変動画像生成手段１０２は、生成した各変動画像と入力した正規化画像とを含む変動画像群を、特徴抽出手段１０３に出力する。
【００３６】
特徴抽出手段１０３は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。特徴抽出手段１０３は、変動画像生成手段１０２から入力した変動画像群に基づいて、各変動画像の特徴を示す特徴情報と抽出する機能を備える。本実施の形態では、特徴抽出手段１０３は、変動画像生成手段１０２から出力された変動画像群を入力する。また、特徴抽出手段１０３は、入力した変動画像群に基づいて、特徴情報として周波数特徴を抽出し、判別空間射影手段１０４に出力する。「周波数特徴」とは、画像から周波数成分を抽出することによって得られる画像の特徴情報である。本実施の形態では、特徴抽出手段１０３は、変動画像群に含まれる各変動画像及び正規化画像について、それぞれ周波数特徴を抽出する。
【００３７】
本実施の形態では、特徴抽出手段１０３は、変動画像の輝度を示す変動画像輝度Ｉ（ｘ，ｙ）に基づいて、式（１）に示すＧａｂｏｒフィルタ及び式（２）を用いて計算することによって、周波数特徴ｆを抽出する。
【００３８】
【数１】
2006338092.tif 000003
【００３９】
ｆ＝ΣｘΣｙｇ（ｘ−ｘ０，ｙ−ｙ０）Ｉ（ｘ，ｙ）                          式（２）
【００４０】
ここで、式（１）及び式（２）において、ｋｘ，ｋｙ，σ，ｘ０，ｙ０は、それぞれ任意のパラメータである。特徴抽出手段１０３は、これらのパラメータの値を変化させることによって、変動画像群に含まれる変動画像（正規化画像を含む）毎に、Ｍ個の特徴を変動画像から抽出する。従って、変動画像群に含まれる変動画像数をＮとすると、特徴抽出手段１０３は、特徴情報としてＭ行Ｎ列の行列Ｔを、判別空間射影手段１０４に出力する。
【００４１】
判別空間射影手段１０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。判別空間射影手段１０４は、特徴抽出手段１０３から入力した特徴情報（登録画像の変動画像群の特徴）を、所定の学習用画像を用いた線形判別分析によって求めた判別空間に射影する機能を備える。また、判別空間射影手段１０４は、登録画像の変動画像群の特徴を判別空間に射影した結果情報を、標準人物比較手段１０５に出力する機能を備える。なお、「判別空間」は、個人識別を容易にするために、顔画像の特徴を写像した空間である。
【００４２】
本実施の形態では、判別空間射影手段１０４は、特徴抽出手段１０３から出力された周波数特徴を入力する。また、判別空間射影手段１０４は、入力した周波数特徴をＬ次元の判別空間に射影した結果を出力する。この場合、判別空間射影手段１０４は、線形判別分析を用いて判別空間を生成する。
【００４３】
判別空間射影手段１０４が判別空間を生成する方法について説明する。例えば、照合結果３０は、判別空間を学習するための顔画像である学習用顔画像を予め複数蓄積する学習画像データベース（図示せず）を備える。判別空間射影手段１０４は、学習用の顔画像（学習用顔画像）を学習画像データベースから入力（抽出）する。また、判別空間射影手段１０４は、画像正規化手段１０１、変動画像生成手段１０２及び特徴抽出手段１０３を用いて、学習用顔画像の特徴を示す特徴行列Ｔｉを学習用顔画像毎に求める。ここで、添え字ｉは、学習用顔画像の番号（例えば、各学習用顔画像に予め付与されている）を表す。
【００４４】
判別空間射影手段１０４は、全ての学習用顔画像について特徴行列Ｔｉを求めると、求めた特徴行列Ｔｉに基づいて、クラス内共分散行列Ｓｗとクラス間共分散行列Ｓｂとを計算する。この場合、判別空間射影手段１０４は、式（３）に示す計算式を用いて、クラス内共分散行列Ｓｗを求める。また、判別空間射影手段１０４は、式（４）を用いて、クラス間共分散行列Ｓｂを求める。
【００４５】
【数２】
2006338092.tif 000004
【００４６】
【数３】
2006338092.tif 000005
【００４７】
ここで、式（３）及び式（４）において、Ｔｉｊは特徴行列Ｔｉのｊ番目の列ベクトルを示し、Ｒｋはｋ番目のクラスを示している。また、ｚｋはｋ番目のクラスにおける特徴ベクトルＴｉｊの平均を示し、ｚは全クラスにおける特徴ベクトルの平均を示している。また、ｎｋはｋ番目のクラスに属する特徴ベクトル数を示し、ｎは全特徴ベクトル数である。
【００４８】
本実施の形態では、人物毎に１つのクラスを割り当てる。例えば、予め登録画像蓄積手段１００に登録される登録画像の人物毎に、それぞれ１つのクラスを割り当てる。この場合、判別空間射影手段１０４が求めるクラス内共分散行列Ｓｗは、同一人物における顔の向きや照明条件の変動の大きさを示している。また、クラス間共分散行列Ｓｂは、異なる人物間における顔の向きや照明条件の変動の大きさを示している。
【００４９】
判別空間射影手段１０４は、クラス内共分散行列Ｓｗの逆行列にクラス間共分散行列Ｓｂをかけた行列（Ｓｗ）−１Ｓｂを求める。また、判別空間射影手段１０４は、求めた行列（Ｓｗ）−１Ｓｂについて、固有値及び固有ベクトルを求める。ここで、判別空間射影手段１０４は、行列（Ｓｗ）−１Ｓｂについて、Ｌ個の固有値及び固有ベクトルを求めるものとする。
【００５０】
判別空間射影手段１０４は、行列（Ｓｗ）−１Ｓｂについて、固有値が大きい順にＬ個の固有ベクトルを並べた行列Ｖを計算する。ここで、Ｖは、Ｍ行Ｌ列の行列である。以下、判別空間射影手段１０４が求める行列Ｖを判別行列という。判別空間射影手段１０４は、特徴抽出手段１０３から入力した行列Ｔを判別行列Ｖに掛ける（行列Ｔと判別行列Ｖとの乗算を行う）ことによって、数（５）を用いて行列Ｔ’を求める。
【００５１】
Ｔ’＝ＶｔＴ                                                            式（５）
【００５２】
本実施の形態では、判別空間射影手段１０４は、登録画像の特徴をＬ次元の判別空間に射影した結果情報として、式（５）に示す行列Ｔ’を求める。以下、判別空間射影手段１０４が結果情報として求める行列Ｔ’を判別特徴行列ともいう。また、判別空間射影手段１０４は、求めた判別特徴行列Ｔ’の値を標準人物比較手段１０５に出力する。
【００５３】
なお、上記に示した判別空間の生成方法は、例えば、「R.O.Duda, P.E.Hart, D.G.Stork 著，尾上守夫監訳 ，”パターン識別”，新技術コミュニケーションズ，ｐ．１１４−１２１（文献Ａ）」に記載されている。
【００５４】
標準人物比較手段１０５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。標準人物比較手段１０５は、判別空間射影手段１０４が特徴情報を判別空間に射影した結果に基づいて、登録画像中の人物（登録人物ともいう）と所定の標準人物とを高精度に判別するための所定の特徴量を求める機能を備える。なお、「標準人物」とは、登録用に保持される顔（登録人物の顔）に似た分布をもつ人物の集合である。
【００５５】
本実施の形態では、標準人物比較手段１０５は、登録画像から求めた判別特徴（判別特徴行列Ｔ’）と、標準人物から求めた判別特徴とを比較して、登録人物と標準人物との判別性が最も高くなる判別空間上の軸を求める。まず、標準人物比較手段１０５は、登録人物に対して、判別特徴空間（判別特徴を射影した判別空間）内における共分散行列Ｓｗ１を、式（６）を用いて求める。
【００５６】
【数４】
2006338092.tif 000006
【００５７】
ここで、式（６）において、Ｔｉ’は判別特徴行列Ｔ’のｉ番目の列ベクトルを示し、バーＴ’は判別特徴行列Ｔ’の列ベクトルにおける平均ベクトルである。
【００５８】
次に、標準人物比較手段１０５は、標準人物における共分散行列を求める。例えば、パタン照合システム１０は、標準人物の各顔画像を予め蓄積する標準画像データベース（図示せず）を備える。例えば、登録画像蓄積手段１００に大人の男性の顔画像を登録画像として登録している場合、パタン照合システム１０は、複数の大人の男性の顔画像を標準人物の顔画像として蓄積する。この場合、標準人物比較手段１０５は、標準画像データベースが蓄積する標準人物の各顔画像に基づいて、標準人物における共分散行列を求める。
【００５９】
標準人物を学習画像における平均的な人物と仮定すると、標準人物比較手段１０５は、標準人物における共分散行列Ｓｗ２を、式（７）を用いて求める。
【００６０】
Ｓｗ２＝ＶｔＳｗＶｔ                                                      式（７）
【００６１】
また、標準人物比較手段１０５は、線形判別分析法に従って、登録人物と標準人物との２クラスのパタン分布を照合対象の人物から識別するために最適な判別空間上の軸ｕを、式（８）を用いて求める。
【００６２】
【数５】
2006338092.tif 000007
【００６３】
ここで、式（８）において、ｚは全クラスにおける特徴ベクトルの平均である。
【００６４】
次に、標準人物比較手段１０５は、求めた判別ベクトルｕを用いて、所定の２つのパラメータａ，ｂの値を計算する。この場合、標準人物比較手段１０５は、所定のパラメータａを、式（９）を用いて求める。また、標準人物比較手段１０５は、所定のパラメータｂを、式（１０）を用いて求める。
【００６５】
【数６】
2006338092.tif 000008
【００６６】
【数７】
2006338092.tif 000009
【００６７】
式（９）及び式（１０）を用いて求めた２つのパラメータａ，ｂの値は、スコア算出手段３０１が登録用画像と入力用画像との所定の照合スコアを計算する際に必要となる。標準人物比較手段１０５は、求めたＬ次元の判別ベクトルｕと、各パラメータａ，ｂの値とを、スコア算出手段３０１に出力する。
【００６８】
照合画像入力手段２００は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵ及び入出力インタフェース部によって実現される。照合画像入力手段２００は、照合対象の入力顔画像（照合画像という）を入力する機能を備える。例えば、パタン照合システム１０を実現する情報処理装置は、カメラ等の撮像手段を備える。この場合、照合画像入力手段２００は、ユーザの指示操作に従って、撮像手段が撮影した顔画像を照合画像として入力する。また、照合画像入力手段２００は、入力した照合画像を画像正規化手段２０１に出力する機能を備える。
【００６９】
画像正規化手段２０１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。画像正規化手段２０１は、照合画像入力手段２００から照合画像を入力する機能を備える。また、画像正規化手段２０１は、画像正規化手段１０１と同様の処理に従って、照合画像を正規化する機能を備える。また、画像正規化手段２０１は、正規化後の照合画像を特徴抽出手段２０２に出力する機能を備える。
【００７０】
特徴抽出手段２０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。特徴抽出手段２０２は、画像正規化手段２０１から正規化後の照合画像を入力する機能を備える。また、特徴抽出手段２０２は、特徴抽出手段１０３と同様の特徴抽出処理に従って、照合画像の特徴を示す特徴情報を抽出する機能を備える。また、特徴抽出手段２０２は、抽出した照合画像の特徴情報を判別空間射影手段２０３に出力する機能を備える。
【００７１】
なお、特徴抽出手段１０３が変動画像群に基づいて複数画像の特徴情報を抽出するのとは異なり、特徴抽出手段２０２は、照合画像に基づいて１つの画像の特徴情報を抽出する。
【００７２】
判別空間射影手段２０３は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。判別空間射影手段２０３は、特徴抽出手段２０２から照合画像の特徴情報を入力する機能を備える。また、判別空間射影手段２０３は、判別空間射影手段１０４と同様の処理に従って、照合画像の特徴を判別空間に射影する機能を備える。また、判別空間射影手段２０３は、照合画像の特徴を判別空間に射影した結果情報を、スコア算出手段３０１に出力する機能を備える。
【００７３】
なお、判別空間射影手段１０４が複数画像を含む変動画像群に基づいて処理を実行するのとは異なり、判別空間射影手段２０３は、１つの画像（照合画像）に基づいて処理を行う。そのため、判別空間射影手段２０３は、照合画像の特徴をＬ次元の判別空間に射影した結果情報として判別特徴ベクトルＲを生成し、スコア算出手段３０１に出力する。
【００７４】
スコア算出手段３０１は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。スコア算出手段３０１は、登録画像と照合画像との特徴を照合（比較）し、登録画像と照合画像との特徴の一致の度合を示す照合スコアを求める機能を備える。また、スコア算出手段３０１は、求めた照合スコアを照合判定手段３０２に出力する機能を備える。
【００７５】
本実施の形態では、スコア算出手段３０１は、標準人物比較手段１０５から、登録用顔画像（登録画像）から求めた判別ベクトルｕと、各パラメータａ，ｂの値とを入力する。また、また、スコア算出手段３０１は、判別空間射影手段２０３から、照合画像から求めた判別特徴ベクトルＲを入力する。そして、スコア算出手段３０１は、入力した判別ベクトルｕ、パラメータａ，ｂ及び判別特徴ベクトルＲを用いて、照合スコアを計算する。この場合、スコア算出手段３０１は、照合スコアＳ１を式（１１）を用いて算出する。
【００７６】
Ｓ１＝（ｕｔＲ−ａ）／ｂ                                              式（１１）
【００７７】
式（９）及び式（１０）にそれぞれ示すパラメータａ，ｂの定義式により、Ｒ＝バーＴ’のとき（すなわち、登録画像と照合画像との判別特徴が等しいとき）、照合スコアＳ１が１になることが分かる。また、Ｒ＝ｚのとき（すなわち、照合画像の判別特徴が標準人物の判別特徴と等しいとき）、照合スコアＳ１が−１になることが分かる。また、スコア算出手段３０１は、求めた照合スコアＳ１を照合判定手段３０２に出力する。
【００７８】
照合判定手段３０２は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。照合判定手段３０２は、照合スコアを所定の閾値と比較することによって、登録画像中の人物と照合画像中の人物とが同一人物であるか否かを判定する機能を備える。また、照合判定手段３０２は、同一人物であるか否かの照合結果３０を出力する機能を備える。
【００７９】
照合判定手段３０２は、スコア算出手段３０１が計算した照合スコアを入力する。また、照合判定手段３０２は、入力した照合スコアを用いて、登録画像中の人物と、照合画像中の人物とが同一人物であるか否かを判定する。この場合、照合判定手段３０２は、入力した照合スコアＳ１が所定の閾値ｔより大きいか否かを判断する。照合スコアＳ１が閾値ｔよりも大きいと判断すると、照合判定手段３０２は、照合画像中の人物が照合対象の本人である（すなわち、登録画像中の人物と照合画像中の人物とが同一人物である）と判定する。また、照合スコアＳ１が閾値ｔよりも大きくない（例えば、小さい）と判断すると、照合判定手段３０２は、照合画像中の人物が照合対象の本人以外の他人である（すなわち、登録画像中の人物と照合画像中の人物とが同一人物でない）と判定する。
【００８０】
また、照合判定手段３０２は、照合画像中の人物が照合対象の本人であるか否かの判定結果（照合結果３０）を出力する。例えば、照合判定手段３０２は、照合結果３０を、入退場管理システム等のセキュリティシステムに出力する。また、例えば、照合判定手段３０２は、照合結果３０を、ディスプレイ装置等の表示装置に表示させてもよい。
【００８１】
なお、本実施の形態において、パタン照合システム１０を実現する情報処理装置の記憶装置（図示せず）は、顔画像の特徴を抽出する処理を実行するための各種プログラムを記憶している。例えば、情報処理装置の記憶装置は、コンピュータに、顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成処理と、生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出処理とを実行させるための画像特徴抽出プログラムを記憶している。
【００８２】
また、本実施の形態において、情報処理装置の記憶装置は、顔画像のパタンを照合する処理を実行するための各種プログラムを記憶している。例えば、情報処理装置の記憶装置は、コンピュータに、顔画像に所定の変動を加えた複数の変動画像を生成する変動画像生成処理と、生成した各変動画像に基づいて、処理対象の顔画像中の人物と所定の標準人物とを判別するための所定の特徴量を求めることによって、処理対象の顔画像の特徴を抽出する画像特徴量抽出処理と、抽出した顔画像の特徴に基づいて、予め登録する顔画像である登録画像と照合対象の顔画像である照合画像との特徴を比較し、登録画像と照合画像との特徴の一致の度合を示すスコアを求めるスコア算出処理と、求めたスコアを所定の閾値と比較することによって、登録画像中の人物と照合画像中の人物とが同一人物であるか否かを判定する照合判定処理とを実行させるためのパタン照合プログラムを記憶している。
【００８３】
次に、動作について説明する。本実施の形態では、一例として、パタン照合システム１０を入退場管理システムに適用し、建物に入場する人物が予め登録された人物であるか否かを認証する本人認証を行う場合を説明する。なお、パタン照合システム１０は、入退場管理システムに限らず、アクセスコントロールを用いたシステム等の他のセキュリティシステムに用いられてもよい。
【００８４】
まず、パタン照合システム１０が予め登録する登録画像の特徴を求める動作を説明する。図２は、パタン照合システムが予め登録する登録画像の特徴を求める登録画像処理の一例を示す流れ図である。
【００８５】
画像正規化手段１０１は、所定のタイミングで、登録画像蓄積手段１００から登録画像を抽出する。例えば、画像正規化手段１０１は、ユーザによって建物への入場操作が行われると、登録画像蓄積手段１００から登録画像を抽出する。また、画像正規化手段１０１は、抽出した登録画像の両目位置情報を検出し、目の位置が予め定められた位置になるように顔の大きさや位置を変換することによって、登録画像を正規化する（ステップＳ１０１）。また、画像正規化手段１０１は、正規化した登録画像を変動画像生成手段１０２に出力する。
【００８６】
変動画像生成手段１０２は、画像正規化手段１０１からの正規化画像に基づいて、登録画像に対する複数の変動画像を生成する（ステップＳ１０２）。この場合、変動画像生成手段１０２は、登録画像中の人物の顔の向きや顔の大きさ、顔の位置を変えた顔画像を、変動画像として複数生成する。また、各変動画像を生成すると、変動画像生成手段１０２は、変動画像群を特徴抽出手段１０３に出力する。
【００８７】
特徴抽出手段１０３は、変動画像生成手段１０２からの変動画像群に含まれる各変動画像（正規化画像を含む）の特徴情報を抽出する（ステップＳ１０３）。この場合、特徴抽出手段１０３は、変動画像群に基づいて、各変動画像の周波数特徴を特徴情報として抽出する。そして、特徴抽出手段１０３は、抽出した周波数特徴を判別空間射影手段１０４に出力する。
【００８８】
判別空間射影手段１０４は、特徴抽出手段１０３からの周波数特徴に基づいて、登録画像の変動画像群から抽出した特徴を判別空間に射影する（ステップＳ１０４）。また、判別空間射影手段１０４は、登録画像の変動画像群の特徴を判別空間に射影した結果情報を、標準人物比較手段１０５に出力する。この場合、判別空間射影手段１０４は、式（３）〜式（５）を用いた計算を行い、判別特徴行列Ｔ’を結果情報として出力する。
【００８９】
標準人物比較手段１０５は、判別空間射影手段１０４からの結果情報に基づいて、登録人物の特徴を標準人物の特徴と比較し、登録人物と標準人物とを高精度に判別するための所定の特徴量を求める（ステップＳ１０５）。この場合、標準人物比較手段１０５は、式（６）〜式（８）を用いた計算を行い、特徴量として判別ベクトルｕを求める。また、標準人物比較手段１０５は、式（９），（１０）を用いた計算を行い、特徴量として所定のパラメータａ，ｂを求める。そして、標準人物比較手段１０５は、求めた特徴量をスコア算出手段３０１に出力する。
【００９０】
以上に示すように、ステップＳ１０１からステップＳ１０５までの処理が実行されることによって、登録画像の特徴が抽出される。なお、登録画像蓄積手段１００に複数の登録画像が蓄積されている場合、パタン照合システム１０は、各登録画像について、それぞれステップＳ１０１からステップＳ１０５までの処理を実行し、求めた各特徴量を標準人物比較手段１０５に出力してもよい。
【００９１】
また、標準人物の各顔画像をそのまま用いて所定の特徴量を求める場合を示したが、標準人物比較手段１０５は、ステップＳ１０５において、ステップＳ１０２と同様の処理に従って、標準人物の各顔画像に対する変動画像を複数生成してもよい。この場合、標準人物比較手段１０５は、ステップＳ１０３及びステップＳ１０４と同様の処理に従って、生成した標準人物の変動画像群の特徴を判別空間に射影する処理を実行し、所定の特徴量（判別ベクトルｕやパラメータａ，ｂ）を求めてもよい。そのようにすれば、例えば、標準人物として蓄積する顔画像のサンプル数が少ない場合であっても、登録画像の特徴量を適切に求めることができる。
【００９２】
また、パタン照合システム１０は、入場操作のタイミングで登録画像処理を実行するのでなく、予め登録画像蓄積手段１００に登録されている各登録画像の特徴を抽出し、データベースに蓄積していてもよい。この場合、例えば、パタン照合システム１０は、標準人物比較手段１０５が求めた登録画像の特徴量（判別ベクトルｕやパラメータａ，ｂ）を蓄積する特徴量データベースを備える。そして、標準人物比較手段１０５は、スコア算出手段３０１からの要求に応じて、特徴量データベースから特徴量を抽出し、スコア算出手段３０１に出力する。
【００９３】
次に、パタン照合システム１０が照合画像の特徴を求める動作を説明する。図３は、パタン照合システムが照合画像の特徴を求める照合画像処理の一例を示す流れ図である。
【００９４】
照合画像入力手段２００は、所定のタイミングで、照合画像を入力する。例えば、ユーザによって建物への入場操作が行われると、照合画像入力手段２００は、パタン照合システム１０が備えるカメラ等の撮像手段に、入場操作を行ったユーザの顔を撮影させる。そして、照合画像入力手段２００は、撮像手段が撮影した顔画像を照合画像として入力する。
【００９５】
画像正規化手段２０１は、画像正規化手段１０１と同様の処理に従って、照合画像入力手段２００からの照合画像を正規化する（ステップＳ２０１）。また、画像正規化手段２０１は、正規化した照合画像を特徴抽出手段２０２に出力する。
【００９６】
また、特徴抽出手段２０２は、画像正規化手段２０１から正規化後の照合画像を入力すると、変動画像生成手段１０２と同様の処理に従って、照合画像の特徴情報（周波数特徴）を抽出する（ステップＳ２０２）。また、特徴抽出手段２０２は、抽出した周波数特徴を判別空間射影手段２０３に出力する。
【００９７】
判別空間射影手段２０３は、特徴抽出手段２０２からの周波数特徴に基づいて、判別空間射影手段１０４と同様の処理に従って、照合画像から抽出した特徴を判別空間に射影する（ステップＳ２０３）。また、判別空間射影手段２０３は、照合画像の特徴を判別空間に射影した結果情報を、スコア算出手段３０１に出力する。この場合、判別空間射影手段２０３は、判別特徴ベクトルＲを結果情報として出力する。
【００９８】
以上に示すように、ステップＳ２０１からステップＳ２０３までの処理が実行されることによって、照合画像の特徴が抽出される。
【００９９】
次に、パタン照合システム１０が登録画像と照合画像との特徴を照合する動作を説明する。図４は、パタン照合システムが登録画像と照合画像との特徴を照合し、認証対象の人物が予め登録された人物であるか否かを判定する本人判定処理の一例を示す流れ図である。
【０１００】
スコア算出手段３０１は、標準人物比較手段１０５から登録画像の各特徴量（判別ベクトルｕやパラメータａ，ｂ）を入力する。また、スコア算出手段３０１は、判別空間射影手段２０３から、照合画像の特徴量（判別特徴ベクトルＲ）を入力する。また、スコア算出手段３０１は、入力した各特徴量に基づいて、登録画像と照合画像との特徴を照合し、登録画像と照合画像との照合スコアを求める（ステップＳ３０１）。この場合、スコア算出手段３０１は、式（１１）を用いた計算を行い、照合スコアＳ１を求める。また、スコア算出手段３０１は、求めた照合スコアを照合判定手段３０２に出力する。
【０１０１】
照合判定手段３０２は、スコア算出手段３０１が求めた照合スコアに基づいて、照合対象の人物が、予め登録された人物であるか否かの本人判定を行う（ステップＳ３０２）。この場合、照合判定手段３０２は、照合スコアＳ１が所定の閾値ｔより大きいか否かを判断し、閾値ｔより大きいと判断すると、照合画像中の人物が予め登録された人物であると判定する。また、照合判定手段３０２は、閾値ｔより大きくないと判断すると、照合画像中の人物が予め登録された人物でないと判定する。
【０１０２】
本人判定を行うと、照合判定手段３０２は、照合対象の人物が予め登録された人物であるか否かの判定結果（照合結果３０）を出力する。また、入退場管理システムは、照合判定手段３０２の照合結果３０に基づいて、入場操作を行ったユーザの通行を許可し又は許否する。この場合、照合判定手段３０２が照合対象の人物が登録人物であると判定すると、入退場管理システムは、例えば、フラッパーゲートを開けてユーザの通行を許可する。また、照合判定手段３０２が照合対象の人物が登録人物でないと判定すると、入退場管理システムは、例えば、フラッパーゲートを閉じたままユーザの通行を拒否する。
【０１０３】
なお、登録画像蓄積手段１００に複数の登録画像が登録されている場合、スコア算出手段３０１は、各登録画像に対する特徴量をそれぞれ標準人物比較手段１０５から入力してもよい。この場合、照合判定手段３０２は、各登録画像について、それぞれ照合画像中の人物が予め登録された人物であるか否かを判定する。そして、照合判定手段３０２は、照合画像の人物がいずれかの登録画像中の人物であると判断すると、照合対象の人物が登録人物であると判定する。また、照合判定手段３０２は、照合画像の人物が全ての登録画像中の人物と合致しない判断すると、照合対象の人物が登録人物でないと判定する。
【０１０４】
図５は、標準顔空間と登録人物顔空間との関係を示す説明図である。図５において、バーＴ’は、登録人物顔空間における平均ベクトルである。また、Ｓｗ１は、登録人物顔空間における共分散行列である。また、ｚは、標準顔空間における平均ベクトルである。また、Ｓｗ２は、標準顔空間における共分散行列である。
【０１０５】
また、図５において、ベクトルｕは、登録人物と標準人物とを判別する判別ベクトルであり、標準人物比較手段１０５によって、式（８）を用いて導かれる。登録画像特徴（判別ベクトルｕ、パラメータａ，ｂ）は、標準人物比較手段１０５によって求められる。また、照合画像特徴（判別特徴ベクトルＲ）は、判別空間射影手段２０３によって求められる。
【０１０６】
また、照合スコアは、登録画像特徴ｕ，ａ，ｂと照合画像特徴Ｒから、図５に示すように、判別ベクトルｕに照合画像特徴Ｒを投影した時の値として、スコア算出手段３０１によって求められる。
【０１０７】
図５に示すように、登録画像と照合画像との判別特徴が等しいとき（すなわち、Ｒ＝バーＴ’であるとき）、照合スコアＳ１は１となる。また、照合画像の判別特徴が標準人物の判別特徴と等しいとき（すなわち、Ｒ＝ｚであるとき）、照合スコアＳ１は−１となる。従って、照合スコアＳ１の値が１に近い程、照合画像の人物が登録画像の人物に近いことが分かる。また、照合スコアＳ１の値が−１に近い程、照合画像の人物が標準人物に近い（すなわち、登録人物以外の他人である）ことが分かる。
【０１０８】
以上のように、本実施の形態によれば、線形判別分析を用いた登録画像の特徴抽出を行うだけでなく、登録画像に対する変動画像群を生成し特徴抽出を行う。また、生成した変動画像群に基づいて、登録画像中の人物と標準人物とを判別するための所定の特徴量を求める。そして、登録画像中の人物及び標準人物との２クラス判別分析を行うことによって、照合画像中の人物が登録画像中の人物であるか否かを判定する。本実施の形態によれば、登録画像の変動成分を考慮することによって、登録画像中の人物及び標準人物との２クラス判別を可能としている。そのため、登録した人物固有の変動がある場合でも、高い精度で顔画像の照合を行うことができる。従って、登録人物毎に姿勢や照明等の変動成分を考慮することにより、顔画像を用いた本人照合を高精度に行うことができる。
【０１０９】
例えば、仮に、図１に示すパタン照合システム１０の構成要素から変動画像生成手段１０２を除いた場合を考える。この場合、登録画像の変動画像群を生成することができないので、標準人物比較手段１０５は、登録用判別特徴における共分散行列を生成することができなくなってしまう。そのため、パタン照合システム１０は、登録画像の変動成分を考慮した顔画像の照合を行うことができない。すなわち、本実施の形態において、変動画像生成手段１０２と標準人物比較手段１０５とを備えていることが、登録画像の変動成分を考慮した顔画像の照合を行うための必須条件である。
【０１１０】
また、本実施の形態によれば、判別空間射影手段１０４で用いる判別空間を生成する際に、学習用画像に加えて変動画像を用いて判別空間を生成する。そのため、通常の線形判別分析法を用いた顔照合アルゴリズムと比較して、学習パタン数が増えるので、判別性能が高くなることが期待できる。
【０１１１】
実施の形態２．
次に、本発明の第２の実施の形態を図面を参照して説明する。図６は、パタン照合システムの他の構成例を示すブロック図である。図６に示すように、本実施の形態では、パタン照合システム１０Ａは、第１の実施の形態で示した構成要素に加えて、変動画像生成手段２０４及び標準人物比較手段２０５を含む。また、本実施の形態では、判別空間射影手段１０４Ａ、特徴抽出手段２０２Ａ、判別空間射影手段２０３Ａ、スコア算出手段３０１Ａ及び照合判定手段３０２Ａの機能が、第１の実施の形態で示したそれらの機能と異なる。
【０１１２】
なお、登録画像蓄積手段１００、画像正規化手段１０１、変動画像生成手段１０２、特徴抽出手段１０３、標準人物比較手段１０５、照合画像入力手段２００及び画像正規化手段２０１の機能は、第１の実施の形態で示したそれらの機能と同様である。
【０１１３】
判別空間射影手段１０４Ａは、第１の実施の形態で示した判別空間射影手段１０４と同様に、特徴抽出手段１０３から入力した特徴情報に基づいて、登録画像の変動画像群の特徴を判別空間に射影する機能を備える。また、判別空間射影手段１０４Ａは、登録画像の変動画像群の特徴を判別空間に射影した結果情報を、標準人物比較手段１０５に出力する機能を備える。
【０１１４】
また、判別空間射影手段１０４Ａは、第１の実施の形態で示した判別空間射影手段１０４の機能に加えて、登録画像だけの特徴を判別空間に射影し、登録画像の特徴を判別空間に射影した結果情報を、スコア算出手段３０１Ａに出力する機能を備える。本実施の形態では、判別空間射影手段１０４Ａは、第１の実施の形態で示した判別空間射影手段２０３と同様の処理に従って、結果情報として判別特徴ベクトルＲ’を生成し、スコア算出手段３０１Ａに出力する。
【０１１５】
変動画像生成手段２０４は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。変動画像生成手段２０４は、画像正規化手段２０１から正規化後の照合画像を入力する機能を備える。また、変動画像生成手段２０４は、変動画像生成手段１０２と同様の処理に従って、正規化後の照合画像に所定の変動を加えた変動画像を複数生成する機能を備える。また、変動画像生成手段２０４は、生成した変動画像群を特徴抽出手段２０２Ａに出力する機能を備える。
【０１１６】
特徴抽出手段２０２Ａは、特徴抽出手段１０３と同様の処理に従って、変動画像生成手段２０４から入力した変動画像群に基づいて、各変動画像の特徴を示す特徴情報（例えば、周波数特徴）と抽出する機能を備える。また、特徴抽出手段２０２Ａは、抽出した特徴情報を判別空間射影手段２０３Ａに出力する機能を備える。
【０１１７】
判別空間射影手段２０３Ａは、第１の実施の形態で示した判別空間射影手段２０３と同様に、特徴抽出手段２０２から照合画像の特徴情報を入力し、照合画像の特徴を判別空間に射影する機能を備える。また、判別空間射影手段２０３Ａは、照合画像の特徴を判別空間に射影した結果情報を、スコア算出手段３０１Ａに出力する機能を備える。
【０１１８】
また、判別空間射影手段２０３Ａは、第１の実施の形態で示した判別空間射影手段２０３の機能に加えて、判別空間射影手段１０４Ａと同様の処理に従って、特徴抽出手段２０２Ａから入力した特徴情報に基づいて、照合画像の変動画像群の特徴を判別空間に射影する機能を備える。また、判別空間射影手段２０３Ａは、判別空間射影手段１０４Ａと同様の処理に従って、照合画像の変動画像群の特徴を判別空間に射影した結果情報を、標準人物比較手段２０５に出力する機能を備える。
【０１１９】
標準人物比較手段２０５は、具体的には、プログラムに従って動作する情報処理装置のＣＰＵによって実現される。標準人物比較手段２０５は、標準人物比較手段１０５と同様の処理に従って、照合画像中の人物と所定の標準人物とを高精度に判別するための所定の特徴量を求める機能を備える。本実施の形態では、標準人物比較手段２０５は、標準人物比較手段１０５と同様の処理に従って、所定の特徴量として、判別ベクトルｕ’及びパラメータａ’，ｂ’を求めるとする。
【０１２０】
スコア算出手段３０１Ａは、登録画像と照合画像との特徴を照合し、照合スコアを求める機能を備える。また、スコア算出手段３０１Ａは、求めた照合スコアを照合判定手段３０２Ａに出力する機能を備える。
【０１２１】
本実施の形態では、スコア算出手段３０１Ａは、第１の実施の形態で示したスコア算出手段３０１と同様に、標準人物比較手段１０５から、登録画像から求めた判別ベクトルｕと、各パラメータａ，ｂの値とを入力する。また、また、スコア算出手段３０１Ａは、判別空間射影手段２０３Ａから、照合画像から求めた判別特徴ベクトルＲを入力する。そして、スコア算出手段３０１Ａは、入力した判別ベクトルｕ、パラメータａ，ｂ及び判別特徴ベクトルＲを用いて、照合スコア（第１照合スコアという）を計算する。この場合、スコア算出手段３０１Ａは、第１照合スコアＳ１を式（１１）を用いて算出する。
【０１２２】
また、スコア算出手段３０１Ａは、標準人物比較手段２０５から、照合画像から求めた判別ベクトルｕ’と、各パラメータａ’，ｂ’の値とを入力する。また、また、スコア算出手段３０１Ａは、判別空間射影手段１０４Ａから、登録画像から求めた判別特徴ベクトルＲ’を入力する。そして、スコア算出手段３０１Ａは、入力した判別ベクトルｕ’、パラメータａ’，ｂ’及び判別特徴ベクトルＲ’を用いて、照合スコア（第２照合スコアという）を計算する。この場合、スコア算出手段３０１Ａは、第２照合スコアＳ２を式（１２）を用いて算出する。
【０１２３】
Ｓ２＝（ｕ’ｔＲ’−ａ’）／ｂ’                                      式（１２）
【０１２４】
また、スコア算出手段３０１Ａは、求めた第１照合スコアＳ１と第２照合スコアＳ２とを平均した照合スコア（平均照合スコアという）Ｓを求める。また、スコア算出手段３０１Ａは、求めた平均照合スコアを照合判定手段３０２Ａに出力する。
【０１２５】
照合判定手段３０２Ａは、登録画像中の人物と、照合画像中の人物とが同一人物であるか否かを判定する機能を備える。また、照合判定手段３０２Ａは、同一人物であるか否かの照合結果３０Ａを出力する機能を備える。
【０１２６】
本実施の形態では、照合判定手段３０２Ａは、スコア算出手段３０１が計算した平均照合スコアを入力する。また、照合判定手段３０２Ａは、入力した平均照合スコアを用いて、登録画像中の人物と、照合画像中の人物とが同一人物であるか否かを判定する。この場合、照合判定手段３０２Ａは、入力した平均照合スコアＳが所定の閾値ｔより大きいか否かを判断する。平均照合スコアＳが閾値ｔよりも大きいと判断すると、照合判定手段３０２Ａは、照合画像中の人物が照合対象の本人である（すなわち、登録画像中の人物と照合画像中の人物とが同一人物である）と判定する。また、平均照合スコアＳが閾値ｔよりも大きくないと判断すると、照合判定手段３０２Ａは、照合画像中の人物が照合対象の本人以外の他人である（すなわち、登録画像中の人物と照合画像中の人物とが同一人物でない）と判定する。
【０１２７】
また、照合判定手段３０２Ａは、照合画像中の人物が照合対象の本人であるか否かの判定結果（照合結果３０Ａ）を出力する。例えば、照合判定手段３０２Ａは、照合結果３０Ａを、入退場管理システム等のセキュリティシステムに出力する。また、例えば、照合判定手段３０２Ａは、照合結果３０Ａを、ディスプレイ装置等の表示装置に表示させてもよい。
【０１２８】
次に、動作について説明する。まず、パタン照合システム１０Ａが予め登録する登録画像の特徴を求める動作を説明する。本実施の形態において、パタン照合システム１０Ａは、図２に示すステップＳ１０１からステップＳ１０５までと同様の処理に従って、予め登録する登録画像の特徴を求める。なお、本実施の形態では、ステップＳ１０４において、判別空間射影手段１０４Ａは、登録画像の変動画像群の特徴を判別空間に射影するとともに、登録画像だけの特徴を判別空間に射影し、判別特徴ベクトルＲ’をスコア算出手段３０１Ａに出力する。
【０１２９】
次に、パタン照合システム１０Ａが照合画像の特徴を求める動作を説明する。図７は、パタン照合システムが照合画像の特徴を求める照合画像処理の他の例を示す流れ図である。照合画像入力手段２００は、所定のタイミングで、照合画像を入力する。また、画像正規化手段２０１は、図３に示すステップＳ２０１と同様の処理に従って、照合画像入力手段２００からの照合画像を正規化する（ステップＳ４０１）。また、画像正規化手段２０１は、正規化した照合画像を変動画像生成手段２０４に出力する。
【０１３０】
変動画像生成手段２０４は、画像正規化手段２０１からの正規化画像に基づいて、照合画像に対する複数の変動画像を生成する（ステップＳ４０２）。この場合、変動画像生成手段２０４は、照合画像中の人物の顔の向きや顔の大きさ、顔の位置を変えた顔画像を、変動画像として複数生成する。また、各変動画像を生成すると、変動画像生成手段２０４は、変動画像群を特徴抽出手段２０２Ａに出力する。
【０１３１】
特徴抽出手段２０２Ａは、変動画像生成手段２０４からの変動画像群に含まれる各変動画像（正規化の照合画像を含む）の特徴情報を抽出する（ステップＳ４０３）。この場合、特徴抽出手段２０２Ａは、変動画像群に基づいて、各変動画像の周波数特徴を特徴情報として抽出する。そして、特徴抽出手段２０２Ａは、抽出した周波数特徴を判別空間射影手段２０３Ａに出力する。
【０１３２】
判別空間射影手段２０３Ａは、特徴抽出手段２０２Ａからの周波数特徴に基づいて、照合画像の変動画像群から抽出した特徴を判別空間に射影する（ステップＳ４０４）。また、判別空間射影手段２０３Ａは、照合画像の変動画像群の特徴を判別空間に射影した結果情報を、標準人物比較手段２０５に出力する。なお、判別空間射影手段２０３Ａは、照合画像の変動画像群の特徴を判別空間に射影するとともに、照合画像だけの特徴を判別空間に射影し、判別特徴ベクトルＲをスコア算出手段３０１Ａに出力する。
【０１３３】
標準人物比較手段２０５は、判別空間射影手段２０３Ａからの結果情報に基づいて、照合画像中の人物の特徴を標準人物の特徴と比較し、照合画像中の人物と標準人物とを高精度に判別するための所定の特徴量を求める（ステップＳ４０５）。この場合、標準人物比較手段２０５は、式（６）〜式（８）を用いた計算を行い、特徴量として判別ベクトルｕ’を求める。また、標準人物比較手段２０５は、式（９），（１０）を用いた計算を行い、特徴量として所定のパラメータａ’，ｂ’を求める。そして、標準人物比較手段２０５は、求めた特徴量をスコア算出手段３０１Ａに出力する。
【０１３４】
次に、パタン照合システム１０Ａが登録画像と照合画像との特徴を照合する動作を説明する。図８は、パタン照合システムが登録画像と照合画像との特徴を照合し、認証対象の人物が予め登録された人物であるか否かを判定する本人判定処理の他の例を示す流れ図である。
【０１３５】
スコア算出手段３０１Ａは、判別空間射影手段１０４Ａ及び標準人物比較手段１０５から登録画像の各特徴量（判別特徴ベクトルＲ’や判別ベクトルｕ、パラメータａ，ｂ）を入力する。また、スコア算出手段３０１Ａは、判別空間射影手段２０３Ａ及び標準人物比較手段２０５から、照合画像の特徴量（判別特徴ベクトルＲや判別ベクトルｕ’、パラメータａ’，ｂ’）を入力する。
【０１３６】
また、スコア算出手段３０１Ａは、入力した各特徴量に基づいて、登録画像と照合画像との特徴を照合し、登録画像と照合画像との平均照合スコアを求める（ステップＳ５０１）。また、スコア算出手段３０１Ａは、求めた平均照合スコアを照合判定手段３０２Ａに出力する。
【０１３７】
照合判定手段３０２Ａは、スコア算出手段３０１Ａが求めた平均照合スコアに基づいて、照合対象の人物が、予め登録された人物であるか否かの本人判定を行う（ステップＳ５０２）。この場合、照合判定手段３０２Ａは、平均照合スコアＳが所定の閾値ｔより大きいか否かを判断し、閾値ｔより大きいと判断すると、照合画像中の人物が予め登録された人物であると判定する。また、照合判定手段３０２Ａは、閾値ｔより大きくないと判断すると、照合画像中の人物が予め登録された人物でないと判定する。
【０１３８】
本人判定を行うと、照合判定手段３０２Ａは、照合対象の人物が予め登録された人物であるか否かの判定結果（照合結果３０Ａ）を出力する。また、入退場管理システムは、照合判定手段３０２Ａの照合結果３０Ａに基づいて、入場操作を行ったユーザの通行を許可し又は許否する。
【０１３９】
以上のように、本実施の形態によれば、登録画像に対する変動画像群だけでなく、照合画像に対する変動画像群を生成する。また、生成した変動画像群に基づいて、登録画像中の人物と標準人物とを判別するための特徴量だけでなく、照合画像中の人物と標準人物とを判別するための特徴量を求める。また、登録画像中の人物と標準人物とを判別するための特徴量を用いて照合スコアを求めるだけでなく、照合画像中の人物と標準人物とを判別するための特徴量を用いて照合スコアを求める。そして、それら２つの照合スコアを平均した平均照合スコアに基づいて、顔画像の照合を行う。本実施の形態によれば、複数の照合スコアを平均した平均照合スコアに基づいて照合できるので、顔画像を用いた本人照合をより高精度に行うことができる。
【実施例１】
【０１４０】
次に、本発明の第１の実施例を図面を参照して説明する。なお、本実施例は、第１の実施の形態で示したパタン照合システム１０の構成をより具体的に示したものに相当する。図９は、パタン照合システム１０の具体的な構成の一例を示すブロック図である。図９に示すように、パタン照合システム１０は、予め登録画像を蓄積する登録画像蓄積サーバ４０と、照合画像を入力する画像入力端末５０とを含む。また、登録画像蓄積サーバ４０と画像入力端末５０とは、ＬＡＮ等のネットワークを介して接続される。なお、図９では、１つの画像入力端末５０を示しているが、パタン照合システム１０は、複数の画像入力端末５０を含んでもよい。
【０１４１】
登録画像蓄積サーバ４０は、具体的には、ワークステーションやパーソナルコンピュータ等の情報処理装置によって実現される。図９に示すように、登録画像蓄積サーバ４０は、登録画像蓄積手段１００、画像正規化手段１０１、変動画像生成手段１０２、特徴抽出手段１０３、判別空間射影手段１０４、標準人物比較手段１０５、スコア算出手段３０１及び照合判定手段３０２を含む。なお、登録画像蓄積手段１００、画像正規化手段１０１、変動画像生成手段１０２、特徴抽出手段１０３、判別空間射影手段１０４、標準人物比較手段１０５、スコア算出手段３０１及び照合判定手段３０２の基本的な機能は、第１の実施の形態で示したそれらの機能と同様である。
【０１４２】
画像入力端末５０は、具体的には、ワークステーションやパーソナルコンピュータ等の情報処理装置によって実現される。図９に示すように、画像入力端末５０は、照合画像入力手段２００、画像正規化手段２０１、特徴抽出手段２０２及び判別空間射影手段２０３を含む。なお、照合画像入力手段２００、画像正規化手段２０１、特徴抽出手段２０２及び判別空間射影手段２０３の基本的な機能は、第１の実施の形態で示したそれらの機能と同様である。
【０１４３】
本実施例では、画像入力端末５０は、照合画像入力手段２００を用いて照合画像を入力すると、図３に示す照合画像処理に従って、入力した照合画像の特徴量を求める。また、照合画像の特徴量を求めると、判別空間射影手段２０３は、求めた特徴量を、ネットワークを介して登録画像蓄積サーバ４０に送信する。本実施例では、判別空間射影手段２０３は、照合画像の特徴量を送信することによって、登録画像蓄積サーバ４０に照合画像と登録画像との照合を依頼する。
【０１４４】
登録画像蓄積サーバ４０は、照合画像の特徴量を受信すると、図２に示す登録画像処理に従って、予め登録している登録画像の特徴量を求める。すると、登録画像蓄積サーバ４０は、図４に示す本人判定処理に従って、求めた登録画像の特徴量と、画像入力端末５０から受信した照合画像の特徴量とに基づいて、照合画像中の人物が登録人物であるか否かを判定する。
【０１４５】
なお、本実施例では、パタン照合システム１０が登録画像蓄積サーバ４０と画像入力端末５０とによって構成される例を示したが、パタン照合システム１０は、１台の情報処理装置によって構成されてもよい。
【実施例２】
【０１４６】
次に、本発明の第２の実施例を図面を参照して説明する。なお、本実施例は、第１の実施例と同様に、第１の実施の形態で示したパタン照合システム１０の構成をより具体的に示したものに相当する。図１０は、パタン照合システム１０の他の具体的な構成例を示すブロック図である。図１０に示すように、パタン照合システム１０は、予め登録画像を蓄積する登録画像蓄積サーバ４０Ａと、照合画像を入力する画像入力端末５０Ａとを含む。また、登録画像蓄積サーバ４０Ａと画像入力端末５０Ａとは、ＬＡＮ等のネットワークを介して接続される。なお、図１０では、１つの画像入力端末５０Ａを示しているが、パタン照合システム１０は、複数の画像入力端末５０Ａを含んでもよい。
【０１４７】
登録画像蓄積サーバ４０Ａは、具体的には、ワークステーションやパーソナルコンピュータ等の情報処理装置によって実現される。図１０に示すように、登録画像蓄積サーバ４０Ａは、登録画像蓄積手段１００、画像正規化手段１０１、変動画像生成手段１０２、特徴抽出手段１０３、判別空間射影手段１０４、標準人物比較手段１０５及び特徴量蓄積手段１０６を含む。なお、登録画像蓄積手段１００、画像正規化手段１０１、変動画像生成手段１０２、特徴抽出手段１０３、判別空間射影手段１０４及び標準人物比較手段１０５の基本的な機能は、第１の実施の形態で示したそれらの機能と同様である。
【０１４８】
特徴量蓄積手段１０６は、具体的には、磁気ディスク装置や光ディスク装置等のデータベース装置によって実現される。特徴量蓄積手段１０６は、標準人物比較手段１０５が求めた登録画像の特徴量を蓄積する。
【０１４９】
画像入力端末５０Ａは、具体的には、ワークステーションやパーソナルコンピュータ等の情報処理装置によって実現される。図１０に示すように、画像入力端末５０Ａは、照合画像入力手段２００、画像正規化手段２０１、特徴抽出手段２０２、判別空間射影手段２０３、スコア算出手段３０１及び照合判定手段３０２を含む。なお、照合画像入力手段２００、画像正規化手段２０１、特徴抽出手段２０２、判別空間射影手段２０３、スコア算出手段３０１及び照合判定手段３０２の基本的な機能は、第１の実施の形態で示したそれらの機能と同様である。
【０１５０】
本実施例では、登録画像蓄積サーバ４０Ａは、図２に示す登録画像処理に従って、登録画像蓄積手段１００に蓄積する登録画像の特徴量を予め求める。また、登録画像蓄積サーバ４０Ａは、求めた登録画像の特徴量を、予め特徴量蓄積手段１０６に蓄積する。
【０１５１】
また、画像入力端末５０Ａは、照合画像入力手段２００を用いて照合画像を入力すると、図３に示す照合画像処理に従って、入力した照合画像の特徴量を求める。また、照合画像の特徴量を求めると、画像入力端末５０Ａは、登録画像の特徴量の送信要求を、ネットワークを介して登録画像蓄積サーバ４０Ａに送信する。
【０１５２】
特徴量の送信要求を受信すると、登録画像蓄積サーバ４０Ａの標準人物比較手段１０５は、特徴量蓄積手段１０６から、登録画像の特徴量を抽出する。また、登録画像蓄積サーバ４０Ａは、抽出した特徴量を、ネットワークを介して画像入力端末５０Ａに送信する。
【０１５３】
特徴量を受信すると、画像入力端末５０Ａは、図４に示す本人判定処理に従って、求めた照合画像の特徴量と、登録画像蓄積サーバ４０Ａから受信した登録画像の特徴量とに基づいて、照合画像中の人物が登録人物であるか否かを判定する。
【産業上の利用可能性】
【０１５４】
本発明は、入退場管理システムやアクセスコントロールを用いたシステム等に適用することによって、セキュリティ分野での利用が期待できる。特に、顔画像間の照合を行うによってユーザの本人認証を行う同一人物判定システムを用いたセキュリティシステムに適用することができる。
【図面の簡単な説明】
【０１５５】
【図１】本発明によるパタン照合システムの構成の一例を示すブロック図である。
【図２】パタン照合システムが予め登録する登録画像の特徴を求める登録画像処理の一例を示す流れ図である。
【図３】パタン照合システムが照合画像の特徴を求める照合画像処理の一例を示す流れ図である。
【図４】パタン照合システムが、認証対象の人物が予め登録された人物であるか否かを判定する本人判定処理の一例を示す流れ図である。
【図５】標準顔空間と登録人物顔空間との関係を示す説明図である。
【図６】パタン照合システムの他の構成例を示すブロック図である。
【図７】パタン照合システムが照合画像の特徴を求める照合画像処理の他の例を示す流れ図である。
【図８】パタン照合システムが、認証対象の人物が予め登録された人物であるか否かを判定する本人判定処理の他の例を示す流れ図である。
【図９】パタン照合システムの具体的な構成の一例を示すブロック図である。
【図１０】パタン照合システムの他の具体的な構成例を示すブロック図である。
【符号の説明】
【０１５６】
１０  パタン照合システム
１００  登録画像蓄積手段
１０１  画像正規化手段
１０２  変動画像生成手段
１０３  特徴抽出手段
１０４  判別空間射影手段
１０５  標準人物比較手段
２００  照合画像入力手段
２０１  画像正規化手段
２０２  特徴抽出手段
２０３  判別空間射影手段
３０１  スコア算出手段
３０２  照合判定手段
【図１】
2006338092.tif 000010
【図２】
2006338092.tif 000011
【図３】
2006338092.tif 000012
【図４】
2006338092.tif 000013
【図５】
2006338092.tif 000014
【図６】
2006338092.tif 000015
【図７】
2006338092.tif 000016
【図８】
2006338092.tif 000017
【図９】
2006338092.tif 000018
【図１０】
2006338092.tif 000019