(57)【要約】【課題】照明変動を含む入力画像と登録画像とを照合する場合、照明変動に対して頑強（ロバスト）な処理を行い、画像処理情報を低減しつつ照合処理を精度良くおこなうこと。【解決手段】画像数量化部２１は、少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出し、補正式算定部２２は複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、入力画像または登録画像から照明影響を除去する際に利用する知識を学習し、特徴量補正部２４が学習によって得られた照明影響に係る知識に基づき、入力画像の個人特徴量および登録画像の個人特徴量を算出することによって、照合判定部２５は該入力画像の個人特徴量と登録画像の個人特徴量とを比較照合判定する。【選択図】　　　図１
2004145576.tif 000002
【特許請求の範囲】
【請求項１】
本人の身体の所定の部位を取り込んだ入力画像と、前記身体の所定の部位に関する本人および他人の複数の登録画像とを比較照合する画像照合装置において、
少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出する特徴量算出手段と、
前記特徴量算出手段により複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識を学習する学習手段と、
前記特徴量算出手段により前記入力画像から算出された照明特徴量および個人特徴量と、前記特徴量算出手段により前記登録画像から算出された照明特徴量および個人特徴量と、前記学習手段により学習された照明影響に係る知識とに基づいて前記入力画像と前記登録画像とを比較照合する比較照合手段と
を備えたことを特徴とする画像照合装置。
【請求項２】
前記特徴量算出手段は、
少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から算出した照明影響に依存した照明特徴ベクトルを部分空間に射影した照明特徴射影係数ベクトルを前記照明特徴量として算出する照明特徴画像数量化手段と、
前記学習用画像、入力画像または登録画像から算出した照明および前記身体の所定の部位に依存した個人特徴ベクトルを部分空間に射影した個人特徴射影係数ベクトルを前記個人特徴量として算出する個人特徴画像数量化手段と
を備えたことを特徴とする請求項１に記載の画像照合装置。
【請求項３】
前記照明特徴画像数量化手段は、前記学習用画像、入力画像または登録画像を低解像度化した低解像度画像または前記学習用画像、入力画像または登録画像の低周波成分を用いて前記照明特徴ベクトルを作成することを特徴とする請求項２に記載の画像照合装置。
【請求項４】
前記学習手段は、前記照明特徴画像数量化手段により算出された照明特徴射影係数ベクトルおよび前記個人特徴画像数量化手段により算出された個人特徴射影係数ベクトルに基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識としての補正式を算出することを特徴とする請求項２または３に記載の画像照合装置。
【請求項５】
前記比較照合手段は、
前記学習手段により算出された補正式に基づいて、前記特徴量算出手段によって算出された前記入力画像または登録画像の個人特徴射影係数ベクトルから前記照明影響に係る成分を除去する補正をおこなう補正手段と、
前記補正手段により補正された前記入力画像または登録画像の個人特徴射影係数ベクトルを比較する比較手段と
を備えたことを特徴とする請求項４に記載の画像照合装置。
【請求項６】
本人の身体の所定の部位を取り込んだ入力画像と、前記身体の所定の部位に関する本人および他人の複数の登録画像とを比較照合する画像照合方法において、
少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出する特徴量算出工程と、
前記特徴量算出工程により複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識を学習する学習工程と、
前記特徴量算出工程により前記入力画像から算出された照明特徴量および個人特徴量と、前記特徴量算出工程により前記登録画像から算出された照明特徴量および個人特徴量と、前記学習工程により学習された照明影響に係る知識とに基づいて前記入力画像と前記登録画像とを比較照合する比較照合工程と
を含んだことを特徴とする画像照合方法。
【請求項７】
本人の身体の所定の部位を取り込んだ入力画像と、前記身体の所定の部位に関する本人および他人の複数の登録画像とを比較照合する画像照合プログラムであって、
少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出する特徴量算出手順と、
前記特徴量算出手順により複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識を学習する学習手順と、
前記特徴量算出手順により前記入力画像から算出された照明特徴量および個人特徴量と、前記特徴量算出手順により前記登録画像から算出された照明特徴量および個人特徴量と、前記学習手順により学習された照明影響に係る知識とに基づいて前記入力画像と前記登録画像とを比較照合する比較照合手順と
をコンピュータに実行させる画像照合プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、種々の画像における照明の影響を算出する為の学習知識を用いて、身体の所定の部位を撮影した入力画像と登録画像から照明の影響を除去して比較することにより、身体の所定の部位を撮影した入力画像と登録画像とを照合判定する画像照合装置、画像照合方法および画像照合プログラムに関し、特に、照明変動を含む画像を照合する場合に、照明変動に対して頑強（ロバスト）な処理をおこない、もってデータ量を低減しつつ高速な照合処理を精度良くおこなうことができる画像照合装置、画像照合方法および画像照合プログラムに関する。
【０００２】
【従来の技術】
従来、顔画像を照合する際に、顔を形成する目、鼻、耳などの各部位の形状やこれらの配置の個人差に着目し、これらから特徴量を抽出して識別する技術が知られている。たとえば、顔画像そのものをパターンとして扱い、統計的パターン照合の手法を用いる技術が知られている。
【０００３】
ところが、この手法のように画像そのものをパターンとして取り扱う場合にパターンの次元が膨大なものとなってしまい、いわゆる次元の呪いと呼ばれる問題が生じてしまう。このため、最近では、部分空間法を用いてパターンを情報圧縮した後に、マッチングする技術が提案されている（例えば、非特許文献１参照。）。非特許文献２では、パターンを情報圧縮した後に、マッチングを行う方法が提案されている。例えば、顔の特徴量をノルム及び内積を持ったベクトル空間（内積空間）に特徴ベクトルとして実現し、主成分分析によりパターンを情報圧縮する技術が開示されている。
【０００４】
具体的には、非特許文献１および非特許文献２は、多変量解析の手法である主成分分析を利用しており大きく分けて学習過程と照合過程とからなる。ここで、この学習過程においては、入力画像である顔画像情報から顔の特徴をベクトルで表示し、これによって特徴ベクトルが生成する部分空間が形成され、照合過程においては、データベース内にある登録画像及び入力画像それぞれの特徴ベクトルを当該部分空間内で比較することになる。
【０００５】
ところで、かかる従来技術を用いた場合に照明変動が生じてしまうと、画像照合精度が著しく低下してしまう。このため、かかる照明変動の影響を除去する従来技術が知られている。例えば、非特許文献３では、登録画像との照合性能を高める技術が開示されている。
【０００６】
【非特許文献１】
ＭＩＴ　メディアラボラトリ　ビジョンおよびモデリンググループ作成、顔認識デモページ、「／／ｈｔｔｐ：ｗｈｉｔｅｃｈａｐｅｌ．ｍｅｄｉａ．ｍｉｔ．ｅｄｕ．／ｖｉｓｍｏｄ／ｄｅｍｏ／ｆａｃｅｒｅｃ／ｓＹｓｔｅｍ．ｈｔｍｌ」。
【非特許文献２】
Ｔｕｒｋ，Ｍ．Ａ．　およびＰｅｎｔｌａｎｄ，　Ａ．Ｐ．共著論文「Ｆａｃｅ　Ｒｅｃｏｇｎｉｔｉｏｎ　ＵｓｉｎｇＥｉｇｅｎｆａｃｅｓ　」Ｐｒｏｃ．　ＩＥＥＥ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　Ｍａｕｉ，　Ｈａｗａｉｉ，１９９１．　ｐ．５８６−５９１。
【非特許文献３】
Ｇｅｏｒｇｈｉａｄｅｓ，　Ａ．Ｓ．，　Ｂｅｌｈｕｍｅｕｒ，　Ｐ．Ｎ．　および　Ｋｒｉｅｇｍａｎ，　Ｄ．Ｊ．　共著論文「Ｆｒｏｍ　Ｆｅｗ　ｔｏ　ＭａｎＹ：　Ｇｅｎｅｒａｔｉｖｅ　Ｍｏｄｅｌｓ　ｆｏｒ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｕｎｄｅｒ　Ｖａｒｉａｂｌｅ　Ｐｏｓｅ　ａｎｄ　Ｉｌｌｕｍｉｎａｔｉｏｎ」Ａｕｔｏｍａｔｉｃ　Ｆａｃｅ　ａｎｄ　Ｇｅｓｔｕｒｅ　Ｒｅｃｏｇｎｉｔｉｏｎ．　ＦＧ２０００。
【０００７】
【発明が解決しようとする課題】
しかしながら、この非特許文献３によれば、個人ごとに複数の登録画像が必要となるので、データ量が膨大なものとなるだけでなく、処理遅延が生ずる結果となり、実用的ではない。また、運転免許証やパスポート等の１枚の写真を登録画像とする場合には対応できない。
【０００８】
このため、照明変動を含む入力画像と登録画像とを照合する場合に、いかに照明変動に対して頑強（ロバスト）な処理をおこなうか、言い換えると、いかにデータ量を低減しつつ高速な照合処理を精度良くおこなうかが極めて重要な課題となっている。
【０００９】
この発明は、上記従来技術による課題を解決するためになされたものであり、照明変動を含む画像を照合する場合に、照明変動に対して頑強（ロバスト）な処理をおこない、もってデータ量を低減しつつ高速な照合処理を精度良くおこなうことができる画像照合装置、画像照合方法および画像照合プログラムを提供することを目的とする。
【００１０】
【課題を解決するための手段】
本発明は、上記目的を達成するためになされたものであり、請求項１に係る画像照合装置は、本人の身体の所定の部位を取り込んだ入力画像と、前記身体の所定の部位に関する本人および他人の複数の登録画像とを比較照合する画像照合装置において、少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出する特徴量算出手段と、前記特徴量算出手段により複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識を学習する学習手段と、前記特徴量算出手段により前記入力画像から算出された照明特徴量および個人特徴量と、前記特徴量算出手段により前記登録画像から算出された照明特徴量および個人特徴量と、前記学習手段により学習された照明影響に係る知識とに基づいて前記入力画像と前記登録画像とを比較照合する比較照合手段とを備えたことを特徴とする。
【００１１】
また、請求項２に係る画像照合装置は、請求項１の発明において、前記特徴量算出手段は、少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から算出した照明影響に依存した照明特徴ベクトルを部分空間に射影した照明特徴射影係数ベクトルを前記照明特徴量として算出する照明特徴画像数量化手段と、前記学習用画像、入力画像または登録画像から算出した照明および前記身体の所定の部位に依存した個人特徴ベクトルを部分空間に射影した個人特徴射影係数ベクトルを前記個人特徴量として算出する個人特徴画像数量化手段とを備えたことを特徴とする。
【００１２】
また、請求項３に係る画像照合装置は、請求項２の発明において、前記照明特徴画像数量化手段は、前記学習用画像、入力画像または登録画像を低解像度化した低解像度画像または前記学習用画像、入力画像または登録画像の低周波成分を用いて前記照明特徴ベクトルを作成することを特徴とする。
【００１３】
また、請求項４に係る画像照合装置は、請求項２または３の発明において、前記学習手段は、前記照明特徴画像数量化手段により算出された照明特徴射影係数ベクトルおよび前記個人特徴画像数量化手段により算出された個人特徴射影係数ベクトルに基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する補正式を算出することを特徴とする。
【００１４】
また、請求項５に係る画像照合装置は、請求項４の発明において、前記比較照合手段は、前記学習手段により算出された補正式に基づいて、前記特徴量算出手段によって算出された前記入力画像または登録画像の個人特徴射影係数ベクトルから前記照明影響に係る成分を除去する補正をおこなう補正手段と、前記補正手段により補正された前記入力画像または登録画像の個人特徴射影係数ベクトルを比較する比較手段とを備えたことを特徴とする。
【００１５】
また、請求項６に係る画像照合方法は、本人の身体の所定の部位を取り込んだ入力画像と、前記身体の所定の部位に関する本人および他人の複数の登録画像とを比較照合する画像照合方法において、少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出する特徴量算出工程と、前記特徴量算出工程により複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識を学習する学習工程と、前記特徴量算出工程により前記入力画像から算出された照明特徴量および個人特徴量と、前記特徴量算出工程により前記登録画像から算出された照明特徴量および個人特徴量と、前記学習工程により学習された照明影響に係る知識とに基づいて前記入力画像と前記登録画像とを比較照合する比較照合工程とを含んだことを特徴とする。
【００１６】
また、請求項７に係る画像照合プログラムは、本人の身体の所定の部位を取り込んだ入力画像と、前記身体の所定の部位に関する本人および他人の複数の登録画像とを比較照合する画像照合プログラムであって、少なくとも照明影響下で前記身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出する特徴量算出手順と、前記特徴量算出手順により複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、前記入力画像または登録画像から照明影響を除去する際に利用する知識を学習する学習手順と、前記特徴量算出手順により前記入力画像から算出された照明特徴量および個人特徴量と、前記特徴量算出手順により前記登録画像から算出された照明特徴量および個人特徴量と、前記学習手順により学習された照明影響に係る知識とに基づいて前記入力画像と前記登録画像とを比較照合する比較照合手順とをコンピュータに実行させることを特徴とする。
【００１７】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像照合装置の好適な実施の形態を詳細に説明する。なお、本実施の形態では、本発明を照明の影響として、自然光または人工光による照明影響を受ける顔画像に適用した場合について説明するが、画像特徴を当該画像の低解像度成分または低周波数成分の抽出によって照明影響に係る情報の抽出に有効な場合、本発明は照明の種類に依存せず、照明影響が減じられた画像特徴量を比較することにより登録画像と入力画像の比較照合判定が可能となる。
【００１８】
本実施の形態に係る画像照合装置の概略構成について説明する。図１は、本発明の実施の形態である画像照合装置の概略構成を示す図である。
【００１９】
同図に示すように、この画像照合装置は、カメラ１０と、サーバ２０とからなる。カメラ１０は、ＣＣＤカメラなどを用いて顔画像を撮像する画像入力部であり、入力した画像がサーバ２０に出力される。
【００２０】
サーバ２０は、後述する学習処理および照合処理（補正処理および照合判定処理）を行うものであり、画像数量化部２１、補正式算定部２２、記憶部２３、特徴量補正部２４および照合判定部２５からなる。
【００２１】
画像数量化部２１は画像データから特徴ベクトル（詳細は後述）を算出するものであり、個人特徴画像数量化部２１ａと照明特徴画像数量化部２１ｂとからなる。
【００２２】
個人特徴画像数量化部２１ａは、入力された画像から個人の特徴量を表す個人特徴ベクトルを算出した後、算出した個人特徴ベクトルに対して部分空間を形成するとともに、この個人特徴ベクトルを個人の主要な特徴量を抽出するため当該部分空間に射影し、個人特徴射影係数ベクトルＹを算出する。
【００２３】
照明特徴画像数量化部２１ｂは、入力された画像を低解像度化、または入力された画像から低周波成分を抽出し、低解像度画像情報または低周波成分画像を作成する。そして、低解像度画像または低周波成分画像を用いて照明特徴ベクトルを算出した後、算出した照明特徴ベクトルについての部分空間を形成するとともに、この照明特徴ベクトルを照明変動による特徴量を抽出するため当該部分空間に射影し、照明特徴射影係数ベクトルＸを算出する。
【００２４】
補正式算定部２２は、後述する学習処理において、個人特徴画像数量化部２１ａおよび照明特徴画像数量化部２１ｂが複数の学習用画像（例えば、Ｎ個）に対して算出した個人特徴射影係数ベクトルＹと照明特徴射影係数ベクトルＸを用いて後述する種々の演算を行って、後述の入力画像および登録画像から照明の影響を除去するための知識である写像（照明の影響である画像に含まれるオフセットを算出するための関数あるいは補正式などを意味し、以下写像ｆとする）を算定する。
【００２５】
特徴量補正部２４は後述する照合処理時において、入力画像と登録画像から照明の影響を除去するために、補正式算定部２２が算定した写像ｆを用いて入力画像と登録画像の個人特徴射影係数ベクトルＹを補正する。
【００２６】
照合判定部２５は、特徴量補正部２４により補正された入力画像と登録画像の個人特徴射影係数ベクトルＹ＊を用いて、例えば、入力画像の人物が登録画像の人物と一致するか否かを判定する処理を行う。
【００２７】
記憶部２３は、学習用画像や登録画像、補正式算定部２２が算定した写像ｆを記憶する他、各部の処理における一時記憶部としても機能する。ただし、用途別にそれぞれ記憶手段を設けてもよく、また、登録画像のデータが膨大になるような場合には専用のデータベースを構築してもよい。
【００２８】
ここで、上述の説明および以下の説明における学習用画像とは、補正式算定部２２による写像ｆの算定のために事前情報として準備された種々の人物の顔画像であり、入力画像とは、カメラ１０により撮影された照合対象者の顔画像のことであり、登録画像とは、本発明の画像照合装置を使用するユーザ側で予め登録しておく顔画像、例えば、入場管理などに使用される場合などでは入場を許可された者の顔画像のことである。なお、学習用画像および登録画像は、カメラ１０で撮影した画像を使用するようにしてもよいし、記憶媒体に記憶させた画像を有線あるいは無線手段を用いて記憶部２３に記憶するようにしてもよい。
【００２９】
次に、図１に示した画像照合装置の処理概念について図２を参照して説明する。本発明の画像照合装置の処理としては、入力画像や登録画像から照明の影響を除去するための知識として写像ｆを得るための学習処理と写像ｆを利用して入力画像と登録画像に対して照明の影響を除去する補正をし、補正された入力画像と登録画像（詳細は後述するが、実際には各画像から求めるベクトル情報）とを照合する照合処理の大きく２種類の処理に分けられる。
【００３０】
まず、学習処理において、個人特徴画像数量化部２１ａが複数の学習用画像から個人特徴ベクトルを算出するとともに、個人特徴射影係数ベクトルＹを算出する。また、照明特徴画像数量化部２１ｂが複数の学習用画像を低解像度化あるいは低解像度成分を抽出し、低解像度画像または低周波成分画像を作成し、この低解像度画像または低周波成分を用いて照明特徴ベクトルを算出した後、照明特徴射影係数ベクトルＸを算出する。
【００３１】
そして、算出された複数の学習用画像に対する個人特徴射影係数ベクトルＹおよび照明特徴射影係数ベクトルＸを用いて補正式算定部２２が写像ｆを算定し、この写像ｆが入力画像や登録画像から照明の影響を除去するための知識として記憶部２３に記憶される。
【００３２】
次に、照合処理においては、入力画像と登録画像に対して個人特徴画像数量化部２１ａおよび照明特徴画像数量化部２１ｂが個人特徴射影係数ベクトルＹおよび照明特徴射影係数ベクトルＸをそれぞれ算出する。そして、特徴量補正部２４は補正式算定部２２が算定した写像ｆから各照明特徴射影係数ベクトルＸを用いて入力画像および登録画像に含まれる照明によるオフセットＹ０を算出し、入力画像および登録画像の各個人特徴射影係数ベクトルＹから算出したオフセットＹ０を差し引くことにより、これらを補正する。
【００３３】
最後に照合判定部２５が入力画像および登録画像の補正された個人特徴射影係数ベクトルＹ＊の相関値を求める、あるいはベクトルのなす角度を算出するなどして入力画像の人物が登録画像の人物と一致するか否かの照合判定を行う。
【００３４】
なお、上述のような本発明の画像照合装置における処理は、高解像度画像（カメラ１０から入力される画像そのものなど）は個人の特徴と照明の特徴の両方を含んだ情報であり、低解像度画像あるいは低周波数成分画像は個人の特徴に関する情報が薄れ、照明の特徴が顕在化した情報となることを利用している（図３参照）。
【００３５】
そして、学習において、複数の学習用画像の低解像度画像、あるいは低周波成分画像を用いて、種々の画像における照明の影響（オフセットＹ０）を算出する為の写像ｆを求め、照合処理において、この写像ｆを用いて入力画像と登録画像から照明の影響を除去して比較することにより、本発明の特徴である照明変動にロバストな顔画像の照合処理が可能になる。
【００３６】
次に、上述した学習処理について図４から図７のフローチャートを参照してより詳細に説明する。
【００３７】
まず、各学習用画像（以下、Ｎ個の学習用画像とする）に対して個人特徴量数量化部２１ａが個人特徴ベクトルを算出した後、これを部分空間に射影した個人特徴射影係数ベクトルＹを算出する（ステップＳ０１）。次に、照明特徴画像数量化部２１ｂが各学習用画像を低解像度化、または低周波成分を抽出し、低解像度画像または低周波成分画像を作成し、この画像から照明特徴ベクトルを算出した後、これを部分空間に射影した照明特徴射影係数ベクトルＸを算出する（ステップＳ０２）。次に、ステップＳ０１およびステップＳ０２の処理により算出された個人特徴射影係数ベクトルＹの集合および照明特徴射影係数ベクトルＸの集合を作成し、この集合から後述する３つの算定方法の何れかにより写像ｆを算定する（ステップＳ０３）。そして、算定した写像ｆを記憶部２３に記憶して（ステップＳ０４）、学習処理は終了する。
【００３８】
上記一連の処理をおこなうことにより、入力画像および登録画像の個人特徴ベクトルから照明影響を減じるための学習知識、すなわち写像ｆを得ることが可能になる。
【００３９】
次に、上述した図４の学習処理のフローチャートにおけるステップＳ０４の写像ｆの算定方法について説明する。方法としては３つあり、これらを順に説明する。
【００４０】
写像ｆの第１の算定方法について、図５のフローチャートを参照して説明する。まず、Ｌ次元の個人特徴射影係数ベクトルＹの集合｛Ｙｉ｝とＫ次元の照明特徴射影係数ベクトルＸの集合｛Ｘｉ｝を作成する（ステップＳ１０１）。次に、以下のＫ変数（分離型）ｍ次多項式モデル、
【数１】
2004145576.tif 000003
を用いて、パラメータＡｌｋｊを集合｛Ｘｉ｝、｛Ｙｉ｝から最小２乗法を用いて求め、これを写像ｆ：Ｘ→Ｙ０とする（ステップＳ１０２）。ここで、式（１）において、Ｘ（ｋ）、Ｙ（ｋ）は列ベクトルであるＸ、Ｙの第ｋ要素を意味する。
【００４１】
上記一連の処理をおこなうことにより、入力画像や登録画像から照明の影響を除去するための写像ｆを算定することが可能になる。
【００４２】
次に、写像ｆの第２の算出方法について、図６のフローチャートを参照して説明する。まず、Ｌ次元の個人特徴射影係数ベクトルの集合｛Ｙｉ｝とＫ次元の照明特徴射影係数ベクトルＸの集合｛Ｘｉ｝を作成する（ステップＳ２０１）。次に、集合｛Ｘｉ｝、｛Ｙｉ｝からＬ行Ｋ列の相関行列
【数２】
2004145576.tif 000004
を算出し、Ｍを特異値分解し、特異値σｉを得る（ステップＳ２０２）。ここで、Ｍ（ｌ，ｋ）は行列Ｍの第１行ｋ列要素を示している。この後、特異値σｉを大きい順にｒ個取り出し、対応するＫ次元、Ｌ次元固有ベクトルをそれぞれＵｉ、Ｖｉとし、近似相関行列Ｍ’を以下の数式に従うものとし、
【数３】
2004145576.tif 000005
この式（３）から近似相関行列Ｍ’を算出する。そして、写像ｆ：Ｘ→Ｙ０をＹ０＝Ｍ’Ｘとする（ステップＳ２０３）。
【００４３】
上記一連の処理をおこなうことにより、入力画像や登録画像から照明の影響を除去するための写像ｆを算定することが可能になる。
【００４４】
次に、写像ｆの第３の算定方法について、図７のフローチャートを参照して説明する。なお、この方法は、取り扱う画像が照明パラメータ（α，β）で制御された場合に適用され、学習用画像も照明パラメータ（α，β）で制御されたものとしている。
【００４５】
Ｋ次元の照明特徴射影係数ベクトルＸの集合｛Ｘｉ｝とＬ次元の個人特徴射影係数ベクトルＹの集合｛Ｙｉ｝を作成し（ステップＳ３０１）。次に、集合｛Ｘｉ｝から以下の２変数ｍ次多項式モデル、
【数４】
2004145576.tif 000006
のパラメータＰｋｊｔを、最小２乗法を用いて算出するとともに、集合｛Ｙｉ｝から以下の２変数ｎ次多項式モデル、
【数５】
2004145576.tif 000007
のパラメータＱｌｊｔを、最小２乗法を用いて算出して、各々写像ｐ：（α，β）→Ｘおよびｑ：（α，β）→Ｙ０として、写像ｐの逆写像ｐ−１と写像ｑの合成写像であるｑ○ｐ−１を写像ｆ：Ｘ→Ｙ０とする（ステップＳ３０２）。
【００４６】
上記一連の処理をおこなうことにより、入力画像や登録画像から照明の影響を除去するための写像ｆを算定することが可能になる。
【００４７】
次に、照合処理について図８から図１１を参照して説明する。図８を用いて照合処理全体を説明すると、まず、カメラ１０から入力画像が入力される（ステップＳ２０）。次に、登録画像が記憶部２３から読み込まれる（ステップＳ２１）。次に、入力画像および登録画像の個人特徴射影係数ベクトルＹに対して後述する照明影響を除去するための補正処理が行われる（ステップＳ２２）。そして、入力画像と登録画像の補正された個人特徴射影係数ベクトルＹ＊を用いて入力画像の人物が登録画像の人物と一致するか否かなどの照合判定が行われる（ステップＳ２３）。
【００４８】
上記一連の処理をおこなうことにより、入力画像と登録画像から照明の影響を除去してそれらを照合判定することが可能になる。
【００４９】
なお、ここでの照合判定の方法は、例えば、入力画像と登録画像の補正された個人特徴射影係数ベクトルＹ＊のなす角度（余弦など）を求めて、予め設定された基準値以上であれば、入力画像と登録画像の人物が一致すると判定したり、補正された個人特徴射影係数ベクトルＹ＊の相関値を求めて、予め設定された基準値以上であれば入力画像の人物と登録画像の人物が一致すると判定するようにしてもよい。
【００５０】
また、ステップＳ２１における登録画像の読み込みは、記憶部２３に記憶されている順に読み込むようにしてもよい。あるいは、照合処理時に登録画像に対応するＩＤ番号などが入力されるのであれば、このＩＤに対応する登録画像を記憶部２３から読み込むようにすればよい。
【００５１】
次に、上述の照合処理におけるステップＳ２２の個人特徴射影係数ベクトルから照明影響を除去するための補正処理について、図９を用いて説明する。まず、入力画像および登録画像から個人特徴画像数量化部２１ａが個人特徴ベクトルを算出し、個人特徴射影係数ベクトルＹを算出する（ステップＳ４０１）。
次に、入力画像および登録画像から照明特徴画像数量化部２１ｂが、照明特徴ベクトルを算出し、さらに照明特徴射影係数ベクトルＸを算出する（ステップＳ４０２）。続いて、記憶部２３に記憶された写像ｆを用いてステップＳ４０２で算出した入力画像および登録画像の照明特徴射影係数ベクトルＸから照明によるオフセットＹ０を算出する（ステップＳ４０３）。ステップＳ４０１で算出した入力画像および登録画像から個人特徴射影係数ベクトルＹからステップＳ４０３で算出した各オフセットＹ０を減じて、補正された個人特徴射影係数ベクトルＹ＊を算出する（ステップＳ４０４）。
【００５２】
上記一連の処理をおこなうことにより、入力画像と登録画像の情報から照明の影響を除去する補正が可能になる。
図１０は上述の照合処理（補正処理を含む）の有効性を説明するための説明図である。以下では、同一人物の入力画像と登録画像が異なった２つの照明条件下（照明Ｉ、照明ＩＩ）で撮影され、登録画像が照明Ｉのもとで撮影されたものであり、入力画像が照明ＩＩのもとで撮影されたものとして説明する。
【００５３】
同図においては、登録画像の個人特徴射影係数ベクトルはＹＩ８２と算出され、入力画像の個人特徴射影係数ベクトルはＹＩＩ８３と算出され、上述の写像ｆを利用して算出された照明の影響によるオフセットが、それぞれ、Ｙ０Ｉ８４、Ｙ０ＩＩ８５と算出された場合が示されている。ここで、登録画像から直接求めた個人特徴射影係数ベクトルＹＩ８２から上述した写像ｆを用いて算出したオフセットＹ０Ｉ８４を減じて、補正された個人特徴射影係数ベクトルは、ＹＩ−Ｙ０Ｉ８６と表される。
【００５４】
入力画像についても同様に、個人特徴射影係数ベクトルＹＩＩ８３から上述した写像ｆを用いて算出したオフセットＹ０ＩＩ８５を減じて、補正された個人特徴射影係数ベクトルはＹＩＩ−Ｙ０ＩＩ８７と表される。これにより、何も補正しない場合には、登録画像の個人特徴射影係数ベクトルＹＩ８２と入力画像の個人特徴射影係数ベクトルＹＩＩ８３は、照明の影響により大きさ、方向ともに異なり、このまま照合すれば、同一人物であるにもかかわらず、他人として判定されてしまうことになるが、補正された登録画像の個人特徴射影係数ベクトルＹＩ−Ｙ０Ｉ８６と個人特徴射影係数ベクトルＹＩＩ−Ｙ０ＩＩ８７は大きさおよび方向が同じになっているので同一人物であると判定でき、照明条件に関わらず正しい照合が可能となる。
【００５５】
上述してきたように、本実施の形態では、画像数量化部２１において特徴ベクトルとして表現される顔画像を、特徴量補正部２４において記憶部２３に記憶された写像ｆを用いて照明の影響を除去するための補正がなされた入力画像情報と登録画像情報とを照合判定部２５において比較照合判定するので、照明変動に対してロバストな照合処理が可能となる。
【００５６】
ところで、本実施の形態では、照明変動下における顔画像を用いた場合について説明したが、本発明はこれに限定されるものではなく、他の身体の所定の部位（例えば、掌紋など）の照明変動下における画像集合においても本発明を適用することもできる。
【００５７】
【発明の効果】
以上説明したように、請求項１の発明によれば、少なくとも照明影響下で身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出し、複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、入力画像または登録画像から照明影響を除去する際に利用する知識を学習し、入力画像から算出された照明特徴量および個人特徴量と、登録画像から算出された照明特徴量および個人特徴量と、学習された照明影響に係る知識とに基づいて入力画像と登録画像とを比較照合するので、照明変動に影響されることなく入力画像と登録画像とを比較照合することができる。さらに、運転免許証やパスポート等の１枚の写真を登録画像とする場合にも適用できる。
【００５８】
また、請求項２の発明によれば、少なくとも照明影響下で身体の所定の部位を撮影した学習用画像、入力画像または登録画像から算出した照明影響に依存した照明特徴ベクトルを部分空間に射影した照明特徴射影係数ベクトルを照明特徴量として算出し、学習用画像、入力画像または登録画像から算出した照明および身体の所定の部位に依存した個人特徴ベクトルを部分空間に射影した個人特徴射影係数ベクトルを個人特徴量として算出したので、照明特徴射影係数ベクトルと個人特徴射影係数ベクトルとの数量関係を考えることができる。
【００５９】
また、請求項３の発明によれば、学習用画像、入力画像または登録画像を低解像度化した低解像度画像または学習用画像、入力画像または登録画像の低周波成分を用いて照明特徴ベクトルを作成したので、学習用画像、入力画像または登録画像それぞれの照明影響に係る照明特徴射影係数ベクトルを算出することができる。
【００６０】
また、請求項４の発明によれば、照明特徴射影係数ベクトルおよび個人特徴射影係数ベクトルに基づいて補正式を算出したので、該補正式を用いて入力画像の個人特徴射影係数ベクトルおよび登録画像の個人特徴射影係数ベクトルの照明影響を除去できる。
【００６１】
また、請求項５の発明によれば、補正式に基づいて、入力画像または登録画像の個人特徴射影係数ベクトルから照明影響に係る成分を除去する補正をおこない、補正された入力画像または登録画像の個人特徴射影係数ベクトルを比較するので、照明影響によらず入力画像の個人特徴射影係数ベクトルと登録画像の個人特徴射影係数ベクトルとを比較照合できる。
【００６２】
また、請求項６の発明によれば、少なくとも照明影響下で身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出し、複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、入力画像または登録画像から照明影響を除去する際に利用する知識を学習し、学習の後、入力画像から算出された照明特徴量および個人特徴量と、登録画像から算出された照明特徴量および個人特徴量と、学習された照明影響に係る知識とに基づいて入力画像と登録画像とを比較照合したので、入力画像と登録画像とを比較照合することができる。さらに、運転免許証やパスポート等の１枚の写真を登録画像とする場合にも適用できる。
【００６３】
また、請求項７の発明によれば、少なくとも照明影響下で身体の所定の部位を撮影した学習用画像、入力画像または登録画像から照明影響に依存した照明特徴量並びに照明および前記身体の所定の部位に依存した個人特徴量を算出し、複数の学習用画像からそれぞれ算出された照明特徴量および個人特徴量に基づいて、入力画像または登録画像から照明影響を除去する際に利用する知識を学習し、学習の後、入力画像から算出された照明特徴量および個人特徴量と、登録画像から算出された照明特徴量および個人特徴量と、学習された照明影響に係る知識とに基づいて入力画像と登録画像とを比較照合したので、入力画像と登録画像とを比較照合することができる。さらに、運転免許証やパスポート等の１枚の写真を登録画像とする場合にも適用できる。
【図面の簡単な説明】
【図１】この発明の実施の形態である画像照合装置及び画像照合方法の概略構成を示すブロック図である。
【図２】画像照合装置の処理手順の概要を説明する説明図である。
【図３】解像度の例を示す図である。
【図４】学習処理のフローチャートである。
【図５】写像ｆの算定方法その１を説明するフローチャートである。
【図６】写像ｆの算定方法その２を説明するフローチャートである。
【図７】写像ｆの算定方法その３を説明するフローチャートである。
【図８】照合処理のフローチャートである。
【図９】補正処理のフローチャートである。
【図１０】照合処理の有効性を説明するための説明図である。
【符号の説明】
１０　カメラ
２０　サーバ
２１　画像数量化部
２１ａ　個人特徴画像数量化部
２１ｂ　照明特徴画像数量化部
２２　補正式算定部
２３　記憶部
２４　特徴量補正部
２５　照合判定部
８２　照明Ｉにおける個人特徴射影係数ベクトルＹＩ
８３　照明ＩＩにおける個人特徴射影係数ベクトルＹＩＩ
８４　照明ＩにおけるオフセットＹ０Ｉ
８５　照明ＩＩにおけるオフセットＹ０ＩＩ
８６　照明Ｉにおける補正された個人特徴射影特徴ベクトルＹＩ−Ｙ０Ｉ
８７　照明ＩＩにおける補正された個人特徴射影特徴ベクトルＹＩＩ−Ｙ０ＩＩ
【図１】
2004145576.tif 000008
【図２】
2004145576.tif 000009
【図３】
2004145576.tif 000010
【図４】
2004145576.tif 000011
【図５】
2004145576.tif 000012
【図６】
2004145576.tif 000013
【図７】
2004145576.tif 000014
【図８】
2004145576.tif 000015
【図９】
2004145576.tif 000016
【図１０】
2004145576.tif 000017