(57)【要約】【課題】統計モデルを生成するためのブートストラップ画像の照明強度が登録画像の強度と著しく異なる場合にも、現実に合致した登録画像群を得ることのできる画像合成装置を提供する。【解決手段】第１の画像の輝度値から第１の画像における被写体に対する照明方向および照明強度を含む照明条件を推定する照明条件推定部４１と、第１の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する法線情報推定部４２と、第１の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部４３と、所定の照明条件における被写体の第２の画像を合成する画像合成部４５とを備えた。【選択図】図２
2007102315.tif 000002
【特許請求の範囲】
【請求項１】
被写体の第１の画像から所定の照明条件における前記被写体の第２の画像を合成する画像合成装置であって、
前記第１の画像における前記被写体に対する照明方向および照明強度を含む照明条件を推定する照明条件推定部と、
前記照明条件推定部で推定された照明条件にもとづいて、前記第１の画像における所定の画素の、前記被写体の法線方向を含む法線情報を推定する法線情報推定部と、
前記第１の画像の前記所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定された前記エラー成分の情報から、前記所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部と、
前記法線情報推定部によって推定された前記被写体の法線情報、および、前記エラー成分情報推定部で推定された、前記所定の照明条件におけるエラー成分の情報から、前記所定の照明条件における前記被写体の前記第２の画像を合成する画像合成部とを備えたことを特徴とする画像合成装置。
【請求項２】
前記法線情報推定部は、あらかじめ学習用の画像によって計算された統計モデルにもとづいて、前記法線方向を推定することを特徴とする請求項１に記載の画像合成装置。
【請求項３】
前記エラー成分情報推定部は、あらかじめ学習用の画像によって計算された統計モデルにもとづいて、前記エラー成分の情報を推定することを特徴とする請求項１または請求項２に記載の画像合成装置。
【請求項４】
互いに異なる複数の照明角度を含む照明条件を入力するための照明条件入力部を備え、
前記画像合成部は、前記照明条件入力部から入力された前記複数の照明角度を含む照明条件それぞれにおける前記第２の画像を合成することを特徴とする請求項１から請求項３までのいずれか１項に記載の画像合成装置。
【請求項５】
前記照明条件推定部は、前記第１の画像における前記被写体に対する照明方向を推定する照明方向推定部と、前記第１の画像における前記被写体に対する照明強度を推定する照明強度推定部とを有することを特徴とする請求項１から請求項４までのいずれか１項に記載の画像合成装置。
【請求項６】
前記第１の画像を撮影して前記照明条件推定部に入力する画像入力部を備え、
前記照明条件推定部は、前記第１の画像が撮影されたときの照明条件についての参照情報を入力する参照情報入力部を有し、前記参照情報入力部から入力された参照情報を用いて前記第１の画像が撮影されたときの照明条件を推定することを特徴とする請求項１から請求項４までのいずれか１項に記載の画像合成装置。
【請求項７】
前記参照情報入力部は、前記第１の画像が撮影されたときの照明方向についての参照情報を入力し、前記照明条件推定部は、前記参照情報から前記第１の画像が撮影されたときの照明方向を推定することを特徴とする請求項６に記載の画像合成装置。
【請求項８】
前記参照情報入力部は、前記第１の画像が撮影されたときの照明強度についての参照情報を入力し、前記照明条件推定部は、前記参照情報から前記第１の画像が撮影されたときの照明強度を推定することを特徴とする請求項６に記載の画像合成装置。
【請求項９】
前記照明方向推定部は、前記第１の画像の輝度値から前記第１の画像における前記被写体に対する照明方向を推定することを特徴とする請求項５に記載の画像合成装置。
【請求項１０】
前記照明強度推定部は、前記第１の画像の輝度値から前記第１の画像における前記被写体に対する照明強度を推定することを特徴とする請求項５に記載の画像合成装置。
【請求項１１】
請求項１から請求項１０までのいずれか１項に記載の画像合成装置と、
前記画像合成装置で作成された第２の画像を登録画像群として記憶する登録画像群記憶部と、
比較すべき比較画像を入力する比較画像入力部と、
前記比較画像入力部から入力された前記比較画像と前記登録画像群記憶部に記憶された前記登録画像群とを比較照合する比較照合部とを備えたことを特徴とする画像照合装置。
【請求項１２】
前記比較画像入力部が入力した前記比較画像における照明条件を推定する比較画像照明条件推定部と、
前記比較画像照明条件推定部で推定された照明条件の登録画像を前記登録画像群記憶部から検索する画像検索部とを備え、
前記比較照合部は、前記画像検索部で検索された登録画像と前記比較画像とを照合することを特徴とする請求項１１に記載の画像照合装置。
【請求項１３】
前記画像合成装置で作成された第２の画像の特徴量を算出する第１の特徴量算出部と、
前記比較画像入力部で入力された比較画像の特徴量を算出する第２の特徴量算出部とを備え、
前記登録画像群記憶部は、前記第２の画像の特徴量を記憶し、
前記比較照合部は、前記登録画像群と前記比較画像とをその特徴量によって比較照合することを特徴とする請求項１１または請求項１２に記載の画像照合装置。
【請求項１４】
被写体の第１の画像から所定の照明条件における前記被写体の第２の画像を合成する画像合成方法であって、
前記第１の画像の輝度値から前記第１の画像における前記被写体に対する照明強度を含む照明条件を推定する第１のステップと、
前記第１のステップで推定された前記照明条件にもとづいて、前記第１の画像における所定の画素の、前記被写体の法線方向を含む法線情報を推定する第２のステップと、
前記第１の画像の前記所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定された前記エラー成分の情報から、前記所定の照明条件におけるエラー成分の情報を推定する第３のステップと、
前記第２のステップで推定された前記被写体の法線情報、および、前記第３のステップにおいて推定された、前記所定の照明条件におけるエラー成分の情報から、前記所定の照明条件における前記被写体の前記第２の画像を合成する第４のステップとを備えたことを特徴とする画像合成方法。
【請求項１５】
被写体の第１の画像から所定の照明条件における前記被写体の第２の画像を合成するプログラムであって、
コンピュータに、
前記第１の画像の輝度値から前記第１の画像における前記被写体に対する照明強度を含む照明条件を推定する第１のステップと、
前記第１のステップで推定された前記照明条件にもとづいて、前記第１の画像における所定の画素の、前記被写体の法線方向を含む法線情報を推定する第２のステップと、
前記第１の画像の前記所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定された前記エラー成分の情報から、前記所定の照明条件におけるエラー成分の情報を推定する第３のステップと、
前記第２のステップで推定された前記被写体の法線情報、および、前記第３のステップにおいて推定された、前記所定の照明条件におけるエラー成分の情報から、前記所定の照明条件における前記被写体の前記第２の画像を合成する第４のステップとを実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された二次元画像をあらかじめ記録された二次元画像と比較照合する画像照合装置に関し、特に特定の画像にもとづいて、画像照合に用いる複数の互いに異なる画像からなる登録画像群を作成する画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法に関する。
【背景技術】
【０００２】
従来から、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置が実用化されている。特に、バイオメトリクスを用いた認証方法の一つである顔認証方法を実現するための、画像照合装置が各種提案されてきている。このような画像照合装置においては、認証可能な複数の者（以下、登録された者と記す）の顔画像をあらかじめ登録画像としてデータベースに登録しておき、認証される者（以下、被認証者と記す）の顔画像を登録画像と比較照合して、その結果、被認証者の顔画像が登録された者の登録画像の中に一致するまたは類似する画像が含まれていると判定された場合に、被認証者がその登録された者の一人であるとして認証される。
【０００３】
このような画像照合装置においては、従来から、被認証者の顔画像が撮影されたときの撮影条件と、登録画像が撮影されたときの撮影条件との違いによって、本人認証率が低下してしまうという課題があった。例えば、被認証者の顔画像が撮影されたときに照明が被認証者を照射していた方向（以下、この方向のことを照明方向と記す）等の照明条件と、登録画像が撮影されたときの照明方向等の照明条件とが異なる場合には、たとえ同じ被写体を撮影した場合であっても、比較照合を行った結果、互いに一致しないと判定されてしまう可能性があった。
【０００４】
この課題を解決するために、近年様々な技術が提案されてきている。例えば、登録された者それぞれについて、一枚の登録画像からその撮影時の照明条件および顔の形状（法線ベクトル）や反射率等を推定し、これらの条件を用いて互いに異なる照明条件下における複数の画像（以下、登録画像群と記す）を作成してデータベースに登録し、認証時には被写体の顔画像とデータベースに登録された全ての登録画像群とを比較照合することにより、本人認証率を向上させることのできる技術が提案されている（例えば、非特許文献１を参照。）。
【非特許文献１】Ｔ．Ｓｉｍ，Ｔ．Ｋａｎａｄｅ，”Ｃｏｍｂｉｎｉｎｇ  Ｍｏｄｅｌｓ  ａｎｄ  Ｅｘｅｍｐｌａｒｓ  ｆｏｒ  Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ：  Ａｎ  Ｉｌｌｕｍｉｎａｔｉｎｇ  Ｅｘａｍｐｌｅ，”Ｐｒｏｃ．ＣＶＰＲ  Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｍｏｄｅｌｓ  ｖｅｒｓｕｓ  Ｅｘｅｍｐｌａｒｓ  ｉｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，２００１．
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述したような従来の技術においては、まず、あらかじめ登録された者とは異なる者について、様々な照明条件の下で撮影された学習用の顔画像の集合（以下、この画像の集合のことをブートストラップ画像と記す）を用いて統計モデルを生成する。次に、生成された統計モデルを用いて、複数の登録された者についての登録画像それぞれから互いに照明条件の異なる複数の登録画像群を合成する。
【０００６】
しかしながら、前述したような従来の技術においては、登録された者についての登録画像の照明条件を推定する場合に、照明の方向のみを推定していたので、統計モデルを生成するためのブートストラップ画像の照明強度が登録画像の強度と著しく異なる場合には、合成された登録画像群が、ブートストラップ画像の照明強度の影響を受けてしまい、必ずしも現実に合致した登録画像群が得られないという課題があった。
【０００７】
本発明はこのような課題に鑑みてなされたものであり、統計モデルを生成するためのブートストラップ画像の照明強度が登録画像の照明強度と著しく異なる場合にも、ブートストラップ画像の照明強度と登録画像の照明強度との差異によって、合成された登録画像群が影響を受ける可能性を低くして、現実に合致した登録画像群を得ることのできる画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像合成装置は、被写体の第１の画像から所定の照明条件における被写体の第２の画像を合成する画像合成装置であって、第１の画像における被写体に対する照明方向および照明強度を含む照明条件を推定する照明条件推定部と、照明条件推定部で推定された照明条件にもとづいて、第１の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する法線情報推定部と、第１の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部と、法線情報推定部によって推定された被写体の法線情報、および、エラー成分情報推定部で推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の第２の画像を合成する画像合成部とを備えたことを特徴としている。
【０００９】
このような構成によれば、画像合成部が、法線情報推定部によって推定された法線情報と、エラー成分情報推定部によって推定された所定の照明条件におけるエラー成分の情報とによって画像を合成するので、現実に合致した登録画像群を得ることのできる画像合成装置を提供することができる。
【００１０】
また、法線情報推定部は、あらかじめ学習用の画像によって計算された統計モデルにもとづいて、法線方向を推定する構成であってもよい。
【００１１】
このような構成によれば、さらに、あらかじめ統計モデルを準備しておくことにより、異なる照明条件における画像をより正確に推定することができる。
【００１２】
さらに、エラー成分情報推定部は、あらかじめ学習用の画像によって計算された統計モデルにもとづいて、エラー成分の情報を推定する構成であってもよい。
【００１３】
このような構成によれば、さらに、エラー成分についても、あらかじめ統計モデルを準備しておくことにより、異なる照明条件における画像をより正確に推定することができる。
【００１４】
このような構成によれば、さらに、複数の画素について、同時に具体的な統計量の算出が可能な構成を実現することができる。
【００１５】
また、互いに異なる複数の照明角度を含む照明条件を入力するための照明条件入力部を備え、画像合成部は、照明条件入力部から入力された複数の照明角度を含む照明条件それぞれにおける第２の画像を合成する構成であってもよい。
【００１６】
このような構成によれば、さらに、所望の照明条件に対応する第２の画像を得ることのできる構成を実現することができる。
【００１７】
また、照明条件推定部は、第１の画像における被写体に対する照明方向を推定する照明方向推定部と、第１の画像における被写体に対する照明強度を推定する照明強度推定部とを有する構成であってもよい。
【００１８】
このような構成によれば、さらに、第１の画像における被写体に対する照明方向を推定する処理と、照明強度を推定する処理とを独立して行うことができる。
【００１９】
また、第１の画像を撮影して照明条件推定部に入力する画像入力部を備え、照明条件推定部は、第１の画像が撮影されたときの照明条件についての参照情報を入力する参照情報入力部を有し、参照情報入力部から入力された参照情報を用いて第１の画像が撮影されたときの照明条件を推定する構成であってもよい。
【００２０】
このような構成によれば、さらに、第１の画像が撮影されたときの参照情報を入力することができるので、より正確に照明条件を推定することができる。
【００２１】
さらに、参照情報入力部は、第１の画像が撮影されたときの照明方向についての参照情報を入力し、照明条件推定部は、参照情報から第１の画像が撮影されたときの照明方向を推定する構成であってもよい。
【００２２】
このような構成によれば、さらに、第１の画像が撮影されたときの照明方向について、より正確に推定することができる。
【００２３】
さらにまた、参照情報入力部は、第１の画像が撮影されたときの照明強度についての参照情報を入力し、照明条件推定部は、参照情報から第１の画像が撮影されたときの照明強度を推定する構成であってもよい。
【００２４】
このような構成によれば、さらに、第１の画像が撮影されたときの照明強度について、より正確に推定することができる。
【００２５】
また、照明方向推定部は、第１の画像の輝度値から第１の画像における被写体に対する照明方向を推定する構成であってもよい。
【００２６】
このような構成によれば、さらに、参照情報を入力することなく、第１の画像における照明方向を推定することができ、第１の画像が写真や画像データ等の情報として入力される場合に適する。
【００２７】
また、照明強度推定部は、第１の画像の輝度値から第１の画像における被写体に対する照明強度を推定する構成であってもよい。
【００２８】
このような構成によれば、さらに、参照情報を入力することなく、第１の画像における照明強度を推定することができ、第１の画像が写真や画像データ等の情報として入力される場合に適する。
【００２９】
次に、本発明の画像照合装置は、本発明の画像合成装置と、画像合成装置で作成された第２の画像を登録画像群として記憶する登録画像群記憶部と、比較すべき比較画像を入力する比較画像入力部と、比較画像入力部から入力された比較画像と登録画像群記憶部に記憶された登録画像群とを比較照合する比較照合部とを備えたことを特徴としている。
【００３０】
このような構成によれば、本発明の画像合成装置により、法線情報推定部が法線情報を推定する際に、第１の画像における複数の画素の法線情報を同時に推定することが可能であるので、演算対象となる画素が影になっているような場合でも、他の信頼度の高い画素を用いて、その画素についての法線ベクトルや反射率を正しく推定でき、現実に合致した登録画像群を作成でき、その登録画像群と比較画像との比較照合を行うので、照合率の高い構成を実現することができる。
【００３１】
また、比較画像入力部が入力した比較画像における照明条件を推定する比較画像照明条件推定部と、比較画像照明条件推定部で推定された照明条件の登録画像を登録画像群記憶部から検索する画像検索部とを備え、比較照合部は、画像検索部で検索された登録画像と比較画像とを照合する構成であってもよい。
【００３２】
このような構成によれば、さらに、比較画像からその照明条件を推定し、登録画像群記憶部に記憶された登録画像群から、推定された照明条件に対応する登録画像を検索して、比較照合を行うことができ、比較照合処理を行う回数を減少させることができ、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。
【００３３】
また、画像合成装置で作成された第２の画像の特徴量を算出する第１の特徴量算出部と、比較画像入力部で入力された比較画像の特徴量を算出する第２の特徴量算出部とを備え、登録画像群記憶部は、第２の画像の特徴量を記憶し、比較照合部は、登録画像群と比較画像とをその特徴量によって比較照合する構成であってもよい。
【００３４】
このような構成によれば、さらに、登録画像群記憶部には、特徴量算出部によって算出された特徴量のデータが記憶されているので、登録画像群の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済むとともに、比較照合部が、登録画像群記憶部および特徴量算出部からそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部での演算処理が小規模で済み、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に適した構成を実現できる。
【００３５】
次に、本発明の画像合成方法は、被写体の第１の画像から所定の照明条件における被写体の第２の画像を合成する画像合成方法であって、第１の画像の輝度値から第１の画像における被写体に対する照明強度を含む照明条件を推定する第１のステップと、第１のステップで推定された照明条件にもとづいて、第１の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する第２のステップと、第１の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定する第３のステップと、第２のステップで推定された被写体の法線情報、および、第３のステップにおいて推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の第２の画像を合成する第４のステップとを備えたことを特徴としている。
【００３６】
このような方法によれば、第４のステップにおいて、第２のステップにおいて推定された法線情報と、第３のステップにおいて推定された所定の照明条件におけるエラー成分の情報とによって画像を合成するので、現実に合致した登録画像群を得ることのできる画像合成方法を提供することができる。
【００３７】
次に、本発明のプログラムは、被写体の第１の画像から所定の照明条件における被写体の第２の画像を合成するプログラムであって、コンピュータに、第１の画像の輝度値から第１の画像における被写体に対する照明強度を含む照明条件を推定する第１のステップと、第１のステップで推定された照明条件にもとづいて、第１の画像における所定の画素の、被写体の法線方向を含む法線情報を推定する第２のステップと、第１の画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定する第３のステップと、第２のステップで推定された被写体の法線情報、および、第３のステップにおいて推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の第２の画像を合成する第４のステップとを実行させることを特徴としている。
【００３８】
このようなプログラムをコンピュータに実行させることによって、第４のステップにおいて、第２のステップにおいて推定された法線情報と、第３のステップにおいて推定された所定の照明条件におけるエラー成分の情報とによって画像を合成するので、現実に合致した登録画像群を得ることのできるプログラムを提供することができる。
【発明の効果】
【００３９】
以上述べたように、本発明によれば、現実に合致した登録画像群を得ることのできる画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法を提供することができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００４１】
（第１の実施の形態）
まず、本発明の第１の実施の形態における画像照合装置について説明する。図１は、本発明の第１の実施の形態における画像照合装置１の構成を示すブロック図である。
【００４２】
図１に示したように、本発明の第１の実施の形態における画像照合装置１は、登録された者の登録画像２０が入力される登録画像入力部２、登録画像入力部２によって入力された登録画像２０から、後述する方法により、複数の照明条件下における登録画像群を作成する登録画像群作成部３、登録画像群作成部３で作成された登録画像群を記憶する登録画像群記憶部４、被認証者の顔画像（以下、比較画像と記す）が入力される比較画像入力部５、比較画像入力部５から入力された比較画像と登録画像群記憶部４に記憶された登録画像群とを比較照合し、その結果を出力する比較照合部８、および、比較照合部８から出力された結果等の情報を外部に接続された他の装置等に出力する出力部９を備える。
【００４３】
登録画像入力部２および比較画像入力部５は、公知の記憶媒体から画像を入力する構成であってもよいし、スキャナ等の公知の読取手段を用いて構成することも可能であるし、カメラ等で撮影された画像が入力される構成であってもよい。また、本発明の第１の実施の形態における画像照合装置１は、登録画像入力部２と比較画像入力部５とをそれぞれ独立に備える構成に限定されるものではなく、一つの入力手段を共用する構成であってもよい。
【００４４】
登録画像群作成部３および比較照合部８については、後述する機能がソフトウェアによって実現されていてもよいし、専用回路等のハードウェアによって機能が実現されていてもよい。
【００４５】
登録画像群記憶部４は、ハードディスク装置（ＨＤＤ）や半導体メモリ等の公知の記録媒体から選択したものを用いることができる。
【００４６】
出力部９は、比較照合部８からの照合結果を示す信号をそのまま出力する構成であってもよいし、被認証者に対して映像または音声によって照合結果を知らしめる構成であってもよい。
【００４７】
比較照合部８の機能としては、例えば、固有空間法、部分空間法またはＫＮＮ法等の公知の画像比較照合方法を用いることが可能である。
【００４８】
ここで、本発明の第１の実施の形態における登録画像群作成部３の機能について詳細に説明する。図２は、本発明の第１の実施の形態における画像照合装置１の登録画像群作成部３の機能ブロック図であり、図３は、本発明の第１の実施の形態における画像照合装置１の登録画像群作成部３の動作ステップを示すフローチャートである。登録画像群作成部３の機能は、ハードウェアまたはソフトウェアのいずれでも実現することが可能である。登録画像群作成部３の機能をソフトウェアにて実現しようとする場合には、後述する図３におけるステップＳ１からステップＳ８までの処理をソフトウェアにて記述して、コンピュータに実行させる。
【００４９】
図２に示したように、本発明の第１の実施の形態における登録画像群作成部３は、登録画像入力部２から入力された登録画像２０（図４）の輝度値から登録画像２０における被写体に対する照明方向を推定する照明方向推定部５１および照明強度を推定する照明強度推定部５２を含む、照明条件を推定する照明条件推定部４１と、照明条件推定部４１で照明条件を推定処理するに際して、参照されるべき情報（以下、参照情報とも記す）が入力される参照情報入力部５３、照明条件推定部４１で推定された照明条件にもとづいて、登録画像２０における所定の画素の、被写体の法線方向を含む法線情報を推定する法線情報推定部４２と、登録画像の所定の画素の輝度値のうち、拡散反射成分以外のエラー成分の情報を推定し、推定されたエラー成分の情報から、所定の照明条件におけるエラー成分の情報を推定するエラー成分情報推定部４３と、法線情報推定部４２によって推定された被写体の法線情報、および、エラー成分情報推定部４３で推定された、所定の照明条件におけるエラー成分の情報から、所定の照明条件における被写体の登録画像を合成する画像合成部４５と、エラー成分情報推定部４３に対して所定の照明条件を入力する照明条件入力部４４とを備えている。
【００５０】
次に、図３を用いて、本発明の第１の実施の形態における登録画像群作成部３の動作ステップについて説明する。まず、登録画像入力部２から、登録画像群作成部３の照明条件推定部４１に登録画像２０が入力される（Ｓ１）。ここで、登録画像２０は、登録されるべき者の一枚の顔画像であるとする。図４は本発明の第１の実施の形態における登録画像２０の一例を概念的に示す図である。例えば、実際には、本発明の第１の実施の形態における画像照合装置１においては、登録画像２０として、縦１２０画素×横９０画素の計１０８００画素の、被写体を正面から撮影した画像を用いている。しかしながら、本発明はこの画像サイズに限定されるものではない。
【００５１】
ここで、後述する各推定ステップにて用いられる統計モデルを算出するために、あらかじめ別途行っておくべき、他人の画像の集合（ブートストラップ画像）を用いた学習ステップについて説明する。
【００５２】
まず、ブートストラップ画像集合を用いて、顔表面上の任意の位置において観察される明るさ（以下、輝度値とも記す）から、顔の形状や反射特性の位置間の相関を考慮した統計量を算出する。具体的には、登録画像とは別にあらかじめ準備したブートストラップ画像集合の各人物に関して法線ベクトル、アルベド（反射率）および誤差の値を算出した後に、複数人（Ｋ人）分の算出した法線ベクトル、アルベドおよび誤差の値を用いてその統計量を計算する。ここで用いるブートストラップ画像集合は、複数人の人物についてＪ個の既知の照明条件ｓｊ下で撮影された画像集合により構成される。ｌ番目の人物について、Ｊ個の光源下で撮影された画像集合Ｉ（ｌ）は下記のように、
【００５３】
【数１】
2007102315.tif 000003
【００５４】
と表される。ここで各々の記号は、人物ｌのＪ個の照明条件について得られた画像集合Ｉ（ｌ）、人物ｌの顔の法線アルベド行列Ｂ（ｌ）、Ｊ個の照明方向とその強度を表した照明条件集合Ｓ’、Ｊ個の照明条件に対するエラー行列Ｅ（ｌ）を表している。
【００５５】
次に、最小二乗法によってＢ（ｌ）を以下のように算出する。
【００５６】
【数２】
2007102315.tif 000004
【００５７】
そして、次のように拡散成分を引いた残りがエラー行列Ｅ（ｌ）となる。
【００５８】
【数３】
2007102315.tif 000005
【００５９】
さらに、顔の法線ベクトルと誤差の値の統計量を、ブートストラップ画像集合の全ての人物について推定された、顔の法線アルベド行列Ｂ（ｌ）とエラー行列Ｅ（ｌ）とを用いて次のように求める。一枚の画像の画素数をｄとし、法線アルベドベクトルＢのように、Ｋ人について各行列Ｂ（ｌ）を３ｄ次元ベクトルに展開し、その平均ベクトルμＢ（３ｄ次元ベクトル）と共分散行列ＣＢ（３ｄ×３ｄ行列）を求める。エラー項ｖ（ｓ）の統計量についても、平均ベクトルμｖ（ｓｊ）は、各照明条件ｓｊについてＫ個のエラーベクトルｖ（ｌ）（ｓｊ）から計算できる。
【００６０】
また、ｄＪ×ｄＪの共分散行列Ｃｖは、共分散行列ＣＢを法線アルベド行列Ｂ（ｌ）から求める方法と同様の方法で、Ｋ個のエラー行列Ｅ（ｌ）から算出される。
【００６１】
図３に戻って、ステップＳ１に続いて、登録画像群作成部３の照明条件推定部４１は、一枚の登録画像２０の撮影時における照明方向および照明強度（以下、これらをまとめて照明条件と記す）を推定する（Ｓ２）。具体的には、照明方向推定部５１が照明方向を推定し、照明強度推定部５２が照明強度を推定する。登録画像２０の照明条件Ｓの推定は、ブートストラップ画像の法線アルベドベクトル行列Ｂの平均Ｂａｖ（３×ｄ行列）を用いて表現する。
【００６２】
ここで、一枚の登録画像２０の輝度値を輝度値Ｉとし、照明条件Ｓとすると、
Ｉ＝ＢＴＳ  （１）
（ただし、ＢＴは法線アルベドベクトルＢの転置行列）
という関係式が成り立つ。よって、
Ｓ＝ＢａｖＴ＋Ｉ＝（ＢａｖＢａｖＴ）−１ＢａｖＩ  （２）
（ただし、ＢａｖＴ＋Ｉは、Ｂａｖの一般化逆行列）
が成り立ち、（２）式より登録画像２０の照明条件Ｓを推定することができる。
【００６３】
ここで、照明条件Ｓはベクトルであるので、照明強度推定部５２は、その大きさを照明強度αとして算出する。ここでは、説明を簡単にするために、ブートストラップ画像それぞれの照明強度が全て等しく、かつ、その大きさが「１」であったとして説明を行う。なお、本発明はブートストラップ画像それぞれの照明強度が異なるとき、または、その大きさが「１」でないときにも実現可能である。
【００６４】
なお、上述のような処理を行う場合には、照明条件推定部４１は、登録画像２０から照明条件Ｓを推定することができるので、必ずしも参照情報入力部５３は必要ない。
【００６５】
しかしながら、登録画像入力部２としてカメラ装置を用い、登録されるべき者の登録画像２０を、被写体を実際に撮影することによって得るような場合には、参照情報入力部５３を有する構成とすることによって、登録画像２０が撮影されるときの照明条件を示す情報（参照情報）を把握できるので、照明条件推定部４１の照明方向推定部５１または照明強度推定部５２は、この参照情報を参照することによって、より正確な照明条件を推定することができる。
【００６６】
例えば、参照情報入力部５３として照度計を用い、被写体周辺の照明強度を参照情報として測定すれば、照明強度推定部５２は、ブートストラップ画像が撮影されたときの照明強度と登録画像２０が撮影されたときの照明強度との比率から、照明強度αを算出することができる。
【００６７】
また、参照情報入力部５３として、カメラ装置を用いて、反射特性が既知の参照物体を撮影して、その撮影された画像を参照情報として入力すれば、照明条件推定部４１は、照明強度や照明条件を推定することが可能である。例えば、石膏で形成した球体のような、理想ランバート面の球体を参照物体として用いれば、（２）式を利用して、
Ｓｔｍｐ＝ＢｌａｍｂｅｒｔｉａｎＴ＋Ｉｔｍｐ
（Ｂｌａｍｂｅｒｔｉａｎは理想ランバート面の参照物体の法線アルベドベクトル行列）
の関係が成り立つので、参照物体を、登録画像２０が撮影される環境と同一とみなされる照明条件下に置いて（例えば、このような球体を被写体の隣において撮影することで実現できる）撮影された参照物体画像Ｉｔｍｐから、その照明強度、照明方向およびそれらを含む照明条件Ｓｔｍｐを推定することが可能である。照明強度を推定する場合には、照明条件Ｓｔｍｐの大きさのみを選択すればよい。なお、上述の例では、参照物体として、理想ランバート面を有する球体を用いて説明を行ったが、参照物体はこの例に限定されず、反射特性が既知な物体であれば、どのような物体も参照物体として用いることができる。
【００６８】
なお、照明条件推定部４１は、参照情報入力部５３から入力された参照情報から照明強度または照明方向を推定し、一方で、登録画像２０の輝度値より照明強度または照明方向を推定し、推定された両方の情報を用いて、より信頼できる情報を選択する、または両者の信頼度に応じた重み付け平均を用いて、照明強度または照明方向を算出してもよい。
【００６９】
次に、登録画像群作成部３の法線情報推定部４２は、登録画像２０の各画素の輝度値から、被写体の法線方向および反射率を考慮した法線情報である、法線アルベドベクトルの値を推定する（Ｓ３）。なお、法線アルベドベクトルとは、被写体の法線方向ベクトルにそのアルベド（反射率）を積算したベクトルのことをいう。
【００７０】
ステップＳ３における法線アルベドベクトルの値の推定方法について、詳細に説明する。
【００７１】
ステップＳ３における、法線アルベドベクトルの初期値は、ｙ（ｘ）を画素ｘの濃淡値とし、ＳをＪ個の照明方向ベクトル（学習用）とし、ｂ（ｘ）を画素ｘの法線アルベドベクトルとし、ｖ（ｘ）を画素ｘの照明Ｊ個のエラー値ベクトルとしたときに、ＭＡＰ推定で得られた法線アルベドベクトルＢＭＡＰ（ｘ）として推定することができる。
【００７２】
【数４】
2007102315.tif 000006
【００７３】
【数５】
2007102315.tif 000007
【００７４】
各画像に含まれるｄ画素分の輝度値をまとめて表現すると、次式のように表される。ｄ画素の画像ベクトルＹは、照明行列Ｓの転置行列ＳＴを対角上に配置した照明行列ＬＴとｄ画素の法線アルベドベクトルＢとの積に、ｄ画素のエラーベクトルＶの値を足したものである。また、画素毎の輝度ベクトルｙをｄ画素分並べたのが画像ベクトルＹであり、画素毎の法線アルベドベクトルｂをｄ画素分並べたのが法線アルベドベクトルＢであり、画素毎のエラーベクトルｖをｄ画素分並べたのがエラーベクトルＶである。このときのＢＭＡＰは（５）式に示されるように求められる。
【００７５】
【数６】
2007102315.tif 000008
【００７６】
【数７】
2007102315.tif 000009
【００７７】
なお、ここで、複数のｄ画素の画像ベクトルを考え、画素の相関を考慮することも可能であるが、ここでは説明を簡単にするため、画素ｘについて、複数画素の相関は考慮しない場合について説明を行う。
【００７８】
（３）式に示したように、画像ベクトルｙ（ｘ）は、照明行列Ｓの転置行列ＳＴと法線アルベドベクトルｂ（ｘ）との積に、エラーベクトルｖ（ｘ）の値を足したものである。また、画素毎の輝度ベクトルｉをＪ画素分並べたのが画像ベクトルｙ（ｘ）であり、画素毎の法線アルベドベクトルｂＩ（ｘ）をＪ分並べたのが法線アルベドベクトルｂ（ｘ）であり、画素毎のエラーベクトルｅ（ｘ）をＪ分並べたのがエラーベクトルｖ（ｘ）である。さらに、光源の方向と強さを示す（３×Ｊ）の照明条件ｓの行列が照明行列Ｓである。
【００７９】
また、入力画像の照明条件ｓに対する統計量である誤差の平均μｅ（ｓ）と分散σｅ（ｓ）は、既知の照明条件におけるブートストラップ画像集合の統計量からｋｅｒｎｅｌ  ｒｅｇｒｅｓｓｉｏｎによって補間される。具体的には、下記の式より算出される。
【００８０】
【数８】
2007102315.tif 000010
【００８１】
【数９】
2007102315.tif 000011
【００８２】
【数１０】
2007102315.tif 000012
【００８３】
【数１１】
2007102315.tif 000013
【００８４】
なお、ここで、前述の一枚の登録画像２０の照明強度比αを用いて、照明強度ｓを照明強度比αで除した値、すなわち、
【００８５】
【数１２】
2007102315.tif 000014
【００８６】
の値が１となるように、照明強度補正値βを決定する。
【００８７】
このように、本発明の第１の実施の形態における画像照合装置１の登録画像群作成部３の照明条件推定部４１は、一枚の登録画像２０から撮影時の照明条件ｓをその照明の強度を考慮して推定することができる。
【００８８】
前述した仮定の下で、登録画像２０についての法線アルベドベクトルＢＭＡＰ（ｘ）は、ＭＡＰ（Ｍａｘｉｍｕｍ  Ａ  Ｐｏｓｔｅｒｉｏｒｉ，最大事後確率）推定を用いて、（５）式のように推定することができる。
【００８９】
【数１３】
2007102315.tif 000015
【００９０】
なお、（５）式の導出は、以下のように行った。
【００９１】
まず、ガウス分布を、平均ベクトルμと共分散行列Ｃを用いてＮ（μ，Ｃ）と記述する。画像ベクトルＹを与えられたときの法線アルベドベクトルＢの条件付分布Ｐ（Ｂ｜Ｙ）、法線アルベドベクトルＢを与えられたときの画像ベクトルＹの条件付分布Ｐ（Ｙ｜Ｂ）、および、法線アルベドベクトルＢの分布Ｐ（Ｂ）は、それぞれ、
【００９２】
【数１４】
2007102315.tif 000016
【００９３】
と表される。
【００９４】
また、ベイズの定理に従って、下記関係を得ることができる。
【００９５】
【数１５】
2007102315.tif 000017
【００９６】
ここで、Ｇは以下に示されるようなスカラー量である。
【００９７】
【数１６】
2007102315.tif 000018
【００９８】
ここで、画像ベクトルＹを与えられたときの法線アルベドベクトルＢの条件付分布Ｐ（Ｂ｜Ｙ）を最大化する法線アルベドベクトルＢを導出するために、法線アルベドベクトルＢに関してスカラー量Ｇの微分をとり、これを０とする。
【００９９】
【数１７】
2007102315.tif 000019
【０１００】
これによって、法線アルベドベクトルＢのＭＡＰ推定は以下のように得られる。
【０１０１】
【数１８】
2007102315.tif 000020
【０１０２】
なお、登録画像群作成部３の法線情報推定部４２は、各ベクトルの統計モデルを作成する場合には、ブートストラップ画像のうち、ハイライトや影等の影響を除去するような、所定の閾値よりも輝度の大きな画素、および、所定の閾値よりも輝度の小さな画素を除去した画像集合から法線アルベドベクトルＢ（ｌ）を推定することが実用上望ましい。
【０１０３】
次に、登録画像群作成部３のエラー成分情報推定部４３は、法線情報推定部４２によって、上述した（５）式を用いることにより登録画像２０から法線アルベドベクトルＢＭＡＰ（ｘ）が推定された後、（６）式にもとづいて、登録画像２０の撮影時の照明条件におけるエラーベクトルＶＭＡＰ（ｘ）を推定する（Ｓ４）。
【０１０４】
【数１９】
2007102315.tif 000021
【０１０５】
【数２０】
2007102315.tif 000022
【０１０６】
【数２１】
2007102315.tif 000023
【０１０７】
ここで、各σの値は、例えば、（１）式の要領で、求めればよい。二つの照明ベクトルｓを連結させた連結照明ベクトルｔを用いて、新しい照明に対応するエラー成分の分散行列の要素ρを下記のように算出する。平均μＶｎｅｗとＲの要素の値も、平均μｅ（ｓ）と分散σｅ（ｓ）からｋｅｒｎｅｌ  ｒｅｇｒｅｓｓｉｏｎによって補間される。算出は、平均μｅ（ｓ）と分散σｅ（ｓ）を求めた際と同様な方法で行う。
【０１０８】
【数２２】
2007102315.tif 000024
【０１０９】
【数２３】
2007102315.tif 000025
【０１１０】
【数２４】
2007102315.tif 000026
【０１１１】
【数２５】
2007102315.tif 000027
【０１１２】
ここで、ＶＭＡＰの導出について説明する。
【０１１３】
まず、確率ベクトルｘとｙがそれぞれｊｏｉｎｔｌｙ  Ｇａｕｓｓｉａｎ  ｄｉｓｔｒｉｂｕｔｉｏｎに従うと仮定するならば、
【０１１４】
【数２６】
2007102315.tif 000028
【０１１５】
と記述される。ｙが与えられる場合のｘの条件付分布Ｐ（ｘ｜ｙ）は次のように記述される。
【０１１６】
【数２７】
2007102315.tif 000029
【０１１７】
ここで、ｍ＝μｘ＋ＲｘｙＲｙｙ−１（ｙ−μｙ）であり、
Ｃｍ＝Ｒ−ＲｘｙＲｙｙ−１Ｒｙｘである。
【０１１８】
異なる照明条件間の誤差項をｊｏｉｎｔｌｙ  Ｇａｕｓｓｉａｎ  ｄｉｓｔｒｉｂｕｔｉｏｎとしてモデル化しているため、
【０１１９】
【数２８】
2007102315.tif 000030
【０１２０】
と表される。
【０１２１】
エラー項Ｖ（ｓｎｅｗ）は、Ｖ（ｓ）が与えられた場合に、ガウス分布として、
【０１２２】
【数２９】
2007102315.tif 000031
【０１２３】
と表される。ここで、
【０１２４】
【数３０】
2007102315.tif 000032
【０１２５】
となり、ＶＭＡＰが導出される。
【０１２６】
ここまでで、被写体の登録画像２０を用いた登録画像群３０（図５）を作成するための前処理は終了する。
【０１２７】
次に、登録画像群作成部３のエラー成分情報推定部４３は、さらに、別途照明条件入力部４４から入力された（Ｓ５）複数の照明条件に対応するエラー成分ＶＭＡＰの推定を行って画像合成部４５に出力し、画像合成部４５は、エラー成分情報推定部４３から出力されたエラー成分の値と法線情報推定部４２で推定された被写体の法線情報とから、登録画像を合成し、出力する（Ｓ６、Ｓ７）。
【０１２８】
ステップＳ５において照明条件入力部４４から入力される照明条件の一例としては、例えば顔の正面方向を（左右の角度：０°、上下の角度：０°）と置いたときに、左右上下ともに２０°間隔に６０°までの角度を取ることができる。この場合、−６０°、−４０°、−２０°、０°、２０°、４０°、６０°の７種類の角度があり、上下左右合わせて７×７の４９通りの照明角度ができる。なお、角度は等間隔である必要はなく、使用目的や用途に合わせて適宜効果のある角度を選択すればよい。また、照明条件入力部４４には、あらかじめ複数の照明条件が記憶されていてもよいし、ユーザによって所望の照明条件が入力される構成であってもよい。
【０１２９】
そして、これらの互いに異なる所定の照明角度それぞれに対応して、エラー成分情報推定部４３はエラー成分ＶＭＡＰを推定し（Ｓ６）、さらに、画像合成部４５は、法線アルベドベクトルＢＭＡＰおよび照明条件ＬＮＥＷが既知であるので、（７）式を用いて画素毎の輝度値ＹＮＥＷを算出し、画像を合成することにより、被写体の複数の登録画像群３０を得ることができる（Ｓ７）。
【０１３０】
【数３１】
2007102315.tif 000033
【０１３１】
そして、（７）式に示した処理を、あらかじめ定められた複数の照明角度それぞれについて繰り返し行うことによって（Ｓ８）、登録画像群３０を作成することができる。
【０１３２】
図５は本発明の第１の実施の形態における登録画像群３０の一例を概念的に示す図である。図５に示したように、本発明の第１の実施の形態の画像照合装置１の登録画像群作成部３によれば、様々な陰影を有する登録画像群３０を作成することが可能である。
【０１３３】
再び図１に戻って、本発明の第１の実施の形態の画像照合装置１において、登録画像群作成部３で作成された登録画像群３０は、登録画像群記憶部４に記憶される。ここまでで、本発明の第１の実施の形態の画像照合装置１における照合処理の準備が完了する。
【０１３４】
図１に示したように、本発明の第１の実施の形態の画像照合装置１において、被認証者の比較画像２５（図６）が比較画像入力部５から入力された場合には、比較画像２５は比較画像入力部５から比較照合部８に送られ、比較照合部８において、比較画像２５と登録画像群３０との比較照合処理がなされ、その結果が出力部９から出力される。図６に、本発明の第１の実施の形態における比較画像２５の一例を概念的に示す。例えば、図６に示した照合すべき比較画像２５が入力された場合には、登録画像群３０のうち、同一の被写体を類似した照明条件で撮影した登録画像２６のうちの一つの画像と類似し、比較画像２５の被写体はあらかじめ登録された者と一致すると認証される。このとき、登録画像２６に、対応する登録された者のＩＤ情報等が付与されていれば、そのＩＤ情報から、比較画像２５のＩＤ情報も認証結果とともに出力部９より出力される。なお、被認証者に対して確認を促す意味では、比較画像２５と類似すると判定された登録画像２６も出力部９から被認証者に対して出力することが望ましい。
【０１３５】
以上述べたように、本発明の第１の実施の形態における画像照合装置１によれば、その照明条件推定部４１における照明条件推定処理、および、エラー成分情報推定部４３におけるエラー成分情報推定処理のそれぞれの処理において、その照明条件として、照明強度を考慮しているので、より実際に合致した登録画像群を得ることができる。
【０１３６】
なお、本発明の第１の実施の形態においては、登録画像群作成部３を、画像照合装置１の機能ブロックであるとして説明を行ったが、登録画像群作成部３を他の機能ブロックから独立させて、画像合成装置とすることも可能である。これにより、画像照合装置における、登録画像群として記憶されるべき画像群を作成するのに適した画像合成装置を提供することができる。
【０１３７】
（第２の実施の形態）
次に、本発明の第２の実施の形態における画像照合装置４０について説明する。図７は本発明の第２の実施の形態における画像照合装置４０の構成を示すブロック図である。
【０１３８】
図７に示したように、本発明の第２の実施の形態における画像照合装置４０は、前述の第１の実施の形態における画像照合装置１と比較して、比較画像入力部５から入力された比較画像２５から、その照明方向および強度等の照明条件を推定する照明条件推定部６と、照明条件推定部６で推定された照明条件の情報を登録画像群記憶部４に送るとともに、登録画像群記憶部４に記憶された登録画像群３０から前述の比較画像２５の照明条件に適合した照明条件に対応する登録画像２６を検索、抽出して、比較照合部８に出力する情報検索部７を備えている。
【０１３９】
他の構成要件、すなわち、登録画像入力部２、登録画像群作成部３、登録画像群記憶部４、比較画像入力部５、比較照合部８および出力部９のそれぞれの機能に関しては、第１の実施の形態における画像照合装置１における各構成要素の機能と同様であるので、その説明を省略する。
【０１４０】
照明条件推定部６における照明条件の推定は、第１の実施の形態における画像照合装置１の登録画像群作成部３の照明条件推定部４１による照明条件の推定方法（図３におけるステップＳ２と同様の方法）を用いることができる。
【０１４１】
また、本発明の第２の実施の形態における登録画像群作成部３は、登録画像群３０を作成する際に、登録画像群３０それぞれのメタ情報として、照明方向や強度等の照明条件に関する情報を付与して登録画像群記憶部４に記憶しておく構成であってもよい。このような構成によれば、本発明の第２の実施の形態における画像照合装置４０の情報検索部７は、登録画像群記憶部４に記憶された登録画像群３０に付与されたメタ情報を手掛かりとして、比較照合部８に送るべき登録画像の検索を行うことが可能である。
【０１４２】
このような構成とすることにより、本発明の第２の実施の形態の画像照合装置４０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、比較画像２５から照明条件推定部６によってその照明条件を推定し、登録画像群記憶部４に記憶された登録画像群３０から、照明条件推定部６によって推定された照明条件に対応する登録画像２６を検索して、比較照合部８に送ることができる。例えば、第１の実施の形態で説明したような比較画像２５が入力された場合には、その照明条件に対応する登録画像２６が、登録画像群記憶部４から情報検索部７によって比較照合部８に送られる。
【０１４３】
よって、比較照合部８における比較照合処理を行う回数を減少させることができ、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。
【０１４４】
（第３の実施の形態）
次に、本発明の第３の実施の形態における画像照合装置５０について説明する。図８は本発明の第３の実施の形態における画像照合装置５０の構成を示すブロック図である。
【０１４５】
図８に示したように、本発明の第３の実施の形態における画像照合装置５０は、前述の第１の実施の形態における画像照合装置１と比較して、比較画像入力部５から入力された比較画像２５からその特徴量を算出する特徴量算出部３２、および、登録画像群作成部３で作成された登録画像２６から、それぞれの登録画像２６の特徴量を算出する特徴量算出部３１を備えた点が異なる。
【０１４６】
ここで、特徴量算出部３１および特徴量算出部３２における画像からの特徴量算出方法としては、顔の特徴を表すポイントに、グラフと呼ばれるパターンを配置し、正確な顔の特徴点を見つけ、そのポイント毎の特徴量を登録データと比較、照合するグラフマッチング法や、変換対象からウェーブレット波形を利用し、その波形が持つ特徴（周波数成分等）のみを取り出す、信号解析や画像圧縮に用いられる手法であるガボールウェーブレット変換等を用いることが可能であるが、本発明はこれらの特徴点の算出方法になんら限定されるものではない。
【０１４７】
また、本発明の第３の実施の形態における画像照合装置５０は、第１の実施の形態における画像照合装置１の登録画像群記憶部４の代わりに、登録画像群３０から特徴量算出部３１によって算出された特徴量を記憶する特徴量記憶部３４を備えている。
【０１４８】
さらに、本発明の第３の実施の形態における画像照合装置５０は、第１の実施の形態における画像照合装置１の比較照合部８の代わりに、比較画像２５から特徴量算出部３２で算出された特徴量と特徴量記憶部３４に記憶された登録画像群３０の特徴量とを比較照合する比較照合部３３を備えている。
【０１４９】
他の構成要件、すなわち、登録画像入力部２、登録画像群作成部３、比較画像入力部５および出力部９のそれぞれの機能に関しては、第１の実施の形態における画像照合装置１における各構成要素の機能と同様であるので、その説明を省略する。
【０１５０】
このような構成とすることにより、本発明の第３の実施の形態の画像照合装置５０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、特徴量記憶部３４には、特徴量算出部３１によって算出された特徴量のデータが記憶されているので、登録画像群記憶部４の画像情報そのものを記憶する構成と比較して、必要な記憶容量が少なくて済むので、装置全体の小型化や低コスト化を図ることができる。
【０１５１】
さらに、本発明の第３の実施の形態における画像照合装置５０によれば、第１の実施の形態における画像照合装置１が奏する効果に加えて、さらに、比較照合部３３が、特徴量記憶部３４および特徴量算出部３２からそれぞれ出力された特徴量を用いて比較照合を行うので、画像全体のマッチングを行う構成と比較して、比較照合部３３での演算処理が小規模で済み、ＣＰＵ等に対する演算負荷を軽減することのできる、小型の装置に最適な構成を実現できる。
【０１５２】
なお、本発明の実施の形態においては、被写体として人物の顔を用いた場合を例として説明を行ったが、本発明の画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法は、この用途に限定されず、被写体として一般の立体を有する物体を被写体としても用いることができることはいうまでもない。
【産業上の利用可能性】
【０１５３】
以上述べたように、本発明によれば、現実に合致した登録画像群を得ることができるという格別な効果を奏することができるので、入力された二次元画像とあらかじめ記録された二次元画像とを比較照合する画像照合装置、特に画像照合に用いる登録画像群を作成する画像合成装置およびそれを用いた画像照合装置ならびに画像合成方法等として有用である。
【図面の簡単な説明】
【０１５４】
【図１】本発明の第１の実施の形態における画像照合装置の構成を示すブロック図
【図２】本発明の第１の実施の形態における画像照合装置の登録画像群作成部の機能ブロック図
【図３】本発明の第１の実施の形態における画像照合装置の登録画像群作成部の動作ステップを示すフローチャート
【図４】本発明の第１の実施の形態における登録画像の一例を概念的に示す図
【図５】本発明の第１の実施の形態における登録画像群の一例を概念的に示す図
【図６】本発明の第１の実施の形態における比較画像の一例を概念的に示す図
【図７】本発明の第２の実施の形態における画像照合装置の構成を示すブロック図
【図８】本発明の第３の実施の形態における画像照合装置の構成を示すブロック図
【符号の説明】
【０１５５】
１，４０，５０    画像照合装置
２    登録画像入力部
３    登録画像群作成部
４    登録画像群記憶部
５    比較画像入力部
６，４１    照明条件推定部
７    情報検索部
８，３３    比較照合部
９    出力部
２０，２６    登録画像
２５    比較画像
３０    登録画像群
３１，３２    特徴量算出部
３４    特徴量記憶部
４２    法線情報推定部
４３    エラー成分情報推定部
４４    照明条件入力部
４５    画像合成部
５１    照明方向推定部
５２    照明強度推定部
５３    参照情報入力部
【図１】
2007102315.tif 000034
【図２】
2007102315.tif 000035
【図３】
2007102315.tif 000036
【図４】
2007102315.tif 000037
【図５】
2007102315.tif 000038
【図６】
2007102315.tif 000039
【図７】
2007102315.tif 000040
【図８】
2007102315.tif 000041