(57)【特許請求の範囲】
【請求項１】
画像の認識を行う画像認識装置において、
複数の物体の３次元形状の測定結果に基づいて予め生成された、所定位置と物体の表面との距離値を画素値とする複数の距離画像を記憶する手段と、
物体の撮影画像を入力する入力手段と、
前記距離画像から取得された物体の表面の形状を表す物体表面形状モデルの３次元形状パラメータと、照明方向パラメータと、をそれぞれ変化させた合成画像を生成し、入力画像との類似度が最も高い合成画像の３次元形状パラメータと照明方向パラメータとを選択する選択手段と、
前記選択手段により選択された合成画像の各画素の輝度値で、入力画像の対応する各画素の輝度値を割ることにより輝度補正を行う輝度補正手段と、
前記輝度補正された入力画像について所定の認識処理を行う手段と、
を備えることを特徴とする画像認識装置。
【請求項２】
陰影がない複数の画像の平均画像をさらに記憶し、
前記入力手段により入力された入力画像と前記平均画像との類似度を算出し、所定値より低い場合に、前記選択手段と前記輝度補正手段による各処理を行う、
ことを特徴とする請求項１に記載の画像認識装置。
【請求項３】
物体の撮影画像について陰影の除去を行う陰影除去装置であって、
複数の物体の３次元形状の測定結果に基づいて予め生成された、所定位置と物体の表面との距離値を画素値とする複数の距離画像を記憶する手段と、
物体の撮影画像を入力する入力手段と、
前記距離画像から取得された物体の表面の形状を表す物体表面形状モデルの３次元形状パラメータと、照明方向パラメータと、をそれぞれ変化させた合成画像を生成し、入力画像との類似度が最も高い合成画像の３次元形状パラメータと照明方向パラメータとを選択する選択手段と、
前記選択手段により選択された合成画像の各画素の輝度値で、入力画像の対応する各画素の輝度値を割ることにより輝度補正を行い、入力画像の陰影を除去する手段と、
を備えることを特徴とする陰影除去装置。
【請求項４】
物体の撮影画像について陰影の除去を行う陰影除去方法であって、
複数の物体の３次元形状の測定結果に基づいて、所定位置と物体の表面との距離値を画素値とする複数の距離画像を予め生成するステップと、
物体の撮影画像を入力するステップと、
前記距離画像から取得された物体の表面の形状を表す物体表面形状モデルの３次元形状パラメータと、照明方向パラメータと、をそれぞれ変化させた合成画像を生成し、入力画像との類似度が最も高い合成画像の３次元形状パラメータと照明方向パラメータとを選択する選択ステップと、
前記選択ステップにおいて選択された合成画像の各画素の輝度値で、入力画像の対応する各画素の輝度値を割ることにより輝度補正を行い、入力画像の陰影を除去するステップと、
を備えることを特徴とする陰影除去方法。
【請求項５】
コンピュータを、画像の認識を行う画像認識装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、
複数の物体の３次元形状の測定結果に基づいて予め生成された、所定位置と物体の表面との距離値を画素値とする複数の距離画像を記憶する手段、
物体の撮影画像を入力する入力手段、
前記距離画像から取得された物体の表面の形状を表す物体表面形状モデルの３次元形状パラメータと、照明方向パラメータと、をそれぞれ変化させた合成画像を生成し、入力画像との類似度が最も高い合成画像の３次元形状パラメータと照明方向パラメータとを選択する選択手段、
前記選択手段により選択された合成画像の各画素の輝度値で、入力画像の対応する各画素の輝度値を割ることにより輝度補正を行う輝度補正手段、
前記輝度補正された入力画像について所定の認識処理を行う手段、
として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、個人認証等に使用される画像認識装置、陰影除去装置及び陰影除去方法等に関する。
【０００２】
【従来の技術】
例えば個人認証の技術として、人間の生体特徴を用いて個人を特定するバイオメトリック個人認証技術が知られている。この個人認証技術の一つとして、顔の画像を用いて個人を認識する顔画像認識技術がある。
この顔画像認識技術を用いた認証処理では、カメラで人物の顔を撮影して顔画像を取得し、顔画像について位置、大きさの正規化等の所定の前処理を行った後、特徴抽出を行い、予め登録していた顔画像のパターンとのマッチングを行い、人物の特定を行う。
【０００３】
【発明が解決しようとする課題】
しかし、上記のような顔画像認識技術を用いた認証装置では、撮影時の照明の変化による認識性能の低下が大きな問題の一つとなっている。
この問題を解決するために、撮影時に顔に陰影が生じないように、強力な照明光を正面から当てたり、又は、カメラと人物を証明写真撮影機のようなボックスで覆うことにより、安定した照明のもとで撮影を行うようにした手法等がある。しかし、この場合、強力な照明機器やボックス等を用いるため、システム構成が大掛かりなものとなり、設置場所も限定されてしまう。
【０００４】
また、この場合、人物の顔の撮影画像だけでなく、一般的な物体の撮影画像の認識処理においても同様の問題が発生しうる。
【０００５】
本発明は、上述した事情に鑑みてなされたもので、撮影画像による物体の認識において、撮影時の照明の変化に対応可能な画像認識装置等を提供することを目的とする。
また、本発明は、撮影画像から物体を認識する物体認識装置に好適な、撮影画像における陰影を除去することができる陰影除去装置等を提供することを他の目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため、本発明の第１の観点に係る画像認識装置は、
画像の認識を行う画像認識装置において、
複数の物体の３次元形状の測定結果に基づいて予め生成された、所定位置と物体の表面との距離値を画素値とする複数の距離画像を記憶する手段と、
物体の撮影画像を入力する入力手段と、
前記距離画像から取得された物体の表面の形状を表す物体表面形状モデルの３次元形状パラメータと、照明方向パラメータと、をそれぞれ変化させた合成画像を生成し、入力画像との類似度が最も高い合成画像の３次元形状パラメータと照明方向パラメータとを選択する選択手段と、
前記選択手段により選択された合成画像の各画素の輝度値で、入力画像の対応する各画素の輝度値を割ることにより輝度補正を行う輝度補正手段と、
前記輝度補正された入力画像について所定の認識処理を行う手段と、
を備えることを特徴とする。
【０００７】
このような構成によれば、所定位置と人物の顔等の物体の表面との距離値を画素値とする複数の距離画像から生成された、物体の表面の形状を表すモデルを用いて、入力画像における物体の表面の３次元形状と照明の方向を推定し、それをもとに入力画像の輝度の補正を行って、陰影を除去することができる。これにより、照明の変化により陰影が生じた顔画像についても、その認識を可能とする。また、陰影を発生させないように特殊な装置を用いることなく、簡易なシステム構成で、各顔画像の認識を可能とする。
【０００８】
また、陰影がない複数の画像の平均画像をさらに記憶してもよく、
前記入力手段により入力された入力画像と前記平均画像との類似度を算出し、所定値より低い場合に、前記選択手段と前記輝度補正手段による各処理を行ってもよい。
【０００９】
また、本発明の第２の観点に係る陰影除去装置は、
物体の撮影画像について陰影の除去を行う陰影除去装置であって、
複数の物体の３次元形状の測定結果に基づいて予め生成された、所定位置と物体の表面との距離値を画素値とする複数の距離画像を記憶する手段と、
物体の撮影画像を入力する入力手段と、
前記距離画像から取得された物体の表面の形状を表す物体表面形状モデルの３次元形状パラメータと、照明方向パラメータと、をそれぞれ変化させた合成画像を生成し、入力画像との類似度が最も高い合成画像の３次元形状パラメータと照明方向パラメータとを選択する選択手段と、
前記選択手段により選択された合成画像の各画素の輝度値で、入力画像の対応する各画素の輝度値を割ることにより輝度補正を行い、入力画像の陰影を除去する手段と、
を備えることを特徴とする。
【００１０】
このような構成によれば、所定位置と人物の顔等の物体の表面との距離値を画素値とする複数の距離画像から生成された、物体の表面の形状を表すモデルを用いて、入力画像における物体の表面の３次元形状と照明の方向を推定し、それをもとに入力画像の輝度の補正を行って、陰影を除去することができる。
【００１１】
また、本発明の第３の観点に係る陰影除去方法は、
物体の撮影画像について陰影の除去を行う陰影除去方法であって、
複数の物体の３次元形状の測定結果に基づいて、所定位置と物体の表面との距離値を画素値とする複数の距離画像を予め生成するステップと、
物体の撮影画像を入力するステップと、
前記距離画像から取得された物体の表面の形状を表す物体表面形状モデルの３次元形状パラメータと、照明方向パラメータと、をそれぞれ変化させた合成画像を生成し、入力画像との類似度が最も高い合成画像の３次元形状パラメータと照明方向パラメータとを選択する選択ステップと、
前記選択ステップにおいて選択された合成画像の各画素の輝度値で、入力画像の対応する各画素の輝度値を割ることにより輝度補正を行い、入力画像の陰影を除去するステップと、
を備えることを特徴とする。
【００１２】
このような構成によれば、所定位置と人物の顔等の物体の表面との距離値を画素値とする複数の距離画像から生成された、物体の表面の形状を表すモデルを用いて、入力画像における物体の表面の３次元形状と照明の方向を推定し、それをもとに入力画像の輝度の補正を行って、陰影を除去することができる。
【００１３】
また、本発明の第４の観点に係る記録媒体は、
コンピュータを、画像の認識を行う画像認識装置として機能させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
該コンピュータを、
複数の物体の３次元形状の測定結果に基づいて予め生成された、所定位置と物体の表面との距離値を画素値とする複数の距離画像を記憶する手段、
物体の撮影画像を入力する入力手段、
前記距離画像から取得された物体の表面の形状を表す物体表面形状モデルの３次元形状パラメータと、照明方向パラメータと、をそれぞれ変化させた合成画像を生成し、入力画像との類似度が最も高い合成画像の３次元形状パラメータと照明方向パラメータとを選択する選択手段、
前記選択手段により選択された合成画像の各画素の輝度値で、入力画像の対応する各画素の輝度値を割ることにより輝度補正を行う輝度補正手段、
前記輝度補正された入力画像について所定の認識処理を行う手段、
として機能させるためのプログラムを記録する。
【００１４】
【発明の実施の形態】
以下、本発明の実施の形態に係る顔画像認識装置を図面を参照して説明する。
本発明の実施の形態に係る顔画像認識装置１は、図１に示すように、記憶部１１と、画像取込部１３と、陰影除去部１５と、認識部１７と、を備え、認識対象の人物の顔を撮影するためのカメラ２が接続されている。
【００１５】
記憶部１１は、予め例えば数百人程度の人物について、顔に陰が生じない状態で正面向きでカメラ撮影して得た顔画像と、撮影された顔画像の各画素について輝度を平均して得た平均画像（平均顔画像）と、を記憶する。
また、記憶部１１は、顔面距離画像、平均顔面距離画像等の情報を記憶する。これらの情報は、上記の数百人の人物について、予め、非接触３次元形状入力装置を用いて顔面の３次元形状の測定を行い、測定結果を所定のコンピュータに入力し、所定の計算処理を行って得た情報である。
【００１６】
顔面距離画像は、測定装置（３次元形状入力装置）と顔表面の距離値を画素値とする２次元画像への変換処理により生成された画像である。顔面距離画像は、各画素値により顔面の凹凸、すなわち、顔面形状を表現する。この顔面距離画像に、照明方向に関するパラメータ（照明方向パラメータ）を与えて画像合成することにより、任意の方向から照明を受けて陰影が生じた顔画像を合成できる。
【００１７】
また、平均顔面距離画像は、例えば、各顔面距離画像の画素値の平均値を算出して得た顔面距離画像の平均画像である。この平均顔面距離画像は、人間の平均的な顔面形状を表す。
【００１８】
また、上記の数百人分の顔面距離画像に対してそれぞれラスタ走査を行い、画像中の画素値を１次元配列とした画像ベクトルを取得する。そして、取得した数百人分の画像ベクトルについて主成分分析を行い、主成分分析の結果、寄与率の高い固有ベクトルを数個選択し、これを記憶部１１に記憶しておく。この選択された数個の固有ベクトルの線形結合によって、任意の人物の顔面距離画像を近似表現することができる。ここで、選択された固有ベクトルの数をｎ個とすると、人物の顔面形状は、固有ベクトルの結合係数（Ａ１、Ａ２、・・・、Ａｎ）によりそれぞれほぼ再現することができる。本システムでは、この固有ベクトルの結合係数（Ａ１、Ａ２、・・・、Ａｎ）をパラメータ（以下、３次元パラメータ）として用い、人物の顔面形状を構築するために使用する。
なお、上記の固有ベクトルの線形結合及び３次元パラメータで表現される顔面形状モデルは、主成分分析の対象となる顔面距離画像の数を十分に増やすことにより、統計的に、他の全ての人物にも適用可能となり、より一般的な人物の顔面形状モデルとすることができる。
【００１９】
また、顔面距離画像と顔画像については、例えば各人物の顔の両目の眼球の中心点を基準にして撮影を行う等して、顔の向き・サイズ等を統一する。
【００２０】
画像取込部１３は、カメラ２からの入力画像（顔画像）を取得し、記憶部１１に記憶されている平均顔画像との類似度を測定して、入力画像である顔画像の陰影の有無を判定する。具体的には、類似度が所定値より低ければ陰影が有ると判別し、類似度が所定値以上であれば陰影が無いと判別する。陰影が有ると判定した場合には、陰影除去部１５に陰影の除去を要求する。また、陰影が無いと判定した場合には、認識部１７に入力画像の認識を要求する。
【００２１】
陰影除去部１５は、画像取込部１３からの要求に応じて、入力画像における照明方向パラメータを大まかに求める。ここで照明パラメータとは、顔に対してどの方向から照明が当たっているかを示すものであり、所定の位置（例えば、顔の重心等）に原点を取り、Ｘ軸、Ｙ軸、Ｚ軸の各座標軸を設定した場合における、光源の位置の座標値（α、β、γ）である。陰影除去部１５は、記憶部１１に記憶されている平均顔面距離画像について、照明方向パラメータ（α、β、γ）を変化させ、陰が発生した顔画像を合成する。そして、各合成画像と入力画像との類似度を測り、最も類似度が高いときの照明方向パラメータ（α０、β０、γ０）を求める。
【００２２】
次に、陰影除去部１５は、先に求めた照明方向パラメータ（α０、β０、γ０）を基準として、照明方向パラメータ（α、β、γ）と、３次元形状パラメータ（Ａ１、Ａ２、・・・、Ａｎ）と、を少しずつ変化させて、それぞれの合成画像を生成する。そして、合成画像と入力画像との類似度を測り、最も類似度が高いときの最適照明方向パラメータ（α’、β’、γ’）と、最適３次元形状パラメータ（Ａ１’、Ａ２’、・・・、Ａｎ’）を求める。
【００２３】
次に、陰影除去部１５は、先に求めた最適照明方向パラメータ（α’、β’、γ’）と最適３次元形状パラメータ（Ａ１’、Ａ２’、・・・、Ａｎ’）を用いて、入力画像の輝度補正を行って、陰の除去を行う。具体的には、最適照明方向パラメータと最適３次元形状パラメータで合成される顔画像の各画素の輝度値で、入力画像の対応する画素の輝度値を割ることにより、入力画像を陰のない画像に補正する。陰影除去部１５は、陰を除去した入力画像についての認識を認識部１７に要求する。
【００２４】
認識部１７は、画像取込部１３からの入力画像又は陰影除去部１５により陰が除去された入力画像について、例えば公知の顔認識手法（例えば、固有顔法等）を用いて、入力画像について特徴抽出、マッチング等の所定の認識処理を行い、認識結果を出力する。なお、認識部１７への入力画像は陰が除去されているため、ここでの認識手法は、照明の影響に対応していない認識手法を用いることができる。
【００２５】
次に、本実施形態に係る顔画像認識装置１の動作について図２のフローチャートを参照して説明する。
まず、顔画像認識装置１に接続されているカメラ２で認証対象の人物の顔画像を撮影し、撮影画像が画像取込部１３に入力される（ステップＳ１）。
画像取込部１３は、入力画像について、記憶部１１に記憶されている平均顔画像との類似度を測定し（ステップＳ２）、測定結果に基づいて入力画像に陰が発生しているか否かを判別する（ステップＳ３）。例えば、測定された類似度が所定値より低い場合には、入力画像に陰が発生していると判別し、陰影除去部１５に陰影の除去を要求する。
【００２６】
陰影の除去の要求に応じて、陰影除去部１５は、入力画像の陰影を除去するための陰影除去処理を行う（ステップＳ４）。この陰影除去処理では、例えば図３に示すように、まず、平均顔面距離画像について、照明方向パラメータ（α、β、γ）を変化させて、各パラメータ値での合成画像を作成し（ステップＳ１１）、各合成画像と入力画像との類似度を測定し、類似度が最も高くなるときの照明方向パラメータ（α０、β０、γ０）を算出する（ステップＳ１２）。
【００２７】
次に、陰影除去部１５は、ステップＳ１２で求めた照明方向パラメータ（α０、β０、γ０）に基づいて、照明方向パラメータ（α、β、γ）と、３次元形状パラメータ（Ａ１、Ａ２、・・・、Ａｎ）と、を少しずつ変化させて、各パラメータ値における合成画像を生成し（ステップＳ１３）、合成画像と入力画像との類似度を測り、類似度が最も高くなる最適照明方向パラメータ（α’、β’、γ’）と、最適３次元形状パラメータ（Ａ１’、Ａ２’、・・・、Ａｎ’）を求める（ステップＳ１４）。
【００２８】
次に、陰影除去部１５は、最適照明方向パラメータ（α’、β’、γ’）と最適３次元形状パラメータ（Ａ１’、Ａ２’、・・・、Ａｎ’）で合成される顔画像の各画素の輝度値で、入力画像において対応する画素の輝度値を割ることにより、入力画像の陰影を除去し（ステップＳ１５）、入力画像の認識を認識部１７に要求してメインフローに戻る。
【００２９】
認識部１７は、陰影除去部１５からの認識要求に応じて、上記陰影除去処理によって陰影が除去された入力画像について、例えば固有顔法等の一般的な認識手法により、顔画像の認識を行って、例えば記憶部１１に登録されている顔画像から人物の特定等を行い（ステップＳ５）、認識結果を出力する（ステップＳ６）。
【００３０】
また、ステップＳ３において、入力画像と平均顔画像との類似度の測定値が所定値以上である場合、画像取込部１３は、入力画像に陰影が発生していないと判別し、そのまま認識部１７に入力画像の認識を要求する。
【００３１】
このようにして、人間の統計的な３次元モデルを構築し、認識対象の顔画像に陰影が生じている場合には、３次元モデルから顔面の３次元形状と照明の方向を推定し、それをもとに顔画像の輝度の補正を行って、画像の陰影を除去することができる。これにより、照明の変化により陰影が生じた顔画像についても、その認識を可能とする。また、陰影を発生させないように特殊な装置を用いることなく、簡易なシステム構成で、各顔画像の認識を可能とする。
【００３２】
また、顔の３次元形状の測定結果に基づいて生成された顔面距離画像から取得された３次元モデルを用いることにより、例えば複数の２次元画像から３次元モデルを推定し、その推定結果を用いてするような処理等と比して計算量が少ないため、高性能なコンピュータを用いる必要がなく、標準的なコンピュータで実現可能である。
【００３３】
また、大まかな照明方向パラメータを求めずに、直接又は他の間接的な手段を用いて最適３次元形状パラメータと最適照明方向パラメータを求めるようにしてもよい。
また、陰影の有無を判定せずに全ての入力画像を陰影除去処理の対象としてもよい。
【００３４】
また、顔画像認識装置１が、記憶部１１に記憶される各顔面距離画像、平均顔面距離画像、平均顔画像等のデータを生成し、記憶部１１に記憶するようにしてもよい。
なお、本装置で使用される画像は、濃淡を階調的に表すグレースケール画像でもよく、カラー画像等でもよい。
【００３５】
また、照明パラメータは、上記の座標値（α、β、γ）に限定されず、顔に対してどの方向から照明が当たっているかを示すものであればよく、その内容や表示形式は任意である。
【００３６】
また、３次元形状モデルは、顔面距離画像の各画素値を主成分分析して選択した固有ベクトルの線形結合に限定されず、顔面の形状を表しうる他のモデルを用いてもよい。
【００３７】
また、平均顔画像は、顔画像の平均画像に限定されず、他の方法により取得された標準的な顔画像を用いてもよい。例えば、複数の撮影画像から平均的な顔画像を選択し、それを平均顔画像として用いてもよい。
【００３８】
また、記憶部１１と画像取込部１３と陰影除去部１５を備え、陰影を除去した画像を認識装置に供給する陰影除去装置を実現してもよい。
【００３９】
なお、この発明のシステムは、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、コンピュータに上述の動作を実行するためのプログラムを格納した媒体（フロッピーディスク、ＣＤ−ＲＯＭ等）から該プログラムをインストールすることにより、上述の処理を実行する顔画像認識装置等を構成することができる。なお、上述の機能を、ＯＳが分担又はＯＳとアプリケーションの共同により実現する場合等には、ＯＳ以外の部分のみを媒体に格納してもよい。
【００４０】
なお、搬送波にプログラムを重畳し、通信ネットワークを介して配信することも可能である。例えば、通信ネットワークの掲示板（ＢＢＳ）に該プログラムを掲示し、これをネットワークを介して配信してもよい。
そして、このプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行させることにより、上述の処理を実行することができる。
【００４１】
【発明の効果】
以上説明したように、本発明によれば、所定位置から人物の顔等の物体の表面までの距離値を画素値とする複数の距離画像から生成された、物体の表面の形状を表すモデルを用いて、入力画像における物体の表面の３次元形状と照明の方向を推定し、それをもとに入力画像の輝度の補正を行って、陰影を除去することができる。これにより、照明の変化により陰影が生じた顔画像についても、その認識を可能とする。
【図面の簡単な説明】
【図１】本発明の実施形態に係る顔画像認識装置のシステム構成図である。
【図２】図１の顔画像認識装置の動作を説明するためのフローチャートである。
【図３】陰影除去処理を説明するためのフローチャートである。
【符号の説明】
１          顔画像認識装置
１１        記憶部
１３        画像取込部
１５        陰影除去部
１７        認識部
２          カメラ
【図１】
0004141090.tif 000002
【図２】
0004141090.tif 000003
【図３】
0004141090.tif 000004