(57)【要約】  画像認識システムの認識性能を向上させる照明モデルを生成するための画像を生成することができる画像処理装置を提供する。本発明の画像処理装置では、被写体を表す登録画像と、その被写体の３次元形状の各点と登録画像の画素とを対応付ける３次元形状データから、アルベドを均一として、任意の照明条件における画像を線形結合によって生成できるベクトル値を成分とする陰影基底ベクトル群を計算する。次に、陰影基底ベクトル群を用いて、登録画像における陰影を推定し、その陰影を含む画像である完全散乱成分画像を生成する。次に、完全散乱成分画像に基づいて、登録画像から鏡面反射成分を除いたハイライト除去画像を生成する。これにより、画像認識システムは、ハイライト除去画像から照明基底ベクトルを生成することによって、鏡面反射の影響を受けることなく高い精度で画像認証処理を実現できる照明基底ベクトルを得ることができる。
2010026983.tif 000002
【特許請求の範囲】
【請求項１】
被写体を表す登録画像と、その被写体の３次元形状の各点と前記登録画像の画素とを対応付ける３次元形状データから、アルベドを均一として、任意の照明条件における画像を線形結合によって生成できるベクトル値を成分とする陰影基底ベクトル群を計算する陰影基底計算部と、
前記陰影基底ベクトル群を用いて、前記登録画像における陰影を推定し、その陰影を含む画像である完全散乱成分画像を生成する完全散乱画像推定部と、
前記完全散乱成分画像に基づいて、前記登録画像から鏡面反射成分を除いたハイライト除去画像を生成するハイライト除去部と
を備える画像処理装置。
【請求項２】
前記ハイライト除去部は、画素毎に着目画素を設定したとき、前記登録画像の画素のうちの前記着目画素である対象画素の輝度値から前記完全散乱成分画像の画素のうちの前記対象画素に対応する対応画素の輝度値を減算した算出値が閾値以上である場合、前記対応画素の輝度値を前記着目画素の輝度値とし、前記算出値が前記閾値より小さい場合、前記対象画素の輝度値を前記着目画素の輝度値として、前記ハイライト除去画像を生成する
請求の範囲１に記載の画像処理装置。
【請求項３】
前記ハイライト除去画像から陰影を除去した陰影除去画像を生成する陰影除去部
を更に備える請求の範囲１又は２に記載の画像処理装置。
【請求項４】
前記陰影除去部は、画素毎に前記陰影基底ベクトル群のベクトル成分と、前記陰影基底ベクトル群に対応する係数との積を求め、前記積の和を計算し、前記ハイライト除去画像の画素の輝度値を前記和で除算した値を輝度値として、前記陰影除去画像を生成する
請求の範囲３に記載の画像処理装置。
【請求項５】
前記ハイライト除去画像の画素の輝度値をアルベドとして用いて、前記３次元形状データから、画素毎に前記登録画像の画素の輝度値をベクトル成分とする非鏡面反射照明基底ベクトルを計算する照明基底計算部
を更に備える請求の範囲１又は２に記載の画像処理装置。
【請求項６】
前記陰影除去画像の画素の輝度値をアルベドとして用いて、前記３次元形状データから、画素毎に前記登録画像の画素の輝度値をベクトル成分とする非鏡面反射照明基底ベクトルを計算する照明基底計算部
を更に備える請求の範囲３又は４に記載の画像処理装置。
【請求項７】
被写体を表す認識対象画像が与えられたとき、前記非鏡面反射照明基底ベクトルを用いて、前記登録画像と、前記認識対象画像とを照合して、前記認識対象画像が表す被写体が、前記登録画像が表す被写体に該当するか否かを判定する認識部
を更に備える請求の範囲５又は６に記載の画像処理装置。
【請求項８】
前記３次元形状データは、被写体の平均的形状を表す
請求の範囲１〜７のうちのいずれかに記載の画像処理装置。
【請求項９】
被写体を表す登録画像と、その被写体の３次元形状の各点と前記登録画像の画素とを対応付ける３次元形状データから、アルベドを均一として、任意の照明条件における画像を線形結合によって生成できるベクトル値を成分とするベクトル群である陰影基底ベクトル群を計算するステップと、
前記陰影基底ベクトル群を用いて、前記登録画像における陰影を推定し、その陰影を含む画像である完全散乱成分画像を生成するステップと、
前記完全散乱成分画像に基づいて、前記登録画像から鏡面反射成分を除いたハイライト除去画像を生成するステップと
備える画像処理方法。
【請求項１０】
前記ハイライト除去画像を生成するステップは、画素毎に着目画素を設定したとき、前記登録画像の画素のうちの前記着目画素である対象画素の輝度値から前記完全散乱成分画像の画素のうちの前記対象画素に対応する対応画素の輝度値を減算した算出値が閾値以上である場合、前記対応画素の輝度値を前記着目画素の輝度値とし、前記算出値が前記閾値より小さい場合、前記対象画素の輝度値を前記着目画素の輝度値として、前記ハイライト除去画像を生成する
請求の範囲９に記載の画像処理方法。
【請求項１１】
前記ハイライト除去画像から陰影を除去した陰影除去画像を生成するステップ
を更に備える請求の範囲９又は１０に記載の画像処理方法。
【請求項１２】
前記陰影除去画像を生成するステップは、画素毎に前記陰影基底ベクトル群のベクトル成分と、前記陰影基底ベクトル群に対応する係数との積を求め、前記積の和を計算し、前記ハイライト除去画像の画素の輝度値を前記和で除算した値を輝度値として、前記陰影除去画像を生成する
請求の範囲１１に記載の画像処理方法。
【請求項１３】
前記ハイライト除去画像の画素の輝度値をアルベドとして用いて、前記３次元形状データから、画素毎に前記登録画像の画素の輝度値をベクトル成分とする非鏡面反射照明基底ベクトルを計算するステップ
を更に備える請求の範囲９又は１０に記載の画像処理方法。
【請求項１４】
前記陰影除去画像の画素の輝度値をアルベドとして用いて、前記３次元形状データから、画素毎に前記登録画像の画素の輝度値をベクトル成分とする非鏡面反射照明基底ベクトルを計算するステップ
を更に備える請求の範囲１１又は１２に記載の画像処理方法。
【請求項１５】
被写体を表す認識対象画像が与えられたとき、前記非鏡面反射照明基底ベクトルを用いて、前記登録画像と、前記認識対象画像とを照合して、前記認識対象画像が表す被写体が、前記登録画像が表す被写体に該当するか否かを判定するステップ
を更に備える請求の範囲１３又は１４に記載の画像処理方法。
【請求項１６】
請求の範囲９〜１５のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させるコンピュータプログラムが格納され、前記コンピュータプログラムを前記コンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中に写っている物体の個体識別や、位置姿勢などの状態の認識を行う画像認識システムに適用される画像処理装置、画像処理方法、及び画像処理プログラムに関する。
【背景技術】
【０００２】
コンピュータによる顔画像認識に用いられる技術が種々提案されている。顔画像認識は、例えば、画像認識システムに適用される。画像認識システムは、画像中に写っている物体の個体識別や、位置姿勢などの状態の認識を行うものである。画像認識システムについては、一般的な技術であるため、その説明を省略する。【０００３】
例えば、非特許文献１には、向きや照明を変化させた場合の被写体の様々な画像を生成する技術が記載されている。非特許文献１に記載の技術では、被写体の３次元形状を計測し、向きや照明を変化させた場合の被写体の画像を合成する。【０００４】
また、非特許文献２には、通常の写真撮影と同等の手軽さで、高精度な３次元形状のデータを計測する技術が記載されている。【０００５】
また、人間の顔画像を高精度にレンダリングするための技術も種々提案されている。顔の写実的な画像を合成するためには、人間の顔の皮膚反射率の正確なモデルを要する。しかし、皮膚反射率は、例えば、年齢、人種、性別によって異なる。また、同一人物においても皮膚が温かいときと冷たいときや、乾燥しているときと湿っているときなどで皮膚反射率は変化するので、１日を通して変化している。特に、皮膚表面の鏡面反射成分は、これらの環境の影響によって大きく変化し、また、画像を撮影するカメラの視点（撮影方向）によっても大きく変化する。生物医学分野、化粧品分野、コンピュータビジョン分野などでは、人間の皮膚の反射率特性を反映したモデルが多く提案されている（例えば、特許文献１、非特許文献３参照）。このような技術の一例として、肌反射のモデルに解析的両指向性反射率分布関数（ＢＲＤＦ；Ｂｉｄｉｒｅｃｔｉｏｎａｌ  Ｒｅｆｌｅｃｔａｎｃｅ  Ｄｉｓｔｒｉｂｕｔｉｏｎ  Ｆｕｎｃｔｉｏｎ）を用いる技術がある。複雑なモデルであるほど、そのパラメタ数が多くなり、モデル生成のために多数の画像が必要となり、計算量も多くなる。【０００６】
ただし、顔画像により個人識別を行うことを目的とする場合には、必ずしも人間が見たときに現実感・質感が高いと感じるような緻密な陰影を再現できる必要はない。また、認識対象の画像がどのような環境で撮影されるのかについてや、そのときの被写体の状況については、予め知ることができないため、多数のパラメタを用いた緻密なモデルであっても、認識対象となる認識対象画像に適した画像を再現できない。これらの理由から、顔画像認識を目的とする場合、完全散乱モデル（Ｌａｍｂｅｒｔｉａｎモデル）を肌反射の代用とすることで十分とされてきた。完全散乱モデルは、カメラの視点や照明方向に依存しない反射率（アルベド）のみがパラメタである。アルベドを簡単な手段で計測することは難しいが、一様な照明を当てて撮影した陰影の少ない画像をアルベドの代用とすることができる。すなわち、一般的な証明写真のような均一な照明条件に近い環境での写真が、予め用意しておく登録画像として与えられれば、その登録画像をアルベドの代用とすることができる。このような近似を採用すれば、計測した３次元形状と登録画像を用いて多様な照明条件での顔画像を合成することができる。【０００７】
非特許文献４には、画像群を線形近似する照明基底ベクトルを計算し、高々９個程度の照明基底ベクトルを記憶しておくだけで、任意の姿勢や照明条件における陰影、キャストシャドウを再現する技術が記載されている。【０００８】
これらの技術によって、登録画像をアルベドの代用とすることにより、１枚の顔画像（登録画像）と３次元形状データがあれば、それらのデータから照明モデルを作成することができる。そして、その照明モデルから、任意の姿勢や照明条件での顔画像を再現し、また、その再現画像と、認識対象画像とを照合して、環境変動に頑強な個人識別システムを実現することができる。【０００９】
照明モデルは、種々の照明の配置に応じた影の入った画像を表している。例えば、複数の照明基底ベクトルにそれぞれ係数を乗じた結果の和によって、被写体に様々な方向から光を照射した場合の様々な陰影画像を表すことができる。この場合、各照明基底ベクトルに係数を乗じ、その和を計算するという計算式及びその個々の照明基底ベクトルが照明モデルに該当する。非特許文献４で説明されている照明基底ベクトルも、照明モデルに該当する。図１は、照明基底ベクトルを模式的に示している。例えば、登録画像及び被写体の３次元形状のデータから、照明基底ベクトルＧ０，Ｇ１，Ｇ２，・・・が得られたとする。なお、登録画像は、その個々の画素の輝度値を並べたベクトルとして表すことができる。また、照明基底ベクトルのベクトル成分も、それぞれ照明基底ベクトルに対応する画像の各画素の輝度値となる。被写体に様々な方向から光を照射したときの各種陰影画像は、この照明基底ベクトルに係数を乗じた結果の和（λ’・Ｇ０＋λ’’・Ｇ１＋・・・）と表すことができる。【００１０】
照明基底ベクトルの計算方法は、例えば、非特許文献５にも記載されている。【００１１】
また、３次元形状が計測できない場合や、必ずしも均一に調整した照明条件での顔画像が撮影できない場合にも、平均的な３次元形状を用いて、照明や姿勢が変化したときの画像を学習データとして生成し、認識性能を高める技術が非特許文献６に記載されている。【００１２】
また、３次元形状の各点と登録画像中の画素とを対応付ける処理が、非特許文献７に記載されている。【００１３】
また、非特許文献８には、一般逆行列について記載されている。【００１４】
コンピュータによる顔画像認識では、認識対象となる顔を撮影するときの顔の向きや照明の状態によって、撮影する顔画像が大きく変化するため、認識精度が低下してしまう。そのため、顔の向きは正面であることとし、照明が均一に当てられていて影がないようにするなどの条件のもとで顔画像を撮影した場合には、高精度に認識することができるが、任意の環境下で撮影された顔画像を用いて認識することは難しい。【００１５】
人間が顔画像を見て個人識別を行う場合には、個人の判別に有効な顔自体の特徴に基づく輝度変化（顔造作の輪郭などによる輝度変化）と、撮影環境（被写体に対するカメラの向き、照明の配置状況、被写体の内部状態など）によって生じる輝度変化（姿勢変化、陰影やハイライトなど）とを容易に見分けることができる。しかし、コンピュータは、顔の特徴に基づく輝度変化と、撮影環境に基づく輝度変化との区別を容易に行えず、後者の環境要因による輝度変化が、前者の輝度変化（各個人の特徴による輝度変化）と同程度であると、顔の認識を誤ってしまう要因となる。【００１６】
コンピュータに、個人の特徴に基づく輝度変化と撮影環境による輝度変化とを区別させ、前者を効果的に用いて顔画像を認識させるようにするためには、予め、種々の環境下での画像を集めて、機械学習の技術を用いて顔画像の判別基準を決定する方法が考えられる。しかし、輝度を変化させる環境要因は多岐に渡り、各環境下を網羅する全ての学習データを収集することは困難である。例えば、被写体となる顔に対するカメラの視線（向き）を変えて、様々の向きの顔を撮影するだけでなく、照明に関しても多数の照明機材を用意しておき、様々な照明状態で顔を撮影しなければならない。特に、顔認識を行う場合などのように、被写体が生物である場合には、大量の画像が必要となる。このように、様々な環境下での画像を網羅的に収集することは、高コストとなり、また被写体の負担が大きいため、困難であった。【００１７】
非特許文献１に記載の技術では、向きや照明を変化させた場合の被写体の様々な画像を生成することができるが、３次元モデルや照明モデルを高精度に、かつ、手軽に（すなわち、被写体に負担を与えず、低コストで）得られるようにする必要がある。３次元形状の計測については、非特許文献２に記載された技術により計測可能である。また、照明モデルとして、非特許文献４に記載された技術により照明基底ベクトル群を得ることができる。【００１８】
しかし、顔認証のために予め用意しておく登録画像に鏡面反射成分があると、その登録画像から生成される照明基底ベクトルにも鏡面反射成分が反映されてしまう。なお、鏡面反射とは、いわゆる「てかり」である。照明基底ベクトルにも鏡面反射成分が反映されると、その照明基底ベクトルから得られた陰影画像にも鏡面反射が現われ、登録画像と認識対象画像とを照合するときに、認識精度を低下させる要因となる。図２は、登録画像に鏡面反射成分が存在する場合の照明基底ベクトルの例を示している。登録画像に鏡面反射１００が存在していると、その登録画像から得られた照明基底ベクトルにも、鏡面反射成分１００ａ，１００ｂ，１００ｃなどが現われてしまう。すると、これらの照明基底ベクトルから計算した陰影画像にも、陰影のほかに鏡面反射が現われてしまう。鏡面反射成分は、被写体となる者の皮膚の状態や撮影場所の温度、湿度の影響によって変化するため、登録画像において鏡面反射成分を完全に抑えることは困難である。【００１９】
また、登録画像は、被写体にできるだけ均一に光を照射して、陰影が生じないようにして撮影するが、その場合であっても登録画像に陰影が生じてしまうことがある。【００２０】
鏡面反射成分や陰影が生じている登録画像から照明モデルを生成する場合、その照明モデルにも鏡面反射成分などが現われてしまい、登録画像と認識対象画像とを照合するときに認識精度を低下させてしまう。
【先行技術文献】
【特許文献】
【００２１】
【特許文献１】特開２００６−２７７７４８号公報
【非特許文献】
【００２２】
【非特許文献１】Ａｔｈｉｎｏｄｏｒｏｓ  Ｓ．Ｇｅｏｒｇｈｉａｄｅｓ，  Ｐｅｔｅｒ  Ｎ．Ｂｅｌｈｕｍｅｕｒ，  Ｄａｖｉｄ  Ｊ．Ｋｒｉｅｇｍａｎ，  “Ｆｒｏｍ  Ｆｅｗ  ｔｏ  Ｍａｎｙ:  Ｇｅｎｅｒａｔｉｖｅ  Ｍｏｄｅｌｓ  ｆｏｒ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｕｎｄｅｒ  Ｖａｒｉａｂｌｅ  Ｐｏｓｅ  ａｎｄ  Ｉｌｌｕｍｉｎａｔｉｏｎ”，  Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２０００．  Ｐｒｏｃｅｅｄｉｎｇｓ  Ｆｏｕｒｔｈ  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ，  ｐ．２７７−２８４，  ２０００年
【非特許文献２】Ｒｕｉ  Ｉｓｈｉｙａｍａ，  Ｓｈｉｚｕｏ  Ｓａｋａｍｏｔｏ，  Ｊｏｈｊｉ  Ｔａｊｉｍａ，  Ｔａｋａｙｕｋｉ  Ｏｋａｔａｎｉ，  Ｋｏｉｃｈｉｒｏ  Ｄｅｇｕｃｈｉ，  “Ａｂｓｏｌｕｔｅ  ｐｈａｓｅ  ｍｅａｓｕｒｅｍｅｎｔｓ  ｕｓｉｎｇ  ｇｅｏｍｅｔｒｉｃ  ｃｏｎｓｔｒａｉｎｔｓ  ｂｅｔｗｅｅｎ  ｍｕｌｔｉｐｌｅ  ｃａｍｅｒａｓ  ａｎｄ  ｐｒｏｊｅｃｔｏｒｓ”,  Ｏｐｔｉｃａｌ  Ｓｏｃｉｅｔｙ  ｏｆ  Ａｍｅｒｉｃａ，  ＡＰＰＬＩＥＤ  ＯＰＴＩＣＳ  Ｖｏｌ．４７，Ｎｏ．１７，  ２００７年６月
【非特許文献３】Ｐａｕｌ  Ｄｅｂｅｖｅｃ，  Ｔｉｍ  Ｈａｗｋｉｎｓ，  Ｃｈｒｉｓ  Ｔｃｈｏｕ，  Ｈａａｒｍ−Ｐｉｅｔｅｒ  Ｄｕｉｋｅｒ，  Ｗｅｓｔｌｅｙ  Ｓａｒｏｋｉｎ，  “Ａｃｑｕｉｒｉｎｇ  ｔｈｅ  Ｒｅｆｌｅｃｔａｎｃｅ  Ｆｉｅｌｄ  ｏｆ  ａ  Ｈｕｍａｎ  Ｆａｃｅ”,  Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ，  ＳＩＧＧＲＡＰＨ  ２０００  Ｐｒｏｃｅｅｄｉｎｇｓ，  ｐ．１４５−１５６，  ２０００年
【非特許文献４】Ｒｕｉ  Ｉｓｈｉｙａｍａ，  Ｍａｓａｈｉｋｏ  Ｈａｍａｎａｋａ，  Ｓｈｉｚｕｏ  Ｓａｋａｍｏｔｏ，  “Ａｎ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ  Ｃｏｎｓｔｒｕｃｔｅｄ  ｏｎ  ３−Ｄ  Ｓｕｒｆａｃｅ  ｆｏｒ  Ｒｏｂｕｓｔ  Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ａｇａｉｎｓｔ  Ｐｏｓｅ  ａｎｄ  Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｖａｒｉａｔｉｏｎｓ”,  ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＳＹＳＴＥＭＳ，ＭＡＮ，ＡＮＤ  ＣＹＢＥＲＮＥＴＩＣＳ−  ＰＡＲＴ  Ｃ：ＡＰＰＬＩＣＡＴＩＯＮＳ  ＡＮＤ  ＲＥＶＩＥＷＳ，  ＶＯＬ．３５，  ＮＯ．３，  ２００５年８月
【非特許文献５】Ｒｏｎｅｎ  Ｂａｓｒｉ，  Ｄａｖｉｄ  Ｗ．Ｊａｃｏｂｓ，  “Ｌａｍｂｅｒｔｉａｎ  Ｒｅｆｌｅｃｔａｎｃｅ  ａｎｄ  Ｌｉｎｅａｒ  Ｓｕｂｓｐａｃｅｓ”，  ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＰＡＴＴＥＲＮ  ＡＮＡＬＹＳＩＳ  ＡＮＤ  ＭＡＣＨＩＮＥ  ＩＮＴＥＬＬＩＧＥＮＣＥ，  ＶＯＬ．２５，  ＮＯ．２，  ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ，  ２００３年２月
【非特許文献６】今岡仁、佐藤敦、「判別分析と摂動画像を用いた顔照合アルゴリズム」、第４回情報科学技術フォーラム講演論文集、２００５年
【非特許文献７】Ｒｕｉ  Ｉｓｈｉｙａｍａ，  Ｓｈｉｚｕｏ  Ｓａｋａｍｏｔｏ，  “Ｆａｓｔ  ａｎｄ  Ａｃｃｕｒａｔｅ  Ｆａｃｉａｌ  Ｐｏｓｅ  Ｅｓｔｉｍａｔｉｏｎ  ｂｙ  Ａｌｉｇｎｉｎｇ  ａ  ３Ｄ  Ａｐｐｅａｒａｎｃｅ  Ｍｏｄｅｌ”,  Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  １７ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ（ＩＣＰＲ‘０４）,  ２００４年８月
【非特許文献８】金谷健一、「これなら分かる最適化数学」、共立出版、ｐ１２６−１３０
【発明の概要】
【００２３】
上述のように、鏡面反射成分や陰影が生じている登録画像から照明モデルを生成する場合、その照明モデルにも鏡面反射成分などが現われてしまい、登録画像と認識対象画像とを照合するときに認識精度を低下させてしまうという問題（課題）がある。従って、本発明の目的は、画像認識システムの認識性能を向上させる照明モデルを生成するための画像を生成することができる画像処理装置、画像処理方法、及び画像処理プログラムを提供することにある。
【００２４】
本発明の画像処理装置は、陰影基底計算部と、完全散乱画像推定部と、ハイライト除去部とを備えている。陰影基底計算部は、被写体を表す登録画像と、その被写体の３次元形状の各点と登録画像の画素とを対応付ける３次元形状データから、アルベドを均一として、任意の照明条件における画像を線形結合によって生成できるベクトル値を成分とする陰影基底ベクトル群を計算する。完全散乱画像推定部は、陰影基底ベクトル群を用いて、登録画像における陰影を推定し、その陰影を含む画像である完全散乱成分画像を生成する。ハイライト除去部は、完全散乱成分画像に基づいて、登録画像から鏡面反射成分を除いたハイライト除去画像を生成する。これにより、画像認識システムは、ハイライト除去画像から照明基底ベクトルを生成することによって、鏡面反射の影響を受けることなく高い精度で画像認証処理を実現できる照明基底ベクトルを得ることができる。
【図面の簡単な説明】
【００２５】
上記発明の目的、効果、特徴は、添付される図面と連携して実施の形態の記述から、より明らかになる。【００２６】
【図１】図１は、照明基底ベクトルを模式的に示している。
【図２】図２は、登録画像に鏡面反射成分が存在する場合の照明基底ベクトルの例を示している。
【図３】図３は、本発明の第１実施形態による画像処理装置の構成を示すブロック図である。
【図４】図４は、本発明の第１実施形態による画像処理装置の動作を示すフローチャートである。
【図５】図５は、登録画像及び３次元形状データを取得するシステムの構成を示している。
【図６Ａ】図６Ａは、照明基底ベクトルのベクトル成分を説明するための図であり、照明基底ベクトルを示している。
【図６Ｂ】図６Ｂは、照明基底ベクトルのベクトル成分を説明するための図であり、図６Ａの照明基底ベクトルに対応する画像を示している。
【図７】図７は、本発明の第２実施形態による画像処理装置の構成を示すブロック図である。
【図８】図８は、本発明の第２実施形態による画像処理装置の動作を示すフローチャートである。
【図９】図９は、本発明の第３実施形態による画像処理装置の構成を示すブロック図である。
【図１０】図１０は、本発明の第３実施形態による画像処理装置の動作を示すフローチャートである。
【図１１】図１１は、本発明の第４実施形態による画像処理装置の構成を示すブロック図である。
【図１２】図１２は、本発明の第４実施形態による画像処理装置の動作を示すフローチャートである。
【発明を実施するための形態】
【００２７】
顔画像認識で用いられる顔画像について、以下に示す仮定が一般的に成り立つ。第１に、各個人の識別に有効な、目、眉などの輪郭は、その周囲の肌の輝度値よりも暗く撮影される。第２に、そのような眼、眉などの輪郭領域の面積は、顔全体の面積のうちのわずかである。第３に、そのような輪郭に囲まれた部分以外の肌領域のアルベドはほぼ均一である。第４に、鏡面反射成分は、周囲の肌の輝度地よりも明るく、鏡面反射の生じている領域の面積は小さい。発明者は、この知見に基づいて、以下に示す発明をした。
【００２８】
以下に添付図面を参照して、本発明の実施形態による画像処理装置について詳細に説明する。
【００２９】
（第１実施形態）
図３は、本発明の第１実施形態による画像処理装置の構成を示すブロック図である。本発明の第１実施形態による画像処理装置は、照明モデルを生成するための登録画像から鏡面反射成分を除去した画像を生成する。その画像処理装置は、登録部１と、記憶部２と、陰影基底計算部３と、完全散乱画像推定部４と、ハイライト除去部５とを備えている。
【００３０】
登録部１は、被写体を表す登録画像と、その被写体の３次元形状の各点と登録画像の画素との対応付ける３次元形状データとが入力されると、その登録画像及び３次元形状データを記憶部２に格納する。登録画像は、陰影が少なくなるようにできるだけ均一に光が当てられて撮影された画像である。ここでは、被写体は人間であり、登録画像は、人間の顔を表しているものとする。登録画像は、画像認証に用いられ、予め用意される。３次元形状データは、登録画像が表す人間の顔（被写体の３次元形状）の各点の座標値を表し、予め用意される。
【００３１】
陰影基底計算部３は、記憶部２に格納された登録画像及び３次元形状データから、照明基底ベクトルを計算する。以下、このときの照明基底ベクトルを陰影基底ベクトルと記す。
【００３２】
完全散乱画像推定部４は、陰影基底ベクトルを用いて、登録画像における陰影を推定し、その陰影を含む画像を完全散乱成分画像として生成する。
【００３３】
ハイライト除去部５は、登録画像と完全散乱成分画像とを比較し、登録画像において鏡面反射を呈する鏡面反射領域を判定し、その鏡面反射領域の輝度値を、完全散乱成分画像において鏡面反射領域に対応する領域の輝度値に置き換える。この結果、登録画像の鏡面反射領域の輝度値が置き換えられ、鏡面反射成分を含まない画像が生成される。
【００３４】
登録部１、陰影基底計算部３、完全散乱画像推定部４、及びハイライト除去部５は、回路でもコンピュータプログラムでも実現可能である。例えば、ハードウェアである場合、登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５は回路又は装置である。例えば、ソフトウェアである場合、登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５はコンピュータプログラムである。この場合、本発明の第１実施形態による画像処理装置は、コンピュータであり、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）である実行部（図示しない）と、記録媒体である記憶部２と、を具備している。記憶部２には、コンピュータに実行させるためのコンピュータプログラム（画像処理プログラム）が格納されている。実行部は、コンピュータを起動させるときに記憶部２からコンピュータプログラムを読み取って実行する。
【００３５】
次に、動作について説明する。図４は、本発明の第１実施形態による画像処理装置の動作を示すフローチャートである。
【００３６】
登録部１に、均一に光を当てて撮影した顔の画像（登録画像）と、その顔の３次元形状データとが入力されると、登録部１は、その登録画像及び３次元形状データを記憶部２に格納する（ステップＳ１）。なお、３次元形状データは、登録画像の被写体の３次元形状を表しているが、登録画像の被写体の平均的形状を表してもよい。例えば、平均的な顔の形状を表す３次元形状データが入力されてもよい。
【００３７】
ステップＳ１で入力される登録画像及び３次元形状データについては、例えば、非特許文献２に記載された方法で取得してもよい。図５は、登録画像及び３次元形状データを取得するシステムの構成を示している。登録画像及び３次元形状データを計測するときに、プロジェクタ５２と、顔５０を撮影し、顔５０の３次元形状を計測するカメラ５１とを顔５０に向ける。できるだけ顔５０全体に均一に光を照射した状態で、カメラ５１は顔５０を撮影し、登録画像を生成する。また、プロジェクタ５２は、顔５０に対して縞模様を投射する。縞模様をなす真っすぐな線も、凹凸のある顔５０に投射されることで歪み、顔５０には歪んだ縞模様が映される。カメラ５１は、カメラ５１自身とは異なる方向から投射されて顔上で歪む縞模様を撮影し、縞模様の変形の程度と、カメラ５１とプロジェクタ５２と顔５０との３点の位置関係とに基づいて、顔の各点の座標値を計算する。そして、カメラ５１は、顔５０の各点と登録画像の画素とを対応付ける。カメラ５１が、顔５０の登録画像を生成し、全く同じ位置で顔５０の３次元形状データを計算するので、顔５０の各点と登録画像の画素とを対応付けることができる。なお、３次元形状の各点と登録画像中の画素との対応関係が定められた登録画像及び３次元形状データの生成方法は、上記の方法に限定されない。
【００３８】
また、登録画像の撮影と３次元計測データの計測とが別々に行われた場合、登録部１が、３次元形状の各点と登録画像中の画素との対応関係が定めて、登録画像及び３次元形状データを記憶部２に格納してもよい。この対応付け処理は、非特許文献７に記載された方法によって行ってもよい。例えば、登録部１は、３次元形状データに基づいて、その３次元形状データが示す３次元形状に対する視点を定めたときに、その視点から観察される画像を生成し、登録画像と比較する。登録部１は、この処理を繰り返して、観察される画像と登録画像との差が最小となるときの視点を定める。そして、登録部１は、その視点から観察される三次元形状の各点と、その各点に相当する登録画像の画素とを対応付ければよい。３次元計測データが被写体（顔）の平均的形状を表す３次元形状データである場合、上記の繰り返し処理において視点だけでなく、３次元計測データが示す形状も変更すればよい。そして、観察される画像と登録画像との差が最少となるときの視点及び３次元形状を定め、その視点から観察される三次元形状の各点と、その各点に相当する登録画像の画素とを対応付ければよい。なお、この方法は例示であり、他の方法で３次元形状の各点と登録画像中の画素との対応付け処理を行ってもよい。
【００３９】
次に、陰影基底計算部３は、登録画像と３次元形状データから、アベルドを１．０で均一として、任意の照明条件における画像を線形結合によって生成できるベクトル値を成分とする陰影基底ベクトル群を計算する（ステップＳ２）。陰影基底ベクトル群は、例えば、非特許文献５に記載された方法で計算すればよい。陰影基底ベクトルの数は任意であるが、非特許文献５に記載された方法で、９個の陰影基底ベクトルを陰影基底ベクトル群として計算してもよい。
【００４０】
ここで、照明基底ベクトルのベクトル成分について説明する。図６Ａ、６Ｂは、照明基底ベクトルのベクトル成分を説明するための図である。図６Ａは、照明基底ベクトルを示している。照明基底ベクトルのベクトル成分の数は、登録画像の画素数と同様である。そして、照明基底ベクトルのベクトル成分は、対応する画素の輝度値となる。よって、一つの照明基底ベクトルは、図６Ｂに示されるような画像（登録画像と同数の画素を有する画像）を表している。陰影基底ベクトルも照明基底ベクトルであるので、個々の陰影基底ベクトルも、登録画像と同数の画素を有する画像を表す。
【００４１】
ここでは、非特許文献５に記載された方法で、９種類の陰影基底ベクトル（陰影基底ベクトル群）を計算する場合を例にして説明する。各陰影基底ベクトルをＧ０〜Ｇ８とする。
【００４２】
陰影基底ベクトルの各ベクトル成分に対応する画像上の画素をｐｉとし、３次元形状データが示す３次元形状におけるｐｉに対応する点での法線ベクトルをｎｉとする。また、その法線ベクトルｎｉのベクトル成分を（ｘ，ｙ，ｚ）とする。すなわち、ｎｉ＝（ｘ，ｙ，ｚ）とする。この（ｘ，ｙ，ｚ）は、３次元形状における点の座標値ではなく、法線ベクトルである。
【００４３】
このとき、ｐｉに対応するベクトル成分をｂｎｍ（ｐｉ）と表すものとする。陰影基底計算部３は、各陰影基底ベクトルのベクトル成分を、以下に示す式（１）で計算する。
【００４４】
ｂｎｍ（ｐｉ）＝ρｉ・ｒｎｍ（ｎｉ）
式（１）
【００４５】
ただし、ρｉは、ｐｉにおけるアルベド（反射率）であり、ここでは、アルベドは均一に１．０であるものとする。
【００４６】
式（１）の左辺のｒｎｍ（ｎｉ）は、以下に示す式（２）で表される値であるが、この計算は、Ｇ０〜Ｇ８毎にそれぞれ異なる。
【００４７】
ｒｎｍ（ｎｉ）＝αｎ・Ｙｎｍ
式（２）
【００４８】
ここで、αｎは、以下に示す式（３）で示される値である。
【００４９】
2010026983.tif 000003
式（３）
【００５０】
ただし、添え字を伴わずに示した“ｎ”は、各陰影基底ベクトルの番号を意味する。例えば、０番目の陰影基底ベクトルを求める計算においては、α０＝（√（４π））・ｋ０を計算する。
【００５１】
また、ｋｎ（ｋ０〜ｋ８）は、以下に示す式（４）のように計算する。
【００５２】
2010026983.tif 000004
式（４）
【００５３】
ただし、式（４）において、「ｎは２以上の偶数」のときの式で、括弧書きで示した以下の部分は、ｎ個の中からｎ／２個をとる組み合わせの数を意味している。
【００５４】
2010026983.tif 000005
【００５５】
よって、各ｋｎの値は、以下のようになる。
【００５６】
ｋ０≒０．８８６２
ｋ１≒１．０２３３
ｋ２≒０．４９５４
ｋ４≒−０．１１０８
ｋ６≒０．０４９９
ｋ８≒−０．０２８５
ｋ３＝ｋ５＝ｋ７＝０
【００５７】
陰影基底計算部３は、陰影基底ベクトルＧｎを計算するときには、そのｎに応じたｋｎと、ｎとを用いて式（３）の計算によって、αｎを計算すればよい。
【００５８】
また、陰影基底計算部３は、式（２）におけるＹｎｍを、法線ベクトルｎｉのベクトル成分を用いて、以下に示す式（５）〜式（１３）のように計算する。
【００５９】
2010026983.tif 000006
式（５）
【００６０】
2010026983.tif 000007
式（６）
【００６１】
2010026983.tif 000008
式（７）
【００６２】
2010026983.tif 000009
式（８）
【００６３】
2010026983.tif 000010
式（９）
【００６４】
2010026983.tif 000011
式（１０）
【００６５】
2010026983.tif 000012
式（１１）
【００６６】
2010026983.tif 000013
式（１２）
【００６７】
2010026983.tif 000014
式（１３）
【００６８】
陰影基底計算部３は、３次元液状データから、各点の法線ベクトルを求め、その法線ベクトル成分を用いて、式（５）から式（１３）を用いて、９個の陰影基底ベクトルにおける各ベクトル成分を計算するためのＹｎｍを計算する。また、陰影基底計算部３は、各陰影基底ベクトル毎のｋｎを用いて、式（３）の計算を行い、Ｇ０〜Ｇ８に応じたαｎ（α０〜α８）を求める。陰影基底計算部３は、それぞれの陰影基底ベクトル毎に、αｎ・Ｙｎｍを計算し（式（２）参照）、更に、その結果にアルベドを乗じる計算を行う（式（１）参照）。ただし、ここでは、アルベドを１．０とする。この結果、各画素に対応するベクトル成分を含む９種類の陰影基底ベクトルＧ０〜Ｇ８が得られる。
【００６９】
このように、陰影基底計算部３は、陰影基底ベクトルのベクトル成分が示す画素に対応する３次元形状の点の法線ベクトルを用いて、複数の陰影基底ベクトル毎に予め定められた計算を行うことによって、個々の陰影基底ベクトルのベクトル成分毎に、計算結果（αｎ・Ｙｎｍ）を算出する。そして、その計算結果であるαｎ・Ｙｎｍに均一のアルベド（１．０）を乗算することによって９個の陰影基底ベクトルを計算する。
【００７０】
続いて、完全散乱画像推定部４は、陰影基底ベクトルを用いて、登録画像における陰影を推定し、その陰影を含む完全散乱成分画像を生成する（ステップＳ３）。以下、ステップＳ３の処理について具体的に説明する。
【００７１】
ある照明基底ベクトルが与えられた場合、個々の照明基底ベクトルに係数（ここではλａ，λｂ，λｃ，・・・とする。）を乗じ、その和として、陰影のついた画像を表すことができる。例えば、各照明基底ベクトルをＧａ、Ｇｂ，Ｇｃ，・・・とすると、陰影のついた画像は、Σ（λｉＧｉ）＝λａＧａ＋λｂＧｂ＋λｃＧｃ＋・・・と表される。
【００７２】
陰影基底ベクトルも照明基底ベクトルであるので、陰影基底ベクトルに乗じるそれぞれの係数λを計算することにより、登録画像における陰影を推定することができる。登録画像をＩｒｅｇとすると、陰影基底ベクトル群（本例では、Ｇ０〜Ｇ８）の線形結合によってＩｒｅｇを近似する際に、近似結果と登録画像との誤差が最小となる係数の組み合わせを最小二乗法によって求める。すなわち、以下のようなλｉを最小二乗法で求める。
【００７３】
λｉ＝ａｒｇｍｉｎ  ｜Ｉｒｅｇ−Σ（λｉＧｉ）｜
【００７４】
ただし、Ｉｒｅｇは、登録画像の各画素に対応するベクトル成分からなるベクトルであり、そのベクトル成分の値は、対応する画素（登録画像の画素）の輝度値である。この点は、図６Ａ、６Ｂに示すように、陰影基底ベクトルのベクトル成分が画像の画素に対応しているのと同様である。
【００７５】
完全散乱画像推定部４は、陰影基底ベクトルＧ０〜Ｇ８で登録画像における陰影を表すためのλ群を、具体的に以下の計算で求める。陰影基底ベクトルＧ０〜Ｇ８の係数となるλを順に、λ０〜λ８とする。すると、λ０Ｇ０＋λ１Ｇ１＋λ２Ｇ２＋・・・＋λ８Ｇ８という計算は、Ｇ・λｖと表される。ただし、Ｇは、Ｇ０〜Ｇ８をそれぞれ列ベクトルとして、Ｇ０からＧ８までを左側から順に並べた行列である。λｖは、λ０〜λ８をベクトル成分とする列ベクトルである。ＩｒｅｇをＧ・λｖで近似するので式（１４）が成り立てばよい。
【００７６】
Ｉｒｅｇ≒Ｇ・λｖ
式（１４）
【００７７】
完全散乱画像推定部４は、登録画像Ｉｒｅｇと近似結果（式（１４）の右辺）との差が最小となるようなλ群（すなわち、λｖ）を以下に示す式（１５）の計算によって、求める。
【００７８】
λｖ＝Ｇ−・Ｉｒｅｇ
式（１５）
【００７９】
Ｇ−は、一般逆行列である。完全散乱画像推定部４は、Ｇ−を以下に示す式（１６）の計算によって求めればよい。
【００８０】
Ｇ−＝（ＧＴ・Ｇ）−１ＧＴ      （Ｇの行数が列数よりも多い場合）
Ｇ−＝ＧＴ（Ｇ・ＧＴ）−１      （Ｇの列数が行数よりも多い場合）
式（１６）
【００８１】
なお、本例ではＧの列数は９であり、Ｇの行数は画素数と等しい。従って、Ｇの行数は列数よりも多いことが一般的であり、画素数が９よりも多ければ、式（１６）の前段の式であるＧ−＝（ＧＴ・Ｇ）−１ＧＴによって一般逆行列を計算すればよい。
【００８２】
ＧＴは、行列Ｇの転置行列である。
【００８３】
完全散乱画像推定部４は、式（１５）の計算により、λｖを求めた場合（すなわち、λ０〜λ８を求めた場合）、ステップＳ２で求めた各陰影基底ベクトルと、その係数とを用いて、完全散乱成分画像を求める。完全散乱成分画像をＩｅｓｔと記す。ただし、Ｉｅｓｔは、完全散乱成分画像の各画素に対応するベクトル成分からなるベクトルであり、そのベクトル成分の値は、対応する画素（完全散乱成分画像の画素）の輝度値である。完全散乱画像推定部４は、以下の式（１７）を用いて、Ｉｅｓｔを計算する。Ｉｅｓｔを計算することにより、ステップＳ３は終了する。
【００８４】
Ｉｅｓｔ＝Ｇ・λｖ
式（１７）
【００８５】
前述の第１から第４の仮定により、顔画像においてアルベドが均一な輪郭領域及び鏡面反射領域の面積は小さく、顔画像におけるそのような領域がＩｅｓｔの推定に与える影響は小さく、上記のような計算で完全散乱成分画像Ｉｅｓｔを推定することができる。この推定において、ロバスト推定などの技術を用いて目や眉などの輪郭や鏡面反射領域を異常値として除外することもできる。一例として、Ｍ推定、ＬＭｅｄＳ推定、ＲＡＮＳＡＣと呼ばれる手法を用いることもできる。ロバスト推定、Ｍ推定、ＬＭｅｄＳ推定、ＲＡＮＳＡＣについては、一般的な技術であるため、その説明を省略する。
【００８６】
ステップＳ３の後、ハイライト除去部５は、記憶部２に格納された登録画像Ｉｒｅｇと、ステップＳ３で計算された完全散乱成分画像Ｉｅｓｔとで、対応する画素同士の輝度値を比較する。そして、ハイライト除去部５は、対応する画素の輝度値の差（具体的には、登録画像Ｉｒｅｇの画素の輝度値から完全散乱成分画像Ｉｅｓｔの対応する画素の輝度値を減算した値）が閾値よりも大きい場合、その画素は鏡面反射領域の画像であると判定する。そして、ハイライト除去部５は、その画素については、完全散乱成分画像Ｉｅｓｔの画素の輝度値に置き換え、他の画素については登録画像Ｉｒｅｇの画素の輝度値をそのまま用いた画像を生成する（ステップＳ４）。この処理によって、登録画像に存在していた鏡面反射を除いた画像を得ることができる。ステップＳ４で得られる画像をハイライト除去画像Ｉｒｅｇ’と記す。
【００８７】
各画像Ｉｒｅｇ，Ｉｅｓｔ，Ｉｒｅｇ’の任意のｊ番目の画素の輝度値をＩｒｅｇ（ｊ），Ｉｅｓｔ（ｊ），Ｉｒｅｇ’（ｊ）と記すものとする。また、閾値をＴとすると、ハイライト除去部５は、ステップＳ４において、以下に示すようにハイライト除去画像における輝度値Ｉｒｅｇ’（ｊ）を定めればよい。すなわち、Ｉｒｅｇ（ｊ）−Ｉｅｓｔ（ｊ）＞Ｔが成立している場合、Ｉｒｅｇ’（ｊ）＝Ｉｅｓｔ（ｊ）と定め、Ｉｒｅｇ（ｊ）−Ｉｅｓｔ（ｊ）＞Ｔが成立していない場合、Ｉｒｅｇ’（ｊ）＝Ｉｒｅｇ（ｊ）と定めればよい。ハイライト除去部５は、このような輝度値の決定をそれぞれの画素毎に行う。閾値Ｔの値は、例えば０とすればよいが、他の値をＴとして用いてもよい。
【００８８】
なお、以下の説明においても、画像中の任意のｊ番目の画素の輝度を表す場合、上記のように括弧書きでｊを記して表す。
【００８９】
Ｉｅｓｔの推定誤差を考慮して閾値Ｔの値を大きくしたり、Ｉｒｅｇ（ｊ）−Ｉｅｓｔ（ｊ）が閾値Ｔの値に近い値である場合に登録画像Ｉｒｅｇと完全散乱成分画像Ｉｅｓｔとの輝度値の混合処理を行ったりしてもよい。混合処理を行うことで、疑似輪郭の発生などを防止することができる。なお、Ｉｒｅｇ（ｊ）−Ｉｅｓｔ（ｊ）が閾値Ｔの値に近い値であるか否かについては、例えば、閾値Ｔとは別の閾値（Ｔ’とする）を定めておき、｜Ｉｒｅｇ（ｊ）−Ｉｅｓｔ（ｊ）｜＜Ｔ’であれば、混合処理を行うこととすればよい。
【００９０】
また、ハイライト除去部５は、例えば、以下に示す式（１８）の混合処理計算を行うことでハイライト除去画像の輝度値Ｉｒｅｇ’（ｊ）を定めればよい。
【００９１】
2010026983.tif 000015
式（１８）
【００９２】
式（１８）におけるＩｍａｘは、Ｉｒｅｇ，Ｉｅｓｔの各画素の輝度値のうちの最大値である。また、式（１８）におけるγは、混合率を非線形に変えるための変数である。γの値は特に限定されず、所望の混合の程度により適宜定めればよい。また、式（１８）は混合処理計算の例示であり、混合処理によって輝度値を定める計算式は式（１８）に限定されず、ハイライト除去部５は、他の混合処理計算を行ってもよい。
【００９３】
以上のようにして求められたハイライト除去画像は、画像認識システムなどにおいて照明基底ベクトルを計算するために利用される。
【００９４】
本発明の第１実施形態による画像処理装置によれば、陰影基底計算部３は、被写体を表す登録画像と、その被写体の３次元形状の各点と登録画像の画素とを対応付ける３次元形状データから、アルベドを均一として、任意の照明条件における画像を線形結合によって生成できるベクトル値を成分とする陰影基底ベクトル群を計算する。完全散乱画像推定部４は、その陰影基底ベクトル群を用いて、登録画像における陰影を推定し、その陰影を含む完全散乱成分画像Ｉｅｓｔを生成する。そして、ハイライト除去部５は、画像認証処理で用いる照明基底ベクトルを生成するための画像として、完全散乱成分画像Ｉｅｓｔに基づいて、登録画像Ｉｒｅｇから鏡面反射成分を除いたハイライト除去画像Ｉｒｅｇ’を生成する。具体的には、画素毎に着目画素を設定したとき、登録画像Ｉｒｅｇの画素のうちの着目画素である対象画素の輝度値から完全散乱成分画像Ｉｅｓｔの画素のうちの対象画素に対応する対応画素の輝度値を減算した算出値が閾値以上である場合、対応画素の輝度値を着目画素の輝度値とし、算出値が閾値より小さい場合、対象画素の輝度値を着目画素の輝度値として、ハイライト除去画像Ｉｒｅｇ’を生成する。これにより、画像認識システムは、ハイライト除去画像Ｉｒｅｇ’から照明基底ベクトルを生成することによって、鏡面反射の影響を受けることなく高い精度で画像認証処理を実現できる照明基底ベクトルを得ることができる。
【００９５】
（第２実施形態）
図７は、本発明の第２実施形態による画像処理装置の構成を示すブロック図である。第２実施形態では、第１実施形態と同様の構成要素については、図３と同一の符号を付し、説明を省略する。本発明の第２実施形態による画像処理装置は、ハイライト除去画像から、更に、ハイライト除去画像に生じている陰影を除去する。その画像処理装置は、登録部１と、記憶部２と、陰影基底計算部３と、完全散乱画像推定部４と、ハイライト除去部５と、陰影除去部６とを備えている。
【００９６】
登録部１、記憶部２、陰影基底計算部３、完全散乱画像推定部４、及びハイライト除去部５の動作や機能は第１実施形態と同様である。陰影除去部６は、ハイライト除去画像に生じている陰影を除去する。ハイライト除去画像から更に陰影が除去された画像を、陰影除去画像と記す。
【００９７】
登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６は、回路でもコンピュータプログラムでも実現可能である。例えば、ハードウェアである場合、登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６は回路又は装置である。例えば、ソフトウェアである場合、登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６はコンピュータプログラムである。この場合、本発明の第２実施形態による画像処理装置は、コンピュータであり、ＣＰＵである実行部（図示しない）と、記録媒体である記憶部２と、を具備している。記憶部２には、コンピュータに実行させるためのコンピュータプログラム（画像処理プログラム）が格納されている。実行部は、コンピュータを起動させるときに記憶部２からコンピュータプログラムを読み取って実行する。
【００９８】
図８は、本発明の第２実施形態による画像処理装置の動作を示すフローチャートである。ステップＳ１〜Ｓ４の動作は第１実施形態と同様であり、説明を省略する。以下、ステップＳ４でハイライト除去画像が生成された後の動作を説明する。
【００９９】
ステップＳ４の後、陰影除去部６は、ハイライト除去画像Ｉｒｅｇ’から陰影を除去し、陰影除去画像を生成する（ステップＳ５）。ステップＳ５の処理について説明する。
【０１００】
式（１７）の右辺において、Ｇは、Ｇ０〜Ｇ８をそれぞれ列ベクトルとして、Ｇ０からＧ８までを左側から順に並べた行列であり、λｖは、λ０〜λ８とベクトル成分とする列ベクトルである。従って、式（１７）の右辺は、以下に示す式（１９）のように表すことができる。
【０１０１】
λ０・Ｇ０＋λ１・Ｇ１＋λ２・Ｇ２＋・・・＋λ８・Ｇ８
式（１９）
【０１０２】
式（１９）におけるλ０・Ｇ０をＩｂａｓｅと記す。また、λ１・Ｇ１＋λ２・Ｇ２＋・・・＋λ８・Ｇ８をＩｓｈａｄｅと記す。すると、式（１９）は、Ｉｂａｓｅ＋Ｉｓｈａｄｅと表すことができる。
【０１０３】
また、式（１９）における陰影基底Ｇ０は、均一照明条件で撮影された画像の輝度値に相当する。
【０１０４】
このとき、Ｉｒｅｇ’（ｊ）は、以下に示す式（２０）のように表すことができる。
【０１０５】
Ｉｒｅｇ’（ｊ）＝（Ｉｂａｓｅ（ｊ）＋Ｉｓｈａｄｅ（ｊ））＊Ａｌ
式（２０）
【０１０６】
Ａｌは、アルベドである。Ｉｒｅｇ’（ｊ），Ｉｂａｓｅ（ｊ），Ｉｓｈａｄｅ（ｊ）は、それぞれの画像における任意のｊ番目の画素の輝度である。
【０１０７】
陰影除去部６は、以下に示す式（２１）の計算を各画素毎に行って各画素の輝度値を計算することにより、陰影除去画像（Ｉｒｅｇ’’と記す。）を求めることができる。なお、Ｉｒｅｇ’’（ｊ）は、陰影除去画像Ｉｒｅｇ’’における任意のｊ番目の画素の輝度である。
【０１０８】
2010026983.tif 000016
式（２１）
【０１０９】
すなわち、陰影除去部６は、画素毎（換言すればｊ毎）に、陰影基底ベクトル（Ｇ０〜Ｇ８）のベクトル成分と、その陰影基底ベクトルに対応する係数（λ０〜λ８）との積を求め、各陰影基底ベクトル毎に求めたその積の和を計算する。この計算結果が、上記のＩｂａｓｅ（ｊ）＋Ｉｓｈａｄｅ（ｊ）である。そして、陰影除去部６は、ハイライト除去部５によって求められたハイライト除去画像の輝度値Ｉｒｅｇ’（ｊ）を上記のＩｂａｓｅ（ｊ）＋Ｉｓｈａｄｅ（ｊ）で除算する処理を、画素毎に行って、陰影除去画像の個々の画素の輝度値を定める。このように、個々の画素の輝度値を定めることで、陰影除去画像を生成する。
【０１１０】
あるいは、陰影除去部６は、上記のように、式（２１）の計算によって求めた値に対して、Ｉｂａｓｅ（ｊ）を乗算した結果を、陰影除去画像の個々の輝度値として定めてもよい。すなわち、以下に示す式（２２）の計算を、画素毎（すなわち、ｊ毎）に行って、個々の画素の輝度値を求めることで、陰影除去画像を生成してもよい。
【０１１１】
2010026983.tif 000017
式（２２）
【０１１２】
なお、Ｉｂａｓｅ（ｊ）は、１番目の陰影基底ベクトルＧ０におけるベクトル成分に、その陰影基底ベクトルＧ０に対応する係数λ０を乗じた結果である。
【０１１３】
以上のようにして求められた陰影除去画像では、画像認識システムなどにおいて照明基底ベクトルを計算するために利用される。
【０１１４】
登録部１に入力される登録画像Ｉｒｅｇは、できるだけ均一な照明条件で撮影された画像であるが、その場合であっても陰影が生じる場合がある。本発明の第２実施形態による画像処理装置によれば、まず、第１実施形態と同様に、登録画像から鏡面反射成分を除いたハイライト除去画像を得ることができる。次に、陰影除去部６は、このハイライト除去画像を用いて、画素毎に式（２１）の計算を行って輝度値を求めることで、ハイライト除去画像から陰影を除去した陰影除去画像を生成する。具体的には、陰影除去部６は、画素毎に陰影基底ベクトルのベクトル成分と、陰影基底ベクトルに対応する係数との積を求め、その積の和を計算し、ハイライト除去画像の画素の輝度値を上記の和で除算した値を輝度値として、陰影除去画像を生成する。従って、画像認識システムは、この陰影除去画像から照明基底ベクトルを生成することによって、鏡面反射だけでなく登録画像Ｉｒｅｇ中の陰影の影響も受けることなく高い精度で画像認証処理を実現できる照明基底ベクトルを得ることができる。
【０１１５】
（第３実施形態）
図９は、本発明の第３実施形態による画像処理装置の構成を示すブロック図である。第３実施形態では、第１実施形態、第２実施形態と同様の構成要素については、図３、図７と同一の符号を付し、説明を省略する。本発明の第３実施形態による画像処理装置は、登録画像Ｉｒｅｇから鏡面反射成分を除去した画像から、照明基底ベクトルを生成する。陰影基底計算部３が計算する陰影基底ベクトルも照明基底ベクトルであるが、鏡面反射成分が除去された画像から生成される照明基底ベクトルを非鏡面反射（鏡面反射のない、Ｓｐｅｃｕｌａｒｉｔｙ−ｆｒｅｅ）照明基底ベクトルと記し、陰影基底ベクトルと区別する。その画像処理装置は、登録部１と、記憶部２と、陰影基底計算部３と、完全散乱画像推定部４と、ハイライト除去部５と、陰影除去部６と、照明基底計算部７とを備えている。
【０１１６】
登録部１、記憶部２、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、及び陰影除去部６の動作や機能は、第２実施形態と同様である。照明基底計算部７は、登録画像から鏡面反射成分が除去された画像から照明基底ベクトル（非鏡面反射照明基底ベクトル）を生成する。
【０１１７】
登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６、照明基底計算部７は、回路でもコンピュータプログラムでも実現可能である。例えば、ハードウェアである場合、登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６、照明基底計算部７は回路又は装置である。例えば、ソフトウェアである場合、登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６、照明基底計算部７はコンピュータプログラムである。この場合、本発明の第３実施形態による画像処理装置は、コンピュータであり、ＣＰＵである実行部（図示しない）と、記録媒体である記憶部２と、を具備している。記憶部２には、コンピュータに実行させるためのコンピュータプログラム（画像処理プログラム）が格納されている。実行部は、コンピュータを起動させるときに記憶部２からコンピュータプログラムを読み取って実行する。
【０１１８】
図１０は、本発明の第３実施形態による画像処理装置の動作を示すフローチャートである。ステップＳ１〜Ｓ５の動作は第２実施形態と同様であり、説明を省略する。ここでは、登録画像から鏡面反射成分が除去された画像として、ステップＳ５で得られる陰影除去画像を用い、陰影除去画像から非鏡面反射基底ベクトルを生成する場合を例にして説明する。
【０１１９】
陰影除去部６によって陰影除去画像が生成されると、照明基底計算部７は、陰影除去画像の各画素の輝度値をアルベドの代用として、照明基底ベクトルを計算する（ステップＳ６）。この結果得られた照明基底ベクトルが、非鏡面反射基底ベクトルである。本実施の形態においても、陰影基底ベクトルと同様に９個の非鏡面反射基底ベクトルを生成する場合を例にして説明する。この９個の非鏡面反射基底ベクトルをＶ０〜Ｖ８と記す。
【０１２０】
この非鏡面反射基底ベクトルの生成処理は、式（１）におけるアルベドとして、陰影除去画像の各画素の輝度値を用いる。その他の点については、陰影基底ベクトルの計算処理と同様である。すなわち、照明基底計算部７は、３次元液状データから、各点の法線ベクトルを求め、その法線ベクトル成分を用いて、式（５）から式（１３）を用いて、９個の非鏡面反射基底ベクトルにおける各ベクトル成分を計算するためのＹｎｍを計算する。また、照明基底計算部７は、各非鏡面反射基底ベクトル毎のｋｎ（式（４）参照）を用いて、式（３）の計算を行い、Ｖ０〜Ｖ８に応じたαｎ（α０〜α８）を求める。そして、照明基底計算部７は、それぞれの非鏡面反射基底ベクトル毎に、αｎ・Ｙｎｍを計算する（式（２）参照）。そして、Ｖ０〜Ｖ８についてそれぞれ画素毎に求めたαｎ・Ｙｎｍに、陰影除去画像の対応する画素の輝度値をアルベドとして乗じることによって、各非鏡面反射基底ベクトルＶ０〜Ｖ８のそれぞれのベクトル成分の値を決定する。
【０１２１】
照明基底計算部７は、上記のように計算した非鏡面反射基底ベクトルを記憶部２に格納しておく。
【０１２２】
なお、それぞれの照明基底ベクトルについて画素毎に求めるαｎ・Ｙｎｍの値は、陰影基底ベクトルを計算するときにおけるαｎ・Ｙｎｍと同一である。よって、陰影基底計算部３が計算したαｎ・Ｙｎｍを用いて、Ｖ０〜Ｖ８を計算してもよい。
【０１２３】
また、以上の説明では、陰影除去画像を用いて非鏡面反射基底ベクトルを計算する場合を例にして説明したが、ステップＳ４で生成されたハイライト除去画像を用いて非鏡面反射基底ベクトルを計算してもよい。この場合、アルベドとして、ハイライト除去画像の画素の輝度値を用いればよい。すなわち、照明基底計算部７は、Ｖ０〜Ｖ８についてそれぞれ画素毎に求めたαｎ・Ｙｎｍに、ハイライト除去画像の対応する画素の輝度値をアルベドとして乗じることによって、各非鏡面反射基底ベクトルＶ０〜Ｖ８のそれぞれのベクトル成分の値を決定してもよい。この場合、画像処理装置は、陰影除去部６を備えている必要はなく、また、ステップＳ５の処理を行わなくてよい。
【０１２４】
本発明の第３実施形態による画像処理装置によれば、まず、第１実施形態と同様に、登録画像から鏡面反射成分を除いたハイライト除去画像を得ることができる。次に、照明基底計算部７は、ハイライト除去画像の画素の輝度値をアルベドとして用いて、３次元形状データから、画素毎に登録画像の画素の輝度値をベクトル成分とする非鏡面反射基底ベクトルを計算する。あるいは、まず、第１実施形態と同様に、登録画像から鏡面反射成分を除いたハイライト除去画像を得ることができる。次に、第２実施形態と同様に、ハイライト除去画像から陰影を除去した陰影除去画像を得ることができる。次に、照明基底計算部７は、陰影除去画像の画素の輝度値をアルベドとして用いて、３次元形状データから、画素毎に登録画像の画素の輝度値をベクトル成分とする非鏡面反射基底ベクトルを計算する。このように、本発明の第３実施形態による画像処理装置によれば、入力された登録画像から鏡面反射を除去した画像から照明基底ベクトルを生成するので、登録画像における鏡面反射の影響がない照明基底ベクトルを得ることができる。また、陰影除去画像を用いる場合には、鏡面反射だけでなく登録画像における陰影の影響もない照明基底ベクトルを得ることができる。
【０１２５】
（第４実施形態）
図１１は、本発明の第４実施形態による画像処理装置の構成を示すブロック図である。第４実施形態では、第１〜第３実施形態と同様の構成要素については、図３、図７、図９と同一の符号を付し、説明を省略する。本発明の第４実施形態による画像処理装置は、認識対象となる認識対象画像が入力されると、認識対象画像が表す被写体（顔）が、登録画像の表す者の顔に該当するか否かを判定する処理を行う。その画像処理装置は、登録部１と、記憶部２と、陰影基底計算部３と、完全散乱画像推定部４と、ハイライト除去部５と、陰影除去部６と、照明基底計算部７と、認識部８とを備えている。
【０１２６】
登録部１、記憶部２、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６、及び照明基底計算部７の動作や機能は、第３実施形態と同様である。認識部８は、認識対象画像が入力されると、照明基底計算部７が計算した非鏡面反射基底ベクトルを用いて、認識対象画像に対する認証を行う。すなわち、認識対象画像に写された顔が、非鏡面反射基底ベクトルを生成する元となった登録画像に表された者の顔に該当するか否かを判定する。
【０１２７】
登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６、照明基底計算部７、認識部８は、回路でもコンピュータプログラムでも実現可能である。例えば、ハードウェアである場合、登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６、照明基底計算部７、認識部８は回路又は装置である。例えば、ソフトウェアである場合、登録部１、陰影基底計算部３、完全散乱画像推定部４、ハイライト除去部５、陰影除去部６、照明基底計算部７、認識部８はコンピュータプログラムである。この場合、本発明の第４実施形態による画像処理装置は、コンピュータであり、ＣＰＵである実行部（図示しない）と、記録媒体である記憶部２と、を具備している。記憶部２には、コンピュータに実行させるためのコンピュータプログラム（画像処理プログラム）が格納されている。実行部は、コンピュータを起動させるときに記憶部２からコンピュータプログラムを読み取って実行する。
【０１２８】
図１２は、本発明の第４実施形態による画像処理装置の動作を示すフローチャートである。ステップＳ１〜ステップＳ６の動作は、第３実施形態と同様である。なお、第３実施形態で説明したように、ステップＳ５を行わずに、ハイライト除去画像から非鏡面反射基底ベクトルを計算してもよい。
【０１２９】
以下に示す例では、陰影基底ベクトルと同様に、９個の非鏡面反射基底ベクトルＶ０〜Ｖ８を計算したものとして説明する。
【０１３０】
照明基底計算部７が非鏡面反射基底ベクトルを計算した後、認証対象画像が入力されれば（ステップＳ７におけるＹｅｓ）、認識部８はステップＳ８に移行する。また、認証対象画像が入力されなければ（ステップＳ７におけるＮｏ）、入力されるまで待機する。
【０１３１】
ステップＳ８において、認識部８は、非鏡面反射基底ベクトルを用いて、認識対象画像に対する認証を行う。ステップＳ８の処理は、例えば、以下に示す方法によって行えばよい。
【０１３２】
非鏡面反射基底ベクトルＶ０〜Ｖ８の係数となるλを順に、λ１０〜λ１８とする。すると、λ１０Ｖ０＋λ１１Ｖ１＋λ１２Ｖ２＋・・・＋λ１８Ｖ８という計算は、Ｖ・λｖ’と表される。Ｖは、Ｖ０〜Ｖ８をそれぞれ列ベクトルとして、Ｖ０からＶ８まで左側から順に並べた行列である。λｖ’は、λ１０〜λ１８をベクトル成分とする列ベクトルである。
【０１３３】
非鏡面反射基底ベクトルを用いて、Ｖ・λｖ’で認証対象画像（Ｉｉｎと記す。）を近似する場合、以下の式（２３）が成り立てばよい。
【０１３４】
Ｉｉｎ≒Ｖ・λｖ’          式（２３）
【０１３５】
ここで、Ｉｉｎは、認証対象画像の各画素の輝度値をベクトル成分とする列ベクトルである。認識部８は、非鏡面反射基底ベクトルで認証対象画像を表すための係数群λｖ’（すなわち、λ１０〜λ１８）を、以下に示す式（２４）によって計算する。
【０１３６】
λｖ’＝Ｖ−・Ｉｉｎ          式（２４）
【０１３７】
Ｖ−は、行列Ｖの一般逆行列である。このようにして求めた係数群λｖ’（λ１０〜λ１８）と、非鏡面反射基底ベクトルＶ０〜Ｖ８とを用いて、認識部８は、Ｖ・λｖ’を計算することにより、認証対象画像の近似画像を求める。そして、認識部８は、その近似画像の輝度値と、実際に入力された認証対象画像の輝度値との差を計算する。そして、その差が、基準値以下であれば、認証対象画像が表す顔は、非鏡面反射基底ベクトルの元となった登録画像が表す顔に該当すると判定する。また、認証対象画像の近似画像の輝度値と、実際に入力された認証対象画像の輝度値との差が、基準値を超えている場合、認証対象画像が表す顔は、登録画像が表す顔に該当しないと判定する。
【０１３８】
また、認識部８は、認証対象画像に対する認識処理を他の方法で行ってもよい。例えば、非特許文献６に記載された方法によって、認証対象画像に対する画像認識を行ってもよい。この場合における画像認識処理について説明する。非特許文献６に記載された方法で画像認識を行う場合、認識部８は、非鏡面反射基底ベクトルは用いずに画像認識を行う。認識対象画像が入力されると、認識部８は、ハイライト除去部５が生成したハイライト除去画像と認識対象画像とを照合して、認識対象画像が表す顔が登録画像おける顔に該当するか否かを判定する。
【０１３９】
この場合、個人を１クラスとした多クラス判別分析における判別空間と、「標準人物」と呼ぶ平均的な顔を表す特徴ベクトルを予め定めておく。標準人物の特徴ベクトルは学習に用いる人物の特徴ベクトルの分布から求める。認識部８は、ハイライト除去画像における顔の大きさを正規化し、ハイライト除去画像の摂動画像を生成する。摂動画像は、撮影されている被写体（顔）の向きや被写体に光を照射する光源の位置をずらした画像である。認識部８は、多クラス判別分析により得られた判別空間に摂動画像を投影する。次に、認識部８は、標準人物との２クラス判別分析を行う。以上の処理を行うことによって、認識対象画像が表す顔が登録画像おける顔に該当するか否かを判定する。
【０１４０】
本発明の第４実施形態による画像処理装置によれば、まず、第１実施形態と同様に、登録画像から鏡面反射成分を除いたハイライト除去画像を得ることができる。次に、第３実施形態と同様に、ハイライト除去画像の画素の輝度値をアルベドとして用いて、３次元形状データから、画素毎に登録画像の画素の輝度値をベクトル成分とする非鏡面反射基底ベクトルを計算する。次に、認識部８は、被写体を表す認識対象画像が与えられたとき、非鏡面反射基底ベクトルを用いて、登録画像と、認識対象画像とを照合して、認識対象画像が表す被写体が、登録画像が表す被写体に該当するか否かを判定する。あるいは、まず、第１実施形態と同様に、登録画像から鏡面反射成分を除いたハイライト除去画像を得ることができる。次に、第２実施形態と同様に、ハイライト除去画像から陰影を除去した陰影除去画像を得ることができる。次に、第３実施形態と同様に、陰影除去画像の画素の輝度値をアルベドとして用いて、３次元形状データから、画素毎に登録画像の画素の輝度値をベクトル成分とする非鏡面反射基底ベクトルを計算する。次に、認識部８は、被写体を表す認識対象画像が与えられたとき、非鏡面反射基底ベクトルを用いて、登録画像と、認識対象画像とを照合して、認識対象画像が表す被写体が、登録画像が表す被写体に該当するか否かを判定する。このように、本発明の第４実施形態による画像処理装置によれば、登録画像から鏡面反射を除いた画像を用いて、照明基底ベクトル（非鏡面反射照明基底ベクトル）を生成し、その照明基底ベクトルを用いて、認証対象画像に対する画像認証を行う。よって、登録画像に生じていた鏡面反射の影響を受けずに、高い精度で画像認証を行うことができる。また、登録画像から鏡面反射を除いた画像として、ステップＳ５で生成される陰影除去画像を用い、陰影除去画像から照明基底ベクトルを生成する場合には、登録画像に生じていた陰影の影響も受けないで画像認証処理を行うことができる。
【０１４１】
以上、実施形態を参照して本発明を説明したが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【０１４２】
この出願は、２００８年９月３日に出願された特許出願番号２００８−２２６００２号の日本特許出願に基づいており、その出願による優先権の利益を主張し、その出願の開示は、引用することにより、そっくりそのままここに組み込まれている。
【図１】
2010026983.tif 000018
【図２】
2010026983.tif 000019
【図３】
2010026983.tif 000020
【図４】
2010026983.tif 000021
【図５】
2010026983.tif 000022
【図６Ａ】
2010026983.tif 000023
【図６Ｂ】
2010026983.tif 000024
【図７】
2010026983.tif 000025
【図８】
2010026983.tif 000026
【図９】
2010026983.tif 000027
【図１０】
2010026983.tif 000028
【図１１】
2010026983.tif 000029
【図１２】
2010026983.tif 000030
【手続補正書】
【提出日】平成23年5月18日(2011.5.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を表す登録画像と、その被写体の３次元形状の各点と前記登録画像の画素とを対応付ける３次元形状データから、アルベドを均一として、任意の照明条件における画像を線形結合によって生成できるベクトル値を成分とする陰影基底ベクトル群を計算する陰影基底計算部と、
前記陰影基底ベクトル群を用いて、前記登録画像における陰影を推定し、その陰影を含む画像である完全散乱成分画像を生成する完全散乱画像推定部と、
前記完全散乱成分画像に基づいて、前記登録画像から鏡面反射成分を除いたハイライト除去画像を生成するハイライト除去部と
を備える画像処理装置。
【請求項２】
前記ハイライト除去部は、画素毎に着目画素を設定したとき、前記登録画像の画素のうちの前記着目画素である対象画素の輝度値から前記完全散乱成分画像の画素のうちの前記対象画素に対応する対応画素の輝度値を減算した算出値が閾値以上である場合、前記対応画素の輝度値を前記着目画素の輝度値とし、前記算出値が前記閾値より小さい場合、前記対象画素の輝度値を前記着目画素の輝度値として、前記ハイライト除去画像を生成する
請求の範囲１に記載の画像処理装置。
【請求項３】
前記ハイライト除去画像から陰影を除去した陰影除去画像を生成する陰影除去部
を更に備える請求の範囲１又は２に記載の画像処理装置。
【請求項４】
前記陰影除去部は、画素毎に前記陰影基底ベクトル群のベクトル成分と、前記陰影基底ベクトル群に対応する係数との積を求め、前記積の和を計算し、前記ハイライト除去画像の画素の輝度値を前記和で除算した値を輝度値として、前記陰影除去画像を生成する
請求の範囲３に記載の画像処理装置。
【請求項５】
前記ハイライト除去画像の画素の輝度値をアルベドとして用いて、前記３次元形状データから、画素毎に前記登録画像の画素の輝度値をベクトル成分とする非鏡面反射照明基底ベクトルを計算する照明基底計算部
を更に備える請求の範囲１又は２に記載の画像処理装置。
【請求項６】
前記陰影除去画像の画素の輝度値をアルベドとして用いて、前記３次元形状データから、画素毎に前記登録画像の画素の輝度値をベクトル成分とする非鏡面反射照明基底ベクトルを計算する照明基底計算部
を更に備える請求の範囲３又は４に記載の画像処理装置。
【請求項７】
被写体を表す認識対象画像が与えられたとき、前記非鏡面反射照明基底ベクトルを用いて、前記登録画像と、前記認識対象画像とを照合して、前記認識対象画像が表す被写体が、前記登録画像が表す被写体に該当するか否かを判定する認識部
を更に備える請求の範囲５又は６に記載の画像処理装置。
【請求項８】
前記３次元形状データは、被写体の平均的形状を表す
請求の範囲１〜７のうちのいずれかに記載の画像処理装置。
【請求項９】
被写体を表す登録画像と、その被写体の３次元形状の各点と前記登録画像の画素とを対応付ける３次元形状データから、アルベドを均一として、任意の照明条件における画像を線形結合によって生成できるベクトル値を成分とするベクトル群である陰影基底ベクトル群を計算するステップと、
前記陰影基底ベクトル群を用いて、前記登録画像における陰影を推定し、その陰影を含む画像である完全散乱成分画像を生成するステップと、
前記完全散乱成分画像に基づいて、前記登録画像から鏡面反射成分を除いたハイライト除去画像を生成するステップと
備える画像処理方法。
【請求項１０】
前記ハイライト除去画像を生成するステップは、画素毎に着目画素を設定したとき、前記登録画像の画素のうちの前記着目画素である対象画素の輝度値から前記完全散乱成分画像の画素のうちの前記対象画素に対応する対応画素の輝度値を減算した算出値が閾値以上である場合、前記対応画素の輝度値を前記着目画素の輝度値とし、前記算出値が前記閾値より小さい場合、前記対象画素の輝度値を前記着目画素の輝度値として、前記ハイライト除去画像を生成する
請求の範囲９に記載の画像処理方法。
【請求項１１】
前記ハイライト除去画像から陰影を除去した陰影除去画像を生成するステップ
を更に備える請求の範囲９又は１０に記載の画像処理方法。
【請求項１２】
前記陰影除去画像を生成するステップは、画素毎に前記陰影基底ベクトル群のベクトル成分と、前記陰影基底ベクトル群に対応する係数との積を求め、前記積の和を計算し、前記ハイライト除去画像の画素の輝度値を前記和で除算した値を輝度値として、前記陰影除去画像を生成する
請求の範囲１１に記載の画像処理方法。
【請求項１３】
前記ハイライト除去画像の画素の輝度値をアルベドとして用いて、前記３次元形状データから、画素毎に前記登録画像の画素の輝度値をベクトル成分とする非鏡面反射照明基底ベクトルを計算するステップ
を更に備える請求の範囲９又は１０に記載の画像処理方法。
【請求項１４】
前記陰影除去画像の画素の輝度値をアルベドとして用いて、前記３次元形状データから、画素毎に前記登録画像の画素の輝度値をベクトル成分とする非鏡面反射照明基底ベクトルを計算するステップ
を更に備える請求の範囲１１又は１２に記載の画像処理方法。
【請求項１５】
被写体を表す認識対象画像が与えられたとき、前記非鏡面反射照明基底ベクトルを用いて、前記登録画像と、前記認識対象画像とを照合して、前記認識対象画像が表す被写体が、前記登録画像が表す被写体に該当するか否かを判定するステップ
を更に備える請求の範囲１３又は１４に記載の画像処理方法。
【請求項１６】
請求の範囲９〜１５のいずれかに記載の画像処理方法の各ステップをコンピュータに実行させるコンピュータプログラム。
【国際調査報告】
2010026983.tif 000031
2010026983.tif 000032
2010026983.tif 000033
2010026983.tif 000034