(57)【要約】【課題】  物体の認識精度を向上させる。【解決手段】  入力された画像中の輝度の低い領域のコントラストを高めた画像を出力する画像前処理部１１と、画像前処理部１１から出力された画像から画像の特徴量を計算する特徴量計算部１２と、特徴量計算部１２により計算された画像の特徴量が左右対称になるように特徴量を調整する特徴量調整部１３と、特徴量調整部１３により調整された画像の特徴量から特徴量計算部１２における計算の逆演算により画像を生成する画像生成部１４とを備える。【選択図】        図１
2006004090.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像中の輝度の低い領域のコントラストを高めた画像を出力する画像前処理部と、
上記画像前処理部から出力された画像から画像の特徴量を計算する特徴量計算部と、
上記特徴量計算部により計算された画像の特徴量が左右対称になるように特徴量を調整する特徴量調整部と、
上記特徴量調整部により調整された画像の特徴量から上記特徴量計算部における計算の逆演算により画像を生成する画像生成部とを備えた画像正規化装置。
【請求項２】
画像データベースに記憶されている各画像の特徴量を計算し平均的な値からずれている特徴量を削除する関数を求める特徴量学習部と、
入力された画像中の輝度の低い領域のコントラストを高めた画像を出力する画像前処理部と、
上記画像前処理部から出力された画像から画像の特徴量を計算する特徴量計算部と、
上記特徴量学習部により求められた関数を用いて、上記特徴量計算部により計算された画像の特徴量のうち平均的な値からずれている特徴量を削除することにより特徴量を調整する特徴量調整部と、
上記特徴量調整部により調整された画像の特徴量から上記特徴量計算部における計算の逆演算により画像を生成する画像生成部とを備えた画像正規化装置。
【請求項３】
入力された画像中の輝度の低い領域のコントラストを高めた画像を出力する画像前処理部と、
上記画像前処理部から出力された画像から画像の特徴量を計算する特徴量計算部と、
上記画像前処理部から出力された画像から画像の特徴点を検出する特徴点検出部と、
上記特徴量計算部により計算された画像の特徴量のうち上記特徴点検出部により検出された特徴点から所定の距離以上離れた画像の特徴量を削除することにより特徴量を調整する特徴量調整部と、
上記特徴量調整部により調整された画像の特徴量から上記特徴量計算部における計算の逆演算により画像を生成する画像生成部とを備えた画像正規化装置。
【請求項４】
入力された画像を正規化するためにコンピュータを、
入力された画像中の輝度の低い領域のコントラストを高めた画像を出力する画像前処理手段、
上記画像前処理手段から出力された画像から画像の特徴量を計算する特徴量計算手段、
上記特徴量計算手段により計算された画像の特徴量が左右対称になるように特徴量を調整する特徴量調整手段、
上記特徴量調整手段により調整された画像の特徴量から上記特徴量計算手段における計算の逆演算により画像を生成する画像生成手段として機能させるための画像正規化プログラム。
【請求項５】
入力された画像を正規化するためにコンピュータを、
画像データベースに記憶されている各画像の特徴量を計算し平均的な値からずれている特徴量を削除する関数を求める特徴量学習手段、
入力された画像中の輝度の低い領域のコントラストを高めた画像を出力する画像前処理手段、
上記画像前処理手段から出力された画像から画像の特徴量を計算する特徴量計算手段、
上記特徴量学習手段により求められた関数を用いて、上記特徴量計算手段により計算された画像の特徴量のうち平均的な値からずれている特徴量を削除することにより特徴量を調整する特徴量調整手段、
上記特徴量調整手段により調整された画像の特徴量から上記特徴量計算手段における計算の逆演算により画像を生成する画像生成手段として機能させるための画像正規化プログラム。
【請求項６】
入力された画像を正規化するためにコンピュータを、
入力された画像中の輝度の低い領域のコントラストを高めた画像を出力する画像前処理手段、
上記画像前処理手段から出力された画像から画像の特徴量を計算する特徴量計算手段、
上記画像前処理手段から出力された画像から画像の特徴点を検出する特徴点検出手段、
上記特徴量計算手段により計算された画像の特徴量のうち上記特徴点検出手段により検出された特徴点から所定の距離以上離れた画像の特徴量を削除することにより特徴量を調整する特徴量調整手段、
上記特徴量調整手段により調整された画像の特徴量から上記特徴量計算手段における計算の逆演算により画像を生成する画像生成手段として機能させるための画像正規化プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、任意の照明条件下で撮影された画像を鮮明にすることにより、例えば、顔画像や物体の認識精度を向上させたり、監視カメラ等で不鮮明に撮影された写真や映像を鮮明化して証拠写真として成立させる補助を行うことを目的とした画像正規化装置及び画像正規化プログラムに関するものである。
【背景技術】
【０００２】
一般に顔画像や物体を認識する際には、予め登録された画像（モデル画像）と、入力された画像の間で類似度を計算し、最も類似度の高いモデル画像を選択することにより個人及び物体を特定している。しかし、モデル画像と入力された画像の照明条件が異なる場合には、二枚の画像の差分が大きくなり認識することが困難となる。
【０００３】
図１１は異なる照明条件で撮像した画像の例を示す図である。例えば、同一人物の顔画像でも、図１１（ａ）に示すように鮮明に映る顔画像と、図１１（ｂ）に示すように横からスポットライトを当てた状況で撮影した顔画像とでは、見かけが非常に異なるために、二枚の顔画像を同一人物のものと認識することは困難となる。このような問題を解決するために、様々な照明条件で撮影された画像のコントラストや影を補正する画像正規化手法が提案されている。
【０００４】
図１２は非特許文献１に記載された従来の画像正規化手法のアルゴリズムを説明する図であり、このアルゴリズムは暗い領域ほどコントラストを高く補正するものである。図１２において、図１２（ａ）は入力された画像、図１２（ｂ）はローパスフィルタリング処理後の画像、図１２（ｃ）はコントラストを補正した画像を示している。ここでは、図１２（ａ）の入力された画像に対してローパスフィルタリング処理を施して図１２（ｂ）の画像を求め、図１２（ａ）の入力された画像の画素値を，図１２（ｂ）の画像の画素値で除算することにより、エッジ値の変化が大きいところを残して値を平坦化することで、図１２（ｃ）のコントラストを補正した画像を得ているが、図示されているように画像中に影が残っている。
【０００５】
【非特許文献１】Ａｎ  Ｉｍａｇｅ  Ｐｒｅｐｒｏｃｅｓｓｉｎｇ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｉｌｌｕｍｉｎａｔｉｏｎ  Ｉｎｖａｒｉａｎｔ  Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ．Ｒ．Ｇｒｏｓｓ  ａｎｄ  Ｖ．Ｂｒａｊｏｖｉｃ  ４ｔｈ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｕｄｉｏ−ａｎｄ  Ｖｉｄｅｏ−Ｂａｓｅｄ  Ｂｉｏｍｅｔｒｉｃ  Ｐｅｒｓｏｎ  Ａｕｔｈｅｎｔｉｃａｔｉｏｎ（ＡＶＢＰＡ），Ｓｐｒｉｎｇｅｒ，Ｊｕｎｅ，２００３，ｐ１０−ｐ１７．
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従来の画像正規化装置は以上のように構成されているので、画像中に影が残ってしまい照明条件に依存しない一定の画像を生成することができず、物体の認識精度を向上させることができないという課題があった。
【０００７】
この発明は上記のよう課題を解決するためになされたもので、任意の照明条件下で撮影された画像から影を除去することにより、照明条件に依存しない一定の画像を生成することができ、物体の認識精度を向上させることができる画像正規化装置及び画像正規化プログラムを得ることを目的とする。
【課題を解決するための手段】
【０００８】
この発明に係る画像正規化装置は、入力された画像中の輝度の低い領域のコントラストを高めた画像を出力する画像前処理部と、上記画像前処理部から出力された画像から画像の特徴量を計算する特徴量計算部と、上記特徴量計算部により計算された画像の特徴量が左右対称になるように特徴量を調整する特徴量調整部と、上記特徴量調整部により調整された画像の特徴量から上記特徴量計算部における計算の逆演算により画像を生成する画像生成部とを備えたものである。
【発明の効果】
【０００９】
この発明により、画像中の影を取り除くことができ、照明条件に依存しない一定の画像を生成することができるので、物体の認識精度を向上させることができるという効果が得られる。
【発明を実施するための最良の形態】
【００１０】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による画像正規化装置の構成を示すブロック図である。この画像正規化装置１は、入力された画像における対象物体の左右対称性を利用して、入力された画像から影を取り除くことにより、照明条件に依存しない一定の画像を生成するものである。
【００１１】
図１に示す画像正規化装置１は、画像前処理部１１と、特徴量計算部１２と、特徴量調整部１３と、画像生成部１４とを備えている。画像前処理部１１は画像入力装置２から入力された画像中の輝度の低い領域のコントラストを高めた画像を出力し、特徴量計算部１２は画像前処理部１１から出力された画像から画像の特徴量を計算する。特徴量調整部１３は特徴量計算部１２により計算された画像の特徴量が左右対称になるように特徴量を調整し、画像生成部１４は特徴量調整部１３により調整された画像の特徴量から特徴量計算部１２における計算の逆演算により画像を生成してディスプレイ３に出力する。
【００１２】
次に動作について説明する。
画像入力装置２が取得する画像は、例えばカメラに対して正面を向いた顔画像とする。以下では、画像入力部２が取得する画像の一例として顔画像を挙げて説明するが、顔画像に限定されず左右対称な物体が写る画像であれば何でも良い。
【００１３】
図２は画像正規化装置１の処理手順を示すフローチャートである。
ステップＳＴ１１において、画像前処理部１１は、画像入力装置２から入力された画像の各画素の画素値（輝度値）の対数を計算することにより、画像中の輝度の低い領域のコントラストを高めた画像を出力する。
【００１４】
ここで、例えば、画像前処理部１１は次の式（１）から式（４）を用いて輝度の低い領域のコントラストを補正した画像Ｌを出力する。
Ｊ（ｘ，ｙ）＝ｌｏｇ（Ｉ（ｘ，ｙ）＋１）                                （１）
【数１】
2006004090.tif 000003
ここで、ｘ、ｙは画像の座標値である。Ｉ（ｘ，ｙ）は座標（ｘ，ｙ）における画素値（輝度値）であり、０から２５５の範囲の整数である。輝度の低い領域ではＩ（ｘ，ｙ）の値が小さく、輝度の高い領域ではＩ（ｘ，ｙ）の値が大きい。Ｌ（ｘ，ｙ）は画像前処理部１１から出力される画像の各画素の画素値（輝度値）であり、０から２５５の範囲の整数である。Ｊmax はＪ（ｘ，ｙ）の最大値、Ｊmin はＪ（ｘ，ｙ）の最小値である。なお、上記式（１）で、Ｉ（ｘ，ｙ）に１を加算してから対数を計算しているのは、Ｉ（ｘ，ｙ）＝０のときに、Ｊ（ｘ，ｙ）が負の値に発散しないようにするためである。
【００１５】
画像前処理部１１は上記式（１）により画像の各画素の輝度値の対数を計算することにより、ノイズを強調することなく画像中の輝度の低い領域のコントラストを高めることができる。
図３は画像前処理部１１により行われる画像中の輝度の低い領域のコントラストを高める処理を説明する図である。図３における曲線は横軸にＩ（ｘ，ｙ）をとり、縦軸にＪ（ｘ，ｙ）をとって、上記式（１）をプロットしたものである。例えば、輝度の低い領域の輝度差１０１は輝度差１０３に変換され、一方、輝度の高い領域の輝度差１０２は輝度差１０４に変換される。図３に示すように、上記式（１）を使用することで、輝度の低い領域の輝度差１０３の方が、輝度の高い領域の輝度差１０４に比べて大きく変換される。また、上記式（４）を用いて、対数値であるＪ（ｘ，ｙ）をスケーリングし、０から２５５の範囲の整数に変換する。
【００１６】
図４は顔画像に対する正規化処理を説明する図である。図４（ａ）は画像前処理部１１に入力された画像、図４（ｂ）は画像前処理部１１が輝度の低い領域のコントラストを高めた画像、図４（ｃ）は特徴量計算部１２が微分処理して特徴量を計算した画像、図４（ｄ）は特徴量調整部１３が左右非対称な特徴量を削除した画像、図４（ｅ）は画像生成部１４が積分処理して生成した画像をそれぞれ示している。なお、図４（ｃ）及び図４（ｄ）は、説明のために、実際の特徴量の値を０から２５５の範囲にスケーリングして表示した画像を示している。
画像前処理部１１は、図４（ａ）に示す入力した画像の各画素の輝度値の対数を計算して、図４（ｂ）に示すように輝度の低い領域のコントラストを高めた画像を出力する。
【００１７】
図２のステップＳＴ１２において、特徴量計算部１２は、上記ステップＳＴ１１で出力した画像の特徴量を計算する。このとき、特徴量計算部１２は、例えば、次の式（５）と式（６）を用いて微分値を計算する。
Ｓｘ（ｘ，ｙ）＝２Ｌ（ｘ＋１，ｙ）＋Ｌ（ｘ＋１，ｙ＋１）＋Ｌ（ｘ＋１，ｙ−１）
−２Ｌ（ｘ−１，ｙ）−Ｌ（ｘ−１，ｙ＋１）−Ｌ（ｘ−１，ｙ−１）      （５）
Ｓｙ（ｘ，ｙ）＝２Ｌ（ｘ，ｙ＋１）＋Ｌ（ｘ＋１，ｙ＋１）＋Ｌ（ｘ−１，ｙ＋１）
−２Ｌ（ｘ，ｙ−１）−Ｌ（ｘ＋１，ｙ−１）−Ｌ（ｘ−１，ｙ−１）      （６）
ここで、Ｌ（ｘ，ｙ）は上記ステップＳＴ１１で出力した画像の各画素の輝度値であり、Ｓｘ（ｘ，ｙ）はｘ方向（水平方向）の微分値であり、Ｓｙ（ｘ，ｙ）はｙ方向（垂直方向）の微分値である。
【００１８】
特徴量計算部１２は、例えば図４（ｂ）に示す画像の各画素の輝度値の微分値を計算して出力する。図４（ｃ）は特徴量計算部１２が出力した微分値を０から２５５の範囲にスケーリングした画像を示している。ここで、特徴量計算部１２が計算する特徴量は、輝度値の微分値に限らず、例えば、輝度値のフーリエ変換係数や、輝度値のウェーブレット変換係数等でも良い。
【００１９】
図２のステップＳＴ１３において、特徴量調整部１３は、上記ステップＳＴ１２で計算した特徴量が左右対称になるように調整する。このとき、特徴量調整部１３は、例えば、次の式（７）と式（８）を用いて、特徴量計算部１２が計算した水平方向の微分値Ｓｘ（ｘ，ｙ）と垂直方向の微分値Ｓｙ（ｘ，ｙ）が各々左右対称になるよう調整する。
【数２】
2006004090.tif 000004
【００２０】
上記式（７）において、ａは定数、Ｘは画像の水平サイズ、Ｓｘ（Ｘ−ｘ，ｙ）はＳｘ（ｘ，ｙ）に対して左右対称な位置の特徴量、Ｋｘ（ｘ，ｙ）は出力である。上記式（７）は、特徴量Ｓｘ（ｘ，ｙ）が入力された場合、左右対称な位置（Ｘ−ｘ，ｙ）とその周辺画素に、Ｓｘ（ｘ，ｙ）と異符号かつ同程度の絶対値を持つ微分値が存在すればそのままＳｘ（ｘ，ｙ）を出力し、その他の場合は０を出力することを示している。
上記式（８）において、ａは定数、Ｘは画像の水平サイズ、Ｓｙ（Ｘ−ｘ，ｙ）はＳｙ（ｘ，ｙ）に対して左右対称な位置の特徴量、Ｋｙ（ｘ，ｙ）は出力である。上記式（８）は、特徴量Ｓｙ（ｘ，ｙ）が入力された場合、左右対称な位置（Ｘ−ｘ，ｙ）とその周辺画素に、Ｓｙ（ｘ，ｙ）と同符合かつ同程度の絶対値を持つ微分値が存在すればそのままＳｙ（ｘ，ｙ）を出力し、その他の場合は０を出力することを示している。
多くの場合、画像に写る影は位置的に左右非対称であるため、上記式（７）と式（８）の操作により、画像から影を取り除くことが可能である。
【００２１】
特徴量調整部１３は、図４（ｃ）に示す特徴量のうち左右非対称な特徴量１０５を０に設定することにより影の部分を削除し、図４（ｄ）に示すように、目や口や眉毛等を構成する左右対称な特徴量を出力する。なお、図４（ｃ）及び図４（ｄ）は、説明のために、実際の特徴量の値を０から２５５の範囲にスケーリングして表示した画像を示している。
【００２２】
図２のステップＳＴ１４において、画像生成部１４は、上記ステップＳＴ１３で出力した左右対称な特徴量を使用して、特徴量計算部１２における計算の逆演算により画像を生成する。例えば、特徴量計算部１２が輝度値の微分値を計算した場合には、画像生成部１４は上記ステップＳＴ１３で出力した特徴量を積分して画像を生成する。
【００２３】
ここで、画像生成部１４における積分方法の一例として、フーリエ変換を用いた積分方法ついて述べる。まず、微分演算とフーリエ変換の関係について説明した後、積分の方法について述べる。
【００２４】
一般に、微分演算は次の式（９）に示す畳み込み積分により表現することができる。
【数３】
2006004090.tif 000005
ここで、（ｘ，ｙ）と（ｘ’，ｙ’）は画像上の座標で、ｇは入力された画像で、ｎは微分演算の種類を表すインデックスである。例えば、ｎ＝１は水平方向の微分演算を表し、ｎ＝２は垂直方向の微分演算を表すものとする。また、ｈn は画像ｇの微分値で、ａn は微分演算の係数行列であり、例えば、水平微分の場合、ａn は次の式（１０）で与えられる
【数４】
2006004090.tif 000006
【００２５】
上記式（９）をフーリエ変換することにより次の式（１１）を得る。
Ｈn （ｗ）＝Ａn （ｗ）Ｇ（ｗ）                                  （１１）
ここでｗは周波数ベクトルであり、Ｈ，Ａ，Ｇはそれぞれ、ｈ，ａ，ｇのフーリエ変換係数である。
【００２６】
次に画像生成部１４における積分演算の方法について述べる。
画像生成部１４は、上記ステップＳＴ１３で出力した微分値ＫｘとＫｙからそのフーリエ変換係数Ｈ1 ，Ｈ2 を求め、次の式（１２）に示すＧを逆フーリエ変換して積分画像を得る。
【数５】
2006004090.tif 000007
ここで、Ａn * （ｗ）はＡn （ｗ）の複素共役である。
【００２７】
画像生成部１４は、図４（ｄ）に示す特徴量を積分して、図４（ｅ）に示す画像を生成してディスプレイ３に出力する。
最後に、画像生成部１４により生成された画像はディスプレイ３により表示される。
【００２８】
以上のように、この実施の形態１によれば、画像前処理部１１が画像中の輝度の低い領域のコントラストを高め、特徴量計算部１２が画像の特徴量を計算し、特徴量調整部１３が画像の特徴量が左右対称になるように特徴量を調整し、画像生成部１４が調整された画像の特徴量から特徴量計算部１２における計算の逆演算により画像を生成することにより、画像中の影を取り除くことができ、照明条件に依存しない一定の画像を生成することができるので、物体の認識精度を向上させることができるという効果が得られる。
【００２９】
実施の形態２．
上記実施の形態１では、左右非対称性な特徴量を削除することにより画像中の影を取り除いているが、この実施の形態２は、平均的な値からずれている特徴量を削除することにより、画像中の影を取り除くものである。
【００３０】
図５はこの発明の実施の形態２による画像正規化装置の構成を示すブロック図である。図５に示す画像正規化装置１は、画像前処理部１１と、特徴量計算部１２と、特徴量学習部１５と、特徴量調整部１６と、画像生成部１４とを備えている。また、特徴量学習部１５は特徴量計算部２１と特徴量調整関数学習部２２を備えている。
【００３１】
図５において、画像データベース４は複数の画像を記憶している。特徴量学習部１５は画像データベース４に記憶されている各画像の特徴量を計算し平均的な値からずれている特徴量を削除する関数を求める。特徴量調整部１６は特徴量学習部１５により求められた関数を用いて、特徴量計算部１２により計算された画像の特徴量のうち平均的な値からずれている特徴量を削除することにより特徴量を調整する。その他の画像前処理部１１、特徴量計算部１２及び画像生成部１４は実施の形態１の構成と同様である。また、画像入力装置２及びディスプレイ３も実施の形態１の構成と同様である。
【００３２】
次に動作について説明する。
図６は画像正規化装置１の処理手順を示すフローチャートである。この実施の形態２の処理は、ステップＳＴ２１〜ＳＴ２２の学習フェイズと、ステップＳＴ３１〜ＳＴ３４のフィルタフェイズの二つの処理に分かれる。
【００３３】
まず、学習フェイズの処理について説明する。
画像データベース４には予め撮影された左右対称な物体の画像、例えば、カメラに対して正面を向いた顔画像が多数記憶されているものとする。以下では、画像データベース４に記憶されている画像の一例として顔画像を挙げて説明するが、顔画像に限定されず左右対称な物体であれば何でも良い。
【００３４】
ステップＳＴ２１において、特徴量学習部１５の特徴量計算部２１は、画像データベース４に記憶されている各画像の特徴量を計算する。このとき、特徴量計算部２１は、例えば、各画像の各画素の輝度値の微分値を計算する。なお、特徴量計算部２１が計算する特徴量は輝度値の微分値に限定されず、輝度値のフーリエ変換係数や輝度値のウェーブレット変換係数等でも良い。
【００３５】
ステップＳＴ２２において、特徴量学習部１５の特徴量調整関数学習部２２は、平均的な値からずれている特徴量、例えば影や輝度差の原因となる特徴量を削除する関数を求める。このとき、特徴量調整関数学習部２２は、例えば、上記ステップＳＴ２１で計算した各画像の特徴量から特徴量の平均値を計算して、次の式（１３）に示す関数ｇを求める。
【数６】
2006004090.tif 000008
ここで、ｆ（ｘ，ｙ）は顔画像の座標（ｘ，ｙ）における特徴量である。また、バーｆ（ｘ，ｙ）は特徴量の平均値で、ａは適当な定数である。
上記関数ｇは入力された特徴量と平均的な特徴量の差がａ以上になる場合に０を出力する関数である。通常、影の原因となる特徴量は、平均的な特徴量から値が大きくずれているため、関数ｇを使用することで画像中の影を取り除くことが可能となる。なお、特徴量調整関数学習部２２が求める関数は上記関数ｇに限らず、平均的な値からずれている特徴量を削除することが可能な関数ならば何でも良い。
【００３６】
次にフィルタフェイズについて説明する。
画像入力装置２が取得する画像は、例えばカメラに対して正面を向いた顔画像とする。以下では、画像入力装置２が取得する画像の一例として顔画像を挙げて説明するが、顔画像に限定されず任意の物体の画像でも良い。
【００３７】
ステップＳＴ３１において、画像前処理部１１は、実施の形態１の図２のステップＳＴ１１と同様に、画像入力装置２から入力された画像の各画素の画素値（輝度値）の対数を計算することにより、画像中の輝度の低い領域のコントラストを高めた画像を出力する。
【００３８】
ステップＳＴ３２において、特徴量計算部１２は上記ステップＳＴ１１で出力した画像の特徴量を計算する。このとき、特徴量計算部１２は、上記ステップＳＴ２１で特徴量学習部１５の特徴量計算部２１と同じ特徴量の計算方法を使用する。例えば、特徴量計算部２１が各画素の輝度値の微分値を計算した場合には、特徴量計算部１２は実施の形態１の図２のステップＳＴ１２と同様に各画素の輝度値の微分値を計算する。
【００３９】
ステップＳＴ３３において、特徴量調整部１６は、学習フェイズのステップＳＴ２２で学習した関数を用いて、上記ステップＳＴ３２で計算した特徴量のうち、平均的な値からずれている特徴量、例えば影や輝度差の原因となる特徴量を削除する。
【００４０】
ステップＳＴ３４において、画像生成部１４は、上記ステップＳＴ３３で出力した特徴量を使用して、特徴量計算部１２における計算の逆演算により画像を生成する。例えば、特徴量計算部１２が輝度値の微分値を計算した場合に、画像生成部１４は上記ステップＳＴ３３で出力した特徴量を積分して画像を生成しディスプレイ３に出力する。
最後に、画像生成部１４により生成された画像はディスプレイ３により表示される。
【００４１】
以上のように、この実施の形態２によれば、特徴量学習部１５が画像データベース４に記憶されている各画像の特徴量を計算し平均的な値からずれている特徴量を削除する関数を求め、画像前処理部１１が画像中の輝度の低い領域のコントラストを高め、特徴量計算部１２が画像の特徴量を計算し、特徴量調整部１６が特徴量学習部１５により求められた関数を用いて、特徴量計算部１２により計算された画像の特徴量のうち平均的な値からずれている特徴量を削除することにより特徴量を調整し、画像生成部１４が調整された画像の特徴量から特徴量計算部１２における計算の逆演算により画像を生成することにより、画像中の影を取り除ことができ、照明条件に依存しない一定の画像を生成することができるので、物体の認識精度を向上させることができるという効果が得られる。
【００４２】
実施の形態３．
上記実施の形態１では、左右対称な物体が写る画像中の影を取り除いた画像を求めているが、この実施の形態３は、左右対称でない物体の画像が入力された場合でも、この画像中の影を取り除くものである。
【００４３】
図７はこの発明の実施の形態３による画像正規化装置の構成を示すブロック図である。図７に示す画像正規化装置１は、画像前処理部１１と、特徴量計算部１２と、特徴点検出部１７と、特徴量調整部１８と、画像生成部１４とを備えている。
【００４４】
図７において、特徴点検出部１７は画像前処理部１１から出力された画像から画像の特徴点を検出し、特徴量調整部１８は特徴量計算部１２により計算された画像の特徴量のうち特徴点検出部に１７より検出された特徴点から所定の距離以上離れた画像の特徴量を削除することにより特徴量を調整する。その他の画像前処理部１１、特徴量計算部１２及び画像生成部１４は実施の形態１の構成と同様である。また、画像入力装置２及びディスプレイ３も実施の形態１の構成と同様である。
【００４５】
次に動作について説明する。
図８は画像正規化装置１の処理手順を示すフローチャートである。
画像入力装置２が取得する画像は、例えばカメラに対して横を向いた顔画像とする。以下では、画像入力装置２が取得する画像の一例として顔画像を挙げて説明するが、顔画像に限定されず任意の物体の画像でも良い。
【００４６】
ステップＳＴ４１において、画像前処理部１１は、実施の形態１の図２のステップＳＴ１１と同様に、画像入力装置２から入力された画像の各画素の画素値（輝度値）の対数を計算することにより、画像中の輝度の低い領域のコントラストを高めた画像を出力する。
【００４７】
ステップＳＴ４２において、特徴量計算部１２は、実施の形態１の図２のステップＳＴ１２と同様に、上記ステップＳＴ４１で出力した画像の特徴量を計算する。
【００４８】
ステップＳＴ４３において、特徴点検出部１７はステップＳＴ４１で出力した画像から物体の特徴的な部位（画像の特徴点）を検出する。
図９は顔画像に対する正規化処理を説明する図である。図９（ａ）は特徴点検出部１７が画像前処理部１１から入力した画像を示し、図９（ｂ）は特徴点検出部１７の処理を示し、図９（ｃ）は特徴量調整部１８の処理を示している。特徴点検出部１７は、画像前処理部１１から図９（ａ）に示すような目１１１、鼻１１２、口１１３、影１１４が存在する画像を入力すると、図９（ｂ）に示すように、画像中の目１１１の周囲の複数の特徴点１２１、鼻１１２の周囲の複数の特徴点１２２、口１１３の周囲の複数の特徴点１２３を検出する。
【００４９】
図８のステップＳＴ４４において、特徴量調整部１８は、上記ステップＳＴ４２で特徴量計算部１２が計算した特徴量のうち、上記ステップＳＴ４３で特徴点検出部１７が検出した画像の特徴点から所定の距離以上離れた画像の特徴量を削除することにより、影の原因となる特徴量の位置を検出して取り除く。
例えば、特徴量調整部１８は次の式（１４）を用いて、検出した特徴点から離れた位置に存在する特徴量を０に設定する。
【数７】
2006004090.tif 000009
ここで、ｆ（ｘ，ｙ）は位置（ｘ，ｙ）における特徴量、ａは定数、ｏ（ｘ，ｙ）は特徴量調整部１８の出力である。また、ｎは検出した特徴点のインデックスであり、（ｘn ，ｙn ）は検出した特徴点の座標である。上記式（１４）に示す関数ｇは、入力された特徴量ｆ（ｘ，ｙ）がどの特徴点からもａ以上離れている場合には０を出力する関数である。
【００５０】
特徴量調整部１８は、図９（ｃ）に示すように、目１１１の特徴量１３１は目１１１の複数の特徴点１２１から近い位置に存在し、鼻１１２の特徴量１３２は鼻１１２の複数の特徴点１２２から近い位置に存在し、口１１３の特徴量１３３は口１１３の周囲の複数の特徴点１２３から近い位置に存在するため、目１１１の特徴量１３１、鼻１１２の特徴量１３２、口１１３の特徴量１３３をそのまま出力し、影１１４の特徴量１３４は目１１１の複数の特徴点１２１や鼻１１２の複数の特徴点１２２や口１１３の複数の特徴点１２３から離れた位置に存在するために影１１４の特徴量１３４を削除する。
【００５１】
図８のステップＳＴ４５において、画像生成部１４は、上記ステップＳＴ４４で出力した特徴量を使用して、特徴量計算部１２における計算の逆演算により画像を生成する。例えば、特徴量計算部１２が各画素の輝度値の微分値を計算した場合に、画像生成部１４は上記ステップＳＴ４４で出力した特徴量を積分して画像を生成しディスプレイ３に出力する。
最後に、画像生成部１４により生成された画像はディスプレイ３により表示される。
【００５２】
以上のように、この実施の形態３によれば、画像前処理部１１が画像中の輝度の低い領域のコントラストを高め、特徴量計算部１２が画像の特徴量を計算し、特徴点検出部１７が画像の特徴点を検出し、特徴量調整部１８が特徴量計算部１２により計算された画像の特徴量のうち特徴点検出部に１７より検出された特徴点から所定の距離以上離れた画像の特徴量を削除することにより特徴量を調整し、画像生成部１４が調整された画像の特徴量から特徴量計算部１２における計算の逆演算により画像を生成することにより、左右対称でない物体の画像が入力された場合でも影を取り除ことができ、照明条件に依存しない一定の画像を生成することができるので、左右対称には写っていない物体の認識精度を向上させることができるという効果が得られる。
【００５３】
図１０は画像正規化装置１のコンピュータ基本構成図である。
図１０において、プログラムを実行するＣＰＵ３１は、バス３６を介してディスプレイ３２、キーボード３３、マウス３４、通信ポート３５及び磁気ディスク装置３７等と接続されている。磁気ディスク装置３７には、ＯＳ４１、プログラム群４２及びデータベース４３が記憶されている。プログラム群４２には、例えば、画像正規化装置１を動作させるためのプログラム等が記憶されており、これらのプログラムはＣＰＵ３１やＯＳ４１により実行される。
【００５４】
全ての実施の形態において、各構成要素の各動作はお互いに関連しており、各構成要素の動作は、上記に示された動作の関連を考慮しながら、一連の動作として置き換えることができる。そして、このように一連の動作として置き換えることにより、画像正規化方法の発明の実施の形態とすることができる。
また、上記各構成要素の動作を各構成要素の処理と置き換えることにより、画像正規化プログラムの発明の実施の形態とすることができる。
さらに、この画像正規化プログラムをコンピュータ読み取り可能な記録媒体に記憶させることで、画像正規化プログラムを記録したコンピュータ読み取り可能な記録媒体の発明の実施の形態とすることができる。
【００５５】
画像正規化プログラムの実施の形態及び画像正規化プログラムを記録したコンピュータ読み取り可能な記録媒体の実施の形態は、全てコンピュータで動作可能なプログラムにより構成することができ、各実施の形態における各処理はプログラムで実行されるが、このプログラムは、磁気ディスク装置３７に記録されていて、磁気ディスク装置３７からＣＰＵ３１に読み込まれ、ＣＰＵ３１によって各プログラムが実行されることになる。
また、各実施の形態のソフトウェアやプログラムは、ＲＯＭ（ＲＥＡＤ  ＯＮＬＹ  ＭＥＭＯＲＹ）に記憶されたファームウェアで実現されていても構わない。あるいは、ソフトウェアとファームウェアとハードウェアとの組み合わせで前述したプログラムの各機能を実現しても構わない。
【図面の簡単な説明】
【００５６】
【図１】この発明の実施の形態１による画像正規化装置の構成を示すブロック図である。
【図２】この発明の実施の形態１による画像正規化装置の処理手順を示すフローチャートである。
【図３】この発明の実施の形態１による画像正規化装置における画像前処理部により行われる画像中の輝度の低い領域のコントラストを高める処理を説明する図である。
【図４】この発明の実施の形態１による画像正規化装置における顔画像に対する正規化処理を説明する図である。
【図５】この発明の実施の形態２による画像正規化装置の構成を示すブロック図である。
【図６】この発明の実施の形態２による画像正規化装置の処理手順を示すフローチャートである。
【図７】この発明の実施の形態３による画像正規化装置の構成を示すブロック図である。
【図８】この発明の実施の形態３による画像正規化装置の処理手順を示すフローチャートである。
【図９】この発明の実施の形態３による画像正規化装置における顔画像に対する正規化処理を説明する図である。
【図１０】この発明の画像正規化装置のコンピュータ基本構成図である。
【図１１】異なる照明条件で撮像した画像の例を示す図である。
【図１２】従来の画像正規化手法のアルゴリズムを説明する図である。
【符号の説明】
【００５７】
１  画像正規化装置、２  画像入力装置、３  ディスプレイ、１１  画像前処理部、１２  特徴量計算部、１３  特徴量調整部、１４  画像生成部、１５  特徴量学習部、１６  特徴量調整部、１７  特徴点検出部、１８  特徴量調整部、２１  特徴量計算部、２２  特徴量調整関数学習部、３１  ＣＰＵ、３２  ディスプレイ、３３  キーボード、３４  マウス、３５  通信ポート、３６  バス、３７  磁気ディスク装置、４１  ＯＳ、４２  プログラム群、４３  データベース、１０１  輝度差、１０２  輝度差、１０３  輝度差、１０４  輝度差、１０５  特徴量、１１１  目、１１２  鼻、１１３  口、１１４  影、１２１  特徴点、１２２  特徴点、１２３  特徴点、１３１  特徴量、１３２  特徴量、１３３  特徴量、１３４  特徴量。
【図１】
2006004090.tif 000010
【図２】
2006004090.tif 000011
【図３】
2006004090.tif 000012
【図５】
2006004090.tif 000013
【図６】
2006004090.tif 000014
【図７】
2006004090.tif 000015
【図８】
2006004090.tif 000016
【図９】
2006004090.tif 000017
【図１０】
2006004090.tif 000018
【図４】
2006004090.tif 000019
【図１１】
2006004090.tif 000020
【図１２】
2006004090.tif 000021