(57)【特許請求の範囲】
【請求項１】
顔画像を含む画像を入力する画像入力手段と、
前記画像入力手段により入力された画像から標準的な顔画像とのテンプレートマッチングにより顔領域を抽出する顔領域抽出手段と、
前記顔領域抽出手段で抽出された顔領域から目、口の位置を検出する目、口検出手段と、
前記目、口検出手段で検出された目、口の位置をあらかじめ設定した位置に来るようにアフィン変換を行うアフィン変換手段と、
前記アフィン変換手段から出力される顔画像を矩形領域に分割し、この分割された各前記矩形領域の水平方向及び垂直方向に所定の画素数分だけ領域を広げた領域を計算領域として出力する画像分割手段と、
前記画像分割手段で設定された計算領域に対してシェーディングの除去を行い各画素の輝度値を求めて出力するシェーディング除去手段と、
同一照明条件下での複数の人間の複数画像に対してシェーディング除去された各計算領域毎の輝度の分散の平均値を求めてあらかじめ記憶している基準分散値データ記憶手段と、
前記シェーディング除去手段によりシェーディング除去された計算領域に対して輝度の分散を求めて前記基準分散値データ記憶手段に記憶された対応する領域の分散となるように各画素の輝度値を演算して新たな輝度値として出力する分散補正手段と、
前記基準分散値データ記憶部で用いた同じ画像に対して各画像毎に各計算領域でのシェーディングパラメータを求め対応する各計算領域毎のシェーディングパラメータの平均値を求めてあらかじめ記憶している基準シェーディングパラメータデータ記憶手段と、
前記分散補正手段により所定の分散となるように補正処理された計算領域に対して、前記基準シェーディングパラメータデータ記憶手段に記憶された対応する計算領域のシェーディングパラメータに基づいてシェーディングの付加を行い新たな輝度値を出力するシェーディング補正手段と、
前記基準分散値データ記憶手段で用いた同じ画像に対して各画像毎に各計算領域内の画素の輝度の平均値を求め、前記各画像の同一位置に対応する各計算領域毎の前記画素の輝度の平均値を求めてあらかじめ記憶している基準平均値データ記憶手段と、
前記シェーディング補正手段によりシェーディング補正された計算領域に対して輝度の平均値を求めて前記基準平均値データ記憶手段に記憶された対応する領域の平均値となるように各画素の新たな輝度値を求めて計算領域中の出力領域を用いて顔画像を再構成して出力する平均値補正手段とを、
有する画像正規化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔画像を用いて個人の認証を行うセキュリティ分野及び顔の表情や動きから人間の意図や感情をコンピュータに伝達させるマンマシンインターフェイスの分野に適用される画像正規化装置に関する。
【０００２】
【従来の技術】
コンピュータと人間とのマンマシンインターフェイスをより自然なものにするために、人と人とのコミュニケーションを範にとり、コンピュータに顔画像から個人を特定させたり、表情やしぐさを認識させて意図や感情を推定させる研究が行われている。顔画像を用いて個人識別を行う場合、大きさ、位置、照明の変化などを吸収して常に一定条件下の顔画像を用いることが必要である。
【０００３】
例えば、この種の従来技術として、“ヒューマン  フェイス  ディテクションイン  ビジュアル  シーンズ”（Ｈｕｍａｎ  Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ  ｉｎ  Ｖｉｓｕａｌ  Ｓｃｅｎｅｓ）（Ｈ．  Ａ．  Ｒｏｗｌｅｙ，  Ｓ．  Ｂａｌｕｊａ，  ａｎｄ  Ｔ．  Ｋａｎａｄｅ，  ＣＭＵ−ＣＳ−９５−１５８Ｒ，  Ｎｏｖ．，  １９９５，  ｐ３参照）には、両目、又は両目と口の位置をあらかじめ設定した位置に来るようにされた顔画像に対して、顔画像の背景を排除するために顔画像の周辺領域をマスクし、明るさのシェーディングを補正した後、顔画像の輝度の平均値と分散を求め、その値があらかじめ設定した値になるようにすることが開示されている。
【０００４】
【発明が解決しようとする課題】
しかしながら、方向性を持つ照明で顔を横から照らした場合、鼻などの局所的な凹凸による陰影の付き方が左右で非対称になるが、上述した従来技術においては、このような非対称な陰影を補正できず、正面から顔を照らした画像に近づけることができないという問題があった。
【０００５】
本発明は上述した点に鑑みてなされたもので、照明条件の変化による陰影の変化を補正することができる画像正規化装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記目的を達成するために、本発明に係る画像正規化装置は、顔画像を含む画像を入力する画像入力手段と、前記画像入力手段により入力された画像から標準的な顔画像とのテンプレートマッチングにより顔領域を抽出する顔領域抽出手段と、前記顔領域抽出手段で抽出された顔領域から目、口の位置を検出する目、口検出手段と、前記目、口検出手段で検出された目、口の位置をあらかじめ設定した位置に来るようにアフィン変換を行うアフィン変換手段と、前記アフィン変換手段から出力される顔画像を矩形領域に分割し、この分割された各前記矩形領域の水平方向及び垂直方向に所定の画素数分だけ領域を広げた領域を計算領域として出力する画像分割手段と、前記画像分割手段で設定された計算領域に対してシェーディングの除去を行い各画素の輝度値を求めて出力するシェーディング除去手段と、同一照明条件下での複数の人間の複数画像に対してシェーディング除去された各計算領域毎の輝度の分散の平均値を求めてあらかじめ記憶している基準分散値データ記憶手段と、前記シェーディング除去手段によりシェーディング除去された計算領域に対して輝度の分散を求めて前記基準分散値データ記憶手段に記憶された対応する領域の分散となるように各画素の輝度値を演算して新たな輝度値として出力する分散補正手段と、前記基準分散値データ記憶部で用いた同じ画像に対して各画像毎に各計算領域でのシェーディングパラメータを求め対応する各計算領域毎のシェーディングパラメータの平均値を求めてあらかじめ記憶している基準シェーディングパラメータデータ記憶手段と、前記分散補正手段により所定の分散となるように補正処理された計算領域に対して、前記基準シェーディングパラメータデータ記憶手段に記憶された対応する計算領域のシェーディングパラメータに基づいてシェーディングの付加を行い新たな輝度値を出力するシェーディング補正手段と、前記基準分散値データ記憶手段で用いた同じ画像に対して各画像毎に各計算領域内の画素の輝度の平均値を求め、前記各画像の同一位置に対応する各計算領域毎の前記画素の輝度の平均値を求めてあらかじめ記憶している基準平均値データ記憶手段と、前記シェーディング補正手段によりシェーディング補正された計算領域に対して輝度の平均値を求めて前記基準平均値データ記憶手段に記憶された対応する領域の平均値となるように各画素の新たな輝度値を求めて計算領域中の出力領域を用いて顔画像を再構成して出力する平均値補正手段とを備えたものである。
【０００７】
【発明の実施の形態】
図１は本発明の実施の形態に係る画像正規化装置の構成を示すブロック図である。図示構成の画像正規化装置は、ビデオカメラなどから顔画像を含む入力画像を取り込む画像入力部１００、ビデオカメラなどの画像入力部１００から取り込まれた顔画像から標準顔画像とのテンプレートマッチングにより顔領域を抽出する顔領域抽出部１１０、顔領域抽出部１１０で抽出された顔領域における輪郭抽出、２値化処理などにより目と口の中心位置を検出する目、口検出部１２０を有する。
【０００８】
また、目、口検出部１２０で検出された目、口の中心位置があらかじめ設定した位置に来るように顔画像にアフィン変換を行うアフィン変換部１３０、アフィン変換部１３０から出力される顔画像を矩形領域に分割した各出力領域を設定領域を広げて計算領域として出力する画像分割部１４０、画像分割部１４０で設定された計算領域に対してシェーディングの除去を行い各画素の輝度値を求めて出力するシェーディング除去部１５０を有する。
【０００９】
また、あらかじめ基準として選んでおいた同一照明条件下での複数の人の複数画像に対して、顔領域抽出部１１０からシェーディング除去部１５０までの処理を行い、各画像ごとに各計算領域での分散を求めて、シェーディング除去された各計算領域毎の分散の平均値を求めてあらかじめ記憶している基準分散値データ部１６０、シェーディング除去部１５０によりシェーディング除去された計算領域に対して輝度の分散を求めて基準分散値データ部１６０に記憶された対応する領域の分散となるように各画素の輝度値を演算して新たな輝度値として出力する分散補正部１７０を有する。
【００１０】
また、基準分散値データ部１６０で用いた同じ画像に対して、顔領域抽出部１１０から画面分割部１４０までの処理を行い、各画像毎にシェーディング除去部１５０での方法と同じ方法で各計算領域でのシェーディングパラメータを求め対応する各計算領域毎のシェーディングパラメータの平均値を求めてあらかじめ記憶している基準シェーディングパラメータデータ部１８０、分散補正部１７０により所定の分散となるように補正処理された計算領域に対して基準シェーディングパラメータデータ部１８０に記憶された対応する計算領域のシェーディングパラメータに基づいてシェーディングの付加を行い新たな輝度値を出力するシェーディング補正部１９０を有する。
【００１１】
さらに、基準分散値データ部１６０で用いた同じ画像に対して、顔領域抽出部１１０から画面分割部１４０までの処理を行い、各画像毎に各計算領域での平均値を求め対応する各計算領域毎の平均値を求めてあらかじめ記憶している基準平均値データ部２００、シェーディング補正部１９０によりシェーディング補正された計算領域に対して輝度の平均値を求めて基準平均値データ部２００に記憶された対応する領域の平均値となるように各画素の新たな輝度値を求めて計算領域中の出力領域を用いて顔画像を再構成して出力する平均値補正部２１０を有している。
【００１２】
次に、前述した構成の画像正規化装置の動作について、図２を参照して説明する。
ここで、図２は図１の各部の処理説明図であり、（ａ）は画像入力部１００で入力された画像例と顔領域抽出部１１０で抽出された顔画像領域例、（ｂ）は目、口検出部１２０で検出した目、口の中心位置検出結果例、（ｃ）はアフィン変換部１３０によるアフィン変換後の顔画像例、（ｄ）は画像分割部１４０による分割領域の設定例及び出力領域と計算領域例をそれぞれ示している。
【００１３】
図１に示す構成において、画像入力部１００は、ビデオカメラなどから顔画像を含む図２（ａ）に示すように入力画像を取り込む。画像入力部１００でビデオカメラなどから取り込まれた顔画像は顔領域抽出部１１０に入力され、その顔画像から標準顔画像とのテンプレートマッチングにより図２（ａ）に示すように顔領域が抽出される。目、口検出部１２０は、前記顔領域抽出部１１０で抽出された顔領域における輪郭抽出、２値化処理などにより図２（ｂ）に示すように目と口の中心位置を検出する。
【００１４】
前記目、口検出部１２０で検出された目、口の中心位置はアフィン変換部１３０に与えられ、当該アフィン変換部１３０は、検出された目、口の中心位置が図２（ｃ）に示すようにあらかじめ設定した位置に来るように顔画像にアフィン変換を行う。画像分割部１４０では、アフィン変換部１３０から出力された顔画像を図２（ｄ）に示すように水平方向ｄｘ画素、垂直方向ｄｙ画素ごとに分割し、各分割領域（出力領域）に対して水平方向±ａｘ画素、垂直方向±ａｙ画素広げた計算領域を設定する。
【００１５】
次に、シェーディング除去部１５０では、画像分割部１４０で設定した計算領域に対して、シェーディングの除去を行う。計算領域の左上を原点とし、水平方向をｘ軸、垂直方向をｙ軸とし、各画素の輝度値をｚ軸とし、座標（ｘｎ、ｙｎ）の画素の輝度値をｚｎとする。そして、まず、計算領域においてΣ［ｚｎ−（ａ×ｘｎ＋ｂ×ｙｎ＋ｃ）］２が最小となるパラメータａ，ｂ，ｃを求める。次に、各画素に対してｚｎ’＝ｚｎ−（ａ×ｘｎ＋ｂ×ｙｎ＋ｃ）を新しい輝度値とする。
【００１６】
分散補正部１７０では、シェーディング除去部１５０でシェーディング除去された計算領域に対して、輝度の分散ｖａｌ０＝Σ（ｚｎ’−ａｖｅ０）２を求めて、基準分散値データ部１６０の対応する領域の分散ｖａｌ１となるように、各画素の輝度値ｚｎ’に対して（ｚｎ’−ａｖｅ０）×（ｖａｌ１／ｖａｌ０）１／２＋ａｖｅ０を演算し新たな輝度値ｚｎ”とする。ただし、ａｖｅ０は計算領域の輝度の平均値である。
【００１７】
シェーディング補正部１９０では、分散補正部１７０で所定の分散になるように処理された計算領域に対して、基準シェーディングパラメータデータ部１８０の対応する計算領域のパラメータａ’、ｂ’、ｃ’に基づいてシェーディングの付加を行う。座標（ｘｎ，ｙｎ）の画素の輝度値をｚｎ”とすると、
ｚｎ’”＝ｚｎ”＋（ａ’×ｘｎ＋ｂ’×ｙｎ＋ｃ’）を新しい輝度値とする。
【００１８】
平均値補正部２１０では、シェーディング補正部１９０でシェーディング補正された計算領域に対して、輝度の平均値ａｖｅ１を求めて、基準平均値データ部２００の対応する領域の平均値ａｖｅ２となるように各画素の輝度値に対してａｖｅ２−ａｖｅ１を加算し新たな輝度値ｚ””とする。最後に、計算領域中の出力領域を用いて顔画像を再構成して出力する。
【００１９】
したがって、本実施の形態によれば、従来、方向性を持つ照明で顔を横から照らした場合、鼻などの局所的な凹凸による陰影の付き方が左右で非対称になるが、このような非対称な陰影のある画像に対しても、正面から顔を照らした画像に近づけることができる。
【００２０】
【発明の効果】
したがって、本発明によれば、顔画像を用いて個人の識別を行うための前処理として、顔画像を矩形領域に分割した各出力領域を広げた計算領域の画像信号の分散、シェーディング、平均値をあらかじめ設定記憶した基準値になるよう補正するようにしたので、照明条件の変化による陰影の変化を補正することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る画像正規化装置の構成を示すブロック図である。
【図２】図１の各部の処理説明図であり、（ａ）は画像入力部１００で入力された画像例と顔領域抽出部１１０で抽出された顔画像領域例、（ｂ）は目、口検出部１２０で検出した目、口の中心位置検出結果例、（ｃ）はアフィン変換部１３０によるアフィン変換後の顔画像例、（ｄ）は画像分割部１４０による分割領域の設定例及び出力領域と計算領域例をそれぞれ示している。
【符号の説明】
１００  画像入力部
１１０  顔領域抽出部
１２０  目、口検出部
１３０  アフィン変換部
１４０  画像分割部
１５０  シェーディング除去部
１６０  基準分散値データ部
１７０  分散補正部
１８０  基準シェーディングパラメータデータ部
１９０  シェーディング補正部
２００  基準分散値データ部
２１０  平均値補正部
【図１】
0003578321.tif 000002
【図２】
0003578321.tif 000003