(57)【特許請求の範囲】
【請求項１】
顔画像情報を取り込む顔画像情報入力手段と、前記顔画像情報入力手段が取り込んだ顔画像情報を変換する顔画像情報変換手段と、前記顔画像情報変換手段により変換された情報を記憶するモデル画像記憶手段と、前記顔画像情報変換手段により変換された情報と、前記モデル画像記憶手段に記憶されている情報とを照合する照合手段とを備える顔画像認識システムにおいて、肌色を含むサンプル画像を読み取り、該サンプル画像の中の肌色部分に、利用者によりマークがつけられる肌色領域の各画素に対してＨＳＩ変換を行いＨＳＩ値を求め、ＨＳＩ値の三属性であるｈ（色相）、ｓ（彩度）、ｉ（輝度）を軸とするＨＳＩ空間に各画素をそのＨＳＩ値に基づいてプロットして、肌色領域を表す範囲を決定し、肌色領域の直方体を求める初期設定手段を有し、前記顔画像情報変換手段は、さらに、前記顔画像情報にＨＳＩ変換を施し、前記ＨＳＩ値の範囲と変換された各画素のＨＳＩ値を基に、前記顔画像情報から人間の顔の肌色に相当する領域を抽出する抽出手段を有し、前記ＨＳＩ空間において、前記初期設定手段で求めた前記範囲を表す肌色領域の直方体の中心位置と前記抽出手段により抽出された領域の前記各画素のＨＳＩ値の位置が、どれくらい近いかを表す一致度を計算し、一致度の値を画像上の画素位置に書き込んで一致度マップを生成し、前記一致度マップに基づいて、一致度マップの所定の閾値より高い一致度を示す画素を窓画像候補点として選択し、画像の濃淡値に基づくエッジ強度を求め、前記エッジ強度に基づいて、エッジ強度の所定の閾値以上のエッジ強度を持つ画素を中心とする画像である複数の小領域を選択し、前記選択された小領域のＲＧＢ値に対してＧｒａｙ−Ｓｃａｌｅ変換を施し、各画素のＧｒａｙ−Ｓｃａｌｅ値を要素とするベクトルを生成し、該ベクトルをベクトルの各要素の２乗和のルートで除算することによって明るさの正規化処理を施し、また、前記選択された各小領域に含まれる情報を固有空間に投影した点集合に変換し、前記照合手段は、前記モデル画像格納部に記憶されている情報の中から前記選択された小領域と最小距離を示す情報を探索し、前記選択された小領域と前記最小距離を示す情報との画像内相対位置を求め、前記モデル画像格納部に格納されている各情報に対応する投票空間に投票し、全投票空間上の得票数のピーク位置を検出することにより照合することを特徴とする顔画像認識システム。
【請求項２】
前記モデル画像記憶手段は、人物の顔を複数の視点から撮影した複数の顔画像情報について、それぞれ前記顔画像情報変換手段により変換した情報を記憶する請求項１記載の顔画像認識システム。
【請求項３】
前記モデル画像記憶手段は、複数の人物について、前記変換した情報を記憶する請求項２記載の顔画像認識システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、人物の顔画像情報を変換した情報をデータベースに蓄積しておき、認識時には、入力された顔画像情報に所定の変換を施した後に、前記データベースに記憶された情報と照合することにより、顔画像を認識する顔画像認識システムに関する。
【０００２】
【従来の技術】
顔が表す情報をコンピュータで読み取ることができるようになれば、人間と機械との自然なインターフェースの実現に役立つとの期待から、近年、コンピュータで顔画像を認識しようとする試みが活発に行われている。また、顔画像に基づく個人識別についても、コンピュータでこれを代替、支援できるようになれば、犯罪捜査などのための顔画像データベース認識システムや、セキュリティのためのアクセスコントロールシステムなどへの応用が期待できる。このように、顔画像認識技術は、マンマシンインターフェースの高度化に際しての重要な課題の一つであり、今後ますますその重要性を増していくものと予想される。
【０００３】
コンピュータによる顔画像認識においては、顔の姿勢や、撮影位置の照明に代表される撮影条件などに伴い、見え方が変化する入力画像のパタンに対して、例えば、その人物の氏名の如く、識別結果の情報を安定に出力することが求められる。
【０００４】
このような問題に対して、画像中の顔が正面を向いているという前提のもとに、入力画像中から目や口などの部品（以下、「顔部品」という。）を正確に抽出し、これら顔部品の形状や配置における個人性をもとにして識別を行おうとする、顔部品ベースの手法がある。
【０００５】
しかし、この顔部品ベースの手法では、そもそも現実の環境で撮影された顔画像から、顔部品の線図的な形状やその位置などを正確に抽出すること自体大変困難な問題であり、さらに構造的に類似した個人の微妙な顔パタンの差異を線図的な形状だけで記述することにも限界がある。
【０００６】
そこで、最近になって注目を集めているアプローチとして、顔画像のパタンを各画素における濃淡値の二次元配列として表現し、そのマッチングによって識別を行おうとするパタン整合の手法が提案されている。この手法の代表的なものとしては、高次元の画像データを圧縮した固有空間と呼ばれる低次元空間上でパタン照合を行う固有空間法（例えば、Ｈｉｒｏｓｈｉ  Ｍｕｒａｓｅ  ａｎｄ  Ｓｈｒｅｅ  Ｋ．Ｎａｙｅｒ，  ”Ｖｉｓｕａｌ  Ｌｅａｒｎｉｇ  ａｎｄ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  ３−Ｄ  Ｏｂｊｅｃｔｓ  ｆｒｏｍ  Ａｐｐｅａｒａｎｃｅ”，  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ｖｏｌ．１４，  Ｎｏ．１，  ｐｐ．５−２４  （１９９５）  に開示されている）等がある。
【０００７】
この固有空間法に基づく顔画像認識システム（例えば、特開平５−２０４４２号公報に開示されている。）は、ほぼ一定の照明条件のもとで撮影され、かつ正確な位置合わせ、および顔サイズの正規化処理が既に施されている正面顔の識別に対して、有効であることが示されている。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記従来の固有空間法においては、入力画像中の顔パタンの正確な位置決めと正規化処理を必要とするという点からも分かるように、画像中に含まれる顔パターンの画像内での位置ずれや、隠れ、背景ノイズなどに対して影響を受けやすいという問題点を有していた。
【０００９】
また、上記従来の固有空間法を用いた顔画像認識システムでは、正面を向いている顔画像であり、かつ顔パタンの正確な位置決めと正規化が行われているという制約条件の下では良好な結果を示すものの、現実的な環境で撮影した場合に起こることが予想される、顔の位置や姿勢（あるいは観測の視点）、照明条件、背景条件、時間経過などによる見え方の変化に対してロバストな顔画像認識を実現することに関しては、依然未解決の問題として残されている。
【００１０】
本発明は、認識しようとする画像に含まれる認識対象の位置が学習時と比べてずれている場合、認識対象の一部が隠れている場合、背景ノイズが存在する場合、複数の認識対象が存在する場合などにも対応できる顔画像識別システムを提供することを目的とする。
【００１１】
【課題を解決するための手段】
前記目的を達成するため、本発明の顔画像認識システムは、顔画像情報を取り込む顔画像情報入力手段と、前記顔画像情報入力手段が取り込んだ顔画像情報を変換する顔画像情報変換手段と、前記顔画像情報変換手段により変換された情報を記憶するモデル画像記憶手段と、前記顔画像情報変換手段により変換された情報と、前記モデル画像記憶手段に記憶されている情報とを照合する照合手段とを備える顔画像認識システムにおいて、前記顔画像情報変換手段は、さらに、ＨＳＩ変換を用いて前記顔画像情報から人間の顔の肌色に相当する領域を抽出する抽出手段を有し、前記抽出手段により抽出された領域から一致度マップを生成し、画像の濃淡値に基づくエッジ強度を求め、前記一致度マップと前記エッジ強度に基づいて、特徴的な小領域を選択し、前記選択された小領域のＲＧＢ値に対してＧｒａｙ−Ｓｃａｌｅ変換を施し、各画素のＧｒａｙ−Ｓｃａｌｅ値を要素とするベクトルを生成し、該ベクトルをベクトルの各要素の２乗和のルートで除算することによって明るさの正規化処理を施し、また、前記選択された各小領域に含まれる情報を固有空間に投影した点集合に変換し、前記照合手段は、前記モデル画像格納部に記憶されている情報の中から前記選択された小領域と最小距離を示す情報を探索し、前記選択された小領域と前記最小距離を示す情報との画像内相対位置を求め、前記モデル画像格納部に格納されている各情報に対応する投票空間に投票し、全投票空間上の得票数のピーク位置を検出することにより照合することを特徴とする。前記抽出手段を備えることにより、顔画像情報の処理においては、一般に取り扱うべき情報量が多く、処理に時間がかかる場合が多いが、処理量の軽減を図ることができる。
【００１２】
また、前記モデル画像記憶手段は、人物の顔を複数の視点から撮影した複数の顔画像情報について、それぞれ前記顔画像情報変換手段により変換した情報を記憶するのが好ましい。当該情報を記憶しておき、入力された認識対象の顔画像と照合することにより、認識対象の顔画像が正面から撮影されたものでない場合でも、顔画像の認識を行うことが可能となるからである。
【００１３】
また、前記モデル画像記憶手段は、複数の人物について、前記変換した情報を記憶することが好ましい。当該情報を記憶しておき、入力された認識対象の顔画像と照合することにより、認識対象である人物を特定することが可能となるからである。
【００１４】
また、前記顔画像情報入力手段として、ビデオカメラを用いることができる。この場合には、容易に認識対象である顔画像を撮影して、本発明の顔画像認識システムに取り込むことができる。
【００１５】
また、前記顔画像情報入力手段として、イメージスキャナを用いることもできる。この場合には、既に撮影されている顔画像の認識を行うことが可能となる。また、前記顔画像情報入力手段として、外部記憶装置を用いることもできる。近年、デジタルカメラのように、顔画像情報をデジタル情報として処理する装置も多く用いられるようになっており、前記顔画像情報入力手段として、外部記憶装置を用いることにより、デジタル化された情報についても、本発明の顔画像認識システムに取り込むことが可能となる。
【００１６】
前記顔画像情報変換手段はさらに、顔画像情報から人間の顔の部分に該当する情報を抽出する抽出手段を有し、前記顔画像情報入力手段がとり込んだ顔画像情報から特徴的な小領域を選択する際に、前記抽出手段により抽出された情報から前記小領域を選択するのが好ましい。顔画像情報の処理においては、一般に取り扱うべき情報量が多く、処理に時間がかかる場合が多いが、前記抽出手段を備えることにより、処理量の軽減を図ることができるからである。
【００１７】
また、前記顔画像情報変換手段は、前記特徴的な小領域を選択した後、当該選択された小領域の画素値を要素とする窓画像ベクトルに対して、明るさの正規化処理を施すことが好ましい。かかる処理を行うことにより、撮影時の照明の条件等による明るさの変化に対してもロバストな認識を行うことが可能となるからである。
【００１８】
以上のように、本発明の顔画像認識システムを用いることにより、認識しようとする画像に含まれる認識対象の位置が学習時と比べてずれている場合、認識対象の一部が隠れている場合、背景ノイズが存在する場合、複数の認識対象が存在する場合などにも対応できる顔画像識別システムを提供することができる。
【００１９】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２０】
図１は、本発明の顔画像認識システムの全体構成を示すブロック図である。同図に示されるように、本発明の顔画像認識システムは、顔画像情報入力手段としての画像入力部１０１、顔画像情報変換手段、及び照合手段としての制御部１０２、モデル画像記憶手段としてのモデル画像格納部１０３、出力部１０４を備えている。
【００２１】
画像入力部１０１としては、例えばビデオカメラ、イメージスキャナ等が用いられ、画像入力部１０１を介して、学習画像及び認識対象画像となる顔画像情報が入力される。また、画像入力部１０１としては、補助記憶装置を接続して使用することも可能である。
【００２２】
制御部１０２は、入力処理部１０２１、認識処理部１０２２、表示処理部１０２３を備える。入力処理部１０２１は、画像入力部１０１からの入力を受け付ける。
【００２３】
認識処理部１０２２は、後述する学習フェーズでは、入力処理部１０２１が受け付けた画像情報から特徴データを抽出し、モデル画像情報として、モデル画像格納部１０３に格納する。また、認識処理部１０２２は、後述する認識フェーズでは、入力処理部１０２１が受け付けた認識対象の顔画像情報から特徴データを抽出し、学習フェーズでモデル画像格納部１０３に格納された情報と照合することにより顔画像の認識を行い、認識の結果を表示処理部１０２３に送る。特徴データの抽出処理については、後に詳細に説明する。
【００２４】
表示処理部１０２３は、認識処理部１０２２による認識の結果を出力部１０４に出力する。
【００２５】
モデル画像格納部１０３には、前記認識処理部１０２２により生成されたモデル画像情報が格納される。
【００２６】
出力部１０４には、顔画像の認識結果等が出力される。
【００２７】
ここで、本発明に係る顔画像認識システムで用いるＥｉｇｅｎ−Ｗｉｎｄｏｗ法の一般的な概念について説明する。Ｅｉｇｅｎ−Ｗｉｎｄｏｗ法は、上記従来の固有空間法を改良したものであり、固有空間法が、認識対象が含まれる画像全体を一つのモデルとして扱うのに対して、画像中の認識対象を特徴的な小領域（以下、「窓画像」という。）に分割し、これらの集合で認識対象をモデル化する手法である。Ｅｉｇｅｎ−Ｗｉｎｄｏｗ法を用いる三次元物体の認識では、認識対象を部分的な要素の集合として捉えることにより、固有空間法では実現できなかった、画像中に含まれる認識対象の位置ずれや隠れ、背景ノイズ、画像中に認識対象が複数存在する場合などに対応した認識が可能となる。
【００２８】
以下、Ｅｉｇｅｎ−Ｗｉｎｄｏｗ法に基づく一般的な三次元物体の認識の処理過程について説明する。
【００２９】
Ｅｉｇｅｎ−Ｗｉｎｄｏｗ法の処理過程は、入力画像からモデル画像情報を生成する学習フェーズ、学習フェーズで作成されたモデル画像情報と認識対象画像とを照合することにより、認識対象画像の認識を行う認識フェーズの２つのフェーズから構成される。
【００３０】
図２は、学習フェーズにおける処理過程の概略を示す図である。同図に示されるように、学習フェーズでは、まず、一つの認識対象を多視点から撮影した一連の学習画像（Ｍ枚）を取り込み、まず、エッジ強度に基づく窓選択を行う。
【００３１】
エッジ強度に基づく窓選択とは、画素の濃淡値を基にエッジ強度を計算し、ある閾値以上のエッジ強度を持つ画素を中心とするＮ画素×Ｎ画素の矩形小領域を窓画像として選択する処理である。
【００３２】
図３は、窓選択について説明するための図である。学習画像からＩ個の窓画像が選択されたとすると、以下の説明では、ｍ枚目の学習画像から選択されたｉ番目の窓画像をＺｍｉと表すことにする。
【００３３】
エッジ強度に基づく窓選択処理が終了すると、ｍ枚目の学習画像に含まれるｉ番目の窓画像の濃淡値を要素とする列ベクトルｚｍｉから構成される、下記（数１）に示される行列Ｚｍ  に対して、下記（数２）に示す共分散行列Ｑを計算する。
【００３４】
【数１】
0003577908.tif 000002
【００３５】
【数２】
0003577908.tif 000003
【００３６】
ここで、ｃは選択された全ての窓画像の平均濃淡値ベクトルを表す。この行列Ｑの固有ベクトルｅｉ  を対応する固有値λｉ  の順にソートし、ある閾値以上の固有値を持つ固有ベクトルを基に、窓画像が持つ元々の次元Ｎ２  に対して十分小さな次元ｋで構成される固有空間への変換行列Ｒを構成する。変換行列Ｒは、具体的には下記の（数３）で表される。
【００３７】
【数３】
0003577908.tif 000004
【００３８】
変換行列Ｒによって張られるｋ次元固有空間へ、学習窓画像Ｚｍ  を投影し、対応する点群行列Ｇｍ  を導く（これら一連の変換処理をＫａｒｈｕｎｅｎ−Ｌｏｅｖｅ展開、以下、略して「ＫＬ展開」という。）。点群行列Ｇｍ  は、具体的には、下記の（数４）で表される。
【００３９】
【数４】
0003577908.tif 000005
【００４０】
導かれた点群行列Ｇｍ  （以下、Ｇｍ  を、「学習窓画像対応点」という。）を表す情報が、モデル画像格納部１０３に格納され、学習フェーズが終了する。図４は、ｋ＝３の場合の固有空間における学習窓画像対応点Ｇｍ  の様子を表す図である。
【００４１】
次に、認識フェーズにおける処理について説明する。図５は、認識フェーズにおける処理内容の概要を示す図である。同図に示されるように、認識フェーズにおいては、認識対象となる画像の入力を受けて、入力された認識対象画像に対して、学習フェーズと同様に、エッジ強度に基づく窓選択およびＫＬ展開を行う。認識フェーズにおけるＫＬ展開では、選択された入力窓画像行列Ｚｉｎに対応する固有空間上の点群行列Ｇｉｎが求められる。Ｇｉｎは、具体的には、下記の（数５）によって表される（以下、Ｇｉｎを、「入力窓画像対応点」という）。これは、認識対象画像に関して上記（数４）と同様の内容を表すものである。
【００４２】
【数５】
0003577908.tif 000006
【００４３】
上記の処理において得られた入力窓画像対応点Ｇｉｎに含まれる各入力窓画像対応点ｇｉｎｉ  について、学習フェーズでモデル画像格納部１０３に格納されたＧｍ  を表す情報との照合処理を行うことによって、識別対象画像が示す物体の特定、および当該物体の姿勢の特定が行われる。
【００４４】
以下、認識フェーズにおける照合処理の内容について説明する。照合処理は、最近傍点の探索と、投票とからなる。
【００４５】
最近傍点の探索処理においては、固有空間上のベクトル距離を評価基準として、各入力窓画像対応点ｇｉｎｉ  に対して、対応点群行列Ｇｍ  の中から最小距離を示す学習窓画像対応点ｇｍｊを探索し、各入力窓画像ｚｉｎｉ  に見えが最も類似する学習窓画像ｚｍｊを求める。図６は、この際の固有空間の様子を具体的に示す図である。同図において、ｉ番目の入力窓画像対応点ｇｉｎｉ  に対しては、学習窓画像対応点の一つｇｍｊとが、最も類似することを示している。この場合には、学習窓画像対応点ｇｍｊに対応する学習窓画像ｚｍｊが、入力窓画像ｚｉｎｉ  に見えが最も類似する学習窓画像として求められる。
【００４６】
投票処理とは、各入力窓画像ｚｉｎｉ  に対して、上記で求められた最も類似する学習窓画像ｚｍｊとの画像内相対位置Δｘ（ｚｉｎｉ  ，ｚｍｊ）を基に、ｍ枚目の学習画像に対応する投票空間に投票する処理である。上記画像内相対位置は、具体的には、下記の（数６）により求められる。
【００４７】
【数６】
0003577908.tif 000007
【００４８】
上記（数６）において、ｐ［］は、全体画像中の窓画像位置を算出する演算式である。投票が終了すると、ｍ枚の各学習画像に対応するＭ個の投票空間上における得票数のピーク位置を検出することにより、入力画像中に含まれる対象に最も類似する学習画像を特定することができる。図７は、投票空間の様子を具体的に示す図である。ここで、得票数のピーク位置が複数検出された場合には、モデル画像に合致する認識対象が複数存在するものと認識することができる。
【００４９】
特定された学習画像に基づいて、入力画像中に含まれる認識対象の物体の種類、位置、姿勢等を推定することが可能となる。
【００５０】
次に、以上に説明したような概念に基づく処理により実現されるＥｉｇｅｎ−Ｗｉｎｄｏｗ法の手法を、顔画像認識システムに適用する方法について説明する。
【００５１】
本発明に係る顔画像認識システムでは、上記に説明したようなＥｉｇｅｎ−Ｗｉｎｄｏｗ法を実現するための種々の計算を、認識処理部１０２２が行うが、認識対象画像が人間の顔画像であることから、種々の改良を行っている。
【００５２】
まず、改良点の一つとして、学習フェーズに先立って初期設定処理を行うこととしている。初期設定処理とは、本実施の形態の顔画像認識システムに対して、顔画像の肌色を認識させることにより、より顔画像の認識精度を高めるとともに、認識処理の効率を向上させるべく行う処理である。
【００５３】
図８は、初期設定処理における認識処理部１０２２の処理内容を示すフローチャートである。同図に示されるように、認識処理部１０２２は、まず、入力部１０１を介してサンプル画像読み取り処理を行う（Ｓ８０１）。図９は、サンプル画像の一例を示す図である。サンプル画像とは、肌色を含む画像であり、図９に示されるように、画像の中で肌色の部分には、指定領域として、利用者によってあらかじめマークが付けられている。認識処理部１０２２は、当該マークが付けられている肌色に相当する画素に対して、ＨＳＩ変換を行い、ＨＳＩ値を求める（Ｓ８０２）。
【００５４】
ＨＳＩ変換とは、各画素にＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの値（通常、各２５６段階）が記述されたＲＧＢ画像を、Ｈｕｅ（色相）、Ｓａｔｕｒａｔｉｏｎ（彩度）、Ｉｎｔｅｎｓｉｔｙ（輝度）の三属性で表されたＨＳＩ画像に変換する処理である。上記ＨＳＩの三属性は、照明条件の変化などに起因する明るさの変化に対して変動を受け難いという特性を有するため、明るさの変化に対してロバストな顔画像の認識を行うことが可能となる。
【００５５】
さらに、認識処理部１０２２は、肌色領域の抽出を行う（Ｓ８０３）。
【００５６】
肌色領域の抽出とは、前述の如くＨＳＩ変換された肌色部分の画像の持つＨＳＩ値を基に、各画素をＨＳＩ空間上の点としてプロットし、これらの点が適切に含まれるように、以下の（数７）に示すような肌色領域のパラメータＨｍｉｎ、Ｈｍａｘ、Ｓｍｉｎ、Ｓｍａｘ、Ｉｍｉｎ、Ｉｍａｘを決定する処理である。
【００５７】
【数７】
0003577908.tif 000008
【００５８】
図１０は、上記ＨＳＩ空間における肌色領域の抽出について、具体的に説明するための図である。同図に示される直方体の部分が、ＨＳＩ空間における肌色領域である。
【００５９】
以上のような初期設定処理を終了した本実施の形態の顔画像認識システムによる、学習フェーズと認識フェーズにおける認識処理部１０２２の処理内容について、以下に図面を参照しながら説明する。
【００６０】
図１１は、学習フェーズにおける認識処理部１０２２の処理内容を示すフローチャートである。同図に示される如く、本発明に係る顔画像認識システムでは、最初に説明したＥｉｇｅｎ−Ｗｉｎｄｏｗ法に基づくエッジ強度に基づく窓選択に先立って、肌色情報に基づく窓選択を行う（Ｓ１１０１）。認識対象が人間の顔画像であることに基づくＥｉｇｅｎ−Ｗｉｎｄｏｗ法の改良点の一つである。
【００６１】
肌色情報に基づく窓選択とは、初期設定処理において、本実施の形態の顔画像認識システムに認知された肌色情報に基づき、学習画像において肌色に相当する領域のみから窓選択を行う処理である。このような処理を行うことにより、エッジ強度に基づく窓選択等、その後の処理の効率を向上させることが可能となる。
【００６２】
図１２は、肌色情報に基づく窓選択の詳細な処理内容を示すフローチャートである。同図に示されるように、肌色情報に基づく窓選択においては、まず、各学習画像にＨＳＩ変換を施し、変換された各画素のＨＳＩ値を基に、人間の顔の肌色に相当する領域を抽出する（Ｓ１２０１）。
【００６３】
上述の如く、初期設定処理において肌色領域に該当するＨＳＩ値の範囲が抽出されているので、ここでは、当該肌色領域に該当するＨｕｅ値ｈを示す画素のみを選択することになる。
【００６４】
次に一致度マップの生成を行う（Ｓ１２０２）。一致度マップとは、ＨＳＩ空間上において、上記ステップＳ１２０１にて選択された画素のＨＳＩ値の位置が、前記初期設定処理にてマークされた肌色領域内における画素のＨＳＩ値を含む肌色領域における中心位置とどのくらい近いかを計算した一致度の値を画像上の画素位置に書き込んだものである。一致度の計算は、具体的には以下のようにして行う。即ち、例えば、ＨＳＩ空間上の肌色領域の直方体の中心に近い位置にプロットされた点に対しては、中心との位置が近いので、高い一致度を割り当て、直方体の側面に近い位置にプロットされた点に対しては、中心との位置が近くないので、低い一致度を与える。なお、肌色領域の外部に位置する点に対しては一致度０を割り当てる。図１３（ａ）は、一致度マップの内容を具体的に表した図である。
【００６５】
さらに、この一致度マップに対して、閾値処理を行い、あらかじめ設定された閾値よりも高い一致度を示す画素を窓画像候補点として選択する（Ｓ１２０３）。図１３（ｂ）に、選択された窓画像候補点の内容を具体的に示す。
【００６６】
上記、肌色情報に基づく窓選択を終了すると、図１１のフローチャートに戻って、エッジ強度に基づく窓選択を行う（Ｓ１１０２）。エッジ強度に基づく窓選択については、上記Ｅｉｇｅｎ−Ｗｉｎｄｏｗ法の説明において既に説明しているので、ここでの詳細な説明は省略するが、本実施の形態の顔画像認識システムにおいては、上記肌色情報に基づく窓選択の処理にて選択された肌色を示す画素に対してのみ、画像の濃淡値を基にエッジ強度が計算され、窓選択が行われることになる。
【００６７】
次に、本実施の形態の窓画像認識システムでは、明るさの正規化処理を行う（Ｓ１１０３）。これは、顔画像の撮影時に起こりうる照明及び環境の変化等に起因する対象の見えの変化に対して、ある程度ロバストな認識を可能にするためにＥｉｇｅｎ−Ｗｉｎｄｏｗ法を改良した点の一つである。
【００６８】
図１４は、明るさの正規化処理の詳細な処理内容を示すフローチャートである。同図に示されるように、明るさの正規化処理においては、まず、窓画像として選択されたＲＧＢ値に対してＧｒａｙ−Ｓｃａｌｅ変換を施し、一つのＧｒａｙ−Ｓｃａｌｅ値（通常、２５６段階の濃淡値である。）で表現されたＧｒａｙ−Ｓｃａｌｅ窓画像に変換する（Ｓ１４０１）。
【００６９】
次に、この窓画像の各画素のＧｒａｙ−Ｓｃａｌｅ値ｚ１、ｚ２、・・・、ｚＮ（Ｎは窓画像の全画素数）を要素とする窓画像ベクトルＺを生成し（Ｓ１４０２）、このベクトルの各要素ｚｉ  の２乗和のルート（以下、この値をベクトルの「ノルム」という。）を計算する（Ｓ１４０３）。以下、窓画像ベクトルＺのノルムの値を‖Ｚ‖で表す。
【００７０】
さらに、窓画像ベクトルＺをこのノルムの値‖Ｚ‖で除算することにより、明るさの正規化処理を行い、その結果得られた正規化窓画像ベクトルＺ´を、明るさの正規化処理の結果として出力する（Ｓ１４０４）。
【００７１】
出力された正規化窓画像ベクトルＺ´について、ＫＬ展開を行うことによって（Ｓ１１０５）、学習窓画像対応点の情報がモデル画像格納部１０３に格納されるが（Ｓ１１０６）、ＫＬ展開については、Ｅｉｇｅｎ−Ｗｉｎｄｏｗ法に関する説明のところで詳述しているので、ここでの詳細な説明は省略する。
【００７２】
尚、ＫＬ展開を行うためには、準備された全ての学習画像を読み込んでおく必要があるので、ＫＬ展開を行う前に、学習画像をすべて読み込むようにしている（Ｓ１１０４）。
【００７３】
次に、準備された全ての学習画像をＫＬ展開し、その結果をモデル画像格納部１０３に格納すると、学習フェーズが終了する。
【００７４】
次に、モデル画像格納部１０３に格納された学習窓画像対応点の情報を用いて、認識対象画像を認識する認識フェーズにおける、本実施の形態の顔画像認識システムの処理内容について説明する。
【００７５】
図１５は、認識フェーズにおける認識処理部１０２２の処理内容を示すフローチャートである。同図に示される如く、認識フェーズでは、認識対象となる顔画像情報について、学習フェーズと同様に、肌色情報に基づく窓選択（Ｓ１５０１）、エッジ強度に基づく窓選択（Ｓ１５０２）、明るさの正規化（Ｓ１５０３）を行う。それぞれの処理の内容については、学習フェーズで説明した内容と同一であるので、ここでの詳しい説明は省略する。
【００７６】
認識フェーズでは、明るさの正規化を行った後、ＫＬ展開（Ｓ１５０４）、最近傍点の探索（Ｓ１５０５）、及び投票処理（Ｓ１５０６）を行う。
【００７７】
この部分の処理内容については、最初にＥｉｇｅｎ−Ｗｉｎｄｏｗ法について説明したところで詳述しているので、ここでの説明は省略する。
【００７８】
以上のような、認識フェーズの処理を行うことにより、入力された顔画像に対応する人物の名前、姿勢等を特定することができる。
【００７９】
【実施例】
図１６に、本発明の一実施例における顔画像認識システムの構成を示す。
【００８０】
同図に示されるように、本実施例においては、本発明の顔画像認識システムは、床に固定された椅子１６０１、椅子の角度を計測するためのゲージ１６０２、顔画像撮影用カメラ１６０３、および認識処理を行うコンピュータ１６０４などから構成されている。
【００８１】
学習した範囲内の任意の角度を向く椅子に腰掛けた人物の顔画像をカメラから取り込み、この入力された顔画像と、あらかじめ学習画像から作成したモデルとの照合を行うことにより、顔の識別と姿勢同定を行うことができる。
【００８２】
まず、学習フェーズでは、学習画像として、５人の人物を撮影用カメラから１２５０ｍｍ離れた椅子に座らせて、０度（右真横）から１８０度（左真横）まで３０度おきに撮影した計３５枚の画像を用いた。図１７は、本実施例において使用した学習画像を示す図である。
【００８３】
撮影時には特別な照明は使用せず、室内灯のみの環境下で行った。
【００８４】
取得した画像のサイズは１２０×１６０画素であり、そのＲＧＢ値を濃淡値画像に変換した後、エッジ強度に基づく窓画像（Ｎ＝１０）選択を行い、ｋ＝１０次元の固有空間上へ投影した。
【００８５】
この時の３５枚の学習画像に対する総窓画像数は３４８５個であった。
【００８６】
次に認識フェーズでは、以下に示す三つの場合のそれぞれに対して、５人の人物を０度から１８０度まで１５度おきに撮影し、これら計１９５枚の画像（学習画像と同サイズ）を評価用の入力画像（認識対象画像）として用いた。図１８に、本実施例の認識フェーズで使用した入力画像を示す。
【００８７】
第１の実施例として、カメラ設置位置を１２０ｍｍ移動し、相対的に画像中の顔位置を移動させた画像を入力した場合（６５枚）、第２の実施例として、被撮影者が口元を手で覆い隠した画像を入力した場合（６５枚）、及び第３の実施例として、学習画像と異なる複雑な背景を含む画像を入力した場合（６５枚）のそれぞれについての、実施の結果を図１９および図２０に示す。
【００８８】
図１９に示された数字は、顔の姿勢に関わらず、入力画像中に含まれる人物を正しく特定できた場合を正解とした個人識別率を表している。また、図２０に示された数字は、顔の姿及び入力画像中に含まれる人物を正しく特定できた場合を正解とした個人識別／姿勢特定率を表している。
【００８９】
尚、いずれの場合も、比較のため、固有空間法を用いた場合の個人識別率を下段に示している。
【００９０】
このように、本発明のに係る顔画像認識システムは、従来の固有空間法に基づく同様のシステムと比較して、対象の位置ずれ、隠れ、背景ノイズが存在する場合においても、識別率が向上することが確認された。
【００９１】
【発明の効果】
以上に説明したように、本発明に係る顔画像認識システムは、従来の固有空間法が有していた、位置ずれに弱い等の欠点を克服したＥｉｇｅｎ−Ｗｉｎｄｏｗ法に基づく顔画像認識手法を用いるため、認識対象画像が対象の位置ずれや隠れ、背景ノイズを含む場合、また複数の顔が画像内に存在する場合などにも対応することが可能な顔画像認識システムを実現することができるという効果を奏する。
【００９２】
また、ＨＳＩ変換した後のＨｕｅ値を用いて、顔に相当する肌色領域に対してのみから窓画像を選択するため、顔の部分以外の部分に位置する窓画像に対する処理を極力排除でき、結果的に、外乱を含む画像に対しても認識率を向上させるとともに、認識フェーズにおける処理速度を向上させることができるという効果がある。
【００９３】
さらに、各窓画像ごとに明るさの正規化処理を施すため、画像全体の明るさが均一に変動した場合だけでなく、影などにより局所的に明るさが変動する場合においても、安定な顔画像認識が可能になるという効果がある。
【図面の簡単な説明】
【図１】本発明の一実施の形態に係る顔画像認識システムの全体構成を示すブロック図である。
【図２】Ｅｉｇｅｎ−Ｗｉｎｄｏｗ法の学習フェーズにおける処理過程の概略を示す図である。
【図３】窓選択について説明するための図である。
【図４】学習窓画像対応点の様子を表す図である。
【図５】Ｅｉｇｅｎ−Ｗｉｎｄｏｗ法の認識フェーズにおける処理過程の概略を示す図である。
【図６】最近傍点の探索処理における固有空間の様子を具体的に示す図である。
【図７】投票空間の様子を具体的に示す図である。
【図８】初期設定処理における認識処理部の処理内容を示すフローチャートである。
【図９】初期設定処理において用いられるサンプル画像の一例を示す図である。
【図１０】ＨＳＩ空間における肌色領域の抽出について、具体的に説明するための図である。
【図１１】学習フェーズにおける認識処理部の処理内容を示すフローチャートである。
【図１２】肌色情報に基づく窓選択の詳細な処理内容を示すフローチャートである。
【図１３】（ａ）    一致度マップの内容を具体的に説明するための図である。
（ｂ）    選択された窓画像候補点の内容を具体的に示す図である。
【図１４】明るさの正規化処理の詳細な処理内容を示すフローチャートである。
【図１５】認識フェーズにおける認識処理部の処理内容を示すフローチャートである。
【図１６】本発明の一実施例における顔画像認識システムの構成を示す図である。
【図１７】本実施例の学習フェーズにおいて使用した学習画像を示す図である。
【図１８】本実施例の認識フェーズにおいて使用した入力画像を示す図である。
【図１９】本実施例において、顔の姿勢に関わらず、入力画像中に含まれる人物を正しく特定できた場合を正解とした個人識別率を表す図である。
【図２０】本実施例において、顔の姿及び入力画像中に含まれる人物を正しく特定できた場合を正解とした個人識別／姿勢特定率を表す図である。
【符号の説明】
１０１                                        入力部
１０２                                        制御部
１０２１                                    入力処理部
１０２２                                    認識処理部
１０２３                                    表示処理部
１０３                                        モデル画像格納部
１０４                                        出力部
【図１】
0003577908.tif 000009
【図２】
0003577908.tif 000010
【図３】
0003577908.tif 000011
【図４】
0003577908.tif 000012
【図５】
0003577908.tif 000013
【図６】
0003577908.tif 000014
【図７】
0003577908.tif 000015
【図８】
0003577908.tif 000016
【図９】
0003577908.tif 000017
【図１０】
0003577908.tif 000018
【図１１】
0003577908.tif 000019
【図１２】
0003577908.tif 000020
【図１３】
0003577908.tif 000021
【図１４】
0003577908.tif 000022
【図１５】
0003577908.tif 000023
【図１６】
0003577908.tif 000024
【図１７】
0003577908.tif 000025
【図１８】
0003577908.tif 000026
【図１９】
0003577908.tif 000027
【図２０】
0003577908.tif 000028