(57)【特許請求の範囲】
【請求項１】
画像の顔情報に関するメタデータを生成する顔メタデータ生成方法において、
前記画像から複数の異なった局所領域を切り出し、
前記局所領域の各々に対して周波数特徴を抽出し、
前記周波数特徴をベクトルとする特徴ベクトルを予め規定してある部分空間に射影し、
各局所領域の射影された特徴ベクトルを抽出し、それらの特徴ベクトルを顔メタデータとして生成し、
前記部分空間は、予め固有ベクトルに対応する固有値の平方根で除した基底ベクトルによって決定されるようにすることを特徴とする顔メタデータ生成方法。
【請求項２】
前記周波数特徴として、離散フーリエ変換によるフーリエ周波数のパワースペクトル強度を抽出することを特徴とする請求項1に記載の顔メタデータ生成方法。
【請求項３】
前記周波数特徴として、離散コサイン変換、あるいは離散サイン変換による展開係数を周波数特徴として抽出することを特徴とする請求項１に記載の顔メタデータ生成方法。
【請求項４】
前記部分空間として、周波数特徴の主成分分析によって予め得られる基底ベクトルによって特定される部分空間を用いて、周波数特徴ベクトルを射影することによって主成分ベクトルを計算することを特徴とする請求項１、２、または、３のいずれかに記載の顔メタデータ生成方法。
【請求項５】
前記部分空間として、周波数特徴の独立成分分析によって予め得られる基底ベクトルによって特定される部分空間を用いて、周波数特徴ベクトルを射影することによって特徴ベクトルを計算することを特徴とする請求項１、２、または、３のいずれかに記載の顔メタデータ生成方法。
【請求項６】
前記部分空間として、周波数特徴の判別分析によって予め得られる基底ベクトルによって特定される部分空間を用いて周波数特徴ベクトルを射影することによって特徴ベクトルを計算することを特徴とする請求項１、２、または、３のいずれかに記載の顔メタデータ生成方法。
【請求項７】
前記局所領域として、各局所領域に対応する領域位置を前記画像の中から探索し、切り出し位置を求めた後に、局所領域を切り出すことを特徴とする請求項１〜６のずれか一項に記載の顔メタデータ生成方法。
【請求項８】
画像の顔情報に関するメタデータを生成する顔メタデータ生成装置において、
前記画像から局所領域を切り出す領域切り出し手段と、
前記局所領域切り出し手段によって切り出された領域の周波数特徴を抽出する周波数特徴抽出手段と、
前記周波数抽出手段によって抽出された周波数特徴をベクトルとする特徴ベクトルを予め規定してある部分空間に射影するベクトル射影手段を、少なくとも備え、
複数の異なった局所領域毎に射影された特徴ベクトルを抽出し、それらの特徴ベクトルを顔メタデータとして生成し、
前記部分空間は、予め固有ベクトルに対応する固有値の平方根で除した基底ベクトルによって決定されるようにすることを特徴とする顔メタデータ生成装置。
【請求項９】
前記周波数特徴抽出手段は、離散フーリエ変換によるフーリエ周波数のパワースペクトル強度を周波数特徴として抽出することを特徴とする請求項８に記載の顔メタデータ生成装置。
【請求項１０】
前記周波数特徴抽出手段は、離散コサイン変換、あるいは離散サイン変換による展開係数を周波数特徴として抽出することを特徴とする請求項８に記載の顔メタデータ生成装置。
【請求項１１】
前記ベクトル射影手段は、周波数特徴の主成分分析によって予め得られる基底ベクトルによって特定される部分空間に周波数特徴ベクトルを射影することによって主成分ベクトルを計算することを特徴とする請求項８、９、または、１０に記載の顔メタデータ生成装置。
【請求項１２】
前記ベクトル射影手段は、周波数特徴の独立成分分析によって予め得られる基底ベクトルによって特定される部分空間に周波数特徴ベクトルを射影することによって特徴ベクトルを計算することを特徴とする請求項８、９、または、１０に記載の顔メタデータ生成装置。
【請求項１３】
前記ベクトル射影手段は、周波数特徴の判別分析によって予め得られる基底ベクトルによって特定される部分空間に周波数特徴ベクトルを射影することによって特徴ベクトルを計算することを特徴とする請求項８、９、または、１０に記載の顔メタデータ生成装置。
【請求項１４】
前記領域切り出し手段は、各局所領域に対応する領域位置を前記画像の中から探索し、切り出し位置を求めた後に、局所領域を切り出すことを特徴とする請求項８〜１３のいずれか一項に記載の顔メタデータ生成装置。
【請求項１５】
コンピュータに、画像の顔情報に関するメタデータを生成させるためのコンピュータプログラムにおいて、
前記画像から複数の異なった局所領域を切り出すステップと、
前記局所領域の各々に対して周波数特徴を抽出するステップと、
前記周波数特徴をベクトルとする特徴ベクトルを予め規定してある部分空間に射影するステップと、
各局所領域の射影された特徴ベクトルを抽出し、それらの特徴ベクトルを顔メタデータとして生成するステップと、をコンピュータに実行させるプログラムであって、
前記部分空間は、予め固有ベクトルに対応する固有値の平方根で除した基底ベクトルによって決定されるようにすることを特徴とする顔メタデータ生成プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、顔同定や顔識別、顔の表情認識、顔による男女識別、顔によ
る年齢判別等に利用可能な顔認識技術に関わり、特に静止画像や動画像に映されている顔情報に関するメタデータを生成するメタデータの生成装置、生成方法、生成プログラムに関する。
【０００２】
【従来の技術】
メタデータとは、一般に、データの意味を記述あるいは代表するデータのことであり、顔認識の場合には、主に静止顔画像や動画像などの顔データに関するデータを意味する。
【０００３】
映像・画像や音声などのマルチメディアコンテンツに対するメタデータの標準化活動として、MPEG-7(Moving Pictures Experts Group-7)の活動が広く知られている。この中で顔認識に関するメタデータの記述子として、顔認識記述子が提案されている(A. Yamada他編, "MPEG-7 Visual part of eXperimental Model Version 9.0," ISO/IEC JTC1/SC29/WG11 N3914, 2001)。
【０００４】
この顔認識記述子では、切り出して正規化した顔画像に対して、一般的に 固有顔と呼ばれる部分空間法の一種を用いて、顔画像の特徴量を抽出するための基底行列を求め、この基底行列によって画像中から顔特徴量を抽出し、これをメタデータとする。また、この顔特徴量に対する類似度として重み付け絶対値距離を用いることを提案している。
【０００５】
また、顔認識に関する技術には様々な方法があることが知られており、例えば、主成分分析(Moghaddam他,"Probalilistic Visual Learning for Object Detection", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 17, No. 7, pp. 696-710, 1997)、あるいは、判別分析(W. Zhao他, "Discriminant Analysis of Principal Components for Face Recognition," Proceedings of the IEEE Third International Conference on Automatic Face and Gesture Recognition, pp. 336-341, 1998)に基づく固有空間法による顔認識手法が知られている。また、独立分析分析を用いた顔同定方法もある(梅山他、"教師付き独立成分分析を用いた顔の同定について", 電子情報通信学会, PRMU99-27,1999)。
一方、特開平5-20442号公報や文献(赤松他、"濃淡画像マッチングによるロバストな正面顔の識別法-フーリエスペクトルのKL展開の応用-",電子情報通信学 会論文誌、J76-D-II, No.7, pp. 1363-1373, 2001.)に記載されている顔画像 照合技術では、顔画像のフーリエ周波数のパワースペクトラムに対して、主成分分析を行って得られる顔特徴量を用いて、顔照合を行う。フーリエ変換によって得られるパワースペクトルが、平行移動に対して不変な特徴量であるという性質を利用して、画像の画素を特徴ベクトルとして主成分分析する場合よりも、良好な結果を出している。
【０００６】
また、局所的な画像領域に分割してテンプレートマッチングを行うことで、画像のマッチングを行う方法もある(斉藤、"ブロック投票処理による遮へいに頑強な点プレートマッチング",電子情報通信学会論文誌,Vol.J84-D-II, No.10,pp.2270-2279.)。この方法は局所領域毎にマッチングを行い、その評価値を局所領域毎に累積してマッチングの評価値を計算したり、あるいは局所領域の評価値を投票空間に投票することで画像のマッチングの評価値を計算する。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来の技術では、顔画像の全体に対して一様にサンプリングした画素値、あるいは画像全体のフーリエスペクトルを入力特徴として、主成分分析や独立成分分析等を行うために、画像上の一部で発生するマッチングの誤差(例えば、隠蔽等や顔の向きの変動などに起因するマッチングの誤差)が部分空間へのベクトルに波及してしまい、その結果、全体的な評価値が影響を受けて、照合精度が上がらないというという問題があった。例えば、画素特徴を主成分分析した場合に得られる基底ベクトルでは、そのベクトル要素が画素全体に係数に持つ場合が多く、射影後の特徴ベクトルが一部の領域の誤差に影響を受けるためである。
【０００８】
一方、局所的な画像領域に分割するテンプレートマッチングでは隠蔽等を吸収してマッチングできるもの、ブロックのマッチングを行うための演算量が多く実用上問題であった。
【０００９】
本発明は、前述のような従来技術の問題点に鑑み、記述長が短くて、マッチングの演算量が少なくでき、且つ、顔認識の精度を向上させることが可能な顔メタデータ生成技術を提供することにある。
【００１０】
【課題を解決するための手段】
本発明によれば、画像の顔情報に関するメタデータを生成する顔メタデータ生成装置において、前記画像から局所領域を切り出す領域切り出し手段と、前記局所領域切り出し手段によって切り出された領域の周波数特徴を抽出する周波数特徴抽出手段と、前記周波数抽出手段によって抽出された周波数特徴をベクトルとする特徴ベクトルを予め規定してある部分空間に射影するベクトル射影手段を少なくとも備え、複数の異なった局所領域毎に射影された特徴ベクトルを抽出し、それらの特徴ベクトルを顔メタデータとして生成することを特徴とする。
【００１１】
前記周波数特徴抽出手段は、離散フーリエ変換によるフーリエ周波数のパワースペクトル強度を周波数特徴として抽出することを特徴とする。あるいは、前記周波数特徴抽出手段は、離散コサイン変換、あるいは離散サイン変換による展開係数を周波数特徴として抽出することを特徴とする。
【００１２】
さらに、前記ベクトル射影手段は、周波数特徴の主成分分析、あるいは、判別分析、あるいは、独立成分分析によって予め得られる基底ベクトルによって特定される部分空間に周波数特徴ベクトルを射影することによって主成分ベ クトルを計算することを特徴とする。
【００１３】
また、前記領域切り出し手段は、各局所領域に対応する領域位置を前記画像の中から探索し、切り出し位置を求めた後に、局所領域を切り出してもよい。
【００１４】
上述した顔メタデータ生成装置によって抽出された顔メタデータは、高速で高精度の顔画像のマッチングを達成することが可能な記述長がコンパクトな 顔メタデータとなる。
【００１５】
【発明の実施の形態】
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の顔メタデータ生成装置を用いた顔画像マッチングシステムを示すブロック図である。
【００１６】
以下、顔画像マッチングシステムについて詳細に説明する。
【００１７】
図１に示すように、本発明による顔画像マッチングシステムでは、顔画像を入力する顔画像入力部１１と、顔メタデータを生成する顔メタデータ生成部１２と、抽出された顔メタデータを蓄積する顔メタデータ蓄積部１３と、顔メタデータから顔の類似度を算出する顔類似度算出部１４と、顔画像を蓄積する 顔画像データベース１５と、画像の登録要求・検索要求に応じて、画像の入力・メタデータの生成・メタデータの蓄積・顔類似度の算出の制御を行う制御部１６と顔画像や他の情報を表示するディスプレイの表示部１７と、が設けられている。
【００１８】
また、顔メタデータ生成部１２は、入力された顔画像から顔の局所領域を切り出す領域切り出し手段１２１と、切り出された領域の周波数特徴を抽出する周波数特徴抽出手段１２２と、周波数特徴をベクトルとする特徴ベクトルを部分空間に射影し、特徴ベクトルを抽出するベクトル射影手段１２３によって構成され、複数の異なった局所領域毎に特徴ベクトルを抽出することで、顔メタデータを生成する。
【００１９】
顔画像の登録時には、スキャナあるいはビデオカメラなどの画像入力部１１で顔写真等を顔の大きさや位置を合わせた上で入力する。あるいは、人物の 顔を直接ビデオカメラなどから入力しても構わない。この場合には、前述のMohaddamの文献に示されているような顔検出技術を用いて、入力された画像の顔位置を検出し、顔画像の大きさ等を自動的に正規化する方がよいであろう。
【００２０】
また、入力された顔画像は必要に応じて顔画像データベース１５に登録する。顔画像登録と同時に、顔メタデータ生成部１２によって顔メタデータを生成し、顔メタデータ蓄積部１３に蓄積する。
【００２１】
検索時には登録時と同様に顔画像入力部１１によって顔画像を入力し、顔メタデータ生成部１２にて顔メタデータを生成する。生成された顔メタデータは、一旦顔メタデータ蓄積部１３に登録するか、または、直接に顔類似度算出部１４へ送られる。
【００２２】
検索では、予め入力された顔画像がデータベース中にあるかどうかを確認する場合(顔同定)には、顔メタデータ蓄積部１３に登録されたデータの一つ一つとの類似度を算出する。最も類似度が高い結果に基づいて制御部１６では、 顔画像データベース１５から、顔画像を選び、表示部１７等に顔画像の表示を行い、検索画像と登録画像における顔の同一性を作業者が確認する。
【００２３】
一方、予めＩＤ番号等で特定された顔画像と検索の顔画像が一致するかどうかを確認する場合(顔識別)では、特定されたＩＤ番号の顔画像と一致するか、否かを顔類似度算出部１４にて計算し、予め決められた類似度よりも類似度が低い場合には、一致しないと判定し、類似度が高い場合には一致すると判定し、その結果を表示部１７に表示する。このシステムを入室管理用に用いるならば、顔画像を表示する変わりに、制御部１６から自動ドアに対して、その開閉制御信号を送ることで、自動ドアの制御によって入室管理を行うことができる。
【００２４】
上記のように、顔画像マッチングシステムは動作するが、このような動作はコンピュータシステム上で実現することもできる。例えば、次に詳述するようなメタデータ生成を実行するメタデータ生成プログラム及び類似度算出プログラムをそれぞれメモリに格納しておき、これらをプログラム制御プロセッサ によってそれぞれ実行することで、顔画像マッチングを実現することができる。
【００２５】
次に、この顔画像マッチングシステムの動作、特に顔メタデータ生成部１２と顔類似度算出部１４について、詳細に説明する。
【００２６】
(1) 顔メタデータ生成
顔メタデータ生成部１２では、位置と大きさを正規化した画像I(x,y)を用いて、顔特徴量を抽出する。位置と大きさの正規化は、例えば、目位置が(32,48)、(62,48)、サイズが92×112画素となるように画像を正規化しておくとよい。以下では、このサイズに画像が正規化されている場合について説明する。
【００２７】
次に、領域切り出し手段１２１によって顔画像の予め設定した顔画像の複数の局所領域を切り出す。例えば、上記の画像を例えば、(x,y)=(15*i+8,15*j+10)(i=0,1,2,...,5;j=0,1,2,...,6)の等間隔の点を中心とする16x16画素の35(=M)個の局所領域に切り出すとする。まずは、この中の一つの領域(i,j)=(0,0)の局所領域s(x,y)を領域切り出し手段１２１によって切り出す。
【００２８】
前述した局所領域の切り出しでは、予め決められた位置で局所領域を切り出しているが、顔の部品(目や鼻、口、眉)の部分領域に分割しておき、その部分領域を検出することによって、各局所領域に対応する領域位置を顔画像の中から探索し、切り出し位置の補正を行った後に、局所領域を切り出すことで、顔の向きによる部品の位置ずれを補正し、より安定した顔特徴量を抽出することが可能となる。例えば、入力画像の平均から計算した平均顔を用いて局所領域のテンプレートを作成し、そのテンプレートをテンプレート探索の基準位置(平均顔における位置でよい)の周辺で探索し、そのマッチングする位置に基づいて切り出し位置を補正してから、局所領域(顔の部品領域)を切り出す。この際のテンプレートマッチングでは、正規化相関法等を用いる。
【００２９】
ここでは、テンプレートは顔の部品ということで説明したが、前述したような均等なサンプリングによって局所領域を定義しておいてもよい。
【００３０】
このように顔の部品等をテンプレートとして持っておき、テンプレートの位置を補正することで、全体的な顔の位置合わせだけでは補正しきれない、姿勢の変動等によって生じる局所領域(顔部品)の位置ずれを補正した上で顔の局所特徴量を抽出すると、出力される局所領域の特徴量を安定化させることができ、照合精度を向上させることができる。
【００３１】
この他にも顔の部品検出については、例えば、特開平10-307923号公報に開示されている顔部品の抽出技術を用いて、顔の部品を抽出することも可能である。
【００３２】
次に、周波数特徴抽出手段１２２では、切り出された局所領域s(x,y)を２次元の離散フーリエ変換によって、フーリエ変換し、得られるフーリエパワースペクトラムS(u,v)のパワー|S(u,v)|を計算する。なお、２次元画像の離散フーリエ変換によってフーリエパワースペクトラムS(u,v)を求める計算方法は、広く知られており、例えば、文献(Rosenfeldら、"ディジタル画像処理"、pp.20-26,近代科学社)に述べられているので、ここでは説明を省略する。
【００３３】
このようにして得られる二次元のフーリエパワースペクトル｜S(u,v)|は２次元の実成分のみの画像を変換しているので、得られるフーリエ周波数成分は対称なものとなる。このため、パワースペクトル|S(u,v)|はu=0,1,...,15; v=0,1,...,15の256個の成分を持つが、その半分の成分u=0,1,...,15; v=0,1,...,7の128個の成分と、残りの半分のu=0,1,...,15;v=8,9,...,15は実質的に同等な成分となる。周波数特徴抽出手段１２２では、照明変動の影響を受けやすい直流成分の|S(0,0)|を除外して、前半の127個のパワースペクトルを周波数特徴として、抽出する。
【００３４】
フーリエ変換の代わりに離散コサイン変換あるいは離散サイン変換を用いて、その展開係数を周波数特徴を抽出しても、構わない。離散コサイン変換の場合には、画像の原点座標を画像中心におくように変換を行うことで、特に顔の非対称成分(特に左右の非対称成分)を抽出しないように、特徴量を抽出することができる。但し、離散コサイン変換や離散サイン変換の場合には必ずしもフーリエパワーのような並進不変性が保たれるわけではないので、予めしておく位置合わせの精度が結果に影響を与えやすくなるので、注意が必要である。
【００３５】
次に、ベクトル射影手段１２３では、周波数特徴として抽出された127個の特徴量をベクトルとして取り扱う。予め規定しておく部分空間は、学習用の顔画像セットを用意し、対応する切り出し領域の周波数特徴ベクトルの主成分分析によって得られる基底ベクトル(固有ベクトル)によって定める。この基底ベクトルの求め方については、前述のMoghaddamの文献や特開平5-20442号公報をはじめとして様々は文献で説明されている一般的に広く知られた方法であるので、ここでは説明を省略する。基底ベクトルは固有値が大きい順番にN個の成分(第１主成分から第N主成分)を用いるとする。Nとしては5個程度で十分であり、もともとも256個の特徴次元を50分の1程度に圧縮することができる。これは主成分分析(KL展開)による次元圧縮の効果が高いためで、顔特徴をコンパクトな特徴として記述することが可能となる。このN個の基底ベクトルによって特徴空間としての部分空間を特定する。但し、基底ベクトルは単位ベクトルに正規化したものではなく、固有ベクトルに対応する固有値によって、その成分を正規化したベクトルを用いるものとする。
【００３６】
つまり、正規直交基底である基底ベクトルを要素とする行列をＵとして、その要素である長さ１の単位ベクトルとなる基底ベクトルＵkの各成分を対応する固有値λkの平方根によって除算しておく。このように予め基底ベクトルを変換しておくことで、後述の照合時におけるマハラノビス距離を用いたマッチング演算の演算量を削減することができる。
【００３７】
このことをより詳しく説明する。二つの周波数特徴ベクトルｘ1とｘ2を正規直交基底の行列Uによって部分空間へ射影して得られるベクトル y1とy2があるとする と、ｙ1=Ｕｘ1、ｙ2 =Ｕｘ2となるが、 マハラノビス距離によって二つのパターン間の距離を測る場合には、
【００３８】
d(ｙ1,ｙ2) =Σk=1N |y1,k-y2,k|2/λk
=Σk=1N |y1,k/λk1/2 - y2,k/λk1/2| 2
=Σk=1N | Ｕk ｘ1/λk1/2 - Ｕk ｘ2/λk1/2|2             （１）
となる。
【００３９】
つまり、予め固有値で除した基底ベクトルＵk/λk1/2を基底ベクトルとして用いると、この行列を用いて射影されたベクトルｙ1'=(Ｕk/λk1/2)ｘ1とｙ2'=(Ｕk/λk1/2)ｘ2の二乗距離はマハラノビス距離となるので、演算量を削減することができる。なお、従来部分空間への射影を求める際に平均ベクトルを引く操作を行うことが多いが、二乗距離等の距離によって類似度を計算する場合には単に特徴ベクトルの原点移動に過ぎないので、平均ベクトルを引いても、引かなくとも、特徴ベクトル間で統一がとれていればどちらでも構わない。
【００４０】
このようにして、ベクトル射影手段１２３によってN(=5)次元の部分空間に射影された特徴ベクトルを抽出することができる。このように主成分分析では少ない次元数でオリジナルの画像の特徴をコンパクトに近似表現でき、少ない次元数で特徴量を表現することで、メタデータの記述長の削減やマッチングの高速化を図ることができる。
【００４１】
また、以上の説明では、主成分分析によって部分空間に周波数ベクトルを射影し、特徴量を抽出する場合について述べたが、前述のZhaoの文献のように判別分析を利用して、特徴成分の基底ベクトルを選択しても良い。この場合も前述と同様に判別分析によって、５個の基底ベクトルを選択して、主成分分析の場合と同様にベクトルを部分空間に射影する。学習データセットが十分にある場合には、判別分析の場合の方が、主成分分析よりも精度が良いので、学習セットが十分に集められる場合には、判別分析を用いた方がよい。なお、基底ベクトルの選び方については、前述のZhaoの文献他広く知られている方法であるので、ここでは詳細な説明を省略する。
【００４２】
同様に、非直交系の部分基底を選ぶ方法として独立成分分析を適用して、基底ベクトルを選択してもよい。独立成分分析によって基底ベクトルを選んだ場合には、基底ベクトルが非直交基底となるが、この場合でも、同様に選んだ部分空間に周波数特徴ベクトルを射影して構わない。独立成分分析についても、広く知られた方法であり、例えば、前述梅山らの文献に開示されており、ここでは詳細な説明を省略する。
【００４３】
判別分析や独立成分分析によって、部分空間を選択した場合には主成分分析の場合の固有値λkに相当する値を別途計算する。これは、学習セットにおいて部分空間へ射影した後の特徴ベクトルを用いて、その分散を各特徴ベクトルの要素毎に計算しておけばよい。この際、同一と見倣すべき人物の間の要素の差からクラス内分散(観測誤差の分散に相当)を求める方が、要素の学習セット全体における分散(パターンの分散に相当)を用いる場合よりも性能がよいので、クラス内分散を用いて、基底行列Ｕを正規化しておくことが望ましい。
【００４４】
このような操作を各局所領域s(x,y)毎に行うことで、N(=5)個の要素を持つM(=35)個のベクトルの特徴量を得ることができる。この特徴ベクトルを入力された顔画像に対する顔メタデータとして、顔メタデータ生成部１２で出力する。
【００４５】
前述したように、上記顔メタデータ生成手順をコンピュータプログラムによってコンピュータに実行させることもできる。
【００４６】
(2) 顔類似度算出
次に顔類似度算出部１４の動作について説明する。
【００４７】
顔類似度算出部１４では、二つの顔メタデータから得られるそれぞれM個のN次元特徴ベクトル{ｙ1i}、{ｙ2i}(i=1,2,...,M)を 用いて、二つの顔の間の類似度ｄ({ｙ1i},{ｙ2i})を算出する。
【００４８】
例えば、
ｄ({ｙ1i},{ｙ2i}) = Σi=1Mwi(Σk=1N|y1,ki - y2,ki|2)        （２）
の二乗距離によって類似度を算出する。
【００４９】
この場合の距離は、基底行列が予め固有値によって正規化してあるので
、 前述の通りマハラノビス距離となっている。また、
【００５０】
ｄ({ｙ1i},{ｙ2i}) = Σi=1M(wiｙ1・ｙ2/|ｙ1||ｙ2|)        （３）
の比較する各特徴ベクトルのなす余弦の線形和によって類似度を算出してもよい。
【００５１】
ここでwiは、各局所領域毎の重み係数である。この係数は、例えば、予め用意した学習セットの中で同一と見倣すべき顔画像における各局所領域i毎の特徴ベクトルの間の類似度(マハラノビス距離あるいはベクトルの余弦)の平均をμiとしたときに、この逆数1/μiを重み係数wiとして用いればよい。
【００５２】
このように各領域毎に重み付けすることで、不安定な局所領域(μiが大きな局所領域)に対しては小さな重みwiが与えられ、有効な局所領域ほど重要な特徴量として大きな重みwiで評価することができる。各局所領域に信頼性の重み付けすることによって、精度の良い照合が可能となる。
【００５３】
なお、距離を用いた場合には値が大きいほど類似度は小さいこと(顔が似ていない)を意味し、余弦を用いた場合には値が大きいほど類似度が大きいこと(顔が似ている)を意味する。
【００５４】
ここまでの説明では、一枚の顔画像が登録され、一枚の顔画像を用いて検索する場合について説明したが、一人の顔に対して複数の画像が登録され、一枚の顔画像を用いて検索する場合には、例えば、登録側の複数の顔メタデータをそれぞれ、類似度の算出をすればよい。
【００５５】
同様に１つの顔当たりの複数枚の画像登録と複数画像による検索の場合も、各組み合わせの類似度の平均や最小値を求めることで、類似度を算出することで、一つの顔データに対する類似度を算出することができる。これは、動画像を複数画像と見倣すことで、本発明のマッチングシステムを動画像における顔認識に対しても適用できることを意味する。
【００５６】
【発明の効果】
以上詳細に説明したように、本発明によれば、顔画像を複数の局所領域に切り出し、その切り出した領域のフーリエ周波数スペクトル等の周波数特徴を抽出し、その抽出された特徴量を主成分分析や独立成分分析等の方法により部分空間に射影して得られる特徴ベクトルを顔メタデータとすることで、コンパクトな記述長を持ち、且つ、部分的な位置変動に対して安定な特性を持つ顔メタデータを生成することが可能となる。このような顔メタデータを用いることで、高速・高精度な顔認識が実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による顔画像マッチングシステムの構成を示すブロック図である。
【符号の説明】
11: 顔画像入力部
12: 顔メタデータ生成部
13: 顔メタデータ蓄積部
14: 顔類似度算出部
15: 顔画像データベース
16: 制御部
17: 表示部
121: 領域切り出し手段
122: 周波数特徴抽出手段
123: ベクトル射影手段
【図１】
0003873793.tif 000002