(57)【要約】【課題】  顔認識方法、装置、およびシステムは、顔画像および顔画像成分に適用される周波数ベースの変換の係数に適用される複数の双対線形判別解析（ＬＤＡ）変換を含む構造を用いる。【解決手段】  この新規の方法は、従来技術と比較して抽出の複雑性を大幅に低減するとともに、顔のポーズ、照明条件、および他の要因に対して向上した堅実性を提供し、ひいては認識または認証の性能を向上させる。【選択図】  図４
2006012130.tif 000002
【特許請求の範囲】
【請求項１】
画像を表現する方法であって、
（ａ）前記画像を成分画像に分割すること、
（ｂ）前記成分画像を周波数領域に変換すること、
（ｃ）前記周波数領域において、前記変換された成分画像を使用して特徴ベクトルを導出すること、および、
（ｄ）ステップ（ｃ）において導出された前記特徴ベクトルに基づいて、少なくとも３段階の判別変換を行うこと、を含む、画像を表現する方法。
【請求項２】
顔を含む画像を表現する方法であって、
（ａ）顔画像を複数の成分画像に分割すること、
（ｂ）前記成分画像を周波数領域に変換すること、
（ｃ）前記周波数領域において、前記変換された成分画像を使用して特徴ベクトルを導出すること、および、
（ｅ）前記特徴ベクトルを使用することによって前記画像の表現を導出すること、を含み、
顔の特徴または領域等の画像の内容に基づいて前記成分画像の分割を行なう、顔を含む画像を表現する方法。
【請求項３】
前記成分画像を周波数領域に変換する工程のうち、少なくとも１つの段階を前記特徴ベクトルに基づいて行う、請求項２記載の顔を含む画像を表現する方法。
【請求項４】
画像を表現する方法であって、
（ａ）前記画像を成分画像に分割すること、
（ｂ）前記成分画像を周波数領域に変換すること、
（ｃ）前記周波数領域において、前記変換された成分画像を使用して特徴ベクトルを導出すること、
（ｆ）双対ＬＤＡを使用して、前記特徴ベクトルに基づいて前記変換のうちの少なくとも１つの段階を行うこと、
とを含む、画像を表現する方法。
【請求項５】
顔画像中の顔を表現する、請求項１または請求項４記載の画像を表現する方法。
【請求項６】
前記成分画像に分割することは、顔の特徴または領域等、画像の内容に基づく、請求項１、４、または５記載の画像を表現する方法。
【請求項７】
前記変換のうちの少なくとも１つの段階は、特徴ベクトルを結合すること、および、該結合された特徴ベクトルに対して変換を行い、さらなる特徴ベクトルを生成すること、を含む、請求項１または３ないし６のいずれか１項に記載の画像を表現する方法。
【請求項８】
前記少なくとも３段階の判別変換のそれぞれは、特徴ベクトルを結合すること、および、該結合された特徴ベクトルに対して変換を行うこと、を含む、請求項７記載の画像を表現する方法。
【請求項９】
前記特徴ベクトルを結合する段階は、成分画像の実数成分、虚数成分、および振幅のうちの少なくとも２つを結合すること、および／または異なる画像成分の実数成分、虚数成分、および振幅のうちの少なくとも２つを結合することを含む、請求項７または８記載の画像を表現する方法。
【請求項１０】
前記成分画像は、全体顔画像、該全体顔画像の上半分および下半分、中心顔画像、ならびに該中心顔画像の上半分および下半分を含む、またはからなる、請求項２、３、５、または６、または請求項５もしくは請求項６に従属する請求項７ないし９のいずれか１項に記載の画像を表現する方法。
【請求項１１】
前記全体顔画像および前記中心顔画像の虚数成分および実数成分の特徴ベクトルを導出すること、および、前記全体顔画像および前記中心顔画像の上半分の振幅の特徴ベクトルを導出すること、前記全体顔画像および前記中心顔画像の下半分の振幅の特徴ベクトルを導出すること、を含む、請求項１０記載の画像を表現する方法。
【請求項１２】
第１段階の変換は、（ｉ）前記全体顔画像の前記実数成分および前記虚数成分、（ｉｉ）前記全体顔画像の前記上半分および前記下半分の前記振幅、（ｉｉｉ）前記中心顔画像の前記実数成分および前記虚数成分、ならびに（ｉｖ）前記中心顔画像の前記上半分および前記下半分の前記振幅を結合し変換することを含む、請求項１１記載の画像を表現する方法。
【請求項１３】
第２段階の変換は、（ｖ）（ｉ）の結果および（ｉｉ）の結果、ならびに（ｖｉ）（ｉｉｉ）の結果および（ｉｖ）の結果を結合して変換することを含む、請求項１２記載の画像を表現する方法。
【請求項１４】
第３段階の変換は、（ｖｉｉ）（ｖ）の結果および（ｖｉ）の結果を結合し変換することを含む、請求項１３記載の画像を表現する方法。
【請求項１５】
変換のうちの少なくとも１つの段階は線形写像を含む、請求項１ないし１４のいずれか１項に記載の画像を表現する方法。
【請求項１６】
前記線形写像は、たとえば、主成分解析（ＰＣＡ）、線形判別解析（ＬＤＡ）、独立成分解析（ＩＣＡ）、ＰＣＬＤＡ、または双対ＬＤＡのうちのいずれかに基づく、請求項１５記載の画像を表現する方法。
【請求項１７】
前記周波数領域への変換はフーリエ変換を含む、請求項１ないし１６のいずれか１項に記載の画像を表現する方法。
【請求項１８】
前記各成分画像の特徴ベクトルを導出するステップは、特定の所定のフーリエ係数を選択することを含む、請求項１７記載の画像を表現する方法。
【請求項１９】
少なくとも低水平／高垂直周波数成分を選択することを含む、請求項１８記載の画像を表現する方法。
【請求項２０】
正規化および量子化をさらに含む、請求項１ないし１９のいずれか１項に記載の画像を表現する方法。
【請求項２１】
画像を表現する方法であって、
（ａ）前記画像を成分画像に分割すること、
（ｂ）前記成分画像を周波数領域に変換すること、および、
（ｃ）前記周波数領域において、変換された成分画像を使用して特徴ベクトルを導出すること、
を含み、
前記ステップ（ｃ）は、少なくとも低水平／高垂直周波数成分を選択することを含む、画像を表現する方法。
【請求項２２】
請求項１ないし２１のいずれか１項に記載の方法の使用により導出される記述子。
【請求項２３】
請求項２２記載の記述子の送信、受信、および記憶のいずれかを含む使用。
【請求項２４】
請求項１ないし２０のいずれか１項に記載の画像を表現する方法を用いて導出された表現を、記憶されている顔画像表現と比較することを含む、顔の認識、検出、または分類を行う方法。
【請求項２５】
前記記憶されている表現は、請求項１ないし２０のいずれか１項に記載の画像を表現する方法を用いて導出される、請求項２４記載の顔の認識、検出、または分類を行う方法。
【請求項２６】
請求項１ないし２０、２４、または２５のいずれか１項に記載の画像を表現する方法を行うように適合された装置。
【請求項２７】
請求項２２記載の記述子を少なくとも１つ記憶した装置。
【請求項２８】
請求項１ないし２０、２４、または２５のいずれか１項に記載の画像を表現する方法を行うコンピュータプログラム。
【請求項２９】
請求項２８記載のコンピュータプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔を記述し認識する方法および装置に関する。本発明はまた、画像、特に顔画像における顔を表現する方法および装置、ならびに係る表現の使用に関する。
【背景技術】
【０００２】
おそらく、フーリエ領域における顔認識について述べた最初の論文は、Vision Interface '2000: 38-44, Montreal, 2000にて発表された「Face Recognition in Fourier Space」である。これは、正規化顔画像から計算されるフーリエスペクトルに基づいた顔記述を用いた顔認識システムについて述べている。顔の認証または認識は、選択された周波数におけるフーリエ係数を含む特徴ベクトルの間で最も近いマッチングを見つけることによって行われる。２７個の周波数係数のサブセットが、良好な結果をもたらすと報告されている（１５個の実数係数および１２個の虚数係数が用いられる）。係数の選択は係数の相対分散に基づき、最大の分散を示す係数が特徴として選択される。この手法の性能は、主に顔の特徴の選択、後処理、およびマッチングを行う方法が過度に単純なことによりかなり限定される。
【０００３】
ISO/IEC 15938-3-AM1 Standardにおいて、画像領域特徴と組み合わせてフーリエ領域特徴を用いて顔を表現するアルゴリズムが提案されており、本明細書においてはこれを高度顔認識記述子（ＡＦＤＲ）と呼ぶ。詳細な説明については、Standard ISO/IEC 15938-3/FPDAM1, Information Technology-Multimedia Content Description Interface-Part3: Visualにおいて見出すことができる。それでもやはり、以下において、従来技術と本発明の違いを理解し易くするために、この方法の背後にある概念について手短に説明する。
【０００４】
ＡＦＲＤは４つの顔特徴要素からなる。
・フーリエ特徴
・中心フーリエ特徴
・複合特徴
・下位領域複合特徴
【０００５】
フーリエベースの表現（上記の最初の２つの顔要素に対応する）のみが関連するため、ここでは図１に基づいてフーリエベースの表現についてさらに詳細に説明する。
【０００６】
ＡＦＲ方法に採用されるフーリエ領域における特徴抽出は、以下のステップからなる。
１）正規化顔画像ｆを４および１６の規則正しい成分画像（いわゆるマルチブロック画像ｆ１０，ｆ１１，・・・，ｆ４１，ｆ１２，・・・，ｆ１６２）に分割する。
２）正規化顔画像ｆからフーリエスペクトル（すなわち、実数および虚数のフーリエ係数）を抽出し、走査してフーリエスペクトルベクトルｘ１ｆ（ＳＴＥＰ１）にする。
３）クリッピングされた正規化顔画像ｆ１０およびマルチブロック画像ｆ１１，・・・，ｆ４１，ｆ１２，・・・，ｆ１６２からフーリエ係数の振幅を抽出し、走査してマルチブロックフーリエ振幅ベクトルｘ２ｆにする。
４）ＰＣ−ＬＤＡ写像Ψ１ｆを用いて、２）において計算されたフーリエスペクトルベクトルｘ１ｆを射影し、その後、ベクトルを単位ベクトルｙ１ｆに正規化する。
５）ＰＣ−ＬＤＡ写像Ψ２ｆを用いて、３）においてマルチブロック画像から計算されたマルチブロックフーリエ振幅ベクトルｘ２ｆを射影し、その後、ベクトルを単位ベクトルｙ２ｆに正規化する。
６）４および５において得られた特徴ベクトルｙ１ｆ、ｙ２ｆを結合し（組み合わせ）、組み合わされた特徴ベクトルにおけるＬＤＡ射影Ψ３ｆを計算する。
７）特徴ベクトルを量子化する。
【０００７】
上記手順は、正規化顔画像全体および顔画像の中心部分に適用され、フーリエ特徴および中心フーリエ特徴を単に一緒に連結して、単一の特徴ベクトルにする。
【０００８】
ＡＦＤＲ手法にはいくつかの欠点がある。第１に、主に複数のフーリエ変換を行う必要がある（具体的には、４４の変換を計算する必要がある）ことにより、非常に複雑な方式である。第２に、ＡＦＤＲの性能は、その他の従来技術より優れているものの、それでもなお一部の用途には適当でない。本発明の目的は、全体の性能を維持または向上させながら、特徴の抽出およびマッチングの複雑性を低減することである。
【０００９】
欧州特許第１４１１４５９号（特開２００４−１３９５９６）には、顔の認識および検索のために特徴ベクトルを抽出する方法および装置が開示されている。いくつかの特徴ベクトルが抽出され、結合される。すなわち、
１）顔エリア全体のフーリエ特徴ベクトル（フーリエスペクトルおよびマルチブロックフーリエ振幅で構成される）が生成される。フーリエ変換を画像全体に対して行うことにより、フーリエスペクトル成分が生成される。フーリエ変換を画像全体、および画像全体を４および１６の規則正しいブロックに分割することによって得られる２０個の下位画像に対して行うことにより、マルチブロックフーリエ振幅が計算される。次いで、フーリエ係数の振幅が、ＰＣ−ＬＤＡ写像を用いて結合される。
２）中心フーリエ特徴ベクトル（フーリエスペクトルおよび振幅で構成される）が、フーリエ特徴ベクトルと同様の方法であるが、中心顔エリアから生成される。
３）顔エリア全体の全体強度特徴ベクトルが生成される。
４）所定数の顔部位別エリアの部分強度特徴ベクトルが生成される。
５）第１および第２の正規化ベクトルと強度特徴を結合することによって全体複合特徴ベクトルが生成され、第３および第４の正規化ベクトルと部分強度特徴ベクトルを結合することによって中心複合特徴ベクトルが生成される。
【００１０】
米国特許出願第００３０１６９９０８号（特開２００４−５４５６）には、二次独立成分解析（ＩＣＡ）または主成分解析（ＰＣＡ）を用いて顔を認識し探索する方法および装置が記載されており、照明条件の変化に対して認識性能を向上させると主張している。この方法および装置によれば、ポーズおよび照明に対して不変の顔記述子を使用することにより、人の顔の検索および特定の個人の認証が可能になる。
【００１１】
米国特許出願第００３０１６５２６０号（特開２００４−５４５７）には、二次独立成分解析（ＩＣＡ）を用いて顔を認識し探索する方法および装置が記載されている。この方法は、入力された原画像にＰＣＡを行い、原画像から高周波成分を除去することによって低帯域フィルタリング画像を生成すること、および原画像から低帯域フィルタリング画像を減算し、高周波成分のみを有する残余画像を得ることによって機能する。さらなるＩＣＡを残余画像に対して行い、原画像に対応する特徴情報を生成する。最初のＩＣＡ変換により、独立成分（すなわち、独立的基礎成分）がグレースケール画像から減算されるが、提案される二次ＩＣＡが、残りの画像を高帯域周波数成分に対応させるべく適用されることから照明変化に強い。
【００１２】
米国特許出願第００３０２１５１１５号（特開２００４−５６２２）には、顔画像が顔成分画像に分割される顔認識装置および方法が提案されている。この装置は、入力顔画像を複数の顔成分画像に分割する成分分割ユニット、各顔成分画像に対応する変換行列を用いて顔記述子を生成する顔記述子生成ユニットであって、顔記述子は特徴ベクトルである、顔記述子生成ユニット、登録された顔記述子を記憶する登録顔記述子データベース（ＤＢ）、および顔記述子生成ユニットから入力された入力顔画像の顔記述子を、登録顔記述子と比較し、各顔成分の比較結果に、各顔成分に対応する所定の重みを与えることによって入力顔画像を認証する認証ユニットを備える。
【００１３】
米国特許出願第００４００７３５４３号（特開２００４−１３３９４７）には、反復マッチングを利用した画像検索方法および画像検索装置が記載されている。このような反復マッチングは、いずれの方法に基づいた顔認識システムにも適用することができる。この方法は、（ａ）ユーザが選択した照会画像と画像データベースに記憶されているＮ個の参照画像とを比較してその参照画像を検索することにより、Ｋ個の類似画像をマッチング順位通りに抽出すること、および（ｂ）Ｋ個の類似画像から選択されたマッチング順位が上位であるＭ個の類似画像に対して所定の反復回数だけ反復マッチングを行ってＭ個の類似画像に対してマッチング順位を再整列することを含む。この方法および装置によれば、ユーザが選択した照会画像で検索した類似画像のうち上位にランクされたＭ個の類似画像を選択し、Ｍ個の類似画像に対して最上位ランク類似画像を利用して反復検索を行ってＭ個の類似画像に対してマッチング順位を再整列して出力することによって、マッチングの正確度を大幅に向上させうるだけでなく、反復検索による検索エンジンの負荷を最小化させうる。
【発明の開示】
【発明が解決しようとする課題】
【００１４】
上に述べたように、ＡＦＲ記述子は、記述子のフーリエ領域特徴（フーリエ部）のみを使用する場合であっても抽出が非常に複雑である。本明細書において提案する方法は、性能を向上させた簡易フーリエ領域手法を用いる。
【課題を解決するための手段】
【００１５】
本発明の諸態様を添付の特許請求の範囲に記載する。
【００１６】
より詳細には、本発明の特定の諸態様は以下である。
１）全体特徴および中心特徴を結合し、Ｄ−ＬＤＡ射影を介して写像する、フーリエ領域における３つの変換段階を有する多段階構造を使用すること（従来技術においては、結合フーリエベクトルおよび中心フーリエベクトルが写像なしで結合される）
２）ＡＦＲＤと比較して簡易化され、より良好な性能をもたらす成分顔画像の新しいセット
３）ＡＦＲＤにおいて使用されるＰＣＡ−ＬＤＡ変換ではなく、双対(dual)空間ＬＤＡと呼ぶよりよく適した線形写像を用いること
４）フーリエスペクトルにおける異なる周波数成分を使用すること
ＡＦＲＤおよび本発明の両方により使用される低水平周波数成分および低垂直周波数成分に加えて、ＡＦＲＤは高水平成分および低垂直成分も走査するが、提案する本発明は、低水平成分および高垂直成分を用いる。したがって、提案する本発明は、優れた人物判別力のある垂直顔特徴にはより敏感であり、水平方向における顔定位誤差にあまり敏感ではない。
【００１７】
本発明の別の態様は、顔画像および顔画像成分に適用される周波数ベースの変換の係数に適用される双対空間線形判別解析（Ｄ−ＬＤＡ）の多段階結合を含む構造を使用した顔認識方法、装置、およびシステムを提供する。
【００１８】
この新規の方法は、従来技術と比較して抽出の複雑性を大幅に低減するとともに、顔のポーズ、照明条件、および他の要因に対して向上した堅実性を提供し、ひいては認識または認証の性能を向上させる。
【００１９】
本発明の実施形態について、添付図面を参照して以下に説明する。
【発明を実施するための最良の形態】
【００２０】
図において使用されるブロック記号を表１に説明する。基本構成要素は、フーリエ変換（Ｔ，Ｆ）、線形写像（具体的には双対(dual)ＬＤＡ）の形の特徴ベクトル変換（判別変換）（Ｄ）、正規化（Ｎ）、および量子化（Ｑ）である。構造のブロック図から見て分かることができるように、ＡＦＲフーリエ領域部における特徴抽出では４２個の画像が使用されることとは対照的に、６個の入力画像ｆ１、ｆ１，１、ｆ１，２、ｆ２、ｆ２，１、ｆ２，２しかない。好ましい実施形態において使用する画像を図２に示し、文中において後に説明する。提案する方式は３段階判別構造を採用し、フーリエ顔特徴は、最終段階ＤＬＤＡ写像において結合される全体画像エリアおよび中心画像エリアから抽出されることに留意されたい。
【００２１】
正規化は、初期判別段階においてのみ示される（図９）が、後続の判別段階においても行うことができる。
【００２２】
【表１】
2006012130.tif 000003
【００２３】
図５〜図９および表１は特徴ベクトルの結合を示すが、これは、特徴ベクトルを連結することを意味し、特徴ベクトル（Ｖ１）（Ｖ２）の場合、結合ベクトルは（Ｖ１，Ｖ２）である。
【００２４】
表２に、画像のフーリエ領域を示す図３を参照して、フーリエ領域におけるいずれの成分が、結合された特徴ベクトルを形成するかを示す。
【００２５】
図３および表２に示すように、フーリエ領域の特定の領域のみが使用される。
【００２６】
実施形態のステップを実施するための背景についてのさらなる詳細は、本明細書に引用した従来技術の参考文献を参照することによって見出すことができる。
【００２７】
図２は、好ましい実施形態において使用される顔成分の詳細を示す。図から分かるように、６つの成分画像が使用される。すなわち、ｆ１−顔全体、ｆ１．１−顔画像の上部、ｆ１．２−顔画像の下部、ｆ２−顔画像の中心部、ｆ２．１−中心部の上部、ｆ２．２−中心部の下部。
【００２８】
この顔画像および成分のセットは、特に図９に示す３段階のＤ−ＬＤＡ変換を含む構造と組み合わせた場合に、優れた結果（従来技術の性能を超える）をもたらすことが分かった。
【００２９】
提案する本発明は、当業者に既知の、たとえば、ＬＤＡ、ＰＣ−ＬＤＡ、ＩＣＡ、およびＰＣＡの各方法から得られるいずれの線形写像とでもうまく機能する。しかし、M. Z. Bober, K. KucharskiおよびW. Skarbek著「Face Recognition by Fisher and Scatter Linear Discriminant Analysis」、Lecture Notes in Computer Scienceにおいて発行、発行元：Springer-Verlag Heidelberg, Volume 2756/2003, November 2003, pp.638-645 ISBN: 3-540-40730-8）に述べられている双対空間ＬＤＡを用いることによって最良の結果が得られる。
【００３０】
双対空間ＬＤＡアルゴリズムの好ましい実施形態の実施態様は、以下の疑似コードにまとめることができる。
ＤＬＤＡアルゴリズム：
入力：データ行列Ｘ＝［ｘ１，・・・，ｘＬ］；ｘｉの次元はＮ、次元ｑ、ｒ；
クラスメンバーシップベクトルＩ（クラスｊオブジェクトから抽出されたｘｉであるときかつそのときのみ、Ｉ（ｉ）＝ｊ）
出力：補正されたｑ、ｒ
Ｎ行およびｒ列のＤ−ＬＤＡ行列Ｗ
ステップ：
１．総平均ｃおよびクラス重心ｃ１，・・・，ｃＪを計算する。
２．データおよび重心をそれぞれＹおよびＤに正規化する。
ａ．Ｉ（ｉ）＝ｊの場合、ｙｉ：＝（ｘｉ−ｃｊ）／√Ｌｊ（Ｌｊ−クラスｊの例数）、ｉ＝１，・・・，Ｌ、ｊ＝１，・・・，Ｊ
ｂ．ｄｊ：＝（ｃｊ−ｃ）√Ｌｊ／√Ｊ
３．Ｄに対して近似特異値分解を行い、すべて非ゼロの特異値（たとえば、ｑ０）を得る：
ａ．［Ｕ，Λ］：＝ａｓｖｄ（Ｄ）；／／Ｕはｑ０列を有し、Λはｑ０×ｑ０対角行列である。
ｂ．Σ：＝√Λ；／／Λの各要素の平方根をとる
４．ｑを補正し、モデルを選択する：
ａ．ｑ＞ｑ０の場合、ｑ：＝ｑ０；
ｂ．Ｕ：＝Ｕから最初のｑ列をとる；
ｃ．Σ：＝Σから最初のｑ列およびｑ行をとる；
５．データ白色化行列Ａ：＝ＵΣ−１を計算する
６．Ｙに対して白色化演算を行う：ｙｉ：＝Ａｔｙｉ、ｉ＝１，・・・，Ｌ
７．Ｙに対して近似特異値分解を行い、すべて非ゼロの特異値（たとえば、ｒ０）を得る：
ａ．［Ｖ，Λ’］：＝ａｓｖｄ（Ｙ）；／／Ｖはｒ０列を有し、Λ’はｒ０×ｒ０対角行列である。
ｂ．Σ’：＝√Λ’；／／Λ’の各要素の平方根をとる
８．ｒを補正し、モデルを選択する：
ａ．ｒ＞ｒ０の場合、ｒ：＝ｒ０；
ｂ．Ｖ：＝Ｖから最後のｒ列をとる
９．Ｗ：＝ＡＶを返す
特徴選択に使用される周波数係数（実数成分、虚数成分、および振幅）は、ＡＦＲ方法と本方式とで異なる。各段階における特徴選択に使用される係数を、画像のフーリエ領域の表現を示す図３、具体的には、好ましい実施形態によって使用される周波数成分およびＡＦＲＤ（従来技術）によって使用される周波数成分がどこにあるかを示す図３（ａ）および図３（ｂ）を参照して表２にまとめた。上に述べたように、ＡＦＲＤおよび本発明の好ましい実施形態は、低水平周波数成分および低垂直周波数成分を表す係数のセットを使用する。しかし、ＡＦＲＤは高水平成分および低垂直成分も走査するが、提案する本発明は低水平成分および高垂直成分を使用し、垂直顔特徴に対する感度を高め、優れた人物判別力をもたらす。さらに、好ましい実施形態では、水平方向における顔定位誤差に対してはあまり感度はない。
【００３１】
【表２】
2006012130.tif 000004
【００３２】
顔マッチングのための２つの記述子間の類似測度が、特徴ベクトル間の差の加重Ｌ２ノルムとして計算される。当業者に既知の様々なマッチング技法等、他の顔マッチング技法を使用してもよい。
【００３３】
上記実施形態の特徴に対する代替の実施態様は、
各変換段階に異なる線形写像定義手法を使用する（たとえば、ＬＤＡに代えてＩＣＡまたはＰＣＡを使用すること）、
異なる顔成分を使用すること、
異なるフーリエ係数を使用すること、
周波数領域への異なる変換（たとえば、ＤＣＴ変換）を使用すること、
を含む。
【００３４】
本明細書においては、画像という語は、文脈から明らかな場合を除き、画像全体または画像の領域を意味する。同様に、画像の領域または成分画像も画像全体を意味することができる。画像はフレームまたはフィールドを含み、静止画像、あるいはフィルムもしくはビデオ等の一連の画像または関連する画像群の中の画像に関連する。
【００３５】
画像を、顔の特徴または領域等の画像の内容に基づいて成分画像に分割することは、単に中心顔領域の抽出だけではなく、たとえば、顔の上半分および下半分に分割すること、または目もしくは鼻を丸で囲むことを意味する。
【００３６】
画像は、グレースケール画像であってもよく、カラー画像であってもよく、別のタイプのマルチスペクトル画像、たとえば、ＩＲ、ＵＶ、もしくは他の電磁画像、または音響画像等であってもよい。
【００３７】
本発明は、たとえば、適したソフトウェア変更および／またはハードウェア変更を行ったコンピュータシステムにおいて実施することができる。本発明の諸態様は、ソフトウェアおよび／またはハードウェアの形で、または特定用途向け装置に提供することができ、また、チップ等の特定用途向けモジュールを提供することもできる。本発明の実施形態による装置におけるシステムの構成要素は、他の構成要素から離れて設けることが可能である。たとえば、本発明は、画像および関連する記述子を記憶したデータベースを伴った探索エンジンの形で実施することが可能であり、この場合、照会は、たとえばインターネットを介して遠隔入力される。記述子および記述子が関連する画像は、別個に記憶することができる。
【００３８】
本発明は、たとえば、画像が顔、たとえば人の顔を含むか否かを判断するため、顔画像をトレーニングセットとマッチングするため、またはたとえば、異なるしきい値を使用して顔をマッチングする、もしくはその顔の人物を特定するために、使用することができる。本発明は、セキュリティシステム等、様々な用途に使用することができる。
【００３９】
当業者は、選択されたパラメータが、考慮中のオブジェクトクラス内の特定のオブジェクトを識別する、特徴の特定の変化を判定する特徴に最もよく合うように本明細書において開示した技法を適合させて、特定の一般化クラス内で複雑に変化する特徴を有する他の画像オブジェクトのマッチングまたは特定にも本発明を利用することができる。
【図面の簡単な説明】
【００４０】
【図１】従来技術によるＡＦＲ記述子に採用される、フーリエ領域における特徴抽出を示すブロック図である。
【図２】好ましい実施形態において使用される顔成分を示す。
【図３ａ】好ましい実施形態において使用される周波数成分を示す。
【図３ｂ】ＡＦＲＤによって使用される周波数成分を示す。
【図４】本発明の一実施形態による多段階Ｄ−ＬＤＡ構造を使用した特徴抽出を示すブロック図であり、好ましい実施形態において使用される多段階特徴抽出方式の全体を示し、特定の段階を後続図に示す。
【図５】本発明の一実施形態による多段階Ｄ−ＬＤＡ構造を使用した特徴抽出を示すブロック図であり、変換段階を示す。
【図６】本発明の一実施形態による多段階Ｄ−ＬＤＡ構造を使用した特徴抽出を示すブロック図であり、ブロック正規化を伴った初期判別段階を示す。
【図７】本発明の一実施形態による多段階Ｄ−ＬＤＡ構造を使用した特徴抽出を示すブロック図であり、オプションのブロック正規化を伴った中間判別段階を示す。
【図８】本発明の一実施形態による多段階Ｄ−ＬＤＡ構造を使用した特徴抽出を示すブロック図であり、最終判別段階を示す。
【図９】本発明の一実施形態による多段階Ｄ−ＬＤＡ構造を使用した特徴抽出を示すブロック図であり、好ましい実施形態の３つの判別段階を有する、好ましい実施形態の特徴抽出構造を示す。
【図１０】好ましい実施形態の構造をより具体的に示す。
【図１】
2006012130.tif 000005
【図２】
2006012130.tif 000006
【図３ａ】
2006012130.tif 000007
【図３ｂ】
2006012130.tif 000008
【図４】
2006012130.tif 000009
【図５】
2006012130.tif 000010
【図６】
2006012130.tif 000011
【図７】
2006012130.tif 000012
【図８】
2006012130.tif 000013
【図９】
2006012130.tif 000014
【図１０】
2006012130.tif 000015
【外国語明細書】
2006012130.tif 000016
2006012130.tif 000017
2006012130.tif 000018
2006012130.tif 000019
2006012130.tif 000020
2006012130.tif 000021
2006012130.tif 000022
2006012130.tif 000023
2006012130.tif 000024
2006012130.tif 000025
2006012130.tif 000026
2006012130.tif 000027
2006012130.tif 000028
2006012130.tif 000029
2006012130.tif 000030
2006012130.tif 000031
2006012130.tif 000032
2006012130.tif 000033
2006012130.tif 000034
2006012130.tif 000035
2006012130.tif 000036
2006012130.tif 000037
2006012130.tif 000038
2006012130.tif 000039
2006012130.tif 000040
2006012130.tif 000041
2006012130.tif 000042
2006012130.tif 000043
2006012130.tif 000044