(57)【特許請求の範囲】
【請求項１】
顔面イメージデータΦを１つのベクトルとみなし、平均顔面データΨとの差分である一次残余イメージデータΓ(1)を得るステップと、該一次残余イメージデータΓ(1)から実効的に低域成分を抽出して、平均顔面イメージデータΨに加える事により得られる一次再構成イメージデータを、元の顔面イメージデータΦから引く事によって得られる二次残余イメージデータΓ(2)を固有値分解して得られる二次固有行列と、前記一次残余イメージデータΓを固有値分解して得られる一次固有行列との組み合わせを、前記一次残余イメージデータΓ(1) に掛けるステップを含み、これによって得られた値を固有特徴とする、照明及び視覚に影響されない顔面記述方法。
【請求項２】
固有特徴を量子化するステップを含み、得られた値を顔面記述子とする事を特徴とする請求項１記載の照明及び視覚に影響されない顔面記述方法。
【請求項３】
固有特徴を量子化した成分を可変長符号化するステップを含み、得られた可変長符号を顔面記述子とする事を特徴とする請求項２記載の照明及び視覚に影響されない顔面記述方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、コンテンツに基づくイメージ検索用の顔面記述、認識、銀行、セキュリティシステムやテレビ電話用の人の顔面識別および照合、監視や追跡、電子図書館、およびインターネットマルチメディアデータベースに利用することができる。
【０００２】
【従来の技術】
人の顔面の認知は、コンピュータビジョン研究において活発な分野である。顔面の認識は、マルチメディアデータベース検索その他多くの用途で今後重要な役割を果たすであろう。近年、顔面の検出／認識の問題についてかなりの進展が見られる。各種の具体的な技術が提案された。これらの技術の中で、ニューラルネット、伸縮テンプレートマッチング、Karhunen-Loeve展開、代数モーメントおよび等密度線が、代表的な方法である。
【０００３】
これらの方法のうち、主成分分析（ＰＣＡ）すなわちKarhunen-Loeve展開は重要な方法である。固有顔面法は、ＰＣＡから導出されていて、計算に便利であり、一貫した精度で識別が可能である。従来の研究によれば、ＰＣＡ法は異なる種類の情報を自然に分離する。固有値が大きい固有ベクトルは、顔面のサブセットに共通の情報を取得し、固有値が小さい固有ベクトルは、個々の顔面に特有の情報を得る。研究によれば、固有値が大きい固有ベクトルに含まれる情報のみを、まだ学習されていない新しい顔面に対して汎用的に用いることができる。
【０００４】
【発明が解決しようとする課題】
固有顔面法の利点は、固有値が大きい固有ベクトルが顔面の基本的な形状および構造に関する情報を伝達することである。これは、固有値が大きい固有ベクトルから抽出された特徴を用いて人の顔面の主要な特徴を記述できることを意味する。しかし、これはＰＣＡの弱点でもある。固有値が大きい固有ベクトルから抽出された特徴だけを考慮するならば、個々の顔面に対応する顔面の細部を得ることができない。これら個々の顔面の細部を人の顔面の共通特徴と合わせて記述することができれば、人の顔面をより正確に記述することが可能となる。
【０００５】
さらに、顔面のイメージが異なる照明条件や異なる視角のもとで撮影されている場合、人の顔面を表現する適当な固有ベクトルを得ることは難しい。発明者らの経験上、通常の固有顔面法は異なる照明条件下で顔面を認識するには適していない。しかし、同一人物の多くの顔面イメージが異なる照明および視角条件下で撮影されている。照明にも視角にも影響されない顔面記述は依然として探索すべき重要な分野である。
【０００６】
【課題を解決するための手段】
固有顔面法は、形状や構造などの共通的な顔面特徴を抽出するのに有効である。固有値が小さい固有ベクトルを切り捨てた際に失われた顔面の細部を得るために、固有値が大きい固有ベクトルからの特徴で再構成された顔面を取得すべきである。再構成された顔面イメージを用いて、原イメージと再構成されたイメージとの間の残余イメージを得ることができる。これらの残余顔面は、個々の顔面に関する豊富な詳細情報をまだ含んでいる高域通過された顔面イメージとみなすことができる。前記残余顔面を記述するために、固有顔面法を再度これらの残余顔面に適用することができる。得られた固有値が大きい固有ベクトルは、残余顔面の共通の特徴を明らかにする。この方法を用いて、固有値が大きい二次の固有ベクトルが得られ、対応する特徴を抽出することができる。発明者らの実験によれば、一次および二次固有特徴は共に視角に影響されない顔面記述に有効であるが、二次固有特徴はまた照明に影響されない顔面記述にも有効である。従って、一次および二次固有特徴の組み合わせは視角に影響されない顔面記述に、二次固有特徴は照明に影響されない顔面記述に用いることができる。顔面記述のもう一つの方法は、一次固有特徴だけを用いることである。照明に影響されない顔面記述のためには、固有値の大きさが上位ｋ個の固有顔面から発生する照明の変動を避けるために固有値の大きさが上位ｋ番目からＮ番目（０＜ｋ＜Ｎ）の範囲にある固有顔面から抽出された固有特徴のみが用いられる。視角に影響されない顔面特徴は大きさが上位Ｎ個の固有値に対応する固有顔面から抽出された固有特徴であってよい。
【０００７】
また、顔面記述を考える際に重要な特徴として顔面の対称性がある。大多数の人々の顔面は対称である。そこで同一人物を表現するのに左右の鏡像が形成された顔面イメージの利用が考えられる。その結果、原イメージおよび鏡像形成されたイメージの固有特徴は共に同一人物を表現することができる。従って、２個のイメージの固有特徴の線形結合を用いて原イメージを表現することができる。原イメージと鏡像形成されたイメージを区別するために、異なる重みを用いて固有特徴を組合せてもよい。
【０００８】
請求項１の発明は、顔面イメージデータΦを１つのベクトルとみなし、平均顔面データΨとの差分である一次残余イメージデータΓ(1)を得るステップと、該一次残余イメージデータΓ(1)から実効的に低域成分を抽出して、平均顔面イメージデータΨに加える事により得られる一次再構成イメージデータを、元の顔面イメージデータΦから引く事によって得られる二次残余イメージデータΓ(2)を固有値分解して得られる二次固有行列と、前記一次残余イメージデータΓを固有値分解して得られる一次固有行列との組み合わせを、前記一次残余イメージデータΓ(1) に掛けるステップを含み、これによって得られた値を固有特徴とする、照明及び視覚に影響されない顔面記述方法である。
【０００９】
請求項２の発明は更に、固有特徴を量子化するステップを含み、得られた値を顔面記述子とする事を特徴とする請求項１記載の照明及び視覚に影響されない顔面記述方法である。
【００１０】
請求項３の発明は更に、固有特徴を量子化した成分を可変長符号化するステップを含み、得られた可変長符号を顔面記述子とする事を特徴とする請求項２記載の照明及び視覚に影響されない顔面記述方法である。
【００４１】
【発明の実施の形態】
本発明は、照明や視角に影響されることなく人の顔面を記述する２種類の方法を提供する。これらはイメージ検索（顔面の例による照会）、個人識別および照合、監視および追跡、および他の顔面認識用途に利用できる。顔面の特徴を記述するために、発明者らの知見および推論に基づいて二次固有顔面の概念を提案する。最初に、学習用顔面イメージの集合から一次および二次固有顔面が導かれる。次に顔面の対称性の特徴を用いて固有顔面を調整することができる。これらの調整された固有顔面を用いて、調整された一次および二次固有特徴が得られる。これらの特徴の組合せを用いて顔面を記述することができる。この記述の場合、類似度の測定にユークリッド距離を使用することができる。
【００４２】
図２の中段のイメージは、撮影したままのデジタル写真のイメージであって、何の処理もされていない原顔面イメージ１a，２a，３a，４a，５a，６aである。原顔面イメージ１aを一次元ベクトルで示すと、Φ１と表示される。同様に、原顔面イメージ２a，３a，４a，５a，６aを一次元ベクトルで示すと、Φ２、Φ３、Φ４、Φ５，Φ６と表示される。一般的に、顔面イメージiaをベクトルΦiで示す。
【００４３】
６個全ての原顔面イメージの一次元ベクトルを足し合せ、その合計を６で割れば、平均イメージΨが得られる。
すなわち、
Ψ＝（Φ１＋Φ２＋Φ３＋Φ４＋Φ５＋Φ６）／６
が得られる。
イメージ１aの一次元ベクトルΦ１と平均イメージΨとの差をΓ１（１）で定義する。同様に、イメージ２a，３a，４a，５a，６aについてもそれぞれΓ２（１）、Γ３（１）、Γ４（１）、Γ５（１）、Γ６（１）が定義される。
【００４４】
すなわち、
Γ１（１）＝Φ１−Ψ
Γ２（１）＝Φ２−Ψ
Γ３（１）＝Φ３−Ψ
Γ４（１）＝Φ４−Ψ
Γ５（１）＝Φ５−Ψ
Γ６（１）＝Φ５−Ψ
となる。
【００４５】
Γ１（１）は、後で説明するように、イメージ１aの一次特徴Ｗ１（１）を得るためのベースとなる。同様に、Γ２（１）、Γ３（１）、Γ４（１）、Γ５（１）、Γ６（１）は、それぞれイメージ２a，３a，４a，５a，６aの一次特徴Ｗ２（１）、Ｗ３（１）、Ｗ４（１）、Ｗ５（１）、Ｗ６（１）を得るためのベースとなる。記号式の右上の（１）は、一次特徴に係わる値であることを示す。
また、Γ１（１）、Γ２（１）、Γ３（１）、Γ４（１）、Γ５（１）、Γ６（１）のそれぞれをローパスフィルタで処理したものを再構成行列
0003668455.tif 000002
として表わす。
【００４６】
図２の上段のイメージ１ｂ、２ｂ、３ｂ、４ｂ、５ｂ、６ｂは、それぞれ平均イメージΨに、再構成行列
0003668455.tif 000003
を加えた和
0003668455.tif 000004
で表わされる再構成顔面イメージである。
すなわち、
0003668455.tif 000005
となる。
【００４７】
再構成顔面イメージは、ローパスフィルタで処理したデータを含んでいるので、顔の角度が少し変わっていても、顔の情報に大きな変化は生じない。
図２の下段のイメージ１ｃ、２ｃ、３ｃ、４ｃ、５ｃ、６ｃは、図２の中段の原顔面イメージΦから同上段の再構成顔面イメージ
0003668455.tif 000006
を引いた結果の残余イメージΓ（２）である。すなわち、
0003668455.tif 000007
となる。
【００４８】
残余イメージは、原顔面イメージに含まれる照明による明るさの情報と、再構成顔面イメージに含まれる照明による明るさの情報が引き算により相殺されるので、残余イメージには、照明による明るさによる影響を受けない者となっている。
以下、一般式で、本発明を説明する。
【００４９】
M個（図２の中断では６個）のイメージ群の中でイメージ
0003668455.tif 000008
を考える（図１、ステップ１１０）。ここで、
0003668455.tif 000009
はラスタスキャンイメージの一次元ベクトルであり、
0003668455.tif 000010
を平均イメージとして定義する（図１、ステップ１２０）。
【数１】
0003668455.tif 000011
【００５０】
すべてのイメージは、平均イメージからベクトル
0003668455.tif 000012
だけ異なる（図１、ステップ１３０）。よって、データの共分散行列は、次のように定義される。
【数２】
0003668455.tif 000013
ここで、
0003668455.tif 000014
である（図１、ステップ１４０）。
【００５１】
Qは
0003668455.tif 000015
次元である。ここで、wはイメージの幅、hは高さである。この行列のサイズは巨大であるが、イメージベクトルMの有限個数を合計するだけであるため、この行列の階数がM−１を超えることはない。
0003668455.tif 000016
が
0003668455.tif 000017
(i=1,2,..,M)の固有ベクトルである場合（図１、ステップ１５０）、
0003668455.tif 000018
（ここで、
0003668455.tif 000019
は
0003668455.tif 000020
の固有値）であり、前式の左辺に
0003668455.tif 000021
を乗ずることにより分かるように
0003668455.tif 000022
は
0003668455.tif 000023
の固有ベクトルである。すなわち、
【数３】
0003668455.tif 000024
となる。
【００５２】
しかし、
0003668455.tif 000025
のサイズは
0003668455.tif 000026
にすぎない。それゆえ、
0003668455.tif 000027
の固有ベクトル
0003668455.tif 000028
を定義すると、次のようになる。
【数４】
0003668455.tif 000029
【００５３】
固有値
0003668455.tif 000030
は、固有ベクトル
0003668455.tif 000031
が張る新しい座標空間に沿った分散である（図１、ステップ１６０）。以後、固有値
0003668455.tif 000032
が減少するようiが順序付けられているものと仮定する。固有値は、指数的に減少している。よって、
0003668455.tif 000033
（ここで、
0003668455.tif 000034
および
0003668455.tif 000035
を計算することにより、顔面イメージ
0003668455.tif 000036
をＭ1次元のみ
0003668455.tif 000037
の上へ射影することができる。
0003668455.tif 000038
は、新しい座標系の
0003668455.tif 000039
のk番目の座標である。この意味で、
0003668455.tif 000040
を一次特徴と呼ぶ。ベクトル
0003668455.tif 000041
は、実際にはイメージであり、一次固有顔面と呼ぶ（一般に、他の文書では固有顔面と呼ばれる）。
0003668455.tif 000042
とすると（図１、ステップ１７０）、
【数５】
0003668455.tif 000043
（図１、ステップ１８０）となる。
【００５４】
図１に一次特徴
0003668455.tif 000044
を計算する手順を示す。同図において、
0003668455.tif 000045
は、ｉ番目に大きい固有値およびそれに対応する行列の固有ベクトルを計算する関数である。式（３）の興味深い副産物は、
0003668455.tif 000046
から再構成行列を得ることができることである。
0003668455.tif 000047
は
0003668455.tif 000048
行列であるため、その逆行列は求められない。しかし、その擬似逆行列を用いて逆行列を近似することはできる。
0003668455.tif 000049
を
0003668455.tif 000050
の擬似逆行列とすると、
【数６】
0003668455.tif 000051
ここで、
0003668455.tif 000052
は
0003668455.tif 000053
および
0003668455.tif 000054
から再構成された行列である。図２で、数枚の原顔面イメージおよびそれらに対応する再構成顔面イメージ
0003668455.tif 000055
を与える。上段のイメージは再構成顔面イメージ
0003668455.tif 000056
であり、中段のイメージは対応する原顔面イメージであり、下段のイメージは残余イメージ
0003668455.tif 000057
である。再構成行列から、顔面の細部が失われていることが分かる。すなわち、
0003668455.tif 000058
が記述する内容を低域通過フィルタイメージとみなすことができる。残余イメージは、対応する高域通過フィルタイメージである。再構成行列を観察すると、いくつかのイメージは適当な解像度で再構成できず、これは一次特徴がこれらのイメージをうまく記述できないことを示す。再構成行列の質が悪いほど、より多くの情報が残余イメージに残されている。これらの残余イメージは個々のイメージに関する豊富な情報を依然として含むため、これらの残余顔面から顔面特徴を再度抽出すべきである。
【００５５】
0003668455.tif 000059
、
0003668455.tif 000060
を
0003668455.tif 000061
の固有値、
0003668455.tif 000062
を
0003668455.tif 000063
の対応する固有ベクトルとすると、
0003668455.tif 000064
である。上述の記載に基づいて、
0003668455.tif 000065
の固有ベクトルは
0003668455.tif 000066
である。よって、
0003668455.tif 000067
を計算することにより、残余顔面イメージ
0003668455.tif 000068
をＭ2次元のみ
0003668455.tif 000069
の上へ射影することができる。ここで、
【数７】
0003668455.tif 000070
および
0003668455.tif 000071
である。
0003668455.tif 000072
は残余顔面イメージの固有ベクトルであるため、
0003668455.tif 000073
を二次固有顔面、
0003668455.tif 000074
を二次特徴と呼ぶ。
【００５６】
0003668455.tif 000075
とすると、式（５）は以下のように書ける。
【数８】
0003668455.tif 000076
【００５７】
0003668455.tif 000077
とすると、
【数９】
0003668455.tif 000078
である。
【００５８】
0003668455.tif 000079
は定数変換行列であり、１回計算されるだけであるため、計算効率に影響しない。顔面イメージは、
0003668455.tif 000080
（ここで、
0003668455.tif 000081
）により記述できる。固有顔面Uからの特徴計算のみに比べて
0003668455.tif 000082
を計算することによる計算量の負荷は増加しない。説明の便宜上、残余イメージを二次残余イメージと呼び、原顔面イメージを一次残余イメージと呼ぶ（原顔面イメージを零次残余イメージと呼ぶほうが良いように思われるにもかかわらず）。
【００５９】
一次固有特徴は原イメージの特徴を記述し、二次固有特徴は高域通過イメージの特徴を示す。これらの特徴は異なる用途に利用できる。
【００６０】
照明に影響されないケースでは、イメージの視角はほぼ同じであるが、照明条件は異なる。照明光は左、右、あるいは両方向から照らされる可能性がある。また顔面も明るかったり暗かったりする。この状況で、イメージの特徴はフィルタリングした後で抽出されねばならない。すなわち、原画像イメージのデータは照明の特徴を含んでいるし、一次特徴のデータも照明の特徴を含んでいる。従って、一次固有特徴はこのケースには適していない。従って、原画像イメージから、この一次特徴画像を引き算した二次特徴は、照明の影響が除去されており、照明に影響されない特徴を有するデータとして利用できる。二次固有特徴のみが適している。一方、視角に影響されないケースを考える場合、同一人物のイメージをほぼ同じ照明条件下で撮影するが視角あるいはポースは同じではない。この状況で、顔面を記述するのに一次および二次固有特徴が重要である。
一次特徴は、原画像イメージをローパスフィルタで処理したイメージであり、顔面画像の大局的な特徴を示すので、視角度の異なるイメージでも、ほぼ同じ特徴が抽出される。よって、視角度が異なる場合は、二次特徴に加えて一次特徴も使うことで、視角に影響されない記述子として使用されうる。
【００６１】
従って、照明に影響されない状況を記述する顔面記述子として二次固有特徴を、視角に影響されない状況を記述する顔面記述子として一次および二次固有特徴を用いることにする。
【００６２】
顔面記述を考える際に重要な特徴として顔面の対称性がある。大多数の人々の顔面は対称である。そこで同一人物を表現するのに鏡像形成された顔面イメージの利用が考えられる。その結果、原イメージおよび鏡像形成されたイメージの固有特徴は共に同一人物を表現することができる。従って、２個のイメージの固有特徴の線形結合を用いて原イメージを表現することができる。原イメージと鏡像形成されたイメージを区別するために、異なる重みを用いて特徴を計算してもよい。
【００６３】
0003668455.tif 000083
を原イメージ、
0003668455.tif 000084
を
0003668455.tif 000085
の鏡像形成であるとすると、調整された固有特徴は以下で表わされる。
【数１０】
0003668455.tif 000086
および
【数１１】
0003668455.tif 000087
ここで、０≦ｃ≦１は調整の重みである。計算を簡略化するために、計算順序を並べ替えてもよい。
【００６４】
0003668455.tif 000088
であるため、以下が成り立つ。
【数１２】
0003668455.tif 000089
ここで、
0003668455.tif 000090
は
0003668455.tif 000091
の鏡像形成された固有顔面である。図３に
0003668455.tif 000092
から
0003668455.tif 000093
を得る手続きを示す。同じ方法を用いて以下が得られる。
【数１３】
0003668455.tif 000094
および
【数１４】
0003668455.tif 000095
ここで、mirror()は鏡面行列への左／右方向の鏡像形成関数である。
式（８），式（９）を用いて、一次および二次固有顔面は、
0003668455.tif 000096
と
0003668455.tif 000097
に合わせることができる。
【００６５】
上述の固有特徴を利用して人の顔面を効果的に記述することができる。しかし、固有特徴を顔面認識や関連用途向けの特徴とみなすならば、固有特徴はその範囲が同じでないため正規化すべきである。
【００６６】
合理的な正規化の方法の一つは、当該固有特徴を学習用集合内の固有特徴の対応する標準偏差で除算することである。
0003668455.tif 000098
を学習用集合内の
0003668455.tif 000099
の標準偏差とする。ここに、j=1,2は一次または二次固有特徴を示す。するとイメージ
0003668455.tif 000100
の正規化された固有特徴は以下で与えられる。
【数１５】
0003668455.tif 000101
【００６７】
顔面イメージの類似度は、単に正規化された射影間の重み付き距離として定義される。
【数１６】
0003668455.tif 000102
【００６８】
0003668455.tif 000103
の場合、照明に影響されない顔面記述について顔面イメージの類似度は二次特徴のみを用いて測定される。視点に影響されない顔面記述の場合、一次および二次特徴の両方が必要である。重みは以下のように選ばれる。
【数１７】
0003668455.tif 000104
and
0003668455.tif 000105
【００６９】
重みはまた用途に応じて別の数を選択してもよい。実際、計算量を減らすために重みは調整された固有顔面に埋め込まれてもよく、正規化パラメータもまた固有顔面行列へ移動させられてもよい。記憶容量を減らすために、固有顔面行列および固有特徴を浮動小数点から整数に量子化すべきである。
【００７０】
0003668455.tif 000106
とする。ここに、
0003668455.tif 000107
Round()は丸め関数、およびj=1,2である。固有特徴は以下を用いて量子化できる。
【数１８】
0003668455.tif 000108
ここで、
0003668455.tif 000109
は学習用集合内のイメージである。特徴集合は
0003668455.tif 000110
および
0003668455.tif 000111
と書ける。従って、各固有特徴は８ビットに量子化できる。
【００７１】
さらに、固有特徴全体のサイズを減らすために、固有特徴を学習用集合の標準偏差に従って再量子化することができる。これは顔面記述子と検索精度の間のトレードオフと考えられる。発明者らの実験によれば、各固有特徴についてのビットを以下のように割当てることができる。
【数１９】
0003668455.tif 000112
ここで、
0003668455.tif 000113
はｊ次固有特徴の標準偏差の最小値である。異なる固有特徴は異なるビットを割当てるが、範囲は依然として［−１２８，１２７］のままである。この量子化方策により、顔面記述子のサイズは約４０％減少するのに対し、検索精度は1乃至２％しか落ちない。元の量子化方策が受容できるならば、さらなる量子化は不要である。ここで、正規化およびクリッピングの例を示す。これにより更なる量子化がなされ、式（10-1）から得られる特徴よりもよりコンパクトなものが得られ、各固有特徴は画一的に５ビットで表すことが可能となる。
0003668455.tif 000114
ここで、Z=16384*8 であり、これは経験的に求められた正規化定数である。
上式により、視角に影響されない記述の場合における2個の顔面イメージ
0003668455.tif 000115
間の距離は以下のように計算される。
【数２０】
0003668455.tif 000116
また、照明に影響されない記述の場合における2個の顔面イメージ
0003668455.tif 000117
間の距離は以下のように計算される。
【数２１】
0003668455.tif 000118
【００７２】
さらに顔面記述子を圧縮するために、量子化された固有特徴に可変長コード化を適用することができる。この作業にHuffmanコード化および算術コード化が利用できる。コード表は以下のように計算される。
１）学習用集合内のイメージについて固有特徴を計算する。
２）上述の方策により固有特徴を量子化する。
３）同一のビット割当てを有する量子化された固有特徴について各量子化レベルの確率を計算する。
４）すべての量子化レベルについて可変長コードを計算する。
５）すべてのビット割当てケースについてステップ３）および４）を用いてすべてのコード表を計算する。
【００７３】
この方法により、顔面記述子をさらに圧縮できる。それに対応して、２個の顔面記述子間の距離が計算できるようにするには、コード化された顔面記述子をデコードする必要がある。
【００７４】
発明者らの観察によれば、視角および照明に影響されない顔面特徴を記述するのに一次特徴自身もまた利用できる。視角に影響されない顔面特徴は大きさが上位Ｎ個の固有値に対応する固有顔面から抽出された固有特徴であってよい。照明に影響されない顔面特徴は大きさが上位ｋ個からＮ個の範囲にある固有値に対応する固有顔面から抽出された固有特徴であってよい。ここに０＜ｋ＜Ｎであるが、一般には４≦ｋ≦１０かつ４０≦Ｎ≦６０である。好ましくは、ｋ＝８、Ｎ＝４０で、総固有顔面値は４８である。図４、図５は、それぞれ照明に影響されない顔面特徴を抽出する方法、視角に影響されない顔面特徴を抽出する方法を示したフローチャートである。
【００７５】
図４の照明に影響されない顔面特徴を抽出する方法は、次のステップからなる。
ステップ４１０：  調整された二次固有顔面行列を計算する。
ステップ４２０：  調整された二次固有特徴を得る。
ステップ４３０：  調整された二次固有特徴から顔面を記述する特徴を選択する。
ステップ４４０：  ＶＬＣにより量子化された固有特徴をコード化する。このステップは省略しても良い。
【００７６】
図５の視角に影響されない顔面特徴を抽出する方法は、次のステップからなる。
ステップ５１０：  調整された一次固有顔面行列を計算する。
ステップ５２０：  調整された二次固有顔面行列を計算する。
ステップ５３０：  調整された一次固有特徴を得る。
ステップ５４０：  調整された二次固有特徴を得る。
ステップ５５０：  調整された一次および二次固有特徴を量子化する。
ステップ５６０：  調整された一次および二次固有特徴から顔面を記述する特徴を選択する。
ステップ５７０：  ＶＬＣにより量子化された固有特徴をコード化する。このステップは省略しても良い。
【００７７】
【発明の効果】
本発明は、人の顔面を記述するのに極めて有効である。二次固有顔面は、学習用顔面イメージを用いて１回の計算だけから得られるため、二次特徴を一次特徴と同じくらい効率良く得ることができる。詳細情報は高次固有特徴を用いて明らかにすることができるため、一次および二次特徴の組合せのパフォーマンスは同一個数の一次固有特徴に比べて、視角に影響されない顔面記述において優れている。二次固有特徴は照明に影響されない顔面記述能力において、一次固有特徴よりもはるかに優れている。本発明は人の顔面を記述するのに極めて有効かつ効率的である。本記述法はインターネットマルチメディアデータベース検索、ビデオ編集、電子図書館、監視／追跡、および顔面認識／照合を広範に用いるその他の用途で利用することができる。
【図面の簡単な説明】
【図１】ｉ次特徴
0003668455.tif 000119
を計算する手順を示すフローチャートである。
【図２】再構成顔面、対応する原顔面および二次残余イメージを示す図である。
【図３】固有顔面の鏡像形成を得る手順を示す模式図である。
【図４】照明に影響されない顔面記述子を生成するフローチャートである。
【図５】視角に影響されない顔面記述子を生成するフローチャートである。
【符号の説明】
３２０  再整形
３４０  鏡像形成を行なう
３６０  再整形
【図１】
0003668455.tif 000120
【図２】
0003668455.tif 000121
【図３】
0003668455.tif 000122
【図４】
0003668455.tif 000123
【図５】
0003668455.tif 000124