(57)【要約】【課題】高次固有成分を用いる顔の記述および認識のための方法および装置を提供する。【解決手段】高次固有成分がその特定の顔成分の詳細な局所的情報を記述するために提案される。数式が与えられて、射影用の高次変換行列を計算する。高次成分特徴が、顔成分を記述するために個々に使用され得るか、または一次成分特徴と組み合わされ得る。目、眉、鼻、口および輪郭の一次成分特徴と高次成分特徴との組合わせが、対応する領域の識別情報の重要度に基づいて定められるので、一次固有顔特徴、または一次固有顔特徴と高次固有顔特徴との組合わせだけの場合よりも高い性能の顔記述を得ることが出来る。【選択図】　　　図１
2004038937.tif 000002
【特許請求の範囲】
【請求項１】
顔を記述するために顔の各成分の特徴を抽出する方法であって、
学習モード演算を処理する工程であって、
複数の学習用顔画像を解析する工程と、
解析された学習用顔画像を用いて、一次固有成分Ｕ（１）を計算する工程と、
解析された学習用顔画像を用いて、二次固有成分Ｕ（２）を計算する工程と、を含む工程と、
試験モード演算を処理する工程であって、
試験用顔画像を解析する工程と、
二次固有成分Ｕ（２）を用いて、試験用顔画像の二次成分特徴Ｗ（２）を得る工程とを含む工程と、
を含む方法。
【請求項２】
顔を記述するために顔の各成分の特徴を抽出する方法であって、
学習モード演算を処理する工程であって、
複数の学習用顔画像を解析して、学習用顔の一次残余成分Γ（１）を生成する工程と、
学習用顔の一次残余成分Γ（１）を用いて、一次固有成分Ｕ（１）を計算する工程と、
一次固有成分Ｕ（１）を解析して、学習用顔の二次残余成分Γ（２）を生成する工程と、
学習用顔の二次残余成分Γ（２）を用いて、二次固有成分Ｕ（２）を計算する工程と、を含む工程と、
試験モード演算を処理する工程であって、
試験用顔画像を解析して、試験用顔の一次残余成分Γ（１）を生成する工程と、
試験用顔の一次固有成分Ｕ（１）および一次残余成分Γ（１）を用いて、試験用顔画像の一次成分特徴Ｗ（１）を得る工程と、
一次成分特徴Ｗ（１）を解析して、試験用顔の二次残余成分Γ（２）を生成する工程と、
試験用顔の二次固有成分Ｕ（２）および二次残余成分Γ（２）を用いて、試験用顔画像の二次成分特徴Ｗ（２）を得る工程と、を含む工程と、
を含む方法。
【請求項３】
複数の学習用顔画像を解析する前記工程が、
各サンプル顔画像を顔部分に分割して、顔部分の顔成分Φｉを得る工程と、
各顔部分の顔成分を平均して、一次平均顔成分Ψを得る工程と、
顔成分から一次平均顔成分Ψを減算して、学習用顔の一次残余成分Γ（１）を生成する工程と、
を含む、請求項２に記載の顔成分の特徴を抽出する方法。
【請求項４】
一次固有成分を解析する前記工程が、
再構成行列
2004038937.tif 000045
を得る工程と、
再構成行列
2004038937.tif 000046
を学習用顔の一次残余成分Γ（１）から減算して、学習用顔の二次残余成分Γ（２）を生成する工程と、
を含む請求項２に記載の顔成分の特徴を抽出する方法。
【請求項５】
試験用顔画像を解析する前記工程が、
試験用顔画像を顔部分に分割して、顔部分の顔成分Φｉを得る工程と、
顔成分Φｉから一次平均顔成分Ψを減算して、試験用顔の一次残余成分Γ（１）を生成する工程と、
を含む、請求項２に記載の顔成分の特徴を抽出する方法。
【請求項６】
試験用顔画像を解析する前記工程が、
再構成行列
2004038937.tif 000047
を得る工程と、
再構成行列
2004038937.tif 000048
を試験用顔の一次残余成分Γ（１）から減算して、試験用顔の二次残余成分Γ（２）を生成する工程とを含む、請求項２に記載の顔成分の特徴を抽出する方法。
【請求項７】
学習用顔画像の顔部分の前記顔成分Φｉが重み付けされることを特徴とする、請求項３に記載の顔成分の特徴を抽出する方法。
【請求項８】
試験用顔画像の顔部分の前記顔成分Φｉが重み付けされることを特徴とする、請求項５に記載の顔成分の特徴を抽出する方法。
【請求項９】
顔を記述するために成分の特徴を抽出する装置であって、
学習モード演算を処理するように動作可能な構成部であって、
複数の学習用顔画像を解析するように動作可能な構成部と、
解析された学習用顔画像を用いて、一次固有成分Ｕ（１）を計算するように動作可能な構成部と、
解析された学習用顔画像を用いて、二次固有成分Ｕ（２）を計算するように動作可能な構成部とを備える構成部と、
試験モード演算を処理するように動作可能な構成部であって、
試験用顔画像を解析するように動作可能な構成部と、
二次固有成分Ｕ（２）を用いて、試験用顔画像の二次成分特徴Ｗ（２）を得るように動作可能な構成部とを備える構成部と、
を備える装置。
【請求項１０】
顔を記述するために顔の各成分の特徴を抽出する装置であって、
学習モード演算を処理するように動作可能な構成部であって、
複数の学習用顔画像を解析して、学習用顔の一次残余成分Γ（１）を生成するように動作可能な構成部と、
学習用顔の一次残余成分Γ（１）を用いて、一次固有成分Ｕ（１）を計算するように動作可能な構成部と、
一次固有成分Ｕ（１）を解析して、学習用顔の二次残余成分Γ（２）を生成するように動作可能な構成部と、
学習用顔の二次残余成分Γ（２）を用いて、二次固有成分Ｕ（２）を計算するように動作可能な構成部と、を備える構成部と、
試験モード演算を処理するように動作可能な構成部であって、
試験用顔画像を解析して、試験用顔の一次残余成分Γ（１）を生成するように動作可能な構成部と、
試験用顔の一次固有成分Ｕ（１）および一次残余成分Γ（１）を用いて、試験用顔画像の一次成分特徴Ｗ（１）を得るように動作可能な構成部と、
一次成分特徴Ｗ（１）を解析して、試験用顔の二次残余成分Γ（２）を生成するように動作可能な構成部と、
試験用顔の二次固有成分Ｕ（２）および二次残余成分Γ（２）を用いて、試験用顔画像の二次成分特徴Ｗ（２）を得るように動作可能な構成部と、を備える構成部と、
を備える装置。
【請求項１１】
複数の学習用顔画像を解析するように動作可能な前記装置が、
各サンプル顔画像を顔部分に分割して、顔部分の顔成分Φｉを得るように動作可能な構成部と、
各顔部分の顔成分を平均して、一次平均顔成分Ψを得るように動作可能な構成部と、
顔成分から一次平均顔成分Ψを減算して、学習用顔の一次残余成分Γ（１）を生成するように動作可能な構成部と、
を備える、請求項１０に記載の顔成分の特徴を抽出する装置。
【請求項１２】
一次固有成分を解析するように動作可能な前記装置が、
再構成行列
2004038937.tif 000049
を得るように動作可能な構成部と、
再構成行列
2004038937.tif 000050
を学習用顔の一次残余成分Γ（１）から減算して、学習用顔の二次残余成分Γ（２）を生成するように動作可能な構成部と、
を備える、請求項１０に記載の顔成分の特徴を抽出する装置。
【請求項１３】
試験用顔画像を解析するように動作可能な前記装置が、
試験用顔画像を顔部分に分割して、顔部分の顔成分Φｉを得るように動作可能な構成部と、
顔成分Φｉから一次平均顔成分Ψを減算して、試験用顔の一次残余成分Γ（１）を生成するように動作可能な構成部と、
を備える、請求項１０に記載の顔成分の特徴を抽出する装置。
【請求項１４】
試験用顔画像を解析するように動作可能な前記装置が、
再構成行列
2004038937.tif 000051
を得るように動作可能な構成部と、
再構成行列
2004038937.tif 000052
を試験用顔の一次残余成分Γ（１）から減算して、試験用顔の二次残余成分Γ（２）を生成するように動作可能な構成部と、
を備える、請求項１０に記載の顔成分の特徴を抽出する装置。
【請求項１５】
学習用顔画像の顔部分の前記顔成分Φｉが重み付けされることを特徴とする、請求項１１に記載の顔成分の特徴を抽出する装置。
【請求項１６】
試験用顔画像の顔部分の前記顔成分Φｉが重み付けされることを特徴とする、請求項１２に記載の顔成分の特徴を抽出する装置。
【請求項１７】
顔を記述するために顔の各成分の特徴を抽出する装置であって、
学習モード演算を処理するように動作可能な構成部であって、
複数の学習用顔画像を解析して、学習用顔の一次残余成分Γ（１）を生成するように動作可能な構成部と、
学習用顔の一次残余成分Γ（１）を用いて、一次固有成分Ｕ（１）を計算するように動作可能な構成部と、
一次固有成分Ｕ（１）を解析して、学習用顔の二次残余成分Γ（２）を生成するように動作可能な構成部と、
学習用顔の二次残余成分Γ（２）を用いて、二次固有成分Ｕ（２）を計算するように動作可能な構成部と、を備える構成部
を備える装置。
【請求項１８】
顔を記述するために顔の各成分の特徴を抽出する装置であって、
一次平均顔成分Ψ、一次固有成分Ｕ（１）、逆行列Ｕ（１）＋、および二次固有成分Ｕ（２）を格納する記憶構成部と、
試験モード演算を処理するように動作可能な構成部であって、
試験用顔画像を解析して、試験用顔の一次残余成分Γ（１）を生成するように動作可能な構成部と、
試験用顔の一次固有成分Ｕ（１）および一次残余成分Γ（１）を用いて、試験用顔画像の一次成分特徴Ｗ（１）を得るように動作可能な構成部と、
一次成分特徴Ｗ（１）を解析して、試験用顔の二次残余成分Γ（２）を生成するように動作可能な構成部と、
試験用顔の二次固有成分Ｕ（２）および二次残余成分Γ（２）を用いて、試験用顔画像の二次成分特徴Ｗ（２）を得るように動作可能な構成部と、を備える構成部と、
を備える装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、高次固有成分を用いる、顔の記述および認識のための方法および装置に関する。本発明は、コンテンツに基づく画像検索用の顔の記述および認識、銀行、セキュリティシステムおよびテレビ電話用の人物の顔の識別および認証、監視および追跡、電子図書館およびインターネット・マルチメディア・データベースに利用できる。
【０００２】
【従来の技術】
人物の顔認識はコンピュータビジョン分野において盛んな領域である。顔認識はマルチメディアのデータベース検索やその他各種のアプリケーションにおいて重要な役割を果たすであろう。近年、顔の検知および認識問題において相当の進展があり、さまざまな技術が提案されている。これらのうち、ニューラルネットワーク、弾性テンプレート・マッチング、カルーネン・レーベ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）展開、代数的モーメントおよび等密度線が典型的な方法である。
【０００３】
これらの方法のうち、主成分分析（ＰＣＡ）またはカルーネン・レーベ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）展開が重要な流れである。固有顔法はＰＣＡから導かれ、計算に好都合であり、識別能力が一貫して正確である。従来の研究によれば、ＰＣＡアプローチは異なる種類の情報同士を自然に区別できることがわかっている。固有値が大きい固有ベクトルは顔の部分構造に共通の情報を取得し、固有値が小さい固有ベクトルは個々の顔に固有の情報を取得する。研究により、固有値が大きい固有ベクトルが含む情報だけが、未学習の新しい顔に一般化できることがわかっている。
【０００４】
【発明が解決しようとする課題】
固有顔法の利点は、固有値が大きい固有ベクトルが顔の基本形状と構造に対応する情報を持っていることである。これは、固有値が大きい固有ベクトルから抽出された特徴を利用して人物の顔の主要な特徴を記述することができることを意味する。しかし、これは同時にＰＣＡの弱点でもある。固有値が大きい固有ベクトルから抽出された特徴だけを考慮したならば、個々の顔に対応する顔の細部を得ることができない。個々の顔のこれらの細部を、人物の顔共通の特徴で記述することができれば、人物の顔記述がより正確になる。
【０００５】
固有顔法の欠点の一つは、顔成分の寄与率がすべて等しいことである。識別情報は、顔全体に均等に分布しているのではなく、目、眉、鼻、口および輪郭等、主として顔の中心部に存在する。頬の部分は識別情報を少ししか含まず、照明状態の変化や表情の変化の影響を受けやすい。顔成分について識別性の重要度が利用できるならば、人物の顔の認識がより正確に行なえるだろう。
【０００６】
【課題を解決するための手段】
固有顔法は、形状や構造等、顔の一般的な特徴を抽出するのに効率的である。固有値が小さい固有ベクトルが切り捨てれた場合に失われる顔の細部を取得するために、固有値が大きい固有ベクトルからの特徴により再構築された顔を取得する必要がある。再構築された顔の画像により、元の画像と再構築されたマトリックスの間の残余画像が得られる。これらの残余顔は高域通過された顔画像と見なされ、依然として個々の顔の細部情報を豊富に含んでいる。これらの残余顔を記述するために、固有顔法を再びこれらの残余顔に適用することができる。取得された、固有値が大きい固有ベクトルにより残余顔に共通する特徴が明らかになろう。本方法により、固有値が大きい高次固有ベクトルを取得して対応する特徴を抽出することができる。異なる次数の固有顔から得られた特徴を組み合わせて効率的に顔を記述することができる。
【０００７】
同様に、顔成分の一次およびより高次の主成分（固有成分）を取得して対応する顔領域の特徴を記述することができる。異なる次数の固有成分から得られたこれらの特徴を組み合わせて利用することにより、個々の顔成分を効率的に記述することができる。最終的に、人物の顔をさまざまな注目度で重み付けされた異なる次数の固有成分の組合わせで表現することができる。各種の用途に応じて、さまざまな成分の機能性（長所や短所）に当然相違があろう。それぞれの成分に対して異なる重み付けを割り当てる必要がある。
【０００８】
【作用】
本発明、画像検索（サンプル顔によるクエリー）、人物の識別および認証、監視および追跡、その他の顔認識用途に利用可能な、人物の顔を解釈する方法を提供する。顔特徴を記述するために、発明者の観察および導出に基づいて高次固有成分の概念を提案する。最初に、すべての顔画像を標準サイズに正規化する。次に目の垂直位置を計算して、顔を適切な位置に移す。これらの前処理がすべて終了したならば、固有成分および高次固有成分を学習用顔画像の集合から取得することができる。顔データベース内で顔画像を検索するために、固有成分と高次固有成分が射影された画像の特徴を、選択された固有成分と高次固有成分から計算することができる。これらの特徴を組み合わせて顔を記述することができる。この記述により、ユークリッド距離を用いて類似度を測定することができる。類似度の正確さを高めるために、特徴に重み付けをする必要がある。
【０００９】
【発明の実施の形態】
本発明は、異なる次数の成分の特徴を組み合わせて、より高次の固有成分特徴を抽出し、顔を表現する方法を提供する。
【００１０】
正規化された顔画像を用いて、固有成分および高次固有成分は以下のように取得できる。
【００１１】
最初に、正規化された顔画像の所定のブロックを用いて、顔成分（目、眉、鼻、口や輪郭等）を得る。
【００１２】
ラスタースキャン表現された顔成分の１次元ベクトルである顔成分Φｉに対し、平均成分Ψを次式で定義する。
【数１】
2004038937.tif 000003
【００１３】
すべての顔成分は平均の成分と、次式のベクトルだけ異なる。
【数２】
2004038937.tif 000004
【００１４】
データの共分散行列は従って次式で定義される。
【数３】
2004038937.tif 000005
ここで、
【数４】
2004038937.tif 000006
【００１５】
Ｑの次元はｗｈ×ｗｈであり、ｗとｈはそれぞれ成分の幅と高さである点に留意されたい。この行列の大きさは巨大であるが、有限個数の成分ベクトルＭだけを加算するため、この行列の階数はＭ−１を超えることはない。ｖｉ（１）が
2004038937.tif 000007
（ｉ＝１，２，．．．Ｍ）の固有ベクトルであるならば、λｉ（１）を
2004038937.tif 000008
の固有値として
2004038937.tif 000009
であり、従って上式の左辺にＡ（１）を乗じることにより
2004038937.tif 000010
は
2004038937.tif 000011
の固有ベクトルになることに留意する。
【数５】
2004038937.tif 000012
【００１６】
従って、固有ベクトルｖｉ（１）、および固有値λｉ（１）は次式によって得られる。
【数６】
2004038937.tif 000013
【００１７】
しかし
2004038937.tif 000014
の大きさはＭ×Ｍに過ぎない。従ってｕｉ（１）を
2004038937.tif 000015
の固有ベクトルとして次式を得る。
【数７】
2004038937.tif 000016
【００１８】
固有値λｉ（１）は、固有ベクトルｕｉ（１）が張る新しい座標空間に沿った分散である。これ以降、ｉの次数が大きいほど固有値λｉ（１）を減少するものと仮定する。固有値は指数的に減少する。従って、
2004038937.tif 000017
を計算することにより（ここに
2004038937.tif 000018
かつ１≦ｋ≦Ｍ１）、顔成分Γ（１）をＭ１＜＜Ｍ次元だけに射影することができる。ｗｋ（１）は新座標系におけるΓ（１）のｋ番目の座標である。この前提でＷ（１）を一次成分特徴と呼ぶ。ベクトルｕｋ（１）は実際には画像であり、一次固有成分と呼ぶ。
【００１９】
【数８】
2004038937.tif 000019
これによれば、次式を得る。
【数９】
2004038937.tif 000020
【００２０】
Ｕ（１）はＭ１×Ｐ行列であるため、逆行列は得られない。しかし、その擬似逆行列を用いて逆行列を近似することができる。
2004038937.tif 000021
を次式のように
2004038937.tif 000022
の擬似逆行列とする。
【数１０】
2004038937.tif 000023
これによれば、次式を得る。
【数１１】
2004038937.tif 000024
ここに、
2004038937.tif 000025
はＷ（１）およびＵ（１）から再構成された行列である。
【００２１】
次いで、次式が残余成分Гｉ（２）を得るために実行される。
【数１２】
2004038937.tif 000026
【００２２】
残余の顔成分ベクトルは依然として個々の成分の情報を豊富に含んでいるため、顔成分特徴を再び残余成分から抽出する必要がある。
2004038937.tif 000027
、λｉ（２）を
2004038937.tif 000028
の固有値、ｖｉ（２）を
2004038937.tif 000029
の対応する固有ベクトルとすると、
2004038937.tif 000030
である。上述の議論に基づいて、
2004038937.tif 000031
の固有ベクトルは
2004038937.tif 000032
である。従って、
2004038937.tif 000033
を計算することにより、残余成分Γ（２）をＭ２＜＜Ｍ次元だけに射影することができる。ここに、
【数１３】
2004038937.tif 000034
かつ１≦ｋ≦Ｍ２である。ｕｋ（２）は残余成分の固有ベクトルであるため、ｕｋ（２）を二次固有成分、ｗｋ（２）を二次成分特徴と呼ぶ。
【００２３】
【数１４】
2004038937.tif 000035
とすれば、式（１３）は以下のように書ける。
【数１５】
2004038937.tif 000036
また、
【数１６】
2004038937.tif 000037
とすれば次式を得る。
【数１７】
2004038937.tif 000038
【００２４】
Ｕ２は定数変換行列であって一度しか計算されないため、計算効率には影響しない。顔成分は次式で記述できる。
【数１８】
2004038937.tif 000039
ここに、
2004038937.tif 000040
である。Ω（Φ）を計算する際の計算負荷は、固有成分Ｕから成分特徴を計算するだけの場合と比べて増大はしない。
【００２５】
残余成分を二次残余成分と呼び、元の成分を一次残余成分と呼ぶ。
【００２６】
同じ方法により、三次、四次、・・・、ｎ次固有成分を導くことができる。対応する次数の残余成分を射影することにより、三次、四次、・・・、ｎ次成分特徴が得られる。これらの高次成分特徴を用いて、成分の類似度を射影間の重み付ユークリッド距離として定義することができる。図２にｉ次固有成分Ｕ（ｉ）および対応する変換行列Ｕｉの計算手順を示す。同図においてＰｓｅｕｄｏ＿Ｉｎｖ（Ｂ）は行列Ｂの擬似逆行列を計算する関数である。
【００２７】
二つの顔Ｈ１とＨ２の非類似度を、固有成分（例：固有目、固有眉、固有鼻、固有口および固有輪郭）と固有顔の射影から生成された各種の顔成分特徴間の合成距離として定義する。
【数１９】
2004038937.tif 000041
ａ１＝０の場合、顔画像の類似度は二次特徴だけを用いて測定される。
【００２８】
上述の方法により、顔画像を記述する方法は以下のように考察できる。
１）成分ウインドウ左上隅から始めて成分ウインドウの右下隅までラスタスキャン方式により前記顔成分を走査して一次元ピクセル配列を得る。
２）前記一次元ピクセル配列から平均成分を減算する。
３）前記減算された一次元ピクセル配列に前記一次および高次固有成分を乗ずる。
４）得られた成分の特徴を顔の記述として用いる。
５）前記特徴を符号化表現としてコーディングする。
【００２９】
本方法により、人物の顔の識別情報の重要度応じて異なる注目度で重み付けを行ない、人物の顔を効果的かつ空間効率良く記述することができる。
【００３０】
次に、本発明による顔特徴抽出の全体の演算を、図３および４を参照して説明する。演算は図４に示される学習モード演算（ステップ＃２２〜＃３１）、および図３に示される試験モード演算（ステップ＃３２〜＃４２）を含む。学習モードでは、まず、多くの顔サンプルを学習し、累積し、かつ一次平均の係数を得るための演算を行なう。
【００３１】
学習モードはステップ＃２２から開始し、ステップ＃３１まで続く。学習モードは、試験モードで使用される種々のパラメータを生成するために設けられている。
【００３２】
ステップ＃２２において、複数のサンプル顔画像が入力される。
【００３３】
ステップ＃２３において、各サンプル顔画像は、右目、左目、右眉、左眉、鼻、口、輪郭のような、複数の顔部分に分割され、各部分は解析されて、基本顔成分Φｉを得る。顔成分Φｉは人の顔の識別性の重要度に基づいて重み付けがなされる。
【００３４】
ステップ＃２４において、鼻部分のような同じ部分の顔成分が複数のサンプル顔画像から収集される。鼻部分の顔成分は鼻成分と呼ばれる。各部分の収集された顔成分が平均されて、式（１）を用いて一次平均顔成分Φを得る。同じ演算が実行されて、異なる顔成分に対する一次平均顔成分を得る。一次平均顔成分Φは、ステップ＃３４における試験モード演算で使用される。
【００３５】
ステップ＃２５において、各サンプル顔画像の任意の顔成分、例えば鼻の顔成分が、鼻の一次平均顔成分Φで引き算され、式（２）によって与えられる鼻のベクトルを得る。異なる顔成分の各々に対して、同じ演算が実行される。
【００３６】
ステップ＃２２〜＃２５はまとめて、学習用顔画像を解析する解析ステップと呼ばれる。
【００３７】
ステップ＃２６において、式（４）、（５）、（６）、（７）、および（８）が実行され、一次固有成分Ｕ（１）を得る。一次固有成分Ｕ（１）は、ステップ＃３５における試験モード演算で使用される。
【００３８】
ステップ＃２７において、式（１０）を用いて逆行列Ｕ（１）＋が生成される。逆行列Ｕ（１）＋は、Ｕ（１）Ｔにほぼ等しい。逆行列Ｕ（１）＋は、ステップ＃３７における試験モード演算で使用される。
【００３９】
ステップ＃２８において、逆行列Ｕ（１）＋は、式（１１）を用いて顔成分の差を得るために使用される。こうして、ステップ＃２２で収集された元の顔画像の基本顔成分に対する顔成分の差が得られる。ステップ＃２８で生成されたデータは差顔成分と呼ばれる。
【００４０】
ステップ＃２９において、差顔成分と一次平均顔成分との差が得られる。
【００４１】
ステップ＃２７〜＃２９はまとめて、一次固有成分を解析する解析ステップと呼ばれる。
【００４２】
ステップ＃３０において、ステップ＃２９で得られる差を用いて、二次Ｋ−Ｌ係数Ｕ（２）（これは二次固有成分とも呼ばれる）が、式（４）、（６）、（７）、（１４）、および（１６）を用いて計算される。二次Ｋ−Ｌ係数Ｕ（２）は、Ｋ−Ｌ変換（ステップ＃４０）における試験モードで使用される。
【００４３】
試験モードは、ステップ＃３２から始まり、ステップ＃４２まで続く。一次成分特徴Ｗ（１）およびニ次成分特徴Ｗ（２）を生成するために、試験モードが設けられている。
【００４４】
ステップ＃３２において、試験対象であるひとつの顔画像が入力される。
【００４５】
ステップ＃３３において、入力された顔画像は、右目、左目、右眉、左眉、鼻、口、輪郭のような、複数の顔部分に分割され、各部分は解析されて、基本顔成分Φｉを得る。顔成分Φｉは人の顔の識別の重要度に基づいて重み付けがなされる。
【００４６】
ステップ＃３４において、基本顔成分が一次平均顔成分Ψで引き算され、第１差Γ（１）（一次平均残余成分とも呼ばれる）を得る。第１差Γ（１）はステップ＃３５およびステップ＃３９で利用される。
【００４７】
ステップ＃３２〜＃３４はまとめて、試験用顔画像を解析する解析ステップと呼ばれる。
【００４８】
ステップ＃３５において、第１差Γ（１）および一次固有成分Ｕ（１）を用いて、式（９）で示されるＫ−Ｌ変換が実行され、一次成分特徴Ｗ（１）を得る。
【００４９】
ステップ＃３６において、一次成分特徴Ｗ（１）が生成される。一次成分特徴Ｗ（１）は、ステップ＃３２で入力された試験用顔の特徴を表わす。一次成分特徴Ｗ（１）は試験用顔を表わす情報として使用され得るが、比較的大きいサイズのデータを有する。次に説明する更なる計算が実行されれば、データサイズを減らすことが出来る。
【００５０】
ステップ＃３７において、式（１１）を用いて、Ｋ−Ｌ逆変換が実行されて、再構成行列
2004038937.tif 000042
を生成する。
【００５１】
ステップ＃３８において、再構成行列
2004038937.tif 000043
が生成される。
【００５２】
ステップ＃３９において、式（１２）が実行され、第１差Γ（１）と再構成行列
2004038937.tif 000044
との差を生成して、第２差Γ（２）を得る。これは通常第２残余成分Γｉ（２）と呼ばれる。
【００５３】
ステップ＃３７〜＃３９はまとめて、一次成分特徴を解析する解析ステップと呼ばれる。
【００５４】
ステップ＃４０において、第２差Γ（２）および二次Ｋ−Ｌ係数Ｕ（２）を用い、式（１７）によるＫ−Ｌ変換が実行されて、二次成分特徴Ｗ（２）を生成する。
【００５５】
ステップ＃４１において、二次成分特徴Ｗ（２）が生成される。二次成分特徴Ｗ（２）は、試験モードにおいて入力された試験用顔の特徴を表わす情報として用いられる。
【００５６】
図３および４に示されるフローチャートは、サンプル顔画像および試験用顔画像を捕らえるカメラが接続されたコンピュータによって実行される。２つのコンピュータのセットを準備することも可能である。一方のセットは学習モード演算用とし、他方のセットは試験モード演算用として用いる。各セットにコンピュータとカメラを含むことも可能である。学習モード演算用セットは、ステップ＃２２〜＃３０を実行する様プログラムされている一方、試験モード演算用セットは、ステップ＃３２〜＃４２を実行する様プログラムされているようにすることも出来る。試験モード演算用セットにおいて、記憶装置が設けられて、一次平均顔成分Ψ、一次固有成分Ｕ（１）、逆行列Ｕ（１）＋、およびニ次固有成分Ｕ（２）のような、学習モード演算用セットで得られた情報を前もって格納することも可能である。
【００５７】
本発明は、成分主体の特徴を用いることにより、人物の顔記述を極めて効率的に得ることが出来る。高次固有成分が学習用成分を用いて一度だけ計算すれば良いため、高次成分特徴は一次成分特徴と同程度の効率で得られる。しかし、詳細な局部的な識別情報は高次成分特徴により明らかになるため、目、眉、鼻、口および輪郭の一次成分特徴と高次成分特徴にさまざまな注目度の重み付けを組み合わせれば、一次固有顔特徴のみ、または一次固有顔特徴と高次固有顔特徴との組合わせだけの場合よりも性能の良い顔記述を得ることが出来る。
【００５８】
本発明は、インターネット・マルチメディア、データベース検索、ビデオ編集、電子図書館、監視および追跡、および顔認識と認証を利用するその他広範な用途に利用可能な顔記述を極めて効果的かつ効率的に提供する。
【図面の簡単な説明】
【図１】一次特徴Ｗ（１）の計算手順を示すフローチャートである。
【図２】ｉ次固有成分Ｕ（ｉ）および対応する変換行列Ｕｉの計算手順を示すフローチャートである。
【図３】学習モード演算のフローチャートである。
【図４】試験モード演算のフローチャートである。
【図１】
2004038937.tif 000053
【図２】
2004038937.tif 000054
【図３】
2004038937.tif 000055
【図４】
2004038937.tif 000056
【外国語明細書】
2004038937.tif 000057
2004038937.tif 000058
2004038937.tif 000059
2004038937.tif 000060
2004038937.tif 000061
2004038937.tif 000062
2004038937.tif 000063
2004038937.tif 000064
2004038937.tif 000065
2004038937.tif 000066
2004038937.tif 000067
2004038937.tif 000068
2004038937.tif 000069
2004038937.tif 000070
2004038937.tif 000071
2004038937.tif 000072
2004038937.tif 000073
2004038937.tif 000074
2004038937.tif 000075
2004038937.tif 000076
2004038937.tif 000077
2004038937.tif 000078
2004038937.tif 000079
2004038937.tif 000080
2004038937.tif 000081
2004038937.tif 000082
2004038937.tif 000083
2004038937.tif 000084
2004038937.tif 000085