(57)【要約】【課題】人の顔面を効果的に効率よくコード化して認識する成分ベースの方法を提供する。【解決手段】カスケード部分空間投影により目特徴、眉特徴、鼻特徴、口特徴、輪郭特徴および髪特徴などの顔面成分特徴を生成して、その特定の顔面成分の詳細な領域情報を描写する。詳細な領域同一性情報を個々の成分特徴で示すことができる。異なる注目重みを有する目、眉、鼻、口および輪郭の成分特徴の組合せは、全体的な顔面描写と比べてより優れた顔面描写性能を有する。成分一致がどのくらい良いかに基づいて各成分で得られた結果に重みがつけられる。テスト顔面の同一性情報の重要性に対応する適応注目重みを有する目、眉、鼻、口および輪郭の顔面成分特徴を組み合わせる確率的顔面成分融合方法では、各々の個々の顔面上に表示された種々の表情、オクルージョンおよび外見の変化の問題に取り組むことができる。【選択図】      図３
2004272326.tif 000002
【特許請求の範囲】
【請求項１】
一次元配列の画素へのラスタ走査を使用することにより顔面成分を走査する工程と、
前記顔面成分のスペクトルおよびパワースペクトルを計算する工程と、
スペクトル空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
得られた成分特徴を前記顔面成分の描写として使用する工程と、
スペクトルおよびパワースペクトルチャネルからの２つの投影出力を併合する識別投影を投影する工程と、
得られた特徴から前記顔面成分を描写する特徴を選択する工程と、
前記特徴をコード化表現にコード化する工程と、
を含む、顔面描写用の成分特徴を抽出する方法。
【請求項２】
一次元配列の画素へのラスタ走査を使用することにより顔面成分を走査する工程と、
イメージ空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
得られた成分特徴を前記顔面成分の描写として使用する工程と、
前記顔面成分を描写する特徴を選択する工程と、
前記特徴をコード化表現にコード化する工程と、
を含む、顔面描写用の成分特徴を抽出する方法。
【請求項３】
目、眉、鼻、口および輪郭などの顔面成分を一次元配列の画素に走査する工程と、
前記顔面成分のスペクトルおよびパワースペクトルを計算する工程と、
スペクトル空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
目、眉、鼻、口および輪郭の得られた成分特徴を前記顔面成分の描写として使用する工程と、
スペクトルおよびパワースペクトルチャネルからの２つの投影出力を併合する識別投影を投影する工程と、
得られた成分特徴を前記成分の描写として使用する工程と、
所与の局所的な一致の確率、すなわち、前記成分の一致がどのくらい「良い」かに基づいてすべての前記顔面成分の注目重みを生成する工程と、
顔面を描写する異なる注目重みを用いて（目特徴、眉特徴、鼻特徴、口特徴および輪郭特徴などの）種々の成分特徴を組み合わせる工程と、
を含む、顔面イメージを描写する方法。
【請求項４】
顔面イメージを標準サイズに正規化する工程と、
（目、眉、鼻、口および輪郭などの）顔面成分を一次元配列の画素に走査する工程と、
前記顔面成分のスペクトルおよびパワースペクトルを計算する工程と、
スペクトル空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
目、眉、鼻、口および輪郭の得られた成分特徴を前記顔面成分の描写として使用する工程と、
スペクトルおよびパワースペクトルチャネルからの２つの投影出力を併合する識別投影を投影する工程と、
得られた成分特徴を前記成分の描写として使用する工程と、
所与の局所的な一致の確率、すなわち、前記成分の一致がどのくらい「良い」かに基づいてすべての前記顔面成分の注目重みを生成する工程と、
顔面を描写する異なる注目重みを用いて（目特徴、眉特徴、鼻特徴、口特徴および輪郭特徴などの）種々の成分特徴を組み合わせる工程と、
前記特徴をコード化表現にコード化する工程と、
を含む、顔面イメージを描写する方法。
【請求項５】
顔面イメージを標準サイズに正規化する工程と、
（目、眉、鼻、口および輪郭などの）顔面成分を一次元配列の画素に走査する工程と、
イメージ空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影を投影する工程と、
得られた成分特徴を前記成分の描写として使用する工程と、
所与の局所的な一致の確率、すなわち、前記成分の一致がどのくらい「良い」かに基づいてすべての前記顔面成分の注目重みを生成する工程と、
顔面を描写する異なる注目重みを用いて（目特徴、眉特徴、鼻特徴、口特徴および輪郭特徴などの）種々の成分特徴を組み合わせる工程と、
前記特徴をコード化表現にコード化する工程と、
を含む、顔面イメージを描写する方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、内容主体のイメージ検索用の顔面描写および認識、銀行セキュリティシステム用の人の顔面識別および確認、ビデオ監視、ディジタルライブラリおよびインターネットマルチメディアデータベースにおいて使用可能である。
【０００２】
【従来の技術】
人の顔面の認知は、コンピュータ視覚業界で活発な分野である。顔面の認識は、マルチメディアデータベース探索および多くの他の用途で重要な役割を果たす。近年、顔面の検出および認識の問題についてかなりの進展が見られる。異なる技法が提案された。これらの技法の中で、ニューラルネットワーク、弾性テンプレートマッチング、Ｋ−Ｌ（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ）展開、代数モーメントおよび等密度線が、代表的な方法である。
【０００３】
これらの方法の中で、主成分分析（ＰＣＡ）および線形識別分析（ＬＤＡ）が重要な方法である。固有顔面方法は、ＰＣＡから派生しており、計算に便利であり、識別において一貫した精度を有する。従来の作業によれば、ＰＣＡ法では異種の情報間で自発的に分離した。大きい固有値を有する固有ベクトルは、顔面のサブセットに共通の情報を収集し、小さい固有値を有する固有ベクトルは、個々の顔面に特有の情報を収集する。研究によれば、大きい固有値を有する固有ベクトルにより囲まれている情報のみを調整されていない新しい顔面に一般化することができる。現行の技法では、顔面描写および認識用のＰＣＡ、ＬＤＡおよびスペクトル分析技法（例えば、フーリエスペクトルＰＣＬＤＡ）を組み合わせる傾向がある。
【０００４】
【発明が解決しようとする課題】
ＰＣＡ、ＬＤＡおよびフーリエスペクトルＰＣＬＤＡ方法の欠点の一つは、すべての顔面成分領域の寄与が同一であるということである。顔面全体に均等に分布されるのではなく、同一性情報は、目、眉、鼻、口および輪郭などの特定の顔面領域に主としてある。チェック領域は、同一性情報が少なく、照明状態の変化および顔面の表情の変化に比較的敏感に反応する。顔面成分の同一性の重要性を使用できる場合、人の顔面の認識は一層正確である。確率的融合方法は、顔面成分の重みを適応して決定するために局所的な一致がどのくらい「良い」かを分析するのに必要である。
【０００５】
【課題を解決するための手段】
ＰＣＡ、ＬＤＡおよびフーリエスペクトルＰＣＬＤＡを顔面全体に適用する代わりに、顔面成分特徴、すなわち、目特徴、眉特徴、鼻特徴、口特徴、輪郭特徴および髪特徴が、目、眉、鼻、口、輪郭および髪の顔面成分から抽出される。前記特徴を抽出して、対応する顔面領域の特徴を描写する。最終的に、異なる注目重みを有する異なる特徴成分の組合せにより人の顔面を表現することができる。確率的融合方法は、局所的な一致がどのくらい「良い」かを分析するのに提案されている。この技法は、不変の表情、顔面オクルージョンおよび外見の変化の問題を解決することができる。現在のテストイメージ上に表示された表情、オクルージョンおよび外見によりこの局所領域がどのくらい影響を受けているのかに基づいて各局所領域上で得られた結果に重みがつけられる。
【０００６】
【発明の作用】
本発明は、イメージ検索（顔面の例による照会）、個人識別および確認、監視および追跡、ならびに他の顔面認識用途に使用可能な人の顔面を解釈する方法を提供する。顔面の特徴を描写するために、部分空間投影から生成される顔面成分特徴の概念が我々の観察および誘導によって提案されている。最初は、２つの目の位置を合わせることによりすべての顔面イメージを標準サイズに正規化する。前処理手続きの後、部分空間投影を用いて１組の調整顔面イメージによりシステムを調整する。顔面イメージを顔面データベースに照会するために、調整段階から得られるＰＣＡおよびＬＤＡ行列を用いて投影された前記顔面成分の特徴を、選択された顔面領域で計算することができる。これらの顔面成分特徴の組合せを用いて顔面を描写することができる。この描写に関して、類似性の測定にユークリッド距離を使用することができる。類似性の精度を向上させるために、個人の同一性に対するそれらの重要性の観点から前記成分特徴に重みをつけるべきである。局所的な一致がどのくらい「良い」かを分析する確率的方法が提案されている。ところで、問題は、定義済みの固定重みの代わりに前記成分の重みを自動的に決定することである。この技法では、現在のテストイメージ上に表示された種々の表情、オクルージョンおよび外見の変化の問題に取り組むことができる。
【０００７】
【発明の実施の形態】
本発明は、顔面成分特徴を抽出し、異なる成分特徴を組み合わせることにより顔面を表現する方法を提供する。
【０００８】
正規化された顔面イメージに関して、予め設定されたブロックを使用することにより（目特徴、眉特徴、鼻特徴、口特徴、輪郭特徴および髪特徴などの）顔面成分特徴を得る（図１）。
【０００９】
図２に示すように提案された確率的顔面成分重み生成および融合技法を用いて、抽出された顔面成分を組み合わせる。各々の個々の成分特徴を生成するのに、図３に示すように５段階のコード化工程またはその一部を使用する。
【００１０】
段階１において、選択された顔面成分は、フーリエ変換を用いて周波数領域に変換される。スペクトルおよびパワースペクトルは、この段階の出力として使用される。段階２において、主成分分析（ＰＣＡ）を前記顔面成分のスペクトルおよびパワースペクトルに適用する。ラスタ走査顔面成分の一次元ベクトルである顔面成分Φｉを考え、ＩＩを平均成分として定義する。
【数１】
2004272326.tif 000003
【００１１】
あらゆる顔面成分は、ベクトルΓｉ＝Φｉ−Πだけ平均顔面成分と異なる。したがって、データの共分散行列は、次のように定義される。
【数２】
2004272326.tif 000004
ここで、
【数３】
2004272326.tif 000005
【００１２】
Ｑはｗｈ×ｗｈ次元を有する（ここで、ｗは前記成分の幅、ｈは高さである）ことに留意せよ。この行列のサイズは巨大であるが、有限数の成分ベクトルＭを合計するだけであるため、この行列の階数はＭ−１を超えることができない。ｖｉがＡＴＡ（ｉ＝１，２，…，Ｍ）の固有ベクトルである場合、ＡＴＡｖｉ＝λｉｖｉ（ここで、λｉはＡＴＡの固有値）であることに留意せよ。次に、前式において左側にＡを掛けることにより分かるようにＡＴｖｉはＡＡＴの固有ベクトルである。
【数４】
2004272326.tif 000006
【００１３】
しかし、ＡＴＡはサイズＭ×Ｍにすぎない。ＡＡＴの固有ベクトルｕｉを定義すると、次のようになる。
【数５】
2004272326.tif 000007
【００１４】
固有値λｉは、固有ベクトルｕｉにより張られた新しい座標空間に沿った分散である。ここから先、ｉの次数は、固有値λｉが減少するようにすると仮定する。固有値は、指数的に減少している。したがって、Ｚ＝｛ｚｋ｝（ここで、ｚｋ＝ｕｋＴΓおよび１≦ｋ≦Ｍ１）を計算することにより、顔面成分ΓをＭ１＜＜Ｍ次元のみの上に投影することができる。ｚｋは、新しい座標系においてΓのｋ番目の座標である。この状況において、Ｚは固有成分特徴と呼ばれる。ベクトルｕｋは、実際にはイメージであり、固有成分と呼ばれる。Ｕ＝［ｕ１，ｕ２，…，ｕＭ１］とすると、次のようになる。
【数６】
2004272326.tif 000008
ＺはＰＣＡの結果である。
【００１５】
ＵはＭ１×Ｐ行列であるので、その逆を得ることはできない。しかし、その擬似逆を用いてその逆に近づけることはできる。Ｕ＋がＵＴの擬似逆であるとすると、次のようになる。
【数７】
2004272326.tif 000009
ここで、ΓはＺおよびＵからの再構成行列である。段階３では、線形識別分析を用いて固有空間から識別空間に投影する。段階２および段階３における全投影は、次の通りである。
【数８】
2004272326.tif 000010
ここで、Ｕはスペクトル空間（または段階１を使用しない場合、イメージ空間）から固有空間への投影行列であり、Ｖは固有空間から識別空間への投影行列である。
【００１６】
投影されたベクトルは、次式により与えられる単位ベクトルに正規化される。
【数９】
2004272326.tif 000011
ここで、ｍｙは前記投影ベクトルの平均ベクトルである。パワースペクトル成分を併合する場合のＬＤＡ投影について、投影ベクトルを次式のように計算する。
【数１０】
2004272326.tif 000012
ここで、Ｙｓｐはスペクトルチャネルの出力であり、Ｙｐｓはパワースペクトルチャネルの出力である。
【００１７】
顔面成分特徴は、Ｗ（Φ）＝［ｗ１，ｗ２，…，ｗＭ’１］Ｔ（ここで、１≦Ｍ１’≦Ｍ１）を用いて描写可能である。各ｗｉは、次式を用いて５ビットの符号なし整数に再量子化される。
【数１１】
2004272326.tif 000013
【００１８】
２つの顔面Ｈ１およびＨ２の相違点の測定は、異なる顔面成分を用いて図３における工程から生成される種々の顔面成分特徴（すなわち、目特徴、眉特徴、鼻特徴、口特徴、輪郭特徴および髪特徴）の間の合成距離として定義される。
【数１２】
2004272326.tif 000014
ここで、ａｅｙｅ，ａｅｙｅｂｒｏｗ，ａｎｏｓｅ，ａｍｏｕｔｈ，ａｏｕｔｌｉｎｅは顔面成分の注目重みである。
【００１９】
自動重み生成に関して、前記成分の各々が、計算された固有空間上に投影される。平均成分特徴ベクトルμｋおよび各局所部分空間の共分散行列（Σｋ）は既に知られているので、所与の顔面成分一致の確率Ｐｋを適当に定義された距離に直接対応づけることができる。
Ｐｋ＝（Φｋμｋ）ＴΣｋ（Φｋμｋ）
ここで、ｋはｋ番目の顔面成分を表す。
【００２０】
ガウスの場合の混合に関して、混合の平均確率が計算される。最後に、すべての局所確率Ｐｋは、前記テストイメージの顔面成分注目重みとして使用される。各々の個々のテストイメージは、顔面上に表示された表情、オクルージョンおよび外見変化に基づいてそれ自身の一意の重みセットを有する。
【００２１】
上述の方法を用いて、顔面イメージを描写する方法を次のように考えることができる。
１）一次元配列の画素への成分ウィンドウの左上隅で始まり成分ウィンドウの右下隅で終わるラスタ走査を使用することにより前記顔面成分を走査すること。
２）前記顔面成分のスペクトルおよびパワースペクトルを計算すること（オプション）。
３）スペクトル空間またはイメージ空間から固有空間へのＰＣＡ投影、次いで固有空間から識別空間への識別投影。
４）スペクトルおよびパワースペクトルチャネルからの２つの投影出力を併合する識別投影（工程２を適用する場合にのみ有効）。
５）得られた成分特徴を前記成分の描写として使用すること。
６）注目重みを生成する入力顔面の各々の個々の成分一致の確率を計算すること。
７）顔面を描写するのに生成される対応する注目重みを用いて（目特徴、眉特徴、鼻特徴、口特徴および輪郭特徴などの）種々の成分特徴を組み合わせること。
８）式（８）を用いた前記特徴をコード化表現にコード化すること。
【００２２】
この方法を用いて、人の顔面の同一性情報の重要性に対応する異なる注目重みを有する空間で人の顔面を効果的に効率よく描写することができる。
【００２３】
【発明の効果】
本発明は、成分による特徴を用いて人の顔面を描写するのに非常に効果的である。人の顔面の同一性情報の重要性に対応する適応注目重みを有する目、眉、鼻、口および輪郭の顔面成分特徴を組み合わせる確率的顔面成分融合方法は、同一の領域寄与または定義済みの固定重みを有する顔面全体の特徴と比べてより優れた顔面描写性能を有する。この技法では、各々の個々の顔面上に表示された種々の表情、オクルージョンおよび外見の変化の問題に取り組むことができる。
【００２４】
本発明は、インターネットマルチメディアデータベース検索、ビデオ編集、ディジタルライブラリ、監視および追跡、ならびに広範囲に顔面認識および確認を用いた他の用途において使用可能な人の顔面を描写するのに非常に効果的かつ効率的である。
【図面の簡単な説明】
【図１】顔面成分に基づく顔面領域選択図である。
【図２】顔面記述子（顔面成分特徴）抽出および融合システムである。
【図３】顔面記述子（顔面成分特徴）抽出方法である。
【図１】
2004272326.tif 000015
【図２】
2004272326.tif 000016
【図３】
2004272326.tif 000017
【外国語明細書】
2004272326.tif 000018
2004272326.tif 000019
2004272326.tif 000020
2004272326.tif 000021
2004272326.tif 000022
2004272326.tif 000023
2004272326.tif 000024
2004272326.tif 000025
2004272326.tif 000026
2004272326.tif 000027
2004272326.tif 000028
2004272326.tif 000029