(57)【要約】　　　（修正有）【課題】画像のオブジェクトを認識する方法を提供する。【解決手段】ギャラリー画像１２１は、特定されたオブジェクトを含み、プローブ画像１２２は、特定されていないオブジェクトを含む。プローブ画像は、それぞれのギャラリー画像と対にされ、画像対が生成される。第１のフィルタが、それぞれの対のプローブ画像に適用され、それぞれのフィルタのそれぞれの適用についての第１の特徴値が得られる。第２のフィルタも同様に、それぞれの対のそれぞれのギャラリー画像に適用され、第２の特徴値が得られる。特徴値は、それぞれのフィルタのそれぞれの適用について合計され、それぞれの適用について、合計が所定の閾値より大きいならば、得点が合格重みに設定され、そうでなければ、得点が不合格重みに設定される。得点は、適用のすべてについて合計され、得点がゼロより大きいならば、プローブ画像は、いずれかのギャラリー画像と同一と特定される。【選択図】　図１
2004133889.tif 000002
【特許請求の範囲】
【請求項１】
画像のオブジェクトを認識する方法であって、
それぞれが特定されたオブジェクトを含む複数のギャラリー画像を提供することと、
複数の画像対を生成するために、それぞれのギャラリー画像を、特定されていないオブジェクトのプローブ画像と対にすると、
それぞれのフィルタのそれぞれの適用についての第１の特徴値を得るために、第１の組のフィルタをそれぞれの対の前記プローブ画像に適用すること、およびそれぞれのフィルタのそれぞれの適用についての第２の特徴値を得るために、第２の組のフィルタをそれぞれの対の前記それぞれのギャラリー画像に適用することと、
それぞれのフィルタのそれぞれの適用について、前記第１および第２の特徴値を合計することと、
それぞれの適用について、前記合計が所定の閾値より大きい場合には、得点を合格重みに設定し、そうでなければ、前記得点を不合格重みに設定することと、
前記適用のすべてについて、前記得点を合計することと、
前記得点がゼロより大きい場合には、前記プローブ画像をいずれかのギャラリー画像と特定することと
を含む方法。
【請求項２】
前記オブジェクトは、顔である、請求項１に記載の方法。
【請求項３】
サイズおよび方向に関して前記画像を正規化すること
をさらに含む請求項１に記載の方法。
【請求項４】
異なる視野が、前記特定されたオブジェクトおよび前記識別されていないオブジェクトに使用される、請求項１に記載の方法。
【請求項５】
前記フィルタは、テンプレートフィルタである、請求項１に記載の方法。
【請求項６】
前記フィルタは、非線形関数である、請求項１に記載の方法。
【請求項７】
前記フィルタは、前記画像の一部に適用されるローカル関数である、請求項１に記載の方法。
【請求項８】
ギャラリー画像の複数の組が提供され、それぞれの組は、前記オブジェクトの異なる視野を使用する、請求項１に記載の方法。
【請求項９】
画像のオブジェクトを認識するシステムであって、
それぞれが特定されたオブジェクトを含む複数のギャラリー画像と、
それぞれのギャラリー画像と対にされて複数の画像対を生成する、特定されていないオブジェクトのプローブ画像と、
それぞれのフィルタのそれぞれの適用についての第１の特徴値を得るために、第１の組のフィルタをそれぞれの対の前記プローブ画像に適用する手段と、
それぞれのフィルタのそれぞれの適用についての第２の特徴値を得るために、第２の組のフィルタをそれぞれの対の前記それぞれのギャラリー画像に適用する手段と、
それぞれのフィルタのそれぞれの適用について、前記第１および第２の特徴値を合計する手段と、
それぞれの適用について、前記合計が所定の閾値より大きい場合には、得点を合格重みに設定し、そうでなければ、前記得点を不合格重みに設定する手段と、
前記適用のすべてについて、前記得点を合計する手段と、
前記得点がゼロより大きい場合には、前記プローブ画像をいずれかのギャラリー画像と特定する手段と、
を備えるシステム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、包括的には、パターンおよびオブジェクトの認識に関し、より具体的には、静止画および動画における人間の顔の認識に関する。
【０００２】
【従来の技術】
人を視覚的に区別する最も顕著な特徴は、顔である。したがって、静止画および動画（ビデオ）における顔の認識は、画像から人を特定することを望む多くのアプリケーションにとって重要な技術である。顔の認識は、コンピュータビジョン技術にとって極めて困難な挑戦を提示する。
【０００３】
たとえば、監視カメラによって得られた顔の画像では、シーンの照明が粗末でかつ制御されていないことが多く、また、カメラは、一般に低品質であり、かつ、通常、シーンの潜在的に重要な部分から遠く離れている。シーンにおける顔の位置および方向は、通常、制御することができない。ヘアライン、眉、および顎といったように、容易に変更される顔の特徴もある。例えば口などの他の特徴は、特にビデオでは、非常に変化しやすい。
【０００４】
顔の認識は、特定されていない顔の画像（プローブ画像）を、一組の特定されている顔の画像（ギャラリー画像）と比較する。ギャラリーは、同じ顔の複数の画像を含むことができる。比較により、プローブ画像とギャラリー画像とが同じ顔のものであるか、または、プローブ画像とギャラリー画像とが異なる顔のものであるかの２つの結果が可能である。
【０００５】
確率的には、これら２つの結果は、Ｐ（ＳＡＭＥ｜Ｄ）およびＰ（ＤＩＦＦＥＲＥＮＴ｜Ｄ）として表すことができる。ここで、Ｄは、プローブ／ギャラリー分布からのある特定のサンプル対のデータである。ベイズの法則を用いて、条件付き確率は、次のように表すことができる。
【０００６】
【数１】
2004133889.tif 000003
【０００７】
条件付き確率Ｐ（ＤＩＦＦＥＲＥＮＴ｜Ｄ）は、同様にして表すことができるか、または、Ｐ（ＤＩＦＦＥＲＥＮＴ｜Ｄ）＝１−Ｐ（ＳＡＭＥ｜Ｄ）として表すことができる。Ｄｕｄａ等著「Ｐａｔｔｅｒｎ　ｃｌａｓｓｉｆｉｃａｔｉｏｎ　ａｎｄ　ｓｃｅｎｅ　ａｎａｌｙｓｉｓ」，　Ｗｉｌｅｙ，　Ｎｅｗ　Ｙｏｒｋ，　１９７３を参照されたい。
【０００８】
次に、量Ｐ（ＳＡＭＥ｜Ｄ）およびＰ（ＤＩＦＦＥＲＥＮＴ｜Ｄ）が比較され、プローブ画像がギャラリー画像の１つと同じであるか否かが判定される。多数の顔の中から認識するには、すべての画像に渡ってＰ（ＳＡＭＥ｜Ｄ）を最大にする。
【０００９】
主成分分析（ＰＣＡ（ｐｒｉｎｃｉｐａｌ　ｃｏｍｐｏｎｅｎｔ　ａｎａｌｙｓｉｓ））またはカルーネンレーベ展開（Ｋａｒｈｕｎｅｎ−Ｌｏｅｖｅ　ｅｘｐａｎｓｉｏｎ）に基づく顔認識システムもある。１９９２年１１月１７日にＭ．　Ａ．　Ｔｕｒｋ他に発行された「Ｆａｃｅ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｓｙｓｔｅｍ」と題された米国特許第５，１６４，９９２号は、トレーニングベクトルからなる行列が画像から抽出され、ＰＣＡによって正規直交固有ベクトルおよび関連する固有値の組にされるシステムを記載している。正規直交固有ベクトルおよび関連する固有値の組は、画像の分布を描く。これらのベクトルは、部分空間に投影される。顔は、投影されたベクトル間のユークリッド距離を測定することによって認識される。ＰＣＡアプローチによる問題は、口といった具体的な特徴の外見の変化をモデル化できないことである。
【００１０】
Ｃｏｓｔｅｎ等は、「Ａｕｔｏｍａｔｉｃ　Ｆａｃｅ　Ｒｅｃｏｇｎｉｔｉｏｎ：　Ｗｈａｔ　Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ？」，　Ｔｅｃｈｎｉｃａｌ　Ｒｅｐｏｒｔ　ｏｆ　Ｔｈｅ　Ｉｎｓｔｉｔｕｔｅ　ｏｆ　Ｅｌｅｃｔｒｏｎｉｃｓ，　Ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｅｎｇｉｎｅｅｒｓ　（ＩＥＩＣＥ），　ｐｐ．　９５−３２，　Ｊａｎｕａｒｙ　１９９６で、マハラノビス距離（Ｍａｈａｌａｎｏｂｉｓ　ｄｉｓｔａｎｃｅ）を用いることにより、認識精度を上げることができる方法を記載している。改良型マハラノビス距離方法は、Ｋａｔｏ等によって、「Ａ　Ｈａｎｄｗｒｉｔｔｅｎ　Ｃｈａｒａｃｔｅｒ　Ｒｅｃｏｇｎｉｔｉｏｎ　Ｓｙｓｔｅｍ　Ｕｓｉｎｇ　Ｍｏｄｉｆｉｅｄ　Ｍａｈａｌａｎｏｂｉｓ　ｄｉｓｔａｎｃｅ」，　Ｔｒａｎｓａｃｔｉｏｎ　ｏｆ　ＩＥＩＣＥ，　Ｖｏｌ．　Ｊ７９−Ｄ−ＩＩ，　Ｎｏ．　１，　ｐｐ．　４５−５２，　Ｊａｎｕａｒｙ　１９９６に記載されている。彼らは、それぞれの固有値にバイアス値を加えることによってこれを行う。
【００１１】
Ｍｏｇｈａｄｄａｍ他は、１９９８年１月２０日に発行された「Ｄｅｔｅｃｔｉｏｎ，　ｒｅｃｏｇｎｉｔｉｏｎ　ａｎｄ　ｃｏｄｉｎｇ　ｏｆ　ｃｏｍｐｌｅｘ　ｏｂｊｅｃｔｓ　ｕｓｉｎｇ　ｐｒｏｂａｂｉｌｉｓｔｉｃ　ｅｉｇｅｎｓｐａｃｅ　ａｎａｌｙｓｉｓ」と題された米国特許第５，７１０，８３３号、およびＭｏｇｈａｄｄａｍ等著「Ｂｅｙｏｎｄ　ｅｉｇｅｎｆａｃｅｓ：　Ｐｒｏｂａｂｉｌｉｓｔｉｃ　ｍａｔｃｈｉｎｇ　ｆｏｒ　ｆａｃｅ　ｒｅｃｏｇｎｉｔｉｏｎ」，　Ｐｒｏｃ．　ｏｆ　Ｉｎｔ’ｌ　Ｃｏｎｆ．　ｏｎ　Ａｕｔｏｍａｔｉｃ　Ｆａｃｅ　ａｎｄ　Ｇｅｓｔｕｒｅ　Ｒｅｃｏｇｎｉｔｉｏｎ，　ｐｐ．　３０−３５，　Ａｐｒｉｌ　１９９８に確率による顔の認識を記載している。
【００１２】
彼らは、デジタル表現されたシーンの選択されたオブジェクトまたはオブジェクトの特徴、例えば顔の距離を認識するシステムを記載している。彼らは、それぞれのギャラリー画像からプローブ画像を差し引き、差分画像を得る。次に、差分画像の分布Ｐ（Ｄ｜ＳＡＭＥ）およびＰ（Ｄ｜ＤＩＦＦＥＲＥＮＴ）が、ガウス確率密度関数としてモデル化される。
【００１３】
その方法の重要な弱点は、差分画像のガウスモデルが非常に制限的であることである。実際に、同じ顔の２つの画像は、照明、および、例えばしかめ面または笑顔といった顔の表情によって変化し得る。有用な差分画像を得るには、プローブ画像およびギャラリー画像が、非常に類似していなければならない。例えば、正面のプローブ画像は、同じ顔の横顔のギャラリー画像と比較することはできない。さらに、彼らの方法は、口といった顔の特徴の動きに適応せず、したがって、ビデオでの使用にはあまり向かない。
【００１４】
別の顔認識技術は、変形可能マッピングを使用する。それぞれのギャラリー画像は、前処理され、複数のノードからなる伸縮グラフにマッピングされる。それぞれのノードは、例えば口角といった顔の所定の位置にあり、隣接するノードに接続されている。一組のローカルな画像測定（ガボールフィルタ応答（Ｇａｂｏｒ　ｆｉｌｔｅｒ　ｒｅｓｐｏｎｓｅ））が、それぞれのノードで行われ、測定値は、それぞれのノードと関連付けられる。プローブ画像およびギャラリー画像は、それぞれのギャラリー画像から得られた伸縮グラフをプローブ画像の上に置くことによって比較される。
【００１５】
しかしながら、顔の特徴は、人が笑うかまたはしかめ面をする際に動くことが多い。したがって、プローブ画像におけるノードの最良の位置は、ギャラリー画像と異なることが多い。利点として、伸縮グラフは、顔の特徴の動きに明示的に対処する。しかしながら、顔の特徴は、すべての画像で同じ外見を有すると仮定される。そのアプローチの不都合な点は、異なる顔に対する同じ顔の許容される変化および許容されない変化の統計モデルが存在しないことである。
【００１６】
ＶｉｏｌａおよびＪｏｎｅｓは、「Ｒａｐｉｄ　Ｏｂｊｅｃｔ　Ｄｅｔｅｃｔｉｏｎ　ｕｓｉｎｇ　ａ　Ｂｏｏｓｔｅｄ　Ｃａｓｃａｄｅ　ｏｆ　Ｓｉｍｐｌｅ　Ｆｅａｔｕｒｅｓ」，　Ｐｒｏｃｅｅｄｉｎｇｓ　ＩＥＥＥ　Ｃｏｎｆ．　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ　ａｎｄ　Ｐａｔｔｅｒｎ　Ｒｅｃｏｇｎｉｔｉｏｎ，　２００１で、画像の顔といったオブジェクトを検出する新しい枠組みを記述している。彼らは、顔の検出に極めて効率的かつ効果的な画像の特徴の組、アダブースト（Ａｄａｂｏｏｓｔ）に基づく特徴選択プロセス、および顔を学習しかつ検出するカスケード式アーキテクチャの３つの新しい見識を提示している。アダブーストは、効果的な学習アルゴリズムを提供し一般化された実行において強い制限を設ける。Ｆｒｅｕｎｄ等著「Ａ　ｄｅｃｉｓｉｏｎ−ｔｈｅｏｒｅｔｉｃ　ｇｅｎｅｒａｌｉｚａｔｉｏｎ　ｏｆ　ｏｎ−ｌｉｎｅ　ｌｅａｒｎｉｎｇ　ａｎｄ　ａｎ　ａｐｐｌｉｃａｔｉｏｎ　ｔｏ　ｂｏｏｓｔｉｎｇ」，　Ｃｏｍｐｕｔａｔｉｏｎａｌ　Ｌｅａｒｎｉｎｇ　Ｔｈｅｏｒｙ，　Ｅｕｒｏｃｏｌｔ　’９５，　ｐｐ　２３−２７，　Ｓｐｒｉｎｇｅｒ−Ｖｅｒｌａｇ，　１９９５、Ｓｃｈａｐｉｒｅ等著「Ｂｏｏｓｔｉｎｇ　ｔｈｅ　ｍａｒｇｉｎ：　Ａ　ｎｅｗ　ｅｘｐｌａｎａｔｉｏｎ　ｆｏｒ　ｔｈｅ　ｅｆｆｅｃｔｉｖｅｎｅｓｓ　ｏｆ　ｖｏｔｉｎｇ　ｍｅｔｈｏｄｓ」，　Ｐｒｏｃｅｅｄｉｎｇｓ　ｏｆ　ｔｈｅ　Ｆｏｕｒｔｅｅｎｔｈ　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｍａｃｈｉｎｅ　Ｌｅａｒｎｉｎｇ，　１９９７、Ｔｉｅｕ等著「Ｂｏｏｓｔｉｎｇ　ｉｍａｇｅ　ｒｅｔｒｉｅｖａｌ」，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　２０００を参照されたい。ＶｉｏｌａおよびＪｏｎｅｓのアプローチは、顔を検出する極めて効率的な技法を提供するが、より複雑なプロセスである顔の認識の問題を取り扱っていない。
【００１７】
【発明が解決しようとする課題】
従って、従来技術を改良した顔認識システムが必要となる。
【００１８】
【課題を解決するための手段】
本発明の方法は、画像のオブジェクトを認識する。ギャラリー画像は、特定されたオブジェクトを含み、プローブ画像は、特定されていないオブジェクトを含む。プローブ画像は、それぞれのギャラリー画像と対にされ、画像対が生成される。
【００１９】
第１のフィルタが、それぞれの対のプローブ画像に適用され、それぞれのフィルタのそれぞれの適用についての第１の特徴値が得られる。第２のフィルタが、それぞれの対のそれぞれのギャラリー画像に適用され、それぞれのフィルタのそれぞれの適用についての第２の特徴値が得られる。
【００２０】
特徴値は、それぞれのフィルタのそれぞれの適用について合計され、それぞれの適用について、合計が所定の閾値より大きいならば、得点が合格重みに設定され、そうでなければ、得点が不合格重みに設定される。
【００２１】
得点は、適用のすべてについて合計され、得点がゼロより大きいならば、プローブ画像は、いずれかのギャラリー画像と同一と特定される。
【００２２】
【発明の実施の形態】
図１は、本発明によって画像Ｉのオブジェクトを認識するシステムおよび方法１００を示している。一アプリケーションでは、画像内で認識されるオブジェクトは顔であるが、他のオブジェクト（例えば車、歩行者など）も認識可能であることが理解されるであろう。
【００２３】
システム１００は、トレーニング１１０および認識２００の２つの基本フェーズを含む。トレーニングフェーズ１１０は、ラベル付けされたトレーニング画像１１１のギャラリーを入力として受け取る。画像１１１内でラベル付けされているものの性質は、どのオブジェクトが認識されるかを決定する。顔を認識するために、トレーニングギャラリー１１１は、それぞれの特定された人（オブジェクト）（ＩＤ１〜ＩＤＮ）についての複数の画像を含むことができる。トレーニング画像１１１は、トレーニング中に処理され、パラメータ（ｆｐｋ，ｆｇｋ，ａｋ，ｔｋ，αｋ，βｋ）１１２を生成する。ここで、ｋ＝１、・・・、Ｎであり、このパラメータについては、後に詳述される。トレーニングフェーズ１１０は、機械学習を用いて、認識装置２００が使用できるパラメータの最適な組を検出する。
【００２４】
認識装置２００には、入力として、画像１２１のギャラリーおよび特定されていない人物のプローブ画像１２２が提供される。当該ギャラリーのそれぞれの画像は、識別された人物の顔である。ギャラリー１１１および１２１の画像は、同じである可能性もあるし、あるいは、全く異なる可能性もある。認識装置２００は、パラメータ１１２を用いて、可能ならば、プローブ画像１２２に関連した識別情報（ＩＤＸ）１２３を求める。
【００２５】
前処理：顔の検出
本発明は、オブジェクト（顔）の画像がどのようにして得られるか、すなわち、顔がどのようにして検出されるかに関連するものではない。図２に示すように、従来技術のオブジェクト検出技法２０１を使用することができる。しかしながら、実時間アプリケーション用に、好ましい実施の形態は、Ｖｉｏｌａ他によって本出願と共に出願された「Ｓｙｓｔｅｍ　ａｎｄ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｄｅｔｅｃｔｉｎｇ　Ｏｂｊｅｃｔｓ　ｉｎ　Ｉｍａｇｅｓ」と題された米国特許出願第１０／ｘｘｘ，ｘｘｘ号に記載されているような顔検出方法およびシステムを使用する。この米国特許出願の全内容は、本出願に援用される。また、本発明は、この米国特許出願に記載されている比較閾値、合格閾値、および不合格閾値も使用することができる。
【００２６】
前処理：正規化
選択肢として、比較される画像（ＰおよびＧ）２１１〜２１２の対の顔は、サイズおよび方向について正規化することができる（２１０）。例えば、顔が、画像をほとんど満たすようにすることができ、また、顔を垂直方向および水平方向に位置を合わせることができる。しかしながら、本発明によるシステムは、横からの視野画像を、異なるサイズを有する正面の視野画像と比較できることは理解されるであろう。
【００２７】
また、多くの従来技術の顔認識システムは、まず、毛髪といった容易に変更される顔の特徴を考慮の対象から除外することにも留意されたい。これは、本発明では必要ない。
【００２８】
特徴評価および採点
認識２００が行われている間、画像２１３がプローブ画像１２２であり、画像２１４がギャラリー画像１２１の１つである。複数のフィルタが、画像２１３〜２１４の対の部分（継ぎ接ぎ）に適用される。フィルタは、継ぎ接ぎと同じサイズおよび位置のテンプレートフィルタとすることができる。例えば、ハール基底関数（Ｈａａｒ　ｂａｓｉｓ　ｆｕｎｃｔｉｏｎ）と同様に、方形の特徴を使用することができる。Ｐａｐａｇｅｏｒｇｉｏｕ等著「Ａ　ｇｅｎｅｒａｌ　ｆｒａｍｅｗｏｒｋ　ｆｏｒ　ｏｂｊｅｃｔ　ｄｅｔｅｃｔｉｏｎ」，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｎ　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　１９９８、ならびに上記引用されたＶｉｏｌａおよびＪｏｎｅｓを参照されたい。また、Ｗｅｂｂ　等著「Ｓｈａｐｅ　ａｎｄ　ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ」，　Ｃｏｍｐｕｔｅｒ　Ｖｉｓｉｏｎ，　Ｇｒａｐｈｉｃｓ，　ａｎｄ　Ｉｍａｇｅ　Ｐｒｏｃｅｓｓｉｎｇ，　２１，ｐｐ．１４５−１６０，　１９８３も参照されたい。本発明は、これらのタイプのフィルタに制限されるものではないことに留意されたい。好ましい実施の形態では、特徴の個数が、数十万を超える可能性がある。
【００２９】
フィルタの適用により、得点Ｓ（）２１１が生成される（２２０）。得点Ｓ（）は、入力された画像対から計算される特徴の合計として構築される。例えば、認識中における得点２２１は、以下の方程式で求められる。
Ｓ（Ｐ，Ｇｉ）＝ΣｋＨｋ（Ｐ，Ｇｉ）
ここで、画像Ｐ２１３は、図１のプローブ画像１２２であり、画像Ｇｉ２１４は、ギャラリー画像１２１の１つである。Ｈｉは、第ｋ番目のフィルタを画像に適用することにより得られる特徴である。Ｓ（）が、ゼロより大きいならば（２３０）、画像ＰおよびＧｉは、識別情報ＩＤＸ１２３を有する同じ人物のものである。
【００３０】
それぞれの特徴Ｈｋ（Ｐ，Ｇｉ）は、プローブ画像２１３の関数ｆｐｋ（Ｐ）およびギャラリー画像２１４の関数ｆｇｋ（Ｇ）の２つの主な構成要素を有する。
【００３１】
値νｋ＝ｆｐｋ（Ｐ）＋αｋｆｇｋ（Ｇ）が求められる。ここで、αｋは重みである。値νｋは、比較閾値ｔｋと比較される。νｋ＞ｔｋならば、Ｈｋ（Ｐ，Ｇｉ）＝αｋであり、そうでなければ、βｋである。関数ｆ（）は、線形関数とすることもできるし、または、非線形関数とすることもできる。例えば、関数ｆ（）は、ベクトルとして表される画像と、ベクトルとして表されるフィルタテンプレートとの内積とすることができる。内積の値を、絶対値といった非線形関数によって変更することができる。
【００３２】
多くの従来技術のアプローチと異なり、関数ｆｐｋ（Ｐ）およびｆｇｋ（Ｇ）は、入力画像の一部にのみ依存することができる。換言すると、それら関数は、グローバル関数とせずに、ローカル関数とすることができる。これにより、トレーニングプロセスの間に、口の領域といった、安定した特徴を含まない顔の領域を無視することが、好都合であると判明した場合には、認識装置２００は、このような顔の領域を無視することが可能となる。
【００３３】
トレーニング
トレーニング１１０は、入力として、同じ顔の画像対の組１１４、異なる顔の画像対の組１１５を受け取る。特徴の選択は、ＶｉｏｌａおよびＪｏｎｅｓによってオブジェクト検出用に記載された方法と同様である。トレーニングは、ラウンドで進む。それぞれのトレーニング例は、一対の画像であり、重みｗを割り当てられる。最初の重みは、通常、均一である。最初のラウンドでは、結果として最良の特徴が得られるパラメータ（ｆｐ１，ｆｇ１，ａ１，ｔ１，α１，β１）が選択される。最良の特徴は、その特徴の「エラー」の単純な関数を最大にする。
【００３４】
エラーの１つの可能な尺度は、ΣｉΣｊ［ｗｉｊＨ（Ｐｉ，Ｇｊ）＊ｙｉｊ］である。ここで、画像ＰｉおよびＧｊの顔が同じ人物であるならば、ｙｉｊ＝＋１であり、そうでなければ、ｙｉｊ＝−１である。ｗｉｊは、プローブ画像ｉおよびギャラリー画像ｊの当該例での重みである。別の可能な尺度しては、指数損失ΣｉΣｊｅｘｐ［−ｗｉｊ＊Ｈ（Ｐｊ，Ｇｉ）＊ｙｉｊ］がある。
【００３５】
次のラウンドでは、重みｗが、間違って特定された画像対については増加され、正確に特定された対については減少される。現在の重みにより最良の特徴を選択し、次に現在のエラーにより重みを再設定するこのプロセスは、所定数の特徴が選択されるまで、または、トレーニングエラーが所定の閾値より小さくなるまでのいずれかとなるまで繰り返される。
【００３６】
このアプローチには、いくつかの利点がある。顔と顔との重要な相違が、直接学習される。例えば、人は一般に眉を吊り上げるが、吊り上げる程度は特定の範囲に限られている。フィルタｆｐｋおよびｆｇｋは、顔の対応する特徴に焦点を合わせることができ、許容可能な変化を捕らえることができる。例えば、ｆｐｋおよびｆｇｋが、左の眉の位置を測定するフィルタである場合に、ｔｋは、許容可能な変化を定める。
【００３７】
従来技術のＰＣＡアプローチは、このタイプの変化を画像対の線形結合としてモデル化するように強いられており、これは、通常使用される低次元の部分空間では不可能である。重要でない相違は、明らかに無視することができる。特徴のトレーニングは、肯定的な例（同じ対１１４）および否定的な例（異なる対１１５）の双方によって行われるので、このプロセスによって選択された特徴は、口の形状といった非常に変化しやすい顔の特徴を無視し、目および鼻の形状といった重要な特徴に焦点を合わせる。
【００３８】
本システムは、オブジェクトの画像がさまざまな姿勢にあるにもかかわらず、オブジェクトを認識するようにトレーニングすることができる。本システムは、（３／４プローブ画像のような）ある姿勢を、（正面のギャラリー画像のような）別の姿勢から認識するようにトレーニングすることができる。トレーニング中に選択されるフィルタは、対応する顔の特徴が異なる位置に現れていようとも、対応する顔の特徴を自動的に比較する。
【００３９】
複数のギャラリー１２１を同時に使用することができる。例えば、プローブ画像は、３／４の横顔であり、ギャラリー１２１は、正面の視野画像および横からの視野画像を含む。いくつかの顔の特徴については、３／４プローブ画像を正面のギャラリー画像と比較すると、より良い結果を得ることができる。例えば、目の形状を見分けるには、３／４プローブ画像を、目がより良く見える正面のギャラリー画像と比較すると、より良い結果を得ることができる。他の画像については、３／４プローブ画像を横顔のギャラリー画像と比較するのが最も良い。例えば、耳の形状を見分けるには、この比較が最も良い。
【００４０】
本オブジェクト認識システムは、ＶｉｏｌａおよびＪｏｎｅｓに示されるような合格閾値および不合格閾値を使用して、処理速度を上げることも可能であることに留意されたい。
【００４１】
好ましい実施の形態を例にして本発明を説明してきたが、本発明の精神および範囲内で他のさまざまな適合および変更を行い得ることは理解されるであろう。したがって、添付する特許請求の範囲の目的は、本発明の真の精神および範囲内に入るこのようなすべての変形および変更を網羅することである。
【図面の簡単な説明】
【図１】本発明によるオブジェクト認識システムおよび方法のブロック図である。
【図２】本発明によるシステムによって使用される比較手順のブロック図である。
【図１】
2004133889.tif 000004
【図２】
2004133889.tif 000005
【外国語明細書】
2004133889.tif 000006
2004133889.tif 000007
2004133889.tif 000008
2004133889.tif 000009
2004133889.tif 000010
2004133889.tif 000011
2004133889.tif 000012
2004133889.tif 000013
2004133889.tif 000014
2004133889.tif 000015
2004133889.tif 000016
2004133889.tif 000017
2004133889.tif 000018