(57)【要約】  本発明は、少なくとも１人の人物と関連付けられた、問い合わせ画像と呼ばれる顔画像からの顔の識別方法に関するものである。そのような識別方法は、学習画像を使用する学習段階と、問い合わせ画像に表示される顔を識別するのに使用される認識段階とを備える。  本発明によれば、学習段階は、上記少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループに基づいて適用され、識別されるべき上記顔を表す少なくとも１つの学習画像の選択を可能にする、画像をフィルタリングする少なくとも１つの第１のステップを含み、上記認識段階は、上記学習段階において選択される上記学習画像だけを使用する。そのようなフィルタリングは、  ベクトルによって構成される群における上記ベクトルのメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、  上記ベクトルと、上記ベクトルの群と関連付けられた空間上での上記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）とを含むグループに属する閾値の少なくとも１つを使って行われる。
2008537216.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の識別方法であって、学習の段階と前記少なくとも１つの顔の認識の段階とを含み、
前記学習段階が、前記少なくとも１人の人物と関連付けられた少なくとも２つの学習顔画像のグループを使って、識別されるべき前記顔を表す少なくとも１つの学習画像の選択を可能にする、前記画像をフィルタリングする少なくとも１つの第１のステップを含み、
前記認識段階が、単に、前記学習段階において選択される前記学習画像だけを使用し、
前記フィルタリングが、
前記画像の少なくともいくつかと関連付けられたベクトルの、前記ベクトルによって構成される群におけるメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、
前記ベクトルと、前記ベクトル群と関連付けられた空間上での前記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）と
を含むグループに属する閾値の少なくとも１つを使って行われることを含む、方法。
【請求項２】
前記閾値の少なくとも１つが、前記学習画像と関連付けられたベクトルから求められることを特徴とする、請求項１に記載の識別方法。
【請求項３】
前記学習段階が、前記代表的学習画像から、前記少なくとも１人の人物の記述のベクトル空間を構築するステップを備えることを特徴とする、請求項１又は２に記載の識別方法。
【請求項４】
前記認識段階が、問い合わせ画像と呼ばれる、前記少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの、第２のフィルタリングステップを実施し、識別されるべき前記顔を表す少なくとも１つの問い合わせ画像の選択を可能にすることと、前記閾値の少なくとも１つが、前記学習段階において、学習顔画像と関連付けられたベクトルから求められることとを特徴とする、請求項１に記載の識別方法。
【請求項５】
前記閾値の少なくとも１つが、前記認識段階において、問い合わせ画像と呼ばれる、前記少なくとも１人の人物と関連付けられた少なくとも２つの顔画像と、前記学習段階において選択される、識別されるべき前記顔を表す少なくとも２つの学習画像とを含む画像集合と関連付けられたベクトルを使って求められ、前記認識段階が、前記問い合わせ画像を使って第２のフィルタリングステップを実施し、識別されるべき前記顔を表す少なくとも１つの問い合わせ画像の選択を可能にすることを特徴とする、請求項１に記載の識別方法。
【請求項６】
前記認識段階が、前記顔を識別するために、前記学習段階で構築される前記少なくとも１人の人物の記述のベクトル空間における、前記少なくとも１つの代表的問い合わせ画像と関連付けられたベクトルと、前記学習段階で選択される少なくとも１つ代表的学習画像と関連付けられたベクトルとの投影を比較するステップも含むことを特徴とする、請求項４又は５に記載の識別方法。
【請求項７】
前記比較各ステップにおいて、
前記代表的問い合わせ画像のそれぞれと関連付けられた前記ベクトルのそれぞれの投影が、前記代表的学習画像のそれぞれと関連付けられた前記ベクトルのそれぞれの投影を比較することと、
前記代表的問い合わせ画像のそれぞれと関連付けられた前記ベクトルのそれぞれについて、前記代表的学習画像の１つと関連付けられた最も近いベクトルと、指定人物と呼ばれる、前記ベクトルと関連付けられている前記人物が求められることと、
前記顔が、最多回数指定される前記人物の顔であると識別されることと
を特徴とする、請求項６に記載の識別方法。
【請求項８】
前記学習画像をフィルタリングする前記第１のステップ、および／または前記問い合わせ画像をフィルタリングする前記第２のステップが、前記２つの閾値を適用することを特徴とする、請求項１、４又は５のいずれか一項に記載の識別方法。
【請求項９】
前記学習段階が、少なくとも２人の人物と関連付けられた学習画像について実施され、前記少なくとも２人の人物のそれぞれの前記学習画像と関連付けられた前記閾値が求められることと、
前記認識段階において、前記問い合わせ画像が、前記少なくとも２人の人物のそれぞれと関連付けられた前記閾値からフィルタリングされることと
を特徴とする、請求項１又は４に記載の識別方法。
【請求項１０】
前記学習段階が、少なくとも２人の人物と関連付けられた学習画像について実施され、前記少なくとも２人の人物の集合の学習画像と関連付けられた前記閾値が求められることと、
前記認識段階において、前記問い合わせ画像が、前記少なくとも２人の人物の前記集合と関連付けられた前記閾値からフィルタリングされることと
を特徴とする、請求項１又は４に記載の識別方法。
【請求項１１】
前記閾値が、前記学習画像と関連付けられた前記ベクトルにロバスト主成分解析（ＲｏｂＰＣＡ）が適用された後で求められ、前記ベクトルと関連付けられたロバスト平均値μと、前記ベクトルと関連付けられたロバスト共分散行列の固有のベクトルから構築される投影行列Ｐとを求めることも可能にすることと、
前記閾値が、以下の距離、すなわち、
【数１】
2008537216.tif 000041
であり、式中、ｘiは、前記学習画像と関連付けられた前記ベクトルの１つであり、Ｐd,kは、前記投影行列Ｐの最初のｋ列を含む行列であり、ｙijは、前記投影行列と前記ロバスト平均値からの前記ベクトルｘiの投影ｙiの第ｊの要素である、
という距離と関連付けられていることと
を特徴とする、請求項１から１０のいずれか一項に記載の識別方法。
【請求項１２】
少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の識別のシステムであって、学習装置と、前記少なくとも１つの顔の認識の装置とを備え、
前記学習装置が、
前記画像の少なくともいくつかと関連付けられたベクトルの、前記ベクトルによって構成される群におけるメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、
前記ベクトルと、前記ベクトル群と関連付けられた空間上での前記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）と
を含むグループに属する閾値の少なくとも１つを求める手段と、
前記少なくとも１人の人物と関連付けられた少なくとも２つの学習顔画像のグループを使って、前記閾値の少なくとも１つからの識別されるべき前記顔を表す少なくとも１つの学習画像の選択を可能にする、前記画像をフィルタリングする第１の手段と
を備えることと、
前記認識装置が、単に、前記学習装置によって選択される前記学習画像だけを使用する、システム。
【請求項１３】
少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つ顔の識別のシステムの学習装置であって、
学習画像の解析の手段であり、前記学習画像と関連付けられたベクトルを使って、
前記ベクトルによって構成される群における前記ベクトルのメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、
前記ベクトルと、前記ベクトル群と関連付けられた空間上での前記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）と
を含むグループに属する閾値の少なくとも１つを求めることを可能にする前記手段と、
前記閾値の少なくとも１つを使って、識別されるべき前記顔を表す少なくとも１つの学習画像を選択するために、前記学習画像をフィルタリングする第１の手段と、
前記代表的学習画像から前記少なくとも１人の人物の記述のベクトル空間を構築する手段と
を備え、前記学習装置によって選択される前記学習画像だけが、認識装置によって使用されるようにする、学習装置。
【請求項１４】
問い合わせ画像と呼ばれる、少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の認識の装置であって、学習装置も備える、前記少なくとも１つ顔の識別のシステムに属し、
前記学習装置によって求められる少なくとも１つの閾値を使って、認識されるべき前記顔を表す少なくとも１つの問い合わせ画像を選択するために、前記問い合わせ画像をフィルタリングする第２の手段と、
前記顔を識別するために、前記学習装置によって構築される前記少なくとも１人の人物の記述のベクトル空間における、前記少なくとも１つの代表的問い合わせ画像と関連付けられたベクトルと、前記学習装置によって選択される少なくとも１つ代表的学習画像と関連付けられたベクトルとの投影を比較する手段と
を備え、
前記学習装置が、前記少なくとも１人の人物と関連付けられた少なくとも２つの学習顔画像のグループから実施され、識別されるべき前記顔の少なくとも１つの代表的学習画像の選択を可能にする第１のフィルタリング手段を備え、
前記認識装置が、前記学習装置によって選択される前記学習画像だけを使用する、認識装置。
【請求項１５】
コンピュータプログラムであって、プロセッサによって実行されると、請求項１から１１のいずれか一項に記載の、少なくとも１つの顔の識別方法のステップを実行するプログラムコード命令を備えるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、画像、およびビデオシーケンスなどの画像シーケンスの処理の分野である。より詳細には、本発明は、１人または複数の人物の顔画像集合からの顔認識の技法に関する。
【０００２】
本発明は、それだけに限らないが、特に、（例えば、認識される人物に、保護された場所にアクセスする権限を与えるなどのために）静止画像またはビデオシーケンスから顔を認識することが重要な、バイオメトリクス、映像監視または映像索引付けの分野において適用され得る。
【背景技術】
【０００３】
現在に至るまで、静止画像または動画像のシーケンスからの顔認識のためのいくつかの技法がある。これらの技法は、典型的には、（おそらく、学習ビデオシーケンスから抽出される）様々な人物の顔画像から学習ベースが構築される第１の学習段階と、学習ベースの画像を使って人物が認識される第２の認識段階とを利用するものである。
【０００４】
これらの技法は、一般に、学習ベースに基づき、２つの顔の間の類似度が評価される記述空間を算出する統計的方法を使用する。その場合の目的は、２つの顔の間の類似の概念を、記述空間における顔の投影の間の空間的近接度の単純な概念としてできるだけ忠実に表すことである。
【０００５】
様々な既存の技法の間の主要な違いは、認識段階において行われる処理にある。
【０００６】
よって、Ａ．Ｗ．Ｓｅｎｉｏｒは、「Ｒｅｃｏｇｎｉｚｉｎｇ  Ｆａｃｅｓ  ｉｎ  Ｂｒｏａｄｃａｓｔ  Ｖｉｄｅｏ」，Ｐｒｏｃ．ｏｆ  Ｉｎｔ．Ｗｏｒｋｓｈｏｐ  ｏｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，Ａｎａｌｙｓｉｓ  ａｎｄ  Ｔｒａｃｋｉｎｇ  ｏｆ  Ｆａｃｅｓ  ａｎｄ  Ｇｅｓｔｕｒｅｓ  ｉｎ  Ｒｅａｌ  Ｔｉｍｅ  Ｓｙｓｔｅｍｓ，コルフ、ギリシャ、１９９９年９月、１０５〜１１０頁において、認識段階における、ビデオシーケンスから抽出されるすべての顔画像、または単一のキー顔画像、すなわち、顔検出器が最高の信頼度スコアを割り当てている顔画像を使用することを提案している。
【０００７】
別の手法において、Ａ．ＨａｄｉｄおよびＭ．Ｐｉｅｔｉｋａｉｎｅｎは、「Ｆｒｏｍ  Ｓｔｉｌｌ  Ｉｍａｇｅ  ｔｏ  Ｖｉｄｅｏ−Ｂａｓｅｄ  Ｆａｃｅ  Ｒｅｃｏｇｎｉｔｉｏｎ：Ａｎ  Ｅｘｐｅｒｉｍｅｎｔａｌ  Ａｎａｌｙｓｉｓ」，Ｐｒｏｃ．ｏｆ  ６ｔｈ  Ｉｎｔ．Ｃｏｎｆ．ｏｎ  Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  ａｎｄ  Ｇｅｓｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ，ソウル、韓国、２００４年５月、８１３〜８１８頁の当該部分において、ビデオシーケンスからのキー画像を、それらが含む顔を解析せずに選択し、次いで、キー画像から抽出される顔だけを考察して認識を行うことを提案している。顔ごとに異なる結果を返すため、次いで、事後に行われる結果のマージの典型的な手順が使用される。
【０００８】
最後に、Ｅ．Ａｃｏｓｔａらは、「Ａｎ  Ａｕｔｏｍａｔｉｃ  Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｖｉｄｅｏ  Ｉｎｄｅｘｉｎｇ  Ａｐｐｌｉｃａｔｉｏｎｓ」，Ｐｒｏｃ．ｏｆ  ｔｈｅ  Ｉｎｔ．Ｃｏｎｆ．ｏｎ  Ａｃｏｕｓｔｉｃ  Ｓｐｅｅｃｈ  ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ（ｖｏｌ．４），フロリダ州オーランド、２００２年５月、ＩＶ−３６４４〜ＩＶ−３６４７頁の当該部分において、認識時に問い合わせビデオシーケンスから抽出されるすべての顔を使用する。要求と、学習ベースに格納された人物の１人のモデルとの近接度を評価するために、問い合わせシーケンスから抽出される各顔画像とモデルの間の類似度の大きさが算出される。類似度の最終値は、算出されるすべての大きさの中央値であり、これが、要するに、抽出されたすべての顔画像の中からただ１つの顔画像を考察することになる。
【０００９】
従来技術の欠点
これら従来技術の様々な技法は、すべて、顔画像がそこで投影される記述空間の構築を可能にする統計的方法を利用するものである。目下、これらの投影は、顔画像に影響を及ぼし得る変動を吸収することができなければならない。すなわち、これらの投影は、各顔画像に影響を及ぼし得る変動にもかかわらず、顔画像の間の類似を目立たせることができなければならない。
【００１０】
これらの変動は、２種類ものものとすることができる。まず、顔の表情（例えば微笑むときなど）と隠蔽の形（眼鏡の装着、ひげなど）の変化に固有の変動がある。次いで、画像の獲得条件（照明条件など）による変動と、顔の区分化（すなわち、顔を含む画像部分の抽出とセンタリング）による変動がある。
【００１１】
従来技術の顔認識の方法は、顔画像が、適切に枠取りされ、良好な照明条件で撮影されるときには効率的であるが、学習に、または認識時に使用される顔画像が、あまりよく位置合わせされておらず（すなわち、目、口、鼻など顔の様々な属性が、すべての顔画像において同じ位置にない）、かつ／または高品質のものでないときには、性能が大幅に低下する。
【００１２】
目下、ビデオシーケンスからの顔認識の状況では、これらの、顔画像の整列と高品質という条件は、一般に、検証されない。他方、シーケンスの獲得は、あまり大きな制約を受けず、認識されるべき人物は、一般に、獲得する間中ずっとカメラを向いた正面の位置のままではない。第２に、顔画像は、誤った検出を生成することもある、枠取りが不正確な顔検出技術によって、ビデオシーケンスから自動的に抽出される。したがって、この状況で使用される顔画像は、品質の劣る、枠取りのずれたものであることも、不良検出を含むこともある。
【００１３】
したがって、本特許出願の本発明者らは、ビデオシーケンスからの顔認識の既存の方法の主要な欠点の１つは、使用される顔画像の品質が考慮に入れられていないことにあるとしている。
【００１４】
よって、例えば、利用可能なすべての顔画像（例えば、ビデオシーケンスから抽出されるすべての顔画像など）が、学習段階において、決まりどおりに考慮される。これは、これらの技法の性能を大幅に低下させる。というのは、顔認識に使用される（ＰＣＡ、すなわち主成分解析型の）統計的方法は、共分散行列の算出（すなわち、１次と２の積率）を利用するため、極めて雑音の影響を受けやすいからである。
【００１５】
同様に、これら従来技術の方法によれば、認識段階において使用される顔画像の選択は、最適ではない。目下、これらの画像の選択は、これらの顔認識技法の性能に強く影響する。すなわち、これらの画像は、適切に枠取りされた、高品質のものである必要がある。しかしながら、前述の従来技術の方法のいずれも、画像の「品質」を考慮する画像選択のモードを提案していない。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
本発明は、特に、従来技術の欠点を克服することを目指すものである。
【００１７】
より詳細には、本発明の目的は、従来技術の技法と比べて改善された性能を有する、静止顔画像またはビデオシーケンスからの顔認識の技法を提供することである。具体的には、本発明の目的は、処理されるべき顔画像が雑音を有し、その枠取りがずれており、かつ／または顔画像が不良な照明条件を示すときでさえも満足すべき結果をもたらすこの種の技法を提供することである。
【００１８】
本発明の別の目的は、依拠する統計的方法の認識能力を最適化するのに使用され得るこの種の技法を提供することである。
【００１９】
本発明の別の目的は、使用される顔画像の品質を考慮するこの種の技法を提供することである。
【００２０】
本発明の別の目的は、例えば、バイオメトリクス、映像監視および映像索引付けなどの用途の状況において、数人の互いに異なる人物の認識にうまく適応されるこの種の技法を提供することである。
【００２１】
また、本発明の目的は、実施が簡単で、ほとんどコストを要しないこの種の技法を提供することでもある。
【課題を解決するための手段】
【００２２】
上記の目的、ならびに以下で示される他の目的は、少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の識別方法によって達成され、上記方法は、学習の段階と、上記少なくとも１つの顔の認識の段階とを含む。
【００２３】
本発明によれば、学習段階は、上記少なくとも１人の人物と関連付けられた少なくとも２つの学習顔画像のグループを使って、識別されるべき上記顔を表す少なくとも１つの学習画像の選択を可能にする、上記画像をフィルタリングする少なくとも１つの第１のステップを含み、認識段階は、単に、学習段階において選択される上記学習画像だけを使用する。フィルタリングは、
上記画像の少なくともいくつかと関連付けられたベクトルの、上記ベクトルによって構成される群におけるメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）、
上記ベクトルと、上記ベクトルの群と関連付けられた空間上での上記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）
を含むグループに属する閾値の少なくとも１つを使って行われる。
【００２４】
よって、本発明は、静止画像、またはビデオシーケンスから抽出される画像からの顔認識の全く新規な、進歩性を有する手法を利用するものである。実際、本発明は、人物の顔を識別するのに利用可能な顔画像集合を考慮するのではなく、高品質の画像、すなわち、（顔が正面を向いており、または適切に枠取りされているなどために）識別されるべき顔を表す画像だけを選択するために画像のフィルタリングを実行するよう提案する。このフィルタリングは、中心までのロバスト距離またはＤＲＣ、および／あるいは直交距離またはＤＤである１つまたは２つのフィルタリング閾値によってなされる。この種のフィルタリングは画像と関連付けられたベクトルに対して行われ、これらのベクトルの分布と統計的特性の解析後に、異常なベクトルの検出および隔離を可能にする。これは、利用可能な画像の過半数が、高品質画像であるという仮定に基づくものである。これは、利用可能なベクトル集合の分布の特性に従わない異常ベクトルであり、したがって、低品質画像と関連付けられており、または、いずれにせよ、識別されるべき顔を不完全に表しているすべてのベクトルの識別を可能にする。
【００２５】
中心までのロバスト距離またはＤＲＣは、あるベクトルのベクトル群の中心からの距離と、この群において考慮されるベクトルのメンバーシップを考慮に入れる。直交距離またはＤＤは、あるベクトルと、ベクトル群と関連付けられた空間における元のベクトルの投影に続いて逆投影を行った後で獲得されるベクトルの間の距離である。
【００２６】
よって、学習プロセスにおいて、すべての利用可能な画像が系統的に考慮に入れられた従来技術の方法とは異なり、本発明は、顔画像を最もよく表す画像だけを保持するように、学習画像一部だけを学習画像の品質の関数として選択することを提案する。
【００２７】
本発明の第１の有利な特徴によれば、上記閾値の少なくとも１つは、上記学習画像と関連付けられたベクトルから求められる。
【００２８】
有利には、上記学習段階は、上記代表的な学習画像から上記少なくとも１人の人物の記述のベクトル空間を構築するステップも含む。この構築するステップは、
主成分解析技法と、
線形判別解析技法と、
２Ｄ主成分解析技法と、
２Ｄ線形判別解析技法と
を含むグループに属する技法を使用する。
【００２９】
本発明の第２の有利な特徴において、上記認識段階は、問い合わせ画像と呼ばれる、上記少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループから第２のフィルタリングステップを実施し、識別されるべき上記顔を表す少なくとも１つの問い合わせ画像の選択を可能にし、上記閾値の少なくとも１つは、上記学習段階において、学習顔画像と関連付けられたベクトルから決定される。
【００３０】
よって、問い合わせ画像は、雑音が最も少なく、最も代表的な顔だけに基づいて認識を実行するように、これらの品質の関数としてフィルタリングされる。よって、顔識別性能は、従来技術の技法における性能と比べて著しく改善される。よって、認識段階に行われるこの第２のフィルタリングは、学習段階に行われる第１のフィルタリングを補完するものである。さらに、学習段階において算出される閾値を使用することは特に有利である。というのは、学習画像は、一般に、これらの獲得条件のために、問い合わせ画像よりも高品質のものだからである。
【００３１】
本発明の一変形例では、上記閾値の少なくとも１つが、上記認識段階において、問い合わせ画像と呼ばれる、上記少なくとも１人の人物と関連付けられた少なくとも２つの顔画像と、上記学習段階において選択される、識別されるべき上記顔を表す少なくとも２つの学習画像とを含む画像集合と関連付けられたベクトルを使って求められ、上記認識段階は、上記問い合わせ画像を使って、第２のフィルタリングステップを実施し、識別されるべき上記顔を表す少なくとも１つの問い合わせ画像の選択を可能にする。
【００３２】
よって、最も雑音の少ない学習画像と最も雑音の少ない問い合わせ画像の両方が選択され、従来技術の技法と比べて、顔認識性能が大幅に改善される。
【００３３】
この変形例では、認識段階においても、学習段階の結果を、このときはもはや閾値の形としてではなく、識別されるべき顔を表す学習画像の形として使って、問い合わせ画像に対するフィルタリングが実行される。
【００３４】
好ましくは、上記認識段階は、上記顔を識別するために、上記学習段階で構築される上記少なくとも１人の人物の記述のベクトル空間における、上記少なくとも１つの代表的問い合わせ画像と関連付けられたベクトルと、上記学習段階において選択される少なくとも１つ代表的学習画像と関連付けられたベクトルとの投影を比較するステップも含む。この場合、２つの顔の間の類似の概念が、記述空間における顔の投影の間の空間的近接度の単純な概念として表現される。
【００３５】
この比較ステップにおいて、
上記代表的問い合わせ画像のそれぞれと関連付けられた上記ベクトルのそれぞれの投影が、上記代表的学習画像のそれぞれと関連付けられた上記ベクトルのそれぞれの投影と比較され、
上記代表的問い合わせ画像のそれぞれと関連付けられた上記ベクトルのそれぞれについて、上記代表的学習画像の１つと関連付けられた最も近いベクトルと、指定人物と呼ばれる、そのベクトルが関連付けられている人物が求められ、
上記顔が、最多回数指定される人物の顔であると識別される。
【００３６】
好ましくは、上記学習画像をフィルタリングする上記第１のステップおよび／または上記問い合わせ画像をフィルタリングする上記第２のステップは、（すべての画像について、またはシーケンスごとに算出される）上記２つの閾値、すなわちＤＯmaxとＤＲＣmaxを適用する。
【００３７】
本発明の好ましい適用例では、上記画像の少なくともいくつかが、当業者に周知の顔検出アルゴリズムの実施によって少なくとも１つのビデオシーケンスから抽出される。
【００３８】
また、本発明の識別方法は、上記画像がすべて同じサイズのものになるように、上記画像をサイズ変更するステップも含む。より詳細には、画像またはビデオシーケンスの存在下において、顔検出器が、固定サイズの顔画像の抽出を可能にする（よって、検出器からもたらされるすべての画像は、同じサイズのものである）。次いで、この固定サイズの顔画像の処理時に、学習段階のフィルタリングにおいて、画像のサイズを縮小するために、画像に対して第１のサイズ変更が行われる。これは、詳細を考慮する必要を回避し、雑音を除去する（例えば、元の画像の３つに１つの画素だけが保持されるなど）。また、画像の第２のサイズ変更が、記述空間の構築時にも行われる。
【００３９】
有利には、上記画像と関連付けられた上記ベクトルは、上記画像の行および／または列の連結によって獲得される。
【００４０】
本発明の第１の有利な変形例によれば、上記学習段階は、少なくとも２人の人物と関連付けられた学習画像について実施され、上記少なくとも２人の人物のそれぞれの学習画像と関連付けられた上記閾値が求められ、上記認識段階において、上記問い合わせ画像は、上記少なくとも２人の人物のそれぞれと関連付けられた上記閾値からフィルタリングされる。学習ベース内の人物数ｊと同数の閾値ＤＯmax(j)およびＤＲＣmax(j)が算出される。
【００４１】
本発明の第２の有利な変形例によれば、上記学習段階は、少なくとも２人の人物と関連付けられた学習画像について実施され、上記少なくとも２人の人物の集合の学習画像と関連付けられた上記閾値が求められ、上記認識段階において、上記問い合わせ画像は、上記少なくとも２人の人物の集合と関連付けられた上記閾値からフィルタリングされる。この場合、学習ベースの人物の集合について、２つの閾値ＤＯmaxとＤＲＣmaxだけが算出される。
【００４２】
本発明の有利な特徴によれば、上記閾値ＤＯmaxおよびＤＲＣmaxは、上記学習画像と関連付けられた上記ベクトルに適用されるロバスト主成分解析（ＲｏｂＰＣＡ）の終わりに求められ、上記ベクトルと関連付けられたロバスト平均値μと、上記ベクトルと関連付けられたロバスト共分散行列の固有ベクトルから構築される投影行列Ｐを求めることも可能にし、
上記閾値は、以下の距離、すなわち、
【数１】
2008537216.tif 000003
と関連付けられ、式中、ｘiは、上記学習画像と関連付けられた上記ベクトルの１つであり、Ｐd,kは、上記投影行列Ｐの最初のｋ列を含む行列であり、ｙijは、上記投影行列からと上記ロバスト平均値からの上記ベクトルｘiの投影ｙiの第ｊの要素である。
【００４３】
ＤＯmaxとＤＲＣmaxの値は、ベクトルｘiの集合についてのＤＯiとＤＲＣiの値の分布の解析によって求められる。
【００４４】
本明細書全体を通して、以下の表記が使用されていることが分かる。
英大文字（Ａ、Ｂなど）は、行数と列数が必要に応じて添え字で示された行列を指す（よって、例えば、Ａn,mは、ｎ行、ｍ列の行列である）。
英小文字（ａ、ｂなど）は、ベクトルを指す。
行列Ａn,mについて、ａiはＡの第ｉ行を指し、ａijは、Ａの第ｉ行と第ｊ列の交点に位置する要素を指す。
ｄｅｔ（Ａ）は、行列Ａの行列式である。
１nは、次元ｎを有する単位ベクトルである。
ｄｉａｇ（ａ1，・・・，ａn）は、その対角線の要素が、ａ1，・・・，ａnであるｎ行、ｎ列の対角行列である。
Ａtは、行列Ａの転置行列である。
ａtは、ベクトルａの転置である。
【数２】
2008537216.tif 000004
はベクトルｖのユークリッドノルムである。
【００４５】
また、本発明は、少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の識別のシステムにも関連し、上記システムは、学習装置と、上記少なくとも１つ顔の認識のための装置とを備える。
【００４６】
そのようなシステムにおいて、学習装置は、
上記画像の少なくともいくつかと関連付けられたベクトルの、上記ベクトルによって構成される群におけるメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、
上記ベクトルと、上記ベクトルの群と関連付けられた空間上での上記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）と
を含むグループに属する閾値の少なくとも１つを求める手段と、
上記少なくとも１人の人物と関連付けられた少なくとも２つの学習顔画像のグループを使って、上記閾値の少なくとも１つからの識別されるべき上記顔を表す少なくとも１つの学習画像の選択を可能にする、上記画像をフィルタリングする第１の手段とを備え、
認識装置は、単に、上記学習装置によって選択される上記学習画像だけを使用する。
【００４７】
また、本発明は、少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔識別のためのシステムの学習装置にも関連する。
【００４８】
そのような装置は、
上記学習画像と関連付けられたベクトルを使って、
上記ベクトルによって構成される群における上記ベクトルのメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、
上記ベクトルと、上記ベクトルの群と関連付けられた空間上での上記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）と
を含むグループに属する閾値の少なくとも１つを求めることを可能にする、上記学習画像の解析の手段と、
上記閾値の少なくとも１つを使って、識別されるべき上記顔を表す少なくとも１つの学習画像を選択するために、上記学習画像をフィルタリングする第１の手段と、
上記代表的学習画像から、上記少なくとも１人の人物の記述のベクトル空間を構築する手段と
を備え、上記学習装置によって選択される上記学習画像だけが認識装置によって使用されるようにする。
【００４９】
また、本発明は、問い合わせ画像と呼ばれる、少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の認識のための装置にも関連し、上記認識装置は、学習装置も備える、上記少なくとも１つ顔の識別のシステムに属する。
【００５０】
この種の認識装置は、
上記学習装置によって求められる少なくとも１つの閾値を使って、認識されるべき上記顔を表す少なくとも１つの問い合わせ画像を選択するために、上記問い合わせ画像をフィルタリングする第２の手段と、
上記顔を識別するために、上記学習装置によって構築される上記少なくとも１人の人物の記述のベクトル空間における、上記少なくとも１つの代表的問い合わせ画像と関連付けられたベクトルと、上記学習装置によって選択される少なくとも１つの代表的学習画像と関連付けられたベクトルとの投影を比較する手段と
を備え、上記学習装置は、上記少なくとも１人の人物と関連付けられた少なくとも２つの学習顔画像のグループから実施され、識別されるべき上記顔の少なくとも１つの代表的学習画像の選択を可能にする第１のフィルタリング手段を備え、上記認識装置は、上記学習装置によって選択される上記学習画像だけを使用する。
【００５１】
また、本発明は、プロセッサによって実行されると、前述の少なくとも１つの顔の識別方法の学習段階を実行するプログラムコード命令を備えるコンピュータプログラムにも関する。
【００５２】
最後に、本発明は、プロセッサによって実行されると、前述の少なくとも１つの顔の識別方法の認識段階のステップを実行するプログラムコード命令を備えるコンピュータプログラムに関する。
【００５３】
本発明の他の特徴および利点は、簡単な非限定的説明例として示す、以下の好ましい実施形態の説明と、添付の図面を考察すれば、より明らかになる。
【発明を実施するための最良の形態】
【００５４】
本発明の一般原理は、ロバスト主成分解析またはＲｏｂＰＣＡの使用による、学習段階および／または認識段階において使用されるべき画像の部分集合の選択を利用するものである。本発明は、例えば、学習時に雑音のある顔画像を隔離し、認識時の顔画像のフィルタリングも可能にするパラメータを推論するのに使用され得る。これは、雑音を考慮せずに記述空間が再構築され、やはり雑音のないいくつかの顔画像の例に基づいて認識が行われることを可能にする。よって、提案する手法は、シーケンスのすべての画像を考慮するはずの手法と比べて、認識率の大幅な向上を可能にする。
【００５５】
図１および２を参照すると、顔画像の例が提示されており、正面を向き、適切に枠取りされているもの（図１）もあり、正面を向いておらず、枠取りがずれており、したがって、雑音のあるもの（図２）もある。したがって、本発明は、顔画像の集合の存在下において、顔の学習または認識を行うために、図１の種類の画像の顔画像だけを選択することと、雑音のある画像とみなされる、図２の種類の画像のすべての顔画像を除外することを可能にする。
【００５６】
本明細書の以下の部分では、本発明の一実施形態の例を、学習段階と認識段階の両方におけるビデオシーケンスからの顔の認識の状況として説明しようと努めるものである。本発明は、当然ながら、例えば、バーストモードでカメラによって獲得される静止画像の集合からの顔画像の認識にも適用され得る。
【００５７】
さらには、雑音の多い画像が、学習段階においても、学習段階の結果が使用される認識段階においてもフィルタリングされる特定の実施形態について説明しようと努めるものである。これら２つの段階は、当然ながら、相互に独立に実施されてもよい。
【００５８】
図３は、本発明の顔識別方法のブロック図であり、この方法は、以下の３つの主要ステップを含む。
学習ビデオシーケンス（Ｓ(1)，・・・Ｓ(j)，・・・Ｓ(N)、添え字ｊは、シーケンス（Ｓ(j)）が関連付けられている人物を指定する）から抽出（３０）される顔画像（（Ｉ1(1)，・・・ＩM1(1)），・・・（Ｉ1(j)，・・・ＩM2(j)），・・・（Ｉ1(N)，・・・ＩM3(N)））を解析３１して、第１に、非代表的顔画像をフィルタリングするための判断閾値（ＤＯmax、ＤＲＣmax）を、第２に、代表的顔画像に基づくモデル３４（記述空間）を求めること。
学習段階において獲得される閾値（ＤＯmax、ＤＲＣmax）に従って、認識されるべき顔画像（問い合わせシーケンスから抽出される画像）
【数３】
2008537216.tif 000005
をフィルタリング３２して、これらの基準
【数４】
2008537216.tif 000006
に一致する代表的顔画像を獲得すること。本明細書において以下でより詳細に説明するように、このフィルタリングは、投影行列Ｐとロバスト平均値μも考慮に入れる。
学習段階において獲得されるモデル３４に従い、代表的顔画像
【数５】
2008537216.tif 000007
だけを使って顔３５を認識３３すること。
【００５９】
当然ながら、まれにではあるが、フィルタリングにおいて代表的画像として保持されるのに十分な品質の画像がないこともあり得る。その場合、定義される基準にしたがって、少なくとも１つの画像を選択することが必要である。例えば、これは、シーケンスの最初の画像を選択するように選択することもできる。
【００６０】
以下で、これらの異なる主要ステップについて詳細に説明する。
【００６１】
７．１  学習ビデオシーケンスの解析と代表的画像の選択
各人物４０（添え字ｊによっても識別される）は、関連付けられたビデオシーケンスＳ(j)を有する。シーケンスＳ(j)は、決まった期間にわたってカメラ４１で人物４０を撮影する際に獲得され得る。（本発明の目的ではなく、したがって、詳細には説明しない、当業者に周知の技法に従って）ビデオシーケンスＳ(j)の各画像に顔検出器４２を適用することによって、ビデオシーケンスＳ(j)から顔画像の集合（Ｉ1(j)，・・・ＩN(j)）が抽出される。次いで、本発明は、正面を向き、適切に枠取りされている顔画像だけの選択を可能にし、これは、顔自体の画像を解析する際に行われる。このために、本発明は、Ｍ．Ｈｕｂｅｒｔ，Ｐ．Ｊ．Ｒｏｕｓｓｅｅｕｗ、およびＫ．Ｖａｎｄｅｎ  Ｂｒａｎｄｅｎによる、「ＲＯＢＰＣＡ：Ａ  Ｎｅｗ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｒｏｂｕｓｔ  Ｐｒｉｎｃｉｐａｌ  Ｃｏｍｐｏｎｅｎｔ  Ａｎａｌｙｓｉｓ」，Ｔｅｃｈｎｏｍｅｔｒｉｃｓ，４７（１）、６４〜７９頁、２００５年２月に記載されているロバスト主成分解析（ＲｏｂＰＣＡ）を使用する。
【００６２】
ここでの考え方は、ビデオシーケンスＳ(j)から抽出される顔の過半数が高品質のものである（すなわち、適切に枠取りされ、正面を向いたものである）と仮定して、各顔画像Ｉi(j)をベクトルｖi(j)とみなし、問題を、異常なベクトルの検出の問題になぞらえるものである。これは合理的な仮定である。というのは、学習される人物４０のビデオの獲得は、適切に制御された条件下で行われ得ると考えられるからである。ビデオシーケンスＳ(j)から抽出される顔画像の集合（Ｉ1(j)，・・・ＩN(j)）ごとに、以下の手順に従う。
各画像Ｉi(j)が、すべての画像が同じサイズを有するようにサイズ変更される４３。すなわち、画像集合（Ｉ’1(j)，・・・Ｉ’N(j)）が獲得される。
ベクトルｖ’i(j)が、ビデオシーケンスＳ(j)から抽出された、サイズ変更された顔画像Ｉ’i(j)のそれぞれと関連付けられる４４。ベクトルｖ’i(j)は、画像Ｉ’i(j)の各行（または各列）の連結によって構築される。各成分は、画像Ｉ’i(j)の画素の中間調レベルの値に対応する。
ベクトルｖ’i(j)は、各行が、画像Ｉ’i(j)と関連付けられたベクトルｖ’i(j)に対応する行列Ｘ(j)の形で配置される４５。
行列Ｘ(j)にロバスト主成分解析（ＲｏｂＰＣＡ）４６が適用される。次いで、新しいより小さいサイズの空間が、ロバスト投影行列Ｐ(j)とロバスト平均値μ(j)によって定義される。
ベクトルｖ’i(j)（添え字ｊの人物の顔画像と関連付けられたベクトル、行列Ｘ(j)の行）について、２つの距離、すなわち、直交距離（ＤＯi(j)）と中心までのロバスト距離（ＤＲＣi(j)）が以下のように算出される４７。
【数６】
2008537216.tif 000008
式中、Ｐ(j)d,kは、Ｐ(j)の最初のｋ列によって形成され、ｙiは行列Ｙ(j)の第ｉ行であり、Ｙn×k＝（Ｘn×d−１nμt）Ｐd×kによって定義される行列Ｘ(j)の投影である。直交距離と、中心までのロバスト距離の分布の解析は、ＲｏｂＰＣＡブロック４６の出力において出力される、２つの判断閾値ＤＯmaxおよびＤＲＣmaxを決定することを可能にする。ベクトルｖ’i(j)について、ＤＯi(j)＞ＤＯmax(j)またはＤＲＣi(j)＞ＤＲＣmax(j)である場合（４８）、ベクトルｖ’i(j)は、異常なベクトルであるとみなされ（４９）、関連関連付けられる顔画像は選択されない（すなわち、学習時に考慮に入れられない）。そうでない場合５０、画像Ｉi(j)は、代表的顔画像であるとみなされ、学習ベースＢＡ５１に格納される。
各ビデオシーケンスＳ(j)ごとの投影行列Ｐ(j)、ロバスト平均値μ(j)、ならびに２つの判断閾値ＤＯ(j)maxおよびＤＲＣ(j)maxもまた、学習ベースＢＡ５１に保存される。
【００６３】
この識別されるべき顔を表す学習画像の選択ステップの一実施形態の一変形例では、すべての学習ビデオシーケンスＳ(j)から抽出される顔画像の集合が同時に考察される。この場合、学習段階において、単一の投影Ｐ、単一のロバスト平均値μ、単一の判断閾値ＤＯmax、および単一の判断閾値ＤＲＣmaxが算出される。したがって、学習顔画像は、Ｐ、μ、ＤＯmax、ＤＲＣmaxを使ってフィルタリングされる。画像Ｉ’Iは、
ＤＯi＞ＤＯmaxまたはＤＲＣi＞ＤＲＣmax
である場合にフィルタリングされ、式中、ＤＯiとＤＲＣiは、それぞれ、Ｐとμを使用するｖ’i（Ｉ’iと関連付けられたベクトル）の直交距離と中心までのロバスト距離である。
【００６４】
７．２  記述空間の構築
記述空間の構築に使用される学習ベース５１には、前のステップで選択された顔画像５０だけが含まれる。この空間は、ＰＣＡ（主成分解析）、ＬＤＡ（線形判別解析）、２ＤＰＣＡまたは２ＤＬＤＡ（すなわち２次元のＰＣＡまたはＬＤＡ）などの知られている統計的技法の１つを使って算出される。これらの技法の目的は、各顔画像と関連付けられたベクトルｖi(j)がそこで投影され、比較される縮小されたサイズの空間を求めることである。
【００６５】
投影が算出された後で、学習ベース５１の顔画像Ｉi(j)と関連付けられたすべてのベクトルｖi(j)が、記述空間において投影される。次いで、これらの投影が保存され、認識段階において使用される。
【００６６】
図５に、学習段階のこれら２つの構成段階、すなわち、学習ビデオシーケンスの解析および代表的画像の選択（§７．１）と、記述空間の構築（§７．２）のより簡略化した図を示す。入力において、複数の学習ビデオシーケンスＳ1からＳnが利用可能である。これらのビデオシーケンスは、一般にそれぞれ、識別することが求められる互いに異なる人物と関連付けられている。ｎ個の顔画像集合
【数７】
2008537216.tif 000009
から
【数８】
2008537216.tif 000010
を抽出するために、これらのシーケンスのそれぞれに顔検出器４２が適用される。これらの顔画像集合のそれぞれについて、代表的顔画像の選択５１が行われ、これによって、
第１に、考察されるビデオシーケンスと関連付けられた２つのフィルタリング閾値ＤＯmaxおよびＤＲＣmaxと、（例えば、シーケンスの各画像と関連付けられた投影行列Ｐおよびロバスト平均値μの形での）このシーケンスと関連付けられた投影方法とを含むデータ５２と、
第２に、代表的学習顔画像
【数９】
2008537216.tif 000011
から
【数１０】
2008537216.tif 000012
５３と
を獲得することができる。
【００６７】
識別されるべき顔を表すこれらの学習画像５３は、識別されるべき人物と関連付けられた記述空間５５、すなわちモデルを構築５４し、代表的学習画像５３と関連付けられたベクトルの投影５６を実行するのに使用される。
【００６８】
以下では、本発明の識別方法の認識段階において行われる処理操作を説明する。
【００６９】
７．３  問い合わせシーケンスからの代表的画像の選択
図６に示すように、（例えば、映像監視カメラなどによって獲得される）認識されるべき人物を表す問い合わせシーケンスＳの存在下において、まず第一に、自動顔検出器４２によって、シーケンスＳから、すべての顔画像
【数１１】
2008537216.tif 000013
が抽出される。これらの画像Ｉqは、それぞれ、問い合わせ画像であるとみなすことができ、したがって、求められる人物を識別するのに使用され得る。次に、この画像が、学習段階の場合と同様に、人物を正しく識別する可能性を高めるために、識別のためのこれらの画像
【数１２】
2008537216.tif 000014
の部分集合だけを選択するように選択される。本発明の好ましい実施形態では、学習段階（§７．１）と同じ手順を再利用しないように選択される。というのは、ビデオ問い合わせ画像の獲得は、一般に、（監視カメラを使用するなど）あまり適切に制御されない条件で行われ、シーケンスから抽出される画像の過半数が正面を向き、適切に枠取りされているという仮定が常に確認されるとは限らないからである。
【００７０】
しかしながら、本発明の次善の変形例では、問い合わせ画像に対して、学習段階において学習画像に対して行われる処理操作と同一の、ＲｏｂＰＣＡ型解析による処理操作を実行するよう選択することも可能である。
【００７１】
本発明の好ましい実施形態では、識別されるべき顔を表す問い合わせ画像の選択が、学習時に算出されるフィルタリング閾値ＤＯmaxおよびＤＲＣmaxに基づいて行われるか、それとも代表的学習画像から直接行われるかに応じて、２つの変形例が想定され得る。
【００７２】
第１の変形例では、画像が、学習段階において算出される判断パラメータ５２（§７．１、閾値ＤＯmaxおよびＤＲＣmax）を使って選択される。ベクトルｖqが、問い合わせシーケンスＳから抽出される各顔画像Ｉqと（画像の各行または各列の連結によって）関連付けられ、各顔画像Ｉqを保持するか否か、および、識別時に顔画像Ｉqを使用するか否かを決定するために、以下のアルゴリズム８０が適用される。
【００７３】
学習時に使用される各ビデオシーケンスＳ(j)ごとに、
投影行列Ｐ(j)、ロバスト平均値μ(j)、ならびに、学習段階において保存された２つの判断閾値ＤＯmax(j)とＤＲＣmax(j)をロードし、
ｖ’q（ｖ’qは、前述の、学習画像について行われるのと同様のＩqのサイズ変更から生じる画像Ｉ’qと関連付けられたベクトルである）の直交距離ＤＯq(j)と中心までのロバスト距離ＤＲＣq(j)を、Ｐ(j)とμ(j)を使用して以下のように算出する。
【数１３】
2008537216.tif 000015
式中、Ｐ(j)d,kは、Ｐ(j)の最初のｋ列によって形成され、ｙiは、行列Ｙ(j)の第ｉ行であり、Ｙn×k＝（Ｘn×d−１nｍt）Ｐd×kによって定義される行列Ｘ(j)の投影である。
【００７４】
すべてのｊについて、ＤＯq(j)＞ＤＯmax(j)またはＤＲＣq(j)＞ＤＲＣmax(j)である場合、画像Ｉqは選択されない。言い換えると、関連付けられるベクトルが、すべての投影と、すべての学習ビデオシーケンスについて算出される閾値によって異常であるとみなされる場合、顔画像は、認識時に考慮に入れられない。
【００７５】
学習時に、すべての学習画像が一緒にグループ化されており、ただ１つの投影Ｐ、ただ１つのロバスト平均値μ、ただ１つの判断閾値ＤＯmaxおよびただ１つの判断閾値ＤＲＣmaxが算出されるただ１つの集合が考察される一実施形態の変形例では、顔問い合わせ画像は、認識段階においても、Ｐ、μ、ＤＯmaxおよびＤＲＣmaxを使ってフィルタリングされる。学習の場合と同様に、問い合わせ画像Ｉは、
ＤＯq＞ＤＯmaxまたはＤＲＣq＞ＤＲＣmax
の場合にフィルタリングされ（すなわち、異常であるとみなされ）、式中、ＤＯqとＤＲＣqは、それぞれ、Ｐとμを使用する、ｖ’（ｖ’は、Ｉのサイズ変更から生じる画像Ｉ’と関連付けられたベクトルである）の直交距離と中心までのロバスト距離である。
【００７６】
第２の変形例は、学習段階からもたらされる代表的学習画像５３を使用する。問い合わせシーケンスＳから抽出される各顔画像Ｉq（４２）と、ベクトルｖqが（画像の各行または各列の連結によって）関連付けられ、このベクトルが、学習時に使用されるビデオシーケンスＳ(j)からもたらされる代表的学習画像５３と関連付けられたベクトル集合のそれぞれに挿入される。よって、学習シーケンスＳ(j)の数と同数の利用可能な集合がある。次いで、フィルタリング手順が、これらの集合のそれぞれに適用される。このフィルタリング手順は、学習時に、これらの集合のそれぞれと関連付けられた閾値ＤＯmaxおよびＤＲＣmaxを算出する際に使用される手順と同様である。顔画像Ｉqは、適用されるフィルタリング手順の少なくとも１つによって代表的画像として選択される場合に（すなわち、集合の少なくとも１つについて、ＤＯq≦ＤＯmaxおよびＤＲＣq≦ＤＲＣmaxである場合に）選択される８０。
【００７７】
また、この代表的問い合わせ画像の選択手順８０は、学習段階からもたらされるすべての代表的学習画像（区別なくすべての学習シーケンス）からなる顔画像の集合内に１つまたは複数の画像Ｉqを挿入することによっても適用され得る。しかしながら、挿入される画像Ｉqの数は、代表的学習画像の数より小さいままであることが望ましい。よって、フィルタリング手順は、ただ一度だけ実行され、顔画像Ｉqは、それが代表的画像として選択される場合に選択される。この場合、すべての代表的学習画像と画像Ｉqによって構成される集合についてただ２つの閾値ＤＯmaxおよびＤＲＣmaxだけが算出される。
【００７８】
問い合わせシーケンスから選択される顔画像の集合は、以下のように表される。
Ｑ＝｛ｑ1，ｑ2，・・・，ｑs｝
【００７９】
７．４  認識
問い合わせ画像ｑiの識別は、２つのステップで行われる。まず第一に、代表的問い合わせ画像ｑiは、学習ベースの画像と同じやり方（ステップ５４）で（学習時に算出される）記述空間５５において投影される８１。次いで、記述空間５５における最も近い近隣を求めるサーチ８２が行われる。これは、学習ベースの画像に対応する投影ベクトル５６の間で、問い合わせ投影ベクトルに最も近い投影ベクトルをサーチすることを伴う。問い合わせ画像ｑiは、検索される最も近い近隣と関連付けられた人物と同じ人物に割り当てられる。よって、各画像ｑiは、所与の人物に投票する、すなわち、学習ベースに格納された人物の中の人物を指定する。次いで、集合Ｑの代表的問い合わせ画像のそれぞれについて獲得される結果がマージされ８３、問い合わせシーケンスの顔が、最終的に、最多投票数を獲得している人物として認識される８４。
【００８０】
集合Ｑの画像に基づく他の識別手順も適用され得る。
【００８１】
７．５  本発明の状況で行われる処理操作の詳細な説明
以下では、本発明の実際の実現形態、ならびに、上記§７．１から§７．４で説明している各ステップで行われる数学的処理操作についてのより詳細な説明を行う。
【００８２】
利用可能なビデオシーケンスの集合Ｓ(1)，・・・，Ｓ(r)があり、各シーケンスは、学習が行われる人物の１人と関連付けられているものと仮定する。各シーケンスは、例えば、関連付けられる人物を、カメラによって決まった期間にわたって撮影することによって獲得される。
【００８３】
§７．１に示すように、各学習シーケンスＳ(i)から、ビデオシーケンスの画像のそれぞれに適用される自動顔検出器によって、顔画像の集合Ｉ1，Ｉ2，・・・，Ｉnが抽出される。処理は、例えば、Ｃ．ＧａｒｃｉａとＭ．Ｄｅｌａｋｉｓによる、「Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｆａｃｅ  Ｆｉｎｄｅｒ：Ａ  Ｎｅｕｒａｌ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｆｏｒ  Ｆａｓｔ  ａｎｄ  Ｒｏｂｕｓｔ  Ｆａｃｅ  Ｄｅｔｅｃｔｉｏｎ」，ＩＥＥＥ  Ｔｒａｎｓ．ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，２６（１１）：１４０８〜１４２３頁、２００４年１１月に記載されている、ＣＦＦ検出器を使用する。次いで、これらの画像は、すべてが同じサイズ（２８×３１）になるようにサイズ変更される。この解像度は、画像内の詳細を考慮するのを回避することを可能にする。というのは、顔のポーズ（正面向きか否か）とその画像内の配置だけが重要だからである。
【００８４】
次いで、代表的学習画像の選択の手順が適用される。この手順は、抽出顔画像と関連付けられたベクトルによって形成される、データの行列Ｘn×dに対するロバスト主成分解析（ＲｏｂＰＣＡ）から開始する（ｄ＝２８×３１）。行列の行ｊは、画像Ｉjと関連付けられたベクトルに対応する。このベクトルは、サイズ変更後の画像Ｉjの行の連結によって構築される。
【００８５】
ＲｏｂＰＣＡを使って、ベクトル（すなわち、顔画像と関連付けられたサイズｄのベクトル。各ベクトルは、行列Ｘの１行に対応する）の部分集合だけを考慮して、ロバスト平均値μ（次元ｄのベクトル）と共分散Ｃd×dのロバスト行列が算出され得る。また、ＲｏｂＰＣＡは、ロバスト共分散行列Ｃの固有ベクトルによって定義される、はるかに小さいサイズの空間ｋ（ｋ＜ｄ）において画像を投影することによる画像サイズの縮小も可能にする。ＲｏｂＣａｐの原理によれば、本説明の一部をなす付録１に詳細に記載するように、
Ｃd×d＝ＰＬＰt    （１）
であり、式中、Ｐは固有ベクトルの行列であり、Ｌは固有値の対角行列（Ｌ＝ｄｉａｇ（ｌ1，ｌ2，・・・，ｌd）である場合、行列Ｘの投影は、
Ｙn×k＝（Ｘn×d−１nμt）Ｐd×k
によって与えられ、式中、Ｐd×kはＰの最初のｋ列によって形成される。
【００８６】
行列Ｙにおいて、行ｉは行列Ｘの行ｉの投影を表す。これは、したがって、画像Ｉiの投影である。ＲｏｂＰＣＡによる行列Ｃとロバスト平均値μの計算の詳細は、本説明の一部をなす付録１に示す。
【００８７】
代表的学習画像を選択する（したがって、雑音のある画像をフィルタリングする）ために、各画像Ｉiごとに２つの距離が算出される。これらは、直交距離（ＤＯi）と中心までのロバスト距離（ＤＲＣi）である。これら２つの距離は以下のように算出される。
【数１４】
2008537216.tif 000016
【数１５】
2008537216.tif 000017
式中、ｘiはＩi（行列Ｘの行ｉ）と関連付けられたベクトルであり、ｙiは行列Ｙの第ｉ行である。
【００８８】
異常なベクトルを隔離するために、これら２つの距離の分布が考察される。中心までのロバスト距離と関連付けられる閾値は、ｋ＞１の場合には
【数１６】
2008537216.tif 000018
、ｋ＝１の場合には、
【数１７】
2008537216.tif 000019
によって定義される（というのは、標準分布上のマハラノビス（Ｍａｈａｌａｎｏｂｉｓ）の平方距離は、ほぼ、χk2の法則に従うからである）（前述のＭ．Ｈｕｂｅｒｔらによる論文を参照されたい）。この閾値を、ｊを学習シーケンスの番号とするＤＲＣmax(j)で表す。これに対して、直交距離の閾値は、値ＤＯiの分布が分からないため、定めるのがより困難である。Ｍ．Ｈｕｂｅｒｔらによる論文で提案されている方法が、この閾値の算出にも使用される。すなわち、分布は、ｇ1χg22によって近似され、ウィルソン・ヒルフェーティ（Ｗｉｌｓｏｎ−Ｈｉｌｆｅｒｔｙ）法を使ってｇ1とｇ2が推定される。よって、直交距離の２／３乗は、平均値
【数１８】
2008537216.tif 000020
と分散
【数１９】
2008537216.tif 000021
を有する正規分布に従う。値ＤＯiから、ＭＣＤ推定器（Ｍ．Ｈｕｂｅｒｔらによる論文参照）によって、平均値
【数２０】
2008537216.tif 000022
と分散
【数２１】
2008537216.tif 000023
を推定して、メモリシーケンスｊの直交距離と関連付けられた閾値が、
【数２２】
2008537216.tif 000024
によって与えられ、式中、ｚ0.975＝Φ-1（０．９７５）は、ガウス分布の９７．５％の変位値である。
【００８９】
図１に示すような代表的顔画像が、本明細書で示す手順によって、図１と図２に示す種類の画像を含む顔集合から選択される。したがって、提案する方法は、正面向きの画像（図１）だけをし、横顔または枠取りのずれた顔（図２）の選択を隔離することを可能にする。
【００９０】
代表的学習画像の選択後、記述空間が主成分解析（ＰＣＡ）によって構築され得る。選択された代表的学習画像に着手する際、まず第一に、学習ベースが、行列の形で構築される。各顔画像が、すべての画像が同じサイズを有するようにサイズ変更される。選択されるサイズは、例えば、６３×５７などである。このサイズは、顔検出器の出力において直接獲得されるものでもよい。この場合、各画像は、画像の行の連結によって構築される６３×５７のサイズの関連付けられたベクトルを有する。次いで、各ベクトルは、Ｘm,dで表されるデータ行列の１行に配置され、ｍは選択される顔画像の数であり、ｄはベクトルのサイズ（この場合はｄ＝６３×５７）である。
【００９１】
本明細書の残りの部分では、異なる変数に使用される表記は、これまで本明細書の§７．５で使用した表記とは無関係であることが分かるはずである。
【００９２】
記述空間を算出するために、まず第一に、以下のように、Ｘを中心に置き、スペクトル分解を行う。
Ｘm,d−１mμt＝Ｕm,dＤd,dＶd,dt    （１２）
式中、μは選択された顔の画像と関連付けられたベクトル（行列Ｘの行）の平均値であり、Ｄは対角行列Ｄ＝ｄｉａｇ（ｌ1，ｌ2，・・・，ｌd）である。
【００９３】
記述空間は、Ｘの共分散行列の固有ベクトルでもある、行列Ｖのベクトルによって定義される。選択されるベクトルの数は、記述空間の次元ｒを定義する。この数は、すなわち、αを事前に定められるパラメータとする場合に、
【数２３】
2008537216.tif 000025
であるように表される慣性の割合の基準によって固有値（Ｄ）を解析することによって定められ得る。よって、記述空間において投影されるベクトルは、
Ｙn,r＝（Ｘm,d−１mμt）Ｖd,r    （１４）
によって定義される。Ｙ、μおよびＶは、認識段階のために保存される。
【００９４】
認識段階において、識別されるべき顔を表す問い合わせ画像は、§７．３で説明している手順に従って、問い合わせシーケンスから選択される。これらの画像をｑ1，・・・，ｑsで表す。これらの画像は、まず第一に、学習段階で使用される画像と同じサイズ（上記の場合には６３×５７）を有するようにサイズ変更される。次いで、ベクトルが、これらの画像のそれぞれと関連付けられる。これらのベクトルをｖ1，・・・，ｖsで表す。次いで、各ベクトルが、以下のように記述空間に投影される。
ｂi＝（ｖi−μ）tＶd,r    （１５）
各投影ベクトルｂiごとに、ｂiに最も近いベクトルｙi（行列Ｙの第ｉ行）が、ｂiとすべてのベクトルｙiの間の距離を算出することによって検索される。したがって、ｂiと関連付けられる顔画像は、検索される最も近い近隣によって表される画像と関連付けられた人物であると認識される。ｂiは識別される人物に投票しているという。これがすべてのｂiについて行われた後で、問い合わせシーケンスの顔が、最終的に、最多投票数を獲得している人物の顔であると認識される。
【００９５】
７．６  学習装置および認識装置
最後に、図７に、メモリＭ６１と、コンピュータプログラムＰｇ６２によって駆動されるプロセッサμＰを具備する処理装置６０を備える、本発明の学習装置の構造を示す。処理装置６０は、入力において、添え字ｊで識別される１人または複数の人物と関連付けられた、学習顔画像Ｉi(j)の集合６３を受け取り、この集合から、マイクロプロセッサμＰは、プログラムＰｇ６２の命令に従って動作し、ロバスト主成分解析またはＲｏｂＰＣＡを実行する。この解析の結果から、処理装置６０のプロセッサμＰは、添え字ｊを有する各人物と関連付けられた画像の各部分集合ごとに、または学習画像の集合６３について、ＤＯmaxおよびＤＲＣmaxという、画像６３をフィルタリングするための２つの閾値６８を求める。また、データ６８は、ロバスト平均値μと投影行列Ｐも含む。次いで、これらの閾値に基づき、プロセッサμＰは、平均値μと投影行列Ｐを選択し、学習画像の集合６３から、処理装置６０の出力において出力される、識別されるべき顔（Ｉi(j)）*の１つまたは複数の代表的学習画像６４を選択する。また、ＰＣＡ型の解析は、プロセッサμＰが、記述空間、すなわち、添え字ｊを有する人物のそれぞれと関連付けられたモデル６５、ならびに、平均値と投影行列の形での、学習画像と関連付けられたベクトルの、この記述空間６５における投影６６の方法を決定することも可能にする。また、処理装置６０は、出力において、代表的学習画像６４と関連付けられたベクトルの集合の投影６７も出力する。
【００９６】
図８に、メモリＭ７１と、コンピュータプログラムＰｇ７２によって駆動される、プロセッサμＰを具備する処理装置７０とを備える顔画像認識装置の簡略化した方式を示す。処理装置７０は、入力において、以下を受け取る。
認識装置がそこから人物の顔を識別しなければならない、問い合わせ顔画像の集合７３。
学習装置の出力において出力されたフィルタリング閾値ＤＯmaxおよびＤＲＣmax、ならびにロバスト平均値μおよび投影行列Ｐ６８。
学習装置によって構築された記述空間６５。
学習装置によって使用された投影方法６６。
代表的学習画像と関連付けられ、学習装置によって記述空間において投影されたベクトル６７。
【００９７】
処理装置７０のプロセッサμＰは、プログラムＰｇ７２の命令に従って動作し、問い合わせ画像の集合７３の中から、閾値ＤＯmaxおよびＤＲＣmax、ロバスト平均値μならびに投影行列Ｐ６８を使って、識別されるべき顔の１つまたは複数の代表的問い合わせ画像を選択する。次いで、投影方法６６に従って、これらの代表的問い合わせ画像と関連付けられたベクトルを記述空間６５において投影する。次いで、投影された学習ベクトルと、投影された問い合わせベクトルを比較して、問い合わせ画像７３内の顔であると識別される顔７４がどれであるか判定する。
【００９８】
すでに述べた変形例では、認識装置の入力における閾値６８が、代表的学習画像６４で置き換えられ、処理装置７０のプロセッサμＰは、問い合わせ画像７３と代表的学習画像６４で構成される集合から、学習装置によって行われるのと同一のフィルタリングを行う。
【００９９】
この説明は、ＲｏｂＰＣＡ型の解析を実施する技法に重点を置いていることが分かる。当然ながら、閾値ＤＯmaxおよびＤＲＣmaxと同様の２つの閾値に基づく他の任意のフィルタリング技法を使用することも、同様に可能である。
【０１００】
付録１：ＲｏｂＰＣＡによるロバスト平均値μとロバスト共分散行列Ｃの算出
ＲｏｂＰＣＡは、主成分解析を、単にベクトルの部分集合だけを考察して行うのに使用され得る。その考えは、解析に、平均値と共分散行列（雑音に大きく影響されやすいことが知られている１次と２次の積率）の算出に影響を及ぼす危険性のある雑音のあるデータを含めることを回避するというものである。このため、ＲｏｂＰＣＡは、部分集合Ａは、部分集合Ａのベクトルが別の部分集合Ｂのベクトルよりも分散されていない場合、部分集合Ｂより雑音が少なく、統計的な観点から見れば、最も雑音の少ない集合が、共分散行列の行列式が最も小さい集合である、という特性に基づくものである。
【０１０１】
行列Ｘn,dの形として配列された、サイズｄのｎベクトルの集合を考える。ＲｏｂＰＣＡは、以下の４つのステップで行われる。
【０１０２】
１．学習ベース（ＢＡ）のデータが、典型的なＰＣＡ（主成分解析）によって前処理される。この目的は、すべての主要成分が保持されるためサイズを縮小させないことである。行われることは、単に、不要なサイズを除去することである。このために、以下のように、特異値への分解が行われる。
Ｘn,d−１nｍ0t＝Ｕn,r0Ｄr0,r0Ｖr0,dt
式中、ｍ0は、典型的な平均値であり、ｒ0は、行列Ｘn,d−１nｍ0tの階数である。
【０１０３】
次いで、データ行列Ｘが、以下のように変換される。
Ｚn,r0＝ＵＤ
【０１０４】
以下のステップで使用されるのは行列Ｚである。以下で、行列Ｚは、各ベクトルが行列の１行に対応し、シーケンスから抽出される顔画像の１つと関連付けられているベクトルの集合であるとみなされる。
【０１０５】
２．第２のステップの目的は、ｈ個の最も雑音の少ないベクトルを検索することである。ベクトルとは、ここでは、行列Ｚの１行を指し、顔画像に対応し、ｚiで表されるものであることを想起されたい。
【０１０６】
ｈの値は、ユーザによって選択され得るが、ｎ−ｈは、異常なベクトルの総数より大きくなければならない。異常なベクトルの数は、一般に、分かっていないため、ｈは、以下のように選択される。
ｈ＝ｍａｘ｛［αｎ］［（ｎ＋ｋmax＋１）／２］｝    （４）
式中、ｋmaxは、選択される主成分の最大数であり、αは０．５から１までの範囲のパラメータである。これは、雑音のないベクトルの割合を表す。この場合、このパラメータは、シーケンスから抽出される、高品質であり、学習ベースに含まれ得る学習顔画像の割合に対応する。したがって、このパラメータの値は、学習シーケンスの獲得条件と、シーケンスから抽出される顔画像の品質の関数として定められ得る。デフォルト値は、０．７５である。
以下は、ｈ個の最も雑音の少ないベクトルを見つけるのに使用される方法である。
【０１０７】
まず第一に、各ベクトルｚiごとに、
【数２４】
2008537216.tif 000026
で定義される、各ベクトルｚiの雑音の大きさの算出が行われる。式中、Ｂは、２つの異なるベクトルを通るすべての方向の集合である。方向の数が２５０より大きい場合、２５０方向の部分集合がランダムに選択される。ｔMCD（ｚjtｖ）とｓMCD（ｚjtｖ）は、それぞれ、ｖで定義される方向に沿ったすべてのベクトルの投影のロバスト平均値とロバスト標準偏差である。これは、最小の分散を有するｈ個の投影値の平均値と標準偏差である。これら２つの値は、Ｈｕｂｅｒｔらにより前述の論文に記載されている１次元ＭＣＤ推定器によって算出される。
【０１０８】
すべてのｓMCDが０より大きい場合、雑音の大きさｏｕｔｌは、すべてのベクトルについて算出され、雑音の大きさの最小値を有するｈ個のベクトルが考慮される。これらのベクトルの添え字は、集合Ｈ0に格納される。
【０１０９】
方向の１つに沿って、ｓMCD（ｚjtｖ）がゼロである場合、これは、ｈ個のベクトルを含むｖと直交する超平面Ｈvがあることを意味する。この場合、すべてのベクトルはＨv上で投影され、これには、ベクトルのサイズを１に縮小する効果があり、雑音の大きさの算出が再開される。これは、おそらく、数回行われ得ることに留意しなければならない。
【０１１０】
このステップの終わりは、最も雑音の少ないベクトルの集合Ｈ0が生じ、場合によっては、ｒ1≦ｒ0の新しいデータＺn,r1の集合が生じる。
【０１１１】
次いで、主成分解析を行い、ベクトルのサイズを縮小するために、前に選択されたｈ個のベクトルの平均値ｍ1と共分散行列Ｓ0が考察される。行列Ｓ0は、以下のように分解される。Ｌ0を固有値の対角行列
【数２５】
2008537216.tif 000027
とし、ｒ≦ｒ1とすると、Ｓ0＝Ｐ0Ｌ0Ｐ0tである。すべての
【数２６】
2008537216.tif 000028
は、ヌルではなく、降順に設定されるものとみなされる。この分解は、残りの解析のために保持されるべき主成分ｋ0の数を決定することを可能にする。これは、様々なやり方で行われ得る。例えば、ｋ0は、以下のように選択され得る。
【数２７】
2008537216.tif 000029
あるいは、以下のようにも選択され得る。
【数２８】
2008537216.tif 000030
【０１１２】
最後に、ベクトルは、Ｓ0の最初のｋ0個の固有ベクトルで定義される空間において投影される。新しいベクトルの行列は、
Ｚn,k0*＝（Ｚn,r1−１nｍ1t）Ｐ0(r1,k0)
によって与えられ、式中、Ｐ0(r1,k0)は、Ｐ0の最初のｋ0列によって形成される。
【０１１３】
３．第３のステップでは、Ｚn,k0*のベクトルの共分散行列が、ＭＣＤ推定器によって推定される。その考えは、その共分散行列が最小の行列式を有するｈ個のベクトルを検索するというものである。ｈ個のベクトルを含むすべての部分集合を算出することは事実上不可能であるため、アルゴリズムの近似が使用される。このアルゴリズムは４つのステップで動作する。
【０１１４】
３．１  ｍ0とＣ0をそれぞれ、ステップ２で選択されるｈ個のベクトル（集合Ｈ0）の平均値と共分散行列とする。
（ａ）ｄｅｔ（Ｃ0）＞０の場合、各ベクトルｚi*ごとに、以下のように、ｍ0に対するマハラノビス距離を算出する。
【数２９】
2008537216.tif 000031
【０１１５】
最小の距離を有するｈ個のベクトルｄm0,C0（ｉ）の選択は、その共分散行列の行列式がＣ0の行列式よりも小さい新しい集合Ｈ1の構築を可能にする。言い換えると、ｍ1とＣ1が、それぞれ、Ｈ1のｈ個のベクトルの平均値と共分散行列である場合、ｄｅｔ（Ｃ1）≦ｄｅｔ（Ｃ0）である。
【０１１６】
したがって、Ｃステップと呼ばれるこの手順は、ｈ個の選択ベクトルの共分散行列の行列がそれ以上減少しなくなるまで、反復して実行される。
（ｂ）所与の反復ｊにおいて、共分散行列Ｃjが特異である場合、データは、その固有値がヌルでないＣjの固有ベクトルによって定義される最小のサイズの空間において投影され、手順は続行する。
【０１１７】
収束時には、ｋ1≦ｋ0とするＺn,k1*で表されるデータ行列と、最後の反復時に選択されているｈ個のベクトルの添え字を含む集合Ｈ1が獲得される。ｍ2とＳ2で、それぞれ、これらのｈ個のベクトルの平均値と共分散行列を表す。
【０１１８】
３．２  行列Ｚn,k1*に、ＲｏｕｓｓｅｅｕｗとＶａｎ  Ｄｒｉｅｓｓｅｎにより１９９９年に提案され、わずかに変更されているアルゴリズムＦＡＳＴ−ＭＣＤが適用される。使用されるこのアルゴリズムのバージョンは、サイズ（ｋ1＋１）の２５０個の部分集合をランダムに取り出す。このアルゴリズムは、各ベクトルの、平均値、共分散行列およびマハラノビス距離（式８）を算出し、部分集合がｈ個のベクトルを含むように、最小の距離を有するベクトルによって部分集合を完成させる。次いで、Ｃステップ手順を適用して、この部分集合を改善する。ここでは、第１の段階において、２回のＣステップ反復だけが、２５０個の部分集合のそれぞれに対して適用されることが分かる。次いで、１０個の最適な部分集合（その共分散行列の最小の行列式を有する集合）が選択され、それらに、３．１の反復手順（ａ）および（ｂ）が、収束するまで適用される。
【０１１９】
ＦＡＳＴ−ＭＣＤアルゴリズムの適用の最後に獲得されるデータ集合を、ｋ≦ｋ1とする
【数３０】
2008537216.tif 000032
で表し、選択されたｈ個のベクトルの平均値と共分散行列をｍ3とＳ3で表す。ｄｅｔ（Ｓ2）＜ｄｅｔ（Ｓ3）である場合、計算が続行されて、ステップ３．１から獲得されたｈ個のベクトル、すなわち、ｍ4＝ｍ2およびＳ4＝Ｓ2が考察され、そうでない場合、ＦＡＳＴ−ＭＣＤによって獲得された結果、すなわち、ｍ4＝ｍ3およびＳ4＝Ｓ3が考察される。
【０１２０】
３．３．統計的効率を高めるために、ｍ4とＳ4から、加重平均値と加重共分散行列が算出される。まず第一に、Ｓ4に、以下のように算出される一貫性係数ｃ1を掛け合わせる。
【数３１】
2008537216.tif 000033
式中、｛ｄm4,S42｝(1)≦・・・≦｛ｄm4,S42｝(n)であり、これらは、式（８）に従って
【数３２】
2008537216.tif 000034
のベクトルを使って算出される。次いで、ｍ4とｃ1Ｓ4を使って、
【数３３】
2008537216.tif 000035
のすべてのベクトルのマハラノビス距離が算出される。これらの距離を、ｄ1，ｄ2，・・・，ｄnで表す。最終的に、平均値と共分散行列が、以下のように推定される。
【数３４】
2008537216.tif 000036
および
【数３５】
2008537216.tif 000037
式中、
【数３６】
2008537216.tif 000038
である。
【０１２１】
４．この最後のステップの目的は、最終的な平均値と共分散行列を推論することである。まず第一に、以下のように、共分散行列Ｓ5のスペクトル分解が行われる。
Ｓ5＝Ｐ2Ｌ2Ｐ2t
式中、Ｐ2はＳ5の固有ベクトルを含む行列ｋ×ｋであり、Ｌ2は、対応する固有値を有する対角行列である。
【０１２２】
次いで、行列Ｐ2が、前述の各ステップを通して適用された変換の逆変換を適用することによって、
【数３７】
2008537216.tif 000039
において投影される。これが、固有ベクトルＰd,kの最終的な行列を与える。平均値についても同様に、ｍ5が
【数３８】
2008537216.tif 000040
において投影され、したがってμがもたらされる。さらに、式（１）によって、最終的な共分散行列Ｃが算出され得る。
【図面の簡単な説明】
【０１２３】
【図１】正面を向き、適切に枠取りされた顔画像の例を示す図である。
【図２】図１の顔画像とは反対に、枠取りがずれており、かつ／または正面を向いていないために、雑音のある顔画像の例を示す図である。
【図３】本発明の顔識別方法を示すブロック図である。
【図４】本発明の特定の実施形態において、図３の方法の学習段階に行われる処理操作をより正確に示す図である。
【図５】図４の学習段階をより概略的に示す図である。
【図６】図３に示す方法の認識段階に行われる処理操作をより詳細に示す図である。
【図７】それぞれ、本発明の学習装置と顔認識装置を示す概略図である。
【図８】それぞれ、本発明の学習装置と顔認識装置を示す概略図である。
【図１】
2008537216.tif 000042
【図２】
2008537216.tif 000043
【図３】
2008537216.tif 000044
【図４】
2008537216.tif 000045
【図５】
2008537216.tif 000046
【図６】
2008537216.tif 000047
【図７】
2008537216.tif 000048
【図８】
2008537216.tif 000049
【手続補正書】
【提出日】平成19年12月4日(2007.12.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の識別方法であって、学習の段階と前記少なくとも１つの顔の認識の段階とを含み、
前記学習段階が、前記少なくとも１人の人物と関連付けられた少なくとも２つの学習顔画像のグループを使って、識別されるべき前記顔を表す少なくとも１つの学習画像の選択を可能にする、前記画像をフィルタリングする少なくとも１つの第１のステップを含み、
前記認識段階が、単に、前記学習段階において選択される前記学習画像だけを使用し、
前記フィルタリングが、
前記画像の少なくともいくつかと関連付けられたベクトルの、前記ベクトルによって構成される群におけるメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、
前記ベクトルと、前記ベクトル群と関連付けられた空間上での前記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）と
を含むグループに属する閾値の少なくとも１つを使って行われることを含む、方法。
【請求項２】
前記閾値の少なくとも１つが、前記学習画像と関連付けられたベクトルから求められることを特徴とする、請求項１に記載の識別方法。
【請求項３】
前記学習段階が、前記代表的学習画像から、前記少なくとも１人の人物の記述のベクトル空間を構築するステップを備えることを特徴とする、請求項１又は２に記載の識別方法。
【請求項４】
前記認識段階が、問い合わせ画像と呼ばれる、前記少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの、第２のフィルタリングステップを実施し、識別されるべき前記顔を表す少なくとも１つの問い合わせ画像の選択を可能にすることと、前記閾値の少なくとも１つが、前記学習段階において、学習顔画像と関連付けられたベクトルから求められることとを特徴とする、請求項１に記載の識別方法。
【請求項５】
前記閾値の少なくとも１つが、前記認識段階において、問い合わせ画像と呼ばれる、前記少なくとも１人の人物と関連付けられた少なくとも２つの顔画像と、前記学習段階において選択される、識別されるべき前記顔を表す少なくとも２つの学習画像とを含む画像集合と関連付けられたベクトルを使って求められ、前記認識段階が、前記問い合わせ画像を使って第２のフィルタリングステップを実施し、識別されるべき前記顔を表す少なくとも１つの問い合わせ画像の選択を可能にすることを特徴とする、請求項１に記載の識別方法。
【請求項６】
前記認識段階が、前記顔を識別するために、前記学習段階で構築される前記少なくとも１人の人物の記述のベクトル空間における、前記少なくとも１つの代表的問い合わせ画像と関連付けられたベクトルと、前記学習段階で選択される少なくとも１つ代表的学習画像と関連付けられたベクトルとの投影を比較するステップも含むことを特徴とする、請求項４又は５に記載の識別方法。
【請求項７】
前記学習画像をフィルタリングする前記第１のステップ、および／または前記問い合わせ画像をフィルタリングする前記第２のステップが、前記２つの閾値を適用することを特徴とする、請求項１、４又は５のいずれか一項に記載の識別方法。
【請求項８】
前記学習段階が、少なくとも２人の人物と関連付けられた学習画像について実施され、前記少なくとも２人の人物の集合の学習画像と関連付けられた前記閾値が求められることと、
前記認識段階において、前記問い合わせ画像が、前記少なくとも２人の人物の前記集合と関連付けられた前記閾値からフィルタリングされることと
を特徴とする、請求項１又は４に記載の識別方法。
【請求項９】
前記閾値が、前記学習画像と関連付けられた前記ベクトルにロバスト主成分解析（ＲｏｂＰＣＡ）が適用された後で求められ、前記ベクトルと関連付けられたロバスト平均値μと、前記ベクトルと関連付けられたロバスト共分散行列の固有のベクトルから構築される投影行列Ｐとを求めることも可能にすることと、
前記閾値が、以下の距離、すなわち、
【数１】
2008537216.tif 000050
であり、式中、ｘiは、前記学習画像と関連付けられた前記ベクトルの１つであり、Ｐd,kは、前記投影行列Ｐの最初のｋ列を含む行列であり、ｙijは、前記投影行列と前記ロバスト平均値からの前記ベクトルｘiの投影ｙiの第ｊの要素である、
という距離と関連付けられていることと
を特徴とする、請求項１から８のいずれか一項に記載の識別方法。
【請求項１０】
少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つ顔の識別の学習方法であって、
学習画像の解析のステップであり、前記学習画像と関連付けられたベクトルを使って、
前記ベクトルによって構成される群における前記ベクトルのメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、
前記ベクトルと、前記ベクトル群と関連付けられた空間上での前記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）と
を含むグループに属する閾値の少なくとも１つを求めることを可能にする前記ステップと、
前記閾値の少なくとも１つを使って、識別されるべき前記顔を表す少なくとも１つの学習画像を選択するために、前記学習画像をフィルタリングする第１のステップと、
識別されるべき前記顔の前記代表的学習画像から前記少なくとも１人の人物の記述のベクトル空間を構築するステップと
を実施し、前記第１のフィルタリングステップにおいて選択される前記学習画像だけが、少なくとも１つの顔の認識のステップにおいて使用されるようにする、学習方法。
【請求項１１】
少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の識別のシステムであって、学習装置と、前記少なくとも１つの顔の認識の装置とを備え、
前記学習装置が、
前記画像の少なくともいくつかと関連付けられたベクトルの、前記ベクトルによって構成される群におけるメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、
前記ベクトルと、前記ベクトル群と関連付けられた空間上での前記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）と
を含むグループに属する閾値の少なくとも１つを求める手段と、
前記少なくとも１人の人物と関連付けられた少なくとも２つの学習顔画像のグループを使って、前記閾値の少なくとも１つからの識別されるべき前記顔を表す少なくとも１つの学習画像の選択を可能にする、前記画像をフィルタリングする第１の手段と
を備えることと、
前記認識装置が、単に、前記学習装置によって選択される前記学習画像だけを使用する、システム。
【請求項１２】
少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の識別のシステムの学習装置であって、
学習画像の解析の手段であり、前記学習画像と関連付けられたベクトルを使って、
前記ベクトルによって構成される群における前記ベクトルのメンバーシップを少なくとも考慮に入れた最大距離（ＤＲＣmax）と、
前記ベクトルと、前記ベクトル群と関連付けられた空間上での前記ベクトルの投影後に再構築されるベクトルの間の最大距離（ＤＯmax）と
を含むグループに属する閾値の少なくとも１つを求めることを可能にする前記手段と、
前記閾値の少なくとも１つを使って、識別されるべき前記顔を表す少なくとも１つの学習画像を選択するために、前記学習画像をフィルタリングする第１の手段と、
識別されるべき前記顔を表す前記学習画像から前記少なくとも１人の人物の記述のベクトル空間を構築する手段と
を備え、前記学習装置によって選択される前記学習画像だけが、認識装置によって使用されるようにする、学習装置。
【請求項１３】
問い合わせ画像と呼ばれる、少なくとも１人の人物と関連付けられた少なくとも２つの顔画像のグループからの少なくとも１つの顔の認識の装置であって、学習装置も備える、前記少なくとも１つ顔の識別のシステムに属し、
前記学習装置によって求められる少なくとも１つの閾値を使って、認識されるべき前記顔を表す少なくとも１つの問い合わせ画像を選択するために、前記問い合わせ画像をフィルタリングする第２の手段と、
前記顔を識別するために、前記学習装置によって構築される前記少なくとも１人の人物の記述のベクトル空間における、前記少なくとも１つの代表的問い合わせ画像と関連付けられたベクトルと、前記学習装置によって選択される少なくとも１つ代表的学習画像と関連付けられたベクトルとの投影を比較する手段と
を備え、
前記学習装置が、前記少なくとも１人の人物と関連付けられた少なくとも２つの学習顔画像のグループから実施され、識別されるべき前記顔の少なくとも１つの代表的学習画像の選択を可能にする第１のフィルタリング手段を備え、
前記認識装置が、前記学習装置によって選択される前記学習画像だけを使用する、認識装置。
【請求項１４】
コンピュータプログラムであって、プロセッサによって実行されると、請求項１から９のいずれか一項に記載の、少なくとも１つの顔の識別方法のステップを実行するプログラムコード命令を備えるコンピュータプログラム。
【国際調査報告】
2008537216.tif 000051
2008537216.tif 000052
2008537216.tif 000053
2008537216.tif 000054
2008537216.tif 000055
2008537216.tif 000056