(57)【要約】      （修正有）【課題】人間の顔の識別性能を改善する。【解決手段】方法は、顔の実質的に異なる部分の同時に取得された画像の対を使用して顔の認識を改善する。かかる対を使用することにより、顔の３Ｄポーズおよび実際のサイズを確定することができ、それにより、正規化と、データベースに格納された識別された顔の類似する画像対との比較とが改善される。【選択図】図２
2006085685.tif 000002
【特許請求の範囲】
【請求項１】
顔を識別するシステムであって、
識別されていない顔の識別されていない画像の第１の対であって、同時に取得される第１の識別されていない画像および第２の識別されていない画像を含み、該第１の識別されていない画像における前記識別されていない顔の第１の識別されていない部分は、前記第２の識別されていない画像における前記識別されていない顔の第２の識別されていない部分とは実質的に異なる、第１の対と、
識別された顔の識別された画像の複数の第２の対であって、各々、同時に取得される第１の識別された画像および第２の識別された画像を含み、該第１の識別された画像における前記識別された顔の第１の識別された部分は、前記第２の識別された画像の前記識別された顔の第２の識別された部分とは実質的に異なる、第２の対と、
前記識別されていない画像の対を前記識別された画像の複数の対と比較する手段であって、それにより、前記識別されていない顔を識別するために前記識別されていない画像の対と実質的に類似する識別された画像の特定の対を確定する、比較する手段と
を備える顔を識別するシステム。
【請求項２】
各画像を、前記画像における前記顔の実際のサイズに基づき或るスケールに正規化する手段
をさらに備える請求項１に記載のシステム。
【請求項３】
前記識別されていない画像の対は、単一のカメラによって取得され、前記第１の識別されていない画像は直接取得され、前記第２の識別されていない画像は鏡を介して間接的に取得される、請求項１に記載のシステム。
【請求項４】
前記識別されていない画像の対は、互いに対して実質的に垂直の光軸を有する２つのカメラによって取得される、請求項１に記載のシステム。
【請求項５】
前記識別された画像の対は、前記識別された顔の実際のサイズに従って編成され、前記比較は、前記顔の前記実際のサイズに従う、請求項１に記載のシステム。
【請求項６】
前記識別された画像の対は、前記識別された顔の特徴の実際のサイズに従って編成され、前記比較は、前記顔の前記特徴の前記実際のサイズに従う、請求項１に記載のシステム。
【請求項７】
各第１の画像は正面像であり、各第２の画像は横顔の側面像である、請求項１に記載のシステム。
【請求項８】
顔を識別する方法であって、
識別されていない顔の識別されていない画像の第１の対を同時に取得することであって、該第１の対は第１の識別されていない画像および第２の識別されていない画像を含み、該第１の識別されていない画像における前記識別されていない顔の第１の識別されていない部分は、前記第２の識別されていない画像における前記識別されていない顔の第２の識別されていない部分とは実質的に異なること、
識別された顔の識別された画像の複数の第２の対を取得することであって、各第２の対は、同時に取得される第１の識別された画像および第２の識別された画像を含み、該第１の識別された画像における前記識別された顔の第１の識別された部分は、前記第２の識別された画像における前記識別された顔の第２の識別された部分とは実質的に異なること、および
前記識別されていない画像の対を前記識別された画像の複数の対と比較することであって、それにより、前記識別されていない顔を識別するために前記識別されていない画像の対と実質的に類似する識別された画像の特定の対を確定すること
を含む顔を識別する方法。
【請求項９】
各画像を、該画像における前記顔の実際のサイズに基づき或るスケールに正規化すること
をさらに含む、請求項８に記載の方法。
【請求項１０】
前記第１の識別されていない画像を、カメラにより直接取得すること、および
前記第２の識別されていない画像を、前記カメラにより鏡を介して間接的に取得すること
をさらに含む、請求項８に記載の方法。
【請求項１１】
前記識別されていない画像の対は、互いに対して実質的に垂直の光軸を有する２つのカメラによって取得される、請求項８に記載の方法。
【請求項１２】
前記識別された画像の対を、前記識別された顔の実際のサイズに従って編成し、前記比較は、前記顔の前記実際のサイズに従うこと
をさらに含む、請求項８に記載の方法。
【請求項１３】
前記識別された画像の対は、前記識別された顔の特徴の実際のサイズに従って編成され、前記比較は、前記顔の前記特徴の前記実際のサイズに従う、請求項８に記載の方法。
【請求項１４】
各第１の画像は正面像であり、各第２の画像は横顔の側面像である、請求項８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的にはコンピュータビジョンおよびパターン認識の分野に関し、特に複数の画像に基づいて顔を識別することに関する。
【背景技術】
【０００２】
人を視覚的に区別する最も顕著な特徴は、顔である。したがって、静止画および動画（ビデオ）における顔の認識は、画像から人を特定することが望まれる多くのアプリケーションにとって重要な技術である。顔の認識および識別は、コンピュータビジョン技術に対し極めて困難な課題を提示する。
【０００３】
たとえば、監視カメラによって得られた顔の画像では、シーンの照明が不十分でありかつ制御されていないことが多く、また、カメラは、一般に低品質であり、かつ、通常、シーンの潜在的に重要な部分から離れている。シーンにおける顔の位置および向きは、通常、制御することができない。ヘアライン、眉、および顎等、容易に変更される顔の特徴もある。口等の特徴は、特にビデオにおいては、非常に変化しやすい。
【０００４】
顔検出技法では、１つの画像または画像のセット（ビデオ等）が顔を含むか否かを判断する必要がある。顔の識別（「顔の認識」としても知られる）では、識別されていない顔の画像（「プローブ」）を、一組の識別された顔の画像（「ギャラリー」）と比較することにより、あり得る一致を確定する。この比較では、２つのあり得る結果、すなわち顔が同じであるかまたは異なる顔であるかという結果が可能である。
【０００５】
確率的に、これら２つの結果を、Ｐ（ＳＡＭＥ｜Ｄ）およびＰ（ＤＩＦＦＥＲＥＮＴ｜Ｄ）として表すことができる。ここで、データＤは、プローブ画像とギャラリーからの画像とからなる対を表す。ベイズの法則を用いて、条件付き確率を、次のように表すことができる。
【０００６】
【数１】
2006085685.tif 000003
【０００７】
条件付き確率Ｐ（ＤＩＦＦＥＲＥＮＴ｜Ｄ）を、同様に表すことができるか、または、Ｐ（ＤＩＦＦＥＲＥＮＴ｜Ｄ）＝１−Ｐ（ＳＡＭＥ｜Ｄ）として表すことができる。Duda他著、「Pattern classification and scene analysis」、Wiley, New York, 1973を参照されたい。
【０００８】
次に、量Ｐ（ＳＡＭＥ｜Ｄ）およびＰ（ＤＩＦＦＥＲＥＮＴ｜Ｄ）を比較することにより、プローブ画像がギャラリー画像のうちの１つと同じであるか否かを判断することができる。多数の顔の中から１つの顔を識別するために、すべての画像にわたってＰ（ＳＡＭＥ｜Ｄ）を最大にする。
【０００９】
主成分分析（principal component analysis）（ＰＣＡ）またはカルーネン・レーベ展開（Karhunen-Loeve expansion)に基づく顔識別システムもある。１９９２年１１月１７日にM. A. Turk他に対して発行された「Face Recognition System」と題する米国特許第５，１６４，９９２号は、画像からトレーニングベクトルの行列を抽出し、ＰＣＡによって、画像の分布を描く正規直交固有ベクトルおよび関連する固有値の組にするシステムを記載している。これらのベクトルは、部分空間に投影される。顔は、投影されたベクトル間のユークリッド距離を測定することによって識別される。ＰＣＡ手法の問題は、口等の特定の特徴の外見の変化をモデル化することができないことである。
【００１０】
Costen他は、「Automatic Face Recognition: What Representation?」、Technical Report of The Institute of Electronics, Information and Communication Engineers (IEICE), pp. 95-32, January 1996において、マハラノビス距離（Mahalanobis distance)を用いることにより、識別の精度を上げることができる方法について記載している。改良型マハラノビス距離方法については、Kato等によって、「A Handwritten Character Recognition System Using Modified Mahalanobis distance」、Transaction of IEICE, Vol. J79-D-II, No. 1, pp. 45-52, January 1996に記載されている。彼らは、各固有値にバイアス値を加えることによってこれを行う。
【００１１】
Moghaddam他は、１９９８年１月２０日に発行された「Detection, recognition and coding of complex objects using probabilistic eigenspace analysis」と題する米国特許第５，７１０，８３３号、およびMoghaddam他著、「Beyond eigenfaces: Probabilistic matching for face recognition」、Proc. of Int'l Conf. on Automatic Face and Gesture Recognition, pp. 30-35, April 1998において、確率による顔の認識について記載している。彼らは、デジタル表現されたシーンにおける選択されたオブジェクトまたはオブジェクトの特徴、例えば顔の実体を認識するシステムについて記載している。彼らは、各ギャラリー画像からプローブ画像を差し引くことにより、差分画像を得る。次に、差分画像の分布Ｐ（Ｄ｜ＳＡＭＥ）およびＰ（Ｄ｜ＤＩＦＦＥＲＥＮＴ）を、ガウス確率密度関数としてモデル化する。
【００１２】
その方法の重要な欠点は、差分画像のガウスモデルが非常に制限的であることである。実際に、同じ顔の２つの画像は、照明および顔の表情、例えばしかめ面または笑顔によって変化する可能性がある。有用な差分画像を得るためには、プローブ画像およびギャラリー画像が非常に類似していなければならない。例えば、正面のプローブ画像を、同じ顔の横顔のギャラリー画像と比較することはできない。さらに、彼らの方法は、口等の顔の特徴の動きに適応せず、したがって、ビデオでの使用にはそれほど適していない。
【００１３】
別の顔認識技法では、変形可能マッピングを使用する。各ギャラリー画像を、前処理することによって、複数のノードからなる伸縮グラフにマッピングする。各ノードは、顔の所与の位置、例えば口角にあり、隣接するノードに接続されている。各ノードにおいて、一組の局部的な画像測定（ガボールフィルタ応答（Gabor filter response））を行い、測定値を各ノードと関連付ける。各ギャラリー画像から得られた伸縮グラフをプローブ画像の上に置くことによって、プローブ画像およびギャラリー画像を比較する。
【００１４】
しかしながら、顔の特徴は、人が笑うかまたはしかめ面をする際に動くことが多い。したがって、プローブ画像におけるノードの最良の位置は、ギャラリー画像と異なることが多い。利点として、伸縮グラフは、顔の特徴の動きに明示的に対処する。しかしながら、特徴は、すべての画像で同じ外見を有すると仮定される。その手法の不都合な点は、異なる顔に対する同じ顔の許容される変化および許容されない変化の統計モデルが存在しないことである。
【００１５】
ViolaおよびJonesは、「Rapid Object Detection using a Boosted Cascade of Simple Features」、Proceedings IEEE Conf. on Computer Vision and Pattern Recognition, 2001において、画像における顔等のオブジェクトを検出する新しい枠組みについて記述している。彼らは、３つの新しい見識、すなわち、顔の検出に極めて効率的かつ効果的な画像の特徴の組、アダブースト（Adaboost）に基づく特徴選択プロセス、および顔を学習しかつ検出するカスケード式アーキテクチャを提示している。アダブーストは、効果的な学習アルゴリズムを提供し一般化された実行において強い制限を設ける。Freund他著、「A decision-theoretic generalization of on-line learning and an application to boosting」、Computational Learning Theory, Eurocolt '95, pp 23-27, Springer-Verlag, 1995、Schapire他著、「Boosting the margin: A new explanation for the effectiveness of voting methods」、Proceedings of the Fourteenth International Conference on Machine Learning, 1997、Tieu他著、「Boosting image retrieval」、International Conference on Computer Vision, 2000を参照されたい。ViolaおよびJonesの手法は、顔を検出する極めて効率的な技法を提供するが、はるかにより複雑なプロセスである顔の認識の問題を取り扱っていない。
【００１６】
示したように、画像に基づいて人を識別する複数の既存のシステムがある。ほとんどのシステムが、セキュリティに細心の注意を払うべき場所において広く配備すべきであるとするには、依然として精度が低すぎる。たとえば、或るシステムは、米国マサチューセッツ州ボストンのローガン国際空港において従業員のテストグループの身元に、事例の３８％において一致せず、機械がもたらした誤検出は５０％を超えた。この不正確さの原因には多くの要因がある。これら要因には、或る人から取得された画像がデータベースにおけるその人の画像と異なるように見えるようにする照明および視点の変化がある。また、１つの視点のみからの画像を使用することによる２つの重大な問題もある。
【００１７】
第１に、画像を生成するためにいかなる視点を使用しても、顔の中でよく見ることができない部分がある。正面の画像では、側面すなわち横顔の形状がよく見えず、横顔の画像では、他方の側面または正面が見えない。これは、自動認識システムが、人間が人を認識する場合に使用する情報の一部しか使用していないことを意味する。
【００１８】
第２に、顔とカメラとの間の正確な距離が分かっていない限り、単一画像から顔の任意の特徴の絶対的なサイズに関する情報を取得することは不可能である。一般に、この距離は分からず、画像だけからは確定することができない。その結果、顔認識システムは、顔の認識を行う場合、顔の特徴の相対サイズしか使用しない。
【００１９】
立体画像に基づく顔の識別による実験が行われており、Center他著、「Method of Extending Image-Based Face Recognition Systems to Utilize Multi-View Image Sequences and Audio Information」、米国特許出願公開第２００２／０１１３６８７号を参照されたい。彼らの立体システムは、実際の３Ｄの顔の画像と顔の２Ｄ表現の画像とを区別することにより、たとえば、原寸大写真の後ろに隠れている偽者を検出することにより、顔認識システムを惑わそうという試みを検出するように設計された。しかしながら、立体視が正しく作用するためには、複数のカメラの光軸が実質的に平行であることが必要であり、立体画像の対に十分な量のオーバーラップがある必要がある。実際には、３Ｄ情報は、オーバーラップ部分に対してしか得ることができない。その構成は、上述した第１の問題には役立たない。それは、たとえば、顔の横顔の画像でしか見ることができない顔の特徴は、顔の正面像の立体画像を取得するように配置されたカメラのシステムでは取得されないためである。
【発明の開示】
【発明が解決しようとする課題】
【００２０】
より優れたセキュリティおよび画像によるより正確な識別を可能にするために、上記問題を克服するより正確な顔識別システムが必要とされている。
【課題を解決するための手段】
【００２１】
本発明は、顔識別の基礎として広く離れた視点から取得される識別されていない顔の２つ以上の画像を使用する。たとえば、像は正面像と右側像、左側および右側からの像、または２つの３／４像であってもよい。いずれの場合も、カメラの間の角度は約９０°以上である。
【００２２】
本発明の一実施の形態では、互いに対する位置が分かっている２つの同期したカメラが、正面像の画像および右側像の画像を同時に取得する。画像が取得された後、顔の正確な３Ｄポーズを確定する処理が適用される。顔の３Ｄポーズには、３Ｄ位置および３Ｄ向きが含まれる。顔の３Ｄポーズが確定された後、カメラの位置の既知の値を使用して顔の絶対サイズを確定することができる。この３Ｄ情報が与えられると、目、鼻、口、耳、眉等の顔の特徴の実際の寸法を確定することができる。
【００２３】
データベースは、認識されるべき各顔の正面の画像および右側の画像の対を含み、それらは各々、顔の絶対サイズに従って正規化されている。本システムは、識別されていない顔の画像の対を、データベースにおける識別された顔の画像対と比較する。
【００２４】
顔の絶対サイズおよび顔の特徴によって定義されるスケールに画像を正規化することにより、顔認識システムが大幅に強化される。本システムは、ここで、顔が類似するがサイズが異なる複数の個人を区別することができる。従来技術による方法は、各顔を相対スケールに正規化するが絶対サイズには正規化せず、顔の最も顕著な特徴の１つであるサイズを無効にする。
【００２５】
さらに、正規化プロセスはサイズデータを生成し、これを使用して顔を順序付けしまたは類別することができるため、識別がより高速になる。
【００２６】
さらに、異なる視点の２つの画像を使用することには重要な利点がある。２つ以上の視点により、単一視点より顔のさらに多くの部分を明確に見ることができる。たとえば、右側像の画像と結合した正面像の画像は、正面情報に加えて顔の右側および横顔形状に関する詳細を取り込む。
【００２７】
かかるシステムの主なアプリケーションは、出入管理および人照合である。これらの状況ではともに、２つの較正されたカメラの位置決めに対応するように観察状況を容易に制御することができる。
【発明の効果】
【００２８】
上述したシステムおよび方法により、画像における顔の識別が改善される。識別されていない顔の実質的に異なる部分の２つの画像を使用することにより、顔の識別の精度が上昇する。本画像の処理は、画像を使用して、顔の３Ｄポーズおよび絶対サイズを確定する。これにより、正規化と、データベースに格納された識別された顔の画像対との比較とが改善される。
【発明を実施するための最良の形態】
【００２９】
図１は、本発明による顔を識別するシステム１００を示す。カメラ１０２は、識別されていない顔１０１の正面画像１０４を取得する。第２のカメラ１０３は、識別されていない顔の横顔画像１０５を取得する。これを、たとえば、第２のカメラを第１のカメラに対して直角に配置することにより、または鏡から識別されていない顔の横顔画像を取得するようにカメラを配置することにより、行ってもよい。識別されていない顔の画像の対を、プロセッサ１０６に送信し、プロセッサ１０６は、識別されていない顔の画像を、データベース１０７に格納された識別された顔１０８の画像の対と比較する。
【００３０】
図２は、本発明による顔を識別する方法２００のフローチャートを示す。識別されていない顔２０１の画像の対を処理して、識別されていない顔の３Ｄポーズおよびその実際のサイズを確定する２１０。画像における顔の実際のサイズに基づく３Ｄポーズデータ２１５と正規化パラメータ２２１とを使用して、顔の実際のサイズとデータベースにおける識別された顔の画像と同じポーズとに基づき識別されていない顔の画像を或るスケールに正規化する２２０。そして、識別されていない顔２２５の正規化された画像対を、データベース１０７に格納された識別された顔２３１の画像対の組と比較する２３０。
【００３１】
識別されていない顔の画像に実質的に類似する識別された顔の画像の対がデータベースに見つかると、識別されていない顔の識別２４０が発生する。
【００３２】
顔の画像の比較は、２００２年７月２２日に出願された米国特許出願第１０／２００，７２６号に記載されているようなViolaによる方法にしたがってもよい。
【００３３】
機械学習を使用して、識別されていない画像と識別された画像との比較のスコアを重み付けすることにより、識別に対し最も正確な結果を与える。たとえば、正面像の画像に対してより大きい重みを与えてもよい。
【００３４】
代替の実施の形態では、識別された顔に対し、実際の特徴のサイズパラメータ、たとえば２つの瞳孔の間の距離、耳の中心から鼻の先端までの距離によってインデクス付けする。これにより、システムは、大量の顔を比較から非常に迅速に排除することができ、識別プロセスが大幅に高速化する。
【００３５】
本発明について好ましい実施の形態の例を用いて説明したが、本発明の精神および範囲内で他のさまざまな適応および変更を行ってもよい、ということを理解しなければならない。したがって、添付の特許請求の範囲の目的は、本発明の真の精神および範囲内にあるかかる変形および変更をすべて包含することである。
【図面の簡単な説明】
【００３６】
【図１】本発明による顔を識別するシステムのブロック図である。
【図２】本発明による広く離れた視点からの画像に基づいて顔を識別する方法のフローチャートである。
【図１】
2006085685.tif 000004
【図２】
2006085685.tif 000005
【外国語明細書】
2006085685.tif 000006
2006085685.tif 000007
2006085685.tif 000008
2006085685.tif 000009
2006085685.tif 000010
2006085685.tif 000011
2006085685.tif 000012
2006085685.tif 000013
2006085685.tif 000014
2006085685.tif 000015
2006085685.tif 000016
2006085685.tif 000017
2006085685.tif 000018
2006085685.tif 000019