(57)【要約】【課題】照明や顔の方向などの変化する条件を捕捉可能な顔認識及び確証システムを提供する。かかるシステムのための堅固な登録プロセスを提供する。変化する条件を考慮に入れた現実的なテンプレートを生成することが可能な顔合成システムを提供する。【解決手段】顔認識及び／又は確証システムであって、個人の実物顔を登録する工程を包含し、そこで実物顔の画像がキャプチャされ合成されて複数の顔プロトタイプを創造する。顔プロトタイプは、認識されあるいは確証されるべきキャプチャ画像と共に後での分析と比較のために格納される。
2005522790.tif 000002
【特許請求の範囲】
【請求項１】
顔認識及び／又は確証システムであって、個人の実物顔を登録する工程を包含しそこで前記実物顔の画像がキャプチャされ合成されて複数の顔プロトタイプを創造するようになっており、前記顔プロトタイプが、認識されあるいは確証されるべきキャプチャ画像と共に後での分析と比較のために格納されている顔認識及び／又は確証システム。
【請求項２】
請求項１記載のシステムであって、前記顔プロトタイプが、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び／又はモデル化されるエラーの下で、前記実物顔のあり得べき外観を表現しているシステム。
【請求項３】
請求項１記載のシステムであって、前記顔プロトタイプとキャプチャ画像との比較に顔マッチングアルゴリズムが用いられているシステム。
【請求項４】
請求項１記載のシステムであって、前記顔プロトタイプとキャプチャ画像との比較に顔テンプレート又は特徴ベクトルが用いられているシステム。
【請求項５】
請求項１乃至４の何れかに記載のシステムであって、前記実物顔の合成が、前記実物顔画像を標準化する工程を包含しているシステム。
【請求項６】
請求項５記載のシステムであって、前記標準化が、前記実物顔画像を回転させて前記実物顔画像の両目を水平面に持っていく工程を包含しているシステム。
【請求項７】
請求項５又は６記載のシステムであって、前記標準化が、前記実物顔画像の尺度を変化させて、両目が固定した距離だけ離れるようにする工程を包含しているシステム。
【請求項８】
請求項７記載のシステムであって、前記両目は５０ピクセル離れた状態に固定されているシステム。
【請求項９】
請求項１乃至８の何れかに記載のシステムであって、当該個人の眉毛よりも上の領域と当該個人の口よりも下の領域とは合成されないようになっているシステム。
【請求項１０】
請求項１乃至９の何れかに記載のシステムであって、前記実物顔の合成は、起こりうるエラーを補償するために、各目について選択的な位置を定める工程を包含しているシステム。
【請求項１１】
請求項１０記載のシステムであって、各目について５つの選択的な位置が定められるようになっているシステム。
【請求項１２】
請求項１乃至１１の何れかに記載のシステムであって、前記実物顔の合成は、前記実物顔画像に少なくとも１つのあらかじめ定義された照明のマスクを適用するようになっているシステム。
【請求項１３】
請求項１２記載のシステムであって、３から１６のあらかじめ定義された照明のマスクが用いられるようになっているシステム。
【請求項１４】
請求項１乃至１３の何れかに記載のシステムであって、前記実物顔の合成は、前記実物顔画像に少なくとも１つのあらかじめ定義されたワーピングマスクを適用するようになっているシステム。
【請求項１５】
請求項１４記載のシステムであって、２５のあらかじめ定義されたワーピングマスクが用いられるようになっているシステム。
【請求項１６】
請求項１２又は１３記載のシステムであって、前記少なくとも１つの照明のマスクは光度計を用いた変換を包含しているシステム。
【請求項１７】
請求項１４又は１５記載のシステムであって、前記少なくとも１つのワーピングマスクは幾何学的な変換を包含しているシステム。
【請求項１８】
請求項１７記載のシステムであって、前記幾何学的変換は光学的フロー評価を用いて評価されるようになっているシステム。
【請求項１９】
請求項１６記載のシステムであって、前記光度計を用いた変換は、アルゴリズム機能、指数的伸長、垂直的陰影、水平的陰影、及び微分画像などの少なくとも１つを包含しているシステム。
【請求項２０】
顔プロトタイプ合成システムであって、個人の実物顔の画像が複数の顔プロトタイプを創造できるように用いられ、前記顔プロトタイプが、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び／又はモデル化されるエラーの下で、前記実物顔のあり得べき外観を表現しており、前記顔プロトタイプは後での使用のために格納されている顔プロトタイプ合成システム。
【請求項２１】
請求項２０記載のシステムであって、前記実物顔画像が、前記顔プロトタイプを創造するよりも前に標準化されるようになっているシステム。
【請求項２２】
請求項２１記載のシステムであって、前記標準化が、前記実物顔画像を回転させて前記実物顔画像の両目を水平面に持っていく工程を包含しているシステム。
【請求項２３】
請求項２１又は２２記載のシステムであって、前記標準化が、前記実物顔画像の尺度を変化させて、両目が固定した距離だけ離れるようにする工程を包含しているシステム。
【請求項２４】
請求項２３記載のシステムであって、前記両目は５０ピクセル離れた状態に固定されているシステム。
【請求項２５】
請求項２０乃至２４の何れかに記載のシステムであって、当該個人の眉毛よりも上の領域と当該個人の口よりも下の領域とは合成されないようになっているシステム。
【請求項２６】
請求項２０乃至２５の何れかに記載のシステムであって、前記顔プロトタイプを創造するために、当該システムが、起こりうるエラーを補償するために、各目について選択的な位置を定めるようになっているシステム。
【請求項２７】
請求項２６記載のシステムであって、各目について５つの選択的な位置が定められるようになっているシステム。
【請求項２８】
請求項２０乃至２７の何れかに記載のシステムであって、前記顔プロトタイプを創造するために、当該システムが、前記実物顔画像に少なくとも１つのあらかじめ定義された照明のマスクを適用するようになっているシステム。
【請求項２９】
請求項２８記載のシステムであって、３から１６のあらかじめ定義された照明のマスクが用いられるようになっているシステム。
【請求項３０】
請求項２０乃至２９の何れかに記載のシステムであって、前記顔プロトタイプを創造するために、当該システムが、前記実物顔画像に少なくとも１つのあらかじめ定義されたワーピングマスクを適用するようになっているシステム。
【請求項３１】
請求項３０記載のシステムであって、２５のあらかじめ定義されたワーピングマスクが用いられるようになっているシステム。
【請求項３２】
請求項２８又は２９記載のシステムであって、前記少なくとも１つの照明のマスクは光度計を用いた変換を包含しているシステム。
【請求項３３】
請求項３０又は３１記載のシステムであって、前記少なくとも１つのワーピングマスクは幾何学的な変換を包含しているシステム。
【請求項３４】
請求項３３記載のシステムであって、前記幾何学的変換は光学的フロー評価を用いて評価されるようになっているシステム。
【請求項３５】
請求項３２記載のシステムであって、前記光度計を用いた変換は、アルゴリズム機能、指数的伸長、垂直的陰影、水平的陰影、及び微分画像などの少なくとも１つを包含しているシステム。
【請求項３６】
請求項２０記載のシステムであって、前記顔プロトタイプは、前記画像に光度計を用いた変換及び／又は幾何学的変換を適用することによって生成されるようになっているシステム。
【請求項３７】
顔プロトタイプ合成システムであって、個人の実物顔の画像を標準化し、あり得べき選択的な目の位置を定めかつ前記画像に少なくとも１つのマスクを適用して複数の顔プロトタイプを創造することにより合成し、前記顔プロトタイプが、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び／又はモデル化されるエラーの下で、前記実物顔のあり得べき外観を表現するようになっている顔プロトタイプ合成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に顔認識及び顔確証システムに向けられ、特に現実的なテンプレート（標本）を生成することができ、かつ顔を登録するためのより堅固な（robust）システムを提供するものである。
【背景技術】
【０００２】
古典的な顔認識アプローチは個人の顔の画像（イメージ）を蓄積することであり、それから変化する照明（ライティング）の条件、顔の表情、顔の方向、めがね、あごひげ、口ひげ、毛などの変化を捕捉するのに充分な堅固さを有する顔マッチングアルゴリズムを提供するものであった。
【０００３】
顔認識テクノロジーの領域では、調査はほとんど全て、照明の条件、顔の表情、顔の方向に対して変化しないようなアルゴリズムを開発することに焦点が当てられていた。かかるシステムは、複雑なマッチングアルゴリズムやアルゴリズムのファミリーを犠牲にして単純なデータベースを得ていた。一方、顔テンプレートマッチング及びニューラルネットワークを基礎とする顔認識システムは、そのネットワークに許容可能なスタンダードを教育するために、膨大な数の顔サンプルを必要とした。ニューラルネットワークを教育するために適用される操作は、主として直線的な性質を有する、例えば尺度変化やズーミングなどである。
【０００４】
これら従来技術の問題は、各種の照明条件、表情の変化、登録時と観察時との時間のずれによる変化を取り扱うのに弱いという点である。
【特許文献１】例えば、ＷＯ９９／５３４２７では、対象物をイメージフレーム内に検知して認識する技術が提案されている。この対象物識別及び認識プロセスは、モデルグラフやバンチ（群）グラフなどの、イメージの特徴点をジェットとして効果的に表現できるようなグラフを基礎として、イメージを処理する技術を用いている。これらのジェットはウェーブレット変換で構成され、容易に識別可能な特徴点に対応するイメージ上のノード（節）やランドマーク（標識点）で処理される。発明者はこれによって顔のイメージから抽出された特徴点のセットを基礎にして顔を表現することを提案している。それから顔認識は、変形可能なグラフマッチング技術を用いて実現される。
【特許文献２】ＷＯ９８／３７５０７では、個人の顔をリアルタイムで自動的に認識したり写真文書を基礎として自動的に認識したりするために、頭部の側面図を生成して、直線的な抽出によりプロフィルカーブを定義するようにしている。このプロフィルカーブから、評価アルゴリズムによって、対象とする個人のモデルとして機能するための強力に縮小された量のデータが生成される。これにより、モデルコードのための最小メモリースペースを必要とする特に単純なバイオメトリック顔識別が可能となる。
【０００５】
一般的に、顔認識を改善しようとする試みは、結局のところ特徴点を抽出してデータベース上に保管されているデータと特徴点を比較する各種方法とアルゴリズムに帰着する。しかしながら、各種の条件や環境により、好ましくない結果を生じることが依然として発生しており、顔認識を改善するためのさらなる別のアプローチが要求されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、本発明の目的は、照明や顔の方向などの変化する条件を捕捉することが可能なより堅固なシステムを提供することにある。特に、かかるシステムのためのより堅固な登録プロセスを提供することを目的としている。
本発明のさらなる目的は、変化する条件を考慮に入れた現実的なテンプレートを生成することが可能な顔合成（synthesis ）システムを提供することにある。
【課題を解決するための手段】
【０００７】
上記の目的を達成するため、本発明は、その第１の面において、顔認識及び／又は確証システムであって、個人の実物顔を登録する工程を包含しそこで実物顔の画像がキャプチャされ合成されて複数の顔プロトタイプ（原型）を創造するようになっており、顔プロトタイプが、認識されあるいは確証されるべきキャプチャ画像と共に後での分析と比較のために格納されているようなシステムを提供する。
【０００８】
顔プロトタイプは、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び／又はモデル化されるエラー（誤差）の下で、実物顔のあり得べき外観を表現することができる。
【０００９】
本発明は、その第２の面において、顔プロトタイプ合成システムであって、個人の実物顔の画像を合成して複数の顔プロトタイプを創造できるようにし、前記顔プロトタイプが、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び／又はモデル化されるエラーの下で、前記実物顔のあり得べき外観を表現しており、前記顔プロトタイプが後での使用のために格納されている顔プロトタイプ合成システムを提供する。
【００１０】
好適な実施例において、このシステムは、両目が水平面上で固定した距離だけ離れているようにして、キャプチャされた画像を標準化（normalise ）する。このシステムは、眉毛と口とによって境界付けられる顔の部分だけを合成することもでき、これは他の特徴点、例えば毛などは認識及び確証の目的を顕著に変化させるものではないという仮定に基づいている。この合成は、変化する条件やエラーを考慮するために、目の位置を入れ替えたりマスク（仮装技法）を適用したりする手法を考慮することができる。
【００１１】
添付図面において、図１は本発明の好適な実施例により分析される顔の領域を表している。図２はあり得べき目の位置を表している。図３は幾何学的マスクを使用した状態を表している。図４は光学的フロー近似法を表している。図５は指数関数及び対数関数を使用した状態を表している。図６は垂直陰影マスクを用いた関数のサンプルを表している。図７は陰影フィルターを用いた状態を表している。図８は手動操作の照明マスクを用いた例を表している。図９は本発明の好適な実施例に従い個人を登録した例を表している。
【００１２】
例えば、照明条件の変化のようなファクターのために、正確な顔認識を達成することは困難でもあるが、本発明はより強力な登録プロセスに依存する方法又はシステムを提供する。
【００１３】
従来のシステムの多くは個人の画像をキャプチャし、その画像を後での比較のために保存する。本発明では、個人の顔を登録する間に、多数の顔プロトタイプを自動的に合成する手法を取り、この際に、人工的な照明条件を創造し、人工的な顔モーフィング（形態変化）を行い、顔配置システムにおけるエラー、特に目を検出するプロセスにおけるエラー（誤差）をモデル化する。これらの顔プロトタイプは、各種の照明条件下、各種の表情、各種の顔方向、及び顔配置システムにおける各種のエラーの下で最初の顔のあり得べき外観を表現する。このシステムは、各顔に、その顔が持ち得るあり得べき外観を橋絡（スパン）する顔のセットを取得する。
【００１４】
これら多数の顔プロトタイプが生成されると、データ分析が適用され、類似寸法的縮小（主要要素分析）、特徴点の抽出、自動集団化が行われ、自動組織化のマップが作成される。これらの顔プロトタイプを基礎とする顔認識システムを設計することもできる。顔テンプレート（ｐｃａ）及び／又は特徴ベクトル（ガボアウェーブレット：gabor wavelet）を基礎として、顔認識システムを適用することもでき、これらは教育のためにこれらの顔クラスター（集団）を利用することもできる。
【発明を実施するための最良の形態】
【００１５】
次に、図面を参照しながら実施例について説明する。与えられた個人の顔について２つの目４，５の位置が与えられ、好適なシステムでは最初に２つの目４，５を水平面上に固定した距離、例えば５０ピクセル、でセットすることにより画像を標準化する。この操作は、尺度を変えることと回転によって実現することができる。いったん標準化された画像が創造されると、このシステムは時間が経っても非常に安定している顔の部分を選定する。このことは、このシステムは、眉毛よりも上の部分と口３よりも下の部分は考慮に入れないことを意味する。すなわち、このシステムでは、図１におけるボックス２の内部にある顔１の部分だけを考慮することになる。別の方法として、他の顔配置システムでは、「顔中心」を供給し、そこから目の位置を、人間に神人同形同性説の手法を用いて抽出することから、推定することもできる。
【００１６】
従来の顔配置システムを用いると、目の位置が不正確になりがちであった。堅固な顔コード化システムを提案するために、本発明では目のエラー位置を仮定し、両目の位置の各カップル（対）について、それに従って顔を切り取る。実際、このシステムは１つの目について５つの可能な位置を利用し、図２に示すように、２５の切り取られた画像へと誘導する。もちろん、この数は変化させることができる。その性質から、この技術は、回転、並進、及び尺度の変化をコード化するが、この際、スケールファクターは２つの目の間の距離によって影響され、回転ファクターは水平線に対する２つの目の角度によって影響される。図２において、ドット６はシステムによって検知された目であり、ドット７は登録のために考慮された他のあり得べき目の位置である。
【００１７】
円８は、目のあり得べき実際位置を記述する表面エラーを表している。この円の中のいかなる位置も実際の目の中心となり得る。表面エラーの線はシステムによって自動的に固定され、両目の計算された位置の間の内部的距離に依存する。例えば、目の間隔が５０ピクセルであると、目の位置は正確にはプラスマイナス５ピクセルの位置にあると言うことができる。
【００１８】
これらの切り取られかつ標準化された各画像上で、このシステムは、あらかじめ定義された２Ｄ照明マスクと、あらかじめ定義された２Ｄワーピング（屈曲変形）又はモーフィング（形態変化）マスクとを適用し、顔配置の間に出現しそうな多数の顔プロトタイプを取得する。このシステムは、好適には、３つの照明マスクファミリーと２５のワーピングマスクのファミリーとを利用するが、異なる数を用いることもできる。照明マスク及びワーピングマスクはいかなる数でも用いることができるが、例えば好適な結果を得るために１６の照明マスクを用いることができる。
【００１９】
このシステムは、格納のための出力画像を得るために、個人の入力画像に対して、２つの種類の操作を行う。すなわち、画像に光度計を使った修正を加える方法、及び／又は幾何学的修正を加える方法である。光度計による修正は、ピクセルのグレーレベル（灰色の程度）あるいはカラーを変化させるもので、幾何学的修正はこのピクセルの位置を修正するものである。
【００２０】
光度計による変換は照明マスクにコード化され、幾何学的変換はモーフィングマスクにコード化される。
【００２１】
幾何学的マスクは各種の方法、例えば手動操作、半自動操作、あるいは２つの画像間の光学的フロー評価によって評価することができる。光学的フロー評価は、図３及び図４に例示するような完全に自動化された技術である。
【００２２】
図３における第１列は３つのオリジナル画像を有し、最後の列は幾何学的マスクを用いて得られた３つの生成された正面顔画像を表している。ここで、マスクは、正面顔を生成するようにチューン（同調）されている。
【００２３】
同様に、図４における第１列は５つの入力画像を有し、第２の列は各顔及びその垂直鏡像間の光学的フローの近似を包含し、最後の列は堅固な顔認識のために充分良好な正面顔の近似を包含している。
【００２４】
ここで、５つの光度計マスクについて説明する。いかなる数でもよいが、テストとして、これらが実際の照明条件に近似しているとして、堅固な顔認識に非常に良好であると照明されたのである。これらの好適なマスクは、次のものである。
（１）グレーレベル上での対数関数、これがより輝いた画像を取得する
（２）関数上での指数的伸長（stretch ）、これがより暗い画像を取得する
（３）垂直な半陰影の顔を創造する垂直陰影
（４）水平な半陰影の顔を創造する水平陰影
（５）マスクをセットする間にカメラによりキャプチャされた画像の微分。
【００２５】
画像のグレーレベルの最小値をｖｍｉｎ、最大値をｖｍａｘとして、フォーム（ｖ−ｖｍｉｎ）／（ｖｍａｘ−ｖｍｉｎ）のスタンダードグレーレベル標準化プロセスの後で、出力画像のグレーレベルを０から１の範囲とすると、好適なマスクの各々は次のようにして記述される。
【００２６】
対数関数の場合：
［Ｋｍｉｎ，２５５］を、２５５＞Ｋｍｉｎ＞０と仮定し、このシステムが計算により２５６−Ｋｍｉｎのエントリーを包含する見上げるテーブル（lookup table）を構築するとして、
ＬＯＧＬＵＴ［ｗ］＝（ｌｏｇ（ｗ）＋Ｋｍｉｎ）−ｌｏｇ（Ｋｍｉｎ））／（ｌｏｇ（２５５）−ｌｏｇ（Ｋｍｉｎ））
ここで、ｗ＝Ｋｍｉｎ，・・・２５５。見上げるテーブルの値は全て０から１の範囲である。ピクセルの値ｖの範囲が０と１の間として、このシステムは新規なグレーレベルの値ｗを次の式で取得する。
ｗ＝ＬＯＧＬＵＴ［（２５５−Ｋｍｉｎ）×ｖ＋Ｋｍｉｎ］；ここでｗの範囲は０と１の間であり、他の操作に用いることができる。
【００２７】
指数関数の場合：
２５６のエントリーを包含する見上げるテーブルを構築するとして、
ＥＸＰＬＵＴ［ｗ］＝（ｅｘｐ（Ｋｍａｘ×ｗ／２５５．０）−１）／（ｅｘｐ（Ｋｍａｘ）−１）
ここで、ｗ＝０，・・・２５５。見上げるテーブルの値は全て０から１の範囲である。ピクセルの値ｖの範囲が０と１の間として、このシステムは新規なグレーレベルの値ｗを次の式で取得する。
ｗ＝ＥＸＰＬＵＴ［２５５×Ｖ］；ここでｗの範囲は０と１の間であり、他の操作に用いることができる。
【００２８】
図５は、入力画像とＫｍａｘ＝４とした場合の指数関数を適用した後の画像、及び入力画像と、Ｋｍｉｎ＝３２とした場合の対数関数を適用した後の画像を表している。このシステムは、Ｋｍｉｎ及びＫｍａｘの値を変化させることにより、無限の数のかかる画像を生成することができるようになる。
【００２９】
垂直画像／水平画像：
２つのプロセスが同一であるとき、横座標ｘのための垂直陰影プロセスについてだけ説明する。この関数は、画像内におけるその空間的位置に依存して、ピクセルのグレーレベルの修正を創造する。ここでは１行ずつ適用していく。無限の数の関数を用いることができる。単純化するために、１つの関数についてだけ説明する。Ｘを画像の幅とし、実係数λを０＜λ＜１として、ｍ＝λ×Ｘとする。次のような関数ｆ（ｘ）を、ｘの値がｘ∈［０，Ｘ］であると仮定して、
Ｆ（ｘ）＝ｘ／ｍ  もしも  ｘ∈［０，ｍ］ならば
Ｆ（ｘ）＝１＋（ｘ−ｍ）／（Ｘ−ｍ）  もしも  ｘ∈［ｍ，Ｘ］ならば
【００３０】
かかる関数は図６に示されている。ここで、Ｘ＝２００、λ＝０．２である。与えられた横座標に関し、Ｆ（ｘ）は［０，２］の間を変化する係数である。
【００３１】
与えられたピクセルがｐ＝（ｘ，ｙ）でグレーレベルがｖとすると、このシステムは出力画像として、ピクセルがｑ＝（ｘ，ｙ）でグレーレベルはｗ＝ｖ×Ｆ（ｘ）で計算される値を取得する。かくして、ｍ番目のピクセルはより暗くなり、第１のものは位置０であり、完全に暗く、ｍ番目のピクセルは影響を受けず、（図６において、４０番目のピクセルは２００×０．２＝４０）、ｍよりも大きな横座標におけるピクセルはより輝いていることになる。図７は、左側のオリジナル画像から、５つの異なる陰影フィルターで処理されていく状態を表している。
【００３２】
前記水平プロセスは縦座標ｙにも適用され、画像の高さＹを用いて正確に同一の方法で適用される。
【００３３】
２つの１Ｄマスクのコンビネーションとしての２Ｄマスク：
ここで、マスクＦを、Ｆ（ｘ，ｙ）＝Ｆｘ（ｘ）×Ｆｙ（ｙ）と定義する。各ピクセルｐ＝（ｘ，ｙ）をグレーレベルｖとして、新規なグレーレベルｗ＝ｖ×Ｆ（ｘ，ｙ）を取得する。
【００３４】
２Ｄマスク：
これらのマスクは、前述した１次元のマスクを普遍化したものであり、係数は各ピクセルＦ（ｘ，ｙ）に対して定義される。それからこのシステムは、ｗ＝ｖ＋Ｆ（ｘ，ｙ）における、ピクセルｐ＝（ｘ，ｙ）の値ｖを修正した２Ｄマスクを取得する。これらのマスクは、手動操作により構築されるか、いくつかの同一画像をキャプチャすることによって得られるか、画像キャプチャ中の部屋の照明条件を変えることによって得られる。かかるケースにおいて、中立画像をＩとして、全ての他の画像をＩ1 ，Ｉ2 ，・・・，ＩN ，と定義すると、このシステムはＮ番目のマスクを、中立画像ＩをＩ1 ，Ｉ2 ，・・・，ＩNで微分することによって引き出す。さらに、Ｆ1 ＝Ｉ−Ｉ1 ，Ｆ2 ＝Ｉ−Ｉ2 ，・・・，ＦN ＝Ｉ−ＩN を取得する。かくして、ｗ＝ｖ＋Ｆ（ｘ，ｙ）における、ピクセルｐ＝（ｘ，ｙ）の値を修正することができる。図８は顔キャプチャを表示しており、そこでは、第１の画像で微分することにより、手動操作の照明マスクを構築するように照明が変化するようになっている。再び、これらのマスクは０と１の間で標準化することができる。
【００３５】
フィルターの縦列接続：
合成プロトタイプは、オリジナルの標準化された画像にいくつかのマスクを適用することによって取得することができる。ここで、オリジナルの標準化された画像をＩとし、Ｆ＝｛Ｆ1 ，Ｆ2 ，・・・ＦN ｝を連続するマスクのセットとし、さらに取得された合成プロトタイプをＯとする。Ｏ＝ＦN （・・・Ｆ2 （Ｆ1 （Ｉ））・・・）を取得する。ある特定のケースにおいて、ＦN （・・・Ｆ2 （Ｆ1 （Ｉ））・・・）＝Ｆn （・・・Ｆ2 （Ｆ1 ））（Ｉ）＝Ｍ（Ｉ）を取得すると、マスクＭ＝ＦN （・・・Ｆ2 （Ｆ1 ）・・・）がマスクのコンビネーョンによってあらかじめ評価することができるので、さらに効率的な計算へと誘導されることになる。
【００３６】
図９は、あるユーザーを登録する間に得られる画像を表示している。この例では、好適なシステムは、この個人の画像を堅固に登録するために、１５×１５ピクセルの解像度で、５つの左端（第１桁）の画像を取得する。各画像のグレーレベルの強度は０と２５５との間に再標準化されている。
【００３７】
この生成された顔のセットは、あたかもそれらがカメラやビデオのような入力装置によってオンラインで生成されたかのような顔を用いて、いかなるアプリケーションにおいても用いることができる。例えば、それは顔認識、顔確証、顔特徴点抽出、顔修復、ビデオ会議システム、ニューラルネットワーク、あるいは自動結合式のメモリートレーニングなどの用途に用いることができる。
【００３８】
同一の顔を多数のあり得べき外観として保存することにより、このシステムは、照明の条件や、表情や顔の方向が変化した場合でも、正しい顔に修復できる可能性を増大させる。それゆえこのシステムは、従来よりも複雑なデータベースを必要とするけれども、従来の方法の弱点を補償することができる。
【００３９】
このシステムは、他人の顔との混乱を生じさせる可能性を増大させるけれども、実験によれば、２つの同一個人間でのベストマッチは、２つの異なる個人間でのベストマッチよりも高度に満足のいくものであった。これらの変換は全ての顔に同一に適用できるので、全てにおいて同一の方法で有利になったり不利になったりする。それはこの実験結果を正当化するのに充分である。換言すれば、この登録は現在の顔を同一個人の顔が将来観察されるであろう顔に変換することにもなり、その可能性は他人の顔が将来観察されるであろう顔になるよりも高い可能性であるということである。
【００４０】
このシステムは、その表現された似顔を非線形の幾何学的変換や非線形の光度計的変換に延長して、現実的な顔プロトタイプを合成することができる。これは、ニューラルネットワークの良好な普遍化のためのトレーニングセットの拡張と等価である。この堅固な登録の鍵は、顔モーフィングを用いたり、リアリティにアプローチする合成された照明条件を適用しながら、顔画像に許容可能な変換を適用することである。これらの変換は、目の座標が既知であるような顔に対して適用される。他の鍵となる問題は、登録プロセスは目を検知するアルゴリズムに起因する目の位置のエラーを考慮しなければならないことである。
【００４１】
顔画像と２つの目の位置が与えられたとして、本発明のシステムは、１つの顔から現実的な顔を合成することができ、堅固な登録を提供し、これは一方では堅固な顔認識／確証アルゴリズムへと誘導する。顔モーフィングと同様に、目の検知におけるエラーを考慮したり、照明効果を合成したりするには、あらかじめ登録されたマスクを用いることができる。それらのコンビネーションによって多数の合成された顔が創造され、それらは将来の顔を認識するという仕事の間に遭遇するようなものである。
【００４２】
後続する顔修復アルゴリズムは、この登録プロセスが多くの困難性を引き受けた際に、直視されることになるであろう。
【００４３】
本発明は、本発明の理解を補助するための顔認識システムを参照しながら特に説明してきた。しかしながら、本発明は、単一の顔から人工的なあるいは類似した顔プロトタイプを生成する方法をも提案するものであり、そのことは、人工的な光効果を創造したり、人工的な顔方向を定めたり、あるいは顔配置システムの局地的エラーをモデル化することにより達成され、堅固な顔特徴点抽出あるいは堅固な顔登録という目的を達成することになる。すなわち、本発明は、顔プロトタイプ合成システムであり、これは単一の画像から自動的に現実的なテンプレートを生成するものであり、単なる顔認識システムではない。照明条件マスク、ワーピングマスク及び目の位置エラーは、堅固な顔生成を達成するのに用いられる。
【００４４】
顔認識システムの改良を離れて、本発明は、人々の顔を包含する現存するデータベースを、自動的に、全ての写真を再キャプチャすることなく、全ての顔方向の下で、全ての照明条件の下で、全ての尺度及び回転の下で、変換し拡張することによって、現在の顔認識及び顔確証システムを改良するために用いることができる。
【００４５】
それゆえ、本発明は、単一の顔から人工的なあるいは類似した顔プロトタイプを生成する方法をも提案するものであり、そのことは、人工的な光効果を創造したり、人工的な顔方向を定めたり、あるいは顔配置システムの局地的エラーをモデル化することにより達成され、堅固な顔特徴点抽出あるいは堅固な顔登録という目的を達成することになる。
【００４６】
本発明の方法及びシステムは、図示された実施例について要約されかつ説明されてきたが、当業者であれば、広く変化した実施例やアプリケーションが本発明の教えるところと範囲内で可能であることを理解できよう。ここで図示された例は図示だけのためのものであり、本発明の範囲を限定するものではないことを理解されたい。
【図面の簡単な説明】
【００４７】
【図１】本発明の好適な実施例により分析される顔の領域を表す概略図
【図２】あり得べき目の位置を表す概略図
【図３】幾何学的マスクを使用した状態を表す概略図
【図４】光学的フロー近似法を表す概略図
【図５】指数関数及び対数関数を使用した状態を表す概略図
【図６】垂直陰影マスクを用いた関数のサンプルを表すグラフ
【図７】陰影フィルターを用いた状態を表す概略図
【図８】手動操作の照明マスクを用いた例を表す概略図
【図９】本発明の好適な実施例に従い個人を登録した例を表す概略図
【図１】
2005522790.tif 000003
【図２】
2005522790.tif 000004
【図３】
2005522790.tif 000005
【図４】
2005522790.tif 000006
【図５】
2005522790.tif 000007
【図６】
2005522790.tif 000008
【図７】
2005522790.tif 000009
【図８】
2005522790.tif 000010
【図９】
2005522790.tif 000011
【手続補正書】
【提出日】平成17年4月6日(2005.4.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔認識及び／又は確証システムであって、個人の実物顔を登録する工程を包含しそこで前記実物顔の画像がキャプチャされ合成されて複数の顔プロトタイプを創造するようになっており、前記顔プロトタイプが、認識されあるいは確証されるべきキャプチャ画像と共に後での分析と比較のために格納されており、さらにそれらを標準化するために前記キャプチャされた実物顔画像に対し、並進、回転、寸法的変形の少なくとも１つが適用されている顔認識及び／又は確証システム。
【請求項２】
請求項１記載のシステムであって、前記顔プロトタイプが、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び／又はモデル化されるエラーの下で、前記実物顔のあり得べき外観を表現しているシステム。
【請求項３】
請求項１記載のシステムであって、前記顔プロトタイプとキャプチャ画像との比較に顔マッチングアルゴリズムが用いられているシステム。
【請求項４】
請求項１記載のシステムであって、前記顔プロトタイプとキャプチャ画像との比較に顔テンプレート又は特徴ベクトルが用いられているシステム。
【請求項５】
請求項１乃至４の何れかに記載のシステムであって、前記実物顔の合成が、前記実物顔画像の少なくとも２つの特徴点の間での空間的関係に基づいて前記実物顔画像を標準化する工程を包含しているシステム。
【請求項６】
請求項５記載のシステムであって、前記標準化が、前記実物顔画像を回転させて前記実物顔画像の両目を水平面に持っていく工程を包含しているシステム。
【請求項７】
請求項５又は６記載のシステムであって、前記標準化が、前記実物顔画像の尺度を変化させて、両目が固定した距離だけ離れるようにする工程を包含しているシステム。
【請求項８】
請求項７記載のシステムであって、前記両目は５０ピクセル離れた状態に固定されているシステム。
【請求項９】
請求項１乃至８の何れかに記載のシステムであって、当該個人の眉毛よりも上の領域と当該個人の口よりも下の領域とは合成されないようになっているシステム。
【請求項１０】
請求項１乃至９の何れかに記載のシステムであって、前記実物顔の合成は、起こりうるエラーを補償するために、各目について選択的な位置を定める工程を包含しているシステム。
【請求項１１】
請求項１０記載のシステムであって、各目について５つの選択的な位置が定められるようになっているシステム。
【請求項１２】
請求項１乃至１１の何れかに記載のシステムであって、前記実物顔の合成は、前記実物顔画像に少なくとも１つのあらかじめ定義された照明のマスクを適用するようになっているシステム。
【請求項１３】
請求項１２記載のシステムであって、３から１６のあらかじめ定義された照明のマスクが用いられるようになっているシステム。
【請求項１４】
請求項１乃至１３の何れかに記載のシステムであって、前記実物顔の合成は、前記実物顔画像に少なくとも１つのあらかじめ定義されたワーピングマスクを適用するようになっているシステム。
【請求項１５】
請求項１４記載のシステムであって、２５のあらかじめ定義されたワーピングマスクが用いられるようになっているシステム。
【請求項１６】
請求項１２又は１３記載のシステムであって、前記少なくとも１つの照明のマスクは光度計を用いた変換を包含しているシステム。
【請求項１７】
請求項１４又は１５記載のシステムであって、前記少なくとも１つのワーピングマスクは幾何学的な変換を包含しているシステム。
【請求項１８】
請求項１７記載のシステムであって、前記幾何学的変換は光学的フロー評価を用いて評価されるようになっているシステム。
【請求項１９】
請求項１６記載のシステムであって、前記光度計を用いた変換は、アルゴリズム機能、指数的伸長、垂直的陰影、水平的陰影、及び微分画像などの少なくとも１つを包含しているシステム。
【請求項２０】
顔プロトタイプ合成システムであって、個人の実物顔の画像を最初に、並進、回転、寸法的変形の少なくとも１つを適用して、その後における複数の顔プロトタイプを創造できるようにして標準化し、前記顔プロトタイプが、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び／又はモデル化されるエラーの下で、前記実物顔のあり得べき外観を表現しており、前記顔プロトタイプは後での使用のために格納されている顔プロトタイプ合成システム。
【請求項２１】
請求項２０記載のシステムであって、前記実物顔画像が、前記実物顔画像の少なくとも２つの特徴点の間での空間的関係に基づいて前記顔プロトタイプを創造するよりも前に標準化されるようになっているシステム。
【請求項２２】
請求項２１記載のシステムであって、前記標準化が、前記実物顔画像を回転させて前記実物顔画像の両目を水平面に持っていく工程を包含しているシステム。
【請求項２３】
請求項２１又は２２記載のシステムであって、前記標準化が、前記実物顔画像の尺度を変化させて、両目が固定した距離だけ離れるようにする工程を包含しているシステム。
【請求項２４】
請求項２３記載のシステムであって、前記両目は５０ピクセル離れた状態に固定されているシステム。
【請求項２５】
請求項２０乃至２４の何れかに記載のシステムであって、当該個人の眉毛よりも上の領域と当該個人の口よりも下の領域とは合成されないようになっているシステム。
【請求項２６】
請求項２０乃至２５の何れかに記載のシステムであって、前記顔プロトタイプを創造するために、当該システムが、起こりうるエラーを補償するために、各目について選択的な位置を定めるようになっているシステム。
【請求項２７】
請求項２６記載のシステムであって、各目について５つの選択的な位置が定められるようになっているシステム。
【請求項２８】
請求項２０乃至２７の何れかに記載のシステムであって、前記顔プロトタイプを創造するために、当該システムが、前記実物顔画像に少なくとも１つのあらかじめ定義された照明のマスクを適用するようになっているシステム。
【請求項２９】
請求項２８記載のシステムであって、３から１６のあらかじめ定義された照明のマスクが用いられるようになっているシステム。
【請求項３０】
請求項２０乃至２９の何れかに記載のシステムであって、前記顔プロトタイプを創造するために、当該システムが、前記実物顔画像に少なくとも１つのあらかじめ定義されたワーピングマスクを適用するようになっているシステム。
【請求項３１】
請求項３０記載のシステムであって、２５のあらかじめ定義されたワーピングマスクが用いられるようになっているシステム。
【請求項３２】
請求項２８又は２９記載のシステムであって、前記少なくとも１つの照明のマスクは光度計を用いた変換を包含しているシステム。
【請求項３３】
請求項３０又は３１記載のシステムであって、前記少なくとも１つのワーピングマスクは幾何学的な変換を包含しているシステム。
【請求項３４】
請求項３３記載のシステムであって、前記幾何学的変換は光学的フロー評価を用いて評価されるようになっているシステム。
【請求項３５】
請求項３２記載のシステムであって、前記光度計を用いた変換は、アルゴリズム機能、指数的伸長、垂直的陰影、水平的陰影、及び微分画像などの少なくとも１つを包含しているシステム。
【請求項３６】
請求項２０記載のシステムであって、前記顔プロトタイプは、前記画像に光度計を用いた変換及び／又は幾何学的変換を適用することによって生成されるようになっているシステム。
【請求項３７】
顔プロトタイプ合成システムであって、前記キャプチャされた実物顔画像に対し、並進、回転、寸法的変形の少なくとも１つを適用して個人の実物顔の画像を標準化し、あり得べき選択的な目の位置を定めかつ前記画像に少なくとも１つのマスクを適用して複数の顔プロトタイプを創造することにより合成し、前記顔プロトタイプが、各種の照明の条件下や、顔の表情の変化、顔の方向の変化、及び／又はモデル化されるエラーの下で、前記実物顔のあり得べき外観を表現するようになっている顔プロトタイプ合成システム。
【国際調査報告】
2005522790.tif 000012
2005522790.tif 000013