(57)【要約】  本発明は、三次元検出ユニット（１８２）を用いて、顔（１００；１８１）の三次元顔情報を顔情報データセットの形で検出し、検出した顔情報が位置情報を含む情報であり、検出した顔情報に対して位置の正規化と向きの正規化から成る正規化を実行し、検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔（１００；１８１）を認識する、顔（１００；１８１）を認識するための方法（１）に関する。位置情報が、輪郭座標点（１６８）を含む情報であり、評価領域（１２４〜１２７；１７０〜１７５）に関して、如何なる数の輪郭座標点（１６８）が個々の評価領域（１２４〜１２７；１７０〜１７５）内に存在するのかを表す出現率分布（１７６，１７７）を計算して、その算出した出現率から特徴データセットを導き出す。更に、本発明は、顔認装置（１８０）と顔認識モジュール（２００）に関する。
2010504575.tif 000002
【特許請求の範囲】
【請求項１】
顔（１００；１８１）を認識するための方法（１）であって、
三次元検出ユニット（１８２）を用いて、顔（１００；１８１）の三次元顔情報を顔情報データセットの形で検出し、検出した顔情報が顔の表面輪郭に関する位置情報を含むようにするステップと、
検出した顔情報を正規化し、位置の正規化と向きの正規化を行うステップと、
検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔を認識するステップと、
を有する方法において、
前記の位置情報が、輪郭座標点（１６８）を含む情報であり、評価領域（１２４〜１２７；１７０〜１７５）に関して、如何なる数の輪郭座標点（１６８）が個々の評価領域（１２４〜１２７；１７０〜１７５）内に存在するのかを表す出現率分布（１７６，１７７）を計算して、その算出した出現率から特徴データセットを導き出すことを特徴とする方法。
【請求項２】
請求項１に記載の方法（１）において、評価領域（１２４〜１２７；１７０〜１７５）は、その下位の領域の奥行きの範囲だけが互いに異なる下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループを有することを特徴とする方法。
【請求項３】
請求項１又は２に記載の方法（１）において、評価領域（１２４〜１２７；１７０〜１７５）は、検出した輪郭座標点（１６８）が存在する可能の有る、写像空間（１２０）の一部の領域だけを包含する評価空間（１２１）内に有ることを特徴とする方法。
【請求項４】
請求項２又は３に記載の方法（１）において、当該の下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループの下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）が互いに素であることを特徴とする方法。
【請求項５】
請求項１から４までのいずれか一つに記載の方法（１）において、トレーニング用顔の集合に関して、トレーニング用顔情報データセットを取得して、そこに含まれる顔情報を正規化し、そのトレーニング用顔情報データセットにもとづき、評価空間（１２１）内に、それぞれトレーニング用顔に割り当てることが可能な輪郭座標点だけが存在するか、或いは各トレーニング用顔情報データセットに関して、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点（１６８）が存在するように、当該の評価空間を求めることを特徴とする方法。
【請求項６】
請求項１から５までのいずれか一つに記載の方法（１）において、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域（１２４〜１２７；１７０〜１７５）を求めることを特徴とする方法。
【請求項７】
請求項１から６までのいずれか一つに記載の方法（１）において、当該の少なくとも一つの既知の特徴データセットを請求項１から６までのいずれか一つに記載の方法にもとづき算出して、データメモリ（１８７）に保存しておき、それによって、比較ステップ（２２）を省略することができることを特徴とする方法。
【請求項８】
請求項１から７までのいずれか一つに記載の方法（１）において、当該の少なくとも一つの既知の特徴データセットを既知の顔に関する識別情報と共にデータベース（１８８，２０５）に保存することを特徴とする方法。
【請求項９】
請求項１から８までのいずれか一つに記載の方法（１）において、トレーニング用顔の集合を認識対象の顔の真部分集合として選定するか、或いは認識対象の顔の集合と互いに素な集合として選定することを特徴とする方法。
【請求項１０】
請求項１から９までのいずれか一つに記載の方法（１）において、当該のトレーニング用顔の特徴データセットを既知の特徴データセットとして保存することを特徴とする方法。
【請求項１１】
顔を認識するための装置（１８０）であって、
検出した顔情報が顔の表面輪郭に関する位置情報を有するように、顔（１８１）の三次元顔情報を顔情報データセットの形で検出する検出ユニット（１８２）と、
正規化が位置の正規化と向きの正規化から成り、検出した顔情報の正規化を行う正規化ユニット（１８３）と、
検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔を認識する比較ユニット（１８６）と、
を有する装置において、
前記の位置情報が、輪郭座標点（１６８）を含む情報であり、出現率分布（１７６，１７７）は、如何なる数の輪郭座標点（１６８）が個々の評価領域（１２４〜１２７；１７０〜１７５）内に存在するのかを表すものとして、評価領域（１２４〜１２７；１７０〜１７５）に関する出現率分布（１７６，１７７）を計算して、その算出した出現率から特徴データセットを導き出す評価ユニットが配備されていることを特徴とする装置。
【請求項１２】
請求項１１に記載の装置（１８０）において、当該の評価領域は、その下位の領域の奥行きの範囲だけが互いに異なる下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループを有することを特徴とする装置。
【請求項１３】
請求項１１又は１２に記載の装置（１８０）において、当該の評価領域は、検出した輪郭座標点（１６８）が存在する可能の有る、写像空間の一部の領域だけを包含する評価空間（１２１）内に有ることを特徴とする方法。
【請求項１４】
請求項１２又は１３に記載の装置（１８０）において、当該の下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループの下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）が互いに素であることを特徴とする装置。
【請求項１５】
請求項１１から１４までのいずれか一つに記載の装置（１８０）において、トレーニング用顔の集合に関して、トレーニング用顔情報データセットを取得することが可能であり、そこに含まれる顔情報を正規化することが可能であり、そのトレーニング用顔情報データセットにもとづき、評価空間（１２１）内に、それぞれトレーニング用顔の輪郭に割り当てることが可能な輪郭座標点（１６８）だけが存在するか、或いは各トレーニング用顔情報データセットに関して、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点（１６８）が存在するように、当該の評価空間を求める形で評価ユニット（１８５）が構成されていることを特徴とする装置。
【請求項１６】
請求項１１から１５までのいずれか一つに記載の装置（１８０）において、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域（１２４〜１２７；１７０〜１７５）を求める形で評価ユニット（１８５）が構成されていることを特徴とする装置。
【請求項１７】
請求項１１から１６までのいずれか一つに記載の装置（１８０）において、当該の少なくとも一つの既知の特徴データセットを請求項１１から１６までのいずれか一つに記載の装置（１８０）を用いて算出することが可能であり、既知の特徴データセットを保存するためのデータメモリ（１８７）が配備されており、そのため、本装置が、比較ユニット（１８６）を用いた特徴データセットの比較機能を省略したモードで動作することが可能であることを特徴とする装置。
【請求項１８】
請求項１１から１７までのいずれか一つに記載の装置（１８０）において、当該のデータメモリがデータベースを有し、当該の少なくとも一つの既知の特徴データセットを既知の顔に関する識別情報と共にデータベース（１８８）に保存することが可能であることを特徴とする装置。
【請求項１９】
請求項１１から１８までのいずれか一つに記載の装置（１８０）において、トレーニング用顔の集合を認識対象の顔の真部分集合として選定するか、或いは認識対象の顔の集合と互いに素な集合として選定することを特徴とする装置。
【請求項２０】
請求項１１から１９までのいずれか一つに記載の装置（１８０）において、当該のトレーニング用顔の特徴データセットを既知の特徴データセットとして保存することを特徴とする装置。
【請求項２１】
顔（１００；１８１）を認識するための顔認識モジュール（２００）であって、
検出した顔情報が顔（１００；１８１）の表面輪郭に関する位置情報を含む形で検出された顔（１００；１８１）の三次元顔情報を顔情報データセットの形で受信するためのインタフェース（２０１）と、
検出した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔（１００；１８１）を認識する比較ユニット（２０８）と、
を有する顔認識モジュールにおいて、
前記の位置情報が、輪郭座標点（１６８）を含む情報であり、出現率分布（１７６，１７７）は、如何なる数の輪郭座標点（１６８）が個々の評価領域（１２４〜１２７；１７０〜１７５）内に存在するのかを表すものとして、写像空間の評価領域（１２４〜１２７；１７０〜１７５）に関する出現率分布（１７６，１７７）を計算して、算出した出現率から特徴データセットを導き出す評価ユニット（２０３）が配備されていることを特徴とする顔認識モジュール。
【請求項２２】
請求項２１に記載の顔認識モジュール（２００）において、当該の顔情報を正規化することを特徴とする顔認識モジュール。
【請求項２３】
請求項２１に記載の顔認識モジュール（２００）において、顔情報を正規化するための正規化ユニット（２０２）が配備されており、その正規化が位置の正規化と向きの正規化から成ることを特徴とする顔認識モジュール。
【請求項２４】
請求項２１から２３までのいずれか一つに記載の顔認識モジュール（２００）において、当該の評価領域（１２４〜１２７；１７０〜１７５）は、その下位の領域の奥行きの範囲だけが互いに異なる下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループを有することを特徴とする顔認識モジュール。
【請求項２５】
請求項２１から２４までのいずれか一つに記載の顔認識モジュール（２００）において、当該の評価領域（１２４〜１２７；１７０〜１７５）は、検出した輪郭座標点（１６８）が存在する可能の有る、写像空間（１２０）の一部の領域だけを包含する評価空間（１２１）内に有ることを特徴とする顔認識モジュール。
【請求項２６】
請求項２１から２５までのいずれか一つに記載の顔認識モジュール（２００）において、当該の下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループの下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）が互いに素であることを特徴とする顔認識モジュール。
【請求項２７】
請求項２１から２６までのいずれか一つに記載の顔認識モジュール（２００）において、トレーニング用顔の集合に関するインタフェース（２０１）を介して、トレーニング用顔情報データセットを受信することが可能であり、そのトレーニング用顔情報データセットにもとづき、評価空間（１２１）内に、それぞれトレーニング用顔に割り当てることが可能な輪郭座標点（１６８）だけが存在するか、或いは各トレーニング用顔情報データセットに関して、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点（１６８）が存在するように、当該の評価空間（１２１）を求る形で評価ユニット（２０３）が構成されていることを特徴とする顔認識モジュール。
【請求項２８】
請求項２７に記載の顔認識モジュール（２００）において、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域（１２４〜１２７；１７０〜１７５）を求める形で評価ユニット（１８５）が構成されていることを特徴とする顔認識モジュール。
【請求項２９】
請求項２１から２８までのいずれか一つに記載の顔認識モジュール（２００）において、インタフェース（２０１）又は別のインタフェース（２０４）を介して、当該の導き出された顔の特徴データセット及び／又は当該の導き出されたトレーニング用顔情報データセットの特徴データセットを出力することが可能であることを特徴とする顔認識モジュール。
【請求項３０】
請求項２１から２９までのいずれか一つに記載の顔認識モジュール（２００）において、インタフェース（２０１）、別のインタフェース（２０４）或いは追加のインタフェース（２０７）を介して、当該の少なくとも一つの特徴データセットと、場合によっては、識別情報とをデータベース（２０５）から読み出すことが可能であることを特徴とする顔認識モジュール。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔を認識するための方法と装置及び顔の認識を可能とする顔認識モジュールに関する。
【背景技術】
【０００２】
従来技術では、様々な方法が周知であるが、顔の認識が満足できる程にはできていない。基本的には、二次元データ、例えば、カメラで撮影した画像を用いて処理する方法と、顔の三次元データを評価する方法とに分けられる。二次元データを処理する方法では、これまで基本的な問題が十分に解決されていない。そのような問題には、様々な攪乱要因、例えば、顔の姿勢の変化と表情の変化が有り、顔の認識を困難にしている。姿勢とは、データ検出ユニットに対する相対的な頭部の姿勢の変化であると解釈する。例えば、頭部が垂直軸の周り（即ち、脊椎の軸の周り）に回転すると、そのような場合には、二次元の顔情報の一部が取り返しのきかない程失われてしまう。従って、高い認識の信頼度を達成するためには、三次元データを評価する方法が適している。
【０００３】
所謂三次元検出ユニットによって撮影したローデータが、三次元データを評価する方法に関する出発点となる。三次元検出ユニットは、顔の表面輪郭に関する位置情報を含む顔情報を検出する。今日では、一般的な三次元検出ユニットでは、フリンジ投影法を使用するか、或いは顔の立体撮影を用いている。アクティブな方法とも呼ばれるフリンジ投影法では、顔に縞模様を投影して、縞の歪を解析している。立体撮影を使用する方法と同様に、三角法を用いて、位置情報（即ち、顔の表面輪郭上の点の座標）を求めている。顔情報データセットは、様々な手法で表現することができる。三次元座標としてデータを保存することによって、顔を所謂三次元空間モデルとして表現するか、或いは各輪郭座標点、即ち、三次元検出ユニットを用いて座標を検出した顔の表面上の各点に関して、投影面からの奥行き情報をその面内の投影点と関連させて表現することができる。そのような場合、奥行き情報（投影面からの間隔情報）は、例えば、グレイスケール値として符号化することができる。投影面の方から顔を観察した場合に、検出面から遠く離れた所に有る表面構造を遮る表面輪郭が生じない場合には、両方の表現形式を互いに変換することが可能である。基本的に投影面としての役割を果たす検出面内で検出を行う三次元検出ユニットでは、そのような仮定は通常満たされている。
【０００４】
従来技術では、顔を認識するために用いられる様々な方法が周知である。一つの方法は、所謂固有顔を用いる。そのような固有顔は、例えば、非特許文献１に記載されている。認識対象として規定された顔の全体にもとづき、認識対象の顔の顔全体の特徴を示す固有顔の数を計算している。これらの固有顔は、顔データの下位空間のベースと見做される。個々の顔は、その固有ベクトルに関して分解され、その際算出された分解係数が、特徴データセットとして、例えば、特徴ベクトルの形で保存される。そのため、所謂トレーニングフェーズの間に、固有顔の検出と、それに続く特徴ベクトルの算出のために、認識対象の顔の集合の全ての画像を使用して、次に、それらの全ての画像をデータベースに保存している。認識対象の顔を解析する場合、そのために、先ずは対応する特徴ベクトルを算出して、次に認識対象として規定された既知の顔の集合から成る、データベースに保存されている顔の特徴ベクトルと比較している。顔は、所定の比較基準を満たした場合に、既知の顔の中の一つとして認識される。その場合、様々な比較方法、例えば、最尤法を使用することができる。
【０００５】
従来技術の別の方法は、所謂フィッシャーフェイスを使用している。その場合、認識対象として規定された顔の集合の各々の顔は、複数の顔情報データセットを必要としている。フィッシャーフェイスは、全ての既知の顔データセットにもとづき、異なる顔の係数が互いに大きく相違し、それに対して同じ顔の複数の顔情報データセットの係数が出来る限り最小限の相違しか持たないような形で検出される。
【０００６】
これら二つの既知の方法は、認識対象の顔の集合に更に別の顔を追加する場合、固有顔又はフィッシャーフェイスをそれぞれ新たに決定しなければならないという決定的な欠点を有する。そのために必要な計算負荷は、認識対象と規定された顔の数が増大する程大きく上昇する。更に、その場合、常に顔の完全な顔情報データセットを使用せざる得ず、そのため全ての顔情報データセットを保存して置かなければならない。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】K. Chang et al. "Multi-Model 2D and 3D Biometrics for Face Recognition", Proceedings of the IEEE International Workshop on Analysis and Modeling of Faces and Gestures (AMFG'03, Nizza, Frankreich, Oktober 2003, Seiten 187 bis 194)
【発明の概要】
【発明が解決しようとする課題】
【０００８】
以上のことから、本発明の技術的な課題は、信頼性の高い顔認識を可能とするが、計算負荷、特に、新しい顔を認識対象の顔の集合に追加する場合の計算負荷を周知の方法と比べて大幅に軽減する改善された方法、改善された装置及びコンピュータ上で実行可能な顔認識モジュールを実現することである。
【課題を解決するための手段】
【０００９】
この技術的な課題は、本発明にもとづき、請求項１の特徴を有する方法、請求項１１の特徴を有する装置及び請求項２１の特徴を有する顔認識モジュールによって解決される。本発明は、顔の輪郭座標点をそれぞれ三次元評価領域に集約することができるという知見をベースとする。個々の評価領域に関して、如何なる数の輪郭座標点が各評価領域内に存在するのかを表す出現率を取得する。そのようにして取得した評価領域に関する出現率分布は、顔に関して特徴的である。
【００１０】
従って、特に、
・三次元検出ユニットを用いて、顔の三次元顔情報を顔情報データセットの形で検出して、検出した顔情報が顔の表面輪郭に関する位置情報を含むようにする工程と、
・顔情報によって表される顔の位置の正規化と向きの正規化を実行することによって、検出した顔情報を正規化する工程と、
・検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その顔を既知の顔として認識するものとし、本発明では、位置情報が輪郭座標点を含む情報であり、評価領域に関して、個々の評価領域内に如何なる数の輪郭座標点が存在するのかを表す出現率分布を計算して、算出した出現率から特徴データセットを導き出す工程と、
を有する顔認識方法を提案する。
【００１１】
検出した顔情報の正規化は、異なる顔を互いに比較可能とするために必要である。その場合、位置の正規化が行われる。それは、全ての顔に有る特徴的な点、例えば、鼻先が、それぞれ所定の位置に有る、例えば、検出面の特異点から垂直に所定の間隔を有することを活用している。向きの正規化は、三次元空間における顔の向きが所定の向きと出来る限り良く一致することを活用している。そのために、顔の更に別の特徴的な点、例えば、鼻の根元又は眼の位置を検出するとともに、検出面上に垂直に投影した場合の鼻先と鼻の根元の接続線が三次元座標系の一つの座標軸と一致し、その座標軸が検出面内に有るような形で顔情報の補正を行うことができる。第三の特徴的な点は、正規化した顔情報によって表される顔の向きを所定の向きに統一するために用いられる。そのような正規化方法は、姿勢の影響を軽減するものであり、当業者に周知であるため、ここでは詳しく説明しない。ここで示した方法は、単に例として述べた。所定の位置において所定の向きと一致する顔、特に、検出面上の特異点から垂直に所定の間隔に有り、検出面に対して正面を向いた顔を表す顔情報が得られる限り、任意の正規化方法を使用することができる。
【００１２】
本発明による人間の顔を認識するための装置は、顔の三次元顔情報を顔情報データセットの形で検出して、検出した顔情報が顔の表面輪郭に関する位置情報を含むようにする検出ユニットと、検出した顔情報を正規化し、その正規化が位置の正規化と向きの正規化を含むようにする正規化ユニットと、検出して正規化した顔情報から導き出された特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較して、一つ以上の所定の比較基準を満たした場合に、その顔を既知の顔として認識する比較ユニットとを備えており、位置情報が輪郭座標点を含む情報であり、出現率分布が個々の評価領域内に如何なる数の輪郭座標点が存在するのかを表すものとして、評価領域に関する出現率分布を計算し、算出した出現率から特徴データセットを導き出す評価ユニットが配備されている。今日、三次元検出ユニットでは、既に頻繁に正規化が行われている。従って、本発明によるコンピュータで実行可能な顔を認識するための顔認識モジュールは、検出した顔情報が顔の表面輪郭に関する位置情報を含むものとして、検出した顔の三次元顔情報を顔情報データセットの形で受信するためのインタフェースと、位置情報が輪郭座標点を含む情報であり、検出した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その顔を既知の顔として認識する比較ユニットと、出現率分布が、個々の評価領域内に如何なる数の輪郭座標点が存在するのかを表すものとして、評価領域に関する出現率分布を計算し、算出した出現率から特徴データセットを導き出す評価ユニットとを備えている。特徴データセットを既知の特徴データセットと比較するために、従来技術で周知の特徴データセットの類似度を計算するための任意の方法を使用することができる。特徴データセットは、有利には、特徴ベクトルとして表される。幾つかの方法だけを例示すると、類似度を求めるためには、例えば、所謂シティブロック法を使用するか、或いはユークリッド距離を求めることができる。
【００１３】
本発明の大きな利点は、認識対象の顔の集合に顔を追加するためには、一つの特徴データセットだけを計算すれば良いことである。データベースに保存されている全ての特徴データセット、ましてや顔情報データセット全体を引き合いに出す必要はない。それによって、どの顔に関しても、完全な顔情報を長期間保存する必要がないので、保存すべきデータ量が全体として明らかに低減されることとなる。更に、本方法は、所謂アウトライアーと呼ばれる測定エラーに対して非常に強い。二つの異なる座標値に関して隣接する輪郭座標点として見做される輪郭座標点を有する座標値から座標値が非常に大きくずれている検出した輪郭座標点が、そのような測定エラーと見做される。それは、輪郭座標点をグレイスケールで表した場合に、グレイスケール値が周囲の点のグレイスケール値から大きくずれている輪郭座標点がアウトライアーであることを意味する。
【００１４】
評価領域の特に有利な実施形態は、評価領域が、少なくとも一つの下位領域グループを有するものと規定し、一つのグループ内の下位領域は、下位領域の奥行きの範囲だけが互いに異なっている。この場合、下位領域は、評価領域と同じものとすることができる。奥行き情報は、それぞれ基準面としての役割を果たす検出面に対する情報である。同様に、検出面と平行な別の任意の基準面を使用することもできる。輪郭座標点を奥行きクラスで分類することは、各顔にとって特徴的であることが分かっている。例えば、グレイスケール表現で顔を表すと、グレイスケールの範囲が決定される。個々のグレイスケール値の範囲に関して、その範囲が顔の画像内に存在する数が計数される。個々のグレイスケールの範囲が現れる出現率は、各顔にとって特徴的である。従って、そのような顔を既知の顔と比較するためには、基本的に、その出現率だけを互いに比較すれば良いこととなる。
【００１５】
顔を認識するために互いに比較しなければならない個々の顔は、全て同じ空間的な広がりを持っていないので、本発明の有利な実施構成では、評価領域は、検出した輪郭座標点が存在する可能性の有る写像空間の一つの部分領域だけを含む評価空間内に有るものと規定する。そのような実施構成では、全体として、評価領域は、それらの全てが写像空間の一つの部分空間である評価空間内に有り、その部分空間が、顔の輪郭座標点を検出することが可能な全ての座標点の集合を包含するように決定される。
【００１６】
個々の評価領域に関して計算された出現率は、個々の評価領域が互いに素である場合に最も大きな差を持つこととなる。
【００１７】
それに対して、別の実施構成は、評価領域が互いに素でないものと規定することができる。それは、評価領域の奥行き情報の違いだけを表すグレイスケール表現に関して、個々のグレイスケール値が複数のグレイスケール範囲に割り当てることが可能であることを意味する。そのように規定することによって、一定の奥行き範囲内の全ての数の輪郭座標点をそこに含まれる奥行き範囲に対する比率に変換することが可能となる。そのため、一定の奥行き範囲内に有る顔の個々の特徴を特に明確に際立たせることができる。
【００１８】
本発明の有利な実施構成では、評価空間を最適に求めることができるように、トレーニング用顔の集合に関して、トレーニング用顔情報データセットを検出し、その中に含まれる顔情報を正規化して、そのようなトレーニング用顔情報データセットにもとづき、各トレーニング用顔情報データセットのための評価空間内において、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点が存在するように評価空間を決定するものと規定する。それは、全てのトレーニング用顔情報データセットに関して、トレーニング用顔の輪郭を表す少なくとも所定の百分率の輪郭座標点が三次元評価空間内に存在するように評価空間を決定することを意味し、そのため残る割合（その百分率を上回る所定）の輪郭座標点は、「擾乱」として検出される別の物体を表す輪郭座標点として存在する。この場合、一方では、検出面に対して平行な面的な広がりを観察するとともに、他方では、検出面に対して相対的な顔情報の奥行きの広がりを観察している。そのような情報にもとづき、評価空間を決定する。そうすることによって、この実施構成では、少ないグループのトレーニング用顔にもとづき、評価空間を最適に決定することが可能となる。
【００１９】
本発明の有利な改善構成では、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域を求めるものと規定する。この実施構成は、個々の顔の最大限異なる特徴データセットを得るために、新たに少ない数のトレーニング用顔にもとづき、評価領域を最適に決定することができるという利点を有する。この場合、評価領域が評価空間全体を完全に満たす必要はない。むしろ、重要であると見做されない個々の空間範囲を評価の際に考慮しないようにすることができる。更に、評価領域は、一つのグループ内において、それぞれ奥行き範囲だけが互いに異なる下位領域の二つ以上のグループから構成することができる。
【００２０】
本発明の有利な実施構成では、前述した通りの方法にもとづき、少なくとも一つの既知の特徴データセットを計算して、データメモリに保存しておき、そうすることによって、比較工程を省略することができる、即ち、通常実行しないものと規定する。新たな顔を検出する一方で、比較を実行した場合、それによって、その顔が既に検出した顔と高い類似度を有するのか、或いはそれどころか顔の二重検出であるのか否かを決定しなければならなくなる。
【００２１】
有利な実施構成では、人間の顔の識別を可能とするために、少なくとも一つの既知の特徴データセットを既知の顔に関する識別情報と共にデータメモリのデータベースに保存するものと規定する。
【００２２】
この方法の非常に大きな利点は、トレーニング用顔の集合を認識対象の顔の真部分集合として選定するか、それどころか認識対象の顔の集合と互いに素となるように選定することに有る。そうすることによって、既に前述した通り、計算負荷が、従来技術で周知の方法と比べて劇的に低減されることとなる。
【００２３】
本発明による装置及び本発明による顔認識モジュールの相応の特徴は、本発明による方法の相応の特徴と同じ利点を有する。
【００２４】
以下において、図面と関連した有利な実施例にもとづき本発明を詳しく説明する。
【図面の簡単な説明】
【００２５】
【図１】顔認識方法の実施構成のフローチャート図
【図２ａ】向きの正規化を図解するための検出した顔情報の模式図
【図２ｂ】向きの正規化を図解するための検出した顔情報の模式図
【図２ｃ】向きの正規化を図解するための検出した顔情報の模式図
【図３ａ】様々な形で評価空間を評価領域に分割した写像空間の模式図
【図３ｂ】様々な形で評価空間を評価領域に分割した写像空間の模式図
【図３ｃ】様々な形で評価空間を評価領域に分割した写像空間の模式図
【図４ａ】評価領域に関して輪郭座標点の出現率分布を計算するために、輪郭座標点を個々の評価領域に割り当てることを図解するための検出面に対して垂直な模式的な顔の断面図
【図４ｂ】評価領域に関して輪郭座標点の出現率分布を計算するために、輪郭座標点を個々の評価領域に割り当てることを図解するための検出面に対して垂直な模式的な顔の断面図
【図５】顔認識装置の模式図
【図６】顔認識モジュールの模式図
【発明を実施するための形態】
【００２６】
図１にもとづき、顔認識方法１の模式的なフローを説明する。本方法は、相異なる三つのモードで動作することができる。これらの三つのモードには、トレーニングモード、認識モード及び追加モードが含まれる。先ずは、ステップ２で、本方法をトレーニングモードで実行するか否かが問われる。実行する場合、三次元検出ユニットを用いて、トレーニング用顔の顔情報を検出する。これらの顔情報は、顔の輪郭に関する位置情報を含む情報である。顔情報は、トレーニング用顔情報データセットの形で検出される。場合によっては、別のステップ４で、トレーニング用顔に対する識別情報が登録される。次のステップ５で、検出した顔情報を正規化する。トレーニング用顔情報データセットは、空間座標の形で、即ち、三次元顔モデルを表す形で表現されるか、或いはグレイスケールが第三の座標軸に関する係数を表す、平面上に広がるグレイスケール表現の形で表すことができる。正規化は、三次元顔モデルでもグレイスケール表現でも行うことができる。
【００２７】
図２ａでは、検出した顔１０１が模式的に図示されている。検出面は、図面の平面に対して平行な方向を向いている。検出した顔１０１の下には、右手座標系１０２が図示されている。ｘ軸１０３とｙ軸１０４は、図面の平面内に有る。ｚ軸は、図面の平面に対して垂直に延びており、×印５で表示されている。顔は、検出面に関してｙ軸の周りに回転するとともに、ｙ軸に関して傾いている。
【００２８】
従来技術で周知の方法を用いて、顔の特異点を検出する。それは、例えば、鼻先１０６と鼻の根元１０７である。更に、そのようにして、眼１０８と口１０９を認識することができる。向きの正規化の第一ステップでは、検出した特異点を用いて、首の周りの回転を計算で補正する。図２ｂには、その結果が模式的に図示されている。首の周りの回転に関して正規化された形の検出した顔１０１’が、ｙ軸に関して依然として適しているかを調べる。向きの正規化の第二ステップでは、鼻先１０６’と鼻の根元１０７’の接続線がｙ軸１０４に対して平行な方向を向くように、顔情報を変換する。その変換の結果は、図２ｃに図示されている。更に別の正規化ステップでは、顔の特徴的な点が所定の点と一致するように座標を適合させる。そのようにして、鼻先１０６が検出面上の特徴的な点に対して垂直に所定の間隔を持つようにすることができる。検出面は、基本的に、任意の基準面であるが、通常三次元検出ユニット内の面と一致する。
【００２９】
図２ａ〜２ｃにもとづき説明した通り、向きの正規化６と位置の正規化７による正規化５を実行した後、ステップ８において、更に別のトレーニング用顔を読み込むか否かを調べる。読み込む場合、その更に別のトレーニング用顔に対して、新たにステップ２〜７を実行する。それが、更に別のトレーニング用顔を読み込まないとなるまで実行される。それに続いて、ステップ９において、トレーニング用顔にもとづき、所謂評価空間を決定する。
【００３０】
図３ａには、写像空間１２０が模式的に図示されている。この写像空間は、顔の輪郭座標点を検出することが可能な各空間点の全てを包含する空間である。それは、言わば三次元検出ユニットの検出範囲である。トレーニング用顔の検出した顔情報、即ち、トレーニング用顔情報データセットにもとづき、破線により図示した所謂評価空間１２１を計算する。評価空間は、その中に三次元検出ユニットを用いて検出した顔情報の顔領域がそれぞれ存在するように選定される。評価空間内には、例えば、顔に属さない別の身体部分又は物体を表す輪郭座標点は存在すべきでない。個々の顔をそれぞれ検出面に投影した場合、評価空間１２１の前方の面１２２は、顔の表面に含まれる画像点の積集合によって与えられる。矢印１２３で表された評価空間１２１の奥行きは、トレーニング用顔の中の一つの顔の輪郭上の空間点を表す輪郭座標点を発見するための全てのｚ座標値、即ち、検出面から見た奥行きの値の全てが出来る限り含まれるように選定される。
【００３１】
図３ａに図示されている例では、評価空間は、立方体で選定されている。しかし、前方の面は、任意の形状とすることができる。全体として、評価空間は、前方の面を膨らませた立体とはならず、むしろ評価空間内において、トレーニング用顔情報データセットに関して、輪郭座標点を表さないか、或いはトレーニング用顔の中の一つの顔の輪郭上の点を表さない座標点が限定された一部しか生じない限り、任意の形状とすることができる。幾つかの実施構成では、このような評価空間を決定する方法を簡単化するとともに、非常に様々な平面的な広がりを有するトレーニング用顔において、実際に決定的な顔情報を包含する十分な大きさの評価空間を取得するために、評価空間内においては、トレーニング用顔の中の一つの顔の輪郭上の点を表さないようなトレーニング用顔情報データセットの輪郭座標点が存在してはならないという厳格な要件を課すものと規定する。そのような場合に、高い確率で顔情報を含むとともに、別の物体の情報を含まない評価空間が決定される。有利には、各トレーニング用顔情報データセットに関して、少なくとも所定の百分率の輪郭座標点が、評価空間内に含まれるとともに、各トレーニング用顔の輪郭に割り当てることが可能であることが必要である。
【００３２】
評価空間が決定されたら、更なるステップ１０において、評価空間内の評価領域を求める。有利には、評価領域は、検出面に対する奥行きの広がりだけが互いに異なる下位領域の一つのグループを含むか、それどころか一つの下位領域グループと完全に等しい。
【００３３】
図３ａに模式的に図示されている例では、評価空間１２１は、四つの評価領域１２４〜１２７に分割されており、それらの各々は、同じ大きさであるが、奥行きの範囲が異なっている。これらの評価領域は、例えば、写像空間１２０の境界面１２８と一致する検出面（さもなければ基準面）に対する、それらの奥行きの範囲だけが異なる下位領域のグループとして構成される。図２ｃに図示されている顔は、それぞれｘ軸１０３、ｙ軸１０４及びｚ軸１２９を有する座標系１０２に関して方向付けられている。
【００３４】
図３ｂと３ｃには、それぞれ別の構成の評価領域が図示されている。図３ｂでは、評価領域は、同様に、写像空間１２０の境界面１２８と一致する検出面に対する下位領域の奥行き範囲だけが異なる下位領域１３１〜１３６のグループに属する下位領域１３１〜１３６として構成されている。その場合、評価領域又は下位領域１３１〜１３６は、同じく、互いに素であるが、奥行き範囲の大きさが異なっている。
【００３５】
図３ｃによる実施構成では、評価領域は、下位領域１４１〜１４４と１４５〜１４８の二つのグループで構成されている。この実施構成では、評価領域は、評価空間１２１全体を構成していない。その他の実施構成は、複数のグループの下位領域、例えば、互いに隣接し、それぞれｚ軸１２９に沿って境界を接するように構成されるとともに、それぞれ奥行きの範囲の大きさが同じである六つの下位領域を有する五つのグループの下位領域を持つことができる。個々の下位領域グループの下位領域は、ｘ軸に沿った広がりがｙ軸に沿った広がりよりも大きい。この場合、座標系１０２に関する顔の向きは、図２ｃに図示されている向きと一致する。そのような実施構成では、３０個の値を有する出現率分布が得られる。
【００３６】
それぞれ別の構成で写像空間の領域を包含する評価領域から成る別の実施構成も考えられる。
【００３７】
評価空間の決定は、基本的に実行せずに済ますことができる。しかし、そのようなステップは、有利には、基準面又は検出面に対する下位領域の奥行きの範囲だけが異なる下位領域として評価領域を構成することによって、簡単な手法で評価空間を決定する手段を提供する。従って、全ての下位領域は、広がりに関するサイズ及び／又は空間内の位置だけが異なる同じ幾何学的な形状を有する。そのような下位領域は、「前後に並べた形」（例えば、互いに接する直方体）又は「互いの中に入り組んだ形」（前方の面が共通で奥行きが異なる直方体）とすることができる。有利には、評価領域の決定は、評価空間を評価領域で「満たす」か、或いは評価空間全体を評価領域に分割する形で行われる。それは、評価空間を、押出し面を真っ直ぐな区間に沿って押し出すことによって広げた押出し空間とする場合、特に簡単に実行可能である。そのような押出し面として、例えば、既に前に説明した通り、検出面上に投影させた顔の表面の積集合を表す如何なる面も使用することができる。同様に、同じく既に前に説明した通り、検出面上に投影された個々のトレーニング用顔の顔面がそれぞれ所定の表面の高さを上回る如何なる面をも使用することができる。
【００３８】
個々の顔の輪郭座標点を一致させるために、評価領域を使用する。それは、個々の評価領域に関して、顔の如何なる数の輪郭座標点が各評価領域内に存在するのかを計算することを意味する。それによって、評価領域に関する輪郭座標点の出現率分布が得られる。そのような出現率分布は、個々の顔に関して特徴的である。
【００３９】
従って、有利には、評価領域の決定は、例えば、それぞれ検出面に対する下位領域の奥行きの範囲だけが異なる下位領域グループに属する評価領域に評価空間全体を分割するという要件にもとづき行われる。次に、その決定は、個々のトレーニング用顔の出現率分布が最大限互いに異なるという要件にもとづき実行される。この場合、反復手法を用いることができる。
【００４０】
図４ａと４ｂには、異なる模式的な顔の二つの断面線１６１，１６２が図示されている。二つの図には、それぞれ図面の平面に対して垂直に延びる検出面１６３が表示されている。断面線１６１，１６２は、二つの異なる顔の顔輪郭を表している。これらの顔輪郭は、鼻先１６４，１６５に関して、それぞれ検出面１６３に対する位置の正規化が行われており、それは、線分の矢印１６６で表されている。水平に描かれている線１６７は、三次元スキャナーとして構成された三次元検出ユニットが位置情報を検出するための線を交線１６１，１６２で示した顔に投影した面を表している。水平な線１６７と顔の輪郭の交線１６１，１６２との交点は、それぞれ図示されている断面内の輪郭座標点１６８である。垂直に延びる線１６９は、断面に対して垂直に広がる評価領域１７０〜１７５の境界を表している。評価領域１７０〜１７５に関する輪郭座標点１６８の出現率分布を計算するためには、対応する評価領域内に有る輪郭座標点１６８だけを計数しなければならない。この場合、図示されている実施例では、それぞれ評価領域１７０〜１７５の境界を表す垂直な線１６９が、それぞれ評価領域１７０〜１７５の中の検出面１６３からの間隔が大きい方の隣接する評価領域に属するものと看做している。計算した出現率分布１７６，１７７は、それぞれ図４ａと４ｂの下の領域に棒グラフとして図示されている。図４ａと４ｂの両方において、それぞれ同じ数の輪郭座標点が出現しているので、これらの出現率分布は、特徴データセットとして直ぐに使用することができる。これらの出現率分布を特徴ベクトルとして表すと、図４ａに図示されている顔に関しては、特徴ベクトル（２，１，１０，４，４，３）が得られ、図４ｂに図示されている顔に関しては、特徴ベクトル（０，４，４，８，５，３）が得られる。
【００４１】
例えば、個々のトレーニング用顔情報において、評価領域が包含する空間内の輪郭座標点の数が異なるので、通常出現率分布を互いに直接比較することはできない。従って、出現率分布から特徴データセットを導き出す。それは、例えば、評価領域内に存在する顔の輪郭座標点の全数に関して、算出した出現率を正規化することによって行われる。
【００４２】
出現率分布を計算して、有利には、特徴ベクトル１１の形の特徴データセットを導き出した後、ステップ１２において、評価領域の最適化が完了したか否かの問いについて調べる。未だ完了していない場合、ステップ１３において、評価領域を変更し、ステップ１１において、改めてトレーニング用顔に関して、出現率分布を計算して、特徴データセットを導き出すことを実行する。評価領域の最適化が完了した場合、ステップ１７において、評価領域を表す情報を保存し、次に、ステップ１４において、トレーニング用顔を後で再度認識するか否かを問う。通常は後で再度認識するため、次のステップ１５において、特徴データセットと、場合によっては、登録した識別情報とをデータベースの形でデータメモリに保存する。このようにして、ステップ１６において、本方法のトレーニングモード１が終了する。
【００４３】
ステップ２における問いが、本方法をトレーニングモードで動作しないとなった場合、ステップ３’において、三次元検出ユニットを用いて、一つの顔の顔情報を検出する。次のステップ５’では、検出した顔情報を正規化し、その正規化には、向きの正規化６’と位置の正規化７’が含まれる。これらの正規化ステップ５’〜７’は、前に説明した正規化ステップ５〜７と同じである。次のステップ１１’では、トレーニングモードで決定した評価領域に関して、輪郭座標点の出現率分布の計算を行い、それから特徴データセットを導き出す。この場合、保存されている評価領域に関する情報を取り出して使用することができる。
【００４４】
ステップ１９において、本方法が顔を認識するのか、或いは認識対象の顔の集合に顔を追加するのかの問いに答える。顔を追加する場合、即ち、本方法を追加モードで動作させる場合、次のステップ４’において、有利には、顔に対して識別情報を登録する。次のステップ１５’では、場合によっては、登録した識別情報と共に特徴データセットをデータベースの保存領域に保存する。このようにして、ステップ２０において、追加モードでの本方法が終了することとなる。
【００４５】
ここで、認識対象の顔の集合に更に別の顔を追加するために、トレーニング用顔のデータを取り出して使用する必要が無いことを改めて指摘しておきたい。更に別の顔の追加又は一つ以上の顔の削除は、そのために計算負荷を増大させること無く実施することができる。更に、認識対象の顔から検出した全ての輪郭座標点、即ち、全ての顔情報データセットを保存する必要はなく、明らかに少ない特徴データセットだけを保存すれば良い。そのことは、保存に必要なメモリ領域を大幅に低減させることとなる。特に、顔を認識する対象の人間のグループが大きい場合に、それは非常に大きな利点となる。
【００４６】
本方法を追加モードではなく、認識モードで動作させる場合、特徴データセット１１’の計算とステップ１９における相応の問いの後、ステップ２１において、データベースから既知の特徴データセットを読み出す。次のステップ２２において、特徴データセットを既知の特徴データセットと比較する。その場合、特徴データセットと既知の特徴データセットとの類似度を計算する。特徴データセットと既知の特徴データセットは、通常特徴ベクトルとして構成される。当業者には、特徴データセット又は特徴ベクトルの類似度を計算する手法は周知である。その場合、特徴ベクトルと既知の特徴ベクトルとの類似度を求めるために、一つ以上の問いによる判断基準を考慮することができる。類似度を求めるための幾つかの手法だけを例示すると、例えば、所謂シティブロック法を使用するか、或いはユークリッド距離又は相関を求めることができる。ステップ２３の問いにおいて、特徴データセット（特徴ベクトル）が既知の特徴データセット（既知の特徴ベクトル）と類似しているか否かを調べる。類似していない場合、次のステップ２４において、未だ特徴データセットと比較していない別の既知の特徴データセット（既知の特徴ベクトル）がデータベースに保存されているか否かを調べる。そのような既知の特徴データセットが存在した場合、ステップ２１において、それを読み出して、ステップ２２において、特徴データセットと比較する。
【００４７】
ステップ２３の問いにおいて、特徴データセットが既知の特徴データセットと一致すると決定された場合、その特徴データセットの算出元の顔情報データセットに対応する顔は、一致すると決定された既知の特徴データセットの当初の算出元の顔情報データセットに対応する既知の顔として認識されることとなる。その結果は、場合によっては、ステップ２５において、既知の特徴データセットの識別情報と共に出力される。ステップ２３において、一致すると決定されず、更に、ステップ２４において、特徴データセットと比較されていない既知の特徴データセットが未だデータベースに保存されているか否かの問いに関して、否定された場合、その顔は、既知の顔の中の一つとしては認識されず、そのことは、同様に、ステップ２６において出力される。ステップ２７において、認識モードでの本方法が終了する。
【００４８】
図５には、顔１８１を認識するための装置１８０が模式的に図示されている。顔１８１は、三次元検出ユニット１８２の前に置かれる。三次元検出ユニット１８２は、顔１８１の顔情報を顔情報データセットの形で検出する。その顔情報データセットは、正規化ユニット１８３に送られる。幾つかの実施構成において、正規化ユニット１８３は、三次元検出ユニット１８２の構成要素とすることができる。ここで図示している別の実施構成では、正規化ユニット１８３は、認識ユニット１８４の構成要素である。顔情報は、正規化ユニット１８３を用いて正規化された後、評価ユニット１８５で評価される。そこでは、評価領域に関して、検出した顔の輪郭座標点の出現率分布を計算する。出現率分布から、特徴データセットを導き出して、比較ユニット１８６で既知の特徴データセットと比較する。そのために必要な既知の特徴データセットは、データベース１８８が既知の特徴データセットを管理しているデータメモリ１８７から読み出すことができる。検出した顔１８１の特徴データセットが既知の特徴データセットと一致すると決定された場合、その顔１８１は、当該の既知の特徴データセットを以前導き出した元の顔情報データセットに対応する顔として認識される。それに関する情報と、場合によっては、その既知の特徴データセットに関してデータベース１８８に保存されている識別情報とが、出力ユニット１８９を介して出力される。
【００４９】
本装置１８０は、本装置を用いて新たな既知の特徴データセットを計算することができるように構成されている。そのために、本装置１８０は、本装置１８０を追加モードに設定することが可能な入力ユニット１９０を備えている。更に、その入力ユニットを介して、人間に関する識別情報、或いは新たな既知の特徴データセットを導き出して、それに続いて、その情報と一緒にデータベース１８８に保存するための元の顔情報に対応する顔に関する識別情報を入力することができる。更に、評価ユニット１８５は、トレーニングモードにおける評価範囲と評価領域を決定することが可能なように構成することができる。そのために、本装置１８０は、複数のトレーニング用顔に関するトレーニング用顔情報データセットを取得して、そのデータセットから、前述した通り、評価空間と評価領域を計算して、場合によっては、トレーニング用顔に関して、算出した特徴データセットをデータメモリ１８７のデータベース１８８に保存することが可能である。破線１９１で表した通り、認識ユニット１８４は、データメモリ１８７及びデータベース１８８の無い形で構成することもできる。その場合、外部データメモリ１８７への保存が行われ、その外部データメモリは、必ずしもデータベース１８８を備える必要はない。外部データメモリ１８７は、既知の特徴データセットだけを保存するスマートカード又は同様の持ち運び可能なデータメモリとすることができる。そうすることによって、特徴データを導き出した顔に対応する個人のデータメモリだけに、その個人に関する特徴データを保存することが可能となる。
【００５０】
更に別の実施構成では、認識ユニット１８４は、比較ユニット１８６も備えていない。点線１９２で表した通り、比較ユニット１８６は、データメモリ１８７と共に持ち運び可能なユニットとして構成され、その場合、データメモリ１８７は、同様にデータベース１８８を備える必要はない。即ち、比較ステップも、点線１９２で囲んだ持ち運び可能なユニットで実行することもできる。そのような実施構成では、特徴データは、持ち運び可能なユニットから読み出す必要も、認識ユニット１８４からアクセス可能とする必要もない。そのような持ち運び可能なユニットは、「オンカードマッチャー」とも呼ばれる。
【００５１】
図６には、顔認識モジュールが模式的に図示されている。顔認識モジュールは、有利には、コンピュータで実行可能なコードの形で実現され、そのコードは、コンピュータ上に実行することが可能である。顔認識モジュール２００は、顔情報データセットを受信するか、読み込むか、或いは登録することができるインタフェース２０１を有する。顔情報データセットは、事前に正規化しておくことができる。同様に、顔認識モジュール２００は、正規化ユニット２０２を含むことが可能である。正規化された顔情報データセットは、評価ユニット２０３において再処理される。その場合、評価領域に関して、輪郭座標点の出現率分布が計算される。出現率分布から、特徴データセットが導き出される。顔認識モジュールを追加モードで動作させた場合、特徴データセットは、別のインタフェース２０４を介して出力され、データベース２０５に保存することができる。追加のインタフェース２０７を介して、データベース２０５から既知の特徴データセットを読み出して、顔認識モジュール２００を認識モードで動作させた場合、比較ユニット２０８で、その既知の特徴データセットを特徴データセットと比較することができる。特徴データセットが既知の特徴データセットの中の一つとの類似性を有する場合、その顔は、認識されたと見做される。それに関する情報は、別のインタフェース２０４を介して出力することができる。インタフェース２０１、別のインタフェース２０４及び追加のインタフェース２０７は、対にして、或いは一緒にして単一のインタフェースとして実現することができる。顔認識モジュール２００の評価ユニット２０３は、有利には、前に説明した通り、トレーニングモードにおいて、インタフェース２０１を介して受信した複数のトレーニング用顔情報データセットにもとづき、評価空間と評価領域を計算することが可能なように構成されている。
【００５２】
ここで述べた有利な方法及びそれに対応する装置又はそれに対応する顔認識モジュールでは、それぞれ評価領域を求めるために、トレーニングモードを利用することができるものと規定する。別の実施構成では、評価領域を予め求めておいて、トレーニングモードで新たに計算しないと規定することができる。
【符号の説明】
【００５３】
１    顔認識方法
２    トレーニングモードを問うステップ
３    三次元顔情報を検出するステップ
４    識別情報を登録するステップ
５，５’    顔情報の正規化ステップ
６，６’    位置の正規化ステップ
７，７’    向きの正規化ステップ
８    別のトレーニング用顔を読み出すかを問うステップ
９    評価空間を求めるステップ
１０    評価領域を求めるステップ
１１，１１’    出現率分布を計算して、特徴データセットを導き出すステップ
１２    評価領域の最適化が完了したかを問うステップ
１３    評価領域を変更するステップ
１４    トレーニング用顔を後で再認識するかを問うステップ
１５，１５’    データベースの形で所定のメモリに保存するステップ
１６    トレーニングモードの終了ステップ
１７    評価領域に関する情報を保存するステップ
１９    追加モードか認識モードかを問うステップ
２０    追加モードの終了ステップ
２１    既知の特徴データセットを読み出すステップ
２２    特徴データセットを既知の特徴データセットと比較するステップ
２３    類似性が有る（認識された）かを問うステップ
２４    更なる既知の特徴データセットが有るかを問うステップ
２５    顔が認識されたことを出力するステップ
２６    顔が認識されなかったことを出力するステップ
２７    認識モードの終了ステップ
１０１，１０１’，１０１''    検出した顔
１０２    座標系
１０３    ｘ軸
１０４    ｙ軸
１０５    ｚ軸を表す×印
１０６，１０６’，１０６''    鼻先
１０７，１０７’，１０７''    鼻の根元
１０８，１０８’，１０８''    眼
１０９，１０９’，１０９''    口
１２０    写像空間
１２１    評価空間
１２２    評価空間の基準面
１２３    矢印
１２４〜１２７    評価領域
１２８    写像空間の基準面
１２９    ｚ軸
１３１〜１３６    下位領域
１４１〜１４４    下位領域
１４５〜１４８    下位領域
１６１，１６２    顔の輪郭の交線
１６３    検出面
１６４，１６５    鼻先
１６６    線分の矢印
１６７    水平な線
１６８    輪郭座標点
１６９    垂直な線
１７０〜１７５    評価領域
１７６，１７７    棒グラフの形の出現率分布
１８０    顔認識装置
１８１    顔
１８２    三次元検出ユニット
１８３    正規化ユニット
１８４    認識ユニット
１８５    評価ユニット
１８６    比較ユニット
１８７    データメモリ
１８８    データベース
１８９    出力ユニット
１９０    入力ユニット
１９１    破線
１９２    点線
２００    顔認識モジュール
２０１    インタフェース
２０２    正規化ユニット
２０３    評価ユニット
２０４    別のインタフェース
２０５    データベース
２０７    追加のインタフェース
２０８    比較ユニット
【図１】
2010504575.tif 000003
【図２ａ】
2010504575.tif 000004
【図２ｂ】
2010504575.tif 000005
【図２ｃ】
2010504575.tif 000006
【図３ａ】
2010504575.tif 000007
【図３ｂ】
2010504575.tif 000008
【図３ｃ】
2010504575.tif 000009
【図４ａ】
2010504575.tif 000010
【図４ｂ】
2010504575.tif 000011
【図５】
2010504575.tif 000012
【図６】
2010504575.tif 000013
【手続補正書】
【提出日】平成20年7月22日(2008.7.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
顔（１００；１８１）を認識するための方法（１）であって、
三次元検出ユニット（１８２）を用いて、顔（１００；１８１）の三次元顔情報を顔情報データセットの形で検出し、検出した顔情報が顔の表面輪郭に関する位置情報を含むようにするステップと、
検出した顔情報を正規化し、位置の正規化と向きの正規化を行うステップと、
検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔を認識するステップと、
を有し、
前記の位置情報が、輪郭座標点（１６８）を含む情報であり、評価領域（１２４〜１２７；１７０〜１７５）に関して、如何なる数の輪郭座標点（１６８）が個々の評価領域（１２４〜１２７；１７０〜１７５）内に存在するのかを表す出現率分布（１７６，１７７）を計算して、その算出した出現率から特徴データセットを導き出す方法。
【請求項２】
請求項１に記載の方法（１）において、評価領域（１２４〜１２７；１７０〜１７５）は、その下位の領域の奥行きの範囲だけが互いに異なる下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループを有することを特徴とする方法。
【請求項３】
請求項１又は２に記載の方法（１）において、評価領域（１２４〜１２７；１７０〜１７５）は、検出した輪郭座標点（１６８）が存在する可能の有る、写像空間（１２０）の一部の領域だけを包含する評価空間（１２１）内に有ることを特徴とする方法。
【請求項４】
請求項２又は３に記載の方法（１）において、当該の下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループの下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）が互いに素であることを特徴とする方法。
【請求項５】
請求項１から４までのいずれか一つに記載の方法（１）において、トレーニング用顔の集合に関して、トレーニング用顔情報データセットを取得して、そこに含まれる顔情報を正規化し、そのトレーニング用顔情報データセットにもとづき、評価空間（１２１）内に、それぞれトレーニング用顔に割り当てることが可能な輪郭座標点だけが存在するか、或いは各トレーニング用顔情報データセットに関して、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点（１６８）が存在するように、当該の評価空間を求めることを特徴とする方法。
【請求項６】
請求項１から５までのいずれか一つに記載の方法（１）において、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域（１２４〜１２７；１７０〜１７５）を求めることを特徴とする方法。
【請求項７】
請求項１から６までのいずれか一つに記載の方法（１）において、当該の少なくとも一つの既知の特徴データセットを請求項１から６までのいずれか一つに記載の方法にもとづき算出して、データメモリ（１８７）に保存しておき、それによって、比較ステップ（２２）を省略することができることを特徴とする方法。
【請求項８】
請求項１から７までのいずれか一つに記載の方法（１）において、当該の少なくとも一つの既知の特徴データセットを既知の顔に関する識別情報と共にデータベース（１８８，２０５）に保存することを特徴とする方法。
【請求項９】
請求項１から８までのいずれか一つに記載の方法（１）において、トレーニング用顔の集合を認識対象の顔の真部分集合として選定するか、或いは認識対象の顔の集合と互いに素な集合として選定することを特徴とする方法。
【請求項１０】
請求項１から９までのいずれか一つに記載の方法（１）において、当該のトレーニング用顔の特徴データセットを既知の特徴データセットとして保存することを特徴とする方法。
【請求項１１】
顔を認識するための装置（１８０）であって、
検出した顔情報が顔の表面輪郭に関する位置情報を有するように、顔（１８１）の三次元顔情報を顔情報データセットの形で検出する検出ユニット（１８２）と、
正規化が位置の正規化と向きの正規化から成り、検出した顔情報の正規化を行う正規化ユニット（１８３）と、
検出して正規化した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔を認識する比較ユニット（１８６）と、
を有し、
前記の位置情報が、輪郭座標点（１６８）を含む情報であり、出現率分布（１７６，１７７）は、如何なる数の輪郭座標点（１６８）が個々の評価領域（１２４〜１２７；１７０〜１７５）内に存在するのかを表すものとして、評価領域（１２４〜１２７；１７０〜１７５）に関する出現率分布（１７６，１７７）を計算して、その算出した出現率から特徴データセットを導き出す評価ユニットが配備されている装置。
【請求項１２】
請求項１１に記載の装置（１８０）において、当該の評価領域は、その下位の領域の奥行きの範囲だけが互いに異なる下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループを有することを特徴とする装置。
【請求項１３】
請求項１１又は１２に記載の装置（１８０）において、当該の評価領域は、検出した輪郭座標点（１６８）が存在する可能の有る、写像空間の一部の領域だけを包含する評価空間（１２１）内に有ることを特徴とする方法。
【請求項１４】
請求項１２又は１３に記載の装置（１８０）において、当該の下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループの下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）が互いに素であることを特徴とする装置。
【請求項１５】
請求項１１から１４までのいずれか一つに記載の装置（１８０）において、トレーニング用顔の集合に関して、トレーニング用顔情報データセットを取得することが可能であり、そこに含まれる顔情報を正規化することが可能であり、そのトレーニング用顔情報データセットにもとづき、評価空間（１２１）内に、それぞれトレーニング用顔の輪郭に割り当てることが可能な輪郭座標点（１６８）だけが存在するか、或いは各トレーニング用顔情報データセットに関して、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点（１６８）が存在するように、当該の評価空間を求める形で評価ユニット（１８５）が構成されていることを特徴とする装置。
【請求項１６】
請求項１１から１５までのいずれか一つに記載の装置（１８０）において、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域（１２４〜１２７；１７０〜１７５）を求める形で評価ユニット（１８５）が構成されていることを特徴とする装置。
【請求項１７】
請求項１１から１６までのいずれか一つに記載の装置（１８０）において、当該の少なくとも一つの既知の特徴データセットを請求項１１から１６までのいずれか一つに記載の装置（１８０）を用いて算出することが可能であり、既知の特徴データセットを保存するためのデータメモリ（１８７）が配備されており、そのため、本装置が、比較ユニット（１８６）を用いた特徴データセットの比較機能を省略したモードで動作することが可能であることを特徴とする装置。
【請求項１８】
請求項１１から１７までのいずれか一つに記載の装置（１８０）において、当該のデータメモリがデータベースを有し、当該の少なくとも一つの既知の特徴データセットを既知の顔に関する識別情報と共にデータベース（１８８）に保存することが可能であることを特徴とする装置。
【請求項１９】
請求項１１から１８までのいずれか一つに記載の装置（１８０）において、トレーニング用顔の集合を認識対象の顔の真部分集合として選定するか、或いは認識対象の顔の集合と互いに素な集合として選定することを特徴とする装置。
【請求項２０】
請求項１１から１９までのいずれか一つに記載の装置（１８０）において、当該のトレーニング用顔の特徴データセットを既知の特徴データセットとして保存することを特徴とする装置。
【請求項２１】
顔（１００；１８１）を認識するための顔認識モジュール（２００）であって、
検出した顔情報が顔（１００；１８１）の表面輪郭に関する位置情報を含む形で検出された顔（１００；１８１）の三次元顔情報を顔情報データセットの形で受信するためのインタフェース（２０１）と、
顔情報に対して、位置の正規化と向きの正規化から成る正規化を実行する正規化ユニット（２０２）と、
検出した顔情報から導き出した特徴データセットを既知の顔の少なくとも一つの既知の特徴データセットと比較し、一つ以上の所定の比較基準を満たした場合に、その既知の顔として顔（１００；１８１）を認識する比較ユニット（２０８）と、
を有し、
前記の位置情報が、輪郭座標点（１６８）を含む情報であり、出現率分布（１７６，１７７）は、如何なる数の輪郭座標点（１６８）が個々の評価領域（１２４〜１２７；１７０〜１７５）内に存在するのかを表すものとして、写像空間の評価領域（１２４〜１２７；１７０〜１７５）に関する出現率分布（１７６，１７７）を計算して、算出した出現率から特徴データセットを導き出す評価ユニット（２０３）が配備されている顔認識モジュール。
【請求項２２】
請求項２１に記載の顔認識モジュール（２００）において、当該の評価領域（１２４〜１２７；１７０〜１７５）は、その下位の領域の奥行きの範囲だけが互いに異なる下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループを有することを特徴とする顔認識モジュール。
【請求項２３】
請求項２１又は２２に記載の顔認識モジュール（２００）において、当該の評価領域（１２４〜１２７；１７０〜１７５）は、検出した輪郭座標点（１６８）が存在する可能の有る、写像空間（１２０）の一部の領域だけを包含する評価空間（１２１）内に有ることを特徴とする顔認識モジュール。
【請求項２４】
請求項２１から２３までのいずれか一つに記載の顔認識モジュール（２００）において、当該の下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）の少なくとも一つのグループの下位領域（１３１〜１３６；１４１〜１４４，１４５〜１４８）が互いに素であることを特徴とする顔認識モジュール。
【請求項２５】
請求項２１から２４までのいずれか一つに記載の顔認識モジュール（２００）において、トレーニング用顔の集合に関するインタフェース（２０１）を介して、トレーニング用顔情報データセットを受信することが可能であり、そのトレーニング用顔情報データセットにもとづき、評価空間（１２１）内に、それぞれトレーニング用顔に割り当てることが可能な輪郭座標点（１６８）だけが存在するか、或いは各トレーニング用顔情報データセットに関して、それぞれ対応するトレーニング用顔に割り当てることが可能な少なくとも所定の百分率の輪郭座標点（１６８）が存在するように、当該の評価空間（１２１）を求る形で評価ユニット（２０３）が構成されていることを特徴とする顔認識モジュール。
【請求項２６】
請求項２５に記載の顔認識モジュール（２００）において、個々のトレーニング用顔の特徴データセットが最大限互いに異なるように、評価領域（１２４〜１２７；１７０〜１７５）を求める形で評価ユニット（１８５）が構成されていることを特徴とする顔認識モジュール。
【請求項２７】
請求項２１から２６までのいずれか一つに記載の顔認識モジュール（２００）において、インタフェース（２０１）又は別のインタフェース（２０４）を介して、当該の導き出された顔の特徴データセット及び／又は当該の導き出されたトレーニング用顔情報データセットの特徴データセットを出力することが可能であることを特徴とする顔認識モジュール。
【請求項２８】
請求項２１から２７までのいずれか一つに記載の顔認識モジュール（２００）において、インタフェース（２０１）、別のインタフェース（２０４）或いは追加のインタフェース（２０７）を介して、当該の少なくとも一つの特徴データセットと、場合によっては、識別情報とをデータベース（２０５）から読み出すことが可能であることを特徴とする顔認識モジュール。
【国際調査報告】
2010504575.tif 000014
2010504575.tif 000015
2010504575.tif 000016
2010504575.tif 000017