(57)【要約】【課題】  リファレンス映像が少ない場合であっても、認識率を向上できる映像認識システムを提供する。【解決手段】  第１映像を入力する映像入力装置９０と、複数のリファレンス映像を保存するデータベース９２と、第１映像およびリファレンス映像を複数のサブ領域に分割し、第１映像の各サブ領域とリファレンス映像の対応するサブ領域とをそれぞれ比較し、この比較結果に基づいて、第１映像と最大の相関を有するリファレンス映像を決定する比較部（９１）とを含む映像認識システム。【選択図】      図１
2006024219.tif 000002
【特許請求の範囲】
【請求項１】
第１映像を入力する映像入力装置と、
複数のリファレンス映像を保存するデータベースと、
前記第１映像および前記リファレンス映像を複数のサブ領域に分割し、前記第１映像の各サブ領域と前記リファレンス映像のサブ領域とをそれぞれ比較し、この比較結果に基づいて、前記第１映像と最大の相関を有するリファレンス映像を決定する比較部とを含むこと、
を特徴とする映像認識システム。
【請求項２】
前記比較部は、
前記第１映像のサブ領域と前記リファレンス映像のサブ領域とをそれぞれ比較した後、前記第１映像のサブ領域との相関が最も大きなサブ領域を有するリファレンス映像のＩＤ情報を保存し、所定個数の前記第１映像およびリファレンス映像のサブ領域を比較した後、前記保存されたＩＤ情報を検索して、前記第１映像のサブ領域に対応するリファレンス映像のサブ領域数が最も多いリファレンス映像を、前記第１映像との相関が最も大きなリファレンス映像として決定すること、
を特徴とする請求項１に記載の映像認識システム。
【請求項３】
前記比較部は、
前記第１映像の第ｉサブ領域と各リファレンス映像の第ｉサブ領域とを比較し、前記第１映像の第ｉサブ領域と最大の相関を有するリファレンス映像の第ｉサブ領域を含むリファレンス映像を決定すること、
を特徴とする請求項１に記載の映像認識システム。
ただし、Ｄは、前記第１映像のサブ領域の数であり、ｉは、１ないしＤの整数である。
【請求項４】
前記映像認識システムは、
前記第１映像の各サブ領域を、前記第１映像のサブ領域の平均映像と比較して、照明および／または遮蔽の影響を除去し、補正された第１映像を生成する補正部をさらに含み、
前記比較部は、前記補正された第１映像のサブ領域と、前記リファレンス映像のサブ領域とを比較して、最大の相関を有するリファレンス映像を決定すること、
を特徴とする請求項１に記載の映像認識システム。
【請求項５】
前記映像入力装置は、
前記第１映像を前記比較部に入力するカメラ、前記第１映像を数値化して前記比較部に入力するスキャナ、および前記第１映像を保存するメモリから読み取られた第１映像を前記比較部に出力するメモリリーダのうち、何れか１つであること、
を特徴とする請求項１に記載の映像認識システム。
【請求項６】
前記映像入力装置が、前記メモリリーダであるとき、前記メモリはＩＤカードに含まれること、
を特徴とする請求項５に記載の映像認識システム。
【請求項７】
前記ＩＤカードは、
旅行文書カードを含むこと、
を特徴とする請求項６に記載の映像認識システム。
【請求項８】
前記比較部は、
前記第１映像の各サブ領域と前記リファレンス映像のサブ領域とをそれぞれ比較し、この比較結果に基づいて、前記第１映像と最大の相関を有するリファレンス映像を決定するプロセッサを備えること、
を特徴とする請求項１に記載の映像認識システム。
【請求項９】
前記比較部は、
前記第１映像の少なくとも１つのサブ領域と前記リファレンス映像のサブ領域とをそれぞれ比較し、この比較結果に基づいて、前記第１映像と最大の相関を有するリファレンス映像を決定する複数のプロセッサを備えること、
を特徴とする請求項１に記載の映像認識システム。
【請求項１０】
前記比較部および前記補正部は、プロセッサで構成されること、
を特徴とする請求項４に記載の映像認識システム。
【請求項１１】
前記比較部は、第１プロセッサであり、前記補正部は、前記第１プロセッサと異なる第２プロセッサであること、
を特徴とする請求項４に記載の映像認識システム。
【請求項１２】
前記比較部は、
前記第１映像のサブ領域をデータベースに保存する機能をさらに含むこと、
を特徴とする請求項４に記載の映像認識システム。
【請求項１３】
前記データベースは、
前記比較部を有するコンピュータ、または該コンピュータとは異なるコンピュータに備えられた記録媒体であること、
を特徴とする請求項１に記載の映像認識システム。
【請求項１４】
前記第１映像は、
非剛体表面を有するものについての映像であること、
を特徴とする請求項１に記載の映像認識システム。
【請求項１５】
前記非剛体表面は、顔の表面であること、
を特徴とする請求項１４に記載の映像認識システム。
【請求項１６】
前記第１映像の各サブ領域は、高さｈと幅ｗとを有し、
前記第１映像は、高さＨと幅Ｗとを有し、
前記第１映像のサブ領域数は、ｉｎｔ（Ｈ／ｈ）×ｉｎｔ（Ｗ／ｗ）であること、
を特徴とする請求項１に記載の映像認識システム。
【請求項１７】
前記第１映像および前記リファレンス映像のサブ領域の前記所定個数は、前記第１映像のサブ領域の総数以下であること、
を特徴とする請求項２に記載の映像認識システム。
【請求項１８】
前記第１映像および前記リファレンス映像のサブ領域の前記所定個数は、
前記所定個数だけ形成された前記第１映像および前記リファレンス映像のサブ領域の比較に基づいて、他のリファレンス映像が統計的に前記第１映像と最大の相関を有し得ないとき、前記リファレンス映像のうち、１つが最大の相関を有するものと決定されるサブ領域の数であること、
を特徴とする請求項２に記載の映像認識システム。
【請求項１９】
前記比較部は、
最大の相関を有するリファレンス映像のＩＤ情報を出力すること、
を特徴とする請求項１に記載の映像認識システム。
【請求項２０】
前記ＩＤ情報は、前記リファレンス映像に記録された人の名前を含むこと、
を特徴とする請求項１９に記載の映像認識システム。
【請求項２１】
前記比較部は、
前記第１映像および前記リファレンス映像の第ｊサブ領域を比較して、第ｊサブ領域についてラベル１を次の数式１のように計算し、
【数１】
2006024219.tif 000018
Ｄ次元の決定行列
2006024219.tif 000019
を、次の数式２のように計算すること、
【数２】
2006024219.tif 000020
を特徴とする請求項１に記載の映像認識システム。
ここで、ｚjxは、前記第１映像の第ｊサブ領域であり、ｘjkは、前記リファレンス映像の第ｊサブ領域であり、Ｄは、サブ領域の数であり、Ｎは、リファレンス映像の数である。
【請求項２２】
前記リファレンス映像と比較されるように前記第１映像を正規化するために、少なくとも１つの前記第１映像についての特徴を確認する特徴確認部をさらに含み、
前記比較部は、複数のサブ領域に分割された前記正規化された第１映像を受信すること、
を特徴とする請求項１に記載の映像認識システム。
【請求項２３】
各リファレンス映像のサブ領域と、リファレンス映像のサブ領域の平均映像とをそれぞれ比較して、各リファレンス映像のサブ領域で、照明および／または遮蔽の影響を除去し、補正されたリファレンス映像を生成する補正部をさらに含み、
前記比較部は、前記補正された第１映像のサブ領域と補正されたリファレンス映像のサブ領域とを比較して、最大の相関を有するリファレンス映像を決定すること、
を特徴とする請求項４に記載の映像認識システム。
【請求項２４】
前記データベースは、補正されたリファレンス映像を保存し、各リファレンス映像のサブ領域は、リファレンス映像のサブ領域の平均映像とそれぞれ比較して、各リファレンス映像のサブ領域で照明および／または遮蔽の影響を除去し、
前記比較部は、前記補正された第１映像のサブ領域と補正されたリファレンス映像のサブ領域とを比較して、最大の相関を有するリファレンス映像を決定することを特徴とする請求項４に記載の映像認識システム。
【請求項２５】
前記平均映像は、次の数式３のように計算されるリファレンス映像のサブ領域数につもとづく平均からなり、
【数３】
2006024219.tif 000021
（ただし、Ｎは、学習映像セットの映像の枚数）
前記学習映像セットは、前記リファレンス映像であること、
を特徴とする請求項４に記載の映像認識システム。
【請求項２６】
第１映像を入力する映像入力装置と、
複数のリファレンス映像を保存するデータベースと、
複数のサブ領域に分割された前記第１映像を取得し、前記第１映像の各サブ領域を第１映像のサブ領域の平均映像とそれぞれ比較して、照明および／または遮蔽の影響を除去することで、補正された第１映像のサブ領域を生成し、補正された第１映像を生成する補正部とを含むこと、
を特徴とする映像補正システム。
【請求項２７】
前記補正部は、
前記補正された第１映像のサブ領域を生成するために、前記第１映像の各サブ領域についての適応的なガンマ補正をさらに行うこと、
を特徴とする請求項２６に記載の映像補正システム。
【請求項２８】
前記補正部は、
前記第１映像の第ｋのサブ領域と、前記平均映像の第ｋのサブ領域との距離を最小化するように、前記テスト映像の各サブ領域についてのガンマパラメータを次式にもとづいて選択すること、
【数４】
2006024219.tif 000022
を特徴とする請求項２７に記載の映像補正システム。
ただし、Ｉkは、前記第１映像の第ｋ番目のサブ領域であり、Ｉk0は、前記平均映像の第ｋ番目のサブ領域であり、Ｉは、前記第１映像であり、Ｉ0は、前記平均映像であり、ｃは、定数である。
【請求項２９】
前記平均映像は、次の数式３のように計算されるリファレンス映像のサブ領域数にもとづく平均からなり、
【数３】
2006024219.tif 000023
（ただし、Ｎは、学習映像セットの映像の枚数）
前記学習映像セットは、前記リファレンス映像であること、
を特徴とする請求項２８に記載の映像補正システム。
【請求項３０】
前記補正部は、
前記第１映像の各サブ領域について、ヒストグラム等化をさらに行うこと、
を特徴とする請求項２６に記載の映像補正システム。
【請求項３１】
前記映像入力装置は、
前記第１映像を前記比較部に入力するカメラ、前記第１映像を数字に変換して前記比較部に入力するスキャナ、および前記第１映像を保存するメモリを収容し、前記メモリから読み取られた第１映像を前記比較部に出力するメモリリーダのうち、何れか１つであること、
を特徴とする請求項２６に記載の映像補正システム。
【請求項３２】
前記補正された第１映像を、補正された映像のデータベースの一部として、記録媒体に記録する記録部をさらに含むこと、
を特徴とする請求項２６に記載の映像補正システム。
【請求項３３】
前記補正部から前記補正された第１映像を受信し、前記第１映像と前記リファレンス映像とを比較し、この比較に基づいて、前記第１映像と最大の相関を有するリファレンス映像を決定する比較部とを含む相関システムをさらに含むこと、
を特徴とする請求項２６に記載の映像補正システム。
【請求項３４】
前記比較部は、前記最大の相関を決定するために、主成分分析、線型判別分析および相関方法のうち、１つを行うこと、
を特徴とする請求項３３に記載の映像補正システム。
【請求項３５】
複数のサブ領域に分割された取得映像と、前記サブ領域に対応するサブ領域に分割されたリファレンス映像との対応関係を決定する映像認識方法であって、
前記取得映像のサブ領域のうち１つと、前記リファレンス映像の対応するサブ領域との間に最大となる第１の相関を決定するステップと、
前記取得映像の他のサブ領域と、前記リファレンス映像の対応するサブ領域との間に最大となる第２の相関を決定するステップと、
前記第１の相関および前記第２の相関に基づいて、前記リファレンス映像のうち、１つを選択するステップとを含むこと、
を特徴とする映像認識方法。
【請求項３６】
前記取得映像の他のサブ領域と、前記リファレンス映像の対応するサブ領域との最大の相関を決定するステップを更に含み、
前記選択するステップは、
前記取得映像のサブ領域について最大の相関を有するものと最多決定されたリファレンス映像を選択すること、
を特徴とする請求項３５に記載の映像認識方法。
【請求項３７】
取得映像の照明および／または遮蔽の影響を除去する映像補正方法であって、
前記取得映像の各サブ領域について、前記サブ領域と、前記サブ領域の平均映像との差を最小化するサブ領域ファクターを決定するステップと、
前記取得映像の全体が補正されるように、前記サブ領域ファクターをサブ領域に適用してそれぞれ補正するステップとを含むこと、
を特徴とする映像補正方法。
【請求項３８】
前記サブ領域ファクターは、
前記サブ領域と、前記サブ領域の平均映像との差を最小化する適応的なガンマ補正のガンマパラメータを含むこと、
を特徴とする請求項３７に記載の映像補正方法。
【請求項３９】
前記補正された取得映像を保存するステップをさらに含むこと、
を特徴とする請求項３７に記載の映像補正方法。
【請求項４０】
前記補正された取得映像と他の映像との相関を決定するように、前記補正された取得映像を使用するステップをさらに含むこと、
を特徴とする請求項３７に記載の映像補正方法。
【請求項４１】
前記補正された取得映像を使用するステップは、
前記補正された取得映像のサブ領域のうち１つと、前記他の映像の対応するサブ領域との相関を決定するステップと、
前記補正された取得映像のサブ領域のうち、他の１つと、前記他の映像の対応するサブ領域との他の相関を決定するステップと、
前記相関と前記他の相関とに基づいて、前記補正された取得映像と前記他の映像との全体的な対応関係を決定するステップとを含むこと、
を特徴とする請求項４０に記載の映像補正方法。
【請求項４２】
前記補正された取得映像を使用するステップは、主成分分析法または線型判別分析法を使用すること、
を特徴とする請求項４０に記載の映像補正方法。
【請求項４３】
コンピュータに請求項３５に記載の映像認識方法を実行させるプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【請求項４４】
コンピュータに請求項３７に記載の映像補正方法を実行させるプログラムが記録されたコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、保存された映像とマッチングされる映像との比較を通じた映像認識に係り、さらに詳細には、映像のサブ領域の明るさ、表情および／または他の条件を補完するように、比較および／または正規化することによって、比較の正確性を改善した顔認識に関する。
【背景技術】
【０００２】
顔認識は、生体認識の応用分野における重要な課題である。特に、自動顔認識は、紅彩または指紋認識技術と比較されるものとして関心が高い。そのような顔認識の技術は、セキュリティ目的のために特に関心が高まっている。例えば、ここ１、２年の間に、多くの国家で生体認識パスポートのために、自動顔認識技術が必須分野として選択された。さらに、顔認識の技術は、犯罪の予防、国家セキュリティおよび個人セキュリティを目的とする他の分野でも効果的であると考えられる。また、顔認識の技術は、パターン認識およびコンピュータビジョンの開発を促進する側面がある。
【０００３】
従来の自動顔認識の技術における問題点は、認識の精度が低いため、監視者（inspector）（すなわち、ユーザー）が顔認識の補助をする必要性が大きいということである。特に、顔が剛体ではなく、多様な表情が可能であるため、顔認識を行うために、顔テクスチャ、顔の３次元幾何を計算する必要があり、さらに、ガラスや髪の毛による特徴の遮断、および複雑な照明環境を計算する必要がある。そのような要素は、顔認識の精度を低下させる。
最近、従来の顔認識アルゴリズムおよび技術を比較して評価する研究が行われた。そのような研究としては、非特許文献１および非特許文献２がある。
これらの研究によると、従来のアルゴリズムが顔表情、照明、姿勢および遮蔽の変化に強くないということを示している。
【０００４】
また、顔認識を行うに当って、特徴の選択が適切に行われることが重要である。適切な特徴が選択されれば、分類が相対的に簡単な作業となるためである。例えば、適切な特徴が選択されれば、ユークリッド距離に基づくＫ−ｍｅａｎｓ法またはＫ近傍法（K Nearest Neighbor：ＫＮＮ）のような簡単な分類技術であっても良好な結果が得られる。しかし、そのような方法は、適切な特徴サブ空間で同じクラスに属するサンプルがガウス分布を有し、他のクラス間の重畳が少なければならないという仮定のもとで行われる。しかし、その方法を顔認識に試験して適用するには、多大な作業が必要であるため、その方法を行うために必要な適切な特徴サブ空間をうまく選択することができない。例えば、顔の表現および特徴の選択のための適切な特徴サブ空間を、主成分分析（Principal Components Analysis：ＰＣＡ）、線型判別分析（Linear Discriminant Analysis：ＬＤＡ）またはＬＰＰ（Locality Preserving Projection）法で決定することは難しい。
なお、前記の主成分分析、線型判別分析およびＬＰＰ方法は、非特許文献３、非特許文献４および非特許文献５に説明されている。
【０００５】
顔認識における特徴の選択が難しい理由のうち１つは、顔映像が非線型多様体（すなわち、非線型面または非線型空間）からなることである。複雑な顔多様体のために、映像間の対応を決定するために使用される従来のユークリッド距離（すなわち、２つの点間の直線距離）は、顔認識の作業ではうまく作用できない。この問題を解決するために、ＩＳＯＭＡＰを使用した測地線距離（すなわち、線型または非線型の２つの点間の最短距離）が導入された。これについての詳細は、非特許文献６に説明されている。しかし、ＩＳＯＭＡＰを実際に使用するためには、パラメータ空間を、重なり合う凸状のピースに分解しなければならないということが何人かの研究者によって明らかにされている。そのように、多様体を用いた手法の難しさは、実際の使用時に、人物の特定の多様体を記述できる程度に充分なサンプルを提供できないという点にある。したがって、多様体を用いた手法を実際に使用するためは困難さが伴う。
【非特許文献１】D．Blackburn et al "Facial Recognition Vendor Test 2000:Evaluation Report, 2000"
【非特許文献２】P.J.Phillips et al "The FERETE valuation Methodology for Face Recognition Algorithms: IEEE Trans. On PAMI, 22(10):1090〜1103, 2000"
【非特許文献３】M.Turk et al "Face Recognition Using Eigenfaces, IEEE, 1991"
【非特許文献４】P.N.Belhumeur et al "Eigenfaces vs. Fisherfaces : Recognition Using Class Specific Projection, IEEE Trans. PAMI, vol19, No.7, pp.711-720, 1997"
【非特許文献５】Xiaofei He et al "Learning a Locality Preserving Subspace for Visual Recognition, Proceedings of the Ninth IEEE International Conference on Computer Vision, pp.385-392, ICCV,2003"
【非特許文献６】J.B.Tenebaum et al "A Global Geometric Framework for Nonlinear Dimensional Reduction, Science, vol290, 22 December 2000"
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明が解決しようとする技術的課題は、リファレンス映像が少ない場合であっても、映像の認識率を向上できる映像認識システムおよび映像認識方法を提供することである。
また、本発明が解決しようとする他の技術的課題は、リファレンス映像が少ない場合であっても映像の認識率を向上させることができる映像補正システムおよび映像補正方法を提供することである。
【課題を解決するための手段】
【０００７】
前記の技術的課題を解決するためになされた本発明に係る映像認識システムは、第１映像を入力する映像入力装置と、複数のリファレンス映像を保存するデータベースと、第１映像およびリファレンス映像を複数のサブ領域に分割し、第１映像の各サブ領域とリファレンス映像の対応するサブ領域とをそれぞれ比較し、この比較結果に基づいて、第１映像と最大の相関を有するリファレンス映像を決定する比較部とを含むことを特徴としている。
【０００８】
また、前記の技術的課題を解決するためになされた本発明に係る映像認識方法は、複数のサブ領域に分割された取得映像と、サブ領域に対応するサブ領域に分割されたリファレンス映像との対応関係を決定する映像認識方法であって、取得映像のサブ領域のうち１つと、リファレンス映像の対応するサブ領域との間に最大となる第１の相関を決定するステップと、取得映像の他のサブ領域と、前記リファレンス映像の対応するサブ領域との間に最大となる第２の相関を決定するステップと、第１の相関および第２の相関に基づいて、リファレンス映像のうち１つを選択するステップとを含むことを特徴としている。
【０００９】
また、前記の他の技術的課題を解決するためになされた本発明に係る映像補正システムは、第１映像を入力する映像入力装置と、リファレンス映像セットを保存するデータベースと、複数のサブ領域に分割された第１映像を取得し、第１映像の各サブ領域を対応する第１映像のサブ領域の平均映像と比較して、照明および／または遮蔽の影響を除去することで補正された第１映像のサブ領域を生成し、補正された第１映像のサブ領域に基づいて補正された第１映像を生成する補正部とを含むことを特徴としている。
【００１０】
さらに、前記の他の技術的課題を解決するためになされた本発明に係る映像補正方法は、取得映像の照明および／または遮蔽の影響を除去する方法において、取得映像の各サブ領域について、サブ領域と、サブ領域の平均映像との差を最小化するサブ領域ファクターを決定するステップと、取得映像の全体が補正されるように、サブ領域ファクターを対応するサブ領域に適用するステップと、を含むことを特徴とする。
【発明の効果】
【００１１】
本発明によれば、映像セットごとのレファレンス映像の枚数が少ない場合であっても、映像の認識率を向上させることができる。
また、入力された映像に対してサブ領域別に輝度を調節することで、相異なる照明条件下でも認識率を改善できる。
また、最重要特徴抽出（ＭＩＦＥ：Most Informative Feature Extraction）を通じて、各サブ領域が分類器として動作し、各サブ領域が最も多く属するクラスを、最終クラスとして分類する多数決方式を適用することで、認識率を改善できる。
【００１２】
従来技術の多くの情報特徴抽出方法または他の方法を使用するときに、本発明に係るガンマ補正またはサブ領域に基づくヒストグラム等分布化変換（Sub-region based Histogram Equalization：ＳＨＥ）を適用することで、相異なる照明下で行われる顔認識作業の認識率を効果的に改善できる。
【００１３】
また、ガンマ補正またはＳＨＥは、輝度の調節に効果的であり、相異なる表情、照明変化または遮蔽があるとき、顔認識において相対的にエラー率を低減することができる。
また、最重要特徴抽出（ＭＩＦＥ：Most Informative Feature Extraction）は、単純なユークリッド距離と複雑な測地線距離とをトレードオフすることで、他の分類方法、例えば、高次元の特徴ベクトルを１次元距離にマッピングするＫ−ｍｅａｎｓクラスタリングまたはＫ近傍法では使用できない分類情報を利用でき、したがって、多くの学習サンプルを必要とする複雑な多様体および測地線距離を計算する必要がないという長所がある。
【発明を実施するための最良の形態】
【００１４】
以下、添付した図面を参照しつつ、本発明の実施の形態を詳細に説明する。
図９は、本実施の形態に係る顔認識を行う映像認識システムの装置構成の概略ブロック図である。図９に示すように、カメラ９０は、コンピュータ９１に連結されている。コンピュータ９１は、既知の顔についてのリファレンス映像が保存されているデータベース９２と接続している。カメラ９０は、識別される顔の映像を取得するために使用される。本実施の形態において、カメラ９０は、５メガピクセルであって、３２０×２４０（ピクセル）の解像度を有するデジタルカメラを使用した。
なお、カメラ９０は、他の解像度を有してもよく、ＰＤＡ（Personal Digital Assistant）、電話機、セキュリティシステム等に使用されるカメラまたは写真撮影の可能な他の類似する装置であってもよい。また、カメラ９０以外に、デジタル写真ではない映像を走査して入力するためのスキャナ（図示せず）をデジタル映像入力装置として使用してもよく、また、デジタル映像を直接コンピュータ９１に入力することも可能である。
さらに、図９では、カメラ９０が直接コンピュータ９２と接続されているが、必ずしも接続されている必要はない。その代わりに、スキャナ（図示せず）を通じて、または記録媒体から映像をアップロードして映像を伝送したり、有線または無線伝送技術を使用して、ネットワークを通じて伝送することも可能である。
テスト映像がコンピュータ９０にローディングされれば、コンピュータ９１は、テスト映像の特徴点を識別して、テスト映像をサブ領域に分割する。コンピュータ９１は、分割されたサブ領域について後述する、サブ領域に基づく適応的なガンマ補正、またはＳＨＥおよび／またはＭＩＦＥを行う。
【００１５】
コンピュータ９１は、補正された入力映像のサブ領域を、データベース９２に保存されたリファレンス映像の該当するサブ領域と比較する。各補正されたサブ領域の比較結果に基づいて、コンピュータ９１は、後述される多数決方式を利用して、どのリファレンス映像がテスト映像と最も近いかを判別する。
【００１６】
図９に示した実施の形態で、コンピュータ９１は、ＣＰＵクロックが１ＧＨｚ、ＲＡＭ（Random Access Memory）容量が２５６Ｍｂｙｔｅｓのパーソナルコンピュータである。しかし、コンピュータ９１は、他の形態のコンピュータを用いることも可能であり、汎用または特殊目的用のコンピュータであってもよく、携帯可能または携帯できない形態であってもよい。さらに、コンピュータ９１は、グリッドコンピュータまたは並列コンピュータを通じて、テスト映像と、データベース９２に保存されたリファレンス映像との対応するサブ領域を集合的に分析する形態を有するコンピュータであってもよい。コンピュータ９１が携帯可能であれば、コンピュータ９１は、ノートブックタイプのポータブルコンピュータであってもよく、ＰＤＡ（Personal Digital Assistant）等にコンピュータ９１が計算した比較結果を送信して表示させる構成であってもよい。
【００１７】
また、データベース９２は、説明のためにコンピュータ９１と別体に分離されて示されているが、データベース９２は、ネットワーク等を通じた伝送による時間を減らすために、コンピュータ９１に内蔵されていることが好ましい。データベース９２がコンピュータ９１と分離されていれば、データベース９２は、ＬＡＮ（Local Area Network）、インターネット、または、他の有線または無線ネットワークを介してコンピュータ９１に接続される。このような場合、リファレンス映像が、セキュリティ目的で、人を識別するために使用される場合は、それぞれ異なる位置で、カメラ９０によって撮像された人を認識するように、データベース９２のリファレンス映像を、相異なる位置にある複数のコンピュータ９１が使用することも可能である。
したがって、データベース９２は、複数のコンピュータ９１に対して、１つであることも可能である。また、該当コンピュータ９１内で使用されるように、各場所にメーリングまたは伝送されることも可能である。
または、１箇所のデータベース９２は、各場所からネットワークを通じて更新することも可能である。このようなデータベース９２は、司法当局によるパスポートの確認または人物の識別を目的として別個の場所（例えば、政府機関）に設置することも可能である。
【００１８】
前記のようなデータベース９２は、記録媒体、例えば、ハードディスクドライブのような磁気記録媒体、光磁気記録媒体、ＣＤ（Compact Disc）またはＤＶＤ（Digital Versatile Disc）のような光記録媒体、または、ブルーレイディスクおよびＡＯＤ（Advanced Optical Disc）のような次世代光ディスク等に保存することが可能である。また、データベース９２は、読み取り専用、追記または再記録が可能な記録媒体であってもよい。データベース９２が、追記または再記録が可能であれば、リファレンス映像として、すべての映像をデータベース９２に再伝送することなく、新たな映像をリファレンス映像に反映することができる。すなわち、ある人物が任意の場所で初めて認識され、その他の場所において、その人物の映像をデータベース９２に反映するように更新するときに有効である。
【００１９】
図１は、本実施の形態に係る顔認識方法についてのフローチャートである。図１を参照しつつ、顔認識方法を詳しく説明する。まず、図９に示したコンピュータ９１で、カメラ９０を通じて入力された顔映像について前処理する（ステップ１０）。この前処理には、顔映像に混入されたノイズの除去、顔のサイズや位置を所望のサイズと位置に合わせる顔映像の正規化などが含まれる。
【００２０】
次に、前処理された顔映像から特徴を検出する（ステップ１１）。特徴の検出は、顔構成成分の位置、形状、幅、長さなどに注目して、幾何学的な特徴点を探す構造的な方法、極座標系変換、ウェーブレット変換のような数学的な変換フィルタ関数を利用する方法、そして、主成分分析法、局所特徴分析法（Local Feature Analysis）、線形判別分析のような統計的なモデルを利用する方法などがある。他の例としては、Ｋ−Ｌ変換、神経網モデル、および３次元情報を得るためのベイズ確率モデルを使用してもよい。
特徴を検出する方法を例として挙げれば、まず、顔映像の特徴部分に特徴点を形成する。特徴点は、例えば、瞳孔、鼻および口のような部分に形成できる。そして、特徴点が形成されれば、コンピュータ９１は、映像上で特徴点の座標を計算して、この座標を利用して映像を正規化する。そして、特徴抽出が完了すれば、特徴点間の共線性と距離との比率を維持するように、アフィン変換などを通じて映像を変換する。例えば、図２Ａに示した映像を、図２Ｂに示した映像のように変換する。
【００２１】
次に、顔映像を複数のサブ領域に分割する（ステップ１２）。ここで、顔認識を行うために、各サブ領域の適切なサイズを選択することが重要である。もし、サブ領域が非常に小さければ、異なる人の顔が、局所的には同じになって、認識が難しくなることもある。それに対し、サブ領域が非常に大きければ、異なる位置から照明が照らした同じ人物に対する映像が除外されて、認識がさらに難しくなることもある。
このサブ領域数は、実験的に決めることもある。例えば、サブ領域のサイズ別に映像に対するエラー率を求める実験結果によって、そのサイズを決めることができる。ここで、次の表１は、図４Ａに示した顔映像のデータベースであるイェールＢ（yale-B）の映像に対するエラー率を求めた実験結果を示したものである。
【００２２】
【表１】
2006024219.tif 000003
【００２３】
表１によれば、９×９（ピクセル）のサイズが最もエラー率が低く、適切なサイズであることが分かる。これにより、図２Ｂの顔映像を図２Ｃに示したように、複数のサブ領域に分割できる。図２Ｂに示した顔映像の高さがＨ、幅がＷであれば、顔映像のサイズは、Ｈ×Ｗで表現され、それぞれ高さ方向に９０個、幅方向に６３個ずつの特徴ベクトルを有するならば、全体特徴ベクトルＩｉ（但し、ｉ＝１、２、…Ｎ）は、９０×６３＝５６７０個になる。それを、ｈ×ｗ＝９×９＝８１個のサイズのサブ領域に分ければ、全体サブ領域数は、Ｄ＝ｉｎｔ（Ｈ／ｈ）×ｉｎｔ（Ｗ／ｗ）＝１０×７＝７０になる。図２Ｃに示したように、顔映像は７０個のサブ領域に分割され、そのサブ領域が顔映像の特徴空間になる。
【００２４】
次に、コンピュータ９１は、分割されたサブ領域に対して選択的に輝度を調節する（ステップ１３）。輝度の調節は、ガンマ補正またはＳＨＥ等を使用することができる。
【００２５】
ガンマ補正は、照明の変化による顔映像の変化を補正するためのものであって、相異なる照明下で取得された映像を、同じ照明下で取得された映像のように調節する。輝度は、リファレンス映像全体について平均した平均映像の輝度を基準とする。サブ領域ファクターの例であるガンマパラメータは、元の映像Ｉと、平均映像Ｉ0との各サブ領域別距離を最小化するように選択される。ここで、平均映像は、次の数式（１）のように、リファレンス映像として形成された学習映像セットを平均することで得られる。
【００２６】
【数５】
2006024219.tif 000004
【００２７】
ここで、Ｎは、学習セットに含まれるリファレンス映像の枚数である。
各サブ領域のガンマパラメータは、テスト映像の第ｋ番目のサブ領域Ｉと、平均映像の第ｋ番目のサブ領域との距離を最小化するように選択される。ガンマパラメータγによって、テスト映像の第ｋ番目のサブ領域のピクセル値
2006024219.tif 000005
は、次式のように補正される。
【００２８】
【数６】
2006024219.tif 000006
【００２９】
ここで、
2006024219.tif 000007
は、ガンマ補正された映像の第ｋ番目のサブ領域のピクセル値であり、関数ｄｉｓは、距離関数であり、ｃは係数である。また、
2006024219.tif 000008
は、平均映像の第ｋ番目のサブ領域のピクセル値である。
【００３０】
ここで、図３Ａは、イェールＡという顔映像データベースに含まれる顔映像を示す図面である。イェールＡデータベースは、それぞれ異なる条件、例えば、異なる表情、異なる照明およびガラスの後ろに遮蔽された条件等で取得した顔映像を含んでいる。図３Ｂは、図３ＡのイェールＡの顔映像について、前記の数式４によってガンマ補正した結果を示す図面である。
図４Ａは、異なる顔映像データベースであるイェールＢの第４サブセットに含まれる顔映像を示す図面である。図４Ｂは、図４Ａの顔映像のガンマ補正結果を示す図面である。さらに、図４Ｃは、図４Ａの顔映像について、ＳＨＥを行った結果を示す図面である。
図３Ｂ、図４Ｂおよび図４Ｃのガンマ補正された映像によれば、照明の影響が大きく減少したことが分かる。
ガンマ補正は、従来の主成分分析法または相関方法に適用してもよい。
【００３１】
次に、相関方法は、リファレンス映像とテスト映像との直接ユークリッド距離、または正規化されたユークリッド距離を計算して最小距離を探し、それにより、テスト映像についてのラベルを求める方法、すなわち、テスト映像が属する最終クラスを得る方法である。
【００３２】
次いで、テスト映像に対してＭＩＦＥを行う（ステップ１４）。
ＭＩＦＥを簡単に説明するために、１つの映像ベクトルについてのクラス分類方法を説明する。まず、Ｃ個のクラスに属するＮ個の学習サンプルを仮定する。Ｄ次元の特徴空間で各サンプルｘiは、ベクトルであって、
2006024219.tif 000009
、ｉ＝１，２，…，Ｎ（ここで、Ｔは、転置行列を示す記号である）のように表現することができる。
各サンプルベクトルｘiは、クラスラベルｋ＝ｌ（ｘi）を有し、これは、ｘiが第ｋ番目のクラスに属するということを意味する。これを数式で表現すれば、次の通りである。
【００３３】
【数７】
2006024219.tif 000010
【００３４】
テストサンプルｚについて、ユークリッド距離またはマハラノビス距離に基づいて、ｚが第ｌ番目のクラスに属することを決定するクラスタリング基準を、ｚとサンプルベクトルとの距離を利用して、次式のように求めることができる。
【００３５】
【数８】
2006024219.tif 000011
【００３６】
ここで、関数ｄｉｓは、テストサンプルと平均ベクトルとのユークリッド距離またはマハラノビス距離である。
数式５および数式６によって、ｚが属するクラスｙ’i（ｚ）は、次式のように表現される。
【００３７】
【数９】
2006024219.tif 000012
【００３８】
顔認識で分類されるクラスは、認識対象になる人物である。すなわち、１人が１つのクラスに該当し、１つのクラスに表情および周辺環境によって、それぞれ異なる顔映像をリファレンス映像として複数を備え、同じクラスに属するリファレンス映像に対して、同じ人物であることを認識するように学習する。学習が完了すれば、テスト映像に対して認識が行われる。学習とテスト過程は同じであり、認識対象をあらかじめ知っていているか否かの違いがある。すなわち、学習は、認識対象をあらかじめ知っている場合であり、認識結果と認識対象との相違点を減らすように、認識アルゴリズムを繰り返して行うことであり、テストは、前記認識アルゴリズムによって、テスト映像と、各クラスを構成する映像であるリファレンス映像とを比較して、最終認識結果を出力することである。
【００３９】
本実施の形態で前記したサブ領域は、特徴空間を表すものであり、分割されたサブ領域の個数が特徴空間の次元になる。図２Ｂに示したサブ領域によれば、映像ベクトルは総５６７０個であり、サブ領域は７０個である。各サブ領域の映像ベクトルの次元は８１個である。
【００４０】
ここで、図５は、図１のＭＩＦＥについての詳細フローチャートである。図５に示したフローチャートを参照しつつ、ＭＩＦＥの手順を詳しく説明する。
まず、テスト映像の第ｊサブ領域と、リファレンス映像の第ｊサブ領域とをそれぞれ比較して（ステップ５０）、各サブ領域の対応関係を調べる。比較結果、対応関係が最も近いリファレンス映像が属するクラスにテスト映像の第ｊサブ領域をラベリングする（ステップ５１）。テスト映像Ｉxの第ｊサブ領域の映像ベクトルをｚjxとすれば、第ｊサブ領域のラベルは、次式のように決定される。
【００４１】
【数１０】
2006024219.tif 000013
【００４２】
ここで、Ｎは、リファレンス映像の個数である。
数式８によって、第ｊサブ領域が第ｌ番目のクラスに属すれば、次式のように表すことができる。
【００４３】
【数１１】
2006024219.tif 000014
【００４４】
その結果、Ｉxに対してＤ次元の決定行列である
2006024219.tif 000015
が得られ、サブ領域ごとに、どのクラスに属するかを分類できる。
【００４５】
図６は、各サブ領域別に分類する過程および分類結果を示す図面である。
参照符号６０のテスト映像に対してガンマ補正を行えば、参照符号６１の映像が得られる。同様に、Ｎ個のリファレンス映像６２に対してもガンマ補正が行われる。
次に、参照符号６１の映像の第ｊサブ領域と、ガンマ補正されたリファレンス映像６３の第ｊサブ領域とをそれぞれ比較する。例えば、図６に示すように、参照符号６１の左側上端の第１のサブ領域と、リファレンス映像６３の第１のサブ領域とがそれぞれ比較される（６４）。比較結果、参照符号６５のように、各サブ領域別に最も隣接したクラスを探すことができる。
次に、各サブ領域による多数決方式によって、テスト映像についての最終クラスを決定する（ステップ５２）。最終クラスの決定は、決定行列Ｙに対して、次式のように、サブ領域別に最も多く対応するクラスを最終クラスとして区分する。
【００４６】
【数１２】
2006024219.tif 000016
【００４７】
数式１０によれば、図６に示したリファレンス映像のうち、第１リファレンス映像６６が最終クラスとして区分される。そして、最終クラスに区部された第１リファレンス映像６６に該当する人物（そのＩＤ）を、テスト映像についての認識結果として出力する（図１のステップ１５）。
【００４８】
図１０は、本実施の形態の顔認識システムの概念ブロック図を示す図面である。図１０に示した顔認識システムは、図１に示した装置構成を使用して具現され、またはマルチプロセッサを使用して具現することも可能である。
図１０に示すように、リファレンス映像は、前処理部１０１に入力されてワーピングされるか、または正規化される。特に、前処理部１０１は、ユーザーにより手作業で抽出することも可能な特徴点に基づいてリファレンス映像を正規化する。特徴点は、リファレンス映像の、瞳孔、口の中央、鼻などを含んでいる。特徴点として抽出された瞳孔のｘ−ｙ座標および口のｙ座標等は、リファレンス映像にもとづいて適切に位置するようにワーピングすることも可能である。
【００４９】
輝度調節部１０２は、正規化されたリファレンス映像をサブ領域に分割し、サブ領域ごとにガンマ補正またはＳＨＥを行って、リファレンス映像の輝度を調節する。
１つ以上のテスト映像も同様に、前処理部１０３と輝度調節部１０４とによって、それぞれ正規化され、輝度が調節される。
ＭＩＦＥプロセッサ１０５は、輝度が調節された映像について、図５および図６を用いて説明したようにＭＩＦＥを実行して、テスト映像をリファレンス映像のうち、１つに対応するとして認識する。
ここで、２つの前処理部１０１、１０３は、１つのユニットで具現することも可能である。また、２つの輝度調節部１０２、１０４も、１つのユニットで具現し、補正された映像を共通のＭＩＦＥプロセッサ１０５に結合する複数のコンピュータで具現することも可能である。
【００５０】
図７は、本発明と従来技術とによる認識結果をそれぞれ比較して示す図面である。ここで、リファレンス映像は、図３Ａに示したイェールＡ映像であり、横軸は、人別のリファレンス映像の枚数を示している。
図７に示すように、従来技術である主成分分析法（ＰＣＡ）および相関方法による結果より、本発明のＭＩＦＥによる認識率が高いということが分かる。特に、本発明のＭＩＦＥとガンマ補正とを結合した場合、リファレンス映像が４個であるときに１００％認識でき、リファレンス映像が１個であるときにも約９０％の認識率を示す。
【００５１】
また、主成分分析法および相関方法の従来技術に、本発明のガンマ補正を適用した場合の認識率が、主成分分析法または相関方法を単独で適用した場合より改善されることが分かる。さらに、本発明のガンマ補正を適用した後にＭＩＦＥを行った場合が、認識率が最も高いことが分かる。
【００５２】
図８Ａないし図８Ｄは、イェールＢ顔映像データベースのうち、第１サブセットないし第４サブセットをそれぞれ示す図面である。図示した顔映像は、１０の顔に対して４５個の相異なる照明条件で撮像されたものである。各サブセットは、撮像手段の正面軸に対する照明角によって区分されたものである。第１サブセット（図８Ａ）は、照明角が０゜ないし１２゜である場合、第２サブセット（図８Ｂ）は、１２゜ないし２５゜である場合、第３サブセット（図８Ｃ）は、２５゜ないし５０゜である場合、そして、第４サブセット（図８Ｄ）は、５０゜ないし７７゜である場合である。
【００５３】
次の表は、図８Ａないし図８Ｄに示した顔映像を利用して従来技術と本発明とによる認識結果を表したものである。ここで、図８Ａの第１サブセットは学習に使用され、図８Ｂないし図８Ｄはテストに使用された。
【００５４】
【表２】
2006024219.tif 000017
【００５５】
表２において、ＩＣＴＣＡＳは、Shiguang Shan et al “Illumination Normalization for Robust Face Recognition against varying Lighting Condition, IEEE International Workshop on Analysis and Modeling of Faces and Gestures(AMFG),pp.157-164,Nice,France,Oct.2003."による結果である。主成分分析法は、散乱行列の固有ベクトルおよび固有値を利用して計算されたものである。「ＰＣＡ ｗｉｔｈｏｕｔ １ｓｔ ３」は、最大の固有値を有する３個の固有顔（eigenface）を除いた後の主成分分析法を適用した結果である。
【００５６】
表２に示すように、本発明に係るガンマ補正が適用された場合、認識エラー率が改善されたことが分かり、特に、ガンマ補正が行われた映像に対してＭＩＦＥを適用して顔認識を行うとき、最もエラー率が低いことが分かる。
【００５７】
本発明の顔認識方法は、メモリ制限のあるチップ基盤アプリケーション、または、機械可読旅行文書（Machine Readable Travel Document：ＭＲＴＤ）のデータを記録したメモリ制限のあるＩＤカードに適用することが可能である。ここで、ＭＲＴＤは、所有者の目の画像を含むパスポートまたはビザのような国際旅行文書であって、機械で読み取り可能なデータを含んでいる。そのような場合、図９に示した装置構成は、大型コンピュータの一部として具現される。
【００５８】
ＭＲＴＤの情報により、パスポートに記載された人物と、パスポートを所持している人物が同一であるかを確認する顔認識技術が使用できる。特に、ＭＲＴＤのフォーマットは標準化され、２行の機械読取領域（machine readable zone：ＭＲＺ）化された必須ＩＤエレメントとともに、写真またはデジタル映像を含む所持者についての確認情報を含んでいることが好ましい。このように、ＭＲＴＤに記録される情報を標準化することで、同じフォーマットを有する他の国のＭＲＴＤのＭＲＺも読み取り可能となる。本発明に係る映像認識方法を使用すれば、写真またはデジタル映像は、ＭＲＴＤの所持者の映像と比較して、両者が一致するか否かを判定できる。なお、ＩＤをさらに確認できるように、データベースに保存されたＩＤ情報（予め登録された顔映像等）と比較することもできる。さらに、本発明は、例えば、運転免許証、学生証、銀行カード、会員カード、および身体認識を利用する他の形態のＩＤにも適用できる。
【００５９】
さらに、本発明は、コンピュータが読み取り可能な記録媒体に、プログラムコードとして記録することで具現可能である。コンピュータが読み取り可能な記録媒体には、コンピュータシステムによって読み取り可能なデータが保存されるあらゆる種類の記録装置を含む。このような記録媒体の例としては、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＣＤ−ＲＯＭ、磁気テープ、フレキシブルディスク、光情報記録装置などがあり、また、キャリアウェーブ（例えばインターネットを介した伝送）の形態で具現されることも含む。また、このような読記録媒体は、ネットワークに接続されたコンピュータシステムに分散してプログラムコードを保存して具現することも可能であり、これにより、分散型コンピュータに本発明を実行させることも可能である。そして、本発明を具現するための機能的なプログラム、コードおよびコードセグメントは、本発明が属する技術分野のプログラマーであれば容易に推論することが可能である。
【００６０】
本発明について、前記した実施の形態を用いて説明したが、これは例示的なものに過ぎず、当業者ならば、これから多様な変形および均等な他の実施形態が可能であるということが理解できるであろう。従って、本発明の真の技術的保護範囲は、特許請求の範囲に記載された技術的思想によって定められる。
【産業上の利用可能性】
【００６１】
本発明は、顔認識に係り、生体認識パスポートのように、自動顔認識を用いたＩＤ確認、入出口管理システムのような保安分野にも有効である。また、顔認識は、パターン認識およびコンピュータビジョンの開発を促進させる側面を有する。
【図面の簡単な説明】
【００６２】
【図１】本発明に係る顔認識方法についてのフローチャートである。
【図２Ａ】本発明の実施形態に係る正規化およびサブ領域分割の例を示す図面である。
【図２Ｂ】本発明の実施形態に係る正規化およびサブ領域分割の例を示す図面である。
【図２Ｃ】本発明の実施形態に係る正規化およびサブ領域分割の例を示す図面である。
【図３Ａ】顔データベースに含まれる顔映像を示す図面である。
【図３Ｂ】図３Ａの顔映像についてのガンマ補正結果を示す図面である。
【図４Ａ】他の顔映像データベースに含まれる顔映像を示す図面である。
【図４Ｂ】図４Ａの顔映像についてのガンマ補正結果を示す図面である。
【図４Ｃ】図４Ａの顔映像についてのＳＨＥの結果を示す図面である。
【図５】図１のＭＩＦＥについての詳細フローチャートである。
【図６】各サブ領域別に分類する過程、および分類結果を示す図面である。
【図７】本発明および従来技術による認識結果をそれぞれ比較して示す図面である。
【図８Ａ】顔映像データベースの第１サブセットを示す図面である。
【図８Ｂ】顔映像データベースの第２サブセットを示す図面である。
【図８Ｃ】顔映像データベースの第３サブセットを示す図面である。
【図８Ｄ】顔映像データベースの第４サブセットを示す図面である。
【図９】本発明に係る顔認識システムについてのブロック図である。
【図１０】本発明に係る輝度調節およびＭＩＦＥを行うシステムのブロック図である。
【符号の説明】
【００６３】
９０    カメラ
９１    コンピュータ
９２    データベース
１０１、１０３  前処理部
１０２、１０４  輝度調節部
１０５  ＭＩＦＥプロセッサ
【図１】
2006024219.tif 000024
【図５】
2006024219.tif 000025
【図７】
2006024219.tif 000026
【図９】
2006024219.tif 000027
【図１０】
2006024219.tif 000028
【図２Ａ】
2006024219.tif 000029
【図２Ｂ】
2006024219.tif 000030
【図２Ｃ】
2006024219.tif 000031
【図３Ａ】
2006024219.tif 000032
【図３Ｂ】
2006024219.tif 000033
【図４Ａ】
2006024219.tif 000034
【図４Ｂ】
2006024219.tif 000035
【図４Ｃ】
2006024219.tif 000036
【図６】
2006024219.tif 000037
【図８Ａ】
2006024219.tif 000038
【図８Ｂ】
2006024219.tif 000039
【図８Ｃ】
2006024219.tif 000040
【図８Ｄ】
2006024219.tif 000041