(57)【要約】個人同一性照合プロセスおよびシステムは、エラー訂正出力符号（ＥＣＯＣ）クラシファイア手法を採用する。入力顔画像を表す画像データが処理されて第１（ＥＣＯＣ）クラシファイア出力ベクトルが生成され、且つ、個人の顔の種々の訓練画像のクラスを表す画像データが処理されて第２ＥＣＯＣクラシファイア出力ベクトルの集合が生成される。上記訓練画像のクラスに対する上記入力顔画像の認証性は、一次ミンコフスキ距離を用いて上記第１ＥＣＯＣクラシファイア出力ベクトルと上記第２ＥＣＯＣクラシファイア出力ベクトルの集合との間の距離を測定することにより評価される。【特許請求の範囲】
【請求項１】
個人の顔を表す種々の訓練画像のクラスに対して入力顔画像の認証性を評価する個人同一性照合プロセスであって、
上記入力顔画像を表す画像データを処理することで第１エラー訂正出力符号（ＥＣＯＣ）クラシファイア出力ベクトルを生成する段階と、
上記クラスの上記種々の訓練画像を表す画像データを処理することで第２ＥＣＯＣクラシファイア出力ベクトルの集合を生成する段階と、
上記第１ＥＣＯＣクラシファイア出力ベクトルを上記第２ＥＣＯＣクラシファイア出力ベクトルの集合と比較する段階と、
上記比較に依存して上記訓練画像のクラスに関する上記入力顔画像の認証性を評価する段階と、
を備えて成る、個人同一性照合プロセス。
【請求項２】
前記比較段階は、前記第１ＥＣＯＣクラシファイア出力ベクトルと前記第２ＥＣＯＣクラシファイア出力ベクトルの集合との間の距離を測定する段階を含む、請求項１記載のプロセス。
【請求項３】
一次ミンコフスキ距離を用いて前記距離を測定する段階を含む、請求項１記載のプロセス。
【請求項４】
前記距離ｄ（ｙ）は次式により与えられ：
【数１】
2004527862.tif 000019
式中、ｙjは前記第１ＥＣＯＣクラシファイア出力ベクトルの第ｊ番目の要素であり、
ｙjlは前記第２ＥＣＯＣクラシファイア出力ベクトルの集合の第ｌ番目の元（げん）の第ｊ番目の要素であり、且つ、
Ｎは上記集合における元（げん）の個数であり、且つ、
ｔを所定スレッショルド値として前記距離ｄ（ｙ）≦ｔならば前記入力顔画像は真正であると評価される、請求項３記載のプロセス。
【請求項５】
前記訓練画像のクラスは異なる個人の顔を各々表すという前記種々の訓練画像のクラスの複数個を表す画像データを処理し、各クラスに対して夫々の前記第２ＥＣＯＣクラシファイア出力ベクトルの集合を生成する段階と、
前記第１集合のＥＣＯＣクラシファイア・ベクトルと上記第２ＥＣＯＣクラシファイア出力ベクトルの集合の各々との間の距離を測定する段階と、
測定された各距離を組み合わせ、上記訓練画像の各クラスの内のひとつのクラスに関して上記入力顔画像の認証性を評価する段階と、
を含む、請求項１記載のプロセス。
【請求項６】
前記組み合わせは、当該指数カーネル関数の各々が異なる夫々の前記距離に関する指数を有するという各指数カーネル関数の合計である、請求項５記載のプロセス。
【請求項７】
前記組み合わせは次式により与えられ：
【数２】
2004527862.tif 000020
式中、∝はクラスを意味する添数、
ｄ∝（ｙ）は前記第１ＥＣＯＣクラシファイア出力ベクトルと夫々の第２ＥＣＯＣクラシファイア出力ベクトルの集合との間の測定距離であり、且つ、
Ｗ∝は夫々の所定重み付け関数であり；且つ、
ｔlを所定スレッショルド値としてｋ（ｙ）≧ｔlならば前記入力顔画像は真正であると評価される、請求項６記載のプロセス。
【請求項８】
ＦＡが誤謬承認率であり且つＦＲが誤謬拒絶率であるとして、前記スレッショルド値は該スレッショルド値に関してＦＡ＋ＦＲが実質的に最小値である如く選択される、請求項４記載のプロセス。
【請求項９】
画像データを処理する前記各段階は、上記画像データを更に低次元の空間へと射影する段階と、その様に射影された画像データから前記第１および第２（ＥＣＯＣ）クラシファイア出力ベクトルを生成する段階と、を含む、請求項１から請求項８までのいずれか一項記載のプロセス。
【請求項１０】
画像データを射影する前記段階は線形判別分析を含む、請求項９記載のプロセス。
【請求項１１】
画像データを射影する前記段階は主成分分析も含む、請求項１０記載のプロセス。
【請求項１２】
前記訓練画像のクラスは異なる個人の顔を各々表すという前記種々の訓練画像のクラスの複数個を表す画像データを処理し、各クラスに対して夫々の前記第２ＥＣＯＣクラシファイア出力ベクトルの集合を生成する段階と、
前記第１ＥＣＯＣクラシファイア出力ベクトルを、上記第２ＥＣＯＣクラシファイア出力ベクトルの各集合の内の個々の集合と比較する段階と、
上記比較に依存し、夫々の上記訓練画像のクラスに関する前記入力顔画像の認証性を評価する段階と、
を含む、請求項１記載のプロセス。
【請求項１３】
入力顔画像を表す画像データ、および、種々の訓練画像の一個以上のクラスを記憶する手段と、請求項１から請求項１２までのいずれか一項記載のプロセスに従い、記憶された画像データを処理する処理手段と、を含む個人同一性照合システム。
【請求項１４】
実質的に本明細書中に記述された請求項１記載の個人同一性照合プロセス。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、個人同一性照合プロセス（personal identity verification process）およびシステム（system）に関する。
【背景技術】
【０００２】
バイオメトリック測定（biometric measurement）に基づく個人同一性の自動照合および認証は、セキュリティ用途において普及している。既存の市販システムは、音声特性、虹彩走査および指紋などの多くのバイオメトリック的性質を活用する。しかしバイオメトリック情報の供給源として人間の顔は特に重要な役割を果たす、と言うのも（例えば写真などの）顔画像は、容易に獲得され得ると共に、認識を行う上で特別の訓練を要さずに人間により定常的に用いられる識別的特徴を伝達するからである。これにより、人間対機械の密接な相互作用および協働の可能性が開かれる。
【０００３】
しかし残念乍らこれまでは、顔照合に対する自動システムの性能は不十分なことが多かった。また最近数年では相当の進歩が為されたが、顔照合は依然として困難な作業である。この故に最近の考え方は、堅牢性および優れた性能を達成すべく複数の性質（modality）を用いることである。ＩＥＥＥコンピュータ学会、１９９９年６月の「コンピュータによる映像およびパターン認識」の第５８０〜５８５頁の“聴覚的−視覚的な個人照合”（“Audio-visual person verification”, Computer Vision and Pattern Recognition, pp 580-585, June 1999, IEEE Computer Society）においてＳ．Ｂｅｎ−Ｙａｃｏｕｂ等により記述された如く、更に良好な照合率（すなわち、低い誤謬拒絶率および誤謬承認率）を達成すべく、典型的には音声および顔のデータが組み合わされてきた。しかし、２、３の例を挙げると顔輪郭、唇部動態および３Ｄ顔情報などの他の性質を組み合わせた場合の理非も研究されてきた。複数の性質に依る試みは相当の改良を達成すると例証されたが、依然として、エラー率を更に低くすべく、構成要素となる各バイオメトリック下位システムの性能を改善するという要望が在る。この点に関して最近報告された幾つかの進歩としては、Ｍ．ＭｉｒｍｅｈｄｉおよびＢ．Ｔｈｏｍａｓ編、英国機械映像会議２０００（British Machine Vision Conference 2000）の“ＩＤＡ式顔照合に対する整合スコアについて（On matching scores for IDA-based face verification）”において記述されたものが挙げられる。
【０００４】
性能改善を実現する別の方向として、幾つかの意思決定システムの出力を組み合わせる試みが為されてきた。この試みは、２０００年、ベルリンのＳｐｒｉｎｇｅｒ出版社（Springer-Verlag）のＪ．Ｋｉｔｔｌｅｒ等により編集された“多重クラシファイア・システム（Multiple Classifier Systems）”に記述された多重クラシファイア融合から得られた結果を利用している。認証性に関する幾つかの意見を組み合わせることで、個々のエキスパートの出力のエラー分散を減少すると共に更に良好なエラー率が達成され得る。２０００年におけるＪ．Ｔ．ＫｅｎｔおよびＲ．Ｇ．Ａｙｋｒｏｙｄ編による「方向、形状および画像の統計（The Statistics of Directions, Shapes and Images）」の第６３〜６６頁におけるＪ．Ｋｉｔｔｌｅｒ等による“クライアント固有のフィッシャ顔を用いた顔照合（Face verification using client-specific fisher faces）”においては、幾つかの多様な顔照合システムのスコアを組み合わせることで最適エキスパートのエラー率は４２％を超えて減少され得ることが示された。しかし、多重エキスパート・システムの斯かる特別な設計態様は必ずしも最適な解決策を生み出すものでない。
【０００５】
上述の問題を少なくとも軽減する目的で、本発明はエラー訂正出力符号化（error correcting output coding）（ＥＣＯＣ）手法を採用する個人同一性照合プロセスおよびシステムを提供する。ＥＣＯＣは、チャネル符号化に対して開発された。ＥＣＯＣの基本概念は、エラー訂正機能を提供すべく、ソース・メッセージを符号化するために必要な個数のビットに加えて付加的なビットを割当てることである。パターン分類に関して上記概念は、各クラスのパターンは従来のコードすなわち全てのｉ≠ｊに対してＺij＝０およびｉ＝ｊならＺij＝１よりも更に複雑なコードにより表されることを意味する。斯かるエラー復元コードを実施するには、通常数より多いクラシファイアが必要である。
【０００６】
顔照合の問題に対してＥＣＯＣ分類方法を適用する上での主な困難性は、ＥＣＯＣは専ら多クラス問題に適しているが顔照合は２クラス問題である（すなわちクライアント・クラスおよびインポスタ・クラス（imposter class）を含む）ことである。この困難性は、照合問題に対して２段階解決策を採用することで解決され得る。第１段階においては、照合作業は認識問題と見做され得ると共に、クラス固有判別式（class specific discriminant）を生成すべくＥＣＯＣ設計が展開され得る。実際、要求された同一性のクラスに対する判別式のみが必要とされる。第２段階においては、生成された判別式が特定クライアントに対する応答の分布と一致しているという仮説である。
【発明の開示】
【課題を解決するための手段】
【０００７】
本発明に依れば、個人の顔を表す種々の訓練画像のクラスに対して入力顔画像の認証性を評価する個人同一性照合プロセスであって、上記入力顔画像を表す画像データを処理することで第１エラー訂正出力符号（ＥＣＯＣ）クラシファイア出力ベクトルを生成する段階と、上記クラスの上記種々の訓練画像を表す画像データを処理することで第２ＥＣＯＣクラシファイア出力ベクトルの集合を生成する段階と、上記第１ＥＣＯＣクラシファイア出力ベクトルを上記第２ＥＣＯＣクラシファイア出力ベクトルの集合と比較する段階と、上記比較に依存して上記訓練画像のクラスに関する上記入力顔画像の認証性を評価する段階と、を備えて成る、個人同一性照合プロセスが提供される。
【０００８】
本発明は、ＥＣＯＣクラシファイアの魅力的な特性を活用する効率的な設計態様を提供するが、それは同時に２クラスの個人同一性照合問題に適用可能である。この設計手法は、Ｌａｕｓａｎｎｅプロトコルを用いるＸＭ２ＶＴＳ顔データベースに関して試験されている。達成された誤謬拒絶率および誤謬承認率は、該データベースに関し、２０００年９月の米国、Ｌｏｓ  ＡｌａｍｉｔｏｓでのＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃ  Ｐｒｅｓｓによる第１５回ＩＣＰＲの講演要旨集、第４巻、第８５８〜８６３頁の“ＸＭ２ＶＴＳデータベースに関する顔照合結果の比較（Comparison of face verification results on the XM2VTS database）”においてＪ．Ｍａｔａｓ等により報告された如き今日までの最適報告よりも優れていることが分かった。
【発明を実施するための最良の形態】
【０００９】
以下においては、本発明の各実施例およびこれらの実施例を用いた試験結果が例示的にのみ記述される。
【００１０】
顔画像表現（Face Image Representation)
顔認識または照合において顔画像の正規化もしくは標準化は重要な段階である。各顔画像は形状および強度の両方において異なることから、設計されたシステムの性能は形状整列（幾何学的正規化）および強度補正（測光的正規化）により改善され得る。この実施例において、幾何学的正規化に対する手法は眼球位置に基づく。眼球座標から４個のパラメータ（すなわち、回転、拡大縮小、ならびに、水平方向および垂直方向における並進）が算出され、元の画像から顔部分が切り出されて任意の所望の解像度へと縮尺設定される。ロバスト性を欠くこともある処理に対する実験の依存性を排除すべく、“手動で局限された”眼球座標が用いられる。この様にして、性能が照合の方法論により、特にＥＣＯＣ技術により影響されるかに関する研究に対して焦点を当てることが可能である。測光的正規化に対してはヒストグラム均等化が用いられる、と言うのも、これは他の既存の方法（例えば、２０００年９月における英国サリー大学（University of Surrey）のＹ．Ｐ．Ｌｉの博士論文“線形判別式分析および顔識別に対するその応用（Linear Discriminant Analysis and its application to face identification）”に記述された方法）と比較して更に良好な性能を呈することが示されているからである。
【００１１】
先の実験（例えば、１９９４年、フロリダのサラソータ（Sarasota）でのコンピュータ映像の応用に関する第２回ＩＥＥＥ研究会の講演要旨集におけるＦ．Ｓ．Ｓａｍａｒｉａ等による“人間の顔識別に対する確率論的モデルのパラメータ化（Parameterisation of a stochastic model for human face identification）”；http://mambo.ucsc.edu/psl/olivetti.html.；および、１９９９年、６月ＩＶＣ第１７（８）巻第５７８〜５８１頁のＪ．Ｍａｔａｓ等による“高速顔局限および照合（Fast face localisation and verification）”を参照）において例証された如く、グレーレベルを直接的に使用することは可能であるが、通常は先ず特徴（feature）が抽出される。１９８２年、Ｐｒｅｎｔｉｃｅ  ＨａｌｌでのＰ．Ａ．Ｄｅｖｉｊｖｅｒ等による“パターン認識：統計的手法（Pattern Recognition: A Statistical Approach）”に記述された如く特徴空間において最大のクラス分離を提供する効率的特徴を抽出して選択するパターン認識文献に記述された多くの技術が在る。ひとつの一般的な手法は線形判別分析（Linear Discriminant Analysis）（ＬＤＡ）であり、これは記述された本実施例において用いられる手法である。ＬＤＡの理論の簡単な吟味およびそれが如何にして顔認識もしくは照合に適用されるかは、以下の如くである。更なる詳細は、上述のＰ．Ａ．Ｄｅｖｉｊｖｅｒ等による“パターン認識：統計的手法”、および、１９９６年、英国、ケンブリッジでのＥＣＣＶ′９６の講演要旨集、第４５〜５８頁におけるＰ．Ｎ．Ｂｅｌｈｕｍｅｕｒ等による“固有顔対フィッシャ顔：クラス特有線形射影を用いた認識（Eigenfaces vs. fisherfaces: Recognition using class specific linear projection）”に見出され得る。
【００１２】
ｃ個のクラス｛Ｃ1，Ｃ2，…，Ｃc｝のひとつに対して各々が属する一群のベクトルｘi、ｉ＝１，…，Ｍ、ｘi∈ＲDが与えられると、クラス間散布行列（between-class scatter matrix）ＳBは以下の如く算出される：
【００１３】
【数１】
2004527862.tif 000002
【００１４】
且つ、クラス内散布行列ＳWは以下の如く算出される：
【００１５】
【数２】
2004527862.tif 000003
【００１６】
式中、μは総平均であり、μiはクラスＣiの平均である。
【００１７】
ＬＤＡの目的は、各行列式（determinant）の比率│ＷTＳBＷ│／│ＷTＳWＷ│を最大化する変換行列Ｗoptを見出すことである。Ｗoptは、以下の固有値問題の解であるとして知られる：
【００１８】
【数３】
2004527862.tif 000004
【００１９】
式中、Λは、その各要素が行列ＳW-1ＳBの固有値であるという対角行列である（上述のＰ．Ａ．Ｄｅｖｉｊｖｅｒ等による“パターン認識：統計的手法”を参照）。上述のＰ．Ｎ．Ｂｅｌｈｕｍｅｕｒ等による“固有顔対フィッシャ顔：クラス特有線形射影を用いた認識”に記述された如く、行列Ｗの列ベクトル／ｗi（ｉ＝１，…，ｃ−１）はフィッシャ顔と称される（なお、／ｗiはオーバライン付きｗiの代替表現である）。
【００２０】
（例えばｘiが画像であり且つＤが約１０5である場合などの）高次問題において、ＳWは殆ど常に特異的（singular）である、と言うのも、訓練サンプルの個数ＭはＤよりも相当に小さいからである。故に、上記で式（３）により定義された固有値問題を解く前に初期次元数減少（initial dimensionality reduction）が適用されねばならない。一般的に、次元数減少は主成分分析により達成され（例えば、１９８７年の雑誌Ｏｐｔ．Ｓｏｃ．Ａｍ、Ａ、第３（４）巻、第５１９〜５２４頁におけるＬ．Ｓｉｒｏｖｉｃｈによる“人間顔に関する特徴付けに対する低次元処理手順（Low-dimensional procedure for the characterization on human face）”、および、上述のＰ．Ｎ．Ｂｅｌｈｕｍｅｕｒ等による“固有顔対フィッシャ顔：クラス特有線形射影を用いた認識”を参照）；ベクトルｘiを表すべく第１（Ｍ−ｃ）固有射影が用いられる。上記次元数減少によれば、ＳWおよびＳBもまた効率的に計算され得る。そのときに最適な線形特徴抽出式（linear feature extractor）Ｗoptは次式の如く定義される：
【００２１】
【数４】
2004527862.tif 000005
【００２２】
式中、ＷpcaはＰＣＡ射影行列であり、Ｗidaは、下記の式を最大化することで獲得された最適射影である。
【００２３】
【数５】
2004527862.tif 000006
【００２４】
ＥＣＯＣ照合方法
エラー訂正出力符号化（ＥＣＯＣ）は、送信チャネルを通過する間に劣化した後で相互に区別されるべき種々の信号を表すべくＥＣＯＣコードを採用した場合に利点が存在し得ることを示唆するという情報理論構想である。１９９１年における人工知能に関する第９回国内会議（Ninth National Conference on Artificial Intelligence）、（ＡＡＡＩ−１）、ＡＡＡＩ  Ｐｒｅｓの講演要旨集、第５７２〜５７７頁にてＴ．Ｇ．Ｄｉｅｔｔｅｒｉｃｈ等により“エラー訂正出力符号：多クラス帰納学習プログラムを改善する一般的方法（Error correcting output codes: A general method for improving multi-class inductive learning programs）”と称された論文は、分類が、“入力特徴（input feature）”、“訓練サンプル（training sample）”および“学習法（learning paradigm）”から成る送信チャネルとしてモデル化され得ることを示唆している。クラスは、任意の対の間における大きなハミング距離を備えたコード・ワードにより表される。ＥＣＯＣは、多クラス問題の分解、ならびに、意思決定段階におけるエラー補正の両方により性能を改善すると確信される（１９９５年、雑誌「人工知能調査」、第２号（Journal of Artificial Intelligence Research, 2）、第２６３〜２８６頁におけるＴ．Ｇ．Ｄｉｅｔｔｅｒｉｃｈ等による“エラー訂正出力符号化による多クラス学習問題の解法（Solving multi-class learning 9 problems via error-correcting -output）”を参照）。コード・ワード行列における２進値はコード生成処理手順により決定され；有意な分解を提供する値を選択することは可能であり（例えば、１９８７年、複合システム（Complex systems）、１（１）の第１４５〜１６８頁におけるＴ．Ｊ．Ｓｅｎｊｎｏｗｓｋｉ等による“英文テキストの発音を学習する並列ネットワーク（Parallel networks that learn to pronounce english text）”を参照）、しかし通常は何らの意味も付加されない（上述のＴ．Ｇ．Ｄｉｅｔｔｅｒｉｃｈ等による“エラー訂正出力符号化による多クラス学習問題の解法”；２０００年、９月のスペイン、バルセロナにおけるＲ．Ｇｈａｄｅｒｉ等による“循環ｅｃｏｃ、理論的および実験的分析（Circular ecoc, a theoretical and experimental analysis）”、第２０３〜２０６頁；２０００年４月における米国、フロリダでのパターン認識国際会議（International Conference of Pattern Recognition）（ＩＣＰＲ２０００）の第４０５１巻、第２３〜２４頁のＴ．Ｗｉｎｄｅａｔｔ等による“多クラス判断組み合わせに対する２進コード（Binary codes for multi-class decision combining）”；１９９７年、カナダのＢａｎｆｆでの光子光学機器技術者協会（ＳＰＩＥ）の第１４回国際会議（14th Annual International Conference of Society of Photo-Optical Instrumentation Engineers）におけるＥ．Ｂ．Ｋｏｎｇ等による“エラー訂正出力符号化による可能性評価（Probability estimation via error-correcting output coding）”；人工知能およびソフト・コンピュータ計算の国際会議、http://www/cs/orst.edu/tgd/cv/pubs.htmlを参照）。任意の対の間において保証された最小距離を有する一群のコード・ワードを見出す幾つかの方法が在るが、最も一般的なものは、上述のＴ．Ｇ．Ｄｉｅｔｔｅｒｉｃｈ等による“エラー訂正出力符号化による多クラス学習問題の解法”、および、１９７２年、マサチューセッツ、ケンブリッジのＭＩＴプレスにおけるＷ．Ｗ．Ｐｅｔｅｒｓｏｎ等による“エラー訂正コード（Error-Correcting Codes）”に記述されて本発明の記述実施例で採用されたＢＣＨコードである。
【００２５】
ＥＣＯＣアルゴリズムを理解すべく、ｋ×ｂのコード・ワード行列Ｚ（ｋはクラスの個数）を考えるが、この場合にｋ個の行は各クラスに対して１個ずつのコード・ワード（ラベル）を表す。訓練段階においては各列に対し、上記パターンは２進値（“１”および“０”）に従い再ラベル付けされることで、２つの上位クラス（super class）が定義される。２進クラシファイアは、各列に対して１度ずつ、ｂ回訓練される。各パターンは今や上記ｂ個のクラシファイアによりＥＣＯＣ特徴空間へと変換され、
【００２６】
【数６】
2004527862.tif 000007
【００２７】
のベクトルを与え、式中、ｙjは第ｊ番目のクラシファイアの実数値出力である。試験段階において、上記出力ベクトルと各クラスに対するラベルとの間の距離Ｌiは、
【００２８】
【数７】
2004527862.tif 000008
【００２９】
により決定されると共に、ｙに対して最小距離を有するコード・ワードに対応するクラスに対して入力パターンが割当てられる。
【００３０】
本発明が関連する照合の場合、上記作業は幾分か異なる。此処では、求められた同一性に対して各クラシファイア出力が共通して一致することを確認することが望ましい。これは、クライアント・コードからの各出力の距離に対してスレッショルドを設定することで達成され得る。但し、合成コードはこれらの出力の実際の分布ではなく理想化されたターゲットを表す。故に、特に高次元数の空間においては、クライアント・コードからの距離を測定すると誤りとなり得る。
【００３１】
代替的手法は、統合された各クラシファイア出力の重心を採用し、各クライアントを特徴付けると共に、この表現から新たなクライアント要求（client claim）の一致性（consistency）を測定することであろう。ＥＣＯＣクラシファイアに関する重心の使用は、１９９８年５月、スタンフォード大学、統計学部におけるＧ．Ｊａｍｅｓによる博士論文“多数決クラシファイア：理論および応用（Majority Vote Classifiers: Theory and Applications）”、http://www/stat/stanford.edu./gareth/において推奨されている。但し本発明の場合、非常に少数の訓練画像のみが在ることから、評価された重心は非常に信頼できない。本発明によれば各クライアントｉは、第ｉ番目のクライアントの各訓練画像から導出されたＮ個のＥＣＯＣクラシファイア出力ベクトルの夫々の集合Ｙi、すなわち、
【００３２】
【数８】
2004527862.tif 000009
【００３３】
により表され、式中、Ｎは第ｉ番目のクライアントに対して利用可能な訓練画像の個数である。クライアント要求が真正であるという仮説を試験すべく、（入力顔画像から導出された）ベクトルｙと（第ｉ番目のクライアント・クラスから導出された）集合Ｙiの各要素との間の平均距離が試験統計値（test statistic）として採用される。この実施例において上記距離は、異常値に対して更に良好なロバスト性を達成すべく、上記式（３）のユークリッド距離（Euclidean metric）ではなく一次ミンコフスキ距離（first order Minkowski metric）を用いて測定される。この様にして評価された距離ｄi（ｙ）は以下の式により与えられる：
【００３４】
【数９】
2004527862.tif 000010
【００３５】
式中、ｙjは入力顔画像から導出されたＥＣＯＣクラシファイア出力ベクトルの第ｊ番目の要素であり、且つ、ｙjlは第ｉ番目のクライアント・クラスの各訓練画像から導出されたＥＣＯＣクラシファイア出力ベクトルの集合Ｙiの第ｌ番目の元（げん）の第ｊ番目の要素である。上記距離は、判断スレッショルドｔに対して再びチェックされる。もし上記距離が上記スレッショルド未満であれば、クライアント要求は受け入れられ、すなわち、各訓練画像の第ｉ番目のクラスに関する入力顔画像の認証性が確認され；その他の場合にそれは拒絶され、すなわち、
【００３６】
【数１０】
2004527862.tif 000011
【００３７】
である。
【００３８】
各点間の距離を測定する代わり、上記距離がゼロの場合に最大値を仮定すると共に上記距離が減少するにつれて単調に減少するカーネル関数により表現され得る点間類似度（between-point similarity）を代替的に測定することが可能である。上記決定関数の設計態様は一切の訓練を包含し得ない、と言うのも、利用可能な点の個数は極めて少ないからである。本発明者等は単に、固定幅σによる指数カーネル（exponential kernel）を用いる。各中心は明示的に決定される必要はない、と言うのも、距離ｄi（ｙ）は夫々のクラスｉに対するｙの類似度を測定すべくカーネルの指数において用いられるからである。ひとつのカーネルは、上記クライアント・クラスと、所定数のインポスタ・クラスの各々とに対して割当てられる。要求されたクライアント・クラスと上記インポスタ・クラスとに対する（上記入力顔画像から導出された）試験ベクトルｙの相対類似度は次式として測定される：
【００３９】
【数１１】
2004527862.tif 000012
【００４０】
式中、添数∝は第ｉ番目のクラスおよび全てのインポスタ・クラスを踏破すると共に、夫々の重みｗ∝が評価される。クライアント要求試験は以下の如く実施される：
【００４１】
【数１２】
2004527862.tif 000013
【００４２】
ＸＭ２ＶＴＳデータベースに関する実験
個人同一性照合に対する上述の手法はＸＭ２ＶＴＳ顔データベースを用いて本発明者等により試験された、と言うのも、それは有意義であることが知られており、且つ、他の照合方法を用いて国際的に合意を得たプロトコルに従い実施された幾つかの実験結果が比較のために上記資料において容易に入手可能だからである。
【００４３】
データベースおよび実験プロトコル
拡張Ｍ２ＶＴＳ（ＸＭ２ＶＴＳ）データベースは、２９５人の対象者を含む。各対象者は５ヶ月の期間に亙り均一に分布された４つの個別活動期間において記録され、且つ、各活動期間においては前面視シーケンスおよび回転シーケンスの両方を含む多数の写真が撮られた。前面視シーケンスにおいて各対象者は（同期された画像および発話データを提供する）特定テキストを読み上げると共に、回転シーケンスにおいては頭部が垂直および水平に移動され（て頭部の３Ｄ表面モデル化に対して有用な情報を提供し）た。このデータベースの更なる詳細は、１９９９年のＡＶＢＰＡ  ′９９の講演要旨集、第７２〜７７頁におけるＫ．Ｍｅｓｓｅｒ等による“ＸＭ２ＶＴＳＤＢ：拡張Ｍ２ＶＴＳデータベース（XM2VTSDB: The extended M2VTS database）”に見出され得る。
【００４４】
（Ｌａｕｓａｎｎｅ評価プロトコルとして知られる）上記実験プロトコルは、拡張Ｍ２ＶＴＳデータベース上で動作する映像型（および発話型）の個人認証システムの性能が測定され得るという枠組みを提供する。上記プロトコルは、２００人のクライアントおよび９５人のインポスタを割当てる。２つの形態（configuration）を構成すべく、各対象者の前面画像もしくは略前面画像に対して各活動期間の２つの撮像が選択される。この評価においては、第１形態が用いられた。これは、上述のＪ．Ｍａｔａｓ等による“ｘｍ２ｖｔｓデータベースに関する顔照合結果の比較”における報告結果が示す如く、更に困難である。この形態においては各クライアントに対し、３個の訓練画像、３個の評価画像および２個の試験画像が在る。インポスタの集合は、２５個の評価インポスタおよび７０個の試験インポスタに区分される。上記プロトコル内において、照合性能は誤謬承認率および誤謬拒絶率の両方を用いて測定される。これらの２つのエラー率が相互に等しい動作基点（operating point）は、典型的に等化エラー率点（equal error rate point）と称される。このプロトコルの詳細は、ＩＤＩＡＰ−Ｃｏｍ  ９８−０５、１９９８年７月におけるスイス、Ｖａｌａｉｓ、Ｍａｒｔｉｇｎｅｙ、私書箱５９２（P.O. Box 592 Martigny, Valais, Switzerland）、ダル・モル知覚人工知能研究所（Dalle Molle Institute for Perceptual Artificial Intelligence）のＪ．Ｌｕｅｔｔｉｎ等による“拡張Ｍ２ＶＴＳデータベース（ＸＭ２ＶＴＳ）に対する評価プロトコル（Evaluation Protocol For The Extended M2VTS Database (XM2VTS)）”に見出され得る。
【００４５】
システム記述
本発明のこの実施例において、全ての画像は先に記述されたＬＤＡを用いて更に低次元の特徴空間へと射影されることから、各パターンは１９９個の要素を備えた１個のベクトルにより表される。また２００人のクライアントがいることから、識別の観点からこれは２００クラスの問題を呈する。２００個のコード・ワード（合成ラベル）を含み５１１ビット長のＢＣＨ等距離コードが用いられる。任意のラベル対の間のハミング距離は２５６ビットである。コードの選択および等距離コードの利点は、上述のＴ．Ｗｉｎｄｅａｔｔ等による“多クラス判断組み合わせに対する２進コード”において論じられている。
【００４６】
照合作業に対してレベルゼロ・クラシファイアは、１９９個の入力ノードと、３５個の隠れノードと、２個の出力ノードとを含む１個の隠れ層（hidden layer）を備えた多層パーセプトロン（Multi-Layer Perceptron）（ＭＬＰ）である。訓練に対しては、固定された学習率、運動量およびエポックを備えたバック・プロパゲーション・アルゴリズム（Back-propagation algorithm）が用いられる。上記二重出力は“０”および“１”の間の値へとマップされ、上位クラス構成要素の確率の評価が与えられる。識別作業に対しては、３個の隠れノードを備えたＭＬＰが用いられる。
【００４７】
既に説明された如く、各ＭＬＰの出力はＥＣＯＣ特徴ベクトルを定義すると共に、式（９）から、要求された同一性ｉに対するｄi（ｙ）は夫々のクラスの各画像に亙り平均することで計算される。ＥＣＯＣ多重クラシファイアの出力を組み合わせる距離および類似度の両方に基づく規則は、研究されている。上記の２つの決定関数の内、距離依存規則は、選択されるべきパラメータ（すなわち判断スレッショルド）に依存する唯一のものである。
【００４８】
距離に基づく組み合わせ
通常、誤謬拒絶（ＦＲ）率および誤謬承認（ＦＡ）率の関係をプロットする受信者動作特性（Receiver Operating Characteristic）（ＲＯＣ）曲線を算出すべく、評価集合データ（evaluation set data)が用いられる。その場合、必要な挙動を達成すべく適切なスレッショルドが選択され；例えば、等しい誤謬拒絶率および誤謬承認率を供給するスレッショルドを指定し得る。上記スレッショルドは、各クライアントに対して個別的に選択され得るか、または、全てのクライアントに亙るエラーを平均することで包括的に選択され得る。
【００４９】
本発明のＥＣＯＣ式手法により遭遇し得る困難性は、上記レベルゼロ・クラシファイアが“強力過ぎる”ので、評価集合に関するＦＲおよびＦＡエラーが大きな範囲のスレッショルドに対してゼロであることである。斯かる状況において、上記ＲＯＣ曲線はスレッショルド設定においてそれほど有用でない。この問題は、以下の処理手順により克服され得る。ｔ＝０にて開始し、スレッショルドは固定刻み幅で連続的に増加されることで、全体的エラー（ＦＲエラーおよびＦＡエラーの合計）が最小値となる点が見出される。もし斯かる段増（increment）の幾つかに対して全体的エラーがゼロであれば、選択されたスレッショルドは全体的エラーが上昇し始める直前の点に対応する。
【００５０】
上記評価集合データを用いた上記のスレッショルド選択処理手順により獲得された結果は、刻み幅のサイズの関数として表１に与えられる。異なる刻み幅サイズの故に上記スレッショルド選択処理手順は評価集合における各インポスタからの異なる目標にて終結することから、試験集合性能は変化する。表２は、上記スレッショルドを設定すべく評価（Ｅｖ）集合および試験（Ｔｓ）集合の両方からのシード（seed）が使用されたときに求められるエラー率を示している。一般化は改善されたが、評価集合性能からは、最適な刻み幅サイズを選択する方法が明らかとはならない。
【００５１】
【表１】
2004527862.tif 000014
【００５２】
ひとつの可能性は全ての刻み幅サイズからの結果を組み合わせることであり、表２の最後の行は斯かる多数決組み合わせの結果を示している。
【００５３】
【表２】
2004527862.tif 000015
【００５４】
ＥＣＯＣの有効性を例証すべく表３には、元の１９９次元の特徴ベクトルに対して全数検索方法を直接的に適用した結果が示される。表２および表３を比較すると、ＥＣＯＣ出力ベクトルに関して入力データをマップする利点が明確に理解され得る。この場合に評価集合エラー率は非ゼロであり、すなわちクライアントおよびインポスタの母集団は重複していることも銘記されたい。この特定の場合にＲＯＣ曲線は算出され得るであろうが、これは追行されない、と言うのも、それは明らかにＥＣＯＣ依存手法に対して劣るからである。
【００５５】
【表３】
2004527862.tif 000016
【００５６】
カーネル組合せ
カーネル組合せ方法（kernel combination method）はスレッショルドを必要としないが、該方法の挙動を制御すべく変更され得る設計パラメータが在る。特に、インポスタを表すべく種々の手法を選択し得る。既に説明された如く、２５人の評価インポスタの各々は、２個の画像の集合を４個有する。故に、４個の集合に亙り平均された２５個の中心に対する代替策として、２個の集合に亙り平均された５０個の中心、または、１個の集合に亙り平均された１００個の中心が選択され得る。表４には、２５個、５０個、１００個のインポスタ中心に対するエラー率が多数決による組み合わせの結果と共に示される。表２と比較すると、誤謬承認率と誤謬拒絶率との間には異なるトレードオフが在る。
【００５７】
【表４】
2004527862.tif 000017
【００５８】
他の方法との比較
比較目的で、同一のデータ集合に関して３通りの他の方法を用いると共に同一の評価プロトコルを用いて得られた結果が与えられる。これらの方法は、１９９個のフィッシャ顔係数に関して同一の画像データ表現を用いる。それらは、この特徴空間における意思決定に対して３通りの異なるスコアを採用する。特に、上述のＪ．Ｋｉｔｔｌｅｒ等による“Ｉｄａ式顔照合に対する整合スコアについて”において記述された如く、ユークリッド距離ＳE、正規化相関ＳNおよび勾配距離（gradient metric）ＳOが用いられる。これらの結果は表５に要約される。
【００５９】
【表５】
2004527862.tif 000018
【００６０】
上記結果は、多数の興味ある特徴を示す。先ず第１に、ユークリッド距離性能を表３における提案距離ｄi（ｙ）と比較すると、クライアントの多重シード表現と組み合わせられたｄi（ｙ）で用いられた更にロバストな測定法はユークリッド距離に基づくスコアよりも効率的なことが分かる。最も重要なこととして、ＥＣＯＣに基づく全ての結果は元のフィッシャ顔空間における意思決定よりも断固として優れている。最後に、上記の式１２により与えられた相対類似度スコアにより各ＥＣＯＣ多重クラシファイア出力を組み合わせると、距離に基づくスコアｄi（ｙ）を用いるよりも僅かに良好な結果が得られることが分かる。この発見、および、他の箇所で報告された研究の意味は、意思（スコア）関数の選択は照合システムの設計において非常に重要な役割を演ずると共に将来的に更に注目を浴びるはずである、ということである。
【００６１】
要約すると、記述実施例の顔照合および識別プロセスおよびシステムは、エラー訂正出力符号化（ＥＣＯＣ）クラシファイアの設計態様手法に基づく。訓練段階においてクライアント集合は反復的にＥＣＯＣにより特定された２つの部分集合（上位クラス）へと分割されることで一群の２進クラシファイアを訓練する。各クラシファイアの出力はＥＣＯＣ特徴空間を定義し、其処では、クライアントおよびインポスタを表す変換パターンの分離が更に容易である。ＥＣＯＣ特徴空間における整合スコアとして、新規な距離式測定法および新規なカーネル式類似度測定法が開発された。上記距離式スコアは、入力顔画像と、訓練画像のクラスとの間の平均一次ミンコフスキ距離を算出するが、これはユークリッド距離よりも更に効率的であることが分かる。記述されたプロセスおよびシステムは、先に報告された結果と比較し、公知のＸＭ２ＶＴＳデータ集合に関して優れた照合性能を発揮することが示された。
【００６２】
上記からは、既知の個人（クライアント）のそれであるとされた入力顔画像は、その個人を表す種々の訓練画像のクラスに関して認証もしくは照合され得ることが理解される（上述の、距離に基づく測定手法）。代替的に上記入力顔画像は、異なる個人（インポスタ）を表す他の訓練画像のクラス、ならびに、クライアントを表す上記訓練画像のクラスに関して認証もしくは照合され得る（上述のカーネルに基づく類似度手法）。
【００６３】
上記入力顔画像は、その同一性が未知である個人を表すこともある。この場合には、訓練画像の種々のクラスの任意のものをクライアント・クラスとして用いて入力顔画像を認証（し、故に個人を識別）すべく、上記の距離に基づく測定手法またはカーネルに基づく類似度手法のいずれかが使用され得る。
【国際公開パンフレット】
2004527862.tif 000021
2004527862.tif 000022
2004527862.tif 000023
2004527862.tif 000024
2004527862.tif 000025
2004527862.tif 000026
2004527862.tif 000027
2004527862.tif 000028
2004527862.tif 000029
2004527862.tif 000030
2004527862.tif 000031
2004527862.tif 000032
2004527862.tif 000033
2004527862.tif 000034
2004527862.tif 000035
2004527862.tif 000036
2004527862.tif 000037
2004527862.tif 000038
2004527862.tif 000039
2004527862.tif 000040
2004527862.tif 000041
2004527862.tif 000042
2004527862.tif 000043
2004527862.tif 000044
2004527862.tif 000045
2004527862.tif 000046
2004527862.tif 000047
【国際調査報告】
2004527862.tif 000048