(57)【要約】【課題】　顔認識及び検索用特徴ベクトル抽出方法及びその装置を提供すること。【解決手段】（ａ）正規化された顔画像の全体顔領域に対して第１及び第２正規化ベクトルを利用して全体フーリエ特徴ベクトルを生成し、中心顔領域に対して第３及び第４正規化ベクトルを利用して中心フーリエ特徴ベクトルを生成する段階と、（ｂ）前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成し、前記第１及び第２正規化ベクトルと前記全体強度特徴ベクトルとを結合して全体複合特徴ベクトルを生成し、前記第３及び第４正規化ベクトルと前記部分強度特徴ベクトルとを結合して中心複合特徴ベクトルを生成する段階と、を含む顔認識及び検索用特徴ベクトル抽出方法を、前記課題を達成する手段とする。【選択図】　　　図１
2004139596.tif 000002
【特許請求の範囲】
【請求項１】
　（ａ）正規化された顔画像の全体顔領域に対して第１正規化ベクトル及び第２正規化ベクトルを利用して全体フーリエ特徴ベクトルを生成し、中心顔領域に対して第３正規化ベクトル及び第４正規化ベクトルを利用して中心フーリエ特徴ベクトルを生成する段階と、
　（ｂ）前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成し、前記第１正規化ベクトル及び前記第２正規化ベクトルと前記全体強度特徴ベクトルとを結合して全体複合特徴ベクトルを生成し、前記第３正規化ベクトル及び前記第４正規化ベクトルと前記部分強度特徴ベクトルとを結合して中心複合特徴ベクトルを生成する段階と、を含むことを特徴とする顔認識及び検索用特徴ベクトル抽出方法。
【請求項２】
　前記（ａ）段階は、
　（ａ１）前記全体顔領域に対してフーリエ変換を行ってフーリエスペクトルとフーリエ振幅とを獲得し、獲得されたフーリエスペクトルとフーリエ振幅とを利用して第１特徴ベクトル及び第２特徴ベクトルを構成する段階と、
　（ａ２）前記中心顔領域に対してフーリエ変換を行ってフーリエスペクトルとフーリエ振幅とを獲得し、獲得されたフーリエスペクトルとフーリエ振幅とを利用して第３特徴ベクトル及び第４特徴ベクトルを構成する段階と、
　（ａ３）前記第１特徴ベクトル及び前記第２特徴ベクトルを第１主成分線形判別解析部分空間に投射させて正規化し、第１正規化ベクトル及び第２正規化ベクトルを生成し、これらを結合して所定の第１線形判別空間に投射させて全体フーリエ特徴ベクトルを生成する段階と、
　（ａ４）前記第３特徴ベクトル及び前記第４特徴ベクトルを第２主成分線形判別解析部分空間に投射させて正規化し、第３正規化ベクトル及び第４正規化ベクトルを生成し、これらを結合して所定の第２線形判別空間に投射させて中心フーリエ特徴ベクトルを生成する段階と、からなることを特徴とする請求項１に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項３】
　前記（ａ１）段階において、前記フーリエスペクトルは全体顔領域から得られ、前記フーリエ振幅は第１ブロック分割顔領域から得られること、を特徴とする請求項２に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項４】
　前記第１ブロック分割顔領域は、前記全体顔領域を所定サイズにクリッピングして得られる全体領域と、前記全体領域の４ブロック分割領域及び１６ブロック分割領域と、を含むことを特徴とする請求項３に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項５】
　前記（ａ２）段階で前記フーリエスペクトルは中心顔領域から得られ、前記フーリエ振幅は第２ブロック分割顔領域から得られること、を特徴とする請求項２に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項６】
　前記第２ブロック分割顔領域は、前記中心顔領域に当たる中心領域、前記中心領域の４ブロック分割領域及び１６ブロック分割領域を含むことを特徴とする請求項５に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項７】
　前記（ｂ）段階は、
　（ｂ１）前記正規化された顔画像の全体顔領域に対して第１正規化ベクトル及び第２正規化ベクトルと中心顔領域に対して第３正規化ベクトル及び第４正規化ベクトルとを生成する段階と、
　（ｂ２）前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成する段階と、
　（ｂ３）前記第１正規化ベクトル及び前記第２正規化ベクトルと前記全体強度特徴ベクトルとを結合して所定の第３線形判別空間に投射させて全体複合特徴ベクトルを生成する段階と、
　（ｂ４）前記第３正規化ベクトル及び前記第４正規化ベクトルと前記部分強度特徴ベクトルとを結合して所定の第４線形判別空間に投射させて中心複合特徴ベクトルを生成する段階と、を含むことを特徴とする請求項１に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項８】
　前記（ｂ２）段階は、
　（ｂ２１）前記正規化された顔画像に対して姿勢推定及び姿勢補償を行って正面顔画像に変換する段階と、
　（ｂ２２）前記姿勢補償された顔画像の全体顔領域をラスタ走査して第５特徴ベクトルを構成する段階と、
　（ｂ２３）前記姿勢補償された顔画像に対する複数の顔部品別領域をラスタ走査して第６特徴ベクトルを構成する段階と、
　（ｂ２４）前記第５特徴ベクトルを第３主成分線形判別解析部分空間に投射して、第５単位ベクトルに正規化させて全体強度特徴ベクトルに生成する段階と、
　（ｂ２５）前記第６特徴ベクトルを第４主成分線形判別解析部分空間に投射して、第６単位ベクトルに正規化させて部分強度特徴ベクトルに生成する段階と、からなることを特徴とする請求項７に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項９】
　前記（ｂ２１）段階では前記正規化された顔画像の姿勢をＰＣＡ−ＤＦＦＳ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ−Ｄｉｓｔａｎｃｅ Ｆｒｏｍ Ｆａｃｅ Ｓｐａｃｅ）法によって推定すること、を特徴とする請求項８に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項１０】
　前記（ｂ３）段階は、
　（ｂ３１）前記（ｂ１）段階で生成される前記第１正規化ベクトル及び前記第２正規化ベクトルと前記（ｂ２）段階で生成される前記全体強度特徴ベクトルとを結合させる段階と、
　（ｂ３２）前記結合されたベクトルを前記第３線形判別空間に投射させる段階と、
　（ｂ３３）前記投射されたベクトルの各成分を量子化させて全体複合特徴ベクトルとして保存する段階と、からなることを特徴とする請求項７に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項１１】
　前記（ｂ４）段階は、
　（ｂ４１）前記（ｂ１）段階で生成される前記第３正規化ベクトル及び前記第４正規化ベクトルと前記（ｂ２）段階で生成される前記部分強度特徴ベクトルとを結合させる段階と、
　（ｂ４２）前記結合されたベクトルを前記第４線形判別空間に投射させる段階と、
　（ｂ４３）前記投射されたベクトルの各成分を量子化させて中心複合特徴ベクトルとして保存する段階と、からなることを特徴とする請求項７に記載の顔認識及び検索用特徴ベクトル抽出方法。
【請求項１２】
　（ａ）正規化された顔画像の全体顔領域に対する全体フーリエ特徴ベクトルと中心顔領域に対する中心フーリエ特徴ベクトルとを生成する段階と、
　（ｂ）前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成する段階と、
　（ｃ）前記全体フーリエ特徴ベクトルと前記全体強度特徴ベクトルとを結合して所定の第１線形判別空間に投射させて全体複合特徴ベクトルを生成する段階と、
　（ｄ）前記中心フーリエ特徴ベクトルと前記部分強度特徴ベクトルとを結合して所定の第２線形判別空間に投射させて中心複合特徴ベクトルを生成する段階と、を含むことを特徴とする顔認識及び検索用特徴ベクトル抽出方法。
【請求項１３】
　請求項１ないし１２のうち何れか一項に記載の方法を実行できるプログラムを記録したコンピュータで判読できる記録媒体。
【請求項１４】
　正規化された顔画像の全体顔領域に対して第１正規化ベクトル及び第２正規化ベクトルを利用して全体フーリエ特徴ベクトルを生成し、中心顔領域に対して第３正規化ベクトル及び第４正規化ベクトルを利用して中心フーリエ特徴ベクトルを生成する第１ユニットと、
　前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成し、前記第１正規化ベクトル及び第２正規化ベクトルと前記全体強度特徴ベクトルとを結合して全体複合特徴ベクトルを生成し、前記第３正規化ベクトル及び第４正規化ベクトルと前記部分特徴ベクトルとを結合して中心複合特徴ベクトルを生成する第２ユニットと、を含むことを特徴とする顔認識及び検索用特徴ベクトル抽出装置。
【請求項１５】
　前記第１ユニットは、
　前記正規化された顔画像の全体顔領域に対する第１正規化ベクトル及び第２正規化ベクトルと中心顔領域に対する第３正規化ベクトル及び第４正規化ベクトルとを生成するフーリエ特徴生成部と、
　前記第１正規化ベクトル及び前記第２正規化ベクトルを結合して所定の第１線形判別空間に投射させて全体フーリエ特徴ベクトルを生成する全体フーリエ特徴ベクトル生成部と、
　前記第３正規化ベクトル及び前記第４正規化ベクトルを結合して所定の第２線形判別空間に投射させて中心フーリエ特徴ベクトルを生成する中心フーリエ特徴ベクトル生成部と、からなることを特徴とする請求項１４に記載の顔認識及び検索用特徴ベクトル抽出装置。
【請求項１６】
　前記第２ユニットは、
　前記正規化された顔画像の全体顔領域に対する第１正規化ベクトル及び第２正規化ベクトルと中心顔領域に対する第３正規化ベクトル及び第４正規化ベクトルとを生成するフーリエ特徴生成部と、
　前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成する強度特徴生成部と、
　前記第１正規化ベクトル及び前記第２正規化ベクトルと前記全体強度特徴ベクトルとを結合して全体複合特徴ベクトルを生成する全体複合特徴ベクトル生成部と、
　前記第３正規化ベクトル及び前記第４正規化ベクトルと前記部分強度特徴ベクトルとを結合して中心複合特徴ベクトルを生成する中心複合特徴ベクトル生成部と、を含むことを特徴とする請求項１４に記載の顔認識及び検索用特徴ベクトル抽出装置。
【請求項１７】
　前記フーリエ特徴生成部は、
　前記全体顔領域に対するフーリエ変換の結果得られるフーリエスペクトルとフーリエ振幅から構成される第１特徴ベクトル及び第２特徴ベクトルとを第１主成分線形判別解析部分空間に投射して正規化させて前記第１正規化ベクトル及び前記第２正規化ベクトルを生成する全体フーリエ特徴ベクトル生成部と、
　前記中心顔領域に対するフーリエ変換の結果得られるフーリエスペクトルとフーリエ振幅から構成される第３特徴ベクトル及び第４特徴ベクトルとを第２主成分線形判別解析部分空間に投射して正規化させて前記第３正規化ベクトル及び前記第４正規化ベクトルを生成する中心フーリエ特徴ベクトル生成部と、からなることを特徴とする請求項１６に記載の顔認識及び検索用特徴ベクトル抽出装置。
【請求項１８】
　前記全体フーリエ特徴ベクトル生成部において、前記フーリエスペクトルは、全体顔領域から得られ、前記フーリエ振幅は前記全体顔領域を所定サイズにクリッピングして得られる全体領域、前記全体領域の４ブロック分割領域及び１６ブロック分割領域から各々得られること、を特徴とする請求項１７に記載の顔認識及び検索用特徴ベクトル抽出装置。
【請求項１９】
　前記中心フーリエ特徴ベクトル生成部において、前記フーリエスペクトルは、中心顔領域から得られ、前記フーリエ振幅は前記中心領域、前記中心領域の４ブロック分割領域及び１６ブロック分割領域から各々得られること、を特徴とする請求項１７に記載の顔認識及び検索用特徴ベクトル抽出装置。
【請求項２０】
　強度特徴生成部は、
　前記正規化された顔画像の姿勢を推定して正面顔画像に変換する姿勢推定／補償部と、
　前記姿勢推定された顔画像の全体顔領域に対するラスタ走査の結果得られる第５特徴ベクトルを第３主成分線形判別解析部分空間に投射して、第５単位ベクトルに正規化させて全体強度特徴ベクトルを生成する全体強度特徴ベクトル生成部と、
　前記姿勢推定された顔画像の複数の顔部品別領域に対するラスタ走査の結果得られる第６特徴ベクトルを第４主成分線形判別解析部分空間に投射して、第６単位ベクトルに正規化させて部分強度特徴ベクトルを生成する部分強度特徴ベクトル生成部と、からなることを特徴とする請求項１６に記載の顔認識及び検索用特徴ベクトル抽出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
　本発明は顔認識及び検索システムに係り、特に正規化された顔画像に対してフーリエ特徴ベクトルと強度特徴ベクトルとを別途に生成して統合させることによって周波数領域上で生成された特徴ベクトルによる検索限界と空間領域上で生成された特徴ベクトルの検索限界とを補完する顔認識及び検索用特徴ベクトル抽出方法及びその装置に関する。
【背景技術】
【０００２】
　２１世紀情報化社会に移行する過程で、個人はもちろん特定団体の情報は何れの資産よりも重要な価値を有するようになった。このように重要な情報を保護するために各種パスワードが使われてきたが、その他の身分を確認できる技術が切実に要求されている。この中で顔認識技術は、使用者が特別な動作や行為を行う必要が無く、更に使用者自身に意識させずに身分確認をできるという長所があるため、最も便利で有力な身分確認方法として評価されている。
【０００３】
　また、情報保護のみならず、信用カード、現金カード、電子住民登録証など身分確認を必要とする社会的要求は拡大し続けているが、今のところパスワード以外の補助的な身分確認方法がないため、コンピュータを使用した犯罪など、多くの社会的な問題点が生じている。このような社会的な問題を解決できる方法として顔認識技術が脚光を浴びている。それ以外にも、顔認識技術は端末アクセス制御、公共場所管制システム、電子アルバム、犯罪者顔認識など多くの分野に応用可能であり、情報化社会で非常に有用な技術と評価されている。
【０００４】
　現在多く利用されている顔認識技術として、顔画像に主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ：以下、ＰＣＡと略称する）を適用して顔を認識する技術がある。ＰＣＡは、画像データを、画像自体の固有情報の損失を最小化しつつ低次元固有ベクトルの空間に投射させて情報を縮少する技法である。ＰＣＡを利用した顔認識方法としては顔の主要特徴ベクトルを抽出した後、あらかじめ登録された画像から抽出された主成分ベクトルで定義されたパターン分類を利用して顔を認識する方法が多く使われた。しかし、このような方法は大容量の顔認識において、認識速度と信頼性とが低く、ＰＣＡ基底ベクトルを選択することによって顔イメージの照度変化に対しては信頼性が高いものの、顔の表情または姿勢の変化がある場合には満足な顔認識の結果を得られない問題点がある。
【０００５】
　前記方法を補完するために最近には非特許文献１ではフーリエ主成分線形判別分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ：以下ＰＣＬＤＡ、と略称する）の概念を導入して周波数領域上で顔画像に対する特徴ベクトルを抽出する方法が提案され、非特許文献２では線形判別分析（以下、ＬＤＡと略称する）を適用して空間領域上で成分別の特徴ベクトルを抽出する方法が提案されている。
【０００６】
　しかし、非特許文献１及び非特許文献２に記載の方法によって抽出される周波数領域上の特徴ベクトルと空間領域上の特徴ベクトルとは、各々一定の認識及び検索限界を有している。
【非特許文献１】Ｔｏｓｈｉｏ ｋａｍｅｉら，「Ｒｅｐｏｒｔ ｏｆ Ｃｏｒｅ Ｅｘｐｅｒｉｍｅｎｔ ｏｎ Ｆｏｕｒｉｅｒ Ｓｐｅｃｔｒａｌ ＰＣＡ ｂａｓｅｄ Ｆａｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ」，ＩＳＯ/ＩＥＣ ＪＴＣ１ ＳＣ２９ ＷＧ１１，Ｍ８５５９，Ｋｌａｇｅｎｆｕｒｔ，Ａｕｓｔｒｉａ，Ｏｃｔ，２００２
【非特許文献２】Ｔａｅ−Ｋｙｕｎ Ｋｉｍら，「Ｃｏｍｐｏｎｅｎｔ−ｂａｓｅｄ ＬＤＡ ｆａｃｅ Ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ」，Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ２００２，Ｓｅｐｔｅｍｂｅｒ ２００２
【発明の開示】
【発明が解決しようとする課題】
【０００７】
　したがって、本発明が解決しようとする技術的課題は、正規化された顔画像に対してフーリエ特徴ベクトルと強度特徴ベクトルとを別途に生成した後、適切に統合させることによって周波数領域上で生成された特徴ベクトルによる検索限界と空間領域上で生成された特徴ベクトルの検索限界とを補完する顔認識及び検索用特徴ベクトル抽出方法を提供することである。
【０００８】
　また、本発明が解決しようとする他の技術的課題は、前記顔認識及び検索用特徴ベクトル抽出方法を実現するのに最適の顔認識及び検索用特徴ベクトル抽出装置を提供することである。
【課題を解決するための手段】
【０００９】
　前記技術的課題を達成するために成された本発明に係る顔認識及び検索用特徴ベクトル抽出方法は、（ａ）正規化された顔画像の全体顔領域に対して第１正規化ベクトル及び第２正規化ベクトルを利用して全体フーリエ特徴ベクトルを生成し、中心顔領域に対して第３正規化ベクトル及び第４正規化ベクトルを利用して中心フーリエ特徴ベクトルを生成する段階と、（ｂ）前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成し、前記第１正規化ベクトル及び第２正規化ベクトルと前記全体強度特徴ベクトルとを結合して全体複合特徴ベクトルを生成し、前記第３正規化ベクトル及び第４正規化ベクトルと前記部分強度特徴ベクトルとを結合して中心複合特徴ベクトルを生成する段階と、を含むことを特徴とする。
【００１０】
　前記他の技術的課題を達成するために本発明に係る顔認識及び検索用特徴ベクトル抽出装置は、正規化された顔画像の全体顔領域に対して第１正規化ベクトル及び第２正規化ベクトルを利用して全体フーリエ特徴ベクトルを生成し、中心顔領域に対して第３正規化ベクトル及び第４正規化ベクトルを利用して中心フーリエ特徴ベクトルを生成する第１ユニットと、前記全体顔領域に対する全体強度特徴ベクトルと所定数の顔部品別領域に対する部分強度特徴ベクトルとを生成し、前記第１正規化ベクトル及び第２正規化ベクトルと前記全体強度特徴ベクトルとを結合して全体複合特徴ベクトルを生成し、前記第３正規化ベクトル及び第４正規化ベクトルと前記部分強度特徴ベクトルとを結合して中心複合特徴ベクトルを生成する第２ユニットと、を含むことを特徴とする。
【００１１】
　さらに、前記課題を達成するために成された本発明は、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで読取れる記録媒体を提供する。
【発明の効果】
【００１２】
　本発明によると、顔認識及び検索システムの仕様によって周波数特徴ベクトルまたは複合特徴ベクトルを選択的に使用でき、特に正規化された顔画像に対してフーリエ特徴ベクトルと強度特徴ベクトルとを別途に生成した後で、それらを統合させることによって生成される複合特徴ベクトルを使用する場合、周波数領域上で生成された特徴ベクトルによる検索限界と空間領域上で生成された特徴ベクトルの検索限界とを補完することができ検索の精度を大幅向上させることができる。
【発明を実施するための最良の形態】
【００１３】
　以下、添付された図面を参照して本発明の望ましい実施の形態について詳細に説明する。図１は、本発明による顔認識及び検索用特徴ベクトル抽出装置の一実施例の構成を示すブロック図であって、周波数特徴ベクトル生成ユニット１２０と複合特徴ベクトル生成ユニット１３０とから構成されている。ここで、周波数特徴ベクトル生成ユニット１２０は、フーリエ特徴生成部１２１、全体フーリエ特徴ベクトル生成部１２３及び中心フーリエ特徴ベクトル生成部１２５から構成され、複合特徴ベクトル生成ユニット１３０、はフーリエ特徴生成部１２１、強度特徴生成部１３１、全体複合特徴ベクトル生成部１３３及び中心複合特徴ベクトル生成部１３５から構成されている。
【００１４】
　図１を参照して、正規化された顔画像１１０は、例えば原画像を各々４６ピクセルからなる５６ラインの画像にスケーリングすることによって得られる。このとき、正規化された顔画像１１０において右眼と左眼との中心を、２４番目の行の１６番目の列と３１番目の列とに位置合わせする。
【００１５】
　周波数特徴ベクトル生成ユニット１２０において、フーリエ特徴生成部１２１は、正規化された顔画像１１０、すなわち、全体顔領域及び中心顔領域に対して各々フーリエ変換を行ってフーリエスペクトルとフーリエ振幅とを算出し、全体顔領域に対するフーリエスペクトルとフーリエ振幅とから第１特徴ベクトル及び第２特徴ベクトルを決定し、中心顔領域に対するフーリエスペクトルとフーリエ振幅とから第３特徴ベクトル及び第４特徴ベクトルを決定する。第１ないし第４特徴ベクトルは、各々ＰＣＬＤＡ部分空間に投射された後、単位ベクトルに正規化される。第１正規化ベクトル及び第２正規化ベクトルは、全体顔領域に対する特徴ベクトルから正規化され、第３正規化及び第４正規化ベクトルは中心顔領域に対する特徴ベクトルから正規化される。ここで、フーリエ特徴ベクトルは、正規化された顔画像１１０を構成するピクセル間の空間的な関係、つまり周波数特性を符号化したものである。
【００１６】
　全体フーリエ特徴ベクトル生成部１２３は、フーリエ特徴生成部１２１から提供される第１正規化ベクトル及び第２正規化ベクトルを結合し、これを所定の基底行列によって構成される判別空間に投射させた後、投射されたベクトルの各成分を所定の方式で量子化させて全体フーリエ特徴ベクトルとして保存する。
【００１７】
　中心フーリエ特徴ベクトル生成部１２５は、フーリエ特徴生成部１２１から提供される第３正規化ベクトル及び第４正規化ベクトルを結合し、これを所定の基底行列によって構成される判別空間に投射させた後、投射されたベクトルの各成分を所定の方式で量子化させて中心フーリエ特徴ベクトルとして保存する。
【００１８】
　次いで、複合特徴ベクトル生成ユニット１３０において、強度特徴生成部１３１は、正規化された顔画像１１０に対して姿勢推定及び姿勢補償をし、姿勢補償された顔画像のうち全体顔領域と複数個、例えば５つの部分画像をＰＣＬＤＡ部分空間に投射させて、各々第５単位ベクトル及び第６単位ベクトルに正規化させる。全体顔領域に対する全体強度特徴ベクトルは、第５単位ベクトルに正規化された第５特徴ベクトルから、部分顔画像に対する部分強度特徴ベクトルは第６単位ベクトルに正規化された第６ないし第１０特徴ベクトルから生成される。ここで、強度特徴ベクトルは、対応する顔画像を構成するピクセルの強度変化を符号化したものである。
【００１９】
　全体複合特徴ベクトル生成部１３３は、フーリエ特徴生成部１２１から提供される第１正規化ベクトル及び第２正規化ベクトルと強度特徴生成部１３１から提供される全体強度特徴ベクトルとを結合し、これを所定の基底行列によって構成される判別空間に投射させた後、投射されたベクトルの各成分を所定の方式で量子化させて全体複合特徴ベクトルとして保存する。
【００２０】
　中心複合特徴ベクトル生成部１３５は、フーリエ特徴生成部１２１から提供される第３正規化ベクトル及び第４正規化ベクトルと強度特徴生成部１３１から提供される部分強度特徴ベクトルとを結合し、これを所定の基底行列によって構成される判別空間に投射させた後、投射されたベクトルの各成分を所定の方式で量子化させて中心複合特徴ベクトルとして保存する。
【００２１】
　図２は、図１に示されたフーリエ特徴生成部１２１の詳細な構成を示すブロック図であって、第１画像分割部２１０、全体フーリエ特徴ベクトル生成部２２０及び中心フーリエ特徴ベクトル生成部２３０から構成される。全体フーリエ特徴ベクトル生成部２２０は、第１フーリエ変換部２２２及び第２フーリエ変換部２２５、第１ＰＣＬＤＡ投射部２２３及び第２ＰＣＬＤＡ投射部２２６及び第１ベクトル正規化部２２７から構成され、中心フーリエ特徴ベクトル生成部２３０は、第３フーリエ変換部２３２、第３ＰＣＬＤＡ投射部２３３及び第４ＰＣＬＤＡ投射部２３６及び第２ベクトル正規化部２３７から構成される。
【００２２】
　図２を参照すれば、第１画像分割部２１０は、正規化された顔画像１１０を全体顔領域２２１、第１ブロック分割顔領域２２４、中心顔領域２３１及び第２ブロック分割顔領域２３４に分割する。
【００２３】
　全体フーリエ特徴ベクトル生成部２２０は、全体顔領域２２１に対してフーリエスペクトルを、第１ブロック分割顔領域２２４に対してフーリエ振幅を獲得し、フーリエスペクトルとフーリエ振幅とを利用して全体フーリエ特徴ベクトルを生成する。これをさらに詳細に説明すれば、次の通りである。
【００２４】
　第１フーリエ変換部２２２では全体顔領域２２１に対してフーリエ変換を行って周波数領域成分に変換させる。全体顔領域２２１をｆ（ｘ，ｙ）とした場合、そのフーリエスペクトルＦ（ｕ，ｖ）は、次数式（１）のように表せる。
【００２５】
【数１】
2004139596.tif 000003
【００２６】
　ここで、Ｍ＝４６、Ｎ＝５６、ｕ＝０.１，２，．．．，４５、ｖ＝０，１，２，．．．，５５、Ｆ（０，０）はＤＣ成分である。フーリエスペクトルＦ（ｕ，ｖ）は、その成分がフーリエスペクトルのラスタ走査によって得られる実数部Ｒｅ［Ｆ（ｕ，ｖ）］と虚数部Ｉｍ［Ｆ（ｕ，ｖ）］とから構成される第１特徴ベクトルｘf1を得るために使われる。ここで、ラスタ走査は、下記の表１に構成されたようにｕ＝１２，１３，．．．，３４の高周波成分を除外した走査領域Ａ及び走査領域Ｂに対して行う。表１は、特徴ベクトルを抽出するためのフーリエ領域におけるラスタ走査のパラメータを示す。
【００２７】
【表１】
2004139596.tif 000004
【００２８】
　ここで、ＳA及びＳBは、走査領域Ａ及び走査領域Ｂの走査の開始点であり、ＥA及びＥBは走査領域Ａ及び走査領域Ｂで終了点である。ラスタ走査及び走査領域の一例を図１０に示す。図１０に示したように、フーリエ成分は、ｕ方向走査によって走査領域Ａ及び走査領域Ｂから抽出される。
【００２９】
　ラスタ走査の結果、第１特徴ベクトルｘf1は、下記の数式（２）のように表現でき、この時、第１特徴ベクトルｘf1の次元は６４４となる。
【００３０】
【数２】
2004139596.tif 000005
【００３１】
　第１ＰＣＬＤＡ投射部２２３では第１フーリエ変換部２２２によって抽出された第１特徴ベクトルｘf1を第１特徴ベクトルｘf1に対するＰＣＬＤＡによって得られる判別空間に投射させる。判別空間は、従来技術である公知のアルゴリズムによって予め設定された第１基底行列Ψf1によって定義される。
【００３２】
　一方、第２フーリエ変換部２２５では第１ブロック分割顔領域２２４に対してフーリエ変換を行って周波数領域に変換させる。第１ブロック分割顔領域２２４は、図３Ａに示したように全体領域３１１、４ブロック分割領域３１２及び１６ブロック分割領域３１３を含み、各領域に対して別途フーリエ変換を行う。ここで、全体領域ｆ01（ｘ，ｙ）３１１は、正規化された顔画像１１０から両側面の境界列を除去しつつ４４×５６画像サイズにクリッピングすることによって得られ、次の数式（３）のように表せる。
【００３３】
【数３】
2004139596.tif 000006
【００３４】
　ここで、ｘ＝０，１，２，．．．，４３、ｙ＝０，１，２，．．．，５５である。
【００３５】
　４ブロック分割領域ｆ1k（ｘ，ｙ）３１２及び１６ブロック分割領域ｆ2k（ｘ，ｙ）３１３は、全体領域ｆ01（ｘ，ｙ）３１１から得られるが、４ブロック分割領域ｆ1k（ｘ、ｙ）３１２は全体領域ｆ01（ｘ，ｙ）３１１を均等にそのサイズが２２×２８である４つのブロックに分割することによって得られ、次の数式（４）のように表せる。
【００３６】
【数４】
2004139596.tif 000007
【００３７】
　一方、１６ブロック分割領域ｆ2k（ｘ、ｙ）３１３は、全体領域ｆ01（ｘ，ｙ）３１１を均等にそのサイズが１１×１４である１６つのブロックに分割することによって得られ、次の数式（５）のように表せる。
【００３８】
【数５】
2004139596.tif 000008
【００３９】
　第２フーリエ変換部２２５において、全体領域３１１、４ブロック分割領域３１２及び１６ブロック分割領域３１３に対するフーリエ変換の結果、フーリエスペクトル｜Ｆjk（ｕ，ｖ）｜及びフーリエ振幅｜Ｆjk（ｕ，ｖ）｜は、次の数式（６）及び数式（７）のように表せる。
【００４０】
【数６】
2004139596.tif 000009
【数７】
2004139596.tif 000010
【００４１】
　ここで、Ｒｅ（ｚ）及びＩｍ（ｚ）は、複素数ｚの実数部と虚数部とを各々表す。Ｍjは、全体領域３１１または４ブロック分割領域３１２及び１６ブロック分割領域３１３のサブブロックの幅を表し、例えばＭ0＝４４、Ｍ1＝２２、Ｍ2＝１１となる。Ｎjは、全体領域３１１または４ブロック分割領域３１２及び１６ブロック分割領域３１３のサブブロックの高さを表し、例えばＮ0＝５６、Ｎ1＝２８、Ｎ2＝１４となる。
【００４２】
　前記数式（７）で表現される各フーリエ振幅｜Ｆjk（ｕ，ｖ）｜を前記表１に構成されたように高周波成分を除いてラスタ走査して第２特徴ベクトルｘf2を生成する。この時、ラスタ走査の順序は、全体領域３１１のフーリエ振幅｜Ｆ01（ｕ，ｖ）｜、４ブロック分割領域３１２のフーリエ振幅｜Ｆ11（ｕ，ｖ）｜，｜Ｆ12（ｕ，ｖ）｜，｜Ｆ13（ｕ，ｖ）｜，｜Ｆ14（ｕ，ｖ）｜、１６ブロック分割領域３１３のフーリエ振幅｜Ｆ21（ｕ，ｖ）｜，｜Ｆ22（ｕ，ｖ）｜，．．．，｜Ｆ216（ｕ，ｖ）｜である。ラスタ走査の結果、第２特徴ベクトルｘf2は、次の数式（８）のように表現でき、この時、第２特徴ベクトルｘf2の次元数は８５６となる。
【００４３】
【数８】
2004139596.tif 000011
【００４４】
　第２ＰＣＬＤＡ投射部２２６では、第２フーリエ変換部２２５によって抽出された第２特徴ベクトルｘf2を第２特徴ベクトルｘf2に対するＰＣＬＤＡによって得られる判別空間に投射させる。判別空間は、従来技術である公知のアルゴリズムによって予め設定された第２基底行列Ψf2によって定義される。
【００４５】
　第１ベクトル正規化部２２７は、第１ＰＣＬＤＡ投射部２２３で投射されたベクトルを単位ベクトルにするために正規化して下記の数式（９）のように与えられる第１正規化ベクトルｙf1を生成し、第２ＰＣＬＤＡ投射部２２６で投射されたベクトルを単位ベクトルにするために正規化して下記の数式（１０）のように与えられる第２正規化ベクトルｙf2を生成する。
【００４６】
【数９】
2004139596.tif 000012
【数１０】
2004139596.tif 000013
【００４７】
　ここで、ｍf1及びｍf2は、第１ＰＣＬＤＡ投射部２２３及び第２ＰＣＬＤＡ投射部２２６によって投射されたベクトルの平均を表し、ｙf1及びｙf2の次元数は各々７０及び８０である。
【００４８】
　中心フーリエ特徴ベクトル生成部２３０は、中心顔領域２３１に対してフーリエスペクトルとフーリエ振幅とを生成し、フーリエスペクトルとフーリエ振幅とを利用して中心フーリエ特徴ベクトルを生成する。中心フーリエ特徴ベクトル生成部２３０は、全体フーリエ特徴ベクトル生成部２２０と同様に動作し、これをさらに詳細に説明すれば、次の通りである。
【００４９】
　まず、中心顔領域２３１は、正規化された顔画像ｆ(ｘ，ｙ)１１０を（７，１２）から始めて（３８，４３）で終了する３２×３２画像サイズにクリッピングすることによって得られる。
【００５０】
　第３フーリエ変換部２３２では中心顔領域ｇ（ｘ，ｙ）２３１に対してフーリエ変換を行って周波数領域に変換させてフーリエスペクトルＧ（ｕ，ｖ）を算出し、フーリエスペクトルＧ（ｕ，ｖ）をラスタ走査して第３特徴ベクトルｘg1を決定する。ここで、ラスタ走査は、前記表１に構成されたような走査領域Ａ及び走査領域Ｂに対して行われ、ラスタ走査の結果、第３特徴ベクトルｘg1の次元数は２５６となる。
【００５１】
　第３ＰＣＬＤＡ投射部２３３では第３フーリエ変換部２３２によって抽出された第３特徴ベクトルｘg1を第３特徴ベクトルｘg1に対するＰＣＬＤＡによって得られる判別空間に投射させる。判別空間は、従来技術である公知のアルゴリズムによって予め設定された第３基底行列Ψg1によって定義される。
【００５２】
　一方、第４フーリエ変換部２３５では第２ブロック分割顔領域２３４に対してフーリエ変換を行って周波数領域に変換させる。第２ブロック分割顔領域２３４は、図３Ｂに示されたように３２×３２画像サイズの中心領域ｇ01（ｘ，ｙ）３２１、各々１６×１６画像サイズの４ブロック分割領域ｇ1k（ｘ，ｙ）３２２及び各々８×８画像サイズの１６ブロック分割領域ｇ2k（ｘ，ｙ）３２３を含み、各領域に対して別途にフーリエ変換を行う。中心領域ｇ01（ｘ，ｙ）３２１に対するフーリエ振幅は、｜Ｇ（ｕ，ｖ）｜で得られ、４ブロック分割領域ｇ1k（ｘ，ｙ）３２２及び１６ブロック分割領域ｇ2k（ｘ，ｙ）３２３の各サブブロックｇjk（ｘ，ｙ）に対するフーリエ振幅は、｜Ｇjk（ｕ，ｖ）｜で得られる。このフーリエ振幅は、第４特徴ベクトルｘg2を生成するためにラスタ走査される。ここで、ラスタ走査は、前記表１に構成されたような走査領域Ａ及び走査領域Ｂに対して行われ、ラスタ走査の結果、第４特徴ベクトルｘg2の次元数は３８４となる。
【００５３】
　第４ＰＣＬＤＡ投射部２３６では第４フーリエ変換部２３５によって抽出された第４特徴ベクトルｘg2を第４特徴ベクトルｘg2に対するＰＣＬＤＡによって得られる判別空間に投射させる。判別空間は、従来技術である公知のアルゴリズムによって予め設定された第４基底行列Ψg2によって定義される。
【００５４】
　第２ベクトル正規化部２３７は、第３ＰＣＬＤＡ投射部２３３で投射されたベクトルの平均ｍg1を使用して単位ベクトルにするために正規化して第３正規化ベクトルｙg1を生成し、第４ＰＣＬＤＡ投射部２３６で投射されたベクトルの平均ｍg2を使用して単位ベクトルにするために正規化して第４正規化ベクトルｙg2を生成する。この時、第３正規化ベクトルｙg1と第４正規化ベクトルｙg2との次元数は各々７０と８０とである。
【００５５】
　図４は、図１に示された全体フーリエ特徴ベクトル生成部１２３の詳細な構成を示すブロック図であって、第１結合部４１０、第１ＬＤＡ投射部４２０及び第１量子化部４３０から構成される。
【００５６】
　図４を参照すれば、第１結合部４１０ではフーリエ特徴生成部１２１内の第１ベクトル正規化部２２７から提供される第１正規化ベクトルｙf1及び第２正規化ベクトルｙf2を結合してその次元が、例えば、１５０である結合ベクトルを形成する。
【００５７】
　第１ＬＤＡ投射部４２０では第１結合部４１０から提供される結合ベクトルを従来技術である公知のアルゴリズムによって予め設定された第５基底行列Ψf3によって定義した線形判別空間に投射させる。投射されたベクトルｚfは、次の数式（１１）のように表せる。
【００５８】
【数１１】
2004139596.tif 000014
【００５９】
　第１量子化部４３０では第１ＬＤＡ投射部４２０から提供される投射されたベクトルｚfの各成分を次の数式（１２）を使用して５ビット符号なし整数にクリッピングして量子化させた後、全体フーリエ特徴ベクトルｗfiとして保存する。
【００６０】
【数１２】
2004139596.tif 000015
【００６１】
　図５は、図１に示された中心フーリエ特徴ベクトル生成部１２５の詳細な構成を示すブロック図であって、第２結合部５１０、第２ＬＤＡ投射部５２０及び第２量子化部５３０から構成される。
【００６２】
　図５を参照すれば、第２結合部５１０ではフーリエ特徴生成部１２１内の第２ベクトル正規化部２３７から提供される第３正規化ベクトルｙg1及び第４正規化ベクトルｙg2を結合してその次元が、例えば、１５０である結合ベクトルを形成する。
【００６３】
　第２ＬＤＡ投射部５２０では第２結合部５１０から提供される結合ベクトルを従来技術である公知のアルゴリズムによって予め設定された第６基底行列Ψg3によって定義した判別空間に投射させて、投射されたベクトルｚgを生成する。
【００６４】
　第２量子化部５３０では第２ＬＤＡ投射部５２０から提供される投射されたベクトルｚgの各成分を次の数式１３を使用して５ビット符号なし整数にクリッピングして量子化させた後、中心フーリエ特徴ベクトルｗgiとして保存する。
【００６５】
【数１３】
2004139596.tif 000016
【００６６】
　図６は、図１に示された強度特徴生成部１３１の詳細な構成を示すブロック図であって、姿勢推定／補償部６１０、正規化された顔画像１１０の姿勢変化によるミスマッチングを調整する。
【００６７】
　図６を参照すれば、姿勢推定／補償部６１０では正規化された顔画像１１０の姿勢を推定し、推定結果によって姿勢を補償して正面顔画像を出力する。姿勢推定／補償部６１０は、正規化された顔画像１１０の姿勢変化によるミスマッチングを調整する。
【００６８】
　第２画像分割部６２０では姿勢推定／補償部６１０で姿勢補償された顔画像を下記の表２に示されたようなラスタ走査の領域を有する全体顔領域、顔部品１ないし５を有する第１ないし第５部分画像に分割する。すなわち、全体顔領域は（０,０）を開始点として４６×５６画像サイズをラスタ走査し、第１ないし第５部分画像は各々（９,４）、（６,１６）、（１７,１６）、（７,２５）、（１６,２５）を開始点として２９×２７、２４×２１、２４×２１、２４×２４、２４×２４画像サイズをラスタ走査する。
【００６９】
　下記の表２は、顔部品別領域のラスタ走査パラメータ及びベクトル次元数を示す。
【００７０】
【表２】
2004139596.tif 000017
【００７１】
　全体強度特徴ベクトル生成部６３０において、第１ラスタ走査部６３１では姿勢補償された全体顔領域に対して上左側コーナ（０,０）から始めて下右側コーナ（４６,５６）で終了する行方向のラスタ走査を行って全体顔領域の強度値からなる第５特徴ベクトルｘhを生成する。ここで、第５特徴ベクトルｘhの次元数は、例えば、２５７６である。
【００７２】
　第５ＰＣＬＤＡ投射部６３２では第１ラスタ走査部６３１から提供される第５特徴ベクトルｘhを従来技術である公知のアルゴリズムによって予め設定された第７基底行列Ψh1によって定義した判別空間に投射させる。
【００７３】
　第５ベクトル正規化部６３３では第５ＰＣＬＤＡ投射部６３２でプ投射されたベクトルを次の数式（１４）のように与えられる単位ベクトルｙhに正規化して、全体強度特徴ベクトルを生成する。
【００７４】
【数１４】
2004139596.tif 000018
【００７５】
　ここで、ｍhは、第５ＰＣＬＤＡ投射部６３２で投射されたベクトルの平均を表し、その次元数は４０である。
【００７６】
　部分強度特徴ベクトル生成部６４０において、第２ないし第６ラスタ走査部６４１ａ〜６４５ａでは姿勢補償された第１ないし第５部分画像に対して各画像サイズの上左側コーナから始めて下右側コーナで終了する行方向のラスタ走査を行って各部分顔領域の強度値からなる第６特徴ベクトルｘck（ｋ＝１，．．．，５）を生成する。ここで、第６特徴ベクトルｘck（ｋ＝１，．．．，５）の次元数は各ラスタ走査領域に対して各々７８３、５０４、５０４、５７６、５７６である。
【００７７】
　第６ないし第１０ＰＣＬＤＡ投射部６４１ｂ〜６４５ｂでは、第２ないし第６ラスタ走査部６４１ａ〜６４５ａから提供される第６特徴ベクトルｘck（ｋ＝１，．．．，５）を従来技術である公知のアルゴリズムによって予め設定された第８基底行列Ψck（ｋ＝１，．．．，５）によって定義した判別空間に投射させる。
【００７８】
　第６ないし第１０ベクトル正規化部６４１ｃ〜６４５ｃでは第６ないし第１０ＰＣＬＤＡ投射部６４１ｂ〜６４５ｂで投射されたベクトルを次の数式１５のように与えられる単位ベクトルｙck（ｋ＝１，．．．，５）に正規化し、部分強度特徴ベクトルに生成する。
【００７９】
【数１５】
2004139596.tif 000019
【００８０】
　ここで、ｍckは、第６ないし第１０ＰＣＬＤＡ投射部６４１ｂ〜６４５ｂで投射されたベクトルの平均を表し、各ベクトルの次元数は４０である。
【００８１】
　図７は、図６に示された姿勢推定／補償部６１０の詳細な構成を示すブロック図であって、ｎ個のＰＣＡ／ＤＦＦＳ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ／Ｄｉｓｔａｎｃｅ Ｆｒｏｍ Ｆａｃｅ Ｓｐａｃｅ）ブロック７１１，７１２，７１３と最小値検出部７１４とからなる姿勢推定部７１０と、アフィン変換部７２１と逆マッピング部７２２とからなる姿勢補償部７２０とから構成される。
【００８２】
　姿勢推定部７１０は、ＰＣＡ／ＤＦＦＳ方法を使用して正規化された顔画像１１０を、例えば下記の表３のようにあらかじめ構成された９つの姿勢クラスのうち何れか一つに推定するためのものであって、このために第１ないし第ｎＰＣＡ投射部７１１ａ，７１２ａ，７１３ａ（ここで、ｎ＝９）では正規化された顔画像１１０を相異なる９つの姿勢クラスに対する投射行列Ｐi（ｉ＝１，２，．．．，９）のＰＣＡ部分空間に投射させる。この時、各姿勢クラスのＰＣＡモデルは、各姿勢クラスの学習画像セットを用いて学習する。
【００８３】
【表３】
2004139596.tif 000020
【００８４】
　第１ないし第ｎＤＦＦＳ算出部７１１ｂ，７１２ｂ，７１３ｂ（ここで、ｎ＝９）では各姿勢クラスに対して画像の距離ｄi（ｘ）を次の数式１６を利用して算出する。距離、すなわち、ＤＦＦＳは正規化された顔画像１１０が特定姿勢クラスに対するＰＣＡ部分空間によって表現される程度を表す。
【００８５】
【数１６】
2004139596.tif 000021
【００８６】
　数式（１６）において、ｘは各々正規化された顔画像１１０の列方向のラスタスキャンの結果得られるベクトルを表す。前記投射行列Ｐi（ｉ＝１，２，．．．，９）は、従来技術である公知のアルゴリズムによって予め設定された
【００８７】
　最小値検出部７１４では第１ないし第ｎＤＦＦＳ算出部７１１ｂ，７１２ｂ，７１３ｂ（ここで、ｎ＝９）から提供される距離ｄi（ｘ）のうち最小値を検出し、次の数式（１７）のように最小値を有する姿勢クラスを正規化された顔画像１１０の姿勢クラスと推定する。
【００８８】
【数１７】
2004139596.tif 000022
【００８９】
　前記ＰＣＡ／ＤＦＦＳ方法は、Ｂ．ＭｏｇｈａｄｄａｍとＡ．Ｐｅｎｔｌａｎｄとが発表した「Ｆａｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ ｕｓｉｎｇ Ｖｉｅｗ−Ｂａｓｅｄ ａｎｄ Ｍｏｄｕｌａｒ Ｅｉｇｅｎｓｐａｃｅｓ，」Ａｕｔｏｍａｔｉｃ Ｓｙｓｔｅｍｓ ｆｏｒ ｔｈｅ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｉｎｓｐｅｃｔｉｏｎ ｏｆ Ｈｕｍａｎｓ，ＳＰＩＥ Ｖｏｌ．２２７７，Ｊｕｌｙ １９９４に詳細に記載されている。
【００９０】
　次いで、姿勢補償部７２０は、姿勢推定部７１０で推定された姿勢クラスによって、正規化された顔画像１１０を正面顔画像に補償するためのものであって、このためにアフィン変換部７２１では姿勢推定部７１０で推定された姿勢クラスに対応する正面姿勢クラスへの所定のアフィン変換行列をロードする。各姿勢クラスから正面姿勢クラスへのアフィン変換は、正面姿勢クラスと各姿勢クラス間の対応ポイントによって決定される。
各姿勢クラスの対応ポイントは、例えば、２つの眉と２つの目との左端及び右端、鼻の左端、右端及び下端、口の左端、右端、上端及び下端のような区分可能な１５の顔の特徴に対する平均位置から算出され、このような１５の区分可能な顔の特徴は、姿勢クラスに割当てられたトレーニング画像から選択されたものである。
【００９１】
　逆マッピング部７２２ではアフィン変換部７２１でローディングされたアフィン変換行列を使用して正規化された顔画像１１０を正面顔画像に幾何学的に逆マッピングさせて姿勢補償された顔画像を提供する。各姿勢クラスｊから正面顔画像へのアフィン変換は、例えば、下記の表４に規定される６次元のパラメータＡj＝｛ａ，ｂ，ｃ，ｄ，ｅ，ｆ｝に表現される。ここで、これらパラメータは、正面顔画像で区分可能な顔特徴と、各姿勢顔画像で区分可能な顔特徴間との比率によって計算される。
【００９２】
【表４】
2004139596.tif 000023
【００９３】
　一方、逆マッピングされた顔画像の位置（ｘ,ｙ）での画素値は、例えば共一次線形補間を用いて次の数式（１８）のように算出される。
【００９４】
【数１８】
2004139596.tif 000024
【００９５】
　ここで、x'=ceil(a・x+b・y+c)，y'=ceil(d・x+e・y+f)，dx=(a・x+b・y+c)−x'，dy=(d・x+e・y+f)−y'であり、f(x',y')は位置(x',y')での正規化された顔画像１１０の画素値を示す。
【００９６】
　図８は、図１に示された全体複合特徴ベクトル生成部１３３の詳細な構成を示すブロック図であって、第３結合部８１０、第３ＬＤＡ投射部８２０及び第３量子化部８３０から構成される。
【００９７】
　図８を参照すれば、第３結合部８１０ではフーリエ特徴生成部１２１内の第１ベクトル正規化部２２７から提供される第１正規化ベクトルｙf1及び第２正規化ベクトルｙf2と全体強度特徴ベクトル生成部６３０から提供される全体強度特徴ベクトルｙhとを結合し、その次元が、例えば、１９０である結合ベクトルを形成する。
【００９８】
　第３ＬＤＡ投射部８２０では第３結合部８１０から提供される結合ベクトルを従来技術である公知のアルゴリズムによって予め設定された第９基底行列Ψh2によって定義した線形判別空間に投射させる。投射されたベクトルｚhは、次の数式（１９）のように表せる。
【００９９】
【数１９】
2004139596.tif 000025
【０１００】
　第３量子化部８３０では第３ＬＤＡ投射部８２０から提供される投射されたベクトルｚhの各成分を次の数式（２０）を使用して５ビット符号なし整数にクリッピングして量子化させた後、全体複合特徴ベクトルｗhiとして保存する。
【０１０１】
【数２０】
2004139596.tif 000026
【０１０２】
　図９は、図１に示された中心複合特徴ベクトル生成部１３５の詳細な構成を示すブロック図であって、第４結合部９１０、第４ＬＤＡ投射部９２０及び第４量子化部７３０から構成される。
【０１０３】
　図９を参照すれば、第４結合部９１０ではフーリエ特徴生成部１２１内の第２ベクトル正規化部２３７から提供される第３正規化ベクトルｙg1及び第４正規化ベクトルｙg2と部分強度特徴ベクトル生成部６４０から提供される部分強度特徴ベクトルとを結合し、その次元が、例えば、３５０である結合ベクトルを形成する。
【０１０４】
　第４ＬＤＡ投射部９２０では第４結合部９１０から提供される結合ベクトルを従来技術である公知のアルゴリズムによって予め設定された第１０基底行列Ψc6によって定義した判別空間に投射させる。投射されたベクトルｚcは、次の数式（２１）のように表せる。
【０１０５】
【数２１】
2004139596.tif 000027
【０１０６】
　第４量子化部９３０では第４ＬＤＡ投射部９２０から提供される投射されたベクトルｚcの各成分を次の数式２２を使用して５ビット符号なし整数にクリッピングして量子化させた後、中心複合特徴ベクトルｗciとして保存する。
【０１０７】
【数２２】
2004139596.tif 000028
【０１０８】
　なお、前記した第１ないし第１０基底行列（または投射行列）については、Ｔａｅ−Ｋｙｕｎ Ｋｉｍらによる「Ｃｏｍｐｏｎｅｎｔ−ｂａｓｅｄ ＬＤＡ ｆａｃｅ Ｄｅｓｃｒｉｐｔｏｒ ｆｏｒ ｉｍａｇｅ ｒｅｔｒｉｅｖａｌ」，Ｂｒｉｔｉｓｈ Ｍａｃｈｉｎｅ Ｖｉｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ ２００２，Ｓｅｐｔｅｍｂｅｒ ２００２のセクション３に詳細に記述されている。
【０１０９】
　次に、本発明による特徴ベクトル抽出方法を顔画像検索に適用した例を通じて検索性能の向上程度を説明する。
【０１１０】
　実験のためにデータセットとして５つのデータベースから構成されるＭＰＥＧ−７顔データセットを使用した。５つのデータベースは、各々ＭＰＥＧ−７拡張バージョン１顔データベース（Ｅ１）、Ａｌｔｋｏｍデータベース（Ａ２）、ＸＭ２ＶＴＳデータベースにあるＭＰＥＧ−７テストセット（Ｍ３）、ＦＥＲＥＴデータベース（Ｆ４）及びＢａｎｃａデータベースにあるＭＰＥＧ−７テストセット（Ｂ５）である。全体画像数は、１１８４５枚であり、このうち３６５５枚の画像はＬＤＡ投射の学習画像として使われ、８１９０枚の画像は性能評価のために使われた。表５は、学習画像及び評価画像に関する詳細なリストを示す。
【０１１１】
【表５】
2004139596.tif 000029
【０１１２】
　一方、検索の精度はＡＮＭＲＲ（Ａｖｅｒａｇｅ Ｎｏｒｍａｌｉｚｅｄ Ｍｏｄｉｆｉｅｄ Ｒｅｔｒｉｅｖａｌ Ｒａｔｅ）で評価された。ＡＮＭＲＲについてはＢ.Ｓ.Ｍａｎｊｕｎａｔｈ,Ｐｈｉｌｉｐｐｅ Ｓａｌｅｍｂｉｅｒ及びＴｈｏｍａｓ Ｓｉｋｏｒａによる「Ｉｎｔｒｏｕｃｔｉｏｎ ｔｏ ＭＰＥＧ−７：Ｍｕｌｔｉｍｅｄｉａ Ｃｏｎｔｅｎｔ Ｄｅｓｃｒｉｐｔｉｏｎ Ｉｎｔｅｒｆａｃｅ」，Ｊｏｈｎ Ｗｉｌｅｙ ＆ Ｓｏｎｓ Ｌｔｄ.,２００２に詳細に記載されている。
【０１１３】
　シミュレーションした結果、検索精度をＡＮＭＲＲで表せば、フーリエ特徴ベクトルだけ使用する場合に０.３５４、強度特徴ベクトルだけ使用する場合に０.３９０であった。しかし、本発明のようにフーリエ特徴ベクトルと強度特徴ベクトルとを統合させて使用する場合に０.２６６に向上した。使われたフーリエ特徴ベクトルのサイズは、２４０（＝４８×５）ビットであり、本発明で使われたフーリエ特徴ベクトルのサイズは、３２０（＝６４×５）ビットである。検索精度はＬＤＡ投射の次元によって変わる。例えば、次元が４８（すなわち、２４０ビット）である場合にＡＮＭＲＲは０.２８０、次元が６４（すなわち、３２０ビット）である場合にＡＮＭＲＲは０.２６６、次元が１２８（すなわち、６４０ビット）である場合にＡＮＭＲＲは０.２４９となる。このように、本発明のようにフーリエ特徴ベクトルと強度特徴ベクトルとを統合させて使用することで優れた検索精度及び識別結果を得られることが実験によって明らかになっている。
【０１１４】
　前述した本発明は、またコンピュータで読取れる記録媒体にコンピュータが読取れるコードとして具現できる。コンピュータが読取れる記録媒体は、コンピュータシステムによって読取られるデータが保存される全ての種類の記録装置を含む。コンピュータが読取れる記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピーディスク、光データ保存装置があり、またキャリアウェーブ（例えば、インターネットを通した伝送）の形態で具現されるものも含む。また、コンピュータが読取れる記録媒体を、ネットワークに連結されたコンピュータシステムに分散し、分散方式でコンピュータが読取れるコードとして保存し、実行してもよい。
【０１１５】
　以上、本発明についてその望ましい実施の形態を中心に説明した。当業者であれば、本発明が本発明の本質的な特徴から外れない範囲で変形された形態で具現可能なことが分かる。したがって、開示された実施例を限定的な観点でなく、例示的な観点で考慮しなければならない。本発明の範囲は、前述した実施の形態でなく特許請求の範囲に提示されており、それと同等な範囲内にある全ての差異点は本発明に含まれたと解釈しなければならない。
【産業上の利用可能性】
【０１１６】
　本発明による特徴ベクトル抽出方法及び装置は、端末アクセス制御、公共場所管制システム、電子アルバム、犯罪者顔認識など多くの応用分野を有している顔認識及び検索システムに適用され、周波数領域上で生成された特徴ベクトルによる検索限界と空間領域上で生成された特徴ベクトルの検索限界とを補完することによって顔映像を従来技術に比べ正確に認識できる。
【図面の簡単な説明】
【０１１７】
【図１】顔認識及び検索用特徴ベクトル抽出装置の構成を示すブロック図である。
【図２】フーリエ特徴生成部の詳細な構成を示すブロック図である。
【図３Ａ】ブロック分割顔領域の詳細な構成を示すブロック図である。
【図３Ｂ】ブロック分割顔領域の詳細な構成を示すブロック図である。
【図４】全体フーリエ特徴ベクトル生成部の詳細な構成を示すブロック図である。
【図５】中心フーリエ特徴ベクトル生成部の詳細な構成を示すブロック図である。
【図６】強度特徴生成部の詳細な構成を示すブロック図である。
【図７】姿勢推定／補償部の詳細な構成を示すブロック図である。
【図８】全体複合特徴ベクトル生成部の詳細な構成を示すブロック図である。
【図９】中心複合特徴ベクトル生成部の詳細な構成を示すブロック図である。
【図１０】フーリエ特徴生成部で適用されるラスタ走査を説明する図面である。
【符号の説明】
【０１１８】
　１１０　　正規化された顔画像
　１２０　　周波数特徴ベクトル生成ユニット
　１２１　　フーリエ特徴生成部
　１２３　　全体フーリエ特徴ベクトル生成部
　１２５　　中心フーリエ特徴ベクトル生成部
　１３０　　複合特徴ベクトル生成ユニット
　１３１　　強度特徴生成部
　１３３　　全体複合特徴ベクトル生成部
　１３５　　中心複合特徴ベクトル生成部
【図１】
2004139596.tif 000030
【図２】
2004139596.tif 000031
【図３Ａ】
2004139596.tif 000032
【図３Ｂ】
2004139596.tif 000033
【図４】
2004139596.tif 000034
【図５】
2004139596.tif 000035
【図６】
2004139596.tif 000036
【図７】
2004139596.tif 000037
【図８】
2004139596.tif 000038
【図９】
2004139596.tif 000039
【図１０】
2004139596.tif 000040