(57)【要約】【課題】２次ＩＣＡを利用した顔認識／検索法及びその装置を提供する。【解決手段】（ａ）入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階、（ｂ）前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する段階、（ｃ）前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成する段階を含むことを特徴とする。元来のＩＣＡがグレースケールイメージから独立成分（すなわち、独立的基礎成分）を減じたものである一方、本発明にて開示される２次ＩＣＡは残りイメージを高帯域−通過周波数の成分に対応すべく適用するので、それは照明変化に強い。【選択図】　図１
2004005457.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）入力された原映像に主成分分析（ＰＣＡ）を行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階と、
（ｂ）前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する段階と、
（ｃ）前記残余映像にさらに独立成分分析（ＩＣＡ）を行い、前記原映像に対応する特徴情報を生成する段階と、を含むことを特徴とする２次ＩＣＡを利用した特徴情報生成方法。
【請求項２】
（ａ）認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される段階と、
（ｂ）前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する段階と、
（ｃ）前記第１及び第２顔映像に対応するＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する段階と、を含むことを特徴とする２次ＩＣＡを利用した顔認識法。
【請求項３】
前記（ｂ）段階は、
（ｂ１）前記第１及び第２顔映像にＰＣＡを行い、前記第１及び第２顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階と、
（ｂ２）前記第１及び第２顔映像から前記第１及び第２顔映像にそれぞれ対応する低帯域フィルタリング映像を減算し、前記第１及び第２顔映像に対応するそれぞれの残余映像を発生させる段階と、
（ｂ３）前記第１及び第２顔映像にそれぞれ対応する残余映像にＩＣＡを行い、前記第１及び第２顔映像に対応するＩＣＡ係数ベクトルを生成する段階と、を含むことを特徴とする請求項２に記載の２次ＩＣＡを利用した顔認識法。
【請求項４】
前記（ｃ）段階は、
前記第１及び第２顔映像にそれぞれ対応するＩＣＡ係数ベクトルをベクトル表示する時、前記２ベクトル間の内積値を前記２ベクトルの大きさの積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする請求項２に記載の２次ＩＣＡを利用した顔認識法。
【請求項５】
（ａ）少なくとも一人以上の人物の顔を撮影した顔映像及び前記人物の身上に関する情報を保存したデータベース（ＤＢ）を備える段階と、
（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階と、
（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階と、
（ｄ）順次に前記ＤＢに保存されている顔映像を読み込み、前記顔映像に２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階と、
（ｅ）前記検索する顔映像に対応するＩＣＡ係数ベクトルと前記ＤＢの顔映像に対応するＩＣＡ係数ベクトルとを比較し、前記２顔映像が同一人のものであるか否かを判断する段階と、
（ｆ）前記判断結果、前記２顔映像が同一人のものであると判断されれば、前記ＤＢに保存されている前記顔映像に対応する身上情報を読み込んで出力する段階と、を含むことを特徴とする２次ＩＣＡを利用した顔検索法。
【請求項６】
前記（ｃ）段階及び（ｄ）段階にて所定顔映像から２次ＩＣＡを行って発生されるＩＣＡ係数ベクトルは、
（ａａ）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階と、
（ａｂ）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階と、
（ａｃ）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成する段階と、を含むことを特徴とする請求項５に記載の２次ＩＣＡをこの腕がいい顔検索法。
【請求項７】
前記（ｅ）段階は、
前記２つのＩＣＡ係数ベクトル間の内積値を前記２ベクトルの大きさの積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする請求項５に記載の２次ＩＣＡを利用した顔検索法。
【請求項８】
（ａ）少なくとも一人以上の人物の顔映像に対応するＩＣＡ係数ベクトルとそれに対応する前記人物の身上情報とを保存しているＤＢを備える段階と、
（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階と、
（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める段階と、
（ｄ）前記ＤＢに保存されているＩＣＡ係数ベクトル値と検索する顔映像に対応するＩＣＡ係数ベクトル値間の類似程度により、前記検索する顔映像の人物と同一人の顔映像に対応するＩＣＡ係数ベクトル値を検索して出力する段階と、を含むことを特徴とする２次ＩＣＡを利用した顔検索装置。
【請求項９】
前記（ｃ）段階は、
（ｃ１）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階と、
（ｃ２）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階と、
（ｃ３）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成する段階と、を含むことを特徴とする請求項８に記載の２次ＩＣＡを利用した顔検索装置。
【請求項１０】
入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部と、
前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部と、
前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部と、を含むことを特徴とする２次ＩＣＡを利用した特徴情報生成装置。
【請求項１１】
認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される入力部と、
前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する特徴情報生成部と、
前記第１及び第２顔映像に対応するＩＣＡ係数ベクトルを比較し、ＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する比較部と、を含むことを特徴とする２次ＩＣＡを利用した顔認識装置。
【請求項１２】
前記特徴情報生成部は、
入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部と、
前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部と、
前記残余映像にＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部と、を含むことを特徴とする請求項１１に記載の２次ＩＣＡを利用した顔認識装置。
【請求項１３】
顔を検索するのに必要な顔映像ＤＢを構築するのに使われる顔映像または前記ＤＢを構築するのに使われる顔映像のうち検索する対象になる顔映像を入力される入力部と、
前記入力部から提供された顔映像について２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成する特徴情報生成部と、
前記特徴情報生成部から前記ＤＢを構築するのに使われる顔映像に対応する特徴情報を提供され、それをＤＢに保存するＤＢ管理部と、
前記特徴情報生成部から前記検索する対象になる顔映像に対応する特徴情報を提供され、前記ＤＢに保存されている特徴情報のうち前記提供された特徴情報と類似程度が所定の基準値より大きい特徴情報を検索して前記特徴情報に対応する人物と前記検索する対象になる顔映像の人物とが同一人であると判断する比較部と、を含むことを特徴とする２次ＩＣＡを利用した顔検索装置。
【請求項１４】
前記ＤＢ管理部は前記入力部から前記ＤＢを構築する顔映像を提供されて保存し、
前記比較部は前記ＤＢに保存されている顔映像を順次に読み込んで特徴情報生成部に提供した後に前記特徴情報生成部から前記顔映像に対応する特徴情報を提供され、前記検索する対象になる顔映像の特徴情報と比較し、前記顔映像間の類似程度を判断し、前記顔映像が同一人物のものであるか否かを判断して出力し、
前記特徴情報生成部は前記入力部から前記検索する対象になる顔映像及び前記比較部から前記ＤＢから読み込まれた顔映像を提供され、前記顔映像に２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成して前記比較部に提供することを特徴とする請求項１３に記載の２次ＩＣＡを利用した顔検索装置。
【請求項１５】
前記特徴情報は、
ＩＣＡ係数ベクトルを含むことを特徴とする請求項１３に記載の２次ＩＣＡを利用した顔検索装置。
【請求項１６】
前記特徴情報生成部は、
前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像にＰＣＡを行い、前記顔映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部と、
前記顔映像から前記低帯域フィルタリング映像を減算し、前記顔映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部と、
前記残余映像にさらにＩＣＡを行い、前記顔映像に対応する特徴情報を生成するＩＣＡ係数行列計算部と、を含むことを特徴とする請求項１３に記載の２次ＩＣＡを利用した顔検索装置。
【請求項１７】
請求項１ないし９のうちいずれか１項の方法をコンピュータで実行するためのプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は２次独立成分分析（ＩＣＡ：Ｉｎｄｅｐｅｎｄｅｎｔ　Ｃｏｍｐｏｎｅｎｔ　Ａｎａｌｙｓｉｓ）を利用した顔認識／検索法及びその装置に関する。
【０００２】
【従来の技術】
映像処理と解釈において、人間の顔は視覚的な判別と身元確認（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する重要な要素である。１９９０年代初頭から、顔認識と顔表情解釈に関する分析研究が広範囲にすすめられてきた。最近では、一連の映像の中から顔を検索し身元を確認するために、ＭＰＥＧ−７顔叙述子が提案されている。前記顔叙述子の主要な機能は、従来の顔認識アルゴリズムに比べ、可能なかぎり迅速かつ効果的に照会イメージと同じ顔イメージを検索することである。ここで解決すべき問題の一つに、前記顔叙述子が照度（光の明るさ：ｉｌｌｕｍｉｎａｔｉｏｎ）に大きい変化のあるイメージの組み合わせに対しても適確に作動せねばならないということがあり、この問題を解決するためのさまざまな提案がなされている。
【０００３】
照明変化（明るさｉｌｌｕｍｉｎａｔｉｏｎの違い）を克服するために、ＷａｎｇとＴａｎとは２次固有顔法（２ｎｄ−ｏｒｄｅｒ　ｅｉｇｅｎｆａｃｅ　ｍｅｔｈｏｄ）を提示し、ＫａｍｅｉとＹａｍａｄａとは照明変化に起因した顔の対称（ｓｙｍｍｅｔｒｙ）と輝度変化を描写するために信頼因子を使用することにまで作業領域を広める。ＮｅｆｉａｎとＤａｖｉｅｓとは顔叙述のためにＤＣＴ（Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）を基盤にしたｅＨＭＭ（ｅｍｂｅｄｄｅｄ　Ｈｉｄｄｅｎ　Ｍａｒｋｏｖ　Ｍｏｄｅｌ）を使用し、Ｋｉｍらは２次ＰＭＭ（２ｎｄ−ｏｒｄｅｒ　ＰＣＡ（Ｐｒｉｎｃｉｐａｌ　Ｃｏｍｐｏｎｅｎｔ
Ａｎａｌｙｓｉｓ：主成分分析）　Ｍｉｘｔｕｒｅ　Ｍｏｄｅｌ）法を開発した。
【０００４】
先導的な固有値（ｌｅａｄｉｎｇ　ｅｉｇｅｎｖａｌｕｅｓ）に対応する主成分（ｐｒｉｎｃｉｐａｌ　ｃｏｍｐｏｎｅｎｔ）は身元確認よりは照明変化を記述するものであるという観察に基づき、ＷａｎｇとＴａｎとは２次ＰＣＡ法を提案した。第一に、ＰＣＡは１セットのトレーニングイメージ（ｔｒａｉｎｉｎｇ　ｉｍａｇｅｓ）に対して実行される。最初の１０個の固有値に対応する先導的な主成分から再構成されたイメージは低い周波数成分を代表する。従って先導的な固有値は、照明変化に敏感である。その後、トレーニングイメージに対応する先導的な主成分を、再構成されたイメージから減算して、照明変化を減ずる。それらは残差映像と呼ばれ、照明変化により変動しにくい高い周波数成分を含む。最後に、照明により変化する因子を減じて得られた残差映像に対して、ＰＣＡが適用される。
【０００５】
また、Ｋｉｍらは、顔イメージ空間のさまざまな模様（パターン）の可能性分布を評価するために２次ＰＭＭ法を導入し、ＫａｍｅｉとＹａｍａｄａは、２次ＰＣＡ法に照明変化に起因した顔対称と輝度とを記述するための信頼因子を追加した。
【０００６】
Ｂａｒｔｌｅｔｔは、ＩＣＡが、より高次の画素間関係を有する、顔イメージ空間の重要情報を抽出するので、ＩＣＡがＰＣＡより顔描写により良い基礎ベクトルを提供すると主張し、その証拠は、ＦＡＲＥＴ顔データシート上の実験的な結果を通じて示されている。図１にて示すように、ＩＣＡ表現における改善点は、ＰＣＡとＩＣＡ間の基礎ベクトル選択での差により説明することができる。図１の（ａ）はＰＣＡを、（ｂ）はＩＣＡを示す。すなわち、データがガウス分布でないときには、基礎ベクトルが直交するゆえにＰＣＡはそのデータを記述できず、一方ＩＣＡは適切にデータを記述することができる。
【０００７】
しかし、前記のＢａｒｔｌｅｔｔ法による場合にも、照明変化が大きいと、満足すべき効果を得られない点が問題となる。
【０００８】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、２次ＩＣＡを利用して所定映像を特徴づける特徴情報を生成する方法及びその装置を提供することである。また、本発明がなそうとする他の技術的課題は、２次ＩＣＡを利用して所定顔映像を認識する方法及びその装置を提供することである。本発明がなそうとするさらに他の技術的課題は、２次ＩＣＡを利用した所定の顔を検索する方法及びその装置を提供することである。
【０００９】
【課題を解決するための手段】
前記問題点を解決するための本発明による２次ＩＣＡを利用した特徴情報生成方法は、（ａ）入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する段階、（ｂ）前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する段階、（ｃ）前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成する段階を含むことを特徴とする。
【００１０】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔認識法は、（ａ）認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される段階、（ｂ）前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する段階、（ｃ）前記第１及び第２顔映像に対応するＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する段階を含むことを特徴とする。
【００１１】
ここで前記（ｂ）段階は、（ｂ１）前記第１及び第２顔映像にＰＣＡを行い、前記第１及び第２顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階、（ｂ２）前記第１及び第２顔映像から前記第１及び第２顔映像にそれぞれ対応する低帯域フィルタリング映像を減算し、前記第１及び第２顔映像に対応するそれぞれの残余映像を発生させる段階、（ｂ３）前記第１及び第２顔映像にそれぞれ対応する残余映像にＩＣＡを行い、前記第１及び第２顔映像に対応するＩＣＡ係数ベクトルを生成する段階を含むことを特徴とする。
【００１２】
また前記（ｃ）段階は、前記第１及び第２顔映像にそれぞれ対応するＩＣＡ係数をベクトル表示する時、前記２ベクトル間の内積値を前記２ベクトルの絶対値の積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする。
【００１３】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔検索法は、（ａ）少なくとも一人以上の人物の顔を撮影した顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する情報を保存したＤＢ（ＤａｔａＢａｓｅ）を備える段階、（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階、（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階、（ｄ）順次に前記ＤＢに保存されている顔映像を読み込み、前記顔映像に２次ＩＣＡを行ってＩＣＡ係数ベクトルを発生させる段階、（ｅ）前記検索する顔映像に対応するＩＣＡ係数ベクトルと前記ＤＢの顔映像に対応するＩＣＡ係数ベクトルとを比較し、前記２顔映像が同一人のものであるか否かを判断する段階及び（ｆ）前記判断結果、前記２顔映像が同一人のものであると判断されれば、前記ＤＢに保存されている前記顔映像に対応する身上情報を読み込んで出力する段階を含むことを特徴とする。
【００１４】
ここで、前記（ｃ）段階及び（ｄ）段階にて所定顔映像から２次ＩＣＡを行って発生されるＩＣＡ係数は、（ａａ）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階、（ａｂ）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階、（ａｃ）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成する段階を含むことを特徴とする。
【００１５】
また前記（ｅ）段階は、前記検索する顔映像に対応するＩＣＡ係数と前記ＤＢの顔映像に対応するＩＣＡ係数とをそれぞれそれに対応するベクトルで表示する時、前記２ベクトル間の内積値を前記２ベクトルの絶対値の積で割った値が所定値より大きい場合には、前記第１及び第２顔映像が同一人を撮影して発生されたと判断することを特徴とする。
【００１６】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔検索装置は、（ａ）少なくとも一人以上の人物の顔映像に対応するＩＣＡ係数ベクトルとそれに対応する前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報とを保存しているＤＢを備える段階、（ｂ）前記ＤＢから検索する任意の顔映像を入力される段階、（ｃ）前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める段階及び（ｄ）前記ＤＢに保存されているＩＣＡ係数ベクトル値と検索する顔映像に対応するＩＣＡ係数ベクトル値間の類似程度により、前記検索する顔映像の人物と同一人の顔映像に対応するＩＣＡ係数ベクトル値を検索して出力する段階を含むことを特徴とする。
【００１７】
ここで前記（ｃ）段階は、（ｃ１）前記顔映像にＰＣＡを行い、前記顔映像から高周波成分を除去した低帯域フィルタリング映像を生成する段階、（ｃ２）前記顔映像から前記顔映像に対応する低帯域フィルタリング映像を減算し、前記顔映像に対応する残余映像を発生させる段階及び（ｃ３）前記顔映像にそれぞれ対応する残余映像にＩＣＡを行ってＩＣＡ係数ベクトルを生成させる段階を含むことを特徴とする。
【００１８】
前記特徴情報生成方法、顔認識法及び顔検索法は、それぞれ、コンピュータで実行可能なプログラムとして提供することが可能であり、そのようなコンピュータプログラムを記録したコンピュータ読取可能な記録媒体（または伝送媒体）で提供可能である。
【００１９】
前記問題点を解決するための本発明による２次ＩＣＡを利用した特徴情報生成装置は、入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部、前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２０】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔認識装置は、認識する対象になる第１顔映像と前記第１顔映像と比較するのに基準になる第２顔映像とを入力される入力部、前記第１及び第２顔映像にそれぞれ２次ＩＣＡを行ってＩＣＡ係数ベクトルを抽出する特徴情報生成部、前記第１及び第２顔映像に対応するＩＣＡ係数ベクトル間に類似性があるか否かを判断して出力する比較部を含むことを特徴とする。
【００２１】
ここで前記特徴情報生成部は、入力された原映像にＰＣＡを行い、前記原映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部、前記原映像から前記低帯域フィルタリング映像を減算し、前記原映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像にさらにＩＣＡを行い、前記原映像に対応する特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２２】
前記問題点を解決するための本発明による２次ＩＣＡを利用した顔検索装置は、顔を検索するのに必要な顔映像ＤＢを構築するのに使われる顔映像または前記ＤＢを構築するのに使われる顔映像のうち検索する対象になる顔映像を入力される入力部、前記入力部から前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像を提供され、前記顔映像に２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成する特徴情報生成部、前記特徴情報生成部から前記ＤＢを構築するのに使われる顔映像に対応する特徴情報を提供され、それをＤＢに保存するＤＢ管理部、前記特徴情報生成部から前記検索する対象になる顔映像に対応する特徴情報を提供され、前記ＤＢに保存されている特徴情報のうち前記提供された特徴情報と類似程度が所定の基準値より大きい特徴情報を検索して前記特徴情報に対応する人物と前記検索する対象になる顔映像の人物とが同一人であると判断する比較部を含むことを特徴とする。
【００２３】
ここで前記顔検索装置は、前記ＤＢ管理部は前記入力部から前記ＤＢを構築する顔映像を提供されて保存し、前記比較部は前記ＤＢに保存されている顔映像を順次に読み込んで特徴情報生成部に提供した後に前記特徴情報生成部から前記顔映像に対応する特徴情報を提供され、前記検索する対象になる顔映像の特徴情報と比較し、前記顔映像間の類似程度を判断し、前記顔映像が同一人物のものであるか否かを判断して出力し、前記特徴情報管理部は前記入力部から前記検索する対象になる顔映像及び前記比較部から前記ＤＢから読み込まれた顔映像を提供され、前記顔映像に２次ＩＣＡを行い、前記顔映像に対応する特徴情報を生成して前記比較部に提供することを特徴とする。
【００２４】
また前記顔検索装置は、前記特徴情報はＩＣＡ係数ベクトルを含むことを特徴とし、前記特徴情報生成部は前記ＤＢを構築するのに使われる顔映像または前記検索する対象になる顔映像にＰＣＡを行い、前記顔映像から高周波成分が除去された低帯域フィルタリング映像を生成する低帯域フィルタリングイメージ生成部、前記顔映像から前記低帯域フィルタリング映像を減算し、前記顔映像にて高周波成分だけ残っている残余イメージ情報を生成する残余イメージ生成部及び前記残余映像にさらにＩＣＡを行い、前記顔映像に対応する特徴情報を生成するＩＣＡ係数行列計算部を含むことを特徴とする。
【００２５】
【発明の実施の形態】
以下、添付した図面を参照して本発明の実施例を詳細に説明する。本発明では、顔イメージ空間を描写して照明変化にて判別性を向上させるために、２次ＩＣＡ法を適用する。
【００２６】
以下、本発明で使用する２次ＩＣＡ記述子について、詳細に説明する。
【００２７】
まずＩＣＡについて説明すれば、Ｍ個のイメージの組み合わせが基底ベクトルを抽出する学習映像（トレーニングイメージ）として与えられると仮定し、φｉをｉ番目学習映像に対応するラスタスキャンされたベクトルとする。この時、ベクトル次元は映像の画素の数であり、これをＮとすると、典型的に、Ｍ＜Ｎとなる。
【００２８】
イメージ組み合わせの平均ベクトルは
2004005457.tif 000003
である。全てのイメージから平均ベクトルを減算した後、すなわちＸｉ＝φｉ−ｍ平均列を有したＭ×Ｎ行列　Ｘ＝［ｘ１，．．．，ｘＭ］Ｔであり、データの共分散行列は　ＸＴＸと表現される。一般的に、ＩＣＡはＮ×Ｎ可逆の行列　Ｗ（０）を発見することを目標とし、それは　Ｕ（０）＝Ｗ（０）Ｘの列は統計的に独立であり、顔イメージＸは基底ベクトル（あるいは映像）として使用される。すなわち、　Ｗ（０）−１Ｕ（０）は独立的な列　Ｕ（０）により表現される。顔イメージｘのＩＣＡ表現は、図２に示すように、基底ベクトル（あるいは映像）　ｕｉ＝（ｉ＝１，．．．，Ｎ）の線形組み合わせとして表現される。本発明では照明に変わらない顔表現をなすために元来のＩＣＡを２次ＩＣＡに拡張する。
【００２９】
以下にては、本発明に適用される２次ＩＣＡを詳細に説明する。
【００３０】
元来の顔イメージであるＸについてＰＣＡを行い、Ｍ個のトレーニングイメージの固有値及び固有ベクトルを抽出する。顔イメージの低周波成分を表現するために　Ｍ１＜Ｍである第１最大固有ベクトルが選択され、Ｍ１に対するデータの投影であるリーディング固有ベクトルは次の数式１のように表現される。
【００３１】
【数１】
2004005457.tif 000004
【００３２】
ここで、
2004005457.tif 000005
は選択された固有ベクトルの集合を示し、Ｐｉはｉ番目最大固有値に該当する固有ベクトルを示す。独立ソースの数字を学習可能で扱いやすい（ｔｒａｃｔａｂｌｅ）数字に減らし、単純な再構成を提供するためにＩＣＡはＸの代わりに
2004005457.tif 000006
について行われる。これは　Ｍ１に次の数式２で表現される
2004005457.tif 000007
を提供する。
【００３３】
【数２】
2004005457.tif 000008
【００３４】
ここで、
2004005457.tif 000009
統計的に独立となるような変換可能なマトリックスＭ１×Ｍ１を示す。
2004005457.tif 000010
ＢｅｌｌとＳｅｊｎｏｗｓｋｉのアルゴリズムにより評価され、
2004005457.tif 000011
トレーニングイメージの低帯域フィルタリングされたバージョンの統計的に独立的な基底ベクトル（あるいは映像）を含む。
2004005457.tif 000012
数式１の両辺に
2004005457.tif 000013
をかけることにより計算され、それは次の数式３のように表現される。
【００３５】
【数３】
2004005457.tif 000014
【００３６】
すなわち、
2004005457.tif 000015
2004005457.tif 000016
2004005457.tif 000017
2004005457.tif 000018
の一例を図３に示す。
【００３７】
次に、高域フィルタリングされたイメージに該当する残余イメージは原顔イメージから低域フィルタリングされたイメージに該当する再構成されたイメージから減算することにより計算され、ＩＣＡは残余イメージに関して行われる。ｉ番目の残余イメージは
2004005457.tif 000019
と表現される。残余イメージに該当する残余マトリックスは
2004005457.tif 000020
と定義される。１次ＩＣＡ変換と類似し、
2004005457.tif 000021
に関してＩＣＡを行う時、Ｐ′ｉは残余データΓのｉ番目最大固有値に該当する固有ベクトルを示し、
2004005457.tif 000022
次の数式４のように表現される。
【００３８】
【数４】
2004005457.tif 000023
【００３９】
ここで
2004005457.tif 000024
独立基底ベクトル（あるいは、映像）　Ｍ２を示し、
2004005457.tif 000025
が互いに統計的に独立的であるべく変換可能なウエートマトリックスＭ２×Ｍ２を示す。
2004005457.tif 000026
から、前記の数式４は原マトリックスＸに関して次の数式５のように表現される。
【００４０】
【数５】
2004005457.tif 000027
【００４１】
すなわち、
2004005457.tif 000028
2004005457.tif 000029
従って、２次ＩＣＡ変換マトリックスは
2004005457.tif 000030
と表現される。図４の（ａ）は原顔映像Ｘを示しており、図４の（ｂ）は
2004005457.tif 000031
を示しており、図４の（ｃ）は残余イメージГを示している。
【００４２】
ビット率を下げ、ＩＣＡ表現の性能を改善するために、クラス間対クラス内分散の比により定義される最高クラス分別度　Ｋ１，Ｋ２を有するＩＣＡ係数の部分集合が
2004005457.tif 000032
とそれぞれ表現される。
2004005457.tif 000033
【００４３】
【数６】
2004005457.tif 000034
【００４４】
2004005457.tif 000035
その意味は同一である。図５Ａは２次ＰＣＡ独立基底ベクトル（あるいは、映像）を示し、図５ＢはＩＣＡの独立基底ベクトル（あるいは、映像）を示す。
【００４５】
最終的に２次ＩＣＡ表現は独立基底ベクトル（あるいは、映像）である
2004005457.tif 000036
と係数ベクトルとより構成される。この時の係数ベクトルを数式７に示す。
【００４６】
【数７】
2004005457.tif 000037
【００４７】
ここで、
2004005457.tif 000038
は変換行列を示す。従って、独立基底ベクトル（あるいは、映像）Ｕが固定されていれば、顔イメージＸは数式７から２次ＩＣＡ係数Ｂにより表現される。この時、Ｔはトレーニングイメージセットからあらかじめ計算された値である。
【００４８】
ＩＣＡ係数ｂ１，ｂ２（ｂ１＝ｘ１Ｔ，ｂ２＝ｘ２Ｔ）により表現される２つの顔イメージｘ１，ｘ２が与えられたとすると、類似性ｄ（ｂ１，ｂ２）はそれらの交差相関を次の数式８を通じて計算することにより測定される。
【００４９】
【数８】
2004005457.tif 000039
【００５０】
ここでｂ１・ｂ２はベクトルｂ１とｂ２の内積を示し、
2004005457.tif 000040
ベクトルｂ１とｂ２の大きさをそれぞれ示す。
【００５１】
以下では、本発明を実験した結果について説明する。
【００５２】
以下、４つの実験結果を提示する。本実験の構成を表１に要約して示す。実験１と２とを通じて、本願の他提案、すなわちＮＥＣとＰＯＳＴＥＣＨそれぞれの結果を比較参照することとする。学習映像はバージョン１の叙述子（ｆａｃｅ＿００６６＿０１〜ｆａｃｅ＿００８５＿５そしてｆａｃｅ＿０１８１＿０１〜ｆａｃｅ＿０２００＿５）により使われた２００枚の顔映像より構成される。表１に示すように各テストセットは各実験により変えてある。他の実験はＶＣＥ−４に拡張されたＭＰＥＧ−７　ｆａｃｅデータセット上で行われる。一方、以前の実験と同じ試験セットを実験３で使用し、実験４は　Ｋａｍｅｉにより　ＶＣＥ−４　ｒｅｆｌｅｃｔｏｒとして提案された新しく定義されたトレーニングセットを行う。
【００５３】
【表１】
2004005457.tif 000041
【００５４】
表２及び３は、本発明にて提案された方法と異なる提案の実験１及び実験２を実行した結果を比較している。実験１及び実験２で本発明による２次ＩＣＡ顔叙述子の結果は　ｉｌｌｕｍｉｎａｔｉｏｎ　ｓｅｔにおいては他の提案（バージョン１，ＮＥＣそして　ＰＯＳＴＥＣＨ）の結果より良い。
【００５５】
【表２】
2004005457.tif 000042
【００５６】
【表３】
2004005457.tif 000043
【００５７】
【表４】
2004005457.tif 000044
【００５８】
実験４において、トレーニングデータセットはＶＣＥ　ｒｅｆｌｅｃｔｏｒで提案されたＫａｍｅｉのように拡張される。表５は実験４の結果を示す。
【００５９】
【表５】
2004005457.tif 000045
【００６０】
前述の如く、本発明による２次ＩＣＡを利用した顔認識法の正確性と照度変化とに対する強靭性を示している。
【００６１】
以下では、図面を参照して本発明の望ましい実施例を説明する。
【００６２】
図６は本発明による２次ＩＣＡ特徴情報を求める方法を示した望ましい実施例の順序図である。まず、原映像Ｘを入力される（６０１）。そして、原映像ＸにＰＣＡを行って
2004005457.tif 000046
を得る（６０２）。その後、原映像Ｘの情報から
2004005457.tif 000047
の情報を減算して残余イメージГを得る（６０３）。そして、残余イメージГにＩＣＡを行い、前記の原映像Ｘを特徴づける２次ＩＣＡ特徴情報の基底ベクトル（あるいは映像）及びＩＣＡ係数ベクトルを求める（６０４）。
【００６３】
ここで、参照番号６０１段階ないし６０４段階までのプロセスの細部については、すでに数式１ないし数式８を参照して詳細に説明した。
【００６４】
図７は本発明による２次ＩＣＡを利用した顔認識法の望ましい実施例を示した順序図である。まず、認識対象になる顔映像と比較基準になる顔映像とを入力される（７０１）。そして、前記の認識対象顔映像及び比較基準顔映像にそれぞれ２次ＩＣＡを行って前記の映像にそれぞれ対応する２次ＩＣＡ特徴情報を求める（７０２）。その後、前記の映像に対応する２次ＩＣＡ特徴情報のうちＩＣＡ係数ベクトルを比較し、前記の２映像の顔が同一人のものであるか否か判断してその結果を出力する（７０３）。ここで、２映像のＩＣＡ係数ベクトルを比較する方法は前記の数式８に示されており、数式８の計算結果が所定の基準値より大きい場合には２映像の顔が同一人のものであると判断できる。
【００６５】
図８Ａは本発明による２次ＩＣＡを利用した顔検索法の望ましい一実施例を示した順序図である。
【００６６】
まず、少なくとも一人以上の人物の顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）情報を保存したＤＢを備える（８１１）。そして、検索する任意の顔映像を入力される（８１２）。その後、前記検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める（８１３）。そして、前記のＤＢに保存されている顔映像に順次に２次ＩＣＡを行ってＩＣＡ係数ベクトルを求め、前記検索する顔映像のＩＣＡ係数ベクトルと比較して前記の検索する任意の顔映像と同一人の顔映像が前記のＤＢにあるか否かを判断する（８１４）。そして、前記ＤＢに同一人のものであると判断される顔映像がある場合、それに対応する前記のＤＢ上の身上情報を出力する（８１５）。
【００６７】
ここで、２顔映像が同一人のものであるか否かを判断する方法は前記の数式８を利用し、前記の数式８の結果が所定の一定値以上になれば同一人のものであると判断できる。
【００６８】
図８Ｂは本発明による２次ＩＣＡを利用した顔認識法の望ましい他の実施例を示した順序図である。
【００６９】
まず、少なくとも一人以上の人物の顔映像及び前記人物の身上（ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）に関する情報の身上情報を入力される（８２１）。そして、前記の顔映像について２次ＩＣＡを行って前記の顔映像に対応するＩＣＡ係数ベクトルを求め、前記のＩＣＡ係数ベクトルと前記身上情報とを連繋させて保存してＤＢを備える（８２２）。その後には検索する任意の顔映像を入力される（８２３）。そして、検索する顔映像について２次ＩＣＡを行ってＩＣＡ係数ベクトルを求める（８２４）。そして、前記検索する顔映像に対応するＩＣＡ係数ベクトルと類似性がある前記ＤＢ上のＩＣＡ係数ベクトルを検索してその検索された結果を出力する（８２５）。
【００７０】
図９は図６の２次ＩＣＡ特徴情報を求める装置の望ましい実施例のブロック構成図を示している。本発明による所定映像から２次ＩＣＡ特徴情報を求める装置は、低帯域フィルタリングイメージ生成部９０１、残余イメージ生成部９０２、ＩＣＡ係数行列計算部９０３を含む。
【００７１】
低帯域フィルタリングイメージ生成部９０１は任意の映像を入力され、それにＰＣＡを行って前記の入力された映像から高周波成分が除去された低帯域フィルタリングイメージを生成する機能を行う。
【００７２】
残余イメージ生成部９０２は前記の入力された映像から前記の低帯域フィルタリングイメージ生成部９０１にて生成された低帯域フィルタリングイメージ映像を減算して残余イメージを生成する機能を行う。
【００７３】
ＩＣＡ係数行列生成部９０３は前記の残余イメージにＩＣＡを行って基底ベクトル（あるいは映像）及びＩＣＡ係数ベクトルを求める機能を行う。
【００７４】
図１０は図７の２次ＩＣＡを利用した顔認識装置の望ましい実施例を示している。本発明による２次ＩＣＡを利用した顔認識装置は入力部１００１、特徴データ生成部１００２、比較部１００３を含む。
【００７５】
入力部１００１は外部から認識対象になる任意の顔映像及び前記の認識基準になる顔映像（前記の認識対象になる顔映像が同一人のものであるか否かを判断するのに基準になる顔映像）を入力されて特徴情報生成部１００２に提供する機能を行う。
【００７６】
特徴情報生成部１００２は前記の２顔映像について前記の図９にて示されている本発明による２次ＩＣＡを利用した特徴情報生成装置と同じ構成及び機能を有する。すなわち、前記の特徴情報生成部１００２は前記の入力部１００１から提供された２つの原顔映像についてそれぞれＰＣＡを行って低帯域フィルタリングイメージをそれぞれ生成し、前記２つの原顔映像から前記それぞれの低帯域フィルタリングイメージを減算して残余イメージをそれぞれ生成した後、前記の残余イメージにＩＣＡをさらに行って独立基底ベクトル（あるいは、映像）及びＩＣＡ係数ベクトルを求める機能を行う。
【００７７】
比較部１００３は前記の比較対象になる顔映像のＩＣＡ係数ベクトルと前記の比較基準になる顔映像のＩＣＡ係数ベクトルとを比較し、前記の２映像が同一人のものであるか否かを判断してその結果を出力する機能を行う。
【００７８】
図１１は図８Ａまたは８Ｂの２次ＩＣＡを利用した顔検索装置の望ましい実施例を示している。
【００７９】
入力部１１０１は顔を検索するのに必要な顔映像ＤＢを構築するのに必要な顔映像を入力され、ＤＢ管理部１１０３または特徴情報生成部１１０２に提供する機能を行う。
【００８０】
また、入力部１１０１は前記の顔映像ＤＢを検索する対象になる顔映像を入力され、前記の特徴情報生成部１１０２に提供する機能を行う。
【００８１】
特徴情報生成部１１０２は前記の入力部１１０１から提供された顔映像から前記の図９にて示されている過程を通じてＩＣＡ係数ベクトル及び基底ベクトル（あるいは映像）を発生させる機能を行う。ただし、前記の提供された顔映像が顔映像ＤＢに保存するためのものである場合には、前記の特徴情報（ＩＣＡ係数ベクトル及び基底ベクトル（あるいは映像））を前記のＤＢ管理部１１０３に提供し、そうでない場合には前記の特徴情報を比較部１１０４に提供する機能を行う。また、特徴情報生成部１１０２は比較部１１０４から前記顔映像ＤＢから読み込まれた顔映像を提供され、前記の顔映像に関する特定情報を抽出して前記の比較部１１０４に再び提供する機能を行う。
【００８２】
ＤＢ管理部１１０３は前記の入力部１１０１から提供された顔映像または前記の特徴情報生成部１１０２から提供された特徴情報を顔映像ＤＢに保存して管理する機能を行う。
【００８３】
比較部１１０４は前記の特徴情報生成部１１０２から提供された検索対象になる顔映像の特徴情報を提供され、前記の特徴情報を基に顔映像ＤＢにて前記の顔映像と同一人の顔映像を検索する機能を行う。この時、前記の顔映像ＤＢに顔映像だけ保存されている場合には、前記の顔映像を読み込んで前記の特徴情報生成部１１０２に提供した後で前記の提供した顔映像に対応する特徴情報を提供されて前記の検索対象になる顔映像と同一人のものであるか否かを確認し、前記の顔映像ＤＢにそれぞれの顔映像に対応する特徴情報を保存している場合には、前記の特徴情報だけを読み込んで前記の検索対象になる顔映像の特徴情報と比較して前記の２映像が同一人を撮影したものであるか否か確認する。
【００８４】
一方、前述の本発明の実施例はコンピュータにて実行できるプログラムに作成可能であり、コンピュータで読み取り可能な記録媒体を利用して前記プログラムを動作させる汎用ディジタルコンピュータにて具現できる。
【００８５】
前記コンピュータで読み取り可能な記録媒体は磁気記憶媒体（例えば、ＲＯＭ、フロッピーディスク、ハードディスクなど）、光学的判読媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤなど）及びキャリアウェーブ（例えば、インターネットを通じた伝送）のような媒体を含む。
【００８６】
これまで本発明についてその望ましい実施例を中心に説明された。本発明が属する技術分野にて当業者は本発明が本発明の本質的な特性から外れない範囲で変形された形態で具現できることを理解できるであろう。従って、開示された実施例は限定的な観点でなく説明的な観点で考慮さるべきである。本発明の範囲は前述した説明でなくして特許請求範囲に示されており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれたものであると解釈されねばならない。
【００８７】
【発明の効果】
本発明によれば、照度に影響されない顔叙述子を利用して、人物などの顔を検索し、所定の人を認証することができる効果がある。
【００８８】
元来のＩＣＡがグレースケールイメージから独立成分（すなわち、独立的基礎成分）を減じたものである一方、本発明にて開示される２次ＩＣＡは、残りのイメージを高帯域−通過周波数の成分に対応すべく適用するので、照明変化に強い。
【図面の簡単な説明】
【図１】（ａ）はＰＣＡを、（ｂ）はＩＣＡを示す図面である。
【図２】ＩＣＡを概念的に図示する図面である。
【図３】上列は１次ＰＣＡの最初１０個の基礎イメージを示しており、下列は１次ＩＣＡの最初１０個の基礎イメージを示す図面である。
【図４】（ａ）は元来の顔イメージを示す図面であり、（ｂ）はＩＣＡの最初１０の重要な成分を通じて再構成されたイメージを示す図面であり、（ｃ）はＩＣＡの残りイメージを示す図面である。
【図５Ａ】２次ＰＣＡの選択された３０個の基礎イメージを図示する図面である。
【図５Ｂ】２次ＩＣＡの選択された３０個の基礎イメージを図示する図面である。
【図６】本発明の望ましい一実施例による２次ＩＣＡ特徴情報を求める方法を示した順序図である。
【図７】本発明の望ましい一実施例による２次ＩＣＡを利用した顔認識法の順序図である。
【図８Ａ】本発明の望ましい一実施例による２次ＩＣＡを利用した顔検索法の順序図である。
【図８Ｂ】本発明の望ましい一実施例による２次ＩＣＡを利用した顔検索法の順序図である。
【図９】図６の２次ＩＣＡ特徴情報を求める方法による特徴生成装置の望ましい一実施例のブロック構成図である。
【図１０】図７の２次ＩＣＡを利用した顔認識法による顔認識装置の望ましい一実施例のブロック構成図である。
【図１１】図８Ａまたは８Ｂの２次ＩＣＡを利用した顔検索法による顔検索装置の望ましい一実施例の構成を示したブロック図である。
【図１】
2004005457.tif 000048
【図２】
2004005457.tif 000049
【図３】
2004005457.tif 000050
【図４】
2004005457.tif 000051
【図５Ａ】
2004005457.tif 000052
【図５Ｂ】
2004005457.tif 000053
【図６】
2004005457.tif 000054
【図７】
2004005457.tif 000055
【図８Ａ】
2004005457.tif 000056
【図８Ｂ】
2004005457.tif 000057
【図９】
2004005457.tif 000058
【図１０】
2004005457.tif 000059
【図１１】
2004005457.tif 000060