(57)【特許請求の範囲】
【請求項１】
入力パターンの特徴を複数の特徴ベクトルとして抽出するステップと、
前記特徴ベクトルの各々に対して予め線形判別分析して求められる各特徴ベクトルの判別行列を用いて特定される線形変換によって、前記特徴ベクトルをそれぞれ射影して特徴次元数を削減した射影ベクトルを求めるステップと、
前記射影ベクトルを求めるステップによって得られる各射影ベクトルを結合した結合ベクトルを、前記結合ベクトルに対して予め線形判別分析して求められる判別行列を用いて、線形変換によって射影して特徴次元数を削減した射影ベクトルを求めるステップと
を含むことにより、結合ベクトルを射影して得られる射影ベクトルを入力パターンの特徴として出力することを特徴とするパターン特徴抽出方法。
【請求項２】
入力パターンからパターン特徴として複数の特徴ベクトルを抽出するステップと、
前記特徴ベクトルの各々に対して予め線形判別分析して求められる各特徴ベクトルの判別行列を用いて特定される線形変換によって、前記特徴ベクトルをそれぞれ射影して特徴次元数を削減した射影ベクトルを求めるステップと、
前記射影ベクトルを予め定めた大きさにそれぞれ正規化して正規化ベクトルを得るステップと、
前記正規化ベクトルを求めるステップによって得られる各正規化ベクトルを結合した結合ベクトルを、前記結合ベクトルに対して予め線形判別分析して求められる判別行列を用いて、線形変換によって射影して特徴次元数を削減した射影ベクトルを求めるステップと
を含むことにより、結合ベクトルを射影して得られる射影ベクトルを入力パターンの特徴として出力することを特徴とするパターン特徴抽出方法。
【請求項３】
入力パターンからパターン特徴として複数の特徴ベクトルを抽出するステップと、
前記特徴ベクトルを結合した第一の結合ベクトルを、変換行列を用いて線形変換によって射影して特徴次元数を削減した射影ベクトルを求めるステップとを実行することによって入力パターンの特徴を抽出するパターン特徴抽出方法であって、
前記射影ベクトルを求めるステップは、
前記特徴ベクトルに対して予め線形判別分析して求められる各特徴ベクトルの第一の判別行列を用いて特定される線形変換によって、前記特徴ベクトルをそれぞれ射影して特徴次元数を削減した各射影ベクトルを求める第一の線形変換と、前記第一の線形変換によって得られる各射影ベクトルを結合した第二の結合ベクトルを、前記第二の結合ベクトルに対して予め線形判別分析して求められる第二の判別行列を用いて特定される線形変換によって、射影して特徴次元数を削減した第二の射影ベクトルを求める第二の線形変換と、の二つの処理に対応する一つの線形変換であって、前記第一の判別行列と前記第二の判別行列とによって特定される変換行列を用いて、第一の結合ベクトルを射影し入力パターンの特徴として出力することを特徴とするパターン特徴抽出方法。
【請求項４】
請求項１乃至３のいずれか１項に記載のパターン特徴抽出方法において、
前記特徴ベクトルに対して予め線形判別分析して求められる判別行列は、前記特徴ベクトルの主成分ベクトルを抽出するための変換行列と前記主成分ベクトルに対する判別行列とによって特定される判別行列であることを特徴とするパターン特徴抽出方法。
【請求項５】
請求項１乃至４のいずれか１項に記載のパターン特徴抽出方法において、
前記特徴ベクトルを抽出するステップは、画像を入力パターンとして、前記画像の予め定めた複数のサンプル点集合のそれぞれのサンプル点集合毎に、前記サンプル点集合内のサンプル点から得られる画素値を要素とするベクトルを抽出するステップを含むことで画像の特徴を抽出することを特徴とするパターン特徴抽出方法。
【請求項６】
請求項５に記載のパターン特徴抽出方法において、
前記サンプル点集合は、前記画像の局所領域から得られる部分画像内のそれぞれの画素をサンプル点とする集合からなることで、画像の特徴を抽出することを特徴とするパターン特徴抽出方法。
【請求項７】
請求項５に記載のパターン特徴抽出方法において、
前記サンプル点集合は、前記画像から得られる縮小画像内のそれぞれの画素をサンプル点とする集合からなることで、画像の特徴を抽出することを特徴とするパターン特徴抽出方法。
【請求項８】
請求項１乃至４のいずれか１項に記載のパターン特徴抽出方法において、
前記特徴ベクトルを抽出するステップは、画像を入力パターンとして、前記画像の予め定めた複数の局所領域毎に、その局所領域から算出した特徴量を特徴ベクトルとして抽出するステップを備えることで画像の特徴を抽出することを特徴とするパターン特徴抽出方法。
【請求項９】
請求項１乃至４のいずれか１項に記載のパターン特徴抽出方法において、
前記特徴ベクトルを抽出するステップは、画像を入力パターンとして、前記画像をフーリエ変換するステップと、前記画像のフーリエスペクトルから特徴ベクトルとしてフーリエスペクトルベクトルを抽出するステップと、前記画像のフーリエ強度スペクトルから特徴ベクトルとしてフーリエ強度ベクトルを抽出するステップとを備えることで画像の特徴を抽出することを特徴とするパターン特徴抽出方法。
【請求項１０】
請求項９に記載のパターン特徴抽出方法において、
前記画像から複数の部分画像あるいは縮小画像を抽出し、それぞれの前記部分画像あるいは縮小画像のフーリエスペクトルベクトル、若しくは、それぞれの前記部分画像あるいは縮小画像のフーリエ強度ベクトルを抽出することで画像の特徴を抽出することを特徴とするパターン特徴抽出方法。
【請求項１１】
入力パターンのパターン特徴を複数の特徴ベクトルとして抽出するベクトル抽出手段と、
前記特徴ベクトルの各々に対して予め線形判別分析して求められる各特徴ベクトルの判別行列を記憶する第一の判別行列記憶手段と、
前記第一の判別行列記憶手段によって記憶される判別行列を用いて、前記特徴ベクトルをそれぞれ射影して特徴次元数を削減した射影ベクトルを求める線形変換手段と、
前記線形変換手段によって得られる各射影ベクトルを複数結合した結合ベクトルに対して予め線形判別分析して求められる判別行列を記憶する第二の判別行列記憶手段と、
前記第二の判別行列記憶手段に記憶される判別行列を用いて、前記結合ベクトルを射影して特徴次元数を削減した射影ベクトルを求める第二の線形変換手段と
を備えることにより、結合ベクトルを射影して得られる射影ベクトルを入力パターンの特徴として出力することを特徴とするパターン特徴抽出装置。
【請求項１２】
入力パターンからのパターン特徴を複数の特徴ベクトルとして抽出するベクトル抽出手段と、
前記特徴ベクトルの各々に対して予め線形判別分析して求められる各特徴ベクトルの判別行列を記憶する第一の判別行列記憶手段と、
前記第一の判別行列記憶手段によって記憶される判別行列を用いて、前記特徴ベクトルをそれぞれ射影して特徴次元数を削減した射影ベクトルを求める線形変換手段と、
前記射影ベクトルを予め定めた大きさにそれぞれ正規化して正規化ベクトルを得る正規化手段と、前記正規化手段によって得られる各正規化ベクトルを複数結合した結合ベクトルに対して予め線形判別分析して求められる判別行列を記憶する第二の判別行列記憶手段と、
前記第二の判別行列記憶手段に記憶される判別行列を用いて、前記正規化ベクトルを複数結合した結合ベクトルを射影して特徴次元数を削減した射影ベクトルを求める第二の線形変換手段と
を備えることにより結合ベクトルを射影して得られる射影ベクトルを入力パターンの特徴として出力することを特徴とするパターン特徴抽出装置。
【請求項１３】
入力パターンの特徴を抽出するパターン特徴抽出をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
入力パターンのパターン特徴を複数の特徴ベクトルとして抽出する機能と、
前記特徴ベクトルの各々に対して予め線形判別分析して求められる各特徴ベクトルの判別行列を用いて特定される線形変換によって、前記特徴ベクトルをそれぞれ射影して特徴次元数を削減した射影ベクトルを求める機能と、
前記射影ベクトルを求める機能によって得られる各射影ベクトルを結合した結合ベクトルを、前記結合ベクトルに対して予め線形判別分析して求められる判別行列を用いて、線形変換によって射影して特徴次元数を削減した射影ベクトルを求める機能と
を実行させるためのプログラムから構成されることを特徴とするプログラムを記録したコンピュータ読み取り可能な記憶媒体。
【請求項１４】
入力パターンの特徴を抽出するパターン特徴抽出をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
入力パターンのパターン特徴を複数の特徴ベクトルとして抽出する機能と、
前記特徴ベクトルの各々に対して予め線形判別分析して求められる各特徴ベクトルの判別行列を用いて特定される線形変換によって、前記特徴ベクトルをそれぞれ射影して特徴次元数を削減した射影ベクトルを求める機能と、
前記射影ベクトルを予め定めた大きさにそれぞれ正規化して正規化ベクトルを得る機能と、前記正規化ベクトルを求める機能によって得られる各正規化ベクトルを結合した結合ベクトルを、前記結合ベクトルに対して予め線形判別分析して求められる判別行列を用いて、線形変換によって射影して特徴次元数を削減した射影ベクトルを求める機能と
を実行させるためのプログラムから構成されることを特徴とするプログラムを記録したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、パターン認識の分野における画像特徴抽出方法および画像特徴抽出装置、ならびにそのプログラムに関し、入力特徴ベクトルから、認識に有効な特徴ベクトルを抽出し、特徴次元を圧縮するための特徴ベクトルの変換技術に関する。
【０００２】
【従来の技術】
従来より、パターン認識の分野では、入力されたパターンから特徴ベクトルを抽出し、その特徴ベクトルから識別に有効な特徴ベクトルを抽出し、各々のパターンから得られた特徴ベクトルを比較することによって、例えば、文字や人物の顔などのパターンの類似度を判定することが行われている。
【０００３】
例えば、顔認識の場合では、目の位置等によって正規化された顔画像の画素値をラスター走査することで、一次元特徴ベクトルに変換し、この特徴ベクトルを入力特徴ベクトルとして用い、主成分分析(非特許文献１：Moghaddam他， ”Probabilistic Visual Learning for Object Detection”， IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol. 17， No. 7， pp.696-710， 1997)や特徴ベクトルの主成分に対して線形判別分析(非特許文献２：W. Zhao他， ”Discriminant Analysis of Principal Components for Face Recognition，” Proceedings of the IEEE Third International Conference on Automatic Face and Gesture Recognition， pp. 336-341， 1998)を行うことで次元を削減し、得られた特徴ベクトルを用いて、顔による個人の同定等を行う。
【０００４】
これらの方法では、予め用意した学習サンプルに対して、共分散行列やク ラス内共分散行列・クラス間共分散行列を計算し、それらの共分散行列における固有値問題の解として得られる基底ベクトルを求め、これらの基底ベクトルを用いて、入力特徴ベクトルの特徴を変換する。
【０００５】
ここで、線形判別分析についてより詳しく説明する。
線形判別分析は、Ｎ次元特徴ベクトルｘがあるときに、この特徴ベクトルをある変換行列Ｗによって変換したときに得られるM次元ベクトルｙ(＝ＷTｘ)のクラス内共分散行列 SWに対するクラス間共分散行列ＳBの比を最大化するような変換行列Ｗを求める方 法である。このような分散比の評価関数として、行列式を用いて評価式の（数１）が定義される。
【０００６】
【数１】
0004292837.tif 000002
【０００７】
ここで、クラス内共分散行列ΣWおよびクラス間共分散行列ΣBは、学習サンプルにおける特徴ベクトルｘの集合におけるC個のクラスωi(i=1，2，...，C;それらのデータ数ni)のそれぞれの内部における共分散行列Σiとクラスの間の共分散行列であり、それぞれ（数２）および（数３）によって表される。
【０００８】
【数２】
0004292837.tif 000003
【０００９】
【数３】
0004292837.tif 000004
【００１０】
ここで、ｍiはクラスωiの平均ベクトル（数４）、ｍはパターン全体におけるｘの平均ベクトルである（数５）。
【００１１】
【数４】
0004292837.tif 000005
【００１２】
【数５】
0004292837.tif 000006
【００１３】
各クラスωiの事前確率P(ωi)が、予めサンプル数niを反映しているならば、P(ω i)=ni／nを仮定すれ ばよい。そうでなく等確率を仮定できるならば、P(ωi)=1／Cとすればよい。
【００１４】
（数１）を最大にする変換行列Ｗは、列ベクトルｗiの固有値問題である（数６）のM個の大きい固有値に対応する一般化された固有ベクトルのセットとして求められる。このようにして求められた変換行列Ｗを判別行列と呼ぶ。
【００１５】
【数６】
0004292837.tif 000007
【００１６】
なお従来の線形判別分析法については、例えば、非特許文献５：「パターン識別」 (Richard O. Duda他、尾上守夫監訳、新技術コミュニケーションズ，2001年， pp.113-122)に記載されている。
入力特徴ベクトルｘの次元数が特に大きい場合、少ない学習データを用いた場合にはΣWが正則ではなくなり、（数６）の固有値問題を通常の方法では解くことができなくなる。
【００１７】
また、特許文献１：特開平7-296169号公報でも述べられているように、共分散行列の固有値が小さい高次成分は、パラメータの推定誤差が大きいことが知られており、これが認識精度に悪影響を与える。
このため、前述のW. Zhaoらの論文では入力特徴ベクトルの主成分分析を行い、固有値が大きな主成分に対して、判別分析を適用している。つまり、図２に示すように、主成分分析によって得られる基底行列を用いて入力特徴ベクトルを射影することで主成分を抽出した後に、判別分析によって得られる判別行列を基底行列として、主成分を射影することで、識別に有効な特徴ベクトルの抽出を行う。
【００１８】
また、特許文献１：特開平7-296169号公報に記載されている特徴変換行列の演算方式では、 全共分散行列ΣTの高次の固有値及び対応する固有ベクトルを削除等することによって、次元数を削減し、削減された特徴空間において、判別分析を適用している。これも全共分散行列の高次の固有値及び対応する固有ベクトルを削除することが主成分分析によって、固有値が大きな主成分のみの空間で判別分析を行うという意味では、W. Zhaoの方法と同様に 高次特徴を除去し、安定なパラメータ推定を行う効果をもたらす。
【００１９】
【特許文献１】
特開平7-296169号公報
【００２０】
【非特許文献１】
Moghaddam他， ”Probabilistic Visual Learning for Object Detection”， IEEE Transactions on Pattern Analysis and Machine Intelligence， Vol. 17， No. 7， pp.696-710， 1997)
【００２１】
【非特許文献２】
W. Zhao他，”Discriminant Analysis of Principal Components for Face Recognition，” Proceedings of the IEEE Third International Conference on Automatic Face and Gesture Recognition， pp. 336-341， 1998)
【００２２】
【非特許文献３】
Kernel-based Optimized Feature Vectors Selection and Discriminant Analysis for Face Recognition，”Proceeding of IAPR International Conference on Pattern Recognition(ICPR)， Vol.II， pp. 362-365， 2002
【００２３】
【非特許文献４】
Generalized Disciminant Analysis Using a Kernel Approach，”Nueural Computation， Vol.12， pp2385-2404， 2000
【００２４】
【非特許文献５】
「パターン識別」 (Richard O. Duda他、尾上守夫監訳、新技術コミュニケーションズ，2001年， pp.113-122)
【００２５】
【発明が解決しようとする課題】
しかしながら、全共分散行列ΣTを用いた主成分分析は、特徴空間内での分散が大きい軸方向に順番に直交する軸を選択しているに過ぎず、パターン識別の性能とは無関係に特徴軸の選択が行われる。このために、パターン識別に有効な特徴軸が失われる。
【００２６】
例えば、特徴ベクトルｘが３つの要素からなっており(ｘ＝ (x1，x2，x3)T)、 x1やx2の分散は大きいが、パターン識別には無関係な特徴であり、x3 はパターン識別には有効だが、分散が小さい場合（クラス間分散／クラス内分散、つまりフィッシャ比が大きいが、それぞれの分散の値自体はx1やx2に比較して十分に小さい場合）に主成分分析を行ない、２次元だけを選択すると、x1やx2に関わる特徴空間が選択されてしまい、識別に有効なx3の寄与は無視されてしまう。
【００２７】
この現象を図を用いて説明すれば、図３の(a)が x1とx2が張る平面におおよそ垂直な方向から見たデータの分布で、黒丸と白丸がクラスの違うデータ点を表しているとする。x1と x2が張る空間（この図では、平面）で見た場合、黒丸と白丸を識別できないが、図３(b)のようにこの平面と直交するx3の特徴軸で見ると、黒丸の白丸は分離すること ができる。しかし、分散の大きい軸を選択してしまうと、x1とx2で張る平面が 特徴空間として選ばれ図３の(a)を見て判別を行おうとすることに等しく、判別を行うことが困難となる。
【００２８】
これは、従来の技術で、主成分分析や(全)共分散行列の固有値の小さい空間を削除するという技術では避けられない現象である。
【００２９】
本発明は、前述のような従来技術の問題点に鑑み、入力のパターン特徴ベクトルから、判別に有効な特徴ベクトルを抽出し、特徴次元を圧縮する際に、判別に有効な特徴量の削減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトルの変換技術を提供することにある。
【００３０】
【課題を解決するための手段】
本発明によれば、パターン特徴を線形変換を用いて特徴次元を圧縮するパターン特徴抽出方法において、パターン特徴を複数の特徴ベクトルｘiで表現し、それぞれの特徴ベクトルｘiに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗiを予め求め、さらにそれらの判別行列を用いてベクトルｘiを線形変換することによって得られる各ベクトルｙiを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷTを予め求めておき、前記の判別行列Ｗiおよび判別行列ＷTによって特定される線形変換によって、パターンの特徴ベクトルを変換することで、特徴次元を圧縮することを特徴とする。
【００３１】
前記のパターン特徴抽出方法において、パターン特徴を複数の特徴ベクトルｘiに分割し、それぞれの特徴ベクトルｘiについて、判別行列Ｗiを用いて、線形変換ｙi=ＷiTｘiを行い特徴ベクトルｙiを算出し、算出された特徴ベクトルｙiを合わせたベクトルｙについて、判別行列ＷTを用いて、線形変換ｚ=ＷTTｙを計算し、特徴ベクトルｚを算出することで、パターン特徴の次元数を圧縮することを特徴とする。
【００３２】
また、前記のパターン特徴抽出方法において、それぞれの判別行列ＷiおよびＷ Tによって特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、入力特徴ベクトルｘiを合わせた特徴ベクトルｘと行列Ｗの線形変換ｚ＝ＷTｘを計算し、特徴ベクトルｚを算出することで、パターン特徴の次元数を圧縮してもよい。
【００３３】
この発明を画像に対して適用する場合には、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴抽出方法において、画像中の予め定めた複数のサンプル点集合Ｓiについて、複数のサンプル点から得られる画素値からなる特徴ベクトルｘiとして抽出し、それぞれの特徴ベクトルｘiに対して、線形 判別分析により求められる各特徴ベクトルの判別行列Ｗiを予め求め、さらにそれらの判別行列を用いて ベクトルｘiを線形変換することによって得られる各ベクトルｙiを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷTを予め求めておき、前記判別行列Ｗiおよび前記判別行列ＷTによって特定される線形変換によって、画像サンプル集合毎の特徴ベクトルを変換することで、画像から特徴量を抽出することを特徴とする。
【００３４】
その一つの方法として、複数のサンプル点からなる複数の特徴ベクトルｘiについて、判別行列Ｗiを用いて、線形変換ｙi=ＷiTｘiを行い特徴ベクトルｙiを算出し、算出された特徴ベクトルｙiを合わせたベクトルｙについて、判別行列ＷTを用いて、線形変換ｚ=ＷTTｙを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出すればよい。
【００３５】
また、前述の画像特徴抽出方法において、それぞれの判別行列ＷiおよびＷTによって特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、特徴ベクトルｘiを合わせたベクトルｘと行列Ｗの線形変換ｚ＝ＷTｘを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出してもよい。
【００３６】
また、画像を予め定めた複数の局所領域に分割し、その複数の局所領域毎に特徴量を抽出し、それらの特徴量を特徴ベクトルｘiとして表現し、それぞれの特徴ベクトルｘiに対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗiを予め求め、さらにそれらの判別行列を用いてベクトルｘiを線形変換することによって得られる各ベクトルｙiを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷTを予め求めておき、前記判別行列Ｗiおよび前記判別行列ＷTによって特定される線形変換によって、局所領域の特徴ベクトルを変換することで、画像から特徴量を抽出すればよい。
【００３７】
前述の画像特徴抽出方法において、画像の局所領域の特徴ベクトルｘiについて、 判別行列Ｗiを用いて、線形変換ｙi=ＷiTｘiを行い特徴ベクトルｙiを算出し、算出された特徴ベクトルｙiを合わせたベクトルｙについて、判別行列ＷTを用いて、線形変換ｚ=ＷTTｙを計算 し、特徴ベクトルｚを算出することで、画像から特徴量を抽出する。
【００３８】
あるいは、前述の画像特徴抽出方法において、それぞれの判別行列ＷiおよびＷTによって特定される行列Ｗを予め計算しておき、前記行列Ｗを用いて、特徴ベクトルｘiを合わせたベクトルｘと行列Ｗの線形変換ｚ＝ＷTｘを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出してもよい。
【００３９】
本発明の画像から特徴量を抽出することを特徴とする画像特徴抽出方法の有効な実施方法として、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴抽出方法において、画像を二次元フーリエ変換し、二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ1として抽出し、二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを特徴ベクトルｘ2として抽出し、それぞれの特徴ベクトルｘi(i=1，2)に対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗiを求め、さらにそれらの判別行列を用いてベクトルｘiを線形変換することによって得られる各ベクトルｙiを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷTを予め求めておき、前記判別行列Ｗiおよび前記判別行列ＷTによって特定される線形変換によって特徴ベクトルを変換することを特徴とする。
【００４０】
また、画像から特徴量を抽出し、得られた特徴を線形変換を用いて特徴次元を圧縮することで画像特徴を抽出することを特徴とする画像特徴特徴抽出方法において、画像を二次元フーリエ変換し、二次元フーリエ変換の実数成分と虚数成分を特徴ベクトルｘ1として抽出し、二次元フーリエ変換のパワースペクトラムを算出し、そのパワースペクトラムを特徴ベクトルｘ2として抽出し、それぞれの特徴ベクトルｘi(i=1，2)の主成分に対して、線形判別分析により求められる各特徴ベクトルの判別行列Ｗiを求め、さらにそれらの判別行列を用いてベクトルｘiを線形変換することによって得られる各ベクトルｙiを合わせた特徴ベクトルｙについて、線形判別分析により判別行列ＷTを予め求めておき、特徴ベクトルｘiの主成分に対する判別行列 Ｗiおよび判別行列ＷTによって特定される線形変換によって、フーリエ成分の実成分と虚成分に対する特徴ベクトルｘ1とフーリエ成分のパワースペクトラムに対する特徴ベクトルｘ2を次元削減するように変換することで、画像から特徴量を抽出することを特徴とする。
【００４１】
前述の画像特徴抽出方法において、 フーリエ変換による実数成分と虚数成分による特徴ベクトルｘ1を主成分に変換する変換行列Ψ1と、その主成分に対する判別行列Ｗ1によって表される基底行列Φ1(=(Ｗ1TΨ1T)T)を用いて、特徴ベクトルｘ1の主成分の判別特徴を線形変換ｙ1=Φ1Tｘ1により算出し、得られた特徴ベクトルｙ1の大きさを予め定めた大きさに正規化し、また、フーリエ変換によるパワースペクトラムによる特徴ベクトルｘ2を主成分に変換する変換行列Ψ2と、その主成分に対する判別行列Ｗ2によって表される基底行列Φ2(=(Ｗ2TΨ2T)T)を用いて、特徴ベクトルｘ2の主成分の判別特徴を線形変換ｙ2=Φ2Tｘ2により算出し、得られた特徴ベクトルｙ2の大きさを予め定めた大きさに正規化し、二つの特徴ベクトルｙ1とｙ2を合わせた特徴ベクトルｙについて、判別行列ＷTを用いて、線形変換ｚ＝ＷTTｙを計算し、特徴ベクトルｚを算出することで、画像から特徴量を抽出することを特徴とする。
【００４２】
【発明の実施の形態】
（第一の実施の形態）
本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明のパターン特徴抽出装置を用いたパターン特徴抽出装置を示すブロック図である。
【００４３】
以下、パターン特徴抽出装置について詳細に説明する。
図１に示すように、本発明によるパターン特徴抽出装置は、入力特徴ベクトルｘ1を線形変換する第１の線形変換手段１１と、入力特徴ベクトルｘ2を線形変換する第２の線形変換手段１２と、線形変換手段１１と線形変換手段１２によって変換し、次元削減された特徴ベクトルを入力として、線形変換を行う第３の線形変換手段１３を備える。前述のそれぞれの線形変換手段は、それぞれ対応した判別行列記憶手段１４、１５、１６に記憶されている予め学習によって求めておいた判別行列を用いて、判別分析による基底変換を行う。
【００４４】
入力される特徴ベクトルｘ1、ｘ2は、文字認識や顔認識などでそれらの目的に応じて抽出される特徴量であり、例えば画像の勾配特性から計算される方向特徴や画像の画素値そのものである濃淡特徴等で、複数の要素がある。この際に、例えば、Ｎ1個の方向特徴を一方の特徴ベクトルｘ1として、もう一方のＮ2個の濃淡値を特徴ベクトルｘ2として入力する。
【００４５】
判別行列記憶手段１４や判別行列記憶手段１５は、特徴ベクトルｘ1および特徴ベクトルｘ2について、線形判別分析を行い、これにより得られる判別行列Ｗ1、Ｗ2をそれぞれ記憶する。
【００４６】
判別行列は、前述したように予め用意した学習サンプルにおける特徴ベクトルについて、そのクラスに応じて、クラス内共分散行列ΣW（（数２））、クラス間共分散行列ΣB（（数３））を計算すればよい。また、各クラスωiの事前確率Ｐ(ωi)は、サンプル数ｎiを反映させて、Ｐ(ωi)=ｎi／ｎとすればよい。
【００４７】
これらの共分散行列に対して、（数６）で表される固有値問題の大きい固有値に対応する固有ベクトルｗiを選択することで、判別行列を予め求めておくことができる。
【００４８】
それぞれの特徴ベクトルｘ1、ｘ2について、入力特徴次元Ｎ1やＮ2よりも小さいＭ1次元、Ｍ2次元の基底を選ぶとすると、判別基底への射影変換によってそれぞれＭ1、Ｍ2次元の特徴ベクトルｙ1、ｙ2を得ることができる。
【００４９】
【数７】
0004292837.tif 000008
【００５０】
ここで、Ｗ1、Ｗ2の行列の大きさは、それぞれＭ1×Ｎ1、Ｍ2×Ｎ2となる。
射影する特徴空間の次元数Ｍ1、Ｍ2を大幅に小さくすることによって、効率良く特徴次元数を削減でき、データ量の削減や高速化に効果があるが、特徴次元数を大幅に小さくしすぎる場合には、判別性能の劣化をもたらす。これは、特徴次元数を削減することによって、判別に有効な特徴量が失われるためである。
【００５１】
このため、特徴ベクトルの次元数Ｍ1やＭ2等は、学習サンプル数との兼ね合いに影響されやすい量であり、実験に基づいて定めることが望ましい。
【００５２】
第３の線形変換手段１３では、第１および第２の線形変換手段によって計算されたｙ1、ｙ2を入力特徴ベクトルｙとして、判別空間への射影を行う。判別行列記憶手段１６に登録しておく判別行列Ｗ3は、第１、第２の判別行列を計算した場合と同様に学習サンプルから求める。但し、入力特徴ベクトルｙは次の（数８）で表されるように、要素を並べたベクトルである。
【００５３】
【数８】
0004292837.tif 000009
【００５４】
（数７）と同様に基底行列Ｗ3（行列の大きさは、Ｌ×（Ｍ1+Ｍ2））によって、Ｌ次元の特徴ベクトルｙを（数９）により射影し、出力となる特徴ベクトルｚを得る。
【００５５】
【数９】
0004292837.tif 000010
【００５６】
このように特徴ベクトルをそれぞれ分割して、少ない次元数の特徴ベクトルの学習サンプルに対して、線形判別分析を行うことによって、高い次元の特徴成分で生じやすい推定誤りを抑制し、且つ、判別に有効な特徴を捉えることができる。
【００５７】
前述の例では、３つの線形変換手段を備えて、並列的・段階的に処理を行う場合について示したが、線形判別手段は、基本的に積和演算器を備えていれば実現できるので、線形変換を行う入力特徴ベクトルに合わせて、読み出す判別行列を切替え線形変換手段を使い回すように実現することも可能である。このように一つの線形変換手段を使うことで、必要な演算器の規模を小さくすることができる。
【００５８】
さらに、出力特徴ベクトルｚの演算は、（数７）、（数８）、（数９）から分かるように、（数１０）と書き表すことができる。
【００５９】
【数１０】
0004292837.tif 000011
【００６０】
つまり、各判別行列を用いた線形変換は、一つの行列による線形変換にまとめることができる。段階的な演算を行う場合の積和演算回数は、Ｌ×(Ｍ1+Ｍ2)+Ｍ1Ｎ1+Ｍ2Ｎ2であり、一つの行列にまとめた場合には、Ｌ×(Ｎ1+Ｎ2)となり、例えば、Ｎ1=Ｎ2=500、Ｍ1=Ｍ2=200、Ｌ=100 とした場合には、段階的な演算で240，000回の積和演算が必要となり、後者の演算では100，000回の積和演算が必要となり、後者のような一括演算を行う場合の方が演算量が少なく、高速な演算が可能となる。式からも分かるように最終的な次元数Ｌを小さくする場合には、一括的な演算方法を用いた方が演算量を削減することができ、有効である。
【００６１】
（第二の実施の形態）
さて、前述の例では、方向特徴と濃淡特徴というように特徴の種類が異なる場合の特徴を融合する際に、それぞれの特徴毎に判別分析を施した特徴ベクトルに対して、繰り返し判別分析を行っているが、一つの特徴に対する複数要素を複数の特徴ベクトルに分割して、それぞれの要素集合を入力特徴として判別分析し、その射影されたベクトルをさらに判別分析しても構わない。
【００６２】
第二の実施例では、顔画像の特徴抽出装置について説明する。
第二の発明による顔画像特徴抽出装置では、図４に示すように入力顔画像の濃淡特徴を分解する画像特徴分解手段４１と、特徴ベクトルに対応する判別行列に従って特徴ベクトルを射影する線形変換手段４２と、前記のそれぞれの判別行列を記憶する判別行列記憶手段４３を備えている。
【００６３】
顔画像の特徴抽出する技術については、前述のW.Zhaoらの論文に示されているように、顔画像を目位置などで位置合わせした後に、その濃淡値をベクトル特徴とする方法がある。
【００６４】
第二の発明でも原特徴としてはどうように画像の画素の濃淡値を入力特徴として取り扱うが、画像サイズが例えば左右の目の中心位置を(14，23)、(29，23)の座標に正規化した42×54画素=2352次元と大きな画像特徴となる。このような大きな特徴次元では、限られた学習サンプルを用いて直接的に線形判別分析を行っても精度良い特徴抽出を行うことは困難であり、画像特徴の要素を分解し、その分解された特徴に対して判別分析を行い、判別行列を求めることで、主成分分析等を適用した場合に生じる特徴の劣化を抑制する。
【００６５】
画像特徴を分解するための方法の一つが画像を分割することであり、例えば、図５に示すように画像を一つの大きさが14×18画素(=252次元)の大きさに９分割し、それぞれの大きさの局所画像を特徴ベクトルｘi(i=1，2，3，...，9)とし、それぞれの部分画像に対して学習サンプルを用いて判別分析を行い、それぞれの特徴ベクトルに対応する判別行列Ｗiを求めておく。
【００６６】
なお、画像を分割する際に領域間にオーバーラップを持たせておくことで、その境界領域の画素間の相関に基づく特徴量を特徴ベクトルに反映させることができるので、オーバーラップをさせてサンプルするようにしておいてもよい。
【００６７】
特徴次元数が252次元と原画像より大幅に少なくなることで、人数で数百人程度の各人の画像を数枚、計数千枚程度の顔画像をサンプルとすることで、判別分析による基底行列を精度を保って計算することができる。これが原特徴のまま(2352次元)と大きい場合には、判別分析による特徴で性能を得るためには、数千名以上の顔画像サンプルを必要となることが予想されるが、実際問題としてこのような大規模な画像データを収集することは困難であるために、実現できない。
【００６８】
第一段階の判別特徴によって、例えば、各局所領域毎に２０次元の特徴に圧縮するとすると、それらの出力特徴ベクトルは、９領域×２０次元＝１８０次元の特徴ベクトルとなる。この特徴ベクトルに対してさらに判別分析を行うことで、次元数を例えば５０次元程度に効率的に圧縮できる。この第二段階目の判別行列も判別行列記憶手段４３に記憶し、線形変換手段４２により、第一段階の判別特徴の１８０次元ベクトルを入力として、再度判別分析を行う。なお、予め第一段目の判別行列と第二段目の判別行列を（数１０）で示したように予め計算しておいてもよいが、２５２次元×９領域を２０次元×９領域に圧縮し、その１８０次元を５０次元に変換する場合では、二段階に分けて計算した方が使用メモリも、演算量も半分以下となるので、効率的である。
【００６９】
このように局所的・段階的に判別分析を適用することで、識別能力の高い顔特徴を抽出することができるようになる。これは、文字認識でいえば、例えば「大」と「犬」の識別を行おうとしたときに、文字画像全体を主成分分析して固有値が大きい成分抜き出すと、「大」と「犬」を識別する「｀」の特徴が失われてしまいやすい（このため、類似文字識別では主成分分析による固有値が大きい部分の特徴よりも、ある特定の高次特徴を用いることが行われる場合もある）。局所領域に分割して判別特徴を抜き出すことの有効性は、文字認識 における類似文字識別における現象と類似しており、識別しやすい特徴を空間 的に限定することで、全体的に主成分の判別分析を行う場合よりも、単位次元 あたりの精度を確保できるようになると考えられる。
【００７０】
また、画像特徴分割手段４１では、局所領域毎に画像を分割して、特徴ベクトルを構成するのではなく、画像全体からサンプリングして分割してもよい。例えば、一次特徴を９分の１の２５２次元の９つのベクトルに分割する場合には、図６に示すように３x３の領域からサンプリングする。つまり、サンプリングされた画像は、僅かな位置の違いのある縮小画像となる。この縮小画像をラスター走査することで、９つの特徴ベクトルに変換する。このような特徴ベクトルを一次ベクトルとして判別成分を計算し、その判別成分を統合して再度判別分析を行ってもよい。
【００７１】
（第三の実施の形態）
本発明による別の実施の形態について図面を参照して詳細に説明する。図７は、本発明の顔メタデータ生成装置を用いた顔画像マッチングシステムを示すブロック図である。
【００７２】
以下、顔画像マッチングシステムについて詳細に説明する。
図１に示すように、本発明による顔画像マッチングシステムでは、顔画像を入力する顔画像入力部７１と、顔メタデータを生成する顔メタデータ生成部７２と、抽出された顔メタデータを蓄積する顔メタデータ蓄積部７３と、顔メタデータから顔の類似度を算出する顔類似度算出部７４と、顔画像を蓄積する顔画像データベース７５と、画像の登録要求・検索要求に応じて、画像の入力・メタデータの生成・メタデータの蓄積・顔類似度の算出の制御を行う制御部７６と顔画像や他の情報を表示するディスプレイの表示部７７と、が設けられている。
【００７３】
また、顔メタデータ生成部７２は、入力された顔画像から顔領域を切り出す領域切り出し手段７２１と、切り出された領域の顔特徴を抽出する顔パターン特徴抽出手段７２２によって構成され、顔の特徴ベクトルを抽出することで、顔画像に関するメタデータを生成する。
【００７４】
顔画像の登録時には、スキャナあるいはビデオカメラなどの画像入力部７１で顔写真等を顔の大きさや位置を合わせた上で入力する。あるいは、人物の顔を直接ビデオカメラなどから入力しても構わない。この場合には、前述のMohaddamの文献に示されているような顔検出技術を用いて、入力された画像の顔位置を検出し、顔画像の大きさ等を自動的に正規化する方がよいであろう。
【００７５】
また、入力された顔画像は必要に応じて顔画像データベース７５に登録する。顔画像登録と同時に、顔メタデータ生成部７２によって顔メタデータを生成し、顔メタデータ蓄積部７３に蓄積する。
【００７６】
検索時には登録時と同様に顔画像入力部７１によって顔画像を入力し、顔メタデータ生成部７２にて顔メタデータを生成する。生成された顔メタデータは、一旦顔メタデータ蓄積部７３に登録するか、または、直接に顔類似度算出部７４へ送られる。
【００７７】
検索では、予め入力された顔画像がデータベース中にあるかどうかを確認する場合（顔同定）には、顔メタデータ蓄積部７３に登録されたデータの一つ一つとの類似度を算出する。最も類似度が高い結果に基づいて制御部７６では、顔画像データベース７５から、顔画像を選び、表示部７７等に顔画像の表示を行い、検索画像と登録画像における顔の同一性を作業者が確認する。
【００７８】
一方、予めＩＤ番号等で特定された顔画像と検索の顔画像が一致するかどうかを確認する場合（顔識別）では、特定されたＩＤ番号の顔画像と一致するか、否かを顔類似度算出部７４にて計算し、予め決められた類似度よりも類似度が低い場合には、一致しないと判定し、類似度が高い場合には一致すると判定し、その結果を表示部７７に表示する。このシステムを入室管理用に用いるならば、顔画像を表示する変わりに、制御部７６から自動ドアに対して、その開閉制御信号を送ることで、自動ドアの制御によって入室管理を行うことができる。
【００７９】
上記のように、顔画像マッチングシステムは動作するが、このような動作はコンピュータシステム上で実現することもできる。例えば、次に詳述するようなメタデータ生成を実行するメタデータ生成プログラム及び類似度算出プログラムをそれぞれメモリに格納しておき、これらをプログラム制御プロセッサによってそれぞれ実行することで、顔画像マッチングを実現することができる。
【００８０】
次に、この顔画像マッチングシステムの動作、特に顔メタデータ生成部７２と顔類似度算出部７４について、詳細に説明する。
【００８１】
（１）顔メタデータ生成
顔メタデータ生成部７２では、位置と大きさを正規化した画像I(x，y)を用いて、顔特徴量を抽出する。位置と大きさの正規化は、例えば、目位置が(16，24)、(31，24)、サイズが46×56画素となるように画像を正規化しておくとよい。以下では、このサイズに画像が正規化されている場合について説明する。
【００８２】
次に、領域切り出し手段７２１によって顔画像の予め設定した顔画像の複数の局所領域を切り出す。例えば、上記の画像を例えば、一つは正規化した画像全体（これをf(x，y)とする）ともう一つは、顔を中心とした中心領域の32×32画素の領域g(x，y)である。 これは、両目の位置が(9，12)と(24，12)の位置となるように切り出せばよい。
【００８３】
顔の中心領域を前述のように切り出すのは、これは髪型等に影響をされない範囲を切り出すことで、髪型の変化するような場合（例えば、家庭内ロボットで顔照合を用いる際に入浴前後で髪型が変化しても照合できるようにするため）でも安定な特徴を抽出するためのものであるが、髪型等が変化しない場合 （映像クリップ中におけるシーン内の人物同定などの場合）には、髪型を含んだ形で照合を行うことで照合性能の向上が期待できるので、髪型を含んだような 大きな顔画像と顔の中心部分の小さな顔画像に対して、顔画像を切り出す。
【００８４】
次に顔画像特徴抽出手段７２２では、切り出された二つの領域f(x，y)を２次元の離散フーリエ変換によって、フーリエ変換し、顔画像の特徴を抽出する。
【００８５】
図８に顔画像特徴抽出手段７２２のより詳しい構成について示す。この顔画像特徴抽出手段では、正規化し切り出された画像を離散フーリエ変換するフーリエ変換手段８１と、フーリエ変換したフーリエ周波数成分のパワースペクトラムを算出するフーリエパワー算出手段８２と、フーリエ変換手段８１によって算出されたフーリエ周波数成分の実成分と虚成分をラスター走査した特徴ベクトルによって、１次元特徴ベクトルとみなして、その特徴ベクトルの主成分に対して判別特徴を抽出する線形変換手段８３とその変換のための基底行列を記憶する基底行列記憶手段８４、および、パワースペクトラムを同様に主成分の判別特徴を抽出する線形変換手段８５とその変換のための基底行列を記憶する基底行列記憶手段８６を備える。さらに、フーリエ特徴の実数成分と虚数成分の判別特徴、および、パワースペクトルの判別特徴をそれぞれ大きさ１のベクトルに正規化し、その二つの特徴ベクトルを統合したベクトルに対して、そのベクトルの判別特徴を算出する線形変換手段８８とその判別特徴のための判別行列を記憶する判別行列記憶手段８９を備える。
【００８６】
このような構成によって、フーリエ周波数特徴を抽出した後に、フーリエ周波数成分の実数部と虚数部を要素とした特徴ベクトルと、パワースペクトラムを要素とした特徴ベクトルに対して、それぞれ主成分の判別特徴を計算し、それぞれを統合した特徴ベクトルに対して再度判別特徴を計算することで、顔の特徴量を計算する。
【００８７】
以下では、それぞれの動作についてより詳しく説明する。
フーリエ変換手段８１では、入力された画像f(x，y)(x=0，1，2，...M-1，y=0，1，2，...，N-1)に対して、（数１１）に従って、２次元の離散フーリエ変換し、そのフーリエ特徴F(u，v)を計算する。この方法は広く知られており、例えば、文献(Rosenfeldら、”ディジタル画像処理”、pp.20-26，近代科学社)に述べられているので、ここでは説明を省略する。
【００８８】
【数１１】
0004292837.tif 000012
【００８９】
フーリエパワー算出手段では、（数１２）に従ってフーリエ特徴F(u，v)の大きさを求めフーリエパワースペクトラム|F(u，v)|を算出する。
【００９０】
【数１２】
0004292837.tif 000013
【００９１】
このようにして得られる二次元のフーリエスペクトルF(u，v)や｜F(u，v)| は２次元の実成分のみの画像を変換しているので、得られるフーリエ周波数成分は対称なものとなる。このため、これらのスペクトル画像F(u，v)、|F(u，v)| はu=0，1，...，M-1; v=0，1，...，N-1のM×N個の成分を持つが、その半分の成分 u=0，1，...，M-1; v=0，1，...，N-1のM×N/2個の成分と、残りの半分の成分は、実質的に同等な成分となる。このため、特徴ベクトルとしては、半分の成分を用いて、以降の処理を行えばよい。当然のことながら、特徴ベクトルの要素として用いられない成分をフーリエ変換手段８１やフーリエパワー算出手段８２の演算で省略することで、演算の簡略化を図ることができる。
【００９２】
次に、線形変換手段８３では、周波数特徴として抽出された特徴量をベクトルとして取り扱う。予め規定しておく部分空間は、学習用の顔画像セットを用意し、対応する切り出し領域の周波数特徴ベクトルの主成分の判別分析によって得られる基底ベクトル（固有ベクトル）によって定める。この基底ベクトルの求め方については、W. Zhaoの文献をはじめとして様々は文献で説明されている一般的に広く知られた方法であるので、ここでは説明を省略する。ここで判別分析を直接行わないのは、フーリエ変換によって得られる特徴ベクトルの次元数が判別分析を直接取り扱うには大きすぎるためであり、既に指摘したような主成分判別分析における問題点は残るものの第一段階目の特徴ベクトルの抽出としては、一つの選択ではある。また、ここに判別分析を繰り返す方法による基底行列を用いて構わない。
【００９３】
つまり、基底行列記憶手段８４に記憶する主成分の判別行列Φ1は、周波数特徴の実成分と虚成分をラスター走査によって１次元化した特徴ベクトルｘ1の主成分の判別分析を行うことによって予め学習サンプルから求めることができる。ここで、フーリエ特徴は複素数として取り扱う必要は必ずしもなく、虚数成分も単なる別の特徴要素として、実数として取り扱って構わない。
【００９４】
主成分への基底行列をΨ1、その主成分のベクトルを判別分析した判別行列をＷ1とすれば、主成分の判別行列Φ1は、（数１３）によって書き表される。
【００９５】
【数１３】
0004292837.tif 000014
【００９６】
なお、主成分分析によって削減する次元数は、もとの特徴フーリエ特徴の１／１０程度(２００次元前後)にすればよく、その後、この判別行列によって７０次元程度に削減する。この基底行列を予め学習サンプルから計算しておき、 基底行列記憶手段８４に記憶される情報として用いる。
【００９７】
フーリエパワースペクトラム|F(u，v)|についても同様にそのスペクトルをラスター走査によって、１次元特徴ベクトルｘ2として表し、その特徴ベクトルの主成分の判別分析を行うことによって得られる基底行列Φ2T＝Ψ2TＷ 2Tを学習サンプルから予め求めておく。
【００９８】
このように、フーリエ特徴のそれぞれの成分について主成分判別特徴を計算することで、フーリエ成分の実成分と虚成分の特徴ベクトルｘ1の主成分の判別特徴ｙ1と、パワースペクトルの特徴ベクトルｘ2の主成分の判別特徴ｙ2を得ることができる。
【００９９】
正規化手段８７では、得られた特徴ベクトルの大きさをそれぞれ例えば長さ１の単位ベクトルに正規化する。ここで、ベクトルを測る原点をどこにするかで、ベクトル長は変わるので、その基準位置も予め定めておく必要があるが、これは射影された特徴ベクトルｙiの学習サンプルから求めた平均ベクトルｍiを用いて、基準点とすればよい。平均ベクトルを基準点とすることで、基準点の周りに特徴ベクトルが分布するようになり、特にガウシアン分布であるならば、等方的に分布するようになるので、特徴ベクトルを最終的に量子化するような場合の分布域 の領域を限定することが容易にできるようになる。
【０１００】
つまり、特徴ベクトルｙiをその平均ベクトルｍiによって、単位ベクトルに正規化したベクトルｙioは、（数１４）と表される。
【０１０１】
【数１４】
0004292837.tif 000015
【０１０２】
このように正規化手段を設け、フーリエパワーの実数と虚数に関わる特徴ベクトルｙ1と、パワーに関わる特徴ベクトルｙ2を単位ベクトルに正規化しておくことで、異種の特徴量である二つの特徴量の間の大きさの正規化をしておき、特徴ベクトルの分布特性を安定化させることができる。また、既に次元削減の過程で判別に 必要な特徴空間の中での大きさを正規化しているので、削除された雑音をより多く含む特徴空間で正規化する場合よりも、雑音に影響されにくい正規化が実 現できるためである。この正規化により、単なる線形変換では除去が難しい全体的な照明強度に比例する変動成分のような変動要素の影響をとり除くことができる。
【０１０３】
このように正規化した特徴ベクトルｙ1oとｙ2oを（数８）と同様 に一つの特徴ベクトルｙに統合し、統合された特徴ベクトルｙに対して、線形判別分析を行い得られる基底行列Ｗ3を用いて判別空間に射影することで、出力特徴ベクトルｚを得ることができる。このための判別行列Ｗ3を判別行列記憶手段８９に記憶し ておき、線形変換手段８８では、このための射影の演算を行い、例えば、２４次元の特徴ベクトルｚを算出する。
【０１０４】
なお、出力特徴ベクトルｚを、一要素あたり例えば5ビットに量子化する場合には、各要素の大きさを正規化しておく必要があるが、例えば、各要素の分散値に応じて、正規化を施しておく。
【０１０５】
つまり、特徴ベクトルｚの各要素ziの学習サンプルにおける標準偏差の値σiを求めておき、zo = 16zi/3σiというように正規化を施し、これを例えば5ビッ トなら、-16から15の値に量子化すればよい。
【０１０６】
この際の正規化は、各要素に標準偏差の逆数をかけている演算となるので、σiを対角要素とする行列Σを考えると、正規化されたベクトルｚoは、ｚo=Σｚとなる。つまり、単なる線形変換であるので、予め、判別行列Ｗ3に対してΣを（数１５）のように施しておいてもよい。
【０１０７】
【数１５】
0004292837.tif 000016
【０１０８】
このように正規化しておくことで、量子化に必要な値域補正を行うことができる利点があるばかりではなく、標準偏差値による正規化であるので、照合時にパターン間距離のノルムを演算する際に単なるL２ノルムを計算するだけで、マハラノビス距離による演算を行うことが可能となり、照合時における演算量を削減することが可能となる。
【０１０９】
このように顔画像特徴抽出手段１２２では、正規化された画像f(x，y)に対して特徴ベクトルｚfを抽出する際の説明を行ったが、顔の中心部分のみを切り出した画像g(x，y)に対しても、前述と同様に顔画像特徴抽出手段１２２によって特徴ベクトルｚgを抽出する。二つの特徴ベクトルｚfと特徴ベクトルｚgを顔メタデータ生成部を顔特徴量ｚとして抽出する。
【０１１０】
なお、前述したように上記顔メタデータ生成手順をコンピュータプログラムによってコンピュータに実行させることもできる。
【０１１１】
（２）顔類似度算出
次に顔類似度算出部７４の動作について説明する。
顔類似度算出部７４では、二つの顔メタデータから得られるそれぞれK次 元特徴ベクトルｚ1、ｚ2を用いて、二つの顔の間の類似度ｄ(ｚ1，ｚ2)を算出する。
例えば、（数１６）の二乗距離によって類似度を算出する。
【０１１２】
【数１６】
0004292837.tif 000017
【０１１３】
αiは重み係数で例えば各特徴次元ｚiの標準偏差の逆数等を用いればマハラノビス距離による計算となり、予め（数１５）等によって特徴ベクトルを正規化してある場合には、基底行列が予め分散値によって正規化してあるので、前述の通り マハラノビス距離となっている。また、（数３）の比較する各特徴ベクトルのなす余弦によって類似度を算出してもよい。
【０１１４】
【数１７】
0004292837.tif 000018
【０１１５】
なお、距離を用いた場合には値が大きいほど類似度は小さいこと（顔が似ていない）を意味し、余弦を用いた場合には値が大きいほど類似度が大きいこと（顔が似ている）を意味する。
【０１１６】
ここまでの説明では、一枚の顔画像が登録され、一枚の顔画像を用いて検索する場合について説明したが、一人の顔に対して複数の画像が登録され、一枚の顔画像を用いて検索する場合には、例えば、登録側の複数の顔メタデータをそれぞれ、類似度の算出をすればよい。
【０１１７】
同様に１つの顔当たりの複数枚の画像登録と複数画像による検索の場合も、 各組み合わせの類似度の平均や最小値を求めることで、類似度を算出することで、一つの顔データに対する類似度を算出することができる。これは、動画像を複数画像と見倣すことで、本発明のマッチングシステムを動画像における顔認識に対しても適用できることを意味する。
【０１１８】
以上、本発明を実施の形態を適宜図面を参照して説明したが、本発明は、コンピュータが実行可能なプログラムによっても実現できることは言うまでもない。
【０１１９】
（第四の実施の形態）
本発明による別の実施の形態について図面を参照して詳細に説明する。本発明は、第３の発明における顔メタデータ生成部７２を改良するものである。第３の発明では、入力顔画像をフーリエ変換を行うことで得られるフーリエ周波数成分の実数部と虚数部を要素とした特徴ベクトルと、パワースペクトラムを要素とした特徴ベクトルに対して、それぞれの主成分の判別特徴を計算し、それぞれを統合した特徴ベクトルに対して再度判別特徴を計算することで、顔の特徴量を計算している。この場合、フーリエパワースペクトルが入力画像全体の特徴量を反映しているために、入力画素にノイズが多い成分（例えば、相対的な位置が変化しやすい口の周りの画素など）もパワースペクトルの中に他の画素と等しく反映されてしまい、判別分析によって有効な特徴量を選択しても、十分な性能が得られない場合があった。このような場合には入力画像を領域分割し、その局所領域毎にフーリエ変換し、各局所領域毎のパワースペクトルを特徴量として、判別分析することで、局所的に判別性能が悪い（クラス内分散が大きい）領域の特徴量の影響を判別分析によって、低減することができる。
【０１２０】
図９は実施例を説明するための図で、特徴抽出処理のフローを表している。この実施例では、例えば、３２ｘ３２画素の領域を１６ｘ１６画素の４領域、８ｘ８画素の１６領域、４ｘ４画素の６４領域、２ｘ２画素の２５６領域、１ｘ１画素の１０２４領域（実質的に入力画像と同じなので、入力画像そのままでよい）に分割し、その各々の分割された領域でフーリエ変換を行う。この処理フローをまとめた図が図１０である。このようにして得られた各領域のパワースペクトル全ての1024x５次元＝５１２０次元の特徴量を抽出する。この次元数では通常の学習データが少ない場合では次元数が多いので、予め主成分分析を行い、次元数を削減するような主成分分析の基底を求めておく。例えば、次元数としては３００次元程度が適当である。この次元数の特徴ベクトルについてさらに判別分析を行い、次元数を削減し、判別性能のよい特徴軸に対応する基底を求める。主成分分析と判別分析に対応する基底を予め計算しておく（これをＰＣＬＤＡ射影基底Ψとする）。
【０１２１】
５１２０次元の特徴をこのＰＣＬＤＡ基底を用いた射影基底Ψを用いて線形演算によって射影することで、判別特徴ｚを得ることができる。さらに量子化等を施すことで、顔の特徴量となる。なお、５１２０次元の特徴量はフーリエパワースペクトルの対称性等を考慮したり、高周波成分を除去して、予め使わないことにすれば、次元数を削減でき、高速な学習、必要とされるデータ量の削減、高速な特徴抽出を可能とすることができるので、適宜次元数を削減することが望ましい。
【０１２２】
このように領域をブロック化し、フーリエスペクトラムを多重化することで、画像特徴と同値な特徴量（1024分割の場合）から、順に平行移動の普遍性を持った特徴量と局所的な特徴量の表現を多重に持つことができる。その多重で冗長な特徴表現の中から、判別分析によって、識別に有効な特徴量を選択することで、コンパクトで識別性能のよい特徴量を得ることができる。フーリエパワースペクトルは、画像に対して非線形な演算であり、これは画像を単に線形演算によって処理する判別分析を適用するだけでは得られない有効な特徴量を計算することができる。ここでは主成分に対して線形判別分析を行う場合について説明したが、カーネル判別分析(Kernel Fisher Discriminant Analysis，KFDAあるいはKernel Discriminant Analysis: KDA 、Generalized Discriminant Analysis: GDAなどと呼ばれるカーネルテクニックを用いた判別分析)を用いて、２段階目の特徴抽出を行っても構わない。例えば、カーネル判別分析については、Q. Liu らの文献(非特許文献３：”Kernel-based Optimized Feature Vectors Selection and Discriminant Analysis for Face Recognition，”Proceeding of IAPR International Conference on Pattern Recognition(ICPR)， Vol.II， pp. 362-365， 2002)やG. Baudat の文献（非特許文献４：”Generalized Disciminant Analysis Using a Kernel Approach，”Neural Computation， Vol.12， pp2385-2404， 2000）に詳しく解説されているので、それらを参照されたい。 このようにカーネル判別分析を用いて特徴を抽出することで、非線形による特徴抽出の効果をさらに発揮することができ、有効な特徴を抽出することができる。
【０１２３】
しかし、この場合、５１２０次元と大きな特徴ベクトルを取り扱うので、主成分分析を行う場合でも、大量のメモリ、大量の学習データが必要となる。図１１は、このような問題を避けるべく、各ブロック毎に主成分分析・判別分析を個別に行い、その後、２段階で判別分析（Linear Discriminant Analysis: ＬＤＡ）を行うことで、演算量を削減することができる。この場合には、各領域毎に1024次元（対称性を考慮して半分にすると、512次元）の特徴量を用いて、主成分分析と判別分析を行い基底行列Ψi(i=0，1，2，..，5)を求めておく。そして、その後それぞれの平均値を用いて特徴ベクトルを正規化し、二段階目のＬＤＡ射影を行う。このようにブロック毎に処理を行うことで、学習の際に要求されるデータ数や計算機資源を減少させることができ、学習の最適化の時間削減等を行うことできる。なお、高速に演算を行いたい場合には、ベクトル正規化の処理を省き、予めＰＣＬＤＡ射影の基底行列とＬＤＡ射影の基底行列を計算しておくことで、演算の高速化を図ることができる。
【０１２４】
図１２はまた別の実施例を説明するための図で、特徴抽出処理のフローを表している。この実施例では、このような領域分割を複数段階（図では２段階）で行い、局所領域のフーリエパワースペクトルが持つ並進普遍性と、局所領域の信頼性を考慮するように多重にパワースペクトラムを多重な解像度で抽出し、判別分析のための特徴量として抽出し、その中で判別分析で求められた最も優れた特徴空間利用して、特徴抽出を行う。
【０１２５】
例えば、入力画像f(x，y)が32x32画素の場合には、図１０に示すように全体画像のパワースペクトル|F(u，v)|とそれを４分割した16x16画素の4つの領域のそれぞれのパワースペクトラム|F11(u，v)|， |F12(u，v)| ，|F13(u，v)| ，|F14(u，v)|、8x8画素の16個の領域に分割した|F21(u，v)|， |F21(u，v)|，・・・，|F216(u，v)|を特徴ベクトルを抽出する。但し、実画像のフーリエパワースペクトルの対称性を考慮して、その１/２を抽出すればよい。また、判別分析における特徴ベクトルの大きさが大きくなることを避けるために、判別に対して高周波成分をサンプリングしないで、特徴ベクトルを構成してもよい。例えば、低周波成分に対応する１/４のスペクトルをサンプリングして特徴ベクトルを構成することで、必要となる学習サンプル数を低減したり、学習や認識に必要な処理時間の軽減を行うことができる。また、学習データ数が少ない場合には、予め主成分分析して特徴次元数を減らした後に判別分析を行っても良い。
【０１２６】
さて、このように抽出した特徴ベクトルx2fを用いて、予め用意した学習セットを用いて判別分析を行い、その基底行列Ψ2fを求めておく。図９では主成分に対する判別特徴の抽出（Principal Component Linear Discriminant Analysis: PCLDA）の射影を行っている例を示している。特徴ベクトルx2fを基底行列Ψ2fを用いて射影し、その射影された特徴ベクトルの平均と大きさを正規化し、特徴ベクトルy2fを算出する。
【０１２７】
同様にフーリエ周波数の実数成分と虚数成分を統合した特徴ベクトルx2fについても、基底行列Ψ1fを用いて線形演算処理により特徴ベクトルを射影し、次元数を削減した特徴ベクトルを求め、そのベクトルの平均と大きさを正規化した特徴ベクトルy1fを算出する。これらを統合した特徴ベクトルを判別基底Ψ3fを用いて、再度射影し、特徴ベクトルzfを得る。これを例えば5bitに量子化することで、顔特徴量を抽出する。
【０１２８】
なお、入力が44x56画素の大きさに正規化された顔画像である場合には、中心部分の32x32画素に上述の処理を施して、顔特徴量を抽出するとともに、顔全体の44x56画素の領域についても、44x56画素の全体領域と、22x28画素の4領域、11x14画素の16画素に多重に分割した領域についてそれぞれ顔特徴量を抽出する。図１３は、別の実施例を表しており、各局所領域毎に実数成分と虚数成分とパワースペクトルを合わせてＰＣＬＤＡを行う場合や、図１４のように実数成分と虚数成分を合わせた特徴とパワースペクトルとを個別にＰＣＬＤＡ射影し、最後にＬＤＡ射影を行っている例である。
【０１２９】
(第五の実施の形態)
本発明による別の実施の形態について図面を用いて詳細に説明する。
本発明を用いた顔特徴記述方法および顔特徴の記述子の実施例を表わす。図１５には、顔の特徴記述の一例として、ISO/IEC FDIS 15938-3“Information  technology  Multimedia content description interface- Part3: Visual”におけるDDL表現文法（Description Definition Language Representation Syntax）を用いて顔特徴量の記述について表わしている。
【０１３０】
ここでは、AdvancedFaceRecognitionと名付けた顔特徴の記述について、それぞれ”FourierFeature”，”CentralFourierFeature”と名付ける要素を有しており、FouirerFeatureやCentralFourierFeatureは、符号なし５ビットの整数でそれぞれ24次元から63次元の要素を持つことができることを表わしている。図１６は、そのデータ表現に対してバイナリー表現文法(Binary Representation Syntax)を用いた場合の規則を表わしており、FourierFeature、CentralFourierFeatureの配列要素の大きさを符号なし６ビットの整数でnumOfFourierFeature、numOfCentralFourierに格納し、FourierFeature、CentralFoureirFeatureのそれぞれの要素が５ビットの符号なし整数で格納されることを表わしている。
【０１３１】
本発明を用いたこのような顔特徴の記述子について、より詳細に説明する。
●numOfFourierFeature
このフィールドは、FourierFeatureの配列の大きさを規定する。値の許容範囲は、24から63である。
●numOfCentralFourierFeature
このフィールドは、CentralFourierFeatureの配列の大きさを規定する。値の許容範囲は、24から63である。
●FourierFeature
この要素は、正規化顔画像のフーリエ特性の階層的LDAに基づく顔特徴を表している。正規化顔画像は、原画像を各行46個の輝度値を持つ56行の画像に大きさを変換することによって得られる。正規化画像における両目の中心位置は、右目、左目がそれぞれ、24行目の16列目及び31列目に位置していなければならない。
【０１３２】
FourierFeatureの要素は、二つの特徴ベクトルから抽出される。一つは、フーリエスペクトルベクトルｘ1ｆであり、もう一つは、マルチブロックフーリエ強度ベクトルｘ2ｆである。図１７は、フーリエ特徴の抽出過程を図示している。正規化画像が与えられたら、その要素を抽出するために、次の５つの処理ステップを実行しなければならない。
【０１３３】
（１）フーリエスペクトルベクトルｘ1ｆの抽出
（２）マルチブロックフーリエ強度ベクトルｘ2ｆの抽出
（３）PCLDA基底行列Ψ1ｆ、Ψ2ｆを用いた特徴ベクトルの射影と、単位ベクトルｙ１ｆ、ｙ２ｆへの正規化
（４）LDA基底行列Ψ3ｆを用いた、単位ベクトルの結合フーリエベクトルの射影（５）射影ベクトルＺｆの量子化
【０１３４】
STEP-1) フーリエスペクトルベクトルの抽出
与えられた正規化画像f(x，y)に対するフーリエスペクトルF(u，v)を（数１８）式により計算する。
【０１３５】
【数１８】
0004292837.tif 000019
【０１３６】
ここで、M=46、N=56である。フーリエスペクトルベクトルｘ1ｆは、フーリエスペクトルを走査して得られる成分の集合によって定義される。図１８は、フーリエスペクトルの走査方法を示している。走査は、フーリエ空間における二つの領域、領域Aと領域B、に対して実行される。走査規則を図１９にまとめる。ここで、SR(u， v)は、領域Rの左上の座標を表し、ER(u，v) は領域Rの右下の点をそれぞれ表す。それ故に、フーリエスペクトルベクトルｘ1fは（数１９）式によって表現される。
【０１３７】
【数１９】
0004292837.tif 000020
ｘ1ｆの次元数は644次元である。
【０１３８】
STEP 2) マルチブロックフーリエ強度ベクトルの抽出
マルチブロックフーリエ強度ベクトルを正規化顔画像の部分画像のフーリエ強度から抽出する。部分画像としては、(a) 全体画像、(b) 4分の１画像、(c) 16分の1画像の３つのタイプの画像が使われる。
【０１３９】
（a）全体画像
全体画像f10(x，y)は、正規化画像f(x，y)の画像境界の両側の列を取り除き、44x56の画像サイズに切り出すことで得ることができる。これは、（数２０）式によって与えられる。
【０１４０】
【数２０】
0004292837.tif 000021
【０１４１】
（b）4分の１画像
4分の１画像は、全体画像f10(x，y)を４ブロックfk1(x，y)（ｋ=1，2，3，4）に等分割することによって、得ることができる。
【０１４２】
【数２１】
0004292837.tif 000022
ここで、sk1=(k-1)%2、tk1=(k-1)/2 である。
【０１４３】
（c）16分の１画像
16分の１画像は、f10(x，y)を１６ブロックfk2(x，y)(k=1，2，3，・・・，16)に等分割することによって得られ、次式によって与えられる。
【０１４４】
【数２２】
0004292837.tif 000023
ここで、sk2=(k-1)%4、tk2=(k-1)/4  である。
【０１４５】
これらの画像から、フーリエ強度｜Fkj(u，v)｜を次の（数２３）式のように計算する。
【０１４６】
【数２３】
0004292837.tif 000024
Ｍjは各々の部分画像の幅を表し、Ｍ0=44， Ｍ1=22， Ｍ2=11である。Ｎjは部分画像の高さを表し、Ｎ0=56， Ｎ1=28， Ｎ2=14である。
【０１４７】
マルチブロックフーリエ強度ベクトルは、1) 全体画像(k=1)， 2) ４分の１画像(k=1，2，3，4)， 及び 3) １６分の１画像(k=1，2，・・・，16)の順に、各々の強度｜Ｆkj(u，v)｜の低周波数領域を走査することによって得られる。走査領域は、図１９に定義している。
【０１４８】
それ故に、マルチブロックフーリエ強度ベクトルｘ2fは、（数２４）式で表現される。
【０１４９】
【数２４】
0004292837.tif 000025
ｘ2fの次元数は856次元である。
【０１５０】
STEP 3) PCLDA 射影とベクトル正規化
フーリエスペクトルベクトルｘ1fとマルチブロックフーリエ強度ベクトルｘ2fをそれぞれPCLDA基底行列Ψ1fとΨ2fを用いて射影し、単位ベクトルｙ1fとｙ2fに正規化する。正規化ベクトルｙkf (k=1，2) は次式によって与えられる。
【０１５１】
【数２５】
0004292837.tif 000026
ここで、PCLDA 基底行列Ψkfと平均ベクトルmkfは、ｘkfの主成分の判別分析によって得られる基底行列と射影して得られる平均ベクトルであり、予め計算してあるテーブルを参照する。y1fとy2f の次元数はそれぞれ70次元と80次元である。
【０１５２】
STEP 4) 結合フーリエベクトルのLDA射影
正規化ベクトルy1fとy2fを150次元の結合フーリエベクトルy3fを成すように連結し、LDA基底行列を用いて射影する。射影ベクトルｚfは次式で与えられる。
【０１５３】
【数２６】
0004292837.tif 000027
【０１５４】
STEP 5) 量子化
ｚfの要素を次式を用いて５ビットの符号なし整数の範囲に丸める。
【０１５５】
【数２７】
0004292837.tif 000028
【０１５６】
量子化された要素は、FourierFeatureの配列として保存する。FourierFeature[0] は、量子化された第一要素ｗ0fを表し、FourierFeature[numOfFourierFeature-1] は、第numOfFourierFeature番目の要素ｗfnumOfFourierFeature-1に対応する。
【０１５７】
●CentralFourierFeature
この要素は、正規化顔画像の中心部分のフーリエ特性の階層的LDAに基づく顔特徴を表している。CentralFourierFeatureはFourierFeatureと同様な方法により抽出する。
【０１５８】
中心部分ｇ(x，y)は、次式に示すように画像ｆ(x，y)の始点(7，12)から32x32画素の大きさに切り出すことによって得られる。
【０１５９】
【数２８】
0004292837.tif 000029
【０１６０】
STEP 1) フーリエスペクトルベクトルの抽出
ｇ(x，y) のフーリエスペクトルＧ(u，v)を（数２９）式によって計算する。
【０１６１】
【数２９】
0004292837.tif 000030
ここで、Ｍ=32， Ｎ=32である。256次元のフーリエスペクトルベクトルｘ1g は、フーリエスペクトルＧ(u，v)を図２０で定義したように走査することによって得ることができる。
【０１６２】
STEP 2) マルチブロックフーリエ強度ベクトルの抽出
マルチブロックフーリエ強度ベクトルx2gを(a) 中心部分g10(x，y)， (b) ４分の１画像gk1(x，y)(k=1，2，3，4)， 及び(c) １６分の１画像gk2(x，y)(k=1，2，3，・・・，16)のフーリエ強度から抽出する。
【０１６３】
（a）中心部分
【数３０】
0004292837.tif 000031
【０１６４】
（b）４分の１画像
【数３１】
0004292837.tif 000032
ここで、ｓk1=(k-1)%2、tk1(k-1)/2  である。
【０１６５】
（c）１６分の１画像
【数３２】
0004292837.tif 000033
ここで、sk2=(k-1)%4、tk2=(k-1)/4  である。
【０１６６】
それぞれの画像のフーリエ強度｜Gkj(u，v)｜を、（数３３）式のように計算する。
【０１６７】
【数３３】
0004292837.tif 000034
ここで、Ｍ0=32，Ｍ1=16， Ｍ2=8， Ｎ0=32， Ｎ1=16， Ｎ2=8である。マルチブロックフーリエ強度ベクトルｘ2gは、図２０に定義するようにそれぞれの強度｜Gkj(u，v)｜を走査することによって得られる。
【０１６８】
STEP 3-5)の処理は、FourierFeatureと同じである。CentralFourierFeatureのための基底行列Ψ1g，Ψ2g，Ψ3g および平均ベクトルｍ1g，ｍ2g もまたそれぞれの予め計算してテーブルとして用意しておいたものを参照する。
【０１６９】
CentralFourierFeatureの配列の大きさは、numOfCentralFourierFeatureに制限される。
【０１７０】
このようにして得られた顔特徴記述データは、記述長がコンパクトでありながら、高い認識性能を有する顔特徴の記述データとなり、データの保存や伝送に効率的な表現となる。
【０１７１】
なお、本発明をコンピュータで動作可能なプログラムで実現してもかまわない。この場合、第五の実施の形態であれば、図１７中のステップ１〜ステップ５で示された機能をコンピュータが読み取り可能なプログラムで記述し、このプログラムをコンピュータ上で機能させることで本発明を実現可能である。また図１７に記載された例を装置として構成する場合は、図２１のブロック図に記載された機能の全部または一部を実現すればよい。
【０１７２】
【発明の効果】
本発明によるパターン特徴抽出により、入力のパターン特徴ベクトルから、その要素ベクトル毎に判別分析による判別に有効な特徴ベクトルを抽出し、得られた特徴ベクトルを再度判別分析による判別行列を用いた特徴抽出を行うことで、特徴次元を圧縮する際に、判別に有効な特徴量の削減を抑制し、より効率の良い特徴抽出を行うための特徴ベクトルの変換を行うことができる。
【０１７３】
特にパターンの特徴量が多いにも関わらず、判別分析を行う際に必要な学習サンプル数が限られているような場合に特に有効であり、必ずしも主成分分析を用いることなく、識別に有効な特徴の損失を抑えた上で特徴次元数を削減することができる。
【図面の簡単な説明】
【図１】本発明の実施形態によるパターン特徴抽出装置の構成を示すブロック図である。
【図２】従来技術を説明するための図である。
【図３】パターン特徴の分布を説明するための図である。
【図４】本発明による第二の実施形態によるパターン特徴抽出装置の構成を示すブロック図である。
【図５】本発明による実施形態を説明するための図である。
【図６】本発明による実施形態を説明するための図である。
【図７】本発明による第三の実施形態による顔画像マッチングシステムの構成を示すブロック図である。
【図８】本発明による実施形態を説明するための図である。
【図９】本発明による実施形態を説明するための図である。
【図１０】本発明による実施形態を説明するための図である。
【図１１】本発明による実施形態を説明するための図である。
【図１２】本発明による実施形態を説明するための図である。
【図１３】本発明による実施形態を説明するための図である。
【図１４】本発明による実施形態を説明するための図である。
【図１５】本発明の第五の実施の形態における顔記述の一例を示すための図である。
【図１６】本発明の第五の実施の形態におけるバイナリー表現文法(Binary Representation Syntax)を用いた場合の規則の一例を示す図である。
【図１７】本発明の第５の実施の形態におけるフーリエ特徴（FourierFeature）を抽出するための説明図である。
【図１８】本発明の第５の実施の形態におけるフーリエスペクトルの走査方法の一例を示すための図である。
【図１９】本発明の第５の実施の形態におけるフーリエスペクトルの走査規則の一例を示すためのテーブルである。
【図２０】本発明の第５の実施の形態におけるCentralFourierFeature要素のためのフーリエ空間における走査領域の一例を示すテーブルである。
【図２１】本発明の第５の実施の形態におけるブロック図の一例を示す図である。
【符号の説明】
11: 第一の線形変換手段11
12: 第二の線形変換手段12
13: 第三の線形変換手段13
14: 第一の判別行列記憶手段14
15: 第二の判別行列記憶手段15
16: 第三の判別行列記憶手段16
【図１】
0004292837.tif 000035
【図２】
0004292837.tif 000036
【図３】
0004292837.tif 000037
【図４】
0004292837.tif 000038
【図５】
0004292837.tif 000039
【図６】
0004292837.tif 000040
【図７】
0004292837.tif 000041
【図８】
0004292837.tif 000042
【図９】
0004292837.tif 000043
【図１０】
0004292837.tif 000044
【図１１】
0004292837.tif 000045
【図１２】
0004292837.tif 000046
【図１３】
0004292837.tif 000047
【図１４】
0004292837.tif 000048
【図１５】
0004292837.tif 000049
【図１６】
0004292837.tif 000050
【図１７】
0004292837.tif 000051
【図１８】
0004292837.tif 000052
【図１９】
0004292837.tif 000053
【図２０】
0004292837.tif 000054
【図２１】
0004292837.tif 000055