(57)【要約】【課題】  非線形分離によるパターン分類を高速に行う。【解決手段】  入力されたパターンから抽出された特徴ベクトルの各要素の値、および、辞書部１０５に記憶される辞書ベクトルを、非線形変換部１０１において予め定めた非線形関数を用いて変換し、照合部１０４において照合を行う。【選択図】  図１
2007207177.tif 000002
【特許請求の範囲】
【請求項１】
認識対象のパターンデータである入力パターンを入力するパターン入力部と、
前記入力パターンによって入力された前記入力パターンから入力特徴ベクトルを抽出する特徴抽出部と、
前記特徴抽出部によって抽出された特徴ベクトルの各要素の値を予め定められた非線形関数で変換して、入力変換特徴ベクトルを生成する非線形変換部と、
予め学習対象のパターンデータについて生成された前記入力変換特徴ベクトルに相当する学習変換特徴ベクトル、または、前記学習変換特徴ベクトルに基づいて生成された部分空間である学習部分空間を、辞書データとして記憶する辞書部と、
前記変換特徴ベクトルを前記辞書データと照合する照合部と、
を有することを特徴とするパターン認識装置。
【請求項２】
前記非線形変換部は、前記特徴抽出部で抽出された特徴ベクトルの各要素の値を予め定められた非線形関数で変換して得られるベクトルと前記特徴ベクトルとを結合させて、前記特徴ベクトルより次元数が高い変換特徴ベクトルを生成することを特徴とする請求項１に記載のパターン認識装置。
【請求項３】
前記照合部は、同一の認識対象に関する複数の入力パターンから生成された複数の変換特徴ベクトルを用いて入力部分空間を生成し、前記入力部分空間を前記辞書データと照合する、ことを特徴とする請求項１または請求項２に記載のパターン認識装置。
【請求項４】
前記非線形変換部は予め各要素について定められた非線形関数を用いることを特徴とする請求項１から請求項３までのいずれか一項に記載のパターン認識装置。
【請求項５】
前記非線形変換部は予め全要素で共通に定められた非線形関数を用いることを特徴とする請求項４に記載のパターン認識装置。
【請求項６】
前記非線形変換部は、ロジスティック関数、またはガウシアン関数、または、双曲正接関数を含んだ非線形関数を用いる
ことを特徴とする請求項１から請求項３までのいずれか一項に記載のパターン認識装置。
【請求項７】
コンピュータを、
（Ａ）認識対象のパターンデータである入力パターンを入力するパターン入力部、
（Ｂ）前記パターン入力部によって入力された前記入力パターンから入力特徴ベクトルを抽出する特徴抽出部、
（Ｃ）前記特徴抽出部によって抽出された特徴ベクトルの各要素の値を予め定められた非線形関数で変換して、入力変換特徴ベクトルを生成する非線形変換部、
（Ｄ）予め学習対象のパターンデータについて生成された前記入力変換特徴ベクトルに相当する学習変換特徴ベクトル、または、前記学習変換特徴ベクトルに基づいて生成された部分空間である学習部分空間を、辞書データとして記憶する辞書部、および、
（Ｅ）前記変換特徴ベクトルを前記辞書データと照合する照合部、
として機能させるためのプログラム。
【請求項８】
パターン入力部が認識対象のパターンデータである入力パターンを入力し、
特徴抽出部が前記パターン入力部によって入力された前記入力パターンから入力特徴ベクトルを抽出し、
非線形変換部が前記特徴抽出部によって抽出された特徴ベクトルの各要素の値を予め定められた非線形関数で変換して、入力変換特徴ベクトルを生成し、
予め学習対象のパターンデータについて生成された前記入力変換特徴ベクトルに相当する学習変換特徴ベクトル、または、前記学習変換特徴ベクトルに基づいて生成された部分空間である学習部分空間を、辞書データとして記憶する辞書部から、照合部が前記辞書データを取得して前記変換特徴ベクトルと照合する、
パターン認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はパターン認識手法に関する
【背景技術】
【０００２】
従来のパターン認識では、パターンの分布が線形分離可能であると仮定して、線形識別関数、判別分析法、部分空間法などの方法が使われてきた（非特許文献１−３）。
【０００３】
一方、線形分離が不可能である場合に関しても、近年、カーネルトリック法を適用し、非線形な分離を行う方式が提案されている（非特許文献４）。
【非特許文献１】飯島泰蔵、「パターン認識理論」、森北出版、（１９８９）
【非特許文献２】エルッキオヤ著、「パターン認識と部分空間法」、産業図書、（１９８６）
【非特許文献３】前田賢一、渡辺貞一、「局所的構造を導入したパターン・マッチング法」、信学論（Ｄ）、ｖｏｌ．Ｊ６８−Ｄ，Ｎｏ．３，ｐｐ３４５−３５２、１９８５．
【非特許文献４】Muller, K.-R., S. Mika, Ratsch, G., K. Tsuda and B. Scholkopf: An Introduction to Kernel-Based Learning Algorithms. IEEE Transactions on Neural Networks 12(2), 181-201 (2001)
【発明の開示】
【発明が解決しようとする課題】
【０００４】
パターンの分布が線形分離可能ではない場合に線形分離を行う手法を用いることは、認識誤りの原因となることがある。また、カーネルトリック法を用いた場合、計算量が多いという問題があった。
【課題を解決するための手段】
【０００５】
上記課題を解決するために本発明の一側面のパターン認識装置は、認識対象のパターンデータである入力パターンを入力するパターン入力部と、前記入力パターンによって入力された前記入力パターンから入力特徴ベクトルを抽出する特徴抽出部と、前記特徴抽出部によって抽出された特徴ベクトルの各要素の値を予め定められた非線形関数で変換して、入力変換特徴ベクトルを生成する非線形変換部と、予め学習対象のパターンデータについて生成された前記入力変換特徴ベクトルに相当する学習変換特徴ベクトル、または、前記学習変換特徴ベクトルに基づいて生成された部分空間である学習部分空間を、辞書データとして記憶する辞書部と、前記変換特徴ベクトルを前記辞書データと照合する照合部と、を有する。
【発明の効果】
【０００６】
従来より少ない演算量で非線形変換を利用した高性能な認識が可能となる。
【発明を実施するための最良の形態】
【０００７】
以下、図面を参照して本発明の各実施例のパターン認識装置について説明する。
【実施例１】
【０００８】
図１は実施例１のパターン認識装置の構成を示したブロック図である。本実施例のパターン認識装置は、入力されたパターンデータを、辞書データを用いてパターン認識する装置である。また、本実施例のパターン認識装置は、パターン認識に先立って辞書データを学習する機能を備える。
【０００９】
本実施例のパターン認識装置は、認識対象のパターンデータを入力するパターン入力部１０１と、パターンデータから特徴ベクトルを抽出する特徴抽出部１０２と、特徴ベクトルに対して非線形変換を施す非線形変換部１０３と、パターン認識用の辞書データを記憶する辞書部１０５と、非線形変換後の特徴ベクトルと辞書部１０５の辞書データとを照合する照合部１０４とを有する。
【００１０】
図２は本実施例のパターン認識装置における処理の流れを説明するフローチャートである。図２においてステップＳ２０１からステップＳ２０４はパターン認識の処理であり、ステップＳ２１１からステップＳ２１４は辞書データを学習するためのパターン学習の処理である。ステップＳ２０２とステップＳ２１２、および、ステップＳ２０３とステップ２１３は、パターン認識処理とパターン学習処理とで共通な処理であるので図２ではまとめて記載してある。以下、本実施例のパターン認識装置の各部の動作を図２のフローチャートと関連付けて説明する。
【００１１】
［パターン入力部１０１］  
パターン入力部１０１は認識対象のパターンデータを入力する。パターンデータはデジタルで表現されたデータである。本実施例のパターン入力部１０１はカメラを備え、認識対象の画像を撮像して画像データを取得する。パターン入力部１０１は画像データをパターンデータとして特徴抽出部１０２に出力する（ステップＳ２０１）。
【００１２】
尚、パターン入力部１０１は、記憶媒体に記憶された画像データを入力しても構わない。また、画像に限らず音声でも構わないし、温度、圧力、濃度、速度、大きさなどを含む種々の計測値のデータでも構わない。尚、音声、温度、圧力、濃度、速度等の時系列データの場合、パターン入力部１０１は予め定められた一定の長さの時間内のデータをパターンデータとして特徴抽出部１０２に出力する。
【００１３】
［特徴抽出部１０２］  
特徴抽出部１０２は画像データからｎ個（ｎ≧２）の特徴量を抽出し、ｎ次元の特徴ベクトルを求める。本実施例の特徴抽出部１０２は画像データの各画素をラスタスキャンしてｎ次元の特徴ベクトルＸを抽出する。
【００１４】
尚、画像データの一部の領域をラスタスキャンしても構わない。例えば、テンプレートマッチング等により人間の顔らしい領域を求め、その領域をラスタスキャンしても構わない。その他、エッジ検出、フィルタ処理、サンプリング等の画像処理を行った後にラスタスキャンしても構わない（ステップＳ２０２）。
【００１５】
このｎ次元の特徴ベクトルＸは、一般にｎ次元空間の１点に対応し以下の数式で表される。
【数１】
2007207177.tif 000003
【００１６】
［非線形変換部１０３］  
非線形変換部１０３はｎ次元の特徴ベクトルＸに対して以下の数式で表される非線形変換を行って、ｎ次元の特徴ベクトルＸ'を求める演算処理を行う（ステップＳ２０３）。
【数２】
2007207177.tif 000004
【００１７】
すなわち、非線形変換部１０３は特徴ベクトルＸの各要素ｘi（ｉ=１，・・・，ｎ）について、各要素ｘiに予め定められた共通な非線形関数ｆを用いてｘ'i＝ｆ(ｘi)を計算する。そして、ｘ'iを要素として有する特徴ベクトルＸ'を求める。本実施例のパターン認識装置ではこの特徴ベクトルＸ'を後述する辞書データと比較することによりパターン認識を行う。
【００１８】
非線形関数ｆの例を以下の数式に示す。非線形関数ｆとしては、例えば、（３−１）式のロジスティック関数、（３−２）式のガウシアン関数、または、（３−３）式の双曲正接関数を用いることができる。
【数３】
2007207177.tif 000005
【００１９】
非線形変換により得られた特徴ベクトルＸ'は照合部１０４に出力される。
【００２０】
［辞書部１０５］  
辞書部１０５は辞書ベクトルＹを記憶する。辞書ベクトルＹは学習用の画像データから生成された特徴ベクトルＸ'に相当するベクトルである。すなわち、学習用の画像データから生成されたｎ次元の特徴ベクトルの各要素を非線形関数ｆで変換したベクトルである（ステップＳ２１１、ステップＳ２１２、ステップＳ２１３、ステップＳ２１４）。
【００２１】
辞書部１０５は辞書ベクトルＹをカテゴリを表す識別情報に関連付けて記憶する。同一の識別情報に関連付けられた辞書ベクトルＹは同一の対象に関する辞書ベクトルＹである。例えば、顔画像に基づいて個人を認識する場合であれば、同一人物についての辞書ベクトルＹは同一のカテゴリを表す識別情報に関連付けて記憶される。
【００２２】
［照合部１０４］  
照合部１０４は、特徴ベクトルＸ'と、辞書部１０５に記憶された辞書ベクトルＹとを照合して、特徴ベクトルＸ'に最も近い辞書ベクトルＹを求める。そして、特徴ベクトルＸ'に最も近い辞書ベクトルＹに関連付けられた識別情報を、認識対象の認識結果として出力する（ステップＳ２０４）。
【００２３】
特徴ベクトルＸ'と辞書ベクトルＹとの照合には、例えば、ユークリッド距離、マハラノビス距離などを用いたＮＮ法等を用いることができる。
【００２４】
以上に説明した本実施例のパターン認識装置は、入力されたパターンデータから抽出された特徴ベクトルの各要素を共通な非線形関数で変換してから、同様な非線形関数による変換が行われた辞書と照合している。非線形関数の変換によりｎ次元空間の複数の点の分布の形状は不均一に変形される。そのため、各点の座標成分の差は変形の程度の違いとなって表れる。すなわち、各点間の距離の差が出やすくなって認識性能が向上する。
【００２５】
例えば、２つの点Ａ、点Ｂとその中点である点Ｃとの３点が存在する場合、線形変換を行っても点Ｃは中点のままであるが、非線形変換を行った場合は特異な場合を除いて点Ｃは中点ではなくなる。
【００２６】
また、カーネルトリック法のように膨大な演算を行う必要が無く、特徴ベクトルＸの各要素に対して予め定めた共通な非線形関数もしくは予め各要素について定めた非線形関数による変換を行えば足りるので、カーネルトリック法よりも高速な処理が可能である。
【００２７】
［変形例１］  
本実施例の非線形変換部１０３では、予め定められた共通な非線形関数ｆにより特徴ベクトルＸの各要素を変換していたが、これを予め定められた複数の非線形関数ｆj（ｊ≦ｎ）を用いるようにしても構わない。すなわち、特徴ベクトルＸの各要素の変換に用いられる非線形関数が、各要素間で共通でなくても構わない。この場合、各要素に用いられる非線形関数を予め定めておく。
【００２８】
［変形例２］  
本実施例のパターン認識装置では、辞書部１０５は予め非線形変換を行った状態で記憶しているがこれに限られない。辞書部１０５が学習用の画像データから生成された特徴ベクトルＸに相当するものを記憶しておき、照合部１０４にて照合を行うたびに非線形変換部１０３を用いて非線形変換を行うようにしても構わない。
【実施例２】
【００２９】
実施例２のパターン認識装置について説明する。本実施例のパターン認識装置は照合に用いるベクトルが実施例１と異なる。
【００３０】
［非線形変換部１０３］  
図３は本実施例の非線形変換部１０３の構成を示す。本実施例の非線形変換部１０３は、特徴ベクトルＸに実施例１と同様な非線形関数による変換処理を行って特徴ベクトルＸ'を生成する変換部３０１、および、特徴ベクトルＸと特徴ベクトルＸ'とを合体させて要素数を２倍に増やしたベクトルｈを生成する生成部３０２を有する。ベクトルｈは以下の数式で表される。
【数４】
2007207177.tif 000006
【００３１】
なお、要素数は２倍に限られるものではない。特徴ベクトルＸ'の生成に用いた非線形関数ｆとは異なる他の非線形関数、または、（数３）のｓ、ｃなどのパラメータが異なる同じ非線形関数などを用いて生成された特徴ベクトルＸ''をさらに結合して３倍にしても構わない。同様にして２倍以上の任意の量に増やしても構わない。また、特徴ベクトルＸと特徴ベクトルＸ'とは、任意の順序で結合させて構わない。例えば数４に示したように特徴ベクトルＸに特徴ベクトルＸ'を結合させても構わないし、この順序を逆にしても構わないし、あるいは、二つのベクトルの各要素を先頭から交互に有するように結合させても構わない。
【００３２】
非線形変換部１０３はベクトルｈを照合部１０４に出力する。
【００３３】
［辞書部１０５］  
辞書部１０５はベクトルｈと同じ次元数の辞書ベクトルＹを記憶する。すなわち、本実施例の辞書ベクトルＹは、学習用の画像データから生成されたベクトルｈに相当するベクトルである。
【００３４】
［照合部１０４］  
照合部１０４はベクトルｈと辞書ベクトルＹとを照合する。照合の具体的手法は実施例１と同様である。
【００３５】
以上に説明した本実施例のパターン認識装置ならば、非線形関数によって変換された要素を用いて要素数を増やしたことにより、認識性能が向上する。
【実施例３】
【００３６】
実施例３のパターン認識装置について説明する。本実施例のパターン認識装置は照合を部分空間法により行う点が実施例１異なる。
【００３７】
［照合部１０４］  
本実施例の照合部１０４は部分空間法を用いて辞書との照合を行う。部分空間法は分布の形状を線形近似し、カテゴリごとに用意された部分空間との角度、または距離を用いてカテゴリの選定を行う手法である。代表的な方法として、ＣＬＡＦＩＣ法、ＡＬＳＭ法がある（非特許文献１−３参照）。
【００３８】
照合部１０４は、同一のカテゴリに属する辞書ベクトルＹから同一カテゴリを表す部分空間Ｐを生成する。そして、特徴ベクトルＸ'との角度または距離が最も近い部分空間Ｐを求め、その部分空間Ｐに対応する識別情報を出力する。
【００３９】
なお、辞書部１０５に予め辞書ベクトルＹから生成した同一カテゴリを表す部分空間Ｐを記憶させておいても構わない。
【００４０】
また、照合部１０４において相互部分空間法を用いる場合は、複数の特徴ベクトルＸ'から入力側の部分空間Ｑを生成し、これを辞書側の部分空間Ｐと照合する。
【００４１】
以上に説明した本実施例のパターン認識装置ならば、認識性能が安定し高性能な部分空間法と組み合わせて、より認識性能を向上させることが可能となる。
【００４２】
なお、本発明は上記各実施例に限定されるものでは無く、本発明はその要旨を逸脱しない範囲で種々変形して用いることができる。
【００４３】
尚、上記各実施例のパターン認識装置はハードウエアのみならず、例えば図４に示すコンピュータ上で動作するプログラムとして実現されることもできる。図４のコンピュータはプロセッサ４０１と、メモリ４０２と、記憶装置４０３と、インターフェース４０４と、これらを接続して相互にアクセス可能にさせるバス４０５とを備える。記憶装置４０３にはプログラムが記憶されており、このプログラムはメモリ４０２にロードされてプロセッサ４０１によって実行される。このプログラムがプロセッサ４０１によって実行されることにより、コンピュータは上記各実施例のパターン認識装置として機能する。
【００４４】
なお、パターン入力部１０１がカメラを有する場合、当該カメラはインターフェース４０４を経由して接続されるものであっても構わない。
【００４５】
＊＊＊  参考例との比較１  ＊＊＊  
下記の表はＵＣＩの機械学習データベース（Blake, C.L. & Merz, C.J. (1998). UCI Repository of machine learning databases, Irvine, CA: University of California, Department of Information and Computer Science [http://www.ics.uci.edu/~mlearn/MLRepository.html].）の幾つかのデータを用いた実験結果である。
【表１】
2007207177.tif 000007
【００４６】
表の各値は識別誤り率を示し、値が小さいほど認識性能が優れていることを示す。「ｔＣＬＡＦＩＣ」、「ｔＡＬＳＭ」は実施例１の手法に対応し、特徴ベクトルＸの各要素を非線形変換で変換して認識を行う手法である。「ｅＡＬＳＭ」は実施例２の手法に対応し、元のベクトルに非線形変換を行った要素を追加して認識を行う手法である。各実施例の手法は、従来法（「ＣＬＡＦＩＣ」、「ＡＳＬＭ」）に比べて同程度かより優れた認識性能を示している。
【００４７】
＊＊＊  参考例との比較２  ＊＊＊  
上述の非特許文献４ではカーネルトリック法を利用した非線形主成分分析を用いた部分空間法が提案されている。これらカーネルトリックが利用されている方法との計算量について考える。
【００４８】
カーネルトリック法では、ある一つの認識対象のデータパターンに対して、すべての学習パターンとのカーネル関数との非線形変換が必要となる。特徴ベクトルＸに関しての非線形変換の計算回数で比較すると、学習パターンの数をＭ、認識対象のデータパターンの次元数および学習パターンのデータの次元数をＤとすると、カーネルトリック法では計算回数のオーダーはＯ（Ｍ2）となる。
【００４９】
一方、各実施例の手法は、認識対象のデータパターンの特徴ベクトルの各要素に非線形変換を施すことから学習パターンの数Ｍには依存せず、計算回数のオーダーはＯ（Ｄ）となる。よって、一般に学習パターンの数が増加していく場合、計算量の観点で有利である。
【図面の簡単な説明】
【００５０】
【図１】実施例１のパターン認識装置のブロック図。
【図２】実施例１のパターン認識装置による処理のフローチャート。
【図３】実施例２の非線形変換部１０３のブロック図。
【図４】コンピュータの図。
【符号の説明】
【００５１】
１０１  パターン入力部
１０２  特徴抽出部
１０３  非線形変換部
１０４  照合部
１０５  辞書部
【図１】
2007207177.tif 000008
【図２】
2007207177.tif 000009
【図３】
2007207177.tif 000010
【図４】
2007207177.tif 000011