(57)【特許請求の範囲】
【請求項１】
入力手段が、入力空間における未知のパターンを入力するステップと、
評価値算出手段が、入力空間から写像される、カーネル関数で定義される非線形空間に対して、パターンを分類するカテゴリ毎に定められる、部分空間であって、前記非線形空間における一組の基底ベクトルの線形結合により表される前記部分空間のそれぞれと、前記入力手段により入力された未知のパターンの前記非線形空間における写像との間の距離を評価値として算出するステップと、
カテゴリ識別手段が、前記評価値に基づいて前記未知の入力パターンの属するカテゴリを識別するステップとを有し、
さらに、前記入力手段が、カテゴリ指定の学習パターンを入力するステップと、
基底ベクトル更新手段が、前記入力手段から入力された学習パターンの前記非線形空間への写像と、前記学習パターンが分類されるカテゴリに対応した部分空間との間の距離が小さくなるように当該部分空間の基底ベクトルの値を調整するステップとを有することを特徴とするパターン識別方法。
【請求項２】
前記評価値算出手段は、前記未知のパターンの非線形空間への写像の、前記カテゴリ毎の部分空間への射影を、前記入力パターンの非線形空間への写像と前記部分空間からの距離とに関する最急降下法により、逐次計算することで求め、得られた射影から前記距離を算出する請求項１記載のパターン識別方法。
【請求項３】
関連性計算手段が、入力空間における学習パターンの前記非線形空間への写像と前記部分空間との関連性を入力空間における前記学習パターンの前記非線形空間への写像の、前記部分空間の基底ベクトルへの射影成分のばらつきに基づいて計算するステップと、
カーネル関数更新手段が、前記ばらつきが閾値に対して大きい基底ベクトルに対してはその基底ベクトルを生成する入力空間のベクトルの近傍においてカーネル関数のスケールを大きくし、前記ばらつきが閾値に対して小さい基底ベクトルに対してはその基底ベクトルを生成する入力空間のベクトルの近傍においてカーネル関数のスケールを小さくすることにより、前記カーネル関数を変形するステップとを有する請求項１または２記載のパターン識別方法。
【請求項４】
コンピュータを、
入力空間におけるパターンを入力する入力手段と、
入力空間から写像される、カーネル関数で定義される非線形空間に対して、パターンを分類するカテゴリ毎に定められる、部分空間であって、前記非線形空間における一組の基底ベクトルの線形結合により表される前記部分空間のそれぞれと、前記入力手段から入力された未知のパターンの前記非線形空間における写像との間の距離を評価値として算出する評価値算出手段と、
前記評価値に基づいて前記未知の入力パターンの属するカテゴリを識別するカテゴリ識別手段と、
前記入力手段から入力された学習パターンの前記非線形空間への写像と、前記学習パターンが分類されるカテゴリに対応した部分空間との間の距離が小さくなるように当該部分空間の基底ベクトルの値を調整する基底ベクトル更新手段として機能させることを特徴とするコンピュータプログラムをコンピュータにより読み出し可能に記録して記録媒体。
【請求項５】
入力空間におけるパターンを入力する入力手段と、
入力空間から写像される、カーネル関数で定義される非線形空間に対して、パターンを分類するカテゴリ毎に定められる、部分空間であって、前記非線形空間における一組の基底ベクトルの線形結合により表される前記部分空間のそれぞれと、前記入力手段から入力された未知のパターンの前記非線形空間における写像との間の距離を評価値として算出する評価値算出手段と、
前記評価値に基づいて前記未知の入力パターンの属するカテゴリを識別するカテゴリ識別手段と、
前記入力手段から入力された学習パターンの前記非線形空間への写像と、前記学習パターンが分類されるカテゴリに対応した部分空間との間の距離が小さくなるように当該部分空間の基底ベクトルの値を調整する基底ベクトル更新手段とを有することを特徴とするパターン識別装置。
【請求項６】
前記カテゴリ毎に並列処理を行う専用処理装置を設けたことを特徴とする請求項５記載のパターン識別装置。
【請求項７】
前記基底ベクトル更新手段は、前記非線形空間への前記入力手段から入力された学習パターンの写像の、前記学習パターンが分類されるカテゴリに対応した部分空間への射影を、最急降下法により、前記学習パターンの非線形空間への写像と前記部分空間からの距離とに関して逐次計算することで決定し、決定された前記射影により求められる前記学習パターンの非線形空間への写像と、前記学習パターンが分類されるカテゴリに対応した部分空間との距離が減少するように、最急降下法により、前記基底ベクトルの値を調整する請求項５または６記載のパターン識別装置。
【請求項８】
入力空間における学習パターンの前記非線形空間への写像と前記部分空間との関連性を入力空間における前記学習パターンの前記非線形空間への写像の、前記部分空間の基底ベクトルへの射影成分のばらつきに基づいて計算する関連性計算手段と、
前記ばらつきが閾値に対して大きい基底ベクトルに対してはその基底ベクトルを生成する入力空間のベクトルの近傍においてカーネル関数のスケールを大きくし、前記ばらつきが閾値に対して小さい基底ベクトルに対してはその基底ベクトルを生成する入力空間のベクトルの近傍においてカーネル関数のスケールを小さくすることにより、前記カーネル関数を変形するカーネル関数更新手段とをさらに有する請求項５、６、または７記載のパターン識別装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、入力された画像等のデータが、複数のカテゴリのいずれに属するかを、計算機を利用して判断するパターン識別技術に関する。
【０００２】
【従来の技術】
従来、計算機を利用したパターン識別方法が提案されてきている。例えば、画像センサで取得した人間の顔のイメージなどを分析して、その画像のどの部分が目や鼻にあたるか等を判別しカテゴリ分けを行い、カテゴリに分類されて予め記憶されていた複数の画像と比較して、その画像が誰の顔にあたるのか判別を行う、といった研究が行われている。
【０００３】
パターンの識別方法として、部分空間法がよく知られている。部分空間法では、複数のカテゴリ毎に部分空間を定め、未知のパターンがどの部分空間に最も関係するかを算出することで、未知のパターンの属するカテゴリを判別するものである。部分空間法ではカテゴリが多い場合、パターンが低次元だと識別精度が低下し、また、非線形性のパターン分布を有する場合の識別精度も低い。
【０００４】
別の識別方式としては、サポートベクトルマシン（ＳＶＭ）法が知られている。ＳＶＭ法では、カーネル関数を導入することにより、低次元のパターンを高次元化し、非線形のパターン分布に対しても識別を可能とする。しかし、適用されるカテゴリ数は２つしかなく、また計算量も膨大である。
【０００５】
最近、部分空間法の長所およびＳＶＭ法の長所を生かして組み合わせる方法として、カーネル非線形部分空間法が提案されている（特開２０００−９０２７４号公報）。カーネル非線形部分空間法では、被認識パターンをＳＶＭ法のようにカーネル関数によって定義可能な非線型変換を利用して高次元非線型空間に写像することでパターンの高次元化を実現し、その高次元非線型空間上で部分空間法を適用することによってパターン識別を行う。
【０００６】
【発明が解決しようとする課題】
このカーネル非線形部分空間法では、各カテゴリｉの部分空間を定義するため、全ての学習サンプルの非線形空間への写像の線形結合により、基底ベクトルを作成している。ここでは、未知の入力パターンがカテゴリに属するかどうかを判断するための評価値を算出する方法として、被認識パターンを各カテゴリに対応する高次元非線型空間の部分空間へ射影したときの射影成分を利用する方法が開示されている。この部分空間は、低次元ベクトルである学習サンプルを用いた基底ベクトルを線形結合して規定されたものであるため、入力パターンの識別のためにこの射影成分を求めるときには、カーネル関数を用いた低次元ベクトルの演算のみで算出することが可能である。
【０００７】
しかしながらその演算は、被認識パターンと全学習サンプルとのカーネル演算と、全学習サンプル数を次元数とする内積演算からなり、学習サンプル数が増大した場合、計算量が学習サンプル数に比例して増大してしまう。さらに、カーネル計算のためには全学習サンプルを保存しておく必要があるために、多量の記憶領域を必要とするという問題点があった。
【０００８】
また、学習工程は、学習サンプル同士のカーネル演算結果を成分とするカーネル行列の特異値分解によって行われるため、新たに学習サンプルを追加した場合、これまでの学習サンプルも使用して、再度学習をやり直して、部分空間を構成する基底ベクトルの線形結合の重みを再計算しなおさなければならないという問題点がある。
【０００９】
また、カーネル関数は認識対象により予め選択しておく必要があり、学習により適応的に変更することができず、識別精度が向上しないという問題点がある。
【００１０】
本発明では、パターン識別時の計算量を減少させ、あるいは、学習サンプルの増加や変更にも柔軟に適応することが可能なパターン技術を提供することを目的とする。
【００１１】
【課題を解決するための手段】
本発明の１つの側面によれば、上記目的を達成するために、パターン識別方法において：入力空間において少なくとも１つの学習サンプルに適合された一組のベクトルをカーネル関数で定義される非線形空間へそれぞれ写像して得た一組のベクトルを、パターンを分類するカテゴリ毎に定められる、前記非線形空間における部分空間を構成する一組の基底ベクトルとして、対応する組の前記基底ベクトルの線形結合により表される複数の前記部分空間と、未知の入力パターンの前記非線形空間における写像との関係を表す評価値を算出する評価値算出ステップと；前記評価値に基づいて前記未知の入力パターンの属するカテゴリを識別するカテゴリ識別ステップとを実行するようにしている。
【００１２】
この構成においては、入力空間において学習サンプルに適合するベクトル（以下ではプレイメージあるいはプレイメージ・ベクトルとも呼ぶ）をカーネル空間で定義される非線形空間へ写像したベクトルを、非線形空間を構成する基底ベクトルとして用いているため、すでに学習サンプルの特徴を含んだプレイメージ・ベクトルが入力空間で用意されていることとなる。したがって、未知の入力パターンとの関係を示す評価値を算出する際には、プレイメージ・ベクトルの非線形空間への写像から求められる基底ベクトルを用いて、未知パターンと部分空間の関連性を算出することが可能となるので、学習サンプル数の増加によって計算量が増大するということが防止できる。
【００１３】
なお、「適合する」という用語は「近似する」あるいは「代表する」という意味も内包する。
【００１４】
また、本発明の他の側面によれば、上述の目的を達成するために、パターン識別に用いる部分空間を構成する基底ベクトルの学習方法において：カーネル関数で定義される非線形空間への学習パターンの各々の写像に対して、前記学習パターンが分類されるカテゴリに対応する部分空間であって、入力空間の一組のベクトルの前記非線形空間への写像によりそれぞれ生成される一組の基底ベクトルの線形結合により表される部分空間への射影を決定する射影決定ステップと；決定した前記射影により求められる前記学習パターンの非線形空間への写像と、前記学習パターンが分類されるカテゴリに対応した部分空間との関連性がより高くなるように、前記基底ベクトルを生成する入力空間の前記ベクトルを更新するベクトル更新ステップとを実行するようにしている。
【００１５】
この構成においては、カーネル関数で定義される非線形空間における、部分空間を表すための基底ベクトルを生成するための、プレイメージ・ベクトルを、カテゴリが既知の学習パターンとそのカテゴリに対応する部分空間との関連性の演算結果に基づいて、更新するようにしたので、それまでの学習パターンを保持することなく、新しい学習パターンに応じて、部分空間を構成する基底ベクトルを更新することが可能となる。
【００１６】
また、本発明のさらに他の側面によれば、上述の目的を達成するために、カーネル関数の変形方法において：入力空間のパターンの、前記パターンを分類するカテゴリ毎に定められる部分空間が構成される非線形空間への写像を定義するカーネル関数を準備するステップと；入力空間における学習パターンの前記非線形空間への写像と前記部分空間との関連性を計算するステップと；前記関連性の計算結果に応じてカーネル関数を変形するステップとを実行するようにしている。
【００１７】
この構成においては、学習パターンを用いて、基底ベクトルへの射影成分のばらつきを計算し、この計算結果に基づいて、カーネル関数を適応的に変更することが可能となる。
【００１８】
なお、本発明は方法としても装置あるいはシステムとしても実現可能であり、また少なくともその一部をコンピュータプログラムとして実現することも可能である。
【００１９】
本発明の上述した側面および本発明の他の側面については特許請求の範囲に記載され、以下、図面を用いて詳細に説明される。
【００２０】
【発明の実施の形態】
以下、本発明の実施例について詳細に説明する。
【００２１】
［パターンの識別］
まず、本発明によるパターン識別の原理を、具体例を用いながら述べる。任意のｄ次元入力パターンｘ、および入力パターンｘをｄΦ次元の高次元特徴空間に射影する非線形変換Φを定義し、ｄΦ次元高次元特徴空間においてパターン識別を行う。なお、本説明では、表記の制約上やむをえない場合には、本来ボールド表記すべき記号を、便宜上、下線を付して代替させている。
【数１】
0003979007.tif 000002
を固有関数とするカーネル関数
【数２】
0003979007.tif 000003
と関連しており、非線形変換Φによるｄ次元入力パターンｘの写像はカーネルの固有関数を用いて、
【数３】
0003979007.tif 000004
と表される。ここでλｉは固有関数φｉ（ｘ）に対する固有値である。
【００２２】
次にｄ次元入力空間のｎ個のベクトルｘ１，…，ｘｎの非線形変換像Φ（ｘ１），…，Φ（ｘｎ）の線形結合で表される高次元特徴空間の部分空間Ωを考え、パターンの属する各カテゴリー毎に高次元特徴空間の部分空間を用意する。ここで非線形変換像Φ（ｘ１），…，Φ（ｘｎ）を部分空間Ωの基底ベクトル、入力空間のｎ個のベクトルｘ１，…，ｘｎをそのプレイメージと呼ぶ。
【００２３】
プレイメージｘ１，…，ｘｎは、後述の学習方法によって学習されており、複数の学習パターンの特徴を含んだベクトルで、複数の学習パターンが１つのベクトルに近似され、あるいは複数の学習パターンを代表するベクトルである。部分空間Ωの基底ベクトルは必ずしも直交関係を有する必要はない。プレイメージの数、すなわち、部分空間Ωの基底ベクトルの数ｎは、識別性能に影響するパラメータであり、あらかじめ設定される。
【００２４】
入力パターンｘの非線形変換像Φ（ｘ）の部分空間Ωへの射影を、部分空間Ω内において非線形変換像Φ（ｘ）とのユークリッド距離が最小となるベクトル
【数４】
0003979007.tif 000005
とする。
【数５】
0003979007.tif 000006
は
【数６】
0003979007.tif 000007
を最小にする係数ａｉを求めることで決定される。
（３）式はカーネル関数の性質（１）式を用いて、
【数７】
0003979007.tif 000008
となる。ａｉは最急降下法によって初期値から
【数８】
0003979007.tif 000009
ずつ逐次的に変化させることによって求められる。ここでξは微小な正の定数である。
【００２５】
最終的に求められたａｉを（４）式に代入して得られたＥは、入力パターンｘの非線形変換像Φ（ｘ）と部分空間Ωとの距離を表す。すなわち、未知の入力パターンのｄΦ次元高次元特徴空間への写像であるΦ（ｘ）と、各カテゴリに対応する部分空間に対してＥを計算し、Ｅが最小となったカテゴリにその入力パターンは属すると判定される。
【００２６】
また計算量は部分空間を特徴付ける入力空間での（プレイメージ）ベクトルの数ｎおよび入力ベクトルの次元数ｄで決まり、学習サンプル数とともに増加することはない。なおかつ（４）および（５）式におけるＫ（ｘｉ，ｘｊ）は学習が完了した後は不変であるので、一度計算しておくだけでよい。また学習サンプルを保存しておく必要はないため、記憶容量が少なくてすむ。
【００２７】
パターン識別に要する計算量は、多次元の非線形空間での演算を必要としないため、非常に小さい。また、最急降下法は、部分空間の基底が直交関係を持たない場合にも演算が可能であるので、本発明のように、部分空間を張る基底ベクトルを生成するためのベクトル（プレイメージ）を変更する場合には特に有効である。
【００２８】
［プレイメージの学習］
部分空間の基底ベクトルのプレイメージｘｉの学習は、次のようにして行われる。まず学習サンプルに対して、例えば最急降下法を用いる場合には、（５）式を用いてａ１，…，ａｎを計算する。求めたａ１，…，ａｎを（３）式に代入し、次に最急降下法による基底ベクトルΦ（ｘｉ）の変化を求めると、つぎのようになる。
【数９】
0003979007.tif 000010
このΦ（ｘｉ）の変化に対応するプレイメージｘｉの変化は
【数１０】
0003979007.tif 000011
ここで
【数１１】
0003979007.tif 000012
はｄΦ行ｄ列の行列、
【数１２】
0003979007.tif 000013
はその逆行列である。一般に非線形写像Φは多対１写像なので逆行列
【数１３】
0003979007.tif 000014
は存在しないが、逆行列をＭｏｏｒｅ−Ｐｅｎｒｏｓｅの擬似逆行列で近似すれば、
【数１４】
0003979007.tif 000015
となる。ここでｄ行ｄ列の行列ｇａｂ（ｘｉ）は高次元特徴空間の計量テンソルであり、カーネル関数を用いて、
【数１５】
0003979007.tif 000016
と表される。（６）および（８）式を（７）式に代入すると、つぎのようになる。
【数１６】
0003979007.tif 000017
（１０）式を用いて基底ベクトルのプレイメージｘｉを逐次更新することにより、学習が行われる。
【００２９】
以上の学習に要する計算量は、基底ベクトルのプレイメージを更新することにより行われるため、従来の学習サンプルを全て必要とする場合と比較して、非常に小さい。また、すでに学習が完了した後に新たな学習サンプルを追加した場合でも、追加した学習サンプルに対して学習を行えばよいため、追学習が容易である。また、以上の学習に要する計算量は多次元の非線形空間での演算を必要としないため、非常に小さい。
【００３０】
［カーネル関数の更新］
次に、カーネル関数の学習方法について述べる。学習開始前にはカーネル関数として、例えばガウス関数カーネルや、多項式カーネルといった既知の関数を設定する。学習中にはカーネル関数を等角写像
【数１７】
0003979007.tif 000018
によって変形する。Ｃ（ｘ）は係数ａｉの学習サンプルに対するばらつきがどの係数ａｉに対しても均一になるように変化させる。具体的には係数ａｉのばらつきが規定値に対して大きい場合は、係数ａｉに対応する部分空間の基底ベクトルのプレイメージｘｉの近傍に関してＣ（ｘ）の値を大きくする。こうすることによりｘｉの近傍の空間は非線形特徴空間において
【数１８】
0003979007.tif 000019
によって拡大される。従って係数ａｉを大きな値とする学習サンプルの数は相対的に減少し、係数ａｉの学習サンプルに対するばらつきは減少する。逆に係数ａｉのばらつきが規定値に対して小さい場合は、係数ａｉに対応する部分空間の基底ベクトルのプレイメージｘｉの近傍に関してＣ（ｘ）の値を小さくする。
【００３１】
なお、プレイメージ近傍に関してＣ（ｘ）を大きくするあるいは小さくするには、例えば、（１４）式によってなされる。
以上のカーネル関数の変形によって学習サンプルに適応したカーネル関数が得られ、部分空間の基底ベクトルΦ（ｘｉ）がほぼ同数の学習サンプルを代表することになる。このことにより、識別性能が向上する。また、（１０）式からわかるように、ｇａｂ（ｘ）が小さいほど学習による部分空間を特徴付ける入力空間ベクトルｘｉの変化が大きいため、係数ａｉのばらつきが小さい、すなわち学習サンプルに対する反応が小さいｘｉは学習が早く進む。一方学習サンプルに対する反応が大きいｘｉは入力空間ベクトルｘｉの変化が小さく、安定状態となる。このことから、学習が短時間で済み、また収束性もよいという効果が生じる。
以上の手段では、プレイメージの近傍のみのＣ（ｘｉ）しか得られないが、他の場所におけるＣ（ｘ）の値は、これらの値からの外挿で例えば次の式で求めることができる。
【数１９】
0003979007.tif 000020
【００３２】
［識別処理手順］
次に、本発明によるパターン識別の処理の具体的な手順を図１のフローチャートを用いて説明する。各カテゴリの部分空間の基底ベクトルΦ（ｘｉ）およびカーネル関数は後述の手順で学習されているものとする。Ｓ１０１では識別すべきパターンデータを入力する。これらは画像、音響など様々なセンサから入力された多次元データもしくはそのデータを変換して得られる多次元パターンである。なお、学習パターンや未知パターンとしては、コンピュータの記憶媒体上に記憶されたファイルや、ネットワークから取得されたファイルを利用することができ、これらの機器とのインターフェース部をパターン入力装置として利用できる。Ｓ１０２では、入力パターンの各カテゴリの非線形部分空間への射影ａｉを計算する。これはａｉを例えば
【数２０】
0003979007.tif 000021
により初期値に設定し、（５）式に従って逐次更新する。ａｉの更新ごとに（４）式によって判定値Ｅが計算され、Ｅの変化が例えば１％以下になるかもしくは規定回数になるまでａｉの更新が行われる。Ｓ１０２では各カテゴリに対して計算された判定値Ｅが閾値と比較され、判定値Ｅが閾値以下のカテゴリが存在する場合はＳ１０４に進む。Ｓ１０４では判定値Ｅがもっとも小さいカテゴリが識別結果として出力される。判定値Ｅが閾値以下のカテゴリが存在しない場合は識別は不成功となりＳ１０５に進む。Ｓ１０５では入力パターンのカテゴリを示す教師信号を入力する。教師信号は人為的に与えるほか、他の情報から類推して生成することも可能である。教師信号を入力後、図２のＳ２０４に進み、後述の追学習を行う。
【００３３】
次に本発明における各カテゴリの非線形部分空間の基底ベクトルΦ（ｘｉ）およびカーネル関数の学習の手順を図２のフローチャートを用いて説明する。非線形部分空間の基底ベクトルΦ（ｘｉ）の数はあらかじめ指定し、その初期値は乱数で与える。カーネル関数はガウス型カーネルや多項式カーネルといった既知のカーネルに設定しておく。Ｓ２０１では学習サンプルを入力する。学習サンプルは識別の場合と同様のパターンデータである。Ｓ２０２では学習サンプルの属するカテゴリを教師信号として入力し、学習させるカテゴリの非線形部分空間を選択する。Ｓ２０３では識別の場合と同じ手順で学習パターンの選択された非線形部分空間への射影ａｉを計算する。Ｓ２０４では（１０）式に従い非線形部分空間の基底ベクトルの更新を行う。Ｓ２０５ではカーネル関数の変形を（１１）式に基づいて行う。（１１）式のＣ（ｘ）は射影ａｉの全学習サンプルに対するばらつきσａｉが一定値σｃｏｎｖに収束するように
【数２１】
0003979007.tif 000022
に基づいて更新する。ここでαは正の定数である。またσｃｏｎｖはあらかじめ設定しておく他、各基底のσａｉの平均値にして自律的に変更してもよい。また上記方法ではＣ（ｘ）は非線形部分空間の基底のプレイメージにおいてしか適用できないため、任意の入力ｘにたいするＣ（ｘ）はプレイメージにおけるＣ（ｘ）の値から外挿して求める。以上の学習を、学習サンプルに対する評価値Ｅが十分小さくなるまで続ける。
【００３４】
追学習による学習では、図１における識別処理により教師信号が得られ、さらに非線形部分空間への射影ａｉが計算されているため、Ｓ２０４から学習を開始すればよい。
【００３５】
図４は本発明により画像パターンの識別を行った結果である。入力パターンは図３に示した３つのカテゴリのいずれかに属する２７×２７画素の画像であり、図４にはカテゴリ１の学習サンプルで学習した非線形部分空間における評価値Ｅを示した。カテゴリ１の入力に対する評価値Ｅが他のカテゴリの入力に対する評価値Ｅよりおよそ１００分の１の値を示しており、パターンの識別ができていることがわかる。図５には本発明による識別処理に要する計算時間を従来のカーネル非線形部分空間法と比べた結果を示す。横軸は学習に用いたパターンの数を表し、縦軸は識別処理に要する計算時間を表す。本パターン識別法は、従来法に比べておよそ１００分の１の計算時間で識別が可能であることが分かる。
【００３６】
図６は、計算速度を向上させるために各カテゴリ別に並列処理を行うことができるようにハードウェアを構成した例である。パターン入力部３０１は、パターン信号を入力するものである。教師信号入力部３０２は、教師信号を入力するものである。また、カテゴリ毎に、非線形空間学習部３０３１〜３０３ｎと非線形射影計算部３０４１〜３０４ｎを有している。非線形射影計算部３０４１〜３０４ｎには、パターン入力部３０１から入力されたパターン信号が入力される部分空間射影計算部３０５１〜３０５ｎと、射影の計算結果が入力されカテゴリの関連性を判定する判定値計算部３０６１〜３０６ｎ、射影の計算結果が入力される射影ばらつき計算部３０７１〜３０７ｎが設けられている。非線形空間学習部３０３１〜３０３ｎには、学習パターンの入力時に入力されたその射影と教師信号とにもとづいて基底ベクトルを更新する基底ベクトル更新部３０８１〜３０８ｎと、射影ばらつき具合に応じてカーネル関数を更新するカーネル関数更新部３０９１〜３０９ｎが設けられている。基底ベクトル更新部３０８１〜３０８ｎは、例えば内部にプレイメージに関するデータを記憶する記憶部を具備している。もちろん、プレイメージのデータを他の記憶部に記憶しても良い。カーネル関数更新部３０９１〜３０９ｎは、同様に、内部にカーネル関数に関するデータを記憶する記憶部を具備している。もちろん、カーネル関数のデータを他の記憶部に記憶しても良い。また各カテゴリで判定された判定結果は判定結果比較部３１０に入力され、入力パターンがどのカテゴリに属するかを判別して出力する。
【００３７】
この構成においても、図１および図２を用いて説明した処理と同様の処理が実行されることは容易に理解できるであろう。
【００３８】
以上のように、本発明は上記アルゴリズムを実行するコンピュータ上のプログラムとして提供する他、上述のような専用のハードウェア上に構成することもできる。
【００３９】
以上説明したように、本発明に具体的な構成によれば、複雑なパターン識別を行う際に、学習サンプルをすべて用いる必要がなく、少ない計算量で識別ができ、学習サンプル保存するためのメモリが必須とはならない。また新たに学習サンプルを追加した場合の追学習が容易である。さらに、カーネル関数を適応的に変更でき、識別精度の向上および学習の高速化の効果がある。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、パターン識別時の計算量を減少させ、あるいは、学習サンプルの増加や変更にも柔軟に適応することができる。
【図面の簡単な説明】
【図１】  本発明の実施例における識別処理のフローチャートである。
【図２】  本発明の実施例における学習のフローチャートである。
【図３】  本発明の実施例における学習サンプルの例である。
【図４】  本発明の実施例における識別結果の例である。
【図５】  本発明の実施例と従来例との計算時間の比較結果である。
【図６】  本発明の実施例の変形例を示すブロック図である。
【符号の説明】
３０１    パターン入力部
３０２    教師信号入力部
３０３１〜３０３ｎ    非線形空間学習部
３０４１〜３０４ｎ    非線形射影計算部
３０４１〜３０４ｎ    非線形射影計算部
３０５１〜３０５ｎ    部分空間射影計算部
３０６１〜３０６ｎ    判定値計算部
３０７１〜３０７ｎ    射影ばらつき計算部
３０８１〜３０８ｎ    基底ベクトル更新部
３０９１〜３０９ｎ    カーネル関数更新部
３１０    判定結果比較部
【図１】
0003979007.tif 000023
【図２】
0003979007.tif 000024
【図３】
0003979007.tif 000025
【図４】
0003979007.tif 000026
【図５】
0003979007.tif 000027
【図６】
0003979007.tif 000028