(57)【特許請求の範囲】
【請求項１】
入力パターンのカテゴリを認識するパターン認識装置であって、
前記入力パターンを用いて複数の特徴ベクトルを生成する特徴抽出部と、
認識対象として予め設定されたパターンのカテゴリと各カテゴリ毎に特徴ベクトル空間の部分空間とを対応付けて記憶したパターン認識用の辞書を記憶する辞書記憶部と、
前記特徴抽出部により生成された前記複数の特徴ベクトルから、特徴ベクトル空間の部分空間を入力部分空間として算出する入力部分空間算出部と、
前記入力部分空間算出部により算出された前記入力部分空間と前記辞書内の部分空間とのなす正準角から算出した類似度により前記入力パターンのカテゴリを特定する認識部と、
入力パターンの属するべきカテゴリが既知のとき、認識結果のカテゴリと前記辞書内のカテゴリとが一致したか否かを判定し、この判定結果に応じて類似度を増減させるように前記辞書記憶部の前記辞書の部分空間を更新する辞書更新部とを備え、
前記辞書更新部は、
前記辞書にある本来のカテゴリと認識対象の入力パターンを認識した結果のカテゴリとが一致したか否かに応じて類似度を増減させることで、前記入力部分空間のベクトルのうち、前記辞書の部分空間と正準角をなすベクトル、または辞書積分核と入力積分核との間の一般化固有値問題の解として得られる固有ベクトルに、前記辞書の部分空間を近づけまたは遠ざけるように前記辞書の部分空間を算出し、算出した部分空間で前記辞書記憶部の前記辞書を更新することを特徴とするパターン認識装置。
【請求項２】
前記辞書更新部は、
前記特徴抽出部により前記入力パターンから生成された複数の特徴ベクトルにより、入力部分空間のベクトルのうち前記辞書の部分空間と正準角をなすベクトル、または辞書積分核と入力積分核との間の一般化固有値問題の解として得られる固有ベクトルを近似することを特徴とする請求項１に記載のパターン認識装置。
【請求項３】
前記辞書更新部は、
前記特徴抽出部により前記入力パターンから生成された複数の特徴ベクトルを平均することにより、入力部分空間のベクトルのうち前記辞書の部分空間と正準角をなすベクトル、または辞書積分核と入力積分核との間の一般化固有値問題の解として得られる固有ベクトルを近似することを特徴とする請求項１または請求項２いずれかに記載のパターン認識装置。
【請求項４】
入力パターンを用いて複数の特徴ベクトルを生成し、
認識対象として予め設定されたパターンのカテゴリと各カテゴリ毎に特徴ベクトル空間の部分空間とを対応付けて記憶したパターン認識用の辞書を記憶し、
生成した前記複数の特徴ベクトルから、特徴ベクトル空間の部分空間を入力部分空間として算出し、
算出された前記入力部分空間と前記辞書内の部分空間とのなす正準角から算出した類似度により前記入力パターンのカテゴリを特定し、
入力パターンの属するべきカテゴリが既知のとき、認識結果のカテゴリと前記辞書内のカテゴリとが一致したか否かを判定し、この判定結果に応じて類似度を増減させるように前記辞書記憶部の前記辞書の部分空間を更新し、
前記辞書にある本来のカテゴリと認識対象の入力パターンを認識した結果のカテゴリとが一致したか否かに応じて類似度を増減させることで、前記入力部分空間のベクトルのうち、前記辞書の部分空間と正準角をなすベクトル、または辞書積分核と入力積分核との間の一般化固有値問題の解として得られる固有ベクトルに、前記辞書の部分空間を近づけまたは遠ざけるように前記辞書の部分空間を算出し、算出した部分空間で前記辞書記憶部の前記辞書を更新する
ことを特徴とする辞書更新方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、パターン認識装置、パターン認識方法に関する。
【背景技術】
【０００２】
パターン認識の技術の一つに相互部分空間法がある。この相互部分空間法は、近年、動画からの認識を念頭において顔認識の分野を中心に用いられている。
【０００３】
この相互部分空間法は、部分空間法の拡張として解釈できるが、例えば辞書などの作成においては、CLAFIC法など、認識対象カテゴリごとの教師なし学習としては通常の部分空間法と同一の方法を用いることができる。
【０００４】
一方、部分空間法においては学習部分空間法および平均化学習部分空間法などの競合学習の方法を用いることで、辞書の認識精度を向上することが考案されている。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】エルッキ・オヤ（小川英光、佐藤誠訳）「パターン認識と部分空間法」(1986)、産業図書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
相互部分空間法は、部分空間法の理論的な拡張であるにもかかわらず、競合学習により辞書の認識性能を向上する方法が考えられていない。
【０００７】
このため、部分空間法よりも認識時に多くの計算量を要するにもかかわらず、認識精度の改善は限定的なものにとどまる。
【０００８】
本発明が解決しようとする課題は、競合学習により、相互部分空間法によるパターン認識性能を向上することのできるパターン認識装置、パターン認識方法を提供することにある。
【課題を解決するための手段】
【０００９】
実施形態のパターン認識装置は、入力パターンのカテゴリを認識するパターン認識装置であって、特徴抽出部、辞書記憶部、入力部分空間算出部、認識部、辞書更新部を備える。前記特徴抽出部は前記複数の入力パターンから複数の特徴ベクトルを生成する。前記辞書記憶部には認識対象のカテゴリと各カテゴリ毎に特徴ベクトル空間の部分空間とを対応付けて記憶したパターン認識用の辞書が記憶されている。前記入力部分空間算出部は前記特徴抽出部により生成された前記複数の特徴ベクトルから、特徴ベクトル空間の部分空間を入力部分空間として算出する。前記認識部は前記部分空間部により算出された前記入力部分空間と前記辞書内の部分空間とのなす正準角から算出した類似度により前記入力パターンのカテゴリを特定する。前記辞書更新部は入力パターンの属するべきカテゴリが既知のとき、認識結果のカテゴリと前記辞書内のカテゴリとが一致したか否かを判定し、この判定結果に応じて類似度を増減させるように前記辞書記憶部の前記辞書の部分空間を更新する。前記辞書更新部は、前記辞書にある本来のカテゴリと認識対象の入力パターンを認識した結果のカテゴリとが一致したか否かに応じて類似度を増減させることで、前記入力部分空間のベクトルのうち、前記辞書の部分空間と正準角をなすベクトル、または辞書積分核と入力積分核との間の一般化固有値問題の解として得られる固有ベクトルに、前記辞書の部分空間を近づけまたは遠ざけるように前記辞書の部分空間を算出し、算出した部分空間で前記辞書記憶部の前記辞書を更新する。
【図面の簡単な説明】
【００１０】
【図１】実施形態のパターン認識装置の構成を示す図である。
【図２】認識辞書の一例を示す図である。
【図３】実施形態のパターン認識装置の動作を示すフローチャートである。
【図４】辞書更新動作を説明するための図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して、実施形態を詳細に説明する。
図１は実施形態のパターン認識装置の構成を示す図である。
図１に示すように、この実施形態のパターン認識装置は、キーボード等の入力装置２と、モニタ等の表示装置３と、これらの機器と通信ケーブルまたはネットワークを介して接続されたパターン認識装置１とを有している。
【００１２】
パターン認識装置１は、例えばＣＰＵ、メモリ、ハードディスク装置、通信インターフェースなどのハードウェアと、ハードディスク装置にインストールされたプログラム（オペレーティングシステム（以下「ＯＳ」と称す）、パターン認識ソフトウェアなど）を有するコンピュータにより実現される。メモリは、認識辞書記憶部１４として機能する。
【００１３】
ソフトウェア（プログラム）は、信号入力部１１、特徴抽出部１２、入力部分空間算出部１３、認識辞書記憶部１４、辞書修正部１５、認識部１６、修正入力部１７などを有している。
【００１４】
信号入力部１１は、認識対象となる信号を受け付ける。この信号は顔や文字の画像や音声などのディジタル情報、または必要に応じてこれらに二値化などの前処理を施されたデータであり、信号入力部１１から特徴抽出部１２へ渡される。
【００１５】
特徴抽出部１２は、信号入力部１１から渡された信号を一定の次元の数ベクトルに変換する。特徴抽出部１２は、まず信号に、長さや量子化レベルを正規化するなどの前処理を施し、その前処理後の値や、前処理後の信号にさらにガウシアンフィルタなどのフィルタ処理やフーリエ変換などの変換処理を施した後の値を成分とする複数の特徴ベクトルを出力する。すなわち特徴抽出部１２は、入力パターンを用いて所定次元の複数の特徴ベクトルを生成する。
【００１６】
このとき、複数の特徴ベクトルを得る方法として、入力信号複数に対してそれぞれ１つの特徴ベクトルを出力する方法、および、一つの入力信号に相異なる変動を加えることで複数の信号を人工的に生成し、生成された信号に対してそれぞれ１つの特徴ベクトルを出力する方法などがある。
【００１７】
入力信号に加える変動としては、例えばランダムに生成したノイズなどが考えられる。また特徴ベクトルはすべてノルムが１となるように正規化してもよい。これらの特徴ベクトルは、入力部分空間算出部１３へ出力される。
【００１８】
入力部分空間算出部１３は、特徴抽出部１２から入力された複数の特徴ベクトルに対して、入力積分核行列の互いに正規直交する固有ベクトルを、付随する固有値の大きい順に算出し、入力部分空間の正規直交基底を認識部１６に渡す。すなわち入力部分空間算出部１３は、特徴抽出部１２により生成された複数の特徴ベクトルから、特徴ベクトル空間の部分空間を入力部分空間として算出する。
【００１９】
認識辞書記憶部１４には、パターン認識用の辞書（以下「認識辞書２０」と称す）が記憶されている。認識辞書２０には、辞書部分空間が格納されている。入力パターンから得られる部分空間と混同しないよう認識辞書２０に格納されている部分空間を辞書部分空間と称す。
図２に示すように、認識辞書２０には、認識対象のカテゴリ毎に分けて、正規直交基底v1(l) ,…,vr(l) 形で辞書部分空間が格納されている。例えばカテゴリ１には正規直交基底v1(1) ,…,vr(1)が記憶されている。カテゴリ２には正規直交基底v1(2) ,…,vr(2)が記憶されている。
カテゴリｃには正規直交基底v1(c) ,…,vr(c)が記憶されている。
すなわち、認識辞書記憶部１４は、認識対象として予め設定されたパターンのカテゴリと各カテゴリ毎に特徴ベクトル空間の部分空間とを対応付けて記憶したパターン認識用の辞書を記憶している。
【００２０】
認識部１６は、入力部分空間の正規直交基底を、各認識対象カテゴリに対応する認識辞書２０の辞書部分空間と照合する。認識部１６は、入力部分空間と辞書部分空間との類似度を計算する。すべての認識対象カテゴリに対して、類似度が最大のカテゴリを求め、これを認識結果とし、修正入力部１７に渡す。すなわち認識部は入力部分空間算出部１３により算出された入力部分空間と認識辞書２０内の辞書部分空間とのなす正準角から入力パターンのカテゴリを特定する。
【００２１】
より具体的には、認識部１６は、入力部分空間算出部１３により算出された入力部分空間と認識辞書２０内の辞書部分空間とのなす正準角から、認識辞書２０にある本来のカテゴリと認識対象の入力パターンを認識した結果のカテゴリとの類似度を求め、求めた類似度に基づいて、入力パターンのカテゴリを特定する。例えば類似度の最も高いカテゴリを入力パターンのカテゴリとする。
【００２２】
修正入力部１７は、入力装置２などからの外部からのキー入力を受け付ける。この他、外部からの入力を受け付ける方法としては、グラフィックユーザインターフェース（以下「ＧＵＩ」と称す）画面などを表示装置３に表示し、認識結果および入力信号を表示装置３に表示するなどし、ユーザーが認識結果の正誤を入力する。このとき、正誤に加え正しい認識結果を入力するようにしてもよい。
【００２３】
なお修正入力部１７を特に設けずに、学習データまたはそれと同一のデータを認識対象とする場合など、外部からの入力を待たずに認識結果または正誤が判断できる場合のみを辞書修正部１５の処理対象としてもよい。この場合、実施形態から入力装置２および表示装置３を省いてもよい。
【００２４】
辞書修正部１５は、認識結果の正誤判定をした結果により、その正誤判定結果と入力部分空間を用いて認識辞書記憶部１４の認識辞書２０を更新する。すなわち、辞書修正部１５は、入力パターンの属するべきカテゴリが既知のとき、認識結果のカテゴリと辞書内のカテゴリとが一致したか否かを判定し、この判定結果に応じて類似度を増減させるように認識辞書記憶部１４の認識辞書２０の部分空間を更新する辞書更新部として機能する。
【００２５】
辞書修正部１５は、入力パターンが属するカテゴリと認識対象の入力パターンを認識部１６が認識した結果のカテゴリとが一致したか否かに応じて入力部分空間のベクトルのうち、辞書部分空間と正準角をなすベクトルに、辞書部分空間を近づけまたは遠ざけるように辞書部分空間を算出し、算出した部分空間で認識辞書記憶部１４の認識辞書２０を更新することで、入力パターンと辞書部分空間との間の類似度を増減させる。
【００２６】
認識結果の正誤判定は予め設定しておいた判定ルールまたは閾値に従って行ってもよく、認識結果を表示装置３に表示して、ユーザーから正誤の指示をキー入力させるようにしてもよい。認識辞書２０の更新には、例えば一般化確率勾配法などを用いる。
【００２７】
この実施形態では、認識辞書記憶部１４としてメモリを一例にあげたが、具体的には、例えば画像や変数等のデータを記憶可能なランダムアクセスメモリ（ＲＡＭ）やハードディスクドライブ装置、フラッシュメモリ、ソリッドステートドライブ（ＳＳＤ）等である。この他、特に断りがない限りこの実施形態では認識辞書記憶部１４として表記するが、上記したものに限らず認識辞書記憶部１４としては他のいかなる記憶媒体を用いてもよい。
【００２８】
続いて、図３のフローチャートを参照してこのパターン認識装置のパターン認識処理動作を説明する。なおここで説明する処理の流れは一例であり、処理の一部を省略してもよい。
【００２９】
最初に、信号入力部１１に認識対象となる信号が入力されると（図２のステップＳ１０１）、その信号は特徴抽出部１２に渡され、一定の次元の数ベクトルに変換される。
【００３０】
この場合、特徴抽出部１２は、信号に、長さや量子化レベルを正規化するなどの前処理を施し、その前処理後の値や、前処理後の信号にさらにガウシアンフィルタなどのフィルタ処理やフーリエ変換などの変換処理を施した後の値を成分とする複数の特徴ベクトルを生成し（ステップＳ１０２）、入力部分空間算出部１３へ出力する。
【００３１】
入力部分空間算出部１３は、特徴抽出部１２から入力された複数の特徴ベクトルを、x1…,xn としたとき、入力積分核行列
【数１】
0005503047.tif 000002
の互いに正規直交する固有ベクトルを、付随する固有値の大きい順に算出して正規直交基底u1,…,uqとする。すなわち入力部分空間算出部１３は、複数の特徴ベクトルから、特徴ベクトル空間の部分空間を入力部分空間として算出する（ステップＳ１０３）。
【００３２】
但し、qは入力部分空間の次元を表すパラメータであり、特徴ベクトルの次元dおよび特徴ベクトルの入力数nに対して
1≦ q ＜ min｛d,n｝                                   式(2)
を満たすように定める。
【００３３】
このように算出された入力部分空間の正規直交基底u1,…,uq は、認識部１６に渡される。
認識部１６は、入力部分空間算出部１３により算出された入力部分空間と辞書部分空間とのなす正準角から入力パターンのカテゴリを特定、つまりパターン認識する（ステップＳ１０４）。
この場合、認識部１６は、まず、入力された入力部分空間と認識辞書２０の認識対象の各カテゴリに対応する辞書部分空間とを照合する。
【００３４】
辞書部分空間の初期値は、すべての認識対象カテゴリl = 1,…,c に対して、予め用意した学習データから抽出した特徴ベクトルのうち認識対象カテゴリlに属することがわかっているものt1(l) ,…,tn1(l)を用いて辞書積分核行列
【数２】
0005503047.tif 000003
を計算し、辞書積分核行列Ｋ(l)の互いに正規直交する固有ベクトルを、付随する固有値の大きい順に算出して正規直交基底v1(l) ,…,vr(l) とし、このv1(l) ,…,vr(l)を基底とする部分空間として定められている。
【００３５】
但し、rは辞書部分空間の次元を表すパラメータであり、特徴ベクトルの次元dに対して
1≦r ＜ d                                              式(4)
を満たすようにパラメータrを定めるものとする。但し、このとき正規直交基底v1(l) ,…,vr(l) (l = 1,…,c) を直ちに認識辞書２０の初期値とせず、これを後述の辞書修正部１５で１回または複数回処理したものを認識辞書２０の初期値としてもよい。
【００３６】
認識部１６は、入力部分空間と辞書部分空間の類似度s(l)(Ｕq)を以下の手順で計算する。  
いま、ｌ番目の認識対象カテゴリの正規直交基底をv1(l) ,…,vr(l)とし、
【数３】
0005503047.tif 000004
とする。
【００３７】
ここで、入力部分空間と辞書部分空間の正準角を定める行列Ｓを
【数４】
0005503047.tif 000005
と定義し、行列Ｓの固有値を大きい順に固有値λ1,…,λr、それに付随する固有ベクトルをそれぞれａ1,…, ａr（i = 1,…,r）とすると、これと入力部分空間と辞書部分空間のなす第i正準角
【数５】
0005503047.tif 000006
の間には、
【数６】
0005503047.tif 000007
の関係がある。
【００３８】
また入力部分空間のベクトルのうち上記辞書部分空間と第i正準角をなすベクトルyi(l)は、
yi(l) = Ｕqａi                                          式（7）
で与えられる。このとき、
1 ≦ p ＜ r                                          式（8）
を満たす整数pを用いて、行列Ｕqと認識対象カテゴリlとの間の類似度を、
【数７】
0005503047.tif 000008
で定める。
【００３９】
そして、すべての認識対象カテゴリl = 1,…,cに対して、類似度s(l)(Ｕq)を最大とするlを求め、これを認識結果とし、この認識結果を修正入力部１７に渡す。
【００４０】
修正入力部１７は、ＧＵＩ画面などを表示装置３に表示し、認識結果および入力信号を表示装置３に表示する。ユーザーは、表示されたＧＵＩ画面を見ながら認識結果の正誤を入力装置２から入力する（ステップＳ１０５）。このとき、正誤に加え正しい認識結果を入力するようにしてもよい。
【００４１】
辞書修正部１５は、認識結果の正誤判定をした結果により、認識辞書２０の学習の要否を判定し（ステップＳ１０６）、学習が必要であれば（ステップＳ１０６のＹｅｓ）、その正誤判定結果の情報と入力部分空間を用いて認識辞書記憶部１４の認識辞書２０を更新する（ステップＳ１０７）。
【００４２】
表示装置３に認識結果が表示されると、ユーザーは表示内容が確認して、認識結果が正しいか否かを判断し、正誤の指示をキー入力する。このとき、学習を実施するかの判定は予め設定しておいた判定ルールまたは閾値などに従って自動的に行ってもよい。
【００４３】
認識辞書２０の更新には、例えば一般化確率勾配法などを用いる。一般化確率勾配法にもとづく辞書更新幅の具体的な計算には、式（６）で定義される正準角の正弦の平方について、辞書部分空間との間には、式（７）で定義されたベクトルyi(l)を|| yi(l) || = 1となるように定めるとき、
【数８】
0005503047.tif 000009
となる事実を用いる。但し、
【数９】
0005503047.tif 000010
はVr(l)と同じ行数・列数の行列であり、その（α，β）成分は固有値λiを行列Vr(l)の（α,β）成分で偏微分した値として定める。
【００４４】
以下、辞書修正部１５における辞書更新動作を、いくつか（第１実施形態〜第５実施形態）例示して説明する。
【００４５】
（第１実施形態）
いま、入力部分空間が本来のカテゴリmに属するとき、すべての認識対象カテゴリl = 1,…,cに対して、式（７）で定義されたベクトルyi(l)を用いて、式（１０）の勾配法により、辞書部分空間を
【数１０】
0005503047.tif 000011
として更新する。
【００４６】
そして、更新されたＶr(l)の各列をGram-Schmidtの方法などを用いて正規直交化する。
この操作はl = mの場合は式（９）で定義された類似度を増加させ、l = mの場合は式（９）で定義された類似度を増加させ、l , mの場合は類似度を減少させるため、ベクトルyi(l),…, yp(l)に辞書部分空間を近づけまたは遠ざける操作となっている。
【００４７】
但し、εは辞書の更新幅を示す十分小さい正の定数、l(d)は学習の重みを表す関数である。またベクトルyi(l),…, yp(l)は上記式（７）で与えられる入力部分空間の元であり、記号←は右辺の値で左辺の値を更新することを示す。
【００４８】
重みを表す関数の具体例としては、
定数関数l(d) ≡ 1、
【数１１】
0005503047.tif 000012
【数１２】
0005503047.tif 000013
【数１３】
0005503047.tif 000014
などがある（ρは正の定数）。また、d は類似度の式（９）により、
【数１４】
0005503047.tif 000015
などとして定める。
【００４９】
このようにこの第１実施形態によれば、入力部分空間のベクトルのうち辞書部分空間と第i正準角をなすベクトルを式（７）で定義し、式（１０）の勾配法を用いて認識辞書２０の辞書部分空間を更新することで、入力パターンの入力部分空間と認識対象カテゴリの辞書部分空間との類似度が近いものはより近く、遠いものはより遠くなるように認識辞書２０の当該カテゴリの辞書部分空間が更新される。
【００５０】
例えば図４に示すように、Ｘ軸，Ｙ軸，Ｚ軸からなる３次元の特徴ベクトル空間を想定した場合、入力部分空間（１次元）４１と、辞書部分空間と正準角を作る入力部分空間のベクトル４０と、２次元平面で構成される正解カテゴリの辞書部分空間４２とを特徴ベクトル空間上に示したときに、本実施形態の辞書更新動作により、更新された辞書部分空間４３は、入力部分空間（１次元）４１に、より近づけられたものなる。
【００５１】
すなわち、競合学習を行うことにより、相互部分空間法によるパターン認識に多くの計算量を要するものの、計算量を多く要しただけの価値がある認識精度を得ることができる。この結果、パターン認識性能を向上することができる。
【００５２】
（第２実施形態）
入力部分空間がカテゴリm に属するとき、すべての認識対象カテゴリl = 1…,c に対して、
【数１５】
0005503047.tif 000016
とすることにより、第１実施形態の例の更新幅を辞書部分空間の直交補空間に制約したものを、辞書部分空間の基底をなすベクトルv1(l) ,…, vr(l) にそれぞれ加える。
【００５３】
このようにこの第２実施形態によれば、辞書修正部１５が、辞書部分空間の基底をなすベクトルにそれぞれ辞書部分空間の直交補空間に制約された更新幅を加えて、認識辞書記憶部１４の認識辞書２０の辞書部分空間を更新することで、Ｖr(l) の各列の正規直交性を１次のオーダーで保つことができるので、認識辞書２０の正規直交化は行わなくてもよい。
【００５４】
（第３実施形態）
いま、入力部分空間がカテゴリm に属するとき、すべての認識対象カテゴリl = 1,…, c に対して
【数１６】
0005503047.tif 000017
とすることにより、辞書部分空間の基底をなすベクトルv1(l) ,…,vr(l) を、回転行列exp (±εl (d) ξ) を乗じることで更新する。
【００５５】
但しξは辞書部分空間を式（７）のyi(l),…, yp(l) に近づける方向、または遠ざける方向への無限小回転であり、
【数１７】
0005503047.tif 000018
で与えられる行列である。
【００５６】
また、exp は指数写像と呼ばれ、
【数１８】
0005503047.tif 000019
で与えられる行列の関数である。
【００５７】
計算機上では、式（１６）の無限級数を途中まで計算して近似する他、既知の種々の方法を用いて計算することもできる。
【００５８】
このようにこの第３実施形態によれば、辞書修正部１５が、更新前の辞書部分空間の基底をなすベクトルの組に回転行列を乗じて、更新後の辞書部分空間の基底をなすベクトルの組を決定し、辞書部分空間を、入力部分空間のベクトルのうち辞書部分空間と正準角をなすベクトルまたはその近似に近づける方向または遠ざける方向への無限小回転の指数写像またはその近似により回転行列を決定することで、Ｖr(l) ,Ｕq(m) の各列の正規直交性を、数値計算による誤差を除いて厳密に保つことができるので、認識辞書２０の正規直交化が不要になる。なおこの第３実施形態の認識辞書２０の更新方法は第２実施形態の更新方法を１次近似として含む。
【００５９】
（第４実施形態）
いま、入力部分空間がカテゴリm に属するとき、すべての認識対象カテゴリl = 1,…, cに対して射影行列
【数１９】
0005503047.tif 000020
を計算し、これを
【数２０】
0005503047.tif 000021
と更新する。そして、更新後の射影行列Ｐr(l) それぞれについて固有ベクトルを、固有値の大きい順にv1(l) ,…,vr(l) とし、改めてＶr(l) = (v1 … vq)とする。
【００６０】
このようにこの第４実施形態によれば、辞書修正部１５が、更新後の射影行列の固有ベクトルにより、更新後の辞書部分空間の基底をなすベクトルの組を与え、辞書部分空間の基底をなすベクトルの組から計算される射影行列に更新差分を加算または減算して更新後の射影行列を更新し、入力部分空間のベクトルのうち辞書部分空間と正準角をなすベクトルに自身の転置を掛けた行列を定数倍して更新差分を得る。つまり、すべての認識対象カテゴリに対して射影行列を計算し、計算した射影行列を式（１７）により更新することで、上記同様にパターン認識性能を向上することができる。
【００６１】
（第５実施形態）
この第５実施形態では、辞書積分核を保持する辞書積分核保持部を備える。この場合、辞書修正部１５は、更新後の辞書積分核の固有ベクトルにより、更新後の辞書部分空間の基底をなすベクトルの組を与え、更新前の辞書積分核に更新差分を加えまたは減ずることによって辞書積分核保持部の更新後の辞書積分核を更新し、辞書積分核と入力積分核との間の一般化固有値問題の解として得られる固有ベクトルのうちの１つまたは複数の、それぞれに自身の転置を掛けてさらに定数倍したものを加えて更新差分を得る。
【００６２】
この第５実施形態の場合、入力部分空間が、カテゴリm に属するとき、すべての認識対象カテゴリl = 1,…, c に対して、まず式（３）の辞書積分核行列Ｋ(l) および式（１）の入力積分核行列Ｃの一般化固有値問題
Ｋz(l) = μＣz                                                  式(18)
を解き、固有ベクトルを固有値の大きい順にz1(l),…, zp(l)（p は式（８）を満たす整数）とする。
【００６３】
次に、辞書積分核行列Ｋr(l)を
【数２１】
0005503047.tif 000022
と更新する。そして、更新後の辞書積分核行列Ｋr(l)それぞれについて長さ1 に正規化した固有ベクトルを、固有値の大きい順にv1(l) ,…,vr(l)とし、改めてＶr(l) = (v1 … vq)とする。
但し、このとき近似としてz1(l),…, zp(l) をz1(l) = y1(l), ,…, zp(l) = yp(l),としてもよい。
【００６４】
このようにこの第５実施形態によれば、すべての認識対象カテゴリに対して、式（３）の辞書積分核行列Ｋ(l) および式（１）の入力積分核行列Ｃの一般化固有値問題を解き、固有ベクトルを固有値の大きい順にz1(l),…, zp(l)とすることで、上記同様にパターン認識性能を向上することができる。
【００６５】
なお、上記第１乃至第５の実施形態の辞書更新方法において、p = 1 のとき、辞書部分空間と正準角をなすベクトル入力部分空間の元y1(l)を定める方法（近似方法）として以下に示す２つの方法がある。
【００６６】
（第１近似方法）
第１近似方法は、特徴抽出部１２により入力パターンから生成された複数の特徴ベクトルを平均することにより、入力部分空間のベクトルのうち辞書部分空間と正準角をなすベクトル、または辞書積分核と入力積分核との間の一般化固有値問題の解として得られる固有ベクトルを近似する方法である。
【００６７】
具体的には、式（７）によって厳密に求める他、近似値として入力特徴ベクトルx1,…, xn の平均
【数２２】
0005503047.tif 000023
を用いる。
【００６８】
（第２近似方法）
第２近似方法は、特徴抽出部１２により入力パターンから生成された複数の特徴ベクトルにより、入力部分空間のベクトルのうち辞書部分空間と正準角をなすベクトル、または辞書積分核と入力積分核との間の一般化固有値問題の解として得られる固有ベクトルを近似する方法である。具体的には、入力特徴ベクトルx1,…, xn の値をそのままyi(l),…, yp(l) として用いる。
【００６９】
また、式（１１）をベクトルの標準的な内積<・,・>を用いて、
【数２３】
0005503047.tif 000024
と表すと既知の学習部分空間法と類似した形になることを利用し、辞書の更新を行う条件および更新幅ε、重み関数l(d) の定め方については、既知の学習部分空間法および学習ベクトル量子化をはじめ、確率的降下法の系統に属する分野で提唱されている方式を組み合わせてもよい。
【００７０】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００７１】
また上記実施形態に示した各構成要素を、コンピュータのハードディスク装置などのストレージにインストールしたプログラムで実現してもよく、また上記プログラムを、コンピュータ読取可能な電子媒体：electronic mediaに記憶しておき、プログラムを電子媒体からコンピュータに読み取らせることで本発明の機能をコンピュータが実現するようにしてもよい。電子媒体としては、例えばＣＤ−ＲＯＭ等の記録媒体やフラッシュメモリ、リムーバブルメディア：Removable media等が含まれる。さらに、ネットワークを介して接続した異なるコンピュータに構成要素を分散して記憶し、各構成要素を機能させたコンピュータ間で通信することで実現してもよい。
【符号の説明】
【００７２】
１…パターン認識装置、２…入力装置、３…表示装置、１１…信号入力部、１２…特徴抽出部、１３…入力部分空間算出部、１３…入力部分空間算出部、１４…認識辞書記憶部、１５…辞書修正部、１６…認識部、１７…修正入力部。
【図１】
0005503047.tif 000025
【図２】
0005503047.tif 000026
【図３】
0005503047.tif 000027
【図４】
0005503047.tif 000028