(57)【特許請求の範囲】
【請求項１】
入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、
１個の部分領域に複数のフィルタ・マスクが記憶されたフィルタ・マスク記憶部と、
前記部分領域特徴量計算部により１個の部分領域に複数設定されたフィルタ・マスク毎に求められた特徴値複数個を非線形関数に代入することによって１個の新たな特徴値を求め、各部分領域毎に求められたこの新たな特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、
パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部と、
前記特徴ベクトル生成部により生成された特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、
前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルと、前記非線形関数に基づく非線形関数の変化量とからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、
前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部と
を具備することを特徴とするパターン認識パラメータ学習装置。
【請求項２】
入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、
フィルタ・マスクが記憶されたフィルタ・マスク記憶部と、
前記部分領域特徴量計算部によりフィルタ・マスク毎に求められた特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、
パターン識別の基準となる辞書ベクトルとして、１つの類似度または相違度を求めるために、Ｎ次元の特徴ベクトルに対して、Ｎ次元の辞書ベクトルが２個以上のｒ個記憶され、Ｐ番目の辞書ベクトルと特徴ベクトルから求まる前記Ｐ毎の値ｒ個に基づいて類似度または相違度を計算するように構成された辞書ベクトル記憶部と、
前記特徴ベクトル生成部により生成された特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、
前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記Ｐ番目の辞書ベクトルと特徴ベクトルから求まる前記Ｐ毎の値ｒ個と、ｒ個の辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、
前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部と
を具備することを特徴とするパターン認識パラメータ学習装置。
【請求項３】
入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、
フィルタ・マスクが記憶されたフィルタ・マスク記憶部と、
前記部分領域特徴量計算部によりフィルタ・マスク毎に求められた特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、
前記特徴ベクトル生成部により生成された前記パターン画像の特徴ベクトルを、予め設定された特徴変換行列により変換済特徴ベクトルに変換する特徴ベクトル変換部と、
パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部と、
前記特徴ベクトル変換部により生成された変換済特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、
前記特徴ベクトル変換部により変換された変換済特徴ベクトルと前記特徴ベクトルと前記辞書ベクトルから特徴変換行列更新量を求め、求めた特徴変換行列更新量よって特徴変換行列を繰り返し更新する特徴変換行列学習部と、
前記特徴ベクトル変換部により変換された変換済特徴ベクトルと前記特徴ベクトルと前記特徴変換行列と前記辞書ベクトルとから該フィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量よって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、
前記辞書ベクトルと前記パターン画像に対応する前記変換済特徴ベクトルとから該辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部と
を具備することを特徴とするパターン認識パラメータ学習装置。
【請求項４】
入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、
フィルタ・マスクが記憶されたフィルタ・マスク記憶部と、
前記部分領域特徴量計算部によりフィルタ・マスク毎に求められた特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、
パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部と、
前記特徴ベクトル生成部により生成された特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、
前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果と、前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルとを用いてフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、
前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部と、
前記フィルタ・マスク学習部により求められた前記フィルタ・マスク更新量に基づいて不要と判断される画素を判定し、この判定の結果に基づいてフィルタ・マスクのエリア内の不要な部分を決定し、その部分を取り除く処理および隣接するエリアを付加する処理のうちの少なくとも一つの処理を行うことによって、マスクの位置とサイズのうちの少なくとも一方を変更するフィルタ・マスク更新処理を繰り返し行なうフィルタ・マスク変更部と
を具備することを特徴とするパターン認識パラメータ学習装置。
【請求項５】
前記請求項１乃至４いずれか１記載のパターン認識パラメータ学習装置によって生成されたフィルタ・マスクと辞書ベクトルとを、特徴抽出およびパターン照合に用いることを特徴とするパターン認識装置。
【請求項６】
入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値を積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算するステップと、
計算された前記特徴値複数個を非線形関数に代入することによって１個の新たな特徴値を求め、各部分領域毎に求められたこの新たな特徴値複数個から前記パターン画像の特徴ベクトルを生成するステップと、
生成された前記特徴ベクトルと、パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部の辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうステップと、
前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルと、前記非線形関数に基づく非線形関数の変化量とからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によってフィルタ・マスクが記憶されたフィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するステップと、
前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新するステップと
を具備することを特徴とするパターン認識パラメータ学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばパターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法に関する。
【背景技術】
【０００２】
従来、文字が記載された帳票をスキャナなどによりイメージ化した文書画像から文字パターンを認識するパターン認識装置があるが、通常、このパターン認識装置における文字の特徴抽出パラメータは人手によって設計される。
【０００３】
しかし、例えば文字の認識で類似文字のグループ毎に特徴を抽出するときやパラメータを変える必要があるときには、特徴抽出の手法の数が膨大にあることから、現実として人手で特徴抽出パラメータを作成することは困難である。
【０００４】
このため、例えば音声認識などの分野では、音声の特徴抽出パラメータを学習する機能を音声認識装置に設け、学習機能により特徴抽出パラメータを自動的に決定する手法がとられている（例えば非特許文献１乃至４参照）。
【０００５】
非特許文献１および非特許文献２で公開されている技術は音声信号を入力とし、特徴抽出するときのフィルタバンク、リフタのパラメータを確率降下法によって求めるものであるが、これらの技術は、音声に特化したものであり、文字をパターン認識するための特徴抽出には適用することはできなかった。
【０００６】
非特許文献３および非特許文献４の技術は、入力ベクトルに線形変換を施して特徴ベクトルを得るものであるが、この特徴変換行列の更新則を表す計算式は、入力画像から得られた特徴ベクトルをさらに線形変換するときの線形変換行列に対する学習に関するものである。
【０００７】
しかし、このような線形変換行列に対する学習には、部分領域という概念がなく、単なるベクトルからベクトルへの線形変換一般に対する一般的な学習規則を提供しているにすぎない。要するに、従来の技術では、特徴抽出そのものの学習はできなかった。
【０００８】
また、このような状況に対する解決方法として、入力画像の認識にとって重要な部分に対して着目を強めた特徴抽出を行なうことで、類似文字の認識精度を向上する技術が提案されているが、この技術は、仕組みが単純であるため、文字認識精度が実用面で十分ではなかった（例えば特許文献１参照）。
【０００９】
この他、類似文字の認識方式として以下の技術が提案されている（例えば特許文献２乃至４を参照）。これら文献は、類似している文字の相違部分に着目し、その部分について認識を行なう技術、またはチェックを行なう技術を開示しているが、これらの技術は、いずれも認識系を手作業で構築する必要があり高精度な認識を自動的に実現することはできなかった。
【非特許文献１】Feature Extraction Based on Minimum Classification Error / Generalized  Probabilistic Descent Method”，A。 Biem et。al。，Proc。 IEEE Int。 Conf。 Acoust。，Speech，Signal Processing，Vol。2，pp275-278，(1993)
【非特許文献２】“Filter Bank Design Based on Discriminative Feature Extraction”，A。 Biem et。al。，Proc。 IEEE Int。 Conf。 Acoust。，Speech，Signal Processing，Vol。1，pp485-488，(1994)
【非特許文献３】“Minimum Classification Error Training Algorithm for Feature Extractor and  Pattern Classifier in Speech Recognition”，K。K。 paliwal et。al，EUROSPEECH’95，vol。1，pp541-544，(1995)
【非特許文献４】「最小分類誤り学習による特徴選択型文字認識」河村他、電子情報通信学会論文誌D-II，Vol。J81-D-II，No。12，pp。2749-2756，(1998)
【特許文献１】特開２００７−１７９４１３号公報
【特許文献２】特開２００４−１８５２６４号公報
【特許文献３】特開２００３−１６２６８８号公報
【特許文献４】特開平１１−２５９５９９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明はこのような課題を解決するためになされたもので、文字画像が含まれるパターン画像から文字を認識する上で、類似する文字を高精度に識別して認識することのできるパターン認識パラメータ学習装置、パターン認識装置、パターン認識パラメータ学習方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するために本発明のパターン認識パラメータ学習装置は、入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値とを積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算する部分領域特徴量計算部と、１個の部分領域に複数のフィルタ・マスクが記憶されたフィルタ・マスク記憶部と、前記部分領域特徴量計算部により１個の部分領域に複数設定されたフィルタ・マスク毎に求められた特徴値複数個を非線形関数に代入することによって１個の新たな特徴値を求め、各部分領域毎に求められたこの新たな特徴値複数個から前記パターン画像の特徴ベクトルを生成する特徴ベクトル生成部と、パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部と、前記特徴ベクトル生成部により生成された特徴ベクトルと前記辞書ベクトル記憶部に記憶された辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうパターン識別部と、前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルと、前記非線形関数に基づく非線形関数の変化量とからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によって前記フィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するフィルタ・マスク学習部と、前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新する辞書ベクトル学習部とを具備することを特徴とする。
【００１２】
本発明のパターン認識装置は、前記請求項１乃至４いずれか１記載のパターン認識パラメータ学習装置によって生成されたフィルタ・マスクと辞書ベクトルとを、特徴抽出およびパターン照合に用いることを特徴とする。
【００１３】
本発明のパターン認識パラメータ学習方法は、入力されたパターン画像を分割してできる複数の部分領域内の画素値または画素に対応した値と、画素に対応したフィルタ・マスクの値を積和して前記各部分領域に対応した特徴値を前記各フィルタ・マスク毎に複数個計算するステップと、計算された特徴値複数個を非線形関数に代入することによって新たな１個の特徴値を求め、各部分領域毎に求められたこの新たな特徴値複数個から前記パターン画像の特徴ベクトルを生成するステップと、生成された前記特徴ベクトルと、パターン識別の基準となる辞書ベクトルが記憶された辞書ベクトル記憶部の辞書ベクトルとの類似度または相違度を計算することでパターンの識別を行なうステップと、前記部分領域毎の画素に対応したフィルタ・マスクの値について、前記パターン画像の識別結果に基づいて前記辞書ベクトルと、前記パターン画像に対応する前記特徴ベクトルと、前記非線形関数に基づく非線形関数の変化量とからフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によってフィルタ・マスクが記憶されたフィルタ・マスク記憶部の該当フィルタ・マスクを繰り返し更新するステップと、前記辞書ベクトルと前記パターン画像に対応する前記特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって前記辞書ベクトル記憶部の該当辞書ベクトルを繰り返し更新するステップとを具備することを特徴とする。
【発明の効果】
【００１４】
本発明によれば、文字画像が含まれるパターン画像から文字を認識する上で、類似する文字を高精度に識別して認識することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について図面を参照しながら説明する。
（第１実施形態）
図１は本発明の第１実施形態に係るパターン認識装置の構成を示すブロック図である。図１に示すように、第１実施形態のパターン認識装置は、辞書学習部２３、フィルタ・マスク学習部２４、部分領域特徴量計算部２６、パターン識別部２８および特徴ベクトル生成部２９を有している。
【００１６】
辞書学習部２３は、辞書ベクトル毎に、辞書ベクトルと学習パターンに対応する特徴ベクトルに基づいて決まる辞書ベクトル更新量によって辞書ベクトル更新を辞書ベクトルそれぞれに対して繰り返し行なう。
【００１７】
すなわち、辞書学習部２３は、繰り返し学習することにより辞書ベクトル記憶部２１に記憶されている辞書ベクトルを更新する。
【００１８】
フィルタ・マスク学習部２４は、部分領域毎の画素に対応したフィルタ・マスクの値について、学習対象のパターン画像１１（学習パターン画像１１）の識別結果と、辞書ベクトルと、パターン画像に対応する特徴ベクトルとを用いてフィルタ・マスク更新量を求め、求めたフィルタ・マスク更新量によってフィルタ・マスク記憶部２５の該当フィルタ・マスクを繰り返し更新する。
【００１９】
または、フィルタ・マスク学習部２４は、部分領域毎の画素に対応したフィルタ・マスク値について、学習対象のパターン画像１１（学習パターン画像１１）の認識結果に基づいて、辞書ベクトルと、学習パターンと、それに対応する特徴ベクトルと、第１の非線形変換部３７の非線形関数に基づく非線形関数変化量とに基づいて決まるフィルタ・マスク更新量によってフィルタ・マスクの更新を繰り返し行なう。
【００２０】
すなわち、フィルタ・マスク学習部２４は、繰り返し学習することによりフィルタ・マスク記憶部２５に記憶されているフィルタ・マスクを更新する。
【００２１】
パターン識別部２８は、辞書ベクトルと特徴ベクトル生成部２９により生成された特徴ベクトルとを用いて類似度計算または相違度計算を行なうことでパターンの識別を行なう。
【００２２】
特徴ベクトル生成部２９は、部分領域特徴量計算部２６により計算された複数の部分領域それぞれの特徴量から、入力されたパターン画像の特徴ベクトルを生成する。
【００２３】
より詳細には、特徴ベクトル生成部２９は、部分領域特徴量計算部２６により各部分領域内の画素値または画素に対応した特徴値と、画素に対応したフィルタ・マスクの値とを積和して各部分領域に対応した複数の積和値を各フィルタ・マスク毎に計算し、これら複数の積和値からパターン画像の特徴ベクトルを生成する。
【００２４】
特徴ベクトル生成部２９は、フィルタ・マスク記憶部２５、部分領域特徴量計算部２６および第２の非線形変換部２０を有している。
【００２５】
フィルタ・マスク記憶部２５には、学習パターン画像１１を複数に細分した個々の部分領域に対してフィルタ・マスクをかけるため各部分領域に２個以上のフィルタ・マスクからなるフィルタ・マスクの組１２，１３，１４，１５が記憶されている。
【００２６】
部分領域特徴量計算部２６は、入力されたパターン画像（学習パターン画像１１）に対して、その画像の領域内に設定された複数の部分領域を区分（分割）する。
【００２７】
部分領域特徴量計算部２６は、入力されたパターン画像（学習パターン画像１１）を分割してできる複数の部分領域内の画素値と、画素に対応したフィルタ・マスクの値とを積和して各部分領域に対応した複数の積和値を各フィルタ・マスク毎に計算する。なお画素値だけでなく画素に対応した特徴値を用いても良い。
【００２８】
第２の非線形変換部２０は、個々の内積計算部１６〜１９により計算された特徴量を予め設定された非線形関数に代入することによって最終的な特徴値を計算し、入力されたパターン画像の特徴ベクトルの要素値とする。
【００２９】
パターン識別部２８は、辞書ベクトル記憶部２１およびマッチング部２２を有している。
辞書ベクトル記憶部２１には、パターン画像から求められた特徴ベクトルとマッチング処理（比較）して類似度または相違度を計算するための基準となる辞書ベクトルが記憶されている。
【００３０】
マッチング部２２は、特徴ベクトル生成部２９により計算された特徴ベクトルと辞書ベクトル記憶部２１に記憶されている辞書ベクトルとをマッチング処理して、認識結果の情報を出力する。
【００３１】
図２はフィルタ・マスク記憶部２５の中の１つのフィルタ・マスクの組（例えばフィルタ・マスクの組１２など）と、部分領域特徴量抽出部２６の中の１つの部分領域計算ユニット（例えば部分領域計算ユニット１６）を示したものであり、これらは学習パターンの中の１つの部分領域１１ａに対応付いている。部分領域計算ユニット１６は、内積計算部３４〜３６と第１の非線形関数部３７とを有している。
【００３２】
個々の各フィルタ・マスクの組１２〜１５毎に２個以上のフィルタ・マスク３１〜３３が設けられている。例えばフィルタ・マスク１２内にはフィルタ・マスク３１〜３３が設けられている。フィルタ・マスク３１〜３３は、学習パターンの部分領域画像１１ａに対応したものである。内積計算部３４〜３６はこのフィルタ・マスク３１〜３３に対応付いている。
【００３３】
内積計算部３４は、フィルタ・マスク３１と部分領域画像１１ａとを用いて内積計算を行ない、第１の非線形関数部３７に出力する。内積計算部３５は、フィルタ・マスク３２と部分領域画像１１ａとを用いて内積計算を行ない、第１の非線形関数部３７に出力する。内積計算部３６は、フィルタ・マスク３３と部分領域画像１１ａとを用いて内積計算を行ない、第１の非線形関数部３７に出力する。
【００３４】
第１の非線形関数部３７は、第２の非線形変換部２０とは異なる別の非線形関数で演算を行なうものであり、多入力で１出力のものである。
【００３５】
以下、図３、図４を参照してこのパターン認識装置の動作を説明する。まず、文字認識動作を説明する。
【００３６】
このパターン認識装置では、文字パターンが入力されると（図３のステップＳ１０１）、特徴ベクトル生成部２９は特徴ベクトルを作成する（ステップＳ１０２）。
【００３７】
続いて、パターン識別部２８は、認識対象となる文字種に対応した辞書ベクトルとの間で相違度を計算する（ステップＳ１０３）。
【００３８】
そして、パターン識別部２８は、最小相違度となる文字種を認識結果として出力する（ステップＳ１０４）。
【００３９】
次に、このパターン認識装置の学習動作を説明する。この場合、まず、辞書学習部２３とフィルタ・マスク学習部２４は、それぞれフィルタ・マスクと辞書ベクトルの更新量を初期化する（図４のステップＳ２０１）。
【００４０】
そして、学習パターンが入力されると（ステップＳ２０２）、特徴ベクトル生成部２９は、特徴ベクトル２７を作成し（ステップＳ２０３）パターン識別部２８へ出力する。
【００４１】
パターン識別部２８のマッチング部２２は、入力された特徴ベクトル２７と、認識対象となる文字種に対応した辞書ベクトルとの間で相違度を算出し（ステップＳ２０４）、相違度の少ない辞書ベクトルに対応する文字を認識結果とする。なお、相違度の代わりに類似度を計算し、類似度の高いものを認識結果としてもよい。
【００４２】
続いて、各学習部２３，２４は、パターン識別部２８のマッチングによる認識結果に基づいてフィルタ・マスクと辞書ベクトルの更新量を積算する（ステップＳ２０５）。
【００４３】
各学習部２３，２４は、学習パターンが終了か否かを判定し、終了の場合（ステップＳ２０６のＹｅｓ）、フィルタ・マスク記憶部２５のフィルタ・マスクと、辞書ベクトル記憶部２１の辞書ベクトルとをそれぞれ更新する（ステップＳ２０７）。
【００４４】
そして、予め設定された学習終了条件を満たさないうちは（ステップＳ２０８のＮｏ）、各学習部２３，２４は、上記ステップＳ２０１〜Ｓ２０８の学習処理を繰り返し、学習終了条件を満たした場合（ステップＳ２０８のＹｅｓ）、学習処理を終了する。
【００４５】
ここで、特徴ベクトル生成部２９のフィルタリング機能について説明する。
パターン画像の画素の値を、
ｚ（ｉ，ｊ），（ｉ＝０，…，Ｎ−１；ｊ=０，…，Ｍ−１）
とする。ｉ，ｊは、それぞれ縦位置、横位置である。一方、パターン画像上に複数のサンプル点を設定し、その位置を、
ｒａ，ｓｂ（ａ＝０，…，ｎ−１；ｂ=０，…，ｍ−１）
とする。この位置におけるフィルタ・マスクを、
Ｆｔａｂ（ｋ，ｈ），（ｈ＝−Ｌ，…，Ｌ；ｋ=−Ｌ，…，Ｌ）
とする。このフィルタ・マスクはＴ個有り、上記の式で、ｔ＝０，１，…Ｔ−１で表す。
特徴抽出は、まずフィルタ・マスク毎の内積の計算を行なうことによって始まる。マスクサイズを（２Ｌ＋１）×（２Ｌ＋１）とし、内積の値をΧｔａｂとするとき、これを
【数１】
0004834693.tif 000002
によって計算する。
【００４６】
次に、第１の非線形変換部３７は、このＴ個のΧｔａｂを用いてサンプル点に対応する出力特徴量を計算する。まず、Ｔ個の入力を持った非線形関数ｆａｂ（ｕ０，ｕ１，…，ｕＴ−１）を導入し、Ｔ個のΧｔａｂを入力として、以下の式によって出力値を計算する。
Ｘａｂ＝ｆａｂ（Ｘ０ａｂ，Ｘ１ａｂ，…，ＸＴ−１ａｂ）    （２）
【００４７】
次に、この値をサプレスする関数を第２の非線形変換部２０を導入する。この関数には、例えば、
【数２】
0004834693.tif 000003
などが考えられるが、これに限定しなくともよい。出力ベクトルの要素値をχａｂとしたときに、
χａｂ＝ρ（Ｘａｂ） 
とする。ここで出力ベクトルの要素値χａｂは、各位置ｒａ，ｓｂについて求めるため、この出力ベクトルの次元はｎ×ｍとなる。
【００４８】
このようにして求められた特徴ベクトルχ＝｛χａｂ｝と辞書ベクトルφ=｛φａｂ｝とによって相違度を
【数３】
0004834693.tif 000004
で定義する。
【００４９】
辞書ベクトルは、文字の種類毎、すなわちカテゴリ毎に決められており、この相違度が最小になったカテゴリを正解カテゴリとして出力することによって認識を行なう。
【００５０】
次に、この認識系において、学習によって辞書ベクトルφとフィルタ・マスクＦ、すなわちＦｔａｂ（ｋ，ｈ）を要素とする行列を求める手法を示す。
【００５１】
まず、辞書ベクトルφの更新は、次式で行なう。
Δφ＝±２αｗ（ｄ）（χ−φ）
ここで、ｗ（ｄ）は窓関数である。ｗ（ｄ）は、ｄ＝０付近で大きな値，その他は０に近い値に設定するのが普通である。例えば区間［−Ａ，＋Ａ］で１、それ以外で０の関数やシグモイドの微分、すなわち、１／（１＋ｅ−Ａχ）の微分などが窓関数として使える。
【００５２】
変数ｄは、正解カテゴリの相違度Ｄｏｋと不正解カテゴリの相違度Ｄｅｒｒによって、ｄ＝Ｄｏｋ−Ｄｅｒｒで定義される。
【００５３】
更新式におけるαは学習係数で大きな値ほど学習強度が強く、学習のときの辞書の変動幅が大きい。これはうまく学習が進むように適切な値を実験的に求めて適用する。
【００５４】
更新式における±の上側の符号は、正解カテゴリに対する更新、下側は不正解カテゴリに対する更新を表す。この更新は正解、不正解どちらの場合も第１位、すなわち最小相違度となるものを用いる。
【００５５】
しかし、それ以外のカテゴリに対しても同様な処理を施すようにすることも可能である。この更新式はパターン認識の分野ではＬＶＱとして知られるものである。従って本実施例はこのＬＶＱに次のフィルタ・マスク学習を導入した方式と考えることもできる。
【００５６】
ここでは記述を分かり易くするために、１パターンごとの更新量を積算する形式、すなわち、Σの積算記号を用いた。
Δφ＝±Σ２αｗ（ｄ）（χ−φ）
では記述していないが、実際にはこの形式で更新を行なう。もちろん、積算せずに１パターン毎に更新する手段を取ることもできる。以下の説明でもこれは同様である。
【００５７】
次にフィルタ・マスクの学習方式を説明する。
フィルタ・マスクの要素値Ｆｔａｂ（ｋ，ｈ）を更新する量を次のようにして決める。
ある入力ｚが与えられたとき、あるカテゴリの辞書ベクトルφで相違度を計算したとする。このとき、Ｆｔａｂ（ｋ，ｈ）の添え字のａ，ｂに対応する出力ベクトルの要素値χａｂの変化に対する相違度Ｄの変化を表す値をＰとして求める。これはＤの変動をχａｂの変動で割った値に基づく数値である。Ｄをχａｂで偏微分したものはその１例である。Ｐを出力変化量と呼ぶ。
【００５８】
次に，Ｘｔａｂの変化に対するχａｂの変化を表す値をＱとして求める。これはχａｂの変動をＸｔａｂの変動で割った値に基づく数値である。χａｂをＸｔａｂで偏微分したものはその１例である。Ｑを非線形関数変化量と呼ぶ。
【００５９】
さらに、Ｆｔａｂ（ｋ，ｈ）の変化に対するＸｔａｂの変化を表す値をＲとして求める。これはＸｔａｂの変動をＦｔａｂ（ｋ，ｈ）の変動で割った値に基づく数値である。ＸｔａｂをＦｔａｂ（ｋ，ｈ）で偏微分したものはその１例である。Ｒを入力変化量と呼ぶ。
【００６０】
これらを連結したＰＱＲは、全体としてＦｔａｂ（ｋ，ｈ）の変化に対するＤの変化を表す値である。上記した入力パターンｚが入力され、辞書ベクトルφを用いたとき、ＰＱＲが正ならば、Ｆｔａｂ（ｋ，ｈ）が増加すると、このときＤも増加する。
【００６１】
もしその辞書ベクトルが正解カテゴリであったとすると、これは相違度が上昇することになるので、そうならないようにフィルタ・マスクを調整しなければならない。すなわち，このときは、このＤの増加量に見あった量として、正の数値βを用いてβＰＱＲをＦｔａｂ（ｋ，ｈ）から減少させる。こうすることで、Ｄを減少させることができる。ＰＱＲが負の場合には場合は逆にＦｔａｂ（ｋ，ｈ）を増加させる。ＰＱＲが０のときは学習しない。従って、Ｆｔａｂ（ｋ，ｈ）に対する更新量は−βＰＱＲである。
【００６２】
さらに窓関数ｗ（ｄ）をφの更新のときと同様に用意し、これを用いて更新量を−βｗ（ｄ）ＰＱＲと修正し、最終的にこれによってＦｔａｂ（ｋ，ｈ）を更新する。これは正解カテゴリに対する場合で，不正解カテゴリに対しては、その逆とする。
【００６３】
すなわち、本実施形態では、更新量を窓関数ｗ（ｄ）、出力変化量Ｐ、非線形関数変化量Ｑ、入力変化量Ｒの積で求める。
【００６４】
次に、ｆａｂ（ｔ）（）をｆａｂ（）をｔ＋１番目の変数で偏微分した関数とし、Ｐ，Ｑ，Ｒの具体的例を、
【数４】
0004834693.tif 000005
で与える。βは学習係数である。なお、この更新則は、窓関数の積分値を認識精度が悪い度合いを表す評価量と考えたとき、これを降下法によって最適化する考え方から計算したものであり、本実施形態においては、各変化量として偏微分を用いて構成したものである。
この例において、出力変化量Ｐは、辞書ベクトルと特徴ベクトルとによって計算される。また入力変化量Ｒは入力パターン、すなわち学習パターンである。
【００６５】
従って、フィルタ・マスクの更新量は、辞書ベクトルと特徴ベクトルと非線形関数変化量と学習パターンから求められる。一方、辞書ベクトルは、辞書ベクトルと特徴ベクトルとで更新される。
【００６６】
文字認識の結果とこの更新則によって、辞書、フィルタを微小変動させて更新する。この認識と更新を繰り返すことによって学習を行なう。学習前の初期辞書や初期フィルタ・マスクは通常の認識システムで用いられるものを採用する。
【００６７】
認識精度に基づいて、予め設定された終了条件、例えば認識精度の向上が見られなくなる場合などの条件によって上記の学習を終了させる。この学習方法によって、より性能の高い辞書とフィルタ・マスクを作成することができる。
【００６８】
この第１実施形態では、上記した実施形態の特徴抽出プロセスにおいて、ρ（ｕ）を取り除いて非線形関数を１段にすることもできる。また、このようにして作成されたフィルタを用いた認識プロセスでは上記のユークリッド距離ではなく、別の認識系による認識を用いても良い。もちろん、学習において用いている認識系もユークリッド距離に限定せず、例えば内積を用いる単純類似度などでもよい。この非線形関数ｆａｂ（ｕ０，ｕ１，…，ｕＴ−１）の具体的な形式として次のものをあげる。この式ではＴ＝２である。
【数５】
0004834693.tif 000006
【００６９】
この関数と、フィルタ・マスクにガボール・フィルタとして知られるフィルタ・マスクを用いた形式は一般にガボール・フィルタとして知られている技術である。従って、本実施形態では、このガボール・フィルタ、およびそれを拡張した非線形関数を用いたフィルタリング機能により、フィルタ・マスクのマスク値を直接学習することによって求めるようにしている。
【００７０】
このようにこの第１実施形態によれば、入力されたパターン画像を分割してできる複数の部分領域毎に、それぞれの特徴値を計算し、部分領域毎の画素に対応したフィルタ・マスクの更新量を求め、求めたフィルタ・マスク更新量によってフィルタ・マスク記憶部２５の該当フィルタ・マスクを繰り返し更新する一方、辞書ベクトルとパターン画像に対応する特徴ベクトルとから辞書ベクトル更新量を求め、求めた辞書ベクトル更新量によって辞書ベクトル記憶部２１の該当辞書ベクトルを繰り返し更新することで文字認識精度を向上することができる。
【００７１】
すなわち、パターン認識のためのパラメータとしてのフィルタ・マスクと辞書ベクトルとを繰り返し学習し、それを特徴抽出およびパターン照合に用いることで、文字画像が含まれるパターン画像から文字を認識する上で、類似する文字を高精度に識別して認識することができる。
【００７２】
（第２実施形態）
以下、図５を参照して第２実施形態のパターン認識装置について説明する。なお第１実施形態と同じ構成には同一の符号を付しその説明は省略する。
この第２実施形態では、パターン識別部２８は、辞書ベクトル記憶部３０と複数の内積計算部４６〜４９とを有している。
辞書ベクトル記憶部３０には、１つの相違度または類似度を求める上で必要な複数の辞書ベクトル４２〜４５が記憶されている。
【００７３】
各内積計算部４６〜４９は、辞書ベクトル記憶部３０に記憶された複数の辞書ベクトル４２〜４５の中で対応する辞書ベクトルを読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。
内積計算部４６は、辞書ベクトル記憶部３０に記憶された辞書ベクトル４２を読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。
内積計算部４７は、辞書ベクトル記憶部３０に記憶された辞書ベクトル４３を読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。
内積計算部４８は、辞書ベクトル記憶部３０に記憶された辞書ベクトル４４を読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。
内積計算部４９は、辞書ベクトル記憶部３０に記憶された辞書ベクトル４５を読み出し、特徴ベクトル生成部２９により生成された特徴ベクトルを用いて内積計算を行なう。
【００７４】
マッチング部２２は、これら複数の内積結果に基づく類似度または相違度を計算する。
パターン識別部２８は、類似度または相違度の計算結果によってパターンの識別を行なう。
【００７５】
この場合、部分領域毎の画素に対応したフィルタ・マスクの値については、フィルタ・マスク学習部２４が、学習パターンの認識結果に基づいて複数の辞書ベクトルと、該学習パターンと、それに対応する特徴ベクトルとに基づいて決まるフィルタ・マスク更新量によってフィルタ・マスクの更新を繰り返し行なう。
【００７６】
辞書学習部２３は、フィルタ・マスクの更新と同時、つまり学習と同時に、辞書ベクトル４２〜４５毎に、辞書ベクトルと、学習パターンに対応する特徴ベクトルとに基づいて決まる辞書ベクトル更新量によって、それぞれの辞書ベクトル４２〜４５を繰り返し上書きし、辞書ベクトル記憶部３０の内容を更新する。
【００７７】
この第２実施形態では、上記した第１実施形態に示したフィルタリング機能を用いることも可能であるが、別のフィルタリング機能を用いて説明する。
【００７８】
この第２実施形態の場合、フィルタ・マスクをサンプル点（部分領域）１個につき１個用意し、それを
【００７９】
Ｆａｂ（ｋ，ｈ），（ｈ＝−Ｌ，…，Ｌ；ｋ＝−Ｌ，…，Ｌ）
とする。図６のフィルタ・マスクの組１２〜１５では、フィルタ・マスクを複数として図示したが、この第２実施形態では、これを１個とする。また、部分領域特徴量計算部２６は、単なる内積演算を行うものとする。内積の値をΧａｂとし、これを
【数６】
0004834693.tif 000007
によって計算する。第１実施形態と同様に、この値をサプレスする関数ρ（ｕ）を導入する。出力ベクトルの要素値をχａｂとしたときに、
χａｂ＝ρ（Ｘａｂ）
とする。
【００８０】
この第２実施形態では、文字認識機構として次の式を使う。第１実施形態では１つの相違度を求めるための辞書ベクトルは１つしか無かったが、この実施形態では複数用意する。これをφＰと書く。φＰａｂはφＰの要素値である。また、μｋを重みとする。ｒは辞書ベクトルの数である。
【数７】
0004834693.tif 000008
この場合、Ｄは相違度では無く、類似度であり、値が最も高い値のカテゴリを答えとして出力する。この類似度は重み付き部分空間法として知られているものである。また、χやφＰが正規化されていない場合の式は次のようになる。
【数８】
0004834693.tif 000009
【００８１】
この第２実施形態では、フィルタとしては、式（３）を用いる。もちろん、式（１）、式（２）を用いることもできる。正規化のための割り算の無い式（３）に対する辞書ベクトルφＰの更新式は、
ΔφＰ＝±２αｗ（ｄ）μＰ（χ,φＰ）χ
である。これは学習部分空間法として知られる方式である。従ってこの第２実施形態はこの学習部分空間法に次のフィルタ・マスク学習を導入した方式と考えることもできる。
【００８２】
次に、フィルタ・マスクの学習動作を説明する。フィルタ・マスクの要素値Ｆａｂ（ｋ，ｈ）を更新する更新量を次のようにして決める。
【００８３】
ある入力パターンｚが与えられたとき、あるカテゴリの辞書ベクトルφＰで類似度を計算したものとする。このとき、Ｆａｂ（ｋ，ｈ）の添え字のａｂに対応する出力ベクトルの要素値χａｂの変化に対する類似度Ｄの変化を表す値をＰとして求める。これは類似度Ｄの変動をχａｂの変動で割った値に基づく数値である。Ｄをχａｂで偏微分したものはその１例である。Ｐを出力変化量と呼ぶ。
【００８４】
次に，Ｘａｂの変化に対するχａｂの変化を表す値をＱとして求める。これはχａｂの変動をＸａｂの変動で割った値に基づく数値である。χａｂをＸａｂで偏微分したものはその１例である。Ｑを非線形関数変化量と呼ぶ。
【００８５】
さらに，Ｆａｂ（ｋ，ｈ）の変化に対するＸａｂの変化を表す値をＲとして求める。これはＸａｂの変動をＦａｂ（ｋ，ｈ）の変動で割った値に基づく数値である。ＸａｂをＦａｂ（ｋ，ｈ）で偏微分したものはその１例である。Ｒを入力変化量と呼ぶ。
【００８６】
これらを連結したＰＱＲは、全体としてＦａｂ（ｋ，ｈ）の変化に対するＤの変化を表す値である。上記した入力パターンｚが入力され、辞書ベクトルφを用いたとき、ＰＱＲが正ならば、Ｆａｂ（ｋ，ｈ）が増加すると、このときＤも増加する。
【００８７】
もし、その辞書ベクトルが正解カテゴリであったとすると、これは類似度が上昇することになる。これは良い方向なので、さらにその方向にフィルタ・マスクを調整しなければならない。すなわち、このときは、この類似度Ｄの増加量にみあった量として、正の数値βを用いてβＰＱＲをＦａｂ（ｋ，ｈ）に加算する。
【００８８】
このようにすることで、類似度Ｄを増加させることができる。ＰＱＲが負の場合には場合は逆にＦａｂ（ｋ，ｈ）を減少させる。ＰＱＲが０のときは学習しない。従って、Ｆａｂ（ｋ，ｈ）に対する更新量は＋βＰＱＲである。
【００８９】
さらに窓関数ｗ（ｄ）を用意し、これを用いて更新量を＋βｗ（ｄ）ＰＱＲと修正し、最終的にこれによってＦａｂ（ｋ，ｈ）を更新する。これは正解カテゴリに対する場合で、不正解カテゴリに対してはその逆とする。
【００９０】
本実施形態でも、更新量を窓関数ｗ（ｄ）、出力変化量Ｐ、非線形関数変化量Ｑ、入力変化量Ｒの積で求める。
【００９１】
次に具体的例として、Ｐ，Ｑ，Ｒを、
【数９】
0004834693.tif 000010
とする。
【００９２】
一方、正規化のための割り算を考慮した場合の式（５）に対する更新式は、
【数１０】
0004834693.tif 000011
【００９３】
さらに正準化処理を考慮する。正準化とは入力ベクトルからそのベクトルの要素値の平均を各要素値から減算する処理であり次のように記述される。ここで、式（３）の代わりに内積計算をＶ＝Ｆｚで表し、これを非線形変換した特徴ベクトルをｖで表す。要素値がすべて１のベクトルをａで表し、Ｎをベクトルの次元とする。Ｎ＝ｎｍである。
【数１１】
0004834693.tif 000012
とする。ここで、ａは要素値が総て１のベクトルである。この場合の更新式は、式（６）（７）と同じである。
【００９４】
これらの例は、窓関数の積分値を認識精度が悪い度合いを表す評価量と考えたとき、これを降下法によって最適化する考え方から計算したものであり、この実施形態において、各変化量として偏微分を用いて構成した方式である。なお、ここでは非線形変換を省略することも可能であり、この場合にはＱは無くなる。
【００９５】
この例で、出力変化量Ｐは複数の辞書ベクトルと特徴ベクトルによって計算される。入力変化量Ｒは入力パターン、すなわち学習パターンである。従って、フィルタ・マスクの更新量は複数の辞書ベクトルと特徴ベクトルと学習パターンとから構成されている。
【００９６】
一方、辞書ベクトルの更新は当該辞書ベクトルと特徴ベクトルとから構成されている。
（第３実施形態）
【００９７】
以下、図５を参照して第３実施形態のパターン認識装置について説明する。
この第３実施形態は、第２実施形態と同様の構成で、文字認識に異なる式を使う例である。
【００９８】
第３実施形態では、文字認識に次の式を使う。この第３実施形態でも第２実施形態と同様に辞書ベクトルを複数用意する。これをｍおよびφＰと書く。また，μＰを重みとする。ｒは辞書ベクトルφＰの数である。
【数１２】
0004834693.tif 000013
【００９９】
この相違度は、重み付きの投影距離と呼ばれるものである。また、この式（８）で辞書ベクトルが正規化されていないときは、
【数１３】
0004834693.tif 000014
である。
【０１００】
まず、正規化のための割り算の無い式（８）に対する辞書ベクトルｍ、φＰの更新式は、
【数１４】
0004834693.tif 000015
である。ここでγは学習強度係数である。これは、投影距離に対して学習を行なう漸化式として知られているものである。第２実施形態とは異なり、ここでは、Ｄは相違度であるが、それ以外は第２実施形態と同じ考え方でフィルタ・マスクの更新式を求める。
【０１０１】
本実施形態でも、更新量を窓関数ｗ（ｄ）、出力変化量Ｐ、非線形関数変化量Ｑ、入力変化量Ｒの積で求めるが、さらにこれらを具体化して以下の式で更新を行なう。具体例としてＰ，Ｑ，Ｒを、
【数１５】
0004834693.tif 000016
と設定することにより更新式を求める。すなわち、
【数１６】
0004834693.tif 000017
である。
【０１０２】
一方、正規化を考慮した場合の式（９）に対する更新式は、
【数１７】
0004834693.tif 000018
【０１０３】
これらの実施形態は、窓関数の積分値を認識精度が悪い度合いを表す評価量と考えたとき、これを降下法によって最適化する考え方から計算したもので、本実施形態において、各変化量として偏微分を用いて構成した方式である。なお、ここでも非線形変換を省略することができ、その場合にはＱは無くなる。
【０１０４】
この例で、出力変化量Ｐは、複数の辞書ベクトルと特徴ベクトルによって計算される。入力変化量Ｒは入力パターン、すなわち学習パターンである。従って、フィルタ・マスクの更新量は、複数の辞書ベクトルと特徴ベクトルと学習パターンから求められる。これに対して、辞書ベクトルは、当該辞書ベクトルと特徴ベクトルとから更新される。
（第４実施形態）
【０１０５】
第４実施形態は、図１に示した第１実施形態からの変形例であり、図６にその構成のブロック図を示す。なお第１実施形態と同じ構成には同一の符号を付しその説明は省略する。
【０１０６】
図６に示すように、この第４実施形態のパターン認識装置は、上記第１実施形態に加えて、特徴ベクトル変換部３８と、特徴ベクトル変換行列記憶部４０と、特徴ベクトル変換行列学習部３９とを有している。
【０１０７】
特徴ベクトル変換部３８は、第２の非線形変換部２０により変換された特徴ベクトルを、特徴ベクトル変換行列記憶部４０から読み出した特徴ベクトル変換行列を用いて変換済特徴ベクトル４１に変換する。
【０１０８】
すなわち、特徴ベクトル変換部３８は、特徴変換用の行列である特徴ベクトル変換行列を用いて特徴ベクトルの変換を行ない、その出力である変換済特徴ベクトルをマッチング部２２へ送る。
【０１０９】
特徴ベクトル変換行列記憶部４０には、フィルタ・マスクの特徴を選択するための変換行列である特徴ベクトル変換行列が記憶されている。特徴ベクトル変換行列記憶部４０には、特徴ベクトル変換行列学習部３９により繰り返し学習された特徴ベクトル変換行列が記憶される。
【０１１０】
特徴ベクトル変換行列学習部３９は、特徴ベクトル変換部３８により変換された特徴ベクトルと認識結果とに基づいて特徴ベクトル変換行列を学習する。
【０１１１】
マッチング部２２では、辞書ベクトル記憶部２１の辞書ベクトルとのマッチング処理が行なわれ、認識結果が出力される。ここまでが文字認識処理である。
【０１１２】
この際、フィルタ・マスクと特徴ベクトル変換行列と辞書ベクトルについての学習がそれぞれ行なわれる。つまり、この第４実施形態では、認識結果に基づいてフィルタ・マスクと変換行列と辞書の更新を行なう。これを繰り返すことによって徐々にその値を変え、認識精度を高めてゆく。
【０１１３】
部分領域特徴量計算部２６では、第２の非線形変換部２０が、部分領域内の画素値または画素に対応した特徴値と画素に対応したフィルタ・マスクの値の積和により計算される部分領域に対応した特徴値を求め、これら部分領域毎に求められた特徴値から特徴ベクトルを生成する。特徴ベクトル変換部３８は、その特徴ベクトルに対して特徴ベクトル変換行列記憶部４０に記憶されている特徴ベクトル変換行列を用いて行列演算することにより変換済特徴ベクトルを算出する。
【０１１４】
部分領域毎の画素に対応したフィルタ・マスクの値については、フィルタ・マスク学習部２４が、学習パターンの認識結果に基づいて、辞書ベクトルと、学習パターンと、それに対応する特徴ベクトルとに基づいて決まる（求められる）フィルタ・マスク更新量によってフィルタ・マスクを繰り返し更新する。
【０１１５】
特徴ベクトル変換行列学習部３９は、フィルタ・マスクの学習と同時に、学習パターンの認識結果に対応する特徴ベクトルと変換済特徴ベクトルとに基づいて決まる（求められまる）特徴ベクトル変換行列更新量によって特徴ベクトル変換行列記憶部４０の特徴ベクトル変換行列を繰り返し更新する。
【０１１６】
辞書学習部２３は、フィルタ・マスクの学習と同時に、該辞書ベクトルと、学習パターンに対応する変換済特徴ベクトルに基づいて決まる辞書ベクトル更新量によってそれぞれの辞書ベクトルを繰り返し更新する。
【０１１７】
なお、パターン認識装置では、変更したフィルタ・マスクと特徴ベクトル変換行列と辞書ベクトルを用いることにより文字認識を行なう。
【０１１８】
ここでのフィルタリング機能には第１実施形態の説明で用いた方式や第２実施形態で用いた方法、またそれ以外の方法を用いることができるが、ここでは、一例として第２実施形態で用いた方法で説明する。ここで求められた特徴ベクトルχ＝｛χａｂ｝に対して、特徴変換を次の式で行なう。ここで、このχａｂを特徴、χを特徴ベクトルと呼び、またＨｑａｂは変換行列の要素値とする。
【数１８】
0004834693.tif 000019
【０１１９】
このＹｑはＭ個あるものとする。
すなわち、Ｍ次元ベクトルである（ｑ＝を、…、Ｍ−１）。
【０１２０】
そして、再び第３の非線形変換部として非線形変換を施す。非線形変換の関数をσ（ｕ）として、
【０１２１】
ｙｑ=σ（Ｙｑ）
とする。このｙｑを要素値とする特徴ベクトルをｙとし、辞書ベクトルφ=｛φｑ｝によって相違度を
【数１９】
0004834693.tif 000020
で定義する。
【０１２２】
次に、このパターン認識装置では、学習によって辞書ベクトルφとフィルタ・マスクＦと変換行列Ｈを求める。まず、辞書ベクトルφの更新は次式で行なう。
Δφ＝±２αｗ（ｄ）（ｙ−φ）
【０１２３】
次に、この実施形態におけるフィルタ・マスクの学習動作を説明する。フィルタ・マスクの要素値Ｆａｂ（ｋ，ｈ）を更新する更新量を次のようにして決める（求める）。
【０１２４】
ある入力パターンｚが与えられたとき、あるカテゴリの辞書ベクトルφで相違度を計算したとする。このとき、Ｈｑａｂの添え字のｑに対応する出力ベクトルの要素値ｙｑの変化に対する相違度Ｄの変化を表す値をＰとして求める。これは相違度Ｄの変動を要素値ｙｑの変動で割った値に基づく数値である。相違度Ｄを要素値ｙｑで偏微分したものはその１例である。Ｐを出力変化量と呼ぶ。
【０１２５】
次に、χａｂの変化に対するｙｑの変化を表す値をＱとして求める。これは要素値ｙｑの変動をχａｂの変動で割った値に基づく数値である。要素値ｙｑをχａｂで偏微分したものはその１例である。Ｓを特徴変換変化量と呼ぶ。
【０１２６】
さらに，Ｆａｂ（ｋ，ｈ）の変化に対するχａｂの変化を表す値をＲとして求める。これはχａｂの変動をＦａｂ（ｋ，ｈ）の変動で割った値に基づく数値である。χａｂをＦａｂ（ｋ，ｈ）で偏微分したものはその１例である。Ｒを入力変化量と呼ぶ。
【０１２７】
ＰＳをｑについて積算し、さらにＲを掛けた（ΣＰＳ）Ｒは、Ｆａｂ（ｋ，ｈ）の変化に対するＤの変化を表す値である。前出の入力パターンｚが入力され、辞書ベクトルφを用いたとき、（ΣＰＳ）Ｒが正ならば、Ｆａｂ（ｋ，ｈ）が増加すると、Ｄも増加する。
【０１２８】
もし、その辞書ベクトルが正解カテゴリであったものとすると、これは相違度が上昇することになるので、そうならないようにフィルタ・マスクを調整しなければならない。すなわち、このときは、このＤの増加量にみあった量として、正の数値βを用いてβ（ΣＰＳ）Ｒを、Ｆａｂ（ｋ，ｈ）から減少させる。
【０１２９】
こうすることで相違度Ｄを減少させることができる。（ΣＰＳ）Ｒが負の場合には場合は逆にＦｔａｂ（ｋ，ｈ）を増加させる。（ΣＰＳ）Ｒが０のときは学習しない。従って、Ｆａｂ（ｋ，ｈ）に対する更新量は−β（ΣＰＳ）Ｒである。
【０１３０】
さらに、窓関数ｗ（ｄ）を用意し、これを用いて更新量を−βｗ（ｄ）（ΣＰＳ）Ｒと修正し、これによって最終的に、Ｆａｂ（ｋ，ｈ）を更新する。これは正解カテゴリに対する場合で、不正解カテゴリに対してはその逆とする。本実施形態では、Ｆａｂ（ｋ，ｈ）の更新量は出力変化量Ｐ、非線形関数変化量Ｓの積和（ΣＰＳ）と、窓関数ｗ（ｄ）、入力変化量Ｒの積で求める。
【０１３１】
次に具体的例として，Ｐ，Ｓ，Ｒを、
【数２０】
0004834693.tif 000021
とする。
【０１３２】
次に、特徴変換行列の要素値Ｈｑａｂを更新する量を次のようにして決める。
【０１３３】
まず、出力変化量ＰはＦａｂ（ｋ，ｈ）と同じようにして求める。
そして、Ｈｑａｂの変化に対するｙｑの変化を表す値をＶとして求める。これはｙｑの変動をＨｑａｂの変動で割った値に基づく数値である。ｙｑをＨｑａｂで偏微分したものはその１例である。Ｖを特徴変換入力変化量と呼ぶ。
【０１３４】
これらを連結したＰＶは、全体としてＨｑａｂの変化に対する相違度Ｄの変化を表す値である。前記の入力パターンｚが入力され、辞書ベクトルφを用いたとき、ＰＶが正ならば、Ｈｑａｂが増加すると、このとき相違度Ｄも増加する。
【０１３５】
もし、その辞書ベクトルが正解カテゴリであったとすると、これは相違度が上昇することになるので、そうならないように特徴変換行列を調整しなければならない。
【０１３６】
すなわち、このときは、この相違度Ｄの増加量に見あった量として、正の数値γを用いてγＰＶをＨｑａｂから減少させる。こうすることで、相違度Ｄを減少させることができる。ＰＶが負の場合には場合は逆にＨｑａｂを増加させる。ＰＶが０のときは学習しない。従って、Ｈｑａｂに対する更新量は−γＰＶである。
【０１３７】
さらに窓関数ｗ（ｄ）を用意し、これを用いて更新量を−γｗ（ｄ）ＰＶと修正し、最終的にこれによってＨｑａｂを更新する。これは正解カテゴリに対する場合で、不正解カテゴリに対してはその逆とする。
【０１３８】
この第４実施形態では、特徴変換行列の要素値Ｈｑａｂの更新量を窓関数ｗ（ｄ）と出力変化量Ｐと特徴変換入力変化量Ｖの積で求める。
【０１３９】
次に具体例として，Ｐ，Ｖを、
【数２１】
0004834693.tif 000022
とする。
【０１４０】
これらの実施形態は、窓関数の積分値を認識精度が悪い度合いを表す評価量と考えたとき、これを降下法によって最適化する考え方から計算したものであり、この実施形態において、各変化量として偏微分を用いて構成した方式である。
【０１４１】
この例で、出力変化量Ｐは辞書ベクトルと特徴ベクトルによって計算される。入力変化量Ｒは入力パターン、すなわち学習パターンである。従って、フィルタ・マスクの更新量は辞書ベクトルと特徴ベクトルと学習パターンから求められる。また特徴変換行列更新量は、変換済特徴ベクトル、辞書ベクトル、特徴ベクトルから求められる。また辞書ベクトルの更新量は、当該辞書ベクトルと特徴ベクトルとから求められる。
【０１４２】
すなわち、この第４実施形態の動作は、第１実施形態と異なる点として、図４のフローチャートのステップＳ２０５の処理が、認識結果に基づいてフィルタ・マスクと特徴ベクトル変換行列と辞書ベクトルの更新量を積算することになる点である。
【０１４３】
（第５実施形態）
この第５実施形態は、フィルタ・マスクエリア変更部５０を有している。上記フィルタ・マスク学習部２４が、部分領域毎の画素に対応したフィルタ・マスクの値について、学習パターンの認識結果に基づいて、辞書ベクトルと、学習パターンと、それに対応する特徴ベクトルに基づいて決まるフィルタ・マスク更新量によってフィルタ・マスク記憶部２５の該当フィルタ・マスクを更新したときに、フィルタ・マスク更新部５０は、フィルタ・マスクの更新結果に基づいてフィルタ・マスク内の不要なエリアを決定し、その不要部分を取り除く処理、および／または隣接するエリアを付加する処理の少なくとも一方を含む処理によってマスクの位置とサイズの少なくとも一方を変更する処理を含むフィルタ・マスクの更新処理を繰り返し行なう。
【０１４４】
つまり、この第５実施形態は、フィルタ・マスクエリア変更部５０を有する点が第１実施形態と異なる。なお、この第５実施形態では、第２実形態例に示したフィルタリング機能を用いて説明を行なうが他の形式のものを用いることも可能である。
【０１４５】
この例では、文字認識に次の式を使う。
【数２２】
0004834693.tif 000023
である。
【０１４６】
次に、フィルタ・マスクの学習方式を説明する。フィルタ・マスクの要素値Ｆａｂ（ｋ，ｈ）を更新する量を次のようにして決める。
【０１４７】
ある入力パターンｚが与えられたとき、あるカテゴリの辞書ベクトルφで相違度を計算したとする。このとき、要素値Ｆａｂ（ｋ，ｈ）の添え字のａｂに対応する出力ベクトルの要素値χａｂの変化に対する相違度Ｄの変化を表す値をＰとして求める。これはＤの変動をχａｂの変動で割った値に基づく数値である。Ｄをχａｂで偏微分したものはその１例である。Ｐを出力変化量と呼ぶ。
【０１４８】
次に、Ｘａｂの変化に対するχａｂの変化を表す値をＱとして求める。これはχａｂの変動をＸａｂの変動で割った値に基づく数値である。χａｂをＸａｂで偏微分したものはその１例である。Ｑを非線形関数変化量と呼ぶ。
【０１４９】
さらに、要素値Ｆａｂ（ｋ，ｈ）の変化に対するＸａｂの変化を表す値をＲとして求める。これはＸａｂの変動をＦａｂ（ｋ，ｈ）の変動で割った値に基づく数値である。ＸａｂをＦａｂ（ｋ，ｈ）で偏微分したものはその１例である。Ｒを入力変化量と呼ぶ。
【０１５０】
これらを連結したＰＱＲは、全体として要素値Ｆａｂ（ｋ，ｈ）の変化に対するＤの変化を表す値である。上記の入力パターンｚが入力され、辞書ベクトルφを用いたとき、ＰＱＲが正ならば、要素値Ｆａｂ（ｋ，ｈ）が増加すると、このときＤも増加する。
【０１５１】
もし、その辞書ベクトルが正解カテゴリであったとすると、これは相違度が上昇することになるので、そうならないようにフィルタ・マスクを調整しなければならない。
【０１５２】
すなわち、このときは、このＤの増加量に見あった量として，正の数値βを用いてβＰＱＲをＦａｂ（ｋ，ｈ）から減少させる。こうすることで、Ｄを減少させることができる。ＰＱＲが負の場合には場合は逆にＦａｂ（ｋ，ｈ）を増加させる。ＰＱＲが０のときは学習しない。従って、Ｆａｂ（ｋ，ｈ）に対する更新量は−βＰＱＲである。
【０１５３】
さらに窓関数ｗ（ｄ）を用意し、これを用いて更新量を−βｗ（ｄ）ＰＱＲと修正し、最終的にこれによって要素値Ｆａｂ（ｋ，ｈ）を更新する。これは正読カテゴリに対する場合で、不正解カテゴリに対してはその逆とする。
【０１５４】
この第５実施形態でも、更新量を窓関数ｗ（ｄ）、出力変化量Ｐ、非線形関数変化量Ｑ、入力変化量Ｒの積で求める。
【０１５５】
次に具体例として，Ｐ，Ｑ，Ｒを、
【数２３】
0004834693.tif 000024
とする。
【０１５６】
この例で、出力変化量Ｐは辞書ベクトルと特徴ベクトルによって計算される。入力変化量Ｒは入力パターン、すなわち学習パターンである。従って、フィルタ・マスクの更新量は、辞書ベクトルと特徴ベクトルと学習パターンから求められる。また、辞書ベクトルの更新量は、辞書ベクトルと特徴ベクトルとから求められる。
【０１５７】
フィルタ・マスクエリア変更部５０は、フィルタ・マスクの変更後に、それに基づいたフィルタ・マスクのサイズ、位置変更を行なう。
【０１５８】
図８はフィルタ・マスクエリア変更部５０におけるフィルタ・マスクのサイズ変更および位置変更の処理を説明するための図である。
【０１５９】
図８に示すように、フィルタ・マスク３００は、更新後のフィルタ・マスクを示しており、１０×１０の画素からなるフィルタ・マスクである。フィルタ・マスクの変更が行なわれた後で、そのマスクの値について有効性のチェックを行なう。
【０１６０】
マスク値が小さいか、または変更がほとんど無いと判断された画素は不要と判断される。フィルタ・マスク３００の各画素内の×印はその不要の画素を示している。
【０１６１】
次に、この不要の画素数を縦列及び横列にカウントする。符号３０１は横列でカウントした値を記載した部分であり、符号３０２は縦列の方向に数値を足し算した値をメモリに記憶した部分である。
【０１６２】
この後、メモリの計数値から上下両端について不要と考えられる列を抽出する。この例では予め設定しておいた不要画素数を示す閾値を例えば６とし、閾値の６以上を不要列とし判断するものとする。
【０１６３】
従って、部分領域３０３を不要エリアとしてマスク・データから除去する。こうすることで、部分領域３０４が残ることになる。この処理を通してマスクを縮小することができる。
【０１６４】
次に、フィルタ・マスクを移動する処理について説明する。まず、上記と同様な手法で上下のどちらか、左右のどちらかの列を除去する。これは、例えば上下であれば除去すべき列の不要画素数の多い方を除去するようにすることにより実現できる。
【０１６５】
この縮小のプロセスの後に、除去した列の反対側に除去した分の列を付加することもできる。符号３０５はその付加列を示している。この列の画素のマスク値には予め初期値として決められた値、または符号３０４のマスク値の平均など、初期値を与えて設定する。
【０１６６】
このようにして最終的にできあがる部分領域３０４と部分領域３０５のマスクはサイズが部分領域３００と同じで、右下に２画素ずれたフィルタ・マスクになる。このようにしてマスクの移動を実現する。
【０１６７】
マスクの移動だけでなく、例えば上下左右の同じ数の列を付加することによってマスクを拡大することができる。
【０１６８】
フィルタ・マスクエリア変更部５０は、所定の条件によって上記の拡大、縮小、移動を行なうことによりフィルタ・マスクのサイズ、位置の学習を行なう。
【０１６９】
このフィルタ・マスクのサイズ変更、移動などを行なう際に、複数のフィルタ・マスクが重ならないように制御することが必要となる。
【０１７０】
そこで、フィルタ・マスクエリア変更部５０は、あるフィルタ・マスクのサイズ・位置変更を行なうときに、その変更後のマスクとその他のマスクの重なる数をカウントする。
【０１７１】
具体的には、ある画素について、その原画像上の位置が他のフィルタ・マスクに含まれているかどうかを調べ、原画像上の位置が他のフィルタ・マスクに含まれているケースの数をカウントする。
【０１７２】
フィルタ・マスクエリア変更部５０は、このカウント値を変更対象フィルタ・マスク全域で積算して、その値が予め定めている閾値よりも大きければ、変更をしないように制御する。
【０１７３】
もちろん、位置、サイズの変更が必要無い場合には、そのままマスク値を変更するだけで良いようにフィルタ・マスク学習部２４を構成しても良い。
【０１７４】
（第６実施形態）
第１実施形態から第５実施形態は、認識部を１段構成の単純な形態で構成した。そこで、この第６実施形態は、認識部を２段構成とした。
【０１７５】
図９は本発明の第６実施形態にかかるパターン認識装置の構成を示すブロック図である。これは複数の特徴ベクトル生成部２９−０，２９−１，２９−Ｎと、パターン識別部２８−０，２８−１，２８−Ｎを有するものであり、類似文字識別に威力発揮するように構成した文字認識システムである。各特徴ベクトル生成部２９−０，２９−１，２９−Ｎおよび各パターン識別部２８−０，２８−１，２８−Ｎには上記の第１から第５実施形態におけるパターン識別装置を用いる。
【０１７６】
第１から第５実施形態では、自動的に特定の類似文字ペアや類似文字グループに対して有効なフィルタリング機能が得られるので、このフィルタリング機能を主要な類似文字ペア，グループに対して複数設け、図９の文字認識システムの二次認識部１２０に組み込んだものである。
【０１７７】
図９に示すように、この第６実施形態のパターン認識装置１００は、一次認識部１１０と二次認識部１２０とを有している。
【０１７８】
一次認識部１１０は、特徴抽出部１１１とパターン識別部１１２と辞書１１３で構成される。特徴抽出部１１１は、入力パターンの特徴を濃度パターン法、加重方向ヒストグラム法などの公知の方法で抽出して特徴ベクトルを生成する。
【０１７９】
パターン識別部１１２は、特徴抽出部１１１より入力された特徴ベクトルと、辞書１１３に格納された検出対象文字種の標準パターンの特徴ベクトルとを照合して類似度の高い１以上の文字の候補を判定して、その判定結果を一次認識部１１０の出力として二次認識部１２０へ与える。
【０１８０】
二次認識部１２０は、切り替え部１２５と、複数の特徴ベクトル生成部２９−０，２９−１，２９−Ｎと、パターン識別部２８−０，２８−１，２８−Ｎを有している。つまり、二次認識部１２０の構成は、第１から第５実施形態に示したパターン認識装置の構成を複数設けたものである。
【０１８１】
特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、類似する文字のグループごとに設けられている。複数の特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、切り替え部１２５によって一つが選択され、選択された特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、一次認識部１１０へ入力された入力パターンについて、予め設定された複数の部分領域毎の特徴量の計算を行なう。個々の部分領域特徴量計算部における特徴量の計算は第１〜第５の実施例に示す方法用いる。
【０１８２】
切り替え部１２５は、一次認識部１１０の認識結果を基に入力パターンを与える１以上の特徴ベクトル生成部２９−０，２９−１，２９−Ｎを選択する。例えば、切り替え部１２５は、一次認識部１１０の認識結果である文字候補を含む類似文字のグループを判定して、そのグループに対応する特徴ベクトル生成部２９−０，２９−１，２９−Ｎのいずれかを選択し、選択した特徴ベクトル生成部２９−０，２９−１，２９−Ｎのいずれかへ入力パターンを与える。
【０１８３】
このためにパターン認識装置１００は、文字とグループと特徴ベクトル生成部２９−０，２９−１，２９−Ｎとの対応を知るためのテーブル（図示せず）を保持している必要がある。切り替え部１２５は、このテーブルを参照して文字候補の属するグループを調べ、さらにこのグループに対応する特徴ベクトル生成部２９−０，２９−１，２９−Ｎを判定し，それに対して入力パターンを与える。
【０１８４】
特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、部分領域特徴量計算部によって得られた結果に基づいて特徴ベクトルを生成し、これをパターン識別部２８−０，２８−１，２８−Ｎに与える。
【０１８５】
パターン識別部２８−０，２８−１，２８−Ｎは、特徴ベクトル生成部２９−０，２９−１，２９−Ｎからの特徴ベクトルと、特徴ベクトル記憶部に記憶された標準パターンの特徴ベクトルとを照合して類似度の最も高い文字を最終的な認識結果として出力する。
【０１８６】
ここでは、切り替え部１２５の選択グループ数に応じたパターン識別部２８−０，２８−１，２８−Ｎを用いたが、一つのパターン識別部２８でパターン識別するように構成しても良い。
【０１８７】
上記実施形態のパターン認識装置によれば、より高度なフィルタ・マスク学習によって類似文字の認識精度の向上を図ることができる。また、その学習によって特徴抽出パラメータを自動的に生成することができる。
【０１８８】
次に、この第６実施形態のパターン認識装置１００の動作を説明する。まず、対象文字のパターン画像が一次認識部１１０へ入力される。一次認識部１１０は、特徴抽出部１１１にてその入力パターンから特徴を抽出して特徴ベクトルを生成してパターン識別部１１２へ与える。パターン識別部１１２は、入力された特徴ベクトルと、辞書１１３に格納された辞書ベクトル（標準パターン）とを照合して、相違度の低い、または類似度の高い１以上の文字を判定し、これらを認識文字の候補として二次認識部１２０に入力する。
【０１８９】
二次認識部１２０は、一次認識部１１０より与えられた認識文字の候補を切り替え部１２５に入力する。切り替え部１２５はこの認識文字の属するグループを調べ、さらにこのグループに対応する特徴ベクトル生成部２９−０，２９−１，２９−Ｎのいずれかを判定して、判定した特徴ベクトル生成部（２９−０，２９−１，２９−Ｎのいずれか）に認識対象文字のパターン画像を与える。
【０１９０】
このとき一次認識部１１０より得られた認識文字の候補が複数あって、それぞれの文字の属するグループが異なる場合には、それぞれのグループに対応する別々の特徴ベクトル生成部２９−０，２９−１，２９−Ｎへ検出対象文字の入力パターンをそれぞれ与える。
【０１９１】
特徴ベクトル生成部２９−０，２９−１，２９−Ｎは、部分領域毎の特徴量を計算してその結果である部分領域特徴量をパターン識別部２８−０，２８−１，２８−Ｎへ与える。
【０１９２】
パターン識別部２８−０，２８−１，２８−Ｎは、各特徴ベクトルを取得すると、各特徴ベクトル記憶部（図示せず）に格納された標準パターンとを照合して、例えば類似度を計算し、最も高い類似度が得られた文字を認識結果として出力する。
【０１９３】
また、フィルタ・マスク学習部２４−０，２４−１，２４−Ｎは、各特徴ベクトル生成部２９−０，２９−１，２９−Ｎのフィルタ・マスク記憶部を更新する。
【０１９４】
以上のように、この第６実施形態によれば、二次認識部１２０にパターン認識部を用いることで、類似文字のグループ毎に、その類似文字の認識にとって有効な特徴抽出を行ない、類似文字間での文字の識別精度を高めることができる。
【０１９５】
ここまでの第１〜第６実施形態の説明では画素値を用いて説明したが、これは各画素とその周辺の画素も用いて求めた特徴値であってもよい。
【０１９６】
また、上記実施形態では主に文字の認識について説明したが、本発明は文字以外に例えば画像やマークなど、パターン認識可能な対象についても適用することが可能である。
【０１９７】
上記実施形態で説明した各々の手段を組み合わせて学習を実施することも可能である。
上記実施例ではフィルタ・マスクや辞書ベクトルなどを作成する機能をパターン認識装置の中に設置せず、予め記憶しておくという前提で説明してきたが、このような作成機能をパターン認識装置に組み込むこともできる。
【０１９８】
なお、本願発明は、上記実施形態のみに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形してもよい。また、上記実施形態に開示されている複数の構成要素を適宜組み合わせ、または削除する等して、種々の発明を構成できる。
【０１９９】
例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【０２００】
【図１】第１実施形態のパターン認識装置の構成を示す図である。
【図２】特徴ベクトル生成部の構成を示す図である。
【図３】パターン認識装置の動作を示すフローチャートである。
【図４】フィルタ・マスクと辞書ベクトルの学習動作を示すフローチャートである。
【図５】第２、第３実施形態のパターン認識装置の構成を示す図である。
【図６】第４実施形態のパターン認識装置の構成を示す図である。
【図７】第５実施形態のパターン認識装置の構成を示す図である。
【図８】フィルタ・マスクのサイズ、位置変更処理を説明するための図である。
【図９】第６実施形態のパターン認識装置の構成を示す図である。
【符号の説明】
【０２０１】
１２，１３，１４，１５…フィルタ・マスクの組、１６，１７，１８，１９…部分領域計算ユニット、１５…フィルタ・マスク、２０…第２の非線形変換部、２１…辞書ベクトル記憶部、２２…マッチング部、２３…辞書学習部、２４…フィルタ・マスク学習部、２５…フィルタ・マスク記憶部、２６…部分領域特徴量計算部、２７…特徴ベクトル、２８…パターン識別部、２８…パターン識別部、２９…特徴ベクトル生成部、１１ａ…部分領域画像、３０…辞書ベクトル記憶部、３１，３２，３３…フィルタ・マスク、３４，３５，３６…内積計算部、３７…第１の非線形関数部、３８…特徴ベクトル変換部、３９…特徴ベクトル変換行列学習部、４０…特徴ベクトル変換行列記憶部、４２，４３，４４，４５…辞書ベクトル、４６，４７，４８，４９…内積計算、５０…フィルタ・マスクエリア変更部、１００…パターン認識装置、１１０…一次認識部、１１１…特徴抽出部、１１２…パターン識別部、１１３…辞書、１２０…二次認識部。
【図１】
0004834693.tif 000025
【図２】
0004834693.tif 000026
【図３】
0004834693.tif 000027
【図４】
0004834693.tif 000028
【図５】
0004834693.tif 000029
【図６】
0004834693.tif 000030
【図７】
0004834693.tif 000031
【図８】
0004834693.tif 000032
【図９】
0004834693.tif 000033