(57)【特許請求の範囲】
【請求項１】
認識対象となる入力パターン又は辞書学習のための学習パターンからｎ（ｎは正の整数）次元特徴を抽出する特徴抽出部と、
特徴選択のための関数が記述された特徴選択辞書と、
前記抽出されたｎ次元特徴から前記特徴選択辞書に基づいてｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択する特徴選択部と、
パターン認識のために予め用意されたｍ次元参照パターンの集合からなる認識辞書と、
前記ｍ次元参照パターンと前記入力パターンのｍ次元特徴とを照合して、前記入力パターンの認識結果を出力する識別部とを有し、
前記特徴選択部は、非線形な入出力応答を有するｈ（ｈは正の整数）個の微分可能な関数によって前記ｎ次元特徴からｈ次元特徴を選択する第１次特徴変換部と、微分可能なｍ個の線形関数もしくは非線形関数によって前記ｈ次元特徴から前記ｍ次元特徴を選択する第２次特徴変換部とからなり、
前記特徴選択辞書は、前記第１次特徴変換部で必要とされる非線形関数が記述された第１の特徴変換係数集合と、前記第２次特徴変換部で必要とされる線形関数もしくは非線形関数が記述された第２の特徴変換係数集合とからなることを特徴とするパターン認識装置。
【請求項２】
請求項１記載のパターン認識装置において、
辞書学習時に前記認識辞書を修正する認識辞書修正部と、
辞書学習時に前記特徴選択辞書を修正する特徴選択辞書修正部とを有し、
前記認識辞書修正部は、前記学習パターンのｍ次元特徴と前記ｍ次元参照パターンとを照合し、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記学習パターンのｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンのうち前記ｍ次元特徴の最近傍に存在するｍ次元参照パターンと前記学習パターンのｍ次元特徴との距離が増加するように前記認識辞書を修正し、
前記特徴選択辞書修正部は、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記学習パターンのｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンと前記学習パターンのｍ次元特徴との距離が増加するように前記第１の特徴変換係数集合及び前記第２の特徴変換係数集合を修正することを特徴とするパターン認識装置。
【請求項３】
請求項１記載のパターン認識装置において、
前記特徴選択部の第１次特徴変換部は、前記ｎ次元特徴と前記第１の特徴変換係数集合との積和演算を行う第１の積和演算部と、この第１の積和演算部の出力を非線形な入出力応答特性を有する単調関数によって変換する非線形変換部とからなり、
前記特徴選択部の第２次特徴変換部は、前記ｈ次元特徴と前記第２の特徴変換係数集合との積和演算を行う第２の積和演算部からなることを特徴とするパターン認識装置。
【請求項４】
請求項２記載のパターン認識装置において、
前記特徴選択辞書修正部は、前記学習パターンから抽出される前記ｎ次元特徴を主成分分析もしくは正準判別分析して得られる軸のなかからｈ個を抽出して前記第１の特徴変換係数集合の初期値とし、前記学習パターンから抽出される前記ｍ次元特徴のｋ次元目の値ｘk （ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ次元目の値ｚk との関係がｘk＝ｚkとなるような係数を前記第２の特徴変換係数集合の初期値とし、
前記認識辞書修正部は、前記学習パターンから抽出されるｎ次元特徴の平均値をカテゴリ毎に求め、この平均値を前記第１の特徴変換係数集合の初期値を用いてｈ次元に変換し、このｈ次元に変換した値を前記第２の特徴変換係数集合の初期値を用いてｍ次元に変換した値を各カテゴリの前記ｍ次元参照パターンの初期値とすることを特徴としたパターン認識装置。
【請求項５】
辞書学習時に、
辞書学習のための学習パターンからｎ（ｎは正の整数）次元特徴を抽出する学習パターン特徴抽出手順と、
非線形な入出力応答を有するｈ（ｈは正の整数）個の微分可能な非線形関数が記述された第１の特徴変換係数集合に基づいて、前記学習パターンのｎ次元特徴からｈ次元特徴を選択する学習パターンｈ次元特徴選択手順と、
微分可能なｍ個の線形関数もしくは非線形関数が記述された第２の特徴変換係数集合に基づいて、前記学習パターンのｈ次元特徴からｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択する学習パターンｍ次元特徴選択手順と、
前記ｍ次元特徴とパターン認識のために予め用意された認識辞書中のｍ次元参照パターンとを照合し、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンのうち前記ｍ次元特徴の最近傍に存在するｍ次元参照パターンと前記ｍ次元特徴との距離が増加するように前記認識辞書を修正する認識辞書修正手順と、
前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が増加するように前記第１の特徴変換係数集合及び前記第２の特徴変換係数集合を修正する特徴選択辞書修正手順とを実行することを特徴とするパターン認識方法。
【請求項６】
請求項５記載のパターン認識方法において、
パターン認識時に、
認識対象となる入力パターンからｎ次元特徴を抽出する入力パターン特徴抽出手順と、
非線形な入出力応答を有するｈ個の微分可能な非線形関数が記述された第１の特徴変換係数集合に基づいて、前記入力パターンのｎ次元特徴からｈ次元特徴を選択する入力パターンｈ次元特徴選択手順と、
微分可能なｍ個の線形関数もしくは非線形関数が記述された第２の特徴変換係数集合に基づいて、前記入力パターンのｈ次元特徴からｍ次元特徴を選択する入力パターンｍ次元特徴選択手順と、
パターン認識のために予め用意されたｍ次元参照パターンの集合からなる認識辞書と前記入力パターンのｍ次元特徴とを照合して認識結果を出力する識別手順とを実行することを特徴とするパターン認識方法。
【請求項７】
請求項６記載のパターン認識方法において、
前記学習パターンｈ次元特徴選択手順及び前記入力パターンｈ次元特徴選択手順は、前記第１の特徴変換係数集合を構成するｈ組の変換係数と前記ｎ次元特徴との積和演算をそれぞれ行い、その各出力を非線形な入出力応答特性を有する単調関数によって変換して前記ｈ次元特徴を選択し、
前記学習パターンｍ次元特徴選択手順及び前記入力パターンｍ次元特徴選択手順は、前記第２の特徴変換係数集合を構成するｍ組の変換係数と前記ｈ次元特徴との積和演算をそれぞれ行って前記ｍ次元特徴を選択することを特徴とするパターン認識方法。
【請求項８】
請求項５記載のパターン認識方法において、
前記学習パターンから抽出される前記ｎ次元特徴を主成分分析もしくは正準判別分析して得られる軸のなかからｈ個を抽出して前記第１の特徴変換係数集合の初期値とし、前記学習パターンから抽出される前記ｍ次元特徴のｋ次元目の値ｘk （ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ次元目の値ｚk との関係がｘk＝ｚkとなるような係数を前記第２の特徴変換係数集合の初期値とし、前記学習パターンから抽出されるｎ次元特徴の平均値をカテゴリ毎に求め、この平均値を前記第１の特徴変換係数集合の初期値を用いてｈ次元に変換し、このｈ次元に変換した値を前記第２の特徴変換係数集合の初期値を用いてｍ次元に変換した値を各カテゴリの参照パターンの初期値とすることを特徴としたパターン認識方法。
【請求項９】
辞書学習時に、
辞書学習のための学習パターンからｎ（ｎは正の整数）次元特徴を抽出する学習パターン特徴抽出手順と、
非線形な入出力応答を有するｈ（ｈは正の整数）個の微分可能な非線形関数が記述された第１の特徴変換係数集合に基づいて、前記学習パターンのｎ次元特徴からｈ次元特徴を選択する学習パターンｈ次元特徴選択手順と、
微分可能なｍ個の線形関数もしくは非線形関数が記述された第２の特徴変換係数集合に基づいて、前記学習パターンのｈ次元特徴からｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択する学習パターンｍ次元特徴選択手順と、
前記ｍ次元特徴とパターン認識のために予め用意された認識辞書中のｍ次元参照パターンとを照合し、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンのうち前記ｍ次元特徴の最近傍に存在するｍ次元参照パターンと前記ｍ次元特徴との距離が増加するように前記認識辞書を修正する認識辞書修正手順と、
前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が増加するように前記第１の特徴変換係数集合及び前記第２の特徴変換係数集合を修正する特徴選択辞書修正手順とをコンピュータに実行させるためのパターン認識プログラム。
【請求項１０】
請求項９記載のパターン認識プログラムにおいて、
パターン認識時に、
認識対象となる入力パターンからｎ次元特徴を抽出する入力パターン特徴抽出手順と、
非線形な入出力応答を有するｈ個の微分可能な非線形関数が記述された第１の特徴変換係数集合に基づいて、前記入力パターンのｎ次元特徴からｈ次元特徴を選択する入力パターンｈ次元特徴選択手順と、
微分可能なｍ個の線形関数もしくは非線形関数が記述された第２の特徴変換係数集合に基づいて、前記入力パターンのｈ次元特徴からｍ次元特徴を選択する入力パターンｍ次元特徴選択手順と、
パターン認識のために予め用意されたｍ次元参照パターンの集合からなる認識辞書と前記入力パターンのｍ次元特徴とを照合して認識結果を出力する識別手順とをコンピュータに実行させるためのパターン認識プログラム。
【請求項１１】
請求項１０記載のパターン認識プログラムにおいて、
前記学習パターンｈ次元特徴選択手順及び前記入力パターンｈ次元特徴選択手順は、前記第１の特徴変換係数集合を構成するｈ組の変換係数と前記ｎ次元特徴との積和演算をそれぞれ行い、その各出力を非線形な入出力応答特性を有する単調関数によって変換して前記ｈ次元特徴を選択し、
前記学習パターンｍ次元特徴選択手順及び前記入力パターンｍ次元特徴選択手順は、前記第２の特徴変換係数集合を構成するｍ組の変換係数と前記ｈ次元特徴との積和演算をそれぞれ行って前記ｍ次元特徴を選択することを特徴とするパターン認識プログラム。
【請求項１２】
請求項９記載のパターン認識プログラムにおいて、
前記学習パターンから抽出される前記ｎ次元特徴を主成分分析もしくは正準判別分析して得られる軸のなかからｈ個を抽出して前記第１の特徴変換係数集合の初期値とし、前記学習パターンから抽出される前記ｍ次元特徴のｋ次元目の値ｘk （ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ次元目の値ｚk との関係がｘk＝ｚkとなるような係数を前記第２の特徴変換係数集合の初期値とし、前記学習パターンから抽出されるｎ次元特徴の平均値をカテゴリ毎に求め、この平均値を前記第１の特徴変換係数集合の初期値を用いてｈ次元に変換し、このｈ次元に変換した値を前記第２の特徴変換係数集合の初期値を用いてｍ次元に変換した値を各カテゴリの参照パターンの初期値とすることを特徴としたパターン認識プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字認識、音声認識等を行うためのパターン認識装置、パターン認識方法及びプログラムに関するものである。
【０００２】
【従来の技術】
従来より、パターン認識装置は、認識対象となる入力パターンから特徴ベクトルを選択する特徴選択部と、選択された特徴ベクトルと予め用意された参照ベクトルとを照合してパターン認識を行う識別部とを有していた。従来のパターン認識装置では、この特徴選択部と識別部とを独立に設計することが多かったが、近年これらを同時に学習させることにより、より少ない計算量で同等以上のパターン認識性能を実現した報告例がある。
【０００３】
例えば、特開平９−２４５１２５号公報（以下、文献（イ）と呼ぶ）に開示されたパターン認識装置によれば、入力パターンから抽出した原特徴の次元数をｎ、このｎ次元特徴から選択した特徴の次元数をｍとすると、ｎ次元特徴からｍ次元特徴への線形変換のための特徴変換辞書であるｍ×ｎ行列の各係数と、認識のための参照ベクトルとを最急降下法を用いて同時に学習させることにより、部分空間法よりも遙かに少ない計算量で同等以上の認識性能を実現することができる。
【０００４】
また、ほぼ同様の手法を手書き漢字認識に適用し、認識性能の向上を確認した例（以下、文献（ロ）と呼ぶ）が、電子情報通信学会英論文誌１９９９年３月号６８７〜６９２頁（FEATURE TRANSFORMATION WITH GENERALIZED LEARNING VECTOR QUANTIZATION FOR HAND-WRITTEN CHINESE CHARACTER RECOGNITION, IEICE TRANS. INF. & SYST., VOL.E82-D, NO.3, pp.687-692, MARCH 1999 ）で報告されている。
【０００５】
【発明が解決しようとする課題】
しかしながら、参照パターンと特徴選択辞書とを同時に修正する機能を持った従来のパターン認識装置では、ｎ次元特徴からｍ次元特徴への特徴選択を実行する特徴選択部において線形変換を用いる方法しか開示されておらず、このことが更なる認識精度向上を妨げる要因となっていた。
本発明は、上記課題を解決するためになされたもので、特徴選択部の特徴選択機能を非線形変換に拡張することにより、より少ない次元数の特徴で高い認識精度を実現可能なパターン認識装置、パターン認識方法及びプログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明のパターン認識装置は、認識対象となる入力パターン又は辞書学習のための学習パターンからｎ（ｎは正の整数）次元特徴を抽出する特徴抽出部（１０２）と、特徴選択のための関数が記述された特徴選択辞書（１０４）と、前記抽出されたｎ次元特徴から前記特徴選択辞書に基づいてｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択する特徴選択部（１０３）と、パターン認識のために予め用意されたｍ次元参照パターンの集合からなる認識辞書（１０６）と、前記ｍ次元参照パターンと前記入力パターンのｍ次元特徴とを照合して、前記入力パターンの認識結果を出力する識別部（１０５）とを有し、前記特徴選択部は、非線形な入出力応答を有するｈ（ｈは正の整数）個の微分可能な関数によって前記ｎ次元特徴からｈ次元特徴を選択する第１次特徴変換部（１１０）と、微分可能なｍ個の線形関数もしくは非線形関数によって前記ｈ次元特徴から前記ｍ次元特徴を選択する第２次特徴変換部（１１１）とからなり、前記特徴選択辞書は、前記第１次特徴変換部で必要とされる非線形関数が記述された第１の特徴変換係数集合（１１２）と、前記第２次特徴変換部で必要とされる線形関数もしくは非線形関数が記述された第２の特徴変換係数集合（１１３）とからなるものである。入力パターン及び学習パターンとしては、例えば文字パターンがある。
また、本発明のパターン認識装置は、辞書学習時に前記認識辞書を修正する認識辞書修正部（１０８）と、辞書学習時に前記特徴選択辞書を修正する特徴選択辞書修正部（１０９）とを有し、前記認識辞書修正部は、前記学習パターンのｍ次元特徴と前記ｍ次元参照パターンとを照合し、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記学習パターンのｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンのうち前記ｍ次元特徴の最近傍に存在するｍ次元参照パターンと前記学習パターンのｍ次元特徴との距離が増加するように前記認識辞書を修正し、前記特徴選択辞書修正部は、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記学習パターンのｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンと前記学習パターンのｍ次元特徴との距離が増加するように前記第１の特徴変換係数集合及び前記第２の特徴変換係数集合を修正するものである。
【０００７】
また、本発明のパターン認識装置の１構成例において、前記特徴選択部の第１次特徴変換部は、前記ｎ次元特徴と前記第１の特徴変換係数集合との積和演算を行う第１の積和演算部と、この第１の積和演算部の出力を非線形な入出力応答特性を有する単調関数によって変換する非線形変換部とからなり、前記特徴選択部の第２次特徴変換部は、前記ｈ次元特徴と前記第２の特徴変換係数集合との積和演算を行う第２の積和演算部からなるものである。
また、本発明のパターン認識装置の１構成例において、前記特徴選択辞書修正部は、前記学習パターンから抽出される前記ｎ次元特徴を主成分分析もしくは正準判別分析して得られる軸のなかからｈ個を抽出して前記第１の特徴変換係数集合の初期値とし、前記学習パターンから抽出される前記ｍ次元特徴のｋ次元目の値ｘk （ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ次元目の値ｚk との関係がｘk＝ｚkとなるような係数を前記第２の特徴変換係数集合の初期値とし、前記認識辞書修正部は、前記学習パターンから抽出されるｎ次元特徴の平均値をカテゴリ毎に求め、この平均値を前記第１の特徴変換係数集合の初期値を用いてｈ次元に変換し、このｈ次元に変換した値を前記第２の特徴変換係数集合の初期値を用いてｍ次元に変換した値を各カテゴリの前記ｍ次元参照パターンの初期値とするものである。
【０００８】
また、本発明のパターン認識方法は、辞書学習時に、辞書学習のための学習パターンからｎ（ｎは正の整数）次元特徴を抽出する学習パターン特徴抽出手順（Ｓ５０２）と、非線形な入出力応答を有するｈ（ｈは正の整数）個の微分可能な非線形関数が記述された第１の特徴変換係数集合に基づいて、前記学習パターンのｎ次元特徴からｈ次元特徴を選択する学習パターンｈ次元特徴選択手順（Ｓ５０３）と、微分可能なｍ個の線形関数もしくは非線形関数が記述された第２の特徴変換係数集合に基づいて、前記学習パターンのｈ次元特徴からｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択する学習パターンｍ次元特徴選択手順（Ｓ５０４）と、前記ｍ次元特徴とパターン認識のために予め用意された認識辞書中のｍ次元参照パターンとを照合し、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンのうち前記ｍ次元特徴の最近傍に存在するｍ次元参照パターンと前記ｍ次元特徴との距離が増加するように前記認識辞書を修正する認識辞書修正手順（Ｓ５０５）と、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が増加するように前記第１の特徴変換係数集合及び前記第２の特徴変換係数集合を修正する特徴選択辞書修正手順（Ｓ５０６）とを実行するようにしたものである。
また、本発明のパターン認識方法は、パターン認識時に、認識対象となる入力パターンからｎ次元特徴を抽出する入力パターン特徴抽出手順（Ｓ９０４）と、非線形な入出力応答を有するｈ個の微分可能な非線形関数が記述された第１の特徴変換係数集合に基づいて、前記入力パターンのｎ次元特徴からｈ次元特徴を選択する入力パターンｈ次元特徴選択手順（Ｓ９０５）と、微分可能なｍ個の線形関数もしくは非線形関数が記述された第２の特徴変換係数集合に基づいて、前記入力パターンのｈ次元特徴からｍ次元特徴を選択する入力パターンｍ次元特徴選択手順（Ｓ９０６）と、パターン認識のために予め用意されたｍ次元参照パターンの集合からなる認識辞書と前記入力パターンのｍ次元特徴とを照合して認識結果を出力する識別手順（Ｓ９０７，Ｓ９０８）とを実行するようにしたものである。
【０００９】
また、本発明のパターン認識方法の１構成例として、前記学習パターンｈ次元特徴選択手順及び前記入力パターンｈ次元特徴選択手順は、前記第１の特徴変換係数集合を構成するｈ組の変換係数と前記ｎ次元特徴との積和演算をそれぞれ行い、その各出力を非線形な入出力応答特性を有する単調関数によって変換して前記ｈ次元特徴を選択し、前記学習パターンｍ次元特徴選択手順及び前記入力パターンｍ次元特徴選択手順は、前記第２の特徴変換係数集合を構成するｍ組の変換係数と前記ｈ次元特徴との積和演算をそれぞれ行って前記ｍ次元特徴を選択するようにしたものである。
また、本発明のパターン認識方法の１構成例は、前記学習パターンから抽出される前記ｎ次元特徴を主成分分析もしくは正準判別分析して得られる軸のなかからｈ個を抽出して前記第１の特徴変換係数集合の初期値とし、前記学習パターンから抽出される前記ｍ次元特徴のｋ次元目の値ｘk （ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ次元目の値ｚk との関係がｘk＝ｚkとなるような係数を前記第２の特徴変換係数集合の初期値とし、前記学習パターンから抽出されるｎ次元特徴の平均値をカテゴリ毎に求め、この平均値を前記第１の特徴変換係数集合の初期値を用いてｈ次元に変換し、このｈ次元に変換した値を前記第２の特徴変換係数集合の初期値を用いてｍ次元に変換した値を各カテゴリの参照パターンの初期値とするものである。
【００１０】
また、本発明のパターン認識プログラムは、辞書学習時に、辞書学習のための学習パターンからｎ（ｎは正の整数）次元特徴を抽出する学習パターン特徴抽出手順（Ｓ５０２）と、非線形な入出力応答を有するｈ（ｈは正の整数）個の微分可能な非線形関数が記述された第１の特徴変換係数集合に基づいて、前記学習パターンのｎ次元特徴からｈ次元特徴を選択する学習パターンｈ次元特徴選択手順（Ｓ５０３）と、微分可能なｍ個の線形関数もしくは非線形関数が記述された第２の特徴変換係数集合に基づいて、前記学習パターンのｈ次元特徴からｍ（ｍは正の整数、ｍ＜ｎ）次元特徴を選択する学習パターンｍ次元特徴選択手順（Ｓ５０４）と、前記ｍ次元特徴とパターン認識のために予め用意された認識辞書中のｍ次元参照パターンとを照合し、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンのうち前記ｍ次元特徴の最近傍に存在するｍ次元参照パターンと前記ｍ次元特徴との距離が増加するように前記認識辞書を修正する認識辞書修正手順（Ｓ５０５）と、前記学習パターンと同じカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が減少し、かつ前記学習パターンと異なるカテゴリに属するｍ次元参照パターンと前記ｍ次元特徴との距離が増加するように前記第１の特徴変換係数集合及び前記第２の特徴変換係数集合を修正する特徴選択辞書修正手順（Ｓ５０６）とをコンピュータに実行させるようにしたものである。
また、本発明のパターン認識プログラムは、パターン認識時に、認識対象となる入力パターンからｎ次元特徴を抽出する入力パターン特徴抽出手順（Ｓ９０４）と、非線形な入出力応答を有するｈ個の微分可能な非線形関数が記述された第１の特徴変換係数集合に基づいて、前記入力パターンのｎ次元特徴からｈ次元特徴を選択する入力パターンｈ次元特徴選択手順（Ｓ９０５）と、微分可能なｍ個の線形関数もしくは非線形関数が記述された第２の特徴変換係数集合に基づいて、前記入力パターンのｈ次元特徴からｍ次元特徴を選択する入力パターンｍ次元特徴選択手順（Ｓ９０６）と、パターン認識のために予め用意されたｍ次元参照パターンの集合からなる認識辞書と前記入力パターンのｍ次元特徴とを照合して認識結果を出力する識別手順（Ｓ９０７，Ｓ９０８）とをコンピュータに実行させるようにしたものである。
【００１１】
また、本発明のパターン認識プログラムの１構成例において、前記学習パターンｈ次元特徴選択手順及び前記入力パターンｈ次元特徴選択手順は、前記第１の特徴変換係数集合を構成するｈ組の変換係数と前記ｎ次元特徴との積和演算をそれぞれ行い、その各出力を非線形な入出力応答特性を有する単調関数によって変換して前記ｈ次元特徴を選択し、前記学習パターンｍ次元特徴選択手順及び前記入力パターンｍ次元特徴選択手順は、前記第２の特徴変換係数集合を構成するｍ組の変換係数と前記ｈ次元特徴との積和演算をそれぞれ行って前記ｍ次元特徴を選択するものである。
また、本発明のパターン認識プログラムの１構成例は、前記学習パターンから抽出される前記ｎ次元特徴を主成分分析もしくは正準判別分析して得られる軸のなかからｈ個を抽出して前記第１の特徴変換係数集合の初期値とし、前記学習パターンから抽出される前記ｍ次元特徴のｋ次元目の値ｘk （ｋ＝１，２，３，．．．，ｍ）と前記ｈ次元特徴のｋ次元目の値ｚk との関係がｘk＝ｚkとなるような係数を前記第２の特徴変換係数集合の初期値とし、前記学習パターンから抽出されるｎ次元特徴の平均値をカテゴリ毎に求め、この平均値を前記第１の特徴変換係数集合の初期値を用いてｈ次元に変換し、このｈ次元に変換した値を前記第２の特徴変換係数集合の初期値を用いてｍ次元に変換した値を各カテゴリの参照パターンの初期値とするようにしたものである。
【００１２】
【発明の実施の形態】
［実施の形態の１］
以下、本発明の実施の形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施形態にかかるパターン認識装置の構成を示すブロック図である。図１に示すパターン認識装置は、データ入力部１０１、特徴抽出部１０２、特徴選択部１０３、特徴選択辞書１０４、識別部１０５、認識辞書１０６、認識結果出力部１０７、認識辞書修正部１０８及び特徴選択辞書修正部１０９から構成される。
【００１３】
データ入力部１０１は、認識対象であるデータを取り込んで特徴抽出部１０２に出力する。認識対象のデータとしては、例えば画像データや音声データなどが挙げられる。特徴抽出部１０２は、データ入力部１０１より入力されたデータ（入力パターン又は学習パターン）から認識に有効なｎ（ｎは正の整数）次元の特徴を抽出して、特徴選択部１０３に出力する。本実施の形態では、ｎ次元の特徴はベクトル形式で表現されるものとし、特徴抽出部１０２はｎ次元特徴ベクトルを出力するものとする。
【００１４】
特徴選択部１０３は、第１次特徴変換部１１０と第２次特徴変換部１１１とからなる。特徴選択部１０３は、特徴選択辞書１０４を参照して、特徴抽出部１０２から入力されたｎ次元特徴ベクトルをｍ（ｍは正の整数、ｍ＜ｎ）次元特徴ベクトルに変換し、特徴選択辞書１０４及び認識辞書１０６を用いて入力パターンを認識する認識モード時は、変換後のｍ次元特徴ベクトルを識別部１０７へ出力し、特徴選択辞書１０４及び認識辞書１０６を修正する学習モード時は、変換後のｍ次元特徴ベクトルを認識辞書修正部１０８へ出力する。
【００１５】
第１次特徴変換部１１０は、特徴選択辞書１０４に含まれる第１の特徴変換係数集合１１２を参照して、ｎ次元特徴ベクトルをｈ（ｈは正の整数）次元特徴ベクトルに非線形変換する処理部である。第２次特徴変換部１１１は、特徴選択辞書１０４に含まれる第２の特徴変換係数集合１１３を参照して、第１次特徴変換部１１０から出力されたｈ次元特徴ベクトルをｍ次元特徴ベクトルに線形変換する処理部である。本実施の形態では、第１次特徴変換部１１０の非線形変換処理を次式により定義する。
【００１６】
【数１】
0004701518.tif 000002
【００１７】
また、第２次特徴変換部１１１の線形変換処理を次式により定義する。
【００１８】
【数２】
0004701518.tif 000003
【００１９】
ここで、ｗ(1)ji は第１の特徴変換係数集合１１２に該当し、ｗ(2)kj は第２の特徴変換係数集合１１３に該当する。また、関数ｇはシグモイド関数を表すものとする。Ｘi はｎ次元特徴Ｘのｉ次元目の値、ｚj はｈ次元特徴ｚのｊ次元目の値、ｘk はｍ次元特徴ｘのｋ次元目の値である。
【００２０】
特徴選択辞書１０４は、特徴選択のための関数が記述された辞書であり、第１の特徴変換係数集合１１２と第２の特徴変換係数集合１１３とからなる。特徴選択辞書１０４は、特徴選択辞書修正部１０９によって学習モード時にのみ修正される。第１の特徴変換係数集合１１２は、式（１）中のパラメータｗ(1)ji を構成要素とし、第２の特徴変換係数集合１１３は、式（２）中のパラメータｗ(2)kj を構成要素とする。
【００２１】
識別部１０５は、認識モード時のみ動作し、特徴選択部１０３から出力されたｍ次元特徴ベクトルと認識辞書１０６中のｍ次元参照ベクトル（参照パターン）とを照合し、ｍ次元特徴ベクトルとｍ次元参照ベクトルとの距離に基づいて、ｍ次元参照ベクトルの中から認識候補を出力する。
【００２２】
認識辞書１０６は、予め用意されたｍ次元参照ベクトルの集合が記述された辞書であり、学習モード時には認識辞書修正部１０８によって修正される。認識結果出力部１０７は、識別部１０５から入力された認識候補のカテゴリコード（例えばＡＳＣＩＩコード）や距離値を図示しない記憶装置に記憶させたり、ディスプレイ装置に表示させたりする。
【００２３】
認識辞書修正部１０８は、学習モード時にのみ動作し、特徴選択部１０３から出力されたｍ次元特徴ベクトルと認識辞書１０６中のｍ次元参照ベクトルとを照合し、入力パターンと同じカテゴリに属するｍ次元参照ベクトルｒc と、入力パターンと異なるカテゴリに属するｍ次元参照ベクトルのうちｍ次元特徴ベクトルの最近傍に存在する参照ベクトルｒe とを抽出して、ｍ次元参照ベクトルｒc とｍ次元特徴ベクトルとの距離ｄc 、及びｍ次元参照ベクトルｒe とｍ次元特徴ベクトルとの距離ｄe を計算する。そして、認識辞書修正部１０８は、距離ｄc が減少し、かつ距離ｄe が増大するように以下の修正式により認識辞書１０６を修正する。
【００２４】
【数３】
0004701518.tif 000004
【００２５】
【数４】
0004701518.tif 000005
【００２６】
また、認識辞書修正部１０８は、ｍ次元参照ベクトルｒc，ｒe及びｍ次元参照ベクトルｒc，ｒeとｍ次元特徴ベクトルとの距離ｄc，ｄeを特徴選択辞書修正部１０９へ出力する。特徴選択辞書修正部１０９は、認識辞書修正部１０８によって抽出されたｍ次元参照ベクトルｒc，ｒe及びｍ次元参照ベクトルｒc，ｒeとｍ次元特徴ベクトルとの距離ｄc，ｄeに基づいて、特徴選択辞書１０４を修正する。本実施の形態では、認識辞書修正部１０８は、以下の修正式によって特徴選択辞書１０４の第１の特徴変換係数集合１１２（ｗ(1)ji ）及び第２の特徴変換係数集合１１３（ｗ(2)kj ）を修正する。
【００２７】
【数５】
0004701518.tif 000006
【００２８】
【数６】
0004701518.tif 000007
【００２９】
ここで、図１のパターン認識装置を用いたパターン認識方法の原理について図２を用いて説明する。図２（ａ）はｎ次元特徴空間におけるデータ分布を、図２（ｂ）は現時刻におけるｈ次元特徴空間におけるデータ分布を、図２（ｃ）は特徴変換係数集合１１２，１１３の修正を行った後のｈ次元特徴空間におけるデータ分布を示す。
【００３０】
図２において、３０１，３０２はｎ次元特徴軸、３０３はｎ次元特徴空間のカテゴリＡに属するデータが分布する領域、３０４は同空間のカテゴリＢに属するデータが分布する領域、３０５はｈ次元特徴空間のカテゴリＡに属するデータが分布する領域、３０６はカテゴリＢに属するデータが分布する領域、３０７はカテゴリＡに属する学習パターン、３１１，３１２はｈ次元特徴軸、３１３は現時刻におけるｍ次元特徴軸、３１４は修正後のｍ次元特徴軸、３１５，３１６は修正後のｈ次元特徴軸、３１７はｍ次元特徴軸３１４に写像されたカテゴリＡの学習パターン、３１８はｍ次元特徴軸３１４に写像されたカテゴリＡの参照パターンである。
【００３１】
ｎ，ｈ，ｍの値は独立して設定することが可能であるが（ただし、ｍ＜ｎ）、図２では、理解を容易にするためにｎ＝２、ｈ＝２、ｍ＝１の場合を例にとって図示している。軸３０１及び軸３０２は、ｎ次元特徴空間を構成する２次元の軸であり、このｎ次元特徴空間中にカテゴリＡに属するデータが分布３０３の領域に存在し、カテゴリＢに属するデータが分布３０４の領域に存在する。
【００３２】
図２（ｂ）は、ｎ次元特徴空間を非線形に変換して得た、軸３１１及び軸３１２によって構成される現時刻のｈ次元特徴空間を示している。ｈ次元特徴空間上ではカテゴリＡのデータは分布３０５の領域に写像され、カテゴリＢのデータは分布３０６の領域に写像されているものとする。さらに、カテゴリＡに属する学習パターン３０７を現時刻のｍ（＝１）次元特徴軸３１３上に写像した点をｍ次元パターン３１０とし、カテゴリＡ，Ｂの参照パターンをそれぞれｍ次元参照パターン３０８，３０９とする。
【００３３】
図２（ｂ）に示す状況の場合、学習パターン３１０は、カテゴリＡの参照パターン３０８よりもカテゴリＢの参照パターン３０９により近いため、カテゴリＢに誤識別されてしまう。本発明の学習モードでは、このような状況において、正解カテゴリの参照パターンと学習パターンとの距離が減少し、不正解であるカテゴリの参照パターンと学習パターンとの距離が増大するように、第１の特徴変換係数集合１１２（ｗ(1)ji ）及び第２の特徴変換係数集合１１３（ｗ(2)kj ）が修正される。
【００３４】
まず、第２の特徴変換係数集合１１３の修正について述べる。図２（ｂ）において、第２の特徴変換係数集合１１３を修正することは、ｍ次元特徴軸３１３が移動することに相当する。第２の特徴変換係数集合１１３の機能を簡単のために線形変換であると仮定すれば、図２（ｂ）に示す状況において、ｍ次元特徴軸３１３は、正解カテゴリの参照パターンと学習パターンとの距離が減少し、不正解カテゴリの参照パターンと学習パターンとの距離が増大するように原点を中心として右回りに若干回転し、新たなｍ次元特徴軸３１４へと変化する（図２（ｃ））。
【００３５】
次に、第１の特徴変換係数集合１１２の修正について述べる。図２（ｂ）において、第１の特徴変換係数集合１１２を修正することは、ｈ次元特徴軸３１１，３１２を変化させることに相当する。たとえば、第１次特徴変換部１１０により特徴軸３１１，３１２の局所的伸縮が可能であるならば、正解カテゴリの参照パターンと学習パターンとの距離が減少し、不正解であるカテゴリの参照パターンと学習パターンとの距離が増大するように特徴軸３１２を局所的に引き延ばし、新たなｈ次元特徴軸３１５，３１６を得る。
【００３６】
これにより、第１の特徴変換係数集合１１２及び第２の特徴変換係数集合１１３を修正した後の、ｈ次元特徴空間におけるパターンの分布及びｍ次元特徴軸は図２（ｃ）に示す状態となる。ｍ次元特徴軸３１４上では、ｍ次元特徴軸３１４に写像されたカテゴリＡの学習パターン３１７が、正解カテゴリＡの参照パターン３１８に接近し、正しく識別されるように変化している。
【００３７】
以上の説明はｎ＝ｈ＝２、ｍ＝１の場合を例にあげたが、ｍが２以上である場合やｎまたはｈが３以上である場合も軸の数が増えるだけで、全く同じ原理で動作する。したがって、このような修正を各学習パターンに対して繰り返し適用することにより、従来法では抽出不能だったｍ次元特徴空間が得られることとなり、従来法よりも優れたパターン認識装置を構成することができる。
【００３８】
そして、第１の特徴変換係数集合１１２、第２の特徴変換係数集合１１３及び認識辞書１０６中の参照パターン（参照ベクトル）は、具体的に以下の方法によって修正することが可能である。入力パターンから抽出したｎ次元特徴をＸ＝｛Ｘ1，Ｘ2，Ｘ3，．．．，Ｘn｝、バイアスのための入力Ｘ0（＝１） 、ｈ次元特徴をｚ＝｛ｚ1，ｚ2，ｚ3，．．．，ｚh｝、ｍ次元特徴をｘ＝｛ｘ1，ｘ2，ｘ3，．．．，ｘm｝とし、ｎ次元特徴Ｘからｈ次元特徴ｚのｊ次元目の値ｚj を抽出する非線形関数ｆ(1)jを次式のように表す。
【００３９】
【数７】
0004701518.tif 000008
【００４０】
同様に、ｈ次元特徴ｚからｍ次元特徴ｘのｋ次元目の値ｘk を抽出する線形関数もしくは非線形関数ｆ(2)kを次式のように表す。
【００４１】
【数８】
0004701518.tif 000009
【００４２】
ここで、Λ(1)jは関数ｆ(1)jに用いられるパラメータの集合を示し、Λ(2)kは関数ｆ(2)kに用いられるパラメータの集合を示す。Ｘi，ｚj，ｘk の依存関係を図に示すと図３のような２層の関係になる。
【００４３】
さて、ここで正解カテゴリに対応するｍ次元参照パターンｒc ＝｛ｒc,1，ｒc,2，ｒc,3，．．．．ｒc,m｝とｍ次元特徴ｘ＝｛ｘ1，ｘ2，ｘ3，．．．，ｘm｝との距離ｄc と、正解カテゴリ以外のカテゴリに対応するｍ次元参照パターンｒe ＝｛ｒe,1，ｒe,2，ｒe,3，．．．．ｒe,m｝とｍ次元特徴ｘとの距離ｄe をそれぞれユークリッド距離の２乗、すなわち次式のように定義する。
【００４４】
【数９】
0004701518.tif 000010
【００４５】
このとき、今着目している入力パターンに対する認識の確実性をより高めるためには、入力パターンから抽出したｍ次元特徴ｘと正解カテゴリのｍ次元参照パターンｒc との距離ｄc が現在よりも小さくなり、かつｍ次元特徴ｘと不正解カテゴリに属するｍ次元参照パターンｒe との距離ｄe が現在よりも大きくなればよい。
【００４６】
まず、ｍ次元参照パターンｒc，ｒeの修正方法について述べる。距離ｄc を減少させ、距離ｄe を増大させるには、各距離ｄc，ｄeをｍ次元参照パターンｒc，ｒeで偏微分し、ｍ次元参照パターンｒc を負の勾配方向に、ｍ次元参照パターンｒe を正の勾配方向に修正すればよい。距離ｄc，ｄeの偏微分は次式により与えられる。
【００４７】
【数１０】
0004701518.tif 000011
【００４８】
したがって、以下の修正式によりｍ次元参照パターンｒc，ｒeを修正することができる。
【００４９】
【数１１】
0004701518.tif 000012
【００５０】
ただし、式（１１）において、学習係数ε1（ｔ） は小さな正の実数値をとり、時間の経過とともに０に収束するよう制御される。次に、第２の特徴変換係数集合Λ(2)kの修正方法について述べる。Λ(2)kの変化に対する距離ｄc，ｄeの変化はチェインルールを用いて次式のように表される。
【００５１】
【数１２】
0004701518.tif 000013
【００５２】
【数１３】
0004701518.tif 000014
【００５３】
式（１２）、式（１３）の右辺はいずれも微分可能なので、これら２つの式を統合して以下の式によりΛ(2)kを修正することが可能である。
【００５４】
【数１４】
0004701518.tif 000015
【００５５】
式（１４）において学習係数ε2（ｔ） は小さな正の実数値をとる。最後に、第１の特徴変換係数集合Λ(1)jの修正方法について述べる。図２からわかるように、Λ(1)jの変化はｈ次元特徴ｚのｊ次元目の値ｚj に影響を与え、ｚj の変化はｍ次元特徴ｘのｋ次元目の値ｘk （ｋ＝１，２，３，．．，ｍ）に影響を与える。よって、第１の特徴変換係数集合Λ(1)jに対する距離ｄc，ｄeの偏微分はチェインルールを用いて次式のように表される。
【００５６】
【数１５】
0004701518.tif 000016
【００５７】
【数１６】
0004701518.tif 000017
【００５８】
式（１５）、式（１６）の右辺はいずれも微分可能なので、これら２つの式を統合して以下の式によりΛ(1)jを修正することが可能である。
【００５９】
【数１７】
0004701518.tif 000018
【００６０】
式（１７）において学習係数ε3（ｔ） は小さな正の実数値をとる。以上の修正式に基づいて、ｍ次元参照パターンｒc，ｒe、第１の特徴変換係数集合Λ(1)j及び第２の特徴変換係数集合Λ(2)kを修正することにより、入力パターンから抽出したｍ次元特徴ｘと正解カテゴリのｍ次元参照パターンｒc との距離ｄc を減少させ、かつｍ次元特徴ｘと不正解カテゴリのｍ次元参照パターンｒe との距離ｄe を増大させることができ、高い認識精度を有するパターン認識装置を構成することができる。
【００６１】
また、上記のパラメータ修正は、最急降下法の原理に基づいているため、学習結果がパラメータの初期値に依存する。そこで、最急降下をできるだけ認識精度の高いパラメータから開始することにより、学習後の認識精度がより高くなるものと期待できる。つまり、参照パターン及び第１，２の特徴変換係数集合の初期値には、ある程度の認識が可能な値を使用することが望ましい。
今、第１次特徴変換部１１０による変換を次式で定義する。
【００６２】
【数１８】
0004701518.tif 000019
【００６３】
また、第２次特徴変換部１１１による変換を次式で定義する。
【００６４】
【数１９】
0004701518.tif 000020
【００６５】
式（１８）、式（１９）において、関数ｇは単調な非線形関数（シグモイド関数）である。ｗ(1)ji は第１の特徴変換係数集合１１２（Λ(1)j）を構成するパラメータ（集合の要素）、ｗ(2)kj は第２の特徴変換係数集合１１３（Λ(2)k）を構成するパラメータである。
【００６６】
この場合、学習パターンを主成分分析もしくは正準判別分析して得られるｈ個の軸をφ1 ＝｛φ11，φ12，．．．．，φ1n｝，φ2 ＝｛φ21，φ22，．．．．，φ2n｝，．．．．，φh ＝｛φh1，φh2，．．．．，φhn｝，φj0＝０（ｊ＝１，２，３，．．．，ｈ）として、第１の特徴変換係数集合１１２（Λ(1)j）のパラメータｗ(1)ji を次式で定義する。
【００６７】
【数２０】
0004701518.tif 000021
【００６８】
また、第２の特徴変換係数集合１１３（Λ(2)k）のパラメータｗ(2)kj を次式で定義する。
【００６９】
【数２１】
0004701518.tif 000022
【００７０】
式（２１）において、δはクロネッカーのデルタを示す。式（２０）、式（２１）のように定義すると、第１次特徴変換部１１０は、入力パターンから抽出されたｎ次元特徴をｈ個の主成分軸もしくは正準判別軸に投影した値を非線形関数ｇで変換したｈ次元の値を抽出していると解釈することができる。また、第２次特徴変換部１１１は、ｈ次元の値の中からｍ個を単純に抜き出しているものと解釈することができる。
【００７１】
主成分分析で得られる軸はパターンを近似する上で最良の軸であり、正準判別軸はパターンを識別する上で良好な軸である。よって、第２次特徴変換部１１１の出力であるｍ次元特徴空間は、単調な非線形関数ｇにより多少伸縮されているものの、ある程度識別に適した特徴であると考えられる。
【００７２】
そして、学習パターンからカテゴリ毎に抽出したｎ次元の平均ベクトルを上記変換によってｍ次元参照ベクトルとすれば、ｍ次元特徴空間においても平均ベクトルの周囲に同カテゴリのパターンが分布することになる。したがって、本実施の形態の初期設定法を用いれば、初期状態のパラメータである程度の識別が可能であり、この値をもとに学習を開始すれば、乱数によって初期化する場合などに比べ、優れたパターン認識装置を構築できる可能性が高まる。
【００７３】
次に、図１のパターン認識装置における動作例を説明する。パターン認識装置の動作モードとしては、特徴選択辞書１０４及び認識辞書１０６を修正する学習モードと、学習モードによって構築された辞書１０４，１０６を用いて入力パターンを次々と認識する認識モードの２つのモードがある。
【００７４】
まず、学習モードの動作例について図４を参照しつつ説明する。図４は学習モードのフローチャートを示す図である。本学習はいわゆる逐次学習であり、認識辞書修正部１０８、特徴選択辞書修正部１０９は、最初に認識辞書１０６及び特徴選択辞書１０４の初期化を行う（図４ステップＳ４０１）。
【００７５】
特徴選択辞書修正部１０９は、学習パターンから抽出したｎ次元特徴ベクトルに関する主成分軸ｈ個もしくは正準判別軸ｈ個をφ1 ＝｛φ11，φ12，．．．．，φ1n｝、φ2 ＝｛φ21，φ22，．．．．，φ2n｝、．．．．、φh ＝｛φh1，φh2，．．．．，φhn｝で表すとすると、特徴選択辞書１０４の第１の特徴変換係数集合１１２のパラメータｗ(1)ji を次式により初期化する。
【００７６】
【数２２】
0004701518.tif 000023
【００７７】
また、特徴選択辞書修正部１０９は、特徴選択辞書１０４の第２の特徴変換係数集合１１３のパラメータｗ(2)kj を次式により修正する。
【００７８】
【数２３】
0004701518.tif 000024
【００７９】
仮に、認識対象のカテゴリ数Ｃ＞次元数ｍが成立するならば、第１の特徴変換係数集合１１２（ｗ(1)ji ）を正準判別分析で求めることができるが、そうでない場合は主成分分析を用いるのがよい。
【００８０】
次に、認識辞書修正部１０８及び特徴選択辞書修正部１０９は、学習サイクル数及び学習パターン数を設定する（ステップＳ４０２）。学習サイクル数とは全学習パターンに対する学習作業を１サイクルと数えたときに、その作業を何回繰り返すかを指定する変数である。
【００８１】
次に、認識辞書修正部１０８及び特徴選択辞書修正部１０９は、次学習サイクル数を記憶するカウンタＬＣの値を１に初期化する（ステップＳ４０３）。この後、カウンタＬＣが示す学習サイクル数が規定回数を超えたか否かをチェックし（ステップＳ４０４）、規定回数を超えたならば（ステップＳ４０４においてＮＯ）、学習を終了する。カウンタＬＣが示す学習サイクル数が規定回数以下の場合（ステップＳ４０４においてＹＥＳ）は、以下の処理を行う。
【００８２】
まず、認識辞書修正部１０８及び特徴選択辞書修正部１０９は、次学習パターンの番号を記憶するカウンタＰＮの値を１に初期化し（ステップＳ４０５）、カウンタＰＮが示す学習パターン数が規定数を超えたか否かをチェックする（ステップＳ４０６）。規定数を超えたならば（ステップＳ４０６においてＮＯ）、次学習サイクル数を数えるカウンタＬＣの値を１増加させ（ステップＳ４０８）、ステップＳ４０４に戻る。
【００８３】
カウンタＰＮが示す学習パターン数が規定数以下であれば（ステップＳ４０６においてＹＥＳ）、ＰＮ番目の学習パターンを１つ読み込んで特徴ベクトルを抽出し、参照ベクトルとの照合結果に基づいて認識辞書１０６及び特徴選択辞書１０４の修正を行う（ステップＳ４０７）。
【００８４】
修正終了後、認識辞書修正部１０８及び特徴選択辞書修正部１０９は、次学習パターン番号を記憶するカウンタＰＮの値を１増加させ（ステップＳ４０９）、ステップＳ４０６に戻る。以上の手続きにより、各学習パターンに対してステップＳ４０２で設定した回数の修正手続きが実行され、修正手続きの実行後、学習モードは終了する。
【００８５】
以上が学習モード時の概略手順であるが、ここで学習モードにおける要の処理である辞書修正ステップ（ステップＳ４０７）について図５を参照しつつ更に詳細に説明する。辞書修正ステップでは、入力データ読み込み（ステップＳ５０１）、特徴抽出（ステップＳ５０２）、ｈ次元特徴選択（ステップＳ５０３）、ｍ次元特徴選択（ステップＳ５０４）、認識辞書の修正（ステップＳ５０５）、特徴選択辞書の修正（ステップＳ５０６）の各ステップが実行される。
【００８６】
以下、それぞれの処理について具体的に説明する。まず、データ入力部１０１が読み込んだ学習パターンは、特徴抽出部１０２に入力され（図５ステップＳ５０１）、特徴抽出部１０２によってｎ次元の特徴ベクトルが抽出される（ステップＳ５０２）。
【００８７】
第１次特徴変換部１１０は、現時刻における第１の特徴変換係数集合１１２に基づいてｎ次元特徴ベクトルからｈ次元特徴ベクトルを抽出し（ステップＳ５０３）、続いて第２次特徴変換部１１１は、現時刻における第２の特徴変換係数集合１１３に基づいてｈ次元特徴ベクトルからｍ次元特徴ベクトルを抽出する（ステップＳ５０４）。
【００８８】
認識辞書修正部１０８は、特徴選択部１０３から出力されたｍ次元特徴ベクトルと認識辞書１０６中のｍ次元参照ベクトルとを照合し、このｍ次元特徴ベクトルの最近傍に存在する不正解カテゴリのｍ次元参照ベクトルｒe と、正解カテゴリのｍ次元参照ベクトルｒc とを抽出して、ｍ次元参照ベクトルｒc とｍ次元特徴ベクトルとの距離ｄc が減少し、かつｍ次元参照ベクトルｒe とｍ次元特徴ベクトルとの距離ｄe が増大するように認識辞書１０６を最急降下法によって修正する（ステップＳ５０５）。
【００８９】
そして、特徴選択辞書修正部１０９は、ステップＳ５０５で抽出された情報を利用して、ｍ次元参照ベクトルｒc とｍ次元特徴ベクトルとの距離ｄc が減少し、かつｍ次元参照ベクトルｒe とｍ次元特徴ベクトルとの距離ｄe が増大するように特徴選択辞書１０４を修正する（ステップＳ５０６）。
【００９０】
以上のような修正によって、パターン認識にとってより好適なｍ次元特徴及び認識辞書が構成されることとなり、より認識精度の高いパターン認識装置を構築することが可能となる。
【００９１】
次に、認識モードの動作について図６を用いて説明する。図６は認識モードのフローチャートを示す図である。認識モードでは、認識辞書１０６及び特徴選択辞書１０４の初期化（ステップＳ９０１）、各入力パターン読み込み（ステップＳ９０２，Ｓ９０３）、特徴抽出（ステップＳ９０４）、ｈ次元特徴選択（ステップＳ９０５）、ｍ次元特徴選択（ステップＳ９０６）、識別（ステップＳ９０７）、結果出力（ステップＳ９０８）の各ステップが実行される。
【００９２】
以下、それぞれの処理について具体的に説明する。まず、学習モードで生成した認識辞書１０６及び特徴選択辞書１０４を読み込む（ステップＳ９０１）。次に、データ入力部１０１は、入力パターンを読み込む（ステップＳ９０２）。特徴抽出部１０２は、データ入力部１０１における入力パターン読み込みが終了して、データ入力部１０１から入力パターンが出力された場合（ステップＳ９０３においてＹＥＳ）、この入力パターンからｎ次元特徴ベクトルを抽出して、特徴選択部１０３に出力する（ステップＳ９０４）。
【００９３】
特徴選択部１０３の第１次特徴変換部１１０は、特徴選択辞書１０４の第１の特徴変換係数集合１１２に基づいてｎ次元特徴ベクトルからｈ次元特徴ベクトルを選択する（ステップＳ９０５）。また、特徴選択部１０３の第２次特徴変換部１１１は、特徴選択辞書１０４の第２の特徴変換係数集合１１３に基づいてｈ次元特徴ベクトルからｍ次元特徴ベクトルを選択する（ステップＳ９０６）。
【００９４】
識別部１０５は、認識辞書１０６に格納されたｍ次元参照ベクトルのうちｍ次元特徴ベクトルとの距離が近いものを認識候補とし、これらの認識候補のうち距離が近いものから順にＣ個抽出する（ステップＳ９０７）。そして、識別部１０５は、抽出した各認識候補が属するカテゴリの番号であるカテゴリコードと、これら認識候補とｍ次元特徴ベクトルとの距離を認識結果出力部１０７に出力する。
【００９５】
認識結果出力部１０７は、識別部１０５から入力された認識候補のカテゴリコードや距離値を図示しない記憶装置に記憶させたり、ディスプレイ装置に表示させたりする（ステップＳ９０８）。ステップＳ９０８の終了後、読み込みステップＳ９０２に戻って、入力パターンがなくなるまでステップＳ９０２〜Ｓ９０８の処理を繰り返す。
【００９６】
本実施の形態のパターン認識方法によって、図７に示すような２次元平面上に分布する２つのカテゴリの入力パターンの識別実験を行った結果について説明する。図７において、６０１はカテゴリＡのデータ、６０２はカテゴリＢのデータを示す。
【００９７】
カテゴリＡの入力パターンについては、（ｘ，ｙ）＝（１００ｃｏｓθ，１００ｓｉｎθ）を満たす２次元データを０≦θ≦π／２の範囲でランダムに１０００個発生させ、カテゴリＢの入力パターンについても同様に（ｘ，ｙ）＝（８５ｃｏｓθ，８５ｓｉｎθ）を満たすデータ１０００個を発生させた後、ｘ，ｙ座標値の平均値が０，分散が１になるように正規化したデータを各カテゴリのデータとした。
【００９８】
このような入力パターンを、従来法である線形な特徴選択機能を持つ手法と、本実施の形態のパターン認識方法を用いて学習し、１次元軸上で識別する実験を行った。参照ベクトルの数はいずれも１個／カテゴリとした。また、本実施の形態の第１次特徴変換部１１０が出力する特徴の次元数ｈを２とし、第２次特徴変換部１１１による変換を線形変換とした。識別実験の結果を表１に示す。
【００９９】
【表１】
0004701518.tif 000025
【０１００】
本実験の結果、線形な特徴選択機能を持つ従来の方法では１３．７５％（２０００件中２７５件）誤識別したのに対し、本実施の形態のパターン認識方法では誤識別が０件となった。このとき、本実施の形態の第１次特徴変換部１１０が出力する２次元の特徴によって形成される２次元平面上でのデータ分布を図８に示す。
【０１０１】
図８において、８０１はカテゴリＡのデータ、８０２はカテゴリＢのデータを示す。図８から、原特徴空間（ｎ＝２）では線形分離不能であったデータが第１次特徴変換部１１０によって線形分離可能な空間に非線形に変換され、認識性能が向上したことがわかる。
【０１０２】
以上の実施の形態では、正解カテゴリのｍ次元参照ベクトルを１つであると仮定していたが、１つのカテゴリに複数のｍ次元参照ベクトルが存在してもよい。１つのカテゴリに複数のｍ次元参照ベクトルが存在する場合、ｍ次元参照ベクトルｒc は入力パターンから抽出したｍ次元特徴ベクトルの最近傍に存在する正解カテゴリの参照ベクトルとすればよい。
【０１０３】
また、ｍ次元参照ベクトルの初期値は、学習パターンに対してｋ−ｍｅａｎｓクラスタリングなどで抽出した複数の代表ベクトルを、本実施の形態で示した特徴変換係数集合１１２，１１３の初期値を用いてｍ次元に変換したベクトルを用いればよい。
【０１０４】
また、本実施の形態では、学習モード時におけるｍ次元参照ベクトルとｍ次元特徴ベクトルとの照合を認識辞書修正部１０８にて行うものとしたが、特徴選択辞書修正部１０９で行ってもよい。この場合は、特徴選択辞書修正部１０９で抽出した情報を認識辞書修正部１０８に出力すればよい。
【０１０５】
さらに、本実施の形態では、特徴選択部１０３を第１次特徴変換部１１０と第２次特徴変換部１１１とから構成されるものとしたが、第１次特徴変換部１１０と同様の機能を有する処理部を第１次特徴変換部と第２次特徴変換部の間に１個以上追加してもよく、同様の方法によって従来法よりも優れたパターン認識装置を構築することができる。
【０１０６】
また、本実施の形態において、パターン認識装置はコンピュータによって実現することができる。このコンピュータは、中央処理装置（ＣＰＵ）と、リードオンリメモリ（ＲＯＭ）と、ランダムアクセスメモリ（ＲＡＭ）と、表示装置やキーボード、外部記憶装置とのインタフェースをとるための回路などを備えた周知の構成のものでよい。
【０１０７】
ＣＰＵは、ＲＯＭ若しくはＲＡＭに記憶されたプログラム、又はキーボードから入力されたコマンドに従って処理を実行する。また、ＣＰＵは、外部記憶装置にデータを書き込んだり、外部記憶装置からデータを読み出したりすることができる。
【０１０８】
このようなコンピュータにおいて、本発明のパターン認識方法を実現させるためのパターン認識プログラムは、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカードなどの記録媒体に記録された状態で提供される。この記録媒体を外部記憶装置に挿入すると、記録媒体に書き込まれたプログラムが読み取られ、コンピュータに転送される。そして、ＣＰＵは、読み込んだプログラムをＲＡＭ等に書き込む。しかる後に、ＣＰＵは、図４〜図６で説明した前述の処理を実行する。
【０１０９】
【発明の効果】
本発明によれば、ｎ次元特徴からｍ次元特徴を選択する特徴選択部の特徴選択機能を非線形変換に拡張し、非線形変換を行うための特徴選択辞書（第１、第２の特徴変換係数集合）と認識のための識別辞書とを学習プロセスによって同時に最適化することが可能であるため、従来法よりもより少ない次元数の特徴を用いて高精度なパターン認識を実現することができる。
【０１１０】
また、学習パターンのｎ次元特徴を分析して得られる軸のなかからｈ個を抽出して第１の特徴変換係数集合の初期値とし、学習パターンのｍ次元特徴のｋ次元目の値ｘk とｈ次元特徴のｋ次元目の値ｚk との関係がｘk＝ｚkとなるような係数を第２の特徴変換係数集合の初期値とし、学習パターンのｎ次元特徴の平均値をカテゴリ毎に求め、この平均値を第１の特徴変換係数集合の初期値を用いてｈ次元に変換し、このｈ次元に変換した値を第２の特徴変換係数集合の初期値を用いてｍ次元に変換した値を各カテゴリのｍ次元参照パターンの初期値とすることにより、ｍ次元参照パターン及び第１、第２の特徴変換係数集合の初期値をある程度のパターン認識が可能な値に設定可能であるため、乱数などで初期値設定を行う場合に比べて、良好な初期値設定を行うことができる。
【図面の簡単な説明】
【図１】  本発明の第１の実施形態にかかるパターン認識装置の構成を示すブロック図である。
【図２】  特徴選択部における特徴の関連をネットワークによって模式化した図である。
【図３】  ｎ次元特徴、ｈ次元特徴及びｍ次元特徴の依存関係を示す図である。
【図４】  本発明の第１の実施形態における学習モードのフローチャートを示す図である。
【図５】  学習モード時における辞書修正のフローチャートを示す図である。
【図６】  本発明の第１の実施形態における認識モードのフローチャートを示す図である。
【図７】  本発明の第１の実施形態において認識実験に用いた人工データの分布を示す図である。
【図８】  認識実験において本発明の第１次特徴変換部によって出力された２つの特徴が構成する空間に入力データを写像した図である。
【符号の説明】
１０１…データ入力部、１０２…特徴抽出部、１０３…特徴選択部、１０４…特徴選択辞書、１０５…識別部、１０６…認識辞書、１０７…認識結果出力部、１０８…特徴選択辞書修正部、１０９…認識辞書修正部、１１０…第１次特徴変換部、１１１…第２次特徴変換部、１１２…第１の特徴変換係数集合、１１３…第２の特徴変換係数集合、Ｘ…ｎ次元特徴、ｚ…ｈ次元特徴、ｘ…ｍ次元特徴。
【図１】
0004701518.tif 000026
【図２】
0004701518.tif 000027
【図３】
0004701518.tif 000028
【図４】
0004701518.tif 000029
【図５】
0004701518.tif 000030
【図６】
0004701518.tif 000031
【図７】
0004701518.tif 000032
【図８】
0004701518.tif 000033