(57)【特許請求の範囲】
【請求項１】
類似した複数のカテゴリについて、各カテゴリの標準パターンとパターン認識を行う入力パターンの近さの尺度を計算する計算部と、前記類似した複数のカテゴリの一部または全部のカテゴリを要素とする複数の類似カテゴリセットについて、各類似カテゴリセットに含まれるカテゴリ間の識別を行うように学習された複数の神経回路と、前記入力パターンについて、前記近さの尺度を用いて識別を行うのか、前記複数の神経回路を用いて識別を行うのかを判断する判定部を含むパターン認識装置が、前記入力パターンが前記類似した複数のカテゴリのうちのどのカテゴリに属するのかを識別するパターン認識方法において、
前記類似カテゴリセットは、あらかじめ、前記計算部によって、前記類似した複数のカテゴリのそれぞれに関連づけられて、各カテゴリとそれ以外のカテゴリの類似度にもとづいて構成されており、
前記複数の神経回路は、あらかじめ、前記類似カテゴリセットを媒介として、前記類似した複数のカテゴリのそれぞれと一意に関連づけられ、
前記判定部は、前記計算部によって計算された前記近さの尺度があらかじめ定められている条件を満足していると判断すると、前記入力パターンを前記近さの尺度を用いて識別し、
前記判定部は、前記計算部によって計算された前記近さの尺度があらかじめ定められている条件を満足していないと判断すると、前記入力パターンに最も近い尺度を示したカテゴリと一意に関連づけられた神経回路を選択し、当該神経回路に前記入力パターンの識別を行わせることを特徴とするパターン認識方法。
【請求項２】
前記条件は、最も近い尺度を示したカテゴリと、その次に近い尺度を示したカテゴリの前記近さの尺度の差が、あらかじめ定められた値より大きいことである、請求項１に記載のパターン認識方法。
【請求項３】
前記条件は、最も近い尺度を示したカテゴリと、その次に近い尺度を示したカテゴリの前記近さの尺度の比が、あらかじめ定められた値より大きいことである、請求項１に記載のパターン認識方法。
【請求項４】
パターン認識を行う入力パターンが、類似した複数のカテゴリのうちのどのカテゴリに属するのかを識別するパターン認識装置において、
前記類似した複数のカテゴリについて、各カテゴリの標準パターンと前記入力パターンの近さの尺度を計算するとともに、前記類似した複数のカテゴリのそれぞれに関連づけて、各カテゴリとそれ以外のカテゴリの類似度にもとづいて、前記類似した複数のカテゴリの一部または全部のカテゴリを要素とする複数の類似カテゴリセットを構成する計算部と、
前記複数の類似カテゴリセットについて、各類似カテゴリセットに含まれるカテゴリ間の識別を行うように学習され、前記類似カテゴリセットを媒介として、前記類似した複数のカテゴリのそれぞれと一意に関連づけられた複数の神経回路と、
前記計算部によって計算された前記近さの尺度があらかじめ定められている条件を満足していると判断すると、前記入力パターンを前記近さの尺度を用いて識別し、前記計算部によって計算された前記近さの尺度があらかじめ定められている条件を満足していないと判断すると、前記入力パターンに最も近い尺度を示したカテゴリと一意に関連づけられた神経回路を選択する判定部を有することを特徴とするパターン認識装置。
【請求項５】
前記条件は、最も近い尺度を示したカテゴリと、その次に近い尺度を示したカテゴリの前記近さの尺度の差が、あらかじめ定められた値より大きいことである、請求項４に記載のパターン認識装置。
【請求項６】
前記条件は、最も近い尺度を示したカテゴリと、その次に近い尺度を示したカテゴリの前記近さの尺度の比が、あらかじめ定められた値より大きいことである、請求項４に記載のパターン認識装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はパターン認識方法とその装置に関する。
【０００２】
【従来の技術】
従来のパターン認識の方法として入力パターンと該入力パターンに近似するカテゴリの標準パターンとの近さの尺度を用いる方法が知られている（例えば「文字認識概論」（電気通信協会）参照）。
【０００３】
近さの尺度としては距離、類似度等がある。ここで、距離を用いた識別について説明する。
【０００４】
入力パターンｘから抽出した特徴ベクトルとＩ個のカテゴリの標準となる特徴ベクトルｍｉ（ｉ＝１，２，・・・Ｉ）との間で各カテゴリ毎の距離ｄｉ＝Ｄ（ｘ，ｍ）を計算し、Ｉ個のｄｉの中で最小となるｄｉに対応するカテゴリを計算することこにより識別する方法がよく知られている。距離を定義する関数Ｄとしては，ユークリッド距離ＤＵ，マハラノビス距離ＤＭ等が知られている。この方法は標準となる特徴ベクトルの近辺に分布する入力パターンは高性能で識別でき、また、カテゴリ数の拡張が容易であるため、多種類のカテゴリの識別に適している。しかしながら、この方法は各カテゴリ間の特徴分布が接近している場合は識別が困難となる欠点がある。このような現象は、パターン形状の類似したカテゴリに見られるため、類似カテゴリの識別が従来から行なわれている。
【０００５】
類似カテゴリを識別する方法として、カテゴリ間の形状の差異に着目する構造解析方法（例えば「手書き漢字認識の一手法−多元圧縮法と部分パターン法による認識−」電子通信学会論文集（Ｄ）、Ｖｏｌ．Ｊ６８−Ｄ，  Ｎｏ．４，  ｐｐ．７７３−７８０，１９８５年３月参照）がある。これは入力パターンの局所的な形状特徴を用いることにより識別を行うものである。しかし、この手法は入力パターンに変形が加わった場合、検出すべき形状特徴の位置あるいは形状そのものに変化が生じ、目的とする形状特徴の抽出が困難になるという問題がある。
【０００６】
これを解決するため、パターンの部分領域内に存在する特徴を用いて識別する方法（例えば「部分整合領域の自動学習による手書き文字の詳細識別に関する一手法」電子情報通信学会論文誌（Ｄ−ＩＩ），Ｖｏｌ．Ｊ７８−Ｄ−ＩＩ  Ｎｏ．３，  ｐｐ．４９２−５００，１９９５年３月参照）がある。この方法は部分領域の導入により形状特徴の位置変化を緩和したものの、部分領域内の全ての特徴を用いるため特徴の差異が小さい場合は依然として識別困難である。
【０００７】
一方、パターンの局所的形状ではなく、パターン全体から抽出した特徴の差異で識別を行う方法がある。類似カテゴリ間の中で特徴ベクトルの相関比の大きい成分のみを選択して識別を行なう方法（例えば「数量化理論第Ｉ類を用いた手書き類似文字の詳細識別」電子情報通信学会技術研究報告ＰＲＵ８８−１１６，Ｖｏｌ．８８，Ｎｏ．４０７，ｐｐ．５７−６４，１９８９年２月参照）がある。しかし、この方法は特徴が単独で用いているため、選択された特徴が入力パターンにおいて安定に抽出されなければ識別率が低下するという問題がある。そこで、特徴単独ではなく特徴間に関連性を持たせた新しい特徴を生成して識別する方法があり、その代表的なものに部分空間を用いる方法（例えば「複数特徴部分空間法による手書き類似漢字識別」電子情報通信学会論文誌（Ｄ−ＩＩ、  Ｖｏｌ．Ｊ７８Ｄ−ＩＩ），  Ｎｏ．１０，ｐｐ．１４６０−１４６８，  １９９５年１０月参照）がよく知られている。しかし、部分空間法は自カテゴリの特徴分布を記述する能力は高いものの、他カテゴリとの関係の記述がなされていないので特徴分布が接近しているカテゴリ間では誤識別が生じ易い。
【０００８】
そこで、他カテゴリとの関係を考慮して新しい特徴を生成する方法（例えば、「相対ＫＬ変換法によるパターン認識」電子情報通信学会技術研究報告ＰＲＵ９５−２１８，  Ｖｏｌ．９５，  Ｎｏ．５８３，  ｐｐ．  １７−２２，  １９９６年３月参照）があるが、部分空間法は線形変換で新しい特徴を生成しているため、識別境界近傍の特徴分布が複雑な場合は、分離度の高い特徴が得られ難いという問題がある。
【０００９】
分離度を向上させるためには非線形の変換を行う必要がある。これを実現する手段として神経回路（例えば、Ｐａｒａｌｌｅｌ  Ｄｉｓｔｒｉｂｕｔｅｄ  Ｐｒｏｃｅｓｓｉｎｇ，  ＭＩＴ  Ｐｒｅｓｓ，１９８６年参照）によるものがある。また、これを多種類のカテゴリ識別に用いる試み（例えば、「大規模ニューラルネット”Ｃｏｍｂ  ＮＥＴ−ＩＩ”」電子情報通信学会論文誌（Ｖｏｌ．Ｊ７５−Ｄ−ＩＩ，  Ｎｏ．３，  ｐｐ．５４５−５５３，  １９９２年３月参照）がある。しかし、神経回路のみで多種類のカテゴリを識別しようとすると、回路規模が大きくなり学習が困難になる。そのため、大分類を行い候補カテゴリを絞り、該カテゴリに対し神経回路を適用する方法が採用されている（前記文献参照）。ところが、大分類で絞る候補数を小さくすると誤分類率が高くなり、大きくすると神経回路の認識率が低下するという認識系の設計問題が生ずる。
【００１０】
【発明が解決しようとする課題】
以上述べたように、従来のパターンの局所的形状特徴を用いた方法では、その検出が困難であり、それを回避するパターン全体の特徴を用いる方法では、特徴分布が複雑な場合は適用が難しく、複雑な分布に適する神経回路では、多カテゴリ化への対応が難しいという問題があった。
【００１１】
本発明の目的は、類似カテゴリの包含する多種類のカテゴリを識別可能とするパターン認識方法とその装置を提供することである。
【００１２】
【課題を解決するための手段】
上記目的を達成するために、本発明のパターン認識方法は、類似した複数のカテゴリについて、各カテゴリの標準パターンとパターン認識を行う入力パターンの近さの尺度を計算する計算部と、類似した複数のカテゴリの一部または全部のカテゴリを要素とする複数の類似カテゴリセットについて、各類似カテゴリセットに含まれるカテゴリ間の識別を行うように学習された複数の神経回路と、入力パターンについて、近さの尺度を用いて識別を行うのか、複数の神経回路を用いて識別を行うのかを判断する判定部を含むパターン認識装置が、入力パターンが類似した複数のカテゴリのうちのどのカテゴリに属するのかを識別するパターン認識方法において、類似カテゴリセットは、あらかじめ、計算部によって、類似した複数のカテゴリのそれぞれに関連づけられて、各カテゴリとそれ以外のカテゴリの類似度にもとづいて構成されており、複数の神経回路は、あらかじめ、類似カテゴリセットを媒介として、類似した複数のカテゴリのそれぞれと一意に関連づけられ、判定部は、計算部によって計算された近さの尺度があらかじめ定められている条件を満足していると判断すると、入力パターンを近さの尺度を用いて識別し、判定部は、計算部によって計算された近さの尺度があらかじめ定められている条件を満足していないと判断すると、入力パターンに最も近い尺度を示したカテゴリと一意に関連づけられた神経回路を選択し、当該神経回路に入力パターンの識別を行わせることを特徴とする。
【００１３】
また、前記条件が以下に述べる諸条件の中の少なくとも一つである場合を含む。
【００１４】
１．最も近い尺度を示したカテゴリと、その次に近い尺度を示したカテゴリの近さの尺度の差が、あらかじめ定められた値より大きいこと。
【００１５】
２．最も近い尺度を示したカテゴリと、その次に近い尺度を示したカテゴリの近さの尺度の比が、あらかじめ定められた値より大きいこと。
【００１８】
上記目的を達成するために、本発明のパターン認識装置は、パターン認識を行う入力パターンが、類似した複数のカテゴリのうちのどのカテゴリに属するのかを識別するパターン認識装置において、類似した複数のカテゴリについて、各カテゴリの標準パターンと入力パターンの近さの尺度を計算するとともに、類似した複数のカテゴリのそれぞれに関連づけて、各カテゴリとそれ以外のカテゴリの類似度にもとづいて、類似した複数のカテゴリの一部または全部のカテゴリを要素とする複数の類似カテゴリセットを構成する計算部と、複数の類似カテゴリセットについて、各類似カテゴリセットに含まれるカテゴリ間の識別を行うように学習され、類似カテゴリセットを媒介として、類似した複数のカテゴリのそれぞれと一意に関連づけられた複数の神経回路と、計算部によって計算された近さの尺度があらかじめ定められている条件を満足していると判断すると、入力パターンを近さの尺度を用いて識別し、計算部によって計算された近さの尺度があらかじめ定められている条件を満足していないと判断すると、入力パターンに最も近い尺度を示したカテゴリと一意に関連づけられた神経回路を選択する判定部を有することを特徴とする。
【００１９】
また、前記条件が以下に述べる諸条件の中の少なくとも何れか一つに該当するものは本発明に含まれる。
１．最も近い尺度を示したカテゴリと、その次に近い尺度を示したカテゴリの近さの尺度の差が、あらかじめ定められた値より大きいこと。
【００２０】
２．最も近い尺度を示したカテゴリと、その次に近い尺度を示したカテゴリの近さの尺度の比が、あらかじめ定められた値より大きいこと。
【００２３】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【００２４】
図１は本発明のパターン認識方法が適用されたパターン認識装置の一実施例のブロック図であり、実線は各部間のデータの流れを示し、破線は制御部７の制御信号の流れを示す。
【００２５】
本実施例のパターン認識装置は、特徴抽出部１と、距離計算部２と、判定部３と、神経回路群４と、識別結果メモリ部５と、標準特徴メモリ部６と、制御部７とから構成されている。
【００２６】
距離計算部２は特徴抽出部１より得られた入力パターン１０１の特徴ベクトル１０２と、標準特徴メモリ部６に蓄積されている標準パターンの特徴ベクトルとの距離をカテゴリ毎に計算し、該距離を昇順に並べて候補とともに識別結果として判定部３に出力する。
【００２７】
判定部３は第１位候補カテゴリ１０３が予め定められた類似カテゴリに該当しない場合は、前記識別結果メモリ部５へ送出する。第１位カテゴリ１０３が類似カテゴリに該当する場合は、第１位候補カテゴリ１０３を神経回路群４に送出し、神経回路群４の処理に委ねる。類似カテゴリテーブルの一例を表１に示す。
【００２８】
【表１】
0003553730.tif 000002
表ではＣ１、Ｃ２、・・・、Ｃｋ、・・・、ＣＫのＫ個の候補が類似カテゴリを有する候補として登録されている。
【００２９】
神経回路４は図２に示すように、Ｋ個の神経回路４−１、４−２、・・・４−ｋ、・・・、４−Ｋから構成されている。第１位候補カテゴリ１０３が神経回路群４に送出されたときの処理を図を用いて説明する。
【００３０】
神経回路４−ｋ（ｋ＝１、２、・・・、Ｋ）は表１の類似カテゴリＣｋに対応しており、第１位候補カテゴリ１０３がＣｋの場合は神経回路４−ｋが選択される。神経回路４−ｋには特徴抽出部２で得られた特徴ベクトル１０２が入力として与えられる。神経回路４−ｋは表２のｋ番目の類似カテゴリセットに含まれるｎｋ個のカテゴリ｛Ｃｋ１、Ｃｋ２、・・・、Ｃｋｍ，・・・、Ｃｋｎ（ｋ）｝を識別するよう学習されている。ここで、ｎ（ｋ）はｋにより可変である。神経回路は特徴ベクトル１０２を入力して前記ｎ（ｋ）個のカテゴリに対応する該カテゴリらしさの尺度ｚｊ（ｊ＝１，２，・・・、ｎ（ｋ））を出力し、該ｚｊを降順に並べ変えたものを候補カテゴリとともに最終結果１０４として識別結果メモリ部５に送出する。
【００３１】
表２の類似カテゴリセット設定方法の第１の実施例を次に示す。
【００３２】
【表２】
0003553730.tif 000003
まず、類似カテゴリの核になるカテゴリＣｋを選定する。これは認識系設計者の経験に基づいて選定してもよいし、学習パターンを入力して距離計算部２で得られる候補列の中で第１位候補と第２位候補との距離差が予め定めた閾値以下となるカテゴリを選定してもよい。Ｃｋが求った後、全てのカテゴリの学習パターンを入力し、距離計算部２でＣｋに誤識別するカテゴリＣｍとその出現確率ｐｍ（１）求める。ここで、
【００３３】
【外１】
0003553730.tif 000004
である。予め定めた閾値をｐ０（１）  とすると
【００３４】
【外２】
0003553730.tif 000005
となる最小のｎ（ｋ）で規定される｛Ｃｋ１、Ｃｋ２、・・・Ｃｋｎ（ｋ）｝を第ｋ番目の神経回路が担当する類似カテゴリセットとして設定する。これをｋ＝１からｋ＝Ｋまで行なう。
類似カテゴリセット設定方法の第２の実施例を次に示す。最初にカテゴリＣｋの選定を行なうことは第１の実施例と同様である。全てのカテゴリの学習パターンを入力し、距離計算部２で上位Ｍ１位の候補にＣｋが出現するカテゴリＣｍの出現確率ｐｍ（２）を求める。ここで、
【００３５】
【外３】
0003553730.tif 000006
である。予め定めた閾値をｐ０（２）に対し
【００３６】
【外４】
0003553730.tif 000007
となる最小のｎ（ｋ）で規定される｛Ｃｋ１  、Ｃｋ２  、・・・、Ｃｋｎ（ｋ）｝を第ｋ番目の神経回路が担当する類似カテゴリセットとして設定する。
【００３７】
類似カテゴリセットの設定方法の第３の実施例を次に示す。まず、Ｃｋの選定を行なう。カテゴリＣｋに属する学習パターンを入力し、距離計算部２で上位Ｍ２以内に出現するカテゴリＣｍの出現確率ｐｍ（３）を求める。ここで
【００３８】
【外５】
0003553730.tif 000008
である。予め定めた閾値をｐ０（３）に対し
【００３９】
【外６】
0003553730.tif 000009
となる最小のｎ（ｋ）で規定される｛Ｃｋ１、Ｃｋ２  、・・・、Ｃｋｎ（ｋ）｝を第ｋ番目の神経回路が担当する類似カテゴリセットとして設定する。
【００４０】
神経回路の学習はｋ番目の類似カテゴリセット｛Ｃｋ１  、Ｃｋ２、・・・、Ｃｋ（ｋ）に属する学習パターンを用いて誤差逆伝搬法により行なうこととし、学習パターンの認識率γが予め定めた値γ０に比べγ≧γ０となったところで終了する。
【００４１】
γ≧γ０とならない場合は、予め定めた学習回数Ｌ回の中でγが最もγ０に接近する学習回数の神経回路を採用する。これを全てのｋ（ｋ＝１、２、〜、ｋ）について行なう。
【００４２】
本実施例では入力パターンと標準パターンとの近さの尺度としては距離を用いた例について説明したが、近さの尺度が反映されている量であれば何であってもよい。ただし、類似度のように尺度が大きい場合に意味がある場合は、一定値から類似度を減算した値を用いる等、ある種の変換を施して尺度が小さい場合に意味があるようにしておく必要がある。
【００４３】
また、本実施例では神経回路による識別を実施する判定条件は第１候補カテゴリ１０３が予め定めたカテゴリに該当するものである場合としたが、判定条件としては、第１位候補の距離と第２候補の距離差が一定値以下の場合に処理を行なうもの、あるいは距離比が一定値以下の場合処理を行なうものであってもよい。この場合は該判定条件により生ずる確率の高い類似カテゴリを識別する神経回路４−１，４−２．・・・，４−Ｋを作成しておく必要がある。
【００４４】
以上、本発明を一つの実施例に基づき具体的に説明したが、本発明は前記実施例に限定されるものではなく、その用紙を逸脱しない範囲において種々変更可能であることは言うまでもない。
【００４５】
【実施例】
本発明のパターン認識方法の一実施例を図３に示す。入力パターン１０１の特徴ベクトル１０２を抽出し（ステップ２１）、全ての各標準パターンの特徴ベクトルとの距離をカテゴリ毎に計算し（ステップ２２）、その中の第１位候補１０３が予め定められている条件に該当するか否かを検出し（ステップ２３）、該当する場合は第１位候補のカテゴリ１０３を識別結果メモリ５に登録し（ステップ２４）、該当しない場合は、指定された神経回路による識別を行なって（ステップ２５）、その結果を識別結果メモリ５に登録する（ステップ２６）。
【００４６】
【発明の効果】
以上説明したように本発明は、まず、入力パターンと標準パターン間の近さの尺度を用いることにより、非類似カテゴリの識別を行ない、次に、類似カテゴリについてはパターン間の近さの尺度を用いた識別で第１位となった候補が選択する神経回路を用いて識別を行なう階層構成を採用しているので、類似カテゴリを含む多種類のカテゴリの識別が可能となる。また、類似カテゴリセットは必要に応じて作成すればよいので、追加、削除等、用途に応じたきめ細かいチューニングが容易であるという効果がある。
【図面の簡単な説明】
【図１】本発明のパターン認識装置の一実施例のブロック図である。
【図２】図１に示す神経回路群４の部ロック図である。
【図３】本発明のパターン認識方式の一実施例のフロチャートである。
【符号の説明】
１    特徴抽出部
２    距離計算部
３    判定部
４    神経回路群
５    識別結果メモリ部
６    標準特徴メモリ部
７    制御部
４−１    神経回路
４−２    神経回路
・
・
・
４−ｋ    神経回路
・
・
・
４−Ｋ    神経回路
１０１    入力パターン
１０２    特徴ベクトル
１０３    第１位候補カテゴリ
【図１】
0003553730.tif 000010
【図２】
0003553730.tif 000011
【図３】
0003553730.tif 000012