(57)【特許請求の範囲】
【請求項１】
画像として入力された未知文字パターンから文字を識別する文字識別装置において、
予め用意された文字パターンの学習パターンを記憶する記憶手段と、
前記未知文字パターンに類似した学習パターンを検出し、その検出した学習パターンの主成分を抽出する主成分抽出処理手段と、
前記主成分抽出処理手段で抽出された特定のｎ個（ｎは２以上の自然数）の主成分を評価して、文字を識別する識別手段と、
前記識別手段での評価に使用する学習パターンを、動的に選択する選択手段とを備え、
前記選択手段での学習パターンの動的な選択として、前記主成分抽出処理手段で抽出されたｎ個の主成分のそれぞれに属する学習パターンと、前記未知文字パターンとのユークリッド距離を求め、距離が小さい順に上位のｋ個の学習パターンを取り出し、その取り出されたｋ個の学習パターンからなる集合について、自己相関行列の固有ベクトルを計算し、固有ベクトルを用いて前記未知文字パターンの類似度を計算し、その類似度が最大となるように前記ｋの値を選定することを特徴とする文字識別装置。
【請求項２】
画像として入力された未知文字パターンから文字を識別する文字識別方法において、
予め用意された文字パターンの学習パターンを記憶し、
前記未知文字パターンに類似した学習パターンを検出し、その検出した学習パターンの主成分を抽出し、その抽出された特定のｎ個（ｎは２以上の自然数）の主成分を評価して、文字を識別すると共に、前記評価に使用する学習パターンを、動的に選択するようにし、
前記学習パターンの動的な選択として、前記抽出されたｎ個の主成分のそれぞれに属する学習パターンと、前記未知文字パターンとのユークリッド距離を求め、距離が小さい順に上位のｋ個の学習パターンを取り出し、その取り出されたｋ個の学習パターンからなる集合について、自己相関行列の固有ベクトルを計算し、固有ベクトルを用いて前記未知文字パターンの類似度を計算し、その類似度が最大となるように前記ｋの値を選定したことを特徴とする文字識別方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばスキャナやデジタルカメラで取り込まれた画像中の文字パターンから文字を識別するのに適用して好適な文字識別装置及び文字識別方法に関する。
【背景技術】
【０００２】
近年、デジタルカメラやカメラ付き携帯電話などのデジタル撮影機器の普及に伴い、文字認識の対象が従来のスキャナで入力された品質のよい文字画像から、カメラで撮った品質のよくない文字画像へ広がってきた。撮影画像の品質は、カメラのセンサの高性能化と共に大きく向上したが、撮影時の条件に大きく影響されるため、撮影距離、コントラスト、手ぶれなどの条件によっては、十分な品質が得られない場合が多い。このような低品質の画像に対し、いかにして認識精度を向上させるかが大きな課題となっている。
【０００３】
低品質文字の高精度な認識手法としては、複数枚の入力画像を用いて解像度を向上させる手法、つぶれ領域の影響を低減するように動的に重み付けを行う方法、つぶれに応じて認識辞書を補正する方法、文字の輪郭画像を利用してつぶれにより失われた輪郭を補完する手法、入力文字画像から推定した劣化状態により辞書を選択する方法、劣化モデルをもとに学習パターンを生成する方法など、多くの提案がなされている。一方、文字の変形に有効である識別法としては、未知パターンとカテゴリカル近傍平均パターンとの距離に基づくＣＡＰ法も報告されている。非特許文献１には、文字パターンの識別を、ｋ近傍決定則（以下ｋ−ＮＮ法と称する）で行うことについての開示がある。
【非特許文献１】電子情報通信学会論文集Vol.J88-D-II NO.8 第1357頁から第1366頁  ２００５年８月発行
【発明の開示】
【発明が解決しようとする課題】
【０００４】
文字認識で多く用いられる手法の１つに部分空間法がある。部分空間法では、カテゴリごとの学習パターンからＫＬ展開により、そのカテゴリを表現する低次元の部分空間を求め、未知パターンがどの部分空間に最も類似するかを比較して識別を行う。この次元削減とカテゴリごとの類似度算出という手法を用いると、高次元パターンに対しても精度のよい認識を行うことができる。しかし、カテゴリの重なりが大きなデータや、学習パターンが線形分離困難な状態で分布している場合は、認識率が低下するという問題がある。
【０００５】
図４に部分空間法で誤認識が生じた低品質印刷漢字パターンの例を示す。図３（ａ）に示した低品位印刷画像である入力パターンｘ「鍬」と類似した学習パターンとして、例えば図３（ｂ）に示したカテゴリＡの「鍬」と、図３（ｃ）に示したカテゴリＢの「錐」の学習パターンが、それぞれ１５０個ずつ用意されているとする。このとき、図４は、入力パターンｘ「鍬」がカテゴリＢと誤認識された例である。ここでは各パターンは６４次元ベクトルで表されている。学習パターンの分布を調べるためにＫＬ展開を適用し、第１、第２主成分をそれぞれ横軸、縦軸として学習パターンをプロットした結果を図４に示す。第１、第２主成分は、それぞれのパターンから抽出された主要なデータ成分である。
【０００６】
図４に示すように、カテゴリごとに学習パターンが線形分離困難な状態で分布し、入力パターンの近傍では２カテゴリに重なりが生じていることが分かる。このような分布でも柔軟に対処できる識別法としてはｋ−ＮＮ法が挙げられる。ｋ−ＮＮ法は学習パターンの中から未知パターンに近いｋ個のパターンをとり、多数決をとる識別法である。すなわち、ｋ個の中で、カテゴリｃに属しているものの数が最大であれば、カテゴリｃを識別結果となる。この方法は、特徴ベクトルの次元数が大きくない場合には、学習パターンの分布にかかわらず高い識別性能を有することが知られている。しかし、特徴ベクトルの次元数が大きい場合には、学習パターン数を増加させなければ識別性能が低下するという問題がある。
【０００７】
図４において、低品質の入力パターンは劣化により自カテゴリの学習パターンから離れてしまうため、誤認識となっていることが分かる。このような場合にｋ−ＮＮ法で高い認識率を得るためには、パターンの分布を表現する十分な学習パターンを準備する必要がある。低品質印刷漢字のさまざまな劣化状態をもれなくカバーするには膨大な学習パターンが必要となり、限られた学習パターンしか得られない場合には誤認識が増加する。
【０００８】
劣化した文字パターンを対象として、線形分離困難な状態で分布する高次元学習パターンから、いかにして高い識別精度を実現するかが、低品質印刷漢字認識の課題である。
【０００９】
本発明はかかる点に鑑みてなされたものであり、文字パターンから文字を識別する処理が、低品質印刷された画像などからも正確に識別できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、画像として入力された未知文字パターンから文字を識別する場合において、予め用意された文字パターンの学習パターンを記憶し、未知文字パターンに類似した学習パターンを検出し、その検出した学習パターンの主成分を抽出し、その抽出された特定のｎ個（ｎは２以上の自然数）の主成分を評価して、文字を識別すると共に、評価に使用する学習パターンを、動的に選択するようにしたものである。その学習パターンの動的な選択として、抽出されたｎ個の主成分のそれぞれに属する学習パターンと、未知文字パターンとのユークリッド距離を求め、距離が小さい順に上位のｋ個の学習パターンを取り出し、その取り出されたｋ個の学習パターンからなる集合について、自己相関行列の固有ベクトルを計算し、固有ベクトルを用いて未知文字パターンの類似度を計算し、その類似度が最大となるようにｋの値を選定した。
【発明の効果】
【００１１】
本発明によると、評価に使用する学習パターンを動的に選択するようにしたことで、精度の高い文字パターンの識別が行える。特に、入力パターンである未知パターンとの類似度が最大になるようにカテゴリごとに学習パターン数を最適化したことで、認識率を効果的に向上させることができる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の一実施の形態を、添付図面を参照して説明する。
【００１３】
本発明では、低品質印刷漢字も高精度に認識するため、ｋ−ＮＮ探索を利用して動的に学習パターンを選択し、それを部分空間法の学習パターンとして用いるようにしたものである。具体的には、まず未知パターンに近い上位ｋ個の学習パターンをカテゴリごとに求める。次に、そのｋ個の学習パターンを用いてそれらを近似するための固有ベクトルを計算する。次に、固有ベクトルが張る部分空間へ未知パターンを射影し、各カテゴリとの類似度に基づいて識別を行う。その際、類似度が最大となる最適なパラメータｋの値をカテゴリごとに決定し、このパラメータｋにおいて得られた類似度を用いて識別を行う。
【００１４】
提案手法は識別を行う際に、劣化した未知パラメータの修復や劣化状態の推定が不要であり、学習パターンを動的に選択することにより、未知パターンに生じたさまざまな劣化の状態に効率よく対応できる。また、アルゴリズムが簡単であるため、システムの構築も容易である。
【００１５】
既に［発明が解決しようとする課題］の欄で説明したように、低品質印刷漢字の認識に部分空間法を適用した場合に誤認識が生じる原因は、学習パターンが線形分離困難な状態で分布するにもかかわらず、すべての学習パターンを用いて部分空間を構成した結果、劣化した未知パターンの識別に必ずしも適切でない部分空間が得られるためと考えられる。
【００１６】
本発明の場合には、ｋ−ＮＮ探索を利用して動的に学習パターンを選択し、それを部分空間法の学習パターンとして用いるようにしたことで、入力パターンの識別に適切な空間が得られるようになった。図５は、既に説明した図４に示した例のデータにおいて、カテゴリごとに入力パターンの近傍学習パターンを動的に選択して再びＫＬ展開を行い、第１、第２主成分に関する分布をプロットした結果を示す。図５に示すように、２つのカテゴリの分布領域に重なりがなくなり、入力パターンの識別に適切な空間が得られていることが分かる。
【００１７】
このように、未知パターンの近傍に存在する学習パターンを動的に選択して部分空間法を適用することにより、未知パターンの劣化に対応でき、学習パターンが線形分離困難な状態で分布しても良好な識別が実現できると期待される。
【００１８】
次に、本発明の一実施の形態による具体的な処理例を説明する。図１は、本例の文字識別処理を行う文字識別装置の構成例を示したものである。ここでは、文字識別装置は、例えばコンピュータ装置とその周辺機器で構成してあり、コンピュータ装置に接続されたカメラ又はスキャナなど構成される画像取り込み部１１で、文字画像を取り込むようにしてあり、識別結果をディスプレイ２１に表示するようにしてある。コンピュータ装置には、文字識別装置として機能させるためのソフトウェア（プログラム）がインストールしてある。そのソフトウェアは、後述する図２のフローチャートに示す動作処理などを実行させるものであり、文字認識を行う上で必要な参照用のデータである学習データについても予め用意されている。操作については、例えばコンピュータ装置に接続されたキーボード１７を使用する。
【００１９】
画像取り込み部１１で取り込まれた画像データは、データ処理部１２に送られ、制御部１５の制御で所定のデータとされる。このデータ処理時には、画像データ内の文字パターンから複数（ｎ個：ｎは２以上の自然数）の主成分が抽出される。抽出された各主成分は、文字パターンにどのような信号成分が含まれるかを示すものである。
【００２０】
抽出された主成分のデータは、データメモリ１３に記憶される。また、学習データなどを記憶する記憶手段で構成されるデータベース１４を備える。データベース１４に記憶される学習データとしては、それぞれの文字について、例えば図３（ｂ），（ｃ）に示すように複数種類用意されたデータであり、その文字データの特徴抽出結果などがデータ化されている。なお、未知パターンを認識する処理を行った際には、その認識されたパターンを学習データとして登録してもよい。データメモリ１３に記憶されたデータは、プログラムメモリ１６に記憶された文字認識用プログラムの指示に従って、制御部１５の制御で、データ処理部１２などで認識処理される。認識処理時には、データベース１４に記憶された学習データが使用される。認識処理結果は、例えば表示制御部１８に送られて、ディスプレイ２１に認識結果としての文字などを表示させる。
【００２１】
次に、このような装置構成で文字認識を行う処理例を、図２のフローチャートを参照して説明する。まず、入力した文字パターンである未知パターンに対し大分類を行い（ステップＳ１１）、文字の候補を絞る。ここでは、カテゴリごとにすべての学習パターンを用いて固有ベクトルを求めておき、部分空間法を用いて各カテゴリに対する未知パターンの類似度を評価する。その結果、未知パターンが十分な精度で分類されか否か判断する（ステップＳ１２）。ここで、十分な精度で分類され、より細かい分類が不要であると判定されれば、類似度最大のカテゴリを最終結果として出力する（ステップＳ１６）。ステップＳ１２の判断で精度が十分でなければ、類似度の大きいものから順にＣ個のカテゴリを候補として出力し、後述する手順によりｋ−ＮＮ探索を利用して動的に学習パターンを選択し（ステップＳ１３）、パラメータｋを利用し（ステップＳ１４）、詳細識別を行い（ステップＳ１５）、その結果を最終結果として出力する（ステップＳ１６）。
【００２２】
次に、ｋ−ＮＮ探索を利用して動的に学習パターンを選択する例を説明する。大分類で絞られた文字のカテゴリ数をＣとすると、カテゴリｃ（ｃ＝１，‥‥，Ｃ）に属するＮC 個のｄ次元学習パターンをｘｉ（ｃ）＝〔ｘｉ１（ｃ），‥‥，ｘｉｄ（ｃ）〕ｔ（ｉ＝１，‥‥，Ｎｃ）で表す。
未知パターンｘ＝〔ｘ１，‥‥，ｘｄ〕ｔと各学習パターンとのユークリッド距離‖ｘｉ（ｃ）−ｘ‖を求め、小さい順に学習パターンの番号を付け直して並べると、
【００２３】
【数１】
0004783899.tif 000002
【００２４】
となる。上位ｋ個の学習パターンｘｉ（ｃ）（ｉ＝１，‥‥，ｋ）からなる集合をＸｃで表し、ｋ−ＮＮ探索の結果として出力する。
次に、出力された学習パターンを用いてＸｃを近似する部分空間を求める。ここで、Ｘｃの自己相関行列Ｒｃを、
【００２５】
【数２】
0004783899.tif 000003
【００２６】
で求め、この自己相関行列の固有ベクトルを計算する。識別に用いる部分空間の次元数をＬとしたとき、大きい順にとったＬ個の固有値に対応するＬ（≦ｋ）個の固有ベクトルをｕｌ（ｃ）（ｌ＝１，‥‥，Ｌ）とする。これらの固有ベクトルを用いて未知パターンのカテゴリｃにおける類似度を
【００２７】
【数３】
0004783899.tif 000004
【００２８】
で計算する。
ｋ−ＮＮ探索によって選択する学習パターンの個数ｋは、パターンの劣化への対応、および部分空間の作成に関係し、識別性能に影響を与える。ここでは次のようにしてカテゴリごとに最適なｋを選択し、そのときの類似度を用いて識別を行う。
【００２９】
具体的には、パラメータｋを初期値（実験では１０を初期値とした）から学習パターンの総個数Ｎｃまで順に増加させ、異なるＸｃに対して、式（３）で類似度ｓ（ｃ）を計算し、ｓ（ｃ）が最大になるｋをカテゴリｃにおける最適なｋとする。このときのｓ（ｃ）を未知パターンとカテゴリｃとの類似度として識別に利用する。
【００３０】
次に、このような識別処理を実際に実行した実験例について説明する。学習パターンの原稿としては、ＪＩＳ第１水準漢字と非漢字を合わせた３１６９文字種を３フォント（ＭＳ明朝、ＭＳゴシック、楷書体）、５サイズ（６，８，１０，１２，１４ポイント）、２種類のレーザプリンタで印刷したものを用いた。これらの原稿をスキャナで解像度４００ｄｐｉ、濃淡画像（２５６階調）として取り込んだ。
【００３１】
次に、濃淡画像から文字を一つずつ切り出し、判別しきい値選定法により２値化を行った。さらに、判別しきい値を基準として上下に２０刻み２段階に変化させたしきい値で、切り出した文字を２値化した。この処理により、品質の異なる２値化文字画像が５種類、カテゴリあたり１５０パターンが得られた。これらの２値文字画像を６４×６４画素の大きさに正規化して学習パターンとして使用した。
【００３２】
テストパターンは、学習用と異なるレーザプリンタを用いてフォントごとに８，１０ポイントの文字を印刷し、スキャナの代わりにデジタルスチルカメラを用いて濃淡画像として取り込んだものである。次に、濃淡画像から文字を切り出し、判別しきい値選定法により２値化し、大きさが２２×２２画素の２値文字画像を得た。これらの２値文字画像を学習パターンと同様に６４×６４画素の大きさに正規化して実験に用いた。
【００３３】
識別用の特徴としては印刷漢字認識に実績のあるメッシュ特徴を用いた。すなわち、６４×６４画素の文字パターンを８×８に分割し、各分割領域の黒点数を特徴ベクトルの要素とした。このようにして得た６４次元の特徴ベクトルのノルムを１に正規化した。
【００３４】
このようなデータを用意して、文字認識処理を行った例について以下説明する。まず、ｋ−ＮＮ法におけるパラメータｋの影響について説明する。
ｋ−ＮＮ法においては、認識率がパラメータｋに依存する。図６は、パラメータｋと認識率との関係を、テストパターンに対する認識率として示す。横軸はパラメータｋの値、縦軸は平均認識率である。図６に示すように、ｋ＝１０のとき、認識率が最も高く、ｋがそれ以上になると、認識率は低下することが分かる。そのため、この例では、ｋ＝１０のときの認識率をｋ−ＮＮ法の認識率として用いるのが好ましい。
【００３５】
次に、部分空間の次元数Ｌの決定について説明する。
部分空間法では、次元数を低くしすぎると各カテゴリに属するパターンを表現する近似精度が低下する。逆に、次元数を高くすると、異なるカテゴリの部分空間同士の重なりが増加し認識率が低下する。部分空間法の次元数Ｌを決める上で必要な、次元数と認識率との関係を、図７に示す。図７は、テストパターンを用いて評価した部分空間の次元数と認識率との関係である。横軸は次元数、縦軸は平均認識率である。次元数を１〜１２まで変化させたとき、認識率は次元数の増加に伴って高くなるが、次元数が８以上になると認識率の上昇が非常に小さくなった。次元数を８としたとき、累積寄与率は９９％以上になり、ほぼすべての学習パターンを良好に近似していると考えられる。そのため、この例では、部分空間の次元数を８とするのが好ましい。
【００３６】
次に、候補文字数Ｃの決定について説明する。
大分類では、部分空間法を用いて入力パターンに対する候補を絞る。候補文字数Ｃを決めるために、部分空間法を用いた場合の累積認識率を使用する。図８は、テストパターンに対する候補文字数と累積認識率との関係を示す。横軸は候補文字数、縦軸は累積認識率である。１０位以降では累積認識率の上昇が小さくなり、３０位までの累積認識率が９９．６％に達した。候補文字数をこれ以上にしても、識別性能はほとんど上昇しないため、大分類の候補文字数Ｃは、例えば３０とするのが好ましい。
【００３７】
次に、本発明による識別処理の、学習パターン選択におけるパラメータｋの影響について説明する。
テストパターンに近い上位ｋ個の学習パターンを選択して、部分空間の構成に利用するとき、学習パターンの数ｋと認識率との関係を、図９及び図１０に示す。ここでは、全てのカテゴリで同じ数の学習パターンを利用して、テストパターンの識別を行う場合について、パラメータｋを１０〜１５０まで１０刻みで変化させ、それぞれの認識率を測定した。図９は、１０ポイントの文字のテストパターンに対する認識率を示し、図１０は、８ポイントの文字のテストパターンに対する認識率を示す。横軸はテストパターンに近い上位学習パターンの個数、縦軸は認識率である。ここで、パラメータｋを１５０とした場合が、学習パターンの選択を行わない従来の部分空間法による識別に相当する。
【００３８】
これらの図９及び図１０から判るように、例えば図１０における８ポイント楷書体のテストパターンでは、Ｋ＝１５０のときの認識率（９３．８％）より、Ｋ＝６０のときの認識率（９６．２％）が２．４％向上している。これらの結果から、全ての学習パターンを用いるよりも、テストパターンの近傍に存在する学習パターンを利用した方が認識率が高いことが判る。
【００３９】
以上説明したように、本発明によると、主として低品位印刷漢字の認識率を向上させるために、カテゴリごとに未知パターンのｋ近傍学習パターンを求め、それを部分空間法の学習パターンの候補として使用すると共に、未知パターンとの類似度が最大となるようにカテゴリごとに学習パターン数ｋを最適化して、認識率を向上させた。本発明による処理は、未知パターンの修復や劣化状態の推定などの複雑な処理が不要であり、学習パターンを動的に選択することで様々な劣化状態に対応可能であり、学習パターンの追加や削除が簡単に行え、システムの構築や調整が容易である、などの様々な効果を有する。
【００４０】
なお、ここまで説明した認識率などのデータについては一例を示したものであり、未知パターンの状態や学習データなどにより変わるものである。
【００４１】
また、上述した実施の形態では、文字識別装置は、コンピュータ装置を使用して構成させる例を示したが、専用の文字識別装置として構成させるようにしてもよい。また、コンピュータ装置を使用する場合に必要なソフトウェア（プログラム）については、ディスクなどの各種記憶媒体に記憶させて配布する他に、インターネットなどを経由して配布するようにしてもよい。また、ここまでの説明では、本発明の認識処理を印刷文字（未知パターン）の認識に適用した例について説明したが、その他の未知パターンの認識処理に適用してもよい。例えば、オーディオ信号（音声信号）を解析する場合に、そのオーディオ信号を未知パターンとして扱い、予め用意された学習データとの比較で、音声認識などの各種認識処理を行うようにしてもよい。
【図面の簡単な説明】
【００４２】
【図１】本発明の一実施の形態によるシステム構成例を示す構成図である。
【図２】本発明の一実施の形態による識別処理例を示すフローチャートである。
【図３】本発明の一実施の形態で識別するパターン及び用意された学習パターンの例を示す説明図である。
【図４】パターンの分布と識別境界の例を示す説明図である。
【図５】学習パターンの選択によるパターンの分布と識別境界の例を示す説明図である。
【図６】ｋ−ＮＮ法におけるパラメータｋと識別率の関係の例を示す説明図である。
【図７】本発明の一実施の形態による次元数と識別率の関係の例を示す説明図である。
【図８】本発明の一実施の形態による累積識別率の例を示す説明図である。
【図９】本発明の一実施の形態による１０ポイントテストパターンに対するパラメータｋと識別率との関係の例を示す説明図である。
【図１０】本発明の一実施の形態による８ポイントテストパターンに対するパラメータｋと識別率との関係の例を示す説明図である。
【符号の説明】
【００４３】
１１…画像取り込み部、１２…データ処理部、１３…データメモリ、１４…データベース、１５…制御部、１６…プログラムメモリ、１７…キーボード、１８…表示制御部、１９…ディスプレイ
【図１】
0004783899.tif 000005
【図２】
0004783899.tif 000006
【図３】
0004783899.tif 000007
【図４】
0004783899.tif 000008
【図５】
0004783899.tif 000009
【図６】
0004783899.tif 000010
【図７】
0004783899.tif 000011
【図８】
0004783899.tif 000012
【図９】
0004783899.tif 000013
【図１０】
0004783899.tif 000014