(57)【特許請求の範囲】
【請求項１】
文字認識をコンピュータに実行させる文字認識プログラムであって、
切り出された文字領域の濃淡画像を白、黒、中間色の３つの濃度領域に分け、前記濃淡画像の全体の画像領域に対する前記中間色の画像領域の割合により文字の劣化の度合いを劣化度として推定する劣化度推定ステップと、
前記劣化度推定ステップにより推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択ステップと、
前記文字認識方式選択ステップにより選択された文字認識方式による認識結果に基づいて文字を認識する認識ステップと
をコンピュータに実行させる文字認識プログラム。
【請求項２】
請求項１に記載の文字認識プログラムにおいて、
前記文字認識方式選択ステップでは、文字の方向特徴を用いる方式と文字の画素特徴を用いる方式とからいずれか一方の方式を選択することを特徴とする文字認識プログラム。
【請求項３】
文字認識を行う文字認識装置であって、
切り出された文字領域の濃淡画像を白、黒、中間色の３つの濃度領域に分け、前記濃淡画像の全体の画像領域に対する前記中間色の画像領域の割合により文字の劣化の度合いを劣化度として推定する劣化度推定部と、
前記劣化度推定部により推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択部と、
前記文字認識方式選択部により選択された文字認識方式による認識結果に基づいて文字を認識する認識部と
を備える文字認識装置。
【請求項４】
文字認識を文字認識装置に実行させる文字認識方法であって、
切り出された文字領域の濃淡画像を白、黒、中間色の３つの濃度領域に分け、前記濃淡画像の全体の画像領域に対する前記中間色の画像領域の割合により文字の劣化の度合いを劣化度として推定する劣化度推定ステップと、
前記劣化度推定ステップにより推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択ステップと、
前記文字認識方式選択ステップにより選択された文字認識方式による認識結果に基づいて文字を認識する認識ステップと
を備える文字認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、切り出された文字画像から文字を認識する文字認識プログラム、文字認識装置及び文字認識方法に関するものである。
【背景技術】
【０００２】
近年、デジタルビデオやデジタルカメラ、カメラ付き携帯電話の普及により、カメラに入力される画像が増加している。これらの画像中に含まれる文字を文字認識できれば、画像中の文字をトリガーとした情報検索が実現できる。
【０００３】
しかし、スキャナ入力された文字画像が全般的に高品質であるのに対して、カメラ入力された画像は撮影対象との距離やぶれの程度により高品質な画像から低品質画像まで様々な劣化程度の文字を含む。様々な劣化程度の文字に対する認識方式として、従来よりいくつかの技術文献が知られる（例えば特許文献１〜５参照）。
【０００４】
特許文献１では、濃淡画像に対して閾値を変えて２値化を行い、つぶれの程度の異なる複数の辞書を予め作成する。認識時には入力文字の劣化推定に基づいて最適な辞書を選択するようにする。
【０００５】
特許文献２では、文字品質の異なる辞書を複数用意し、入力文書の品質に応じて辞書を使い分けるようにする。
【０００６】
特許文献３では、標準辞書と拡張辞書を作成し、標準辞書で認識できなかった文字を拡張辞書によって認識しようとする。具体的には、まず標準辞書で認識を行い、認識信頼度が低い場合にのみ、拡張辞書による認識を行う。
【０００７】
特許文献４では、２値パターンに対し、文字の劣化程度を推定し、それに基づいて文字特徴に補正を行う。
【０００８】
特許文献５では、２値の認識系と濃淡の認識系を持ち、前者で失敗した場合に後者で認識を行う。
【特許文献１】特開平９−３４３２９２号公報
【特許文献２】特開平８−２４１３７８号公報
【特許文献３】特開２０００−８２１１３号公報
【特許文献４】特開２００３−２５６７７４号公報
【特許文献５】特開平１１−６６２４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
カメラより入力された文字をスキャナ入力された文字と比較すると、一般的に低解像度で低品質であり、従来のOCR(Optical Character Reader)では必ずしも精度良く認識できない。そこで、低品質画像に適した文字認識方式がいくつか提案されているが、逆に、これらの方式では高品質の画像に対して従来のＯＣＲほどの認識精度を出すことは可能となっていない。これらを融合する方式が提案されているが、高品質画像から低品質画像までを精度良く認識できる方式ではなかった。
【００１０】
上記特許文献１では、入力文字の劣化推定に基づいて辞書の選択を行っているが、劣化推定において入力文字と参照パターンとの黒画素数の比を用いているため、複数のフォントが存在する状況では劣化推定を精度よく行うことが難しい。
【００１１】
特許文献２や特許文献３でも文字品質の異なる辞書を複数用意して使い分けているが、品質と文字認識方式が対応付けられておらず、高品質な文字に適した文字認識方式が低品質な文字には必ずしも最適ではないので、辞書の使い分けだけでは対応できない場合がある。
【００１２】
特許文献４では、２値パターンに対し、文字の劣化程度を推定し、それに基づいて文字特徴に補正を行っている。しかし、サイズの小さい低品質文字の場合、２値化によって文字の構造情報が失われ易いという問題がある。
【００１３】
特許文献５では、２値ベースの認識系と濃淡画像ベースの認識系を持ち、前者で失敗した場合に後者で認識を行う。文書全体が低品質な場合、濃淡画像ベースの認識系を最初から用いたほうが認識精度が高くなるが、２値ベースの認識系で必ず認識して検証を行うこの方式では処理時間がかかるという問題がある。
【００１４】
本発明は、文字の劣化度に対応して最適な認識方式を選択することができて文字認識の信頼度を高めることができると共に、処理時間を要することなく迅速に文字認識を行うことができる文字認識プログラム、文字認識装置及び文字認識方法を提供することを目的としている。
【課題を解決するための手段】
【００１５】
上述した課題を解決するため、本発明は、文字認識をコンピュータに実行させる文字認識プログラムであって、切り出された文字領域の濃淡画像を少なくとも３つの濃度領域に分け、これら濃度領域に基づいて文字の劣化の度合いを劣化度として推定する劣化度推定ステップと、前記劣化度推定ステップにより推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択ステップと、前記文字認識方式選択ステップにより選択された文字認識方式による認識結果に基づいて文字を認識する認識ステップとをコンピュータに実行させる。
【００１６】
この文字認識プログラムにおいて、前記文字認識方式選択ステップでは、文字の方向特徴を用いる方式と文字の画素特徴を用いる方式からいずれか一方の方式を選択することを特徴とする。また、前記劣化度推定ステップでは、前記濃淡画像を白、黒、中間色の３つの濃度領域に分け、全体画像領域に対する前記中間色の画像領域の割合により文字の劣化度を推定することを特徴とする。
【００１７】
また、本発明は、文字認識を行う文字認識装置であって、切り出された文字領域の濃淡画像を少なくとも３つの濃度領域に分け、これら濃度領域に基づいて文字の劣化の度合いを推定する劣化度推定部と、前記劣化度推定部により推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択部と、前記文字認識方式選択部により選択された文字認識方式による認識結果に基づいて文字を認識する認識部とを備える。
【００１８】
なお、文字毎に文字の劣化度に対する各文字認識方式による認識率を記憶した記憶部を有し、前記文字認識方式選択部は、前記劣化度推定部により推定された劣化度に基づいて、前記記憶部に記憶された認識率を参照することにより、前記文字認識方式を選択することを特徴とすることができる。
【００１９】
また、本発明は、文字認識を文字認識装置に実行させる文字認識方法であって、切り出された文字領域の濃淡画像を少なくとも３つの濃度領域に分け、これら濃度領域に基づいて文字の劣化の度合いを劣化度として推定する劣化度推定ステップと、前記劣化度推定ステップにより推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択ステップと、前記文字認識方式選択ステップにより選択された文字認識方式による認識結果に基づいて文字を認識する認識ステップとを備える。
【発明の効果】
【００２０】
以上に詳述したように、本発明によれば、文字の劣化度に対応して最適な認識方式を選択することができて文字認識の信頼度を高めることができると共に、処理時間を要することなく迅速に文字認識を行うことができる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明の実施の形態について図面を参照しつつ説明する。なお、本実施の形態における文字認識装置は、文字認識機能が組み込まれたパーソナルコンピュータ（ＰＣ）、携帯情報端末機（ＰＤＡ）、携帯電話機などで利用可能である。また、カメラ等で撮影された文字画像（電気信号）に留まらずＦＡＸ等による文字画像（電気信号）もその対象となる。
【００２２】
図１は、本発明の実施の形態における文字認識装置の構成を示すブロック図である。
【００２３】
図１に示す文字認識装置は、文字を含む濃淡画像から文字領域を切り出す切り出し部１と、切り出された文字領域を少なくとも３つの濃度領域に分け、これら濃度領域に基づいて文字の劣化の度合いを推定する劣化度推定部２と、劣化度推定部２により推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択部３と、文字認識方式選択部３により選択された文字認識方式を用いて文字認識を行うと共に、その認識結果に基づいて最終的な文字を認識し出力する認識部４とを備えている。
【００２４】
本実施の形態において、認識部４は方式対応文字認識部５と、それによる認識結果を統合する統合部６とを備えている。
【００２５】
方式対応文字認識部５は、大きく方式を分けて、文字の方向特徴を用いる１つ又は複数のそれぞれ異なる方式を含む第１文字認識方式（２値文字認識系）５Ａと、文字の画素特徴（濃度特徴）を用いる１つ又は複数のそれぞれ異なる方式を含む第２文字認識方式（劣化文字認識系）５Ｂにより、それぞれ文字を認識する機能を有しており、これら第１、第２文字認識方式のうちのいずれかの方式が文字認識方式選択部３により選択されて機能する。
【００２６】
上記各方式の特徴について簡単に説明すると、例えば、様々なフォントに対する文字認識のロバスト性は方向特徴（第１文字認識方式）を用いる方式の方が高く、ぼけなどによる文字の劣化については濃度特徴（第２文字認識方式）を用いる方式のほうが一般的に高いとされている。そこで、本実施の形態では、入力文字に対して算出した劣化度に対して、劣化度が予め決められた閾値より大きければ濃度特徴を用いる方式（第２文字認識系）を採用し、劣化度が小さければ方向特徴を用いる方式(第１文字認識系)を採用する。なお、各認識系のそれぞれにおいて、更にその認識系に属する複数の異なる方式を用意することができる。以下では、まず劣化度に応じて、２値文字認識系と劣化文字認識を使い分ける例を示している。
【００２７】
統合部６は、方式対応文字認識部５により認識された認識結果から、後述するように、一つの文字認識結果を出力する。
【００２８】
以下、本発明の実施の形態の動作について図２のフローチャートを用いて説明する。
【００２９】
まず、文字認識を行う場合、切り出し部１により、入力される文字列を有する濃淡画像から文字の切り出しが行われ（ステップＳ１）、切り出された文字が入力される（ステップＳ２）。この切り出しは文字認識において従来より行われている公知の方法が用いられ、ここでの説明は省略する。
【００３０】
次に、劣化度推定部２が文字の劣化度を推定する（ステップＳ３）。この劣化度の推定動作について、図３のフローチャートに従って詳述する。
【００３１】
まず、入力された濃淡のある文字画像（０−２５５）に対してサイズ正規化を行い画素数をＮ×Ｎとする（ステップＳＴ１）。次に、定正準化を行った後、ノルムを１とする（ステップＳＴ２）。次に、各画素値が０−２５５の値に収まるように線形に濃度変換を行う（ステップＳＴ３）。そして、白、黒を除くグレー成分（１−２５４）の値を持つ画素数をカウントし（ステップＳＴ４）、次式で定義された劣化度を得る（ステップＳＴ５）。
【００３２】
劣化度＝１００×グレー成分数／（Ｎ×Ｎ）
【００３３】
なお、定正準化とは、ある特徴ベクトルに対し、ある既定された特徴ベクトルに直交する成分のみを残す操作をいう。文字の濃淡そのものを特徴とする場合、文字のつぶれの度合いが大きくなるほど、その文字画像中の黒画素成分が増えることになる。そしてつぶれの度合いが増していくにつれ最終的には全面黒画素となることが予想される。そこで、全面黒画素の特徴に直交する成分のみを残す操作を行う（飯島泰蔵, "パターン認識理論," 森北出版, １９８９を参照）。
【００３４】
こうして劣化度が推定されると、次に文字認識方式選択部により推定された劣化度が閾値以上か否かが判断され（ステップＳ４）、劣化度が閾値以上でない場合は、文字認識方式選択部３は、方式対応文字認識部５における第１文字認識方式５Ａである２値文字認識系を選択する（ステップＳ５）。そして、この第１文字認識方式５Ａにおいて文字認識が行われると、次に統合部６は、第１文字認識方式５Ａにおける認識方式が複数あるか否かを判断し（ステップＳ６）、複数ある場合は（ステップＳ６、Ｙ）、認識結果の統合を行う（ステップＳ７）。
【００３５】
この認識結果の統合（ステップＳ７）においては、図４に示すように、認識された文字毎（カテゴリ毎）に認識結果の頻度を計数し、最大の頻度を有する文字を認識した文字として出力する。なお、ステップＳ６において、第１文字認識方式５Ａにおける認識方式が一つと判断された場合は（ステップＳ６、Ｎ）、その方式によって認識された文字を認識文字として出力する。
【００３６】
一方、ステップＳ４において、劣化度が閾値以上であると判断された場合は（ステップＳ４、Ｙ）、文字認識方式選択部は３、方式対応文字認識部５における第２文字認識方式５Ｂである劣化文字認識系を選択する（ステップＳ８）。そして、この第２文字認識方式５Ｂにおいて文字認識が行われると、次に統合部６は、第２文字認識方式５Ｂにおける認識方式が複数あるか否かを判断し（ステップＳ９）、複数ある場合は（ステップＳ９、Ｙ）、上述した認識結果の統合を行う（ステップＳ７）。
【００３７】
この統合部６の動作については、第１文字認識方式（２値文字認識系）５Ａが選択された場合と同様であり、以下の動作についての説明は省略する。
【００３８】
なお、第１文字認識方式（２値文字認識系）５Ａとしては、下記のような方式が知られており、本実施の形態において用いられている。
【００３９】
（１）孫寧,田原透,阿曽弘具,木村正行,
``方向線素特徴量を用いた高精度文字認識,''
信学論(D-II) vol.J74-D-II no.3，pp.330-339，Mar. 1991.
（２）鶴岡信治,栗田昌徳,原田智夫,木村文隆,三宅康二,
``加重方向指数ヒストグラム法による手書き漢字・ひらがな認識,''
信学論(D) vol.J70-D no.7，pp.1390-1397，July 1987.
（３）外郭方向寄与度特徴による文字認識方式
萩田他、"外郭方向寄与度特徴による手書き漢字の識別"
電子通信学会論文誌  '83/10 Vol.J66-D No.10, pp.1185-1192
（４）多元圧縮法による文字認識方式
▲裴▼他、"手書き漢字認識の一手法  −多元圧縮法と部分パターン法による認
識−"
電子通信学会論文誌  '85/4 Vol.J68-D No.4, pp.773-780
（５）方向パターンマッチング法による文字認識方式
斎藤他、"手書漢字の方向パターン・マッチング法による解析"
電子通信学会論文誌  '82/5 Vol.J65-D No.5, pp.550-557
【００４０】
また、第２文字認識方式（劣化文字認識系）５Ｂでは、下記方式が知られている。
【００４１】
J.Sun, Y.Hotta, Y.Katsuyama and S.Naoi, "Low Resolution Character Reco  gnition by Dual Eigenspace and Synthetic Degraded Patterns," Proc. of   the 1st ACM Workshop on Hardcopy Document Processing, pp.15-22, 2004.  
【００４２】
実施の形態２．
【００４３】
以下、本発明の実施の形態２について説明する。
実施の形態１では、劣化度に応じて二つの認識方式を選択的に使用する場合について説明した。実施の形態２では、文字劣化度に対応して最も高い認識率を有する文字認識方式を直接的に選択するようにした場合について説明する。
【００４４】
図５は、実施の形態２の構成を示すブロック図である。図５において、図１と同一符号は同一又は相当物を示しており、ここでの説明は省略する。実施の形態２においては、文字認識方式選択部３Ａは、図６に示すように複数の文字認識方式毎に、劣化度と認識率を対応付けた劣化度／認識率対応テーブル１１を備えており、このテーブル１１に基づいて文字認識に用いる文字認識方式を選択する。なお、文字認識方式は実施の形態１で述べたように、必ずしも第１文字認識方式５Ａと第２文字認識方式５Ｂとの区分がされていなくても良い。
【００４５】
図７は、このテーブルの作成動作を概念的に示す説明図であり、劣化度の低い（劣化なし）ものから、劣化度の大きいものにかけて、学習データを用意し、それを備えられた全ての認識方式により認識させて、その正解率より認識率を割り出し、それをテーブルに格納するようにしたものである。
【００４６】
以下、図８のフローチャートを用いて実施の形態２の動作について説明する。
まず、ステップＳ１からステップＳ３までの動作は実施の形態１のステップＳ１からステップＳ３までの動作と同一である。次に、ステップＳ１４において、文字認識方式選択部３Ａは、ステップＳ３において得られた劣化度をもとに、劣化度／認識率対応テーブル１１を検索し、得られた劣化度において最も認識率の高い文字認識方式を選択する。認識部４はその方式対応文字認識部５により、この選択された文字認識方式を用いて文字認識を行うと共に、統合部６によりその認識結果を出力させる。
【００４７】
この場合、統合部６は、劣化度に対して文字認識方式選択部３Ａにより複数の文字認識方式（第１文字認識方式又は第２文字認識方式を問わない）が選択された場合に、実施の形態１と同様に認識された文字別毎（カテゴリ毎）に認識結果の頻度を計数し、最大の頻度を有する文字を認識した文字として出力する。もちろん、選択された方式が一つの場合は、その方式による認識結果がそのまま認識文字として出力される。
【００４８】
本発明の実施の形態によれば、以下のような効果を奏する。
【００４９】
本発明の実施の形態では入力文字の劣化度をもとに認識方式を使い分けるようにしたので、２値画像から劣化度を算出する方式に比べて、濃淡画像から直接劣化度を推定することができ、２値化の影響を受けずに済む。また、劣化度毎に辞書を使い分ける方式に比べ、本発明の実施の形態では劣化度毎に認識方式を使い分けるため、より高精度な認識を実現することができる。また、劣化度に応じて文字認識方式を使い分けるため、複数の認識方式で順次認識する方式よりも高速に認識することができる。
【００５０】
以上、本発明の実施の形態を第１、第２文字認識方式について説明したが、本発明は、これらの文字認識方式以外の文字認識方式についても適用できることは言うまでもない。
【００５１】
また、本発明の実施の形態によれば、図２、図８において上述した各ステップを文字認識装置を構成するコンピュータに実行させるプログラムを文字認識プログラムとして提供することができる。上述したプログラムは、コンピュータにより読取り可能な記録媒体に記憶させることによって、言語解析装置を構成するコンピュータに実行させることが可能となる。ここで、上記コンピュータにより読取り可能な記録媒体としては、ＣＤ−ＲＯＭやフレキシブルディスク、ＤＶＤディスク、光磁気ディスク、ＩＣカード等の可搬型記憶媒体や、コンピュータプログラムを保持するデータベース、或いは、他のコンピュータ並びにそのデータベースや、更に回線上の伝送媒体をも含むものである。
【００５２】
（付記１）
文字認識をコンピュータに実行させる文字認識プログラムであって、
切り出された文字領域の濃淡画像を少なくとも３つの濃度領域に分け、これら濃度領域に基づいて文字の劣化の度合いを劣化度として推定する劣化度推定ステップと、
前記劣化度推定ステップにより推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択ステップと、
前記文字認識方式選択ステップにより選択された文字認識方式による認識結果に基づいて文字を認識する認識ステップと
をコンピュータに実行させる文字認識プログラム。
（付記２）
付記１に記載の文字認識プログラムにおいて、
前記文字認識方式選択ステップでは、文字の方向特徴を用いる方式と文字の画素特徴を用いる方式からいずれか一方の方式を選択することを特徴とする文字認識プログラム。
（付記３）
付記１に記載の文字認識プログラムにおいて、
選択された文字認識方式について、更に複数の文字認識方式がある場合は、これらの文字認識方式から更に前記劣化度に基づいて少なくとも一つの文字認識方式を選択することを特徴とする文字認識プログラム。
（付記４）
選択された文字認識方式について、更に複数の文字認識方式がある場合、前記文字認識ステップは、これらの文字認識方式全てによる文字認識を行い、これらの認識結果に基づいて文字を認識することを特徴とする文字認識プログラム。
（付記５）
付記１乃至付記４のいずれかに記載の文字認識プログラムにおいて、
前記劣化度推定ステップでは、前記濃淡画像を白、黒、中間色の３つの濃度領域に分け、全体画像領域に対する前記中間色の画像領域の割合により文字の劣化度を推定することを特徴とする文字認識プログラム。
（付記６）
文字認識を行う文字認識装置であって、
切り出された文字領域の濃淡画像を少なくとも３つの濃度領域に分け、これら濃度領域に基づいて文字の劣化の度合いを推定する劣化度推定部と、
前記劣化度推定部により推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択部と、
前記文字認識方式選択部により選択された文字認識方式による認識結果に基づいて文字を認識する認識部と
を備える文字認識装置。
（付記７）
文字毎に文字の劣化度に対する各文字認識方式による認識率を記憶した記憶部を有し、
前記文字認識方式選択部は、前記劣化度推定部により推定された劣化度に基づいて、前記記憶部に記憶された認識率を参照することにより、前記文字認識方式を選択することを特徴とする文字認識装置。
（付記８）
文字認識を文字認識装置に実行させる文字認識方法であって、
切り出された文字領域の濃淡画像を少なくとも３つの濃度領域に分け、これら濃度領域に基づいて文字の劣化の度合いを劣化度として推定する劣化度推定ステップと、
前記劣化度推定ステップにより推定された劣化度に基づいて、複数の文字認識方式から少なくとも一つの文字認識方式を選択する文字認識方式選択ステップと、
前記文字認識方式選択ステップにより選択された文字認識方式による認識結果に基づいて文字を認識する認識ステップと
を備える文字認識方法。
【図面の簡単な説明】
【００５３】
【図１】本発明の実施の形態１の構成を示すブロック図である。
【図２】本発明の実施の形態１の動作を示すフローチャートである。
【図３】劣化度推定の動作を示すフローチャートである。
【図４】統合部の動作を示す説明図である。
【図５】本発明の実施の形態２の構成を示すブロック図である。
【図６】劣化度／認識率対応テーブルである。
【図７】劣化度／認識率対応テーブルの作成時の動作を示す説明図である。
【図８】本発明の実施の形態２の動作を示すフローチャートである。
【符号の説明】
【００５４】
１  切り出し部、２  劣化度推定部、３、３Ａ  文字認識方式選択部、４  認識部、５  方式対応文字認識部、６  統合部（出力部）、１１  劣化度／認識率対応テーブル。
【図１】
0004841881.tif 000002
【図２】
0004841881.tif 000003
【図３】
0004841881.tif 000004
【図４】
0004841881.tif 000005
【図５】
0004841881.tif 000006
【図６】
0004841881.tif 000007
【図７】
0004841881.tif 000008
【図８】
0004841881.tif 000009