(57)【要約】【課題】高精度かつ迅速に文字を認識することができる文字認識プログラム、文字認識装置および文字認識方法を提供すること。【解決手段】画像を撮像する撮像手段によって撮像された画像から文字パターンを抽出し、前記撮像手段によって撮像された画像における、前記抽出された文字パターンの位置を判別し、前記判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択し、前記選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する。【選択図】図２
2008171301.tif 000002
【特許請求の範囲】
【請求項１】
文字を認識する文字認識装置のコンピュータを、
画像を撮像する撮像手段によって撮像された画像から文字パターンを抽出する文字パターン抽出機能と、
前記撮像手段によって撮像された画像における、前記文字パターン抽出機能によって抽出された文字パターンの位置を判別する文字パターン位置判別機能と、
前記文字パターン位置判別機能によって判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択する辞書選択機能と、
前記辞書選択機能によって選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する文字認識機能と、
して機能させるための文字認識プログラム。
【請求項２】
前記文字パターン抽出機能によって抽出された文字パターンの並びが略直線でない場合、前記文字パターンの並びが略直線となるように前記撮像手段によって撮像された画像を補正する紙面歪み補正機能、
をさらに備え、
前記文字認識機能が認識する対象である画像は、前記紙面歪み補正機能によって補正された画像であり、
前記辞書選択機能が前記第１の特徴用辞書又は前記第２の特徴用辞書を選択する際の判断基準である文字パターンの位置は、前記紙面歪み補正機能によって補正される前の画像から前記文字パターン抽出機能によって抽出された文字パターンの位置であることを特徴とする請求項１に記載の文字認識プログラム。
【請求項３】
前記第１の特徴は、前記画像の品質が高品質であるという特徴であり、前記第２の特徴は、前記画像の品質が低品質であるという特徴であり、
前記辞書選択機能は、前記文字パターン位置判別機能によって判別された位置が前記撮像手段によって撮像された画像の中心から第１の基準距離以内の領域である場合、前記第１の特徴用辞書を選択し、前記位置が前記第１の領域以外の領域である場合、前記第２の特徴用辞書を選択する、
ことを特徴とする請求項１または２に記載の文字認識プログラム。
【請求項４】
画像を撮像する撮像手段と、
前記撮像手段によって撮像された画像から文字パターンを抽出する文字パターン抽出手段と、
前記撮像手段によって撮像された画像における、前記文字パターン抽出手段によって抽出された文字パターンの位置を判別する文字パターン位置判別手段と、
前記文字パターン位置判別手段によって判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択する辞書選択手段と、
前記辞書選択手段によって選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する文字認識手段と、
を備えることを特徴とする文字認識装置。
【請求項５】
文字を認識する文字認識装置において実行される文字認識方法であって、
画像を撮像する撮像手段によって撮像された画像から文字パターンを抽出し、
前記撮像手段によって撮像された画像における、前記抽出された文字パターンの位置を判別し、
前記判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択し、
前記選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する、
ことを特徴とする文字認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮像された画像から文字を認識する文字認識プログラム、文字認識装置および文字認識方法に関し、特に、撮像された画像の位置に拠って異なる辞書を用いることで、文字認識機能が組み込まれたパーソナルコンピュータ，文字認識サーバ、携帯情報端末（ＰＤＡ）、携帯電話などで利用可能な、高精度かつ迅速に文字を認識することができる文字認識プログラム、文字認識装置および文字認識方法に関する。
である。
【背景技術】
【０００２】
近年、デジタルカメラ、カメラ付き携帯電話の普及により、カメラ入力される画像が増加している。これらの画像中に含まれる文字を文字認識できれば、画像中の文字をトリガーとした情報検索を実現できる。
【０００３】
このような画像中に含まれた文字を認識するための技術として、カメラ撮像された画像に対して文字認識を行ない、認識信頼度が低い場合には、同一対象を繰り返し撮像した他の画像の文字認識結果と比較し、信頼度の最も高い認識結果を出力するという技術が開示されている（例えば、特許文献１参照。）。
【０００４】
また、カメラ撮像された画像に対して文字認識を行ない、認識できない文字に対して変倍（＝拡大）や高解像度化を行ない、再認識するという技術が開示されている（例えば、特許文献２参照。）。
【０００５】
また、カメラ撮像された画像に対して文字認識を行ない、認識率が予め設定された値以下であると判断した場合に規定した文字サイズとなるように画像再読み取りを行ない、再認識するという技術が開示されている（例えば、特許文献３参照。）。
【０００６】
また、標準辞書と拡張辞書を作成し、標準辞書で認識できなかった文字を拡張辞書によって再認識するという技術が開示されている（例えば、特許文献４参照。）。
【特許文献１】特開２００３−３３１２１７号公報
【特許文献２】特開平９−８３７８９号公報
【特許文献３】特開平７−１５２８６５号公報
【特許文献４】特開２０００−８２１１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、カメラ撮像された画像にする認識信頼度が低い場合に同一対象を複数回撮像して文字認識を繰り返したとしても、認識に用いる特徴辞書が同一である場合、文字認識結果は大きく改善されることはないという問題点があった。
【０００８】
また、撮像画像中に多数の文字が含まれている場合、点在する一部の文字のみに対してそれぞれ拡大や高解像度化を行なうのは処理時間がかかるという問題があった。
また、携帯電話に付属する低解像度のカメラで撮像した画像では、画像中央部ではピントのあった鮮明な画像が得られるが、周辺部ではボケや歪みが生じ、高精度に文字を認識することが困難であるという問題点があった。
【０００９】
本発明は、上述のような実状に鑑みたものであり、従来の技術のように認識信頼度の低い文字に対して、再撮像や変倍、高解像度化などを行ない、単一の辞書で再認識するので
はなく、複数の辞書を持ち、それを撮像パラメータなどによって動的に使いわけて認識することにより、高精度かつ迅速に文字を認識することができる文字認識プログラム、文字認識装置および文字認識方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
従来技術では撮像された各文字ごとの局所的な処理を行なうのに対し、本発明では撮像画像全体における文字位置という大局的な情報を用いることにした。
すなわち、本発明は、上記課題を解決するため、下記のような構成を採用した。
【００１１】
本発明の一態様によれば、本発明の文字認識プログラムは、文字を認識する文字認識装置のコンピュータを、画像を撮像する撮像手段によって撮像された画像から文字パターンを抽出する文字パターン抽出機能と、前記撮像手段によって撮像された画像における、前記文字パターン抽出機能によって抽出された文字パターンの位置を判別する文字パターン位置判別機能と、前記文字パターン位置判別機能によって判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択する辞書選択機能と、前記辞書選択機能によって選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する文字認識機能として機能させるための文字認識プログラムである。
【００１２】
また、本発明の文字認識プログラムは、前記文字パターン抽出機能によって抽出された文字パターンの並びが略直線でない場合、前記文字パターンの並びが略直線となるように前記撮像手段によって撮像された画像を補正する紙面歪み補正機能をさらに備え、前記文字認識機能が認識する対象である画像が、前記紙面歪み補正機能によって補正された画像であり、前記辞書選択機能が前記第１の特徴用辞書又は前記第２の特徴用辞書を選択する際の判断基準である文字パターンの位置が、前記紙面歪み補正機能によって補正される前の画像から前記文字パターン抽出機能によって抽出された文字パターンの位置であることが望ましい。
【００１３】
また、本発明の文字認識プログラムは、前記第１の特徴が、前記画像の品質が高品質であるという特徴であり、前記第２の特徴が、前記画像の品質が低品質であるという特徴であり、前記辞書選択機能が、前記文字パターン位置判別機能によって判別された位置が前記撮像手段によって撮像された画像の中心から第１の基準距離以内の領域である場合、前記第１の特徴用辞書を選択し、前記位置が前記第１の領域以外の領域である場合、前記第２の特徴用辞書を選択することが望ましい。
【００１４】
また、本発明の一態様によれば、本発明の文字認識装置は、画像を撮像する撮像手段と、前記撮像手段によって撮像された画像から文字パターンを抽出する文字パターン抽出手段と、前記撮像手段によって撮像された画像における、前記文字パターン抽出手段によって抽出された文字パターンの位置を判別する文字パターン位置判別手段と、前記文字パターン位置判別手段によって判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択する辞書選択手段と、前記辞書選択手段によって選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する文字認識手段とを備えることを特徴とする。
【００１５】
また、本発明の一態様によれば、本発明の文字認識方法は、文字を認識する文字認識装置において実行される文字認識方法であって、画像を撮像する撮像手段によって撮像され
た画像から文字パターンを抽出し、前記撮像手段によって撮像された画像における、前記抽出された文字パターンの位置を判別し、前記判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択し、前記選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識することを特徴とする。
【発明の効果】
【００１６】
本発明によれば、撮像された画像中の文字位置に応じて、高品質文字用辞書、低品質文字用辞書、レンズ歪み用辞書などの複数の文字認識用辞書から最適な辞書を選択して文字認識を行なうことにより、高精度かつ迅速な文字認識を達成することが可能となる。
【発明を実施するための最良の形態】
【００１７】
以下、本発明の実施の形態について図面を参照しながら説明する。
まず、本発明の概略を説明する。
従来、文字単位での処理（再撮像や再認識）を行なうのに対して、本発明では撮像された画像全体中の文字位置まで考慮した処理を行なうことを特徴とする。つまり、カメラ撮像された画像では中心部ではピントのあった鮮明な画像が得られていても周辺部にいくにしたがって、画像にぼけが生じたり、歪みが生じたりするといったように画像中の位置に応じた影響を受ける。そこで、文字を認識するときも画像中の位置に応じた処理を施すことにより、高精度に文字認識を行なう。
【００１８】
具体的には、高品質文字用辞書、低品質文字用辞書、レンズ歪みに対応した辞書（レンズ歪み用辞書）等、複数の特徴辞書を持ち、レンズ特性、撮像パラメータ（Ｆ値など）、被写体までの距離、に応じて、撮像画像中のどの領域に高品質用辞書を適用し、どの領域に低品質用辞書を適用するかを自動的に判定して文字認識を行なう。例えば、接写の場合は周辺歪みが発生しやすいので、中央部は高品質文字用辞書を用い、周辺部は低品質文字用辞書やレンズ歪用辞書を用いる。
【００１９】
図１は、本発明の概略を説明するための機能ブロック図である。
図１において、文字認識装置１０は、撮像手段１１、文字パターン抽出手段１２、文字パターン位置判別手段１３、辞書選択手段１４、文字認識手段１５、認識結果出力手段１６および紙面歪み補正手段１７を備える。
【００２０】
撮像手段１１は、例えばデジタルカメラ、カメラ付き携帯電話のカメラ等であり、書籍、コンピュータ画像等の被写体の動画像、静止画像等の画像を撮像する。文字パターン抽出手段１２は、前記撮像手段１１によって撮像された画像から、文字を構成するパターンである文字パターンを抽出する。
【００２１】
文字パターン位置判別手段１３は、前記文字パターン抽出手段１２によって抽出された文字パターンが、前記撮像手段１１によって撮像された画像におけるどの辺りの位置であるのか、例えば、画像の中心部分からどのくらいの距離の範囲内にあるのかを判別する。
【００２２】
辞書選択手段１４は、前記文字パターン位置判別手段１３によって判別された位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、例えば高品質画像であるという特徴に基づいて文字認識を行なうための高品質文字用辞書２１、または前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書、例えば低品質画像であるという特徴に基づいて文字認識を行なうための低品質文字用辞書２２や前記撮像手段１１が有するレンズ
に起因して前記画像が歪んでいるという特徴に基づいて文字認識を行なうためのレンズ歪み用辞書２３を選択する。例えば、前記文字パターン位置判別手段１３によって判別された位置が、前記撮像手段１１によって撮像された画像の中心から所定の基準距離以内の領域である場合は、前記撮像手段１１のレンズの歪みの影響を受けることもなく、焦点も合っているので、画像の品質が期待できる。よって、高品質文字用辞書２１が選択される。
【００２３】
そして、文字認識手段１５は、前記辞書選択手段１４によって選択された高品質文字用辞書２１、低品質文字用辞書２２、レンズ歪み用辞書２３の何れかを参照することにより、前記撮像手段１１によって撮像された画像から文字を認識する。
【００２４】
さらに、前記紙面歪み補正手段１７は、前記文字パターン抽出手段１２によって抽出された文字パターンの並びが略直線でない場合、前記文字パターンの並びが略直線となるように前記撮像手段１１によって撮像された画像を補正する。この際、前記文字認識手段１８が認識する対象である画像は、前記紙面歪み補正手段１７によって補正された画像であり、前記辞書選択手段１４が前記文字認識用辞書２０を選択する際の判断基準である文字パターンの位置は、前記紙面歪み補正手段１７によって補正される前の画像から前記文字パターン抽出手段１２によって抽出された文字パターンの位置である。
【００２５】
前記認識結果出力手段１６は、前記文字認識手段１５によって認識された認識結果を、画面上に表示出力したり、様々なアプリケーションプログラムにおける入力データとして出力したりする。
【００２６】
図２は、本発明を適用した文字認識処理の実行プロセスを説明するための図である。
本発明を適用した文字認識装置１０は、カメラ撮像された文字を認識する際、撮像された画像中の位置情報に基づいて、認識に用いる最適な辞書を選択することで高精度に文字認識を行なうものである。
【００２７】
まず、文字認識装置１０は、ステップＳ２１において、携帯電話に備わっているカメラ等の撮像手段１１が、被写体である書籍、コンピュータ画像等の動画像、静止画像等のカラー画像を撮像する。
【００２８】
図３は、撮像された画像の例を示す図である。
図３に示した画像は、白黒であるが本来はカラー画像が得られる。
図２の説明に戻る。
【００２９】
ステップＳ２１でカラー画像を撮像した文字認識装置１０は、ステップＳ２２において、ステップＳ２１で撮像したカラー画像を２値化する。
図４は、２値化画像の例を示す図である。
【００３０】
図３に示したカラー画像を２値化すると、図４に示したような２値化画像が得られる。
図２の説明に戻る。
ステップＳ２２で画像を２値化した文字認識装置１０は、ステップＳ２３において、ステップＳ２２で２値化した画像（２値画像）から文字列を抽出する（文字列抽出処理を実行する）。
【００３１】
図５は、文字列抽出処理の流れを説明するための図である。
まず、文字認識装置１０は、ステップＳ５１において、図２のステップＳ２２で２値化した２値画像を入力する。
【００３２】
次に、ステップＳ５２において、ステップＳ５１で入力された２値画像に対してラベリ
ング処理を実行する。ここで、ラベリング処理とは、２値画像中で概ね連結している黒画素（あるいは白画素）を含む領域、例えば連結している黒画素に外接する矩形領域５１、５２、５３、５４、５５、５６を取り出す処理である。なお、矩形領域５４、５５、５６中には連結している黒画素が複数存在しているが、これらは互いが接近しているため１つの連結した黒画素と見なしている。
【００３３】
そして、ステップＳ５３において、矩形領域５１、５２、５３、５４、５５、５６を横方向、あるいは縦方向に拡張し、隣接する矩形領域５１、５２、５３、５４、５５、５６同士に重なりが生じた場合にそれらを連結し、文字列領域５０を得る。
【００３４】
図６は、文字列抽出された例を示す図である。
図４の２値化画像に対して図５を用いて説明した文字列抽出処理を実行すると、図６に示したように文字列領域が抽出できる。
【００３５】
なお、上述のような文字列抽出処理は、一般的な文字列抽出処理であり、文字列を抽出することができれば他の文字列抽出処理でも良い。
図２の説明に戻る。
【００３６】
ステップＳ２３で文字列を抽出した文字認識装置１０は、ステップＳ２４において、ステップＳ２３で抽出した文字列領域５０から個々の文字を抽出する。例えば、文字列領域５０の高さから文字の幅を想定し、その幅で文字列領域５０を分割していくことにより個々の文字を抽出する。なお、上述のような個々の文字の抽出処理は、一般的な文字抽出処理であり、個々の文字を抽出することができれば他の文字抽出処理でも良い。
【００３７】
次に、ステップＳ２５において、ステップＳ２４で抽出した個々の文字に対して、ステップＳ２１で撮像した画像における位置情報、例えば、画像の左上端からの距離（画素数）を取得する。
【００３８】
図７は、抽出した個々の文字の位置情報を説明するための図である。
図７において、抽出文字７１は、撮像画像７０における座標（ｘ，ｙ）の位置情報を有している。
【００３９】
図２の説明に戻る。
ステップＳ２５で個々の文字の位置情報を取得した文字認識装置１０は、ステップＳ２６において、ステップＳ２５で位置情報を取得した個々の文字に対して、文字認識用辞書２０のうち何れの辞書を適用するのかを取得した位置情報に基づいて決定し、その辞書を後述する文字認識処理（ステップＳ２７）で用いる辞書として設定する。この際、撮像された画像中のどの位置の文字に、どの辞書（高品質文字用辞書２１、低品質文字用辞書２２、レンズ歪み用辞書２３など）を適用して認識するかについては事前に決定しておく必要がある。その決定方法についての一例を説明する。
【００４０】
まず、カメラ等の撮像手段１１を用いて、あらかじめ様々な物体距離（レンズから被写体までの距離）で所定の方眼紙を撮像しておき、方眼紙の各マス目の歪み具合を調べる。歪みの大きいマス目に対しては、その位置を記録しておき、文字認識の際にはそのマス目近傍の文字に対してレンズ歪み用辞書２３を用いることになる。
【００４１】
図８は、撮影された方眼紙の画像の例を示す図である。
図８に示すように、画像の中心付近に比べ周辺部分は歪んでいる。
次に、各マス目に文字を印字しておき、マス目ごとに高品質用文字辞書２１と低品質文字用辞書２２のそれぞれで文字認識を行ない、どちらの辞書の文字認識結果が良好かを事
前に調べておく。そして、実際の文字認識の際には、そのマス目近傍の文字に対して認識結果のよくなるほうの辞書（高品質文字用辞書２１あるいは低品質文字用辞書２２）を用いて、文字認識を行なう。この際、レンズ特性を考えると、近傍のマス目の歪み度合いや文字の劣化度合いは近くなると考えられるので、この性質を利用して、高品質文字用辞書２１を適用する領域、低品質文字用辞書２２を適用する領域をそれぞれ抽出しておく。そして実際の文字認識の際にはその領域単位で認識に用いる辞書を設定する。
【００４２】
図９は、文字が印字されたマス目とマス目番号との関係を示す図であり、図１０は、マス目番号と適用される辞書との関係を示す図である。
図９に示した例では、横がｍ個で縦がｎ個の（ｍ×ｎ）個のマス目があり、左最上段から右へ順に１，２，３，・・・，ｍ番目、２段目左端からｍ＋１，・・・，２ｍ番目、最下段右端のｍ×ｎ番目となっている。そして、図１０に示して例では、マス目番号１番目、２番目の位置で、文字認識用辞書２０として低品質文字用辞書２２およびレンズ歪み用辞書２３を適用し、マス目番号２ｍ＋４番目の位置で、低品質文字用辞書２２を適用し、マス目番号４ｍ＋７番目の位置で、高品質文字用辞書２１を適用し、マス目番号ｍ×ｎ番目の位置で、低品質文字用辞書２２およびレンズ歪み用辞書２３を適用している。
【００４３】
図２の説明に戻る。
ステップＳ２６で辞書を設定した文字認識装置１０は、ステップＳ２７において、ステップＳ２６で設定した辞書を用いて画像中の文字を認識する（文字認識処理を実行する）。文字認識処理の詳細については、図１１乃至図１５を用いて後述する。
【００４４】
そして、ステップＳ２８において、ステップＳ２７で認識した認識結果である文字を、画面上に表示出力したり、様々なアプリケーションプログラムにおける入力データとして出力したりする。
【００４５】
次に、具体的な文字認識の例として、紙面歪みのない画像に対する文字認識処理と紙面歪みのある画像に対する文字認識処理について説明する。ここで、紙面歪みとは、見開きした書籍を撮像した場合のように、撮像対象である紙面そのものが平面ではなく歪んでいる場合や、平面を斜めから撮像したような場合を指す。
【００４６】
図１１は、紙面歪みのない画像に対する文字認識処理の流れを示すフローチャートである。
図１１において、ステップＳ２１乃至ステップＳ２６は、図２を用いて説明した図２中のステップＳ２１乃至ステップＳ２６と同様であるので、説明を省略する。
【００４７】
ステップＳ２６で辞書を設定した文字認識装置１０は、ステップＳ１１０１において、ステップＳ２６で設定した辞書が高品質文字用辞書２１であるか否かを判断する。
高品質文字用辞書２１が設定されていると判断された場合（ステップＳ１１０１：Ｙ）は、ステップＳ１１０２において、高品質文字用辞書２１を参照することにより、ステップＳ２１で撮像されたカラー画像を２値化した２値化画像から文字を認識する。一般に高品質文字用辞書２１は、文字を構成する線分の方向特徴を抽出した辞書であるので、種々のフォントの違いに影響されない高精度な文字認識を実現することができる。
【００４８】
他方、高品質文字用辞書２１が設定されていないと判断された場合（ステップＳ１１０１：Ｎ）は、ステップＳ１１０３において、ステップＳ２１で撮像されたカラー画像を濃淡画像変換し、ステップＳ２６で設定された辞書が低品質文字用辞書２２である場合には、ステップＳ１１０４において、低品質文字用辞書２２を参照することにより、ステップＳ１１０３で濃淡画像変換された濃淡画像から文字を認識し、ステップＳ２６で設定された辞書がレンズ歪み用辞書２３である場合には、ステップＳ１１０５において、レンズ歪
み用辞書２３を参照することにより、ステップＳ１１０３で濃淡画像変換された濃淡画像から文字を認識する。一般に低品質文字用辞書２２は、文字を構成する画素の並びに基づく画素特徴に基づく辞書であるので、劣化によって文字線分が抽出しにくい場合にも安定して文字認識を行なうことができる。
【００４９】
上述したように、高品質文字用辞書２１を用いて文字認識する場合は、文字列抽出処理で利用する２値化画像で文字の認識を実行するが、低品質文字用辞書２２やレンズ歪み用辞書２３を用いて文字認識する場合は、撮像したカラー画像から濃淡画像を生成しておき、その濃淡画像で文字の認識を実行する。
【００５０】
そして、ステップＳ２８−１、２８−２、２８−３のそれぞれにおいて、ステップＳ１１０２、１１０４、１１０５のそれぞれで認識した認識結果である文字を出力する。
次に、紙面歪みのある画像に対する文字認識処理の流れを説明する。
【００５１】
図１２は、紙面歪みのある画像に対する文字認識処理の流れを示すフローチャートである。
図１２において、ステップＳ２１、ステップＳ２２、ステップＳ２４乃至ステップＳ２６は、図２を用いて説明した図２中のステップＳ２１、ステップＳ２２、ステップＳ２４乃至ステップＳ２６と同様であるので、説明を省略する。
【００５２】
ステップＳ２２で画像を２値化した文字認識装置１０は、ステップＳ２３−１において、ステップＳ２２で２値化した紙面歪みのある画像から文字列を抽出する（文字列抽出処理を実行する）。
【００５３】
具体的には、まず、図２のステップＳ２２で２値化した紙面歪みのある２値画像を入力する。
図１３は、紙面歪みのある画像の例を示す図である。
【００５４】
図１３に示したように、２値化された２値画像には紙面歪みが生じている。
次に、入力された紙面歪みのある２値画像に対してラベリング処理を実行する。
図１４は、紙面歪みのある画像の文字列抽出を説明するための図である。
【００５５】
図１４において、矩形領域１４１は、図５を用いて説明したラベリング処理と同様に、２値画像中で概ね連結している黒画素（あるいは白画素）を含む領域、例えば連結している黒画素に外接する矩形領域を取り出す処理によって求めることができる。
【００５６】
そして、隣接する矩形領域１４１を統合していく際、重なる矩形の中心弧を描くように、あるいは折れ線のようになるように連結することにより、文字列領域１４２を求める。
ステップＳ２３−１で紙面歪みのある画像から文字列が抽出されると、図２のステップＳ２４乃至ステップＳ２６と同様の処理を実行する。
【００５７】
そして、図１１のステップＳ１１０１と同様に、ステップＳ１１０１において、ステップＳ２６で設定した辞書が高品質文字用辞書２１であるか否かを判断する。
高品質文字用辞書２１が設定されていると判断された場合（ステップＳ１１０１：Ｙ）は、ステップＳ１２０１において、紙面歪み補正処理を実行する。
【００５８】
図１５は、図１３に示した紙面歪みのある２値画像の補正後の画像の例を示す図である。
図１５に示したように、文字の劣化自体を補正することはできず、歪んだ紙面上での劣化した文字画像は補正された画像上でも劣化したままとなるが、一般的な紙面歪み補正処
理によって紙面自体に起因する歪みをある程度補正することができる。
【００５９】
図１２の説明に戻る。
ステップＳ１２０１で紙面歪み補正を実行した文字認識装置１０は、ステップＳ１１０２において、高品質文字用辞書２１を参照することにより、ステップＳ２１で撮像されたカラー画像を２値化した２値化画像から文字を認識する。
【００６０】
他方、高品質文字用辞書２１が設定されていないと判断された場合（ステップＳ１１０１：Ｎ）は、ステップＳ１２０２において、ステップＳ１２０１と同様に紙面歪み補正処理を実行する。
【００６１】
そして、ステップＳ１２０２で紙面歪み補正を実行した文字認識装置１０は、ステップＳ１１０３において、ステップＳ２１で撮像されたカラー画像を濃淡画像変換し、ステップＳ２６で設定された辞書が低品質文字用辞書２２である場合には、ステップＳ１１０４において、低品質文字用辞書２２を参照することにより、ステップＳ１１０３で濃淡画像変換された濃淡画像から文字を認識し、ステップＳ２６で設定された辞書がレンズ歪み用辞書２３である場合には、ステップＳ１１０５において、レンズ歪み用辞書２３を参照することにより、ステップＳ１１０３で濃淡画像変換された濃淡画像から文字を認識する。
【００６２】
最後に、ステップＳ２８−１、２８−２、２８−３のそれぞれにおいて、ステップＳ１１０２、１１０４、１１０５のそれぞれで認識した認識結果である文字を出力する。
上述したように、歪んだ紙面上の文字を認識する場合には、歪み補正処理後の画像から文字位置情報を求めるのではなく、図２を用いて説明したように、画像中の文字位置を予め検出しておき、続いて、文字列の歪曲情報に基づく歪み補正処理を実行して紙面の補正を行ったうえで、文字位置情報と設定された辞書とに基づいて文字認識を行なう。
【００６３】
以上、本発明の実施の形態を、図面を参照しながら説明してきたが、本発明が適用される文字認識装置は、その機能が実行されるのであれば、上述の実施の形態に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００６４】
また、図１６に示しように、バス１６８に接続されたＣＰＵ１６１、ＲＯＭやＲＡＭのメモリ１６２、入力装置１６３、出力装置１６４、外部記録装置１６５、媒体駆動装置１６６、可搬記録媒体１６９、ネットワーク接続装置１６７で構成されるシステムでも実現できる。すなわち、前述してきた実施の形態のシステムを実現するソフトェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ１６２、外部記録装置１６５、可搬記録媒体１６９を、文字認識装置に供給し、その文字認識装置のコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００６５】
この場合、可搬記録媒体１６９等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記録媒体１６９等は本発明を構成することになる。
【００６６】
プログラムコードを供給するための可搬記録媒体１６９としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置１６７（言い換えれば、通信回線）を介して記録した種々の記録媒体などを用いることができる。
【００６７】
また、図１０に示すように、コンピュータがメモリ１６２上に読み出したプログラムコードを実行することによって、前述した実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現される。
【００６８】
さらに、可搬型記録媒体１６９から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリ１６２に書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ１６１などが実際の処理の一部または全部を行ない、その処理によっても前述した実施の形態の機能が実現され得る。
すなわち、本発明は、以上に述べた実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成または形状を取ることができる。
【００６９】
ここで、上述した実施の形態の特徴を列挙すると、以下の通りである。
(付記１）
文字を認識する文字認識装置のコンピュータを、
画像を撮像する撮像手段によって撮像された画像から文字パターンを抽出する文字パターン抽出機能と、
前記撮像手段によって撮像された画像における、前記文字パターン抽出機能によって抽出された文字パターンの位置を判別する文字パターン位置判別機能と、
前記文字パターン位置判別機能によって判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択する辞書選択機能と、
前記辞書選択機能によって選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する文字認識機能と、
して機能させるための文字認識プログラム。
(付記２）
前記文字パターン抽出機能によって抽出された文字パターンの並びが略直線でない場合、前記文字パターンの並びが略直線となるように前記撮像手段によって撮像された画像を補正する紙面歪み補正機能、
をさらに備え、
前記文字認識機能が認識する対象である画像は、前記紙面歪み補正機能によって補正された画像であり、
前記辞書選択機能が前記第１の特徴用辞書又は前記第２の特徴用辞書を選択する際の判断基準である文字パターンの位置は、前記紙面歪み補正機能によって補正される前の画像から前記文字パターン抽出機能によって抽出された文字パターンの位置であることを特徴とする付記１に記載の文字認識プログラム。
(付記３）
前記第１の特徴は、前記画像の品質が高品質であるという特徴であり、前記第２の特徴は、前記画像の品質が低品質であるという特徴であり、
前記辞書選択機能は、前記文字パターン位置判別機能によって判別された位置が前記撮像手段によって撮像された画像の中心から第１の基準距離以内の領域である場合、前記第１の特徴用辞書を選択し、前記位置が前記第１の領域以外の領域である場合、前記第２の特徴用辞書を選択する、
ことを特徴とする付記１または２に記載の文字認識プログラム。
(付記４）
前記文字認識機能は、前記辞書選択機能によって選択された第１の辞書を参照すること
により、前記撮像手段によって撮像された画像を２値化した２値化画像から文字を認識し、前記辞書選択機能によって選択された第２の辞書を参照することにより、前記撮像手段によって撮像された画像を濃淡画像変換した濃淡画像から文字を認識する、
ことを特徴とする付記３に記載の文字認識プログラム。
(付記５）
前記第１の特徴は、前記撮像手段が有するレンズに起因して前記画像が歪んでいないという特徴であり、前記第２の特徴は、前記撮像手段が有するレンズに起因して前記画像が歪んでいるという特徴であり、
前記辞書選択機能は、前記文字パターン位置判別機能によって判別された位置が前記撮像手段によって撮像された画像の中心から第２の基準距離以内の領域である場合、前記第１の特徴用辞書を選択する、
ことを特徴とする付記１または２に記載の文字認識プログラム。
(付記６）
前記文字認識機能によって認識された認識結果を出力する認識結果出力機能、
をさらに備えることを特徴とする付記１乃至５の何れか１項に記載の文字認識プログラム。
(付記７）
画像を撮像する撮像手段と、
前記撮像手段によって撮像された画像から文字パターンを抽出する文字パターン抽出手段と、
前記撮像手段によって撮像された画像における、前記文字パターン抽出手段によって抽出された文字パターンの位置を判別する文字パターン位置判別手段と、
前記文字パターン位置判別手段によって判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択する辞書選択手段と、
前記辞書選択手段によって選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する文字認識手段と、
を備えることを特徴とする文字認識装置。
(付記８）
画像を撮像する撮像手段と、
前記撮像手段によって撮像された画像から文字パターンを抽出する文字パターン抽出手段と、
前記撮像手段によって撮像された画像における、前記文字パターン抽出手段によって抽出された文字パターンの位置を判別する文字パターン位置判別手段と、
画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書と、
前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書と、
前記文字パターン位置判別手段によって判別された文字パターンの位置に基づいて、前記第１の特徴用辞書又は前記第２の特徴用辞書を選択する辞書選択手段と、
前記辞書選択手段によって選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する文字認識手段と、
を備えることを特徴とする文字認識装置。
(付記９）
文字を認識する文字認識装置において実行される文字認識方法であって、
画像を撮像する撮像手段によって撮像された画像から文字パターンを抽出し、
前記撮像手段によって撮像された画像における、前記抽出された文字パターンの位置を
判別し、
前記判別された文字パターンの位置に基づいて、画像の第１の特徴に基づいて文字認識を行なうために予め用意された第１の特徴用辞書、又は前記第１の特徴とは異なる画像の第２の特徴に基づいて文字認識を行なうために予め用意された第２の特徴用辞書を選択し、
前記選択された前記第１の特徴用辞書または前記第２の特徴用辞書を参照することにより、前記撮像手段によって撮像された画像から文字を認識する、
ことを特徴とする文字認識方法。
【図面の簡単な説明】
【００７０】
【図１】本発明の概略を説明するための機能ブロック図である。
【図２】本発明を適用した文字認識処理の実行プロセスを説明するための図である。
【図３】撮像された画像の例を示す図である。
【図４】２値化画像の例を示す図である。
【図５】文字列抽出処理の流れを説明するための図である。
【図６】文字列抽出された例を示す図である。
【図７】抽出した個々の文字の位置情報を説明するための図である。
【図８】撮影された方眼紙の画像の例を示す図である。
【図９】文字が印字されたマス目とマス目番号との関係を示す図である。
【図１０】マス目番号と適用される辞書との関係を示す図である。
【図１１】紙面歪みのない画像に対する文字認識処理の流れを示すフローチャートである。
【図１２】紙面歪みのある画像に対する文字認識処理の流れを示すフローチャートである。
【図１３】紙面歪みのある画像の例を示す図である。
【図１４】紙面歪みのある画像の文字列抽出を説明するための図である。
【図１５】図１３に示した紙面歪みのある２値画像の補正後の画像の例を示す図である。
【図１６】本発明における文字認識装置の構成図である。
【図１７】本発明における文字認識プログラムのコンピュータへのローディングを説明するための図である。
【符号の説明】
【００７１】
１０      文字認識装置
１１      撮像手段
１２      文字パターン抽出手段
１３      文字パターン位置判別手段
１４      辞書選択手段
１５      文字認識手段
１６      認識結果出力手段
１７      紙面歪み補正手段
２０      文字認識用辞書
２１      高品質文字用辞書
２２      低品質文字用辞書
２３      レンズ歪み用辞書
５０      文字列領域
５１      矩形領域
５２      矩形領域
５３      矩形領域
５４      矩形領域
５５      矩形領域
５６      矩形領域
７０      撮像画像
７１      抽出文字
１４１      矩形領域
１４２      文字列領域
１６１      ＣＰＵ
１６２      メモリ
１６３      入力装置
１６４      出力装置
１６５      外部記録装置
１６６      媒体駆動装置
１６７      ネットワーク接続装置
１６８      バス
１６９      可搬記録媒体
【図１】
2008171301.tif 000003
【図２】
2008171301.tif 000004
【図４】
2008171301.tif 000005
【図５】
2008171301.tif 000006
【図６】
2008171301.tif 000007
【図７】
2008171301.tif 000008
【図１１】
2008171301.tif 000009
【図１２】
2008171301.tif 000010
【図１６】
2008171301.tif 000011
【図１７】
2008171301.tif 000012
【図３】
2008171301.tif 000013
【図８】
2008171301.tif 000014
【図９】
2008171301.tif 000015
【図１０】
2008171301.tif 000016
【図１３】
2008171301.tif 000017
【図１４】
2008171301.tif 000018
【図１５】
2008171301.tif 000019