(57)【要約】【課題】  画像データが正方向でない場合でも、文字認識処理を高速化する。【解決手段】  領域識別部（１２ａ）の領域識別結果は方向判別部（１２ｂ）に入力され、方向判別部（１２ｂ）はテキスト領域のいずれかについて、文字を０度、９０度、１８０度、２７０度の４方向に順次回転する。ここで文字認識部（１２ｅ）は、各方向について、テキスト領域内の所定数の文字パターンを文字認識処理する。方向判別部（１２ｂ）は、各方向の認識率から、最も認識率が高い方向を原稿の正方向と判断し、正方向の回転角度を画像回転部（１２ｃ）に出力する。方向判別部（１２ｂ）による方向判別の結果、画像データが正方向でないと判断された場合は、画像回転部（１２ｃ）で画像データを回転するとともに、領域情報回転部（１２ｄ）によって領域情報（１５ｂ）を回転する。【選択図】        図１
2005346419.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対して文字認識処理を実行する文字処理装置であって、
画像データを入力する画像入力手段と、
前記画像データを属性に基づいて領域分割するとともに、各領域の領域情報を生成する領域識別手段と、
前記領域分割された領域のうち、文字を含む一部の領域を、所定の複数の回転角度で回転して、文字認識処理し、該文字認識処理の結果に基いて、前記画像データの方向を判断する方向判別手段と、
前記方向判別手段の判断結果に基いて、必要に応じて、前記画像データを、前記回転角度のうちのいずれかの回転角度に回転補正する画像補正手段と、
前記方向判別手段の判断結果に基いて、必要に応じて、前記領域情報を、前記回転角度のうちのいずれかの回転角度に回転補正する領域情報補正手段と、
前記領域情報に基いて、文字を含む領域を文字認識処理する文字認識手段と、
を有することを特徴とする文字認識処理装置。
【請求項２】
前記回転角度は０度、９０度、１８０度および２７０度であることを特徴とする請求項１に記載の文字認識処理装置。
【請求項３】
前記領域情報補正手段によって回転補正する領域情報は位置情報であることを特徴とする請求項１または２に記載の文字処理装置。
【請求項４】
前記領域識別手段は各領域に番号を付し、前記領域情報補正手段は、領域情報を回転補正したときは、前記番号を修正することを特徴とする請求項３に記載の文字処理装置。
【請求項５】
更に、ユーザの指示に基づいて、領域識別精度を優先するか、処理速度を優先するか選択する選択手段と、
前記選択手段により前記領域識別精度の優先が選択された場合は、前記画像補正手段により回転補正された画像データに対して、属性に基づいて領域分割するとともに、各領域の領域情報を生成する第２領域識別手段と、を有し、
前記文字認識手段は、前記第２領域識別手段で生成された領域情報に基づいて、文字を含む領域を文字認識処理することを特徴とする請求項１に記載の文字処理装置。
【請求項６】
画像データに対して文字認識処理を実行する文字処理方法であって、
画像データを入力する画像入力ステップと、
前記画像データを属性に基づいて領域分割するとともに、各領域の領域情報を生成する領域識別ステップと、
前記領域分割された領域のうち、文字を含む一部の領域を、所定の複数の回転角度で回転して、文字認識処理し、該文字認識処理の結果に基いて、前記画像データの方向を判断する方向判別ステップと、
前記方向判別ステップの判断結果に基いて、必要に応じて、前記画像データを、前記回転角度のうちのいずれかの回転角度に回転補正する画像補正ステップと、
前記方向判別手段の判断結果に基いて、必要に応じて、前記領域情報を、前記回転角度のうちのいずれかの回転角度に回転補正する領域情報補正ステップと、
前記領域情報に基いて、文字を含む領域を文字認識処理する文字認識ステップと、
を有することを特徴とする文字認識処理方法。
【請求項７】
請求項６記載の文字認識処理方法をコンピュータによって実現させるためのコンピュータ実行可能プログラム。
【請求項８】
請求項６記載の文字認識処理方法をコンピュータによって実現させるためのコンピュータ読取可能なプログラムを格納する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データ中の文字を処理するための文字処理方法及び文字処理装置に関する。
【背景技術】
【０００２】
コンピュータの高性能化に伴い文字認識装置や電子ファイリング装置など、文書電子化装置の実用化が進んでいる。文書電子化装置では、原稿画像をスキャナ等で読み取って得た画像データを文字認識処理し、文字データを抽出する。
【０００３】
文字認識処理においては、読み取り時の原稿画像の方向、すなわち、画像データの方向が重要であり、例えば、原稿画像が逆向きのとき、画像データから切り出される文字も逆向きになるため、文字認識が困難となる。従って、画像データの文字認識処理に際しては、画像データを正方向に設定する必要がある。
【０００４】
そこで、特許文献１、２の画像処理装置では、画像データの正しい方向を自動的に判別する方向判別手法が提案されている。これら手法では、画像データを領域識別して、テキスト領域内の文字を０、９０、１８０、２７０度の４方向で文字認識処理することにより、最も文字の認識度が高い方向を原稿の正方向とし、方向判別結果に基づいて画像データを回転して、領域識別、文字認識処理を実行する。
【０００５】
【特許文献１】特開平８−２１２２９８号公報
【０００６】
【特許文献２】特開２００２−０２４７５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、特許文献１、２の文字認識処理では、画像データが正方向でないときには、画像データを回転補正した後に、再び領域識別するので、正確な領域識別結果が取得できるが、その代わり、２度の領域識別が必要となるため、処理速度を充分に高めることができない。
【０００８】
一方、画像データに対して文字認識処理を行い、文字認識結果の文字コードを不可視な状態で該画像データに埋め込むことにより、文字コードによる検索すると、検索された文字コードに対応する画像データが表示されるような文字コード埋め込み画像データを作成する技術（例えば画像データに文字認識結果の文字コードを埋め込んでＰＤＦデータ形式のファイルを作成する技術）が考えられている。このようにオリジナルの画像データが表示される場合、正確な領域識別結果よりもむしろ処理速度向上に対する要求が極めて高い。
【０００９】
特に、オートドキュメントフィーダーを備えたスキャナで大量の原稿を一度に画像データに変換し、この画像データを文字認識処理して文字コード埋め込み画像データを作成する等、大量の原稿を一括処理する場合には、処理速度が作業効率に大きな影響を与える。
【００１０】
本発明は、このような従来の問題点を解消すべく創案されたもので、領域識別の精度よりも処理速度を優先させることを目的とする。
【発明の効果】
【００１１】
本発明によれば、画像データが正方向でない場合でも、領域識別処理を一度行うだけなので、文字認識処理を高速化し得る。
【課題を解決するための手段】
【００１２】
本発明は、画像データに対して文字認識処理を実行する文字処理装置であって、画像データを入力する画像入力手段と、前記画像データを属性に基づいて領域分割するとともに、各領域の領域情報を生成する領域識別手段と、前記領域分割された領域のうち、文字を含む一部の領域を、所定の複数の回転角度で回転して、文字認識処理し、該文字認識処理の結果に基いて、前記画像データの方向を判断する方向判別手段と、前記方向判別手段の判断結果に基いて、必要に応じて、前記画像データを、前記回転角度のうちのいずれかの回転角度に回転補正する画像補正手段と、前記方向判別手段の判断結果に基いて、必要に応じて、前記領域情報を、前記回転角度のうちのいずれかの回転角度に回転補正する領域情報補正手段と、前記領域情報に基いて、文字を含む領域を文字認識処理する文字認識手段とを有する。これによって、画像データが正方向でない場合でも、領域識別処理を一度行うだけなので、文字認識処理を高速化し得る。
【００１３】
本発明は、画像データに対して文字認識処理を実行する文字処理方法であって、画像データを入力する画像入力ステップと、前記画像データを属性に基づいて領域分割するとともに、各領域の領域情報を生成する領域識別ステップと、前記領域分割された領域のうち、文字を含む一部の領域を、所定の複数の回転角度で回転して、文字認識処理し、該文字認識処理の結果に基いて、前記画像データの方向を判断する方向判別ステップと、前記方向判別ステップの判断結果に基いて、必要に応じて、前記画像データを、前記回転角度のうちのいずれかの回転角度に回転補正する画像補正ステップと、前記方向判別手段の判断結果に基いて、必要に応じて、前記領域情報を、前記回転角度のうちのいずれかの回転角度に回転補正する領域情報補正ステップと、前記領域情報に基いて、文字を含む領域を文字認識処理する文字認識ステップとを有する。これによって、画像データが正方向でない場合でも、領域識別処理を一度行うだけなので、文字認識処理を高速化し得る。
【発明を実施するための最良の形態】
【００１４】
次に本発明に係る文字認識処理装置および文字認識処理方法の好適な実施例を図面に基づいて説明する。
【実施例】
【００１５】
図１において、文字認識処理装置は、スキャナ、ファイル読み込み装置などの画像入力部１１を有し、この画像入力部１１から原稿を画像データとして入力する。
【００１６】
画像入力部１１はバス１７に接続され、バス１７を介して文字認識処理を実行するプロセッサ１２に接続されている。
【００１７】
バス１７にはさらにキーボード１３、ディスク１４、メモリ１５、出力部１６が接続されている。
【００１８】
メモリ１５は、プロセッサ１２において処理制御情報を作成する際の一時データ記憶、あるいは画像入力部１１で読み込んだ画像データ１５ａを蓄積する。また、後述するフローチャートに対応するような処理をコンピュータに実行させるための制御プログラム１５ｃが格納される。
【００１９】
プロセッサ１２は、メモリ１５に格納された制御プログラム１５ｃを実行することにより、領域識別部１２ａ、方向判別部１２ｂ、画像回転部１２ｃ、領域情報回転部１２ｄ、文字認識部１２ｅ、文字認識結果出力部１２ｆとして機能する。
【００２０】
領域識別部１２ａは画像データ１５ａを領域識別して領域情報１５ｂを抽出する。領域情報１５ｂはメモリ１５に格納される。
キーボード１３は、ユーザからの指示を入力するためのユーザインターフェースであり、キーボード、タッチパネル、マウスなどユーザからの指示操作を入力するための装置であればよい。このキーボード１３を用いて、領域識別精度優先とするか処理速度優先とするかユーザにより指示可能とし、領域識別精度優先と指示された場合は従来技術の項で説明したように文書方向を識別した後、再度領域識別処理を行なうようにする。一方、処理速度優先が指示された場合は、下記に説明するように、文書方向を識別する前に行なった領域識別処理結果を回転補正することにより領域識別処理を省略する。なお、入力された文書を自動的に文字コード埋め込み画像に変換する処理がユーザにより指示された場合は、自動的に処理速度優先が選択されるものとする。ディスク１４は、補助記憶装置として機能する。
【００２１】
出力部１６は、ディスプレイ、プリンタ、ネットワーク、認識結果等の各種情報等を出力し、あるいは他の記憶装置等に格納する処理を行う。また出力部１６において、出力先の形式に対応したデータ変換を可能としてもよい。
【００２２】
画像入力部１１で読み取った文書は、画像データ１５ｂとしてメモリ１５に格納される。画像データ１５ｂはプロセッサ１２に設けられた画像処理部（図示せず。）等により２値化処理されて、領域識別部１２ａに送られ、ヒストグラム法や輪郭線追跡などの手法により、テキスト、図、表などの領域に領域分割されて分類される。
【００２３】
領域識別部１２ａの領域識別結果は方向判別部１２ｂに入力され、方向判別部１２ｂはテキスト領域のいずれかについて、文字を０度、９０度、１８０度、２７０度の４方向に順次回転する。ここで文字認識部１２ｅは、各方向について、テキスト領域内の所定数の文字パターンについてのみ文字認識処理する。
【００２４】
方向判別部１２ｂは、各方向の認識率から、最も認識率が高い方向を原稿の正方向と判断し、正方向の回転角度を画像回転部１２ｃに出力する。
【００２５】
方向判別部１２ｂによる方向判別の結果、画像データが正立していないと判断された場合は、画像回転部１２ｃで画像データを回転するとともに、領域情報回転部１２ｄによって領域情報１５ｂを回転する。
【００２６】
図３は、領域識別部１２ａによる図２の画像データを領域識別処理した例を示す。図２の画像データは、上端にタイトルＡ２１、タイトルＡ２１の下にテキスト領域Ａ２２、テキスト領域Ａ２２の下の左右にテキスト領域Ａ２３、図領域Ａ２４、これら領域Ａ２３、Ａ２４の下に表タイトル領域Ａ２５、表タイトルＡ２５の下に表領域Ａ２６が存在する。
【００２７】
図３においては、領域識別処理により、領域Ａ２１〜Ａ２６に対応したブロックＢ３１〜Ｂ３６が抽出され、ブロックＢ３１はテキスト領域であって始点（Ｘ31，Ｙ31）、ブロックＢ３２はテキスト領域であって始点（Ｘ32，Ｙ32）、ブロックＢ３３はテキスト領域であって始点（Ｘ33，Ｙ33）、ブロックＢ３４は図領域であって始点（Ｘ34，Ｙ34）、ブロックＢ３５はテキスト領域であって始点（Ｘ35，Ｙ35）、ブロックＢ３６は表領域であって始点（Ｘ36，Ｙ36）とされている。ブロックＢ３１〜Ｂ３６は水平辺、垂直辺よりなる長方形であり、始点はその左上角の座標である。
【００２８】
図３の領域識別結果は方向判別部１２ｂに入力され、方向判別部１２ｂはテキスト領域Ｂ３１、Ｂ３２、Ｂ３３、Ｂ３５いずれかについて、文字を０度、９０度、１８０度、２７０度の４方向に順次回転し、各方向において、文字認識部１２ｅによる文字認識処理を実行して、認識率を判定する。文字認識処理はテキスト領域内の所定数の文字パターンについてのみ実行され、処理の迅速化が図られている。
【００２９】
方向判別部１２ｂは、各方向の認識率から、最も認識率が高い方向を原稿の正方向と判断し、正方向の回転角度を画像回転部１２ｃに出力する。
【００３０】
方向判別部１２ｂによる方向判別の結果、画像データが正立していないと判断された場合は、画像回転部１２ｃで画像データを回転するとともに、領域情報回転部１２ｄによって領域情報１５ｂを回転する。
【００３１】
以上の処理で得られた正方向の画像データ１５ａおよび領域情報１５ｂについて、文字認識部１２ｅによって文字認識処理を実行し、文字認識結果出力部１２ｆから、文字認識した結果の文字データを出力する。
【００３２】
図４は図２の画像データが正方向から１８０度回転して入力された画像データを示す図であり、図５は、図４の画像データを正しく領域識別した結果を示す。図５において、ブロックＢ５１、Ｂ５２、Ｂ５３、Ｂ５４、Ｂ５５、Ｂ５６は図３のＢ３６、Ｂ３５、Ｂ３４、Ｂ３３、Ｂ３２、Ｂ３１にそれぞれ対応する。ブロックＢ５１、Ｂ５２、Ｂ５３、Ｂ５４、Ｂ５５、Ｂ５６の始点は、それぞれ（Ｘ51，Ｙ51）、（Ｘ52，Ｙ52）、（Ｘ53，Ｙ53）、（Ｘ54，Ｙ54）、（Ｘ55，Ｙ55）、（Ｘ56，Ｙ56）であり、図３の対応ブロックＢ３６〜Ｂ３１における右下角の座標を１８０度回転した座標である。
【００３３】
図５の領域情報を領域情報回転部１２ｄによって正方向に回転すると、図６の領域情報が得られる。図６では、領域情報の位置情報のみを回転補正し、図５のブロック番号、始点座標がそのまま適用されている。
【００３４】
このように位置情報のみを回転補正した状態においても、充分高精度の文字認識が可能である。
【００３５】
さらに領域情報回転部１２ｄは、図６の領域情報におけるブロック番号を修正するとともに、始点座標を正方向の状態に合致させ、図７の領域情報を生成する。
【００３６】
このように、位置情報に加え、ブロック番号、始点座標を修正すれば、文字認識処理を効率化し得る。
【００３７】
図７では、ブロックＢ５１、Ｂ５２、Ｂ５３、Ｂ５４、Ｂ５５、Ｂ５６をブロックＢ５６、Ｂ５５、Ｂ５４、Ｂ５３、Ｂ５２、Ｂ５１に修正し、始点座標を正方向の左上角の座標（Ｘ71，Ｙ71）、（Ｘ72，Ｙ72）、（Ｘ73，Ｙ73）、（Ｘ74，Ｙ74）、（Ｘ75，Ｙ75）、（Ｘ76，Ｙ76）に修正する。
【００３８】
図４の１８０度回転画像が、画像方向の不正により、正しく領域識別されなかったときの領域情報を図８に示す。
【００３９】
図８の領域情報では、図３のブロックＢ３３、Ｂ３５が分離されずブロックＢ８３とされ、ブロックＢ３１、Ｂ３２、Ｂ３４、Ｂ３６に対応するブロックＢ８５、Ｂ８４、Ｂ８２、Ｂ８１がそれぞれ抽出されている。
【００４０】
しかし、ブロック８３に含まれる２つの領域（ブロックＢ３３、Ｂ３５）はいずれもテキスト領域であるので、文字データに影響はない。すなわち方向判別においては、同一属性の領域を厳密に分離する必要はなく、比較的簡略な処理で足りる。この点においても処理の迅速化が図られている。
【００４１】
図８の領域情報を方向判別した結果に基き、位置情報のみを回転補正した結果を図９に示す。図９におけるテキスト領域Ｂ８３〜Ｂ８５および表領域Ｂ８１を文字認識し、文字データを生成すれば、全ての文字データを正しく取得し得る。
【００４２】
図１０は文字認識処理装置の以上の処理を示すフローチャートであり、ユーザにより文字コード埋め込み画像データの作成が指示された場合など、処理速度優先が指示された場合に実行される処理を示す。文字認識処理装置によって実施される文字認識処理方法の実施例はこのフローチャートによる。
【００４３】
文字認識処理装置の処理および文字認識処理方法は以下の各ステップによって実行される。
【００４４】
ステップＳ１０１：まず、画像入力部１１から原稿を読み込み、画像データ１５ａとしてメモリ１５に転送する。
【００４５】
ステップＳ１０２：ステップＳ１０１に続いて、画像データ１５ａの方向を判別するために、領域識別部１２ａによって領域識別処理を行い、画像データの領域をテキスト領域、図領域、表領域等の、性質（属性）の異なる小領域に分割する。なお、領域識別処理に際しては、二値化や傾斜補正等の前処理も実行される。
【００４６】
領域識別部１２ａは、領域識別処理により得られた各領域に関する領域情報１５ｂ（ブロック番号、属性、始点位置、大きさ等の情報）をメモリ１５に保存する。
【００４７】
ステップＳ１０３：ステップＳ１０２に続いて、方向判別部１２ｂによって、領域識別結果のテキスト領域に含まれる文字パターンを０度、９０度、１８０度、２７０度の４方向に回転させ、それぞれの回転方向について所定数の文字パターンのみについて文字認識する。これによって処理が迅速化される。
【００４８】
文字認識の結果から得た平均類似度（認識率）の最も高い方向を正方向と判断し、その正方向の回転角度を画像回転部１２ｃに出力する。
【００４９】
ステップＳ１０４：ステップＳ１０３の方向判別の結果、画像データが正方向であったかどうかを判断する。正方向であったときはステップＳ１０７にジャンプし、正方向でないときはステップS１０５に進む。
【００５０】
ステップＳ１０５：方向判別の判別結果より得た正方向の回転角度に基づいて、画像回転部１２ｃによって、画像データ１５ａが正方向になるように、画像データ１５ａを回転補正処理する。回転補正された画像データ１５ａはメモリ１５に保存する。
【００５１】
ステップＳ１０６：方向判別の判別結果より得た正方向の回転角度に基づいて、領域情報１５ｂが正方向になるように、領域情報１５ｂを回転補正処理する。回転補正された領域情報１５ｂはメモリ１５に保存する。このとき、回転補正した各ブロックの位置情報のみを回転補正し、あるいは、ブロック番号や始点座標も併せて補正する。
【００５２】
ステップＳ１０７：正方向、あるいいは正方向に回転補正されたの画像データ１５ａにおいて、正方向、あるいいは正方向に回転補正された領域情報１５ｂに基いてテキスト領域を抽出し、各テキスト領域を文字認識処理する。
【００５３】
これによって、文字認識結果としての文字データが得られる。
【００５４】
ステップＳ１０８：ステップＳ１０７の文字認識結果の文字データを所定の形式に変換して出力する。
【００５５】
以上の実施例に示したように、画像データが正方向でない場合も、領域識別処理を１度だけ行うので、処理時間を短縮することができる。
【００５６】
なお、文書認識処理装置は図１の構成に限定されるものではなく、汎用コンピュータを文書認識処理装置として適用することも可能である。
【００５７】
汎用コンピュータによって本発明の文書認識処理装置を構成する際には、ユーザが文字認識処理を実行するためのプログラムの各ステップを汎用コンピュータに実行させるためプログラムコードを含むコンピュータ実行可能なプログラムを、汎用コンピュータに読み込ませる。
【００５８】
汎用コンピュータが文書認識処理を実行するためのプログラムは、汎用コンピュータに内蔵されたＲＯＭや、汎用コンピュータが読み取り得る記憶媒体から読み込まれ、あるいはネットワークを通じてサーバ等から読み込まれる。
【図面の簡単な説明】
【００５９】
【図１】本発明に係る文字認識処理装置の実施例を示すブロック図である。（実施例）
【図２】図１の文字認識処理装置の処理対象である画像データの例を示す図である。（実施例）
【図３】図２の画像データを領域識別した結果を示す図である。（実施例）
【図４】図２の画像データが１８０度回転して入力された画像データを示す図である。（実施例）
【図５】図４の画像データを領域識別した結果を示す図である。（実施例）
【図６】図５の領域情報を正方向に回転補正した図である。（実施例）
【図７】図６の領域情報におけるブロック番号を正方向に回転補正した図である。（実施例）
【図８】図４の画像データが正しく領域識別されなかった例を示す図である。（実施例）
【図９】図８の領域情報を正方向に回転補正した図である。（実施例）
【図１０】図１の文字認識処理装置の処理および本発明に係る文字認識処理方法の実施例を示すフローチャートである。（実施例）
【符号の説明】
【００６０】
１１  スキャナ、カメラ等の画像入力部
１２  プロセッサ
１２ａ  領域識別部
１２ｂ  方向判別部
１２ｃ  画像回転部
１２ｄ  領域情報回転部
１２ｅ  文字認識部
１２ｆ  文字認識結果出力部
１３  キーボード
１４  ディスク
１５  メモリ
１５ａ  画像データ
１５ｂ  領域情報
１５ｃ  制御プログラム
１６  ディスプレイ、プリンタ、ネットワーク等の出力部
【図１】
2005346419.tif 000003
【図２】
2005346419.tif 000004
【図３】
2005346419.tif 000005
【図４】
2005346419.tif 000006
【図５】
2005346419.tif 000007
【図６】
2005346419.tif 000008
【図７】
2005346419.tif 000009
【図８】
2005346419.tif 000010
【図９】
2005346419.tif 000011
【図１０】
2005346419.tif 000012