(57)【要約】【課題】原稿画像の方向を短時間で判別し得るようにする。【解決手段】画像処理装置１のプロセッサ２は、原稿読取出力処理において、文字認識処理の結果を用いて文字方向判別処理により文字方向を判別し、得られた文字方向を用いて原稿画像の方向を判別する。このときプロセッサ２は、文字認識結果リストＬ１等において第１位の類似度が閾値以上であればその文字方向をそのまま採用する一方、第１位の類似度が閾値未満であっても、第１位と各順位との間で文字方向の一致度が所定の閾値以上であれば、第１位の文字方向を採用する。これによりプロセッサ２は、第１位の類似度が閾値以上であった文字の文字方向のみを採用する場合と比較して、文字方向を採用する頻度を高めることができるので、画像方向の判別に必要な文字数を得るまでに行う文字認識処理の回数を削減でき、処理負荷を軽減して処理時間を短縮できる。【選択図】図１３
2019125200.tif 000002
【特許請求の範囲】
【請求項１】
原稿画像データから１文字に相当する領域である文字領域を１以上抽出する文字領域抽出部と、
複数の文字それぞれの照合に関する照合用情報が格納された照合用辞書を記憶する記憶部と、
前記文字領域と前記照合用辞書とを照合し、もっともらしさが高い方から複数順位までの候補が含まれる文字認識結果を生成する文字認識部と、
前記文字認識結果を基に、所定の方向判別条件を満たす場合に前記文字領域に含まれる文字の文字方向を判別する文字方向判別部と、
所定の判別文字数閾値以上の数でなる前記文字方向に基づき、前記原稿画像データの方向を判別する原稿画像方向判別部と
を具えることを特徴とする画像処理装置。
【請求項２】
前記文字認識部により生成される前記文字認識結果は、複数順位までの前記候補それぞれについて、少なくとも、前記文字領域に含まれる前記文字の方向を表す前記文字方向と、前記照合用辞書に格納された前記文字との類似の度合である類似度とを含み、当該類似度の高さに応じて前記順位が定められている
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記文字方向判別部は、前記文字認識結果における前記順位が第１位である前記候補の前記類似度が所定の類似度閾値以上である場合に満たすべき高類似度方向判別条件と、前記文字認識結果における前記順位が第１位である前記候補の前記類似度が前記類似度閾値未満である場合に満たすべき低類似度方向判別条件との何れかが満たされる場合に、前記方向判別条件を満たすと判定する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記高類似度方向判別条件は、前記文字認識結果における前記順位が第１位である前記候補の前記類似度が前記類似度閾値以上となることである
ことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記低類似度方向判別条件は、前記文字認識結果における前記順位が第１位である前記候補の前記文字方向と、前記順位が第２位以下である前記候補の前記文字方向とが一致する度合を表す文字方向一致度が、所定の文字方向一致度閾値以上となることである
ことを特徴とする請求項３に記載の画像処理装置。
【請求項６】
前記文字認識部は、前記文字領域の縦横比に応じて、当該文字領域と前記照合用辞書とを照合する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記記憶部は、正方形でなる前記文字領域に含まれる前記文字の照合に関する前記照合用情報が格納された正方形照合用辞書と、長方形でなる前記文字領域に含まれる前記文字の照合に関する前記照合用情報が格納された長方形照合用辞書とを記憶し、
前記文字認識部は、前記文字領域が概ね正方形であれば、当該文字領域を前記正方形照合用辞書と照合し、前記文字領域が長方形であれば、当該文字領域を前記長方形照合用辞書と照合する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記正方形照合用辞書は、Ｎ×Ｎ画素（ただしＮは自然数）の正方形でなる前記文字領域に含まれる前記文字の照合に関する前記照合用情報が格納され、
前記長方形照合用辞書は、Ｎ×Ｍ画素（ただしＭはＮよりも小さい自然数）の長方形でなる前記文字領域に含まれる前記文字の照合に関する前記照合用情報が格納され、
前記文字認識部は、前記文字領域が概ね正方形であれば、当該文字領域をＮ×Ｎ画素に正規化してから前記正方形照合用辞書と照合し、前記文字領域が長方形であれば、当該文字領域をＮ×Ｍ画素に正規化してから前記長方形照合用辞書と照合する
ことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記照合用辞書は、各文字について予め算出された文字特徴量が照合用文字特徴量として格納され、
前記文字認識部は、前記文字領域から前記文字特徴量を算出して対象文字特徴量とし、該対象文字特徴量を前記照合用辞書の前記照合用文字特徴量と照合することにより前記文字認識結果を生成する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１０】
前記照合用辞書は、複数の文字それぞれの照合に関する照合用情報が、所定の文字整列特徴量に基づいた順序に整列して格納されている
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１１】
前記文字認識部は、前記文字領域から対象文字整列特徴量を算出し、前記照合用辞書において前記対象文字整列特徴量を中心とした所定の照合範囲において、前記文字領域と当該照合用辞書とを照合する
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
文字領域抽出部により、原稿画像データから１文字に相当する領域である文字領域を１以上抽出する文字領域抽出ステップと、
複数の文字それぞれの照合に関する照合用情報が格納された照合用辞書が記憶された記憶部から当該照合用辞書を読み出す読出ステップと、
文字認識部により、前記文字領域と前記照合用辞書とを照合し、もっともらしさが高い方から複数順位までの候補が含まれる文字認識結果を生成する文字認識ステップと、
文字方向判別部により、前記文字認識結果を基に、所定の方向判別条件を満たす場合に前記文字領域に含まれる文字の文字方向を判別する文字方向判別ステップと、
原稿画像方向判別部により、所定の判別文字数閾値以上の数でなる前記文字方向に基づき、前記原稿画像データの方向を判別する原稿画像方向判別ステップと
を有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、例えば原稿から画像を読み取る読取機能を有する画像形成装置に適用して好適なものである。
【背景技術】
【０００２】
従来、読取機能を有する画像形成装置においては、例えば所定の原稿台にセットされた原稿から画像を読み取る画像読取処理を行って画像データを生成し、これを他の用紙に印刷して複写機として機能し、或いは電話回線を介してファクシミリ装置として機能するもの等が広く普及している。
【０００３】
この画像読取処理としては、例えば原稿から文字が含まれる領域を抽出し、この領域から文字を認識した上で、当該文字の認識結果を基に原稿画像の方向を自動的に判別するものがある。さらに画像読取処理では、文字の認識結果を基に、当該文字が原稿画像の方向判別に適しているか否かの判定を行い、適していると判別された文字のみの方向を用いることにより、原稿画像の方向判別の精度を高めるものが提案されている（例えば、特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００５−３４６４１８号公報（図２等）
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで上述した文字認識の処理では、各文字について所定の演算処理に従いそれぞれの特徴量を算出し、この特徴量を各文字と対応付けて、辞書データとして予め記憶している。その上で画像読取処理では、原稿画像の文字が含まれる領域から算出された特徴量と辞書データの特徴量とを比較し、両者の類似度が高い場合に、当該特徴量と対応付けられた文字を認識している。
【０００６】
しかしながら、上述した原稿画像の方向判別では、最も高い類似度が所定の基準値以上である場合にのみ、当該文字を方向判別に用いるものとし、且つ所定数以上の文字を用いて方向判別を行っている。このため画像読取処理では、原稿画像の方向判別を行うまでに、すなわち最も高い類似度が基準値以上である文字が所定数以上得られるまでに、比較的多くの文字について文字認識処理を行う必要があり、これに伴って演算処理量が膨大となり長時間を要してしまう、という問題があった。
【０００７】
本発明は以上の点を考慮してなされたもので、原稿画像の方向を短時間で判別し得る画像処理装置及び画像処理方法を提案しようとするものである。
【課題を解決するための手段】
【０００８】
かかる課題を解決するため本発明の画像処理装置においては、原稿画像データから１文字に相当する領域である文字領域を１以上抽出する文字領域抽出部と、複数の文字それぞれの照合に関する照合用情報が格納された照合用辞書を記憶する記憶部と、文字領域と照合用辞書とを照合し、もっともらしさが高い方から複数順位までの候補が含まれる文字認識結果を生成する文字認識部と、文字認識結果を基に、所定の方向判別条件を満たす場合に文字領域に含まれる文字の文字方向を判別する文字方向判別部と、所定の判別文字数閾値以上の数でなる文字方向に基づき、原稿画像データの方向を判別する原稿画像方向判別部とを設けるようにした。
【０００９】
また本発明の画像処理方法においては、文字領域抽出部により、原稿画像データから１文字に相当する領域である文字領域を１以上抽出する文字領域抽出ステップと、複数の文字それぞれの照合に関する照合用情報が格納された照合用辞書が記憶された記憶部から当該照合用辞書を読み出す読出ステップと、文字認識部により、文字領域と照合用辞書とを照合し、もっともらしさが高い方から複数順位までの候補が含まれる文字認識結果を生成する文字認識ステップと、文字方向判別部により、文字認識結果を基に、所定の方向判別条件を満たす場合に文字領域に含まれる文字の文字方向を判別する文字方向判別ステップと、原稿画像方向判別部により、所定の判別文字数閾値以上の数でなる文字方向に基づき、原稿画像データの方向を判別する原稿画像方向判別ステップとを設けるようにした。
【００１０】
本発明は、もっともらしさが高い方から複数順位までが含まれる文字認識結果を基に、各文字領域の文字方向を判別する。これにより本発明は、文字認識結果のうち第１位のみを基に文字方向を判別する場合と比較して、該文字方向を正常に判別し得る可能性を高め得るため、判別文字数閾値以上の文字方向を得るために文字認識処理を行う回数を低減でき、処理負荷や処理時間を大幅に短縮できる。
【発明の効果】
【００１１】
本発明によれば、原稿画像の方向を短時間で判別し得る画像処理装置及び画像処理方法を実現できる。
【図面の簡単な説明】
【００１２】
【図１】画像処理装置の構成を示す略線図である。
【図２】原稿読取出力処理手順を示すフローチャートである。
【図３】原稿画像を示す略線図である。
【図４】文字矩形の抽出を示す略線図である。
【図５】文字認識結果リストを示す略線図である。
【図６】回転後の原稿画像を示す略線図である。
【図７】文字領域抽出処理手順を示すフローチャートである。
【図８】連結黒領域矩形の抽出を示す略線図である。
【図９】図形ノイズの除去を示す略線図である。
【図１０】文字認識処理手順を示すフローチャートである。
【図１１】文字矩形の回転及び正規化を示す略線図である。
【図１２】文字の照合を示す略線図である。
【図１３】文字方向判別処理手順を示すフローチャートである。
【図１４】仮想的な文字方向判別処理手順を示すフローチャートである。
【図１５】文字方向判別処理の各段階における文字数の比較を示す略線図である。
【図１６】仮想的な文字認識処理手順を示すフローチャートである。
【図１７】仮想的な文字の照合を示す略線図である。
【発明を実施するための形態】
【００１３】
以下、発明を実施するための形態（以下実施の形態とする）について、図面を用いて説明する。
【００１４】
［１．画像処理装置の構成］
図１に示すように、本実施の形態による画像処理装置１は、いわゆるＭＦＰ（Multi Function Peripheral）となっており、媒体としての用紙に画像を形成する（すなわち印刷する）プリンタ機能の他、原稿から画像を読み取るイメージスキャナとしての機能や通信機能を有している。画像処理装置１は、これらの機能の組み合わせにより、プリンタ、複写機（コピー機）及びファクシミリ装置等として動作することができる。
【００１５】
この画像処理装置１は、プロセッサ２及びメモリ３を中心に構成されており、これらに加えて原稿入力部４及び出力部５が設けられている。因みに画像処理装置１には、図１に示していないものの、電話回線やネットワーク等を介して種々の通信処理を行う通信処理部や、タッチパネルや操作ボタン等でなる表示操作部等も設けられている。
【００１６】
プロセッサ２は、いわゆるＣＰＵ（Central Processing Unit）として構成されており、図示しないＲＯＭ（Read Only Memory）やフラッシュメモリ等から所定の原稿読取プログラムを読み出して実行することにより、種々の処理を実行することができる。具体的にプロセッサ２には、文字領域抽出部１１、文字認識部１２、文字方向判別部１３、原稿画像方向判別部１４及び画像回転部１５が形成される（詳しくは後述する）。
【００１７】
メモリ３は、ＲＡＭ（Random Access Memory）のような揮発性の記憶媒体及びハードディスクドライブやフラッシュメモリのような不揮発性の記憶媒体であり、その内部に複数の領域が設定され、それぞれに種々の情報を記憶することができる。具体的にメモリ３には、原稿画像記憶部２１、照合用辞書記憶部２２、文字方向記憶部２３及び出力画像記憶部２４がそれぞれ設定されている。このうち原稿画像記憶部２１、文字方向記憶部２３及び出力画像記憶部２４は、それぞれＲＡＭの一部分が割り当てられており、情報を一時的に記憶させるための領域として使用される。一方、照合用辞書記憶部２２は、ハードディスクドライブ又はフラッシュメモリの一部が割り当てられており、文字認識処理において使用する目的で予め作成された照合用辞書が記憶されている。
【００１８】
原稿入力部４は、紙等の原稿を読み取って画像データを生成し、これをメモリ３へ供給する。具体的に原稿入力部４は、例えば原稿を載置するための載置台、原稿に照射すべき光を発光する光源、光を反射させる反射板、ＣＩＳ（Contact Image Sensor）等の受光素子、及び受光素子から得られる受光信号を基に画像データを生成する信号処理部等を有している。
【００１９】
この原稿入力部４は、例えば載置台にセットされた原稿の紙面に対し光源から光を照射し、受光素子を紙面と平行に移動させながら、当該原稿において反射された光を受光素子によって受光し、得られた受光信号を基に信号処理部に供給する。続いて原稿入力部４は、信号処理部において受光信号に対しＡ／Ｄ（Analog/Digital）変換処理やシェーディング補正処理等の信号処理を行うことにより画像データを順次生成し、これをメモリ３の原稿画像記憶部２１に供給して記憶させる。
【００２０】
因みに原稿入力部４は、所定の原稿給紙トレイに原稿がセットされた場合、この原稿を所定の搬送機構により搬送しながら、静止した受光素子によって当該原稿の紙面を順次撮像することにより、原稿画像データを生成することもできる。
【００２１】
出力部５は、メモリ３から供給される画像データに基づく画像を用紙の紙面に印刷する。具体的に出力部５は、例えば電子写真式のプリンタの一部と同様に構成されており、感光体ドラムの表面に画像データに基づくトナー画像を形成し、このトナー画像を用紙の紙面に転写して熱や圧力を加えることにより、紙面に画像を定着させて印刷する。
【００２２】
［２．原稿読取出力処理］
次に、画像処理装置１において原稿読取出力処理を行う場合の具体的な処理について、図２のフローチャートを参照しながら説明する。ここでは、画像処理装置１により原稿を複写すると共にその方向を回転させて出力する場合、すなわち原稿から原稿画像を読み取り、この原稿画像の方向に応じて適宜回転処理を行った上で、回転処理後の原稿画像を用紙に印刷する場合について説明する。
【００２３】
画像処理装置１のプロセッサ２は、図示しない表示操作部を介して複写及び自動回転に関する操作を受け付けると、図２に示す原稿読取出力処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。ステップＳＰ１においてプロセッサ２は、原稿入力部４により原稿から原稿画像を読み取らせ、得られた原稿画像をメモリ３の原稿画像記憶部２１に記憶させた後、次のステップＳＰ２へ移る。
【００２４】
このときプロセッサ２は、例えば図３に示す原稿画像Ｍ１を生成して記憶させる。この原稿画像Ｍ１は、全体的に縦長であり、含まれる文字が右向きとなっている。すなわち原稿画像Ｍ１は、本来的にはその左辺が上側に位置すべきであり、含まれる文字を正しく読み取り得る方向（以下これを正方向と呼ぶ）から反時計回りに９０度回転された状態となっている。
【００２５】
ステップＳＰ２においてプロセッサ２は、後述するサブルーチンを実行することにより、文字領域抽出部１１（図１）によって、原稿画像から文字が含まれる領域である文字領域を１文字ごとに抽出する文字領域抽出処理を行い、次のステップＳＰ３へ移る。例えばプロセッサ２は、文字領域抽出処理を行うことにより、図４において破線で示すように、１個ずつの文字を内包する各領域を矩形状の文字矩形ＣＲとして抽出する。
【００２６】
ステップＳＰ３においてプロセッサ２は、後述する文字方向判別処理により方向判別された文字の数が所定の方向判別文字数閾値（例えば１０）に達したか否かを判定する。ここで否定結果が得られると、このことは文字方向を判別できた文字の数が不十分であり、仮に得られた文字方向のみを基に原稿画像の方向を判別したとしても、得られた方向の信頼性が低いことを表している。このときプロセッサ２は、文字方向判別処理を行うことにより方向判別された文字の数を増加させるべく、次のステップＳＰ４へ移る。
【００２７】
ステップＳＰ４においてプロセッサ２は、ステップＳＰ２において抽出された文字矩形ＣＲのうち、未選択のものを一つ選定して処理対象とし、次のステップＳＰ５へ移る。ステップＳＰ５においてプロセッサ２は、後述する文字認識処理を行うことにより、文字認識部１２（図１）によって、処理対象である文字矩形ＣＲに内包される文字を認識し、次のステップＳＰ６へ移る。このときプロセッサ２は、文字認識処理の結果として、例えば図５（Ａ）に示すように、認識された文字と、その方向である文字方向と、文字の類似の度合を表す類似度とを、該類似度の高い順に１位から３位まで表した文字認識結果リストＬ１を生成する。
【００２８】
ステップＳＰ６においてプロセッサ２は、後述するサブルーチンを実行することにより、文字方向判別部１３（図１）によって、文字認識結果リストＬ１（図５（Ａ））を用いて文字方向判別処理を行う。これによりプロセッサ２は、処理対象である文字の文字方向を判別し、得られた判別結果を文字方向記憶部２３（図１）に記憶させて、再びステップＳＰ３に戻る。このときプロセッサ２は、文字方向を判別できた場合にはその文字方向を判別結果として記憶させる一方、文字方向を判別できなかった場合には判別できなかった旨を判別結果として記憶させる。
【００２９】
このようにしてプロセッサ２は、ステップＳＰ４からステップＳＰ６までの一連の処理を行うことにより、原稿画像Ｍ１から１箇所の文字矩形ＣＲを処理対象に選定し、当該文字矩形ＣＲに内包される文字の文字方向を判別し、得られた判別結果を文字方向記憶部２３に記憶させる。
【００３０】
一方、ステップＳＰ３において肯定結果が得られると、このことは十分な数の文字において文字方向を判別でき、判別結果を文字方向記憶部２３に記憶させたため、この判別結果（すなわち文字方向）を基に原稿画像の方向を判別し得ることを表している。このときプロセッサ２は、次のステップＳＰ７に移る。
【００３１】
ステップＳＰ７においてプロセッサ２は、原稿画像方向判別部１４（図１）により、得られた文字方向を基に原稿画像の方向を判別し、次のステップＳＰ８へ移る。具体的にプロセッサ２は、例えば得られた文字方向の割合が最も高い方向を、原稿画像の方向として採用することができる。
【００３２】
ステップＳＰ８においてプロセッサ２は、図６に示すように、画像回転部１５（図１）により、ステップＳＰ７において判別された方向に応じて原稿画像Ｍ１を回転させ、該原稿画像Ｍ１を正方向に、すなわち含まれる文字を正常に読み取り得るような方向に回転させる。さらにプロセッサ２は、回転後の原稿画像（以下これを原稿画像Ｍ２と呼ぶ）をメモリ３の出力画像記憶部２４（図１）に記憶させ、次のステップＳＰ９へ移る。ステップＳＰ９においてプロセッサ２は、出力部５（図１）により、出力画像記憶部２４に記憶されている原稿画像Ｍ２を用紙に印刷させ、その次のステップＳＰ１０へ移って原稿読取出力処理手順ＲＴ１を終了する。
【００３３】
因みに画像処理装置１は、ステップＳＰ９において回転後の原稿画像Ｍ２を用紙に印刷する以外にも、例えば原稿画像Ｍ２をファクシミリの原稿として所定の送信先へ送信し、又は原稿画像Ｍ２をファイルとして電子メールに添付し所定のネットワークを介して所定の宛先へ送信しても良い。さらに画像処理装置１は、ステップＳＰ９において、回転後の原稿画像Ｍ２をメモリ３に設けられた所定の領域に記憶させ、或いは所定のＵＳＢ（Universal Serial Bus）端子に接続されたＵＳＢメモリ等の記憶媒体に記憶させても良い。
【００３４】
このように画像処理装置１は、原稿画像Ｍ１（図３）から複数の文字矩形ＣＲ（図４）を抽出し、各文字矩形ＣＲに含まれる文字についてそれぞれを認識すると共にその方向を判別し、各文字の方向を基に原稿画像Ｍ１の方向を判別して、判別された方向に応じて該原稿画像Ｍ１を回転させて原稿画像Ｍ２（図６）を生成するようになっている。
【００３５】
［３．文字領域抽出処理］
次に、原稿読取出力処理手順ＲＴ１（図２）のステップＳＰ２において行われる文字領域抽出処理について、詳細に説明する。画像処理装置１のプロセッサ２（図１）は、原稿読取出力処理手順ＲＴ１の実行中にステップＳＰ２に移ると、文字領域抽出部１１（図１）により、図７に示す文字領域抽出処理手順ＲＴ２をサブルーチンとして開始して、最初のステップＳＰ１１に移る。
【００３６】
ステップＳＰ１１においてプロセッサ２は、メモリ３の原稿画像記憶部２１から原稿画像Ｍ１（図３）を読み出し、次のステップＳＰ１２へ移る。ステップＳＰ１２においてプロセッサ２は、例えば原稿画像Ｍ１がカラー画像であった場合等に、必要に応じて画像をグレースケールに変換し、次のステップＳＰ１３へ移る。
【００３７】
ステップＳＰ１３においてプロセッサ２は、グレースケールの原稿画像Ｍ１を、解像度を維持したまま所定の閾値により２値化してモノクロの画像（以下これを元解像度画像と呼ぶ）とし、これをメモリ３に設けられた所定の一時記憶領域に記憶させる。これと共にプロセッサ２は、グレースケールの原稿画像Ｍ１における解像度を低下させた上で、元解像度画像と同一の閾値により２値化してモノクロの画像（以下これを低解像度画像と呼ぶ）とし、これをメモリ３の一時記憶領域に記憶させ、次のステップＳＰ１４に移る。
【００３８】
ステップＳＰ１４においてプロセッサ２は、低解像度画像から連結黒領域を１つの矩形として抽出し、次のステップＳＰ１５に移る。具体的にプロセッサ２は、図８に示すように、まず低解像度画像を構成する各画素のうち、４近傍（すなわち上側、下側、左側及び右側）の何れかにおいて互いに連結している黒画素により形成される領域を、連結黒領域とする。
【００３９】
次にプロセッサ２は、連結黒領域を囲む最小の矩形（すなわち長方形又は正方形）を連結黒領域矩形ＢＴＲとして抽出する。さらにプロセッサ２は、抽出した連結黒領域矩形ＢＴＲについて、その大きさや黒画素の密度等を基に、文字領域らしさをそれぞれ判定し、文字領域らしさが高いもののみを文字領域候補として選定する。このようにプロセッサ２は、低解像度画像を基に大まかに文字らしい領域を抽出することにより、処理の高速化及び網点背景の除去を行うことができる。
【００４０】
ステップＳＰ１５においてプロセッサ２は、ステップＳＰ１４において選定した文字領域候補を元解像度画像に当て嵌め、この文字領域候補内で元解像度画像を基に連結黒領域を再度抽出することにより、文字領域候補を１文字ごとの矩形領域に分割し、次のステップＳＰ１６に移る。
【００４１】
ステップＳＰ１６においてプロセッサ２は、ステップＳＰ１５において分割された１文字ごとの矩形領域から、図形ノイズと推定される矩形領域を除去する。ここで図形ノイズとは、原稿画像Ｍ１に含まれる文字以外の図形等でありながら、ステップＳＰ１５までの過程において抽出されてしまった矩形領域を指す。この図形ノイズの除去は、１文字ごとの矩形領域の存在分布に基づき、文字列から外れていると判定される矩形を取り除くことにより行われる。
【００４２】
例えばプロセッサ２は、ステップＳＰ１５までの処理により、図９に破線で示すように、原稿画像Ｍ１から複数の矩形領域ＲＴが抽出された場合、各矩形領域ＲＴを縦方向及び横方向へそれぞれ投影してその位置ごとの頻度を算出することにより、ヒストグラムＨＧを生成する。続いてプロセッサ２は、ヒストグラムＨＧからピークＰＫ１、ＰＫ２及びＰＫ３のような尖った部分を検出し、これらのピークＰＫに対応する原稿画像Ｍ１中の矩形領域ＲＴを文字領域（すなわち文字矩形ＣＲ）として抽出し、これ以外の矩形領域ＲＴ、例えば矩形領域ＲＴＦを除去する。
【００４３】
その後プロセッサ２は、次のステップＳＰ１７に移って文字領域抽出処理手順ＲＴ２を終了し、元の原稿読取出力処理手順ＲＴ１（図２）に戻る。かくしてプロセッサ２は、原稿画像Ｍ１から、それぞれに文字が含まれる文字領域として、複数の文字矩形ＣＲを抽出することができる。
【００４４】
因みにプロセッサ２は、ステップＳＰ１４からステップＳＰ１５に文字領域候補を引き渡す場合、低解像度画像から切り出した実際の画像データを引き渡しても良く、或いは文字領域候補の位置や大きさを表すアドレス等のような参照用の情報を引き渡しても良い。
【００４５】
［４．文字認識処理］
次に、原稿読取出力処理手順ＲＴ１（図２）のステップＳＰ５において行われる文字認識処理について、詳細に説明する。画像処理装置１のプロセッサ２（図１）は、原稿読取出力処理手順ＲＴ１の実行中にステップＳＰ５に移ると、文字認識部１２（図１）により、図１０に示す文字認識処理手順ＲＴ３をサブルーチンとして開始して、最初のステップＳＰ２１に移る。この場合、プロセッサ２は、直前のステップＳＰ４（図２）において、１個の文字矩形ＣＲ（図４）を処理対象として選定している。
【００４６】
ステップＳＰ２１においてプロセッサ２は、前処理として、処理対象である文字矩形ＣＲの領域の背景に存在するノイズの除去等を行い、次のステップＳＰ２２へ移る。
【００４７】
ここで図１１（Ａ）に示すように、文字矩形ＣＲには、大きく分けて概ね正方形であるもの及び長方形であるものがあり、さらに長方形であるものには縦長のもの及び横長のものが含まれる。このためプロセッサ２は、この文字認識処理手順ＲＴ３において、文字矩形ＣＲが概ね正方形である場合及び長方形である場合に分けて、それぞれに適した文字認識処理を行うようになっている。
【００４８】
ステップＳＰ２２においてプロセッサ２は、文字矩形ＣＲが正方形であるか否かを判定する。具体的にプロセッサ２は、文字矩形ＣＲの縦横比（すなわち画素数の比率）を算出し、これが値「１．０」を中心とした所定範囲（例えば０．８以上１．２以下等）に含まれるか否かを判定する。ここで肯定結果が得られると、プロセッサ２は、当該文字矩形ＣＲを正方形と見なして文字認識処理を行うべく、次のステップＳＰ２３に移る。
【００４９】
ステップＳＰ２３においてプロセッサ２は、図１１（Ｃ）に示すように、概ね正方形である文字矩形ＣＲをＮ×Ｎ画素、すなわち縦Ｎ画素及び横Ｎ画素（Ｎは所定の自然数）に正規化し、次のステップＳＰ２４に移る。具体的にプロセッサ２は、文字矩形ＣＲを相似形に拡大又は縮小してＮ×Ｎ画素の正方形に内接させ、このとき余白が発生していればこれを白画素で埋めることにより、該文字矩形ＣＲを正規化する。
【００５０】
ステップＳＰ２４においてプロセッサ２は、正規化後の文字矩形ＣＲから所定の演算処理により文字特徴量及び文字整列用特徴量をそれぞれ算出し、次のステップＳＰ２５に移る。ここで文字特徴量は、周知の種々の手法により算出することができ、例えば特許文献１に開示されているように、文字矩形ＣＲを複数の領域に分割し、各領域における黒画素の分布に基づいて方向を表す特徴ベクトルを選定する等の処理により、多次元的な値が得られる。説明の都合上、以下これを照合用情報とも呼ぶ。また文字整列用特徴量は、文字を整列するためのスカラー値であり、種々の手法により算出でき、例えば文字特徴量における各次元の絶対値の総和等を用いることができる。
【００５１】
ステップＳＰ２５においてプロセッサ２は、ステップＳＰ２４において算出された文字特徴量を、メモリ３の照合用辞書記憶部２２に記憶されている辞書と照合することにより、確からしさが高い文字を複数（例えば３個）選択し、これらを認識結果として文字認識結果リストＬ１（図５（Ａ））を生成して、次のステップＳＰ３１へ移る。
【００５２】
ここで照合用辞書記憶部２２には、文字矩形ＣＲの形状に合わせて、照合用辞書として正方形照合用辞書及び長方形照合用辞書といった２種類の辞書が予め記憶されている。ステップＳＰ２５の処理において、プロセッサ２はこのうち正方形照合用辞書を用いる。
【００５３】
正方形照合用辞書は、図１２に概念図を示すように、認識すべき全ての文字（すなわち正方向としたもの）に加えて、これを反時計回りに９０度、１８０度及び２７０度だけそれぞれ回転させたものについて、文字特徴量及び文字整列用特徴量がそれぞれ登録されている。正方形照合用辞書には、文字整列用特徴量が昇順又は降順となるような順序で、各文字が順次整列された状態で登録されている。また正方形照合用辞書に登録された文字特徴量及び文字整列用特徴量は、各文字がステップＳＰ２３と同一の画素数（Ｎ×Ｎ）で正規化され、且つステップＳＰ２４と同様の手法によりそれぞれ算出された値となっている。
【００５４】
プロセッサ２は、まず処理対象の文字矩形ＣＲから算出された文字整列用特徴量（以下これを対象文字整列特徴量ＴＳと呼ぶ）を中心として、該対象文字整列特徴量ＴＳを中心とした−αから＋αまでの範囲（ただしαは所定の定数）を照合範囲に設定する。このαは、文字矩形ＣＲに含まれるノイズやフォントの違い等に起因して生じ得る誤差が考慮され、照合範囲をある程度広く設定して誤認識を回避する目的で設定された値である。次にプロセッサ２は、正方形照合用辞書の照合範囲内に登録されている各文字の文字特徴量（以下これを照合用文字特徴量とも呼ぶ）と、処理対象の文字矩形ＣＲから算出された文字特徴量（以下これを対象文字特徴量ＴＣと呼ぶ）とを順次照合する。
【００５５】
具体的にプロセッサ２は、例えば照合用文字特徴量と対象文字特徴量ＴＣとの差分を次元ごとに算出し、全次元の差分値の和を「０」から「１」までの範囲に正規化して「１」から減算した値を、類似度とする。この類似度は、文字矩形ＣＲに含まれる文字と正方形照合用辞書に登録された文字との類似の度合、すなわちもっともらしさを数値化したものであり、値が大きく「１」に近いほど類似していることを意味する。
【００５６】
さらにプロセッサ２は、正方形照合用辞書の照合範囲内に登録されている全ての文字について照合し終えると、類似度が高い順に第１位から第３位までとなった文字について、それぞれの順位、文字、文字方向及び類似度を、文字認識の結果として、文字認識結果リストＬ１（図５（Ａ））に格納する。すなわち文字認識結果リストＬ１には、文字矩形ＣＲに含まれる文字としてもっともらしいものについて、その可能性（すなわちもっともらしさ）の高い方から順に３文字までが、文字方向及び類似度と共に格納される。
【００５７】
一方、ステップＳＰ２２において否定結果が得られると、プロセッサ２は、文字矩形ＣＲを長方形と見なして文字認識処理を行うべく、次のステップＳＰ２６に移る。ステップＳＰ２６においてプロセッサ２は、文字矩形ＣＲが縦長であるか否か、すなわち左右方向よりも上下方向の方が長いか否かを判定する。ここで肯定結果が得られると、このことは文字矩形ＣＲをそのまま用いることにより、照合用辞書記憶部２２に記憶されている長方形照合用辞書と適切に照合し得ることを表している。このときプロセッサ２は、次のステップＳＰ２８に移る。
【００５８】
一方、ステップＳＰ２６において否定結果が得られると、このことは図１１（Ａ）の右側に示すように、文字矩形ＣＲが横長であること、すなわち上下方向よりも左右方向の方が長いことを表している。このときプロセッサ２は、ステップＳＰ２７に移り、図１１（Ｂ）に示すように、文字矩形ＣＲを９０度回転させることにより、該文字矩形ＣＲを縦長に変換し、照合用辞書記憶部２２に記憶されている長方形照合用辞書と適切に照合し得る状態としてから、次のステップＳＰ２８に移る。
【００５９】
ステップＳＰ２８においてプロセッサ２は、図１１（Ｃ）に示すように、長方形である文字矩形ＣＲをＮ×Ｍ画素、すなわち縦Ｎ画素及び横Ｍ画素（ＭはＮよりも小さい所定の自然数、例えばＮの約半分）に正規化し、次のステップＳＰ２９に移る。具体的にプロセッサ２は、文字矩形ＣＲを相似形に拡大又は縮小してＮ×Ｍ画素の長方形に内接させ、このとき余白が発生していればこれを白画素で埋めることにより、該文字矩形ＣＲを正規化する。
【００６０】
その後プロセッサ２は、ステップＳＰ２９及びＳＰ３０において、それぞれステップＳＰ２４及びＳＰ２５と同様の処理を行う。ただしプロセッサ２は、ステップＳＰ３０において、照合用辞書記憶部２２に記憶されている長方形照合用辞書を用いて照合処理を行う。因みに長方形照合用辞書には、正方形照合用辞書と同様に、文字整列用特徴量が昇順又は降順となるような順序で、各文字が順次整列された状態で登録されている。また長方形照合用辞書に登録された文字特徴量及び文字整列用特徴量は、各文字がステップＳＰ２９と同一の画素数（Ｎ×Ｍ）で正規化され、且つステップＳＰ３０と同様の手法によりそれぞれ算出された値となっている。これによりプロセッサ２は、文字矩形ＣＲが正方形であった場合と同様に文字認識結果リストＬ１（図５（Ａ））を生成した後、ステップＳＰ３１に移る。
【００６１】
ステップＳＰ３１においてプロセッサ２は、文字認識処理手順ＲＴ３を終了し、元の原稿読取出力処理手順ＲＴ１（図２）に戻る。かくしてプロセッサ２は、ステップＳＰ４において選定された処理対象の文字矩形ＣＲを基に、文字認識結果リストＬ１（図５（Ａ））を生成し、類似度が高い方から３番目までの文字と、それぞれの文字方向及び類似度を得ることができる。
【００６２】
［５．文字方向判別処理］
次に、原稿読取出力処理手順ＲＴ１（図２）のステップＳＰ６において行われる文字方向判別処理について、詳細に説明する。画像処理装置１のプロセッサ２（図１）は、原稿読取出力処理手順ＲＴ１の実行中にステップＳＰ６に移ると、文字方向判別部１３（図１）により、図１３に示す文字方向判別処理手順ＲＴ４をサブルーチンとして開始して、最初のステップＳＰ４１に移る。
【００６３】
ステップＳＰ４１においてプロセッサ２は、ステップＳＰ５（図２）の文字認識処理において得られた文字認識結果リストＬ１（図５（Ａ））から、第１位の認識結果を参照し、次のステップＳＰ４２に移る。
【００６４】
ステップＳＰ４２においてプロセッサ２は、第１位の認識結果における類似度が所定の類似度閾値（例えば０．８０）以上であるか否かを判定する。ここで否定結果が得られると、このことは例えば図５（Ｂ）に示す文字認識結果リストＬ２が得られた場合のように、第１位の類似度が比較的低いことを表している。すなわちこのことは、第１位の文字方向についての信頼性が十分に高いとは言えないため、この文字方向を処理対象である文字矩形ＣＲの文字方向として直ちに採用すべきではないことを表している。このときプロセッサ２は、次のステップＳＰ４３へ移る。
【００６５】
ステップＳＰ４３においてプロセッサ２は、文字認識結果リストＬ２（図５（Ｂ））における全ての認識結果を参照し、次のステップＳＰ４４へ移る。ステップＳＰ４４においてプロセッサ２は、複数の順位同士の間で、文字方向の一致度を計算して次のステップＳＰ４５へ移る。具体的にプロセッサ２は、まず第１位と他の各順位との間で、文字方向が一致するか否かをそれぞれ判定し、一致した場合には個別一致度を「１」とし、一致しなかった場合には個別一致度を「０」とする。例えば図５（Ｂ）に示した文字認識結果リストＬ２の場合であれば、第１位及び第２位の間、並びに第１位及び第３位の間において、個別一致度は何れも「１」となる。次にプロセッサ２は、算出した全ての個別一致度の平均値を算出し、これを文字方向一致度とする。
【００６６】
ステップＳＰ４５においてプロセッサ２は、ステップＳＰ４４において算出した文字方向一致度が所定の文字方向一致度閾値（例えば０．８等）以上であるか否かを判定する。ここで肯定結果が得られると、このことは、文字認識における類似度は必ずしも高くないものの、第１位の文字が各順位の文字と文字方向が概ね揃っているために、この第１位の文字方向の信頼性が十分に高いことを表している。このときプロセッサ２は、次のステップＳＰ４６へ移る。説明の都合上、以下では、第１位の類似度が比較的低い場合に文字方向の信頼性が高いとみなすための条件である、文字方向一致度が所定の文字方向一致度閾値以上であることを、低類似度方向判別条件とも呼ぶ。
【００６７】
一方、ステップＳＰ４２において肯定結果が得られると、このことは第１位の類似度が比較的高いために、第１位の文字方向についての信頼性が十分に高く、この文字方向を処理対象である文字矩形ＣＲの文字方向として採用し得ることを表している。このときプロセッサ２は、次のステップＳＰ４６へ移る。説明の都合上、以下では、第１位の類似度が比較的高い場合に文字方向の信頼性が高いとみなすための条件である、類似度が類似度閾値以上であることを、高類似度方向判別条件とも呼ぶ。
【００６８】
ステップＳＰ４６においてプロセッサ２は、第１位の文字方向を処理対象の文字矩形ＣＲにおける文字方向として採用し、この文字方向をメモリ３の文字方向記憶部２３（図１）に記憶させて、次のステップＳＰ４７へ移る。
【００６９】
一方、ステップＳＰ４５において否定結果が得られると、このことは、第１位の類似度が比較的低い上に、第１位の文字と各順位の文字との間で文字方向が揃っていないため、処理対象である文字矩形ＣＲの文字方向を特定し得ないことを表している。このときプロセッサ２は、処理対象である文字矩形ＣＲの文字方向を記憶させること無く、次のステップＳＰ４７に移る。
【００７０】
ステップＳＰ４７においてプロセッサ２は、文字方向判別処理手順ＲＴ４を終了し、元の原稿読取出力処理手順ＲＴ１（図２）に戻る。かくしてプロセッサ２は、ステップＳＰ５において得られた文字認識結果リストＬ１又はＬ２（図５）の類似度を基に、信頼性が十分に高いと判断された場合に、処理対象である文字矩形ＣＲの文字方向を判別し、文字方向記憶部２３に記憶させることができる。
【００７１】
［６．効果等］
以上の構成において、本実施の形態による画像処理装置１は、原稿読取出力処理（図２）において、文字認識処理（図１０）の結果を用いて文字方向判別処理（図１３）により文字方向を判別し、得られた文字方向を用いて原稿画像の方向を判別するようにした。
【００７２】
ここで、本実施の形態との比較用に、プロセッサ２が本実施の形態とは異なる仮想的な文字方向判別処理手順に従って文字方向を判別する場合について、図１３と対応する図１４に示す仮想的な文字方向判別処理手順ＲＴ５を参照しながら説明する。プロセッサ２は、ステップＳＰ５１及びＳＰ５２において、それぞれステップＳＰ４１及び４２（図１３）と同様の処理を行い、文字認識結果リストＬ１又はＬ２（図５）において第１位の類似度が所定の閾値（例えば０．８０等）以上であるか否かを判定する。
【００７３】
このステップＳＰ５２において肯定結果が得られると、このことは例えば文字認識結果リストＬ１（図５（Ａ））が得られた場合に相当する。このときプロセッサ２は、次のステップＳＰ５３に移り、ステップＳＰ４６（図１３）と同様に第１位の文字方向を文字方向記憶部２３（図１）に記憶させ、次のステップＳＰ５４へ移って仮想的な文字方向判別処理手順ＲＴ５を終了する。
【００７４】
一方、ステップＳＰ５２において否定結果が得られると、このことは例えば文字認識結果リストＬ２（図５（Ｂ））が得られた場合に相当する。このときプロセッサ２は、第２位以下の類似度や文字方向を一切利用すること無く、次のステップＳＰ５４へ移って仮想的な文字方向判別処理手順ＲＴ５を終了する。
【００７５】
すなわち仮想的な文字方向判別処理手順ＲＴ５では、第１位の類似度が閾値未満であった場合、直ちに、処理対象の文字矩形ＣＲにおける文字方向を判別できなかったものとして取り扱われる。このため、原稿読取出力処理手順ＲＴ１（図２）のステップＳＰ６においてこの仮想的な文字方向判別処理手順ＲＴ５を用いた場合、ステップＳＰ３において方向判別された文字が所定数以上となるためには、比較的多くの文字認識処理を行う必要が生じる。
【００７６】
ここで、仮想的な文字方向判別処理手順ＲＴ５において、文字認識結果リストＬ１等を基に文字方向を記憶するに至った文字数の一例を、図１５に表形式で示す。すなわち仮想的な文字方向判別処理手順ＲＴ５では、例えば文字認識された文字数が３０文字であった場合、第１位の類似度が閾値以上であった文字数が６文字であり、文字方向を記憶した文字数も６文字となっている。すなわちこの例では、仮想的な文字方向判別処理手順ＲＴ５において、２０［％］の割合で文字方向が採用されている。
【００７７】
一方、上述した原稿読取出力処理手順ＲＴ１（図２）では、原稿画像の方向判別処理（ステップＳＰ７）を行うには、その前のステップＳＰ３において肯定結果を得る必要、すなわち方向判別された文字数が所定数（１０文字）に達する必要がある。このため仮想的な文字方向判別処理手順ＲＴ５では、上述した２０［％］の割合で文字方向が採用されるのであれば、文字方向を記憶した文字数が１０文字となるのに、文字認識された文字数が５０文字となる。
【００７８】
これに対し、本実施の形態による文字方向判別処理手順ＲＴ４（図１３）では、第１位の類似度が閾値未満であっても、ステップＳＰ４３、ＳＰ４４及びＳＰ４５の処理により、第１位と各順位との間で文字方向の一致度が所定の閾値（例えば０．８０）以上であれば、ステップＳＰ４６において第１位の文字方向を記憶させるようにした。
【００７９】
換言すれば、本願発明において原稿画像の方向を判別する場合、必ずしも文字を認識する必要は無く、文字の方向さえ判別できれば良い。一方、文字認識結果リストＬ１やＬ２等を参照すると、第１位の類似度が閾値未満の場合であっても、複数の順位において文字方向が一致している場合、その文字方向については正常に判別されている可能性がある。そこで文字方向判別処理手順ＲＴ４では、第１位の類似度が閾値未満であり、処理対象がどのような文字であるか確定するには至らないものの、各順位において文字方向がほぼ同一である場合には、少なくとも文字方向を信頼し得るものとして取り扱うようにした。
【００８０】
本実施の形態による文字方向判別処理手順ＲＴ４において、文字認識結果リストを基に文字方向を記憶するに至った文字数の一例を、仮想的な文字方向判別処理手順ＲＴ５の場合と同様に表すと、図１５の右欄のようになった。すなわち文字方向判別処理手順ＲＴ４では、文字認識された文字数が３０文字であった場合、第１位の類似度が閾値以上であった文字数については、仮想的な文字方向判別処理手順ＲＴ５と同様に６文字である。しかしながら文字方向判別処理手順ＲＴ４では、第１位と各順位との間で文字方向の一致度が閾値以上であった文字が４文字であるため、これを加算することにより、文字方向を記憶した文字数が１０文字となる。すなわちこの例では、文字方向判別処理手順ＲＴ４において、約３３［％］の割合で文字方向が採用されている。
【００８１】
このように本実施の形態による文字方向判別処理手順ＲＴ４では、仮想的な文字方向判別処理手順ＲＴ５（図１４）よりも十分に高い割合で、文字認識の結果から文字方向を採用することができる。これにより本実施の形態では、仮想的な文字方向判別処理手順ＲＴ５の場合と比較して、原稿読取出力処理手順ＲＴ１において原稿画像の方向判別処理を行うまでに必要となる、文字認識処理（ステップＳＰ５）を行うべき文字数を、例えば５０文字から３０文字（図１５）のように格段に削減することができる。これに伴い、本実施の形態による画像処理装置１では、プロセッサ２の処理負荷を大幅に軽減でき、また原稿画像の方向を判別して回転させるまでに要する時間を格段に短縮することができる。
【００８２】
また本実施の形態では、文字認識処理（図２のステップＳＰ５及び図１０）において、文字矩形ＣＲが正方形である場合と長方形である場合とに場合分けし、予め用意した正方形照合用辞書及び長方形照合用辞書の何れかを用いて照合処理を行うようにした。
【００８３】
ここで、本実施の形態との比較用に、プロセッサ２が本実施の形態とは異なる仮想的な文字認識処理手順に従って文字認識を行う場合について、図１０と対応する図１６に示す仮想的な文字認識処理手順ＲＴ６を参照しながら説明する。因みにこの場合、照合用辞書記憶部２２には、照合すべき全ての文字について正方形の領域を基に算出された文字特徴量が格納された照合用辞書のみが記憶されているものとする。
【００８４】
プロセッサ２は、ステップＳＰ６１及びＳＰ６２において、それぞれステップＳＰ２１及び２２（図１０）と同様の処理を行い文字矩形ＣＲが正方形であるか否かを判定する。ここで肯定結果が得られると、プロセッサ２は、ステップＳＰ６３、ＳＰ６４及びＳＰ６５において、それぞれステップＳＰ２３、ＳＰ２４及びＳＰ２５と同様の処理を行うことにより、Ｎ×Ｎ画素の正方形に正規化してから照合用辞書を用いて文字特徴量を照合し、照合結果を基に文字認識結果リストＬ１（図５（Ａ））を生成する。
【００８５】
一方、プロセッサ２は、ステップＳＰ６２において否定結果が得られた場合、すなわち文字矩形ＣＲが長方形であった場合、次のステップＳＰ６６へ移り、その縦横比を保持したまま拡大又は縮小して、Ｎ×Ｎ画素の正方形に正規化する。この場合、文字矩形ＣＲの外側に形成される余白部分は白画素により埋められる。その後、プロセッサ２は、文字矩形ＣＲが正方形であった場合と同様にステップＳＰ６４及びＳＰ６５の処理を行い、照合用辞書を用いて文字特徴量を照合する。
【００８６】
すなわちプロセッサ２は、仮想的な文字認識処理手順ＲＴ６において、文字矩形ＣＲが長方形であった場合、Ｎ×Ｎ画素に基づいた文字特徴量を算出し、これに基づいて文字認識処理を行うため、このＮ×Ｎ画素に相当する演算量の照合処理を行う必要がある。
【００８７】
これに対して本実施の形態による文字認識処理手順ＲＴ３（図１０）では、文字矩形ＣＲが長方形であった場合、Ｎ×Ｍ画素の長方形に正規化する。ここで長方形を形成する画素数Ｍは、画素数Ｎよりも小さい値、例えば該画素数Ｎの約半分となる整数である。すなわちプロセッサ２は、文字認識処理手順ＲＴ３を行うことにより、文字矩形ＣＲが長方形であった場合、Ｎ×Ｍ画素に相当する演算量の照合処理を行えば良いため、仮想的な文字認識処理手順ＲＴ６によりＮ×Ｎ画素に相当する演算量の照合処理を行う場合よりも、その演算量を格段に削減することができる。これに伴い、本実施の形態による画像処理装置１では、プロセッサ２の処理負荷を大幅に軽減でき、また原稿画像の方向を判別して回転させるまでに要する時間を格段に短縮することができる。
【００８８】
さらに本実施の形態では、文字認識処理（図１０のステップＳＰ２５及びＳＰ３０）において、文字整列用特徴量の順に整列された正方形照合用辞書等を用いて照合処理を行う場合に（図１２）、対象文字整列特徴量ＴＳを中心とした−αから＋αまでの範囲を照合範囲に設定した。
【００８９】
ここで、本実施の形態との比較用に、図１２と対応する図１７に示すように、仮想的な正方形照合用辞書において文字整列用特徴量の値によりαごとに複数のブロックに予め区切られ、照合範囲がブロック単位で設定される場合について説明する。
【００９０】
プロセッサ２は、対象文字整列特徴量ＴＳがブロックの境界付近の値（例えば１．９α）であった場合、対象文字整列特徴量ＴＳを中心とした−α及び＋αの範囲である０．９αから２．９αまでの範囲を含むようにブロック単位で照合範囲を設定する。すなわちプロセッサ２は、０〜αのブロック、α〜２αのブロック及び２α〜３αのブロックといった３個のブロックを組み合わせた０〜３αを照合範囲に設定する。すなわち、仮想的な正方形照合用辞書を用いる場合、照合範囲の大きさが３αとなる。
【００９１】
一方、本実施の形態では、ブロック単位では無く、対象文字整列特徴量ＴＳを中心とした−αから＋αまでの範囲をそのまま照合範囲として設定するため、照合範囲の大きさが２αとなる。すなわち本実施の形態では、仮想的な正方形照合用辞書を用いる場合と比較して、照合範囲を小さく設定することができるので、照合処理における演算処理量を削減でき、文字認識処理に要する時間を短縮することができる。
【００９２】
以上の構成によれば、画像処理装置１のプロセッサ２は、原稿読取出力処理において、文字認識処理の結果を用いて文字方向判別処理により文字方向を判別し、得られた文字方向を用いて原稿画像の方向を判別する。このときプロセッサ２は、文字認識結果リストＬ１等において第１位の類似度が閾値以上であればその文字方向をそのまま採用する一方、第１位の類似度が閾値未満であっても、第１位と各順位との間で文字方向の一致度が所定の閾値以上であれば、第１位の文字方向を採用する。これによりプロセッサ２は、第１位の類似度が閾値以上であった文字の文字方向のみを採用する場合と比較して、文字方向を採用する頻度を高めることができるので、画像方向の判別に必要な文字数を得るまでに行う文字認識処理の回数を削減でき、処理負荷を軽減して処理時間を短縮できる。
【００９３】
［７．他の実施の形態］
なお上述した実施の形態においては、文字方向判別処理（図１３）のステップＳＰ４４において、全ての個別一致度の平均値を文字方向一致度とする場合について述べた。しかしながら本発明はこれに限らず、例えば第１位及び第２位の間の個別一致度には比較的大きな係数を乗じ、第１位及び第３位の間の個別一致度には比較的小さな係数を乗じるなど、順位に応じて重み付けを加えた上で平均値を算出しても良い。
【００９４】
また上述した実施の形態においては、文字方向判別処理（図１３）のステップＳＰ４４において、第１位と各順位との間で文字方向の一致度をそれぞれ計算する場合について述べた。しかしながら本発明はこれに限らず、例えば全ての順位同士の間で、すなわち第２位及び第３位の間等も含めて、文字方向の一致度を計算しても良い。
【００９５】
さらに上述した実施の形態においては、文字方向判別処理（図１３）のステップＳＰ４５において文字方向の一致度が閾値以上であり肯定結果が得られた場合、次のステップＳＰ４６において第１位の文字方向を採用して記憶させる場合について述べた。しかしながら本発明はこれに限らず、例えば度合が最も高い文字方向を採用するなど、他の種々の方法により選定された文字方向を採用しても良い。
【００９６】
さらに上述した実施の形態においては、文字方向判別処理（図１３）のステップＳＰ４２において類似度が閾値以上でなかった場合のみ、ステップＳＰ４３〜ＳＰ４５において文字方向一致度の計算等を行う場合について述べた。しかしながら本発明はこれに限らず、例えばステップＳＰ４２の処理を省略し、第１位の類似度に拘わらず全ての場合にステップＳＰ４３〜ＳＰ４５の処理を行うようにしても良い。
【００９７】
さらに上述した実施の形態においては、文字認識処理（図１０）により生成する文字認識結果リストＬ１等（図５）に、文字特徴量の類似度が高いものから第３位までの３種類の文字に関する情報を格納する場合について述べた。しかしながら本発明はこれに限らず、文字認識結果リストＬ１等に２種類又は４種類上の文字に関する情報を格納しても良い。この場合、文字方向判別処理（図１３）のステップＳＰ４４において、第１位と各順位との間で文字方向の一致度をそれぞれ計算すれば良い。また、類似度の算出方法については種々の手法を用いても良く、要はもっともらしさの高さを数値の大きさにより表すことができれば良い。
【００９８】
さらに上述した実施の形態においては、原稿読取出力処理手順ＲＴ１（図２）のステップＳＰ３において、文字方向が判別された文字の数を比較する閾値を、固定値（例えば１０）とする場合について述べた。しかしながら本発明はこれに限らず、例えば原稿画像Ｍ１から抽出された文字矩形ＣＲの数の１０［％］とする等、種々の固定値や変動値を閾値としても良い。或いは、例えば方向判別された各文字における第１位の類似度を積算し、得られた積算値が所定の閾値を超えた場合等、方向判別された文字に関する種々の条件が満たされた場合に、次のステップＳＰ７において原稿画像の方向判別処理を行うようにしても良い。
【００９９】
さらに上述した実施の形態においては、文字認識処理手順ＲＴ３（図１０）において、文字矩形ＣＲが正方形又は長方形の何れであるかに応じて場合分けし、正方形又は長方形に正規化した上で、予め用意した正方形照合用辞書又は長方形照合用辞書の何れかを用いて照合処理を行う場合について述べた。しかしながら本発明はこれに限らず、例えば仮想的な文字認識処理手順ＲＴ６（図１６）と同様に、全ての文字矩形ＣＲを正方形に正規化し、正方形照合用辞書のみを用いて照合処理を行っても良い。
【０１００】
さらに上述した実施の形態においては、文字領域抽出処理手順ＲＴ２（図７）に従い、低解像度画像から連結黒領域矩形ＢＴＲ（図８）を抽出し、これを用いて文字矩形ＣＲ（図４等）を抽出する場合について述べた。しかしながら本発明はこれに限らず、他の種々の手法により、文字矩形ＣＲを抽出しても良い。要は、原稿画像において１個の文字が含まれると推定される矩形の領域を適切に抽出できれば良い。
【０１０１】
さらに上述した実施の形態においては、プロセッサ２が所定の原稿読取プログラムを読み出して実行することにより、文字領域抽出部１１（図２）等の機能ブロックをソフトウェアにより形成する場合について述べた。しかしながら本発明はこれに限らず、例えば文字領域抽出部１１等の各機能ブロックの少なくとも一部をハードウェアにより構成しても良い。
【０１０２】
さらに上述した実施の形態においては、本発明をＭＦＰでなる画像処理装置１に適用する場合について述べた。しかしながら本発明はこれに限らず、例えば複写機やファクシミリ装置等、原稿から画像を読み取る機能を有する種々の装置に適用しても良い。或いは、イメージスキャナが接続されたコンピュータ装置に本発明を適用しても良い。さらにこの場合、コンピュータ装置は、予め他の原稿読取装置等において原稿から読み取られデータ化された原稿画像Ｍ１を、ネットワーク等や記憶媒体等を介して取得し、これに対し本発明の一連の処理を適用しても良い。
【０１０３】
さらに本発明は、上述した実施の形態及び他の実施の形態に限定されるものではない。すなわち本発明は、上述した実施の形態と上述した他の実施の形態の一部又は全部を任意に組み合わせた実施の形態や、一部を抽出した実施の形態にもその適用範囲が及ぶものである。
【０１０４】
さらに上述した実施の形態においては、文字領域抽出部としての文字領域抽出部１１と、記憶部としての照合用辞書記憶部２２と、文字認識部としての文字認識部１２と、文字方向判別部としての文字方向判別部１３と、原稿画像方向判別部としての原稿画像方向判別部１４とによって画像処理装置としての画像処理装置１を構成する場合について述べた。しかしながら本発明はこれに限らず、その他種々の構成でなる文字領域抽出部と、記憶部と、文字認識部と、文字方向判別部と、原稿画像方向判別部とによって画像処理装置を構成しても良い。
【産業上の利用可能性】
【０１０５】
本発明は、例えば原稿を読み取り原稿画像を生成する機能を有するＭＦＰ等でも利用できる。
【符号の説明】
【０１０６】
１……画像処理装置、２……プロセッサ、３……メモリ、４……原稿入力部、５……出力部、１１……文字領域抽出部、１２……文字認識部、１３……文字方向判別部、１４……原稿画像方向判別部、１５……画像回転部、２１……原稿画像記憶部、２２……照合用辞書記憶部、２３……文字方向記憶部、２４……出力画像記憶部、Ｍ１……原稿画像、ＢＴＲ……連結黒領域矩形、ＲＴ……矩形領域、ＣＲ……文字矩形、Ｌ１、Ｌ２……文字認識結果リスト、ＴＣ……対象文字特徴量、ＴＳ……対象文字整列特徴量。
【図１】
2019125200.tif 000003
【図２】
2019125200.tif 000004
【図３】
2019125200.tif 000005
【図４】
2019125200.tif 000006
【図５】
2019125200.tif 000007
【図６】
2019125200.tif 000008
【図７】
2019125200.tif 000009
【図８】
2019125200.tif 000010
【図９】
2019125200.tif 000011
【図１０】
2019125200.tif 000012
【図１１】
2019125200.tif 000013
【図１２】
2019125200.tif 000014
【図１３】
2019125200.tif 000015
【図１４】
2019125200.tif 000016
【図１５】
2019125200.tif 000017
【図１６】
2019125200.tif 000018
【図１７】
2019125200.tif 000019