(57)【特許請求の範囲】
【請求項１】
入力画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を入力画像の文書方向であると判別する第１文書方向判別手段と、
入力画像の反転画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を反転画像の文書方向であると判別する第２文書方向判別手段と、
前記第１文書方向判別手段で入力画像の文書方向であると判別された方向の信頼度と、前記第２文書方向判別手段で反転画像の文書方向であると判別された方向の信頼度とを比較し、高い方の信頼度を有する文書方向を採用する採用手段と
を有することを特徴とする画像処理装置。
【請求項２】
入力画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を入力画像の文書方向であると判別する第１文書方向判別工程と、
入力画像の反転画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を反転画像の文書方向であると判別する第２文書方向判別工程と、
前記第１文書方向判別工程で入力画像の文書方向であると判別された方向の信頼度と、前記第２文書方向判別工程で反転画像の文書方向であると判別された方向の信頼度とを比較し、高い方の信頼度を有する文書方向を採用する採用工程と
を有することを特徴とする画像処理方法。
【請求項３】
画像処理装置を制御するプログラムを格納したコンピュータ可読の記憶媒体であって、当該プログラムが、
入力画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を入力画像の文書方向であると判別する第１文書方向判別工程のプログラムコードと、
入力画像の反転画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を反転画像の文書方向であると判別する第２文書方向判別工程のプログラムコードと、
前記第１文書方向判別工程のプログラムコードで入力画像の文書方向であると判別された方向の信頼度と、前記第２文書方向判別工程のプログラムコードで反転画像の文書方向であると判別された方向の信頼度とを比較し、高い方の信頼度を有する文書方向を採用する採用工程のプログラムコードと
を有することを特徴とする記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像データを処理することにより、その画像の方向を判別する画像処理装置及び画像処理方法に関するものである。
【０００２】
【従来の技術】
従来、この様な画像処理装置において、方向が異なる画像データが混在している場合に、画像データを回転させ、画像方向をそろえる機能を有するものが考案されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、従来の技術では、文字が白で書かれてバックが黒や灰色の様な画像、いわゆるネガ画像に対しては正確な画像方向判別ができないことがあった。
【０００４】
本発明は上記従来技術の課題を解決するためになされたもので、その目的は、ネガ画像に対しても正確な画像方向の判別が可能な画像処理装置及び画像処理方法を提供することにある。
【０００５】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る画像処理装置は、
入力画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を入力画像の文書方向であると判別する第１文書方向判別手段と、
入力画像の反転画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を反転画像の文書方向であると判別する第２文書方向判別手段と、
前記第１文書方向判別手段で入力画像の文書方向であると判別された方向の信頼度と、前記第２文書方向判別手段で反転画像の文書方向であると判別された方向の信頼度とを比較し、高い方の信頼度を有する文書方向を採用する採用手段と
を有することを特徴とする。
【０００６】
また、上記目的を達成するため、本発明に係る画像処理方法は、
入力画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を入力画像の文書方向であると判別する第１文書方向判別工程と、
入力画像の反転画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を反転画像の文書方向であると判別する第２文書方向判別工程と、
前記第１文書方向判別工程で入力画像の文書方向であると判別された方向の信頼度と、前記第２文書方向判別工程で反転画像の文書方向であると判別された方向の信頼度とを比較し、高い方の信頼度を有する文書方向を採用する採用工程と
を有することを特徴とする。
【０００７】
また、上記目的を達成するため、本発明に係る記憶媒体は、画像処理装置を制御するプログラムを格納したコンピュータ可読の記憶媒体であって、当該プログラムが、
入力画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を入力画像の文書方向であると判別する第１文書方向判別工程のプログラムコードと、
入力画像の反転画像について複数の方向から文字認識を行い、各方向における文字認識の信頼度を生成し、生成された信頼度のうち最も高い信頼度を有する方向を反転画像の文書方向であると判別する第２文書方向判別工程のプログラムコードと、
前記第１文書方向判別工程のプログラムコードで入力画像の文書方向であると判別された方向の信頼度と、前記第２文書方向判別工程のプログラムコードで反転画像の文書方向であると判別された方向の信頼度とを比較し、高い方の信頼度を有する文書方向を採用する採用工程のプログラムコードと
を有することを特徴とする。
【００１６】
【発明の実施の形態】
以下に図面を参照して、この発明の好適な実施の形態を例示的に詳しく説明する。ただし、この実施の形態に記載されている構成要素、プログラムモジュール等の相対配置、解像度等の数値などについては特に特定的な記載がない限りは、本発明の範囲をそれらのみに限定する趣旨のものではない。
【００１７】
［第１の実施の形態］
図１はこの発明の第１の実施の形態としての画像処理装置の全体構成を説明する断面図である。１０１は原稿台ガラスであり、原稿自動送り装置１４２から給送された原稿が順次、所定位置に載置される。１０２は例えばハロゲンランプから構成される原稿照明ランプで、原稿台ガラス１０１に載置された原稿を露光する。１０３，１０４，１０５は走査ミラーであり、図示しない光学走査ユニットに収容され、往復動しながら、原稿からの反射光をＣＣＤユニット１０６に導く。ＣＣＤユニット１０６はＣＣＤに原稿からの反射光を結像させる結像レンズ１０７、例えばＣＣＤから構成される撮像素子１０８、撮像素子１０８を駆動するＣＣＤドライバ１０９等から構成されている。撮像素子１０８からの画像信号出力は例えば８ビットのデジタルデータに変換された後、コントローラ部１３９に入力される。
【００１８】
また、１１０は感光ドラムであり、１１２の前露光ランプによって画像形成に備えて除電される。１１３は１次帯電器であり、感光ドラム１１０を一様に帯電させる。１１７は露光手段であり、半導体レーザ等で構成され、画像形成や装置全体の制御を行うコントローラ部１３９で処理された画像データに基づいて感光ドラム１１０を露光し、静電潜像を形成する。１１８は現像器であり、黒色の現像剤（トナー）が収容されている。１１９は転写前帯電器であり、感光ドラム１１０上に現像されたトナー像を用紙に転写する前に高圧電圧を付与する。１２０，１２２，１２４は給紙ユニットであり、各給紙ローラ１２１，１２３，１２５の駆動により、転写用紙が装置内へ給送され、レジストローラ１２６の配設位置で一旦停止し、感光ドラム１１０に形成された画像との書き出しタイミングがとられ再給送される。１２７は転写帯電器であり、感光ドラム１１０に現像されたトナー像を給送される転写用紙に転写する。１２８は分離帯電器であり、転写動作の終了した転写用紙を感光ドラム１１０より分離する。転写されずに感光ドラム１１０上に残ったトナーはクリーナー１１１によって回収される。
【００１９】
１２９は搬送ベルトで、転写プロセスの終了した転写用紙を定着器１３０に搬送し、熱及び／又は圧力により定着される。１３１はフラッパであり、定着プロセスの終了した転写用紙の搬送パスを、ステイプルソーター１３２または中間トレイ１３７の配置方向のいずれかに制御する。ステイプルソーター１３２に排紙された用紙は各ビンに仕分けされ、コントローラ部１３９からの指示により１４１のステイプル部１４１がステイプルを行う。また、１３３〜１３６は給送ローラであり、一度定着プロセスの終了した転写用紙を中間トレイ１３７に反転（多重）または非反転（両面）して給送する。１３８は再給送ローラであり、中間トレイ１３７に載置された転写用紙を再度、レジストローラ１２６の配設位置まで搬送する。
【００２０】
１３９のコントローラ部には後述するマイクロコンピュータ、画像処理部等を備えており、操作パネル１４０からの指示に従って、前述の構成要素を制御し、画像形成動作を行う。
【００２１】
図２は本発明の画像処理装置におけるコントローラ部１３９のブロック図である。
【００２２】
２０１は画像処理装置全体の制御を行うＣＰＵであり、装置本体の制御手順（制御プログラム）を記憶した読み取り専用メモリ２０３（ＲＯＭ）からプログラムを順次読み取り、実行する。ＣＰＵ２０１のアドレスバスおよびデータバスは２０２のバスドライバー回路、アドレスデコーダ回路をへて各負荷に接続されている。
【００２３】
また、２０４は入力データの記憶や作業用記憶領域等として用いる主記憶装置であるところのランダムアクセスメモリ（ＲＡＭ）である。２０５はＩ／Ｏインタフェースであり、操作者がキー入力を行い、装置の状態等を液晶、ＬＥＤを用いて表示する操作パネル１４０や給紙系、搬送系、光学系の駆動を行うモータ類２０７、クラッチ類２０８、ソレノイド類２０９、また、搬送される用紙を検知するための紙検知センサ類２１０等の装置の各負荷に接続される。現像器１１８には現像器内のトナー量を検知する２１１のトナー残検センサが配置されており、その出力信号がＩ／Ｏポート２０５に入力される。２１５は高圧ユニットであり、ＣＰＵの指示に従って、前述の１次帯電器１１３、現像器１１８、転写前帯電器１１９、転写帯電器１２７、分離帯電器１２８へ高圧を出力する。
【００２４】
２０６は画像処理部であり、ＣＣＤユニット１０６から出力された画像信号が入力され、後述する画像処理を行い、画像データに従って１１７のレーザーユニットの制御信号を出力する。レーザーユニット１１７から出力されるレーザー光は感光ドラム１１０を照射し、露光するとともに非画像領域において受光センサであるところのビーム検知センサ２１４によって発光状態が検知され、その出力信号がＩ／Ｏポート２０５に入力される。
【００２５】
図３は本発明の画像処理装置におけるコントローラ部１３９内の画像処理部２０６のブロック図である。
【００２６】
ＣＣＤ１０８により電気信号に変換された画像信号は、まずシェーディング回路３０１によって画素間のばらつきの補正を行った後、３０２の変倍回路において、縮小コピー時はデータの間引き処理を行い、拡大コピー時はデータの補間を行う。次に、３０３のエッジ強調回路において、例えば５×５のウインドウで２次微分を行い、画像のエッジを強調する。
【００２７】
この画像データは輝度データであり、プリンタ出力用の濃度データに変換する必要があるので、γ変換回路３０４でテーブルサーチによりデータ変換を行う。濃度データに変換された画像データは２値化処理部３０５へ入力される。ここではＥＤ法により多値データを２値データに変換する。２値に変換された画像データは３０７の合成回路に入力され、入力された画像データか、或いはＤＲＡＭにより構成される画像用メモリ３１０内の画像データを選択的に、またはＯＲをとって出力する。画像用メモリ３１０に対するリードライト制御はメモリ制御部３０９で行う。これらの画像データはレーザーの発光強度の信号に変換するためＰＷＭ回路３０８へ入力され、画像の濃度に従ったパルス幅をレーザーユニットに対して出力する。
【００２８】
また、シェーディング回路３０１からの画像出力は、ＣＰＵ２０１からのネガポジ信号とともにイクスクルーシブＯＲゲート３１１に入力され、さらにイクスクルーシブＯＲゲート３１１からの出力が文書方向判別部３０６へ入力され、後述する文書方向判別処理を行う。
【００２９】
次に図４〜図９を用いて本発明における文書方向判別動作について説明する。図４は文書方向判別部３０６内のブロック図である。文書方向判別部３０６は、図のように、ＣＰＵ／メモリ部４０１、文字認識／方向判別部４０２、領域分離部４０３、記憶装置４０４、Ｉ／Ｆ部４０５を備えており、Ｉ／Ｆ部４０５を介して外部のコンピュータ４０６と接続されている。
【００３０】
シェーディング回路３０１から出力された画像データは、文書方向判別部３０６に入力されると、まず、ＣＰＵ／メモリ部４０１に一時的に保存され、それに伴い、各種制御が行なわれる。このＣＰＵ／メモリ部４０１はコントローラ部１３９内のＣＰＵ２０１とデュアルポートＲＡＭ（不図示）によりバス接続されており、このバスを介してデータが送受信される。もちろんシリアル通信でもよい。
【００３１】
文字認識／方向判別部４０２は、文書の方向を一番正確に表しているのは文字であることに着目し、全文書中から数種類の文字領域を選択し、その一部の文字領域について、０°、９０°、１８０°、２７０°の方向から文字認識を行い、それら各方向における文字認識の精度（文字認識の信頼度：文字の特徴分布に対する距離）を比較し、一番精度の高い方向を文書方向と判別する。
【００３２】
領域分離部４０３は文字認識／方向判別部４０２による文字認識・方向判別処理を行うための前処理として、文書画像データより、文字部、図形部、自然画部、表部などを矩形の領域に分離して、各領域の属性（文字部など）を付加する処理を行うブロックである。
【００３３】
記憶装置４０４は、例えば、ハードディスクや光磁気ディスクなどにより構成され、各種処理結果（画像データ、領域分離結果、文字認識結果など）を保存するために利用される。Ｉ／Ｆ部４０５は、ＳＣＳＩやＲＳ２３２Ｃなどにより構成され、外部ヘデータを伝送するために設けられている。コンピュータ４０６は、Ｉ／Ｆ部４０５を介して情報を得たり、光磁気ディスク等の移動可能の記憶装置よりデータを得て利用する。
【００３４】
次に、文字認識処理を用いた文書方向判別に必要な各種の処理について説明する。
【００３５】
〈領域分離処理〉
文書画像データの黒画素を検出してゆき、輪郭線追跡、またはラベリング方式により、黒画素ブロックの矩形枠を作成する。次に、その矩形の中の黒画素密度、隣接矩形ブロックの有無、矩形の縦横比率などを判断基準にして、文字領域（タイトル、本文、キャプションなど）、図形領域、自然画領域、表領域などを判別する。この処理結果により、文字領域の矩形領域が判別される。
【００３６】
〈文字認識処理〉
文字認識処理の一つの方法として、特徴ベクトル抽出、比較方式がある。例えば図７（ａ）に示したように、「本」という文字を含む文字領域が判別されたとする。第一段階として、この文字領域について文字切り出し処理を行う（図７（ｂ）参照）。これは、一つの文字の矩形を切り出す処理で、黒画素連続性の状態を検出していけば求められる。
【００３７】
第二段階として、一文字をｍ×ｎ（例えば６４×６４）の画素ブロックに切り出す（図７（ｃ）参照）。そして、その中から３×３画素のウィンドウを用いて、黒画素の分布方向を抽出する（方向ベクトル情報：図７（ｄ）参照）。
【００３８】
なお、図７（ｄ）は、方向ベクトル情報の一部を例示したものであり、上記３×３画素のウィンドウをずらしてゆき、方向ベクトル情報を数十個得る。このベクトル情報が文字の特徴となる。この特徴ベクトルと予め記憶されている文字認識辞書の内容と比較して、特徴ベクトルに特徴が一番近い文字から順番に文字を抽出する。この場合、特徴ベクトルに特徴が近い順番に第１候補、第２候補・・・となる。この特徴ベクトルに対する特徴の近さが、その文字に対する距離の近さ、すなわち文字認識の信頼度（精度）という数値になる。
【００３９】
この文字認識辞書には、ユーザの要求に応じて特殊なフォントデータを登録することができ、たとえ、もともとこの辞書に登録されていないフォントの文字であっても、高精度な認識を実現できる。
【００４０】
〈文字方向判別処理〉
このようにして文字認識の信頼度が求められるが、その信頼度に基づいた文字方向判別処理を、図８に示した「本発明の名称」という文例を用いて説明する。
【００４１】
図８（ａ）は正方向の文、図８（ｂ）は２７０°回転した文である。ここで「本」に注目すると、文字方向を判別する場合は、図８（ｃ）に示したように、１つの文字「本」について０°、９０°、１８０°、２７０°の４方向から文字認識を行ってみる。各回転角度は、文字矩形の領域の読み出し方を変更すればよく、特に原稿を回転する必要はない。
【００４２】
各回転角度における文字認識結果は、図８（ｃ）に示したように、互いに異なっている。なお、図８（ｃ）には説明用の仮の文字認識結果および信頼度が示されており、現実にこの通りになるとは限らない。
【００４３】
図８（ｃ）において、正方向（０°）から文字認識を行った場合は、「本」と正しく認識され、信頼度も０．９０と高い値となる。９０°回転した方向から文字認識を行った場合は、「町」と誤認識され、信頼度も０．４０と低下する。このように誤認識が発生し、信頼度も低下するのは、回転した方向から見た場合の特徴ベクトルに基づいて文字認識を行ったからである。同様に１８０°、２７０°回転した方向から文字認識を行った場合も、誤認識が発生し、信頼度も低下する。なお、文字認識の方向別の信頼度は、複雑な文字であればあるはど、その差が顕著に現れてくる。
【００４４】
図８（ｃ）の結果は、正方向の場合に信頼度が１番高いため、文書は正方向に向いている可能性が高いと判断される。文字方向判別の精度を向上させるため、同一ブロック内の複数の文字について、同様に４方向から文字認識を行ってみる。さらに、１つのブロックだけで文字方向を判別した場合、特殊な文字列について文字方向を誤って判別するおそれがあるので、複数のブロックについて同様の文字認識を行ってみる。そして、各ブロックについて、当該ブロック内の各認識対象文字の４方向別の信頼度の平均値を求め、さらに、各ブロックでの４方向別の信頼度の平均値に対する平均値を求め、この平均値が最も高い方向を文字方向（文書方向）として認定する。
【００４５】
このように、１文字だけの信頼度で文字方向を認定することなく、同一ブロック内の複数文字、さらには複数ブロック内の複数文字の信頼度で文字方向を認定することにより、文字（文書）方向を高精度に判別することが可能となる。ただし、１文字だけの信頼度で文字方向を判別したり、あるいは同一ブロック内の複数文字の信頼度で文字方向を判別しても、従来よりも高精度に文字方向を判別できることは言うまでもない。
【００４６】
次に、文字方向（文書方向）の判別結果が正方向以外の方向であるときは、文字方向が正方向になるように原画像を回転する。この回転は、図４のＣＰＵ／メモリ４０１を用いて公知の技術により簡単に行うことが可能であり、その説明は省略する。
【００４７】
次に、本画像処理装置を用いて、文書方向を判別し、更に、判別した文書方向に基づいて文書全体の文字認識を行なう場合について説明する。図５は、このような、文書方向自動判別・補正、及び文字認識処理の概要を示すフローチャートである。
【００４８】
入力された画像データ（多値画像）は、まず領域分離部４０３により、文字部、図形部、自然画部、表部などの属性別に矩形の領域に分離される（ステップＳ１、Ｓ２）。ここでは、矩形で囲まれた領域情報を作成するものとする。
【００４９】
次に、各属性を有する領域情報から文字領域の矩形情報を抽出する（ステップＳ３）。ここで、文字領域とは、文章部、タイトル部、表中の文字、図のキャプション部などである。例えば、図６（ａ）、（ｃ）の文書の場合は、それぞれ図６（ｂ）、（ｄ）に示したような文字領域の矩形情報が抽出される。そして、これらの中の数ブロックを用いて、文書方向判別を行う（ステップＳ４）。その結果、文書方向が正方向であれば、次に、画像中の全文字ブロックに対して文字認識処理を行う（ステップＳ７）。
【００５０】
一方、文書方向が正方向でなければ、画像データを正方向になるように回転させる（ステップＳ５）。そして、回転画像に対して再度、領域分離を行い、領域分離情報の補正処理を行う（ステップＳ６）。これは、画像回転に伴う領域分離情報の相違を補正するものである。回転画像に対して文字認識を行なう際、回転させた全画像データに対して再び領域分離処理を行う方法と、アドレス変換を回転前の領域分離結果にかける方法がある。領域分離処理は、一般に画像が正方向を想定しているため、初期の段階で行った領域分離処理と回転画像データに対して行った領域分離処理は結果が異なることが多い。それゆえ、前者の方法がとられるのが望ましく、ここでは、ステップＳ６で回転した全画像データに対して再度領域分離処理を行なっている。
【００５１】
次に、ステップＳ７に進んで、回転画像データ中の文字領域ブロックは、文字認識処理系で文字認識される。そして、領域分離情報と文字認識情報を処理結果として得る（ステップＳ８）。
【００５２】
この処理結果は、Ｉ／Ｆ部４０５を介してコンピュータ４０６に伝送され、コンピュータ４０６上のファイリングのアプリケーションソフト等で利用される。また、コントローラ部１３９内のＣＰＵ２０１へ各画像毎に送信される。
以上のような処理により、図９（ａ）に示した原画像データ、図９（ｂ）に示した領域分離データ、図９（ｃ）に示した文字認識情報を得ることができる。これらの情報は前述のようにコントローラ部１３９のＣＰＵ２０１へ送られ、各種画像処理、各種制御に使用する。
【００５３】
領域分離データの形式は図９（ｂ）に示したように、領域分離データである旨を示す「ｈｅａｄｅｒ」と、分離した領域の識別子「ｒｅｃｔ１」〜「ｒｅｃｔ４」により構成され、この識別子で区別された各領域（ブロック）の情報は、ブロックの番号「ｏｒｄｅｒ」、ブロックの属性（文字部、図形部など）「ａｒｔ」、ブロックの左上の座標値「ｘ１」および「ｙ１」、ブロックの幅「ｗ」、ブロックの高さ「ｈ」、縦書き、または横書きを示す「ｄｉｒｅｃｔｉｏｎ」、当該ブロックのＩＤである「ｓｅｌｆＩＤ」、当該ブロックを包含する親ブロックのＩＤである「ｕｐｐｅｒＩＤ」、親ブロックの属性「ｕｐｐｅｒＡｔｔ」、予備領域「ｒｅｓｅｒｖｅ」により構成されている。
【００５４】
また、文字認識情報は、図９（ｃ）に示したように、文字認識情報である旨を示す「ｈｅａｄｅｒ」を有し、例えば「本」等の単一の文字に関する文字認識情報「ＯＣＲ１」等と、当該文字が含まれているブロックを示す上記「ｒｅｃｔ１」等に相当する「ｂｌｋ  ｈｅａｄｅｒ」との組み合わせ情報により構成されている。
【００５５】
そして、「ＯＣＲ１」等の各文字認識情報は、文字であるか或いは空白であるかを示す「ｔｙｐｅ」、前述の文字認識の信頼度に従った第１〜第５候補文字「文字１」〜「文字５」、当該文字の切り出し位置「ｘ１」および「ｙ１」、当該文字の幅「ｗ」、当該文字の高さ「ｈ」、予備領域「ｒｅｓｅｒｖｅ」により構成されている。文字認識ができない場合、例えば画像データすべてに文字が含まれない等の時は予備領域「ｒｅｓｅｒｖｅ」に「ｕｎｋｎｏｗｎ（検知不能）」を表すデータを返す。
【００５６】
さらに、図１６のフローチャートを用いて本実施の形態としての画像処理装置の詳細な動作について説明する。このフローチャートは原稿が普通画像タイプ（ポジ原稿）か反転画像タイプ（ネガ原稿）かを自動判定して画像形成動作を行なった場合について示している。
【００５７】
まず、ステップＳ１６０１で操作パネル１４０上のコピーキーがＯＮしたかどうかを判断する。ＯＮされればステップＳ１６０２で原稿をプリスキャン（予備走査）する。ここで読み取られた画像データは、ヒストグラム作成部３１２において図１４，図１５の様なヒストグラムとして表現される（ステップＳ１６０３）。作成されたヒストグラムから原稿が普通画像タイプ（ポジ原稿）か反転画像タイプ（ネガ原稿）かを自動判定する（ステップＳ１６０４）。次にステップＳ１６０５において画像形成を行なうための本スキャン（本走査）を行ない、ステップＳ１６０４の判別でネガ原稿であると判断（ステップＳ１６０６）された場合はＣＰＵから図３におけるイクスクルーシブＯＲゲート３１１にＨレベルの信号を出し、画像データを反転する（ステップＳ１６０７）。次にステップＳ１６０８において、反転された画像データについて前述した文書方向判別方法によって文書方向を判別する。ステップＳ１６０４の判別でポジ原稿であると判断（ステップＳ１６０６）された場合はＣＰＵから図３におけるイクスクルーシブＯＲゲート３１１にＬレベルの信号を出し、画像データは反転させずに、ステップＳ１６０８において、そのままの画像データについて前述した文書方向判別方法によって文書方向を判別する。
【００５８】
図１０はヒストグラム作成部３１２の構成を示すブロック図である。
【００５９】
全体はＨＳＹＮＣ、ＨＶＡＬＩＤ、ＣＬＫの同期信号を元に内部のタイミング発生部により制御されている。また、ＣＰＵからの信号によっても制御ができる様になっている。
【００６０】
図１０において１０００はＲＡＭ等の書き込み可能なメモリでＣＣＤユニット１０６で読み取られた画像情報の１ライン分を記憶できる容量を備えている。１００１は出力制御可能なバッファで、ＴＳＥＬ信号がＬレベルの時にシェーディング部３０１からの画像データをメモリ１０００のデータ入力に送る。
【００６１】
１００２，１００３はデータセレクタでそれぞれＴＳＥＬ信号によりタイミング発生部１００４で発生した制御信号（アドレス、ＯＥ，ＷＲ，ＣＳ）とＣＰＵでの制御信号（アドレスバス、ＭＲＤ，ＭＷＲ，ＭＣＳ）を選択し、メモリ１０００に与える。１００４はタイミング発生部でＣＬＫ，ＨＶＡＬＩＤ，ＨＳＹＮＣの同期信号から制御信号を作る。１００５は出力制御可能なバッファで、負論理入力ＮＡＮＤゲート１００７に入力されている／ＴＳＥＬ信号及びＭＷＲ信号で出力制御される。ＮＡＮＤゲート１００７がＬレベルになった時にＣＰＵデータバスからのデータをメモリ１０００のデータ入力に送る。
【００６２】
１００６は出力制御可能なバッファで、ＭＣＳ，ＭＲＤ信号を入力した負論理入力ＮＡＮＤ１００８からの出力に基づいて出力制御される。ＮＡＮＤゲート１００８がＬレベルの時にバッファ１００６はメモリ１０００から読み出されたデータをＣＰＵデータバスに送る。１００９はＤタイプのフリップ・フロップでＣＰＵからの制御信号ＣＰＡＬを１ラインの同期信号ＨＳＹＮＣで同期をとりＴＳＥＬ信号を作る。
【００６３】
図１１は、フリップ・フロップ１００９において行なわれるＴＳＥＬ信号の作成のタイミングを示すタイミングチャートである。ＣＰＵからの制御信号ＣＰＡＬはＨＳＹＮＣによって同期がとられてＴＳＥＬ信号が作られる。ＴＳＥＬ信号がＬレベルの期間に、シェーディング部３０１からの画像データがメモリ１０００に書き込まれる。ＴＳＥＬ信号がＨレベルの期間中、ＣＰＵによってメモリ１０００の内容が読み取られてＣＰＵ内のＲＡＭの中に１ライン分のヒストグラムが作成される。
【００６４】
図１２はヒストグラム作成部３１２の内部メモリ１０００の書き込み及び読み出し時のタイミングを示したものである。
【００６５】
図１２（ａ）は図１１における輝度信号のメモリへの書き込み期間中のメモリ書き込みタイミングを表しておりタイミング発生部１００４で作成される。ＨＳＹＮＣでタイミング発生部１００４内部のアドレスカウンター（図示せず）がイニシャライズされＡＤＲＳ信号が０となる。アドレスカウンターはアップ・カウンターでＨＶＡＬＩＤ信号がＨレベルの時に画像情報の１画素の同期信号であるＣＬＫをカウントしＡＤＲＳ信号を発生する。それに応じてメモリ書き込み信号ＷＲのＬレベルからＨレベルへの立ち上がり時に輝度信号が所定のアドレスＡＤＲＳに書き込まれる。
【００６６】
図１２（ｂ）は図１１におけるＣＰＵでのメモリからの読み出し及びヒストグラム作成期間中のＣＰＵからのメモリ読み出しタイミングを表している。ＣＰＵからのメモリ選択信号であるＭＣＳがＬレベルの時、メモリからの読み出しが許可される。ＣＰＵからのアドレスバスに出力されたアドレス信号はメモリ１０００のアドレス入力端子に与えられてＣＰＵのメモリリード信号ＭＲＤがＬレベルの時、メモリ内容が読み出されてＣＰＵのデータバスに出力される。図１２の（ａ），（ｂ）で示したタイミング信号はＴＳＥＬ信号により選択されて与えられる。
【００６７】
次に本実施の形態におけるネガ・ポジ原稿判別動作について説明する。
【００６８】
まず、ヒストグラムが作成され、次にヒストグラムの特徴点の点検が行われる。さらに後述する方法により原稿がネガタイプかポジタイプかを判別する。
【００６９】
以下、順に説明する。
【００７０】
＜１＞ヒストグラムの作成方法
ヒストグラムの作成は次の順に行われる。原稿の読み取りに先だって輝度信号の入力、ヒストグラム作成を行うためにプリスキャン（予備走査）を行う。輝度信号のサンプリングは全画素を入力してもよいが、原稿のヒストグラムの特徴が崩れない程度に荒く間引いてサンプリングする。例えば１ｍｍ間隔程度である。
【００７１】
▲１▼輝度信号の１ライン分の入力
図１１におけるＴＳＥＬ信号がＬの期間で１ライン分の全画素データがメモリ１０００に書き込まれる。ＴＳＥＬがＬレベルの時にはバッファ１００１は出力イネーブルになり、シェーディング部３０１からの画像データがメモリ１０００に与えられる。また、データセレクタ１００２，１００３はセレクトＳがＬレベルになりＡ入力が選択され、タイミング発生部１００４で作られた制御信号（アドレス、ＯＥ，ＷＲ，ＣＳ）がメモリ１０００に与えられる。書き込みタイミングは図１２（ａ）に示した通りである。
【００７２】
▲２▼ＣＰＵでのメモリの読み出し
図１０においてＴＳＥＬ信号がＨの期間で▲１▼で書き込んだメモリ内容をＣＰＵで読み出す。ＴＳＥＬ信号はＣＰＵから出力されたＣＰＡＬ信号で作られており、ＣＰＵはＴＳＥＬ信号がＨレベルになった直前の１ライン分のデータをメモリから読み出す。ＴＳＥＬ信号がＨレベルの時にはバッファ１００１は出力がディスイネーブルになり出力がハイインピーダンスになる。また、データセレクタ１００２，１００３はセレクトＳがＨレベルになりＢ入力が選択され、ＣＰＵからの制御信号（ＣＰＵアドレス、ＭＲＤ，ＭＷＲ，ＭＣＳ）がメモリ１０００に与えられる。また、バッファ１００６はＣＰＵからのＭＣＳとＭＲＤ信号が同時にＬレベルになった時に出力イネーブルになり、メモリから読み出されたデータをＣＰＵのデータバスに出力する。バッファ１００５はＴＳＥＬとＭＷＲが同時にＬレベルの時に出力イネーブルになり、ＣＰＵのデータがメモリ１０００に送られる。ここで、通常の読み取り解像度が４００ｄｐｉであれば１ｍｍは約１６ドットであるのでＣＰＵから１６アドレス毎にデータを読み出せばよい。（主走査方向）例えばアドレスを１，１７，３３，４９，６５の様に変える。読み出しタイミングは図１２（ｂ）に示した通りである。
【００７３】
▲３▼ヒストグラムの作成
メモリから読み出した輝度信号のレベルを同一のレベル毎に度数を加算してヒストグラムを作成する。１ライン分のサンプリングデータを処理して結果をＣＰＵ内部のメモリに記憶する。ここでは輝度信号を８ビットとし、０から２５５レベルまでについて加算する。また、最大度数は１つのレベルを１６ビットで表すとすると約６５０００個のデータが記憶できる。つまり、ヒストグラムデータを記憶するには２５６ワード（５１２バイト）のメモリ容量が必要となる。
【００７４】
▲４▼▲１▼と▲２▼の処理を所定の範囲内だけ繰り返す。
【００７５】
副走査方向においてもサンプリング間隔は１ｍｍであるので、読み取り解像度を４００ｄｐｉとすると１６ライン毎にメモリに輝度信号を書き込めばよい。この時間はＣＰＵからのＣＰＡＬ信号の制御で決まるので、１６ラインの時間に相当する時間毎にＣＰＡＬ信号をＨレベルにして１ライン分のヒストグラム作成後にＣＰＡＬ信号をＬレベルにする。
【００７６】
図１３に原稿に対するサンプリング及びヒストグラム作成範囲の関係を示す。
【００７７】
図１３（ａ）はヒストグラム作成範囲を示す。１ｍｍ毎のサンプリングでヒストグラム記憶用のメモリビット数が１６ビットで構成されている場合には、約６５０００個の最大度数が記憶できるのでＡ４サイズ（２１０ｍｍ×２９７ｍｍ）のヒストグラム作成範囲となる。
【００７８】
図１３（ｂ）にサンプリング間隔を示す。主走査方向に１６ドット毎、副走査方向に１６ライン毎にデータがサンプリングされる。ここではプリスキャン（予備走査）速度が通常読み取り速度（等倍）と同じであるのでサンプリングされたデータは読み取りの１画素に相当している。
【００７９】
＜２＞ヒストグラムの特徴点の検出
以上の処理を繰り返すことで図１４の様なヒストグラムが作成される。これは通常の原稿で最も多いと考えられるヒストグラムで、原稿に広い範囲でほぼ同一の濃度の背景（地肌と呼ぶ）があり、その上に背景より濃い濃度で文字等が書かれているものである。横軸が信号レベル表しており左が０レベル（暗い）、右が２５５レベル（明るい）に対応している。縦軸は度数を表しており、普通は全体度数の割合（％）で考える。ヒストグラムの特徴点としてここでは次の４つを求める。
【００８０】
１ｍｉｎ  信号レベルで最も暗いレベル
１ｍａｘ  信号レベルで最も明るいレベル
１ｐｅａｋ  度数が最も多い信号レベル
ｈ  ｍａｘ  最大度数
このヒストグラムで、１ｐｅａｋを中心とした信号レベル（輝度信号レベル）の範囲が背景部分（地肌部分）、１ｍｉｎから地肌部分までの範囲が文字部分（原稿の情報部分）に対応している。
【００８１】
次にこのヒストグラムの各特徴点の求め方について説明する。
【００８２】
最暗レベル１ｍｉｎの検出は、０レベルから２５５レベルまでの度数を順にチェックし、最初に判定基準度数ＬＪＵＧを越えた度数のレベルを採用する。この判定基準度数ＬＪＵＧはヒストグラム作成時のノイズ等による判定エラーをなくすもので全体度数値の０．０１％ぐらいに設定されている。例えば全体度数が６５０００であればＬＪＵＧは６５となり、６５以上の度数があるレベルが検出される。
【００８３】
最明レベル１ｍａｘも同様に、２５５レベルから０レベルまでの度数をチェックし、最初にＬＪＵＧを越えた度数のレベルを採用する。また、何らかの理由でこれらのレベルが検出できなかった場合には、１ｍｉｎには０、１ｍａｘには２５５が与えられる。
【００８４】
ヒストグラム中の最大度数ｈｍａｘ及びこの時のレベル１ｐｅａｋは１ｍｉｎ，１ｍａｘの範囲内で最大度数を検出する。
【００８５】
図１５に反転画像タイプ（ネガ原稿）のヒストグラムを示す。
【００８６】
このタイプの原稿は普通画像タイプ（ポジ原稿）の原稿とは度数のピークが逆にあるものでベタの地に白抜き文字があるような原稿がこれにあたる。
【００８７】
図１４及び図１５の様なヒストグラムから原稿が普通画像タイプ（ポジ原稿）か反転画像タイプ（ネガ原稿）かを判定するためには、ある判定基準レベルより１ｐｅａｋが大きいかどうかを判断することにより行なうことができる。例えばこの判定基準レベルを１６０に設定すると、１６０に設定すると、１６０より大きい場合は普通画像タイプ（ポジ原稿）、小さい場合は反転画像タイプ（ネガ原稿）であると判断される。
【００８８】
以上のような処理により、自動的にネガ画像かポジ画像かの判断を行なうことができる。よって、図１６に示したフローチャートに従い、ネガ画像に対しても信頼性の高い文書方向判別を実現できる。
【００８９】
なお、上記では、自動的にネガ原稿か、ポジ原稿かを判断する画像処理装置について説明したが、加えて、ネガ原稿か、ポジ原稿かをユーザが入力可能とし、その入力を認識して、画像データの反転を行なう構成としてもよい。
【００９０】
図１７は、ユーザの入力に従ってネガ画像の反転を行なうことの可能な画像処理装置の処理の流れを示すフローチャートである。
【００９１】
まず、ステップＳ１７０１で操作パネル１４０上のコピーキーがＯＮしたかどうかを判断する。ＯＮされればステップＳ１７０２でネガ画像キーが押されたかどうかを判断する。押されていれば、ＣＰＵから図３におけるイクスクルーシブＯＲゲート３１１にＨレベルの信号を出し、画像データを反転する（ステップＳ１７０３）。次にステップＳ１７０４において、反転された画像データについて前述した文書方向判別方法によって文書方向を判別する。ステップＳ１７０２においてネガ画像キーが押されないと判断された場合は、ＣＰＵから図３におけるイクスクルーシブＯＲゲート３１１にＬレベルの信号を出し、画像データは反転させずに、ステップＳ１７０４において、そのままの画像データについて前述した文書方向判別方法によって文書方向を判別する。
【００９２】
これにより、一層確実にネガ画像に対する文章方向判別処理を行なうことができる。
【００９３】
［第２の実施の形態］
次に、本発明の第２の実施の形態について図１８及び図１９を用いて説明する。
【００９４】
上記第１の実施の形態では、ヒストグラムを作成することにより、文書方向判別前にネガ画像かポジ画像かの判断を行なっていたが、本実施の形態では、文書方向判別を、原画像と、その反転画像との両方について行ない、その信頼性の高い方を採用することで、結果としてネガ画像かポジ画像かの判断を行なうものである。従って、その構成は上記第１の実施の形態と、ほぼ同様であり、図２の画像処理部２０６の構成及び処理の流れ以外は、装置全体の構成も、文書方向判別３０６の構成も同様であるためその説明は省略する。
【００９５】
図１８は、本発明の画像処理装置における画像処理部２０６のブロック図である。
【００９６】
シェーディング回路３０１からの画像出力は文書方向判別部１８０６及び反転回路１８１２を介して文書方向判別部１８１１へ入力され、それぞれ文書方向判別処理を行う。
【００９９】
本実施の形態によれば、ネガ原稿かポジ原稿かを自動的に判別するためのプリスキャンを省略することができ、判別速度を向上することができる。
【０１００】
［他の実施形態］
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【０１０１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【０１０２】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０３】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【０１０４】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０５】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１０６】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、少なくとも「入力された画像データがポジ画像を示す画像データか、ネガ画像を示す画像データかを判定するネガ／ポジ判定モジュール」と、
「前記ネガ／ポジ判定工程で、入力された画像データがネガ画像を示す画像データであると判定された場合には、その画像データを反転した反転画像データの文書方向を判別した判別結果を出力する判別結果出力モジュール」の各モジュールのプログラムコードを記憶媒体に格納すればよい。
【０１０７】
【発明の効果】
本発明によれば、どのような入力画像に対しても正確に、かつ早く文書方向を判別することが可能になる。
【０１０８】
【図面の簡単な説明】
【図１】  本発明の第１の実施の形態としての画像処理装置の概略構成を示す断面図である。
【図２】  本発明の第１の実施の形態としての画像処理装置におけるコントローラ部１３９のブロック図である。
【図３】  本発明の第１の実施の形態としての画像処理装置における画像処理部２０６のブロック図である。
【図４】  本発明の第１の実施の形態としての画像処理装置における文書方向判別部３０６のブロック図である。
【図５】  本発明の第１の実施の形態としての画像処理装置の文書方向自動判別、文字認識処理を示すフローチャートである。
【図６】  文書方向自動判別における領域分離状態を示した図である。
【図７】  文字認識処理の処理過程を説明するための説明図である。
【図８】  文書（文字）方向自動判別処理を説明するための説明図である。
【図９】  領域分離および文字認識情報のデータ形式を示した図である。
【図１０】  本発明の第１の実施の形態としての画像処理装置のヒストグラム作成部３１２内のブロック図である。
【図１１】  ヒストグラム作成時の動作状態を表す図である。
【図１２】  ヒストグラム作成部の内部メモリのリード・ライトのタイミングを示す図である。
【図１３】  ヒストグラム作成時のヒストグラム作成範囲、サンプリング間隔を説明する図である。
【図１４】  普通画像タイプ（ポジ原稿）のヒストグラムである。
【図１５】  反転画像タイプ（ネガ画像）のヒストグラムである。
【図１６】  本発明の第１の実施の形態としての画像処理装置の処理の流れを示すフローチャートである。
【図１７】  本発明の第１の実施の形態としての画像処理装置の詳細な動作を示したフローチャートである。
【図１８】  本発明の第２の実施の形態としての画像処理装置における画像処理部２０６の概略構成を示すブロック図である。
【図１】
0003787440.tif 000002
【図２】
0003787440.tif 000003
【図３】
0003787440.tif 000004
【図４】
0003787440.tif 000005
【図５】
0003787440.tif 000006
【図６】
0003787440.tif 000007
【図７】
0003787440.tif 000008
【図８】
0003787440.tif 000009
【図９】
0003787440.tif 000010
【図１０】
0003787440.tif 000011
【図１１】
0003787440.tif 000012
【図１２】
0003787440.tif 000013
【図１３】
0003787440.tif 000014
【図１４】
0003787440.tif 000015
【図１５】
0003787440.tif 000016
【図１６】
0003787440.tif 000017
【図１７】
0003787440.tif 000018
【図１８】
0003787440.tif 000019