(57)【特許請求の範囲】
【請求項１】
原稿画像の画像データを入力する画像入力手段と、
前記画像入力手段により入力された原稿画像の向きを判別する方向判別手段と、
前記方向判別手段により判別された１枚目と２枚目の原稿画像の向きが同じかどうかを判定する判定手段と、
前記判定手段の出力に応じて、前記画像入力手段により入力された複数の原稿画像を１枚の記録媒体に記録するように前記画像データを編集する画像編集手段と、
前記画像編集手段により得られた画像データを記録する画像記録手段とを有し、
前記画像編集手段は、前記判定手段により１枚目と２枚目の原稿画像の向きが同じであると判定されると後続の原稿画像の向きも同一であるとして画像データの編集を行うことを特徴とする画像処理装置。
【請求項２】
前記画像入力手段は、原稿画像を光電的に読み取って入力することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像編集手段は、複数枚の原稿画像を１枚の記録媒体に指示されたレイアウトで記録するように画像データの編集を行うことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記判定手段は、前記複数枚の原稿画像毎に１枚目２枚目の原稿画像の向きが同じであるかどうかを判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記方向判別手段は、前記原稿画像の文字を認識し、その認識した文字の尤度に応じて当該原稿画像の向きを判別することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
原稿画像の画像データを入力する画像入力手段と、
前記画像入力手段により入力された原稿画像の向きを判別する方向判別手段と、
前記方向判別手段により判別された原稿画像の向きが複数枚連続して同じかどうかを判定する判定手段と、
前記判定手段の出力に応じて、前記画像入力手段により入力された複数の原稿画像を１枚の記録媒体に記録するように前記画像データを編集する画像編集手段と、
前記画像編集手段により得られた画像データを記録する画像記録手段とを有し、
前記画像編集手段は、前記判定手段により複数枚の原稿画像の向きが連続して同じであると判定されると後続の原稿画像の向きも同一であるとして画像データの編集を行うことを特徴とする画像処理装置。
【請求項７】
原稿画像の画像データを入力する入力工程と、
前記入力工程で入力された原稿画像の向きを判別する方向判別工程と、
前記方向判別工程で判別された１枚目と２枚目の原稿画像の向きが同じかどうかを判定する判定工程と、
前記判定工程での判定結果に応じて、前記入力工程で入力された複数の原稿画像を１枚の記録媒体に記録するように前記画像データを編集する画像編集工程とを有し、
前記画像編集工程では、前記判定工程で１枚目と２枚目の原稿画像の向きが同じであると判定されると後続の原稿画像の向きも同一であるとして画像データの編集を行うことを特徴とする画像処理方法。
【請求項８】
複数枚の原稿画像からなる一連の原稿画像の画像データの編集を行う画像処理方法であって、
前記一連の原稿画像に含まれる原稿画像の向きを判別する方向判別工程と、
前記方向判別工程で判別された前記一連の原稿画像のうちの１枚目と２枚目の原稿画像の向きが同じかどうかを、前記方向判別工程にて前記一連の原稿画像の３枚目以降の原稿画像の向きを判別する前に判定する判定工程と、
前記方向判別工程での原稿画像の方向判別結果に従って、前記一連の原稿画像を１枚の記録媒体に記録するように画像データの編集を行う画像編集工程とを有し、
前記画像編集工程では、前記判定工程で前記一連の原稿画像のうちの１枚目と２枚目の原稿画像の向きが同じであると判定された場合、前記方向判別工程にて前記一連の原稿画像の３枚目以降の原稿画像の向きを判別することなく、前記１枚目と２枚目の前記原稿画像の向きに従って前記一連の原稿画像の画像データの編集を行い、前記判定工程で前記一連の原稿画像のうちの１枚目と２枚目の原稿画像の向きが同じではないと判定された場合、前記方向判別工程で前記一連の原稿画像の３枚目以降の原稿画像の向きを判別したうえで、前記一連の原稿画像の画像データの編集を行うことを特徴とする画象処理方法。
【請求項９】
前記画像編集工程では、複数枚の原稿画像を１枚の記録媒体に指示されたレイアウトで記録するように画像データの編集を行うことを特徴とする請求項７又は８に記載の画像処理方法。
【請求項１０】
前記判定工程では、前記複数枚の原稿画像毎に１枚目と２枚目の原稿画像の向きが同じであるかどうかを判定することを特徴とする請求項９に記載の画像処理方法。
【請求項１１】
前記方向判別工程では、前記原稿画像の文字を認識し、その認識した文字の尤度に応じて原稿画像の向きを判別することを特徴とする請求項７に記載の画像処理方法。
【請求項１２】
原稿画像の画像データを入力する画像入力工程と、
前記画像入力工程で入力された原稿画像の向きを判別する方向判別工程と、
前記方向判別工程で判別された原稿画像の向きが複数枚連続して同じかどうかを判定する判定工程と、
前記判定工程の判定結果に応じて、前記画像入力工程で入力された複数の原稿画像を１枚の記録媒体に記録するように前記画像データを編集する画像編集工程と、
前記画像編集工程で得られた画像データを記録する画像記録工程とを有し、
前記画像編集工程では、前記判定工程で複数枚の原稿画像の向きが連続して同じであると判定されると後続の原稿画像の向きも同一であるとして画像データの編集を行うことを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、原稿画像の方向を自動的に判別して、その原稿画像の画像データの処理を行う画像処理方法及び装置に関するものである。
【０００２】
【従来の技術】
従来、例えば複写機では、４イン１と呼ばれるように、４枚の原稿を１枚の複写用紙に縮小して複写するモードがある。この場合、複数の原稿の内の１枚目の原稿画像の向きを判断し、その原稿に後続する３枚の原稿も同じ向きであると判断して、複写出力の方向を決定していた。
【０００３】
【発明が解決しようとする課題】
しかし上述したような方法では、方向の異なる原稿が混在する場合や、原稿の両面複写を同時併用する際にはユーザーが望むような複写が得られない場合があった。そこで、このような場合に対応するには、原稿１枚毎、スキャナ等の光学的読み取り装置により読み取り、その読み取った原稿情報（画像データ）の文字を認識することにより、各原稿における文書方向を判断してその方向に応じた画像処理を行って上述の複写処理を行うことができる。
【０００４】
しかし、このように各原稿毎にスキャナ等の光学的読み取り装置により原稿画像を読取り、その読み取った原稿情報（画像データ）の文字を認識することにより原稿の方向を判断する方法は多くの時間がかかるという問題があった。
【０００５】
本発明は上記従来例に鑑みてなされたもので、１枚目と２枚目の原稿の向きを判断し、これら１枚目と２枚目の原稿画像の向きが同一の場合には後続の原稿画像の向きも同じであると推定して原稿向きの判定処理を省略し、画像処理に要する時間を短縮させた画像処理方法及び装置を提供することを目的とする。
【０００６】
また本発明の目的は、例えば４イン１コピー等のように、複数の原稿を縮小して１枚の用紙に印刷する場合には、各４枚単位毎に１枚目と２枚目の原稿画像の向きを判断し、それら２枚の原稿画像の向きが同じ場合には後続の３枚目と４枚目の原稿画像の向きの判断を省略して、画像処理に要する時間を短縮させた文書処理方法及び装置を提供することを目的とする。
【０００７】
また本発明は、複数の原稿のうち、連続して同じ向きの原稿があるときは、後続の原稿の向きも同じ向きであると判断して、後続の原稿に対する原稿向きの判定処理を省略し、画像処理に要する時間を短縮させた画像処理方法及び装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
原稿画像の画像データを入力する画像入力手段と、
前記画像入力手段により入力された原稿画像の向きを判別する方向判別手段と、
前記方向判別手段により判別された１枚目と２枚目の原稿画像の向きが同じかどうかを判定する判定手段と、
前記判定手段の出力に応じて、前記画像入力手段により入力された複数の原稿画像を１枚の記録媒体に記録するように前記画像データを編集する画像編集手段と、
前記画像編集手段により得られた画像データを記録する画像記録手段とを有し、
前記画像編集手段は、前記判定手段により１枚目と２枚目の原稿画像の向きが同じであると判定されると後続の原稿画像の向きも同一であるとして画像データの編集を行うことを特徴とする。
上記目的を達成するために本発明の画像処理装置は以下のような構成を備える。即ち、
原稿画像の画像データを入力する画像入力手段と、
前記画像入力手段により入力された原稿画像の向きを判別する方向判別手段と、
前記方向判別手段により判別された原稿画像の向きが複数枚連続して同じかどうかを判定する判定手段と、
前記判定手段の出力に応じて、前記画像入力手段により入力された複数の原稿画像を１枚の記録媒体に記録するように前記画像データを編集する画像編集手段と、
前記画像編集手段により得られた画像データを記録する画像記録手段とを有し、
前記画像編集手段は、前記判定手段により複数枚の原稿画像の向きが連続して同じであると判定されると後続の原稿画像の向きも同一であるとして画像データの編集を行うことを特徴とする。
【０００９】
また上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
原稿画像の画像データを入力する入力工程と、
前記入力工程で入力された原稿画像の向きを判別する方向判別工程と、
前記方向判別工程で判別された１枚目と２枚目の原稿画像の向きが同じかどうかを判定する判定工程と、
前記判定工程での判定結果に応じて、前記入力工程で入力された複数の原稿画像を１枚の記録媒体に記録するように前記画像データを編集する画像編集工程とを有し、
前記画像編集工程では、前記判定工程で１枚目と２枚目の原稿画像の向きが同じであると判定されると後続の原稿画像の向きも同一であるとして画像データの編集を行うことを特徴とする。
また上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
複数枚の原稿画像からなる一連の原稿画像の画像データの編集を行う画像処理方法であって、
前記一連の原稿画像に含まれる原稿画像の向きを判別する方向判別工程と、
前記方向判別工程で判別された前記一連の原稿画像のうちの１枚目と２枚目の原稿画像の向きが同じかどうかを、前記方向判別工程にて前記一連の原稿画像の３枚目以降の原稿画像の向きを判別する前に判定する判定工程と、
前記方向判別工程での原稿画像の方向判別結果に従って、前記一連の原稿画像を１枚の記録媒体に記録するように画像データの編集を行う画像編集工程とを有し、
前記画像編集工程では、前記判定工程で前記一連の原稿画像のうちの１枚目と２枚目の原稿画像の向きが同じであると判定された場合、前記方向判別工程にて前記一連の原稿画像の３枚目以降の原稿画像の向きを判別することなく、前記１枚目と２枚目の前記原稿画像の向きに従って前記一連の原稿画像の画像データの編集を行い、前記判定工程で前記一連の原稿画像のうちの１枚目と２枚目の原稿画像の向きが同じではないと判定された場合、前記方向判別工程で前記一連の原稿画像の３枚目以降の原稿画像の向きを判別したうえで、前記一連の原稿画像の画像データの編集を行うことを特徴とする。
更に上記目的を達成するために本発明の画像処理方法は以下のような工程を備える。即ち、
原稿画像の画像データを入力する画像入力工程と、
前記画像入力工程で入力された原稿画像の向きを判別する方向判別工程と、
前記方向判別工程で判別された原稿画像の向きが複数枚連続して同じかどうかを判定する判定工程と、
前記判定工程の判定結果に応じて、前記画像入力工程で入力された複数の原稿画像を１枚の記録媒体に記録するように前記画像データを編集する画像編集工程と、
前記画像編集工程で得られた画像データを記録する画像記録工程とを有し、
前記画像編集工程では、前記判定工程で複数枚の原稿画像の向きが連続して同じであると判定されると後続の原稿画像の向きも同一であるとして画像データの編集を行うことを特徴とする。
【００１０】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１１】
図１は、本実施の形態の画像形成装置（複写機）の構成を説明する断面図である。
【００１２】
図において、１０１は原稿台ガラスであり、原稿自動送り装置（ＡＤＦ）１４２から給送された原稿が順次、所定位置に載置される。１０２は、例えばハロゲンランプ等を有する原稿照明ランプで、原稿台ガラス１０１に載置された原稿を露光する。１０３，１０４，１０５は走査ミラーであり、図示しない光学走査ユニットに収容され、図１の左右方向に往復動しながら、原稿からの反射光をＣＣＤユニット１０６に導いている。ＣＣＤユニット１０６は、ＣＣＤ等の撮像素子１０８に原稿からの反射光を結像させる結像レンズ１０７、撮像素子１０８を駆動するＣＣＤドライバ１０９等を備えている。撮像素子１０８からの画像信号出力は、例えば８ビットのデジタルデータに変換された後、コントローラ１３９に入力される。
【００１３】
１１０は感光ドラムであり、前露光ランプ１１２によって画像形成に備えて除電される。１１３は１次帯電器であり、感光ドラム１１０の表面を一様に帯電させる。１１７は露光手段であり、例えば半導体レーザ等で構成され、画像処理や装置全体の制御を行うコントローラ１３９で処理された画像データに基づいて感光ドラム１１０を露光して、画像データに応じた静電潜像を形成する。１１８は現像器であり、黒色の現像剤（トナー）が収容されている。１１９は転写前帯電器であり、感光ドラム１１０上に現像されたトナー像を用紙に転写する前に高圧をかける。１２０，１２２，１２４は給紙ユニットであり、各給紙ローラ１２１，１２３，１２５の回転駆動により、転写用紙が装置内へ給送され、レジストローラ１２６の配設位置で一旦停止し、感光ドラム１１０に形成された画像との書き出しタイミングがとられて再給送される。１２７は転写帯電器であり、感光ドラム１１０に現像されたトナー像を、給送される転写用紙に転写する。１２８は分離帯電器であり、転写動作の終了した転写用紙を感光ドラム１１０より分離する。尚、転写されずに感光ドラム１１０上に残ったトナーは、クリーナ１１１によって回収される。
【００１４】
１２９は搬送ベルトで、転写プロセスの終了した転写用紙を定着器１３０の位置に搬送し、例えば熱により画像の定着を行う。１３１はフラッパであり、定着プロセスの終了した転写用紙の搬送パスを、ステイプルソータ１３２又は中間トレイ１３７の配置方向のいずれかに制御する。ステイプルソータ１３２に排紙された用紙は各ビンに仕分けされ、コントローラ１３９からの指示によりステイプル部１４１がステイプルを行う。１３３〜１３６は給送ローラであり、一度定着プロセスが終了した転写用紙を中間トレイ１３７に反転（多重）または非反転（両面）して給送する。１３８は再給送ローラであり、中間トレイ１３７に載置された転写用紙を再度、レジストローラ１２６の位置まで搬送する。コントローラ１３９には、後述するマイクロコンピュータ、画像処理部等を備えており、操作パネル１４０からの指示に従って、前述の画像形成動作を行う。
【００１５】
図２は、本発明の実施の形態の画像形成装置のコントローラ１３９の構成を示すブロック図である。
【００１６】
図２において、２０１は本実施の形態の画像形成装置全体の制御を行うＣＰＵであり、装置本体の制御手順（制御プログラム）を記憶した読み取り専用メモリ２０３（ＲＯＭ）から制御プログラムを順次読み取って実行する。ＣＰＵ２０１のアドレスバス及びデータバスは、パスドライバ、アドレスデコーダ回路２０２を経て各部に接続されている。また、２０４は入力データの記憶や作業用記憶領域等として用いる主記憶装置であるところのランダムアクセスメモリ（ＲＡＭ）である。２０５はＩ／Ｏインターフェース・ポートであり、操作者がキー入力を行い、装置の状態等を液晶、ＬＥＤを用いて表示する操作パネル１４０や、給紙系、搬送系、光学系の駆動を行うモータ類２０７、クラッチ類２０８、ソレノイド類２０９、また、搬送される用紙を検知するための紙検知センサ類２１０等の各負荷に接続される。
【００１７】
現像器１１８には、現像器内のトナー量を検知するためのトナー残量検知センサ２１１が配置されており、その出力信号がＩ／Ｏポート２０５に入力される。２１５は高圧制御ユニットであり、ＣＰＵ２０１の指示に従って、前述の１次帯電器１１３、現像器１１８、転写前帯電器１１９、転写帯電器１２７、分離帯電器１２８への電圧値（高圧）を制御している。
【００１８】
２０６は画像処理部であり、ＣＣＤユニット１０６から出力された画像信号が入力され、後述する画像処理を行って、印刷用の画像データを生成する。こうして生成された画像データに従ってレーザユニット１１７を駆動する。こうしてレーザユニット１１７から出力されるレーザ光が感光ドラム１１０上を照射して露光するとともに、非画像領域において受光センサであるビーム検知センサ２１３によって、その発光状態が検知され、その出力信号がＩ／Ｏポート２０５に入力される。
【００１９】
図３は、本実施の形態の画像形成装置におけるコントローラ１３９の画像処理部２０６の機能構成を示す機能ブロック図である。
【００２０】
ＣＣＤ１０８により出力される電気信号に変換された画像信号は、まずシェーディング回路３０１によって画素間のばらつきが補正された後、変倍回路３０２において縮小コピー時はデータの間引き処理が行なわれ、拡大コピー時にはデータの補間が行われる。次に、エッジ強調回路３０３において、例えば５×５のウインドウで２次微分を行って画像のエッジを強調する。この画像データは輝度データであるので、最終的に半導体レーザに出力するための濃度データに変換するためγ変換回路３０４でテーブルサーチによりデータ変換を行う。こうしてガンマ変換回路３０４で濃度データに変換された画像データは、２値化処理回路３０５に入力される。ここで例えばＥＤ（誤差拡散）法により多値データを２値データに変換する。こうして２値データに変換された画像データは、合成回路３０７に入力され、その入力された画像データと、例えばＤＲＡＭにより構成される画像用メモリ３１０の画橡データとを選択的、或は論理和をとって出力する。この画像用メモリ３１０に対するリードライト制御はメモリ制御部３０９で行われ、画像を回転させる場合は画像メモリ３１０の画像データの読み出しアドレスを制御することにより行われる。こうして合成回路３０７から出力された画像データは、半導体レーザの発光強度の信号に変換するためにＰＷＭ回路３０８に入力され、画像の濃度に従ったパルス幅の信号を露光手段１１７に出力する。また、変倍回路３０２から出力される画像データは文書方向判別部３０６に入力され、後述する文書方向の判別処理が実行される。
【００２１】
次に図４〜図９を参照して、本実施の形態の文書方向判別部の動作について説明する。
【００２２】
図４は文書方向判別部３０６の構成を示すブロック図である。
【００２３】
図４において、シェーディング回路３０１から出力された画像データはＣＰＵ／メモリ部４０１に入力され、ここで画像データが一時的に保存されると共に各種制御が行われる。このＣＰＵ／メモリ部４０１は、コントローラ１３９のＣＰＵ２０１と、例えば図示しないデュアルポートＲＡＭ等を介してバス接続されており、これらの間でデータの送受信が行われる。尚、このデータ通信はもちろんシリアル通信でもよい。
【００２４】
文字認識／方向判別部４０２は、文書の方向を一番正確に表しているのは文字の方向であることに着目し、文書中の数種類の文字領域を０°，９０°，１８０°，２７０°の各方向から文字認識を行い、それら各方向における文字認識の精度（文字認識の自信度：文字の特徴分布に対する距離）の中で一番精度の高い方向を求めて、それを文書方向とする。領域分離部４０３は、文字認識／方向判別部４０２による文字認識・方向判別処理を行うための前処理として、文書画像データより文字部、図形部、自然画部、表部などを、それぞれ矩形の領域に分離して、各領域の属性（文字部など）を付加する処理を行う。記憶部４０４は、例えば、ハードディスクや光磁気ディスクなどを有し、各種データの処理結果（画像データ、領域分離結果、文字認識結果など）を保存するために利用される。Ｉ／Ｆ部４０５は、例えばＳＣＳＩやＲＳ２３２Ｃなどのインターフェース仕様により動作するインターフェース部で、コンピュータ４０６との間でのデータ伝送を制御している。コンピュータ４０６は、Ｉ／Ｆ部４０５を介して情報を得たり、記憶部４０４に記憶されたデータを獲得して利用する。
【００２５】
次に、本実施の形態における文書方向自動判別・補正、および文字認識処理の概要を図５のフローチャートに従って説明する。
【００２６】
ステップＳ１で入力された画像データ（多値画像）は、ステップＳ２で、領域分離部４０３により、文字部、図形部、自然画部、表部などの属性別に矩形の領域に分離される。ここで実際には、矩形で囲まれた領域情報を作成する。
【００２７】
次にステップＳ３に進み、各属性より文字領域の矩形情報を抽出する。ここで文字額域とは、文章部、タイトル部、表中の文字、図のキャプション部などである。
【００２８】
例えば、図６（ａ）（ｃ）に示す文書の場合は、それぞれ図６（ｂ）（ｄ）に示したような文字領域の矩形情報が抽出される。そして、これらの中の数ブロックを用いて、そこに含まれる文字を回転角０°で認識する。次にステップＳ５に進み、その文字を９０°回転させ、ステップＳ６で、０°、９０°、１８０°および２７０°の４つの回転方向のそれぞれに対して文字認識を行ったかを調べ、これら４つの回転方向での文字認識が終了するまでステップＳ４〜Ｓ６を繰返し実行する。
【００２９】
こうしてこれら４つの方向での文字認識結果が得られるとステップＳ７に進み、図８（ｃ）に示すような各回転角における自信度に基づいて、その文字の方向を決定する。こうしてステップＳ８に進み、最終的に文字認識された回転角に従って文字列の方向が決定され、更に、これに対応する領域分離情報と文字認識情報が得られる。
【００３０】
ステップＳ５の画像回転処理における一つの方法としては、全回転画俊データに対して再び領域分離処理を行う方法、もう一つは、アドレス変換を領域分離結果にかける方法がある。この領域分離処理は、一般に画像が正方向を想定しているため、初期の段階で行った領域分離処理と回転画像データに対して行った領域分離処理との結果が異なる場合が多い。それゆえ、前者の方法を取るのが望ましい。
【００３１】
この処理結果は、Ｉ／Ｆ部４０５を介してコンピュータ４０６に伝送され、コンピュータ４０６のファイリングのアプリケーション・プログラム等で利用される。また、コントローラ１３９のＣＰＵ２０１へ各画像毎に送信される。
【００３２】
次に、文字認識処理を用いた文書方向判別の手法について説明する。
【００３３】
［領域分離処理］
文書画像データにおける黒画素を検出してゆき、輪郭追跡、またはラベリング方式により、黒画素ブロックの矩形枠を作成する。次に、その矩形の中の黒画素密度、隣接矩形ブロックの有無、矩形の縦横比率などを判断基準にして、文字領域（タイトル、本文、キャプションなど）、図形領域、自然画領域、表領域などを判別する。この判別結果により文字額域の矩形領域が判別される。
【００３４】
［文字認識処理］
文字認識処理の一つの方法として、特徴ベクトル抽出、比較方式がある。例えば図７（ａ）に示したように、「本」という文字を含む文字領域が判別されたとする。第一段階として、この文字領域について文字切り出し処理を行う（図７（ｂ）参照）。これは、一つの文字の矩形を切り出す処理で、黒画素連続性の状態を検出していければ求められる。
【００３５】
第二段階として、一文字をｍ×ｎ（例えば６４×６４）の画素ブロックに切り出す（図７（ｃ）参照）。そして、その中から３×３画素のウインドウを用いて、黒画素の分布方向を抽出する（方向ベクトル情報：図７（ｄ）参照）。
【００３６】
なお、図７（ｄ）は、方向ベクトル情報の一部を例示したものであり、上記３×３画素のウインドウをずらしてゆき、方向ベクトル情報を数十個得る。このベクトル情報が文字の特徴となる。このベクトル情報（特徴ベクトル）と予め記憶されている文字認識辞書の内容とを比較して、特徴ベクトルに特徴が一番近い文字から順番に文字を抽出する。この場合、特徴ベクトルに特徴が近い順番に第１候補、第２候補、…となる。この特徴ベクトルに対する特徴の近さが、その文字に対する距離の近さ、即ち、文字認識の自信度（精度、尤度）を示す数値になる。
【００３７】
［文字方向判別処理］
このようにして文字認識の自信度が求められるが、その自信度に基づいた文字方向判別処理を、図８に示した「本発明の名称」という文字列の場合を用いて説明する。
【００３８】
図８（ａ）は正方向の文字列を示し、図８（ｂ）は、その文字列を２７０°回転した文字列である。ここで文字「本」に注目すると、文字方向を判別する場合は、図８（ｃ）に示したように、１つの文字「本」について０°，９０°，１８０°，２７０°の４方向から文字認識を行ってみる。これら回転角度のそれぞれは、文字矩形の領域の読み出し方を変更すればよく、特に原稿を回転する必要はない。
【００３９】
各回転角度における文字認識結果は、図８（ｃ）に示したように、互いに異なっている。なお、図８（ｃ）には説明用の仮の文字認識結果および自信度が示されており、現実にこの通りになるとは限らない。
【００４０】
図８（ｃ）において、正方向（０°）から文字認識を行った場合は、「本」と正しく認識され、自信度も“０．９０”と高い値となる。９０°回転した方向から文字認識を行った場合は、「町」と誤認識され、自信度も“０．４０”と低下する。このように誤認識が発生し、自信度も低下するのは、回転した方向から見た場合の特徴ベクトルに基づいて文字認識を行ったからである。同様に１８０°，２７０°回転した方向から文字認識を行った場合も誤認識が発生し、自信度も低下する。尚、文字認識の方向別の自信度は、複雑な文字であればあるほど、その差が顕著に現れてくる。
【００４１】
図８（ｃ）の結果は、正方向の場合に自信度が１番高いため、文書は正方向に向いている可能性が高いと判断される。このような文字方向の判別精度を向上させるため、同一ブロック内の複数の文字について、同様に４方向から文字認識を行ってみる。更に、１つのブロックだけで文字方向を判別した場合、特殊な文字列について文字方向を誤って判別するおそれがあるので、複数のブロックについて同様の文字認識を行ってみる。そして、各ブロックについて、当該ブロック内の各認識対象文字の４方向別の自信度の平均値を求め、さらに、各ブロックでの４方向別の自信度の平均値に対する平均値を求め、この平均値が最も高い方向を文字方向（文書方向）として認定する。
【００４２】
このように、１文字だけの自信度で文字方向を認定することなく、同一ブロック内の複数文字、更には同一ブロック内の複数文字の自信度で文字方向を認定することにより、文字（文書）方向を高精度に判別することが可能となる。ただし、１文字だけの自信度で文字方向を判別したり、あるいは同一ブロック内の複数文字の自信度で文字方向を判別しても、従来よりも高精度に文字方向を判別できる。
【００４３】
次に、文字方向（文書方向）の判別結果が正方向以外の方向であるときは、文字方向が正方向になるように原画像を回転する。この回転は、図４のＣＰＵ／メモリ４０１を用いて公知の技術により簡単に行うことが可能であり、その説明を省略する。
【００４４】
以上のような処理により、図９（Ａ）に示した原画像データ、図９（Ｂ）に示した領域分離データ、図９（Ｃ）に示した文字認識情報を得ることができる。これらの情報は前述のようにコントローラ１３９のＣＰＵ２０１に送られ、各種画像処理、各種制御に使用する。
【００４５】
ここで領域分離データのデータ形式は図９（Ｂ）に示したように、領域分離データである旨を示す「ｈｅａｄｅｒ」と、分離した領域の識別子「ｒｅｃｔ１」〜「ｒｅｃｔ４」により構成され、これら識別子で区別された各領域（ブロック）の情報は、ブロックの番号「ｏｒｄｅｒ」、ブロックの属性（文字部、図形部など）「ａｔｔ」、ブロックの左上の座標値「ｘ１」および「ｙ１」、ブロックの幅「ｗ」、ブロックの高さ「ｈ」、縦書き又は横書きを示す「ｄｉｒｅｃｔｉｏｎ」、当該ブロックのＩＤである「ｓｅｌｆＩＤ」、当該ブロックを包含する親ブロックのＩＤである「ｕｐｐｅｒＩＤ」、親ブロックの属性「ｕｐｐｅｒＡｔｔ」、予備領域「ｒｅｓｅｒｖｅ」により構成されている。
【００４６】
また、文字認識情報は、図９（Ｃ）に示したように、文字認識情報である旨を示す「ｈｅａｄｅｒ」を有し、例えば「本」等の単一の文字に関する文字認識情報「ＯＣＲ１」等と、当該文字が含まれているブロックを示す上記「ｒｅｃｔ１」等に相当する「ｂｌｋ ｈｅａｄｅｒ」との組み合わせ情報により構成されている。
【００４７】
そして、「ＯＣＲ１」等の各文字認識情報は、文字であるか或いは空白であるかを示す「ｔｙｐｅ」、前述の文字認識の自信度に従った第１〜第５候補文字「文字１」〜「文字５」、当該文字の切り出し位置「ｘ１」および「ｙ１」、当該文字の幅「ｗ」、当該文字の高さ「ｈ」、予備領域「ｒｅｓｅｒｖｅ」により構成されている。
【００４８】
次に、図１０及び図１１のフローチャートを参照して本発明の実施の形態の画像形成装置の動作について説明する。
【００４９】
図１０は、本実施の形態の複写機における４イン１（４枚の原稿を縮小して１枚の用紙にコピーする）の複写処理を示すフローチャートである。尚、この４イン１の処理による複写の一例を図１４（Ａ），（Ｂ）に示す。
【００５０】
まずステップＳ１１で、文書方向の判別結果に対応してセットされるフラグＡ，Ｂ，Ｃ，Ｄをそれぞれ“０”にクリアする。次にステップＳ１２に進み、操作パネル１４０のコピーキーがオンされたかどうかを判断し、そうであればステップＳ１３に進み、自動原稿送り装置１４２にセットされた原稿の枚数をカウントする。次にステップＳ１４で、コピーモードが４イン１か、それ以外かを判断する。４イン１が指示されていないときはステップＳ１５に進み、その指示された処理に対応するコピー処理を実行する。
【００５１】
一方、４イン１のコピー処理が指示されたときはステップＳ１６に進み、自動原稿送り装置１４２にセットされた原稿を順次原稿ガラス１０１上に送って、その画像を読み取り、図５のフローチャートで示した処理に従って、その原稿画像の向きを判定する。このステップＳ１６で判別された文書方向に従って、例えば方向が“０°”であればステップＳ１７からステップＳ１８に進んでフラグＡを“１”にセットする。また方向が“９０°”であればステップＳ１９からステップＳ２０に進んでフラグＢを“１”にセットする。また方向が“１８０°”であればステップＳ２１からステップＳ２２に進み、フラグＣを“１”に、更に、方向が“２７０°”であればステップＳ２３からステップＳ２４に進み、フラグＤを“１”にセットする。
【００５２】
こうしてＡ乃至ＤのいずれかのフラグがセットされるとステップＳ２５に進み、その原稿向きを判定した原稿が１枚目の原稿かどうかを判断し、１枚目であればステップＳ１６に戻り、今度は２枚目の原稿を読み取って、その文書方向を判定し、その判定した結果に従ってステップＳ１７〜ステップＳ２４のいずれかにおいて、２枚目の原稿に対応するフラグをセットする。こうして２枚目の原稿画像の向きが判定されるとステップＳ２６に進み、１枚目の原稿と２枚目の原稿の向きとが同じかどうかを調べ、そうであればステップＳ２７に、そうでないときはステップＳ３４に進む。
【００５３】
１枚目の原稿と２枚目の原稿の向きが同じときはステップＳ２７で、後続の原稿の向きも同じであると類推して後続の原稿向きを、１枚目（２枚目）の原稿と同じ向きに決定する。そしてステップＳ２８に進み、その原稿が最終の原稿かどうかをみる。最終原稿であればステップＳ３４に進み、それまで読み取っている４枚以下の原稿を縮小し、指示されたレイアウト及び原稿向きに従って印刷するイメージデータを作成する。そしてステップＳ３５に進み、そのイメージデータに従って印刷（コピー）を行って処理を終了する。
【００５４】
一方、ステップＳ２８で最終の原稿でないときはステップＳ２９に進み、４ｎ枚目（最初はｎ＝１）かどうかをみる。そうでないときはステップＳ３０に進み、次の原稿画像を読み取ってステップＳ２８に進む。このステップＳ２８で読み取られた原稿の向きは判定されず、ステップＳ２７で決定された原稿向きであるとして処理される。
【００５５】
またステップＳ２９で、４ｎ枚目の原稿のときはステップＳ３１に進み、前述のステップＳ３４と同様に、指示されたレイアウト及び原稿向きに従って印刷するイメージデータを作成する。そしてステップＳ３２に進み、そのイメージデータに従って印刷（コピー）を行う。このときに印刷される画像を１枚の用紙に４枚の原稿画像が縮小されたものとなる。尚、このときカウンタｎの値を＋１する。そしてステップＳ３３で、最終の原稿まで読み取ってコピー処理を完了したかどうかを調べ、最終原稿であれば処理を終了し、そうでないときはステップＳ２８に進み、それ以降は原稿の向きを判定することなく４イン１の縮小コピーを行う。
【００５６】
またステップＳ２６で、１枚目の原稿と２枚目の原稿とが同じ向きでないときはステップＳ３６（図１１）に進み、最終原稿かどうかを判断し、そうであればステップＳ４３、Ｓ４４で、前述のステップＳ３４、Ｓ３５と同じコピー処理を行う。
【００５７】
ステップＳ３６で最終原稿でないときはステップＳ３７に進み、４ｎ枚目の原稿かどうかを調べ、そうでないときはステップＳ３８に進み、前述のステップＳ１６〜Ｓ２４と同様にして、次の原稿の向きを判断して、その原稿の向きに対応するフラグをオンにセットする。そしてステップＳ３７で４ｎ枚目になるとステップＳ４０に進み、各原稿の判定された向きに基づいて、画像の縮小及びレイアウト等の画像処理を行う。こうして印刷データが作成されるとステップＳ４１に進み、コピー処理を実行する（カウンタｎ＝ｎ＋１）。そしてステップＳ４２に進み、最終原稿（ｍ枚目）までのコピー処理が完了したかどうかを調べ、そうであれば処理を終了し、そうでないときはステップＳ１６に進み、前述したステップＳ１６〜Ｓ２４での原稿方向の判断を行う。この場合（１枚目の原稿と２枚目の原稿の向きが異なる場合）は、この文書方向（原稿向き）の判断処理は最終原稿のコピー処理が完了するまで繰返し行われることになる。
【００５８】
以上説明したように本実施の形態１によれば、複数枚の原稿があるとき１枚目の原稿と２枚目の原稿とが同じ向きかどうかを調べ、同じであれば後続の複数枚の原稿の向きも同様であると推定して、後続の原稿の向きを決定する。これにより、原稿の向きの判定処理に要する時間を短縮できる。
【００５９】
［実施の形態２］
次に本発明の実施の形態２を説明する。この実施の形態２では、前述の実施の形態１では、原稿全体の１枚目と２枚目の原稿だけで後続の全ての原稿を向きを決定していたのに対し、例えば４イン１のコピーの場合には、４枚毎に１枚目の原稿と２枚目の原稿との向きを判断し、同じであれば後続の２枚の原稿向きが同じであると判断して、４枚の原稿の内の３枚目と４枚目の原稿の向きの判定処理を省略するものである。これは例えばＮイン１の場合も同様にして、最初の１枚目と２枚目の原稿の向きを判断し、これら２枚の原稿の向きが同じであれば後続の（Ｎ−２）枚の原稿の向きの判定処理を省略することができるようにもできる。
【００６０】
図１２及び図１３はこの実施の形態２の処理を示すフローチャートである。
【００６１】
図１２のステップＳ５１〜Ｓ５７の処理は、前述の図１０のステップＳ１１〜２４の処理に対応しているので、ここではその説明を省略する。ステップＳ５８では、４イン１のコピーの場合、４枚組の内の１枚目の原稿かどうかを調べ、そうであるときはステップＳ５６に戻り前述の処理を実行する。また１枚目の原稿でないときはステップＳ５９に進み、４枚組の原稿のうち、１枚目と２枚目の原稿の向きが同じかどうかを調べ、同じであればステップＳ６０に進み、後続の３枚目及び４枚目の原稿の向きも同じであると推定して原稿向きを１枚目の原稿と同じ向きに決定する。そしてステップＳ６１に進み、最終原稿かどうかを調べ、層であればステップＳ６７に進み、前述のステップＳ３４〜Ｓ３５と同様にしてコピー処理を実行する。
【００６２】
一方ステップＳ６１で最終原稿でないときはステップＳ６２に進み、４ｎ枚（最初はｎ＝１）目の原稿かどうかを調べ、そうでないときはステップＳ６３に進み、次の原稿を読み取ってステップＳ６１に戻る。こうしてステップＳ６２で４ｎ枚目の原稿になるとステップＳ６４に進み、ステップＳ６０で決定された原稿向きと４枚分の原稿画像情報に基づいて必要な画像処理を行い、次にステップＳ６５に進み、印刷イメージを作成して複写処理を実行する。このときカウンタｎの値を＋１する。そしてステップＳ６６に進み、最終原稿かどうかを調べ、そうでないときはステップＳ５６に進み、前述した原稿向きの判断処理及びフラグセットなどの処理を行う。
【００６３】
一方ステップＳ５９で４枚組の原稿の１枚目と２枚目の原稿の向きが同じでないときはステップＳ６９（図１３）に進み、最終原稿かどうかをみる。最終原稿であるときはステップＳ６７に進み、前述した処理を実行する。またステップＳ６９で最終原稿でないときはステップＳ７０に進み、４ｎ枚目の原稿かどうかを調べ、そうでないときはステップＳ７１に進み、原稿向きの判定処理及びフラグセットを行う。４ｎ枚目の原稿のときはステップＳ６４に進み、前述した画像縮小及び原稿向きに応じた処理を行う。
【００６４】
このように本実施の形態２によれば、例えば４イン１のコピー処理を行う場合には、１枚目の原稿向きと２枚目の原稿向きとが同じかどうかを調べ、同じであれば後続の３枚目及び４枚目の原稿向きも同じであるとして複写処理を実行する。
【００６５】
尚、図１２及び図１３において、ステップＳ６２及びステップＳ７０において、Ｎ×ｎ枚目かどうかを判断し、ステップＳ６４及びステップＳ６７において、Ｎイン１の複写処理を行うことにより、Ｎイン１のコピー処理を行う場合にも適用することができる。
【００６６】
また前述の図１０のステップＳ２６、或いは図１２において１枚目と２枚目の原稿の向きに注目したが、例えば同じ向きの原稿が連続することにより、後続の原稿向きを推定するようにもできる。
【００６７】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００６８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。
【００６９】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００７０】
プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００７１】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７２】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれる。
【００７３】
以上説明したように本実施の形態によれば、例えば４枚の原稿を読み取り１枚の複写用紙に縮小コピーする（４イン１コピー）際、方向の異なる原稿の混在や、両面複写との併用にも対応した精度の高い複写が行えるとともに、複写時間を短縮することができる。
【００７４】
【発明の効果】
以上説明したように本発明によれば、１枚目と２枚目の原稿の向きを判断し、これら１枚目と２枚目の原稿画像の向きが同一の場合には後続の原稿画像の向きも同じであると推定して原稿向きの判定処理を省略し、画像処理に要する時間を短縮できるという効果がある。
【００７５】
また本発明によれば、例えば４イン１コピー等のように、複数の原稿を縮小して１枚の用紙に印刷する場合には、各４枚単位毎に１枚目と２枚目の原稿画像の向きを判断し、それら２枚の原稿画像の向きが同じ場合には後続の３枚目と４枚目の原稿画像の向きの判断を省略して、画像処理に要する時間を短縮できるという効果がある。
【００７６】
また本発明によれば、複数の原稿のうち、連続して同じ向きの原稿があるときは、後続の原稿の向きも同じ向きであると判断して、後続の原稿に対する原稿向きの判定処理を省略し、画像処理に要する時間を短縮できる。
【００７７】
【図面の簡単な説明】
【図１】本発明の実施の形態を示す画像形成装置の構成を説明する断面図である。
【図２】本実施の形態の画像形成装置のコントローラの構成を示すブロック図である。
【図３】本実施の形態の画像形成装置のコントローラの画像処理部の構成を示すブロック図である。
【図４】図３における文書方向判別部の構成を示すブロック図である。
【図５】本実施の形態における文書方向の自動判別及び文字認識処理を示すフローチャートである。
【図６】本実施の形態の文書方向自動判別における領域分離状態を説明する図である。
【図７】文字認識処理の処理過程を説明するための説明図である。
【図８】本実施の形態の文書（文字）方向自動判別処理を説明するための説明図である。
【図９】領域分離および文字認識情報のデータ形式を説明する図である。
【図１０】本実施の形態１の画像形成装置におけるＮイン１複写（４イン１）モードでの処理を示すフローチャートである。
【図１１】本実施の形態１の画像形成装置におけるＮイン１複写（４イン１）モードでの処理を示すフローチャートである。
【図１２】本実施の形態２の画像形成装置におけるＮイン１複写（４イン１）モードでの処理を示すフローチャートである。
【図１３】本実施の形態２の画像形成装置におけるＮイン１複写（４イン１）モードでの処理を示すフローチャートである。
【図１４】４イン１のコピー例を示す図である。
【図１】
0003684050.tif 000002
【図２】
0003684050.tif 000003
【図３】
0003684050.tif 000004
【図４】
0003684050.tif 000005
【図５】
0003684050.tif 000006
【図６】
0003684050.tif 000007
【図７】
0003684050.tif 000008
【図８】
0003684050.tif 000009
【図９】
0003684050.tif 000010
【図１０】
0003684050.tif 000011
【図１１】
0003684050.tif 000012
【図１２】
0003684050.tif 000013
【図１３】
0003684050.tif 000014
【図１４】
0003684050.tif 000015