(57)【特許請求の範囲】
【請求項１】
入力画像から各文字領域を抽出し、当該抽出された各文字領域に対して文字認識を行って、当該各文字領域の方向を判定することにより、前記入力画像の方向判定結果を出力する処理手段と、
前記処理手段で出力された方向判定結果を用いて、前記入力画像の複写処理を制御する制御手段とを有し、
前記入力画像の方向の判定が所定時間内に終了しない場合、前記処理手段はそれまでに得られた中間方向判定結果を出力し、前記制御手段は前記所定時間内に入力画像の方向の判定が終了しない場合に関する予め設定されたユーザの指示に基づき、前記出力手段で出力された中間方向判定結果を用いて前記入力画像の複写処理を制御することを特徴とする画像処理装置。
【請求項２】
前記制御手段は、前記入力画像の方向の判定が前記所定時間内に終了せず、前記ユーザの指示が前記複写処理の継続を示す場合、前記入力画像の複写処理を継続するように制御することを特徴とする請求項1に記載された画像処理装置。
【請求項３】
前記制御手段は、前記入力画像の方向の判定が前記所定時間内に終了せず、前記ユーザの指示が前記複写処理の中止を示す場合、前記入力画像の複写処理を中止するように制御することを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項４】
入力画像から各文字領域を抽出して、当該抽出された各文字領域に対して文字認識を行って、当該各文字領域の方向を判定することにより、前記入力画像の方向判定結果を出力する処理ステップと、
前記処理ステップで出力された方向判定結果を用いて、前記入力画像の複写処理を制御する制御ステップとを有し、
前記入力画像の方向の判定が所定時間内に終了しない場合、前記処理ステップはそれまでに得られた中間方向判定結果を出力し、前記制御ステップは、前記所定時間内に入力画像の方向の判定が終了しない場合に関する予め設定されたユーザの指示に基づき、前記処理ステップで出力された中間方向判定結果を用いて前記入力画像の複写処理を制御することを特徴とする画像処理方法。
【請求項５】
前記制御ステップは、前記入力画像の方向の判定が前記所定時間内に終了せず、前記ユーザの指示が前記複写処理の継続を示す場合、前記入力画像の複写処理を継続するように制御することを特徴とする請求項4に記載された画像処理方法。
【請求項６】
前記制御ステップは、前記入力画像の方向の判定が前記所定時間内に終了せず、前記ユーザの指示が前記複写処理の中止を示す場合、前記入力画像の複写処理を中止するように制御することを特徴とする請求項4または請求項5に記載された画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像処理装置およびその方法に関し、例えば、画像の方向を判定する画像処理に関する。
【０００２】
【従来の技術】
近年、複写機のインテリジェント化が進み、複数の原稿を一枚にレイアウトしたり、両面コピーしたりなど、いろいろな機能が備わるとともに、ADF(Automatic Document Feeder)の充実により自動化、高速化も進んでいる。
【０００３】
このような高機能な複写機を効率よく利用するためには、その複写機が原稿の向きを判定してくれることが重要になる。例えば、ADFを利用し、図1に示すように、4in1という画像処理機能により20枚の原稿を四枚ずつレイアウトして、五枚のプリントアウトにして出力する場合、原稿の向きが自動的に判定できれば、原稿を上向きにそろえて置いたり、縦書き、横書きを考慮して並べ替えたりするユーザの手間を省くことができる。
【０００４】
原稿の向きを判定する方法には、大きく分けて、レイアウトを利用する方法と、OCR（光学的文字認識）を利用する方法とある。
【０００５】
【発明が解決しようとする課題】
しかし、上述した技術においては、次のような問題点がある。つまり、レイアウトを利用して原稿の向きを判定する方法は、簡単なビジネス文書ならば問題ないが、凝ったデザインの複雑なレイアウトの原稿の方向を判定することはできない。
【０００６】
一方、OCRを利用して原稿の向きを判定する方法は、原稿画像を二値化した画像から文字領域を抽出する文字抽出処理とOCR処理に時間がかかり、複写機の複写スピードに合ったリアルタイム処理が難しく、複写機の複写スピードのボトルネックになってしまう欠点がある。
【０００７】
本発明は、複写処理のスピードの低下を防ぐことを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【０００９】
本発明にかかる画像処理装置は、入力画像から各文字領域を抽出し、当該抽出された各文字領域に対して文字認識を行って、当該各文字領域の方向を判定することにより、前記入力画像の方向判定結果を出力する処理手段と、前記処理手段で出力された方向判定結果を用いて、前記入力画像の複写処理を制御する制御手段とを有し、前記入力画像の方向の判定が所定時間内に終了しない場合、前記処理手段はそれまでに得られた中間方向判定結果を出力し、前記制御手段は前記所定時間内に入力画像の方向の判定が終了しない場合に関する予め設定されたユーザの指示に基づき、前記出力手段で出力された中間方向判定結果を用いて前記入力画像の複写処理を制御することを特徴とする。
【００１０】
本発明にかかる画像処理方法は、入力画像から各文字領域を抽出して、当該抽出された各文字領域に対して文字認識を行って、当該各文字領域の方向を判定することにより、前記入力画像の方向判定結果を出力する処理ステップと、前記処理ステップで出力された方向判定結果を用いて、前記入力画像の複写処理を制御する制御ステップとを有し、前記入力画像の方向の判定が所定時間内に終了しない場合、前記処理ステップはそれまでに得られた中間方向判定結果を出力し、前記制御ステップは、前記所定時間内に入力画像の方向の判定が終了しない場合に関する予め設定されたユーザの指示に基づき、前記処理ステップで出力された中間方向判定結果を用いて前記入力画像の複写処理を制御することを特徴とする。
【００１１】
【発明の実施の形態】
以下、本発明にかかる一実施形態の画像処理装置を図面を参照して詳細に説明する。
【００１２】
【第１実施形態】
図2は本実施形態の方向判定装置の構成例を示すブロック図で、機能拡張カードとして提供され、複写機の機能拡張スロットに挿入することにより、その複写機に原稿の向きを認識させる機能を追加することができる。
【００１３】
同図において、複写機201は、画像メモリおよび各種の画像処理機能をもち、2in1（一枚に原稿二枚分の画像を複写する処理）、4in1、回転、鏡像などの画像処理が可能である。
【００１４】
方向判定カード202は、複写機201から8ビットの多値画像データ、クロックCLK、主走査方向同期信号HSYNC、主走査方向イネーブル信号VE、ページイネーブル信号PE、3ビットのアドレスADDR、および、8ビットのデータDATAなどの信号を受取ることができる。そして、原稿の向きの判定結果として、方向（0度，90度，180度および270度）を示す2ビット信号、組方向（縦書および横書）を示す1ビット信号および自信度を示す1ビット信号を返す。なお、これら信号の種類や、そのビット数は一例であり、これに限られるものではない。
【００１５】
上記の信号ADDRとDATAに関して、上記のビット幅であれば、八種類のデータを複写機201から受取ることができる。八種類のデータとしては、例えば、画像サイズ、画像横サイズ、画像縦サイズ、画像横ズーム、画像縦ズームなどが考えられるが、以下の説明においては、信号ADDRはなしとし、信号DATAには処理限定時間TLIMITを示す8ビットが送られるとする。つまり、方向判定カード202は、次頁の原稿サイズに適した処理限定時間(TLIMIT)を、信号PEの立ち下がりで受取ることにする。
【００１６】
二値化回路2021は、複写機201から受取った多値画像データを二値化する。二値メモリ2022は、二値化回路2021により二値化された画像データを記憶する。文字検出回路2023は、複写機201から受取った多値画像データから文字領域を検出し、その文字領域を表す座標データを出力する。文字領域座標メモリ2024は、文字検出回路2023により出力された文字領域を表す座標データを記憶する。なお、複写機201から方向判定カード202へ渡される画像データは、複写機201により二値化された画像データであっても構わない。
【００１７】
CPU2025は、RAM2026をワークメモリに使用し、ROM2027に予め格納されたプログラムに従い、文字領域座標メモリ2024から座標データを読出し、その座標データに従って、二値メモリ2022から二値画像データを読出すなどの各種処理を実行する。つまり、CPU2025は、ROM2027に格納された文字認識プログラムにより方向判定処理を行い、方向判定を終了した場合、または、後述するタイマ2028からの割込信号により判定処理を終了した場合、方向判定の結果を出力する。
【００１８】
タイマ2028は、ページイネーブル信号(PE)の立ち下がりにおいて、複写機201から処理限定時間(TLIMIT)を受取り、例えば、TLIMITをカウントダウンすることによりTLIMITにより指定された時間の経過を判定し、指定された時間が経過するとCPU2025へ割込信号を送る。
【００１９】
図3は方向判定カード202の第二の構成例を示すブロック図で、方向判定にかかる処理をソフトウェアで行う場合の構成である。方向判定ソフトウェアとしては、文字領域判定を行い、OCRを使用して方向判定するものや、レイアウト解析を行い方向判定するものなどを利用することができる。
【００２０】
図4は方向判定カード202の第三の構成例を示すブロック図で、方向判定にかかる処理をハードウェア（方向判定回路2029）で行う場合の構成である。ハードウェアの処理としても、ソフトウェアの場合と同様に、文字領域判定を行い、OCRを使用して方向判定するものや、レイアウト解析を行い方向判定するものなどを利用することができる。
【００２１】
勿論、図3および図4に示す構成において、方向判定カード202に二値化回路2021をもたせ、複写機201から入力された多値画像データを二値化させることもできる。また、方向判定カード202に多値のバンドメモリ（あるいはページメモリ）をもたせ、ソフトウェアにより、複写機201から入力された多値画像データから方向判定を行ってもよい。
【００２２】
図5は方向判定カード202の詳細な構成例を示すブロック図である。
【００２３】
同図において、符号Aで示す矩形に囲まれた部分はワンチップで構成され、そのワンチップには、少なくとも、図2に示した二値化回路2021、文字検出回路2023および文字座標領域メモリ2024が含まれている。
【００２４】
閾値決定回路101は、入力多値画素データから二値化閾値およびエッジを検出するための差閾値を決定する。この二値化閾値は、二値化回路2021の二値化処理に利用される。エッジ検出回路102は、クロックCLKに同期し、差閾値を用いて入力多値画素データから高周波検出処理を行う。エッジ座標記憶部103は、エッジ検出回路102により検出されたエッジの座標データを記憶する。領域情報記憶部104は、既に検出されたエッジ座標を結合した結果作成される領域情報を記憶する。
【００２５】
図6は結合処理回路105の処理を説明するための図で、結合処理回路105は、エッジ座標記憶部103に記憶された座標データ701〜704および712と、領域情報記憶部104に記憶された座標データ705〜708および713とを比較して、結合すべきと判断した座標データを結合した後、結合した座標データ（符号709〜715の太線で示す領域）を領域情報記憶部104へ格納する。
【００２６】
つまり、図5に符号Aで示す構成（文字検出回路2023および二値化回路2021）により、入力された画像データは二値化されて二値メモリ2022へ格納されるとともに、その文字領域の座標データが文字領域座標メモリ2024へ格納される。
【００２７】
例えば、図7Aに示すような文書の画像データに対して文字検出処理を行うと、図7Bに示すような矩形情報が得られる。そして、CPU2025は、文字領域座標メモリ2024に格納されている座標データに従って、二値メモリ2022から画像データを読出し、OCR処理を行う。CPU2025は、二値メモリ2025から読出した各文字領域の二値画像データに対して四方向のOCR処理を行い、ROM2027などに辞書として格納された文字情報に一番近い結果が得られる方向を、それら文字領域の向きとして、判定結果を出力する。
【００２８】
図8は本システムのタイミングチャート例を示す図で、符号801はイメージスキャナ(CCD)からの画像入力を、符号802はスキャナから入力された多値画像データの二値値化処理を、符号803は文字抽出処理を、符号804はOCR処理を、それぞれ示す。つまり、スキャナからの入力801に同期して、リアルタイムに文字抽出処理803を行い、抽出された文字領域に四方向のOCR処理804を行い、文書画像の向き、および、縦書き横書きなどを識別する。
【００２９】
ここで、ROM2027に格納されたプログラムは、CPU2025のOCRによる方向判定処理が、所定時間(TLIMIT)内に終了することを目指して設計されている。しかし、所定時間内に方向判定処理が終了しなかった（タイマ2028から割込まれた）場合、CPU2025は、それまでのに得られた方向および組方向（中間結果）と、自信度‘0’（自信なしの意味）とからなる判定結果を返す。なお、TLIMITは、複写機201の原稿スキャン動作を停止させないように設定されるものである。
【００３０】
複写機201は、方向判定カード202から送られてくる判定結果の自信度に応じて、ユーザに設定された指示に従い、実行中の複写処理を制御することができる。例えば、処理を開始する前に、自信度が‘0’の場合は処理を中止するように指示されていれば複写処理を中止し、自信度を無視するように指示されていれば複写処理を継続する。
【００３１】
以上説明したように、本実施形態によれば、OCRを利用して原稿の向きを判定するので、凝ったデザインの複雑なレイアウトの原稿の向きを判定することができ、複写機の複写スピードに合わせてリアルタイムに原稿の向きを判定することができる。そして、もし所定時間内に原稿の向きを判定する処理を終了することができなかった場合は、それまでに得られた判定結果（中間結果）を出力するので、複写スピードを低下させることはない。
【００３２】
また、例えば図3に示した構成により文字抽出処理を行う場合、画像の解像度を低下させることで、例えば図7Aに示した画像から図9に示すような画像を生成して、文字を相互に結合して輪郭線追跡を行い、得られた個々の結合領域の縦横比が大きい場合に文字と判定する方法を用いることもできる。
【００３３】
また、上述した実施形態においては、複写機201に方向判定カード202を挿入する例を説明したが、本発明はこれに限定されるものではなく、イメージスキャナ、プリンタ、コンピュータから構成されるシステムに適用することもでき、その場合、方向判定カード202はコンピュータのスロットに挿入されることになる。あるいは、コンピュータ上で稼働するプログラムによって原稿の向きが判定されることになる。
【００３４】
さらに、イメージスキャナとコンピュータで構成されるシステムにおいて、イメージスキャナにより読込まれた画像の向きを判定し、その判定結果に基づいて、コンピュータに接続されたハードディスクなどの記憶媒体に格納するシステムでもよい。また、コンピュータから入力された画像の向きを判定して、その判定結果に基づいて、プリントアウトを行うプリンタでもよい。
【００３５】
【他の実施形態】
なお、本発明は、複数の機器（例えばホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００３６】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはCPUやMPU）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク，ハードディスク，光ディスク，光磁気ディスク，CD-ROM，CD-R，磁気テープ，不揮発性のメモリカード，ROMなどを用いることができる。
【００３７】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３８】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００３９】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードを格納することになるが、簡単に説明すると、図10のメモリマップ例に示す各モジュールを記憶媒体に格納することになる。すなわち、少なくとも「二値化」「文字領域検出」「文字画像データ読出」および「画像方向判定」の各モジュールのプログラムコードを記憶媒体に格納すればよい。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、複写処理のスピードの低下を防ぐことができる。
【図面の簡単な説明】
【図１】画像処理機能を説明するための図、
【図２】本発明にかかる一実施形態の方向判定装置の構成例を示すブロック図、
【図３】図2に示す方向判定カードの第二の構成例を示すブロック図、
【図４】図2に示す方向判定カードの第三の構成例を示すブロック図、
【図５】図2に示す方向判定カードの詳細な構成例を示すブロック図、
【図６】図5に示す結合処理回路の処理を説明するための図、
【図７Ａ】文字検出処理を説明するための図、
【図７Ｂ】文字検出処理を説明するための図、
【図８】本システムのタイミングチャート例を示す図、
【図９】文字抽出処理の他の方法を説明する図、
【図１０】本発明にかかるプログラムコードを格納した記憶媒体のメモリマップ例を示す図である。
【図１】
0003774502.tif 000002
【図２】
0003774502.tif 000003
【図３】
0003774502.tif 000004
【図４】
0003774502.tif 000005
【図５】
0003774502.tif 000006
【図６】
0003774502.tif 000007
【図７Ａ】
0003774502.tif 000008
【図７Ｂ】
0003774502.tif 000009
【図８】
0003774502.tif 000010
【図９】
0003774502.tif 000011
【図１０】
0003774502.tif 000012