(57)【要約】【課題】  ２値化する前の多値画像データを記憶し続けない画像処理装置で、読み取った画像に含まれる文字の認識率を向上させることを目的とする。【解決手段】  本発明の画像処理装置は原稿の画像を読み取り画像データを生成する読取手段と、前記読取手段が生成した前記画像データに擬似階調表現可能な２値化処理を実行することで２値画像データを生成する第１の２値化手段と、前記２値画像データの文字領域にスムージング処理を実行するスムージング手段と、前記スムージング手段が前記スムージング処理を実行した前記文字領域に単純２値化処理を実行する第２の２値化手段と、前記第２の２値化手段が単純２値化処理を実行した前記文字領域に文字認識処理を実行する文字認識手段とを有することを特徴とする画像処理装置。【選択図】  図４
2020067959.tif 000002
【特許請求の範囲】
【請求項１】
原稿の画像を読み取り画像データを生成する読取手段と、
前記読取手段が生成した前記画像データに擬似階調表現可能な２値化処理を実行することで２値画像データを生成する第１の２値化手段と、
前記２値画像データの文字領域にスムージング処理を実行するスムージング手段と、
前記スムージング手段が前記スムージング処理を実行した前記文字領域に単純２値化処理を実行する第２の２値化手段と、
前記第２の２値化手段が単純２値化処理を実行した前記文字領域に文字認識処理を実行する文字認識手段とを有することを特徴とする画像処理装置。
【請求項２】
前記文字認識手段が、前記第１の２値化手段が生成した前記２値画像データの文字領域に文字認識処理を実行し、結果として得られた第１の文字情報と、
前記文字認識手段が、前記第２の２値化手段が単純２値化処理を実行した文字領域に文字認識処理を実行し、結果として得られた第２の文字情報とが結合された文字情報を記憶する記憶手段をさらに有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第１の２値化手段が生成した前記２値画像データに、前記記憶手段が記憶する前記第１の文字情報と前記第２の文字情報とが結合された文字情報を付与してＰＤＦファイルを生成する生成手段をさらに有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記文字認識手段が、前記第１の２値化手段が生成した前記２値画像データの文字領域に文字認識処理を実行し、結果として得られた第１の文字情報の認識率と、
前記文字認識手段が、前記第２の２値化手段が単純２値化処理を実行した文字領域であって、前記第１の文字情報が得られた前記文字領域と同じ座標の文字領域に文字認識処理を実行し、結果として得られた第２の文字情報の認識率とのうち、認識率の高い方の文字情報を前記生成手段は前記画像データに付与してＰＤＦファイルを生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記文字認識手段が、前記第１の２値化手段が生成した前記２値画像データの文字領域にＯＣＲ処理を実行し、結果として得られた第１の文字情報の認識率が閾値以上であることに従って、前記スムージング手段は前記２値画像データの文字領域にスムージング処理を実行せず、
前記文字認識手段が、前記第１の２値化手段が生成した前記２値画像データの文字領域にＯＣＲ処理を実行し、結果として得られた第１の文字情報の認識率が閾値未満であることに従って、前記スムージング手段は前記２値画像データの文字領域にスムージング処理を実行することを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
前記文字認識手段が前記文字認識処理を実行するか否かの設定を受け付ける受付手段を更に有することを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記擬似階調表現可能な２値化処理とは、誤差拡散法を用いた２値化処理であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項８】
前記擬似階調表現可能な２値化処理とは、ディザ法を用いた２値化処理であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項９】
前記擬似階調表現可能な２値化処理とは、２値スクリーン処理であることを特徴とする請求項１乃至６の何れか１項に記載の画像処理装置。
【請求項１０】
原稿の画像を読み取り画像データを生成する読取ステップと、
前記読取ステップで生成した前記画像データに擬似階調表現可能な２値化処理を実行することで２値画像データを生成する第１の２値化ステップと、
前記２値画像データの文字領域にスムージング処理を実行するスムージングステップと、
前記スムージングステップで前記スムージング処理を実行した前記文字領域に単純２値化処理を実行する第２の２値化ステップと、
前記第２の２値化ステップで単純２値化処理を実行した前記文字領域に文字認識処理を実行する文字認識ステップとを有することを特徴とする画像処理装置の制御方法。
【請求項１１】
請求項１乃至９の何れか１項に記載の画像処理装置の各手段をコンピュータで実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
画像処理装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
従来、原稿を読み取り、生成した画像データ（多値画像データ）に文字認識処理を実行し、画像データに文字コードを付加して、文字列検索可能なＰＤＦ（Ｐｏｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）を生成する画像処理装置がある。ここで、文字認識処理とはＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）処理である。
【０００３】
一般的に知られるＯＣＲ処理は、読み取って生成した多値画像データを２値化した２値画像データに対して文字認識を行う処理である。ここで、画像データの２値化の方法としては、例えば、誤差拡散法が挙げられる。誤差拡散法とは、注目画素の画素値と、ハーフトーン処理後の画素値との誤差を、周辺画素に拡散する方法である。
【０００４】
しかしながら、誤差拡散法やスクリーン処理等の擬似階調表現可能な２値化処理を写真領域にも好適な２値化を用いた場合、入力画像データの全ての文字領域にＯＣＲ処理が可能になるとは限らない。例えば、白の背景上の黒文字に対して誤差拡散を行う場合は、背景画素と文字画素の分離が容易であるが、濃い濃度の背景上の黒文字に対して誤差拡散を行うと、誤差拡散法による２値化によって文字の周りに孤立画素が点在することがある。このような２値画像データは、ＯＣＲ処理には適しておらず、画像データ上の文字が文字として認識されないか、誤認識されてしまう。
【０００５】
特許文献１では、２値画像データの文字領域中に孤立画素が閾値以上存在するか判定し、閾値以上の場合は、２値化する前の多値画像データから、その領域の輝度ヒストグラムを算出し、背景画素と文字画素がするために再２値化を行う方法が記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００３−８９０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、原稿を読み取って、読み取って得られた画像データをラインバッファに記憶し、画像処理する画像処理装置では、上記のような２値画像データをＯＣＲ処理する場合、２値化する前の多値画像データを記憶していない。そのため、特許文献１のような再２値化を行うことができない。つまり２値化する前の多値画像データを記憶し続けずに、擬似階調表現可能な２値化処理を行う画像処理装置においては、ＯＣＲ処理を実行しても画像データに含まれる文字を適切な文字として認識できない場合があり、ＯＣＲ処理の文字の認識率が低下してしまう。
【０００８】
本発明は上記の課題に鑑みてなされたものであり、２値化する前の多値画像データを記憶し続けない画像処理装置で、読み取った画像に含まれる文字の認識率を向上させることを目的とする。
【課題を解決するための手段】
【０００９】
本発明の画像処理装置は、原稿の画像を読み取り画像データを生成する読取手段と、前記読取手段が生成した前記画像データに擬似階調表現可能な２値化処理を実行することで２値画像データを生成する第１の２値化手段と、前記２値画像データの文字領域にスムージング処理を実行するスムージング手段と、前記スムージング手段が前記スムージング処理を実行した前記文字領域に単純２値化処理を実行する第２の２値化手段と、前記第２の２値化手段が単純２値化処理を実行した前記文字領域に文字認識処理を実行する文字認識手段とを有することを特徴とする。
【発明の効果】
【００１０】
２値化する前の多値画像データを記憶し続けない画像処理装置で、読み取った画像に含まれる文字の認識率を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】印刷システムの構成の一例を示す図
【図２】ＭＦＰ１０１のハードウェア構成の一例を示す図
【図３】ＭＦＰ１０１のソフトウェア構成の一例を示す図
【図４】ＭＦＰ１０１がＯＣＲ結果付のＰＤＦファイルを生成する処理の一例を示すフローチャート
【図５】ＭＦＰ１０１がＯＣＲ結果付のＰＤＦファイルを生成する処理の一例を示すフローチャート
【図６】ローパスフィルタの一例を示す図
【図７】ＭＦＰ１０１が生成する画像データの一例を示す図
【図８】操作部２０８に表示されるＯＣＲ設定の画面の一例を示す図
【図９】ＭＦＰ１０１が生成する輝度ヒストグラムの一例を示す図
【図１０】ＭＦＰ１０１が生成するＰＤＦファイルの一例
【発明を実施するための形態】
【００１２】
以下、本発明を実施するための形態について図面を用いて説明する。なお、以下の実施例において示す構成は一例であり本発明は図示された構成に限定されるものではない。
【実施例１】
【００１３】
図１は、印刷システムの構成の一例を示す図である。図１では、図１の印刷システムは、画像形成装置であるＭＦＰ（Ｍｕｌｔｉ  Ｆｕｎｃｔｉｏｎ  Ｐｅｒｉｐｈｅｒａｌ）１０１、ネットワーク１０３を介して接続されている情報処理装置であるクライアントＰＣ１０２から構成される。ネットワーク１０３はＥｔｈｅｒｎｅｔ（登録商標）有線通信を用いたネットワークであっても良いし、無線ＬＡＮ等の無線通信を用いたネットワークであっても良い。
【００１４】
ＭＦＰ１０１は原稿の画像を読み取り、生成した画像データに基づいてＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）ファイル等を生成し、そのＰＤＦファイルを、ネットワーク１０３を介してクライアントＰＣ１０２に送信する。ここで生成するファイルはＰＤＦファイルに限らず、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）ファイルやＴＩＦＦ（Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）ファイル等であってもよい。
【００１５】
本実施例では、データ書式としてＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄｅｒ）結果付のＰＤＦが指定された場合についての説明を行う。ＯＣＲ結果付きのＰＤＦ（ＯＣＲ結果付き）の詳細については後述する。
【００１６】
図２はＭＦＰ１０１のハードウェア構成の一例を示す図である。ＭＦＰ１０１は、ＣＰＵ２０１、ＲＯＭ２０２、ＲＡＭ２０３、ＨＤＤ２０４、プリンタ２０５、スキャナ２０６、ネットワークＩ／Ｆ（Ｉｎｔｅｒ  Ｆａｃｅ）２０７、操作部Ｉ／Ｆ２０８を備える。
【００１７】
また、ＭＦＰ１０１はＲＩＰ（Ｒａｓｔｅｒ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｏｒ）２０９も備える。
【００１８】
ＣＰＵ２０１は、ＭＦＰ１０１を構成する各種ハードウェア２０４〜２０８の制御を行うことで、ＭＦＰ１０１が備える各機能を実現する。なおＣＰＵ２０１はバスラインにより各種ハードウェアに信号を送り、他のハードウェアと相互にデータ通信を行う。
【００１９】
ＲＯＭ２０２は、ＣＰＵ２０１が使用するプログラムや各種データを格納する。ＲＡＭ２０３は、プログラムや、ＣＰＵ２０１が演算に用いるデータを一時的に格納するためのワークメモリである。ＨＤＤ２０４は、各種データや各種プログラム等を記憶する。本実施例のＭＦＰ１０１は補助記憶装置としてＨＤＤを使用することを例として説明するが、補助記憶装置はＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などの不揮発性メモリを用いても良い。
【００２０】
プリンタ２０５は、印刷機能を実現するユニットであって、クライアントＰＣ１０２から送信された印刷ジョブに含まれる画像データに基づいて画像を用紙に印刷する処理を行う。
【００２１】
スキャナ２０６は、スキャン機能を実現するユニットであって、原稿を光学的に読み取り画像データに変換する処理を行う読取手段である。
【００２２】
ＭＦＰ１０１のＣＰＵ２０１は、ＭＦＰ１０１内の制御プログラムに従ってＭＦＰ１０１の動作を制御する。より詳細には、ＭＦＰ１０１の制御を行うオペレーティングシステム（ＯＳ）と、ハードウェアインタフェースを制御するためのドライバプログラムをＣＰＵ２０１が実行する。そしてＯＳ上に配置されたアプリケーションプログラムらが相互に動作することにより、ユーザの所望する機能の動作、制御が行われる。これらのＯＳや各種プログラムはＲＯＭ２０２に記憶されており、ＲＯＭ２０２からＲＡＭ２０３に読み出されることで実行される。
【００２３】
ＭＦＰ１０１のネットワークＩ／Ｆ２０７は有線接続用のＬＡＮ＿Ｉ／Ｆであってもよいし、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）−ＬＡＮアダプタで接続されてもよい。なお、ネットワークＩ／Ｆ２０７は、無線接続用のＬＡＮ＿Ｉ／Ｆであってもよい。
【００２４】
ＭＦＰ１０１のネットワークＩ／Ｆ２０７はネットワーク１０３を介してクライアンＰＣ１０２に接続されている。
【００２５】
操作部２０８は、ＭＦＰ１０１を利用するユーザがプリンタ２０５、スキャナ２０６などを利用するためのユーザインタフェースであり、例えばタッチパネルとして操作・入力を受け付ける受付手段である。また、操作部２０８はＭＦＰ１０１の情報を表示する表示部としても使用することができる。なお、本実施例のＭＦＰ１０１は操作装置、表示装置が外部に接続されていてもよい。
【００２６】
ＲＩＰ２０９はページ記述言語（Ｐａｇｅ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｌａｎｇｕａｇｅ：ＰＤＬ）をラスタイメージに展開するラスタライズ処理を行うためのハードウェアモジュールである。なお、本実施例ではＲＩＰ２０９がハードウェアとして組み込まれている例を説明するが、ソフトウェアとしてＲＯＭ２０２に格納されていてもよい。
【００２７】
図３はＭＦＰ１０１のソフトウェア構成の一例を示す図である。各ソフトウェアはＣＰＵ２０１がＲＯＭ２０２に格納されているプログラムを実行することにより、機能するように構成されてもよいし、その一部または全部をＡＳＩＣや電子回路等のハードウェアで構成するようにしてもよい。
【００２８】
ＣＰＵ２０１がスキャンプログラム３０１を実行することで、スキャナ２０６を制御して、原稿を読み取って画像データを生成するスキャン処理を行う。
【００２９】
ＣＰＵ２０１がプリントプログラム３０２を実行することで、プリンタ２０５、ＲＩＰ２０９を制御し、ネットワークＩ／Ｆ２０７を介して受信した印刷ジョブをＨＤＤ２０４に格納し、印刷ジョブに含まれる印刷設定情報等に基づいて印刷を行う。
【００３０】
ＣＰＵ２０１がコピープログラム３０３を実行することで、スキャナ２０６、プリンタ２０５を制御し、原稿を読み取って生成した画像データに基づいて用紙に画像を印刷するコピー処理を行う。
【００３１】
ＣＰＵ２０１が第１の２値化処理部３０４を実行することで、スキャンして原稿の画像を読み取って生成した多値画像データから、２値画像データを生成する。ここで、多値画像データから２値画像データを生成する際には、生成した画像データのモアレの発生を防ぐために公知技術である誤差拡散法を用いて２値化を行う。なお、読み取って生成した画像データは、多値画像データであっても良いし、２値画像データであっても良い。ここで、生成された２値画像データはクライアントＰＣ１０２へ送信するＰＤＦファイルの生成に用いられるだけでなく、プリンタ２０５で印刷する際にも用いられる。さらに、この第１の２値化処理を、ＲＡＭ２０３を用いて数ライン単位で処理を行うため、ＲＡＭ２０３は多値画像データのページ全体を記憶しない。なお、第１の２値化処理は擬似階調表現可能な２値化処理であれば、２値スクリーン処理やディザマトリクスを用いるディザ法であってもよい。
【００３２】
ここで、原稿の画像を読み取って生成した多値画像データの一例を図７に示す。図７はＭＦＰ１０１が生成する画像データの一例を示す図である。多値画像データ７００は背景上の文字列「ＡＢＣ」７０１、白い下地上の文字列「ＤＥＦ」７０２、図形７０３を含む。２値画像データ７１０は、ＣＰＵ２０１が第１の２値化部３０４を実行し、誤差拡散法による２値化を用いることによって多値画像データ７００から生成された２値画像データである。２値画像データ７１０では、多値画像データ７００における背景上の文字列７０１に対して、誤差拡散が行われ、文字列７０１の周りに誤差拡散による孤立画素等が点在している。このような２値画像データ７１０は、後述するＯＣＲ処理には適しておらず、文字列７０１は文字として認識できないか、誤認識されてしまう場合がある。
【００３３】
ＣＰＵ２０１は領域判定部３０５を実行することで、生成された２値画像データを複数の領域に分割して、その領域から文字領域と写真領域を検出する。領域判定の詳細な方法については、図７を用いて説明する。
【００３４】
まず、ＣＰＵ２０１は２値画像データ７１０に対して８連結で繋がる黒画素の輪郭を追跡することにより、８方向の何れかの方向で連続して存在する黒画素の塊（黒画素塊）を抽出する。８連結とは、左上、左、左下、下、右下、右、右上、上の８つの方向の何れかで同じ色の画素が連続しているという意味である。一方、４連結とは、左、下、右、上の４つの方向の何れかで同じ色の画素が連続しているという意味である。
【００３５】
次に、ＣＰＵ２０１は抽出された黒画素塊の中に、一定の大きさを越える黒画素塊（例えば、黒画素塊によって囲まれる領域の面積が一定の面積を超えるような黒画素塊）があれば、その領域内に白画素の塊（白画素塊）があるかを特定する。即ち、その領域内の４連結で繋がる白画素の輪郭を追跡することにより、白画素塊を抽出する。更に、抽出した白画素塊が一定の大きさを越える場合には、再度同様の黒画素の輪郭を追跡することにより黒画素塊の抽出を行う。これらの処理は、画素塊が一定の大きさ以下になるまで繰り返し行う。
【００３６】
また、ＣＰＵ２０１は得られた黒画素塊を、大きさや形状、黒画素密度のうちの少なくとも１つを用いて、文字か写真かに分類する。例えば、縦横比が１に近く（即ち、１プラスマイナスαに収まる。αは固定の閾値で例えば０．１）、かつ、大きさが定められた範囲（例えば、黒画素塊によって囲まれる画素の数が１００画素以下）の黒画素塊を、文字を構成する黒画素塊と判定する。そして残りの黒画素塊を、写真を構成する画素塊と判定する。
【００３７】
そして、ＣＰＵ２０１は文字を構成する黒画素塊同士の距離が所定の距離（例えば、３画素）内である場合に、その黒画素塊同士を同じグループに分類する。その上で、同じグループに分類された黒画素塊のいずれも包含する外接矩形領域を文字領域７２１、７２２と判定する。なお、文字を構成する他の黒画素塊が所定の距離内に無い、文字を構成する黒画素塊は、それ単独で一つのグループを構成することになる。従って、その単独の黒画素塊の外接矩形領域が文字領域と判定されることになる。なお、写真を構成する黒画素塊に対しても上記の処理と同様の処理がなされるものとする。
【００３８】
各領域の位置と、その領域の属性判定情報とを判定結果として出力する。ここで属性判定情報とは、その領域が文字領域であるか写真領域であるかを示す。
【００３９】
以上の処理により、２値画像データ７２０のように文字領域７２１、７２２、写真領域７２３を判定することができる。
【００４０】
ＣＰＵ２０１が第１のＯＣＲ処理部３０６を実行することで、文字領域と判定された領域に対して文字切り出し処理を行い、文字切り矩形毎に文字認識処理を行う。この文字切り出し処理と文字認識処理について図７を用いて説明する。
【００４１】
図７の２値画像データ７３０は文字領域に文字切り出し処理を実行された２値画像データである。文字切り出し処理は、文字領域の中で、横方向からの射影と縦方向からの射影にもとづき、各文字の外接矩形を文字切り矩形として切り出す処理である。ＣＰＵ２０１は、該文字切り矩形情報を参照しながら、公知の文字認識処理を行うことで文字情報である文字コードを得る。図７の文字切り矩形７３１は、文字領域７２２に対して、文字切り出し処理を行った結果であり、各文字切り矩形に文字認識処理を行うと、各文字の文字コード“Ｄ”“Ｅ”“Ｆ”が得られる。ＣＰＵ２０１は得た文字コードをＲＡＭ２０３に格納する。
【００４２】
ＣＰＵ２０１がデスクリーン処理部３０７を実行することで、文字領域と判定された領域に対して、デスクリーン処理を行う。デスクリーン処理とは、孤立画素を平滑化するスムージング処理である。本実施例では、例えば図６に示す３×３マトリクスであるローパスフィルタ６００を用いて、文字領域のすべての画素に対して畳み込み演算を行うことで、２値画像データのデスクリーン処理を行う。図６はローパスフィルタの一例を示す図である。
【００４３】
デスクリーン処理を行う理由は、文字領域７２１のような誤差拡散による２値化によって文字の周りに孤立画素等が点在している文字領域は正確に文字認識することができないからである。また、誤差拡散法で２値化する前の多値画像データを記憶していないため、多値画像データを使って再２値化を行うことができないためである。図７の２値画像データ７２０の文字領域７２１、７２２にデスクリーン処理を行うと、２値画像データ７４０の文字領域７４１、７４２のように孤立画素が平滑化された画像データが生成される。なお、文字領域７４１、７４２は、２値画像データではなく、多値画像データとなるため、再度２値化が必要となる。
【００４４】
ＣＰＵ２０１が第２の２値化処理部３０８を実行することで、デスクリーン処理された文字領域に対して第１の２値化処理とは異なる第２の２値化処理を行う。第２の２値化処理は、文字領域の輝度ヒストグラムから閾値を算出し、その閾値によって２値化を行う単純２値化処理である。詳細は図９を用いて説明する。
【００４５】
２値画像データ７４０のそれぞれの領域の輝度ヒストグラムの例を図９に示す。図９はＭＦＰ１０１が生成する輝度ヒストグラムの一例を示す図である。図９（Ａ）は２値画像データ７４０の文字領域７４１の輝度ヒストグラムの一例である。ここで、輝度ヒストグラムの横軸は８ｂｉｔの画像信号値（輝度値）を示し、範囲は０〜２５５である。画像信号値が大きいほど明るい（輝度が高い）色であることを示す。また、縦軸は画像信号値の度数を示す。
【００４６】
分布９０１は文字領域７４１の文字画素「ＡＢＣ」の部分に対応する輝度の分布である。分布９０２は文字領域７４１の背景画素の部分に対応する輝度の分布である。そして、分布９０１と分布９０２の間の背景画素と文字画素を分離できるような閾値を算出する。なお、背景画素とは背景を構成する画素であり、文字画素とは文字を構成する画素である。
【００４７】
図９（Ｂ）は２値画像データ７４０の文字領域７４２の輝度ヒストグラムの一例を示す図である。分布９０３は文字領域７４２の文字画素「ＤＥＦ」の部分に対応する輝度の分布である。分布９０４は文字領域７４２の背景画素の部分に対応する輝度の分布である。そして、同様に分布９０３と分布９０４の間の背景画素と文字画素を分離できるような閾値を算出する。
【００４８】
そして多値画像データに、算出した閾値より高い輝度値を持つ画素であれば黒画素、閾値以下の輝度値を持つ画素であれば白画素に変換することで２値化を行う。なお、ここで行う２値化は黒と白に分けるのではなく、別の色の組み合わせであっても良いし、１と０で表されてもよい。
【００４９】
以上のように多値画像データ７４０の文字領域７４１、７４２の輝度ヒストグラムから閾値を算出し、その閾値を用いて２値化を行った結果、２値の文字領域７５１、７５２が生成される。
【００５０】
ＣＰＵ２０１が第２のＯＣＲ処理部３０９を実行することで、再度２値化された領域に第１のＯＣＲ処理部と同様に文字切り出し処理を行い、文字切り矩形毎に文字認識処理を行う。なお、本実施例では説明の便宜上、第１のＯＣＲ処理部３０６、第２のＯＣＲ部３０９の２つに分けているが、共通のＯＣＲ処理部であってもよい。
【００５１】
図７の２値画像データ７６０は、再度２値化された２値画像データに文字認識処理を行った結果を示す。文字切り矩形情報を参照しながら、文字認識処理を行うことで文字コードを得る。図７の文字切り矩形７６１、７６２は、文字領域７５１、７５２に対して、文字切り出し処理を行った結果であり、各文字切り矩形に文字認識処理を行うと、各文字の文字コード“Ａ”“Ｂ”“Ｃ”、“Ｄ”“Ｅ”“Ｆ”が得られる。ＣＰＵ２０１は得た文字コードをＲＡＭ２０３に格納する。
【００５２】
ＣＰＵ２０１がＯＣＲ結果結合部３１０を実行することで、ＣＰＵ２０１が第１のＯＣＲ処理部３０６、第２のＯＣＲ処理部３０９を実行することで得られ、ＲＡＭ２０３に格納されている文字コードを結合する。ここで、ＣＰＵ２０１は上記の例で取得された文字コード“Ｄ”“Ｅ”“Ｆ”と“Ａ”“Ｂ”“Ｃ”、“Ｄ”“Ｅ”“Ｆ”を結合する。同じ座標の文字領域で文字コードが重複している場合は、いずれかの文字コードを削除する。なお、同じ座標の文字領域で違う文字コードが得られた場合は、後述するＯＣＲ信頼性、つまり正しい文字コードか否かの確度が高い方を優先してもよい。ＯＣＲ信頼性については、図５の説明で後述する。また、本実施例では、すべての文字領域にデスクリーン処理を行っているが、特定の領域のみ、例えば誤差拡散処理を実行した結果、網点で表示される領域に対してのみデスクリーン処理を行ってもよい。そうすることで、第１のＯＣＲ処理で得られた文字コードが正確に得られるような領域に第２のＯＣＲ処理を実行することがないため、同じ文字領域で文字コードが重複することがなくなる。また、デスクリーン処理の誤判定を考慮し、第１のＯＣＲ処理部で得られた文字コードを優先して使用してもいい。
【００５３】
ＣＰＵ２０１がファイル生成部３１１を実行することで、第１の２値画像処理部３０３で生成された２値画像データと、ＯＣＲ結果結合部３１０で結合された文字コードが付与されたＰＤＦファイルを生成する。ここで生成されるＰＤＦファイルの一例を、図１０を用いて説明する。
【００５４】
図１０は、ＭＦＰ１０１が生成するＰＤＦファイルの一例を示す図である。ファイル生成部３１１で生成されるＰＤＦファイル１０００は３つのレイヤーから構成される。
【００５５】
レイヤー１００１は、第１のＯＣＲ部３０６によって得られる文字コードで構成されるレイヤーを示す。“Ｄ”“Ｅ”“Ｆ”の文字コードは、非表示及び検索可能とするため透明色で描画される。
【００５６】
レイヤー１００２は、第２のＯＣＲ部３０９によって得られる文字コードのレイヤーを示す。文字コード“Ａ”“Ｂ”“Ｃ”“Ｄ”“Ｅ”“Ｆ”は、非表示及び検索可能とするため透明色で描画される。
【００５７】
レイヤー１００３は、第１の２値化部３０４によって生成された２値画像データのレイヤーである。２値画像データは、ＭＭＲ圧縮（Ｍｏｄｉｆｉｅｄ  Ｍｏｄｉｆｉｅｄ  ＲＥＡＤ）等の２値の可逆圧縮を行われていても良い。
【００５８】
これらのレイヤー１００１〜１００３を合成し、ＰＤＦに変換することでＯＣＲ結果付のＰＤＦを生成する。生成されたファイルは、例えば、ユーザにより指定された宛先へと送信されたり、ＭＦＰ１０１のＨＤＤ２０４に格納されたりする。
【００５９】
図４は、ＭＦＰ１０１がＯＣＲ結果付のＰＤＦファイルを生成する処理の一例を示すフローチャートである。ＣＰＵ２０１がＲＯＭ２０２に記憶されたプログラムをＲＡＭ２０３に読み出し、実行することで図４のフローチャートの処理は実現される。また、図４のフローは、ＭＦＰ１０１の電源がオンになったことにより開始される。
【００６０】
Ｓ４０１において、ＣＰＵ２０１は操作部２０８を介してユーザによるスキャン指示を受け付けたか否かを判定する。受け付けたと判定された場合、Ｓ４０２に進む。そうでない場合、Ｓ４０１に戻る。
【００６１】
Ｓ４０２において、ＣＰＵ２０１が制御するスキャナ２０６は、ユーザにより載置された原稿の画像を読み取り画像データを生成する。ここで生成される画像データは多値画像データである。
【００６２】
Ｓ４０３において、ＣＰＵ２０１は第１の２値化処理を実行する。つまり、誤差拡散法を用いてＳ４０２で生成された多値画像データを２値化し、２値画像データを生成する。
【００６３】
Ｓ４０４において、ＣＰＵ２０１は、操作部２０８を介してユーザによりＯＣＲ結果付ＰＤＦを生成するように設定されているか否かを判定する。オンにされていると判定された場合は、Ｓ４０５に進む。そうでない場合は、Ｓ４１２に進む。ここで、操作部２０８に表示され、ユーザによりＯＣＲ設定のオン／オフを受け付ける画面の一例を、図８を用いて説明する。
【００６４】
図８は操作部２０８に表示されるＯＣＲ設定の画面の一例を示す図である。
【００６５】
図８（Ａ）は、設定画面の一例を示す図である。設定画面８００には、ユーザにより選択されることで、ＭＦＰ１０１が送信する画像データのカラーモードを設定するためのボタン８０１とＭＦＰ１０１が送信する画像データのファイル形式を設定するためのボタン８０２が表示される。また、ユーザにより選択されることで、ユーザにより入力された新規の宛先を、ＭＦＰ１０１が画像データを送信する宛先に設定するためのボタン８０３も表示される。
【００６６】
ボタン８０１が選択されると、操作部２０８に図８（Ｂ）の設定画面８１０が表示される。図８（Ｂ）はカラーモードの設定画面の一例を示す図である。
【００６７】
設定画面８１０には、ユーザにより選択されることで、カラーモードを白黒に設定するためのボタン８１１とカラーモードをカラーに設定するためのボタン８１２が表示される。
【００６８】
設定画面８００のボタン８０２が選択されると、操作部２０８に図８（Ｃ）の設定画面８２０が表示される。図８（Ｃ）はファイル形式の設定画面の一例である。
【００６９】
設定画面８２０には、ユーザに選択されることで、ＭＦＰ１０１がクライアントＰＣ１０２に送信する画像データのファイル形式をＪＰＥＧに設定するためのボタン８２１とファイル形式をＭＳ―ＷＯＲＤに設定するためのボタン８２２が表示される。ＭＳ−ＷＯＲＤとはＭｉｃｒｏｓｏｆｔ（登録商標）のＷＯＲＤである。また、ユーザに選択されることで、ＭＦＰ１０１がクライアントＰＣ１０２に送信する画像データのファイル形式をＰＤＦに設定するためのボタン８２３とファイル形式をＯＣＲ結果付のＰＤＦに設定するためのボタン８２４が表示される。なお、設定画面８２０で設定された設定情報（画像データのファイルフォーマット等）は、ＲＡＭ２０３に格納される。
【００７０】
Ｓ４０５において、ＣＰＵ２０１はＳ４０３で生成された２値画像データに領域判定処理を実行し、文字領域と写真領域を検出する。
【００７１】
Ｓ４０６において、ＣＰＵ２０１はＳ４０５で文字領域であると判定された領域のうちの１つに第１のＯＣＲ処理を実行し、取得した文字コードをＲＡＭ２０３に格納する。
【００７２】
Ｓ４０７において、ＣＰＵ２０１はＳ４０６で第１のＯＣＲ処理を実行した文字領域にデスクリーン処理を実行し、多値画像データを生成する。
【００７３】
Ｓ４０８において、ＣＰＵ２０１はＳ４０７で生成された多値画像データのデスクリーン処理が実行された文字領域に第１の２値化処理とは別の２値化である第２の２値化処理を実行し、２値画像データを生成する。第２の２値化処理では、デスクリーン処理され、生成された多値画像データに単純２値化を行う。単純２値化とは、文字領域の輝度ヒストグラムから閾値を算出し、その閾値によって２値化する方法である。
【００７４】
Ｓ４０９において、ＣＰＵ２０１はＳ４０８で生成された２値画像データの第２の２値化処理が実行された文字領域に第２のＯＣＲ処理を実行し、取得した文字コードをＲＡＭ２０３に格納する。
【００７５】
Ｓ４１０において、ＣＰＵ２０１はＳ４０５で検出された文字領域のすべてにＳ４０６〜Ｓ４０９の処理を実行したか否かを判定する。実行したと判定された場合、Ｓ４１１に進む。そうでない場合は、まだＳ４０６〜Ｓ４０９の処理を実行されていない文字領域を選択し、Ｓ４０６に戻る。
【００７６】
Ｓ４１１において、ＣＰＵ２０１はＲＡＭ２０３に格納されている文字コード（ＯＣＲ結果）を結合する。例えば、同じ文字領域で文字コードが重複している場合は、いずれかの文字コードを削除する。なお、同じ文字領域で同じ文字コードが得られた場合は、いずれかの文字コードを使用してもよいし、両方使用してもよい。
【００７７】
Ｓ４１２において、ＣＰＵ２０１はＳ４１１で得られた文字コードを透明色で描画したレイヤーとＳ４０３で生成した２値画像データを描画したレイヤーを合成し、ＰＤＦファイルを生成する。
【００７８】
以上のような処理を実行することで、原稿の読み取り時に生成した多値画像データを記憶し続けずに、擬似階調表現可能な２値化処理を行う画像処理装置において、読み取った画像に含まれる文字を適切に認識させ、ＯＣＲ性能を向上させることができる。デスクリーン処理を行い、その後に単純２値化を行うことで、文字の周りの孤立点を消すことができるため、ＯＣＲ性能が向上する。
【００７９】
また、本実施例１では、スキャナ２０６によって読み取られた入力データに対して、第１の２値化を行う構成について説明した。しかしながら、他のＭＦＰからネットワーク１０３を介して画像データを受信する構成においても本発明の適用が可能である。その際は、Ｓ５０１、Ｓ５０２の処理を、画像データを受信する処理に置き換えればよい。
【実施例２】
【００８０】
実施例１では、文字領域と判定された領域全てに対して、デスクリーン処理、第２の２値化処理、第２のＯＣＲ処理を実行する例を説明した。本実施例では、第１のＯＣＲ処理によって得られるＯＣＲ信頼性（ＯＣＲの認識率）に基づき、デスクリーン処理等を実行する領域を、ＯＣＲ信頼性の低い領域のみに限定することにより高速な処理を実現する例を説明する。なお、実施例１との差分を主に説明する。
【００８１】
図５はＭＦＰ１０１がＯＣＲ結果付のＰＤＦファイルを生成する処理の一例を示すフローチャートである。ＣＰＵ２０１がＲＯＭ２０２に記憶されたプログラムをＲＡＭ２０３に読み出し、実行することで図５のフローチャートの処理は実現される。また、図５のフローは、ＭＦＰ１０１の電源がオンになったことにより開始される。
【００８２】
Ｓ５０１〜Ｓ５０６の処理は図４のＳ４０１〜Ｓ４０６の処理と同様な処理なため説明を省略する。
【００８３】
Ｓ５０７において、ＣＰＵ２０１はＳ５０６でＯＣＲ処理を行った文字領域のＯＣＲ信頼性を算出し、そのＯＣＲ信頼性が閾値（ｔｈ）以上であるか否かを判定する。ＯＣＲ信頼性が閾値以上であると判定された場合、Ｓ５０８に進む。そうでない場合、つまり閾値未満である場合はＳ５１１に進む。具体的には、ＣＰＵ２０１が第１のＯＣＲ処理を実行する際には、文字切り矩形内の文字画素が示す特徴量とあらかじめＲＯＭ２０２に格納されている辞書データとをパターンマッチングで比較する。そして、その文字画素が示している形に最も近い文字を選択し、その文字コードを取得する。文字切り矩形内の文字画素とあらかじめＲＯＭ２０２に格納されている辞書データとをパターンマッチングで比較する際には、ＣＰＵ２０１はその文字であると認識したことの確度も同時に算出する。この確度は、例えば文字切り矩形内の文字画素と辞書データがパターンマッチングで比較され、認識した文字コードが示す文字が文字画素にどれだけ近いかを算出することで求められる。この確度は文字（文字切り矩形）ごとに算出される。そして、ＣＰＵ２０１はＯＣＲ処理を行った文字領域内の文字の確度の平均（ＯＣＲ信頼性）が閾値以上か否かを判定する。なお、本実施例では文字領域内の文字の確度の平均と閾値を比較するが、これに限らず文字領域内の文字の少なくとも１つが閾値以上であるか否かを比較し、閾値以上であるとＳ５０８〜Ｓ５１０の処理を実行するようにしてもよい。
【００８４】
Ｓ５０８〜Ｓ５１８の処理は図４のＳ５０７〜Ｓ５１１の処理と同様な処理なため説明を省略する。
【００８５】
以上のような処理を実行することで、２値化する前の多値画像データを記憶し続けない画像処理装置で、読み取った画像に含まれる文字の認識率を向上させることができる。
【００８６】
＜その他の実施形態＞
なお、本発明の目的は、以下の処理を実行することによって達成される。即ち、上述した実施の形態の機能を実現するプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコードは本発明を構成することになる。
【００８７】
また、コンピュータが読み出したプログラムコードを実行することにより、上記実施の形態の機能が実現される場合も本発明に含まれる。加えて、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した実施の形態の機能が実現される場合も含まれる。
【符号の説明】
【００８８】
１０１  ＭＦＰ
２０１  ＣＰＵ
２０６  スキャナ
２０８  操作部
【図１】
2020067959.tif 000003
【図２】
2020067959.tif 000004
【図３】
2020067959.tif 000005
【図４】
2020067959.tif 000006
【図５】
2020067959.tif 000007
【図６】
2020067959.tif 000008
【図７】
2020067959.tif 000009
【図８】
2020067959.tif 000010
【図９】
2020067959.tif 000011
【図１０】
2020067959.tif 000012