(57)【要約】【課題】スキャン画像が不鮮明であっても、その画像から文字部分だけの画像を上手く抽出する。【解決手段】画像形成装置１に、原稿画像ＧＡ０のうちの、文字画像が並んでいる領域である文字領域の文字領域画像ＧＭを、第一の閾値を基準に二値画像ＧＮに変換する二値画像生成部１７２と、二値画像ＧＮに対して文字認識処理を実行する文字認識処理部１７３と、二値画像ＧＮが表す文字の文字認識率Ｒｃを算出する文字認識率算出部１７４と、二値画像ＧＮの文字認識率Ｒｃが第二の閾値を上回る場合にその二値画像ＧＮを原稿画像ＧＡ０の文字画像の抽出結果として出力する文字背景画像出力部１７９と、二値画像ＧＮの文字認識率Ｒｃが第二の閾値を下回る場合に第一の閾値を変更してその二値画像ＧＮの変換をやり直すように二値画像生成部１７２を制御する再実行指令部１７６と、を設ける。【選択図】図６
2007102674.tif 000002
【特許請求の範囲】
【請求項１】
画像入力装置によって入力された入力画像の中から文字画像を抽出する文字画像抽出装置であって、
前記入力画像のうちの、１つまたは複数の文字画像が並んでいる領域である文字領域の画像を、第一の閾値を基準に二値画像に変換する変換処理を実行する、二値画像変換手段と、
変換された前記文字領域の二値画像に対して文字認識処理を実行する文字認識処理手段と、
前記文字領域の二値画像が表す文字のうちの前記文字認識処理によって認識できた文字の割合である文字認識率を算出する、文字認識率算出手段と、
前記文字領域の二値画像の前記文字認識率が第二の閾値を上回る場合に、当該二値画像を前記入力画像の文字画像の抽出結果として出力する、出力手段と、
前記文字領域の二値画像の前記文字認識率が前記第二の閾値を下回る場合に、前記第一の閾値を変更して当該文字領域について前記変換処理を実行し直すように前記二値画像変換手段を制御する、再変換制御手段と、
を有することを特徴とする文字画像抽出装置。
【請求項２】
前記再変換制御手段は、前記入力画像のうちの前記文字領域の画像の下地濃度が第三の閾値を上回る場合は、前記第一の閾値を上げて前記変換処理を実行し直すように前記二値画像変換手段を制御し、当該下地濃度が当該第三の閾値を下回る場合は、前記第一の閾値を下げて前記変換処理を実行し直すように前記二値画像変換手段を制御する、
請求項１記載の文字画像抽出装置。
【請求項３】
画像入力装置によって入力された入力画像の中から文字画像を抽出する文字画像抽出装置であって、
前記入力画像の中の複数の文字画像が並んでいる領域である文字領域を、１つまたは複数の文字画像がグループ化されるように複数のブロックに分割する、分割手段と、
前記入力画像のうちの前記ブロックの画像を第一の閾値を基準に二値画像に変換する変換処理を実行する、二値画像変換手段と、
変換された前記ブロックの二値画像に対して文字認識処理を実行する文字認識処理手段と、
前記ブロックの二値画像が表す文字のうちの前記文字認識処理によって認識できた文字の割合である文字認識率を算出する、文字認識率算出手段と、
前記ブロックの二値画像の前記文字認識率が第二の閾値を下回る場合に、前記第一の閾値を変更して当該ブロックについて前記変換処理を実行し直すように前記二値画像変換手段を制御する、再変換制御手段と、
前記文字領域の前記各ブロックの、前記文字認識率が前記第二の閾値を上回る二値画像を、元の並び順に並べて１つの画像に統合することによって統合画像を生成する、統合画像生成手段と、
生成された前記文字領域の前記統合画像を、前記入力画像の文字画像の抽出結果として出力する、出力手段と、
を有することを特徴とする文字画像抽出装置。
【請求項４】
前記再変換制御手段は、前記ブロックの画像の下地濃度が第三の閾値を上回る場合は、前記第一の閾値を上げて当該ブロックについて前記変換処理を実行し直すように前記二値画像変換手段を制御し、当該下地濃度が当該第三の閾値を下回る場合は、前記第一の閾値を下げて当該ブロックについて前記変換処理を実行し直すように前記二値画像変換手段を制御する、
請求項３記載の文字画像抽出装置。
【請求項５】
画像入力装置によって入力された入力画像の画像ファイルを生成する画像ファイル生成装置であって、
前記入力画像から１つまたは複数の文字画像が連続的に配置されている文字領域と文字以外の画像が配置されている非文字領域とを検出する、文字領域検出手段と、
前記入力画像のうちの、検出された前記文字領域の画像を、第一の閾値を基準に二値画像に変換する変換処理を実行する、二値画像変換手段と、
変換された前記文字領域の二値画像に対して文字認識処理を実行する文字認識処理手段と、
前記文字領域の二値画像が表す文字のうちの前記文字認識処理によって認識できた文字の割合である文字認識率を算出する、文字認識率算出手段と、
前記文字領域の二値画像の前記文字認識率が第二の閾値を下回る場合において、当該文字領域の下地濃度が第三の閾値を上回るときは前記第一の閾値を上げて当該文字領域について前記変換処理を実行し直すように前記二値画像変換手段を制御し、当該文字領域の下地濃度が当該第三の閾値を下回るときは前記第一の閾値を下げて当該文字領域について前記変換処理を実行し直すように前記二値画像変換手段を制御する、再変換制御手段と、
前記文字認識率が前記第二の閾値を上回ると判別された前記文字領域の二値画像の画像データと、前記非文字領域の画像の画像データと、当該文字領域および当該非文字領域それぞれの、前記入力画像における位置を示す位置データと、当該文字領域の下地の色を再現するための下地色データと、を１つに統合することによって画像ファイルを生成する、画像ファイル生成手段と、
を有することを特徴とする画像ファイル生成装置。
【請求項６】
画像の画像データを、当該画像が表すオブジェクトの種類に応じて圧縮する、データ圧縮手段、を有し、
前記画像ファイル生成手段は、前記データ圧縮手段によって圧縮された、前記文字領域の二値画像の画像データおよび前記非文字領域の画像の画像データを統合することによって、前記画像ファイルを生成する、
請求項５記載の画像ファイル生成手段。
【請求項７】
画像入力装置によって入力された入力画像の中から文字画像を抽出する文字画像抽出方法であって、
前記入力画像のうちの、１つまたは複数の文字画像が並んでいる領域である文字領域の画像を、第一の閾値を基準に二値画像に変換する変換処理を実行し、
変換された前記文字領域の二値画像に対して文字認識処理を実行し、
前記文字領域の二値画像が表す文字のうちの前記文字認識処理によって認識できた文字の割合である文字認識率を算出し、
前記文字領域の二値画像の前記文字認識率が第二の閾値を上回る場合に、当該二値画像を前記入力画像の文字画像の抽出結果として出力し、
前記文字領域の二値画像の前記文字認識率が前記第二の閾値を下回る場合に、前記第一の閾値を変更して当該文字領域について前記変換処理を実行し直すように前記二値画像変換手段を制御する、
ことを特徴とする文字画像抽出方法。
【請求項８】
画像入力装置によって入力された入力画像の中から文字画像を抽出するコンピュータに用いられるコンピュータプログラムであって、
前記入力画像のうちの、１つまたは複数の文字画像が並んでいる領域である文字領域の画像を、第一の閾値を基準に二値画像に変換する変換処理と、
変換された前記文字領域の二値画像に対する文字認識処理と、
前記文字領域の二値画像が表す文字のうちの前記文字認識処理によって認識できた文字の割合である文字認識率を算出する算出処理と、
前記文字領域の二値画像の前記文字認識率が第二の閾値を上回る場合に、当該二値画像を前記入力画像の文字画像の抽出結果として出力する出力処理と、
前記文字領域の二値画像の前記文字認識率が前記第二の閾値を下回る場合に、前記第一の閾値を変更して当該文字領域について前記変換処理を実行し直すように前記二値画像変換手段を制御する制御処理と、
をコンピュータに実行させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スキャナなどで読み取った原稿の画像から文字部分の画像を抽出する装置および方法などに関する。
【背景技術】
【０００２】
紙の原稿に描かれた画像を読み取って電子データ化するスキャナが広く普及している。スキャナは、パーソナルコンピュータおよびワークステーションなどの周辺機器として使用されるだけでなく、ファックス端末、複写機、およびＭＦＰ（Multi Function Peripherals）などの装置にも内蔵され使用される。
【０００３】
原稿には、文字を表す画像（以下、「文字画像」と記載する。）が含まれていることがある。文字画像を含む原稿の電子データを生成する場合は、その文字画像の文字が鮮明に再現されるようにする必要がある。そこで、特許文献１に記載されるような方法が提案されている。
【０００４】
特許文献１に記載される方法によると、送信用の画像データ内の文字を文字認識手段により認識し、その文字認識率と予め設定されている設定値とを比較し、文字認識率が設定値を下回った場合は、送信解像度を既定値よりも上げる。これにより、送信用の原稿に文字として認識しにくい薄い文字や小さい文字が記載されているような場合に、自動的に送信用画像データの解像度が変更され、好適な画像を送信することができる。
【０００５】
また、読み取った原稿の画像のファイルのサイズを小さくするために、原稿の全体画像を文字画像の領域および写真の領域などに分割し、それぞれの領域に適した圧縮方式で画像データを圧縮する、という方法が用いられている。係る方法を採用した代表的なファイル形式の１つが、アドビシステムズ社が開発したＰＤＦ（Portable Document Format）である（非特許文献１参照）。
【０００６】
そのほか、特許文献２、３に記載されるような、原稿の画像の中から文字認識処理の対象の文字画像の位置を自動的に判別するための方法が提案されている。
【特許文献１】特開２００１−１０３３１１号公報
【特許文献２】特開平５−２５２２８８号公報
【特許文献３】特開平７−１６８９１１号公報
【非特許文献１】”Ａｄｏｂｅ  ＰＤＦってなに？−ＰＤＦ初級編”、アドビシステムズ社、平成１７年５月１４日検索、インターネット＜ＵＲＬ：http://www.adobe.co.jp/products/acrobat/adobepdf13.html＞
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、本、雑誌、およびパンフレットなどの書類には、文字の背景に色または模様が装飾された文字画像がしばしば見られる。このような文字画像を含む書類を原稿としてスキャンを行うと、文字とその背景とのコントラストが小さいために、鮮明な文字画像が得られない場合がある。また、原稿の下地に色または模様が付いている場合は、下地除去処理が文字画像に対して過度に施されてしまい、文字の線が細くなり、鮮明な文字画像が得られない場合がある。
【０００８】
原稿の画像を電子データ化するにあたっては、文字画像に文字が鮮明に表れるようにすることが求められる。また、原稿の画像の画像データをＰＤＦなどの形式のファイルに変換する場合は、文字画像の中から背景部分を除いた文字部分だけの画像を抽出する必要があるが、スキャンによって得られた文字画像が不鮮明であれば、上手く抽出することができない。しかし、特許文献１に記載されるような従来の方法では、不鮮明な文字画像から白黒の文字画像を生成するもできない。また、スキャン条件を変更して原稿の再スキャンを行うことは、時間と手間が掛かってユーザにとって面倒であるし、再スキャンが上手く行くとは限らない。
【０００９】
本発明は、このような問題点に鑑み、スキャナなどによって得られた文字画像が不鮮明であっても、その文字画像から文字部分だけの画像を上手く抽出できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る文字画像抽出装置は、画像入力装置によって入力された入力画像の中から文字画像を抽出する文字画像抽出装置であって、前記入力画像のうちの、１つまたは複数の文字画像が並んでいる領域である文字領域の画像を、第一の閾値を基準に二値画像に変換する変換処理を実行する、二値画像変換手段と、変換された前記文字領域の二値画像に対して文字認識処理を実行する文字認識処理手段と、前記文字領域の二値画像が表す文字のうちの前記文字認識処理によって認識できた文字の割合である文字認識率を算出する、文字認識率算出手段と、前記文字領域の二値画像の前記文字認識率が第二の閾値を上回る場合に、当該二値画像を前記入力画像の文字画像の抽出結果として出力する、出力手段と、前記文字領域の二値画像の前記文字認識率が前記第二の閾値を下回る場合に、前記第一の閾値を変更して当該文字領域について前記変換処理を実行し直すように前記二値画像変換手段を制御する、再変換制御手段と、を有することを特徴とする。
【００１１】
好ましくは、前記再変換制御手段は、前記入力画像のうちの前記文字領域の画像の下地濃度が第三の閾値を上回る場合は、前記第一の閾値を上げて前記変換処理を実行し直すように前記二値画像変換手段を制御し、当該下地濃度が当該第三の閾値を下回る場合は、前記第一の閾値を下げて前記変換処理を実行し直すように前記二値画像変換手段を制御する。
【００１２】
「文字認識」とは、一般に、画像中の文字を認識しアスキーコードなどの文字コードに変換することを言うが、本発明では、画像が表している文字を１つに特定できる必要はなく、幾つかの候補に絞り込めればよい。例えば、「乙」という文字を表す画像の文字認識を行った結果、「乙」、「２」、または「Ｚ」のいずれかであることが分かれば、その画像の文字認識ができたものとする。
【００１３】
また、本発明では、「文字」とは、漢字、平仮名、片仮名、およびアルファベットなどのほか、数字および記号なども含まれるものとする。
【発明の効果】
【００１４】
本発明によると、スキャナなどによって得られた文字画像が不鮮明であっても、その文字画像から文字部分だけの画像を上手く抽出することができる。
【発明を実施するための最良の形態】
【００１５】
図１は本発明に係る画像形成装置１を有するネットワーク構成の例を示す図、図２は画像形成装置１のハードウェア構成の例を示す図、図３は画像形成装置１の機能的構成の例を示す図である。
【００１６】
図１に示す画像形成装置１は、コピー、スキャナ、ファックス、ネットワークプリンティング、ドキュメントサーバ、およびファイル転送などの様々な機能を集約した画像処理装置である。複合機またはＭＦＰ（Multi Function Peripherals）などと呼ばれる装置こともある。
【００１７】
この画像形成装置１は、役所または企業などのオフィス、学校または図書館などの公共施設、コンビニエンスストアなどの店舗、その他種々の場所に設置され、複数のユーザによって共用することができる。また、パーソナルコンピュータまたはワークステーションなどの端末装置２と通信回線３を介して接続可能である。通信回線３として、インターネット、ＬＡＮ、公衆回線、または専用線などが用いられる。
【００１８】
画像形成装置１は、図２に示すように、ＣＰＵ１０ａ、ＲＡＭ１０ｂ、ＲＯＭ１０ｃ、ハードディスク１０ｄ、制御用回路１０ｅ、操作パネル１０ｆ、スキャナ１０ｇ、印刷装置（エンジン）１０ｈ、モデム１０ｊ、およびネットワークインタフェース１０ｋなどによって構成される。
【００１９】
スキャナ１０ｇは、原稿の用紙（以下、単に「原稿」と記載する。）に描かれている写真、文字、絵、図表などの画像を光学的に読み取って電子データ化する装置である。読み取られた画像のデータはＲＡＭ１０ｂに記憶され、後に説明するように、様々な処理が施されてファイル化される。
【００２０】
印刷装置１０ｈは、スキャナ１０ｇで読み取られた画像または端末装置２などから送信されてきた画像を用紙に印刷する装置である。カラーＭＦＰである場合は、イエロー、マゼンタ、シアン、およびブラックの４色のトナーを使用して画像を印刷する。
【００２１】
操作パネル１０ｆは、操作部および表示部によって構成される。操作部としてテンキーなどが用いられ、表示部として液晶ディスプレイなどが用いられる。ユーザは、操作部を操作することによって、画像形成装置１に対して、処理の実行開始または中断などの指令を与え、データの宛先、スキャン条件、または画像ファイルフォーマットなどの処理条件を指定し、その他種々の事項を指定することができる。表示部には、ユーザに対してメッセージまたは指示を与えるための画面、ユーザが所望する処理の種類および処理条件を入力するための画面、および画像形成装置１で実行された処理の結果を示す画面などが表示される。操作パネル１０ｆとしてタッチパネルを用いた場合は、タッチパネルが操作部および表示部の両方を兼ねる。このように、操作パネル１０ｆは、画像形成装置１を操作するユーザのためのユーザインタフェースの役割を果たしている。なお、端末装置２には、画像形成装置１に対して指令を与えるためのアプリケーションプログラムおよびドライバがインストールされている。したがって、ユーザは、端末装置２によって画像形成装置１を遠隔的に操作することができる。
【００２２】
モデム１０ｊは、ＮＣＵ（Network Control Unit）が内蔵されており、アナログの公衆回線を介して他のファックス端末と接続し、ファクシミリプロトコルに基づくデータ制御およびファックスデータの変復調などを行う。また、インターネットプロバイダ（ＩＳＰ）のアクセスポイントを介してインターネットに接続し、端末装置２などと電子メールまたはＦＴＰ（File Transfer Protocol）によってファイルの送受信を行うこともできる。ネットワークインタフェース１０ｋは、ＮＩＣ（Network Interface Card）であって、ＬＡＮを介して画像形成装置１を端末装置２など接続し、ファイルの送受信などを行う。
【００２３】
制御用回路１０ｅは、ハードディスク１０ｄ、操作パネル１０ｆ、スキャナ１０ｇ、印刷装置１０ｈ、モデム１０ｊ、およびネットワークインタフェース１０ｋなどの装置を制御するための回路である。
【００２４】
ハードディスク１０ｄには、図３に示すような前処理部１０１、明度算出部１０２、スムージング処理部１０３、領域検出部１０４、領域画像抽出部１０５、下地濃度検出部１０６、文字背景画像生成部１０７、画像圧縮処理部１０８、およびファイル生成部１０９などの機能を実現するためのプログラムおよびデータなどが格納されている。これらのプログラムは必要に応じてＲＡＭ１０ｂに読み出され、ＣＰＵ１０ａによってプログラムが実行される。これらのプログラムまたはデータの一部または全部を、ＲＯＭ１０ｃに記憶させておいてもよい。または、図３に示す機能の一部または全部を、制御用回路１０ｅによって実現するようにしてもよい。
【００２５】
ＣＰＵ１０ａは、その他、ユーザによる操作の内容（つまり、ユーザが押したキーまたはボタンなど）の検出、画像形成装置１を構成する各ハードウェアの制御、および電子メールのデータの生成など、画像形成装置１の基本的な処理を行う。これらの処理は、ハードディスク１０ｄに記憶されているオペレーティングシステムのプログラムに基づいて行う。
【００２６】
図４は原稿画像ＧＡ０の例を示す図、図５は不具合を有する文字画像の例を示す図である。
【００２７】
次に、図３に示す画像形成装置１の各部の機能および処理内容などについて説明する。前処理部１０１は、スキャナ１０ｇによって入力された原稿の画像（以下、「原稿画像ＧＡ０」と記載する。）に対して、明度算出部１０２以降の処理に対応した解像度に変換する処理（解像度変換処理）を施し、さらに、原稿画像ＧＡ０の下地部分の色などを除去する処理（下地除去処理）を施す。「原稿画像ＧＡ０の下地部分」とは、コンテンツ（オブジェクト）が何もない領域のことを意味する。例えば、図４に示すような原稿画像ＧＡ０である場合は、「新・デジタルＭＦＰ  ＸＹＺ−２００５シリーズ」という文字列の画像のある矩形領域、「デジタル機の価格差は…期待できます。」という文字列の画像のある矩形領域、およびＭＦＰの写真が中央に配置された矩形領域の３つの矩形領域以外の部分が、原稿画像ＧＡ０の下地部分である。
【００２８】
原稿画像ＧＡ０には、文字の画像、写真の画像、挿絵の画像、またはグラフの画像など、様々な種類のオブジェクトの画像が含まれている。以下、文字の画像が含まれる領域を「文字領域ＲＭ」と記載し、文字以外のオブジェクトの画像が含まれる領域を「非文字領域ＲＨ」と記載する。例えば、図４の原稿画像ＧＡ０は、２つの文字領域ＲＭおよび１つの非文字領域ＲＨを有している。以下、解像度変換処理および下地除去処理が施された原稿画像ＧＡ０を「原稿画像ＧＡ０’」と記載する。
【００２９】
明度算出部１０２は、原稿画像ＧＡ０’の各画素の明度を算出することによって、明度画像ＧＡ１を生成する。スムージング処理部１０３は、明度画像ＧＡ１に対してスムージング処理を施すことによって、明度画像ＧＡ１のノイズの除去および輪郭の補正などを行う。以下、スムージング処理が施された明度画像ＧＡ１を「明度画像ＧＡ１’」と記載する。
【００３０】
領域検出部１０４は、明度画像ＧＡ１’に対してラベリング処理を施すことによって、原稿画像ＧＡ０’に含まれる文字領域ＲＭおよび非文字領域ＲＨの位置を判別する。一般に、文字画像に対してラベリング処理を施すと不規則な細い線が多く出現し、写真などの画像に対してラベリング処理を施すと白または黒の大きな塊が出現する。このような特徴に基づいて、文字領域ＲＭおよび非文字領域ＲＨの位置を判別し、判別結果を示す領域位置データ８１を生成する。図４の場合は、文字領域ＲＭａ、ＲＭｂおよび非文字領域ＲＨａのそれぞれについて領域位置データ８１が生成される。
【００３１】
領域画像抽出部１０５は、領域検出部１０４による検出結果に基づいて、原稿画像ＧＡ０’の中から文字領域ＲＭの画像および非文字領域ＲＨのそれぞれの画像を抽出する。図４に示すような原稿画像ＧＡ０がスキャナ１０ｇによって入力された場合は、文字領域ＲＭａ、ＲＭｂおよび非文字領域ＲＨａの各画像を抽出する。以下、文字領域ＲＭの抽出された画像を「文字領域画像ＧＭ」と記載し、非文字領域ＲＨの抽出された画像を「非文字領域画像ＧＨ」と記載する。文字領域画像ＧＭには、１つまたは複数の文字画像が含まれている。例えば、文字領域ＲＭｂには、数字および句読点などの文字を含め、およそ１２０個の文字画像が含まれている。
【００３２】
文字背景画像生成部１０７は、文字領域画像ＧＭの圧縮率を高めるために、文字領域画像ＧＭを、文字だけの画像（つまり、背景を消去した画像）と背景だけの画像とに分離する。つまり、文字背景画像生成部１０７は、文字領域画像ＧＭから、文字だけの画像および背景だけの画像を生成する。
【００３３】
ところで、文字領域画像ＧＭに含まれる文字画像は、文字とその背景（文字の下地）とのコントラストが小さかったり過度な下地除去処理を実行したりすると、文字だけの画像を生成したときに、図５（ａ）のように文字が背景と分離されずに潰れてしまったり、図５（ｂ）のように文字がかすれてしまったりする。そこで、文字背景画像生成部１０７は、文字だけの画像を生成する際に、文字がより鮮明になるように必要に応じて補正（適正化）の処理を実行する。以下、文字背景画像生成部１０７について詳細に説明する。
【００３４】
図６は文字背景画像生成部１０７の構成の例を示す図、図７は文字領域ＲＭｂに含まれる文字画像のグループ化の例を示す図、図８は濃度閾値テーブルＴＬ１の例を示す図、図９は不具合のある二値画像ＧＮおよび良好な二値画像ＧＮの例を示す図である。
【００３５】
文字背景画像生成部１０７は、図６に示すように、文字領域画像分割部１７０、文字下地濃度検出部１７１、二値画像生成部１７２、文字認識処理部１７３、文字認識率算出部１７４、二値画像良否判別部１７５、再実行指令部１７６、文字画像統合部１７７、背景画像生成部１７８、文字背景画像出力部１７９、および濃度閾値テーブルＴＬ１などによって構成される。
【００３６】
文字領域画像分割部１７０は、文字領域画像ＧＭに多数の文字の文字画像が含まれている場合に、左右方向または上下方向に並ぶ複数個の文字画像をグループ化する。例えば、１〜１０個程度の文字画像をグループ化する。英文などの場合は、単語ごと（つまり、スペースとスペースとの間の）文字画像をグループ化してもよい。横書きの場合は左右方向に並ぶ文字画像をグループ化し、縦書きの場合は上下方向に並ぶ文字画像をグループ化する。横書きであるか縦書きであるかは、文字画像の並び方の特徴に基づいて判別することができる。このようにグループ化することによって、１つまたは複数の文字画像からなる複数のブロックが生成される。以下、生成されたブロックの画像を「ブロック画像ＧＲ」と記載する。例えば、文字領域ＲＭｂ（図４参照）の文字領域画像ＧＭを、図７に示すように複数のブロック画像ＧＲ（ＧＲ１、ＧＲ２、…）に分割する。また、各ブロック画像ＧＲについて、文字領域ＲＭにおけるその位置を示す文字列位置データ８２を生成しておく。
【００３７】
文字下地濃度検出部１７１は、ブロック画像ＧＲの下地すなわち文字の背景部分の濃度を、例えば次のように検出する。通常、文字の部分はブロック画像ＧＲの中央に位置するので、ブロック画像ＧＲの縁（上下および左右の端）の部分は文字の背景（下地）であることが多い。そこで、ブロック画像ＧＲの縁の付近の画素を調べることによって、ブロック画像ＧＲの背景部分の濃度を検出する。以下、検出された濃度を「文字下地濃度Ｈｄ」と記載する。
【００３８】
二値画像生成部１７２は、文字領域画像分割部１７０によって得られたそれぞれのブロック画像ＧＲの二値画像ＧＮを生成する。本実施形態では、ブロック画像ＧＲの二値画像ＧＮを次のように生成する。
【００３９】
ブロック画像ＧＲの各画素の濃度を算出する。本実施形態では、濃度は８ビットで表されるものとする。算出した濃度が、濃度閾値β以上であればその画素の値を「１」とし、濃度閾値β未満であればその画素の値を「０」とする。このように各画素の値を「０」または「１」のいずれかに変換することによって、二値画像ＧＮが生成される。なお、濃度閾値βは、図８に示す濃度閾値テーブルＴＬ１によって定義されている。図８の例では、初期設定値は「１２８」である。
【００４０】
文字認識処理部１７３は、各ブロック画像ＧＲの二値画像ＧＮに対して文字認識処理を実行し、その二値画像ＧＮに含まれる文字画像が表す文字を判別する。このとき、含まれる文字画像の個数も計数しておく。
【００４１】
文字認識率算出部１７４は、二値画像ＧＮに含まれる文字画像のうち文字認識処理部１７３によって文字を判別（認識）できた文字画像の個数を計数する。そして、文字画像の総数に対する、認識できた文字画像数の割合、すなわち、文字認識率Ｒｃを算出する。例えば、「デジタル機の価格差は」という１０文字を表す二値画像ＧＮに対して文字認識処理を実行した結果、９文字を認識できた場合は、Ｒｃ＝９０％、となる。
【００４２】
二値画像良否判別部１７５は、二値画像ＧＮの文字認識率Ｒｃが認識閾値α以上である場合は、その二値画像ＧＮは文字を鮮明に表しており良好である、と判別する。認識閾値α未満である場合は、その二値画像ＧＮは文字を鮮明に表しておらず不良である、と判別する。二値画像良否判別部１７５によると、二値画像ＧＮは、例えば図９（ａ）のように濃く潰れた文字画像の割合が多い場合または図９（ｂ）のように薄くかすれた文字画像の割合が多い場合に、不良であると判別される。図９（ｃ）のように、文字が鮮明に表れている文字画像の割合が多い場合は、良好であると判別される。なお、図９（ａ）〜（ｃ）に示す「○」はその文字画像の表す文字が文字認識処理部１７３によって認識されたことを意味し、「×」は認識できなかったことを意味する。
【００４３】
再実行指令部１７６は、不良と判別された二値画像ＧＮを生成し直すように二値画像生成部１７２に対して指令する。すると、二値画像生成部１７２は、その二値画像ＧＮのデータを破棄し、もう一度、二値画像ＧＮを生成する。
【００４４】
ただし、その二値画像ＧＮの元のブロック画像ＧＲの文字下地濃度Ｈｄが濃薄境界閾値γ以上である場合は、前回は、その二値画像ＧＮの中の背景部分が文字の一部であると誤検出されて文字潰れを生じてしまったと考えられるので、濃度閾値βを上げて再生成する。本実施形態では、図８に示すように、５段階のレベルの濃度閾値βが濃度閾値テーブルＴＬ１に予め定義されている。そして、二値画像ＧＮを生成し直すときは、前回そのブロック画像ＧＲの二値画像ＧＮを生成したときのレベルよりも１段上のレベルに示される値を採用することによって濃度閾値βを上げる。例えば、前回、レベル３の濃度閾値βで二値画像ＧＮを生成したのであれば、レベル４の濃度閾値βに基づいて二値画像ＧＮを生成し直す。
【００４５】
一方、文字下地濃度Ｈｄが濃薄境界閾値γ未満である場合は、前回は、その二値画像ＧＮの中の文字部分がかすれていたと考えられるので、前回よりも１つ下のレベルの濃度閾値βに下げて二値画像ＧＮを再生成する。
【００４６】
再生成された二値画像ＧＮについては、文字認識処理部１７３、文字認識率算出部１７４、および二値画像良否判別部１７５によって、再び文字認識処理が施され、文字認識率Ｒｃが算出され、そして良否が判別される。その結果、不良であると判別された場合は、さらにもう１段階レベルを上げ下げして、二値画像ＧＮの再生成を行う。以下、良好であると判別されるまで、これを繰り返す。ただし、これ以上、濃度閾値βを上げることができない場合または下げることができない場合は、最後に生成した二値画像ＧＮを良好なものとみなして、次に説明する文字画像統合部１７７以降の処理のために使用する。
【００４７】
文字画像統合部１７７は、二値画像生成部１７２によって生成された、文字領域画像ＧＭの分割画像である各ブロック画像ＧＲの良好な二値画像ＧＮを、それぞれの文字列位置データ８２に従って並べ、１つの画像に統合する。この統合された画像は、文字領域画像ＧＭから背景部分を取り除き文字部分のみを抽出したものである。そこで、以下、これらの二値画像ＧＮを統合することによって生成された画像を「文字抽出画像ＧＴ」と記載する。
【００４８】
背景画像生成部１７８は、文字領域ＲＭの背景部分だけの画像である背景画像ＧＢを生成する。つまり、文字領域画像ＧＭと同じ形状を有しかつ文字領域画像ＧＭの背景部分と同じ色または模様を全体に有する画像を生成する。色または模様は、文字領域画像ＧＭの縁部付近の画素を調べることによって検出することができる。なお、背景画像ＧＢは文字の背景として用いられるので、原稿画像ＧＡ０を再現する際に文字が見やすくなるようにするために、背景画像ＧＢの色または模様を、検出した色または模様よりもトーンが低くなるように補正してもよい。
【００４９】
または、文字領域画像ＧＭの分割画像であるブロック画像ＧＲごとに背景画像を生成し、これらを元のブロック画像ＧＲの並び順に並べて統合することによって背景画像ＧＢを生成してもよい。
【００５０】
文字背景画像出力部１７９は、生成された文字抽出画像ＧＴおよび背景画像ＧＢのそれぞれのデータを、画像圧縮処理部１０８（図３参照）に出力する。
【００５１】
図１０は文字背景画像生成処理の流れの例を説明するフローチャート、図１１は二値画像生成処理の流れの例を説明するフローチャート、図１２はファイルＦＬの構成の例を示す図である。
【００５２】
ここで、図４の文字領域ＲＭｂの文字領域画像ＧＭを文字部分と背景部分とに分離して文字抽出画像ＧＴと背景画像ＧＢとを生成する場合を例に、文字背景画像生成部１０７の全体的な処理の流れを、図１０および図１１のフローチャートなどを参照して説明する。
【００５３】
文字背景画像生成部１０７は、文字領域ＲＭｂの文字領域画像ＧＭに含まれる「デジタル機の価格差は…期待できます。」の各文字の文字画像を、図７のように１〜１０個程度の文字画像のグループにグループ化し、ブロック画像ＧＲ（ＧＲ１、ＧＲ２、…）に分割する（図１０の＃１１）。
【００５４】
１番目のブロック画像ＧＲ１について、ステップ＃１２〜＃１４の処理を施す。すなわち、ブロック画像ＧＲ１が文字領域ＲＭｂ内のどの位置にあるのかを判別することによって文字列位置データ８２を得るとともに（＃１２）、ブロック画像ＧＲ１の下地濃度（文字下地濃度Ｈｄ）を検出する（＃１３）。
【００５５】
ブロック画像ＧＲ１の二値画像ＧＮを、図１１に示すような手順で生成する（＃１４）。すなわち、まず、濃度閾値テーブルＴＬ１（図８参照）に基づいて濃度閾値βをリセットし初期レベルの値に設定しておく（＃２１）。濃度閾値βを閾値としてブロック画像ＧＲ１の各画素を二値化し、二値画像ＧＮを生成する（＃２２）。そして、文字認識処理を実行することによって、その二値画像ＧＮの中の各文字画像の文字認識を行い、文字認識率Ｒｃを算出する（＃２３）。
【００５６】
算出した文字認識率Ｒｃが認識閾値α以上である場合は（＃２４でＮｏ）、その二値画像ＧＮには文字が鮮明に表れているものとみなし、今回生成した二値画像ＧＮを、ブロック画像ＧＲ１の良好な二値画像ＧＮとして採用する（＃３４）。
【００５７】
一方、文字認識率Ｒｃが認識閾値α未満である場合は（＃２４でＹｅｓ）、より鮮明な文字画像が表れるように、次のように濃度閾値βを変更して二値画像ＧＮの生成をやり直す。
【００５８】
ブロック画像ＧＲ１の文字下地濃度Ｈｄが濃薄境界閾値γ以上である場合は（＃２５でＹｅｓ）、ブロック画像ＧＲ１の背景部分が濃いことが原因で文字が鮮明に表れていない二値画像ＧＮが生成されたと考えられる。そこで、濃度閾値テーブルＴＬ１に基づいてレベルを１つ上げて濃度閾値βを増やし（＃２６）、その濃度閾値βで二値画像ＧＮの生成をやり直す（＃２７）。そして、生成し直した二値画像ＧＮについて文字認識処理を実行し（＃２８）、文字認識率Ｒｃが認識閾値α以上であれば（＃２９でＮｏ）、最新の（つまり、今回生成し直した）二値画像ＧＮを、ブロック画像ＧＲ１の良好な二値画像ＧＮとして採用する（＃３４）。
【００５９】
ブロック画像ＧＲ１の文字下地濃度Ｈｄが濃薄境界閾値γ未満である場合は（＃２５でＮｏ）、二値画像ＧＮに表れた文字がかすれていると考えられる。そこで、レベルを１つ下げて濃度閾値βを減らし（＃３０）、その濃度閾値βで二値画像ＧＮの生成をやり直す（＃３１）。そして、生成し直した二値画像ＧＮについて文字認識処理を実行し（＃３２）、文字認識率Ｒｃが認識閾値α以上であれば（＃３３でＮｏ）、今回生成し直した二値画像ＧＮを、ブロック画像ＧＲ１の良好な二値画像ＧＮとして採用する（＃３４）。
【００６０】
依然として文字認識率Ｒｃが認識閾値α未満である場合は（＃２９でＹｅｓまたは＃３３でＹｅｓ）、さらに濃度閾値βのレベルを上下させて、二値画像ＧＮの生成および画像認識処理をやり直す。ただし、これ以上レベルを上げることができない場合（＃２９でＮｏ）または下げることができない場合は（＃３３でＮｏ）、最後に生成した二値画像ＧＮを、ブロック画像ＧＲ１の良好な二値画像ＧＮとみなす（＃３４）。
【００６１】
図１０に戻って、ブロック画像ＧＲ１の二値画像ＧＮが得られたら、残りのブロック画像ＧＲ（ＧＲ２、ＧＲ３、…）の二値画像ＧＮを順次生成する。生成の手順は、上に説明したブロック画像ＧＲ１の二値画像ＧＮを生成する場合と同様である（＃１２〜＃１４）。
【００６２】
すべてのブロック画像ＧＲの良好な二値画像ＧＮが生成されたら（＃１５でＹｅｓ）、これらの二値画像ＧＮを、ステップ＃１２で求めた文字列位置データ８２に基づいて元の並び順に並べて１つの画像に統合することによって、文字抽出画像ＧＴを生成する（＃１６）。
【００６３】
ブロック画像ＧＲの背景部分の色または模様を検出し、背景画像ＧＢを生成する（＃１７）。
【００６４】
図３に戻って、画像圧縮処理部１０８は、文字領域ＲＭの文字部分だけの画像すなわち二値画像ＧＮの画像データおよび背景部分だけの画像すなわち背景画像ＧＢの画像データを文字背景画像生成部１０７から取得すると、これらの画像データを圧縮処理する。文字抽出画像ＧＴは、モノクロビットマップの画像であるので、Ｇ４圧縮方式（ＭＭＲ圧縮方式）などで圧縮するのが望ましい。背景画像ＧＢは、色または模様の画像なので、ＧＩＦまたはＪＰＥＧなどの圧縮方式で圧縮するのが望ましい。以下、圧縮された文字抽出画像ＧＴの画像データおよび背景画像ＧＢの画像データをそれぞれ「圧縮文字画像データＤＴＡ」および「圧縮背景画像データＤＴＢ」と記載する。
【００６５】
また、画像圧縮処理部１０８は、非文字領域ＲＨの画像のデータも圧縮する。ただし、非文字領域ＲＨには写真などの大きなサイズの画像が配置されているので、ＪＰＥＧのような、非可逆の圧縮方式によってサイズが小さくなるように圧縮する。または、非文字領域画像ＧＨごとに画像のタイプを判別し、ＪＰＥＧまたはＧＩＦなどの圧縮方式を使い分けるようにしてもよい。以下、画像圧縮処理部１０８によって圧縮された非文字領域ＲＨの画像データを「圧縮非文字画像データＤＴＣ」と記載する。
【００６６】
ファイル生成部１０９は、スキャナ１０ｇが読み取った原稿の原稿画像ＧＡ０を再現するためのファイルＦＬを、画像圧縮処理部１０８によって得られた各圧縮データおよび各画像の位置情報などを用いて、例えば次のように生成する。
【００６７】
原稿画像ＧＡ０を構成する各領域の圧縮文字画像データＤＴＡ、圧縮背景画像データＤＴＢ、圧縮非文字画像データＤＴＣ、および領域位置データ８１を用意する。さらに、生成するファイルＦＬの属性を示すファイル属性データ８３を生成し用意する。属性の一部（例えばファイル名など）は、ユーザに指定させるようにしてもよい。
【００６８】
同じ文字領域ＲＭの圧縮文字画像データＤＴＡと圧縮背景画像データＤＴＢと領域位置データ８１とを対応付け、同じ非文字領域ＲＨの圧縮背景画像データＤＴＢと領域位置データ８１とを対応付ける。そして、これらの圧縮文字画像データＤＴＡ、圧縮背景画像データＤＴＢ、圧縮非文字画像データＤＴＣ、領域位置データ８１、および属性データ８３を１つに統合することによって、ファイル化する。このようにして、ファイルＦＬが生成される。
【００６９】
例えば、図４のような原稿画像ＧＡ０がスキャナ１０ｇによって入力され、図３の前処理部１０１ないし画像圧縮処理部１０８によってその原稿画像ＧＡ０に対して処理を施した結果、文字領域ＲＭａのデータとして圧縮文字画像データＤＴＡａ、圧縮背景画像データＤＴＢａ、および領域位置データ８１ａが得られ、文字領域ＲＭｂのデータとして圧縮文字画像データＤＴＡｂ、圧縮背景画像データＤＴＢｂ、および領域位置データ８１ｂが得られ、非文字領域ＲＨａのデータとして圧縮非文字画像データＤＴＣｃおよび領域位置データ８１ｃが得られたとする。このような場合は、ファイル生成部１０９は、属性データ８３を生成し、領域ごとのデータを並べて対応付け、そして、図１２に示すようなファイル構成のファイルＦＬを生成する。
【００７０】
なお、同じ種類のオブジェクトの領域が複数個ある場合は、これらの領域を１つに統合し、全体のオブジェクト数を減らす処理を行ってもよい。
【００７１】
生成されたファイルＦＬは、ハードディスク１０ｄに保存される。または、電子メールまたはＦＴＰなどによって通信回線３を介して端末装置２などに転送される。ファイルＦＬを、アクロバット社のＰＤＦなどの既存のフォーマットに従って生成してもよい。
【００７２】
生成されたファイルＦＬの画像は、端末装置２などにおいて次のように再現される。端末装置２は、ファイルＦＬに対応したアプリケーションソフト（例えば、ファイルＦＬがＰＤＦファイルである場合はアドビシステムズ社のアクロバットリーダなど）を起動し、ファイルＦＬをＲＡＭにロードする。そのファイルＦＬの中の圧縮文字画像データＤＴＡに基づいて文字画像を再現し、これに対応付けられている領域位置データ８１に示される位置に画像を配置する。圧縮背景画像データＤＴＢが対応付けられている場合は、それに基づいて背景画像を再現し、この上に文字画像を透過形式で重ね合わせる。圧縮非文字画像データＤＴＣについても同様に、そのデータに基づいて写真などの画像を再現し、そのデータに対応付けられている領域位置データ８１に示される位置に基づいて画像を配置すればよい。このようにして、原稿画像ＧＡ０が再現される。
【００７３】
図１３はスキャンジョブを実行する際の画像形成装置１の全体的な処理の流れの例を説明するフローチャートである。次に、原稿をスキャンして原稿画像の電子データを生成する際の画像形成装置１の全体的な処理の流れを、図１３のフローチャートを参照して説明する。
【００７４】
ユーザは、電子データ化したい原稿を画像形成装置１の原稿台にセットし、操作パネル１０ｆを操作してスキャン指令を画像形成装置１に対して与える。
【００７５】
すると、画像形成装置１は、セットされた原稿をスキャンして原稿画像ＧＡ０を入力する。つまり、原稿画像ＧＡ０のデータを取得する（図１３の＃１）。そして、次のように、その原稿画像ＧＡ０のファイルＦＬを生成するための処理を開始する。すなわち、まず、原稿画像ＧＡ０に対して解像度変換処理および下地除去処理を施す（＃２）。これにより、原稿画像ＧＡ０’が得られる。原稿画像ＧＡ０’の各画素の明度を算出することによって明度画像ＧＡ１を生成し（＃３）、これにスムージング処理を施す（＃４）。これにより、明度画像ＧＡ１’が得られる。
【００７６】
明度画像ＧＡ１’に対してラベリング処理を施すことによって、原稿画像ＧＡ０’の中の文字領域ＲＭおよび非文字領域ＲＨを検出する（＃５）。このとき、これらの領域の位置を示す領域位置データ８１を生成しておく。
【００７７】
文字領域ＲＭの文字領域画像ＧＭから文字だけの画像すなわち二値画像ＧＮと背景だけの画像すなわち非文字領域画像ＧＨを生成する（＃６）。この際、二値画像ＧＮについては、文字が鮮明になるように必要に応じて適正化の処理を行う。係る処理の手順は、前に図１０および図１１で説明した通りである。なお、非文字領域ＲＨの非文字領域画像ＧＨについても、公知の方法を用いて写真または挿絵などを補正する処理を施してもよい。
【００７８】
文字領域画像ＧＭ、背景画像ＧＢ、非文字領域画像ＧＨの各画像データを圧縮し、圧縮文字画像データＤＴＡ、圧縮背景画像データＤＴＢ、および圧縮非文字画像データＤＴＣを生成する（＃７）。
【００７９】
そして、これらの圧縮文字画像データＤＴＡ、圧縮非文字画像データＤＴＣ、圧縮背景画像データＤＴＢ、各領域の領域位置データ８１、および属性データ８３などを統合することによって、ファイルＦＬを生成する（＃８）。
【００８０】
本実施形態によると、スキャンによって得られた原稿画像ＧＡ０に含まれる文字画像に背景の装飾が含まれいたり文字画像に過度な下地除去処理が施されたりして、文字画像が不鮮明になっても、その文字画像から文字部分だけの画像を上手く抽出することができる。
【００８１】
また、文字領域の判定および文字下地濃度Ｈｄの判別を行った上で適正化の処理を行うので、処理に掛かる時間やメモリなどの資源の使用を抑えることができる。
【００８２】
本実施形態では、原稿の画像を読み取る機能、画像フォーマットを変換する機能、画像を補正する機能、および画像データのファイル化を行う機能など、図２および図３の各部の機能がすべて集約された画像形成装置１を例に説明したが、図３の各部の機能を複数の装置に分散して実現することも可能である。例えば、原稿の画像を読み取る機能をパーソナルコンピュータ用のスキャナで実現し、それ以外をパーソナルコンピュータによって実現するようにしてもよい。この場合は、パーソナルコンピュータには、スキャナのドライバおよび図１０、図１１、図１３で説明した処理を実行するためのコンピュータプログラムをインストールしておく。または、画像形成装置１で読み取った原稿画像ＧＡ０の画像データを端末装置２に転送し、端末装置２が図１０、図１１、図１３で説明した処理を実行するようにしてもよい。
【００８３】
本実施形態では、５段階のレベルで濃度閾値βを調整したが、もっと細かいレベルで調整するようにしてもよい。
【００８４】
本実施形態では、スキャナで読み取った原稿の画像をファイル化する場合を例に説明したが、本発明は、それ以外の種類の画像読取装置で取得した画像をファイル化する場合にも適用可能である。例えば、デジタルカメラで撮影した原稿の画像をファイル化するためにも適用することができる。
【００８５】
文字領域画像ＧＭに対して文字認識処理を行った際に得られた、その文字領域画像ＧＭの表す文字列のテキストデータを、ファイルＦＬに含めるようにしてもよい。
【００８６】
本実施形態では、文字領域ＲＭおよび非文字領域ＲＨの検出を自動で行ったが、ユーザがマウスでドラックするなどして指定できるようにしてもよい。
【００８７】
その他、画像形成装置１の全体または各部の構成、処理内容、処理順序、テーブルの内容などは、本発明の趣旨に沿って適宜変更することができる。
【産業上の利用可能性】
【００８８】
本発明は、特に、ＭＦＰまたはパーソナルコンピュータなどの画像処理装置において、スキャンした原稿画像のＰＤＦファイルなどを生成するために好適に用いられる。
【図面の簡単な説明】
【００８９】
【図１】本発明に係る画像形成装置を有するネットワーク構成の例を示す図である。
【図２】画像形成装置のハードウェア構成の例を示す図である。
【図３】画像形成装置の機能的構成の例を示す図である。
【図４】原稿画像の例を示す図である。
【図５】不具合を有する文字画像の例を示す図である。
【図６】文字背景画像生成部の構成の例を示す図である。
【図７】文字領域に含まれる文字画像のグループ化の例を示す図である。
【図８】濃度閾値テーブルの例を示す図である。
【図９】不具合のある二値画像および良好な二値画像の例を示す図である。
【図１０】文字背景画像生成処理の流れの例を説明するフローチャートである。
【図１１】二値画像生成処理の流れの例を説明するフローチャートである。
【図１２】ファイルの構成の例を示す図である。
【図１３】スキャンジョブを実行する際の画像形成装置の全体的な処理の流れの例を説明するフローチャートである。
【符号の説明】
【００９０】
１  画像形成装置（文字画像抽出装置）
１０ｇ  スキャナ（画像入力装置、画像ファイル生成装置）
１０４  領域検出部（文字領域検出手段）
１０８  画像圧縮処理部（データ圧縮手段）
１０９  ファイル生成部（画像ファイル生成手段）
１７０  文字領域画像分割部（分割手段）
１７２  二値画像生成部（二値画像変換手段）
１７３  文字認識処理部（文字認識処理手段）
１７４  文字認識率算出部（文字認識率算出手段）
１７６  再実行指令部（再変換制御手段）
１７７  文字画像統合部（統合画像生成手段）
１７９  文字背景画像出力部（出力手段）
ＦＬ  ファイル（画像ファイル）
Ｈｄ  文字下地濃度
ＧＡ０  原稿画像（入力画像）
ＧＮ  二値画像（文字画像）
ＧＲ  ブロック画像
ＧＴ  文字抽出画像（統合画像）
Ｒｃ  文字認識率
ＲＨ  非文字領域
ＲＭ  文字領域
α  認識閾値（第二の閾値）
β  濃度閾値（第一の閾値）
γ  濃薄境界閾値（第三の閾値）
【図１】
2007102674.tif 000003
【図２】
2007102674.tif 000004
【図３】
2007102674.tif 000005
【図４】
2007102674.tif 000006
【図５】
2007102674.tif 000007
【図６】
2007102674.tif 000008
【図７】
2007102674.tif 000009
【図８】
2007102674.tif 000010
【図９】
2007102674.tif 000011
【図１０】
2007102674.tif 000012
【図１１】
2007102674.tif 000013
【図１２】
2007102674.tif 000014
【図１３】
2007102674.tif 000015