(57)【特許請求の範囲】
【請求項１】
画像データを入力する入力手段と、
前記入力手段が入力した画像データから、所定の特徴要素を抽出する抽出手段と、
前記所定の特徴要素について、該特徴要素が満たすべき条件と、画像データ中で該条件を満たす特徴要素を基準として定められる領域の属性とを予め定めた判定条件を参照して、前記抽出手段が抽出した特徴要素と、前記判定条件とに基づき、前記入力した画像データ中の、前記判定条件により規定された領域に、前記判定条件により規定された属性を設定する属性設定手段とを備え、
前記抽出手段による特徴要素の抽出と、前記属性設定手段による、前記判定条件を参照した、前記入力した画像データに対する属性の設定とを、複数の特徴要素についてそれぞれ行い、
前記属性設定手段は、前記複数の特徴要素に従ってそれぞれ設定した属性を、前記複数の特徴要素分集計して、前記入力した画像データ中における各部分の属性を設定することを特徴とする画像処理装置。 
【請求項２】
請求項１に記載の画像処理装置であって、
前記抽出手段による前記複数の特徴要素についての前記特徴要素の抽出と、前記属性設定手段による前記属性の設定とを、考慮する特徴要素を所定の順序で選択しつつ行うことを特徴とする画像処理装置。 
【請求項３】
請求項１又は２に記載の画像処理装置であって、
前記所定の特徴要素の一つは、罫線であることを特徴とする画像処理装置。 
【請求項４】
請求項１又は２に記載の画像処理装置であって、
前記所定の特徴要素の一つは、特定の文字であり、前記抽出手段が前記入力した画像データ中で前記特定の文字を検索する範囲を、既に抽出された他の特徴要素の位置に基づき前記判定条件に従って定めることを特徴とする画像処理装置。 
【請求項５】
請求項１又は２に記載の画像処理装置であって、
前記所定の特徴要素は、罫線及び地肌罫線を含み、前記抽出手段は、前記入力した画像データから罫線を抽出した場合、抽出した罫線の延長上の領域に対して、地肌罫線の抽出を行うことを特徴とする画像処理装置。 
【請求項６】
請求項１乃至５のいずれか一項に記載の画像処理装置であって、
前記入力した画像データの各部分を、前記属性設定手段が該部分に設定した属性に従った処理方法で処理する画像処理手段を備えることを特徴とする画像処理装置。 
【請求項７】
請求項６に記載の画像処理装置であって、
前記画像処理手段が行う前記画像データに対する処理には、文字領域の属性が設定された部分に対する、文字を強調する処理を含むことを特徴とする画像処理装置。 
【請求項８】
画像データを入力する入力手順と、
前記入力手順で入力した画像データから、所定の特徴要素を抽出する抽出手順と、
前記所定の特徴要素について、該特徴要素が満たすべき条件と、画像データ中で該条件を満たす特徴要素を基準として定められる領域の属性とを予め定めた判定条件を参照して、前記抽出手順で抽出した特徴要素と、前記判定条件とに基づき、前記入力した画像データ中の、前記判定条件により規定された領域に、前記判定条件により規定された属性を設定する属性設定手順とを備え、
前記抽出手順による特徴要素の抽出と、前記属性設定手順による、前記判定条件を参照した、前記入力した画像データに対する属性の設定とを、複数の特徴要素についてそれぞれ行い、
前記属性設定手順は、前記複数の特徴要素に従ってそれぞれ設定した属性を、前記複数の特徴要素分集計して、前記入力した画像データ中における各部分の属性を設定する画像処理方法。 
【請求項９】
コンピュータを請求項１乃至７のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、画像に対して圧縮等の処理を行う場合において、文字領域を的確に判定して、文字のみの原稿に対して圧縮率を上げることにより、ファイルサイズを小さくする技術が知られている。このような技術は例えば特許文献１に記載されている。
さらに、帳票上から縦及び横の罫線を抽出し、抽出した罫線をもとにセルを抽出し、セル毎に文字認識を行う技術が知られている。このような技術は例えば特許文献２に記載されている。
【０００３】
また、特許文献３には、原稿をデジタル的に走査して得られる画像の地肌レベルを検出後、複数のパラメータを用いて画像の文字エッジを検出し、地肌レベルに応じて複数のパラメータを変更する構成が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述した従来の方式で、文字領域を他と区別するなどの像域分離を行おうとした場合、例えば新聞のような地肌レベルの高い紙の原稿からスキャンした画像に対して適用すると、文字領域を絵柄領域と誤検知してしまうという問題があった。文字領域の誤検知に関する問題は、特許文献３の技術を用いても十分に解決できていない。
【０００５】
この発明は、このような問題を解決し、像域分離を精度よく行えるようにすることを目的とする。なお、画像中で検出すべき領域は、文字領域には限らない。
【課題を解決するための手段】
【０００６】
この発明の画像処理装置は、上記の目的を達成するため、画像処理装置において、画像データを入力する入力手段と、前記入力手段が入力した画像データから、所定の特徴要素を抽出する抽出手段と、前記所定の特徴要素について、該特徴要素が満たすべき条件と、画像データ中で該条件を満たす特徴要素を基準として定められる領域の属性とを予め定めた判定条件を参照して、前記抽出手段が抽出した特徴要素と、前記判定条件とに基づき、前記入力した画像データ中の、前記判定条件により規定された領域に、前記判定条件により規定された属性を設定する属性設定手段とを設け、前記抽出手段による特徴要素の抽出と、前記属性設定手段による、前記判定条件を参照した、前記入力した画像データに対する属性の設定とを、複数の特徴要素についてそれぞれ行い、前記属性設定手段は、前記複数の特徴要素に従ってそれぞれ設定した属性を、前記複数の特徴要素分集計して、前記入力した画像データ中における各部分の属性を設定する。
【発明の効果】
【０００７】
上記構成によれば、像域分離を精度よく行うことができる。
【図面の簡単な説明】
【０００８】
【図１】この発明による画像処理装置の一実施形態であるＭＦＰのハードウェア構成を示す図である。
【図２】図１に示したＭＦＰが備える画像処理部２００の機能構成を示す図である。
【図３】図２に示したスキャナ補正部２１０の機能構成を示す図である。
【図４】図３に示した文字領域判定部２１２の機能構成を詳細に示す図である。
【図５】図２に示した画像処理部２００による画像処理の基本フローチャートである。
【図６】図５に示した文字領域判定（Ｓ１１）のより詳細な処理手順のフローチャートである。
【図７】図６の続きのフローチャートである。
【図８Ａ】紙面を読み取った画像データに対し、罫線の領域設定の処理を適用する例について説明するための図である。
【図８Ｂ】その別の図である。
【図８Ｃ】そのさらに別の図である。
【図９Ａ】図８Ａと同じ画像データに対し、地肌罫線についての領域設定の処理を適用する例について説明するための図である。
【図９Ｂ】その別の図である。
【図１０】特定文字についての領域設定の処理について説明するための図である。
【図１１Ａ】罫線による判定条件を使って地肌罫線の抽出を行う方法の説明のための図である。
【図１１Ｂ】その別の図である。
【図１２Ａ】地肌抽出の結果から地肌罫線の候補を抽出する方法の説明のための図である。
【図１２Ｂ】その別の図である。
【図１３】複数の特徴要素に基づく領域の設定結果を集計して最終的に文字領域を確定させる方法について説明するための図である。
【発明を実施するための形態】
【０００９】
以下、この発明の実施形態について、図面を参照しつつ説明する。
図１に、この発明による画像処理装置の一実施形態であるＭＦＰ（デジタル複合機）のハードウェア構成を示す。
図１に示すＭＦＰ１００は、スキャン、プリント、コピー、ファクシミリ通信、および文書蓄積等の機能を備えた画像処理装置である。
図１に示すように、ＭＦＰ１００は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ＨＤＤ（ハードディスクドライブ）１０４、通信Ｉ／Ｆ（インタフェース）１０５、操作部１０６、表示部１０７、およびエンジンＩ／Ｆ１０８を備えている。そして、これらをシステムバス１０９により接続してＭＦＰ１００を構成している。また、エンジンＩ／Ｆ１０８には、スキャナ１２０、プロッタ１３０及び画像処理部２００が接続される。
【００１０】
そして、ＣＰＵ１０１が、ＲＡＭ１０３をワークエリアとしてＲＯＭ１０２あるいはＨＤＤ１０４に記憶された所要のプログラムを実行することにより、ＭＦＰ１００全体を制御し、種々の機能を実現する。
ＲＯＭ１０２及びＨＤＤ１０４は、不揮発性記憶媒体（記憶手段）であり、ＣＰＵ１０１が実行する各種プログラムや後述する各種データを格納している。
通信Ｉ／Ｆ１０５は、外部の装置と通信するためのインタフェースである。使用する通信路の規格に応じた物を設ければよい。
【００１１】
操作部１０６は、ユーザからの操作を受け付けるための操作手段であり、各種のキー、ボタン、タッチパネル等により構成される。
表示部１０７は、ＭＦＰ１００の動作状態や設定内容、メッセージ等をユーザに提示するための提示手段であり、液晶ディスプレイやランプ等を備えている。
【００１２】
なお、操作部１０６及び表示部１０７は外付けであってもよい。また、ＭＦＰ１００が必ずしもユーザからの操作を直接受ける必要はない。ＭＦＰ１００は、通信Ｉ／Ｆ１０５を介して接続された外部装置による操作を受け付けたり、その外部装置に対して情報の提示を行ったりしてもよい。その場合には、操作部１０６や表示部１０７を設けなくてもよい。
【００１３】
エンジンＩ／Ｆ１０８は、スキャナ１２０、プロッタ１３０及び画像処理部２００をシステムバス１０９に接続してＣＰＵ１０１から制御できるようにするためのインタフェースである。
スキャナ１２０は、原稿の画像を読み取ってその画像データを出力する画像読取装置であり、読み取った画像データを画像処理部２００へ送る。
画像処理部２００は、画像処理手段であり、スキャナ１２０で読み取った原稿の原稿種別を判定し、原稿種別に応じて原稿に適した画像解像度の圧縮率を選択し、その圧縮率に従って画像データを圧縮して圧縮画像データを出力する。
プロッタ１３０は、画像データに従って用紙に画像を形成する画像形成手段であり、画像処理部２００が出力した圧縮画像データに基づき画像を形成することができる。
【００１４】
図２に、画像処理部２００の機能構成を示す。図２に示す各部の機能は、専用のハードウェアで実現しても、プロセッサにソフトウェアを実行させることによって実現しても、その組み合わせでもよい。一部の機能をＣＰＵ１０１が担うことも考えられる。
この画像処理部２００は図２に示すように、スキャナ補正部２１０、圧縮処理部２２０、データインタフェース部２３０、伸張処理部２４０、およびプリンタ補正部２５０を備える。
【００１５】
これらのうち、スキャナ補正部２１０は、スキャナ１２０が読み取った画像データを分類し画像処理を施す機能を備える。その機能の詳細は図３によって後述する。
圧縮処理部２２０は、スキャナ補正部２１０で補正した後の画像データを内部処理用に圧縮する機能を備える。
データインタフェース部２３０は、圧縮処理部２２０で圧縮した画像データをＨＤＤ１０４へ一時保存する際のＨＤＤ管理インタフェースである。
【００１６】
伸張処理部２４０は、内部処理用の圧縮画像データをプロッタ１３０での画像形成に用いるために伸張する機能を備える。
プリンタ補正部２５０は、伸張処理部２４０で伸張した画像データを、必要に応じて補正を加えた上でプロッタ１３０へ送出する機能を備える。
【００１７】
次に、図３に、図２に示したスキャナ補正部２１０の機能構成を示す。
このスキャナ補正部２１０は図３に示すように、原稿種判定部２１１、文字領域判定部２１２、像域分離部２１３、スキャナγ部２１４、フィルタ処理部２１５、色補正処理部２１６、および文字γ部２１７を備えている。
これらのうち原稿種判定部２１１は、文字が存在する原稿の特徴と有彩原稿の特徴と印画紙写真の特徴と印刷写真の特徴とから、処理対象の画像データが文字のみの原稿の画像データかカラー原稿の画像データかを判定する機能を備える。
【００１８】
文字領域判定部２１２は、画像の特徴から画像データが示す画像中の文字領域を判定する機能を備え、原稿種判定部２１１で判定しきれない画像データについて判定を行ったり、誤判定を防ぐために再判定を行ったりする役割を担う。
像域分離部２１３は、文字領域判定部２１２による文字領域の判定結果を参照しつつ、処理対象の画像データを黒文字エッジ領域と色文字エッジ領域とその他の３つの領域に分離する機能を備えている。
【００１９】
スキャナγ部２１４は、画像データを反射率リニアから濃度リニアのデータに変換する機能を備える。
フィルタ処理部２１５は、複数のフィルタを切り替えつつ、処理対象の画像データのうち像域分離部２１３により分離された３つの領域に対し、それぞれ異なるフィルタ処理を行う機能を備えている。
【００２０】
色補正処理部２１６は、黒文字エッジ領域以外でＲＧＢの画像データをＣＭＹＫの画像データに変換する手段である。
文字γ部２１７は、文字領域にある色文字と黒文字に対してγを立たせ、文字を強調する機能を備える。文字γ部２１７による処理後の画像データは圧縮処理部２２０に供給される。
【００２１】
次に、図４に、図３に示した文字領域判定部２１２の機能構成をさらに詳細に示す。
文字領域判定部２１２は、罫線領域判定部２６１、地肌罫線領域判定部２６２、特定文字領域判定部２６３、判定条件取得部２６４、判定条件２６５、範囲抽出部２６６、および判定結果設定部２６７で構成される。
罫線領域判定部２６１は、判定条件取得部２６４が取得した判定条件に罫線に関する項目が存在する場合に、罫線に基づき画像データへの領域及び属性の設定を行う機能を備える。
【００２２】
この罫線領域判定部２６１は、例えば、帳票データあるいは紙に印刷された帳票から読み取った画像データから縦罫線及び横罫線を抽出し、抽出した各罫線について、判定条件と比較するためのパラメータを算出する。そして、抽出した各罫線のパラメータと判定条件とを照合し、一致した各罫線について、判定条件に沿って領域の設定及び属性を設定する。各領域に設定する属性は、文字領域、絵柄領域等が考えられる。
【００２３】
地肌罫線領域判定部２６２は、判定条件取得部２６４が取得した判定条件に地肌罫線に関する項目が存在する場合に、地肌罫線に基づき画像データへの領域及び属性の設定を行う機能を備える。なお、地肌罫線とは、線の代わりに地肌の空間を使って罫線を構成したものである。
【００２４】
地肌罫線領域判定部２６２は、例えば、帳票データあるいは紙に印刷された帳票から読み取った画像データから地肌領域を抽出し、抽出した地肌領域について、判定条件と比較するためのパラメータを算出する。はじめから、地肌罫線候補となるような細長い領域だけ抽出するようにしてもよい。そして、抽出した各地肌領域のパラメータと判定条件とを照合し、一致した地肌領域を地肌罫線として、各地肌罫線について判定条件に沿って領域の設定及び属性を設定する。地肌領域の抽出方法については、図１２Ａ及び図１２Ｂを用いて後述する。
【００２５】
特定文字領域判定部２６３は、判定条件取得部２６４が取得した判定条件に特定文字に関する項目が存在する場合に、特定の文字に基づき画像データへの領域及び属性の設定を行う機能を備える。
特定文字領域判定部２６３は、例えば、帳票データあるいは紙に印刷された帳票から読み取った画像データ内に判定条件と一致する特定の文字が存在するか検索する。そして、抽出した各特定の文字について、判定条件に沿って領域の設定及び属性を設定する。
【００２６】
判定条件取得部２６４は、判定条件２６５として登録されている情報を読み出して取得する機能を備える。
判定条件２６５は、誤検知しやすい原稿（の画像データ）が持つ特徴から文字領域をはじめとする種々の領域を判定するための種々の条件を規定したものである。
その判定は、文字領域、絵柄領域、などの領域の位置の基準とする罫線、地肌罫線、および特定文字などの特徴要素に基づいて行われる。具体例は後述するが、判定条件２６５は、特徴要素が満たすべき条件と、画像データ中でその条件を満たす特徴要素を基準として、どの位置にどの属性の領域を設定するかを規定するデータである。
【００２７】
範囲抽出部２６６は、罫線領域判定部２６１、地肌罫線領域判定部２６２、および特定文字領域判定部２６３が設定した結果から、画像データ中の、文字領域、絵柄領域などの各種属性の領域の範囲を確定する。
判定結果設定部２６７は、画像データ中の、文字領域と確定された範囲に対し、それ以外の部分と異なる圧縮率を設定する手段である。
なお、罫線領域判定部２６１、地肌罫線領域判定部２６２、および特定文字領域判定部２６３が実際に判定を行うか否かは、判定条件２６５としてどの特徴要素に関する条件が保持されているかに依存する。
【００２８】
次に、表１〜表４に、判定条件２６５のいくつかの具体例を示す。
判定条件２６５は、表１に示す特徴要素のカテゴリ一覧と、表２〜表４に示す各カテゴリの詳細テーブルを含む。
【００２９】
【表１】
0006798309.tif 000002
【００３０】
【表２】
0006798309.tif 000003
【００３１】
【表３】
0006798309.tif 000004
【００３２】
【表４】
0006798309.tif 000005
【００３３】
表１〜表４の各テーブルには、テーブル内の項目同士の優先順位を付けられるようにする。例としては、罫線に関する判定より地肌罫線に関する判定を先に行いたい場合に、表１のテーブル中の特徴要素を希望する実行順に並べ変えることにより、各特徴要素に関する判定をその実行順で行えるようにすることが考えられる。表２〜表４の各判定条件についても同様である。表１〜表４では、ＩＤを優先度を含めたシーケンシャル番号としている。
【００３４】
表１は、特徴要素のカテゴリのＩＤと、そのカテゴリを構成する特徴要素の種類の情報で構成されているテーブルである。表１にある罫線、特定文字、地肌罫線以外の種類を用いることも考えられる。その場合、文字領域判定部２１２に、特徴要素の種類と対応する判定部を設ける。
【００３５】
表２〜表４は、表１で定義された各カテゴリの特徴要素に関する判定条件の詳細を登録したテーブルである。表１で定義されたカテゴリの数の分だけ詳細テーブルを作ることとし、ここでは表１で定義した３つのカテゴリに対応して表２〜表４を設けている。
表２〜表４の詳細テーブルでは、１行のデータが１つの判定条件の内容を示す。そして、各判定条件は、「ＩＤ」、「要素条件」、「範囲」、および「判定結果」の情報を含む。
【００３６】
これらのうち、「要素条件」は、特徴要素、あるいは特徴要素と他の要素との関係が満たすべき条件を既定したものであり、特徴要素のカテゴリにより、数も内容も異なる。
「範囲」は、特徴要素を基準に領域をどの位置に設定するかを示す。「判定結果」は、その設定した領域に設定する属性を示す。表２〜表４の例では判定結果は文字（文字領域）ばかりであるが、その他の属性を設定してもよいことは勿論である。
【００３７】
表２のテーブルは、表１のテーブルでＩＤ＝Ａの罫線に関する判定条件のテーブルである。罫線については、要素条件として、向き、線色、太さ、範囲色、間隔を設けている。
このうち「向き」は、罫線の向きの条件のことで、縦線、横線、Don’t care（任意）のいずれかが入るものとする。「線色」は罫線の色の条件のことで、表２では黒と示しているが、ＲＧＢの比率または量などの色情報でもよい。「太さ」は罫線の太さの条件のことで、図ではミリメートル（ｍｍ）単位で示しているが、インチ（inch）や画素など単位は適当なものを使用することができる。丁度の太さでなくても、所定誤差範囲であればよいものとする。
【００３８】
「範囲色」は、該当の特徴要素を基準に「範囲」の条件に従い設定される領域内が白黒の場合のみ、該当の特徴要素が要素条件を満たすとするか、カラーを含んでもよいとするかの指定である。「間隔」は、罫線の間隔のことで、抽出された隣の罫線との間の間隔の条件である。この「範囲色」及び「間隔」は、特徴要素そのものの特性に関する条件ではない。
【００３９】
例えば、ＩＤ＝Ａ＿００１の判定条件では、ある罫線が、縦向きの黒い罫線であって太さが０．１ｍｍ、隣の罫線との間に挟まれた部分（「範囲」の条件に基づく）が白黒であれば、隣の罫線との間の間隔によらず、要素条件を満たすことになる。そしてこの場合、要素条件を満たした罫線と、隣の罫線（こちらも同じＩＤの要素条件を満たす必要がある）との間にはさまれた部分に領域を設定し、その領域の属性を「文字」に設定すべきことが規定されている。
【００４０】
次に、表３のテーブルは、表１のテーブルでＩＤ＝Ｂの特定文字に関する判定条件のテーブルである。特定文字については、要素条件として、記号、範囲色、組合せ、記号含むか、向き、を設けている。
「記号」は判定で使用する特定の文字（文字列でもよい）を示しており、画像データや文字コード、フォント、大きさ(幅と高さ)などで示す。「範囲色」は表２の場合と同じである。「組合せ」は、「範囲」を他のＩＤの要素条件を満たす特徴要素を用いて定めたい場合に、そのＩＤを指定する項目である。複数のＩＤを指定してもよい。
「記号含むか」は、「範囲」を特定の文字そのものを含むように設定するか否かを示す。「向き」は、判定で使用する文字列の向きを示し、横と縦のいずれかを指定する。
これらのうち「記号」及び「向き」以外は、特徴要素そのものの特性に関する条件ではない。
【００４１】
例えば、ＩＤ＝Ｂ＿００１の判定条件では、ある特定の文字「Å」が、横向きに配列され、当該「Å」の文字を含み、その文字から、文字列の配列方向に向かって次のＩＤ＝Ａ＿００１の罫線までの領域（「範囲」の条件に基づく）が白黒であれば、その文字「Å」が要素条件を満たすことになる。そして、この場合に、上記「範囲」の条件に基づく領域を設定し、その領域の属性を「文字」に設定すべきことが規定されている。
【００４２】
次に、表４のテーブルは、表１のテーブルでＩＤ＝Ｃの地肌罫線に関する判定条件のテーブルである。地肌罫線については、要素条件として、向き、太さ、範囲色、間隔、が規定されている。この地肌罫線に関する判定条件は、要素条件に「色」を含まない点以外は表２の罫線に関する判定条件と同じである。
【００４３】
次に、画像処理部２００による、以上説明してきた判定条件に従った領域及び属性の設定を含む画像処理の手順について、フローチャートを用いて説明する。
図５に、その画像処理の基本フローを示す。
画像処理部２００は、スキャナ１２０から画像データを取得すると、図５のフローチャートに示す処理を開始する。この画像データの取得に係る処理が、入力手順の処理である。また、入力手段の機能と対応する。
【００４４】
そしてまず、スキャナ補正部２１０の文字領域判定部２１２が画像データ中の文字領域と、それ以外の領域とを判定する（Ｓ１１）。このステップＳ１１の文字領域判定の詳細については、図６及び図７を用いて後述する。次に、スキャナ補正部２１０の像域分離部２１３から文字γ部２１７までの各部が順次、スキャナ１２０から取得した画像データに対し、スキャナ画像用の画像処理を行う（Ｓ１２）。
【００４５】
次に、圧縮処理部２２０が、文字領域判定部２１２の判定に従い、スキャナ１２０から取得した画像データに対し、文字領域とその他の領域（例えば絵柄領域）にそれぞれ適当な方法による圧縮処理を実施する（Ｓ１３）。その後、画像処理部２００は、データインタフェース部２３０を通じてＨＤＤ１０４へ圧縮後の画像データを保存する（Ｓ１４）。
【００４６】
その後、プロッタ１３０にて印刷出力する際に、伸張処理部２４０が、ステップＳ１４で保存した画像を伸張処理する（Ｓ１５）。次に、プリンタ補正部２５０が、伸張後の画像データに対しプロッタ１３０の特性に合わせた画像処理を実施するとともに、ステップＳ１１の判定結果に沿って文字領域の文字を強調する画像処理を行って、処理後の画像データを出力する（Ｓ１６）。
以上で図５の処理は終了する。ステップＳ１６で文字に対して特別な画像処理を行う理由は、ステップＳ１２〜Ｓ１５の処理を実施することにより文字の端部が薄くなることや、地肌レベルが高い原稿で裏移りが発生することによる、文字の読みにくさを改善するためである。
【００４７】
次に、図６に、図５のステップＳ１１の文字領域判定のより詳細な処理手順のフローチャートを示す。このフローチャートに示す処理は、図４に示した文字領域判定部２１２の機能と対応するものである。
図６の処理においてはまず、文字領域判定部２１２は、判定条件取得部２６４が取得した判定条件２６５のカテゴリ一覧（表１）を参照し、判定条件２６５に、罫線に関する条件があるか否か判断する（Ｓ２１）。ここで、あれば、罫線についての領域の設定について検討すべく、罫線領域判定部２６１が、画像データから罫線を全て抽出すると共に（Ｓ２２）、罫線に関する各判定条件（表２参照）を順次処理対象としつつ、ステップＳ２３〜Ｓ２５の処理を繰り返す。
【００４８】
すなわち、罫線領域判定部２６１はまず、ステップＳ２２で抽出した罫線のうち、処理対象の判定条件中の要素条件に合うものを取得する（Ｓ２３）。このとき、罫線領域判定部２６１は取得しなかった罫線の情報も保持しておく。
そして、罫線領域判定部２６１は、ステップＳ２３で取得した罫線と処理対象の判定条件とに従い、画像データ中に罫線を基準とした領域及びその属性を設定する（Ｓ２４）。例えば、ＩＤ＝Ａ＿００１の判定条件を用いた場合、要素条件を満たす罫線に挟まれた部分に領域を設定し、その領域の属性を「文字」に設定する。最後に、処理対象の判定条件と対応付けて、要素条件に合う罫線を保存する（Ｓ２５）。この保存は、別の特徴要素に関する処理で参照するために行うものである。
【００４９】
また、ステップＳ２２〜Ｓ２５のループの終了後、あるいはステップＳ２１でＮＯの場合、処理はステップＳ３１に進む。ここでは、文字領域判定部２１２は、判定条件取得部２６４が取得した判定条件２６５に、地肌罫線に関する条件があるか否か判断する（Ｓ３１）。なお、図６の例では、表１のデータと異なり、地肌罫線に関する判定を２番目に行うようにしている。
【００５０】
ステップＳ３１でＹｅｓであれば、地肌罫線についての領域の設定について検討すべく、地肌罫線領域判定部２６２が、画像データから地肌罫線を全て抽出すると共に（Ｓ３２）、地肌罫線に関する各判定条件（表４参照）を順次処理対象としつつ、ステップＳ３３〜Ｓ３５の処理を繰り返す。
【００５１】
すなわち、地肌罫線領域判定部２６２はまず、ステップＳ３２で抽出した地肌罫線のうち、処理対象の判定条件中の要素条件に合うものを取得する（Ｓ３３）。このとき、地肌罫線領域判定部２６２は取得しなかった地肌罫線の情報も保持しておく。
そして、地肌罫線領域判定部２６２は、ステップＳ３３で取得した地肌罫線と処理対象の判定条件とに従い、画像データ中に地肌罫線を基準とした領域及びその属性を設定する（Ｓ３４）。例えば、ＩＤ＝Ｃ＿００１の判定条件を用いた場合、要素条件を満たす地肌罫線に挟まれた部分に領域を設定し、その領域の属性を「文字」に設定する。最後に、処理対象の判定条件と対応付けて、要素条件に合う地肌罫線を保存する（Ｓ３５）。この保存は、別の特徴要素に関する処理で参照するために行うものである。
【００５２】
また、ステップＳ３２〜Ｓ３５のループの終了後、あるいはステップＳ３１でＮＯの場合、処理は図７のステップＳ４１に進む。ここでは、文字領域判定部２１２は、判定条件取得部２６４が取得した判定条件２６５に、特定文字に関する条件があるか否か判断する（Ｓ４１）。
ステップＳ４１でＹｅｓであれば、特定文字についての領域の設定について検討すべく、特定文字領域判定部２６３が特定文字に関する各判定条件（表３参照）を順次処理対象としつつ、ステップＳ４２〜Ｓ４６の処理を繰り返す。特定文字の場合、判定条件内に特定文字を抽出するための条件が含まれているため、罫線や地肌罫線の場合と異なり、ループの中で特定文字の抽出を行う。
【００５３】
ループの処理において、特定文字領域判定部２６３はまず、処理対象の判定条件から、「記号」及び「向き」の指定に従い、検索用の、特定文字のデータを生成する（Ｓ４２）。次に、特定文字領域判定部２６３は、その生成した特定文字のデータに従い、処理対象の画像データから、特定文字を全て抽出する（Ｓ４３）。
そして、抽出した特定文字のうち、処理対象の判定条件中の要素条件に合うものを取得する（Ｓ４４）。このとき、特定文字領域判定部２６３は取得しなかった特定文字の情報も保持しておく。また、特定文字領域判定部２６３は、処理対象の判定条件において「組合せ」として指定された判定条件と対応付けて保存された特徴要素（ここでは、ステップＳ２５で保存された罫線又はステップＳ３５で保存された地肌罫線）を取得する（Ｓ４５）。
【００５４】
次に、特定文字領域判定部２６３は、ステップＳ４４で取得した特定文字と、ステップＳ４５で取得した特徴要素と、処理対象の判定条件とに従い、画像データ中に、特定文字を基準とした領域及びその属性を設定する（Ｓ４６）。例えば、ＩＤ＝Ｂ＿００１の判定条件を用いた場合、要素条件を満たす特定文字から、文字の配列方向で次のＩＤ＝Ａ＿００１の罫線までの範囲に領域を設定し、その領域の属性を「文字」に設定する。
【００５５】
ステップＳ４２〜Ｓ４６のループの終了後、あるいはステップＳ４１でＮＯの場合、範囲抽出部２６６は、罫線、地肌罫線、および特定文字のそれぞれを基準に設定した領域を総合して、画像データ中の文字属性の領域を確定させる（Ｓ４７）。ここでは文字属性としたが、他の属性でもよい。
以上で図７の処理を終了する。なお、ステップＳ４７の処理の詳細は、図１３を用いて後述する。
【００５６】
以上の図６及び図７の処理において、ステップＳ２２、Ｓ３２及びＳ４３の処理が、抽出手順の処理であり、抽出手段の機能と対応する。ステップＳ２４、Ｓ３４、Ｓ４６及びＳ４７の処理が、属性設定手順の処理であり、属性設定手段の機能と対応する。
なお、この実施形態における文字領域判定部２１２は、上記抽出手段による複数の特徴要素についての特徴要素の抽出と、上記属性設定手段による記属性の設定とを、上述のように考慮する特徴要素を所定の順序で選択しつつ行う。
【００５７】
次に、図６及び図７の処理を具体的な画像データに適用する例について説明する。
まず図８Ａ〜図８Ｃに、紙面を読み取った画像データに対し、ステップＳ２２〜Ｓ２５の、罫線についての領域の設定の処理を適用する例を示す。
図８Ａは、初期状態の画像データを簡略的に表わしたものである。図中の太線６０１〜６０５は罫線を示しており、図中の細線６１０は文字を簡略的に表わしたものである。
図８Ｂは、太線６０１〜６０５の内、要素条件を満たす罫線を抽出した状態を示す。１段の間隔が３０ｍｍであり、各罫線の太さが０．１ｍｍであるとすると、ＩＤ＝Ａ＿００２を処理対象とした図６のステップＳ２２及びＳ２３の処理により、要素条件を満たす罫線として、罫線７０１〜７０４が抽出される。
【００５８】
図８Ｃは、それらの罫線に従って設定される領域を示す。図６のステップＳ２４の処理では、抽出された罫線に挟まれた部分に領域が設定されるため、領域７０６〜７０８が設定される。
なお、図８Ｂでは、表２のＩＤ＝Ａ＿００１を処理対象としたときに抽出される罫線７０５も示している。しかし、この条件で抽出される罫線は罫線７０５のみであり、複数の罫線に挟まれる部分はないため、領域の設定はなされない。
【００５９】
次に、図９Ａ及び図９Ｂに、図８Ａと同じ画像データに対し、図６のステップＳ３２〜Ｓ３５の、地肌罫線についての領域の設定の処理を適用する例を示す。
図９Ａは、そこから要素条件を満たす地肌を抽出した状態を示す。図９Ａに示すように、画像データ中の地肌領域としては、例えば符号８０１〜８０４に示す領域を抽出できる。しかし、この中で例えば表４のＩＤ＝Ｃ＿００２の要素条件を満たす地肌領域は、地肌罫線８０１，８０２のみであり、これらが地肌罫線として抽出される。
【００６０】
図９Ｂは、それらの罫線に従って設定される領域を示す。ステップＳ３４の処理では、抽出された地肌罫線に挟まれた部分に領域が設定されるため、領域８１１が設定される。なお、領域８１２は、図９Ａの地肌罫線には挟まれていない。しかし、要素条件に「組合せ」としてＡ＿００２を規定することで、罫線７０３と地肌罫線８０２で挟まれる部分にも領域を設定できるようにすれば、領域８１２も設定することができる。「範囲」を「地肌罫線に接する部分」としても同様である。
【００６１】
次に、図１０に、図７におけるステップＳ４２〜Ｓ４６の、特定文字についての領域の設定の処理を適用した例を示す。ここでは、表３のＩＤ＝Ｂ＿００１の判定条件について説明する。
この判定条件では、「組合せ」としてＡ＿００１の罫線が指定されていることから、Ａ＿００１の要素条件を満たす罫線９０１，９０２を用いて領域を設定する。
図４の特定文字領域判定部２６３は、要素条件中の「記号」の「Å」及び「向き」の「横」から特定文字の画像データを生成し、画像データの中に生成した画像データとマッチする箇所が存在するかを検索する。その結果、符号９５で示す文字「Å」を見つける。そして、文字「Å」の位置と、次の罫線９０２とに挟まれた範囲を、領域９０３として設定する。
ここで、画像データの中から一致する文字データを検索するには時間がかかってしまうので、「組合せ」で定義している罫線に対する特定文字の位置などを定義しておき、定義した位置のみに対して特定文字の検索を行うのがよい。
【００６２】
次に、図１１Ａ及び図１１Ｂを用いて、原稿が地肌罫線を含む場合で、かつ地肌罫線の判定条件が無い場合に、罫線による判定条件を使って地肌罫線の抽出を行う方法について説明する。この処理は、図６及び図７の処理における地肌抽出の変形例に該当する。
【００６３】
図１１Ａにおいて、罫線７０１〜７０４は、図８Ｂで抽出されたものと同じである。この場合、罫線７０１及び７０２のように、罫線が画像の途中で切れている箇所には、しばしばその延長線上に地肌罫線がある。そこで、延長線１００１，１００２上で地肌検出を行い、ここで検出された地肌領域に対して罫線に関する判定条件を適用すると、領域設定の基礎とする地肌罫線の領域を抽出可能である。
ここでは、延長線１００１，１００２上に、図１１Ｂに示すように罫線１００３，１００４が抽出されるとし、罫線に関する判定条件に従い、罫線に挟まれる領域１００６，１００７が設定される。
【００６４】
次に、図１２Ａ及び図１２Ｂを用いて、地肌抽出の結果から地肌罫線の候補を抽出する方法について説明する。
なお、適宜公知の技術を適用して、画像データ中で文字が縦書きか横書きかは特定できる。この特定した状態で、図１２Ａに示すように、原稿の画像データ１１０１の縦方向と横方向の黒色部のヒストグラム１１０２，１１０３を取得する。画像データ１１０１は縦書きなので、ヒストグラム１１０３の行間を取得する。ただし、行間は地肌罫線の候補としない。行間以上の幅でヒストグラム値が低い部分１１３１と１１３２と対応する箇所の、画像データ１１０１における地肌を抽出し、図１２Ｂに示すように、地肌が連続する領域１１３３，１１３４を地肌罫線の候補として抽出できる。
【００６５】
また、ヒストグラム１１０２から、値が低い部分１１２１，１１２２，１１２３の画像データ１１０１における地肌を抽出し、地肌が連続する領域１１２４，１１２５，１１２６を、地肌罫線の候補として抽出できる。
ここで、ヒストグラムの値が低いか否かを決める基準１１０４，１１０５は、あらかじめシステム内に固定で設定しておく。
【００６６】
次に、図１３を用いて、複数の特徴要素に基づく領域の設定結果を集計して最終的に文字領域を確定させる方法について説明する。
罫線に基づく文字領域の設定結果を１２０１、地肌罫線に基づく文字領域の設定結果を１２０２、特定文字に基づく文字領域の設定結果を１２０３のそれぞれのハッチング部とする。
１２０１と１２０２を合わせた状態を１２０４とし、さらに１２０４に１２０３を合わせた状態を１２０５とする。１２０５において重なっている部分を説明するために、一行分をピックアップし、それぞれの特徴要素に基づき文字属性の領域を設定した部分を枠囲い及び「１」で示す（１２１１〜１２１３）。また、一行分のサイズ目安として、１２１４として全て「０」としたデータを示す。
【００６７】
１２１１〜１２１３の結果を座標ごとに足し（１２１５、１２１６）、その加算結果を最終的な文字領域の確定に使用することができる。
１２１５は、閾値として２を用い、加算結果が２以上の領域を文字領域とする例である。この場合、枠囲いされた範囲が文字領域として確定される。
１２１６は、罫線に基づく文字領域の設定結果の優先度を高くした場合である。ここでは、加算結果が２以上の領域でかつ１２１３の判定結果で「１」となっている、枠囲いの部分が文字領域として確定される。
【００６８】
このように、この実施形態の文字領域判定部２１２は、抽出手段による特徴要素の抽出と、属性設定手段による判定条件を参照した入力した画像データに対する属性の設定とを、複数の特徴要素についてそれぞれ行う。そして、属性設定手段は、複数の特徴要素に従ってそれぞれ設定した属性を、その複数の特徴要素分集計して、上記入力した画像データ中における各部分の属性を設定する。
さらに、判定方法が多い場合には、優先度の高い方法の判定結果へ優先度相当の大きな数字を掛け、その掛けた値同士を足したときの値が、１２１５のときの２のような基準値以上であるか否かにより、文字領域を決定することができる。いずれにせよ、閾値や優先度は、予め設定しておく。
【００６９】
以上で実施形態の説明を終了するが、この発明において、装置の具体的な構成、具体的な処理の手順、データの形式、具体的なデータの内容、判定条件の内容や数、項目等は、実施形態で説明したものに限るものではない。
例えば、文字領域に関する特徴を複数の特徴要素抽出から取得して扱う場合、複数種の結果から特徴の優先度の考慮や文字領域とするための条件付けにより、最終的な文字領域を確定させるようにすることが考えられる。このことにより、文字領域判定を上述した実施形態以外の処理工程で実施している場合にも拡張性が上がる。また、条件付けをユーザが出来るようにＵＩを設ければ、利便性を向上できるという効果がある。
【００７０】
また、文字領域に関する特徴を罫線抽出から取得した場合に、判定対象の罫線が、例えば新聞の罫線であることを判断するとよい。このことにより、属性情報の判別属性に条件をつけ、罫線抽出で抽出する罫線の特徴を特定でき、精度を高めることができる。
また、文字領域に関する特徴を地肌罫線抽出から取得した場合に、罫線抽出の延長線を仮定し、延長線上の画像データから文字範囲を判断できる対象であるか否かを判定するとよい。このようにすれば、罫線が存在しない場所でも文字領域判定の精度を保つことができる。
【００７１】
また、文字領域に関する特徴を特定文字抽出から取得した場合に、フォントデータを基に文字領域を判定するとよい。このようにすれば、行抽出で誤判定しやすかった特殊文字も文字領域として判定できるため、精度を高めることができる。
また、複数の特徴要素に基づく抽出を行う場合に、どの抽出を先に行うかの優先度をユーザが決められるようにするとよい。抽出順を定めることにより、ユーザが意図した文字領域や絵柄領域の判定をすることができる。
【００７２】
また、判定条件を抽出範囲と判定結果も含んだ情報として保持する場合に、判定条件とともに抽出範囲と判定結果を取得し、その取得情報を基に抽出範囲や判定結果を決定するようにするとよい。このことにより、抽出基準の項目数に応じた抽出範囲の確定や判定結果を保持することが出来る。
また、判定条件を画像処理の制御方法も含んだ情報として保持する場合に、判定条件とともに制御方法も取得し、その取得情報を基に制御するようにするとよい。このことにより、抽出基準の項目数に応じた制御を変えることができる。
【００７３】
また、原稿の種類を抽出するための抽出基準を保持し、原稿の特徴として文字原稿や写真原稿などの原稿の種類を判断するようにするとよい。原稿の種類を判別できれば、文字の割合が多い原稿に対する圧縮処理の時間短縮や原稿種に応じた画像処理を施すことができる。
また、画像の特性として文字や絵柄の特性を区別するようにした場合に、文字部と絵柄部の画像処理を切り替えるとよい。このことにより、文字の端部が薄くなり読みにくくなってしまう画像データに対して、文字の部分だけ端部を濃くしたり文字自体を濃くしたりすることにより文字を読みやすくすることができる。
【００７４】
また、画像の特性を原稿の特性とした場合に、原稿の特性で画像処理を切り替えるとよい。このことにより、地肌濃度が高く紙が薄い原稿に、例えば新聞や広告があるが、地肌が濃すぎたり両面印刷されているときには裏移りしたりして、文字が読みにくくなってしまう。そのような特徴の原稿を読み取った画像データに対して、地肌補正を強めにしたり、裏移り除去したりすることにより、文字を読みやすくすることができる。
【００７５】
また、この発明のプログラムの実施形態は、コンピュータに所要のハードウェアを制御させて上述した実施形態におけるＭＦＰ１００の機能の全部又は一部を実現させるためのプログラムである。
このようなプログラムは、はじめからコンピュータに備えるＲＯＭや他の不揮発性記憶媒体（フラッシュメモリ，ＥＥＰＲＯＭ等）などに格納しておいてもよい。しかし、メモリカード、ＣＤ、ＤＶＤ、ブルーレイディスク等の任意の不揮発性記録媒体に記録して提供することもできる。それらの記録媒体に記録されたプログラムをコンピュータにインストールして実行させることにより、上述した各手順を実行させることができる。
さらに、ネットワークに接続され、プログラムを記録した記録媒体を備える外部装置あるいはプログラムを記憶手段に記憶した外部装置からダウンロードし、コンピュータにインストールして実行させることも可能である。
【００７６】
また、以上説明してきた実施形態及び変形例の構成が、相互に矛盾しない限り任意に組み合わせて実施可能であり、また、一部のみを取り出して実施することができることは、勿論である。
【符号の説明】
【００７７】
１００：ＭＦＰ、１０１：ＣＰＵ、１０２：ＲＯＭ、１０３：ＲＡＭ、１０４：ＨＤＤ、１０５：通信Ｉ／Ｆ、１０６：操作部、１０７：表示部、１０８：エンジンＩ／Ｆ、１２０：スキャナ、１３０：プロッタ、２００：画像処理部、２１０：スキャナ補正部、２２０：圧縮処理部、２３０：データインタフェース部、２４０：伸張処理部、２５０：プリンタ補正部、２６１：罫線領域判定部、２６２：地肌罫線領域判定部、２６３：特定文字領域判定部、２６４：判定条件取得部、２６５：判定条件、２６６：範囲抽出部、２６７：判定結果設定部
【先行技術文献】
【特許文献】
【００７８】
【特許文献１】特開２００７−１８９２７５号公報
【特許文献２】特許第３８９８６４５号公報
【特許文献３】特許第３２５１１１９号公報
【図１】
0006798309.tif 000006
【図２】
0006798309.tif 000007
【図３】
0006798309.tif 000008
【図４】
0006798309.tif 000009
【図５】
0006798309.tif 000010
【図６】
0006798309.tif 000011
【図７】
0006798309.tif 000012
【図８Ａ】
0006798309.tif 000013
【図８Ｂ】
0006798309.tif 000014
【図８Ｃ】
0006798309.tif 000015
【図９Ａ】
0006798309.tif 000016
【図９Ｂ】
0006798309.tif 000017
【図１０】
0006798309.tif 000018
【図１１Ａ】
0006798309.tif 000019
【図１１Ｂ】
0006798309.tif 000020
【図１２Ａ】
0006798309.tif 000021
【図１２Ｂ】
0006798309.tif 000022
【図１３】
0006798309.tif 000023