(57)【特許請求の範囲】
【請求項１】
入力された画像について画素毎に特徴量を抽出し、
前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成し、
前記画素属性情報に基づいて、写真領域又は網点領域に対しては、属性の境界に位置する画素に対しハフ変換を適用して直交座標平面において軸に平行又は垂直な直線を検出し、検出した直線によって前記画像を複数の矩形の局所領域に分割し、且つ分割した局所領域について、各局所領域に含まれる画素のうち同じ属性の画素数の最も多い属性を各局所領域の各画素の属性として決定することによって前記画素属性情報を補正し、
補正された画素属性情報に基づいて前記各領域に対しそれぞれの属性に対応した画像処理を行う、
ことを特徴とする画像処理方法。
【請求項２】
文字領域に対しては、その領域に含まれる画素に対してクロージング処理を適用することによって、それぞれの画素の画素属性情報の補正を行う、
請求項１記載の画像処理方法。
【請求項３】
入力された画像について画素毎に特徴量を抽出する手段と、
前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成する手段と、
属性の境界に位置する画素に対しハフ変換を適用して直交座標平面において軸に平行又は垂直な直線を検出し、検出した直線によって前記画像を複数の矩形の局所領域に分割し、且つ分割した各局所領域について、各局所領域に含まれる画素のうち同じ属性の画素数の最も多い属性を各局所領域の各画素の属性として決定することによって前記画素属性情報を補正する第１の属性補正手段と、
補正された画素属性情報に基づいて前記各領域に対しそれぞれの属性に対応した画像処理を行う手段と、
を有してなることを特徴とする画像処理装置。
【請求項４】
文字領域に含まれる画素に対してクロージング処理を適用することによってそれぞれの画素の画素属性情報の補正を行う第２の属性補正手段と、
前記画素属性情報に基づいて、前記第１の属性補正手段と前記第２の属性補正手段とを属性に対応して切り換える切換え手段と、
を有してなる請求項３記載の画像処理装置。
【請求項５】
前記第２の属性補正手段は、
注目画素及びその周辺画素の中の最大値を検出する手段と、
検出された最大値を注目画素に置き換える手段と、
置き換えられた注目画素及びその周辺画素の中の最小値を検出する手段と、
検出された最小値を注目画素に置き換える手段と、
を有してなる請求項４記載の画像処理装置。
【請求項６】
前記切換え手段は、
写真領域及び網点領域に対しては前記第１の属性補正手段を選択し、文字領域に対しては前記第２の属性補正手段を選択する、
請求項４または請求項５記載の画像処理装置。
【請求項７】
前記第１の属性補正手段は、
前記画素属性情報に基づいて境界に位置する画素である境界点を抽出する手段と、
直交座標平面における前記各境界点に対しハフ変換を適用して極座標平面上の曲線に変換する手段と、
極座標平面に変換された各曲線の交点を検出する手段と、
検出された交点のうちθ＝０、π／２、πのいずれかの位置にある交点の極座標を直交座標平面上の直線に逆変換することによって境界線を生成する手段と、
前記境界線によって囲まれた矩形の領域を局所領域として抽出する手段と、
前記局所領域毎の属性を判別する手段と、
を有してなる請求項３乃至６のいずれかに記載の画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、文字画像、網点画像、又は濃淡画像（写真画像）など、種々の属性の画像が混在する原稿画像に対し、その属性に応じた適切な画像処理を行うことのできる画像処理装置に関し、例えばデジタル複写機などに利用される。
【０００２】
【従来の技術】
複写機などで使用される原稿には、文字画像のみの原稿、写真画像のみの原稿、網点画像のみの原稿の他、それらが混在している原稿がしばしば用いられる。これら種々の画像に対する画像処理は，それぞれの特性に適応した処理が望ましい。
【０００３】
そのためには、原稿画像を、文字／写真／網点などの属性に応じた領域に分割する領域判別を正確に行う必要がある。
従来の領域判別においては、原稿画像内の画素毎に、注目画素とその周辺画素との間の濃度差、注目画素を含む領域内の最大値と最小値との差、又はヒストグラムなどの濃度情報に基づいて、注目画素の属性を判定する方法がしばしば用いられている。また、注目画素を含む領域内の周波数成分からその領域内の属性を判別する方法も知られている。これらの領域判別のために、ニューラルネットがしばしば用いられる。
【０００４】
【発明が解決しようとする課題】
ところが、上述した従来の領域判別方法では、原稿画像内の画素毎の属性、又は周辺画素を含めた狭い領域の属性を判別するものであるため、各領域における属性に誤判別がしばしば発生する。
【０００５】
そのため、原稿画像における実際の１つの属性の領域内に、異なる属性であると誤判別された複数の属性の領域が点在することとなる可能性がある。そうすると、実際には同一の属性の領域であるにも係わらず、誤判別された属性に対応する内容の複数種類の画像処理が実行されることとなり、誤判別による画質劣化が生じるという問題があった。
【０００６】
本発明は、上述の問題に鑑みてなされたもので、原稿画像に複数種類の画像が存在する場合であっても、画像の境界線を抽出することによって領域判別を正確に行い、各領域に対して属性に応じた適切な画像処理を行うことのできる画像処理方法及び装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明に係る方法は、入力された画像について画素毎に特徴量を抽出し、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成し、前記画素属性情報に基づいて、写真領域又は網点領域に対しては、属性の境界に位置する画素に対しハフ変換を適用して直交座標平面において軸に平行又は垂直な直線を検出し、検出した直線によって前記画像を複数の矩形の局所領域に分割し、且つ分割した局所領域について、各局所領域に含まれる画素のうち同じ属性の画素数の最も多い属性を各局所領域の各画素の属性として決定することによって前記画素属性情報を補正し、補正された画素属性情報に基づいて前記各領域に対しそれぞれの属性に対応した画像処理を行う。
好ましくは、文字領域に対しては、その領域に含まれる画素に対してクロージング処理を適用することによって、それぞれの画素の画素属性情報の補正を行う。
【０００８】
本発明に係る装置は、入力された画像について画素毎に特徴量を抽出する手段と、前記特徴量に基づき画素毎に属性を判別して画素属性情報を生成する手段と、属性の境界に位置する画素に対しハフ変換を適用して直交座標平面において軸に平行又は垂直な直線を検出し、検出した直線によって前記画像を複数の矩形の局所領域に分割し、且つ分割した各局所領域について、各局所領域に含まれる画素のうち同じ属性の画素数の最も多い属性を各局所領域の各画素の属性として決定することによって前記画素属性情報を補正する第１の属性補正手段と、補正された画素属性情報に基づいて前記各領域に対しそれぞれの属性に対応した画像処理を行う手段と、を有して構成される。
好ましくは、文字領域に含まれる画素に対してクロージング処理を適用することによってそれぞれの画素の画素属性情報の補正を行う第２の属性補正手段と、前記画素属性情報に基づいて、前記第１の属性補正手段と前記第２の属性補正手段とを属性に対応して切り換える切換え手段と、を有して構成される。
【０００９】
好ましくは、前記第１の属性補正手段は、前記画素属性情報に基づいて境界に位置する画素である境界点を抽出する手段と、直交座標平面における前記各境界点に対しハフ変換を適用して極座標平面上の曲線に変換する手段と、極座標平面に変換された各曲線の交点を検出する手段と、検出された交点のうちθ＝０、π／２、πのいずれかの位置にある交点の極座標を直交座標平面上の直線に逆変換することによって境界線を生成する手段と、前記境界線によって囲まれた矩形の領域を局所領域として抽出する手段と、前記局所領域毎の属性を判別する手段と、を有して構成される。
【００１０】
また、前記第２の属性補正手段は、注目画素及びその周辺画素の中の最大値を検出する手段と、検出された最大値を注目画素に置き換える手段と、置き換えられた注目画素及びその周辺画素の中の最小値を検出する手段と、検出された最小値を注目画素に置き換える手段と、を有して構成される。
【００１１】
また、前記切換え手段は、写真領域及び網点領域に対しては前記第１の属性補正手段を選択し、文字領域に対しては前記第２の属性補正手段を選択する。
【００１２】
本発明による画像処理方法の例を図１１を参照して説明し、ハフ変換による属性補正処理の動作を図７及び図８を参照して説明する。
図１１において、各画素毎に属性を判別し（＃１１）、各属性毎に属性マップＭＰを作成する（＃１２）。つまり、文字、写真、及び網点の各画像の候補領域毎に属性マップＭＰを作成する。
【００１３】
文字画像の候補領域に対しては、その属性マップＭＰについてクロージング処理を行う（＃１３）。クロージング処理では、最大文字サイズ相当のディスクフィルタを用い、画像を一旦太らせた後に縮める処理を行う。
【００１４】
写真又は網点の候補領域に対しては、それぞれの属性マップＭＰについて、ハフ変換による属性判別処理を行う（＃１４、１５）。ぞれらの処理が終わった後に、それぞれの属性マップＭＰを総合的に判定して合成する（＃１６）。合成に当たっては、画素毎の属性の判別の精度のよい順、例えば、網点、写真、文字の順に優先して合成する。
【００１５】
図７（Ａ）に概念的に示す原画像ＲＦに対し画素毎に属性判別を行うと、図７（Ｂ）に示すように、領域Ａ１であると判別された画素ＧＡ１と領域Ａ２であると判別された画素ＧＡ２とが混在した属性マップＭＰ１が得られる。
【００１６】
図７（Ｂ）に示す属性マップＭＰ１に対し雑音除去を施すことによって、図７（Ｃ）に示す属性マップＭＰ２が得られる。図８（Ｄ）は、図７（Ｃ）に示す属性マップＭＰ２に対して、領域Ａ２と非領域Ａ２との境界点ＧＢを抽出した結果を示す境界マップＭＰ３である。
【００１７】
境界点ＧＢに対しハフ変換を適用して直交座標平面において軸に平行又は垂直な線分を検出し、且つ所定の長さ以上の線分ＬＢ３，ＬＢ４を検出した結果が、図８（Ｅ）に示されている。線分ＬＢ３，ＬＢ４を境界線として、矩形の４つの局所領域ＡＬ１〜４に分割されている。これらの局所領域ＡＬ１〜４のそれぞれにおいて、属性の判別が行われる。
【００１８】
図８（Ｆ）は、各局所領域ＡＬ１〜４において、画素ＧＡ１の数と画素ＧＡ２の数との多い方の画素ＧＡの属性を採用した結果を示す。すなわち、局所領域ＡＬ１及び２は領域Ａ１、局所領域ＡＬ３及び４は領域Ａ２となっており、これは原画像ＲＦの実際の領域Ａ１，Ａ２に近い。
【００１９】
なお、局所領域ＡＬへの分割の際に、分割された局所領域ＡＬに対し、所定の長さ以上の線分が検出されなくなるまで、局所領域ＡＬへの分割を再帰的に行うことも可能である。
【００２０】
【発明の実施の形態】
図１は本発明に係る画像処理部２３を内蔵した画像読取り装置１の全体の構成を示す図である。
【００２１】
図１において、画像読取り装置１は、本体１０、原稿カバー１１、原稿載置ガラス１２、露光ランプ１３、ミラー１４ａ，ｂ，ｃ、レンズ１５、ＣＣＤセンサ１６、スライダー駆動部１７、操作パネル部２１、制御部２２、及び画像処理部２３などから構成されている。
【００２２】
原稿載置ガラス１２の上に載置された原稿ＤＲは、露光ランプ１３によって照射される。原稿ＤＲからの反射光は、ミラー１４ａ，ｂ，ｃによってレンズ１５に導かれ、原稿ＤＲの画像がＣＣＤセンサ１６上で結像する。
【００２３】
露光ランプ１３及びミラー１４ａ，ｂ，ｃは、スライダー駆動部１７によって倍率に応じた速度で移動され、原稿載置ガラス１２の上に載置された原稿ＤＲをその全面にわたって走査する。
【００２４】
ＣＣＤセンサ１６に入射した原稿ＤＲの反射光は、ＣＣＤセンサ１６によって電気信号である画像信号ＳＰに変換され、画像処理部２３に入力される。画像処理部２３において、画像信号ＳＰに対し、種々のアナログ信号処理、Ａ／Ｄ変換、及びデジタル画像処理が順次行われる。画像処理が行われた画像データＤＯは、外部機器２４、例えば画像メモリ又はプリンタ部へ出力される。
【００２５】
図２は画像処理部２３の構成を示すブロック図である。
画像処理部２３は、Ａ／Ｄ変換部３１、シェーディング補正部３２、ＬＯＧ補正部３３、画像格納部３４、領域判別部３５、及び画像補正部３６から構成されている。
【００２６】
ＣＣＤセンサ１６から出力された画像信号ＳＰは、Ａ／Ｄ変換部３１によってデジタル信号である画像データＤ１に変換され、シェーディング補正部３２及びＬＯＧ補正部３３を経て画像格納部３４に格納される。画像格納部３４に格納された画像データＤ３に基づいて、領域判別部３５によって局所領域毎の属性が判別され、属性情報ＤＡ２が出力される。画像補正部３６においては、領域判別部３５における判別結果に応じてパラメータが切り換えられ、画像データＤ３に対し局所領域毎にその属性に対応した画像処理が行われる。
【００２７】
図３は領域判別部３５の構成を示すブロック図である。
領域判別部３５は、特徴量抽出部４１、属性判別部４２、演算部４３、属性格納部４４、及び局所領域属性格納部４５から構成される。
【００２８】
特徴量抽出部４１は、入力された画像データＤ３について画素毎に特徴量ＤＣを抽出する。特徴量抽出部４１として、例えばラプラシアンフィルタが用いられる。属性判別部４２は、特徴量ＤＣに基づいて画素毎に属性を判別し、属性情報ＤＡ１を出力する。属性情報ＤＡ１は属性格納部４４に格納される。属性情報ＤＡ１は本発明における画素属性情報に相当する。
【００２９】
演算部４３は、属性情報ＤＡ１に基づいて、局所領域毎の属性を判別する演算を行って補正された属性情報ＤＡ２を出力する。すなわち、演算部４３は、写真領域又は網点領域に対してはハフ変換を適用して局所領域に分割し且つ分割した局所領域について属性を判別することによって属性情報ＤＡ１を補正し、文字領域に対してはモホロジー処理の１種であるクロージング（Ｃｌｏｓｉｎｇ）処理を行って属性情報ＤＡ１を補正する。補正された属性情報は合成され、１つの属性情報ＤＡ２として出力される。
【００３０】
ハフ変換を適用した属性補正処理においては、属性情報ＤＡ１に基づいて、属性の境界に位置する画素に対しハフ変換を適用して直線を検出し、検出した直線によって画像データＤ３を複数の矩形の局所領域に分割し、分割した各局所領域について属性を判別する。各局所領域についての属性が属性情報ＤＡ２である。局所領域属性格納部４５は属性情報ＤＡ２を格納する。演算部４３及び属性格納部４４によって、属性補正部ＡＭが構成されている。
【００３１】
したがって、画像格納部３４から読み出された画像データＤ３は、特徴量抽出部４１において画素毎の特徴量ＤＣが抽出され，属性判別部４２において画素毎の属性が判別され、得られた属性情報ＤＡ１が属性格納部４４に格納される。属性格納部４４に格納された属性情報ＤＡ１は演算部４３により読み出され、ハフ変換又はクロージング処理を適用して属性補正処理が行われ、補正された属性情報ＤＡ２は局所領域属性格納部４５に格納される。
【００３２】
図４は属性補正部ＡＭの構成を機能的に示すブロック図である。
属性補正部ＡＭは、切換え部５０、ノイズ除去処理部５１、境界点抽出部５２、ハフ変換部５３、交点検出部５４、逆変換部５５、局所領域抽出部５６、属性判別部５７、クロージング処理部５８、及び合成部５９から構成される。これらのうち、ノイズ除去処理部５１、境界点抽出部５２、ハフ変換部５３、交点検出部５４、逆変換部５５、局所領域抽出部５６、及び属性判別部５７によって第１の属性補正部ＡＭ１が構成されており、クロージング処理部５８によって第２の属性補正部ＡＭ２が構成されている。
【００３３】
切換え部５０は、属性情報ＤＡ１に基づいて、第１の属性補正部ＡＭ１と第２の属性補正部ＡＭ２とを切り換え、属性情報ＤＡ１の補正処理をその属性に対応して行うようにする。通常、属性情報ＤＡ１が文字画像である場合には第２の属性補正部ＡＭ２を選択し、属性情報ＤＡ１が写真画像又は網点画像である場合には第１の属性補正部ＡＭ１を選択する。
【００３４】
第１の属性補正部ＡＭ１において、ノイズ除去処理部５１は、属性情報ＤＡ１に含まれるノイズを除去するための処理を行う。ノイズ除去処理部５１では、写真画像及び網点画像の候補領域に対して、候補領域に含まれる小さな面積の他の画像の候補領域を削除する。例えば、写真画像及び網点画像の候補領域に含まれる１４ポイントの文字サイズ以下の面積領域を除去する。これによって属性情報ＤＡ１ａが得られる。
【００３５】
境界点抽出部５２は、画素毎に判別された属性の情報である属性情報ＤＡ１ａに基づいて、境界に位置する画素である境界点ＰＢを抽出する。ハフ変換部５３は、直交座標平面における各境界点ＰＢに対し、ハフ変換（Ｈｏｕｇｈ変換）を適用して極座標平面上の曲線に変換する。交点検出部５４は、極座標平面に変換された各曲線の交点ＰＣを検出する。逆変換部５５は、検出された交点ＰＣの極座標を直交座標平面上の直線に逆変換することによって境界線ＬＢを生成する。局所領域抽出部５６は、境界線ＬＢによって囲まれた領域を局所領域ＡＬとして抽出する。
【００３６】
属性判別部５７は、局所領域ＡＬ毎の属性を判別し、その判別結果である属性情報ＤＡ２ａを出力する。局所領域ＡＬ毎の属性の判別に当たっては、画素毎に判別された属性が用いられる。例えば、１つの局所領域ＡＬ内において、特定の属性の画素が５０パーセント以上あれば、その画素の属性を局所領域ＡＬの属性とする。また、局所領域ＡＬ内に３種類以上の属性の画素が混在する場合には、それらのうちの画素数の最も多い属性を局所領域ＡＬの属性とする。
【００３７】
クロージング処理部５８は、最大文字サイズ（１４ポイント）相当のディスクフィルタを用い、画像を一旦太らせた後に縮める処理を行う。図示は省略したが、クロージング処理部５８には、注目画素及びその周辺画素の中の最大値を検出する手段、検出された最大値を注目画素に置き換える手段、置き換えられた注目画素及びその周辺画素の中の最小値を検出する手段、及び検出された最小値を注目画素に置き換える手段が設けられている。クロージング処理部５８によって、領域内の各画素にクロージング処理を施し、その処理の結果に応じて属性情報ＤＡ１を補正し、補正された属性情報ＤＡ２ｂを出力する。
【００３８】
合成部５９は、第１の属性補正部ＡＭ１から出力される属性情報ＤＡ２ａと、クロージング処理部５８から出力される属性情報ＤＡ２ｂとを合成して１つの属性情報ＤＡ２とする。
【００３９】
図５は画像補正部３６の構成を示すブロック図である。
図５において、画像補正部３６は、変倍／移動処理部６１、ＭＴＦ補正部６２、濃度補正部６３、及び２値化処理部６４から構成される。これらの各部において、それぞれの処理のためのパラメータが、領域判別部３５から出力される属性情報ＤＡ２に基づいて設定される。これによって、局所領域ＡＬ毎に、その属性に対応した画像処理が行われる。例えば、文字領域に対してはエッジ強調処理、写真画像に対しては平滑化処理、網点画像に対してはフィルタリング処理などが行われる。
【００４０】
次に、領域判別部３５の処理動作、特に属性情報ＤＡの処理動作についてさらに詳しく説明する。まず、ハフ変換について簡単に説明する。
図６はハフ変換の概念を示す図である。このうち、図６（Ａ）はｘ−ｙ空間（直交座標平面）における各点Ａ〜Ｇの位置を示し、図６（Ｂ）は各点Ａ〜Ｇをハフ変換によってρ−θ空間（極座標平面）上に表した曲線を示す。
【００４１】
ハフ変換は、画像の中から、直線、円、楕円などの図形を検出するための方法である。特に、Ｄｕｄａ  ａｎｄ  Ｈａｒｔの方法による直線検出方法がよく用いられており、本実施形態においてもこの方法を用いる。この方法においては、直線を、
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ  ……（１）
で表現する。ここで、ρは原点から直線へ下ろした垂線の長さ、θは垂線とｘ軸のなす角度である。
【００４２】
図６（Ａ）に示すｘ−ｙ空間上の点、例えばＡ点（ｘ0 ，ｙ0 ）は、（１）式によると、図６（Ｂ）に示すρーθ空間においては、１本の正弦曲線の軌跡ρ＝ｘ0 ｃｏｓθ＋ｙ0 ｓｉｎθに対応する。
【００４３】
これとは逆に、ρ−θ空間における１本の正弦曲線の軌跡は、ｘ−ｙ空間において（ｘ0 ，ｙ0 ）を通る総ての直線群を表している。したがって、ｘ−ｙ空間における１本の直線上の各点をそれぞれρ−θ空間に変換した場合、これらの点からρ−θ空間上に作られる各正弦曲線の軌跡は一点で交わることとなる。軌跡の交わった点を逆変換することによって、ｘ−ｙ空間に１本の直線が得られる。つまり、この方法によれば、離散的な点に基づいて、換言すれば直線にとぎれのある場合であっても、１本の直線を検出することができる。
【００４４】
図６（Ａ）において、ｘ−ｙ空間上の点Ａ，Ｂ，Ｃ，Ｄは１本の直線ＬＢ１上の点である。直線ＬＢ１において、θはπ／４である。これらの各点をハフ変換によりρ−θ空間上に変換すると、図６（Ｂ）に示すように、それぞれ正弦曲線の軌跡となり、それぞれの軌跡は交点αで交わる。
【００４５】
同様に、ｘ−ｙ空間上の点Ｅ，Ｂ，Ｆ，Ｇは１本の直線ＬＢ２上の点である。直線ＬＢ２において、θはπ／２である。これらの各点をハフ変換によりρ−θ空間上に変換すると、図６（Ｂ）に示すような正弦曲線の軌跡となり、それぞれの軌跡は交点βで交わる。
【００４６】
このように、ｘ−ｙ空間において軸に平行又は垂直な直線は、ρ−θ空間においてはθ＝０、π／２、πの位置に交点がある。したがって、θ＝０、π／２、πの位置に交点があった場合に、その交点をｘ−ｙ空間上に逆変換することによって、ｘ−ｙ空間において軸に平行又は垂直な直線（線分）を求めることができる。
【００４７】
直線を求めるための具体的な手法としては、原画像から直線の要素候補となる画素位置を検出し、その画素位置に対応するρ−θ空間上の軌跡の各点を求める。得られた各点によって、ρ−θ空間における座標位置に対しカウントアップする。ある閾値以上のカウント値をもつ点（極大値点）が交点であるから、その極大値点に対し（１）式を用いて逆変換を施すことによって、ｘ−ｙ平面上の直線が抽出される。
【００４８】
また、その極大値点を通る軌跡に対応するｘ−ｙ平面上の座標位置に基づいて、直線（線分）の長さが検出される。例えば、図６において、Ｅ，Ｂ，Ｆ，Ｇの各点が直線上にあることが検出された場合に、これら４点の中の端の点Ｅ及びＧを検出し、これら２点間の距離を測定すればよい。したがって、所定の長さ以上の線分のみを抽出することが可能である。
【００４９】
次に、画像読取り装置１における属性補正処理の動作を説明する。
図７及び図８はハフ変換による属性補正処理の動作を概念的に説明するための図である。
【００５０】
図７（Ａ）には、原稿ＤＲの画像である原画像ＲＦについて、属性の異なる２つの領域Ａ１及び領域Ａ２の境界部が示されている。なお、領域Ａ１は、領域Ａ２でない領域、つまり非領域Ａ２である。原画像ＲＦに対し、画素毎に属性判別を行うと、図７（Ｂ）に示すように、領域Ａ１であると判別された画素ＧＡ１と領域Ａ２であると判別された画素ＧＡ２とが混在した属性マップＭＰ１が得られる。各画素ＧＡ１は白色で、各画素ＧＡ２は灰色で、それぞれ示されている。
【００５１】
図７（Ｂ）に示す属性マップＭＰ１によると、一方の領域が他方の領域に入り込んだ状態となっており、雑音の混じった状態である。属性マップＭＰ１に対し雑音除去を施すことによって、図７（Ｃ）に示す属性マップＭＰ２が得られる。雑音除去を施すことによって、境界点の個数が減少して演算時間が低減し、且つ誤判別も減少する。なお、雑音除去処理の方法として、ある所定サイズ以下の面積領域を削除する方法、ある所定サイズのマトリクス内の属性カウント値に応じて属性マップを補正する方法などがある。
【００５２】
図８（Ｄ）は、図７（Ｃ）に示す属性マップＭＰ２に対して、領域Ａ２と非領域Ａ２との境界点ＧＢを抽出した結果を示す境界マップＭＰ３である。なお境界点ＧＢは画素ＧＡ２について検出されており、画素ＧＡ２について、画素ＧＡ１との境界部分が境界点ＧＢとして抽出されている。各境界点ＧＢは黒色で示されている。
【００５３】
境界点ＧＢに対しハフ変換を適用して所定の長さ以上の線分ＬＢ３，ＬＢ４を検出した結果が、図８（Ｅ）に示されている。線分ＬＢ３，ＬＢ４を境界線として、４つの局所領域ＡＬ１〜４に分割されている。これらの局所領域ＡＬ１〜４のそれぞれにおいて、属性の判別が行われる。
【００５４】
図８（Ｆ）は、各局所領域ＡＬ１〜４において、画素ＧＡ１の数と画素ＧＡ２の数との多い方の画素ＧＡの属性を採用した結果を示す。すなわち、局所領域ＡＬ１及び２は領域Ａ１、局所領域ＡＬ３及び４は領域Ａ２となっており、これは原画像ＲＦの実際の領域Ａ１，Ａ２に近い。なお、各局所領域ＡＬの属性を判別するに当たって、各局所領域ＡＬ内において、それぞれの画素ＧＡ１，ＧＡ２の数をカウントし、カウント値の大きい画素ＧＡの属性を採用すればよい。
【００５５】
なお、図８における説明では、局所領域ＡＬへの分割を１回のみ行ったが、画像読取り装置１においては、誤判別をできるだけ低減するため、分割された局所領域ＡＬに対し、所定の長さ以上の線分が検出されなくなるまで、局所領域ＡＬへの分割を再帰的に行う。
【００５６】
次に、属性補正処理における局所領域ＡＬの分割方法について詳しく説明する。
図９は局所領域ＡＬへの分割の方法を概念的に示す図、図１０は局所領域ＡＬ内における再度の分割を示す図である。
【００５７】
図９（Ａ）に示す原画像ＲＦ１は、文字画像領域Ａ３及び写真画像領域Ａ４を有している。原画像ＲＦ１に対して、先に説明したようにハフ変換を適用して境界線ＬＢを引き、図９（Ｂ）に示すように境界線ＬＢで囲まれた複数の局所領域ＡＬに分割する。ここで、境界線ＬＢは、所定の長さＬＧ以上の線分を検出した場合に、その線分を画像全体に延長したものである。さらに、分割された局所領域ＡＬ内において、上述と同様に再度ハフ変換を適用し、所定の長さＬＧ以上の線分を抽出する。抽出された線分を境界線ＬＢとし、その局所領域ＡＬを再分割する。
【００５８】
図１０（Ａ）には、図９（Ｂ）に示された１つの局所領域ＡＬ０が示されている。局所領域ＡＬ０は、境界線ＬＢ５〜８によって囲まれた領域である。局所領域ＡＬ０内において再分割を行うことによって、２つの境界線ＬＢ９，ＬＢ１０が抽出され、これによって図１０（Ｂ）に示すように４つの局所領域ＡＬ００、ＡＬ０１、ＡＬ１０、ＡＬ１１に分割される。
【００５９】
ここで、ハフ変換の適用により抽出される線分の長さについて具体例を挙げると、１回目の分割においては、所定の長さＬＧ１を例えば１ｃｍとする。これは、４００ｄｐｉの密度において約１５０ｄｏｔに相当する。その場合に、２回目の分割においては、所定の長さＬＧ２を、１ｃｍよりも小さく且つ局所領域ＡＬの縦及び横の長さについてそれぞれ３０％以上とする。なお、所定の長さＬＧ１を、数ｍｍ乃至数ｃｍの範囲の適当な値に設定してもよい。
【００６０】
分割されたそれぞれの局所領域ＡＬにおいて、その属性が判別される。図１０（Ｂ）で明らかなように、局所領域ＡＬ０内において抽出された境界線ＬＢ９，ＬＢ１０によって分割されるのは、局所領域ＡＬ０の内部のみである。したがって、分割する必要のない局所領域ＡＬには無駄な分割が行われないので、演算に要する時間が短縮される。
【００６１】
上述の実施形態によると、原画像ＲＦに文字／写真／網点などの複数種類の画像が存在する場合であっても、写真／網点画像に対してハフ変換を適用しそれぞれの画像の境界線ＬＢを抽出することによって領域判別を正確に行うことができる。特に、写真／網点画像の領域は矩形であることが多いので、ハフ変換により矩形の局所領域ＡＬを検出することによって、雑音の少ない正確な領域判別を行うことができる。
【００６２】
また、文字画像に対してはクロージング処理を行って誤判別を低減することができる。特に、文字画像の領域においてはハフ変換を行わないので、それだけ演算量が減少して処理速度が向上する。
【００６３】
これら補正された属性情報ＤＡ２ａ，ｂを合成することによって、全体として正確な属性情報ＤＡ２を得ることができ、それぞれの属性に応じた適切な画像処理を行うことができる。
【００６４】
次に、属性補正処理についてフローチャートを参照して説明する。
図１１は属性補正処理の全体を示すフローチャート、図１２はハフ変換による属性判別処理を示すフローチャート、図１３は局所領域分割処理を示すフローチャート、図１４は属性補正処理の概念を説明するための図である。
【００６５】
図１１において、各画素毎に属性を判別し（＃１１）、各属性毎に属性マップＭＰを作成する（＃１２）。つまり、文字、写真、及び網点の各画像の候補領域毎に属性マップＭＰを作成する。
【００６６】
文字画像の候補領域に対しては、その属性マップＭＰについてクロージング処理が行われる（＃１３）。クロージング処理では、最大文字サイズ（１４ポイント）相当のディスクフィルタを用い、画像を一旦太らせた後に縮める処理を行う。
【００６７】
写真又は網点の候補領域に対しては、それぞれの属性マップＭＰについて、ハフ変換による属性判別処理が行われる（＃１４、１５）。ぞれらの処理が終わった後に、それぞれの属性マップＭＰを総合的に判定して合成する（＃１６）。合成に当たっては、画素毎の属性の判別の精度のよい順、例えば、網点、写真、文字の順に優先して合成する。つまり、領域が互いに重複する場合には、網点、写真、文字の順に優先して領域を確保する。
【００６８】
図１２において、孤立点を除去することにより雑音が取り除かれる（＃２１）。孤立点の除去は、例えば候補領域に含まれる最大文字サイズ（１４ポイント）よりも小さい面積領域を除去することにより行われる。これによってノイズの大半が除去される。そして、境界点ＧＢを検出し（＃２２）、局所領域分割処理を行い（＃２３）、属性を決定する（＃２４）。
【００６９】
図１３において、ハフ変換を行い（＃３１）、一辺の長さが所定の長さＬＧ以上である局所領域ＡＬに再帰的に分割する（＃３２）。
写真画像に含まれる髪の毛の画像は、画素毎の属性判別において文字画像又は網点画像であると誤判別されることがしばしばあるが、上述の処理によると、写真画像と誤判別された領域に対してハフ変換を適用することにより、そのような誤判別が補正され、正しく写真画像であると判別される。また、文字画像は、その中に網点画像又は写真画像が含まれていると誤判別されることがあるが、文字画像に対してクロージング処理を行うことにより、誤判別された領域が正しく文字画像の領域であると判別される。
【００７０】
すなわち、図１４に示すように、まず、原画像ＲＦに対して、画素毎に、文字、写真、網点のいずれの属性であるかを判別し、それぞれの属性についての属性マップＭＰを生成する。これによって、文字画像の属性マップＭＰＣ１、写真画像の属性マップＭＰＰ１、網点画像の属性マップＭＰＭ１の３つの属性マップＭＰＣ１、ＭＰＰ１、ＭＰＭ１が生成される。
【００７１】
次に、それぞれの属性マップＭＰＣ１、ＭＰＰ１、ＭＰＭ１に対して、クロージング処理による属性補正処理（＃１３）、ハフ変換による属性補正処理（＃１４、１５）を行い、これによってそれぞれ補正された属性マップＭＰＣ２、ＭＰＰ２、ＭＰＭ２を得る。そして、補正された属性マップＭＰＣ２、ＭＰＰ２、ＭＰＭ２を合成し、１つの総合的な属性マップＭＰＴを得る。
【００７２】
図１５は属性マップＭＰの例を示す図である。図１５（Ａ）は原画像ＲＦ２を示し、図１５（Ｂ）は原画像ＲＦ２を画素毎に属性を判別することによって得られた写真画像の属性マップＭＰＰ１の例を示し、図１５（Ｃ）は属性マップＭＰＰ１に基づく補正された属性マップＭＰＰ２の例を示す。
【００７３】
図１５（Ａ）に示す原画像ＲＦ２においては、中央部に写真画像ＦＰが配置され、周辺に文字画像ＦＣが配置され、それらに重なる状態で複数の網点画像ＦＭが配置されている。
【００７４】
図１５（Ｂ）に示すように、原画像ＲＦ２に対して画素毎の属性判別を行うことによって、中央部に写真画像領域ＡＰ１が抽出される。写真画像領域ＡＰ１の外部は非写真画像領域ＡＰ２である。図１５（Ｂ）に示す写真画像領域ＡＰ１は、図１５（Ａ）に示す本来の写真画像領域に対して欠けた部分が存在する。これは、欠けた部分の画素が、写真画像の画素ではなく他の属性の画素であると誤判別されたためである。
【００７５】
この写真画像領域ＡＰ１に対してハフ変換による属性補正処理を行うと、図１５（Ｃ）に示すように欠けた部分が修復され、本来の写真画像領域とほぼ一致する写真画像領域ＡＰ３が抽出される。
【００７６】
なお、図示は省略したが、網点画像の属性マップＭＰＭ２として図１５（Ａ）に示す網点画像ＦＭにほぼ対応する領域が抽出される。文字画像の属性マップＭＰＣ２として、図１５（Ａ）に示す文字画像ＦＣに対応する領域が抽出されるが、その一致度は他の画像と比較して低い。したがって、これらを合成して属性マップＭＰＴを得る際に、網点画像領域ＡＭ、写真画像領域ＡＰの順に領域が確保され、残りの領域において文字領域が決定される。
【００７７】
上述の実施形態において、画像補正部３６、属性補正部ＡＭ、第１の属性補正部ＡＭ１、第２の属性補正部ＡＭ２、又は局所領域属性格納部４５の構成、処理内容、処理順序、処理タイミング、その他、画像読取り装置１の全体又は各部の構成などは、本発明の主旨に沿って適宜変更することができる。
【００７８】
【発明の効果】
請求項１乃至請求項５の発明によると、原画像に文字／写真／網点などの複数種類の画像が存在する場合であっても、写真／網点画像などに対してハフ変換を適用しそれぞれの画像の境界線を抽出することによって領域判別を正確に行うことができる。また、文字画像などに対してはクロージング処理などを行って誤判別を低減することができる。
【００７９】
したがって、各領域に対して属性に応じた適切な画像処理を行うことができ、誤判別による画像劣化を防止することができる。しかも、属性に応じてハフ変換の適用とハフ変換以外の処理の適用とを選択するので、それぞれの属性に応じた適切な補正処理を行うことができ、誤判別の低減及び処理速度の向上に寄与する。
【００８０】
請求項５の発明によると、写真／網点画像の領域は矩形であることが多いので、ハフ変換により矩形の局所領域ＡＬを検出することによって、雑音の少ない正確な領域判別を行うことができる。また、文字画像の領域においてはハフ変換を行わないので、それだけ演算量が減少して処理速度が向上する。
【図面の簡単な説明】
【図１】本発明に係る画像処理部を内蔵した画像読取り装置の全体の構成を示す図である。
【図２】画像処理部の構成を示すブロック図である。
【図３】領域判別部の構成を示すブロック図である。
【図４】属性補正部の構成を機能的に示すブロック図である。
【図５】画像補正部の構成を示すブロック図である。
【図６】ハフ変換の概念を示す図である。
【図７】属性補正処理の動作を概念的に説明するための図である。
【図８】属性補正処理の動作を概念的に説明するための図である。
【図９】局所領域への分割の方法を概念的に示す図である。
【図１０】局所領域内における再度の分割を示す図である。
【図１１】属性補正処理の全体を示すフローチャートである。
【図１２】ハフ変換による属性判別処理を示すフローチャートである。
【図１３】局所領域分割処理を示すフローチャートである。
【図１４】属性補正処理の概念を説明するための図である。
【図１５】属性マップの例を示す図である。
【符号の説明】
３６  画像補正部（画像処理を行う手段）
４１  特徴量抽出部（画素毎に特徴量を抽出する手段）
４２  属性判別部（画素属性情報を生成する手段）
５０  切換え部（切換え手段）
５１  ノイズ除去処理部（雑音の除去の処理を行う手段）
５２  境界点抽出部（境界点を抽出する手段）
５３  ハフ変換部（極座標平面上の曲線に変換する手段）
５４  交点検出部（交点を検出する手段）
５５  逆変換部（境界線を生成する手段）
５６  局所領域抽出部（局所領域として抽出する手段）
５７  属性判別部（局所領域毎の属性を判別する手段）
５８  クロージング処理部（第２の属性補正手段）
ＡＭ１  第１の属性補正部（第１の属性補正手段）
ＤＡ１  属性情報（画素属性情報）
ＤＡ２  属性情報（補正された属性情報）
【図１】
0003733686.tif 000002
【図２】
0003733686.tif 000003
【図３】
0003733686.tif 000004
【図４】
0003733686.tif 000005
【図５】
0003733686.tif 000006
【図６】
0003733686.tif 000007
【図７】
0003733686.tif 000008
【図８】
0003733686.tif 000009
【図９】
0003733686.tif 000010
【図１０】
0003733686.tif 000011
【図１１】
0003733686.tif 000012
【図１２】
0003733686.tif 000013
【図１３】
0003733686.tif 000014
【図１４】
0003733686.tif 000015
【図１５】
0003733686.tif 000016