(57)【要約】  【課題】  入力された原画像の画質を改善させた後でこの原画像を拡大する画像処理装置を提供する。  【解決手段】  画像処理装置２は、入力画像から順に４×４サイズの画像ブロックを抽出し、抽出された画像ブロックの中から２×２ジャギー、凸点又は孤立点を構成する画素を劣化画素として抽出する。次に、画像処理装置２は、抽出された劣化画素を、この劣化画素の周囲に存在する画素群において最も出現頻度の高い画素値で置換することにより、劣化画素を補正し、劣化画素が補正された画像を高画質拡大アルゴリズムで拡大する。【選択図】図２
2006033308.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から劣化画素を抽出する劣化画素抽出手段と、
この劣化画素抽出手段により抽出された劣化画素の画素値を、この劣化画素の周囲にある画素群の画素値のうち最も出現頻度の高い画素値で置換する劣化画素補正手段と
を有する画像処理装置。
【請求項２】
前記劣化画素抽出手段は、階段状のエッジ、略直線状のエッジから突出した凸点、又は孤立点を構成する画素を前記劣化画素として抽出する
請求項１に記載の画像処理装置。
【請求項３】
入力画像から、４×４サイズの画像ブロックを抽出するブロック抽出手段と、
このブロック抽出手段により抽出された画像ブロックに基づいて、この画像ブロックの中央にある２×２画素が、少なくとも一辺が２画素以上で構成された階段状エッジの一部であるか否かを判定し、階段状エッジの一部であると判定された２×２画素を劣化画素として抽出するジャギー抽出手段と、
このジャギー抽出手段により劣化画素として抽出された２×２画素に対して、補正処理を施す劣化画素補正手段と
を有する画像処理装置。
【請求項４】
前記ブロック抽出手段により抽出された画像ブロックに含まれる画素群に基づいて、略直線状のエッジから突出した凸点を検出し、検出された凸点を構成する画素を劣化画素として抽出する凸点抽出手段
をさらに有し、
前記劣化画素補正手段は、さらに、前記凸点抽出手段により抽出された劣化画素に対して、補正処理を施す
請求項３に記載の画像処理装置。
【請求項５】
前記凸点抽出手段は、入力画像に含まれるそれぞれの画素について、前記ジャギー抽出手段による抽出処理よりも前に、凸点を構成する画素を抽出し、
前記劣化画素補正手段は、入力画像に含まれるそれぞれの画素について、前記ジャギー抽出手段による抽出処理よりも前に、凸点を構成する画素を補正する
請求項４に記載の画像処理装置。
【請求項６】
前記ブロック抽出手段により抽出された画像ブロックのうち、走査方向の上流にある３列の画素群に基づいて、孤立点を構成する画素を劣化画素として抽出する孤立点抽出手段
をさらに有し、
前記凸点判定手段は、前記ブロック抽出手段により抽出された画像ブロックのうち、スキャン方向の上流にある３列の画素群に基づいて、凸点を構成する画素を検出して抽出し、
前記劣化画素補正手段は、それぞれの画像ブロックから抽出される劣化画素を画像ブロックごとに補正する
請求項４に記載の画像処理装置。
【請求項７】
前記劣化画素補正手段により補正された入力画像に基づいて、この入力画像の拡大画像を生成する画像拡大手段
をさらに有する請求項３〜６のいずれかに記載の画像処理装置。
【請求項８】
入力画像から劣化画素を抽出し、
抽出された劣化画素の画素値を、この劣化画素の周囲にある画素群の画素値のうち最も出現頻度の高い画素値で置換する
画像処理方法。
【請求項９】
入力画像から、４×４サイズの画像ブロックを抽出し、
抽出された画像ブロックに基づいて、この画像ブロックの中央にある２×２画素が、少なくとも一辺が２画素以上で構成された階段状エッジの一部であるか否かを判定し、階段状エッジの一部であると判定された２×２画素を劣化画素として抽出し、
劣化画素として抽出された２×２画素に対して、補正処理を施す
画像処理方法。
【請求項１０】
入力画像から劣化画素を抽出するステップと、
抽出された劣化画素の画素値を、この劣化画素の周囲にある画素群の画素値のうち最も出現頻度の高い画素値で置換するステップと
をコンピュータに実行させるプログラム。
【請求項１１】
入力画像から、４×４サイズの画像ブロックを抽出するステップと、
抽出された画像ブロックに基づいて、この画像ブロックの中央にある２×２画素が、少なくとも一辺が２画素以上で構成された階段状エッジの一部であるか否かを判定し、階段状エッジの一部であると判定された２×２画素を劣化画素として抽出するステップと、
劣化画素として抽出された２×２画素に対して、補正処理を施すステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力された画像の画質を改善する画像処理装置に関する。
【背景技術】
【０００２】
例えば、特許文献１は、予め用意された孤立点検出パターンを用いて孤立点を検出し、検出された孤立点を除去する方法を開示する。また、特許文献２は、二値画像中の孤立した白画素及び黒画素を除去する方法を開示する。
【特許文献１】特開２００１−１５７０４８号公報
【特許文献２】特許第３１４２３８１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、上述した背景からなされたものであり、入力された画像の画質を改善する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
［画像処理装置］
上記目的を達成するために、本発明にかかる画像処理装置は、入力画像から劣化画素を抽出する劣化画素抽出手段と、この劣化画素抽出手段により抽出された劣化画素の画素値を、この劣化画素の周囲にある画素群の画素値のうち最も出現頻度の高い画素値で置換する劣化画素補正手段とを有する。
【０００５】
好適には、前記劣化画素抽出手段は、階段状のエッジ、略直線状のエッジから突出した凸点、又は孤立点を構成する画素を前記劣化画素として抽出する。
【０００６】
また、本発明にかかる画像処理装置は、入力画像から、４×４サイズの画像ブロックを抽出するブロック抽出手段と、このブロック抽出手段により抽出された画像ブロックに基づいて、この画像ブロックの中央にある２×２画素が、少なくとも一辺が２画素以上で構成された階段状エッジの一部であるか否かを判定し、階段状エッジの一部であると判定された２×２画素を劣化画素として抽出するジャギー抽出手段と、このジャギー抽出手段により劣化画素として抽出された２×２画素に対して、補正処理を施す劣化画素補正手段とを有する。
ここで、４×４サイズとは、互いに交わる２辺が４画素で構成される四角形状の領域を示し、例えば、主走査方向に４画素、副走査方向に４画素で構成される領域を示す。また、２×２画素とは、互いに交わる２辺が２画素で構成される四角形状の領域を示し、例えば、主走査方向に２画素、かつ、副走査方向に２画素の矩形状に配置された４画素を示す。
【０００７】
好適には、前記ブロック抽出手段により抽出された画像ブロックに含まれる画素群に基づいて、略直線状のエッジから突出した凸点を検出し、検出された凸点を構成する画素を劣化画素として抽出する凸点抽出手段をさらに有し、前記劣化画素補正手段は、さらに、前記凸点抽出手段により抽出された劣化画素に対して、補正処理を施す。
【０００８】
好適には、前記凸点抽出手段は、入力画像に含まれるそれぞれの画素について、前記ジャギー抽出手段による抽出処理よりも前に、凸点を構成する画素を抽出し、前記劣化画素補正手段は、入力画像に含まれるそれぞれの画素について、前記ジャギー抽出手段による抽出処理よりも前に、凸点を構成する画素を補正する。
【０００９】
好適には、前記ブロック抽出手段により抽出された画像ブロックのうち、走査方向の上流にある３列の画素群に基づいて、孤立点を構成する画素を劣化画素として抽出する孤立点抽出手段をさらに有し、前記凸点判定手段は、前記ブロック抽出手段により抽出された画像ブロックのうち、スキャン方向の上流にある３列の画素群に基づいて、凸点を構成する画素を検出して抽出し、前記劣化画素補正手段は、それぞれの画像ブロックから抽出される劣化画素を画像ブロックごとに補正する。
【００１０】
好適には、前記劣化画素補正手段により補正された入力画像に基づいて、この入力画像の拡大画像を生成する画像拡大手段をさらに有する。
【００１１】
［画像処理方法］
また、本発明にかかる画像処理方法は、入力画像から劣化画素を抽出し、抽出された劣化画素の画素値を、この劣化画素の周囲にある画素群の画素値のうち最も出現頻度の高い画素値で置換する。
【００１２】
また、本発明にかかる画像処理方法は、入力画像から、４×４サイズの画像ブロックを抽出し、抽出された画像ブロックに基づいて、この画像ブロックの中央にある２×２画素が、少なくとも一辺が２画素以上で構成された階段状エッジの一部であるか否かを判定し、階段状エッジの一部であると判定された２×２画素を劣化画素として抽出し、劣化画素として抽出された２×２画素に対して、補正処理を施す。
【００１３】
［プログラム］
また、本発明にかかるプログラムは、入力画像から劣化画素を抽出するステップと、抽出された劣化画素の画素値を、この劣化画素の周囲にある画素群の画素値のうち最も出現頻度の高い画素値で置換するステップとをコンピュータに実行させる。
【００１４】
また、本発明にかかるプログラムは、入力画像から、４×４サイズの画像ブロックを抽出するステップと、抽出された画像ブロックに基づいて、この画像ブロックの中央にある２×２画素が、少なくとも一辺が２画素以上で構成された階段状エッジの一部であるか否かを判定し、階段状エッジの一部であると判定された２×２画素を劣化画素として抽出するステップと、劣化画素として抽出された２×２画素に対して、補正処理を施すステップとをコンピュータに実行させる。
【発明の効果】
【００１５】
本発明の画像処理装置によれば、入力画像の画質を改善することができる。
【発明を実施するための最良の形態】
【００１６】
まず、本発明の理解を助けるために、その背景及び概略を説明する。
プリンタ、低解像度ディスプレイ、携帯端末など、表現可能な色数が少ない装置においては、従来から疑似階調処理（スクリーン処理）によって所望の色数に減色した疑似階調画像が作成されている。この疑似階調画像（例えば、２値画像）は、プリンタ、ファクシミリ等に広く用いられており、多値画像に比べてデータ量が小さいことから（例えば８ビット画像の８分の１となる）、データ伝送にも適している。
また、近年の文書の電子化に伴い、紙文書をスキャンし、デジタルドキュメントとして保存するということが広く行われている。このような場合にもデータ量の少ない２値画像が用いられる場合が多い。更に、閲覧又は印刷のみを目的とした文書は、テキストデータとして伝送するよりも、２値画像に変換してから伝送する方が改竄などの耐性が高く、セキュリティの観点からも２値画像の利点が多い。このような背景から、２値画像は現在広く用いられている。
２値画像には、ハーフトーン画像と文字線画画像とがあるが、文字又は線情報が主体の画像である場合には、多数の画素によって一定領域の濃度を表現するハーフトーン画像よりも、各画素が文字又は線の構成要素となる文字線画画像の方が出現頻度が高く、画像において支配的である。そこで、以降、文字線画画像に着目して説明する。
【００１７】
ところで、近年の電子文書の広汎な流通により、デジタル画像を高品質に表示又は印刷することが求められているが、この要求は、２値文字線画画像においても同じである。例えば、スキャン文書、ファクシミリ画像、図面画像、地図、地形図、ＧＩＳ（地理情報システム）情報、などの高精細な印刷、あるいはオンデマンド印刷が重要な要求の一つとしてある。そのため、これら２値文字線画画像の画質改善技術の必要性及び重要性が高まっている。特に、異なる解像度を持った出力機器に画像を高画質出力するための拡大技術が重要となっている。
例えば、多量の手書き文書をスキャンし電子化して保存するような場合、画面上での閲覧のしやすさや、使用されるメモリ容量、処理負荷の関係から２００ｄｐｉ以下の低解像度でスキャンし、２値文書画像として保存される場合がある。このような文書を再び紙に出力する際には、プリンタの解像度（例えば６００ｄｐｉ）に解像度変換する必要が生じる。この場合、３倍以上の倍率の画像拡大が必要となる。２値文字線画画像は、プリンタの解像度限界に近い再現が可能であり、拡大処理の性能によって画質(文字線画の視認性の良さ)が大きく変わるため、拡大技術の重要性が高い。
【００１８】
２値文字線画画像の高画質拡大方法としては、例えば、特願２００３−１７７７３９号で開示した方法がある。この方法では、画像を一旦拡大してから、画像細部の情報を欠落させることなくアンチエイリアス処理を行い、更に任意倍に拡縮する処理を行う。この方法を用いると、入力された２値文字線画画像の情報を正確に保ったまま高画質に拡大することができる。しかし、その一方で、入力画像に２×２ジャギー又は凸点などの画質劣化の原因となる劣化成分が含まれていると、拡大画像にもこの劣化成分が正確に保たれたまま拡大されて、結果としてその劣化成分部分の画質低下が目立つ場合がある。特に、スキャンして作成される２値文字線画画像の場合には、２値化処理時にぼけフィルタ又はアンチエイリアスなどの処理が施されない限り、画像のエッジ部に部分的に２×２サイズのジャギー又は凸点が含まれてしまう場合が多く、こうした画像でこのような問題が発生する場合がある。ここで、２×２サイズのジャギーとは、階段状のエッジのうち、互いに直交する方向が共に２画素で構成されたものである。また、凸点とは、略直線状のエッジ領域から突出した微小領域（画素群）である。
このような原画像の劣化成分を予め補正する方式として、例えば、特開２００４−１６６００７で開示された方法がある。この方法では、画像の局所自己相似性に着目して、局所的なパターンの相似性が失われている劣化成分に対して、局所的なパターンの相似性を高める処理によって画質を改善する。しかし、この方法は、自然画に対しては大きな効果を発揮することができるが、２値画像の２×２ジャギー又は凸点などの劣化成分のみを補正するには、精度と処理負荷の点において最適ではなく、より高精度かつ簡潔な方式が望まれている。
【００１９】
そこで、本実施形態における画像処理装置２は、画像（例えば、２値文字線画画像）の拡大処理の前処理として、画質低下につながる２×２ジャギー、凸点又は孤立点などの劣化画素を抽出し、抽出された劣化画素を予め補正する。これにより、再現性の高い拡大処理がなされた場合でも、劣化画素による画質低下を防止できる。
特に、本画像処理装置２は、２×２ジャギーの抽出に先立って凸点及び孤立点の抽出及び補正を行うことにより、２×２ジャギーの抽出を効率化する。
また、本画像処理装置２は、抽出された劣化画素を、この劣化画素の周囲にある画素群の画素値のうち最も出現頻度の高い画素値で置換することにより、劣化画素を補正する。これにより、画像処理装置２は、２×２ジャギー、凸点又は孤立点などの劣化画素を単一の補正方法で補正できる。
【００２０】
［ハードウェア構成］
画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記録装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６から構成される。
画像処理装置２は、例えば、画像処理プログラム５（後述）がインストールされた汎用コンピュータであり、通信装置２２又は記録装置２４などを介して画像データを取得し、取得された画像データを出力解像度に応じて拡大する。例えば、画像処理装置２は、プリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。
【００２１】
［画像処理プログラム５］
次に、画像処理装置２にインストールされる画像処理プログラム５について説明する。
図２は、制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像処理プログラム５の機能構成を例示する図である。
図２に例示するように、画像処理プログラム５は、画像入力部４００、画質改善処理部５００、画像拡大部６００及び画像出力部７００を有する。また、画質改善処理部５００は、記憶部５１０、ブロック抽出部５２０、劣化画素抽出部５３０、劣化画素補正部５４０及び制御部５５０を含み、劣化画素抽出部５３０は、ジャギー抽出部５３２、凸点抽出部５３４及び孤立点抽出部５３６を含む。
なお、本例の画像処理プログラム５はソフトウェアにより構成されているが、この全部又は一部がＡＳＩＣなどのハードウェアで実現されてもよい。
【００２２】
画像処理プログラム５において、画像入力部４００は、プリンタ装置１０（図１）などからデジタル化された２値画像データを取得し、取得された画像データを画質改善処理部５００に出力する。なお、画像入力部４００は、多値の画像データ（２５６階調など）が入力された場合には、スクリーン処理などにより２値化して画像改善処理部５００に出力してもよい。
画質改善処理部５００は、画像入力部４００から入力された画像データ（処理対象の画像）に対して画質改善処理を施す。また、画質改善処理部５００は、入力された画像データが拡大処理を要する場合には、画質改善処理が施された画像データを画像拡大部６００に出力する。
画像拡大部６００は、画質改善処理部５００から入力された画像データを、出力先の出力解像度に応じて拡大する。例えば、画像拡大部６００は、特願２００３−１７７７３９号に開示された方法と同様に、画像を一旦拡大してから、画像細部の情報を欠落させることなくアンチエイリアス処理を行い、アンチエイリアス処理が行われた画像を所望の大きさに拡大する。
画像出力部７００は、画像拡大部６００により拡大された画像データを、プリンタ装置１０（図１）又はＵＩ装置２６（図１）に出力する。
【００２３】
次に、画質改善処理部５００に含まれる各構成を説明する。
画質改善処理部５００（図２）において、記憶部５１０は、メモリ２０４（図１）又は記録装置２４（図１）を制御して、画像入力部４００から入力された画像データを一時的に記憶する。また、記憶部５１０は、ブロック抽出部５２０、劣化画素抽出部５３０、劣化画素補正部５４０及び制御部５５０に対してワークエリアを提供し、画質改善処理に用いられる各種の途中演算結果及び処理パラメータなどを保持する。
【００２４】
ブロック抽出部５２０は、入力された画像データの中から、既定サイズの画像ブロックを抽出する。本例のブロック抽出部５２０は、主走査方向に４画素、副走査方向に４画素からなる４×４サイズの画像ブロックを順次（例えばラスタスキャン順に）抽出する。
【００２５】
劣化画素抽出部５３０は、ブロック抽出部５２０により抽出された画像ブロックの中から、劣化画素を抽出する。具体的には、劣化画素抽出部５３０のジャギー抽出部５３２は、抽出された画像ブロックの中から、主走査方向に２画素、副走査方向に２画素のジャギー（以下、２×２のジャギー）を構成する２×２画素を劣化画素として抽出する。また、凸点抽出部５３４は、抽出された画像ブロックから、凸点を構成する１画素を劣化画素として抽出する。また、孤立点抽出部５３６は、抽出された画像ブロックから、孤立点を構成する１画素を劣化画素として抽出する。ここで、孤立点とは、他の画像要素（画素群）から分離した位置に存在する微小点（例えば、１画素相当の点）である。なお、劣化画素（ジャギー、凸点及び孤立点など）の具体的な抽出方法は後述する。
【００２６】
劣化画素補正部５４０は、劣化画素抽出部５３０により抽出された劣化画素の画素値を補正する。具体的には、劣化画素補正部５４０は、抽出された劣化画素の画素値を、この劣化画素の周囲にある画素群の画素値のうち最も出現頻度の高い画素値で置換する。なお、劣化画素補正部５４０は、抽出された劣化画素の画素値を、この劣化画素を中心とした既定範囲内にある画素群（この劣化画素を含む）の画素値のうち最も出現頻度の高い画素値で置換してもよい。
【００２７】
制御部５５０は、画質改善処理部５００に含まれる各構成を制御する。例えば、制御部５５０は、利用者の要求に応じて、画質改善処理を適用又は禁止すべく、画質改善処理部５００の各構成を制御する。また、制御部５５０は、入力された画像データが２値文字線画画像であるか否かを判定し、入力された画像が２値文字線画画像でない場合に、画質改善処理を禁止して、入力された画像データをそのまま画像拡大部６００に出力させてもよい。また、制御部５５０は、劣化画素抽出部５３０により抽出すべき劣化画素を、２×２のジャギー、凸点、孤立点の中から、いずれか１つ以上を選択し、選択された劣化画素のみを抽出し補正させてもよい。例えば、制御部５５０は、処理対象画像が文字画像である場合、孤立点よりも２×２ジャギー又は凸点の方が目立つこともあり、２×２ジャギー又は凸点に相当する劣化画素を優先して抽出し補正させてもよい。
【００２８】
次に、画質改善処理部５００の動作を説明する。
図３は、画質改善処理部５００による画質改善処理（Ｓ１０）を説明するフローチャートである。
図４は、画質改善処理の処理単位となるブロック画像を例示する図である。
図３に示すように、ステップ１００（Ｓ１００）において、記憶部５１０（図２）は、既定の記憶領域を予めメモリ２０４（図１）上に確保して初期化し、入力された原画像の画像データ（２値）を格納する。
ブロック抽出部５２０は、入力された原画像に含まれる全ての４×４サイズブロックのうちから一つを選択する。選択される４×４サイズブロックの画像（以下、ブロック画像）は、図４に例示するように、主走査方向に４画素、副走査方向に４画素からなる矩形領域に相当し、このブロック画像には１６画素が含まれる。なお、本例のブロック抽出部５２０は、スキャン順にブロック画像を選択し、選択されるブロック画像はスキャン順に１画素分ずつ移動していく。
【００２９】
ステップ２００（Ｓ２００）において、劣化画素抽出部５３０は、ブロック抽出部５２０により抽出されたブロック画像（図４）の内部から劣化画素を抽出する。具体的には、ジャギー抽出部５３２は、抽出されたブロック画像から２×２のジャギーを構成する２×２画素を劣化画素として抽出し、凸点抽出部５３４は、抽出されたブロック画像から凸点を構成する１画素を劣化画素として抽出し、孤立点抽出部５３６は、抽出されたブロック画像から孤立点を構成する１画素を劣化画素として抽出する。
【００３０】
ステップ３００（Ｓ３００）において、制御部５５０は、劣化画素抽出部５３０によりブロック画像から劣化画素が抽出されたか否かを判断し、このブロック画像から劣化画素が抽出された場合にＳ４００の処理に移行し、このブロック画像から劣化画素が抽出されなかった場合にＳ５００の処理に移行する。
【００３１】
ステップ４００（Ｓ４００）において、劣化画素補正部５４０は、劣化画素抽出部５３０により抽出された劣化画素の画素値に対して補正を行う。具体的には、劣化画素補正部５４０は、抽出された劣化画素の画素値を、この劣化画素を中心とした９つの画素の画素値のうち最も出現頻度の高い画素値で置換する。すなわち、劣化画素補正部５４０は、劣化画素を中心とした９つの画素の画素値（「０」又は「１」）のうち、より多く存在する画素値（「０」又は「１」）を、劣化画素の画素値とする。
【００３２】
ステップ５００（Ｓ５００）において、制御部５５０は、全てのブロック画像についてＳ１００からＳ４００までの処理を終了したか否かを判断し、全てのブロック画像について終了している場合には、画質改善処理（Ｓ１０）を終了し、これ以外の場合には、Ｓ１００の処理に戻り、次のブロック画像に対する処理を繰り返す。
【００３３】
［劣化画素抽出処理］
次に、２×２ジャギー、凸点及び孤立点を劣化画素として抽出する方法を説明する。
まず、２×２ジャギーの抽出処理を説明する。
図５は、ジャギー抽出部５３２（図２）によりなされるジャギー抽出処理（Ｓ２２０）のフローチャートである。
図６は、ジャギー抽出処理（Ｓ２２０）を模式的に説明する図である。
図５に示すように、ステップ２２２（Ｓ２２２）において、ジャギー抽出部５３２は、ブロック抽出部５２０（図２）により切り出された４×４サイズのブロック画像（図４）のうち、中央の２×２画素についてパターン判定を行う。具体的には、ジャギー抽出部５３２は、図６（Ａ）に例示するように、ブロック画像の中央２×２画素がパターンＪ１ａ又はパターンＪ１ｂのいずれかと一致するか判定する。パターンＪ１ａは、２×２サイズの画素群で副走査方向（図６の上下方向）にエッジを形成する画素パターンである。また、パターンＪ１ｂは、２×２サイズの画素群で主走査方向（図６の左右方向）にエッジを形成する画素パターンである。
これにより、中央２×２画素（劣化画素候補）において、主走査方向１画素×副走査方向２画素からなるパターン、又は、主走査方向２画素×副走査方向１画素からなるパターンが互いに隣接して存在するか判定される。
【００３４】
ステップ２２４（Ｓ２２４）において、ジャギー抽出部５３２は、中央の２×２画素がパターンＪ１ａ又はパターンＪ１ｂと一致した場合に、Ｓ２２６の処理に移行し、中央の２×２画素がパターンＪ１ａ及びパターンＪ１ｂのいずれとも一致しない場合に、このブロック画像に２×２ジャギーが無いものと判断し、このブロック画像に対するジャギー抽出処理を終了する。
【００３５】
ステップ２２６（Ｓ２２６）において、ジャギー抽出部５３２は、ブロック画像において、中央の２×２画素の周囲でパターン判定を行う。具体的には、ジャギー抽出部５３２は、図６（Ｂ）で例示するように、中央２×２画素で一致したパターンＪ１（Ｊ１ａ又はＪ１ｂ）に対応するパターンＪ２（Ｊ２ａ又はＪ２ｂ）を用いて、中央２×２画素の周囲でパターン判定を行う。なお、図６中のハッチング部分はＳ２２２においてパターン判定がなされた画素（中央２×２画素）に相当する。
パターンＪ２ａは、パターンＪ１ａに対応する画素パターンであり、中央２×２画素の画素値と主走査方向（図６の左右方向）に隣接する画素の画素値とが同一となる画素パターンである。また、パターンＪ２ｂは、パターンＪ１ｂに対応する画素パターンであり、中央２×２画素の画素値と副走査方向（図６の上下方向）に隣接する画素の画素値とが同一となる画素パターンである。
これにより、主走査方向２画素×副走査方向２画素からなるパターンが主走査方向又は副走査方向に隣接して存在するか判定される。
【００３６】
ステップ２２８（Ｓ２２８）において、ジャギー抽出部５３２は、ブロック画像内でパターンＪ２ａ又はパターンＪ２ｂが一致した場合に、Ｓ２３０の処理に移行し、ブロック画像内でパターンＪ２ａ又はパターンＪ２ｂが一致しない場合に、このブロック画像に２×２ジャギーが無いものと判断し、このブロック画像に対するジャギー抽出処理を終了する。
【００３７】
ステップ２３０（Ｓ２３０）において、ジャギー抽出部５３２は、中央２×２画素の周囲にある１２画素について、画素値（「１」又は「０」）の出現頻度の偏りを判定する。具体的には、ジャギー抽出部５３２は、図６（Ｃ）に例示するように、ブロック画像における中央２×２画素以外の画素群（すなわち、２×２画素の周囲の画素群）について、画素値が「１」の画素（黒の画素）の個数と、画素値が「０」の画素（白の画素）の個数とをカウントする。
ステップ２３２（Ｓ２３２）において、ジャギー抽出部５３２は、中央２×２画素の周囲にある１２画素における黒の画素と白の画素との偏りが基準値以上であるか否かを判断する。具体的には、ジャギー抽出部５３２は、カウントされた黒の画素の個数及び白の画素の個数が共に８個未満であった場合に、Ｓ２３４の処理に移行し、カウントされた黒画素の個数又は白画素の個数が８個以上である場合に、このブロック画像に２×２ジャギーが無いものと判断し、このブロック画像に対するジャギー抽出処理を終了する。すなわち、ジャギー抽出部５３２は、カウントされた黒画素の個数又は白画素の個数が８個以上である場合に、このブロック画像内には、２×２のジャギーが存在するのではなく、文字線画部分の先端部分が存在するものと判断する。なお、ここで偏りの判定の閾値を「８個」としたが、これに限られるものではない。
【００３８】
ステップ２３４（Ｓ２３４）において、ジャギー抽出部５３２は、このブロック画像における中央の２×２画素を、劣化画素（２×２のジャギーを構成する画素）として判定する。
【００３９】
次に、凸点の抽出処理を説明する。
図７は、凸点抽出部５３４（図２）によりなされる凸点抽出処理（Ｓ２４０）のフローチャートである。
図８は、凸点抽出処理（Ｓ２４０）を模式的に説明する図である。
図７に示すように、ステップ２４２（Ｓ２４２）において、凸点抽出部５３４は、ブロック抽出部５２０（図２）により切り出された４×４サイズのブロック画像（図４）のうち、左下の３×３画素についてパターン判定を行う。具体的には、凸点抽出部５３４は、図８（Ａ）に例示するように、ブロック画像の左下３×３画素がパターンＴ１ａ又はパターンＴ１ｂのいずれかと一致するか判定する。パターンＴ１ａは、ブロック画像において、副走査方向に３列目（図８中の上から３列目）にある画素群であって、主走査方向のスキャン順で下流の３画素（図８中の左側から３画素）に関する画素パターン（ｃ１、ｃ２、ｃ１）であり、配置順に画素値が交互に反転するパターンである。また、パターンＴ１ｂは、ブロック画像において、主走査方向に２列目（図８中の左から２列目）にある画素群であって、副走査方向のスキャン順で上流の３画素（図８中の下側から３画素）に関する画素パターン（ｃ１、ｃ２、ｃ１）であり、配置順に画素値が交互に反転するパターンである。
これにより、主走査方向又は副走査方向に連続する３画素において、１画素間隔で画素値が変化しているか判定される。
【００４０】
ステップ２４４（Ｓ２４４）において、凸点抽出部５３４は、左下の３×３画素がパターンＴ１ａ又はパターンＴ１ｂと一致した場合に、Ｓ２４６の処理に移行し、左下の３×３画素がパターンＴ１ａ及びパターンＴ１ｂのいずれとも一致しない場合に、このブロック画像で凸点が発見されなかったものと判断し、このブロック画像に対する凸点抽出処理を終了する。
【００４１】
ステップ２４６（Ｓ２４６）において、凸点抽出部５３４は、ブロック画像の左下３×３画素において、パターンＴ１（Ｔ１ａ又はＴ１ｂ）と一致した画素群に隣接する画素に関するパターン判定を行う。具体的には、凸点抽出部５３４は、図８（Ｂ）で例示するように、ブロック画像の左下３×３画素で一致したパターンＴ１（Ｔ１ａ又はＴ１ｂ）に対応するパターンＴ２（Ｔ２ａ又はＴ２ｂ）を用いて、パターンＴ１と一致した画素群と隣接する画素群に対してパターン判定を行う。なお、図８（Ｂ）のハッチング部分はパターンＴ１ａ又はパターンＴ１ｂと一致した画素群に相当する。
パターンＴ２ａは、パターンＴ１ａに対応する画素パターンであり、パターンＴ１ａと一致した一致画素群（図８中のハッチング部分）の副走査方向下流（図の上側）に隣接する上側画素群（ｃ３）と副走査方向上流（図の下側）に隣接する下側画素群（ｃ４）とがそれぞれ同一の画素値を有し、かつ、上側画素群（ｃ３）と下側画素群（ｃ４）とが互いに異なる画素値を有するパターンである。また、パターンＴ２ｂは、パターンＴ１ｂに対応する画素パターンであり、パターンＴ１ｂと一致した一致画素群（図８中のハッチング部分）の主走査方向下流（図の左側）に隣接する左側画素群（ｃ３）と主走査方向上流（図の右側）に隣接する右側画素群（ｃ４）とがそれぞれ同一の画素値を有し、かつ、左側画素群（ｃ３）と右側画素群（ｃ４）とが互いに異なる画素値を有するパターンである。これにより、凸点形状となっているか判定される。
【００４２】
ステップ２４８（Ｓ２４８）において、凸点抽出部５３４は、ブロック画像内でパターンＴ２ａ又はパターンＴ２ｂが一致した場合に、Ｓ２５０の処理に移行し、ブロック画像内でパターンＴ２ａ又はパターンＴ２ｂが一致しない場合に、このブロック画像に凸点が発見されなかったものと判断し、このブロック画像に対する凸点抽出処理を終了する。
【００４３】
ステップ２５０（Ｓ２５０）において、凸点抽出部５３４は、このブロック画像における左下３×３画素の中央画素（図８におけるｃ２）を、劣化画素（凸点を構成する画素）として判定する。
【００４４】
次に、孤立点の抽出処理を説明する。
図９は、孤立点抽出部５３６（図２）によりなされる孤立点抽出処理（Ｓ２６０）のフローチャートである。
図１０は、孤立点抽出処理（Ｓ２６０）を模式的に説明する図である。
図９に示すように、ステップ２６２（Ｓ２６２）において、孤立点抽出部５３６は、ブロック抽出部５２０（図２）により切り出された４×４サイズのブロック画像（図４）のうち、左下の３×３画素についてパターン判定を行う。具体的には、孤立点抽出部５３６は、図１０に例示するように、ブロック画像の左下３×３画素がパターンＫ１と一致するか判定する。パターンＫ１は、ブロック画像の左下３×３画素において、中央の画素（ｃ２）がその周囲の画素（ｃ１）と異なる画素値を有するパターンである。
【００４５】
ステップ２６４（Ｓ２６４）において、孤立点抽出部５３６は、ブロック画像の左下３×３画素がパターンＫ１と一致した場合に、Ｓ２６６の処理に移行し、左下３×３画素がパターンｋ１と一致しない場合に、このブロック画像で孤立点が発見されなかったものと判断し、このブロック画像に対する孤立点抽出処理を終了する。
【００４６】
ステップ２６６（Ｓ２６６）において、孤立点抽出部５３６は、このブロック画像における左下３×３画素の中央画素（図１０におけるｃ２）を、劣化画素（孤立点を構成する画素）として判定する。
【００４７】
なお、劣化画素抽出部５３０は、同一のブロック画像内で、ジャギー抽出処理（Ｓ２２０）、凸点抽出処理（Ｓ２４０）及び孤立点抽出処理（Ｓ２６０）により、２×２ジャギーを構成する２×２画素、凸点を構成する１画素、及び、孤立点を構成する１画素を抽出する。その際に、２×２ジャギーは、ブロック画像の中央２×２画素を対象とし、凸点及び孤立点は、ブロック画像の左下３×３画素を対象とするため、劣化画素抽出部５３０は、２×２ジャギーの抽出よりも１ライン分先行して、凸点及び孤立点を抽出することになる。このように凸点及び孤立点を先に抽出し補正することにより、２×２ジャギーの抽出が効率化する。
例えば、図１１（Ａ）に例示するように、２×２ジャギーの近傍に孤立点が存在する場合に、ジャギー抽出部５３２は、Ｓ２２６及びＳ２２８（図５、図６（Ｂ））のパターン判定においてパターンＪ２ａと一致しないものと判定し、この２×２ジャギーを抽出できない。
また、図１１（Ｂ）に例示するように、２×２ジャギーの近傍に凸点が存在する場合に、この凸点が除去（補正）されると２×２ジャギーが発生するが、この凸点が補正されない限りは、ジャギー抽出部５３２は、Ｓ２２６及びＳ２２８（図５、図６（Ｂ））のパターン判定においてパターンＪ２ａと一致しないものと判定し、この２×２ジャギーを抽出できない。したがって、凸点の抽出及び補正が２×２ジャギーの抽出よりも前になされない場合には、凸点の補正により発生した２×２ジャギーが残存することになる。
そこで、本例の劣化画素抽出部５３０は、ジャギーの抽出よりも前に凸点及び孤立点を抽出し補正することにより、２×２ジャギーの抽出を効率化する。
【００４８】
次に、劣化画素の補正方法を説明する。
図１２は、劣化画素補正部５４０によりなされる補正方法を説明する図である。
図１３（Ａ）は、２×２ジャギーについてなされる補正を例示し、図１３（Ｂ）は、凸点についてなされる補正を例示し、図１３（Ｃ）は、孤立点についてなされる補正を例示する図である。
図１２に示すように、劣化画素補正部５４０（図２）は、劣化画素抽出部５３０により抽出された劣化画素（ｐ５）を、この劣化画素を中心とした９画素（ｐ１からｐ９までの画素）の画素値に基づいて補正する。具体的には、劣化画素補正部５４０は、以下の式（１）により劣化画素ｐ５の画素値を決定する。
ｐ５＝（floor）（（Σｐｉ）／４．５）・・・式（１）
floor：少数部分を切り捨てる関数
ｐｉ：ｐ１〜ｐ９の画素値（１又は０）
【００４９】
この劣化画素の補正方法を２×２ジャギーに適用したのが図１３（Ａ）である。
図１３（Ａ）に例示するように、２×２ジャギーを構成する劣化画素は２×２画素あるため、劣化画素補正部５４０は、それぞれの劣化画素について式（１）を適用する必要がある。その際に、劣化画素補正部５４０は、１画素ずつ補正結果を逐次書き込むと、周囲の画素値が変わり、他の劣化画素に対する補正処理に影響を与えてしまうため、メモリに補正結果（式（１）による演算結果）を記憶しておき、２×２画素の全ての補正結果を算出した後で、これらの補正結果をまとめて書き込むようにする。これにより、図１３（Ａ）に例示するように、２×２ジャギーが解消される。
【００５０】
また、図１３（Ｂ）に例示するように、劣化画素補正部５４０は、凸点抽出部５３２により抽出された凸点に対して上記式（１）を適用することにより、凸点を除去することができる。
同様に、図１３（Ｃ）に例示するように、劣化画素補正部５４０は、孤立点抽出部５３６により抽出された孤立点に対して上記式（１）を適用することにより、孤立点を除去することができる。
【００５１】
上述劣化画素補正部５４０による補正処理は、２×２ジャギー、凸点又は孤立点に相当する劣化画素の画素値に関して、それぞれ補正対象となる劣化画素の周囲にある画素のうち、より多く存在している画素値で置きかえる処理をしている。このことは、注目ブロックを含む周囲のより大きなブロックを縮小して注目ブロックを書きかえるという、局所コラージュの処理と類似した効果を持っていると言える。なぜなら、注目点（劣化画素）を中心とした３×３ブロックを１画素に縮小して、注目点の画素値を書きかえる際には、注目点（劣化画素）は３×３ブロック内の全画素の平均値に変換されることになる。そして、２値画像では０か１の値しかとらないことから、その平均値を０か１の近い方に振り分ければ、結果的には常に３×３ブロック内により多く存在している画素値になるからである。
局所コラージュの処理を行った部位は、局所自己相似性が高められ、周囲のより大きいパターンとの類似性が高められるが、本実施形態における補正処理はこれと同様の効果を得ることになり、結果的に２×２ジャギー、凸点及び孤立点は平滑化されて高画質化される。このようにして原画像の劣化画素を改善することによって、後段の拡大処理によって劣化画素がそのまま拾われることもなく、より高画質な拡大画像を得ることができる。
【００５２】
なお、劣化画素補正部５４０は、単一の補正処理（具体的には、式（１）を適用した補正処理）で、２×２ジャギー、凸点及び孤立点を補正することができるが、処理高速化のために、それぞれ内部で同じ効果を与える最適な処理に切り替えるようにしてもよい。例えば、凸点及び孤立点に関しては、周囲により多く存在する画素値で置きかえるということは、それぞれ凸点及び孤立点の画素値を反転させることと同じであるため、劣化画素補正部５４０は、凸点抽出部５３４により抽出された劣化画素（凸点を構成する画素）、及び、孤立点抽出部５３６により抽出された劣化画素（孤立点を構成する画素）を単に反転（黒画素から白画素又は白画素から黒画素）させてもよい。また、劣化画素補正部５４０は、２×２ジャギーに関する劣化画素の補正に関しても、例えば、中央の２×２画素が常に黒２画素及び白２画素であることを利用して、ｐ１〜ｐ９のうちの一部の画素のみを使用するようにして計算を簡略化させてもよい。
【００５３】
図１４（Ａ）は、画質改善処理（Ｓ１０）がなされる前の原画像を例示し、図１４（Ｂ）は、画質改善処理（Ｓ１０）がなされた後の原画像を例示する図である。
図１４（Ａ）に例示するように、ブロック抽出部５２０は、４×４サイズのブロック画像を主走査方向及び副走査方向に順次選択し、劣化画素抽出部５３０は、それぞれのブロック画像の中から、２×２ジャギー、凸点又は孤立点に相当する劣化画素を抽出し、劣化画素補正部５４０は、抽出された劣化画素を補正していく。
図１４（Ｂ）に例示するように、原画像に含まれる劣化画素（２×２ジャギー、凸点及び孤立点）は、スキャン順に補正されていく。図１４（Ｂ）において、「＊」が付された画素が補正されたものである。これにより、２×２ジャギー、凸点及び孤立点が解消した原画像が得られる。
【００５４】
以上説明したように、本実施形態における画像処理装置２は、原画像の２×２ジャギー、凸点及び孤立点をそれぞれ補正し、補正後の原画像を高画質化することができる。これにより、原画像が拡大される場合にも、原画像に含まれる劣化画素が予め補正されて高画質な拡大画像を得ることができる。
【図面の簡単な説明】
【００５５】
【図１】本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
【図２】制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像処理プログラム５の機能構成を例示する図である。
【図３】画質改善処理部５００による画質改善処理を説明するフローチャート（Ｓ１０）である。
【図４】画質改善処理の処理単位となるブロック画像を例示する図である。
【図５】ジャギー抽出部５３２（図２）によりなされるジャギー抽出処理（Ｓ２２０）のフローチャートである。
【図６】ジャギー抽出処理（Ｓ２２０）を模式的に説明する図である。
【図７】凸点抽出部５３４（図２）によりなされる凸点抽出処理（Ｓ２４０）のフローチャートである。
【図８】凸点抽出処理（Ｓ２４０）を模式的に説明する図である。
【図９】孤立点抽出部５３６（図２）によりなされる孤立点抽出処理（Ｓ２６０）のフローチャートである。
【図１０】孤立点抽出処理（Ｓ２６０）を模式的に説明する図である。
【図１１】劣化画素抽出処理（Ｓ２２０、Ｓ２４０、Ｓ２６０）の順序を説明する図である。
【図１２】劣化画素補正部５４０によりなされる補正方法を説明する図である。
【図１３】（Ａ）は、２×２ジャギーの補正結果を例示し、（Ｂ）は、凸点の補正結果を例示し、（Ｃ）は、孤立点の補正結果を例示する図である。
【図１４】画質改善処理（Ｓ１０）がなされた原画像を例示する図である。
【符号の説明】
【００５６】
２・・・画像処理装置
５・・・画像処理プログラム
４００・・・画像入力部
５００・・・画質改善処理部
５１０・・・記憶部
５２０・・・ブロック抽出部
５３０・・・劣化画素抽出部
５３２・・・ジャギー抽出部
５３４・・・凸点抽出部
５３６・・・孤立点抽出部
５４０・・・劣化画素補正部
５５０・・・制御部
６００・・・画像拡大部
７００・・・画像出力部
【図１】
2006033308.tif 000003
【図２】
2006033308.tif 000004
【図３】
2006033308.tif 000005
【図４】
2006033308.tif 000006
【図５】
2006033308.tif 000007
【図６】
2006033308.tif 000008
【図７】
2006033308.tif 000009
【図８】
2006033308.tif 000010
【図９】
2006033308.tif 000011
【図１０】
2006033308.tif 000012
【図１１】
2006033308.tif 000013
【図１２】
2006033308.tif 000014
【図１３】
2006033308.tif 000015
【図１４】
2006033308.tif 000016