(57)【要約】  【課題】  比較的軽い処理負荷で、高画質な拡大画像を高速に得ることができる画像処理装置を提供する。  【解決手段】  画像処理装置２は、入力画像をこの入力画像の特徴に基づいて判別し、前記判別された入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域を、この画像領域の特徴に基づいて判別し、前記判別された画像領域の特徴量を算出し、前記算出された画像領域の特徴量が所定の条件を満たす場合に、画像領域について、拡大画像領域を生成し、前記拡大画像領域が生成された拡大手法とは異なる拡大手法を適用して、入力画像の拡大画像を生成し、前記生成された拡大画像領域と、前記生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する。【選択図】図１９
2006252108.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の拡大処理を行う画像処理装置であって、
入力画像をこの入力画像の特徴に基づいて判別する画像判別手段と、
前記画像判別手段により判別された入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域を、この画像領域の特徴に基づいて判別する領域判別手段と、
前記領域判別手段により判別された画像領域の特徴量を算出する領域特徴量算出手段と、
前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たす場合に、画像領域について、拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大画像領域生成手段とは異なる拡大手法を適用して、入力画像の拡大画像を生成する拡大処理手段と、
前記拡大画像領域生成手段により生成された拡大画像領域と、前記拡大処理手段により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成手段と
を有する画像処理装置。
【請求項２】
前記画像判別手段は、入力画像のラインそれぞれの階調数を計数し、その階調数と所定の基準値とを比較することにより、入力画像を判別する
請求項１に記載の画像処理装置。
【請求項３】
前記領域判別手段は、画像領域内の階調数を計数し、この階調数と所定の基準値とを比較することにより画像領域を判別する
請求項１に記載の画像処理装置。
【請求項４】
前記領域判別手段は、所定値を有する画素が、画像領域内に含まれるか否かにより、画像領域を判別する
請求項１に記載の画像処理装置。
【請求項５】
前記領域特徴量算出手段は、前記領域判別手段により判別された画像領域が、所定の条件を満たす場合に、この画像領域の特徴量を算出する
請求項１に記載の画像処理装置。
【請求項６】
前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、この画像領域における階調変化量を算出し、この階調変化量を特徴量とする
請求項１に記載の画像処理装置。
【請求項７】
前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、この画像領域における階調変化方向を算出し、この階調変化方向を特徴量とする
請求項１に記載の画像処理装置。
【請求項８】
前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、この画像領域における階調変化を算出し、この階調変化が既定の画素値パターンに対応する場合に、この画素値パターンを特徴量として選択する
請求項１に記載の画像処理装置。
【請求項９】
前記領域特徴量算出手段は、色空間における色成分それぞれについて特徴量を算出し、算出された特徴量に基づいて１つの色成分を選択し、この色成分について算出された特徴量を画像領域の特徴量とする
請求項１に記載の画像処理装置。
【請求項１０】
前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域に対して、画像領域の特徴量、画像領域の近傍領域の特徴量、及び近傍領域内の画素値に基づいて、拡大画像領域を生成する
請求項１に記載の画像処理装置。
【請求項１１】
前記拡大画像領域生成手段は、エッジ強調処理を拡大率に応じて行って、画像領域内の画素値を補正し、補正された画素値を用いて拡大画像領域を生成する
請求項１乃至１０のいずれかに記載の画像処理装置。
【請求項１２】
前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された階調変化の方向に応じて近傍領域内の画素値を選択し、選択された画素値を用いて拡大画像領域を生成する
請求項１乃至１０のいずれかに記載の画像処理装置。
【請求項１３】
前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式を用いて拡大画像領域を生成する
請求項１乃至１０のいずれかに記載の画像処理装置。
【請求項１４】
前記拡大処理手段は、最近傍補間法に基づいて、入力画像の拡大画像を生成する
請求項１に記載の画像処理装置。
【請求項１５】
前記拡大処理手段は、入力画像毎に、又は、入力画像中の複数のライン毎に、拡大画像を生成する
請求項１に記載の画像処理装置。
【請求項１６】
前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域と、前記拡大処理手段により生成された拡大画像とが、互いに重なり合う場合に、拡大画像領域に基づいて、重複部分の画素値を決定する
請求項１に記載の画像処理装置。
【請求項１７】
前記拡大画像生成手段は、前記拡大処理手段により生成された拡大画像の少なくとも一部の画素値を、前記拡大画像領域生成手段により生成された拡大画像領域の画素値で置換する
請求項１又は１６に記載の画像処理装置。
【請求項１８】
前記拡大画像生成手段は、前記拡大画像領域生成手段により生成される複数の拡大画像領域が互いに重なり合う場合に、これらの拡大画像領域の重複部分について、同一画素に対応する複数の画素値の平均値を算出する
請求項１に記載の画像処理装置。
【請求項１９】
入力画像の拡大処理を行う画像処理装置であって、
入力画像の拡大画像を生成する拡大処理手段と、
入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域が、ソース部分であるか、又はマスク部分であるかを判別する判別手段と、
前記判別手段により、画像領域がソース部分であると判別された場合に、前記拡大処理手段とは異なる拡大手法を適用して、この画像領域に対応する拡大画像領域を生成する拡大画像領域生成手段と、
前記拡大処理手段により生成された拡大画像と、前記拡大画像領域生成手段により生成された拡大画像領域との重畳部分を補正する補正手段と
を有する画像処理装置。
【請求項２０】
入力画像の拡大処理を行う画像処理方法であって、
入力画像をこの入力画像の特徴に基づいて判別し、
前記判別された入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域を、この画像領域の特徴に基づいて判別し、
前記判別された画像領域の特徴量を算出し、
前記算出された画像領域の特徴量が所定の条件を満たす場合に、画像領域について、拡大画像領域を生成し、
前記拡大画像領域が生成された拡大手法とは異なる拡大手法を適用して、入力画像の拡大画像を生成し、
前記生成された拡大画像領域と、前記生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する
画像処理方法。
【請求項２１】
入力画像の拡大処理を行う画像処理方法であって、
入力画像の拡大画像を生成し、
入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域が、ソース部分であるか、又はマスク部分であるかを判別し、
前記判別において、画像領域がソース部分であると判別された場合に、前記生成とは異なる拡大手法を適用して、この画像領域に対応する拡大画像領域を生成し、
前記生成された拡大画像と、前記生成された拡大画像領域との重畳部分を補正する
画像処理方法。
【請求項２２】
コンピュータを含み、入力画像の拡大処理を行う画像処理装置において、
入力画像をこの入力画像の特徴に基づいて判別する画像判別ステップと、
前記判別された入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域を、この画像領域の特徴に基づいて判別する領域判別ステップと、
前記判別された画像領域の特徴量を算出する領域特徴量算出ステップと、
前記算出された画像領域の特徴量が所定の条件を満たす場合に、画像領域について、拡大画像領域を生成する拡大画像領域生成ステップと、
前記拡大画像領域生成ステップとは異なる拡大手法を適用して、入力画像の拡大画像を生成する拡大処理ステップと、
前記生成された拡大画像領域と、前記生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成ステップと
を前記画像処理装置のコンピュータに実行させるプログラム。
【請求項２３】
コンピュータを含み、入力画像の拡大処理を行う画像処理装置であって、
入力画像の拡大画像を生成する拡大処理ステップと、
入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域が、ソース部分であるか、又はマスク部分であるかを判別する判別ステップと、
前記判別ステップにより、画像領域がソース部分であると判別された場合に、前記拡大処理ステップとは異なる拡大手法を適用して、この画像領域に対応する拡大画像領域を生成する拡大画像領域生成ステップと、
前記生成された拡大画像と、前記生成された拡大画像領域との重畳部分を補正する補正ステップと
を前記画像処理装置のコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を拡大する画像処理装置に関する。
【背景技術】
【０００２】
画像の拡大処理は、画像の編集やファイリング、表示、印刷などを行うシステムにとって、基本的な処理の一つである。また近年、インターネットのホームページ上の画像やデジタルビデオなどのディスプレイ解像度での表示を主目的とした画像データなどの普及により、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得ることが望まれており、高画質の拡大処理に対する重要度が高まっている。
加えて、ＰＣ、ワークステーション、ディスプレイ又はプリンタなどのハードウェア、及びそれらのハードウェアなどで使用されるソフトウェアの高機能化に伴い、各アプリケーションが出力する画像データも多様化している。
【０００３】
図１は、画像データの構成を例示する図であり、図１（Ａ）は、ソース画像を示し、図３（Ｂ）は、２値画像であるマスク画像を示し、図１（Ｃ）は、背景画像を示し、図１（Ｄ）は、ソース画像とマスク画像とを用いてマスク処理した画像を背景画像に貼り込んで構成した後の画像データを示す。このような複数構成の画像データを高解像度のプリンタなどで出力する場合には、構成後の画像データ（図１（Ｄ））に対して拡大処理を行う方法も採られるが、アプリケーション及びシステムによっては、各々の構成画像データ（図１では、ソース画像（Ａ）、マスク画像（Ｂ）、背景画像（Ｃ）、で、以下ではこれらを構成要素画像と称する）に対して拡大処理を行い、それら拡大処理後のそれぞれの構成要素画像データを用いて拡大画像データを構成する方法も採られうる。このような拡大処理においても、同様に高画質拡大処理に対する重要度が高まっている。
【０００４】
図２は、ソース画像とマスク画像とを用いてマスク処理を行う方法を例示する図である。
図２に示すように、一般にカラーを含む多階調で表現された画像（以下では、多値画像と称する）では、ソース画像（Ａ）と２値画像であるマスク画像（Ｂ）とをそれぞれ拡大処理し、拡大処理後の各々の画像データを用いて、マスク処理が行われることがある。
一般に、画像を拡大処理する既存の代表的な手法としては、最近傍法、線形補間法、キュービック・コンボリューション法などがある。ソース画像（図２（Ａ））及びマスク画像（図２（Ｂ））を最近傍法で拡大処理を行い、マスク処理を施した場合、最近傍法が拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を使うという方法（つまり、同じ画素値をもつ画素が連続する方法）であるため、高速処理は可能であるが、斜線部やエッジ部にジャギーが発生し、画像がモザイク状になるなど合成画像の画質劣化の程度は大きい。
また、ソース画像を、最近傍法に比べて高画質な線形補間法やキュービック・コンボリューション法などで拡大処理を行った場合には、マスク画像のエッジ部分に相当する、マスク処理後の合成画像のエッジ部周辺画素値に不具合が生じる。
【０００５】
図３は、図１で示した構成要素画像であるソース画像およびマスク画像を、それぞれ線形補間法および最近傍法で拡大した具体例を示している。線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求めるという方法である。このため、図３（Ｃ）に示すように、ソース画像のエッジ部分の画素値が太枠で囲まれた画素で変化する。したがって、図３（Ｂ）に示す拡大処理後のマスク画像と、図３（Ｃ）に示す拡大処理後のソース画像を用いてマスク処理を行うと、ソース画像のエッジ部分に関して、マスク画像のエッジ部分に相当する位置の画素値が変化するという不具合が生じる。ここで、図３では、ソース画像を線形補間法を用いて拡大する具体例を示したが、ソース画像の拡大処理にキュービック・コンボリューション法などを用いた場合でも同様な現象が生じる。
【０００６】
これら合成画像の画質問題を解決する試みとして、例えば特許文献１などの方式が提案されている。特許文献１に記載されている技術では、スムージング補正された画像と補正対象でない画像とが重なる部分では、その重なる両画素の画素値を比較して、画素値が高い方（あるいは低い方）を選択して出力することにより、合成画像の画素値変化の不具合が解消されている。しかし、特許文献１に記載の技術では、補正対象画像と補正対象外画像の正確な分離が前提であり、２つの画像データを用いたマスク処理による合成画像生成の場合には、不具合は解消されない。
また、上述したようなマスク処理に伴うエッジ部分の不具合とは別に、高画質な拡大処理という点において、先に述べた線形補間法は、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。またキュービック・コンボリューション法に関しては、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）と前記の近似補間関数との畳み込み演算により、拡大後の画素値を求める方法のため、参照範囲が大きく演算量が多いという欠点がある。また、高域が強調気味となる特性を持つため、エッジ部分で軽いジャギーが発生し、ノイズ成分が強調されてしまうなどの欠点もある。
【０００７】
これら拡大画像の画質問題を解決する試みとして、例えば特許文献２、特許文献３などの新規方式が提案されている。
特許文献２に記載されている技術では、原画像の変化度合いの検出法として、エッジ検出フィルタによるエッジ検出を行い、そのエッジ検出結果に基づいてエッジ画素を定義する。そしてエッジ画素と判断された場合には、キュービック・コンボリューション法の３次関数形状を調整したＭ−キュービック法で拡大を行い、そうでない場合は最近傍法で拡大する。しかし、変化度合いの大きいエッジ部分をＭ−キュービック法で行うので、キュービック・コンボリューション法の画質特徴を踏襲し、ジャギーの発生やノイズ成分が強調されるという欠点がある。
【０００８】
特許文献３に記載されている技術では、画像の性質を予めブロック毎の濃度ヒストグラムで測り、その結果に基づいて第１補間（パターンマッチング法又はニアレストネイバー法（ＮＮ法））と第２補間（キュービック・コンボリューション法あるいはＭ−キュービック法）の結果を重畳する。第１補間処理の１つであるパターンマッチング法では、予め定めた角度パターンに現画像ブロックから生成したパターン（２値化パターン）が一致した場合、現画像ブロックを含む参照ブロックを用いて所定のルールで注目画素に対する補間画素ブロックを生成する。しかし特許文献３においても、Ｍ−キュービック法との重畳であるのでジャギーの発生やノイズ成分が強調される問題がある。
【０００９】
【特許文献１】特開平１０−３３６４５４号公報
【特許文献２】特開２０００−１８８６８１号公報
【特許文献３】特開２００２−１６５０８９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上述した背景からなされたものであり、画像を高画質に拡大する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために、本発明にかかる第１の画像処理装置は、入力画像の拡大処理を行う画像処理装置であって、入力画像をこの入力画像の特徴に基づいて判別する画像判別手段と、前記画像判別手段により判別された入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域を、この画像領域の特徴に基づいて判別する領域判別手段と、前記領域判別手段により判別された画像領域の特徴量を算出する領域特徴量算出手段と、前記領域特徴量算出手段により算出された画像領域の特徴量が所定の条件を満たす場合に、画像領域について、拡大画像領域を生成する拡大画像領域生成手段と、前記拡大画像領域生成手段とは異なる拡大手法を適用して、入力画像の拡大画像を生成する拡大処理手段と、前記拡大画像領域生成手段により生成された拡大画像領域と、前記拡大処理手段により生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成手段とを有する。
【００１２】
好適には、前記画像判別手段は、入力画像のラインそれぞれの階調数を計数し、その階調数と所定の基準値とを比較することにより、入力画像を判別する。
好適には、前記領域判別手段は、画像領域内の階調数を計数し、この階調数と所定の基準値とを比較することにより画像領域を判別する。
好適には、前記領域判別手段は、所定値を有する画素が、画像領域内に含まれるか否かにより、画像領域を判別する。
【００１３】
好適には、前記領域特徴量算出手段は、前記領域判別手段により判別された画像領域が、所定の条件を満たす場合に、この画像領域の特徴量を算出する。
好適には、前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、この画像領域における階調変化量を算出し、この階調変化量を特徴量とする。
好適には、前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、この画像領域における階調変化方向を算出し、この階調変化方向を特徴量とする。
【００１４】
好適には、前記領域特徴量算出手段は、画像領域内の各画素値に基づいて、この画像領域における階調変化を算出し、この階調変化が既定の画素値パターンに対応する場合に、この画素値パターンを特徴量として選択する。
好適には、前記領域特徴量算出手段は、色空間における色成分それぞれについて特徴量を算出し、算出された特徴量に基づいて１つの色成分を選択し、この色成分について算出された特徴量を画像領域の特徴量とする。
【００１５】
好適には、前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された特徴量が所定の条件を満たす画像領域に対して、画像領域の特徴量、画像領域の近傍領域の特徴量、及び近傍領域内の画素値に基づいて、拡大画像領域を生成する。
好適には、前記拡大画像領域生成手段は、エッジ強調処理を拡大率に応じて行って、画像領域内の画素値を補正し、補正された画素値を用いて拡大画像領域を生成する。
【００１６】
好適には、前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された階調変化の方向に応じて近傍領域内の画素値を選択し、選択された画素値を用いて拡大画像領域を生成する。
好適には、前記拡大画像領域生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式を用いて拡大画像領域を生成する。
【００１７】
好適には、前記拡大処理手段は、最近傍補間法に基づいて、入力画像の拡大画像を生成する。
好適には、前記拡大処理手段は、入力画像毎に、又は、入力画像中の複数のライン毎に、拡大画像を生成する。
【００１８】
また、好適には、前記拡大画像生成手段は、前記拡大画像領域生成手段により生成された拡大画像領域と、前記拡大処理手段により生成された拡大画像とが、互いに重なり合う場合に、拡大画像領域に基づいて、重複部分の画素値を決定する。
また、好適には、前記拡大画像生成手段は、前記拡大処理手段により生成された拡大画像の少なくとも一部の画素値を、前記拡大画像領域生成手段により生成された拡大画像領域の画素値で置換する。
さらに、好適には、前記拡大画像生成手段は、前記拡大画像領域生成手段により生成される複数の拡大画像領域が互いに重なり合う場合に、これらの拡大画像領域の重複部分について、同一画素に対応する複数の画素値の平均値を算出する。
【００１９】
本発明にかかる第２の画像処理装置は、入力画像の拡大処理を行う画像処理装置であって、入力画像の拡大画像を生成する拡大処理手段と、入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域が、ソース部分であるか、又はマスク部分であるかを判別する判別手段と、前記判別手段により、画像領域がソース部分であると判別された場合に、前記拡大処理手段とは異なる拡大手法を適用して、この画像領域に対応する拡大画像領域を生成する拡大画像領域生成手段と、前記拡大処理手段により生成された拡大画像と、前記拡大画像領域生成手段により生成された拡大画像領域との重畳部分を補正する補正手段とを有する。
【００２０】
また、本発明にかかる第１の画像処理方法は、入力画像の拡大処理を行う画像処理方法であって、入力画像をこの入力画像の特徴に基づいて判別し、前記判別された入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域を、この画像領域の特徴に基づいて判別し、前記判別された画像領域の特徴量を算出し、前記算出された画像領域の特徴量が所定の条件を満たす場合に、画像領域について、拡大画像領域を生成し、前記拡大画像領域が生成された拡大手法とは異なる拡大手法を適用して、入力画像の拡大画像を生成し、前記生成された拡大画像領域と、前記生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する。
【００２１】
また、本発明にかかる第２の画像処理方法は、入力画像の拡大処理を行う画像処理方法であって、入力画像の拡大画像を生成し、入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域が、ソース部分であるか、又はマスク部分であるかを判別し、前記判別において、画像領域がソース部分であると判別された場合に、前記生成とは異なる拡大手法を適用して、この画像領域に対応する拡大画像領域を生成し、前記生成された拡大画像と、前記生成された拡大画像領域との重畳部分を補正する。
【００２２】
また、本発明にかかる第１のプログラムは、コンピュータを含み、入力画像の拡大処理を行う画像処理装置において、入力画像をこの入力画像の特徴に基づいて判別する画像判別ステップと、前記判別された入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域を、この画像領域の特徴に基づいて判別する領域判別ステップと、前記判別された画像領域の特徴量を算出する領域特徴量算出ステップと、前記算出された画像領域の特徴量が所定の条件を満たす場合に、画像領域について、拡大画像領域を生成する拡大画像領域生成ステップと、前記拡大画像領域生成ステップとは異なる拡大手法を適用して、入力画像の拡大画像を生成する拡大処理ステップと、前記生成された拡大画像領域と、前記生成された拡大画像とに基づいて、入力画像に対する拡大画像を生成する拡大画像生成ステップとを前記画像処理装置のコンピュータに実行させる。
【００２３】
さらに、本発明にかかる第２のプログラムは、コンピュータを含み、入力画像の拡大処理を行う画像処理装置であって、入力画像の拡大画像を生成する拡大処理ステップと、入力画像に含まれる注目画素について、この注目画素を含む所定の大きさの画像領域が、ソース部分であるか、又はマスク部分であるかを判別する判別ステップと、前記判別ステップにより、画像領域がソース部分であると判別された場合に、前記拡大処理ステップとは異なる拡大手法を適用して、この画像領域に対応する拡大画像領域を生成する拡大画像領域生成ステップと、前記生成された拡大画像と、前記生成された拡大画像領域との重畳部分を補正する補正ステップとを前記画像処理装置のコンピュータに実行させる。
【発明の効果】
【００２４】
本発明の画像処理装置によれば、比較的軽い処理負荷で、高画質な拡大画像を高速に得ることができる。
【発明を実施するための最良の形態】
【００２５】
［ハードウェア構成］
本実施形態における画像処理装置２のハードウェア構成を説明する。
図４は、本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図４に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記憶装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６から構成される。
画像処理装置２は、例えば、画像拡大プログラム６（後述）がインストールされた汎用コンピュータであり、通信装置２２又は記憶装置２４などを介して画像データを取得し、取得された画像データを出力解像度に応じて拡大する。例えば、画像処理装置２は、プリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。
【００２６】
［画像拡大プログラム］
図５は、制御装置２０（図４）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム６の機能構成を例示する図である。
図５に例示するように、画像拡大プログラム６は、記憶部６７０、スキャンライン判定部６００、画像ブロック設定部６１０、画像ブロック判定部６２０、画像ブロック特徴量算出部６３０、高画質画像ブロック生成部６４０、高速拡大処理部６５０及び拡大画像統合部６６０を有する。画像ブロック判定部６２０は、階調数計数部６２２及び境界ブロック判別部６２４を有し、画像ブロック特徴量算出部６３０は、エッジ強度算出部６３２、エッジ方向推定部６３４及びエッジパターン選択部６３６を有する。
なお、画像拡大プログラム６の全部又は一部は、ＡＳＩＣなどのハードウェアにより実現されてもよい。
【００２７】
記憶部６７０は、画像データが拡大処理されるまで画像データを一時的に記憶し、解像度変換又は拡大処理された拡大画像データが出力装置（不図示）に出力されるまで一時的に記憶する。なお、画像データは、画像処理装置２により処理可能である画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、デジタルカメラ（不図示）又はスキャナ（不図示）などにより取り込まれた画像データ、又は、パーソナルコンピュータ（画像処理装置２など）等において作成又は編集等を行うアプリケーションプログラムにより作成された画像データ等である。拡大画像データ（拡大された後の画像データ）もまた、同様の画像フォーマットのデータである。
【００２８】
スキャンライン判定部６００は、記憶部６７０により記憶されている入力画像データから、ライン単位毎に入力画像データを順次切り出し、それらライン単位の画像データ中に異なる画素値がいくつあるか（以下ではこれをライン階調数と称する）を計数する。さらに、スキャンライン判定部６００は、ライン階調数に従って、入力画像データから切り出したライン単位の画像データの切り分けを行う。
【００２９】
画像ブロック設定部６１０は、画像ブロック判定部６２０、画像ブロック特徴量算出部６３０及び高画質画像ブロック生成部６４０において必要とされる既定の画像ブロックサイズをそれぞれ設定する。また、画像ブロック設定部６１０は、スキャンライン判定部６００によりライン階調数が所定の基準値以上であると判定され、かつ、設定された画像ブロックサイズが切り出し可能である、数ライン単位の入力画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、このブロックサイズの画像ブロックそれぞれを、画像ブロック判定部６２０、画像ブロック特徴量算出部６３０及び高画質画像ブロック生成部６４０に対してそれぞれ出力する。
【００３０】
画像ブロック判定部６２０は、画像ブロック設定部６１０から順次入力される画像ブロックの少なくとも一部（例えば中心部近傍の矩形部分）を注目領域とし、この注目領域とその周辺部とを含む画像ブロック内に、異なる画素値がいくつあるか（以下、これをブロック階調数と称する）を計数する。また、画像ブロック判定部６２０は、ある特定の値の画素が存在するかどうかを判別する。さらに、画像ブロック判定部６２０は、注目領域とその周辺部とを含む画像ブロックのブロック階調数、及び特定の値の画素を含むか否かの判別結果によって、それらの画像ブロックの切り分けを行う。
【００３１】
画像ブロック特徴量算出部６３０は、画像ブロック判定部６２０においてブロック階調数が所定の閾値以上であって、かつ、ある特定の値の画素を含まない画像ブロックと判定されたブロックに関して、その画像ブロックの少なくとも一部である注目領域における画像特徴量を、注目領域又はこの注目領域の周辺部を含む画像ブロック内の各画素値に基づいて算出する。画像特徴量は、例えば、注目領域のエッジ強度（階調変化量）又はエッジ角度（階調変化の方向）である。しかし、画像特徴量はこれらに限られず、画像ブロック特徴量算出部６３０は、例えば注目領域の各画素値の平均値を算出し、この平均値に対する注目領域の各画素値のばらつきを表す値（例えば標準偏差又は分散）を画像特徴量として算出してもよい。
【００３２】
また、画像ブロック特徴量算出部６３０は、それぞれの注目領域について算出された画像特徴量と基準値とを比較し、注目領域の切り分けを行う。注目領域の切り分けにより、特徴のある画像ブロック（例えば、エッジを含んだ画像ブロックなど）と、特徴の少ない画像ブロック（例えば、画素値変化の少ない画像ブロックなど）とが切り分けられる。より具体的には、画像ブロック特徴量算出部６３０は、算出された画像特徴量が基準値以上である画像ブロックを特徴ブロックと判定し、算出された画像特徴量が基準値未満である画像ブロックを非特徴ブロックと判定する。本例では、画像ブロック特徴量算出部６３０は、画像特徴量の１つとして画像ブロックのエッジ強度（数値）を算出し、算出されたエッジ強度が基準値以上である画像ブロックを特徴ブロックであると判定し、エッジ強度が基準値未満である画像ブロックを非特徴ブロックであると判定する。なお、特徴ブロックの切り分けに用いられる特徴量は、エッジ強度に限られず、上述の標準偏差、分散又はその他の特徴量であってもよい。
【００３３】
高画質画像ブロック生成部６４０は、画像ブロック特徴量算出部６３０により算出された画像特徴量を用いて、注目領域に対応する拡大画像ブロックを生成する。高画質画像ブロック生成部６４０における拡大処理は、注目領域に含まれる特徴を保持するような拡大手法を適用するのが望ましい。
また、高画質画像ブロック生成部６４０は、画像ブロック特徴量算出部６３０により算出された特徴量が基準値以上である画像ブロック（すなわち、特徴ブロック）についてのみ、拡大処理を行う。
【００３４】
高速拡大処理部６５０は、記憶部６７０により記憶されている入力画像データを拡大する。高速拡大処理部６５０は、高画質画像ブロック生成部６４０による拡大処理より処理負荷の小さい拡大アルゴリズムを適用する。具体的には、高速拡大処理部６５０は、例えば、最近傍補間拡大法を適用して入力画像データを拡大する。また、高速拡大処理部６５０は、画像ブロック毎の処理ではなく、入力画像単位又は入力画像の数ライン単位で拡大処理を行うことができる。
【００３５】
拡大画像統合部６６０は、高画質画像ブロック生成部６４０により拡大された拡大画像ブロックと、高速拡大処理部６５０により拡大された拡大画像とを統合する。より具体的には、拡大画像統合部６６０は、画像ブロック特徴量算出部６３０により算出された画像特徴量が基準値以上である画像ブロック（特徴ブロック）についてのみ、高画質画像ブロック生成部６４０により拡大された拡大画像を適用する。また、拡大画像統合部６６０は、算出された画像特徴量が基準値未満である画像ブロック（非特徴ブロック）、スキャンライン判定部６００によりライン階調数が基準値以下と判定された画像データ、又は、画像ブロック判定部６２０によりブロック階調数が基準値以下であるかもしくはある特定の値の画素を含むと判定された画像ブロックについては、高速拡大処理部６５０により拡大された拡大画像を適用して、１つの拡大画像を生成する。
【００３６】
［スキャンライン判定部］
スキャンライン判定部６００を、より詳細に説明する。
スキャンライン判定部６００は、ライン単位の画像データが何階調で構成されているかを計数する。例えば、１ライン内すべての画素値が同じ値ならば、ライン階調数は１階調である。さらに、スキャンライン判定部６００は、計数されたライン階調数と基準階調数（既定のライン階調数Ｔｌ）との比較により、ライン単位の画像データを判別する。本例では、基準階調数をＴｌ＝２とすることにより、スキャンライン判定部６００は、ライン毎の画像データが自然画像のような多階調画像データであるか、又はマスク画像などのような２値画像データのいずれであるかを判別する。つまり、スキャンライン判定部６００は、計数されたライン階調数が基準階調数Ｔｌより大きければ多階調画像データであると判別し、基準階調数Ｔｒより小さければ２値画像データと判別する。なお、画像データのライン階調数が基準階調数Ｔｌよりも小さい場合（つまり、２値画像データの場合）は、高速拡大処理部６５０による拡大処理が行われる。
また、本例では、入力画像データは、１画素につき１色要素であるグレースケール画像であることを想定して説明されているが、このような画像に限定されない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像データが入力される場合は、スキャンライン判定部６００は、各々の色成分のデータにおけるライン階調数を計数し、すべての色成分データのライン階調数がＴｌ（＝２）より小さい場合のみ、２値画像データとして判別すればよい。
【００３７】
［画像ブロック判定部］
画像ブロック判定部６２０を、より詳細に説明する。なお、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
階調数計数部６２２は、注目領域を含む周辺領域が、何階調で構成されているかを計数する。例えば４×４画素サイズブロックの場合、ブロック内すべての画素値が異なれば、ブロック階調数は１６階調であり、ブロック内すべての画素値が同じ値ならば、ブロック階調数は１階調である。さらに、階調数計数部６２２は、計数されたブロック階調数と基準階調数（既定のブロック階調数Ｔｒ）との比較を行い、注目領域を含む周辺領域が、自然画像のような多階調画像ブロック、又は、パターン画像やマスク画像のような限定階調画像ブロックのいずれであるかを判別する。つまり、階調数計数部６２２は、計数されたブロック階調数が基準階調数Ｔｒより大きければ、多階調画像ブロックであると判別し、基準階調数Ｔｒより小さければ、限定階調画像ブロックと判別する。
なお、境界ブロック判別部６２４は、注目領域を含む周辺領域のブロック階調数が基準階調数Ｔｒよりも小さい場合は、この領域については処理を行わない。
【００３８】
境界ブロック判別部６２４は、階調数計数部６２２において注目領域を含む周辺領域のブロック階調数が基準階調数Ｔｒよりも大きいと判断された領域に対して、その領域が、前景画素と背景画素とが混在する境界ブロック（境界領域）であるのかどうかを判定する。つまり、境界ブロック判別部６２４は、画像ブロックが、ある特定な値を持つ画素が１つでも存在する画像ブロックであるか又は全く存在しない画像ブロックであるかを判別し、その判断結果を画像ブロック特徴量算出部６３０等に対して出力する。
【００３９】
画像ブロック判定部６２０の全体動作を説明する。
図６は、画像ブロック判定部６２０による画像ブロック判定処理を示すフローチャート（Ｓ１０）である。
図６に示すように、ステップ１００（Ｓ１００）において、階調数計数部６２２は、注目領域を含む周辺領域のブロック階調数を計数する。
【００４０】
ステップ１０２（Ｓ１０２）において、階調数計数部６２２は、計数されたブロック階調数と所定の基準階調数Ｔｒとの比較を行い、この領域が多階調画像ブロックであるか限定階調画像ブロックであるかを判別する。
注目領域を含む周辺領域が多階調画像ブロックであると判別された場合は、境界ブロックであるかどうかの判定を行うべくステップ１０４（Ｓ１０４）の処理に移行し、注目領域を含む周辺領域が限定階調画像ブロックであると判別された場合は、ステップ１０６（Ｓ１０６）に処理を移行し、画像ブロック判定部６２０は、その判定結果を画像ブロック特徴量算出部６３０に出力する。
【００４１】
ステップ１０４（Ｓ１０４）において、境界ブロック判別部６２４は、注目領域を含む周辺領域に背景画素が存在するかどうかを検索し、この領域が境界ブロックであるかどうかを判別する。境界ブロック判別部６２４は、注目領域を含む周辺領域内に背景画素が１つでも存在した場合は、この領域を境界ブロックと判別し、背景画素が全く存在しない場合は、ステップ１０２（Ｓ１０２）において、階調数計数部６２２が判別したとおり多階調画像ブロックとして判別する。さらに、ステップ１０６（Ｓ１０６）に処理を移行し、画像ブロック判定部６２０は、その判定結果を画像ブロック特徴量算出部６３０に出力する。
このようにして、画像ブロック判定部６２０は、注目領域を含む周辺領域が、多階調画像ブロック、限定階調画像ブロック及び境界ブロックのいずれであるか判定する。
【００４２】
［画像ブロック特徴量算出部］
画像ブロック特徴量算出部６３０を、より詳細に説明する。なお、前述の画像ブロック判定部６２０の説明と同様に、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
エッジ強度算出部６３２は、画像ブロック設定部６１０により切り出され、画像ブロック判定部６２０において多階調画像ブロックと判定された画像ブロックの中の注目領域のエッジ強度Ｇを、次の式（１）により算出する。
【００４３】
ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ・・・（１）
【００４４】
式（１）において、ａ、ｂ、ｃ及びｄは、図７に例示するように、注目領域にある各画素の画素値である。ｇｘは、主走査方向（図７の左右方向）の画素値の変化量を示し、ｇｙは、副走査方向（図７の上下方向）の画素値の変化量を示す。
なお、エッジ強度は、上記式（１）のみにより算出される値でなく、以下の式（２）などにより算出されてもよい。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜・・・（２）
すなわち、エッジ強度Ｇは、ｇｘの絶対値と、ｇｙの絶対値との和として算出されてもよい。
【００４５】
また、エッジ強度算出部６３２は、算出されたエッジ強度Ｇと基準値（既定のしきい値Ｔｈ）との比較を行い、注目領域が特徴ブロック又は非特徴ブロックのいずれであるかを判定し、判定結果を高画質画像ブロック生成部６４０等に対して出力する。
なお、注目領域のエッジ強度Ｇがしきい値Ｔｈよりも小さい場合は、エッジ方向推定部６３４及びエッジパターン選択部６３６は、この注目領域について処理を行わない。
【００４６】
エッジ方向推定部６３４について説明する。
図７は、注目領域及び周辺領域の具体例と、注目領域のエッジ方向の一例の説明図である。図７（Ａ）は、注目領域及び周辺領域を例示し、図７（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。
図７（Ａ）に例示するように、注目領域（画像領域）は、２×２の矩形領域（主走査方向及び副走査方向にそれぞれ２つ）を有し、周辺領域は、４×４の矩形領域（主走査方向及び副走査方向にそれぞれ４つ）を有する。各矩形は、それぞれ画素に相当し、矩形内の各数字はそれぞれの画素値を示している。すなわち、注目領域は、中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。
以下、この図７（Ａ）で例示する注目領域を具体例として、エッジ方向推定部６３４によるエッジ方向推定処理を説明する。
【００４７】
図８は、エッジ方向推定部６３４によるエッジ方向推定処理（Ｓ２０）を示すフローチャートである。
図９は、エッジ方向推定処理（Ｓ２０）のＳ２０２の処理において選択される参照領域を例示する図である。なお、図９におけるハッチングされた部分は、図７に示した注目領域に相当する。
【００４８】
図８に示すように、ステップ２００（Ｓ２００）において、エッジ方向推定部６３４は、図７（Ａ）に例示した注目領域のエッジ角度Θを、次の式（３）で計算する。
Θ＝arctan（ｇｙ／ｇｘ）・・・（３）
図７（Ａ）では、注目領域の画素値は、｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝であり、式（１）より、
ｇｘ＝−１０３
ｇｙ＝−８５
となり、これらを式（３）に代入すると、
Θ＝−１４０．５°
となる。
このエッジ角度Θの方向は、図７（Ｂ）に示された破線方向に相当する。
【００４９】
さらに、エッジ方向推定部６３４は、算出されたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを判定する。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向０」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向１」とし、４５°又は−１３５°を中心とした角度範囲を「方向２」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向３」とし、９０°又は−９０°を中心とした角度範囲を「方向４」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向５」とし、１３５°又は−４５°を中心とした角度範囲を「方向６」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向７」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は、−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。
【００５０】
ステップ２０２（Ｓ２０２）において、エッジ方向推定部６３４は、算出された注目領域のエッジ角度Θに応じて、図７（Ａ）に示した周辺領域（太線枠外の領域）の中からエッジ方向の推定に用いる参照領域を選択する。より具体的には、エッジ方向推定部６３４は、算出されたエッジ角度Θの方向で注目領域と隣接する可能性のある画素を含むように、参照領域を選択する。
例えば、エッジ方向推定部６３４は、注目領域について算出されたエッジ角度が「方向０」に含まれる場合に、図９（Ａ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が「方向４」に含まれる場合に、図９（Ｂ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が上記以外の方向（方向１〜３、方向５〜７）に含まれる場合に、図９（Ｃ）に例示する参照領域（太線で囲まれた４つの領域）を選択する。図７に示した具体例では、エッジ角度の方向は「方向２」であるので、図９（Ｃ）に示した４つの参照領域が選択の候補となる。
なお、参照領域は、図９に例示した領域に限定されず、例えば図９（Ｃ）の場合には、参照領域数は８であったり、それぞれの方向に応じて設定されてもよい。
【００５１】
ステップ２０４（Ｓ２０４）において、エッジ方向推定部６３４は、選択された参照領域それぞれに対して、Ｓ２００の処理と同様に、式（１）及び式（３）に従って、エッジ角度Θを計算する。
ステップ２０６（Ｓ２０６）において、エッジ方向推定部６３４は、それぞれの参照領域について算出されたエッジ角度と、注目領域について算出されたエッジ角度とを比較して、これらの差分が予め設定されている閾値Θｔｈより小さいか否かを判断する。エッジ方向推定部６３４は、エッジ角度の差分が閾値Θｔｈより小さい場合には、この参照領域のエッジ角度を適正なエッジ角度として判定してＳ２０８の処理に移行し、エッジ角度の差分が閾値Θｔｈ以上である場合には、この参照領域のエッジ角度を適正なエッジ角度ではないと判定してＳ２１０の処理に移行する。
【００５２】
ステップ２０８（Ｓ２０８）において、エッジ方向推定部６３４は、角度参照数をインクリメントする。すなわち、エッジ方向推定部６３４は、参照領域について算出されたエッジ角度が適正なエッジ角度であると判断された場合にのみ、角度参照数をインクリメントする。
なお、角度参照数は、エッジ角度の参照数をカウントするための変数であり、注目領域ごとに「角度参照数１」に初期化される。
【００５３】
ステップ２１０（Ｓ２１０）において、エッジ方向推定部６３４は、選択した全ての参照領域についてエッジ角度を算出したか否かを判断し、全ての参照領域についてエッジ角度が算出された場合には、Ｓ２１２の処理に移行し、これ以外の場合には、Ｓ２０４の処理に戻って次の参照領域についてエッジ角度を算出する。
ステップ２１２（Ｓ２１２）において、エッジ方向推定部６３４は、注目領域のエッジ角度と、適正なエッジ角度として判定された参照領域のエッジ角度との総和を計算し、算出されたエッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。
【００５４】
なお、図７に示した具体例では、エッジ角度ΘＵは、上部の参照領域｛８６，２０３，１７１，２１１｝からΘＵ＝−１４９．４°となり、エッジ角度ΘＬは、左部の参照領域｛１０，１５，２０，８６｝からΘＬ＝−１３１．２°となり、エッジ角度ΘＤは、下部の参照領域｛１，１０２，１５，１０４｝からΘＤ＝−１７５．２°となり、エッジ角度ΘＲは、右部の参照領域｛１０４，２１５，２０３，２１９｝からΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度とが比較され、その差分が閾値Θｔｈより小さい参照領域の数が、角度参照数としてカウントされる。
【００５５】
図１０は、図７に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差分が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって、平均エッジ角度は−１４７．５°と求められる。この場合においても、エッジ方向推定部６３４は、上述の注目領域のエッジ方向と同様に、平均エッジ角度が例えば８方向のいずれかに含まれるかを判定する。本例では、平均エッジ角度が−１４７．５°であるため「方向１」に含まれ、「方向１」が推定エッジ方向となる。
【００５６】
なお、本実施形態では、１画素につき１色要素であるグレースケール画像を具体例として説明しているが、これに限定されるわけではない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像が入力される場合には、各々の色成分のデータにおけるエッジ強度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データにより、上記のエッジ方向推定処理が行われればよい。より具体的には、画像ブロック特徴量算出部６３０は、それぞれの色成分についてエッジ強度を算出し、算出されたエッジ強度Ｇｒ、Ｇｇ、Ｇｂが最大となる色成分を選択して、選択された色成分についてのみ特徴量を算出する。このようにして、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下が抑えられることが可能となる。
また、本例では、注目領域及び参照領域について、式（１）により算出されたエッジ角度は、８方向のいずれかに分類されたが、分類は８方向に限定されず、より精度の高いエッジ方向が必要であれば、分類は、１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の角度領域を対象としてなされてもよい。
【００５７】
エッジパターン選択部６３６について説明する。
図１１は、エッジパターン選択部６３６により用いられるエッジパターンテーブルを例示する図である。
図１１に例示するように、エッジパターン選択部６３６は、推定エッジ方向とエッジパターンとを互いに対応付けたエッジパターンテーブルを有する。エッジパターンテーブルには、エッジパターンが、注目領域のパターンサイズに対応して、推定エッジ方向（例えば８方向）ごとに１つ以上登録されている。
エッジパターン選択部６３６は、このエッジパターンテーブルを参照して、エッジ方向推定部６３４によりそれぞれの注目領域について推定された推定エッジ方向に対応するエッジパターンを選択する。
本例では、図１０に例示するように、注目領域に対する推定エッジ方向が、エッジ方向推定部６３４により「方向１」であると推定されているため、エッジパターン選択部６３６は、この推定エッジ方向（方向１）に従い、図１１に示すエッジパターンテーブルの中から、方向１に対応する「パターン０」から「パターン３」までの４つのエッジパターンを選択し、これらをこの注目領域に対するエッジパターンの候補とする。
【００５８】
エッジパターン選択部６３６は、注目領域の画素値に基づいて、エッジパターンの候補となった１つ以上のエッジパターンの中から、１つのエッジパターンを選択する。エッジパターンの具体的な選択方法について、図１２を参照しながら説明する。
図１２は、図１１に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
本例では、推定エッジ方向が「方向１」であったため、図１２（Ａ）に例示するように、エッジパターンの候補として、「パターン０」から「パターン３」までの４つのエッジパターンが選択されている。これらのエッジパターンは、図１２（Ｂ）に例示するように、ビットパターンとして表現される。具体的には、エッジパターンは、白部分を０、それ以外を１としてビットパターン化され、「ビットパターン０」から「ビットパターン３」までのビットパターンが生成される。なお、これらのビットパターンは、図１１に示すエッジパターンテーブルにビットテーブルとして予め登録されていてもよい。
【００５９】
エッジパターン選択部６３６は、注目領域に相当するビットパターンを判定する。具体的には、エッジパターン選択部６３６は、以下に示す式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。
【００６０】
Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ・・・（４）
【００６１】
なお、本例では、図１２（Ｃ）に示すように、Ｍｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１となる。よって、エッジパターン選択部６３６は、これらの正負符号を判定して、図１２（Ｃ）に示すように、注目領域のビットパターン（１０１０）を生成する。
エッジパターン選択部６３６は、図１２（Ｂ）に例示するエッジパターン候補に対応するビットパターンと、図１２（Ｃ）に例示する注目領域のビットパターンとのパターンマッチングを行い、最も類似するエッジパターンを選択パターンとして決定する。選択されたエッジパターンは、後述する高画質画像ブロック生成部６４０における拡大画像ブロック生成処理に適用される。
【００６２】
なお、エッジパターンは、図１１に示したエッジパターンに限定されず、例えば、エッジパターン選択部６３６は、入力画像データの種類に応じて、エッジパターンテーブルを切り替えて、異なるエッジパターンを適用してもよい。また、エッジパターン選択部６３６は、各角度におけるエッジパターン候補数を増減させてもよい。
【００６３】
［高画質画像ブロック生成部］
高画質画像ブロック生成部６４０を、より詳細に説明する。
高画質画像ブロック生成部６４０は、画像ブロック特徴量算出部６３０において、特徴ブロックであると判定された注目領域に対して、画像ブロック特徴量算出部６３０で得られた注目領域に対するエッジパターン及び推定エッジ方向に基づいて、拡大画像ブロック生成処理を行う。
高画質画像ブロック生成部６４０は、まず、拡大処理の拡大倍率に応じたサイズ及び係数の強調カーネルを用いて、画像ブロック設定部６１０により切り出された画像ブロック中の注目領域及びその周辺領域の画像データのコントラストを強調する。
図１３は、高画質画像ブロック生成部６４０により用いられる強調カーネル６４６（エッジ強調カーネル）を例示する図である。
図１３に例示するように、第１の強調カーネル６４６ａは、重み付け係数「１．６０」及び「−０．１５」を用いてコントラストを強調し、第２の強調カーネル６４６ｂは、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、対象画像に対して既になされた拡大処理の拡大倍率に対応付けられており、互いに異なる重み付け係数を用いて、互いに異なる位置の画素値を参照する。
【００６４】
第１の強調カーネル６４６ａは、図１３（Ａ）に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．１５）を掛け合わせ、重み付け係数（１．６０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
第２の強調カーネル６４６ｂは、第１の強調カーネル６４６ａよりも拡大倍率の大きな画像に対して適用され、図１３（Ｂ）に例示するように、注目画素Ｐから１画素分離間した下画素ａ、右画素ｂ、上画素ｃ及び左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．０５）を掛け合わせ、重み付け係数（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、第１の強調カーネル６４６ａを適用する場合に、以下の式（５）に従って、コントラスト強調後の画素値Ｐ’が算出される。
画素値Ｐ’＝１．６０×Ｐ−０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・・（５）
【００６５】
このように、強調カーネルは、既になされた拡大処理の拡大倍率に応じて異なるので、画像が、４倍、８倍と順に拡大されると、原画像の特徴を有している画素は、２画素、４画像離れた位置の画素となる。そのため、高画質画像ブロック生成部６４０は、図１３に例示するように、拡大倍率が高いほど離れた画素を参照して強調処理を行う。例えば、高画質画像ブロック生成部６４０は、２倍拡大処理を２回連続して適用することにより４倍拡大が実現される場合に、最初の２倍拡大処理において第１の強調カーネル６４６ａ（図１３（Ａ））を適用し、２回目の２倍拡大処理において第２の強調カーネル６４６ｂ（図１３（Ｂ））を適用する。なお、８倍、１６倍以降の倍率においても同様である。
また、参照する画素の位置は、図１３に示すような上下左右に限られない。例えば、高画質画像ブロック生成部６４０は、斜め方向の画素を参照してコントラスト強調を行ったり、さらに離れた画素を参照してコントラスト強調を行ったり、又は、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。
【００６６】
次に、高画質画像ブロック生成部６４０は、画像ブロック特徴量算出部６３０により得られた注目領域に対するエッジパターン及び推定エッジ方向と、前述したようにコントラスト強調処理が行われた注目領域及びその周辺領域の画素値とを用いて、注目領域に対する拡大画像ブロックを生成する。
【００６７】
図１４は、高画質画像ブロック生成部６４０における拡大画像ブロックの生成処理の具体例の説明図である。まず、高画質画像ブロック生成部６４０は、注目領域のエッジパターン及び推定エッジ方向基づき、コントラスト強調処理を施された画素値を用いて、３×３画像ブロックに相当する画素値を算出する。図１４（Ａ）は、図７（Ａ）に示した注目領域及び周辺領域の一例を示す。前述したように画像ブロック特徴量算出部６３０において、この注目領域はエッジパターン１０１０に対応し、推定エッジ方向は「方向１」であると求められている。高画質画像ブロック生成部６４０は、（エッジパターン１０１０）−（推定エッジ方向「１」）の組み合わせの場合、図１４（Ｂ）に示すように、３×３画像ブロックに相当するそれぞれの画素をｐ０〜ｐ８とすると、図１４（Ａ）に示した注目領域の画素値｛ａ，ｂ，ｃ，ｄ｝をもとに、ｐ０〜ｐ８の画素値を次の式によって計算する。なお、エッジパターンと推定エッジ方向との組み合わせは、「（エッジパターン）−（推定エッジ方向）」と表される。
【００６８】
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｂ＋ｂ）／２
ｐ８＝ｄ
【００６９】
これらの計算式は、（エッジパターン）−（推定エッジ方向）の組み合わせにより一意に決定され、３×３画像ブロック相当の画素値が計算される。
【００７０】
図１５は、他の（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いられる計算式の一例の説明図である。
図１５（Ａ）は、（エッジパターン１０００）−（推定エッジ方向「１」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。
【００７１】
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｃ）／２
【００７２】
図１５（Ｂ）は（エッジパターン１１００）−（推定エッジ方向「５」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。
【００７３】
ｐ０＝ａ
ｐ１＝（ａ＋ｂ）／２
ｐ２＝ｂ
ｐ４＝（ａ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
ｐ３＝（ｐ４＋ｃ）／２
ｐ５＝（ｐ４＋ｂ）／２
【００７４】
図１５（Ｃ）は（エッジパターン１１００）−（推定エッジ方向「２」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。
【００７５】
ｐ０＝ａ
ｐ１＝ａ
ｐ２＝ｂ
ｐ３＝ａ
ｐ４＝（ｂ＋ｃ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ７＝（ｃ＋ｄ）／２
ｐ８＝ｄ
【００７６】
図１５（Ｄ）は（エッジパターン０１０１）−（推定エッジ方向「７」）の場合に用いられる計算式を示し、３×３画像ブロック相当の画素値は、次の式によって計算される。
【００７７】
ｐ０＝ａ
ｐ２＝ｂ
ｐ３＝（ａ＋ｃ）／２
ｐ４＝（ａ＋ｄ）／２
ｐ５＝（ｂ＋ｄ）／２
ｐ６＝ｃ
ｐ８＝ｄ
ｐ１＝（ｐ４＋ｂ）／２
ｐ７＝（ｐ４＋ｃ）／２
【００７８】
なお、他のエッジパターンの場合にも、同様にそれぞれのエッジパターンに対応した計算式に従って計算を行うことによって、３×３画像ブロック相当の画素値が計算されることができる。
【００７９】
次に、高画質画像ブロック生成部６４０は、前述のように計算された３×３画像ブロック相当の画素値と、注目領域の推定エッジ方向に基づいて選択された周辺領域内の複数の参照画素とを用いて４×４画像ブロックを生成する。
【００８０】
図１６は、注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。注目領域の推定エッジ方向が方向１（２２．５°）から方向３（６７．５°）の場合には、図１６（Ａ）に示したように、参照画素ｒ０〜ｒ５は、図１６（Ａ）に太線枠で囲んだように左上から下へ３画素と右下から上へ３画素となるように選択される。また、注目領域の推定エッジ方向が方向５（１１２．５°）から方向７（１５７．５°）の場合には、図１６（Ｂ）に示したように、参照画素ｒ０〜ｒ５は、左下から上へ３画素と右上から下へ３画素となるように選択される。参照画素ｒ６〜ｒ１３は、推定エッジ方向に拠らず、図１６（Ａ）及び図１６（Ｂ）に示すように、上下それぞれ４画素を選択される。このように、参照画素は、注目領域における推定エッジ方向に基づいて選択される。もちろん、参照画素の選択は、図１６に示すように２パターンからの選択に限定されず、推定エッジ方向に従い、より多くの参照画素選択パターンが用意されてもよい。また、選択する参照画素は、推定エッジ方向に応じて変更されてもよい。
【００８１】
図１７は、４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。図１７に示すように、計算された３×３画像ブロック相当の画素値ｐ０〜ｐ８、及び注目領域における推定エッジ方向に基づいて選択された参照画素ｒ０〜ｒ１３を用いて、次の計算式に従って、４×４画素の拡大画像ブロックに相当する画素値（ｓ０〜ｓ１５）が計算されて、４ｘ４拡大画像ブロックが生成される。
【００８２】
ｓ０＝０．２×ｒ６＋０．１６×ｒ０＋０．６４×ｐ０
ｓ１＝０．２×ｒ７＋０．３２×ｐ０＋０．４８×ｐ１
ｓ２＝０．２×ｒ８＋０．４８×ｐ１＋０．３２×ｐ２
ｓ３＝０．２×ｒ９＋０．６４×ｐ２＋０．１６×ｒ１
ｓ４＝０．０８×ｒ０＋０．３２×ｐ０＋０．１２×ｒ２＋０．４８×ｐ３
ｓ５＝０．１６×ｐ０＋０．２４×ｐ１＋０．２４×ｐ３＋０．３６×ｐ４
ｓ６＝０．２４×ｐ１＋０．１６×ｐ２＋０．３６×ｐ４＋０．２４×ｐ５
ｓ７＝０．３２×ｐ２＋０．０８×ｒ１＋０．４８×ｐ５＋０．１２×ｒ３
ｓ８＝０．１２×ｒ２＋０．４８×ｐ３＋０．０８×ｒ４＋０．３２×ｐ６
ｓ９＝０．２４×ｐ３＋０．３６×ｐ４＋０．１６×ｐ６＋０．２４×ｐ７
ｓ１０＝０．３６×ｐ４＋０．２４×ｐ５＋０．２４×ｐ７＋０．１６×ｐ８
ｓ１１＝０．４８×ｐ５＋０．１２×ｒ３＋０．３２×ｐ８＋０．０８×ｒ５
ｓ１２＝０．１６×ｒ４＋０．６４×ｐ６＋０．２×ｒ１０
ｓ１３＝０．３２×ｐ６＋０．４８×ｐ７＋０．２×ｒ１１
ｓ１４＝０．４８×ｐ７＋０．３２×ｐ８＋０．２×ｒ１２
ｓ１５＝０．６４×ｐ８＋０．１６×ｒ５＋０．２×ｒ１３
【００８３】
このようにして、４×４画素の拡大画像ブロック（ｓ０〜ｓ１５）は、画像ブロック特徴量算出部６３０により特徴ブロックと判断された注目領域に対して生成される。
以上説明したように、高画質画像ブロック生成部６４０は、画像ブロック特徴量算出部６３０により算出された画像特徴量に従って、拡大画像ブロック生成処理を行うことにより、ジャギーを抑えた高画質な拡大処理を行うことができる。
【００８４】
［拡大画像統合部］
拡大画像統合部６６０をより詳細に説明する。
拡大画像統合部６６０は、高画質画像ブロック生成部６４０により生成された注目領域に対する拡大画像ブロックと、高速拡大処理部６５０から出力された拡大画像とを統合する。拡大画像統合部６６０は、高速拡大処理部６５０により生成された拡大画像と、高画質画像ブロック生成部６４０により生成された拡大画像ブロックとの重畳部分を補正して、補正手段を構成する。
図１８は、高画質画像ブロック生成部６４０により生成された４×４画素の拡大画像ブロックと、高速拡大処理部６５０から出力された拡大画像とを統合する具体例の説明図である。図１８に示すように、拡大画像統合部６６０は、順次生成された拡大画像ブロック０及び拡大画像ブロック１を、高速拡大処理部６５０から出力された拡大画像上の対応する位置に順次配置して統合する。このとき、拡大画像統合部６６０は、拡大画像上の各画素値を、拡大ブロックの各画素値（Ｓ０〜Ｓ１５）で置き換えるように配置してもよいし、拡大画像上の各画素値と拡大ブロックの各画素値（Ｓ０〜Ｓ１５）とを重畳するように配置してもよい。
また、拡大画像ブロック同士（図１８における拡大画像ブロック０と拡大画像ブロック１）の拡大画像上の対応位置がオーバーラップする場合は、拡大画像統合部６６０は、各拡大画像ブロックのオーバーラップする画素の平均をとってもよいし、又は、オーバーラップする画素の総和を計算し、前記画素値の総和をオーバーラップした数で割ることにより各画素値を算出するようにしてもよい。
【００８５】
［全体動作］
画像処理装置２の全体動作（画像拡大処理）を説明する。
図１９は、画像処理装置２の全体動作を示すフローチャート（Ｓ３０）である。
図１９に示すように、ステップ３００（Ｓ３００）において、スキャンライン判定部６００は、記憶部６７０により記憶されている入力画像データから、ライン単位毎に入力画像データを順次切り出し、それらライン単位の画像データのライン階調数を計数する。
【００８６】
ステップ３０２（Ｓ３０２）において、スキャンライン判定部６００は、ライン単位毎の入力画像データが、多階調画像データであるのか、２値画像データであるのかを判定する。具体的には、ステップ３００（Ｓ３００）において計数されたライン階調数と、所定の基準階調数Ｔｌ（例えばＴｌ＝２）との比較により多階調画像データであるのか２値画像データであるのか判別する。
画像処理装置２は、ライン単位毎の画像データが２値画像データであると判定された場合に、画像データを高速に拡大処理行うべくＳ３２４の処理に移行し、ライン単位毎の画像データが多階調画像データであると判定された場合に、ブロック単位の拡大処理を行うべくＳ３０４の処理に移行する。
【００８７】
ステップ３０４（Ｓ３０４）において、画像ブロック設定部６１０は、画像ブロック判定部６２０、画像ブロック特徴量算出部６３０及び高画質画像ブロック生成部６４０により必要とされる既定の画像ブロックのサイズをそれぞれ設定し、スキャンライン判定部６００により多階調画像データと判定されたライン単位の画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、切り出された各画像ブロックを画像ブロック判定部６２０、画像ブロック特徴量算出部６３０及び高画質画像ブロック生成部６４０に対してそれぞれ出力する。
【００８８】
ステップ３０６（Ｓ３０６）において、画像ブロック判定部６２０は、画像ブロック設定部６１０により切り出された画像ブロックの中の注目領域を含む周辺領域が、多階調画像ブロックであるのか、限定階調画像ブロックであるのか、又は、境界画像ブロックであるのかを判定する。具体的には、画像ブロック判定部６２０は、注目領域を含む周辺領域のブロック階調数を計数し、所定の基準階調数との比較により、多階調画像ブロックであるのか限定階調画像ブロックであるのか判別する。さらに、画像ブロック判定部６２０は、多階調画像ブロックであると判別された画像ブロックのうち、ある特定の画素値を持つ画素（背景画素）を含むものを境界画像ブロックと判別する。
【００８９】
ステップ３０８（Ｓ３０８）において、画像ブロック特徴量算出部６３０は、画像ブロック判定部６２０による画像ブロックの判別結果に基づいて、注目領域を含む周辺領域が多階調画像ブロックである画像ブロックを選択する。
画像処理装置２は、多階調画像ブロックであると判定された場合に、この注目領域の画像特徴を保存する拡大処理を行うべくＳ３１０の処理に移行し、多階調画像ブロック以外（限定階調画像ブロック及び境界画像ブロック）であると判定された場合に、Ｓ３０４の処理に戻り、次の画像ブロックを処理する。
【００９０】
ステップ３１０（Ｓ３１０）において、画像ブロック特徴量算出部６３０は、入力された画像ブロックの中の注目領域のエッジ強度Ｇを、式（１）を用いて算出する。なお、｛ａ，ｂ，ｃ，ｄ｝は、図７に例示するように、注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像である場合には、画像ブロック特徴量算出部６３０は、注目領域に関してＲ，Ｇ，Ｂの各色空間の色成分毎の画像ブロックそれぞれについて、式（１）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂの中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。
【００９１】
ステップ３１２（Ｓ３１２）において、画像ブロック特徴量算出部６３０は、注目領域のエッジ強度Ｇに基づいて、この注目領域が特徴ブロックであるか非特徴ブロックであるかを判定する。具体的には、画像ブロック特徴量算出部６３０は、算出されたエッジ強度Ｇが既定の閾値Ｔｈ以上である場合（すなわち、注目領域内の階調変化量が大きい場合）に、この注目領域を特徴ブロックとし、算出されたエッジ強度Ｇが既定の閾値Ｔｈ未満である場合（すなわち、注目領域内の階調変化量が小さい場合）に、この注目領域を非特徴ブロックとする。
画像処理装置２は、注目領域が特徴ブロックであると判定された場合に、この注目領域の画像特徴を保存する拡大処理行うべくＳ３１４の処理に移行し、注目領域が非特徴ブロックであると判定された場合に、Ｓ３０４の処理に戻り、次の画像ブロックを処理する。
【００９２】
ステップ３１４（Ｓ３１４）において、画像ブロック特徴量算出部６３０は、注目領域（特徴ブロック）及びその注目領域を含む１以上の周辺領域の中の参照領域のエッジ角度Θを、式（３）を用いて計算する。なお、ｇｘ、ｇｙは、式（１）において各々算出される値である。画像ブロック特徴量算出部６３０は、算出された複数のエッジ角度Θから、注目領域のエッジ方向θを推定する。例えば、画像ブロック特徴量算出部６３０は、得られた複数のエッジ角度Θの平均値を算出し、算出された平均値を推定エッジ方向θとする。
【００９３】
ステップ３１６（Ｓ３１６）において、画像ブロック特徴量算出部６３０は、推定されたエッジ方向θ及び注目領域（特徴ブロック）の画素分布パターンを用いて、エッジパターンを選択する。エッジパターンは、エッジ方向及び画素分布パターンに応じて、予め用意されたパターンテーブル（図１１）の中から選択される。
【００９４】
ステップ３１８（Ｓ３１８）において、高画質画像ブロック生成部６４０は、拡大率に応じてサイズ及び重み付け係数が設定された強調カーネル６４６（図１３）を用いて、画像ブロック設定部６１０により切り出された画像ブロックの中の注目領域（特徴ブロック）及びその周辺領域の画像データに対して、コントラスト強調処理を施す。
【００９５】
ステップ３２０（Ｓ３２０）において、高画質画像ブロック生成部６４０は、画像ブロック特徴量算出部６３０により得られた注目領域のエッジパターン及び前記注目領域の推定エッジ方向θと、Ｓ３１８の処理においてコントラスト強調が施された注目領域及び周辺領域内の画素値とを用いて、エッジパターンと推定エッジ方向θとに対応する算出式（図１４、図１５）を用いて、３×３画像ブロックに相当する画素値（ｐ０〜ｐ８）を生成する。さらに、高画質画像ブロック生成部６４０は、前記生成された画素値（ｐ０〜ｐ８）と推定エッジ方向θとに基づいて選択された参照画素（ｒ０〜ｒ１３）を用いて、図１７に示す算出式により、注目領域に対する拡大画像ブロックを生成する。
【００９６】
ステップ３２２（Ｓ３２２）において、画像処理装置２は、ライン単位毎の画像データについてＳ３０４からＳ３２０までの処理が完了したか否かを判定し、処理が完了していないと判定された場合に、Ｓ３０４の処理に戻って次の画素ブロックに対する処理を行い、ライン単位毎の入力画像データについて処理が完了していると判定された場合に、Ｓ３２４の処理に移行する。
【００９７】
ステップ３２４（Ｓ３２４）において、高速拡大処理部６５０は、記憶部６７０に記憶されている入力画像データを画像毎又は数ライン毎に入力し、最近傍補間法により拡大処理を行う。なお、高速拡大処理部６５０は、高画質画像ブロック生成部６４０による拡大処理（Ｓ３０４〜Ｓ３２０までの処理）が終了した後に拡大処理を行っているが、高画質画像ブロック生成部６４０による拡大処理と並行して拡大処理を行ってもよいし、高画質画像ブロック生成部６４０による拡大処理の前に拡大処理を行ってもよい。
【００９８】
ステップ３２６（Ｓ３２６）において、拡大画像統合部６６０は、高画質画像ブロック生成部６４０により生成された拡大画像と、高速拡大処理部６５０により拡大された拡大画像を統合する。
なお、拡大画像統合部６６０は、拡大画素の統合方法として、高画質画像ブロック生成部６４０により生成された拡大画像で単純に置き換える方法、又は、高画質画像ブロック生成部６４０により生成された拡大画像と高速拡大処理部６５０により生成された拡大画像との平均化処理を行う方法などを適用してもよい。すなわち、拡大画像統合部６６０は、高画質画像ブロック生成部６４０により生成された拡大画像を用いるのであれば、処理速度及び画質を勘案し、種々の統合方法を適用しうる。
【００９９】
以上説明したように、本実施形態における画像処理装置２は、ライン単位毎の画像データが多階調を有する画像データか２値データであるかを判定し、多階調を有する画像データに対して、注目画素を含む所定の大きさの画像領域が基準値以上の階調を有する画像領域の特徴量を算出し、算出された特徴量と入力画像データの画素値とを用いて拡大画像を生成している。さらに、画像処理装置２は、入力画像データを階調数及び特徴量と関係なく、上記の特徴量に基づく拡大手法ではなく最近傍法に基づいて拡大して拡大画像を生成し、特徴量に基づく拡大手法により生成された拡大画像を、この拡大画像上の対応する位置に所定の方法で配置して、拡大された出力画像を得る。
このようにして、画像処理装置２は、画像合成時のマスク画像との境界部分における不具合を抑えることができる。また、本実施形態における画像処理装置２は、高画質拡大処理を特徴的な部分（特徴ブロック）にのみ適用するので、全体としての処理負荷を抑えることができる。さらに、画像処理装置２は、特徴的な部分について高画質拡大処理を適用するので、特徴的な部分の特徴量を保存して、ボケやジャギーなどの画質欠陥を抑制した高画質な拡大画像を得ることができる。
【図面の簡単な説明】
【０１００】
【図１】画像データの構成を例示する図である。
【図２】ソース画像とマスク画像とを用いてマスク処理を行う方法を例示する図である。
【図３】図１で示した構成要素画像であるソース画像およびマスク画像を、それぞれ線形補間法および最近傍法で拡大した具体例を示している。
【図４】本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
【図５】制御装置２０（図４）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム６の機能構成を例示する図である。
【図６】画像ブロック判定部６２０による画像ブロック判定処理を示すフローチャート（Ｓ１０）である。
【図７】注目領域及び周辺領域の具体例と、注目領域のエッジ方向の一例の説明図である。
【図８】エッジ方向推定部６３４によるエッジ方向推定処理（Ｓ２０）を示すフローチャートである。
【図９】エッジ方向推定処理（Ｓ２０）のＳ２０２の処理において選択される参照領域を例示する図である。
【図１０】図７に示した注目領域における推定エッジ方向の一例の説明図である。
【図１１】エッジパターン選択部６３６により用いられるエッジパターンテーブルを例示する図である。
【図１２】図１０に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
【図１３】高画質画像ブロック生成部６４０により用いられる強調カーネル６４６（エッジ強調カーネル）を例示する図である。
【図１４】高画質画像ブロック生成部６４０における拡大画像ブロックの生成処理の具体例の説明図である。
【図１５】（エッジパターン）−（推定エッジ方向）の組み合わせの場合に用いられる計算式の一例の説明図である。
【図１６】注目領域における推定エッジ方向に基づく参照画素ｒ０〜ｒ１３の選択方法の説明図である。
【図１７】４×４画素の拡大画像ブロックの生成処理の具体例の説明図である。
【図１８】高画質画像ブロック生成部６４０により生成された４×４画素の拡大画像ブロックと、高速拡大処理部６５０から出力された拡大画像とを統合する具体例の説明図である。
【図１９】画像処理装置２の全体動作を示すフローチャート（Ｓ３０）である。
【符号の説明】
【０１０１】
２・・・画像処理装置
１０・・・プリンタ装置
２０・・・制御装置
２０２・・・ＣＰＵ
２０４・・・メモリ
２２・・・通信装置
２４・・・記憶装置
２６・・・ＵＩ装置
６・・・画像拡大プログラム
６００・・・スキャンライン判定部
６１０・・・画像ブロック設定部
６２０・・・画像ブロック判定部
６２２・・・階調数計数部
６２４・・・境界ブロック判別部
６３０・・・画像ブロック特徴量算出部
６３２・・・エッジ強度算出部
６３４・・・エッジ方向推定部
６３６・・・エッジパターン選択部
６４０・・・高画質画像ブロック生成部
６４６ａ、６４６ｂ・・・強調カーネル
６５０・・・高速拡大処理部
６６０・・・画像統合部
６７０・・・記憶部
【図１】
2006252108.tif 000003
【図２】
2006252108.tif 000004
【図３】
2006252108.tif 000005
【図４】
2006252108.tif 000006
【図５】
2006252108.tif 000007
【図６】
2006252108.tif 000008
【図７】
2006252108.tif 000009
【図８】
2006252108.tif 000010
【図９】
2006252108.tif 000011
【図１０】
2006252108.tif 000012
【図１１】
2006252108.tif 000013
【図１２】
2006252108.tif 000014
【図１３】
2006252108.tif 000015
【図１４】
2006252108.tif 000016
【図１５】
2006252108.tif 000017
【図１６】
2006252108.tif 000018
【図１７】
2006252108.tif 000019
【図１８】
2006252108.tif 000020
【図１９】
2006252108.tif 000021