(57)【要約】  【課題】  画像を高画質に拡大する画像処理装置を提供する。  【解決手段】  画像処理装置２は、注目画素を含む既定の大きさの画像領域の特徴量（エッジ強度、エッジ方向等）を算出し、算出された特徴量に基づいて、注目画素を含む画像領域の拡大パラメータを算出し、算出された拡大パラメータと入力画像データの画素値とを用いて拡大画素の画素値を生成する。これにより、画像処理装置２は、入力画像中の特徴的な部分の特徴量を保存する画像拡大処理を実現でき、特徴的部分のボケ及びジャギーなどの画質欠陥が抑制された高画質な拡大画像を高速な拡大処理により得ることができる。【選択図】図２
2006050480.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の拡大処理を行う画像処理装置であって、
入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出する領域特徴量算出手段と、
前記領域特徴量算出手段によりそれぞれの画像領域について算出された特徴量に基づいて、パラメータを生成するパラメータ生成手段と、
処理対象画素が含まれる画像領域内の画素値と、前記パラメータ生成手段によりこの画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データを生成する拡大画像生成手段と
を有する画像処理装置。
【請求項２】
前記領域特徴量算出手段は、前記画像領域における階調変化量を前記特徴量として算出する
請求項１に記載の画像処理装置。
【請求項３】
前記領域特徴量算出手段は、前記画像領域における階調変化の方向を前記特徴量として算出し、
前記パラメータ生成手段は、前記領域特徴量算出手段により算出された階調変化の方向に応じて画像領域内から参照画素を選択し、少なくとも、選択された参照画素の画素値を前記パラメータとする
請求項１に記載の画像処理装置。
【請求項４】
前記領域特徴量算出手段は、予め用意された複数のエッジパターンのうち、それぞれの画像領域における階調変化に対応するエッジパターンを前記特徴量として選択し、
前記パラメータ生成手段は、前記領域特徴量算出手段により選択されたエッジパターンに対応する演算式を用いて、前記パラメータを算出する
請求項１に記載の画像処理装置。
【請求項５】
前記領域特徴量算出手段は、色空間におけるそれぞれの色成分毎に前記特徴量を算出し、算出された１つ以上の特徴量に基づいていずれか１つの色成分を選択し、選択された色成分の特徴量を前記画像領域の特徴量とする
請求項１に記載の画像処理装置。
【請求項６】
前記領域特徴量算出手段は、それぞれの色成分について、前記画像領域における階調変化量を算出し、算出された階調変化量が最大である色成分を選択する
請求項５に記載の画像処理装置。
【請求項７】
前記パラメータ生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式を用いてパラメータを生成する
請求項１に記載の画像処理装置。
【請求項８】
前記パラメータ生成手段は、拡大率に応じてカーネル要素及びカーネル要素間距離が異なるエッジ強調カーネルを用いて、入力画像の画素値を補正し、補正された画素値を用いてパラメータを生成する
請求項１に記載の画像処理装置。
【請求項９】
前記拡大画像生成手段は、処理対象画素を含む複数の画像領域の画素値と、前記パラメータ生成手段によりこれらの画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データをそれぞれ生成する
請求項１に記載の画像処理装置。
【請求項１０】
前記拡大画像生成手段は、前記パラメータ生成手段により生成されたパラメータと、処理対象画素が含まれる画像領域中の画素値とを重み付け加算して拡大画像データを生成する
請求項１に記載の画像処理装置。
【請求項１１】
入力画像の拡大処理を行う画像処理方法であって、
入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出し、
それぞれの画像領域について算出された特徴量に基づいて、パラメータを生成し、
処理対象画素が含まれる画像領域内の画素値と、この画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データを生成する
画像処理方法。
【請求項１２】
入力画像の拡大処理を行う画像処理装置において、
入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出するステップと、
それぞれの画像領域について算出された特徴量に基づいて、パラメータを生成するステップと、
処理対象画素が含まれる画像領域内の画素値と、この画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データを生成するステップと
を前記画像処理装置に実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像を拡大する画像処理装置に関する。
【背景技術】
【０００２】
例えば、特許文献１は、注目画素の周辺の画素値の分布状態を評価し、その評価結果に応じて代表値を決定し、決定された代表値を注目画素に対応する（Ｎ×Ｍ）画素のブロック内に配置することにより、画像を拡大する画像処理装置を開示する。
また、特許文献２は、原画像を２値化して、この２値化画像と２次元パターンとを照合することにより斜め成分の方向を判定し、判定された斜め成分の方向をもとに補間処理を行う画素数変換装置を開示する。
また、特許文献３は、補正対象のパターン毎、かつ、倍率毎に拡大画素のドット配置情報を有し、パターンマッチング結果及び倍率から１つのドット配置情報を抽出する画像処理装置を開示する。
また、特許文献４は、原画素が属するエッジ領域の傾斜方向を原画素及び補間画素にマッピングし、マッピングされた傾斜方向に対応するフィルタ処理を原画素及び補間画素に対して実行する画像処理装置を開示する。
【特許文献１】特開平７−１８２５０３号公報
【特許文献２】特開２０００−２２８７２３号公報
【特許文献３】特開２００１−１８８９００号公報
【特許文献４】特開２０００−２５３２３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明は、上述した背景からなされたものであり、画像を高画質に拡大する画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
［画像処理装置］
上記目的を達成するために、本発明にかかる画像処理装置は、入力画像の拡大処理を行う画像処理装置であって、入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出する領域特徴量算出手段と、前記領域特徴量算出手段によりそれぞれの画像領域について算出された特徴量に基づいて、パラメータを生成するパラメータ生成手段と、処理対象画素が含まれる画像領域内の画素値と、前記パラメータ生成手段によりこの画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データを生成する拡大画像生成手段とを有する。
【０００５】
好適には、前記領域特徴量算出手段は、前記画像領域における階調変化量を前記特徴量として算出する。
【０００６】
好適には、前記領域特徴量算出手段は、前記画像領域における階調変化の方向を前記特徴量として算出し、前記パラメータ生成手段は、前記領域特徴量算出手段により算出された階調変化の方向に応じて画像領域内から参照画素を選択し、少なくとも、選択された参照画素の画素値を前記パラメータとする。
【０００７】
好適には、前記領域特徴量算出手段は、予め用意された複数のエッジパターンのうち、それぞれの画像領域における階調変化に対応するエッジパターンを前記特徴量として選択し、前記パラメータ生成手段は、前記領域特徴量算出手段により選択されたエッジパターンに対応する演算式を用いて、前記パラメータを算出する。
【０００８】
好適には、前記領域特徴量算出手段は、色空間におけるそれぞれの色成分毎に前記特徴量を算出し、算出された１つ以上の特徴量に基づいていずれか１つの色成分を選択し、選択された色成分の特徴量を前記画像領域の特徴量とする。
【０００９】
好適には、前記領域特徴量算出手段は、それぞれの色成分について、前記画像領域における階調変化量を算出し、算出された階調変化量が最大である色成分を選択する。
【００１０】
好適には、前記パラメータ生成手段は、前記領域特徴量算出手段により算出された特徴量に対応する既定の演算式を用いてパラメータを生成する。
【００１１】
好適には、前記パラメータ生成手段は、拡大率に応じてカーネル要素及びカーネル要素間距離が異なるエッジ強調カーネルを用いて、入力画像の画素値を補正し、補正された画素値を用いてパラメータを生成する。
【００１２】
好適には、前記拡大画像生成手段は、処理対象画素を含む複数の画像領域の画素値と、前記パラメータ生成手段によりこれらの画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データをそれぞれ生成する。
【００１３】
好適には、前記拡大画像生成手段は、前記パラメータ生成手段により生成されたパラメータと、処理対象画素が含まれる画像領域中の画素値とを重み付け加算して拡大画像データを生成する。
【００１４】
［画像処理方法］
また、本発明にかかる画像処理方法は、入力画像の拡大処理を行う画像処理方法であって、入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出し、それぞれの画像領域について算出された特徴量に基づいて、パラメータを生成し、処理対象画素が含まれる画像領域内の画素値と、この画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データを生成する。
【００１５】
［プログラム］
また、本発明にかかるプログラムは、入力画像の拡大処理を行う画像処理装置において、入力画像における既定の大きさの画像領域について、階調変化に関する特徴量を算出するステップと、それぞれの画像領域について算出された特徴量に基づいて、パラメータを生成するステップと、処理対象画素が含まれる画像領域内の画素値と、この画像領域について生成されたパラメータとを用いて、この処理対象画素に対応する拡大画像データを生成するステップとを前記画像処理装置に実行させる。
【発明の効果】
【００１６】
本発明の画像処理装置によれば、比較的軽い処理負荷で、高画質な拡大画像を得ることができる。
【発明を実施するための最良の形態】
【００１７】
まず、本発明の理解を助けるために、その背景及び概略を説明する。
画像の拡大処理は、画像の編集、ファイリング、表示、又は印刷などを行うシステムにおいて基本的な処理の一つである。また近年、インターネット上のホームページに表示される画像やデジタルビデオなどのように、ディスプレイ解像度での表示を主目的とした画像データが普及しており、これらの低解像度画像を高解像度のプリンタなどで印刷することも頻繁に行われている。このプリンタによる印刷の際に、高画質の出力結果を得るためには高画質の拡大処理が必要とされる。
【００１８】
多階調で表現されたカラー画像（以下、多値画像）を拡大処理する手法としては、例えば、最近傍法、線形補間法、キュービック・コンボリューション法などがある。
最近傍法は、拡大後の各画素値として、その画素を原画像上に逆写像した際に最も距離が近い画素の画素値を適用するという方法である。この方法は、演算量が少ないため高速に拡大処理することができる。しかし、原画像の１画素がそのまま矩形形状に拡大されるため、隣り合う画素の画素値の差が小さい場合は画質劣化の程度は小さくほとんど影響はないが、画素値の差が大きい場合などは、斜線部やエッジ部のジャギーが目立ったり、拡大倍率が大きい場合には画像がモザイク状になるなど、画質劣化の程度は大きい。
【００１９】
また、線形補間法は、画素間の画素値が直線的に変化していると仮定し、拡大後の画素を逆写像した点の近傍４画素の画素値を線形に補間して画素値を求めるという方法である。この方法では、最近傍法よりも処理は重いものの演算量は比較的少なく、ジャギーなども発生しにくい。その一方で、直線的に変化しているという仮定に当てはまらないエッジ部分を中心に、画像全体がボケ気味になるという欠点がある。
【００２０】
キュービック・コンボリューション法は、標本化定理に基づいてｓｉｎｃ関数（ｓｉｎ（ｘ）／ｘ）を近似した補間関数を定義し、この近似補間関数と拡大後の画素を逆写像した点の近傍１６画素（Ｘ、Ｙ方向それぞれ４画素）との畳み込み演算により、拡大後の画素値を求める方法である。この方法は、上記２つの手法に比べて画質は比較的良いが、参照範囲が大きく演算量が多いという欠点がある。また、高域が強調気味となる特性を持つため、エッジ部分で軽いジャギーが発生したりノイズ成分が強調されてしまうなどの欠点もある。
【００２１】
これらの問題を解決する試みとして、例えば、特許文献１、特許文献２、特許文献３及び特許文献４などの手法が提案されている。
特許文献１に記載されている手法では、注目画素の周囲Ｎ×Ｍ領域（例えば３×３）の画素から最大値及び最小値を検出し、さらにコントラスト及び中間値を算出し、このコントラストにより最大値又は最小値のいずれかとそれ以外の値の平均値とを代表値として導出する。次に注目画素をＮ×Ｍ画素に線形補間処理し、先に算出した中間値を閾値として２値化し、上記２つの代表値を２値化の結果に応じて配置する。コントラストが小さい場合は線形補間処理の画素値をそのまま用いることにより最終的に拡大画像を得るものである。これによりジャギーが発生せず、自然画像でも補間ボケが生じない良好な変換が可能であるが、コントラストのみでエッジ部を判断しており、エッジの方向再現が難しいという問題がある。またＮ×Ｍ領域を２つの値のみで構成するため、エッジ部にブロック状の歪みが生じるという問題がある。
【００２２】
また、特許文献２に記載されている手法では、まず原画像を２値化し、その２値画像から原画像に含まれる斜め成分の方向を予め用意した２次元パターン（行列データ）と一致判定することにより求め、求められた斜め方向に沿って補間処理をする。またそれ以外の部分は線形補間処理を行っている。しかし、原画像を予め定められた閾値により２値化してから斜め成分の方向判定を行っているので、濃度差の大きいエッジに対しては有効であるが、濃度差の小さいエッジの再現には問題がある。
【００２３】
また、特許文献３に記載されている手法では、パターンファイルに１対１に対応した整数倍率毎のドット配置ファイル（拡大パターンファイル）と画素ブロックのどの位置の画素値でドット配置ファイルの画素値を決定するかという画素参照情報とにより拡大画像ブロックを生成する。さらに一致パターンがないときは単純に原画像ブロックの注目画素で拡大画像ブロックを生成する。しかし、特許文献３では、パターンマッチングのみで一意に拡大ブロックを生成しているため、パターンファイル及びドット配置ファイルの数により拡大画像の画質が決まる。つまり、画質向上には予め多くのパターンファイルが必要である。しかしながら、多くのパターンファイルを予め用意しておくのは現実的ではない。
【００２４】
また、特許文献４に記載されている手法では、原画像を線形補間処理で拡大し、それと並行して、原画像において注目画素を含む周囲Ｎ×Ｍ領域毎に２値化し、予め設定された斜線検出パターンと一致判定を行い、注目画素がエッジ領域に属する（斜線検出パターンと一致する）場合には、その方向情報を注目画素にマッピングする。さらに、この方向情報を先に線形補間処理で拡大した拡大画像にマッピングし、マッピングされた方向情報の方向に沿った平滑化フィルタを施すことにより、ジャギーの発生を抑えた拡大処理を行っている。しかし、特許文献４では、原画像の拡大、パターンマッチング、方向情報の拡大、拡大処理画像に対する方向依存平滑化フィルタ処理という流れであり、画像サイズが大きくなると処理負荷が非常に大きくなるという問題がある。
【００２５】
そこで、本実施形態における画像処理装置２は、注目画素を含む既定の大きさの画像領域の特徴量を算出し、算出された特徴量に基づいて、注目画素を含む画像領域の拡大パラメータを算出し、算出された拡大パラメータと入力画像データの画素値とを用いて拡大画素値を生成する。これにより、入力画像中の特徴的な部分の特徴量を保存する画像拡大処理を実現でき、特徴的部分のボケ及びジャギーの画質欠陥を抑制した高画質な拡大画像を高速に得ることができる。
【００２６】
［ハードウェア構成］
次に、画像処理装置２のハードウェア構成を説明する。
図１は、本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
図１に例示するように、画像処理装置２は、ＣＰＵ２０２及びメモリ２０４などを含む制御装置２０、通信装置２２、ＨＤＤ・ＣＤ装置などの記録装置２４、並びに、ＬＣＤ表示装置あるいはＣＲＴ表示装置及びキーボード・タッチパネルなどを含むユーザインターフェース装置（ＵＩ装置）２６から構成される。
画像処理装置２は、例えば、画像拡大プログラム５（後述）がインストールされた汎用コンピュータであり、通信装置２２又は記録装置２４などを介して画像データを取得し、取得された画像データを出力解像度に応じて拡大する。例えば、画像処理装置２は、プリンタ装置１０に対して画像データを出力する場合には、６００ｄｐｉ又は２４００ｄｐｉなどの解像度に変換し、ＵＩ装置２６に対して画像データを出力する場合には、７５ｄｐｉなどの解像度に変換する。
【００２７】
［画像拡大プログラム］
図２は、制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム５の機能構成を例示する図である。
図２に例示するように、画像拡大プログラム５は、記憶部５００、画像ブロック設定部５１０、画像ブロック特徴量算出部５２０、拡大パラメータ算出部５３０及び拡大画素生成部５４０を有する。
なお、画像拡大プログラム５の全部又は一部をＡＳＩＣなどのハードウェアで実現してもよい。
【００２８】
画像拡大プログラム５において、記憶部５００は、画像データが他の機能構成により拡大処理されるまで一時的に記憶する機能、及び、解像度変換又は拡大処理された拡大画像データが出力されるまで一時的に記憶する機能などを備える。記憶部５００に記憶される画像データは、画像処理装置２で処理可能な画像フォーマット（例えば、ＢＭＰ、ＴＩＦＦ、ＰＮＧなど）で記述されたデータであり、パーソナルコンピュータ（不図示）等において編集等された画像データ等である。拡大された後の画像データ（拡大画像データ）も、同様の画像フォーマットのデータである。すなわち、記憶部５００は、メモリ２０４（図１）及び記録装置２４（図１）を制御して、入力された画像データを記憶し、画像ブロック設定部５１０、画像ブロック特徴量算出部５２０、拡大パラメータ算出部５３０及び拡大画素生成部５４０に対してワークエリアを提供する。
【００２９】
画像ブロック設定部５１０は、画像ブロック特徴量算出部５２０及び拡大パラメータ算出部５３０における処理で必要とされる既定の画像ブロックサイズをそれぞれ設定し、記憶部５００により記憶されている入力画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、このブロックサイズの画像ブロックそれぞれを画像ブロック特徴量算出部５２０及び拡大パラメータ算出部５３０にそれぞれ出力する。
【００３０】
画像ブロック特徴量算出部５２０は、画像ブロック設定部５１０から順次入力される画像ブロックの少なくとも一部（例えば中心部近傍の矩形部分）を注目領域とし、注目領域における画像特徴量を、注目領域又はこの注目領域の周辺部を含む画像ブロック内の各画素値に基づいて算出する。画像特徴量とは、例えば、注目領域のエッジ強度（階調変化量）又はエッジ角度（階調変化の方向）などである。しかしこれに限られるものではなく、画像ブロック特徴量算出部５２０は、例えば注目領域の各画素値の平均値を算出し、この平均値に対する注目領域の各画素値のばらつきを表す値（例えば標準偏差又は分散）を画像特徴量として算出してもよい。
【００３１】
拡大パラメータ算出部５３０は、画像ブロック特徴量算出部５２０から入力された各画像ブロックの画像特徴量に基づいて、拡大画素生成部５４０における拡大画素値算出処理に用いる複数の拡大パラメータを算出する。ここで、複数の拡大パラメータとは、画像ブロック設定部５１０から入力された画像ブロック内の複数の画素値及びこれらの画素値から画像ブロック特徴量算出部５２０で算出された画像特徴量に基づいて算出される値などである。
【００３２】
拡大画素生成部５４０は、入力画像データ中の拡大対象画素（注目画素）を含む画像ブロック中の画素値と、拡大パラメータ算出部５３０で算出された拡大パラメータ（注目画素を含む画像ブロックについて設定されたもの）とを用いて、注目画素に対応する拡大画素値（拡大画像データ）を算出する。拡大画像はこの拡大画素値により構成される。
【００３３】
［画像ブロック特徴量算出部の詳細説明］
次に、画像ブロック特徴量算出部５２０をより詳細に説明する。なお、注目領域が２×２画素サイズブロックであり、注目領域を含む周辺領域が４×４画素サイズブロックである場合を具体例として説明する。
本例の画像ブロック特徴量算出部５２０は、図２に示すように、エッジ強度算出部５２２、エッジ方向推定部５２４及びエッジパターン選択部５２６を含む。
【００３４】
エッジ強度算出部５２２は、画像ブロック設定部５１０で切り出された画像ブロック中の注目領域のエッジ強度Ｇを次の式（１）で算出する。
ｇｘ＝（ａ＋ｃ−ｂ−ｄ）／２
ｇｙ＝（ａ＋ｂ−ｃ−ｄ）／２
Ｇ＝ｇｘ×ｇｘ＋ｇｙ×ｇｙ・・・式（１）
上記式におけるａ、ｂ、ｃ及びｄは、図３に例示するように、注目領域にある各画素の画素値である。また、このように算出される「ｇｘ」は、主走査方向（図３の左右方向）の画素値の変化量を示し、「ｇｙ」は、副走査方向（図３の上下方向）の画素値の変化量を示す。
なお、エッジ強度は上記式（１）で算出されるものに限定されるわけでなく、以下の式（２）などで算出しても良い。
Ｇ＝｜ｇｘ｜＋｜ｇｙ｜・・・式（２）
すなわち、エッジ強度Ｇは、（ｇｘ）の絶対値と（ｇｙ）の絶対値との和として算出されてもよい。
【００３５】
次に、エッジ方向推定部５２４について説明する。
図３（Ａ）は、注目領域及び周辺領域を例示し、図３（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。
図３（Ａ）に例示するように、注目領域は２×２の矩形領域（主走査方向及び副走査方向にそれぞれ２つ）を有し、周辺領域は４×４の矩形領域（主走査方向及び副走査方向にそれぞれ４つ）を有する。各矩形はそれぞれ画素に相当し、矩形内の各数字はそれぞれの画素値を示している。すなわち、注目領域は、中心部近傍の画素｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝である。以下、この図３（Ａ）で例示する注目領域を具体例として、エッジ方向推定部５２４によるエッジ方向推定処理を説明する。
【００３６】
図４は、エッジ方向推定部５２４によるエッジ方向推定処理（Ｓ１０）のフローチャートである。
図５は、Ｓ１１０において選択される参照領域を例示する図である。なお、図５におけるハッチングされた部分は、図３に示した注目領域に相当する。
【００３７】
図４に示すように、ステップ１００（Ｓ１００）において、エッジ方向推定部５２４は、図３（Ａ）に例示した注目領域のエッジ角度Θを、次の式（３）で計算する。
Θ＝arctan（ｇｙ／ｇｘ）・・・式（３）
図３（Ａ）では、注目領域の画素値は、｛ａ，ｂ，ｃ，ｄ｝＝｛１５，１０４，８６，２０３｝であり、式（１）より、
ｇｘ＝−１０３
ｇｙ＝−８５
となり、これらを式（３）に代入することにより、
Θ＝−１４０．５°
となる。
このエッジ角度Θの方向は、図３（Ｂ）に示された破線方向に相当する。
【００３８】
さらに、エッジ方向推定部５２４は、算出されたエッジ角度Θが２２．５°ごとに区分された方向（８方向）の角度範囲のいずれに含まれるかを判定する。本例では、エッジ角度Θが０°又は±１８０°を中心とした角度範囲を「方向０」とし、２２．５°又は−１５７．５°を中心とした角度範囲を「方向１」とし、４５°又は−１３５°を中心とした角度範囲を「方向２」とし、６７．５°又は−１１２．５°を中心とした角度範囲を「方向３」とし、９０°又は−９０°を中心とした角度範囲を「方向４」とし、１１２．５°又は−６７．５°を中心とした角度範囲を「方向５」とし、１３５°又は−４５°を中心とした角度範囲を「方向６」とし、１５７．５°又は−２２．５°を中心とした角度範囲を「方向７」する。これらの角度範囲は、それぞれの中心から±１１．２５°の範囲である。上述の具体例におけるエッジ角度Θ（＝−１４０．５°）は、−１３５°±１１．２５°の範囲内に含まれるので、エッジ角度は「方向２」となる。
【００３９】
ステップ１１０（Ｓ１１０）において、エッジ方向推定部５２４は、算出された注目領域のエッジ角度Θに応じて、図３（Ａ）に示した周辺領域（太線枠外の領域）の中からエッジ方向の推定に用いる参照領域を選択する。より具体的には、エッジ方向推定部５２４は、算出されたエッジ角度Θの方向で注目領域と隣接する可能性のある画素を含むように、参照領域を選択する。
例えば、エッジ方向推定部５２４は、注目領域について算出されたエッジ角度が「方向０」に含まれる場合に、図５（Ａ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が「方向４」に含まれる場合に、図５（Ｂ）に例示する参照領域（太線で囲まれた２つの領域）を選択し、算出されたエッジ角度が上記以外の方向（方向１〜３、方向５〜７）に含まれる場合に、図５（Ｃ）に例示する参照領域（太線で囲まれた４つの領域）を選択する。図３に示した具体例では、エッジ角度の方向は「方向２」であるので、図５（Ｃ）に示した４つの参照領域が選択の候補となる。
なお、参照領域は、図５に例示したものに限定されるわけではなく、例えば図５（Ｃ）の場合などは、参照領域数を８としたり、それぞれの方向に応じた参照領域を設定してもよい。
【００４０】
ステップ１２０（Ｓ１２０）において、エッジ方向推定部５２４は、選択された参照領域それぞれに対して、Ｓ１００と同様に、式（１）及び式（３）に従ってエッジ角度Θを計算する。
ステップ１３０（Ｓ１３０）において、エッジ方向推定部５２４は、それぞれの参照領域について算出されたエッジ角度と、注目領域について算出されたエッジ角度とを比較して、これらの差分が予め設定されている閾値Θｔｈより小さいか否かを判断する。エッジ方向推定部５２４は、エッジ角度の差分が閾値Θｔｈより小さい場合には、この参照領域のエッジ角度を適正なエッジ角度として判定してＳ１４０の処理に移行し、エッジ角度の差分が閾値Θｔｈ以上である場合には、この参照領域のエッジ角度を適正なエッジ角度ではないと判定してＳ１５０の処理に移行する。
【００４１】
ステップ１４０（Ｓ１４０）において、エッジ方向推定部５２４は、角度参照数をインクリメントする。すなわち、エッジ方向推定部５２４は、参照領域について算出されたエッジ角度が適正なエッジ角度であると判断された場合にのみ、角度参照数をインクリメントする。
なお、角度参照数は、エッジ角度の参照数をカウントするための変数であり、注目領域ごとに「角度参照数１」に初期化される。
【００４２】
ステップ１５０（Ｓ１５０）において、エッジ方向推定部５２４は、選択した全ての参照領域についてエッジ角度を算出したか否かを判断し、全ての参照領域についてエッジ角度が算出された場合には、Ｓ１６０の処理に移行し、これ以外の場合には、Ｓ１２０の処理に戻って次の参照領域についてエッジ角度を算出する。
ステップ１６０（Ｓ１６０）において、エッジ方向推定部５２４は、注目領域のエッジ角度と、適正なエッジ角度として判定された参照領域のエッジ角度との総和を計算し、算出されたエッジ角度の総和を角度参照数で割った平均エッジ角度を注目領域の推定エッジ方向とする。
【００４３】
なお、図３に示した具体例では、上部の参照領域｛８６，２０３，１７１，２１１｝からエッジ角度ΘＵ＝−１４９．４°、左部の参照領域｛１０，１５，２０，８６｝からエッジ角度ΘＬ＝−１３１．２°、下部の参照領域｛１，１０２，１５，１０４｝からエッジ角度ΘＤ＝−１７５．２°、右部の参照領域｛１０４，２１５，２０３，２１９｝からエッジ角度ΘＲ＝−１４１．０°となる。注目領域のエッジ角度Θ＝−１４０．５°とそれぞれの参照領域のエッジ角度が比較され、その差分が閾値Θｔｈより小さい参照領域の数が角度参照数としてカウントされる。
【００４４】
図６は、図３に示した注目領域における推定エッジ方向の一例の説明図である。例えば上述の具体例において、すべての参照領域について注目領域のエッジ角度との差分が閾値Θｔｈより小さいとすれば、注目領域及び４つの参照領域から求められたエッジ角度の総和は−７３７．３°となり、角度参照数５で割ることによって平均エッジ角度は−１４７．５°と求めることができる。この場合も、エッジ方向推定部５２４は、上述の注目領域のエッジ方向と同様に、例えば８方向のいずれかに含まれるかを判定する。本例では、平均エッジ角度が−１４７．５°であるため「方向１」に含まれ、これが推定エッジ方向となる。
【００４５】
なお、本実施形態では、１画素につき１色要素であるグレースケール画像を具体例として説明しているが、これに限定されるわけではない。例えば、１画素につき３色要素のＲＧＢ色空間のカラー画像が入力される場合には、各々の色成分のデータにおけるエッジ強度Ｇｒ、Ｇｇ、Ｇｂの強さにより選択された色空間データで上記のエッジ方向推定処理（Ｓ１０）を行えばよい。より具体的には、画像ブロック特徴量算出部５２０は、それぞれの色成分についてエッジ強度を算出し、算出されたエッジ強度Ｇｒ、Ｇｇ、Ｇｂが最大となる色成分を選択して、選択された色成分についてのみ特徴量を算出する。このようにすることで、カラー画像における拡大画像データのエッジ部の色ずれなど、画質低下を抑えることが可能となる。
また、本例では、注目領域及び参照領域について式（１）により算出されたエッジ角度は、８方向のいずれかに分類されたが、これに限定されるものではなく、より精度の高いエッジ方向が必要であれば１２方向（１５．０°ごと）、１６方向（１２．２５°ごと）など、さらに多数の角度領域に分類してもよい。
【００４６】
次に、エッジパターン選択部５２６について説明する。
図７は、エッジパターン選択部５２６で用いるエッジパターンテーブルを例示する図である。
図７に例示するように、エッジパターン選択部５２６は、推定エッジ方向とエッジパターンとを互いに対応付けたエッジパターンテーブルを有する。エッジパターンテーブルには、注目領域のパターンサイズに対応するエッジパターンがそれぞれの推定エッジ方向（ここでは８方向）ごとに１つ以上のエッジパターンが登録されている。
エッジパターン選択部５２６は、このエッジパターンテーブルを参照して、エッジ方向推定部５２４によりそれぞれの注目領域について推定された推定エッジ方向に対応するエッジパターンを選択する。
本例では、図６に例示するように、注目領域に対する推定エッジ方向がエッジ方向推定部５２４によって「方向１」であると推定されているため、エッジパターン選択部５２６は、この推定エッジ方向（方向１）に従い、図７に示すエッジパターンテーブルの中から、方向１に対応する「パターン０」から「パターン３」までの４つのエッジパターンを選択し、これらをこの注目領域（図３）に対するエッジパターンの候補とする。
【００４７】
次に、エッジパターン選択部５２６は、注目領域の画素値に基づいて、エッジパターンの候補となった１つ以上のエッジパターンの中から、１つのエッジパターンを選択する。エッジパターンの具体的な選択方法について、図８を参照しながら説明する。
図８は、図３に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
本例では、推定エッジ方向が「方向１」であったため、図８（Ａ）に例示するように、エッジパターンの候補として、「パターン０」から「パターン３」までの４つのエッジパターンが選択されている。これらのエッジパターンは、図８（Ｂ）に例示するように、ビットパターンとして表現される。具体的には、白部分を０、それ以外を１としてビットパターン化し、「ビットパターン０」から「ビットパターン３」までのビットパターンが生成される。なお、これらのビットパターンは、図７に示すエッジパターンテーブルにビットテーブルとして予め登録されていてもよい。
【００４８】
エッジパターン選択部５２６は、注目領域に相当するビットパターンを判定する。具体的には、エッジパターン選択部５２６は、以下に示す式（４）に従い、注目領域中の平均画素値を計算し、注目領域内の各々の画素値から平均値を引き、その符号を以て注目領域の画素値パターンとする。
Ｍｅａｎ＝（ａ＋ｂ＋ｃ＋ｄ）／４
ａ＿ｓｉｇｎ＝ａ−Ｍｅａｎ
ｂ＿ｓｉｇｎ＝ｂ−Ｍｅａｎ
ｃ＿ｓｉｇｎ＝ｃ−Ｍｅａｎ
ｄ＿ｓｉｇｎ＝ｄ−Ｍｅａｎ・・・式（４）
なお、本例では、図８（Ｃ）に示すように、Ｍｅａｎ＝（１５＋１０４＋８６＋２０３）／４＝１０２であり、ａ＿ｓｉｇｎ＝−８７、ｂ＿ｓｉｇｎ＝２、ｃ＿ｓｉｇｎ＝−１６、ｄ＿ｓｉｇｎ＝１０１となる。よって、エッジパターン選択部５２６は、これらの正負符号を判定して、図８（Ｃ）に示すように、注目領域のビットパターン（１０１０）を生成する。
そして、エッジパターン選択部５２６は、図８（Ｂ）に例示するエッジパターン候補に対応するビットパターンと、図８（Ｃ）に例示する注目領域のビットパターンとのパターンマッチングを行い、最も類似するエッジパターンを選択パターンとして決定する。選択されたエッジパターンは、後述する拡大パラメータ算出部５３０による注目領域における拡大パラメータの算出処理に適用される。
【００４９】
なお、エッジパターンは、図７に示したものに限定されるわけではなく、例えば、エッジパターン選択部５２６は、入力画像データの種類に応じて、エッジパターンテーブルを切り替えて、異なるエッジパターンを適用してもよい。また、エッジパターン選択部５２６は、各角度におけるエッジパターン候補数を増減させてもよい。
【００５０】
［拡大パラメータ算出部の詳細説明］
次に、拡大パラメータ算出部５３０をより詳細に説明する。
拡大パラメータ算出部５３０は、まず、拡大処理の拡大倍率に応じたサイズ及び係数の強調カーネルを用いて、画像ブロック設定部５１０により切り出された画像ブロック中の注目領域及びその周辺領域の画像データのコントラストを強調する。
図９は、拡大パラメータ算出部５３０により用いられる強調カーネル（エッジ強調カーネル）を例示する図である。
図９に例示するように、第１の強調カーネル５３２は、重み付け係数「１．６０」及び「−０．１５」を用いてコントラストを強調し、第２の強調カーネル５３４は、重み付け係数「１．２０」及び「−０．０５」を用いてコントラストを強調する。これらの強調カーネルは、対象画像に対して既になされた拡大処理の拡大倍率に対応付けられており、互いに異なる重み付け係数を用いて、互いに異なる位置の画素値を参照する。
第１の強調カーネル５３２は、図９（Ａ）に例示するように、注目画素Ｐの直下画素ａ、直右画素ｂ、直上画素ｃ及び直左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．１５）を掛け合わせ、重み付け係数（１．６０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
第２の強調カーネル５３４は、第１の強調カーネル５３２よりも拡大倍率の大きな画像に対して適用され、図９（Ｂ）に例示するように、注目画素Ｐから１画素分離間した下画素ａ、右画素ｂ、上画素ｃ及び左画素ｄを参照して、これらの画素の画素値にそれぞれ重み付け係数（−０．０５）を掛け合わせ、重み付け係数（１．２０）が掛けられた注目画素Ｐの画素値と合算し、合算された値を注目画素Ｐの画素値とする。
例えば、第１の強調カーネル５３２を適用する場合に、以下の式（５）に従って、コントラスト強調後の画素値Ｐ’が算出される。
（画素値Ｐ’）＝１．６０×Ｐ‐０．１５×（ａ＋ｂ＋ｃ＋ｄ）・・・式（５）
【００５１】
このように、既になされた拡大処理の拡大倍率に応じて強調カーネルが異なるのは、４倍、８倍と順に画像を拡大していくと、原画像の特徴を有している画素は、２画素、４画像離れた位置の画素となる。そのため、拡大パラメータ算出部５３０は、図９に例示するように、拡大倍率が高いほど離れた画素を参照して強調処理を行う。なお、８倍、１６倍以降の倍率においても同様である。
また、参照する画素の位置は、図９に示すような上下左右に限られたものではない。例えば、拡大パラメータ算出部５３０は、斜め方向の画素を参照してコントラスト強調を行ったり、さらに離れた画素を参照してコントラスト強調を行ったり、処理対象画像データの種類及びサイズなどにより適用する強調カーネルを切り替えたりしてもよい。
【００５２】
次に、拡大パラメータ算出部５３０は、エッジ方向推定部５２４により推定された推定エッジ方向と、エッジパターン選択部５２６により選択されたエッジパターンと、コントラスト強調がなされた画素値とを用いて、注目領域の画像特徴量に基づく拡大パラメータを算出する。
図１０は、拡大パラメータ算出部５３０により算出される拡大パラメータを例示する図である。
図１０に例示するように、「ｕｈ」、「ｌｈ」、「ｌｖ」、「ｒｖ」及び「ｍｉｄ」の５つの拡大パラメータは、注目領域（図１０中のハッチングを施した領域）の各画素の画素値（ａ、ｂ、ｃ、ｄ）を用いて、既定の計算式によりそれぞれ算出される。この注目領域の画素値は、図９で例示した強調カーネルによりコントラスト強調がなされたものである。また、この計算式（演算式）は、エッジ方向推定部５２４で得られた推定エッジ方向と、エッジパターン選択部５２６で得られたエッジパターンとで決定される。
また、図１０に例示したｒｅｆ[０,５]は、注目領域の推定エッジ方向に応じて一意に設定される。具体的には、注目領域の推定エッジ方向が方向１(２２.５°)から方向３（６７.５°）のいずれかである場合には、図１０（Ａ）に示すように、注目領域周辺のコントラスト強調された画素のうち、左上から下へ３画素（ｒｅｆ４、ｒｅｆ２及びｒｅｆ０）と、右下から上へ３画素（ｒｅｆ１、ｒｅｆ３及びｒｅｆ５）とがｒｅｆ[０,５]として設定される（以後、このｒｅｆ設定をｔｙｐｅＡと呼ぶ）。また、注目領域の推定エッジ方向が方向５(１１２.５°）から方向７（１５７.５°）のいずれかである場合には、図１０（Ｂ）に示すように、左下から上へ３画素（ｒｅｆ０、ｒｅｆ２及びｒｅｆ４）と、右上から下へ３画素（ｒｅｆ５、ｒｅｆ３及びｒｅｆ１）とがｒｅｆ[０,５]として設定される（以後、このｒｅｆ設定をｔｙｐｅＢと呼ぶ）。さらに、注目領域の推定エッジ方向が方向０又は方向４（すなわち垂直方向又は水平方向の場合）である場合は、図１０（Ｃ）に示すように、ｒｅｆ[０,５]が設定される（以後、このｒｅｆ設定をｔｙｐｅＣと呼ぶ）。
なお、ｒｅｆ設定は、図１０に例示した３パターンに限定されるものではなく、推定エッジ方向に従い、より多くのｒｅｆ設定パターンが用意されてもよい。
【００５３】
次に、エッジ方向推定部５２４で得られた推定エッジ方向、及び、エッジパターン選択部５２６で得られたエッジパターンに基づいて決定される拡大パラメータの計算式を説明する。
図１１は、推定エッジ方向及びエッジパターンに応じて決定される拡大パラメータの計算式を例示する図である。
図１１（Ａ）に例示するように、拡大パラメータ算出部５３０は、エッジ方向推定部５２４によりエッジ方向１と推定され、かつ、エッジパターン選択部５２６によりエッジパターン２が選択された場合（すなわち、図３（Ａ）に例示した注目領域が処理対象である場合）、この注目領域（図３（Ａ）に相当）に対して以下の計算式を設定する。
ｕｈ＝（ａ＋ｃ）／２
ｌｈ＝（ｂ＋ｄ）／２
ｌｖ＝（ａ＋ｃ）／２
ｒｖ＝（ｂ＋ｄ）／２
ｍｉｄ＝（ｂ＋ｃ）／２
ｒｅｆ［０，５］＝ｔｙｐｅＡ
なお、上記ａ，ｂ，ｃ及びｄは、注目領域にある各画素の画素値である。
【００５４】
また、拡大パラメータ算出部５３０は、推定エッジ方向１であり、かつ、エッジパターン０である場合には、図１１（Ｂ）に例示するように、以下の計算式を設定する。
ｌｈ＝（ｃ＋ｄ）／２
ｌｖ＝（ａ＋ｃ）／２
ｒｖ＝（ｂ＋ｄ）／２
ｍｉｄ＝（ｂ＋ｃ）／２
ｕｈ＝２＊ｍｉｄ−ｌｈ
ｒｅｆ［０，５］＝ｔｙｐｅＡ
【００５５】
また、拡大パラメータ算出部５３０は、推定エッジ方向３であり、かつ、エッジパターン０である場合には、図１１（Ｃ）に例示するように、以下の計算式を設定する。
ｕｈ＝（ａ＋ｂ）／２
ｌｈ＝（ｃ＋ｄ）／２
ｒｖ＝（ｂ＋ｄ）／２
ｍｉｄ＝（ｂ＋ｃ）／２
ｌｖ＝２＊ｍｉｄ−ｒｖ
ｒｅｆ［０，５］＝ｔｙｐｅＡ
【００５６】
また、拡大パラメータ算出部５３０は、推定エッジ方向７であり、かつ、エッジパターン１である場合には、図１１（Ｄ）に例示するように、以下の計算式を設定する。
ｕｈ＝（ｂ＋ｄ）／２
ｌｈ＝（ａ＋ｃ）／２
ｒｖ＝（ａ＋ｃ）／２
ｍｉｄ＝（ｂ＋ｄ）／２
ｌｖ＝（ａ＋ｄ）／２
ｒｅｆ［０，５］＝ｔｙｐｅＢ
【００５７】
拡大パラメータ算出部５３０は、以上のように設定された計算式に基づいて、拡大パラメータ（ｕｈ、ｌｈなど）を算出する。
なお、他の推定エッジ方向及びエッジパターンの組合せについても、同様にそれぞれ一意に対応した計算式が設定され、この計算式に従って拡大パラメータが算出され設定される。
【００５８】
［拡大画素生成部の詳細説明］
次に、拡大画素生成部５４０をより詳細に説明する。
拡大画素生成部５４０は、拡大パラメータ算出部５３０により算出された複数の拡大パラメータと、入力画像データ中の拡大対象画素（注目画素）が含まれる画像ブロック中の画素値とを用いて、この注目画素に対応する拡大画素値（拡大倍率に応じた拡大処理後の画素の画素値）を算出する。
図１２は、注目画素が含まれた複数の画像ブロック（近傍ブロック）を例示する図である。
図１２に例示するように、拡大画素生成部５４０は、拡大画素生成処理において、拡大対象画素である注目画素が含まれる複数の近傍ブロックの画素値を参照して、注目画素に対応する拡大画素値を生成する。具体的には、拡大画素生成部５４０は、拡大対象画素である注目画素Ｅを拡大する場合に、図１２に示すように、近傍ブロック０（ＡＢＤＥ）、近傍ブロック１（ＢＣＥＦ）、近傍ブロック２（ＤＥＧＨ）及び近傍ブロック３（ＥＦＨＩ）の４つの近傍ブロックに関して、それぞれの近傍ブロックについて拡大パラメータ算出部５３０により算出された拡大パラメータの一部を用いて、注目画素に対応する拡大画素の画素値を算出する。
【００５９】
図１３は、注目画素Ｅを主走査方向及び副走査方向にそれぞれ２倍する場合の拡大画素を例示する図である。
図１３に例示するように、拡大画素生成部５４０は、拡大対象画素である注目画素Ｅを拡大倍率２倍で拡大する場合に、拡大画素Ｓ０、Ｓ１、Ｓ２、Ｓ３を生成する。より具体的には、拡大画素生成部５４０は、注目画素Ｅが含まれた４つの近傍ブロック（図１２）の画素値と、拡大パラメータ算出部５３０により算出された拡大パラメータとを用いて、以下に示す算出式により拡大画素Ｓ０、Ｓ１、Ｓ２、Ｓ３の画素値を算出する。なお、注目画素Ｅを含む近傍ブロック内の画素値は、拡大パラメータ算出部５３０により予めコントラスト強調がなされている。
【００６０】
Ｓ０＝０．０５×（Ａ＋Ｂ）＋０．３６×Ｅ
＋０．１２×ｕｈ（ＤＥＧＨ）＋０．０６×ｌｈ（ＡＢＤＥ）
＋０．１２×ｌｖ（ＢＣＥＦ）＋０．０６×ｒｖ（ＡＢＤＥ）
＋０．０９×ｍｉｄ（ＡＢＤＥ）
＋０．０４×ｒｅｆ０（ＥＦＨＩ）
＋０．０３×ｒｅｆ２（ＢＣＥＦ）
＋０．０２×ｒｅｆ４（ＢＣＥＦ）
【００６１】
Ｓ１＝０．０５×（Ｂ＋Ｃ）＋０．３６×Ｅ
＋０．１２×ｕｈ（ＥＦＨＩ）＋０．０６×ｌｈ（ＢＣＥＦ）
＋０．１２×ｒｖ（ＡＢＤＥ）＋０．０６×ｌｖ（ＢＣＥＦ）
＋０．０９×ｍｉｄ（ＢＣＥＦ）
＋０．０４×ｒｅｆ１（ＤＥＧＨ）
＋０．０３×ｒｅｆ３（ＡＢＤＥ）
＋０．０２×ｒｅｆ５（ＡＢＤＥ）
【００６２】
Ｓ２＝０．０５×（Ｇ＋Ｈ）＋０．３６×Ｅ
＋０．１２×ｌｈ（ＡＢＤＥ）＋０．０６×ｕｈ（ＤＥＧＨ）
＋０．１２×ｌｖ（ＥＦＨＩ）＋０．０６×ｒｖ（ＤＥＧＨ）
＋０．０９×ｍｉｄ（ＤＥＧＨ）
＋０．０４×ｒｅｆ４（ＢＣＥＦ）
＋０．０３×ｒｅｆ２（ＥＦＨＩ）
＋０．０２×ｒｅｆ０（ＥＦＨＩ）
【００６３】
Ｓ３＝０．０５×（Ｈ＋Ｉ）＋０．３６×Ｅ
＋０．１２×ｌｈ（ＢＣＥＦ）＋０．０６×ｕｈ（ＥＦＨＩ）
＋０．１２×ｒｖ（ＤＥＧＨ）＋０．０６×ｌｖ（ＥＦＨＩ）
＋０．０９×ｍｉｄ（ＥＦＨＩ）
＋０．０４×ｒｅｆ５（ＡＢＤＥ）
＋０．０３×ｒｅｆ３（ＤＥＧＨ）
＋０．０２×ｒｅｆ１（ＤＥＧＨ）
【００６４】
なお、上式に示した記号（ＡからＥ）は、それぞれ図１３で説明した注目画素及び近傍画素の画素値を表す。また、ｕｈ、ｌｈ、ｌｖ、ｒｖ、ｒｅｆ[０、５]は、それぞれ拡大パラメータ算出部５３０により算出された、カッコ内のアルファベット列（ＡＢＤＥ、ＢＣＥＦ、ＤＥＧＨ、ＥＦＨＩ）で表される近傍ブロック０から近傍ブロック３における拡大パラメータである。
【００６５】
［全体動作］
次に、画像拡大プログラム５の全体動作を説明する。
図１４は、画像拡大プログラム５による画像拡大処理（Ｓ２０）のフローチャートである。
図１４に示すように、ステップ２００（Ｓ２００）において、画像ブロック設定部５１０は、画像ブロック特徴量算出部５２０、拡大パラメータ算出部５３０及び拡大画素生成部５４０における処理で必要とされる既定の画像ブロックのサイズをそれぞれ設定し、記憶部５００に記憶されている処理対象画像データから、設定されたブロックサイズの画像ブロックを順次（例えばラスタスキャン順に）切り出し、切り出された各画像ブロックを画像ブロック特徴量算出部５２０、拡大パラメータ算出部５３０及び拡大画素生成部５４０にそれぞれ出力する。
【００６６】
Ｓ１０において、画像ブロック特徴量算出部５２０は、入力された画像ブロック中の注目領域のエッジ強度Ｇを式（１）で算出する。なお、｛ａ，ｂ，ｃ，ｄ｝は図３に例示するように注目領域内の各画素値である。入力画像データがグレースケール画像でなく、例えばＲＧＢ色空間のカラー画像である場合には、画像ブロック特徴量算出部５２０は、注目領域に関してＲ，Ｇ，Ｂの各色空間の色成分毎の画像ブロックそれぞれについて、式（１）を用いてエッジ強度Ｇｒ、Ｇｇ、Ｇｂを計算し、Ｇｒ、Ｇｇ、Ｇｂの中で最大のエッジ強度である色成分の画像ブロックを選択し、そのエッジ強度を注目領域の（すべての色成分に共通の）エッジ強度とする。
さらに、画像ブロック特徴量算出部５２０は、注目領域及びその注目領域を含む１ないし複数の周辺領域中の参照領域のエッジ角度Θを、式（３）で計算する。
なお、ｇｘ、ｇｙは式（１）において各々算出される値である。そして、得られた複数のエッジ角度Θから注目領域のエッジ方向θを推定する。例えば、画像ブロック特徴量算出部５２０は、得られた複数のエッジ角度Θの平均値を算出し、算出された平均値を推定エッジ方向θとする。
【００６７】
ステップ２１０（Ｓ２１０）において、画像ブロック特徴量算出部５２０は、推定されたエッジ方向θ及び注目領域の画素分布パターンを用いてエッジパターンを選択する。ここで、エッジパターンについては、エッジ方向及び画素分布パターンに応じて予め用意されたパターンテーブルの中から選択される。
【００６８】
ステップ２２０（Ｓ２２０）において、拡大パラメータ算出部５３０は、拡大率に応じてサイズ及び重み付け係数が設定された強調カーネルを用いて、画像ブロック設定部５１０により切り出された画像ブロック中の注目領域及びその周辺領域の画像データに対してコントラスト強調処理を施す。さらに、拡大パラメータ算出部５３０は、コントラスト強調処理が施された画像データと、エッジ方向推定部５２４により推定された推定エッジ方向と、エッジパターン選択部５２６により選択されたエッジパターンとを用いて、これら注目領域の画像特徴量に基づく拡大パラメータ（ｕｈ、ｌｈ、ｌｖ、ｒｖ、ｍｉｄ、ｒｅｆ）を算出する。
【００６９】
ステップ２３０（Ｓ２３０）において、拡大画素生成部５４０は、入力画像データの拡大対象画素（注目画素）が含まれる画像ブロックの画素値（コントラスト強調された画素値）と、注目画素周辺（注目画素を含む）の画像ブロックについて拡大パラメータ算出部５３０により算出された複数の拡大パラメータ（ｕｈ、ｌｈ、ｌｖ、ｒｖ、ｍｉｄ、ｒｅｆ）とを用いて、この注目画素について拡大倍率に応じた拡大画素の画素値を生成し、生成された拡大画素の画素値を記憶部５００に出力し格納させる。
【００７０】
ステップ２４０（Ｓ２４０）において、画像拡大プログラム５は、すべての入力画像データについて拡大処理が完了したか否かを判定し、拡大処理が完了していないと判定された場合に、Ｓ２００の処理に戻って次の画素ブロックに対する拡大処理を行い、拡大処理が完了していると判定された場合に、拡大処理（Ｓ２０）を終了する。
【００７１】
このように、本実施形態における画像処理装置２は、処理対象となった入力画像データを例えば所定サイズの画像ブロックに分けて、各画像ブロックについてエッジ強度やエッジ方向等の特徴量を算出する。そして、画像処理装置２は、この特徴量に基づいて画像ブロック毎の拡大パラメータを算出し、入力画像データにおける注目画素から拡大画素を生成する際に、これら拡大パラメータを用いることにより、拡大処理全体の処理負荷を抑えた、高画質な拡大画像を得ることができるようになる。
すなわち、本画像処理装置２は、注目画素を含む所定の大きさの画像ブロックの特徴量に従って拡大画素を生成することにより、入力画像中の特徴的な部分の特徴量を保存する拡大処理を実現でき、特徴的部分におけるボケやジャギーなどの画質欠陥を抑制した高画質な拡大処理を小さな処理負荷により高速に行うことができる。
【図面の簡単な説明】
【００７２】
【図１】本発明にかかる画像処理方法が適応される画像処理装置２のハードウェア構成を、制御装置２０を中心に例示する図である。
【図２】制御装置２０（図１）により実行され、本発明にかかる画像処理方法を実現する画像拡大プログラム５の機能構成を例示する図である。
【図３】（Ａ）は、注目領域及び周辺領域を例示し、（Ｂ）は、この注目領域について推定されるエッジ方向を例示する図である。
【図４】エッジ方向推定部５２４によるエッジ方向推定処理（Ｓ１０）のフローチャートである。
【図５】Ｓ１１０において選択される参照領域を例示する図である。
【図６】図３に示した注目領域における推定エッジ方向の一例の説明図である。
【図７】エッジパターン選択部５２６で用いるエッジパターンテーブルを例示する図である。
【図８】図３に示した注目領域に対応するエッジパターンの選択方法を説明する図である。
【図９】拡大パラメータ算出部５３０により用いられる強調カーネル（エッジ強調カーネル）を例示する図である。
【図１０】拡大パラメータ算出部５３０により算出される拡大パラメータを例示する図である。
【図１１】推定エッジ方向及びエッジパターンに応じて決定された拡大パラメータの計算式を例示する図である。
【図１２】注目画素が含まれる複数の近傍ブロックを例示する図である。
【図１３】注目画素Ｅを２倍に拡大する場合の拡大画素Ｓ０、Ｓ１、Ｓ２、Ｓ３を例示する図である。
【図１４】画像拡大プログラム５による画像拡大処理（Ｓ２０）のフローチャートである。
【符号の説明】
【００７３】
２・・・画像処理装置
５・・・画像拡大プログラム
５００・・・記憶部
５１０・・・画像ブロック設定部
５２０・・・画像ブロック特徴量算出部
５２２・・・エッジ強度算出部
５２４・・・エッジ方向推定部
５２６・・・エッジパターン選択部
５３０・・・拡大パラメータ算出部
５３２，５３４・・・強調カーネル
５４０・・・拡大画素生成部
【図１】
2006050480.tif 000003
【図２】
2006050480.tif 000004
【図３】
2006050480.tif 000005
【図４】
2006050480.tif 000006
【図５】
2006050480.tif 000007
【図６】
2006050480.tif 000008
【図７】
2006050480.tif 000009
【図８】
2006050480.tif 000010
【図９】
2006050480.tif 000011
【図１０】
2006050480.tif 000012
【図１１】
2006050480.tif 000013
【図１２】
2006050480.tif 000014
【図１３】
2006050480.tif 000015
【図１４】
2006050480.tif 000016