(57)【特許請求の範囲】
【請求項１】
原画像を保持するための原画像保持手段と、
前記保持された原画像から所定サイズの画像ブロックを、近接する各画像ブロックが所定量だけ重なり合うようにして、それぞれ取得する画像ブロック取得手段と、
前記取得された各画像ブロックについて、相似性の度合が所定の基準値を上回るか否かを判定する相似性判定手段と、
前記相似性判定手段により前記相似性の度合が前記所定の基準値を上回ると判定された前記各画像ブロックのそれぞれについて、前記原画像の中から相似する相似画像ブロックを検出する相似画像検出手段と、
前記検出された各相似画像ブロックを、対応する前記各画像ブロックにそれぞれ置換する画像置換手段と、
前記置換された相似画像ブロックと前記相似性判定手段により前記相似性の度合が前記所定の基準値以下であると判定された画像ブロックとを重ね合わせる画像加算手段と、
前記画像加算手段により加算されたブロックの重複部分の画像を調整する画像調整手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記相似性の度合として、前記画像ブロックのエッジの強度を用いる請求項１に記載の画像処理装置。
【請求項３】
前記画像調整手段は、前記重複部分の画像を平均化するものである請求項１又は請求項２のいずれかに記載の画像処理装置。
【請求項４】
前記画像ブロック取得手段は、前記原画像の１画素毎に、当該画素を略中心とする所定サイズの画像ブロックを取得するものである請求項１〜請求項３のいずれかに記載の画像処理装置。
【請求項５】
前記相似画像検出手段は、前記画像ブロックのサイズよりも大きいサイズで前記相似画像ブロックを検出し、該相似画像ブロックのサイズを前記画像ブロックのサイズと等しくなるように縮小させるものである請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項６】
前記相似画像検出手段は、前記画像ブロックのサイズよりも大きいサイズで前記原画像中に設定される所定領域の中から、画素を間引きすることにより、前記画像ブロックと同一サイズの相似画像ブロックを検出するものである請求項１〜請求項４のいずれかに記載の画像処理装置。
【請求項７】
前記相似画像検出手段は、予め設定された所定の条件下で、前記原画像の中から前記各画像ブロックに相似する相似画像ブロックをそれぞれ検出するものである請求項１〜請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記所定の条件とは、前記相似画像ブロックを検出するための探索領域の設定条件であり、
前記相似画像検出手段は、前記原画像よりも小さく設定される探索領域内で、該画像ブロックに相似する前記相似画像ブロックを検出するものである請求項７に記載の画像処理装置。
【請求項９】
前記所定の条件とは、前記相似画像ブロックを検出するための探索領域の設定条件及び該相似画像ブロックを検出するための画像操作のパラメータ条件であり、
前記相似画像検出手段は、所定の探索領域内で、画像操作のパラメータを変えながら複数の候補画像ブロックを取得し、該各候補画像ブロックの中から前記画像ブロックに最も相似する候補画像ブロックを該画像ブロックに相似する相似画像ブロックとして検出するものである請求項７に記載の画像処理装置。
【請求項１０】
前記相似画像検出手段は、前記画像操作のパラメータを変えながら前記各候補画像ブロックの相似性を判定し、最も前記画像ブロックに相似する候補画像ブロックの取得に用いたパラメータのみを保持して、該保持されたパラメータにより前記相似画像ブロックを検出するものである請求項９に記載の画像処理装置。
【請求項１１】
前記原画像がカラー画像の場合は、表色系の各成分毎に前記所定の条件をそれぞれ設定可能である請求項７〜請求項１０のいずれかに記載の画像処理装置。
【請求項１２】
近接する画像ブロック同士が所定量だけ重なり合うようにして原画像から各画像ブロックを順次取得し、
前記順次取得された各画像ブロックについて、相似性の度合をそれぞれ判定し、
前記相似性の度合が所定の基準値を上回る各画像ブロックについては、該各画像ブロックに相似する相似画像ブロックを前記原画像中からそれぞれ検出し、
前記各検出された相似画像ブロックを対応する前記各画像ブロックにそれぞれ置換せしめ、
前記置換された各相似画像ブロックと前記相似性の度合が前記所定の基準値以下の各画像ブロックとを重ね合わせ、
前記各ブロックの重複部分を調整して出力させる、
ことを特徴とする画像処理方法。
【請求項１３】
コンピュータに画像処理を実行させるための画像処理プログラムを記録した記録媒体において、
保持された原画像から所定サイズの画像ブロックを、近接する各画像ブロックが所定量だけ重なり合うようにして、それぞれ取得させる機能と、
前記取得された各画像ブロックについて、相似性の度合が所定の基準値を上回るか否かを判定させる機能と、
前記相似性の度合が前記所定の基準値を上回ると判定された前記各画像ブロックのそれぞれについて、前記原画像の中から相似する相似画像ブロックを検出させる機能と、
前記検出された各相似画像ブロックを、対応する前記各画像ブロックにそれぞれ置換させる機能と、
前記置換された相似画像ブロックと前記相似性の度合が前記所定の基準値以下であると判定された画像ブロックとを重ね合わさせる機能と、
前記加算されたブロックの重複部分の画像を調整させる機能と、
をコンピュータ上に実現させるためのコンピュータプログラムを該コンピュータが読取り及び理解可能な形態で記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えば低品質の画像を補間して高品質の画像に変換可能な画像処理装置及び画像処理方法に関する。
【０００２】
【従来の技術】
例えば、低品質のデジタル画像を高品質の画像に変換したり、低解像度の画像を高解像度に変換したり、画像を拡大したりする場合には、オリジナルの画素と画素との間に新たな画素を挿入する等の画像補間が行われる。デジタル画像の補間方法としては、例えば、最近傍補間法（最近隣接補間法、零次ホールド法、Ｎｅａｒｅｓｔ−Ｎｅｉｇｈｂｏｒ法とも呼ばれる）、線形補間法（直線補間法、共一次補間法、Ｂｉ−Ｌｉｎｅａｒ法とも呼ばれる）、３次たたみ込み補間法（立体コンボリューション法、Ｂｉ−Ｃｕｂｉｃ法、Ｃｕｂｉｃ  Ｃｏｎｖｏｌｕｔｉｏｎ法と呼ばれる）が知られている。
【０００３】
【発明が解決しようとする課題】
上述した各補間法は、サンプリング定理に基づくｓｉｎｃ関数による補間を基本概念としているため、原画像がナイキスト周波数の半分以下の周波数成分から構成されている場合にのみ、理論的に正しい。しかし、実際の原画像に含まれる周波数成分は無限に大きいため、前記各補間法では、原画像中に含まれる高周波成分を復元することができない。
【０００４】
そこで、このようなサンプリングの過程で失われた高周波成分を補間するための手法として、周波数変換法が提案されている。周波数変換法としては、周波数領域において帯域制限された周波数成分を実空間に射影し、全実空間成分のうちの制限範囲のみを周波数空間に射影し、全周波数成分のうちの帯域制限された部分を既知である元周波数成分に置き換えた上で、再び実空間に射影するという操作を無限に繰り返すゲルヒベルグ−パポリスの反復法（ＧＰ法）がよく知られている。一般的には、周波数変換にＤＣＴ演算を用いることで演算上の負担を軽減している（ＩＭ−ＧＰＤＣＴ法）。
【０００５】
しかし、適当な高周波成分が得られるまで、ＤＣＴ演算や逆ＤＣＴ演算を繰り返す必要があるため、処理時間が長くなる。また、ノイズが強調されたり、リンギングが発生したりして、画質が低下するおそれもある。
【０００６】
本発明は、上記のような課題に鑑みなされたもので、その目的は、高品質の画像をより高速に得ることができる画像処理装置及び画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
上記目的達成のため、本発明では、近接するブロック同士が重なり合うようにして各画像ブロックを取得すると共に、各画像ブロックのうちフラクタル相似性の度合が所定の基準値を上回る画像ブロックのみを自己に相似する画像で置換するようにしている。
【０００８】
即ち、本発明では、原画像を保持するための原画像保持手段と、前記保持された原画像から所定サイズの画像ブロックを、近接する各画像ブロックが所定量だけ重なり合うようにして、それぞれ取得する画像ブロック取得手段と、前記取得された各画像ブロックについて、相似性の度合が所定の基準値を上回るか否かを判定する相似性判定手段と、前記相似性判定手段により前記相似性の度合が前記所定の基準値を上回ると判定された前記各画像ブロックのそれぞれについて、前記原画像の中から相似する相似画像ブロックを検出する相似画像検出手段と、前記検出された各相似画像ブロックを、対応する前記各画像ブロックにそれぞれ置換する画像置換手段と、前記置換された相似画像ブロックと前記相似性判定手段により前記相似性の度合が前記所定の基準値以下であると判定された画像ブロックとを重ね合わせる画像加算手段と、前記画像加算手段により加算されたブロックの重複部分の画像を調整する画像調整手段とを備えたことを特徴とする。
【０００９】
例えば、原画像のディジタルデータは、例えば、メモリ等の原画像保持手段により保持されている。画像ブロック取得手段は、保持された原画像から所定サイズ（ｎ×ｍ画素、ｎ＝ｍでもよい）の画像ブロックを取得する。ここで、近接する画像ブロックがそれぞれ所定量ずつ重なり合うようにして、各画像ブロックが取得される。例えば、原画像の一画素毎に当該画素を略中心とする所定サイズの画像ブロックを取得することにより、隣接する各画像ブロックは、所定量ずつ重なり合うことになる。
【００１０】
相似性判定手段は、各画像ブロックについて相似性の度合が所定の基準値を上回ったか否かを判定する。相似画像ブロックとしてフラクタル相似画像ブロックを用いる場合は、「フラクタル性の度合」と表現することもできる。相似性の度合としては、画像ブロックのエッジの強度を用いることができる。フラクタル自己相似性の高い画像ほど、エッジ強度が高くなる性質を有するためである。
【００１１】
相似画像検出手段は、相似性の度合が所定の基準値を上回ると判定された各画像ブロックのそれぞれについて、該各画像ブロックに相似する相似画像ブロックを原画像の中から検出する。画像のある一部は、周囲のより大きな画像の縮小形となっている性質、即ち、フラクタル相似性を利用して、原画像の中から画像ブロックに相似する相似画像ブロックをそれぞれ検出することができる。ここで、相似性の度合が所定の基準値以下の各画像ブロックについては、相似画像ブロックの検出は行われない点に注意すべきである。
【００１２】
検出された各相似画像ブロックは、画像置換手段によって、それぞれ対応する画像ブロックに置き換えられる。相似性の度合が低い各画像ブロックは、そのまま使用される。画像加算手段は、相似画像ブロックと相似性の度合が所定の基準値以下であると判定された画像ブロックとを加算する。これにより、大別するなら、相似画像ブロック同士が重なり合う箇所、相似画像ブロックと画像ブロックとが重なり合う箇所、画像ブロック同士が重なり合う箇所の３種類の重なりが生じる。
【００１３】
近接する各画像ブロックは互いに所定量ずつ重なり合うようにして取得されているので、加算される各ブロックも近接するブロック同士が所定量ずつ重なり合う。そこで、画像調整手段は、ブロックの重なり合った部分の値を調整する。例えば、重なり合った画素の値を加算して平均化することにより画像を調整することができる。これに限らず、例えば、重み付けをして平均をとってもよい。
【００１４】
相似画像検出手段は、画像ブロックのサイズよりも大きいサイズで相似画像ブロックを検出し、該相似画像ブロックのサイズを前記画像ブロックのサイズと等しくなるように縮小させるものであってもよい。
【００１５】
例えば、画像ブロックのサイズをｎ×ｍ、相似画像ブロックのサイズを（ｋ・ｎ）×（ｋ・ｍ）とすれば、相似画像ブロックをｋ分の一に縮小することにより、画像ブロックと相似画像ブロックのサイズを一致させることができる。
【００１６】
または、相似画像検出手段は、画像ブロックのサイズよりも大きいサイズで原画像中に設定される所定領域の中から、画素を間引きすることにより、前記画像ブロックと同一サイズの相似画像ブロックを検出するものであってもよい。
【００１７】
前記の例で言えば、（ｋ・ｎ）×（ｋ・ｍ）の画素を有する相似画像ブロックから１／ｋ２の画素を抽出し、残りの画素を捨てることにより、ｎ×ｍ個の画素を有する画像ブロックと同一サイズの相似画像ブロックを得ることができる。
【００１８】
相似画像検出手段は、予め設定された所定の条件下で、原画像の中から各画像ブロックに相似する相似画像ブロックをそれぞれ検出することができる。
【００１９】
所定の条件としては、相似画像ブロックを検出するための探索領域の設定条件を挙げることができる。そして、相似画像検出手段は、原画像よりも小さく設定される探索領域内で、該画像ブロックに相似する相似画像ブロックを検出するように構成してもよい。
【００２０】
原画像の全体で相似画像ブロックを探索することもできるが、探索領域を広くするほど相似画像ブロックを検出するまでの時間がかかる。探索領域を原画像よりも小さく設定することにより、処理時間を短縮することができる。また、原画像の特性（自然画像かテキスト画像か等）や画像ブロックのサイズ等にもよるが、当該画像ブロックの周辺に相似画像ブロックが存在する可能性が高い場合は、相似画像ブロックを検出する時間を短縮できる。従って、探索領域は、画像ブロックの周辺に設定してもよい。
【００２１】
前記所定の条件とは、相似画像ブロックを検出するための探索領域の設定条件及び該相似画像ブロックを検出するための画像操作のパラメータ条件を挙げることもできる。そして、相似画像検出手段は、所定の探索領域内で、画像操作のパラメータを変えながら複数の候補画像ブロックを取得し、該各候補画像ブロックの中から画像ブロックに最も相似する候補画像ブロックを該画像ブロックに相似する相似画像ブロックとして検出するように構成してもよい。
【００２２】
「画像操作」としては、例えば、画像の平行移動、拡大、縮小、回転を行うアフィン変換を挙げることができる。「画像操作のパラメータ」とは、例えば、並行移動の量、拡大率、縮小率、回転角度を挙げることができる。相似画像検出手段は、所定の探索領域内で、画像操作のパラメータを変化させながら、複数の候補画像ブロックを取得する。そして、これら複数の候補画像ブロックの中から最も画像ブロックに相似するものを相似画像ブロックとして検出する。
【００２３】
相似画像検出手段は、画像操作のパラメータを変えながら各候補画像ブロックの相似性を判定し、最も画像ブロックに相似する候補画像ブロックの取得に用いたパラメータのみを保持して、該保持されたパラメータにより相似画像ブロックを検出するようにしてもよい。
【００２４】
各候補画像ブロックをそれぞれ保持しておく場合は、各候補画像ブロックを記憶させるためのメモリ領域が大きくなるが、最小距離の候補画像ブロックを得るのに必要なパラメータのみを保持することにより、少ないメモリ領域で相似画像ブロックを検出することができる。
【００２５】
原画像がカラー画像の場合は、表色系の各成分毎に前記所定の条件をそれぞれ設定可能とすることもできる。
【００２６】
例えば、ＲＧＢ表色系なら、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の各色成分毎に、探索領域の場所及び広さや画像操作の種類及びパラメータを設定することが可能である。ＲＧＢ表色系に限らず、ＹＵＶ表色系、ＹＩＱ表色系、ＹＣｂＣｒ表色系、Ｌａｂ表色系等の各種表色系において、色成分や輝度成分毎に、相似画像ブロックを検出するための所定条件を変えてもよい。これにより、例えば、画像処理装置が適用される製品の種類（ディジタルカメラ、プリンタ、スキャナ等々）や原画像の特性（自然画像か否か）、ユーザーの好み等に応じて、各色成分毎の所定条件を変えることができる。
【００２７】
本発明は、コンピュータプログラムを記録した記録媒体として把握することもできる。プログラムは、例えば、ハードディスクやフロッピーディスク、メモリ等の種々の有形的な記録媒体に固定することができる。また、これに限らず、例えば、ネットワーク上のサーバから所定のプログラムをダウンロードする等のように、通信媒体を用いることもできる。
【００２８】
【発明の実施の形態】
以下、図１〜図８に基づき、本発明の実施の形態を説明する。
【００２９】
１．第１の実施の形態
図１〜図６は本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【００３０】
本画像処理装置１は、原画像保持部２から入力される原画像に所定の画像処理を加えて、出力画像保持部１３に処理済みの画像を出力するものである。原画像保持部２及び出力画像保持部１３は、メモリ等から構成される。原画像保持部２及び出力画像保持部１３は、画像処理装置１の構成として取り込んでも良いし、画像処理装置１とはそれぞれ別体の構成としてもよい。例えば、原画像が記録されたＰＣカードから原画像データを読み出し、処理済みの画像を当該ＰＣカードの空き領域に書き戻す場合は、ＰＣカードが原画像保持部２及び出力画像保持部１３となる。
【００３１】
「画像ブロック取得手段」としての局所領域画像取得部３は、原画像の各画素毎に所定サイズの局所領域画像をそれぞれ取得するものである。局所領域画像が「画像ブロック」に該当する。図２と共に後述するように、各画素毎にそれぞれ局所領域画像を取得するため、近接する各局所領域画像は所定量ずつ重なり合うことになる。局所領域画像取得部３は、パラメータ設定部４から設定される局所領域画像取得用のパラメータに基づいて、局所領域画像を取得する。このパラメータとしては、例えば、局所領域画像のサイズ等を挙げることができる。注目画素ポインタ５は、現在処理中の画素（注目画素）の位置を検出する。
【００３２】
アフィン変換画像取得部６は、エッジ強度判定部１４からの指示に基づいて、取得された各局所領域画像のうち所定の基準値を上回るエッジ強度を有すると判定された各局所領域画像に相似する画像を、原画像中から検出して取得するものである。アフィン変換画像取得部６は、アフィン変換パラメータ設定部７で設定されたアフィン変換用パラメータに基づいて、局所領域画像の周辺に存在する画像を操作し、局所領域画像に相似するアフィン変換画像を検出するようになっている。局所領域画像に相似するアフィン変換画像が「相似画像ブロック」に該当する。
【００３３】
アフィン変換画像取得部６は、局所領域画像よりも大きいサイズ、例えば縦横２倍のサイズのアフィン変換画像を取得する。この取得されたアフィン変換画像は、縮小部８により局所領域画像と同サイズになるように縮小される。相似性算出部９は、局所領域画像取得部３が取得した局所領域画像とアフィン変換画像取得部６により取得され縮小部８により縮小されたアフィン変換画像との距離を算出し、両者の相似性、類似度を算出するものである。距離計算は、固有ベクトル距離を計算してもよいし、簡易的に二乗平均を取ってもよい。ここで、アフィン変換画像取得部６，縮小部８及び相似性算出部９が「相似画像検出手段」に該当する。
【００３４】
そして、相似性算出部９によって最も相似すると判定されたアフィン変換画像は、「画像置換手段」としての置換部１０によって、対応する局所領域画像と置き換えられる。
【００３５】
「画像加算手段」としての加算部１１は、置換されたアフィン変換画像と置換されなかった局所領域画像とを加算する。即ち、原画像から取得された全局所領域画像は、自己に相似するアフィン変換画像に置換されて加算されるか、又は、元の局所領域画像のままで加算される。近接する局所領域画像同士が重なり合うようにして局所領域画像が取得されるため、置換されたアフィン変換画像及び元の局所領域画像は、近接する画像同士が所定量ずつ重なり合うようにして、加算部１１により加算される。「画像調整手段」としての平均化処理部１２は、各画像が重なり合った部分の値を平均化することにより調整する。重なり合った部分の画像調整方法としては、単純平均をとってもよいし、または、重み付けして平均をとってもよい。このようにして調整された画像は、出力画像保持部１３に保持される。なお、画像調整後に、拡大処理、縮小処理、回転処理、色変換処理等を行っても良い。
【００３６】
「相似性判定手段」としてのエッジ強度判定部１４は、取得された各局所領域画像のフラクタル性の度合を判定するものである。フラクタル性の度合が高いと判定された局所領域画像については、アフィン変換画像取得部６によってアフィン変換画像が検出される。フラクタル性の度合が低い局所領域画像は、そのままアフィン変換画像と加算される。即ち、原画像から取得される全ての局所領域画像についてアフィン変換画像を取得するのではなく、フラクタル性の度合の高い局所領域画像についてのみアフィン変換画像が取得される。「フラクタル性の度合」としては、エッジ強度を用いることができる。これについては、図５と共に後述する。
【００３７】
図２は、画像処理装置による画像処理方法の大略を示す説明図である。図２（ａ）に示すように、原画像の各画素毎に局所領域画像が設定され、各局所領域画像のうちエッジ強度の高い各局所領域画像毎にアフィン変換画像がそれぞれ取得される。
【００３８】
現在の処理に係る注目画像を略中心として、例えば、ｎ×ｎサイズの局所領域画像が取得される。図中では、ｎ＝２の場合を例示している。アフィン変換画像は、局所領域画像サイズよりも大きくなるように、具体的には例えば縦横２倍の大きさで取得される（２ｎ×２ｎ）。実施の形態では、特に明示しない限り、局所領域画像及びアフィン変換画像を正方形として説明するが、本発明はこれに限定されない。各画像は長方形、平行四辺形等の他の多角形に設定することも可能である。
【００３９】
ここで、局所領域画像に相似するアフィン変換画像は、原画像の全体から探索することも可能である。しかし、探索領域を広げるほど処理時間が長くなる。また、画像ブロックのサイズや原画像の特性等にもよるが、相似画像ブロックは画像ブロックの周辺で発見される可能性が高い場合がある。特に、本発明は、原画像全体を互いに重複しない複数の画像ブロックに分割して、各画像ブロックに相似する画像ブロックを求めるものではなく、隣接する各画像ブロックの一部が重複するように設定するため、画像ブロック数が多くなり、相似画像ブロックを検出する回数が増大する。従って、相似画像ブロックの探索領域（探索範囲）を原画像全体に広げると、処理時間がより長くなる可能性がある。
【００４０】
そこで、本実施の形態では、原画像の全体を探索するのではなく、原画像の一部、さらには、画像ブロックの周辺に限定して相似画像ブロックを探索するようにしている。探索領域のサイズは、原画像の性質等に応じて動的に変更することができる。画像ブロックのサイズをｎ×ｍ、原画像のサイズをＸｍａｘ，Ｙｍａｘ、探索領域のサイズをαｎ×βｍとした場合、下記の関係が成立する。
【００４１】
１＜α＜Ｘｍａｘ／ｎ・・・（数式１）
１＜β＜Ｙｍａｘ／ｍ・・・（数式２）
探索領域のサイズを決定する係数α，βの値は、上記数式１，２を満たす範囲で任意に設定することができる。但し、本発明はこれに限らず、原画像全体を探索してもよい。
【００４２】
図２（ｂ）に示すように、局所領域画像よりも縦横２倍サイズで取得されたアフィン変換画像（「候補画像ブロック」）は、局所領域画像と同一サイズになるように縮小される。そして、縮小されたアフィン変換画像と局所領域画像との距離が算出され、相似性、類似度が判定される。ある局所領域画像について複数個取得されたアフィン変換画像の中から最も相似性の高いアフィン変換画像が、当該局所領域画像と置換される。
【００４３】
図２（ｃ）に示すように、近接する画像同士が互いに重複するようにして局所領域画像が取得されているため、該各局所領域画像に置換されるアフィン変換画像もそれぞれ隣接する画像同士が重複する。図中に示すように、２画素×２画素の局所領域画像を一画素ずつずらして取得する場合、ｘ方向だけに着目すると、最大４枚の画像が重複することになる。ｙ方向でも同様に最大で４枚の局所領域画像が重複する。そこで、重複した部分は、各画素の値の単純平均を取ることで調整する。
【００４４】
なお、本実施の形態では、全局所領域画像についてアフィン変換画像を取得するのではなく、エッジ強度（フラクタル性）の高い局所領域画像についてのみアフィン変換画像を取得する。従って、図２（ｃ）に示す４枚の画像が全てアフィン変換画像であるとは限らない。アフィン変換画像同士、元の局所領域画像同士、アフィン変換画像と局所領域画像とが重なり合う場合がある。
【００４５】
図３は、アフィン変換画像を取得する際の画像操作方法及びパラメータを示す説明図である。図３（ａ）に示すように、画像をＳｘ，Ｓｙだけ平行移動させることができる。また、図３（ｂ）に示すように、画像を角度θだけ回転させることもできる。さらに、図３（ｃ），（ｄ）に示すように、画像をｘ方向にＥｘ倍拡大又は縮小したり、ｙ方向にＥｙ倍拡大又は縮小することもできる。
【００４６】
次に、図４〜図６に基づいて本実施の形態の作用を説明する。以下、ステップを「Ｓ」と略記する。
【００４７】
まず、図４は、画像処理の全体の流れを示すフローチャートである。Ｓ１では、注目画素の座標（ｘ，ｙ）に（０，０）をセットし、原画像の最初の画素から変換を開始させる。次に、注目画素を中心とする局所領域画像のエッジ強度を計算する（Ｓ２）。図５に示すように、注目画素Ｐｘ５を中心とする３画素×３画素の領域を例に挙げると、注目画素の上下に位置する列のレベル差（｜Ｐｘ１＋Ｐｘ２＋Ｐｘ３｜−｜Ｐｘ７＋Ｐｘ８＋Ｐｘ９｜）と、注目画素の左右に位置する列のレベル差（｜Ｐｘ１＋Ｐｘ４＋Ｐｘ７｜−｜Ｐｘ３＋Ｐｘ６＋Ｐｘ９｜）とを検出し（Ｓ２）、上下左右のレベル差が所定の基準値ｔｈよりも大きいか否かを判定する（Ｓ３）。即ち、注目画素周辺のエッジ強度をもってフラクタル性の度合が強いか否かを判定している。
【００４８】
ここで、エッジ強度判定のための領域と局所領域画像のサイズとは必ずしも一致させる必要はない。例えば、注目画素を中心として４画素×４画素の局所領域画像を取得する場合、注目画素を中心とする３画素×３画素の領域でエッジ強度を判定することもできるし、５画素×５画素以上の領域でエッジ強度を判定することも可能である。本実施の形態では、エッジ強度判定領域と局所領域画像のサイズとを一致させるものとして述べる。
【００４９】
算出されたエッジ強度が所定の基準値ｔｈを上回る場合は（Ｓ３：ＹＥＳ）、図６と共に後述するフラクタル補間が行われる（Ｓ４）。一方、エッジ強度が所定の基準値以下の場合は（Ｓ３：ＮＯ）、局所領域画像が取得され（Ｓ５）、この取得された局所領域画像がそのまま加算される（Ｓ６）。
【００５０】
そして、注目する画素を次の画素に移し（Ｓ７）、原画像の全画素について、アフィン変換画像又は局所領域画像のいずれかを取得したか否かを判定する（Ｓ８）。原画像全体の処理が終了していない場合は、再びＳ２に戻って上述の各処理を繰り返す。
【００５１】
原画像の全画素について、それぞれに対応する局所領域画像又は局所領域画像に相似するアフィン変換画像を取得して加算した場合は（Ｓ８：ＹＥＳ）、各画像の重複部分について平均化し、出力画像とする（Ｓ９）。なお、このようにして変換された画像を拡大等する場合は、さらに、線形補間等の従来の補間処理を行うことができる。
【００５２】
なお、本実施の形態では原画像の全体について処理を行う場合を例示したが、本発明はこれに限られない。ユーザー等により指定された所定の領域についてのみ本発明による画像処理を部分的に適用することもできる。
【００５３】
次に、図６は、図４中にＳ４として示されるフラクタル補間処理の流れを示すフローチャートである。
【００５４】
まず、局所領域画像とアフィン変換画像との相似性を判定するための「最小距離」に最大値をセットする（Ｓ１１）。そして、注目画素を略中心とする局所領域画像を取得し（Ｓ１２）、アフィン変換用の各パラメータ（Ｓｘ，Ｓｙ，Ｅｘ，Ｅｙ，θ）にそれぞれ初期値をセットする（Ｓ１３）。なお、後述する他のステップでも同様だが、処理に影響がない限り、ステップの処理順序を変更可能である。即ち、Ｓ１１〜Ｓ１３の処理順序は問わない。
【００５５】
設定されたパラメータに基づいてアフィン変換画像を取得すると（Ｓ１４）、この取得したアフィン変換画像が局所領域画像と同一サイズになるように縮小する（Ｓ１５）。そして、局所領域画像と該局所領域画像に対応する同一サイズのアフィン変換画像との距離を算出し（Ｓ１６）、この算出された距離が相似性判定のパラメータ「最小距離」に設定された値よりも小さいか否か、即ち、より相似しているかを判定する（Ｓ１７）。もしも、最新の距離の算出結果が「最小距離」よりも小さい場合は、この最新のアフィン変換パラメータ及び距離の値を保持しておく（Ｓ１８）。最新の距離が「最小距離」よりも小さくない場合は、取得されたアフィン変換画像が局所領域画像に似ていない場合のため、各パラメータ及び距離の値を保持しない。
【００５６】
そして、各パラメータを所定量だけ変化させ（Ｓ１９）、各パラメータの可変範囲を超えたか否かを判定する（Ｓ２０）。つまり、各パラメータを初期値から上限値まで変化させながらアフィン変換画像をそれぞれ取得し、局所領域画像との距離を算出する（Ｓ１４〜Ｓ２０）。従って、Ｓ１８では、各パラメータの可変範囲内で得られるアフィン変換画像のうち、現在の注目画素に係る局所領域画像と最も相似するアフィン変換画像のアフィン変換パラメータ及びその距離が保持されることになる。
【００５７】
各パラメータを上限まで変化させた場合には、Ｓ１８で保持された各パラメータに基づいて、局所領域画像に最も相似するアフィン変換画像を取得する（Ｓ２１）。そして、取得したアフィン変換画像を局所領域画像と同一サイズまで縮小し（Ｓ２２）、先に取得されたアフィン変換画像に加算する（Ｓ２３）。加算とは、メモリ領域の所定位置にアフィン変換画像のディジタルデータを格納することである。
【００５８】
これにより、原画像から取得される全局所領域画像のうち、フラクタル相似性の度合が高い局所領域画像については、該局所領域画像に相似するアフィン変換画像が原画像中から検出されて置換され、加算される。一方、フラクタル相似性の度合が低い局所領域画像については、アフィン変換画像の取得は行われず、元の局所領域画像がそのまま加算される。
【００５９】
このように構成される本実施の形態では、以下の効果を奏する。
【００６０】
第１に、近接する画像同士が所定量ずつ重なり合うようにして局所領域画像を取得し、フラクタル相似性の高い各局所領域画像については、該各局所領域画像に相似するアフィン変換画像を原画像中から検出して置換するため、低品質の画像を高品質の画像に変換可能となる。
【００６１】
第２に、フラクタル性の度合の高い場合にのみアフィン変換画像を取得するため、全ての局所領域画像についてアフィン変換画像を取得する場合に比較して、処理時間を短縮することができる。
【００６２】
第３に、各画像を所定量ずつ重複せしめ、重なり合った部分を平均化等により処理するため、画像を重複させない場合に比べて、画像間のつなぎ目に違和感が生じるのを防止できる。従って、例えば、原画像が自然画像の場合等に、自然な階調変化を保ちつつ品質を高めることができる。
【００６３】
第４に、局所領域画像に相似するアフィン画像を原画像の全体から探索するのではなく、局所領域画像の周辺から探索するため、局所領域画像に相似するアフィン変換画像を比較的短時間で得ることができる。従って、検出すべきアフィン変換画像が多い場合でも、全体の処理時間が著しく増大するのを防止することができる。
【００６４】
第５に、アフィン変換画像と局所領域画像との相似性を判断しながら、局所領域画像に最も相似するアフィン変換パラメータを保持し、探索領域の探索が終了した後で、保持したアフィン変換パラメータによりアフィン変換画像を取得するため、少ないメモリ資源で局所領域画像に相似するアフィン変換画像を得ることができる。
【００６５】
２．第２の実施の形態
次に、図７に基づき、本発明の第２の実施の形態を説明する。なお、以下の各実施の形態では、上述した構成要素と同一の構成要素に同一の符号を付し、その説明を省略するものとする。本実施の形態の特徴は、画素を間引きしてアフィン変換画像を取得することにより、局所領域画像と同一サイズのアフィン変換画像を得るようにした点にある。
【００６６】
図７（ａ）に示すように、２ｎ×２ｎのサイズでアフィン変換画像を取得し、この取得したアフィン変換画像を縮小することにより、局所領域画像と同一サイズのアフィン変換画像を得ることができる。
【００６７】
これに対し、図７（ｂ）に示すように、２ｎ×２ｎのサイズでアフィン変換画像を取得するものの、該サイズ中の全画素を取得するのではなく、１個置きに画素を間引いて取得することにより、縮小処理を行わずに局所領域画像と同一サイズのアフィン変換画像を得ることができる。
【００６８】
３．第３の実施の形態
次に、図８に基づいて本発明の第３の実施の形態を説明する。本実施の形態の特徴は、原画像の特性等に基づいて、アフィン変換パラメータの値を各色成分毎に設定可能とした点にある。
【００６９】
まず、ユーザーは、画像処理装置による画像改質を行うに際し、色にじみ防止モードかシャープモードかを排他的に選択することができる（Ｓ３１）。色にじみ防止モードでは、色のにじみを抑えるべく、ＲＧＢ表色系で表現された原画像のうちＲ成分及びＢ成分に本発明によるフラクタル補間を適用する。一方、シャープモードでは、画像の輪郭等を鮮明にするべく、Ｇ成分のみフラクタル補間を適用する。例えば、各１個ずつのＲ成分用画素及びＢ成分用画素と２個のＧ成分用画素とで一つの単位を形成しているようなディジタルカメラ等において、色にじみ防止モードは自然画像に、シャープモードは文字や線図等の画像に、それぞれ好適に用いられる。
【００７０】
色にじみ防止モードが選択された場合は、フラクタル補間対象となる色プレーンにＲプレーン及びＢプレーンをセットすると共に（Ｓ３２）、該各Ｒ，Ｂプレーン用のアフィン変換パラメータをセットする（Ｓ３３）。一方、シャープモードが選択された場合は、フラクタル補間対象プレーンとしてＧプレーンをセットすると共に（Ｓ３４）、該Ｇプレーン用のアフィン変換パラメータをセットする（Ｓ３５）。なお、Ｓ３３，Ｓ３５でセットするパラメータの初期値及び可変範囲は同一であってもよい。
【００７１】
そして、前記同様に、注目画素の初期値をセットした後（Ｓ３６）、注目画素を中心とする局所領域画像のエッジ強度を算出する（Ｓ３６，Ｓ３７）。算出されたエッジ強度が所定の基準値ｔｈを上回る場合は（Ｓ３８：ＹＥＳ）、フラクタル補間を行い（Ｓ３９）、エッジ強度が基準値ｔｈ以下の場合は（Ｓ３８：ＮＯ）、取得した局所領域画像をそのまま加算する（Ｓ４０，Ｓ４１）。原画像の全画素について処理を終了するまで上記各処理を繰り返す（Ｓ４２，Ｓ４３）。
【００７２】
原画像の全画素についてアフィン変換画像又は局所領域画像を取得した場合は（Ｓ４３：ＹＥＳ）、各画像を加算して平均化する（Ｓ４４）。これにより、一枚のプレーンの処理が終了する。そこで、次に処理すべきプレーンがあるか否かを判定し（Ｓ４５）、処理すべきプレーンが残っている場合は、該プレーンに切り替えて上述の各処理を行わせる（Ｓ４６）。フラクタル補間の実行を指定された全プレーンについて処理を終了した場合は、他のプレーンと合成し、出力画像を得る（Ｓ４７）。
【００７３】
即ち、色にじみ防止モードの場合は、Ｒプレーン及びＢプレーンの画像データについて本発明によるフラクタル補間が行われ、Ｇプレーンと合成されて出力画像が得られる。この場合、Ｇプレーンについては、線形補間等の他の補間処理を行ってから合成してもよいし、補間処理を行わずに合成してもよい。同様に、シャープモードの場合は、Ｇプレーンの画像データについてのみ本発明によるフラクタル補間が行われ、Ｒプレーン及びＢプレーンと合成される。
【００７４】
これにより、原画像の特性やユーザーの希望等に応じて、画像処理を行うことができる。
【００７５】
なお、当業者であれば、前記各実施の形態に記載された本発明の要旨の範囲内で種々の追加、変更、組合せ等が可能である。例えば、前記各実施の形態では、原画像の各画素毎に局所領域画像を取得する場合を例示したが、これに限らず、例えば、１画素おき、２画素おき等のように、近接する局所領域画像が所定量ずつ重なり合う範囲内において、所定間隔で画素を選定してもよい。
【００７６】
【発明の効果】
以上説明した通り、本発明に係る画像処理装置及び画像処理方法によれば、低品質の画像を高品質の画像に比較的短時間で変換することが可能となる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理装置のブロック図である。
【図２】画像処理の概要を示す説明図である。
【図３】アフィン変換の概要を示す説明図である。
【図４】画像処理方法を示すフローチャートである。
【図５】エッジ強度の算出方法を示す説明図である。
【図６】図４中に示されるフラクタル補間の具体的処理の流れを示すフローチャートである。
【図７】本発明の第２の実施の形態に係る画像処理方法の説明図である。
【図８】本発明の第３の実施の形態に係る画像処理方法のフローチャートである。
【符号の説明】
１  画像処理装置
２  原画像保持部
３  局所領域画像取得部
４  パラメータ設定部
５  画素ポインタ
６  アフィン変換画像取得部
７  アフィン変換パラメータ設定部
８  縮小部
９  相似性算出部
１０  置換部
１１  加算部
１２  平均化処理部
１３  出力画像保持部
１４  エッジ強度判定部
【図１】
0003573085.tif 000002
【図２】
0003573085.tif 000003
【図３】
0003573085.tif 000004
【図４】
0003573085.tif 000005
【図５】
0003573085.tif 000006
【図６】
0003573085.tif 000007
【図７】
0003573085.tif 000008
【図８】
0003573085.tif 000009