(57)【要約】【課題】フラクタル変換により画像を拡大する場合に処理量及び処理時間を低減させることができる。また、フラクタル変換拡大画像と、線型補間など他の拡大手法で拡大された拡大画像のいずれか、若しくは両方の特徴を残した拡大画像を得ることができる。【解決手段】スケーリング部２は、入力画像１をフラクタル変換以外の線型補間など拡大アルゴリズムで拡大する。反復関数系フラクタル復号部６は、スケーリング部２により拡大された画像３を復号初期画像として復号処理を反復して繰り返すことにより、フラクタル符号化データを拡大率に基づいてフラクタル復号する。【選択図】図４
2009026032.tif 000002
【特許請求の範囲】
【請求項１】
入力画像をその画像よりも画素数の多い高解像度の画像に変換する解像度変換装置において、
前記入力画像を、所定の拡大手法で、設定された拡大率に応じて、前記入力画像よりも画素数の多い高解像度の拡大画像に拡大する拡大手段と、
前記入力画像を、画像サイズに関するパラメータを含むフラクタル符号化データにフラクタル符号化するフラクタル符号化手段と、
前記フラクタル符号化手段によりフラクタル符号化された、前記画像サイズに関するパラメータを前記拡大率に応じて変換するパラメータ変換手段と、 
前記拡大手段により拡大された拡大画像を復号初期画像として、前記フラクタル符号化手段により符号化された前記フラクタル符号化データを、前記変換された前記画像サイズに関するパラメータに基づいて フラクタル復号し、このフラクタル復号して得られた復号画像を次のフラクタル復号の復号初期画像とする復号処理を、任意の回数だけ繰り返すことにより前記拡大手段により拡大された拡大画像を修正するフラクタル復号手段と、
を備えた解像度変換装置。
【請求項２】
入力画像をその画像よりも画素数の多い高解像度の画像に変換する解像度変換方法において、
前記入力画像を、所定の拡大手法で、設定された拡大率に応じて、前記入力画像よりも画素数の多い高解像度の拡大画像に拡大するステップと、
前記入力画像を、画像サイズに関するパラメータを含むフラクタル符号化データにフラクタル符号化するステップと、
前記フラクタル符号化するステップによりフラクタル符号化された、前記画像サイズに関するパラメータを前記拡大率に応じて変換するステップと、 
前記拡大するステップにより拡大された拡大画像を復号初期画像として、前記フラクタル符号化するステップにより符号化された前記フラクタル符号化データを、前記変換された前記画像サイズに関するパラメータに基づいて フラクタル復号し、このフラクタル復号して得られた復号画像を次のフラクタル復号の復号初期画像とする復号処理を、任意の回数だけ繰り返すことにより前記拡大するステップにより拡大された拡大画像を修正するステップと、
を有する解像度変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像をその画像よりも画素数の多い高解像度の画像に変換する解像度変換装置及び解像度変換方法に関する。
【背景技術】
【０００２】
一般的に、自然画では近傍の画素間には強い相関性を持つことが知られている。画像を拡大する解像度変換の場合、その相関性を利用し、近傍の画素をフィルタ処理することで、拡大時の補間画素を生成することができる。
また、Jacquin らによって提案され、良好な復号画像を得ることができる手法として、画像のフラクタル自己相似性を利用した解像度変換の場合は、入力画像を複数のレンジブロックに分割するとともに、このレンジブロックのサイズを、拡大率に基づき拡大したサイズのドメインブロックを設定する。入力画像中でドメインブロックに相当するウインドウをスキャンし、最も自己相似性の高いブロックを画像の中から探索する。各レンジブロックと自己相似性の高いドメインブロックを入力画像中から求めて、すべてのレンジブロックをドメインブロックに置き換えると、所定の拡大率の画像を得ることができる。
【０００３】
しかしながら、上記したフィルタ処理による補間画素生成で画像拡大する場合、ボケやジャギー等の画像劣化が生じやすい。
また、フラクタル自己相似性を利用した置き換えによる画像拡大の場合、ブロック内では忠実度の高い変換が可能であるが、各ドメインブロックは入力画像中の任意の場所から抽出されるため、お互いにその境界部分での連続性がない。したがって、単純な置き換えによる拡大画像は、そのブロック境界で不連続が生じ、画像品質の劣化が生じる。
【０００４】
このような画像拡大手法の問題点を解決するために、下記の特許文献１には、拡大倍率に応じて線型補間した補間拡大画像とフラクタル変換拡大画像とを生成した後、両者の拡大画像を比較して、
（１）その差が大きい場合には線型補間拡大画像を採用し、他の場合にはフラクタル変換拡大画像を採用する方法、
（２）その差と重み付け係数の積を線型補間拡大画像に加算する方法
などが開示されている。
【特許文献１】特開平１１−３３１５９５号公報（請求項１、２）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記した従来の画像拡大技術では、線型補間した拡大画像とフラクタル変換拡大画像との２種類の拡大画像を生成した後に、両者の拡大画像を比較し、積和演算などの各種の処理を行うので、処理量が多くなり、また、処理時間が長くなるという問題点がある。
【０００６】
本発明は上記した従来技術の問題点に鑑みなされたもので、フラクタル変換手法以外の他の拡大手法で拡大された拡大画像を、フラクタル変換手法を用いて修正する場合に処理量及び処理時間を低減させることができ、さらにフラクタル変換拡大画像と、線型補間など他の手法で拡大された拡大画像のいずれか、若しくは両方の特徴を残した拡大画像を得ることができる解像度変換装置及び解像度変換方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は上記の目的を達成するために、第１の発明は、入力画像をその画像よりも画素数の多い高解像度の画像に変換する解像度変換装置において、前記入力画像を、所定の拡大手法で、設定された拡大率に応じて、前記入力画像よりも画素数の多い高解像度の拡大画像に拡大する拡大手段（２）と、前記入力画像を、画像サイズに関するパラメータを含むフラクタル符号化データにフラクタル符号化するフラクタル符号化手段（４）と、前記フラクタル符号化手段によりフラクタル符号化された、前記画像サイズに関するパラメータを前記拡大率に応じて変換するパラメータ変換手段（５）と、 前記拡大手段により拡大された拡大画像を復号初期画像として、前記フラクタル符号化手段により符号化された前記フラクタル符号化データを、前記変換された前記画像サイズに関するパラメータに基づいて フラクタル復号し、このフラクタル復号して得られた復号画像を次のフラクタル復号の復号初期画像とする復号処理を、任意の回数だけ繰り返すことにより前記拡大手段により拡大された拡大画像を修正するフラクタル復号手段（６）と、を備えた解像度変換装置を提供する。
また、第２の発明は、入力画像をその画像よりも画素数の多い高解像度の画像に変換する解像度変換方法において、前記入力画像を、所定の拡大手法で、設定された拡大率に応じて、前記入力画像よりも画素数の多い高解像度の拡大画像に拡大するステップと、前記入力画像を、画像サイズに関するパラメータを含むフラクタル符号化データにフラクタル符号化するステップと、前記フラクタル符号化するステップによりフラクタル符号化された、前記画像サイズに関するパラメータを前記拡大率に応じて変換するステップと、 前記拡大するステップにより拡大された拡大画像を復号初期画像として、前記フラクタル符号化するステップにより符号化された前記フラクタル符号化データを、前記変換された前記画像サイズに関するパラメータに基づいて フラクタル復号し、このフラクタル復号して得られた復号画像を次のフラクタル復号の復号初期画像とする復号処理を、任意の回数だけ繰り返すことにより前記拡大するステップにより拡大された拡大画像を修正するステップと、
を有する解像度変換方法を提供する。
【発明の効果】
【０００８】
本発明の解像度変換装置及び解像度変換方法によれば、線型補間など他の拡大手法（アルゴリズム）で拡大された拡大画像を復号初期画像としてフラクタル復号を行い、その拡大画像の修正を行うので、フラクタル変換後の処理が必要なくなり、また、復号の収束が早まるため、処理量及び処理時間を低減させることができる。
また、フラクタル変換は反復処理であるため、反復処理を収束する前に処理を停止すれば線型補間など他の拡大手法で拡大された拡大画像の特徴が残り、反復処理を収束するまで処理を繰り返せばフラクタル変換拡大画像のみの特徴が残るので、フラクタル変換拡大画像と、線型補間など他の拡大手法で拡大された拡大画像のいずれか、若しくは両方の特徴を残した拡大画像を得ることができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施の形態について説明する。
本発明の解像度変換装置及び解像度変換方法は、線型補間など他の拡大手法で拡大された拡大画像を復号初期画像としてフラクタル復号を行い、その拡大画像の修正を行うことにより、処理量及び処理時間を低減させ、また、フラクタル変換拡大画像と、線型補間など他の拡大手法で拡大された拡大画像のいずれか、若しくは両方の特徴を残した拡大画像を得ることができる。
本発明に係る解像度変換装置を説明する前に、まず、その前提技術となる一般的な反復関数系を用いたフラクタル符号化、復号アルゴリズムについて、図１を参照して説明する。
【００１０】
＜フラクタル符号化アルゴリズム＞
まず、フラクタル符号化アルゴリズムについて説明する。
フラクタル符号化の処理は、図１（ａ）、（ｂ）に示すような入力画像ｆ(x,y)（０≦ｘ≦Ｘmax，０≦ｙ≦Ｙmax）を、図１（ｃ）に示すように、重なりの無いｍmax×ｎmax画素のレンジブロックＲijに分割し、図１（ｅ）に示すように、各レンジブロックＲijに対応するそれより大きなｍ'max×ｎ'max画素（ｍmax＜ｍ'max，ｎmax＜ｎ'max）のドメインブロックＤkiを探索して最適な近似を与える変換λij(・)を求めることにより行われる。なお、この変換λij(・)は、縮小アフィン変換として説明される。
【００１１】
レンジブロックＲijが平坦である場合、そのブロックＲijは平均値Ｒaveのみで充分に近似できるため、シェードブロックＳijとして判別される。このとき、ドメインブロックＤkiの探索は行わず、レンジブロックＲijの平均値Ｒaveとブロック判別ビットτijのみを符号として用いる。これにより、ビットレートと探索時間を短縮することができる。
シェードブロックＳijを判別するため、レンジブロックＲijの分散σ2を用い、あらかじめ設定した閾値以下のレンジブロックＲijをシェードブロックＳijとする。レンジブロックＲijの分散σ2が閾値以下でないレンジブロックＲijは、エッジブロックＥijとして判別される。
エッジブロックＥijに対しては、ドメインブロックＤki及び最適な変換λij(・)とが総当り的に探索される。
【００１２】
ここで、図１（ｃ）に示すレンジブロックＲij及び図１（ｅ）に示すドメインブロックＤkiに施される変換について、以下に説明する。
まず、レンジブロックＲijから直流成分（平均値Ｒave）を分離し、平均値Ｒaveが分離されたレンジブロックＲ'ijを作成する。
Ｒ'ij（m,n)＝Ｒij（m,n)−Ｒave  …（１）
【００１３】
次に、ドメインブロックＤkiを抽出し、この抽出したドメインブロックＤkiに対応する画素値を算術平均化した縮小変換ｓ(・)を行う。更に、レンジブロックＲijと同様に直流成分（平均値Ｄave）を分離し、等長変換ε(・)を施し、図１（ｄ）に示すように分離・変換されたドメインブロックＤ'kiを生成する。
Ｄ'ki（m,n)＝ε(ｓ（Ｄki（m',n')）−Ｄave）  …（２）
【００１４】
等長変換ε(・)は、図２に示すように、以下の８通りが用いられる。
１）恒等変換
２）時計回りに９０度回転
３）時計回りに１８０度回転
４）時計回りに２７０度回転
５）＋４５度の対角線１に対する反射
６）−４５度の対角線２に対する反射
７）水平軸に対する反射
８）垂直軸に対する反射
【００１５】
最後に、図１（ｄ）に示すように分離・変換されたドメインブロックＤ'kiにグレイレベルのスケーリングαを施す。
Ｒ'ij（m,n)≒α・Ｄ'ki（m,n)  …（３）
このとき、αは上式（３）の関係となるような最小自乗法から
α＝（ΣＲ'ij（m,n)・Ｄ'ki（m,n)）／（Σ（Ｄ'ki（m,n))2）  …（４）
により求められる。
【００１６】
以上のような変換処理操作を、ドメインブロックＤkiと変換パラメータについて総当り的に繰り返し、平均値Ｒaveが分離されたレンジブロックＲ'ijとドメインブロックＤkiとの間の平均自乗誤差が最も低くなるようなドメインブロックＤki と最適な近似を与える変換λとを求める。
レンジブロックＲijについて、変換パラメータとして、ブロック判別ビットτij、レンジブロックＲijの平均値Ｒave 、ドメインブロックＤkiの位置(k,l)、等長変換ε、スケーリング係数αが最終的に符号化される。以上がフラクタル符号化アルゴリズムとなる。
【００１７】
＜フラクタル復号アルゴリズム＞
次に、フラクタル復号アルゴリズムについて説明する。
フラクタル復号の処理は、任意の初期画像を用いてドメインブロックＤkiからレンジブロックＲijヘの変換を繰り返して施すことにより実現される。以下に、その手順を述べる。
まず、入力画像ｆ(x,y)と同じ大きさの画像出力エリアを用意し、それをレンジブロックＲijに分割し、復号画像出力Ｆ(x,y)とする。
さらに、任意の初期画像ｆinit(x,y)（０≦ｘ≦Ｘmax，０≦ｙ≦Ｙmax）を用意し、続いて各レンジブロックＲijに対応するドメインブロックＤkiを抽出し、このドメインブロックＤkiを以下の式（５）で示される変換によってレンジブロックＲijに置き換える。
Ｒij＝α・ε(ｓ(Ｄki（m',n')）−Ｄave)＋Ｒave  …（５）
但し、シェードブロックＳijに対してはＲij＝Ｒaveと置き換える。以上の処理を、すべてのレンジブロックＲijに対して実行し、第１回目の復号処理とする。更に、その復号された画像を初期画像として、同様な変換を繰り返すことによって、画像のグレイレベルが収束し、再生画像が得られる。以上がフラクタル復号化アルゴリズムとなる。
【００１８】
＜画像拡大処理＞
以上のフラクタル符号化アルゴリズムを用いて入力画像ｆ(x,y)を拡大率Ａで拡大する方法を、図３を参照して説明する。
まず、入力画像ｆ(x,y)を上記のフラクタル符号化アルゴリズムを用いて符号化し、レンジブロックＲijについて、パラメータとして、ブロック判別ビットτij、レンジブロックＲijの平均値Ｒave、ドメインブロックＤkiの位置(k,l)、等長変換ε、スケーリング係数αを得る。
次に、フラクタル復号処理に入る前に、図３（ａ）に示す初期画像ｆinit(x,y)、図３（ｂ）に示す復号画像出力Ｆ(x,y)を、それぞれ図３（ｃ）、（ｄ）に示すように縦横共に拡大率Ａに応じて拡大した大きさに設定する。
初期画像ｆ'init(x,y)，
復号画像出力Ｆ'(x,y)
０≦ｘ≦（Ｘmax・Ａ），０≦ｙ≦（Ｙmax・Ａ）
【００１９】
それに準じてレンジブロックＲij、ドメインブロックＤkiの大きさも縦横共に拡大率Ａに応じて拡大した大きさに設定する。さらに、以下の式（６）で示される変換ように、ドメインブロックＤkiの位置(k,l)も拡大率Ａで変換する。
ｋ’＝ｋ・Ａ
ｌ’＝ｌ・Ａ
０≦ｋ’≦（Ｘmax・Ａ），０≦ｌ’≦（Ｙmax・Ａ）  …（６）
【００２０】
フラクタル符号化により符号化された情報の意味は、画像のある部分が、その画像中の他の場所と相似形であるという関係を符号化したものである。この相似関係は画像を拡大しても同様の相似関係が保持されているので、復号の際、初期画像、復号画像、各ブロックサイズ、位置情報等、画像サイズに関係するパラメータのみを所定の倍率で拡大し、先の復号処理を行うことで拡大された画像を得ることができる。
初期画像は任意の画像でかまわないが、他のアルゴリズムで作成した拡大画像を初期画像とすることで復号の収束が早まるとともに、他のアルゴリズムによる拡大画像の補正、修正処理として用いることができる。
【００２１】
＜本発明の実施の形態＞
本発明の解像度変換装置の実施の形態のハードウエアの構成例を、図４に示す。
図４において、Ｘmax×Ｙmax画素のｆ(x,y)である入力画像１は、Ｘmax・Ａ×Ｙmax・Ａ画素の復号初期画像Ｆinit(x,y)を得るためにスケーリング（Scaling）部２に送られる。
スケーリング部２は、設定された倍率Ａで入力画像１を拡大し、Ｆinit(x,y)であるフラクタル復号初期画像３（拡大画像）を得る。
なお、この拡大手法（アルゴリズム）は、線型補間など任意の拡大アルゴリズムでかまわない。したがって、他の拡大アルゴリズムを用いた場合、この解像度変換装置はその他の拡大アルゴリズムによる拡大画像の補正、修正処理装置とすることができる。
【００２２】
一方、上記した処理と同時に、入力画像１は、反復関数系フラクタル符号化部４に送られてフラクタル符号化され、その結果、符号語として、ブロック判別ビットτij、レンジブロックＲijの平均値Ｒave、ドメインブロックＤkiの位置(k,l)、等長変換ε、スケーリング係数α等の符号化パラメータを得る。これらの符号化パラメータのうち、画像サイズに関係するパラメータのみが符号化パラメータ変換部５に送られ、設定された倍率Ａで変換される。符号化パラメータ変換部５に送られた画像サイズに関係するパラメータ以外のその他のパラメータは反復関数系フラクタル復号部６にそのまま送られる。
この例のフラクタル符号化の場合には、符号化パラメータ変換部5で変換されるパラメータはドメインブロックＤkiの位置ベクトル(k,l)であり、前述した変換式（６）を用いて変換が行われ、変換されたドメインブロックＤkiの位置ベクトル(k',l')が反復関数系フラクタル復号部６に送られる。
【００２３】
反復関数系フラクタル復号部６は、スケーリング部２により拡大された画像３を復号初期画像Ｆinit(x,y)とし、反復関数系フラクタル符号化部４及び符号化パラメータ変換部５から送られた符号化パラメータを用いて復号を行う。この際、画像サイズ、ブロックサイズの設定は倍率Ａで拡大する。
このフラクタル復号処理は、入力画像１を分割したすべてのレンジブロックＲijに対して実行し、第１回目の復号処理とした後、その復号された画像を初期画像として、同様な復号処理を反復して繰り返される。このような復号処理を反復して繰り返すことによって、画像のグレイレベルが収束し、復号画像７が得られ、出力される。
以上の構成により出力された復号画像７は、入力画像１のＡ倍の拡大画像Ｆ（x,ｙ）となる。反復関数系フラクタル復号の場合、復号処理を画像が収束するまで繰り返すことになるが、ある回数で復号処理を打ち切った場合、復号初期画像３の特徴（即ち、線型補間など他の拡大手法で拡大された拡大画像の特徴）が残り、結果的にこの解像度変換装置は、スケーリング部２の拡大アルゴリズムの補正、修正処理装置となる。
また、復号処理を画像が完全に収束するまで繰り返した場合、復号初期画像３の影響を受けなくなるため、フラクタル符号化単独の影響下による拡大画像となり、フラクタル変換拡大画像のみの特徴が残る。
【図面の簡単な説明】
【００２４】
【図１】フラクタル符号化における自己相似ドメインブロック探索処理を示す説明図である。
【図２】フラクタル符号化における等長変換処理を示す説明図である。
【図３】フラクタル符号化における画像拡大処理を示す説明図である。
【図４】本発明の一実施の形態の解像度変換装置を示すブロック図である。
【符号の説明】
【００２５】
１  入力画像
２  スケーリング部
３  復号初期画像（拡大画像）
４  反復関数系フラクタル符号化部
５  符号化パラメータ変換部
６  反復関数系フラクタル復号部
７  復号画像（拡大画像）
【図１】
2009026032.tif 000003
【図２】
2009026032.tif 000004
【図３】
2009026032.tif 000005
【図４】
2009026032.tif 000006