(57)【要約】【課題】フラクタルパラメータを用いて高解像度化（拡大）処理を施した場合でも、隣接ブロック間の境界が視覚的に検知されることなく、高画質な高解像度化画像を得ることができる画像処理方法を提供する。【解決手段】画像処理装置１００は、少なくとも一部の境界が異なるＬ通り（Ｌは２以上の整数）の分割パターンを用いて入力画像ＩＮをレンジブロックに分割する画像分割部１１４と、入力画像ＩＮのレンジブロックに対するフラクタルパラメータを算出し、Ｌ組のフラクタルパラメータを算出するパラメータ算出部１０３と、拡大率に応じて修正したフラクタルパラメータを１組ずつ用いてＬ個のフラクタル変換画像を生成する画像変換部１０７と、Ｌ個の変換画像を合成して１枚の合成画像を生成する画像合成部１１２とを備え、画像変換部１０７と画像合成部１１２は、この合成画像が収束するまで、フラクタルパラメータを用いた変換および合成を繰り返す。【選択図】図１
2006236317.tif 000002
【特許請求の範囲】
【請求項１】
フラクタル変換を用いて入力画像を処理する画像処理方法であって、
少なくとも一部の境界が異なるＬ（Ｌは２以上の整数）通りの分割パターンを用いて、前記入力画像を複数の領域に分割し、
前記Ｌ通りの分割パターン毎に、それぞれ前記入力画像に含まれる各領域に対してフラクタルパラメータを算出することにより、Ｌ組のフラクタルパラメータを算出し、
所定の画像を変換対象画像として、前記変換対象画像に対して前記Ｌ組のフラクタルパラメータのそれぞれを用いてフラクタル変換を施してフラクタル画像を生成する
ことを特徴とする画像処理方法。
【請求項２】
前記画像処理方法は、さらに、
前記Ｌ組のフラクタルパラメータのそれぞれに対して、所定の拡大率に応じた修正を行い、
前記フラクタル画像を生成する際に、前記所定の画像を前記拡大率で拡大した画像を前記変換対象画像として、前記変換対象画像に対してＬ組の修正されたフラクタルパラメータのそれぞれを用いてフラクタル変換を施し、前記入力画像を拡大して高解像度化したフラクタル画像を生成する
ことを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記フラクタル画像を生成する際に、前記変換対象画像に対して前記Ｌ組の修正フラクタルパラメータのそれぞれを用いてフラクタル変換を施してＬ個のフラクタル画像を生成し、
前記画像処理方法は、さらに、
前記Ｌ個のフラクタル画像を合成し、合成画像を生成する
ことを特徴とする請求項２記載の画像処理方法。
【請求項４】
前記合成画像を生成する際に、生成した前記合成画像が所定の収束条件を満たしているか否かを判断し、
前記フラクタル画像を生成する際に、前記判断において前記合成画像が所定の収束条件を満たしていないと判断された場合には、前記合成画像を前記変換対象画像として、再度、前記Ｌ組の修正フラクタルパラメータのそれぞれを用いてフラクタル変換を施して、Ｌ個のフラクタル画像を生成する
ことを特徴とする請求項３記載の画像処理方法。
【請求項５】
前記フラクタル画像を生成する際に、前記Ｌ組の修正フラクタルパラメータ毎に、所定の収束条件を満たすまで前記フラクタル変換をそれぞれ繰り返す
ことを特徴とする請求項３記載の画像処理方法。
【請求項６】
前記画像処理方法は、さらに、
前記入力画像からエッジを抽出し、
抽出された前記エッジの位置に基づいて、前記合成画像を生成する際の各フラクタル画像の重みを決定し、
前記複数の領域に分割する際に、前記エッジの位置に基づいて前記入力画像を複数の領域に分割し、
前記合成画像を生成する際に、前記重みを用いて前記Ｌ個のフラクタル画像を合成する
ことを特徴とする請求項３記載の画像処理方法。
【請求項７】
前記重みを決定する際に、所定の合成領域単位に前記重みを決定するとともに、前記所定の合成領域において、前記エッジを含む前記領域から生成されたフラクタル画像の重みを小さくなるように決定し、
前記合成画像を生成する際に、前記所定の合成領域単位毎に前記重みを用いて前記Ｌ個のフラクタル画像を合成する
ことを特徴とする請求項６記載の画像処理方法。
【請求項８】
前記フラクタル画像を生成する際に、前記所定の画像を前記変換対象画像として、前記Ｌ組の修正フラクタルパラメータの中の１つの修正フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成し、次に、生成された前記フラクタル画像を前記変換対象画像として、他の修正フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成し、以降順次、生成された前記フラクタル画像を前記変換対象画像として、前記Ｌ組の修正フラクタルパラメータの中で用いていない他の修正フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成する
ことを特徴とする請求項２記載の画像処理方法。
【請求項９】
前記画像処理方法は、さらに、
前記入力画像を前記拡大率で拡大した拡大画像からエッジを推定し、
前記エッジの位置に基づいて、前記合成画像を生成する際の各フラクタル画像の重みを決定し、
前記合成画像を生成する際に、前記重みを用いて前記Ｌ個のフラクタル画像を合成する
ことを特徴とする請求項２記載の画像処理方法。
【請求項１０】
前記画像処理方法は、さらに、
前記入力画像からエッジを抽出し、
前記複数の領域に分割する際に、前記エッジの位置に基づいて前記入力画像を複数の領域に分割する
ことを特徴とする請求項１記載の画像処理方法。
【請求項１１】
前記複数の領域に分割する際に、前記エッジの位置が境界となるように前記入力画像を複数の領域に分割する
ことを特徴とする請求項１０記載の画像処理方法。
【請求項１２】
前記複数の領域に分割する際に、前記分割パターン毎に分割開始位置が異なるＬ通りの分割パターンを用いる
ことを特徴とする請求項１記載の画像処理方法。
【請求項１３】
前記複数の領域に分割する際に、前記分割パターン毎に分割形状が異なるＬ通りの分割パターンを用いる
ことを特徴とする請求項１記載の画像処理方法。
【請求項１４】
フラクタル変換を用いて入力画像を処理する画像処理方法であって、
前記入力画像からエッジを抽出し、
抽出された前記エッジの位置に基づいて前記入力画像を複数の領域に分割し、
前記入力画像に含まれる各前記領域に対してフラクタルパラメータを算出し、
所定の画像を変換対象画像として、前記変換対象画像に対して前記フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成する
を含むことを特徴とする画像処理方法。
【請求項１５】
フラクタル変換を用いて入力画像を処理する画像処理装置であって、
少なくとも一部の境界が異なるＬ（Ｌは２以上の整数）通りの分割パターンを用いて、前記入力画像を複数の領域に分割する分割手段と、
前記Ｌ通りの分割パターン毎に、それぞれ前記入力画像に含まれる各領域に対してフラクタルパラメータを算出することにより、Ｌ組のフラクタルパラメータを算出するパラメータ算出手段と、
所定の画像を変換対象画像として、前記変換対象画像に対して前記Ｌ組のフラクタルパラメータのそれぞれを用いてフラクタル変換を施してフラクタル画像を生成する画像変換手段と
を備えることを特徴とする画像処理装置。
【請求項１６】
フラクタル変換を用いて入力画像を処理するためのプログラムであって、
少なくとも一部の境界が異なるＬ（Ｌは２以上の整数）通りの分割パターンを用いて、前記入力画像を複数の領域に分割する分割ステップと、
前記Ｌ通りの分割パターン毎に、それぞれ前記入力画像に含まれる各領域に対してフラクタルパラメータを算出することにより、Ｌ組のフラクタルパラメータを算出するパラメータ算出ステップと、
所定の画像を変換対象画像として、前記変換対象画像に対して前記Ｌ組のフラクタルパラメータのそれぞれを用いてフラクタル変換を施してフラクタル画像を生成する画像変換ステップとをコンピュータに実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を高解像度化（拡大）する際の画像処理方法に関するものである。
【背景技術】
【０００２】
従来、画像信号を高解像度化（拡大）する方法として、フラクタル符号化の技術を用いた方式が提案されている（例えば、特許文献１参照）。この方法では、まず入力画像中の８×８画素の画像データに対し、フラクタルパラメータを検出する。そして、このフラクタルパラメータを利用して１６×１６画素のフラクタル画像の画像データを生成する。さらに、入力画像から切り出した８×８画素の画像データとフラクタル画像から切り出した１６×１６の画像データのそれぞれに対して離散コサイン変換（ＤＣＴ）を施し、この２つのＤＣＴ係数行列を合成した後に逆ＤＣＴを施すことにより、高解像度（拡大）画像を生成している。
【特許文献１】特開２０００−３１２２９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上記従来の方法では、８×８画素ブロックで検出したフラクタルパラメータを用いて１６×１６画素ブロックの拡大画像を生成するという処理が、ブロック単位で独立して行われている。そのため、ブロック内では忠実度の高い解像度変換を行うことができるが、ブロックの境界部での連続性は考慮されないため隣接ブロック間の境界が視覚的に検知されてしまう現象が生じやすい。
【０００４】
そこで、本発明は上記従来の課題を解決するものであり、フラクタルパラメータを用いて高解像度化（拡大）処理を施した場合でも、隣接するブロック間の境界が視覚的に検知されることなく、高画質な高解像度画像を得ることができる画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、本発明に係る画像処理方法装置は、フラクタル変換を用いて入力画像を処理する画像処理方法であって、少なくとも一部の境界が異なるＬ（Ｌは２以上の整数）通りの分割パターンを用いて、前記入力画像を複数の領域に分割し、前記Ｌ通りの分割パターン毎に、それぞれ前記入力画像に含まれる各領域に対してフラクタルパラメータを算出することにより、Ｌ組のフラクタルパラメータを算出し、所定の画像を変換対象画像として、前記変換対象画像に対して前記Ｌ組のフラクタルパラメータのそれぞれを用いてフラクタル変換を施してフラクタル画像を生成することを特徴とする。
【０００６】
ここで、前記画像処理方法は、さらに、前記Ｌ組のフラクタルパラメータのそれぞれに対して、所定の拡大率に応じた修正を行い、前記フラクタル画像を生成する際に、前記所定の画像を前記拡大率で拡大した画像を前記変換対象画像として、前記変換対象画像に対してＬ組の修正されたフラクタルパラメータのそれぞれを用いてフラクタル変換を施し、前記入力画像を拡大して高解像度化したフラクタル画像を生成してもよい。
【０００７】
これによって、入力画像を高解像度化（拡大）する際にフラクタルパラメータを利用することによって、領域内部では忠実度の高い高解像度化（拡大）画像を生成することができる。また、入力画像を複数の領域に分割する際に分割パターンを複数用いることによって、従来の方法では検知されていた隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。
【０００８】
また、前記フラクタル画像を生成する際に、前記変換対象画像に対して前記Ｌ組の修正フラクタルパラメータのそれぞれを用いてフラクタル変換を施してＬ個のフラクタル画像を生成し、前記画像処理方法は、さらに、前記Ｌ個のフラクタル画像を合成し、合成画像を生成してもよい。
【０００９】
ここで、前記合成画像を生成する際に、生成した前記合成画像が所定の収束条件を満たしているか否かを判断し、前記フラクタル画像を生成する際に、前記判断において前記合成画像が所定の収束条件を満たしていないと判断された場合には、前記合成画像を前記変換対象画像として、再度、前記Ｌ組の修正フラクタルパラメータのそれぞれを用いてフラクタル変換を施して、Ｌ個のフラクタル画像を生成してもよい。
【００１０】
また、前記フラクタル画像を生成する際に、前記Ｌ組の修正フラクタルパラメータ毎に、所定の収束条件を満たすまで前記フラクタル変換をそれぞれ繰り返してもよい。
【００１１】
これによって、隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。
【００１２】
また、前記画像処理方法は、さらに、前記入力画像からエッジを抽出し、抽出された前記エッジの位置に基づいて、前記合成画像を生成する際の各フラクタル画像の重みを決定し、前記複数の領域に分割する際に、前記エッジの位置に基づいて前記入力画像を複数の領域に分割し、前記合成画像を生成する際に、前記重みを用いて前記Ｌ個のフラクタル画像を合成してもよい。
【００１３】
これによって、エッジ位置についても忠実度の高い高解像度化（拡大）画像を生成することができる。
【００１４】
また、前記フラクタル画像を生成する際に、前記所定の画像を前記変換対象画像として、前記Ｌ組の修正フラクタルパラメータの中の１つの修正フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成し、次に、生成された前記フラクタル画像を前記変換対象画像として、他の修正フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成し、以降順次、生成された前記フラクタル画像を前記変換対象画像として、前記Ｌ組の修正フラクタルパラメータの中で用いていない他の修正フラクタルパラメータを用いてフラクタル変換を施してフラクタル画像を生成してもよい。
【００１５】
これによって、２組目以降の修正フラクタルパラメータを用いて変換を行う際に、前の組の修正フラクタルパラメータを用いて収束したフラクタル画像を変換対象画像として用いて変換を行っているので、フラクタルパラメータの各組を用いて生成された収束画像を合成する必要がない。
【００１６】
なお、本発明は、このような画像処理方法として実現することができるだけでなく、このような画像処理方法が備える特徴的なステップを手段とする画像処理装置として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００１７】
以上の説明から明らかなように、本発明に係る画像処理方法によれば、処理対象画像からフラクタルパラメータを抽出し、そのフラクタルパラメータを利用することによって、隣接するブロック間の境界が視覚的に検知されることなく、対象画像を高解像度化することができる。
【００１８】
よって本発明により、対象画像から高解像度（拡大）画像を生成することができ、ディジタル化された画像を扱うことが急速に普及している今日における実用的価値は極めて高い。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態について、図１から図１８を用いて説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１に係る画像処理方法を用いた画像処理装置１００の構成を示すブロック図である。図１に示すように、画像処理装置１００は、入力画像メモリ１０１、制御部１０２、パラメータ算出部１０３、パラメータ修正部１０４、パラメータメモリ１０５、初期画像生成部１０６、画像変換部１０７、切替部１０８、Ｌ個の生成画像メモリ１０９〜１１１、画像合成部１１２、切替部１１３、および画像分割部１１４を備えている。
【００２１】
入力画像ＩＮは、入力画像メモリ１０１に保持される。ここで入力画像ＩＮは、水平Ｍ画素、垂直Ｎ画素の大きさを有するものとする。
【００２２】
パラメータ算出部１０３は、入力画像メモリ１０１に保持された入力画像ＩＮを逐次読み出して処理を行う。パラメータ算出部１０３では、入力画像ＩＮの部分画像（レンジブロック）に対するフラクタルパラメータを算出する処理を行う。
【００２３】
画像分割部１１４は、少なくとも一部の境界が異なるＬ通り（Ｌは２以上の整数）の分割パターンを用いて入力画像ＩＮを複数の領域（レンジブロック）に分割する。ここで入力画像ＩＮのレンジブロックへの分割は、互いのレンジブロックが重ならないように実施するものとする。また、レンジブロックのフラクタルパラメータを算出する際に参照する領域をドメインブロックと呼ぶ。入力画像ＩＮをレンジブロックおよびドメインブロックに分割する分割パターンは、制御部１０２により指定される。制御部１０２では、複数の分割パターンを指定することができる。
【００２４】
まず入力画像ＩＮをレンジブロックに分割する第１の分割パターンとして、図２（ａ）に示すように、入力画像の左上端を原点（開始点）としてｎ画素×ｎ画素に分割する場合について説明する。
【００２５】
パラメータ算出部１０３は、入力画像ＩＮを分割して得られたレンジブロックｒｉ（ｉはレンジブロックの番号を示す）に対して順にフラクタルパラメータを算出する。フラクタルパラメータを算出する際には、入力画像ＩＮ中からドメインブロックｄｊ（ｊはドメインブロックの番号を示す）を切り出し、そのドメインブロックに対してパラメータを求める。レンジブロックを図２（ａ）のように分割して得た場合には、入力画像ＩＮをドメインブロックに分割する分割パターンとして、例えば図２（ｂ）に示すように２ｎ画素×２ｎ画素の正方形に分割する分割パターンがある。ここでドメインブロックは入力画像ＩＮ中から１画素ずつ始点をずらしながら、ドメインブロックｄ１、ドメインブロックｄ２、…ドメインブロックｄｊというように得ることができるものとする。レンジブロックとドメインブロックの位置関係は、例えば図２（ｃ）に示すようにレンジブロックｒｉが最適なドメインブロックｄｊを参照する。
【００２６】
パラメータ算出部１０３の処理を詳細に説明する。ドメインブロックｄｊ内に存在する画素の画素値ｆ（ｘ，ｙ）（ここでｘ，ｙは入力画像ＩＮ中の２次元位置を示す）に対して縮小アフィン変換を施し、縮小ドメインブロックｄｊ’を得る。このとき得られる縮小ドメインブロックの画素値ｆｄ’（ｘ’’，ｙ’’）は（式１）〜（式３）で定義される。
【００２７】
【数１】
2006236317.tif 000003
【００２８】
ここで、θはアフィン変換の回転角を示し、０、π／２、π、３π／２（ｒａｄ）から選択するものとする。またＣは＋１または−１の値を取り、ドメインブロックの中心を通り垂直な軸に対する反転の有無を示す。ｅ、ｆは回転及び反転により生じる座標のずれを補正するための定数である。さらにｓおよびｏは、それぞれスケーリング係数、オフセット係数と呼ばれ、（式４）に示す縮小ドメインブロックとレンジブロックとの誤差を最小とするものが選択される。
【００２９】
【数２】
2006236317.tif 000004
【００３０】
また、（ｘｒｉ，ｙｒｉ）はレンジブロックｒｉの左上端画素の（入力画像ＩＮ中での）位置を示し、（ｘｄｊ，ｙｄｊ）はドメインブロックｄｊの左上端画素の（入力画像ＩＮ中での）位置を示す。レンジブロックｒｉに対して、入力画像ＩＮ中のドメインブロックの中から（式４）で得られる誤差Ｅが最小となるドメインブロックを選択し、その際に得られる（ｘｄ，ｙｄ）、θ、Ｃ、ｓ、ｏをレンジブロックｒｉに対するフラクタルパラメータＦＰｉとする。各レンジブロックに対して算出されたフラクタルパラメータは、パラメータ修正部１０４に対して出力される。
【００３１】
次に入力画像ＩＮをレンジブロックに分割する第２の分割パターンの例を図３に示す。この場合、入力画像ＩＮ中のレンジブロックの開始位置が入力画像ＩＮの左上端からずれた位置となっている。このずれは様々な値を設定することができるが、例えば、水平方向のみにｎ／２画素（図３（ａ））、垂直方向のみにｎ／２画素（図３（ｂ））、水平および垂直方向にｎ／２画素（図３（ｃ））等の分割パターンを用いることができる。この場合には、ドメインブロックの分割パターンは上記で説明したものと同様の分割パターンを用いれば良い。
【００３２】
このようにして得られた各レンジブロックに対してドメインブロックを用いてフラクタルパラメータを求める方法は、上記で説明した方法と同様である。得られたフラクタルパラメータは、パラメータ修正部１０４に対して出力される。
【００３３】
次に入力画像ＩＮをレンジブロックに分割する第３の分割パターンの例を図４（ａ）に示す。図４（ａ）に示すように、第３の分割パターンでは、入力画像ＩＮを４５度傾いたｍ画素×ｍ画素の領域に分割する。この場合、入力画像ＩＮからドメインブロックを切り出す場合には、図４（ｂ）に示すように４５度傾いた２ｍ画素×２ｍ画素の領域を切り出す。ドメインブロックは１画素ずつずらして切り出すことができる。このようにして得られたレンジブロックとドメインブロックを用いて、各レンジブロックに対するフラクタルパラメータを求める方法は、上記で説明した方法と同様である。得られたフラクタルパラメータは、パラメータ修正部１０４に対して出力される。
【００３４】
また、入力画像ＩＮをレンジブロックに分割する際に、第１の分割パターンに対して第２の分割パターンが存在するように、第３のパターン（レンジブロックを４５度傾いたｍ画素×ｍ画素の領域として分割）に対しても、開始位置をずらして入力画像ＩＮを分割しても良い。
【００３５】
また、入力画像ＩＮをレンジブロックに分割する際に、第２の分割パターンが第１の分割パターンのレンジブロックの開始位置をずらした分割パターンであるように、レンジブロックの開始位置をずらすことにより異なる分割パターンを用いる場合に、レンジブロックの大きさを異ならせても良い。
【００３６】
以上のように、画像分割部１１４は、制御部１０２から指定された複数の分割パターンで入力画像ＩＮをレンジブロックに分割する。そして、パラメータ算出部１０３は、各分割パターンで得られるレンジブロックに対して、フラクタルパラメータを算出する。すなわち、フラクタルパラメータは、入力画像ＩＮをレンジブロックに分割するパターンの数の組だけ存在することになる。ここでは、Ｌ通りのレンジブロック分割パターンを用いたとする。すなわち、フラクタルパラメータはＬ組存在することになる。
【００３７】
パラメータ修正部１０４は、パラメータ算出部１０３により得られたフラクタルパラメータＦＰを拡大率ａに適したフラクタルパラメータＦＰ’に修正する処理を行う。拡大率ａは制御部１０２から指定される。パラメータ修正部１０４でフラクタルパラメータを修正する場合には、フラクタルパラメータ中のドメインブロックの位置情報（ｘｄ，ｙｄ）をａ倍する。修正されたフラクタルパラメータ（修正フラクタルパラメータ）ＦＰ’はパラメータメモリ１０５に保持される。パラメータ修正部１０４は、この処理をＬ組のフラクタルパラメータのそれぞれに対して個別に行う。
【００３８】
画像変換部１０７は、修正フラクタルパラメータＦＰ’を１組ずつ用いてフラクタル画像の生成を行う。フラクタル画像生成においては、まず初期画像としてａＭ×ａＮ画素（ａは拡大率）の大きさを有する任意の画像を用意する。初期画像としては、例えば全画素がグレイレベルの画像や、入力画像ＩＮを０次ホールド法、バイリニア法、バイキュービック法等で拡大した画像を用いることができる。この初期画像ＩＴは初期画像生成部１０６により生成され、画像変換部１０７に入力され、これが変換対象画像となる。
【００３９】
画像変換部１０７でのフラクタル画像生成の詳細を説明する。まず、変換対象画像を図５に示すようにａｎ×ａｎ画素の部分画像（拡大レンジブロック）Ｒｉに分割する。各拡大レンジブロックＲｉの領域に対して、修正フラクタルパラメータを適用し、拡大ドメインブロックの画像を参照画像として用い、フラクタル画像を生成する。拡大ドメインブロックは修正フラクタルパラメータのドメインブロックの位置（ａｘｄ，ａｙｄ）から２ａｎ画素×２ａｎ画素の部分画像を切り出すことにより得られる。生成されたフラクタル画像は切替部１０８を通して生成画像メモリに格納される。ここで、１組目の修正フラクタルパラメータを用いて処理されたフラクタル画像Ｇ１は生成画像メモリ１（１０９）に、２組目の修正フラクタルパラメータを用いて処理されたフラクタル画像Ｇ２は生成画像メモリ２（１１０）に、Ｌ組目の修正フラクタルパラメータを用いて処理されたフラクタル画像ＧＬは生成画像メモリＬ（１１１）に、といったように、用いた修正フラクタルパラメータにより異なる生成画像メモリに保持する。画像変換部１０７では、ある組のフラクタルパラメータを用いて変換対象画像の全レンジブロックに対する処理が終了すると、次の組のフラクタルパラメータを用いて、変換対象画像に対する変換処理を行い、生成したフラクタル画像を順に生成画像メモリに保持していく。
【００４０】
画像変換部１０７により、すべての修正フラクタルパラメータの組を用いて変換対象画像の処理が終了すると、画像合成部１１２は、生成画像メモリ１〜Ｌに保持されたＬ個のフラクタル画像（生成画像）Ｇ１〜ＧＬを１枚の画像ＧＩに合成する。ここで画像を合成する方法としては、同じ位置に存在するＬ個の画素毎に中央値を求める方法、平均値を求める方法、拡大レンジブロックの中心部に近い画素のみを合成する方法、等がある。画像合成部１１２で生成された合成画像ＧＩは、切替部１１３に入力される。
【００４１】
合成画像ＧＩが収束条件を満たしていれば切替器１１３は端子ｄに接続され、合成画像ＧＩは出力画像ＯＴとして出力される。また、合成画像ＧＩが収束条件を満たしていなければ切替器１１３は端子ｅに接続され、合成画像ＧＩは画像変換部１０７に入力され、変換対象画像として処理される。画像変換部１０７では、処理開始時は初期画像生成部１０６により生成された初期画像ＩＴを変換対象画像として用いて処理を行ったが、これ以降は画像合成部１１２により生成された合成画像ＧＩを変換対象画像として用いて処理を行う。このようにして、合成画像ＧＩが収束するまで、画像変換部１０７と画像合成部１１２とによる処理が繰り返される。ここで収束条件としては、画像合成部１１２で生成した前回の合成画像と今回の合成画像との差の和（絶対値和や二乗値和）が所定のしきい値以下であれば収束していると判断する方法や、所定の回数だけ繰り返し処理を施したら収束していると判断する方法等がある。この場合、収束しているか否かは画像合成部１１２により判断してその結果を制御部１０２に通知し、制御部１０２が切替部１１３を制御すれば良い。
【００４２】
次に、上記のように構成された画像処理装置１００の動作について説明する。図６は画像処理装置１００での動作の流れを示すフローチャートである。
【００４３】
画像分割部１１４は、入力画像メモリ１０１に保持された入力画像ＩＮを、少なくとも一部の境界が異なるＬ通りの分割パターンを用いて入力画像ＩＮを複数のレンジブロックに分割する（ステップＳ１０１）。次に、パラメータ算出部１０３は、分割されたレンジブロックに対するフラクタルパラメータＦＰを算出する（ステップＳ１０２）。パラメータ修正部１０４は、フラクタルパラメータＦＰを拡大率ａに適したフラクタルパラメータＦＰ’に修正する（ステップＳ１０３）。画像変換部１０７は、初期画像生成部１０６により生成された初期画像を変換対象画像として（ステップＳ１０４）、修正フラクタルパラメータＦＰ’を１組ずつ用いてフラクタル画像の生成を行う（ステップＳ１０５）。次に、画像変換部１０７により、すべての修正フラクタルパラメータの組を用いて変換対象画像の処理が終了すると、画像合成部１１２は、生成画像メモリ１〜Ｌに保持されたＬ個の生成画像Ｇ１〜ＧＬを１枚の合成画像ＧＩに合成する（ステップＳ１０６）。そして、画像合成部１１２は、合成画像ＧＩが収束条件を満たしているか否かを判断する（ステップＳ１０７）。この結果、合成画像ＧＩが収束条件を満たしていれば（ステップＳ１０７でＹｅｓ）、切替器１１３から合成画像ＧＩが出力画像ＯＴとして出力される（ステップＳ１０８）。一方、合成画像ＧＩが収束条件を満たしていなければ（ステップＳ１０７でＮｏ）、合成画像ＧＩが画像変換部１０７に入力され、画像変換部１０７は、これ以降は合成画像ＧＩを変換対象画像として（ステップＳ１０９）用いて処理を行う（ステップＳ１０５）。そして、合成画像ＧＩが収束するまで、画像変換部１０７と画像合成部１１２とによる処理が繰り返される（ステップＳ１０５〜Ｓ１０９）。
【００４４】
以上のように本発明の画像処理方法では、入力画像をレンジブロックに分割し、各レンジブロックに対してフラクタルパラメータを算出する。このレンジブロックへの分割は、切り出し位置を変更したり、形状を変更したりすることによって複数の方法により行い、分割方法のそれぞれに対してフラクタルパラメータの算出を行う。続いて入力画像の大きさに対して所望の拡大率で拡大した大きさを有する初期画像を用意し、同じ初期画像に対してフラクタルパラメータ（拡大率に応じて修正されたもの）を１組ずつ用いてフラクタル変換画像を生成する。そして、フラクタルパラメータの各組を用いて生成された画像を合成して１枚の合成画像を生成し、この合成画像が収束するまで、フラクタルパラメータを用いた変換および合成を繰り返す。
【００４５】
よって本発明の画像処理方法を用いることにより、入力画像を高解像度化（拡大）する際にフラクタルパラメータを利用することによって、ブロック内部では忠実度の高い高解像度化（拡大）画像を生成することができる。また、フラクタルパラメータを算出する際にレンジブロックの分割パターンを複数用いることによって、従来の方法では検知されていた隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。
【００４６】
なお、本発明の画像処理方法では、入力画像をレンジブロックに分割する際に、入力画像の左上端部を始点としてｎ画素×ｎ画素に分割するパターン（第１のパターン）、入力画像の左上端部から数画素ずれた位置を始点としてｎ画素×ｎ画素に分割するパターン（第２のパターン）、４５度回転したｍ画素×ｍ画素の領域に分割するパターン（第３のパターン）について説明したが、レンジブロックの形状および分割パターンはこれらのパターンには限らない。例えば、レンジブロックを長方形や平行四辺形等の正方形以外の形状にするパターンや、回転される角度を３０度や６０度等の４５度以外の角度とするパターン等がある。
【００４７】
また、本発明の画像処理方法では、画像変換部１０７で変換対象画像に対して１回のフラクタル変換を行い、それを生成画像メモリ１０９〜１１１に保持した後、画像合成部１１２で合成する方法について説明したが、この画像変換部１０７での変換処理は１回とは限らず、変換処理を複数回行った後、生成画像メモリ１０９〜１１１に保持するようにしても良い。
【００４８】
（実施の形態１の変形例１）
上記の実施の形態は、以下のように変形することができる。
【００４９】
図７を用いて変形例１を説明する。図７は、本発明の実施の形態１の変形例１に係る画像処理方法を用いた画像処理装置２００の構成を示すブロック図である。図７に示すように、画像処理装置２００は、入力画像メモリ１０１、制御部２０２、パラメータ算出部１０３、パラメータ修正部１０４、パラメータメモリ１０５、初期画像生成部１０６、画像変換部２０１、切替部１０８、Ｌ個の生成画像メモリ１０９〜１１１、画像合成部１１２、切替部２０４、生成画像メモリ２０３、および画像分割部１１４を備えている。
【００５０】
図１と図７を比較すればわかるように、画像処理装置２００は、画像処理装置１００とは画像変換部２０１以降の処理順序が異なっている。
【００５１】
図８は画像処理装置２００での動作の流れを示すフローチャートである。入力画像ＩＮが入力画像メモリ１０１に入力されてから修正フラクタルパラメータＦＰ’がパラメータメモリ１０５に保持されるまでの処理（ステップＳ１０１〜Ｓ１０３）は実施の形態１と同様であるので、説明は割愛する。
【００５２】
画像変換部２０１は、初期画像生成部１０６により生成された初期画像を変換対象画像として（ステップＳ１０４）、パラメータメモリ１０５に保持されたＬ組の修正フラクタルパラメータの中から、１組ずつ修正フラクタルパラメータを用いてフラクタル画像の生成を行う（ステップＳ２０１）。画像変換部２０１は、生成したフラクタル画像を生成画像メモリ２０３に保持する。画像変換部２０１は、生成画像が収束条件を満たしているか否かを判断する（ステップＳ２０２）。この結果、生成画像が収束していないと判断した場合（ステップＳ２０２でＮｏ）には、切替器２０４を通して生成画像は再び画像変換部２０１に入力される。そして、画像変換部２０１は、生成画像を変換対象画像として（ステップＳ２０３）同じ組の修正フラクタルパラメータを用いて変換処理を施す。この処理は生成画像が収束するまで行われ、収束条件を満たす（ステップＳ２０２でＹｅｓ）と、切替器２０４、１０８を通して生成画像メモリ１〜Ｌのいずれかに保持される。この場合、収束しているか否かは画像変換部２０１により判断してその結果を制御部２０２に通知し、制御部２０２が切替部２０４を制御すれば良い。次に、画像変換部２０１は、すべての組の修正フラクタルパラメータを用いてフラクタル画像を生成したか否かを判断する（ステップＳ２０４）。この結果、すべての修正フラクタルパラメータを用いてフラクタル画像を生成していなければ（ステップＳ２０４でＮｏ）、画像変換部２０１は、次の組の修正フラクタルパラメータを用いて同様の処理（ステップＳ１０４〜Ｓ２０３）を行う。そして、順に修正フラクタルパラメータを用いて処理を行うことによって、最終的にＬ個の収束画像を生成する。ここでは、１組目の修正フラクタルパラメータを用いて処理された画像Ｇ１’は生成画像メモリ１（１０９）に、２組目の修正フラクタルパラメータを用いて処理された画像Ｇ２’は生成画像メモリ２（１１０）に、Ｌ組目の修正フラクタルパラメータを用いて処理された画像ＧＬ’は生成画像メモリＬ（１１１）に、といったように、用いた修正フラクタルパラメータにより異なる生成画像メモリに保持する。
【００５３】
すべての修正フラクタルパラメータを用いてフラクタル画像が生成されれば（ステップＳ２０４でＹｅｓ）、画像合成部１１２は、生成画像メモリ１〜Ｌに保持されたＬ個の生成画像Ｇ１’〜ＧＬ’を１枚の画像に合成する（ステップＳ２０５）。ここで画像を合成する方法としては、同じ位置に存在するＬ個の画素毎に中央値を求める方法、平均値を求める方法、拡大レンジブロックの中心部に近い画素のみを合成する方法、等ある。画像合成部１１２で生成された合成画像は、出力画像ＯＴとして出力される（ステップＳ２０６）。
【００５４】
以上のように本発明の画像処理方法では、入力画像をレンジブロックに分割し、各レンジブロックに対してフラクタルパラメータを算出する。このレンジブロックへの分割は、切り出し位置を変更したり、形状を変更したりすることによって複数のパターンにより行い、分割パターンのそれぞれに対してフラクタルパラメータの算出を行う。続いて入力画像の大きさに対して所望の拡大率で拡大した大きさを有する初期画像を用意し、フラクタルパラメータ（拡大率に応じて修正されたもの）を１組ずつ用いて変換を行い、生成した画像が収束するまで変換処理を繰り返す。そして、フラクタルパラメータの各組を用いて生成された収束画像を合成して１枚の合成画像を生成する。
【００５５】
よって本発明の画像処理方法を用いることにより、入力画像を高解像度化（拡大）する際にフラクタルパラメータを利用することによって、ブロック内部では忠実度の高い高解像度化（拡大）画像を生成することができる。また、フラクタルパラメータを算出する際にレンジブロックの切り出しパターンを複数用いることによって、従来の方法では検知されていた隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。
【００５６】
（実施の形態１の変形例２）
図９は、本発明の実施の形態１の変形例２に係る画像処理方法を用いた画像処理装置３００の構成を示すブロック図である。図９に示すように、画像処理装置３００は、入力画像メモリ１０１、制御部３０２、パラメータ算出部１０３、パラメータ修正部１０４、パラメータメモリ１０５、初期画像生成部１０６、画像変換部３０１、切替部２０４、生成画像メモリ２０３、および画像分割部１１４を備えている。
【００５７】
図１０は画像処理装置３００での動作の流れを示すフローチャートである。入力画像ＩＮが入力画像メモリ１０１に入力されてから修正フラクタルパラメータＦＰ’がパラメータメモリ１０５に保持されるまでの処理（ステップＳ１０１〜Ｓ１０３）は実施の形態１と同様であるので、説明は省略する。
【００５８】
画像変換部３０１は、初期画像生成部１０６により生成された初期画像を変換対象画像として（ステップＳ１０４）、パラメータメモリ１０５に保持されたＬ組の修正フラクタルパラメータの中から、１組ずつ修正フラクタルパラメータを用いてフラクタル画像の生成を行う（ステップＳ２０１）。画像変換部３０１は、生成したフラクタル画像を生成画像メモリ２０３に保持する。画像変換部３０１は、生成画像が収束条件を満たしているか否かを判断する（ステップＳ２０２）。この結果、生成画像が収束していないと判断した場合（ステップＳ２０２でＮｏ）には、切替器２０４を通して生成画像は再び画像変換部３０１に入力される。そして、画像変換部３０１は、生成画像を変換対象画像として（ステップＳ２０３）同じ組の修正フラクタルパラメータを用いて変換処理を施す。この処理は生成画像が収束するまで行われ、収束条件を満たす（ステップＳ２０２でＹｅｓ）と、画像変換部３０１は、すべての組の修正フラクタルパラメータを用いたか否かを判断する（ステップＳ３０１）。この結果、すべての修正フラクタルパラメータを用いていなければ（ステップＳ３０１でＮｏ）、画像変換部３０１は、収束条件を満たした生成画像を変換対象画像として（ステップＳ３０２）、次の組の修正フラクタルパラメータを用いて同様の処理を行う。そして、順に修正フラクタルパラメータを用いて（ステップＳ３０３）フラクタル画像の生成を行う（ステップＳ２０１〜Ｓ２０３）。すべての修正フラクタルパラメータを用いてフラクタル画像が生成されれば（ステップＳ３０１でＹｅｓ）、最終的に生成されたフラクタル画像を出力画像ＯＴとして出力する（ステップＳ３０４）。
【００５９】
以上のように本変形例では、２組目以降のフラクタルパラメータ（拡大率に応じて修正されたもの）を用いて変換を行う際に、前の組のフラクタルパラメータを用いて収束したフラクタル画像を変換対象画像として用いて変換を行っているので、フラクタルパラメータの各組を用いて生成された収束画像を合成する必要がない。
【００６０】
（実施の形態２）
図１１は、本発明の実施の形態２に係る画像処理方法を用いた画像処理装置４００の構成を示すブロック図である。なお、実施の形態１と同様の部分については同じ符号を付し、説明を省略する。
【００６１】
画像処理装置４００は、図１１に示すように、実施の形態１の画像処理装置１００の構成に加えて、エッジ抽出部４０１および重み決定部４０３を備えている。
【００６２】
エッジ抽出部４０１は、入力画像ＩＮからエッジを抽出する。なお、エッジを検出する方法は一般的に用いられる方法でよく、どのような方法であってもよい。
【００６３】
制御部４０２は、エッジ抽出部４０１で検出されたエッジの位置に基づいて、少なくとも一部の境界が異なるＬ通り（Ｌは２以上の整数）の分割パターンを作成する。
【００６４】
図１２（ａ）、（ｂ）は入力画像ＩＮをレンジブロックに分割する際の分割パターンの一例を示す図である。例えば、図１２（ａ）に示すようにエッジ抽出部４０１によってエッジ１１が検出されたとすると、制御部４０２は、分割パターンの１つとして、エッジ１１がレンジブロックの境界となるように、例えばレンジブロック１２、レンジブロック１３、およびレンジブロック１４というような分割パターンを作成する。また、制御部４０２は、他の分割パターンとして、例えば図１２（ｂ）に示すようにエッジ１１がレンジブロックの境界となるように、例えばレンジブロック１５、レンジブロック１６、レンジブロック１７、レンジブロック１８、およびレンジブロック１９というような分割パターンを作成する。このように、制御部４０２は、少なくとも一部の境界が異なるＬ通りの分割パターンを作成する。
【００６５】
画像分割部１１４は、制御部４０２で作成されたＬ通りの分割パターンを用いて入力画像ＩＮをレンジブロックに分割する。
【００６６】
重み決定部４０３は、エッジ抽出部４０１で検出されたエッジの位置に基づいて、画像合成部４０４においてＬ個のフラクタル画像を合成する際の各フラクタル画像の重みを決定する。
【００６７】
図１２（ｃ）は重みの決定について説明するための図である。ここでは、入力画像ＩＮが３通りの分割パターンで分割され、画像変換部１０７が、３組の修正フラクタルパラメータを用いて３個のフラクタル画像を生成して、画像合成部４０４において３つのフラクタル画像を合成するものとして説明する。また、エッジ抽出部４０１によって、例えば図１２（ｃ）に示すようにエッジ２１が検出されているものとする。
【００６８】
重み決定部４０３は、例えば図１２（ｃ）に斜線で示す領域２５に対して、３通りの分割パターンの中の分割パターン１で分割されたレンジブロック２２、分割パターン２で分割されたレンジブロック２３、および分割パターン３で分割されたレンジブロック２４のそれぞれの重みを決定する。この場合、重み決定部４０３は、エッジ２１を含むレンジブロック２２については、エッジ２１を含まないレンジブロック２３およびレンジブロック２４より重みを低く決定する。例えば、レンジブロック２２については重みを「１」に、エッジ２１を含まないレンジブロック２３およびレンジブロック２４については重みを「２」に決定する。
【００６９】
画像合成部４０４は、重み決定部４０３で決定された重みを用いて、Ｌ個のフラクタル画像を合成する。上記の例では、画像合成部４０４は、図１２（ｃ）に斜線で示す領域２５に対応する領域について、レンジブロック２２に対応する分割パターン１に基づいて生成されたフラクタル画像については重みを「１」として、レンジブロック２３に対応する分割パターン２に基づいて生成されたフラクタル画像については重みを「２」として、レンジブロック２４に対応する分割パターン３に基づいて生成されたフラクタル画像については重みを「２」として、３個のフラクタル画像を合成する。ここで重みを用いて複数のフラクタル画像を合成する場合には、同じ画素位置の画素値の重み付け平均を合成画像の画素値とする方法、重み付けメディアン値を合成画像の画素値とする方法、重みが最大の画素値を合成画像の画素値とする方法、等がある。
【００７０】
以上のように、入力画像からエッジを抽出し、このエッジ位置に基づいて少なくとも一部の境界が異なるＬ通りの分割パターンを作成しているので、隣接ブロック間の境界が検知されることなく、高画質な高解像度画像を得ることができる。また、抽出したエッジ位置に基づいてＬ個のフラクタル画像を合成する際の各フラクタル画像の重みを決定しているので、ブロック内部では忠実度の高い高解像度化（拡大）画像を生成することができる。
【００７１】
なお、本実施の形態では、抽出したエッジ位置に基づいてＬ通りの分割パターンを作成し、かつ、フラクタル画像を合成する際の各フラクタル画像の重みを決定しているが、これに限られるものではない。例えば、Ｌ通りの分割パターンについては実施の形態１と同様として、フラクタル画像を合成する際の各フラクタル画像の重みだけを抽出したエッジ位置に基づいて決定しても構わない。また、抽出したエッジ位置に基づいてＬ通りの分割パターンだけを作成し、フラクタル画像を合成する際の各フラクタル画像の重みを決定せずに、実施の形態１と同様に各フラクタル画像を合成しても構わない。
【００７２】
さらに、抽出したエッジ位置に基づいて分割パターンを作成することは、本実施の形態および実施の形態１で説明したようにＬ通りの分割パターンを用いてフラクタル画像を生成する場合だけでなく、１通りの分割パターンだけでフラクタル画像を生成する場合にも適用することが可能である。
【００７３】
（実施の形態２の変形例１）
図１３は、本発明の実施の形態２の変形例１に係る画像処理方法を用いた画像処理装置５００の構成を示すブロック図である。なお、実施の形態１と同様の部分については同じ符号を付し、説明を省略する。
【００７４】
画像処理装置５００は、図１１に示すように、実施の形態１の画像処理装置１００の構成に加えて、エッジ推定部５０１および重み決定部５０２を備えている。
【００７５】
エッジ推定部５０１は、入力画像ＩＮを拡大率ａで拡大し、ａＭ×ａＮ画素の大きさを有する拡大画像を作成する。ここで、入力画像ＩＮを拡大する方法としては、例えば０次ホールド法、バイリニア法、バイキュービック法等を用いることができる。また、エッジ推定部５０１は、作成した拡大画像からエッジを検出する。なお、エッジを検出する方法は一般的に用いられる方法でよく、どのような方法であってもよい。
【００７６】
重み決定部５０２は、エッジ推定部５０１で検出されたエッジの位置に基づいて、画像合成部５０３においてＬ個のフラクタル画像を合成する際の各フラクタル画像の重みを決定する。なお、重み決定部５０２および画像合成部５０３の動作については、実施の形態２の重み決定部４０３および画像合成部４０４と同様である。
【００７７】
以上のように、拡大画像を作成した上で、エッジを検出しているので、ブロック内部ではさらに忠実度の高い高解像度化（拡大）画像を生成することができる。
【００７８】
なお、上記各実施の形態では、入力画像を拡大して高解像度化する場合について説明を行っているが、これに限られるものではない。例えば、入力画像を拡大しない場合にも、上記のようにＬ通りの分割パターンを用いて入力画像を処理しても構わない。
【００７９】
（実施の形態３）
さらに、上記各実施の形態で示した画像処理方法を実現するためのプログラムを、フレキシブルディスク等の記録媒体に記録するようにすることにより、上記各実施の形態で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
【００８０】
図１４は、上記各実施の形態の画像処理方法を、フレキシブルディスク等の記録媒体に記録されたプログラムを用いて、コンピュータシステムにより実施する場合の説明図である。
【００８１】
図１４（ｂ） は、フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１４（ａ）は、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムが記録されている。
【００８２】
また、図１４（ｃ）は、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。画像処理方法を実現する上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムをフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより画像処理方法を実現する上記画像処理方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
【００８３】
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
【００８４】
（実施の形態４）
さらにここで、上記実施の形態で示した画像処理方法の応用例とそれを用いたシステムを説明する。
【００８５】
図１５は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
【００８６】
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
【００８７】
しかし、コンテンツ供給システムex１００は図１５のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
【００８８】
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
【００８９】
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
【００９０】
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
【００９１】
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
【００９２】
その一例として携帯電話について説明する。
図１６は、上記実施の形態で説明した画像処理方法を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
【００９３】
さらに、携帯電話ex１１５について図１７を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
【００９４】
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
【００９５】
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信信号を増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声信号に変換した後、これを音声出力部ｅｘ２０８を介して出力する。
【００９６】
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
【００９７】
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
【００９８】
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
【００９９】
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
【０１００】
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信信号を変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
【０１０１】
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データの符号化ビットストリームと音声データの符号化ビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
【０１０２】
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声信号に変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
【０１０３】
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図１８に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報の符号化ビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置により符号化ビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録した符号化ビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
【０１０４】
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
【０１０５】
なお、カーナビゲーションex４１３の構成は例えば図１７に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
【０１０６】
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
【０１０７】
このように、上記実施の形態で示した画像処理方法を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
【０１０８】
なお、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０１０９】
また、図１、図７、図９、図１１、および図１３に示したブロック図の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
【０１１０】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０１１１】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサー を利用しても良い。
【０１１２】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【０１１３】
本発明にかかる画像処理方法は、入力画像を高画質に高解像度化（拡大）することができるという効果を有し、蓄積、伝送、通信等における画像処理方法として有用である。
【図面の簡単な説明】
【０１１４】
【図１】本発明の画像処理方法を用いた画像処理装置の構成を示すブロック図（実施の形態１）である。
【図２】（ａ）、（ｂ）、（ｃ）本発明の画像処理方法を説明するための模式図（実施の形態１）である。
【図３】（ａ）、（ｂ）、（ｃ）本発明の画像処理方法を説明するための模式図（実施の形態１）である。
【図４】（ａ）、（ｂ）本発明の画像処理方法を説明するための模式図（実施の形態１）である。
【図５】本発明の画像処理方法を説明するための模式図（実施の形態１）である。
【図６】実施の形態１の画像処理装置での動作の流れを示すフローチャートである。
【図７】本発明の画像処理方法を用いた画像処理装置の構成を示すブロック図（実施の形態１の変形例１）である。
【図８】実施の形態１の変形例１の画像処理装置での動作の流れを示すフローチャートである。
【図９】本発明の画像処理方法を用いた画像処理装置の構成を示すブロック図（実施の形態１の変形例２）である。
【図１０】実施の形態１の変形例２の画像処理装置での動作の流れを示すフローチャートである。
【図１１】本発明の画像処理方法を用いた画像処理装置の構成を示すブロック図（実施の形態２）である。
【図１２】（ａ）、（ｂ）入力画像ＩＮをレンジブロックに分割する際の分割パターンの一例を示す図であり、（ｃ）重みの決定について説明するための図である。
【図１３】本発明の画像処理方法を用いた画像処理装置の構成を示すブロック図（実施の形態２の変形例１）である。
【図１４】上記各実施の形態の画像処理方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図（実施の形態２）であり、（ａ）記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示した説明図、（ｂ）フレキシブルディスクの正面からみた外観、断面構造、及びフレキシブルディスクを示した説明図、（ｃ）フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示した説明図である。
【図１５】コンテンツ供給システムの全体構成を示すブロック図（実施の形態３）である。
【図１６】画像処理方法を用いた携帯電話の例（実施の形態３）である。
【図１７】携帯電話のブロック図（実施の形態３）である。
【図１８】ディジタル放送用システムの例（実施の形態３）である。
【符号の説明】
【０１１５】
１００、２００、３００、４００、５００  画像処理装置
１０１  入力画像メモリ
１０２、２０２、３０２、４０２  制御部
１０３  パラメータ算出部
１０４  パラメータ修正部
１０５  パラメータメモリ
１０６  初期画像生成部
１０７、２０１、３０１  画像変換部
１０８  切替部
１０９〜１１１  Ｌ個の生成画像メモリ
１１２、４０４、５０３  画像合成部
１１３、２０４  切替部
１１４  画像分割部
２０３  生成画像メモリ
４０１  エッジ抽出部
４０３  重み決定部
５０１  エッジ推定部
５０２  重み決定部
Ｃｓ  コンピュータ・システム
ＦＤ  フレキシブルディスク
ＦDD フレキシブルディスクドライブ
【図１】
2006236317.tif 000005
【図２】
2006236317.tif 000006
【図３】
2006236317.tif 000007
【図４】
2006236317.tif 000008
【図５】
2006236317.tif 000009
【図６】
2006236317.tif 000010
【図７】
2006236317.tif 000011
【図８】
2006236317.tif 000012
【図９】
2006236317.tif 000013
【図１０】
2006236317.tif 000014
【図１１】
2006236317.tif 000015
【図１２】
2006236317.tif 000016
【図１３】
2006236317.tif 000017
【図１４】
2006236317.tif 000018
【図１５】
2006236317.tif 000019
【図１６】
2006236317.tif 000020
【図１７】
2006236317.tif 000021
【図１８】
2006236317.tif 000022