(57)【要約】      （修正有）【課題】解像度変換で拡大が予定されている受信側に対し高効率で画像を転送するために、入力画像を縮小する画像縮小装置及び画像拡大装置、並びにプログラムを提供する。【解決手段】画像縮小装置は入力画像をブロック分割して解像度変換による拡大時に特定のブロックの解像度を保持するために各ブロックの重要度を解析する画像解析部１００と、画像解析部１００によって解析した重要度の情報を基に解像度を保持するブロックを判別しブロックの水平方向ブロック幅及び／又は垂直方向のブロック高さ単位で矩形形状を維持しつつ判別したブロックの解像度を保持する非線形解像度変換を行なって当該入力画像を縮小するとともに、この非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報をサイド情報として生成する縮小処理部２００ａとを備える。画像拡大装置は画像縮小装置から取得したサイド情報を用いて当該縮小画像を拡大する。【選択図】図２
2012147252.tif 000002
【特許請求の範囲】
【請求項１】
入力画像の縮小画像を解像度変換で拡大することが予定されている画像縮小装置であって、
入力画像をブロック分割して、当該解像度変換による拡大時に特定のブロックの解像度を保持するために、各ブロックの重要度を解析する画像解析部と、
前記画像解析部によって解析した重要度の情報を基に当該解像度を保持するブロックを判別し、当該ブロックの水平方向ブロック幅及び／又は垂直方向のブロック高さ単位で、矩形形状を維持しつつ前記判別したブロックの解像度を保持する非線形解像度変換を行なって当該入力画像を縮小するとともに、該非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報をサイド情報として生成する縮小処理部と、
を備えることを特徴とする画像縮小装置。
【請求項２】
前記画像解析部が解析する重要度は、当該入力画像中の処理ブロックの自己相似性を表すブロックマッチング量とし、当該重要度が解析された各処理ブロックは、処理ブロックからの相似ブロックベクトル量を有することを特徴とする、請求項１に記載の画像縮小装置。
【請求項３】
前記縮小処理部は、前記画像解析部によって解析されたブロック単位の重要度の情報に応じてブロックごとの優先度を判定し、判定した優先度を基に当該入力画像を縮小することを特徴とする、請求項１又は２に記載の画像縮小装置。
【請求項４】
前記画像縮小部は、予め定められた画像全体の縮小率と予め定められたブロックサイズの縮小率を基に前記解像度を保持するブロックを含むブロック列及び／又はブロック行の数を算出して、前記入力画像を縮小することを特徴とする、請求項１〜３のいずれか一項に記載の画像縮小装置。
【請求項５】
前記画像縮小部は、前記解像度を保持するブロックを含むブロック列及び／又はブロック行の数とブロックサイズの縮小率を基に前記入力画像の画像全体の縮小率を算出して、前記入力画像を縮小することを特徴とする、請求項１〜３のいずれか一項に記載の画像縮小装置。
【請求項６】
前記縮小した画像に関するサイド情報は、当該ブロックの水平方向ブロック幅及び／又は垂直方向のブロック高さ単位で、縮小するブロック列及び／又はブロック行を示すフラグ、及び、当該縮小するブロック列及び／又はブロック行の縮小率の情報を含むことを特徴とする、請求項１〜５のいずれか一項に記載の画像縮小装置。
【請求項７】
入力画像の縮小画像を解像度変換で拡大することが予定されている画像縮小装置として構成するコンピュータに、
入力画像をブロック分割して、当該解像度変換による拡大時に特定のブロックの解像度を保持するために、各ブロックの重要度を解析するステップと、
前記ステップによって解析した重要度の情報を基に当該解像度を保持するブロックを判別し、当該ブロックの水平方向ブロック幅及び／又は垂直方向のブロック高さ単位で、矩形形状を維持しつつ前記判別したブロックの解像度を保持する非線形解像度変換を行なって当該入力画像を縮小するとともに、該非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報をサイド情報として生成するステップと、
を実行させるためのプログラム。
【請求項８】
ブロック行及び／又はブロック列ごとに非線形解像度変換を行なって縮小された縮小画像に対して拡大処理を施す画像拡大装置であって、
前記縮小画像に付随するサイド情報から、当該非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報として、ブロックサイズの縮小率の情報、処理ブロックに対する自己相似ブロックのベクトルを示す自己相似情報、及び、縮小されたブロック行及び／又はブロック列を示すフラグとを抽出するサイド情報抽出部と、
前記フラグの情報及び前記ブロックサイズの情報を基に当該縮小されたブロック行及び／又はブロック列を特定するとともにブロックサイズの縮小率を特定し、前記縮小画像に対して、前記自己相似情報を用いて当該縮小処理に対応する解像度逆変換による画像拡大処理を実行する画像拡大部と、
を備えることを特徴とする、画像拡大装置。
【請求項９】
ブロック行及び／又はブロック列ごとに非線形解像度変換を行なって縮小された縮小画像に対して拡大処理を施す画像拡大装置として構成するコンピュータに、
前記縮小画像に付随するサイド情報から、当該非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報として、ブロックサイズの縮小率の情報、処理ブロックに対する自己相似ブロックのベクトルを示す自己相似情報、及び、縮小されたブロック行及び／又はブロック列を示すフラグとを抽出するステップと、
前記フラグの情報及び前記ブロックサイズの情報を基に当該縮小されたブロック行及び／又はブロック列を特定するとともにブロックサイズの縮小率を特定し、前記縮小画像に対して、前記自己相似情報を用いて当該縮小処理に対応する解像度逆変換による画像拡大処理を実行するステップと、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、特に、受信側に対して高効率で伝送するために、所定の画像を低解像度化して出力する画像縮小装置及び画像拡大装置、並びにプログラムに関する。
【背景技術】
【０００２】
所定の画像を低解像度化して出力する画像縮小装置は、例えば、伝送しようとする画像の情報量が大きい場合に、入力された所定の画像を低解像度画像に変換して伝送し、受信側でこの低解像度画像を元の画像解像度に変換して拡大することにより復元する用途に用いられる。
【０００３】
従来、画像の解像度を変換する技術として、最近傍法（二アレスネイバー法）、双一次法（バイリニア法）、双三次法（バイキュービック法）などの補間法に基づく技法が用いられている。
【０００４】
また、低解像度画像を高解像度画像に変換する技法として、時間方向に各画素又はブロックの移動量を入力画像から推定し、推定された移動量と複数時点の画像群とに基づいて高解像度画像を生成する超解像技法がある（例えば、特許文献１，２参照）。また、空間的な画像特徴（エッジなど）を適応的に判断しつつ補間値を生成することで、線形補間等よりも鮮鋭な画質の高解像度画像を生成する超解像技法がある（例えば、非特許文献１参照）。
【０００５】
また、視覚的に重要な領域の解像度を損なわぬよう空間的に不均等な画像変形を行うシームカービング（seam carving）技法が提案されている（例えば、非特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第３８３７５７５号明細書
【特許文献２】特開２００８−１０９３７５号公報
【０００７】
【非特許文献１】松本信幸、井田孝、“フレーム内再構成型超解像の領域適応処理による高画質化の検討”、電子情報通信学会技術報告、２００８年４月１０日、Ｖｏｌ．１０８，Ｎｏ．４，ｐｐ．３１−３６
【非特許文献２】Shai Avidan, Ariel Shamir, “Seam Carving for Content-Aware Image Resizing”, ACM Transactions on Graphics (TOG) , ２００７年７月、Vol. 26, Issues 3, Article No. 10
【発明の概要】
【発明が解決しようとする課題】
【０００８】
先述した従来技術では、以下で述べるような様々な問題がある。
【０００９】
最近傍法、双一次法、双三次法などの補間法に基づく技法を用いて、入力された所定の入力画像（即ち、高解像度画像）を低解像度画像に縮小変換した場合、この低解像度画像を元の高解像度画像にさらに拡大変換すると、元の入力画像に含まれていた画像情報の高周波成分、即ち細かい模様に関する情報が失われ、この拡大画像はぼけた画像となってしまう。
【００１０】
また、低解像度画像を高解像度画像に拡大変換する超解像技法においては、時間方向に各画素又はブロックの移動量を入力画像から推定し、さらに画像特徴に応じた複雑な非線形演算により補間値を生成する必要があり、拡大演算量が大きくなってしまう。
【００１１】
また、シームカービング技法は、視覚的に重要な部分の解像度や形状を保持したまま非線形的な写像を行って画像サイズを変形する技術であるが、復元時の拡大処理に必要な変形度合等を記述する方法が与えられておらず、元の画像を拡大することが考慮されていない。即ち、非線形的な写像で変形されたものを拡大処理で復元するためには逆写像を知る必要があるが、一般に、非線形的な逆写像を伝送するには伝送情報量や拡大処理量において課題がある。
【００１２】
さらには、矩形形状の画面を有する入力画像を低解像度化する際に、その入力画像における視覚的に重要な部分を保持して変形するとしても、変形後の拡大処理としては、例えば既存の符号化方式で符号化して伝送する処理を施すことを考慮すれば、元の画像の矩形形状を保持するのが望ましい。
【００１３】
本発明は、上述の課題を鑑みて為されたものであり、解像度変換で拡大することが予定されている受信側に対して高効率で伝送するために、入力画像を縮小する画像縮小装置及び画像拡大装置、並びにプログラムを提供することを目的とする。  
【課題を解決するための手段】
【００１４】
本発明の画像縮小装置は、入力画像の縮小画像を解像度変換で拡大することが予定されている画像縮小装置であって、入力画像をブロック分割して、当該解像度変換による拡大時に特定のブロックの解像度を保持するために、各ブロックの重要度を解析する画像解析部と、前記画像解析部によって解析した重要度の情報を基に当該解像度を保持するブロックを判別し、当該ブロックの水平方向ブロック幅及び／又は垂直方向のブロック高さ単位で、矩形形状を維持しつつ前記判別したブロックの解像度を保持する非線形解像度変換を行なって当該入力画像を縮小するとともに、該非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報をサイド情報として生成する縮小処理部と、を備えることを特徴とする。
【００１５】
本発明の画像縮小装置において、前記画像解析部が解析する重要度は、当該入力画像中の処理ブロックの自己相似性を表すブロックマッチング量とし、当該重要度が解析された各処理ブロックは、処理ブロックからの相似ブロックベクトル量とすることを特徴とする。
【００１６】
本発明の画像縮小装置において、前記縮小処理部は、前記画像解析部によって解析されたブロック単位の重要度の情報に応じてブロックごとの優先度を判定し、判定した優先度を基に当該入力画像を縮小することを特徴とする。
【００１７】
本発明の画像縮小装置において、前記画像縮小部は、予め定められた画像全体の縮小率と予め定められたブロックサイズの縮小率を基に前記解像度を保持するブロックを含むブロック列及び／又はブロック行の数を算出して、前記入力画像を縮小することを特徴とする。
【００１８】
本発明の画像縮小装置において、前記画像縮小部は、前記解像度を保持するブロックを含むブロック列及び／又はブロック行の数とブロックサイズの縮小率を基に前記入力画像の画像全体の縮小率を算出して、前記入力画像を縮小することを特徴とする。
【００１９】
本発明の画像縮小装置において、前記縮小した画像に関するサイド情報は、当該ブロックの水平方向ブロック幅及び／又は垂直方向のブロック高さ単位で、縮小するブロック列及び／又はブロック行を示すフラグ、及び、当該縮小するブロック列及び／又はブロック行の縮小率の情報を含むことを特徴とする。
【００２０】
さらに、本発明のプログラムは、入力画像の縮小画像を解像度変換で拡大することが予定されている画像縮小装置として構成するコンピュータに、入力画像をブロック分割して、当該解像度変換による拡大時に特定のブロックの解像度を保持するために、各ブロックの重要度を解析するステップと、前記ステップによって解析した重要度の情報を基に当該解像度を保持するブロックを判別し、当該ブロックの水平方向ブロック幅及び／又は垂直方向のブロック高さ単位で、矩形形状を維持しつつ前記判別したブロックの解像度を保持する非線形解像度変換を行なって当該入力画像を縮小するとともに、該非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報をサイド情報として生成するステップと、を実行させるためのプログラムである。
【００２１】
更に、本発明の画像拡大装置は、ブロック行及び／又はブロック列ごとに非線形解像度変換を行なって縮小された縮小画像に対して拡大処理を施す画像拡大装置であって、前記縮小画像に付随するサイド情報から、当該非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報として、ブロックサイズの縮小率の情報、処理ブロックに対する自己相似ブロックのベクトルを示す自己相似情報、及び、縮小されたブロック行及び／又はブロック列を示すフラグとを抽出するサイド情報抽出部と、前記フラグの情報及び前記ブロックサイズの情報を基に当該縮小されたブロック行及び／又はブロック列を特定するとともにブロックサイズの縮小率を特定し、前記縮小画像に対して、前記自己相似情報を用いて当該縮小処理に対応する解像度逆変換による画像拡大処理を実行する画像拡大部と、を備えることを特徴とする。
【００２２】
さらに、本発明のプログラムは、ブロック行及び／又はブロック列ごとに非線形解像度変換を行なって縮小された縮小画像に対して拡大処理を施す画像拡大装置として構成するコンピュータに、前記縮小画像に付随するサイド情報から、当該非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報として、ブロックサイズの縮小率の情報、処理ブロックに対する自己相似ブロックのベクトルを示す自己相似情報、及び、縮小されたブロック行及び／又はブロック列を示すフラグとを抽出するステップと、前記フラグの情報及び前記ブロックサイズの情報を基に当該縮小されたブロック行及び／又はブロック列を特定するとともにブロックサイズの縮小率を特定し、前記縮小画像に対して、前記自己相似情報を用いて当該縮小処理に対応する解像度逆変換による画像拡大処理を実行するステップと、を実行させるためのプログラムである。
【発明の効果】
【００２３】
本発明によれば、入力画像の重要な部分における解像度を保持したまま、画像の矩形形状を維持しつつ非線形解像度変換を行なうとともに、この非線形解像度変換を拡大するために必要なサイド情報を生成するため、受信側に対して当該入力画像を解像度変換で拡大する際の画像劣化を抑制しつつ高効率で伝送可能となる。
【図面の簡単な説明】
【００２４】
【図１】本発明による一実施形態の画像縮小装置全体を示す概略図である。
【図２】本発明による一実施形態の画像縮小装置における画像縮小部のブロック図である。
【図３】本発明による一実施形態の画像縮小装置における画像解析部のブロック図である。
【図４】本発明による一実施形態の画像縮小装置における画像縮小サイズ優先時の縮小処理部のブロック図である。
【図５】本発明による一実施形態の画像縮小装置における解像度保持ブロック数優先時の縮小処理部のブロック図である。
【図６】本発明による一実施形態の画像縮小装置の処理フロー図である。
【図７】本発明による一実施形態の画像縮小装置における画像解析部の自己相似性に関する説明図である。
【図８】本発明による一実施形態の画像縮小装置における画像解析部の自己相似性情報としてのベクトルに関する説明図である。
【図９】本発明による一実施形態の画像縮小装置にて入力画像を縮小して縮小画像を生成する一例を示す図である。
【図１０】本発明による一実施形態の画像縮小装置にて入力画像を縮小して縮小画像を生成する別の一例を示す図である。
【図１１】本発明による一実施形態の画像拡大装置全体を示す概略図である。
【図１２】本発明による一実施形態の画像拡大装置における画像拡大部のブロック図である。
【図１３】本発明による一実施形態の画像拡大装置の処理フロー図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施の形態を、図面を参照しながら説明する。まず、本発明による一実施形態の画像縮小装置について説明する。
【００２６】
〔画像縮小装置〕
図１は、本発明による一実施形態の画像縮小装置全体を示す概略図である。画像縮小装置１は、所定の入力画像を低解像度化して出力する画像変形装置として構成される。特に、本発明による一実施形態の画像縮小装置１は、当該低解像度化した画像の拡大時にて当該入力画像が有する自己相似性を利用可能にするために、画像縮小装置１における画像の縮小段階で、自己相似性があり超解像に利用される画像の領域については縮小せずにその解像度を保持するように構成される。換言すれば、本発明による一実施形態の画像縮小装置１は、超解像時に利用されない画像領域のみを縮小することで画像全体の縮小を実現することができる。
【００２７】
画像縮小装置１は、水平方向及び垂直方向にそれぞれ幅Ｗ×高さＨの画像サイズの矩形形状を有する入力画像に対して、入力画像の重要な部分に重きを置き、画像の矩形形状を維持しつつ非線形解像度変換を行い、この非線形解像度変換を拡大するために必要な縮小した画像に関する情報をサイド情報として生成して出力する画像縮小部１０を備えている。尚、本発明に係る画像縮小装置１は、コンピュータとして構成することができ、画像縮小部１０の機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。以下の説明では、画像縮小部１０の機能を説明するが、画像縮小装置１が備える他の機能（例えば、画像を入出力するためのインターフェースや他の装置との通信機能）を排除することを意図したものではないことに留意する。
【００２８】
図２は、本発明による一実施形態の画像縮小装置における画像縮小部のブロック図である。画像縮小部１０は、その詳細については後述するが、入力画像の縮小にあたり、重要な部分の選択を行う処理を施す画像解析部１００と、入力画像に対して縮小処理を施す縮小処理部２００ａ（実施例１）又は縮小処理部２００ｂ（実施例２）と、縮小した画像を拡大するのに必要なパラメータを表すサイド情報を圧縮符号化するサイド情報符号化部３００とを備える。尚、サイド情報符号化部３００は、必ずしも必要とされるものではないが、伝送するサイド情報をできるだけコンパクトにするために、圧縮符号化処理を施すのが好適であり、圧縮符号化の方法には、ハフマン符号や算術符号が適用可能である。
【００２９】
画像縮小部１０の構成として２つの実施例を想定している。即ち、画像解析部１００での解析結果を用いて縮小処理を施すにあたり、縮小のサイズ決定には下記に示す２通りの方法があり、以下の説明では、それぞれ実施例１及び実施例２として順に説明する。
（１）画像縮小サイズ優先（実施例１）
（２）解像度保持ブロック数優先（実施例２）
【００３０】
（実施例１）
本発明による実施例１の画像縮小部１０は、画像解析部１００と、縮小処理部２００ａと、サイド情報符号化部３００からなる。
【００３１】
画像解析部１００は、図３に示すように、ブロック分割部１０１と、自己相似ブロック判定部１０２とを有している。
【００３２】
ブロック分割部１０１は、水平方向及び垂直方向にそれぞれ幅Ｗ×高さＨの画像サイズの矩形形状を有する入力画像の画像信号を入力し、入力画像をブロックに分割する。
【００３３】
自己相似ブロック判定部１０２は、ブロック分割部１０１によって分割したブロックごとに、縮小された画像の拡大処理時（つまり解像度変換による復元時）に特定のブロックの解像度を保持するために、各ブロックの重要度を解析する。
【００３４】
自己相似ブロック判定部１０２による重要度の判定の具体例としては、縮小された画像の拡大処理において、画像の自己相似性を利用した超解像技法を適用することを想定し、重要度をブロック単位の自己相似性とする。自己相似性は、同じ画像中に類似した形状、性質の画像信号を有する性質のことである。
【００３５】
ここで、画像の自己相似性を利用した超解像技法の一例について説明する。非特許文献１のように、超解像技法では、画像の空間的な特徴を利用して補間値を生成することで、線形補間よりも鮮鋭な画質の高解像度画像を生成することができる。画像の空間的な特徴として、画像が有する自己相似性が挙げられる。超解像の補間時に画像中の自己相似な他の領域の信号を利用して補間することで、鮮鋭な拡大画像生成が可能である。
【００３６】
ブロック単位の自己相似性を定める技法として、図７に示すようなブロック列数ｎ及びブロック行数ｋである画像に対するブロックマッチング技法がある。ブロックマッチング技法では、予め定めた画像範囲内を走査して、処理対象のブロック（以下、「処理ブロック」と称する）ごとに探索対象の各ブロックＢとの誤差を計算し、この誤差が最も小さくなるものを“処理ブロックＰに対する自己相似性を有するブロック”（以下、「自己相似ブロック」と称する）として決定する。この自己相似ブロックのブロック位置を表すために、自己相似ブロック判定部１０２は、図８に示すように、処理ブロックＰから自己相似ブロックＣまでの方向と距離を示すベクトルを自己相似ブロック情報として出力する。この自己相似ブロック情報は、画像の拡大の際の超解像処理に用いることが可能なように、サイド情報に含めることができる。
【００３７】
この例では、入力画像を構成する各ブロックＢの画像信号自体の誤差計算としているが、自己相似ブロック判定部１０２は、例えば入力画像のエッジ成分をソーベルフィルタ（Sobel filter）などの処理により予め算出してエッジ画像を作成し、エッジ画像を構成する各ブロックＢについてブロックマッチングを施してもよい。また、自己相似ブロック判定部１０２は、画像の平行移動による探索だけでなく、拡大、縮小、回転などによるマッチングを施してもよい。ただし、この場合は、自己相似であるブロック位置を示す自己相似ブロック情報であるベクトルの他に、ブロックＰの拡大・縮小率や回転角度の情報がサイド情報に含まれる。
【００３８】
また、自己相似ブロック判定部１０２は、ブロックマッチングの誤差量にしきい値を設け、ブロックマッチングの誤差がしきい値以上の場合は、自己相似ブロックがないとして決定し、自己相似ブロックがない旨を示す情報をサイド情報に含めることができる。
【００３９】
このように、画像縮小部１０がサイド情報を生成して送出することで、縮小画像の拡大処理側ではこのサイド情報を用いればよく拡大処理時の計算量の削減が可能となる。
【００４０】
このようにして、画像解析部１００は、処理ブロックＰに対する自己相似ブロックＣの探索を、入力画像全体（又は予め定めた探索範囲）に対して施した後、処理ブロックＰごとに、自己相似ブロックＣのブロック位置を示す自己相似ブロック情報、ブロックマッチング量（ブロックマッチングの結果を表す情報であれば如何なる態様でもよく、本例では、ブロックマッチングの誤差量を示すブロックマッチング誤差量とする）、及びブロックマッチングに利用していた場合の処理ブロックＰの拡大・縮小率や回転角度の情報をサイド情報として、当該入力画像の画像信号とともに、縮小処理部２００ａに出力する。
【００４１】
縮小処理部２００ａは、画像解析部１００での解析結果を用いて“画像縮小サイズ優先”で縮小処理を施して、縮小画像を生成して出力する機能部であり、図４に示すように、処理ブロック決定部２０１と、縮小ブロック行列判定部２０２と、ブロック行列縮小部２０３とを備える。
【００４２】
処理ブロック決定部２０１は、予め定めた入力画像及びブロックサイズのそれぞれの縮小率を設定し、入力画像の水平方向又は垂直方向のブロック数を用いて、入力画像の解像度を保持できるブロック列数及びブロック行数を算出しておき、さらに、画像解析部１００から得られる自己相似ブロック情報、ブロックマッチング量及びブロックマッチングに利用していた場合のブロックＰの拡大・縮小率や回転角度の情報から、各処理ブロックＰに対してブロックマッチングの誤差が最も小さい値を有するブロックから順に拡大処理時のブロックの解像度を保持する重要度が高いとして、縮小処理で解像度を保持するブロックの優先度を割り当て、算出したブロック列数及びブロック行数を満たすよう縮小処理で解像度を保持するブロックの優先度の高いものから選択し、選択した優先度の高い処理ブロックＰの情報を、当該入力画像の画像信号とともに、縮小ブロック行列判定部２０２に送出する。
【００４３】
尚、ブロックマッチングの誤差の大小を優先度とした場合、ある処理ブロックに対応する自己相似ブロックが探索され、逆にこの自己相似ブロックを処理ブロックとして自己相似ブロックを探索すると、元の処理ブロックとのブロックマッチング誤差が最小となる。よって、優先度は常に２つ以上のブロックに対して同等に付与される。例えば、本実施例での優先度は同一画面内でのブロックマッチングの誤差で決定するため、処理ブロックＡに対して探索した自己相似ブロックＢが、逆に処理ブロックＢとして処理する場合には最初の処理ブロックＡが処理ブロックＢに対する自己相似ブロックとなる。
【００４４】
例えば、図７に図示するブロック列数ｎ及びブロック行数ｋである画像に対して縮小処理を施すのに用いるブロックの優先度は次のように割り当てる。まず、自己相似ブロックの探索を行うことによるブロックマッチングは、「ブロックマッチングする相似ブロックが存在しない」という場合を除き、１つの処理ブロックに対して複数のマッチング候補ブロックが存在したとしても例えば画面座標で最も近い座標位置のブロックを選択するなどして１つの相似ブロックを決定することにより、ブロックマッチングの結果としての１つの値に対して相互に相似する一対のブロック（以下、「ブロックペア」と称する）が必ず同一画面内に存在することになる。そこで、同一画面内に存在する各ブロックについて、図７に示す画面例の最左最上のブロックを優先度の割り当て走査を行う基準点として、図７に示すような走査順でソーティングする場合、ブロックペアのうちの１つのブロックが初めて現れるものだけを順に抽出することで、解像度を保持する順序を示す優先度を割り当てるブロックのブロック数は（ｎ×ｍ）以下で（ｎ×ｍ）／２以上となる。すなわち、「ブロックマッチングする相似ブロックが存在しない」という場合を除き、１つのブロックに他のすべてのブロックが相似している場合（全てのブロックマッチング誤差が同じ最小値を持つ場合）が最も多いケースとして（ｎ×ｍ）であり、ブロックペアが持つブロックマッチング誤差の値がすべて異なっている場合が最も少ないケースとして（ｎ×ｍ）／２である。
そして、同一画面内に存在する各ブロックについてブロックマッチング誤差の値の最も小さい値から各ブロックをソーティングの走査を行なって、ブロックペアのうちの１つのブロックが初めて現れるものだけを順に抽出するにあたり、別のブロックペアのブロックではあるが同一のブロックマッチング誤差の値を持つブロックについては、縮小候補ブロックとしてリストアップする。
例えば、ブロックマッチング誤差の値の小さい順（ｉ＝０, １,２,・・・,ｎ×ｍ）から抽出したブロックを“ブロックＰｉのブロックマッチング誤差の値, ブロックＰｉと同じブロックマッチング誤差の値を持つ他のブロックペアの１つ以上のブロック位置”で関連付けてリストアップすると、ブロックマッチング誤差の値の小さい順から、例えば、ブロックＰ０のブロックマッチング誤差の値について８個重複、ブロックＰ１について２個重複、ブロックＰ２について１０個重複、ブロックＰ３について５個重複、・・・というようにブロックマッチング誤差の値の小さい順で優先度の割り当てブロックと縮小候補ブロックの位置が識別できる。
例えば、この例では、ブロックＰ０に対して「解像度を保持するための最も高い優先度」を割り当て、ブロックＰ０と重複するブロックマッチング誤差の値を持つブロックのブロック数８個を「解像度を保持しない縮小候補ブロック」として個数８をカウントし、次にブロックＰ１に対して「解像度を保持するための次に高い優先度」を割り当て、ブロックＰ１と重複するブロック数２個を「解像度を保持しない縮小候補ブロック」とするようにカウントして積算し、順次、優先度を割り当てるとともに縮小候補のブロックを決定する。ただし、例えば、優先度の割り当て順を行う際にブロックマッチング誤差の許容範囲を設けているときなど、以前にカウントしたブロック（例えば、ブロックＰ０）に対する縮小候補の中にブロックＰ１が含まれていれば、ブロックＰ１に対する「解像度を保持するための次に高い優先度」の割り当てを重視して、ブロックＰ０と重複するブロックマッチング誤差の値を持つブロックのブロック数を減算するという条件を付加する（この例では、８個を７個にする）。この処理を同一画面内にて当該抽出したブロックのすべてについて行い、ブロックマッチング誤差の小さい方から順に優先度を割り当てるとともに縮小候補ブロックを決定し、さらに縮小候補ブロックのブロック数を積算する。
この縮小候補ブロックのブロック数の積算値が、ブロックサイズの縮小率から求まる所望の個数を超えたところで、このブロックの優先度の割り当て処理を終了し、解像度を保持するための重要度の高いブロックを決定する（換言すれば、縮小候補ブロックを縮小対象ブロックとして決定する）。尚、ブロックサイズの縮小率に完全に合致する解像度を保持するブロックのブロック数（又は縮小対象ブロックのブロック数）を得たい場合には、図７に示す画面最左最上のブロックを優先度の割り当てを行う基準点から走査して順に優先度を割り当てる際に、ブロックサイズの縮小率に完全に合致する解像度を保持するブロックのブロック数（又は縮小対象ブロックのブロック数）を得たところで、このブロックの優先度の割り当て処理を終了して、縮小対象ブロックを決定するように構成することができる。
【００４５】
縮小ブロック行列判定部２０２は、処理ブロック決定部２０１から、選択した優先度の高い処理ブロックＰの情報と、当該入力画像の画像信号を入力し、当該選択した優先度の高い処理ブロックＰの解像度を保持するように縮小処理を施す当該入力画像のブロック行及び／又はブロック列を決定して縮小するブロック行列を判別し、この縮小するブロック行列の情報を当該入力画像の画像信号ととともにブロック行列縮小部２０３に送出する。
【００４６】
ブロック行列縮小部２０３は、縮小ブロック行列判定部２０２から、縮小するブロック行列の情報及び当該入力画像の画像信号を入力し、縮小するブロック行列の情報を基に当該入力画像の画像信号を縮小して縮小画像を生成して外部に送出するとともに、画像の拡大に必要とされる自己相似ブロック情報、ブロックマッチング量及びブロックマッチングに用いていた場合のブロックＰの拡大・縮小率や回転角度の情報を含むサイド情報を生成して外部に送出する。尚、このサイド情報には、予め定めた入力画像及びブロックサイズのそれぞれの縮小率、並びにブロック分割に用いた分割数の情報を含めてもよい。
【００４７】
図９は、画像縮小サイズ優先で入力画像（同図左）を縮小して縮小画像（同図右）を生成する例を示す図である。図９を参照するに、入力画像の水平方向のブロックの個数をｎとし、入力画像の水平方向のブロックＢ１のブロックサイズをＮとする。図９に示すように、入力画像のサイズが幅Ｗ×高さＨとして、入力画像の幅Ｗを１／ａに、ブロックＢ１の幅サイズＮを１／ｕに縮小すると仮定すると（ただし、ｕ＞ａ＞１）、水平方向に解像度を保持するブロックＰ１，Ｐ２，Ｐ３のブロック列数ｍは、
Ｗ／ｎ×ｍ＋Ｗ／ｎ×１／ｕ×（ｎ−ｍ）＝Ｗ／ａ    （１）
を満たすものとなる。
【００４８】
式（１）を変形すると、
ｍ＝１／ａ×（ｕ−ａ）／(ｕ−１)×ｎ
となり、例えば、入力画像の幅Ｗを１／２に、ブロックサイズＮを１／４にするには、
ｍ＝１／３×ｎ
となるので、入力画像の解像度を保持できるブロック列数ｍは全体のブロック数の１／３となる。尚、入力画像の解像度を保持できるブロック行数を算出する場合も同様である。
【００４９】
従って、“画像縮小サイズ優先”で縮小処理を施す縮小処理部２００ａは、画像解析部１００での解析結果を用いて縮小処理を施すにあたり、縮小する入力画像全体の縮小率と、縮小するブロックサイズの縮小率を予め与えておくことで、入力画像の解像度を保持できるブロック列数及びブロック行数を算出することができる。
【００５０】
図９では、この優先度が高い順に選ばれたブロック（水平方向及び垂直方向に解像度を保持するブロックＰ１，Ｐ２，Ｐ３）が、ブロック列及びブロック行で重複しないため、算出したブロック列数及びブロック行数における個数の算出に影響を与えない。一方、図１０に示すように、優先度が高い順に選ばれたブロックがブロック列及びブロック行で重複する場合（ブロックＰ１に対してブロックＰ３並びにブロックＰ３に対してブロックＰ４）、算出したブロック列数及びブロック行数を満たすよう優先度の高いものから選択するには、重複するブロックを選択する必要はない。例えば、図１０の例では、ブロックＰ３をカウントせずに、算出したブロック列数及びブロック行数を満たすよう優先度の高いものから選択する。
【００５１】
つまり、図１０では、画像サイズ（例えば、画像幅Ｗ）とブロックサイズ（例えば、ブロック幅Ｎ）のそれぞれの縮小率により、４つのブロックＰ１，Ｐ２，Ｐ３，Ｐ４の解像度を保持しながら画面全体を縮小する。図１０の４つのブロックＰ１，Ｐ２，Ｐ３，Ｐ４は、優先度の高いものとして選択されたものであり、これらを含むブロック行とブロック列については縮小処理を施すことなく、優先度の高いものとして選択されていないブロックＢ１を縮小してブロックＢ２とする。図１０から分かるように、解像度を保持するブロック行やブロック列の中には解像度を保持する必要がないブロックＰ３も含まれるが、このような同じブロック列やブロック行に優先度の高いブロックが複数含まれる場合には、算出した元の解像度を保持するブロック行及びブロック列の数を満たすために、１つの優先度の高いブロックが含まれるとしてカウントすることができる。例えば、図１０の例では、４つのブロックＰ１，Ｐ２，Ｐ３，Ｐ４が元の解像度を保持する優先度の高いブロックであるが、優先度をカウントするブロック列（又はブロック行）としては３つのブロックＰ１，Ｐ２，Ｐ４で済む。尚、ブロック列のみに重複する場合は、ブロック列の縮小時に優先度をカウントする必要はなく、ブロック行のみに重複する場合は、ブロック行の縮小時に優先度をカウントする必要はない。
【００５２】
このように、ブロックごとの優先度を基に、ブロック行及びブロック列として縮小の可否を決定することにより、画面全体としては常に元の画像情報を完全に欠落させることなく矩形形状を保持することができる。矩形形状の画面は、既存の符号化処理（例えば、ハフマン符号や算術符号等）との整合性に優れるため有利である。
【００５３】
次に、本発明による実施例２の画像縮小部１０について説明する。同様な構成要素には同一の参照番号を付して説明する。
【００５４】
（実施例２）
本発明による実施例２の画像縮小部１０は、画像解析部１００と、縮小処理部２００ｂと、サイド情報符号化部３００からなる。画像解析部１００と、サイド情報符号化部３００は、実施例１と同様であり、その詳細な説明は省略する。
【００５５】
縮小処理部２００ｂは、画像解析部１００での解析結果を用いて“解像度保持ブロック数優先”で縮小処理を施して、縮小画像を生成して出力する機能部であり、図５に示すように、ブロック優先度判定部２０４と、縮小ブロック行列判定部２０５と、ブロック行列縮小部２０６とを備える。
【００５６】
ブロック優先度判定部２０４は、予め定めたブロックサイズの縮小率と、解像度を保持するブロック数（又は画像全体に対する個数割合）を設定し、入力画像の水平方向又は垂直方向のブロック数を用いて、入力画像の縮小率を算出しておき、さらに、画像解析部１００から得られる自己相似ブロック情報、ブロックマッチング量及びブロックマッチングに用いていた場合の処理ブロックＰの拡大・縮小率や回転角度の情報から、各処理ブロックＰに対してブロックマッチングの誤差が最も小さい値を有するブロックから順に拡大処理時のブロックの解像度を保持する重要度が高いとして、縮小処理で解像度を保持するブロックの優先度を割り当て、予め定めた解像度を保持するブロック数を満たすよう縮小処理で解像度を保持するブロックの優先度の高いものから選択し、選択した優先度の高い処理ブロックＰの情報を、当該入力画像の画像信号とともに、縮小ブロック行列判定部２０５に送出する。
【００５７】
縮小ブロック行列判定部２０５は、ブロック優先度判定部２０４から、選択した優先度の高い処理ブロックＰの情報と、当該入力画像の画像信号を入力し、当該選択した優先度の高い処理ブロックＰの解像度を保持するように縮小処理を施す当該入力画像のブロック行とブロック列を決定し、この縮小するブロック行列の情報を当該入力画像の画像信号ととともにブロック行列縮小部２０６に送出する。
【００５８】
ブロック行列縮小部２０６は、縮小ブロック行列判定部２０５から、縮小するブロック行列の情報及び当該入力画像の画像信号を入力し、縮小するブロック行列の情報を基に当該入力画像の画像信号を縮小して縮小画像を生成して外部に送出すると共に、画像の拡大に必要とされる自己相似ブロック情報、ブロックマッチング量及びブロックマッチングに利用していた場合の処理ブロックＰの拡大・縮小率や回転角度の情報を含むサイド情報を生成して外部に送出する。尚、このサイド情報には、予め定めた入力画像及びブロックサイズのそれぞれの縮小率、並びにブロック分割に用いた分割数の情報を含めてもよい。
【００５９】
即ち、実施例２は、予め定めたブロックサイズの縮小率と、解像度を保持するブロック数（又は画像全体に対する個数割合）を設定し、入力画像の水平方向又は垂直方向のブロック数を用いて入力画像の縮小率を算出することで、“解像度保持ブロック数優先”で画像縮小を実行する点で、実施例１とは相違する。
【００６０】
“解像度保持ブロック数優先”は、入力画像をどのような縮小率で縮小するかを計算するために、ブロックごとの縮小率と解像度を保持するブロック数（又は画像全体に対する個数割合）を予め定めておくことで実現することができるが、解像度を保持するブロック数については、画像解析部１００で求めたブロックマッチング量に対するしきい値を設けて算出するように構成することもできる。ブロックごとの縮小率及び解像度を保持するブロック数を定めることにより、画面全体の縮小率を一意に決定することができる。
【００６１】
例えば、画像のサイズを幅Ｗ×高さＨとし、水平方向のブロックの個数をｎとして、画像の幅を１／ａに、ブロックの幅サイズを１／ｕに縮小すると仮定すると（ただし、ｕ＞ａ＞１）、水平方向に解像度を保持するブロック列数ｍは、
Ｗ／ｎ×ｍ＋Ｗ／ｎ×１／ｕ×（ｎ−ｍ）＝Ｗ／ａ
で表される前述の式（１）を満たすから、ａの値は、
ａ＝ｕ×ｎ／（ｕ×ｍ＋ｎ−ｍ）
となる。
【００６２】
したがって、例えば、ブロックサイズを１／４縮小として、解像度を保持するブロック数ｍを全体ｎの半分（ｍ＝ｎ／２）として決定しておくとすると、ａ＝８／５となり、画像の幅は、５／８に縮小される。この場合も、ブロック数やブロック列ごとに縮小処理を施すため、画面全体の矩形形状を保持することができる。
【００６３】
実施例１の“画像縮小サイズ優先”及び実施例２の“解像度保持ブロック数優先”のいずれの場合も、本発明による一実施形態の画像縮小装置１は、ブロック列及びブロック行ごとに、縮小するブロック列及びブロック行を示すフラグをサイド情報として出力する。また、本発明による一実施形態の画像縮小装置１は、ブロック列及びブロック行の縮小率も同様にサイド情報として出力する。画面全体の縮小率は、これらのサイド情報から一意に計算可能であるため必ずしも出力する必要はない。また、本発明による一実施形態の画像縮小装置１は、ブロック列とブロック行で縮小率を変える場合には、それぞれの縮小率をサイド情報として出力する。
【００６４】
図６は、本発明による一実施形態の画像縮小装置における処理フローである。画像縮小装置１は、水平方向及び垂直方向にそれぞれ幅Ｗ×高さＨの画像サイズの矩形形状を有する入力画像の画像信号を入力し（Ｓ１）、入力画像をブロックに分割する（Ｓ２）。
【００６５】
次に、画像縮小装置１は、分割したブロックごとに、入力画像内で自己相似性を判定し、処理ブロックから自己相似ブロックまでの方向と距離を示すベクトルを自己相似ブロック情報として生成することにより、各処理ブロックの重要度を、自己相似性を表すブロックマッチング量としたとき、当該重要度が解析された各処理ブロックは、処理ブロックからの相似ブロックベクトル量として定量化する（Ｓ３）。
【００６６】
次に、画像縮小装置１は、“画像縮小サイズ優先”又は“解像度保持ブロック数優先”を決定する（Ｓ４）。
【００６７】
次に、画像縮小装置１は、ステップＳ４の決定に応じて、実施例１のように、縮小する入力画像全体の縮小率と、縮小するブロックサイズの縮小率を予め与えて、入力画像の解像度を保持できるブロック列数及びブロック行数を算出することにより解像度を保持するブロック数（又は画像全体に対する個数割合）を決定するか、又は、実施例２のように、予め定めたブロックサイズの縮小率と、解像度を保持するブロック数（又は画像全体に対する個数割合）を予め与えて、入力画像全体の縮小率を決定する（Ｓ５）。
【００６８】
次に、画像縮小装置１は、決定された解像度を保持するブロックの情報と、画像縮小率の情報から、当該優先度の高いブロックＰの解像度を保持するように縮小処理を施す当該入力画像のブロック行とブロック列を決定する（Ｓ６）。
【００６９】
次に、画像縮小装置１は、決定した縮小するブロック行列の情報とブロックサイズの縮小率の情報から、当該入力画像のブロック行とブロック列を縮小することにより、縮小画像を生成するとともに、拡大するのに必要な当該縮小処理に係るパラメータをサイド情報として生成する（Ｓ７）。
【００７０】
以上の説明では、ブロックの縮小率は１種類として説明したが、解像度を保持するブロックの他に複数種類の縮小率を用いても構わない。この場合、本発明の画像縮小装置１は、ブロック列或いはブロック行ごとに縮小率をサイド情報として出力する。
【００７１】
画像ブロックの縮小処理自体は、最近傍法、双一次法、双三次法などの補間法に基づく技法を適用することができる。
【００７２】
サイド情報符号化部３００は、入力されたサイド情報をできるだけコンパクトにするために、圧縮符号化処理を施して出力することができる。圧縮符号化の方法には、ハフマン符号や算術符号が適用可能である。
【００７３】
以上、本発明による一実施形態の画像縮小装置１について説明したが、この縮小によって縮小された画像の拡大処理について説明する。
【００７４】
本発明による一実施形態の画像拡大装置について図１１〜図１３を参照して説明する。図１１は、本発明による一実施形態の画像拡大装置全体を示す概略図である。図１２は、本発明による一実施形態の画像拡大装置における画像拡大部のブロック図である。
【００７５】
〔画像拡大装置〕
本発明に係る画像縮小装置１によって縮小された画像を元のサイズに拡大するには、ブロックサイズの縮小率の情報と、処理ブロックに対する自己相似ブロックのベクトルを示す自己相似情報と、縮小されたブロック行及び／又はブロック列を示すフラグを少なくとも含むサイド情報を用いて、当該縮小処理に対応する解像度逆変換のフィルタリング処理を施すことで拡大することが可能であるが、より高精度の拡大画像を得るためには、超解像技術の適用が可能である。まず、本発明に係る画像縮小装置１によって縮小された画像のうち、解像度を保持したブロック行とブロック列については超解像処理の必要がなく、拡大の処理負担を軽減していることに留意する。つまり、縮小されたブロック行及びブロック列の超解像処理を実行する際には、入力画像の解像度を保持している高い自己相似性を有するブロックを利用して、補間処理を施すことにより、当該解像度逆変換のフィルタリング処理による拡大よりも高精度の拡大が可能となる。
【００７６】
具体的には、図１１に示すように、本実施形態の画像拡大装置４００は、画像縮小装置１によって縮小された画像を入力して、当該縮小画像に付随して得られるサイド情報を用いて当該縮小画像に対して拡大処理を施す画像拡大部４０１と、画像縮小装置１から符号化されたサイド情報を受信する場合には復号処理を施し、当該サイド情報から、ブロックサイズの縮小率の情報と、処理ブロックに対する自己相似ブロックのベクトルを示す自己相似情報と、縮小されたブロック行及び／又はブロック列を示すフラグを抽出するサイド情報抽出部として機能するサイド情報復号部４０２とを備える。尚、本発明に係る画像拡大装置４００は、コンピュータとして構成することができ、画像拡大部４０１及びサイド情報復号部４０２の機能を実現する処理内容を記述したプログラムを、当該コンピュータの記憶部（図示せず）に格納しておき、当該コンピュータの中央演算処理装置（ＣＰＵ）によってこのプログラムを読み出して実行させることで実現することができる。以下の説明では、画像拡大部４０１の機能を説明するが、画像拡大装置４００が備える他の機能（例えば、画像を入出力するためのインターフェースや他の装置との通信機能）を排除することを意図したものではないことに留意する。
【００７７】
図１２に示すように、画像拡大部４０１は、縮小行列判定部４０３と、ブロック行列拡大部４０４とを備える。
【００７８】
縮小行列判定部４０３は、画像縮小装置１によって縮小された画像を入力して、当該サイド情報に含まれる縮小されたブロック行及び／又はブロック列を示すフラグを基に、縮小されたブロック行及び／又はブロック列を特定し、この特定したブロック行列の情報をブロック行列拡大部４０４に送出する。
【００７９】
ブロック行列拡大部４０４は、当該サイド情報に含まれるブロックサイズの縮小率の情報から縮小されたブロック行及び／又はブロック列に対応するブロックサイズの縮小率を特定し、当該サイド情報に含まれる処理ブロックに対する自己相似ブロックのベクトルを示す自己相似情報を用いて、当該縮小処理に対応する解像度逆変換のフィルタリング処理を施すことで画像拡大処理を実行して拡大する。尚、この拡大には、ベクトル方向を加味した補間処理を施す超解像技術の適用することができる。
【００８０】
図１３は、本発明による一実施形態の画像拡大装置の処理フロー図である。まず、本実施形態の画像拡大装置４００は、画像縮小装置１によって縮小された画像を入力する（Ｓ１１）。さらに、画像拡大装置４００は、画像縮小装置１によって生成されたサイド情報を入力し（Ｓ１２），このサイド情報からブロックサイズの縮小率の情報と、処理ブロックに対する自己相似ブロックのベクトルを示す自己相似情報と、縮小されたブロック行及び／又はブロック列を示すフラグを抽出する（Ｓ１３）。
【００８１】
続いて、画像拡大装置４００は、縮小された画像について、縮小されたブロック行及び／又はブロック列を示すフラグを基に縮小されたブロック行列を特定する（Ｓ１４）。
【００８２】
続いて、画像拡大装置４００は、当該サイド情報に含まれるブロックサイズの縮小率の情報から縮小されたブロック行及び／又はブロック列に対応するブロックサイズの縮小率を特定し、当該サイド情報に含まれる処理ブロックに対する自己相似ブロックのベクトルを示す自己相似情報を用いて、当該縮小処理に対応する解像度逆変換のフィルタリング処理を施すことで、単に拡大するか、又はベクトル方向を加味した補間処理を施す超解像技術による画像拡大処理を実行する。尚、画像拡大装置４００は、受信したサイド情報に、ブロック単位の重要度に応じて選択する際のブロックマッチングで用いた処理ブロックの拡大、縮小及び回転角の情報を含む場合には、これらの情報を基に上記超解像処理による画像拡大処理を実行することができる。
【００８３】
包括的には、本発明に係る画像縮小装置１は、入力画像をブロック分割して、解像度変換による拡大処理時に特定のブロックの解像度を保持するために、各ブロックの重要度を解析する画像解析部１００と、画像解析部１００によって解析した重要度の情報を基に当該解像度を保持するブロックを判別し、当該ブロックの水平方向ブロック幅及び／又は垂直方向のブロック高さ単位で、矩形形状を維持しつつ前記判別したブロックの解像度を保持する非線形解像度変換を行なって当該入力画像を縮小するとともに、該非線形解像度変換を拡大するために必要な当該縮小した画像に関する情報をサイド情報として生成する縮小処理部２００ａ又は縮小処理部２００ｂとを備える装置として構成される。
【００８４】
画像解析部１００が解析する重要度は、当該入力画像中の処理ブロックの自己相似性を表すブロックマッチング量とし、当該重要度が解析された各処理ブロックは、処理ブロックからの相似ブロックベクトル量を有することで、一般に、画像情報よりも少ない情報量とすることができる。
【００８５】
縮小処理部２００ａ，２００ｂは、画像解析部１００によって解析されたブロック単位の重要度の情報に応じてブロックごとの優先度を判定し、判定した優先度を基にブロック列及び／又はブロック行単位で当該入力画像を縮小する。これにより、優先度を割り当てられた重要度の情報（例えば、マッチング誤差の少ない順で割り当てられた情報）を保持しつつ画像縮小が可能となる。
【００８６】
画像縮小部２００ａは、予め定められた画像全体の縮小率と予め定められたブロックサイズの縮小率を基に入力画像の解像度を保持するブロック列及び／又はブロック行の数を算出して、入力画像を縮小する。これにより、“画像縮小サイズ優先”で画像縮小が可能となる。
【００８７】
画像縮小部２００ｂは、入力画像の解像度を保持するブロック列及び／又はブロック行の数とブロックサイズの縮小率を基に画像全体の縮小率を算出して、入力画像を縮小する。これにより、“解像度保持ブロック数優先”で画像縮小が可能となる。
【００８８】
縮小した画像に関するサイド情報は、ブロック列及び／又はブロック行単位で、縮小するブロック列及び／又はブロック行を示すフラグ、及び、当該縮小するブロック列及びブロック行の縮小率の情報を含むことができ、さらに、縮小するブロック列及びブロック行の縮小率としてブロック列及びブロック行に対してそれぞれ別個の縮小率の情報とするか、又は縮小するブロック列及びブロック行に対して個別の縮小率として複数の縮小率の情報とすることができる。これにより、画像縮小の設定自由度を高めることができるようになる。
【００８９】
また、縮小した画像に関するサイド情報は、ブロック単位の重要度に応じて選択されたブロック位置情報、又は、ブロック単位の重要度に応じて選択する際のブロックマッチングで用いた処理ブロックの拡大、縮小及び回転角の情報を含むことができる。これにより、拡大処理側で、入力画像が持つブロック単位の重要度を確実に考慮した拡大が可能となる。尚、画像縮小装置１による出力の縮小画像を符号化するようにしてもよく、画像拡大装置４００が当該縮小画像の復号処理を有してもよいことは勿論である。
【産業上の利用可能性】
【００９０】
本発明によれば、入力画像の重要な部分における解像度を保持したまま、画像の矩形形状を維持しつつ非線形解像度変換を行なうとともに、この非線形解像度変換を拡大するために必要なサイド情報を生成することにより、受信側に対して当該入力画像を解像度変換で拡大する際の画像劣化を抑制しつつ高効率で伝送可能となるため、解像度変換で画像変形を行う用途に有用である。
【符号の説明】
【００９１】
１  画像縮小装置
１０  画像縮小部
１００  画像解析部
１０１  ブロック分割部
１０２  自己相似ブロック判定部
２００ａ，２００ｂ  縮小処理部
２０１  処理ブロック決定部
２０２  縮小ブロック行列判定部
２０３  ブロック行列縮小部
３００  サイド情報符号化部
４００  画像拡大装置
４０１  画像拡大部
４０２  サイド情報復号部
４０３  縮小行列判定部
４０４  ブロック行列拡大部
【図１】
2012147252.tif 000003
【図２】
2012147252.tif 000004
【図３】
2012147252.tif 000005
【図４】
2012147252.tif 000006
【図５】
2012147252.tif 000007
【図６】
2012147252.tif 000008
【図７】
2012147252.tif 000009
【図８】
2012147252.tif 000010
【図９】
2012147252.tif 000011
【図１０】
2012147252.tif 000012
【図１１】
2012147252.tif 000013
【図１２】
2012147252.tif 000014
【図１３】
2012147252.tif 000015