(57)【特許請求の範囲】
【請求項１】
ある矩形領域（タイル）サイズでタイル化された画像の符号データを変換係数まで復号し、異なるタイルサイズでタイル化して変換した変換係数配置と同様な係数配置に並べ替えることを特徴とするタイル化ウェーブレット変換係数のタイルサイズ変換方法。
【請求項２】
請求項１に記載のタイル化ウェーブレット変換係数のタイルサイズ変換方法において、
タイル毎の変換係数をタイル分割せずに変換をかけたのと同様な係数配置に一旦並べ替える第１の配置変換を行い、
次に、該係数配置を所望のタイルの大きさに分割し、
該所望のタイルの大きさに変換したのと同様な変換係数配置に再配置する第２の配置変換を行うことを特徴とするタイル化ウェーブレット変換係数のタイルサイズ変換方法。
【請求項３】
請求項１または２に記載のタイル化ウェーブレット変換係数のタイルサイズ変換方法において、
該タイルサイズの変換を、変換前のタイルの大きさ、変換後のタイルの大きさ、およびウェーブレット変換の繰り返し回数を条件に入れて行うことを特徴とするタイル化ウェーブレット変換係数のタイルサイズ変換方法。
【請求項４】
ある矩形領域（タイル）サイズでタイル化された画像のタイルＴi,j内のサブバンドをＳi,j,k,lとするとき（ここに、ｉおよびｊは画素内でのタイルの位置を表すインデックス、ｋおよびｌは、タイル内でのサブバンドの位置を表すインデックス）、タイルＴi,j毎にまとまっているサブバンドのうちから、あるサブバンド（ｋ0，ｌ0）に関するものだけをまとめてタイルなしのサブバンドを形成する第１の配置変換を行い、
次に、該タイルなしのサブバンドを所望のタイルの大きさに分割し、そのそれぞれをＳ’i',j',k',l'とし（ここに、ｉ’，ｊ’は、分割した矩形のサブバンド内での位置を表すインデックス、ｋ’，ｌ’は、サブバンドを表すインデックス）、
サブバンド（ｋ’，ｌ’）毎にまとまっている矩形領域のうちから、ある矩形領域位置ｉ'0，ｊ'0に存在するものをまとめて、タイルＴ’i'0,j'0とする第２の配置変換を行うことを特徴とするタイル化ウェーブレット変換係数のタイルサイズ変換方法。
【請求項５】
請求項１ないし４のいずれかに記載のタイル化ウェーブレット変換係数のタイルサイズ変換方法において、
変換前のタイル境界付近に存在する境界処理の影響を含む変換係数については、前記第１の配置変換を行う際にその影響を軽減することを特徴とするタイル化ウェーブレット変換係数のタイルサイズ変換方法。
【請求項６】
請求項１ないし５のいずれかに記載のタイル化ウェーブレット変換係数のタイルサイズ変換方法において、
変換後のタイル境界付近に存在し、合成の際の境界処理における影響が予測される変換係数については、前記第２の配置変換を行う際にその影響を軽減することを特徴とするタイル化ウェーブレット変換係数のタイルサイズ変換方法。
【請求項７】
前記請求項１ないし６のいずれかに記載のタイル化ウェーブレット変換係数のタイルサイズ変換方法を、ＪＰＥＧ２０００符号化データに適用することを特徴とするタイル化ウェーブレット変換係数のタイルサイズ変換方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、完全に再生せずに高速にタイル化ウェーブレット変換係数のタイルサイズを変換できるタイル化ウェーブレット変換係数のタイルサイズ変換方法に関する。
【０００２】
【従来の技術】
従来は、主にハードウェア環境に起因するメモリ制約下において、高解像度画像などの大容量画像を符号化する場合、符号化側においては、画像を矩形領域に分割してそれぞれ独立に符号化を行う方法が取られている。一方、復号側においては、受信した該矩形領域単位でしか処理が行えないため、復号器のメモリ実装量に関係なく、符号化された際の矩形サイズで処理が行われる。
【０００３】
【発明が解決しようとする課題】
しかしながら、一般に、符号化する環境と復号する環境は等しいとは限らないため、符号化の際に最適であった矩形サイズの大きさが、必ずしも復号の際に最適であるとは限らない。また、実装メモリ量の制約から、復号できる画像の矩形サイズに制限を設けている復号器においては、同じ符号化方式で符号化されたデータであっても、矩形サイズの違いにより復号できない場合が生じる。
【０００４】
本発明は、上記の課題を解消するためになされたものであり、その目的は、従来は一旦符号化してしまうと変更できなかったタイルサイズを、柔軟に変換することのできるタイル化ウェーブレット変換係数のタイルサイズ変換方法を提供することにある。他の目的は、完全に再生せずに高速にタイル化ウェーブレット変換係数のタイルサイズを変換できるタイル化ウェーブレット変換係数のタイルサイズ変換方法を提供することにある。
【０００５】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、符号化された画像データを完全に再生せずに、符号化データあるいは変換係数の領域での並び替えにより、タイルサイズの変更を実現することに第１の特徴がある。また、該並び替えの際には、変換前のタイルサイズ、変換後のタイルサイズ、およびウェーブレット変換の繰り返し回数を条件に入れて、これらに応じた再配置を行うようにした点に第２の特徴がある。さらに、タイルサイズの変更に伴い、変更前後のタイル境界付近において発生する歪みを軽減するため、タイル境界周辺の変換係数を補正するようにした点に第３の特徴がある。
【０００６】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の概略の構成を示すブロック図である。
【０００７】
タイル分割部１には、あるタイルサイズでタイル化された符号データａが入力する。タイル分割部１は、該符号データａをタイル毎の符号化データ（例えば、Ｍ個）に分割し、タイル毎に取り出し、それぞれを復号器２ａ〜２ｍに送出する。
【０００８】
ここで、前記のそれぞれのタイルは一般的なウェーブレット変換画像符号化方式にて符号化されたものであり、前記符号データａは、原画像をタイル化し、そのそれぞれに対してウェーブレット変換を１回以上かけた変換係数に対して量子化を行い、それらをエントロピー符号器にて符号化して得られたものである。
【０００９】
前記タイル分割部１からタイル毎に取り出された符号データは、前記復号器２ａ〜２ｍで変換係数まで復号される。この変換係数は、配置変換部３に送られる。配置変換部３は、全タイルの変換係数を一旦タイルのない配置に並び替え、またタイル境界での補正を行った後、所望のタイルサイズへ再配置する動作を行うが、その詳細は、後で図２を参照して説明する。
【００１０】
該配置変換部３で所望のタイルサイズへ再配置された各タイル（例えば、Ｎ個）毎の変換係数は、それぞれ符号化器４ａ，４ｂ，・・・，４ｎに送られ、再度符号化され、ファイル作成部５に送られる。ファイル作成部５は、Ｎ個の符号化された変換係数をファイル化し、タイルサイズを変換された符号データｂとして出力する。
【００１１】
次に、図２を参照して、前記配置変換部３の動作または機能を詳細に説明する。図２(a)は、前記復号器２ａ〜２ｍによって復号されたデータである、変換前の変換係数配置を示し、水平画像サイズＸ、垂直画像サイズＹの画像を水平方向タイルサイズＸＴsiz、垂直方向画面サイズＹＴsizに分割し、それぞれのタイルにおいてウェーブレット変換処理を２回繰り返して得られたウェーブレット変換係数を示す。また、図２(d)は、符号化器４ａ〜４ｎに送られるデータである、変換後の変換係数配置を示し、水平方向タイルサイズＸＴsiz'、垂直方向タイルサイズＹＴsiz'にタイル分割した係数配置を示す。この具体例では、図２(a)の変換係数配置を、一旦、図２(b)のように、タイル分割せずに変換をかけたのと同様な、タイルなしの場合の変換係数配置に配置変換する。その後、図２(c)のように、新しいタイルサイズで分割し直し、次いで再び配置変換して図２(d)の変換係数配置を得る。
【００１２】
以下では、図２(a)から図２(b)への並び替えを第１の配置変換，図２(c)から図２(d)への並び替えを第２の配置変換と呼ぶ。以降に、該第１、および第２の配置変換１，２の詳細について説明する。
【００１３】
変換前のウェーブレット変換係数のタイルをＴi,jとする。ただし、ｉおよびｊは画素内でのタイルの位置を表すインデックスであり、
ｉ＝０，１，２，・・・，（Ｘ／ＸＴsiz）
ｊ＝０，１，２，・・・，（Ｙ／ＹＴsiz）
である。
【００１４】
また、タイルＴi,j内のサブバンドはＳi,j,k,lと表すこととする。ここで、ｋおよびｌは、タイル内でのサブバンドの位置を表すインデックスで、ｋはウェーブレット変換の階層を表し、ｌは周波数成分を示すこととする。ここで、
ｋ＝１，２，・・・，ＮL
ｌ＝１，２，３    （ｋ≠ＮLの時）
＝１，２，３，４（ｋ＝ＮLの時）
である。
【００１５】
なお、あるタイルの各サブバンドに対応する（ｋ，ｌ）の例を図３に示す。図３は、分解の繰り返し数がＮL（すなわち、ｋ＝ＮＬ）の場合の例である。
【００１６】
第１の配置変換１においては、タイルＴi,j毎にまとまっているサブバンドのうちから、あるサブバンド（ｋ0，ｌ0）に関するものだけをまとめて全体のサブバンドを形成する。つまり、空間的に離れて存在している全てのＳi,j,k0,l0（ｉ＝０，１，２，・・・，（Ｘ／ＸＴsiz）、ｊ＝０，１，２，・・・，（Ｙ／ＹＴsiz））をまとめる。これを全てのｋ，ｌに関して行い、図２(b)に示すようなタイルなしの配置を得る。
【００１７】
なお、前記第１の配置変換１の前あるいは後処理として、全サブバンドＳi,j,k,lについて、サブバンド境界（外枠）から内側Ｂ個の係数を補正する。Ｂの値はウェーブレット変換フィルタのタップ長と、ｋ、ｌにより決定される。完全に本配置変換の影響を相殺するためには、Ｂの値をタイル化の影響を受けている全画素を含む値Ｂmaxにする必要があるが、画素補正の処理負荷と該補正により得られる画質の改善効果を考慮して、Ｂ＜Ｂmaxとすることも可能である。
【００１８】
補正処理としては、タイル境界の影響を受けているタイル境界から内側Ｂ個の係数を作るために必要な画素を、隣のタイルに関しても全て合成し、これらの画素値からタイル境界の影響を受けていない元の係数を再度求める。あるいは、計算を簡略化するため、元の変換係数を作るのに必要な画素と、補正後の変換係数を作るのに必要な画素のうち、値が異なる（タイルなしの場合には、その変換係数の作成のために、隣のタイルを参照する必要がある）画素のみに注目し、それらの差分のみから求めることも可能である。
【００１９】
該補正処理を行うと、配置変換の影響を完全に相殺することができるが、特に分解数ｋが大きいサブバンドについては、補正のために必要となる画素のうちの寄与度が低い画素はそのままの値で変換係数を求める方法を取ることが可能である。
【００２０】
第２の配置変換２においては、タイルなしの変換係数から所望タイルサイズの係数配置へ変換係数の並び替えを行う。まず、図２(c)のように、全てのサブバンド内を矩形に分割し、そのそれぞれをＳ’i',j',k',l'とする。ただし、ｋ’，ｌ’は、サブバンドを表すインデックス、ｉ’，ｊ’は、分割した矩形のサブバンド内での位置を表すインデックスである。第２の配置変換２では、サブバンド（ｋ’，ｌ’）毎にまとまっている矩形領域のうちから、ある矩形領域位置ｉ'0，ｊ'0に存在するものをまとめて、タイルＴ’i'0,’j0とする。つまり、空間的に離れて存在する全てのＳ’i'0,j'0,k',l'をまとめる。これを、全てのｉ’，ｊ’に関して行い、図２(d)に示すような所望タイルサイズの配置を得る。
【００２１】
また、第２の配置変換２についても、第１の配置変換１の場合と全く同様に、その前あるいは後処理として、全サブバンドＳ’i',j',k',l'について、サブバンド境界（外枠）から内側Ｂ’個の係数を補正する。
【００２２】
この実施形態は、ＪＰＥＧ２０００画像の符号化データに適用されると、その効果は大きい。また、ハードウェアの制限により、タイルサイズの大きなデータを作ることができなかった場合、本発明のタイルサイズ変換処理を後処理に適用すれば、任意の大きさのタイルサイズのデータに変換し、任意の装置に供給できるようになる。
【００２３】
また、メモリ資源が十分な環境下の場合には、高速処理の観点から、大きなタイルサイズでウェーブレット変換を行い、その後復号側の制約を考慮して、小さなタイルサイズに変換してからエントロピー符号化し伝送するようにすることができる。
【００２４】
タイルサイズの大きな符号化データを、タイルサイズに制限のあるハードウェアにて復号する場合には、本発明を前処理に適用してタイルサイズを小さくする。つまり、実装メモリの制約からタイルサイズに制限があり、現存する全てのＪＰＥＧ２０００画像を復号できなかったＪＰＥＧ２０００デコーダにおいても、全画像を再生できるようにタイルサイズを変換できるようになる。
【００２５】
さらに、タイルサイズの小さすぎる符号化データを、メモリ資源の十分な環境でソフトウェアにて復号する際に、ウェーブレット変換係数まで復号した後は、処理の高速化のため、大きなタイルサイズに変換してから逆ウェーブレット変換を行うようにすることができる。
【００２６】
【発明の効果】
前記の説明から明らかなように、請求項１ないし６の発明によれば、ＪＰＥＧ２０００画像のようなタイル化ウェーブレットを用いた符号化データに対して、完全に再生せずに、つまり変換係数まで復号してタイルサイズの変換処理を行えるので、該変換処理を高速に行えるようになる。
【００２７】
また、タイルサイズの変更を容易に行えるようになるので、符号化側および復号側は、自由にタイルサイズを設定して処理することが可能になる。この結果、それぞれが実装メモリ量の制約等によって設けられたタイルサイズに従って、最適の条件下で、符号化および復号ができるようになる。
【００２８】
また、請求項４，５の発明によれば、タイル境界の影響に伴う配置変換の影響を除去し、画質を損なうことなくタイルサイズの変換を行えるようになる。
【図面の簡単な説明】
【図１】  本発明の一実施形態の概略の構成を示すブロック図である。
【図２】  図１の配置変換部の動作又は機能の説明図である。
【図３】  サブバンドのインデックスの説明図である。
【符号の説明】
１・・・タイル分割部，２ａ〜２ｍ・・・復号器、３・・・配置変換部、４ａ〜４ｎ・・・符号化器、５・・・ファイル作成部。
【図１】
0003800523.tif 000002
【図２】
0003800523.tif 000003
【図３】
0003800523.tif 000004