(57)【特許請求の範囲】
【請求項１】
ウェーブレット変換を用いて符号化されたコードストリームから画像データを生成する画像処理装置であって、
前記コードストリームに付加されたタグ情報を解釈し、前記コードストリームを各コンポーネントの各タイルのコードストリームに分解するタグ処理手段と、
前記タグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、前記対象ビットの周辺ビットからコンテキストを生成する逆量子化手段と、
前記コンテキストと前記コードストリームとの確率推定によって復号化を行なうことで対象ビットを生成し、該対象ビットを対象ビットの位置に対して書き込むことで復号化を行なうエントロピー復号化手段と、
前記エントロピー復号化手段で復号化されたデータにウェーブレット逆変換を行ない、前記画像データの各コンポーネントの各タイルを復元するウェーブレット逆変換手段と、
前記ウェーブレット逆変換手段で復元されたデータを色空間逆変換によって前記画像データを生成する色空間逆変換手段と、
前記色空間逆変換手段で生成された前記画像データのタイル境界近傍に対して平滑化処理を行なうタイル境界平滑化手段とを有し、
前記タグ処理手段は、前記タグ情報に基づいて、タイル境界の位置を特定し、
前記タイル境界平滑化手段は、前記タグ処理手段により特定されたタイル境界近傍画素における斜め方向のエッジ量が大きいほどローパスフィルタの強度を小さくすることを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、前記タイル境界近傍画素における斜め方向のエッジ量と、前記タイル境界からの画素間距離とに応じてローパスフィルタの強度を制御することを特徴とする画像処理装置。
【請求項３】
ウェーブレット変換を用いて符号化されたコードストリームから画像データを生成する画像処理装置による画像処理方法であって、
前記コードストリームに付加されたタグ情報を解釈し、前記コードストリームを各コンポーネントの各タイルのコードストリームに分解するタグ処理ステップと、
前記タグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、前記対象ビットの周辺ビットからコンテキストを生成する逆量子化ステップと、
前記コンテキストと前記コードストリームとの確率推定によって復号化を行なうことで対象ビットを生成し、該対象ビットを対象ビットの位置に対して書き込むことで復号化を行なうエントロピー復号化ステップと、
前記エントロピー復号化ステップで復号化されたデータにウェーブレット逆変換を行ない、前記画像データの各コンポーネントの各タイルを復元するウェーブレット逆変換ステップと、
前記ウェーブレット逆変換ステップで復元されたデータを色空間逆変換によって前記画像データを生成する色空間逆変換ステップと、
前記色空間逆変換ステップで生成された前記画像データのタイル境界近傍に対して平滑化処理を行なうタイル境界平滑化ステップとを有し、
前記タグ処理ステップは、前記タグ情報に基づいて、タイル境界の位置を特定し、
前記タイル境界平滑化ステップは、前記タグ処理ステップで特定されたタイル境界近傍画素における斜め方向のエッジ量が大きいほどローパスフィルタの強度を小さくすることを特徴とする画像処理方法。
【請求項４】
請求項３に記載の画像処理方法において、前記タイル境界近傍画素における斜め方向のエッジ量と、前記タイル境界からの画素間距離とに応じてローパスフィルタの強度を制御することを特徴とする画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理装置及び方法、より詳細には、デジタルカメラ、インターネット、医療用画像、衛星通信用画像などの分野における画像データの圧縮・伸長に応用可能な画像処理装置及び該装置による画像処理方法に関する。
【０００２】
【従来の技術】
従来、例えば、特開平１１−２８５００６号公報（画像符号化装置及び画像復号装置）に記載の発明は、Ｗａｖｅｌｅｔ変換時にタイル周辺データを外挿し、管理情報を生成し符号データに添付し、復号化時に管理情報を参照して復号するものである。一方、本発明は、復号（伸長）された画像データに対して、タイル境界の近傍にローパスフィルタをかけるものであり、符号化（圧縮）時には何もしていない。よって、符号データに余分なデータが付与されてしまうことがない。また、本発明は、上記公報記載の発明と異なり、符号化時のデコンポジションレベル（Ｗａｖｅｌｅｔ変換の階層数）に応じて、ローパスフィルタのマスクサイズを変更したり、ローパスフィルタをかける位置を制御したりすることができる。
【０００３】
また、特許第２９４０４２２号（変換符号化された画像データの復号化時に生じるブロック歪みの低減方法及び変換符号化された画像データの復号化装置）に記載の発明は、隣接ブロックの量子化度合いの差で適応的にローパスフィルタをかけるというものである。一方、本発明は、復号化された画像に対し、ウェーブレット変換の階層数により適応的にローパスフィルタをかけるものであり、隣接ブロックの量子化度合いの差によるものではなく、上記公報記載の発明とはその構成が異なる。
【０００４】
特開平０５−０１４７３５号公報（画像処理装置）に記載の発明には、ブロック境界を判別する手段を有し、該判別されたブロック境界に対し、均一な平滑化フィルタをかけるものが開示されている。一方、本発明は、ブロック境界情報は圧縮された符号に埋め込まれており、ブロック境界を判別する必要がない。かつ、本発明では画素間距離またはエッジ量に応じて適応的な平滑化フィルタをかける構成となっており、均一な平滑化を行うものではなく、上記公報記載の発明とはその構成が異なる。
【０００５】
【発明が解決しようとする課題】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Ｄｉｇｉｔａｌ  Ｃａｍｅｒａ（ＤＣ））を例にあげると、３００万以上の画素数を持つ高性能な電化結合素子（ＣＣＤ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになってきた。そして、５００万画素の製品も間近である。そして、このピクセル数の増加傾向は、なおしばらくは続くと言われている。
【０００６】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっている。今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナル・コンピュータ（ＰＣ）やインターネットを始めとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００７】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。こうした要求を満たす圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００がある。このＪＰＥＧ２０００では、画像を一般に矩形をした領域（タイル）によって分割する。そして、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作はタイル毎に独立に行なわれる。この際、圧縮率の高い条件で圧縮伸長処理を行うと、「タイルの境界」が目立ってくるという問題が発生する。従来、この問題を解決するために、隣接するタイル同士で境界を互いにオーバーラップさせることが提案されている。しかしながら、ＪＰＥＧ２０００のベースラインでは、隣接するタイル境界を重複させないことになっている。
【０００８】
また、別の従来発明では、タイル境界の近傍にのみに均一なローパスフィルタをかけることにより、タイル境界を目立たなくするというものがある。これは、タイル境界歪み抑制には効果があるが、タイル境界のエッジ度合いが強い場合には、ローパスフィルタをかけたことにより、タイル境界の近傍でエッジがぼやけて帯状の画像品質劣化が現れるという問題点を有していた。
【０００９】
本発明は、上述のごとき実情に鑑みてなされたものであり、タイル境界の近傍にのみローパスフィルタをかけることにより、タイル境界の歪みを目立たなくすること、を目的とする。
【００１０】
また、ウェーブレット変換のデコンポジションレベル（階層数）が大きくなるにつれて、ローパスフィルタのマスクサイズを大きくしたり、ローパスフィルタをかけるタイル境界からの画素間距離を大きくすることにより、階層数に応じて最適なタイル境界歪みの抑制を行うこと、を目的とする。
【００１１】
さらに、本発明は、タイル境界歪みを抑制しつつ、タイル境界付近でのエッジ量が大きい場合にも帯状のぼやけた画像を発生させないように制御すること、を目的とする。
【００１２】
具体的には、タイル境界からの画素間距離に応じて、ローパスフィルタの平滑化度を制御する。例えば、タイル境界からの画素間距離が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする。また、タイル境界の近傍の画素に対してエッジ量を算出し、そのエッジ量に応じてローパスフィルタの平滑化度を制御する。例えば、エッジ量が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする。さらに、タイル境界からの画素間距離とその画素でのエッジ量に応じてローパスフィルタを制御する。つまり、タイル境界から離れるにつれて、また、エッジ量が大きくなるにつれてローパスフィルタの平滑化度が弱くなるように制御する。
【００１３】
【課題を解決するための手段】
請求項１の発明は、ウェーブレット変換を用いて符号化されたコードストリームから画像データを生成する画像処理装置であって、前記コードストリームに付加されたタグ情報を解釈し、前記コードストリームを各コンポーネントの各タイルのコードストリームに分解するタグ処理手段と、前記タグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、前記対象ビットの周辺ビットからコンテキストを生成する逆量子化手段と、前記コンテキストと前記コードストリームとの確率推定によって復号化を行なうことで対象ビットを生成し、該対象ビットを対象ビットの位置に対して書き込むことで復号化を行なうエントロピー復号化手段と、前記エントロピー復号化手段で復号化されたデータにウェーブレット逆変換を行ない、前記画像データの各コンポーネントの各タイルを復元するウェーブレット逆変換手段と、前記ウェーブレット逆変換手段で復元されたデータを色空間逆変換によって前記画像データを生成する色空間逆変換手段と、前記色空間逆変換手段で生成された前記画像データのタイル境界近傍に対して平滑化処理を行なうタイル境界平滑化手段とを有し、前記タグ処理手段は、前記タグ情報に基づいて、タイル境界の位置を特定し、前記タイル境界平滑化手段は、前記タグ処理手段により特定されたタイル境界近傍画素における斜め方向のエッジ量が大きいほどローパスフィルタの強度を小さくすることを特徴としたものである。
【００１４】
請求項２の発明は、請求項１の発明において、前記タイル境界近傍画素における斜め方向のエッジ量と、前記タイル境界からの画素間距離とに応じてローパスフィルタの強度を制御することを特徴としたものである。
【００１５】
請求項３の発明は、ウェーブレット変換を用いて符号化されたコードストリームから画像データを生成する画像処理装置による画像処理方法であって、前記コードストリームに付加されたタグ情報を解釈し、前記コードストリームを各コンポーネントの各タイルのコードストリームに分解するタグ処理ステップと、前記タグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、前記対象ビットの周辺ビットからコンテキストを生成する逆量子化ステップと、前記コンテキストと前記コードストリームとの確率推定によって復号化を行なうことで対象ビットを生成し、該対象ビットを対象ビットの位置に対して書き込むことで復号化を行なうエントロピー復号化ステップと、前記エントロピー復号化ステップで復号化されたデータにウェーブレット逆変換を行ない、前記画像データの各コンポーネントの各タイルを復元するウェーブレット逆変換ステップと、前記ウェーブレット逆変換ステップで復元されたデータを色空間逆変換によって前記画像データを生成する色空間逆変換ステップと、前記色空間逆変換ステップで生成された前記画像データのタイル境界近傍に対して平滑化処理を行なうタイル境界平滑化ステップとを有し、前記タグ処理ステップは、前記タグ情報に基づいて、タイル境界の位置を特定し、前記タイル境界平滑化ステップは、前記タグ処理ステップで特定されたタイル境界近傍画素における斜め方向のエッジ量が大きいほどローパスフィルタの強度を小さくすることを特徴としたものである。
【００１６】
請求項４の発明は、請求項３の発明において、前記タイル境界近傍画素における斜め方向のエッジ量と、前記タイル境界からの画素間距離とに応じてローパスフィルタの強度を制御することを特徴としたものである。
【００２０】
【発明の実施の形態】
（実施例１）
図１は、ＪＰＥＧ２０００アルゴリズムの基本を説明するためのブロック図である。ＪＰＥＧ２０００のアルゴリズムは、色空間変換・逆変換部１１、２次元ウェーブレット変換・逆変換部１２、量子化・逆量子化部１３、エントロピー符号化・復号化部１４、タグ処理部１５で構成されている。
【００２１】
図２は、タイル分割されたカラー画像の各コンポーネントの例を示す図である。カラー画像は、一般に、図２に示すように、原画像の各コンポーネント２１，２２，２３（ここではＲＧＢ原色系）が、矩形をした領域（タイル）２１t，２２t，２３tによって分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，・・・，Ｒ１５／Ｇ００，Ｇ０１，・・・，Ｇ１５／Ｂ００，Ｂ０１，・・・，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００２２】
符号化時には、各コンポーネントの各タイルのデータが、図１に示した色空間変換部１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００２３】
図３は、デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドの一例を示す図である。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジションレベル０（３０））に対して、２次元ウェーブレット変換を施し、デコンポジションレベル１（３１）に示すサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジションレベル２（３２）に示すサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジションレベル３（３３）に示すサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。
【００２４】
更に図３では、各デコンポジションレベルにおいて符号化の対象となるサブバンドを、グレーで表してある。例えば、デコンポジションレベル数を３とした時、グレーで示したサブバンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブバンドは符号化されない。
【００２５】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１に示した量子化部１３で対象ビット周辺のビットからコンテキストが生成される。量子化の処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。
【００２６】
図４は、プレシンクトとコードブロックの関係の一例を説明する図で、原画像４０は、デコンポジションレベル１において、タイル４０t0，タイル４０t1，タイル４０t2，タイル４０t3の４つのタイルに分割されている。図４に示すように、一つのプレシンクト４０p4は、空間的に一致した３つの矩形領域からなり、プレシンクト４０p6も同様である。更に、個々のプレシンクトは、重複しない矩形からなる「コードブロック」に分けられる。本例では、０〜１１までの１２個のコードブロックに分けられており、例えばコードブロック４０b1は、コードブロック番号１を示す。これは、エントロピーコーディングを行う際の基本単位となる。
【００２７】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコードブロック毎に「ビットプレーン」に順位付けを行うことができる。
【００２８】
図５は、ビットプレーンに順位付けする手順の一例を説明するための図である。本例は、原画像５０（３２×３２画素）を１６×１６画素のタイル４つで分割した場合（図５に示すタイル５０t0，タイル５０t1，タイル５０t2，タイル５０t3）で、デコンポジションレベル１のプレシンクトとコードブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコードブロックの番号は、ラスター順に付けられており、本例ではプレシンクトが番号０から３まで、コードブロックが番号０から３まで割り当てられている。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジションレベル１のウェーブレット係数値を求めている。
【００２９】
また、タイル５０t0（タイル０）／プレシンクト５０p3（プレシンクト３）／コードブロック５０b3（コードブロック３）について、代表的な「レイヤー」構成の一例を示す概念図を図５に併せて示す。変換後のコードブロック５０ｗ３は、サブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）に分割され、各サブバンドにはウェーブレット係数値が割り当てられている。
【００３０】
レイヤーの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー０、１、２、３は、各々１、３、１、３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤーは最後まで量子化されずに残ることになる。ここでＬＳＢに近いレイヤーから破棄する方法は、トランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００３１】
前述の図１に示したエントロピー符号化部１４では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。
【００３２】
最後に、タグ処理部１５は、エントロピコーダ部からの全符号化データを１本のコードストリームに結合するとともに、それにタグを付加する処理を行う。図６は、コードストリームの構造の一例を簡単に示した図で、コードストリーム６０の先頭と各タイルを構成する部分タイルの先頭にはヘッダ（それぞれ、メインヘッダ６１、タイルパートヘッダ６２）と呼ばれるタグ情報が付加され、その後に、各タイルの符号化データ（ビットストリーム６３）が続く。そして、コードストリーム６０の終端６４には、再びタグが置かれる。
【００３３】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコードストリームから画像データを生成する。前述した図１を用いて簡単に説明する。この場合、タグ処理部１５は、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号化処理が行われる。コードストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１４で、このコンテキストとコードストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。
【００３４】
このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１１によって元の表色系のデータに変換される。
【００３５】
また、従来のＪＰＥＧ圧縮伸長形式の場合は、上記のＪＰＥＧ２０００で述べたタイルを、２次元離散コサイン変換を行う、一辺が８ピクセルの正方形ブロック、として読み替えればよい。
【００３６】
図７は、本発明における画像伸長部の一例を説明するためのブロック図で、図中、７１はタグ処理部、７２はエントロピー復号化部、７３は逆量子化部、７４は２次元Ｗａｖｅｌｅｔ逆変換部、７５は色空間逆変換部、７６はタイル境界平滑化部である。色空間逆変換部７５によって得られたＲＧＢデータに対し、タイル境界平滑化部７６でタイル境界の近傍の画素を平滑化して、タイル境界の歪みを目立たなくする。後述する図８、図９にタイル境界平滑化部７６における処理の具体例を示す。
【００３７】
図８は、３階層のＷａｖｅｌｅｔ変換を用いた場合のタイル境界平滑化部７６における処理の一例を示す図である。図８において、例えば、３階層のＷａｖｅｌｅｔ変換を用いて符号化されたデータは、ミラーリングによりタイル境界から数えてタイルの内側の８画素（両端１６画素）がその影響を受ける。このため、図８に示すようにタイル境界画素を含めた８画素（両端１６画素）に対しローパスフィルタをかける。
【００３８】
図９は、２階層のＷａｖｅｌｅｔ変換を用いた場合のタイル境界平滑化部７６における処理の一例を示す図である。図９において、例えば、２階層のＷａｖｅｌｅｔ変換を用いて符号化されたデータは、ミラーリングによりタイル境界から数えてタイルの内側の４画素（両端８画素）がその影響を受ける。このため、図９に示すようにタイル境界画素を含めた４画素（両端８画素）に対しローパスフィルタをかける。これらより、つまり、ｎ階層のＷａｖｅｌｅｔ変換を用いて符号化されたデータは、タイル境界から数えて内側２のｎ乗の画素までローパスフィルタをかける。
【００３９】
以上のように、符号時のＷａｖｅｌｅｔ階層数に応じてローパスフィルタをかける範囲を最適なものにすることが可能になる。また、タイル境界から数えてタイルの内側何画素までローパスフィルタをかけるかは、コストや処理時間と画像品質との兼ね合いで調節してもよい。さらに、ウェーブレット変換方法に応じてローパスフィルタを切り換えても良い。例えば、５×３フィルタでのウェーブレット変換と、９×７フィルタでのウェーブレット変換があるが、それぞれに周波数特性の異なるローパスフィルタを施すこともできる。
【００４０】
本発明によると、タイル境界の近傍にローパスフィルタをかけることにより、タイル境界歪みを抑制することができるとともに、ローパスフィルタをかける範囲を最適化することが可能となる。
【００４１】
（実施例２）
図１０は、Ｗａｖｅｌｅｔ変換の階層数に応じてマスクサイズを可変にしたローパスフィルタの一例を示す図である。本実施例では、図１０に示すように、Ｗａｖｅｌｅｔ変換の階層数によって、ローパスフィルタのマスクサイズを可変にする。例えば、図１０（Ａ）に示すように、５階層のＷａｖｅｌｅｔ変換によって生成された符号に対しては、７×５のマスクサイズのローパスフィルタを用い、図１０（Ｂ）に示すように、３階層のＷａｖｅｌｅｔ変換によって生成された符号に対しては、５×３のマスクサイズのローパスフィルタを用いる。これも、階層数が大きくなるにつれ、ミラーリングの影響を受けている画素数がタイル境界の内側に多くなるためである。ここで、本実施例に挙げたマスクサイズは一つの例であり、タイル境界歪み抑制に効果的な最適なマスクサイズを適宜選択すればよい。
【００４２】
（実施例３）
図１１は、本発明における画像伸長部の他の例を説明するためのブロック図で、図中、８１はタグ処理部、８２はエントロピー復号化部、８３は逆量子化部、８４は２次元Ｗａｖｅｌｅｔ逆変換部、８５はタイル境界平滑化部、８６は色空間逆変換部である。本実施例では、ＲＧＢ信号に変換する前のＹＣｂＣｒ信号で、タイル境界近傍にローパスフィルタをかける。この際、輝度信号Ｙにのみローパスフィルタをかけ、Ｃｂ，Ｃｒ信号はスルーにする。これは、タイル境界歪みは輝度信号Ｙに依存している部分が大きいためである。前述した実施例１や実施例２のように、ＲＧＢ信号すべてにローパスフィルタをかけないため、処理時間の短縮が図れる。
【００４３】
しかしながら、輝度のみタイル境界歪み抑制のためのローパスフィルタをかけると境界で色味の連続性が保てなくなってしまう可能性がある。より高精度なタイル境界歪み抑制を狙うならば、ＹＣｂＣｒ信号すべて、または色空間逆変換した後のＲＧＢデータすべてにローパスフィルタをかけてもよい。さらに、ＹとＣｂ，Ｃｒ、ＧとＲ，Ｂで異なる周波数特性を有するローパスフィルタを用いても良い。
【００４４】
本発明によると、タイル境界の近傍にローパスフィルタをかけることにより、タイル境界歪みを抑制することができるとともに、復号化に要する時間を短縮することができるようになる。また、復号化画像の高品質化を実現することも可能となる。
【００４５】
（実施例４）
図１２は、圧縮率に応じたローパスフィルタの一例を示す図である。本実施例では、圧縮率に応じてローパスフィルタの強度を可変にする。一般に、圧縮率が大きい画像ほどタイル境界歪みが目立つ。よって、圧縮率の小さい画像に強いローパスフィルタをかけると、ローパスフィルタをかけた部分がぼやけて目立ってしまう。逆に、圧縮率の大きな画像に弱いローパスフィルタをかけてもタイル境界歪み抑制の効果を得ることは難しい。
【００４６】
このため、図１２に示すように、圧縮率に応じてローパスフィルタの強度を可変にする。例えば、圧縮率１／２０の場合、図１２（Ａ）に示すようなローパスフィルタを用いる。圧縮率１／４０の場合、図１２（Ｂ）に示すようなローパスフィルタを用いる。図１３は、図１２（Ａ）、（Ｂ）に示したそれぞれのローパスフィルタの周波数特性を示す図である。図１３（Ａ）は、図１２（Ａ）に示したローパスフィルタの周波数特性を示す図で、図１３（Ｂ）は、図１２（Ｂ）に示したローパスフィルタの周波数特性を示す図である。いずれの周波数帯域、方向においても図１３（Ａ）に示す値の方が図１３（Ｂ）に示す値よりも大きいので、図１２（Ａ）に示したローパスフィルタの方が、図１２（Ｂ）に示したローパスフィルタに比べて弱いローパスフィルタであることが分かる。
【００４７】
本発明によると、タイル境界の近傍にローパスフィルタをかけることにより、タイル境界歪みを抑制することができる。さらに、圧縮率に応じて最適な強度のローパスフィルタをかけることにより、いかなる圧縮率においてもタイル境界歪み抑制を実現することができる。
【００４８】
（実施例５）
図１４は、本発明における画像伸長部の他の例を説明するためのブロック図で、図中、９１はタグ処理部、９２はエントロピー復号化部、９３は逆量子化部、９４は２次元Ｗａｖｅｌｅｔ逆変換部、９５は色空間逆変換部、９６は補正タイル境界探索部、９７はタイル境界平滑化部である。本実施例では、すべてのタイル境界にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を探索して、そのタイル境界のみにローパスフィルタをかける。後述する図１５，図１６にその代表例を示す。
【００４９】
図１５及び図１６は、ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を説明するための図である。このＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【００５０】
図１５は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図１５（Ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１５（Ｂ）に示す点線部に設定する。図１５（Ｂ）に示す太線のＲＯＩ境界部にはローパスフィルタをかけない。
【００５１】
図１６は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図１６（Ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１６（Ｂ）に示す点線部に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない。
【００５２】
本実施例では、ＲＯＩ内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行ってもよい。
【００５３】
本発明によると、ローパスフィルタをかけるべきタイル境界画素を制御することにより、例えば、ＲＯＩ領域の内側のみにローパスフィルタを適用するといった制御が可能となる。また、これにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【００５４】
（実施例６）
図１７は、タイル境界平滑化部における処理の一例を説明するための図である。本例においては、タイル境界の近傍の画素（図１７に示す灰色の領域の画素）に対してローパスフィルタをかける。後述する図１９、図２１、図２２において、図１７に示す点線部を拡大した状態を示す。
【００５５】
図１８は、タイル境界からの画素間距離の算出方法の一例を説明するための図である。図１８に示す各画素において、上下左右からのタイル境界からの距離が算出される。それらの最小値を各画素におけるタイル境界からの距離として設定する。
【００５６】
図１９は、タイル境界からの画素間距離を用いた適応的ローパスフィルタ処理の一例を説明するための図である。図１９（Ａ）は、図１７に示した点線部を拡大した状態を示す図で、タイル境界からの画素間距離の値が設定されている。図１９（Ｂ）は、適応的ローパスフィルタの一例を示す図である。本実施例において、ローパスフィルタは注目画素の位置の係数のみ変化させる。画素間距離が大きくなるにつれて、徐々にその係数の値を大きくする。図１９（Ｂ）に示す例では、中央の係数値：ｍは下記の式（１）で算出される。
ｍ＝８＋６４＊ｄ（ｄ：タイル境界からの画素間距離）  ・・・式（１）
これは、タイル境界からの画素間距離：ｄが大きくなるにつれて施すローパスフィルタの平滑化度を弱くすることを意味する。
【００５７】
また、本発明の画像処理装置によると、階層数に応じてローパスフィルタをかけるタイル境界からの画素間距離のしきい値を制御することができる。例えば、３階層のＷａｖｅｌｅｔ変換を用いて符号化されたデータは、ミラーリングによりタイル境界の内側８画素（両端１６画素）がその影響を受ける。このため、前述の図８に示したごとくのタイル境界の内側８画素（両端１６画素）に対しローパスフィルタをかける。また、例えば、２階層のＷａｖｅｌｅｔ変換を用いて符号化されたデータは、ミラーリングによりタイル境界の内側の４画素（両端８画素）がその影響を受ける。このため、前述の図９に示したごとくのタイル境界の内側４画素（両端８画素）に対しローパスフィルタをかける。つまり、ｎ階層のＷａｖｅｌｅｔ変換を用いて符号化されたデータは、タイル境界の内側２のｎ乗の画素までローパスフィルタをかける。以上のように、符号時のＷａｖｅｌｅｔ階層数に応じてローパスフィルタをかける範囲を最適にすることができる。
【００５８】
また、タイル境界の内側何画素までローパスフィルタをかけるかは、コストや処理時間と画像品質との兼ね合いで調節することもできる。さらに、ウェーブレット変換方法に応じてローパスフィルタを切り換えても良い。例えば、５×３フィルタでのウェーブレット変換と９×７フィルタでのウェーブレット変換があるが、それぞれの変換方法で圧縮伸長された画像に対し、周波数特性の異なるローパスフィルタを施してもよい。
【００５９】
また、前述の図１０に示したように、Ｗａｖｅｌｅｔ変換の階層数によって、ローパスフィルタのマスクサイズを可変にできる。図１０（Ａ）に示した例では、５階層のＷａｖｅｌｅｔ変換によって生成された符号に対して、７×５のマスクサイズのローパスフィルタを用い、図１０（Ｂ）に示した例では、３階層のＷａｖｅｌｅｔ変換によって生成された符号に対して、５×３のマスクサイズのローパスフィルタを用いる。これも、階層数が大きくなるにつれ、ミラーリングの影響を受けている画素数がタイル境界の内側に多くなるためである。図１０（Ａ）、（Ｂ）に示したマスクサイズは一つの例であり、タイル境界歪み抑制の効果が得られる最適なマスクサイズを適宜選択すればよい。
【００６０】
また、ＲＧＢ信号に変換する前のＹＣｂＣｒ信号で、タイル境界近傍にローパスフィルタをかけてもよい。この際、輝度信号Ｙにのみローパスフィルタをかけ、Ｃｂ，Ｃｒ信号はスルーにしてもよい。これは、タイル境界歪みは輝度信号Ｙに依存している部分が大きいためである。ＲＧＢ信号すべてにローパスフィルタをかけないことにより、処理時間の短縮が図れる。
【００６１】
さらに、圧縮率に応じてローパスフィルタの強度を可変にしてもよい。一般に圧縮率が大きい画像ほどタイル境界歪みが目立つ。よって、圧縮率の小さい画像に強いローパスフィルタをかけると、ローパスフィルタをかけた部分がぼやけて目立ってしまう。逆に、圧縮率の大きな画像に弱いローパスフィルタをかけてもタイル境界歪み抑制の効果を得ることは難しい。
【００６２】
図２０は、圧縮率に応じたローパスフィルタの一例を示す図である。本実施例では、圧縮率に応じてローパスフィルタの強度を可変にする。例えば、圧縮率１／２０の場合、図２０（Ａ）に示すような平滑化度の弱いローパスフィルタを用いる。圧縮率１／４０の場合、図２０（Ｂ）に示すような平滑化度の強いローパスフィルタを用いるようにする。
【００６３】
なお、本実施例では、ＪＰＥＧ２０００の圧縮伸長方式を代表例として説明を行ったが、圧縮伸長方式はこれに限らず、ブロック境界情報を圧縮符号に含むことができる圧縮伸長方式なら、いかなる圧縮伸長方式を用いても良い。
【００６４】
本発明によると、ブロック境界からの画素間距離に応じてローパスフィルタの強度を適応的に制御することにより、ブロック境界歪みを抑制しつつ、ブロック境界近傍でエッジが強い場合に生じる画質劣化を目立たなくすることができる。
【００６５】
（実施例７）
図２１は、タイル境界近傍の画素のエッジ量を用いた適応的ローパスフィルタ処理の一例を説明するための図である。図２１（Ａ）は、図１７に示した点線部を拡大した状態を示す図である。図２１（Ｂ）は、エッジ量算出フィルタの一例を示し、図２１（Ｃ）は、適応的ローパスフィルタの一例を示す図である。本実施例では、タイル境界近傍の画素のエッジ量に応じてローパスフィルタの強度を切り換える。タイル境界近傍の画素に対し、図２１（Ｂ）に示したエッジ量算出フィルタを用いてエッジ量を算出する。このエッジ量算出フィルタは斜め方向のエッジ量を算出している。これは、縦横方向のエッジ量を抽出しようとすると、タイル境界の境界部でエッジ量が大きく出てしまうため、タイル境界が目立ってしまうことを避けるためである。
【００６６】
上述の斜め方向のエッジ量に応じて、ローパスフィルタの強度を制御する。エッジ量の絶対値が大きいほど、ローパスフィルタの中央の係数値：ｍを大きくする。図２１（Ｃ）に示す適応的ローパスフィルタの例では、中央の係数値をｍとし、図２１（Ｂ）に示すエッジ量算出フィルタで算出したエッジ量をＥとするとき、下記の式（２）により中央の係数値：ｍが算出される。
ｍ＝８＋ａｂｓ（Ｅ）・・・式（２）
これは、タイル境界近傍の画素の斜め方向エッジ量の絶対値が大きいほど、その画素に施すローパスフィルタの平滑化度を弱くすることを意味する。
【００６７】
なお、本実施例では、ＪＰＥＧ２０００の圧縮伸長方式を代表例として説明を行ったが、圧縮伸長方式はこれに限らず、ブロック境界情報を圧縮符号に含むことができる圧縮伸長方式なら、いかなる圧縮伸長方式を用いても良い。
【００６８】
本発明によると、ブロック境界近傍の画素におけるエッジ量に応じてローパスフィルタの強度を適応的に制御することにより、ブロック境界歪みを抑制しつつ、ブロック境界近傍でエッジが強い場合に生じる帯状の画質劣化をなくすことができる。
【００６９】
（実施例８）
図２２は、タイル境界からの画素間距離と、タイル境界近傍の画素のエッジ量とを用いた適応的ローパスフィルタ処理の一例を説明するための図である。図２２（Ａ）は、図１７に示した点線部を拡大した状態を示す図である。図２２（Ｂ）は、エッジ量算出フィルタの一例を示し、図２２（Ｃ）は、適応的ローパスフィルタの一例を示す図である。本実施例では、タイル境界からの画素間距離と、タイル境界近傍の画素のエッジ量とに応じてローパスフィルタの強度を切り換える。タイル境界近傍の画素に対し、下記の（１）、（２）を算出する。
（１）タイル境界からの画素間距離
（２）タイル境界近傍の画素のエッジ量（図２２（Ｂ）に示すエッジ量算出フィルタにより算出）
【００７０】
上記（１）画素間距離、（２）斜め方向のエッジ量に応じて、ローパスフィルタの強度を制御する。本実施例では、画素間距離が大きいほど、またエッジ量の絶対値が大きいほど、ローパスフィルタの中央の係数値：ｍを大きくする。図２２（Ｃ）に示す適応的ローパスフィルタの例では、中央の係数値をｍとし、タイル境界からの画素間距離をｄとし、図２２（Ｂ）に示すエッジ量算出フィルタで算出されたエッジ量をＥとするとき、下記の式（３）、式（４）により中央の係数値：ｍが算出される。
ｄ＝０ならばｍ＝８                                      ・・・式（３）
ｄ＞０ならばｍ＝ｍａｘ（８＋６４＊ｄ，８＋ａｂｓ（Ｅ））・・・式（４）
これは、タイル境界からの画素間距離が大きいほど、タイル境界近傍の画素のエッジ量の絶対値が大きいほど、施すローパスフィルタの平滑化度を小さくするということを意味する。上記式（３）でｄ＝０の場合のみ独立に制御したのは、タイル境界の最近傍の画素に対しては無条件に平滑化度の強いローパスフィルタを施さないと、タイル境界が逆に目立ってしまうためである。
【００７１】
なお、本実施例では、ＪＰＥＧ２０００の圧縮伸長方式を代表例として説明を行ったが、圧縮伸長方式はこれに限らず、ブロック境界情報を圧縮符号に含むことができる圧縮伸長方式なら、いかなる圧縮伸長方式を用いても良い。
【００７２】
本発明によると、ブロック境界からの画素間距離と、注目画素におけるエッジ量に応じてローパスフィルタの強度を適応的に制御することにより、ブロック境界歪みを抑制しつつ、ブロック境界近傍でエッジが強い場合に生じる画質劣化を、より目立たなくすることができる。また、圧縮時における階層数に応じてローパスフィルタを制御することにより、ウェーブレット変換におけるいかなる階層数においても副作用なくブロック境界歪みを抑制することができる。さらに、圧縮率に応じて最適な強度のローパスフィルタをかけることにより、いかなる圧縮率においてもタイル境界歪み抑制を実現することができる。
【００７３】
【発明の効果】
本発明によると、タイル境界の近傍にローパスフィルタをかけることにより、タイル境界歪みを抑制することができるとともに、ローパスフィルタをかける範囲を最適化することが可能となる。また、ローパスフィルタの強度を適応的に制御することにより、ブロック境界歪みを抑制しつつ、ブロック境界近傍でエッジが強い場合に生じる画質劣化を抑制することができる。
【図面の簡単な説明】
【図１】  ＪＰＥＧ２０００アルゴリズムの基本を説明するためのブロック図である。
【図２】  タイル分割されたカラー画像の各コンポーネントの例を示す図である。
【図３】  デコンポジションレベル数が３の場合の、各デコンポジションレベルにおけるサブバンドの一例を示す図である。
【図４】  プレシンクトとコードブロックの関係の一例を説明する図である。
【図５】  ビットプレーンに順位付けする手順の一例を説明するための図である。
【図６】  コードストリームの構造の一例を簡単に示した図である。
【図７】  本発明における画像伸長部の一例を説明するためのブロック図である。
【図８】  ３階層のＷａｖｅｌｅｔ変換を用いた場合のタイル境界平滑化部における処理の一例を示す図である。
【図９】  ２階層のＷａｖｅｌｅｔ変換を用いた場合のタイル境界平滑化部における処理の一例を示す図である。
【図１０】  Ｗａｖｅｌｅｔ変換の階層数に応じてマスクサイズを可変にしたローパスフィルタの一例を示す図である。
【図１１】  本発明における画像伸長部の他の例を説明するためのブロック図である。
【図１２】  圧縮率に応じたローパスフィルタの一例を示す図である。
【図１３】  図１２に示したそれぞれのローパスフィルタの周波数特性を示す図である。
【図１４】  本発明における画像伸長部の他の例を説明するためのブロック図である。
【図１５】  ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を説明するための図である。
【図１６】  ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を説明するための図である。
【図１７】  タイル境界平滑化部における処理の一例を説明するための図である。
【図１８】  タイル境界からの画素間距離の算出方法の一例を説明するための図である。
【図１９】  タイル境界からの画素間距離を用いた適応的ローパスフィルタ処理の一例を説明するための図である。
【図２０】  圧縮率に応じたローパスフィルタの一例を示す図である。
【図２１】  タイル境界近傍の画素のエッジ量を用いた適応的ローパスフィルタ処理の一例を説明するための図である。
【図２２】  タイル境界からの画素間距離と、タイル境界近傍の画素のエッジ量とを用いた適応的ローパスフィルタ処理の一例を説明するための図である。
【符号の説明】
１１…色空間変換・逆変換部、１２…２次元ウェーブレット変換・逆変換部、１３…量子化・逆量子化部、１４…エントロピー符号化・復号化部、１５…タグ処理部、２１，２２，２３…コンポーネント、２１t，２２t，２３t…タイル、３０…デコンポジションレベル０のタイル、３１…デコンポジションレベル１のタイル、３２…デコンポジションレベル２のタイル、３３…デコンポジションレベル３のタイル、４０t0〜４０t3，５０t0〜５０t3…タイル、４０p4，４０p6，５０p0〜５０p3…プレシンクト、４０b1，５０b3，５０w3…コードブロック、５０…原画像、６０…コードストリーム、６１…メインヘッダ、６２…タイルパートヘッダ、６３…ビットストリーム、６４…コードストリーム終端、７１，８１，９１…タグ処理部、７２，８２，９２…エントロピー復号化部、７３，８３，９３…逆量子化部、７４，８４，９４…２次元Ｗａｖｅｌｅｔ逆変換部、７５，８６，９５…色空間逆変換部、７６，８５，９７…タイル境界平滑化部、９６…補正タイル境界探索部。
【図１】
0004118049.tif 000002
【図２】
0004118049.tif 000003
【図３】
0004118049.tif 000004
【図４】
0004118049.tif 000005
【図５】
0004118049.tif 000006
【図６】
0004118049.tif 000007
【図７】
0004118049.tif 000008
【図８】
0004118049.tif 000009
【図９】
0004118049.tif 000010
【図１０】
0004118049.tif 000011
【図１１】
0004118049.tif 000012
【図１２】
0004118049.tif 000013
【図１３】
0004118049.tif 000014
【図１４】
0004118049.tif 000015
【図１５】
0004118049.tif 000016
【図１６】
0004118049.tif 000017
【図１７】
0004118049.tif 000018
【図１８】
0004118049.tif 000019
【図１９】
0004118049.tif 000020
【図２０】
0004118049.tif 000021
【図２１】
0004118049.tif 000022
【図２２】
0004118049.tif 000023