(57)【要約】【課題】出力倍率に応じて適応的ローパスフィルタの強度を変えることにより、出力倍率を変えたときでもタイル境界歪みが目立たないようにする。【解決手段】出力倍率判定部６では、出力倍率が拡大出力であるか縮小出力であるかを判定する。拡大出力のとき、色空間逆変換されたＲＧＢデータがタイル境界平滑化部７に入力され、出力倍率が縮小出力であるとき、ＲＧＢデータがタイル境界平滑化部８に入力される。拡大出力用のタイル境界平滑化部７では、縮小出力用のタイル境界平滑化部８に比べて平滑化度の強いローパスフィルタをかける。【選択図】　　　　図７
2004046583.tif 000002
【特許請求の範囲】
【請求項１】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界の歪みを補正する補正手段を備え、前記補正手段は、表示倍率に応じてブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することを特徴とする画像処理装置。
【請求項２】
前記補正手段は、表示倍率が高いほどローパスフィルタの平滑化度を強くすることを特徴とする請求項１記載の画像処理装置。
【請求項３】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界の歪みを補正する補正手段を備え、前記補正手段は、印刷倍率に応じてブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することを特徴とする画像処理装置。
【請求項４】
前記補正手段は、印刷倍率が高いほどローパスフィルタの平滑化度を強くすることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記ブロック境界からの画素間距離とブロック境界近傍画素におけるエッジ量を算出する手段を備え、前記補正手段は、前記表示倍率または印刷倍率、前記画素間距離、前記エッジ量に応じてローパスフィルタの強度を制御することを特徴とする請求項１または３記載の画像処理装置。
【請求項６】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界の歪みを補正する補正手段を備え、前記補正手段は、画像の解像度に応じてブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することを特徴とする画像処理装置。
【請求項７】
前記補正手段は、解像度が小さいほどローパスフィルタの平滑化度を強くすることを特徴とする請求項６記載の画像処理装置。
【請求項８】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界の歪みを補正する補正手段を備え、前記補正手段は、画像サイズに応じてブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することを特徴とする画像処理装置。
【請求項９】
前記補正手段は、画像サイズが大きいほどローパスフィルタの平滑化度を強くすることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記補正手段は、画像サイズが所定値より小さいときローパスフィルタをオフとすることを特徴とする請求項８記載の画像処理装置。
【請求項１１】
前記ブロック境界からの画素間距離とブロック境界近傍画素におけるエッジ量を算出する手段を備え、前記補正手段は、前記解像度または画像サイズ、前記画素間距離、前記エッジ量に応じてローパスフィルタの強度を制御することを特徴とする請求項６または８記載の画像処理装置。
【請求項１２】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、伸長時にＲＯＩ境界を検出する手段と、ＲＯＩ境界に対して平滑化を行う手段とを備え、前記平滑化を行う手段は、ＲＯＩ境界の近傍の画素の状態または位置に応じて適応的にローパスフィルタを施すことを特徴とする画像処理装置。
【請求項１３】
前記平滑化を行う手段は、ＲＯＩ境界からの距離に応じてＲＯＩ境界近傍の画素に施すローパスフィルタを制御することを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
前記平滑化を行う手段は、ＲＯＩ境界近傍の画素におけるエッジ量に応じてＲＯＩ境界近傍の画素に施すローパスフィルタを制御することを特徴とする請求項１２記載の画像処理装置。
【請求項１５】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することによりブロック境界の歪みを補正する補正手段を備え、ブロック境界歪み抑制のためのローパスフィルタを、ＲＯＩ領域の境界部に施すローパスフィルタに使用することを特徴とする画像処理装置。
【請求項１６】
画像をブロックに分割し、ブロック毎に圧縮伸長する手段と、ブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することによりブロック境界の歪みを補正する補正手段を備え、前記補正手段は、画像の圧縮率と、ブロック境界近傍がＲＯＩ領域内部にあるかＲＯＩ領域外部にあるかに応じて適応的ローパスフィルタの強度を制御することを特徴とする画像処理装置。
【請求項１７】
前記補正手段は、画像の圧縮率が大きいとき、ＲＯＩ領域内部に施す適応的ローパスフィルタの強度を、ＲＯＩ領域外部より強くすることを特徴とする請求項１６記載の画像処理装置。
【請求項１８】
前記補正手段は、画像の圧縮率が小さいとき、ＲＯＩ領域内部に施す適応的ローパスフィルタの強度を、ＲＯＩ領域外部より弱くすることを特徴とする請求項１６記載の画像処理装置。
【請求項１９】
画像をブロックに分割し、ブロック毎に圧縮伸長し、ブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することによりブロック境界の歪みを補正する画像処理方法であって、表示倍率または印刷倍率に応じて前記ローパスフィルタの強度を制御することを特徴とする画像処理方法。
【請求項２０】
画像をブロックに分割し、ブロック毎に圧縮伸長し、ブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することによりブロック境界の歪みを補正する画像処理方法であって、画像の解像度に応じて前記ローパスフィルタの強度を制御することを特徴とする画像処理方法。
【請求項２１】
画像をブロックに分割し、ブロック毎に圧縮伸長し、ブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することによりブロック境界の歪みを補正する画像処理方法であって、画像サイズに応じて前記ローパスフィルタの強度を制御することを特徴とする画像処理方法。
【請求項２２】
画像をブロックに分割し、ブロック毎に圧縮伸長し、伸長時に検出されたＲＯＩ境界に対して平滑化を行う画像処理方法であって、ＲＯＩ領域とＲＯＩ領域外との境界の近傍の画素の状態または位置に応じて適応的にローパスフィルタを施すことを特徴とする画像処理方法。
【請求項２３】
画像をブロックに分割し、ブロック毎に圧縮伸長し、ブロック境界近傍に対するローパスフィルタの周波数特性を適応的に制御することによりブロック境界の歪みを補正する画像処理方法であって、画像の圧縮率と、ブロック境界近傍がＲＯＩ領域内部にあるかＲＯＩ領域外部にあるかに応じて前記ローパスフィルタの強度を制御することを特徴とする画像処理方法。
【請求項２４】
請求項１〜１８のいずれか１つに記載の画像処理装置の各手段として、コンピュータを機能させるためのプログラム。
【請求項２５】
請求項１〜１８のいずれか１つに記載の画像処理装置の各手段として、コンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、タイル境界歪みを抑制した画像処理装置に関し、例えば携帯電話、デジタルカメラ、インターネット、医療用画像、衛星通信用画像などの画像を扱う機器、アプリケーションプログラム、プリンタドライバ等のデバイスドライバに好適な技術である。
【０００２】
【従来の技術】
高精細画像の取扱いを容易にする画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００がある。ＪＰＥＧ２０００では、画像を矩形領域（タイル）　に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作をタイル毎に独立に行うことができる。
【０００３】
このような分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、「Ｊ．　Ｘ．　Ｗｅｉ，　Ｍ．　Ｒ．　Ｐｉｃｋｅｒｉｎｇ，　Ｍ．　Ｒ．　Ｆｒａｔｅｒ　ａｎｄ　Ｊ．　Ｆ．　Ａｒｎｏｌｄ，”Ａ　Ｎｅｗ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｒｅｄｕｃｉｎｇ　Ｂｏｕｎｄａｒｙ　Ａｒｔｉｆａｃｔｓ　ｉｎ　Ｂｌｏｃｋ−Ｂａｓｅｄ　Ｗａｖｅｌｅｔ　Ｉｍａｇｅ　Ｃｏｍｐｒｅｓｓｉｏｎ，”　ｉｎ　ＶＣＩＰ　２０００，　Ｋ．　Ｎ．　Ｎｇａｎ，　Ｔ．　Ｓｉｋｏｒａ，　Ｍ−Ｔ　Ｓｕｎ　Ｅｄｓ．，　Ｐｒｏｃ．　ｏｆ　ＳＰＩＥ　Ｖｏｌ．　４０６７，　ｐｐ．　１２９０−１２９５，　２０−２３　Ｊｕｎｅ　２０００，　Ｐｅｒｔｈ，　Ａｕｓｔｒａｌｉａ」にも記載されているように、圧縮率の高い条件で圧縮伸長処理を行った場合、伸長後の画像においてタイルの境界が不連続となるという問題がある。
【０００４】
そこで、従来、このタイル境界歪みを解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理する手法が提案されている。ただし、ＪＰＥＧ２０００の基本仕様では、隣接するタイル境界を重複させないよう規定されている。
【０００５】
また、他の方法として、タイル境界の画素にローパスフィルタをかけて平滑化する方法がある。さらに、本出願人によって、タイル境界からの距離に応じてローパスフィルタの平滑化度を制御する手法、タイル境界からの距離が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法、タイル境界の近傍の画素に対してエッジ量を算出し、エッジ量に応じてローパスフィルタの平滑化度を制御する手法、エッジ量が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法、さらに、タイル境界からの距離とその画素でのエッジ量に応じてローパスフィルタを制御する手法、つまり、タイル境界から離れるにつれて、また、エッジ量が大きくなるにつれてローパスフィルタの平滑化度を弱くする手法が提案されている。
【０００６】
これらの処理により、タイル境界歪みが抑制される。また、タイル境界にローパスフィルタをかけると画像のエッジ部がタイル境界をまたぐような場合に、帯状の劣化（つまり、タイル境界付近が帯状に平滑化されることによるエッジ画像の帯状のぼやけ）が発生してしまうが、上記したようにエッジ量に応じてローパスフィルタの平滑化度を制御することにより、エッジ量が大きい場合でも帯状のぼやけた画像の発生を抑制することができる。
【０００７】
【発明が解決しようとする課題】
しかし、表示倍率または印刷倍率などの出力倍率を変えると、等倍時には見えなかったタイル境界歪みの目立ち方が変わる場合がある。一般に圧縮伸長画像を拡大出力するとタイル境界歪みが目立つようになる。
【０００８】
本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、出力倍率に応じて適応的ローパスフィルタの強度を変えることにより、すなわち、出力倍率を大きくするほど適応的ローパスフィルタの平滑化度を強くすることにより、出力倍率を変えたときでもタイル境界歪みが目立たないようにした画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【０００９】
また、解像度が小さくなるにつれてタイル境界歪みが目立ちやすくなる。そこで、本発明の他の目的は、解像度が小さくなるにつれて適応的ローパスフィルタの強度を強くすることにより、いかなる解像度においてもタイル境界歪みが目立たないようにした画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１０】
また、画像サイズが大きくなるにつれてタイル境界歪みが目立ちやすくなる。そこで、本発明の他の目的は、画像サイズが大きくなるにつれて適応的ローパスフィルタの強度を強くすることにより、いかなる画像サイズにおいてもタイル境界歪みが目立たないようにした画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１１】
また、画像全体の圧縮率が小さければＲＯＩ領域内部の圧縮率はさらに小さくなるのでタイル境界歪みはより目立たなくなる。そこで、本発明の他の目的は、ＲＯＩ領域外部に適応的ローパスフィルタをかけることにより、ＲＯＩ領域外部のタイル境界歪みを抑制した画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１２】
逆に、画像全体の圧縮率が大きければＲＯＩ領域内部のタイル境界歪みが目立つ。ＲＯＩ領域外部は注目していない領域であるのでタイル境界歪みがあっても気にならない場合が多い。そこで、本発明の他の目的は、注目すべき特定領域であるＲＯＩ領域内部のみに適応的ローパスフィルタをかけることにより、ＲＯＩ領域内部のタイル境界歪みを抑制した画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１３】
本発明のさらに他の目的は、ＲＯＩ領域の境界がはっきり見えてしまうのを防止するために、タイル境界歪み用の適応的ローパスフィルタをＲＯＩ境界ぼかしに用いることにより、ＲＯＩ境界ぼかしのために別にフィルタを用意する必要がなく経済的である、画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１４】
【課題を解決するための手段】
本発明では、画像をブロック（タイル）に分割し、ブロック毎に圧縮・伸長した画像データに対し、ブロック境界の近傍の画素にブロック境界からの距離に応じて適応的ローパスフィルタを施しブロック境界歪みを補正する手段を有し、表示倍率、印刷倍率、解像度、画像サイズに応じて適応的ローパスフィルタの強度を制御する。
【００１５】
本発明では、圧縮・伸長された画像データに対し、ＲＯＩ領域とＲＯＩ領域外との境界の近傍の画素の状態（ＲＯＩ境界近傍の画素におけるエッジ量）または位置（ＲＯＩ境界からの距離）に応じて適応的にローパスフィルタを施す。
【００１６】
本発明では、画像をブロックに分割し、ブロック毎に圧縮・伸長した画像データに対し、ブロック境界の近傍の画素にブロック境界からの距離に応じて適応的ローパスフィルタを施しブロック境界歪みを補正する手段を有し、ブロック境界歪み抑制のためのローパスフィルタを、ＲＯＩ領域の境界部に施すローパスフィルタにも使用し、また、ＲＯＩ領域内部とＲＯＩ領域外部で適応的ローパスフィルタの強度を制御する。画像全体の圧縮率が大きいときには、ＲＯＩ領域内部の適応的ローパスフィルタの強度をＲＯＩ領域外部より強くし、画像全体の圧縮率が小さいときには、ＲＯＩ領域内部の適応的ローパスフィルタの強度をＲＯＩ領域外部より弱くする。
【００１７】
タイル境界にローパスフィルタをかけるとエッジがタイル境界をまたぐような場合に帯状の劣化が発生するという副作用があるが、その劣化は縮小画像に比べて拡大画像の方が激しいので、本発明では副作用を極力抑制するために、拡大画像は縮小画像に比べて平滑化度の強い適応的ローパスフィルタをかける。
【００１８】
【発明の実施の形態】
以下、本発明の実施例を図面を用いて具体的に説明する。
本発明を説明する前に、ＪＰＥＧ２０００についてその概要を説明する。
【００１９】
図１は、ＪＰＥＧ２０００アルゴリズムの基本を説明するための図である。ＪＰＥＧ２０００アルゴリズムは、色空間変換・逆変換部１１１、２次元ウエーブレット変換・逆変換部１１２、量子化・逆量子化部１１３、エントロピー符号化・復号化部１１４、タグ処理部１１５で構成されている。
【００２０】
図２は、タイル分割されたカラー画像の各コンポーネントの例を示す。カラー画像は、一般に、図２に示すように、原画像の各コンポーネント２０１、２０２、２０３（ここではＲＧＢ原色系）が、矩形領域（タイル）に分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００２１】
符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換部１１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部１１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００２２】
図３は、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０（３００））に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１（３０１）に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２（３０２）に示すサブ・バンド
（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３（３０３）に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。更に図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
【００２３】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化部１１３で対象ビット周辺のビットからコンテキストが生成される。
【００２４】
量子化処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図５に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００２５】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。図６は、その手順を簡単に示す。この例では、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤー」についての概念図をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー０、１、２、３は、各々、１、３、１、３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤーは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤーから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００２６】
エントロピー符号化部１１４（図１参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１５は、エントロピー符号化部１１４からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
【００２７】
図４は、コードストリームの構造を簡単に示す。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
【００２８】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１１１によって元の表色系のデータに変換される。
【００２９】
（実施例１）
図７は、本発明の実施例１に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。本実施例では、出力倍率判定部６と、拡大出力用のタイル境界平滑化部７と、縮小出力用のタイル境界平滑化部８が設けられている。
【００３０】
例えば利用者が出力倍率判定部６に対して出力倍率を指定する。出力倍率判定部６では、指定された出力倍率が拡大出力であると判定したとき、色空間逆変換部５で逆変換されたＲＧＢデータがタイル境界平滑化部７に入力され、タイル境界の近傍の画素に平滑化を行う。出力倍率判定部６で、指定された出力倍率が縮小出力であると判定したとき、色空間逆変換部５で逆変換されたＲＧＢデータがタイル境界平滑化部８に入力され、タイル境界の近傍の画素に平滑化を行う。
【００３１】
図８は、タイル境界平滑化部７の具体例を示し、タイル境界の近傍の画素（図８（ａ）の灰色の領域の画素（例えば境界を挟んだ計８画素））に対してローパスフィルタをかける。
【００３２】
図８（ｂ）は、縦方向タイル境界におけるローパスフィルタの一例を示す。
（ｂ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、縦方向のタイル境界歪みを抑制する。本実施例では、１次元の横長のフィルタ（５画素×１画素）の例で説明したが、横方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００３３】
図８（ｃ）は、横方向タイル境界におけるローパスフィルタの一例を示す。
（ｃ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、横方向のタイル境界歪みを抑制する。本実施例では、１次元の縦長のフィルタ（１画素×５画素）の例で説明したが、縦方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００３４】
図８（ｄ）は、タイル境界とタイル境界の交点の近傍におけるローパスフィルタの一例を示す。（ｄ）に示すように、十字型のローパスフィルタをかけることにより、タイル境界交点付近のタイル境界歪みを抑制する。本実施例では、十字型のフィルタの例で説明したが、縦方向と横方向の周波数成分をともに除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００３５】
図９は、タイル境界平滑化部８の具体例を示し、タイル境界の近傍の画素（図９（ａ）の灰色の領域の画素（例えば境界を挟んだ計８画素））に対してローパスフィルタをかける。
【００３６】
図９（ｂ）は、縦方向タイル境界におけるローパスフィルタの一例を示す。
（ｂ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、縦方向のタイル境界歪みを抑制する。本実施例では、１次元の横長のフィルタ（５画素×１画素）の例で説明したが、横方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。図８（ｂ）に比べてフィルタの中央の係数（値８）が大きくなっているが、これは拡大出力よりも縮小出力の方がローパスフィルタの平滑化度が小さいことを意味する。
【００３７】
図９（ｃ）は、横方向タイル境界におけるローパスフィルタの一例を示す。
（ｃ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、横方向のタイル境界歪みを抑制する。本実施例では、１次元の縦長のフィルタ（１画素×５画素）の例で説明したが、縦方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。図８（ｃ）に比べてフィルタの中央の係数（値８）が大きくなっているが、これは拡大出力よりも縮小出力の方がローパスフィルタの平滑化度が小さいことを意味する。
【００３８】
図９（ｄ）は、タイル境界とタイル境界の交点の近傍におけるローパスフィルタの一例を示す。（ｄ）に示すように、十字型のローパスフィルタをかけることにより、タイル境界交点付近のタイル境界歪みを抑制する。本実施例では、十字型のフィルタの例で説明したが、縦方向と横方向の周波数成分をともに除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。図８（ｄ）に比べてフィルタの中央の係数（値８）が大きくなっているが、これは拡大出力よりも縮小出力の方がローパスフィルタの平滑化度が小さいことを意味する。
【００３９】
上記したように、本実施例では、拡大出力の方が縮小出力に比べてタイル境界歪みが目立ちやすいので、拡大出力の際に適用されるタイル境界平滑化部７の方が、縮小出力の際に適用されるタイル境界平滑化部８よりも平滑化度合いを大きくしている。
【００４０】
また、本実施例における出力とは表示または印刷を意味する。従って、上記した拡大出力とは拡大表示または拡大印刷のことであり、縮小出力とは縮小表示または縮小印刷のことである。表示と印刷以外でも（例えば「保存」など）タイル境界歪みの度合いが可変の出力であればいかなる出力でも良い。
【００４１】
（実施例２）
図１０は、本発明の実施例２に係る伸長部の構成を示す。本実施例では、さらに、距離／エッジ量算出部９が設けられている。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００４２】
まず、本実施例では、タイル境界からの画素間距離に応じてタイル境界平滑化部７、８のローパスフィルタ強度を切り換える。
【００４３】
図１１は、タイル境界からの距離の算出方法を説明する図である。各画素において、上下左右のタイル境界からの距離が算出される。それらの最小値を該画素におけるタイル境界からの距離とする。なお、タイル境界の位置、タイル境界の方向は符号化データに含まれる情報により取得する。
【００４４】
図１２に示すように、本実施例では縦方向のタイル境界の近傍の画素に対しては、１次元の横方向のローパスフィルタを用いる（図１２（ａ））。横方向のタイル境界の近傍の画素に対しては、１次元の縦方向のローパスフィルタを用いる（図１２（ｂ））。タイル境界の交点の近傍画素に対しては、十字型のローパスフィルタを用いる（図１２（ｃ））。実施例１と同様に、これは一例であり、縦方向のタイル境界近傍の画素には横方向の周波数成分を除去するようなフィルタであればいかなるフィルタであってもよいし、同様に、横方向のタイル境界近傍の画素には縦方向の周波数成分を除去するようなフィルタならばいかなるフィルタであってもよいし、タイル境界の交点近傍の画素には縦方向周波数成分と横方向の周波数成分をともに除去するようなフィルタであればいかなるフィルタであってもよい。
【００４５】
本実施例では、タイル境界からの画素間距離を用いて図１２のローパスフィルタを適応的に処理する。すなわち、この例では、ローパスフィルタは注目画素の位置の係数（フィルタの中央の係数ｍ）のみ変化させる。画素間距離が大きくなるにつれて、徐々に係数ｍの値を大きくする。
図１２の例では、中央の係数ｍは、
ｍ＝４＋６４＊ｄ　　拡大出力
ｍ＝８＋１２８＊ｄ　縮小出力
で算出される。ここでｄは画素間距離を表す。これは、タイル境界からの画素間距離が大きくなるにつれて施すローパスフィルタの平滑化度を弱くすることを意味する。
【００４６】
また、本実施例では、タイル境界からの画素間距離とタイル境界近傍の画素のエッジ量に応じて、タイル境界平滑化部７、８のローパスフィルタ強度を切り換える処理も行う。図１３は、タイル境界からの画素間距離とエッジ量によるローパスフィルタ制御を説明する図である。
【００４７】
距離／エッジ量算出部９はタイル境界近傍の画素に対し、
（１）タイル境界からの画素間距離（図１３（ａ））
（２）エッジ量算出フィルタ（図１３（ｂ））でエッジ量
を算出する。また、タイル境界の方向は符号化データに含まれる情報により取得する。
【００４８】
本実施例では、タイル境界が縦方向の近傍画素ならば、図１３（ｃ）に示すような横長のローパスフィルタをかける。タイル境界が横方向の近傍画素ならば、図１３（ｄ）に示すような縦長のローパスフィルタをかける。タイル境界の交点近傍の画素ならば、図１３（ｅ）に示すような十字型のローパスフィルタをかける。これは一例であり、縦方向のタイル境界近傍の画素には横方向の周波数成分を除去するようなフィルタであればいかなるフィルタであってもよいし、横方向のタイル境界近傍の画素には縦方向の周波数成分を除去するようなフィルタならばいかなるフィルタであってもよいし、タイル境界の交点近傍の画素には縦方向周波数成分と横方向の周波数成分をともに除去するようなフィルタであればいかなるフィルタであってもよい。
【００４９】
そして、算出された画素間距離と斜め方向のエッジ量に応じて、タイル境界平滑部７、８のローパスフィルタ強度を制御する。なお、エッジ量として斜め方向のエッジ量を算出する理由は、縦、横方向のタイル境界をエッジとして検出しないためである。
【００５０】
本実施例では、画素間距離が大きいほど、またエッジ量の絶対値が大きいほど、ローパスフィルタの中央値ｍを大きくする。図１３（ｃ）〜（ｅ）に示す適応的ローパスフィルタの例では、中央の係数値をｍとし、画素間距離をｄとし、上記したエッジ量をＥとするとき、
ｄ＝０　ならば
ａｂｓ（Ｅ）＞＝２５５　ならば
ｍ＝４＋ａｂｓ（Ｅ）；拡大出力
ｍ＝８＋ａｂｓ（Ｅ）；縮小出力
ａｂｓ（Ｅ）＜２５５　ならば
ｍ＝４；拡大出力
ｍ＝８；縮小出力
ｄ＞０　ならば
ｍ＝ｍａｘ（４＋６４＊ｄ，４＋ａｂｓ（Ｅ））；拡大出力
ｍ＝ｍａｘ（８＋１２８＊ｄ，８＋ａｂｓ（Ｅ））；縮小出力
によって、中央の係数値ｍを算出する。
【００５１】
これは、タイル境界からの画素間距離ｄが大きいほど、タイル境界近傍の画素のエッジ量の絶対値ａｂｓ（Ｅ）が大きいほど、施すローパスフィルタの平滑化度を小さくする、ということを意味する。ｄ＝０の場合のみ独立に制御した理由は、タイル境界の最近傍の画素に対してはある程度平滑化度の強いローパスフィルタを施さないと、タイル境界が目立ってしまうからである。
【００５２】
上記したように、本実施例においても、実施例１と同様に、拡大出力の際に適用されるタイル境界平滑化の方が、縮小出力の際に適用されるタイル境界平滑化よりも、平滑化度合いが大きい。これは、拡大出力の方が縮小出力に比べてタイル境界歪みが目立ちやすいためである。また、実施例１と同様に、本実施例においても、出力とは表示または印刷を意味し、拡大出力とは拡大表示または拡大印刷であり、縮小出力とは縮小表示または縮小印刷のことであり、表示と印刷以外でも（例えば「保存」など）タイル境界歪みの度合いが可変の出力であればいかなる出力でも良い。
【００５３】
（実施例３）
図１４は、本発明の実施例３に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。本実施例では解像度判定部１０が設けられ、画像の解像度に応じてタイル境界平滑化部７、８を切り換える。例えば、解像度判定部１０には所定の閾値が設定されていて、画像の解像度が所定の閾値未満である低解像度（解像度小）のときには、拡大出力に用いたタイル境界平滑化部７で適応的平滑化を行い、画像の解像度が所定の閾値以上である高解像度（解像度大）のときには、縮小出力に用いたタイル境界平滑化部８で適応的平滑化を行うように、切り換える。
【００５４】
このように、本実施例では、画像の解像度が小さいほど適応的ローパスフィルタの平滑化度を強くする。
【００５５】
（実施例４）
図１５は、本発明の実施例４に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。本実施例では画像サイズ判定部１１が設けられ、画像サイズ（原画像のサイズ）に応じてタイル境界平滑化部７、８を切り換える。例えば、画像サイズ判定部１１には所定の閾値が設定されていて、画像サイズが所定の閾値以上（サイズ大）のときには、拡大出力に用いたタイル境界平滑化部７で適応的平滑化を行い（平滑化度を強く）、画像サイズが所定の閾値未満（サイズ小）のときには、縮小出力に用いたタイル境界平滑化部８で適応的平滑化を行う（平滑化度を弱く）ように、切り換える。なお、画像サイズが所定の値より小さいとき、適応的ローパスフィルタをＯＦＦにしてもよい。
【００５６】
また、上記した実施例３、４においても、実施例２と同様に距離／エッジ量算出部を設け、タイル境界からの画素間距離とタイル境界近傍画素におけるエッジ量によってローパスフィルタの強度を制御してもよい。
【００５７】
（実施例５）
図１６は、本発明の実施例５に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００５８】
ＪＰＥＧ２０００では、注目すべき特定領域を指定し、該特定領域とそれ以外の領域との圧縮率を変えて圧縮伸長することができる。この注目すべき特定領域をＲＯＩ領域と言う。
【００５９】
ＲＯＩ領域内外の境界では、圧縮率が違うことから境界が目立ってしまう可能性がある。そこで、本実施例では、ＲＯＩ境界に対してローパスフィルタをかけ、ＲＯＩ領域の境界部の輪郭を目立たなくさせる。
【００６０】
図１７は、ＲＯＩ境界平滑化部１３の具体例を示す。ＲＯＩ境界検出部１２は、ＲＯＩ領域からＲＯＩ境界を検出する（図１６（ａ））。図１６（ｂ）は、図１６（ａ）の点線部を拡大した図である。そして、ＲＯＩ境界平滑化部１３では、ＲＯＩ境界の近傍の画素にローパスフィルタをかける。
【００６１】
図１８は、ＲＯＩ領域用平滑化フィルタ（ローパスフィルタ）の具体例である。この例では、ＲＯＩ境界の内側の１画素と外側の１画素についてローパスフィルタをかける例であるが、ＲＯＩ境界の輪郭の消える範囲までローパスフィルタをかける画素数（境界からの距離）を増やしても良い。また、図１２や図１３のように、ＲＯＩ境界からの距離やエッジ量に応じて適応的にローパスフィルタを制御しても良い。
【００６２】
さらに、前述した実施例１、２に示すタイル境界歪み抑制のためのローパスフィルタを、ＲＯＩ境界の輪郭除去のためのローパスフィルタに適用することにより、例えばハードウェア化する際のハード規模を小さくすることができる。
【００６３】
（実施例６）
図１９は、本発明の実施例６に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００６４】
本実施例では、ＲＯＩ境界検出部１２、圧縮率判定部１４、ＲＯＩ内部タイル境界平滑化部１５、ＲＯＩ外部タイル境界平滑化部１６を設け、すべてのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかける。このとき、画像全体の圧縮率に応じて、ＲＯＩ領域の内部にローパスフィルタをかけるのか、ＲＯＩ領域の外部にローパスフィルタをかけるのかを切り換える。ＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【００６５】
図２０は、ＲＯＩ内部タイル境界平滑化部１５の具体例を示し、図２１は、ＲＯＩ外部タイル境界平滑化部１６の具体例を示す。
【００６６】
ＲＯＩ境界検出部１２は実施例５と同様にして、ＲＯＩ領域からＲＯＩ境界を検出し、圧縮率判定部１４では画像全体の圧縮率を判定する。
【００６７】
一般的に、画像全体の圧縮率が低い場合、ＲＯＩ領域内部の圧縮率はより低くなり、タイル境界歪みは目立たなくなる。ＲＯＩ領域外部の圧縮率はそれに比べて高いためタイル境界歪みが目立つ可能性がある。
【００６８】
そこで、画像全体の圧縮率が低い場合、図２０（ａ）に示すように、注目すべきＲＯＩ領域内部のタイル境界近傍画素には非常に弱いローパスフィルタをかけるか、またはローパスフィルタをかけない。逆に、図２１（ａ）に示すように、ＲＯＩ領域外部のタイル境界近傍画素には比較的に強いローパスフィルタをかける。
【００６９】
また、一般的に、画像全体の圧縮率が高い場合、ＲＯＩ領域内部のタイル境界歪みが目立つようになる。ＲＯＩ領域外部はさらに圧縮率が高くなるので、画像としての情報がほとんどなくなる可能性が高い。
【００７０】
そこで、画像全体の圧縮率が高い場合、図２０（ｂ）に示すように、注目すべきＲＯＩ領域内部のタイル境界近傍画素には比較的強いローパスフィルタをかける。逆に、図２１（ｂ）に示すように、ＲＯＩ領域外部のタイル境界近傍画素には非常に弱いローパスフィルタをかけるか、またはローパスフィルタをかけない。
【００７１】
上記した各実施例ではＪＰＥＧ２０００の圧縮伸長方式を例にして説明したが、圧縮伸長方式はこれに限定されず、圧縮符号にブロック境界位置情報が含まれるような圧縮伸長方式であれば、いかなる圧縮伸長方式を用いても良い。
【００７２】
また、上記したように本発明はハードウェアによって実施できるが、汎用のコンピュータシステムを利用し、ソフトウェアによっても実施できることは言うまでもない。ソフトウェアで実施する場合には、本発明の画像処理装置の各手段（ブロック分割、圧縮伸長、ブロック境界歪み補正など）として、コンピュータを機能（動作）させるためのプログラムが記録媒体などに記録されていて、該記録媒体などからプログラムがコンピュータシステムに読み込まれてＣＰＵによって実行されることにより、本発明が実施される。
【００７３】
【発明の効果】
以上、説明したように、本発明によれば、以下のような効果が得られる。
（１）出力倍率に応じて適応的ローパスフィルタの強度を変えることにより、出力倍率を変えたときでもタイル境界歪みが目立たなくなる。
（２）解像度が小さくなるにつれてタイル境界歪みが目立ちやすくなるので、解像度が小さくなるにつれて適応的ローパスフィルタの強度を強くすることにより、いかなる解像度においてもタイル境界歪みが目立たなくなる。
（３）画像サイズが大きくなるにつれてタイル境界歪みが目立ちやすくなるので、画像サイズが大きくなるにつれて適応的ローパスフィルタの強度を強くすることにより、いかなる画像サイズにおいてもタイル境界歪みが目立たなくなる。
（４）ＲＯＩ領域の境界がはっきり見えるのを防止するために、タイル境界歪み用の適応的ローパスフィルタをＲＯＩ領域の境界ぼかしに用いることにより、ＲＯＩ領域の境界ぼかしのために別にフィルタを用意する必要がなく経済的である。
（５）画像全体の圧縮率が小さければＲＯＩ領域内部の圧縮率はさらに小さくなり、タイル境界歪みはより目立たなくなるので、ＲＯＩ領域外部に適応的ローパスフィルタをかけることにより、ＲＯＩ領域外部のタイル境界歪みを抑制できる。
（６）画像全体の圧縮率が大きければＲＯＩ領域内部のタイル境界歪みが目立ち、ＲＯＩ領域外部は注目していない領域であるのでタイル境界歪みがあっても目障りならない場合が多いので、注目すべき特定領域であるＲＯＩ領域内部のみに適応的ローパスフィルタをかけることにより、ＲＯＩ領域内部のタイル境界歪みが抑制される。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００アルゴリズムの基本を説明するための図である。
【図２】タイル分割されたカラー画像の各コンポーネントの例を示す。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示す。
【図４】コードストリームの構造を示す。
【図５】プレシンクトとコード・ブロックの関係を説明する図である。
【図６】ウエーブレット係数値をビットプレーンに順位付けする手順を示す。
【図７】本発明の実施例１に係る伸長部の構成を示す。
【図８】タイル境界平滑化部７の具体例を示す。
【図９】タイル境界平滑化部８の具体例を示す。
【図１０】本発明の実施例２に係る伸長部の構成を示す。
【図１１】タイル境界からの距離の算出方法を説明する図である。
【図１２】画素間距離によるローパスフィルタ制御を説明する図である。
【図１３】タイル境界からの距離とエッジ量によるローパスフィルタ制御を説明する図である。
【図１４】本発明の実施例３に係る伸長部の構成を示す。
【図１５】本発明の実施例４に係る伸長部の構成を示す。
【図１６】本発明の実施例５に係る伸長部の構成を示す。
【図１７】ＲＯＩ境界平滑化部１３の具体例を示す。
【図１８】ＲＯＩ領域用平滑化フィルタの具体例を示す。
【図１９】本発明の実施例６に係る伸長部の構成を示す。
【図２０】ＲＯＩ内部タイル境界平滑化部１５の具体例を示す。
【図２１】ＲＯＩ外部タイル境界平滑化部１６の具体例を示す。
【符号の説明】
１　タグ処理部
２　エントロピー復号化部
３　逆量子化部
４　２次元ウェーブレット逆変換部
５　色空間逆変換部
６　出力倍率判定部
７　拡大出力用のタイル境界平滑化部
８　縮小出力用のタイル境界平滑化部
【図１】
2004046583.tif 000003
【図２】
2004046583.tif 000004
【図３】
2004046583.tif 000005
【図４】
2004046583.tif 000006
【図５】
2004046583.tif 000007
【図６】
2004046583.tif 000008
【図７】
2004046583.tif 000009
【図８】
2004046583.tif 000010
【図９】
2004046583.tif 000011
【図１０】
2004046583.tif 000012
【図１１】
2004046583.tif 000013
【図１２】
2004046583.tif 000014
【図１３】
2004046583.tif 000015
【図１４】
2004046583.tif 000016
【図１５】
2004046583.tif 000017
【図１６】
2004046583.tif 000018
【図１７】
2004046583.tif 000019
【図１８】
2004046583.tif 000020
【図１９】
2004046583.tif 000021
【図２０】
2004046583.tif 000022
【図２１】
2004046583.tif 000023