(57)【要約】【課題】フレーム毎に最適なローパスフィルタをかけることによりタイル境界歪みを抑制する。【解決手段】選択部６にタイル境界処理ＯＮ信号が入力されると、色空間逆変換部５で逆変換されたＲＧＢデータがタイル境界平滑化部７に入力し、タイル境界の近傍の画素に平滑化を行う。選択部６にタイル境界ＯＦＦ信号が入力されると、タイル境界の近傍画素に対する平滑化を行わない。開始、終了、停止フレームでタイル境界の平滑化処理がＯＮとなり、それ以外のフレームではタイル境界の平滑化処理がＯＦＦとなる。【選択図】　　　　図７
2004064190.tif 000002
【特許請求の範囲】
【請求項１】
複数フレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮伸張する手段と、伸張後の各フレームにおけるブロック境界の歪みを抑制する抑制手段と、前記フレーム毎に前記抑制手段を機能させるか否かを選択する選択手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記選択手段は、動画像の開始フレームと最終フレームを選択して前記抑制手段を機能させることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記選択手段は、動画像の停止時のフレームを選択して前記抑制手段を機能させることを特徴とする請求項１記載の画像処理装置。
【請求項４】
前記選択手段に対して、利用者が動画像の再生を停止する指示を出すことを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記抑制手段は、ブロック境界近傍の画素に対しローパスフィルタを施すことを特徴とする請求項１〜３のいずれか１つに記載の画像処理装置。
【請求項６】
複数フレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮伸張する手段と、伸張後の各フレームにおけるブロック境界の歪みを抑制する抑制手段とを備え、前記抑制手段は、ブロック境界近傍の画素に施すローパスフィルタの強度を、フレームレートに応じて制御することを特徴とする画像処理装置。
【請求項７】
前記抑制手段は、フレームレートが大きくなるにつれて前記ローパスフィルタの強度を弱くすることを特徴とする請求項６記載の画像処理装置。
【請求項８】
前記抑制手段は、フレームレートが０のとき、前記ローパスフィルタの強度を強くすることを特徴とする請求項６記載の画像処理装置。
【請求項９】
前記抑制手段は、フレームレートが０でないとき、前記ローパスフィルタをかけないことを特徴とする請求項６記載の画像処理装置。
【請求項１０】
複数フレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮伸張する手段と、伸張後の各フレームにおけるブロック境界の歪みを抑制する抑制手段とを備え、前記抑制手段は、ブロック境界近傍の画素に施すローパスフィルタの強度を、各フレームの復号対象となる符号サイズに応じて制御することを特徴とする画像処理装置。
【請求項１１】
前記抑制手段は、復号対象となる符号サイズが小さいフレームに対しては強いローパスフィルタを施すことを特徴とする請求項１０記載の画像処理装置。
【請求項１２】
前記抑制手段は、復号対象となる符号サイズが大きいフレームに対しては弱いローパスフィルタ施すかまたはローパスフィルタを施さないことを特徴とする請求項１０記載の画像処理装置。
【請求項１３】
複数フレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮伸張する手段と、伸張後の各フレームにおけるブロック境界の歪みを抑制する抑制手段とを備え、前記抑制手段は、ブロック境界近傍の画素に施すローパスフィルタの強度を、各フレームの圧縮率に応じて制御することを特徴とする画像処理装置。
【請求項１４】
前記抑制手段は、圧縮率が小さいフレームに対しては弱いローパスフィルタを施すことを特徴とする請求項１３記載の画像処理装置。
【請求項１５】
前記抑制手段は、圧縮率が大きいフレームに対しては強いローパスフィルタを施すことを特徴とする請求項１３記載の画像処理装置。
【請求項１６】
複数フレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮伸張する手段と、伸張後の各フレームにおけるブロック境界の歪みを抑制する抑制手段とを備え、前記抑制手段は、所定の領域毎にブロック境界歪み抑制のためのローパスフィルタのオン／オフを制御することを特徴とする画像処理装置。
【請求項１７】
前記ローパスフィルタを施す領域は、ブロック境界近傍のＲＯＩ領域内部であることを特徴とする請求項１６記載の画像処理装置。
【請求項１８】
前記ＲＯＩ領域のブロック境界からの距離に応じてＲＯＩ領域内のタイル境界近傍の画素にかけるローパスフィルタの強度を制御することを特徴とする請求項１７記載の画像処理装置。
【請求項１９】
前記ＲＯＩ領域のブロック境界からの距離とＲＯＩ領域のタイル境界近傍画素におけるエッジ量に応じてＲＯＩ領域内のタイル境界近傍の画素にかけるローパスフィルタの強度を制御することを特徴とする請求項１７記載の画像処理装置。
【請求項２０】
複数フレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮伸張し、伸張後の各フレームにおけるブロック境界の歪みを抑制する画像処理方法であっって、前記フレーム毎に前記ブロック境界の歪みを抑制させるか否かを選択することを特徴とする画像処理方法。
【請求項２１】
複数フレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮伸張し、伸張後の各フレームにおけるブロック境界の歪みを抑制する画像処理方法であっって、前記ブロック境界の歪みを抑制する際に、フレームレートに応じてブロック境界近傍の画素に施すローパスフィルタの強度を制御することを特徴とする画像処理方法。
【請求項２２】
複数フレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮伸張し、伸張後の各フレームにおけるブロック境界の歪みを抑制する画像処理方法であっって、前記ブロック境界の歪みを抑制する際に、各フレームの復号対象となる符号サイズまたは圧縮率に応じてブロック境界近傍の画素に施すローパスフィルタの強度を制御することを特徴とする画像処理方法。
【請求項２３】
請求項１〜１６のいずれか１つに記載の画像処理装置の各手段として、コンピュータを機能させるためのプログラム。
【請求項２４】
請求項１〜１６のいずれか１つに記載の画像処理装置の各手段として、コンピュータを機能させるためのプログラムを記録したコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、タイル境界歪みを抑制した画像処理装置に関し、例えば携帯電話、デジタルカメラ、インターネット、医療用画像、衛星通信用画像などの画像を扱う機器、アプリケーションプログラム、プリンタドライバ等のデバイスドライバに好適な技術である。
【０００２】
【従来の技術】
高精細画像の取扱いを容易にする画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００がある。ＪＰＥＧ２０００では、画像を矩形領域（タイル）　に分割することにより、少ないメモリ環境下で圧縮伸張処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作をタイル毎に独立に行うことができる。
【０００３】
このような分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、「Ｊ．　Ｘ．　Ｗｅｉ，　Ｍ．　Ｒ．　Ｐｉｃｋｅｒｉｎｇ，　Ｍ．　Ｒ．　Ｆｒａｔｅｒ　ａｎｄ　Ｊ．　Ｆ．　Ａｒｎｏｌｄ，”Ａ　Ｎｅｗ　Ｍｅｔｈｏｄ　ｆｏｒ　Ｒｅｄｕｃｉｎｇ　Ｂｏｕｎｄａｒｙ　Ａｒｔｉｆａｃｔｓ　ｉｎ　Ｂｌｏｃｋ−Ｂａｓｅｄ　Ｗａｖｅｌｅｔ　Ｉｍａｇｅ　Ｃｏｍｐｒｅｓｓｉｏｎ，”　ｉｎ　ＶＣＩＰ　２０００，　Ｋ．　Ｎ．　Ｎｇａｎ，　Ｔ．　Ｓｉｋｏｒａ，　Ｍ−Ｔ　Ｓｕｎ　Ｅｄｓ．，　Ｐｒｏｃ．　ｏｆ　ＳＰＩＥ　Ｖｏｌ．　４０６７，　ｐｐ．　１２９０−１２９５，　２０−２３　Ｊｕｎｅ　２０００，　Ｐｅｒｔｈ，　Ａｕｓｔｒａｌｉａ」にも記載されているように、圧縮率の高い条件で圧縮伸長処理を行った場合、伸長後の画像においてタイルの境界が不連続となるという問題がある。
【０００４】
そこで、従来、このタイル境界歪みを解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理する手法が提案されている。ただし、ＪＰＥＧ２０００の基本仕様では、隣接するタイル境界を重複させないよう規定されている。
【０００５】
また、他の方法として、タイル境界の画素にローパスフィルタをかけて平滑化する方法がある。さらに、本出願人によって、タイル境界からの距離に応じてローパスフィルタの平滑化度を制御する手法、タイル境界からの距離が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法、タイル境界の近傍の画素に対してエッジ量を算出し、エッジ量に応じてローパスフィルタの平滑化度を制御する手法、エッジ量が大きくなるにつれてローパスフィルタの平滑化度を徐々に弱くする手法、さらに、タイル境界からの距離とその画素でのエッジ量に応じてローパスフィルタを制御する手法、つまり、タイル境界から離れるにつれて、また、エッジ量が大きくなるにつれてローパスフィルタの平滑化度を弱くする手法が提案されている。
【０００６】
これらの処理により、タイル境界歪みが抑制される。また、タイル境界にローパスフィルタをかけると画像のエッジ部がタイル境界をまたぐような場合に、帯状の劣化（つまり、タイル境界付近が帯状に平滑化されることによるエッジ画像の帯状のぼやけ）が発生してしまうが、上記したようにエッジ量に応じてローパスフィルタの平滑化度を制御することにより、エッジ量が大きい場合でも帯状のぼやけた画像の発生を抑制することができる。
【０００７】
【発明が解決しようとする課題】
ところで、動画の符号化規格として、静止画毎に符号化したつながり（コマ送り）で構成したＭｏｔｉｏｎ　ＪＰＥＧ２０００がある。
【０００８】
上記した静止画におけるタイル境界歪み抑制方式を動画に適用した場合、動画はフレーム毎に符号量が異なるので、符号量の大きいフレームは圧縮率が小さいことからタイル境界歪みが目立ち難いものの、符号量の小さいフレームは圧縮率が大きいのでタイル境界が目立ちやすくなる。
【０００９】
本発明は上記した問題点に鑑みてなされたもので、
本発明の目的は、フレーム毎に最適なローパスフィルタをかけることによりタイル境界歪みを抑制した画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１０】
また、動画を復号する際にローパスフィルタをかけると処理時間がかかり、動画がスムーズに再生できない場合がある。一般に、動画は静止画に比べてタイル境界歪みが目立ちにくい。そこで、本発明の他の目的は、最終フレーム再生時のみにローパスフィルタを施すか、再生中に利用者が停止の指示を送った場合に停止時に表示されたフレームのみにローパスフィルタをかけるようにした画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１１】
本発明のさらに他の目的は、ＲＯＩ領域内のみに適応的ローパスフィルタを施すことにより、タイル境界歪み抑制に要する処理時間を短縮した画像処理装置、方法、プログラムおよび記録媒体を提供することにある。
【００１２】
【課題を解決するための手段】
本発明では、符号量の小さいフレームは圧縮率が大きいのでタイル境界が目立ちやすく、平滑化度の強いローパスフィルタをかける。逆に符号量の大きいフレームは圧縮率が小さいのでタイル境界歪みが目立ちにくく、平滑化度の弱いローパスフィルタをかけるかまたはローパスフィルタをかけない。
【００１３】
本発明では、複数のフレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮・伸張を行い、伸張後の各フレームにおけるブロック境界歪みを除去する機能を有し、フレーム毎にブロック境界歪み方式を変える。
【００１４】
本発明では、フレーム毎にローパスフィルタの強度を変える。
【００１５】
本発明では、各フレームの復号対象となる符号サイズに応じて施すローパスフィルタの強度を制御する。
【００１６】
本発明では、復号対象となる符号サイズの小さいフレームには強いローパスフィルタを施す。
【００１７】
本発明では、復号対象となる符号サイズの大きいフレームには弱いローパスフィルタを施すかローパスフィルタをかけない。
【００１８】
本発明では、各フレームの圧縮率に応じて施すローパスフィルタの強度を制御する。
【００１９】
本発明では、複数のフレームからなる動画像の各フレームをブロックに分割し、ブロック毎に圧縮・伸張を行い、伸張後の各フレームにおけるブロック境界歪みを除去する機能を有し、フレームレートに応じてブロック境界歪み除去方式を制御する。
【００２０】
本発明では、フレームレートに応じてローパスフィルタの強度を制御する。
【００２１】
本発明では、フレームレートが大きくなるにつれてローパスフィルタの強度を弱くする。
【００２２】
本発明では、フレームレートが０の場合にはローパスフィルタの強度を強くし、フレームレートが０でない場合にはローパスフィルタをかけない。
【００２３】
本発明では、動画像の開始フレームと最終フレームにブロック境界歪み除去のためのローパスフィルタをかける。
【００２４】
本発明では、利用者が動画像の再生を停止する指示を出した場合、停止時のフレームのみにブロック境界歪み除去のためのローパスフィルタをかける。
【００２５】
本発明では、領域に応じてブロック境界歪み抑制手段のＯＮ／ＯＦＦを切り換える。
【００２６】
本発明では、ＲＯＩ内部にのみ適応的ローパスフィルタをかける。
【００２７】
本発明では、ＲＯＩ領域の境界からの距離に応じてＲＯＩ領域の境界の近傍にかけるローパスフィルタの強度を制御する。
【００２８】
本発明では、ＲＯＩ領域の境界からの距離とＲＯＩ境界近傍の画素におけるエッジ量に応じてＲＯＩ領域の境界近傍の画素にかけるローパスフィルタの強度を制御する。
【００２９】
【発明の実施の形態】
以下、本発明の実施例を図面を用いて具体的に説明する。
本発明を説明する前に、ＪＰＥＧ２０００についてその概要を説明する。
【００３０】
図１は、ＪＰＥＧ２０００アルゴリズムの基本を説明するための図である。ＪＰＥＧ２０００アルゴリズムは、色空間変換・逆変換部１１１、２次元ウエーブレット変換・逆変換部１１２、量子化・逆量子化部１１３、エントロピー符号化・復号化部１１４、タグ処理部１１５で構成されている。
【００３１】
図２は、タイル分割されたカラー画像の各コンポーネントの例を示す。カラー画像は、一般に、図２に示すように、原画像の各コンポーネント２０１、２０２、２０３（ここではＲＧＢ原色系）が、矩形領域（タイル）に分割される。そして、個々のタイル、例えば、Ｒ００，Ｒ０１，…，Ｒ１５／Ｇ００，Ｇ０１，…，Ｇ１５／Ｂ００，Ｂ０１，…，Ｂ１５が、圧縮伸長プロセスを実行する際の基本単位となる。従って、圧縮伸長動作は、コンポーネント毎、そしてタイル毎に、独立に行なわれる。
【００３２】
符号化時には、各コンポーネントの各タイルのデータが、図１の色空間変換部１１１に入力され、色空間変換を施されたのち、２次元ウェーブレット変換部１１２で２次元ウェーブレット変換（順変換）が適用されて周波数帯に空間分割される。
【００３３】
図３は、デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示している。すなわち、原画像のタイル分割によって得られたタイル原画像（０ＬＬ）（デコンポジション・レベル０（３００））に対して、２次元ウェーブレット変換を施し、デコンポジション・レベル１（３０１）に示すサブ・バンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）を分離する。そして引き続き、この階層における低周波成分１ＬＬに対して、２次元ウェーブレット変換を施し、デコンポジション・レベル２（３０２）に示すサブ・バンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）を分離する。順次同様に、低周波成分２ＬＬに対しても、２次元ウェーブレット変換を施し、デコンポジション・レベル３（３０３）に示すサブ・バンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）を分離する。更に図３では、各デコンポジション・レベルにおいて符号化の対象となるサブ・バンドを、グレーで表してある。例えば、デコンポジション・レベル数を３とした時、グレーで示したサブ・バンド（３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨ）が符号化対象となり、３ＬＬサブ・バンドは符号化されない。
【００３４】
次いで、指定した符号化の順番で符号化の対象となるビットが定められ、図１の量子化部１１３で対象ビット周辺のビットからコンテキストが生成される。
【００３５】
量子化処理が終わったウェーブレット係数は、個々のサブバンド毎に、「プレシンクト」と呼ばれる重複しない矩形に分割される。これは、インプリメンテーションでメモリを効率的に使うために導入されたものである。図５に示すように、一つのプレシンクトは、空間的に一致した３つの矩形領域からなっている。更に、個々のプレシンクトは、重複しない矩形の「コード・ブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００３６】
ウェーブレット変換後の係数値は、そのまま量子化し符号化することも可能であるが、ＪＰＥＧ２０００では符号化効率を上げるために、係数値を「ビットプレーン」単位に分解し、画素あるいはコード・ブロック毎に「ビットプレーン」に順位付けを行うことができる。図６は、その手順を簡単に示す。この例では、原画像（３２×３２画素）を１６×１６画素のタイル４つで分割した場合で、デコンポジション・レベル１のプレシンクトとコード・ブロックの大きさは、各々８×８画素と４×４画素としている。プレシンクトとコード・ブロックの番号は、ラスター順に付けられる。タイル境界外に対する画素拡張にはミラーリング法を使い、可逆（５，３）フィルタでウェーブレット変換を行い、デコンポジションレベル１のウェーブレット係数値を求めている。また、タイル０／プレシンクト３／コード・ブロック３について、代表的な「レイヤー」についての概念図をも併せて示している。レイヤーの構造は、ウェーブレット係数値を横方向（ビットプレーン方向）から見ると理解し易い。１つのレイヤーは任意の数のビットプレーンから構成される。この例では、レイヤー０、１、２、３は、各々、１、３、１、３つのビットプレーンから成っている。そして、ＬＳＢに近いビットプレーンを含むレイヤー程、先に量子化の対象となり、逆に、ＭＳＢに近いレイヤーは最後まで量子化されずに残ることになる。ＬＳＢに近いレイヤーから破棄する方法はトランケーションと呼ばれ、量子化率を細かく制御することが可能である。
【００３７】
エントロピー符号化部１１４（図１参照）では、コンテキストと対象ビットから確率推定によって、各コンポーネントのタイルに対する符号化を行う。こうして、原画像の全てのコンポーネントについて、タイル単位で符号化処理が行われる。最後にタグ処理部１１５は、エントロピー符号化部１１４からの全符号化データを１本のコード・ストリームに結合するとともに、それにタグを付加する処理を行う。
【００３８】
図４は、コードストリームの構造を簡単に示す。コード・ストリームの先頭と各タイルを構成する部分タイルの先頭にはヘッダと呼ばれるタグ情報が付加され、その後に、各タイルの符号化データが続く。そして、コード・ストリームの終端には、再びタグが置かれる。
【００３９】
一方、復号化時には、符号化時とは逆に、各コンポーネントの各タイルのコード・ストリームから画像データを生成する。図１を用いて簡単に説明する。この場合、タグ処理部１１５は、外部より入力したコード・ストリームに付加されたタグ情報を解釈し、コード・ストリームを各コンポーネントの各タイルのコード・ストリームに分解し、その各コンポーネントの各タイルのコード・ストリーム毎に復号化処理が行われる。コード・ストリーム内のタグ情報に基づく順番で復号化の対象となるビットの位置が定められるとともに、逆量子化部１１３で、その対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストが生成される。エントロピー復号化部１１４で、このコンテキストとコード・ストリームから確率推定によって復号化を行い対象ビットを生成し、それを対象ビットの位置に書き込む。このようにして復号化されたデータは各周波数帯域毎に空間分割されているため、これを２次元ウェーブレット逆変換部１１２で２次元ウェーブレット逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換部１１１によって元の表色系のデータに変換される。
【００４０】
（実施例１）
図７は、本発明の実施例１に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。本実施例では、選択部６と、タイル境界平滑化部７が設けられている。
【００４１】
図示しないＣＰＵから選択部６には、タイル境界処理ＯＮ／ＯＦＦ信号が入力される。選択部６にタイル境界処理ＯＮ信号が入力されると、色空間逆変換部５で逆変換されたＲＧＢデータがタイル境界平滑化部７に入力し、タイル境界の近傍の画素に平滑化を行う。選択部６にタイル境界ＯＦＦ信号が入力されると、タイル境界の近傍画素に対する平滑化を行わない。上記の処理をすべてのフレームについて行う。
【００４２】
図８は、フレームベースの動画のフォーマットを説明する図である。動画は、図７の伸長部の処理によって伸長された画像を、時間軸に沿ってコマ送りで再生する。図８の例では、開始フレームの時刻がｔ０で、最終フレームの時刻がｔｎで、途中、時刻ｔｋで再生を一時停止している。
【００４３】
本実施例では、時刻ｔ０における開始フレームと時刻ｔｎにおける最終フレームと時刻ｔｋにおける停止フレームにおいて、ＣＰＵから図７の選択部６に対し、タイル境界処理ＯＮ信号が入力され、タイル境界の平滑化処理がＯＮになる。それ以外のフレームではタイル境界の平滑化処理がＯＦＦになる。
【００４４】
タイル境界の平滑化処理がＯＮとなるフレームに対し、以下のような構成により、タイル境界の近傍にローパスフィルタを施す。なお、利用者が選択部６に動画像の再生を停止する指示を出した場合に、停止時のフレームのみにローパスフィルタをかけるようにしてもよい。
【００４５】
図９は、タイル境界平滑化部７の具体例を示し、タイル境界の近傍の画素（図９（ａ）の灰色の領域の画素（例えば境界を挟んだ計８画素））に対してローパスフィルタをかける。
【００４６】
図９（ｂ）は、縦方向タイル境界におけるローパスフィルタの一例を示す。（ｂ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、縦方向のタイル境界歪みを抑制する。本実施例では、１次元の横長のフィルタ（５画素×１画素）の例で説明したが、横方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００４７】
図９（ｃ）は、横方向タイル境界におけるローパスフィルタの一例を示す。（ｃ）に示すように、タイル境界に垂直なローパスフィルタをかけることにより、横方向のタイル境界歪みを抑制する。本実施例では、１次元の縦長のフィルタ（１画素×５画素）の例で説明したが、縦方向の周波数成分を除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。
【００４８】
図９（ｄ）は、タイル境界とタイル境界の交点の近傍におけるローパスフィルタの一例を示す。（ｄ）に示すように、十字型のローパスフィルタをかけることにより、タイル境界交点付近のタイル境界歪みを抑制する。本実施例では、十字型のフィルタの例で説明したが、縦方向と横方向の周波数成分をともに除去するような周波数特性を有するローパスフィルタであればいかなるフィルタであってもよい。なお、タイル境界の方向は符号化データに含まれる情報により取得する。
【００４９】
上記したように制御する背景には、動画再生中はタイル境界が目立ちにくいということがある。従って、本実施例では、タイル境界歪みが目立ちやすい、「開始フレーム」「最終フレーム」「停止フレーム」のみにタイル境界歪み除去のためのローパスフィルタをかけることにより、高速にしかも精度よく、タイル境界歪みを抑制することができる。
【００５０】
（実施例２）
図１０は、本発明の実施例２に係る伸長部の構成を示す。本実施例では、フレームレート算出部８が設けられている。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００５１】
フレームレートＦとは、「単位時間内に再生されるフレーム数」を意味する。すなわち、フレーム数をＮ、再生時間（ｓｅｃ）をｔとすると、フレームレートＦは
Ｆ＝Ｎ／ｔ（枚／ｓｅｃ）
で算出される。
【００５２】
フレームレートが大きくなればなるほど、再生速度が速くなるため、タイル境界歪みが目立たなくなる。そこで、本実施例ではフレームレートに応じてタイル境界近傍の画素に施すローパスフィルタの強度を制御する。
【００５３】
図１１は、タイル境界平滑化部７ａの具体例を示し、タイル境界の近傍の画素（図１１（ａ）の灰色の領域の画素（例えば境界を挟んだ計８画素））に対してローパスフィルタをかける。
【００５４】
図１１に示すように、本実施例では縦方向のタイル境界の近傍の画素に対しては、１次元の横方向のローパスフィルタを用いる（図１１（ｂ））。横方向のタイル境界の近傍の画素に対しては、１次元の縦方向のローパスフィルタを用いる（図１１（ｃ））。タイル境界の交点の近傍画素に対しては、十字型のローパスフィルタを用いる（図１１（ｄ））。実施例１と同様に、これは一例であり、縦方向のタイル境界近傍の画素には横方向の周波数成分を除去するようなフィルタであればいかなるフィルタであってもよいし、同様に、横方向のタイル境界近傍の画素には縦方向の周波数成分を除去するようなフィルタならばいかなるフィルタであってもよいし、タイル境界の交点近傍の画素には縦方向周波数成分と横方向の周波数成分をともに除去するようなフィルタであればいかなるフィルタであってもよい。
【００５５】
本実施例では、フレームレートを用いて図１１のローパスフィルタを適応的に処理する。図１２は、フレームレートによるローパスフィルタ制御を説明する図である。すなわち、この例では、ローパスフィルタは注目画素の位置の係数（フィルタの中央の係数ｍ）のみ変化させる。フレームレートが大きくなるにつれて、徐々に係数ｍの値を大きくする。
図１２の例では、中央の係数ｍは、
ｍ＝Ｆ＊Ｆ＋４
で算出される。ここでＦはフレームレートを表す。これは、フレームレートが大きくなるにつれて施すローパスフィルタの平滑化度を弱くすることを意味する。
【００５６】
このように、フレームレートが大きいほど、平滑化度合いが小さくなる構成にする。これは、フレームレート（再生速度）が大きい方が、タイル境界歪みが目立ちにくいためである。
【００５７】
図１３は、フレームレートと適応的ローパスフィルタの強度の関係を示す。フレームレートが０のとき（開始時、停止時、終了時）には、タイル境界の近傍に強いローパスフィルタを施す。また、フレームレートが小さいときには、フレームレートが大きいときに比べて強いローパスフィルタを施す。フレームレートが大きくなるにつれてローパスフィルタの強度を弱くする。この例では、すべてのフレームにローパスフィルタをかける構成であるが、図１３に示すように、フレームレートが０のときにのみローパスフィルタを施し、フレームレートが０でないときにはローパスフィルタを施さないような構成でもよい。
【００５８】
（実施例３）
図１４は、本発明の実施例３に係る伸長部の構成を示す。本実施例では、符号サイズ判定部９が設けられている。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００５９】
図１５は、ＪＰＥＧ２０００で符号化されたフレームベースの動画の符号列を示す。ＪＰＥＧ２０００では、動画の符号サイズ（圧縮率）を所定の値にするために、フレーム毎に符号サイズが異なる。例えば、情報量が密なフレームでは符号サイズが大きく、シーンチェンジの後などの画質劣化が目立ちにくいフレームでは符号サイズを小さくする。また、伸長時にすべての符号を復号するのではなく、符号の所定の部分を復号する。
【００６０】
本実施例では、復号化される符号サイズに応じて、タイル境界歪み除去フィルタの強度を制御する。一般に復号化される符号サイズが小さければ、そのフレームにおける圧縮率は大きくなり、タイル境界歪みが目立ちやすい。逆に、復号化される符号サイズが大きければ、そのフレームにおける圧縮率は小さくなり、タイル境界歪みは目立ちにくい。
【００６１】
そこで、図１６に示すように、符号サイズ判定部９で、復号化される符号サイズを判定し、符号サイズが所定の閾値を超える大きいフレームではタイル境界歪み抑制のためのローパスフィルタの強度を弱くする。例えば、タイル境界平滑化部７ｂを実施例２と同様に構成した場合には、ローパスフィルタの中央の係数ｍが値８となるローパスフィルタに切り換える。またはローパスフィルタをかけない構成にしても良い。逆に、復号化される符号サイズが所定の閾値未満の小さいフレームでは、タイル境界歪み抑制のためのローパスフィルタの強度を強くする。例えば、タイル境界平滑化部７ｂを実施例２と同様に構成した場合には、ローパスフィルタの中央の係数ｍが値４となるローパスフィルタに切り換える。もちろん符号サイズに応じて係数ｍを連続的に変化させ、ローパスフィルタの強度が連続的に変化するように制御してもよい。
【００６２】
これにより、すべてのフレームにおいて最適なローパスフィルタがかけられるため、高品質の再生画像が高速に得られる。
【００６３】
（実施例４）
図１７は、本発明の実施例４に係る伸長部の構成を示す。タグ処理部１から色空間逆変換部５までの処理は前述したＪＰＥＧ２０００と同様である。
【００６４】
本実施例では、補正タイル境界限定部１０を設け、すべてのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみに、実施例１と同様にして、タイル境界平滑化部１１でローパスフィルタをかける。図１８、図１９はその例を示し、ＲＯＩ領域内のタイル境界の近傍画素のみにローパスフィルタをかける。ＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。そして、上記処理をすべてのフレームについて行う。
【００６５】
図１８は、ＲＯＩ領域がタイル境界に沿った領域である場合の例である。図のようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図の右側の点線部とする。
【００６６】
図１９は、ＲＯＩ領域がタイル境界に沿っていない領域である場合の例である。図のようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図の右側の点線部のようにする。タイル境界近傍の画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界近傍の画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界近傍の画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない構成にする。なお、ＲＯＩ領域の境界からの距離とＲＯＩ領域のタイル境界近傍画素におけるエッジ量に応じて、ＲＯＩ領域内のタイル境界近傍の画素にかけるローパスフィルタの強度を制御してもよい。
【００６７】
上記した各実施例ではＪＰＥＧ２０００の圧縮伸長方式を例にして説明したが、圧縮伸長方式はこれに限定されず、圧縮符号にブロック境界位置情報が含まれるような圧縮伸長方式であれば、いかなる圧縮伸長方式を用いても良い。
【００６８】
また、上記したように本発明はハードウェアによって実施できるが、汎用のコンピュータシステムを利用し、ソフトウェアによっても実施できることは言うまでもない。ソフトウェアで実施する場合には、本発明の画像処理装置の各手段（ブロック分割、圧縮伸長、ブロック境界歪み抑制など）として、コンピュータを機能（動作）させるためのプログラムが記録媒体などに記録されていて、該記録媒体などからプログラムがコンピュータシステムに読み込まれてＣＰＵによって実行されることにより、本発明が実施される。
【００６９】
【発明の効果】
以上、説明したように、本発明によれば、以下のような効果が得られる。
（１）符号量の小さいフレームは圧縮率が大きく、タイル境界が目立ちやすいので、平滑化度の強いローパスフィルタをかけ、逆に、符号量の大きいフレームは圧縮率が小さく、タイル境界歪みが目立ちにくいので、平滑化度の弱いローパスフィルタをかけるか、またはローパスフィルタをかけないので、フレーム毎に最適な適応的ポストフィルタが実現できる。
（２）動画を復号する際にローパスフィルタをかけると処理時間がかかり、動画がスムーズに再生できない場合があり、また動画は静止画に比べてタイル境界歪みが目立ちにくいことから、最終フレームの再生時のみにローパスフィルタを施すか、再生中に利用者が停止の指示を送った場合に、停止時に表示されたフレームのみにローパスフィルタをかけることにより、復号と再生に要する時間を短縮することができる。
（３）ＲＯＩ領域内のみに適応的ローパスフィルタを施すことにより、タイル境界歪み抑制に要する処理時間を短縮することができる。
【図面の簡単な説明】
【図１】ＪＰＥＧ２０００アルゴリズムの基本を説明するための図である。
【図２】タイル分割されたカラー画像の各コンポーネントの例を示す。
【図３】デコンポジション・レベル数が３の場合の、各デコンポジション・レベルにおけるサブ・バンドを示す。
【図４】コードストリームの構造を示す。
【図５】プレシンクトとコード・ブロックの関係を説明する図である。
【図６】ウエーブレット係数値をビットプレーンに順位付けする手順を示す。
【図７】本発明の実施例１に係る伸長部の構成を示す。
【図８】フレームベースの動画のフォーマットを説明する図である。
【図９】タイル境界平滑化部７の具体例を示す。
【図１０】本発明の実施例２に係る伸長部の構成を示す。
【図１１】タイル境界平滑化部７ａの具体例を示す。
【図１２】フレームレートによるローパスフィルタ制御を説明する図である。
【図１３】フレームレートと適応的ローパスフィルタの強度の関係を示す。
【図１４】本発明の実施例３に係る伸長部の構成を示す。
【図１５】ＪＰＥＧ２０００で符号化されたフレームベースの動画の符号列を示す。
【図１６】復号化される符号サイズとローパスフィルタの強度の関係を示す。
【図１７】本発明の実施例４に係る伸長部の構成を示す。
【図１８】補正タイル境界限定部でローパスフィルタをかけるタイル境界を限定する第１の例を示す。
【図１９】補正タイル境界限定部でローパスフィルタをかけるタイル境界を限定する第２の例を示す。
【符号の説明】
１　タグ処理部
２　エントロピー復号化部
３　逆量子化部
４　２次元ウェーブレット逆変換部
５　色空間逆変換部
６　選択部
７　タイル境界平滑化部
【図１】
2004064190.tif 000003
【図２】
2004064190.tif 000004
【図３】
2004064190.tif 000005
【図４】
2004064190.tif 000006
【図５】
2004064190.tif 000007
【図６】
2004064190.tif 000008
【図７】
2004064190.tif 000009
【図８】
2004064190.tif 000010
【図９】
2004064190.tif 000011
【図１０】
2004064190.tif 000012
【図１１】
2004064190.tif 000013
【図１２】
2004064190.tif 000014
【図１３】
2004064190.tif 000015
【図１４】
2004064190.tif 000016
【図１５】
2004064190.tif 000017
【図１６】
2004064190.tif 000018
【図１７】
2004064190.tif 000019
【図１８】
2004064190.tif 000020
【図１９】
2004064190.tif 000021