(57)【要約】【課題】品質の良い再生画像を得ることができる画像復号装置を提供する。【解決手段】サブバンド毎のトランケートされたビットプレーンの総数を量子化に関する量子化率Ｒとし、この量子化率Ｒに応じてタイル境界平滑化手段２７に用いるローパスフィルタの強度を制御しつつ、タイル境界平滑化手段２７により復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。【選択図】        図８
2005020241.tif 000002
【特許請求の範囲】
【請求項１】
画像を複数に分割したタイル毎に画素値をウェーブレット変換し量子化することにより符号化した圧縮符号を復号する画像復号装置において、
画像の高周波成分をカットするローパスフィルタを用いて復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、
このタイル境界平滑化手段では、サブバンド毎のトランケートされたビットプレーンの総数を前記量子化に関する量子化率Ｒとし、この量子化率Ｒに応じて重み付けの係数を制御することで前記ローパスフィルタの強度を制御することを特徴とする画像復号装置。
【請求項２】
５×３フィルタによる前記ウェーブレット変換の場合、前記量子化率Ｒは、下記の式
【数１】
2005020241.tif 000009
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出されることを特徴とする請求項１記載の画像復号装置。
【請求項３】
前記量子化率Ｒは、所定階層以下のサブバンドに基づいて算出されることを特徴とする請求項２記載の画像復号装置。
【請求項４】
前記量子化率Ｒは、ＬＬ以外のサブバンドに基づいて算出されることを特徴とする請求項２または３記載の画像復号装置。
【請求項５】
９×７フィルタによる前記ウェーブレット変換の場合、前記量子化率Ｒは、下記の式
【数２】
2005020241.tif 000010
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出されることを特徴とする請求項１記載の画像復号装置。
【請求項６】
前記量子化率Ｒは、所定階層以下のサブバンドに基づいて算出されることを特徴とする請求項５記載の画像復号装置。
【請求項７】
前記量子化率Ｒは、ＬＬ以外のサブバンドに基づいて算出されることを特徴とする請求項５または６記載の画像復号装置。
【請求項８】
前記量子化率Ｒが小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項１記載の画像復号装置。
【請求項９】
前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝Ｋ／Ｒ    （Ｋ：定数）
に基づいて算出することを特徴とする請求項８記載の画像復号装置。
【請求項１０】
前記量子化率Ｒが所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項１記載の画像復号装置。
【請求項１１】
タイル境界を限定する補正タイル境界限定手段を備え、
この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１ないし１０の何れか一記載の画像復号装置。
【請求項１２】
前記量子化率Ｒが所定の閾値よりも小さい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項１１記載の画像復号装置。
【請求項１３】
前記量子化率Ｒが所定の閾値よりも大きい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域外であることを特徴とする請求項１１記載の画像復号装置。
【請求項１４】
画像を複数に分割したタイル毎に画素値をウェーブレット変換し量子化することにより符号化した圧縮符号の復号をコンピュータに実行させるプログラムにおいて、
画像の高周波成分をカットするローパスフィルタを用いて復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、
このタイル境界平滑化機能では、サブバンド毎のトランケートされたビットプレーンの総数を前記量子化に関する量子化率Ｒとし、この量子化率Ｒに応じて重み付けの係数を制御することで前記ローパスフィルタの強度を前記コンピュータに制御させることを特徴とするプログラム。
【請求項１５】
５×３フィルタによる前記ウェーブレット変換の場合、前記量子化率Ｒを、下記の式
【数３】
2005020241.tif 000011
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出することを特徴とする請求項１４記載のプログラム。
【請求項１６】
前記量子化率Ｒを、所定階層以下のサブバンドに基づいて算出することを特徴とする請求項１５記載のプログラム。
【請求項１７】
前記量子化率Ｒを、ＬＬ以外のサブバンドに基づいて算出することを特徴とする請求項１５または１６記載のプログラム。
【請求項１８】
９×７フィルタによる前記ウェーブレット変換の場合、前記量子化率Ｒを、下記の式
【数４】
2005020241.tif 000012
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出することを特徴とする請求項１４記載のプログラム。
【請求項１９】
前記量子化率Ｒを、所定階層以下のサブバンドに基づいて算出することを特徴とする請求項１８記載のプログラム。
【請求項２０】
前記量子化率Ｒを、ＬＬ以外のサブバンドに基づいて算出することを特徴とする請求項１８または１９記載のプログラム。
【請求項２１】
前記量子化率Ｒが小さいほど、前記ローパスフィルタの強度を強くすることを特徴とする請求項１４記載のプログラム。
【請求項２２】
前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝Ｋ／Ｒ    （Ｋ：定数）
に基づいて算出することを特徴とする請求項２１記載のプログラム。
【請求項２３】
前記量子化率Ｒが所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにしたことを特徴とする請求項１４記載のプログラム。
【請求項２４】
タイル境界を限定する補正タイル境界限定機能を前記コンピュータに実行させ、
この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにしたことを特徴とする請求項１４ないし２３の何れか一記載のプログラム。
【請求項２５】
前記量子化率Ｒが所定の閾値よりも小さい場合には、前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域内であることを特徴とする請求項２４記載のプログラム。
【請求項２６】
前記量子化率Ｒが所定の閾値よりも大きい場合には、前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域外であることを特徴とする請求項２４記載のプログラム。
【請求項２７】
請求項１４ないし２６のいずれか一記載のプログラムを記憶していることを特徴とするコンピュータに読取り可能な記憶媒体。
【請求項２８】
画像を複数に分割したタイル毎に画素値をウェーブレット変換し量子化することにより符号化した圧縮符号を復号する画像復号方法において、
画像の高周波成分をカットするローパスフィルタを用いて復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、
このタイル境界平滑化工程では、サブバンド毎のトランケートされたビットプレーンの総数を前記量子化に関する量子化率Ｒとし、この量子化率Ｒに応じて重み付けの係数を制御することで前記ローパスフィルタの強度を制御することを特徴とする画像復号方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、インターネット画像、医療用画像、衛星通信用画像などの画像を扱う機器であるパーソナルコンピュータ，携帯情報端末（ＰＤＡ），携帯電話，デジタルカメラ等に用いられる画像復号装置、プログラム、記憶媒体及び画像復号方法に関する。
【０００２】
【従来の技術】
画像入力技術およびその出力技術の進歩により、画像に対して高精細化の要求が、近年非常に高まっている。例えば、画像入力装置として、デジタルカメラ（Ｄｉｇｉｔａｌ  Ｃａｍｅｒａ）を例にあげると、３００万以上の画素数を持つ高性能な電荷結合素子（ＣＣＤ：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）の低価格化が進み、普及価格帯の製品においても広く用いられるようになっている。
【０００３】
一方、画像出力・表示装置に関しても、例えば、レーザプリンタ、インクジェットプリンタ、昇華型プリンタ等のハード・コピー分野における製品、そして、ＣＲＴやＬＣＤ（液晶表示デバイス）、ＰＤＰ（プラズマ表示デバイス）等のフラットパネルディスプレイのソフト・コピー分野における製品の高精細化・低価格化は目を見張るものがある。
【０００４】
こうした高性能・低価格な画像入出力製品の市場投入効果によって、高精細画像の大衆化が始まっており、今後はあらゆる場面で、高精細画像の需要が高まると予想されている。実際、パーソナルコンピュータ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）やインターネットをはじめとするネットワークに関連する技術の発達は、こうしたトレンドをますます加速させている。特に最近は、携帯電話やノートパソコン等のモバイル機器の普及速度が非常に大きく、高精細な画像を、あらゆる地点から通信手段を用いて伝送あるいは受信する機会が急増している。
【０００５】
これらを背景に、高精細画像の取扱いを容易にする画像圧縮伸長技術に対する高性能化あるいは多機能化の要求は、今後ますます強くなっていくことは必至と思われる。
【０００６】
そこで、近年においては、こうした要求を満たす画像圧縮方式の一つとして、高圧縮率でも高画質な画像を復元可能なＪＰＥＧ２０００という新しい方式が規格化されつつある。かかるＪＰＥＧ２０００においては、画像を矩形領域（タイル）に分割することにより、少ないメモリ環境下で圧縮伸長処理を行うことが可能である。すなわち、個々のタイルが圧縮伸長プロセスを実行する際の基本単位となり、圧縮伸長動作はタイル毎に独立に行うことができる。
【０００７】
ところで、ＪＰＥＧ２０００における分割処理は、タイリングと呼ばれ、省メモリ化・高速化に有効な手法であるが、非特許文献１にも記載があるように、圧縮率の高い条件で圧縮伸長処理を行った場合には、伸長後の画像においてタイルの境界が不連続となるという問題がある。
【０００８】
従来、このような問題を解決するために、隣接するタイル同士で境界を互いにオーバーラップさせて処理を行う手法が提案されている。ところが、ＪＰＥＧ２０００のベースラインでは、隣接するタイル境界を重複させないことになっている。
【０００９】
そこで、このような問題を解決すべく、特許文献１においては、タイル境界の近傍のみに均一な平滑化フィルタをかけることにより、タイル境界を目立たなくするという技術が提案されている。
【００１０】
【非特許文献１】
Ｊ．  Ｘ．  Ｗｅｉ，  Ｍ．  Ｒ．  Ｐｉｃｋｅｒｉｎｇ，  Ｍ．  Ｒ．  Ｆｒａｔｅｒ  ａｎｄ  Ｊ．  Ｆ．  Ａｒｎｏｌｄ，  ”Ａ  Ｎｅｗ  Ｍｅｔｈｏｄ  ｆｏｒ  Ｒｅｄｕｃｉｎｇ  Ｂｏｕｎｄａｒｙ  Ａｒｔｉｆａｃｔｓ  ｉｎ  Ｂｌｏｃｋ−Ｂａｓｅｄ  Ｗａｖｅｌｅｔ  Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ，”  ｉｎ  ＶＣＩＰ  ２０００，  Ｋ．  Ｎ．  Ｎｇａｎ，  Ｔ．  Ｓｉｋｏｒａ，  Ｍ−Ｔ  Ｓｕｎ  Ｅｄｓ．，  Ｐｒｏｃ．  ｏｆ  ＳＰＩＥ  Ｖｏｌ．  ４０６７，  ｐｐ．  １２９０−１２９５，  ２０−２３  Ｊｕｎｅ  ２０００，  Ｐｅｒｔｈ，  Ａｕｓｔｒａｌｉａ
【特許文献１】
特開平０５−０１４７３５号公報
【００１１】
【発明が解決しようとする課題】
しかしながら、特許文献１において提案されている技術によれば、タイル境界歪み抑制には効果があるが、タイル境界のエッジ度合いが強い場合には、平滑化フィルタをかけたことによりタイル境界の近傍でエッジがぼやけて帯状の画像品質劣化が現れてしまうという問題がある。
【００１２】
本発明の目的は、品質の良い再生画像を得ることができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【００１３】
本発明の目的は、タイル境界歪み抑制のための処理時間を短縮することができる画像復号装置、プログラム、記憶媒体及び画像復号方法を提供することである。
【００１４】
【課題を解決するための手段】
請求項１記載の発明の画像復号装置は、画像を複数に分割したタイル毎に画素値をウェーブレット変換し量子化することにより符号化した圧縮符号を復号する画像復号装置において、画像の高周波成分をカットするローパスフィルタを用いて復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化手段を備え、このタイル境界平滑化手段では、サブバンド毎のトランケートされたビットプレーンの総数を前記量子化に関する量子化率Ｒとし、この量子化率Ｒに応じて重み付けの係数を制御することで前記ローパスフィルタの強度を制御する。
【００１５】
したがって、サブバンド毎のトランケートされたビットプレーンの総数を量子化に関する量子化率Ｒとし、この量子化率Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることが可能となる。
【００１６】
請求項２記載の発明は、請求項１記載の画像復号装置において、５×３フィルタによる前記ウェーブレット変換の場合、前記量子化率Ｒは、下記の式
【００１７】
【数５】
2005020241.tif 000003
【００１８】
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出される。
【００１９】
したがって、５×３フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることが可能になる。
【００２０】
請求項３記載の発明は、請求項２記載の画像復号装置において、前記量子化率Ｒは、所定階層以下のサブバンドに基づいて算出される。
【００２１】
したがって、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００２２】
請求項４記載の発明は、請求項２または３記載の画像復号装置において、前記量子化率Ｒは、ＬＬ以外のサブバンドに基づいて算出される。
【００２３】
したがって、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００２４】
請求項５記載の発明は、請求項１記載の画像復号装置において、９×７フィルタによる前記ウェーブレット変換の場合、前記量子化率Ｒは、下記の式
【００２５】
【数６】
2005020241.tif 000004
【００２６】
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出される。
【００２７】
したがって、９×７フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることが可能になる。
【００２８】
請求項６記載の発明は、請求項５記載の画像復号装置において、前記量子化率Ｒは、所定階層以下のサブバンドに基づいて算出される。
【００２９】
したがって、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００３０】
請求項７記載の発明は、請求項５または６記載の画像復号装置において、前記量子化率Ｒは、ＬＬ以外のサブバンドに基づいて算出される。
【００３１】
したがって、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００３２】
請求項８記載の発明は、請求項１記載の画像復号装置において、前記量子化率Ｒが小さいほど、前記ローパスフィルタの強度を強くする。
【００３３】
したがって、量子化率Ｒが小さい画像ではタイル境界の歪みが目立つことから、強いローパスフィルタをかけ、逆に量子化率Ｒが大きい画像ではタイル境界の歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【００３４】
請求項９記載の発明は、請求項８記載の画像復号装置において、前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝Ｋ／Ｒ    （Ｋ：定数）
に基づいて算出する。
【００３５】
したがって、量子化率Ｒが小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも大きくなることにより、量子化率Ｒが小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【００３６】
請求項１０記載の発明は、請求項１記載の画像復号装置において、前記量子化率Ｒが所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにした。
【００３７】
したがって、量子化率Ｒが所定の閾値よりも大きい画像では、タイル境界の歪みが目立たないと判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００３８】
請求項１１記載の発明は、請求項１ないし１０の何れか一記載の画像復号装置において、タイル境界を限定する補正タイル境界限定手段を備え、この補正タイル境界限定手段により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行うようにした。
【００３９】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００４０】
請求項１２記載の発明は、請求項１１記載の画像復号装置において、前記量子化率Ｒが所定の閾値よりも小さい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域内である。
【００４１】
したがって、ＲＯＩ領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００４２】
請求項１３記載の発明は、請求項１１記載の画像復号装置において、前記量子化率Ｒが所定の閾値よりも大きい場合には、前記補正タイル境界限定手段により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域外である。
【００４３】
したがって、ＲＯＩ領域外のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００４４】
請求項１４記載の発明のプログラムは、画像を複数に分割したタイル毎に画素値をウェーブレット変換し量子化することにより符号化した圧縮符号の復号をコンピュータに実行させるプログラムにおいて、画像の高周波成分をカットするローパスフィルタを用いて復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化機能を前記コンピュータに実行させ、このタイル境界平滑化機能では、サブバンド毎のトランケートされたビットプレーンの総数を前記量子化に関する量子化率Ｒとし、この量子化率Ｒに応じて重み付けの係数を制御することで前記ローパスフィルタの強度を前記コンピュータに制御させる。
【００４５】
したがって、サブバンド毎のトランケートされたビットプレーンの総数を量子化に関する量子化率Ｒとし、この量子化率Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることが可能となる。
【００４６】
請求項１５記載の発明は、請求項１４記載のプログラムにおいて、５×３フィルタによる前記ウェーブレット変換の場合、前記量子化率Ｒを、下記の式
【００４７】
【数７】
2005020241.tif 000005
【００４８】
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出する。
【００４９】
したがって、５×３フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることが可能になる。
【００５０】
請求項１６記載の発明は、請求項１５記載のプログラムにおいて、前記量子化率Ｒを、所定階層以下のサブバンドに基づいて算出することを特徴とする。
【００５１】
したがって、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００５２】
請求項１７記載の発明は、請求項１５または１６記載のプログラムにおいて、前記量子化率Ｒを、ＬＬ以外のサブバンドに基づいて算出する。
【００５３】
したがって、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００５４】
請求項１８記載の発明は、請求項１４記載のプログラムにおいて、９×７フィルタによる前記ウェーブレット変換の場合、前記量子化率Ｒを、下記の式
【００５５】
【数８】
2005020241.tif 000006
【００５６】
Ｘｉ：サブバンドｉで破棄されずに残ったビットプレーン数
に基づいて算出する。
【００５７】
したがって、９×７フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることが可能になる。
【００５８】
請求項１９記載の発明は、請求項１８記載のプログラムにおいて、前記量子化率Ｒを、所定階層以下のサブバンドに基づいて算出する。
【００５９】
したがって、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００６０】
請求項２０記載の発明は、請求項１８または１９記載のプログラムにおいて、前記量子化率Ｒを、ＬＬ以外のサブバンドに基づいて算出する。
【００６１】
したがって、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００６２】
請求項２１記載の発明は、請求項１４記載のプログラムにおいて、前記量子化率Ｒが小さいほど、前記ローパスフィルタの強度を強くする。
【００６３】
したがって、量子化率Ｒが小さい画像ではタイル境界の歪みが目立つことから、強いローパスフィルタをかけ、逆に量子化率Ｒが大きい画像ではタイル境界の歪みが目立ちにくいことから、弱いローパスフィルタをかける。これにより、フレーム毎に最適な適応的ポストフィルタをかけることが可能になる。
【００６４】
請求項２２記載の発明は、請求項２１記載のプログラムにおいて、前記ローパスフィルタのフィルタ中心の重み付けの係数ｍを、下記の式
ｍ＝Ｋ／Ｒ    （Ｋ：定数）
に基づいて算出する。
【００６５】
したがって、量子化率Ｒが小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも大きくなることにより、量子化率Ｒが小さいほど、ローパスフィルタの強度を強くすることが可能になる。
【００６６】
請求項２３記載の発明は、請求項１４記載のプログラムにおいて、前記量子化率Ｒが所定の閾値よりも大きい場合には、前記タイル境界平滑化手段によるタイル境界の歪み平滑化処理を行わないようにした。
【００６７】
したがって、量子化率Ｒが所定の閾値よりも大きい画像では、タイル境界の歪みが目立たないと判断し、タイル境界の歪み平滑化処理が回避される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００６８】
請求項２４記載の発明は、請求項１４ないし２３の何れか一記載のプログラムにおいて、タイル境界を限定する補正タイル境界限定機能を前記コンピュータに実行させ、この補正タイル境界限定機能により限定されたタイル境界の近傍画素にのみ、前記タイル境界平滑化機能によるタイル境界の歪み平滑化処理を行うようにした。
【００６９】
したがって、ローパスフィルタをかけるべきタイル境界画素が制御される。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００７０】
請求項２５記載の発明は、請求項２４記載のプログラムにおいて、前記量子化率Ｒが所定の閾値よりも小さい場合には、前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域内である。
【００７１】
したがって、ＲＯＩ領域内のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００７２】
請求項２６記載の発明は、請求項２４記載のプログラムにおいて、前記量子化率Ｒが所定の閾値よりも大きい場合には、前記補正タイル境界限定機能により限定されるタイル境界は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域外である。
【００７３】
したがって、ＲＯＩ領域外のタイル境界にのみローパスフィルタがかけられる。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【００７４】
請求項２７記載の発明のコンピュータに読取り可能な記憶媒体は、請求項１４ないし２６のいずれか一記載のプログラムを記憶している。
【００７５】
したがって、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることにより、請求項１４ないし２６のいずれか一記載の発明と同様の作用を得ることが可能になる。
【００７６】
請求項２８記載の発明の画像復号方法は、画像を複数に分割したタイル毎に画素値をウェーブレット変換し量子化することにより符号化した圧縮符号を復号する画像復号方法において、画像の高周波成分をカットするローパスフィルタを用いて復号後の各フレームにおけるタイル境界の歪みを平滑化するタイル境界平滑化工程を含み、このタイル境界平滑化工程では、サブバンド毎のトランケートされたビットプレーンの総数を前記量子化に関する量子化率Ｒとし、この量子化率Ｒに応じて重み付けの係数を制御することで前記ローパスフィルタの強度を制御する。
【００７７】
したがって、サブバンド毎のトランケートされたビットプレーンの総数を量子化に関する量子化率Ｒとし、この量子化率Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みが平滑化される。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることが可能となる。
【００７８】
【発明の実施の形態】
［ＪＰＥＧ２０００について］
最初に、本実施の形態の前提となる「ＪＰＥＧ２０００」における量子化、符号破棄および画質制御について説明する。ＪＰＥＧ２０００の符号化処理は、概ね図１の流れで行われる。すなわち、画像データを圧縮符号化するときは、画像をタイル分割して、このタイルにＤＣレベルシフト、色変換を施し（ａ）、タイルごとにＷａｖｅｌｅｔ変換を行って（ｂ）、サブバンドごとに量子化する（ｃ）。そして、コードブロック毎にビットプレーン符号化を行い（ｄ）、不要な符号を破棄して、必要な符号をまとめて、パケットを生成する（ｅ）。後は、パケットを並べて符号形成を行う（ｆ）。圧縮後の符号を伸長するには、これらの処理の流れを逆にたどればよい。
【００７９】
図２は、画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。タイルとは、画像を矩形に分割した単位であり、分割数＝１の場合、画像＝タイルである。ＪＰＥＧ２０００では個々のタイルを独立した１つの画像と見なし、Ｗａｖｅｌｅｔ変換がなされ、サブバンドが生成される。ＪＰＥＧ２０００の基本仕様では、Ｗａｖｅｌｅｔ変換として９×７変換を用いる場合、同一のサブバンドに含まれる係数を同一の数で除算し、線形に量子化することができる。したがって、線形量子化による画質制御は、サブバンド単位で可能である（線形量子化による画質制御単位はサブバンドである）。
【００８０】
プリシンクトとは、サブバンドを（ユーザが指定可能なサイズの）矩形に分割した単位で、大まかには画像中の場所（Ｐｏｓｉｔｉｏｎ）を表すものであり、インプリメンテーションでメモリを効率的に使うために導入されたものである。プリシンクトは、ＨＬ，ＬＨ，ＨＨの３つのサブバンドにおいて空間的に一致している。つまり、プリシンクトは３つで１つのまとまりを成すものである。ただし、ＬＬサブバンドを分割したプリシンクトは１つで１つのまとまりを成すものである。このようなプリシンクトは、サブバンドと同じサイズにすることも可能である。
【００８１】
更に、個々のプリシンクトは、重複しない（ユーザが指定可能なサイズの）矩形の「コードブロック」に分けられる。これは、エントロピー・コーディングを行う際の基本単位となる。
【００８２】
また、量子化後のサブバンドの係数は、コードブロック単位でビットプレーン符号化される（１つのビットプレーンは３つのサブビットプレーンに分解されて符号化される）。
【００８３】
プリシンクトに含まれる全てのコードブロックから、符号の一部を取り出して集めたもの（例えば、全てのコードブロックのＭＳＢ（Ｍｏｓｔ  Ｓｉｇｎｉｆｉｃａｎｔ  Ｂｉｔ：最上位ビット）から３枚目までのビットプレーンの符号を集めたもの）がパケットである。ここで、符号の“一部”とは“空”でもいいので、パケットの中身が符号的には“空（から）”という場合もある。全てのプリシンクト（すなわち、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のＷａｖｅｌｅｔ係数のＭＳＢから３枚目までのビットプレーンの符号）ができるが、これをレイヤとよぶ。レイヤは、大まかには画像全体のビットプレーンの符号の一部であるから、復号されるレイヤ数が増えれば画質は上がる。レイヤはいわば画質の単位である。
【００８４】
全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。図３は、Ｗａｖｅｌｅｔ変換の階層数（デコンポジションレベル）＝２、プリシンクトサイズ＝サブバンドサイズとしたときのレイヤ、図４はそれに含まれるパケットの例である。これらの場合は、プリシンクトサイズ＝サブバンドサイズであり、図２でいうプリンシンクトの大きさと同じ大きさのコードブロックを採用しているため、デコンポジションレベル２のサブバンドは４個のコードブロックに、デコンポジションレベル１のサブバンドは９個のコードブロックに分割されている。パケットは、プリシンクトを単位とするものであるから、プリシンクト＝サブバンドとした場合、ＨＬ〜ＨＨサブバンドを跨いだものとなる。図４中、いくつかのパケットを太線で囲んで示している。
【００８５】
ここで、パケットは「コードブロックの符号の一部を取り出して集めたもの」であり、不要な符号は、パケットとして生成する必要はない。例えば、図３のレイヤＮｏ．９に含まれるような下位ビットプレーンの符号は、破棄するのが通常である。
【００８６】
したがって、符号破棄による画質制御は、コードブロック単位（かつ、サブビットプレーン単位）で可能である（符号破棄による画質制御単位はコードブロックである）。なお、パケットの並びをプログレッション順序と呼ぶ。
【００８７】
［発明の実施の形態］
［第一の実施の形態］
以下、本発明の第一の実施の形態について説明する。なお、ここでは、ＪＰＥＧ２０００を代表とする画像圧縮伸長技術に関する例について説明するが、言うまでもなく、本発明は以下の説明の内容に限定されるものではない。
【００８８】
図５は、本発明が適用される画像処理装置１を含むシステムを示すシステム構成図、図６は画像処理装置１の機能ブロック図である。図５に示すように、本発明が適用される画像処理装置１は、例えばパーソナルコンピュータであり、インターネットであるネットワーク５を介して各種画像データを記憶保持するサーバコンピュータＳに接続可能とされている。サーバコンピュータＳには、「ＪＰＥＧ２０００アルゴリズム」に従って生成された圧縮符号である画像データが記憶保持されている。
【００８９】
そして、図６に示すように、画像処理装置１は、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を伸長（復号）して画像の画像データとする画像復号装置である画像伸長装置２と、この伸長後の画像データによる画像を表示する画像表示装置３と、ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）を記憶する符号列記憶部４とを備えている。符号列記憶部４は、一般的なバッファとしての機能、あるいは、画像の符号列データの貯蔵庫として機能し、用途により使い分けられる。
【００９０】
図７は、画像処理装置１のハードウェア構成を概略的に示すブロック図である。図７に示すように、画像処理装置１は、コンピュータの主要部であって各部を集中的に制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）６を備えている。このＣＰＵ６には、ＢＩＯＳなどを記憶した読出し専用メモリであるＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）７と、各種データを書換え可能に記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）８とがバス９で接続されている。ＲＡＭ８は、各種データを書換え可能に記憶する性質を有していることから、ＣＰＵ６の作業エリアとして機能し、例えば入力バッファ等の役割を果たす。
【００９１】
さらにバス９には、符号列記憶部４として機能するＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）１０と、配布されたプログラムであるコンピュータソフトウェアを読み取るための機構としてＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ）−ＲＯＭ１１を読み取るＣＤ−ＲＯＭドライブ１２と、画像処理装置１とネットワーク５との通信を司る通信制御装置１３と、キーボードやマウスなどの入力装置１４と、ＣＲＴ（Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）やＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）である表示装置１５とが、図示しないＩ／Ｏを介して接続されている。
【００９２】
そして、ネットワーク５を介してサーバコンピュータＳからダウンロードした圧縮符号は、符号列記憶部４として機能するＨＤＤ１０に格納されることになる。
【００９３】
また、図７に示すＣＤ−ＲＯＭ１１は、この発明の記憶媒体を実施するものであり、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）や各種コンピュータソフトウェアが記憶されている。ＣＰＵ６は、ＣＤ−ＲＯＭ１１に記憶されているコンピュータソフトウェアをＣＤ−ＲＯＭドライブ１２で読み取り、ＨＤＤ１０にインストールする。
【００９４】
このような構成の画像処理装置１のＨＤＤ１０には、コンピュータソフトウェアの一つとして、画像を処理する画像処理プログラムが記憶されている。この画像処理プログラムは本発明のプログラムを実施するものである。そして、この画像処理プログラムに基づいてＣＰＵ６が実行する処理により、画像伸長装置２の機能を実現する。
【００９５】
なお、記憶媒体としては、ＣＤ−ＲＯＭ１１のみならず、ＤＶＤなどの各種の光ディスク、各種光磁気ディスク、フレキシブル・ディスクなどの各種磁気ディスク等、半導体メモリ等の各種方式のメディアを用いることができる。また、通信制御装置１３を介してインターネットなどのネットワーク５からコンピュータソフトウェアをダウンロードし、ＨＤＤ１０にインストールするようにしてもよい。この場合に、送信側のサーバでコンピュータソフトウェアを記憶している記憶装置も、この発明の記憶媒体である。なお、コンピュータソフトウェアは、所定のＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）上で動作するものであってもよいし、その場合に後述の各種処理の一部の実行をＯＳに肩代わりさせるものであってもよいし、所定のアプリケーションソフトやＯＳなどを構成する一群のプログラムファイルの一部として含まれているものであってもよい。
【００９６】
ここで、画像処理装置１の各部の動作について図６を参照しつつ簡単に説明する。ネットワーク５を介して画像処理装置１に出力された符号列データ（ＪＰＥＧ２０００データ）は、符号列記憶部４に格納され、また、画像伸長装置２で伸長処理される。そして、画像伸長装置２で伸長処理されて生成された画像の画像データは、画像表示装置３に出力され、この伸長後の画像データによる画像が表示装置１５に表示される。
【００９７】
続いて、本発明の主要部分である画像伸長装置２について詳述する。ここで、図８は画像伸長装置２の機能ブロック図である。図８に示すように、ＣＰＵ６がコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元Ｗａｖｅｌｅｔ逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、タイル境界の近傍の平滑化処理を行うタイル境界平滑化手段２７の各機能を有する画像伸長装置２を実現する。
【００９８】
画像伸長装置２は、このような構成により符号列データ（ＪＰＥＧ２０００データ）から画像データを生成する。この場合、タグ処理手段２１は入力した符号列データ（ＪＰＥＧ２０００データ）に付加されたタグ情報を解釈し、復号化の対象となるビットの位置を定める。エントロピー復号化手段２２は符号列データから確率推定によって復号化を行い、対象ビットを生成し、それを対象ビットの位置に書き込む。逆量子化手段２３は対象ビット位置の周辺ビット（既に復号化を終えている）の並びからコンテキストを生成する。このようにして復号化されたデータは周波数帯域毎に空間分割されているため、これを２次元Ｗａｖｅｌｅｔ逆変換手段２４で２次元Ｗａｖｅｌｅｔ逆変換を行うことにより、画像データの各コンポーネントの各タイルが復元される。復元されたデータは色空間逆変換手段２５によって元の表色系の画像データ（ＲＧＢデータ）に変換され、タイル境界制御手段２６に出力される。
【００９９】
ところで、「ＪＰＥＧ２０００アルゴリズム」においては、符号列データ（ＪＰＥＧ２０００データ）の符号化に際し、前述したような符号の破棄を行うポスト量子化（トランケーション）が実行される。このようなポスト量子化（トランケーション）は、量子化テーブルを用いて実行される。
【０１００】
図９に量子化テーブルとトランケート数の関係を示す。図９（ａ）はトランケート前の符号の例である。本例では色成分が３種類あり、図９（ａ）は、その中の一つ（Ｃ０）を示している。また、本例では、階層数は３である。図９（ａ）に示すように、ここでは縦横方向に、３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ，２ＨＬ，２ＬＨ，２ＨＨ，１ＨＬ，１ＬＨ，１ＨＨの１０種類のサブバンドに分かれ、深さ方向に８つのビットプレーンで構成されている符号を表している。本例では、深さ方向はビットプレーンに分けているが、一つのビットプレーンをさらに３つのサブビットプレーンに分ける構成にしてもよい。図９（ｂ）は量子化テーブルの一例である。各コンポーネント（色成分）、サブバンド毎に、破棄するビットプレーンの数が記述してある。図９（ｃ）は、図９（ｂ）の量子化テーブルを用いた、トランケーション（ビットプレーンの破棄）の一例である。これもコンポーネントはＣ０の例である。３ＬＬ係数は、Ｃ０成分では１という値を示しているので、８枚のビットプレーンのうち１枚を破棄する。１ＨＨ係数は、Ｃ０成分では７という値を示しているので、８枚のビットプレーンのうち７枚を破棄する（破棄するビットプレーンが網掛けで示されている）。このようにして、すべてのサブバンドについて、量子化テーブルの値によりトランケートした後の符号が図９（ｄ）である。同図においては、破棄されたビットプレーンが網掛けで示されている。
【０１０１】
そして、エントロピー復号化手段２２は、このようなトランケートした後の符号を受け取ると、全てのコンポーネントと全てのサブバンドにおいて破棄されたビットプレーンの総数を算出し、その算出した値（トランケートされたビットプレーン数）をタイル境界制御手段２６とタイル境界平滑化手段２７に出力する。
【０１０２】
タイル境界制御手段２６は、タイル境界平滑化手段２７によるタイル境界の近傍の平滑化処理が必要であるか否かを判定する機能を発揮するものであって、このタイル境界制御手段２６には、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）が入力されるとともに、エントロピー復号化手段２２から出力されたトランケートされたビットプレーン数が入力される。
【０１０３】
タイル境界の近傍の平滑化処理が必要であるか否かは、量子化率に応じて判定される。量子化率とは、５×３フィルタによるウェーブレット変換の場合では、サブバンド毎に破棄されずに残ったビットプレーン数の総数である。そして、量子化率が所定の閾値よりも小さい画像では、タイル境界の歪みが目立たないので、タイル境界の近傍の平滑化処理が不要であると判定する。これにより、タイル境界歪み抑制のための処理時間を短縮することが可能になる。一方、量子化率が大きい画像では、タイル境界の歪みが目立つので、タイル境界の近傍の平滑化処理が必要であると判定する。
【０１０４】
これにより、タイル境界制御手段２６は、タイル境界の近傍の平滑化処理が必要であると判定した場合には、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力し、タイル境界の近傍の平滑化処理が不要であると判定した場合には、タイル境界の近傍の平滑化処理を行わずに、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）をそのまま画像表示装置３に出力する。
【０１０５】
タイル境界平滑化手段２７は、色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）に対し、タイル境界の近傍の画素を平滑化してタイル境界の歪みを目立たなくするものである。より詳細には、タイル境界歪み抑制のために画像の高周波成分をカットするローパスフィルタの強度を量子化率に応じて強くすることにより、タイル境界の近傍の画素を平滑化するものである。
【０１０６】
ここで、タイル境界平滑化手段２７における処理の具体例を示す。図１０はタイル境界平滑化手段２７における処理の一例を示す説明図である。図１０に示すように、タイル境界平滑化手段２７は、タイル境界の近傍の画素（図１０中、タイル境界画素を含む網掛け領域の画素）に対してローパスフィルタをかける。
【０１０７】
ここで、図１１は縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１１に示すように、縦方向タイル境界ａ（図１０参照）に対しては、縦方向タイル境界ａに垂直なローパスフィルタ（１次元の横長のフィルタ）Ｆ１をかけることにより、縦方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の横長のフィルタの例で説明したが、横方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【０１０８】
図１２は横方向タイル境界におけるローパスフィルタの一例を示す説明図である。図１２に示すように、横方向タイル境界ｂ（図１０参照）に対しては、横方向タイル境界ｂに垂直なローパスフィルタ（１次元の縦長のフィルタ）Ｆ２をかけることにより、横方向のタイル境界歪みを抑制することができる。なお、本実施の形態では、１次元の縦長のフィルタの例で説明したが、縦方向の周波数成分を落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【０１０９】
図１３は縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。図１３に示すように、縦方向タイル境界ａと横方向タイル境界ｂとの交点の近傍に対しては、十字型のローパスフィルタＦ３をかけることにより、縦方向タイル境界ａと横方向タイル境界ｂとの交点付近のタイル境界歪みを抑制することができる。なお、本実施の形態では、十字型のフィルタの例で説明したが、縦方向と横方向との周波数成分を共に落とすような周波数特性を有するローパスフィルタであればいかなるフィルタであっても良い。
【０１１０】
ところで、ローパスフィルタＦ１，Ｆ２，Ｆ３のフィルタ中心の重み付けの係数ｍは復号化される符号量に応じて可変制御される。５×３フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数ｍは、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）Ｒに応じて、
ｍ＝Ｋ／Ｒ（Ｋ：定数）
という式に基づいて制御されることになる。また、量子化率Ｒは、サブバンドｉで破棄されずに残ったビットプレーン数をＸｉとすると、
【０１１１】
【数９】
2005020241.tif 000007
【０１１２】
として定義される。この制御例はあくまで一例であり、サブバンド毎に破棄されずに残ったビットプレーン数の総数Ｒが大きくなるほど、ローパスフィルタの中心の重み付けの係数ｍの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【０１１３】
したがって、図１４に示すように、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）Ｒが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）Ｒが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）Ｒが所定の数より小さい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【０１１４】
ここに、量子化率（サブバンド毎に破棄されずに残ったビットプレーン数の総数）に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【０１１５】
なお、量子化率Ｒは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、ＬＬ以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【０１１６】
また、本実施の形態においては、「ＪＰＥＧ２０００アルゴリズム」に従った画像圧縮伸長方式で説明したが、これに限るものではなく、画像を周波数空間に変換する画像圧縮伸長方式であれば、いかなる画像圧縮伸長方式を用いても良い。
【０１１７】
［第二の実施の形態］
次に、本発明の第二の実施の形態について説明する。なお、第一の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する（以降の実施の形態においても同様とする）。第一の実施の形態では、５×３フィルタによるウェーブレット変換の場合について説明したが、本実施の形態では、９×７フィルタによるウェーブレット変換の場合について説明したものである。
【０１１８】
９×７フィルタによるウェーブレット変換の場合には、５×３フィルタによるウェーブレット変換の場合とは量子化率の定義が異なる。９×７フィルタによるウェーブレット変換の場合の量子化率Ｒは、サブバンドｉで破棄されずに残ったビットプレーン数をＸｉとすると、
【０１１９】
【数１０】
2005020241.tif 000008
【０１２０】
として定義される。すなわち、９×７フィルタによるウェーブレット変換の場合の量子化率Ｒは、あるサブバンドの破棄されずに残った２のビットプレーン数乗の値をサブバンドの分だけ加算した値である。
【０１２１】
これにより、９×７フィルタによるウェーブレット変換の場合、ローパスフィルタの中心の重み付けの係数ｍは、量子化率Ｒに応じて、
ｍ＝Ｋ／Ｒ（Ｋ：定数）
という式に基づいて制御されることになる。この制御例はあくまで一例であり、全ビットプレーン数に対する破棄されずに残ったビットプレーン数の割合Ｒが大きくなるほど、ローパスフィルタの中心の重み付けの係数ｍの値が大きくなるような制御方法であればいかなる制御方法でも良い。
【０１２２】
したがって、図１４に示すように、量子化率Ｒが大きい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を弱くすることができる。逆に、量子化率Ｒが小さい場合には、タイル境界歪み抑制のためのローパスフィルタの強度を強くすることができる。なお、量子化率Ｒが所定の数より大きい場合には、タイル境界抑制のためのローパスフィルタをかけない構成にすることもできる。
【０１２３】
ここに、量子化率に応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化する。これにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【０１２４】
なお、量子化率Ｒは、所定階層以下のサブバンドに基づいて算出するものであっても良いし、ＬＬ以外のサブバンドに基づいて算出するものであっても良い。このようにすることで、タイル境界歪み抑制のための処理時間を短縮することが可能になる。
【０１２５】
［第三の実施の形態］
次に、本発明の第三の実施の形態について説明する。本実施の形態は、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにしたものである。
【０１２６】
図１５は本実施の形態の画像伸長装置２の機能ブロック図である。図１５に示すように、ＣＰＵ６はコンピュータソフトウェア（画像処理プログラム）に基づいて動作することで、タグ処理手段２１、エントロピー復号化手段２２、逆量子化手段２３、２次元ウェーブレット逆変換手段２４、色空間逆変換手段２５、タイル境界制御手段２６、補正タイル境界限定手段２８、タイル境界平滑化手段２７の各機能を有する画像伸長装置２を実現する。
【０１２７】
補正タイル境界限定手段２８は、タイル境界平滑化手段２７においてローパスフィルタをかけるべきタイル境界を限定する機能を発揮するものであって、この補正タイル境界限定手段２８には、色空間逆変換手段２５によって得られ、タイル境界制御手段２６でタイル境界の近傍の平滑化処理が必要であると判定された画像データ（ＲＧＢデータ）が入力される。
【０１２８】
ここで、図１６及び図１７は、ＲＯＩ（Ｒｅｇｉｏｎ  Ｏｆ  Ｉｎｔｅｒｅｓｔ）領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。このＲＯＩ領域とは、画像全体から切り出して拡大したり、他の部分に比べて強調したりする場合の、画像全体から見たある一部分である。
【０１２９】
量子化率が小さい場合には、ＲＯＩ領域内はタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも小さい場合には、ＲＯＩ領域内のタイル境界のみにローパスフィルタをかけるようにしたものである。
【０１３０】
図１６は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図１６（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１６（ｂ）に点線で示す部分に設定する。図１６（ｂ）に太線で示すＲＯＩ境界部にはローパスフィルタをかけない。
【０１３１】
図１７は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図１７（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１７（ｂ）に点線で示す部分に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にローパスフィルタをかける。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかけない。
【０１３２】
なお、本実施の形態では、ＲＯＩ内部か否かで、ローパスフィルタをかけるか否かを判定したが、それ以外にも、縦または横成分のエッジ量が大きい部分のタイル境界画素のみにローパスフィルタをかけるという制御を行っても良い。
【０１３３】
これにより、補正タイル境界限定手段２８は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力する。
【０１３４】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１３５】
［第四の実施の形態］
次に、本発明の第四の実施の形態について説明する。なお、第三の実施の形態において説明した部分と同一部分については同一符号を用い、説明も省略する。本実施の形態も、全てのタイル境界近傍画素にローパスフィルタをかけるのではなく、ローパスフィルタをかけるべきタイル境界を限定して、そのタイル境界近傍画素にのみにローパスフィルタをかけるようにした点で第三の実施の形態と同様である。しかしながら、本実施の形態においては、第三の実施の形態とは、ローパスフィルタをかけるべきタイル境界の限定手法が異なっている。
【０１３６】
量子化率が大きい場合には、ＲＯＩ領域内はタイル境界歪みが目立たない場合が多く、逆に、ＲＯＩ領域外のタイル境界歪みが目立ってしまう。そこで本実施の形態においては、量子化率が所定の閾値よりも大きい場合には、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかけるようにしたものである。
【０１３７】
ここで、図１８及び図１９は、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【０１３８】
図１８は、ＲＯＩ領域がタイル境界に沿った領域である場合について示すものである。図１８（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１８（ｂ）に点線で示す部分以外に設定する。
【０１３９】
図１９は、ＲＯＩ領域がタイル境界に沿っていない領域である場合について示すものである。図１９（ａ）に示すようにＲＯＩ境界が設定されたら、ローパスフィルタをかけるタイル境界は図１９（ｂ）に点線で示す部分以外に設定する。タイル境界画素がＲＯＩ内部か否かを演算によって算出し、該タイル境界画素がＲＯＩ内部であればその画素にはローパスフィルタをかけない。該タイル境界画素がＲＯＩ外部であれば、その画素にはローパスフィルタをかける。
【０１４０】
これにより、補正タイル境界限定手段２８は、ローパスフィルタをかけるべきタイル境界画素を限定して、タイル境界平滑化手段２７に対して色空間逆変換手段２５によって得られた画像データ（ＲＧＢデータ）を出力する。
【０１４１】
ここに、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１４２】
なお、各実施の形態においては、画像処理装置１としてパーソナルコンピュータを適用したが、これに限るものではない。例えば、デジタルカメラ、携帯情報端末（ＰＤＡ）や携帯電話などを画像処理装置１として適用することもできる。
【０１４３】
【発明の効果】
請求項１，１４，２８記載の発明によれば、サブバンド毎のトランケートされたビットプレーンの総数を量子化に関する量子化率Ｒとし、この量子化率Ｒに応じてローパスフィルタの強度を制御しつつ、復号後の各フレームにおけるタイル境界に対してローパスフィルタをかけることで、タイル境界の歪みを平滑化することにより、サブバンド毎のトランケートされたビットプレーンの総数をローパスフィルタの強度のパラメータとすることで、圧縮しやすい画像にも圧縮しにくい画像にも精度良くタイル境界歪み抑制のローパスフィルタがかけられるので、品質の良い再生画像を得ることができる。
【０１４４】
請求項２，１５記載の発明によれば、５×３フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることができる。
【０１４５】
請求項３，１６記載の発明によれば、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１４６】
請求項４，１７記載の発明によれば、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１４７】
請求項５，１８記載の発明によれば、９×７フィルタによるウェーブレット変換の場合における量子化率Ｒを確実に得ることができる。
【０１４８】
請求項６，１９記載の発明によれば、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１４９】
請求項７，２０記載の発明によれば、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１５０】
請求項８，２１記載の発明によれば、量子化率Ｒが小さい画像ではタイル境界の歪みが目立つことから、強いローパスフィルタをかけ、逆に量子化率Ｒが大きい画像ではタイル境界の歪みが目立ちにくいことから、弱いローパスフィルタをかけることにより、フレーム毎に最適な適応的ポストフィルタをかけることができる。
【０１５１】
請求項９，２２記載の発明によれば、量子化率Ｒが小さいほど、ローパスフィルタのフィルタ中心の重み付けの係数ｍも大きくなることにより、量子化率Ｒが小さいほど、ローパスフィルタの強度を強くすることができる。
【０１５２】
請求項１０，２３記載の発明によれば、量子化率Ｒが所定の閾値よりも大きい画像では、タイル境界の歪みが目立たないと判断し、タイル境界の歪み平滑化処理を回避することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１５３】
請求項１１，２４記載の発明によれば、ローパスフィルタをかけるべきタイル境界画素を制御することにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１５４】
請求項１２，２５記載の発明によれば、量子化率Ｒが所定の閾値よりも小さい場合には、ＲＯＩ領域内のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１５５】
請求項１３，２６記載の発明によれば、量子化率Ｒが所定の閾値よりも大きい場合には、ＲＯＩ領域外のタイル境界にのみローパスフィルタをかけることにより、タイル境界歪み抑制のための処理時間を短縮することができる。
【０１５６】
請求項２７記載の発明のコンピュータに読取り可能な記憶媒体によれば、請求項１４ないし２６のいずれか一記載のプログラムを記憶していることにより、この記憶媒体に記憶されたプログラムをコンピュータに読み取らせることで、請求項１４ないし２６のいずれか一記載の発明と同様の作用を得ることができる。
【図面の簡単な説明】
【図１】本発明の前提となるＪＰＥＧ２０００における量子化、符号破棄および画質制御についての処理の説明図である。
【図２】画像、タイル、サブバンド、プリシンクト、コードブロックの関係を示す説明図である。
【図３】Ｗａｖｅｌｅｔ変換の階層数が２として、プリシンクトサイズをサブバンドサイズとしたときのレイヤの例の説明図である。
【図４】図３のレイヤに含まれるパケットの例の説明図である。
【図５】本発明の第一の実施の形態の画像処理装置を含むシステムを示すシステム構成図である。
【図６】画像処理装置の機能ブロック図である。
【図７】画像処理装置のハードウェア構成を概略的に示すブロック図である。
【図８】画像伸長装置の機能ブロック図である。
【図９】量子化テーブルとトランケート数の関係を示す説明図である。
【図１０】タイル境界平滑化手段における処理の一例を示す説明図である。
【図１１】縦方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１２】横方向タイル境界におけるローパスフィルタの一例を示す説明図である。
【図１３】縦方向タイル境界と横方向タイル境界との交点の近傍におけるローパスフィルタの一例を示す説明図である。
【図１４】量子化率Ｒとローパスフィルタの強度との関係を示す説明図である。
【図１５】本発明の第二の実施の形態の画像伸長装置の機能ブロック図である。
【図１６】本発明の第三の実施の形態における処理の一例であり、ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１７】ＲＯＩ領域内のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１８】本発明の第四の実施の形態における処理の一例であり、ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【図１９】ＲＯＩ領域外のタイル境界のみにローパスフィルタをかける処理の一例を示す説明図である。
【符号の説明】
２        画像復号装置
１１      記憶媒体
２７      タイル境界平滑化手段
２８      補正タイル境界限定手段
【図１】
2005020241.tif 000013
【図２】
2005020241.tif 000014
【図３】
2005020241.tif 000015
【図４】
2005020241.tif 000016
【図５】
2005020241.tif 000017
【図６】
2005020241.tif 000018
【図７】
2005020241.tif 000019
【図８】
2005020241.tif 000020
【図９】
2005020241.tif 000021
【図１０】
2005020241.tif 000022
【図１１】
2005020241.tif 000023
【図１２】
2005020241.tif 000024
【図１３】
2005020241.tif 000025
【図１４】
2005020241.tif 000026
【図１５】
2005020241.tif 000027
【図１６】
2005020241.tif 000028
【図１７】
2005020241.tif 000029
【図１８】
2005020241.tif 000030
【図１９】
2005020241.tif 000031