(57)【要約】【課題】符号化コードストリームを復号すると共に、復号画像の劣化度合いを考慮しながら、適応的にポスト・プロセッシング処理を施す。【解決手段】画像処理装置１において、符号化コードストリーム解析部１１は、符号化コードストリームＤ１０の中身を解析し、解析結果情報Ｄ１２を量子化ステップ算出部１２に供給する。量子化ステップ算出部１２は、解析結果情報Ｄ１２等の情報を用いて、コードブロック毎に量子化ステップサイズＤ１３を計算する。歪み量算出部１３は、量子化ステップサイズＤ１３等の情報を用いて、コードブロック毎の歪み量Ｄ１４を算出し、閾値決定部１４は、コードブロック毎の歪み量Ｄ１４等の情報を用いてポスト・フィルタ処理のための閾値Ｄ１５を算出する。ポスト・フィルタ部１５は、閾値Ｄ１５に基づいて復号画像Ｄ１１に対してポスト・フィルタ処理を施し、処理画像Ｄ１６を外部に出力する。【選択図】  図１
2004165727.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に対して低域フィルタ及び高域フィルタにより垂直方向及び水平方向にフィルタリング処理を施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施し、このフィルタリング処理で生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック毎に最上位ビットから最下位ビットに至るビットプレーンを生成してビットプレーン毎に符号化パスを生成し、上記符号化パス内で算術符号化を行って得られた算術符号にパケットヘッダを加えてパケットを生成することで生成された符号化コードストリームを復号し、復号画像を生成する復号手段と、
上記符号化コードストリームを解析して符号化情報を抽出する符号化コードストリーム解析手段と、
上記符号化コードストリーム解析手段によって抽出された上記符号化情報を用いて、上記コードブロック毎の量子化ステップサイズを算出する量子化ステップ算出手段と、
上記量子化ステップ算出手段によって算出された量子化ステップから、上記コードブロック毎の歪み量を算出する歪み量算出手段と、
上記歪み量算出手段によって算出された上記歪み量に基づいて閾値を決定する閾値決定手段と、
上記閾値決定手段によって決定された上記閾値を用いて、上記復号画像に対して所定の画像処理を施す画像処理手段と
を備えることを特徴とする画像処理装置。
【請求項２】
上記符号化コードストリーム解析手段は、上記符号化コードストリーム中の上記パケットヘッダを解読し、該パケットヘッダからゼロ・ビットプレーン数及び符号化パス数の情報を抽出するパケットヘッダ解読手段と、該パケットヘッダ解読手段によって抽出された上記符号化パス数の情報を用いて上記コードブロック毎のビットプレーン数を計算するビットプレーン数計算手段と、上記符号化コードストリーム中の情報から最大ビットプレーン数を計算する最大ビットプレーン数計算手段とを有することを特徴とする請求項１記載の画像処理装置。
【請求項３】
上記最大ビットプレーン数計算手段は、上記符号化コードストリーム中のＱＣＤ又はＱＣＣの情報から取得したガードビット情報及びＥｘｐｏｎｅｎｔの情報を用いて上記最大ビットプレーン数を計算することを特徴とする請求項２記載の画像処理装置。
【請求項４】
上記量子化ステップ算出手段は、上記コードブロック毎に切り捨てられた切り捨てビットプレーン数を計算する切り捨てビットプレーン数計算手段と、上記切り捨てビットプレーン数とサブバンド毎のスカラー量子化ステップサイズとから上記量子化ステップサイズを算出する量子化ステップサイズ算出手段とを有することを特徴とする請求項２記載の画像処理装置。
【請求項５】
上記切り捨てビットプレーン数計算手段は、上記最大ビットプレーン数、上記ゼロ・ビットプレーン数、及び上記コードブロック毎のビットプレーン数を用いて上記切り捨てビットプレーン数を計算することを特徴とする請求項４記載の画像処理装置。
【請求項６】
上記歪み量算出手段は、上記量子化ステップ算出手段によって算出された上記量子化ステップサイズと、逆フィルタリング処理の過程で得られる各サブバンドに対応する合成フィルタの基底のＬ２ノルムと、上記コードブロックの面積とから、上記歪み量を算出することを特徴とする請求項１記載の画像処理装置。
【請求項７】
上記閾値決定手段は、上記歪み量を各フレーム内の全てのコードブロック分だけ加算し又は平均化し、得られた加算値又は平均値に所定の係数を乗算して、上記フレーム毎に上記閾値を決定することを特徴とする請求項１記載の画像処理装置。
【請求項８】
上記閾値決定手段は、上記歪み量を各サブバンド内の全てのコードブロック分だけ加算し又は平均化し、得られた加算値又は平均値に所定の係数と上記サブバンド毎の重み係数とを乗算して、上記サブバンド毎に上記閾値を決定することを特徴とする請求項１記載の画像処理装置。
【請求項９】
上記画像処理手段は、上記復号画像の各画素について、周囲の画素との差分絶対値が上記閾値以下である場合にフィルタリングを行う画像処理を施すことを特徴とする請求項１記載の画像処理装置。
【請求項１０】
上記画像処理は、ローパス・フィルタ処理であることを特徴とする請求項９記載の画像処理装置。
【請求項１１】
あるコードブロックに含まれている上記符号化パス数がゼロ個である場合、上記閾値決定手段は、周囲のコードブロックで上記符号化パス数が非ゼロ個であるコードブロックの歪み量を用いて上記閾値を決定することを特徴とする請求項２記載の画像処理装置。
【請求項１２】
あるコードブロックに含まれている上記符号化パス数がゼロ個である場合、上記閾値決定手段は、周囲８近傍のコードブロックの歪み量の平均値を歪み量として用いて上記閾値を決定することを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
入力画像に対して低域フィルタ及び高域フィルタにより垂直方向及び水平方向にフィルタリング処理を施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施し、このフィルタリング処理で生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成してビットプレーン毎に符号化パスを生成し、上記符号化パス内で算術符号化を行って得られた算術符号にパケットヘッダを加えてパケットを生成することで生成された符号化コードストリームを復号し、復号画像を生成する復号工程と、
上記符号化コードストリームを解析して符号化情報を抽出する符号化コードストリーム解析工程と、
上記符号化コードストリーム解析工程にて抽出された上記符号化情報を用いて、上記コードブロック毎の量子化ステップサイズを算出する量子化ステップ算出工程と、
上記量子化ステップ算出工程にて算出された量子化ステップから、上記コードブロック毎の歪み量を算出する歪み量算出工程と、
上記歪み量算出工程にて算出された上記歪み量に基づいて閾値を決定する閾値決定工程と、
上記閾値決定工程にて決定された上記閾値を用いて、上記復号画像に対して所定の画像処理を施す画像処理工程と
を有することを特徴とする画像処理方法。
【請求項１４】
所定の処理をコンピュータに実行させるプログラムにおいて、
入力画像に対して低域フィルタ及び高域フィルタにより垂直方向及び水平方向にフィルタリング処理を施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施し、このフィルタリング処理で生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成してビットプレーン毎に符号化パスを生成し、上記符号化パス内で算術符号化を行って得られた算術符号にヘッダを加えてパケットを生成することで生成された符号化コードストリームを復号し、復号画像を生成する復号工程と、
上記符号化コードストリームを解析して符号化情報を抽出する符号化コードストリーム解析工程と、
上記符号化コードストリーム解析工程にて抽出された上記符号化情報を用いて、上記コードブロック毎の量子化ステップサイズを算出する量子化ステップ算出工程と、
上記量子化ステップ算出工程にて算出された量子化ステップから、上記コードブロック毎の歪み量を算出する歪み量算出工程と、
上記歪み量算出工程にて算出された上記歪み量に基づいて閾値を決定する閾値決定工程と、
上記閾値決定工程にて決定された上記閾値を用いて、上記復号画像に対して所定の画像処理を施す画像処理工程と
を有することを特徴とするプログラム。
【請求項１５】
所定の処理をコンピュータに実行させるプログラムが記録されたコンピュータ読み取り可能な記録媒体において、
入力画像に対して低域フィルタ及び高域フィルタにより垂直方向及び水平方向にフィルタリング処理を施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施し、このフィルタリング処理で生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成してビットプレーン毎に符号化パスを生成し、上記符号化パス内で算術符号化を行って得られた算術符号にパケットヘッダを加えてパケットを生成することで生成された符号化コードストリームを復号し、復号画像を生成する復号工程と、
上記符号化コードストリームを解析して符号化情報を抽出する符号化コードストリーム解析工程と、
上記符号化コードストリーム解析工程にて抽出された上記符号化情報を用いて、上記コードブロック毎の量子化ステップサイズを算出する量子化ステップ算出工程と、
上記量子化ステップ算出工程にて算出された量子化ステップから、上記コードブロック毎の歪み量を算出する歪み量算出工程と、
上記歪み量算出工程にて算出された上記歪み量に基づいて閾値を決定する閾値決定工程と、
上記閾値決定工程にて決定された上記閾値を用いて、上記復号画像に対して所定の画像処理を施す画像処理工程と
を有することを特徴とするプログラムが記録された記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばＪＰＥＧ−２０００方式のように、ウェーブレット変換とエントロピー符号化とにより画像を圧縮する画像符号化装置によって生成された符号化コードストリームを復号すると共に、復号画像の劣化を抑制する画像処理を施す画像処理装置及びその方法、並びにプログラム及び記録媒体に関する。
【０００２】
【従来の技術】
従来の代表的な画像圧縮方式として、ＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄｓ  Ｏｒｇａｎｉｚａｔｉｏｎ）によって標準化されたＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式がある。これは、離散コサイン変換（Ｄｅｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ；ＤＣＴ）を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。
【０００３】
一方、近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、ＤＣＴのように高圧縮でブロック歪みが顕著になるという欠点がないことから、ＤＣＴに代わる新たな技術として有力視されている。
【０００４】
２００１年１月に国際標準化が完了したＪＰＥＧ−２０００は、このウェーブレット変換に高能率なエントロピー符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、ＪＰＥＧに比べて符号化効率の大きな改善を実現している。
【０００５】
これらの国際規格では復号側の規格のみが定められており、符号化側は自由に設計することができる。その反面、一般に負荷が重いエントロピー符号化の処理の軽減手段等についての規格が存在しないため、ノウハウの確立が何よりも重要になる。
【０００６】
【発明が解決しようとする課題】
ところで、ＪＰＥＧ−２０００規格の復号装置では、伝送路や記録媒体等を介して得られた符号化コードストリームをＪＰＥＧ−２０００方式に従って復号し、復号画像を生成する。
【０００７】
ここで、圧縮率の高いＪＰＥＧ−２０００方式でも、高圧縮になるとエッジ付近にエリアシングといった歪みが顕著になる。特に、静止画像では歪みが目立たない場合でも、動画像ではランダムに発生するフリッカ・ノイズとなり、非常に劣化が顕著になる。
【０００８】
この場合、復号画像に劣化を目立たなくするポスト・プロセッシング処理を施すことが有効である。一般に画像の劣化を抑制するポスト・プロセッシング処理として有名なものに、ローパス・フィルタによって歪みやノイズをぼかして目立たなくする手法がある。
【０００９】
しかしながら、この手法は歪みが目立たなくなる利点はあるものの、画像が本来有しているデティルまで失われてしまうという問題があった。さらに、一般的には、画像全体、動画像の場合には全てのフレームに対して同様のフィルタ処理を施しており、適応的な処理が困難であるという問題があった。
【００１０】
本発明は、このような従来の実情に鑑みて提案されたものであり、例えばＪＰＥＧ−２０００方式で生成された符号化コードストリームを復号すると共に、復号画像の劣化度合いを考慮しながら、適応的にポスト・プロセッシング処理を施す画像処理装置及びその方法、並びにそのような画像処理をコンピュータに実行させるプログラム及びそのプログラムが記録されたコンピュータ読み取り可能な記録媒体を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上述した目的を達成するために、本発明に係る画像処理装置は、入力画像に対して低域フィルタ及び高域フィルタにより垂直方向及び水平方向にフィルタリング処理を施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施し、このフィルタリング処理で生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成してビットプレーン毎に符号化パスを生成し、上記符号化パス内で算術符号化を行って得られた算術符号にパケットヘッダを加えてパケットを生成することで生成された符号化コードストリームを復号し、復号画像を生成する復号手段と、上記符号化コードストリームを解析して符号化情報を抽出する符号化コードストリーム解析手段と、上記符号化コードストリーム解析手段によって抽出された上記符号化情報を用いて、上記コードブロック毎の量子化ステップサイズを算出する量子化ステップ算出手段と、上記量子化ステップ算出手段によって算出された量子化ステップから、上記コードブロック毎の歪み量を算出する歪み量算出手段と、上記歪み量算出手段によって算出された上記歪み量に基づいて閾値を決定する閾値決定手段と、上記閾値決定手段によって決定された上記閾値を用いて、上記復号画像に対して所定の画像処理を施す画像処理手段とを備える。
【００１２】
また、上述した目的を達成するために、本発明に係る画像処理方法は、入力画像に対して低域フィルタ及び高域フィルタにより垂直方向及び水平方向にフィルタリング処理を施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施し、このフィルタリング処理で生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成してビットプレーン毎に符号化パスを生成し、上記符号化パス内で算術符号化を行って得られた算術符号にパケットヘッダを加えてパケットを生成することで生成された符号化コードストリームを復号し、復号画像を生成する復号工程と、上記符号化コードストリームを解析して符号化情報を抽出する符号化コードストリーム解析工程と、上記符号化コードストリーム解析工程にて抽出された上記符号化情報を用いて、上記コードブロック毎の量子化ステップサイズを算出する量子化ステップ算出工程と、上記量子化ステップ算出工程にて算出された量子化ステップから、上記コードブロック毎の歪み量を算出する歪み量算出工程と、上記歪み量算出工程にて算出された上記歪み量に基づいて閾値を決定する閾値決定工程と、上記閾値決定工程にて決定された上記閾値を用いて、上記復号画像に対して所定の画像処理を施す画像処理工程とを有する。
【００１３】
このような画像処理装置及びその方法は、所定の符号化方式に従って生成された符号化コードストリームの特徴を抽出し、コードブロック単位の歪み量から適応的に画像処理に用いられる閾値を決定し、決定した閾値を用いて復号画像に対して画像処理を施す。
【００１４】
また、本発明に係るプログラムは、上述した画像処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００１５】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＪＰＥＧ−２０００方式に従って生成された符号化コードストリームを復号すると共に、復号画像の劣化度合いを考慮しながら、適応的にポスト・プロセッシング処理を施す画像処理装置及びその方法に適用したものである。
【００１６】
（１）画像処理装置の全体構成及び動作
本実施の形態における画像処理装置の概略構成を図１に示す。図１に示すように、画像処理装置１は、復号部１０と、符号化コードストリーム解析部１１と、量子化ステップ算出部１２と、歪み量算出部１３と、閾値決定部１４と、ポスト・フィルタ部１５とから構成されている。
【００１７】
復号部１０は、ＪＰＥＧ−２０００方式に従って生成された符号化コードストリームＤ１０を復号して復号画像Ｄ１１を生成し、この復号画像Ｄ１１をポスト・フィルタ部１５に供給する。
【００１８】
符号化コードストリーム解析部１１は、符号化コードストリームＤ１０の中身を解析し、解析結果情報Ｄ１２を量子化ステップ算出部１２に供給する。
【００１９】
量子化ステップ算出部１２は、符号化コードストリーム解析部１１から供給された解析結果情報Ｄ１２等の情報を用いて、ＪＰＥＧ−２０００規格の最小復号処理単位であるコードブロック毎に量子化ステップサイズＤ１３を計算し、この量子化ステップサイズＤ１３を歪み量算出部１３に供給する。
【００２０】
歪み量算出部１３は、量子化ステップ算出部１２から供給された量子化ステップサイズＤ１３等の情報を用いて、コードブロック毎の歪み量Ｄ１４を算出する。歪み量算出部１３は、このコードブロック毎の歪み量Ｄ１４を閾値決定部１４に供給する。
【００２１】
閾値決定部１４は、コードブロック毎の歪み量Ｄ１４等の情報を用いてポスト・フィルタ処理のための閾値Ｄ１５を算出し、この閾値Ｄ１５をポスト・フィルタ部１５に供給する。
【００２２】
ポスト・フィルタ部１５は、閾値決定部１４から供給された閾値Ｄ１５に基づいて、復号部１０から供給された復号画像Ｄ１１に対してポスト・フィルタ処理を施し、ポスト・フィルタ処理後の処理画像Ｄ１６を外部に出力する。
【００２３】
（２）各部の詳細な動作
以下、画像処理装置１において、復号画像Ｄ１１に対するポスト・フィルタ処理に関わる各部の動作について、さらに詳細に説明する。
【００２４】
（２−１）符号化コードストリーム解析部
符号化コードストリーム解析部１１（図１）の内部構成を図２に示す。図２に示すように、符号化コードストリーム解析部１１は、パケットヘッダ解読部２０と、ビットプレーン数計算部２１と、情報抽出部２２とから構成されている。
【００２５】
パケットヘッダ解読部２０は、符号化コードストリームＤ１０を構成する複数個のパケットを解読してそれらのパケットヘッダを抽出し、パケットヘッダに記述されているゼロ・ビットプレーン数Ｄ２０及び符号化パス数Ｄ２１を抽出する。
【００２６】
ビットプレーン数計算部２１は、以下の式（１）を用いて、符号化パス数（Ｎｃ）Ｄ２１から、コードブロックに含まれているビットプレーン数（Ｂｃ）Ｄ２２を算出する。
【００２７】
【数１】
2004165727.tif 000003
【００２８】
なお、この式（１）は、ビットプレーンを符号化する際に、最上位のビットプレーンのみ１つの符号化パスを用いて符号化し、それ以外のビットプレーンは３つの符号化パスを用いて符号化することがＪＰＥＧ−２０００規格で定められていることを利用したものである。
【００２９】
情報抽出部２２は、符号化コードストリームＤ１０中のＪＰＥＧ−２０００規格で規定されたＱＣＤ（Ｑｕａｎｔｉｚａｔｉｏｎ  ｄｅｆａｕｌｔ）又はＱＣＣ（Ｑｕａｎｔｉｚａｔｉｏｎ  ｃｏｍｐｏｎｅｎｔ）の情報から、ガードビット情報とＥｘｐｏｎｅｎｔの情報Ｄ２３を抽出する。なお、ＱＣＤは主に量子化に関する情報を記憶・保持する役目を持つマーカセグメントであり、メインヘッダに必須である。また、ＱＣＣはマルチプル・コンポーネント時に使用される。
【００３０】
符号化コードストリーム解析部１１は、これらのゼロ・ビットプレーン数Ｄ２０、コードブロックに含まれているビットプレーン数Ｄ２２及びガードビット情報とＥｘｐｏｎｅｎｔの情報Ｄ２３を解析結果情報Ｄ１２として、図１に示した量子化ステップ算出部１２に供給する。
【００３１】
（２−２）量子化ステップ算出部
量子化ステップ算出部１２（図１）の内部構成を図３に示す。図３に示すように、量子化ステップ算出部１２は、最大ビットプレーン数計算部３０と、切り捨てビットプレーン数計算部３１と、量子化ステップサイズ算出部３２とから構成されている。
【００３２】
最大ビットプレーン数計算部３０は、以下の式（２）を用いて、ガードビット情報（Ｇｂ）とＥｘｐｏｎｅｎｔの情報（εｂ）Ｄ２３から、コードブロックの最大ビットプレーン数（Ｍｂ）Ｄ３０を算出する。
【００３３】
【数２】
2004165727.tif 000004
【００３４】
切り捨てビットプレーン数計算部３１は、以下の式（３）を用いて、ゼロ・ビットプレーン数（Ｉｃ）Ｄ２０とコードブロックに含まれているビットプレーン数（Ｂｃ）Ｄ２２とから、切り捨てビットプレーン数（Ｔｃ）Ｄ３１を算出する。
【００３５】
【数３】
2004165727.tif 000005
【００３６】
ここで、最大ビットプレーン数Ｍｂ、ゼロ・ビットプレーン数Ｉｃ、ビットプレーン数Ｂｃ及び切り捨てビットプレーン数Ｔｃの関係について図４を用いて説明する。この図４はＪＰＥＧ−２０００方式で採用されているビットプレーンの図であり、ＭＳＢ（最上位ビット）からＬＳＢ（最下位ビット）までビットプレーンが展開されていることを示したものである。
【００３７】
図４に示すように、ＣＢ０、ＣＢ１、ＣＢ２、ＣＢ３の各コードブロックに対して、最大ビットプレーン数Ｍｂから、ゼロ・ビットプレーン数Ｉｃとコードブロックに含まれているビットプレーン数Ｂｃとを減算した残りのビットプレーンが、求める切り捨てビットプレーン数Ｔｃになる。
【００３８】
量子化ステップサイズ算出部３２は、以下の式（４）を用いて、切り捨てビットプレーン数（Ｔｃ）Ｄ３１と、各サブバンドに対するスカラ量子化ステップサイズ（Ｑｂ）Ｄ３２とから、量子化ステップサイズ（Ｑｃ）Ｄ１３を算出する。
ここで、スカラ量子化ステップサイズ（Ｑｂ）は、以下の式（５）で表現することがＪＰＥＧ−２０００規格で定められている。
【００３９】
【数４】
2004165727.tif 000006
【００４０】
なお、上述の式（４）は一例であり、これ以外にも量子化ステップサイズＤ１３を算出する手法が存在するのは勿論である。
【００４１】
（２−３）歪み量算出部
歪み量算出部１３（図１）は、図５に示すように、例えば以下の式（６）を用いて、量子化ステップサイズＤ１３と、各サブバンドに対応する合成フィルタの基底のＬ２ノルムＤ４０と、コードブロックの面積（サンプル数、ＳＩＺ）Ｄ４１とから、コードブロック毎の歪み量（Ｄｃ）Ｄ１４を算出する。
【００４２】
【数５】
2004165727.tif 000007
【００４３】
なお、この式（６）は、コードブロックの量子化ステップサイズＤ１３の大小に影響される歪みと、合成フィルタの基底のＬＳノルムＤ４０に影響される歪みと、コードブロックの面積Ｄ４１に起因する歪みとの相乗効果によって、最終的な歪み量Ｄ１４が定義できるという仮定に基づくものである。したがって、上述の式（６）では２乗の積を算出しているが、これの平方根をとるような式を用いても構わない。
【００４４】
（２−４）閾値決定部
閾値決定部１４（図１）の内部構成を図６に示す。図６に示すように、閾値決定部１４は、歪み量加算・平均値算出部５０と、閾値算出部５１とから構成されている。
【００４５】
歪み量加算・平均値算出部５０は、ある個数分だけコードブロック毎の歪み量Ｄ１４を加算し又は平均化し、その加算値又は平均値Ｄ５０を算出する。
【００４６】
閾値算出部５１は、例えば以下の式（７）を用いて、歪み量の加算値又は平均値Ｄ５０と、ある係数値（ｋ）Ｄ５１とから、閾値（Ｅｃ）Ｄ１５を算出する。
【００４７】
【数６】
2004165727.tif 000008
【００４８】
ここで、歪み量加算・平均値算出部５０において、歪み量Ｄ１４を加算し又は平均化する際のコードブロックの選択単位について説明する。
【００４９】
図７は、１つの画像を３回ウェーブレット変換・分割した際に生成されるサブバンドを図示したものである。ここで、図７においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの前の数字は分割レベルを表す。すなわち、例えば１ＬＨは、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンドを表す。図７では、最低域０ＬＬから最高域３ＨＨまで、１０個のサブバンドが存在している。
【００５０】
ＪＰＥＧ−２０００規格では、図８に示すように、これらのサブバンド中に同一サイズ（例：６４×６４）のコードブロックを定義し、コードブロック毎に符号化・復号を行う。
【００５１】
歪み量加算・平均値算出部５０において、１枚の画像中の全てのサブバンドのコードブロック分だけ歪み量Ｄ１４を加算し又は平均化する場合には、上述の式（７）から、各フレームについて１個の閾値（Ｅｃ）Ｄ１５が算出される。また、サブバンド毎にコードブロックの歪み量Ｄ１４を加算し又は平均化する場合には、同様に、各サブバンドについて１個の閾値（Ｅｃ）Ｄ１５が算出される。
【００５２】
なお、サブバンド毎にコードブロックの歪み量Ｄ１４を加算し又は平均化する場合には、低域のサブバンド内のコードブロックほど歪み量の反映度が大きく、高域のサブバンド内のコードブロックほど歪み量の反映度が小さくなるように制御することが好ましい。したがって、例えば図９に示すようなサブバンド毎の重み係数のテーブルを予め用意しておき、サブバンド毎に加算し又は平均化した歪み量Ｄ１４にこれらの重み係数を乗算するようにする。
【００５３】
（２−５）ポスト・フィルタ部
ポスト・フィルタ部１５は、例えば、一般にイプシロン・フィルタと呼ばれている非線形フィルタを用いて、復号画像Ｄ１１に対してポスト・フィルタ処理を施す。
【００５４】
ここで、イプシロン・フィルタは、閾値処理によってノイズを選択的に除去するフィルタであり、入力信号をｘ（ｍ，ｎ）とすると、出力信号ｙ（ｍ，ｎ）は、以下の式（８）で表すことができる。ここで、式（８）において、ａ（ｉ）はローパス・フィルタであり、Ｆは以下の式（９）を満たすクリッピング関数である。
【００５５】
【数７】
2004165727.tif 000009
【００５６】
イプシロン・フィルタでは、このεの値の選択によりノイズ除去の度合いが制御される。一般に歪みの多い画像ではεの値を大きく設定し、歪みの少ない画像では副作用を避けるためにεの値を小さく設定することで、効果的に画質を改善することができる。
【００５７】
ポスト・フィルタ部１５は、閾値決定部１４から供給された閾値Ｅｃを上述した式（９）のεの値として用いて、復号画像Ｄ１１に対して式（８）に示すようなポスト・フィルタ処理を施す。この結果、復号画像Ｄ１１の入力信号ｘ（ｍ，ｎ）に対して、フィルタ後の出力信号ｙ（ｍ，ｎ）が生成されることになる。
【００５８】
ポスト・フィルタ部１５は、このようにして得られた最終的なフィルタ済みの処理画像Ｄ１６を外部に出力する。
【００５９】
（３）その他
以上のように、本実施の形態における画像処理装置及びその方法によれば、ＪＰＥＧ−２０００方式に従って生成された符号化コードストリームの特徴を抽出し、コードブロック単位の歪み量から適応的にポスト・フィルタ処理の閾値を決定してフィルタ処理を施すことにより、１通りの閾値しか与えられていない場合と比較して、遥かに画質を改善することができる。
【００６０】
また、最終段のポスト・フィルタ処理の代わりに、他の手段を備えることも可能である。例えば、コードブロック毎に歪み量を算出していることを利用し、歪み量が大きい、すなわち画質の劣化が大きいコードブロックを隠すようにしたり、他の高画質な画像で置き換えたりすることも、視覚上効果的である。
【００６１】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【００６２】
例えば、上述の実施の形態では、符号化コードストリーム解析部１１のパケットヘッダ解読部２０において、コードブロックに含まれている符号化パス数を抽出するものとして説明したが、コードブロックに含まれている符号化パス数がゼロ個である場合も存在する。このような場合、周囲のコードブロックで符号化パス数が非ゼロ個であるコードブロックの歪み量を記憶しておき、その歪み量を用いて後段の処理を行えばよい。また、周囲８近傍のコードブロックの歪み量の平均値を歪み量とすることも有効である。１個のコードブロックよりも、周囲８近傍のコードブロックの方が、より大局的な歪み量を算出できる可能性が高いからである。
【００６３】
また、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。
この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
【００６４】
【発明の効果】
以上詳細に説明したように本発明に係る画像処理装置は、入力画像に対して低域フィルタ及び高域フィルタにより垂直方向及び水平方向にフィルタリング処理を施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施し、このフィルタリング処理で生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成してビットプレーン毎に符号化パスを生成し、上記符号化パス内で算術符号化を行って得られた算術符号にパケットヘッダを加えてパケットを生成することで生成された符号化コードストリームを復号し、復号画像を生成する復号手段と、上記符号化コードストリームを解析して符号化情報を抽出する符号化コードストリーム解析手段と、上記符号化コードストリーム解析手段によって抽出された上記符号化情報を用いて、上記コードブロック毎の量子化ステップサイズを算出する量子化ステップ算出手段と、上記量子化ステップ算出手段によって算出された量子化ステップから、上記コードブロック毎の歪み量を算出する歪み量算出手段と、上記歪み量算出手段によって算出された上記歪み量に基づいて閾値を決定する閾値決定手段と、上記閾値決定手段によって決定された上記閾値を用いて、上記復号画像に対して所定の画像処理を施す画像処理手段とを備える。
【００６５】
また、本発明に係る画像処理方法は、入力画像に対して低域フィルタ及び高域フィルタにより垂直方向及び水平方向にフィルタリング処理を施してサブバンドを生成し、低域成分のサブバンドに対して階層的にフィルタリング処理を施し、このフィルタリング処理で生成されたサブバンドを分割して所定の大きさのコードブロックを生成し、上記コードブロック単位に最上位ビットから最下位ビットに至るビットプレーンを生成してビットプレーン毎に符号化パスを生成し、上記符号化パス内で算術符号化を行って得られた算術符号にパケットヘッダを加えてパケットを生成することで生成された符号化コードストリームを復号し、復号画像を生成する復号工程と、上記符号化コードストリームを解析して符号化情報を抽出する符号化コードストリーム解析工程と、上記符号化コードストリーム解析工程にて抽出された上記符号化情報を用いて、上記コードブロック毎の量子化ステップサイズを算出する量子化ステップ算出工程と、上記量子化ステップ算出工程にて算出された量子化ステップから、上記コードブロック毎の歪み量を算出する歪み量算出工程と、上記歪み量算出工程にて算出された上記歪み量に基づいて閾値を決定する閾値決定工程と、上記閾値決定工程にて決定された上記閾値を用いて、上記復号画像に対して所定の画像処理を施す画像処理工程とを有する。
【００６６】
このような画像処理装置及びその方法によれば、所定の符号化方式に従って生成された符号化コードストリームの特徴を抽出し、コードブロック単位の歪み量から適応的に画像処理に用いられる閾値を決定し、決定した閾値を用いて復号画像に対して画像処理を施すことにより、例えば復号画像の劣化を考慮しながら、適応的に画像処理を施すことができる。
【００６７】
また、本発明に係るプログラムは、上述した画像処理をコンピュータに実行させるものであり、本発明に係る記録媒体は、そのようなプログラムが記録されたコンピュータ読み取り可能なものである。
【００６８】
このようなプログラム及び記録媒体によれば、上述した画像処理をソフトウェアにより実現することができる。
【図面の簡単な説明】
【図１】本実施の形態における画像処理装置の概略構成を説明する図である。
【図２】同画像処理装置における符号化コードストリーム解析部の内部構成を説明する図である。
【図３】同画像処理装置における量子化ステップ算出部の内部構成を説明する図である。
【図４】最大ビットプレーン数Ｍｂ、ゼロ・ビットプレーン数Ｉｃ、ビットプレーン数Ｂｃ及び切り捨てビットプレーン数Ｔｃの関係を説明するための図である。
【図５】同画像処理装置における歪み量算出部の動作を説明するための図である。
【図６】同画像処理装置における閾値決定回路の内部構成を説明する図である。
【図７】３回ウェーブレット変換・分割した場合のサブバンドを示す図である。
【図８】コードブロックとサブバンドとの関係を説明する図である。
【図９】サブバンド毎に加算し又は平均化した歪み量に乗算する重み係数のテーブルを示す図である。
【符号の説明】
１  画像処理装置、１０  復号部、１１  符号化コードストリーム解析部、１２  量子化ステップ算出部、１３  歪み量算出部、１４  閾値決定部、１５  ポスト・フィルタ部、２０  パケットヘッダ解読部、２１  ビットプレーン数計算部、２２  情報抽出部、３０  最大ビットプレーン数計算部、３１  切り捨てビットプレーン数計算部、３２  量子化ステップサイズ算出部、５０  歪み量加算・平均値算出部、５１  閾値算出部
【図１】
2004165727.tif 000010
【図２】
2004165727.tif 000011
【図３】
2004165727.tif 000012
【図４】
2004165727.tif 000013
【図５】
2004165727.tif 000014
【図６】
2004165727.tif 000015
【図７】
2004165727.tif 000016
【図８】
2004165727.tif 000017
【図９】
2004165727.tif 000018