(57)【要約】【課題】動画像中を重要度別領域毎に優先符号化された優先符号化データの特徴量に応じてポストフィルタのフィルタパラメータを適応的に制御して、画面全体の主観画質を向上させること。【解決手段】映像復号化装置２００は、フィルタパラメータ算出部２１３が、映像符号化装置において画面内の重要領域から周辺領域に向けて段階的にシフト値が小さくなる段階的シフトマップに設定された各小領域のシフト値に基づいて、ポストフィルタ処理部２１５のノイズ除去強度を制御するフィルタパラメータを算出し、ポストフィルタ処理部２１５において算出したフィルタパラメータを適用して復号化された再構成画像のポストフィルタ処理を行う。【選択図】      図２
2004343451.tif 000002
【特許請求の範囲】
【請求項１】
動画像中を重要度別領域毎に優先符号化された優先符号化データを復号化する動画像復号化方法において、
前記優先符号化データに設定された特徴量に基づいてポストフィルタのフィルタパラメータを算出する算出ステップと、
前記フィルタパラメータをポストフィルタに適用して前記優先符号化データの復号化データのノイズ成分を処理するポストフィルタ処理ステップと、
を有することを特徴とする動画像復号化方法。
【請求項２】
前記特徴量は、前記重要度別領域毎に優先符号化する際に設定されたシフト値であり、
前記算出ステップは、前記優先符号化データのシフト値に基づいて領域毎にポストフィルタのフィルタパラメータを算出することを特徴とする請求項１記載の動画像復号化方法。
【請求項３】
前記算出ステップは、前記優先符号化データのシフト値の大小に基づいて、前記フィルタパラメータとしてノイズ除去強度を算出し、
前記ポストフィルタ処理ステップは、前記ノイズ除去強度をポストフィルタに適用して前記優先符号化データの復号化データのノイズ成分を処理することを特徴とする請求項２記載の動画像復号化方法。
【請求項４】
前記算出ステップは、シフト値が小さい場合は、ノイズ除去強度を強めに算出し、シフト値が大きい場合は、ノイズ除去強度を弱めに算出することを特徴とする請求項３記載の動画像復号化方法。
【請求項５】
前記特徴量は、前記重要度別領域毎に優先符号化する際に設定されたシフト値と、前記優先符号化データの合計受信ビット量に対する割合であり、
前記算出ステップは、前記優先符号化データのシフト値と合計受信ビット量に対する割合に基づいてポストフィルタのフィルタパラメータを算出することを特徴とする請求項１記載の動画像復号化方法。
【請求項６】
前記算出ステップは、前記優先符号化データのシフト値の大小と合計受信ビット量に対する割合の大小とに基づいて、前記フィルタパラメータとしてノイズ除去強度を算出し、
前記ポストフィルタ処理ステップは、前記ノイズ除去強度をポストフィルタに適用して前記優先符号化データの復号化データのノイズ成分を処理することを特徴とする請求項５記載の動画像復号化方法。
【請求項７】
前記算出ステップは、シフト値及び合計受信ビット量に対する割合が小さい場合は、ノイズ除去強度を強めに算出し、シフト値及び合計受信ビット量に対する割合が大きい場合は、ノイズ除去強度を弱めに算出することを特徴とする請求項６記載の動画像復号化方法。
【請求項８】
前記特徴量は、前記重要度別領域の境界付近の画素に対する周辺領域の特徴量であり、
前記算出ステップは、前記特徴量に基づいて画素毎にポストフィルタのノイズ除去強度を補正する補正値を算出し、
前記ポストフィルタ処理ステップは、前記補正値に基づいてポストフィルタのノイズ除去強度を補正して前記優先符号化データの復号化データのノイズ成分を処理することを特徴とする請求項１記載の動画像復号化方法。
【請求項９】
前記算出ステップは、前記周辺領域の特徴量の大小に基づいて、当該周辺領域に近い境界の画素に対するノイズ除去強度を補正する補正値を算出し、
前記ポストフィルタ処理ステップは、前記補正値に基づいて前記境界画素に対するポストフィルタのノイズ除去強度を補正して前記優先符号化データの復号化データのノイズ成分を処理することを特徴とする請求項８記載の動画像復号化方法。
【請求項１０】
前記算出ステップは、前記周辺領域の特徴量が大きい場合は、前記境界画素に対するノイズ除去強度を大きく補正する補正値を算出し、前記周辺領域の特徴量が小さい場合は、前記境界画素に対するノイズ除去強度を小さく補正する補正値を算出することを特徴とする請求項９記載の動画像復号化方法。
【請求項１１】
前記算出ステップは、前記重要度別領域毎にポストフィルタのノイズ除去強度を算出するとともに、当該算出の度にノイズ除去強度を記憶し、算出したノイズ除去強度を記憶した過去のノイズ除去強度を用いて補正し、前記ポストフィルタ処理ステップは、前記補正されたノイズ除去強度に基づいてポストフィルタのノイズ除去強度を設定して前記優先符号化データの復号化データのノイズ成分を処理することを特徴とする請求項１記載の動画像復号化方法。
【請求項１２】
動画像中を重要度別領域毎に優先符号化された優先符号化データを復号化し、この復号化データのノイズ成分をポストフィルタにより処理する動画像復号化装置において、
前記優先符号化データの特徴量に基づいて前記ポストフィルタのフィルタパラメータを算出する算出手段と、
前記フィルタパラメータをポストフィルタに適用して前記優先符号化データの復号化データのノイズ成分を処理するポストフィルタ処理手段と、
を具備することを特徴とする動画像復号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、重要度別領域毎に優先符号化された優先符号化データを復号化する動画像復号化方法及び動画像復号化装置に関する。
【０００２】
【従来の技術】
従来の映像伝送システムで伝送される映像データは、ある一定の伝送帯域で伝送できるように、通常、Ｈ．２６１方式やＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式などによって一定帯域以下に圧縮符号化されており、一度符号化された映像データは伝送帯域が変わっても映像品質を変えることはできない。
【０００３】
しかしながら、近年のネットワークの多様化に伴い、伝送路の帯域変動が大きく、複数の帯域に見合った品質の映像を伝送可能な映像データが必要とされており、これに対応するために、階層構造を持ち複数帯域に対応できる階層符号化方式が規格化されている。
【０００４】
このような階層符号化方式の中でも、とりわけ帯域選択に関して自由度が高い方式であるＭＰＥＧ−４  ＦＧＳ（ＩＳＯ／ＩＥＣ  １４４９６−２  Ａｍｅｎｄｍｅｎｔ  ２）が現在規格化されている。
【０００５】
ＭＰＥＧ−４  ＦＧＳにより符号化された映像データは、単体で復号化が可能な動画像ストリームである一の基本レイヤと、基本レイヤの復号化動画像品質を向上させるための動画像ストリームである、少なくとも一以上の拡張レイヤとで構成される。基本レイヤは低帯域で低画質の映像データであり、これに拡張レイヤを帯域に応じて足し合わせることにより自由度の高い高画質化が可能であり、低帯域においても動画像の高画質化が可能である。
【０００６】
この階層符号化方式を用いることにより、例えば、動画像内をユーザーにとって重要な領域とその他の周辺領域とに分けて適応的にビットシフトさせたＤＣＴ係数を設定し、重要領域から優先的に符号化するような符号化処理を実行すれば、重要領域から優先的に復号化する復号化処理も可能であり、重要領域から段階的に高画質化することができる。
【０００７】
また、符号化時と復号化時の処理負担を軽減するものとして、ＭＰＥＧ２方式及びＭＰＥＧ４方式が基本的に採用する動き補償予測（ＭＣ）と離散コサイン変換（ＤＣＴ）を用いたハイブリット符号化方式において、動画像の画質を劣化させずに符号化処理と復号化処理の高速化を図る装置が提案されている（例えば、特許文献１参照）。
【０００８】
この装置では、符号化処理に際して、ＤＣＴ係数を量子化するための量子化パラメータがある閾値より大きいか否かにより、半画素精度の動きベクトル検出動作を行うか、整数画素精度の動きベクトル検出動作を行うかを決定することにより、画質を損なうことなく符号化処理の負担を軽減している。
【０００９】
また、この装置では、復号化処理に際して、量子化パラメータが予め設定した閾値よりも大きいか否かにより、ポストフィルタ処理のオン／オフを行うことにより、画質を損なうことなく復号化処理の負担を軽減している。
【００１０】
したがって、階層符号化方式を用いて動画像を符号化する際に上記符号化処理を適用し、階層符号化された符号化データを復号化する際に上記復号化処理を適用することにより、各処理の負担を軽減することが可能である。
【００１１】
【特許文献１】
特開２００１−２４５２９７号公報（請求項１、請求項５）
【００１２】
【発明が解決しようとする課題】
しかしながら、階層符号化方式を用いて動画像の重要領域を優先符号化した優先符号化データを復号化する際に、量子化パラメータの閾値に基づいてポストフィルタのオン／オフ制御を行うと、重要領域の復号化画像の画質に対して周辺領域の復号化画像の劣化が目立ってしまい、主観画質が低下するという問題が発生する。
【００１３】
すなわち、動画像内をユーザーにとって重要な領域とその他の周辺領域とに分けて適応的にビットシフトさせたＤＣＴ係数を設定して重要領域から優先的に符号化した場合、量子化パラメータの設定も重要領域と周辺領域で差が発生し、画像内に画質差が発生し、特に優先符号化されていない周辺領域の画質劣化が大きいため、優先符号化時のＤＣＴ係数及び量子化パラメータの設定に応じてポストフィルタのフィルタ処理を全体にかけてしまうと、画像全体のノイズを低減することは可能になるが、優先符号化領域の画像の鮮鋭さが失われてしまう。
【００１４】
本発明はかかる点に鑑みてなされたものであり、動画像中を重要度別領域毎に優先符号化された優先符号化データの特徴量に応じてポストフィルタのフィルタパラメータを適応的に制御して、画面全体の主観画質を向上させる動画像復号化方法および動画像復号化装置を提供することを目的とする。
【００１５】
【課題を解決するための手段】
本発明の動画像復号化方法は、動画像中を重要度別領域毎に優先符号化された優先符号化データを復号化する動画像復号化方法において、前記優先符号化データの特徴量に基づいてポストフィルタのフィルタパラメータを算出する算出ステップと、前記フィルタパラメータをポストフィルタに適用して前記優先符号化データの復号化データのノイズ成分を処理するポストフィルタ処理ステップと、を有するようにした。
【００１６】
この方法によれば、優先符号化データの特徴量に基づいてポストフィルタのフィルタパラメータを適応的に制御するため、画面全体の主観画質を向上することができる。
【００１７】
本発明の動画像復号化方法は、前記特徴量は、前記重要度別領域毎に優先符号化する際に設定されたシフト値であり、前記算出ステップは、前記優先符号化データのシフト値に基づいて領域毎にポストフィルタのフィルタパラメータを算出するようにした。
【００１８】
この方法によれば、重要度別領域毎に優先符号化する際に設定されたシフト値に基づいてポストフィルタのフィルタパラメータを制御するため、１画面内の重要領域と周辺領域のフィルタパラメータを適応的に制御することができる。
【００１９】
本発明の動画像復号化方法は、前記算出ステップは、前記優先符号化データのシフト値の大小に基づいて、前記ポストフィルタのフィルタパラメータとしてノイズ除去強度を算出し、前記ポストフィルタ処理ステップは、前記ノイズ除去強度をポストフィルタに適用して前記優先符号化データの復号化データのノイズ成分を処理するようにした。
【００２０】
この方法によれば、優先符号化データのシフト値の大小に基づいて、ポストフィルタのノイズ除去強度を制御するため、１画面内の重要領域と周辺領域のノイズ除去強度を適応的に制御することができる。
【００２１】
本発明の動画像復号化方法は、前記算出ステップは、シフト値が小さい場合は、ノイズ除去強度を強めに算出し、シフト値が大きい場合は、ノイズ除去強度を弱めに算出するようにした。
【００２２】
この方法によれば、シフト値が小さい場合は、ノイズ除去強度を強めに算出し、シフト値が大きい場合は、ノイズ除去強度を弱めに算出するため、重要領域の高画質を維持しながら周辺領域のノイズを適宜除去することができる。
【００２３】
本発明の動画像復号化方法は、前記特徴量は、前記重要度別領域毎に優先符号化する際に設定されたシフト値と、前記優先符号化データの合計受信ビット量に対する領域毎の受信ビット量の割合であり、前記算出ステップは、前記優先符号化データのシフト値と合計受信ビット量に対する割合に基づいてポストフィルタのフィルタパラメータを算出するようにした。
【００２４】
この方法によれば、優先符号化データのシフト値と合計受信ビット量に対する割合とに基づいてポストフィルタのフィルタパラメータを制御するため、１画面内の重要領域と周辺領域のフィルタパラメータを適応的に制御することができ、画面全体の主観画質を向上することができる。
【００２５】
本発明の動画像復号化方法は、前記算出ステップは、前記優先符号化データのシフト値の大小と合計受信ビット量に対する割合の大小とに基づいて、前記ポストフィルタのフィルタパラメータとしてノイズ除去強度を算出し、前記ポストフィルタ処理ステップは、前記ノイズ除去強度をポストフィルタに適用して前記優先符号化データの復号化データのノイズ成分を処理するようにした。
【００２６】
この方法によれば、優先符号化データのシフト値と合計受信ビット量に対する割合の各大小に基づいて、１画面内の重要領域と周辺領域のノイズ除去強度を適応的に制御することができる。
【００２７】
本発明の動画像復号化方法は、前記算出ステップは、シフト値及び合計受信ビット量に対する割合が小さい場合は、ノイズ除去強度を強めに算出し、シフト値及び合計受信ビット量に対する割合が大きい場合は、ノイズ除去強度を弱めに算出するようにした。
【００２８】
この方法によれば、シフト値及び合計受信ビット量に対する割合が小さい場合は、ノイズ除去強度を強めに算出し、シフト値及び合計受信ビット量に対する割合が大きい場合は、ノイズ除去強度を弱めに算出するため、重要領域の高画質を維持しながら周辺領域のノイズを適宜除去することができる。
【００２９】
本発明の動画像復号化方法は、前記特徴量は、前記重要度別領域の境界付近の画素に対する周辺領域の特徴量であり、前記算出ステップは、前記特徴量に基づいて画素毎にポストフィルタのノイズ除去強度を補正する補正値を算出し、前記ポストフィルタ処理ステップは、前記補正値に基づいてポストフィルタのノイズ除去強度を補正して前記優先符号化データの復号化データのノイズ成分を処理するようにした。
【００３０】
この方法によれば、重要度別領域の境界付近の画素に対する周辺領域の特徴量に基づいて、ポストフィルタのノイズ除去強度を補正するため、１画面内の境界画像領域のフィルタ強度の格差を補正することができる。
【００３１】
本発明の動画像復号化方法は、前記算出ステップは、前記周辺領域の特徴量の大小に基づいて、当該周辺領域に近い境界の画素に対するノイズ除去強度を補正する補正値を算出し、前記ポストフィルタ処理ステップは、前記補正値に基づいて前記境界画素に対するポストフィルタのノイズ除去強度を補正して前記優先符号化データの復号化データのノイズ成分を処理するようにした。
【００３２】
この方法によれば、周辺領域の特徴量の大小に基づいて、当該周辺領域に近い境界の画素に対するノイズ除去強度を補正するため、１画面内の周辺領域に近い境界画像領域のフィルタ強度の格差を補正することができる。
【００３３】
本発明の動画像復号化方法は、前記算出ステップは、前記周辺領域の特徴量が大きい場合は、前記境界画素に対するノイズ除去強度を大きく補正する補正値を算出し、前記周辺領域の特徴量が小さい場合は、前記境界画素に対するノイズ除去強度を小さく補正する補正値を算出するようにした。
【００３４】
この方法によれば、周辺領域の特徴量が大きい場合は、境界画素に対するノイズ除去強度を大きく補正する補正値を算出し、周辺領域の特徴量が小さい場合は、境界画素に対するノイズ除去強度を小さく補正する補正値を算出するため、重要領域の高画質を維持しながら周辺領域のノイズを適宜除去することができる。
【００３５】
本発明の動画像復号化方法は、前記算出ステップは、前記重要度別領域毎にポストフィルタのノイズ除去強度を算出するとともに、当該算出の度にノイズ除去強度を記憶し、算出したノイズ除去強度を記憶した過去のノイズ除去強度を用いて補正し、前記ポストフィルタ処理ステップは、前記補正されたノイズ除去強度に基づいてポストフィルタのノイズ除去強度を設定して前記優先符号化データの復号化データのノイズ成分を処理するようにした。
【００３６】
この方法によれば、ノイズ除去強度を算出する度にノイズ除去強度を記憶し、算出したノイズ除去強度を記憶した過去のノイズ除去強度を用いて補正するため、フレーム間のフィルタ強度の変動を防ぐことができ、時間的に滑らかな映像を提供することができる。
【００３７】
本発明の動画像復号化装置は、動画像中を重要度別領域毎に優先符号化された優先符号化データを復号化し、この復号化データのノイズ成分をポストフィルタにより処理する動画像復号化装置において、前記優先符号化データの特徴量に基づいて前記ポストフィルタのフィルタパラメータを算出する算出手段と、前記フィルタパラメータをポストフィルタに適用して前記優先符号化データの復号化データのノイズ成分を処理するポストフィルタ処理手段と、を具備するようにした。
【００３８】
この構成によれば、優先符号化データの特徴量に基づいてポストフィルタのフィルタパラメータを適応的に制御するため、画面全体の主観画質を向上することができる。
【００３９】
【発明の実施の形態】
本発明の骨子は、動画像中を重要度別領域毎に優先符号化された優先符号化データの特徴量に応じてポストフィルタのフィルタパラメータを適応的に制御して、画面全体の主観画質を向上することである。
【００４０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００４１】
（実施の形態１）
本実施の形態では、小領域毎に符号化の際に設定されたシフト値に基づいてポストフィルタのノイズ除去強度を制御するフィルタパラメータを算出して、復号化画像を小領域毎にポストフィルタ処理する際のフィルタパラメータを適応的に制御することができ、画面全体の主観画質を向上することができる動画像復号化方法を適用した映像復号化装置について説明する。
【００４２】
図１は、本発明の実施の形態１に係る動画像符号化方法を適用した映像符号化装置の構成を示すブロック図である。
【００４３】
図１に示す映像符号化装置１００は、基本レイヤを生成する基本レイヤエンコーダ１１０と、拡張レイヤを生成する拡張レイヤエンコーダ１２０と、基本レイヤの帯域を設定する基本レイヤ帯域設定部１４０と、拡張レイヤの分割帯域幅を設定する拡張レイヤ分割幅設定部１５０とを有する。
【００４４】
基本レイヤエンコーダ１１０は、１画像毎に画像（原画像）を入力する画像入力部１１２と、基本レイヤの圧縮符号化を行う基本レイヤ符号化部１１４と、基本レイヤの出力を行う基本レイヤ出力部１１６と、基本レイヤの復号化を行う基本レイヤ復号化部１１８とを有する。
【００４５】
拡張レイヤエンコーダ１２０は、重要領域の検出を行う重要領域検出部１２２と、重要領域の情報から段階的シフトマップを生成する段階的シフトマップ生成部１２４と、入力画像と基本レイヤ復号化画像（再構成画像）との差分画像を生成する差分画像生成部１２６と、ＤＣＴ変換を行うＤＣＴ部１２８と、段階的シフトマップ生成部１２４から出力されるシフトマップに従ってＤＣＴ係数のビットシフトを行うビットシフト部１３０と、ＤＣＴ係数に対してビット平面毎に可変長符号化ＶＬＣ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｃｏｄｉｎｇ）を行うビット平面ＶＬＣ部１３２と、ＶＬＣ符号化された拡張レイヤを拡張レイヤ分割幅設定部１５０から入力される分割幅でデータ分割処理を行う拡張レイヤ分割部１３４とを有する。
【００４６】
図２は、本発明の実施の形態１に係る動画像符号化方法を適用した映像復号化装置の構成を示すブロック図である。
【００４７】
映像復号化装置２００は、基本レイヤを復号化する基本レイヤデコーダ２０１と、拡張レイヤを復号化する拡張レイヤデコーダ２１０と、復号化された画像を再構成して出力する再構成画像出力部２２０とを有する。
【００４８】
基本レイヤデコーダ２０１は、基本レイヤを入力する基本レイヤ入力部２０２と、入力された基本レイヤの復号化処理を行う基本レイヤ復号化処理部２０３とを有する。
【００４９】
拡張レイヤデコーダ２１０は、拡張レイヤを入力する拡張レイヤ入力部２１１と、入力された拡張レイヤの復号化処理とシフト値復号化処理を行う拡張レイヤ復号化処理部２１２と、シフト値からフィルタパラメータを算出するフィルタパラメータ算出部２１３と、基本レイヤ復号化画像と拡張レイヤ復号化画像を加算する画像加算部２１４と、算出されたフィルタパラメータによりノイズ除去強度を調整して加算復号化画像をフィルタ処理するポストフィルタ処理部２１５とを有する。
【００５０】
次いで、上記構成を有する映像復号化装置２００の動作について、図３に示すフローチャートを用いて説明する。なお、図３に示すフローチャートは、映像復号化装置２００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００５１】
まず、ステップＳ１０１では、画像毎に映像の復号化を開始する復号化開始処理を行う。具体的には、基本レイヤ入力部２０２で、基本レイヤの入力処理を開始し、拡張レイヤ入力部２１１で、拡張レイヤの入力処理を開始する。
【００５２】
次いで、ステップＳ１０２では、基本レイヤを入力する基本レイヤ入力処理を行う。具体的には、基本レイヤ入力部２０２で、基本レイヤのストリームを１画面毎に取り出し、基本レイヤ復号化処理部２０３に出力する。
【００５３】
そして、ステップＳ１０３では、基本レイヤを復号化する基本レイヤ復号化処理を行う。具体的には、基本レイヤ復号化処理部２０３で、基本レイヤ入力部２０２から入力された基本レイヤのストリームに対して、可変長符号化ＶＬＤ（Ｖａｒｉａｂｌｅ  Ｌｅｎｇｔｈ  Ｄｅｃｏｄｉｎｇ）・逆量子化・逆ＤＣＴ・動き補償処理等によりＭＰＥＧ復号化処理を行って基本レイヤ復号化画像を生成し、生成した基本レイヤ復号化画像を画像加算部２１４に出力する。
【００５４】
一方、ステップＳ１０４では、拡張レイヤを入力する拡張レイヤ入力処理を行う。具体的には、拡張レイヤ入力部２１１で、拡張レイヤのストリームを拡張レイヤ復号化処理部２１２に出力する。
【００５５】
そして、ステップＳ１０５では、ビット平面毎にＶＬＤ処理を行うビット平面ＶＬＤ処理を行って、シフト値を復号化するシフト値復号化処理を行う。具体的には、拡張レイヤ復号化処理部２１２で、拡張レイヤ入力部２１１から入力された拡張レイヤのビットストリームに対して可変長復号化（ＶＬＤ）処理を行って画面全体のＤＣＴ係数と段階的シフトマップを算出し、算出結果をフィルタパラメータ算出部２１３に出力する。
【００５６】
そして、ステップＳ１０６では、拡張レイヤを復号化する拡張レイヤ復号化処理を行う。具体的には、拡張レイヤ復号化処理部２１２で、ステップＳ１０５で算出したＤＣＴ係数に対して、段階的シフトマップに示されるシフト値に従ってマクロブロック毎に下位ビット方向へビットシフトを行い、ビットシフト後のＤＣＴ係数に逆ＤＣＴ処理を施して拡張レイヤの復号化画像を生成し、生成した拡張レイヤ復号化画像を画像加算部２１４に出力する。
【００５７】
一方、ステップＳ１０７では、ステップＳ１０５で算出した段階的シフトマップに基づいてフィルタパラメータ算出処理を行う。具体的には、図４（Ａ）に示す段階的シフトマップにおいて、各小領域３０１に設定されたシフト値に対してフィルタパラメータを算出する。
【００５８】
図４（Ａ）の段階的シフトマップ３００は、ｘ軸、ｙ軸で示す１画面内の小領域３０１毎にシフト値を持つマップの一例であり、重要領域３０２を含む小領域群には最も大きいシフト値「２」が設定され、周辺領域には、段階的にシフト値が小さくなり、「１」、「０」が設定されている。
【００５９】
図５は、フィルタ強度Ａ（０），Ｂ（１），Ｃ（２），Ｄ（３），Ｅ（４〜）とフィルタパラメータＴ１〜Ｔ３を設定したテーブルの一例を示す図である。このフィルタ強度Ａ〜Ｅに付加された（０）〜（４〜）は、図４（Ａ）の各小領域３０１に設定されるシフト値と対応しており、この対応関係に基づいてフィルタ強度Ａ〜Ｃを適用した結果が図４（Ｂ）のフィルタ強度マップ３１０である。
【００６０】
そして、フィルタパラメータ算出部２１３は、段階的シフトマップ３００の各小領域３０１の各シフト値に対して適用した各フィルタ強度をフィルタパラメータとしてポストフィルタ処理部２１５に出力する。
【００６１】
そして、ステップＳ１０８では、基本レイヤの復号化画像と拡張レイヤの復号化画像を加算する画像加算処理を行う。具体的には、画像加算部２１４で、基本レイヤ復号化処理部２０３から入力された基本レイヤの復号化画像と拡張レイヤ復号化処理部２１２から入力された拡張レイヤの復号化画像とを画素毎に加算して再構成画像を生成し、生成した再構成画像をポストフィルタ処理部２１５に出力する。
【００６２】
そして、ステップＳ１０９では、再構成画像に対してポストフィルタ処理を行う。具体的には、ポストフィルタ処理部２１５で、画像加算部２０４から入力された再構成画像に対して、フィルタパラメータ算出部２１３から入力されたフィルタパラメータ（フィルタ強度）により小領域毎に以下の数式（１）を用いて、各小領域３０１のポストフィルタ処理後の画素値を算出する。
【００６３】
2004343451.tif 000003
但し、Ｘ（ｉ，ｊ）：座標（ｉ，ｊ）の画素値
Ｘ´（ｉ，ｊ）：座標（ｉ，ｊ）のポストフィルタ処理後の画素値
ＴＮ：フィルタパラメータＮ（Ｎは整数）
【００６４】
すなわち、少領域毎に入力されたフィルタ強度Ａ〜Ｃに対応するフィルタパラメータＴ１〜Ｔ３を図５のテーブルから読み出して、数式（１）に代入して各小領域のポストフィルタ処理後の画素値を算出し、小領域毎にポストフィルタ処理した再構成画像を再構成画像出力部２２０に出力する。
【００６５】
そして、再構成画像出力部２３２では、ポストフィルタ処理部２１５から入力されたポストフィルタ処理後の再構成画像を外部に出力する。
【００６６】
そして、ステップＳ１１０では、終了判定処理を行う。具体的には、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止したか否かを判断する。この判断の結果として基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止した場合は（Ｓ１１０：ＹＥＳ）、復号化終了と判定して、一連の復号化処理を終了するが、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止していない場合は（Ｓ１１０：ＮＯ）、ステップＳ１０１に戻る。すなわち、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止するまでステップＳ１０１〜ステップＳ１０９の一連の処理を繰り返す。
【００６７】
このように、本実施の形態によれば、映像復号化装置２００において、映像符号化装置１００において画面内の重要領域から周辺領域に向けて段階的にシフト値が小さくなる段階的シフトマップに設定された各小領域のシフト値に基づいて、ポストフィルタ処理部２１５のノイズ除去強度を制御するフィルタパラメータを算出し、ポストフィルタ処理部２１５において算出したフィルタパラメータを適用して復号化された再構成画像のポストフィルタ処理を行うようにしたため、シフト値が大きい重要領域にはノイズ除去強度が弱いフィルタパラメータを設定することができ、シフト値が小さい周辺領域にはノイズ除去強度が強いフィルタパラメータを設定することができ、重要領域の鮮鋭な画質を保持しながら周辺領域のノイズを除去することができ、画面全体の主観画質を向上させることができる。
【００６８】
なお、本実施の形態では、基本レイヤの符号化・復号化にＭＰＥＧ方式を、拡張レイヤの符号化・復号化にＭＰＥＧ−４  ＦＧＳ方式をそれぞれ用いているが、これに限定されるわけではなく、ビット平面符号化を用いる方式であれば、他の符号化・復号化方式を用いることも可能である。
【００６９】
（実施の形態２）
本実施の形態では、小領域毎に符号化の際に設定されたシフト値と、その小領域毎の受信ビット量に基づいてポストフィルタのノイズ除去強度を制御するフィルタパラメータを算出して、復号化画像を小領域毎にポストフィルタ処理する際のフィルタパラメータを適応的に制御することができ、画面全体の主観画質を向上することができる動画像復号化方法を適用した映像復号化装置について説明する。
【００７０】
また、本実施の形態２では、図１に示す映像符号化装置１００において重要領域の情報から生成される段階的シフトマップにより１画面内を小領域毎にシフト値が設定されて符号化された符号化画像を復号化処理の対象とする。
【００７１】
図６は、本発明の実施の形態２に係る動画像復号化方法を適用した映像復号化装置の構成を示すブロック図である。なお、この映像復号化装置４００は、図２に示す映像復号化装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【００７２】
本実施の形態の特徴は、拡張レイヤデコーダ４１０内のフィルタパラメータ算出部４１３が、拡張レイヤ復号化画像の小領域毎のシフト値と、基本レイヤ復号化画像の小領域毎の受信ビット量の割合とに基づいてポストフィルタ処理部２１５のノイズ除去強度を制御するフィルタパラメータを算出することである。
【００７３】
フィルタパラメータ算出部４１３は、基本レイヤ復号化処理部２０３から入力された基本レイヤ復号化画像の小領域毎の受信ビット量の最大値との割合と、拡張レイヤ復号化処理部２１２から入力された拡張レイヤ復号化画像の小領域毎のシフト値とから小領域毎の特徴量を算出し、この特徴量に対応するフィルタパラメータを算出してポストフィルタ処理部２１５に出力する。
【００７４】
次いで、上記構成を有する映像復号化装置４００の動作について、図７に示すフローチャートを用いて説明する。なお、図７に示すフローチャートは、映像復号化装置４００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【００７５】
まず、ステップＳ７０１では、画像毎に映像の復号化を開始する復号化開始処理を行う。具体的には、基本レイヤ入力部２０２で、基本レイヤの入力処理を開始し、拡張レイヤ入力部２１１で、拡張レイヤの入力処理を開始する。
【００７６】
次いで、ステップＳ７０２では、基本レイヤを入力する基本レイヤ入力処理を行う。具体的には、基本レイヤ入力部２０２で、基本レイヤのストリームを１画面毎に取り出し、基本レイヤ復号化処理部２０３に出力する。
【００７７】
そして、ステップＳ７０３では、基本レイヤを復号化する基本レイヤ復号化処理を行う。具体的には、基本レイヤ復号化処理部２０３で、基本レイヤ入力部２０２から入力された基本レイヤのストリームに対して、ＶＬＤ・逆量子化・逆ＤＣＴ・動き補償処理等によりＭＰＥＧ復号化処理を行って基本レイヤ復号化画像を生成し、生成した基本レイヤ復号化画像を画像加算部２１４に出力する。
【００７８】
また、基本レイヤ復号化処理部２０３は、１画面内の小領域毎に受信ビット量の最大値との割合Ｄｉを算出してフィルタパラメータ算出部４１３に出力する。
【００７９】
一方、ステップＳ７０４では、拡張レイヤを入力する拡張レイヤ入力処理を行う。具体的には、拡張レイヤ入力部２１１で、拡張レイヤのストリームを拡張レイヤ復号化処理部２１２に出力する。
【００８０】
そして、ステップＳ７０５では、拡張レイヤを復号化する拡張レイヤ復号化処理を行う。具体的には、拡張レイヤ復号化処理部２１２で、拡張レイヤ入力部２１１から入力された拡張レイヤのビットストリームに対して可変長復号化（ＶＬＤ）処理を行って画面全体のＤＣＴ係数と段階的シフトマップを算出し、算出したＤＣＴ係数に対して、段階的シフトマップに示されるシフト値に従ってマクロブロック毎に下位ビット方向へビットシフトを行い、ビットシフト後のＤＣＴ係数に逆ＤＣＴ処理を施して拡張レイヤの復号化画像を生成し、生成した拡張レイヤ復号化画像を画像加算部２１４に出力するとともに、段階的シフトマップをフィルタパラメータ算出部４１３に出力する。
【００８１】
一方、ステップＳ７０６では、ステップＳ７０３で算出した受信ビット量の最大値との割合、ステップＳ７０５で算出した段階的シフトマップとからフィルタパラメータ算出処理を行う。具体的には、図８（Ａ）に示す段階的シフトマップ８００と受信ビット量の割合マップ８１０において、各小領域８０１に設定されたシフト値と受信ビット量の割合を用いてフィルタパラメータを以下の手順で算出する。
【００８２】
図８（Ａ）の段階的シフトマップ８００は、ｘ軸、ｙ軸で示す１画面内の小領域８０１毎にシフト値を持つマップの一例であり、重要領域８０２を含む小領域群には最も大きいシフト値「２」が設定され、周辺領域には、段階的にシフト値が小さくなり、「１」、「０」が設定されている。
【００８３】
また、図８（Ａ）の受信ビット量の割合マップ８１０は、ｘ軸、ｙ軸で示す１画面内の小領域８０１毎に受信ビット量の最大値との割合の一例を示した図である。
【００８４】
そして、フィルタパラメータ算出部４１３は、受信ビット量の割合マップ８１０の各小領域８０１の受信ビット量の最大値との割合と段階的シフトマップ８００の各小領域８０１のシフト値に基づいて、以下の数式（２）を用いて、各小領域８０１の特徴量Ｎｉ  を算出する。
【００８５】
Ｎｉ  ＝Ｄｉ  ＊（Ｓｉ  ／Ｓｍａｘ  ）・・・・（２）
但し、Ｎｉ  ：小領域ｉの特徴量
Ｄｉ  ：小領域ｉの受信ビット量の最大値との割合
Ｓｉ  ：小領域ｉのシフト値
Ｓｍａｘ  ：シフト値の最大値
【００８６】
そして、フィルタパラメータ算出部４１３は、算出した特徴量Ｎｉ  に基づいて、図９に示すフィルタパラメータテーブルからフィルタ強度Ｎを決定する。
【００８７】
図９は、フィルタ強度Ａ（〜０．１），Ｂ（０．１〜０．３），Ｃ（０．４〜０．５），Ｄ（０．５〜０．７），Ｅ（０．７〜）とフィルタパラメータＴ１〜Ｔ３を設定したテーブルの一例を示す図である。このフィルタ強度Ａ〜Ｅの（〜０．１）〜（０．７〜）は、各小領域８０１の特徴量Ｎｉ  の値であり、この対応関係に基づいてフィルタ強度Ａ〜Ｃを適用した結果が図８（Ｂ）のフィルタ強度マップ８２０である。
【００８８】
そして、ステップＳ７０７では、基本レイヤの復号化画像と拡張レイヤの復号化画像を加算する画像加算処理を行う。具体的には、画像加算部２１４で、基本レイヤ復号化処理部２０３から入力された基本レイヤの復号化画像と拡張レイヤ復号化処理部２１２から入力された拡張レイヤの復号化画像とを画素毎に加算して再構成画像を生成し、生成した再構成画像をポストフィルタ処理部２１５に出力する。
【００８９】
そして、ステップＳ７０８では、再構成画像に対してポストフィルタ処理を行う。具体的には、ポストフィルタ処理部２１５で、画像加算部２１４から入力された再構成画像に対して、フィルタパラメータ算出部４１３から入力されたフィルタパラメータ（フィルタ強度）により小領域毎に上記数式（１）を用いて、各小領域８０１のポストフィルタ処理後の画素値を算出する。
【００９０】
そして、ステップＳ７０９では、終了判定処理を行う。具体的には、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止したか否かを判断する。この判断の結果として基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止した場合は（Ｓ７０９：ＹＥＳ）、復号化終了と判定して、一連の復号化処理を終了するが、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止していない場合は（Ｓ７０９：ＮＯ）、ステップＳ７０１に戻る。すなわち、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止するまでステップＳ７０１〜ステップＳ７０８の一連の処理を繰り返す。
【００９１】
このように、本実施の形態によれば、映像復号化装置４００において、映像符号化装置１００において画面内の重要領域から周辺領域に向けて段階的にシフト値が小さくなる段階的シフトマップに設定された各小領域のシフト値及び受信ビット量の最大値との割合に基づいて、フィルタパラメータ算出部４１３でポストフィルタ処理部２１５のノイズ除去強度を制御するフィルタパラメータを算出し、ポストフィルタ処理部２１５において算出したフィルタパラメータを適用して復号化された再構成画像のポストフィルタ処理を行うようにしたため、シフト値が大きく、受信ビット量が大きい重要領域にはノイズ除去強度が弱いフィルタパラメータを設定することができ、シフト値が小さく、受信ビット量が小さい周辺領域にはノイズ除去強度が強いフィルタパラメータを設定することができ、重要領域の鮮鋭な画質を保持しながら周辺領域のノイズを除去することができ、画面全体の主観画質を向上させることができる。
【００９２】
更に、受信ビットレートが高い場合は、過度のフィルタ適用を防ぐことができるとともに、受信ビットレートが低い場合は、より強いフィルタを使用して効率の良い画質改善を図ることができる。
【００９３】
なお、本実施の形態では、基本レイヤの符号化・復号化にＭＰＥＧ方式を、拡張レイヤの符号化・復号化にＭＰＥＧ−４  ＦＧＳ方式をそれぞれ用いているが、これに限定されるわけではなく、ビット平面符号化を用いる方式であれば、他の符号化・復号化方式を用いることも可能である。また、本実施の形態では、受信ビット量の最大値との割合を用いてフィルタパラメータを算出したが、これに限定されるわけではなく、ビット量の割合を用いる方式であれば他の方式を用いることも可能である。
【００９４】
（実施の形態３）
本実施の形態では、小領域毎に符号化の際に設定されたシフト値に基づいてポストフィルタのノイズ除去強度を制御するフィルタパラメータを算出し、その小領域毎に周辺の小領域とのノイズ除去強度の差が大きい部分を補正して、復号化画像を小領域毎にポストフィルタ処理する際のフィルタパラメータを適応的に制御することができ、画面全体の主観画質を向上することができる動画像復号化方法を適用した映像復号化装置について説明する。
【００９５】
また、本実施の形態３では、図１に示す映像符号化装置１００において重要領域の情報から生成される段階的シフトマップにより１画面内を小領域毎にシフト値が設定されて符号化された符号化画像を復号化処理の対象とする。
【００９６】
図１０は、本発明の実施の形態３に係る動画像復号化方法を適用した映像復号化装置の構成を示すブロック図である。なお、この映像復号化装置５００は、図２に示す映像復号化装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【００９７】
拡張レイヤデコーダ５１０内のフィルタパラメータ補正部５１６が、フィルタパラメータ算出部２１３で算出された拡張レイヤ復号化画像の小領域毎のフィルタパラメータの強度を、周辺領域のフィルタパラメータの強度に応じて補正する補正処理を実行してポストフィルタ処理部２１５のノイズ除去強度を制御することである。
【００９８】
フィルタパラメータ補正部５１６は、フィルタパラメータ算出部２１３で算出された拡張レイヤ復号化画像の小領域毎のフィルタパラメータの強度を、周辺領域のフィルタパラメータの強度に応じて補正する補正処理を実行する。
【００９９】
次いで、上記構成を有する映像復号化装置５００の動作について、図１１に示すフローチャートを用いて説明する。なお、図１１に示すフローチャートは、映像復号化装置５００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１００】
まず、ステップＳ８０１では、画像毎に映像の復号化を開始する復号化開始処理を行う。具体的には、基本レイヤ入力部２０２で、基本レイヤの入力処理を開始し、拡張レイヤ入力部２１１で、拡張レイヤの入力処理を開始する。
【０１０１】
次いで、ステップＳ８０２では、基本レイヤを入力する基本レイヤ入力処理を行う。具体的には、基本レイヤ入力部２０２で、基本レイヤのストリームを１画面毎に取り出し、基本レイヤ復号化処理部２０３に出力する。
【０１０２】
そして、ステップＳ８０３では、基本レイヤを復号化する基本レイヤ復号化処理を行う。具体的には、基本レイヤ復号化処理部２０３で、基本レイヤ入力部２０２から入力された基本レイヤのストリームに対して、ＶＬＤ・逆量子化・逆ＤＣＴ・動き補償処理等によりＭＰＥＧ復号化処理を行って基本レイヤ復号化画像を生成し、生成した基本レイヤ復号化画像を画像加算部２１４に出力する。
【０１０３】
一方、ステップＳ８０４では、拡張レイヤを入力する拡張レイヤ入力処理を行う。具体的には、拡張レイヤ入力部２１１で、拡張レイヤのストリームを拡張レイヤ復号化処理部２１２に出力する。
【０１０４】
そして、ステップＳ８０５では、ビット平面毎にＶＬＤ処理を行うビット平面ＶＬＤ処理を行って、シフト値を復号化するシフト値復号化処理を行う。具体的には、拡張レイヤ復号化処理部２１２で、拡張レイヤ入力部２１１から入力された拡張レイヤのビットストリームに対して可変長復号化（ＶＬＤ）処理を行って画面全体のＤＣＴ係数と段階的シフトマップを算出し、算出結果をフィルタパラメータ算出部２１３に出力する。
【０１０５】
そして、ステップＳ８０６では、拡張レイヤを復号化する拡張レイヤ復号化処理を行う。具体的には、拡張レイヤ復号化処理部２１２で、ステップＳ８０５で算出したＤＣＴ係数に対して、段階的シフトマップに示されるシフト値に従ってマクロブロック毎に下位ビット方向へビットシフトを行い、ビットシフト後のＤＣＴ係数に逆ＤＣＴ処理を施して拡張レイヤの復号化画像を生成し、生成した拡張レイヤ復号化画像を画像加算部２１４に出力する。
【０１０６】
一方、ステップＳ８０７では、ステップＳ８０５で算出した段階的シフトマップに基づいてフィルタパラメータ算出処理を行う。具体的には、図１２（Ａ）に示す段階的シフトマップ９００において、各小領域９０１に設定されたシフト値に対してフィルタパラメータを算出する。
【０１０７】
図１２（Ａ）の段階的シフトマップ９００は、ｘ軸、ｙ軸で示す１画面内の小領域９０１毎にシフト値を持つマップの一例であり、重要領域９０２を含む小領域群には最も大きいシフト値「２」が設定され、周辺領域には、段階的にシフト値が小さくなり、「１」、「０」が設定されている。
【０１０８】
この図１２（Ａ）の段階的シフトマップ９００に対して、図５のフィルタ強度テーブルに設定されたフィルタ強度Ａ（０），Ｂ（１），Ｃ（２），Ｄ（３），Ｅ（４〜）とフィルタパラメータＴ１〜Ｔ３との対応関係に基づいてフィルタ強度Ａ〜Ｃを適用した結果が図１２（Ｂ）のフィルタ強度マップ９１０である。
【０１０９】
そして、フィルタパラメータ算出部２１３は、段階的シフトマップ９００の各小領域９０１の各シフト値に対して適用した各フィルタ強度をフィルタパラメータとしてフィルタパラメータ補正部５１６に出力する。
【０１１０】
そして、ステップＳ８０８では、ステップＳ８０７で算出した小領域９０１毎のフィルタパラメータの強度を、周辺領域のフィルタパラメータの強度に応じて補正する補正処理を実行する。具体的には、図１２（Ｂ）に示すフィルタ強度マップ９１０において、各小領域９０１に対して算出されたフィルタパラメータの強度を補正する。
【０１１１】
ここで、フィルタパラメータ補正部５１６において実行されるフィルタ強度の補正処理について、図１３を参照して具体的に説明する。
【０１１２】
図１３（Ａ）は、図１２（Ｂ）に示すフィルタ強度マップ９１０においてＢ−Ｂ´線部分を図中手前から奥行き方向にカットした場合の断面を示す図であり、フィルタ強度Ａ、Ｂ、Ｃの強度差を表している。
【０１１３】
この場合、フィルタ強度Ａ〜Ｃ相互間で強度差が階段状に発生していることを示しており、このフィルタパラメータによりポストフィルタ処理部２１５のフィルタ除去強度を制御すると、小領域毎のフィルタ処理結果にも反映されることになり、１画面内でフィルタ強度が大きく変化する領域に近い境界領域において画質格差が発生する可能性がある。
【０１１４】
そこで、図１３（Ｂ）に補正後のフィルタ強度として示すように、小領域相互間のフィルタパラメータの強度差を補正するため線形補間処理を実行する。この線形補間処理は、以下の数式（３）及び（４）を用いて行う。
【０１１５】
Ｔ２´（ｘ）＝Ｔ２＋（Ｔ２ｎ  −Ｔ２）＊ｘ／Ｗ・・・・（３）
Ｔ１´（ｘ）＝Ｔ３´（ｘ）＝（１−Ｔ２´（ｘ））／２・・・・（４）
但し、ＴＮ：補正前フィルタパラメータＮ
ＴＮ´：補正後フィルタパラメータＮ
ＴＮｎ  ：近傍のフィルタパラメータＮ
Ｗ：補正区間の画素数
ｘ：補正開始点からの画素数
Ｎ：整数
【０１１６】
そして、フィルタパラメータ補正部５１６は、以上の数式（３）及び（４）を用いて、各小領域のフィルタパラメータを補正した結果をポストフィルタ処理部２１５に出力する。
【０１１７】
そして、ステップＳ８０９では、基本レイヤの復号化画像と拡張レイヤの復号化画像を加算する画像加算処理を行う。具体的には、画像加算部２１４で、基本レイヤ復号化処理部２０３から入力された基本レイヤの復号化画像と拡張レイヤ復号化処理部２１２から入力された拡張レイヤの復号化画像とを画素毎に加算して再構成画像を生成し、生成した再構成画像をポストフィルタ処理部２１５に出力する。
【０１１８】
そして、ステップＳ８１０では、再構成画像に対してポストフィルタ処理を行う。具体的には、ポストフィルタ処理部２１５で、画像加算部２１４から入力された再構成画像に対して、フィルタパラメータ補正部５１６から入力された補正後のフィルタパラメータにより小領域毎にポストフィルタ処理を実行する。
【０１１９】
そして、再構成画像出力部２２０では、ポストフィルタ処理部２１５から入力されたポストフィルタ処理後の再構成画像を外部に出力する。
【０１２０】
そして、ステップＳ８１１では、終了判定処理を行う。具体的には、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止したか否かを判断する。この判断の結果として基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止した場合は（Ｓ８１１：ＹＥＳ）、復号化終了と判定して、一連の復号化処理を終了するが、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止していない場合は（Ｓ８１１：ＮＯ）、ステップＳ８０１に戻る。すなわち、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止するまでステップＳ８０１〜ステップＳ８１０の一連の処理を繰り返す。
【０１２１】
このように、本実施の形態によれば、映像復号化装置５００において、映像符号化装置１００において画面内の重要領域から周辺領域に向けて段階的にシフト値が小さくなる段階的シフトマップに設定された各小領域のシフト値に基づいて、ポストフィルタ処理部２１５のノイズ除去強度を制御するフィルタパラメータを算出し、更に、各小領域のフィルタ強度を周囲の小領域のフィルタ強度を用いて線形補間処理してフィルタパラメータを補正し、ポストフィルタ処理部２１５において補正したフィルタパラメータを適用して復号化された再構成画像のポストフィルタ処理を行うようにしたため、シフト値が大きい重要領域にはノイズ除去強度が弱いフィルタパラメータを設定することができ、周辺のフィルタ強度が大きい領域に近い境界の画素に対してはノイズ除去強度を大きく補正することができ、周辺のフィルタ強度が小さい領域に近い境界の画素に対してはノイズ除去強度を小さく補正することができ、重要領域の鮮鋭な画質を保持しながら周辺領域のノイズを除去することができるとともに、領域境界における画質の格差を低減して滑らかな画像を生成することができ、画面全体の主観画質を向上させることができる。
【０１２２】
なお、本実施の形態では、基本レイヤの符号化・復号化にＭＰＥＧ方式を、拡張レイヤの符号化・復号化にＭＰＥＧ−４  ＦＧＳ方式をそれぞれ用いているが、これに限定されるわけではなく、ビット平面符号化を用いる方式であれば、他の符号化・復号化方式を用いることも可能である。
【０１２３】
また、上記実施の形態３では、補間に周辺領域のフィルタパラメータとの差分を用いて線形補間を行う場合を示したが、その他の補間方法を適用してもよく、要は領域境界のフィルタ強度の格差を抑制できる補間方法で有ればよい。
【０１２４】
（実施の形態４）
本実施の形態では、小領域毎に符号化の際に設定されたシフト値に基づいてポストフィルタのノイズ除去強度を制御するフィルタパラメータを算出し、その算出したフィルタパラメータを一旦記憶し、次に算出するフィルタパラメータを記憶した過去のフィルタパラメータで補正して、復号化画像を小領域毎にポストフィルタ処理する際のフィルタパラメータを適応的に制御することができ、画面全体の主観画質を向上することができる動画像復号化方法を適用した映像復号化装置について説明する。
【０１２５】
また、本実施の形態４では、図１に示す映像符号化装置１００において重要領域の情報から生成される段階的シフトマップにより１画面内を小領域毎にシフト値が設定されて符号化された符号化画像を復号化処理の対象とする。
【０１２６】
図１４は、本発明の実施の形態４に係る動画像復号化方法を適用した映像復号化装置の構成を示すブロック図である。なお、この映像復号化装置７００は、図２に示す映像復号化装置１００と同様の基本的構成を有しており、同一の構成要素には同一の符号を付し、その説明を省略する。
【０１２７】
拡張レイヤデコーダ７１０内のフィルタパラメータ格納部７１６がフィルタパラメータ算出部２１３で算出されたフィルタパラメータを記憶し、フィルタパラメータ補正部７１７が、フィルタパラメータ算出部２１３で算出されたフィルタパラメータを、フィルタパラメータ格納部７１６に記憶された過去のフィルタパラメータで補正する補正処理を実行する。
【０１２８】
次いで、上記構成を有する映像復号化装置７００の動作について、図１５に示すフローチャートを用いて説明する。なお、図１５に示すフローチャートは、映像復号化装置７００の図示しない記憶装置（例えば、ＲＯＭやフラッシュメモリなど）に制御プログラムとして記憶されており、同じく図示しないＣＰＵによって実行される。
【０１２９】
まず、ステップＳ９０１では、画像毎に映像の復号化を開始する復号化開始処理を行う。具体的には、基本レイヤ入力部２０２で、基本レイヤの入力処理を開始し、拡張レイヤ入力部２１１で、拡張レイヤの入力処理を開始する。
【０１３０】
次いで、ステップＳ９０２では、基本レイヤを入力する基本レイヤ入力処理を行う。具体的には、基本レイヤ入力部２０２で、基本レイヤのストリームを１画面毎に取り出し、基本レイヤ復号化処理部２０３に出力する。
【０１３１】
そして、ステップＳ９０３では、基本レイヤを復号化する基本レイヤ復号化処理を行う。具体的には、基本レイヤ復号化処理部２０３で、基本レイヤ入力部２０２から入力された基本レイヤのストリームに対して、ＶＬＤ・逆量子化・逆ＤＣＴ・動き補償処理等によりＭＰＥＧ復号化処理を行って基本レイヤ復号化画像を生成し、生成した基本レイヤ復号化画像を画像加算部２１４に出力する。
【０１３２】
一方、ステップＳ９０４では、拡張レイヤを入力する拡張レイヤ入力処理を行う。具体的には、拡張レイヤ入力部２１１で、拡張レイヤのストリームを拡張レイヤ復号化処理部２１２に出力する。
【０１３３】
そして、ステップＳ９０５では、ビット平面毎にＶＬＤ処理を行うビット平面ＶＬＤ処理を行って、シフト値を復号化するシフト値復号化処理を行う。具体的には、拡張レイヤ復号化処理部２１２で、拡張レイヤ入力部２１１から入力された拡張レイヤのビットストリームに対して可変長復号化（ＶＬＤ）処理を行って画面全体のＤＣＴ係数と段階的シフトマップを算出し、算出結果をフィルタパラメータ算出部２１３に出力する。
【０１３４】
そして、ステップＳ９０６では、拡張レイヤを復号化する拡張レイヤ復号化処理を行う。具体的には、拡張レイヤ復号化処理部２１２で、ステップＳ９０５で算出したＤＣＴ係数に対して、段階的シフトマップに示されるシフト値に従ってマクロブロック毎に下位ビット方向へビットシフトを行い、ビットシフト後のＤＣＴ係数に逆ＤＣＴ処理を施して拡張レイヤの復号化画像を生成し、生成した拡張レイヤ復号化画像を画像加算部２１４に出力する。
【０１３５】
一方、ステップＳ９０７では、ステップＳ９０５で算出した段階的シフトマップに基づいてフィルタパラメータ算出処理を行う。具体的には、図１６（Ａ）に示す段階的シフトマップ１０００において、各小領域１００１に設定されたシフト値に対してフィルタパラメータを算出する。
【０１３６】
図１６（Ａ）の段階的シフトマップ１０００は、ｘ軸、ｙ軸で示す１画面内の小領域１００１毎にシフト値を持つマップの一例であり、重要領域１００２を含む小領域群には最も大きいシフト値「２」が設定され、周辺領域には、段階的にシフト値が小さくなり、「１」、「０」が設定されている。
【０１３７】
この図１６（Ａ）の段階的シフトマップ１０００に対して、図５のフィルタ強度テーブルに設定されたフィルタ強度Ａ（０），Ｂ（１），Ｃ（２），Ｄ（３），Ｅ（４〜）とフィルタパラメータＴ１〜Ｔ３との対応関係に基づいてフィルタ強度Ａ〜Ｃを適用した結果が図１６（Ｂ）のフィルタ強度マップ１０１０である。
【０１３８】
そして、フィルタパラメータ算出部２１３は、段階的シフトマップ１０００の各小領域１００１の各シフト値に対して適用した各フィルタ強度をフィルタパラメータとしてフィルタパラメータ補正部７１７に出力するとともに、フィルタパラメータ格納部７１６に出力して記憶する。
【０１３９】
この時、フィルタパラメータ格納部７１６には、最初の復号化処理に際して最初の算出されたフィルタパラメータが記憶され、次の復号化処理に際してフィルタパラメータ補正部７１７に出力される。
【０１４０】
このため、最初の復号化処理に際しては、フィルタパラメータ格納部７１６には、前回のフィルタパラメータが記憶されていないため、フィルタパラメータ補正部７１７では、最初に算出されたフィルタパラメータは補正されずにポストフィルタ処理部２１５に出力される。
【０１４１】
そして、ステップＳ９０８では、ステップＳ９０７で算出した小領域１００１毎のフィルタパラメータの強度を、フィルタパラメータ格納部７１６に記憶した前回のフィルタパラメータにより補正する補正処理を実行する。具体的には、図１６（Ｂ）に示すフィルタ強度マップ１０１０において、各小領域１００１に対して算出されたフィルタパラメータの強度を、フィルタパラメータ格納部７１６に記憶した前回のフィルタパラメータにより補正する。
【０１４２】
ここで、フィルタパラメータ補正部７１７において実行されるフィルタ強度の補正処理について、図１７を参照して具体的に説明する。
【０１４３】
図１７（Ａ）は、図１６（Ｂ）に示すフィルタ強度マップ１０１０においてＢ−Ｂ´線部分を図中手前から奥行き方向にカットした場合の断面を示す図であり、フィルタ強度Ａ、Ｂ、Ｃの強度差を表している。また、同図（Ｂ）は、前回に記憶された１フレーム前の同様のフィルタ強度Ｂ、Ｃの強度差を表している。
【０１４４】
この場合、フィルタ強度Ａ〜Ｃ相互間で強度差が大きくなっていることを示しており、このフィルタパラメータによりポストフィルタ処理部２１５のフィルタ除去強度を制御すると、小領域毎のフィルタ処理結果にも反映されることになり、過去の復号化画像と比べてフィルタ強度が大きく変化する領域において時間的に大きな画質格差が発生する可能性がある。
【０１４５】
そこで、図１７（Ｃ）に補正後のフィルタ強度として示すように、小領域相互間のフィルタパラメータの強度差を補正するため、同図（Ｂ）の１フレーム前のフィルタパラメータを用いて線形補間処理を実行する。この線形補間処理は、以下の数式（５）及び（６）を用いて行う。
【０１４６】
Ｔ２´（ｘ）＝α＊Ｔ２ｉ  ＋（１−α）＊Ｔ２・・・・（５）
Ｔ１´（ｘ）＝Ｔ３´（ｘ）＝（１−Ｔ２´（ｘ））／２・・・・（６）
但し、ＴＮ：補正前フィルタパラメータＮ
ＴＮ´：補正後フィルタパラメータＮ
ＴＮｉ  ：１フレーム前のフィルタパラメータＮ
α：過去のフィルタ強度の寄与度（０．０〜１．０）
ｘ：小領域番号
Ｎ：整数
【０１４７】
そして、フィルタパラメータ補正部７１７は、以上の数式（５）及び（６）を用いて、各小領域のフィルタパラメータを補正した結果をポストフィルタ処理部２１５に出力する。
【０１４８】
そして、ステップＳ９０９では、基本レイヤの復号化画像と拡張レイヤの復号化画像を加算する画像加算処理を行う。具体的には、画像加算部２１４で、基本レイヤ復号化処理部２０３から入力された基本レイヤの復号化画像と拡張レイヤ復号化処理部２１２から入力された拡張レイヤの復号化画像とを画素毎に加算して再構成画像を生成し、生成した再構成画像をポストフィルタ処理部２１５に出力する。
【０１４９】
そして、ステップＳ９１０では、再構成画像に対してポストフィルタ処理を行う。具体的には、ポストフィルタ処理部２１５で、画像加算部２１４から入力された再構成画像に対して、フィルタパラメータ補正部７１７から入力された補正後のフィルタパラメータにより小領域毎にポストフィルタ処理を実行する。
【０１５０】
そして、再構成画像出力部２２０では、ポストフィルタ処理部２１５から入力されたポストフィルタ処理後の再構成画像を外部に出力する。
【０１５１】
そして、ステップＳ９１１では、終了判定処理を行う。具体的には、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止したか否かを判断する。この判断の結果として基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止した場合は（Ｓ９１１：ＹＥＳ）、復号化終了と判定して、一連の復号化処理を終了するが、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止していない場合は（Ｓ９１１：ＮＯ）、ステップＳ９０１に戻る。すなわち、基本レイヤ入力部２０２において基本レイヤのストリームの入力が停止するまでステップＳ９０１〜ステップＳ９１０の一連の処理を繰り返す。
【０１５２】
このように、本実施の形態によれば、映像復号化装置７００において、映像符号化装置１００において画面内の重要領域から周辺領域に向けて段階的にシフト値が小さくなる段階的シフトマップに設定された各小領域のシフト値に基づいて、ポストフィルタ処理部２１５のノイズ除去強度を制御するフィルタパラメータを算出し、更に、各小領域のフィルタ強度を過去のフィルタ強度を用いて線形補間処理してフィルタパラメータを補正し、ポストフィルタ処理部２１５において補正したフィルタパラメータを適用して復号化された再構成画像のポストフィルタ処理を行うようにしたため、フレーム間のフィルタ強度の変動を防ぎ、時間的に滑らかな映像を提供することができ、重要領域の鮮鋭な画質を保持しながら周辺領域のノイズを除去することができるとともに、画面全体の主観画質を向上させることができる。
【０１５３】
なお、本実施の形態では、基本レイヤの符号化・復号化にＭＰＥＧ方式を、拡張レイヤの符号化・復号化にＭＰＥＧ−４  ＦＧＳ方式をそれぞれ用いているが、これに限定されるわけではなく、ビット平面符号化を用いる方式であれば、他の符号化・復号化方式を用いることも可能である。
【０１５４】
また、上記実施の形態４では、補間に前回フレームのフィルタパラメータを用いて線形補間を行う場合を示したが、その他の補間方法を適用してもよく、要はフレーム間のフィルタ強度の変動を抑制できる補間方法で有ればよい。
【０１５５】
【発明の効果】
以上説明したように、本発明によれば、優先符号化データの特徴量に基づいてポストフィルタのフィルタパラメータを適応的に制御することができ、画面全体の主観画質を向上することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係る映像符号化装置の構成を示すブロック図
【図２】本実施の形態１に係る映像復号化装置の構成を示すブロック図
【図３】本実施の形態１に係る映像復号化装置の動作を説明するためのフローチャート
【図４】（Ａ）は本実施の形態１に係る段階的シフトマップの一例を示す図、（Ｂ）は本実施の形態１に係るフィルタ強度マップの一例を示す図
【図５】本実施の形態１に係るフィルタ強度テーブルの一例を示す図
【図６】本発明の実施の形態２に係る映像復号化装置の構成を示すブロック図
【図７】本実施の形態２に係る映像復号化装置の動作を説明するためのフローチャート
【図８】（Ａ）は本実施の形態２に係る段階的シフトマップ及び受信ビット量の割合マップの一例を示す図、（Ｂ）は本実施の形態２に係るフィルタ強度マップの一例を示す図
【図９】本実施の形態２に係るフィルタ強度テーブルの一例を示す図
【図１０】本発明の実施の形態３に係る映像復号化装置の構成を示すブロック図
【図１１】本実施の形態３に係る映像復号化装置の動作を説明するためのフローチャート
【図１２】（Ａ）は本実施の形態３に係る段階的シフトマップの一例を示す図、（Ｂ）は本実施の形態３に係るフィルタ強度マップの一例を示す図
【図１３】（Ａ）は本実施の形態３に係る補正前のフィルタ強度の一例を示す図、（Ｂ）は本実施の形態３に係る補正後のフィルタ強度の一例を示す図
【図１４】本発明の実施の形態４に係る映像復号化装置の構成を示すブロック図
【図１５】本実施の形態４に係る映像復号化装置の動作を説明するためのフローチャート
【図１６】（Ａ）は本実施の形態４に係る段階的シフトマップの一例を示す図、（Ｂ）は本実施の形態４に係るフィルタ強度マップの一例を示す図
【図１７】（Ａ）は本実施の形態４に係る補正前のフィルタ強度の一例を示す図、（Ｂ）は本実施の形態４に係る１フレーム前のフィルタ強度の一例を示す図、（Ｃ）は本実施の形態４に係る補正後のフィルタ強度の一例を示す図
【符号の説明】
２００、４００、５００、７００  映像復号化装置
２０１  基本レイヤデコーダ
２０２  基本レイヤ入力部
２０３  基本レイヤ復号化処理部
２１０、４１０、５１０、７１０  拡張レイヤデコーダ
２１１  拡張レイヤ入力部
２１２  拡張レイヤ復号化処理部
２１３、４１３  フィルタパラメータ算出部
２１４  画像加算部
２１５  ポストフィルタ処理部
２２０  再構成画像出力部
５１６、７１７  フィルタパラメータ補正部
７１６  フィルタパラメータ格納部
【図１】
2004343451.tif 000004
【図２】
2004343451.tif 000005
【図３】
2004343451.tif 000006
【図４】
2004343451.tif 000007
【図５】
2004343451.tif 000008
【図６】
2004343451.tif 000009
【図７】
2004343451.tif 000010
【図８】
2004343451.tif 000011
【図９】
2004343451.tif 000012
【図１０】
2004343451.tif 000013
【図１１】
2004343451.tif 000014
【図１２】
2004343451.tif 000015
【図１３】
2004343451.tif 000016
【図１４】
2004343451.tif 000017
【図１５】
2004343451.tif 000018
【図１６】
2004343451.tif 000019
【図１７】
2004343451.tif 000020