(57)【要約】【課題】動きのある領域に対して除去強度の強いポストフィルタ処理を行うことを防止する。【解決手段】インターレース形式のピクチャを構成する領域単位で、フィールド符号化とフレーム符号化とを切り替えて符号化されたビットストリームを復号化する映像復号化装置であって、ノイズを除去するポストフィルタ処理を行うフィルタ処理部３０２と、対象領域の符号化タイプを確認し、かつ、現ピクチャに時間的に連続するピクチャに含まれる、前記対象領域と同じ位置に位置する領域の符号化タイプ、又は、前記対象領域に空間的に隣接する領域の符号化タイプを確認する符号化タイプ確認部３０１と、確認された符号化タイプが、フレーム符号化であるかフィールド符号化であるかに応じて、ノイズ除去強度を決定するノイズ除去強度決定部３０５とを備え、前記フィルタ処理部３０２は、前記対象領域に前記ノイズ除去強度に応じたポストフィルタ処理を行う。【選択図】図８
2008109642.tif 000002
【特許請求の範囲】
【請求項１】
インターレース形式のピクチャを構成する領域単位で、トップフィールドとボトムフィールドとを独立に符号化するフィールド符号化と、トップフィールドとボトムフィールドとを合わせたフレーム単位で符号化するフレーム符号化とを切り替えて符号化されたビットストリームを復号化する映像復号化装置であって、
復号化されたピクチャのノイズを除去するポストフィルタ処理を行うフィルタ処理手段と、
前記ポストフィルタ処理の対象となる対象領域の符号化タイプを確認し、かつ、前記対象領域が含まれる現ピクチャに時間的に連続するピクチャに含まれる、前記対象領域と同じ位置に位置する領域の符号化タイプ、又は、前記対象領域に空間的に隣接する領域の符号化タイプを確認する符号化タイプ確認手段と、
前記符号化タイプ確認手段に確認された符号化タイプが、フレーム符号化であるか、フィールド符号化であるかに応じて、前記ポストフィルタ処理のノイズ除去強度を決定するノイズ除去強度決定手段とを備え、
前記フィルタ処理手段は、
前記対象領域に対して前記ノイズ除去強度に応じたポストフィルタ処理を行う
ことを特徴とする映像復号化装置。
【請求項２】
前記符号化タイプ確認手段は、前記現ピクチャから時間的に連続する複数のピクチャに含まれる、前記対象領域と同じ位置に位置する領域の符号化タイプを確認し、
前記ノイズ除去強度決定手段は、前記対象領域の符号化タイプがフレーム符号化である場合に、前記現ピクチャから時間的に連続するピクチャであり、かつ、前記符号化タイプ確認手段に確認された符号化タイプがフレーム符号化である領域を含むピクチャの数が多いほど、前記ポストフィルタ処理のノイズ除去強度を大きくする
ことを特徴とする請求項１記載の映像復号化装置。
【請求項３】
前記ノイズ除去強度決定手段は、前記現ピクチャから時間的に連続する、前記符号化タイプ確認手段に確認された符号化タイプがフレーム符号化である領域を含むピクチャの数に比例した前記ノイズ除去強度を決定する
ことを特徴とする請求項２記載の映像復号化装置。
【請求項４】
前記符号化タイプ確認手段は、前記対象領域に空間的に隣接する複数の領域の符号化タイプを確認し、
前記ノイズ除去強度決定手段は、前記対象領域の符号化タイプがフレーム符号化である場合に、前記符号化タイプ確認手段に確認された符号化タイプがフレーム符号化である領域の数が多いほど、前記ポストフィルタ処理のノイズ除去強度を大きくする
ことを特徴とする請求項１記載の映像復号化装置。
【請求項５】
前記ノイズ除去強度決定手段は、前記符号化タイプ確認手段に確認された符号化タイプがフレーム符号化である領域の数に比例した前記ノイズ除去強度を決定する
ことを特徴とする請求項４記載の映像復号化装置。
【請求項６】
前記ノイズ除去強度決定手段は、前記対象領域の量子化パラメータが予め定められた閾値より小さい場合、前記ノイズ除去強度を０に設定し、
前記フィルタ処理手段は、前記ノイズ除去強度が０である場合は、前記対象領域に対して、前記ポストフィルタ処理を行わない
ことを特徴とする請求項１記載の映像復号化装置。
【請求項７】
前記ノイズ除去強度決定手段は、前記量子化パラメータが前記閾値以上である場合、前記量子化パラメータが大きいほど、前記ポストフィルタ処理のノイズ除去強度が大きくなるように前記ノイズ除去強度を決定する
ことを特徴とする請求項６記載の映像復号化装置。
【請求項８】
前記ノイズ除去強度決定手段は、前記量子化パラメータが前記閾値以上である場合に、前記量子化パラメータに対応する量子化ステップに比例した前記ノイズ除去強度を決定する
ことを特徴とする請求項７記載の映像復号化装置。
【請求項９】
前記フィルタ処理手段は、前記ポストフィルタ処理として、前記ノイズ除去強度が大きいほど、前記対象領域を時間方向に強く平滑化する
ことを特徴とする請求項１記載の映像復号化装置。
【請求項１０】
前記フィルタ処理手段は、互いに隣接する２つのマクロブロックを合わせた領域を前記対象領域として、前記ポストフィルタ処理を行う
ことを特徴とする請求項１記載の映像復号化装置。
【請求項１１】
インターレース形式のピクチャを構成する領域単位で、トップフィールドとボトムフィールドとを独立に符号化するフィールド符号化と、トップフィールドとボトムフィールドとを合わせたフレーム単位で符号化するフレーム符号化とを切り替えて符号化されたビットストリームを復号化する映像復号化方法であって、
復号化されたピクチャのノイズを除去するポストフィルタ処理を行うフィルタ処理ステップと、
前記ポストフィルタ処理の対象となる対象領域の符号化タイプを確認し、かつ、前記対象領域が含まれる現ピクチャに時間的に連続するピクチャに含まれる、前記対象領域と同じ位置に位置する領域の符号化タイプ、又は、前記対象領域に空間的に隣接する領域の符号化タイプを確認する符号化タイプ確認ステップと、
前記符号化タイプ確認ステップにおいて確認された符号化タイプが、フレーム符号化であるか、フィールド符号化であるかに応じて、前記ポストフィルタ処理のノイズ除去強度を決定するノイズ除去強度決定ステップとを含み、
前記フィルタ処理ステップでは、
前記対象領域に対して前記ノイズ除去強度に応じたポストフィルタ処理を行う
ことを特徴とする映像復号化方法。
【請求項１２】
インターレース形式のピクチャを構成する領域単位で、トップフィールドとボトムフィールドとを独立に符号化するフィールド符号化と、トップフィールドとボトムフィールドとを合わせたフレーム単位で符号化するフレーム符号化とを切り替えて符号化されたビットストリームを復号化する映像復号化装置のためのプログラムであって、
復号化されたピクチャのノイズを除去するポストフィルタ処理を行うフィルタ処理ステップと、
前記ポストフィルタ処理の対象となる対象領域の符号化タイプを確認し、かつ、前記対象領域が含まれる現ピクチャに時間的に連続するピクチャに含まれる、前記対象領域と同じ位置に位置する領域の符号化タイプ、又は、前記対象領域に空間的に隣接する領域の符号化タイプを確認する符号化タイプ確認ステップと、
前記符号化タイプ確認ステップにおいて確認された符号化タイプが、フレーム符号化であるか、フィールド符号化であるかに応じて、前記ポストフィルタ処理のノイズ除去強度を決定するノイズ除去強度決定ステップとをコンピュータに実行させ、
前記フィルタ処理ステップでは、
前記対象領域に対して前記ノイズ除去強度に応じたポストフィルタ処理を行う
ことをコンピュータに実行させるプログラム。
【請求項１３】
復号化されたピクチャのノイズを除去する集積回路であって、
復号化されたピクチャのノイズを除去するポストフィルタ処理を行うフィルタ処理手段と、
前記ポストフィルタ処理の対象となる対象領域の符号化タイプを確認し、かつ、前記対象領域が含まれる現ピクチャに時間的に連続するピクチャに含まれる、前記対象領域と同じ位置に位置する領域の符号化タイプ、又は、前記対象領域に空間的に隣接する領域の符号化タイプを確認する符号化タイプ確認手段と、
前記符号化タイプ確認手段に確認された符号化タイプが、フレーム符号化であるか、フィールド符号化であるかに応じて、前記ポストフィルタ処理のノイズ除去強度を決定するノイズ除去強度決定手段とを備え、
前記フィルタ処理手段は、
前記対象領域に対して前記ノイズ除去強度に応じたポストフィルタ処理を行う
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮されたビットストリームを復号化する映像復号化装置及び方法に関し、特に、時間方向の画質変動を低減するポストフィルタに関する。
【背景技術】
【０００２】
ＩＰ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ）ネットワークを介して映像を配信するアプリケーションや、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）・ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）等の蓄積メディアに映像を記録するアプリケーションが広く用いられている。これらのアプリケーションでは、所定の伝送帯域、又はメディア容量に収めるために、映像符号化技術を用いて情報の圧縮符号化を行なう。
【０００３】
映像の符号化は、映像中に含まれる空間的及び時間的冗長性を除去することによりなされる。空間的冗長性の除去は、画素間の相関を利用し、復号化済みの隣接画素値から予測した画素値と対象画素値との差分を符号化するピクチャ内予測符号化によりなされる。一方、時間的冗長性の除去は、ピクチャ間の相関を利用し、復号化済みのピクチャから動きを予測して生成した予測ピクチャと対象ピクチャとの差分を符号化するピクチャ間予測符号化によりなされる。
【０００４】
符号化映像は、図１に示す通り、ＧＯＰ（Ｇｒｏｕｐ  Ｏｆ  Ｐｉｃｔｕｒｅｓ）と呼ばれる複数のピクチャ群から構成される。ＧＯＰの先頭のＩピクチャは、ピクチャ内予測符号化により符号化され、Ｉピクチャに続くピクチャは、ピクチャ間予測符号化により符号化される。
【０００５】
なお、対象映像がインターレース形式の場合、フィールド符号化とフレーム符号化とのいずれかを選択できる。図２に示すように、フィールド符号化はトップフィールドとボトムフィールドとを独立したピクチャとして符号化する方法である。フレーム符号化はトップフィールドとボトムフィールドとを合わせたフレーム単位に符号化する方法である。
【０００６】
一般に、フレーム相関がフィールド相関よりも強いシーン、すなわち、動きが殆どないシーンでは、フレーム符号化が適している。フィールド相関がフレーム相関よりも強いシーン、すなわち、動きがあるシーンでは、フィールド符号化が適している。したがって、対象映像を符号化する際には、動きの少ない領域ではフレーム符号化が選ばれやすく、動きの多い領域ではフィールド符号化が選ばれやすい。
【０００７】
また、フィールド符号化とフレーム符号化との切り替えをピクチャ単位ではなく、マクロブロックと呼ばれるブロック単位に行うこともできる。この場合、図３に示されるように、上下２つのマクロブロックをペアとして扱う。符号化効率に関しては、ピクチャ単位の場合と同様、動きが殆どないマクロブロックに対しては、フレーム符号化が適しており、動きのあるマクロブロックに対しては、フィールド符号化が適している。符号化効率を高めるためには、これらの切り替えを上手に制御する必要がある。
【０００８】
ところが、符号化効率が良い映像が必ずしも優れているとは限らない。その主たる一例として、パルシングノイズと呼ばれる符号化ノイズがある（非特許文献１）。このパルシングノイズは、Ｉピクチャの画質に起因するものである。
【０００９】
前述した通り、Ｉピクチャはピクチャ内に閉じて符号化される。そのため、Ｉピクチャはピクチャ間の画質連続性に乏しいため、ＧＯＰの先頭であるＩピクチャで時間方向の画質変動が生じ、視覚的な劣化を生む。特に、映像検索・編集等のようなランダムアクセス性が要求されるアプリケーションで起こりうるような、全てＩピクチャで符号化するケースでは、全ピクチャで画質変動が生じる。このため、パルシングノイズよりも劣化の目立つフリッカノイズが発生する（特許文献１、特許文献２及び非特許文献２）。
【００１０】
このように、符号化効率だけではなく、主観品質を意識した符号化方法の確立が必要である。しかし、上記のパルシングノイズ及びフリッカノイズの場合、現状、符号化側で完全に低減する方法が確立されていない。
【００１１】
そのため、復号化側のポストフィルタで、この符号化ノイズを低減する必要がある。ポストフィルタ処理を実行することで、時間方向の画質連続性を高めることができ、上記のノイズなどを低減することができる。
【００１２】
具体的には、フレームインデックスをｔ、出力ピクチャをｏ（ｔ）、復号化ピクチャをｐ（ｔ）、ノイズ除去強度をＷ（０の場合は強度が弱く、１の場合は強度が強い）とし、以下の式１で表される平滑化フィルタを施す。
【００１３】
ｏ（ｔ）＝（１−Ｗ）×ｐ（ｔ）＋Ｗ×ｏ（ｔ−１）  ・・・（式１）
【００１４】
このとき、動きのある部分で、ノイズ除去強度Ｗを大きくすると、残像が生じるため、動きの有無に応じてノイズ除去強度Ｗを決定する必要がある。
【００１５】
ところが、動きの有無を検出するためには、ピクチャ間差分等の計算が必要となり、その処理量が問題となる。そこで、入力が圧縮されたビットストリームである場合、復号過程で得られる動きベクトルを利用する方法が提案されている（特許文献３）。しかし、画質変動の主原因でなるＩピクチャは、動きベクトルを持たない。すなわち、Ｉピクチャに対しては、動きベクトルを利用する方法を適用することはできない。
【００１６】
ここで、符号化タイプを参照することで、ピクチャの動きを検出する方法が提案されている（特許文献４）。上述したように、動きのある領域の符号化タイプはフィールド符号化が選ばれやすく、動きの殆どない領域の符号化タイプはフレーム符号化が選ばれやすい。すなわち、符号化タイプを検出することで、動きのある領域と殆どない領域とを検出することができる。よって、この方法を用いて、動きベクトルを持たないＩピクチャに対して、動きのある領域と動きの殆どない領域とを選択的にノイズの除去を行うことも考えられる。
【特許文献１】特開２００５−３２３３１５号公報
【特許文献２】特開２００５−２０７７１号公報
【特許文献３】特開２００２−１７１４２４号公報
【特許文献４】特開２００４−１０４１７１号公報
【非特許文献１】ＰＣＳＪ２００５予稿「デテント付き量子化制御によるＩピクチャフリッカの低減方法」
【非特許文献２】ＰＣＳＪ２００５予稿「Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣにおけるイントラ符号化フレームのフリッカ低減方法」
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、特許文献４に記載の技術では、符号化タイプと動きの有無との関係は絶対的なものではないという課題がある。すなわち、符号化の際に、動きのない領域だからといって、フレーム符号化が必ず選ばれるわけではない。同様に、動きのある領域だからといって、フィールド符号化が必ず選ばれるわけではない。したがって、符号化タイプがフレーム符号化だからといって、ノイズ除去強度を大きくしたポストフィルタ処理を実行すると、動きのある領域にまでポストフィルタ処理を実行してしまう恐れがある。この場合、動きのある領域に残像が生じ、主観的な画質が劣化する。
【００１８】
そこで、本発明は、上述した課題を鑑みたものであり、動きの有無の判定の精度を向上させることで、動きのある領域に対して除去強度の強いポストフィルタ処理を行うことを防止する映像復号化装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
本発明の映像復号化装置は、インターレース形式のピクチャを構成する領域単位で、トップフィールドとボトムフィールドとを独立に符号化するフィールド符号化と、トップフィールドとボトムフィールドとを合わせたフレーム単位で符号化するフレーム符号化とを切り替えて符号化されたビットストリームを復号化する映像復号化装置であって、復号化されたピクチャのノイズを除去するポストフィルタ処理を行うフィルタ処理手段と、前記ポストフィルタ処理の対象となる対象領域の符号化タイプを確認し、かつ、前記対象領域が含まれる現ピクチャに時間的に連続するピクチャに含まれる、前記対象領域と同じ位置に位置する領域の符号化タイプ、又は、前記対象領域に空間的に隣接する領域の符号化タイプを確認する符号化タイプ確認手段と、前記符号化タイプ確認手段に確認された符号化タイプが、フレーム符号化であるか、フィールド符号化であるかに応じて、前記ポストフィルタ処理のノイズ除去強度を決定するノイズ除去強度決定手段とを備え、前記フィルタ処理手段は、前記対象領域に対して前記ノイズ除去強度に応じたポストフィルタ処理を行う。
【００２０】
これにより、ノイズ除去処理の対象となる対象領域だけでなく、その他の領域に対しても符号化タイプを確認することで、対象領域の動きの有無の判断を精度良く行うことができる。よって、動きのある領域に対して除去強度の強いポストフィルタ処理を行うことを防止することができる。
【００２１】
また、前記符号化タイプ確認手段は、前記現ピクチャから時間的に連続する複数のピクチャに含まれる、前記対象領域と同じ位置に位置する領域の符号化タイプを確認し、前記ノイズ除去強度決定手段は、前記対象領域の符号化タイプがフレーム符号化である場合に、前記現ピクチャから時間的に連続するピクチャであり、かつ、前記符号化タイプ確認手段に確認された符号化タイプがフレーム符号化である領域を含むピクチャの数が多いほど、前記ポストフィルタ処理のノイズ除去強度を大きくしてもよい。
【００２２】
これにより、符号化タイプがフレーム符号化である領域を含むピクチャが多く連続するほど、ノイズ除去フィルタの強度を強くすることができる。すなわち、より動きのないことが確からしい領域に対してノイズ除去フィルタの強度を強く設定することができる。よって、入力画像の動きを極力保護しつつ、動きの殆どない領域で目立つノイズを除去することができる。
【００２３】
また、前記符号化タイプ確認手段は、前記対象領域に空間的に隣接する複数の領域の符号化タイプを確認し、前記ノイズ除去強度決定手段は、前記対象領域の符号化タイプがフレーム符号化である場合に、前記符号化タイプ確認手段に確認された符号化タイプがフレーム符号化である領域の数が多いほど、前記ポストフィルタ処理のノイズ除去強度を大きくしてもよい。
【００２４】
これにより、符号化タイプがフレーム符号化であるブロックが周囲に多くあるほど、ノイズ除去フィルタの強度を強くすることができる。すなわち、より動きのないことが確からしい領域に対してノイズ除去フィルタの強度を強く設定することができる。よって、入力画像の動きを極力保護しつつ、動きの殆どない領域で目立つノイズを除去することができる。
【００２５】
また、前記ノイズ除去強度決定手段は、前記対象領域の量子化パラメータが予め定められた閾値より小さい場合、前記ノイズ除去強度を０に設定し、前記フィルタ処理手段は、前記ノイズ除去強度が０である場合は、前記対象領域に対して、前記ポストフィルタ処理を行わないとしてもよい。
【００２６】
これにより、量子化パラメータがある閾値以下の場合は、時間的な連続度や空間的な相関関係を確認する必要がなく、処理量を削減することができる。また、量子化パラメータはビットストリームの復号化で得られるパラメータであるので、量子化パラメータの検出にかかる処理量が新たに必要となることもない。
【００２７】
また、前記ノイズ除去強度決定手段は、前記量子化パラメータが前記閾値以上である場合、前記量子化パラメータが大きいほど、前記ポストフィルタ処理のノイズ除去強度が大きくなるように前記ノイズ除去強度を決定してもよい。
【００２８】
これにより、量子化パラメータの値に応じて、ノイズ除去強度の値を適応的に決定することができる。ビットレートに応じてノイズの目立ちやすさは異なるため、不必要な強さの強度を持つフィルタ処理を行うことで画質の悪化が起こることを防ぐことができる。
【発明の効果】
【００２９】
本発明の映像復号化装置及び方法は、精度良く動きの有無を判定し、動きのある領域に対して除去強度の強いポストフィルタ処理を行うことを防止することで、残像の発生を抑制することができる。さらに、ポストフィルタ処理を低処理量で行うことができ、かつ、動きベクトルを持たないＩピクチャに対しても適用することができる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
【００３１】
図４は、本実施の形態の映像復号化装置１００の機能ブロックを示す図である。
【００３２】
本実施の形態の映像復号化装置１００は、圧縮されたビットストリームを復号化後、符号化ノイズを除去して出力フレームとして出力する。本実施の形態では、復号化処理、ノイズ除去強度の決定処理、及びポストフィルタ処理を図３に示すようなブロック単位で行う。
【００３３】
映像復号化装置１００は、構成要素として、ビットストリームを復号化する映像復号化部２００と、符号化ノイズの除去を行なうノイズ除去部３００とを備える。
【００３４】
図５は、映像復号化装置１００を構成する映像復号化部２００の機能ブロックを示す図である。
【００３５】
映像復号化部２００は、圧縮されたビットストリームを復号化して、復号化フレームと符号化タイプと量子化パラメータとをノイズ除去部３００へ転送する。
【００３６】
ここで、符号化タイプとは、符号化の対象となる領域がフィールドで符号化されているか、フレームで符号化されているかを示す符号化パラメータの１つである。映像圧縮規格Ｈ．２６４／ＡＶＣでは、図６に示す通り、ｍｂ＿ｆｉｅｌｄ＿ｄｅｃｏｄｉｎｇ＿ｆｌａｇと呼ばれるパラメータに記述し、マクロブロック単位に指定できる。
【００３７】
また、量子化パラメータは、Ｈ．２６４／ＡＶＣの場合では、０〜５１の値をとり、０に近い値であるほど、高ビットレートで符号化されていることを示す。領域が高ビットレートで符号化されていれば、ノイズが目立たないため時間方向の平滑化処理が不要である。
【００３８】
映像復号化部２００は、構成要素として、可変長復号化部２０１と、逆量子化部２０２と、逆直交変換部２０３と、復号化フレーム保存メモリ２０４と、動き補償部２０５と、加算器２０６とを備える。
【００３９】
可変長復号化部２０１は、ビットストリームを可変長復号化する処理部である。可変長復号化部２０１は、ビットストリームを、量子化パラメータ、動きベクトル、符号化タイプ等の符号化パラメータ及び直交変換係数等に復号化する。そして、動きベクトルなどの動き補償に関連するパラメータについては動き補償部２０５へ転送する。量子化パラメータや直交変換係数などの量子化に関連するパラメータについては逆量子化部２０２へ転送する。また、符号化タイプについては、図７に示す通り、マクロブロックアドレスと関連付けた形で、フレームでまとめてノイズ除去部３００へ転送する。また、量子化パラメータについても同様に、ノイズ除去部３００へ転送する。
【００４０】
逆量子化部２０２は、直交変換係数を逆量子化する処理部である。逆量子化部２０２は、可変長復号化部２０１より転送された量子化パラメータと量子化された直交変換係数とを用いて、当直交変換係数を逆量子化する。そして、逆量子化された直交変換係数を逆直交変換部２０３へ転送する。
【００４１】
逆直交変換部２０３は、逆量子化された直交変換係数を逆直交変換する処理部である。逆直交変換部２０３は、逆量子化部２０２より転送された直交変換係数に対して逆直交変換を施すことで得られる予測誤差を加算器２０６へ転送する。
【００４２】
復号化フレーム保存メモリ２０４は、復号化フレームを一時的に記憶する記憶部である。
【００４３】
動き補償部２０５は、参照フレームを用いて動き補償を行う処理部である。動き補償部２０５は、復号化フレーム保存メモリ２０４から復号化済みのフレームを取得し、可変長復号化部２０１より転送された動きベクトルや予測モードを用いて、動き補償を行い、予測フレームを生成する。生成された予測フレームは、加算器２０６へ転送される。
【００４４】
加算器２０６は、予測フレームと予測誤差とを加算する。逆直交変換部２０３より転送された予測誤差と動き補償部２０５より転送された予測フレームとを加算した復号化フレームをノイズ除去部３００へ転送する。
【００４５】
図８は、映像復号化装置１００を構成するノイズ除去部３００の機能ブロックを示す図である。
【００４６】
ノイズ除去部３００は、符号化タイプに応じて、映像復号化部２００より転送された復号化フレームの符号化ノイズを低減した後、出力フレームとして出力する。
【００４７】
ノイズ除去部３００は、構成要素として、符号化タイプ確認部３０１と、フィルタ処理部３０２と、出力フレーム保存メモリ３０３と、符号化タイプ保存メモリ３０４と、ノイズ除去強度決定部３０５とを備える。
【００４８】
符号化タイプ確認部３０１は、ポストフィルタ処理の対象となる対象領域の符号化タイプを確認し、かつ、該対象領域が含まれる現ピクチャに時間的に連続するピクチャに含まれる、該対象領域と同じ位置に位置する領域の符号化タイプ、又は、該対象領域に空間的に隣接する領域の符号化タイプを確認する処理部である。本実施の形態では、可変長復号化部２０１より転送された対象ブロックの符号化タイプを確認する。さらに、符号化タイプ保存メモリ３０４に記憶されており、現ピクチャから時間的に連続するフレームに含まれ、対象ブロックと同位置のブロックの符号化タイプを確認する。さらに、対象ブロックに空間的に隣接するブロックの符号化タイプを確認する。そして、各フレームの符号化タイプに関する情報をノイズ除去強度決定部３０５に転送する。また、対象ブロックの符号化タイプを符号化タイプ保存メモリ３０４に記憶させる。ここで、対象ブロックとは、ポストフィルタ処理の対象となるブロックである。
【００４９】
フィルタ処理部３０２は、ノイズを除去するポストフィルタ処理を行う処理部である。ノイズ除去強度Ｗが大きいほど、フィルタ処理部３０２は、平滑化を強めて、時間方向の画質連続性を高める。出力フレーム保存メモリ３０３に記憶されている直前の出力フレームと、映像復号化部２００より転送された復号化フレームと、ノイズ除去強度決定部３０５より転送されたノイズ除去強度とを用いて、復号化フレームの対象ブロックに対して、時間方向の連続性を高めるフィルタを施す。そして、フィルタ処理後の復号化フレームのコピーを作成し、一方は、出力フレーム保存メモリ３０３へ転送し、他方は、出力フレームとしてディスプレイ等の外部デバイスへ転送する。
【００５０】
出力フレーム保存メモリ３０３は、フィルタ処理部３０２から転送される出力フレームを記憶する記憶部である。
【００５１】
符号化タイプ保存メモリ３０４は、映像復号化部２００より転送される符号化タイプを一時的に記憶する記憶部である。
【００５２】
ノイズ除去強度決定部３０５は、符号化タイプ確認部３０１に確認された符号化タイプが、フレーム符号化であるか、フィールド符号化であるかに応じて、前記ポストフィルタ処理のノイズ除去強度を決定する処理部である。本実施の形態では、符号化タイプ確認部３０１が確認した符号化タイプがフレーム符号化である数に依存してノイズ除去強度Ｗを決定する。ノイズ除去強度Ｗは以下の式２で決定される。
【００５３】
Ｗ  ＝  Ｗｑ×（ａ×Ｗｔ＋（１−ａ）×Ｗｓ）  ・・・（式２）
【００５４】
ここで、Ｗｑは、対象ブロックの量子化パラメータから決定される強度である。Ｗｔは、フレーム符号化されたブロックの時間的な連続度から決定される強度である。Ｗｓは、対象ブロックに隣接したブロックのうち、フレーム符号化されたブロックの数から決定される強度である。ａは、ＷｔとＷｓの比重を決めるパラメータである。それぞれの値は０〜１の範囲である。なお、ノイズ除去強度Ｗが０である場合、フィルタ処理部３０２は、対象ブロックに対してポストフィルタ処理を行わない。
【００５５】
図９は、横軸に量子化パラメータＱｐに対応する量子化ステップＱｓ、縦軸に強度Ｗｑとして、量子化ステップＱｓと強度Ｗｑとの関係を示す図である。量子化ステップＱｓが０に近い、すなわち、高ビットレートで符号化されているときには、ノイズが目立たないため、時間方向の平滑化処理が不要である。このため、図９に示すように、量子化パラメータＱｐがある閾値Ｔｈ1以下である場合、すなわち、対応する量子化ステップＱｓが閾値Ｔｈ2以下である場合には、強度Ｗｑ＝０とすることで、ポストフィルタ処理を行わないようにすることができる。
【００５６】
また、量子化パラメータＱｐが閾値Ｔｈ1より大きい場合、すなわち、対応する量子化ステップＱｓが閾値Ｔｈ2より大きい場合は、量子化ステップＱｓが大きくなるにつれて、強度Ｗｑも大きくなるようにする。これにより、符号化のビットレートも考慮に入れてノイズ除去強度Ｗを決定することができ、不必要なポストフィルタ処理を行わないようにすることができる。
【００５７】
図１０はＷｔの算出の一例を示す図である。Ｗｔは、以下の式３で表される。
【００５８】
Ｗｔ  ＝  Ｃｔ÷Ｎｔ  ・・・（式３）
【００５９】
ここで、Ｃｔは、符号化タイプがフレーム符号化であるブロックを含むピクチャが、現ピクチャから時間的に連続する数である。Ｎｔは、符号化タイプ確認部３０１が確認するブロックの数である。図１０の例では、Ｃｔ＝１、Ｎｔ＝３であることから、Ｗｔ＝０．３３となる。なお、対象ブロックの符号化タイプがフィールド符号化である場合は、Ｗｔ＝０である。
【００６０】
以上のように、符号化タイプがフレーム符号化であるブロックを含むピクチャが時間的に多く連続するほど、強度Ｗｔが大きくなる。フレーム符号化であるブロックを含むピクチャが時間的に多く連続するということは、対象ブロックの符号化タイプもフレーム符号化である確率が高いことを示す。これにより、動きの殆どない部分に対して、より確実にポストフィルタ処理を実行することができる。
【００６１】
図１１はＷｓの算出の一例を示す図である。Ｗｓは、以下の式４で表される。
【００６２】
Ｗｓ  ＝  Ｃｓ÷Ｎｓ  ・・・（式４）
【００６３】
ここで、Ｃｓは、符号化タイプ確認部３０１が確認するブロックのうち、符号化タイプがフレーム符号化であるブロックの数である。Ｎｓは、符号化タイプ確認部３０１が確認するブロックの数である。図１１の例では、Ｃｓ＝３、Ｎｓ＝４であることから、Ｗｓ＝０．７５となる。なお、対象ブロックの符号化タイプがフィールド符号化である場合は、Ｗｓ＝０である。
【００６４】
以上のように、符号化タイプがフレーム符号化であるブロックが、空間的に多く対象ブロックに隣接するほど、強度Ｗｓが大きくなる。符号化タイプがフレーム符号化であるブロックが空間的に多く対象ブロックに隣接するということは、対象ブロックの符号化タイプもフレーム符号化である確率が高いことを示す。これにより、動きの殆どない部分に対して、より確実にポストフィルタ処理を実行することができる。
【００６５】
なお、確認するブロックとして、対象ブロックに隣接する４ブロックだけでなく、対象ブロックの周囲８ブロックとしてもよい。
【００６６】
また、式２に示される係数ａは、時間的な連続度を優先するか、空間的な隣接具合を優先するかを決定する重み係数である。すなわち、ａ＝０とすることで、時間的な連続度のみを考慮に入れたノイズ除去強度の決定を行うことができる。逆に、ａ＝１とすることで、空間的な隣接具合のみを考慮に入れたノイズ除去強度の決定を行うことができる。このように、必ずしも、時間的な連続度、及び、空間的な隣接具合の両方を確認する必要はなく、いずれか一方を確認するだけでもよい。
【００６７】
以上が、本発明の映像復号化装置１００の機能ブロックに関する説明である。
【００６８】
以下では、図１２に示すフローチャートを用いて、本発明の映像復号化装置１００の動作について説明する。
【００６９】
なお、図１２に示すフローチャートは、映像復号化装置１００に図示されていない記憶装置（例えば、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）やフラッシュメモリ等）に制御プログラムとして記憶されており、同じく図示されていないＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）によって実行される。
【００７０】
また、図１２に示すフローチャートは、特にノイズ除去部３００に関する動作に対応するものであり、映像復号化部２００に関する説明は省略する。
【００７１】
以下の動作は、マクロブロック単位に実施される。
【００７２】
ノイズ除去強度決定部３０５は、量子化パラメータＱｐの確認を行う（Ｓ１１）。すなわち、量子化パラメータＱｐがある閾値Ｔｈ1より大きいか否かの判定を行う。
【００７３】
量子化パラメータＱｐが閾値Ｔｈ1より大きい場合（Ｓ１１でＹｅｓ）、ノイズ除去強度決定部３０５は、図９に示されるグラフを用いて、強度Ｗｑを設定する（Ｓ１２）。量子化パラメータＱｐが閾値Ｔｈ1以下である場合（Ｓ１１でＮｏ）、Ｗｑ＝０と設定する（Ｓ１３）。
【００７４】
次に、符号化タイプ確認部３０１は、対象ブロックの符号化タイプの確認を行う（Ｓ１４）。すなわち、対象ブロックの符号化タイプがフレーム符号化であるか否かを判定する。フレーム符号化である場合（Ｓ１４でＹｅｓ）、ノイズ除去強度決定部３０５は、上述の式３及び式４を用いてＷｔ及びＷｓの値を算出する（Ｓ１５）。フレーム符号化ではない場合（Ｓ１４でＮｏ）、ノイズ除去強度決定部３０５は、Ｗｔ＝Ｗｓ＝０と設定する（Ｓ１６）。
【００７５】
ここで、Ｗｔ及びＷｓの設定処理（Ｓ１５）の詳細は、図１２Ｂ及び図１２Ｃに示す。なお、Ｗｔの設定処理（図１２Ｂ）とＷｓの設定処理（図１２Ｃ）とは、いずれが先行してもよい。または、いずれか一方のみを行う構成としてもよい。
【００７６】
図１２Ｂは、強度Ｗｔを決定する際の動作を示すフローチャートである。
【００７７】
まず、符号化タイプ確認部３０１は、対象ブロックを含む現ピクチャから時間的に連続するピクチャの、対象ブロックと同じ位置に位置するブロックの符号化タイプを確認する（Ｓ２１）。次に、ノイズ除去強度決定部３０５は、符号化タイプがフレーム符号化であるブロックを含むピクチャが時間的に連続する数をカウントする（Ｓ２２）。そして、式３を用いて強度Ｗｔを決定する（Ｓ２３）。
【００７８】
図１２Ｃは、強度Ｗｓを決定する際の動作を示すフローチャートである。
【００７９】
まず、符号化タイプ確認部３０１は、対象ブロックに空間的に隣接するブロックの符号化タイプを確認する（Ｓ３１）。次に、ノイズ除去強度決定部３０５は、符号化タイプがフレーム符号化であるブロックの数をカウントする（Ｓ３２）。そして、式４を用いて強度Ｗｓを決定する（Ｓ３３）。
【００８０】
以上のように、Ｗｑ、Ｗｔ及びＷｓが決定されると、ノイズ除去強度決定部３０５は、式２を用いてノイズ除去強度Ｗを設定する（Ｓ１７）。最後に、フィルタ処理部３０２は、現在の復号化ブロックｉ（ｔ）と、直前の出力ブロックｏ（ｔ−１）と、ノイズ除去強度Ｗとを用いて、出力ブロックｏ（ｔ）を生成する（Ｓ１８）。
【００８１】
図１３は、上記動作のうち、強度Ｗｔの決定に関する処理の一例を示す図である。同図に示す例では、現在のピクチャと直前のピクチャとの符号化タイプを確認する（Ｎｔ＝１）。このとき、アドレス１１６に対応するブロックのみが、現在のピクチャ及び直前のピクチャの両方の符号化タイプがフレーム符号化である。すなわち、Ｃｔ＝１である。したがって、アドレス１１６に対応するブロックに対しては、強度Ｗｔ＝１となる（図１３では、「強」と示す）。
【００８２】
また、図１４は、同じく、上記動作のうち強度Ｗｔの決定に関する処理の一例を空間的に示した図である。符号化タイプがフレーム符号化であるブロックが時間的に連続する領域に対して、フィルタ処理部３０２は、時間方向の平滑化を強める。そして、それ以外の領域については、時間方向に弱く平滑化を行う、又は、時間方向に平滑化を行わない。
【００８３】
図１５は、上記動作のうち、強度Ｗｓの決定に関する処理の一例を示す図である。同図に示す例では、ノイズ除去対象となる対象ブロックと、該対象ブロックに隣接する４ブロックとの符号化タイプを確認する（Ｎｔ＝４）。ここでは、対象ブロックの符号化タイプと、周囲の４ブロックのうち２つ以上のブロックの符号化タイプとがフレーム符号化である場合について、強度Ｗｓが「強」であるとする。
【００８４】
また、図１６は、図１５の例を空間的に示す図である。対象ブロックの符号化タイプがフレーム符号化であり、かつ、対象ブロックに隣接する４ブロックのうち２つ以上のブロックの符号化タイプがフレーム符号化である場合について、フィルタ処理部３０２は時間方向に強く平滑化を行う。そして、それ以外の領域については、時間方向に弱く平滑化を行う、又は、時間方向に平滑化を行わない。
【００８５】
以上のように、本実施の形態の映像復号化装置及び方法によると、符号化タイプがフレーム符号化であるブロックが、時間的に連続している、又は空間的に隣接している場合に、ノイズ除去強度を大きくすることができる。これにより、動きのないことが確からしい箇所について時間方向に平滑化することができる。すなわち、動きのある領域に平滑化処理を行うことにより、画像に残像が発生するといったことを防ぐことができる。
【００８６】
以上、本発明の映像復号化装置及び方法について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【００８７】
例えば、復号化処理、ノイズ除去強度の決定処理、及びポストフィルタ処理を図３に示すようなブロック単位で行ったが、より大きなブロック単位やフレーム単位で行ってもよい。
【００８８】
なお、本実施の形態の映像復号化装置及び方法では、量子化パラメータＱｐを用いたが、必ずしも用いる必要はない。例えば、明らかに低ビットレートで符号化されていることが判明している場合では、Ｗｑに相当する値を固定値とすることで、Ｗｑの算出に関する処理を削減することができる。
【００８９】
また、本発明の映像復号化方法のステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを記録したコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体として実現したり、そのプログラムを示す情報、データ又は信号として実現したりすることもできる。そして、それらプログラム、情報、データ及び信号は、インターネット等の通信ネットワークを介して配信してもよい。
【００９０】
さらに、上記の映像復号化装置を構成する構成要素の一部又は全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。上記ＲＡＭには、コンピュータプログラムが記憶されている。上記マイクロプロセッサが、上記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。
【産業上の利用可能性】
【００９１】
本発明の映像復号化装置及び方法は、圧縮符号化されたビットストリームを復号化し、更に、符号化ノイズを低減する機能を有し、例えば、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ  Ｓａｔｅｌｌｉｔｅ）放送や地上波デジタル放送等、又は、ＩＰネットワークを介して伝送された監視カメラ映像等を蓄積・再生するレコーダ等に有用である。
【図面の簡単な説明】
【００９２】
【図１】ＧＯＰ構造を示す図である。
【図２】フィールド符号化におけるピクチャ構成を示す図である。
【図３】フィールド符号化及びフレーム符号化の切り替えが可能なマクロブロックを示す図である。
【図４】本発明の映像復号化装置に関する機能ブロック図である。
【図５】本発明の映像復号化装置の映像復号化部に関する機能ブロック図である。
【図６】Ｈ．２６４／ＡＶＣの符号化タイプを示す符号化パラメータを示す図である。
【図７】マクロブロックアドレスと符号化タイプとの関連を示す図である。
【図８】本発明の映像復号化装置のノイズ除去部に関する機能ブロック図である。
【図９】量子化ステップＱｓと強度Ｗｑとの関係を示す図である。
【図１０】強度Ｗｔの算出の一例を示す図である。
【図１１】強度Ｗｓの算出の一例を示す図である。
【図１２Ａ】本発明の映像復号化装置の動作を示すフローチャートである。
【図１２Ｂ】強度Ｗｔの決定に関する処理の動作を示すフローチャートである。
【図１２Ｃ】強度Ｗｓの決定に関する処理の動作を示すフローチャートである。
【図１３】強度Ｗｔの決定に関する処理の一例を示す図である。
【図１４】強度Ｗｔの決定に関する処理を空間的に示す図である。
【図１５】強度Ｗｓの決定に関する処理の一例を示す図である。
【図１６】強度Ｗｓの決定に関する処理を空間的に示す図である。
【符号の説明】
【００９３】
１００    映像復号化装置
２００    映像復号化部
２０１    可変長復号化部
２０２    逆量子化部
２０３    逆直交変換部
２０４    復号化フレーム保存メモリ
２０５    動き補償部
２０６    加算器
３００    ノイズ除去部
３０１    符号化タイプ確認部
３０２    フィルタ処理部
３０３    出力フレーム保存メモリ
３０４    符号化タイプ保存メモリ
３０５    ノイズ除去強度決定部
【図１】
2008109642.tif 000003
【図２】
2008109642.tif 000004
【図３】
2008109642.tif 000005
【図４】
2008109642.tif 000006
【図５】
2008109642.tif 000007
【図６】
2008109642.tif 000008
【図７】
2008109642.tif 000009
【図８】
2008109642.tif 000010
【図９】
2008109642.tif 000011
【図１０】
2008109642.tif 000012
【図１１】
2008109642.tif 000013
【図１２Ａ】
2008109642.tif 000014
【図１２Ｂ】
2008109642.tif 000015
【図１２Ｃ】
2008109642.tif 000016
【図１３】
2008109642.tif 000017
【図１４】
2008109642.tif 000018
【図１５】
2008109642.tif 000019
【図１６】
2008109642.tif 000020