(57)【要約】【課題】本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばMPEG-2及びMPEG-4 Part10 AVC のビットストリームを復号可能な復号装置に適用して、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができるようにする。【解決手段】本発明は、隣接する予測値生成単位とのイントラ符号化及びインター符号化の異同、及び予測値の生成単位の境界に対する直交変換処理単位の境界に応じて、境界強度判定情報を設定し、隣接する直交変換処理単位で予測モードが異なる場合には、フィルタリング強度が強くなるように境界強度判定情報を設定する。【選択図】        図１
2009194617.tif 000002
【特許請求の範囲】
【請求項１】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理装置において、
前記ビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記画像処理装置は、
前記予測誤差を復号する逆直交変換部と、
前記予測値を生成する予測値生成部と、
前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、
前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、
前記制御部は、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理装置。
【請求項２】
前記制御部は、
前記ビットストリームが、スキップドマクロブロックである場合、フィルタリング処理しないように、前記境界強度判定情報を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、
前記ビットストリームが、隣接する前記直交変換処理単位とで前記直交変換処理のモードが異なる場合、前記直交変換処理のモードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記デブロッキングフィルタは、
垂直方向に連続する画像データをフィルタリング処理する垂直方向のフィルタリング処理と、水平方向に連続する画像データをフィルタリング処理する水平方向のフィルタリング処理とを順次実行して前記ブロックノイズを除去し、
前記制御部は、
前記垂直方向及び水平方向のフィルタリング処理用にそれぞれ前記境界強度判定情報を出力し、
前記デブロッキングフィルタは、
前記水平方向のフィルタリング処理では、前記直交変換処理単位の境界に対して前記フィルタリング処理を実行し、
前記垂直方向のフィルタリング処理では、
前記直交変換処理単位の境界と、前記直交変換処理単位内部のライン間とに対して前記フィルタリング処理を実行し、
前記制御部は、
前記ビットストリームがフレームＤＣＴ構造である場合、前記境界間のライン間に対してフィルタリング処理しないように前記垂直方向のフィルタリング処理用の前記境界強度判定情報を設定し、
前記ビットストリームがフィールドＤＣＴ構造である場合、前記直交変換処理単位の境界と、前記直交変換処理単位内部のライン間とでフィルタリング処理するように前記境界強度判定情報を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項５】
フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理装置において、
予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成部と、
前記予測値に基づいて前記画像データの予測誤差を生成する減算部と、
前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換部と、
前記直交変換部の出力データを処理して前記ビットストリームを生成するデータ処理部と、
前記直交変換部の出力データから前記画像データを復号する復号部と、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号部で復号された画像データのブロックノイズを除去するデブロッキングフィルタと、
前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、
前記制御部は、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理装置。
【請求項６】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理装置において、
前記第１のビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記第２のビットストリームは、
フレーム単位でピクチャータイプが設定されて生成され、
前記画像処理装置は、
前記予測誤差を復号する逆直交変換部と、
前記予測値を生成する予測値生成部と、
前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、
前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、
前記制御部は、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理装置。
【請求項７】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法において、
前記ビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記画像処理方法は、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理方法。
【請求項８】
フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法において、
予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、
前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、
前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、
前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、
前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理方法。
【請求項９】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法において、
前記第１のビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記第２のビットストリームは、
フレーム単位でピクチャータイプが設定されて生成され、
前記画像処理方法は、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理方法。
【請求項１０】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムにおいて、
前記ビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記画像処理方法のプログラムは、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理方法のプログラム。
【請求項１１】
フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムにおいて、
予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、
前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、
前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、
前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、
前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリン処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理方法のプログラム。
【請求項１２】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムにおいて、
前記第１のビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記第２のビットストリームは、
フレーム単位でピクチャータイプが設定されて生成され、
前記画像処理方法のプログラムは、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理方法のプログラム。
【請求項１３】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムを記録した記録媒体において、
前記ビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記画像処理方法のプログラムは、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【請求項１４】
フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法のプログラムは、
予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、
前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、
前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、
前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、
前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【請求項１５】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムを記録した記録媒体において、
前記第１のビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記第２のビットストリームは、
フレーム単位でピクチャータイプが設定されて生成され、
前記画像処理方法のプログラムは、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
前記第１のビットストリームから前記境界強度判定情報を生成する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
ことを特徴とする画像処理方法のプログラムを記録した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体に関し、例えばMPEG（Moving Picture Experts Group）-2及びMPEG-4 Part10 AVC （Advanced Video Coding ）（以下、H.264/AVC と呼ぶ）のビットストリームを復号可能な復号装置に適用することができる。本発明は、隣接する予測値生成単位とのイントラ符号化及びインター符号化の異同、及び予測値の生成単位の境界に対する直交変換処理単位の境界に応じて、境界強度判定情報を設定し、隣接する直交変換処理単位で予測モードが異なる場合には、フィルタリング強度が強くなるように境界強度判定情報を設定することにより、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができるようにする。
【背景技術】
【０００２】
従来、映像機器は、MPEG-2、H.264/AVC 等の手法で動画像をデータ圧縮している。ここでMPEG-2の符号化装置は、連続するピクチャーをＧＯＰ単位で区切って順次ピクチャータイプを設定し、各ピクチャーを並べ替えする。またMPEG-2の符号化装置は、予測値の生成単位であるマクロブロック単位で並べ替えした各ピクチャーを区切り、ピクチャータイプに応じた予測値との間でマクロブロック毎に予測誤差を生成する。MPEG-2の符号化装置は、このマクロブロック単位の予測誤差を、直交変換処理単位である８画素×８画素のＤＣＴ（Discrete Cosine Transform ）ブロック単位でディスクリートコサイン変換処理し、その結果得られるＤＣＴ係数を順次量子化処理、エントロピー符号化処理してビットストリームを生成する。
【０００３】
この符号化装置の構成に対応してMPEG-2の復号装置は、図２１に示すように構成される。ここで復号装置１において、エントロピー復号部２は、MPEG-2のビットストリームＳ１を入力してエントロピー復号処理する。動き予測部３は、このエントロピー復号部２の出力データから動きベクトルＭＶを検出して出力する。動き補償部４は、この動きベクトルＭＶを使用してフレームメモリ（ＦＭ）５に保持された参照画像データを動き補償し、インター符号化時の予測値を生成する。イントラ予測部６は、イントラ符号化時の予測値を生成する。
【０００４】
逆量子化部（ＩＱ）７は、エントロピー復号部２の出力データを逆量子化処理し、符号化時に生成したＤＣＴ係数を復号する。逆ＤＣＴ変換部８は、この逆量子化部７の出力データを逆ディスクリートコサイン変換処理し、符号化時に生成した予測誤差を復号する。加算部９は、動き補償部４から出力される予測値又はイントラ予測部６から出力される予測値を、逆ＤＣＴ変換部８から出力される予測誤差に加算し、各マクロブロックの画像データを復号する。復号装置１は、この加算部９で復号された画像データをフレームメモリ５に格納して一時保持し、ピクチャーを並べ直してビデオ信号ＳＶを出力する。またこのフレームメモリ５に格納した画像データを参照画像データとして動き補償部４に出力する。
【０００５】
H.264/AVC は、MPEG-2と同様にイントラ予測及びインター予測による予測誤差を直交変換処理、可変長符号化処理して動画像をデータ圧縮する。しかしながらH.264/AVC は、MPEG-2に比して一段と効率良く高画質の動画像をデータ圧縮可能に種々の工夫が図られている。
【０００６】
ここで図２２は、図２１との対比によりH.264/AVC の復号装置を示すブロック図である。H.264/AVC の復号装置１１において、エントロピー復号部１２は、H.264/AVC のビットストリームＳ２をエントロピー復号処理する。動き予測部１３は、このエントロピー復号部１２の出力データから動きベクトルＭＶ、参照フレームを特定する情報等を検出して出力する。動き補償部１４は、この動き予測部１３で検出された動きベクトルＭＶ等を使用してフレームメモリ（ＦＭ）１５に保持された参照画像データを動き補償し、インター符号化時の予測値を生成する。イントラ予測部１６は、加算部１９の出力データからイントラ符号化時の予測値を生成する。
【０００７】
逆量子化部（ＩＱ）１７は、エントロピー復号部１２の出力データを逆量子化処理し、符号化時に生成したＤＣＴ係数を復号する。逆ＤＣＴ変換部１８は、この逆量子化部１７の出力データを逆ディスクリートコサイン変換処理し、符号化時に生成した予測誤差を復号する。加算部１９は、動き補償部１４から出力される予測値又はイントラ予測部１６から出力される予測値をこの予測誤差に加算して画像データを復号する。
【０００８】
デブロッキングフィルタ２０は、加算部１９の出力データからブロックノイズを除去して出力する。復号装置１１は、このデブロッキングフィルタ２０の出力データをフレームメモリ１５に格納して一時保持し、ピクチャーを並べ直してビデオ信号ＳＶを出力する。またこのフレームメモリ１５に格納した画像データを参照画像データとして動き補償部１４に出力する。
【０００９】
これらMPEG-2、H.264/AVC の符号化処理は、データ圧縮率を大きくすると、量子化処理の際に高周波成分が失われ、その結果、復号したビデオ信号ＳＶのＤＣＴブロック境界で階調差が発生する。また動きの激しい場合等には、予測誤差が大きくなり、その結果、同様に量子化処理の際に高周波成分が失われ、復号したビデオ信号のＤＣＴブロック境界で階調差が発生する。また動きが激しい場合には、マクロブロックにおける予測誤差も大きくなり、この場合はマクロブロック境界で階調差が発生する。これら各種の原因によって発生するＤＣＴブロック境界、マクロブロック境界の階調差は、ブロックノイズと称され、画質を著しく劣化させる。
【００１０】
H.264/AVC では、デブロッキングフィルタの使用が規定されており、このデブロッキングフィルタでブロックノイズが抑圧される。しかしながらMPEG-2では、デブロッキングフィルタの使用が規定されていない。そのためMPEG-2においてブロックノイズを抑圧する場合には、図２１との対比により図２３に示すように、復号装置１の出力段に別途ブロックノイズ低減装置２１を設け、このブロックノイズ低減装置２１でビデオ信号ＳＶのブロックノイズを抑圧していた。なおこの図２３において、図２１の復号装置１と同一の構成は、対応する符号を付して示し、説明を省略する。
【００１１】
これらMPEG-2等の復号処理に関して、特開２００７−１８４８７０号公報、特開２００７−１８４８７１号公報には、符号化モード、量子化パラメータに応じてデブロッキングフィルタの処理を省略する構成が開示されている。また特開２００７−３６４６３号公報には、H.264/AVC の復号装置で使用するデブロッキングフィルタを、MPEG-2の復号装置に利用する構成が開示されている。
【００１２】
ところで図２３に示すように、復号装置１の出力段にブロックノイズ低減装置２１を設け、ビデオ信号ＳＶの画質の劣化を有効に回避してブロックノイズを抑圧するためには、ブロックノイズによる階調差のみを選択的に抑圧することが必要である。そのためにはベースバンドのビデオ信号からブロックノイズ成分のみ確実に検出することが必要であり、全体構成が複雑になる問題がある。
【００１３】
この問題を解決する１つの方法として特開２００７−３６４６３号公報に開示の手法を適用することが考えられる。特に、近年、MPEG-2のビットストリームとH.264/AVC のビットストリームとの双方に対応可能に構成された復号装置も予測され、H.264/AVC の復号装置で使用するデブロッキングフィルタをMPEG-2の復号装置に利用することができれば、双方の方式に対応可能に復号装置を構成する場合に、構成を一段と簡略化することができると考えられる。
【００１４】
しかしながらMPEG-2では、H.264/AVC で規定されていない種々の処理が存在する等の理由により、特開２００７−３６４６３号公報に開示の手法にあっては、実用上未だ不十分な問題がある。
【特許文献１】特開２００７−１８４８７０号公報
【特許文献２】特開２００７−１８４８７１号公報
【特許文献３】特開２００７−３６４６３号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明は以上の点を考慮してなされたもので、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体を提案しようとするものである。
【課題を解決するための手段】
【００１６】
上記の課題を解決するため請求項１の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理装置に適用して、前記ビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記画像処理装置は、前記予測誤差を復号する逆直交変換部と、前記予測値を生成する予測値生成部と、前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、前記制御部は、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００１７】
また請求項５の発明は、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理装置に適用して、予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成部と、前記予測値に基づいて前記画像データの予測誤差を生成する減算部と、前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換部と、前記直交変換部の出力データを処理して前記ビットストリームを生成するデータ処理部と、前記直交変換部の出力データから前記画像データを復号する復号部と、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号部で復号された画像データのブロックノイズを除去するデブロッキングフィルタと、前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、前記制御部は、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００１８】
また請求項６の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理装置に適用して、前記第１のビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記第２のビットストリームは、フレーム単位でピクチャータイプが設定されて生成され、前記画像処理装置は前記予測誤差を復号する逆直交変換部と、前記予測値を生成する予測値生成部と、前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、前記制御部は、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００１９】
また請求項７の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法に適用して、前記ビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記画像処理方法は、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００２０】
また請求項８の発明は、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法において、予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００２１】
また請求項９の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法において、前記第１のビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記第２のビットストリームは、フレーム単位でピクチャータイプが設定されて生成され、前記画像処理方法は、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００２２】
また請求項１０の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムに適用して、前記ビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記画像処理方法のプログラムは、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００２３】
また請求項１１の発明は、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムに適用して、予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００２４】
また請求項１２の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムにおいて、前記第１のビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記第２のビットストリームは、フレーム単位でピクチャータイプが設定されて生成され、前記画像処理方法のプログラムは、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００２５】
また請求項１３の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムを記録した記録媒体に適用して、前記ビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記画像処理方法のプログラムは、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００２６】
また請求項１４の発明は、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムを記録した記録媒体に適用して、前記画像処理方法のプログラムは、予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００２７】
また請求項１５の発明は、予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムを記録した記録媒体に適用して、前記第１のビットストリームは、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、前記第２のビットストリームは、フレーム単位でピクチャータイプが設定されて生成され、前記画像処理方法のプログラムは、前記予測誤差を復号する逆直交変換のステップと、前記予測値を生成する予測値生成のステップと、前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、前記制御のステップは、隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する。
【００２８】
請求項１、請求項７、請求項１０、請求項１３の構成によれば、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成されるビットストリームから予測誤差を復号して画像データを復号することから、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成されるMPEG-2等のビットストリームから画像データを復号することができる。また位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するデブロッキングフィルタを用いてブロックノイズを除去することから、位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するH.264/AVC 等のデブロッキングフィルタを使用して、復号した画像データからブロックノイズが除去される。従って従来に比して簡易な構成で、動的にフィルタリング処理の強度を切り換えてブロックノイズを除去することができ、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。また隣接する直交変換処理単位とで予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように境界強度判定情報を設定することにより、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成されるビットストリームに固有の予測モードに適切に対応してフィルタリング強度を制御することができ、一段と画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
【００２９】
また請求項５、請求項８、請求項１１、請求項１４の構成によれば、フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理してビットストリームを生成することから、フレーム構造及びフィールド構造からピクチャータイプの設定を選択するMPEG-2等により画像データを符号化処理することができる。また位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するデブロッキングフィルタを用いてブロックノイズを除去することから、位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するH.264/AVC 等のデブロッキングフィルタを使用して、復号した画像データからブロックノイズが除去される。従って従来に比して簡易な構成で、動的にフィルタリング強度を切り換えてブロックノイズを除去することができ、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。また隣接する直交変換処理単位とで予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように境界強度判定情報を設定することにより、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成されるビットストリームに固有の予測モードに適切に対応してフィルタリング強度を制御することができ、一段と画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
【００３０】
また請求項６、請求項９、請求項１２、請求項１５の構成によれば、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成される第１のビットストリームと、フレーム単位でピクチャータイプが設定されて生成される第２のビットストリームとを選択的に処理して画像データを復号することから、フレーム構造及びフィールド構造からピクチャータイプの設定を選択するMPEG-2等による第１のビットストリーム、及びフレーム単位でピクチャータイプが設定されて生成されるH.264/AVC 等の第２のビットストリームの双方から画像データを復号することができる。また位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するデブロッキングフィルタを用いて第１及び第２のビットストリームから復号された画像データのブロックノイズを除去することから、位置情報、境界強度判定情報、量子化パラメータに基づいてフィルタリング処理するH.264/AVC 等のデブロッキングフィルタを使用して、これら復号した画像データからブロックノイズが除去される。従って従来に比して簡易な構成で、動的にフィルタリング強度を切り換えてブロックノイズを除去することができ、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。また隣接する直交変換処理単位とで予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように境界強度判定情報を設定することにより、フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成される第１のビットストリームに固有の予測モードに適切に対応してフィルタリング強度を制御することができ、一段と画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
【発明の効果】
【００３１】
本発明によれば、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
【発明を実施するための最良の形態】
【００３２】
以下、適宜図面を参照しながら本発明の実施例を詳述する。
【実施例１】
【００３３】
（１）実施例の構成
図２は、本発明の実施例１の復号装置を示すブロック図である。この復号装置３１は、MPEG-2のビットストリームＳ１とH.264/AVC のビットストリームＳ２とを復号可能な復号装置である。復号装置３１は、図示しないコントローラにより復号処理するビットストリームＳ１、Ｓ２に応じて各部の動作を切り換え、MPEG-2のビットストリームＳ１又はH.264/AVC のビットストリームＳ２を復号する。
【００３４】
この復号装置３１において、エントロピー復号部３２は、コントローラの制御により動作を切り換え、ビットストリームＳ１又はＳ２をエントロピー復号処理する。動き予測部３３は、このエントロピー復号部３２の出力データから動きベクトルＭＶ、参照フレームを特定する情報等を検出して出力する。動き補償部３４は、この動き予測部３３で検出された動きベクトルＭＶ等を使用してフレームメモリ（ＦＭ）３５に保持された参照画像データを動き補償し、インター符号化時の予測値を生成する。イントラ予測部３６は、加算部３９の出力データからイントラ符号化時の予測値を生成する。
【００３５】
逆量子化部（ＩＱ）３７は、エントロピー復号部３２の出力データを逆量子化処理し、符号化時に生成したＤＣＴ係数を復号する。逆ＤＣＴ変換部３８は、この逆量子化部３７の出力データを逆ディスクリートコサイン変換処理し、符号化時に生成した予測誤差を復号する。加算部３９は、動き補償部３４から出力される予測値又はイントラ予測部３６から出力される予測値をこの予測誤差に加算して画像データを復号する。
【００３６】
デブロッキングフィルタ４０は、H.264/AVC の復号装置に使用されるデブロッキングフィルタモジュールにより構成され、例えば垂直方向及び水平方向にフィルタリング処理をそれぞれ実行する４タップのＦＩＲ（Finite Impulse Response ）フィルタの直列回路で構成される。デブロッキングフィルタ４０は、加算部３９の出力データからブロックノイズを除去して出力する。復号装置３１は、このデブロッキングフィルタ４０の出力データをフレームメモリ３５に格納して一時保持し、ピクチャーを並べ直してビデオ信号ＳＶを出力する。またこのフレームメモリ３５に格納した画像データを参照画像データとして動き補償部３４に出力する。
【００３７】
（１−１）H.264/AVC におけるブロックノイズの低減
ここでデブロッキングフィルタ４０は、H.264/AVC のビットストリームＳ２を復号する場合、H.264/AVC 用のブロックノイズ低減情報生成部４１Ａから出力される位置情報ＤＰ、境界強度判定情報ＢＳ（Boundary Strength ）、量子化パラメータＱＰ（Quantization Parameter）に基づいて、フィルタリング処理を動的に切り換えてブロックノイズを除去する。ブロックノイズ低減情報生成部４１Ａは、これら位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰを設定してデブロッキングフィルタの動作を制御する制御部であり、H.264/AVC のビットストリームＳ２に含まれる各種の情報に基づいてこれら位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰを出力する。
【００３８】
ここで図３に示すように、デブロッキングフィルタ４０は、ＤＣＴブロック境界を間に挟んで、垂直方向及び水平方向のラスタ走査開始端側に隣接するＤＣＴブロックとの間で画像データをフィルタリング処理してブロックノイズを低減する。なおここでＱは、処理対象のＤＣＴブロックであり、Ｐは水平方向及び垂直方向のラスタ走査開始端側に隣接するＤＣＴブロックである（図１０参照）。またp3〜p0、q0〜q3は、フィルタリング処理前の各画素の画素値であり、p'3 〜p'0 、q'0 〜q'3 は、フィルタリング処理後の対応する画素の画素値である。
【００３９】
従ってブロックノイズを除去するＤＣＴブロックが画面の最上段及び最も左端である場合、隣接ブロックＰがそもそも垂直方向及び水平方向には存在しないことになる。従ってデブロッキングフィルタ４０は、ブロックノイズを除去するＤＣＴブロックＱが画面の最上段及び最も左端である場合、それぞれ垂直方向及び水平方向へのブロックノイズ低減処理を中止する。
【００４０】
位置情報ＤＰは、この処理対象ＤＣＴブロックＱの位置を特定することを目的に、処理対象ＤＣＴブロックＱが属するマクロブロックの位置を特定する情報であり、ブロックノイズ低減情報生成部４１Ａは、H.264/AVC のビットストリームＳ２に設けられたスライスヘッダ等からこの位置情報ＤＰを生成して出力する。
【００４１】
境界強度判定情報ＢＳは、ＤＣＴブロックの境界に対するフィルタリング強度を設定するための情報であり、H.264/AVC では、図４に示すように定義される。境界強度判定情報ＢＳは、図３について上述した画素値p0及びq0の画素の何れか一方がイントラ符号化されるマクロブロックに属し、かつ当該画素がマクロブロック境界に位置する場合、最も強度の強いフィルタリング処理を指示する値４に設定される。
【００４２】
また境界強度判定情報ＢＳは、画素値p0及びq0の画素の何れか一方がイントラ符号化されるマクロブロックに属し、かつ当該画素がマクロブロック境界に位置しない場合、値４の場合の次に強度の強いフィルタリング処理を指示する値３に設定される。
【００４３】
また境界強度判定情報ＢＳは、画素値p0及びq0の画素の双方がイントラ符号化されるマクロブロックに属するものでは無く、かついずれか一方の画素が直交変換係数（ＤＣＴ係数）を持つ場合、値３の場合の次に強度の強いフィルタリング処理を指示する値２に設定される。
【００４４】
また境界強度判定情報ＢＳは、画素値p0及びq0の画素の双方がイントラ符号化されるマクロブロックに属するものでは無く、かついずれの画素も直交変換係数を持たないという条件を満たす場合に、当該画素で参照フレーム又は参照フレームの枚数が異なるか、又は当該画素で動きベクトルが異なる場合に、値２の場合の次に強度の強いフィルタリング処理を指示する値１に設定される。
【００４５】
また境界強度判定情報ＢＳは、画素値p0及びq0の画素の双方がイントラ符号化されるマクロブロックに属するものでは無く、かついずれの画素も直交変換係数を持たず、参照フレーム及び動きベクトルが同一の場合に、フィルタリング処理を行わないことを指示する値０に設定される。
【００４６】
従って境界強度判定情報ＢＳは、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置に応じて設定される。より具体的に、境界強度判定情報ＢＳは、インター符号化の場合に比してイントラ符号化でフィルタリング強度が強くなるように設定される。またＤＣＴブロック境界がマクロブロック境界でない場合に比してＤＣＴブロック境界がマクロブロック境界である場合、フィルタリング強度が強くなるように設定される。
【００４７】
ブロックノイズ低減情報生成部４１Ａは、H.264/AVC のビットストリームＳ２に設定されたＤＣＴブロックの位置情報、参照フレームを特定する情報、動きベクトルの情報等に基づいて境界強度判定情報ＢＳを生成する。またブロックノイズ低減情報生成部４１Ａは、各マクロブロックに設定されたヘッダから量子化パラメータＱＰを検出する。
【００４８】
デブロッキングフィルタ４０は、上述したように水平方向及び垂直方向のラスタ走査開始端側に隣接ＤＣＴブロックが存在する場合にあって、次式の関係式が成立する場合にのみ、フィルタリングの処理を実行する。
【００４９】
【数１】
2009194617.tif 000003
【００５０】
但し、しきい値α及びβは、図５に示すようにindex Ａ及びindex Ｂに応じて定義される。またindex Ａ及びindex Ｂは、次式により示すように量子化スケールＱＰに応じて定義される。なおqPp は、隣接ＤＣＴブロックＰの量子化パラメータＱＰであり、qPq は、処理対象のＤＣＴブロックの量子化パラメータＱＰである。またClip3(a,b,c)は、ｃがａ≦ｃ≦ｂとなるようにａ又はｂでクリップする処理である。なおFilter Offset Ａ及びFilter Offset Ｂは、ユーザーにより設定されるフィルタリング処理の強度を可変するパラメータである。
【００５１】
【数２】
2009194617.tif 000004
【００５２】
またデブロッキングフィルタ４０は、フィルタリング処理する場合であって、境界強度判定情報ＢＳが値４より小さい場合、次式の演算処理により、ブロック境界に隣接する各画素の画素値p'0 及びq'0 を生成する。
【００５３】
【数３】
2009194617.tif 000005
【００５４】
但し、Clip1 （ａ）は、ａをクリップする処理である。またtcは、chroma Edge Flagが「０」の場合、（４）式により、chroma Edge Flagが「０」で無い場合、（５）式により求められる。
【００５５】
【数４】
2009194617.tif 000006
【００５６】
【数５】
2009194617.tif 000007
【００５７】
なお「（）？１：０」は、（）内の条件を満たす場合は値１、（）内の条件を満たさない場合は値０である。またtc0 は、図６に示すように、境界強度判定情報ＢＳ及びindex
Ａに応じて求められる。またap，aqは、次式により求められる。
【００５８】
【数６】
2009194617.tif 000008
【００５９】
またこれら画素値p0及びq0の画素に隣接する画素値p1及びq1の画素は、chroma Edge Flagが値０で、かつapがβ以下である場合、次式の演算処理により画素値p'1 及びq'1 が求められる。
【００６０】
【数７】
2009194617.tif 000009
【００６１】
またchroma Edge Flagが値０以外である場合、又はapがβ以下で無い場合、次式の演算処理により画素値p'1 及びq'1 が求められる。
【００６２】
【数８】
2009194617.tif 000010
【００６３】
なお残る画素値p2、p3、q2、q3の画素にあっては、フィルタリング処理の前後で画素値は変化しない。従ってp'2 ＝p2、p'3 ＝p3、q'2 ＝q2、q'3 ＝q3である。
【００６４】
これに対して境界強度判定情報ＢＳが値４の場合、デブロッキングフィルタ４０は、（９）式の関係式が成立する場合、（１０）式の演算処理により、隣接ブロックＰの画素値p'0 、p'1 、p'2 を求める。
【００６５】
【数９】
2009194617.tif 000011
【００６６】
【数１０】
2009194617.tif 000012
【００６７】
また境界強度判定情報ＢＳが値４の場合であって、（９）式の関係式が成立しない場合、次式の演算処理により、隣接ブロックＰの画素値p'0 、p'1 、p'2 を求める。
【００６８】
【数１１】
2009194617.tif 000013
【００６９】
また境界強度判定情報ＢＳが値４の場合であって、フラグchroma Edge Flagが値０であり、かつ（１２）式の関係式が成立する場合、（１３）式の演算処理により処理対象ブロックＱの画素値q'0 、q'1 、q'2 を求める。
【００７０】
【数１２】
2009194617.tif 000014
【００７１】
【数１３】
2009194617.tif 000015
【００７２】
また境界強度判定情報ＢＳが値４の場合であって、フラグchroma Edge Flagが値０で無い場合、又は（１２）式の関係式が成立しない場合、次式の演算処理により処理対象ブロックＱの画素値q'0 、q'1 、q'2 を求める。
【００７３】
【数１４】
2009194617.tif 000016
【００７４】
デブロッキングフィルタ４０は、これら（１）〜（１４）式の演算処理を垂直方向及び水平方向に実行して垂直方向及び水平方向のブロックノイズをそれぞれ除去する。
【００７５】
（１−２）MPEG-2におけるブロックノイズの低減
この復号装置３１は（図２）、H.264/AVC 用のブロックノイズ低減情報生成部４１Ａに対応して、MPEG-2用のブロックノイズ低減情報生成部４１Ｂが設けられる。ここでこのMPEG-2用のブロックノイズ低減情報生成部４１Ｂは、MPEG-2のビットストリームＳ１を復号する場合、ブロックノイズ低減情報生成部４１Ａから出力される位置情報ＤＰ、量子化スケールＱＰ、境界強度判定情報ＢＳにそれぞれ対応する位置情報ＤＰＭ、量子化スケールＱＰＭ、境界強度判定情報ＢＳＭを生成する。
【００７６】
復号装置３１において、デブロッキングフィルタ４０は、MPEG-2のビットストリームＳ１を復号する場合、H.264/AVC 用のブロックノイズ低減情報生成部４１Ａから出力される位置情報ＤＰ、量子化スケールＱＰ、境界強度判定情報ＢＳに代えて、このMPEG-2用のブロックノイズ低減情報生成部４１Ｂで生成される位置情報ＤＰＭ、量子化スケールＱＰＭ、境界強度判定情報ＢＳＭに基づいてブロックノイズを除去する。
【００７７】
なおブロックノイズ低減情報生成部４１Ａ及び４１Ｂは、演算処理部におけるプログラムの実行により構成されるものの、ハードウエアにより構成してもよい。またこのプログラムは、この実施例では復号装置３１に事前にインストールされて提供されるものの、これに代えて各種の通信手段を介したダウンロードにより提供してもよく、光ディスク、磁気ディスク、メモリカード等の各種記録媒体に記録して提供してもよい。
【００７８】
ここでブロックノイズ低減情報生成部４１Ｂは、MPEG-2のシーケンス層、ピクチャー層等に設けられたパラメータから、ピクチャー構成及びマクロブロックの位置関係情報を検出する。ここでマクロブロックの位置関係情報は、１画面内における先頭マクロブロックからの位置情報、復号した１画面における水平方向及び垂直方向のマクロブロック数に基づいて検出される。
【００７９】
ここで図７は、動画像の１画面とマクロブロックＭＢとの関係を示す図である。なおこの図７のマクロブロックＭＢは輝度データのマクロブロックである。ここでブロックノイズが発生する箇所は、マクロブロック間の境界又はＤＣＴブロック間の境界である。ここでこの１画面を構成する水平方向及び垂直方向のマクロブロック数は、１画面を構成する画素数が変化すると変化する。従ってこれらの境界のうちマクロブロックの境界は、１画面を構成する画素数の変化により変化することになる。具体的に、例えば１画面を構成する画素数が少なく、例えば水平方向のマクロブロック数が１０個の場合、１つのピクチャーの先頭から１０番目のマクロブロックまでが、１画面の最上段に位置することになる。従ってこれらの１０個のマクロブロックでは、１つのマクロブロックを構成する４つのＤＣＴブロックのうちの、上側、２つのＤＣＴブロックでは、垂直方向、ラスタ走査開始端側に隣接ブロックが存在しないことになる。
【００８０】
これに対して１画面を構成する画素数が多く、例えば水平方向のマクロブロック数が２０個の場合、１つのピクチャーの先頭から２０番目までのマクロブロックにおいて、上側、２つのＤＣＴブロックで、垂直方向、ラスタ走査開始端側に隣接ブロックが存在しないことになる。従って、デブロッキングフィルタ４０におけるフィルタリング処理は、処理するＤＣＴブロックが存在するマクロブロックの位置を考慮して、適宜、垂直方向及び又は水平方向へのフィルタリング処理を中止することが必要になる。
【００８１】
そこでブロックノイズ低減情報生成部４１Ｂは、検出したピクチャー構成及びマクロブロックの位置関係情報から、ラスタ走査開始端のマクロブロックをTop Left、Top Leftのマクロブロックを除く最上段のマクロブロックをTop 、Top Leftのマクロブロック及び最も下段のマクロブロックを除く左端のマクロブロックをLeft、最も左端であって、かつ最も下段のマクロブロックをBottom Left、最も右端であって、かつ最も下段のマクロブロックをBottom Right、Bottom Left及びBottom Rightのマクロブロックを除く最も下段のマクロブロックをBottom と定義して位置情報ＤＰＭを生成する。ブロックノイズ低減情報生成部４１Ｂは、この位置情報ＤＰＭをデブロッキングフィルタ４０に通知し、フィルタリング処理の不要なＤＣＴブロック境界をデブロッキングフィルタ４０に指示する。
【００８２】
またブロックノイズ低減情報生成部４１Ｂは、MPEG-2のビットストリームＳ１からエッジ判定用の情報を取得する。ここでエッジ判定用の情報は、ブロック境界に位置しているか否か、図８において符号Ａにより示すように、隣接画素との階調差がブロックノイズによるものか否か、符号Ｂにより示すように隣接画素との階調差がＤＣＴブロック内部における輪郭等によるものか否か等の判定するための情報である。なお図８においては、丸印により各画素の画素値を示す。
【００８３】
この実施例は、この隣接画素との階調差がＤＣＴブロック内部における輪郭等によるものか否か等の判定するための情報として、MPEG-2の量子化スケールコードQ SCALE をピクチャー単位、スライス単位及びマクロブロック単位で利用する。
【００８４】
ここでMPEG-2の符号化処理は、量子化スケールコードQ SCALE が大きい場合程、量子化処理における丸め誤差が大きくなる。従ってMPEG-2の符号化処理は、量子化スケールコードQ SCALE が大きい場合程、ブロックノイズが発生し易くなる。従ってブロック境界を間に挟んだ隣接画素間のレベル差は、量子化スケールコードQ SCALE が大きい場合程、ブロックノイズによるものである可能性が高い。その結果、量子化値を利用して、エッジを判定する目安とすることができる。すなわち量子化スケールコードQ SCALE を、H.264/AVC
について上述したindex Ａ及びindex Ｂ等の生成に利用することができる。
【００８５】
しかしながらH.264/AVC とMPEG-2とでは、量子化の特性が異なる。従ってこの実施例において、ブロックノイズ低減情報生成部４１Ｂは、H.264/AVC の量子化の特性に対応するように量子化スケールコードQ SCALE を処理して量子化パラメータＱＰＭを生成する。
【００８６】
ここで図９は、H.264/AVC の量子化パラメータＱＰとMPEG-2の量子化スケールコードQ
SCALE との関係を示す特性曲線図である。H.264/AVC の量子化パラメータＱＰにおけるレンジ０〜３３の量子化パラメータＱＰ’と、MPEG-2の量子化スケールコードQ SCALE との間には、次式の関係式が成立する。
【００８７】
【数１５】
2009194617.tif 000017
【００８８】
ここでＡ（ＱＰ’＝０，……，３３）は、次式で表される。
【００８９】
【数１６】
2009194617.tif 000018
【００９０】
これら（１５）式及び（１６）式から、次式が求められる。
【００９１】
【数１７】
2009194617.tif 000019
【００９２】
従ってブロックノイズ低減情報生成部４１Ｂは、この（１７）式の変換式の逆変換処理を実行し、H.264/AVC の量子化の特性に対応するように量子化スケールコードQ SCALE を処理して量子化パラメータＱＰ’を求める。具体的に、量子化スケールコードQ SCALE が値１００の場合、（１７）式の右辺では、値１００が、値９１．２４４０と値１０３．１０９８の中間の値であることから、値９１．２４４０に対応する値３１が量子化パラメータＱＰ’として求められることになる。なお図９は、この（１７）式の関係を示したものである。
【００９３】
但し、この量子化パラメータＱＰ’は、レンジが０〜３３であるのに対し、H.264/AVC
の量子化パラメータＱＰは、レンジが０〜５１である。そこでブロックノイズ低減情報生成部４１Ｂは、この（１７）式を用いた変換処理により、量子化パラメータＱＰ’を生成した後、任意のオフセット値を加算して量子化パラメータＱＰＭを生成する。またこのオフセット値をユーザーの指示により可変し、デブロッキングフィルタ４０におけるフィルタリング処理の強度をユーザーの指示により可変する。
【００９４】
またブロックノイズ低減情報生成部４１Ｂは、MPEG-2のビットストリームＳ１からmacroblock type 、picture coding type 、picture structure 、動きベクトルの情報等を取得し、この取得した情報から境界強度判定情報ＢＳＭを生成する。なおこの境界強度判定情報ＢＳＭを生成するためにMPEG-2のビットストリームＳ１から取得する情報は、PictureType 及びマクロブロックのモードの情報、動きベクトル及び予測モードの情報、動きベクトルで示される動きベクトル量の情報に大別される。
【００９５】
これらの情報のうちのPictureType 及びマクロブロックのモードの情報は、マクロブロックのpicture coding type 、macroblock type 、picture structure 、dct type、macroblock patternである。ここでマクロブロックのpicture coding type は、Ｉピクチャー、Ｐピクチャー、Ｂピクチャーの判別に利用される。またmacroblock type は、スキップドマクロブロック、イントラ予測によるマクロブロック、インター予測によるマクロブロックの判別に利用される。またpicture structure は、FIELD PICTURE 、FRAME PICTURE の判別に利用される。またdct typeは、FRAME DCT 、 FIELD DCTの判別に利用される。またmacroblock patternは、DCT 係数の有無の判別に利用される。
【００９６】
また動きベクトル及び予測モードの情報は、frame(field) motion type、motion vector count(ベクターの数のカウント）、mv format 、concealment motion vectors、frame
pred frame dct、picture structure 、picture structure 、motion vertical field selectである。ここでframe(field) motion type、motion vector count 、mv format 、concealment motion vectors、frame pred frame dct、picture structure は、MPEG-2の６つの予測モードの判定に利用される。なおここでこの６つの予測モードは、フレーム構造（FRAME MOTION TYPE ）におけるフィールド予測、フレーム予測及びデュアルプライム、フィールド構造（FIELD MOTION TYPE ）におけるフィールド予測、フィールド１６×８予測、デュアルプライムである。またpicture structure は、参照方向の判別、TopField、BottomField 、Frame の判別に利用される。またmotion vertical field selectは、参照フィールドセレクトがTop であるかBottomであるかの判別に利用される。
【００９７】
また動きベクトル量の情報は、macroblock type 、mv format 、picture structure 、motion code 、motion residual 、dmvector、Foword(Back),Horizontal(vertical),Field 、frame motion type 、field motion type 、motion vector count 、motion horizontal forward 、motion vertical forward 、motion vertical field select for、forward hor r size、forward ver r size、backward hor r size 、backward ver r size 、forward f code and backward f codeであり、動きベクトル量の算出、判別に利用される。
【００９８】
図１、図１１〜図１３は、垂直方向に延長するブロック境界に対する境界強度判定情報ＢＳＭの生成処理手順を示すフローチャートである。従ってこの処理手順で生成される境界強度判定情報ＢＳＭは、デブロッキングフィルタ４０において、水平方向のフィルタリング処理に使用される。なおこの図１、図１１〜図１３の処理手順では、図１０において符号Ｃで示すように、処理対象のＤＣＴブロックの属するマクロブロックをＱＭとし、このマクロブロックＱＭの水平方向、ラスタ走査開始端側に隣接するマクロブロックをＰＭとする。またこのマクロブロックＰＭ及びＱＭの設定に対応して処理対象のＤＣＴブロックをＱとし、このＤＣＴブロックＱの左側に隣接するＤＣＴブロックをＰとする。
【００９９】
ブロックノイズ低減情報生成部４１Ｂは、例えばラスタ走査順に画像データを順次選択し、この選択した画像データがＤＣＴブロックの左端側のＤＣＴブロック境界に隣接する画像データの場合、この処理手順を実行して境界強度判定情報ＢＳＭを設定する。
【０１００】
ブロックノイズ低減情報生成部４１Ｂは、この処理手順を開始するとステップＳＰ１からステップＳＰ２に移り（図１１）、マクロブロックＰＭ及びＱＭの何れかが、IntraCodedか否か判断する。ここでIntraCodedの場合、InterCodedの場合に比してブロックノイズが発生し易いことから、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２で肯定結果が得られると、ステップＳＰ２からステップＳＰ３に移る。ここでブロックノイズ低減情報生成部４１Ｂは、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。
【０１０１】
ここでマクロブロック間では量子化係数が異なる可能性があることから、ブロックノイズは、ＤＣＴブロック境界がマクロブロック境界に一致しない場合に比して、ＤＣＴブロック境界がマクロブロック境界に一致する場合に激しくなる可能性が高い。そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３で肯定結果が得られると、ステップＳＰ３からステップＳＰ４に移り、境界強度判定情報ＢＳＭを値４に設定した後、この処理手順を終了する。
【０１０２】
これに対してステップＳＰ３で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３からステップＳＰ５に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、IntraCodedか否か判断し、肯定結果が得られると、ステップＳＰ５からステップＳＰ６に移って境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。これに対してステップＳＰ５で否定結果が得られると、ステップＳＰ５からステップＳＰ７に移って境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。
【０１０３】
これに対してステップＳＰ２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２からステップＳＰ８に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＰＭ及びＱＭのＤＣＴモードが異なるか否か判断する。ここでＤＣＴモードは、MPEG-2で定義されているものの、H.264/AVC では定義されていない。MPEG-2では、フレーム構造においてマクロブロック単位でＤＣＴモードをframeDCTとfieldDCTとで切り換えることができ、フィールド構造ではfieldDCTが適用される。ここでマクロブロックＱＭ及びＰＭでＤＣＴモードが異なる場合、当然のことながら直交変換処理の単位が異なることにより、ブロックノイズが発生し易くなる。そこでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭでＤＣＴモードが異なる場合には、デブロッキングフィルタ４０のフィルタリング強度が強くなるように、境界強度判定情報ＢＳＭを設定する。
【０１０４】
すなわちブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８で肯定結果が得られると、ステップＳＰ８からステップＳＰ９（図１２）に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの動きベクトルの絶対差分値を計算し、この絶対差分値が所定の判定基準値以上か否か判断する。なおこの図１１の例では、この判定基準値を１／２画素精度で６単位（３画素）とする。ここでこの絶対差分値が大きい場合、動きの激しい画像であり、マクロブロックＱＭ及びＰＭの予測値の生成に使用される参照画像データが、遠く離れた関連性の低い画像データであると言え、この場合、ブロックノイズが発生し易くなる。
【０１０５】
そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９で肯定結果が得られると、ステップＳＰ９からステップＳＰ１０に移る。またこのステップＳＰ１０において、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０からステップＳＰ１１に移り、境界強度判定情報ＢＳＭを値４に設定した後、この処理手順を終了する。
【０１０６】
またステップＳＰ１０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０からステップＳＰ１２に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここでＤＣＴ係数を有していない場合、当該マクロブロックは、他のマクロブロックのコピー又は参照ブロックである。そこでステップＳＰ１２で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１２からステップＳＰ１３に移り、境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。またステップＳＰ１２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１２からステップＳＰ１４に移り、境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。
【０１０７】
これに対してステップＳＰ９で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９からステップＳＰ１５に移る。ここでブロックノイズ低減情報生成部４１Ｂは、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１５からステップＳＰ１６に移り、境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。
【０１０８】
またステップＳＰ１５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１５からステップＳＰ１７に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１７からステップＳＰ１８に移り、境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。またステップＳＰ１７で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１７からステップＳＰ１９に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１０９】
これに対してステップＳＰ８で否定結果が得られると（図１１）、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８からステップＳＰ２０に移る（図１３）。ブロックノイズ低減情報生成部４１Ｂは、このステップＳＰ２０において、マクロブロックＱＭ及びＰＭの何れかがＤＣＴ係数を有しているか否か判断する。ここでマクロブロックがＤＣＴ係数を有している場合は、符号化されたＤＣＴブロックが設けられていることから、ブロックノイズの発生確率が高くなる。そこでブロックノイズ低減情報生成部４１Ｂは、このステップＳＰ２０で肯定結果が得られると、ステップＳＰ２０からステップＳＰ２１に移る。
【０１１０】
このステップＳＰ２１において、ブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭがスキップドマクロブロックであるか否か判断する。ここでスキップドマクロブロックは、MPEG-2で定義されているものの、H.264/AVC では定義されていないモードである。スキップドマクロブロックである場合、水平方向の直前マクロブロックをコピーして画像データが復号される方法などが採用されることから、ブロックノイズの発生確率が極めて小さいと言える。そこでブロックノイズ低減情報生成部４１Ｂは、この場合はフィルタリング処理しないように境界強度判定情報ＢＳＭを設定する。すなわちブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２１で肯定結果が得られると、ステップＳＰ２１からステップＳＰ２２に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１１１】
またステップＳＰ２１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２１からステップＳＰ２３に移り、ステップＳＰ９と同様にして動きベクトルの絶対差分値を判定する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２３からステップＳＰ２４に移り、ステップＳＰ１０と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２４からステップＳＰ２５に移り、境界強度判定情報ＢＳＭを値４に設定した後、この処理手順を終了する。
【０１１２】
またステップＳＰ２４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２４からステップＳＰ２６に移り、境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。またステップＳＰ２３で否定結果が得られると、ステップＳＰ２３からステップＳＰ２７に移り、ステップＳＰ２４と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２７からステップＳＰ２８に移り、境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。またステップＳＰ２７で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２７からステップＳＰ２９に移り、境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。
【０１１３】
これに対してステップＳＰ２０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ２０からステップＳＰ３０（図１）に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの予測モードが異なるか否か判断する。なおこのステップＳＰ３０では、動きベクトル及び予測モードの情報について上述した６つの予測モードについて、予測モードが一致するか否か判断する。
【０１１４】
ここでこれら６つの予測モードは、MPEG-2では定義されているものの、H.264/AVC では定義されていない。マクロブロックＱＭ及びＰＭで予測モードが異なる場合、参照する参照画像データの関連性が低くなることからブロックノイズの発生確率が高くなる。そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３０で肯定結果が得られると、境界強度判定情報ＢＳＭを値２又は値０に設定するのに対し、ステップＳＰ３０で否定結果が得られると、境界強度判定情報ＢＳＭを値１又は値０に設定する。
【０１１５】
すなわちブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３０で肯定結果が得られると、ステップＳＰ３０からステップＳＰ３１に移り、ステップＳＰ２４と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３１からステップＳＰ３２に移り、境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。またステップＳＰ３１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３１からステップＳＰ３３に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１１６】
これに対してステップＳＰ３０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３０からステップＳＰ３４に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭで予測方向が異なるか否か判断する。ここで予測方向が異なる場合、参照する参照画像データの関連性が２つのマクロブロックＰＭ及びＱＭで低くなることからブロックノイズの発生確率が高まることになる。
【０１１７】
そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３４で肯定結果が得られると、ステップＳＰ３４からステップＳＰ３５に移り、ステップＳＰ３１と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３５からステップＳＰ３６に移り、境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。またステップＳＰ３５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３５からステップＳＰ３７に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１１８】
またステップＳＰ３４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３４からステップＳＰ３９に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの動きベクトルの絶対差分値を計算し、この絶対差分値が所定の判定基準値以上か否か判断する。なおこのステップＳＰ３９における判定基準値は、ステップＳＰ９、ステップＳＰ２３における判定基準値に比して小さな値に設定される。より具体的に、この図１の例では、この判定基準値を１／２画素精度で２単位（１画素）とする。
【０１１９】
このステップＳＰ３９で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３９からステップＳＰ４０に移り、ステップＳＰ３５と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ４０からステップＳＰ４１に移り、境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。またステップＳＰ４０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ４０からステップＳＰ４２に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ３９で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３９からステップＳＰ４３に移り、境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１２０】
従ってデブロッキングフィルタ４０は、水平方向に対しては、８画素×８画素のブロック単位でフィルタリング処理する動作モードである８×８モードにより、画像データをフィルタリング処理してブロックノイズを低減する。
【０１２１】
図１４〜図１７は、水平方向に延長するブロック境界に対する境界強度判定情報ＢＳＭの生成処理手順を示すフローチャートである。従ってこの処理手順で生成される境界強度判定情報ＢＳＭは、デブロッキングフィルタ４０において、垂直方向のフィルタリング処理に使用される。なおこの図１４〜図１７の処理手順では、図１０において符号Ｄで示すように、処理対象のＤＣＴブロックの属するマクロブロックＱＭに対して、垂直方向、ラスタ走査開始端側に隣接するマクロブロックをＰＭとする。またこのマクロブロックＰＭ及びＱＭの設定に対応して処理対象のＤＣＴブロックをＱとし、ＤＣＴブロックＱの上側に隣接する隣接ＤＣＴブロックをＰとする。
【０１２２】
ここでMPEG-2では、H.264/AVC では定義されてないフィールド構造が定義されている。このフィールド構造では、１フィールドが１つのピクチャーに設定されて、フィールドを単位にして予測値が生成され、またフィールドＤＣＴにより符号化処理される。またMPEG-2では、このフィールド構造に対してフレーム構造が定義されており、フレーム構造では、フィールド又はフレームを単位にして予測値が生成され、またフィールドＤＣＴ又はフレームＤＣＴにより符号化処理される。なお図１８では、ハッチングによりフィールドの異同を示す。
【０１２３】
ここで図１８（Ａ）により示すように、MPEG-2では、フレーム構造によりフレームＤＣＴで符号化処理した場合、符号Ｆで示すＤＣＴブロックの境界でブロックノイズが発生する。しかしながらフィールドＤＣＴで符号化処理した場合、符号Ｅで示すように、フィールドＤＣＴ構造をフレームＤＣＴ構造で表現した場合に、ＤＣＴブロックの境界間における垂直方向の中央のライン間を間に挟んだ上下で、直交変換処理の相違によりブロックノイズが発生する場合がある。
【０１２４】
そこでこの実施例では、垂直方向については、フィールドＤＣＴ構造をフレームＤＣＴ構造に直した後に、４画素×４画素のブロック単位でフィルタリング処理を実行する４×４モードによりデブロッキングフィルタ４０を動作させて、この中央のライン間についてもブロックノイズを抑圧する。そのためブロックノイズ低減情報生成部４１Ｂは、このライン間についても、境界強度判定情報ＢＳＭを設定する。なお図１４〜図１７において、単にＢＳＭ値のみ記載しているステップは、ＤＣＴブロック境界に対する境界強度判定情報ＢＳＭの値を示すものであり、ＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭについては、フィルタリング処理しない場合を指示する値０に設定される。またこの２箇所に対する境界強度判定情報ＢＳＭの設定を「ＡＬＬ」により示す。またＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭは、適宜、「その他」で示す。
【０１２５】
ブロックノイズ低減情報生成部４１Ｂは、例えばラスタ走査順に画像データを順次選択し、この選択した画像データがＤＣＴブロックの上端側のＤＣＴブロック境界に隣接する画像データの場合、この処理手順を実行して垂直方向の境界強度判定情報ＢＳＭを設定する。
【０１２６】
ブロックノイズ低減情報生成部４１Ｂは、この処理手順を開始するとステップＳＰ５１からステップＳＰ５２に移り（図１４）、マクロブロックＰＭ及びＱＭの何れかが、IntraCodedか否か判断する。ここでIntraCodedの場合、InterCodedの場合に比してブロックノイズが発生し易いことから、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５２で肯定結果が得られると、ステップＳＰ５２からステップＳＰ５３に移る。ここでブロックノイズ低減情報生成部４１Ｂは、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。
【０１２７】
ここでブロックノイズは、ＤＣＴブロック境界がマクロブロック境界に一致しない場合に比して、ＤＣＴブロック境界がマクロブロック境界に一致する場合に激しくなる可能性が高い。そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５３で肯定結果が得られると、ステップＳＰ５３からステップＳＰ５４に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値４に設定すると共に、ＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１２８】
これに対してステップＳＰ５３で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５３からステップＳＰ５５に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、IntraCodedか否か判断し、肯定結果が得られると、ステップＳＰ５５からステップＳＰ５６に移る。
【０１２９】
ブロックノイズ低減情報生成部４１Ｂは、このステップＳＰ５６において、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、フィールドＤＣＴ構造か否か判断する。このステップＳＰ５６で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５６からステップＳＰ５７に移り、処理対象ＤＣＴブロックＱのブロック境界、当該ＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。
【０１３０】
またブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５６で否定結果が得られると、ステップＳＰ５６からステップＳＰ５８に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１３１】
またステップＳＰ５５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５５からステップＳＰ５９に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、フィールドＤＣＴ構造か否か判断する。このステップＳＰ５９で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５９からステップＳＰ６０に移り、処理対象ＤＣＴブロックＱのブロック境界及び当該ＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。
【０１３２】
またブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５９で否定結果が得られると、ステップＳＰ５９からステップＳＰ６１に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値２に設定すると共に、このＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１３３】
これに対してステップＳＰ５２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ５２からステップＳＰ６２に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＰＭ及びＱＭのＤＣＴモードが異なるか否か判断する。ここでマクロブロックＱＭ及びＰＭでＤＣＴモードが異なる場合、ブロックノイズが発生し易くなることから、ブロックノイズ低減情報生成部４１Ｂは、デブロッキングフィルタ４０のフィルタリング強度が強くなるように、境界強度判定情報ＢＳＭを設定する。
【０１３４】
すなわちブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６２で肯定結果が得られると、ステップＳＰ６２からステップＳＰ６３（図１５）に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの動きベクトルの絶対差分値を計算し、この絶対差分値が所定の判定基準値以上か否か判断する。なおこの図１５の例では、この判定基準値を１／２画素精度で６単位（３画素）とする。
【０１３５】
そこでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６３で肯定結果が得られると、ステップＳＰ６３からステップＳＰ６４に移る。またこのステップＳＰ６４において、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６４からステップＳＰ６５に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値４に設定すると共に、このＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１３６】
またステップＳＰ６４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６４からステップＳＰ６６に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６６からステップＳＰ６７に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、フィールドＤＣＴ構造か否か判断する。このステップＳＰ６７で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６８に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。
【０１３７】
またステップＳＰ６７で否定結果が得られると、ステップＳＰ６７からステップＳＰ６９に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ６６で否定結果が得られると、ステップＳＰ６６からステップＳＰ７０に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１３８】
またステップＳＰ６３で否定結果が得られると、ステップＳＰ６３からステップＳＰ７１に移り、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７１からステップＳＰ７２に移り、処理対象ＤＣＴブロックＱのブロック境界に対する境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対する境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１３９】
またステップＳＰ７１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７１からステップＳＰ７３に移り、処理対象ＤＣＴブロックＱの属するマクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７３からステップＳＰ７４に移る。ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱが、フィールドＤＣＴ構造か否か判断する。このステップＳＰ７４で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７５に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値２に設定した後、この処理手順を終了する。
【０１４０】
またこのステップＳＰ７４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７６に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値２に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ７３で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７３からステップＳＰ７７に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１４１】
またステップＳＰ６２で否定結果が得られると（図１４）、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ６２からステップＳＰ７８に移る（図１６）。ブロックノイズ低減情報生成部４１Ｂは、このステップＳＰ７８において、マクロブロックＱＭ及びＰＭの何れかがＤＣＴ係数を有しているか否か判断する。ここでステップＳＰ７８で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７８からステップＳＰ７９に移る。
【０１４２】
このステップＳＰ７９において、ブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭがスキップドマクロブロックであるか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７９からステップＳＰ８０に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１４３】
またステップＳＰ７９で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７９からステップＳＰ８１に移り、ステップＳＰ６３と同様にして動きベクトルの絶対差分値を判定する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８１からステップＳＰ８２に移り、ステップＳＰ７１と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８２からステップＳＰ８３に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値４に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１４４】
またステップＳＰ８２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８２からステップＳＰ８４に移り、マクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここでステップＳＰ８４で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８４からステップＳＰ８５に移る。
【０１４５】
ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱがフィールドＤＣＴ構造か否か判断する。このステップＳＰ８５で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８６に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値３に設定した後、この処理手順を終了する。
【０１４６】
またこのステップＳＰ８５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８７に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ８４で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８４からステップＳＰ８８に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１４７】
またステップＳＰ８１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ８１からステップＳＰ９０に移り、ステップＳＰ８２と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９０からステップＳＰ９１に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値３に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１４８】
またステップＳＰ９０で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９０からステップＳＰ９２に移り、マクロブロックＱＭがＤＣＴ係数を有しているか否か判断する。ここでステップＳＰ９２で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９２からステップＳＰ９３に移る。
【０１４９】
ここでブロックノイズ低減情報生成部４１Ｂは、処理対象ＤＣＴブロックＱの属するマクロブロックＭＱがフィールドＤＣＴ構造か否か判断する。このステップＳＰ９３で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９４に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値１に設定した後、この処理手順を終了する。
【０１５０】
またこのステップＳＰ９３で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９５に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値１に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ９２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９２からステップＳＰ９６に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１５１】
これに対してステップＳＰ７８で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ７８からステップＳＰ９７（図１７）に移る。ここでブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ３０と同様に、マクロブロックＱＭ及びＰＭの予測モードが異なるか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９７からステップＳＰ９８に移り、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９８からステップＳＰ９９に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値２に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ９８で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９８からステップＳＰ１００に移り、処理対象ＤＣＴブロックＱのブロック境界及びこのＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１５２】
これに対してステップＳＰ９７で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ９７からステップＳＰ１０１に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭで予測方向が異なるか否か判断する。
【０１５３】
ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０１からステップＳＰ１０２に移り、ステップＳＰ９８と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０２からステップＳＰ１０３に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値１に設定すると共に、このＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。またステップＳＰ１０２で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０２からステップＳＰ１０４に移り、処理対象ＤＣＴブロックＱのブロック境界及びＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１５４】
またステップＳＰ１０１で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０１からステップＳＰ１０５に移る。ここでブロックノイズ低減情報生成部４１Ｂは、マクロブロックＱＭ及びＰＭの動きベクトルの絶対差分値を計算し、この絶対差分値が所定の判定基準値以上か否か判断する。なおこのステップＳＰ１０５における判定基準値は、ステップＳＰ６３、ステップＳＰ８１における判定基準値に比して小さな値に設定される。より具体的に、この図１７の例では、この判定基準値を１／２画素精度で２単位（１画素）とする。
【０１５５】
このステップＳＰ１０５で肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０５からステップＳＰ１０６に移り、ステップＳＰ１０２と同様に、ＤＣＴブロックＰ及びＱの境界がマクロブロック境界に一致するか否か判断する。ここで肯定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０６からステップＳＰ１０７に移り、処理対象ＤＣＴブロックＱのブロック境界に対して境界強度判定情報ＢＳＭを値１に設定すると共に、ＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１５６】
またステップＳＰ１０６で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０６からステップＳＰ１０８に移り、処理対象ＤＣＴブロックＱのブロック境界及びＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１５７】
またステップＳＰ１０５で否定結果が得られると、ブロックノイズ低減情報生成部４１Ｂは、ステップＳＰ１０５からステップＳＰ１０９に移り、処理対象ＤＣＴブロックＱのブロック境界及びＤＣＴブロックＱの中央のライン間に対して境界強度判定情報ＢＳＭを値０に設定した後、この処理手順を終了する。
【０１５８】
従ってMPEG-2でも、境界強度判定情報ＢＳＭは、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置に応じて設定され、さらにMPEG-2でのみ発生する隣接する直交変換処理単位で予測モードが異なる場合等の条件に応じてフィルタリングの強度が変化するように設定される。
【０１５９】
（２）実施例の動作
以上の構成において、この復号装置３１（図２）では、H.264/AVC のビットストリームＳ２を処理する場合、このビットストリームＳ２がエントロピー復号部３２でエントロピー復号処理される。ビットストリームＳ２は、このエントロピー復号部３２の出力データに基づいて、符号化時の処理に対応して、１６画素×１６画素、８画素×１６画素等の予測値生成単位で動き補償部３４及びイントラ予測部３６でそれぞれインター符号化時及びイントラ符号化時の予測値が生成される。またビットストリームＳ２は、逆量子化部３７において、エントロピー復号部３２の出力データが４画素×４画素の直交変換処理単位であるＤＣＴブロック単位で逆直交変換処理された後、逆ディスクリートコサイン変換部３８で順次処理されて予測誤差が復号され、この予測誤差が加算部３９で動き補償部３４、イントラ予測部３６で生成された予測値と加算されて画像データが復号される。
【０１６０】
ビットストリームＳ２は、この復号された画像データのブロックノイズが、続くデブロッキングフィルタ４０で除去された後、フレームメモリ３５を介して出力される。ビットストリームＳ２は、ブロックノイズ低減情報生成部４１Ａにおいて、ビットストリームに設定された各種パラメータからブロックノイズを除去するＤＣＴブロックの位置情報ＤＰが求められる。またブロックノイズ低減情報生成部４１Ａにおいて、同様にして隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置関係等に応じて、フィルタリング強度を指示する境界強度判定情報ＢＳが設定され（図３及び図４）、さらに各マクロブロックにおける量子化パラメータＱＰが検出される。
【０１６１】
ビットストリームＳ２は、これら位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰがデブロッキングフィルタ４０に出力され、デブロッキングフィルタ４０において、これら位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰに基づいて、垂直方向及び水平方向に適応的に強度を可変してフィルタリング処理が実行される（（１）式〜（１４）式、図５、図６）。その結果、ビットストリームＳ２は、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置等に応じてフィルタリングの強度が動的に設定され、画像データの高域成分の劣化を有効に回避してブロックノイズ成分のみが抑圧される。その結果、この復号装置３１では、画質の劣化を有効に回避してブロックノイズを低減することができる。
【０１６２】
これに対してMPEG-2のビットストリームＳ１を処理する場合、復号装置３１では、同様にこのビットストリームＳ１がエントロピー復号部３２でエントロピー復号処理される。ビットストリームＳ１は、このエントロピー復号部３２の出力データに基づいて、符号化時の処理に対応して、１６画素×１６画素の予測値生成単位で動き補償部３４及びイントラ予測部３６でそれぞれインター符号化時及びイントラ符号化時の予測値が生成される。またビットストリームＳ１は、逆量子化部３７において、エントロピー復号部３２の出力データが８画素×８画素のＤＣＴブロック単位で逆直交変換処理された後、逆ディスクリートコサイン変換部３８で順次処理されて予測誤差が復号され、この予測誤差が加算部３９で動き補償部３４、イントラ予測部３６で生成された予測値と加算されて画像データが復号される。
【０１６３】
ビットストリームＳ１は、この復号された画像データのブロックノイズが、続くデブロッキングフィルタ４０で除去された後、フレームメモリ３５を介して出力される。
【０１６４】
しかしながらMPEG-2では、デブロッキングフィルタ４０の使用が予定されていないことにより、H.264/AVC のビットストリームＳ２のように、ビットストリームＳ１中に、デブロッキングフィルタ４０の制御に必要な位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰ等を設定するための情報が含まれていない。従って、直には、デブロッキングフィルタ４０を使用してビットストリームＳ１のブロックノイズを除去することが困難となる。
【０１６５】
そこでこの復号装置３１では、ビットストリームＳ１を処理する場合、ブロックノイズ低減情報生成部４１Ｂにおいて、位置情報ＤＰ、境界強度判定情報ＢＳ、量子化パラメータＱＰに対応する位置情報ＤＰＭ、境界強度判定情報ＢＳＭ、量子化パラメータＱＰＭが設定され、これら位置情報ＤＰＭ、境界強度判定情報ＢＳＭ、量子化パラメータＱＰＭによりデブロッキングフィルタ４０でブロックノイズが除去される。
【０１６６】
より具体的に、ビットストリームＳ１から１画面を構成するマクロブロック数、水平方向及び垂直方向のマクロブロック数が検出され、これらの検出結果から処理対象のＤＣＴブロックが属するマクロブロックの位置が検出される。またこの検出結果に基づいて位置情報ＤＰＭが生成される（図７）。
【０１６７】
またH.264/AVC とMPEG-2とでは、量子化の特性が異なることから、H.264/AVC の量子化の特性に対応するように量子化スケールコードQ SCALE が処理されて量子化パラメータＱＰＭが生成される（（１５）式〜（１７）式、図９）。
【０１６８】
またヘッダ等に設定された各種の情報に基づいて各マクロブロックのピクチャータイプ等が検出され、検出結果に基づいて、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置等に応じて境界強度判定情報ＢＳＭが設定される（図１、図９〜図１７）。
【０１６９】
その結果、この復号装置３１では、H.264/AVC 用のデブロッキングフィルタ４０を使用してMPEG-2の復号結果からブロックノイズを除去することができる。またこの場合も、隣接するＤＣＴブロックとの間のイントラ符号化、インター符号化の異同、予測値の生成単位の境界に対する直交変換処理単位の位置等に応じてフィルタリングの強度を動的に設定してブロックノイズを除去することができ、その結果、画質の劣化を有効に回避してブロックノイズを低減することができる。
【０１７０】
しかしながらMPEG-2では、H.264/AVC では定義されてないフィールド構造が定義されており、このフィールド構造では、フィールド予測、フィールドＤＣＴにより符号化処理される。またMPEG-2では、このフィールド構造に対してフレーム構造が定義されており、フレーム構造では、フィールド予測又はフレーム予測、フィールドＤＣＴ又はフレームＤＣＴにより符号化処理される。
【０１７１】
従ってこれらフィールド構造等を考慮してデブロッキングフィルタ４０を制御すれば、一段と画質劣化を有効に回避してブロックノイズを低減することができる。
【０１７２】
そこでこの復号装置３１では、それぞれ垂直方向及び水平方向のブロック境界に対する境界強度判定情報ＢＳＭを設定する際に、隣接するＤＣＴブロックとの間でＤＣＴモードが一致するか否か判定される（図１１、ステップＳＰ８及び図１４、ステップＳＰ６２）。また隣接するＤＣＴブロックとの間でＤＣＴモードが異なる場合には、直交変換処理の単位が異なることにより、ブロックノイズが発生し易くなる。そこで復号装置３１では、隣接するＤＣＴブロックとの間でＤＣＴモードが異なる場合、ＤＣＴモードが一致する場合に比してフィルタリング強度が強くなるように境界強度判定情報ＢＳＭが設定される。その結果、この復号装置３１では、直交変換処理のモードの相違によるブロックノイズを目立たなくすることができ、MPEG-2に固有のブロックノイズを低減することができる。
【０１７３】
また復号装置３１では、処理対象のＤＣＴブロックが属するマクロブロックが、スキップドマクロブロックであるか否か判定され（図１３、ステップＳＰ２１及び図１６、ステップＳＰ７９）、スキップドマクロブロックである場合、フィルタリング処理しないように境界強度判定情報ＢＳＭが設定される（図１３、ステップＳＰ２２及び図１６、ステップＳＰ８０）。その結果、復号装置３１では、MPEG-2に固有のスキップドマクロブロックでは、不必要に高域を抑圧しないようにし、画質劣化を有効に回避することができる。
【０１７４】
また復号装置３１では、隣接するＤＣＴブロックの属するマクロブロックとの間で、予測モードが一致するか否か判定される（図１、ステップＳＰ３０及び図１７、ステップＳＰ９７）。ここで隣接するＤＣＴブロックとの間で予測モードが異なる場合には、参照する参照画像データの関連性が低くなることからブロックノイズの発生確率が高くなる。そこで復号装置３１では、隣接するＤＣＴブロックの属するマクロブロックとの間で、予測モードが異なる場合、予測モードが一致する場合に比してフィルタリング処理の強度が強くなるように境界強度判定情報ＢＳＭが設定される。その結果、この復号装置３１では、予測モードの相違によるブロックノイズを目立たなくすることができ、MPEG-2に固有のブロックノイズを低減することができる。
【０１７５】
ところでH.264/AVC では、４画素×４画素のブロックを基本として直交変換処理するのに対し、MPEG-2では、８画素×８画素のブロックを基本として直交変換処理する。デブロッキングフィルタ４０におけるフィルタリング処理は、この直交変換処理単位であるＤＣＴブロックの境界に対するフィルタリング処理であることから（図３）、MPEG-2のビットストリームＳ１を処理する場合、デブロッキングフィルタ４０では、水平方向及び垂直方向にそれぞれ８画素単位で出現するＤＣＴブロック境界でフィルタリング処理すればブロックノイズを抑圧できることになる。
【０１７６】
しかしながら垂直方向についてフィールド構造による場合を考察すると、フィールド構造の場合には、最終的に表示されるラスタ表示順に直したフレームＤＣＴ構造で表現した場合に、ＤＣＴブロックの境界間における垂直方向の中央のライン間を間に挟んだ上下で、直交変換処理の相違によりブロックノイズが発生する（図１８）。従ってＤＣＴブロックの境界に加えて、ＤＣＴブロックの境界間における垂直方向の中央ライン間でもブロックノイズが発生することになる。このブロックノイズは、復号されたインターレース方式によるビデオ信号において、画像表示して時間軸方向で観察されるブロックノイズであり、フィールド構造が定義されたMPEG-2に固有のブロックノイズであると言える。
【０１７７】
そこで復号装置３１では、垂直方向に延長するＤＣＴブロック境界に対するフィルタリング処理については、H.264/AVC における８画素×８画素の処理モードである８×８モードでフィルタリング処理し、水平方向に延長するＤＣＴブロック境界に対するフィルタリング処理については、H.264/AVC における４画素×４画素の処理モードである４×４モードでフィルタリング処理し、ＤＣＴブロックの境界間における垂直方向の中央のライン間で発生するブロックノイズについても除去可能にデブロッキングフィルタ４０を動作させる。
【０１７８】
またこのデブロッキングフィルタ４０の設定に対応して、ブロックノイズ低減情報生成部４１Ｂでは、水平方向に延長するＤＣＴブロック境界に対する境界強度判定情報ＢＳＭについては、併せてＤＣＴブロックの境界間における垂直方向の中央のライン間に対しても境界強度判定情報ＢＳＭを設定する。またフィールドＤＣＴ構造か否か判定し（図１５、ステップＳＰ６７及び図１６、ステップＳＰ８５、ステップＳＰ９３）、フィールドＤＣＴ構造の場合には、このライン間でもフィルタリングするように境界強度判定情報ＢＳＭを設定する。
【０１７９】
その結果、復号装置３１では、この場合も、MPEG-2に固有のフィールド構造によるブロックノイズを低減することができ、一段と画質の劣化を有効に回避してMPEG-2に固有のブロックノイズを低減することができる。
【０１８０】
（３）実施例の効果
以上の構成によれば、隣接する予測値生成単位とのイントラ符号化及びインター符号化の異同、及び予測値の生成単位の境界に対する直交変換処理単位の境界に応じて、境界強度判定情報を設定し、隣接する直交変換処理単位で予測モードが異なる場合には、フィルタリング処理の強度が強くなるように境界強度判定情報を設定することにより、従来に比して簡易な構成により画質の劣化を有効に回避して確実にブロックノイズを除去することができる。
【０１８１】
また処理対象の直交変換処理単位が属する予測値生成単位がスキップドマクロブロックである場合、フィルタリング処理しないように、境界強度判定情報を設定することにより、MPEG-2に固有のスキップドマクロブロックでは、不必要に高域を抑圧しないようにし、画質劣化を有効に回避することができる。
【０１８２】
また隣接する直交変換処理単位とで直交変換処理のモードが異なる場合、モードが同一の場合に比してフィルタリング強度が強くなるように、境界強度判定情報を設定することにより、直交変換処理のモードの相違によるブロックノイズを目立たなくすることができ、MPEG-2に固有のブロックノイズを低減することができる。
【０１８３】
またデブロッキングフィルタにおける垂直方向及び水平方向のフィルタリング処理用にそれぞれ境界強度判定情報を出力し、垂直方向のフィルタリング処理については、フィールドＤＣＴ構造を、最終的に表示されるラスタ表示順に直したフレームＤＣＴ構造で表現した場合のＤＣＴブロック境界間のライン間に対しても実行できるようにし、ビットストリームがフィールド構造である場合、直交変換処理単位の境界と、境界間のライン間とでフィルタリング処理するように境界強度判定情報を設定することにより、MPEG-2に固有のフィールド構造によるブロックノイズを低減することができ、一段と画質の劣化を有効に回避してMPEG-2に固有のブロックノイズを低減することができる。
【実施例２】
【０１８４】
なお上述の実施例においては、フィールド構造において、ＤＣＴブロック境界間のライン間に対してもフィルタリング処理する場合について述べたが、本発明はこれに限らず、ＤＣＴタイプ（dct type）の差異を考慮して、より細かくフィルタリング処理を実行するようにしてもよい。すなわち図１９に示すように、フィールド構造の場合、処理対象のＤＣＴブロックノイズＱと、隣接するＤＣＴブロックノイズＰとが同一のマクロブロックに存在する場合であっても、これら２つのＤＣＴブロックノイズが時間的に異なるTop Field 及びBottom Fieldから作成されたブロックである場合が発生する。この場合、この２つのＤＣＴブロックノイズＰ及びＱＨは、関連性、相似性が低くなって、これらＤＣＴブロック間でブロックノイズの発生が予測される。ここでこの場合、ブロックノイズは、２ライン毎に発生することになる。そこでこの２ライン毎のライン間（破線により示す）についてもデブロッキングフィルタ４０を機能させるように構成すると共に、ＤＣＴタイプに応じて境界強度判定情報を設定することにより、MPEG-2に固有のブロックノイズを一段と確実に低減することができる。
【実施例３】
【０１８５】
図２０は、本発明の実施例３の符号化装置を示すブロック図である。この符号化装置５１は、MPEG-2のビットストリームＳ１とH.264/AVC のビットストリームＳ２とを生成可能な符号化装置である。符号化装置５１は、図示しないコントローラにより生成するビットストリームＳ１、Ｓ２に応じて各部の動作を切り換え、MPEG-2のビットストリームＳ１又はH.264/AVC のビットストリームＳ２を生成する。なおこの図２０において、図２の復号装置３１と同一の構成は、対応する符号を付して示し、重複した説明は省略する。
【０１８６】
すなわちこの符号化装置５１において、画面並べ替えバッファ５２は、ピクチャータイプに応じて画像データＤ１を並べ替えて出力する。動き補償部５３及びイントラ予測部５４は、それぞれインター符号化及びイントラ符号化の予測値を生成して出力する。減算部６８は、画面並べ替えバッファ５２の出力データから動き補償部５３から出力される予測値又はイントラ予測部５４から出力される予測値を減算し、予測誤差を出力する。
【０１８７】
直交変換部５６は、減算部６８から出力される予測誤差を直交変換処理し、量子化部５７は、直交変換部５６の出力データを量子化して出力する。エントロピー符号化部５８は、量子化部５７の出力データをエントロピー符号化し、バッファ５９は、このエントロピー符号化部５８に動きベクトルの情報等を付加してビットストリームＳ１、Ｓ２を出力する。
【０１８８】
逆量子化部６０は、量子化部５７の出力データを逆量子化処理し、逆直交変換部６１は、量子化部５７の出力データを逆直交変換処理して予測誤差値を復号する。加算部６２は、この逆直交変換部６１で復号された予測誤差に予測値を加算して画像データＤ１を復号する。符号化装置５１は、この加算部６２で復号された画像データのブロックノイズをデブロッキングフィルタ４０で除去した後、フレームメモリ６４に参照画像データとして格納する。
【０１８９】
この符号化装置５１は、ブロックノイズ低減情報生成部４１Ａ、４１Ｂでそれぞれ位置情報ＤＰ、ＤＰＭ、境界強度判定情報ＢＳ、ＢＳＭ、量子化パラメータＱＰ、ＱＰＭを設定し、これら位置情報ＤＰ、ＤＰＭ、境界強度判定情報ＢＳ、ＢＳＭ、量子化パラメータＱＰ、ＱＰＭをデブロッキングフィルタ４０に出力する。なおブロックノイズ低減情報生成部４１Ａ、４１Ｂでは、復号装置３１と同様に、ビットストリームＳ１、Ｓ２からこれらの位置情報ＤＰ、ＤＰＭ、境界強度判定情報ＢＳ、ＢＳＭ、量子化パラメータＱＰ、ＱＰＭを設定してもよく、直交変換部５６等から生成に必要な情報を取得して生成してもよい。またこれらMPEG-2用に生成した位置情報ＤＰＭ、境界強度判定情報ＢＳＭ、量子化パラメータＱＰＭをビットストリームＳ１により復号装置に伝送するようにしてもよい。
【０１９０】
この実施例によれば、符号化装置に適用して実施例１と同様の効果を得ることができる。
【実施例４】
【０１９１】
なお上述の実施例においては、H.264/AVC 及びMPEG-2の双方に対応可能な復号装置及び符号化装置に本発明を適用する場合について述べたが、本発明はこれに限らず、MPEG-2のみに対応可能な復号装置及び符号化装置、さらにはMPEG-2と、H.264/AVC 以外の他の方式との双方に対応可能な復号装置及び符号化装置等にも広く適用することができる。
【０１９２】
また上述の実施例においては、H.264/AVC 用のデブロッキングフィルタを用いてMPEG-2のビットストリームを処理する場合等について述べたが、本発明はこれに限らず、H.264/AVC と同種の符号化方法に適用されるデブロッキングフィルタを用いて、MPEG-2と同種の符号化方法によるビットストリームを処理する場合にも広く適用することができる。
【産業上の利用可能性】
【０１９３】
本発明は、例えばMPEG-2及びMPEG-4 Part10 AVC のビットストリームを復号可能な復号装置に適用することができる。
【図面の簡単な説明】
【０１９４】
【図１】本発明の実施例１の復号装置のブロックノイズ低減情報生成部の処理手順を示すフローチャートである。
【図２】本発明の実施例１の復号装置を示すブロック図である。
【図３】図１の復号装置におけるデブロッキングフィルタの動作の説明に供する略線図である。
【図４】図１の復号装置における境界強度判定情報の説明に供する図表である。
【図５】図４の境界強度判定情報によるフィルタリングの説明に供する図表である。
【図６】図５のindex Ａ、index Ｂを示す図表である。
【図７】図１の復号装置における位置情報の説明に供する図表である。
【図８】ブロックノイズの説明に供する略線図である。
【図９】量子化の特性を示す特性曲線図である。
【図１０】処理対象ＤＣＴブロックに属するマクロブロックと隣接マクロブロックとの関係を示す図である。
【図１１】図１の続きの処理手順を示すフローチャートである。
【図１２】図１１の続きの処理手順を示すフローチャートである。
【図１３】図１２の続きの処理手順を示すフローチャートである。
【図１４】本発明の実施例１の復号装置のブロックノイズ低減情報生成部における水平方向のブロック境界に対する処理手順を示すフローチャートである。
【図１５】図１４の続きの処理手順を示すフローチャートである。
【図１６】図１５の続きの処理手順を示すフローチャートである。
【図１７】図１６の続きの処理手順を示すフローチャートである。
【図１８】フィールド構造におけるブロックノイズの説明に供する略線図である。
【図１９】ＤＣＴタイプによるブロックノイズの説明に供する略線図である。
【図２０】本発明の実施例３の符号化装置を示すブロック図である。
【図２１】従来のMPEG-2の復号装置を示すブロック図である。
【図２２】従来のH.264/AVC の復号装置を示すブロック図である。
【図２３】従来のMPEG-2の復号装置においてブロックノイズを除去する構成を示すブロック図である。
【符号の説明】
【０１９５】
１、１１、３１……復号装置、２、１２、３２……エントロピー復号部、３、１３、３３……動き予測部、４、１４、３４、５３……動き補償部、５、１５、３５……フレームメモリ、６、１６、３６、５４……イントラ予測部、７、１７、３７、６０、６４……逆量子化部、８、１８、３８……逆ディスクリートコサイン変換部、９、１９、３９……加算部、２０、４０……デブロッキングフィルタ、４１Ａ、４１Ｂ……ブロックノイズ低減情報発生部、５１……符号化装置、５６……直交変換部、５７……量子化部、６１……逆直交変換部
【図１】
2009194617.tif 000020
【図２】
2009194617.tif 000021
【図３】
2009194617.tif 000022
【図４】
2009194617.tif 000023
【図５】
2009194617.tif 000024
【図６】
2009194617.tif 000025
【図７】
2009194617.tif 000026
【図８】
2009194617.tif 000027
【図９】
2009194617.tif 000028
【図１０】
2009194617.tif 000029
【図１１】
2009194617.tif 000030
【図１２】
2009194617.tif 000031
【図１３】
2009194617.tif 000032
【図１４】
2009194617.tif 000033
【図１５】
2009194617.tif 000034
【図１６】
2009194617.tif 000035
【図１７】
2009194617.tif 000036
【図１８】
2009194617.tif 000037
【図１９】
2009194617.tif 000038
【図２０】
2009194617.tif 000039
【図２１】
2009194617.tif 000040
【図２２】
2009194617.tif 000041
【図２３】
2009194617.tif 000042
【手続補正書】
【提出日】平成21年1月30日(2009.1.30)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理装置において、
前記ビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記画像処理装置は、
前記予測誤差を復号する逆直交変換部と、
前記予測値を生成する予測値生成部と、
前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、
前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、
前記制御部は、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理装置。
【請求項２】
前記制御部は、
前記ビットストリームが、スキップドマクロブロックである場合、フィルタリング処理しないように、前記境界強度判定情報を設定する
請求項１に記載の画像処理装置。
【請求項３】
前記制御部は、
前記ビットストリームが、隣接する前記直交変換処理単位とで前記直交変換処理のモードが異なる場合、前記直交変換処理のモードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
請求項１に記載の画像処理装置。
【請求項４】
前記デブロッキングフィルタは、
垂直方向に連続する画像データをフィルタリング処理する垂直方向のフィルタリング処理と、水平方向に連続する画像データをフィルタリング処理する水平方向のフィルタリング処理とを順次実行して前記ブロックノイズを除去し、
前記制御部は、
前記垂直方向及び水平方向のフィルタリング処理用にそれぞれ前記境界強度判定情報を出力し、
前記デブロッキングフィルタは、
前記水平方向のフィルタリング処理では、前記直交変換処理単位の境界に対して前記フィルタリング処理を実行し、
前記垂直方向のフィルタリング処理では、
前記直交変換処理単位の境界と、前記直交変換処理単位内部のライン間とに対して前記フィルタリング処理を実行し、
前記制御部は、
前記ビットストリームがフレームＤＣＴ構造である場合、前記境界間のライン間に対してフィルタリング処理しないように前記垂直方向のフィルタリング処理用の前記境界強度判定情報を設定し、
前記ビットストリームがフィールドＤＣＴ構造である場合、前記直交変換処理単位の境界と、前記直交変換処理単位内部のライン間とでフィルタリング処理するように前記境界強度判定情報を設定する
請求項１に記載の画像処理装置。
【請求項５】
フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理装置において、
予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成部と、
前記予測値に基づいて前記画像データの予測誤差を生成する減算部と、
前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換部と、
前記直交変換部の出力データを処理して前記ビットストリームを生成するデータ処理部と、
前記直交変換部の出力データから前記画像データを復号する復号部と、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号部で復号された画像データのブロックノイズを除去するデブロッキングフィルタと、
前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、
前記制御部は、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理装置。
【請求項６】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理装置において、
前記第１のビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記第２のビットストリームは、
フレーム単位でピクチャータイプが設定されて生成され、
前記画像処理装置は、
前記予測誤差を復号する逆直交変換部と、
前記予測値を生成する予測値生成部と、
前記逆直交変換部で復号された前記予測誤差に前記予測値生成部で生成された予測値を加算して前記画像データを復号する加算部と、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算部から出力される画像データのブロックノイズを除去するデブロッキングフィルタと、
前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタに出力する制御部とを備え、
前記制御部は、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理装置。
【請求項７】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法において、
前記ビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記画像処理方法は、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理方法。
【請求項８】
フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法において、
予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、
前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、
前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、
前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、
前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理方法。
【請求項９】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法において、
前記第１のビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記第２のビットストリームは、
フレーム単位でピクチャータイプが設定されて生成され、
前記画像処理方法は、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理方法。
【請求項１０】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムにおいて、
前記ビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記画像処理方法のプログラムは、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理方法のプログラム。
【請求項１１】
フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムにおいて、
予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、
前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、
前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、
前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、
前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理方法のプログラム。
【請求項１２】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムにおいて、
前記第１のビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記第２のビットストリームは、
フレーム単位でピクチャータイプが設定されて生成され、
前記画像処理方法のプログラムは、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
前記第１のビットストリームから前記境界強度判定情報を設定する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理方法のプログラム。
【請求項１３】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成されたビットストリームから前記画像データを復号する画像処理方法のプログラムを記録した記録媒体において、
前記ビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記画像処理方法のプログラムは、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記ビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理方法のプログラムを記録した記録媒体。
【請求項１４】
フレーム構造及びフィールド構造からピクチャータイプの設定を選択して画像データを符号化処理し、ビットストリームを出力する画像処理方法のプログラムを記録した記録媒体において、
前記画像処理方法のプログラムは、
予測値の生成単位毎に、前記画像データの予測値を生成する予測値生成のステップと、
前記予測値に基づいて前記画像データの予測誤差を生成する減算のステップと、
前記予測誤差を直交変換処理単位毎に直交変換処理する直交変換のステップと、
前記直交変換のステップの出力データを処理して前記ビットストリームを生成するデータ処理のステップと、
前記直交変換のステップの出力データから前記画像データを復号する復号のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記復号のステップで復号された画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが異ならない場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理方法のプログラムを記録した記録媒体。
【請求項１５】
予測値の生成単位毎に生成された予測値と画像データとの予測誤差を、直交変換処理単位毎に直交変換処理して生成された第１及び第２のビットストリームを選択的に処理して前記画像データを復号する画像処理方法のプログラムを記録した記録媒体において、
前記第１のビットストリームは、
フレーム構造及びフィールド構造からピクチャータイプの設定が選択されて生成され、
前記第２のビットストリームは、
フレーム単位でピクチャータイプが設定されて生成され、
前記画像処理方法のプログラムは、
前記予測誤差を復号する逆直交変換のステップと、
前記予測値を生成する予測値生成のステップと、
前記逆直交変換のステップで復号された前記予測誤差に前記予測値生成のステップで生成された予測値を加算して前記画像データを復号する加算のステップと、
フィルタリング処理の位置を特定する位置情報と、フィルタリング処理の強度を指示する境界強度判定情報と、量子化パラメータとに基づいて、前記加算のステップから出力される画像データのブロックノイズを除去するデブロッキングフィルタの処理ステップと、
前記第１及び第２のビットストリームから前記位置情報、前記境界強度判定情報、前記量子化パラメータを設定して前記デブロッキングフィルタの処理ステップに出力する制御のステップとを備え、
前記制御のステップは、
隣接する前記予測値の生成単位とのイントラ符号化及びインター符号化の異同、及び前記予測値の生成単位の境界に対する前記直交変換処理単位の位置に応じて、前記境界強度判定情報を設定し、
前記第１のビットストリームから前記境界強度判定情報を生成する場合であって、隣接する前記直交変換処理単位とで前記予測値を生成する予測モードが異なる場合、予測モードが同一の場合に比してフィルタリング処理の強度が強くなるように、前記境界強度判定情報を設定する
画像処理方法のプログラムを記録した記録媒体。