(57)【特許請求の範囲】
【請求項１】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力手段と、
該入力手段に入力された第１符号化信号に符号量変換処理を行い、第２符号化信号に変換する符号化信号変換手段と、
前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成手段と、
を備え、
前記差分符号化信号生成手段が、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項２】
請求項１記載の符号化信号分離装置において、
前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、
該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、
前記差分符号化信号生成手段が、前記差分符号化信号を前記階層構造にしたがって生成することを特徴とする符号化信号分離装置。
【請求項３】
請求項１または２記載の符号化信号分離装置において、
前記第１係数情報が前記符号化信号変換手段により前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記差分符号化信号生成手段が、
前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離手段と、
前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化する零係数符号化手段と、
前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化する非零係数符号化手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項４】
請求項３記載の符号化信号分離装置において、
前記非零係数符号化手段が、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とする符号化信号分離装置。
【請求項５】
請求項４記載の符号化信号分離装置において、
前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
前記非零係数符号化手段が、前記非零係数差分情報の係数情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とする符号化信号分離装置。
【請求項６】
請求項３〜５のいずれか１項に記載の符号化信号分離装置において、
前記零係数符号化手段が、前記第１係数情報群から前記非零係数変換第１係数情報を取り除き、該零係数変換第１係数情報のみの第１係数情報群をジグザグスキャンし、連続する零係数の数を示すランと該ランに続く非零係数の係数値を示すレベルとを組み合わせ、該組み合わせを前記零係数差分情報として生成する零係数差分情報生成手段を有し、
該零係数差分情報生成手段が、前記非零係数変換第１係数情報が存在していた位置を除き前記零係数変換第１係数情報が存在する位置のみを前記ラン値として数えることを特徴とする符号化信号分離装置。
【請求項７】
請求項１〜６のいずれか１項に記載の符号化信号分離装置において、
前記差分符号化信号生成手段が、
前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを生成し、符号化する符号化ブロックパターン符号化手段を備えたことを特徴とする符号化信号分離装置。
【請求項８】
請求項７記載の符号化信号分離装置において、
前記符号化ブロックパターン符号化手段が、前記第２符号化信号のブロックが符号化不要の位置についてのみ、前記差分符号化信号の符号化ブロックパターンの前記位置の値を有意差分ＣＢＰ値として符号化することを特徴とする符号化信号分離装置。
【請求項９】
請求項１〜８のいずれか１項に記載の符号化信号分離装置において、
前記差分符号化信号生成手段が、
前記第１符号化信号と前記第２符号化信号との差分情報が発生するマクロブロックのみを前記差分符号化信号のマクロブロック情報として符号化する差分マクロブロック符号化手段と、
該差分マクロブロック符号化手段により符号化されるマクロブロックの位置を示す差分符号発生ＭＢアドレスを生成し、該差分符号発生ＭＢアドレスと直前の差分情報のマクロブロック位置を示す差分符号発生ＭＢアドレスとの差を示す差分符号発生ＭＢアドレス制御符号を符号化するＭＢＡＩ符号化手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項１０】
請求項１〜９のいずれか１項に記載の符号化信号分離装置において、
前記符号化信号変換手段が、
前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を逆量子化し、該逆量子化されたマクロブロックを第２マクロブロック量子化パラメータにより再量子化して前記第２符号化信号を生成し、
前記差分符号化信号生成手段が、
前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化手段を備えたことを特徴とする符号化信号分離装置。
【請求項１１】
請求項１〜９のいずれか１項に記載の符号化信号分離装置において、
前記符号化信号変換手段が、
前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を、前記第１マクロブロック量子化パラメータと前記第２符号化信号内のマクロブロック情報を逆量子化する際のパラメータである第２マクロブロック量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、
前記差分符号化信号生成手段が、
前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化手段を備えたことを特徴とする符号化信号分離装置。
【請求項１２】
請求項１０または１１記載の符号化信号分離装置において、
前記マクロブロック量子化パラメータ復元情報符号化手段が、前記マクロブロック量子化パラメータ復元情報を、前記第２マクロブロック量子化パラメータから前記第１マクロブロック量子化パラメータを復元させる量子化パラメータ導出定数を用いて生成することを特徴とする符号化信号分離装置。
【請求項１３】
請求項１２記載の符号化信号分離装置において、
前記第１符号化信号から生成されるマクロブロックと該マクロブロックに対応する前記第２符号化信号から生成されるマクロブロックとの差分情報から生成されるマクロブロック情報を差分マクロブロック情報とし、
前記マクロブロック量子化パラメータ復元情報符号化手段が、前記マクロブロック量子化パラメータ復元情報を、前記量子化パラメータ導出定数と、直前に符号化した差分マクロブロック情報の前記マクロブロック量子化パラメータ復元情報と、の差分から生成することを特徴とする符号化信号分離装置。
【請求項１４】
請求項１〜１３のいずれか１項に記載の符号化信号分離装置において、
前記符号化信号変換手段が、
前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を逆量子化し、該逆量子化されたスライス内のマクロブロックを第２スライス量子化パラメータをもとに再量子化して前記第２符号化信号を生成し、
前記差分符号化信号生成手段が、
前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化手段を備えたことを特徴とする符号化信号分離装置。
【請求項１５】
請求項１〜１３のいずれか１項に記載の符号化信号分離装置において、
前記符号化信号変換手段が、
前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を、前記第１スライス量子化パラメータと前記第２符号化信号内のスライス内のマクロブロック情報を逆量子化する際の基準パラメータである第２スライス量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、
前記差分符号化信号生成手段が、
前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化手段を備えたことを特徴とする符号化信号分離装置。
【請求項１６】
請求項１４または１５記載の符号化信号分離装置において、
前記スライス量子化パラメータ復元情報符号化手段が、前記スライス量子化パラメータ復元情報を、前記第２スライス量子化パラメータから前記第１スライス量子化パラメータを復元させるスライス量子化パラメータ導出定数として生成することを特徴とする符号化信号分離装置。
【請求項１７】
請求項１〜１６のいずれか１項に記載の符号化信号分離装置において、
前記差分符号化信号生成手段が、
前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を前記差分符号化信号内に付加するＶＢＶ遅延付加手段を備えたことを特徴とする符号化信号分離装置。
【請求項１８】
請求項３〜６のいずれか１項に記載の符号化信号分離装置において、
前記差分符号化信号生成手段が、
前記係数値の変化情報の値に可変長符号語を割り当てる可変長符号化テーブルを、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に応じて、切り替える可変長符号化テーブル切り替え手段と、
前記係数値の変化情報の値を、前記割り当てられた可変長符号化テーブルにしたがって、可変長符号化する可変長符号化手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項１９】
請求項５記載の符号化信号分離装置において、
前記差分符号化信号生成手段が、
前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数と、前記非零係数符号化手段が前記非零係数変換第１係数情報の係数値を予測した値の誤差である予測誤差値と、に基づいて前記予測誤差値を可変長符号化する符号語を計算により求めることを特徴とする符号化信号分離装置。
【請求項２０】
請求項６記載の符号化信号分離装置において、
前記差分符号化信号生成手段が、
前記ランの値に対し値の出現頻度に応じた可変長符号値を割り当てる可変長符号化テーブルに基づいて、前記ランの値を可変長符号化するラン可変長符号化手段と、
前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に基づいて可変長符号化に用いる符号語を計算により求めて、前記レベルの値を可変長符号化するレベル可変長符号化手段と、
を有することを特徴とする符号化信号分離装置。
【請求項２１】
請求項８記載の符号化信号分離装置において、
マクロブロック内の、輝度ブロックの符号化不要ブロック数を不要輝度ブロック数とし、色差ブロックの符号化不要ブロック数を不要色差ブロック数とし、
前記有意差分ＣＢＰ値を、輝度成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分輝度ＣＢＰ値とし、色差成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分色差ＣＢＰ値とし、前記有意差分輝度ＣＢＰ値の当該マクロブロック内の全てを有意差分輝度ＣＢＰとし、前記有意差分色差ＣＢＰ値の当該マクロブロック内の全てを有意差分色差ＣＢＰとし、
前記符号化ブロックパターン符号化手段が、
前記第２符号化信号の当該マクロブロック内の符号化不要ブロックの数を、前記不要輝度ブロック数と、前記不要色差ブロック数とを、それぞれ数える符号化不要ブロックカウント手段と、
前記有意差分輝度ＣＢＰを可変長符号値が割り当てられる輝度可変長符号化テーブルにしたがって符号化する有意差分輝度ＣＢＰ符号化手段と、
前記有意差分色差ＣＢＰを可変長符号値が割り当てられる色差可変長符号化テーブルにしたがって符号化する有意差分色差ＣＢＰ符号化手段と、
を有し、
前記有意差分輝度ＣＢＰ符号化手段が、前記不要輝度ブロック数に基づいて前記輝度可変長符号化テーブルを切り替え、
前記有意差分色差ＣＢＰ符号化手段が、前記不要色差ブロック数に基づいて前記色差可変長符号化テーブルを切り替えることを特徴とする符号化信号分離装置。
【請求項２２】
請求項１３記載の符号化信号分離装置において、
前記マクロブロック量子化パラメータ復元情報符号化手段が、前記生成したマクロブロック量子化パラメータ復元情報を、該マクロブロック量子化パラメータ復元情報の値に基づいて可変長符号化に用いる符号語を計算により求めることを特徴とする符号化信号分離装置。
【請求項２３】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力手段と、
前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力手段と、
前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成手段と、
を備え、
前記差分符号化信号生成手段が、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とする差分符号化信号生成装置。
【請求項２４】
複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力手段と、
前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を入力する差分符号化信号入力手段と、
前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成手段と、
を備え、
前記第１符号化信号合成手段が、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報を復元することにより、前記第１符号化信号を合成することを特徴とする符号化信号合成装置。
【請求項２５】
請求項２４記載の符号化信号合成装置において、
前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記零係数変換第１係数情報と前記零係数第２係数情報とに基づいて生成された差分情報を零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された差分情報を非零係数差分情報とし、
前記第１符号化信号合成手段が、
前記第２符号化信号内の前記零係数第２係数情報と、前記差分符号化信号内の前記零係数差分情報と、に基づいて前記零係数変換第１係数情報を生成する零係数変換第１係数情報生成手段と、
前記第２符号化信号内の前記非零係数第２係数情報と、前記差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成手段と、
前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、を合成する第１係数情報合成手段と、
を備えたことを特徴とする符号化信号合成装置。
【請求項２６】
請求項２４または２５記載の符号化信号合成装置において、
前記第１符号化信号合成手段が、
前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを復号することにより、前記第１符号化信号の符号化ブロックパターンを復元する符号化ブロックパターン復元手段を備えたことを特徴とする符号化信号合成装置。
【請求項２７】
請求項２４〜２６のいずれか１項に記載の符号化信号合成装置において、
前記第１符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第２マクロブロック量子化パラメータに量子化された符号化信号であり、
前記第１符号化信号合成手段が、
前記差分符号化信号から前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を復号し、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報復元手段を備えたことを特徴とする符号化信号合成装置。
【請求項２８】
請求項２４〜２７のいずれか１項に記載の符号化信号合成装置において、
前記第１符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第２スライス量子化パラメータをもとに量子化された符号化信号であり、
前記第１符号化信号合成手段が、
前記差分符号化信号から前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を復号し、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報復元手段を備えたことを特徴とする符号化信号合成装置。
【請求項２９】
請求項２４〜２８のいずれか１項に記載の符号化信号合成装置において、
前記第１符号化信号合成手段が、
前記差分符号化信号から前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を取得し、前記第１符号化信号内に付加するＶＢＶ遅延付加手段を備えたことを特徴とする符号化信号合成装置。
【請求項３０】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を出力する符号化信号分離装置と、
前記第２符号化信号と前記差分符号化信号とを入力して、前記第１符号化信号を合成して出力する符号化信号合成装置と、
を備え、
前記符号化信号分離装置が、
前記第１符号化信号を入力する入力手段と、
該入力手段に入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換手段と、
前記差分符号化信号を生成する差分符号化信号生成手段と、
前記第２符号化信号を前記符号化信号合成装置に出力する第２符号化信号出力手段と、
前記差分符号化信号を前記符号化信号合成装置に出力する差分符号化信号出力手段と、
を有し、
前記符号化信号合成装置が、
前記符号化信号分離装置から前記第２符号化信号を入力する第２符号化信号入力手段と、
前記符号化信号分離装置から前記差分符号化信号を入力する差分符号化信号入力手段と、
前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成手段と、
前記第１符号化信号を出力する第１符号化信号出力手段と、
を有することを特徴とする符号化信号分離合成装置。
【請求項３１】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させる入力ステップと、
該入力された第１符号化信号に符号量変換処理を行い、第２符号化信号に変換する符号化信号変換ステップと、
前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項３２】
請求項３１記載の符号化信号分離方法において、
前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、
該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、
前記差分符号化信号生成ステップが、前記差分符号化信号を前記階層構造にしたがって生成することを特徴とする符号化信号分離方法。
【請求項３３】
請求項３１または３２記載の符号化信号分離方法において、
前記第１係数情報が前記符号化信号変換ステップにより前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記差分符号化信号生成ステップが、
前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離ステップと、
前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化する零係数符号化ステップと、
前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化する非零係数符号化ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項３４】
請求項３３記載の符号化信号分離方法において、
前記非零係数符号化ステップが、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とする符号化信号分離方法。
【請求項３５】
請求項３４記載の符号化信号分離方法において、
前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
前記非零係数符号化ステップが、前記非零係数差分情報の係数情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とする符号化信号分離方法。
【請求項３６】
請求項３３〜３５のいずれか１項に記載の符号化信号分離方法において、
前記零係数符号化ステップが、前記第１係数情報群から前記非零係数変換第１係数情報を取り除き、該零係数変換第１係数情報のみの第１係数情報群をジグザグスキャンし、連続する零係数の数を示すランと該ランに続く非零係数の係数値を示すレベルとを組み合わせ、該組み合わせを前記零係数差分情報として生成する零係数差分情報生成ステップを有し、
該零係数差分情報生成ステップが、前記非零係数変換第１係数情報が存在していた位置を除き前記零係数変換第１係数情報が存在する位置のみを前記ラン値として数えることを特徴とする符号化信号分離方法。
【請求項３７】
請求項３１〜３６のいずれか１項に記載の符号化信号分離方法において、
前記差分符号化信号生成ステップが、
前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを生成し、符号化する符号化ブロックパターン符号化ステップを備えたことを特徴とする符号化信号分離方法。
【請求項３８】
請求項３７記載の符号化信号分離方法において、
前記符号化ブロックパターン符号化ステップが、前記第２符号化信号のブロックが符号化不要の位置についてのみ、前記差分符号化信号の符号化ブロックパターンの前記位置の値を有意差分ＣＢＰ値として符号化することを特徴とする符号化信号分離方法。
【請求項３９】
請求項３１〜３８のいずれか１項に記載の符号化信号分離方法において、
前記差分符号化信号生成ステップが、
前記第１符号化信号と前記第２符号化信号との差分情報が発生するマクロブロックのみを前記差分符号化信号のマクロブロック情報として符号化する差分マクロブロック符号化ステップと、
該差分マクロブロック符号化ステップにより符号化されるマクロブロックの位置を示す差分符号発生ＭＢアドレスを生成し、該差分符号発生ＭＢアドレスと直前の差分情報のマクロブロック位置を示す差分符号発生ＭＢアドレスとの差を示す差分符号発生ＭＢアドレス制御符号を符号化するＭＢＡＩ符号化ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項４０】
請求項３１〜３９のいずれか１項に記載の符号化信号分離方法において、
前記符号化信号変換ステップが、
前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を逆量子化し、該逆量子化されたマクロブロックを第２マクロブロック量子化パラメータにより再量子化して前記第２符号化信号を生成し、
前記差分符号化信号生成ステップが、
前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化ステップを備えたことを特徴とする符号化信号分離方法。
【請求項４１】
請求項３１〜３９のいずれか１項に記載の符号化信号分離方法において、
前記符号化信号変換ステップが、
前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を、前記第１マクロブロック量子化パラメータと前記第２符号化信号内のマクロブロック情報を逆量子化する際のパラメータである第２マクロブロック量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、
前記差分符号化信号生成ステップが、
前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化ステップを備えたことを特徴とする符号化信号分離方法。
【請求項４２】
請求項４０または４１記載の符号化信号分離方法において、
前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記マクロブロック量子化パラメータ復元情報を、前記第２マクロブロック量子化パラメータから前記第１マクロブロック量子化パラメータを復元させる量子化パラメータ導出定数を用いて生成することを特徴とする符号化信号分離方法。
【請求項４３】
請求項４２記載の符号化信号分離方法において、
前記第１符号化信号から生成されるマクロブロックと該マクロブロックに対応する前記第２符号化信号から生成されるマクロブロックとの差分情報から生成されるマクロブロック情報を差分マクロブロック情報とし、
前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記マクロブロック量子化パラメータ復元情報を、前記量子化パラメータ導出定数と、直前に符号化した差分マクロブロック情報の前記マクロブロック量子化パラメータ復元情報と、の差分から生成することを特徴とする符号化信号分離方法。
【請求項４４】
請求項３１〜４３のいずれか１項に記載の符号化信号分離方法において、
前記符号化信号変換ステップが、
前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を逆量子化し、該逆量子化されたスライス内のマクロブロックを第２スライス量子化パラメータをもとに再量子化して前記第２符号化信号を生成し、
前記差分符号化信号生成ステップが、
前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化ステップを備えたことを特徴とする符号化信号分離方法。
【請求項４５】
請求項３１〜４３のいずれか１項に記載の符号化信号分離方法において、
前記符号化信号変換ステップが、
前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を、前記第１スライス量子化パラメータと前記第２符号化信号内のスライス内のマクロブロック情報を逆量子化する際の基準パラメータである第２スライス量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、
前記差分符号化信号生成ステップが、
前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化ステップを備えたことを特徴とする符号化信号分離方法。
【請求項４６】
請求項４４または４５記載の符号化信号分離方法において、
前記スライス量子化パラメータ復元情報符号化ステップが、前記スライス量子化パラメータ復元情報を、前記第２スライス量子化パラメータから前記第１スライス量子化パラメータを復元させるスライス量子化パラメータ導出定数として生成することを特徴とする符号化信号分離方法。
【請求項４７】
請求項３１〜４６のいずれか１項に記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、
前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を前記差分符号化信号内に付加するＶＢＶ遅延付加ステップを備えたことを特徴とする符号化信号分離方法。
【請求項４８】
請求項３３〜３６のいずれか１項に記載の符号化信号分離方法において、
前記差分符号化信号生成ステップが、
前記係数値の変化情報の値に可変長符号語を割り当てる可変長符号化テーブルを、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に応じて、切り替える可変長符号化テーブル切り替えステップと、
前記係数値の変化情報の値を、前記割り当てられた可変長符号化テーブルにしたがって、可変長符号化する可変長符号化ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項４９】
請求項３５記載の符号化信号分離方法において、
前記差分符号化信号生成ステップが、
前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数と、前記非零係数符号化ステップが前記非零係数変換第１係数情報の係数値を予測した値の誤差である予測誤差値と、に基づいて前記予測誤差値を可変長符号化する符号語を計算により求めることを特徴とする符号化信号分離方法。
【請求項５０】
請求項３６記載の符号化信号分離方法において、
前記差分符号化信号生成ステップが、
前記ランの値に対し値の出現頻度に応じた可変長符号値を割り当てる可変長符号化テーブルに基づいて、前記ランの値を可変長符号化するラン可変長符号化ステップと、
前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に基づいて可変長符号化に用いる符号語を計算により求めて、前記レベルの値を可変長符号化するレベル可変長符号化ステップと、
を有することを特徴とする符号化信号分離方法。
【請求項５１】
請求項３８記載の符号化信号分離方法において、
マクロブロック内の、輝度ブロックの符号化不要ブロック数を不要輝度ブロック数とし、色差ブロックの符号化不要ブロック数を不要色差ブロック数とし、
前記有意差分ＣＢＰ値を、輝度成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分輝度ＣＢＰ値とし、色差成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分色差ＣＢＰ値とし、前記有意差分輝度ＣＢＰ値の当該マクロブロック内の全てを有意差分輝度ＣＢＰとし、前記有意差分色差ＣＢＰ値の当該マクロブロック内の全てを有意差分色差ＣＢＰとし、
前記符号化ブロックパターン符号化ステップが、
前記第２符号化信号の当該マクロブロック内の符号化不要ブロックの数を、前記不要輝度ブロック数と、前記不要色差ブロック数とを、それぞれ数える符号化不要ブロックカウントステップと、
前記有意差分輝度ＣＢＰを可変長符号値が割り当てられる輝度可変長符号化テーブルにしたがって符号化する有意差分輝度ＣＢＰ符号化ステップと、
前記有意差分色差ＣＢＰを可変長符号値が割り当てられる色差可変長符号化テーブルにしたがって符号化する有意差分色差ＣＢＰ符号化ステップと、
を有し、
前記有意差分輝度ＣＢＰ符号化ステップが、前記不要輝度ブロック数に基づいて前記輝度可変長符号化テーブルを切り替え、
前記有意差分色差ＣＢＰ符号化ステップが、前記不要色差ブロック数に基づいて前記色差可変長符号化テーブルを切り替えることを特徴とする符号化信号分離方法。
【請求項５２】
請求項４３記載の符号化信号分離方法において、
前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記生成したマクロブロック量子化パラメータ復元情報を、該マクロブロック量子化パラメータ復元情報の値に基づいて可変長符号化に用いる符号語を計算により求めることを特徴とする符号化信号分離方法。
【請求項５３】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させる第１符号化信号入力ステップと、
前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力させる第２符号化信号入力ステップと、
前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とする差分符号化信号生成方法。
【請求項５４】
複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力させる第２符号化信号入力ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を入力させる差分符号化信号入力ステップと、
前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成ステップと、
を備え、
前記第１符号化信号合成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報を復元することにより、前記第１符号化信号を合成することを特徴とする符号化信号合成方法。
【請求項５５】
請求項５４記載の符号化信号合成方法において、
前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記零係数変換第１係数情報と前記零係数第２係数情報とに基づいて生成された差分情報を零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された差分情報を非零係数差分情報とし、
前記第１符号化信号合成ステップが、
前記第２符号化信号内の前記零係数第２係数情報と、前記差分符号化信号内の前記零係数差分情報と、に基づいて前記零係数変換第１係数情報を生成する零係数変換第１係数情報生成ステップと、
前記第２符号化信号内の前記非零係数第２係数情報と、前記差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成ステップと、
前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、を合成する第１係数情報合成ステップと、
を備えたことを特徴とする符号化信号合成方法。
【請求項５６】
請求項５４または５５記載の符号化信号合成方法において、
前記第１符号化信号合成ステップが、
前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを復号することにより、前記第１符号化信号の符号化ブロックパターンを復元する符号化ブロックパターン復元ステップを備えたことを特徴とする符号化信号合成方法。
【請求項５７】
請求項５４〜５６のいずれか１項に記載の符号化信号合成方法において、
前記第１符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第２マクロブロック量子化パラメータに量子化された符号化信号であり、
前記第１符号化信号合成ステップが、
前記差分符号化信号から前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を復号し、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報復元ステップを備えたことを特徴とする符号化信号合成方法。
【請求項５８】
請求項５４〜５７のいずれか１項に記載の符号化信号合成方法において、
前記第１符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第２スライス量子化パラメータをもとに量子化された符号化信号であり、
前記第１符号化信号合成ステップが、
前記差分符号化信号から前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を復号し、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報復元ステップを備えたことを特徴とする符号化信号合成方法。
【請求項５９】
請求項５４〜５８のいずれか１項に記載の符号化信号合成方法において、
前記第１符号化信号合成ステップが、
前記差分符号化信号から前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を取得し、前記第１符号化信号内に付加するＶＢＶ遅延付加ステップを備えたことを特徴とする符号化信号合成方法。
【請求項６０】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させて、該入力した第１符号化信号に符号量変換処理を行い、第２符号化信号に変換して出力させるとともに、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を出力させる符号化信号分離装置を制御する符号化信号分離ステップと、
前記第２符号化信号と前記差分符号化信号とを入力させて、前記第１符号化信号を合成して出力させる符号化信号合成装置を制御する符号化信号合成ステップと、
を備え、
前記符号化信号分離ステップが、
前記第１符号化信号を前記符号化信号分離装置に入力させる入力ステップと、
該入力ステップにより入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、
前記差分符号化信号を生成する差分符号化信号生成ステップと、
前記第２符号化信号を前記符号化信号合成装置に出力させる第２符号化信号出力ステップと、
前記差分符号化信号を前記符号化信号合成装置に出力させる差分符号化信号出力ステップと、
を有し、
前記符号化信号合成ステップが、
前記符号化信号分離装置から前記第２符号化信号を入力させる第２符号化信号入力ステップと、
前記符号化信号分離装置から前記差分符号化信号を入力させる差分符号化信号入力ステップと、
前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成ステップと、
前記第１符号化信号を出力させる第１符号化信号出力ステップと、
を有することを特徴とする符号化信号分離合成方法。
【請求項６１】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させる入力ステップと、
該入力された第１符号化信号に符号量変換処理を行い、第２符号化信号に変換する符号化信号変換ステップと、
前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項６２】
請求項６１記載の符号化信号分離プログラムを記録した媒体において、
前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、
該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、
前記差分符号化信号生成ステップが、前記差分符号化信号を前記階層構造にしたがって生成することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項６３】
請求項６１または６２記載の符号化信号分離プログラムを記録した媒体において、
前記第１係数情報が前記符号化信号変換ステップにより前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記差分符号化信号生成ステップが、
前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離ステップと、
前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化する零係数符号化ステップと、
前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化する非零係数符号化ステップと、
を備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項６４】
請求項６３記載の符号化信号分離プログラムを記録した媒体において、
前記非零係数符号化ステップが、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項６５】
請求項６４記載の符号化信号分離プログラムを記録した媒体において、
前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
前記非零係数符号化ステップが、前記非零係数差分情報の係数情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項６６】
請求項６３〜６５のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記零係数符号化ステップが、前記第１係数情報群から前記非零係数変換第１係数情報を取り除き、該零係数変換第１係数情報のみの第１係数情報群をジグザグスキャンし、連続する零係数の数を示すランと該ランに続く非零係数の係数値を示すレベルとを組み合わせ、該組み合わせを前記零係数差分情報として生成する零係数差分情報生成ステップを有し、
該零係数差分情報生成ステップが、前記非零係数変換第１係数情報が存在していた位置を除き前記零係数変換第１係数情報が存在する位置のみを前記ラン値として数えることを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項６７】
請求項６１〜６６のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記差分符号化信号生成ステップが、
前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを生成し、符号化する符号化ブロックパターン符号化ステップを備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項６８】
請求項６７記載の符号化信号分離プログラムを記録した媒体において、
前記符号化ブロックパターン符号化ステップが、前記第２符号化信号のブロックが符号化不要の位置についてのみ、前記差分符号化信号の符号化ブロックパターンの前記位置の値を有意差分ＣＢＰ値として符号化することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項６９】
請求項６１〜６８のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記差分符号化信号生成ステップが、
前記第１符号化信号と前記第２符号化信号との差分情報が発生するマクロブロックのみを前記差分符号化信号のマクロブロック情報として符号化する差分マクロブロック符号化ステップと、
該差分マクロブロック符号化ステップにより符号化されるマクロブロックの位置を示す差分符号発生ＭＢアドレスを生成し、該差分符号発生ＭＢアドレスと直前の差分情報のマクロブロック位置を示す差分符号発生ＭＢアドレスとの差を示す差分符号発生ＭＢアドレス制御符号を符号化するＭＢＡＩ符号化ステップと、
を備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７０】
請求項６１〜６９のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記符号化信号変換ステップが、
前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を逆量子化し、該逆量子化されたマクロブロックを第２マクロブロック量子化パラメータにより再量子化して前記第２符号化信号を生成し、
前記差分符号化信号生成ステップが、
前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化ステップを備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７１】
請求項６１〜６９のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記符号化信号変換ステップが、
前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を、前記第１マクロブロック量子化パラメータと前記第２符号化信号内のマクロブロック情報を逆量子化する際のパラメータである第２マクロブロック量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、
前記差分符号化信号生成ステップが、
前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化ステップを備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７２】
請求項７０または７１記載の符号化信号分離プログラムを記録した媒体において、
前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記マクロブロック量子化パラメータ復元情報を、前記第２マクロブロック量子化パラメータから前記第１マクロブロック量子化パラメータを復元させる量子化パラメータ導出定数を用いて生成することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７３】
請求項７２記載の符号化信号分離プログラムを記録した媒体において、
前記第１符号化信号から生成されるマクロブロックと該マクロブロックに対応する前記第２符号化信号から生成されるマクロブロックとの差分情報から生成されるマクロブロック情報を差分マクロブロック情報とし、
前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記マクロブロック量子化パラメータ復元情報を、前記量子化パラメータ導出定数と、直前に符号化した差分マクロブロック情報の前記マクロブロック量子化パラメータ復元情報と、の差分から生成することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７４】
請求項６１〜７３のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記符号化信号変換ステップが、
前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を逆量子化し、該逆量子化されたスライス内のマクロブロックを第２スライス量子化パラメータをもとに再量子化して前記第２符号化信号を生成し、
前記差分符号化信号生成ステップが、
前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化ステップを備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７５】
請求項６１〜７３のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記符号化信号変換ステップが、
前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を、前記第１スライス量子化パラメータと前記第２符号化信号内のスライス内のマクロブロック情報を逆量子化する際の基準パラメータである第２スライス量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、
前記差分符号化信号生成ステップが、
前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化ステップを備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７６】
請求項７４または７５記載の符号化信号分離プログラムを記録した媒体において、
前記スライス量子化パラメータ復元情報符号化ステップが、前記スライス量子化パラメータ復元情報を、前記第２スライス量子化パラメータから前記第１スライス量子化パラメータを復元させるスライス量子化パラメータ導出定数として生成することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７７】
請求項６１〜７６のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記差分符号化信号生成ステップが、
前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を前記差分符号化信号内に付加するＶＢＶ遅延付加ステップを備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７８】
請求項６３〜６６のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記差分符号化信号生成ステップが、
前記係数値の変化情報の値に可変長符号語を割り当てる可変長符号化テーブルを、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に応じて、切り替える可変長符号化テーブル切り替えステップと、
前記係数値の変化情報の値を、前記割り当てられた可変長符号化テーブルにしたがって、可変長符号化する可変長符号化ステップと、
を備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項７９】
請求項６５記載の符号化信号分離プログラムを記録した媒体において、
前記差分符号化信号生成ステップが、
前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数と、前記非零係数符号化ステップが前記非零係数変換第１係数情報の係数値を予測した値の誤差である予測誤差値と、に基づいて前記予測誤差値を可変長符号化する符号語を計算により求めることを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項８０】
請求項６６記載の符号化信号分離プログラムを記録した媒体において、
前記差分符号化信号生成ステップが、
前記ランの値に対し値の出現頻度に応じた可変長符号値を割り当てる可変長符号化テーブルに基づいて、前記ランの値を可変長符号化するラン可変長符号化ステップと、
前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に基づいて可変長符号化に用いる符号語を計算により求めて、前記レベルの値を可変長符号化するレベル可変長符号化ステップと、
を有することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項８１】
請求項６８記載の符号化信号分離プログラムを記録した媒体において、
マクロブロック内の、輝度ブロックの符号化不要ブロック数を不要輝度ブロック数とし、色差ブロックの符号化不要ブロック数を不要色差ブロック数とし、
前記有意差分ＣＢＰ値を、輝度成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分輝度ＣＢＰ値とし、色差成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分色差ＣＢＰ値とし、前記有意差分輝度ＣＢＰ値の当該マクロブロック内の全てを有意差分輝度ＣＢＰとし、前記有意差分色差ＣＢＰ値の当該マクロブロック内の全てを有意差分色差ＣＢＰとし、
前記符号化ブロックパターン符号化ステップが、
前記第２符号化信号の当該マクロブロック内の符号化不要ブロックの数を、前記不要輝度ブロック数と、前記不要色差ブロック数とを、それぞれ数える符号化不要ブロックカウントステップと、
前記有意差分輝度ＣＢＰを可変長符号値が割り当てられる輝度可変長符号化テーブルにしたがって符号化する有意差分輝度ＣＢＰ符号化ステップと、
前記有意差分色差ＣＢＰを可変長符号値が割り当てられる色差可変長符号化テーブルにしたがって符号化する有意差分色差ＣＢＰ符号化ステップと、
を有し、
前記有意差分輝度ＣＢＰ符号化ステップが、前記不要輝度ブロック数に基づいて前記輝度可変長符号化テーブルを切り替え、
前記有意差分色差ＣＢＰ符号化ステップが、前記不要色差ブロック数に基づいて前記色差可変長符号化テーブルを切り替えることを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項８２】
請求項７３記載の符号化信号分離プログラムを記録した媒体において、
前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記生成したマクロブロック量子化パラメータ復元情報を、該マクロブロック量子化パラメータ復元情報の値に基づいて可変長符号化に用いる符号語を計算により求めることを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項８３】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させる第１符号化信号入力ステップと、
前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力させる第２符号化信号入力ステップと、
前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成ステップと、
を備え、
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とする差分符号化信号生成プログラムを記録した媒体。
【請求項８４】
複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力させる第２符号化信号入力ステップと、
前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を入力させる差分符号化信号入力ステップと、
前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成ステップと、
を備え、
前記第１符号化信号合成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報を復元することにより、前記第１符号化信号を合成することを特徴とする符号化信号合成プログラムを記録した媒体。
【請求項８５】
請求項８４記載の符号化信号合成プログラムを記録した媒体において、
前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
前記零係数変換第１係数情報と前記零係数第２係数情報とに基づいて生成された差分情報を零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された差分情報を非零係数差分情報とし、
前記第１符号化信号合成ステップが、
前記第２符号化信号内の前記零係数第２係数情報と、前記差分符号化信号内の前記零係数差分情報と、に基づいて前記零係数変換第１係数情報を生成する零係数変換第１係数情報生成ステップと、
前記第２符号化信号内の前記非零係数第２係数情報と、前記差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成ステップと、
前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、を合成する第１係数情報合成ステップと、
を備えたことを特徴とする符号化信号合成プログラムを記録した媒体。
【請求項８６】
請求項８４または８５記載の符号化信号合成プログラムを記録した媒体において、
前記第１符号化信号合成ステップが、
前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを復号することにより、前記第１符号化信号の符号化ブロックパターンを復元する符号化ブロックパターン復元ステップを備えたことを特徴とする符号化信号合成プログラムを記録した媒体。
【請求項８７】
請求項８４〜８６のいずれか１項に記載の符号化信号合成プログラムを記録した媒体において、
前記第１符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第２マクロブロック量子化パラメータに量子化された符号化信号であり、
前記第１符号化信号合成ステップが、
前記差分符号化信号から前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を復号し、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報復元ステップを備えたことを特徴とする符号化信号合成プログラムを記録した媒体。
【請求項８８】
請求項８４〜８７のいずれか１項に記載の符号化信号合成プログラムを記録した媒体において、
前記第１符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第２スライス量子化パラメータをもとに量子化された符号化信号であり、
前記第１符号化信号合成ステップが、
前記差分符号化信号から前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を復号し、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報復元ステップを備えたことを特徴とする符号化信号合成プログラムを記録した媒体。
【請求項８９】
請求項８４〜８８のいずれか１項に記載の符号化信号合成プログラムを記録した媒体において、
前記第１符号化信号合成ステップが、
前記差分符号化信号から前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を取得し、前記第１符号化信号内に付加するＶＢＶ遅延付加ステップを備えたことを特徴とする符号化信号合成プログラムを記録した媒体。
【請求項９０】
複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させて、該入力した第１符号化信号に符号量変換処理を行い、第２符号化信号に変換して出力させるとともに、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を出力させる符号化信号分離装置を制御する符号化信号分離ステップと、
前記第２符号化信号と前記差分符号化信号とを入力させて、前記第１符号化信号を合成して出力させる符号化信号合成装置を制御する符号化信号合成ステップと、
を備え、
前記符号化信号分離ステップが、
前記第１符号化信号を前記符号化信号分離装置に入力させる入力ステップと、
該入力ステップにより入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、
前記差分符号化信号を生成する差分符号化信号生成ステップと、
前記第２符号化信号を前記符号化信号合成装置に出力させる第２符号化信号出力ステップと、
前記差分符号化信号を前記符号化信号合成装置に出力させる差分符号化信号出力ステップと、
を有し、
前記符号化信号合成ステップが、
前記符号化信号分離装置から前記第２符号化信号を入力させる第２符号化信号入力ステップと、
前記符号化信号分離装置から前記差分符号化信号を入力させる差分符号化信号入力ステップと、
前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成ステップと、
前記第１符号化信号を出力させる第１符号化信号出力ステップと、
を有することを特徴とする符号化信号分離合成プログラムを記録した媒体。
【請求項９１】
請求項１〜２２のいずれか１項に記載の符号化信号分離装置において、
前記差分符号化信号生成手段が、
符号化信号伝送において他の符号化信号と区別するためのユニークコードからなる開始同期符号を前記差分符号化信号に付加するシーケンスヘッダ付加手段を備えたことを特徴とする符号化信号分離装置。
【請求項９２】
請求項１〜２２のいずれか１項または９１記載の符号化信号分離装置において、
前記差分符号化信号生成手段が、
前記第１符号化信号のビットレートを表す変更前ビットレート値符号を前記差分符号化信号内に付加するビットレート値付加手段を備えたことを特徴とする符号化信号分離装置。
【請求項９３】
請求項９２記載の符号化信号分離装置において、
前記ビットレート値付加手段が、
前記変更前ビットレート値符号として、前記第１符号化信号のビットレートを４００で除算した値を、前記差分符号化信号内に付加することを特徴とする符号化信号分離装置。
【請求項９４】
請求項２４〜２９のいずれか１項に記載の符号化信号合成装置において、
前記第１符号化信号合成手段が、
前記差分符号化信号から前記第１符号化信号のビットレートを表す変更前ビットレート値符号を取得し、前記第１符号化信号を復元するビットレート値復元手段を備えたことを特徴とする符号化信号合成装置。
【請求項９５】
請求項３１〜５２のいずれか１項に記載の符号化信号分離方法において、
前記差分符号化信号生成ステップが、
符号化信号伝送において他の符号化信号と区別するためのユニークコードからなる開始同期符号を前記差分符号化信号に付加するシーケンスヘッダ付加ステップを備えたことを特徴とする符号化信号分離方法。
【請求項９６】
請求項３１〜５２のいずれか１項または９５記載の符号化信号分離方法において、
前記差分符号化信号生成ステップが、
前記第１符号化信号のビットレートを表す変更前ビットレート値符号を前記差分符号化信号内に付加するビットレート値付加ステップを備えたことを特徴とする符号化信号分離方法。
【請求項９７】
請求項９６記載の符号化信号分離方法において、
前記ビットレート値付加ステップが、
前記変更前ビットレート値符号として、前記第１符号化信号のビットレートを４００で除算した値を、前記差分符号化信号内に付加することを特徴とする符号化信号分離方法。
【請求項９８】
請求項５４〜５９のいずれか１項に記載の符号化信号合成方法において、
前記第１符号化信号合成ステップが、
前記差分符号化信号から前記第１符号化信号のビットレートを表す変更前ビットレート値符号を取得し、前記第１符号化信号を復元するビットレート値復元ステップを備えたことを特徴とする符号化信号合成方法。
【請求項９９】
請求項６１〜８２のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、
前記差分符号化信号生成ステップが、
符号化信号伝送において他の符号化信号と区別するためのユニークコードからなる開始同期符号を前記差分符号化信号に付加するシーケンスヘッダ付加ステップを備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項１００】
請求項６１〜８２のいずれか１項または９９記載の符号化信号分離プログラムを記録した媒体において、
前記差分符号化信号生成ステップが、
前記第１符号化信号のビットレートを表す変更前ビットレート値符号を前記差分符号化信号内に付加するビットレート値付加ステップを備えたことを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項１０１】
請求項１００記載の符号化信号分離プログラムを記録した媒体において、
前記ビットレート値付加ステップが、
前記変更前ビットレート値符号として、前記第１符号化信号のビットレートを４００で除算した値を、前記差分符号化信号内に付加することを特徴とする符号化信号分離プログラムを記録した媒体。
【請求項１０２】
請求項８４〜８９のいずれか１項に記載の符号化信号合成プログラムを記録した媒体において、
前記第１符号化信号合成ステップが、
前記差分符号化信号から前記第１符号化信号のビットレートを表す変更前ビットレート値符号を取得し、前記第１符号化信号を復元するビットレート値復元ステップを備えたことを特徴とする符号化信号合成プログラムを記録した媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化信号分離・合成装置、方法および変換プログラムを記録した媒体に関し、特に、符号量変換処理時に、変換前後間の差分情報を作成し、変換された変換後情報から変換前の映像情報の復元を実現する符号化信号分離・合成装置、方法および変換プログラムを記録した媒体に関する。
【０００２】
【従来の技術】
動画像をディジタル化する技術において、発生する膨大な情報量を圧縮して符号化するための方式として、ディジタルビデオおよび付随するオーディオに対する符号化方式の標準規格ＩＳＯ／ＩＥＣ  １３８１８（通称、「ＭＰＥＧ−２」（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２））がある。このようにして生成されたＭＰＥＧ−２の規格に準拠したビットストリーム（以後、「ＭＰＥＧ−２ビットストリーム」と呼ぶ）は、通信やテレビジョン放送など幅広い分野で使用されている。
【０００３】
ＭＰＥＧ−２ビットストリームは階層構造を有し、最上位のシーケンスレイヤからＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤおよびブロックレイヤの順の各レイヤからなる。
【０００４】
ＭＰＥＧ−２においては、一連の複数の画面から構成される動画像において、各画面を一旦フレームメモリに保存し、フレーム間の差分を取ることによって時間軸方向の冗長度を削減し、さらに、各フレームを構成する複数の画素を離散コサイン変換（以後、「ＤＣＴ」と略す）等の直交変換処理を行うことにより空間軸方向の冗長度を削減することにより、効率良い動画像圧縮符号化を実現している。
【０００５】
符号化された信号は、復号器に送られて復号され再生される。復号器では、画面を再生し第１のフレームメモリに保存し、差分情報に基づいて次に続くべき画面を予測し第２のフレームメモリに保存し、２つのフレームからその間に挿入される画面をさらに予測して、一連の画面を構成し動画像を再生する。このような手法は双方向予測と呼ばれる。
【０００６】
ＭＰＥＧ−２では、この双方向予測を実現するために、Ｉピクチャ、ＰピクチャおよびＢピクチャという３つのタイプを規定している。Ｉピクチャは、イントラ符号化ピクチャの略であり、他のピクチャとは独立して静止画として符号化される画面のことである。Ｐピクチャは、順方向予測符号化ピクチャの略であり、時間的に過去に位置するＩまたはＰピクチャに基づいて予測符号化される画面のことである。Ｂピクチャは、双方向予測符号化ピクチャの略であり、時間的に前後に位置するＩまたはＰピクチャを用いて順方向、逆方向または双方向のピクチャに基づいて予測符号化される画面のことである。すなわち、ＩピクチャおよびＰピクチャを先に符号化処理した後、その間に挿入されるＢピクチャが符号化される。
【０００７】
符号化器で符号化されたＭＰＥＧ−２ビットストリームは、所定の転送速度で伝送路に送出され、該伝送路上の復号器に入力されて復号され再生される。しかしながら、動画像を符号化して発生する情報量は一定ではない。特にシーンチェンジ時には、情報量は一気に増大する。このように一定しない符号化信号を固定レートの伝送路に送出するために、予め送信用バッファのレベル以上の情報量が発生しないように符号化データのレート制御を行う必要がある。
【０００８】
ＭＰＥＧ−２では、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００  Ｔｅｓｔ  Ｍｏｄｅｌ  ５  （Ａｐｒｉｌ，  １９９３）（以後、「ＴＭ５」と略す）にレート制御方式が記載されている。
【０００９】
ＭＰＥＧ−２のＴＭ５のレート制御では、ステップ１で、まずピクチャタイプ毎にＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒに基づいてビット配分する。ステップ２で、マクロブロック単位に符号化処理を行う際に使用する量子化スケールを、ビット配分に基づいて算出した仮想バッファ占有量から算出する。
【００１０】
また、ＭＰＥＧ−２以外の圧縮フォーマットを有する復号器や、異なる転送速度の伝送路に接続された復号器も多数存在するため、異なる圧縮フォーマットや異なる転送速度にＭＰＥＧ−２ビットストリームを変換する動画圧縮符号化信号変換装置が必要となる。これを実現するための装置が所謂トランスコーダである。符号化器から伝送された画像圧縮符号化信号は、トランスコーダで適切な信号に変換され、各復号器に信号が供給される。
【００１１】
図２６に一般的な従来のトランスコーダ５０の第１例を示す。従来のトランスコーダ５０は、第１ビットレートを有する第１伝送路（図示なし）に接続され、第１ＭＰＥＧ−２ビットストリームｂ１を入力する可変長復号部（ＶＬＤ）５１と、逆量子化器５３と、量子化器５５と、第２ビットレートを有する第２伝送路（図示なし）に接続され、第２ＭＰＥＧ−２ビットストリームｂ２を出力するＶＬＣ５７と、量子化器５５で発生する符号量を制御するレート制御部５９と、を備えている。第２ビットレートは第１ビットレートより低い転送速度である。
【００１２】
ＶＬＤ５１および逆量子化器５３によって、第１ＭＰＥＧ−２ビットストリームｂ１をマクロブロック単位にＤＣＴ係数領域まで復号し、量子化器５５およびＶＬＣ５７によって、得られたＤＣＴ係数信号を符号化して、第１ＭＰＥＧ−２ビットストリームより少ない符号量を有する第２ＭＰＥＧ−２ビットストリームｂ２を生成するものである。
【００１３】
量子化器５５における量子化処理では、ＤＣＴ変換で得られた係数を所定の量子化ステップで除算する。これにより画像信号は圧縮される。この量子化ステップは、所定の量子化テーブルに含まれる複数の量子化マトリクス値に量子化スケールを乗算して求められる。
【００１４】
トランスコーダ５０では、第１ＭＰＥＧ−２ビットストリームｂ１内のシーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、スライスレイヤおよびマクロブロックレイヤの符号化情報を殆ど再利用する。基本的にブロックレイヤのＤＣＴ係数の変換およびブロックレイヤの変換に伴い修正が必要なマクロブロックレイヤの符号の変換の処理のみが行われる。
【００１５】
このように構成されたトランスコーダ５０において、レート制御部５９はＭＰＥＧ−２のＴＭ５に記載されているレート制御を行う。図２７に従来のトランスコーダ５０のレート制御処理のフローチャートを示す。同図に示されるように、従来のレート制御処理はステップＡ１〜Ａ１４からなる。
【００１６】
ステップＡ１で、変数ｎを１に設定する。ここで、変数ｎは、入力画像信号に含まれる複数のピクチャに付けられた番号を示し、以後、ｎ番目のピクチャをｐｉｃ（ｎ）と示す。
【００１７】
続くステップＡ２で、Ｉ、ＰおよびＢピクチャの複雑さを示す指標Ｘｉ、ＸｐおよびＸｂを下記の式（ａ１）、式（ａ２）および式（ａ３）により算出する。
【００１８】
Ｘｉ＝Ｓｉ×Ｑｉ                                          …式（ａ１）
【００１９】
Ｘｐ＝Ｓｐ×Ｑｐ                                          …式（ａ２）
【００２０】
Ｘｂ＝Ｓｂ×Ｑｂ                                          …式（ａ３）
【００２１】
ここで、Ｓｉ、ＳｐおよびＳｂはそれぞれＩ、ＰおよびＢピクチャの発生符号量であり、Ｑｉ、ＱｐおよびＱｂは、それぞれＩ、ＰおよびＢピクチャ内の全マクロブロックの量子化スケールコードの平均値である平均量子化パラメータである。ただし、平均量子化パラメータは１〜３１の範囲に正規化されている。
【００２２】
この画面の複雑さ指標Ｘｉ、ＸｐおよびＸｂは、符号化情報量が多く発生するような画像、すなわち低い圧縮率の画像に対して大きくなり、逆に高い圧縮率の画像に対しては小さくなる。
【００２３】
また、Ｉ、ＰおよびＢピクチャの画面の複雑さを示すパラメータＸｉ、ＸｐおよびＸｂの初期値は、次式（ａ４）、式（ａ５）および式（ａ６）でそれぞれ与えられる。
【００２４】
Ｘｉ＝１６０×ｔａｒｇｅｔ＿Ｂｉｔｒａｔｅ／１１５                    …式（ａ４）
【００２５】
Ｘｐ＝６０×ｔａｒｇｅｔ＿Ｂｉｔｒａｔｅ／１１５                      …式（ａ５）
【００２６】
Ｘｂ＝４２×ｔａｒｇｅｔ＿Ｂｉｔｒａｔｅ／１１５                      …式（ａ６）
【００２７】
ここで、ｔａｒｇｅｔ＿Ｂｉｔｒａｔｅは、トランスコーダ５０の目標ビットレートである。
【００２８】
続くステップＡ３で、ＧＯＰ内のＩ、ＰおよびＢピクチャに対する割り当て符号量Ｔｉ、ＴｐおよびＴｂを、次式（ａ７）、式（ａ８）および式（ａ９）によりそれぞれ算出する。ただし、ＮｐおよびＮｂは、それぞれＧＯＰ内の未符号化のＰおよびＢピクチャの数を示す。
【数１】
0003561485.tif 000002
ここで、ＫｐおよびＫｂは、Ｉピクチャの量子化スケールコードを基準としたＰおよびＢピクチャの量子化スケールコードの比率を示し、Ｋｐ＝１．０およびＫｂ＝１．４になる場合に、常に全体の画質が最適化されると仮定する。
【００２９】
続くステップＡ４で、変数ｎが１か否かの判定がなされる。すなわち、符号化対象のピクチャが１番目のピクチャｐｉｃ（１）か否かの判定がなされる。１番目のピクチャの場合、ステップＡ５へ進み、１番目のピクチャでない場合はステップＡ６へ進む。ステップＡ５では、次式（ａ１０）によりＧＯＰ内の一番初めのピクチャｐｉｃ（１）を符号化する時のＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを求める。
【００３０】
Ｒ＝ｔａｒｇｅｔ＿Ｂｉｔｒａｔｅ×Ｎ／ｐｉｃｔｕｒｅ＿ｒａｔｅ＋Ｒ                …式（ａ１０）
【００３１】
ここで、ＮはＧＯＰ内のピクチャの総数、ｐｉｃｔｕｒｅ＿ｒａｔｅは、入力画像の時間解像度を示す値であり、１秒間に復号され表示される画面の枚数を示す。
【００３２】
ステップＡ６では、ＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを（ｎ−１）番目のピクチャｐｉｃ（ｎ−１）が符号化された時のＩ、ＰおよびＢピクチャの発生符号量Ｓｉ、ＳｐまたはＳｂに基づいて、次式（ａ１１）、式（ａ１２）および式（ａ１３）の何れかにより更新する。
【００３３】
Ｒ＝Ｒ−Ｓｉ                                            …式（ａ１１）
【００３４】
Ｒ＝Ｒ−Ｓｐ                                            …式（ａ１２）
【００３５】
Ｒ＝Ｒ−Ｓｂ                                            …式（ａ１３）
【００３６】
ステップＡ５およびＡ６はともにステップＡ７へ進み、変数ｊに１を設定する。ここで、変数ｊは、１ピクチャ内の複数のマクロブロックに付けられた番号を示し、以後、ｊ番目のマクロブロックをＭＢ（ｊ）と示す。
【００３７】
続くステップＡ８で、Ｉ、ＰおよびＢピクチャ内のｊ番目のマクロブロックＭＢ（ｊ）を符号化する時の仮想バッファの占有量ｄｉ（ｊ）、ｄｐ（ｊ）およびｄｂ（ｊ）が次式（ａ１４）、式（ａ１５）および式（ａ１６）によりそれぞれ算出される。
【数２】
0003561485.tif 000003
ここで、Ｂ（ｊ−１）は、（ｊ−１）番目のマクロブロックＭＢ（ｊ−１）までの全マクロブロックの発生符号量である。
【００３８】
また、ｄｉ（０）、ｄｐ（０）およびｄｂ（０）は、それぞれＩ、ＰおよびＢピクチャの仮想バッファ占有量の初期値であり、次式（ａ１７）、式（ａ１８）および式（ａ１９）でそれぞれ与えられる。
【００３９】
ｄｉ（０）＝１０×ｒ／３１                                  …式（ａ１７）
【００４０】
ｄｐ（０）＝Ｋｐ×ｄｉ（０）                                      …式（ａ１８）
【００４１】
ｄｂ（０）＝Ｋｂ×ｄｉ（０）                                      …式（ａ１９）
【００４２】
ここで、ｒはリアクションパラメータと呼ばれ、下記の式（ａ２０）で示され、フィードバックループの応答速度を制御する。
【００４３】
ｒ＝２×ｔａｒｇｅｔ＿Ｂｉｔｒａｔｅ／ｐｉｃｔｕｒｅ＿ｒａｔｅ                    …式（ａ２０）
【００４４】
また、Ｉ、ＰおよびＢピクチャ符号化終了時の仮想バッファ占有量、すなわちＮＭＢ番目のマクロブロックＭＢ（ＮＭＢ）を符号化したときの仮想バッファ占有量ｄｉ（ＮＭＢ）、ｄｐ（ＮＭＢ）およびｄｂ（ＮＭＢ）は、ピクチャタイプ毎に、次回符号化する時の仮想バッファ占有量の初期値ｄｉ（０）、ｄｐ（０）およびｄｂ（０）として用いられる。
【００４５】
続くステップＡ９で、上記の仮想バッファの占有量ｄ（ｊ）に基づいて、各ピクチャ毎にｊ番目のマクロブロックＭＢ（ｊ）に対する量子化スケールコードＱ（ｊ）を次式（ａ２１）により求める。
【００４６】
Ｑ（ｊ）＝ｄ（ｊ）×３１／ｒ                                  …式（ａ２１）
【００４７】
続くステップＡ１０で、ステップＡ９で算出された量子化スケールコードＱ（ｊ）を使用してｊ番目のマクロブロックＭＢ（ｊ）を量子化する。続くステップＡ１１で、変数ｊをインクリメントして、ステップＡ１２へ進み、変数ｊがマクロブロック総数ＮＭＢを超えているか否かの判定をする。ここで、ＮＭＢはｎ番目のピクチャｐｉｃ（ｎ）内に含まれるマクロブロックの総数である。変数ｊがマクロブロック総数ＮＭＢを超えていない場合は、ステップＡ８へ戻り、変数ｊがマクロブロック総数ＮＭＢを超えている場合は、ステップＡ１３へ進む。
【００４８】
このようにして、変数ｊは、ステップＡ８〜Ａ１１の符号化処理を繰り返すためのループカウンタとしても使用される。これにより、ｎ番目のピクチャｐｉｃ（ｎ）内の１番目のマクロブロックＭＢ（１）からＮＭＢ番目のマクロブロックＭＢ（ＮＭＢ）まで全てのマクロブロックに対して順次符号化処理を行うことができる。
【００４９】
ステップＡ１３で、変数ｎをインクリメントして、ステップＡ１４へ進み、変数ｎが符号化対象のピクチャ総数ＮＰＩＣを超えているか否かの判定をする。ここで、変数ｎがピクチャ総数ＮＰＩＣを超えていない場合は、ステップＡ２へ戻り、変数ｎがピクチャ総数ＮＰＩＣを超えている場合は、本処理を終了する。
【００５０】
このように第１のトランスコーダ５０では、ＩおよびＰピクチャ周期などのような画像構造に関する情報を持ち得ないために、図２７に示されたＴＭ５のレート制御のような、画像ＧＯＰ構造などの情報に基づいてビット配分を行う方法は、入力画像構造を仮定しなければ行うことができない。
【００５１】
そこで、ＧＯＰ構造を仮定せずにレート制御を行う方法を採用した例として、図２８に示される第２の従来のトランスコーダ６０がある。同図に示されるように、第２の従来のトランスコーダ６０は、上記第１の従来のトランスコーダ５０の構成に加えて、遅延回路６１と、ビットレート比率計算部６３と、入力符号量積算部６５と、差分符号量計算部６７と、目標出力符号量更新部６９と、量子化スケールコード算出部７１と、を備えている。
【００５２】
このように構成されたトランスコーダ６０の処理の流れを図２９に示す。同図に示されるように、トランスコーダ６０の処理は、ステップＢ１〜Ｂ１３からなる。ステップＢ６〜Ｂ１３は、上記第１従来例に示されたレート処理のステップＡ７〜Ａ１４と同じである。但し、ステップＢ７では、目標出力符号量更新部６９で算出された目標出力符号量Ｔｏｕｔに基づいて、仮想バッファ占有量の算出がなされる。
【００５３】
また、同様にＧＯＰ構造を仮定せずにレート制御を行う方法を採用した別の例として、図３０および図３１に従来のトランスコーダの第３例を示す。図３０に示されるように、第３の従来のトランスコーダ８０は、第１ビットレートを有する第１伝送路に接続され、入力ビットストリームｂ３を入力するＶＬＤ８１と、第１の従来のトランスコーダ５０と同じ、逆量子化器５３と、量子化器５５と、ＶＬＣ５７と、を含み、図２８のトランスコーダ６０と同じビットレート比率計算部６３と、差分符号量計算部６７と、を含み、さらに、目標出力符号量更新部８３と、量子化スケールコード算出部８５と、を備えている。
【００５４】
第３の従来のトランスコーダ８０では、ビットストリームｂ３に予め符号量を情報として記述しておき、その情報に基づいてレート制御を行うものである。
【００５５】
しかしながら、トランスコーダは符号化処理後の信号を対象としているために、符号化前の元の信号は知ることはできない。したがって、符号量制御においては、トランスコード処理後の画像自身の歪みではなく、再量子化処理によって新たに発生する歪みに着目して、この歪みを抑制することにより、画質の低下を抑制しながら符号量の削減を実現しなければならない。
【００５６】
そこで、本願出願人は、先に特願平１１−２７８８６７号を出願した。
【００５７】
この特願平１１−２７８８６７号に記載したものは、復号量子化パラメータおよび再量子化パラメータに依存した再量子化レート歪み関数を考慮することにより、復号量子化パラメータ、および前段で算出された量子化パラメータに基づいて最適な量子化パラメータの算出を実現する動画像圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体である。
【００５８】
このものは、逆量子化を行う逆量子化器と、再量子化を行う量子化器と、を備えたトランスコーダにおいて、入力量子化パラメータに基づくレート歪み関数を考慮し、量子化パラメータを切り換える量子化パラメータ切り換え部を設けることにより、量子化係数領域データから再量子化係数領域データへの変換時における誤差を極力抑えることができる。
【００５９】
このように、トランスコーダは様々な利用環境に適した形へのビットストリーム変換を実現する処理器である。
【００６０】
ところで、最低限の品質を保証した基本となる映像信号を提供する基本階層と、高品位な映像信号を提供する高位階層という形に映像信号を分けて符号化する方式として、データパーティショニングとＳＮＲスケーラビリティがある。
【００６１】
データパーティショニングは、符号化されるＤＣＴ係数を低周波部と高周波部に分離して、別々のビットストリームとして符号化する方式である。低周波部はそれ自身で映像信号を表現できるが、高周波部は低周波部と組み合わせる形で利用され、低周波部に付加して復号することにより高品位な映像の再生を実現する。
【００６２】
ＳＮＲスケーラビリティは、基準となる低ＳＮＲ映像（基本階層）と、同一の解像度のもとで基準映像の品質を向上させるための補助信号（高位階層）として階層符号化する方式である。基本階層信号は、量子化器で粗く量子化されて低ＳＮＲのビットストリームとして生成される。この低ＳＮＲ信号は、逆量子化を経て、粗く量子化されたＤＣＴ係数の再生値が生成される。このあと、この再生ＤＣＴ係数値と量子化前のＤＣＴ係数値との差分をとり、この差分信号を細かく量子化して高位階層信号として出力する。高位階層信号は、低ＳＮＲ信号（基本階層信号）に足し込むことで高ＳＮＲ信号を得るための付加情報である。
【００６３】
【発明が解決しようとする課題】
しかしながら、上記で述べたような変換処理は、ＱｏＳレベルを下げる方向への変換である。その中でも、ビットレート削減を行うトランスコーダは、入力ビットストリームを可変長復号、逆量子化して得られるＤＣＴ係数を逆量子化時よりも粗いステップサイズで再量子化することで、符号量の削減を実現する。
【００６４】
これらのトランスコーダは一方向のみの変換であるから、後で変換前のＱｏＳレベルが必要となったときに、トランスコード処理後のビットストリームから元の変換前のビットストリームを生成することは不可能である。
【００６５】
また、データパーティショニングは、符号化の段階で分離されたビットストリームを生成するが、非階層のＭＰ＠ＭＬ準拠のＭＰＥＧ−２ビットストリームを入力として上記の機能を実現する方法はまだ確立されていない。また、トランスコーダの出力部分（符号化部分）にデータパーティショニング符号化方式を適用したとしても、出力ビットストリームはデータパーティショニングに基づくシンタックスであるので、復号するためにはデータパーティショニングに対応した専用のデコーダが必要とされ、ＭＰ＠ＭＬ準拠の復号器では復号できないという問題がある。というのも、データパーティショニングのシンタックスでは、低周波係数と高周波係数との境界を決めるためのＰｒｉｏｒｉｔｙ＿ｂｒｅａｋ＿ｐｏｉｎｔ符号が規定されているが、これにより復号器がＰｒｉｏｒｉｔｙ＿ｂｒｅａｋ＿ｐｏｉｎｔを認識可能である必要がある。また、低周波側のビットストリームにはＥＯＢ符号は存在していないため、ＭＰ＠ＭＬ準拠の復号器では再生不可能である。
【００６６】
また、ＳＮＲスケーラビリティ技術は、データパーティショニングと同様に、符号化の段階で基本階層と高位階層のビットストリームを生成する処理である。そして、これを実現するためにはスケーラビリティに対応した専用の符号化器／復号器が必要となる。また、ＳＮＲスケーラビリティ対応の符号化器／復号器は、基本階層と高位階層の双方で、並列的に処理を行う機構を要求するため、処理器の構成が複雑になるという問題がある。さらに、ＳＮＲスケーラビリティ対応の復号器は双方のビットストリームを受け取ることは可能であるが、復号器から得られる出力信号は復号再生映像そのものでありビットストリームではない。したがって、スケーラビリティは、双方のビットストリームから新たにビットストリームを生成するときには再度符号化処理を行う必要がある。
【００６７】
データパーティショニングやスケーラビリティが通常の符号化器／復号器で再生できず、専用の機能を要求してしまうのは、上記のように、専用の処理を符号化器および復号器で行おうとしているからである。
【００６８】
そこで、本発明では、分離装置によりＭＰＥＧ−２ビットストリームを入力とし、従来のトランスコーダによって変換され出力されるＭＰＥＧ−２ビットストリームを出力するとともに、変換前後間の差分情報を生成し出力して、合成装置によりＭＰＥＧ−２ビットストリームと、変換前後間の差分情報とを入力して、合成処理を行い出力することにより、変換前と同等のＭＰＥＧ−２ビットストリームを得ることができ、低レートで低品質なＭＰＥＧ−２ビットストリームだけを受信しておき、必要に応じて差分情報を受信することにより、レート削減前の高品質なＭＰＥＧ−２ビットストリームを得ることができる。
【００６９】
また、分離器による変換後のＭＰＥＧ−２ビットストリームのみを受信する場合においては、スケーラビリティやデータパーティショニングのように特別な機能を必要とせず、従来の処理機能を備えていればよく、復号処理やトランスコードを行うことができる。
【００７０】
【課題を解決するための手段】
請求項１記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する入力手段と、該入力手段に入力された第１符号化信号に符号量変換処理を行い、第２符号化信号に変換する符号化信号変換手段と、前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成手段と、を備え、
【００７１】
前記差分符号化信号生成手段が、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とするものである。
【００７２】
請求項２記載の発明は、上記課題を解決するため、請求項１記載の符号化信号分離装置において、前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、前記差分符号化信号生成手段が、前記差分符号化信号を前記階層構造にしたがって生成することを特徴とするものである。
【００７３】
請求項３記載の発明は、上記課題を解決するため、請求項１または２記載の符号化信号分離装置において、前記第１係数情報が前記符号化信号変換手段により前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
【００７４】
前記差分符号化信号生成手段が、前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離手段と、前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化する零係数符号化手段と、前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化する非零係数符号化手段と、を備えたことを特徴とするものである。
【００７５】
請求項４記載の発明は、上記課題を解決するため、請求項３記載の符号化信号分離装置において、前記非零係数符号化手段が、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とするものである。
【００７６】
請求項５記載の発明は、上記課題を解決するため、請求項４記載の符号化信号分離装置において、前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、
【００７７】
前記非零係数符号化手段が、前記非零係数差分情報の係数情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とするものである。
【００７８】
請求項６記載の発明は、上記課題を解決するため、請求項３〜５のいずれか１項に記載の符号化信号分離装置において、前記零係数符号化手段が、前記第１係数情報群から前記非零係数変換第１係数情報を取り除き、該零係数変換第１係数情報のみの第１係数情報群をジグザグスキャンし、連続する零係数の数を示すランと該ランに続く非零係数の係数値を示すレベルとを組み合わせ、該組み合わせを前記零係数差分情報として生成する零係数差分情報生成手段を有し、該零係数差分情報生成手段が、前記非零係数変換第１係数情報が存在していた位置を除き前記零係数変換第１係数情報が存在する位置のみを前記ラン値として数えることを特徴とするものである。
【００７９】
請求項７記載の発明は、上記課題を解決するため、請求項１〜６のいずれか１項に記載の符号化信号分離装置において、前記差分符号化信号生成手段が、前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを生成し、符号化する符号化ブロックパターン符号化手段を備えたことを特徴とするものである。
【００８０】
請求項８記載の発明は、上記課題を解決するため、請求項７記載の符号化信号分離装置において、前記符号化ブロックパターン符号化手段が、前記第２符号化信号のブロックが符号化不要の位置についてのみ、前記差分符号化信号の符号化ブロックパターンの前記位置の値を有意差分ＣＢＰ値として符号化することを特徴とするものである。
【００８１】
請求項９記載の発明は、上記課題を解決するため、請求項１〜８のいずれか１項に記載の符号化信号分離装置において、前記差分符号化信号生成手段が、前記第１符号化信号と前記第２符号化信号との差分情報が発生するマクロブロックのみを前記差分符号化信号のマクロブロック情報として符号化する差分マクロブロック符号化手段と、該差分マクロブロック符号化手段により符号化されるマクロブロックの位置を示す差分符号発生ＭＢアドレスを生成し、該差分符号発生ＭＢアドレスと直前の差分情報のマクロブロック位置を示す差分符号発生ＭＢアドレスとの差を示す差分符号発生ＭＢアドレス制御符号を符号化するＭＢＡＩ符号化手段と、を備えたことを特徴とするものである。
【００８２】
請求項１０記載の発明は、上記課題を解決するため、請求項１〜９のいずれか１項に記載の符号化信号分離装置において、前記符号化信号変換手段が、前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を逆量子化し、該逆量子化されたマクロブロックを第２マクロブロック量子化パラメータにより再量子化して前記第２符号化信号を生成し、前記差分符号化信号生成手段が、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化手段を備えたことを特徴とするものである。
【００８３】
請求項１１記載の発明は、上記課題を解決するため、請求項１〜９のいずれか１項に記載の符号化信号分離装置において、前記符号化信号変換手段が、前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を、前記第１マクロブロック量子化パラメータと前記第２符号化信号内のマクロブロック情報を逆量子化する際のパラメータである第２マクロブロック量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、前記差分符号化信号生成手段が、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化手段を備えたことを特徴とするものである。
【００８４】
請求項１２記載の発明は、上記課題を解決するため、請求項１０または１１記載の符号化信号分離装置において、前記マクロブロック量子化パラメータ復元情報符号化手段が、前記マクロブロック量子化パラメータ復元情報を、前記第２マクロブロック量子化パラメータから前記第１マクロブロック量子化パラメータを復元させる量子化パラメータ導出定数を用いて生成することを特徴とするものである。
【００８５】
請求項１３記載の発明は、上記課題を解決するため、請求項１２記載の符号化信号分離装置において、前記第１符号化信号から生成されるマクロブロックと該マクロブロックに対応する前記第２符号化信号から生成されるマクロブロックとの差分情報から生成されるマクロブロック情報を差分マクロブロック情報とし、前記マクロブロック量子化パラメータ復元情報符号化手段が、前記マクロブロック量子化パラメータ復元情報を、前記量子化パラメータ導出定数と、直前に符号化した差分マクロブロック情報の前記マクロブロック量子化パラメータ復元情報と、の差分から生成することを特徴とするものである。
【００８６】
請求項１４記載の発明は、上記課題を解決するため、請求項１〜１３のいずれか１項に記載の符号化信号分離装置において、前記符号化信号変換手段が、前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を逆量子化し、該逆量子化されたスライス内のマクロブロックを第２スライス量子化パラメータをもとに再量子化して前記第２符号化信号を生成し、前記差分符号化信号生成手段が、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化手段を備えたことを特徴とするものである。
【００８７】
請求項１５記載の発明は、上記課題を解決するため、請求項１〜１３のいずれか１項に記載の符号化信号分離装置において、前記符号化信号変換手段が、前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を、前記第１スライス量子化パラメータと前記第２符号化信号内のスライス内のマクロブロック情報を逆量子化する際の基準パラメータである第２スライス量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、前記差分符号化信号生成手段が、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化手段を備えたことを特徴とするものである。
【００８８】
請求項１６記載の発明は、上記課題を解決するため、請求項１４または１５記載の符号化信号分離装置において、前記スライス量子化パラメータ復元情報符号化手段が、前記スライス量子化パラメータ復元情報を、前記第２スライス量子化パラメータから前記第１スライス量子化パラメータを復元させるスライス量子化パラメータ導出定数として生成することを特徴とするものである。
【００８９】
請求項１７記載の発明は、上記課題を解決するため、請求項１〜１６のいずれか１項に記載の符号化信号分離装置において、前記差分符号化信号生成手段が、前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を前記差分符号化信号内に付加するＶＢＶ遅延付加手段を備えたことを特徴とするものである。
【００９０】
請求項１８記載の発明は、上記課題を解決するため、請求項３〜６のいずれか１項に記載の符号化信号分離装置において、前記差分符号化信号生成手段が、前記係数値の変化情報の値に可変長符号語を割り当てる可変長符号化テーブルを、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に応じて、切り替える可変長符号化テーブル切り替え手段と、前記係数値の変化情報の値を、前記割り当てられた可変長符号化テーブルにしたがって、可変長符号化する可変長符号化手段と、を備えたことを特徴とするものである。
【００９１】
請求項１９記載の発明は、上記課題を解決するため、請求項５記載の符号化信号分離装置において、前記差分符号化信号生成手段が、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数と、前記非零係数符号化手段が前記非零係数変換第１係数情報の係数値を予測した値の誤差である予測誤差値と、に基づいて前記予測誤差値を可変長符号化する符号語を計算により求めることを特徴とするものである。
【００９２】
請求項２０記載の発明は、上記課題を解決するため、請求項６記載の符号化信号分離装置において、前記差分符号化信号生成手段が、前記ランの値に対し値の出現頻度に応じた可変長符号値を割り当てる可変長符号化テーブルに基づいて、前記ランの値を可変長符号化するラン可変長符号化手段と、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に基づいて可変長符号化に用いる符号語を計算により求めて、前記レベルの値を可変長符号化するレベル可変長符号化手段と、を有することを特徴とするものである。
【００９３】
請求項２１記載の発明は、上記課題を解決するため、請求項８記載の符号化信号分離装置において、マクロブロック内の、輝度ブロックの符号化不要ブロック数を不要輝度ブロック数とし、色差ブロックの符号化不要ブロック数を不要色差ブロック数とし、前記有意差分ＣＢＰ値を、輝度成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分輝度ＣＢＰ値とし、色差成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分色差ＣＢＰ値とし、前記有意差分輝度ＣＢＰ値の当該マクロブロック内の全てを有意差分輝度ＣＢＰとし、前記有意差分色差ＣＢＰ値の当該マクロブロック内の全てを有意差分色差ＣＢＰとし、
【００９４】
前記符号化ブロックパターン符号化手段が、前記第２符号化信号の当該マクロブロック内の符号化不要ブロックの数を、前記不要輝度ブロック数と、前記不要色差ブロック数とを、それぞれ数える符号化不要ブロックカウント手段と、前記有意差分輝度ＣＢＰを可変長符号値が割り当てられる輝度可変長符号化テーブルにしたがって符号化する有意差分輝度ＣＢＰ符号化手段と、前記有意差分色差ＣＢＰを可変長符号値が割り当てられる色差可変長符号化テーブルにしたがって符号化する有意差分色差ＣＢＰ符号化手段と、を有し、前記有意差分輝度ＣＢＰ符号化手段が、前記不要輝度ブロック数に基づいて前記輝度可変長符号化テーブルを切り替え、前記有意差分色差ＣＢＰ符号化手段が、前記不要色差ブロック数に基づいて前記色差可変長符号化テーブルを切り替えることを特徴とするものである。
【００９５】
請求項２２記載の発明は、上記課題を解決するため、請求項１３記載の符号化信号分離装置において、前記マクロブロック量子化パラメータ復元情報符号化手段が、前記生成したマクロブロック量子化パラメータ復元情報を、該マクロブロック量子化パラメータ復元情報の値に基づいて可変長符号化に用いる符号語を計算により求めることを特徴とするものである。
【００９６】
請求項２３記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力する第１符号化信号入力手段と、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力する第２符号化信号入力手段と、前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成手段と、を備え、
【００９７】
前記差分符号化信号生成手段が、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とするものである。
【００９８】
請求項２４記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力する第２符号化信号入力手段と、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を入力する差分符号化信号入力手段と、前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成手段と、を備え、
【００９９】
前記第１符号化信号合成手段が、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報を復元することにより、前記第１符号化信号を合成することを特徴とするものである。
【０１００】
請求項２５記載の発明は、上記課題を解決するため、請求項２４記載の符号化信号合成装置において、前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、前記零係数変換第１係数情報と前記零係数第２係数情報とに基づいて生成された差分情報を零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された差分情報を非零係数差分情報とし、
【０１０１】
前記第１符号化信号合成手段が、前記第２符号化信号内の前記零係数第２係数情報と、前記差分符号化信号内の前記零係数差分情報と、に基づいて前記零係数変換第１係数情報を生成する零係数変換第１係数情報生成手段と、前記第２符号化信号内の前記非零係数第２係数情報と、前記差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成手段と、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、を合成する第１係数情報合成手段と、を備えたことを特徴とするものである。
【０１０２】
請求項２６記載の発明は、上記課題を解決するため、請求項２４または２５記載の符号化信号合成装置において、前記第１符号化信号合成手段が、前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを復号することにより、前記第１符号化信号の符号化ブロックパターンを復元する符号化ブロックパターン復元手段を備えたことを特徴とするものである。
【０１０３】
請求項２７記載の発明は、上記課題を解決するため、請求項２４〜２６のいずれか１項に記載の符号化信号合成装置において、前記第１符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第２マクロブロック量子化パラメータに量子化された符号化信号であり、
【０１０４】
前記第１符号化信号合成手段が、前記差分符号化信号から前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を復号し、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報復元手段を備えたことを特徴とするものである。
【０１０５】
請求項２８記載の発明は、上記課題を解決するため、請求項２４〜２７のいずれか１項に記載の符号化信号合成装置において、前記第１符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第２スライス量子化パラメータをもとに量子化された符号化信号であり、
【０１０６】
前記第１符号化信号合成手段が、前記差分符号化信号から前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を復号し、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報復元手段を備えたことを特徴とするものである。
【０１０７】
請求項２９記載の発明は、上記課題を解決するため、請求項２４〜２８のいずれか１項に記載の符号化信号合成装置において、前記第１符号化信号合成手段が、前記差分符号化信号から前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を取得し、前記第１符号化信号内に付加するＶＢＶ遅延付加手段を備えたことを特徴とするものである。
【０１０８】
請求項３０記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い、第２符号化信号に変換して出力するとともに、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を出力する符号化信号分離装置と、前記第２符号化信号と前記差分符号化信号とを入力して、前記第１符号化信号を合成して出力する符号化信号合成装置と、を備え、
【０１０９】
前記符号化信号分離装置が、前記第１符号化信号を入力する入力手段と、該入力手段に入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換手段と、前記差分符号化信号を生成する差分符号化信号生成手段と、前記第２符号化信号を前記符号化信号合成装置に出力する第２符号化信号出力手段と、前記差分符号化信号を前記符号化信号合成装置に出力する差分符号化信号出力手段と、を有し、
【０１１０】
前記符号化信号合成装置が、前記符号化信号分離装置から前記第２符号化信号を入力する第２符号化信号入力手段と、前記符号化信号分離装置から前記差分符号化信号を入力する差分符号化信号入力手段と、前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成手段と、前記第１符号化信号を出力する第１符号化信号出力手段と、を有することを特徴とするものである。
【０１１１】
請求項３１記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させる入力ステップと、該入力された第１符号化信号に符号量変換処理を行い、第２符号化信号に変換する符号化信号変換ステップと、前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【０１１２】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とするものである。
【０１１３】
請求項３２記載の発明は、上記課題を解決するため、請求項３１記載の符号化信号分離方法において、前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、前記差分符号化信号生成ステップが、前記差分符号化信号を前記階層構造にしたがって生成することを特徴とするものである。
【０１１４】
請求項３３記載の発明は、上記課題を解決するため、請求項３１または３２記載の符号化信号分離方法において、前記第１係数情報が前記符号化信号変換ステップにより前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
【０１１５】
前記差分符号化信号生成ステップが、前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離ステップと、前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化する零係数符号化ステップと、前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化する非零係数符号化ステップと、を備えたことを特徴とするものである。
【０１１６】
請求項３４記載の発明は、上記課題を解決するため、請求項３３記載の符号化信号分離方法において、前記非零係数符号化ステップが、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とするものである。
【０１１７】
請求項３５記載の発明は、上記課題を解決するため、請求項３４記載の符号化信号分離方法において、前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、前記非零係数符号化ステップが、前記非零係数差分情報の係数情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とするものである。
【０１１８】
請求項３６記載の発明は、上記課題を解決するため、請求項３３〜３５のいずれか１項に記載の符号化信号分離方法において、前記零係数符号化ステップが、前記第１係数情報群から前記非零係数変換第１係数情報を取り除き、該零係数変換第１係数情報のみの第１係数情報群をジグザグスキャンし、連続する零係数の数を示すランと該ランに続く非零係数の係数値を示すレベルとを組み合わせ、該組み合わせを前記零係数差分情報として生成する零係数差分情報生成ステップを有し、該零係数差分情報生成ステップが、前記非零係数変換第１係数情報が存在していた位置を除き前記零係数変換第１係数情報が存在する位置のみを前記ラン値として数えることを特徴とするものである。
【０１１９】
請求項３７記載の発明は、上記課題を解決するため、請求項３１〜３６のいずれか１項に記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを生成し、符号化する符号化ブロックパターン符号化ステップを備えたことを特徴とするものである。
【０１２０】
請求項３８記載の発明は、上記課題を解決するため、請求項３７記載の符号化信号分離方法において、前記符号化ブロックパターン符号化ステップが、前記第２符号化信号のブロックが符号化不要の位置についてのみ、前記差分符号化信号の符号化ブロックパターンの前記位置の値を有意差分ＣＢＰ値として符号化することを特徴とするものである。
【０１２１】
請求項３９記載の発明は、上記課題を解決するため、請求項３１〜３８のいずれか１項に記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、前記第１符号化信号と前記第２符号化信号との差分情報が発生するマクロブロックのみを前記差分符号化信号のマクロブロック情報として符号化する差分マクロブロック符号化ステップと、該差分マクロブロック符号化ステップにより符号化されるマクロブロックの位置を示す差分符号発生ＭＢアドレスを生成し、該差分符号発生ＭＢアドレスと直前の差分情報のマクロブロック位置を示す差分符号発生ＭＢアドレスとの差を示す差分符号発生ＭＢアドレス制御符号を符号化するＭＢＡＩ符号化ステップと、を備えたことを特徴とするものである。
【０１２２】
請求項４０記載の発明は、上記課題を解決するため、請求項３１〜３９のいずれか１項に記載の符号化信号分離方法において、前記符号化信号変換ステップが、前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を逆量子化し、該逆量子化されたマクロブロックを第２マクロブロック量子化パラメータにより再量子化して前記第２符号化信号を生成し、前記差分符号化信号生成ステップが、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化ステップを備えたことを特徴とするものである。
【０１２３】
請求項４１記載の発明は、上記課題を解決するため、請求項３１〜３９のいずれか１項に記載の符号化信号分離方法において、前記符号化信号変換ステップが、前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を、前記第１マクロブロック量子化パラメータと前記第２符号化信号内のマクロブロック情報を逆量子化する際のパラメータである第２マクロブロック量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、前記差分符号化信号生成ステップが、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化ステップを備えたことを特徴とするものである。
【０１２４】
請求項４２記載の発明は、上記課題を解決するため、請求項４０または４１記載の符号化信号分離方法において、前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記マクロブロック量子化パラメータ復元情報を、前記第２マクロブロック量子化パラメータから前記第１マクロブロック量子化パラメータを復元させる量子化パラメータ導出定数を用いて生成することを特徴とするものである。
【０１２５】
請求項４３記載の発明は、上記課題を解決するため、請求項４２記載の符号化信号分離方法において、前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記マクロブロック量子化パラメータ復元情報を、前記量子化パラメータ導出定数と、直前に符号化した差分マクロブロック情報の前記マクロブロック量子化パラメータ復元情報と、の差分から生成することを特徴とするものである。
【０１２６】
請求項４４記載の発明は、上記課題を解決するため、請求項３１〜４３のいずれか１項に記載の符号化信号分離方法において、前記符号化信号変換ステップが、前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を逆量子化し、該逆量子化されたスライス内のマクロブロックを第２スライス量子化パラメータをもとに再量子化して前記第２符号化信号を生成し、前記差分符号化信号生成ステップが、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化ステップを備えたことを特徴とするものである。
【０１２７】
請求項４５記載の発明は、上記課題を解決するため、請求項３１〜４３のいずれか１項に記載の符号化信号分離方法において、前記符号化信号変換ステップが、前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を、前記第１スライス量子化パラメータと前記第２符号化信号内のスライス内のマクロブロック情報を逆量子化する際の基準パラメータである第２スライス量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、前記差分符号化信号生成ステップが、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化ステップを備えたことを特徴とするものである。
【０１２８】
請求項４６記載の発明は、上記課題を解決するため、請求項４４または４５記載の符号化信号分離方法において、前記スライス量子化パラメータ復元情報符号化ステップが、前記スライス量子化パラメータ復元情報を、前記第２スライス量子化パラメータから前記第１スライス量子化パラメータを復元させるスライス量子化パラメータ導出定数として生成することを特徴とするものである。
【０１２９】
請求項４７記載の発明は、上記課題を解決するため、請求項３１〜４６のいずれか１項に記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を前記差分符号化信号内に付加するＶＢＶ遅延付加ステップを備えたことを特徴とするものである。
【０１３０】
請求項４８記載の発明は、上記課題を解決するため、請求項３３〜３６のいずれか１項に記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、前記係数値の変化情報の値に可変長符号語を割り当てる可変長符号化テーブルを、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に応じて、切り替える可変長符号化テーブル切り替えステップと、前記係数値の変化情報の値を、前記割り当てられた可変長符号化テーブルにしたがって、可変長符号化する可変長符号化ステップと、を備えたことを特徴とするものである。
【０１３１】
請求項４９記載の発明は、上記課題を解決するため、請求項３５記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数と、前記非零係数符号化ステップが前記非零係数変換第１係数情報の係数値を予測した値の誤差である予測誤差値と、に基づいて前記予測誤差値を可変長符号化する符号語を計算により求めることを特徴とするものである。
【０１３２】
請求項５０記載の発明は、上記課題を解決するため、請求項３６記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、前記ランの値に対し値の出現頻度に応じた可変長符号値を割り当てる可変長符号化テーブルに基づいて、前記ランの値を可変長符号化するラン可変長符号化ステップと、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に基づいて可変長符号化に用いる符号語を計算により求めて、前記レベルの値を可変長符号化するレベル可変長符号化ステップと、を有することを特徴とするものである。
【０１３３】
請求項５１記載の発明は、上記課題を解決するため、請求項３８記載の符号化信号分離方法において、マクロブロック内の、輝度ブロックの符号化不要ブロック数を不要輝度ブロック数とし、色差ブロックの符号化不要ブロック数を不要色差ブロック数とし、前記有意差分ＣＢＰ値を、輝度成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分輝度ＣＢＰ値とし、色差成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分色差ＣＢＰ値とし、前記有意差分輝度ＣＢＰ値の当該マクロブロック内の全てを有意差分輝度ＣＢＰとし、前記有意差分色差ＣＢＰ値の当該マクロブロック内の全てを有意差分色差ＣＢＰとし、
【０１３４】
前記符号化ブロックパターン符号化ステップが、前記第２符号化信号の当該マクロブロック内の符号化不要ブロックの数を、前記不要輝度ブロック数と、前記不要色差ブロック数とを、それぞれ数える符号化不要ブロックカウントステップと、前記有意差分輝度ＣＢＰを可変長符号値が割り当てられる輝度可変長符号化テーブルにしたがって符号化する有意差分輝度ＣＢＰ符号化ステップと、前記有意差分色差ＣＢＰを可変長符号値が割り当てられる色差可変長符号化テーブルにしたがって符号化する有意差分色差ＣＢＰ符号化ステップと、を有し、前記有意差分輝度ＣＢＰ符号化ステップが、前記不要輝度ブロック数に基づいて前記輝度可変長符号化テーブルを切り替え、前記有意差分色差ＣＢＰ符号化ステップが、前記不要色差ブロック数に基づいて前記色差可変長符号化テーブルを切り替えることを特徴とするものである。
【０１３５】
請求項５２記載の発明は、上記課題を解決するため、請求項４３記載の符号化信号分離方法において、前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記生成したマクロブロック量子化パラメータ復元情報を、該マクロブロック量子化パラメータ復元情報の値に基づいて可変長符号化に用いる符号語を計算により求めることを特徴とするものである。
【０１３６】
請求項５３記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させる第１符号化信号入力ステップと、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力させる第２符号化信号入力ステップと、前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【０１３７】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とするものである。
【０１３８】
請求項５４記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力させる第２符号化信号入力ステップと、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を入力させる差分符号化信号入力ステップと、前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成ステップと、を備え、
【０１３９】
前記第１符号化信号合成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報を復元することにより、前記第１符号化信号を合成することを特徴とするものである。
【０１４０】
請求項５５記載の発明は、上記課題を解決するため、請求項５４記載の符号化信号合成方法において、前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、前記零係数変換第１係数情報と前記零係数第２係数情報とに基づいて生成された差分情報を零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された差分情報を非零係数差分情報とし、
【０１４１】
前記第１符号化信号合成ステップが、前記第２符号化信号内の前記零係数第２係数情報と、前記差分符号化信号内の前記零係数差分情報と、に基づいて前記零係数変換第１係数情報を生成する零係数変換第１係数情報生成ステップと、前記第２符号化信号内の前記非零係数第２係数情報と、前記差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成ステップと、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、を合成する第１係数情報合成ステップと、を備えたことを特徴とするものである。
【０１４２】
請求項５６記載の発明は、上記課題を解決するため、請求項５４または５５記載の符号化信号合成方法において、前記第１符号化信号合成ステップが、前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを復号することにより、前記第１符号化信号の符号化ブロックパターンを復元する符号化ブロックパターン復元ステップを備えたことを特徴とするものである。
【０１４３】
請求項５７記載の発明は、上記課題を解決するため、請求項５４〜５６のいずれか１項に記載の符号化信号合成方法において、前記第１符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第２マクロブロック量子化パラメータに量子化された符号化信号であり、
【０１４４】
前記第１符号化信号合成ステップが、前記差分符号化信号から前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を復号し、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報復元ステップを備えたことを特徴とするものである。
【０１４５】
請求項５８記載の発明は、上記課題を解決するため、請求項５４〜５７のいずれか１項に記載の符号化信号合成方法において、前記第１符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第２スライス量子化パラメータをもとに量子化された符号化信号であり、
【０１４６】
前記第１符号化信号合成ステップが、前記差分符号化信号から前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を復号し、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報復元ステップを備えたことを特徴とするものである。
【０１４７】
請求項５９記載の発明は、上記課題を解決するため、請求項５４〜５８のいずれか１項に記載の符号化信号合成方法において、前記第１符号化信号合成ステップが、前記差分符号化信号から前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を取得し、前記第１符号化信号内に付加するＶＢＶ遅延付加ステップを備えたことを特徴とするものである。
【０１４８】
請求項６０記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させて、該入力した第１符号化信号に符号量変換処理を行い、第２符号化信号に変換して出力させるとともに、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を出力させる符号化信号分離装置を制御する符号化信号分離ステップと、前記第２符号化信号と前記差分符号化信号とを入力させて、前記第１符号化信号を合成して出力させる符号化信号合成装置を制御する符号化信号合成ステップと、を備え、
【０１４９】
前記符号化信号分離ステップが、前記第１符号化信号を前記符号化信号分離装置に入力させる入力ステップと、該入力ステップにより入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、前記差分符号化信号を生成する差分符号化信号生成ステップと、前記第２符号化信号を前記符号化信号合成装置に出力させる第２符号化信号出力ステップと、前記差分符号化信号を前記符号化信号合成装置に出力させる差分符号化信号出力ステップと、を有し、
【０１５０】
前記符号化信号合成ステップが、前記符号化信号分離装置から前記第２符号化信号を入力させる第２符号化信号入力ステップと、前記符号化信号分離装置から前記差分符号化信号を入力させる差分符号化信号入力ステップと、前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成ステップと、前記第１符号化信号を出力させる第１符号化信号出力ステップと、を有することを特徴とするものである。
【０１５１】
請求項６１記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させる入力ステップと、該入力された第１符号化信号に符号量変換処理を行い、第２符号化信号に変換する符号化信号変換ステップと、前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【０１５２】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号の一部として出力される前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とするものである。
【０１５３】
請求項６２記載の発明は、上記課題を解決するため、請求項６１記載の符号化信号分離プログラムを記録した媒体において、前記第１符号化信号と前記第２符号化信号との差分情報が階層構造を有し、該階層構造が、共通の情報を有する複数の画面からなるシーケンスレイヤと、前記画面ごとに共通の情報を有するスライスからなるピクチャレイヤと、前記スライスごとにマクロブロックを有するスライスレイヤと、前記マクロブロックごとにブロックを有するマクロブロックレイヤと、前記ブロック情報を有するブロックレイヤと、からなる階層構造であり、前記差分符号化信号生成ステップが、前記差分符号化信号を前記階層構造にしたがって生成することを特徴とするものである。
【０１５４】
請求項６３記載の発明は、上記課題を解決するため、請求項６１または６２記載の符号化信号分離プログラムを記録した媒体において、前記第１係数情報が前記符号化信号変換ステップにより前記第２係数情報に変換されるとき、零係数に変換される第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換される第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、
【０１５５】
前記差分符号化信号生成ステップが、前記第１係数情報を、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、に分離し、前記第２係数情報を、前記零係数第２係数情報と、前記非零係数第２係数情報と、に分離する係数情報分離ステップと、前記零係数変換第１係数情報と、前記零係数第２係数情報と、に基づいて零係数差分情報を生成し、符号化する零係数符号化ステップと、前記非零係数変換第１係数情報と、前記非零係数第２係数情報と、に基づいて非零係数差分情報を生成し、符号化する非零係数符号化ステップと、を備えたことを特徴とするものである。
【０１５６】
請求項６４記載の発明は、上記課題を解決するため、請求項６３記載の符号化信号分離プログラムを記録した媒体において、前記非零係数符号化ステップが、前記非零係数差分情報を、前記非零係数変換第１係数情報の係数値と、前記非零係数第２係数情報の係数値と、に基づいて係数値情報のみから生成することを特徴とするものである。
【０１５７】
請求項６５記載の発明は、上記課題を解決するため、請求項６４記載の符号化信号分離プログラムを記録した媒体において、前記画像情報のマクロブロックを前記第１符号化信号のマクロブロック情報に量子化した際の量子化パラメータを第１マクロブロック量子化パラメータとし、前記第２符号化信号のマクロブロック情報を逆量子化して復号する量子化パラメータを第２マクロブロック量子化パラメータとし、前記非零係数符号化ステップが、前記非零係数差分情報の係数情報として、前記第１マクロブロック量子化パラメータと前記第２マクロブロック量子化パラメータとの比率と前記非零係数第２係数情報の係数値から、前記非零係数変換第１係数情報の係数値を予測した値の誤差を算出することを特徴とするものである。
【０１５８】
請求項６６記載の発明は、上記課題を解決するため、請求項６３〜６５のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記零係数符号化ステップが、前記第１係数情報群から前記非零係数変換第１係数情報を取り除き、該零係数変換第１係数情報のみの第１係数情報群をジグザグスキャンし、連続する零係数の数を示すランと該ランに続く非零係数の係数値を示すレベルとを組み合わせ、該組み合わせを前記零係数差分情報として生成する零係数差分情報生成ステップを有し、該零係数差分情報生成ステップが、前記非零係数変換第１係数情報が存在していた位置を除き前記零係数変換第１係数情報が存在する位置のみを前記ラン値として数えることを特徴とするものである。
【０１５９】
請求項６７記載の発明は、上記課題を解決するため、請求項６１〜６６のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記差分符号化信号生成ステップが、前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを生成し、符号化する符号化ブロックパターン符号化ステップを備えたことを特徴とするものである。
【０１６０】
請求項６８記載の発明は、上記課題を解決するため、請求項６７記載の符号化信号分離プログラムを記録した媒体において、前記符号化ブロックパターン符号化ステップが、前記第２符号化信号のブロックが符号化不要の位置についてのみ、前記差分符号化信号の符号化ブロックパターンの前記位置の値を有意差分ＣＢＰ値として符号化することを特徴とするものである。
【０１６１】
請求項６９記載の発明は、上記課題を解決するため、請求項６１〜６８のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記差分符号化信号生成ステップが、前記第１符号化信号と前記第２符号化信号との差分情報が発生するマクロブロックのみを前記差分符号化信号のマクロブロック情報として符号化する差分マクロブロック符号化ステップと、該差分マクロブロック符号化ステップにより符号化されるマクロブロックの位置を示す差分符号発生ＭＢアドレスを生成し、該差分符号発生ＭＢアドレスと直前の差分情報のマクロブロック位置を示す差分符号発生ＭＢアドレスとの差を示す差分符号発生ＭＢアドレス制御符号を符号化するＭＢＡＩ符号化ステップと、を備えたことを特徴とするものである。
【０１６２】
請求項７０記載の発明は、上記課題を解決するため、請求項６１〜６９のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記符号化信号変換ステップが、前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を逆量子化し、該逆量子化されたマクロブロックを第２マクロブロック量子化パラメータにより再量子化して前記第２符号化信号を生成し、前記差分符号化信号生成ステップが、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化ステップを備えたことを特徴とするものである。
【０１６３】
請求項７１記載の発明は、上記課題を解決するため、請求項６１〜６９のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記符号化信号変換ステップが、前記符号量変換により、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータにより量子化された前記第１符号化信号を、前記第１マクロブロック量子化パラメータと前記第２符号化信号内のマクロブロック情報を逆量子化する際のパラメータである第２マクロブロック量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、前記差分符号化信号生成ステップが、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成し、符号化するマクロブロック量子化パラメータ復元情報符号化ステップを備えたことを特徴とするものである。
【０１６４】
請求項７２記載の発明は、上記課題を解決するため、請求項７０または７１記載の符号化信号分離プログラムを記録した媒体において、前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記マクロブロック量子化パラメータ復元情報を、前記第２マクロブロック量子化パラメータから前記第１マクロブロック量子化パラメータを復元させる量子化パラメータ導出定数を用いて生成することを特徴とするものである。
【０１６５】
請求項７３記載の発明は、上記課題を解決するため、請求項７２記載の符号化信号分離プログラムを記録した媒体において、前記第１符号化信号から生成されるマクロブロックと該マクロブロックに対応する前記第２符号化信号から生成されるマクロブロックとの差分情報から生成されるマクロブロック情報を差分マクロブロック情報とし、前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記マクロブロック量子化パラメータ復元情報を、前記量子化パラメータ導出定数と、直前に符号化した差分マクロブロック情報の前記マクロブロック量子化パラメータ復元情報と、の差分から生成することを特徴とするものである。
【０１６６】
請求項７４記載の発明は、上記課題を解決するため、請求項６１〜７３のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記符号化信号変換ステップが、前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を逆量子化し、該逆量子化されたスライス内のマクロブロックを第２スライス量子化パラメータをもとに再量子化して前記第２符号化信号を生成し、前記差分符号化信号生成ステップが、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化ステップを備えたことを特徴とするものである。
【０１６７】
請求項７５記載の発明は、上記課題を解決するため、請求項６１〜７３のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記符号化信号変換ステップが、前記符号量変換により、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された前記第１符号化信号を、前記第１スライス量子化パラメータと前記第２符号化信号内のスライス内のマクロブロック情報を逆量子化する際の基準パラメータである第２スライス量子化パラメータとの比率に応じて、前記第１符号化信号の係数値のスケール変換を行い、前記第２符号化信号を生成し、前記差分符号化信号生成ステップが、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成し、符号化するスライス量子化パラメータ復元情報符号化ステップを備えたことを特徴とするものである。
【０１６８】
請求項７６記載の発明は、上記課題を解決するため、請求項７４または７５記載の符号化信号分離プログラムを記録した媒体において、前記スライス量子化パラメータ復元情報符号化ステップが、前記スライス量子化パラメータ復元情報を、前記第２スライス量子化パラメータから前記第１スライス量子化パラメータを復元させるスライス量子化パラメータ導出定数として生成することを特徴とするものである。
【０１６９】
請求項７７記載の発明は、上記課題を解決するため、請求項６１〜７６のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記差分符号化信号生成ステップが、前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を前記差分符号化信号内に付加するＶＢＶ遅延付加ステップを備えたことを特徴とするものである。
【０１７０】
請求項７８記載の発明は、上記課題を解決するため、請求項６３〜６６のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記差分符号化信号生成ステップが、前記係数値の変化情報の値に可変長符号語を割り当てる可変長符号化テーブルを、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に応じて、切り替える可変長符号化テーブル切り替えステップと、前記係数値の変化情報の値を、前記割り当てられた可変長符号化テーブルにしたがって、可変長符号化する可変長符号化ステップと、を備えたことを特徴とするものである。
【０１７１】
請求項７９記載の発明は、上記課題を解決するため、請求項６５記載の符号化信号分離プログラムを記録した媒体において、前記差分符号化信号生成ステップが、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数と、前記非零係数符号化ステップが前記非零係数変換第１係数情報の係数値を予測した値の誤差である予測誤差値と、に基づいて前記予測誤差値を可変長符号化する符号語を計算により求めることを特徴とするものである。
【０１７２】
請求項８０記載の発明は、上記課題を解決するため、請求項６６記載の符号化信号分離プログラムを記録した媒体において、前記差分符号化信号生成ステップが、前記ランの値に対し値の出現頻度に応じた可変長符号値を割り当てる可変長符号化テーブルに基づいて、前記ランの値を可変長符号化するラン可変長符号化ステップと、前記第１量子化パラメータを前記第２量子化パラメータから導出するための定数である第１量子化パラメータ導出定数の値に基づいて可変長符号化に用いる符号語を計算により求めて、前記レベルの値を可変長符号化するレベル可変長符号化ステップと、を有することを特徴とするものである。
【０１７３】
請求項８１記載の発明は、上記課題を解決するため、請求項６８記載の符号化信号分離プログラムを記録した媒体において、マクロブロック内の、輝度ブロックの符号化不要ブロック数を不要輝度ブロック数とし、色差ブロックの符号化不要ブロック数を不要色差ブロック数とし、前記有意差分ＣＢＰ値を、輝度成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分輝度ＣＢＰ値とし、色差成分の符号化ブロックパターンの値を示す有意差分ＣＢＰ値であるとき有意差分色差ＣＢＰ値とし、前記有意差分輝度ＣＢＰ値の当該マクロブロック内の全てを有意差分輝度ＣＢＰとし、前記有意差分色差ＣＢＰ値の当該マクロブロック内の全てを有意差分色差ＣＢＰとし、
【０１７４】
前記符号化ブロックパターン符号化ステップが、前記第２符号化信号の当該マクロブロック内の符号化不要ブロックの数を、前記不要輝度ブロック数と、前記不要色差ブロック数とを、それぞれ数える符号化不要ブロックカウントステップと、前記有意差分輝度ＣＢＰを可変長符号値が割り当てられる輝度可変長符号化テーブルにしたがって符号化する有意差分輝度ＣＢＰ符号化ステップと、前記有意差分色差ＣＢＰを可変長符号値が割り当てられる色差可変長符号化テーブルにしたがって符号化する有意差分色差ＣＢＰ符号化ステップと、を有し、前記有意差分輝度ＣＢＰ符号化ステップが、前記不要輝度ブロック数に基づいて前記輝度可変長符号化テーブルを切り替え、前記有意差分色差ＣＢＰ符号化ステップが、前記不要色差ブロック数に基づいて前記色差可変長符号化テーブルを切り替えることを特徴とするものである。
【０１７５】
請求項８２記載の発明は、上記課題を解決するため、請求項７３記載の符号化信号分離プログラムを記録した媒体において、前記マクロブロック量子化パラメータ復元情報符号化ステップが、前記生成したマクロブロック量子化パラメータ復元情報を、該マクロブロック量子化パラメータ復元情報の値に基づいて可変長符号化に用いる符号語を計算により求めることを特徴とするものである。
【０１７６】
請求項８３記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させる第１符号化信号入力ステップと、前記第１符号化信号に符号量変換処理が行われて符号量が削減された第２符号化信号を入力させる第２符号化信号入力ステップと、前記第１符号化信号と、前記第２符号化信号と、の差分情報である差分符号化信号を生成する差分符号化信号生成ステップと、を備え、
【０１７７】
前記差分符号化信号生成ステップが、前記第１符号化信号から得られる前記画像情報の第１係数情報と、前記第２符号化信号から得られる前記画像情報の第２係数情報と、の係数値の変化情報を符号化して前記差分符号化信号を生成することを特徴とするものである。
【０１７８】
請求項８４記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号を入力させる第２符号化信号入力ステップと、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を入力させる差分符号化信号入力ステップと、前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成ステップと、を備え、
【０１７９】
前記第１符号化信号合成ステップが、前記第２符号化信号から得られる前記画像情報の第２係数情報と、前記差分符号化信号から得られる前記画像情報の第１係数情報と前記第２係数情報との変化情報と、を復号し合成して前記第１係数情報を復元することにより、前記第１符号化信号を合成することを特徴とするものである。
【０１８０】
請求項８５記載の発明は、上記課題を解決するため、請求項８４記載の符号化信号合成プログラムを記録した媒体において、前記第１係数情報が前記第２係数情報に変換されたとき、零係数に変換された第１係数情報群を零係数変換第１係数情報とし、零係数に変換された第２係数情報群を零係数第２係数情報とし、非零係数に変換された第１係数情報群を非零係数変換第１係数情報とし、非零係数に変換された第２係数情報群を非零係数第２係数情報とし、前記零係数変換第１係数情報と前記零係数第２係数情報とに基づいて生成された差分情報を零係数差分情報とし、前記非零係数変換第１係数情報と前記非零係数第２係数情報とに基づいて生成された差分情報を非零係数差分情報とし、
【０１８１】
前記第１符号化信号合成ステップが、前記第２符号化信号内の前記零係数第２係数情報と、前記差分符号化信号内の前記零係数差分情報と、に基づいて前記零係数変換第１係数情報を生成する零係数変換第１係数情報生成ステップと、前記第２符号化信号内の前記非零係数第２係数情報と、前記差分符号化信号内の前記非零係数差分情報と、に基づいて前記非零係数変換第１係数情報を生成する非零係数変換第１係数情報生成ステップと、前記零係数変換第１係数情報と、前記非零係数変換第１係数情報と、を合成する第１係数情報合成ステップと、を備えたことを特徴とするものである。
【０１８２】
請求項８６記載の発明は、上記課題を解決するため、請求項８４または８５記載の符号化信号合成プログラムを記録した媒体において、前記第１符号化信号合成ステップが、前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを復号することにより、前記第１符号化信号の符号化ブロックパターンを復元する符号化ブロックパターン復元ステップを備えたことを特徴とするものである。
【０１８３】
請求項８７記載の発明は、上記課題を解決するため、請求項８４〜８６のいずれか１項に記載の符号化信号合成プログラムを記録した媒体において、前記第１符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第１マクロブロック量子化パラメータに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のマクロブロックを量子化する際のパラメータである第２マクロブロック量子化パラメータに量子化された符号化信号であり、
【０１８４】
前記第１符号化信号合成ステップが、前記差分符号化信号から前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を復号し、前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報復元ステップを備えたことを特徴とするものである。
【０１８５】
請求項８８記載の発明は、上記課題を解決するため、請求項８４〜８７のいずれか１項に記載の符号化信号合成プログラムを記録した媒体において、前記第１符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第１スライス量子化パラメータをもとに量子化された符号化信号であり、前記第２符号化信号は、前記画像情報のスライス内のマクロブロックを量子化する際の基準パラメータである第２スライス量子化パラメータをもとに量子化された符号化信号であり、
【０１８６】
前記第１符号化信号合成ステップが、前記差分符号化信号から前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を復号し、前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報復元ステップを備えたことを特徴とするものである。
【０１８７】
請求項８９記載の発明は、上記課題を解決するため、請求項８４〜８８のいずれか１項に記載の符号化信号合成プログラムを記録した媒体において、前記第１符号化信号合成ステップが、前記差分符号化信号から前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を取得し、前記第１符号化信号内に付加するＶＢＶ遅延付加ステップを備えたことを特徴とするものである。
【０１８８】
請求項９０記載の発明は、上記課題を解決するため、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力させて、該入力した第１符号化信号に符号量変換処理を行い、第２符号化信号に変換して出力させるとともに、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を出力させる符号化信号分離装置を制御する符号化信号分離ステップと、前記第２符号化信号と前記差分符号化信号とを入力させて、前記第１符号化信号を合成して出力させる符号化信号合成装置を制御する符号化信号合成ステップと、を備え、
【０１８９】
前記符号化信号分離ステップが、前記第１符号化信号を前記符号化信号分離装置に入力させる入力ステップと、該入力ステップにより入力された第１符号化信号に符号量変換処理を行い、前記第２符号化信号に変換する符号化信号変換ステップと、前記差分符号化信号を生成する差分符号化信号生成ステップと、前記第２符号化信号を前記符号化信号合成装置に出力させる第２符号化信号出力ステップと、前記差分符号化信号を前記符号化信号合成装置に出力させる差分符号化信号出力ステップと、を有し、
【０１９０】
前記符号化信号合成ステップが、前記符号化信号分離装置から前記第２符号化信号を入力させる第２符号化信号入力ステップと、前記符号化信号分離装置から前記差分符号化信号を入力させる差分符号化信号入力ステップと、前記第２符号化信号と、前記差分符号化信号と、を合成して前記第１符号化信号を復元する第１符号化信号合成ステップと、前記第１符号化信号を出力させる第１符号化信号出力ステップと、を有することを特徴とするものである。
【０１９１】
請求項９１記載の発明は、上記課題を解決するため、請求項１〜２２のいずれか１項に記載の符号化信号分離装置において、前記差分符号化信号生成手段が、符号化信号伝送において他の符号化信号と区別するためのユニークコードからなる開始同期符号を前記差分符号化信号に付加するシーケンスヘッダ付加手段を備えたことを特徴とするものである。
【０１９２】
請求項９２記載の発明は、上記課題を解決するため、請求項１〜２２のいずれか１項または９１記載の符号化信号分離装置において、前記差分符号化信号生成手段が、前記第１符号化信号のビットレートを表す変更前ビットレート値符号を前記差分符号化信号内に付加するビットレート値付加手段を備えたことを特徴とするものである。
【０１９３】
請求項９３記載の発明は、上記課題を解決するため、請求項９２記載の符号化信号分離装置において、前記ビットレート値付加手段が、前記変更前ビットレート値符号として、前記第１符号化信号のビットレートを４００で除算した値を、前記差分符号化信号内に付加することを特徴とするものである。
【０１９４】
請求項９４記載の発明は、上記課題を解決するため、請求項２４〜２９のいずれか１項に記載の符号化信号合成装置において、前記第１符号化信号合成手段が、前記差分符号化信号から前記第１符号化信号のビットレートを表す変更前ビットレート値符号を取得し、前記第１符号化信号を復元するビットレート値復元手段を備えたことを特徴とするものである。
【０１９５】
請求項９５記載の発明は、上記課題を解決するため、請求項３１〜５２のいずれか１項に記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、符号化信号伝送において他の符号化信号と区別するためのユニークコードからなる開始同期符号を前記差分符号化信号に付加するシーケンスヘッダ付加ステップを備えたことを特徴とするものである。
【０１９６】
請求項９６記載の発明は、上記課題を解決するため、請求項３１〜５２のいずれか１項または９５記載の符号化信号分離方法において、前記差分符号化信号生成ステップが、前記第１符号化信号のビットレートを表す変更前ビットレート値符号を前記差分符号化信号内に付加するビットレート値付加ステップを備えたことを特徴とするものである。
【０１９７】
請求項９７記載の発明は、上記課題を解決するため、請求項９６記載の符号化信号分離方法において、前記ビットレート値付加ステップが、前記変更前ビットレート値符号として、前記第１符号化信号のビットレートを４００で除算した値を、前記差分符号化信号内に付加することを特徴とするものである。
【０１９８】
請求項９８記載の発明は、上記課題を解決するため、請求項５４〜５９のいずれか１項に記載の符号化信号合成方法において、前記第１符号化信号合成ステップが、前記差分符号化信号から前記第１符号化信号のビットレートを表す変更前ビットレート値符号を取得し、前記第１符号化信号を復元するビットレート値復元ステップを備えたことを特徴とするものである。
【０１９９】
請求項９９記載の発明は、上記課題を解決するため、請求項６１〜８２のいずれか１項に記載の符号化信号分離プログラムを記録した媒体において、前記差分符号化信号生成ステップが、符号化信号伝送において他の符号化信号と区別するためのユニークコードからなる開始同期符号を前記差分符号化信号に付加するシーケンスヘッダ付加ステップを備えたことを特徴とするものである。
【０２００】
請求項１００記載の発明は、上記課題を解決するため、請求項６１〜８２のいずれか１項または９９記載の符号化信号分離プログラムを記録した媒体において、前記差分符号化信号生成ステップが、前記第１符号化信号のビットレートを表す変更前ビットレート値符号を前記差分符号化信号内に付加するビットレート値付加ステップを備えたことを特徴とするものである。
【０２０１】
請求項１０１記載の発明は、上記課題を解決するため、請求項１００記載の符号化信号分離プログラムを記録した媒体において、前記ビットレート値付加ステップが、前記変更前ビットレート値符号として、前記第１符号化信号のビットレートを４００で除算した値を、前記差分符号化信号内に付加することを特徴とするものである。
【０２０２】
請求項１０２記載の発明は、上記課題を解決するため、請求項８４〜８９のいずれか１項に記載の符号化信号合成プログラムを記録した媒体において、前記第１符号化信号合成ステップが、前記差分符号化信号から前記第１符号化信号のビットレートを表す変更前ビットレート値符号を取得し、前記第１符号化信号を復元するビットレート値復元ステップを備えたことを特徴とするものである。
【０２０３】
【発明の実施の形態】
以下、本発明の好ましい実施の形態について添付図面を参照しつつ説明する。
【０２０４】
本発明に係るストリーム分離・合成装置を図１に示す。図１に示すように、本発明では、ビットストリームを分離するストリーム分離装置１０００およびビットストリームを合成するストリーム合成装置２０００を備えている。
【０２０５】
ストリーム分離装置１０００は、符号化器６００から伝送された高品質なＭＰＥＧ−２ビットストリームまたは原画像を符号化したＭＰＥＧ−２ビットストリーム（変換前ＭＰＥＧ−２ビットストリーム）を入力して、従来のＭＰＥＧ−２ビットストリームである変換出力符号化情報（変換後ＭＰＥＧ−２ビットストリーム）と、この情報とは別に変換前後での差分情報である差分情報符号化データ（差分ビットストリーム）と、を符号化して、出力するものである。
【０２０６】
ストリーム合成装置２０００は、上記ストリーム分離装置１０００に分離されたＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）と、差分情報符号化データ（差分ビットストリーム）と、を合成して変換前ＭＰＥＧ−２ビットストリームをつくり出し、出力するものである。
【０２０７】
本発明では、従来のＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）に変換された映像情報（低品質）が提供された後に、変換前の映像が要求された場合において、既に提供された伝送済の映像情報（変換後ＭＰＥＧ−２ビットストリーム）との差分情報（差分ビットストリーム）のみを伝送することで、同一の情報が二回伝送されることによる無駄がなく、伝送回線を効率的に利用して、変換前ＭＰＥＧ−２ビットストリームと同一のＭＰＥＧ−２ビットストリーム（高品質）を提供することができる。
【０２０８】
このように、本発明のストリーム分離・合成装置は、伝送済の映像情報が有効に利用できる。しかしながら、差分情報（差分ビットストリーム）が、変換後の映像情報の大きさと合わせて、変換前を大きく越えてしまっては、無駄が大きくなってしまうので、変換前の符号量を越えないようにする。そこで、本発明のストリーム分離・合成装置は、分離による容量の肥大化を抑制するように、効率よく差分情報を符号化する方式を備える。
１：ビットストリームの構成、フォーマット
【０２０９】
以下、本発明のビットストリームの構成、フォーマットについて説明する。
【０２１０】
本明細書で扱うトランスコーダ（ストリーム分離装置１０００）は、ビットストリーム変換処理だけでなく変換前後間の差分情報生成を行う機能をもつ。すなわち、ＭＰ＠ＭＬ（Ｍａｉｎ  Ｐｒｏｆｉｌｅ  ａｔ  Ｍａｉｎ  Ｌｅｖｅｌ：メイン・プロファイルのメイン・レベル；ＭＰＥＧ−２のデコーダの性能をクラス分けするもの、一般的にプロファイルは、機能の分類（シンタックスの違い）を規定し、レベルは量の違い（画像サイズなど）を規定する）準拠のＭＰＥＧ−２ビットストリーム（変換前ＭＰＥＧ−２ビットストリーム）を入力し、ビットレートが削減されたＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）と、符号量削減前後間の変化情報を表す差分ビットストリームを出力する。
【０２１１】
差分ビットストリームのビットストリームフォーマットを図２に示す。図２に示すように、差分ビットストリームは、ＭＰＥＧ−２シンタックスのビットストリームフォーマットを基本とし、シーケンスレイヤ、ピクチャレイヤ、スライスレイヤ、ＭＢ（マクロブロック）レイヤ、ブロックレイヤからなる階層構造を有する。
【０２１２】
ここで、シーケンスレイヤ、ピクチャレイヤ、スライスレイヤを上位レイヤ、ＭＢレイヤを中位レイヤ、ブロックレイヤを下位レイヤとする。
【０２１３】
差分ビットストリームは、シーケンスヘッダから始り、ピクチャ枚数分のピクチャレイヤデータヘと続く。ピクチャレイヤデータは、ピクチャヘッダと、ピクチャデータから構成される。ピクチャデータは、複数個のスライスレイヤデータで構成され、スライスレイヤデータは、スライスヘッダと、それに続く複数個のＭＢレイヤデータから構成される。ＭＢレイヤデータは、ＭＢ属性情報と、係数情報から構成される。
【０２１４】
ここで、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダは、それぞれシーケンス単位、ピクチャ単位、スライス単位で出力ＭＰＥＧ−２ビットストリームとの同期をとるために利用される。ＭＢ属性情報は、ＭＢの位置情報や符号化モードを設定するために利用され、係数情報に、再量子化前後での量子化係数値の変化情報が格納される。
２：ストリーム分離装置１０００
２．１：アーキテクチャ
【０２１５】
次に、ストリーム分離装置１０００のブロック構成図を図３に示し、ＭＰＥＧ−２ビットストリームの分離処理の概要を説明する。
【０２１６】
図３に示すように、本ストリーム分離装置１０００は、ＭＰＥＧ−２ＢＳ生成部１１００および差分ＢＳ生成部１２００からなり、ＭＰＥＧ−２ＢＳ生成部１１００は、多重分離・可変長復号器１１１０、符号化モード切り替え器１１２０、量子化制御器１１３０、量子化係数レベル変換器１１４０、ＭＰＥＧ−２ＢＳ配列多重・可変長符号化器１１９０を有し、差分ＢＳ生成部１２００は、変換差分係数分離器１２２０、再量子化前係数値予測誤差計算器１２３０、変換差分係数ジグザグスキャン器１２４０、差分ＢＳ配列多重・可変長符号化器１２９０を有している。
【０２１７】
ＭＰＥＧ−２ＢＳ生成部１１００の多重分離・可変長復号器１１１０は、レート削減前のビットストリームである変換前ＭＰＥＧ−２ビットストリームを入力して、変換前ＭＰＥＧ−２ビットストリームから上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を分離して復号し、上位レイヤ情報、中位レイヤ情報を復号した値は、符号化モード切り替え器１１２０に出力し、下位レイヤ情報を復号した値は、量子化係数レベル変換器１１４０に出力する。
【０２１８】
符号化モード切り替え器１１２０は、上位レイヤ情報、中位レイヤ情報の符号の種類を参照して、変更する必要がない符号はそのまま出力し、変更する必要がある符号（ＭＢ情報、ＣＢＰ等）は変更を加えた後に出力する。
【０２１９】
量子化制御器１１３０は、符号量を制御し、処理対象のＭＢの量子化パラメータ（再量子化パラメータ）ＭＱ２を出力する。
【０２２０】
量子化係数レベル変換器１１４０は、多重分離・可変長復号器１１１０から係数情報の復号値ＱＦ１と変換前量子化パラメータの復号値ＭＱ１と、量子化制御器１１３０から再量子化パラメータ（変換後量子化パラメータ）ＭＱ２を入力し、逆量子化、再量子化結合処理による量子化係数値レベル変換を行う。
【０２２１】
ＭＰＥＧ−２ＢＳ配列多重・可変長符号化器１１９０は、入力された上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を符号化し、多重化してレート削減後のビットストリームである変換後ＭＰＥＧ−２ビットストリームを出力する。
【０２２２】
差分ＢＳ生成部１２００の変換差分係数分離器１２２０は、ＭＰＥＧ−２ＢＳ生成部１１００から変換前係数情報ＱＦ１と変換後係数情報ＱＦ２とを入力して、非零係数に変換される係数情報ＱＦ１と、このＱＦ１の変換後係数情報ＱＦ２と、を再量子化前係数値予測誤差計算器１２３０に出力し、零係数に変換される係数情報ＱＦ１を変換差分係数ジグザグスキャン器１２４０に出力する。
【０２２３】
再量子化前係数値予測誤差計算器１２３０は、非零係数に変換される係数情報について、変換差分係数分離器１２２０から変換前係数情報ＱＦ１と変換後係数情報ＱＦ２とを入力し、ＭＰＥＧ−２ＢＳ生成部１１００から変換前量子化パラメータＭＱ１と変換後量子化パラメータＭＱ２とを入力し、ＱＦ２，ＭＱ１，ＭＱ２によりＱＦ１を予測したときの予測誤差ΔＱＦを算出し、差分ＢＳ配列多重・可変長符号化器１２９０に出力する。
【０２２４】
変換差分係数ジグザグスキャン器１２４０は、零係数に変換される係数情報について、変換差分係数分離器１２２０から変換前係数情報ＱＦ１を入力し、ジグザグスキャンし、連続する０の個数（ｒｕｎ）と、係数値（ｌｅｖｅｌ）のペア（ｒｕｎ，  ｌｅｖｅｌ）情報の生成を行い、差分ＢＳ配列多重・可変長符号化器１２９０に出力する。
【０２２５】
差分ＢＳ配列多重・可変長符号化器１２９０は、入力された上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を符号化し、多重化してレート削減前と削減後のビットストリームの差分情報である差分ビットストリームを出力する。
【０２２６】
以上の構成により、入力された変換前ＭＰＥＧ−２ビットストリームに対し、可変長復号、逆量子化を行い、ＤＣＴ係数領域まで復元した後に、ＤＣＴ係数に対し再量子化、可変長符号化処理を行い、変換後ＭＰＥＧ−２ビットストリームを出力する。
【０２２７】
同時に、変換前ＭＰＥＧ−２ビットストリーム中より得られる係数情報ＱＦ１と再量子化後の係数情報ＱＦ２が、差分ＢＳ生成部１２００へ送られ、再量子化前後間の係数値の変化情報の符号化を行い、差分ビットストリームを生成する。
【０２２８】
係数値変化情報は、変換後ＭＰＥＧ−２ビットストリームに符号化される再量子化出力係数が、零係数に対応する係数（ＱＦ１（ＱＦ２＝０））と、非零係数に対応する係数（ＱＦ１（ＱＦ２≠０））のものとに分離され、それぞれ別々の符号化処理を施す。
【０２２９】
このようにして、レート削減されたＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）とは別に、トランスコード処理前後での変化情報が差分ビットストリームとして出力される。
２．２：分離処理のフロー
【０２３０】
また、ストリーム分離装置１０００は、１本のＭＰＥＧ−２ビットストリーム（変換前ＭＰＥＧ−２ビットストリーム）に対し、レート削減されたＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）と差分ビットストリームという２つの符号化データを出力するため、両者間で符号化出力処理の切り替え操作を伴う。
【０２３１】
変換後ＭＰＥＧ−２ビットストリーム出力と、差分ビットストリーム出力との切り替え制御を示す概念図を図４に示す。
【０２３２】
差分ビットストリームは、各種ＭＰＥＧ−２符号化データのうち、シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ、ＭＢデータ、ブロックデータに対応して出力される。
【０２３３】
上位レイヤ符号（シーケンスヘッダ、ピクチャヘッダ、スライスヘッダ）に関しては、ヘッダ情報１単位分の処理を終えた後に切り替え操作を行い、処理対象ヘッダに対応した、差分ビットストリームのヘッダ情報を１単位分出力する。
【０２３４】
具体的には、入力ビットストリームより“Ｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ＿Ｃｏｄｅ”を検出した場合には、シーケンスヘッダ情報を読み込みと同時に変換後ＭＰＥＧ−２ビットストリームへの出力処理を行うが、全てのシーケンスヘッダ内符号の処理を終えたら、差分ビットストリーム出力モードに切り替え、差分ビットストリームのシーケンスヘッダ情報を出力する。
【０２３５】
入力ビットストリームより“Ｐｉｃｔｕｒｅ＿Ｓｔａｒｔ＿Ｃｏｄｅ”を検出した場合には、シーケンスヘッダ同様に、各種ピクチャヘッダ内情報の読み込み／書き出し処理を行い、それが終ったら、出力を差分ビットストリームに切り替えて、差分ビットストリームのピクチャヘッダを出力する。
【０２３６】
入力ビットストリームより“Ｓｌｉｃｅ＿Ｓｔａｒｔ＿Ｃｏｄｅ”を検出した場合、スライスレイヤ内符号の一連の処理を終えた後に差分ビットストリームスライスレイヤ符号の出力を行い、その後、当該スライスに属するＭＢレイヤデータの処理へと移行する。
【０２３７】
また、ＭＢレイヤデータのレート削減処理は、
１）入力ＭＢ符号化データ復号、
２）復号ＭＢ符号化データ補正、
３）補正後ＭＢ符号化データ出力、
の３工程からなる。
【０２３８】
ここで、３）の処理を終えた後に、当該ＭＢの再量子化前後間の量子化係数の変化を参照して、当該ＭＢに対する係数情報の変化が存在するかどうかの判定が行われ、存在する場合には差分ビットストリーム出力モードに移行し、ＭＢ属性情報の変更情報および係数値変化情報の符号化を行う。
【０２３９】
ここで、本判定処理は、再量子化前後での当該ＭＢ内係数情報の変化の有無に基づいて行われる。すなわち、一連の変換後ＭＰＥＧ−２ビットストリームのＭＢレイヤデータの出力処理を終えた後に、判定処理と差分ビットストリームのＭＢデータの符号化処理が行われる。
３：ストリーム合成装置２０００
３．１：アーキテクチャ
【０２４０】
次に、ストリーム合成装置２０００のブロック構成図を図５に示し、ＭＰＥＧ−２ビットストリームと差分ビットストリームとの合成処理の概要を説明する。
【０２４１】
図５に示すように、ストリーム合成装置２０００は、ＭＰＥＧ−２ＢＳ多重分離・可変長復号器２１１０、差分ＢＳ多重分離・可変長復号器２１２０、符号化モード切り替え器２１３０、係数ブロック復元器２１４０、差分係数ブロック復元器２１５０、加算器２１６０、復元係数ブロック再スキャン器２１７０、配列多重・可変長符号化器２１９０を有している。
【０２４２】
ＭＰＥＧ−２ＢＳ多重分離・可変長復号器２１１０は、レート削減後のビットストリームである変換後ＭＰＥＧ−２ビットストリームを入力して、変換後ＭＰＥＧ−２ビットストリームから上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を分離して復号し、上位レイヤ情報、中位レイヤ情報を復号した値は、符号化モード切り替え器２１３０に出力し、下位レイヤ情報を復号した値、ランレベル情報は、係数ブロック復元器２１４０に出力する。
【０２４３】
差分ＢＳ多重分離・可変長復号器２１２０は、レート削減前と削減後のビットストリームの変換差分情報である差分ビットストリームを入力して、差分ビットストリームから上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を分離して復号する。上位レイヤ情報、中位レイヤ情報を復号した値は、符号化モード切り替え器２１３０に出力する。下位レイヤ情報を復号した値は、非零係数に変換された係数情報の予測誤差ΔＱＦは、係数ブロック復元器２１４０に出力し、零係数に変換された係数情報のランレベル情報は、差分係数ブロック復元器２１５０に出力する。
【０２４４】
符号化モード切り替え器２１３０は、ＭＰＥＧ−２ＢＳ多重分離・可変長復号器２１１０および差分ＢＳ多重分離・可変長復号器２１２０から上位レイヤ情報、中位レイヤ情報を入力して、変換前ＭＰＥＧ−２ビットストリーム情報を復元して、配列多重・可変符号化器２１９０に出力するとともに、入力された変換後量子化パラメータＭＱ２、復元された変換前量子化パラメータＭＱ１、を係数ブロック復元器２１４０に出力する。
【０２４５】
係数ブロック復元器２１４０は、変換後ＭＰＥＧ−２ビットストリームのランレベル情報と、予測誤差ΔＱＦと、変換前量子化パラメータＭＱ１、変換後量子化パラメータＭＱ２を入力して、非零係数に変換された係数情報の８×８係数ブロックを復元して、出力する。
【０２４６】
差分係数ブロック復元器２１５０は、零係数に変換された係数情報のランレベル情報を入力して、零係数に変換された係数情報の８×８係数ブロックを復元して、出力する。
【０２４７】
加算器２１６０は、非零係数に変換された係数情報の８×８係数ブロックと零係数に変換された係数情報の８×８係数ブロックを加算して、変換前の係数情報の８×８係数ブロックを復元して、出力する。
【０２４８】
復元係数ブロック再スキャン器２１７０は、復元された上記係数ブロックをジグザグスキャンし、復元ブロックのランレベル情報（レート削減前ＭＰＥＧ−２ビットストリーム）を生成し、出力する。
【０２４９】
配列多重・可変長符号化器２１９０は、入力された上位レイヤ情報、中位レイヤ情報、下位レイヤ情報を符号化し、多重化してレート削減前のビットストリームと同一の復元ＭＰＥＧ−２ビットストリームを出力する。
【０２５０】
以上の構成により、ストリーム合成装置２０００は、変換後のＭＰＥＧ−２ビットストリームと差分ビットストリームを合成して、変換前のビットストリームを復元するものである。
【０２５１】
差分ビットストリームの係数情報は、非零係数に対応した差分係数：予測誤差ΔＱＦと、零係数に対応した再量子化前係数情報（ｒｕｎ，  ｌｅｖｅｌ）に分離されて復号される。
【０２５２】
前者（非零係数に対応した差分係数：予測誤差ΔＱＦ）に対しては、変換後ＭＰＥＧ−２ビットストリームを可変長復号して得られる量子化係数値と、量子化パラメータ情報ＭＱ２と、復元された変換前量子化パラメータ情報ＭＱ１から、再量子化前の量子化係数値を復元する。後者（零係数に対応した再量子化前係数情報：（ｒｕｎ，  ｌｅｖｅｌ））に対しては、ブロック内位置情報と係数値情報を復号する。
【０２５３】
そして、それぞれの復元量子化係数を合成することで、再量子化前の量子化係数ブロックが再現されるので、これを再スキャンし一次元系列に並びかえられたあと、ＭＰＥＧ−２シンタックスに従い二次元ランレングス符号化する。
３．２：合成処理のフロー
【０２５４】
ストリーム合成装置２０００は、２つの入力をもつので、復号処理において切り替え操作を必要とする。
【０２５５】
上位レイヤ符号は、ＭＰＥＧ−２ビットストリームと差分ビットストリームが一対一対応となっているので、ＭＰＥＧ−２ビットストリームより各種上位レイヤ符号ヘッダを１単位分読み込んだら差分ビットストリームの復号へ移行し、１単位分のヘッダ情報を読み込む。
【０２５６】
ＭＢレイヤに関しては、変換後ＭＰＥＧ−２ビットストリーム中よりＭＢデータを１ＭＢ分全て読み込んだ後に、対応するＭＢデータが差分ビットストリーム中に存在するかどうかを判定し、存在する場合には、差分ビットストリーム入力モードへ移行し、１ＭＢ分の符号化データの読み込みを行う。
【０２５７】
上位レイヤ符号は、ヘッダ１単位ごとに、ＭＢレイヤ以下は、１ＭＢの処理ごとに、切り替え操作を行う。
【０２５８】
以下、各レイヤでの詳細な処理および差分ビットストリームの内容を説明する。
４：上位レイヤ符号詳細
４．１：シーケンスレイヤ
【０２５９】
まず、上位レイヤ符号について詳細に説明する。
【０２６０】
シーケンスヘッダの構成を図６（ａ）に示す。図６（ａ）に示すように、シーケンスヘッダは、３２ビット長のユニークコードとして定義されるＳｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ＿Ｃｏｄｅのみで構成される。ユニークコードとして定義されているので、これによりシーケンスレイヤ単位での同期を確保することができる。
【０２６１】
そこで、分離処理におけるシーケンスヘッダ符号化処理では、Ｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ＿Ｃｏｄｅを出力するだけである。合成処理では、差分ビットストリームから３２ビット分のＳｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ＿Ｃｏｄｅを読み込むだけである。
４．２：ピクチャレイヤ
【０２６２】
次に、ピクチャヘッダの構成を図６（ｂ）に示す。図６（ｂ）に示すように、ピクチャヘッダは、Ｐｉｃｔｕｒｅ＿Ｓｔａｒｔ＿Ｃｏｄｅに続き、ＧＯＰの中の画面順を表すＴｅｍｐｏｒａｌ＿Ｒｅｆｅｒｅｎｃｅ（ＴＲ）、ピクチャの符号化タイプを示すＰｉｃｔｕｒｅ＿Ｃｏｄｉｎｇ＿Ｔｙｐｅ（ＰＣＴ）、符号化器が復号器に仮想入力バッファの蓄積量を９０ｋＨｚクロックの時間で示すＶＢＶ遅延（ＶＢＶ＿Ｄｅｌａｙ）から構成される。
【０２６３】
ＴＲとＰＣＴは、変換後ＭＰＥＧ−２ビットストリームと同一の値であり、合成側では、ユニークコードであるＰｉｃｔｕｒｅ＿Ｓｔａｒｔ＿Ｃｏｄｅに続いてこの値を参照することにより、ピクチャ単拉での同期を確保できる。
【０２６４】
また、レート変換に伴ってＶＢＶ＿Ｄｅｌａｙが変更されるため、差分ビットストリームには、変更前のＶＢＶ＿Ｄｅｌａｙを記述する。合成処理では、変換後ＭＰＥＧ−２ビットストリーム中のＶＢＶ＿Ｄｅｌａｙ（以降、Ｖｂｖ＿Ｄｅｌａｙという）の値を差分ビットストリームから復号されたＶＢＶ＿Ｄｅｌａｙ値に置き換えることで、変更前のＶＢＶ＿Ｄｅｌａｙを復元できる。
【０２６５】
ストリーム分離装置１０００における差分ビットストリームピクチャヘッダ出力部は、あらかじめ変換後ＭＰＥＧ−２ビットストリームピクチャヘッダ出力部からＴＲとＰＣＴとＶＢＶ＿Ｄｅｌａｙを受け取っておき、３２ビット長のピクチャヘッダを出力した後に、ＴＲ、ＰＣＴ、ＶＢＶ＿Ｄｅｌａｙの順に出力する。
【０２６６】
ストリーム合成装置２０００における差分ビットストリームピクチャヘッダ入力部では、ＴＲ、ＰＣＴ、ＶＢＶ＿Ｄｅｌａｙを復号した後に、レート変換後ＭＰＥＧ−２ビットストリームのＶｂｖ＿Ｄｅｌａｙを差分ビットストリームから復号されたＶＢＶ＿Ｄｅｌａｙに置き換えて、ピクチャヘッダを出力する。
４．３：スライスレイヤ
【０２６７】
次に、スライスヘッダの構成を図６（ｃ）に示す。図６（ｃ）に示すように、スライスヘッダは、Ｓｌｉｃｅ＿Ｓｔａｒｔ＿Ｃｏｄｅに続き、スライス量子化パラメータ復元用符号（ＳｌｉｃｅＭＱｍＶａｌｕｅ）から構成される。
【０２６８】
Ｓｌｉｃｅ＿Ｓｔａｒｔ＿Ｃｏｄｅは、スライス番号ごとにユニークな値が設定されているため、スライス単位での同期を確保できる。ＳｌｉｃｅＭＱｍＶａｌｕｅは、スライス量子化パラメータにおける、再量子化後から再量子化前の値に復元するための情報である。
【０２６９】
再量子化前（初回符号化時）と再量子化時のスライス量子化パラメータをそれぞれＳＭＱ１、ＳＭＱ２とする。前提として、再量子化時における符号化効率の低下を抑制するようにＳＭＱ２の選択を行う量子化パラメータ禁止領域制御が適用されているものとする。本制御（量子化パラメータ禁止領域制御）は、トランスコーダ特有の再量子化特性に基づいて、前段の符号化制御より計算上得られたスライス再量子化パラメータＳＭＱ２＊を更新し、特定の値に値域制限を行う制御である。
【０２７０】
本量子化制御では、まずＳＭＱ１とＳＭＱ２＊を用いて、以下の式（１）、式（２）より、整数値ｓｍを算出する。
【０２７１】
・Ｉピクチャ（イントラ）
【数３】
0003561485.tif 000004
・Ｐ、Ｂピクチャ（インター）
【数４】
0003561485.tif 000005
ここで、Ｉピクチャは、イントラ符号化ピクチャの略であり、他のピクチャとは独立して静止画として符号化される画面のことである。Ｐピクチャは、順方向予測符号化ピクチャの略であり、時間的に過去に位置するＩまたはＰピクチャに基づいて予測符号化される画面のことである。Ｂピクチャは、双方向予測符号化ピクチャの略であり、時間的に前後に位置するＩまたはＰピクチャを用いて順方向、逆方向または双方向のピクチャに基づいて予測符号化される画面のことである。すなわち、ＩピクチャおよびＰピクチャを先に符号化処理した後、その間に挿入されるＢピクチャが符号化される。以下では、Ｉピクチャをイントラ、ＰピクチャおよびＢピクチャをインターという。
【０２７２】
上記ｓｍとＳＭＱ１を用いて、以下の式（３）、式（４）より、スライス再量子化パラメータＳＭＱ２を算出する。
【０２７３】
・イントラ
【数５】
0003561485.tif 000006
・インター
【０２７４】
ＳＭＱ２  ＝  （ｓｍ＋１）×ＳＭＱ１      ・・・・式（４）
【０２７５】
ここで、上記式（３）、式（４）は、整数演算であるから得られるＳＭＱ２は特定の値に制限されることになる。以下では、このｓｍをスライス再量子化パラメータ導出定数と定義する。
【０２７６】
次に、本処理（スライスヘッダ処理）における符号化方法について説明する。
【０２７７】
ストリーム分離装置１０００における差分ビットストリームスライスヘッダ出力部は、Ｓｌｉｃｅ＿Ｓｔａｒｔ＿Ｃｏｄｅを符号化した後に、スライス量子化パラメータ制御部にて、式（１）、式（２）より算出されたスライス再量子化パラメータ導出定数ｓｍ、をＳｌｉｃｅＭＱｍＶａｌｕｅとして可変長符号化出力する。
【０２７８】
また、ここでのｓｍは、当該スライス内の各ＭＢの量子化パラメータ変更情報符号化部（後述）におけるｍ＿ｐｒｅｖの初期値として利用される。
【０２７９】
次に、本処理（スライスヘッダ処理）における復号方法について説明する。
【０２８０】
ストリーム合成装置２０００における差分ビットストリームスライスヘッダ入力部では、Ｓｌｉｃｅ＿Ｓｔａｒｔ＿Ｃｏｄｅを復号した後に、ＳｌｉｃｅＭＱｍＶａｌｕｅを可変長復号し、スライス量子化パラメータ導出定数の復号値ｓｍを得る。そして、ｓｍと変更後スライス量子化パラメータＳＭＱ２を用いて、下記式（５）、式（６）より変更前スライス量子化パラメータＳＭＱ１を再現する。
【０２８１】
・イントラ
【数６】
0003561485.tif 000007
・インター
【０２８２】
ＳＭＱ１  ＝  ＳＭＱ２／（ｓｍ＋１）    ・・・・式（６）
【０２８３】
また、ここでのｓｍは、当該スライス内の各ＭＢの量子化パラメータ変化情報復号部（後述）におけるｍ＿ｐｒｅｖの初期値として利用される。
【０２８４】
以上により、上位レイヤの符号化処理および復号処理を行う。
５：中位レイヤ詳細
５．１：中位レイヤ（ＭＢレイヤ）の構成情報、役割
【０２８５】
次に、中位レイヤについて詳細に説明する。
【０２８６】
中位レイヤ（ＭＢレイヤ）の構成情報を図６（ｄ）に示し、役割を説明する。ＭＢ属性情報は、差分ビットストリームのＭＢレイヤデータのアドレスを表す差分符号発生ＭＢアドレス制御符号と、ＭＢ属性情報のうち再量子化処理の影響を受けて変更される量子化パラメータ情報（ＭＱｕａｎｔ）を変更前に戻すためのＭＢ量子化パラメータ復元用符号と、符号化ブロックパターン情報（ＣＢＰ）を変更前の値に戻すための差分ビットストリーム符号化ブロックパターン符号と、から構成される。
５．２：差分符号発生ＭＢアドレス制御符号
【０２８７】
まず、差分符号発生ＭＢアドレス制御符号について説明する。
【０２８８】
差分ビットストリームは、再量子化前後間での変化情報を符号化したものであるが、ＭＢによっては必ずしも係数情報の変化が発生するとは限らない。また、再量子化前の時点で係数非所有のＭＢも係数情報の変化は発生しない。このようなＭＢは、差分ビットストリームに符号化すべき情報を所有していないためスキップされる。
【０２８９】
したがって、変換後ＭＰＥＧ−２ビットストリーム中のＭＢのすべてが、差分ビットストリーム中に対応するＭＢ情報を持っているとは限らない（各ＭＢに関して必ずしも一対一対応にはなっていない）ので、両ビットストリームのＭＢレベルでの対応をとり、ＭＢ位置を明確にするための符号として差分符号発生ＭＢアドレス制御符号を用いる。
【０２９０】
ここで、ＭＢアドレス値を、画面内の横方向のＭＢ位置インデックスとして定義する。これは、“０”からはじまり“ＭＢＬｅｎｇｔｈ−１”で終わる固定値である。ただし、ＭＢＬｅｎｇｔｈは、１ライン分のＭＢの個数を示す。図７に、７０４［ｐｅｌｓ］×４８０［ｌｉｎｅｓ］の空間解像度をもつ画像におけるＭＢアドレスを示す。
【０２９１】
以下、差分符号発生ＭＢアドレス制御符号の、符号化方法を説明する。
【０２９２】
差分符号発生ＭＢアドレス制御符号は、差分ビットストリームの当該ＭＢ（当該差分符号ＭＢ）と、直前に符号化したＭＢと、のＭＢアドレスの差（ＭＢＡＩ）を可変長符号化した形として与えられる。
【０２９３】
図８に、ＭＢＡＩの算出方法および符号化処理について、フローチャートを示し、説明する。
【０２９４】
ここで、当該ＭＢアドレスをＭＢＡｄｄｒｅｓｓとし、直前に差分ビットストリームに符号化されたＭＢアドレスをＭＢＡｄｄｒｅｓｓ＊ｐｒｅｖとする。
【０２９５】
まず、スライスの先頭において、ＭＢＡｄｄｒｅｓｓ＊ｐｒｅｖを“−１”に初期化する（ｓ１０２）。そのため、以下で説明する処理により、スライス先頭に来る差分符号ＭＢの差分符号発生ＭＢアドレス制御符号は、“ＭＢＡｄｄｒｅｓｓ＋１”の値が符号化されることとなる。
【０２９６】
変換後ＭＰＥＧ−２ビットストリーム中のＭＢ符号化出力処理（ｓ１０３）が終了したら、再量子化前後での量子化パラメータ値の変化を参照する（ｓ１０４）。
【０２９７】
量子化パラメータ値の変化が有った場合には、以下の式により、ＭＢＡＩを算出する（ｓ１１２）。
【０２９８】
ＭＢＡＩ  ＝  ＭＢＡｄｄｒｅｓｓ−ＭＢＡｄｄｒｅｓｓ＊ｐｒｅｖ
【０２９９】
次に、算出したＭＢＡＩをＭＰＥＧ−２と同様の可変長符号化テーブルを用いて可変長符号化して、差分ビットストリームに出力する（ｓ１１３）。続いて、ＭＢＡｄｄｒｅｓｓ＊ｐｒｅｖ＝ＭＢＡｄｄｒｅｓｓとしてＭＢＡｄｄｒｅｓｓ＊ｐｒｅｖを更新し（ｓ１１４）、以下、差分符号ＭＢの符号化処理を行う（ｓ１１５）。
【０３００】
再量子化前後での量子化パラメータ値の変化がなかった場合（ｓ１０４で判定）には、ＭＢＡＩの算出（ｓ１１２）から差分符号ＭＢの符号化処理（ｓ１１５）は、行わない。
【０３０１】
スライス内のＭＢが終了（ｓ１２１で判定）するまで、上記処理（ｓ１０３〜ｓ１１５）を繰り返す。
【０３０２】
次に、差分符号発生ＭＢアドレス制御符号の、復号方法について説明する。
【０３０３】
上述したように、差分ビットストリームの有するＭＢと、変換後ＭＰＥＧ−２ビットストリームが有するＭＢとは、必ずしも一対一対応とはなっていない。そのため差分ビットストリームの差分符号発生各ＭＢアドレス符号は、変換後ＭＰＥＧ−２ビットストリーム中のＭＢアドレスインクリメントとは独立である。差分符号発生ＭＢアドレス制御符号を用いて、両ビットストリームのＭＢの対応をとる方法を、以下に示す。
【０３０４】
図９に、ＭＢＡＩの復号処理および算出方法について、フローチャートを示し、説明する。
【０３０５】
ここで、当該ＭＢアドレスをＭＢＡｄｄｒｅｓｓとし、差分ビットストリーム中の次に復号すべきＭＢのアドレスをｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓとする。
【０３０６】
まず、スライスの先頭において、以下の処理を行う。
【０３０７】
差分ビットストリームから差分符号発生ＭＢアドレス制御符号のみを読み込み、復号する（ｓ２０２）。差分符号発生ＭＢアドレス制御符号から復号したＭＢＡＩを用いて、差分ビットストリーム中の次に復号すべきＭＢのアドレス値ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓを、以下の式により算出する（ｓ２０３）。
【０３０８】
ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ  ＝  −１＋ＭＢＡＩ
【０３０９】
ここで、図１０に、変換後ＭＰＥＧ−２ビットストリームから復号されるＭＢアドレスと、差分情報ビットストリームから復号されるＭＢアドレスとの関係を示す。
【０３１０】
図１０の例では、スライス先頭の段階では、差分ビットストリームには、ＭＢＡｄｄｒｅｓｓ＝３に対応する差分符号ＭＢが来ており、このとき、差分符号発生ＭＢアドレス制御符号を復号すると、ＭＢＡＩ＝４が復号されるためｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ＝−１＋４＝３として初期化される。
【０３１１】
次に、変換後ＭＰＥＧ−２ビットストリームを読み込む（ｓ２１１）。ここで、変換後ＭＰＥＧ−２ビットストリーム中の本処理対象スライスレイヤデータの終了判定を行い（ｓ２１４）、終了していたら本処理を終了する。本処理対象スライスレイヤデータ内のＭＢレイヤデータが存在する場合には、ＭＢ復号処理を行う（ｓ２１７）。
【０３１２】
次に、当該ＭＢ復号処理（ｓ２１７）が終わったら、復号した当該ＭＢアドレスＭＢＡｄｄｒｅｓｓと上記ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓを比較する（ｓ２１８）。ＭＢＡｄｄｒｅｓｓがｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ未満（ＭＢＡｄｄｒｅｓｓ＜ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ）なら、上記と同様に、変換後ＭＰＥＧ−２ビットストリームを読み込み（ｓ２１１）、当該ＭＢ復号処理を行い（ｓ２１７）、ＭＢＡｄｄｒｅｓｓがｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ以上（ＭＢＡｄｄｒｅｓｓ≧ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ）になるまで、上記処理（ｓ２１１〜ｓ２１７）を繰り返す。
【０３１３】
ＭＢＡｄｄｒｅｓｓがｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ以上（ＭＢＡｄｄｒｅｓｓ≧ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ）となったら（ｓ２１８で判断）、当該ＭＢに対応する差分符号ＭＢが存在するので、以下の差分ビットストリームの処理を行う。
【０３１４】
図１０の例では、ＭＢＡｄｄｒｅｓｓ＝２の復号処理の段階ではＭＢＡｄｄｒｅｓｓ＜ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓなので、差分ビットストリーム処理は行わない。ＭＢＡｄｄｒｅｓｓ＝３のときには、ＭＢＡｄｄｒｅｓｓ＝ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓとなるので対応する差分符号ＭＢが存存するものと判定される。したがって、変換後ＭＰＥＧ−２ビットストリームの復号処理後、差分ビットストリーム復号処理が行われる。
【０３１５】
差分ビットストリーム処理では、差分符号ＭＢの復号処理を行い（ｓ２２１）、差分ビットストリーム中の次のＭＢレイヤデータの読み込みを行う（ｓ２２２）。ここで、差分ビットストリーム中の本処理対象スライスレイヤデータの終了判定を行い（ｓ２２４）、終了していたら、ＭＢＡＩに最大値を代入し（ｓ２３１）、次にＳ２２８に進み、変換後ＭＰＥＧ−２ビットストリームのＭＢ処理（ｓ２１１〜ｓ２１８）に戻る。
【０３１６】
本処理対象スライスレイヤデータ内のＭＢレイヤデータが存在する場合には、読み込んだ次のＭＢの差分符号発生ＭＢアドレス制御符号のみを復号し（ｓ２２７）、復号したＭＢＡＩを用いて、下記式（７）によりｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓを更新する（ｓ２２８）。
【０３１７】
ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ  ＝  ＭＢＡｄｄｒｅｓｓ＋ＭＢＡＩ  ・・・式（７）
【０３１８】
図１０の例では、ＭＢＡｄｄｒｅｓｓ＝３処理後の差分ビットストリームには、ＭＢＡｄｄｒｅｓｓ＝５のＭＢがあり、このＭＢの差分符号発生ＭＢアドレス制御符号を復号すると復号値は２となるため、ｎｅｘｔ＿ＭＢＡｄｄｒｅｓｓ＝３＋２＝５として更新される。
【０３１９】
差分符号ＭＢの処理が終了したら、変換後ＭＰＥＧ−２ビットストリームのＭＢ処理（ｓ２１１〜ｓ２１８）に戻る。
【０３２０】
以下、スライス内のＭＢが終了するまで、上記処理を繰り返す。
５．３：量子化パラメータ変更情報
【０３２１】
次に、量子化パラメータ変更情報およびＭＢ量子化パラメータ復元用符号算出処理について説明する。
【０３２２】
再量子化前（初回符号化時）と再量子化時の量子化パラメータをそれぞれＭＱ１、ＭＱ２とする。前提として、再量子化時における符号化効率の低下を抑制するようにＭＱ２の選択を行う量子化パラメータ禁止領域制御が適用されているものとする。本制御（量子化パラメータ禁止領域制御）は、スライスヘッダ情報の説明をしたときに使用した量子化パラメータの値域制限制御と同様のもので、トランスコーダ特有の再量子化特性に基づいて、前段の符号化制御より計算上得られた再量子化パラメータＭＱ２＊を更新し、特定の値に値域制限を行う制御である。
【０３２３】
本量子化制御では、まずＭＱ１とＭＱ２＊を用いて、以下の式（８）、式（９）より、整数値ｍを算出する。
【０３２４】
・イントラ
【数７】
0003561485.tif 000008
・インター
【数８】
0003561485.tif 000009
上記ｍとＭＱ１を用いて、以下の式（１０）、式（１１）より、再量子化パラメータＭＱ２を算出する。
【０３２５】
・イントラ
【数９】
0003561485.tif 000010
・インター
【０３２６】
ＭＱ２  ＝  （ｍ＋１）×ＭＱ１      ・・・・式（１１）
【０３２７】
ここで、上記式（１０）、式（１１）は、整数演算であるから得られるＭＱ２は特定の値に制限されることになる。以下では、このｍを再量子化パラメータ導出定数と定義する。差分ビットストリームの量子化パラメータ情報には、この再量子化パラメータ導出定数ｍのＭＢ間差分値Δｍを記述する。
【０３２８】
以下に、ＭＢ量子化パラメータ復元用符号の符号化方法と、これを用いてＭＱ２から変更前のＭＱ１を復元する方法をそれぞれ示す。
【０３２９】
まず、量子化パラメータ変更情報の符号化方法について、図１１にフローチャートを示し、説明する。
【０３３０】
ここで、直前に符号化されたＭＢの再量子化パラメータ導出定数をｍ＿ｐｒｅｖとする。
【０３３１】
符号化方法では、初期処理として、スライスヘッダ情報符号化処理で算出したスライス再量子化パラメータ導出定数ｓｍを、初期ｍ＿ｐｒｅｖとする（ｓ３０１）。
【０３３２】
次に、入力ビットストリーム復号部から変更前量子化パラメータ値ＭＱ１を（ｓ３１２）、量子化制御部より当該ＭＢの再量子化パラメータ導出定数ｍを（ｓ３１３）、それぞれ受け取る。次に、下記式により、ｍのＭＢ間差分値Δｍを算出する（ｓ３１４）。
【０３３３】
Δｍ  ＝  ｍ−ｍ＿ｐｒｅｖ
【０３３４】
次に、Δｍの値に最適に割り当てられた符号表を用いて、Δｍを可変長符号化する（ｓ３１５）。Δｍの可変長符号化処理の詳細については、後述する。次に、ｍ＿ｐｒｅｖ＝ｍとして、ｍ＿ｐｒｅｖを更新する（ｓ３１６）。
【０３３５】
以下、スライス内ＭＢが終了するまで（ｓ３１７で判断）、入力ビットストリーム復号部から変更前量子化パラメータ値ＭＱ１を（ｓ３１２）、量子化制御部より当該ＭＢの再量子化パラメータ導出定数ｍを（ｓ３１３）、それぞれ受け取り、上記処理（ｓ３１２〜ｓ３１６）を繰り返す。
【０３３６】
ここで、再量子化パラメータ導出定数ｍのＭＢ間差分値Δｍの符号化処理について、以下の２つの方法をあげる。
【０３３７】
第１の方法は、ＭＢ間差分値Δｍを発生確率に応じた可変長符号を割り当てた可変長符号化テーブルを用いて可変長符号化を行う方法である。
【０３３８】
第２の方法は、ＭＢ間差分値Δｍの可変長符号を計算式により算出して符号割り当てを行う方法である。この方法により、効率よく符号化を行うことができる。
【０３３９】
この第２の方法について、以下に説明する。
【０３４０】
図１２に、ＭＢ間差分値Δｍの可変長符号語を求める可変長符号化テーブルを示す。
【０３４１】
ＭＢ間差分値Δｍの符号語は、−３０から３０まで定義されている。末尾のｓは、サインビット（Δｍが正ならば０，負ならば１）を示す。このような符号化テーブルであれば、連続する１の個数により符号語を算出可能である。
【０３４２】
すなわち、｜Δｍ｜個の連続する１とそれに続く０およびサインビットｓとして表現されているので、符号語の終了がわかるとともに、連続する１の個数により｜Δｍ｜がわかり、サインビットｓによりＭＢ間差分値Δｍを復号できる。
【０３４３】
また、上記のような符号は、符号長“ｃｏｄｅｌｅｎｇｔｈ”と符号語“ｃｏｄｅｗｏｒｄ”を以下のように数式表現が可能である。
【数１０】
0003561485.tif 000011
【数１１】
0003561485.tif 000012
したがって、可変長符号化テーブルを用意せずに、符号語を計算によって求めることができる。
【０３４４】
次に、量子化パラメータ変更情報の復号方法について、図１３にフローチャートを示し、説明する。
【０３４５】
ここで、直前に復号されたＭＢの再量子化パラメータ導出定数をｍ＿ｐｒｅｖとする。
【０３４６】
復号方法では、初期処理として、スライスヘッダ情報復号処理で算出したスライス再量子化パラメータ導出定数ｓｍを、初期ｍ＿ｐｒｅｖとする（ｓ４０１）。
【０３４７】
次に、差分ビットストリームを読み込み（ｓ４１１）、差分ビットストリームからΔｍの値を復号する（ｓ４１２）。次に、下記式により、当該ＭＢの再量子化パラメータ導出定数ｍを算出する（ｓ４１３）。
【０３４８】
ｍ  ＝  Δｍ＋ｍ＿ｐｒｅｖ
【０３４９】
次に、変換後ＭＰＥＧ−２ビットストリーム復号部より変更後量子化パラメータ値ＭＱ２を受け取る（ｓ４１４）。次に、当該ＭＢがイントラＭＢである場合は式（１２）、インターＭＢである場合は式（１３）に従ってＭＱ１を算出し、変更前の量子化パラメータ値ＭＱ１を再現する。
【０３５０】
・イントラ
【数１２】
0003561485.tif 000013
・インター
【０３５１】
ＭＱ１  ＝  ＭＱ２／（ｍ＋１）        ・・・・式（１３）
【０３５２】
次に、ｍ＿ｐｒｅｖ＝ｍとして、ｍ＿ｐｒｅｖを更新する（ｓ４１６）。
【０３５３】
以下、スライス内ＭＢが終了するまで（ｓ４１７で判断）、差分ビットストリームを読み込み（ｓ４１１）、差分ビットストリームからΔｍの値を復号して（ｓ４１２）、上記処理（ｓ４１１〜ｓ４１６）を繰り返す。
５．４：符号化ブロックパターン（ＣＢＰ）
【０３５４】
次に、符号化ブロックパターン（ＣＢＰ）処理および差分ビットストリーム符号化ブロックパターン符号算出方法について説明する。
【０３５５】
ここでは、再量子化の影響を受けて変更される符号化ブロックパターン（ＣＢＰ）を、変更前に戻すための情報を記述する。このとき、ＣＢＰの変化の自明性を利用した符号化方法を適用する。
【０３５６】
ここで、［］内にインデックス値を用いてＣＢＰの６つのブロックのそれぞれの値を、入力（変換前）ビットストリームのＣＢＰをＣＢＰｉｎ［ｐ１］、出力（変換後）ビットストリームのＣＢＰをＣＢＰｏｕｔ［ｐ１］、再量子化前後の量子化係数の差分ＭＢのＣＢＰをＣＢＰ＊［ｐ１］、合成器にて復元されたＣＢＰをＣＢＰｒｅｃ［ｐ１］と定義する。
【０３５７】
また、変換差分ＭＢにおける輝度成分に対応するＣＢＰをＣＢＰ＿ｙ［ｐ２］、色差成分に対応するＣＢＰをＣＢＰ＿ｕｖ［ｐ３］とし、輝度成分と色差成分とではそれぞれとり得る値の範囲が異なるため、符号化テーブルはそれぞれ別々のものを用意する。
【０３５８】
また、インデックス値にｐ１，ｐ２，ｐ３を用い、ｐ１＝０，１，２，３を輝度成分に対応するブロックに、ｐ１＝４，５を色差成分に対応するブロックに用いる。さらに、ｐ２＝０，１，２，３は、輝度成分に対応するブロックに対するＣＢＰ＿ｙ［］のインデックス値として、ｐ３＝０，１は、色差成分に対応するブロックに対するＣＢＰ＿ｕｖ［］のインデックス値として用いる。
【０３５９】
次に、差分ビットストリーム符号化ブロックパターン符号ＣＢＰ＿ｙ［］、ＣＢＰ＿ｕｖ［］の符号化方法について、ＣＢＰの符号化原理説明図をＣＢＰｉｎ［］、ＣＢＰｏｕｔ［］、ＣＢＰ＊［］、ＣＢＰ＿ｙ［］、ＣＢＰ＿ｕｖ［］とともに図１４に示し、概念を説明する。
【０３６０】
６つのそれぞれのブロックに対して、変換後のブロックが有意ブロックである場合、差分ブロックも有意ブロックである、すなわち、ＣＢＰｏｕｔ［ｐ１］＝１のとき、ＣＢＰ＊［ｐ１］＝１であるので、そのブロックに対してのＣＢＰの符号化を行わない。
【０３６１】
また、変換後のブロックが有意ブロックでない場合については、差分ブロックのＣＢＰの値を、輝度成分と色差成分の値を別々に符号化、すなわち、ＣＢＰｏｕｔ［ｐ１］＝０のとき、輝度成分のＣＢＰ＊［ｐ１］の値をＣＢＰ＿ｙ［ｐ２］に、色差成分のＣＢＰ＊［ｐ１］の値をＣＢＰ＿ｕｖ［ｐ３］に、代入し、符号化する。
【０３６２】
次に、差分ビットストリーム符号化ブロックパターン符号の符号化方法について、フローチャートを図１５に示し、符号化処理を説明する。
【０３６３】
まず、量子化係数差分ブロックから、ＣＢＰ＊［ｐ１］を求める（ｓ５０１）。次に、インデックスｐ１、ｐ２、ｐ３を初期化する（ｓ５０２）。
【０３６４】
次に、ＣＢＰｏｕｔ［ｐ１］の値を参照して（ｓ５１１）、ＣＢＰｏｕｔ［ｐ１］＝０ならば、以下の処理を行う。
【０３６５】
ｐ１の値を参照して（ｓ５１２）、ｐ１＜４のときは、ＣＢＰ＊［ｐ１］をＣＢＰ＿ｙ［ｐ２］に代入し（ｓ５２１）、インデックスｐ２をインクリメントする（ｓ５２２）。ｐ１≧４のときは、ＣＢＰ＊［ｐ１］をＣＢＰ＿ｕｖ［ｐ３］に代入し（ｓ５３１）、インデックスｐ３をインクリメントする（ｓ５３２）。
【０３６６】
次に、ｐ１をインクリメントして（ｓ５４１）、ｐ１の値を参照し（ｓ５４２）、ｐ１＜６ならば、ＣＢＰｏｕｔ［ｐ１］の値を参照して（ｓ５１１）、ｐ１≧６（ｐ１＝６）となるまで上記処理（ｓ５１１〜ｓ５４１）を繰り返す。
【０３６７】
ｐ１≧６（ｐ１＝６）となったら、ＣＢＰ＿ｙ［］を可変長符号化し（ｓ５５１）、ＣＢＰ＿ｕｖ［］を可変長符号化する（ｓ５５２）。このとき、可変長符号はＣＢＰ＿ｙ［］、ＣＢＰ＿ｕｖ［］の長さ（ＣＢＰ＿ｏｕｔ［ｐ１］＝０であるブロックの個数）によって切り替えられる。また、上述したように輝度成分と色差成分とで分けて可変長符号化を行う。
【０３６８】
図１６に、上記可変長符号化テーブルの一例を示す。
【０３６９】
次に、差分ビットストリーム符号化ブロックパターン符号の復号方法について、ＣＢＰの復号原理説明図をＣＢＰｏｕｔ［］、ＣＢＰｒｅｃ［］、ＣＢＰ＿ｙ［］、ＣＢＰ＿ｕｖ［］とともに図１７に示し、概念を説明する。
【０３７０】
６つのそれぞれのブロックに対して、変換後のブロックが有意ブロックである場合、復元される差分ブロックも有意ブロックである、すなわち、ＣＢＰｏｕｔ［ｐ１］＝１のとき、同位置のＣＢＰｒｅｃ［ｐ１］に１を代入する。
【０３７１】
また、変換後のブロックが有意ブロックでない場合については、差分ブロックのＣＢＰの値が、輝度成分と色差成分の値とで別々に符号化されているので、その値を復元、すなわち、ＣＢＰｏｕｔ［ｐ１］＝０のとき、輝度成分を参照している場合には、ＣＢＰ＿ｙ［ｐ２］の値を輝度成分のＣＢＰｒｅｃ［ｐ１］に、色差成分を参照している場合には、ＣＢＰ＿ｕｖ［ｐ３］の値を色差成分のＣＢＰｒｅｃ［ｐ１］に、代入し、復元する。
【０３７２】
差分ブロックのＣＢＰが復元されたら、差分ブロックと変換前のＣＢＰが同一であることを利用して、復元された差分ブロックのＣＢＰを変換前のＣＢＰとする。すなわち、ＣＢＰｒｅｃ［ｐ１］が復元されたら、ＣＢＰｒｅｃ［］の値をＣＢＰｉｎ［］とする。
【０３７３】
次に、差分ビットストリーム符号化ブロックパターン符号の復号方法について、フローチャートを図１８に示し、復号処理を説明する。
【０３７４】
ここで、ＣＢＰｏｕｔ［］のうち、ＣＢＰｏｕｔ［ｐ１］＝０であるブロックの個数のうち輝度成分をｎ＿ｙ、色差成分をｎ＿ｕｖとする。まず、ｎ＿ｙ、ｎ＿ｕｖをカウントして（ｓ６０１）、復号に用いる可変長符号化テーブルを決定する。次に、ｎ＿ｙに応じて、対応する符号化テーブルを用いてＣＢＰ＿ｙ［ｐ２］を復号し（ｓ６０４）、ｎ＿ｕｖに応じて、対応する符号化テーブルを用いてＣＢＰ＿ｕｖ［ｐ３］を復号する（ｓ６０８）。続いて、インデックスｐ１、ｐ２、ｐ３に０を代入して（ｐ１＝０、ｐ２＝０、ｐ３＝０）、初期化する（ｓ６１０）。
【０３７５】
次に、ＣＢＰｏｕｔ［ｐ１］を参照して（ｓ６１１）、ＣＢＰｏｕｔ［ｐ１］＝０のときには、以下の処理を行う。
【０３７６】
ｐ１の値を参照する（ｓ６１２）。ｐ１＜４のときは、ＣＢＰ＿ｙ［ｐ２］をＣＢＰｒｅｃ［ｐ１］に代入して（ｓ６２１）、ｐ２をインクリメントする（ｓ６２２）。ｐ１≧４のときは、ＣＢＰ＿ｕｖ［ｐ３］をＣＢＰｒｅｃ［ｐ１］に代入して（ｓ６３１）、ｐ３をインクリメントする（ｓ６３２）。
【０３７７】
ＣＢＰｏｕｔ［ｐ１］＝１のとき（ｓ６０１で判定）には、ＣＢＰｒｅｃ［ｐ１］に１を代入する（ｓ６４１）。
【０３７８】
上記処理（ｓ６１２〜ｓ６４１）終了後、ｐ１をインクリメントする（ｓ６５１）。
【０３７９】
次に、ｐ１の値を参照して（ｓ６５２）、ｐ１＜６ならば、ＣＢＰｏｕｔ［ｐ１］を参照して（ｓ６１１）、ｐ１≧６（ｐ１＝６）となるまで上記処理（ｓ６１１〜ｓ６５１）を繰り返す。
【０３８０】
ｐ１≧６（ｐ１＝６）となったら、再量子化前のＣＢＰｉｎ［ｐ１］が全てＣＢＰｒｅｃ［ｐ１］として復元されるので、これをストリーム合成装置２０００の出力ＭＰＥＧ−２ビットストリームのＣＢＰとして符号化する。
【０３８１】
以上により、中位レイヤ（ＭＢレイヤ）の符号化処理および復号処理について、説明した。
【０３８２】
なお、差分符号発生ＭＢアドレス制御符号、ＭＢ量子化パラメータ復元用符号、差分ビットストリーム符号化ブロックパターン符号について、それぞれ別々に説明したが、各符号化処理または復号処理は、ＭＢごとに同時に行われる。さらに、上記の説明はＭＢ属性情報の符号化、復号処理についての説明であるので、１ＭＢ処理後に、すぐに次のＭＢ処理に移行しているが、実際には以下に説明する下位レイヤの処理が入る。また、上記のタイミングは他のレイヤについても同様で、ピクチャごと、スライスごと等で行われる。
６：下位レイヤ
【０３８３】
以下、下位レイヤの処理について説明する。
【０３８４】
下位レイヤ符号（ブロックレイヤデータ）は、再量子化前後での量子化係数値の変化差分情報を符号化する。差分ビットストリーム中の本変化差分情報と、変換後ＭＰＥＧ−２ビットストリーム中の再量子化出力係数と、を合成することで、再量子化前の係数情報が完全に復元される。
６．１．１：原理
【０３８５】
まず、係数差分データの符号化原理図を図１９に示し、原理を説明する。
【０３８６】
再量子化前後での量子化係数値の変化差分情報の符号化方法としての最も簡単な方法は、再量子化前後で量子化係数ブロック同士で差分をとった差分係数ブロックを生成し、これをＭＰＥＧの符号化方式に従って符号化する方法である。
【０３８７】
ところで、再量子化入力係数ブロックのうち零でない係数が再量子化によって値が変化することが保証されている場合、再量子化出力係数ブロック内の非零係数が位置する場所にはかならず係数値の変化が発生していることになる。
【０３８８】
そこで、再量子化前後での係数ブロックの変化情報のうち、再量子化出力係数のうち値が零でない係数に対応する変化情報としては、係数値の変化のみを符号化する。このとき、ジグザグスキャンの順番に従い符号化しておけば、合成時に再量子化後の係数ブロック内の非零係数をジグザグスキャン順番に参照していくことで、係数値変化情報に対応させるべき係数の位置がわかる。
【０３８９】
そこで、再量子化出力値が零となる係数に対してのみ差分係数をジグザグスキャンし、残りの係数は、値のみの変化を符号化する。
６．１．２：逆量子化／再量子化一括処理
【０３９０】
ところで、上記処理では、直行変換係数情報を生成し保存した後その係数に対し新たな量子化パラメータにより再量子化を行うため、一旦直行変換係数情報を保存するメモリが必要となる。また、直行変換係数情報はトランスコード処理過程における中間出力であり、目標となる出力ビットストリームに直接は反映されない係数であるため、直行変換係数情報は必ずしも生成する必要はない。
【０３９１】
そこで、逆量子化処理と再量子化処理とを結合し、一括した量子化係数レベル変換処理を行う。これにより、ＤＣＴ係数を復元することなく、変換前量子化係数情報（第１量子化係数情報）から圧縮された変換後量子化係数情報（第２量子化係数情報）ヘの直接変換がおこなえることになり、ＤＣＴ係数変換演算処理の簡易化が図れ、且つ処理効率の向上によるトランスコーディング処理の高速化を実現できる。下記式は、変換前係数情報ＱＦ１、変換前量子化パラメータＭＱ１、変換後量子化パラメータＭＱ２により得られる変換後係数情報ＱＦ２を示すものである。
【０３９２】
・イントラ
【０３９３】
ＱＦ２＝    ＱＦ１×ＭＱ１／ＭＱ２＋ｓｉｇｎ（ＱＦ１）／２
【０３９４】
・インター
【０３９５】
ＱＦ２＝  （ＱＦ１＋ｓｉｇｎ（ＱＦ１）×１／２）×ＭＱ１／ＭＱ２
【０３９６】
ここで、ｓｉｇｎ（ＱＦ１）は、ＱＦ１が、正のとき“＋１”、負の時“−１”を示す。
６．２：符号化方法
【０３９７】
以下に、ブロック係数情報の符号化の処理手順を示す。
【０３９８】
ブロック係数情報の符号化処理手順は、以下の３つの工程からなる。
１．量子化係数差分ブロックから再量子化前後間係数値変化情報を生成する。
２．零係数に再量子化された係数の変化情報を符号化する。
３．非零係数に再量子化された係数の変化情報を符号化する。
【０３９９】
ここで、再量子化入力量子化係数ブロックをＱＦｉｎ［ｖ］［ｕ］、再量子化出力量子化係数ブロックをＱＦｏｕｔ［ｖ］［ｕ］とする。ただし、（ｖ，  ｕ）はブロック内位置インデックスを表し、（ｖ，  ｕ）∈［０，  ７］である。また、零係数に再量子化された係数の入力係数値を表すブロックをＱＦｄｉｆｆ［ｖ］［ｕ］とする。また、非零係数に再量子化された係数の再量子化前の値（再量子化入力係数ＱＦｉｎ［ｖ］［ｕ］）を、一次元の系列ＱＦｎｏｎｚｅｒｏ−ｉｎ［ｗ］に格納し、この係数値（再量子化出力係数値ＱＦｏｕｔ［ｖ］［ｕ］）を、一次元の系列ＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］に格納する。さらに、ＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］から再量子化前の係数値（ＱＦｎｏｎｚｅｒｏ−ｉｎ［ｗ］）を予測したときの予測誤差に相当する予測誤差値をΔＱＦ［ｗ］とする。
【０４００】
また、復号処理でＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］と予測誤差値ΔＱＦ［ｗ］とから再現される再量子化前の再現係数値をＱＦｎｏｎｚｅｒｏ−ｒｅｃ［ｗ］とする。
【０４０１】
以下に、再量子化前後間係数値変化情報の生成処理のフローチャートを図２０に示し、上記各処理の詳細を説明する。
１．量子化係数差分ブロックから再量子化前後間係数値変化情報（ＱＦｄｉｆｆ［ｖ］［ｕ］、ＱＦｎｏｎｚｅｒｏ−ｉｎ［ｗ］、ＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］）の生成処理
【０４０２】
再量子化前後間係数値変化情報（ＱＦｄｉｆｆ［ｖ］［ｕ］、ＱＦｎｏｎｚｅｒｏ−ｉｎ［ｗ］、ＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］）の生成処理では、初期処理として、ＱＦｄｉｆｆ［ｖ］［ｕ］をＮＵＬＬ（空データ、未定義の値）として初期化する（ｓ７０１）。続いて、（ｕ，  ｖ）＝（０，  ０）（ｓ７０２）、ｗ＝０（ｓ７０３）として、ｕ，  ｖ，  ｗを初期化する。
【０４０３】
次に、ＱＦｏｕｔ［ｖ］［ｕ］の値を参照する（ｓ７１１）。ＱＦｏｕｔ［ｖ］［ｕ］の参照順序はジグザグスキャンの順番に従う。
【０４０４】
ＱＦｏｕｔ［ｖ］［ｕ］＝０のときには、このときのＱＦｉｎ［ｖ］［ｕ］を、零係数に再量子化された係数の入力係数値を表すブロックＱＦｄｉｆｆ［ｖ］［ｕ］に格納する（ｓ７２１）。すなわち、ＱＦｄｉｆｆ［ｖ］［ｕ］の生成は、次の式（１４）により表現される。
【０４０５】
ＱＦｄｉｆｆ［ｖ］［ｕ］＝ＱＦｉｎ［ｖ］［ｕ］  （ＱＦｏｕｔ［ｖ］［ｕ］＝０のとき）  ・・・・式（１４）
【０４０６】
ただし、ＱＦｄｉｆｆ［ｖ］［ｕ］は、ＮＵＬＬ（空データ、未定義の値）として初期化されているため、ＱＦｏｕｔ［ｖ］［ｕ］≠０のときには、式（１４）は実行されないので、このときのＱＦｄｉｆｆ［ｖ］［ｕ］は値がＮＵＬＬのままであり、値が格納されていないものとして扱われる。
【０４０７】
ＱＦｏｕｔ［ｖ］［ｕ］の値の参照（ｓ７１１）により、ＱＦｏｕｔ［ｖ］［ｕ］≠０の場合、このＱＦｏｕｔ［ｖ］［ｕ］に対応する（同じ位置の）再量子化入力係数ＱＦｉｎ［ｖ］［ｕ］を一次元の系列ＱＦｎｏｎｚｅｒｏ−ｉｎ［ｗ］に格納し（ｓ７３１）、再量子化出力係数値ＱＦｏｕｔ［ｖ］［ｕ］をＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］に格納し（ｓ７３２）、インデックスｗを１つ進める（ｓ７３３）。
【０４０８】
以下、（ｖ，  ｕ）の値を参照し（ｓ７４１）、（７，  ７）となる（ブロックが終了する）まで、（ｖ，  ｕ）を次のスキャン位置に進め（ｓ７４２）、ＱＦｏｕｔ［ｖ］［ｕ］の値を参照（ｓ７１１）して、上記処理（ｓ７４２，ｓ７１１〜ｓ７３３）を繰り返す。
【０４０９】
ブロック内の再量子化前後間係数値変化情報（ＱＦｄｉｆｆ［ｖ］［ｕ］、ＱＦｎｏｎｚｅｒｏ−ｉｎ［ｗ］、ＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］）の生成処理が終了したら、以下の処理により、零係数に再量子化された係数の変化情報の符号化処理を行う。
２．零係数に再量子化された係数の変化情報の符号化処理
【０４１０】
零係数に再量子化された係数の変化情報の符号化処理では、まず、零係数に再量子化される係数の入力係数値を表すブロックＱＦｄｉｆｆ［ｖ］［ｕ］のうちＮＵＬＬでない値のみを抜き出した後にジグザグスキャンし、１次元系列に並び変える。次に、ＱＦｄｉｆｆ［ｖ］［ｕ］を連続する０の個数（ｒｕｎ）とＱＦｄｉｆｆ［ｖ］［ｕ］の値（ｌｅｖｅｌ）のペア（ｒｕｎ，  ｌｅｖｅｌ）の並びとして表現する。次に、（ｒｕｎ，  ｌｅｖｅｌ）系列の先頭から順番に（ｒｕｎ，  ｌｅｖｅｌ）イベントを符号化する。
【０４１１】
系列末尾に到達（ＱＦｄｉｆｆ［ｖ］［ｕ］が終了）したら、ＥＯＢ符号を符号化する。
【０４１２】
ここで、（ｒｕｎ，  ｌｅｖｅｌ）イベントの符号化方法について、以下の３つの方法をあげる。
【０４１３】
第１の方法は、（ｒｕｎ，  ｌｅｖｅｌ）のセットで可変長符号化を行う方法である。この場合、ＭＰＥＧ−２の標準可変長符号を用いても良いし、独自の可変長符号化テーブルを用意しても良い。
【０４１４】
第２の方法は、ｒｕｎの値を可変長符号化し、続いてｌｅｖｅｌの値について可変長符号化を行う方法である。この場合には、ｒｕｎとｌｅｖｅｌにそれぞれ独自の可変長符号を用意して効率の良い符号量圧縮を行う。
【０４１５】
第３の方法は、ｒｕｎの値を可変長符号化し、上記再量子化パラメータ導出定数ｍとｌｅｖｅｌの値を用いて算出された可変長符号を用いて符号化を行う方法である。この方法により、最も効率よく符号化を行うことができる。
【０４１６】
この第３の方法について、以下に説明する。
【０４１７】
この方法のポイントは、“再量子化パラメータ導出定数ｍの値によって、可変長符号化テーブルが切り替えられる”ことと、“このときの可変長符号化テーブルは、計算によって求めることが可能である”ことである。
【０４１８】
図２１、図２２に、ｒｕｎとｌｅｖｅｌの可変長符号語を示す。図２１（ａ）はイントラの場合、図２１（ｂ）はインターの場合の符号化テーブルをそれぞれ示す。
【０４１９】
図２１に示すように、ランの符号化テーブルは、ランの発生確率の測定結果に基づきハフマン符号化アルゴリズムを適用して作成されたものである。
【０４２０】
ここで、図２１に示すように、ｒｕｎ＝０の符号語長は１ビットであるから、（ｒｕｎ，  ｌｅｖｅｌ）＝（０，  ±１）のときの符号語は、“０ｓ”（ｍ＝１のとき）、“００ｓ”（ｍ≧２のとき）として表される（先頭の“０”はｒｕｎの符号語、残りがｌｅｖｅｌの符号語）。
【０４２１】
これに対し、ＭＰＥＧ−２における（ｒｕｎ，  ｌｅｖｅｌ）＝（０，  ±１）のときの符号語は、“１ｓ”（最初のＤＣＴ係数のとき）、“１１ｓ”（最初以外のＤＣＴ係数のとき）であり、ランとレベルを分けた本符号化と符号語長は同じである。
【０４２２】
しかも、本符号化では、イントラの場合、ランが“０”の確率は５割を超え、ランが“０”または“１”の確率は７割を越えるので、この２値の場合、特に“０”の場合に短い符号語を割り当て、他の値についても統計量に基づいて符号語を割り当てることにより、符号語が短縮される確率が高くなり、全体の符号語長が短くなり、符号化効率を高めることができる。
【０４２３】
また、インターの場合であっても、ランが“０”または“１”の確率は５割を越え、この２値の場合に短い符号語を割り当て、符号語の短縮を実現し、符号化効率を高めることができる。
【０４２４】
図２２に示す  ｜ｌｅｖｅｌ｜  の符号語は、再量子化パラメータ導出定数ｍ＝６のときの一例であり、このような可変長符号が割り当てられているときには、可変長符号化テーブルを用いなくても連続する１の個数によりｌｅｖｅｌの値を特定できる。
【０４２５】
すなわち、符号語を“  ｜ｌｅｖｅｌ｜  −１”個の連続する１とそれに続く０およびサインビットｓ（ｌｅｖｅｌが正ならば０，負ならば１）として表現することができる。ここで、再量子化パラメータ導出定数ｍの値により、  ｜ｌｅｖｅｌ｜  の最大値（この場合は６）がわかっているので、“（  ｜ｌｅｖｅｌ｜  の最大値）−１”（この場合、６−１＝５）個１が続いたら（０が現れなかったら）、サインビットｓの後、符号語が終了することがわかるとともに、  ｜ｌｅｖｅｌ｜  が最大値（＝６）であることがわかる。
【０４２６】
したがって、可変長符号化テーブルを用意せずに、符号語を計算によって求めることができる。
【０４２７】
ブロック内の零係数に再量子化された係数の変化情報の符号化処理が終了したら、以下の処理により、非零係数に再量子化された係数の変化情報の符号化処理を行う。
３．非零係数に再量子化された係数の変化情報の符号化処理
【０４２８】
非零係数に再量子化された係数の変化情報の符号化処理では、一次元系列ＱＦｎｏｎｚｅｒｏ−ｉｎ［ｗ］およびＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］に格納された非零係数に再量子化された係数の変化情報を先頭から順番に、以下の手順により符号化する。
【０４２９】
すなわち、再量子化前後の量子化パラメータＭＱ１、ＭＱ２とＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］を用いて、下記式（１５）のように予測誤差ΔＱＦ［ｗ］を算出する。
【数１３】
0003561485.tif 000014
ここで、ΔＱＦ［ｗ］は、ＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］から再量子化前の値を予測したときの予測誤差に相当する。
【０４３０】
上記により算出される予測誤差値ΔＱＦ［ｗ］を可変長符号化する。
【０４３１】
ここで、予測誤差値ΔＱＦ［ｗ］の符号化方法について、以下の２つの方法をあげる。
【０４３２】
第１の方法は、予測誤差値ΔＱＦ［ｗ］をあらかじめ定められた可変長符号化テーブルを用いて可変長符号化を行う方法である。
【０４３３】
第２の方法は、上記再量子化パラメータ導出定数ｍと予測誤差値ΔＱＦ［ｗ］の値を用いて算出された可変長符号を用いて符号化を行う方法である。この方法により、効率よく符号化を行うことができる。
【０４３４】
この第２の方法について、以下に説明する。
【０４３５】
この方法のポイントは、“再量子化パラメータ導出定数ｍの値によって、可変長符号化テーブルが切り替えられる”ことと、“このときの可変長符号化テーブルは、計算によって求めることが可能である”ことである。
【０４３６】
図２３に、予測誤差値ΔＱＦ［ｗ］の可変長符号語を示す。
【０４３７】
図２３に示す予測誤差値ΔＱＦ［ｗ］の符号語は、再量子化パラメータ導出定数ｍ＝６のときの一例であり、このとき｜ΔＱＦ［ｗ］｜は、０から６までの値が発生する。ただし、末尾のサインビットｓ（ΔＱＦ［ｗ］が正ならば０，負ならば１）は、イントラ符号化された場合にのみ必要であり、インターの場合には必要はない。そこで、イントラのときには、｜Δｍ｜の符号化テーブルと同一となる。
【０４３８】
また、このような可変長符号が割り当てられているときには、可変長符号化テーブルを用いなくても連続する１の個数により予測誤差値ΔＱＦ［ｗ］の値を特定できる。
【０４３９】
すなわち、｜ΔＱＦ［ｗ］｜個の連続する１とそれに続く０およびイントラの場合サインビットｓとして表現することができる。ここで、再量子化パラメータ導出定数ｍの値により、｜ΔＱＦ［ｗ］｜の最大値（この場合は６）がわかっているので、｜ΔＱＦ［ｗ］｜（この場合、６）個１が続いたら（０が現れなかったら）、（イントラの場合サインビットｓの後、）符号語が終了することがわかるとともに、｜ΔＱＦ［ｗ］｜が最大値（＝６）であることがわかる。
【０４４０】
したがって、可変長符号化テーブルを用意せずに、符号語を計算によって求めることができる。
【０４４１】
以上により、ブロック係数情報の符号化処理が終了する。
６．３：復号方法
【０４４２】
次に、係数差分データの復号原理図を図２４に示し、ブロック係数情報の復号処理を説明する。
【０４４３】
１つのブロックに関する係数変化情報は、零係数に再量子化された係数の（ｒｕｎ，  ｌｅｖｅｌ）系列符号、ＥＯＢ符号、非零係数に再量子化された係数の予測誤差値ΔＱＦ［ｗ］という形に並んでいる。
【０４４４】
そこで、係数変化情報の復号方法および、再量子化入力ブロックＱＦｉｎ［ｖ］［ｕ］の再現方法の処理手順は、以下の３工程からなる。
１．再量子化パラメータ導出定数ｍの値を受け取る。
２．零係数に再量子化された係数の変化情報の復号および係数ブロックを再現する。
３．非零係数に再量子化された係数の変化情報の復号および再量子化前係数値を再現する。
４．上記で生成された零係数に再量子化された再量子化前の係数ブロックに非零係数に再量子化された再量子化前の係数値を挿入する。
【０４４５】
以下に、上記各処理の詳細を説明する。
【０４４６】
１．再量子化パラメータ導出定数ｍの値を受け取る。
【０４４７】
まず、復号処理の前処理として、復号された再量子化パラメータ導出定数ｍを受け取る。
【０４４８】
２．零係数に再量子化された係数の変化情報の復号および係数ブロックを再現する。
【０４４９】
次に、ｒｕｎを復号し、次にｌｅｖｅｌを復号することで１つの（ｒｕｎ，  ｌｅｖｅｌ）ペアを復号する。このとき、上記処理で得た再量子化パラメータ導出定数ｍの値に応じた可変長符号化テーブルに基づいて復号する。次に、復号された（ｒｕｎ，  ｌｅｖｅｌ）ペアのｒｕｎの値から、対応するブロック内位置（ｖ，  ｕ）を算出し、その場所にｌｅｖｅｌの値を挿入する。
【０４５０】
ここで、ｒｕｎは、ＮＵＬＬ値が入る位置は表現されていないので、変換後ＭＰＥＧ−２ビットストリームから得られる再量子化後の係数ブロックから、非零係数に再量子化される係数の位置情報を取得してＮＵＬＬ値の場所を特定しておき、スキャンするときにその場所をスキップする。
【０４５１】
上記処理をＥＯＢ符号が出現するまで繰り返す。
【０４５２】
以上の処理により、零係数に再量子化された係数ブロックが再現される。
【０４５３】
３．非零係数に再量子化された係数の変化情報の復号および再量子化前係数値を再現する。
【０４５４】
ＭＰＥＧ−２ビットストリームを復号して得られる再量子化後の係数ブロックの中の非零係数をジグザグスキャンの順番で読み出し、非零係数を格納する一次元配列ＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］に先頭から順番に格納する。
【０４５５】
係数値予測誤差ΔＱＦを可変長復号する。このとき、上記処理で得た再量子化パラメータ導出定数ｍの値に応じた可変長符号化テーブルに基づいて復号する。ＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］と、変換後ＭＰＥＧ−２ビットストリームより復号される再量子化後量子化パラメータＭＱ２と、ＭＢ属性情報復号処理により復元された再量子化前量子化パラメータＭＱ１と、を用いて、再量子化前の再現係数値ＱＦｎｏｎｚｅｒｏ−ｒｅｃ［ｗ］を下記式（１６）のように復元する。
【数１４】
0003561485.tif 000015
上記非零係数ＱＦｎｏｎｚｅｒｏ−ｏｕｔ［ｗ］ジグザグスキャン読み出し処理に戻り、残りの非零係数が無くなり、全ての非零係数に再量子化された係数の再量子化前の値を復元するまで、上記手順を繰り返す。
【０４５６】
以上の処理により、非零係数に再量子化された係数の再量子化前の値が再現される。
【０４５７】
４．生成された零係数に再量子化された再量子化前の係数ブロックに非零係数に再量子化された再量子化前の係数値を挿入する。
【０４５８】
上記で生成された零係数に再量子化された係数ブロックのＮＵＬＬ値が入っている位置、すなわち、非零係数に再量子化された係数の再量子化前の値が存在する位置に、ジグザグスキャンの順番で、再量子化前の係数値の一次元系列ＱＦｎｏｎｚｅｒｏ−ｒｅｃ［ｗ］を先頭から順番に当てはめていくことにより、二種類の係数データによって再現された係数ブロックが合成される。
【０４５９】
この合成によって、再量子化前のブロックが完全に復元されるので、この係数ブロックを再ジグザグスキャンし、零ランとレベルに基づくＭＰＥＧ−２の符号化方式に従い符号化出力する。
【０４６０】
以上の処理により、上位レイヤから下位レイヤまで、全ての符号化処理および復号処理が実現できる。
【０４６１】
以上説明したように、ストリーム分離装置では、高品質なＭＰＥＧ−２ビットストリーム（変換前ＭＰＥＧ−２ビットストリーム）を、従来のＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）と差分ビットストリームとに、分離することができ、ストリーム合成装置では、分離された従来のＭＰＥＧ−２ビットストリーム（変換後ＭＰＥＧ−２ビットストリーム）と差分ビットストリームとにより、変換前ＭＰＥＧ−２ビットストリームと完全に一致する高品質なＭＰＥＧ−２ビットストリームを合成することができる。
【０４６２】
したがって、レート削減されたＭＰＥＧ−２ビットストリームを先に送信しておき、必要な場合において、差分ビットストリームのみを送信して、トランスコード前の高品質なＭＰＥＧ−２ビットストリームを得ることができる。
【０４６３】
さらに、本処理における独自ＶＬＣを適用した係数分離方式の送信データ量を検証した。
【０４６４】
実験用ビットストリームは、テストシーケンスとして７０４×４８０サイズの４：２：０フォーマットのＢｕｓ１５０枚を用いて、１５Ｍｂｐｓのビットレートで符号化されたものである。ＧＯＰ構造は、Ｎ＝１５、Ｍ＝３である。
【０４６５】
図２５に、上記の場合の結果を示す。図２５に示す入力は、分離した従来のＭＰＥＧ−２ビットストリーム、本明細書における変換後ＭＰＥＧ−２ビットストリームを示すものである。また、右肩下がりの線は、上記差分ビットストリームを示すものであり、１５Ｍを下回る右肩上がりの線は、双方の合計値を表す線である。
【０４６６】
本処理では、上記でも説明したように、以下のことをポイントとして符号化を行っている。
【０４６７】
すなわち、係数を再量子化後の値によって分離する。
【０４６８】
非零係数に再量子化される係数は、係数値のみを符号化する。このとき、再量子化前の値を予測したときの予測誤差値を符号化する。さらに、可変長符号化テーブルは、再量子化パラメータ導出定数ｍによって切り替えて符号化する。
【０４６９】
零係数に再量子化される係数は、ランレベルにより符号化する。このとき、ランは、非零係数に再量子化される係数（上記図において×印を示した箇所）を除外した後の系列について算出する。レベルは、使用する可変長符号化テーブルを再量子化パラメータ導出定数ｍによって切り替えて符号化する。
【０４７０】
以上の符号化処理により、非零係数に再量子化される係数においては、位置情報を表現するための符号を削減することができる。また、予測誤差値を用いることによって、発生する値を限定した範囲に収束させ、短い可変長符号を割り当てられ、符号量を削減することができる。さらに、可変長符号化テーブルを再量子化パラメータ導出定数ｍによって切り替えることにより、発生する値を限定した範囲に収束させ、短い可変長符号を割り当てられ、符号量を削減することができる。
【０４７１】
また、零係数に再量子化される係数においては、ランを非零係数に再量子化される係数を除外した後の系列について算出することにより、レベルの発生頻度を減らし、ランレベル発生の全体量を削減し、符号量を削減することができる。また、レベルが使用する可変長符号化テーブルを再量子化パラメータ導出定数ｍによって切り替えることにより、発生する値を限定した範囲に収束させ、短い可変長符号を割り当てられ、符号量を削減することができる。
【０４７２】
以上のように、符号量を削減し、符号量圧縮を実現している。
【０４７３】
このことにより、図２５に示すように、実験結果としても分離後の合計ビットレートが分離前を下回っており、分離された差分係数に対して適切に設計された可変長符号を適用することで、分離前後で全情報量を少なくすることができ、再圧縮の効果が期待できることが分かる。
【０４７４】
また、このことから本発明を用いれば、変換前の符号化信号のみが必要な場合であっても、分離処理を行い、分離後の符号化信号を送受信した方が、低レートで同品質の符号化信号を得ることができる。
【０４７５】
さらに、差分ビットストリームに付加されるシーケンスヘッダの詳細構成を図３２に示し、説明する。
【０４７６】
上述の説明では、説明を簡略するため、シーケンスヘッダは、３２ビット長のユニークコードとして定義されるＳｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ＿Ｃｏｄｅのみで構成されるとしたが、詳しくは、図３２に示すように、Ｓｅｑｕｅｎｃｅ＿ｓｔａｒｔ＿ｃｏｄｅとＯｒｉｇｉｎａｌ＿Ｂｉｔ＿Ｒａｔｅ＿ｖａｌｕｅを有する。なお、変換前ＭＰＥＧ−２ビットストリームおよび変換後ＭＰＥＧ−２ビットストリームは、シーケンスヘッダに、開始同期符号ｓｅｑｕｅｎｃｅ＿ｓｔａｒｔ＿ｃｏｄｅとｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅを有する。
【０４７７】
Ｓｅｑｕｅｎｃｅ＿ｓｔａｒｔ＿ｃｏｄｅは、上記Ｓｅｑｕｅｎｃｅ＿Ｈｅａｄｅｒ＿Ｃｏｄｅとして説明した３２ビット長のユニークコードとして定義され、ビットストリーム中より本符号を検索してシーケンスレイヤ符号の開始を検出でき、シーケンスレイヤ単位での同期を確保できる差分符号化信号シーケンスレイヤ開始同期コードである。
【０４７８】
Ｏｒｉｇｉｎａｌ＿Ｂｉｔ＿Ｒａｔｅ＿ｖａｌｕｅは、１８ビットの変更前ビットレート値符号であり、変換前ＭＰＥＧ−２ビットストリームのビットレートを４００で除算した値である。
【０４７９】
ビットストリーム分離処理において、上記のような、差分ビットストリーム内の変更前ビットストリーム値符号Ｏｒｉｇｉｎａｌ＿Ｂｉｔ＿Ｒａｔｅ＿ｖａｌｕｅに、トランスコード処理による変更前の入力ビットストリーム（変換前ＭＰＥＧ−２ビットストリーム）内のシーケンスヘッダにあるｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅの値、すなわち、変換前ＭＰＥＧ−２ビットストリームのビットレートを４００で除算した値を格納する。
【０４８０】
ビットストリーム合成処理では、変換後ＭＰＥＧ−２ビットストリームを復号して得られるシーケンスヘッダ内のｂｉｔ＿ｒａｔｅ＿ｖａｌｕｅの値を、差分ビットストリームから得られるＯｒｉｇｉｎａｌ＿Ｂｉｔ＿Ｒａｔｅ＿ｖａｌｕｅに置き換える。
【０４８１】
したがって、ＭＰＥＧ−２ビットストリームの分離、合成処理後に、変換前ＭＰＥＧ−２ビットストリームと全く同一のシーケンスヘッダ符号を完全に復元することができる。
【０４８２】
【発明の効果】
請求項１記載の発明によれば、第１符号化信号を入力して、符号量変換処理が行われた第２符号化信号に変換するとともに、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を生成するので、従来の符号量削減された符号化信号を出力しつつ、必要に応じて差分符号化信号を出力でき、変換後符号化信号からもとの符号化信号を復元することができる。
【０４８３】
また、請求項２記載の発明によれば、差分符号化信号がＭＰＥＧ−２とよく似た階層構造からなるので、各レイヤの開始符号によってＭＰＥＧ−２ビットストリームと対応づけができ、各レイヤごとにそれぞれの処理を行うことができる。
【０４８４】
また、請求項３記載の発明によれば、変換後の係数情報が零係数に変換される係数情報と非零係数に変換される係数情報とに分離し、零係数に変換される係数情報と、非零係数に変換される係数情報と、をそれぞれ別々に差分情報を生成し、符号化するので、それぞれの符号化に適した処理を行うことができ、符号化効率を考慮した最適な符号化を行うことができる。
【０４８５】
さらに、請求項４記載の発明によれば、非零係数差分情報を係数値情報のみから生成し、非零係数の存在位置情報は前記第２符号化信号上の情報を流用するので、差分情報に非零係数の位置情報を含まず、位置情報を表現するための符号を必要としないため、符号化効率を向上させることができる。
【０４８６】
さらに、請求項５記載の発明によれば、前記非零係数差分情報の係数情報として、非零係数第２係数情報の係数値と、第１マクロブロック量子化パラメータと第２マクロブロック量子化パラメータとの比率と、から非零係数変換第１係数情報の係数値を予測した値の誤差を用いるので、発生する値を限定した範囲に収束させることができるために、短い可変長符号を割り当てることができ、符号化効率を向上させることができる。
【０４８７】
また、請求項６記載の発明によれば、零係数変換第１係数情報のみから零係数差分情報を生成するので、零係数差分情報を生成するのに第２符号化信号の情報を必要とせず、第１符号化信号のみから符号化でき、符号化処理が単純で簡単に行うことができる。さらに、非零係数変換第１係数情報が存在していた位置を除いてラン値を数えるので、レベルの発生する頻度が抑えられ、ランレベルの発生数が減り、符号化対象の数が減って符号量を削減することができる。
【０４８８】
また、請求項７記載の発明によれば、前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを生成することにより、差分情報の有意ブロックと符号化不要のブロック位置がわかるので、有意ブロックとならないブロックを符号化せずに差分情報が発生する有意ブロックのみを符号化することができ、差分符号化信号の符号量を削減することができる。
【０４８９】
さらに、請求項８記載の発明によれば、前記第２符号化信号の有意ブロック位置には差分符号化信号の有意ブロックが発生することを利用して、前記第２符号化信号のブロックが符号化不要の位置についてのみ、前記差分符号化信号の符号化ブロックパターンの前記位置の値を符号化するので、前記第２符号化信号、差分符号化信号ともに有意ブロックが発生する位置の符号化ブロックパターンの値を符号化せずに済み、差分符号化信号の符号量を削減することができる。
【０４９０】
また、請求項９記載の発明によれば、差分符号化信号に符号化するマクロブロックの情報位置を、差分符号発生ＭＢアドレスとして持つので、第１符号化信号と第２符号化信号との差分情報が発生するマクロブロックのみを差分符号化信号に符号化することができるので、符号化情報の削減ができるとともに、差分符号発生ＭＢアドレスの情報を直前の差分符号発生ＭＢアドレスとの差分値として差分符号化信号に符号化するので、発生する値を限定した範囲に収束させることができるために、短い可変長符号を割り当てることができ、符号化効率を向上させることができる。
【０４９１】
また、請求項１０および１１記載の発明によれば、変換前の信号である第１符号化信号の第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を生成して差分符号化信号内に付加するので、差分符号化信号から前記第１マクロブロック量子化パラメータを復元することができ、前記第１符号化信号を正確に復元することができる。
【０４９２】
さらに、請求項１２記載の発明によれば、前記マクロブロック量子化パラメータ復元情報を、前記第２マクロブロック量子化パラメータから前記第１マクロブロック量子化パラメータを復元させるマクロブロック量子化パラメータ導出定数を用いて生成するので、前記第２符号化信号内の前記第２マクロブロック量子化パラメータと前記差分符号化信号内の前記マクロブロック量子化パラメータ復元情報とから前記第１マクロブロック量子化パラメータを復元することができる。
【０４９３】
さらに、請求項１３記載の発明によれば、前記マクロブロック量子化パラメータ復元情報を、前記量子化パラメータ導出定数と直前に符号化した差分マクロブロック情報の前記マクロブロック量子化パラメータ復元情報との差分から生成するので、発生する値を限定した範囲に収束させることができるために、短い可変長符号を割り当てることができ、符号化効率を向上させることができる。
【０４９４】
また、請求項１４および１５記載の発明によれば、変換前の信号である第１符号化信号の第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を生成して差分符号化信号内に付加するので、差分符号化信号から前記第１スライス量子化パラメータを復元することができ、前記第１符号化信号を正確に復元することができる。
【０４９５】
さらに、請求項１６記載の発明によれば、前記スライス量子化パラメータ復元情報を、前記第２スライス量子化パラメータから前記第１スライス量子化パラメータを復元させるスライス量子化パラメータ導出定数を用いて生成するので、前記第２符号化信号内の前記第２スライス量子化パラメータと前記差分符号化信号内の前記スライス量子化パラメータ復元情報とから前記第１スライス量子化パラメータを復元することができる。
【０４９６】
また、請求項１７記載の発明によれば、前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を前記差分符号化信号内に付加するので、差分符号化信号内の情報から第１符号化信号の仮想入力バッファの蓄積量を復元することができ、前記第１符号化信号を正確に復元することができる。
【０４９７】
また、請求項１８記載の発明によれば、係数値の変化情報の値に、可変長符号語を割り当てる可変長符号化テーブルを、第１量子化パラメータ導出係数に応じて切り替えるので、各係数値の変化情報ごとに可変長符号語を最適に割り当てることができ、符号化効率を向上させることができる。
【０４９８】
また、請求項１９記載の発明によれば、第１量子化パラメータ導出係数によって符号化する予測誤差値の可変長符号語を計算によって求めることができるので、可変長符号化テーブル用意することなく、最適な可変長符号語を割り当てることができ、符号化効率を向上させることができる。
【０４９９】
また、請求項２０記載の発明によれば、ランの値とレベルの値とをそれぞれ別に可変長符号語を割り当てることにより、それぞれ最適な符号化を行うことができるとともに、第１量子化パラメータ導出係数によって符号化するレベル値の可変長符号語を計算によって求めることができるので、可変長符号化テーブル用意することなく、最適な可変長符号語を割り当てることができ、符号化効率を向上させることができる。
【０５００】
また、請求項２１記載の発明によれば、有意差分輝度ＣＢＰの値と有意差分色差ＣＢＰの値とをそれぞれ別に可変長符号化テーブルを割り当てることにより、それぞれ最適な符号化を行うことができるとともに、輝度、色差それぞれ第２符号化信号の当該マクロブロック内の符号化不要ブロック数、すなわち、当該マクロブロック内の有意差分輝度ＣＢＰ値の数および有意差分色差ＣＢＰ値の数によって、それぞれの可変長符号化テーブルを切り替えるので、最適な可変長符号語を割り当てることができ、符号化効率を向上させることができる。
【０５０１】
また、請求項２２記載の発明によれば、マクロブロック量子化パラメータ復元情報により可変長符号語を計算によって求めることができるので、可変長符号化テーブル用意することなく、最適な可変長符号語を割り当てることができ、符号化効率を向上させることができる。
【０５０２】
また、請求項２３記載の発明によれば、第１符号化信号と第２符号化信号とを入力して、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を生成するので、従来の符号量削減前の符号化信号と従来の符号量削減後の符号化信号とを入力して、差分符号化信号を生成することができ、必要に応じて差分符号化信号の生成および送信を行うことができる。
【０５０３】
また、請求項２４記載の発明によれば、複数の画像情報から構成される動画像を符号化した第１符号化信号が符号量変換処理により符号量削減された第２符号化信号と、前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号とを入力して、前記第２符号化信号と前記差分符号化信号とを合成して前記第１符号化信号を復元するので、符号量削減された低品位の符号化信号から差分符号化信号を用いて高品位の符号化信号を復元できるとともに、低レートで符号化信号を受信しておき必要な部分だけ差分符号化信号を受信して高品位な符号化信号を得ることができる。
【０５０４】
また、請求項２５記載の発明によれば、前記第２符号化信号内の零係数第２係数情報と前記差分符号化信号内の零係数差分情報とに基づいて零係数変換第１係数情報を生成し、前記第２符号化信号内の非零係数第２係数情報と前記差分符号化信号内の非零係数差分情報とに基づいて非零係数変換第１係数情報を生成し、前記零係数変換第１係数情報と前記非零係数変換第１係数情報とを合成して第１係数情報を復元するので、それぞれの符号化に適した符号化処理された信号を復号することができ、最適に符号化された信号から前記第１符号化信号を復元することができる。
【０５０５】
また、請求項２６記載の発明によれば、前記第１符号化信号と前記第２符号化信号との差分情報が発生する有意ブロック位置を示す差分符号化信号の符号化ブロックパターンを復号して、前記第１符号化信号の符号化ブロックパターンを復元するので、差分情報が発生する有意ブロックのみが符号化された前記差分符号化信号から前記第１符号化信号を復元することができる。
【０５０６】
また、請求項２７記載の発明によれば、前記差分符号化信号から前記第１マクロブロック量子化パラメータを復元するマクロブロック量子化パラメータ復元情報を復号するので、差分符号化信号から前記第１マクロブロック量子化パラメータを復元することができ、前記第１符号化信号を正確に復元することができる。
【０５０７】
また、請求項２８記載の発明によれば、前記差分符号化信号から前記第１スライス量子化パラメータを復元するスライス量子化パラメータ復元情報を復号するので、差分符号化信号から前記第１スライス量子化パラメータを復元することができ、前記第１符号化信号を正確に復元することができる。
【０５０８】
また、請求項２９記載の発明によれば、前記差分符号化信号から前記第１符号化信号を復号させる際に正常な復号処理を可能とさせる信号蓄積遅延のための仮想入力バッファの蓄積量を取得するので、差分符号化信号内の情報から第１符号化信号の仮想入力バッファの蓄積量を復元することができ、前記第１符号化信号を正確に復元することができる。
【０５０９】
また、請求項３０記載の発明によれば、複数の画像情報から構成される動画像を符号化した第１符号化信号を入力して、該入力された第１符号化信号に符号量変換処理を行い第２符号化信号に変換して出力するとともに前記第１符号化信号と前記第２符号化信号との差分情報である差分符号化信号を出力する符号化信号分離装置と、前記第２符号化信号と前記差分符号化信号とを入力して、前記第１符号化信号を合成して出力する符号化信号合成装置と、を備えるので、低レートで送受信される第２符号化信号、差分符号化信号、復元される第１符号化信号が自由に得ることができ、必要に応じてそれぞれの符号化信号を送受信および合成を行うことができる。
【０５１０】
また、請求項３１から６０記載の発明によれば、上記と同様な効果を有する符号化信号分離方法、合成方法、分離合成方法および差分符号化信号生成方法を提供することができる。
【０５１１】
さらに、請求項６１から９０記載の発明によれば、上記と同様な効果を有する符号化信号分離プログラム、合成プログラム、分離合成プログラムおよび差分符号化信号生成プログラムを記録した媒体を提供することができる。
【０５１２】
さらに、請求項９１記載の発明によれば、符号化信号伝送において重複した符号語が出現しないユニークコードが差分符号化信号に付加されるので、他の符号化信号と区別でき、シーケンスヘッダを検索することができ、シーケンス単位での同期を確保することができる。
【０５１３】
また、請求項９２〜９４記載の発明によれば、分離処理時に第１符号化信号のビットレートを表す変更前ビットレート値符号を差分符号化信号内に付加し、合成処理時に差分符号化信号から変更前ビットレート値符号を取得し、第１符号化信号復元するので、分離、合成処理後に、変換前の第１符号化信号を完全に再現することができる。
【０５１４】
また、変更前ビットレート値符号として、第１符号化信号のビットレートを４００で除算した値とすることにより、大きなビットレートの値を効果的に短い符号語として表すことができ、符号化信号長を短くして圧縮効率を向上させることができる。
【０５１５】
また、請求項９５から９８記載の発明によれば、上記と同様な効果を有する符号化信号分離方法および合成方法を提供することができる。
【０５１６】
また、請求項９９から１０２記載の発明によれば、上記と同様な効果を有する符号化信号分離プログラムおよび合成プログラムを記録した媒体を提供することができる。
【図面の簡単な説明】
【図１】本発明に係るストリーム分離・合成装置の一実施例を示す入出力データ図である。
【図２】一実施例の差分ビットストリームのビットストリームフォーマット構造図である。
【図３】一実施例のストリーム分離装置のブロック構成図である。
【図４】一実施例のビットストリーム入出力切り替え制御を示す概念図である。
【図５】一実施例のストリーム合成装置のブロック構成図である。
【図６】一実施例のレイヤごとの構成内容を示す図であり、（ａ）はシーケンスヘッダの詳細を示す図であり、（ｂ）はピクチャヘッダの詳細を示す図であり、（ｃ）はスライスヘッダの詳細を示す図であり、（ｄ）はＭＢ属性情報の詳細を示す図である。
【図７】一実施例のＭＢアドレスの値の定義説明図である。
【図８】一実施例の差分符号発生ＭＢアドレス制御符号の符号化処理を示すフローチャートである。
【図９】一実施例の差分符号発生ＭＢアドレス制御符号の復号処理を示すフローチャートである。
【図１０】一実施例の変換後ＭＰＥＧ−２ビットストリームのＭＢと差分ビットストリームのＭＢの関係をアドレスとともに示す説明図である。
【図１１】一実施例の量子化パラメータ変更情報の符号化処理を示すフローチャートである。
【図１２】一実施例のＭＢ間差分値の符号語を求める可変長符号化テーブルを示す図である。
【図１３】一実施例の量子化パラメータ変更情報の復号処理を示すフローチャートである。
【図１４】一実施例の差分ビットストリーム符号化ブロックパターン符号の符号化原理説明図である。
【図１５】一実施例の差分ビットストリーム符号化ブロックパターン符号の符号化処理を示すフローチャートである。
【図１６】一実施例のＣＢＰの輝度成分、色差成分それぞれの符号語を求める可変長符号化テーブルを示す図である。
【図１７】一実施例の差分ビットストリーム符号化ブロックパターン符号の復号原理説明図である。
【図１８】一実施例の差分ビットストリーム符号化ブロックパターン符号の復号処理を示すフローチャートである。
【図１９】一実施例の係数差分データの符号化原理説明図である。
【図２０】一実施例の再量子化前後間係数値変化情報の生成処理を示すフローチャートである。
【図２１】一実施例の計算によって求められる“ｒｕｎ”の符号語を示す図である。
【図２２】一実施例の計算によって求められる“ｌｅｖｅｌ”の符号語を示す図である。
【図２３】一実施例の計算によって求められる予測誤差値の符号語を示す図である。
【図２４】一実施例の係数差分データの復号原理説明図である。
【図２５】一実施例の符号化削減量の比較を示すグラフである。
【図２６】従来のトランスコーダの概略ブロック図である。
【図２７】従来のトランスコーダにおける、ＭＰＥＧ−２のＴＭ５のレート制御処理示すフローチャートである。
【図２８】従来のトランスコーダの概略ブロック図である。
【図２９】従来のトランスコーダの処理を示すフローチャートである。
【図３０】従来のトランスコーダの概略ブロック図である。
【図３１】従来のトランスコーダの処理を示すフローチャートである。
【図３２】一実施例のシーケンスヘッダの詳細構成を示す図である。
【符号の説明】
５０  トランスコーダ
５１  ＶＬＤ（可変長復号手段）
５３  逆量子化器（逆量子化手段）
５５  量子化器（量子化手段）
５７  ＶＬＣ（可変長符号化手段）
５９  レート制御部
６０  トランスコーダ
６１  遅延回路
６３  ビットレート比率計算部
６５  入力符号量積算部
６７  差分符号量計算部
６９  目標出力符号量更新部
７１  量子化スケールコード算出部
８０  トランスコーダ
８１  ＶＬＤ
８３  目標出力符号量更新部
８５  量子化スケールコード算出部
６００  符号化器
１０００  ストリーム分離装置
１１００  ＭＰＥＧ−２ＢＳ生成部
１１１０  多重分離・可変長復号器
１１２０  符号化モード切り替え器
１１３０  量子化制御器
１１４０  量子化係数レベル変換器
１１９０  ＭＰＥＧ−２ＢＳ配列多重・可変長符号化器
１２００  差分ＢＳ生成部
１２２０  変換差分係数分離器
１２３０  再量子化前係数値予測誤差計算器
１２４０  変換差分係数ジグザグスキャン器
１２９０  差分ＢＳ配列多重・可変長符号化器
２０００  ストリーム合成装置
２１１０  ＭＰＥＧ−２ＢＳ多重分離・可変長復号器
２１２０  差分ＢＳ多重分離・可変長復号器
２１３０  符号化モード切り替え器
２１４０  係数ブロック復元器
２１５０  差分係数ブロック復元器
２１６０  加算器
２１７０  復元係数ブロック再スキャン器
２１９０  配列多重・可変長符号化器
【図１】
0003561485.tif 000016
【図２】
0003561485.tif 000017
【図３】
0003561485.tif 000018
【図４】
0003561485.tif 000019
【図５】
0003561485.tif 000020
【図６】
0003561485.tif 000021
【図７】
0003561485.tif 000022
【図８】
0003561485.tif 000023
【図９】
0003561485.tif 000024
【図１０】
0003561485.tif 000025
【図１１】
0003561485.tif 000026
【図１２】
0003561485.tif 000027
【図１３】
0003561485.tif 000028
【図１４】
0003561485.tif 000029
【図１５】
0003561485.tif 000030
【図１６】
0003561485.tif 000031
【図１７】
0003561485.tif 000032
【図１８】
0003561485.tif 000033
【図１９】
0003561485.tif 000034
【図２０】
0003561485.tif 000035
【図２１】
0003561485.tif 000036
【図２２】
0003561485.tif 000037
【図２３】
0003561485.tif 000038
【図２４】
0003561485.tif 000039
【図２５】
0003561485.tif 000040
【図２６】
0003561485.tif 000041
【図２７】
0003561485.tif 000042
【図２８】
0003561485.tif 000043
【図２９】
0003561485.tif 000044
【図３０】
0003561485.tif 000045
【図３１】
0003561485.tif 000046
【図３２】
0003561485.tif 000047