(57)【要約】  【課題】  映像のスケーラブル伝送を行うことができる符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムを提供する。  【解決手段】  符号化ストリームを、前記符号化ストリームより符号量が少ない基本符号化信号Ｂと、基本符号化信号Ｂとともに使用して画像を復元させる複数の拡張符号化信号Ｅ(ｍ)と、に分離する分離部１１００と、前記基本符号化信号Ｂと、複数の前記拡張符号化信号Ｅ(ｍ)と、を任意に組み合わせて多重化し、複数の伝送符号化信号Ｓｔ(ｌ)を生成する多重化部１６００と、を備えることにより、独立した分離ストリームＳｔ(ｌ)を生成し、出力することにより、ネットワーク状態に応じた伝送路選択を行い、映像のスケーラブル伝送を実現することができる。【選択図】  図２
2005167962.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力手段と、
前記分離器入力手段に入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離手段と、
前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化手段と、
前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項２】
請求項１に記載の符号化信号分離装置において、
前記分離器分離手段が、
前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換手段と、
前記１次係数変換手段に変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離手段と、
前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成手段と、
前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項３】
請求項２に記載の符号化信号分離装置において、
前記基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とする符号化信号分離装置。
【請求項４】
請求項２または請求項３に記載の符号化信号分離装置において、
前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化手段を備え、
前記分離器分離手段の前記拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値と、前記基本拡張階層分離手段に分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項５】
請求項２または請求項３に記載の符号化信号分離装置において、
前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
前記分離器分離手段の前記基本符号化信号生成手段が、
前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化手段と、
前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化手段と、
前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項６】
請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、
前記分離器多重化手段が、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とする符号化信号分離装置。
【請求項７】
請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、
前記分離器多重化手段が、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の符号化信号分離装置において、
前記分離器多重化手段が、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項９】
請求項８に記載の符号化信号分離装置において、
前記分離器多重化手段が、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項１０】
複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力手段と、
前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離手段と、
前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、
前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、
を備えたことを特徴とする符号化信号合成装置。
【請求項１１】
請求項１０に記載の符号化信号合成装置において、
前記合成器合成手段が、
前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数値に変換させる基本符号化信号変換手段と、
前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値に変換させる拡張符号化信号変換手段と、
前記基本符号化信号変換手段に変換された基本階層係数値と、前記拡張符号化信号変換手段に変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成手段と、
前記基本拡張階層合成手段に合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換手段と、
を備えたことを特徴とする符号化信号合成装置。
【請求項１２】
請求項１０または請求項１１に記載の符号化信号合成装置において、
前記合成器分離手段が、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離することを特徴とする符号化信号合成装置。
【請求項１３】
請求項１２に記載の符号化信号合成装置において、
前記合成器分離手段が分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成手段に通知する信号誤り通知手段と、を備え、
前記合成器合成手段が、前記信号誤り通知手段に通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号合成装置。
【請求項１４】
請求項１０から請求項１３のいずれか１項に記載の符号化信号合成装置において、
ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成手段に誤り訂正情報を通知する合成制御手段と、を備え、
前記合成器合成手段が、前記合成制御手段に通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号合成装置。
【請求項１５】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器と、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器と、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器と、
を備え、
前記分離器が、
前記１次符号化信号を入力する分離器入力手段と、
前記分離器入力手段に入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離手段と、
前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化手段と、
前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、
を備え、
前記合成器が、
前記複数の伝送符号化信号を入力する合成器入力手段と、
前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離手段と、
前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、
前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、
を備えたことを特徴とする符号化信号分離合成システム。
【請求項１６】
請求項１５に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段が、
前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換手段と、
前記１次係数変換手段に変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離手段と、
前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成手段と、
前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、
を備え、
前記合成器合成手段が、
前記基本符号化信号から、前記基本階層の基本階層係数値に変換させる基本符号化信号変換手段と、
前記複数の拡張符号化信号から、前記拡張階層の拡張階層係数値に変換させる拡張符号化信号変換手段と、
前記基本符号化信号変換手段に変換された基本階層係数値と、前記拡張符号化信号変換手段に変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成手段と、
前記基本拡張階層合成手段に合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換手段と、
を備えたことを特徴とする符号化信号分離合成システム。
【請求項１７】
請求項１６に記載の符号化信号分離合成システムにおいて、
前記分離器では、
前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化手段を備え、
前記分離器分離手段の前記拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値と、前記基本拡張階層分離手段に分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成し、
前記合成器では、
前記合成器分離手段が、複数の前記伝送符号化信号から、前記基本量子化符号化列と、前記予測誤差係数値が符号化された予測誤差符号化列と、前記拡張階層係数値が符号化された拡張階層符号化列と、に分離し、
前記合成器合成手段の前記基本符号化信号変換手段が、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換手段を備え、
前記合成器合成手段の前記拡張符号化信号変換手段が、
前記予測誤差符号化列から前記予測誤差係数値に変換する予測誤差係数列変換手段と、
前記複数の拡張階層符号化列を、それぞれ前記拡張階層係数値に変換する複数の拡張階層係数列変換手段と、を備え、
さらに、前記合成器合成手段が、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成手段を備え、
前記合成器合成手段の前記基本拡張階層合成手段が、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成システム。
【請求項１８】
請求項１６に記載の符号化信号分離合成システムにおいて、
前記分離器では、
前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
前記分離器分離手段の前記基本符号化信号生成手段が、
前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化手段と、
前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化手段と、
前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成手段と、
を備え、
前記合成器では、
前記合成器合成手段が、前記基本符号化信号を入力し、前記基本量子化符号化列と、前記予測誤差符号化列と、に分離する基本符号化信号分離手段を備え、
前記合成器合成手段の前記基本符号化信号変換手段が、
前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換手段と、
前記予測誤差符号化列を入力し、前記予測誤差係数値に変換する予測誤差係数列変換手段と、備え、
さらに、前記合成器合成手段が、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成手段を備え、
前記合成器合成手段の前記基本拡張階層合成手段が、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成システム。
【請求項１９】
請求項１５から請求項１８のいずれか１項に記載の符号化信号分離合成システムにおいて、
前記分離器多重化手段が、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、
前記合成器分離手段が、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、
前記合成器合成手段が、前記合成器分離手段に分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成システム。
【請求項２０】
請求項１５から請求項１９のいずれか１項に記載の符号化信号分離合成システムにおいて、
前記分離器多重化手段が、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成し、
前記合成器分離手段が、前記複数の伝送符号化信号から、前記基本符号化信号と、複数の前記拡張符号化信号と、に分離することを特徴とする符号化信号分離合成システム。
【請求項２１】
請求項２０に記載の符号化信号分離合成システムにおいて、
前記分離器多重化手段が、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離合成システム。
【請求項２２】
請求項１９に記載の符号化信号分離合成システムにおいて、
前記合成器分離手段が分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成手段に通知する信号誤り通知手段と、を備え、
前記合成器合成手段が、前記信号誤り通知手段に通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成システム。
【請求項２３】
請求項１５から請求項２２のいずれか１項に記載の符号化信号分離合成システムにおいて、
ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成手段に誤り訂正情報を通知する合成制御手段と、を備え、
前記合成器合成手段が、前記合成制御手段に通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号分離合成システム。
【請求項２４】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力ステップと、
前記分離器入力ステップで入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、
前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、
前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項２５】
請求項２４に記載の符号化信号分離方法において、
前記分離器分離ステップが、
前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、
前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、
前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、
前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項２６】
請求項２５に記載の符号化信号分離方法において、
前記基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とする符号化信号分離方法。
【請求項２７】
請求項２５または請求項２６に記載の符号化信号分離方法において、
前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、
前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項２８】
請求項２５または請求項２６に記載の符号化信号分離方法において、
前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
前記分離器分離ステップの前記基本符号化信号生成ステップが、
前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、
前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、
前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項２９】
請求項２４から請求項２８のいずれか１項に記載の符号化信号分離方法において、
前記分離器多重化ステップが、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とする符号化信号分離方法。
【請求項３０】
請求項２４から請求項２８のいずれか１項に記載の符号化信号分離方法において、
前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項３１】
請求項２４から請求項３０のいずれか１項に記載の符号化信号分離方法において、
前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項３２】
請求項３１に記載の符号化信号分離方法において、
前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項３３】
複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、
前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、
前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、
を備えたことを特徴とする符号化信号合成方法。
【請求項３４】
請求項３３に記載の符号化信号合成方法において、
前記合成器分離ステップが、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離し、
さらに、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、
前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号合成方法。
【請求項３５】
請求項３３または請求項３４に記載の符号化信号合成方法において、
ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、
前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号合成方法。
【請求項３６】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステップと、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器を制御する合成器制御ステップと、
を備え、
前記分離器制御ステップが、
前記１次符号化信号を入力する分離器入力ステップと、
前記分離器入力ステップで入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、
前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、
前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
を備え、
前記合成器制御ステップが、
前記複数の伝送符号化信号を入力する合成器入力ステップと、
前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと、
前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、
を備えたことを特徴とする符号化信号分離合成方法。
【請求項３７】
請求項３６に記載の符号化信号分離合成方法において、
前記分離器分離ステップが、
前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、
前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、
前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、
前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、
を備え、
前記合成器合成ステップが、
前記基本符号化信号から、前記基本階層の基本階層係数値に変換させる基本符号化信号変換ステップと、
前記複数の拡張符号化信号から、前記拡張階層の拡張階層係数値に変換させる拡張符号化信号変換ステップと、
前記基本符号化信号変換ステップに変換された基本階層係数値と、前記拡張符号化信号変換ステップに変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成ステップと、
前記基本拡張階層合成ステップに合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換ステップと、
を備えたことを特徴とする符号化信号分離合成方法。
【請求項３８】
請求項３７に記載の符号化信号分離合成方法において、
前記分離器制御ステップでは、
前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、
前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成し、
前記合成器制御ステップでは、
前記合成器分離ステップが、複数の前記伝送符号化信号から、前記基本量子化符号化列と、前記予測誤差係数値が符号化された予測誤差符号化列と、前記拡張階層係数値が符号化された拡張階層符号化列と、に分離し、
前記合成器合成ステップの前記基本符号化信号変換ステップが、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換ステップを備え、
前記合成器合成ステップの前記拡張符号化信号変換ステップが、
前記予測誤差符号化列から前記予測誤差係数値に変換する予測誤差係数列変換ステップと、
前記複数の拡張階層符号化列を、それぞれ前記拡張階層係数値に変換する複数の拡張階層係数列変換ステップと、を備え、
さらに、前記合成器合成ステップが、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成ステップを備え、
前記合成器合成ステップの前記基本拡張階層合成ステップが、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成方法。
【請求項３９】
請求項３７に記載の符号化信号分離合成方法において、
前記分離器制御ステップでは、
前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
前記分離器分離ステップの前記基本符号化信号生成ステップが、
前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、
前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、
前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、
を備え、
前記合成器制御ステップでは、
前記合成器合成ステップが、前記基本符号化信号を入力し、前記基本量子化符号化列と、前記予測誤差符号化列と、に分離する基本符号化信号分離ステップを備え、
前記合成器合成ステップの前記基本符号化信号変換ステップが、
前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換ステップと、
前記予測誤差符号化列を入力し、前記予測誤差係数値に変換する予測誤差係数列変換ステップと、備え、
さらに、前記合成器合成ステップが、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成ステップを備え、
前記合成器合成ステップの前記基本拡張階層合成ステップが、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成方法。
【請求項４０】
請求項３６から請求項３９のいずれか１項に記載の符号化信号分離合成方法において、
前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、
前記合成器分離ステップが、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、
前記合成器合成ステップが、前記合成器分離ステップに分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成方法。
【請求項４１】
請求項３６から請求項４０のいずれか１項に記載の符号化信号分離合成方法において、
前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成し、
前記合成器分離ステップが、前記複数の伝送符号化信号から、前記基本符号化信号と、複数の前記拡張符号化信号と、に分離することを特徴とする符号化信号分離合成方法。
【請求項４２】
請求項４１に記載の符号化信号分離合成方法において、
前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離合成方法。
【請求項４３】
請求項４０に記載の符号化信号分離合成方法において、
前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、
前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成方法。
【請求項４４】
請求項３６から請求項４３のいずれか１項に記載の符号化信号分離合成方法において、
ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、
前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号分離合成方法。
【請求項４５】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力ステップと、
前記分離器入力ステップで入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、
前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、
前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
を備えたことを特徴とする符号化信号分離プログラム。
【請求項４６】
請求項４５に記載の符号化信号分離プログラムにおいて、
前記分離器分離ステップが、
前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、
前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、
前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、
前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、
を備えたことを特徴とする符号化信号分離プログラム。
【請求項４７】
請求項４６に記載の符号化信号分離プログラムにおいて、
前記基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とする符号化信号分離プログラム。
【請求項４８】
請求項４６または請求項４７に記載の符号化信号分離プログラムにおいて、
前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、
前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離プログラム。
【請求項４９】
請求項４６または請求項４７に記載の符号化信号分離プログラムにおいて、
前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
前記分離器分離ステップの前記基本符号化信号生成ステップが、
前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、
前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、
前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、
を備えたことを特徴とする符号化信号分離プログラム。
【請求項５０】
請求項４５から請求項４９のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記分離器多重化ステップが、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とする符号化信号分離プログラム。
【請求項５１】
請求項４５から請求項４９のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とする符号化信号分離プログラム。
【請求項５２】
請求項４５から請求項５１のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とする符号化信号分離プログラム。
【請求項５３】
請求項５２に記載の符号化信号分離プログラムにおいて、
前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とする符号化信号分離プログラム。
【請求項５４】
複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、
前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、
前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、
を備えたことを特徴とする符号化信号合成プログラム。
【請求項５５】
請求項５４に記載の符号化信号合成プログラムにおいて、
前記合成器合成ステップが、
前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数値に変換させる基本符号化信号変換ステップと、
前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値に変換させる拡張符号化信号変換ステップと、
前記基本符号化信号変換ステップに変換された基本階層係数値と、前記拡張符号化信号変換ステップに変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成ステップと、
前記基本拡張階層合成ステップに合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換ステップと、
を備えたことを特徴とする符号化信号合成プログラム。
【請求項５６】
請求項５４または請求項５５に記載の符号化信号合成プログラムにおいて、
前記合成器分離ステップが、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離することを特徴とする符号化信号合成プログラム。
【請求項５７】
請求項５６に記載の符号化信号合成プログラムにおいて、
前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、
前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号合成プログラム。
【請求項５８】
請求項５４から請求項５７のいずれか１項に記載の符号化信号合成プログラムにおいて、
ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、
前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号合成プログラム。
【請求項５９】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステップと、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器を制御する合成器制御ステップと、
を備え、
前記分離器制御ステップが、
前記１次符号化信号を入力する分離器入力ステップと、
前記分離器入力ステップで入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、
前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、
前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
を備え、
前記合成器制御ステップが、
前記複数の伝送符号化信号を入力する合成器入力ステップと、
前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと、
前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、
を備えたことを特徴とする符号化信号分離合成プログラム。
【請求項６０】
請求項５９に記載の符号化信号分離合成プログラムにおいて、
前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、
前記合成器分離ステップが、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、
前記合成器合成ステップが、前記合成器分離ステップに分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成し、
さらに、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、
前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とする符号化信号分離合成プログラム。
【請求項６１】
請求項５９または請求項６０に記載の符号化信号分離合成プログラムにおいて、
ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、
前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とする符号化信号分離合成プログラム。
【請求項６２】
請求項２に記載の符号化信号分離装置において、
前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、
前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、
前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
前記分離器分離手段の拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項６３】
請求項６２に記載の符号化信号分離装置において、
前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化することを特徴とする符号化信号分離装置。
【請求項６４】
請求項６３に記載の符号化信号分離装置において、
前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とする符号化信号分離装置。
【請求項６５】
請求項６４に記載の符号化信号分離装置において、
前記拡張符号化信号生成手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とする符号化信号分離装置。
【請求項６６】
請求項６４または請求項６５に記載の符号化信号分離装置において、
前記拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離装置。
【請求項６７】
請求項６２から請求項６６のいずれか１項に記載の符号化信号分離装置において、
前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力手段を備え、
前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数値の列に分離することを特徴とする符号化信号分離装置。
【請求項６８】
請求項２に記載の符号化信号分離装置において、
前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、
前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、
前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、
前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化手段と、
前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化手段と、
前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化手段と、を備え、
前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離装置。
【請求項６９】
請求項６８に記載の符号化信号分離装置において、
前記基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離装置。
【請求項７０】
請求項６９に記載の符号化信号分離装置において、
前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
前記基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離装置。
【請求項７１】
請求項７０に記載の符号化信号分離装置において、
前記予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離装置。
【請求項７２】
請求項７０または請求項７１に記載の符号化信号分離装置において、
前記予測誤差係数列符号化手段が、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離装置。
【請求項７３】
請求項７０から請求項７２のいずれか１項に記載の符号化信号分離装置において、
前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離装置。
【請求項７４】
請求項６８から請求項７３のいずれか１項に記載の符号化信号分離装置において、
前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力手段を備え、
前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離することを特徴とする符号化信号分離装置。
【請求項７５】
請求項１０から請求項１４のいずれか１項に記載の符号化信号合成装置と、
前記符号化信号合成装置から前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号装置と、
を備えたことを特徴とする映像信号受信合成再生装置。
【請求項７６】
請求項１６に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、
前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、
前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
前記分離器分離手段の拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器では、
前記合成器分離手段が、複数の前記伝送符号化信号から、前記基本符号化信号と、前記予測誤差係数列が符号化された拡張符号化信号と、前記拡張量子化係数列が符号化された拡張符号化信号と、を分離し、
前記合成器合成手段の基本符号化信号変換手段が、前記基本符号化信号から前記基本量子化係数列に変換する基本量子化係数列変換手段を備え、
前記合成器合成手段の拡張符号化信号変換手段が、
前記予測誤差係数列が符号化された拡張符号化信号から前記予測誤差係数列に変換する予測誤差係数列変換手段と、
前記拡張量子化係数列が符号化された複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換手段と、を備え、
さらに、前記合成器合成手段が、
前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成手段と、
前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成手段と、を備え、
前記合成器合成手段の基本拡張階層合成手段が、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成システム。
【請求項７７】
請求項７６に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化し、
前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記量子化パラメータ復元情報を復号し、
前記合成器合成手段の基本量子化係数合成手段が、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、
前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成システム。
【請求項７８】
請求項７７に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化し、
前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記再量子化パラメータ導出定数を復号し、
前記合成器合成手段の基本量子化係数合成手段が、前記再量子化パラメータ導出定数にしたがって前記基本階層係数値の列を合成し、
前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記再量子化パラメータ導出定数と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成システム。
【請求項７９】
請求項７８に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化し、
前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記再量子化パラメータ導出定数のマクロブロック間の差分値を復号し、前記再量子化パラメータ導出定数を求めることを特徴とする符号化信号分離合成システム。
【請求項８０】
請求項７８または請求項７９に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、
前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とする符号化信号分離合成システム。
【請求項８１】
請求項７６から請求項８０のいずれか１項に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段が、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力手段を備え、
前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、
前記合成器合成手段が、前記拡張階層分離パターン情報を入力する合成器分離情報入力手段を備え、
前記合成器合成手段の拡張量子化係数合成手段が、前記拡張符号化信号変換手段に変換された複数の拡張量子化係数列を、前記合成器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とする符号化信号分離合成システム。
【請求項８２】
請求項８１に記載の符号化信号分離合成システムにおいて、
前記分離器が、前記分離器分離手段の拡張量子化係数分離手段が前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を前記合成器に送信する分離器分離情報送信手段を備え、
前記合成器が、前記分離器から送信された拡張階層分離パターン情報を受信する合成器分離情報受信手段を備え、
前記合成器合成手段の合成器分離情報入力手段が、前記合成器分離情報受信手段が受信した拡張階層分離パターン情報を入力することを特徴とする符号化信号分離合成システム。
【請求項８３】
請求項１６に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、
前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、
前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、
前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化手段と、
前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化手段と、
前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化手段と、を備え、
前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器では、
前記合成器合成手段の基本符号化信号変換手段が、
前記基本符号化信号から、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重分離する基本量子化係数分離手段と、
前記基本量子化係数分離手段に分離された基本量子化符号化列を前記基本量子化係数列に変換する基本量子化係数列変換手段と、
前記基本量子化係数分離手段に分離された予測誤差符号化列を前記予測誤差係数列に変換する予測誤差係数列変換手段と、備え、
前記合成器合成手段の拡張符号化信号変換手段が、複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換手段を備え、
さらに、前記合成器合成手段が、
前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成手段と、
前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成手段と、を備え、
前記合成器合成手段の基本拡張階層合成手段が、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成システム。
【請求項８４】
請求項８３に記載の符号化信号分離合成システムにおいて、
前記分離器の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、
前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記量子化パラメータ復元情報を復号し、
前記合成器合成手段の基本量子化係数合成手段が、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、
前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成システム。
【請求項８５】
請求項８４に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、
前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記再量子化パラメータ導出定数を復号し、
前記合成器合成手段の基本量子化係数合成手段が、前記再量子化パラメータ導出定数にしたがって前記基本階層係数値の列を合成し、
前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記再量子化パラメータ導出定数と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成システム。
【請求項８６】
請求項８５に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、
前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記再量子化パラメータ導出定数のマクロブロック間の差分値を復号し、前記再量子化パラメータ導出定数を求めることを特徴とする符号化信号分離合成システム。
【請求項８７】
請求項８５または請求項８６に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、
前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とする符号化信号分離合成システム。
【請求項８８】
請求項８５から請求項８７のいずれか１項に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、
前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とする符号化信号分離合成システム。
【請求項８９】
請求項８３から請求項８８のいずれか１項に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段が、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力手段を備え、
前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、
前記合成器合成手段が、前記拡張階層分離パターン情報を入力する合成器分離情報入力手段を備え、
前記合成器合成手段の拡張量子化係数合成手段が、前記拡張符号化信号変換手段に変換された複数の拡張量子化係数列を、前記合成器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とする符号化信号分離合成システム。
【請求項９０】
請求項８９に記載の符号化信号分離合成システムにおいて、
前記分離器が、前記分離器分離手段の拡張量子化係数分離手段が前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を前記合成器に送信する分離器分離情報送信手段を備え、
前記合成器が、前記分離器から送信された拡張階層分離パターン情報を受信する合成器分離情報受信手段を備え、
前記合成器合成手段の合成器分離情報入力手段が、前記合成器分離情報受信手段が受信した拡張階層分離パターン情報を入力することを特徴とする符号化信号分離合成システム。
【請求項９１】
請求項１５から請求項２３または請求項７６から請求項９０のいずれか１項に記載の符号化信号分離合成システムにおいて、
前記符号化信号合成器から前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号装置を備えたことを特徴とする符号化信号分離合成システム。
【請求項９２】
請求項２５に記載の符号化信号分離方法において、
前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、
前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項９３】
請求項２５に記載の符号化信号分離方法において、
前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、
前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、
前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、
前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、
前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離方法。
【請求項９４】
請求項３７に記載の符号化信号分離合成方法において、
前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、
前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器制御ステップでは、
前記合成器分離ステップが、複数の前記伝送符号化信号から、前記基本符号化信号と、前記予測誤差係数列が符号化された拡張符号化信号と、前記拡張量子化係数列が符号化された拡張符号化信号と、を分離し、
前記合成器合成ステップの基本符号化信号変換ステップが、前記基本符号化信号から前記基本量子化係数列に変換する基本量子化係数列変換ステップを備え、
前記合成器合成ステップの拡張符号化信号変換ステップが、
前記予測誤差係数列が符号化された拡張符号化信号から前記予測誤差係数列に変換する予測誤差係数列変換ステップと、
前記拡張量子化係数列が符号化された複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換ステップと、を備え、
さらに、前記合成器合成ステップが、
前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成ステップと、
前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成ステップと、を備え、
前記合成器合成ステップの基本拡張階層合成ステップが、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成方法。
【請求項９５】
請求項９４に記載の符号化信号分離合成方法において、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化し、
前記合成器合成ステップの拡張符号化信号変換ステップが、前記拡張符号化信号から前記量子化パラメータ復元情報を復号し、
前記合成器合成ステップの基本量子化係数合成ステップが、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、
前記合成器合成ステップの３次係数変換ステップが、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成方法。
【請求項９６】
請求項９４または請求項９５に記載の符号化信号分離合成方法において、
前記分離器分離ステップが、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力ステップを備え、
前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離器分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、
前記分離器制御ステップが、前記分離器分離ステップの拡張量子化係数分離ステップが前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を送信する分離器分離情報送信ステップを備え、
さらに、前記合成器制御ステップが、前記分離器制御ステップの分離器分離情報送信ステップで送信された拡張階層分離パターン情報を受信する合成器分離情報受信ステップを備え、
前記合成器合成ステップの拡張量子化係数合成ステップが、前記拡張符号化信号変換ステップで変換された複数の拡張量子化係数列を、前記合成器分離情報受信ステップで受信した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とする符号化信号分離合成方法。
【請求項９７】
請求項３７に記載の符号化信号分離合成方法において、
前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、
前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、
前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、
前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、
前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器制御ステップでは、
前記合成器合成ステップの基本符号化信号変換ステップが、
前記基本符号化信号から、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重分離する基本量子化係数分離ステップと、
前記基本量子化係数分離ステップで分離された基本量子化符号化列を前記基本量子化係数列に変換する基本量子化係数列変換ステップと、
前記基本量子化係数分離ステップで分離された予測誤差符号化列を前記予測誤差係数列に変換する予測誤差係数列変換ステップと、備え、
前記合成器合成ステップの拡張符号化信号変換ステップが、複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換ステップを備え、
さらに、前記合成器合成ステップが、
前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成ステップと、
前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成ステップと、を備え、
前記合成器合成ステップの基本拡張階層合成ステップが、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とする符号化信号分離合成方法。
【請求項９８】
請求項９７に記載の符号化信号分離合成方法において、
前記分離器の基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、
前記合成器合成ステップの基本符号化信号変換ステップの予測誤差係数列変換ステップが、前記予測誤差符号化列から前記量子化パラメータ復元情報を復号し、
前記合成器合成ステップの基本量子化係数合成ステップが、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、
前記合成器合成ステップの３次係数変換ステップが、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とする符号化信号分離合成方法。
【請求項９９】
請求項９７または請求項９８に記載の符号化信号分離合成方法において、
前記分離器分離ステップが、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力ステップを備え、
前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離器分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、
前記分離器制御ステップが、前記分離器分離ステップの拡張量子化係数分離ステップが前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を送信する分離器分離情報送信ステップを備え、
さらに、前記合成器制御ステップが、前記分離器制御ステップの分離器分離情報送信ステップで送信された拡張階層分離パターン情報を受信する合成器分離情報受信ステップを備え、
前記合成器合成ステップの拡張量子化係数合成ステップが、前記拡張符号化信号変換ステップで変換された複数の拡張量子化係数列を、前記合成器分離情報受信ステップで受信した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とする符号化信号分離合成方法。
【請求項１００】
請求項３６から請求項４４または請求項９４から請求項９９のいずれか１項に記載の符号化信号分離合成方法において、
前記合成器制御ステップで生成された前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号ステップを備えたことを特徴とする符号化信号分離合成方法。
【請求項１０１】
請求項４６に記載の符号化信号分離プログラムにおいて、
前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、
前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離プログラム。
【請求項１０２】
請求項１０１に記載の符号化信号分離プログラムにおいて、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化することを特徴とする符号化信号分離プログラム。
【請求項１０３】
請求項１０２に記載の符号化信号分離プログラムにおいて、
前記分離器分離ステップの基本拡張階層分離ステップが、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とする符号化信号分離プログラム。
【請求項１０４】
請求項１０３に記載の符号化信号分離プログラムにおいて、
前記拡張符号化信号生成ステップが、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とする符号化信号分離プログラム。
【請求項１０５】
請求項１０３または請求項１０４に記載の符号化信号分離プログラムにおいて、
前記拡張符号化信号生成ステップが、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離プログラム。
【請求項１０６】
請求項１０１から請求項１０５のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力ステップを備え、
前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数値の列に分離することを特徴とする符号化信号分離プログラム。
【請求項１０７】
請求項４６に記載の符号化信号分離プログラムにおいて、
前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、
前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、
前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、
前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、
前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、
前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とする符号化信号分離プログラム。
【請求項１０８】
請求項１０７に記載の符号化信号分離プログラムにおいて、
前記基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離プログラム。
【請求項１０９】
請求項１０８に記載の符号化信号分離プログラムにおいて、
前記分離器分離ステップの基本拡張階層分離ステップが、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
前記基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離プログラム。
【請求項１１０】
請求項１０９に記載の符号化信号分離プログラムにおいて、
前記予測誤差係数列符号化ステップが、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とする符号化信号分離プログラム。
【請求項１１１】
請求項１０９または請求項１１０に記載の符号化信号分離プログラムにおいて、
前記予測誤差係数列符号化ステップが、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離プログラム。
【請求項１１２】
請求項１０９から請求項１１１のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とする符号化信号分離プログラム。
【請求項１１３】
請求項１０７から請求項１１２のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力ステップを備え、
前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離することを特徴とする符号化信号分離プログラム。
【請求項１１４】
請求項５９から請求項６１のいずれか１項に記載の符号化信号分離合成プログラムにおいて、
前記合成器制御ステップで生成された前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号ステップを備えたことを特徴とする符号化信号分離合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像のスケーラブル伝送を行うことができる符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムに関するものである。
【背景技術】
【０００２】
動画像をディジタル化する技術において、発生する膨大な情報量を圧縮して符号化するための方式として、ディジタルビデオおよび付随するオーディオに対する符号化方式の標準規格ＩＳＯ／ＩＥＣ  １３８１８（通称、「ＭＰＥＧ−２」(Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２)）がある。このようにして生成されたＭＰＥＧ−２の規格に準拠したビットストリーム（以後、「ＭＰＥＧ−２ビットストリーム」と呼ぶ）は、通信やテレビジョン放送など幅広い分野で使用されている。
【０００３】
ＭＰＥＧ−２ビットストリームは階層構造を有し、最上位のシーケンスレイヤからＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤおよびブロックレイヤの順の各レイヤからなる。
【０００４】
ＭＰＥＧ−２においては、一連の複数の画面から構成される動画像において、各画面を一旦フレームメモリに保存し、フレーム間の差分を取ることによって時間軸方向の冗長度を削減し、さらに、各フレームを構成する複数の画素を離散コサイン変換（以後、「ＤＣＴ」と略す）等の直交変換処理を行うことにより空間軸方向の冗長度を削減することにより、効率良い動画像圧縮符号化を実現している。
【０００５】
符号化された信号は、復号器に送られて復号され再生される。復号器では、画面を再生し第１のフレームメモリに保存し、差分情報に基づいて次に続くべき画面を予測し第２のフレームメモリに保存し、２つのフレームからその間に挿入される画面をさらに予測して、一連の画面を構成し動画像を再生する。このような手法は双方向予測と呼ばれる。
【０００６】
ＭＰＥＧ−２では、この双方向予測を実現するために、Ｉピクチャ、ＰピクチャおよびＢピクチャという３つのタイプを規定している。Ｉピクチャは、イントラ符号化ピクチャの略であり、他のピクチャとは独立して静止画として符号化される画面のことである。Ｐピクチャは、順方向予測符号化ピクチャの略であり、時間的に過去に位置するＩまたはＰピクチャに基づいて予測符号化される画面のことである。Ｂピクチャは、双方向予測符号化ピクチャの略であり、時間的に前後に位置するＩまたはＰピクチャを用いて順方向、逆方向または双方向のピクチャに基づいて予測符号化される画面のことである。すなわち、ＩピクチャおよびＰピクチャを先に符号化処理した後、その間に挿入されるＢピクチャが符号化される。
【０００７】
符号化器で符号化されたＭＰＥＧ−２ビットストリームは、所定の転送速度で伝送路に送出され、該伝送路上の復号器に入力されて復号され再生される。しかしながら、動画像を符号化して発生する情報量は一定ではない。特にシーンチェンジ時には、情報量は一気に増大する。このように一定しない符号化信号を固定レートの伝送路に送出するために、予め送信用バッファのレベル以上の情報量が発生しないように符号化データのレート制御を行う必要がある。
【０００８】
ＭＰＥＧ−２では、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００  Ｔｅｓｔ  Ｍｏｄｅｌ  ５  （Ａｐｒｉｌ，  １９９３）（以後、「ＴＭ５」と略す）にレート制御方式が記載されている。
【０００９】
ＭＰＥＧ−２のＴＭ５のレート制御では、ステップ１で、まずピクチャタイプ毎にＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒに基づいてビット配分する。ステップ２で、マクロブロック単位に符号化処理を行う際に使用する量子化スケールを、ビット配分に基づいて算出した仮想バッファ占有量から算出する。
【００１０】
また、ＭＰＥＧ−２以外の圧縮フォーマットを有する復号器や、異なる転送速度の伝送路に接続された復号器も多数存在するため、異なる圧縮フォーマットや異なる転送速度にＭＰＥＧ−２ビットストリームを変換する動画圧縮符号化信号変換装置が必要となる。これを実現するための装置が所謂トランスコーダである。符号化器から伝送された画像圧縮符号化信号は、トランスコーダで適切な信号に変換され、各復号器に信号が供給される。
【００１１】
図３２に一般的な従来のトランスコーダ５０の第１例を示す。従来のトランスコーダ５０は、第１ビットレートを有する第１伝送路（図示なし）に接続され、第１ＭＰＥＧ−２ビットストリームｂ１を入力する可変長復号部（ＶＬＤ）５１と、逆量子化器５３と、量子化器５５と、第２ビットレートを有する第２伝送路（図示なし）に接続され、第２ＭＰＥＧ−２ビットストリームｂ２を出力するＶＬＣ５７と、量子化器５５で発生する符号量を制御するレート制御部５９と、を備えている。第２ビットレートは第１ビットレートより低い転送速度である。
【００１２】
ＶＬＤ５１および逆量子化器５３によって、第１ＭＰＥＧ−２ビットストリームｂ１をマクロブロック単位にＤＣＴ係数領域まで復号し、量子化器５５およびＶＬＣ５７によって、得られたＤＣＴ係数信号を符号化して、第１ＭＰＥＧ−２ビットストリームより少ない符号量を有する第２ＭＰＥＧ−２ビットストリームｂ２を生成するものである。
【００１３】
量子化器５５における量子化処理では、ＤＣＴ変換で得られた係数を所定の量子化ステップで除算する。これにより画像信号は圧縮される。この量子化ステップは、所定の量子化テーブルに含まれる複数の量子化マトリクス値に量子化スケールを乗算して求められる。
【００１４】
トランスコーダ５０では、第１ＭＰＥＧ−２ビットストリームｂ１内のシーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、スライスレイヤおよびマクロブロックレイヤの符号化情報を殆ど再利用する。基本的にブロックレイヤのＤＣＴ係数の変換およびブロックレイヤの変換に伴い修正が必要なマクロブロックレイヤの符号の変換の処理のみが行われる。
【００１５】
このように構成されたトランスコーダ５０において、レート制御部５９はＭＰＥＧ−２のＴＭ５に記載されているレート制御を行う。
【００１６】
図３３に従来のトランスコーダ５０のレート制御処理のフローチャートを示す。同図に示されるように、従来のレート制御処理はステップＡ１〜Ａ１４からなる。
【００１７】
ステップＡ１で、変数ｎを１に設定する。ここで、変数ｎは、入力画像信号に含まれる複数のピクチャに付けられた番号を示し、以後、ｎ番目のピクチャをpic(n)と示す。
【００１８】
続くステップＡ２で、Ｉ、ＰおよびＢピクチャの複雑さを示す指標Ｘi、ＸpおよびＸbを下記の式（ａ１）、式（ａ２）および式（ａ３）により算出する。
【００１９】
Ｘi＝Ｓi×Ｑi                                          …式（ａ１）
Ｘp＝Ｓp×Ｑp                                          …式（ａ２）
Ｘb＝Ｓb×Ｑb                                          …式（ａ３）
ここで、Ｓi、ＳpおよびＳbはそれぞれＩ、ＰおよびＢピクチャの発生符号量であり、Ｑi、ＱpおよびＱbは、それぞれＩ、ＰおよびＢピクチャ内の全マクロブロックの量子化スケールコードの平均値である平均量子化パラメータである。ただし、平均量子化パラメータは１〜３１の範囲に正規化されている。
【００２０】
この画面の複雑さ指標Ｘi、ＸpおよびＸbは、符号化情報量が多く発生するような画像、すなわち低い圧縮率の画像に対して大きくなり、逆に高い圧縮率の画像に対しては小さくなる。
【００２１】
また、Ｉ、ＰおよびＢピクチャの画面の複雑さを示すパラメータＸi、ＸpおよびＸbの初期値は、次式（ａ４）、式（ａ５）および式（ａ６）でそれぞれ与えられる。
【００２２】
Ｘi＝１６０×target_Bitrate／１１５                    …式（ａ４）
Ｘp＝６０×target_Bitrate／１１５                      …式（ａ５）
Ｘb＝４２×target_Bitrate／１１５                      …式（ａ６）
ここで、target_Bitrateは、トランスコーダ５０の目標ビットレートである。
【００２３】
続くステップＡ３で、ＧＯＰ内のＩ、ＰおよびＢピクチャに対する割り当て符号量Ｔi、ＴpおよびＴbを、次式（ａ７）、式（ａ８）および式（ａ９）によりそれぞれ算出する。ただし、ＮｐおよびＮｂは、それぞれＧＯＰ内の未符号化のＰおよびＢピクチャの数を示す。
【００２４】
【数１】
2005167962.tif 000003
【００２５】
ここで、ＫｐおよびＫｂは、Ｉピクチャの量子化スケールコードを基準としたＰおよびＢピクチャの量子化スケールコードの比率を示し、Ｋp＝１．０およびＫb＝１．４になる場合に、常に全体の画質が最適化されると仮定する。
【００２６】
続くステップＡ４で、変数ｎが１か否かの判定がなされる。すなわち、符号化対象のピクチャが１番目のピクチャpic(1)か否かの判定がなされる。１番目のピクチャの場合、ステップＡ５へ進み、１番目のピクチャでない場合はステップＡ６へ進む。ステップＡ５では、次式（ａ１０）によりＧＯＰ内の一番初めのピクチャpic(1)を符号化する時のＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを求める。
【００２７】
Ｒ＝target_Bitrate×Ｎ／picture_rate＋Ｒ              …式（ａ１０）
ここで、ＮはＧＯＰ内のピクチャの総数、picture_rateは、入力画像の時間解像度を示す値であり、１秒間に復号され表示される画面の枚数を示す。
【００２８】
ステップＡ６では、ＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを（ｎ−１）番目のピクチャpic(n-1)が符号化された時のＩ、ＰおよびＢピクチャの発生符号量Ｓi、ＳpまたはＳbに基づいて、次式（ａ１１）、式（ａ１２）および式（ａ１３）の何れかにより更新する。
【００２９】
Ｒ＝Ｒ−Ｓi                                            …式（ａ１１）
Ｒ＝Ｒ−Ｓp                                            …式（ａ１２）
Ｒ＝Ｒ−Ｓb                                            …式（ａ１３）
ステップＡ５およびＡ６はともにステップＡ７へ進み、変数ｊに１を設定する。ここで、変数ｊは、１ピクチャ内の複数のマクロブロックに付けられた番号を示し、以後、ｊ番目のマクロブロックをMB(j)と示す。
【００３０】
続くステップＡ８で、Ｉ、ＰおよびＢピクチャ内のｊ番目のマクロブロックMB(j)を符号化する時の仮想バッファの占有量ｄi(j)、ｄp(j)およびｄb(j)が次式（ａ１４）、式（ａ１５）および式（ａ１６）によりそれぞれ算出される。
【００３１】
【数２】
2005167962.tif 000004
【００３２】
ここで、Ｂ(j-1)は、（ｊ−１）番目のマクロブロックMB(j-1)までの全マクロブロックの発生符号量である。
【００３３】
また、ｄi(0)、ｄp(0)およびｄb(0)は、それぞれＩ、ＰおよびＢピクチャの仮想バッファ占有量の初期値であり、次式（ａ１７）、式（ａ１８）および式（ａ１９）でそれぞれ与えられる。
【００３４】
ｄi(0)＝１０×ｒ／３１                                …式（ａ１７）
ｄp(0)＝Ｋp×ｄi(0)                                   …式（ａ１８）
ｄb(0)＝Ｋb×ｄi(0)                                   …式（ａ１９）
ここで、ｒはリアクションパラメータと呼ばれ、下記の式（ａ２０）で示され、フィードバックループの応答速度を制御する。
【００３５】
ｒ＝２×target_Bitrate／picture_rate                  …式（ａ２０）
また、Ｉ、ＰおよびＢピクチャ符号化終了時の仮想バッファ占有量、すなわちＮＭＢ番目のマクロブロックMB(NMB)を符号化したときの仮想バッファ占有量ｄi(NMB)、ｄp(NMB)およびｄb(NMB)は、ピクチャタイプ毎に、次回符号化する時の仮想バッファ占有量の初期値ｄi(0)、ｄp(0)およびｄb(0)として用いられる。
【００３６】
続くステップＡ９で、上記の仮想バッファの占有量ｄ(j)に基づいて、各ピクチャ毎にｊ番目のマクロブロックMB(j)に対する量子化スケールコードＱ(j)を次式（ａ２１）により求める。
【００３７】
Ｑ(j)＝ｄ(j)×３１／ｒ                                …式（ａ２１）
続くステップＡ１０で、ステップＡ９で算出された量子化スケールコードＱ(j)を使用してｊ番目のマクロブロックMB(j)を量子化する。続くステップＡ１１で、変数ｊをインクリメントして、ステップＡ１２へ進み、変数ｊがマクロブロック総数ＮＭＢを超えているか否かの判定をする。ここで、ＮＭＢはｎ番目のピクチャpic(n)内に含まれるマクロブロックの総数である。変数ｊがマクロブロック総数ＮＭＢを超えていない場合は、ステップＡ８へ戻り、変数ｊがマクロブロック総数ＮＭＢを超えている場合は、ステップＡ１３へ進む。
【００３８】
このようにして、変数ｊは、ステップＡ８〜Ａ１１の符号化処理を繰り返すためのループカウンタとしても使用される。これにより、ｎ番目のピクチャpic(n)内の１番目のマクロブロックMB(1)からＮＭＢ番目のマクロブロックMB(NMB)まで全てのマクロブロックに対して順次符号化処理を行うことができる。
【００３９】
ステップＡ１３で、変数ｎをインクリメントして、ステップＡ１４へ進み、変数ｎが符号化対象のピクチャ総数ＮＰＩＣを超えているか否かの判定をする。ここで、変数ｎがピクチャ総数ＮＰＩＣを超えていない場合は、ステップＡ２へ戻り、変数ｎがピクチャ総数ＮＰＩＣを超えている場合は、本処理を終了する。
【００４０】
このように第１のトランスコーダ５０では、ＩおよびＰピクチャ周期などのような画像構造に関する情報を持ち得ないために、図３３に示されたＴＭ５のレート制御のような、画像ＧＯＰ構造などの情報に基づいてビット配分を行う方法は、入力画像構造を仮定しなければ行うことができない。
【００４１】
そこで、ＧＯＰ構造を仮定せずにレート制御を行う方法を採用した例として、図３４に示される第２の従来のトランスコーダ６０がある。同図に示されるように、第２の従来のトランスコーダ６０は、上記第１の従来のトランスコーダ５０の構成に加えて、遅延回路６１と、ビットレート比率計算部６３と、入力符号量積算部６５と、差分符号量計算部６７と、目標出力符号量更新部６９と、量子化スケールコード算出部７１と、を備えている。
【００４２】
このように構成されたトランスコーダ６０の処理の流れを図３５に示す。同図に示されるように、トランスコーダ６０の処理は、ステップＢ１〜Ｂ１３からなる。ステップＢ６〜Ｂ１３は、上記第１従来例に示されたレート処理のステップＡ７〜Ａ１４と同じである。但し、ステップＢ７では、目標出力符号量更新部６９で算出された目標出力符号量Ｔoutに基づいて、仮想バッファ占有量の算出がなされる。
【００４３】
また、同様にＧＯＰ構造を仮定せずにレート制御を行う方法を採用した別の例として、図３６および図３７に従来のトランスコーダの第３例を示す。図３６に示されるように、第３の従来のトランスコーダ８０は、第１ビットレートを有する第１伝送路に接続され、入力ビットストリームｂ３を入力するＶＬＤ８１と、第１の従来のトランスコーダ５０と同じ、逆量子化器５３と、量子化器５５と、ＶＬＣ５７と、を含み、図３４のトランスコーダ６０と同じビットレート比率計算部６３と、差分符号量計算部６７と、を含み、さらに、目標出力符号量更新部８３と、量子化スケールコード算出部８５と、を備えている。
【００４４】
第３の従来のトランスコーダ８０では、ビットストリームｂ３に予め符号量を情報として記述しておき、その情報に基づいてレート制御を行うものである。
【００４５】
しかしながら、トランスコーダは符号化処理後の信号を対象としているために、符号化前の元の信号は知ることはできない。したがって、符号量制御においては、トランスコード処理後の画像自身の歪みではなく、再量子化処理によって新たに発生する歪みに着目して、この歪みを抑制することにより、画質の低下を抑制しながら符号量の削減を実現しなければならない。
【００４６】
そこで、本願出願人は、先に復号量子化パラメータおよび再量子化パラメータに依存した再量子化レート歪み関数を考慮することにより、復号量子化パラメータ、および前段で算出された量子化パラメータに基づいて最適な量子化パラメータの算出を実現する動画像圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体を提案した（例えば、特許文献１参照）。
【００４７】
このものは、逆量子化を行う逆量子化器と、再量子化を行う量子化器と、を備えたトランスコーダにおいて、入力量子化パラメータに基づくレート歪み関数を考慮し、量子化パラメータを切り換える量子化パラメータ切り換え部を設けることにより、量子化係数領域データから再量子化係数領域データへの変換時における誤差を極力抑えることができる。
【００４８】
このように、トランスコーダは様々な利用環境に適した形へのビットストリーム変換を実現する処理器である。
【００４９】
さらに、さまざまな帯域の混在するネットワークにおいて、利用環境に適した映像ストリームを生成し提供するスケーラビリティを実現する技術として、ビットレートスケーリング方式、階層符号化方式が存在する。
【００５０】
例えば、ネットワーク上の各ルータに設置されたビットレートスケーリングトランスコーダにおいて、要求されるビットレートに応じ、ビットレート削減によるストリーム変換を実現する。これにより、ネットワークの変動に対応した映像のスケーラビリティを実現している。
【特許文献１】特開２００１−１６９２８３号公報
【発明の開示】
【発明が解決しようとする課題】
【００５１】
しかしながら、ビットレートスケーリングトランスコーダ自らがレート制御とストリーム変換を行うため、ルータに高度な処理が要求されるため多くの負荷がかかる。
【００５２】
また、サーバにおいてあらかじめ入力されたストリームを、階層構造をもつストリームに変換し、ルータにおける階層選択によりスケーラビリティを実現する。これにより、トランスコーダによるレート制御の必要はなくなり、ネットワーク上の各ルータにおける信号処理等の負荷もなくなる。しかしながら、階層構造に変換されたストリーム間に依存関係があるため、各階層に優先順位がつけられており、階層選択時に優先順位を考慮した制御を行う必要があるという問題がある。
【００５３】
本発明は、このような従来の問題を解決するためになされたもので、サーバにおける分離器において、独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択を行うことにより、映像のスケーラブル伝送を行うことができる符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムを提供するものである。
【課題を解決するための手段】
【００５４】
本発明の符号化信号分離装置は、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力手段と、前記分離器入力手段に入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離手段と、前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化手段と、前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、を備えたことを特徴とした構成を有している。
【００５５】
また、本発明の符号化信号分離装置は、請求項１に記載の符号化信号分離装置において、前記分離器分離手段が、前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換手段と、前記１次係数変換手段に変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離手段と、前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成手段と、前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備えたことを特徴とした構成を有している。
【００５６】
さらに、本発明の符号化信号分離装置は、請求項２に記載の符号化信号分離装置において、前記基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とした構成を有している。
【００５７】
さらに、本発明の符号化信号分離装置は、請求項２または請求項３に記載の符号化信号分離装置において、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化手段を備え、
前記分離器分離手段の前記拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値と、前記基本拡張階層分離手段に分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
【００５８】
さらに、本発明の符号化信号分離装置は、請求項２または請求項３に記載の符号化信号分離装置において、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、
前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化手段と、前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化手段と、前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成手段と、を備えたことを特徴とした構成を有している。
【００５９】
さらに、本発明の符号化信号分離装置は、請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、前記分離器多重化手段が、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とした構成を有している。
【００６０】
さらに、本発明の符号化信号分離装置は、請求項１から請求項５のいずれか１項に記載の符号化信号分離装置において、前記分離器多重化手段が、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とした構成を有している。
【００６１】
さらに、本発明の符号化信号分離装置は、請求項１から請求項７のいずれか１項に記載の符号化信号分離装置において、前記分離器多重化手段が、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とした構成を有している。
【００６２】
さらに、本発明の符号化信号分離装置は、請求項８に記載の符号化信号分離装置において、前記分離器多重化手段が、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とした構成を有している。
【００６３】
また、本発明の符号化信号合成装置は、複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力手段と、前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離手段と、前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、を備えたことを特徴とした構成を有している。
【００６４】
さらに、本発明の符号化信号合成装置は、請求項１０に記載の符号化信号合成装置において、前記合成器合成手段が、前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数値に変換させる基本符号化信号変換手段と、前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値に変換させる拡張符号化信号変換手段と、前記基本符号化信号変換手段に変換された基本階層係数値と、前記拡張符号化信号変換手段に変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成手段と、前記基本拡張階層合成手段に合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換手段と、を備えたことを特徴とした構成を有している。
【００６５】
さらに、本発明の符号化信号合成装置は、請求項１０または請求項１１に記載の符号化信号合成装置において、前記合成器分離手段が、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離することを特徴とした構成を有している。
【００６６】
さらに、本発明の符号化信号合成装置は、請求項１２に記載の符号化信号合成装置において、前記合成器分離手段が分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成手段に通知する信号誤り通知手段と、を備え、
前記合成器合成手段が、前記信号誤り通知手段に通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
【００６７】
さらに、本発明の符号化信号合成装置は、請求項１０から請求項１３のいずれか１項に記載の符号化信号合成装置において、ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成手段に誤り訂正情報を通知する合成制御手段と、を備え、
前記合成器合成手段が、前記合成制御手段に通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とした構成を有している。
【００６８】
また、本発明の符号化信号分離合成システムは、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器と、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器と、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器と、を備え、
前記分離器が、前記１次符号化信号を入力する分離器入力手段と、前記分離器入力手段に入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離手段と、前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化手段と、前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、を備え、
前記合成器が、前記複数の伝送符号化信号を入力する合成器入力手段と、前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離手段と、前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、を備えたことを特徴とした構成を有している。
【００６９】
さらに、本発明の符号化信号分離合成システムは、請求項１５に記載の符号化信号分離合成システムにおいて、前記分離器分離手段が、前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換手段と、前記１次係数変換手段に変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離手段と、前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成手段と、前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備え、
前記合成器合成手段が、前記基本符号化信号から、前記基本階層の基本階層係数値に変換させる基本符号化信号変換手段と、前記複数の拡張符号化信号から、前記拡張階層の拡張階層係数値に変換させる拡張符号化信号変換手段と、前記基本符号化信号変換手段に変換された基本階層係数値と、前記拡張符号化信号変換手段に変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成手段と、前記基本拡張階層合成手段に合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換手段と、を備えたことを特徴とした構成を有している。
【００７０】
さらに、本発明の符号化信号分離合成システムは、請求項１６に記載の符号化信号分離合成システムにおいて、前記分離器では、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化手段を備え、前記分離器分離手段の前記拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値と、前記基本拡張階層分離手段に分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成し、
前記合成器では、前記合成器分離手段が、複数の前記伝送符号化信号から、前記基本量子化符号化列と、前記予測誤差係数値が符号化された予測誤差符号化列と、前記拡張階層係数値が符号化された拡張階層符号化列と、に分離し、前記合成器合成手段の前記基本符号化信号変換手段が、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換手段を備え、前記合成器合成手段の前記拡張符号化信号変換手段が、前記予測誤差符号化列から前記予測誤差係数値に変換する予測誤差係数列変換手段と、前記複数の拡張階層符号化列を、それぞれ前記拡張階層係数値に変換する複数の拡張階層係数列変換手段と、を備え、
さらに、前記合成器合成手段が、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成手段を備え、前記合成器合成手段の前記基本拡張階層合成手段が、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
【００７１】
さらに、本発明の符号化信号分離合成システムは、請求項１６に記載の符号化信号分離合成システムにおいて、前記分離器では、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段を備え、前記分離器分離手段の前記基本符号化信号生成手段が、前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化手段と、前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化手段と、前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成手段と、を備え、
前記合成器では、前記合成器合成手段が、前記基本符号化信号を入力し、前記基本量子化符号化列と、前記予測誤差符号化列と、に分離する基本符号化信号分離手段を備え、前記合成器合成手段の前記基本符号化信号変換手段が、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換手段と、前記予測誤差符号化列を入力し、前記予測誤差係数値に変換する予測誤差係数列変換手段と、備え、
さらに、前記合成器合成手段が、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成手段を備え、前記合成器合成手段の前記基本拡張階層合成手段が、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
【００７２】
さらに、本発明の符号化信号分離合成システムは、請求項１５から請求項１８のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器多重化手段が、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、前記合成器分離手段が、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、前記合成器合成手段が、前記合成器分離手段に分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
【００７３】
さらに、本発明の符号化信号分離合成システムは、請求項１５から請求項１９のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器多重化手段が、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成し、前記合成器分離手段が、前記複数の伝送符号化信号から、前記基本符号化信号と、複数の前記拡張符号化信号と、に分離することを特徴とした構成を有している。
【００７４】
さらに、本発明の符号化信号分離合成システムは、請求項２０に記載の符号化信号分離合成システムにおいて、前記分離器多重化手段が、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とした構成を有している。
【００７５】
さらに、本発明の符号化信号分離合成システムは、請求項１９に記載の符号化信号分離合成システムにおいて、前記合成器分離手段が分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成手段に通知する信号誤り通知手段と、を備え、前記合成器合成手段が、前記信号誤り通知手段に通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
【００７６】
さらに、本発明の符号化信号分離合成システムは、請求項１５から請求項２２のいずれか１項に記載の符号化信号分離合成システムにおいて、ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成手段に誤り訂正情報を通知する合成制御手段と、を備え、前記合成器合成手段が、前記合成制御手段に通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とした構成を有している。
【００７７】
また、本発明の符号化信号分離方法および符号化信号分離プログラムは、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力ステップと、前記分離器入力ステップで入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、を備えたことを特徴とした構成を有している。
【００７８】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４および請求項４５に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器分離ステップが、前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備えたことを特徴とした構成を有している。
【００７９】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５および請求項４６に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次量子化係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離することを特徴とした構成を有している。
【００８０】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５または請求項２６および請求項４６または請求項４７に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
【００８１】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５または請求項２６および請求項４６または請求項４７に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、
前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、を備えたことを特徴とした構成を有している。
【００８２】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４から請求項２８および請求項４５から請求項４９のいずれか１項に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器多重化ステップが、前記基本符号化信号と、複数の前記拡張符号化信号と、の各符号化信号を、前記各伝送符号化信号として生成することを特徴とした構成を有している。
【００８３】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４から請求項２８および請求項４５から請求項４９のいずれか１項に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成することを特徴とした構成を有している。
【００８４】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４から請求項３０および請求項４５から請求項５１のいずれか１項に記載の符号化信号分離方法において、前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成することを特徴とした構成を有している。
【００８５】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項３１および請求項５２に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とした構成を有している。
【００８６】
また、本発明の符号化信号合成方法および符号化信号合成プログラムは、複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、を備えたことを特徴とした構成を有している。
【００８７】
さらに、本発明の符号化信号合成プログラムは、請求項５４に記載の符号化信号合成プログラムにおいて、前記合成器合成ステップが、前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数値に変換させる基本符号化信号変換ステップと、前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値に変換させる拡張符号化信号変換ステップと、前記基本符号化信号変換ステップに変換された基本階層係数値と、前記拡張符号化信号変換ステップに変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップに合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換ステップと、を備えたことを特徴とした構成を有している。
【００８８】
さらに、本発明の符号化信号合成プログラムは、請求項５４または請求項５５に記載の符号化信号合成プログラムにおいて、前記合成器分離ステップが、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離することを特徴とした構成を有している。
【００８９】
さらに、本発明の符号化信号合成方法は、請求項３３に記載の符号化信号合成方法において、前記合成器分離ステップが、前記複数の伝送符号化信号から、同一の情報を符号化した信号である複数の前記基本符号化信号と、前記複数の拡張符号化信号と、に分離し、
さらに、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
【００９０】
さらに、本発明の符号化信号合成プログラムは、請求項５６に記載の符号化信号合成プログラムにおいて、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
【００９１】
さらに、本発明の符号化信号合成方法および符号化信号合成プログラムは、請求項３３または請求項３４に記載の符号化信号合成方法および請求項５４から請求項５７のいずれか１項に記載の符号化信号合成プログラムにおいて、ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とした構成を有している。
【００９２】
また、本発明の符号化信号分離合成方法および符号化信号分離合成プログラムは、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステップと、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器を制御する合成器制御ステップと、を備え、
前記分離器制御ステップが、前記１次符号化信号を入力する分離器入力ステップと、前記分離器入力ステップで入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、前記分離器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、前記分離器多重化ステップに多重化された複数の伝送符号化信号を出力する分離器出力ステップと、を備え、
前記合成器制御ステップが、前記複数の伝送符号化信号を入力する合成器入力ステップと、前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと、前記合成器分離ステップに分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、前記合成器合成ステップに合成された３次符号化信号を出力する合成器出力ステップと、を備えたことを特徴とした構成を有している。
【００９３】
さらに、本発明の符号化信号分離合成方法は、請求項３６に記載の符号化信号分離合成方法において、前記分離器分離ステップが、前記１次符号化信号から前記１次動画像を復元させる１次量子化係数値に変換する１次係数変換ステップと、前記１次係数変換ステップに変換された前記１次量子化係数値を、前記２次動画像を復元させる基本階層の基本階層係数値と、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数値と、に分離する基本拡張階層分離ステップと、前記基本階層係数値から前記基本符号化信号を生成する基本符号化信号生成ステップと、前記拡張階層係数値から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備え、
前記合成器合成ステップが、前記基本符号化信号から、前記基本階層の基本階層係数値に変換させる基本符号化信号変換ステップと、前記複数の拡張符号化信号から、前記拡張階層の拡張階層係数値に変換させる拡張符号化信号変換ステップと、前記基本符号化信号変換ステップに変換された基本階層係数値と、前記拡張符号化信号変換ステップに変換された拡張階層係数値と、を合成して３次量子化係数値を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップに合成された３次量子化係数値を、前記３次符号化信号に変換する３次係数変換ステップと、を備えたことを特徴とした構成を有している。
【００９４】
さらに、本発明の符号化信号分離合成方法は、請求項３７に記載の符号化信号分離合成方法において、前記分離器制御ステップでは、前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、前記基本符号化信号である基本量子化符号化列に符号化する基本量子化係数列符号化ステップを備え、前記分離器分離ステップの前記拡張符号化信号生成ステップが、前記基本量子化係数変換ステップに変換された予測誤差係数値と、前記基本拡張階層分離ステップに分離された拡張階層係数値と、を入力し、前記予測誤差係数値と、前記拡張階層係数値と、から複数の前記拡張符号化信号を生成し、
前記合成器制御ステップでは、前記合成器分離ステップが、複数の前記伝送符号化信号から、前記基本量子化符号化列と、前記予測誤差係数値が符号化された予測誤差符号化列と、前記拡張階層係数値が符号化された拡張階層符号化列と、に分離し、前記合成器合成ステップの前記基本符号化信号変換ステップが、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換ステップを備え、前記合成器合成ステップの前記拡張符号化信号変換ステップが、前記予測誤差符号化列から前記予測誤差係数値に変換する予測誤差係数列変換ステップと、前記複数の拡張階層符号化列を、それぞれ前記拡張階層係数値に変換する複数の拡張階層係数列変換ステップと、を備え、
さらに、前記合成器合成ステップが、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成ステップを備え、前記合成器合成ステップの前記基本拡張階層合成ステップが、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
【００９５】
さらに、本発明の符号化信号分離合成方法は、請求項３７に記載の符号化信号分離合成方法において、前記分離器制御ステップでは、前記分離器分離ステップが、前記基本拡張階層分離ステップに分離された基本階層係数値を、再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップを備え、前記分離器分離ステップの前記基本符号化信号生成ステップが、前記基本量子化係数値を入力し、基本量子化符号化列に符号化する基本量子化係数列符号化ステップと、前記予測誤差係数値を入力し、予測誤差符号化列に符号化する予測誤差係数列符号化ステップと、前記基本量子化符号化列と、前記予測誤差符号化列と、を合成して前記基本符号化信号を生成する基本符号化信号合成ステップと、を備え、
前記合成器制御ステップでは、前記合成器合成ステップが、前記基本符号化信号を入力し、前記基本量子化符号化列と、前記予測誤差符号化列と、に分離する基本符号化信号分離ステップを備え、前記合成器合成ステップの前記基本符号化信号変換ステップが、前記基本量子化符号化列を入力し、前記基本量子化係数値に変換する基本量子化係数列変換ステップと、前記予測誤差符号化列を入力し、前記予測誤差係数値に変換する予測誤差係数列変換ステップと、備え、
さらに、前記合成器合成ステップが、前記基本量子化係数値と、前記再量子化パラメータと、前記予測誤差係数値と、から前記基本階層係数値に変換する基本階層係数値合成ステップを備え、前記合成器合成ステップの前記基本拡張階層合成ステップが、前記基本階層係数値と、前記拡張階層係数値と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
【００９６】
さらに、本発明の符号化信号分離合成方法は、請求項３６から請求項３９のいずれか１項に記載の符号化信号分離合成方法において、前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、前記合成器分離ステップが、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、前記合成器合成ステップが、前記合成器分離ステップに分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
【００９７】
さらに、本発明の符号化信号分離合成方法は、請求項３６から請求項４０のいずれか１項に記載の符号化信号分離合成方法において、前記分離器多重化ステップが、複数の前記拡張符号化信号を多重化して、符号量が異なる複数の前記伝送符号化信号を生成し、前記合成器分離ステップが、前記複数の伝送符号化信号から、前記基本符号化信号と、複数の前記拡張符号化信号と、に分離することを特徴とした構成を有している。
【００９８】
さらに、本発明の符号化信号分離合成方法は、請求項４１に記載の符号化信号分離合成方法において、前記分離器多重化ステップが、前記符号量が異なる複数の伝送符号化信号の符号量比が２のべき乗比となるように、前記伝送符号化信号を生成することを特徴とした構成を有している。
【００９９】
さらに、本発明の符号化信号分離合成方法は、請求項４０に記載の符号化信号分離合成方法において、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
【０１００】
さらに、本発明の符号化信号分離合成プログラムは、請求項５９に記載の符号化信号分離合成プログラムにおいて、前記分離器多重化ステップが、前記基本符号化信号を、複数の前記拡張符号化信号のそれぞれに多重化して、前記複数の伝送符号化信号を生成し、前記合成器分離ステップが、前記複数の伝送符号化信号から、複数の前記基本符号化信号と、複数の前記拡張符号化信号と、に分離し、前記合成器合成ステップが、前記合成器分離ステップに分離された前記複数の基本符号化信号から１つの基本符号化信号を選択して、前記複数の拡張符号化信号と合成し、
さらに、前記合成器分離ステップが分離した複数の基本符号化信号から、受信信号誤りの少ない基本符号化信号を選択し、前記合成器合成ステップに通知する信号誤り通知ステップと、を備え、前記合成器合成ステップが、前記信号誤り通知ステップに通知された前記基本符号化信号を選択して、前記複数の拡張符号化信号と合成することを特徴とした構成を有している。
【０１０１】
さらに、本発明の符号化信号分離合成方法および符号化信号分離合成プログラムは、請求項３６から請求項４３のいずれか１項に記載の符号化信号分離合成方法および請求項５９または請求項６０に記載の符号化信号分離合成プログラムにおいて、ネットワーク上の誤り検出器から誤り訂正状況の情報を受信し、前記合成器合成ステップに誤り訂正情報を通知する合成制御ステップと、を備え、前記合成器合成ステップが、前記合成制御ステップに通知された前記誤り訂正情報に基づいて、前記基本符号化信号と、前記複数の拡張符号化信号と、を合成することを特徴とした構成を有している。
【０１０２】
さらに、本発明の符号化信号分離装置は、請求項２に記載の符号化信号分離装置において、前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、前記分離器分離手段の拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
【０１０３】
さらに、本発明の符号化信号分離装置は、請求項６２に記載の符号化信号分離装置において、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化することを特徴とした構成を有している。
【０１０４】
さらに、本発明の符号化信号分離装置は、請求項６３に記載の符号化信号分離装置において、前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とした構成を有している。
【０１０５】
さらに、本発明の符号化信号分離装置は、請求項６４に記載の符号化信号分離装置において、前記拡張符号化信号生成手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とした構成を有している。
【０１０６】
さらに、本発明の符号化信号分離装置は、請求項６４または請求項６５に記載の符号化信号分離装置において、前記拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
【０１０７】
さらに、本発明の符号化信号分離装置は、請求項６２から請求項６６のいずれか１項に記載の符号化信号分離装置において、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力手段を備え、前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数値の列に分離することを特徴とした構成を有している。
【０１０８】
さらに、本発明の符号化信号分離装置は、請求項２に記載の符号化信号分離装置において、前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化手段と、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化手段と、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化手段と、を備え、
前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
【０１０９】
さらに、本発明の符号化信号分離装置は、請求項６８に記載の符号化信号分離装置において、前記基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
【０１１０】
さらに、本発明の符号化信号分離装置は、請求項６９に記載の符号化信号分離装置において、前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
【０１１１】
さらに、本発明の符号化信号分離装置は、請求項７０に記載の符号化信号分離装置において、前記予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
【０１１２】
さらに、本発明の符号化信号分離装置は、請求項７０または請求項７１に記載の符号化信号分離装置において、前記予測誤差係数列符号化手段が、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
【０１１３】
さらに、本発明の符号化信号分離装置は、請求項７０から請求項７２のいずれか１項に記載の符号化信号分離装置において、前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
【０１１４】
さらに、本発明の符号化信号分離装置は、請求項６８から請求項７３のいずれか１項に記載の符号化信号分離装置において、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力手段を備え、前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離することを特徴とした構成を有している。
【０１１５】
また、本発明の映像信号受信合成再生装置は、請求項１０から請求項１４のいずれか１項に記載の符号化信号合成装置と、前記符号化信号合成装置から前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号装置と、を備えたことを特徴とした構成を有している。
【０１１６】
また、本発明の符号化信号分離合成システムは、請求項１６に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、前記分離器分離手段の拡張符号化信号生成手段が、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器では、前記合成器分離手段が、複数の前記伝送符号化信号から、前記基本符号化信号と、前記予測誤差係数列が符号化された拡張符号化信号と、前記拡張量子化係数列が符号化された拡張符号化信号と、を分離し、前記合成器合成手段の基本符号化信号変換手段が、前記基本符号化信号から前記基本量子化係数列に変換する基本量子化係数列変換手段を備え、
前記合成器合成手段の拡張符号化信号変換手段が、前記予測誤差係数列が符号化された拡張符号化信号から前記予測誤差係数列に変換する予測誤差係数列変換手段と、前記拡張量子化係数列が符号化された複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換手段と、を備え、
さらに、前記合成器合成手段が、前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成手段と、前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成手段と、を備え、
前記合成器合成手段の基本拡張階層合成手段が、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
【０１１７】
さらに、本発明の符号化信号分離合成システムは、請求項７６に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記量子化パラメータ復元情報を復号し、前記合成器合成手段の基本量子化係数合成手段が、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
【０１１８】
さらに、本発明の符号化信号分離合成システムは、請求項７７に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記再量子化パラメータ導出定数を復号し、前記合成器合成手段の基本量子化係数合成手段が、前記再量子化パラメータ導出定数にしたがって前記基本階層係数値の列を合成し、前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記再量子化パラメータ導出定数と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
【０１１９】
さらに、本発明の符号化信号分離合成システムは、請求項７８に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の拡張符号化信号生成手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号から前記再量子化パラメータ導出定数のマクロブロック間の差分値を復号し、前記再量子化パラメータ導出定数を求めることを特徴とした構成を有している。
【０１２０】
さらに、本発明の符号化信号分離合成システムは、請求項７８または請求項７９に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とした構成を有している。
【０１２１】
さらに、本発明の符号化信号分離合成システムは、請求項７６から請求項８０のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器分離手段が、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力手段を備え、前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、前記合成器合成手段が、前記拡張階層分離パターン情報を入力する合成器分離情報入力手段を備え、前記合成器合成手段の拡張量子化係数合成手段が、前記拡張符号化信号変換手段に変換された複数の拡張量子化係数列を、前記合成器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とした構成を有している。
【０１２２】
さらに、本発明の符号化信号分離合成システムは、請求項８１に記載の符号化信号分離合成システムにおいて、前記分離器が、前記分離器分離手段の拡張量子化係数分離手段が前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を前記合成器に送信する分離器分離情報送信手段を備え、前記合成器が、前記分離器から送信された拡張階層分離パターン情報を受信する合成器分離情報受信手段を備え、前記合成器合成手段の合成器分離情報入力手段が、前記合成器分離情報受信手段が受信した拡張階層分離パターン情報を入力することを特徴とした構成を有している。
【０１２３】
さらに、本発明の符号化信号分離合成システムは、請求項１６に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本拡張階層分離手段が、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離手段が、前記基本拡張階層分離手段に分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換手段と、前記基本拡張階層分離手段に分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離手段と、を備え、
前記分離器分離手段の基本符号化信号生成手段が、前記基本量子化係数変換手段に変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化手段と、前記基本量子化係数変換手段に変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化手段と、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化手段と、を備え、
前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数分離手段に分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器では、前記合成器合成手段の基本符号化信号変換手段が、前記基本符号化信号から、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重分離する基本量子化係数分離手段と、前記基本量子化係数分離手段に分離された基本量子化符号化列を前記基本量子化係数列に変換する基本量子化係数列変換手段と、前記基本量子化係数分離手段に分離された予測誤差符号化列を前記予測誤差係数列に変換する予測誤差係数列変換手段と、備え、
前記合成器合成手段の拡張符号化信号変換手段が、複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換手段を備え、
さらに、前記合成器合成手段が、前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成手段と、前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成手段と、を備え、
前記合成器合成手段の基本拡張階層合成手段が、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
【０１２４】
さらに、本発明の符号化信号分離合成システムは、請求項８３に記載の符号化信号分離合成システムにおいて、前記分離器の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記量子化パラメータ復元情報を復号し、前記合成器合成手段の基本量子化係数合成手段が、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
【０１２５】
さらに、本発明の符号化信号分離合成システムは、請求項８４に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本拡張階層分離手段が、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記再量子化パラメータ導出定数を復号し、前記合成器合成手段の基本量子化係数合成手段が、前記再量子化パラメータ導出定数にしたがって前記基本階層係数値の列を合成し、前記合成器合成手段の３次係数変換手段が、前記再量子化パラメータと、前記再量子化パラメータ導出定数と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
【０１２６】
さらに、本発明の符号化信号分離合成システムは、請求項８５に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列から前記再量子化パラメータ導出定数のマクロブロック間の差分値を復号し、前記再量子化パラメータ導出定数を求めることを特徴とした構成を有している。
【０１２７】
さらに、本発明の符号化信号分離合成システムは、請求項８５または請求項８６に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本符号化信号生成手段の予測誤差係数列符号化手段が、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、前記合成器合成手段の基本符号化信号変換手段の予測誤差係数列変換手段が、前記予測誤差符号化列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とした構成を有している。
【０１２８】
さらに、本発明の符号化信号分離合成システムは、請求項８５から請求項８７のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の拡張符号化信号生成手段が、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化し、前記合成器合成手段の拡張符号化信号変換手段が、前記拡張符号化信号を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって復号することを特徴とした構成を有している。
【０１２９】
さらに、本発明の符号化信号分離合成システムは、請求項８３から請求項８８のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器分離手段が、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力手段を備え、前記分離器分離手段の拡張量子化係数分離手段が、前記基本拡張階層分離手段に分離された拡張階層係数値を、前記分離器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、前記合成器合成手段が、前記拡張階層分離パターン情報を入力する合成器分離情報入力手段を備え、前記合成器合成手段の拡張量子化係数合成手段が、前記拡張符号化信号変換手段に変換された複数の拡張量子化係数列を、前記合成器分離情報入力手段が入力した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とした構成を有している。
【０１３０】
さらに、本発明の符号化信号分離合成システムは、請求項８９に記載の符号化信号分離合成システムにおいて、前記分離器が、前記分離器分離手段の拡張量子化係数分離手段が前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を前記合成器に送信する分離器分離情報送信手段を備え、前記合成器が、前記分離器から送信された拡張階層分離パターン情報を受信する合成器分離情報受信手段を備え、前記合成器合成手段の合成器分離情報入力手段が、前記合成器分離情報受信手段が受信した拡張階層分離パターン情報を入力することを特徴とした構成を有している。
【０１３１】
さらに、本発明の符号化信号分離合成システムは、請求項１５から請求項２３または請求項７６から請求項９０のいずれか１項に記載の符号化信号分離合成システムにおいて、前記符号化信号合成器から前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号装置を備えたことを特徴とした構成を有している。
【０１３２】
また、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５に記載の符号化信号分離方法および請求項４６に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
【０１３３】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２５に記載の符号化信号分離方法および請求項４６に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成することを特徴とした構成を有している。
【０１３４】
また、本発明の符号化信号分離合成方法は、請求項３７に記載の符号化信号分離合成方法において、前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、前記基本符号化信号を生成し、前記分離器分離ステップの拡張符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列と、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列と、をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器制御ステップでは、前記合成器分離ステップが、複数の前記伝送符号化信号から、前記基本符号化信号と、前記予測誤差係数列が符号化された拡張符号化信号と、前記拡張量子化係数列が符号化された拡張符号化信号と、を分離し、前記合成器合成ステップの基本符号化信号変換ステップが、前記基本符号化信号から前記基本量子化係数列に変換する基本量子化係数列変換ステップを備え、
前記合成器合成ステップの拡張符号化信号変換ステップが、前記予測誤差係数列が符号化された拡張符号化信号から前記予測誤差係数列に変換する予測誤差係数列変換ステップと、前記拡張量子化係数列が符号化された複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換ステップと、を備え、
さらに、前記合成器合成ステップが、前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成ステップと、前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成ステップと、を備え、
前記合成器合成ステップの基本拡張階層合成ステップが、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
【０１３５】
さらに、本発明の符号化信号分離合成方法は、請求項９４に記載の符号化信号分離合成方法において、前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化し、前記合成器合成ステップの拡張符号化信号変換ステップが、前記拡張符号化信号から前記量子化パラメータ復元情報を復号し、前記合成器合成ステップの基本量子化係数合成ステップが、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、前記合成器合成ステップの３次係数変換ステップが、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
【０１３６】
さらに、本発明の符号化信号分離合成方法は、請求項９４または請求項９５に記載の符号化信号分離合成方法において、前記分離器分離ステップが、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力ステップを備え、
前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離器分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、前記分離器制御ステップが、前記分離器分離ステップの拡張量子化係数分離ステップが前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を送信する分離器分離情報送信ステップを備え、
さらに、前記合成器制御ステップが、前記分離器制御ステップの分離器分離情報送信ステップで送信された拡張階層分離パターン情報を受信する合成器分離情報受信ステップを備え、
前記合成器合成ステップの拡張量子化係数合成ステップが、前記拡張符号化信号変換ステップで変換された複数の拡張量子化係数列を、前記合成器分離情報受信ステップで受信した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とした構成を有している。
【０１３７】
さらに、本発明の符号化信号分離合成方法は、請求項３７に記載の符号化信号分離合成方法において、前記分離器分離ステップの基本拡張階層分離ステップが、前記１次動画像の係数値から前記１次量子化係数値に量子化したときの入力量子化パラメータと、前記１次動画像の係数値を再量子化するときの再量子化パラメータと、の値にしたがって、前記基本階層係数値と、前記拡張階層係数値と、を分離し、
さらに、前記分離器分離ステップが、前記基本拡張階層分離ステップで分離された基本階層係数値を、前記再量子化パラメータで再量子化して求められる再量子化出力係数である基本量子化係数値と、前記基本量子化係数値と前記再量子化パラメータから予測される予測係数値と前記基本階層係数値との差から求められる予測誤差係数値と、に変換する基本量子化係数変換ステップと、前記基本拡張階層分離ステップで分離された複数の拡張階層係数値を分離して、それぞれ分離された前記拡張階層係数値からなる複数の拡張量子化係数列を生成する拡張量子化係数分離ステップと、を備え、
前記分離器分離ステップの基本符号化信号生成ステップが、前記基本量子化係数変換ステップで変換された基本量子化係数値からなる基本量子化係数列を符号化して、基本量子化符号化列を生成する基本量子化係数列符号化ステップと、前記基本量子化係数変換ステップで変換された予測誤差係数値からなる予測誤差係数列を符号化して、予測誤差符号化列を生成する予測誤差係数列符号化ステップと、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重化して前記基本符号化信号を生成する基本符号化信号多重化ステップと、を備え、
前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数分離ステップで分離された複数の拡張量子化係数列をそれぞれ符号化して、複数の前記拡張符号化信号を生成し、
前記合成器制御ステップでは、前記合成器合成ステップの基本符号化信号変換ステップが、前記基本符号化信号から、前記基本量子化符号化列と、前記予測誤差符号化列と、を多重分離する基本量子化係数分離ステップと、前記基本量子化係数分離ステップで分離された基本量子化符号化列を前記基本量子化係数列に変換する基本量子化係数列変換ステップと、前記基本量子化係数分離ステップで分離された予測誤差符号化列を前記予測誤差係数列に変換する予測誤差係数列変換ステップと、備え、
前記合成器合成ステップの拡張符号化信号変換ステップが、複数の前記拡張符号化信号から、それぞれ前記拡張量子化係数列に変換する複数の拡張量子化係数列変換ステップを備え、
さらに、前記合成器合成ステップが、前記基本量子化係数列と、前記再量子化パラメータと、前記予測誤差係数列と、から前記基本階層係数値の列を合成する基本量子化係数合成ステップと、前記複数の拡張量子化係数列から前記拡張階層係数値の列を合成する拡張量子化係数合成ステップと、を備え、
前記合成器合成ステップの基本拡張階層合成ステップが、前記基本階層係数値の列と、前記拡張階層係数値の列と、を合成して前記３次量子化係数値を生成することを特徴とした構成を有している。
【０１３８】
さらに、本発明の符号化信号分離合成方法は、請求項９７に記載の符号化信号分離合成方法において、前記分離器の基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化し、前記合成器合成ステップの基本符号化信号変換ステップの予測誤差係数列変換ステップが、前記予測誤差符号化列から前記量子化パラメータ復元情報を復号し、前記合成器合成ステップの基本量子化係数合成ステップが、前記量子化パラメータ復元情報にしたがって前記基本階層係数値の列を合成し、前記合成器合成ステップの３次係数変換ステップが、前記再量子化パラメータと、前記量子化パラメータ復元情報と、にしたがって復元された入力量子化パラメータを、前記３次符号化信号内に符号化することを特徴とした構成を有している。
【０１３９】
さらに、本発明の符号化信号分離合成方法は、請求項９７または請求項９８に記載の符号化信号分離合成方法において、前記分離器分離ステップが、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離器分離情報入力ステップを備え、
前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離器分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離し、前記分離器制御ステップが、前記分離器分離ステップの拡張量子化係数分離ステップが前記拡張階層係数値を複数の拡張量子化係数列に分離した拡張階層分離パターン情報を送信する分離器分離情報送信ステップを備え、
さらに、前記合成器制御ステップが、前記分離器制御ステップの分離器分離情報送信ステップで送信された拡張階層分離パターン情報を受信する合成器分離情報受信ステップを備え、
前記合成器合成ステップの拡張量子化係数合成ステップが、前記拡張符号化信号変換ステップで変換された複数の拡張量子化係数列を、前記合成器分離情報受信ステップで受信した拡張階層分離パターン情報にしたがって、前記拡張階層係数値の列に合成することを特徴とした構成を有している。
【０１４０】
さらに、本発明の符号化信号分離合成方法および符号化信号分離合成プログラムは、請求項３６から請求項４４または請求項９４から請求項９９のいずれか１項に記載の符号化信号分離合成方法および請求項５９から請求項６１のいずれか１項に記載の符号化信号分離合成プログラムにおいて、前記合成器制御ステップで生成された前記３次符号化信号を入力し、前記３次符号化信号を復号して前記３次動画像を再生する符号化信号復号ステップを備えたことを特徴とした構成を有している。
【０１４１】
また、本発明の符号化信号分離プログラムは、請求項１０１に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記複数の拡張符号化信号内にそれぞれ符号化することを特徴とした構成を有している。
【０１４２】
さらに、本発明の符号化信号分離プログラムは、請求項１０２に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの基本拡張階層分離ステップが、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記分離器分離ステップの拡張符号化信号生成ステップが、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とした構成を有している。
【０１４３】
さらに、本発明の符号化信号分離プログラムは、請求項１０３に記載の符号化信号分離プログラムにおいて、前記拡張符号化信号生成ステップが、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記複数の拡張符号化信号内に符号化することを特徴とした構成を有している。
【０１４４】
さらに、本発明の符号化信号分離プログラムは、請求項１０３または請求項１０４に記載の符号化信号分離プログラムにおいて、前記拡張符号化信号生成ステップが、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
【０１４５】
さらに、本発明の符号化信号分離プログラムは、請求項１０１から請求項１０５のいずれか１項に記載の符号化信号分離プログラムにおいて、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力ステップを備え、前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数値の列に分離することを特徴とした構成を有している。
【０１４６】
さらに、本発明の符号化信号分離プログラムは、請求項１０７に記載の符号化信号分離プログラムにおいて、前記基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータから前記入力量子化パラメータを復元させる量子化パラメータ復元情報を、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
【０１４７】
さらに、本発明の符号化信号分離プログラムは、請求項１０８に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの基本拡張階層分離ステップが、再量子化特性に基づいて適正な前記再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、前記再量子化パラメータ導出定数にしたがって前記入力量子化パラメータから前記再量子化パラメータを算出するとともに、前記基本階層係数値と、前記拡張階層係数値と、を分離し、前記基本符号化信号生成ステップの予測誤差係数列符号化ステップが、前記再量子化パラメータ導出定数の情報を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
【０１４８】
さらに、本発明の符号化信号分離プログラムは、請求項１０９に記載の符号化信号分離プログラムにおいて、前記予測誤差係数列符号化ステップが、前記再量子化パラメータ導出定数のマクロブロック間の差分値を前記量子化パラメータ復元情報として、前記予測誤差係数列とともに前記予測誤差符号化列に符号化することを特徴とした構成を有している。
【０１４９】
さらに、本発明の符号化信号分離プログラムは、請求項１０９または請求項１１０に記載の符号化信号分離プログラムにおいて、前記予測誤差係数列符号化ステップが、前記予測誤差係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
【０１５０】
さらに、本発明の符号化信号分離プログラムは、請求項１０９から請求項１１１のいずれか１項に記載の符号化信号分離プログラムにおいて、前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張量子化係数列を、前記再量子化パラメータ導出定数にしたがった符号化テーブルによって符号化することを特徴とした構成を有している。
【０１５１】
さらに、本発明の符号化信号分離プログラムは、請求項１０７から請求項１１２のいずれか１項に記載の符号化信号分離プログラムにおいて、前記拡張階層係数値を前記複数の拡張量子化係数列に分離する分離方法を規定する拡張階層分離パターン情報を入力する分離情報入力ステップを備え、前記分離器分離ステップの拡張量子化係数分離ステップが、前記基本拡張階層分離ステップで分離された拡張階層係数値を、前記分離情報入力ステップで入力した拡張階層分離パターン情報にしたがって、前記複数の拡張量子化係数列に分離することを特徴とした構成を有している。
【発明の効果】
【０１５２】
本発明は、サーバで、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成し、出力することにより、独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択を行い、映像のスケーラブル伝送を実現することができるという効果を有する符号化信号分離合成システムを提供することができるものである。
【０１５３】
また、基本符号化信号と、拡張符号化信号と、をそれぞれ別々の伝送符号化信号として送信、すなわち、基本符号化信号を単独で送信する場合、この基本符号化信号は従来のトランスコードされた符号化信号と同一のもとなり、受信側では通常の受信装置で基本符号化信号を従来通り受信でき、圧縮された符号量の小さな符号化信号を受信することができる。また、基本符号化信号を、それぞれ拡張符号化信号と多重化して伝送符号化信号として送信する場合は、どの伝送符号化信号からでも基本符号化信号を得ることができ、通信エラーが発生しても、１つの伝送符号化信号から基本符号化信号を得ることができ、安全確実に再生映像を得ることができる。
【０１５４】
さらに、本発明は、伝送符号化信号内に入力量子化パラメータを復元させる量子化パラメータ復元情報を符号化することにより、小さな情報を送受信するだけで、入力量子化パラメータを含めて１次符号化信号と同一な３次符号化信号を復元することができるという効果を有する符号化信号分離合成システムを提供することができるものである。
【０１５５】
また、本発明は、拡張階層分離パターン情報にしたがって拡張階層係数値を複数に分離するので、拡張階層分離パターン情報を変更するだけで簡単に拡張階層係数値の分離の仕方を変更することができるとともに、送受信のたびに分離の仕方を変更することができるという効果を有する。
【０１５６】
さらに、映像や音声等の伝送するプログラムの内容と拡張階層分離パターン情報とを分けて送受信、あるいは、拡張階層分離パターン情報を特定の相手と送受信することにより、不正に伝送信号を読み取られても、不正受信者には復号することができないため、内容を見られることが無く、伝送信号にスクランブルをかけたように、不正アクセスを防止することができるという効果を有する符号化信号分離合成システムを提供することができるものである。
【発明を実施するための最良の形態】
【０１５７】
以下、本発明の実施の形態の符号化信号分離合成システムについて、図面を用いて説明する。
【０１５８】
本発明の符号化信号分離合成システムは、サーバにおけるストリーム分離機能を有するトランスコーダにおいて、独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択機能を行うことにより映像のスケーラブル伝送を実現する。分離された各ストリームのプライオリティはほぼ等しく、ルータにおける任意の伝送路の選択によりスケーラビリティの実現ができる。
【０１５９】
（第１の実施の形態）
本発明の第１の実施の形態における符号化信号分離合成システムを、図１に示し説明する。
【０１６０】
図１に示すように、符号化信号分離合成システムは、映像を送出するサーバ１０００と、ネットワーク上で伝送路選択を行うルータ２０００と、映像を受信し再生を行うレシーバ３０００ａ、３０００ｂ・・・、３０００ｎと、を備えている。レシーバ３０００ａ、３０００ｂ・・・、３０００ｎは、いくつであっても良い。また、ルータ２０００も、複数備えていても構わない。
【０１６１】
ここで、サーバ１０００に入力されるストリームは、標準の符号化器で生成されたストリームであり、例えば、カメラ６００がとらえた映像を、符号化器７００で符号化したものであったり、コンテンツ蓄積器８００に記憶されたコンテンツのストリームである。また、サーバ１０００は、分離器１０１０を備え、ルータ２０００は、伝送路選択器２０１０を備えている。
【０１６２】
また、レシーバ３０００ａ、３０００ｂ・・・、３０００ｎは、それぞれ合成器３０１０ａ、３０１０ｂ・・・、３０１０ｎおよび復号器３０３０ａ、３０３０ｂ・・・、３０３０ｎを備え、レシーバ３０００ａ、３０００ｂ・・・、３０００ｎにおいて再生を行う復号器３０３０ａ、３０３０ｂ・・・、３０３０ｎは、標準のものに準拠する。
【０１６３】
ここで、レシーバ３０００ａ、３０００ｂ・・・、３０００ｎ、合成器３０１０ａ、３０１０ｂ・・・、３０１０ｎおよび復号器３０３０ａ、３０３０ｂ・・・、３０３０ｎは、それぞれ同様のものであるので、以下では、その１つをレシーバ３０００、合成器３０１０および復号器３０３０として説明する。
【０１６４】
次に、サーバ１０００の分離器１０１０について、図２に示し説明する。
【０１６５】
図２に示すように、分離器１０１０は、すでに符号化されアーカイブ等に蓄積されているストリームやカメラで撮影され符号化されたストリームを入力とし、独立したストリームに分離し出力する。また、分離器１０１０は、分離部(separate)１１００と、多重化部(MUX)１６００と、を備えている。
【０１６６】
分離器１０１０による分離ストリーム生成の方法は、多重化部１６００における処理により、以下に示す二つの方式があり、各方式の処理図を図３、図４にそれぞれ示す。
【０１６７】
方式（１）  ロバストネス伝送路のあるネットワークで映像の送出を行う。
【０１６８】
方式（２）  ロバストネス伝送路のないネットワークで映像の送出を行う。
【０１６９】
分離部(separate)１１００は、入力された符号化ストリームを、１本の基本ストリームＢと、Ｍ本の拡張ストリームＥ(ｍ)（０≦ｍ≦Ｍ−１）に分離する。
【０１７０】
多重化部(MUX)１６００は、分離部１１００から出力される基本ストリームＢと拡張ストリームＥ(ｍ)（０≦ｍ≦Ｍ−１）の多重化を、伝送路の特性に応じて行う。その方法は、以下に示す方式（１）と方式（２）とがある。
【０１７１】
方式（１）
方式（１）では、分離ストリームとしてＳｔ(Ｂ)と、Ｌ本のストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）を出力する。基本ストリームＢは、分離ストリームＳｔ(Ｂ)として伝送エラーの発生しないロバストネス伝送路に送出され、拡張ストリームＥ(ｍ)（０≦ｍ≦Ｍ−１）は、各々分離ストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）ストリームとして伝送される。Ｓｔ(ｌ)を式（１）に示す。
【０１７２】
Ｓｔ(ｌ)＝Ｅ(ｌ)    （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１）                        式（１）
ｌ番目の分離ストリームＳｔ(ｌ)のビットレートRate[Ｓｔ(ｌ)]は、式（２）のように表現できる。
【０１７３】
Rate[Ｓｔ(ｌ)] ＝ Rate[Ｅ(ｌ)]    （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１）        式（２）
方式（２）
方式（２）では、Ｌ本のストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）が出力される。基本ストリームＢは、コピーされすべての拡張ストリームＥ(ｍ)に多重化される。このように、基本ストリームＢを複数の伝送路を用いて伝送することによりネットワーク状態に依存しない再生を保証する。この場合、分離ストリームＳｔ(ｌ)は、式（３）のようにあらわすことができる。ここで、Multiplex[・]は多重化を意味する。
【０１７４】
Ｓｔ(ｌ)＝Multiplex[Ｂ,Ｅ(ｌ)]    （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１）        式（３）
分離ストリームＳｔ(ｌ)のビットレートRate[Ｓｔ(ｌ)]は、式（４）となる。
【０１７５】
Rate[Ｓｔ(ｌ)] ＝ Rate[Ｂ＋Ｅ(ｌ)]    （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１）    式（４）
次に、ルータ２０００の伝送路選択器２０１０について、図５に示し説明する。
【０１７６】
ルータ２０００および伝送路選択器２０１０は、サーバ１０００より出力されたＬ本の分離ストリームＳｔ(ｌ)を入力とし、ネットワーク状況に応じ伝送路選択（伝送路のオン・オフ）により伝送するストリームのレートを制御し、映像のスケーラビリティを実現する。ここで、ルータ２０００より出力されるストリームの総レートRate[Ｓｔ out]を、Rate[Ｓｔ out]＝Σl Rate[Ｓｔ(ｌ)]とする。ルータ２０００の出力ストリームの目標総レートを、Ｒtargetとすると、Rate[Ｓｔ out] ≦ ＲtargetとなるＳｔ(ｌ)の伝送路スイッチをオンにする。
【０１７７】
図６に、伝送路選択器による伝送路選択の具体例を示す。この場合、分離ストリーム数を決定するパラメータＬは、Ｌ＝６である。目標レートＲtargetが与えられた際に、Rate[Ｓｔ out] ≦ Ｒtargetを実現するためストリームＳｔ(０)、Ｓｔ(２)、Ｓｔ(３)、Ｓｔ(５)の伝送路スイッチをオンにすることで、Rate[Ｓｔ(０)＋Ｓｔ(２)＋Ｓｔ(３)＋Ｓｔ(５)] ≦ Ｒtargetを実現している。
【０１７８】
次に、レシーバ３０００の合成器３０１０について、説明する。合成器３０１０は、入力されるＬ’本のストリームＳｔ(ｌ)を合成し、映像再生を行う。映像品質は、受信するストリームの総レートのみに依存し、受信ストリームの種類に依存しない。受信するストリームの総レートは、ルータ２０００における伝送路選択により決定される。
【０１７９】
レシーバ３０００の合成器３０１０のブロック図を、図７に示し説明する。
【０１８０】
図７に示すように、合成器３０１０は、多重分離部（DEMUX）３１００と、基本ストリーム選択器（B-Selector）３２００と、合成部（merge）３３００と、を備え、さらに、レシーバ３０００は、合成制御器（merge controller）３０２０を備えている。また、合成制御器３０２０については、合成器３０１０に含まれる構成であっても構わない。
【０１８１】
また、上記方式（１）、方式（２）に対応する合成器３０１０のブロック図を、図８、図９にそれぞれ示す。
【０１８２】
多重分離部（DEMUX）３１００は、入力されるＬ’本のストリームＳｔ(ｌ)を、α本の基本ストリームＢと、Ｍ’本の拡張ストリームＥ(ｍ)に分割する。ここで、αは、多重分離部３１００に入力されるすべての分離ストリームＳｔ(ｌ)内に多重化されている基本ストリームＢの総数を示し、上記方式（１）、方式（２）に応じてその数は異なり、式（５）に示すようになる。
【０１８３】
【数３】
2005167962.tif 000005
【０１８４】
また、ストリーム分割時に検出されるストリームに発生した誤り等の情報は、合成制御器３０２０に渡す。
【０１８５】
基本ストリーム選択器（B-Selector）３２００は、合成制御器３０２０からの制御を受け、入力されるα本のＢストリームからビット誤りの少ない１本のストリームを選択し出力する。この際、（α−１）本の基本ストリームＢは破棄される。
【０１８６】
合成部（merge）３３００は、合成制御器３０２０からの制御を受け、入力される基本ストリームＢと拡張ストリームＥ(ｍ) （０ ≦  ｍ  ≦ Ｍ’−１）を合成し、合成ストリームを出力する。したがって、合成部３３００に入力された拡張ストリームＥ(ｍ)のすべてが合成されるというわけではない。
【０１８７】
合成制御器（merge controller）３０２０は、ネットワーク上の誤り検出器から誤り訂正情報、また、多重分離部３１００、合成部３３００における処理において検出される誤り情報を受け取り、基本ストリームＢについての情報は基本ストリーム選択器３２００に対して、拡張ストリームＥ(ｍ)についての情報は合成部３３００に対して、制御をかけ、誤り訂正が不可能とされたストリームを合成制御器３０２０において切り捨てる処理を行う。
【０１８８】
（符号化シンタックス）
以下、マクロブロックを構成するブロック単位で行われる分離、合成信号処理、またストリームを構成するデータ構造について説明する。
【０１８９】
まず、ストリームの構成およびフォーマットについて説明する。
【０１９０】
本発明におけるビットストリームの形態は、メインプロファイル準拠のＭＰＥＧ−２ビットストリーム(分離前ＭＰＥＧ−２)を入力とし、基本ストリームとＭ本の拡張ストリームに分離する。以下では、ＭＰＥＧ−２を例として説明するが、その他の動き補償予測つきのＤＣＴ動画像符号化方式（ＩＴＵ−Ｔ  Ｈ．２６１、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  １４４９６−２（通称「ＭＰＥＧ−４」）、ＩＴＵ−Ｔ  Ｈ．２６４など）に対してもそのＤＣＴ係数符号化の部分に対して同様の構成をとることができる。
【０１９１】
基本ストリームは、ビットレートが削減されＭＰＥＧ−２ビットストリームとして出力される。拡張ストリームには、レート削減時の再量子化処理において発生する予測誤差情報より構成される予測誤差ストリームとレート削減前後間での差分情報より構成される差分ビットストリームがある。
【０１９２】
拡張ストリームのビットストリームフォーマットを、図１０に示し説明する。
【０１９３】
図１０に示すように、拡張ストリームのビットストリームフォーマットは、ＭＰＥＧ−２シンタックスのビットストリームフォーマットを基本とし、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック（以後、ＭＢ）層、ブロック層からなる階層構造を有する。拡張ストリームは、シーケンスヘッダから始まり、ピクチャ枚数分のピクチャ層へと続く。ピクチャ層データは、ピクチャヘッダとピクチャデータから成る。ピクチャデータは、複数のスライス層データから構成され、スライス層データは、スライスヘッダとそれに続くＭＢ層のデータから構成される。
【０１９４】
本発明では、シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ、スライスヘッダのビットフィールドはＭＰＥＧ−２に等しい。ただし、スライス層には、スライスヘッダとＭＢデータの間にユーザデータを定義し、ユーザデータには、図１１に示すスライス層における本方式独自の属性が記述されている。ＭＢ層データは、ＭＢ属性情報と係数情報から構成される。ＭＢ属性情報を、図１２に示す。スライス層のユーザデータは、スライス層における分離・合成に利用され、ＭＢ属性情報内に含まれる情報はＭＢ層における分離・合成に利用される。
【０１９５】
次に、ストリーム間の同期について、説明する。
【０１９６】
シーケンスヘッダ、ピクチャヘッダ、スライスヘッダは、それぞれＧＯＰ単位、ピクチャ単位、スライス単位で出力するＭＰＥＧ−２ビットストリームとの同期をとるために利用される。同期の最小単位であるスライス単位では、スライスヘッダ内のＳＳＣ（Slice Start Code）が等しくなるように同期をとる。ここで、スライスヘッダ内のＳＳＣとは、スライス層の始まりを示す同期コードであり、コードの最後の１バイトがスライスの垂直位置を表している。
【０１９７】
次に、ストリーム生成の原理について、説明する。
【０１９８】
ブロックレイヤデータは、再量子化を行い再量子化前後での量子化係数値の変化差分情報を符号化する。本変化差分情報と再量子化出力係数を符号化したものを合成することで、再量子化前の係数情報が完全に復元可能である。このとき、再量子化出力係数が基本階層として符号化され基本ストリームＢとなる。再量子化前後での係数差分情報を拡張階層とすると、拡張階層は順にＮ個の拡張量子化係数列に分離される。再量子化により発生する予測誤差情報は予測誤差係数列となり、予測誤差係数列と拡張量子化係数列がそれぞれ符号化されＭ本の拡張ストリームＥ(ｍ)が生成される。このとき、Ｍ本の拡張ストリームＥ(ｍ)のレートはほぼ等しいレートに生成可能である。
【０１９９】
次に、分離器１０１０の分離部(separate)１１００について、説明する。
【０２００】
分離部(separate)１１００の一実施形態である分離部(separate)１１００ａのブロック図を、図１３に示す。入力された符号化ストリームは、係数情報分離部１２６０において係数情報と係数情報以外に分離される。この場合、係数情報は２次元ランレングスによりハフマン符号化された量子化係数符号であり、係数情報以外とはＭＢ層のデータとイントラＭＢのＤＣ係数符号である。係数情報以外のデータは係数情報がＶＬＤされ分離され、再びＶＬＣされたものと多重化されストリームとして出力される。以下の項目ごとにブロックデータ分離の処理手順を示す。また、ブロック内係数分離原理図を、一つの例として図１４に示す。だたし、図１４におけるストリーム生成パラメータをＮ＝４、Ｍ＝５とする。ここで用いるＮ、Ｍの値は説明を簡単にするための一つの例に過ぎず、実際の構成上は任意の自然数を指定することができる。
項目１．１：基本階層、拡張階層の生成方法
項目１．２：基本階層再量子化による基本量子化係数列、予測誤差係数列の生成方法
項目１．３：基本ストリームの生成方法
・基本量子化係数列の符号化
項目１．４：拡張階層の分離による拡張量子化係数列の生成方法
項目１．５：拡張ストリームの生成方法
ａ．予測誤差係数列の符号化
ｂ．拡張量子化係数列の符号化
に、ついてそれぞれ説明する。
【０２０１】
ただし、上記処理手順のうち項目１．２，項目１．３は、本願出願人が先に出願した特開２００２−１３５１３０「符号化信号分離・合成装置、差分符号化信号生成装置、符号化信号分離・合成方法、差分符号化信号生成方法、符号化信号分離・合成プログラムを記録した媒体、差分符号化信号生成プログラムを記録した媒体」に記載したものと同様の手法を用いている。また、本文中における整数値ｈは、イントラの場合には上記特開２００２−１３５１３０の段落番号［０３２４］の式（８）、インターの場合には上記特開２００２−１３５１３０の段落番号［０３２４］の式（９）に示すｍに等しい。また、再量子化前量子化パラメータＭＱ１、再量子化時再量子化パラメータＭＱ２は、上記特開２００２−１３５１３０におけるＭＱ１、ＭＱ２に等しい。
【０２０２】
項目１．１：基本階層、拡張階層の生成方法
入力量子化係数列を分離し基本階層と拡張階層を生成する。入力量子化係数列Ｘを式（６）のように定義する。
【０２０３】
Ｘ＝｛ｘ0, ｘ1, ｘ2...,ｘi...}      (0 ≦  i  ≦ 63)                  式（６）
ここで、i (0 ≦  i  ≦ 63)はブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号を表す。基本階層は入力量子化係数のうち整数値ｈより大きい係数列とし、ｈ以下の係数を拡張階層を構成する係数とする。
【０２０４】
以上より基本階層Ｂ、拡張階層Ｅは式（７）となる。
【０２０５】
【数４】
2005167962.tif 000006
【０２０６】
項目１．２：基本階層再量子化による基本量子化係数列、予測誤差係数列の生成方法
基本階層Ｂを式（８）と定義する。
【０２０７】
Ｂ＝｛ｂ0, ｂ1...,ｂi...}   (0 ≦  i  ≦ 63)                          式（８）
また、基本階層Ｂを再量子化パラメータＭＱ２で再量子化すると再量子化出力係数である基本量子化係数列Ｃと、予測誤差係数列Ｄが出力され、それぞれを式（９）と定義する。
【０２０８】
【数５】
2005167962.tif 000007
【０２０９】
このとき、基本階層係数ｂi を再量子化パラメータＭＱ２を用いて再量子化した値ｃi は、式（８）、式（９）より式（１０）のように示される。
【０２１０】
ｃi ＝ func1(ｂi )    （０≦i ≦６３）                        式（１０）
このとき、再量子化演算 func1 は、イントラの場合には上記特開２００２−１３５１３０の段落番号［０３９３］、インターの場合には上記特開２００２−１３５１３０の段落番号［０３９５］の記載と等しくなる。また、上記特開２００２−１３５１３０の段落番号［０３９３］、［０３９５］におけるＱＦ１、ＱＦ２を本式では、ｂi 、ｃi に読み変えている。
【０２１１】
式（９）より予測誤差係数ｄi は式（１１）のようにして求められる。
【０２１２】
ｄi ＝ｂi − func2(ｃi )    （０≦i ≦６３）                式（１１）
ここで、式（１１）は、上記特開２００２−１３５１３０の段落番号［０４２９］の式（１５）に示す処理に等しくなる。また、上記特開２００２−１３５１３０の段落番号［０４２９］の式（１５）におけるΔＱＦ[w] 、ＱＦnonzero-in[w] 、ＱＦnonzero-out[w] を本式では、ｄi 、ｂi 、ｃi に読み変えている。
【０２１３】
項目１．３：基本ストリーム生成方法
項目１．２において生成された基本量子化係数列Ｃの符号化方法は、ＭＰＥＧ−２において規定するランレングス符号化である。
【０２１４】
項目１．４：拡張階層の分離による拡張量子化係数列の生成方法
拡張階層Ｅを式（１２）と定義し、拡張量子化係数列Ｆn （０≦ｎ≦Ｎ−１）の生成処理を以下に示す。
【０２１５】
Ｅ＝｛ｅ0 ，ｅ1 ，ｅ2 ...，ｅs-1 ，...｝（０≦ｓ≦Ｓ−１）    式（１２）
拡張階層Ｅ内の係数は式（１３）に示すように順にＮ個のＦn （０≦ｎ≦Ｎ−１）に割り振られる。
【０２１６】
【数６】
2005167962.tif 000008
【０２１７】
項目１．５：拡張ストリームの生成方法
ａ．予測誤差係数列の符号化方法
項目１．２において生成された予測誤差係数列Ｄは、スキャンされ非零係数のみの１次元係数列となり、可変長符号化され拡張ストリームＥ(０)となる。
【０２１８】
ｂ．拡張量子化係数列の符号化方法
項目１．４において生成された拡張量子化係数列Ｆn （０≦ｎ≦Ｎ−１）はそれぞれスキャンされランレングス表現化された後、ＣＢＰ（coded block pattern）とＭＰＥＧ−２準拠のＶＬＣテーブルを用いて符号化され、拡張ストリームＥ(ｍ)（１≦ｍ≦Ｍ−１）となる。このとき、拡張ストリーム番号ｍが各拡張ストリームにおけるスライス層のユーザデータに入る。また、拡張ストリーム番号ｍと拡張量子化係数列Ｆnのインデックス番号ｎとの関係は、ｍ＝ｎ＋１である。
【０２１９】
符号化の手順を以下に示す。
１．連続する０の個数（run） と係数の値（level） のペア（run ,level）の並びで表現する。
２．（run ,level）系列の先頭から順番に（run ,level）イベントを可変長符号化する。
３．系列末尾のＥＯＢに到達したら、ＥＯＢを符号化する。
【０２２０】
次に、合成器３０１０の合成部(merge) ３３００について、説明する。
【０２２１】
合成部(merge) ３３００の一実施形態である合成部(merge) ３３００ａのブロック図を、図１５に示し、以下の項目ごとに合成の処理手順を示す。また、ブロック内係数合成原理図を、図１６に示す。
項目２．１：基本ストリームの復号
・基本量子化係数列の復号
項目２．２：拡張ストリームの復号
ａ．予測誤差係数列の復号
ｂ．拡張量子化係数列の復号
項目２．３：基本量子化係数列と予測誤差係数列の合成による基本階層の生成方法
項目２．４：拡張量子化係数列の合成による拡張階層の生成方法
項目２．５：基本階層と拡張階層の合成による合成ストリーム生成方法
に、ついてそれぞれ説明する。
【０２２２】
項目２．１：基本ストリームの復号
基本ストリームＢの復号方法は、ＭＰＥＧ−２において規定された方法を用いる。基本ストリームは、可変長復号され（run ,level）表現まで復号される。復号されたrun の値からブロック内の信号をジグザグスキャンした際の順番を算出し、その値にlevel の値を挿入し、１次元の基本量子化係数列Ｃ* を生成する。
【０２２３】
項目２．２：拡張ストリームの復号
ａ．予測誤差係数列の復号
拡張ストリームＥ(０)は、可変長復号され予測誤差係数列Ｄ* となる。予測誤差係数列Ｄ* より構成される拡張ストリームＥ(０)の復号方法は、上記特開２００２−１３５１３０に記載の方法と同様である。
【０２２４】
ｂ．拡張量子化係数列の復号
拡張ストリームＥ(ｍ)（１≦ｍ≦Ｍ’−１）は、ＣＢＰ（coded block pattern）とＭＰＥＧ−２準拠のＶＬＣテーブルを用いて可変長復号され（run ,level）ペアで表現される。復号されたrun の値からジグザグスキャンした際の順番を算出し、ブロック内の基本階層が挿入されていない位置に順番にlevel の値を挿入し、１次元の拡張量子化係数Ｆ*n（０≦ｎ≦Ｎ’−１）を生成する。
【０２２５】
項目２．３：基本量子化係数列と予測誤差係数列の合成による基本階層の生成方法
基本量子化係数列Ｃ* と予測誤差係数列Ｄ* が合成され、基本階層Ｂ* を生成する。以下に、基本階層Ｂ* の生成方法を示す。
【０２２６】
Ｂ* を式（１４）と定義する。
【０２２７】
Ｂ* ＝｛ｂ*0，ｂ*1・・・，ｂ*i・・・｝    （０≦ i ≦６３）            式（１４）
基本量子化係数列Ｃ* と、予測誤差係数列Ｄ* を式（１５）と定義する。
【０２２８】
【数７】
2005167962.tif 000009
【０２２９】
式（１４）、式（１５）より、式（１６）に示すように、基本階層係数ｂ*i* は、基本量子化係数ｃ*iに関数func3を施した値に予測誤差係数ｄ*iが付加され、生成される。
【０２３０】
ｂ*i＝ func3(ｃ*i)＋ｄ*i                                式（１６）
ここで、式（１６）は、上記特開２００２−１３５１３０の段落番号［０４５５］の式（１６）に示す処理と等しくなる。また、上記特開２００２−１３５１３０の段落番号［０４５５］の式（１６）におけるΔＱＦ[w] 、ＱＦnonzero-rec 、ＱＦnonzero-outを本式では、ｄ*i、ｂ*i、ｃ*iに読み変えている。
【０２３１】
項目２．４：拡張量子化係数列の合成による拡張階層の生成方法
スライス層におけるユーザデータ（図１１）で規定された拡張ストリーム番号ｍから拡張量子化係数列のインデックス番号ｎを求め、ｎを用いて拡張量子化係数列Ｆ*nの合成を行い拡張階層Ｅ* を生成する。ここで、ｍ＝ｎ＋１である。
【０２３２】
以下に、拡張階層Ｅ* の生成方法を示す。式（１７）のように拡張階層Ｅ* を定義する。
【０２３３】
Ｅ* ＝｛ｅ* 0 ，ｅ* 1 ，ｅ* 2 ・・・，ｅ* s ・・・｝（０≦ｓ≦Ｓ−１）  式（１７）
また、拡張階層量子化係数列Ｆ*n（０≦ｎ≦Ｎ’−１）を式（１８）に定義する。
【０２３４】
【数８】
2005167962.tif 000010
【０２３５】
拡張量子化係数列にそれぞれ付けられているインデックス番号ｎを用いて式（１９）に示すように合成を行い、拡張階層Ｅ* が生成される。
【０２３６】
Ｅ* ＝｛ｆ*0(0)，ｆ*1(0)...，ｆ*n(0)...，ｆ* N'-1(0)，ｆ*0(1)，ｆ*1(1)...，ｆ*n(1)...，ｆ* N'-1(1)...，ｆ*0(j)，ｆ*1(j)...，ｆ*n(j)...，ｆ* N'-1(j)...｝  （ｊ＝０，１，２・・・）        式（１９）
項目２．５：基本階層と拡張階層の合成による合成ストリーム生成方法
生成された基本階層Ｂ* の係数をインデックス番号iに従いブロック内の対応する位置へ係数の値を挿入する。次に、ブロック内で基本階層が挿入されなかったインデックス番号に拡張階層Ｅ* の係数を順番に挿入し、合成量子化係数列Ｘ* を生成する。以下に、合成量子化係数列Ｘ* の生成方法を示す。
【０２３７】
合成量子化係数列を式（２０）と定義する。
【０２３８】
Ｘ* ＝｛ｘ*0，ｘ*1，ｘ*2・・・，ｘ*i・・・｝    (0 ≦  i  ≦ 63)      式（２０）
まず、基本階層Ｂ* の係数を合成量子化係数列Ｘ* に挿入すると式（２１）のようになる。
【０２３９】
ｘ*i＝ｂ*i                                                式（２１）
この時点で、基本階層の係数が挿入されなかった合成量子化係数列Ｘ* 内の信号ｘ*iの値は０とする。そこで、基本階層の係数が挿入されなかったｘ*iのみを抽出し、順にインデックス番号ｋを付けると、式（２２）が成立する。
【０２４０】
ｘ*k＝０                                                式（２２）
最後に、式（２３）に示すように、ｘ*kに項目２．４で復元した式（１７）に示す拡張階層Ｅ* の係数を順に挿入することで、合成量子化係数列Ｘ* が生成される。
【０２４１】
ｘ*k＝ｅ*k                                                式（２３）
さらに、ストリーム損失時における耐性について、説明する。
【０２４２】
ブロック内係数合成において拡張ストリームＥ(ｍ)のいすれかを損失した場合、例えば、上記ブロック内係数合成において拡張ストリームＥ(３)を損失した場合の合成の動作を、図１７に示す。
【０２４３】
図１７に示すように、１ストリーム損失時において合成されたブロック内の係数の個数は減少しているもののデータ構造は維持され、再生可能となる。
【０２４４】
（第２の実施の形態）
次に、分離器１０１０内の分離部１１００での処理において、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化し、基本ストリームＢを生成することで、分離ストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）のレートをほぼ等しくする場合の処理について、説明する。本実施の形態においては、拡張ストリーム番号ｍと拡張量子化係数列インデックス番号ｎの関係は、ｍ＝ｎである。
【０２４５】
基本量子化係数列Ｃと、予測誤差係数列Ｄと、を多重化して基本ストリームＢを生成する分離部を、図１８に示す。
【０２４６】
図１８に示すように、分離部１１００ｂは、上記実施の形態で説明した分離部１１００ａと同様の構成（図１３参照）をしており、さらに、基本量子化係数多重化器１２４０を備えている。
【０２４７】
基本量子化係数多重化器１２４０は、ＶＬＣ基本１２１０から出力された基本量子化係数列Ｃと、ＶＬＣ予測誤差１２２０から出力された予測誤差係数列Ｄと、を入力し、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化して、基本ストリームＢを生成し、出力するものである。
【０２４８】
このような構成により、分離部１１００ｂによって、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化し、基本ストリームＢを生成することができる。
【０２４９】
また、このような基本量子化係数列Ｃと予測誤差係数列Ｄとを多重化した基本ストリームＢを生成する分離部１１００ｂに対する、合成器３０１０の合成部３３００を、図１９に示す。
【０２５０】
図１９に示すように、合成部３３００ｂは、上記実施の形態で説明した合成部３３００ａと同様の構成（図１５参照）をしており、さらに、基本量子化係数分離器３４３０を備えている。
【０２５１】
基本量子化係数分離器３４３０は、入力した基本ストリームＢを、基本量子化係数列Ｃと、予測誤差係数列Ｄと、に分離し、それぞれＶＬＤ基本３３１０と、ＶＬＤ予測誤差３３２０と、に出力するものである。
【０２５２】
このような構成により、合成部３３００ｂによって、基本ストリームＢから、基本量子化係数列Ｃと、予測誤差係数列Ｄと、を分離することができる。
【０２５３】
（第３の実施の形態）
次に、分離ストリームＳｔ(ｌ)のレートがほぼ均等であることを利用して、ルータ２０００の伝送路選択器２０１０での選択方法として、目標レートＲtargetに応じて合成ストリームの出力総レートRate［Ｓｔout］がＲtarget以下になる任意の伝送路スイッチをオンにすることで、目標レートのストリームを再生を可能にする場合について、説明する。
【０２５４】
分離器１０１０の処理において、拡張ストリームＥ(ｍ)のレートRate［Ｅ(ｍ)］は、ほぼ均等であり、Rate［Ｅ(ｍ)］≒ｑとする。ここで、Rate［Ａ］は、Ａのレートを示す。このとき、基本ストリームＢのレートは拡張ストリームＥ(ｍ)のレートに比べ十分に少ないとすると、分離ストリームＳｔ(ｌ)のレートもほぼ等しくなり、Rate［Ｓｔ(ｌ)］≒ｑとなる。目標レートＲtargetがＲtarget＝４ｑのとき、任意の４つの分離ストリームＳｔ(ｌ)を選択する（例えば、図６に示すように選択する）ことで、出力ストリームのRate［Ｓｔout］はRate［Ｓｔout］≦４ｑとなり、目標のレートのストリームの再生が可能となる。
【０２５５】
（第４の実施の形態）
次に、分離器１０１０の多重化部１６００で、拡張ストリームＥ(ｍ)を多重化することで、レートの異なる分離ストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）を生成する場合について、説明する。
【０２５６】
多重化部１６００で拡張ストリームＥ(ｍ)を多重化することにより、分離部１１００より出力される拡張ストリーム数Ｍを変更することなく、伝送路の数に応じたＬ本の分離ストリームが生成可能となり、分離ストリームＳｔ(ｌ)のレートの違いを利用して、選択可能なレートの種類がストリームの数よりも多くなる。
【０２５７】
本実施の形態における分離器のブロック図を、図２０、図２１に示す。
【０２５８】
図２０、図２１に示すように、分離器１０１１の多重化器１６０１内で、拡張ストリームＥ(ｍ)を多重化することで、分離ストリームＳｔ(ｌ)をすべて異なるレートにすることができる。このとき、拡張ストリームＥ(ｍ)をＧl 本多重化し、分離ストリームＳｔ(ｌ)を生成するが、本実施の形態では、多重化パラメータＧl がＧl ＝ｌ＋１となる合成を行う。分離ストリームＳｔ(ｌ)のレートは、多重化された拡張ストリームの合計レートにほぼ等しくなり、多重化パラメータＧl によって決まる。
【０２５９】
上記のようにレートの異なる分離ストリームＳｔ(ｌ)が生成された場合について、伝送路選択器の伝送路選択の具体例を、図２２に示し説明する。
【０２６０】
図２２に示すように、分離器１０１０内の多重化部１６００において、Ｇl ＝ｌ＋１となる拡張ストリームの多重化が行われ、基本ストリームの多重化が方式（１）、方式（２）のいずれかの方式を用いて行われ、分離ストリームＳｔ(０)、Ｓｔ(１)、Ｓｔ(２)が生成された。このとき、Ｌ＝３であり、分離ストリームＳｔ(ｌ)のレートが、それぞれRate［Ｓｔ(０)］≒ｑ、Rate［Ｓｔ(１)］≒２ｑ、Rate［Ｓｔ(２)］≒３ｑとなるように生成されたとする。図２２では、目標レートがＲtarget＝４ｑのとき、分離ストリームＳｔ(０)、Ｓｔ(２)の伝送路スイッチをオン、Ｓｔ(１)の伝送路スイッチをオフにすることで、Rate［Ｓｔ(ｏｕｔ)］≦４ｑを実現している。
【０２６１】
ここで、上記伝送路選択例以外のＬ＝３、Ｇl ＝ｌ＋１での出力レートと伝送路選択（スイッチの切り換え）の動作を、図２３に示す。図２３に示すように、本実施の形態では、３本のストリームから６種類のレートが実現可能であり、選択可能なレートの数がストリームの数より多くなる。
【０２６２】
本実施の形態における合成器３０１０のブロック図を、基本ストリームの多重化方式（１）の場合の合成器を図２４に示し、方式（２）の場合の合成器を図２５に示す。
【０２６３】
（第５の実施の形態）
次に、拡張ストリームＥ(ｍ)の多重化パラメータＧl をＧl ＝２l となる合成を行い、分離ストリームＳｔ(ｌ)を生成する場合について、説明する。
【０２６４】
本実施の形態における分離器のブロック図を、図２６、図２７に示す。
【０２６５】
図２６、図２７に示すように、分離器１０１５の多重化器１６０５内で、拡張ストリームＥ(ｍ)を多重化することで、分離ストリームＳｔ(ｌ)をすべて異なるレートにすることができる。このとき、拡張ストリームＥ(ｍ)をＧl 本多重化し、分離ストリームＳｔ(ｌ)を生成するが、本実施の形態では、多重化パラメータＧl がＧl ＝２l となる合成を行う。
【０２６６】
上記のようにレートの異なる分離ストリームＳｔ(１)が生成された場合について、伝送路選択器の伝送路選択の具体例を、図２８に示し説明する。
【０２６７】
図２８に示すように、分離器１０１０内の多重化部１６００において、Ｇl ＝２l となる拡張ストリームの多重化が行われ、基本ストリームの多重化が方式（１）、方式（２）のいずれかの方式を用いて行われ、分離ストリームＳｔ(０)、Ｓｔ(１)、Ｓｔ(２)が生成された。このとき、Ｌ＝３であり、分離ストリームＳｔ(ｌ)のレートが、それぞれRate［Ｓｔ(０)］≒ｑ、Rate［Ｓｔ(１)］≒２ｑ、Rate［Ｓｔ(２)］≒４ｑとなるように生成されたとする。図２８では、目標レートがＲtarget＝４ｑのとき、分離ストリームＳｔ(２)の伝送路スイッチをオン、Ｓｔ(０) 、Ｓｔ(１)の伝送路スイッチをオフにすることで、Rate［Ｓｔ(ｏｕｔ)］≦４ｑを実現している。
【０２６８】
ここで、上記伝送路選択例以外のＬ＝３、Ｇl ＝２l での出力レートと伝送路選択（スイッチの切り換え）の動作を、図２９に示す。図２９に示すように、本実施の形態では、３本のストリームから７種類のレートが実現可能であり、選択可能なレートの数がストリームの数より多くなる。
【０２６９】
本実施の形態における合成器３０１０のブロック図を、基本ストリームの多重化方式（１）の場合を、合成器３０１５として図３０に示し、方式（２）の場合を、合成器３０１６としてを図３１に示す。
【０２７０】
上記（方式１）のように、基本符号化信号と、拡張符号化信号と、をそれぞれ別々の伝送符号化信号として送信、すなわち、基本符号化信号を単独で送信する場合、この基本符号化信号は従来のトランスコードされた符号化信号と同一のもとなり、受信側では通常の受信装置で基本符号化信号を従来通り受信でき、圧縮された符号量の小さな符号化信号を受信することができる。
【０２７１】
また、（方式２）のように、基本符号化信号を、それぞれ拡張符号化信号と多重化して伝送符号化信号として送信する場合は、どの伝送符号化信号からでも基本符号化信号を得ることができ、通信エラーが発生しても、１つの伝送符号化信号から基本符号化信号を得ることができ、安全確実に再生映像を得ることができる。
【０２７２】
（第６の実施の形態）
さらに、量子化パラメータ復元情報を拡張符号化信号Ｅ（ｍ）内に符号化する符号化信号分離合成システムについて、詳しく説明する。
【０２７３】
本実施の形態の符号化信号分離合成システムにおいては、再量子化特性に基づいて適正な再量子化パラメータを算出する再量子化パラメータ導出定数を生成して、この再量子化パラメータ導出定数と、入力量子化パラメータと、により最適な再量子化パラメータを算出する。ここで用いた再量子化パラメータ導出定数の情報を、上記量子化パラメータ復元情報として拡張符号化信号Ｅ（ｍ）内に符号化しておくことにより、基本符号化信号Ｂと拡張符号化信号Ｅ（ｍ）とから入力量子化パラメータを復元する。
【０２７４】
また、本実施の形態では、拡張階層係数値の分離方法を規定した拡張階層分離パターン情報を用いて、拡張階層の係数値を複数の拡張階層係数列に分離することとする。
【０２７５】
まず、再量子化パラメータ導出定数について説明する。入力された係数値を再量子化（トランスコード）すると、再量子化された係数値は、必ずしも再量子化パラメータの値によった一定の割合の係数値とはならない。そこで、再量子化後の係数値が効率的に量子化されるように、再量子化パラメータの値を制限する。
【０２７６】
ここで、入力量子化パラメータをＭＱ１、計算上求められた再量子化パラメータをＭＱ’２とし、ＭＱ１とＭＱ’２とを用いて、以下の式（２４）、式（２５）より、整数値ｈを算出する。
・イントラ
【０２７７】
【数９】
2005167962.tif 000011
【０２７８】
・インター
【０２７９】
【数１０】
2005167962.tif 000012
【０２８０】
上記ｈと入力量子化パラメータＭＱ１を用いて、以下の式（２６）、式（２７）より、再量子化パラメータＭＱ２を算出する。
・イントラ
【０２８１】
【数１１】
2005167962.tif 000013
【０２８２】
・インター
ＭＱ２  ＝  （ｈ＋１）×ＭＱ１                ・・・式（２７）
ここで、上記式（２６）、式（２７）は、整数演算であるから得られる再量子化パラメータＭＱ２は特定の値に制限されることになる。このｈを再量子化パラメータ導出定数と定義する。
【０２８３】
以下、再量子化パラメータ導出定数ｈを用いて、基本階層と拡張階層とを分離し、各係数列を符号化する符号化信号分離合成システムについて説明する。
【０２８４】
図３８に、再量子化パラメータ導出定数ｈを用いて符号化処理を行う分離器の分離部を示し、説明する。
【０２８５】
図３８に示すように、分離部１１００ｃは、係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０、基本拡張階層分離器１１３０ｃ、基本量子化係数変換器１１４０ｃ、拡張量子化係数分離器１１５０ｃ、基本再スキャン器１１６０、予測誤差再スキャン器１１７０、拡張再スキャン器１１８１、１１８２・・・、１１８３、基本可変長符号化器（ＶＬＣ基本）１２１０、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃ、拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃおよび係数情報多重化部１２７０ａを備えている。
【０２８６】
基本拡張階層分離器１１３０ｃは、上記再量子化パラメータ導出定数ｈを算出し、この再量子化パラメータ導出定数ｈ用いて、ランレベル係数変換器１１２０に変換された量子化係数列Ｘを、基本階層の係数列Ｂと、拡張階層の係数列Ｅと、に分離するものである。ここでは、再量子化パラメータ導出定数ｈより大きい係数が、基本階層係数値となり、再量子化パラメータ導出定数ｈ以下の係数が、拡張階層係数値となる。
【０２８７】
基本量子化係数変換器１１４０ｃは、基本拡張階層分離器１１３０ｃによって分離された基本階層係数列Ｂを入力するとともに、再量子化パラメータ導出定数ｈを入力し、この再量子化パラメータ導出定数ｈと、入力量子化パラメータＭＱ１と、により再量子化パラメータＭＱ２を算出し、入力した基本階層係数列Ｂを算出した再量子化パラメータＭＱ２を使用して再量子化を行い、基本量子化係数列Ｃと、前記基本階層係数列Ｂと前記基本量子化係数列Ｃとの差分情報である余り係数列（予測誤差係数列）Ｄと、に変換するものである。
【０２８８】
拡張量子化係数分離器１１５０ｃは、基本拡張階層分離器１１３０ｃによって分離された拡張階層係数列Ｅを入力し、拡張階層の分離方法を規定した拡張階層分離パターン情報にしたがって複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離するものである。
【０２８９】
ここで、前記拡張階層分離パターン情報は、内部にあらかじめ用意したものでも、外部から入力したものでも良い。また、拡張階層分離パターン情報としては、例えば、「拡張階層係数列Ｅを４つに分離、係数値の初めから順に１つずつ順番に割り振る」といった情報である。
【０２９０】
予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃは、基本拡張階層分離器１１３０ｃから再量子化パラメータ導出定数ｈを入力し、再スキャン器１１７０に再スキャンされた余り係数列（予測誤差係数列）Ｄを、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、余り係数（予測誤差係数）符号化信号を生成し、拡張符号化信号Ｅ（０）として出力するものである。
【０２９１】
またこのとき、拡張符号化信号Ｅ（０）には、量子化パラメータ復元情報も合わせて符号化するものである。量子化パラメータ復元情報としては、上記再量子化パラメータ導出定数ｈの情報を符号化する。具体的には、再量子化パラメータ導出定数ｈを、マクロブロック層におけるマクロブロック属性情報に追加する。図３９に、マクロブロック層におけるマクロブロック属性情報の内容を示す。
【０２９２】
また、量子化パラメータ復元情報は、上記のように再量子化パラメータ導出定数ｈそのものでも良いが、再量子化パラメータ導出定数ｈのマクロブロック間の差分値を量子化パラメータ復元情報とすることにより、符号量をさらに小さくすることができる。
【０２９３】
拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃは、基本拡張階層分離器１１３０ｃから再量子化パラメータ導出定数ｈを入力し、再スキャン器１１８１、１１８２・・・、１１８３にそれぞれ再スキャンされた拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1を、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルによりそれぞれ可変長符号化して、拡張符号化信号Ｅ（１）、Ｅ（２）・・・、Ｅ（Ｍ−１）を生成し、出力するものである。
【０２９４】
ここで、再量子化パラメータ導出定数ｈにしたがって独自の可変長符号語を用いる場合における係数値（レベル値）の符号化テーブルを、図４０に示す。同図に示す符号化テーブルは、再量子化パラメータ導出定数ｈが“６”のときの係数値の符号語を示すテーブルである。また、ランの符号化テーブルにおいても同様に、ランの発生確率にしたがって符号語を設定することにより、効率的な符号化を行うことができる。ランの符号化テーブルとしては、例えば、上記特開２００２−１３５１３０の図２１等に記載したものを用いることができる。
【０２９５】
またこのとき、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃと同様に、拡張符号化信号Ｅ（１）、Ｅ（２）・・・、Ｅ（Ｍ−１）には、量子化パラメータ復元情報も合わせて符号化する。量子化パラメータ復元情報の内容も、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃと同様である。
【０２９６】
また、分離部１１００ｃの係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０、基本再スキャン器１１６０、予測誤差再スキャン器１１７０、拡張再スキャン器１１８１、１１８２・・・、１１８３、基本可変長符号化器（ＶＬＣ基本）１２１０および係数情報多重化部１２７０ａについては、上記分離部１１００ａの同一の符号を付したものと同様のものである。
【０２９７】
以上の構成により、分離部１１００ｃでは、符号化ストリーム（１次符号化信号）が入力されると、係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０を経て変換された量子化係数列Ｘが、基本拡張階層分離器１１３０ｃに入力される。基本拡張階層分離器１１３０ｃでは、上記再量子化パラメータ導出定数ｈを算出し、この再量子化パラメータ導出定数ｈ用いて、入力した量子化係数列Ｘを、基本階層の係数列Ｂと、拡張階層の係数列Ｅと、に分離する。
【０２９８】
基本拡張階層分離器１１３０ｃに分離された基本階層係数列Ｂは、基本量子化係数変換器１１４０ｃに入力され、基本量子化係数変換器１１４０ｃでは、入力された基本階層係数列Ｂを、上記再量子化パラメータ導出定数ｈにより算出された再量子化パラメータＭＱ２を使用して再量子化を行い、基本量子化係数列Ｃと、余り係数列（予測誤差係数列）Ｄと、に変換する。
【０２９９】
基本量子化係数変換器１１４０ｃに変換された基本量子化係数列Ｃは、基本再スキャン器１１６０、基本可変長符号化器（ＶＬＣ基本）１２１０、係数情報多重化部１２７０ａを経て、基本符号化信号Ｂに変換され、出力される。
【０３００】
また、基本量子化係数変換器１１４０ｃに変換された余り係数列（予測誤差係数列）Ｄは、予測誤差再スキャン器１１７０を経て、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃに入力される。予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃでは、基本拡張階層分離器１１３０ｃから再量子化パラメータ導出定数ｈを入力し、余り係数列（予測誤差係数列）Ｄを、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、余り係数（予測誤差係数）符号化信号を生成し、拡張符号化信号Ｅ（０）として出力する。
【０３０１】
一方、基本拡張階層分離器１１３０ｃに分離された拡張階層係数列Ｅは、拡張量子化係数分離器１１５０ｃに入力され、拡張量子化係数分離器１１５０ｃでは、入力された拡張階層係数列Ｅを、上記拡張階層分離パターン情報にしたがって複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離する。
【０３０２】
拡張量子化係数分離器１１５０ｃに分離された複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1は、それぞれ拡張再スキャン器１１８１、１１８２・・・、１１８３を経て、拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃに入力される。拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃでは、それぞれ基本拡張階層分離器１１３０ｃから再量子化パラメータ導出定数ｈを入力し、拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1を、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、拡張符号化信号Ｅ（１）、Ｅ（２）・・・、Ｅ（Ｍ−１）を生成し、出力する。
【０３０３】
次に、図４１に、再量子化パラメータ導出定数ｈを用いた復号処理を行う合成器の合成部を示し、説明する。
【０３０４】
図４１に示すように、合成部３３００ｃは、係数情報分離部３４５０ａ、基本可変長復号器（ＶＬＤ基本）３３１０、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｃ、拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｃ、（ＶＬＤ・Ｅ（１））３３３２ｃ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｃ、基本係数変換器３３４０、予測誤差係数変換器３３５０、拡張係数変換器３３６１、３３６２・・・、３３６３、基本量子化係数合成器３３７０ｃ、拡張量子化係数合成器３３８０ｃ、基本拡張階層合成器３３９０、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０および係数情報多重化部３４６０を備えている。
【０３０５】
予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｃは、拡張符号化信号Ｅ*（０）を入力し、この拡張符号化信号Ｅ*（０）内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、余り係数（予測誤差係数）符号化信号を可変長復号して、余り係数（予測誤差係数）情報（ランレベル情報）を出力するものである。
【０３０６】
ここで、再量子化パラメータ導出定数ｈにしたがった符号化テーブルとは、上記分離器の分離部１１００ｃの予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃで用いた符号化テーブルと同一のものである。
【０３０７】
拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｃ、（ＶＬＤ・Ｅ（１））３３３２ｃ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｃは、それぞれ拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）を入力し、この各拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）を可変長復号して、それぞれ拡張量子化係数情報（ランレベル情報）を出力するものである。
【０３０８】
また、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルについても、上記分離器の分離部１１００ｃの拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃで用いた符号化テーブルと同一のものである。
【０３０９】
基本量子化係数合成器３３７０ｃは、基本係数変換器３３４０に変換された基本量子化係数列Ｃ*と、予測誤差係数変換器３３５０に変換された予測誤差係数列Ｄ*ととともに、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｃ、拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｃ、（ＶＬＤ・Ｅ（１））３３３２ｃ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｃのいずれかから再量子化パラメータ導出定数ｈを入力する。そして、再量子化パラメータＭＱ２と再量子化パラメータ導出定数ｈから入力量子化パラメータＭＱ１を復元する。さらに、復元した入力量子化パラメータＭＱ１と再量子化パラメータＭＱ２とを用いて、入力した基本量子化係数列Ｃ*と、予測誤差係数列Ｄ*とを合成し、基本階層係数列Ｂ*を生成するものである。
【０３１０】
拡張量子化係数合成器３３８０ｃは、拡張係数変換器３３６１、３３６２・・・、３３６３に変換された拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を入力するとともに、内部の、あるいは外部から拡張階層分離パターン情報を入力し、前記拡張階層分離パターン情報にしたがって前記拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を１つの拡張階層係数列Ｅ*に合成するものである。
【０３１１】
合成部３３００ｃの係数情報分離部３４５０ａ、基本可変長復号器（ＶＬＤ基本）３３１０、基本係数変換器３３４０、予測誤差係数変換器３３５０、拡張係数変換器３３６１、３３６２・・・、３３６３、基本拡張階層合成器３３９０、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０および係数情報多重化部３４６０については、上記合成部３３００ａの同一の符号を付したものと同様のものである。
【０３１２】
以上の構成により、合成部３３００ｃでは、基本符号化信号Ｂ*が入力されると、係数情報分離部３４５０ａ、基本可変長復号器（ＶＬＤ基本）３３１０、基本係数変換器３３４０を経て変換された基本量子化係数列Ｃ*が、基本量子化係数合成器３３７０に入力される。
【０３１３】
また、拡張符号化信号Ｅ*（０）が入力されると、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｃに入力され、この拡張符号化信号Ｅ*（０）内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、余り係数（予測誤差係数）情報（ランレベル情報）に可変長復号する。この復号された余り係数（予測誤差係数）情報は、予測誤差係数変換器３３５０で、予測誤差係数列Ｄ*に変換され、基本量子化係数合成器３３７０ｃに入力される。
【０３１４】
基本量子化係数合成器３３７０ｃでは、基本量子化係数列Ｃ*と予測誤差係数列Ｄ*とともに、再量子化パラメータ導出定数ｈを入力し、再量子化パラメータＭＱ２から入力量子化パラメータＭＱ１を算出する。さらに、入力量子化パラメータＭＱ１を用いて、入力した基本量子化係数列Ｃ*と予測誤差係数列Ｄ*とを合成し、基本階層係数列Ｂ*を生成して、基本拡張階層合成器３３９０に出力する。
【０３１５】
一方、拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）が入力されると、それぞれ拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｃ、（ＶＬＤ・Ｅ（１））３３３２ｃ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｃに入力され、各拡張符号化信号Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、拡張量子化係数情報（ランレベル情報）に可変長復号する。復号された各拡張符号化係数情報は、それぞれ拡張係数変換器３３６１、３３６２・・・、３３６３で拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N-1に変換され、拡張量子化係数合成器３３８０ｃに入力される。拡張量子化係数合成器３３８０ｃでは、入力された拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を、拡張階層分離パターン情報にしたがって１つの拡張階層係数列Ｅ*に合成し、基本拡張階層合成器３３９０に出力する。
【０３１６】
基本拡張階層合成器３３９０では、基本階層係数列Ｂ*と、拡張階層係数列Ｅ*と、を入力し、合成して、合成量子化係数列（３次量子化係数列）Ｘ*を生成する。合成量子化係数列（３次量子化係数列）Ｘ*は、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０、係数情報多重化部３４６０を経て、合成ストリーム（３次符号化信号）に変換され、出力される。
【０３１７】
以上説明したように、本実施の形態の符号化信号分離合成システムにおいては、量子化パラメータ復元情報を拡張符号化信号Ｅ（ｍ）内に符号化しておくことにより、基本符号化信号Ｂには入力量子化パラメータＭＱ１の情報を入れることなく、従来の圧縮された符号化信号（通常のＭＰＥＧ−２ビットストリーム）のままでも、合成器側で入力量子化パラメータＭＱ１を含む元の符号化ストリーム（１次符号化信号）を完全に復元することができるとともに、拡張符号化信号Ｅ（ｍ）の符号量も入力量子化パラメータＭＱ１そのものを符号化した場合に比べ小さな符号量とすることができる。
【０３１８】
（第７の実施の形態）
次に、量子化パラメータ復元情報を拡張符号化信号Ｅ（ｍ）内に符号化する符号化信号分離合成システムにおいて、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化し、基本ストリームＢを生成する場合の処理について、説明する。
【０３１９】
以下、再量子化パラメータ導出定数ｈを用いて、基本階層と拡張階層とを分離し、各係数列を符号化する符号化信号分離合成システムについて説明する。
【０３２０】
図４２に、再量子化パラメータ導出定数ｈを用いて符号化処理を行い、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化して基本ストリームＢを生成する分離器の分離部を示し、説明する。
【０３２１】
図４２に示すように、分離部１１００ｄは、係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０、基本拡張階層分離器１１３０ｄ、基本量子化係数変換器１１４０ｄ、拡張量子化係数分離器１１５０ｄ、基本再スキャン器１１６０、予測誤差再スキャン器１１７０、拡張再スキャン器１１８１、１１８２・・・、１１８３、基本可変長符号化器（ＶＬＣ基本）１２１０、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄ、拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｄ、（ＶＬＣ・Ｆ1）１２３２ｄ・・・、（ＶＬＣ・ＦN-1）１２３３ｄ、基本量子化係数多重化器１２４０および係数情報多重化部１２７０ｂを備えている。
【０３２２】
基本拡張階層分離器１１３０ｄは、上記再量子化パラメータ導出定数ｈを算出し、この再量子化パラメータ導出定数ｈ用いて、ランレベル係数変換器１１２０に変換された量子化係数列Ｘを、基本階層の係数列Ｂと、拡張階層の係数列Ｅと、に分離するものであり、上記分離部１１００ｃの基本拡張階層分離器１１３０ｃと同様のものである。
【０３２３】
基本量子化係数変換器１１４０ｄは、基本拡張階層分離器１１３０ｄによって分離された基本階層係数列Ｂを入力するとともに、再量子化パラメータ導出定数ｈを入力し、この再量子化パラメータ導出定数ｈと、入力量子化パラメータＭＱ１と、により再量子化パラメータＭＱ２を算出し、入力した基本階層係数列Ｂを算出した再量子化パラメータＭＱ２を使用して再量子化を行い、基本量子化係数列Ｃと、余り係数列（予測誤差係数列）Ｄと、に変換するものであり、上記分離部１１００ｃの基本量子化係数変換器１１４０ｃと同様のものである。
【０３２４】
拡張量子化係数分離器１１５０ｄは、基本拡張階層分離器１１３０ｄによって分離された拡張階層係数列Ｅを入力し、拡張階層の分離方法を規定した拡張階層分離パターン情報にしたがって複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離するものであり、上記分離部１１００ｃの拡張量子化係数分離器１１５０ｃと同様のものである。また、この拡張量子化係数分離器１１５０ｄで使用する拡張階層分離パターン情報についても、上記分離部１１００ｃの拡張量子化係数分離器１１５０ｃの説明時のものと同様のものであり、また、上記同様に内部にあらかじめ用意したものでも、外部から入力したものでも良い。
【０３２５】
予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄは、基本拡張階層分離器１１３０ｄから再量子化パラメータ導出定数ｈを入力し、再スキャン器１１７０に再スキャンされた余り係数列（予測誤差係数列）Ｄを、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、余り係数（予測誤差係数）符号化信号Ｄを生成するものである。
【０３２６】
またこのとき、余り係数（予測誤差係数）符号化信号Ｄには、量子化パラメータ復元情報も合わせて符号化するものであり、上記分離部１１００ｃの予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃと同様のものである。量子化パラメータ復元情報についても、上記分離部１１００ｃの予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｃの説明時のものと同様のものである。
【０３２７】
拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｄ、（ＶＬＣ・Ｆ1）１２３２ｄ・・・、（ＶＬＣ・ＦN-1）１２３３ｄは、再スキャン器１１８１、１１８２・・・、１１８３にそれぞれ再スキャンされた拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1を、再量子化パラメータ導出定数ｈにしたがった符号化テーブルによりそれぞれ可変長符号化して、拡張符号化信号Ｅ（０）、Ｅ（１）・・・、Ｅ（Ｍ−１）を生成し、出力するものである。再量子化パラメータ導出定数ｈは、基本拡張階層分離器１１３０ｄから入力しても、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄから入力するようにしても良い。
【０３２８】
ただし、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄとは異なり、拡張符号化信号Ｅ（０）、Ｅ（１）・・・、Ｅ（Ｍ−１）には、量子化パラメータ復元情報を符号化しない。これは、必ず受信される基本符号化信号Ｂに、量子化パラメータ復元情報を符号化した余り係数列（予測誤差係数列）Ｄが含まれるからであり、この余り係数列（予測誤差係数列）Ｄに符号化された量子化パラメータ復元情報を使用することができるからである。
【０３２９】
また、分離部１１００ｄの係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０、基本再スキャン器１１６０、予測誤差再スキャン器１１７０、拡張再スキャン器１１８１、１１８２・・・、１１８３、基本可変長符号化器（ＶＬＣ基本）１２１０、基本量子化係数多重化器１２４０および係数情報多重化部１２７０ｂについては、上記分離部１１００ｂの同一の符号を付したものと同様のものである。
【０３３０】
以上の構成により、分離部１１００ｄでは、符号化ストリーム（１次符号化信号）が入力されると、係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０を経て変換された量子化係数列Ｘが、基本拡張階層分離器１１３０ｄに入力される。基本拡張階層分離器１１３０ｄでは、上記再量子化パラメータ導出定数ｈを算出し、この再量子化パラメータ導出定数ｈ用いて、入力した量子化係数列Ｘを、基本階層の係数列Ｂと、拡張階層の係数列Ｅと、に分離する。
【０３３１】
基本拡張階層分離器１１３０ｄに分離された基本階層係数列Ｂは、基本量子化係数変換器１１４０ｄに入力され、基本量子化係数変換器１１４０ｄでは、入力された基本階層係数列Ｂを、上記再量子化パラメータ導出定数ｈにより算出された再量子化パラメータＭＱ２を使用して再量子化を行い、基本量子化係数列Ｃと、余り係数列（予測誤差係数列）Ｄと、に変換する。
【０３３２】
基本量子化係数変換器１１４０ｄに変換された基本量子化係数列Ｃは、基本再スキャン器１１６０、基本可変長符号化器（ＶＬＣ基本）１２１０を経て、基本量子化係数符号化信号に変換され、基本量子化係数多重化器１２４０に出力される。
【０３３３】
また、基本量子化係数変換器１１４０ｄに変換された余り係数列（予測誤差係数列）Ｄは、予測誤差再スキャン器１１７０を経て、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄに入力される。予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄでは、基本拡張階層分離器１１３０ｄから再量子化パラメータ導出定数ｈを入力し、余り係数列（予測誤差係数列）Ｄを、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、余り係数（予測誤差係数）符号化信号を生成し、基本量子化係数多重化器１２４０に出力する。
【０３３４】
続いて、基本量子化係数多重化器１２４０において、入力された基本量子化係数符号化信号と、余り係数（予測誤差係数）符号化信号と、が多重化され、係数情報多重化部１２７０ｂで基本符号化信号Ｂが生成され、出力される。
【０３３５】
一方、基本拡張階層分離器１１３０ｄに分離された拡張階層係数列Ｅは、拡張量子化係数分離器１１５０ｄに入力され、拡張量子化係数分離器１１５０ｄでは、入力された拡張階層係数列Ｅを、上記拡張階層分離パターン情報にしたがって複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離する。
【０３３６】
拡張量子化係数分離器１１５０ｄに分離された複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1は、それぞれ拡張再スキャン器１１８１、１１８２・・・、１１８３を経て、拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｄ、（ＶＬＣ・Ｆ1）１２３２ｄ・・・、（ＶＬＣ・ＦN-1）１２３３ｄに入力される。拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｄ、（ＶＬＣ・Ｆ1）１２３２ｄ・・・、（ＶＬＣ・ＦN-1）１２３３ｄでは、それぞれ拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1を、前記再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより可変長符号化して、拡張符号化信号Ｅ（０）、Ｅ（１）・・・、Ｅ（Ｍ−１）を生成し、出力する。
【０３３７】
次に、図４３に、基本符号化信号Ｂから基本量子化係数列Ｃと余り係数列（予測誤差係数列）Ｄとを分離し、再量子化パラメータ導出定数ｈを用いた復号処理を行う合成器の合成部を示し、説明する。
【０３３８】
図４３に示すように、合成部３３００ｄは、係数情報分離部３４５０ａ、基本量子化係数分離器３４３０、基本可変長復号器（ＶＬＤ基本）３３１０、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄ、拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｄ、（ＶＬＤ・Ｅ（１））３３３２ｄ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｄ、基本係数変換器３３４０、予測誤差係数変換器３３５０、拡張係数変換器３３６１、３３６２・・・、３３６３、基本量子化係数合成器３３７０ｄ、拡張量子化係数合成器３３８０ｄ、基本拡張階層合成器３３９０、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０および係数情報多重化部３４６０を備えている。
【０３３９】
予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄは、基本量子化係数分離器３４３０に分離された余り係数（予測誤差係数）符号化信号を入力し、この余り係数（予測誤差係数）符号化信号内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、余り係数（予測誤差係数）符号化信号を可変長復号して、余り係数（予測誤差係数）情報（ランレベル情報）を出力するものである。
【０３４０】
ここで、再量子化パラメータ導出定数ｈにしたがった符号化テーブルとは、上記分離器の分離部１１００ｄの予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０ｄで用いた符号化テーブルと同一のものである。
【０３４１】
拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｄ、（ＶＬＤ・Ｅ（１））３３３２ｄ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｄは、それぞれ拡張符号化信号Ｅ*（０）、Ｅ*（１）・・・、Ｅ*（Ｍ’−１）を入力するとともに、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄから再量子化パラメータ導出定数ｈを入力し、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、拡張符号化信号Ｅ*（０）、Ｅ*（１）・・・、Ｅ*（Ｍ’−１）を可変長復号して、それぞれ拡張量子化係数情報（ランレベル情報）を出力するものである。
【０３４２】
また、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルについても、上記分離器の分離部１１００ｄの拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１ｃ、（ＶＬＣ・Ｆ1）１２３２ｃ・・・、（ＶＬＣ・ＦN-1）１２３３ｃで用いた符号化テーブルと同一のものである。
【０３４３】
基本量子化係数合成器３３７０ｄは、基本係数変換器３３４０に変換された基本量子化係数列Ｃ*と、予測誤差係数変換器３３５０に変換された予測誤差係数列Ｄ*ととともに、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄから再量子化パラメータ導出定数ｈを入力する。そして、再量子化パラメータＭＱ２と再量子化パラメータ導出定数ｈから入力量子化パラメータＭＱ１を復元する。さらに、復元した入力量子化パラメータＭＱ１と再量子化パラメータＭＱ２とを用いて、入力した基本量子化係数列Ｃ*と、予測誤差係数列Ｄ*とを合成し、基本階層係数列Ｂ*を生成するものである。
【０３４４】
拡張量子化係数合成器３３８０ｄは、拡張係数変換器３３６１、３３６２・・・、３３６３に変換された拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を入力するとともに、拡張階層分離パターン情報にしたがって前記拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を１つの拡張階層係数列Ｅ*に合成するものであり、上記合成部３３００ｃの拡張量子化係数合成器３３８０ｃと同様のものである。また、拡張階層分離パターン情報についても、上記合成部３３００ｃの拡張量子化係数合成器３３８０ｃと同様に、内部に持っていても、外部から入力するものであっても構わない。
【０３４５】
合成部３３００ｄの係数情報分離部３４５０ａ、基本量子化係数分離器３４３０、基本可変長復号器（ＶＬＤ基本）３３１０、基本係数変換器３３４０、予測誤差係数変換器３３５０、拡張係数変換器３３６１、３３６２・・・、３３６３、基本拡張階層合成器３３９０、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０および係数情報多重化部３４６０については、上記合成部３３００ｂの同一の符号を付したものと同様のものである。
【０３４６】
以上の構成により、合成部３３００ｄでは、基本符号化信号Ｂ*が入力されると、係数情報分離部３４５０ａを経て、基本階層の係数情報が基本量子化係数分離器３４３０に入力され、基本量子化係数分離器３４３０で基本量子化係数符号化信号と、余り係数（予測誤差係数）符号化信号と、に分離される。
【０３４７】
基本量子化係数分離器３４３０で分離された基本量子化係数符号化信号は、基本可変長復号器（ＶＬＤ基本）３３１０、基本係数変換器３３４０を経て、基本量子化係数列Ｃ*に変換され、基本量子化係数合成器３３７０ｄに入力される。
【０３４８】
基本量子化係数分離器３４３０で分離された余り係数（予測誤差係数）符号化信号は、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄに入力され、この余り係数（予測誤差係数）符号化信号内の量子化パラメータ復元情報から再量子化パラメータ導出定数ｈを求め、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、余り係数（予測誤差係数）情報（ランレベル情報）に可変長復号する。この復号された余り係数（予測誤差係数）情報は、予測誤差係数変換器３３５０で、予測誤差係数列Ｄ*に変換され、基本量子化係数合成器３３７０ｄに入力される。
【０３４９】
基本量子化係数合成器３３７０ｄでは、基本量子化係数列Ｃ*と予測誤差係数列Ｄ*とともに、再量子化パラメータ導出定数ｈを入力し、再量子化パラメータＭＱ２から入力量子化パラメータＭＱ１を算出する。さらに、入力量子化パラメータＭＱ１を用いて、入力した基本量子化係数列Ｃ*と予測誤差係数列Ｄ*とを合成し、基本階層係数列Ｂ*を生成して、基本拡張階層合成器３３９０に出力する。
【０３５０】
一方、拡張符号化信号Ｅ*（０）、Ｅ*（１）・・・、Ｅ*（Ｍ’−１）が入力されると、それぞれ拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１ｄ、（ＶＬＤ・Ｅ（１））３３３２ｄ・・・、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３ｄに入力され、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０ｄから再量子化パラメータ導出定数ｈを入力し、この再量子化パラメータ導出定数ｈにしたがった符号化テーブルにより、拡張量子化係数情報（ランレベル情報）に可変長復号する。復号された各拡張符号化係数情報は、それぞれ拡張係数変換器３３６１、３３６２・・・、３３６３で拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N-1に変換され、拡張量子化係数合成器３３８０ｄに入力される。拡張量子化係数合成器３３８０ｄでは、入力された拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を、拡張階層分離パターン情報にしたがって１つの拡張階層係数列Ｅ*に合成し、基本拡張階層合成器３３９０に出力する。
【０３５１】
基本拡張階層合成器３３９０では、基本階層係数列Ｂ*と、拡張階層係数列Ｅ*と、を入力し、合成して、合成量子化係数列（３次量子化係数列）Ｘ*を生成する。合成量子化係数列（３次量子化係数列）Ｘ*は、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０、係数情報多重化部３４６０を経て、合成ストリーム（３次符号化信号）に変換され、出力される。
【０３５２】
以上説明したように、本実施の形態の符号化信号分離合成システムにおいては、量子化パラメータ復元情報を余り係数列（予測誤差係数列）Ｄとして扱い、基本符号化信号Ｂに多重化しておくことにより、拡張符号化信号Ｅ（ｍ）には一切量子化パラメータを復元するための情報を含めなくてよく、多数の拡張符号化信号Ｅ（ｍ）の符号量を抑えることができるとともに、基本符号化信号Ｂの受信のみで元の量子化パラメータＭＱ１を求めることができる。
【産業上の利用可能性】
【０３５３】
以上のように、本発明にかかる符号化信号分離合成システムは、映像のスケーラブル伝送を実現することができるという効果を有し、ストリーム伝送を行うサーバやトランスコーダ等として有用である。
【図面の簡単な説明】
【０３５４】
【図１】本発明の第１の実施の形態における符号化信号分離合成システムのブロック図である。
【図２】本発明のサーバの分離器を示すブロック図である。
【図３】方式１（ロバストネス伝送路あり）における分離器を示すブロック図である。
【図４】方式２（ロバストネス伝送路なし）における分離器を示すブロック図である。
【図５】本発明のルータの伝送路選択器を示すブロック図である。
【図６】ルータの伝送路選択器による伝送路選択例を示す図である。
【図７】本発明のレシーバの合成器を示すブロック図である。
【図８】方式１における合成器を示すブロック図である。
【図９】方式２における合成器を示すブロック図である。
【図１０】拡張ストリームのビットストリームフォーマットを示す図である。
【図１１】スライス層に定義するユーザデータの内容を示す図である。
【図１２】ＭＢ層に定義するＭＢ属性情報の内容を示す図である。
【図１３】分離器の分離部を示すブロック図である。
【図１４】ブロック内係数分離の原理を示す図である。
【図１５】合成器の合成部を示すブロック図である。
【図１６】ブロック内係数合成の原理を示す図である。
【図１７】ストリーム損失時におけるブロック内係数合成の原理を示す図である。
【図１８】基本量子化係数列Ｃと、予測誤差係数列Ｄと、を多重化して基本ストリームＢを生成する分離部を示すブロック図である。
【図１９】基本量子化係数列Ｃと、予測誤差係数列Ｄと、を多重化した基本ストリームＢを入力する合成部を示すブロック図である。
【図２０】多重化部で拡張ストリームを多重化する、方式１における分離器を示すブロック図である。
【図２１】多重化部で拡張ストリームを多重化する、方式２における分離器を示すブロック図である。
【図２２】レートの異なる分離ストリームを入力する伝送路選択器による伝送路選択例を示すブロック図である。
【図２３】伝送路選択器における伝送路選択（スイッチの切り換え）の動作を示す図である。
【図２４】多重化された拡張ストリームを分割する、方式１における合成器を示すブロック図である。
【図２５】多重化された拡張ストリームを分割する、方式２における合成器を示すブロック図である。
【図２６】多重化部で拡張ストリームを多重化する、方式１における分離器を示すブロック図である。
【図２７】多重化部で拡張ストリームを多重化する、方式２における分離器を示すブロック図である。
【図２８】レートの異なる分離ストリームを入力する伝送路選択器による伝送路選択例を示すブロック図である。
【図２９】伝送路選択器における伝送路選択（スイッチの切り換え）の動作を示す図である。
【図３０】多重化された拡張ストリームを分割する、方式１における合成器を示すブロック図である。
【図３１】多重化された拡張ストリームを分割する、方式２における合成器を示すブロック図である。
【図３２】従来のトランスコーダの概略ブロック図である。
【図３３】従来のトランスコーダにおける、ＭＰＥＧ−２のＴＭ５のレート制御処理示すフローチャートである。
【図３４】従来のトランスコーダの概略ブロック図である。
【図３５】従来のトランスコーダの処理を示すフローチャートである。
【図３６】従来のトランスコーダの概略ブロック図である。
【図３７】従来のトランスコーダの処理を示すフローチャートである。
【図３８】再量子化パラメータ導出定数ｈを用いて符号化処理を行う分離器の分離部を示すブロック図である。
【図３９】再量子化パラメータ導出定数ｈの情報を追加したＭＢ層に定義するＭＢ属性情報の内容を示す図である。
【図４０】再量子化パラメータ導出定数ｈにしたがって符号化テーブルを示す図である。
【図４１】再量子化パラメータ導出定数ｈを用いた復号処理を行う合成器の合成部を示すブロック図である。
【図４２】再量子化パラメータ導出定数ｈを用いて符号化処理を行い、予測誤差係数列Ｄを基本量子化係数列Ｃと多重化して基本ストリームＢを生成する分離器の分離部を示すブロック図である。
【図４３】基本符号化信号Ｂから基本量子化係数列Ｃと予測誤差係数列Ｄとを分離し、再量子化パラメータ導出定数ｈを用いた復号処理を行う合成器の合成部を示すブロック図である。
【符号の説明】
【０３５５】
５０  トランスコーダ
５１  ＶＬＤ（可変長復号手段）
５３  逆量子化器(逆量子化手段)
５５  量子化器（量子化手段）
５７  ＶＬＣ（可変長符号化手段）
５９  レート制御部
６０  トランスコーダ
６１  遅延回路
６３  ビットレート比率計算部
６５  入力符号量積算部
６７  差分符号量計算部
６９  目標出力符号量更新部
７１  量子化スケールコード算出部
８０  トランスコーダ
８１  ＶＬＤ
８３  目標出力符号量更新部
８５  量子化スケールコード算出部
６００  カメラ
７００  符号化器
８００  コンテンツ蓄積器
１０００  サーバ
１０１０、１０１０ａ、１０１０ｂ
１０１１、１０１５                分離器
１１００、１１００ａ、１１００ｂ
１１０１、１１０５                分離部(separate)
１１１０  ＶＬＤ
１１２０  ランレベル係数変換器
１１３０  基本、拡張階層分離器
１１４０  基本量子化係数変換器
１１５０  拡張量子化係数分離器
１１６０  再スキャン器
１１７０  再スキャン器
１１８１、１１８２、１１８３  再スキャン器
１２１０  ＶＬＣ基本
１２２０  ＶＬＣ予測誤差
１２３１  ＶＬＣ  Ｆ0
１２３２  ＶＬＣ  Ｆ1
１２３３  ＶＬＣ  ＦM-1
１２４０  基本量子化係数多重化器
１２６０  係数情報分離部
１２７０ａ、１２７０ｂ  係数情報多重化部
１６００、１６００ａ、１６００ｂ
１６０１、１６０５                多重化部(MUX)
２０００  ルータ
２０１０、２０１１  ２０１２  伝送路選択器
３０００、３０００ａ、３０００ｂ、３０００ｎ  レシーバ
３０１０、３０１０ａ、３０１０ｂ、３０１０ｎ
３０１１、３０１２、３０１５、３０１６        合成器
３０２０  合成制御器（merge controller）
３０３０、３０３０ａ、３０３０ｂ、３０３０ｎ  復号器
３１００、３１００ａ、３１００ｂ
３１０１、３１０２、３１０５、３１０６  多重分離部（DEMUX）
３２００、３２００ａ、３２００ｂ
３２０１、３２０２、３２０５、３２０６  基本ストリーム選択器（B-Selector）
３３００、３３００ａ、３３００ｂ
３３０１、３３０２、３３０５、３３０６  合成部（merge）
３３１０  ＶＬＤ基本
３３２０  ＶＬＤ予測誤差
３３３１  ＶＬＤ  Ｅ(０)
３３３２  ＶＬＤ  Ｅ(１)
３３３３  ＶＬＤ  Ｅ(Ｍ’−１)
３３４０  係数変換器
３３５０  係数変換器
３３６１、３３６２、３３６３  係数変換器
３３７０  基本量子化係数合成器
３３８０  拡張量子化係数合成器
３３９０  基本、拡張階層合成器
３４１０  ランレベル係数変換器
３４２０  ＶＬＣ
３４３０  基本量子化係数分離器
３４５０ａ、３４５０ｂ  係数情報分離部
３４６０  係数情報多重化部
１１００ｃ、１１００ｄ  分離部
１１３０ｃ、１１３０ｄ  基本拡張階層分離器
１１４０ｃ、１１４０ｄ  基本量子化係数変換器
１１５０ｃ、１１５０ｄ  拡張量子化係数分離器
１２２０ｃ、１２２０ｄ  予測誤差可変長符号化器（ＶＬＣ予測誤差）
１２３１ｃ、１２３１ｄ  拡張可変長符号化器（ＶＬＣ・Ｆ0）
１２３２ｃ、１２３２ｄ  拡張可変長符号化器（ＶＬＣ・Ｆ1）
１２３３ｃ、１２３３ｄ  拡張可変長符号化器（ＶＬＣ・ＦN-1）
３３００ｃ、３３００ｄ  合成部
３３２０ｃ、３３２０ｄ  予測誤差可変長復号器（ＶＬＤ予測誤差）
３３３１ｃ、３３３１ｄ  拡張可変長復号器（ＶＬＤ・Ｅ（０））
３３３２ｃ、３３３２ｄ  拡張可変長復号器（ＶＬＤ・Ｅ（１））
３３３３ｃ、３３３３ｄ  拡張可変長復号器（ＶＬＤ・Ｅ（Ｎ’−１））
３３７０ｃ、３３７０ｄ  基本量子化係数合成器
３３８０ｃ、３３８０ｄ  拡張量子化係数合成器
【図１】
2005167962.tif 000014
【図２】
2005167962.tif 000015
【図３】
2005167962.tif 000016
【図４】
2005167962.tif 000017
【図５】
2005167962.tif 000018
【図６】
2005167962.tif 000019
【図７】
2005167962.tif 000020
【図８】
2005167962.tif 000021
【図９】
2005167962.tif 000022
【図１０】
2005167962.tif 000023
【図１１】
2005167962.tif 000024
【図１２】
2005167962.tif 000025
【図１３】
2005167962.tif 000026
【図１４】
2005167962.tif 000027
【図１５】
2005167962.tif 000028
【図１６】
2005167962.tif 000029
【図１７】
2005167962.tif 000030
【図１８】
2005167962.tif 000031
【図１９】
2005167962.tif 000032
【図２０】
2005167962.tif 000033
【図２１】
2005167962.tif 000034
【図２２】
2005167962.tif 000035
【図２３】
2005167962.tif 000036
【図２４】
2005167962.tif 000037
【図２５】
2005167962.tif 000038
【図２６】
2005167962.tif 000039
【図２７】
2005167962.tif 000040
【図２８】
2005167962.tif 000041
【図２９】
2005167962.tif 000042
【図３０】
2005167962.tif 000043
【図３１】
2005167962.tif 000044
【図３２】
2005167962.tif 000045
【図３３】
2005167962.tif 000046
【図３４】
2005167962.tif 000047
【図３５】
2005167962.tif 000048
【図３６】
2005167962.tif 000049
【図３７】
2005167962.tif 000050
【図３８】
2005167962.tif 000051
【図３９】
2005167962.tif 000052
【図４０】
2005167962.tif 000053
【図４１】
2005167962.tif 000054
【図４２】
2005167962.tif 000055
【図４３】
2005167962.tif 000056