(57)【要約】  【課題】  ストリームの分割処理を簡単にして、映像のスケーラブル伝送を行うことができる符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムを提供する。  【解決手段】  符号化ストリームを、前記符号化ストリームより符号量が少ない基本符号化信号Ｂと、基本符号化信号Ｂとともに使用して画像を復元させる複数の拡張符号化信号Ｅ(ｍ)と、を係数位置により分離する分離部１１００と、前記基本符号化信号Ｂと、複数の前記拡張符号化信号Ｅ(ｍ)と、を任意に組み合わせて多重化し、複数の伝送符号化信号Ｓｔ(ｌ)を生成する多重化部１６００と、を備えることにより、独立した分離ストリームＳｔ(ｌ)を生成し、出力することにより、ネットワーク状態に応じた伝送路選択を行い、映像のスケーラブル伝送を実現することができる。【選択図】  図２
2005286863.tif 000002
【特許請求の範囲】
【請求項１】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力手段と、
前記分離器入力手段に入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離手段と、
前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化手段と、
前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、
を備え、
前記分離器分離手段が、
前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換手段と、
前記１次係数変換手段に変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離手段と、
前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成手段と、
前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項２】
請求項１に記載の符号化信号分離装置において、
前記基本符号化信号生成手段が、
前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換手段と、
前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化手段と、
前記余り係数列を余り係数符号化信号に符号化する余り係数符号化手段と、
前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項３】
請求項２に記載の符号化信号分離装置において、
前記基本量子化係数符号化手段が、
ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力手段と、
前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化手段と、
前記基本量子化係数列の各係数値のうち、前記ｎ種類の固有値以外の値を符号化する固有値外係数値符号化手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項４】
請求項３に記載の符号化信号分離装置において、
前記基本量子化係数符号化手段の配列パターン入力手段が、０と、１と、２以上の値と、の３種類の値による数列の配列パターンを符号化する配列パターン符号表を入力し、
前記係数値配列パターン符号化手段が、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化し、
前記固有値外係数値符号化手段が、前記基本量子化係数列の各係数値のうち、２以上の係数値を符号化することを特徴とする符号化信号分離装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の符号化信号分離装置において、
前記拡張符号化信号生成手段が、
前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離手段と、
複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項６】
請求項５に記載の符号化信号分離装置において、
前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、
前記拡張量子化係数分離手段が、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離装置。
【請求項７】
請求項５または請求項６に記載の符号化信号分離装置において、
前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、
前記拡張量子化係数分離手段が、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離装置。
【請求項８】
請求項５から請求項７のいずれか１項に記載の符号化信号分離装置において、
前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信手段と、
を備えたことを特徴とする符号化信号分離装置。
【請求項９】
複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力手段と、
前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離手段と、
前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、
前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、
を備え、
前記合成器合成手段が、
前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数列に変換する基本符号化信号変換手段と、
前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数列に変換する拡張符号化信号変換手段と、
前記基本符号化信号変換手段に変換された基本階層係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換手段に変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成手段と、
前記基本拡張階層合成手段に合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換手段と、
を備えたことを特徴とする符号化信号合成装置。
【請求項１０】
請求項９に記載の符号化信号合成装置において、
前記基本符号化信号変換手段が、
前記基本符号化信号を、前記基本階層係数列が対数変換により丸められた基本量子化係数符号化信号と、前記基本量子化係数算出時に丸められる余り係数符号化信号と、に多重分離する基本量子化係数多重分離手段と、
前記基本量子化係数符号化信号に係数変換を行い、基本量子化係数列に変換する基本量子化係数変換手段と、
前記余り係数符号化信号に係数変換を行い、余り係数列に変換する余り係数変換手段と、
前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成手段と、
を備えたことを特徴とする符号化信号合成装置。
【請求項１１】
請求項１０に記載の符号化信号合成装置において、
前記基本量子化係数変換手段が、
ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化した配列パターン符号表を入力する配列パターン入力手段と、
前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号手段と、
前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号手段と、
を備えたことを特徴とする符号化信号合成装置。
【請求項１２】
請求項９から請求項１１のいずれか１項に記載の符号化信号合成装置において、
前記拡張符号化信号変換手段が、
複数の前記拡張符号化信号をそれぞれ拡張量子化係数列に復号する拡張量子化係数復号手段と、
前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成手段と、
を備えたことを特徴とする符号化信号合成装置。
【請求項１３】
請求項１２に記載の符号化信号合成装置において、
前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、
前記拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とする符号化信号合成装置。
【請求項１４】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器と、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器と、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器と、
を備え、
前記分離器が、
前記１次符号化信号を入力する分離器入力手段と、
前記分離器入力手段に入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離手段と、
前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化手段と、
前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、
を備え、
前記合成器が、
前記複数の伝送符号化信号を入力する合成器入力手段と、
前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離手段と、
前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、
前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、
を備え、
さらに、前記分離器分離手段が、
前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換手段と、
前記１次係数変換手段に変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離手段と、
前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成手段と、
前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備え、
前記合成器合成手段が、
前記基本符号化信号から、前記基本階層係数列に変換する基本符号化信号変換手段と、
前記複数の拡張符号化信号から、前記拡張階層係数列に変換する拡張符号化信号変換手段と、
前記基本符号化信号変換手段に変換された基本階層係数列を、前記基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換手段に変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成手段と、
前記基本拡張階層合成手段に合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換手段と、
を備えたことを特徴とする符号化信号分離合成システム。
【請求項１５】
請求項１４に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の基本符号化信号生成手段が、
前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換手段と、
前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化手段と、
前記余り係数列を余り係数符号化信号に符号化する余り係数符号化手段と、
前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化手段と、
を備え、
前記合成器合成手段の基本符号化信号変換手段が、
前記基本符号化信号を、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、に多重分離する基本量子化係数多重分離手段と、
前記基本量子化係数符号化信号に係数変換を行い、前記基本量子化係数列に変換する基本量子化係数変換手段と、
前記余り係数符号化信号に係数変換を行い、前記余り係数列に変換する余り係数変換手段と、
前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成手段と、
を備えたことを特徴とする符号化信号分離合成システム。
【請求項１６】
請求項１５に記載の符号化信号分離合成システムにおいて、
前記分離器の基本量子化係数符号化手段が、
ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力手段と、
前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化手段と、
前記基本量子化係数列の各係数値のうち、前記ｎ種類の固有値以外の値を符号化する固有値外係数値符号化手段と、
を備え、
前記合成器の基本量子化係数変換手段が、
前記配列パターン符号表を入力する配列パターン入力手段と、
前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号手段と、
前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号手段と、
を備えたことを特徴とする符号化信号分離合成システム。
【請求項１７】
請求項１４から請求項１６のいずれか１項に記載の符号化信号分離合成システムにおいて、
前記分離器分離手段の拡張符号化信号生成手段が、
前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離手段と、
複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化手段と、
を備え、
前記合成器合成手段の拡張符号化信号変換手段が、
複数の前記拡張符号化信号をそれぞれ前記拡張量子化係数列に復号する拡張量子化係数復号手段と、
前記拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成手段と、
を備えたことを特徴とする符号化信号分離合成システム。
【請求項１８】
請求項１７に記載の符号化信号分離合成システムにおいて、
前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、
前記分離器の拡張量子化係数分離手段が、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離し、
前記合成器の拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とする符号化信号分離合成システム。
【請求項１９】
請求項１８に記載の符号化信号分離合成システムにおいて、
前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、
前記分離器の拡張量子化係数分離手段が、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離し、
前記合成器の拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記拡張階層分離パターン情報にしたがって前記拡張階層係数列に合成することを特徴とする符号化信号分離合成システム。
【請求項２０】
請求項１７から請求項１９のいずれか１項に記載の符号化信号分離合成システムにおいて、
前記分離器が、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信手段を備え、
前記合成器が、前記拡張階層分離パターン情報を受信する拡張階層分離パターン情報受信手段を備えたことを特徴とする符号化信号分離合成システム。
【請求項２１】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力ステップと、
前記分離器入力ステップで入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、
前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、
前記分離器多重化ステップで多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
を備え、
前記分離器分離ステップが、
前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換ステップと、
前記１次係数変換ステップに変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、
前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成ステップと、
前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項２２】
請求項２１に記載の符号化信号分離方法において、
前記基本符号化信号生成ステップが、
前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換ステップと、
前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化ステップと、
前記余り係数列を余り係数符号化信号に符号化する余り係数符号化ステップと、
前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項２３】
請求項２２に記載の符号化信号分離方法において、
前記基本量子化係数符号化ステップが、
ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力ステップと、
前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化ステップと、
前記基本量子化係数列の各係数値のうち、前記ｎ種類の固有値以外の値を符号化する固有値外係数値符号化ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項２４】
請求項２１から請求項２３のいずれか１項に記載の符号化信号分離方法において、
前記拡張符号化信号生成ステップが、
前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離ステップと、
複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項２５】
請求項２４に記載の符号化信号分離方法において、
前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、
前記拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離方法。
【請求項２６】
請求項２４または請求項２５に記載の符号化信号分離方法において、
前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、
前記拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離方法。
【請求項２７】
請求項２４から請求項２６のいずれか１項に記載の符号化信号分離方法において、
前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステップと、
を備えたことを特徴とする符号化信号分離方法。
【請求項２８】
複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、
前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、
前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
前記合成器合成ステップで合成された３次符号化信号を出力する合成器出力ステップと、
を備え、
前記合成器合成ステップが、
前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数列に変換する基本符号化信号変換ステップと、
前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数列に変換する拡張符号化信号変換ステップと、
前記基本符号化信号変換ステップで変換された基本階層係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成ステップと、
前記基本拡張階層合成ステップで合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換ステップと、
を備えたことを特徴とする符号化信号合成方法。
【請求項２９】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステップと、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器を制御する合成器制御ステップと、
を備え、
前記分離器制御ステップが、
前記１次符号化信号を入力する分離器入力ステップと、
前記分離器入力ステップで入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、
前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、
前記分離器多重化ステップで多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
を備え、
前記合成器制御ステップが、
前記複数の伝送符号化信号を入力する合成器入力ステップと、
前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと、
前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
前記合成器合成ステップで合成された３次符号化信号を出力する合成器出力ステップと、
を備え、
さらに、前記分離器分離ステップが、
前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換ステップと、
前記１次係数変換ステップで変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、
前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成ステップと、
前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備え、
前記合成器合成ステップが、
前記基本符号化信号から、前記基本階層係数列に変換する基本符号化信号変換ステップと、
前記複数の拡張符号化信号から、前記拡張階層係数列に変換する拡張符号化信号変換ステップと、
前記基本符号化信号変換ステップで変換された基本階層係数列を、前記基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成ステップと、
前記基本拡張階層合成ステップで合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換ステップと、
を備えたことを特徴とする符号化信号分離合成方法。
【請求項３０】
請求項２９に記載の符号化信号分離合成方法において、
前記分離器分離ステップの基本符号化信号生成ステップが、
前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換ステップと、
前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化ステップと、
前記余り係数列を余り係数符号化信号に符号化する余り係数符号化ステップと、
前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化ステップと、
を備え、
前記合成器合成ステップの基本符号化信号変換ステップが、
前記基本符号化信号を、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、に多重分離する基本量子化係数多重分離ステップと、
前記基本量子化係数符号化信号に係数変換を行い、前記基本量子化係数列に変換する基本量子化係数変換ステップと、
前記余り係数符号化信号に係数変換を行い、前記余り係数列に変換する余り係数変換ステップと、
前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成ステップと、
を備えたことを特徴とする符号化信号分離合成方法。
【請求項３１】
請求項３０に記載の符号化信号分離合成方法において、
前記分離器制御ステップの基本量子化係数符号化ステップが、
ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力ステップと、
前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化ステップと、
前記基本量子化係数列の各係数値のうち、前記ｎ種類の固有値以外の値を符号化する固有値外係数値符号化ステップと、
を備え、
前記合成器制御ステップの基本量子化係数変換ステップが、
前記配列パターン符号表を入力する配列パターン入力ステップと、
前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号ステップと、
前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号ステップと、
を備えたことを特徴とする符号化信号分離合成方法。
【請求項３２】
請求項２９から請求項３１のいずれか１項に記載の符号化信号分離合成方法において、
前記分離器分離ステップの拡張符号化信号生成ステップが、
前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離ステップと、
複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化ステップと、
を備え、
前記合成器合成ステップの拡張符号化信号変換ステップが、
複数の前記拡張符号化信号をそれぞれ前記拡張量子化係数列に復号する拡張量子化係数復号ステップと、
前記拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成ステップと、
を備えたことを特徴とする符号化信号分離合成方法。
【請求項３３】
請求項３２に記載の符号化信号分離合成方法において、
前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、
前記分離器制御ステップの拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離し、
前記合成器制御ステップの拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とする符号化信号分離合成方法。
【請求項３４】
請求項３３に記載の符号化信号分離合成方法において、
前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、
前記分離器制御ステップの拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離し、
前記合成器制御ステップの拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記拡張階層分離パターン情報にしたがって前記拡張階層係数列に合成することを特徴とする符号化信号分離合成方法。
【請求項３５】
請求項３２から請求項３４のいずれか１項に記載の符号化信号分離合成方法において、
前記分離器制御ステップが、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステップを備え、
前記合成器制御ステップが、前記拡張階層分離パターン情報を受信する拡張階層分離パターン情報受信ステップを備えたことを特徴とする符号化信号分離合成方法。
【請求項３６】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力ステップと、
前記分離器入力ステップで入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、
前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、
前記分離器多重化ステップで多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
を備え、
前記分離器分離ステップが、
前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換ステップと、
前記１次係数変換ステップに変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、
前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成ステップと、
前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、
を備えたことを特徴とする符号化信号分離プログラム。
【請求項３７】
請求項３６に記載の符号化信号分離プログラムにおいて、
前記基本符号化信号生成ステップが、
前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換ステップと、
前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化ステップと、
前記余り係数列を余り係数符号化信号に符号化する余り係数符号化ステップと、
前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化ステップと、
を備えたことを特徴とする符号化信号分離プログラム。
【請求項３８】
請求項３７に記載の符号化信号分離プログラムにおいて、
前記基本量子化係数符号化ステップが、
ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力ステップと、
前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化ステップと、
前記基本量子化係数列の各係数値のうち、前記ｎ種類の固有値以外の値を符号化する固有値外係数値符号化ステップと、
を備えたことを特徴とする符号化信号分離プログラム。
【請求項３９】
請求項３８に記載の符号化信号分離プログラムにおいて、
前記基本量子化係数符号化ステップの配列パターン入力ステップが、０と、１と、２以上の値と、の３種類の値による数列の配列パターンを符号化する配列パターン符号表を入力し、
前記係数値配列パターン符号化ステップが、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化し、
前記固有値外係数値符号化ステップが、前記基本量子化係数列の各係数値のうち、２以上の係数値を符号化することを特徴とする符号化信号分離プログラム。
【請求項４０】
請求項３６から請求項３９のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記拡張符号化信号生成ステップが、
前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離ステップと、
複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化ステップと、
を備えたことを特徴とする符号化信号分離プログラム。
【請求項４１】
請求項４０に記載の符号化信号分離プログラムにおいて、
前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、
前記拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離プログラム。
【請求項４２】
請求項４０または請求項４１に記載の符号化信号分離プログラムにおいて、
前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、
前記拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とする符号化信号分離プログラム。
【請求項４３】
請求項４０から請求項４２のいずれか１項に記載の符号化信号分離プログラムにおいて、
前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステップと、
を備えたことを特徴とする符号化信号分離プログラム。
【請求項４４】
複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、
前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、
前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
前記合成器合成ステップで合成された３次符号化信号を出力する合成器出力ステップと、
を備え、
前記合成器合成ステップが、
前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数列に変換する基本符号化信号変換ステップと、
前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数列に変換する拡張符号化信号変換ステップと、
前記基本符号化信号変換ステップで変換された基本階層係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成ステップと、
前記基本拡張階層合成ステップで合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換ステップと、
を備えたことを特徴とする符号化信号合成プログラム。
【請求項４５】
請求項４４に記載の符号化信号合成プログラムにおいて、
前記基本符号化信号変換ステップが、
前記基本符号化信号を、前記基本階層係数列が対数変換により丸められた基本量子化係数符号化信号と、前記基本量子化係数算出時に丸められる余り係数符号化信号と、に多重分離する基本量子化係数多重分離ステップと、
前記基本量子化係数符号化信号に係数変換を行い、基本量子化係数列に変換する基本量子化係数変換ステップと、
前記余り係数符号化信号に係数変換を行い、余り係数列に変換する余り係数変換ステップと、
前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成ステップと、
を備えたことを特徴とする符号化信号合成プログラム。
【請求項４６】
請求項４５に記載の符号化信号合成プログラムにおいて、
前記基本量子化係数変換ステップが、
ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化した配列パターン符号表を入力する配列パターン入力ステップと、
前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号ステップと、
前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号ステップと、
を備えたことを特徴とする符号化信号合成プログラム。
【請求項４７】
請求項４４から請求項４６のいずれか１項に記載の符号化信号合成プログラムにおいて、
前記拡張符号化信号変換ステップが、
複数の前記拡張符号化信号をそれぞれ拡張量子化係数列に復号する拡張量子化係数復号ステップと、
前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成ステップと、
を備えたことを特徴とする符号化信号合成プログラム。
【請求項４８】
請求項４７に記載の符号化信号合成プログラムにおいて、
前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、
前記拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とする符号化信号合成プログラム。
【請求項４９】
複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステップと、
前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、
前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器を制御する合成器制御ステップと、
を備え、
前記分離器制御ステップが、
前記１次符号化信号を入力する分離器入力ステップと、
前記分離器入力ステップで入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、
前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、
前記分離器多重化ステップで多重化された複数の伝送符号化信号を出力する分離器出力ステップと、
を備え、
前記合成器制御ステップが、
前記複数の伝送符号化信号を入力する合成器入力ステップと、
前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと、
前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、
前記合成器合成ステップで合成された３次符号化信号を出力する合成器出力ステップと、
を備え、
さらに、前記分離器分離ステップが、
前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換ステップと、
前記１次係数変換ステップで変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、
前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成ステップと、
前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備え、
前記合成器合成ステップが、
前記基本符号化信号から、前記基本階層係数列に変換する基本符号化信号変換ステップと、
前記複数の拡張符号化信号から、前記拡張階層係数列に変換する拡張符号化信号変換ステップと、
前記基本符号化信号変換ステップで変換された基本階層係数列を、前記基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成ステップと、
前記基本拡張階層合成ステップで合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換ステップと、
を備えたことを特徴とする符号化信号分離合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像のスケーラブル伝送を行うことができる符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムに関するものである。
【背景技術】
【０００２】
動画像をディジタル化する技術において、発生する膨大な情報量を圧縮して符号化するための方式として、ディジタルビデオおよび付随するオーディオに対する符号化方式の標準規格ＩＳＯ／ＩＥＣ  １３８１８（通称、「ＭＰＥＧ−２」(Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ  Ｐｈａｓｅ  ２)）がある。このようにして生成されたＭＰＥＧ−２の規格に準拠したビットストリーム（以後、「ＭＰＥＧ−２ビットストリーム」と呼ぶ）は、通信やテレビジョン放送など幅広い分野で使用されている。
【０００３】
ＭＰＥＧ−２ビットストリームは階層構造を有し、最上位のシーケンスレイヤからＧＯＰ（Ｇｒｏｕｐ  ｏｆ  Ｐｉｃｔｕｒｅｓ）レイヤ、ピクチャレイヤ、スライスレイヤ、マクロブロックレイヤおよびブロックレイヤの順の各レイヤからなる。
【０００４】
ＭＰＥＧ−２においては、一連の複数の画面から構成される動画像において、各画面を一旦フレームメモリに保存し、フレーム間の差分を取ることによって時間軸方向の冗長度を削減し、さらに、各フレームを構成する複数の画素を離散コサイン変換（以後、「ＤＣＴ」と略す）等の直交変換処理を行うことにより空間軸方向の冗長度を削減することにより、効率良い動画像圧縮符号化を実現している。
【０００５】
符号化された信号は、復号器に送られて復号され再生される。復号器では、画面を再生し第１のフレームメモリに保存し、差分情報に基づいて次に続くべき画面を予測し第２のフレームメモリに保存し、２つのフレームからその間に挿入される画面をさらに予測して、一連の画面を構成し動画像を再生する。このような手法は双方向予測と呼ばれる。
【０００６】
ＭＰＥＧ−２では、この双方向予測を実現するために、Ｉピクチャ、ＰピクチャおよびＢピクチャという３つのタイプを規定している。Ｉピクチャは、イントラ符号化ピクチャの略であり、他のピクチャとは独立して静止画として符号化される画面のことである。Ｐピクチャは、順方向予測符号化ピクチャの略であり、時間的に過去に位置するＩまたはＰピクチャに基づいて予測符号化される画面のことである。Ｂピクチャは、双方向予測符号化ピクチャの略であり、時間的に前後に位置するＩまたはＰピクチャを用いて順方向、逆方向または双方向のピクチャに基づいて予測符号化される画面のことである。すなわち、ＩピクチャおよびＰピクチャを先に符号化処理した後、その間に挿入されるＢピクチャが符号化される。
【０００７】
符号化器で符号化されたＭＰＥＧ−２ビットストリームは、所定の転送速度で伝送路に送出され、該伝送路上の復号器に入力されて復号され再生される。しかしながら、動画像を符号化して発生する情報量は一定ではない。特にシーンチェンジ時には、情報量は一気に増大する。このように一定しない符号化信号を固定レートの伝送路に送出するために、予め送信用バッファのレベル以上の情報量が発生しないように符号化データのレート制御を行う必要がある。
【０００８】
ＭＰＥＧ−２では、ＩＳＯ／ＩＥＣ  ＪＴＣ１／ＳＣ２９／ＷＧ１１／Ｎ０４００  Ｔｅｓｔ  Ｍｏｄｅｌ  ５  （Ａｐｒｉｌ，  １９９３）（以後、「ＴＭ５」と略す）にレート制御方式が記載されている。
【０００９】
ＭＰＥＧ−２のＴＭ５のレート制御では、ステップ１で、まずピクチャタイプ毎にＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒに基づいてビット配分する。ステップ２で、マクロブロック単位に符号化処理を行う際に使用する量子化スケールを、ビット配分に基づいて算出した仮想バッファ占有量から算出する。
【００１０】
また、ＭＰＥＧ−２以外の圧縮フォーマットを有する復号器や、異なる転送速度の伝送路に接続された復号器も多数存在するため、異なる圧縮フォーマットや異なる転送速度にＭＰＥＧ−２ビットストリームを変換する動画圧縮符号化信号変換装置が必要となる。これを実現するための装置が所謂トランスコーダである。符号化器から伝送された画像圧縮符号化信号は、トランスコーダで適切な信号に変換され、各復号器に信号が供給される。
【００１１】
図２５に一般的な従来のトランスコーダ５０の第１例を示す。従来のトランスコーダ５０は、第１ビットレートを有する第１伝送路（図示なし）に接続され、第１ＭＰＥＧ−２ビットストリームｂ１を入力する可変長復号部（ＶＬＤ）５１と、逆量子化器５３と、量子化器５５と、第２ビットレートを有する第２伝送路（図示なし）に接続され、第２ＭＰＥＧ−２ビットストリームｂ２を出力するＶＬＣ５７と、量子化器５５で発生する符号量を制御するレート制御部５９と、を備えている。第２ビットレートは第１ビットレートより低い転送速度である。
【００１２】
ＶＬＤ５１および逆量子化器５３によって、第１ＭＰＥＧ−２ビットストリームｂ１をマクロブロック単位にＤＣＴ係数領域まで復号し、量子化器５５およびＶＬＣ５７によって、得られたＤＣＴ係数信号を符号化して、第１ＭＰＥＧ−２ビットストリームより少ない符号量を有する第２ＭＰＥＧ−２ビットストリームｂ２を生成するものである。
【００１３】
量子化器５５における量子化処理では、ＤＣＴ変換で得られた係数を所定の量子化ステップで除算する。これにより画像信号は圧縮される。この量子化ステップは、所定の量子化テーブルに含まれる複数の量子化マトリクス値に量子化スケールを乗算して求められる。
【００１４】
トランスコーダ５０では、第１ＭＰＥＧ−２ビットストリームｂ１内のシーケンスレイヤ、ＧＯＰレイヤ、ピクチャレイヤ、スライスレイヤおよびマクロブロックレイヤの符号化情報を殆ど再利用する。基本的にブロックレイヤのＤＣＴ係数の変換およびブロックレイヤの変換に伴い修正が必要なマクロブロックレイヤの符号の変換の処理のみが行われる。
【００１５】
このように構成されたトランスコーダ５０において、レート制御部５９はＭＰＥＧ−２のＴＭ５に記載されているレート制御を行う。
【００１６】
図２６に従来のトランスコーダ５０のレート制御処理のフローチャートを示す。同図に示されるように、従来のレート制御処理はステップＡ１〜Ａ１４からなる。
【００１７】
ステップＡ１で、変数ｎを１に設定する。ここで、変数ｎは、入力画像信号に含まれる複数のピクチャに付けられた番号を示し、以後、ｎ番目のピクチャをpic(n)と示す。
【００１８】
続くステップＡ２で、Ｉ、ＰおよびＢピクチャの複雑さを示す指標Ｘi、ＸpおよびＸbを下記の式（ａ１）、式（ａ２）および式（ａ３）により算出する。
【００１９】
Ｘi＝Ｓi×Ｑi                                          …式（ａ１）
Ｘp＝Ｓp×Ｑp                                          …式（ａ２）
Ｘb＝Ｓb×Ｑb                                          …式（ａ３）
ここで、Ｓi、ＳpおよびＳbはそれぞれＩ、ＰおよびＢピクチャの発生符号量であり、Ｑi、ＱpおよびＱbは、それぞれＩ、ＰおよびＢピクチャ内の全マクロブロックの量子化スケールコードの平均値である平均量子化パラメータである。ただし、平均量子化パラメータは１〜３１の範囲に正規化されている。
【００２０】
この画面の複雑さ指標Ｘi、ＸpおよびＸbは、符号化情報量が多く発生するような画像、すなわち低い圧縮率の画像に対して大きくなり、逆に高い圧縮率の画像に対しては小さくなる。
【００２１】
また、Ｉ、ＰおよびＢピクチャの画面の複雑さを示すパラメータＸi、ＸpおよびＸbの初期値は、次式（ａ４）、式（ａ５）および式（ａ６）でそれぞれ与えられる。
【００２２】
Ｘi＝１６０×target_Bitrate／１１５                    …式（ａ４）
Ｘp＝６０×target_Bitrate／１１５                      …式（ａ５）
Ｘb＝４２×target_Bitrate／１１５                      …式（ａ６）
ここで、target_Bitrateは、トランスコーダ５０の目標ビットレートである。
【００２３】
続くステップＡ３で、ＧＯＰ内のＩ、ＰおよびＢピクチャに対する割り当て符号量Ｔi、ＴpおよびＴbを、次式（ａ７）、式（ａ８）および式（ａ９）によりそれぞれ算出する。ただし、ＮｐおよびＮｂは、それぞれＧＯＰ内の未符号化のＰおよびＢピクチャの数を示す。
【００２４】
【数１】
2005286863.tif 000003
【００２５】
ここで、ＫｐおよびＫｂは、Ｉピクチャの量子化スケールコードを基準としたＰおよびＢピクチャの量子化スケールコードの比率を示し、Ｋp＝１．０およびＫb＝１．４になる場合に、常に全体の画質が最適化されると仮定する。
【００２６】
続くステップＡ４で、変数ｎが１か否かの判定がなされる。すなわち、符号化対象のピクチャが１番目のピクチャpic(1)か否かの判定がなされる。１番目のピクチャの場合、ステップＡ５へ進み、１番目のピクチャでない場合はステップＡ６へ進む。ステップＡ５では、次式（ａ１０）によりＧＯＰ内の一番初めのピクチャpic(1)を符号化する時のＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを求める。
【００２７】
Ｒ＝target_Bitrate×Ｎ／picture_rate＋Ｒ              …式（ａ１０）
ここで、ＮはＧＯＰ内のピクチャの総数、picture_rateは、入力画像の時間解像度を示す値であり、１秒間に復号され表示される画面の枚数を示す。
【００２８】
ステップＡ６では、ＧＯＰ内の未符号化ピクチャに対する割り当て符号量Ｒを（ｎ−１）番目のピクチャpic(n-1)が符号化された時のＩ、ＰおよびＢピクチャの発生符号量Ｓi、ＳpまたはＳbに基づいて、次式（ａ１１）、式（ａ１２）および式（ａ１３）の何れかにより更新する。
【００２９】
Ｒ＝Ｒ−Ｓi                                            …式（ａ１１）
Ｒ＝Ｒ−Ｓp                                            …式（ａ１２）
Ｒ＝Ｒ−Ｓb                                            …式（ａ１３）
ステップＡ５およびＡ６はともにステップＡ７へ進み、変数ｊに１を設定する。ここで、変数ｊは、１ピクチャ内の複数のマクロブロックに付けられた番号を示し、以後、ｊ番目のマクロブロックをMB(j)と示す。
【００３０】
続くステップＡ８で、Ｉ、ＰおよびＢピクチャ内のｊ番目のマクロブロックMB(j)を符号化する時の仮想バッファの占有量ｄi(j)、ｄp(j)およびｄb(j)が次式（ａ１４）、式（ａ１５）および式（ａ１６）によりそれぞれ算出される。
【００３１】
【数２】
2005286863.tif 000004
【００３２】
ここで、Ｂ(j-1)は、（ｊ−１）番目のマクロブロックMB(j-1)までの全マクロブロックの発生符号量である。
【００３３】
また、ｄi(0)、ｄp(0)およびｄb(0)は、それぞれＩ、ＰおよびＢピクチャの仮想バッファ占有量の初期値であり、次式（ａ１７）、式（ａ１８）および式（ａ１９）でそれぞれ与えられる。
【００３４】
ｄi(0)＝１０×ｒ／３１                                …式（ａ１７）
ｄp(0)＝Ｋp×ｄi(0)                                   …式（ａ１８）
ｄb(0)＝Ｋb×ｄi(0)                                   …式（ａ１９）
ここで、ｒはリアクションパラメータと呼ばれ、下記の式（ａ２０）で示され、フィードバックループの応答速度を制御する。
【００３５】
ｒ＝２×target_Bitrate／picture_rate                  …式（ａ２０）
また、Ｉ、ＰおよびＢピクチャ符号化終了時の仮想バッファ占有量、すなわちＮＭＢ番目のマクロブロックMB(NMB)を符号化したときの仮想バッファ占有量ｄi(NMB)、ｄp(NMB)およびｄb(NMB)は、ピクチャタイプ毎に、次回符号化する時の仮想バッファ占有量の初期値ｄi(0)、ｄp(0)およびｄb(0)として用いられる。
【００３６】
続くステップＡ９で、上記の仮想バッファの占有量ｄ(j)に基づいて、各ピクチャ毎にｊ番目のマクロブロックMB(j)に対する量子化スケールコードＱ(j)を次式（ａ２１）により求める。
【００３７】
Ｑ(j)＝ｄ(j)×３１／ｒ                                …式（ａ２１）
続くステップＡ１０で、ステップＡ９で算出された量子化スケールコードＱ(j)を使用してｊ番目のマクロブロックMB(j)を量子化する。続くステップＡ１１で、変数ｊをインクリメントして、ステップＡ１２へ進み、変数ｊがマクロブロック総数ＮＭＢを超えているか否かの判定をする。ここで、ＮＭＢはｎ番目のピクチャpic(n)内に含まれるマクロブロックの総数である。変数ｊがマクロブロック総数ＮＭＢを超えていない場合は、ステップＡ８へ戻り、変数ｊがマクロブロック総数ＮＭＢを超えている場合は、ステップＡ１３へ進む。
【００３８】
このようにして、変数ｊは、ステップＡ８〜Ａ１１の符号化処理を繰り返すためのループカウンタとしても使用される。これにより、ｎ番目のピクチャpic(n)内の１番目のマクロブロックMB(1)からＮＭＢ番目のマクロブロックMB(NMB)まで全てのマクロブロックに対して順次符号化処理を行うことができる。
【００３９】
ステップＡ１３で、変数ｎをインクリメントして、ステップＡ１４へ進み、変数ｎが符号化対象のピクチャ総数ＮＰＩＣを超えているか否かの判定をする。ここで、変数ｎがピクチャ総数ＮＰＩＣを超えていない場合は、ステップＡ２へ戻り、変数ｎがピクチャ総数ＮＰＩＣを超えている場合は、本処理を終了する。
【００４０】
このように第１のトランスコーダ５０では、ＩおよびＰピクチャ周期などのような画像構造に関する情報を持ち得ないために、図２６に示されたＴＭ５のレート制御のような、画像ＧＯＰ構造などの情報に基づいてビット配分を行う方法は、入力画像構造を仮定しなければ行うことができない。
【００４１】
そこで、ＧＯＰ構造を仮定せずにレート制御を行う方法を採用した例として、図２７に示される第２の従来のトランスコーダ６０がある。同図に示されるように、第２の従来のトランスコーダ６０は、上記第１の従来のトランスコーダ５０の構成に加えて、遅延回路６１と、ビットレート比率計算部６３と、入力符号量積算部６５と、差分符号量計算部６７と、目標出力符号量更新部６９と、量子化スケールコード算出部７１と、を備えている。
【００４２】
このように構成されたトランスコーダ６０の処理の流れを図２８に示す。同図に示されるように、トランスコーダ６０の処理は、ステップＢ１〜Ｂ１３からなる。ステップＢ６〜Ｂ１３は、上記第１従来例に示されたレート処理のステップＡ７〜Ａ１４と同じである。但し、ステップＢ７では、目標出力符号量更新部６９で算出された目標出力符号量Ｔoutに基づいて、仮想バッファ占有量の算出がなされる。
【００４３】
また、同様にＧＯＰ構造を仮定せずにレート制御を行う方法を採用した別の例として、図２９および図３０に従来のトランスコーダの第３例を示す。図２９に示されるように、第３の従来のトランスコーダ８０は、第１ビットレートを有する第１伝送路に接続され、入力ビットストリームｂ３を入力するＶＬＤ８１と、第１の従来のトランスコーダ５０と同じ、逆量子化器５３と、量子化器５５と、ＶＬＣ５７と、を含み、図２７のトランスコーダ６０と同じビットレート比率計算部６３と、差分符号量計算部６７と、を含み、さらに、目標出力符号量更新部８３と、量子化スケールコード算出部８５と、を備えている。
【００４４】
第３の従来のトランスコーダ８０では、ビットストリームｂ３に予め符号量を情報として記述しておき、その情報に基づいてレート制御を行うものである。
【００４５】
しかしながら、トランスコーダは符号化処理後の信号を対象としているために、符号化前の元の信号は知ることはできない。したがって、符号量制御においては、トランスコード処理後の画像自身の歪みではなく、再量子化処理によって新たに発生する歪みに着目して、この歪みを抑制することにより、画質の低下を抑制しながら符号量の削減を実現しなければならない。
【００４６】
そこで、本願出願人は、先に復号量子化パラメータおよび再量子化パラメータに依存した再量子化レート歪み関数を考慮することにより、復号量子化パラメータ、および前段で算出された量子化パラメータに基づいて最適な量子化パラメータの算出を実現する動画像圧縮符号化信号変換方法、装置および変換プログラムを記録した媒体を提案した（例えば、特許文献１参照）。
【００４７】
このものは、逆量子化を行う逆量子化器と、再量子化を行う量子化器と、を備えたトランスコーダにおいて、入力量子化パラメータに基づくレート歪み関数を考慮し、量子化パラメータを切り換える量子化パラメータ切り換え部を設けることにより、量子化係数領域データから再量子化係数領域データへの変換時における誤差を極力抑えることができる。
【００４８】
このように、トランスコーダは様々な利用環境に適した形へのビットストリーム変換を実現する処理器である。
【００４９】
さらに、さまざまな帯域の混在するネットワークにおいて、利用環境に適した映像ストリームを生成し提供するスケーラビリティを実現する技術として、ビットレートスケーリング方式、階層符号化方式が存在する。
【００５０】
例えば、ネットワーク上の各ルータに設置されたビットレートスケーリングトランスコーダにおいて、要求されるビットレートに応じ、ビットレート削減によるストリーム変換を実現する。これにより、ネットワークの変動に対応した映像のスケーラビリティを実現している。
【特許文献１】特開２００１−１６９２８３号公報
【発明の開示】
【発明が解決しようとする課題】
【００５１】
しかしながら、ビットレートスケーリングトランスコーダ自らがレート制御とストリーム変換を行なうため、ルータに高度な処理が要求されるため多くの負荷がかかる。
【００５２】
また、サーバにおいてあらかじめ入力されたストリームを、階層構造をもつストリームに変換し、ルータにおける階層選択によりスケーラビリティを実現する。これにより、トランスコーダによるレート制御の必要はなくなり、ネットワーク上の各ルータにおける信号処理等の負荷もなくなる。しかしながら、階層構造に変換されたストリーム間に依存関係があるため、各階層に優先順位がつけられており、階層選択時に優先順位を考慮した制御を行なう必要があるという問題がある。さらに、ストリームの分割には多くの負荷がかかり、処理速度が低下してしまうという問題がある。
【００５３】
本発明は、このような従来の問題を解決するためになされたもので、サーバにおける分離器において、簡易な構成で独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択を行なうことにより、処理速度を向上させた映像のスケーラブル伝送を行うことができる符号化信号分離装置、符号化信号合成装置および符号化信号分離合成システムを提供するものである。
【課題を解決するための手段】
【００５４】
本発明の符号化信号分離装置は、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力手段と、前記分離器入力手段に入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離手段と、前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化手段と、前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、を備え、
前記分離器分離手段が、前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換手段と、前記１次係数変換手段に変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離手段と、前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成手段と、前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備えたことを特徴とした構成を有している。
【００５５】
また、本発明の符号化信号分離装置は、請求項１に記載の符号化信号分離装置において、前記基本符号化信号生成手段が、前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換手段と、前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化手段と、前記余り係数列を余り係数符号化信号に符号化する余り係数符号化手段と、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化手段と、を備えたことを特徴とした構成を有している。
【００５６】
さらに、本発明の符号化信号分離装置は、請求項２に記載の符号化信号分離装置において、前記基本量子化係数符号化手段が、ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力手段と、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化手段と、前記基本量子化係数列の各係数値のうち、前記ｎ種類の固有値以外の値を符号化する固有値外係数値符号化手段と、を備えたことを特徴とした構成を有している。
【００５７】
さらに、本発明の符号化信号分離装置は、請求項３に記載の符号化信号分離装置において、前記基本量子化係数符号化手段の配列パターン入力手段が、０と、１と、２以上の値と、の３種類の値による数列の配列パターンを符号化する配列パターン符号表を入力し、前記係数値配列パターン符号化手段が、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化し、前記固有値外係数値符号化手段が、前記基本量子化係数列の各係数値のうち、２以上の係数値を符号化することを特徴とした構成を有している。
【００５８】
さらに、本発明の符号化信号分離装置は、請求項１から請求項４のいずれか１項に記載の符号化信号分離装置において、前記拡張符号化信号生成手段が、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離手段と、複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化手段と、を備えたことを特徴とした構成を有している。
【００５９】
さらに、本発明の符号化信号分離装置は、請求項５に記載の符号化信号分離装置において、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記拡張量子化係数分離手段が、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とした構成を有している。
【００６０】
さらに、本発明の符号化信号分離装置は、請求項５または請求項６に記載の符号化信号分離装置において、前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、前記拡張量子化係数分離手段が、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とした構成を有している。
【００６１】
さらに、本発明の符号化信号分離装置は、請求項５から請求項７のいずれか１項に記載の符号化信号分離装置において、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信手段と、を備えたことを特徴とした構成を有している。
【００６２】
さらに、本発明の符号化信号合成装置は、複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力手段と、前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離手段と、前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、を備え、
前記合成器合成手段が、前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数列に変換する基本符号化信号変換手段と、前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数列に変換する拡張符号化信号変換手段と、前記基本符号化信号変換手段に変換された基本階層係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換手段に変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成手段と、前記基本拡張階層合成手段に合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換手段と、を備えたことを特徴とした構成を有している。
【００６３】
さらに、本発明の符号化信号合成装置は、請求項９に記載の符号化信号合成装置において、前記基本符号化信号変換手段が、前記基本符号化信号を、前記基本階層係数列が対数変換により丸められた基本量子化係数符号化信号と、前記基本量子化係数算出時に丸められる余り係数符号化信号と、に多重分離する基本量子化係数多重分離手段と、前記基本量子化係数符号化信号に係数変換を行い、基本量子化係数列に変換する基本量子化係数変換手段と、前記余り係数符号化信号に係数変換を行い、余り係数列に変換する余り係数変換手段と、前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成手段と、を備えたことを特徴とした構成を有している。
【００６４】
さらに、本発明の符号化信号合成装置は、請求項１０に記載の符号化信号合成装置において、前記基本量子化係数変換手段が、ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化した配列パターン符号表を入力する配列パターン入力手段と、前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号手段と、前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号手段と、を備えたことを特徴とした構成を有している。
【００６５】
さらに、本発明の符号化信号合成装置は、請求項９から請求項１１のいずれか１項に記載の符号化信号合成装置において、前記拡張符号化信号変換手段が、複数の前記拡張符号化信号をそれぞれ拡張量子化係数列に復号する拡張量子化係数復号手段と、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成手段と、を備えたことを特徴とした構成を有している。
【００６６】
さらに、本発明の符号化信号合成装置は、請求項１２に記載の符号化信号合成装置において、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とした構成を有している。
【００６７】
さらに、本発明の符号化信号分離合成システムは、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器と、前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器と、前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器と、を備え、
前記分離器が、前記１次符号化信号を入力する分離器入力手段と、前記分離器入力手段に入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離手段と、前記分離器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化手段と、前記分離器多重化手段に多重化された複数の伝送符号化信号を出力する分離器出力手段と、を備え、
前記合成器が、前記複数の伝送符号化信号を入力する合成器入力手段と、前記合成器入力手段に入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離手段と、前記合成器分離手段に分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成手段と、前記合成器合成手段に合成された３次符号化信号を出力する合成器出力手段と、を備え、
さらに、前記分離器分離手段が、前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換手段と、前記１次係数変換手段に変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離手段と、前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成手段と、前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成手段と、を備え、
前記合成器合成手段が、前記基本符号化信号から、前記基本階層係数列に変換する基本符号化信号変換手段と、前記複数の拡張符号化信号から、前記拡張階層係数列に変換する拡張符号化信号変換手段と、前記基本符号化信号変換手段に変換された基本階層係数列を、前記基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換手段に変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成手段と、前記基本拡張階層合成手段に合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換手段と、を備えたことを特徴とした構成を有している。
【００６８】
さらに、本発明の符号化信号分離合成システムは、請求項１４に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の基本符号化信号生成手段が、前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換手段と、前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化手段と、前記余り係数列を余り係数符号化信号に符号化する余り係数符号化手段と、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化手段と、を備え、
前記合成器合成手段の基本符号化信号変換手段が、前記基本符号化信号を、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、に多重分離する基本量子化係数多重分離手段と、前記基本量子化係数符号化信号に係数変換を行い、前記基本量子化係数列に変換する基本量子化係数変換手段と、前記余り係数符号化信号に係数変換を行い、前記余り係数列に変換する余り係数変換手段と、前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成手段と、を備えたことを特徴とした構成を有している。
【００６９】
さらに、本発明の符号化信号分離合成システムは、請求項１５に記載の符号化信号分離合成システムにおいて、前記分離器の基本量子化係数符号化手段が、ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力手段と、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化手段と、前記基本量子化係数列の各係数値のうち、前記ｎ種類の固有値以外の値を符号化する固有値外係数値符号化手段と、を備え、
前記合成器の基本量子化係数変換手段が、前記配列パターン符号表を入力する配列パターン入力手段と、前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号手段と、前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号手段と、を備えたことを特徴とした構成を有している。
【００７０】
さらに、本発明の符号化信号分離合成システムは、請求項１４から請求項１６のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器分離手段の拡張符号化信号生成手段が、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離手段と、複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化手段と、を備え、
前記合成器合成手段の拡張符号化信号変換手段が、複数の前記拡張符号化信号をそれぞれ前記拡張量子化係数列に復号する拡張量子化係数復号手段と、前記拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成手段と、を備えたことを特徴とした構成を有している。
【００７１】
さらに、本発明の符号化信号分離合成システムは、請求項１７に記載の符号化信号分離合成システムにおいて、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記分離器の拡張量子化係数分離手段が、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離し、前記合成器の拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とした構成を有している。
【００７２】
さらに、本発明の符号化信号分離合成システムは、請求項１８に記載の符号化信号分離合成システムにおいて、前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、前記分離器の拡張量子化係数分離手段が、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離し、前記合成器の拡張量子化係数合成手段が、前記複数の拡張量子化係数列を前記拡張階層分離パターン情報にしたがって前記拡張階層係数列に合成することを特徴とした構成を有している。
【００７３】
さらに、本発明の符号化信号分離合成システムは、請求項１７から請求項１９のいずれか１項に記載の符号化信号分離合成システムにおいて、前記分離器が、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信手段を備え、前記合成器が、前記拡張階層分離パターン情報を受信する拡張階層分離パターン情報受信手段を備えたことを特徴とした構成を有している。
【００７４】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を入力する分離器入力ステップと、前記分離器入力ステップで入力された１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する分離器分離ステップと、前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成する分離器多重化ステップと、前記分離器多重化ステップで多重化された複数の伝送符号化信号を出力する分離器出力ステップと、を備え、
前記分離器分離ステップが、前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換ステップと、前記１次係数変換ステップに変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成ステップと、前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備えたことを特徴とした構成を有している。
【００７５】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２１および請求項３６に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記基本符号化信号生成ステップが、前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換ステップと、前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化ステップと、前記余り係数列を余り係数符号化信号に符号化する余り係数符号化ステップと、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化ステップと、を備えたことを特徴とした構成を有している。
【００７６】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２２および請求項３７に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記基本量子化係数符号化ステップが、ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力ステップと、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化ステップと、前記基本量子化係数列の各係数値のうち、前記ｎ種類の固有値以外の値を符号化する固有値外係数値符号化ステップと、を備えたことを特徴とした構成を有している。
【００７７】
さらに、本発明の符号化信号分離プログラムは、請求項３８に記載の符号化信号分離プログラムにおいて、前記基本量子化係数符号化ステップの配列パターン入力ステップが、０と、１と、２以上の値と、の３種類の値による数列の配列パターンを符号化する配列パターン符号表を入力し、前記係数値配列パターン符号化ステップが、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化し、前記固有値外係数値符号化ステップが、前記基本量子化係数列の各係数値のうち、２以上の係数値を符号化することを特徴とした構成を有している。
【００７８】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２１から請求項２３および請求項３６から請求項３９のいずれか１項に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記拡張符号化信号生成ステップが、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離ステップと、複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化ステップと、を備えたことを特徴とした構成を有している。
【００７９】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４および請求項４０に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離することを特徴とした構成を有している。
【００８０】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４または請求項２５および請求項４０または請求項４１に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、前記拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離することを特徴とした構成を有している。
【００８１】
さらに、本発明の符号化信号分離方法および符号化信号分離プログラムは、請求項２４から請求項２６および請求項４０から請求項４２のいずれか１項に記載の符号化信号分離方法および符号化信号分離プログラムにおいて、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステップと、を備えたことを特徴とした構成を有している。
【００８２】
さらに、本発明の符号化信号合成方法および符号化信号合成プログラムは、複数の画像情報から構成される１次動画像が符号化された複数の独立した伝送符号化信号を入力する合成器入力ステップと、前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離する合成器分離ステップと、前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、前記合成器合成ステップで合成された３次符号化信号を出力する合成器出力ステップと、を備え、
前記合成器合成ステップが、前記基本符号化信号から、前記２次動画像を復元させる基本階層の基本階層係数列に変換する基本符号化信号変換ステップと、前記複数の拡張符号化信号から、前記３次動画像を復元させるときに用いる拡張階層の拡張階層係数列に変換する拡張符号化信号変換ステップと、前記基本符号化信号変換ステップで変換された基本階層係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップで合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換ステップと、を備えたことを特徴とした構成を有している。
【００８３】
さらに、本発明の符号化信号合成プログラムは、請求項４４に記載の符号化信号合成プログラムにおいて、前記基本符号化信号変換ステップが、前記基本符号化信号を、前記基本階層係数列が対数変換により丸められた基本量子化係数符号化信号と、前記基本量子化係数算出時に丸められる余り係数符号化信号と、に多重分離する基本量子化係数多重分離ステップと、前記基本量子化係数符号化信号に係数変換を行い、基本量子化係数列に変換する基本量子化係数変換ステップと、前記余り係数符号化信号に係数変換を行い、余り係数列に変換する余り係数変換ステップと、前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成ステップと、を備えたことを特徴とした構成を有している。
【００８４】
さらに、本発明の符号化信号合成プログラムは、請求項４５に記載の符号化信号合成プログラムにおいて、前記基本量子化係数変換ステップが、ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化した配列パターン符号表を入力する配列パターン入力ステップと、前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号ステップと、前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号ステップと、を備えたことを特徴とした構成を有している。
【００８５】
さらに、本発明の符号化信号合成プログラムは、請求項４４から請求項４６のいずれか１項に記載の符号化信号合成プログラムにおいて、前記拡張符号化信号変換ステップが、複数の前記拡張符号化信号をそれぞれ拡張量子化係数列に復号する拡張量子化係数復号ステップと、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成ステップと、を備えたことを特徴とした構成を有している。
【００８６】
さらに、本発明の符号化信号合成プログラムは、請求項４７に記載の符号化信号合成プログラムにおいて、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とした構成を有している。
【００８７】
さらに、本発明の符号化信号分離合成方法および符号化信号分離合成プログラムは、複数の画像情報から構成される１次動画像を符号化した１次符号化信号を、前記１次動画像の疑似動画像である２次動画像を復元させる前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離するとともに、再構築して、ネットワーク上に伝送する複数の伝送符号化信号に変換する分離器を制御する分離器制御ステップと、前記複数の伝送符号化信号を入力し、転送する前記伝送符号化信号を選択して、前記選択した伝送符号化信号を伝送する伝送路選択器を制御する伝送路選択器制御ステップと、前記伝送路選択器に伝送された複数の伝送符号化信号を入力し、前記３次動画像を復元させる３次符号化信号を合成する合成器を制御する合成器制御ステップと、を備え、
前記分離器制御ステップが、前記１次符号化信号を入力する分離器入力ステップと、前記分離器入力ステップで入力された１次符号化信号を、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する分離器分離ステップと、前記分離器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、前記複数の伝送符号化信号を生成する分離器多重化ステップと、前記分離器多重化ステップで多重化された複数の伝送符号化信号を出力する分離器出力ステップと、を備え、
前記合成器制御ステップが、前記複数の伝送符号化信号を入力する合成器入力ステップと、前記合成器入力ステップで入力された複数の前記伝送符号化信号から、前記基本符号化信号と、前記複数の拡張符号化信号と、に分離する合成器分離ステップと、前記合成器分離ステップで分離された前記基本符号化信号と、複数の前記拡張符号化信号と、を合成し、３次動画像を復元させる３次符号化信号を生成する合成器合成ステップと、前記合成器合成ステップで合成された３次符号化信号を出力する合成器出力ステップと、を備え、
さらに、前記分離器分離ステップが、前記１次符号化信号から前記１次動画像を構成する１次量子化係数値の連続する列である１次量子化係数列に変換する１次係数変換ステップと、前記１次係数変換ステップで変換された前記１次量子化係数列を、ブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離する基本拡張階層分離ステップと、前記基本階層係数列から前記基本符号化信号を生成する基本符号化信号生成ステップと、前記拡張階層係数列から複数の前記拡張符号化信号を生成する拡張符号化信号生成ステップと、を備え、
前記合成器合成ステップが、前記基本符号化信号から、前記基本階層係数列に変換する基本符号化信号変換ステップと、前記複数の拡張符号化信号から、前記拡張階層係数列に変換する拡張符号化信号変換ステップと、前記基本符号化信号変換ステップで変換された基本階層係数列を、前記基本拡張分離係数番号より小さい係数列とし、前記拡張符号化信号変換ステップで変換された拡張階層係数列を前記順番が前記基本拡張分離係数番号以上の係数列として、前記基本階層係数列と前記拡張階層係数列とを合成して３次量子化係数値の連続する列である３次量子化係数列を生成する基本拡張階層合成ステップと、前記基本拡張階層合成ステップで合成された３次量子化係数列を前記３次符号化信号に変換する３次係数変換ステップと、を備えたことを特徴とする符号化信号分離合成方法。
した構成を有している。
【００８８】
さらに、本発明の符号化信号分離合成方法は、請求項２９に記載の符号化信号分離合成方法において、前記分離器分離ステップの基本符号化信号生成ステップが、前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離する基本量子化係数変換ステップと、前記基本量子化係数列を基本量子化係数符号化信号に符号化する基本量子化係数符号化ステップと、前記余り係数列を余り係数符号化信号に符号化する余り係数符号化ステップと、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、を多重化し、前記基本符号化信号を生成する基本量子化係数多重化ステップと、を備え、
前記合成器合成ステップの基本符号化信号変換ステップが、前記基本符号化信号を、前記基本量子化係数符号化信号と、前記余り係数符号化信号と、に多重分離する基本量子化係数多重分離ステップと、前記基本量子化係数符号化信号に係数変換を行い、前記基本量子化係数列に変換する基本量子化係数変換ステップと、前記余り係数符号化信号に係数変換を行い、前記余り係数列に変換する余り係数変換ステップと、前記基本量子化係数列の各係数値に逆対数変換を行い、前記余り係数列の各係数値と加算して、前記基本階層係数列を合成する基本量子化係数合成ステップと、を備えたことを特徴とした構成を有している。
【００８９】
さらに、本発明の符号化信号分離合成方法は、請求項３０に記載の符号化信号分離合成方法において、前記分離器制御ステップの基本量子化係数符号化ステップが、ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表を入力する配列パターン入力ステップと、前記基本量子化係数列の係数値の配列パターンを、前記配列パターンに当てはめ符号化する係数値配列パターン符号化ステップと、前記基本量子化係数列の各係数値のうち、前記ｎ種類の固有値以外の値を符号化する固有値外係数値符号化ステップと、を備え、
前記合成器制御ステップの基本量子化係数変換ステップが、前記配列パターン符号表を入力する配列パターン入力ステップと、前記基本量子化係数符号化信号の符号化値を、前記配列パターン符号表にしたがって前記固有値と、前記固有値以外の値と、に復号する係数値配列パターン復号ステップと、前記固有値以外の値を前記基本量子化係数符号化信号から復号して各係数値を復号する固有値外係数値復号ステップと、を備えたことを特徴とした構成を有している。
【００９０】
さらに、本発明の符号化信号分離合成方法は、請求項２９から請求項３１のいずれか１項に記載の符号化信号分離合成方法において、前記分離器分離ステップの拡張符号化信号生成ステップが、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離する拡張量子化係数分離ステップと、複数の前記拡張量子化係数列をそれぞれ前記拡張符号化信号に符号化する拡張量子化係数符号化ステップと、を備え、
前記合成器合成ステップの拡張符号化信号変換ステップが、複数の前記拡張符号化信号をそれぞれ前記拡張量子化係数列に復号する拡張量子化係数復号ステップと、前記拡張階層分離パターン情報に基づいて前記複数の拡張量子化係数列を前記拡張階層係数列に合成する拡張量子化係数合成ステップと、を備えたことを特徴とした構成を有している。
【００９１】
さらに、本発明の符号化信号分離合成方法は、請求項３２に記載の符号化信号分離合成方法において、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記分離器制御ステップの拡張量子化係数分離ステップが、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報にしたがって複数の前記拡張量子化係数列に分離し、前記合成器制御ステップの拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記分離最小パターン適用単位情報に規定された階層ごとに、前記拡張階層分離最小パターン情報に基づいて前記拡張階層係数列に合成することを特徴とした構成を有している。
【００９２】
さらに、本発明の符号化信号分離合成方法は、請求項３３に記載の符号化信号分離合成方法において、前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定され、前記分離器制御ステップの拡張量子化係数分離ステップが、前記拡張量子化係数列ごとに係数の数が異なるように前記分離方法が規定された前記拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の前記拡張量子化係数列に分離し、前記合成器制御ステップの拡張量子化係数合成ステップが、前記複数の拡張量子化係数列を前記拡張階層分離パターン情報にしたがって前記拡張階層係数列に合成することを特徴とした構成を有している。
【００９３】
さらに、本発明の符号化信号分離合成方法は、請求項３２から請求項３４のいずれか１項に記載の符号化信号分離合成方法において、前記分離器制御ステップが、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信する拡張階層分離パターン情報送信ステップを備え、前記合成器制御ステップが、前記拡張階層分離パターン情報を受信する拡張階層分離パターン情報受信ステップを備えたことを特徴とした構成を有している。
【発明の効果】
【００９４】
本発明は、１次符号化信号を、前記１次符号化信号より符号量が少ない基本符号化信号と、前記基本符号化信号により復元される前記２次動画像より前記１次動画像に近い３次動画像を前記基本符号化信号とともに使用して復元させる複数の拡張符号化信号と、に分離し、分離した前記基本符号化信号と、複数の前記拡張符号化信号と、を任意に組み合わせて多重化し、複数の伝送符号化信号を生成し、出力するとともに、前記１次符号化信号の１次量子化係数列を、係数位置インデックス番号が所定の基本拡張分離係数番号より小さい係数値の列である基本階層係数列と、前記順番が前記基本拡張分離係数番号以上の係数値の列である拡張階層係数列と、に分離して、前記基本符号化信号と、複数の前記拡張符号化信号を生成することにより、独立した分離ストリームを生成し、映像のスケーラブル伝送を実現することができるとともに、基本階層係数列と拡張階層係数列との分離処理が係数の順番で分けるという簡単な処理となり、分離器および合成器の構成が簡素化でき、処理速度の高速化および部品の低価格化を行うことができるものである。
【００９５】
また、本発明は、前記基本階層係数列の各係数値に対して対数変換により係数値を丸めた基本量子化係数の列である基本量子化係数列と、前記基本階層係数列の各係数値と前記基本量子化係数から復元される各係数値との差の列である余り係数列と、に変換して分離することにより、丸められて出現する基本量子化係数の値を大幅に少なくすることができ、可変長符号化による削減できる符号量が大幅に増え、圧縮効率を向上させることができるものである。
【００９６】
さらに、本発明は、ｎ種類の固有値と、これらの固有値以外の値を１種類とした、（ｎ＋１）種類の値による数列の配列パターンを符号化する配列パターン符号表による符号化と、前記固有値以外の値を符号化することにより、符号化するための値の数を劇的に減らすことができ、圧縮効率を向上させることができるものである。
【００９７】
さらに、本発明は、前記拡張階層係数列を複数に分離する分離方法を規定した拡張階層分離パターン情報にしたがって前記拡張階層係数列を複数の拡張量子化係数列に分離することにより、拡張階層分離パターン情報にしたがって拡張階層の分離方法を決めることができ、拡張階層の分離方法を容易に変更することができるものである。
【００９８】
さらに、本発明は、前記拡張階層分離パターン情報が、前記拡張階層係数列の係数を複数に分離するパターンの適用係数の数および分離のパターンを規定した拡張階層分離最小パターン情報と、前記拡張階層分離最小パターンを適用する符号化信号における階層を規定した分離最小パターン適用単位と、を有し、前記拡張階層係数列を前記分離最小パターン適用単位情報に規定された階層ごとに複数の前記拡張量子化係数列に分離することにより、分離パターンを適用する階層を状況に応じて変更することができるものである。
【００９９】
さらに、本発明は、前記拡張階層分離パターン情報が、前記複数の拡張量子化係数列に分離される前記拡張階層係数列の係数の数が前記拡張量子化係数列ごとに異なるように前記分離方法が規定されることにより、各拡張階層系数列によって割り振られる係数の数が異なるので、符号量に差ができ、拡張階層分離パターン情報によってレート制御を行うことができるものである。
【０１００】
さらに、本発明は、前記拡張階層分離パターン情報を、前記拡張符号化信号には含めず、動画像の復号を認めた特定の受信者のみに送信することにより、拡張階層分離パターン情報が受信できない受信者は、拡張階層の復号を行うことができず、拡張階層分離パターン情報をスクランブルキーとして使用することができるものである。
【発明を実施するための最良の形態】
【０１０１】
以下、本発明の実施の形態の符号化信号分離合成システムについて、図面を用いて説明する。
【０１０２】
本発明の符号化信号分離合成システムは、サーバにおけるストリーム分離機能を有するトランスコーダにおいて、独立した分離ストリームを生成し、帯域選択機能を有するルータにおいて、ネットワーク状態に応じた伝送路選択機能を行うことにより映像のスケーラブル伝送を実現する。分離された各ストリームのプライオリティはほぼ等しく、ルータにおける任意の伝送路の選択によりスケーラビリティの実現ができる。
【０１０３】
（第１の実施の形態）
本発明の第１の実施の形態における符号化信号分離合成システムを、図１に示し説明する。
【０１０４】
図１に示すように、符号化信号分離合成システムは、映像を送出するサーバ１０００と、ネットワーク上で伝送路選択を行うルータ２０００と、映像を受信し再生を行うレシーバ３０００ａ、３０００ｂ・・・、３０００ｎと、を備えている。レシーバ３０００ａ、３０００ｂ・・・、３０００ｎは、いくつであっても良い。また、ルータ２０００も、複数備えていても構わない。
【０１０５】
ここで、サーバ１０００に入力されるストリームは、標準の符号化器で生成されたストリームであり、例えば、カメラ６００がとらえた映像を、符号化器７００で符号化したものであったり、コンテンツ蓄積器８００に記憶されたコンテンツのストリームである。また、サーバ１０００は、分離器１０１０を備え、ルータ２０００は、伝送路選択器２０１０を備えている。
【０１０６】
また、レシーバ３０００ａ、３０００ｂ・・・、３０００ｎは、それぞれ合成器３０１０ａ、３０１０ｂ・・・、３０１０ｎおよび復号器３０３０ａ、３０３０ｂ・・・、３０３０ｎを備え、レシーバ３０００ａ、３０００ｂ・・・、３０００ｎにおいて再生を行う復号器３０３０ａ、３０３０ｂ・・・、３０３０ｎは、標準のものに準拠する。
【０１０７】
ここで、レシーバ３０００ａ、３０００ｂ・・・、３０００ｎ、合成器３０１０ａ、３０１０ｂ・・・、３０１０ｎおよび復号器３０３０ａ、３０３０ｂ・・・、３０３０ｎは、それぞれ同様のものであるので、以下では、その１つをレシーバ３０００、合成器３０１０および復号器３０３０として説明する。
【０１０８】
次に、サーバ１０００の分離器１０１０について、図２に示し説明する。
【０１０９】
図２に示すように、分離器１０１０は、すでに符号化されアーカイブ等に蓄積されているストリームやカメラで撮影され符号化されたストリームを入力とし、独立したストリームに分離し出力するものである。また、分離器１０１０は、分離部(separate)１１００と、多重化部(MUX)１６００と、を備えている。
【０１１０】
分離器１０１０による分離ストリーム生成の方法は、多重化部１６００における処理により、以下に示す二つの方式があり、各方式の処理図を図３、図４にそれぞれ示す。
【０１１１】
方式（１）  ロバストネス伝送路のあるネットワークで映像の送出を行う。
【０１１２】
方式（２）  ロバストネス伝送路のないネットワークで映像の送出を行う。
【０１１３】
分離部(separate)１１００は、入力された符号化ストリームを、１本の基本ストリームＢと、Ｍ本の拡張ストリームＥ(ｍ)（０≦ｍ≦Ｍ−１）に分離する。
【０１１４】
多重化部(MUX)１６００は、分離部１１００から出力される基本ストリームＢと拡張ストリームＥ(ｍ)（０≦ｍ≦Ｍ−１）の多重化を、伝送路の特性に応じて行う。その方法は、以下に示す方式（１）と方式（２）とがある。
【０１１５】
方式（１）
方式（１）では、分離ストリームとしてＳｔ(Ｂ)と、Ｌ本のストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）を出力する。基本ストリームＢは、分離ストリームＳｔ(Ｂ)として伝送エラーの発生しないロバストネス伝送路に送出され、拡張ストリームＥ(ｍ)（０≦ｍ≦Ｍ−１）は、各々分離ストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）として伝送される。Ｓｔ(ｌ)を式（１）に示す。
【０１１６】
Ｓｔ(ｌ)＝Ｅ(ｌ)    （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１）                        式（１）
ｌ番目の分離ストリームＳｔ(ｌ)のビットレートRate[Ｓｔ(ｌ)]は、式（２）のように表現できる。
【０１１７】
Rate[Ｓｔ(ｌ)] ＝ Rate[Ｅ(ｌ)]    （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１）        式（２）
方式（２）
方式（２）では、Ｌ本のストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）が出力される。基本ストリームＢは、コピーされすべての拡張ストリームＥ(ｍ)に多重化される。このように、基本ストリームＢを複数の伝送路を用いて伝送することによりネットワーク状態に依存しない再生を保証する。この場合、分離ストリームＳｔ(ｌ)は、式（３）のようにあらわすことができる。ここで、Multiplex[・]は多重化を意味する。
【０１１８】
Ｓｔ(ｌ)＝Multiplex[Ｂ,Ｅ(ｌ)]    （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１）        式（３）
分離ストリームＳｔ(ｌ)のビットレートRate[Ｓｔ(ｌ)]は、式（４）となる。
【０１１９】
Rate[Ｓｔ(ｌ)] ＝ Rate[Ｂ＋Ｅ(ｌ)]    （Ｌ＝Ｍ、０≦ｌ≦Ｍ−１）    式（４）
次に、ルータ２０００の伝送路選択器２０１０について、図５に示し説明する。
【０１２０】
ルータ２０００および伝送路選択器２０１０は、サーバ１０００より出力されたＬ本の分離ストリームＳｔ(ｌ)を入力とし、ネットワーク状況に応じ伝送路選択（伝送路のオン・オフ）により伝送するストリームのレートを制御し、映像のスケーラビリティを実現する。ここで、ルータ２０００より出力されるストリームの総レートRate[Ｓｔ out]を、Rate[Ｓｔ out]＝Σl Rate[Ｓｔ(ｌ)]とする。ルータ２０００の出力ストリームの目標総レートを、Ｒtargetとすると、Rate[Ｓｔ out] ≦ ＲtargetとなるＳｔ(ｌ)の伝送路スイッチをオンにする。
【０１２１】
図６に、伝送路選択器による伝送路選択の具体例を示す。この場合、分離ストリーム数を決定するパラメータＬは、Ｌ＝６である。目標レートＲtargetが与えられた際に、Rate[Ｓｔ out] ≦ Ｒtargetを実現するためストリームＳｔ(０)、Ｓｔ(２)、Ｓｔ(３)、Ｓｔ(５)の伝送路スイッチをオンにすることで、Rate[Ｓｔ(０)＋Ｓｔ(２)＋Ｓｔ(３)＋Ｓｔ(５)] ≦ Ｒtargetを実現している。
【０１２２】
次に、レシーバ３０００の合成器３０１０について、説明する。合成器３０１０は、入力されるＬ’本のストリームＳｔ(ｌ)を合成し、映像再生を行う。映像品質は、受信するストリームの総レートのみに依存し、受信ストリームの種類に依存しない。受信するストリームの総レートは、ルータ２０００における伝送路選択により決定される。
【０１２３】
レシーバ３０００の合成器３０１０のブロック図を、図７に示し説明する。
【０１２４】
図７に示すように、合成器３０１０は、多重分離部（DEMUX）３１００と、基本ストリーム選択器（B-Selector）３２００と、合成部（merge）３３００と、を備え、さらに、レシーバ３０００は、合成制御器（merge controller）３０２０を備えている。また、合成制御器３０２０については、合成器３０１０に含まれる構成であっても構わない。
【０１２５】
また、上記方式（１）、方式（２）に対応する合成器３０１０のブロック図を、図８、図９にそれぞれ示す。
【０１２６】
多重分離部（DEMUX）３１００は、入力されるＬ’本のストリームＳｔ(ｌ)を、α本の基本ストリームＢと、Ｍ’本の拡張ストリームＥ(ｍ)に分割する。ここで、αは、多重分離部３１００に入力されるすべての分離ストリームＳｔ(ｌ)内に多重化されている基本ストリームＢの総数を示し、上記方式（１）、方式（２）に応じてその数は異なり、式（５）に示すようになる。
【０１２７】
【数３】
2005286863.tif 000005
【０１２８】
また、ストリーム分割時に検出されるストリームに発生した誤り等の情報は、合成制御器３０２０に渡す。
【０１２９】
基本ストリーム選択器（B-Selector）３２００は、合成制御器３０２０からの制御を受け、入力されるα本のＢストリームからビット誤りの少ない１本のストリームを選択し出力する。この際、（α−１）本の基本ストリームＢは破棄される。
【０１３０】
合成部（merge）３３００は、合成制御器３０２０からの制御を受け、入力される基本ストリームＢと拡張ストリームＥ(ｍ) （０ ≦  ｍ  ≦ Ｍ’−１）を合成し、合成ストリームを出力する。したがって、合成部３３００に入力された拡張ストリームＥ(ｍ)のすべてが合成されるというわけではない。
【０１３１】
合成制御器（merge controller）３０２０は、ネットワーク上の誤り検出器から誤り訂正情報、また、多重分離部３１００、合成部３３００における処理において検出される誤り情報を受け取り、基本ストリームＢについての情報は基本ストリーム選択器３２００に対して、拡張ストリームＥ(ｍ)についての情報は合成部３３００に対して、制御をかけ、誤り訂正が不可能とされたストリームを合成制御器３０２０において切り捨てる処理を行う。
【０１３２】
（符号化シンタックス）
以下、マクロブロックを構成するブロック単位で行われる分離、合成信号処理、またストリームを構成するデータ構造について説明する。
【０１３３】
まず、ストリームの構成およびフォーマットについて説明する。
【０１３４】
本発明におけるビットストリームの形態は、メインプロファイル準拠のＭＰＥＧ−２ビットストリーム(分離前ＭＰＥＧ−２)を入力とし、基本ストリームとＭ本の拡張ストリームに分離する。以下では、ＭＰＥＧ−２を例として説明するが、その他の動き補償予測つきのＤＣＴ動画像符号化方式（ＩＴＵ−Ｔ  Ｈ．２６１、ＩＴＵ−Ｔ  Ｈ．２６３、ＩＳＯ／ＩＥＣ  １４４９６−２（通称「ＭＰＥＧ−４」）、ＩＴＵ−Ｔ  Ｈ．２６４など）に対してもそのＤＣＴ係数符号化の部分に対して同様の構成をとることができる。
【０１３５】
基本ストリームは、ビットレートが削減されＭＰＥＧ−２ビットストリームとして出力される。拡張ストリームには、レート削減時の再量子化処理において発生する予測誤差情報より構成される予測誤差ストリームとレート削減前後間での差分情報より構成される差分ビットストリームがある。
【０１３６】
拡張ストリームのビットストリームフォーマットを、図１０に示し説明する。
【０１３７】
図１０に示すように、拡張ストリームのビットストリームフォーマットは、ＭＰＥＧ−２シンタックスのビットストリームフォーマットを基本とし、シーケンス層、ＧＯＰ層、ピクチャ層、スライス層、マクロブロック（以後、ＭＢ）層、ブロック層からなる階層構造を有する。拡張ストリームは、シーケンスヘッダから始まり、ピクチャ枚数分のピクチャ層へと続く。ピクチャ層データは、ピクチャヘッダとピクチャデータから成る。ピクチャデータは、複数のスライス層データから構成され、スライス層データは、スライスヘッダとそれに続くＭＢ層のデータから構成される。
【０１３８】
本発明では、シーケンスヘッダ、ＧＯＰヘッダ、ピクチャヘッダ、スライスヘッダのビットフィールドはＭＰＥＧ−２に等しい。ただし、スライス層には、スライスヘッダとＭＢデータの間にユーザデータを定義し、ユーザデータには、図１１に示すスライス層における本方式独自の属性が記述されている。ＭＢ層データは、ＭＢ属性情報と係数情報から構成される。ＭＢ属性情報を、図１２に示す。スライス層のユーザデータは、スライス層における分離・合成に利用され、ＭＢ属性情報内に含まれる情報はＭＢ層における分離・合成に利用される。拡張階層分離最小パター適用単位および拡張階層分離最小パターンについては、後述する。
【０１３９】
次に、ストリーム間の同期について、説明する。
【０１４０】
シーケンスヘッダ、ピクチャヘッダ、スライスヘッダは、それぞれＧＯＰ単位、ピクチャ単位、スライス単位で出力するＭＰＥＧ−２ビットストリームとの同期をとるために利用される。同期の最小単位であるスライス単位では、スライスヘッダ内のＳＳＣ（Slice Start Code）が等しくなるように同期をとる。ここで、スライスヘッダ内のＳＳＣとは、スライス層の始まりを示す同期コードであり、コードの最後の１バイトがスライスの垂直位置を表している。
【０１４１】
次に、ストリーム生成の原理について、説明する。
【０１４２】
ブロックレイヤデータは、再量子化を行い再量子化前後での量子化係数値の変化差分情報を符号化する。本変化差分情報と再量子化出力係数を符号化したものを合成することで、再量子化前の係数情報が完全に復元可能である。このとき、再量子化出力係数が基本階層として符号化され基本ストリームＢとなる。再量子化前後での係数差分情報を拡張階層とすると、拡張階層は順にＮ個の拡張量子化係数列に分離される。再量子化により発生する予測誤差情報は予測誤差係数列となり、予測誤差係数列と拡張量子化係数列がそれぞれ符号化されＭ本の拡張ストリームＥ(ｍ)が生成される。このとき、Ｍ本の拡張ストリームＥ(ｍ)のレートはほぼ等しいレートに生成可能である。
【０１４３】
次に、分離器１０１０の分離部(separate)１１００について、説明する。
【０１４４】
分離部(separate)１１００の一実施形態である分離部(separate)１１００ａのブロック図を、図１３に示す。
【０１４５】
分離部１１００ａは、係数情報分離部１２６０、可変長復号器（ＶＬＤ）１１１０、ランレベル係数変換器１１２０、基本拡張階層分離器１１３０、基本量子化係数変換器１１４０、拡張量子化係数分離器１１５０、基本再スキャン器１１６０、予測誤差再スキャン器１１７０、拡張再スキャン器１１８１、１１８２、１１８３、基本可変長符号化器（ＶＬＣ基本）１２１０、予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０、拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１、（ＶＬＣ・Ｆ1）１２３２、（ＶＬＣ・ＦN-1）１２３３および係数情報多重化部１２７０ａを備え、符号化ストリーム（１次符号化信号）を入力し、基本符号化信号Ｂ、拡張符号化信号Ｅ（０）、Ｅ（１）、Ｅ（２）・・・、Ｅ（Ｍ−１）を出力するものである。
【０１４６】
分離部１１００ａの係数情報分離部１２６０は、入力された符号化ストリーム（１次符号化信号）を、係数情報と係数情報以外に分離し、出力するものである。この場合、係数情報は、２次元ランレングスによりハフマン符号化された量子化係数符号であり、係数情報以外とはＭＢ層のデータとイントラＭＢのＤＣ係数符号である。
【０１４７】
可変長復号器（ＶＬＤ）１１１０は、係数情報分離部１２６０に分離された係数情報を、可変長復号し、ランレベル情報に変換するものである。
【０１４８】
ランレベル係数変換器１１２０は、ＶＬＤ１１１０に復号されたランレベル情報を、係数変換し、１次元の量子化係数列Ｘに変換するものである。
【０１４９】
基本拡張階層分離器１１３０は、ランレベル係数変換器１１２０に変換された量子化係数列Ｘを、基本階層の係数列Ｂと、拡張階層の係数列Ｅと、に分離するものである。
【０１５０】
ここで、基本拡張階層分離器１１３０における基本階層と拡張階層の分離処理について、詳しく説明する。
【０１５１】
基本拡張階層分離器１１３０における基本階層と拡張階層の分離は、係数の打ち切りにより行う。基本拡張階層分離器１１３０に入力される１次量子化係数列Ｘを、下記式（６）のように定義する。
【０１５２】
Ｘ＝｛ｘ0，ｘ1，ｘ2・・・，ｘi・・・，ｘ63｝    （０≦ｉ≦６３）    式（６）
ここで、ｉはブロック内の参照順序をジグザグスキャンの順番とした際の係数位置インデックス番号を表す。基本階層は、量子化係数のうちインデックス番号が基本拡張分離係数番号ＢTHより小さい係数列とし、基本拡張分離係数番号ＢTH以上の係数を拡張階層を構成する係数とする。
【０１５３】
以上より、基本階層係数列Ｂ、拡張階層係数列Ｅは、下記式（７）となる。
【０１５４】
【数４】
2005286863.tif 000006
【０１５５】
また、基本拡張階層分離器１１３０における１次量子化係数列Ｘの分離処理例を、図１４に示す。図１４では、ＢTHを「３」として分離処理を行っている。
【０１５６】
図１４に示すように、１次量子化係数列Ｘ＝｛８，２，０，３，１，−３，０，６，５，−１，０，１，１，−２，０，０，０，０，−４，１，０，０，２｝を、基本階層係数列Ｂと、拡張階層係数列Ｅと、に分離すると、
Ｂ＝｛８，２，０｝
Ｅ＝｛３，１，−３，０，６，５，−１，０，１，１，−２，０，０，０，０，−４，１，０，０，２｝
となる。
【０１５７】
続いて、基本量子化係数変換器１１４０は、基本拡張階層分離器１１３０によって分離された基本階層係数列Ｂを入力し、符号量削減のための変換、一般的には量子化を行い、基本量子化係数列Ｃと、前記基本階層係数列Ｂと前記基本量子化係数列Ｃとの差分情報である余り係数列（予測誤差係数列）Ｄと、に変換するものである。
【０１５８】
ここで、基本量子化係数列Ｃとは、基本階層係数列Ｂの各係数値に対して符号量削減のための変換を行った基本量子化係数の列である。また、余り係数列Ｄとは、前記基本階層係数列Ｂの各係数値と、前記基本量子化係数列Ｃの基本量子化係数から復元される各係数値との差である余り係数値（予測誤差係数値）の列である。
【０１５９】
ここで、基本量子化係数変換器１１４０における基本量子化係数列Ｃおよび余り係数列Ｄの生成処理について、詳しく説明する。
【０１６０】
基本量子化係数変換器１１４０における基本量子化係数列Ｃの生成は、基本階層係数列Ｂの各係数値の絶対値に対して底を２とする対数をとることにより行う。この対数変換処理により求められた値の整数値を、基本量子化係数列Ｃの各係数値とすることにより、係数値の表現範囲を小さくして、符号量を抑えることができる。
【０１６１】
基本量子化係数変換器１１４０に入力される基本階層係数列Ｂを、下記式（８）と定義する。
【０１６２】
Ｂ＝｛ｂ0，ｂ1，ｂ2・・・，ｂi・・・｝    （０≦ｉ＜ＢTH）    式（８）
また、基本階層係数列Ｂに対して対数をとった係数より構成される基本量子化係数列Ｃと、余り係数列Ｄをそれぞれ下記式（９）と定義する。
【０１６３】
【数５】
2005286863.tif 000007
【０１６４】
このとき、基本階層係数ｂｉに対して対数をとった基本量子化係数ｃｉは、式（８）、式（９）より下記式（１０）のように示される。
【０１６５】
ｃi＝ func1（ｂｉ）    （０≦ｉ＜ＢTH）    式（１０）
このとき、 func1 は、底を２とする対数であり、下記式（１１）により表される。
【０１６６】
func1（ｘ）＝ SIGN（ｘ）［log2（｜ｘ｜）］        式（１１）
ただし、［・］は、整数値への変換とする。
【０１６７】
式（９）より、余り係数列ｄiは、下記式（１２）のようにして求められる。
【０１６８】
ｄi＝ｂi− func2（ｃi）    （０≦ｉ＜ＢTH）    式（１２）
ここで、 func2 は、 func1 の逆関数であり、下記式（１３）により表される。
【０１６９】
func2（ｘ）＝ SIGN（ｘ） ２＾（｜ｘ｜）        式（１３）
したがって、上記基本階層係数列Ｂ＝｛８，２，０｝を、基本量子化係数列Ｃと、余り係数列Ｄと、に変換すると、
Ｃ＝｛３，１，０｝
Ｄ＝｛０，０，０｝
となる。
【０１７０】
続いて、拡張量子化係数分離器１１５０は、基本拡張階層分離器１１３０によって分離された拡張階層係数列Ｅを入力するとともに、外部から拡張階層分離パターン情報を入力し、前記拡張階層分離パターン情報にしたがって前記拡張階層係数列Ｅを複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離するものである。
【０１７１】
ここで、拡張階層分離パターン情報とは、拡張階層係数列Ｅを複数に分離する分離方法を規定した情報である。また、拡張階層分離パターン情報は、拡張階層分離最小パターン適用単位と、拡張階層分離最小パターン情報と、を有する。拡張階層分離最小パターン適用単位と拡張階層分離最小パターン情報は、拡張ストリームのビットストリームフォーマットで説明したように、スライス層におけるユーザデータと、ＭＢ層におけるＭＢ属性情報に格納される。
【０１７２】
拡張階層分離最小パターン適用単位とは、拡張階層分離最小パターンを適用する符号化信号における階層を規定したものである。拡張階層分離最小パターン情報とは、前記拡張階層係数列Ｅの係数を複数に分離するパターンの適用係数の数および分離のパターンを規定したものである。
【０１７３】
拡張階層分離最小パターンは、拡張階層係数列Ｅの各係数値を、複数の拡張階層係数列（Ｆ0、Ｆ1・・・、Ｆn・・・、ＦN-1）にどのような順番で割り振るのかを、拡張階層の分離先階層番号Ｇjのならびにより規定したものであり、Ｊ個の組から構成されており、ひとつの組は拡張階層の分離先階層番号ＧjがＨj（０≦ｊ≦Ｊ−１）個連なったものである。この拡張階層の分離先階層番号Ｇjのならびの様子を下記に示す。
【０１７４】
【数６】
2005286863.tif 000008
【０１７５】
そこで、拡張階層分離最小パターン情報は、組の数Ｊ、分離先階層番号Ｇｊ、組内の要素数Ｈｊにより表現する。
【０１７６】
また、前記拡張階層分離パターン情報において、前記拡張階層係数列Ｅの係数の数が前記拡張量子化係数列（Ｆ0、Ｆ1・・・、ＦN-1）ごとに異なるように前記分離方法を規定することにより、各拡張量子化係数列から生成される拡張符号化信号の符号量に差ができ、送信時のレート制御を行うことができる。
【０１７７】
また、前記拡張階層分離パターン情報を、拡張ストリームに含まず、動画像の復号を認めた特定の受信者のみにサーバ１０００で別に送信することにより、拡張階層分離パターン情報をスクランブルキーとして使用することができる。
【０１７８】
以下、拡張量子化係数分離器１１５０における拡張階層係数列Ｅから複数の拡張量子化係数列Ｆn（０≦ｎ≦Ｎ−１）への分離処理について、詳しく説明する。
【０１７９】
拡張量子化係数分離器１１５０における拡張量子化係数列Ｆn（０≦ｎ≦Ｎ−１）への分離は、拡張階層分離パターン情報にしたがって行う。この拡張階層分離パターン情報により、スライスまたはブロックごとに拡張階層分離最小パターンにしたがって分離処理を行う。
【０１８０】
拡張量子化係数分離器１１５０に入力される拡張階層係数列Ｅを、下記式（１５）と定義する。
【０１８１】
Ｅ＝｛ｅ0，ｅ1，ｅ2・・・，ｅs-1・・・，ｅS-1｝    （０≦ｓ≦Ｓ−１）    式（１５）
ここで、Ｓ＝６４−ＢTHである。
【０１８２】
「拡張階層分離パターン情報によるレート制御方法の分離例」
拡張量子化係数列数Ｎ＝４、外部より与えられる拡張階層分離最小パターン適用単位をブロック、拡張階層分離最小パターン情報を下記式（１６）とした場合の拡張階層係数列Ｅの分離処理（ブロック内拡張階層分離処理）の様子を、図１５に示す。
【０１８３】
【数７】
2005286863.tif 000009
【０１８４】
拡張階層分離最小パターンは、式（１６）より下記式（１７）のようになることがわかる。
【０１８５】
【数８】
2005286863.tif 000010
【０１８６】
式（１６）より、各拡張量子化係数列Ｆn（０≦ｎ≦３）は、下記式（１８）のように示される。
【０１８７】
【数９】
2005286863.tif 000011
【０１８８】
したがって、上記拡張階層係数列Ｅ＝｛３，１，−３，０，６，５，−１，０，１，１，−２，０，０，０，０，−４，１，０，０，２・・・｝を、上記拡張階層分離最小パターンで、拡張量子化係数列Ｆ0、Ｆ1、Ｆ2、Ｆ3に分離すると、
Ｆ0＝｛３，−２｝
Ｆ1＝｛１，−３，０，０｝
Ｆ2＝｛０，６，５，０，０，−４｝
Ｆ3＝｛−１，０，１，１，１，０，０，２｝
となり、以下１０係数ずつ上記拡張階層分離最小パターンの順で分離される。
【０１８９】
「拡張階層分離パターン情報によるスクランブル実現方法の分離例」
拡張量子化係数列数Ｎ＝４、外部より与えられる拡張階層分離最小パターン適用単位をブロック、拡張階層分離最小パターン情報を下記式（１９）とした場合の拡張階層係数列Ｅの分離処理（ブロック内拡張階層分離処理）の様子を、図１６に示す。
【０１９０】
【数１０】
2005286863.tif 000012
【０１９１】
拡張階層分離最小パターンは、式（１９）より下記式（２０）のようになることがわかる。
【０１９２】
【数１１】
2005286863.tif 000013
【０１９３】
式（１９）より、各拡張量子化係数列Ｆn（０≦ｎ≦３）は、下記式（２１）のように示される。
【０１９４】
【数１２】
2005286863.tif 000014
【０１９５】
したがって、上記拡張階層係数列Ｅ＝｛３，１，−３，０，６，５，−１，０，１，１，−２，０，０，０，０，−４，１，０，０，２・・・｝を、上記拡張階層分離最小パターンで、拡張量子化係数列Ｆ0、Ｆ1、Ｆ2、Ｆ3に分離すると、
Ｆ0＝｛３，０，１，−２，０，｝
Ｆ1＝｛１，−３，０，０，０，−４｝
Ｆ2＝｛６，５，１，０｝
Ｆ3＝｛−１，０，１，０，２｝
となり、以下２０係数ずつ上記拡張階層分離最小パターンの順で分離される。
【０１９６】
続いて、基本再スキャン器１１６０および基本可変長符号化器（ＶＬＣ基本）１２１０は、基本量子化係数変換器１１４０に生成された基本量子化係数列Ｃを、再スキャンし、可変長符号化し、基本量子化係数符号化信号を生成するものである。
【０１９７】
ここで、基本可変長符号化器（ＶＬＣ基本）１２１０における基本量子化係数列Ｃの可変長符号化処理の一例について、詳しく説明する。
【０１９８】
基本可変長符号化器（ＶＬＣ基本）１２１０における基本量子化係数列Ｃの可変長符号化は、基本量子化係数列Ｃの係数の値をパターンで表現したものを用いる。このパターン表現により、係数そのものの値の表現が必要な係数が減少し、符号量の削減を行うことができる。
【０１９９】
ここで、基本量子化係数列Ｃ内に存在する係数の個数（０係数を含む）をβ（＝ＢTH）個とし、以下の手順で行う。
【０２００】
１．β個の基本量子化係数ｃiの係数値を「０」、「１」、「２以上」の３パターンで表現し、３β個の配列パターン符号表を用いて符号化する。
【０２０１】
２．２以上の係数パターンに分類された値については、その値を可変長符号化する。
【０２０２】
例えば、上記のように変換された基本量子化係数列Ｃ＝｛３，１，０｝の場合、基本量子化係数列Ｃ内に存在する係数の個数は３であるので、３3＝２７パターンを持つ配列符号表を用いて、符号化する。
【０２０３】
図１７、図１８に、係数の個数が３つの場合の配列符号表を示す。
【０２０４】
これにより、２７パターンの配列符号表から求められた符号化値と、２以上の係数値であるｃ1＝３のみを符号化して、基本量子化係数符号化信号とすることができる。上記に示した配列符号表を用いた場合、基本量子化係数列Ｃ＝｛３，１，０｝は、［０１１１００］、ｃ1＝３は、［１０］という符号語により符号することができる。
【０２０５】
続いて、予測誤差再スキャン器１１７０および予測誤差可変長符号化器（ＶＬＣ予測誤差）１２２０は、基本量子化係数変換器１１４０に生成された余り係数列Ｄを、再スキャンし、余り係数のランレベル係数値を生成し、この余り係数のランレベル係数値を、可変長符号化し、余り係数符号化信号を生成し、拡張符号化信号Ｅ（０）として出力するものである。
【０２０６】
拡張再スキャン器１１８１、１１８２、１１８３は、拡張量子化係数分離器１１５０に生成されたそれぞれの拡張量子化係数列Ｆ0、Ｆ1、ＦN-1を、再スキャンし、拡張量子化係数のランレベル係数値を生成するものである。
【０２０７】
拡張可変長符号化器（ＶＬＣ・Ｆ0）１２３１、（ＶＬＣ・Ｆ1）１２３２、（ＶＬＣ・ＦN-1）１２３３は、それぞれ拡張再スキャン器１１８１、１１８２、１１８３に生成された拡張量子化係数のランレベル係数値を、可変長符号化し、拡張符号化信号Ｅ（１）、Ｅ（２）、Ｅ（Ｍ−１）を生成するものである。
【０２０８】
係数情報多重化部１２７０ａは、ＶＬＣ基本１２１０に生成された基本量子化係数符号化信号と、係数情報分離部１２６０に分離された係数情報以外のデータと、を入力し、多重化して、基本符号化信号Ｂを生成するものである。
【０２０９】
以上説明したように、分離部１１００ａにおいて、符号化ストリーム（１次符号化信号）を入力して、基本符号化信号Ｂ、拡張符号化信号Ｅ（０）、Ｅ（１）、Ｅ（２）・・・、Ｅ（Ｍ−１）を生成することができる。
【０２１０】
次に、合成器３０１０ｘの合成部(merge)３３００ａについて、説明する。
【０２１１】
合成部(merge)３３００ａのブロック図を、図１９に示す。
【０２１２】
合成部３３００ａは、係数情報分離部３４５０ａ、基本可変長復号器（ＶＬＤ基本）３３１０、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０、拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１、（ＶＬＤ・Ｅ（１））３３３２、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３、基本係数変換器３３４０、予測誤差係数変換器３３５０、拡張係数変換器３３６１、３３６２、３３６３、基本量子化係数合成器３３７０、拡張量子化係数合成器３３８０、基本拡張階層合成器３３９０、ランレベル係数変換器３４１０、可変長符号化器（ＶＬＣ）３４２０および係数情報多重化部３４６０を備え、基本符号化信号Ｂ*、拡張符号化信号Ｅ*（０）、Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）を入力し、合成ストリーム（３次符号化信号）を出力するものである。
【０２１３】
合成部３３００ａの係数情報分離部３４５０ａは、入力された基本符号化信号Ｂ*を、係数情報と係数情報以外に分離し、出力するものである。この場合、係数情報は、２次元ランレングスによりハフマン符号化された量子化係数符号であり、係数情報以外とはＭＢ層のデータとイントラＭＢのＤＣ係数符号である。
【０２１４】
基本可変長復号器（ＶＬＤ基本）３３１０および基本係数変換器３３４０は、係数情報分離部３４５０ａに分離された係数情報を、可変長復号し、基本量子化係数列Ｃ*に変換するものである。
【０２１５】
ここで、上記分離部１１００ａの基本可変長符号化器（ＶＬＣ基本）１２１０に対応する基本可変長復号器（ＶＬＤ基本）３３１０および基本係数変換器３３４０について、説明する。
【０２１６】
上記ＶＬＣ基本１２１０では、２７パターンの配列パターン符号表を用い、この配列パターン符号表の符号化値と、係数値の値が「２以上」の係数に対して符号化している。したがって、ＶＬＤ基本３３１０には、係数情報分離部３４５０ａから２７配列パターン符号表の符号化値と、２以上の係数の符号化値と、が入力される。上記ＶＬＣ基本１２１０において説明した値を用いると、２７配列パターン符号表の符号化値からは｛２以上の値、１，０｝、２以上の係数の符号化値として「３」、が入力される。したがって、基本量子化係数列Ｃ*＝｛３，１，０｝が得られる。
【０２１７】
続いて、予測誤差可変長復号器（ＶＬＤ予測誤差）３３２０および予測誤差係数変換器３３５０は、入力された拡張符号化信号Ｅ*（０）を、可変長復号し、余り係数（予測誤差係数）のランレベル情報に変換し、さらに、余り係数列（予測誤差係数列）Ｄ*に変換するものである。
【０２１８】
拡張可変長復号器（ＶＬＤ・Ｅ（０））３３３１、（ＶＬＤ・Ｅ（１））３３３２、（ＶＬＤ・Ｅ（Ｎ’−１））３３３３は、それぞれ入力された拡張符号化信号Ｅ*（０）、Ｅ*（１）、Ｅ*（Ｍ’−１）を、可変長復号し、拡張量子化係数のランレベル情報に変換するものである。
【０２１９】
拡張係数変換器３３６１、３３６２、３３６３は、それぞれＶＬＤ・Ｅ（０）３３３１、ＶＬＤ・Ｅ（１）３３３２、ＶＬＤ・Ｅ（Ｎ’−１）３３３３に変換された拡張量子化係数のランレベル情報を、拡張量子化係数列Ｆ*0、Ｆ*1、Ｆ*N'-1に変換するものである。
【０２２０】
基本量子化係数合成器３３７０は、基本係数変換器３３４０に変換された基本量子化係数列Ｃ*と、予測誤差係数変換器３３５０に変換された余り係数列（予測誤差係数列）Ｄ*と、を合成し、基本階層係数列Ｂ*を生成するものである。
【０２２１】
ここで、上記分離部１１００ａの基本量子化係数変換器１１４０に対応する基本量子化係数合成器３３７０について、説明する。
【０２２２】
上記基本量子化係数変換器１１４０では、基本階層係数列Ｂの各係数値に対して底を２とする対数変換を行い、この対数変換処理により求められた値の整数値を、基本量子化係数列Ｃの各係数値としている。また、前記基本階層係数列Ｂの各係数値と基本量子化係数列Ｃの各係数値の逆対数変換により求められる値との差を余り係数列（予測誤差係数列）Ｄの各係数値としている。
【０２２３】
ここで、基本量子化係数合成器３３７０に入力される基本量子化係数列Ｃ*と、余り係数列（予測誤差係数列）Ｄ*を下記式（２２）と定義する。
【０２２４】
【数１３】
2005286863.tif 000015
【０２２５】
また、基本量子化係数合成器３３７０で生成される基本階層係数列Ｂ*を、下記式（２３）と定義する。
【０２２６】
Ｂ*＝｛ｂ*0、ｂ*1・・・、ｂ*i・・・｝    （０≦ｉ＜ＢTH）    式（２３）
式（２２）、式（２３）より、下記式（２４）に示すように、基本階層係数列Ｂ*は、Ｃ*に func3 の処理を行った値にＤ*が付加され、生成される。
【０２２７】
ｂ*i＝ func3（ｃ*i）＋ｄ*i    式（２４）
ここで、 func3 は分離処理における func2 の処理に等しく、 func1 の逆関数であり、下記式（２５）により表される。
【０２２８】
func3（ｘ）＝ SIGN（ｘ） ２＾（｜ｘ｜）        式（２５）
したがって、基本量子化係数列Ｃ*＝｛３，１，０｝と、余り係数列Ｄ*＝｛０，０，０｝と、を入力し、基本階層係数列Ｂ*に合成すると、
Ｂ*＝｛８，２，０｝
となる。
【０２２９】
続いて、拡張量子化係数合成器３３８０は、ＶＬＤ・Ｅ（０）３３３１、ＶＬＤ・Ｅ（１）３３３２・・・、ＶＬＤ・Ｅ（Ｎ’−１）３３３３に変換された拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を入力するとともに、外部から拡張階層分離パターン情報を入力し、前記拡張階層分離パターン情報にしたがって前記拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を拡張階層係数列Ｅ*に合成するものである。
【０２３０】
ここで、上記分離部１１００ａの拡張量子化係数分離器１１５０に対応する拡張量子化係数合成器３３８０について、説明する。
【０２３１】
上記拡張量子化係数分離器１１５０では、拡張階層分離パターン情報にしたがって拡張階層係数列Ｅを複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に分離している。したがって、拡張量子化係数合成器３３８０では、複数の拡張量子化係数列Ｆ*0、Ｆ*1・・・、Ｆ*N'-1を、拡張階層分離パターン情報にしたがって拡張階層係数列Ｅ*に合成する。
【０２３２】
拡張量子化係数合成器３３８０では、スライス層におけるユーザデータで規定された拡張ストリーム番号ｍから拡張量子化係数列のインデックス番号ｎを求め、ｎを用いて拡張量子化係数列Ｆ*n（０≦ｎ≦Ｎ’−１）を下記式（２６）のように定義する。
【０２３３】
【数１４】
2005286863.tif 000016
【０２３４】
これらの拡張量子化係数列Ｆ*nを、拡張階層分離パターン情報にしたがって合成し、拡張階層係数列Ｅ*を生成する。
【０２３５】
以上により、拡張階層係数列Ｅ*は、下記式（２７）のように生成される。
【０２３６】
【数１５】
2005286863.tif 000017
【０２３７】
さらに、上記拡張量子化係数分離器１１５０において示した「拡張階層分離パターン情報によるレート制御方法の分離例」と「拡張階層分離パターン情報によるスクランブル実現方法の分離例」の二つの分離例により生成された複数の拡張量子化係数列Ｆ0、Ｆ1・・・、ＦN-1に対応する拡張量子化係数列Ｆnの合成例について説明する。
【０２３８】
拡張量子化係数列Ｆ*0、Ｆ*1、Ｆ*2、Ｆ*3を下記式（２９）に定義する。
【０２３９】
【数１６】
2005286863.tif 000018
【０２４０】
「拡張階層分離パターン情報によるレート制御方法の合成例」
ユーザデータにおいて拡張階層Ｎ＝４、上記式（１６）に示す拡張階層の分離最小パターンが規定されており、分離最小パターン適用単位はブロック単位である。このとき、拡張量子化係数列Ｆ*0、Ｆ*1、Ｆ*2、Ｆ*3を合成すると、下記式（３０）に示すように拡張階層係数列Ｅ*を生成することができる。
【０２４１】
Ｅ*＝｛ｆ*00，ｆ*10，ｆ*11，ｆ*20，ｆ*21，ｆ*22，ｆ*30，ｆ*31，ｆ*32，ｆ*33，ｆ*01，ｆ*12，ｆ*13，・・・｝    式（３０）
したがって、上記拡張量子化係数列
Ｆ*0＝｛３，−２｝
Ｆ*1＝｛１，−３，０，０｝
Ｆ*2＝｛０，６，５，０，０，−４｝
Ｆ*3＝｛−１，０，１，１，１，０，０，２｝
を、上記拡張階層分離最小パターンで、拡張階層係数列Ｅ*に合成すると、
Ｅ*＝｛３，１，−３，０，６，５，−１，０，１，１，−２，０，０，０，０，−４，１，０，０，２｝
となり、以下１０係数ずつ上記拡張階層分離最小パターンの順で合成される。また、この拡張階層係数列Ｅ*の合成処理（ブロック内拡張階層合成処理）の様子を、図２０に示す。
【０２４２】
「拡張階層分離パターン情報によるスクランブル実現方法の合成例」
ユーザデータにおいて拡張階層Ｎ＝４、上記式（１９）に示す拡張階層の分離最小パターンが規定されており、分離最小パターン適用単位はブロック単位である。このとき、拡張量子化係数列Ｆ*0、Ｆ*1、Ｆ*2、Ｆ*3を合成すると、下記式（３１）に示すように拡張階層係数列Ｅ*を生成することができる。
【０２４３】
Ｅ*＝｛ｆ*00，ｆ*10，ｆ*11，ｆ*01，ｆ*20，ｆ*21，ｆ*30，ｆ*31，ｆ*32，ｆ*02，ｆ*03，ｆ*04，ｆ*12，ｆ*13，ｆ*14，ｆ*15，ｆ*22，ｆ*23，ｆ*33，ｆ*34・・・｝    式（３１）
したがって、上記拡張量子化係数列
Ｆ*0＝｛３，０，１，−２，０，｝
Ｆ*1＝｛１，−３，０，０，０，−４｝
Ｆ*2＝｛６，５，１，０｝
Ｆ*3＝｛−１，０，１，０，２｝
を、上記拡張階層分離最小パターンで、拡張階層係数列Ｅ*に合成すると、
Ｅ*＝｛３，１，−３，０，６，５，−１，０，１，１，−２，０，０，０，０，−４，１，０，０，２｝
となり、以下２０係数ずつ上記拡張階層分離最小パターンの順で合成される。また、この拡張階層係数列Ｅ*の合成処理（ブロック内拡張階層合成処理）の様子を、図２１に示す。
【０２４４】
続いて、基本拡張階層合成器３３９０は、基本量子化係数合成器３３７０に生成された基本階層係数列Ｂ*と、拡張量子化係数合成器３３８０に生成された拡張階層係数列Ｅ*と、を合成して、合成量子化係数列（３次量子化係数列）Ｘ*を生成するものである。
【０２４５】
ここで、上記分離部１１００ａの基本拡張階層分離器１１３０に対応する基本拡張階層合成器３３９０について、説明する。
【０２４６】
上記基本拡張階層分離器１１３０では、係数の打ち切りにより、基本階層係数列Ｂと、拡張階層係数列Ｅと、の分離を行っている。
【０２４７】
ここで、基本拡張階層合成器３３９０に入力される基本階層係数列Ｂ*と、拡張階層係数列Ｅ*を下記式（３２）と定義する。
【０２４８】
【数１７】
2005286863.tif 000019
【０２４９】
また、基本拡張階層合成器３３９０で生成される合成量子化係数列Ｘ*を、下記式（３３）と定義する。
【０２５０】
Ｘ*＝｛ｘ*0、ｘ*1、ｘ*2・・・、ｂ*i・・・、ｘ*63｝    （０≦ｉ≦６３）    式（３３）
基本拡張階層合成器３３９０の処理では、基本階層係数列Ｂ*の係数をインデックス番号にしたがい、ブロック内の対応する位置への係数の値を挿入する。次に、ブロック内のインデックス番号において、ＢTH以上のインデックス番号に拡張階層係数列Ｅ*の係数を順番に挿入し、合成量子化係数列Ｘ*を生成する。
【０２５１】
したがって、まず、基本階層係数列Ｂ*の係数を合成量子化係数列Ｘ*に挿入し、下記式（３４）を得る。
【０２５２】
ｘ*i＝ｂ*i    （０≦ｉ＜ＢTH）    式（３４）
次に、拡張階層係数列Ｅ*の係数を合成量子化係数列Ｘ*に挿入すると、下記式（３５）のようになり、合成量子化係数列Ｘ*が生成される。
【０２５３】
ｘ*i＝ｅ*i-BTH    （ＢTH≦ｉ≦６３）    式（３５）
したがって、合成量子化係数列Ｘ*は、下記式（３６）のようになる。
【０２５４】
Ｘ*＝｛ｂ*0、ｂ*1・・・、ｂ*BTH-1、ｅ*0、ｅ*1・・・、ｅ*63-BTH｝    式（３６）
したがって、上記基本階層係数列Ｂ*＝｛８，２，０｝と、上記拡張階層係数列Ｅ*＝｛３，１，−３，０，６，５，−１，０，１，１，−２，０，０，０，０，−４，１，０，０，２｝を、合成量子化係数列Ｘ*に合成すると、
Ｘ*＝｛８，２，０，３，１，−３，０，６，５，−１，０，１，１，−２，０，０，０，０，−４，１，０，０，２｝
となる。また、この合成量子化係数列Ｘ*の合成処理（ブロック内係数合成処理）の様子を、図２２に示す。
【０２５５】
続いて、ランレベル係数変換器３４１０は、基本拡張階層合成器３３９０に生成された合成量子化係数列（３次量子化係数列）Ｘ*を係数変換し、ランレベル情報に変換するものである。
【０２５６】
可変長符号化器（ＶＬＣ）３４２０は、ランレベル係数変換器３４１０に変換されたランレベル情報を可変長符号化し、係数情報の符号化信号を生成するものである。
【０２５７】
係数情報多重化部３４６０は、ＶＬＣ３４２０に生成された係数情報の符号化信号と、係数情報分離部３４５０ａに分離された係数情報以外のデータと、を入力し、多重化して、合成ストリーム（３次符号化信号）を生成するものである。
【０２５８】
以上説明したように、合成部３３００ａにおいて、基本符号化信号Ｂ*、拡張符号化信号Ｅ*（０）、Ｅ*（１）、Ｅ*（２）・・・、Ｅ*（Ｍ’−１）を入力して、合成ストリーム（３次符号化信号）を生成することができる。
【０２５９】
この合成ストリーム（３次符号化信号）は、通常のＭＰＥＧ−２ストリームであるので、例えば一般的な復号器である復号器３０３０ａにおいて復号して、再生することができる。
【０２６０】
したがって、本符号化信号分離合成システムシステムは、サーバ１０００の分離器１０１０で符号化ストリームを係数位置により、基本符号化信号Ｂと、複数の拡張符号化信号Ｅ(ｍ)と、に分離し、任意に組み合わせて多重化送信し、レシーバ３０００の合成器３０１０で前記基本符号化信号Ｂと、前記複数の拡張符号化信号Ｅ(ｍ)と、に分離後、合成することができ、映像のスケーラブル伝送を実現することができるとともに、基本階層係数列と拡張階層係数列との分離処理が係数の順番で分けるという簡単な処理となり、分離器および合成器の構成が簡素化でき、処理速度の高速化および部品の低価格化を行うことができる。
【０２６１】
（第２の実施の形態）
次に、分離器１０１０内の分離部１１００での処理において、余り係数列（予測誤差係数列）Ｄを基本量子化係数列Ｃと多重化し、基本符号化信号Ｂを生成することで、分離ストリームＳｔ(ｌ)（０≦ｌ≦Ｌ−１）のレートをほぼ等しくする場合の処理について、説明する。本実施の形態においては、拡張ストリーム番号ｍと拡張量子化係数列インデックス番号ｎの関係は、ｍ＝ｎである。
【０２６２】
基本量子化係数列Ｃと、余り係数列（予測誤差係数列）Ｄと、を多重化して基本符号化信号Ｂを生成する分離部を、図２３に示す。
【０２６３】
図２３に示すように、分離部１１００ｂは、上記実施の形態で説明した分離部１１００ａと同様の構成（図１３参照）をしており、さらに、基本量子化係数多重化器１２４０を備えている。
【０２６４】
基本量子化係数多重化器１２４０は、ＶＬＣ基本１２１０から出力された基本量子化係数列Ｃと、ＶＬＣ予測誤差１２２０から出力された余り係数列（予測誤差係数列）Ｄと、を入力し、余り係数列（予測誤差係数列）Ｄを基本量子化係数列Ｃと多重化して、基本符号化信号Ｂを生成し、出力するものである。
【０２６５】
このような構成により、分離部１１００ｂによって、余り係数列（予測誤差係数列）Ｄを基本量子化係数列Ｃと多重化し、基本符号化信号Ｂを生成することができる。
【０２６６】
また、このような基本量子化係数列Ｃと余り係数列（予測誤差係数列）Ｄとを多重化した基本符号化信号Ｂを生成する分離部１１００ｂに対する、合成器３０１０の合成部３３００を、図２４に示す。
【０２６７】
図２４に示すように、合成部３３００ｂは、上記実施の形態で説明した合成部３３００ａと同様の構成（図１９参照）をしており、さらに、基本量子化係数分離器３４３０を備えている。
【０２６８】
基本量子化係数分離器３４３０は、入力した基本符号化信号Ｂ*の係数情報を、基本量子化係数列Ｃ*と、余り係数列（予測誤差係数列）Ｄ*と、に分離し、それぞれＶＬＤ基本３３１０と、ＶＬＤ予測誤差３３２０と、に出力するものである。
【０２６９】
このような構成により、合成部３３００ｂによって、基本量子化係数列Ｃ*と余り係数列（予測誤差係数列）Ｄ*とが合成された基本符号化信号Ｂ*を入力しても、基本量子化係数列Ｃ*と、余り係数列（予測誤差係数列）Ｄ*と、に分離後、基本階層係数列Ｂ*に合成し、複数の拡張符号化信号Ｅ*（ｍ）から合成した拡張階層係数列Ｅ*と合成し、合成ストリーム（３次符号化信号）を生成することができる。
【産業上の利用可能性】
【０２７０】
以上のように、本発明にかかる符号化信号分離合成システムは、ストリームの分割処理を簡単にして、映像のスケーラブル伝送を実現することができるという効果を有し、ストリーム伝送を行うサーバやトランスコーダ等として有用である。
【図面の簡単な説明】
【０２７１】
【図１】本発明の第１の実施の形態における符号化信号分離合成システムのブロック図である。
【図２】本発明のサーバの分離器を示すブロック図である。
【図３】方式１（ロバストネス伝送路あり）における分離器を示すブロック図である。
【図４】方式２（ロバストネス伝送路なし）における分離器を示すブロック図である。
【図５】本発明のルータの伝送路選択器を示すブロック図である。
【図６】ルータの伝送路選択器による伝送路選択例を示す図である。
【図７】本発明のレシーバの合成器を示すブロック図である。
【図８】方式１における合成器を示すブロック図である。
【図９】方式２における合成器を示すブロック図である。
【図１０】拡張ストリームのビットストリームフォーマットを示す図である。
【図１１】スライス層に定義するユーザデータの内容を示す図である。
【図１２】ＭＢ層に定義するＭＢ属性情報の内容を示す図である。
【図１３】分離器の分離部を示すブロック図である。
【図１４】ブロック内係数分離の原理を示す図である。
【図１５】ブロック内拡張階層分離（レート制御）の原理を示す図である。
【図１６】ブロック内拡張階層分離（スクランブル）の原理を示す図である。
【図１７】係数の個数が３つの場合の配列符号表（インター）を示す図である。
【図１８】係数の個数が３つの場合の配列符号表（イントラ）を示す図である。
【図１９】合成器の合成部を示すブロック図である。
【図２０】ブロック内拡張階層合成（レート制御）の原理を示す図である。
【図２１】ブロック内拡張階層合成（スクランブル）の原理を示す図である。
【図２２】ブロック内係数合成の原理を示す図である。
【図２３】基本量子化係数列Ｃと、予測誤差係数列Ｄと、を多重化して基本ストリームＢを生成する分離部を示すブロック図である。
【図２４】基本量子化係数列Ｃと、予測誤差係数列Ｄと、を多重化した基本ストリームＢを入力する合成部を示すブロック図である。
【図２５】従来のトランスコーダの概略ブロック図である。
【図２６】従来のトランスコーダにおける、ＭＰＥＧ−２のＴＭ５のレート制御処理示すフローチャートである。
【図２７】従来のトランスコーダの概略ブロック図である。
【図２８】従来のトランスコーダの処理を示すフローチャートである。
【図２９】従来のトランスコーダの概略ブロック図である。
【図３０】従来のトランスコーダの処理を示すフローチャートである。
【符号の説明】
【０２７２】
５０  トランスコーダ
５１  ＶＬＤ（可変長復号手段）
５３  逆量子化器(逆量子化手段)
５５  量子化器（量子化手段）
５７  ＶＬＣ（可変長符号化手段）
５９  レート制御部
６０  トランスコーダ
６１  遅延回路
６３  ビットレート比率計算部
６５  入力符号量積算部
６７  差分符号量計算部
６９  目標出力符号量更新部
７１  量子化スケールコード算出部
８０  トランスコーダ
８１  ＶＬＤ
８３  目標出力符号量更新部
８５  量子化スケールコード算出部
６００  カメラ
７００  符号化器
８００  コンテンツ蓄積器
１０００  サーバ
１０１０、１０１０ａ、１０１０ｂ  分離器
１１００、１１００ａ、１１００ｂ  分離部(separate)
１１１０  ＶＬＤ
１１２０  ランレベル係数変換器
１１３０  基本、拡張階層分離器
１１４０  基本量子化係数変換器
１１５０  拡張量子化係数分離器
１１６０  基本再スキャン器
１１７０  予測誤差再スキャン器
１１８１、１１８２、１１８３  拡張再スキャン器
１２１０  ＶＬＣ基本
１２２０  ＶＬＣ予測誤差
１２３１  ＶＬＣ・Ｆ0
１２３２  ＶＬＣ・Ｆ1
１２３３  ＶＬＣ・ＦN-1
１２４０  基本量子化係数多重化器
１２６０  係数情報分離部
１２７０ａ、１２７０ｂ  係数情報多重化部
１６００、１６００ａ、１６００ｂ  多重化部(MUX)
２０００  ルータ
２０１０、２０１１  伝送路選択器
３０００、３０００ａ、３０００ｂ、３０００ｎ  レシーバ
３０１０、３０１０ａ、３０１０ｂ、３０１０ｎ
３０１０ｘ、３０１０ｙ              合成器
３０２０  合成制御器（merge controller）
３０３０、３０３０ａ、３０３０ｂ、３０３０ｎ  復号器
３１００、３１００ａ、３１００ｂ  多重分離部（DEMUX）
３２００、３２００ａ、３２００ｂ  基本ストリーム選択器（B-Selector）
３３００、３３００ａ、３３００ｂ  合成部（merge）
３３１０  ＶＬＤ基本
３３２０  ＶＬＤ予測誤差
３３３１  ＶＬＤ  Ｅ(０)
３３３２  ＶＬＤ  Ｅ(１)
３３３３  ＶＬＤ  Ｅ(Ｎ’−１)
３３４０  基本係数変換器
３３５０  予測誤差係数変換器
３３６１、３３６２、３３６３  拡張係数変換器
３３７０  基本量子化係数合成器
３３８０  拡張量子化係数合成器
３３９０  基本、拡張階層合成器
３４１０  ランレベル係数変換器
３４２０  ＶＬＣ
３４３０  基本量子化係数分離器
３４５０ａ、３４５０ｂ  係数情報分離部
３４６０  係数情報多重化部
【図１】
2005286863.tif 000020
【図２】
2005286863.tif 000021
【図３】
2005286863.tif 000022
【図４】
2005286863.tif 000023
【図５】
2005286863.tif 000024
【図６】
2005286863.tif 000025
【図７】
2005286863.tif 000026
【図８】
2005286863.tif 000027
【図９】
2005286863.tif 000028
【図１０】
2005286863.tif 000029
【図１１】
2005286863.tif 000030
【図１２】
2005286863.tif 000031
【図１３】
2005286863.tif 000032
【図１４】
2005286863.tif 000033
【図１５】
2005286863.tif 000034
【図１６】
2005286863.tif 000035
【図１７】
2005286863.tif 000036
【図１８】
2005286863.tif 000037
【図１９】
2005286863.tif 000038
【図２０】
2005286863.tif 000039
【図２１】
2005286863.tif 000040
【図２２】
2005286863.tif 000041
【図２３】
2005286863.tif 000042
【図２４】
2005286863.tif 000043
【図２５】
2005286863.tif 000044
【図２６】
2005286863.tif 000045
【図２７】
2005286863.tif 000046
【図２８】
2005286863.tif 000047
【図２９】
2005286863.tif 000048
【図３０】
2005286863.tif 000049