第一層符号化データおよび第二層符号化データを受信し、受信した第一層符号化データおよび第二層符号化データを合成し、この合成したデータを復号化する方法であって、この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する方法。更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中の前記ベース層残留エラー係数に対する微差を受信し、この残留エラー係数と微差とを前記第一層データ及び第二層データとの合成データと合成し、前記合成された第1層、第二層、残留エラー係数、微差とを復号化する、請求項1に記載の方法。更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項1に記載の方法。更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換し、受信された第二層データは第二の量子化ステップサイズで符号化される、請求項1に記載の方法。更に、受信した第一層データ中の内部符号化データを同定し、受信した第二層データ中の受信した第一層データ中の内部符号化データに対する微差を同定する、請求項1に記載の方法。更に、同定された第一層内部符号化データを第一パス中で復号化し、同定された第二層内部符号化データを第二パス中で復号化し、復号化された第一層内部符号化データおよび第二層内部符号化データを合成する、請求項5に記載の方法。更に、前記合成された第一層、第二層データを逆量子化し、この逆量子化されたデータを逆変換する、請求項1に記載の方法。更に、前記合成されたデータ中の第一層に関連する相互符号化データを同定し、前記合成されたデータ中の第二層に関連する相互符号化データを同定し、同定された第一層に関連する相互符号化データおよび同定された第一、第二層に関連する相互符号化データのいずれかを復号化する、請求項1に記載の方法。更に、前記合成されたデータ中の第一層に関連する内部符号化データを同定し、同定された内部符号化データを復号化する、請求項1に記載の方法。更に、前記合成されたデータ中の第一層に関連する内部符号化データを同定し、前記合成されたデータ中の第二層に関連する相互符号化データを同定し、同定された内部符号化データおよび同定された相互符号化データのいずれかを復号化する、請求項1に記載の方法。第一層符号化データおよび第二層符号化データを受信する手段と、受信した第一層符号化データおよび第二層符号化データを合成する手段と、この合成データを復号化する手段とを具備し、この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化する装置。前記受信手段は更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信する手段と、この残留エラー係数と微差とを前記合成された第一層及び第二層と合成する手段と、この合成された第一層、第二層および残留エラー係数と微差とを復号化する手段とを有する、請求項11に記載の装置。前記受信手段は更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信する手段を有し、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項11に記載の装置。更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換する手段を有し、受信された第二層データは第二の量子化ステップサイズで符号化される、請求項11に記載の装置。更に、第一層データのビットシフトを行う手段を有する請求項14に記載の装置。前記受信手段は更に、受信された第一層データ内の内部符号化データを同定し、受信された第二層データ内の受信された第一層内部符号化データに対する微差を同定する手段を有する、請求項11に記載の装置。更に、第一パス内で同定された第一層内部符号化データを復号化する手段と、第二パス内で同定された第二層内部符号化データを復号化する手段と、復号化された第一層内部符号化データおよび復号化された第二層内部符号化データとを合成する手段とを有する、請求項16に記載の装置。前記復号化手段は更に、前記合成された第一層、第二層データを逆量子化する手段と、この逆量子化されたデータを逆変換する手段とを有する、請求項11に記載の装置。第一層符号化データおよび第二層符号化データを受信する受信部と、受信された第一層符号化データと第二層符号化データとを合成する合成部と、ベース層を有する第一層とエンハンスメント層を有する第二層との合成データを復号化する復号化部とを有する、マルチメディアビットストリームを復号化する装置。前記受信部は更にベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信するように構成され、前記合成部は更に残留エラー係数と微差とを前記合成された第一層、第二層データと合成するように構成され、復号化部は更に前記合成された第一層、第二層、残留エラー係数および微差を復号化するように構成される、請求項19に記載の装置。前記受信部は、ベース層データ中の残留エラー係数を受信しエンハンスメント層データ中のベース層残留エラー係数に対する微差を受信するように構成され、このベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値あるいはゼロのいずれかであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項19に記載の装置。更に、第一層データを第一量子化ステップサイズから第二量子化ステップサイズに変換するように構成されたスケーラを有し、受信された第二層データは第二量子化ステップサイズで符号化される、請求項19に記載の装置。更に、受信された第一層データ中の内部符号化データを同定し、受信された第二層データ中の受信された第一層内部符号化データに対する微差を同定するように構成された同定装置を有する、請求項19に記載の装置。前記復号化部は更に、同定された第一層内部符号化データを第一パス中で復号化し、同定された第二層内部符号化データを第二パス中で復号化し、前記合成部は復号化された第一層内部符号化データおよび第二層内部符号化データを合成するように構成される、請求項19に記載の装置。更に、前記合成された第一層、第二層データを逆量子化するように構成された逆量子化部および逆量子化したデータを逆変換するように構成された変換器とを有する請求項19に記載の装置。マルチメディアビットストリームを復号化するための方法を用いるコンピュータ読み取り可能の媒体であって、前記方法は、第一層符号化データおよび第二層符号化データを受信し、受信した符号化データの第一層および符号化データの第二層を合成し、この合成されたデータを復号化する方法であって、この第一層はベース層を有し、第二層はエンハンスメント層を有する、コンピュータ読み取り可能な媒体。前記方法は更に、ベース層データ中の残留エラー係数を受信するとともにエンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、この残留エラー係数と微差とを前記合成された第一層、第二層データと合成し、この合成された第一層、第二層、残留エラー係数、微差を復号化する、請求項26に記載のコンピュータ読み取り可能な媒体。前記方法は更に、ベース層データ中の残留エラー係数を受信するとともにエンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、このベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値あるいはゼロのいずれかであり、エンハンスメント層微差は残留エラー係数とオリジナルエンハンスメント層残留エラー係数とに基づいて決定される、請求項26に記載のコンピュータ読み取り可能な媒体。前記方法は更に、第一層データを第一量子化ステップサイズから第二量子化ステップサイズに変換し、受信された第二層データを第二量子化ステップサイズで符号化する、請求項26に記載のコンピュータ読み取り可能な媒体。前記方法は更に、受信された第一層データ中の内部符号化データを同定し、受信された第二層データ中の受信された第一層内部符号化データに対する微差を同定する、請求項26に記載のコンピュータ読み取り可能な媒体。前記方法は更に、同定された第一層内部符号化データを第一パス中で復号化し、同定された第二層内部符号化データを第二パス中で復号化し、復号化された第一層内部符号化データおよび第二層内部符号化データを合成する、請求項30に記載のコンピュータ読み取り可能な媒体。前記方法は更に、前記合成された第一層と第二層データを逆量子化し、この逆量子化されたデータを逆変換する、請求項26に記載のコンピュータ読み取り可能の媒体。第一層符号化データおよび第二層符号化データを受信し、受信した第一層符号化データおよび第二層符号化データを合成し、この合成データを復号化するように構成され、この第一層はベース層を有し、第二層はエンハンスメント層を有する、マルチメディアビットストリームを復号化するプロセッサ。更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信し、この残留エラー係数と微差とを前記合成された第一層及び第二層と合成し、この合成された第一層、第二層、残留エラー係数と微差とを復号化するように構成された、請求項33に記載のプロセッサ。更に、ベース層データ中の残留エラー係数を受信し、エンハンスメント層データ中のベース層残留エラー係数に対する微差を受信するように構成され、ベース層残留エラー係数はオリジナルベース層残留エラー係数とオリジナルエンハンスメント層残留エラー係数の最小値またはゼロであり、エンハンスメント層微差は最小残留エラー係数とオリジナルエンハンスメント層残留エラー係数との間の差である、請求項33に記載のプロセッサ。更に、第一の量子化ステップサイズからの第一層データを第二の量子化ステップサイズに変換するように構成され、受信された第二層データが第二の量子化ステップサイズに符号化される、請求項33に記載のプロセッサ。受信した第一層データ中の内部符号化データを同定し、受信した第二層データ中の受信した第一層データ中の内部符号化データに対する微差を同定するように構成された、請求項33に記載のプロセッサ。更に、同定された第一層内部符号化データを第一パス中で復号化し、同定された第二層内部符号化データを第二パス中で復号化し、復号化された第一層内部符号化データおよび第二層内部符号化データを合成するように構成された、請求項37に記載のプロセッサ。更に、前記合成された第一層と第二層データを逆量子化し、この逆量子化されたデータを逆変換するように構成された、請求項33に記載のプロセッサ。第一層及び第二層内でデータを符号化し、単一の合成された層内でこのデータを復号化するためにデータを選択し、選択されたデータを第一層および第二層中で符号化する、マルチメディアデータを符号化するための方法。前記符号化は、第一層中で係数を符号化し、第一層の微差を第二層中で符号化する、請求項40に記載の方法。第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項40に記載の方法。更に、第一、第二係数に基づいて第一主係数を選択し、第一、第二係数に基づいて第二主係数を計算し、前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項42に記載の方法。前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択し、前記計算は、第二主係数を第二係数と等しく設定する、請求項43に記載の方法。更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項40に記載の方法。更に、第一層符号化データを第一ステップサイズで量子化し、第二層符号化データを第二ステップサイズで量子化し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項40に記載の方法。前記データは内部符号化データを有し、前記符号化は更に第一層または第一、第二層内の内部符号化データを符号化する、請求項40に記載の方法。前記データは相互符号化データを有し、前記符号化は更に第二層中の相互符号化データを有する、請求項40に記載の方法。前記符号化は更に、選択されたデータを第一層中の相互符号化データとして符号化し、第二層中の相互符号化データとして符号化する、請求項40に記載の方法。前記符号化は更に、選択されたデータを第一層中の内部符号化データとして符号化する、請求項40に記載の方法。前記符号化は更に、選択された或るデータを第一層中の内部符号化データとして符号化し、選択されたデータを第二層中の相互符号化データとして符号化する、請求項40に記載の方法。更にオーバヘッド情報を符号化するステップを有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項40に記載の方法。第一層及び第二層のデータを符号化して単一の層における合成されたデータを復号化するためにデータを選択する手段と、選択されたデータを第一層および第二層中で符号化する手段と、を具備するマルチメディアデータを符号化するための装置。前記符号化手段は、第一層中で係数を符号化する手段と、第一層の微差を第二層中で符号化する手段と、を具備する請求項53に記載の装置。第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項53に記載の装置。更に、第一、第二係数に基づいて第一主係数を選択する手段と、第一、第二係数に基づいて第二主係数を計算する手段とを具備し、前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項55に記載の装置。前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択手段は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択する手段を含み、前記計算手段は、第二主係数を第二係数と等しく設定する手段を含む、請求項56に記載の装置。更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付ける手段を含み、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項53に記載の装置。更に、第一層符号化データを第一ステップサイズで量子化する手段と、第二層符号化データを第二ステップサイズで量子化する手段とを有し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項53に記載の装置。前記データは内部符号化データであり、前記符号化手段は第一層または第一、第二層内の内部符号化データを符号化する、請求項53に記載の装置。前記データは相互符号化データであり、前記符号化手段は第二層中の相互符号化データを符号化する、請求項53に記載の装置。更にオーバヘッド情報を符号化する手段を有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項53に記載の装置。第一層及び第二層のデータを符号化し、単一の合成された層のデータを復号化するためにデータを選択し、選択されたデータを第一層および第二層中で符号化する、マルチメディアデータを符号化するための方法を実施するためのコンピュータにより読み取り可能の媒体。前記符号化は、第一層中で係数を符号化し、第一層の微差を第二層中で符号化する、請求項63に記載のコンピュータにより読み取り可能の媒体。第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項63に記載のコンピュータにより読み取り可能の媒体。前記方法は更に、第一、第二係数に基づいて第一主係数を選択し、第一、第二係数に基づいて第二主係数を計算し、前記符号化は、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項65に記載のコンピュータにより読み取り可能の媒体。前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択し、前記計算は、第二主係数を第二係数と等しく設定する、請求項66に記載のコンピュータにより読み取り可能の媒体。前記方法は更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項63に記載のコンピュータにより読み取り可能の媒体。前記方法は更に、第一層符号化データを第一ステップサイズで量子化し、第二層符号化データを第二ステップサイズで量子化し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項63に記載のコンピュータにより読み取り可能の媒体。前記方法は更にオーバヘッド情報を符号化するステップを有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項63に記載のコンピュータにより読み取り可能の媒体。第一層及び第二層内でデータを符号化し、単一の合成された層のデータを復号化するためにデータを選択し、選択されたデータを第一層および第二層中で符号化する、方法を制御するように構成された、マルチメディアデータを符号化するためのプロセッサ。前記符号化方法は、第一層中で係数を符号化し、第一層の微差を第二層中で符号化する、請求項71に記載のプロセッサ。第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項71に記載のプロセッサ。前記方法は更に、第一、第二係数に基づいて第一主係数を選択し、第一、第二係数に基づいて第二主係数を計算し、前記符号化は更に、第一主係数を用いて第一層中で符号化し、第二主係数を用いて第二層中で符号化する、請求項73に記載のプロセッサ。前記第一係数はベース層残留エラー係数であり、第二係数はエンハンスメント層残留エラー係数であり、更に前記選択方法は、前記第一係数および第二係数のうちの最小値またはゼロを第一主係数として選択するステップを含み、前記計算方法は、第二主係数を第二係数と等しく設定するステップを含む、請求項74に記載のプロセッサ。前記方法は更に、ブロックヘッダー情報と動作ベクトル情報とを第一層と関連付け、これらのブロックヘッダー情報と動作ベクトル情報とは受信されたデータから抽出される、請求項71に記載のプロセッサ。前記方法は更に、第一層符号化データを第一ステップサイズで量子化するステップと、第二層符号化データを第二ステップサイズで量子化するステップとを有し、この第一ステップサイズと第二ステップサイズとはスケールファクタによって関連付けられる、請求項71に記載のプロセッサ。前記方法は更にオーバヘッド情報を符号化するステップを有し、このオーバヘッド情報は、層数を同定するデータと、一つの層をベース層として同定するデータと、一つの層をエンハンスメント層として同定するデータと、複数の層の間の関係を同定するデータと、一つの層をファイナルエンハンスメント層として同定するデータとからなるグループ内の一つのデータである、請求項71に記載のプロセッサ。第一層及び第二層内でデータを符号化し、単一の合成された層のデータを復号化するためにデータを選択するように構成された受信部と、選択されたデータを第一層および第二層中で符号化するように構成された符号化部と、を具備するマルチメディアデータを符号化するための装置。前記符号化部は更に、第一層中で係数を符号化し、第一層の微差を第二層中で符号化する、請求項79に記載の装置。第一層符号化データは第一係数を有し、第二層符号化データは第二係数を有し、この第一、第二係数は復号化のために用いられる、請求項79に記載の装置。以下、少ない数の復号オーバヘッドによってベース層と一つまたはそれ以上のエンハンスメント層を含むビデオ多重層を提供する方法と装置とを説明する。符号化アルゴリズムがベース層およびエンハンスメント層係数を作成し、これらの層が復号化に用いられ得る場合には量子化復元の前に復号器により組み合わされる。実施形態において、エンハンスメント層を用いることができないときは有効なベース層ビデオを提供するか、或いは復号器が省電力のためにエンハンスメント層を復号しないように選択される。以下の説明では特定の場合について詳細な説明を行うが、当業者にとってはこれらの特定の場合以外にも種々実施できることは勿論である。例えば、実施形態を必要以上に詳細に説明することがないように電子部品はブロック図として示される。或いは、これらの部品は他の実施形態において異なる構成、動作を持つものとして詳細に説明される場合がある。更に、実施形態は、フローチャート、フロー図、構成図、またはブロック図を用いてプロセスとして説明される。フローチャートは動作を順番のプロセスとして説明するが、多くの動作は並列動作または同時動作として行われ、或いは繰り返し行われる。更に、動作の順番は変更することができる。一つのプロセスはその動作が完了したときに終了する。またプロセスは方法、機能、手順、サブルーチン、サブプログラムなどに対応させることができる。プロセスが機能に対応するときは、その終了はコーリング機能またはメイン機能のリターンに対応する。図1はストリーミングビデオを出力するための通信システムの一例を示している。このシステム100は符号化装置105と復号化装置110とを含む。符号化装置105は更に、変換部115と、量子化部120と、SNR階層的スカラブル符号器部125と、メモリ部130と、プロセッサ部135と、通信部140とを含む。プロセッサ135は、他の構成部における処理を行うためのコンピュータプラットフォームを提供する。変換部115は空間的なドメインからのビデオデータを他のドメイン、例えばDCTディスクリートコサイン変換における周波数ドメインに変換する。変換されるデータは実際のビデオデータが変換される内部符号化データであってもよく、空間的予測残留値が変換される内部符号化データであってもよく、あるいは残留エラーが変換される相互符号化データであってもよい。他のデジタル変換としては、アダマール変換や、DWTディスクリートウエーブレット変換およびH.264中で用いられる整数変換などがある。量子化部120は複数ビットを各変換係数を表すように割り当てる。変換された係数の量子化は各ブロックまたはマクロブロック毎に変えることができる。マクロブロックは例えば16×16画素16×16のルマブロック或いは8×8のクロマブロックで構成されるである。量子化パラメータQPは量子化を行うレベルを決定する。更なるデジタル圧縮はQPを増加させることにより、SNR階層的ビデオストリームのベース層における符号化を行うことができる係数のより低いデジタル品質化により行うことができる。QPを減少させることにより、SNR階層的ビデオストリームのエンハンスメント層における符号化を行うことができる係数のより高いデジタル品質化を実現することができる。SNR階層的符号器部125は係数の相互間の選択を平行に行い、係数をベース層係数とエンハンスメント層係数とに分割する。ベース層とエンハンスメント層係数の相互間の選択は、二つの層であるベース層とエンハンスメント層データの復号化を単一層内で行うことができるようにして行うことができ、詳細は後で説明される。メモリ部130は符号化すべき原ビデオデータや伝送すべき符号化ビデオデータや色々な符号化部での中間データなどを記憶するのに用いられる。変換部115と量子化部120とはそれぞれ逆変換および逆量子化も行う。これらの逆動作は、復号化装置内におけると同じように係数の再構成を行うように符号化装置内で行われ、残留エラー計算とエンハンスメント層係数計算とが可能な限り高精度となる。通信部140は外部ソース145からの符号化すべきデータの受信に用いられるロジック、例えば受信部を有する。外部ソース145は例えば外部メモリ、インターネット、ライブビデオおよびまたはオーディオ装置であり、データ受信は有線、無線のいずれでもよい。通信部140は更に符号化データをネットワーク150を介して伝送Txするロジックを含む。この符号化データは変換データ、量子化データ、可変長符号化データ、またはこれらの組み合わせデータである。ネットワーク150は電話、ケーブル、光ケーブルのような有線システムあるいは無線システムの一部である。無線通信システムの場合、ネットワーク150は例えば、符号分割多元接続CDMAまたはCDMA2000システムであり、または周波数分割多元接続FDMAシステムであり、GSM登録商標/GPRSエンハンスドデータGSM環境またはTETRAテレストリアルトランクドラジオサービス業用の携帯電話技術のような時分割多元接続TDMAシステムであり、広帯域符号分割多元接続WCDMAであり、高データレート1xEV-DOまたは1xEV-DOゴールとマルチキャストシステムであり、またはこれらの技術を組み合わせて用いた一般的などのような無線通信システムでもよい。符号化装置105内の構成要素は他の要素と交換し、あるいは組み合わせて用いることができる。例えば、プロセッサ部135は符号化装置105の外部に設けることができる。復号化装置110は符号化装置105と同様に、逆変換部155、逆量子化部160、単層復号器部165、メモリ部170、通信部175、およびプロセッサ部180を有する。復号化装置110はネットワーク150を介して伝送された符号化データまたは外部記憶部185からのデータを受信する。この符号化データは、変換データ、量子化データ、可変長符号化データ、あるいはこれらの組み合わせデータを含む。通信部175はネットワーク150からの符号化データを受信Rxするのに用いられるロジック、及び符号化データを外部記憶部185から受信するロジックを含む。外部記憶部185はたとえば外部RAMまたはROMあるいは外部サーバである。単層復号器部165はベース層とエンハンスメント層データを復号化するロジックを含む。ベース層データは、もしエンハンスメント層が受信されないか、あるいは劣化された状態で受信されたか、あるいはバッテリー電力を維持するためか、あるいは電力を制御するために、それのみで復号化される。単層復号器部165は更に、ベース層とエンハンスメント層データを合成し、合成データを単層内で復号化するためのロジックを含む。符号化内部データは逆量子化部160により処理され、次に逆変換部155で処理され、復号された画像データが得られ、表示部190上に表示される。相互符号化データは基準フレームから予測され、この基準フレームの復号化の後で復号化される。残留エラー係数は単層復号器部165、逆量子化部160、および逆変換部155によって処理され、復号化された残留エラーが得られる。この残留エラーは次に基準フレームからの最適マクロブロックと組み合わされる。復号化フレームは表示部190で表示され、外部記憶部185で記憶され、あるいはプロセッサ部180の内部記憶部に記憶される。表示部190は、表示スクリーンを含むビデオ表示ハードウエアまたはロジックなどを持つ復号化装置と一体として構成でき、あるいは外部周辺装置であってもよい。通信部175は更に復号化フレームを外部記憶部185または表示部190に接続するのに用いられるロジックを有する。SNR階層的符号器部125および単層復号器部165によって行われる二層符号化および単層復号化の詳細は後で説明する。この復号化装置110の一つまたは複数の構成要素は他の要素と交換されあるいは組み合わされる。例えば、プロセッサ部180は復号化装置110の外部に設けることができる。ビデオ復号化において例えばハードウエアビデオコアをコンピュータ増強復号化処理、特に逆量子化や逆変換処理を高速化するために用いることができる。ハードウエアビデオコアには種々の機能を同時に実行するパイプライン処理ことができる専用回路およびプロセッサを単独または同時に用いることができる。パイプライン処理は復号化時間を短縮することができる。標準のパイプライン処理における臨時逆変換、臨時逆量子化、あるいは臨時加算のような割り込みは、全体の処理を遅延させる。当業者にとって、ビデオコアの一つまたは複数の実施形態においてハードウエア、ソフトウエア、ファームウエア、ミドルウエア、マイクロコード、およびこれらの任意の組み合わせを用いうることは自明のことである。従来の単層復号化装置において、Iフレーム、Pフレーム、Bフレームの復号化はすべて同一の処理で行われる。内部符号化ビデオおよび残留エラーのいずれを示す場合も、係数は逆量子化され、逆変換され、次いで、空間予測係数または最適マクロブロック係数のいずれかと組み合わされる。以下に説明する符号化および復号化処理は、復号化ハードウエアビデオコアに対して平明なベース層及びエンハンスメント層のいずれかもしくは双方の階層的復号化を行う。その実施の一例としては、各層データを夫々のパスを用いて復号化し、復号化された各層データを合成する方法がある。この二つのパスを用いる方法は、同じハードウエア回路を繰り返して用いるので効率がよい。復号化における平明性は単一パス中のハードウエアビデオコアで合成データを復号化する前にベース層データとベース層データに対するエンハンスメント層の変形部とを組み合わせることによって、より高い効率を実現できる。例えば、DSPデジタル信号プロセッサのようなプロセッサを用いることでこの組み合わせ動作を実現できる。図2AはSNR階層的ストリーミングビデオの符号化の一例を示すフローチャートである。プロセス200は初期Iフレームとそれに続く多重のPフレーム及び/またはBフレームのGOPを符号化するフローを示す。各フレームはベース層データ及び/またはエンハンスメント層データとを含む。他の層データを用いることも当業者にとっては自明のことである。Iフレームがステップ205において内部符号化マクロブロックIntraMBs全体と符号化される。H.264において、Iフレーム内のIntraMBsは十分な符号化利得を与える空間的予測によって符号化される。もし符号化されるベース層とエンハンスメント層が空間的予測により十分な符号化利得を得られるならば、ベース層はエンハンスメント層の符号化と再構成化との前に符号化され、再構成化される。Iフレームに対して二つのパスによる符号化、再構成化法が用いられる。ベース層においては、ベース層量子化パラメータQPbは荒い量子化ステップサイズの変換係数を供給する。オリジナルフレームと再構成されたベース層フレームとの間の画素差はエンハンスメント層において符号化される。このエンハンスメント層は量子化パラメータQPeを用い、より精細な量子化ステップサイズを提供する。図1に示したSNR階層化符号化部125のような符号化手段がステップ205における符号化動作を行う。ステップ210において、符号化部はGOPにおけるPおよび/またはBフレームのベース層データおよびエンハンスメント層データの符号化を行う。図1のSNR階層化符号化部125のような符号化手段がステップ210における符号化を行う。ステップ215において、符号化すべきPまたはBフレームがまだ有るか否かが決定される。図1のSNR階層化符号器部125のような符号化手段がステップ215の決定を行うことができる。PまたはBフレームが残っていると、GOP内のすべてのフレームの符号化が終了するまでステップ210が繰り返される。以下の説明ではP、Bフレーム内のIntraMBについて説明されるが、これらのP、Bフレームは相互符号化マクロブロック相互MBsを有するものである。復号器がベース層とエンハンスメント層データとを区別するために、符号器はステップ217においてオーバヘッド情報を符号化する。オーバヘッド情報は例えば層数を同定するデータと、対象の層がベース層であると同定するデータと、エンハンスメント層であると同定するデータと、各層の間の相互関係例えば、第一またはベース層に対して第二層はエンハンスメント層であること、または第二層に対して第三層はエンハンスメント層であることを同定するデータと、連続するエンハンスメント層内である層を最終層であると同定するデータなどを含む。オーバヘッド情報は、分離されまたは関連したデータメッセージ内に含まれたベース層データまたはエンハンスメント層データに連続したヘッダー中に含ませることができる。図1のSNR階層性符号化部125のような符号化手段がステップ217の動作を実行することができる。プロセス200内の一つまたは複数の構成要素を省略し、交換し、あるいは組み合わせて用いることができる。図2Bは復号化の一例を示すフローチャートであり、プロセス200によって符号化されたSNR階層性ストリーミングビデオを単層内で復号化する。プロセス220は初期のIフレームとそれに続くP及び/またはBフレームでなるGOPの復号化を行うフローを示している。復号化部はステップ222においてオーバヘッド情報を抽出する。例えば同定器によって受信したビットストリーム内に含まれる種々の層を同定するとともに、それらの層の間の相互関係も同定する。このオーバヘッド情報により復号化部がベース層情報を同定し、それのみを選択して復号化することを可能にする。ステップ225においてベース層のみを復号化する決定がなされ、あるいはベース層とエンハンスメント層との合成データを復号化する決定を行う。単層復号化部165のような復号化手段がステップ225の動作を実行することができる。もしベース層データのみを復号化する場合、復号化部はステップ260において、IntraMBおよび相互MBの復号化動作を従来の単層復号化により実行する。図1の単層復号化部165のような復号化手段がステップ260の動作を実行できる。この実施例では、もしエンハンスメント層データも復号化するときは、IntraMBが二つのパスを用いる方法または単一パスによる方法によって復号化され、一方、相互MB層は後で詳細に説明するように、単一パスを用いる方法によって復号化される。復号化部は層数を同定するオーバヘッドデータまたは層の相互関係を同定するデータとともにある層を最終層として同定するオーバヘッドデータを用いることができる。このオーバヘッドデータにより、復号化部は、現在セクションのためのビットストリーム中にあるすべての層を受信するときに、これらが処理中であることを知ることができる。図1の単層復号器部165のような抽出手段をステップ222の実行のために使うことができる。この実施形態において、各Iフレームに対して二つのパスを用いた復号化方法が用いられている。ステップ230においては、Iフレームのベース層データが第一のパスで復号化され、ステップ235においてはベース層に対する微差を有するエンハンスメント層データが復号化され、ベース層データと合成されてゼロ動作ベクトルを持つPフレームのようにIフレームのエンハンスメント層データが形成される。図1の単層復号器部165のような復号化手段がステップ230、235の動作を実行できる。もし復号化装置がIフレームの復号化ベース層データIbに対して使えないときは、データIbを有するメモリバッファが上書きされ、Iフレームの復号化されたエンハンスメント層Ieが後続の予測フレームに対する基準として用い得る。このメモリの上書きすなわちメモリのシャッフル動作はステップ240において実行される。図1のメモリ部170のようなメモリシャッフル手段がステップ240の動作を実行する。復号化装置は、もしその復号化装置が後続の動作補償予測においてデータIbを用いないときは、データIbを上書きすることができる。単一パス復号化がPとBフレームに対して行われる。以下に説明するように、P、Bフレームベース、エンハンスメント層係数が単一パス復号化ができるように符号化される。ベース層とエンハンスメント層係数が受信されると、これらが復号器によりステップ245において合成され、ステップ250において通常のPまたはBフレームと同様に単層内で復号化される。図1の通信部175のような受信手段により受信ステップ図2Bには示されていないを実行することができる。合成ステップ245および復号化ステップ250の詳細は以下に説明する。合成手段および図1の単層復号器部165のような復号器がステップ245、250の動作を実行することができる。決定ステップ255がビットストリームをチェックし、復号化すべきGOPが完了したかを検知する。GOPが完了していると、処理が終了され、次のGOPに対して処理が開始される。更にPおよびBフレームのいずれかまたは双方がGOPに残っていると、ステップ245、250がGOPを完了するまで繰り返される。図1の単一層復号器部165のような復号化手段がステップ255の動作を行うことができる。単層復号化を行うために、二つの層の係数が逆量子化の前に合成される。従って、この2層の係数は双方向化される。そうしないと、オーバヘッドの量を増大させることになる。このオーバヘッド増大の一つの理由は、ベース層符号化とエンハンスメント層符号化とが異なる時間基準を用いることである。ベース層とエンハンスメント層係数を発生するのにアルゴリズムが必要であり、この両層があるときは逆量子化の前に復号化部において合成される。同時に、エンハンスメント層がなく、または復号化部が例えば省電力の目的でエンハンスメント層を復号化しないときは、アルゴリズムは可能なベース層ビデオを与える。アルゴリズムを詳細に説明する前に、標準の予測符号化について説明する。プロセス220内の一つまたは複数の構成要素は省略し、交換し、あるいは組み合わされる。Pフレームまたは他の相互符号化部は今の画像中の領域と基準画像中の最適予測領域との間の時間的な冗長性を利用することができる。基準フレーム中の最適予測領域の場所は一組の運動ベクトル内で符号化できる。現在領域と最適基準予測領域との差は残留エラーまたは予測エラーとして知られている。図3は例えばMPEG-4におけるPフレーム構成プロセスの一例を示している。プロセス300は図2Aのステップ210内で生じるプロセスの一例を詳細に示している。プロセス300は5×5マクロブロックの現在画像325を含むが、このマクロブロック数は任意である。一つのマクロブロックは16×16画素でなる。各画素は8ビットの輝度Yと二つの8ビットの色度Cr、Cbとで定義される。MPEGにおいては、Y、Cr、Cb成分は4:2:0フォーマットにより記憶され、CrとCb成分とはX、Y方向に2分の1にダウンサンプリングされる。従って、各マクロブロックは256個のY成分と64個のCr成分と64個のCb成分とでなる。現在画像325のマクロブロック335は基準画像330から予測される。現在画像325と基準画像330とは夫々の画像内の正方形の場所に位置付けられる。基準画像330中の現在マクロブロック335に最も近い最適マクロブロック340が符号化されるべき現在マクロブロック335のY、Cr、Cbの値を参照して検索される。基準画像330中の最適マクロブロック340の位置は運動ベクトル345に符号化される。基準画像330はIフレーム又はPフレームであって、現在画像335の構成に先立って復号化部により再構成される。最適マクロブロック340は現在マクロブロック335から減算各成分Y、Cr、Cbの差が計算されるされ、残留エラー350が得られる。この残留エラー350はディスクリートコサイン変換DCT355により符号化され、次いで量子化360される。量子化360は例えば高周波の係数には少数のビットを割り当て、低周波の係数にはより多くのビットを割り当てることにより行われ、空間的圧縮が為される。運動ベクトル345と基準画像330の同定情報とともに量子化された残留エラー350の係数は現在現在マクロブロック335を示す符号化された情報である。この符号化された情報は次に使用されるためにメモリに記憶され、あるいはエラー訂正または画像増強のために用いられ、またはネットワーク365を介して送信される。符号化され量子化された残留エラー350の係数は符号化された運動ベクトル345とともに符号化部内の現在マクロブロック335を再構成するために用いられ、次の動きを予測し補償するために基準フレームの一部として用いられる。符号化部はこのPフレームの再構成のために復号器内部の動作手順のエミュレータとして用いられる。復号器のエミュレーションは同じ基準画像についての符号器および復号器の動作に対応する。再構成プロセスは符号器内で符号化のために行われあるいは復号器で行われる。Pフレームの再構成は基準フレームまたは基準となる画像又はフレームの一部が再構成された後でスタートされる。符号化され量子化された係数は逆量子化部370で逆量子化され、次いで、2D逆DCT部またはIDCT部375で処理され、復号化即ち再構成された残留エラー380が得られる。符号化された運動ベクトル345は復号化され、すでに再構成された最適マクロブロック385を再構成された基準画像330内に位置決めするために使用される。再構成された残留エラー380は次いで再構成された最適マクロブロック385に加算され、再構成マクロブロック390が形成される。この再構成マクロブロック390はメモリに記憶され、単独あるいは画像内に他の再構成マクロブロックとともに表示され、あるいは画像向上のために処理される。Bフレーム即ち双方向予測により符号化された部分は現在画像中の領域と、先行画像中の最適予測領域と、後続画像中の最適予測領域との間の時間的冗長性を利用することができる。後続の最適予測領域および先行の最適予測領域は合成されて合成双方向性予測領域が形成される。現在画像領域と合成最適予測領域との差が残留エラー又は予測エラーである。後続基準画像の最適予測領域と先行基準画像の最適予測領域の場所は二つの運動ベクトル内で符号化される。図4はベース層とエンハンスメント層の符号化のための符号化プロセスの一例を示す図である。ベース層とエンハンスメント層は符号化されてSNR階層化ビットストリームが形成される。プロセス400は例えば図2Aのステップ210で実行される相互MB残留エラー係数の符号化の一例を示す。しかしながら、内部MBの符号化のために他の同様な方法を用いてもよいことは勿論である。図1のSNR階層化符号器部125のような符号化手段をプロセス400または図2Aのステップ210の実行のために用いることができる。オリジナル符号化すべきビデオデータ406この実施形態ではビデオ情報はルマ及びクロマ情報を含むはベース層最適マクロブロックループ402およびエンハンスメント層最適マクロブロックループ404に入力される。これらのループ402、404は加算器422、438で夫々計算される残留エラーを最小にするように動作する。ループ402、404の動作は図示したように平行して行われるが、順次動作されるようにしてもよい。ループ402、404は夫々検索バッファ420、436これらのバッファ420、436は同じバッファでもよいのためのロジックを有し、基準フレームを用いて最適マクロブロックを同定し、最適マクロブロックとオリジナルデータ406との間の残留エラーを最小にするように動作する。ループ402、404の残留エラーは異なる値を持つが、これはベース層ループ402がエンハンスメント層ループ404に比べて通常は粗い量子化ステップサイズ高QP値を用いるからである。変換ブロック408、424は各ループ内の残留エラーを変換する。例えば、符号器はベース層に対して最適マクロブロック又は他のサイズの画素ブロックヘッダ情報と対応する運動ベクトル情報とを関連付け、このブロックヘッダ情報と運動ベクトル情報とは受信したオリジナルデータから抽出される。変換された係数は次いでセレクタ410においてベース層とエンハンスメント層係数とに分解される。セレクタ410における分解動作は以下に述べるように種々の形態を取る。分解動作の共通な特徴としては、エンハンスメント層主係数であるC’enhがベース層主係数C’baseに対して微差として計算されることである。ベース層に対してエンハンスメント層を微細なものとして計算することにより、復号器がベース層係数をそれ自体として復号化して画像表示を実際のものとして行い、あるいはベース、エンハンスメント層係数を合成して画像のより精細な表示を行うことを可能にする。セレクタ410において選択され計算された主係数は次いで量子化部412、426によって量子化される。量子化された主係数C’base、C’enh夫々量子化部412、426により算出されたは図1のメモリ部130のようなメモリ手段に記憶され、あるいはネットワークを介して復号器に送信される。復号器内でマクロブロックの再構成を適合させるために逆量子化部414はベース層残留エラー係数を逆量子化する。逆量子化された残留エラー係数は逆変換部416により逆変換され、バッファ420内で検索された最適マクロブロックと加算器418で加算され、復号器内で再構成されたものに対して最適化された再構成マクロブロックが得られる。エンハンスメントループ404内の量子化部426、逆量子化部428、逆変換部432、加算器434、バッファ436はベース層ループ402内の対応要素と同様に動作する。更に、加算器430はエンハンスメント層の再構成に用いられる逆量子化エンハンスメント層とベース層係数を合成するのに用いられる。エンハンスメント層の量子化部および逆量子化部はベース層よりもより精細な量子化ステップサイズ低QPを通常用いる。プロセス400中の一つまたは複数の要素は省略され、変形され、あるいは組み合わせて用い得る。図5、図6、図7は図4のセレクタ410内で用いられるベース層、エンハンスメント層係数セレクタのプロセスを例示する。図1のSNR階層的符号化部125のようなセレクタ手段が図5-図7に示されたプロセスの実行に用いられる。例えば図5において、変換された係数が以下のようにしてベース、エンハンスメント層主係数として分解される。ここで、minで表される動作は二つの偏角の間の数学的な最小値であり、以下の式で表される。式1はブロック505を示し、式2は図5の加算器510を示している。式2において、Qbはベース層量子化部412を示し、Qb-1はベース層の逆量子化部414を示している。式2はエンハンスメント層係数を式1で計算されたベース層の微差に変換する。図6はベース層、エンハンスメント層係数セレクタ410の他の例を示す。この例において、ブロック605内の式はベース層主係数を示し、以下のように表される。加算器610は以下のようにしてエンハンスメント層主係数を計算する。ここで、C’baseは式3によって与えられる値を取る。図7はベース層、エンハンスメント層セレクタ410の他の例を示す。この例においては、ベース層主係数はオリジナルベース層係数から変換されず、エンハンスメント層主係数は量子化/逆量子化ベース層係数とオリジナルのエンハンスメント層係数との差に等しい。このプロセスにより、セレクタ410は相互符号化され、あるいは内部符号化された係数であるオリジナルのベース層およびオリジナルのエンハンスメント層係数を用いるように構成される。図5、6、7に示されたいずれのプロセスをセレクタ410が実行しても、復号器は以下に説明するように同じ動作を行う。ループ402、404は同じマクロブロックを参照して同期して動作し、あるいは異なるマクロブロックを参照して非同期で動作するベース層基準情報とエンハンスメント層基準情報とは以下に説明するようにオーバヘッド情報内で符号化される。もしループ402、404が異なる基準マクロブロックを参照すると、復号器はベース層のみを復号化するように符号化ベース層基準情報を用いることができ、あるいはベース層、エンハンスメント層の合成を復号化するために符号化エンハンスメント層基準情報を用いることができる。ベース、エンハンスメント層残留エラー係数に加え、復号器はMBがどのようにして符号化されたかを示す情報を必要とする。図1のSNR階層的符号器部125のような符号化手段は、図2Aのステップ210を実行するほか、内部符号化または相互符号化部分のマップを含むオーバヘッド情報を符号化する。このマップは例えばMBマップであり、マクロブロックまたはサブマクロブロックが内部符号化あるいは相互符号化されていることが検出器によって示され更に双方向符号化が例えば順方向、逆方向あるいは双方向のいずれのタイプかも示し、更にこの相互符号化部分はどのフレームを参照しているかも示している。一つの実施形態において、MBマップとベース層係数とはベース層中で符号化され、エンハンスメント層係数はエンハンスメント層中で符号化される。図8は単層ビデオデータを復号化するための復号化プロセスの一例を示すもので、この実施形態ではベース層データが復号化され、図2Bのステップ260で実行される。プロセス800において、量子化された係数C’baseは内部符号化データまたは相互符号化残留エラーデータを示している。これらの係数は逆量子化部805により逆量子化され、逆変換部810で逆変換され、バッファ820に記憶された空間的に一時的に予測されたデータに対して加算器815において加算される。逆量子化ステップ805はベース層量子化パラメータQPbを用いる。結果として得られた復号化されたベース層ビデオ出力825は図1のメモリ部170のようなメモリ手段に記憶され、又は図1の表示部190のような表示手段に表示される。プロセス800はベース層係数C’baseの代わりにエンハンスメント層係数C’enhを用い、ステップ805におけるベース層パラメータQPbの代わりにエンハンスメント層量子化パラメータQPeを用いて第二パス内で実行することができる。結果として得られる出力は復号化されたエンハンスメント層ビデオ出力となる。ベース層ビデオ出力825は画素ドメイン内においてエンハンスメント層ビデオ出力と合成される。この2パスプロセスは同じ復号化ハードウエア回路を効率化のために繰り返し用いることができる。この復号化プロセスは図5、6、7のいずれの符号化プロセスを用いるかに関係なく用いることができる。図9は図2Bに示したステップ245、250で実行されるようなベース層、エンハンスメント層データの復号化のための復号化プロセスの一例を示す。プロセス900において、量子化係数C’base、C’enhはステップ905、910で夫々逆量子化され、ステップ915において変換例えば周波数でドメインにおいて合成される。逆量子化ステップ905はベース層量子化パラメータQPbを用い、逆量子化ステップ910はより小さいエンハンスメント層量子化パラメータQPeを用いる。合成された係数は逆変換ステップ920で処理され、ステップ925においてバッファ930に記憶された空間的または一時的予測データと加算される。この復号化プロセスは図5、6、7のいずれの符号化プロセスが用いられていても関係なく用いることができる。結果として得られたエンハンスメント層ビデオ出力935はメモリに記憶され、または表示される。プロセス900はその主たる方法がプロセス800とは異なっている。プロセス900では二つの逆量子化ステップ905、910を用いているが、プロセス800では一つの逆量子化ステップ805が用いられている。もしこの逆量子化がハードウエアコア内でパイプライン処理されると、ベース層復号化プロセス800と同様にしてエンハンスメント層復号化において単一の逆量子化ステップを用いることができるので非常に望ましい。例えば、逆量子化ステップを一つにするためには、数学的特徴に関連づけられた量子化パラメータが用いられることになる。この量子化ステップサイズは、H.264におけるQPが6個増えるごとに倍増する。もしQPb=QPe6であると、ベース層係数はエンハンスメント層スケールに変換され、以下の式によって合成される。図10はベース層、エンハンスメント層データの復号化のための復号プロセスの他の例を示す。プロセス1000はQPb=QPe6の場合のベース層、エンハンスメント層の量子化を用いる。式5に示すように、ベース層係数はステップ1005において係数を左へ1ビットシフトするスケーリングの形でことによりエンハンスメント層スケールに変換され、ステップ1010においてエンハンスメント層係数と加算される。従って、ステップ1015における一回の逆量子化とステップ1020における一回の逆変換だけが用いられる。もしベース層係数がゼロであればシフト動作は必要ない。従ってこの動作を用いるためにC’baseとC’enhとがゼロでないときは、QPbとQPeとの差は6の倍数となる。ビットシフト法以外の方法としてたとえばスケールファクタをスカラーと掛け算する方法などを用いることもできる。PフレームとBフレームとが内部MBと相互MBとを有するようにできる。内部MBとしてPまたはBフレーム内のあるマクロブロックの符号化の決定のためにレートひずみ最適化を用いることはハイブリッドビデオ符号化のための通常の方法である。内部MBがベース層またはエンハンスメント層相互MBに従わないときに単層復号化を実行するためには、ベース層内部MBの空間的予測のためには隣接する相互MBが用いられることはない。エンハンスメント層復号化のためのコンピュータ動作を複雑にしないために、ベース層のPまたはBフレーム内の内部MBに対してはエンハンスメント層における微細化はスキップできる。P又はBフレーム内の内部MBは相互MBよりも多くのビットを必要とする。このため、P又はBフレーム中の内部MBはより高いQPにおいてベース層品質に従って符号化することができる。これに起因してビデオ品質に若干の劣化が生じるが、この劣化は、上記したように、ベース、エンハンスメント層中の相互MB係数において後のフレーム内で微細化されることにより問題とはならない。この問題とならないことは二つの理由による。その第一は人間の視覚システムHVSの特性によるものであり、他の一つは相互MBが内部MBを微細化することにある。対象が第一フレームから第二フレームに移動すると、第一フレーム内の幾つかの画素が第二フレームでは見えなくなるカバー情報となる。そして、第二フレーム内の幾つかの画素は初期は見える非カバー情報となる。人間の目はこのようなカバー情報や非カバー情報には感度が小さい。従って非カバー情報についてはこれが低品質で符号化されたとしても目はその差を感じない。もし同じ情報が次のPフレームに残っていると、エンハンスメント層は低いQPを持っているのでこのエンハンスメント層におけるPフレームでは高いチャンスで微細化できる。内部MBをPまたはBフレームに取り込む他の方法としてイントラリフレッシュとして知られている。この場合、たとえスタンダードR-D最適化が相互符号化MBとして指定したとしてもそれらの幾つかのMBがイントラMBとして符号化される。これらのベース層に含まれる内部符号化MBはQPbまたはQPeとともに符号化される。もしQPeがベース層に用いられると、エンハンスメント層における微細化は必要ない。もしQPbがベース層に用いられるときは微細化が必要となる。そうしないと、エンハンスメント層において品質の低下が認められることになる。符号化効率の面では内部符号化よりも相互符号化の方が良いので、エンハンスメント層における微細化は相互符号化でなされる。この場合、ベース層係数はエンハンスメント層では用いられない。従って、エンハンスメント層における品質の向上は新しい動作を行うことなく得られることになる。Bフレームは高い圧縮品質を提供するのでエンハンスメント層に共通に用いられる。しかしながらBフレームはPフレームの内部MBを参照しなければならない。もしBフレームの画素をエンハンスメント層の品質で符号化する場合には、上述したように、Pフレームの内部MBの低い品質のために多くのビットを必要とする。上記したようにHVSの品質の特性を用いることにより、BフレームのMBはPフレームの低い品質の内部MBを参照して低い品質で符号化できることになる。P又はBフレーム内の内部MBを用いる場合としては、符号化対象のビデオ中に場面の変化があることによりPまたはBフレーム内のすべてのMBがイントラモードで符号化される場合がある。この場合にはすべてのフレームがベース層品質で符号化され、エンハンスメント層での微細化は行われない。もし場面変化がBフレームで生じ、Bフレームがエンハンスメント層で符号化されると、Bフレームはベース層品質で符号化され、または単純に停止する。もし場面変化がPフレームで生じると、何も変える必要は無いが、Pフレームは停止され、またはベース層品質で符号化される。上記の符号化プロセスの各例はオリジナルデータが変換された後でベース層とエンハンスメント層を選択する方法を用いている。同様の分割方法は係数を変換する以前にも用いることができる。情報と信号の表示を他の色々な方法を用いて行うことができることは当業者が容易に理解できることである。例えば上述したデータ、命令、コマンド、情報、信号、ビット、記号、およびチップなどは、電圧、電流、電磁波、磁界、磁気粒子、光学界、光粒子、あるいはこれらの組み合わせの表示によっても可能である。更に、この発明の実施形態や例について説明された論理ブロック、モジュール、アルゴリズムステップなどが電子的ハードウエア、コンピュータソフトウエア、又はこれらの組み合わせにより実現できることは当業者には自明である。これらのハードウエアとソフトウエアの相互の変換の可能性を明確にするために、種々の部品、ブロック、モジュール、回路及びステップはそれらの機能を表す表現で記載されている。これらの機能をハードウエアで実現するかソフトウエアで実現するかは、システム全体におけるそれらの特定の用途と設計の制約とに応じて決定される。当業者はそれらの特定の用途に対して記載された機能を種々の方法で実現するが、その決定の際には記載された方法から逸脱しない範囲でなされるべきである。ここに述べられた実施形態に関連して説明された論理ブロック、モジュール、回路などは更に、それらの機能を実現するように設計された汎用のプロセッサ、デジタル信号プロセッサDSP、特定用途集積回路ASIC、フィールドプログラマブルゲートアレイFPGA又は他のプログラマブル論理素子、個別ゲートまたはトランジスタロジック、個別ハードウエア素子、またはこれらの種々な組み合わせを用いて構成することができる。汎用のプロセッサとしてはマイクロプロセッサを用い得るが、更に従来の種々のプロセッサやコントローラ、マイクロコントローラ、あるいはステートマシーンを用いることもできる。プロセッサは更に計算装置の組み合わせ、例えばDSPとマイクロプロセッサ、複数のマイクロプロセッサ、一つ又は複数のマイクロプロセッサとDSPコア、または他の種々の組み合わせにより実現することができる。ここで説明された実施形態の方法やアルゴリズムのステップは、ハードウエアやプロセッサによって実行されるソフトウエアモジュールやこれらの組み合わせによって直接実施できる。ソフトウエアモジュールは、RAMメモリ、フラッシュメモリ、ROMメモリ、EPROMメモリ、EEPROMメモリ、レジスタ、ハードディスク、リムーバブルディスク、CD-ROM、又は他の公知の記憶媒体のどのようなものに記録しても良い。例えば、記憶媒体をプロセッサに結合すれば、このプロセッサはこの記録媒体に対して情報の読み出し、書き込みを行うことができる。或いはこの記憶媒体とプロセッサとを一体に構成することができる。このプロセッサと記憶媒体とは特定用途集積回路ASIC内に組み込むことができる。このASICは無線モデム中に組み込まれる。或いは、プロセッサと記憶媒体とは無線モデム中に夫々独立に組み込むことができる。上述した実施形態の説明は当業者がこの記載された方法と装置を容易に形成し使用することができるように為されている。これらの実施形態の変形は当業者にとって自明であり、その原理は記載された方法と装置の原理から逸脱することなく他の種々の実施形態に適用可能である。以上において、最小の復号化オーバヘッドによりベース層においては良好なビデオ品質を、エンハンスメント層では高品質ビデオを提供する方法と装置について述べた。