(57)【要約】【課題】データの一部が欠落して受信された場合でも、受信されたデータ量に応じた品質の復号画像を得ることを可能にし、また、ドリフトエラーを低減してドリフトエラーによる後続の動画像への影響を低減可能にする。【解決手段】基本階層復号部は、動き補償予測により基本階層の符号化データ４ｂ１から基本階層の復号画像４ｂｂを作成する。拡張階層復号部は、動き補償予測により拡張階層符号化データ４ｅ１から拡張階層の復号画像４ｅｌを作成する。拡張階層復号部のフレームバッファ４ｅａに格納する参照画像４ｅｈを、フレームバッファ４ｅａに格納された前時刻の参照画像を動き補償し、さらに予測誤差画像４ｅ９を加算した画像４ｅｎと、基本階層の復号画像４ｂｂにそれぞれ重み付けＷａ（ｎ，ｒ）、Ｗｂ（ｎ，ｒ）し、加算することにより作成する。【選択図】    図１
2004159157.tif 000002
【特許請求の範囲】
【請求項１】
品質に関して１つの基本階層と１つ以上の拡張階層に階層化され、各階層に対しそれぞれ１つずつ備えられたフレームバッファを用いて動き補償予測を行うことにより階層符号化された動画像の復号装置において、
動き補償予測により基本階層の符号化データから基本階層の復号画像を作成する基本階層復号画像作成手段と、
動き補償予測により拡張階層と、より低位階層の符号化データから当該拡張階層の復号画像を作成する拡張階層復号画像作成手段とから構成され、
前記基本階層復号画像作成手段および前記拡張階層復号画像作成手段は、動き補償予測のために各階層ごとにそれぞれ１つずつフレームバッファを備えたことを特徴とする、階層符号化された動画像の復号装置。
【請求項２】
前記拡張階層復号画像作成手段は、当該拡張階層に対するフレームバッファに格納された前時刻の参照画像とともに、より低位階層の復号画像を使用して当該拡張階層に対するフレームバッファに格納する参照画像を作成することを特徴とする、請求項１に記載の階層符号化された動画像の復号装置。
【請求項３】
拡張階層に対するフレームバッファに格納する参照画像を、当該拡張階層に対するフレームバッファに格納された前時刻の参照画像を動き補償し、さらに予測誤差画像を加算した画像と、より低位階層の復号画像に対してそれぞれ重み付けし、加算することにより作成することを特徴とする、請求項２に記載の階層符号化された動画像の復号装置。
【請求項４】
前記重み付けの度合いを、復号装置が受信できた符号化データの量に応じて自動的に決定することを特徴とする、請求項３に記載の階層符号化された動画像の復号装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、階層符号化された動画像の復号装置に関し、特に、品質に関して階層的に符号化されて伝送されてきた動画像を復号する際に、通信路の帯域変動などの原因によりデータの一部が消失されて受信された場合でも、受信されたデータ量に応じた品質の復号画像が得られるようにして復号画像の極端な品質劣化を防ぎ、また、ドリフトエラーを低減してドリフトエラーによる後続の動画像への影響を低減可能にした階層符号化された動画像の復号装置に関するものである。
【０００２】
【従来の技術】
ネットワークを介しての情報伝送においては、伝送路の帯域および受信端末の能力はさまざまに異なっている。また、インターネットに代表される品質保証のない伝送路上では、時々刻々と通信帯域が変動する。このようなネットワーク環境において動画像を伝送することを想定した場合、受信側において動画像の極端な品質劣化がなく、受信されたデータ量に応じた品質の動画像が得られることが重要である。このため、動画像を予め品質に関して階層的に符号化して伝送し、データの一部が消失されて受信された場合でも、受信されたデータ量に応じた品質の動画像を復号できるようにする方法が一般的に用いられる。
【０００３】
品質に関して階層的に動画像を符号化する技術の一つとして、標準的な動画像符号化方式であるＭＰＥＧ−４で規定されるＦＧＳ（Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｉｌｉｔｙ）が挙げられる。ＦＧＳでは、動画像を、それを最低限の品質で復号するのに必要なデータを持つ基本階層と、基本階層に付加することによって動画像の品質を高めるデータを持つ拡張階層とに分ける。拡張階層のデータはビットプレーン単位で符号化されるため、通信路の帯域変動などの影響で拡張階層のデータの一部が受信できなかった場合でも、受信されたデータ量に応じた品質の動画像を復号することができる。
【０００４】
ＦＧＳは、ＭＰＥＧをベースとした基礎的な技術であるため、階層化により非常に符号化効率が低くなるという問題がある。この問題点を改善し、符号化効率を改善する技術が、「Ｆｅｎｇ  Ｗｕ，  Ｓｈｉｐｅｎｇ  Ｌｉ，  Ｙａ−Ｑｉｎ  Ｚｈａｎｇ，  ”Ａ  Ｆｒａｍｅｗｏｒｋ  ｆｏｒ  Ｅｆｆｉｃｉｅｎｔ  Ｐｒｏｇｒｅｓｓｉｖｅ  Ｆｉｎｅ  Ｇｒａｎｕｌａｒｉｔｙ  Ｓｃａｌａｂｌｅ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ，”  ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＣＩＲＣＵＩＴＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＶＩＤＥＯ  ＴＥＣＨＮＯＬＯＧＹ，  ＶＯＬ．１１，  ＮＯ．３，  ＭＡＲＣＨ  ２００１」および「Ｍｉｈａｅｌａ  ｖａｎ  ｄｅｒ  Ｓｃｈａａｒ，  Ｈａｙｄｅｒ  Ｒａｄｈａ，  ”Ａ  Ｈｙｂｒｉｄ  Ｔｅｍｐｏｒａｌ−ＳＮＲ  Ｆｉｎｅ−Ｇｒａｎｕｌａｒ  Ｓｃａｌａｂｉｌｉｔｙ  ｆｏｒ  Ｉｎｔｅｒｎｅｔ  Ｖｉｄｅｏ，”  ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮＳ  ＯＮ  ＣＩＲＣＵＩＴＳ  ＡＮＤ  ＳＹＳＴＥＭＳ  ＦＯＲ  ＶＩＤＥＯ  ＴＥＣＨＮＯＬＯＧＹ，  ＶＯＬ．１１，  ＮＯ．３，  ＭＡＲＣＨ  ２００１」で提案されている。これは、ＦＧＳから派生したものであって、ＰＦＧＳ（Ｐｒｏｇｒｅｓｓｉｖｅ  ＦＧＳ）と呼ばれ、拡張階層に新たにもう一つのフレームバッファを備えることにより、ＦＧＳで問題点とされた低符号化効率を改善するものである。
【０００５】
図７、図８はそれぞれ、ＰＦＧＳの符号化装置と復号装置のブロック構成図であり、図７に示したＰＦＧＳの符号化装置は、入力動画像が品質に関して階層化された二つの階層（基本階層と拡張階層）をそれぞれを符号化する基本階層符号化部と拡張階層符号化部とからなる。
【０００６】
基本階層符号化部は、動き補償部７６、直交変換部７７、フレームバッファ７８、量子化部７９、逆量子化部７ａ、逆直交変換部７ｂ、エントロピ符号化部７ｃなどを備え、標準的な動画像符号化方式であるＭＰＥＧで採用されている処理と同様に、動き補償部７６と直交変換部７７で、フレームバッファ７８に格納された参照画像を使用して動き補償予測と直交変換を行い、前後フレーム間の相関と画像の空間的相関を利用して基本階層の符号化データを作成する。
【０００７】
拡張階層符号化部は、動き補償部７１、直交変換部７２、フレームバッファ７３、ビットプレーン符号化部７４、逆直交変換部７５などを備え、動き補償部７１で、基本階層よりも高い品質、すなわち高位階層の画像を使用して動き補償予測を行う。このとき、ビットプレーン符号部７４で作成された符号化データのうちのｎビットプレーン分のデータがフィードバックされてフレームバッファ７３に格納する参照画像が作成される。
【０００８】
図８に示したＰＦＧＳの復号装置は、基本階層の符号化データ、拡張階層の符号化データが入力され、それぞれ基本階層の復号画像、拡張階層の復号画像を生成する基本階層復号部と拡張階層復号部とからなる。
【０００９】
基本階層復号部は、エントロピ復号部８６、逆量子化部８７、逆直交変換部８８、動き補償部８９、フレームバッファ８ａなどを備え、基本階層符号化装置と逆の処理を行って基本階層の復号画像を作成する。
【００１０】
拡張階層復号部は、ビットプレーン復号部８１、逆直交変換部８２，８３、動き補償部８４、フレームバッファ８５、ビットプレーン分離部８ｂなどを備え、拡張階層符号化装置と逆の処理を行って拡張階層の復号画像を作成する。
【００１１】
なお、ビットプレーン分離部８ｂは、受信されたデータがｎビットプレーン以上であれば、ｒ＝ｎとして該データをｒビットプレーンとｒを越えるｍビットプレーンとに分離し、受信されたデータがｎビットプレーン未満であれば、受信された全てのビットプレーンをｒビットプレーンとする。このときはｍ＝０である。
【００１２】
ＰＦＧＳの符号化装置において、拡張階層の符号化データはビットプレーン単位で符号化されるため、ＰＳＧＳの復号装置において常にｎビットプレーン以上の拡張階層のデータを受信できた場合は、拡張階層符号化部のフレームバッファ７３と同じ参照画像をフレームバッファ８５に作成することができ、受信されたデータ量に応じた品質の動画像を復号することができる。
【００１３】
図９は、ＰＦＧＳの復号装置における基本階層のフレームバッファ８ａおよび拡張階層のフレームバッファ８５に格納される参照画像の関係を示す。ＰＦＧＳでは、基本階層のフレームバッファ８ａに格納される現時刻の参照画像９４は、基本階層のフレームバッファ８ａに前時刻に格納された参照画像９２から作成され、拡張階層のフレームバッファ８５に格納される現時刻の参照画像９３は、拡張階層のフレームバッファ８５に前時刻に格納された参照画像９１から作成される。
【００１４】
【発明が解決しようとする課題】
従来のＰＦＧＳの復号装置においては、通信路の帯域変動などの要因により伝送路の途中でデータの一部が消失しても、拡張階層のデータが常にｎビットプレーン以上受信できる環境にあれば、受信されたデータ量に応じた品質の動画像を復号することができる。
【００１５】
しかし、受信された拡張階層のデータがｎビットプレーンに満たなかった場合には、拡張階層のフレームバッファ８５に格納される参照画像に劣化が生じる。このとき、フレームバッファ８５に格納される参照画像は、本来あるべき符号化時のフレームバッファ７３に格納した参照画像と異なってしまうため、それを使用して復号される拡張階層の復号画像にも劣化が生じてしまうという問題があった。
【００１６】
また、動き補償部８４は、拡張階層のフレームバッファ８５に格納された参照画像を用いたループ内で動き補償予測を行ってフレームバッファ８５に格納する参照画像を作成するため、フレームバッファ８５に格納された参照画像が劣化していれば、それ以降に続く全ての拡張階層のフレームバッファ８５に格納される参照画像に劣化が伝播することになる。
【００１７】
このような復号時のフレームバッファ８５に格納される参照画像の劣化は、ドリフトエラーと呼ばれ、従来の階層的に符号化された動画像の復号装置ではドリフトエラーが伝播されるので、フレームバッファに格納される参照画像に一度劣化が生じれば、それ以降の復号画像が全て劣化してしまうという問題があった。
【００１８】
本発明は、従来技術の前記問題を解決するためになされたものであり、その目的は、データの一部が欠落して受信された場合でも、受信されたデータ量に応じた品質の復号画像を得ることができるようにして復号動画像の極端な品質劣化を防ぎ、また、ドリフトエラーを低減してドリフトエラーによる後続の動画像への影響を低減可能にする階層符号化された動画像の復号装置を提供することにある。
【００１９】
【課題を解決するための手段】
前記した課題を解決するために、本発明は、品質に関して１つの基本階層と１つ以上の拡張階層に階層化され、各階層にそれぞれ１つずつ備えられたフレームバッファを用いて動き補償予測を行うことにより階層符号化された動画像の復号装置において、動き補償予測により基本階層の符号化データから基本階層の復号画像を作成する基本階層復号画像作成手段と、動き補償予測により拡張階層と、より低位階層の符号化データから当該拡張階層の復号画像を作成する拡張階層復号画像作成手段とから構成され、前記基本階層復号画像作成手段および前記拡張階層復号画像作成手段は、動き補償予測のために各階層ごとにそれぞれ１つずつフレームバッファを備えた点に第１の特徴がある。
【００２０】
また、本発明は、前記拡張階層復号画像作成手段が、当該拡張階層に対するフレームバッファに格納された前時刻の参照画像とともに、より低位階層の復号画像も使用して当該拡張階層に対するフレームバッファに格納する参照画像を作成する点に第２の特徴がある。
【００２１】
また、本発明は、拡張階層に対するフレームバッファに格納する参照画像を、当該拡張階層に対するフレームバッファに格納された前時刻の参照画像を動き補償し、さらに予測誤差画像を加算した画像と、より低位階層の復号画像に対してそれぞれ重み付けし、加算することにより作成する点に第３の特徴がある。
【００２２】
さらに、本発明は、前記重み付けの度合いを、復号装置が受信できた符号化データの量に応じて自動的に決定する点に第４の特徴がある。
【００２３】
第１の特徴によれば、拡張階層と、より低位階層の符号化データから当該拡張階層の復号画像を作成するので、通信路の帯域変動などによりデータの一部が消失して受信された場合でも、受信されたデータ量に応じた品質の復号画像を得ることができ、また、ドリフトエラーを低減してドリフトエラーによる後続の動画像への影響を低減できる。
【００２４】
また、第２の特徴によれば、ドリフトエラーの影響のない、より低位階層の復号画像も使用することにより、通信路の帯域変動などにより拡張階層の符号化データの一部が消失して受信された場合であっても、拡張階層に対するフレームバッファに格納される参照画像に付加されて伝播するドリフトエラーを低減できる。
【００２５】
また、第３の特徴によれば、拡張階層に対するフレームバッファに格納された前時刻の参照画像を動き補償し、さらに予測画像を加算した画像と、より低位階層の復号画像の品質の良し悪しを考慮した重み付けをすることにより、拡張階層に対するフレームバッファに格納する参照画像を良好にし、ドリフトエラーの伝播を低減できる。
【００２６】
さらに、第４の特徴によれば、受信された拡張階層の符号化データの量に従って自動的に拡張階層に対するフレームバッファに格納するための良好な参照画像を得ることができ、受信状態に応じて最良の復号画像を作成することができ、また、ドリフトエラーの伝播を最大限に低減できる。
【００２７】
【発明の実施の形態】
本発明の階層符号化された動画像の復号装置が復号の対象とする符号化データは、例えば、図７に示したＰＦＧＳ符号化装置で作成された符号化データである。この符号化データは、基本階層の符号化データと拡張階層の符号化データの２つの階層から構成されているものであり、拡張階層の符号化データを作成するための拡張階層のフレームバッファ７３に格納される参照画像は、拡張階層のフレームバッファ７３に格納された前時刻の参照画像を使用して作成されているという特徴を持つ。
【００２８】
以下、図面を参照して本発明を詳細に説明する。図１は本発明の階層符号化された動画像の復号装置の一実施形態を示すブロック構成図であり、本復号装置は、基本階層復号部と拡張階層復号部とからなる。
【００２９】
まず、基本階層の符号化データの復号について説明する。基本階層復号部は、エントロピ復号部１ｂ２、逆量子化部１ｂ３、逆直交変換部１ｂ４、フレームバッファ１ｂ７、動き補償部１ｂ８、および加算器１ｂａを備える。
【００３０】
基本階層の符号化データ１ｂ１を、エントロピ復号部１ｂ２、逆量子化部１ｂ３および逆直交変換部１ｂ４に順次入力して処理する。この３つの処理により、基本階層の予測誤差画像１ｂ５が作成される。エントロピー復号処理部１ｂ２では動きベクトル１ｂ６も同時に復号する。動きベクトル１ｂ６は、基本階層復号部の動き補償部１ｂ８で使用され、また、後述する拡張階層復号部の動き補償部１ｅｂでも使用される。
【００３１】
フレームバッファ１ｂ７には、前時刻の基本階層の復号参照画像が格納されており、これを動き補償部１ｂ８に入力して動きベクトル１ｂ６による動き補償を施し、この結果得られた画像１ｂ９と基本階層の予測誤差画像１ｂ５とを加算器１ｂａで加算して基本階層の復号画像１ｂｂを再構成する。再構成された基本階層の復号画像１ｂｂを、基本階層復号部の出力として導出するとともに、次の時刻の復号時の参照画像としてフレームバッファ１ｂ７に格納する。
【００３２】
以上の基本階層復号部自体は、単一階層からなるＭＰＥＧの復号装置と全く違いのない復号装置であり、符号化データが単一階層からなるＭＰＥＧであれば問題なく復号可能である。また、動画像伝送の実際の運用の際は、使用される伝送路で保証される最低限の伝送レートを満たすような符号化レートで基本階層を符号化しておけば、通信路に帯域変動が起こった場合でも、基本階層の符号化データは問題なく復号することができ、基本階層による最低限品質の動画像の復号が保証される。
【００３３】
次に、拡張階層の符号化データの復号について述べる。拡張階層復号部は、ビットプレーン復号部１ｅ２、逆直交変換部１ｅ８、１ｅｉ、フレームバッファ１ｅａ、動き補償部１ｅｂ、加算器１ｅ６、１ｅｇ、１ｅｋ、１ｅｍ、ビットプレーン分離部１ｅｐの他、乗算器１ｅｃ、１ｅｅを備える。
【００３４】
拡張階層の符号化データ１ｅ１を、まず、ビットプレーン復号部１ｅ２で、ビットプレーン表現された拡張階層の直交変換係数に復号する。復号された拡張階層の直交変換係数を、ビットプレーン分離部１ｅｐに入力して、フレームバッファ１ｅａの内容を更新するためのｒビットプレーンの直交変換係数１ｅ３と、その残りである拡張階層の復号画像を作成するためのｍビットプレーンの直交変換係数１ｅ４とに分離する。
【００３５】
ここで、符号化の際に拡張階層のフレームバッファ７３の内容を更新するために使用された直交変換係数のビットプレーン数をｎとすれば、受信されるデータ量に依存して、ｒは最大でｎ、すなわちｒ≦ｎであり、ｎ以上の残りのビットプレーンをｍとして分離する。
【００３６】
分離されたｒビットプレーンの係数１ｅ３を加算器１ｅ６に入力し、基本階層の符号化データ１ｂ１をエントロピ復号部１ｂ２と逆量子化部１ｂ３の２つの処理部で順次処理することにより得られた直交変換係数１ｅ５と加算する。加算器１ｅ６からは、直交変換係数１ｅ７が出力される。さらに、直交変換係数１ｅ７を、逆直交変換部１ｅ８に入力する。逆直交変換部１ｅ８からはフレームバッファ１ｅａの内容を更新するために使用される予測誤差画像１ｅ９が出力される。
【００３７】
以上の処理は、図８の復号装置での処理と同じであるが、本発明は、以下に説明するように、フレームバッファ１ｅａに格納する参照画像の作成に特徴があり、この特徴により、従来のＰＦＧＳ復号装置にはないドリフトエラーへの耐性が備わり、通信路の帯域変動などにより受信されるデータに急激な縮退が生じても、ドリフトエラーを最大限に押さえた動画像の復号が可能になる。
【００３８】
フレームバッファ１ｅａには、前時刻の参照画像が格納されている。動き補償部１ｅｂで、この前時刻の参照画像に動きベクトル１ｂ６を用いた動き補償を施した後、逆直交変換部１ｅ８から出力された予測誤差画像１ｅ９を加算することにより予測画像１ｅｎを得る。この予測画像１ｅｎを乗算器１ｅｃに入力して関数Ｗａ（ｎ，ｒ）で重み付けすることにより予測画像１ｅｄを作成する。
【００３９】
また、現時刻の基本階層の復号画像１ｂｂ、すなわち基本階層のフレームバッファ１ｂ７に現時刻に格納する参照画像を乗算器１ｅｅに入力して関数Ｗｂ（ｎ，ｒ）で重み付けすることにより画像１ｅｆを作成する。これら２つの重み付けされた画像１ｅｄおよび１ｅｆを加算器１ｅｇで加算する。加算器１ｅｇにより得られる画像１ｅｈをフレームバッファ１ｅａに参照画像として格納する。
【００４０】
図２は、本実施形態における基本階層のフレームバッファ１ｂ７および拡張階層のフレームバッファ１ｅａに格納される参照画像の関係を示す。基本階層のフレームバッファ１ｂ７に格納される現時刻の参照画像２６は、基本階層のフレームバッファ１ｂ７に前時刻に格納された参照画像２２から作成され、拡張階層のフレームバッファ１ｅａに格納される現時刻の参照画像２５は、拡張階層のフレームバッファ１ｂ７に前時刻に格納された参照画像２１にＷａ（ｎ，ｒ）の重みを付け２３をし、基本階層のフレームバッファ１ｂ７に格納する現時刻の参照画像２６にＷｂ（ｎ，ｒ）の重みを付け２４をし、それらを加算することにより作成される。
【００４１】
このように、本実施形態では、フレームバッファ１ｅａに格納された前時刻の参照画像を動き補償し、さらに予測誤差画像１ｅ９を加算して得られる画像１ｅｎと、基本階層の復号画像１ｂｂの２つの画像にそれぞれ重み付けし、それらを加算することによりフレームバッファ１ｅａに格納する参照画像を作成している。
【００４２】
従来技術における復号では、拡張階層のフレームバッファに格納された前時刻の参照画像だけが使用されて拡張階層の参照画像が更新されていたため、拡張階層の参照画像にドリフトエラーが発生すれば、それがそのまま続くフレームの復号処理に伝播していた。しかし、本実施形態では、以上の説明から明らかなように、拡張階層のフレームバッファ１ｅａに格納された前時刻の画像だけでなく、ドリフトエラーが発生する恐れのない現時刻の基本階層の復号画像１ｂｂをも使用して拡張階層の参照画像を作成しているので、ドリフトエラーの伝播が低減される。
【００４３】
この際、受信された拡張階層の符号化データ１ｅ１の量から推測される拡張階層のフレームバッファ１ｅａに格納される前時刻の参照画像の歪具合を考慮し、拡張階層の参照画像の品質が高くなるように、拡張階層のフレームバッファ１ｅａに格納された参照画像と基本階層の復号画像とのどちらにウェイトをおくかを決めて重み付けを設定する。
【００４４】
これによって、通信路の帯域幅などが急激に変動した場合でも、拡張階層のフレームバッファ１ｅａに格納される参照画像の歪度合いが低減され、品質の高い、しかもドリフトエラーの伝播が低減された復号が可能になる。
【００４５】
さらに、本実施形態では、乗算器１ｅｃ、１ｅｅにおける関数Ｗａ（ｎ，ｒ）、Ｗｂ（ｎ，ｒ）、すなわち、重み付けは、受信された拡張階層のデータのビットプレーン数ｒと符号化時に拡張階層のフレームバッファ更新のために使用したビットプレーン数ｎとの関数として自動的に決定するものとし、受信状態に応じて最良の復号画像を作成することができ、また、ドリフトエラーの伝播を最大限に低減できるようにしている。例えば、ｒが０に近い場合はＷｂ（ｎ，ｒ）の値が大きくなるようにし、逆にｒがｎに近い場合はＷａ（ｎ，ｒ）の値が大きくなるようにしている。
【００４６】
符号化時に拡張階層のフレームバッファのために使用したビットプレーン数をｎとし、復号時に使用できるビットプレーン数をｒとすると、伝送レートが高くｒ＝ｎとして符号化データを受信できた時は、復号装置側でも完全に符号化時と同じ状態にフレームバッファの内容を更新できるため、フレームバッファ１ｅａに格納される参照画像は、常に基本階層よりも良好な品質を有していると考えられる。
【００４７】
このような場合、拡張階層のフレームバッファ１ｅａに格納する現時刻の参照画像を作成するためには拡張階層のフレームバッファ１ｅａに格納された前時刻の参照画像に対する重み付けを大きくしてやればよい。すなわち、ｒ＝ｎのとき、拡張階層のフレームバッファ１ｅａに格納された前時刻の参照画像に対する重みが大きくなるように、ｎとｒを変数とする関数Ｗａ（ｎ，ｒ）を設定する。
【００４８】
逆に、ｒ＜ｎのときには、拡張階層のフレームバッファ１ｅａに格納する現時刻の参照画像を作成するために使用する符号化データが（ｎ−ｒ）ビットプレーンだけ不足しているため、ドリフトエラー発生し、拡張階層のフレームバッファ１ｅａに格納されている前時刻の画像を使用すると、ドリフトエラーがそのまま伝播する。したがって、ｒ＜ｎのときには、ドリフトエラーを最大限に回避するように、現時刻の基本階層の復号画像に対する重みが大きくなるように、ｎとｒを変数とする関数Ｗｂ（ｎ，ｒ）を設定する。
【００４９】
基本階層のフレームバッファ１ｂ７に格納される復号画像はドリフトエラーを伴わず、ドリフトエラーが伝播する恐れがないため、特にｒが非常に小さいときは、現時刻の基本階層の復号画像１ｂｂに大きな重み付けして拡張階層のフレームバッファ１ｅａに格納する現時刻の参照画像を作成することにより、ドリフトエラーの伝播を低減し、良品質の画像を復号することができる。
【００５０】
最終的な拡張階層の復号画像１ｅｌは、以下のようにして作成される。拡張階層の直交変換係数の内、フレームバッファ１ｅａの内容を更新するために使用するｒビットプレーンの直交変換係数１ｅ３を除いて残ったｍビットレーンの直交変換係数１ｅ４に、フレームバッファ１ｅａの内容を更新するための直交変換係数１ｅ７を加算器１ｅｍで加算する。加算器１ｅｍの出力を逆直交変換部１ｅｉで逆直交変換することにより拡張階層の復号画像を作成するための予測誤差画像１ｅｊを得る。
【００５１】
この予測誤差画像１ｅｊと、フレームバッファ１ｅａに格納された前時刻の参照画像を動き補償部１ｅｂで動き補償して得られる画像とを加算器１ｅｋで加算することにより拡張階層の復号画像１ｅｌを作成する。なお、動き補償部１ｅｂは、基本階層と同一の動きベクトル１ｂ６を用いて動き補償を行う。
【００５２】
次に、図３、図４を参照して、本発明の階層符号化された動画像の復号装置の他の実施形態について説明する。本実施形態は、１つの基本階層と３つの拡張階層に階層化された符号化動画像に対するものである。
【００５３】
図３は、１つの基本階層の符号化データと３つの拡張階層の符号化データを作成するＰＦＧＳ符号化装置である。基本階層符号化部は、図７と同じ構成を有する。拡張階層符号化部については、拡張階層符号化部３以外の拡張階層符号化部１と拡張階層符号化部２にそれぞれ、ビットプレーン分離部３１および３２を追加し、品質に関して順次階層化された符号化データが作成されるように構成している。
【００５４】
ここで、ビットプレーン分離部３１、３２で分離するビットプレーン数をｓ１、ｓ２とし、拡張階層符号部３のビットプレーン符号化前のビットプレーン数をｓ３とし、各階層に１つずつ備えられたフレームバッファに格納する参照画像を作成するためのビットプレーン数をそれぞれｎ１、ｎ２、ｎ３とすると、ｎ１≦ｓ１、ｎ２≦ｓ２、ｎ３≦ｓ３に設定する。その他の構成は、図７のＰＦＧＳ符号化装置と同様である。
【００５５】
図４は、図３のＰＦＧＳ符号化装置により作成された符号化データを復号する、本発明の復号装置のブロック構成図である。
【００５６】
同図において、拡張階層復号部１におけるフレームバッファに格納する参照画像は、図１の拡張階層復号部と同様に、拡張階層復号部１のフレームバッファに前時刻に格納された参照画像と基本階層の復号画像にそれぞれ、ｎ１とｒ１とから求まるＷａ（ｎ１，ｒ１）、Ｗｂ（ｎ１，ｒ１）の重み付けを行い、加算することにより作成する。
【００５７】
また、拡張階層復号部ｐ（ｐ＝２，３）のフレームバッファに格納する参照画像は、拡張階層復号部ｐのフレームバッファに前時刻に格納された参照画像と拡張階層復号部（ｐ−１）の復号画像にそれぞれ、ｎｐとｒｐとから求まるＷａ（ｎｐ，ｒｐ）、Ｗｂ（ｎｐ，ｒｐ）の重み付けを行い、加算することにより作成する。
【００５８】
図３、図４の実施形態は、拡張階層が３つに階層化された例であるが、本発明は、図５に示すように、拡張階層符号化部１と拡張階層符号化部３の間に挟まれている拡張階層符号化部２を、繰り返し用いる、または省略することにより作成される２以上の任意の数の拡張階層を持つ符号化データに対する復号装置としても構成可能である。
【００５９】
図６は、図５に示す符号化装置で作成された任意の数の拡張階層を持つ符号化データを復号する、本発明の復号装置の構成例を示す。同図に示すように、拡張階層復号部１と拡張階層復号部３の間に挟まれている拡張階層復号部２を、繰り返し用いる、または省略することにより、２以上の任意の数の拡張階層を持つ符号化データに対する復号装置として拡張できる。
【００６０】
ここで、基本階層復号化部、拡張階層復号部１、拡張階層復号部２、拡張階層復号部３はそれぞれ、図４に示す復号装置の基本階層復号化部、拡張階層復号部１、拡張階層復号部２、拡張階層復号部３と同様の構成を有するものである。
【００６１】
前記実施形態では、重み付けを、ｎとｒを変数とする関数Ｗａ（ｎ，ｒ）およびＷｂ（ｎ，ｒ）で行うものとしたが、この重み付けは、ｎとｒに依存しない一定の固定値とすることもできる。通信路の状況によって重み付けを任意に設定することも有効であり、本発明は、このような構成のものも含む。
【００６２】
【発明の効果】
以上、詳細に説明したように、本発明によれば、品質に関して階層的に符号化された動画像を伝送し、受信されたデータ量に応じた品質の動画像を復号することが可能になる。また、通信路の帯域変動によりデータの一部が消失して受信された場合でも、動画像の品質を極端に劣化させることなく復号することができ、このときに発生するドリフトエラーが後続の動画像に伝播しないようにドリフトエラーを低減させることができる。さらに、受信されたデータ量を考慮して最大限にドリフトを低減するように動き補償を自動的に実行でき、受信状態に応じた最良品質の動画像を復号することが可能になる。
【００６３】
本発明は、例えば、帯域幅の異なる伝送路および性能の異なる受信端末が混在するようなさまざまな通信環境において、ネットワークを介して各人に最適な動画像を提供するディジタル放送などにおける動画像符号化・復号に広く適用可能である。
【図面の簡単な説明】
【図１】本発明の復号装置の一実施形態を示すブロック構成図である。
【図２】本発明の復号装置のフレームバッファに格納する参照画像の関係の説明図である。
【図３】３つの拡張階層符号化データを作成するＰＦＧＳ符号化装置のブロック構成図である。
【図４】本発明の復号装置の他の実施形態を示すブロック構成図である。
【図５】多階層符号化データを作成するＰＦＧＳ符号化装置のブロック構成図である。
【図６】多階層符号化データを復号する本発明の構成図である。
【図７】先行技術であるＰＦＧＳの符号化装置のブロック構成図である。
【図８】先行技術であるＰＦＧＳ復号装置のブロック構成図である。
【図９】先行技術であるＰＦＧＳ復号装置のフレームバッファに格納する参照画像の関係の説明図である。
【符号の説明】
１ｂ２，８６・・・エントロピ復号部、１ｂ３，７ａ，８７・・・逆量子化部、１ｂ４，１ｅ８，１ｅｉ，７５，７ｂ，８２，８３，８８・・・逆直交変換部、１ｂ７，１ｅａ，７３，７８，８５・・・フレームバッファ、１ｂ８，１ｅｂ，７１，７６，８４，８９，８ａ・・・動き補償部、１ｂａ，１ｅ６、１ｅｇ，１ｅｋ，１ｅｍ・・・加算器、１ｅ２，８１・・・ビットプレーン復号部、１ｅｐ，３１，３２，８ｂ・・・ビットプレーン分離部、１ｅｃ，１ｅｅ・・・乗算器、７２，７７・・・直交変換部、７９・・・量子化部、７ｃ・・・エントロピ符号化部、７４・・・ビットプレーン符号化部
【図１】
2004159157.tif 000003
【図２】
2004159157.tif 000004
【図３】
2004159157.tif 000005
【図４】
2004159157.tif 000006
【図５】
2004159157.tif 000007
【図６】
2004159157.tif 000008
【図７】
2004159157.tif 000009
【図８】
2004159157.tif 000010
【図９】
2004159157.tif 000011