(57)【要約】入力ビデオストリームの空間的スケーラブル圧縮をする方法および装置が開示される。ベース特徴を有するベースストリームを符号化する。残差信号を符号化してエンハンスメント特徴を有するエンハンスメントストリームを生成する。前記残差信号は前記入力ビデオストリームの原フレームと前記ベースレイヤーからアップスケールされたフレームとの間の差異である。前記エンハンスメントストリーム中の前記エンハンスメント特徴から前記ベース特徴の処理されたものを差し引く。
2006518568.tif 000002
【特許請求の範囲】
【請求項１】
入力ビデオストリームの空間的スケーラブル圧縮を行う、前記ビデオストリームを符号化し圧縮して出力する装置であって、
ベース特徴を有するベースストリームを符号化するベースレイヤーエンコーダと、
残差信号を符号化してエンハンスメント特徴を有するエンハンスメントストリームを生成するエンハンスメントレイヤーエンコーダとを有し、
前記残差信号は前記ビデオストリームの原フレームと前記ベースレイヤーからアップスケールしたフレームとの間の差異であり、
前記装置は、前記エンハンスメントストリーム中のエンハンスメント特徴から処理されたベース特徴を差し引くユニットをさらに有することを特徴とする装置。
【請求項２】
請求項１に記載の装置であって、前記ベース特徴はベース動きベクトルであり、前記エンハンスメント特徴はエンハンスメント動きベクトルであることを特徴とする装置。
【請求項３】
請求項２に記載の装置であって、前記ベース動きベクトルをスケールして前記処理されたベース動きベクトルを形成することを特徴とする装置。
【請求項４】
請求項３に記載の装置であって、リニアスケーリングファクターを用いて前記ベース動きベクトルをスケールすることを特徴とする装置。
【請求項５】
請求項３に記載の装置であって、ノンリニアスケーリングファクターを用いて前記ベース動きベクトルをスケールすることを特徴とする装置。
【請求項６】
請求項５に記載の装置であって、第１のスケーリングファクターは前記ベース動きベクトルの水平成分をスケールし、第２のスケーリングファクターは前記ベース動きベクトルの垂直成分をスケールすることを特徴とする装置。
【請求項７】
請求項３に記載の装置であって、前記ベース動きベクトルは意図されたエンハンスメントマクロブロックをほとんどカバーするベースマクロブロックから取られることを特徴とする装置。
【請求項８】
請求項７に記載の装置であって、前記ベース動きベクトルは、前記意図されたエンハンスメントマクロブロックの少なくとも一部をカバーする複数のベースマクロブロックから取られ、前記意図されたエンハンスメントマクロブロックを少なくとも部分的にはカバーする前記複数のマクロブロックのすべてに対応するベース動きベクトルは、一組のベース動きベクトルに合成され、合成後にスケールされることを特徴とする装置。
【請求項９】
請求項８に記載の装置であって、前記複数のベースマクロブロックのすべてから得た前記対応するベース動きベクトルは平均または加重平均され、前記一組のベース動きベクトルが生成され、生成後にスケールされることを特徴とする装置。
【請求項１０】
入力ビデオストリームを符号化するレイヤードエンコーダであって、
前記ビデオストリームの解像度を下げるダウンサンプル部と、
前記ダウンサンプルされたビデオストリームの各フレームについてベース動きベクトルを計算する第１の動き推定部と、
前記第１の動き推定部から前記ベース動きベクトルを受け取り、第１の予測ストリームを生成する第１の動き補償部と、
前記ダウンサンプルされたビデオストリームから前記第１の予測ストリームを差し引き、ベースストリームを生成する第１の減算部と、
低解像度ベースストリームを符号化するベースエンコーダと、
前記ベースストリームを復号し解像度を上げ、再構成ビデオストリームを生成するアップコンバート部と、
前記入力ビデオストリームと前記再構成ビデオストリームを受け取り、アップスケールされたベースレイヤーとエンハンスメントレイヤーに基づき、前記受け取ったストリームの各フレームについてエンハンスメント動きベクトルを計算する第２の動き推定部と、
前記入力ビデオストリームから前記再構成ビデオストリームを差し引き、残差ストリームを生成する第２の減算部と、
前記動き推定部から前記動きベクトルを受け取り、第２の予測ストリームを生成する第２の動き補償部と、
前記残差ストリームから前記第２の予測ストリームを差し引く第３の減算部と、
前記減算部から減算の結果得られたストリームを符号化し、エンハンスメントストリームを出力するエンハンスメントエンコーダと、
前記エンハンスメントストリーム中の前記エンハンスメント動きベクトルから前記ベース動きベクトルを処理したものを差し引く分離ベクトル部とを有することを特徴とする装置。
【請求項１１】
入力ビデオストリームに空間的スケーラブル圧縮を施す方法であって、
ベース特徴を有するベースストリームを符号化するステップと、
残差信号を符号化してエンハンスメント特徴を有するエンハンスメントストリームを生成するステップとを有し、
前記残差信号は前記入力ビデオストリームの原フレームと前記ベースレイヤーからアップスケールされたフレームとの間の差異であり、
前記方法は、前記エンハンスメントストリーム中の前記エンハンスメント特徴から前記ベース特徴の処理されたものを差し引くステップをさらに有することを特徴とする方法。
【請求項１２】
請求項１１に記載の方法であって、前記ベース特徴はベース動きベクトルであり、前記エンハンスメント特徴はエンハンスメント動きベクトルであることを特徴とする方法。
【請求項１３】
圧縮されたビデオ情報を復号するデコーダであって、
受信ベースストリームを復号するベースストリームデコーダと、
前記復号されたベースストリームの解像度を上げるアップコンバート部と、
受信エンハンスメントストリーム中の残差信号に前記ベースストリームデコーダにより生成された処理されたベース特徴を加えるマージ部と、
前記マージ部からの出力信号を復号するエンハンスメントストリームデコーダと、
前記アップコンバートされた復号ベースストリームと前記マージ部の復号出力を合成しビデオ出力を生成する加算部とを有することを特徴とするデコーダ。
【請求項１４】
請求項１３に記載のデコーダであって、前記ベース特徴はベース動きベクトルであり、前記エンハンスメント特徴はエンハンスメント動きベクトルであることを特徴とするデコーダ。
【請求項１５】
請求項１４に記載のデコーダであって、前記ベース動きベクトルがスケールされ前記処理されたベース動きベクトルを形成することを特徴とするデコーダ。
【請求項１６】
請求項１５に記載のデコーダであって、リニアスケーリングファクターを用いて前記ベース動きベクトルをスケールすることを特徴とするデコーダ。
【請求項１７】
請求項１５に記載のデコーダであって、ノンリニアスケーリングファクターを用いて前記ベース動きベクトルをスケールすることを特徴とするデコーダ。
【請求項１８】
請求項１７に記載のデコーダであって、第１のスケーリングファクターは前記ベース動きベクトルの水平成分をスケールし、第２のスケーリングファクターが前記ベース動きベクトルの垂直成分をスケールすることを特徴とするデコーダ。
【請求項１９】
請求項１５に記載のデコーダであって、前記ベース動きベクトルは、意図されたエンハンスメントマクロブロックを実質的にカバーするベースマクロブロックから取られることを特徴とするデコーダ。
【請求項２０】
請求項１９に記載のデコーダであって、前記ベース動きベクトルは、前記意図されたエンハンスメントマクロブロックの少なくとも一部をカバーする複数のベースマクロブロックから取られ、
前記意図されたエンハンスメントマクロブロックを少なくとも部分的にはカバーする前記複数のベースマクロブロックのすべての対応するベース動きベクトルは一組の動きベクトルに合成され、合成後にスケールされることを特徴とするデコーダ。
【請求項２１】
請求項２０に記載のデコーダであって、前記複数のベースマクロブロックのすべてからの前記対応するベース動きベクトルは平均または加重平均され前記一組の動きベクトルを生成し、前記生成された一組の動きベクトルがスケールされることを特徴とするデコーダ。
【請求項２２】
ベースストリームとエンハンスメントストリームとして受信された圧縮ビデオ情報を復号する方法であって、
前記受信したベースストリームを復号するステップと、
前記復号されたベースストリームの解像度を上げるステップと、
前記ベースストリームデコーダにより生成された処理されたベース特徴を前記受信エンハンスメントストリーム中の残差信号に加え合成信号を形成するステップと、
前記合成信号を復号するステップと、
前記アップコンバートされた復号ベースストリームと前記復号合成信号を合成してビデオ出力を生成するステップとを有することを特徴とする方法。
【発明の詳細な説明】
【発明の詳細な説明】
【０００１】
本発明はビデオ符号化に関し、特に空間的スケーラブルビデオ圧縮方式に関する。
【０００２】
デジタルビデオはデータ量が膨大なので、フルモーション、高精細のデジタルビデオ信号の伝送は、高精細テレビジョンの開発において重要な問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度に従うピクセルアレイにより構成された静止画像である。その結果、高解像度のビデオシーケンスに含まれる生のデジタル情報の量は膨大である。伝送しなければならないデータ量を減らすために、圧縮方式を用いてデータを圧縮する。様々なビデオ圧縮の標準規格やプロセスが確立されており、それには例えば、MPEG-2、MPEG-4、H.263、H.264などがある。
【０００３】
多数のアプリケーションが可能となっており、そこでは１つのストリームで様々な解像度や品質のビデオを使用できる。これを達成する方法は大まかにスケーラビリティ技術と呼ばれる。スケーラビリティは３つの軸で考えることができる。第１は、時間軸上のスケーラビリティであり、これはテンポラルスケーラビリティと呼ばれることが多い。第２は、品質軸上のスケーラビリティであり、信号対ノイズスケーラビリティやファイン・グレインスケーラビリティと呼ばれることも多い。第３の軸は解像度軸（画像中のピクセル数）であり、空間的スケーラビリティまたはレイヤードコーディングと呼ばれることが多い。レイヤードコーディングにおいては、ビットストリームは２以上のビットストリーム、またはレイヤーに分割される。各レイヤーを結合して、単一の高品質信号を形成することができる。例えば、ベースレイヤーは低品質ビデオ信号を提供し、エンハンスメントレイヤーはベースレイヤー画像をエンハンスする付加情報を提供する。
【０００４】
特に、空間的スケーラビリティがあれば、ビデオの標準規格やデコーダの機能が違っても互換性を持たせることができる。空間的スケーラビリティがある場合、ベースレイヤービデオは入力ビデオシーケンスよりも解像度が低く、ベースレイヤーの解像度を入力シーケンスレベルに戻すための情報はエンハンスメントレイヤーにより送られる。
【０００５】
ほとんどのビデオ圧縮標準規格は空間的スケーラビリティをサポートしている。図１は、MPEG-2／MPEG-4の空間的スケーラビリティをサポートするエンコーダ１００を示したブロック図である。エンコーダ１００はベースエンコーダ１１２とエンハンスメントエンコーダ１１４とを有する。ベースエンコーダは、ローパスフィルター及びダウンサンプラー１２０、動き推定部１２２、動き補償部１２４、直交変換（例えば、離散余弦変換（DCT））回路１３０、量子化部１３２、可変長符号化部１３４、ビットレート制御回路１３５、逆量子化部１４０、スイッチ１２８、１４４、および補間及びアップサンプル回路１５０を有する。エンハンスメントエンコーダ１１４は、動き推定部１５４、動き補償部１５５、セレクタ１５６、直交変換（例えば、離散余弦変換（DCT））回路１５８、量子化部１６０、可変長符号化部１６２、ビットレート制御回路１６４、逆量子化部１６６、逆変換回路１６８、スイッチ１７０、１７２を有する。各構成要素の動作は本技術分野で周知であり、詳細には説明しない。入力INPに基づき、ベースエンコーダ１１２はベースストリームBSを生成し、エンハンスメントエンコーダ１１４はエンハンスメントストリームESを生成する。
【０００６】
残念ながら、このレイヤード符号化方式の符号化効率はとてもよいとは言えない。確かに、与えられたピクチャ品質について、一つのシーケンスのベースレイヤーのビットレートとエンハンスメントレイヤーのビットレートを合わせると、同じシーケンスを一度に符号化した場合のビットレートよりも大きくなる。
【０００７】
図２は、DemoGrafxにより提案された他のエンコーダ２００を示すブロック図である（米国特許第5,852,565号参照）。このエンコーダはエンコーダ１００と実質的に同じ構成要素を有し、各構成要素の動作は実質的に同一なので、説明は省略する。この構成では、入力ブロックとアップサンプル回路１５０からのアップサンプル出力の間の残差が動き推定部１５４に入力される。エンハンスメントエンコーダの動き推定をガイド／補助するため、図２の点線で示したように、ベースレイヤーからスケールされた動きベクトルを動き推定部１５４で使用する。しかし、この構成でも図１に示した構成の問題を大幅に解消することはできない。
【０００８】
図１、２に示したように、空間的スケーラビリティはビデオ圧縮標準規格でサポートされているが、符号化効率が悪くなるので使用されることは少ない。符号化効率が悪いということは、与えられたピクチャ品質に対して、一つのシーケンスのベースレイヤーのビットレートとエンハンスレイヤーのビットレートを合わせると、同じシーケンスを一度に符号化した場合よりビットレートが大きくなることを意味する。
【０００９】
本発明の目的は、エンハンスメントストリームのエンハンスメント特徴の残差のみを送信することにより、より効率的に圧縮できる方法および装置を提供することにより、既知の空間的スケーラビリティの方式の上記欠陥の少なくとも一部を解決することである。本発明の一実施形態によれば、入力ビデオストリームの空間的スケーラブル圧縮をする方法および装置が開示される。ベース特徴を有するベースストリームを符号化する。残差信号を符号化してエンハンスメント特徴を有するエンハンスメントストリームを生成する。前記残差信号は前記入力ビデオストリームの原フレームと前記ベースレイヤーからアップスケールされたフレームとの間の差異である。前記エンハンスメントストリーム中の前記エンハンスメント特徴から前記ベース特徴の処理されたものを差し引く。
【００１０】
本発明の他の実施形態によれば、ベースストリームとエンハンスメントストリームで受信した、圧縮されたビデオ情報を復号する方法および装置が開示されている。前記受信したベースストリームを復号する。前記復号されたベースストリームの解像度を上げる。前記ベースストリームデコーダにより生成された処理されたベース特徴を前記受信エンハンスメントストリーム中の残差信号に加え合成信号を形成する。前記合成信号を復号する。前記アップコンバートされた復号ベースストリームと前記復号合成信号を合成してビデオ出力を生成する。
【００１１】
本発明の上記その他の態様は以下に説明する実施形態を参照して明らかになるであろう。
【００１２】
例として、添付した図面を参照して、本発明を説明する。
【００１３】
図３は、本発明の一実施形態によるエンコーダを示すブロック図である。以下に説明するように、エンコーダ３００により行われる動き推定は、図１、２に示したように残差信号に基づいて行われるのではなく、完全な画像に対して行われる。動き推定が完全な画像に基づいて行われるので、ベースレイヤーの動き推定ベクトルはエンハンスメントレイヤーの対応するベクトルと高い相関を有する。このように、以下に説明するように、ベースレイヤーとエンハンスメントレイヤーの動き推定ベクトルの間の差異だけを送信するので、エンハンスメントレイヤーのビットレートを減らすことができる。図３に示した実施形態は動き推定および動きベクトルに関するものであるが、当業者には当然のことながら、本発明は他のベースおよびエンハンスメントの特徴にも適用することができる。本発明によると、ベースレイヤーから得た情報を用いてエンハンスメントレイヤーを予測することができる。ベースレイヤーで選択された符号化の特徴（例えば、マクロブロックタイプ、モーションタイプ等）を用いて、エンハンスメントレイヤーで使用される符号化の特徴を予測することができる。ベース特徴からエンハンスメント特徴を差し引くことにより、ビットレートが低いエンハンスメントストリームを得ることができる。
【００１４】
図示した符号化システム３００はレイヤード圧縮を実現することができ、それによってチャンネルの一部を使用して低解像度ベースレイヤーを提供し、残りの部分を使用してエッジエンハンスメント情報を送信することができる。２つの信号を再合成することにより、システムの解像度を上げることができる。
【００１５】
エンコーダ３００は、ベースエンコーダ３１２とエンハンスメントエンコーダ３１４とを有する。ベースエンコーダは、ローパスフィルター及びダウンサンプラー３２０、動き予測部３２２、動き補償部３２４、直交変換（例えば、離散余弦変換（DCT））回路３３０、量子化部３３２、可変長符号化部（VLC）３３４、ビットレート制御回路３３５、逆量子化部３３８、逆変換回路３４０、スイッチ３２８、３４４、補間及びアップサンプル回路３５０を有する。
【００１６】
入力ビデオブロック３１６はスプリッタ３１８により分離され、ベースエンコーダ３１２とエンハンスメントエンコーダ３１４との両方に送られる。ベースエンコーダ３１２において、入力ブロックはローパスフィルター及びダウンサンプラー３２０に入力される。ローパスフィルターはビデオフロックの解像度を小さくし、動き推定部３２２に入力する。動き推定部３２２は各フレームのピクチャデータをIピクチャ、Pピクチャ、またはBピクチャとして処理する。順次入力されるフレームのピクチャは各々、所定のやり方（例えばI、B、P、B、P、．．．、B、Pのシーケンス）でIピクチャ、Pピクチャ、またはBピクチャの一つとして処理される。すなわち、動き推定部３２２は、図示しないフレームメモリに格納された一連のピクチャの所定の基準フレームを参照し、マクロブロック（すなわち、符号化されるフレームの16ピクセル×16ピクセルの小さなブロック）と基準フレームとのパターンマッチング（ブロックマッチング）によりそのマクロブロックの動きベクトルを検出する。
【００１７】
MPEGの場合、４つのピクチャ予測モードがある。イントラ符号化（イントラフレーム符号化）、前方予測符号化、後方予測符号化、双方向予測符号化である。Iピクチャはイントラ符号化ピクチャである。Pピクチャはイントラ符号化、前方予測符号化、または後方予測符号化のピクチャである。Bピクチャはイントラ符号化、前方予測符号化、または双方向予測符号化のピクチャである。
【００１８】
動き推定部３２２はPピクチャの前方予測をして、動きベクトルを検出する。さらに動き推定部３２２はBピクチャの前方予測、後方予測、および双方向予測を行い、それぞれの動きベクトルを検出する。動き推定部３２２は、既知のやり方で、フレームメモリ中で、現在の入力ピクセルブロックに最も類似したピクセルブロックを探す。本技術分野では様々な探索アルゴリズムが知られている。それらは一般に、現在の入力ブロックのピクセルと候補ブロックのピクセルとの平均絶対差（MAD）または平均二乗誤差（MSE）の評価に基づく。MADまたはMSEが最小になる候補ブロックが選択され動き補償予測ブロックとなる。その動き補償予測ブロックの現在の入力ブロックの位置に対する相対的位置が動きベクトルとなる。
【００１９】
動き補償部３２４は、動き推定部３２２から予測モードと動きベクトルを受け取ると、その予測モードと動きベクトルに従って、フレームメモリに格納された、符号化されすでに局所的に復号されたピクチャデータを読み出し、その読み出したデータを予測ピクチャとして計算部３２５とスイッチ３４４に供給する。計算部３２５は入力ブロックも受け取り、その入力ブロックと動き補償部３２４から受け取った予測ピクチャ間の差異を計算する。その差異はDCT回路３３０に供給される。
【００２０】
動き推定部３２２から予測モードだけを受け取ったとき、すなわち、予測モードがイントラ符号化モードのとき、動き補償部３２４は予測ピクチャを出力しない。このような場合、計算部３２５は上述の処理は実行せず、入力ブロックをDCT回路３３０に直接出力する。
【００２１】
DCT回路３３０は、DCT係数を得て量子化部３３２に供給するため、計算部３２５からの出力信号にDCT処理を実施する。量子化部３３２は、フィードバックとして受け取ったバッファ（図示せず）中のデータ格納量に応じて量子化ステップ（量子化スケール）を設定し、その量子化ステップを用いてDCT回路３３０からのDCT係数を量子化する。量子化されたDCT係数は設定された量子化ステップとともにVLC部３３４に供給される。
【００２２】
VLC部３３４は、量子化部３３２から供給された量子化ステップに応じて、量子化部３３２から供給された量子化係数をハフマン符号等の可変長符号に変換する。その結果得られる変換された量子化係数は、図示しないバッファに出力される。量子化係数と量子化ステップは逆量子化部３３８にも供給される。その逆量子化部３３８は、量子化係数をDCT係数に変換するために、量子化ステップに従って逆量子化する。DCT係数は逆DCT部３４０に供給される。逆DCT部３４０はDCT係数に逆DCTを実施する。その結果得られた逆DCT係数は計算部３４８に供給される。
【００２３】
計算部３４８は、スイッチ３４４の位置に応じて、逆DCT部３４０から逆DCT係数を受け取るか、または動き補償部３２４からデータを受け取る。計算部３４８は逆DCT部３４０からの信号（予測残差）を動き補償部３２４からの予測ピクチャに加え、原ピクチャを局所的に復号する。しかし、予測モードがイントラ符号化であるとき、逆DCT部３４０の出力はフレームメモリに直接入力してもよい。計算部３４０により得られた復号ピクチャは、フレームメモリに送られ、格納され、後でインター符号化ピクチャ、前方予測符号化ピクチャ、後方予測符号化ピクチャ、または双方向予測符号化ピクチャの基準ピクチャとして使用される。
【００２４】
エンハンスメントエンコーダ３１４は、動き推定部３５４、動き補償部３５６、DCT回路３６８、量子化部３７０、VLC部３７２、ビットレートコントローラ３７４、逆量子化部３７６、逆DCT回路３７８、スイッチ３６６、３８２、減算部３５８、３６４、および加算部３８０、３８８とを有する。また、エンハンスメントエンコーダ３１４は、DCオフセット３６０、３８４、加算部３６２、減算部３８６を含んでもよい。これらの構成要素の多くはベースエンコーダ３１２の同様の構成要素と同様の動作をするので、詳しくは説明しない。
【００２５】
計算部３４０の出力はアップサンプル部３５０にも供給される。このアップサンプル部３５０は、復号されたビデオストリームからのフィルター除去された解像度を再構成し、高解像度入力と実質的に同じ解像度を有するビデオデータストリームを提供する。しかし、フィルターと、圧縮解凍による損失のため、再構成したストリームには一定のエラーが含まれてしまう。減算部３５８において再構成された高解像度ストリームを元の変更されていない高解像度ストリームから差し引くことにより、エラーがあるかどうかを判断する。
【００２６】
図３に示した本発明の一実施形態によれば、元の変更されていない高解像度ストリームは動き推定部３５４にも提供される。再構成された高解像度ストリームは加算部３８８に提供され、（スイッチ３８２の位置に応じて動き補償部３５６の出力により変更されていることもありうる）逆DCT部３７８からの出力が加算される。加算部３８８の出力は動き推定部３５４に供給される。結果として、元の高解像度ストリームと再構成された高解像度ストリームの間の残差に対してではなく、動き推定はアップスケールされたベースレイヤープラスエンハンスメントレイヤーに対して実行される。この動き推定により生成されるベクトルは、図１、２に示した既知のシステムにより生成されたベクトルよりよく、実際の動きを追跡することができる。これにより、特に業務用アプリケーションよりビットレートが低いコンシューマ用アプリケーションにおいて、知覚的によりよいピクチャ品質を提供することができる。
【００２７】
さらにまた、エンハンスメントエンコーダ３１４において、DCオフセット動作およびそれに続くクリッピング動作をさせ、加算部３６２によりDCオフセット値３６０を減算部３５８からの残差信号出力に加算することもできる。この任意的なDCオフセットおよびクリッピング動作により、ピクセル値が例えば０から２５５までの所定範囲にあるところのMPEG等の既存の標準規格をエンハンスメントエンコーダとして使用することができる。残差信号は通常はゼロの周りに集中している。DCオフセット値３６０を加えることにより、サンプルの集中を範囲の中心（例えば、８ビットビデオサンプルの場合１２８）にシフトすることができる。この加算の有利な点は、エンハンスメントレイヤーのエンコーダの標準コンポーネントを用いることができ、その結果費用効率の高い（IPブロックを再利用できる）ソリューションとなるからである。
【００２８】
本発明の一実施形態によれば、VLC部３７２からのエンハンスメント出力ストリームはスプリットベクトル部３９０に供給される。ベースレイヤーからの動き推定ベクトルもスプリットベクトル部３９０に供給される。スプリットベクトル部３９０は、エンハンスメントレイヤーの動き推定ベクトルからベースレイヤーの処理された動き推定ベクトルを差し引き、動き推定ベクトルの残差を生成する。その残差信号は送信される。エンハンスメントレイヤーのベクトルの冗長度を下げることにより、エンハンスメントレイヤーのビットレートを下がる。
【００２９】
本発明の一実施形態において、ベース動きベクトルはスプリットベクトル部３９０（または、図３には示されていないスケーリング部）でスケールされ、処理されたベース動きベクトルを形成する。スケーリングは線形スケーリングファクターを用いて実行してもよいし、非線形スケーリングファクターを用いて実行してもよい。非線形スケーリングの場合、ベース動きベクトルの水平成分が第１のスケーリングファクターによりスケールされ、ベース動きベクトルの垂直成分は第２のスケーリングファクターによりスケールされる。また、どのベースマクロブロックからベースベクトルを取るべきか明らかでなくてもよい。本発明の一実施形態において、意図されたエンハンスメントマクロブロックを最も大きくカバーするベースマクロブロックが選択される。本発明の別の実施形態において、意図されたエンハンスメントマクロブロックの少なくとも一部をカバーするベースマクロブロックの一部または全部からのベース動きベクトルが選択される。各ベースマクロブロックからの対応する選択されたベース動きベクトルは、既知の方法で平均化され、一組のベース動きベクトルとなり、スケールされる。
【００３０】
図４は、エンコーダ３００により生成されたベースおよびエンハンスメントストリームを復号するための、本発明の一実施形態によるデコーダ４００を示す図である。ベースストリームはベースデコーダ４０２で復号される。復号されたベースストリームはアップコンバータ４０４によりアップコンバートされる。アップコンバートされたベースストリームは加算部４０６に供給される。ベースレイヤーからのベクトルはベースデコーダ４０２からマージベクトル部４０８に送られる。しかし、ベース動きベクトルは、最初に、スプリットベクトル部３９０で使用したのと同じスケーリングファクターを用いて、マージベクトル部４０８（または、図４には図示しないスケーリングデバイス）によりスケールされなければならない。マージベクトル部４０８は、処理されたベースベクトルをエンハンスメントストリームの残差信号に加える。エンハンスメントストリームの動きベクトルは再構成され、エンハンスメントストリーム全体をエンハンスメントデコーダ４１０により復号することができる。加算部４０６により復号されたエンハンスメントストリームがアップコンバートされたベースストリームに足し合わされ、デコーダ４００の全出力信号が生成される。図４に示した実施形態は動きベクトルに関するものであるが、当業者には当然のことながら、本発明は他のベース特徴およびエンハンスメント特徴に適用することもできる。
【００３１】
以上説明した本発明の実施形態によれば、エンハンスメントレイヤーのエンハンスメント特徴の残差だけを送信することにより、エンハンスメントレイヤーのビットレートを引き下げることにより、空間的スケーラブル圧縮方式の効率を向上する。当然のことながら、本発明の異なる実施形態において、上で説明したステップの順序を厳密に守る必要は必ずしもなく、本発明の全体的な動作に影響を与えることなくステップの一部のタイミングを入れ替えることができる。さらにまた、「有する」という用語は他の要素やステップを排除するものではなく、「１つの」という用語は複数の場合を排除するものではなく、単一のプロセッサその他がクレームに記載した複数の部分や回路の機能を満たしてもよい。
【図面の簡単な説明】
【００３２】
【図１】空間スケーラビリティを有する既知のエンコーダを示すブロック図である。
【図２】空間スケーラビリティを有する既知のエンコーダを示すブロック図である。
【図３】本発明の一実施形態による、スケーラビリティを有するエンコーダを示すブロック図である。
【図４】本発明の一実施形態によるレイヤードデコーダを示すブロック図である。
【図１】
2006518568.tif 000003
【図２】
2006518568.tif 000004
【図３】
2006518568.tif 000005
【図４】
2006518568.tif 000006
【国際調査報告】
2006518568.tif 000007
2006518568.tif 000008
2006518568.tif 000009