(57)【要約】入力動画像ストリームの空間的にスケーラブルな圧縮を効率的に行う装置を開示する。基礎符号器は基礎符号器ストリームを符号化する。変形装置は基礎符号器ストリームの内容を変形して複数の基礎ストリームを生成する。強調符号器は強調符号器ストリームを符号化する。変形装置は強調符号器ストリームの内容を変形して複数の強調ストリームを生成する。
2005507587.tif 000002
【特許請求の範囲】
【請求項１】
入力動画像ストリームの空間的にスケーラブルな圧縮を効率的に行う装置であって：
基礎符号器ストリームを符号化する基礎符号器；
複数の基礎ストリームを生成するよう、前記基礎符号器ストリームの内容を変形する装置；
強調符号器ストリームを符号化する強調符号器；及び
複数の強調ストリームを生成するよう、前記強調符号器ストリームの内容を変形する装置；
を有することを特徴とする装置。
【請求項２】
請求項１記載の装置であって、前記変形が、前記基礎符号器ストリームが有する係数に形成される、直列に組み立てられている、一連の減衰ステップ、及び、各減衰ステップによる符号化誤差からの前記複数の基礎ストリームのうちの１つを供給する前記減衰ステップの各々に関係する再符号化ステップによって行われることを特徴とする装置。
【請求項３】
請求項１記載の装置であって、前記変形が、前記強調符号器ストリームが有する係数に形成される、直列に組み立てられている、一連の減衰ステップ、及び、各減衰ステップに
よる符号化誤差からの前記複数の強調ストリームのうちの１つを供給する前記減衰ステップの各々に関係する再符号化ステップによって行われることを特徴とする装置。
【請求項４】
請求項１記載の装置であって、前記変形が、前記基礎符号器ストリームが有する係数に形成される、縦つなぎに組み立てられている、一連の減衰ステップ、及び、各減衰ステップによる符号化誤差からの前記複数の基礎ストリームのうちの１つを供給する前記減衰ステップの各々に関係する再符号化ステップによって行われることを特徴とする装置。
【請求項５】
請求項１記載の装置であって、前記変形が、前記強調符号器ストリームが有する係数に形成される、縦つなぎに組み立てられている、一連の減衰ステップ、及び、各減衰ステップによる符号化誤差からの前記複数の強調ストリームのうちの１つを供給する前記減衰ステップの各々に関係する再符号化ステップによって行われることを特徴とする装置。
【請求項６】
入力動画像ストリームを符号化する階層化符号器であって：
前記動画像ストリームの解像度を低減するダウンサンプル装置；
基礎符号器ストリームを符号化する基礎符号器；
前記基礎符号化ストリームの内容を変形することによって、複数の基礎ストリームを生成する装置；
復元動画像ストリームを生成するよう、前記基礎符号化ストリームを復号化して解像度
を増加させるアップコンバート装置；
前記入力動画像ストリーム及び前記復元動画像ストリームを受信して、アップスケール基礎階層及び強調階層に基づいて前記受信ストリームの各フレームについて動きベクトルを算定する動き予測装置；
残余ストリームを生成するよう、前記復元動画像ストリームを、前記入力動画像ストリームから減算する第１減算装置；
前記動き予測装置から前記動きベクトルを受信して予測ストリームを生成する動き補償装置；
前記予測ストリームを前記残余ストリームから減算する第２減算装置；
該減算装置からの該減算の結果生じるストリームを符号化して強調符号器ストリームを出力する強調符号器；及び
複数の強調ストリームを、前記強調符合器ストリームの内容を変形することによって生成する装置；
を有する階層化符号器。
【請求項７】
請求項６記載の階層化符号器であって、前記複数の基礎ストリームを生成する装置が：
前記複数の基礎ストリームのうちの１つを供給する、直列に組み立てられた、前記基礎符号器ストリームを構成する係数に形成された、減衰装置群；
各減衰装置によって生成された符合化誤差から、前記複数の基礎ストリームのうちの１つを供給する各減衰装置に関係する再符号化装置；
を有することを特徴とする階層化符号器。
【請求項８】
請求項６記載の階層化符号器であって、前記複数の基礎ストリームを生成する装置が：
前記複数の基礎ストリームのうちの１つを供給する、縦つなぎに組み立てられた、前記基礎符号器ストリームを構成する係数に形成された、減衰装置群；
各減衰装置によって生成された符合化誤差から、前記複数の基礎ストリームのうちの１つを供給する各減衰装置に関係する再符号化装置；
を有することを特徴とする階層化符号器。
【請求項９】
請求項７記載の階層化符号器であって、前記複数の強調ストリームを生成する装置が：
前記複数の強調ストリームのうちの１つを供給する、直列に組み立てられた、前記強調符号器ストリームを構成する係数に形成された、減衰装置群；
各減衰装置によって生成された符合化誤差から、前記複数の強調ストリームのうちの１つを供給する各減衰装置に関係する再符号化装置；
を有することを特徴とする階層化符号器。
【請求項１０】
請求項８記載の階層化符号器であって、前記複数の強調ストリームを生成する装置が：
前記複数の強調ストリームのうちの１つを供給する、縦つなぎに組み立てられた、前記強調符号器ストリームを構成する係数に形成された、減衰装置群；
各減衰装置によって生成された符合化誤差から、前記複数の強調ストリームのうちの１つを供給する各減衰装置に関係する再符号化装置；
を有することを特徴とする階層化符号器。
【請求項１１】
請求項７記載の階層化符号器であって、前記減衰装置が、ブロック・レベルで行われる、周波数重みづけ装置と、該周波数重みづけ装置に直列で続く、前記係数を量子化する、量子化装置、とを有することを特徴とする階層化符号器。
【請求項１２】
請求項７記載の階層化符号器であって、各再符号化装置は、出力信号を、前記符号化誤差を供給する、前記関係する減衰装置の入力信号から、減算する減算装置、及び前記符合化誤差から前記基礎ストリームの1つを生成する可変長符合化装置を有することを特徴とする階層化符合器。
【請求項１３】
請求項８記載の階層化符号器であって、前記減衰装置が、ブロック・レベルで行われる、周波数重みづけ装置と、該周波数重みづけ装置に直列で続く、前記係数を量子化する、量子化装置、とを有することを特徴とする階層化符号器。
【請求項１４】
請求項１３記載の階層化符号器であって、各再符号化装置は、出力信号を、前記符号化誤差を供給する、前記関係する減衰装置の入力信号から、減算する減算装置、及び前記符合化誤差から前記基礎ストリームの1つを生成する可変長符合化装置を有することを特徴とする階層化符合器。
【請求項１５】
請求項９記載の階層化符号器であって、前記減衰装置が、ブロック・レベルで行われる、周波数重みづけ装置と、該周波数重みづけ装置に直列で続く、前記係数を量子化する、量子化装置、とを有することを特徴とする階層化符号器。
【請求項１６】
請求項７記載の階層化符号器であって、各再符号化装置は、出力信号を、前記符号化誤差を供給する、前記関係する減衰装置の入力信号から、減算する減算装置、及び前記符合化誤差から前記強調ストリームの1つを生成する可変長符合化装置を有することを特徴とする階層化符合器。
【請求項１７】
入力動画像ストリームの空間的にスケーラブルな圧縮を設ける方法であって：
前記入力動画像ストリームを、該動画像ストリームの解像度を低減するよう、ダウンサンプルする工程；
該ダウンサンプル動画像ストリームを、基礎符号器ストリームを生成するよう、符合化する工程；
前記基礎符号器ストリームの内容を変形することによって、複数の基礎ストリームを生成する工程；
復元動画像ストリームを生成するよう、前記基礎ストリームを復号化してアップコンバートする工程；
前記入力動画像ストリームからのフレームと前記復元動画像ストリームからのフレームとの間の期待動きを予測して、アップスケール基礎階層及び強調階層に基づいて受信ストリームの各フレームについて動きベクトルを算定する工程；
残余ストリームを生成するよう、前記復元動画像ストリームを、前記動画像ストリームから減算する工程；
動き補償装置において前記動きベクトルを用いて予測ストリームを算定する工程；
前記予測ストリームを前記残余ストリームから減算する工程；
該減算の結果生じる残余ストリームを符号化して強調符号器ストリームを出力する工程；及び
複数の強調ストリームを、前記強調符合器ストリームの内容を変形することによって生成する工程；
を有する方法。
【請求項１８】
複数の符合化動画像信号を復号化する復号器であって：
各動画像ストリームについて１つの、該動画像ストリームを復号化する、複数の復号器；
前記復号化動画像ストリームを合成する計算装置；
DCT係数を生成するよう、前記復号化動画像ストリームにおける量子化係数に逆量子化操作を行う逆量子化装置；
第１信号を生成するよう、前記DCT係数に逆DCT操作を行う逆DCT装置；
予測映像を生成する動き補償装置；及び
出力信号を生成するよう、前記第１信号と前記予測映像とを合成する計算装置；
を有する復号器。
【請求項１９】
請求項１８記載の復号器であって、前記複数の符合化動画像ストリームが基礎ストリームであることを特徴とする復号器。
【請求項２０】
請求項１８記載の復号器であって、前記複数の動画像ストリームが強調ストリームであることを特徴とする復号器。
【請求項２１】
複数の符合化動画像信号を復号化する方法であって：
該動画像ストリーム各々を復号化する工程；
前記復号化動画像ストリームを合成する工程；
DCT係数を生成するよう、前記復号化動画像ストリームにおける量子化係数に逆量子化操作を行う工程；
第１信号を生成するよう、前記DCT係数に逆DCT操作を行う工程；
予測映像を動き補償装置において生成する工程；及び
前記第１信号と前記予測映像とを、出力信号を生成するよう、合成する工程；
を有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、動画像符号器に関するものであり、特に、複数の基礎ストリーム及び複数の強調ストリームを生成する空間的にスケーラブルな圧縮手法を用いる動画像符号器に関するものである。
【背景技術】
【０００２】
ディジタル動画像においては本来、データ量が大量であるので、フル・モーションの、高品位ディジタル動画像信号の伝送は高品位テレビの開発において重要な問題となっている。特に、各ディジタル画像フレームは特定のシステムの表示解像度によって画素アレイから形成された静止画像である。その結果、高解像度動画列が有する生ディジタル情報の量は大量である。必要データ伝送量を低減するよう、データが圧縮される圧縮手法が用いられる。MPEG-2、MPEG-4、H.263及びH.264、を有する、種々の動画像圧縮標準又は手順が定められた。
【０００３】
多くのアプリケーションでは、動画像が、１つのストリームにおいて種々の解像度及び/又は品質で利用できるように、操作し得る。これを実現する方法はおおまかにスケーラビリティ手法と呼ばれる。スケーラビリティを展開する軸は３つある。第１に、よく時間的スケーラビリティと呼ばれる、時間軸上のスケーラビリティがある。第２に、よく信号対雑音スケーラビリティ又は細粒度スケーラビリティと呼ばれる、品質軸上のスケーラビリティがある。第３軸は、よく空間的スケーラビリティ又は階層的符号化と呼ばれる、解像度軸(画像における画素数)である。階層的符号化においては、ビットストリームが2つ以上のビットストリーム、すなわち階層に分けられる。各階層は単一の高品質信号を形成するよう合成し得る。例えば、基礎階層は低品質動画像信号を設け得る一方、強調階層は基礎階層画像を改善し得る追加情報を設ける。
【０００４】
特に、空間的スケーラビリティは異なる動画像標準すなわち復号器機能の間の互換性を設け得る。空間的スケーラビリティでは、基礎階層動画像は入力動画像列よりも低い解像度を有し得るので、強調階層は基礎階層の解像度を入力列レベルに戻し得る情報を有する。
【０００５】
大多数の動画像圧縮標準は空間的スケーラビリティをサポートする。図１はMPEG-2/MPEG-4の空間的スケーラビリティをサポートする符号器100の構成図を示す。符号器100は基礎符号器112と強調符号器114とを有する。該基礎符号器は低通過フィルタ及びダウンサンプル器120、動き予測器122、動き補償器124、直交変換(例えば、離散コサイン変換(DCT))回路130、量子化器132、可変長符号器134、ビットレート制御器135、逆量子化器138、逆変換回路140、スイッチ128、144、及び、補間及びアップサンプル器150を有する。強調符号器114は動き予測器154、動き補償器155、セレクタ156、直交変換(例えば、離散コサイン変換（DCT）)回路158、量子化器160、可変長符号器162、ビットレート制御回路164、逆量子化器166、逆変換回路168、スイッチ170及び172を有する。個々の構成部分の操作は周知のものであり、詳細には説明しない。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
あいにく、この階層的符号化手法の符号化効率はあまり良くない。実際に、所定の映像品質について、１つの列について基礎階層と強調階層とを合わせたビットレートは一度に符号化した同様の列のビットレートよりも大きい。
【０００７】
図２はデモグラフィックス(DemoGrafx)社によって提案された別の既知の符号器200を示す。該符号器は符号器100と実質的に同様の構成部分を有し、各々の操作は実質的に同様なので、個々の構成部分は説明しない。この構成においては入力ブロックと、アップサンプル器150からのアップサンプル出力との間の残余誤差が動き予測器154に入力される。強調符号器の動き予測を導き、助力するよう、基礎階層からのスケールされた動きベクトルが図２のダッシュの線によって示したように動き予測器154において用いられる。しかしながら、この方法は図１における方法の問題を有意に克服しない。
【課題を解決するための手段】
【０００８】
本発明の目的は異なる品質レベルの複数の基礎ストリーム及び異なる品質レベルの複数の強調ストリームを生成する、空間的にスケーラブルな圧縮手法を設けることによって既知の空間的スケーラビリティ手法の上記の欠点を少なくとも部分的に克服することにある。
【０００９】
本発明の一実施例によって、入力動画像ストリームの空間的にスケーラブルな圧縮を効率的に行う装置を開示する。基礎符号器は基礎符号器ストリームを符号化する。変形装置が複数の基礎ストリームを生成するよう基礎符号器ストリームの内容を変形する。強調符号器は強調符号器ストリームを符号化する。当該変形装置が複数の強調ストリームを生成するよう強調符号器ストリームの内容を変形する。
【００１０】
本発明の別の実施例によって、入力動画像ストリームの空間的にスケーラブルな圧縮を設ける方法及び装置を開示する。入力動画像ストリームは動画像ストリームの解像度を低減するようダウンサンプルされる。ダウンサンプル動画像ストリームは基礎符号器ストリームを生成するよう符号化される。複数の基礎ストリームが基礎符号器ストリームから生成される。基礎符号器ストリームは復元動画像ストリームを生成するよう、復号化されてアップコンバートされる。入力動画像ストリームからのフレームと復元動画像ストリームからのフレームとの間の期待動きが予測されて、受信ストリームの各フレームについての動きベクトルがアップスケール基礎階層及び強調階層に基づいて算定される。復元動画像ストリームは残余ストリームを生成するよう、動画像ストリームから減算される。予測ストリームは動きベクトルを用いて動き補償装置において算定される。予測ストリームは残余ストリームから減算される。結果の残余ストリームは符号化されて強調符号器ストリームが出力される。複数の強調ストリームが強調符号器ストリームより生成される。
【００１１】
本発明の別の実施例によって、複数の符号化動画像信号を復号化する方法及び装置を開示する。各動画像ストリームは復号化されて更に該動画像ストリームは合成される。逆量子化操作が復号化動画像ストリームにおける量子化係数に行われてDCT係数が生成される。逆DCT操作がDCT係数に行われて、第１信号が生成される。予測映像が動き補償器において生成されて、第１信号及び予測映像が合成されて出力信号が生成される。
【発明を実施するための最良の形態】
【００１２】
図３は本発明の一実施例による符号器の概略図である。図３における符号化システム300は階層化圧縮を実現し、チャネルの、一部分が複数の低解像度基礎階層を設けるのに用いられて残りの部分が複数の強調階層を伝送するのに用いられ、種々の基礎階層及び、種々の基礎階層並びに強調階層を、異なる品質レベルの動画像ストリームを生成するよう、合成し得る。当業者は更に他の符号化方法が多層基礎及び強調動画像ストリームを生成するよう用い得、本発明がそれに制限されないものであることがわかるものである。
【００１３】
符号器300は基礎符号器312及び強調符号器314を有する。基礎符号器は低通過フィルタ並びにダウンサンプル器320、動き予測器322、動き補償器324、直交変換(例えば、離散コサイン変換(DCT))回路330、量子化器332、可変長符号器(VLC)334、ビットレート制御回路335、逆量子化器338、逆変換回路340、スイッチ328、344、及び補間並びにアップサンプル器350を有する。
【００１４】
入力動画像ブロック316は分配器318によって分配されて基礎符号器312と強調符号器314との両方に送られる。基礎符号器312においては、当該入力ブロックは低通過フィルタ及びダウンサンプル器320に入力される。低通過フィルタは動画像ブロックの解像度を低減して、該ブロックは更に動き予測器322に供給される。動き予測器322は各フレームの映像データをI-映像、P-映像、又はB-映像として処理する。順次入力されるフレームの映像の各々は、I-映像、P-映像、又はB-映像の１つとして、I、B、P、B、P、…、B、Pの列のように、あらかじめセットされた方法で、処理される。すなわち、動き予測器322は図なしのフレーム記憶装置に記憶された一連の映像における、あらかじめセットされた基準フレームを参照して、マクロブロック、すなわち、16画素を有する小ブロック、の動きベクトルを、マクロブロックの動きベクトルを検出する、マクロブロックと基準フレームとの間でのパターン照合(ブロック照合)によって符号化されるフレームの16の線によって検出する。
【００１５】
MPEGにおいては、４つの映像予測モード、すなわち、内部符号化(フレーム内符号化)、前方予測符号化、後方予測符号化、及び双方向予測符号化、がある。I-映像は内部符号化映像、P-映像は内部符号化又は前方予測符号化又は後方予測符号化映像、及びB-映像は内部符号化、前方予測符号化、又は双方向予測符号化映像である。
【００１６】
動き予測器322はその動きベクトルを検出するようP-映像に前方予測を行う。更に、動き予測器322はB-映像について前方予測、後方予測、及び双方向予測を行い各々の動きベクトルを検出する。既知の方法で、動き予測器322は、現時の入力画素ブロックに最も似ている画素ブロックについて、フレーム記憶装置中を、探索する。種々の探索アルゴリズム技術が周知のものとなっている。それらは一般に現時の入力ブロックの画素と候補ブロックの画素との間の平均絶対誤差(MAD)又は平均平方誤差(MSE)の数値を求めることに基づいている。最小MAD又はMSEを有する候補ブロックは更に、動き補償予測ブロックとなるよう選定される。この現時の入力ブロックに対する相対位置が動きベクトルとなる。
【００１７】
予測モード及び動きベクトルを動き予測器322から受信すると、動き補償器324は、該予測モード及び動きベクトルによって、フレーム記憶装置中に記憶された、符号化されて既に局所復号化された映像データを読み出し得、該読み出しデータを予測映像として計算装置325及びスイッチ344に供給し得る。計算装置325は更に入力ブロックを受信して入力ブロックと動き補償器324からの予測映像との間の差異を算定する。該差異値は次にDCT回路330に供給される。
【００１８】
予測モードのみが動き予測器322から受信された場合、すなわち、予測モードが内部符号化モードの場合、動き補償器324は予測映像を出力しないことがある。そのような状況においては、計算装置325は上記の処理を行わないことがあり、その代わりに入力ブロックをDCT回路330に直接出力することがある。
【００１９】
DCT回路330は計算装置33からの出力信号にDCT処理を行って、量子化器332に供給されるDCT係数を取得する。量子化器332はフィードバックとして受信された、(図なしの)バッファ中のデータ記憶量によって量子化ステップ(量子化スケール)を設定して、該量子化ステップを用いてDCT回路330からのDCT係数を量子化する。量子化DCT係数は設定量子化ステップとともにVLC装置334に供給される。
【００２０】
VLC装置334は、量子化器332から供給された量子化係数を、ハフマン符号のような、可変長符号に、量子化器332から供給された量子化ステップによって変換する。結果として変換された量子化係数は図なしのバッファに出力される。量子化係数及び量子化ステップは更に、逆量子化器338に供給され、該逆量子化器は量子化ステップによって量子化係数を逆量子化してそれをDCT係数に変換する。DCT係数は逆DCT装置340に供給され、該逆DCT装置はDCT係数に逆DCTを行う。こうして取得された逆DCT係数は更に計算装置348に供給される。
【００２１】
計算装置348は、逆DCT装置340からの逆DCT係数と、動き補償器324からのデータを、スイッチ344の位置に応じて、受信する。計算装置348は逆DCT装置340からの信号(予測残余)を動き補償器324からの予測映像に加算して元の映像を局所的に復号化する。しかしながら、予測モードが内部符号化を示す場合、逆DCT装置340の出力はフレーム記憶装置に対して直接供給し得る。計算装置340によって取得された復号映像はフレーム記憶装置に送られて記憶され、後に、内部符号化映像、前方予測符号化映像、後方予測符号化映像、又は双方向予測符号化映像として用いる。
【００２２】
量子化装置332からの量子化係数は更に変形装置400に形成される。変形装置400は図4に示したように直列か、図5のように縦つなぎ、すなわち、並列、かに配置し得る複数の減衰ステップを有する。図4に示したように、量子化器322からの量子化係数は減衰器401に形成される。当該信号はその場合、減衰器401によって減衰されて、その結果、信号407は減衰DCT係数を有することになる。減衰器401と直列の、第２減衰器403は信号407が有するDCT係数の振幅を減衰して、信号413が有する新規減衰係数を生成し、該信号は第１基礎動画像ストリーム「BaseBase0」を生成する可変長符号器422によって可変長符号化される。
【００２３】
減衰器401及び403は逆量子化器402及び408の各々、重みづけ装置404及び410の各々に続いて、量子化器406及び412の各々を有する。量子化器332からの量子化係数は逆量子化器402によって逆量子化される。重みづけは8*8の重みづけマトリックスをDCTブロックに乗算することによって行い、各DCT係数はこのように当該マトリックスが有する重みづけ因子によって乗算され、各乗算の結果は最も近い整数に丸められ、重みづけマトリックスは振幅が0と1との間の値によって満たされ、該値は例えば、低周波数値については１に近い一様でない値に、高周波数値については0に近い値に設定するか、又は一様の値に設定して、8*8DCTブロックにおける全ての係数を均一に減衰する。量子化ステップは、重みづけDCT係数を、量子化DCT係数を生成する新規量子化因子によって、除算するステップを有し、該量子化因子はマクロブロックを構成する全ての8*8のブロックの全ての係数について同様である。
【００２４】
減衰器401に対する符号化誤差415は信号407を、量子化器332からの信号から、減算装置414によって減算することによって生成される。符号化誤差415は更に、基礎強調動画像「BaseEnh2」を生成するよう、可変長符号器416によって可変長符号化される。減衰器403に対する符号化誤差419は信号413を信号407から、減算装置418によって減算することによって生成される。符号化誤差419は更に、第２基礎強調動画像ストリーム「BaseEnh1」を生成するよう、可変長符号器420によって可変長符号化される。
【００２５】
この例においては、最低品質基礎解像度は動画像ストリーム「BaseBase0」によって設けられる。中品質基礎解像度は動画像ストリーム「BaseBase0」と動画像ストリーム「BaseEnh0」とを合成することによって設けられる。高品質基礎解像度は動画像ストリーム「BaseBase0」、「BaseEnh0」及び「BaseEnh1」を合成することによって設けられる。
【００２６】
強調符号器314は、動き予測器354、動き補償器356、DCT回路368、量子化器370、VLC装置372、ビットレート制御器374、逆量子化器376、逆DCT回路378、スイッチ366並びに382、減算器358並びに364、及び加算器380並びに388を有する。それに加えて、強調符号器314は更に、DC(直流)オフセット器360並びに384、加算器362及び減算器386を有し得る。これらの構成部分の多くの操作は基礎符号器312における同様の構成部分の操作と同様であり、詳細には説明しない。
【００２７】
計算装置340の出力は更にアップサンプル器350に供給され、該アップサンプル器は一般に復号化動画像ストリームからフィルタ除去された解像度を復元して高解像度入力と実質的に同様の解像度を有する動画像データ・ストリームを設ける。しかしながら、フィルタすることと、圧縮及び伸長から結果として生じる損失のために、特定の誤差が復元ストリームに存在する。該誤差は、減算装置358において、復元高解像度ストリームを、元の、変形が加えられていない高解像度ストリームから、減算することによって判定される。
【００２８】
図3において示された本発明の一実施例によれば、元の変形が加えられていない高解像度ストリームは更に動き予測器354に設けられる。復元高解像度ストリームは更に加算器388に設けられ、該加算器は、逆DCT378からの(スイッチ382の位置に応じて、動き補償器356の出力によって変形されることも考えられる)出力を加算する。加算器388の出力は動き予測器354に供給される。その結果、動き予測は、元の高解像度ストリームと復元高解像度ストリームとの間の残余誤差ではなくて、アップスケール基礎階層及び強調階層に行われる。この動き予測によって、図1及び2の既知のシステムによって生成されたベクトルよりも良く実際の動きをトラックする動きベクトルを生成する。これは専門アプリケーションよりも低いビットレートを有する消費者アプリケーションにおいて特に知覚的に良い映像品質につながる。
【００２９】
更に、DCオフセット操作に続いて、クリッピング操作を強調符号器314に導入し得、そこでは、DCオフセット値360は加算器362によって、減算装置358からの残余信号出力に加算される。この任意のDCオフセット操作及びクリッピング操作は強調符号器が、画素値が所定の範囲、例えば、0…255、に入っている既存の基準、例えば、MPEG、を利用することを可能にする。残余信号は通常、ゼロ付近に集中する。DCオフセット値360を加算することによって、このサンプルの集中を当該範囲の中央、例えば、8ビットの動画像サンプルにおける128、にシフトし得る。この加算の利点は、強調階層用符号器の標準構成部分を利用し得るので、費用効率の良い(IP(設計資産)ブロックの再利用)解決策をもたらすことにある。
【００３０】
種々の強調階層動画像ストリームが、上記の多重基礎動画像ストリームの生成と同様の方法で生成される。量子化器370からの量子化係数は更に変形装置450に形成される。変形装置450は図4に示された変形装置400と同様の構成要素を有し得、以下の説明においては、同様の構成要素について同様の参照番号を用いる。量子化器370からの量子化係数は減衰器401に形成される。当該信号は更に減衰器401によって減衰されて、その結果、減衰ＤＣＴ係数を信号407が有することになる。減衰器401と直列での、第２減衰器403は信号407が有するＤＣＴ係数の振幅を減衰して、信号413が有する新規減衰係数を生成し、該信号は第１強調動画像ストリーム「EnhBase0」を生成する、可変長符号器422によって可変長符号化される。
【００３１】
減衰器401及び403は、逆量子化器402及び408の各々、重みづけ装置404及び410の各々、に直列で続いて、量子化器406及び412の各々を有する。重みづけは8*8の重みづけマトリックスがＤＣＴブロックに乗算されることによって行われ、各ＤＣＴ係数はこのようにして当該マトリックスが有する重みづけ因子によって乗算され、各乗算の結果は最も近い整数に丸められ、重みづけマトリックスは振幅が0と1との間の、例えば、低周波数値については1に近い一様でない値に、高周波数値については1に近い値に、設定されるか、一様の値に設定されて8*8のDCTブロックにおける全ての係数が均一に減衰される、値によって満たされる。量子化ステップは、重みづけされたDCT係数を、新規量子化DCT係数を生成する新規量子化因子によって除算するステップを有し、該量子化因子はマクロブロックを構成する全ての8*8のブロックの全ての係数について同様である。
【００３２】
減衰器４０１に対する符号化誤差４１５は信号４０７を、量子化器３７０からの信号から、減算装置４１４によって、減算することによって生成される。符号化誤差４１５は更に第２強調動画像ストリーム「EnhEnh2」を生成する可変長符号器４１６によって可変長符号化される。減衰器４０３に対する符号化誤差４１９は信号４１３を信号４０７から、減算装置４１８によって減算することによって生成される。符号化誤差４１９は更に第３基礎強調動画像ストリーム「EnhEnh1」を生成する可変長符号器４２０によって可変長符号化される。
【００３３】
この例においては、最低品質フル解像度は動画像ストリーム「EnhBase0」を高品質基礎解像度動画像ストリームに加算することによって設けられる。中品質フル解像度は動画像ストリーム「EnhBase0」及び「EnhEnh1」と高品質基礎解像度とを合成することによって設けられる。高品質フル解像度は動画像ストリーム「EnhBase0」、「EnhBase1」及び「EnhEnh2」と高品質基礎解像度とを合成することによって設けられる。
【００３４】
図５は、減衰器が縦つなぎ、すなわち並列に接続された、変形装置を示す。変形装置500は変形装置400及び450の代わりに、基礎階層と強調階層との両方において用い得ることがわかる。量子化器332(又は量子化器370)からの量子化係数は第１減衰器501に供給される。減衰器501は逆量子化器502、重みづけ装置504及び量子化器506を有する。量子化係数は逆量子化器502において逆量子化され、更に、重みづけ装置504及び量子化器506において、図4について説明したように、重みづけされて再量子化される。信号513が有する減衰DCT係数は第１基礎(強調)ストリームを生成するよう、更に可変長符号器514において符号化される。
【００３５】
減衰器501の符号化誤差517は信号517を、量子化器332(量子化器370)からの信号から、減算装置516によって、減算されることによって生成される。当該符号化誤差は逆量子化器508、重みづけ装置510及び量子化器512を有する第２減衰器503に形成される。減衰信号519は第２基礎（強調）ストリームを生成する可変長符号器520によって符号化される。減衰器503の符号化誤差523は信号519を信号517から、減算装置522によって、減算することによって生成される。符号化誤差523は第３基礎（強調）ストリームを生成する可変長符号器524によって符号化される。
【００３６】
図６は変形装置によって生成された多重基礎又は強調ストリームを復号化する、本発明の一実施例による、復号器を示す。多重基礎（強調）ストリームは複数の可変長復号器602、604、及び606によって復号化される。復号化ストリームは更に計算装置608においてお互いに加算される。当該合成ストリームにおける復号化量子化係数は逆量子化器610に供給され、該逆量子化器は量子化ステップによって量子化係数を逆量子化して量子化係数をDCT係数に変換する。該DCT係数は逆DCT装置612に供給され、該逆DCT装置はDCT係数に逆DCTを行う。こうして取得された逆DCT係数は更に計算装置614に供給される。計算装置614は逆DCT装置612からの逆DCT係数及び動き補償器616からの(既知の方法で生成された)データを受信する。計算装置614は逆DCT装置612からのストリームを、動き補償器616からの予測映像に加算して復号化基礎（強調）ストリームを生成する。該復号化基礎及び強調ストリームは、復号化動画像出力を生成するよう既知の方法にて合成し得る。
【００３７】
本発明の種々の実施例は上記工程のまさにその順序に限定されるものではないが、それはいくつかの工程のタイミングを、本発明の全体の操作に影響を及ぼすことなく取り替え得るからであることがわかる。更に、本明細書及び特許請求の範囲の原文における、「comprising」の語は他の構成要素又は工程を排除するものではなく、本明細書及び特許請求の範囲の原文における、「a」及び「an」の語は、本明細書及び本特許請求の範囲に記載された装置又は回路のいくつかの機能を充足する、複数及び単一の処理装置又は他の装置を排除するものではない。
【図面の簡単な説明】
【００３８】
【図１】空間的スケーラビリティのある、既知の符号器の概略構成図である。
【図２】空間的スケーラビリティのある、既知の符号器の概略構成図である。
【図３】本発明の一実施例による、空間的スケーラビリティのある、符号器の概略構成図である。
【図４】本発明の一実施例による、直列減衰器のある、変形装置を示す図である。
【図５】本発明の一実施例による、縦つなぎ減衰器のある、変形装置を示す図である。
【図６】本発明の一実施例による、復号器を示す図である。
【図１】
2005507587.tif 000003
【図２】
2005507587.tif 000004
【図３】
2005507587.tif 000005
【国際公開パンフレット】
2005507587.tif 000006
2005507587.tif 000007
2005507587.tif 000008
2005507587.tif 000009
2005507587.tif 000010
2005507587.tif 000011
2005507587.tif 000012
2005507587.tif 000013
2005507587.tif 000014
2005507587.tif 000015
2005507587.tif 000016
2005507587.tif 000017
2005507587.tif 000018
2005507587.tif 000019
2005507587.tif 000020
2005507587.tif 000021
2005507587.tif 000022
2005507587.tif 000023
2005507587.tif 000024
2005507587.tif 000025
2005507587.tif 000026
2005507587.tif 000027
【国際調査報告】
2005507587.tif 000028
2005507587.tif 000029
2005507587.tif 000030