(57)【要約】上位レイヤのビットレートを低下させることによって、空間拡張可能圧縮の機構の効率を高める方法及び装置が開示される。基本レイヤからの再構成された映像ストリームと入力映像ストリームの双方を、上位レイヤの動き推定部、又は動き推定部と動き補償部の双方に挿入することによって、上位レイヤにおける動き推定及び／又は動き補償の間に完全な画像が用いられる。
2005506815.tif 000002
【特許請求の範囲】
【請求項１】
エンコードするエンコーダーを有し、圧縮された形式で映像ストリームを出力する、入力映像ストリームの空間拡張可能圧縮を実行する装置であって、
相対的に低解像度を有するエンコードされたビットストリームを有する基本レイヤと、
相対的に高解像度を有するエンコードされたビットストリームを有する高解像度の上位レイヤとを有し、
ローカルでデコードされた上位レイヤで加えられた前記基本レイヤによって出力された、アップスケールされた再構成されたビットストリームと、前記入力映像ストリームとが、前記高解像度の上位レイヤの動き推定装置で用いられ、
前記動き推定装置が、アップスケールされた基本レイヤと上位レイヤを加えたものに基づいて、動きベクトルを作る装置。
【請求項２】
入力映像ストリームをエンコードする階層化エンコーダーであって、
前記映像ストリームの解像度を削減するダウンサンプル（downsampling）部と、
低解像度の基本ストリームをエンコードする基本エンコーダーと、
前記基本ストリームの解像度をデコードして増加させ、再構成された映像ストリームを作るアップコンバート部と、
前記入力映像ストリームと前記再構成された映像ストリームとを受信し、アップスケールされた基本レイヤに上位レイヤを加えたものに基づいて、前記受信ストリームのフレーム毎に動きベクトルを計算する動き推定部と、
前記入力映像ストリームから前記再構成された映像ストリームを差し引き、残差ストリームを作る第１の減算部と、
前記動き推定部から前記動きベクトルを受信し、予測ストリームを作る動き補償部と、
前記残差ストリームから前記予測ストリームを差し引く第２の減算部と、
前記減算部から結果のストリームをエンコードし、上位ストリームを出力する上位エンコーダーと
を有する階層化エンコーダー。
【請求項３】
請求項２に記載のエンコーダーであって、
前記動き推定と動き補償が前記アップスケールされた基本レイヤと前記上位レイヤを加えたもので実行されるように、前記基本レイヤからの前記再構成された映像ストリームと前記入力映像ストリームが、前記上位レイヤの動き検出装置と動き補償部の前に供給され、前記動き推定と動き補償部の後で差し引かれるエンコーダー。
【請求項４】
請求項３に記載のエンコーダーであって、
前記第２の減算部に入力される前に、前記予測ストリームから前記再構成された映像ストリームを差し引く第３の減算部を更に有するエンコーダー。
【請求項５】
請求項２に記載のエンコーダーであって、
前記残差ストリームが前記第２の減算部に入力される前に、DCオフセット値にクリッピング値を加えたものを前記残差ストリームに加えるDCオフセット部を更に有するエンコーダー。
【請求項６】
入力映像ストリームの空間拡張可能圧縮を提供する方法であって、
前記入力映像ストリームをダウンサンプル（downsample）し、前記映像ストリームの解像度を削減するステップと、
前記ダウンサンプル（downsample）された映像ストリームをエンコードし、基本ストリームを作るステップと、
前記基本ストリームをデコードしてアップコンバートし、再構成された映像ストリームを作るステップと、
前記入力映像ストリームからのフレームと前記再構成された映像ストリームとの間で予期される動きを推定し、アップスケールされた基本レイヤに上位レイヤを加えたものに基づいて、前記受信ストリームのフレーム毎に動きベクトルを計算するステップと、
前記映像ストリームから前記再構成された映像ストリームを差し引き、残差ストリームを作るステップと、
動き補償部で前記動きベクトルを用いて、予測ストリームを計算するステップと、
前記残差ストリームから前記予測ストリームを差し引くステップと、
結果の残差ストリームをエンコードし、上位ストリームを出力するステップと
を有する方法。
【請求項７】
請求項６に記載の方法であって、
前記動き補償が前記アップスケールされた基本レイヤと前記上位レイヤを加えたもので実行されるように、前記基本レイヤからの前記再構成された映像ストリームと前記入力映像ストリームが、前記動き補償部に供給される方法。
【請求項８】
請求項７に記載の方法であって、
前記予測ストリームが前記残差ストリームから差し引かれる前に、前記予測ストリームから前記再構成された映像ストリームを差し引くステップを更に有する方法。
【請求項９】
請求項６に記載の方法であって、
前記予測ストリームが前記残差から差し引かれる前に、DCオフセット値にクリッピング値を加えたものを前記残差ストリームに加えるステップを更に有する方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオエンコーダーに関するものであり、特に効率的な空間拡張可能圧縮の機構を用いるビデオエンコーダーに関するものである。
【背景技術】
【０００２】
デジタル映像に固有の大量のデータのため、フルモーションの高画質のデジタル映像信号の送信は、高画質テレビの開発において有意な問題である。特に、各デジタル画像フレームは、特定のシステムの表示解像度による画素の配列から構成された静止画像である。結果として、高解像度の映像シーケンスに含まれる未処理のデジタル情報量は大量になる。送信しなければならないデータ量を削減するために、圧縮の機構がデータを圧縮するために用いられる。MPEG-2とMPEG-4とH.263とを含む多様な映像圧縮規格又は処理が確立されている。
【０００３】
１つのストリームにおいて映像が多様な解像度及び／又は品質で利用可能な、多数のアプリケーションが可能にされている。これを達成する方法は、大まかに拡張性の技術と称される。拡張性を実施し得る３つの軸が存在する。第１のものは時間軸の拡張性であり、しばしば時間拡張性と称される。第２に、品質軸の拡張性が存在し、しばしば信号対雑音拡張性又は細粒拡張性と称される。第３軸は解像度の軸（画像における画素の数）であり、空間拡張性又は階層化コーディングと称される。階層化コーディングにおいて、ビットストリームは、２つ以上のビットストリーム又はレイヤに分割される。各レイヤが組み合わせられ、単一の高品質の信号を構成し得る。例えば、基本レイヤが低品質の映像信号を提供する場合があり、上位レイヤが基本レイヤの画像を拡張し得る追加情報を提供する。
【０００４】
特に、空間拡張性は、異なる映像規格又はデコーダーの性能の間で互換性を提供し得る。空間拡張性で、基本レイヤの映像は入力映像シーケンスより低い解像度を有する場合があり、その場合、上位レイヤが基本レイヤの解像度を入力シーケンスのレベルに復元し得る情報を運ぶ。
【０００５】
大部分の映像圧縮規格は空間拡張性に対応する。図１は、MPEG-2/MPEG-4の空間拡張性に対応するエンコーダー100のブロック図を示したものである。エンコーダー100は基本エンコーダー112と上位エンコーダー114とを有する。基本エンコーダーは、低域通過フィルタ及びダウンサンプラ（downsampler）120と、動き推定装置122と、動き補償装置124と、直行変換（例えば離散コサイン変換（DCT））回路130と、量子化装置132と、可変長コーダー134と、ビットレート制御回路135と、逆量子化装置138と、逆変換回路140と、スイッチ128と144と、補間及びアップサンプル（upsample）回路150で構成される。上位エンコーダー114は、動き推定装置154と、動き補償装置155と、セレクター（selector）156と、直交変換（例えば離散コサイン変換（DCT））回路158と、量子化装置160と、可変長コーダー162と、ビットレート制御回路164と、逆量子化装置166と、逆変換回路168と、スイッチ170と172とを有する。個々の構成要素の動作は技術的に周知であり、詳細に説明されない。
【０００６】
残念なことに、この階層化コーディングの機構のコーディング効率はあまりよくない。実際に、所定の画像品質において、シーケンスの基本レイヤと上位レイヤを合わせたビットレートは、一度にエンコードされた同じシーケンスのビットレートより大きい。
【０００７】
図２は、DemoGrafx（US5,852,565参照）によって提案された他の既知のエンコーダー200を示したものである。前記エンコーダーは、エンコーダー100と実質的に同じ構成要素で構成され、それぞれの動作は実質的に同じであるため、個々の構成要素は説明されない。この構成において、入力ブロックとアップサンプラ（upsampler）150からのアップサンプル（upsample）された出力との残差が、動き推定装置154に入力される。上位エンコーダーの動き推定を導く／促進するため、図２の点線で示される通り、基本レイヤからの調整された動きベクトルが動き推定装置154で用いられる。しかし、この構成は図１に示される構成の問題を有意に克服しない。
【０００８】
図１と２に示される通り、空間拡張性は映像圧縮規格で対応されているが、コーディング効率の不足により、空間拡張性はあまり使われない。効率的なコーディングの不足とは、所定の画像品質について、シーケンスの基本レイヤと上位レイヤを合わせたビットレートが、一度にエンコードされた同じシーケンスのビットレートより大きいことを意味する。
【発明の開示】
【課題を解決するための手段】
【０００９】
エンコーダーの必要なビットレートを削減する更に効率的な空間拡張可能圧縮の機構を提供することによって、既知の空間拡張性の機構の少なくとも１つの前述の欠点を克服することが、本発明の目的である。
【００１０】
本発明の実施例によると、入力映像ストリームの空間拡張可能圧縮を提供する方法と装置が開示される。入力映像ストリームはダウンサンプル（downsample）され、映像ストリームの解像度を削減する。ダウンサンプル（downsample）された映像ストリームはエンコードされ、基本ストリームを作る。基本ストリームはデコードされてアップコンバートされ、再構成された映像ストリームを作る。入力映像ストリームからのフレームと再構成された映像ストリームとの間の予期される動きが推定され、アップスケールされた基本レイヤに上位レイヤを加えたものに基づいて、受信ストリームのフレーム毎に動きベクトルが計算される。再構成された映像ストリームは前記映像ストリームから差し引かれ、残差ストリームを作る。動き補償部において動きベクトルを用いて、予測ストリームが計算される。次に予測ストリームが残差ストリームから差し引かれる。結果の残差ストリームがエンコードされ、上位レイヤのストリームとして出力される。
【００１１】
本発明の他の実施例によると、再構成された映像ストリームと入力映像ストリームが、上位レイヤの動き推定部と動き補償部の双方に入力され、故に動き推定と動き補償がアップスケールされた基本レイヤに上位レイヤを加えたもので実行される。
【００１２】
本発明の他の実施例によると、再構成された映像ストリームと入力映像ストリームとが、上位レイヤの動き推定部と動き補償部の双方に入力され、故に動き推定と動き補償がアップスケールされた基本レイヤに上位レイヤを加えたもので実行される。動き補償が実行された後に、再構成された映像ストリームが動き補償部から出力された予測信号から差し引かれる。本発明の実施例は、二層のDVD又は二層の放送に適用される可能性があり、第１層はSDレイヤであり、第１層に第２層を加えたものがHDレイヤを作る。
【００１３】
本発明の前記の及び他の形態が、後述の実施例から明らかになり、それを参照して説明される。
【発明を実施するための最良の形態】
【００１４】
図３は、本発明の１つの実施例によるエンコーダーのブロック配置図である。描かれたエンコードシステム300は、階層化圧縮を達成し、それによって、チャネルの一部が低解像度の基本レイヤを提供するために用いられ、残りの部分が輪郭強調情報を送信するために用いられ、それによって、２つの信号が再結合され、システムを高解像度にし得る。
【００１５】
エンコーダー300は、基本エンコーダー312と上位エンコーダー314とを有する。基本エンコーダーは、低域通過フィルタ及びダウンサンプラ（downsampler）320と、動き推定装置322と、動き補償装置324と、直行変換（例えば離散コサイン変換（DCT））回路330と、量子化装置332と、可変長コーダー（VLC）334と、ビットレート制御回路335と、逆量子化装置338と、逆変換回路340と、スイッチ328と344と、補間及びアップサンプル（upsample）回路350で構成される。
【００１６】
入力映像ブロック316は、スプリッタ318で分割され、基本エンコーダー312と上位エンコーダー314の双方に送信される。基本エンコーダー312において、入力ブロックは、低域通過フィルタ及びダウンサンプラ（downsampler）320に入力される。低域通過フィルタは、動き推定装置322に供給される映像ブロックの解像度を削減する。動き推定装置322は、各フレームのピクチャデータをIピクチャ、Pピクチャ又はBピクチャとして処理する。連続して入力されるフレームの各ピクチャは、I,B,P,B,P,…,B,Pの連続のように前もってセットされた方法で、Iピクチャ、Pピクチャ又はBピクチャのうちの１つとして処理される。すなわち、動き推定装置322は、図示されていないフレームメモリに保存された一連のピクチャの前もってセットされた参照フレームを参照し、マクロブロック、すなわち、マクロブロックとマクロブロックの動きベクトルを検出する参照フレームとの間のパターンマッチング（ブロックマッチング）によってエンコードされるフレームの16画素×16ラインの小ブロックの動きベクトルを検出する。
【００１７】
MPEGでは４つの画像予測モード、すなわちイントラ符号化（フレーム内符号化）と、順方向予測符号化と、逆方向予測符号化と、双方向予測符号化とが存在する。Iピクチャはイントラ符号化画像であり、Pピクチャはイントラ符号化画像又は順方向予測符号化画像若しくは逆方向予測符号化画像であり、Bピクチャはイントラ符号化画像、順方向予測符号化画像又は双方向予測符号化画像である。
【００１８】
動き推定装置322はPピクチャで順方向予測を実行し、その動きベクトルを検出する。更に、動き推定装置322はBピクチャで順方向予測と逆方向予測と双方向予測を実行し、それぞれの動きベクトルを検出する。既知の方法で、動き推定装置322は、フレームメモリで現在の入力ブロックの画素と最も似ている画素のブロックを検索する。多様な検索アルゴリズムが技術的に知られている。それらは一般的に、現在の入力ブロックの画素と候補ブロックの画素との間の平均絶対差分（MAD）又は平均二乗誤差（MSE）を評価することに基づく。最小のMAD又はMSEを有する候補ブロックが選択され、動き補償された予測ブロックになる。現在の入力ブロックの位置に関するそのそれぞれの位置が、動きベクトルである。
【００１９】
動き推定装置322から予測モードと動きベクトルを受信することにより、動き補償装置324は、予測モードと動きベクトルに従って、フレームメモリに保存されたエンコードされて既にローカルでデコードされたピクチャデータを読み出し、読み出されたデータを予測画像として計算部325とスイッチ344に供給し得る。計算部325はまた、入力ブロックを受信し、入力ブロックと動き補償装置324からの予測画像との差を計算する。その差分値がDCT回路330に供給される。
【００２０】
予測モードのみが動き推定装置322から受信される場合、すなわち予測モードがイントラ符号化モードである場合、動き補償装置324は予測画像を出力し得ない。そのような状態では、計算部325は前述の処理を実行し得ないが、その代わりに入力ブロックをDCT回路330に直接出力し得る。
【００２１】
DCT回路330は、量子化装置332に供給されるDCT係数を得るために、計算部33からの出力信号でDCT処理を実行する。量子化装置332は、フィードバックとして受信されたバッファ（図示なし）のデータ保存量に応じて、量子化ステップ（量子化の大きさ）を設定し、その量子化ステップを用いてDCT回路330からのDCT係数を量子化する。量子化されたDCT係数は、設定された量子化ステップとともにVLC部334に供給される。
【００２２】
VLC部334は、量子化装置332から供給された量子化ステップに従って、量子化装置332から供給された量子化係数を、ハフマンコードのような可変長コードに変換する。結果の変換された量子化係数は、図示されていないバッファに出力される。量子化係数と量子化ステップはまた、同じものをDCT係数に変換するように、量子化ステップに従って量子化係数を逆量子化する逆量子化装置338に供給される。DCT係数は、DCT係数で逆DCTを実行する逆DCT部340に供給される。得られた逆DCT係数は計算部348に供給される。
【００２３】
計算部348は、スイッチ344の位置に応じて、逆DCT部340からの逆DCT係数と、動き補償装置324からのデータを受信する。計算部348は、動き補償装置324からの予測画像に逆DCT部340からの信号（予測の残差）を合計し、ローカルで元の画像をデコードする。しかし、予測モードがイントラ符号化である場合、逆DCT部340の出力は直接フレームメモリに供給され得る。計算部340によって得られたデコードされた画像は、イントラ符号化画像、順方向予測符号化画像、逆方向予測符号化画像、又は双方向予測符号化画像の参照画像として後で用いるために、フレームメモリに送信され、それに保存される。
【００２４】
上位エンコーダー314は、動き推定装置354と、動き補償装置356と、DCT回路368と、量子化装置370と、VLC部372と、ビットレート・コントローラ374と、逆量子化装置376と、逆DCT回路378と、スイッチ366と384と、減算器358と364と、加算器380と388を有する。更に、上位エンコーダー314はまた、DCオフセット370と384と、加算器362と、減算器386とを含み得る。多数の前記構成要素の動作は、基本エンコーダー312の類似の構成要素の動作と似ているため、詳細に説明されない。
【００２５】
計算部340の出力はまた、一般的にデコードされた映像ストリームからフィルタリングされた解像度を再構成し、高解像度の入力と実質的に同じ解像度を有する映像データストリームを提供するアップサンプラ（upsampler）350に供給される。しかし、圧縮と復元から生じるフィルタリングと損失のため、再構成されたストリームに特定の誤差が存在する。元の変更されていない高解像度のストリームから再構成された高解像度のストリームを差し引くことによって、誤差が減算部358で判断される。
【００２６】
図３に示される本発明の１つの実施例によると、元の変更されていない高解像度のストリームはまた、動き推定装置354に提供される。再構成された高解像度のストリームはまた、（場合によってはスイッチ382の位置に応じて動き補償装置356の出力によって修正された）逆DCT378からの出力を加える加算器388に提供される。加算器388の出力は動き推定装置354に供給される。結果として、元の高解像度のストリームと再構成された高解像度のストリームとの間の残差の代わりに、アップスケールされた基本レイヤに上位レイヤを加えたもので動き推定が実行される。この動き推定は、図１及び２の既知のシステムによって作られるベクトルより優れた、実際の動きを追跡する動きベクトルを作る。このことは、専門的なアプリケーションより低いビットレートを有する、特に消費者用アプリケーションにとって知覚的に良い画像品質をもたらす。
【００２７】
更に、クリッピング動作に続いてDCオフセット動作が上位エンコーダー314に導入される可能性があり、DCオフセット値360が、加算器362によって減算部358からの残差の信号の出力に加えられる。このオプションのDCオフセット及びクリッピング動作は、画素値が所定の範囲、例えば0…255にある上位エンコーダーで、既存の規格、例えばMPEGの使用を可能にする。残差の信号は、通常はゼロの周辺に集中する。DCオフセット値360を加えることにより、サンプルの集中が前記範囲の中間、例えば８ビットの映像サンプルについて128に移動し得る。この加算の利点は、上位レイヤで標準の構成要素のエンコーダーが用いられ、費用効率の良い（IPブロックの再利用）解決法を結果として生じ得ることである。上位レイヤのデコードにおいて、例えばDCオフセットをデコードされた上位レイヤから差し引くことによって、DCオフセットが補償される必要がある。
【００２８】
図１−３に示された機構の１つの欠点は、サイドパネルにうまく対処できないことである。基本レイヤ及び上位レイヤの水平と垂直の解像度との間のアスペクト比が等しくない場合に、サイドパネルが生じる。この点を説明するために、標準画質／高画質の空間拡張可能の機構が説明される。この機構において、基本レイヤは高画質のシーケンスであり、基本レイヤと上位レイヤを加えたものが高画質版のシーケンスを作る。標準画質の画像の解像度は、例えば720×480ピクセル（NTSC）である。高画質の画像の解像度は、例えば1920×1440ピクセル（ATSC解像度の１つ）である。標準画質の画像は、HD画像に適合するように調整されるが、アスペクト比は同じではない。このことが図４に示されるようなサイドパネルを結果として生じる。点線のボックス402は標準画質の画像を示す。アップスケールされた標準画質の画像が、鎖線のボックス404で示される。アスペクト比を保つために、高画質の画像のいくつかの部分は、アップスケールされた標準画質の画像によって変換されず、画像400の双方の斜線のボックス406によって示される。
【００２９】
図５は、図１−３の前述されたエンコーダーよりうまくサイドパネルに対処するエンコーダーの配置図である。図５から表される通り、いくつかの入力と出力が別ルートにされていることを除いては、エンコーダー500は図３に示されるエンコーダー300と実質的に同じ構成要素を有する。エンコーダー300では、動き推定は全体の画像で実行されるが、補償は残差の信号で行われる。この実施例では、動き推定と動き補償が全体の画像で実行されるように、エンコーダー500がアップスケールされた基本レイヤを動き補償ループに挿入されるように挿入する。このことは、より優れた動き推定と補償を結果として生じ、サイドパネルの問題をより少なくする結果になる。結果として、より良いコーディング効率が達成され得る。図５に表される通り、DCオフセット値が、図３について前述したように上位レイヤに挿入され得る。
【００３０】
図６は、上位レイヤにおいて全体の画像で動き推定と補償を提供する他のエンコーダー600の配置図である。この実施例において、動き推定と補償がアップスケールされた基本レイヤと上位レイヤで実行されるように、エンコーダー600がアップスケールされた基本レイヤを動き補償ループに挿入する。更に、アップスケールされた基本レイヤが第２の動き補償装置604に入力される。動き補償の後に基本レイヤを除去するように、減算器606で第２の動き補償装置604の出力が第１の動き補償装置602の出力から差し引かれる。基本レイヤの減算は、一般的なビットレートについて、より良いコーディング効率を結果として生じる。更に、図６に表される通り、DCオフセット及びクリッピング値が、図３について前述したように上位レイヤに挿入され得る。
【００３１】
本発明の前述の実施例は、上位レイヤにおいて動き推定及び／又は動き補償で完全な画像を用いることで、上位レイヤのビットレートを下げることにより、空間拡張可能圧縮の機構の効率を高める。このことは、特により低いビットレートのアプリケーションのコーディング効率を改善し、知覚的により良い画像品質をもたらす。本発明の異なる実施例は前述のステップの正確な順番に限定されず、本発明の全体の動作に影響を与えることなく、いくつかのステップのタイミングが交換され得ることがわかる。更に、“有する”という言葉は、他の要素又はステップを除外するものではなく、“１つ”という言葉は複数を除外するものではなく、単一のプロセッサ又は他のユニットが請求項に記載のいくつかのユニット又は回路の機能を実行し得る。
【図面の簡単な説明】
【００３２】
【図１】空間拡張性を備えた既知のエンコーダーのブロック配置図である。
【図２】空間拡張性を備えた既知のエンコーダーのブロック配置図である。
【図３】本発明の１つの実施例による空間拡張性を備えたエンコーダーのブロック配置図である。
【図４】アップスケール後のサイドパネルの図である。
【図５】本発明の他の実施例による空間拡張性を備えたエンコーダーのブロック配置図である。
【図６】本発明の他の実施例による空間拡張性を備えたエンコーダーのブロック配置図である。
【図１】
2005506815.tif 000003
【図２】
2005506815.tif 000004
【図３】
2005506815.tif 000005
【図５】
2005506815.tif 000006
【図６】
2005506815.tif 000007
【国際公開パンフレット】
2005506815.tif 000008
2005506815.tif 000009
2005506815.tif 000010
2005506815.tif 000011
2005506815.tif 000012
2005506815.tif 000013
2005506815.tif 000014
2005506815.tif 000015
2005506815.tif 000016
2005506815.tif 000017
2005506815.tif 000018
2005506815.tif 000019
2005506815.tif 000020
2005506815.tif 000021
2005506815.tif 000022
2005506815.tif 000023
2005506815.tif 000024
2005506815.tif 000025
2005506815.tif 000026
【国際調査報告】
2005506815.tif 000027
2005506815.tif 000028