(57)【要約】記憶装置に記憶された成層ビデオデータの弾性記憶を行う方法及び装置が開示されている。記憶されたエンハンスメント層ビデオデータは、記憶装置（１０４）から読み出される。エンハンスメント層ビデオデータは、少なくとも部分的に復号され（１０６）、あるいは、究極的には完全に消去される。復号されたエンハンスメント層ビデオデータは、線形又は非線形状態で減衰される（１０８）。減衰されたエンハンスメント層ビデオデータは、符号化される（１１０）。符号化された減衰ビデオデータは、記憶装置（１０４）で記憶され戻る。
2006511164.tif 000002
【特許請求の範囲】
【請求項１】
記憶装置に記憶された成層ビデオデータの弾性記憶を行う方法であって、当該方法は、
記憶されたエンハンスメント層ビデオデータを前記記憶装置から読み出すステップと、
前記エンハンスメント層ビデオデータを少なくとも部分的に復号化するステップと、
前記復号されたエンハンスメント層ビデオデータを減衰するステップと、
前記減衰されたエンハンスメント層ビデオデータを符号化するステップと、
前記符号化された減衰ビデオデータを前記記憶装置に記憶するステップと、
を有することを特徴とする方法。
【請求項２】
前記減衰は、前記ビデオデータのビットレートを減少することを特徴する請求項１記載の方法。
【請求項３】
前記復号化されたエンハンスメント層ビデオデータのＤＣＴ係数が減少されることを特徴とする請求項１記載の方法。
【請求項４】
前記ＤＣＴ係数は、予め定められた定数値で減衰されることを特徴とする請求項３記載の方法。
【請求項５】
前記ＤＣＴ係数は、非線形状態で減衰されることを特徴とする請求項３記載の方法。
【請求項６】
各ＤＣＴ係数は、重量マトリクス中で重量要素によって掛けられることを特徴とする請求項４記載の方法。
【請求項７】
より高い周波数係数が、低周波数係数よりも多く減衰されることを特徴とする請求項６記載の方法。
【請求項８】
前記重量化されたＤＣＴ係数は、再符号化される前に量子化要素によって重量化されたＤＣＴ係数を分割することによって量子化されることを特徴とする請求項６記載の方法。
【請求項９】
前記減衰ステップの前に、前記復号化されたエンハンスメント層ビデオデータのＤＣＤＣＴ係数からＤＣオフセット値を取り除くステップと、
前記符号化ステップの前に、前記減衰されたエンハンスメント層ビデオデータの前記ＤＣＤＣＴ係数に前記ＤＣオフセット値を加えるステップと、
を更に有することを特徴とする請求項１記載の方法。
【請求項１０】
記憶装置に記憶された成層ビデオデータの弾性記憶を行う装置であって、当該方法は、
記憶されたエンハンスメント層ビデオデータを前記記憶装置から読み出す手段と、
前記エンハンスメント層ビデオデータを少なくとも部分的に復号化する復号化手段と、
前記復号されたエンハンスメント層ビデオデータを減衰する減衰手段と、
前記減衰されたエンハンスメント層ビデオデータを符号化する符号化手段と、
前記符号化された減衰ビデオデータを前記記憶装置に記憶する手段と、
を有することを特徴とする方法。
【請求項１１】
前記減衰は、前記ビデオデータのビットレートを減少することを特徴する請求項１０記載の装置。
【請求項１２】
前記復号化されたエンハンスメント層ビデオデータのＤＣＴ係数が減少されることを特徴とする請求項１０記載の装置。
【請求項１３】
前記ＤＣＴ係数は、予め定められた定数値で減衰されることを特徴とする請求項１２記載の装置。
【請求項１４】
前記ＤＣＴ係数は、非線形状態で減衰されることを特徴とする請求項１２記載の装置。
【請求項１５】
各係数を重量マトリクス中で重量要素によって掛ける重量手段を更に有することを特徴とする請求項１３記載の装置。
【請求項１６】
より高い周波数係数が、低周波数係数よりも多く減衰されることを特徴とする請求項１０記載の装置。
【請求項１７】
前記重量化されたＤＣＴ係数を、再符号化される前に量子化要素によって重量化されたＤＣＴ係数を分割することによって量子化する量子化手段を更に有することを特徴とする請求項１５記載の装置。
【請求項１８】
前記減衰ステップの前に、前記復号化されたエンハンスメント層ビデオデータのＤＣＤＣＴ係数からＤＣオフセット値を取り除く手段と、
前記符号化ステップの前に、前記減衰されたエンハンスメント層ビデオデータの前記ＤＣＤＣＴ係数に前記ＤＣオフセット値を加える手段と、
を更に有することを特徴とする請求項１０記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオコンテンツの記憶に関する。
【背景技術】
【０００２】
多くのビデオアプリケーションが、１つのストリームにおいて様々な解像度及び／又は質において可能であるように作動する。これを達成する方法はスケーラビリティ技術としてゆるく言及されている。スケーラビリティを配置する３つの軸がある。第１は、時間軸におけるスケーラビリティで、しばしば時間スケーラビリティとして言及される。第２は、質軸におけるスケーラビリティ（量子化）であり、しばしば信号対雑音（ＳＮＲ）スケーラビリティ又は微粒子スケーラビリティとして言及される。第３の軸は、解像度軸であり（画像中の画素数）であり、しばしば空間スケーラビリティとして言及される。成層符号化では、ビットストリームは２以上のビットストリーム又は層に分割される。単一の高質信号を形成するために、各層を結合することができる。例えば、ベース層は低質のビデオ信号を提供してもよく、エンハンスメント層はベース層画像を強調できる追加的情報を提供する。空間スケーラビリティにより、ベース層ビデオは、入力ビデオシーケンスよりも低い解像度を有してもよく、この場合、エンハンスメント層はベース層の解像度に再記憶可能な情報を入力シーケンスレベルに搬送する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
典型的には、これらのスケールされたビデオストリームは、記憶装置にコンテンツ提供者又はサービス提供者によって一緒に記憶され、記憶されたビデオコンテンツの質レベルは、コンテンツを記憶する前に実行される処理によって固定される。ユーザは記憶装置にアクセスでき、記憶装置はユーザ装置でディスプレイのためにスケールされたビデオストリームをダウンロードすることができる。しかしながら、記憶装置で問題が発生し得る。例えば、ユーザは新しいビデオストリームを記録することを望むであろうが、新しいビデオストリームを記憶するために記憶装置に十分な部屋がないであろう。このような状況では、弾性記憶が必要となる。本発明は、動作のために殆どリソースを必要とせずにビットレートを減少する効果的な方法を提供する。
【課題を解決するための手段】
【０００４】
本発明は、記憶装置の外部のエンハンスメント層を読み込み、エンハンスメント層を減衰してエンハンスメント層のビットレートをより低くし、これゆえ、記憶装置のより大きなスペースを形成することにより弾性記憶を提供する方法及び装置を提供することにより、上述の欠点の少なくとも一部を解消する。
【０００５】
本発明の１つの実施形態によれば、記憶装置に記憶された成層ビデオデータの弾性記憶を行う方法及び装置が開示されている。記憶されたエンハンスメント層ビデオデータは、記憶装置から読み出される。エンハンスメント層ビデオデータは、少なくとも部分的に復号され、あるいは、究極的には完全に消去される。復号されたエンハンスメント層ビデオデータは、線形又は非線形状態で減衰される。減衰されたエンハンスメント層ビデオデータは、符号化される。符号化された減衰ビデオデータは、記憶装置で記憶され戻る。
【０００６】
本発明のこれら及び他の面は、後述する実施形態を参照して明確になり、説明される。
【発明を実施するための最良の形態】
【０００７】
図１は、本発明の１つの実施形態によるビデオ圧縮及び記憶システム１００を図示したものである。ビデオ圧縮及び記憶システム１００は、成層エンコーダ１０２、記憶装置１０４、制御システム１０５、可変長デコーダ１０６、減衰器１０８、及び可変長コーダ１１０等を有する。
【０００８】
成層エンコーダの例は図３に図示されているが、本発明により他の成層エンコーダを用いてもよく、本発明はこれに限定されない。描かれた符号化システム３００は、成層圧縮を達成し、チャンネルの一部が、低解像ベース層を提供するために用いられ、残った部分が強調された情報を伝達するために用いられ、システムを高解像に引き上げるために２つの信号が再度結合され得る。
【０００９】
エンコーダ３００は、ベースエンコーダ３１２及びエンハンスメントエンコーダ３１４を有する。ベースエンコーダは、低パスフィルタ及びダウンサンプラー３２０、モーション推定器３２２、モーション比較器３２４、直交変換回路（例えば、離散的コサイン変換（ＤＣＴ））３３０、量子化器３３２、可変長コーダ（ＶＬＣ）３３４、ビットレート制御回路３３５、逆量子化器３３８、逆変換回路３４０、スイッチ３２８及び３４４、補間及びアップサンプル回路３５０から成る。
【００１０】
入力ブロック３１６はスプリッタ３１８によって割られ、ベースエンコーダ３１２及びエンハンスメントエンコーダ３１４に送信される。ベースエンコーダ３１２では、入力ブロックが低パスフィルタ及びダウンサンプラー３２０に入力される。低パスフィルタは、モーション推定器３２２に与えられるビデオブロックの解像度を減少する。モーション推定器３２２は、Ｉ−画像、Ｐ−画像、又はＢ−画像としての各フレームの画像データを処理する。連続的に入ったフレームの各画像が、Ｉ−画像、Ｐ−画像、又はＢ−画像の１つとして、Ｉ、Ｂ、Ｐ、Ｂ、Ｐ、・・・、Ｂ、Ｐのシークエンスの如き予め設定された仕方で処理される。即ち、モーション推定器３２２は、図示されていないフレームメモリー中に記憶されている画像のシリーズに予め設定された参照フレームにつき言及し、マクロブロックとマクロブロックのモーションベクトルを検出する参照フレームとの間でパターンマッチング（ブロックマッチング）によって符号化されたフレームの１６ラインによる１６ピクセルの小さなブロックであるマクロ−ブロックのモーションベクトルを検出する。
【００１１】
ＭＰＥＧでは、４つの画像プレディクションモードがある。即ち、イントラコーディング（イントラフレームコーディング）、フォワードプレディクティブコーディング、バックワードプレディクティブコーディング、及び双方向プレディクティブコーディングである。Ｉ−画像はイントラコーディングされた画像であり、Ｐ−画像はイントラコーディング、フォワードプレディクティブコーディング、又はバックワードプレディクティブコーディングされた画像であり、Ｂ−画像はイントラコーディング、フォワードプレディクティブコーディング、又は双方向プレディクティブコーディングされた画像である。
【００１２】
モーション推定器３２２は、モーションベクトルを検出すべくＰ−画像におけるフォワードプレディクションを行う。更には、モーション推定器３２２は、モーションベクトルを検出すべくＢ−画像のためのフォワードプレディクション、バックワードプレディクション、及び双方向プレディクションを行う。周知の仕方で、モーション推定器３２２はフレームメモリー内で、ピクセルの現在の入力ブロックにとても似ているピクセルのブロックのためにサーチをする。様々なサーチアルゴニズムが従来技術において知られている。それは一般的には、現在の入力ブロックのピクセルと候補ブロックのピクセルの間の平均絶対差（ＭＡＤ）又は平均平方誤差（ＭＳＥ）を評価することに基づく。最も小さなＭＡＤ又はＭＳＥを有する候補ブロックが、モーション補償プレディクションブロックとなるように選択される。現在の入力ブロックの位置に関する相対的場所がモーションベクトルである。
【００１３】
プレディクションモード及びモーションベクトルをモーション推定器３２２から受信すると、モーション補償器３２４は、プレディクションモード及びモーションベクトルに従い、フレームメモリーに記憶された符号化された及び既に局所的に復号化された画像データを読み込んでもよく、プレディクション画像として読込みデータを演算装置３２５及びスイッチ３４４に供給してもよい。演算装置３２５はまた、入力ブロックを受信し、モーション補償器３２４からのプレディクション画像と入力ブロックとの差を計算する。この差の値がＤＣＴ回路３３０に供給される。
【００１４】
プレディクションデータのみがモーション推定器３２２から受信された場合、即ち、プレディクションデータがイントラ−コーディングモードである場合、モーション補償器３２４はプレディクション画像を出力しないであろう。このような状況では、演算装置３２５は上述の処理を行わず、その代わりにＤＣＴ回路３３０に入力ブロックを直接出力してもよい。
【００１５】
ＤＣＴ回路３３０は、演算装置３３からの出力信号における処理を行い、量子化器３３２に供給されるＤＣＴ係数を取得する。量子化器３３２は、フィードバックとしてじゅしんしたバッファ（図示しない）中でデータ記憶量に従って量子化工程（量子化スケール）を設定し、量子化工程を用いてＤＣＴ回路３３０からＤＣＴ係数を量子化する。量子化されたＤＣＴ係数は、設定された量子化工程に沿ってＶＬＣユニット３３４へ供給される。
【００１６】
ＶＬＣユニット３３４は、量子化器３３２から供給された量子化係数を、量子化器３３２から供給された量子化工程に従い、ハフマンコードの如き可変長コードに変換する。変換された量子化係数は図示しないバッファに出力される。量子化係数及び量子化工程はまた、量子化工程に従い量子化係数を逆量子化する逆量子化器３３８に提供され、ＤＣＴ係数に変換する。ＤＣＴ係数は、ＤＣＴ係数における逆ＤＣＴを実行する逆ＤＣＴユニット３４０に提供される。得られた逆ＤＣＴ係数は、演算装置３４８に提供される。
【００１７】
演算装置３４８は、逆ＤＣＴユニット３４０から逆ＤＣＴ係数を、スイッチ３４４の位置に依拠してモーション補償器３２４からデータを受信する。局所的に元々の画像を複合化すべく、演算装置３４８は、逆ＤＣＴユニット３４０から、モーション補償器３２４からのプレディクトされた画像に信号（プレディクション残余）を合計する。しかしながら、プレディクションモードがイントラ−コーディングを示す場合は、逆ＤＣＴユニット３４０の出力は、フレームメモリーに直接与えられてもよい。演算装置３４０によって得られた複合化された画像はフレームメモリーに送信され記憶され、イントラコーディングされた画像、フォワードプレディクティブコーディングされた画像、バックワードプレディクティブコーディングされた画像、又は双方向プレディクティブコーディングされた画像のための参照画像として後に用いられる。
【００１８】
エンハンスメントエンコーダ３１４は、モーション推定器３５４、モーション補償器３５６、ＤＣＴ回路３６８、量子化器３７０、ＶＬＣユニット３７２、ビットレートコントローラ３７４、逆量子化器３７６、逆ＤＣＴ回路３７８、スイッチ３６６及び３８２、副トラクター３５８及び３６４、及び加算器３８０及び３８８を有する。加えて、エンハンスメントエンコーダ３１４は、ＤＣ−オフセット３６０及び３８４、加算器３６２、及び副トラクター３８６を含んでもよい。これら構成品の多くの動作は、ベースエンコーダ３１２中の類似の構成品の動作に類似しており、詳細については説明しない。
【００１９】
演算装置３４０の出力は、一般的に復号化されたビデオストリームからのフィルターされた解像度を再構築し、高解像度入力と同じ解像度を実質的に有するビデオデータストリームを提供するアップサンプラー３５０に供給される。しかしながら、フィルタリング及び、圧縮及び非圧縮からの損失結果より、一定の誤差が再構築されたストリーム中に出現する。誤差はサブトラクションユニット３５８中で、元々の修正されていない高解像度ストリームからの再構築された高解像度ストリームをサブトラクトすることにより決定される。
【００２０】
元々の修正されていない高解像度ストリームはまた、モーション推定器３５４に提供される。再構築された高解像度ストリームはまた、（スイッチ３８２の位置に依拠するモーション補償器３５６の出力によって修正できる）逆ＤＣＴ３７８からの出力を加算する加算器３８８に提供される。加算器３８８の出力は、モーション推定器３５４に提供される。その結果、モーション推定は、元々の高解像度ストリームと再構築された高解像度ストリームとの間の残留差の代わりにエンハンスメント層及びアップスケールされたベース層上で実行される。これは、特にプロのアプリケーションよりも低いビットレートを有する消費者アプリケーションに、知覚的により良い画像質をもたらす。
【００２１】
更には、クリッピング動作によって引き継がれるＤＣオフセット動作をエンハンスメントエンコーダ３１４に導入することができ、ＤＣオフセット値３６０が加算器３６２によって、サブトラクションユニット３５８からの残留信号出力に加算される。この任意のＤＣオフセット及びクリッピング動作は、ピクセル値が０・・・２５５の如き予め定められた範囲にあるエンハンスメントエンコーダのために、現存する基準、例えばＭＰＥＧの使用を認めるものである。残留信号は通常は、約ゼロに凝縮される。ＤＣオフセット値３６０を加算することにより、サンプルの凝縮が範囲の中間に、例えば８ビットビデオサンプルでは１２８に、シフトされ得る。この追加の有利な点は、エンハンスメント層のためのエンコーダの基準構成品が使え、コスト的に効率的なこと（ＩＰブロックの再使用）である。
【００２２】
図１を再度参照するに、成層エンコーダ１０２によって形成されたベース及びエンハンスメント層は、記憶装置１０４に別々に記憶される。ユーザ又は制御システム１０５が記憶装置１０４により多くのスペースが必要であると決定する場合は、記憶されたビデオストリームからエンハンスメント層が選択され得る。制御システム１０５が記憶装置１０４の一部として図示された場合、制御システムはシステム１００の何処かに位置され得る。ユーザは適切なエンハンスメント層を選択でき、あるいは、制御システム１０５は以前に入った基準に基づいてエンハンスメント層を選択することができる。選択されたエンハンスメント層は記憶装置の外に読み出され、可変長デコーダ１０６に送られる。
【００２３】
可変長デコーダ１０６は部分的に選択されたエンハンスメント層を復号化する。例えば、可変長デコーダ１０６は選択されたエンハンスメント層のＤＣＴ係数（ＡＣ及びＤＣ）を復号化してもよい。本発明のこの実施形態では、復号化されたＤＣＴ係数は、減衰器（倍率器）１０８中で、予め決定された定数で減衰される。減衰は、エンハンスメント層のビデオ解像度を減少する効果を有し、エンハンスメント層のビットレートを減少する。減衰されたエンハンスメント層は、可変長エンコーダ１１０によって再符号化され、再符号化されたエンハンスメント層は、記憶装置１０４に記憶され戻る。
【００２４】
ＤＣオフセット及びクリッピング動作が、記憶されたエンハンスメント層ビデオデータの形成中に行われる場合は、符号３６０及び３６２で図３に示したように、ＤＣオフセットは、減衰器１０８で減衰工程が実行される前に、符号化されたエンハンスメント層ビデオデータから取り除かれる必要がある。図２で示されるようにこの実施形態では、対応するＤＣオフセット値１０９は、減衰器１０８に提供される前に修正（サブトラクション）ユニット１１１によって、符号化されたエンハンスメントビデオデータのＤＣＤＣＴ係数（第１係数）から取り除かれる。減衰工程後、ＤＣオフセット値が、可変長エンコーダに提供される前に修正（追加）ユニット１１３によって、減衰されたエンハンスメント層ビデオデータのＤＣＤＣＴ係数に加え戻される。
【００２５】
図４は、本発明の別の実施形態のビデオ圧縮及び記憶装置２００を図示したものである。システム２００は、図１に示したシステム１００に類似しており、同様の要素には同様の番号を付す。この実施形態では、減衰器２０２は、重量手段２０４及び量子化器２０６から成る。図１に示したように、成層エンコーダ１０２は、記憶装置１０４に記憶されているエンハンスメント層ビデオストリーム及びベース層ビデオストリームを製造する。ユーザ又は制御システム１０５が減少のためにエンハンスメント層を選択すると、選択されたエンハンスメント層が記憶装置１０４の外部に読み出され、可変長デコーダ１０６によって部分的に復号化される。減衰器２０２は、エンハンスメント層の復号化されたＤＣＴ係数に関する重量工程及び量子化工程を行う。重量工程は、８＊８重量マトリクスをＤＣＴ係数のブロックに掛けて行われ、各ＤＣＴ係数はマトリクス中に包含された重量要素によって掛けられる。掛け算の結果は最も近い整数に略され、重量マトリクスは大きさがおと１の間の値で満たされ、例えば、低周波数値のために１に近い不均一な値又は高周波数値のために０に近い不均一な値に、あるいは、８＊８ＤＣＴブロック中の全係数が等しく減衰されるような均一な値に設定される。換言すれば、より高い周波数係数が低周波数係数よりも、より減衰される。重量化されたＤＣＴ係数は、量子化されたＤＣＴ係数を作り出すための量子化要素によって重量化されたＤＣＴ係数を分割することにより、量子化される。量子化されたＤＣＴ係数は、可変長エンコーダ１１０によって再符号化され、記憶装置１０４に記憶され戻る。この実施形態では、エンハンスメント層のビットレートは減少されるが、誤差伝搬が発生し、減少されたエンハンスメント層の符号化効率が減少する。
【００２６】
上述の実施形態は本発明を制限するものではなく、当業者は請求項に記載された範囲から離れることなく多くの他の実施形態を作り出すことができる。クレームにおける符号は、クレームの範囲を限定するものではない。「ｃｏｍｐｒｉｓｉｎｇ」という語はクレーム中でリストされた要素又はステップ以外の要素又はステップの存在を排除するものではない。本発明は、幾つかの明確な要素を有するハードウエア及び適切にプログラムされたコンピュータによって実行することができる。幾つかの手段を列挙する装置クレームにおいて、これらの手段の幾つかは、ハードウエアの１つの及び同じアイテムによって実現可能である。ある手段が、異なる従属クレームに相互に引用されていることは、これらの手段のコンビネーションは本発明の効果をもたらすものではない、ということを示すものではない。
【図面の簡単な説明】
【００２７】
【図１】本発明の１つの実施形態によるビデオ圧縮システムのブロック線図である。
【図２】本発明の１つの実施形態によるビデオ圧縮システムのブロック線図である。
【図３】本発明の１つの実施形態によるビデオエンコーダのブロック線図である。
【図４】本発明の１つの実施形態によるビデオ圧縮システムのブロック線図である。
【図１】
2006511164.tif 000003
【図２】
2006511164.tif 000004
【図３】
2006511164.tif 000005
【図４】
2006511164.tif 000006
【国際調査報告】
2006511164.tif 000007
2006511164.tif 000008