(57)【要約】  本発明は、ビデオストリームの空間スケーラブル圧縮の方法を提供する。このビデオストリームは、特定の解像度よりも高い解像度を有するストリームである。先ず、ビデオストリームをダウンサンプリングし、このダウンサンプリングされたビデオストリームを符号化して基本ストリームを得る。次に、基本ストリームを復号化し、この復号化された基本ストリームをアップサンプリングして復元されたストリームを得る。ビデオストリームから、復元されたストリームを減算して、残差ストリームを得る。次に、予測ビットレートに従ってゲイン値を得る。最後に、残差ストリームにゲイン値を乗算し、この乗算により得られた結果を符号化して、予測ビットレートを有する拡張ストリームを得る。本発明は、ビデオストリームに従ってゲイン値を決定するだけでなく、外部アプリケーション環境に従ってゲイン値を動的に調整することもでき、したがって、拡張ストリームのビットストリームを実際の要求に常に適合させることができる。
2008507933.tif 000002
【特許請求の範囲】
【請求項１】
特定の解像度よりも大きい解像度を有するビデオストリームの空間スケーラブル圧縮の方法であって、
前記方法は、
ａ．前記ビデオストリームを処理して特定の解像度よりも大きい解像度を有する復元されたストリームを得るステップ、
ｂ．前記ビデオストリームと前記復元されたストリームとを比較して特定の解像度よりも大きい解像度を有する残差ストリームを得るステップ、
ｃ．予測ビットレートに従ってゲイン値を得るステップ、および
ｄ．前記ゲイン値で前記残差ストリームを処理して前記予測ビットレートを有する拡張ストリームを得るステップ、
を有する方法。
【請求項２】
前記ステップａは、
前記ビデオストリームをダウンサンプリングし、前記ダウンサンプリングされたビデオストリームを符号化して基本ストリームを得るステップと、
前記基本ストリームを復号化し、前記復号化された基本ストリームをアップサンプリングして前記復元されたストリームを得るステップと、
を有する、請求項１に記載の方法。
【請求項３】
伝送ネットワークのサービス品質に基づいて前記予測ビットレートを得るステップを有し、
前記伝送ネットワークは、空間スケーラブル圧縮されたビデオストリームを伝送する、請求項１に記載の方法。
【請求項４】
前記伝送ネットワークの前記サービス品質は、前記伝送ネットワークの利用可能なネットワーク帯域幅によって決定される、請求項３に記載の方法。
【請求項５】
前記予測ビットレートは、予測記憶空間によって決定される、請求項１に記載の方法。
【請求項６】
特定の解像度よりも大きい解像度を有するビデオストリームの画像分析を行って別のゲイン値を得るステップを更に有し、
前記ステップｄは、前記第１のゲイン値と前記別のゲイン値とを使用して前記残差ストリームを処理するステップを更に有し、これにより、前記予測ビットレートを有する拡張ストリームを得る、請求項６に記載の方法。
【請求項７】
特定の解像度よりも大きい解像度を有するビデオストリームの空間スケーラブル圧縮を行う装置であって、
前記装置は、
前記ビデオストリームを処理して特定の解像度よりも大きい解像度を有する復元されたストリームを得る復元ストリーム生成手段、
前記ビデオストリームと前記復元されたストリームとを比較して特定の解像度よりも大きい解像度を有する残差ストリームを得る残差ストリーム取得手段、
予測ビットレートに従ってゲイン値を得るビットレートゲイン値取得手段、および
前記ゲイン値で前記残差ストリームを処理して前記予測ビットレートを有する拡張ストリームを得る拡張ストリーム生成手段、
を有する装置。
【請求項８】
前記予測ビットレートは、伝送ネットワークのサービス品質に基づいて得られ、
前記伝送ネットワークは、空間スケーラブル圧縮されたビデオストリームを伝送する、請求項７に記載の装置。
【請求項９】
前記予測ビットレートは、予測記憶空間によって決定される、請求項７に記載の装置。
【請求項１０】
特定の解像度よりも大きい解像度を有するビデオストリームの画像分析を行って別のゲイン値を得る画像アナライザを更に有し、
前記拡張ストリーム生成手段は、前記第１のゲイン値と前記別のゲイン値とを使用して前記残差ストリームを処理し、これにより、前記予測ビットレートを有する拡張ストリームを得る、請求項７に記載の装置。
【請求項１１】
予測解像度よりも大きい解像度のビデオストリームを受け取る受信器、
圧縮されたビデオストリームを記憶媒体に記憶するための記憶手段、
前記記憶媒体から前記ビデオストリームを再生する再生手段、および
請求項７に記載のビデオストリームの空間スケーラブル圧縮を行う装置であって、前記ビデオストリームを空間スケーラブル圧縮して基本ストリームと予測ビットレートを有する拡張ストリームとを得る装置、
を有するデジタルレコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオストリーム圧縮方法、およびその方法のための装置に関する。特に、本発明は、空間スケーラブル圧縮方式を採用するビデオストリーム圧縮方法およびその装置に関する。
【背景技術】
【０００２】
デジタル映像に含まれるデータ量は大きいので、高解像度ビデオ信号の伝送は、高解像度ＴＶ番組を再現する上で大きな問題である。さらに、デジタル画像の各フレームは、一群の画素から形成される静止画像であり、画素の数は、特定のシステムの表示解像度によって決定される。したがって、高解像度映像の本来のデジタル情報量は、非常に大きい。伝送すべきデータ量を低減するために、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３、および種々のビデオ圧縮規格やビデオ圧縮手続きなどの、複数の圧縮方式が提案されている。
【０００３】
多くの例では、１つのストリームの中の映像を種々の解像度／品質で利用できる。この技術を実現する方法は、空間スケーラブル技術、又は階層技術、と呼ばれている。この種の技術では、ビットストリームを、異なる解像度を有する複数のビットストリームレイヤに分割し、これらのビットストリームレイヤを一つの高解像度信号に結合することができる。例えば、一個のビットストリームは、２つのビットストリームレイヤ（即ち、基本レイヤおよび拡張レイヤ）に分割される。基本レイヤは低品質で低解像度のビデオ信号を提供することができる。拡張レイヤは、基本レイヤのピクチャの画質を高めるために、追加の情報を提供することができる。
【０００４】
実際に、スケーラブルは、３つの軸上で実行することができる。第１のスケーラブルは空間軸上で実行されるものであり、空間スケーラブルと呼ばれる。第２のスケーラブルは品質軸上で実行されるものであり、ＳＮＲスケーラブル又はファインスケーラブルと呼ばれる。第３のスケーラブルは時間軸上で実行されるものであり、時間スケーラブルと呼ばれる。大部分のビデオ圧縮規格は、これらのスケーラブル技術（例えば、ＭＰＥＧ−２、ＭＰＥＧ−４、Ｈ．２６３など）をサポートしている。
【０００５】
図１は、空間スケーラブル圧縮方式をサポートする既知のビデオ符号化器を示す。この技術による解決策は、公開番号WO03/036979A1（国際出願日：２００２年１０月１６日）の国際出願の書類に開示されている。この出願により開示された内容は、本明細書に組み込まれるものである。
【０００６】
高解像度ビデオストリームはローパスフィルタ１１２に送られてダウンサンプリングされる。このダウンサンプリングされたストリームは符号化器１１６によって符号化され、基本ストリームが得られる。
【０００７】
基本ストリームは、復号化され、アップサンプリング手段１２２に送られてアップサンプルされ、復元されたストリームが得られる。復元されたストリームと高解像度ビデオストリームとが減算手段１３２に送られる。減算手段１３２は、高解像度ビデオストリームから、復元されたビデオストリームを減算して、残差ストリームを得る。
【０００８】
高解像度ビデオストリームは更に画像アナライザ１４２にも送られる。画像アナライザ１４２は、ビデオストリームの各画素を分析してゲイン値を得る。ゲイン値は、情報の少ない画像領域ではゼロに近い傾向があり、情報の多い画像領域では１に近い傾向がある。
【０００９】
ゲイン値と残差ストリームとが乗算器１５２に送られ、ゲイン値と残差ストリームとが乗算されると、情報の少ない画素領域の画素の画素値はもっと小さくなる。したがって、画素値を表すバイナリビットの長さが短くなり、乗算結果は元の残差ストリームのデータ量よりも少なくなる。ゲイン値と残差ストリームとを乗算した結果は符号化器１５６に送られて符号化され、拡張ストリームが得られる。
【００１０】
既存のＳＮＲ（信号対雑音比）スケーラブル圧縮方式は、同様の方法を使用している。つまり、画素ごとの画像分析によってゲイン値を得て、これらのゲイン値を使用して残差ストリームのビットレートを調整し、拡張ストリームを得ている。
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかし、既存の空間圧縮方式では、ゲイン値による残差ストリームのビットレートの調整は、圧縮されたビットストリームの具体的な使用環境の限定条件（例えば、伝送ネットワークのサービスの品質、および記憶空間）は考慮されずに、映像自体のコンテンツのみによって決定される。したがって、外部ネットワークの状況や記憶空間に変化があると、既存の圧縮方式では適時に調整することができず、出力ビットレートを実際の要求に合わせることができない。したがって、新しいビデオ空間スケーラブル圧縮方式であって、圧縮されたビットストリームのアプリケーション環境の変化によって適時に調整することができる圧縮方式が必要であり、したがって圧縮されたビットストリームを外部変化に適応させる圧縮方式が必要である。
【課題を解決するための手段】
【００１２】
本発明は、上記の技術的な解決策を改善したものである。本発明は、所望の圧縮効果を達成するように、圧縮されたビデオストリームのアプリケーション環境を分析することによって圧縮のプロセスを適時に調整している。
【００１３】
本発明は、ビデオストリームの空間スケーラブル圧縮の方法を提供する。このビデオストリームは、特定の解像度よりも高い解像度を有するストリームである。先ず、ビデオストリームをダウンサンプリングし、このダウンサンプリングされたビデオストリームを符号化して基本ストリームを得る。次に、基本ストリームを復号化し、この復号化された基本ストリームをアップサンプリングして復元されたストリームを得る。ビデオストリームから、復元されたストリームを減算して、残差ストリームを得る。続いて、予測ビットレートに従ってゲイン値を得る。最後に、残差ストリームにゲイン値を乗算し、この乗算により得られた結果を符号化して、予測ビットレートを有する拡張ストリームを得る。
【００１４】
本発明の一実施例では、伝送ネットワークのサービス品質に基づいて上記予測ビットレートを得ている。上記伝送ネットワークは、空間スケーラブル圧縮されたビデオストリームを伝送する。この場合、圧縮されたビデオストリームのビットレートは、ネットワークのサービス品質の変化に従って動的に調整することができ、したがって、受信部は、多数のパケットの損失をすることなく、できるだけ良好にビデオストリームを受信することが保証される。
【００１５】
本発明の別の実施例では、予測記憶空間に従って予測ビットレートを得ている。この場合、ユーザは、望むのであれば、適切な記憶空間にビデオストリームを記憶することができる。
【００１６】
本発明の別の実施例では、特定の解像度よりも大きい解像度を有するストリームの画像分析を行って別のゲイン値を得、上記第１のゲイン値と上記別のゲイン値とを使用して上記残差ストリームを処理し、これにより、上記予測ビットレートを有する拡張ストリームを得ている。この場合、ビデオストリームの実際の状況を分析することで、拡張ストリームのビットレートが実際の要求に動的に適合できるように、拡張ストリームのビットレートを、ビデオストリームの内部状況だけでなく外部のアプリケーション環境にも基づいて、リアルタイムで動的に調整することができる。
【００１７】
本発明は、更に、ビデオストリームの空間スケーラブル圧縮を行う装置を提供する。ビデオストリームは、特定の解像度よりも大きい解像度を有するストリームである。上記装置は、上記ビデオストリームを処理して特定の解像度よりも大きい解像度を有する復元されたストリームを得る復元ストリーム生成手段と、上記ビデオストリームと上記復元されたストリームとを比較して特定の解像度よりも大きい解像度を有する残差ストリームを得る残差ストリーム取得手段と、予測ビットレートに従ってゲイン値を得るビットレートゲイン値取得手段と、上記ゲイン値で上記残差ストリームを処理して上記予測ビットレートを有する拡張ストリームを得る拡張ストリーム生成手段と、を有している。上記予測ビットレートは、伝送ネットワークのサービス品質に基づいて得られる。上記伝送ネットワークは、空間スケーラブル圧縮されたビデオストリームを伝送する。更に、上記予測ビットレートを、予測記憶空間によって決定することもできる。
【００１８】
本発明はデジタルレコーダも提供する。このデジタルレコーダは、特定の解像度よりも解像度が大きいビデオストリームを受け取る受信器と、圧縮されたビデオストリームを記憶媒体に記憶するための記憶手段と、上記記憶媒体から上記ビデオストリームを再生する再生手段と、上記のビデオストリームの空間スケーラブル圧縮を行う装置であって、上記ビデオストリームを空間スケーラブル圧縮して基本ストリームと予測ビットレートを有する拡張ストリームとを得る装置と、を有している。
【００１９】
特許請求の範囲、明細書、および図面を参照することによって、本発明の他の目的および本発明により他に実現できることが明らかとなり、本発明をもっと全面的に理解することができる。
【００２０】
本発明は、実施例を通じて、添付された図面を参照することによって、詳細に記載されている。
【００２１】
全ての図面において、同じ符号は、同様の又は同一の特徴および機能を示している。
【発明を実施するための最良の形態】
【００２２】
図２は、予測ビットレートに従って空間スケーラブル圧縮を実現する本発明の一実施例の符号化システムの概略図である。符号化システム２００は基本ストリーム生成手段１１０を有している。この基本ストリーム生成手段１１０は、高解像度ビデオストリームをダウンサンプリングし、次いで、ダウンサンプリングされたストリームを符号化し、基本ストリームを得る。この基本ストリームは低解像度ストリームである。符号化システム２００は復元ストリーム取得手段１２２を有している。この復元ストリーム取得手段１２２は、基本ストリームを復号化してアップサンプリングすることにより、復元ストリームを得ている。この復元ストリームは高解像度ストリームである。符号化システム２００は残差ストリーム取得手段１３２を有している。この残差ストリーム取得手段１３２は、高解像度ビデオストリームを復元ストリームと比較して残差ストリームを得ている。この残差ストリームは高解像度ストリームである。符号化システム２００はビットレートゲイン値取得手段１４６を有している。この手段１４６は、予測ビットレートに従ってゲイン値α２を得ている。符号化システム２００は拡張ストリーム生成手段１５０を有している。この拡張ストリーム生成手段１５０は、ゲイン値に残差ストリームを乗算し、この乗算結果を符号化して拡張ストリームを得ている。
【００２３】
基本ストリーム生成手段１１０は、ローパスフィルタ１１２と符号化器１１６とを有している。ローパスフィルタ１１２は、ビデオストリームをダウンサンプリングしてビデオストリームの解像度を低くしている。符号化器１１６は、ダウンサンプリングされたビデオストリームを符号化して基本ストリームを得ている。ローパスフィルタ１１２と符号化器１１６は、図１の同一の符号で示されている手段と同じ又は同様の特徴および機能を有している。
【００２４】
復元ストリーム取得手段１２２は、基本ストリームを復号化する復号化器（図示せず）を有するアップサンプリング手段１２２である。この復号化処理は、符号化器１１６が符号化している間にこの符号化器１１６によって実現することもでき（局部復号と呼ばれる）、又は別個の復号化器（図示せず）によって実現することもできる。基本ストリーム生成手段１１０と復元ストリーム取得手段１２２とを組み合わせて、復元ストリーム生成手段を構成することができる。
【００２５】
拡張ストリーム生成手段１５０は、乗算器１５２と符号化器１５６とを有している。乗算器１５２は残差ストリームをゲイン値で処理し、符号化器１５６は、乗算器１５２から得られた出力を符号化して拡張ストリームを得ている。乗算器１５２および符号化器１５６は、図１の同一の符号で示されている手段と同じ又は同様の特徴および機能を有している。
【００２６】
ビットレートゲイン値取得手段１４６は、予測ビットレート取得手段１４６０を有している。この手段１４６０は、圧縮ストリームのアプリケーション環境に従って、予測ビットレートを取得する。予測ビットレートは、圧縮ビデオストリームにより実現可能であってアプリケーション環境で許容できる最大ビットレートである。アプリケーション環境情報には、予測記憶空間又は伝送ネットワークのサービスの品質が含まれている。ビットレートゲイン値取得手段１４６は、実際平均ビットレート取得手段１４６２を有している。この手段１４６２は、符号化器１５６のパラメータに基づいて実際の平均ビットレートを取得する。ビットレートゲイン値取得手段１４６は、調整手段１４６６を有している。この手段１４６６は、ゲイン値を変更する必要があるかどうかを決定するために、拡張レイヤの実際の平均ビットレートが現在の許容ビットレートよりも大きいかどうかを決定する。実際の平均ビットレートが許容ビットレートよりも大きい場合、ゲイン値を小さくして拡張レイヤのビットレートを許容ビットレートよりも小さくする。実際の平均ビットレートが許容ビットレートよりも小さい場合、ゲイン値を大きくして拡張レイヤのビットレートを許容ビットレートよりも大きくする。
【００２７】
符号化システム２００は、画像アナライザ１４２を有することもできる。画像アナライザ１４２は、高解像度ストリームの画素を分析して高解像度ストリームの各画素のゲイン値α１を得ている。この場合、拡張ストリーム生成手段１５０は、更に、合成ゲイン値取得手段１４８を有している。この手段１４８は、α１およびα２を処理して合成ゲイン値αを得ている。拡張ストリーム生成手段１５０は合成ゲイン値に残差ストリームを乗算し、次いで、この乗算結果を符号化して拡張ストリームを得ている。
【００２８】
装置２００の機能又は装置２００が備えている上記の手段の一部は、ソフトウェアによって実現することができる。当業者は、種々の既存の手段を単に組み合わせて本発明の上記の機能を実現することによって、装置２００に含まれた上記の手段を実現することができる。
【００２９】
装置２００の動作フローは図３に示されている。ビットレートゲイン値取得手段１４６の動作フローは図４および図５に示されている。
【００３０】
図３は、本発明の一実施例に基づいた予測ビットレートによる空間スケーラブル圧縮のフロー図である。
【００３１】
先ず、特定の高解像度ビデオストリーム（１９２０×１０８０ｉの解像度のビデオストリームなど）を受け取る（ステップＳ３１０）。高解像度は、特定の解像度より大きくてもよい。  この高解像度ビデオストリームはダウンサンプルされる（ステップＳ３２４）。ビデオストリームをダウンサンプリングする目的は、ビデオストリームの解像度を低くする（例えば、７２０×４８０ｉ）ことにある。ダウンサンプリングされたストリームは符号化されて基本ストリームが得られる（ステップＳ３２８）。符号化処理はＭＰＥＧ−２規格に従って実現することができる。基本ストリームは、低解像度ストリーム（例えば、７２０×４８０ｉ）である。
【００３２】
次に、復号化された基本ストリームをアップサンプリングして復元されたストリームを得る（ステップＳ３３０）。復元されたストリームの解像度は、受け取った高解像度ビデオストリームの解像度（例えば、１９２０×１０８０ｉ）と実質的に同じである。復元されたストリームは、受け取った高解像度ビデオストリームから減算され、残差ストリームが得られる（ステップＳ３４０）。残差ストリームの解像度は、受け取った高解像度ビデオストリームの解像度（例えば、１９２０×１０８０ｉ）と実質的に同じである。
【００３３】
次に、画像分析方法を用いて、高解像度ビデオストリームの各画素に対応するゲイン値α１が得られる（ステップＳ３５２）。このステップでは、既知の方法を使用することができる。もちろん、対応するゲイン値α１を取得するために、復元されたストリーム又は残差ストリームの画像分析を行うこともできる。
【００３４】
次に、予測ビットレートに基づいて、ゲイン値α２が得られる（ステップＳ３５５）。予測ビットレートは、圧縮ビデオストリームのアプリケーション環境（例えば、ビデオストリームを伝送するための伝送ネットワークのサービス品質、又はビデオストリームを記憶するための記憶空間）によって決定される。α２を取得するための動作の詳細が図４および図５に示されている。
【００３５】
上記の画像分析によって決定されたゲイン値α１と予測ビットレートによって決定されたゲイン値α２とによって、合成ゲイン値αを得る（ステップＳ３５８）。例えば、αは以下の式で表される。
【数１】
2008507933.tif 000003
ここで、λおよびμは重付け係数である。λおよびμは、以下の式を満たすものもである。
重付け係数はシステムの要求によって決定することができる。
【００３６】
最後に、残差ストリームの各画素に、対応するゲイン値が乗算され、その結果が符号化されて拡張ストリームが得られる（ステップＳ３７０）。
【００３７】
この実施例では、α１およびα２に基づいて合成ゲイン値が得られ、合成ゲイン値に基づいて残差ストリームが調整される。もちろん、当業者であれば、例えば、ビデオストリームが主に外部環境（例えば、ネットワークのサービス品質）の影響を受ける場合は、この手続きにおいてステップＳ３５２を省略してα２だけで残差ストリームを直接に調整し、ネットワークのサービス品質に適合する拡張ストリームビットレートが得られることを当然に熟知している。
【００３８】
図４は、本発明の一実施例に基づいて、予測ビットレートによりゲイン値を調整するフロー図である。この実施例における予測ビットレートは、圧縮ビデオストリームの伝送ネットワークによって決定される。通常、伝送ネットワークのサービス品質は動的に変動するので、伝送ネットワークの許容ビットレートも変動する。このように、一定のビットレートでビデオストリームの伝送品質を保証することは困難である。図４のフローによれば、この問題を解決することができる。
【００３９】
先ず、ストリームセッションが開始する前に、利用できる資源に基づいて、相関パラメータが設定される（ステップＳ４１０）。例えば、初めのネットワークの許容帯域幅がＢ０＝２０Mbpsである場合、基本レイヤのビットレートは５Mbpsに設定することができ、拡張レイヤのビットレートは１５Mbpsに設定することができる。このネットワークの許容帯域幅は検出により得ることができ、ビットレート設定は、図２の符号化器１１６および１５６を一度設定するだけで完了させることができる。ゲイン値α１およびα２のダイナミックレンジ（αｍｉｎ，αｍａｘ）は、両方とも（０，０.５）である。ここでは、α１＝０.５、α２＝０.５である。α２の調整範囲はΔα＝（αｍａｘ−αｍｉｎ）／１０＝０.０５に設定することができる。もちろん、この調整範囲は、環境に応じてもっと細かく設定することができる。
【００４０】
次に、ネットワークのサービス品質に基づいて、予測ビットレートが得られる（ステップＳ４１２）。ネットワークのサービス品質は、ビデオストリームを伝送している間に、ネットワーク状況（例えば、ネットワークの帯域幅やネットワークの処理能力）を検出することによって得られる。この結果、現在のネットワークのサービス品質に対応するビットレートであって、ネットワークが受け取ることが可能なビットレート、即ち、予測ビットレート（例えば、１５Mbps）が得られる。この予測ビットレートは、現在のネットワークのサービス品質が当初のネットワークのサービス品質よりも悪いことを示している。基本レイヤのビットレートは常に５Mbpsであるので、拡張レイヤの許容ビットレートは１０Mbpsに低下する。ネットワーク状況の検出は、必要に応じて、特定の周波数で実行することができる。
【００４１】
同時に、拡張レイヤの実際のビットレートを得る（ステップＳ４１６）。拡張レイヤの実際のビットレートは符号化器１５６のパラメータによって得ることができる。例えば、拡張レイヤの現在の実際のビットレートは１２Mbpsである。
【００４２】
次に、拡張レイヤの許容ビットレートが、実際のビットレートと比較される（ステップＳ４２２）。上記のように、拡張レイヤの現在の許容ビットレートは１０Mbpsであり、拡張レイヤの実際のビットレートは１２Mbpsである。したがって、拡張レイヤの現在の実際のビットレートは、許容ビットレートを超えている。拡張レイヤが１２Mbpsで圧縮を実行し、現在の伝送ネットワークにおいてこのビットレートで伝送し続ける場合、ネットワークジャムや伝送品質の劣化などの問題が確実に生じる。したがって、拡張レイヤの出力ビットレートが許容ビットレートよりも小さくなるまで、α２を調整して拡張レイヤの出力ビットレートを小さくする必要がある。
【００４３】
最後に、上記の比較結果に基づいて、調節が行われ、ゲイン値α２が得られる（ステップＳ４２４）。ここで、α２を調整するプロセスは、連続して行われる比較と微調整とを伴なうサイクルプロセスであり、この詳細は以下に記載されている。
【００４４】
第１のプロセスの間は、拡張レイヤの現在の実際のビットレートは、許容ビットレートを超えている。調整範囲Δα＝０.０５に基づいて、α'２＝α２−Δα＝０.５−０.０５＝０.４５を求め、α＝α１＋α'２＝０.５＋０.４５＝０.９５を用いて残差ストリームを処理し、符号化器１５６のパラメータに基づいて拡張レイヤの小さくなった実際のビットレートが得られる。
【００４５】
第２のプロセスの間に、上記のようにして得られた拡張レイヤの小さくなった実際のビットレートが、許容ビットレートと比較される。拡張レイヤのこの小さくなった実際のビットレートが許容ビットレートよりもまだ大きい場合、α"２＝α'２−Δα＝０.４５−０.０５＝０.４を求め、α＝α１＋α"２＝０.５＋０.４＝０.９を用いて残差ストリームを処理し、符号化器１５６のパラメータに基づいて拡張レイヤのもっと小さい実際のビットレートが得られる。
【００４６】
このサイクルは、符号化器１５６から得られる拡張レイヤの実際のビットレートが拡張レイヤの許容ビットレートよりも小さくなるまで続けられる。例えば、α２が０.１にまで小さくなった場合、つまり、合成ゲインαが０.６の場合、残差ストリームは当該αによって処理され、符号化器１５６のパラメータによって得られる拡張レイヤの実際のビットレートは９Mbpsであり、したがって、拡張レイヤの当該出力ビットレートは、ネットワークの実際の状況に適合する。
【００４７】
上記の微調整は非常に短時間で行われ、したがって、上記の実施例では、α１は一定とする。実際の圧縮プロセスでは、α１は画像の状況に応じて変化し得るが、拡張レイヤの実際のビットレートの平均値が拡張レイヤの許容ビットレート以下であればよい。
【００４８】
ネットワーク帯域幅がもっと広いと検出され、ネットワークにジャムがない場合、α２の値を大きい値にして拡張レイヤがもっと多くの情報を保持するようにできる。ネットワークが非常に込んでいると検出された場合、α２を値を小さい値にして拡張レイヤのビットレートを小さくし、拡張レイヤにより担持される情報量を小さくすることができ、したがって、この拡張レイヤの情報の一部が破棄される。
【００４９】
ステップＳ４１２、Ｓ４１６、Ｓ４２２、Ｓ４２４は、ビデオストリームの伝送が終了するまで繰返し実行することができ、したがって、ビデオストリームは伝送プロセスの間は動的に圧縮され、ネットワークの変化に適合する。
【００５０】
図５は、予測ビットレートによりゲイン値を調整する本発明の別の実施例に基づくフロー図である。この実施例では、ビデオストリームの記憶状況に基づいて、予測ビットレートが得られる。例えば、この記憶状況は、ビデオストリームの記憶媒体の残りの記憶空間とすることができる。ビデオストリームの記憶を行っている間、残りの記憶空間は時間とともに変化するので、残りの記憶空間と記憶に費やす時間とによって決定される圧縮ビデオストリームの許容ビットレートも連続的に変化する。したがって、ビデオストリームが一定のビットレートで記憶される場合、記憶空間はおそらく不十分であり、うまく記憶することができない。図５のフローによって、上記の技術的な問題を解決することができる。
【００５１】
先ず、ビデオストリームの記憶状況に従って、関連するパラメータが設定される（ステップＳ５１０）。例えば、音声と映像の番組が、片面２層ＤＶＤ＋ＲＷ光ディスクに記憶される。この光ディスクの容量は８.５ＧＢ（即ち、６８０００Mbit）である。この光ディスクは一つのトラックにのみ書込みをし、そのビットレートは３８４kbpsであり、ＳＤ基本レイヤのビットレートは４.５Mbpsであり、最大記録時間Ｔは９０分であり、ゲイン値α１およびα２のダイナミックレンジ（αｍｉｎ，αｍａｘ）は、両方とも（０，０.５）である。この時点において、α１＝０.５、α２＝０.５である。α２の調整範囲は、Δα＝（αｍａｘ−αｍｉｎ）／１０＝０.０５に設定することができる。もちろん、この調整範囲は、環境に応じてもっと細かく設定することができる。
【００５２】
次に、現在の残りの記憶空間に基づいて、予測ビットレートが得られる（ステップＳ５１２）。ＤＶＤ光学ディスクの現在の残りの記憶空間に基づいて、拡張レイヤの現在の許容ビットレート（即ち、予測ビットレート）を得ることができる。ビデオストリームの記憶を行っている間の時刻ｔにおいて、拡張レイヤの許容ビットレートは、以下のようになる。
【数２】
2008507933.tif 000004
ここで、ｂｅｎｈは拡張レイヤのビットレートである。ｔは記録時間である。
【００５３】
上記の式によれば、ｔ＝７５分の場合、即ち、記録が７５分まで行われた場合、拡張レイヤの許容ビットレートは約１０Mbpsである。この取得プロセスは、必要に応じて、特定の周波数で行われる。
【００５４】
次に、拡張レイヤの実際のビットレートが得られる（ステップＳ５１６）。符号化器１５６のパラメータに基づいて、拡張レイヤの実際のビットレートを得ることができ、例えば、現在の拡張レイヤの実際のビットレートは１２Mbpsである。
【００５５】
次に、拡張レイヤの許容ビットレートが実際のビットレートと比較される（ステップＳ５２２）。上記のステップから得られるように、拡張レイヤの現在の許容ビットレートは１０Mbpsであり、拡張レイヤの実際のビットレートは１２Mbpsである。したがって、現在の拡張レイヤの実際のビットレートは、許容ビットレートを超えている。拡張レイヤが当該実際のビットレートで圧縮し続け、記憶し続ける場合、現在の記憶空間では特定の時間（９０分）内で全映像を記憶することはできない。したがって、α２を調整し、拡張レイヤの出力ビットレートが許容ビットレート以下になるまで拡張レイヤの出力ビットレートを低くする必要がある。
【００５６】
最後に、上記の比較結果に従って、調整が行われ、ゲイン値α２が得られる（ステップＳ５２４）。ここで、α２を調整するプロセスは、連続して比較を行い微調整を行うサイクルプロセスである。このプロセスの詳細を以下に記載する。
【００５７】
第１のプロセスの間、現在の拡張レイヤの実際のビットレートは許容ビットレートを超えている。調整範囲Δα＝０.０５に基づいて、α'２＝α２−Δα＝０.５−０.０５＝０.４５を求め、α＝α１＋α'２＝０.５＋０.４５＝０.９５を用いて残差ストリームを処理し、符号化器１５６のパラメータに基づいて拡張レイヤのもっと小さい実際のビットレートが得られる。
【００５８】
第２のプロセスにおいて、上記のようにして得られた拡張レイヤのもっと小さい実際のビットレートが、許容ビットレートと比較される。拡張レイヤのこの小さい実際のビットレートが許容ビットレートよりもまだ大きい場合、α"２＝α'２−Δα＝０.４５−０.０５＝０.４を求め、α＝α１＋α"２＝０.５＋０.４＝０.９を用いて残差ストリームを処理し、符号化器１５６のパラメータに基づいて拡張レイヤの更に小さい実際のビットレートが得られる。
【００５９】
このサイクルは、符号化器１５６から得られる拡張レイヤの実際のビットレートが拡張レイヤの許容ビットレートよりも小さくなるまで続けられる。
例えば、α２が０.１にまで小さくなった場合、つまり、合成ゲインαが０.６の場合、残差ストリームは当該αによって処理され、符号化器１５６のパラメータによって得られる拡張レイヤのビットレートは９Mbpsであり、したがって、拡張レイヤの現在の出力ビットレートが現在の残差記憶空間に適合する。
【００６０】
上記の微調整のプロセスは非常に短時間で行われており、したがって、上記の実施例では、α１は一定とする。実際の圧縮プロセスでは、α１は画像の状況に応じて変化する。したがって、拡張レイヤの実際のビットレートの平均値は、拡張レイヤの許容ビットレート以下であればよい。
【００６１】
上記のように、ＤＶＤ光ディスクの残差記憶空間を動的にモニタリングすることによって、拡張レイヤの実際のビットレートが許容された平均ビットレートを超えると、α２は小さくなり、拡張レイヤのビットレートを小さくし、これによって、記憶すべき全ビデオストリームをＤＶＤ光ディスクに記憶することができ、記憶空間が不足することはない。
【００６２】
ステップＳ５１２、Ｓ５１６、Ｓ５２２、Ｓ５２４は、ビデオストリームの記憶を終了するまで繰返し実行することができ、したがって、ビデオストリームは記憶プロセスの間に渡って動的に圧縮され、残差記憶空間の変化に適合する。
【００６３】
もちろん、記憶媒体は、上記のＤＶＤ＋ＲＷ光ディスクの他に、ＨＤなどの同様の記憶媒体であってもよい。更に、予測記憶空間を、ユーザの意思に応じて設定することができる。例えば、ユーザが３０Mbitの音声映像番組を記録したい場合、デジタル記録装置又は記録機能を有する他の装置は、記録を開始する前に、音声映像番組を記録するための予測記憶空間をユーザが選択できるようにすることができ、例えば、１８Ｍ〜３０Ｍの選択範囲を提供することができる。ユーザが２０Mbitを選択した場合、上記と同様のプロセス制御により、その音声映像番組を、２０Mbitの番組として圧縮し記録することができる。
【００６４】
図６は、本発明の更に別の実施例によるデジタル記録装置を示している。デジタル記録装置６００は受信器６１０を有している。この受信器６１０は高解像度ビデオストリーム（例えば、１９２０×１０８０ｉの解像度のビデオストリーム）を受信する。デジタル記録装置６００は記録手段６２０を有している。この記録手段６２０は、符号化され圧縮されたビデオストリームを記憶媒体６３０に記録する。記憶媒体６３０はハードディスクであるが、ＤＶＤ＋ＲＷなどの他の適切な媒体にすることもできる。デジタル記録装置６００は更に再生手段６４０を有している。この再生手段６４０は、記憶媒体６３０からビデオストリームを再生する。再生手段６４０はデジタル記録装置即ち記憶手段６２０によって記憶された番組を再生する。
【００６５】
デジタル記録装置６００は、図２に示すようなビデオストリームの空間スケーラブル圧縮を行う装置２００を更に有している。ビデオストリームの空間スケーラブル圧縮を行う装置２００は、受信器６１０から、未処理のビデオストリームとして、高解像度ビデオストリームを受け取り、この受け取ったビデオストリームを空間スケーラブル圧縮する。これにより、装置２００は、符号化され圧縮された基本ストリームと拡張ストリームとを得る。その後、符号化され圧縮されたビデオストリームは、記録手段６２０によって記憶媒体６３０に記録される。ビデオストリームの空間スケーラブル圧縮を行う装置２００は予測記憶空間に関連するゲイン値α２を導入しているので、記憶空間の変化に基づいてゲイン値α２をリアルタイムで調整することができ、残差ストリームがこのゲイン値によって処理される。したがって、ビデオストリームの空間スケーラブル圧縮を行う装置２００から出力された拡張ストリームビットレートは、デジタル記録装置６００によって与えられる記憶空間に常に適合している。
【００６６】
本発明は幾つかの実施例により記載されているが、上記の内容に従って、種々の置換え、修正、および変形をすることは、当業者には明らかである。したがって、本発明の置換え例、修正例、変形例が、添付された特許請求の範囲の精神および範囲に含まれている場合、本発明は、これらの置換え例、修正例、変形例を含んでいる。
【図面の簡単な説明】
【００６７】
【図１】空間スケーラブル圧縮方式を採用する既知のビデオ符号化器を示す図である。
【図２】予測ビットレートに基づいて空間スケーラブル圧縮を実行する本発明の一実施例による符号化システムの概略図である。
【図３】予測ビットレートに基づく本発明の一実施例による空間スケーラブル圧縮のフロー図である。
【図４】予測ビットレートに基づく本発明の一実施例によるゲイン値調整のフロー図である。
【図５】予測ビットレートに基づく本発明の別の実施例によるゲイン値調整のフロー図である。
【図６】本発明の別の実施例によるデジタルレコーダを示す図である。
【図１】
2008507933.tif 000005
【図２】
2008507933.tif 000006
【図３】
2008507933.tif 000007
【図４】
2008507933.tif 000008
【図５】
2008507933.tif 000009
【図６】
2008507933.tif 000010
【国際調査報告】
2008507933.tif 000011
2008507933.tif 000012
2008507933.tif 000013