(57)【特許請求の範囲】
【請求項１】
瞬時記憶ビットレートが可変である記憶媒体上の所定の記憶容量を占める記憶されるべきディジタルビデオデータのシーケンスを符号化する方法であって、
全体的な平均ビットレートは上記所定の記憶容量を上記シーケンスの時間的長さで割ったものであり、
上記所定の記憶容量の第１の部分内で、上記データは、上記全体的な平均ビットレートよりも低い平均ビットレートと、フレームタイプの符号化において大きな仮想バッファサイズを用いることによるゆるい瞬時ビットレート制御とを用いて符号化され、
上記所定の記憶容量の残りの部分内で、上記データは、上記全体的な平均ビットレートよりも高い平均ビットレートと、上記フレームタイプの符号化においてより小さな仮想バッファサイズを用いることによるきつい瞬時ビットレート制御とを用いて符号化されることを特徴とする方法。
【請求項２】
請求項１記載の方法であって、上記所定の記憶容量の上記第１の部分で、上記平均ビットレートは、上記全体的な平均ビットレートの略９５％であり、
上記所定の記憶容量の上記第２の部分で、上記平均ビットレートは、上記全体的な平均ビットレートの略１５０％である方法。
【請求項３】
請求項１又は２記載の方法であって、上記第１の部分は上記所定の記憶容量の略８０％であり、上記第２の部分は上記所定の記憶容量の略２０％である方法。
【請求項４】
請求項１乃至３のうちいずれか１項記載の方法であって、上記所定の記憶容量の上記第１の部分と上記第２の部分との間に、上記ビットレート制御の特性が滑らかに変化する別の部分がある方法。
【請求項５】
瞬時記憶ビットレートが可変である記憶媒体上の所定の記憶容量を占める記憶されるべきディジタルビデオデータのシーケンスを符号化する装置であって、
全体的な平均ビットレートは上記所定の記憶容量を上記シーケンスの時間的長さでわったものであり、
離散コサイン変換手段と、量子化手段と、逆量子化手段と、逆離散コサイン変換手段と、画像記憶手段と、符号化された出力信号を送出し上記量子化手段の出力に接続されたエントロピー符号化手段とを含む符号化ループを使用し、
上記量子化手段と、上記逆量子化手段と、上記エントロピー符号化手段とは、
上記所定の記憶容量の第１の部分内で、上記データが、上記全体的な平均ビットレートよりも低い平均ビットレートと、フレームタイプの符号化において大きな仮想バッファサイズを用いることによるゆるい瞬時ビットレート制御とを用いて符号化され、
上記所定の記憶容量の残りの部分内で、上記データが、上記全体的な平均ビットレートよりも高い平均ビットレートと、上記フレームタイプの符号化においてより小さな仮想バッファサイズを用いることによるきつい瞬時ビットレート制御とを用いて符号化されるように制御されることを特徴とする装置。
【請求項６】
特に光ディスクである記憶媒体にディジタルビデオデータのシーケンスを記憶する方法であって、
請求項１に記載の方法により前記ディジタルビデオデータのシーケンスを符号化する段階と、
上記記憶媒体に上記符号化したディジタルビデオデータのシーケンスを記録する段階と、を有することを特徴とする方法。
【発明の詳細な説明】
本発明は、一定のデータ記憶容量を有する記憶媒体のためディジタルビデオデータを符号化し、一定のデータ記憶容量を有する記憶媒体からのディジタルビデオデータを復号化する方法並びに装置に関する。
発明の背景
ISO/IEC 13818″Information Technology-Generic coding of moving pictures and associated audio information:Video″（MPEG2）には、符号化ディジタルビデオ及びオーディオデータストリームに関する国際標準が記載されている。画像内容の変化に起因して、生成されるコードの量は時間に関して変化する。しかし、固定チャネル容量の場合、一般的に、送信側でエンコーダバッファを使用し、受信側でデコーダバッファを使用することにより実現され得る固定ビットレート（ＣＢＲ）ＭＰＥＧエンコーダコントロールが望ましい。これについては、上記国際標準の付属書類Ｃ及びＤ．４に詳細に説明されている。他のモードは可変ビットレート（ＶＢＲ）符号化である。
発明の概要
可変ビットレート動作が可能であるＤＶＤ（ディジタルビデオディスク）のようなディジタル記憶媒体が存在する場合、固定ビットレート符号化の代わりに可変ビットレート符号化を使用することにより符号化品質を改良することが可能である。
本発明の目的は、符号化品質が固定ビットレート符号化の場合の品質よりも基本的に改良される、固定容量記憶媒体のための可変ビットレート符号化の方法を開示することである。本発明の目的は請求項１に記載された方法によって実現される。
本発明の別の目的は、復号化品質が固定ビットレート復号化の場合の品質よりも基本的に改良される、固定容量記憶媒体からの可変ビットレート復号化の方法を開示することである。この目的は請求項２に記載された方法によって実現される。
本発明の別の目的は、上記の新規の符号化及び復号化方法を夫々に使用する符号化及び復号化装置を提供することである。この目的は請求項３及び４に記載された装置によって実現される。
本発明の別の目的は、上記本発明の方法に従って符号化又は復号化されるディジタルビデオ信号を開示することである。この目的は請求項５に記載された信号によって実現される。
“固定ビットレート”は、各フィールド期間（５０Ｈｚテレビジョン信号の場合には２０ｍｓ）に一定数のビットがチャネル（例えば、システムマルチプレクサ）に出力されることを意味し、一方、“可変ビットレート”は、他の全てのビット送出スケジュールをカバーする。
固定ビットレート環境において、カーネルＭＰＥＧエンコーダ回路の後にある程度のサイズのバッファが接続される。このバッファはカーネルＭＰＥＧエンコーダの本質的に可変性のビットレート出力を平滑化する。ビデオバッファリング照合子ＶＢＶは、使用可能なエンコーダバッファサイズの上限、並びに、このプロファイル＠レベル（Ｐ＠Ｌ）に準拠した全てのビットストリームを復号化するためデコーダによって必要とされる最小バッファサイズを与えるエンコーダコントロールにおいて使用される概念である。全ての定義されたプロファイル＠レベル（Ｐ＠Ｌ）に対し、最大ＶＢＶバッファサイズ値は、ISO/IEC 13818-2の第８節に指定されている。より小さい値も許容され、ＶＢＶバッファサイズエレメントによって各ビットストリーム中でシグナリングされ得る。
可変ビットレートアプリケーションにおいて、ビットレートを平滑化するためエンコーダバッファを使用する切迫した必要性はないが、以下の説明から明らかになるように、バッファを確保することが有用である。変更点は、チャネルビットレートが可変になることである。
固定ビットレート及び可変ビットレートの両方のアプリケーションにおいて、ＭＰＥＧエンコーダ及びＭＰＥＧデコーダは周知のハイブリッドＤＰＣＭ／ＤＣＴ構造を使用することにより動作する。
可変ビットレートデータストリームを処理する能力のある記憶装置を使用するアプリケーションのためのビットレート制御の目的は、固定ビットレートの場合とは相違する。望ましくは、
・時間に関して均一な品質を維持し、
・所定の容量の媒体上で記憶時間を最大限に延ばすべきである。
従って、エンコーダ制御戦略はこの状況に適合されるべきである。
このエンコーダ制御の理解を助けるため、最初に固定ビットレートに対するエンコーダ制御を説明する。
従来のエンコーダ制御戦略は３段階又は制御レベルを含む。
１）ビット割付（大域的制御）
異なる符号化フレーム対応（Ｉ，Ｐ，Ｂフレーム）へのビットの割付は、相対的な複雑さＸi，Ｘp，Ｘbに従って決められる。その目標は、フレームタイプの主観的な品質を一致させることである。事前解析を行わない以下のフィードバック実装の場合、ビデオシーンはある時間に亘って十分に静止していると考えられるので、過去のフレームからの情報は次のフレーム又はフィールドのビット割付のため使用することができる。以下の説明において、用語“フレーム”は、一般的に、フレーム若しくはフィールド、又は、（以下に定義される）ユニットよりも大きいＧＯＰ（グループオブピクチャ）の他のセクションを示す。
複雑さは、所定の画質でＩ、Ｐ及びＢフレームを符号化する相対的なコストを反映する規準によって評価され得る。しかし、エンコーダの複雑さに負担を掛けすぎることなく、必要な測定量が得られるかどうかを考慮しなければならない。
最初に“画質”が測定されるべきである。しかし、一般的に合意された充分に簡単な客観的な測定規準は存在しないことは周知である。従って、通常、再構成されたフレームのＳＮ比が画質の近似として扱われる。ＭＰＥＧエンコーダ制御の場合に、この測定規準は、各符号化フレームに対するＳＮ比の計算を含むので幾分コスト高である。従って、その代わりとしてフレームを符号化するため使用された平均量子化ステップサイズ（Ｑi，Ｑp，Ｑb）が品質指標であるとみなされる。“品質”の測定規準が定義されたので、フレームの“複雑さ”は、発生されたビットと使用された量子化ステップの積によって表現され得る。換言すると、フレームの復号化が複雑化するのは、量子化ステップサイズが粗いにもかかわらず、フレームが多数のビットを生成する場合である。この積は各ユニットｍ（例えば、マクロブロック、ブロック、スライス、又は、フレームよりも小さい任意の区画）に対し形成され、フレーム全体に関して加算される。
ｘm＝ｂm＊ｑm    （１ａ）
Ｘc＝Σｘm    （１ｂ）
式中、ｂmはユニットｍを符号化するためのビット数であり、ｑmはユニットｍで使用される平均量子化サイズであり、ｃ＝ｉ，ｐ又はｂは符号化タイプである。
各グループオブピクチャＧＯＰの先頭で、現在のＧＯＰ  ｐに関して利用可能なビットバジェット（ビットの蓄え）ＢG（ｇ）は、先行のＧＯＰからの繰り上げＢG（ｇ−１）も考慮して、
ＢF（ｎ＝０）＝ＢG（ｇ）＝（ビットレート）＊
（１ＧＯＰ当たりのフレーム）／（フレームレート）−ＢG（ｇ−１）    （２）
のように表される。現在のＧＯＰの各フレームｎに対し、符号化タイプｃに依存したビットの目標数Ｔcは、計算された複雑さ及び現在のＧＯＰ内の各符号化タイプの残りのフレーム数（Ｎi，Ｎp，Ｎb）に従って決定される。ＧＯＰのフレームｎ−１の符号化後に、残りのビットＢF（ｎ）を考慮することにより、以下の式を使用することができる。
Ｔc＝ＢF（ｎ）＊（Ｘc＊Ｋc）／
（Ｎi＊Ｘi＊Ｋi＋Ｎp＊Ｘp＊Ｋp＋Ｎb＊Ｘb＊Ｋb）    （３）
係数Ｋcはフレーム符号化タイプの種々の視覚的重要性を反映するため使用され、典型的にＫi＝Ｋp＝１かつＫb＜１である。
式（１ａ）及び（１ｂ）に従う複雑さの計算は、通常、シーン変化に対する合理的な応答を保証するため、最新のＩ、Ｐ及びＢフレームからのデータを用いて、各フレームの後に更新される。ＧＯＰの残りのフレームに対するビットバジェット
ＢF（ｎ＋１）＝ＢF（ｎ）−Σｂm    （４）
は、現在のフレームのため使用されたビット数Σｂmを減じた後、各対応の残りのフレーム数にセットされたＮi、Ｎp、Ｎbに関して式（３）を用いて再分配される。
ＧＯＰの最後のフレームＮを符号化した後、残りのビット
ＢG（ｇ）＝ＢF（Ｎ）
は、次のＧＯＰ  ｇ＋１に繰り越される。
また、長時間の平均ビットレートだけを一定に保ちながら１ＧＯＰ当たりに不定の量のビットを明示的に許容してもよい。実際上、これは、式（２）を用いてＧＯＰの先頭だけでバジェットを再度埋める代わりに、各フレームの後に、
ＢF（ｎ）＝ＢF（ｎ−１）−Σｂm＋（ビットレート）／（フレームレート）    （５）
を用いて、ビットバジェットＢF（ｎ）を再度埋めることにより実現される。このバジェットは、次に、現在のＧＯＰ内の残りのフレームだけではなく、ＧＯＰ内のＩ、Ｐ及びＢフレームの数に従って分配される。ＧＯＰの途中でシーン変化が生じた場合に、上記の変更を行う効果として、シーン変化のあるＰフレームはより多くのビットを獲得し、品質を改良する。しかし、ＶＢＶの使用量及び／又はビットバジェットの減少に起因して、殆どの場合に、次の通常のＩフレームは必要なビットを獲得しないので、次のＧＯＰの全体的な品質は低下する。従って、好ましくは、“１ＧＯＰ当たりに一定のビットバジェッド”概念が固定ビットレートアプリケーションに使用される。
各フレーム毎に最小限のビットバジェットが少なくともオーバーヘッド情報を符号化するため必要である。これは、複雑さの一番少なく、非常に少ないビットしか割り付けられない傾向があるＢフレームの場合に最も重要である。固定ビットレートのレート制御は、固定の最小限ビットバジェットを使用してもよいが、必要なオーバーヘッドビットバジェットの評価は過去のフレームに基づいて行われる場合がある。
フレーム（通常はＩフレーム）に割付可能な最小限のビット数は、ＶＢＶの状態によって制限される。最初に空のエンコーダバッファが与えられた場合に、ＶＢＶバッファサイズのビットを上回るビットは単一のフレームで消費され得ない。
２）バッファ制御（局所的制御）
個々のフレーム毎に、ビット生成は、制御理論の比例コントローラに対応したバーチャルバッファ概念を使用して、割り付けられた目標ビット数の範囲内に収まるように制御される。この概念は図５に示されている。バーチャルバッファＶＢＵcは、ＭＰＥＧ２エンコーダＭＥＮの各ユニット（マクロブロック）によって発生されたビットｂmと、Ｍが１フレーム当たりのユニット数を表す場合にこのユニットに対する目標の部分ｔm＝Ｔc／Ｍとの間の差ｅmが補充される。
一つのフレームタイプについて目標と合致する困難さは他のフレームタイプに伝搬すべきではないので、できる限り異なるサイズＶcoを有する独立したバーチャルバッファＶＢＵcがフレーム符号化タイプｃ＝ｉ，ｐ，ｂ毎に使用される。フレームの端におけるバーチャルバッファＶＢＵcの状態ｄmは同じ符号化タイプの次のフレームにｄoとして伝搬する。
ｄm＝ｄo＋Σ（ｂm−ｔm）    （６）
各ユニットｍに対し、量子化ステップサイズｑmがこのバーチャルバッファのサイズＶcoに対する使用量ｄmから計算手段ＱＣにおいて計算される。
所謂“非線形量子化器”テーブルは（非線形量子化とは称されていないがISO/IEC 13818-2のテーブル７−６を参照のこと）、量子化スケールコード（ｑｕａｎｔｉｓｅｒ＿ｓｃａｌｅ＿ｃｏｄｅ）用の利用可能な３１個の符号語の、実際の量子化ステップサイズｑmへの充分に進歩的な非線形マッピングを獲得するため使用される。量子化スケールコードは単純に３２＊ｄm／Ｖcoに設定してもよい。このテーブルによって利用可能な非常に粗い量子化は、バッファが充満状態に近いときに“パニック”状況を処理するため使用され得る。
制御理論では比例コントローラの“反応”パラメータと称されるバーチャルバッファのサイズＶcoは、制御のきつさを決定する。そのサイズは、発生されたビットの数が目標からかなり偏る場合に、非常に（場合によってはＶＢＶよりも）大きくすることが可能である。シーン変化が現在のＧＯＰで生じたか否かは先験的には分からないので、大きいバーチャルバッファは、例えば、Ｐフレームのため使用可能である。シーン変化がある場合、ビット生成は予測できない程高い。しかし、これにより画質が低下するのは、量子化ステップが著しく増加される程度にバーチャルバッファが使用された場合に限られる。
予測できなかった高いビット生成に対する反応はできるだけ遅延され、一方、予測できない低いビット生成は直ちに量子化ステップサイズを減少させる方が有利である。これは、例えば、ユニットｍを符号化しているときのバーチャルバッファ使用量ｄmとフレームの開始時の初期使用量ｄoとの関係に依存する異なる反応パラメータＶco、Ｖｄco（即ち、バーチャルバッファサイズ）によって以下の式を用いて実現され得る。
0004273207.tif 000002
ｄmが減少するときの反応であるＶｄcoはＶcoよりも小さくする必要がある。ｑmは、ISO/IEC 13818-2のテーブル７−６を参照することによって得られる。
ＶＢＶの状態は、バーチャルバッファに基づく制御に加えて、特に、制御が“ゆるい”とき、即ち、バーチャルバッファが大きいとき、監視されるべきである。フレームの目標並びにＧＯＰ全体の目標が超えられている間、デコーダ物理バッファを表すＶＢＶは、決してアンダーフロー若しくはオーバーフローしない。
また、ＭＰＥＧは、ある程度のビット数を上回るユニット（マクロブロック）の頻出を許可しない（ISO/IEC 13818-2のテーブル８−６を参照のこと）。これも同様に監視、制御されるべきである。
３）内容適応的量子化
画像の異なる部分の局所的な複雑さの変化を反映するため、ユニット毎の局所的な複雑さ測定規準が計算される。一般に、測定規準はユニットの輝度ブロックのＡＣエネルギーから得られる。
獲得された複雑さの係数は、先に計算された量子化ステップサイズをある程度、例えば、０．５乃至２．０の範囲内の倍率で修正するため使用される。この最終的な（量子化スケールコードとして符号化された）量子化ステップサイズ情報は、先のユニット（マクロブロック）に対する量子化ステップサイズ情報と異なるときに限りビットストリームで伝送される。この目的は、フレーム内の主観的な品質が一様であるようにビットを分散させることである。人間の視覚系の特性を活用する別のスキームを適用してもよい。
好ましくは、制御レベル３）は、粗い量子化の場合にはビット生成の厳密な制御が行えなくなるので禁止される。
レベル１）のビット割付が成功した場合、レベル２）は主として、フレーム全体を通じて一定のバーチャルバッファ状態、即ち、一定量子化ステップサイズを維持すべきである。
しかし、ビット割付が失敗し、及び／又は、複雑さがフレーム内で非常に不均一に分散される場合があるので、実際上、上記の点は必ずしも完全に真ではない。
制御スキームの準最適性能の理由は、ステップ１）で計算された複雑さの値は所定の画像に対し一定ではなく、容易にモデル化できない形で量子化ステップサイズに依存することである。これは１２個の異なるシーケンスのＩフレームについて量子化ステップサイズＱに対する複雑さＸを表す、図６に示されている。自然な画像シーケンスを符号化するとき、たとえ、シーンが完全に時間的に一様であるとしても、後続のＰフレームに対するビット割付にある程度の振動が観察される。適用された量子化ステップサイズとは関係がない複雑さの測定規準が使用される場合、この挙動は回避される利点がある。
可変ビットレートアプリケーションの場合、エンコーダ及びデコーダのバッファから始めて以下の点を更に考慮する必要がある。
上記の如く、物理バッファは可変ビットレートの場合でも有利である。その理由は、他のフレームタイプよりも膨大な量のビットがＩフレームによって生成されるからである。例えば、５Ｍｂｉｔ／ｓの固定ビットレートを用いて合理的な品質で標準的なＴＶ画像（ＣＣＩＲ  ６０１解像度）を符号化するとき、“瞬時データレート”が（フレームによって発生されたビット）／（１フレーム期間）により定義される場合に、Ｉフレーム用の典型的な瞬時データレートは、１５Ｍｂｉｔ／ｓよりも高くなり得る。
記憶装置のピークデータレートがこの値よりも低い限り、バッファは、固定ビットレート符号化よりも高い品質を得ることができなければならない。メインプロファイル＠メインプロファイル（Ｍａｉｎ  Ｐｒｏｆｉｌｅ  ＠  Ｍａｉｎ  Ｐｒｏｆｉｌｅ）に対する１．７５Ｍｂｉｔ／ｓのＶＢＶバッファサイズは、例えば、初期に空のバッファを想定するのに充分である４５Ｍｂｉｔ／ｓにピーク瞬時データレートを制限する。
エンコーダバッファの可変ビットレート出力及びデコーダバッファの可変ビットレート入力は、漏出しやすいバケツとしてモデル化することができる。データは、常にチャネルのピークレートで漏出する。データはデータがエンコーダバッファ内にある限りエンコーダバッファから漏出し、そのデータはデコーダバッファが一杯ではない限りデコーダバッファに漏入する。
制御目的のため、物理的バッファ状態は１フレーム（フィールド）期間毎に１回だけ監視することができる。しかし、これは、サイズのバッファ部分［（ピークデータレート）／（フレーム期間）］が、フレーム期間中に起こり得る一様ではないビット生成に対処する必要があることを意味する。ユニット毎（マクロブロック毎）に基づくバッファ制御はこの状況を回避するため使用され得る点が有利である。
可変ビットレート制御は以下の目標に到達する必要がある。
始めに仮定されたように、可変ビットレートエンコーダ制御は、記憶媒体上の記録の全区間に亘って品質を一致させることを目標とすべきである。特に、ビットは、付加的（視覚的）な品質の利益が期待できない限り使われるべきではない。レート制御の点から、２通りのシナリオを区別することができる。
シナリオ１）ビデオの最大区間を所定の容量の記憶媒体に合わせる：
十分な品質は制御ステップ２）から量子化ステップサイズを適当な値に設定することによりアプリケーション設計者によって選択され得る。ステップ３）の内容適応的量子化は、各フレーム内で主観的品質の調和を扱うので、依然として行われるべきである。実際上、この領域における改良は、人の観察者によるアーティファクト可視性をよりよく反映する視覚モデルが使用される場合に可能である。
レート制御はエンコーダバッファのオーバーフローを防止するためにのみ必要である。可変チャネルデータレートは一時的に零にすることが許可されるので、オーバーフローは可変ビットレートアプリケーションでは発生しない。
シナリオ１ａ）保証されたビデオの最小区間：
以下のシナリオ２）に記載されるようなレート制御を用いて、媒体上の最小記録区間を保証することが可能になる。ビデオの複雑さに依存して、記録区間はこの最小値よりも大きくしてもよい。
シナリオ２）所定の容量の媒体上に所定区間のビデオを合わせる：
ビデオ題材を通じて複雑さの分布が先験的に解析されていない場合を想定する。量子化ステップサイズとは無関係であり、かつ、合理的な低コストのエンコーダから入手可能な変数から導き出すことができる利用可能な複雑さの測定規準が存在しない限り、その区間を通じてビデオ品質を一致させる制御解決法はある種の発見的であって最適ではない方法を使用する必要がある。
可変ビットレート制御アプローチの基本的な考え方は、始めからビットレートが変化する非常にゆるい制御を有し、一方、記憶媒体の容量の端に達したとき、又は、予め選択された最小ビットが符号化されるべき画像題材の残りの区間を通じて保証できないようなとき、制御がきつくなることである。
しかし、このアプローチでは、制御の始めを特別に扱うことにより一定の品質を示すことができるが、制御の終わりに向かって品質の低下する可能性がある固定レートが実施されることに注意する必要がある。
この欠点は、記録の終わりに向けて使用される固定ビットレートＲeが記録全体の平均ビットレートＲavgよりも高く選択される場合、ある程度緩和することができる点が有利である。平均ビットレートは、
Ｒavg＝Ｂ／Ｔ    （８）
によって計算することができ、式中、Ｂは総記憶媒体容量であり、Ｔはビデオ題材区間である。
このビットレートＲeは、記録の最初の部分の品質が固定ビットレート符号化によって全体を記録した場合よりも優れている状態を維持されつつ、終わりの方の殆どのビデオ内容が許容可能な品質を示すように選択される方が有利である。
上記の説明から分かるように、各種の記録に対し、未知変数は符号化の開始時の量子化ステップサイズと、終わりの方の固定ビットレートＲeである。残念ながら、ビデオの複雑さに関する知識がない場合、所定の量子化ステップサイズでのビット生成を評価することは困難であるので、最初に使用する適切な量子化ステップサイズを見つけることは容易に実現できない。
また、全ての時間に物理的バッファ使用量を監視し、一定の量子化から固定レート動作へ移行させる制御スキームを構築することは難しい。この移行は、時点ｔまでに生成されたビットの量と、未だ符号化されるべき区間とに依存する。初期に著しく多量のビットが生成され、残りの区間が短い場合、きついレート制御が必要であることを意味する。
従って、以下の修正レート制御スキームが提案される。
全記録に亘ってビットレートを制御し続けることが好ましい。非常にゆるい制御（＝非常に大きいバーチャルバッファ）を有し、かつ、始めの１ＧＯＰ当たりの一定ビットバジェットＢG（ｇ）を除去することにより、瞬時ビットレート（即ち、準固定量子化ステップサイズ）のかなり大きい変動を許容することが可能になるので、少なくともシーン変化及び数秒の区間の異なるシーンは、このゆるい制御による恩恵をうける。
第１に、記録の最初及び最後における平均ビットレートの合理的な値を定義する必要がある。この記録の平均ビットレートが式（８）に従って計算されたＲavgであるとすると、画像シーケンス全体が時間的に一定の複雑さを有する場合、平均ビットレートの０．９５倍のビットレートは最悪の場合に無視可能な損失を生じ、一方、最後で平均ビットレートの１．５倍のビットレートは、偶然最後に発生した略最悪の場合の画像内容を十分に適切に符号化し得ることを考慮して、例えば、
Ｒstart＝０．９５＊Ｒavg    （９ａ）
Ｒend＝１．５＊Ｒavg    （９ｂ）
とするのが有利である。
全時間に亘って（ＲstartからＲendまで直線的に移行する場合）、Ｒavgは、
Ｒavg＝Ｒstart＊τ1＋０．５＊（Ｒstart＋Ｒend）＊τ2＋Ｒend＊τ3    （１０ａ）
により構成されると考えられ、但し、時間間隔τ1、τ2及びτ3は、
τ1＋τ2＋τ3＝１（記憶媒体の総時間）    （１０ｂ）
として正規化される。
上記の仮定の場合、もう一つのパラメータを選択する必要がある。τ3を０．０１に設定することは、ビット生成全体の精密な制御が非常に短い時間に再確立され得ることを表す。例えば、１時間のビデオ区間Ｔの場合、τ3＊Ｔ＝３６秒に対応する。τ3は全体的なビット数適応期間であるとみなし得る。式（９ａ）乃至（１０ｂ）を解くことにより、
τ1＝０．７９かつτ2＝０．２０
が得られる。
上記の数値を用いる場合、ゆるい制御は記録時間の約７９％の区間で行われ、一方、移行フェーズは総時間の約２０％で生じる。ゆるい制御の時間の割合が増加した別の移行特性を実現することが可能である。
レート制御の時間的変動パラメータは以下の式を用いて記述される。
0004273207.tif 000003
時点τ1とτ2の間にαに関する別の移行特性を実現することが可能である。
レート制御のステップ１）で使用されるビットレートは、
Ｒ（τ）＝（１−α）＊Ｒstart＋α・Ｒend    （１２）
である。
バーチャルバッファサイズＶco、ｃ＝ｉ，ｐ，ｂは、以下の通り修正する方が有利である。
Ｖc（τ）＝（（１−α）＊Ｖhuge＋α））＊Ｖco    （１３）
例えば、Ｖhuge＝１００のサイズを増加させてもよい。非常に遅い反応に対応するこの巨大なバーチャルバッファは、複雑な画像題材の短い時間間隔を意図している。しかし、長い複雑な部分に続くビデオの複雑ではない部分は、非常に粗い量子化ステップサイズで符号化できることは望ましくない。従って、ビット生成（＝バーチャルバッファ状態）が予測以上に減少する場合、即ち、目標よりも低下する場合に、上記のより迅速な反応パラメータの考え方を使用する必要がある。このパラメータＶｄcは、
Ｖｄc（τ）＝（（１−α）＊Ｖｄhuge＋α））＊Ｖｄco    （１４）
に従って時間的に変動するが、この場合、全区間に亘って拘束反応が望ましいので、初期推測値としてＶｄhuge＝１が推奨される。
ビットバジェットＢF（ｎ）の再補充は１ＧＯＰにつき１回以上行われる。フレームｎについての再補充は、
ＢF（ｎ）＝ＢF（ｎ−１）＋（１−α）＊Ｒ（τ）／（フレームレート）
ＧＯＰ  ｇについての再補充は、
ＢF（ｎ＝０）＝ＢG（ｇ）＝α＊Ｒ（τ）＊（１ＧＯＰ当たりのフレーム）／（フレームレート）＋ＢG（ｇ−１）
である。
これらは、以下に説明するようにエンコーダバッファ、即ち、漏れやすいバケツとしてのＶＢＶを空にすることとは別に、本明細書の最初のパラグラフで説明したように固定ビットレート制御に対してなされるべき唯一の変更であり得る。
原則として、本発明のディジタルビデオデータを符号化する方法は、所定のデータ記憶容量を有し、可変的な瞬時記憶ビットレートを許容するメモリ又は記録手段上の記憶に適当であり、
−上記記憶容量の前半部分に対し、データは、平均ビットレートよりも僅かに低いビットレートと、平均ビットレート制御よりも著しくゆるい制御とを用いて符号化され、
−上記記憶容量の後半部分に対し、データは、平均ビットレートよりも高いビットレートと、きついビットレート制御とを用いて符号化される。
原則として、本発明の方法は、所定データ記憶容量を有し、復号化バッファ手段への可変的な瞬時読み出しビットレートを許容するメモリ又は記録手段に記憶されたディジタルビデオデータの復号化に適当であり、
−上記記憶容量の前半部分の間に、データは、平均デコーダバッファ手段入力ビットレートよりも僅かに低いビットレートと、平均許容可能バッファ使用量レベル変動よりも著しく高いレベル変動とを用いて復号化され、
−上記記憶容量の後半部分の間に、データは、平均デコーダバッファ手段入力ビットレートよりも高いビットレートと、平均許容可能バッファ使用量レベル変動よりも低いレベル変動とを用いて復号化される。
本発明の方法の有利な更なる実施例は夫々の従属請求項に記載されている。
原則として、本発明の装置は、所定のデータ記憶容量を有し、可変的な瞬時記憶ビットレートを許容するメモリ又は記録手段上の記憶用のディジタルビデオデータの符号化に適当であり、
離散コサイン変換手段と、量子化手段と、逆量子化手段と、逆離散コサイン変換手段と、画像記憶手段と、符号化された出力信号を送出し上記量子化手段の出力に接続されたエントロピー符号化手段とを含む符号化ループを使用し、
上記量子化手段、上記逆量子化手段及び上記エントロピー符号化手段は、
−上記記憶容量の前半部分に対し、データは、平均ビットレートよりも僅かに低いビットレートと、平均ビットレート制御よりも著しくゆるい制御とを用いて符号化され、
−上記記憶容量の後半部分に対し、データは平均ビットレートよりも高いビットレートと、きついビットレート制御とを用いて符号化されるように、制御される。
原則として本発明の装置は、所定のデータ記憶容量を有し、復号化バッファ手段への可変的な瞬時読み出しビットレートを許容するメモリ又は記録手段に記憶されたディジタルビデオデータの復号化に適当であり、
エントロピー復号化手段と、逆量子化手段と、逆離散コサイン変換手段と、画像記憶手段に供給される復号化された出力信号を送出する加算手段とを含み、上記画像記憶手段の出力信号は上記加算手段の第２の入力に供給される回路を使用し、
上記復号化バッファ手段は、
−上記記憶容量の前半部分の間に、データは、平均デコーダバッファ手段入力ビットレートよりも僅かに低いビットレートと、平均許容可能バッファ使用量レベル変動よりも著しく高いレベル変動とを用いて復号化され、
−上記記憶容量の後半部分の間に、データは、平均デコーダバッファ手段入力ビットレートよりも高いビットレートと、平均許容可能バッファ使用量レベル変動よりも低いレベル変動とを用いて復号化されるように制御される。
本発明の装置の有利な更なる実施例は夫々の従属請求項に記載されている。
原則として、本発明のディジタルビデオ信号は、所定のデータ記憶容量を有し、可変的な瞬時記憶ビットレートを許容するメモリ及び記録手段上の記憶に適当であり、
−上記記憶容量の前半部分に対し、上記信号は、平均ビットレートよりも僅かに低いビットレートと、平均ビットレート制御よりも著しくゆるい制御とを用いて符号化され、
−上記記憶容量の後半部分に対し、上記信号は、平均ビットレートよりも高いビットレートと、きついビットレート制御とを用いて符号化される。
好ましくは、本発明のディジタルビデオ信号は、ＭＰＥＧ２若しくはＭＰＥＧ１、又は、Ｈ２６１に準拠して符号化されたビデオ信号である。
本発明の記憶媒体、特に、光ディスクは、本発明のディジタルビデオ信号を格納するか、又は、本発明のディジタルビデオ信号が記録されている。
図面の説明
以下、添付図面を参照して本発明の好ましい実施例を説明する。
図面中、
図１は固定ビットレートシステムを表し、
図２は可変ビットレートシステムを表し、
図３はＭＰＥＧエンコーダの基本的なブロック図であり、
図４はＭＰＥＧデコーダの基本的なブロック図であり、
図５は制御ループの構造を示す図であり、
図６は量子化ステップサイズに対する複雑さの関数の例を表わす図である。
好ましい実施例の説明
固定ビットレート又は可変ビットレートアプリケーションにおいて、ＭＰＥＧ２エンコーダＭＥＮＣは、エンコーダバッファＥＮＣＢに中間的に記憶される可変ビットレートデータＶＢＲＤを生成する。このバッファの使用量レベルはＭＰＥＧ２エンコーダＭＥＮＣの符号化処理を制御するため使用され得る。受信側で、デコーダバッファＤＥＣＢに中間的に記憶された可変ビットレートデータＶＢＲＤは、ＭＰＥＧ２デコーダＭＤＥＣに供給される。デコーダバッファＤＥＣＢからの可変ビットレートデータＶＢＲＤの読み出しはＭＰＥＧ２デコーダＭＤＥＣによって制御される。
図１において、エンコーダバッファＥＮＣＢは固定ビットレートデータストリームＣＢＲをデコーダバッファＤＥＣＢに送出する。しかし、図２では、エンコーダバッファＥＮＣＢは可変ビットレートデータストリームＶＢＲをデコーダバッファＤＥＣＢに送出する。
図３において、エンコーダビデオデータ入力信号ＩＥは、符号化されるべきマクロブロックデータを含む。イントラフレームデータの場合、減算器ＳＵＢは、離散コサイン変換計算手段ＤＣＴと量子化手段Ｑを介して、エンコーダバッファを含むエントロピー符号化手段ＥＣＯＤに上記イントラフレームデータをそのまま伝達する。エントロピー符号化手段ＥＣＯＤはエンコーダビデオデータ出力信号ＯＥを送出する。
インターフレームデータの場合、減算器ＳＵＢは、入力信号から予測マクロブロックデータＰＭＤを減算し、離散コサイン変換計算手段ＤＥＣと量子化手段Ｑを介して、エントロピー符号化手段ＥＣＯＤに差データを伝達する。量子化手段Ｑの出力信号は、逆量子化手段Ｑ-1Eにも供給され、逆量子化手段Ｑ-1Eの出力信号は、逆離散コサイン変換計算手段ＤＣＴ-1Eを介して、再生マクロブロック差データＲＭＤＤの形で加算器ＡＤＤＥに伝達される。加算器ＡＤＤＥの出力信号はフレームストア及び動き補償手段ＦＳ＿ＭＣ＿Ｅに中間的に記憶され、動き補償手段ＦＳ＿ＭＣ＿Ｅは再生マクロブロックデータＲＭＤＤに基づいて動き補償を行い、予測マクロブロックデータＰＭＤを減算器ＳＵＢ及び加算器ＡＤＤＥの別の入力に送出する。
量子化手段Ｑ、逆量子化手段Ｑ-1E及びエントロピー符号化手段ＥＣＯＤは、上記の本発明の方法に従ってエンコーダバッファの使用量レベルによって制御される。また、動き補償手段ＦＳ＿ＭＣ＿Ｅは動き補償を行わない場合もあり得る。
記憶媒体への可変ビットレート出力は、エンコーダバッファから利用可能なデータが存在する場合に、最大可能ビットレートを用いて行うことが可能であり、さもなければ、停止することが可能である。
図４において、デコーダビデオデータ入力信号ＩＤは、デコーダバッファを含むエントロピー復号化手段ＥＤＥＣと、逆量子化手段Ｑ-1Dと、逆離散コサイン変換計算手段ＤＣＴ-1Dとを介して、デコーダビデオデータ出力信号ＯＤを送出する加算器ＡＤＤＤに伝達される。加算器ＡＤＤＤの出力信号は、フレームストアに供給され、動き補償手段ＦＳ＿ＭＣ＿Ｄは再生マクロブロックデータに基づいて動き補償を行い、インターフレームマクロブロックデータの場合に、予測マクロブロックデータＰＭＤを加算器ＡＤＤＤの他方の入力に送出する。イントラフレームマクロブロックデータの場合、加算器ＡＤＤＤは、逆離散コサイン変換計算手段ＤＣＴ-1Dの出力信号をそのまま伝達する。
デコーダ側の逆量子化手段Ｑ-1D及びエントロピー復号化手段ＥＤＥＣは、エンコーダ側の逆量子化手段Ｑ-1E及びエントロピー符号化手段ＥＣＯＤに対する制御と同様の制御に従って制御される。通常、デコーダ側の動き補償手段ＦＳ＿ＭＣ＿Ｄにおいて、エンコーダ側の動き補償手段ＦＳ＿ＭＣ＿Ｅで使用された動きベクトル情報と同じものが使用される。また、デコーダ側の動き補償手段ＦＳ＿ＭＣ＿Ｄは動き補償を行わなくてもよい。
例えば、シーン変化及び複雑なシーン内容の場合のように、高ビットレート要求の状況に対処するため、デコーダバッファは、好ましくは最大可能ビットレートを用いて記憶媒体から補充される。これは、一般的に、デコーダバッファが一杯ではない場合に行われ、デコーダバッファが一杯である場合には、記憶媒体からのデータはデコーダバッファに記憶されない。代替として、デコーダバッファは、データをメモリ又は記録手段に記憶する際の夫々のビットレートに対応したビットレートで補充してもよい。何れの場合も、デコーダバッファからの読み出しビットレートは符号化する際のビットレートと対応し、即ち、許容され、かつ、場合によっては実際に生ずる平均バッファ使用量レベル変動は、総容量の前半部分（≒８０％）の方で大きく、総容量の後半部分（≒２０％）の方で小さい。“平均許容可能バッファ使用量レベル変動”は、一部のＧＯＰの長さに関する変動を意味する。
本発明は、ビデオデータを記録するため所定の容量を使用するＤＶＤ、他の光学式、光磁気式若しくは光磁性式ディスク、電子式若しくは光学式ＲＡＭ又はＲＯＭ、及び、磁気テープシステムのようなあらゆる手段で使用することができる。
本発明は、ＭＰＥＧ２エンコーダ及びデコーダに限定されることはなく、ＭＰＥＧ１（ISO/IEC 11172-2）、Ｈ２６１（ISO/IEC）、並びに、例えば、標準ＴＶ、ＨＤＴＶ及びテレビ電話アプリケーションにおける他の符号化及び復号化方式と共に使用することが可能である。
【図１】
0004273207.tif 000004
【図２】
0004273207.tif 000005
【図３】
0004273207.tif 000006
【図４】
0004273207.tif 000007
【図５】
0004273207.tif 000008
【図６】
0004273207.tif 000009