(57)【特許請求の範囲】
【請求項１】
可変ビットレートビデオ符号化方法において、
以下の一対の工程（ａ）及び（ｂ）が符号化する一連の画像について複数回実行され、
工程（ａ）は、前記一連の画像が一定の量子化ステップサイズを用いて符号化されることにより、特定の目標の平均ビットレートを必ずしも達成していないビットストリームを発生する分析工程であり、
工程（ｂ）は、前記分析工程に基づいて前記ビットストリームが前記特定の目標の平均ビットレートに達成可能となるのに必要な量子化ステップサイズを予測することにより、それぞれの予測ビットレートが前記一連の画像におけるそれぞれの画像に適用される予測工程であり、この予測工程が新たな分析工程により後続される場合、予測された前記量子化ステップサイズは、前記新たな分析工程で用いられる前記一定の量子化ステップサイズを構成する予測工程であり、
前記一対の工程（ａ）及び（ｂ）が最後に実行されたときに、
（ｃ）この最終制御工程まで符号化したそれぞれの画像におけるそれぞれのビットレートを累積した合計値と、これまで符号化したそれぞれの画像に適用する前記それぞれの予測ビットレートを累積した合計値との間の差に基づいて、前記量子化ステップサイズの最終的な予測値を画像ごとに整合させる最終制御工程を具えることを特徴とする可変ビットレートビデオ符号化方法。
【請求項２】
可変ビットレートビデオ符号化装置において、
（ｉ）少なくとも量子化回路と可変長回路とを直列に含む符号化ブランチと、
（ｉｉ）前記量子化回路の出力側に少なくとも逆量子化回路と、以前に符号化した画像に動き補償を適用することによって、符号化する画像の予測値を提供する予測サブシステムとを直列に含み、且つ、当該符号化する画像と前記予測値を受信して、前記符号化ブランチによって符号化するための予測誤差を提供する差分器を含む、予測ブランチと、
（ｉｉｉ）前記可変ビットレートビデオ符号化装置に対して、符号化する一連の画像について以下の一対の動作（ａ）及び（ｂ）を複数回実行させる制御回路とを具え、
動作（ａ）は、前記符号化ブランチと前記予測ブランチによって前記一連の画像を一定の量子化ステップサイズを用いて符号化することにより、特定の目標の平均ビットレートを必ずしも達成していないビットストリームを発生する符号化動作であり、
動作（ｂ）は、前記符号化動作を用いて前記ビットストリームが前記特定の目標の平均ビットレートに達成可能となるのに必要な量子化ステップサイズを推定することにより、それぞれの予測ビットレートが前記一連の画像におけるそれぞれの画像に適用される予測動作であり、この予測動作が新たな符号化動作により後続される場合、予測された前記量子化ステップサイズは、前記新たな符号化動作で用いられる前記一定の量子化ステップサイズを構成する予測動作であり、
前記一対の動作（ａ）及び（ｂ）が最後に実行されたときに、前記制御回路は、
この最終制御動作まで符号化したそれぞれの画像におけるそれぞれのビットレートを累積した合計値と、これまで符号化したそれぞれの画像に適用する前記それぞれの予測ビットレートを累積した合計値との間の差に基づいて、前記量子化ステップサイズの最終的な予測値を画像ごとに整合させる最終制御動作を実行するように構成される可変ビットレートビデオ符号化装置。
【発明の詳細な説明】
本発明は、可変ビットレートビテオ符号化方法及びこの方法を実施することができる対応するビデオ符号化装置に関するものである。
文献「ＭＰＥＧ  Ｖｉｄｅｏ  ｃｏｄｉｎｇ：ｂａｓｉｃ  ｔｕｔｏｒｉａｌ  ｉｎｔｒｏｄｕｃｔｉｏｎ」Ｓ．Ｒ．Ｅｌｙ，ＢＢＣ  Ｒｅｓｅａｒｃｈ  ａｎｄ  Ｒｅｐｏｒｔ，ＢＢＣ−ＲＤ−１９９６／３，ｐｐ１−１０に記載されているように、ＭＰＥＧの活動は１９８８年にビデオ信号及びオーディオ信号のディジタル圧縮のための標準を規定する目的で開始された。最初の目的は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｃ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）のようなディジタル記録媒体のためのビテオアルゴリズムを規定することであったが、得られた標準は対話型ＣＤシステム（ＣＤ−Ｉ）にも適用された。画像データを１〜１５Ｍビット／ｓのビットレートの範囲で伝送及び記録できることにより、この標準は、ブロックベース動き補償を用いることにより達成され時間冗長を短くするためのデータ圧縮及び空間冗長を短くする離散的なコサイン変換（ＤＣＴ）に基づいている。
ＣＤ−１及びＣＤ−ＲＯＭのような通常のＣＤ標準を用いる場合、伝送ビットレートは固定され、従って画像は一定のビットレートで符号化することができる。Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ（ＤＶＤ）のような新しい標準はデータを可変ビットレート（ＶＢＲ）で伝送することができ、一定の品質を維持するため複雑な画像を少ない情報を含む画像よりも一層高いビットレートで符号化することができる。
本発明の目的は、所定の全ビットバジェットの制約のもとで（すなわち、予め定めた目標ビットレートに基づき）、この符号化されたシーケンスについての一定の品質を得ることができるＶＢＲビデオ符号化方法を提案することにある。
この目的を達成するため、本発明は、（ａ）一連の画像を一定の量子化ステップサイズを用いて符号化することにより、特定の目標の平均ビットレートを必ずしも達成していないビットストリームを発生する分析工程と、
（ｂ）前記分析工程に基づいて前記ビットストリームが前記特定の目標のビットレートに達成可能となるのに必要な量子化ステップサイズを予測する予測工程と、
（ｃ）前記分析工程及び予測工程を少なくとも１回繰り返すことにより、前記量子化ステップサイズの一層精密な推定値と、前記一連の画像におけるそれぞれの画像のそれぞれの予測ビットレートとを求める工程と、
（ｄ）符号化したそれぞれの画像における前記予測ビットレートを累積したこの最終制御時に用いる合計値と、符号化したそれぞれの画像に対する前記予測ビットレートを累積した前回の合計値との間の差に基づいて、前記量子化ステップサイズの最終的な推定値を画像ごとに整合させる最終制御工程とを具えることを特徴とするＶＢＲ可変ビットレート符号化方法に関連する。
本発明の別の目的は、前記符号化方法を実施するように構成したＶＢＲビデオ符号化装置を提案することにある。
この目的を達成するため、本発明は、（ａ）少なくとも量子化回路と可変長回路とを直列に含む符号化ブランチと、
（ｂ）前記量子化回路の出力側に少なくとも逆量子化回路と、以前に符号化した画像に動き補償を適用することによって、符号化する画像の予測値を提供する予測サブシステムとを直列に含み、且つ、当該符号化する画像の信号と前記予測値を受信して、前記符号化ブランチによって符号化するための予測誤差を提供する差分器を含む、予測ブランチと、
（ｃ）前記符号化ブランチと前記予測ブランチによって一連の画像を一定の量子化ステップサイズを用いて符号化することにより、特定の目標の平均ビットレートを必ずしも達成していないビットストリームを発生する符号化処理部と、
前記符号化処理部によって前記ビットストリームが前記特定の目標のビットレートに達成可能となるのに必要な量子化ステップサイズを推定する予測処理部と、
前記符号化処理部及び予測処理部の処理を少なくとも１回繰り返すことにより、前記量子化ステップサイズの一層精密な推定値と、前記一連の画像におけるそれぞれの画像のそれぞれの予測ビットレートとを求める処理部と、
符号化したそれぞれの画像における前記予測ビットレートを累積したこの最終制御時に用いる合計値と、符号化したそれぞれの画像に対する前記予測ビットレートを累積した前回の合計値との間の差に基づいて、前記量子化ステップサイズの最終的な推定値を画像ごとに整合させる最終制御処理部とを具える可変ビットレートビデオ符号化装置に関係する。
本発明の利点を以下の説明及び添付図面に基づいて説明する。
本発明による符号化方法を説明する前に、ＭＰＥＧ−２標準の基本原理を復習することにする。広い範囲にわたる可能性のある用途について適用されるように意図されたこの標準の多能性は、これらの用途について全ての要件に適合できるプロファイル及びレベルを規定することにより得られる。プロファイルは所定のクラスの用途により必要とされる特徴的事項だけをサポートするように意図したＭＰＥＧ−２標準サブセットであり、レベルはビットストリームのパラメータに課せられる一組の制約を規定する。
３個の成分（Ｙ，Ｕ，Ｖ）から成るカラー画像に適用されるＭＰＥＧ−２圧縮の基本工程は、輝度及び色差から構成される小さなサブセクションすなわちマクロブロックに分割されるフレームに関連する。これらの工程は、動き推定及び圧縮（１６画素×１６ラインのマクロブロックに基づく）、離散的なコサイン変換（８画素×８ラインのブロックに基づく）及びランレングス符号化である。
３種類の画像又はピクチャを規定する。イントラ画像（すなわちＩピクチャ）は他の画像を参照することなく符号化され、予測画像（すなわちＰピクチャ）は動き補償された予測法を用いて過去のＩ又はＰ画像から符号化され、双方向予測画像（すなわちＢ画像）は動き補償のために過去及び将来のＩ又はＰ画像を用いる。動き情報はブロックマッチング探索（符号化装置において多数のトライアルオフセットを試験し、符号化されているブロックと予測との間の最小誤差測定に基づいて最良のトライアルオフセットを選択する）を実施することにより得られる動きベクトルの形態として与えられる。
動きベクトルに基づきいかにしてＰ及びＢピクチャが規定されるかを図示する図１に示すように、種々のピクチャは、ピクチャ群すなわちＧＯＰと称されＩピクチャ及び次のＩピクチャが発生するまで続く全てのピクチャから成る繰り返しシーケンスにおいて典型的に発生する。典型的なＧＯＰを図２（黒の矢印は前方向予測に対応し白の矢印は後方向予測に対応し、これらのシーケンス及び予測は周期的に繰り返される）において表示順序として示し、図３（Ｐ４、Ｐ７、Ｉ１０、Ｐ13は再順序付けられたフレームを指定する）において伝送順序として示し、これらの順序はデコーディング側において相違し将来のピクチャから後方向予測を行うことができる。規則的なＧＯＰは２個のパラメータＮ及びＭを用いて説明することができる。図２に示すように、ＧＯＰのサイズとして規定されるパラメータＮはこのＧＯＰのピクチャの数、すなわち２個のＩピクチャ間のピクチャの数に１をたした数である。パラメータＭはＰピクチャ間の間隔、すなわち互いに隣接するＢピクチャの数に１をたした数（同一である）である。図１〜３の図示の例において、Ｍ＝３でＮ＝９である。明らかに別の組合せも可能である。
ピクチャ表示順序Ｎ  Ｍ  ＩＰＰＰＰＰＩＰＰ....................６......１ＩＢＰＢＰＢＰＢＩ....................８......２  ＩＢＢＰＢＢＰＢＢＰＢＢＩＢＢＰ....１２......３Ｎ及びＭは互いに個別に選択する。
マクロブロックの種類についての判定を行った後、オリジナルのマクロブロックから推定したマクロブロックを減算することにより関連するマクロブロックの各画素についての予測誤差が得られる。次に、予測誤差について８×８の画素毎にＤＣＴを行い（つまり、各マクロブロックについて６個のＤＣＴ変換を、すなわち輝度成分については４個のＤＣＴ変換を行い色差成分については２個のＤＣＴ変換を行う）、このようにして得られた周波数成分を量子化する。量子化のステップサイズはビットレート及びデコードされた画像の歪みを決定する。この量子化が粗い場合画像を符号化するために数個のビットが必要となるが最終品質は低くなり、量子化のステップサイズが微細な場合画像を符号化するために多数のビットが必要となるがその品質は高くなる。人間の目は低い周波数よりも高い周波数に対して感度が低いため、高い周波数成分に対しては粗い量子化装置が有益である（実際に、周波数に依存する量子化を達成するため、重み付けマトリックスを基本マクロブロック量子化パラメータに適用し、重み付けされた量子化の後、多数の係数特に高周波数における係数を０に等しくする）。
次に、各ブロックをジッグザッグスキャンし、得られたリストを符号化する。
ランレングス符号化は対（Ａ，ＮＺ）を決定することにより行われ、ここでＡは連続する０の数（０から６３）を表し、ＮＺは後続する０でない係数の振幅を表す。
次に、この対の発生頻度に応じて、この対（Ａ，ＮＺ）に可変長符号を割り当てる（通常の頻度の組合せ（Ａ，ＮＺ）については短い可変長符号が割り当てられ、低い頻度の対には長い可変長符号を割り当てる）。
上述した機能は、例えば文献「Ｈｙｂｒｉｄ  ｅｘｔｅｎｄｅｄ  ＭＰＥＧ  ｖｉｄｅｏ  ｃｏｄｉｎｇ  ａｌｇｏｒｉｔｈｍ  ｆｏｒ  ｇｅｎｅｒａｌ  ｖｉｄｅｏ  ａｐｐｌｉｃａｔｉｏｎｓ」Ｃ．Ｔ．Ｃｈｅｎ等，Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ：Ｉｍａｇｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ５（１９９３），ｐｐ２１〜３７，ｐａｒｔ2.4に要約されており、この文献は一般化されたＭＰＥＧ−２符号化装置のスキムを含んでいる。ここで提案するＶＢＲ符号化方法の目的は、最終的なビットストリームのサイズがＤＶＤのような固定された容量を有する記録媒体に正確に整合することを保証することにある。この方法の線図を図４に示し、この方法を実施することができるビデオコーダのアーキテクチャを図５に示す。
この符号化方法は３個の工程４１、４２及び４３に分割される。第１の工程４１は分析工程であり、一定の量子化ステップサイズＱcを用いて（従って、一定の品質を以て）一連の画像を符号化する。この工程の最後において、規則的なＭＰＥＧ−２に従うビットストリームを発生させるが、このようにして処理されるシーケンス全体の平均ビットレート（すなわち、このシーケンスの符号化されたビットの全数のこのシーケンス中の画像の全数で割った商）はこの工程の最後に至るまで未知であり、このビットストリームの特有のサイズに必要な条件（制約）を満たしていない。
第２の工程４２は予測工程であり、特定された目標ビットレートに基づいてビットストリームを符号化するために用いる必要のある量子化ステップサイズＱを予測するように意図されている。この予測工程が終了すると、Ｑについてのより正確な推定を得るために必要な回数だけ（一方、良好な予測は数回例えば２回繰り返すことにより一般的に得られる）分析工程４１を繰り返す（図４の矢印）。
この第２の工程の終了時に得られる量子化のステップサイズは推定された値だけであるので、各画像が上記予測値を用いて符号化されている場合全ビットバジェット（ｂｉｔ  ｂｕｄｇｅ）は正確に整合していない。
最後の工程は、全平均ビットレートに対する制約が厳密に見出されたことを保証するファイナルパス４３である。この最終的な出力ビットレートが所望のサイズを正確に有することを確実なものとするため、量子化ステップサイズ処理を実行する。この処理は、予測されたビットレートと実際のビットレートとの比較に基づく制御ループに基づいている。最終工程で各ピクチャを符号化した後、制御処理により用いたビットの全数と許容されているビットの全数とを比較する。予定した許容されているビットの全数よりもより多くのビットが用いられた場合、量子化ステップサイズを大きくし、後続するピクチャのビットレートを低減する。予定の許容されているビット数よりも少数のビットが用いられた場合、Ｑを小さくしてビットレートを増大し、全目標ビットレート全体に最終的に正確に整合させる。
上記ＶＢＲ符号化方法は図５の符号化装置により実施され、この符号化装置において各ブロックはコントローラ５５の監督のもとで実行される特定の機能に対応する。図示の符号化装置は直列に入力バッファ５１と、減算器５４９と、ＤＣＴ回路５２１と、量子化回路５２２と、可変長符号化回路５２３と、出力バッファ５２４とを具える。これらの回路５２１から５２４は符号化ブランチの主要な素子を構成し、この符号化フランチは、逆量子化回路５３１と、逆ＤＣＴ回路５３２と、予測サブシステムとを含む予測ブランチと関連する。この予測サブシステムはそれ自身加算器５４１と、バッファ５４２と、動き推定回路５４３（この推定はバッファ５１の出力部で発生した入力信号の分析に基づいて行われる）と、動き補償回路５４４（この回路の出力信号は加算器５４１の第２の入力部に送られる）と、減算器（バッファ５１の出力信号及び動き補償回路５４４の出力信号の両方を受信してその差を符号化ブランチに供給する）とを具える。
図示のコーダの出力はコントローラ５５に向けて送られ、このコントローラは最終工程４３を実施するために設けた制御ループを含む。この制御ループのＶＢＲコーダのファイナルパスを行うための主要な素子を図６に示す。既に説明したように、オペレータにより与えられた全目標ビットレートを正確に整合させるために、最終の符号化パス中において量子化のステップサイズを調整する必要がある。この制御ループは、このループの出力（すなわち、累積予測誤差）に因子ＫＰを乗算する第１の計算回路６１を具える。この因子ＫＰはそれ自身、重み付け因子Ｑint／ＡＰＧが乗算されている定数ＱＣl（オペレータにより選択される）に等しい。ここで、ＱintはＱの累積推定であり、ＡＰＧはＧＯＰ（Ｎ個のフレームの）についてのビットの全数である。
次に、加算器６３は、第１の計算回路６１の出力Ｑpropと、第２の計算回路６２の出力部で利用可能になる信号Ｑintとを加算する。変換回路６４は、上記回路６４に記憶されている（加算器６３の出力部における量子化因子ＱＩとＲとの間の）関係Ｒ＝ｆi（Ｑ）に基づいて、全ての先行するフレームについての累積的なビットレートを与える。このようにして得た累積的なビットレートを、比較器６５において、この比較器の第２の入力部で得られる累積的な予測ビットレートと比較し、この比較動作を用いて、回路６６で積分の後にＱを適切に修正する。
ここで提案したＶＢＲ符号化方法は以前のＶＢＲ符号化方法についての改良となる。この理由は、このＶＢＲ符号化方法はデコードされたシーケンスの品質についての一層良好な量子化が達成されるからである。従来のＶＢＲ符号化装置は量子化パラメータＱを調整すると共にフレームを符号化するので、予測されたビットレートは各ピクチャに対して整合する。つまり、従来のＶＢＲ符号化装置はフレーム内で量子化パラメータを変化させることを許容しており、ピクチャの空間的な一定の品質を達成することができない。この品質の変化は、フレームのビットレートが正しく予測され又は正しく予測されないかにかかわらず発生する。
ここで提案するＶＢＲ符号化装置の場合、Ｑはフレーム全体にわたって一定に維持され、ビデオシーケンスのいかなるピクチャの空間品質も変化しない。フレームビットレート及び量子化ステップサイズが正しく推定されれば、適合した量子化の前のＱ及び主観的な歪みはシーケンスの全てのマクロブロックについて正確に維持される。量子化ステップサイズ及びフレームビットレートだけが推定されるので、Ｑの変化つまりシーケンスの品質の変化はフレーム毎に発生するが、分析パスを２回通過した後にはフレームについて平均化されたＱの変化分はほぼ１％以下となる。
一定のイントラフレーム品質が達成されることとは別に、この新規なＶＢＲ方法の別の重要な概念について述べることができる。
分析パスの回数を増加することにより反復方法における量子化因子の予測を改良することができる。分析処理の後、所望の目標ビットレートからの変化分が大き過ぎる場合、以前の符号化パスからの結果を用いることにより量子化因子についての一層良好な推定を計算することができる。
この新規なＶＢＲ符号化方法はＱを予測するので、予測されたパスではなく別のフレーム順序を用いて行われる分析パスを利用することができる。これは古い方法を用いる場合不可能なことであり、これは新規な符号化の概念の重要な利点である。
最終パスにおいて、Ｑの変化分従って品質の変化分が受け入れられない程大きい場合、最終工程をＱ及び次のパスについてのビットレートの分析パスとして利用することができる。この構成を利用すれば、出力ビットストリームの特性がオペレータにより規定されたある限界内に位置するまで必要とされる多数回の符号化パスを実行する符号化装置を開発することができる。
制御ループが反復特性を有するので、短い項のビットレート予測誤差が互いにキャンセルされる。従って、システマティクなフレーム型依存性予測誤差がここで提案したＶＢＲ符号化装置の性能に重大な影響を与えることはない。
【図面の簡単な説明】
図１は、画像群の数個のピクチャを示し、
図２及び図３は、典型的な画像群についての画像の表示順序と伝送順序との間の差異を示し、
図４及び図５は、本発明による符号化方法の主要な工程及びこの方法を実施できるビデオ符号化装置の対応するアーキテクチャをそれぞれ示し、
図６は上記符号化方法の最終制御工程の実施に用いられる制御ループを示す。
【図１】
0004361613.tif 000002
【図２】
0004361613.tif 000003
【図３】
0004361613.tif 000004
【図４】
0004361613.tif 000005
【図６】
0004361613.tif 000006
【図５】
0004361613.tif 000007