(57)【要約】  ビデオストリーム中の連続するマクロブロックのレート変換が、ブロックのタイプに従って生じる。例えば、（インター）イントラ符号化マクロブロックは、マクロブロックを部分的に復号し、係数の量子化を上げることにより符号化された残差係数を変更する第１のアルゴリズムを用いて一般的にはレート変換されることになる。イントラ符号化マクロブロックは、まずマクロブロックを復号し、次に元の判定を用いてストリームを再符号化するためにそこから全ての主要な判定を導出するように動作する２つの技術を用いて一般にレート変換される。この方法でイントラ符号化マクロブロックとインター符号化マクロブロックを分けてレート変換することは、良好なビデオ品質を保ちつつ、単一のレート変換アルゴリズムを用いることと比べて計算の複雑性を減少する。【特許請求の範囲】
【請求項１】
マクロブロックのタイプを確立するために、連続するマクロブロック、および、前にレート変換された隣接するマクロブロックを分析するステップと、
前記マクロブロックのタイプに従って連続するマクロブロックをレート変換するステップと
を備えることを特徴とする方法。
【請求項２】
前記分析するステップは、イントラ符号化マクロブロックおよびインター符号化マクロブロックのうちの一つとして前記マクロブロックのタイプを定めることを備えることを特徴とする請求項１に記載の方法。
【請求項３】
インター符号化マクロブロックは、第１のレート変換技術に従ってレート変換を受けることを特徴とする請求項２に記載の方法。
【請求項４】
イントラ符号化マクロブロックは、第２のレート変換技術に従ってレート変換を受けることを特徴とする請求項２に記載の方法。
【請求項５】
前記第１のレート変換技術は、前記マクロブロックを部分的に復号して、係数の量子化を上げることによって符号化された残差係数を変更することを特徴とする請求項３に記載の方法。
【請求項６】
前記第２のレート変換技術は、前記マクロブロックを復号し、そして後続の再符号化のために前記復号したマクロブロックから判定を導出することを特徴とする請求項４に記載の方法。
【請求項７】
前記イントラ符号化マクロブロックは、予測情報が利用可能なままである限り前記第２の技術に従ってレート変換されることを特徴とする請求項４に記載の方法。
【請求項８】
前記イントラ符号化マクロブロックは、予測情報が存在しないときに前記第１の技術に従ってレート変換を受けることを特徴とする請求項７に記載の方法。
【請求項９】
マクロブロックのストリームを復号するデコーダと、
マクロブロックのタイプを確立するために、連続するマクロブロック、および、前にレート変換された隣のマクロブロックを分析して、前記マクロブロックのタイプに従って前記連続するマクロブロックをレート変換するマクロブロック分析器と、
レート変換に続いて前記連続するマクロブロックを符号化するエンコーダと
を備えることを特徴とする装置。
【請求項１０】
前記マクロブロック分析器は、イントラ符号化マクロブロックおよびインター符号化マクロブロックのうちの一つとして前記マクロブロックのタイプを定めることを特徴とする請求項１に記載の装置。
【請求項１１】
前記マクロブロック分析器は、第１のレート変換技術に従ってインター符号化マクロブロックをレート変換することを特徴とする請求項１０に記載の装置。
【請求項１２】
前記マクロブロック分析器は、第２のレート変換技術に従ってイントラ符号化マクロブロックをレート変換することを特徴とする請求項１０に記載の装置。
【請求項１３】
前記第１のレート変換技術は、前記マクロブロックを部分的に復号し、係数の量子化を上げることによって符号化された残差係数を変更することを特徴とする請求項１１に記載の装置。
【請求項１４】
前記第２のレート変換技術は、前記マクロブロックを復号し、そして後続の再符号化のために前記復号したマクロブロックから判定を導出することを特徴とする請求項１２に記載の装置。
【請求項１５】
前記マクロブロック分析器は、予測情報が利用可能なままである限り前記第２の技術に従ってイントラ予測マクロブロックをレート変換することを特徴とする請求項１２に記載の方法。
【請求項１６】
前記マクロブロック分析器は、予測情報が存在しないときに前記第１の技術に従ってイントラ符号化マクロブロックをレート変換することを特徴とする請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本願は、３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）に基づいて、２００７年１０月３１日に出願された米国仮特許出願第６０／８６３６４５号の優先権を主張し、該出願の教示は本明細書に組み込まれる。
【０００２】
本発明はビットストリームのビットレートを操る技術に関し、とりわけ、ビデオビットストリームのビットレートを操る技術に関する。
【背景技術】
【０００３】
レート変換アルゴリズムは、ときにレートシェーピングアルゴリズム（Rate-Shaping Algorithm）と称されており、圧縮デジタルビデオストリームのビットレートを所望の結果に操るリアルタイムアルゴリズムを構成する。レート変換（レートシェーピング）アルゴリズムは、テレビ放送業におけるアプリケーション内での使用が見受けられる。例えば、統計的ビデオマルチプレクサを使用して、複数の個々のビデオビットレートストリームを組み合わせ、それら全てを一定の帯域幅のチャンネル上に出力するとき、個々のストリームのビットレートは、それらの総量が所望の一定の帯域幅のレートを超えないようにレート変換を受ける。ＩＰＴＶ（Internet Protocol Television）の場合には、オペレーターは一般的に固定ビットレート（ＣＢＲ）の異なるストリームを各カスタマーに伝送する必要があり、典型的には流入するビットストリームにレート変換アルゴリズムを適用することによってなされる。
【０００４】
よく知られているＭＰＥＧ２（Motion Picture Experts Group 2）標準を用いて符号化されるビデオの場合、３つのタイプのレート変換アルゴリズムが存在し、以下、Ｔ１、Ｔ２、およびＴ３と称する。第１（Ｔ１）のレート変換アルゴリズムは、入力ビットストリームを部分的に復号し、符号化された残差係数のみをそれらの量子化係数を上げることによって変更する役割を果たす。第２（Ｔ２）のレート変換アルゴリズムは、最初に入力ストリームを復号して、次に入力ストリームから全ての主要な判定を導出し、元の判定を用いて入力ストリームを再符号化するように動作する。第３（Ｔ３）のアルゴリズムは、入力ストリームを復号し、その結果を出力ストリームに完全に再符号化する動作をする。
【０００５】
これらのアルゴリズムは、計算複雑性とビデオ品質とを様々な程度にトレードオフする。Ｔ１アルゴリズムは最も低い計算複雑性を与え、一方、Ｔ３アルゴリズムは最良の結果を提供するであろう。放送品質のビデオストリーム上で動作するときに、Ｔ２アルゴリズムはＴ３アルゴリズムとほぼ同程度に良いビデオ品質を提供する。Ｔ１アルゴリズムはＭＰＥＧ２で符号化されたビデオビットストリームに関して適切なビデオ品質を提供するけれども、このアルゴリズムは、Ｈ．２６４符号化標準を用いて符号化された入力ストリームに関しては受け入れがたい品質のビデオを生じる。
【０００６】
Ｔ２アルゴリズムを用いて提供されるような相対的に高品質のビデオを生じると同時に、一般的にＴ１アルゴリズムを超えない相対的に低い計算複雑性を負うことになるレート変換のシステムおよび方法を提供する必要がある。
【発明の概要】
【０００７】
簡潔に言えば、本方式の好適な実施形態に従って、ビットストリーム中の連続するマクロブロックのレート変換、すなわちビットレートを操作する方法が提供される。本方法は、マクロブロックのタイプを確立するために連続するマクロブロックおよび前にレート変換された隣接するマクロブロックの集まりを分析することにより始まる。連続するマクロブロックは、マクロブロックのタイプに従ってレート変換を受ける。例えば、イントラ符号化マクロブロックはＴ２アルゴリズムを用いて一般的にはレート変換されるが、一方、インター符号化ブロックはＴ１アルゴリズムを用いてレート変換される。この方法でインター符号化マクロブロックおよびイントラ符号化マクロブロックを別々にレート変換することは、単一のレート変換アルゴリズムを用いることに比べて、十分なビデオ品質を維持しつつ計算複雑性を減少する。
【図面の簡単な説明】
【０００８】
【図１】連続するマクロブロックをレート変換する本方式の好適な実施形態に従う装置のブロック図を示す。
【発明を実施するための形態】
【０００９】
本方式に従って、ビットストリーム、特にＨ．２６４標準により符号化されたビデオビットストリームの中の連続するマクロブロックをレート変換する技術が提供される。本方式のレート変換技術の議論を進める前に、Ｈ．２６４符号化標準の簡単な説明が役に立つであろう。
【００１０】
Ｈ．２６４符号化標準は、一組の進歩的なツールを用いて、低ビットレートで最良のビデオ品質を達成する先進的なビデオ圧縮標準を備える。Ｈ．２６４ビデオ圧縮標準に関連する複雑性のため（大部分、イントラマクロブロック圧縮間の空間依存により）、Ｔ１レート変換アルゴリズムはしばしば、とても低品質な結果を与えることになる。
【００１１】
Ｈ．２６４圧縮標準は、Ｔ１アルゴリズムの利用に従い、出力ビデオ品質に悪影響を及ぼす一定の機能を含む。より高い量子化による品質におけるマクロブロックの自己削減に加えて、Ｈ．２６４圧縮標準の機能は品質におけるドリフト（drift）を生じる。Ｈ．２６４圧縮標準の異なる機能により生じた品質のドリフトは、程度が等しくない。
【００１２】
Ｈ．２６４圧縮に関する品質面でのドリフトは、ある困難を引き起こすことがある。例えば、ＭＰＥＧ２標準と同様にＨ．２６４ビデオ圧縮標準はインター予測符号化を可能にし、これにより、一定のマクロブロックの残差が特定の補償リファレンスに関して符号化を受ける。リファレンスを変更することにより、Ｉフレーム上でゼロに達する品質のドリフトを生じる。品質の良い入力ビットストリームと中程度のレート変換を想定すれば、そのようなドリフトはビデオストリームの出力品質にほとんど影響を及ぼさないであろう。
【００１３】
Ｈ．２６４圧縮標準は、ブロック解除の影響を減少するためにリファレンスマクロブロックのブロックのエッジを変更するブロック解除フィルタの使用を規定する。このフィルタは、様々なマクロブロック上の量子化スケールのパラメータを利用する。そのようなブロック解除により生じるドリフトは、十分な品質の入力ビットストリームを想定すれば最小である。
【００１４】
Ｈ．２６４圧縮標準は、隣接する画素をリファレンスとして現在の画素の符号化を予測する、マクロブロックのイントラ予測符号化を提供する。そのような画素がレート変換により変更されるとき、品質のドリフトが生じうる。不幸にもこのドリフトは、発生するイントラ予測の数に比例して増加することになる。Ｈ．２６４ビデオ圧縮標準は、４個の異なる１６×１６のイントラ予測モードおよび９個の別々の４×４のモードを提供する。４×４のモードでは、それぞれの４×４のブロックのイントラ予測を行い、品質のドリフトの影響を増加する。
【００１５】
本方式に従って、Ｈ．２６４に符号化されたビットストリームをレート変換することに関して過去に困難だったことは、Ｔ１およびＴ２のレート変換アルゴリズムの組み合わせを用いてレート変換することにより回避される。図１は、本方式に従って、レート変換を実行するための装置１０のブロック図を示す。装置１０は、イントラ符号化マクロブロックおよびインター符号化マクロブロックを区別することができてブロックのタイプ（および有効範囲内でのマクロブロック）に基づくＴ１およびＴ２レート変換アルゴリズムのうち１つを適用するためのプログラムされたプロセッサ等の形式、ＡＳＩＣ（Application Specific Integrated Circuit）またはＦＰＬＡ（Field Programmable Logic Array）の形式、またはハードウェア要素およびソフトウェア要素のその他の組合せの形式をとるマクロブロック分析器１２を含む。Ｔ１アルゴリズムを用いてレート変換するとき、マクロブロック分析器１２は、新しい量子化スケールを用いて、符号化された残差係数を再量子化することになる。Ｔ２アルゴリズムを用いてレート変換するとき、マクロブロック分析器１２は、復号処理に基づいてファレンス情報を利用し、マクロブロックを再符号化するために入力ストリームから全ての判定を行う。
【００１６】
マクロブロック分析器１２によるレート変換に先立って、符号化されたビデオビットストリームは、最初にデコーダ１４により復号処理を受ける。実際に、デコーダ１４により受信される、流入するビットストリームは、ＣａＢＣ（Context-based adaptive Binary arithmetic Coding）またはＣａＶＬＣ（Context-based Variable Length Coding）を用いてＨ．２６４標準で符号化される。マクロブロック分析器によるレート変換の次に、エンコーダ１６は、デコーダ１４により実行された復号に基づいてＣａＢＣまたはＣａＶＬＣ符号の１つを用いて現にレート変換されたマクロブロックを再符号化する。
【００１７】
動作において、図１のマクロブロック分析器１２は、この分析器が各ブロックについて空間的なリファレンスを有する限りイントラ符号化マクロブロック上ではＴ２アルゴリズムを一般的に適用することになる。インター符号化されたマクロブロックについて、マクロブロック分析器１２は、Ｔ１レート変換アルゴリズムを用いることになる。Ｔ１インター符号化されてレート変換されたマクロブロックは、いかなるリファレンスをも要求せず、マクロブロック分析器１２は、全ての関連するリファレンスフレームを構築および保持する必要がないことになる。そのような状況下のもと、マクロブロック分析器１２は、Ｔ１アルゴリズムを利用することができ、コンピュータの複雑性を制限することができる。このアプローチは、パラレルシステム（不図示）により本方式の技術の実施をもまた可能にする。インター予測符合化されたマクロブロック上にＴ１アルゴリズムを適用することに関連する品質ロスは大きくない。
【００１８】
イントラ符号化マクロブロックは、予測情報が利用可能なままである限り、Ｔ２アルゴリズムを用いてレート変換を受ける。（このような予測情報は、インタースライスにおいて必ずしも利用可能ではない）。イントラ符号化マクロブロックモードは、入力されたマクロブロックから得られる。このような情報を用いて、マクロブロック分析器１２は、出力されるマクロブロックを再符号化するための基礎として、入力マクロブロックを完全に復号することになる。イントラ符号化マクロブロックにＴ２レート変換アルゴリズムを用いることは、計算複雑性の点でよりコストがかかることになるが、全てにわたるビデオの品質に影響することになるアンカースライスによい結果をもたらす。
【００１９】
イントラマクロブロックにＴ１レート変換アルゴリズムまたはＴ２レート変換アルゴリズムのうちどちらを適用するかについての判定は、マクロブロックのコンテキストに依存する。一般的にはＩスライスと呼ばれるイントラピクチャスライス、およびＳＩスライスと称される切替用イントラピクチャスライスに関し、全てのマクロブロックはイントラ符号化マクロブロックである。従って、Ｔ２レート変換アルゴリズムがこれらブロックに適用される限り、それぞれのブロックについてのリファレンス情報は利用可能のままである。Ｐ、ＳＰ、およびＢスライスにおけるイントラ符号化マクロブロックに関し、マクロブロックに関連付けられたＰＰＳ（Picture Parameter Set）に符号化された"constrained_intra_pred_flag"に依存する。もしこのフラグが１に設定されれば、Ｉスライスにおける全てのイントラマクロブロックに関してＴ２レート変換アルゴリズムが選択される。そうでなければ、Ｔ１レート変換アルゴリズムが採用されるか、またはマクロブロックがそのまま残される。
【００２０】
Ｈ．２６４圧縮を用いて符号化されるイントラマクロブロックにＴ２アルゴリズムを適用することができない場合、次のマクロブロックの予測に用いられないときに１６×１６のマクロブロックのみにインタースライス内のイントラブロックにＴ１が適用されることになる。
【００２１】
図に示す上述の装置１０は、以下を想定する。
（i）装置１０に入力されるＨ．２６４ストリームは、Ｈ．２６４と完全互換性がある。
（ii）Ｈ．２６４ストリームは、放送用品質である。
（iii）Ｈ．２６４ストリームは、正規の判定作成アルゴリズムを用いて符号化されている。
（iv）マクロブロック分析器１２は、Ｔ１およびＴ２アルゴリズムの性能を平均化する能力がある。
（v）レート変換は、入力品質に従ってある限度にビットレートを下げることにより、多数のフレームにわたり４０％以上ビットレートが下がることはない。
【００２２】
前述のことは、相対的に低い複雑性と、相対的に高い品質を提供する、ビットストリームをレート変換する技術について述べている。
【図１】
2010508750.tif 000002
【国際調査報告】
2010508750.tif 000003
2010508750.tif 000004
2010508750.tif 000005