(57)【要約】DCT係数の後方向適応化レート歪最適化データ・パーティショニング(RD-DP)を使用した簡潔且つ効率的な階層化映像符号化技術を提供するシステム及び方法が開示される。映像符号化システムは、レート歪最適化データ・パーティショニング・エンコーダ及びデコーダを有してもよい。RD-DPエンコーダは、明示的な伝送をすることなく、下位レイヤのビットストリームの符号化効率を大いに改善するブロック毎改善ポイントを適応させ、それにより帯域をかなり節約する。RD-DPデコーダはまた、デコードされたデータから後方向に分割位置を見つけることができる。
2005535250.tif 000002
【特許請求の範囲】
【請求項１】
スケーラブル映像エンコーダ用のデータ・パーティショニング方法であって、
映像データを受信するステップと、
映像フレームの複数のマクロブロックについてDCT係数を決定するステップと、
前記DCT係数を量子化するステップと、
前記量子化されたDCT係数を(ラン、レングス)の対に変換するステップと、
前記映像フレームの前記複数のマクロブロックのそれぞれについて、比率|Xik|2/Likを決定し、第iブロックの第kの(ラン、レングス)の対がLikビットであり、Xikの係数値を有するステップと、
第kの(ラン、レングス)の対の第kの比率がλより小さい場合、又は、第kの比率がλより小さくない第１の比率である場合、第kの(ラン、レングス)の対を下位レイヤに入れ、そうでない場合、第kの(ラン、レングス)の対の第kの比率がλより大きい場合には、第kの(ラン、レングス)の対を上位レイヤに入れ、λはラグランジュ計算に従って決定されるステップと
を有する方法。
【請求項２】
請求項１に記載の方法であって、
異なる伝送チャネルで前記下位レイヤと上位レイヤを伝送するステップを更に有する方法。
【請求項３】
請求項１に記載の方法であって、
スケーラブル映像エンコーダがMPEG4エンコーダである方法。
【請求項４】
請求項１に記載の方法であって、
スケーラブル映像エンコーダがH.263エンコーダである方法。
【請求項５】
請求項１に記載の方法であって、
スケーラブル映像エンコーダがMPEG2エンコーダである方法。
【請求項６】
請求項１に記載の方法であって、
スケーラブル映像エンコーダが、DCT変換及びエントロピー符号化を有する映像エンコーダである方法。
【請求項７】
請求項１に記載の方法であって、
スケーラブル映像エンコーダが、単一レイヤのMPEG2とMPEG4とH.26Lをトランスコードすることにより実現される方法。
【請求項８】
請求項１に記載の方法であって、
λを量子化し、量子化された値を付加情報としてデコーダに伝送するステップを更に有する方法。
【請求項９】
請求項６に記載の方法であって、
量子化された値がDCTダイナミックレンジ及びVLCテーブルに応じた離散値である方法。
【請求項１０】
請求項６に記載の方法であって、
量子化された値がユーザ定義の精度の離散値である方法。
【請求項１１】
請求項６に記載の方法であって、
付加情報が前記映像フレームのフレームヘッダで一度のみ送信される方法。
【請求項１２】
請求項６に記載の方法であって、
付加情報が、ロバスト性を改善するためにスライスヘッダ又は映像パケットヘッダに送信され得る方法。
【請求項１３】
請求項１に記載の方法であって、
λが二分法を使用して、前記下位レイヤの伝送チャネルのレート量を満たすように決定される方法。
【請求項１４】
請求項１に記載の方法であって、
λが適応的アルゴリズムを使用して、前記下位レイヤの伝送チャネルのレート量を満たすように決定される方法。
【請求項１５】
スケーラブル映像デコーダにおいて下位レイヤと少なくとも１つの上位レイヤの境界を決定する方法であって、
前記下位レイヤと前記少なくとも１つの上位レイヤを受信し、前記下位レイヤと上位レイヤは映像フレームの複数のマクロブロックについて(ラン、レングス)の対を表すデータを有するステップと、
前記映像フレームの前記複数のマクロブロックのそれぞれについて、比率|Xik|2/Likを決定し、第iブロックの第kの(ラン、レングス)の対がLikビットであり、Xikの係数値を有するステップと、
第kの(ラン、レングス)の対の比率がλより小さい場合、又は、第kの比率がλより小さくない第１の比率である場合、前記下位レイヤから第kの(ラン、レングス)の対を読み取り、そうでない場合、第kの(ラン、レングス)の対の比率がλより大きい場合には、前記少なくとも１つの上位レイヤから第kの(ラン、レングス)の対を読み取り、λはラグランジュ計算に従って決定されるステップと
を有する方法。
【請求項１６】
請求項１５に記載の方法であって、
異なる伝送チャネルで前記下位レイヤと上位レイヤを受信するステップを更に有する方法。
【請求項１７】
請求項１５に記載の方法であって、
スケーラブル映像デコーダがMPEG4デコーダである方法。
【請求項１８】
請求項１に記載の方法であって、
スケーラブル映像デコーダがH.263デコーダである方法。
【請求項１９】
請求項１５に記載の方法であって、
スケーラブル映像デコーダがMPEG2デコーダである方法。
【請求項２０】
請求項１５に記載の方法であって、
スケーラブル映像デコーダが、DCT及びエントロピー符号化を有する映像デコーダである方法。
【請求項２１】
請求項１５に記載の方法であって、
スケーラブル映像デコーダが、MPEG2とMPEG4とH.26Lのデコーダを有するグループから選択された単一レイヤの映像デコーダの前のマージ(merger)により実現される方法。
【請求項２２】
請求項１５に記載の方法であって、
前記映像フレームに関連する付加情報としてλを受信するステップを更に有する方法。
【請求項２３】
請求項２２に記載の方法であって、
前記付加情報が、最小ビットのオーバーヘッドでエンコードされ得る離散数である方法。
【請求項２４】
請求項２２に記載の方法であって、
前記付加情報が前記映像フレームのフレームヘッダで一度のみ送信される方法。
【請求項２５】
請求項２２に記載の方法であって、
前記付加情報が、ロバスト性を改善するためにスライスヘッダ又は映像パケットヘッダ毎にコピーされる方法。
【請求項２６】
請求項１５に記載の方法であって、
λが前記下位レイヤの伝送チャネルのレート量を満たすように決定される方法。
【請求項２７】
下位レイヤと少なくとも１つの上位レイヤからのデータをマージ可能なスケーラブルデコーダであって、
コンピュータ実行可能な処理ステップを格納するメモリと、
(i)前記下位レイヤと前記少なくとも１つの上位レイヤを受信し、前記下位レイヤと上位レイヤは映像フレームの複数のマクロブロックについて(ラン、レングス)の対を表すデータを有し、(ii)前記映像フレームの前記複数のマクロブロックのそれぞれについて、比率|Xik|2/Likを決定し、第iブロックの第kの(ラン、レングス)の対がLikビットであり、Xikの係数値を有し、(iii)第kの(ラン、レングス)の対の比率がλより小さい場合、又は、第kの比率がλより小さくない第１の比率である場合、前記下位レイヤから第kの(ラン、レングス)の対を読み取り、そうでない場合、第kの(ラン、レングス)の対の比率がλより大きい場合には、前記少なくとも１つの上位レイヤから第kの(ラン、レングス)の対を読み取り、λはラグランジュ計算に従って決定されるように、前記メモリに格納された前記処理ステップを実行するプロセッサと
を有する装置。
【請求項２８】
請求項２７に記載のデコーダであって、
λが前記映像フレームに関連する付加情報として前記デコーダにより受信され、前記付加情報が前記映像フレームのフレームヘッダで一度のみ送信されるデコーダ。
【請求項２９】
請求項２７に記載のデコーダであって、
λが前記下位レイヤの伝送チャネルのレート量を満たすように決定されるデコーダ。
【発明の詳細な説明】
【技術分野】
【０００１】
この出願は、2002年8月6日に出願された米国仮特許出願第60/401,300号の利益を主張し、その出願の教示が参照として取り込まれる。
【０００２】
本発明は、スケーラブル映像符号化システムに関するものであり、特に、本発明は、離散コサイン変換(DCT)係数の後方向適応化レート歪最適化データ・パーティショニング(RD-DP:rate-distortion  optimized  data  partitioning)を使用した効率的な階層化映像符号化技術に関するものである。本発明は、異なるビットレート(それ故に異なる品質の画像)に適応可能な可変帯域のネットワーク及びコンピュータシステムとの関係で特に有用である。
【背景技術】
【０００３】
映像はピクチャの連続である。各ピクチャは画素の配列により形成される。非圧縮映像のサイズは非常に大きい。そのサイズを低減するために、サイズを低減してデータ転送レートを改善するために、映像圧縮が使用されることがある。デジタル記憶媒体における動画像及び関連の音声の符号化表示用の国際標準を規定するために、多様な映像圧縮方法(例えば、MPEG1、MPEG2、MPEG4)が確立されている。
【０００４】
このような映像符号化方法は、低減されたレート伝送のために生の映像データをフォーマット及び圧縮する。例えば、MPEG2標準のフォーマットは4つのレイヤ(グループ・オブ・ピクチャ(Group  of  Pictures)、ピクチャ(Picture)、スライス(Slice)、マクロブロック(Macroblock)、ブロック(Block))を有する。映像シーケンスは、１つ以上のグループ・オブ・ピクチャ(GOP:group  of  pictures)を有するシーケンスヘッダで始まり、エンド・オブ・シーケンス(end-of-sequence)コードで終了する。グループ・オブ・ピクチャ(GOP)は、映像シーケンスに対してランダムなアクセスを可能にすることを目的とするヘッダと一連の１つ以上のピクチャを有する。
【０００５】
ピクチャは、映像シーケンスの主たる符号化単位である。ピクチャは、輝度(Y)と２つのクロミナンス(Cb及びCr)を表す３つの直交マトリクスを有する。Yマトリクスは同じ数の行と列を有する。Cb及びCrマトリクスは、各方向(横軸及び縦軸)においてYマトリクスの半分のサイズである。スライスは、１つ以上の“連続的な”マクロブロックである。スライス内のマクロブロックの順序は、左から右、及び上から下である。
【０００６】
マクロブロックは、MPEGアルゴリズムの基本的な符号化単位である。マクロブロックは、フレームにおける16×16の画素セグメントである。各クロミナンス成分は、輝度成分の半分の横軸及び縦軸の解像度を有しているため、マクロブロックは、4つのYブロックと、1つのCrブロックと、１つのCbブロックとを有する。ブロックはMPEGアルゴリズムの最小符号化単位である。ブロックは8×8の画素を有し、３つの種類のうちの１つ(輝度(Y)、赤クロミナンス(Cr)、又は青クロミナンス(Cb))になり得る。ブロックは、イントラフレーム符号化の基本単位である。
【０００７】
MPEG2標準は３種類のピクチャ(イントラピクチャ(Iピクチャ)と、予測ピクチャ(Pピクチャ)と、双方向ピクチャ(Bピクチャ))を規定する。イントラピクチャ、すなわちIピクチャは、ピクチャ自体に存在する情報のみを使用して符号化され、圧縮映像データに潜在的なランダムなアクセスポイントを提供する。予測ピクチャ、すなわちPピクチャは、最も近い前のIピクチャ又はPピクチャに関して符号化される。Iピクチャと同様に、Pピクチャもまた、Bピクチャ及び後のPピクチャの予測参照としての役割をすることができる。更に、PピクチャはIピクチャより大きい圧縮を提供する動き補償を使用する。双方向ピクチャ、すなわちBピクチャは、参照として前と後のピクチャの双方を使用するピクチャである。Bピクチャは参照として前と後のピクチャを使用するため、最も高い圧縮を提供する。この３つの種類のピクチャを組み合わせて、グループ・オブ・ピクチャを形成する。
【０００８】
MPEG変換符号化アルゴリズムは、次の符号化ステップを有する。すなわち、離散コサイン変換(DCT)と、量子化と、ランレングス符号化(Run-length  encoding)である。
【０００９】
映像符号化の重要な技術はスケーラビリティである。この点について、スケーラブル映像コーデックは、埋め込まれたサブセットに分割可能なビットストリームを生成することができるコーデックとして規定される。このサブセットは独立してデコードされ、更なる品質の映像シーケンスを提供する。このように、単一の圧縮動作が、異なるレート及び再構成された品質を有するビットストリームを作ることができる。元のビットストリームの小さいサブセットが最初に送信され、その後に上位レイヤとして送信される付加レイヤを下位レイヤの品質に供給することができる。スケーラビリティは、MPEG2やMPEG4やH.263のようなほとんどの映像圧縮標準でサポートされている。
【００１０】
スケーラビリティの重要な用途は、誤り耐性の映像伝送である。スケーラビリティは、上位レイヤより下位レイヤに強度の誤り保護を適用するために使用され得る(すなわち、不均一な誤り保護)。従って、悪い伝送チャネルの状態中であっても、下位レイヤが高い確率でうまくデコードされる。
【００１１】
データ・パーティショニング(DP:Data  Partitioning)は、スケーラビリティを容易にするために使用される。例えばMPEG2において、スライスレイヤは、特定のビットストリームに含まれる最大数のブロック変換係数を示す(優先ブレークポイント(priority  break  point)として知られている)。データ・パーティショニングは、64の量子化された変換係数のブロックを２つのビットストリームに分ける周波数ドメイン法である。まず、高優先度のビットストリーム(例えば下位レイヤ)は、重要な低い周波数の係数と付加情報(DC値、動きベクトル等)を有する。次に、低優先度のビットストリーム(例えば上位レイヤ)は、高い周波数のACデータを運ぶ。
【００１２】
特に、従来のDP映像コーダ(例えばMPEG)では、単一レイヤのビットストリームがDCTドメインで２つ以上のビットストリームに分割される。伝送中に、ビットレートのスケーラビリティを達成するために、１つ以上のビットストリームが送信される。チャネル劣化に対するロバスト性を改善するために、下位レイヤと上位レイヤに不均一な誤り保護が適用され得る。デコードの前に、リソース割り当て及び／又は受信機の容量に応じて、受信したビットストリーム又はそのサブセットが１つの単一のビットストリームにマージされてデコードされる。
【００１３】
従来のDP構成はホームネットワーク環境で有利である。特に、十分な品質で、レート・スケーラビリティ(rate  scalability)も可能である一方で、DPのレート歪性能はその単一レイヤの対応するものと同等である。レート歪み(R-D:rate-distortion)性能は、レートと歪の最適の組合せを見つけることに関係する。この最適な組合せは、コストと品質の最適な組合せとしてもみなされるが、一意ではない。R-D機構は、可能な最小のビットで１つの情報を表し、同時に最高の再生品質に導くことを試みる。
【００１４】
また、従来のDP構成では、DPが広範囲のデコーダの複雑性のスケーラビリティを提供する一方で、十分な品質でデコードの複雑性のオーバーヘッドが非常に小さいことに留意すべきである。これは、DCTランレングスの対の可変長デコード(VLD:variable  length  decoding)(最も計算的に大きい部分)がスケーラブルになるからである。
【００１５】
従来のDP構成では、DCT優先ブレークポイント(PBP:priority  break  point)値は、付加情報として明示的に伝送される必要がある。オーバーヘッドを最小化するために、PBP値は、各スライス又は映像パケット内の全てのDCTブロックについて通常は一定である。
【００１６】
従来のDP方法は、簡潔であり、ある程度の利点を有するが、各スライス又は映像パケット内の全てのブロックに唯一のPBP値が使用されるため、下位レイヤの最適化に適応させることができない。従って、改善した下位レイヤの最適化を提供するように適応可能な映像符号化技術の必要性が存在する。
【発明の開示】
【発明が解決しようとする課題】
【００１７】
本発明は、PBP値がDCTブロックのレベルでそれぞれ適応することを可能にすることで、改善したデータ・パーティショニングを提供することにより、前述の必要性に対処する。本発明の一実施例では、これは、コンテキストベースの後方向適応化を使用することにより、最小のオーバーヘッド(各スライス若しくは映像パケット、又は各フレームについて約20ビット)で達成され得る。
【課題を解決するための手段】
【００１８】
本発明の一態様は、DCT係数の後方向適応化レート歪最適化データ・パーティショニング(RD-DP:rate-distortion  optimized  data  partitioning)を提供するシステム及び方法を対象とする。
【００１９】
本発明のその他の態様では、RD-DPはブロック毎に分割ポイントを適応させ、それにより下位レイヤのビットストリームの符号化効率を大いに改善する。このことにより、明示的な伝送をすることなく、デコードされたデータから後方向に分割位置を見つけることが可能になり、それにより帯域をかなり節約することができる。
【００２０】
本発明の更に他の態様では、ラグランジュ(Lagrangian)パラメータλが計算される。λの値は、標準的な一次元の二分法(bisection  algorithm)を使用して、(下位レイヤの伝送チャネルの)レート量(Rb:rate  budget)を満たすように決定される。
【００２１】
本発明の一実施例は、スケーラブル映像エンコーダのデータ・パーティショニング方法を対象とする。前記方法は、映像データを受信するステップと、映像フレームの複数のマクロブロックについてDCT係数を決定するステップと、DCT係数を量子化するステップと、量子化されたDCT係数を(ラン、レングス)の対に変換するステップとを有する。映像フレームの複数のマクロブロックのそれぞれについて、比率|Xik|2/Likを決定し、第iブロックの第kの(ラン、レングス)の対がLikビットであり、Xikの係数値を有する。第kの(ラン、レングス)の対の第kの比率がλより小さい場合、又は、第kの比率がλより小さくない第１の比率である場合、第kの(ラン、レングス)の対を下位レイヤに入れる。そうでない場合、第kの(ラン、レングス)の対の第kの比率がλより大きい場合には、第kの(ラン、レングス)の対を上位レイヤに入れる。ここで、λはラグランジュ計算に従って決定される。
【００２２】
本発明のその他の実施例は、スケーラブル映像デコーダにおいて下位レイヤと少なくとも１つの上位レイヤの境界を決定する方法を対象とする。前記方法は、下位レイヤと少なくとも１つの上位レイヤを受信するステップを有し、その下位レイヤと上位レイヤは映像フレームの複数のマクロブロックについて(ラン、レングス)の対を表すデータを有する。映像フレームの複数のマクロブロックのそれぞれについて、比率|Xik|2/Likを決定し、第iブロックの第kの(ラン、レングス)の対がLikビットであり、Xikの係数値を有する。第kの(ラン、レングス)の対の比率がλより小さい場合、又は、第kの比率がλより小さくない第１の比率である場合、下位レイヤから第kの(ラン、レングス)の対を読み取る。そうでない場合、第kの(ラン、レングス)の対の比率がλより大きい場合には、少なくとも１つの上位レイヤから第kの(ラン、レングス)の対を読み取る。ここで、λはラグランジュ計算に従って決定される。
【００２３】
本発明の更にその他の実施例は、下位レイヤと少なくとも１つの上位レイヤからのデータをマージ可能なスケーラブルデコーダを対象とする。デコーダは、コンピュータ実行可能な処理ステップを格納するメモリと、メモリに格納された処理ステップを実行するプロセッサとを有し、(i)下位レイヤと少なくとも１つの上位レイヤを受信し、その下位レイヤと上位レイヤは映像フレームの複数のマクロブロックについて(ラン、レングス)の対を表すデータを有し、(ii)映像フレームの複数のマクロブロックのそれぞれについて、比率|Xik|2/Likを決定し、第iブロックの第kの(ラン、レングス)の対がLikビットであり、Xikの係数値を有し、(iii)第kの(ラン、レングス)の対の比率がλより小さい場合、又は、第kの比率がλより小さくない第１の比率である場合、下位レイヤから第kの(ラン、レングス)の対を読み取る。そうでない場合、第kの(ラン、レングス)の対の比率がλより大きい場合には、少なくとも１つの上位レイヤから第kの(ラン、レングス)の対を読み取る。ここで、λはラグランジュ計算に従って決定される。
【００２４】
本発明の更にその他の実施例は、スケーラブルトランスコーダ(scalable  transcoder)を対象とする。単一レイヤの符号化映像ビットストリーム(MPEG1、MPEG2、MPEG4、H.264等)が部分的にデコードされ、前述の境界決定方法の実施例に基づいてDCTブロック毎にビットストリーム分割ポイントが決定される。その後に、分割ポイントに基づいてVLCコードが２つ以上のパーティションに分割される。部分デコードは、可変長デコードと、逆スキャニング(inverse  scanning)と、逆量子化のみを有する。逆DCT又は動き補償は必要とされない。
【００２５】
本発明の本質が直ちに理解できるように、概要が提供された。添付図面と共に、本発明の好ましい実施例についての以下の詳細な説明を参照することにより、本発明の更に完全な理解が得られる。
【発明を実施するための最良の形態】
【００２６】
図１は、階層化符号化と転送優先度を備えたスケーラブル映像システム100を示したものである。階層化ソースエンコーダ110は、入力映像データをエンコードする。階層化ソースエンコーダ110の出力は、下位レイヤ121と、１つ以上の上位レイヤ122-124を有する。複数のチャネル120は、出力された符号化データを運ぶ。階層化ソースデコーダ130は、符号化データをデコードする。
【００２７】
階層化符号化を実装する種々の方法が存在する。例えば、時間ドメインの階層化符号化では、下位レイヤは低いフレームレートを備えたビットストリームを有し、上位レイヤは高いフレームレートでの出力を得るための付加情報を有する。空間ドメインの階層化符号化では、下位レイヤは元の映像シーケンスのサブサンプル版を符号化し、上位レイヤはデコーダで高い空間解像度を得るための付加情報を有する。
【００２８】
一般的に、異なるレイヤは異なるデータストリームを使用し、チャネル誤りに対して明確に異なる許容度を有する。チャネル誤りに対処するため、階層化符号化は、通常は転送優先度と結合され、それにより下位レイヤが高度の誤り保護で配信される。下位レイヤ121が損失すると、上位レイヤ122-124に含まれる情報が無駄になることがある。
【００２９】
本発明の一実施例では、下位レイヤ121の映像品質は、DCTブロックのレベルで柔軟に制御される。コンテキストベースの後方向適応化を使用することで、DCTブロックのレベルでPBPを適応させることにより、所望の下位レイヤが制御され得る。
【００３０】
DCTの目的は、隣接した誤り画素の間の空間関係を低減し、誤り画素のエネルギーをいくつかの係数に集約することである点に留意すべきである。量子化の後に多数の高周波数の係数がゼロになるため、可変長符号化(VLC:variable  length  coding)がランレングス(runlength)符号化法により達成される。ランレングス符号化法は、いわゆるジグザグスキャン(zig-zag  scan)を使用して係数を一次元の配列に整理し、それにより低周波数の係数が高周波数の係数の前に入れられる。このように、量子化された係数は、非ゼロの値と先行のゼロの数の観点から特定される。ゼロのランレングスと非ゼロの値の対にそれぞれ対応する異なるシンボルは、可変長コードワード(codeword)を使用して符号化される。
【００３１】
スケーラブル映像システム100は、エントロピー符号化を使用することが好ましい。エントロピー符号化では、量子化されたDCT係数は、それをジグザグ順にスキャンすることで一次元の配列に再構成される。この再構成は、横軸と縦軸の双方についてDC係数を配列の最初の位置に入れ、残りのAC係数は低周波数から高周波数に構成される。高周波数で量子化されたDCT係数はゼロになる可能性が高いため、非ゼロの部分とゼロの部分を分けると仮定される。再構成された配列は、ラン・レベル(run-level)の対のシーケンスに符号化される。ランは、配列の２つの非ゼロの係数の距離として定められる。レベルは、ゼロのシーケンスの直後の非ゼロの値である。この符号化方法は、多数の係数が既にゼロの値に量子化されているため、8×8DCT係数のコンパクトな表示を作る。
【００３２】
ラン・レベルの対と、マクロブロックについての情報(動きベクトルや予測の種類等)は、エントロピー符号化を使用して更に圧縮される。このために可変長符号化と固定長符号化の双方が使用される。
【００３３】
映像システム100の設計は、演算上のレート歪(RD:rate-distortion)理論が動機となっている。利用可能な帯域が事前にわかっており、その帯域内で達成され得る最高の再生品質を達成することが目的である(すなわち適応的アルゴリズムである)場合に、RD理論は符号化及び圧縮のシナリオで有用である。
【００３４】
最適化されたパーティション(すなわち下位レイヤと上位レイヤのパーティション)を解決するために策定された例について、以下に説明する。以下の説明では、映像フレーム毎に“n”のDCTブロックが存在し、下位レイヤのパーティションについてビットレート量Rbが既知であることを仮定する。レート量は、最小映像品質の要件と、チャネルのスループット変動に基づいて決定される。最適なパーティションを解決するために以下の最適化問題が策定され得る。
【００３５】
【数１】
2005535250.tif 000003
ここで、Pi∈{0,1,...,K(i)}であり、i=1,...,nは第iブロックのブレークポイント値であり、K(i)は第iブロックの最大の(ラン、レングス)の対を示し、Ri(Pi)とDi(Pi)は、それぞれ第iブロックからの対応するビットレートと歪を示す。
【００３６】
最適化問題は、ラグランジュ最適化に基づいて反復二分法(iterative  bisection  algorithm)を使用して解決され得る。最適の分割ポイントPiは、全てのi=1,...,nについて以下の条件を満たす。
【００３７】
【数２】
2005535250.tif 000004
ここで、ラグランジュλ＞0は、標準的な二分検索により決定され、それにより(1)のレート制限(rate  constraint)が満たされる。
【００３８】
第iブロックの第kのDCTの(ラン、レングス)の対がLikビットであり、Xikの係数値を有する場合、第iブロックのレート歪(R-D)カーブの傾きは、以下の一式の離散値(discrete  valueを有する。
【００３９】
【数３】
2005535250.tif 000005
次に図２を参照すると、分割ポイントを決定する方法と、階層化ソースデコーダ130が後方向適応化により分割ポイントを推論する方法を示すために、凸型R-Dカーブが図示されている。R-Dカーブが凸型でなくても、階層化ソースデコーダは同じように動作することに留意すべきである。
【００４０】
図２から、一般的にλはRに関して減少関数であり、それ故に一般的に以下の関係が維持されることがわかる。
【００４１】
【数４】
2005535250.tif 000006
式(4)によると、階層化ソースエンコーダ110側のDCT係数の分割アルゴリズムが以下に示される。この点に到達するために、フレームの映像データは離散コサイン変換(DCT)を使用して変換しており、DCT係数が量子化され、可変長符号化(VLC)を使用してバイナリのコードワード(ラン、レングス)に変換されることに留意すべきである。
【００４２】
i=1,...,nに対して{フレームの各マクロブロックについて
k=1,...,K(i)      {各(ラン、レングス)の対について
対応するXik,Likを計算し、
第kの(ラン、レングス)のVLCを下位レイヤに入れる
|Xik|2/Lik＜λの場合には中断する
}
第iブロックの残りの(ラン、レングス)の対を上位レイヤに入れる
}
ラグランジュパラメータλは付加情報(すなわちオーバーヘッド情報)として別々に符号化されて伝送されてもよい。階層化ソースデコーダ130は、下位レイヤ121と上位レイヤ122の境界を見つけることができ、また以下のアルゴリズムを使用して同期を見つけることもできる。
【００４３】
i=1,...,nに対して{フレームの各マクロブロックについて
k=1,...,K(i)      {各(ラン、レングス)の対について
下位レイヤからVLCの(ラン、レングス)の対を読み取り、
対応するXik,Likを計算する
|Xik|2/Lik＜λの場合には中断する
}
第iブロックの残りの(ラン、レングス)の対を上位レイヤから読み取る
}
(ラン、レングス)の対の可変長符号化の実際の実装では、VLCはソースの真のエントロピーの近似値に過ぎないため、図２のR-Dカーブは凸型でなくてもよい。その場合には、テスト変数|Xik|2/Likはkに関して単調にはならない。しかし、この場合でも、|Xik|2/Lik＜λを満たす最初の(ラン、レングス)の対の後の双方の中断後は、エンコードとデコードのアルゴリズムが完全に同期し得ることがわかる。
【００４４】
前述の通り、伝送される付加情報のみがラグランジュパラメータλである。λの値は、標準的な一次元の二分法を使用して式(1)のレート量Rbを満たすように決定される。しかし、λの最適値は実数でもよく、チャネル120での伝送用に量子化されるべきである。
【００４５】
好ましい実施例では、量子化されたλのエンコード精度は以下のように決定される。全てのi,kについて|Xik|2/Likが離散値(discrete  value)のみを有することを認識することにより、エンコード精度が決定される。例えば、Likの最大サイズは、ハフマンテーブルのコードワードの最大長で上限になり、|Xik|の最大値は、DCT係数の範囲で上限になる。より具体的には、Likと|Xik|をエンコードする所要のビットは、それぞれlog2(ハフマンテーブルのコードワードの最大長)とlog2(DCT係数の範囲)で上限になる。
【００４６】
例えば、最大長VLCが64ビット長であり、DCT係数が-2048と2047の間の整数である場合、λの値はlog2(64)+log2(2048)=19ビットで量子化され得る。このオーバーヘッドは映像フレームのヘッダで一度だけ送信される必要があるため、RD-DPを使用したビットレートの増加が最小になることがわかる。フレームヘッダの損失に対処するため、λ値のオーバーヘッドがスライス又は映像パケットのレベルで送信されてもよいことが、当業者にわかる。
【００４７】
このように、信頼性の高い伝送チャネルでλ値と、対応する低周波数及びある程度の高周波数のDCT係数を(下位レイヤ121として)伝送することにより、DCT情報のより大きい動的割り当てが達成可能になる。このことは、１つ以上の上位レイヤ122-124からのデータが損失した場合に、最小の品質の映像の更なる制御を可能にする。
【００４８】
前述の本発明の実施例は、如何なる映像符号化システム(例えばMPEG2、MPEG4、H.263等)に適用可能である。
【００４９】
図３は、本発明が実装され得るコンピュータシステム9の代表的な実施例を示したものである。図３に示す通り、パーソナルコンピュータ(“PC”)10は、可変帯域のネットワーク又はインターネットのようなネットワークとインタフェース接続するネットワーク接続11と、ビデオカメラ(図示なし)のような他の遠隔リソースとインタフェース接続するためのファクシミリ／モデム接続12とを有する。PC10はまた、ユーザに(映像データを含む)情報を表示するディスプレイスクリーン14と、テキストやユーザコマンドを入力するキーボード15と、ディスプレイスクリーン14でカーソルの位置合わせをし、ユーザコマンドを入力するマウス13と、インストールされたフロッピー（登録商標）ディスクから読み取り、それに書き込むディスクドライブ16と、CD-ROMに格納された情報にアクセスするCD-ROMドライブ17とを有する。PC10はまた、ドキュメントのテキスト画像、グラフィック画像等を入力するスキャナ(図示なし)や、画像、テキスト等を出力するプリンタ19のような、１つ以上の付属の周辺装置を有してもよい。
【００５０】
図４は、PC10の内部構成を示したものである。図４に示すように、PC10は、コンピュータのハードディスクのようなコンピュータ読取可能媒体を有するメモリ20を有する。メモリ20は、データ23と、アプリケーション25と、プリントドライバ24と、オペレーティングシステム26を格納する。本発明の好ましい実施例では、オペレーティングシステム26は、Microsoft  Windows(登録商標)95のようなウィンドウのオペレーティングシステムであるが、本発明は他のオペレーティングシステムにも同様に使用され得る。メモリ20に格納されたアプリケーションのなかに、スケーラブル映像コーダ21とスケーラブル映像デコーダ22がある。スケーラブル映像コーダ21は、以下に詳細に示すようにスケーラブル映像データ符号化を実行し、スケーラブル映像デコーダ22は、スケーラブル映像コーダ21により前述した方法で符号化された映像データをデコードする。
【００５１】
ディスプレイインタフェース29と、キーボードインタフェース30と、マウスインタフェース31と、ディスクドライブインタフェース32と、CD-ROMドライブインタフェース34と、コンピュータバス36と、RAM37と、プロセッサ38と、プリンタインタフェース40もPC10に含まれる。プロセッサ38は、RMA37から前述のようなアプリケーションを実行するマイクロプロセッサ等を有することが好ましい。スケーラブル映像コーダ21とスケーラブル映像デコーダ22を含むこのようなアプリケーションは、(前述のように)メモリ20に格納されてもよく、また代替としてディスクドライブ16のフロッピー（登録商標）ディスク又はCD-ROMドライブ17のCD-ROMに格納されてもよい。プロセッサ38は、ディスクドライブインタフェース32を介してフロッピー（登録商標）ディスクに格納されたアプリケーション(又はその他のデータ)にアクセスし、CD-ROMドライブインタフェース34を介してCD-ROMに格納されたアプリケーション(又はその他のデータ)にアクセスする。
【００５２】
PC4のアプリケーションの実行及び他のタスクは、キーボード15又はマウス13を使用して起動されてもよい。そのキーボード15又はマウス13からのコマンドは、それぞれキーボードインタフェース30とマウスインタフェース31を介してプロセッサ38に伝送される。PC10で動作するアプリケーションからの出力結果は、ディスプレイインタフェース29により処理され、ディスプレイ14でユーザに対して表示されてもよく、又は代替としてネットワーク接続11を介して出力されてもよい。例えば、スケーラブル映像コーダ21により符号化された入力映像データは、一般的にネットワーク接続11を介して出力される。他方、例えば可変帯域ネットワークから受信した符号化映像データは、スケーラブル映像デコーダ22によりデコードされ、ディスプレイ14に表示される。このため、ディスプレイインタフェース29は、コンピュータバス36でプロセッサ38により提供されたデコード映像データに基づいてビデオ画像を形成し、その画像をディスプレイ14に出力するディスプレイプロセッサを有することが好ましい。PC10で動作するワード処理プログラムのような他のアプリケーションからの出力結果は、プリンタインタフェース40を介してプリンタ19に提供されてもよい。プロセッサ38は、プリンタ19に印刷ジョブの送信を行う前にその印刷ジョブの適切なフォーマット化を実行するために、プリントドライバ24を実行する。
【００５３】
本発明のその他の実施例は、スケーラブルトランスコーダ(scalable  transcoder)を対象とする。図５に示すように、単一レイヤの映像ビットストリーム200(MPEG1、MPEG2、MPEG4、H.264等)は、可変長デコーダ210により部分的にデコードされる。DCT係数220は、逆スキャン／量子化ユニット230に送信され、次に分割ポイント探知機(partitioning  point  finder)240に送信される。ビットストリーム分割ポイントは、前述の境界決定方法の実施例に基づいてDCTブロック毎に決定される。その後、VLCコード250は、分割ポイントに基づいて２つ以上のパーティションに分割される。その結果が可変長コードバッファ260に提供される。実施例によると、部分デコードは、可変長デコードと、逆スキャニング(inverse  scanning)と、逆量子化のみを有する。逆DCT又は動き補償は必要とされない。
【００５４】
ここに記載されている本発明の実施例は、コンピュータコードとして実装されるのが好ましいが、前述の実施例のうちの全て又はいくつかは、別個のハードウェア要素及び／又は論理回路を使用して実装され得る。また、本発明のエンコード及びデコード技術はPC環境において記載されているが、この技術はデジタルテレビ／セットトップボックス、テレビ会議装置等を含み、これらに限定されない如何なる種類の映像装置にも使用され得る。
【００５５】
この点について、本発明は、特定の例示的な実施例に関して記載されている。例えば、是術の実施例に記載されている本発明の原理はまた、上位レイヤを分割することにも適用され得る。本発明は前述の実施例とその変更形態に限定されず、特許請求の範囲の趣旨と範囲を逸脱することなく、多様な変形形態と変更形態が当業者により行われ得ることがわかる。
【図面の簡単な説明】
【００５６】
【図１】本発明の一態様による映像符号化システムを示したものである。
【図２】レート歪カーブを示したものである。
【図３】本発明が実装され得るコンピュータシステムを示したものである。
【図４】図３に示されたコンピュータシステムにおけるパーソナルコンピュータのアーキテクチャを示したものである。
【図５】本発明の一実施例によるトランスコーダのブロック図を示したものである。
【図１】
2005535250.tif 000007
【図２】
2005535250.tif 000008
【図３】
2005535250.tif 000009
【図４】
2005535250.tif 000010
【図５】
2005535250.tif 000011
【国際調査報告】
2005535250.tif 000012
2005535250.tif 000013
2005535250.tif 000014