(57)【特許請求の範囲】
【請求項１】
（i）参照フレームをビデオビットストリームから再構成し、（ii）前記ビデオビットストリームの参照フレームの強度補正されていないコピーを記憶し、（iii）前記ビデオビットストリームのシンタックス要素に基づいてプロパティの値のセットを決定し、（iv）前記参照フレームの直接のまたは導出されたパラメータのセットを前記ビデオビットストリームから抽出し、（v）前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記参照フレーム上で第１の強度補正演算を実行するために前記プロパティの値のセットの第１のサブセットを使用し、（vi）前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記第１の強度補正演算の結果に対して第２の強度補正演算を実行するために前記プロパティの値のセットの第２のサブセットを使用し、（vii）表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行するために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記第２の強度補正演算の結果を利用する、ように作用する命令を実行するように構成されたプロセッサと、
前記命令を含むメモリと
を備える集積回路（ＩＣ）。
【請求項２】
前記参照フレームのピクセルのプロパティ及び前記ビデオビットストリームの前記直接のまたは導出されたパラメータ及び前記シンタックス要素を使用して強度補正されたピクセルの前記ストリームを生成するように作用するデコーダモジュールを更に備える、請求項１に記載の集積回路。
【請求項３】
前記デコーダモジュールの少なくとも一部は、前記プロセッサの構成要素である、請求項２に記載の集積回路。
【請求項４】
前記デコーダモジュールの少なくとも一部は、前記プロセッサによって実行可能な命令のセットとして実現される、請求項２に記載の集積回路。
【請求項５】
前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接のまたは導出されたパラメータは、フレーム符号化モードシンタックス要素、ピクチャタイプシンタックス要素、ブロックの大きさシンタックス要素、動きベクトルシンタックス要素、及びＶＣプロファイルシンタックス要素のうちの少なくとも１つから抽出される、請求項１に記載の集積回路。
【請求項６】
前記集積回路は、携帯電話、ビデオゲームコンソール、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、ビデオ対応デバイス、オーディオまたはビデオ対応デバイス、及びサーバからなる前記グループから選択される無線デバイスの一部である、請求項１に記載の集積回路。
【請求項７】
（i）参照フレームをビデオビットストリームから再構成し、（ii）前記ビデオビットストリームの参照フレームの強度補正されていないコピーを記憶し、（iii）前記ビデオビットストリームのシンタックス要素に少なくとも基づいてプロパティの値のセットを決定し、（iv）前記参照フレームの直接のまたは導出されたパラメータのセットを前記ビデオビットストリームから抽出し、（v）前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記参照フレーム上で第１の強度補正演算を実行するために前記プロパティの値のセットの第１のサブセットを使用し、（vi）前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記第１の強度補正演算の結果に対して第２の強度補正演算を実行するために前記プロパティの値のセットの第２のサブセットを使用し、（vii）表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行するために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記第２の強度補正演算の結果を利用する、ように作用する命令を実行するように構成されたプロセッサと、
前記命令を含むメモリと
を備える装置。
【請求項８】
前記参照フレームのピクセルのプロパティ及び前記ビデオビットストリームの前記直接のまたは導出されたパラメータ及び前記シンタックス要素を使用して強度補正されたピクセルの前記ストリームを生成するように作用するデコーダモジュールを更に備える、請求項７に記載の装置。
【請求項９】
前記デコーダモジュールの少なくとも一部は、前記プロセッサの構成要素である、請求項８に記載の装置。
【請求項１０】
前記デコーダモジュールの少なくとも一部は、前記プロセッサによって実行可能な命令のセットとして実現される、請求項８に記載の装置。
【請求項１１】
前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接のまたは導出されたパラメータは、フレーム符号化モードシンタックス要素、ピクチャタイプシンタックス要素、ブロックの大きさシンタックス要素、動きベクトルシンタックス要素、及びＶＣプロファイルシンタックス要素のうちの少なくとも１つから抽出される、請求項７に記載の装置。
【請求項１２】
前記装置は、携帯電話、ビデオゲームコンソール、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、ビデオ対応デバイス、オーディオまたはビデオ対応デバイス、及びサーバからなる前記グループから選択された無線デバイスの一部である、請求項７に記載の装置。
【請求項１３】
参照フレームをビデオビットストリームから再構成する第１の手段と、
前記ビデオビットストリームの参照フレームの強度補正されていないコピーを記憶する第２の手段と、
前記ビデオビットストリームのシンタックス要素に少なくとも基づいてプロパティの値のセットを決定する第３の手段と、
前記参照フレームの直接のまたは導出されたパラメータのセットを前記ビデオビットストリームから抽出する第４の手段と、
前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記参照フレーム上で第１の強度補正演算を実行するために前記プロパティの値のセットの第１のサブセットを使用する第５の手段と、
前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記第１の強度補正演算の結果に対して第２の強度補正演算を実行するために前記プロパティの値のセットの第２のサブセットを使用する第６の手段と、
前記表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行するために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記第２の強度補正演算の結果を利用する第７の手段と
を備える装置。
【請求項１４】
前記第７の手段は、前記参照フレームのピクセルのプロパティ及び前記ビデオビットストリームの前記直接のまたは導出されたパラメータ及び前記シンタックス要素を使用して強度補正されたピクセルの前記ストリームを生成するように更に作用する、請求項１３に記載の装置。
【請求項１５】
前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接のまたは導出されたパラメータは、フレーム符号化モードシンタックス要素、ピクチャタイプシンタックス要素、ブロックの大きさシンタックス要素、動きベクトルシンタックス要素、及びＶＣプロファイルシンタックス要素のうちの少なくとも１つから抽出される、請求項１４に記載の装置。
【請求項１６】
コンピュータに、
参照フレームをビデオビットストリームから再構成させ、
前記ビデオビットストリームの参照フレームの強度補正されていないコピーを記憶させ、
前記ビデオビットストリームのシンタックス要素に少なくとも基づいてプロパティの値のセットを決定させ、
前記参照フレームの直接のまたは導出されたパラメータのセットを前記ビデオビットストリームから抽出させ、
前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記参照フレーム上で第１の強度補正演算を実行するために前記プロパティの値のセットの第１のサブセットを使用させ、
前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記第１の強度補正演算の結果に対して第２の強度補正演算を実行するために前記プロパティの値のセットの第２のサブセットを使用させ、
表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行するために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記第２の強度補正演算の結果を利用させる、
ための命令を記憶するコンピュータ読み取り可能記憶媒体。
【請求項１７】
前記コンピュータに前記参照フレームのピクセルのプロパティ及び前記ビデオビットストリームの前記直接のまたは導出されたパラメータ及び前記シンタックス要素を使用して強度補正されたピクセルの前記ストリームを生成するように作用するデコーダを更に形成させる命令を更に記憶する、請求項１６に記載のコンピュータ読み取り可能記憶媒体。
【請求項１８】
前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接のまたは導出されたパラメータは、フレーム符号化モードシンタックス要素、ピクチャタイプシンタックス要素、ブロックの大きさシンタックス要素、動きベクトルシンタックス要素、及びＶＣプロファイルシンタックス要素のうちの少なくとも１つから抽出される、請求項１６に記載のコンピュータ読み取り可能記憶媒体。
【請求項１９】
ビデオビットストリームを処理するように構成されたデバイスが受信された参照フレームをビデオビットストリームから再構成することと、
前記ビデオビットストリームの参照フレームの強度補正されていないコピーを、前記デバイスが記憶することと、
前記ビデオビットストリームのシンタックス要素に少なくとも基づいてプロパティの値のセットを、前記デバイスが決定することと、
前記参照フレームの直接のまたは導出されたパラメータのセットを、前記デバイスが前記ビデオビットストリームから抽出することと、
前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記参照フレーム上で第１の強度補正演算を実行するために前記プロパティの値のセットの第１のサブセットを、前記デバイスが使用することと、
前記直接のまたは導出されたパラメータのセットに少なくとも基づいて、前記第１の強度補正演算の結果に対して第２の強度補正演算を実行するために前記プロパティの値のセットの第２のサブセットを、前記デバイスが使用することと、
表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行するために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記第２の強度補正演算の結果を、前記デバイスが利用することと
を備える方法。
【請求項２０】
前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接のまたは導出されたパラメータは、フレーム符号化モードシンタックス要素、ピクチャタイプシンタックス要素、ブロックの大きさシンタックス要素、動きベクトルシンタックス要素、及びＶＣプロファイルシンタックス要素のうちの少なくとも１つから抽出される、請求項１９に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般にビデオ処理の分野に関し、特に、ビデオ処理における強度補正のための技術に関する。
【背景技術】
【０００２】
ビデオデータに含まれるデジタル情報の量は、大量であり、ビデオカメラの性能における進歩に伴って増加する傾向がある。ビデオデータの処理は、メモリ、ビデオ対応デバイスの計算及び電力要求リソース及び、特に、携帯電話、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、及びそれと同様なもののような無線通信デバイス上に大きい要求を置く。
【０００３】
映画テレビ技術者協会（ＳＭＰＴＥ）によって標準化されたビデオコーデック仕様である、ＶＣ１−ＳＭＰＴＥ標準に準拠したビデオ処理システムにおいて、フレーム再構成及び動き補正は、受信されたビデオビットストリームの強度補正されていない及び強度補正された参照フレームの両方の予め記憶されたコピーを使用してやがて実行される。特に、ＶＣ１−ＳＭＰＴＥ標準は、参照フレームの圧縮の単純な（Simple）、主要な（Main）、及び進歩した（Advanced）プロファイルを含む空間的な変換スキーム及びブロックをベースとする動き補正を定義する。
【０００４】
動作において、参照フレームの多数のコピーは、メモリの大きいブロックを消費し、それらの記憶及び検索のために増加した帯域幅必要条件を課する。ビデオ圧縮は生ビデオデータの冗長性を著しく減らすが、このような処理技術は、無線通信デバイスの総体的な性能及び消費者の重大な特性（例えば、バッテリ寿命、通話時間等）を減少させるかもしれない。
【０００５】
それゆえにビデオ処理における強度補正のための改良された技術に対する必要性がある。
【概要】
【０００６】
ビデオ処理における強度補正のための技術は、ここで記述される。１つの実施形態において、ＶＣ１−ＳＭＰＴＥ標準に準拠した無線通信デバイスは、受信されたビデオビットストリームから参照フレームとして再構成及び記憶するように作用する命令を実行するように構成されたプロセッサを備える。そのビットストリームの参照フレームの強度補正されていないコピーは、デバイスのメモリ中に記憶される。動作において、参照フレームのこのコピーは、ビデオビットストリームのフレームのための動き補正計算を実行するための強度補正されたピクセルのストリームをオンザフライで（すなわち、リアルタイムで）生成するために及び表示可能な画像を定義するために使用される。
【０００７】
開示の様々な他の観点及び実施形態は、下で更に詳細に記述される。
【０００８】
概要は、本開示の十分な程度及び範囲を表していると解釈されるということを意図されないし、意図されるべきでもない。そして、特に付加された図とともに利用されるとき、これら及び付加的な観点は、詳細な記述からより容易に明白になるであろう。
【図面の簡単な説明】
【０００９】
【図１】図１は、無線デバイスの一般のブロック図を示す。
【図２】図２は、強度補正された参照フレームのオンザフライ生成のために構成されたデコーダのハイレベルのブロック図を示す。
【図３】図３は、図２のデコーダのステージエンジン（Stage Engine）の機能図を示す。
【図４】図４は、図２のデコーダのイネーブルジェネレータ（Enable Generator）の機能図を示す。
【図５】図５は、図２のデコーダのパラメータセレクタ（Parameters Selector）の機能図を示す。
【図６】図６は、図２のデコーダの制御信号ジェネレータ（Control Signals Generator）の機能図を示す。
【図７Ａ】図７Ａは、図２のデコーダにおける強度補正動作の部分を例証する機能図を示す。
【図７Ｂ】図７Ｂは、図２のデコーダにおける強度補正動作の部分を例証する機能図を示す。
【図８】図８は、図２のデコーダを使用して強度補正された参照フレームのオンザフライ生成のための方法のフローチャートを示す。
【００１０】
理解を促進するために、適切なときに接尾辞がこのような要素を区別するために加えられるかもしれないということを以外は、同一の参照数字は、可能な場合に図に共通である同一の要素を示すために使用されている。図中の画像は、例証となる目的のために簡易化され、必ずしも縮尺通りに描かれていない。いくつかの構成の特徴が更なる詳述がなく他の構成に有益に組み入れられるかもしれないということが意図されている。
【００１１】
付加された図は、開示の例示的な構成を例証し、そういうものとして、他の等しく有効な構成を認めることができる開示の範囲を制限するとして考察されるべきでない。
【詳細な説明】
【００１２】
用語“例示的な”は、“例、実例、または例証として役に立つ”を意味するためにここでは使用される。“例示的な”としてここで記述される任意の構成または設計は、他の構成または設計を超えて好ましいまたは有利として必ずしも解釈されるべきでない。今後、用語“フレーム”及び“ピクチャ”と同様に、用語“コア”、“エンジン”、“機械”、“プロセッサ”及び“処理ユニット”は、交換できるように使用される。
【００１３】
ここで記述される技術は、無線通信、コンピューティング、家電製品、ハンドセット等のために使用されることができる。無線通信のための技術の例示的な使用は、下で記述される。
【００１４】
図１は、無線通信システム（示されない）において使用される無線デバイス１０の構成のブロック図を示す。無線デバイス１０は、携帯電話（すなわち、ハンドセット）、ビデオゲームコンソール、ＰＤＡ、ラップトップコンピュータ、ビデオまたはオーディオ／ビデオ対応デバイス、またはサーバであることができる。無線通信システムは、他の無線通信システムの中の、例えば符号分割多元接続（ＣＤＭＡ）システムまたはグローバルシステムフォーモバイルコミュニケーションズ（ＧＳＭＣ）であるかもしれない。
【００１５】
無線デバイス１００は、アンテナ１０２、受信機１０４、送信機１０６、デジタルセクション１１０、ディスプレイユニット１３０、及びメインメモリ１４０を含む。それぞれの基地局との双方向通信は、受信及び送信経路によって提供される。受信経路において、無線通信システムの基地局によって送信された信号は、アンテナ１０２によって受信され、受信機１０４に供給される。受信機１０４は、受信された信号を復調し、更なる処理のためにそれらをデジタルセクション１１０に転送する。送信経路において、送信機１０６は、デジタルセクション１１０から送信されるべきデータを取得し、そのデータで変調されたキャリア信号を生成し、基地局に送信するためにその変調されたキャリア信号をアンテナ１０２に転送する。
【００１６】
デジタルセクション１１０は、一般に多数の処理、インタフェース及びメモリモジュールを含む。描かれた例示的な実施形態において、デジタルセクション１１０は、モデムプロセッサ１１２、ビデオプロセッサ１１４、コントローラ／プロセッサ１１６、ディスプレイプロセッサ１１８、アドバンスドＲＩＳＣ（縮小命令セットコンピュータ）マシン／デジタルシグナルプロセッサ（ＡＲＭ／ＤＳＰ）１２２、グラフィックス処理ユニット（ＧＰＵ）１２４、内部メモリ１２６、内部バス１２０、及びメインメモリ１４０と連結された外部バス１２８を例証的に備える。
【００１７】
動作において、コントローラ／プロセッサ１１６は、デジタルセクション１１０の要素を管理する。モデムプロセッサ１１２は、受信機１０４から受信されたまたは送信機１０６に導かれたデータの処理（例えば、変調／復調）を実行する。ビデオプロセッサ１１４は、カムコーダ、ビデオ再生、ビデオ会議等のようなビデオアプリケーションによって製作されたビデオビットストリーム（例えば、静止または動きの画像）のための動作、符号化／復号、すなわちコーデックのような処理を実行する。したがって、ディスプレイプロセッサ１１８は、無線デバイス１００のディスプレイユニット１３０上で復号された画像のレンダリングを供給する。
【００１８】
ＧＰＵ１２４は、ＡＲＭ／ＤＳＰ１２２と組み合わせて、無線デバイス１００のためにグラフィックス処理動作を促進する。ＧＰＵ１２４は、例えば２００５年７月２８日のドキュメント“オープンＧＬ規格、バージョン１．０”に準拠することができる。そして、それは、公に利用可能である。このドキュメントは、携帯電話及び上の無線通信装置に言及された他のもののような、ハンドヘルド及びモバイルデバイスにとって適切な２Ｄベクトルグラフィックスに対する標準である。加えて、ＧＰＵ１２４はまた、オープンＧＬ２．０、オープンＧＬ ＥＳ２．０、またはＤ３Ｄ９．０グラフィックス標準に準拠することができる。
【００１９】
デジタルセクション１１０のモジュールは、他のタイプの集積回路の中の、特定用途向け集積回路（ＡＳＩＣ）、ＲＩＳＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マイクロコントローラまたはマイクロプロセッサとして製造されるかもしれないし、特定用途向け集積回路（ＡＳＩＣ）、ＲＩＳＣ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、マイクロコントローラまたはマイクロプロセッサを含むかもしれない。
【００２０】
無線デバイス１００によって受信されたまたは送信された生ビデオビットストリームは、産業に適合したビデオ圧縮及び通信標準の１つ以上に準拠したビデオ符号化技術を使用して一般に圧縮される。１つの実施形態において、生ビデオビットストリームは、ＶＣ１−ＳＭＰＴＥ標準に準拠する。
【００２１】
ＶＣ１−ＳＭＰＴＥに準拠したビデオビットストリームを復号すること及びそれぞれの内容のレンダリングは、強度補正が与えられた参照フレームに対して可能にされたときに多数のビデオフレームの再構成及び強度補正されていない及び強度補正された参照フレームの両方の生成を要求する。そして、それは、それぞれ画像表示及び動き補正目的のためにそのとき使用される。
【００２２】
デジタルセクション１１０において、ビデオプロセッサ１１４は、参照フレームに対する強度補正計算をオンザフライで実行するように構成されるデコーダ１１５を備え、したがって、無線デバイス１００のメモリ、計算、及び電力リソースの利用の有効性を増加させる。特に、デコーダ１１５は、強度補正された参照フレームのコピーを内部メモリ１２６（またはメインメモリ１４０）中に記憶する必要性を除去する。参照ピクセル（すなわち、参照フレームのピクセル）は、それらが動き補正のために使用される限り強度補正される。強度補正は、同一の参照ピクセルが異なるフレーム／フィールドによって２度参照されるかもしれないので、参照ピクセル上で２度実行される必要があるかもしれない。この場合、強度補正の第１のステージの結果は、強度補正の第２のステージにおいて使用される。
【００２３】
ＶＣ１−ＳＭＰＴＥ標準は、圧縮の単純な（Simple）、主要な（Main）、及び進歩した（Advanced）プロファイルを含む空間的な変換スキーム及びブロックをベースとする動き補正を定義する。その主要なプロファイルは単純なプロファイルのセットであり、進歩したプロファイルは主要なプロファイルのセットである。主要なプロファイルのために、強度補正は１つの参照フレームのみの上で実行され、参照ピクセルが動き補正のためにアクセスされるときはいつでも、これらのピクセルは、１つのステージの強度補正手順を使用してオンザフライで強度が補正される。進歩したプロファイルのために、同一の参照フレームは、動き補正のために２度使用されることができ、このようなフレームのためにオンザフライ強度補正は２度実行される。第一に、オンザフライ強度補正は、パラメータの１つのセットで実行され、それからその手順の結果は、パラメータの別のセットで強度が補正される。
【００２４】
図２は、デコーダ１１５のハイレベルのブロック図を示す。一般に、デコーダ１１５は、ドライバ２１０及びコア２２０を含む。ドライバ２１０は、パラメータプリプロセッサ２１２及び制御プリプロセッサ２１４を備え、コア２２０は、ステージ２２２Ａ及び２２２Ｂ、イネーブルジェネレータ２２４、パラメータセレクタ２２６及び制御信号ジェネレータ２２８を備える。
【００２５】
パラメータプリプロセッサ２１２は、ビデオビットストリームから導出されたＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を供給される。特に、強度補正モードがＯＮである場合、ＬＵＭＳＣＡＬＥは、Ｐ−ピクチャのヘッダ中にある６ビットシンタックス要素であり、強度補正モードがＯＮである場合、ＬＵＭＳＨＩＦＴは、Ｐ−ピクチャのヘッダ中にある６ビットシンタックス要素である。
【００２６】
パラメータプリプロセッサ２１２は、スライス毎に一度動作し、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＦＴシンタックス要素をコア２２０のための＜iscale＞及び＜ishift＞パラメータに翻訳する。その＜iscale＞は、参照ピクセルを縮尺するための線形スケーリングパラメータであり、＜ishift＞は、縮尺された参照ピクセルに加えられるオフセットパラメータである。
【００２７】
プロパティＳ１＿ｘ及びＳ２＿ｘ（ｘ＝０．．３の場合）は、連結された＜iscale＞及び＜ishift＞パラメータによって定義され、参照フレームのピクセルのために強度補正値の計算においてステージ２２２Ａ，２２２Ｂによって使用される。ｘ＝０及びｘ＝１に対応するプロパティは、Ｐ−フレームのための強度補正計算及びＢ−フレーム中の前方のアンカー強度補正において使用される。そして、ｘ＝２及びｘ＝３に対応するプロパティは、Ｂ−フレーム中の後方のアンカー強度補正のために使用される。それらが独立して復号されるかもしれないので、強度補正は、トップ及びボトム参照フィールドに対して異なるように実行される必要があるかもしれない。そして、その結果として、それらの参照パターンは、異なるかもしれない。
【００２８】
フィールド予測モードにおいて、偶数のインデックス付きのパラメータ（ｘ＝０及びｘ＝２に対応する）は、トップ参照フィールドに適用され、奇数のインデックス付きのパラメータ（ｘ＝１及びｘ＝３に対応する）は、ボトム参照フィールドに適用される。それぞれの参照フレーム及び復号されているフレームがフレーム符号化モード中にある場合、偶数のインデックス付きのパラメータは全体の参照フレームに適用され、奇数のインデックス付きのパラメータは無視される。Ｂ−復号されたフレームのために、後方のアンカーがフレームモード中にある場合に、強度補正が実行されないということは、注意されるべきである。下の表１は、参照のフレーム符号化モードのタイプに依存し、復号されたフレームであるこれらのパラメータのアプリケーションを要約する。
【表１】
0005536062.tif 000002
【００２９】
制御プリプロセッサ２１４には、参照フレームの直接の／導出されたパラメータが供給される。これらのパラメータは、フレーム符号化モード、ピクチャタイプ、ブロックの大きさ、動きベクトル、及びビデオビットストリームのＶＣ−プロファイルシンタックス要素から抽出される。特に、復号されたフレーム／参照フレームのフレーム符号化モードは、それぞれのフレームがインターレースフレームまたはインターレースまたはプログレッシブフィールドとして符号化されているかどうかを示すシンタックス要素であり、このようなフレームのピクチャタイプは、フレームがＩ，Ｐ，Ｂ，またはＢＩフレームであるかどうかを示すシンタックス要素である。動きベクトルシンタックス要素、動きベクトルの種類（フレームまたはフィールド）、及び動きベクトルと関連付けられた参照フレームは、復号されているマクロブロックのブロックに対応し、ＶＣ−プロファイルシンタックス要素は、ビデオビットストリームのプロファイルのタイプ（単純な、主要なまたは進歩した）を示すシーケンスヘッダシンタックス要素である。
【００３０】
制御プリプロセッサ２１４は、フェッチされている全ての参照ブロックのために動作し、＜field_mode＞、＜ref_pic_type＞、＜vc1_profile＞、＜b_p_frame＞、及び＜start_y＞パラメータ及び構成ビット＜1,2,3,4＞をコア２２０のためにセットする。
【００３１】
＜field_mode＞パラメータは、フェッチされている参照ブロックがフィールドブロック（参照のトップまたはボトムフィールドのみがフェッチされる）またはフレームブロック（参照フレームのトップ及びボトムフィールドの両方がフェッチされる）であるかどうかを示す。特に、参照フィールドの極性に依存して、復号されているピクチャがインターレースフィールドであるとき、トップまたはボトムフィールドのみがフェッチされる。相応して、動きベクトルの極性に依存して、復号されているピクチャがインターレースフレームであってフェッチされている現在のブロックがフィールド動きベクトルを有するとき、トップまたはボトムフィールドのみがフェッチされる。
【００３２】
＜ref_pic_type＞パラメータは、参照ピクチャがインターレースまたはプログレッシブタイプであるかどうかを示す。この情報は、参照フレームのピクセルをフェッチする間に境界拡張を実行する方法を決定するためにコア２２０によって使用される。
【００３３】
＜vc1_profile＞パラメータは、ビデオビットストリームのプロファイル（単純な、主要な、または進歩した）を示す。
【００３４】
＜b_p_frame＞パラメータは、参照ブロックが前方のまたは後方の参照フレームからフェッチされているかどうかを示す。Ｐフレームのために、このパラメータは、前方の参照モードに常にセットされる。そして、Ｂフレームのために、予測の方向に依存して、そのパラメータは、前方のまたは後方のモードにセットされることができる。
【００３５】
参照ブロックの＜start_y＞（開始する垂直位置）パラメータは、参照フレーム中の参照ブロックの開始する垂直位置を決定するために使用され、次に続くプロパティを含む：参照ブロックが属するマクロブロックの垂直オフセット＜mb_y＞、マクロブロック内での参照ブロックの垂直オフセット＜blk_y＞、参照ブロックの整数垂直動きベクトル＜mv_y＞、及びマクロブロックの高さ＜mb_h＞。
【００３６】
構成ビット＜config_1＞−config_4＞は、ステージ２２２Ａ及び２２２Ｂによって使用される一般にイネーブル信号である。参照フレームが組み合わせたフレームであってフェッチされているブロックがフレームモード中にある場合、これらの信号は、それぞれ、参照フレームのトップ及びボトムフィールドをフェッチするためにステージ２２２Ａ（＜config_1＞，＜config_2＞）及びステージ２２２Ｂ（＜config_3＞，＜config_4＞）を可能にする。相応して、参照フレームがプログレッシブフレームであってフェッチされているブロックがフィールドモード中にある場合、この信号＜config_3＞及び＜config_4＞は、参照フィールドのフィールド極性を決定し、信号＜config_1＞，＜config_2＞は、それぞれ、ステージ２２２Ａ及び２２２Ｂにおいて強度補正計算を行うことを可能にする。
【００３７】
ステージ２２２Ａ及び２２２Ｂは、同一の構成を有する。ステージ２２２Ａ及び２２２Ｂの各々は、イネーブルジェネレータ２２４によって生成された＜SN_even_en＞及び＜SN_odd_en＞信号によって制御される。ここで、Ｎは、ステージ２２２ＢのためのＮ＝２及びステージ２２２ＡのためのＮ＝１及び特別のステージ２２２を定義する。＜SN_even_en＞信号は、フェッチされている参照ブロックの偶数ラインの処理を本質的に可能にする。同様に、＜SN_odd_en＞信号は、フェッチされている参照ブロックの奇数ラインの処理を可能にする。イネーブル信号が０にセットされているとき、参照ピクセルは、どの演算もそれら上で実行されることなくそれぞれのステージを通過する。
【００３８】
イネーブル信号及び偶数ライン及び奇数ラインの処理は、異なるパラメータの影響を受け、特に、パラメータセレクタ２２８によって生成された＜even_line＞、＜SN_even＞、及び＜SN_odd＞信号の状態の影響を受ける。処理されている現在のラインが偶数のラインであるときに信号＜even_line＞は１にセットされ、そうでなければ他のそれは０にセットされる。＜SN_even＞信号は、スケール信号＜SN_scale_even＞（８ビット、署名された）及びシフト信号＜SN_shift_even＞（１６ビット、署名された）の組み合わせを表す。相応して、＜SN_odd＞信号は、それぞれのスケール及びシフト信号＜SN_scale_odd＞及び＜SN_shift_odd＞の組み合わせを表す。
【００３９】
図３を参照すると、ステージ２２２（例証的に、ステージ２２２Ａの機能図が示される）は、マルチプレクサ３０１−３０４、乗算器３０５、及び加算器３０６及び３０７を一般に含む。マルチプレクサ３０１−３０３は、＜even_line＞信号によって制御され、＜S1_even_en＞、＜S1_scale_even＞、＜S1_scale_odd＞、＜S1_shift_even＞、及び＜S1_shift_odd＞信号とともに選択的に入力される。
【００４０】
マルチプレクサ３０４は、マルチプレクサ３０３の出力信号によって制御され、（i）ビデオビットストリームの参照フレームの生（すなわち、強度補正されていない）ピクセルのストリーミングデータ及び（ii）それが乗算器３０５、及び加算器３０６，３０７によって連続的に処理された後の同一のデータとともに入力される。動作において、マルチプレクサ３０４は、それぞれの参照フレームの強度補正されたピクセルのリアルタイム中に（すなわち、オンザフライで）出力する。
【００４１】
図４を参照すると、イネーブルジェネレータ２２４は、モジュール１２５Ａ及び１２５Ｂを含み、各々のモジュールはステージ２２２Ａ及びステージ２２２Ｂを選択的に制御する。モジュール１２５Ａ１２５Ｂは、マルチプレクサ４０１−４０４及び４０５−４０８をそれぞれ備える。そして、それは、制御信号ジェネレータ２２８（図６に関して下で議論される）によって生成された信号＜start_line_even_SN＞及び＜special_mode＞によって可能にされ、制御プリプロセッサ２１４によって生成された信号＜config_1＞−＜config_4＞とともに入力される。＜special_mode＞信号は、フレームモードアクセスが可能にされ、参照ピクチャがインターレースフレーム／フィールドとして復号される、圧縮の進歩したプロファイルの場合に言及する。
【００４２】
動作において、モジュール１２５Ａ及び１２５Ｂは、ステージ２２２Ａまたはステージ２２２Ｂにおいて使用される信号＜SN_even_en＞を生成する。信号＜SN_even_en＞が論理状態１に到達するとき、偶数参照ラインは強度補正される。そうでなければ参照ラインのオリジナル値は不変を保たれる。同様に、信号＜SN_odd_en＞が論理状態１に到達するとき、奇数参照ラインは強度補正される。そうでなければ参照ラインのオリジナル値は不変を保たれる。
【００４３】
図５を参照すると、パラメータセレクタ２２６は、モジュール１２７Ａ及び１２７Ｂを含み、各々のモジュールはステージ２２２Ａまたはステージ２２２Ｂを選択的に制御する。モジュール１２７Ａ１２７Ｂは、マルチプレクサ５０１−５０５及び５０６−５１０をそれぞれ備える。そして、それは、制御信号ジェネレータ２２８によって生成された信号＜start_line_even_SN＞、＜special_mode＞、及び＜parameters_offset＞によって可能にされ、パラメータプリプロセッサ２１２によって生成された信号＜SN0＞−＜SN3＞とともに選択的に入力される。＜parameters_offset＞信号は、圧縮の進歩したプロファイルの場合において後方の参照パラメータの前方のどちらか一方を意味し、出力信号＜SN_even＞及び＜SN_odd＞は、それぞれ、参照フレームの偶数及び奇数ラインを処理するためにステージ２２２Ａ、２２２Ｂにおいて使用される。
【００４４】
図６を参照すると、制御信号ジェネレータ２２８は、マルチプレクサ６０１−６０５、シフター６０６、加算器６０７及び６０８、演算ＡＮＤ（６０９、６１０）及び論理ＡＮＤ（６１１、６１２）要素、及びインバータ６１３−６１５を含む。制御信号ジェネレータ２２８の構成要素は、信号＜field_mode＞、＜ref_picture_type＞、＜vc1_profile＞、＜b_p_frame＞、＜blk_y＞、＜mb_y＞、＜mv_y＞、＜mb_h＞、＜frame_h＞、及び＜config_1＞−＜config_4＞とともに入力される。これらの信号は、図２に対する言及において上で議論されたように、処理されたビデオビットストリームから導出されたシンタックス要素を使用してパラメータプリプロセッサ２１２によって生成される。そして、＜１＞及び＜２＞は、それぞれ、信号＜start_y＞及び＜b_p_frame＞の状態をテストするプローブ信号である。動作において、制御信号ジェネレータ２２８は、＜start_line_even_SN＞、＜special_mode＞、及び＜parameters_offset＞信号をパラメータセレクタ２２６のために出力する。
【００４５】
図７Ａ−７Ｂを参照すると、＜start_line_even_SN＞信号は、処理されている参照フレーム７００のフェッチされているブロック７１０において最初のラインの開始する垂直インデックスを示す。組み合わせた参照からのフレームモードブロックアクセスの場合、コア２２０は、ブロック７１０が参照のトップ（Ｔ）またはボトム（Ｂ）フィールドに整列しているかどうかを決定するためにこの情報を使用する。ブロック７１０が参照のトップフィールドに整列している場合（図７Ｂ）、そのブロックの偶数／奇数ラインは、それぞれ、参照のトップ／ボトムフィールドパラメータを使用して強度補正を受ける。相応して、ブロック７１０が参照のボトムフィールドに整列している場合（図７Ｂ）、そのブロックの偶数／奇数ラインは、それぞれ、参照のボトム／トップフィールドパラメータを使用して強度補正を受ける。
【００４６】
図８は、デコーダ１１５を使用して強度補正された参照フレームのオンザフライ生成のための方法８００を例証するフローチャートを示す。ステップ８１０で、強度補正されていない参照フレームは、デジタルセクション１１０の構成要素によってビデオビットストリームから連続的に抽出される。それから、ステップ８２０で、強度補正されていない参照フレームのコピーは、（例えば、デジタルセクション１１０の内部メモリ１２６の中に）記憶される。それから、記憶されたコピーは、表示可能な画像を定義する（ステップ８３０Ａ）ために及びビデオビットストリームのフレームのための動き補正計算を実行するために強度補正されたピクセルのストリームのオンザフライ生成（ステップ８３０Ｂ）のために使用される。これらのステップは、ビデオビットストリームの全ての参照フレームに対して連続的に繰り返される。
【００４７】
例示的な実施形態において、方法８００は、１つ以上のコンピュータ実行可能命令を備えるコンピュータプログラム製品の形式においてハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせにおいて実現されることができる。ソフトウェアにおいて実現されるとき、コンピュータプログラム製品は、コンピュータ読み取り可能媒体上に記憶されるまたはコンピュータ読み取り可能媒体を使用して送信されることができる。そして、それは、コンピュータ記憶媒体及びコンピュータ通信媒体を含む。
【００４８】
用語“コンピュータ記憶媒体”は、コンピュータに方法８００を実行させる命令を記憶するために適当である任意の媒体についてここでは言及する。制限でなく、例として、コンピュータ記憶媒体は、電子メモリデバイス（例えば、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、及びそれと同様なもの）、光メモリデバイス（例えば、コンパクトディスク（ＣＤ）、デジタルバーサタイルディスク（ＤＶＤ）、及びそれと同様なもの）、磁気メモリデバイス（例えば、ハードドライブ、フラッシュドライブ、テープドライブ、及びそれと同様なもの）、またはコンピュータプログラム製品を記憶するために適当である他のメモリデバイス、またはこのようなメモリデバイスの組み合わせを含むソリッドステートメモリデバイスを備えることができる。
【００４９】
用語“コンピュータ通信媒体”は、例えば、変調された搬送波、光信号、ＤＣまたはＡＣ電流、及びそれと同様な手段を使用してある場所から別の場所にコンピュータプログラム製品を送信するために適当である任意の物理インタフェースについてここでは言及する。制限でなく、例として、コンピュータ通信媒体は、ツイストペア線、プリントまたはフラットケーブル、同軸ケーブル、光ファイバーケーブル、デジタル加入者線（ＤＳＬ）、または他の有線、無線、または光シリアルまたはパラレルインタフェース、またはそれらの組み合わせを備えることができる。
【００５０】
開示された構成の前の記述は、任意の当業者にその開示を作るまたは使用することを可能にさせるために提供される。これらの構成に対する様々な変更は、当業者に容易に明白であろう。そして、ここで定義されている一般原理は、その開示の精神または範囲から逸脱することなく他の構成に適用されることができる。したがって、その開示は、ここで示される構成に制限されることは意図されないが、ここで開示された原理及び新しい特徴と矛盾しないで最も広い範囲を与えられることが意図される。  
以下に、本願出願時の特許請求の範囲に記載された発明を付記する。
〔１〕（ｉ）参照フレームをビデオビットストリームから再構成し、（ｉｉ）前記ビデオビットストリームの参照フレームの強度補正されていないコピーを記憶し、（ｉｉｉ）表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行するために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記参照フレームの前記コピーを利用する、ように作用する命令を実行するように構成されたプロセッサと、
前記命令を含むメモリと
を備える集積回路（ＩＣ）。
〔２〕前記参照フレームのピクセルのプロパティ及び前記ビデオビットストリームの直接の／導出されたパラメータ及びシンタックス要素を使用して強度補正されたピクセルの前記ストリームを生成するように作用するデコーダモジュールを更に備える、前記〔１〕に記載の集積回路。
〔３〕前記デコーダモジュールの少なくとも一部は、前記プロセッサの構成要素である、前記〔２〕に記載の集積回路。
〔４〕前記デコーダモジュールの少なくとも一部は、前記プロセッサによって実行可能な１組の命令として実現される、前記〔２〕に記載の集積回路。
〔５〕前記プロセッサは、前記ビデオビットストリームの直接の／導出されたパラメータ及びシンタックス要素及び前記参照フレームのピクセルのプロパティを使用して強度補正されたピクセルの前記リアルタイムストリームを生成するように更に作用する、前記〔１〕に記載の集積回路。
〔６〕前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接の／導出されたパラメータは、フレーム符号化モード、ピクチャタイプ、ブロック次元、動きベクトル、及びＶＣプロファイルシンタックス要素から抽出される、前記〔５〕に記載の集積回路。
〔７〕前記集積回路は、携帯電話、ビデオゲームコンソール、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、ビデオ対応デバイス、オーディオ／ビデオ対応デバイス、及びサーバからなる前記グループから選択される無線デバイスの一部である、前記〔１〕に記載の集積回路。
〔８〕（ｉ）参照フレームをビデオビットストリームから再構成し、（ｉｉ）前記ビデオビットストリームの参照フレームの強度補正されていないコピーを記憶し、（ｉｉｉ）表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行するために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記参照フレームの前記コピーを利用する、ように作用する命令を実行するように構成されたプロセッサと、
前記命令を含むメモリと
を備える装置。
〔９〕前記参照フレームのピクセルのプロパティ及び前記ビデオビットストリームの直接の／導出されたパラメータ及びシンタックス要素を使用して強度補正されたピクセルの前記ストリームを生成するように作用するデコーダモジュールを更に備える、前記〔８〕に記載の装置。
〔１０〕前記デコーダモジュールの少なくとも一部は、前記プロセッサの構成要素である、前記〔９〕に記載の装置。
〔１１〕前記デコーダモジュールの少なくとも一部は、前記プロセッサによって実行可能な１組の命令として実現される、前記〔９〕に記載の装置。
〔１２〕前記プロセッサは、前記ビデオビットストリームの直接の／導出されたパラメータ及びシンタックス要素及び前記参照フレームのピクセルのプロパティを使用して強度補正されたピクセルの前記リアルタイムストリームを生成するように更に作用する、前記〔８〕に記載の装置。
〔１３〕前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接の／導出されたパラメータは、フレーム符号化モード、ピクチャタイプ、ブロック次元、動きベクトル、及びＶＣプロファイルシンタックス要素から抽出される、前記〔１２〕に記載の装置。
〔１４〕前記装置は、携帯電話、ビデオゲームコンソール、パーソナルデジタルアシスタント（ＰＤＡ）、ラップトップコンピュータ、ビデオ対応デバイス、オーディオ／ビデオ対応デバイス、及びサーバからなる前記グループから選択された無線デバイスの一部である、前記〔８〕に記載の装置。
〔１５〕参照フレームをビデオビットストリームから再構成する第１の手段と、
前記ビデオビットストリームの参照フレームの強度補正されていないコピーを記憶する第２の手段と、
表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行するために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記参照フレームの前記コピーを利用する第３の手段と
を備える装置。
〔１６〕前記第３の手段は、前記参照フレームのピクセルのプロパティ及び前記ビデオビットストリームの直接の／導出されたパラメータ及びシンタックス要素を使用して強度補正されたピクセルの前記ストリームを生成するように更に作用する、前記〔１５〕に記載の装置。
〔１７〕前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接の／導出されたパラメータは、フレーム符号化モード、ピクチャタイプ、ブロック次元、動きベクトル、及びＶＣプロファイルシンタックス要素から抽出される、前記〔１６〕に記載の装置。
〔１８〕コンピュータに、
参照フレームをビデオビットストリームから再構成させ、
前記ビデオビットストリームの参照フレームの強度補正されていないコピーを記憶させ、
表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行させるために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記参照フレームの前記コピーを利用させる、
ための命令を有するコンピュータ読み取り可能媒体を含むコンピュータプログラム製品。
〔１９〕前記命令は、前記コンピュータに前記参照フレームのピクセルのプロパティ及び前記ビデオビットストリームの直接の／導出されたパラメータ及びシンタックス要素を使用して強度補正されたピクセルの前記ストリームを生成するように作用するデコーダを更に形成させる、前記〔１８〕に記載のコンピュータプログラム製品。
〔２０〕前記ビデオビットストリームの直接の／導出されたパラメータ及びシンタックス要素及び前記参照フレームのピクセルのプロパティを使用して強度補正されたピクセルの前記リアルタイムストリームを生成することを更に備える、前記〔１８〕に記載のコンピュータプログラム製品。
〔２１〕前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接の／導出されたパラメータは、フレーム符号化モード、ピクチャタイプ、ブロック次元、動きベクトル、及びＶＣプロファイルシンタックス要素から抽出される、前記〔２０〕に記載のコンピュータプログラム製品。
〔２２〕参照フレームをビデオビットストリームから再構成することと、
前記ビデオビットストリームの参照フレームの強度補正されていないコピーを記憶することと、
表示可能な画像を定義するために及び前記ビデオビットストリームのフレームのための動き補正計算を実行するために使用される強度補正されたピクセルのストリームをオンザフライで生成するために前記参照フレームの前記コピーを利用することと
を備える方法。
〔２３〕前記ビデオビットストリームの直接の／導出されたパラメータ及びシンタックス要素及び前記参照フレームのピクセルのプロパティを使用して強度補正されたピクセルの前記リアルタイムストリームを生成することを更に備える、前記〔２２〕に記載の方法。
〔２４〕前記シンタックス要素は、ＬＵＭＳＣＡＬＥ及びＬＵＭＳＨＩＦＴシンタックス要素を含み、前記直接の／導出されたパラメータは、フレーム符号化モード、ピクチャタイプ、ブロック次元、動きベクトル、及びＶＣプロファイルシンタックス要素から抽出される、前記〔２３〕に記載の装置。
【図１】
0005536062.tif 000003
【図２】
0005536062.tif 000004
【図３】
0005536062.tif 000005
【図４】
0005536062.tif 000006
【図５】
0005536062.tif 000007
【図６】
0005536062.tif 000008
【図７Ａ】
0005536062.tif 000009
【図７Ｂ】
0005536062.tif 000010
【図８】
0005536062.tif 000011