(57)【特許請求の範囲】
【請求項１】
ビデオデータを符号化するための装置であって、
フレームを含むビデオデータを受け取るように構成された符号化器（２０２）を含み、
前記符号化器（２０２）が、前記ビデオデータ内の連続フレームの系列に基づいて、少なくとも１つの時間的構造を決定するように構成され、前記少なくとも１つの時間的構造が、前記系列内の各フレームに属するビデオデータのサブブロックを含み、前記系列内の各フレームは、複数のブロックに分割されており、前記系列内の各フレームに属するビデオデータの前記サブブロックは、それぞれの複数のブロックのうちの１つに相当し、
前記符号化器（２０２）が、測定行列を獲得するように構成され、前記測定行列が、特定のパターンタイプのピクセル値を有する１組の測定基底を含み、
前記符号化器（２０２）が、前記測定行列を前記少なくとも１つの時間的構造に適用することによって、１組の測定値を生成するように構成され、前記１組の測定値が、前記少なくとも１つの時間的構造を表す符号化データである、
装置。
【請求項２】
前記符号化器（２０２）が、前記系列内のフレームの各々における同じ位置からビデオデータのサブブロックを抽出し、前記抽出したサブブロックに基づいて、前記時間的構造を形成する、請求項１に記載の装置。
【請求項３】
前記符号化器（２０２）が、前記系列内の少なくとも１つのフレームにおける異なる位置からビデオデータのサブブロックを抽出し、前記抽出したサブブロックに基づいて、前記時間的構造を形成し、前記抽出したサブブロックが、物体の運動軌跡を表す、請求項１に記載の装置。
【請求項４】
前記測定行列が、ランダム置換ウォルシュ−アダマール行列である、請求項１に記載の装置。
【請求項５】
前記符号化器（２０２）が、１次元（１Ｄ）ベクトルを獲得するために、前記時間的構造のピクセルをスキャンするようにさらに構成され、前記１Ｄベクトルが、前記時間的構造のピクセル値を含み、
前記符号化器（２０２）が、前記１組の測定値を生成するために、前記１Ｄベクトルを前記測定行列の各列で乗算するようにさらに構成されている、
請求項１に記載の装置。
【請求項６】
１組の測定値からの少なくとも１つの測定値を再構成されるビデオデータに復号するための装置であって、
前記１組の測定値は、連続フレームの系列を含むビデオデータを表し、
前記１組の測定値から前記少なくとも１つの測定値を受け取るように構成された復号器（２０５）を含み、
前記復号器（２０５）が、符号化器（２０２）において前記ビデオデータに適用された測定行列を獲得するように構成され、前記測定行列が、特定のパターンタイプのピクセル値を有する１組の測定基底を含み、
前記復号器（２０５）が、候補ビデオデータを決定するように構成され、前記候補ビデオデータは、前記測定行列と前記受け取った測定値とに基づいており、
前記復号器（２０５）が、前記候補ビデオデータの離散コサイン変換（ＤＣＴ）係数を、時間方向においてＤＣＴ変換を適用することによって決定するように構成され、
前記復号器（２０５）が、フレーム毎のベースで、前記ＤＣＴ係数の全変動（ＴＶ）を実行することによって、前記再構成されるビデオデータを決定するように構成されている、
装置。
【請求項７】
前記復号器（２０５）が、前記ＤＣＴ係数の前記全変動（ＴＶ）の最小化に従って、再構成されるビデオデータの１次元（１Ｄ）表現を計算するようにさらに構成されている、
請求項６に記載の装置。
【請求項８】
前記復号器（２０５）が、前記再構成されるビデオデータの１Ｄ表現に基づいて、前記再構成されるビデオデータのフレームを決定するようにさらに構成されている、
請求項７に記載の装置。
【請求項９】
前記復号器（２０５）が、前記再構成されるビデオデータの１Ｄ表現に基づいて、少なくとも１つの時間的構造を形成するようにさらに構成され、前記時間的構造が、前記ビデオデータ内の各フレームに属するビデオデータのサブブロックを含み、
前記復号器（２０５）が、前記少なくとも１つの時間的構造に基づいて、前記再構成されるビデオデータを決定するようにさらに構成されている、
請求項７に記載の装置。
【請求項１０】
前記測定行列が、ランダム置換ウォルシュ−アダマール行列である、請求項６に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮測定値を使用するビデオ符号化に関する。
【背景技術】
【０００２】
ビデオネットワークでは、異なる特性を有する複数のクライアントデバイスに、ビデオソースを送信することができる。ビデオネットワーク内のクライアントデバイスは、異なるチャネル容量、異なるディスプレイ解像度、および異なるコンピューティングリソースを有することができる。例えば、ビデオソースは、ビデオネットワークを介して、自宅の高解像度モニタを有する高性能コンピュータに送信することができ、同時に、低解像度スクリーンおよびバッテリ駆動のＣＰＵを有するモバイルデバイスに送信することができる。したがって、同じ符号化ビデオストリームを送信して、それをネットワーク内の異なる特性のすべてのクライアントで使用できるような方法で、ビデオソースを符号化することが望ましい。言い換えると、ビデオソースを一度だけ符号化し、同じ符号化ビデオを異なるチャネルレートで送信し、それを異なる解像度で、複雑度を違えて復号することが望ましい。
【０００３】
ＭＰＥＧ２などの従来のビデオ符号化は、上述のような今日のビデオネットワークのために望まれるスケーラビリティを提供しない。スケーラビリティの欠如は、少なくとも２つの現れ方をする。第１に、ＭＰＥＧ２符号化ビデオは、送信チャネル容量に関してスケーラブルではない。ビットレートが固定されているため、符号化ＭＰＥＧ２ストリームは、より低いビットレートしかサポートしないチャネルでは使用不可能であり、同時に、ビットレートがより高いチャネルでは準最適でしかない。これが、ビデオブロードキャストまたはマルチキャストにおいて遭遇するクリフ効果（ｃｌｉｆｆ  ｅｆｆｅｃｔ）の原因である。第２に、ＭＰＥＧ２ビデオは、復号器解像度または復号複雑度に関してスケーラブルではない。ＭＰＥＧ２ビデオは、１つの解像度でしか復号できず、複雑度が固定されている（復号後のリサイジングなどの後処理または機能強化を考慮しない）。そのため、解像度および復号複雑度が異なる復号器のために、同じビデオコンテンツの複数の符号化ストリームを用意する必要性が生じる。
【０００４】
ビデオ符号化にスケーラビリティを導入するための取組みがなされてきた。しかし、これら従来の取組みは、ビデオデータをストリームの順序付けられたレイヤまたはレベルに符号化し、より高いレイヤまたはレベルが復号器に追加されるにつれて、復号ビデオの解像度または品質が漸進的に増加する。より大きな帯域幅効率を達成するために、これらのスケーラブルなビデオ符号と併せて、階層変調（ｈｉｅｒａｒｃｈｉｃａｌ  ｍｏｄｕｌａｔｉｏｎ）を使用することができる。例えば、より低いレイヤのビデオストリームを搬送するために、プライオリティが高い階層変調を使用することができ、より高いレイヤのビデオストリームを搬送するために、プライオリティが低い階層変調を使用することができる。これらの取組みは、従来のビデオ符号化を使用するビデオ送信において、クリフ効果などの問題をいくらか緩和したが、モバイルビデオブロードキャストの課題は依然として残っている。
【発明の概要】
【課題を解決するための手段】
【０００５】
本発明は、圧縮測定値を使用するビデオ符号化のための装置および方法に関する。
【０００６】
方法は、フレームを含むビデオデータを受け取るステップと、ビデオデータ内の連続フレームの系列に基づいて、少なくとも１つの時間的構造を決定するステップとを含む。時間的構造は、系列内の各フレームからのビデオデータのサブブロックを含む。方法は、測定行列（ｍｅａｓｕｒｅｍｅｎｔ  ｍａｔｒｉｘ）を獲得するステップと、測定行列を少なくとも１つの時間的構造に適用することによって、１組の測定値を生成するステップとをさらに含む。測定行列は、ピクセル値の割り当てられたパターンを含み、１組の測定値は、少なくとも１つの時間的構造を表す符号化データである。
【０００７】
決定するステップは、系列内のフレームの各々において同じ位置からビデオデータのサブブロックを抽出するステップと、抽出したサブブロックに基づいて、時間的構造を形成するステップとをさらに含むことができる。
【０００８】
別の実施形態では、決定するステップは、系列の少なくとも１つのフレームにおいて異なる位置からビデオデータのサブブロックを抽出するステップと、抽出したサブブロックに基づいて、時間的構造を形成するステップとをさらに含むことができ、抽出したサブブロックは、物体の運動軌跡を表す。
【０００９】
測定行列は、１組の測定基底（ｍｅａｓｕｒｅｍｅｎｔ  ｂａｓｅｓ）によって表すことができ、１組の測定基底のうちの各測定基底は、ビデオデータの同じ決定された時間的構造を有する。測定行列は、ランダム置換ウォルシュ−アダマール行列（ｒａｎｄｏｍｌｙ  ｐｅｒｍｕｔａｔｅｄ  Ｗａｌｓｈ−Ｈａｄａｍａｒｄ  ｍａｔｒｉｘ）とすることができる。
【００１０】
生成するステップは、１次元（１Ｄ）ベクトルを獲得するために、時間的構造のピクセルをスキャンするステップであって、１Ｄベクトルが、時間的構造のピクセル値を含む、ステップと、１組の測定値を生成するために、１Ｄベクトルを測定行列の各列で乗算するステップとをさらに含む。ベクトルの１Ｄ長は、１つのフレーム内の水平および垂直ピクセルの数と、系列内の連続フレームの数とに基づく。
【００１１】
本発明の実施形態は、復号器によってビデオデータを復号するための方法も含む。方法は、ビデオデータを表す１組の測定値から少なくとも１つの測定値を受け取るステップと、符号化器においてビデオデータに適用された測定行列を獲得するステップとを含む。測定行列は、ピクセル値の割り当てられたパターンを含む。方法は、候補ビデオデータの離散コサイン変換（ＤＣＴ）係数の全変動（ＴＶ：ｔｏｔａｌ  ｖａｒｉａｔｉｏｎ）に従って、ビデオデータを再構成するステップをさらに含む。候補ビデオデータは、測定行列と、受け取った測定値とに基づく。ＴＶは、異方性ＴＶ（ａｎｉｓｏｔｒｏｐｉｃ  ＴＶ）と等方性ＴＶ（ｉｓｏｔｒｏｐｉｃ  ＴＶ）のうちの一方である。
【００１２】
再構成ステップは、候補ビデオデータの時間方向におけるＤＣＴ係数を決定するステップと、フレーム毎のＤＣＴ係数のＴＶを決定するステップと、ＤＣＴ係数のＴＶの最小化に従って、１組の値を計算するステップとをさらに含む。方法は、１組の値に基づいて、ビデオデータのフレームを再構成するステップをさらに含む。また、方法は、１組の値に基づいて、少なくとも１つの時間的構造を形成することであって、時間的構造が、ビデオデータ内の各フレームに属するビデオデータのサブブロックを含む、形成することと、少なくとも１つの時間的構造に基づいて、ビデオデータを再構成することとによって、ビデオデータを再構成することができる。
【００１３】
測定行列は、１組の測定基底によって表され、１組の測定基底のうちの各測定基底は、ランダムパターンのピクセル値を有する時間的構造を有する。また、測定行列は、ランダム置換ウォルシュ−アダマール行列とすることができる。
【００１４】
本発明の実施形態は、ビデオデータを符号化するための装置を提供する。装置は、符号化器を含み、この符号化器は、フレームを含むビデオデータを受け取り、ビデオデータ内の連続フレームの系列に基づいて、少なくとも１つの時間的構造を決定するように構成され、時間的構造は、系列内の各フレームに属するビデオデータのサブブロックを含む。符号化器は、測定行列を獲得するように構成されている。測定行列は、ピクセル値の割り当てられたパターンを含む。符号化器は、測定行列を少なくとも１つの時間的構造に適用することによって、１組の測定値を生成するように構成されている。１組の測定値は、少なくとも１つの時間的構造を表す符号化データである。
【００１５】
また、符号化器は、系列内のフレームの各々において同じ位置からビデオデータのサブブロックを抽出し、抽出したサブブロックに基づいて、時間的構造を形成することができる。さらに、符号化器は、系列の少なくとも１つのフレームにおいて異なる位置からビデオデータのサブブロックを抽出し、抽出したサブブロックに基づいて、時間的構造を形成することができ、抽出したサブブロックは、物体の運動軌跡を表す。
【００１６】
また、符号化器は、１次元（１Ｄ）ベクトルを獲得するために、時間的構造のピクセルをスキャンし、１組の測定値を生成するために、１Ｄベクトルを測定行列の各列で乗算するように構成することができる。ベクトルの１Ｄ長は、１つのフレームにおける水平および垂直ピクセルの数と、系列内の連続フレームの数とに基づいてもよい。
【００１７】
本発明の実施形態は、ビデオデータを復号するための装置を提供する。装置は、ビデオデータを表す１組の測定値から少なくとも１つの測定値を受け取り、符号化器においてビデオデータに適用された測定行列を獲得するように構成された復号器を含む。測定行列は、ピクセル値の割り当てられたパターンを含む。また、復号器は、候補ビデオデータの離散コサイン変換（ＤＣＴ）係数の全変動（ＴＶ）に従って、ビデオデータを再構成するように構成されている。候補ビデオデータは、測定行列と、受け取った測定値とに基づく。ＴＶは、異方性ＴＶと等方性ＴＶのうちの一方である。
【００１８】
また、復号器は、候補ビデオデータの時間方向におけるＤＣＴ係数と、フレーム毎のＤＣＴ係数のＴＶとを決定し、ＤＣＴ係数のＴＶの最小化に従って、１組の値を計算するように構成することができる。
【００１９】
復号器は、１組の値に基づいて、ビデオデータのフレームを再構成するように構成することができる。また、復号器は、１組の値に基づいて、少なくとも１つの時間的構造を形成し、少なくとも１つの時間的構造に基づいて、ビデオデータを再構成するように構成することができる。
【００２０】
測定行列は、１組の測定基底によって表すことができ、１組の測定基底のうちの各測定基底は、ランダムパターンのピクセル値を有する時間的構造を有する。
【００２１】
例示的な実施形態は、本明細書で与えられる詳細な説明および添付の図面からより完全に理解されるようになり、図面では、類似の要素は、類似の参照番号によって表され、詳細な説明および図面は、もっぱら実施例として与えられ、したがって、本発明を限定しない。
【図面の簡単な説明】
【００２２】
【図１】本発明の一実施形態による、通信ネットワークを示す図である。
【図２】本発明の一実施形態による、送信元デバイスおよび宛先デバイスのコンポーネントを示す図である。
【図３】本発明の一実施形態による、圧縮測定値を使用して、受け取ったビデオデータを符号化する方法を示す図である。
【図４】本発明の一実施形態による、ビデオ符号化器がビデオデータからどのようにビデオキューブを形成するかを示す図である。
【図５】本発明の一実施形態による、ビデオ符号化器がビデオデータからどのようにビデオチューブを形成するかを示す図である。
【図６】本発明の一実施形態による、１組の測定基底をビデオキューブに適用する符号化プロセスを示す図である。
【図７】本発明の一実施形態による、１組の測定基底をビデオチューブに適用する符号化プロセスを示す図である。
【図８】本発明の一実施形態による、ビデオ復号器によってビデオデータを復号するためのプロセスを示す図である。
【図９】本発明の一実施形態による、ビデオ復号器によって復号を行うための方法を示す図である。
【図１０】本発明の一実施形態による、時間方向におけるピクセル毎の離散コサイン変換（ＤＣＴ）を示す図である。
【図１１】本発明の一実施形態による、異方性全変動または等方性全変動の場合の全変動（ＴＶ２）関数を示す図である。
【図１２】本発明の一実施形態による、宛先デバイスによって受信された測定値の量に従った表示ビデオデータの精度比較を示すグラフである。
【発明を実施するための形態】
【００２３】
次に、本発明の様々な実施形態が、添付の図面を参照しながらより完全に説明される。図面上の類似の要素は、類似の参照番号によってラベル付けされる。
【００２４】
本明細書で使用される場合、「ａ」、「ａｎ」、「ｔｈｅ」を冠する単数形は、文脈から明らかにそうではないと分かる場合を除いて、複数形も同様に含むことが意図されている。本明細書で使用される場合、「ｃｏｍｐｒｉｓｅｓ」、「ｃｏｍｐｒｉｓｉｎｇ」、「ｉｎｃｌｕｄｅｓ」、および／または「ｉｎｃｌｕｄｉｎｇ」という語句は、提示された特徴、整数、ステップ、操作、要素、および／または構成要素の存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、操作、要素、構成要素、および／またはそれらのグループの存在または追加を除外しないことをさらに理解されたい。
【００２５】
本発明が、添付の図面を参照しながら、今から説明される。図面では、様々な構造、システム、およびデバイスは、もっぱら説明を目的として、また当業者によく知られた細部が本発明を不明瞭にしないように、概略的に示される。それにも係わらず、本発明の説明的な例を描写し、説明するために、添付の図面が含まれる。本明細書で使用される語および語句は、当業者によるそれらの語および語句の理解と矛盾しない意味を有するものと理解され、解釈されるべきである。用語または語句が特別の意味を、すなわち当業者による理解とは異なる意味を有することが意図される場合に限り、そのような特別な定義が、用語または語句についての特別な定義を直接的かつ明解に提供する本明細書において明示的に説明される。
【００２６】
本発明の実施形態は、圧縮測定値を使用してビデオデータを符号化および復号するための方法および装置を提供する。本開示の第１のパートでは、圧縮測定値を使用してビデオデータを符号化し、その後、元のビデオデータを表現する１組の測定値を送信することについて説明する。本開示の第２のパートでは、送信された１組の測定値に対して最適化プロセスを使用して、ビデオデータを再構成することによって、符号化ビデオデータを復号することについて説明する。
【００２７】
図１は、本発明の一実施形態による、通信ネットワークを示している。通信ネットワークは、ビデオデータを獲得し、符号化し、および／または送信するための少なくとも１つの送信元デバイス１０１と、ビデオ伝送アプリケーションをサポートするネットワーク１０２と、ビデオデータを受信し、受信したビデオデータを復号し、および／または表示するための少なくとも１つの宛先デバイス１０３とを含む。ネットワーク１０２は、任意の知られている無線または有線の伝送ネットワークとすることができる。例えば、ネットワーク１０２は、無線ネットワークコントローラ（ＲＮＣ）、基地局（ＢＳ）、またはネットワーク１０２を介してビデオデータを１つのデバイスから別のデバイスに送信するのに必要な他の任意の知られているコンポーネントを含む、無線ネットワークとすることができる。ネットワーク１０２のビデオ伝送アプリケーション部分は、例えば、デジタルビデオブロードキャスティング−ハンドヘルド（ＤＶＢ−Ｈ）、デジタルビデオブロードキャスティング−ハンドヘルド向け衛星サービス（ＤＶＢ−ＳＨ）、ロングタームエボリューション（ＬＴＥ）、または進化型マルチメディアブロードキャストおよびマルチキャストサービス（ｅＭＢＭＳ）を含むことができる。１つのデバイスは、専用または共用通信チャネルを介してビデオ情報を別のデバイスに送信することができる。
【００２８】
送信元デバイス１０１は、例えば、パーソナルコンピュータシステム、カメラシステム、モバイルテレビ電話、スマートフォン、またはネットワーク１０２に接続できる任意のタイプのコンピューティングデバイスなど、ビデオデータを獲得し、ネットワーク１０２を介して送信するためにビデオデータを符号化することが可能な任意のタイプのデバイスとすることができる。各送信元デバイス１０１は、少なくとも１つのプロセッサと、メモリと、プロセッサによって実行されるアプリケーション記憶命令とを含む。送信元デバイス１０１の獲得、符号化、送信、または他の任意の機能は、少なくとも１つのプロセッサによって制御することができる。しかし、送信元デバイス１０１の特定のタイプの機能または多くの機能を制御するために、多くの別個のプロセッサを提供することができる。以下で説明される機能を実行するコントローラの実装形態は、当業者の技能の範囲内にある。
【００２９】
宛先デバイス１０３は、パーソナルコンピュータシステム、モバイルテレビ電話、スマートフォン、またはネットワーク１０２からビデオ情報を受信できる任意のタイプのコンピューティングデバイスなど、ビデオデータを受信し、復号し、表示することが可能な任意のタイプのデバイスとすることができる。宛先デバイス１０３の受信、復号、表示、または他の任意の機能は、少なくとも１つのプロセッサによって制御することができる。しかし、宛先デバイス１０３の特定のタイプの機能または多くの機能を制御するために、多くの別個のプロセッサを提供することができる。以下で説明される機能を実行するコントローラの実装形態は、当業者の技能の範囲内にある。
【００３０】
図２は、本発明の一実施形態による、送信元デバイス１０１および宛先デバイス１０３のコンポーネントを示している。例えば、送信元デバイス１０１は、獲得部２０１と、ビデオ符号化器２０２と、チャネル符号化器２０３とを含む。加えて、送信元デバイス１０１は、当業者によく知られている他のコンポーネントを含むことができる。図２を参照すると、獲得部２０１は、送信元デバイス１０１内に含まれる、または送信元デバイス１０１に接続されるビデオカメラコンポーネントからビデオデータを獲得する。また、送信元デバイス１０１は、光ディスクおよび／または任意のタイプのメモリストレージなど、任意のタイプのコンピュータ可読媒体からビデオデータを獲得することができる。ビデオデータの獲得は、よく知られている任意の方法に従って達成することができる。
【００３１】
本発明の一実施形態によれば、ビデオ符号化器２０２は、獲得されたビデオデータを表す１組の測定値を生成するために、圧縮測定値を使用して、獲得されたビデオデータを符号化する。例えば、ビデオ符号化器２０２は、ビデオデータ内の連続フレームの系列に基づいて、時間的構造を決定する。時間的構造は、系列内の各フレームに属するビデオデータのサブブロックを含む。時間的構造は、ビデオキューブ（ｖｉｄｅｏ  ｃｕｂｅ）とビデオチューブ（ｖｉｄｅｏ  ｔｕｂｅ）のうちの一方とすることができる。例えば、ビデオ符号化器２０２は、獲得されたビデオデータをビデオキューブまたはビデオチューブに変換し、測定行列をビデオキューブまたはチューブに適用して、ベクトルによって表すことができる１組の測定値を獲得することによって、圧縮測定値を使用して、ビデオキューブまたはチューブを符号化する。ビデオ符号化器２０２は、本発明の図３−図６を参照してさらに説明される。
【００３２】
１組の測定値を使用して、チャネル符号化器２０３は、通信チャネルで送信するために測定値を符号化する。例えば、測定値は、整数に量子化される。量子化された測定値は、送信パケット内にパケット化される。誤り検出および／または誤り訂正の目的で、付加的なパリティビットがパケットに追加される。そのように符号化された測定値はネットワーク１０２で送信できることが当技術分野でよく知られている。
【００３３】
次に、送信元デバイス１０１は、ネットワーク１０２の通信チャネルを介して、符号化されたビデオデータを宛先デバイスに送信することができる。
【００３４】
宛先デバイス１０３は、チャネル復号器２０４と、ビデオ復号器２０５と、ビデオディスプレイ２０６とを含む。宛先デバイス１０３は、当業者によく知られている他のコンポーネントを含むことができる。
【００３５】
チャネル復号器２０４は、通信チャネルから受信されたデータを復号する。例えば、通信チャネルからのデータは、データのパリティビットを使用することによって、送信中に生じた誤りを検出および／または訂正するように処理される。正しく受信されたパケットは、ビデオ符号化器２０２で作成された量子化測定値を生成するために、パケット化を解除される。チャネル復号器２０４で受信されたパケットは復号することができ、復号後、パケットは訂正して送信誤りなしにすることができ、またはパケットは訂正できない送信誤りを含むことが分かることがあり、その場合はパケットが失われたと見なされるような方法で、データをパケット化および符号化できることが当技術分野でよく知られている。言い換えると、チャネル復号器２０４は、パケット内の誤りを訂正しようと試みるために受信されたパケットを処理し、処理されたパケットに誤りがあるかどうかを判定し、誤りのないパケットからだけ正しい測定値をビデオ復号器２０５に転送することができる。
【００３６】
ビデオ復号器２０５は、ビデオデータを再構成し、これは、時間領域における１次元（１Ｄ）離散コサイン変換（ＤＣＴ）係数の２次元（２Ｄ）全変動（例えばＴＶ関数）を最小化することによって実行される。例えば、復号器は、候補ビデオデータのＤＣＴ係数のＴＶに従って、ビデオデータを再構成し、候補ビデオデータは、測定行列と、受け取った測定値とに基づく。
【００３７】
しかし、再構成を実行するため、ビデオ符号化器２０２で形成された特定の時間的構造（例えばビデオキューブまたはチューブ）を使用して、ビデオデータを符号化することは必要とされない。むしろ、この復号または再構成プロセスは、ビデオデータが具体的にどのように符号化されるかに係わりなく実行することができる。言い換えると、送信元デバイス１０１が１組の測定値を送信する限り、ビデオ復号器２０５は、符号化されたビデオデータを再構成することができ、これは、本発明の図８−図１１を参照してさらに説明される。次に、宛先デバイス１０３は、復号されたビデオデータをビデオディスプレイ２０６上に表示する。
【００３８】
図３は、本発明の一実施形態による、ビデオ符号化器２０２によって、圧縮測定値を使用して、獲得されたビデオデータを符号化する方法を示している。
【００３９】
図３を参照すると、ステップＳ３０１において、ビデオ符号化器２０２は、獲得部２０１から、ビデオフレームを含むビデオデータを受け取る。ステップＳ３０２において、ビデオ符号化器２０２は、ビデオデータ内の連続フレームの系列に基づいて、時間的構造を決定し、時間的構造は、系列内の各フレームに属するビデオデータのサブブロックを含む。時間的構造は、ビデオキューブとビデオチューブのうちの一方とすることができる。例えば、ビデオ符号化器２０２は、ビデオデータをビデオデータ内の多くの連続フレームからビデオキューブまたはビデオチューブに変換する。系列内の連続フレームの数は、一定または可変の数とすることができる。第１に、本発明の実施形態は、ビデオキューブをどのように形成するかについて説明する。第２に、本発明の実施形態は、ビデオチューブをどのように形成するかについて説明する。ビデオキューブは、特別なタイプのビデオチューブである。ビデオデータからビデオキューブが形成されるか、それともビデオチューブが形成されるかに係わりなく、以下で詳細に説明される図３の後続のステップＳ３０３およびＳ３０４は、同じである。
【００４０】
図４は、本発明の一実施形態による、ビデオ符号化器２０２が受け取ったビデオデータからどのようにビデオキューブを形成するかを示す図を示している。図４では、ビデオデータは、連続ビデオフレーム４０１−１から４０１−ｒを含み、ここで、ｒは、ビデオ符号化器２０２によって固定できる任意の整数とすることができる。また、ｒは、ビデオ符号化器２０２によって固定されない可変の数とすることができる。ビデオデータの各フレーム４０１は、Ｐ×Ｑのサイズを有し、ＰおよびＱは、各フレームの水平ピクセルおよび垂直ピクセルの数である。ビデオデータは、非交差２Ｄキューブに分割される。例えば、ビデオ符号化器２０２は、連続ビデオフレーム４０１−１から４０１−ｒの数のビデオフレーム４０１の各々から、ビデオデータの２Ｄ非重複ブロック４０２を抽出する。各フレーム４０１の各ブロック４０２は、同じ数のピクセルを有し、ブロック４０２は、連続フレーム４０１の各々における同じ位置から抽出することができる。ビデオ符号化器２０２は、３次元（３Ｄ）ビデオ構造を形成するために抽出された各ブロック４０２を積層することによって、ビデオキューブ４０３を形成する。符号化は、受け取ったビデオデータを含むすべてのビデオキューブ上で、キューブ毎に実行される。
【００４１】
図５は、本発明の一実施形態による、ビデオ符号化器２０２が受け取ったビデオデータからどのようにビデオチューブを形成するかを示す図を示している。例えば、図５は、連続フレーム６０１−１から６０１−ｓを有するグループオブピクチャ（ＧＯＰ）を示しており、ここで、ｓは、ＧＯＰ内のフレームの数である。ビデオデータの各フレーム６０１は、Ｐ×Ｑのサイズを有し、ＰおよびＱは、各フレームの水平ピクセルおよび垂直ピクセルの数である。１つのビデオチューブのために、ビデオ符号化器２０２は、ＧＯＰ内の少なくとも１つのビデオフレーム６０１からビデオデータの非重複２Ｄブロックを抽出する。例えば、ビデオチューブ６０２は、フレーム６０１−１から６０１−ｓの各々から抽出された非重複ブロック６０２を含み、非重複ブロック６０２は、ＧＯＰ内の特定の物体の運動軌跡を辿ることができる。物体は、人がＧＯＰ内のフレーム６０１を順々に動いて行く場合の人の画像など、ビデオ画像内の意味のある物体とすることができる。そのため、ブロックは、ビデオフレーム内の異なる位置から抽出されることがある。図５は、ビデオチューブ６０２に類似した、ビデオチューブ６０３、６０４、６０５、６０６も示している。しかし、図５に示されるように、各ビデオチューブは、異なる形状およびサイズを有し、それぞれのフレーム内で異なる位置を有することがある、抽出されたブロックを含むことができる。また、異なるビデオチューブは、異なる数のフレームを含むことができる。ビデオ符号化器２０２は、抽出された各ブロックを積層して、３Ｄビデオ構造を形成することによって、ビデオチューブを形成する。符号化は、受け取ったビデオデータを構成するすべてのビデオチューブ上で、チューブ毎に実行される。
【００４２】
図３を再び参照すると、ステップ３０３において、ビデオ符号化器２０２は、ビデオキューブまたはビデオチューブに適用される測定行列を獲得する。ステップ３０４において、ビデオ符号化器２０２は、ビデオキューブまたはチューブを測定行列に適用することによって、１組の測定値を生成し、ここで、１組の測定値は、形成および符号化されたビデオキューブまたはビデオチューブを表す。測定行列は、１組の測定基底によってグラフィカルに表すことができる。１組の測定基底は、ランダムパターンのピクセル値を有するビデオキューブまたはビデオチューブとすることができる。しかし、本発明の実施形態は、１組の測定基底のための任意のタイプのパターンを含む。例えば、ビデオ符号化器２０２が、受け取ったビデオデータからビデオキューブを形成する場合、１組の測定基底は、ビデオキューブとして構成され、その１組は、ビデオ基底キューブ（ｖｉｄｅｏ  ｂａｓｉｓ  ｃｕｂｅ）と呼ばれる。ビデオ符号化器２０２が、獲得したビデオデータからビデオチューブを形成する場合、１組の測定基底は、ビデオチューブとして構成され、その１組は、ビデオ基底チューブ（ｖｉｄｅｏ  ｂａｓｉｓ  ｔｕｂｅ）と呼ばれる。ビデオ基底キューブまたはビデオ基底チューブは、対応するビデオキューブまたはチューブと同数のフレームを含む（また各フレームは同じサイズである）。１組の測定値を生成するステップは、ビデオキューブか、それともビデオチューブかに係わらず同じである。
【００４３】
図６は、本発明の一実施形態による、１組の測定基底をビデオキューブ４０３に適用する符号化プロセスを示している。例えば、ビデオ符号化器２０２は、１組の測定値ｙ１からｙＮを獲得するために、１組の測定基底５０１−１から５０１−Ｎをビデオキューブ４０３に適用する。変数Ｎは、１以上の任意の整数とすることができる。ビデオキューブ４０３に適用される測定基底の数Ｎは、測定値の数Ｎに一致する。上で説明したように、１組の測定基底５０１−１から５０１−Ｎは、図６に示され、上で説明されたように、測定行列Ａのグラフィカル表現である。したがって、１組の測定基底と測定行列とは、交換可能に使用することができる。
【００４４】
ビデオ符号化器２０２は、３Ｄビデオキューブ４０３の１Ｄ表現であるベクトルｘ∈Ｒｍを獲得するために、ビデオキューブ４０３のピクセルをスキャンし、ここで、ｍ＝ｐ×ｑ×ｒは、ベクトルｘの長さである。例えば、図６に示されるように、３Ｄビデオキューブの１Ｄ表現は、ベクトル［ｘ１  ｘ２…ｘｍ］である。通常は、またビデオキューブ４０３のフレームが動き推定法によって選択された場合は特に、ビデオキューブ内のピクセルは、強く相関しており、したがって、基底においてはベクトルｘは疎である（例えば非ゼロ成分が少ない）。これは、圧縮測定値を使用することによって、ベクトルｘを表現できることを意味している。ベクトルｘの長さは、ｍであり、ｍは、ビデオキューブまたはビデオチューブ内のピクセルの数でもある。
【００４５】
図６に示されるように、１組の測定値ｙ１からｙＮを獲得するために、１Ｄ表現のベクトルｘは、測定行列Ａの各列で乗算することができる。測定行列Ａの各列は、１つの測定基底を表すことができる。測定行列Ａは、ランダム置換ウォルシュ−アダマール行列を使用して構成することができる。しかし、本発明の一実施形態は、測定行列Ａとして使用される任意のタイプの行列を包含する。そのため、ベクトルｘのＮ個の圧縮測定値は、ｙ＝Ａｘによって定義されるベクトルｙ∈Ｒｍである。行列Ａは、Ｎ×ｍの次元を有し、ここで、Ｎは、測定値の数であり、ｍは、ベクトルｘの長さであり、すなわち、ｍは、ビデオキューブまたはビデオチューブ内のピクセルの数である。
【００４６】
図７は、本発明の一実施形態による、測定行列Ａをビデオチューブ６０２に適用する符号化プロセスを示している。例えば、送信元デバイス１０１は、１組の測定値ｙ１からｙＮを獲得するために、１組の測定基底５０１−１から５０１−Ｎをビデオチューブ６０２に適用する。図７の説明は、図６の説明と同じであるので、簡潔を旨とするために、この図の詳細な説明は省略する。
【００４７】
上で説明した符号化プロセスは、符号化ビデオデータを異なる品質および複雑度で復号できる、スケーラビリティを提供することができる。また、本開示の「背景技術」セクションで説明したような従来の規格と比べて、符号化プロセスの複雑度をさらに低減する。また、本発明の実施形態は、チャネル状態に自動的に適応し、緩やかな悪化と、合同情報源およびチャネル符号化（ｊｏｉｎｔ  ｓｏｕｒｃｅ  ａｎｄ  ｃｈａｎｎｅｌ  ｅｎｃｏｄｉｎｇ）とを含む。復号プロセスは、すべての正しく受信された測定値を使用する。容量がより高いチャネルの場合、より多くの測定値が正しく受信され、したがって、ビデオを再構成する際に、より多くの測定値が使用され、したがって、再構成されたビデオは、より高い品質を有する。復号の複雑度は、再構成において使用される測定値の数に比例する。したがって、復号器は、例えばバッテリ電力の節約を理由に複雑度を低下させるために、（ビデオ品質の低下と引き換えに）より少数の測定値を使用するように決定することができる。
【００４８】
ビデオ符号化器２０２は、１組の測定値ｙ１からｙＮをチャネル符号化器２０３に出力する。チャネル符号化器２０３は、先に説明した方法で、宛先デバイス１０３に送信するために、１組の測定値ｙ１からｙＮを符号化する。次に、送信元デバイス１０１は、ネットワーク１０２の通信チャネルを介して、１組の測定値ｙ１からｙＮと、測定行列Ａの記述とを宛先デバイス１０３に送信する。
【００４９】
宛先デバイス１０１のチャネル復号器２０４は、送信からデータを復号し、上で先に説明した方法で、正しく受信された測定値をビデオ復号器２０５に転送する。ビデオ復号器２０５は、以下で説明するような最小化式を使用して、受け取った測定値から計算される１組の値に基づいて、ビデオデータを再構成する。
【００５０】
図８は、本発明の一実施形態による、ビデオ復号器２０５によってビデオデータを復号するためのプロセスを示している。
【００５１】
ビデオ復号器２０５は、ビデオキューブ４０３の１Ｄ表現であるベクトル［ｘ１  ｘ２…ｘｍ］を獲得するために、正しく受け取った測定値に対して最適化プロセスを実行する。例えば、最適化プロセスは、時間領域における１Ｄ  ＤＣＴ係数の２Ｄ全変動の最小化であり、これは、図９−図１１を参照してさらに説明される。ベクトル［ｘ１  ｘ２…ｘｍ］の値が最適化プロセスに従って獲得された後、ビデオ復号器１０３は、ベクトル［ｘ１  ｘ２…ｘｍ］からビデオキューブ４０３を再構成する。例えば、ｍ＝ｐ×ｑ×ｒ（すなわち、ビデオキューブがｒ個のフレームを有し）、各フレームがＱ個の行とＰ個の列を有する場合、ビデオキューブ４０３は、ビデオキューブの第１のフレームの第１の列を形成するためにｘの最初のＱ個の値を取り、ビデオキューブ４０３の第１のフレームの第２の列を形成するためにｘの次のＱ個の値を取り、以降も同様にすることによって、［ｘ１  ｘ２…ｘｍ］から形成することができる。しかし、本発明の実施形態は、１組の値からビデオフレーム（またはビデオキューブもしくはチューブなどのビデオフレームの特定の時間的構造）を再構成する、任意のタイプの方法を包含する。例えば、ビデオ復号器２０５は、１組の値に基づいて、ビデオデータの元のフレームを再構成することができる。この再構成プロセスは、測定値が作成されるときに、ベクトルｘが時間的構造から形成されるプロセスの逆である。
【００５２】
図９は、本発明の一実施形態による、ビデオ復号器２０５によって復号を行うための方法を示している。以下で説明される復号プロセスは、ビデオキューブ４０３を再構成する。しかし、同じプロセスをビデオチューブ６０２にも同様に適用できることに留意されたい。また、本発明の復号方法は、ビデオキューブおよびビデオチューブに限定されない。むしろ、復号プロセスは、ビデオデータを表す１組の測定値を送信する任意のタイプのシステムにおいて実施することができる。
【００５３】
Ｓ９０１において、ビデオ復号器２０５は、利用可能な測定値を受け取る。Ｓ９０２において、ビデオ復号器２０５は、１つのビデオキューブ４０３についてのｙ１からｙＮまでの利用可能な測定値を収集する。Ｓ９０３において、ビデオ復号器２０５は、最小化問題を表す、以下の２つの最小化式の一方を解くことによって１組の値、すなわち、ベクトル［ｘ１  ｘ２…ｘｍ］を獲得する：
【００５４】
【数１】
0005632540.tif 000002
【００５５】
どちらの式においても、ｙは、１つのビデオキューブについての１組の利用可能な送信された測定値、すなわち、ｙ１からｙＮであり、Ａは、１組の測定基底、すなわち、５０１−１、５０１−Ｎを表す測定行列であり、ｘは、その成分がビデオキューブまたはビデオチューブのピクセルである、ベクトル［ｘ１  ｘ２…ｘｍ］である。復号器２０５は、符号化器２０２においてビデオデータに適用された測定行列Ａを獲得する。例えば、測定行列Ａは、送信元デバイス１０１から送信された情報に基づいて獲得することができ、測定行列Ａを記憶するストレージから獲得することができる。変数μは、ペナルティパラメータ（ｐｅｎａｌｔｙ  ｐａｒａｍｅｔｅｒ）である。ペナルティパラメータの値は、設計上の選択である。ＤＣＴｔ（ｘ）は、時間領域における１Ｄ  ＤＣＴ変換であり、ＴＶ２（ｚ）は、２Ｄ全変動関数であり、ｚは、１Ｄ  ＤＣＴ関数の結果を表す。式２は、式１を表す代替方法である。しかし、ビデオ復号器２０５は、よく知られている方法に従って、式１または式２のどちらかを実施することができる。
【００５６】
ビデオ復号器２０５は、ベクトル［ｘ１  ｘ２…ｘｍ］を獲得するために、式１または式２の最小化問題を解く。例えば、ビデオ復号器２０５は、候補ビデオデータの離散コサイン変換（ＤＣＴ）係数の全変動（ＴＶ）に従って、ビデオデータを再構成する。候補ビデオデータは、測定行列Ａと、受け取った測定値とに基づく。例えば、ｙ＝Ａｘでは、受け取った測定値ｙと測定行列Ａは分かっている。そのため、最小化問題は、ｘ（例えばベクトルｘ）の値を求め、ベクトルｘの求められた値は、離散コサイン変換（ＤＣＴ）関数の全変動（ＴＶ２）関数の最小値である。式１および式２の生成は、以下でさらに説明される。
【００５７】
例えば、最小化問題は、式１：ｙ＝Ａｘを条件として、
【００５８】
【数２】
0005632540.tif 000003
または（上記の式１および２と等価な要素を有する）式２
としても特徴付けることができる：
【００５９】
【数３】
0005632540.tif 000004
【００６０】
Φ（ｘ）は、正則化項（ｒｅｇｕｌａｒｉｚａｔｉｏｎ  ｔｅｒｍ）の選択を表し、μは、ペナルティパラメータである。ベクトルｘが疎である場合、Φ（ｘ）は、ベクトルｘのｌ１−ノルムとして選択される。しかし、ベクトルｘがビデオキューブ４０３のピクセル値を含む場合、どの基底においてｘが疎であるか、さらに、どの基底においてｘが最も疎であるかが明らかでないことがある。
【００６１】
本発明の実施形態は、元のビデオキューブの時間領域ＤＣＴ係数の最小空間全変動を正則化項として使用し、それは、式Φ（ｘ）＝ＴＶｓ（ＤＣＴｔ（ｘ））で与えられる。ＤＣＴｔ（ｘ）は、時間方向におけるピクセル毎のＤＣＴを表し、それは、各フレームが特定の周波数のＤＣＴ係数を含むキューブである。
【００６２】
図１０は、本発明の一実施形態による、時間方向におけるピクセル毎のＤＣＴを示している。例えば、図１０は、フレーム４０１−１から４０１−４を示しており、候補ピクセルが１つのフレーム（４０１−１）から選択され、他のフレームでは同じ位置から対応するピクセルが選択され、その様子が、これらのピクセルを結ぶ矢印４１０によって示されている。ビデオ復号器２０５は、矢印４１０によって示される方法で、これらのピクセルの各々においてＤＣＴ関数を実行する。ＤＣＴ関数を実行した結果として、ビデオ復号器２０５は、特定の周波数の時間領域ＤＣＴ係数を獲得する。
【００６３】
次に、ビデオ復号器２０５は、フレーム毎に、ピクセル毎のＤＣＴの結果に対して全変動を実行する。例えば、以下で示されるように、ＴＶｓ（ｚ）は、行列ｚの２Ｄ全変動であり、
【００６４】
【数４】
0005632540.tif 000005
として定義される。
【００６５】
図１１は、本発明の一実施形態による、異方性全変動または等方性全変動の場合のＴＶ２関数を示している。異方性または等方性は、異なるタイプの全変動であり、本発明の実施形態は、異方性全変動または等方性全変動を包含する。図１１は、３つのピクセル（ｉ，ｊ，ｋ）、（ｉ，ｊ＋１，ｋ）、（ｉ＋１，ｊ，ｋ）を有するフレームを含む。任意のピクセルｉ，ｊ，ｋに適用されるＴＶ２関数の説明が、以下で説明される。しかし、図１１に示される３つのピクセルは、説明を目的としたものにすぎないことに留意されたい。現実には、フレームは、多くのピクセルを含み、ＴＶ２関数は、フレーム内の各ピクセルに適用されるばかりでなく、フレーム毎に他のフレームにも適用される。
【００６６】
例えば、異方性全変動の場合、ビデオ復号器２０５は、ピクセルｉ，ｊ，ｋと次の垂直ピクセルｉ，ｊ＋１，ｋの間の差の絶対値と、ピクセルｉ，ｊ，ｋと次の垂直ピクセルｉ＋１，ｊ，ｋの間の差の絶対値とを計算し両方の絶対値を一緒に加算する。その後、この計算は、フレーム内の各ピクセルに対して実行され、フレーム外の値には、ゼロなどの任意の値が与えられる。プロセスは、フレーム毎に繰り返される。上の説明では、ｉは、フレームの水平ピクセルのインデックスであり、ｊは、垂直ピクセルのインデックスであり、ｋは、ビデオキューブ内のフレームのインデックスである。
【００６７】
等方性全変動の場合、ビデオ復号器２０５は、ピクセルｉ，ｊ，ｋと次の垂直ピクセルｉ，ｊ＋１，ｋの間の差を平方し、ピクセルｉ，ｊ，ｋと次の垂直ピクセルｉ＋１，ｊ，ｋの間の差を平方する。その後、この計算の結果は加算され、加算の結果の平方根が取られる。その後、この計算は、フレーム内の各ピクセルに対して実行され、フレーム外の値には、ゼロなどの任意の値が与えられる。プロセスは、フレーム毎に繰り返される。
【００６８】
ビデオ復号器２０５は、式１または式２を解くためのＴＶ最小化ソルバ（ＴＶ  ｍｉｎｉｍｉｚａｔｉｏｎ  ｓｏｌｖｅｒ）（ＴＶＡＬ３）を含むことができる。例えば、ＴＶＡＬ３は、拡張ラグランジュ法および交互最小化に基づく。ラグランジュ法は、制約を受ける関数の最大値および最小値を見つけるための戦略を提供する。ＴＶＡＬ３の開発が、以下で説明される。
【００６９】
ＴＶＡＬ３の各外側反復において、ＴＶＡＬ３は、２つの下位問題を交互に解くことによって、対応する拡張ラグランジュ関数を最小化する。一方の下位問題は、分離可能であり、閉形式解を有するが、他方の下位問題は、２次であり、積極的なステップ長を有する１ステップ最急降下によって近似される。式１および式２に類似した戦略が利用される。アルゴリズムの導出は、式１と式２でほとんど同じであるので、詳細な説明には式１を使用する。
【００７０】
Ｔｉ∈Ｒ２×ｎが、任意の１≦ｉ≦ｎに対して、Ｔｉｘ＝Ｄｉ（ＤＣＴｔ（ｘ））を満たす線形変換を表すとする。その場合、式１は、
式３：
【００７１】
【数５】
0005632540.tif 000006
になる。
【００７２】
一連の新しい変数ｗｉ＝Ｔｉｘを導入することによって、式３の変形が以下に提供される：
式４：
【００７３】
【数６】
0005632540.tif 000007
拡張ラグランジュ関数に対応する式４は、
式５：
【００７４】
【数７】
0005632540.tif 000008
である。
【００７５】
ｘ＊および
【００７６】
【数８】
0005632540.tif 000009
が、ＬＡ（ｘ，ｗｉ）の真のミニマイザ（ｍｉｎｉｍｉｚｅｒ）を表すと仮定すると、拡張ラグランジュ法は、式５を再帰的に最小化し、そのとき、各反復の終わりに乗数ｖｉおよびλを以下のように更新する：
式６：
【００７７】
【数９】
0005632540.tif 000010
ビデオストリームなどの大規模なデータセットを扱うことができる効率的なアルゴリズムを開発するため、ＬＡ（ｘ，ｗｉ）は、低複雑度で最小化される。交互最小化に基づいた反復法が、ＬＡ（ｘ，ｗｉ）を最小化するために利用される。ｘを固定した場合、ＬＡ（ｘ，ｗｉ）の最小化は、
式７：
【００７８】
【数１０】
0005632540.tif 000011
と等価である。
【００７９】
この問題は、各ｗｉに関して分離可能であり、閉形式解を有する：
式８：
【００８０】
【数１１】
0005632540.tif 000012
式８は、１Ｄおよび２Ｄ収縮を使用することによって導出することができる。他方、ｗｉを固定した場合、ＬＡ（ｘ，ｗｉ）の最小化は、
式９：
【００８１】
【数１２】
0005632540.tif 000013
と等価である。
【００８２】
【数１３】
0005632540.tif 000014
は、様々な反復法によって最小化できる２次関数である。しかし、これらの方法は、大規模データセットの場合は、コストがかかり過ぎることがあり、また目標は式９ではなく、式３または式４を解くことであるので、不必要なことがある。したがって、収束を保証するには、式９の真のミニマイザの良好な近似で十分であるべきである。具体的には、本発明の実施形態は、積極的なステップ長を有する急降下の１ステップを取り、式９の近似解としてそれを受け入れる：
式１０：
【００８３】
【数１４】
0005632540.tif 000015
ここで、αは、ステップ長を表し、ｄ（ｘ）は、最後の反復ｘにおける２次関数
【００８４】
【数１５】
0005632540.tif 000016
の勾配を表す。ステップ長は、バルジライ−ボールウェイン法（Ｂａｒｚｉｌａｉ−Ｂｏｒｗｅｉｎ  ｍｅｔｈｏｄ）によって与えられる初期推定から開始する、非単調直線探索によって反復的に決定することができる。このように計算されたステップ長は、実際に有効で効率的であることが確認されている。したがって、拡張ラグランジュ関数を最小化するソルバは、以下のように記述することができる：
Ｓｏｌｖｅｒ  １．開始点およびパラメータを初期化する
ｗｈｉｌｅ  収束しない、ｄｏ
固定されたｘについて、式８に従って、
【００８５】
【数１６】
0005632540.tif 000017
を計算する
固定されたｗｉについて、最急降下の１ステップを取ることによって、式１０に従って、
【００８６】
【数１７】
0005632540.tif 000018
を計算する
ｅｎｄ  ｄｏ
要約すると、全体的なソルバは、以下で与えられる：
Ｓｏｌｖｅｒ  ２．開始点、乗数、およびペナルティパラメータを初期化する
ｗｈｉｌｅ  収束しない、ｄｏ
先の反復から開始して、アルゴリズム１を用いて、拡張ラグランジュ関数（式５）のミニマイザを見つける
式６に従って、乗数を更新する
新しいペナルティパラメータを選択する
ｅｎｄ  ｄｏ
上で説明された全体的なソルバのフレームワークは、３Ｄ  ＴＶ、疎基底下のｌ１（ｌ１  ｕｎｄｅｒ  ｓｐａｒｓｉｔｙ  ｂａｓｉｓ）など、異なる正則化を用いるより広範な最小化問題を解くためにも使用することができる。
【００８７】
図９を再び参照すると、ステップＳ９０４において、ビデオ復号器２０５は、獲得した１Ｄベクトルｘ＝［ｘ１  ｘ２…ｘｍ］に基づいて、３Ｄビデオキューブを再構成する。例えば、上で説明したように、ｍ＝ｐ×ｑ×ｒ（すなわち、ビデオキューブがｒ個のフレームを有し）、各フレームがＱ個の行とＰ個の列を有する場合、ビデオキューブは、ビデオキューブの第１のフレームの第１の列を形成するためにｘの最初のＱ個の値を取り、ビデオキューブの第１のフレームの第２の列を形成するためにｘの次のＱ個の値を取り、以降も同様にすることによって、［ｘ１  ｘ２…ｘｍ］から形成することができる。しかし、本発明の実施形態は、１組の値からビデオフレーム（またはビデオキューブもしくはチューブなどのビデオフレームの特定の構造）を再構成する、任意のタイプの方法を包含する。この再構成プロセスは、測定値が作成されるときに、ベクトルｘがビデオキューブから形成されるプロセスの逆である。
【００８８】
ビデオ復号器２０５が、１つのビデオキューブまたはチューブを再構成した後、プロセスは、ビデオデータ内の他のビデオキューブまたはチューブを再構成するために、Ｓ９０２に戻る。すべてのビデオキューブまたはチューブが再構成された後、Ｓ９０５において、ビデオ復号器２０５は、ビデオキューブまたはチューブを使用して、ビデオデータを形成する。ビデオフレームは、ビデオフレームからビデオキューブを形成するのとは正反対のプロセスで、ビデオキューブまたはチューブから形成される。具体的には、ビデオキューブ内の各２Ｄブロックが、ビデオフレーム内の適切な位置に配置される。次にＳ９０６において、宛先デバイス１０３が、ビデオディスプレイ２０６上にビデオデータを表示する。
【００８９】
図１２は、本発明の一実施形態による、宛先デバイス１０３によって受信された測定値の量に応じた表示ビデオデータの精度比較を示すグラフを示している。例えば、水平軸は、宛先デバイス１０３によって正しく受信された測定値のパーセンテージである。パーセンテージは、１００×Ｎ／ｍによって定義され、ここで、Ｎは、正しく受信された測定値の数であり、ｍは、ビデオキューブ内のピクセルの総数である。垂直軸は、再構成されたビデオのピーク信号対雑音比（ＰＳＮＲ）である。ＰＳＮＲは、ビデオの品質のためのよく知られている尺度であり、再構成されたビデオが元のビデオとどれだけよく一致するかを測定する。ＰＳＮＲが高くなるほど、再構成されたビデオの品質は良好になる。図１２に示されるように、ＰＳＮＲ（再構成の品質）は、正しく受信された測定値の数につれて、漸進的に増加する。これは、本発明のビデオ符号化および復号が、チャネル容量に伴ってスケーラブルであることを示している。
【００９０】
上で説明した再構成プロセスは、図１２に示されるように、高品質の再構成と、比較的ＰＳＮＲが高い正確な再構成ビデオデータとを提供することができる。また、本発明の実施形態は、本開示の「背景技術」において説明した従来の方法と比べて、高い誤り耐性、高い圧縮比、高速な再構成、および低い複雑度を有することができる。
【００９１】
本発明の例示的な実施形態の変形形態は、本発明の例示的な実施形態の主旨および範囲からの逸脱とは見なされるべきではなく、当業者に明らかなそのような変形形態のすべては、本発明の範囲内に含まれることが意図されている。
【図１】
0005632540.tif 000019
【図２】
0005632540.tif 000020
【図３】
0005632540.tif 000021
【図４】
0005632540.tif 000022
【図５】
0005632540.tif 000023
【図６】
0005632540.tif 000024
【図７】
0005632540.tif 000025
【図８】
0005632540.tif 000026
【図９】
0005632540.tif 000027
【図１０】
0005632540.tif 000028
【図１１】
0005632540.tif 000029
【図１２】
0005632540.tif 000030