(57)【要約】  コンピュータプロセッサハードウェアは、エンコードされたデータ受信し、低品質水準を有する第１階層と高品質水準を有する少なくとも第２階層とを含む段階的階層でエンコードされた信号のサンプルを再構成し、これらの階層のそれぞれは、違った品質水準を持ち、段階的階層においてエンコードされた１または複数のサンプルを含み、コンピュータプロセッサハードウェアは、第１階層のサンプルの少なくとも１つから開始することにより、再構成オペレーションを介して第２階層のサンプルを計算する。
2015522986.tif 000002
【特許請求の範囲】
【請求項１】
低品質水準を持つ第１階層と高品質水準を持つ少なくとも第２階層とを含む段階的階層においてエンコードされた信号の複数のサンプルを再構成するための方法であって、
前記複数の階層のそれぞれは、違った品質水準を持ち、前記段階的階層においてエンコードされた前記複数のサンプルの１または複数を含み、
前記方法は、前記第１階層の前記複数のサンプルの少なくとも１つから開始することにより複数の再構成オペレーションを介して前記第２階層の前記複数のサンプルが計算されるデコード段階を含む、方法。
【請求項２】
前記デコード段階の間、前記第１階層の前記品質水準よりも高い品質水準を持つ、既定の階層の既定のサンプルの前記複数の再構成オペレーションは、前記既定の階層の前記品質水準よりも低い前記品質水準を持つ階層の少なくとも１つのサンプルを処理することを含む請求項１に記載の方法。
【請求項３】
前記複数のサンプルのそれぞれは既定の品質水準および既定の次元に沿った既定の位置での前記信号のレンディションに対応し、前記方法の前記デコード段階は、
（ａ）エンコードされたデータの複数のセットを受信する段階と、
（ｂ）エンコードされたデータの前記複数のセットのサブセットを処理することにより、最低品質水準を持つ、前記第１階層の複数のサンプルを再構成する段階と
を有し、
前記複数のセットのそれぞれは、既定の品質水準で前記信号のサンプルを再構成するための情報を含む請求項１または２に記載の方法。
【請求項４】
（ｃ）前記段階（ｂ）で処理された前記サンプルまたは前記複数のサンプルよりも高い前記品質水準を持つ第２階層に含まれる再構成される前記サンプルまたは前記複数のサンプルを特定する段階と、
（ｄ）前記段階（ｃ）で特定された前記サンプルまたは前記複数のサンプルを再構成するための予測される複数のサンプルのセットを生成するために、前記段階（ｂ）の再構成されたサンプルの少なくとも１つを処理する段階と、
（ｅ）エンコードされたデータの前記複数のセットのサブセットを処理し、前記第２階層のための残差データの複数のセットを生成する段階と、
（ｆ）前記第２階層の前記サンプルまたは前記複数のサンプルを再構成するべく、予測される複数のサンプルの前記複数のセットと残差データの前記複数のセットとを組み合わせる段階と、
（ｇ）前記第２階層と前記第２階層の前記品質水準よりも高い前記品質水準または複数の前記品質水準を持つ後続する他の階層または複数の階層とのうちの少なくとも１つの前記残りの複数のサンプルのための前記再構成のプロセスを完了するために、再構成される他のサンプルまたは複数のサンプルが存在する場合に、前記段階（ｃ）を繰り返し適用する段階と
をさらに有し、
残差データの前記複数のセットのそれぞれは、前記第２階層のサンプルに対応する請求項３に記載の方法。
【請求項５】
前記デコード段階の前記段階（ａ）で受信されたエンコードされたデータの前記複数のセットは、また、前記段階（ｂ）から前記段階（ｇ）を正確に実行するために、前記信号の前記複数のサンプルの複数の特性を特定する記述情報を含む請求項４に記載の方法。
【請求項６】
前記記述情報は予測因子情報を有し、
前記予測因子情報は、前記第２階層のサンプルのための前記予測されるサンプルを生成するために、前記第２階層の前記品質水準よりも低い前記品質水準を持つ階層のどの複数のサンプルが処理されるかを特定する請求項５に記載の方法。
【請求項７】
前記予測因子情報は予測因子処理情報を有し、
前記予測因子処理情報は、前記第２階層のサンプルのための前記予測されるサンプルを生成するために、どの複数のオペレーションが前記第２階層の前記品質水準よりも低い前記品質水準を持つ階層の前記複数のサンプルに実行されるかを特定する請求項６に記載の方法。
【請求項８】
前記記述情報は、異なる複数のサンプル間の相関を特定する情報を有する請求項５から請求項７のいずれか１項に記載の方法。
【請求項９】
同じ階層の前記複数のサンプルは、同じ数の複数の要素で構成され、少なくとも後続する複数の階層のペアのために、低品質水準を持つ階層のサンプルは、高階層のサンプルよりも低い解像度を持つ請求項１から請求項８のいずれか１項に記載の方法。
【請求項１０】
前記段階（ｄ）の間に生成された前記第２階層の前記１または複数の予測されるサンプルを生成することは、
（ｄ１）１または複数の予測因子のサンプルのセットを生成するために前記第２階層の前記品質水準よりも低い前記品質水準を持つ階層の１または複数のサンプルのセットを処理するサブ段階と、
（ｄ２）前記第２階層の前記１または複数の予測されるサンプルを生成するために前記複数の予測因子のサンプルを組み合わせるサブ段階と
を有する請求項４から請求項９のいずれか１項に記載の方法。
【請求項１１】
前記複数の予測因子のサンプルが生成される、前記サブ段階（ｄ１）は、アップサンプリングオペレーションを有する請求項１０に記載の方法。
【請求項１２】
前記複数の予測因子のサンプルが生成される、前記サブ段階（ｄ１）は、実質的に動き補償を実行する画像処理動作を有する請求項１０または請求項１１に記載の方法。
【請求項１３】
前記サブ段階（ｄ１）は、複数の浮動小数点演算を有する請求項１０から請求項１２のいずれか１項に記載の方法。
【請求項１４】
前記予測されるサンプルまたは複数のサンプルのが生成される、前記サブ段階（ｄ２）は、複数の予測因子のサンプルの重み付き平均を有する請求項１０から請求項１３のいずれか１項に記載の方法。
【請求項１５】
複数の予測因子のサンプルの前記重み付き平均に使われる複数の重みは、複数の予測因子のサンプルの対応する複数の要素のそれぞれのセットに適用され、
（ｄ２−１）複数の予測因子のサンプルの前記重み付き平均のために使う全体の複数の重みを特定するサブサブ段階と、
（ｄ２−２）複数の予測因子のサンプルの対応する複数の要素の複数のサブセットを特定し、前記複数のサブセットのそれぞれは値を得るために平均化されるサブサブ段階と、
（ｄ２−３）複数の予測因子のサンプルの対応する複数の要素の前記サブセットのそれぞれのために、デフォルト値とは異なる値の前記複数の要素を特定するサブサブ段階と、
（ｄ２−４）前記複数の要素に割り当てられ、かつ前記複数の重みの合計が１に等しくなるように前記重み付き平均に使われる前記複数の重みを正規化することにより、デフォルト値とは異なる値の前記複数の要素に対してのみ前記重み付き平均を算出するサブサブ段階と
を有する請求項１４に記載の方法。
【請求項１６】
複数の予測因子のサンプルの前記重み付き平均に使われる複数の重みは、複数の予測因子のサンプルの数に少なくとも部分的に基づく請求項１５に記載の方法。
【請求項１７】
複数の予測因子のサンプルの前記重み付き平均に使われる複数の重みは、前記エンコードされたデータに含まれる追加の記述情報に少なくとも部分的に基づく請求項１５または請求項１６に記載の方法。
【請求項１８】
第３階層は最上位の品質水準を持ち、
前記第３階層の予測されるサンプルは、前記第２階層の予測されるサンプルを生成するために処理される前記第１階層の複数のサンプルの数より大きい、前記第２階層の複数のサンプルの数を処理することにより段階（ｄ）の間に生成される請求項４から請求項１７のいずれか１項に記載の方法。
【請求項１９】
暗号方式を使うことにより暗号化された、前記段階的階層においてエンコードされた前記信号の前記複数のサンプルが、前記デコード段階の前または最中に復号される復号段階を含む請求項１から請求項１８のいずれか１項に記載の方法。
【請求項２０】
エンコードされたデータのそれぞれのセットは、同期マーカにより特徴付けられる請求項３に記載の方法。
【請求項２１】
デジタルコンピュータの内部メモリに直接的にロード可能であり、コンピュータ上で実行される場合に請求項１から請求項２０のいずれか１項の複数の前記段階を実行するための複数のソフトウェアコード部分を含むコンピュータプログラム。
【請求項２２】
請求項１から請求項２０のいずれか１項に記載の前記方法の実行、および請求項２１に記載の前記コンピュータプログラムの実行の少なくとも１つを行うデコーダデバイス。
【請求項２３】
間接的に構成され得、前記デコーダデバイスにより再構成可能な複数の階層の最大品質水準を制限できる手段を含む請求項２２に記載のデコーダデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
デジタル信号のエンコードおよびデコードに取り組む多くの技術が、技術的に知られている。これは、音声信号、ピクチャ、ビデオ信号、並びに、科学および医療分野で使われる容量信号のような他の多次元信号の場合である。高圧縮比を実現するために、それらの技術は、信号内の空間および時間相関を使う。
【０００２】
従来の方法は、参照を特定し、現在位置と既定の参照との間の信号の差を決定しようとする。これは、参照がすでに受信およびデコードされた空間プレーンの部分である空間領域内と、信号の時間内の一例（例えばフレームシーケンスにおけるビデオフレーム）がある持続時間のための参照として受け取られる時間領域との両方で行われる。これは、例えば、前もってデコードされたマクロブロックが空間領域内の参照、並びに時間領域内の参照として使われるＩフレームおよびＰフレームとして受け取られるＭＰＥＧファミリー（Moving Pictures Expert Group）圧縮アルゴリズムの場合である。
【０００３】
既知の技術は、差（"残差データ"）を特定し単純化しエンコードし送信するためにいくつかの異なる技術を採用する多くのやり方において、空間相関および時間相関を使う。
【０００４】
従来の方法に従って、空間相関を利用するために、領域変換が行われ（例えば周波数領域へ）、それから情報の損失除去および量子化が行われる。時間領域では、その代わりとして、従来の方法は、カレントサンプルと参照サンプルとの間の量子化された差を送信する。サンプル間の類似を最大にするために、エンコーダは参照信号に対して生じた時間に沿って修正箇所を推定しようとする。これは、従来のエンコード方法（例えばＶＰ８等のＭＰＥＧ ｆａｍｉｌｙ技術）では、動き予測と呼ばれる。動き情報は、参照サンプルのためにデコーダで既に利用できる情報を利用することにより、カレントサンプルの再構成を可能にするために対応するデコーダに送信される（ＭＰＥＧでは、これはマクロブロック基準の動きベクトルを利用して行われる）。
【０００５】
従来の参照ベースのエンコード技術の欠点は、サンプルにおける誤差が先行するサンプルに基づいてそれぞれ再構成される後続のサンプルの誤差で積み重なり、非可逆圧縮技術が適用されるやいなや、非常に少ない連続して予測されるサンプルの後に目に見えるアーティファクトを生成するということである。
【０００６】
共通のアプローチは、エンコードおよびデコードオペレーションの複雑さを減少させるべく信号を分割することである。これは、例えばマクロブロックまたはスライスの概念を利用する空間領域内と、現在の最新のアプローチが時分割のグループオブピクチャ（ＧＯＰ）を利用する時間領域内との両方で行われる。
【０００７】
分割プロセスは、通常、突然であり、アーティファクトが生じやすい。例は、ＭＰＥＧメソッドで行われるマクロブロック分割である。圧縮効率は確かに一定の基準に達するとはいえ、目に見えるアーティファクトが発生することもまた真実である。これらのアーティファクトは、それらはオリジナル信号と無関係であるいう事実に起因して、多くの条件において、人間の観察者に対して非常に明らかである（例えば二つの有名な例は、"ブロック"タイプアーティファクトとリンギングアーティファクトである）。例えば減少したグローバルに認識される品質および増大した複雑さ等の不利益を伴うけれども、そのようなアーティファクトの可視性を減少させる多くの試みが実施されてきた（例えばエンコーダおよびデコーダ側の両方での非ブロック化および非リンギングフィルタ）。
【０００８】
時間次元に沿って、従来の方法は、サンプルを塊（例えば時間に従ったそれぞれのサンプルがピクチャである、ビデオ信号のためのＧＯＰ）に分割する。参照サンプルは、通常は連続した順序に基づいて、選択され（参照画像）、そして、塊におけるサンプルは、参照に対して差動的に送信される（または、バイ予測フレームの場合には２つの参照に対して）。これは、信号の時間発展にアーティファクトを発生させる（例えば、大きな影響を与える運動のために、認識される品質はＧＯＰのエッジに従って明らかな不連続性にしばしば悩まされる）。
【０００９】
既知の技術の方法により対処される１つの必須条件は、圧縮効率である。計算の複雑さは常に２番目の優先事項と考えられてきた。本質的に、アルゴリズムは、低い計算の複雑さのために設計されるよりも、単にコンピュータ的に実行可能でなければならなかった。これは、ハードウェア生産業者に、進化する技術、計画的な特定のプロセッサ、および選択されたアルゴリズムを実装する能力がある専用のハードウェアソリューションに連続的に適合させることを強いる。例は、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ２６４／ＡＶＣ、Ｈ２６５／ＨＥＶＣ等のためのハードウェアサポートの進化である。エンコード技術は今までのところ、利用できる計算コアの数に基づいて自動的に増大する計算性能のせいで（すなわち、コードに適応させなければならないことはなく、また、いくつの計算コアが利用できるかを前もって知ることさえなく）、超並列ハードウェア上で最適に実行されるように設計されなかった。現行アプローチを使って実現不可能であるこの特徴は、今日ではハードウェア技術がコンピューティングクロックレートおよび送信レート速度の観点からシリコンの漸近的リミットに到達しているので、特に重要である。利用できる計算能力を増大させる現在の傾向は、１つのチップまたはシステム内に組まれる区別できる処理ユニット（"計算コア"）の数を増大させる方向に動いている。
【００１０】
既知の技術において放っておかれた他の態様は、少数の試みから離れて、拡張性品質の必須要件である。拡張性のあるエンコード方法は、例えばバンド幅の利用度合、ディスプレイ解像度、およびデコーダの複雑さに従って、圧縮された信号の１つのバージョンをエンコードし、そして、異なる品質水準に引き渡すことを可能にし得る。拡張性は、計算の複雑さ、および、一般的に言えば、拡張性のない技術のために本質的に設計されたアプローチのそれらの利用が原因で今までのところ比較的不十分な適応と共に、ＭＰＥＧ−ＳＶＣおよびＪＰＥＧ２０００のような既知の方法を考慮に入れてきた。
【００１１】
既知の方法により対処されない別の態様は、対称性である。従来の方法を使った圧縮効率は、双方向の（例えば時間反転）再生、および、より一般には信号内の任意のサンプルへのランダムアクセス（例えばビデオ信号のためのフレームバイフレーム編集）のような有用な機能を放棄するという犠牲で実現され得る。予測技術、特に時間次元に従ったものは、時間の反転順序でデコーダが信号を受信し、デコードし、提示することを阻む。また、採用される予測技術は、アーティファクトの蓄積が原因で、非常に圧縮されたかまたは誤差が生じやすい送信における動作に影響を及ぼす。誤差により発生するアーティファクトは、特に、時間の持続時間が原因で、知られる。
【００１２】
また、既知の技術で採用される予測ドリブン技術は、圧縮ストリームへのランダムアクセスに対して強い制約を発生させる。異なる信号のビットストリームに"ザッピング"する場合のランダムアクセス（次の時間の塊／ＧＯＰの開始のために待機しなければならないことなしに）、任意点におけるサンプルへ向かって"探索する"ようなオペレーションは、現在のところ実現不可能である。任意点にアクセスしようとする場合にユーザが待機しなければならない時間は、現在のところ、圧縮効率と厳格なトレードオフである。この現象の例は、ＭＰＥＧファミリー方法におけるＧＯＰ制約であり、最小時間遅延および時間に沿ったランダムアクセスを可能にさせるために、１つのサンプル（すなわちイントラのみのエンコード）のＧＯＰは、使われなければならない。
【００１３】
最後に、現行アプローチは、必要とされ得る計算能力およびバンド幅の量が原因で、非常に高いサンプリングレート（例えばビデオ信号のための非常に高いフレームレート）のために不適当である。例えば、いくつかの研究は、全ての人間は簡単に３００フレーム／秒以下のビデオ信号の品質の差を認識することができるということを証明したが、計算およびバンド幅の制約は、現在のところ、２５〜６０フレーム／秒を超えて高い品質のビデオ信号をエンコードおよび送信することを非常に高価にしている。
【００１４】
簡単な説明
【００１５】
本明細書で説明される革新的な方法は、段階的階層でエンコードされた信号のサンプルを再構成するための技術の改良にフォーカスする。
【００１６】
その最も広い態様によれば、発明は、２または２より多い階層を含む段階的階層においてエンコードされたサンプルを再構成するための方法であり、階層のそれぞれは、はっきりと異なる品質水準を持ち、かつ段階的階層においてエンコードされた１または複数のサンプルを含む。この方法は、信号のサンプルが段階的階層においてエンコードされ、かつ再構成データのセットが生成されるエンコード段階と、サンプルが最低の品質水準を持つ階層のサンプルから開始することにより再構成オペレーションと介して計算されるデコード段階とを含む。当業者は同じ方法を低品質水準で信号が同じ解像度および低詳細水準（例えば、限定するものではないが、要素値のより粗い量子化）を有する信号である場合に簡単に適応することができるが、本明細書で説明される実施形態は、特に、非限定的な場合に集中しており、低品質水準が信号の１または複数の次元にわたって低解像度（すなわちより粗いサンプリンググリッド）である。いくつかの場合において、我々は高品質水準に対して唯一サブサンプリングされた次元が時間次元であった、低品質水準を高"アグリゲーション水準"（"ＬＯＡ"）と呼ぶだろう。用語の「階層」は、文脈によって、"品質水準"（"ＬＯＱ"）か"アグリゲーション水準"（"ＬＯＡ"）と共に、明細書の残りにおいて区別しないで使われるだろう。
【００１７】
簡潔さ、簡略さのために、本明細書で説明される非限定的の実施形態は、信号を、時間次元に沿って既定のサンプリングレートで生じる多次元サンプルのシーケンス（すなわち１または複数の次元を有するアレイとして構築された１または複数の要素のセット）と呼ぶ。説明では、用語「イメージ」および／または「プレーン」（「ハイパープレーン」、すなわち、任意の数の次元を有する要素のアレイの最も広い意味によって意図される）は、しばしば、サンプルのシーケンスに沿って信号のサンプルのデジタルレンディションを特定するために区別しないで用いられる。ここで、各々のプレーンは、その次元それぞれの任意の解像度を有し、１または複数の「値」または「設定」（例えば、非限定的な例を手段として、適当な色空間内の色設定、密度水準を示す設定、温度水準を示す設定、音声ピッチを示す設定、振幅を示す設定）によって特徴づけられるプレーン要素を特定するプレーンにおける座標のそれぞれの適切なセット（あるいは「要素」、または「ペル」、二次元イメージについては、しばしば「ピクセル」と称され、容量イメージについては、しばしば「ボクセル」と称される）を含む。非限定的な例として、信号は、イメージ、音声信号、マルチチャネル音声信号、ビデオ信号、マルチビュービデオ信号（例えば、３Ｄビデオ）、プレノプティック信号、マルチスペクトル信号、容量信号（例えば、医療用画像処理、科学用画像処理、ホログラフィ画像処理）、容量ビデオ信号、あるいは４次元をさらに超える信号であり得る。
【００１８】
本明細書で説明された実施形態は、特に従来技術の欠如が原因で、時間がかかって進行する信号に特に集中しているだろう。例えば、また、非常に高いサンプリングレート（例えばまた１，０００フレーム／秒以上、現在必要としている過度の計算量並びにエンコードおよびデコードのためのストレージリソース）は、説明される実施形態により簡単に対処される。
【００１９】
簡潔さのために、本明細書中に示す非限定的実施形態は、しばしば、２Ｄプレーンシーケンスの設定（例えば、適当な色空間内の２Ｄイメージ）として表示される信号、例えばビデオ信号に言及する。しかしながら、同じ概念および方法は、また、時系列信号のどの他のタイプ、および非時系列多次元信号（例えば二次元ピクチャ、容量／ホログラフィックイメージ、プレノプティックイメージなど）にも適用可能である。非時系列信号の非限定的な例として、ＣＡＴスキャンまたはＭＲＩの一連の二次元スライス（すなわち、非時系列三次元信号）は、１つの次元（すなわち、スライスが沿って得られた軸）に沿う一連の二次元サンプルとして適宜表され、あたかも、スライスが沿って得られた軸が時間次元であるかのように（本明細書で説明される革新的な方法に従って一定のサンプリングレートまたは可変のサンプリングレートのどちらかを想定することによって）、本明細書中に示す方法に従ってエンコード／デコードされ得る。
【００２０】
本明細書で説明された段階的階層の非限定的な実施形態は、異なる解像度を有する階層により特徴付けられる。高階層から低階層へのダウンサンプリングスケール係数は、それぞれの階層およびそれぞれの次元（空間的および時間的の両方）で変化してもよい。
【００２１】
層状の時間的階層においてエンコードされるサンプルは、異なる持続時間を持ってもよい。例えば、高階層の２つの異なるサンプルの時間的なダウンサンプリング（"ブレンディング"、または空間ダウンサンプリングおよび時間的なダウンサンプリングの組み合わせの場合の"ダウンブレンディング"）に起因する既定の階層のサンプルは、高階層のサンプルのそれぞれにより表される信号の部分の持続時間の和である持続時間（"時間スパン"）を有する信号の部分を表す。層状の時間的階層で見つけられる文献はなかった。このドキュメントにおいて"信号のスパン"または"スパン"の用語は、"サンプル"の用語と共に区別しないで使われるだろう（より適切に我々はそれぞれの既定のサンプルは対応する時間スパンを持つということができるかもしれないが、それはそれらの時間スパンに等しい持続時間に対して"サンプルおよびホールド"に対応するということを示す）。既定の品質水準で信号の"スパン"は、"時間内に既定の時点から開始する再生され／表示される、既定のサンプリング位置を有する信号の部分および既定の時間の持続時間"を表す。高品質水準の複数のスパンの組み合わせ（ブレンディングまたはダウンブレンディング）に起因する低品質水準のスパンは、上記多数のスパンのサンプリング位置の線形または非線形の組み合わせであるサンプリング位置を持つだろう。非限定的な望ましい実施形態において、そのようなサンプリング位置は、端数が切り捨てられた、既定のスパンにブレンドされたスパンのサンプリング位置の平均である。すなわち既定のスパンにダウンサンプリングされた高水準のスパンのサンプリング位置の数学上の平均に等しいまたはすぐ接してより低い最上位の品質水準の整数のサンプリング位置である。上記の結果として生じるスパンは、また、上記の多数のスパンの時間の持続時間の和である持続時間を持つだろう。本質的に、用語の"スパン"は、特に時間的なダウンサンプリングをまた有する階層に下りる場合に、それぞれのスパンは非常に特定の時間位置において単純に"サンプル"というよりもむしろ、既定の時間間隔すなわち信号の"スパン"に沿って信号値を表す"サンプルおよびホールド"としてより良くモデル化された情報を表すという事実を反映する。また、同じ階層の異なるスパンは、異なる持続時間を持つかもしれず、実用的には可変のサンプリングレートを表す。
【００２２】
本明細書で説明された革新的な方法の非限定的の実施形態は、動き予測および補償技術のいくつかの形態をしばしば利用する。従来方法において、動き補償は、空間相関に基づいてイメージの部分を予測するための代替例として利用される。すなわち、これらのエンコード技術は、再構成されたスパン（例えばイメージ）のそれぞれの部分に対して、空間相関を利用することにより予測すること（すなわち同じサンプルの隣接する部分、例えばＭＰＥＧメソッドにおけるイントラ予測）、または時間相関を利用することにより予測すること（すなわち１または複数の参照サンプルの部分、例えばＭＰＥＧメソッドにおけるＰ予測またはＢ予測）の間のどちらかを選択する。
【００２３】
本明細書で説明される革新的な実施形態の場合、空間および時間は、分離して見なすために完全に独立した次元ではない。空間および時間は、空間時間と呼ばれるより幅広い多次元空間の単にはっきりと異なる次元である。Ｎ次元サンプルのシーケンスを１つの（Ｎ＋１）次元信号として表すことにより、そして、上記（Ｎ＋１）次元信号を段階的階層方法でエンコードすることにより、本明細書で説明される実施形態は、効果的に信号をその空間時間においてエンコード‐デコードすることができ（適切な空間時間エンコード‐デコードオペレーションを介して）、効果的に空間および時間相関を同時に利用することができ（すなわち２つの間で選択する必要なしに）、そして、効果的に多数のサンプルを超えてまた相関を利用することができる（すなわち単に１つのサンプルから別のサンプルまでではない）。加えて、同じ品質水準で隣接するサンプルに基づく代わりに低品質水準（および／または高アグリゲーション水準）のサンプルに基づいてサンプルを予測することにより、（Ｎ＋１）次元信号の選択された部分に取り込まれた不可逆の決定は必ずしもそれら自身を信号の他の部分に（すなわちシーケンスにおける他のサンプル／スパンに）伝えない。要するに、本明細書で説明される実施形態は、その全体において信号を操作し、全体信号にわたって相関を利用し、そして同じ水準で時間次元を他の次元とみなす。我々は、本明細書で説明される方法のこの非常に革新的な特性をしばしば"対称"と呼ぶ。
【００２４】
本明細書で説明される非限定的の実施形態において、シグナルプロセッサ（"エンコーダ"）は、段階的階層に従って信号をエンコードするように構成される。１つの実施形態に従って、エンコーダは信号を受信し、引き続いて低品質水準で信号のレンディションを生成するために受信した信号を処理し、レンディションの段階的階層を生成する。最低の品質水準で信号のレンディションから開始することにより、エンコーダは、第２（低）品質水準で信号のレンディションを処理し、第１（高）品質水準で信号の予測されるレンディションを再構成し、上記の最も予測されるレンディションとレンディションの段階的階層における対応するレンディションとの間の差に対応する残差データを生成する。
【００２５】
本明細書で説明される他の非限定的な実施形態において、シグナルプロセッサ（"エンコーダ"）は、段階的階層に従って信号をエンコードするように構成され、第１（高）品質水準で信号のサンプルのシーケンスを受信する（例えば、限定するものではないが、イメージの時間的なシーケンスにおいて値のそれぞれのセットはイメージに対応するところの値のセットのシーケンス）。エンコーダは、サンプルの上記のシーケンスを２または２より多いサブシーケンスにセグメント化する。それぞれのサブシーケンスに対して、エンコーダはサブシーケンスに属すサンプルを処理し、第２（低）品質水準で信号のサンプルを生成する。続いて、エンコーダは、第１品質水準の既定のサブシーケンスの既定のサンプルのための予測されるサンプルを‐適切な空間および／または時間的なアップサンプリングオペレーションを介して‐生成するために、第２品質水準の２または２より多いサンプル（すなわち第１品質水準の１より多いサブシーケンスに対応する）を処理する。エンコーダは、それから上記の既定のサンプルと上記の予測されるサンプルとの間の差に対応する残差データを生成する。
【００２６】
本明細書で他の非限定的な実施形態において、シグナルプロセッサ（"エンコーダ"）は、段階的階層に従って信号をエンコードするように構成され、値のセットのシーケンスを受信する。値の上記のセットのそれぞれは、第１（高）品質水準で信号のサンプルに対応する。エンコーダは、サンプルの上記のシーケンスを２または２よりも多いサブシーケンス（"ロット"）にセグメント化する。それぞれのサブシーケンスに対して、エンコーダはサブシーケンスに属すサンプルを処理し、第２（低）品質水準で信号のレンディションを生成し、上記のレンディションは第１品質水準でそれぞれ対応するサブシーケンスのために第２品質水準の１または複数のサンプルで構成される。続いて、エンコーダは、第１品質水準の既定のサブシーケンスの既定のサンプルのために予測されるサンプルを‐適切なアップサンプリングオペレーションを介して‐生成するために、第２品質水準で信号の２または２よりも大きいレンディション（すなわち第１品質水準の１よりも大きいサブシーケンスに対応する）を処理する。エンコーダは、それから上記の既定のサンプルと上記の予測されるサンプルとの間の差に対応する残差データを生成する。非限定的な実施形態において、エンコーダは、また、予測されるサンプルを生成するために実行するオペレーションに対応する記述情報を生成する。さらに非限定的な実施形態において、エンコーダは、また、品質水準の段階的階層の構造に対応する記述情報を生成する（例えば、非限定的な例を手段として、それぞれのサブシーケンスに対応するそれぞれの品質水準のそれぞれのサンプルの数および特性）。
【００２７】
本明細書で説明される他の非限定的な実施形態において、シグナルプロセッサ（"デコーダ"）は、階層において引き続いて高品質水準で信号を再構成するように構成される。１つの実施形態に従って、デコーダは、エンコードされたデータの第１セットをデコードし、第１品質水準に従って信号を再構成するためにデコードされたデータの第１セットを利用する。デコーダはエンコードされたデータの第２セットをデコードし、第２（高）品質水準で信号の予測されるレンディションを生成するために適切なオペレーションを適用する。デコーダは、それから、残差データに対応するエンコードされたデータの第３セットを受信する。デコーダは、エンコードされたデータの上記の第３セットを処理し、残差データを生成する。最後に、デコーダは、生成した残差データを第２品質水準で信号の予測されるレンディションに組み合わせて、第２品質水準で信号のレンディションを再構成する。
【００２８】
本明細書で説明される他の非限定的な実施形態において、信号のレンディションは、既定の時間スパンを有する１または複数のサンプル（すなわち値のセット）を含み、第２（高）品質水準で信号の予測されるレンディションのそれぞれの予測されるサンプルは、第１（低）品質水準で信号の１または複数の再構成されたサンプルを処理することにより計算される。上記の処理オペレーションは、適切なアップサンプリングオペレーションを介して（例えば、限定するものではないが、最近傍フィルタリング、線形フィルタリング、キュービックフィルタリング、デブレンディングフィルタリング、ガウシアンフィルタリング、フラクタルフィルタリングなどを含むリストから選択される非限定的な例を手段として）第１（低）品質水準で信号のサンプルのアップサンプリングすること、アップサンプリングされたサンプルを動き補償すること、および動き補償されアップサンプリングされたサンプルを組み合わせることを含む。
【００２９】
本明細書で説明される他の非限定的な実施形態において、信号は"ロット"と称される別個の時間の塊に分割される。それぞれのロットは、それぞれの階層／品質水準に対して１または複数のサンプルに対応する。それぞれの品質水準でそれぞれの既定のサンプルは、予測を（低品質水準で１または複数のサンプルを利用することにより計算される）既定のサンプルに対応する残差データのセットに組み合わせることにより再構成される。デコーダは、それぞれの品質水準において存在するサンプルのＩＤナンバ、それぞれのサンプルの時間の持続時間、それぞれの予測を生成するために使われる低品質水準で予測因子のサンプルのＩＤナンバ、およびそれぞれの予測を生成するために実行されるオペレーションの間に使われるパラメータを含むロットの構造の記述情報を受信する。他の非限定的な実施形態において、低品質水準の１または複数の予測因子のサンプルは、‐上記のサンプルは、既定のロットの高品質水準で既定のサンプルのための予測を生成するために処理される‐また隣接するロットに属することができる。
【００３０】
本明細書で説明される他の非限定的な実施形態において、デコーダは、特定のデコードパターンに従ってエンコードされた再構成データを受信および処理し、同じ信号の最低の品質水準で十分に再構成される（および／または十分に受信される）前に信号の最上位の品質水準の再構成を開始することを可能にし、それ故に、送信の間、エンコード／デコード遅延を減少させる。
【００３１】
本明細書で説明されるいくつかの望ましい実施形態に従って、シグナルプロセッサは、エンコードまたはデコードのために特別許可された方向はない対称デコードを実装するように構成され、デコーダは、必ずしも同じ品質水準で信号の任意の他のサンプルを再構成せずに、任意の品質水準で任意の既定のサンプルを再構成することができる。新規の方法（"デコーディングウェイブ"と称される）は、時間次元に沿って対称エンコードおよびデコードを実行するために説明される。
【００３２】
本明細書で説明される非限定的な実施形態に従って、デコーダは、異なる品質水準を有する信号の異なる時間部分を再構成することを許可するエンコードされたデータのセットのシーケンスを時間と共に受信する。そのような実施形態を利用することにより、例えばバンド幅の混雑状態などの制約を有する状況においてさえ、デコーダは、再生の中断または中止を回避するために、任意の時間間隔でそれでも信号のレンディションを再構成することが可能になる。本明細書で説明される他の非限定的な実施形態に従って、レポジトリにおける同じエンコードされたファイルに基づいて、シグナルプロセッサはデコーダを特定し、上記のエンコードされたファイルの適切な部分を選択し、適切なシーケンスにおいてエンコードされたデータの適切なセットを含むデータストリームを生成し（既定の品質水準に至るまで信号を再構成することを許可する）、そしてデコーダにデータストリームを送信する。他の非限定的な実施形態において、適切なパラメータ（例えばバンド幅の混雑状態、または信号の異なる部分にアクセスする必要、または、早送り再生への切り替、またはが逆再生への切り替を示す）を受信すると、シグナルプロセッサは、上記のエンコードされたファイルの適切な部分を選択し、適切なシーケンスにおいてエンコードされたデータの適切なセットを含むデータストリームを生成し（既定の品質水準に至るまで信号を再構成することを許可する）、デコーダにデータストリームを送信する。
【００３３】
本明細書で説明されるいくつかの非限定的な実施形態に従って、シグナルプロセッサは、逆再生、早送り、巻き戻しおよび信号の任意のサンプルへのランダムアクセスを許可する双方向デコードおよびクイックシグナルナビゲーションが可能となるように構成される。早送りまたは巻き戻し再生を実行する場合に、デコーダは、低品質水準に至るまで信号をデコードし、通常速度での信号の再生に必要なものに相当する処理能力リソースおよびデータストリームを利用することにより、効果的に信号をデコードすることを許可する。
【００３４】
本明細書で説明される他の非限定的な実施形態において、第２（高）品質水準で信号の予測されるレンディションを生成した後、シグナルプロセッサは、変換された残差データに対応するエンコードされたデータを処理することにより残差データを生成するデコーダとして構成される。デコーダは、変換された残差データを処理し（例えば、非限定的な例を手段として、低品質水準において１つの要素に対応する信号の部分に対応する変換された残差のそれぞれのセットに対して逆"分解変換"を実行する）、残差データを生成する。最後に、デコーダは、生成された残差データを第２品質水準で信号の予測されるレンディションに組み合わせ、第２品質水準で信号のレンディションを再構成する。
【００３５】
本明細書で説明される他の非限定的な実施形態は、同じ品質水準の異なるサンプルに対応する残差データの時間相関をまた利用し、かつそれぞれのサンプルに対応する残差データのセットを生成するために上記の共通の予測因子のデータと上記の相対残差データを組み合わせるために、相対残差データと共に残差データのために共通の予測因子（例えば"サポートプレーン"）に対応するデータを受信するように構成されたシグナルプロセッサを含む。
【００３６】
他の非限定的な実施形態において、デコーダは、電力消費対象および／または利用できるバッテリ時間を示すパラメータを示すパラメータにまた基づいて既定の品質水準に至るまでデコードする。電力消費量の制限がない場合、デコーダは、特定のＬＯＱ ｎに至るまでデコードする（例えば非限定的な例を手段として、利用できる表示装置による最高分解能および表示可能なＬＯＱ）。電力消費量が問題になる場合に（例えば、非限定的な例を手段として、デコーダが電力消費量を低減する必要を示すパラメータを受信する）、デコーダは、品質水準 ｍ（ｍ＜ｎ）に至るまでのみデコードし、信号のレンディションを再構成するために必要とされる計算量およびその結果として電力消費量を減少させる。
【００３７】
本明細書で説明される他の非限定的な実施形態は、巨大な並列処理に適したエンコードおよびデコード方法を説明する。依存量が制限される結果（例えば非限定的な例を手段として、既定の品質水準でサンプルは、同じ品質水準の他のサンプルと関係なく実質的に処理および再構成され得る。）、本明細書で説明される方法、アプローチ、およびアルゴリズムは、最新のコンピュータおよび処理アーキテクチャ、および特に並列コンピュータアーキテクチャに適するように設計される。大きな注意は、また、タブレット、モバイル、およびハンドヘルドデバイスを含む任意のデバイスのタイプの実質的な実現可能性を保証するために、低価格の処理ユニットにおいてリソースの制約（例えば処理能力、電力消費量など）に与えられる。非限定的な実施形態において、デコーダは、‐再構成された信号の要素の数に本質的に等しいユニット数に至るまで‐、それらがそれに利用できるときはいつでも自動的に追加のデコードユニットを利用可能な、１または複数の標準デコードユニットを利用し、利用できるユニットの数に従ってそのパフォーマンスを自動的に向上させる。
【００３８】
これらおよび他の実施形態のバリエーションは、より詳細な下記において説明される。
【００３９】
留意することは、本明細書中の実施形態がソフトウェアまたはハードウェアに実現されてもよく、あるいはソフトウェアとハードウェアとの組み合わせを利用して実現されてよく、さらに、１または複数のコンピュータ化されたデバイス、ルータ、ネットワーク、ワークステーション、ハンドヘルドまたはラップトップコンピュータ、タブレット、携帯電話、ゲームコンソール、セットトップボックス等の構成を含んで、本明細書中に開示した任意またはすべての方法オペレーションを実行および／またはサポートしてもよい。言い換えれば、１または複数のコンピュータ化されたデバイスまたはプロセッサは、異なる実施形態を実行するべく本明細書中に説明されるように操作するように、プログラム化および／または構成され得る。
【００４０】
上記のような技術に加えて、本明細書中のさらに他の実施形態は、上記にまとめられ、かつ以下に詳細に開示される段階およびオペレーションを実行するソフトウェアプログラムを含む。１つのそのような実施形態は、プロセッサおよび対応するメモリを有するコンピュータ化されたデバイスで実行される場合、本明細書中に開示されるオペレーションのいずれかをプロセッサに実行および／またはプロセッサにプログラムさせるエンコードされたコンピュータプログラム論理、命令等を含むコンピュータ可読のハードウェアストレージリソース（すなわち、非一時的なコンピュータ可読媒体）を備える。そのような構成は、光学媒体（例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、またはＢＬＵ−ＲＡＹ）、フラッシュメモリカード、フロッピー（登録商標）またはハードディスク、あるいはコンピュータ可読命令を格納することができる任意の他の媒体、１または複数のＲＯＭまたはＲＡＭまたはＰＲＯＭチップ内のファームウェアまたはマイクロコード等のコンピュータ可読媒体上に配置またはエンコードされたソフトウェア、コード、および／または他のデータ（例えば、データ構造体）として、あるいは特定用途向け集積回路（ＡＳＩＣ）として、提供され得る。ソフトウェアまたはファームウェアあるいは他のそのような構成は、本明細書中に説明した技術をコンピュータ化されたデバイスに実行させるべく、このコンピュータ化されたデバイスにインストールされ得る。
【００４１】
したがって、本開示の特定の一実施形態は、信号処理オペレーションをサポートするために格納された命令を有するコンピュータ可読ハードウェアストレージを含むコンピュータプログラムに関する。
【００４２】
理解しやすいように、段階の順序を加えた。これらの段階は、任意の適当な順序で実行され得る。
【００４３】
本開示の他の実施形態は、上記にまとめられ、かつ以下に詳細に開示される方法実施形態段階およびオペレーションのいずれかを実行するべく、ソフトウェアプログラム、ファームウェア、および／または各々のハードウェアを備える。
【００４４】
また、本明細書中に説明されるシステム、方法、装置、コンピュータ可読記憶媒体上の命令等は、ソフトウェアプログラムとして、ソフトウェア、ファームウェア、および／またはハードウェアのハイブリッドとして、あるいはプロセッサ内、またはオペレーティングシステムの中もしくはソフトウェアアプリケーションの中のハードウェア単体等として、厳密に具現化される。
【００４５】
上記のように、本明細書中の技術は、信号を処理し、エンコードされたデータのビットストリームを生成し、またはエンコードされたデータのビットストリームを処理し、信号のレンディションを生成するソフトウェア、ファームウェア、および／またはハードウェアアプリケーションでの利用に十分適している。しかしながら、留意すべきことは、本明細書中の実施形態が、そのようなアプリケーションでの利用に限定されるものではなく、しかも、本明細書中で論ぜられる技術が他のアプリケーションにも同様に十分適しているということである。
【００４６】
さらに、留意することは、本明細書中のそれぞれの異なる特徴、技術、構成等がこの開示の異なる場所で述べられると思われるが、それぞれの概念が互いに無関係に、または互いに組み合わさって実行され得ることを意図している。したがって、本明細書中で説明される１または複数の本発明、実施形態等は、多くの異なるやり方で具現化および表示され得る。
【００４７】
また、留意することは、本明細書中の実施形態に関してこのような事前の検討は、個々の実施形態を、および／または、本開示もしくはクレームされた発明の付加的な新規の態様を、特定するものではない。その代わり、この簡単な説明は、一般的な実施形態と、従来技術に対する新規性の対応点とのみを指し示す。本発明の追加の詳細および／または可能な局面（変更）に関して、読み手は、以下にさらに述べられる本開示の詳細な説明の欄および対応する図面に導かれる。
【図面の簡単な説明】
【００４８】
本発明の前述および他の目的、特徴、ならびに利点は、異なる図全体にわたる同じ部分が同様の参照符号によって言及される添付の図面に示されるように、本明細書中の好ましい実施形態のより具体的な以下の説明から明らかであろう。図は、寸法どおりである必要はないが、その代わりに実施形態、原理、概念等を示すことに重点が置かれている。
【図１Ａ】マルチスケールエンコードおよびデコードシステムを示す図の例である。
【図１Ｂ】時間次元に従ったアグリゲーションの例を示す図の例である。
【図１Ｃ】空間ダウンサンプリングおよび空間時間ダウンブレンディングの例を示す図の例である。
【図１Ｄ】時間に従ってアグリゲーションおよび空間時間ダウンブレンディングの例を示す図の例である。
【図１Ｅ】層状の時間的階層でエンコードされた信号の構造を示す図の例である。
【図１Ｆ】エンコーダの構造を示す図の例である。
【図１Ｇ】デコーダの構造を示す図の例である。
【図１Ｈ】より詳細なエンコーダの構造を示す図の例である。
【図２Ａ】本明細書で説明される、信号の多数のサンプルを１つのダウンサンプリングされたサンプルに組み合わせる実施形態を示す。
【図２Ｂ】本明細書で説明される、信号の多数のサンプルを１つのダウンサンプリングされたサンプルに組み合わせる実施形態を示す。
【図２Ｃ】本明細書で説明される、信号の多数のサンプルを１つのダウンサンプリングされたサンプルに組み合わせる実施形態を示す。
【図２Ｄ】本明細書で説明される、信号の多数のサンプルを１つのダウンサンプリングされたサンプルに組み合わせる実施形態を示す。
【図３Ａ】サポート要素情報に基づくエンコードを示す図の例である。
【図３Ｂ】サポート要素情報に基づくエンコードを示す図の例である。
【図４Ａ】シーケンスイメージの処理の図の例である。
【図４Ｂ】シーケンスイメージの処理の図の例である。
【図４Ｃ】シーケンスイメージの処理の図の例である。
【図５Ａ】本明細書で説明される発明による再構成プロセスを示す、図の例を通した代替的なデコードパターンを示す。
【図５Ｂ】本明細書で説明される発明による再構成プロセスを示す、図の例を通した代替的なデコードパターンを示す。
【図５Ｃ】本明細書で説明される発明による再構成プロセスを示す、図の例を通した代替的なデコードパターンを示す。
【図５Ｄ】本明細書で説明される発明による再構成プロセスを示す、図の例を通した代替的なデコードパターンを示す。
【図５Ｅ】本明細書で説明される発明による再構成プロセスを示す、図の例を通した代替的なデコードパターンを示す。
【図６】本明細書で説明される発明による段階的階層でエンコードされた信号に基づくデータストリームの生成を示す図を示す。
【図７】本明細書で説明される実施形態の１つを利用することにより信号をエンコードするための段階的階層を生成するために、２Ｄおよび３Ｄイメージをダウンサンプリングするための方法を示す図を示す。
【図８】本明細書で説明される実施形態による段階的階層で信号をエンコードするための方法を示すフローチャートを示す。
【図９Ａ】本明細書で説明される発明による段階的階層でエンコードされた信号をデコードするための方法を示すフローチャートを示す。
【図９Ｂ】本明細書で説明される発明による段階的階層でエンコードされた信号をデコードするための方法を示すフローチャートを示す。
【図９Ｃ】本明細書で説明される発明による段階的階層でエンコードされた信号をデコードするための方法を示すフローチャートを示す。
【図１０】本明細書で説明される発明によるデータ処理を提供するコンピュータシステムのブロック図を示す。
【図１１】残差量子化のための方法を示す図を示す。
【発明を実施するための形態】
【００４９】
実施形態の詳細な説明および更なる概要
ここに示される方法は、制限のない音声信号、マルチチャネル音声信号、ピクチャ、二次元イメージ、ビデオ信号、マルチビュービデオ信号、３Ｄビデオ信号、容量信号、容量ビデオ信号、医療用画像信号、四次元を超える信号などを含む多次元信号のどのタイプに対しても適している。簡潔さのために、説明に沿って、示された実施形態は、通常、ビデオシーケンスの使用例を採用する。すなわち、ビデオシーケンスは、一連の２Ｄイメージ（一般に、「フレーム」、またはインターレースビデオ信号の場合は「フィールド」と称される）からなる時系列信号であり、各々の要素（そのような非限定的な例の場合では、典型的には、「ピクセル」と称される）が適当な色空間（例えば、ＹＵＶ、ＲＧＢ、ＨＳＶ）内の一組の色設定のセットによって特徴づけられる。異なる色プレーン（例えば輝度のＹプレーン並びに二つのクロミナンスのＵおよびＶプレーン）は、しばしば別々にエンコードされ、しばしば異なる解像度を有する（クロミナンス情報に対する人間の目の低感度が原因で）。
【００５０】
他の場合では、我々は、このドキュメントにおいて既に定義されたように、Ｎ次元サンプルまたは"スパン"のシーケンスとして信号を表し、信号の完全な表現は、（Ｎ＋１）次元信号（例えば次元の１つが時間であれば、これは１つの時間‐空間レンディションを伴う空間レンディションのシーケンスを表すことに対応する）であるという事実に言及し得る。これらは、本明細書で説明される革新的な方法を利用してフィルタ処理され得るおよび／または圧縮され得る信号の可能性がある種類の非限定的な例と考えられる。ビデオ以外の信号に対して、当業者は、ビデオ信号の場合の使用のために説明されたアプローチを適切に適用することにより、容易に本明細書で説明される方法を適用することができる。非限定的な例において、スパンは、また、２以外の異なる数の次元（例えば一次元スパン、三次元スパンなど）を有する要素のハイパープレーンになり得、および／または、時間次元のために本明細書で説明されたものに対応する時間アプローチと異なる次元に適用することが可能である。
【００５１】
信号の時間における各スパンは、ハイパープレーン（または "１または複数の次元を有するアレイとして体系化された要素のセット"のようにその最も広い意味で意図された、より単純に"プレーン）で表される。例えば、マルチチャネル音声信号、２ＤＨＤビデオフレーム、または３Ｄ容量医療イメージは、全てプレーン要素（特に、マルチチャネル音声信号のための要素の１Ｄプレーン、ＨＤビデオフレームのための要素の２Ｄプレーン、および容量医療イメージのための要素の三次元ハイパープレーン）のアレイで表され得る。
【００５２】
時間に従って、スパンは、既定の（ローカル）サンプリングレートで発生する。従来の方法では、サンプリングレートは、常に一定である。それどころか、本明細書で説明される革新的な方法は、可変のサンプリングレートを可能にさせる。特に最上位の水準よりも低い品質水準に対して、既定の品質水準のスパンの持続時間（すなわち既定の品質水準のためのサンプリングレート）は、可変になり得、実際上、可変のサンプリングレートを表す。異なる時間の持続時間を持つスパンを有する適切な信号の再生を可能にさせるために、スパンのそれぞれは、また、スパンが表示され始めなくてはならない場合の時間を表す"ピクチャナンバ"または"ピクチャ識別子"により特徴付けられる。
【００５３】
本明細書で説明される方法および実施形態は、互いおよび／または他の方法と同時に使用され得る。本明細書で説明される望ましい実施形態の多くは、最小限のビットの品質で適切なレンディションの信号を圧縮、すなわちエンコードおよび／またはデコードの実現を目標に有する技術およびアルゴリズムを説明する。これは、また、非限定的な例である。他の実施形態は、例えばマルチスケールエンコードおよびデコード、アダプティブストリーミング、ロバストおよび効率的フィルタリング、信号のノイズ除去（例えばイメージのノイズ除去、ビデオのノイズ除去など）、信号強調（例えば信号のスーパーサンプリング、飛び越し除去など）、信号品質基準の生成、コンテンツ識別、マシンビジョン、信号の暗号化（例えばセキュアな通信）など異なる目的を達成することができる。
【００５４】
図１Ａは、本明細書に記載の実施形態によるマルチスケールエンコードおよびデコードシステムを説明する非限定的な例図である。
【００５５】
１つの実施形態において、エンコーダ１１０は、オリジナル信号１００（例えば信号１００―１、１００―２などのシーケンスなど）を受信し、信号１００をマルチスケールのデータストリーム１１５にエンコードする。デコーダ１２０―２はエンコードされたデータのデータストリーム１１５を受信し、例えば第１品質水準など低ＬＯＱ１００１で再構成された信号を生成する。
【００５６】
デコーダ１２０―１は、データストリーム１１５を受信し、例えば第２品質水準など高ＬＯＱ１０００で再構成された信号を生成する。この例の実施形態において、第２品質水準は、第１品質水準より高い。１つの実施形態において、第２（または高）品質水準は、第１（低）品質水準での解像度よりも高解像度イメージ（例えばディスプレイ画面のユニットエリアにつきより多い要素）である。したがって、シーケンスにおける信号１０００―１は、信号１０００―１の高解像度のレンディションであり、シーケンスにおける信号１０００―２は、信号１０００―２の高解像度のレンディションなどである。
【００５７】
非限定的な実施形態において、また、デコーダ１２０―１は、低ＬＯＱ１００１で再構成された信号に基づいて、高ＬＯＱ１０００で再構成された信号を再構成するために低ＬＯＱ１００１で再構成された信号を生成する。
【００５８】
いくつかの非限定的な実施形態において、述べたように、第２品質水準は、第１品質水準よりも高解像度（空間的および／または時間的）を持つ。そのような実施形態のいくつかにおいて、第２品質水準は、信号の次元のそれぞれに特定のスケール係数（非整数のスケール係数および／または１に等しいスケール係数を含む）を有するアップサンプリングにより得られる解像度を持つ。言い換えれば、信号１０００―１は、信号１００１―１から少なくとも一部に基づいてアップサンプリングされ得、信号１０００―２は、信号１００１―２から少なくとも一部に基づいてアップサンプリングされ得るなどする。同様のやり方において、信号１００１におけるそれぞれの信号は、高解像度の信号にアップサンプリングされ得る。
【００５９】
他の非限定的な実施形態において、デコーダ１２０―２は、データストリーム１１５をデコードするために、レガシーデコード技術（例えばＭＰＥＧ２  Ｈ．２６４など）を利用する。
【００６０】
非限定的な例の実施形態において、テレビデコーダのデコードシグナルプロセッサ（例えば限定するものではないがセットトップボックス）は、図１Ａで説明されたような方法を実装するためにプログラム化され、データストリーム１１５は、受信されたブロードキャスト信号に対応する。このようにして、レガシーデコーダは、デコーダ１２０として同じデータストリーム１１５を受信するが、高品質水準で信号のレンディションを再構成するために利用できるデータストリーム内の追加のデータを全く無視する。
【００６１】
他の非限定的な実施形態において、ストリーミングサーバは、エンコードされたデータストリーム１１５を処理し、デコーダの特性および／またはバンド幅の混雑状態に応えて、既定の品質水準（最大可能の品質水準とは対照的に）に至るまで信号をデコードするために必要なエンコードされたデータのみ含むデータストリームのバージョンを生成する。
【００６２】
図１Ｂは、本明細書に記載の実施形態による時間次元に従ったアグリゲーションの非限定的な例を説明する図である。
【００６３】
非限定的な例を手段として、三つのプレーン１３０―１、１３０―２、１３０―３のそれぞれは、オリジナルプレーンとして同じ解像度を有し、サポートプレーン１３１に集約された、２×２のプレーンとして体系化された四つの要素を含む。それぞれのプレーンは、いずれの数の要素を含むことができる。
【００６４】
１つの実施形態において、サポートプレーン１３１の要素は、プレーン１３０―１、１３０―２および１３０―３の対応する要素に基づいて計算される。原理としていずれの数のプレーンも１つのサポートプレーンに集約され得るので、同じサポートプレーンに集約されるプレーンの数は、非限定的として考えられるべきである。この非限定的な例の実施形態において、サポートプレーン１３１は、プレーン１３０―１、１３０―２および１３０―３よりも"高アグリゲーション水準"（ＬＯＡ）であると言われている。
【００６５】
いくつかの非限定的の実施形態において、サポートプレーン１３１は、プレーン１３０―１、１３０―２および１３０―３のそれぞれのための特定の再構成データに基づいて、プレーン１３０―１、１３０―２および１３０―３のレンディションを再構成するために処理される。
【００６６】
他の非限定的な実施形態において、プレーン１３０―１、１３０―２および１３０―３は、再構成されたレンディション信号を生成するために、対応するサンプルの予備レンディションに行われる調節を特定する残差プレーンである。言い換えれば、例えばプレーン１３０―１、プレーン１３０―２、プレーン１３０―３などのプレーンは、いわゆる残差データを表現することができる。残差データは、再構成された信号が信号のオリジナルのレンディションにより近くマッチするように、再構成された信号における多数の要素のそれぞれをどのように調節するかを特定する調節データになり得る。
【００６７】
図１Ｂの非限定的な実施形態において、情報のそれぞれのプレーンは、異なるサンプリング位置（例えばサンプリング時間）に対応する。例えば、要素のプレーン１３０―１は、シーケンスにおける時間Ｔ１にキャプチャされたオリジナル信号のレンディションの再現に関連する調節情報を表すことができ、要素のプレーン１３０―２は、シーケンスにおける時間Ｔ２にキャプチャされたオリジナル信号のレンディションの再現に関連する調節情報を表すことができ、要素のプレーン１３０―３は、シーケンスにおける時間Ｔ３にキャプチャされたオリジナル信号のレンディションの再現に関連する調節情報を表すことなどができる。
【００６８】
他の非限定的の実施形態において、プレーン１３０―１、１３０―２および１３０―３は、低アグリゲーション水準で他のプレーンのためのサポートプレーンである。低アグリゲーション水準で多数のプレーンはプレーン１３０−２を生成するために集約され得、低アグリゲーション水準で多数のプレーンはプレーン１３０−３を生成するために集約され得るなど、例のように、低アグリゲーション水準で多数のプレーンは、プレーン１３０−１を生成するために集約され得る。したがって、多数のプレーン（イメージ）に関連付けられる調節情報は、階層的な態様で１つのサポートプレーンに組み合わされ得る。
【００６９】
図のように、要素の１つのサポートプレーン１３１は、要素の多数の時間的なプレーンのそれぞれの特性をキャプチャする。これは、プレーン１３０―１、１３０―２、１３０―３などにおける対応する要素（例えば左下の要素）の主たる設定であるので、例えば、動き補償のないこの単純な例において、プレーン１３１の左下の要素は、Ｄの値に設定される。
【００７０】
これは、プレーン１３０―１、１３０―２、１３０―３などにおける対応する要素（例えば右上の要素）の主たる設定であるので、プレーン１３１の右上の要素は、Ｃの値にセットされる。したがって、サポートプレーン１３１は、多数の個々のイメージプレーンの混合を含む。
【００７１】
他の非限定的な実施形態において、時間と共にオブジェクトの動きを考慮するので、異なるプレーンの対応する要素は、それらのそれぞれのプレーン（動きにおける適切な記述情報により特定されるように）の異なる位置に属するかもしれない。
【００７２】
本明細書に記載の実施形態は、サポートプレーン１３１を反対に個々のプレーン１３０−１、プレーン１３０―２、プレーン１３０―３などに変換する再構成データ（例えば残差データなど）の生成を含むことができる。例えば、エンコーダは、サポートプレーン１３１内の要素の設定値と、オリジナルプレーン１３０―１内の要素の設定値とを比較する。この例において、プレーン１３０―１のための再構成データは、サポートプレーン１３１がサポートプレーン１３１内の右上の要素に対する調節によってプレーン１３０―１に変換され得ることを示し得る。すなわち、プレーン１３０―１内の設定値は、一般的に左上の要素を除いてサポートプレーン１３１内の要素の設定値と同じである。プレーン１３０―１に関連する再構成データは、プレーン１３０―１内の右上の表示要素のために設定値Ｃを値Ｂに変化させるために設定値Ｃに対して適用される異なる差情報を含むことができる。さらにこの例の実施形態において、エンコーダは、サポートプレーン１３１内の要素の設定値と、オリジナルプレーン１３０―２内の要素の設定値とを比較する。この例において、プレーン１３０―２のための再構成データは、サポートプレーン１３１内の設定値がどんな調節もなしにプレーン１３０―２の要素に変換され得ることを示し得る。
【００７３】
さらにこの例において、エンコーダは、サポートプレーン１３１内の要素の設定値と、オリジナルプレーン１３０―３内の要素の設定値とを比較する。この例において、プレーン１３０―３のための再構成データは、サポートプレーン１３１がサポートプレーン１３１内の左下の要素に対する調節によってプレーン１３０―３に変換され得ることを示し得る。すなわち、プレーン１３０―３の設定値は、一般的に左上の要素が異なる以外のサポートプレーン１３１内の要素の設定値と同じである。プレーン１３０―３に関連する再構成データは、プレーン１３０―３のために設定値を再構成する場合に、左下の表示要素のために設定値Ｄを値Ｅに変化するサポートプレーン１３１内の設定値Ｄに対して適用される差情報を含むことができる。
【００７４】
図１Ｃは、本明細書に記載の実施形態による非限定的な例の空間ダウンサンプリングおよび空間時間ダウンブレンディングを説明する例図である。図は、第１（高）品質水準でのプレーンのシーケンスおよび第２品質水準でのプレーンの対応するシーケンスを説明する。第２品質水準は、第１品質水準よりも低い。
【００７５】
特に、第２品質水準でのシーケンスは、次の通りに得られる。
【００７６】
１６個の要素からなる二次元平面であるプレーン１１ １３５−１は、その空間次元の両方に沿って２のスケール係数でダウンサンプリングされ、ダウンサンプリングされたプレーン１３６―１を生成する。１６個の要素からなる３つの二次元平面のそれぞれであるプレーン１３５―２、１３５―３および１３５―４は、それらの空間次元に沿って２のスケール係数で、かつ時間次元に沿って３のスケール係数でダウンサンプリングされ、ダウンブレンドされたプレーン１３６−２を生成する。この例においてプレーン１３５―１が時間Ｔ１でのサンプルイメージの表現であり、プレーン１３５―２が時間Ｔ２でのサンプルイメージの表現であり、プレーン１３５―３が時間Ｔ３でのサンプルイメージの表現であり、プレーン１３５―４が時間Ｔ４でのサンプルイメージの表現である等と想定する。
【００７７】
空間時間ダウンサンプリング（すなわち時間次元にも沿ったダウンサンプリング）のオペレーションは、また、この明細書において、"ダウンブレンディング"（"ダウンサンプリング＋時間ブレンディング"の縮めた表現）と呼ぶ。１つの実施形態において、ダウンサンプリングは、品質階層の水準がダウンした信号のレンディションの解像度の低減に言及する。ブレンディングは、時間と共にサンプリングされたサンプル信号の特性の組み合わせに言及する。原則としていずれの数のプレーンもダウンブレンドされたプレーンにダウンブレンドされ得るので、同じダウンブレンドされたプレーンにダウンブレンドされるプレーンの数は、非限定的と見なされるべきである。
【００７８】
本明細書に記載の実施形態は、サポートプレーン１３６を反対に個々のプレーン１３５−２、プレーン１３５―３、およびプレーン１３５―４に変換する再構成データ（例えば残差データなど）の生成を含むことができる。例えば、エンコーダは、プレーン１３６―２を、プレーン１３５―２、１３５―３および１３５―４のように同じ品質水準での信号の予備のレンディションにアップサンプリングする後になされることが必要である修正を決定するように構成され得る。エンコーダは、それから、プレーン１３６―２のアップサンプリングされたレンディションにおける要素をプレーン１３５―２に修正する方法を示す再構成データの第１セットを生成する。エンコーダは、それから、プレーン１３６―２のアップサンプリングされたレンディションにおける要素をプレーン１３５―３に修正する方法を示す再構成データの第２セットを生成する。エンコーダは、それから、プレーン１３６―２のアップサンプリングされたレンディションにおける要素をプレーン１３５―４に修正する方法を示す再構成データの第３セットを生成する。したがって、デコーダはプレーン１３６―２に関連する再構成データおよび再構成データの第１セットを受信し、プレーン１３５―２内の設定値を再生成することができる。デコーダはプレーン１３６―２に関連する再構成データおよび再構成データの第２セットを受信し、プレーン１３５―３内の設定値を再生成することができる。デコーダはプレーン１３６―２に関連する再構成データおよび再構成データの第３セットを受信し、プレーン１３５―４内の設定値を再生成することができる。
【００７９】
図１Ｄは、本明細書に記載の実施形態による動き補償と一緒に実行されるアグリゲーションおよび空間時間ダウンブレンディングの非限定的な例を説明する例図である。
【００８０】
プレーン２１  １３５−５およびプレーン２２  １３５−６は、サポートプレーン１３７に集約される。サポートプレーン１３７は、オリジナルプレーンより大きい数の要素を持つ。サポートプレーン１３７の要素は、プレーン１３５―５および１３５―６の対応する要素に基づいて計算される。この非限定的な例の実施形態において、サポートプレーン１３７は、オリジナルプレーンのそれより高解像度を持つサンプリンググリッドを持たないことに留意され得る。それは、拡大されたサンプリング領域（例えばオリジナルプレーン１３５―５、１３５―６など内よりもより大きい数の表示要素）である。プレーン１３７のグリッドは、"シーン"（すなわちより大きな"視野"を有する）のより大きい部分をキャプチャするべく、プレーン２１、２２、３１、３２に対して広げられる。サポートプレーン１３７に関連付けられた表示要素の領域を拡大することは、プレーン２１および２２内の表示要素のより大きい部分をサポートプレーン１３７にキャプチャすることを可能にする。したがって、サポートプレーン１３７は、多数のプレーンからの情報のアグリゲーションを含む。例えば、図のように、サポートプレーン１３７は、プレーン２１および２２のそれぞれに提示されるオブジェクトの組み合わせを含む。
【００８１】
図のように、サポートプレーン１３７は、第１オブジェクト（例えばプレーン２１および２２の両方に黒い四角形の存在として視覚的に示される情報）、および第２オブジェクト（例えばプレーン２２のみに三角形として視覚的に示される情報）のレンディションを含む。図は、動き補償の効果を示す。視覚的に黒い四角形として示される情報は、時間に沿って位置を変化させ、サポートプレーン１３７にブレンドされる前に動き補償される動作である。特に、図は、プレーン２１（すなわちサポートプレーン１３７において、黒い四角形はそれがプレーン２１にあった部分に位置する）のサンプリング位置に対する動き補償の例を示す。言い換えると、動き補償が原因で、ブレンドされたプレーン１３７は、多数のオリジナルプレーンの単純なオーバーレイによって得られるのではなく、既定のオリジナルプレーンをサポートプレーン１３７のサンプリング位置に対して動き補償することによって得られるゆがんだプレーンのそれぞれである"ゆがんだ"プレーンの重み付き平均である。
【００８２】
この例の実施形態において、プレーン３１  １３５−７およびプレーン３２  １３５−８は、ダウンブレンドされたプレーン１３８にダウンブレンドされる。ダウンブレンドされたプレーン１３８は、空間ダウンサンプリングオペレーションに起因するサンプリンググリッドよりも多くの要素を持つ。サポートプレーン１３７のように、また、ダウンブレンドされたプレーン１３８は、それにダウンブレンドされたプレーンの全てで部分的に表される、およびプレーンのいくつかでのみ部分的に表される情報を含む。この態様において、本明細書に記載の実施形態は、多数の異なるプレーンに存在しているオブジェクトのレンディションをキャプチャすることに適合するために、ダウンサンプリングされたプレーンに関連付けられた範囲の領域（例えば表示要素の数）を拡大することだけでなく、代表のプレーンの解像度を減少させるダウンサンプリングアルゴリズムを適用することを含む。
【００８３】
したがって、ビデオに関連付けられたイメージ（およびキャプチャされた動くオブジェクト）のシーケンスは、オリジナルイメージと同じまたは異なる解像度の１つのイメージにキャプチャされ得る。
【００８４】
１つの実施形態において、エンコーダプロセッサハードウェアは、プレーン２１および２２の間で共通のイメージ要素設定値のセットを含むサポートプレーン１３７を生成する。サポートプレーン１３７は、１）多数のオリジナルイメージの第１プレーン（イメージ）内で検出されたような第１オブジェクト（スモールサークル）のレンディション、および２）多数のオリジナルイメージの第２プレーン（イメージ）内で検出されたような第２オブジェクト（三角形）のレンディションを含んで構成され得る。第２オブジェクト（三角形）のレンディションは、第１プレーン２１に不在であり得る。第１オブジェクト（スモールサークル）のレンディションは、第２プレーン２２に不在であり得る。
【００８５】
図１Ｅは、（Ｎ＋１）次元信号、この例では、二次元ビデオフレームのシーケンスを表しているＮ次元スパンのシーケンスを説明する図である。最上位の（オリジナル）品質水準のスパン（ＬＯＱ＃０、または同等に階層＃０）は、２つの"ロット"であるロット１およびロット２、すなわち言い換えるとスパンの２つのサブシーケンスを構成する"バッチ"（すなわち時間の塊）に構築される。ＬＯＱ＃０で、ロット１は、等しい持続時間の８つのスパン（サンプリング位置１でのスパン１００−１、サンプリング位置２でのスパン１００−２、…、サンプリング位置８でのスパン１００−８）からなり、ロット２は、等しい持続時間の５つのスパン（サンプリング位置９でのスパン１００−９、サンプリング位置１０でのスパン１００−１０、…、サンプリング位置１３でのスパン１００−１３）からなる。
【００８６】
図１Ｅに示される信号は、図に示される４つの最上位の品質水準ＬＯＱ＃０、ＬＯＱ＃−１、ＬＯＱ＃−２およびＬＯＱ＃−３を有する段階的階層でエンコードされる。信号は、より大きい数の品質水準でエンコードされ得、かつ原則として最低水準は１つの要素を構成する１つのスパンを持つので、これは非限定的として意図される。
【００８７】
ＬＯＱ＃−１の品質水準は、ロット１の４つのスパン（スパン１０１―１、１０１―３、１０１―５、１０１―７）、およびロット２の２つのスパン（スパン１０１―９および１０１―１２）からなる。この非限定的の実施形態において、ＬＯＱ＃−１でのロットは、ＬＯＱ＃０での同じロットより小さい数のスパンを持つ、すなわちＬＯＱ＃−１のスパンは、時間的なダウンサンプリングの手段により得られた。ＬＯＱ＃−１のスパンに対応する要素のハイパープレーン（すなわちビデオフレームの例において、ピクセルの二次元平面）は、また、ＬＯＱ＃０のスパンに対応する要素のハイパープレーンに対して、それぞれの空間次元のための適切なスケール係数で、ダウンサンプリングされる。この非限定的な例において、ハイパープレーンは、二次元（例えば二次元イメージを表している）を持ち、それぞれの次元は、２で割り切れることを保証するためにそれが必要になる場合にパディングの行または列を導入して、次への階層の品質水準毎に２の係数でダウンサンプリングされる。
【００８８】
ＬＯＱ＃−１でダウンブレンドされたスパン１０１―１２は、ＬＯＱ＃０でのスパン１００―１１、１００―１２および１００―１３（すなわち３のスケール係数を持つスパン１０１−１２に対する時間的なアップサンプリング）に対応する一方で、ＬＯＱ＃０のスパンの異なる数は、ＬＯＱ＃−１の異なるスパンに対応する。例えば、ＬＯＱ＃−１でダウンブレンドされたスパン１０１−１（すなわち、異なる品質水準での信号の同じ部分を表す）は、ＬＯＱ＃０でのスパン１００−１および１００−２（すなわち、スパン１０１−１から２のスケール係数を持つスパン１００―１および１００―２に対する時間的なアップサンプリング）に対応する。
【００８９】
スパンは、サンプリング位置（チェックマーク上の、それぞれのスパン上の数により図１Ｅに表される）、時間の持続時間（スパンの水平長さにより図１Ｅに表される）、およびピクチャナンバ（ベタの円形マークの下に、それぞれのスパンの下に数により図１Ｅに表される）により特徴付けられる。例えば、ＬＯＱ＃−３のスパン１０３−１１は、サンプリング位置１１（すなわち、それは位置１１における"中心にある"）、５ユニットの時間の持続時間（すなわち、ＬＯＱ＃０の５スパンに対応する）、およびピクチャナンバ９（すなわち、スパンが表示されなければならない場合に、それはスクリーン上に、ＬＯＱ＃０のピクチャレートで、ピクチャ９から開始してピクチャ１３まで、すなわち５ピクチャのそれらの持続時間の間あり続けるだろう）により特徴付けられる。
【００９０】
この非限定的の実施形態において、ＬＯＱ＃０よりも低い品質水準のスパンのサンプリング位置は、ＬＯＱ＃０のサンプリングレート（この例においては一定のサンプリングレート）により計算される。特に、ＬＯＱ＃０の複数のスパンに対応するスパンのサンプリング位置は、ＬＯＱ＃０での対応するスパンのサンプリング位置の平均より低いまたは等しい整数のサンプリング位置（すなわちラウンディングダウン）として計算される。例えば、２は、１００―１、１００―２、１００―３および１００―４のサンプリング位置の平均（２．５になるだろう）よりも低い、最も近い整数のサンプリング位置であるので、ＬＯＱ＃−２のスパン１０２―２（ＬＯＱ＃０のスパン１００―１、１００―２、１００―３および１００―４に対応する）は、２のサンプリング位置を持つ。同様に、１１は、スパン１００―９、１００―１０、１００―１１、１００―１２および１００―１３のサンプリング位置の平均（この場合においては直接に整数）であるので、ＬＯＱ＃−３のスパン１０３−１１は、１１のサンプリング位置を持つ。
【００９１】
この非限定的の実施形態において、ＬＯＱ＃０よりも低い品質水準のスパンのピクチャナンバは、ＬＯＱ＃０のサンプリングレートに従って再び計算される。そして、既定のスパンのピクチャナンバは、既定のスパンに対応するＬＯＱ＃０のスパンの最低のサンプリング位置として計算される。
【００９２】
エンコーダの実施形態の説明例
【００９３】
圧縮重視の環境において、エンコーダとして構成されるシグナルプロセッサ（今から"エンコーダ"）は、本質的に信号を既定の品質に圧縮する、エンコードされた再構成データのセットを生成する信号を処理する。デコーダとして構成されるシグナルプロセッサ（今から"デコーダ"）は、再構成データのセットを受信し、オリジナル信号のレンディションを再構成する。
【００９４】
エンコードされた再構成データの適切なセットを生成するために、第１に、エンコーダはバッチに含まれるだろう信号の時間部分、およびロット内でのその下位区分を特定する。空間次元が、明確な、かつ固定されたネイティブの境界（例えばビデオフレームの水平および垂直の解像度、音のサンプルを表している値の数、容量イメージのｘｙｚ解像度など）を持つ一方で、時間次元がしばしば境界のない（少なくとも全ての実質的な目的のために）という実質的な課題が原因で、バッチが必要である。したがって、時間内にその全体の持続時間に沿って信号を分析するために、理想的にはベストオプションだとしても、それはしばしば実質的に実現不可能である。しかしながら、信号は‐例えば動きピクチャおよびシューティングなどの特に非限定的な例において‐、しばしば自然に関係のない塊の連結されたチェーンになる。例えば、一般的に、動きピクチャコンテンツは、"シーン"、すなわち非常に明確なシーン変化により区分される相関性があるスパンの時間‐制限量に分割される。これらの"シーンバッチ"は、エンコード前の信号を時間内に区画化するために有効参照として供給することができる。しかしながら、これらのバッチが非常に長い場合に、スパンのシーケンスをさらに区画化することが必要である。適切な対抗手段なしに、シーンを"計算のための独立した部分"に区画化することは、明白なアーティファクト（ノイズパターンが突然変化したり、滑らかな動作が不連続性を示したり、など）に通じ得る。本明細書に説明される望ましい非限定的の実施形態により利用される新規な手順は、"ロット"（すなわち単独で、階層を１ロットずつダウンサンプリングすること）の使用、および"デコーディングウェイブ"アプローチ（すなわちロットを横断して階層をアップサンプリングすること）を含む。そのような新規な方法の手段により、シーンは、現在のアーキテクチャを有する実際の計算を行うために、確かに区画化される。そのような区画化は、デコードし、固定された分離を回避し、そしてその結果生じる、信号の再構成されたレンディションにおける不連続性を回避する間、"橋渡し"される。
【００９５】
バッチがまさに少数のスパンからなる場合には、さらにそれを区画化する必要はない。多くのスパン（すなわち既定の閾値を超える）のための持続的なバッチの代わりを想定すると、エンコーダは、バッチをロットにスライスする。上記で示されたように、ロットは、スパンの連続した数である。スパン１から１２８の範囲のロット長および１−５ロットで作られるバッチは、ロットおよびバッチの持続時間の非限定的な例である。実質的な観点から、そのような長さは、既定の実施形態で利用されるハードウェア、メモリ、および処理ユニットに対して調節される。ロット次元の決定は、エンコーダ側で実行されるグローバル最適化プロセスの結果である。非限定的な判断は、エンコーダにより生成される既定のプロファイルで、デコーダリソース（特にメモリの必須要件）の任意の必須要件に与えられる、高い時間相関性バッチ内でロット長を最大化することである。他の非限定的な判断は、固定されたロットサイズを可能な限り維持し、そして、単純に計算するために、特にそれを固定されたイメージ数か１つのイメージ（例えば前または後の非常に相関関係のないイメージ）に設定することである。
【００９６】
エンコーダは、信号の全域で動き予測を実行する。例えば補助マップ、動きベクトル、動きゾーンマップ、動き行列などのパラメータの数を含む適切な記述情報を生成する。そして、信号スパンに表されるオブジェクトの動きを表わす。動き予測の結果次第で、エンコーダは、例えば、ビデオ信号の場合におけるシーン変化を考慮して、バッチおよびロットに含まれるスパンの数を修正してもよい。ロット長は、時間に沿ってスパンの時間相関が既定の閾値より下に低減するときはいつでも、エンコーダによって短縮される。動きの観点からバッチの間に信号のアクティビティに対応する適切な測定基準に基づいて、ロット長は、それ故に本質的に反比例の原理で割り当てられる。非限定的な実施形態において、ロット長は、プリセットされる経験パラメータを利用することにより上記測定基準に基づいて規定される。
【００９７】
バッチ内で、エンコーダは、それ故にスパンを１または複数のロットにグループ化する。
【００９８】
ＬＯＱ＃０のどのスパンがどのロットに属すか識別されるとすぐに、エンコーダは、スパンの段階的階層を計算する。そして、すぐ接する高ＬＯＱで対応する複数のスパンをダウンサンプリングすることによって、低ＬＯＱでそれぞれのスパンを生成する。高ＬＯＱでの複数のスパンのダウンサンプリングに起因する低ＬＯＱでのスパンは、また、それらのスパンのための"支配する"（すなわち"親"）スパンとして規定される。
【００９９】
2015522986.tif 000003
【０１００】
2015522986.tif 000004
【０１０１】
動き補償機能ＭＣは、動作時（動き予測の適切な方法によって生成される）の入力として動きの記述情報を捕える機能である。そして、オリジナルイメージ（すなわち既定のサンプリング位置に中心のあるスパン）を、目標サンプリング位置に中心のある、動き補償されたイメージに変換する。この非限定的な例の実施形態において、動き補償されたイメージは、既に図１Ｄで説明されたように、情報の減少を制限しながら複数の動き補償されたイメージの組み合わせを可能にさせるために、オリジナルイメージよりも大きい（すなわちプレーン要素のより多い行および列を持つ）。文献の欠如が原因で、我々は追加の行および列（同じ品質水準でのスパンのオリジナルの解像度に対する追加の）をフレーミング"と定義した。１つのイメージへの多数のイメージの組み合わせの間それらの要素が重み付き平均に影響を与えることを回避するために、フレーミングのいくつかの要素は、動き補償機能により、デフォルト値（"利用できない"値）を割り当てられる。単純な非限定的な例の場合として、同じサンプリング位置ｔを持つスパンＸＫ（ｔ）に、既定のサンプリング位置ｔに対する動き補償を適用することは、本質的に、フレーミングの追加を付加した恒等関数に対応する。フレーミングの要素の全ては、デフォルトで"利用できない"値を割り当てられる。オリジナルの組み合わされたスパンのサイズに対して相対的に、スパンは時間内により長い持続時間を持つという事実が原因で、フレーミングは、階層を下へ行くとより大きくなる。したがって、それらは全体のシーン（特に動きに起因する）の"より多くの量"を含み得る。
【０１０２】
この単純な非限定的な実施形態において、ダウンサンプリング機能は、両方の次元に沿って２のスケール係数、並びに、低品質水準のスパンにダウンサンプリングされた高品質水準のスパンの相対的な時間の持続時間にまさに依存する重み付けパラメータａおよびｂを持つバイリニアのダウンサンプリングフィルタである。他の非限定的な実施形態は、サンプリング位置からの距離および／または精緻なパラメータに基づくスパンを評価するが、単純な平均は、スパンにより運ばれる"情報の相対的な量"は本質的にそれが表す信号の時間部分に比例するという事実に対応する。図１Ｅの特定の例において、
【０１０３】
2015522986.tif 000005
【０１０４】
動き補償オペレーションがデフォルト値（例えば"利用できない"値）を有する１または複数の要素を含む要素のプレーンを生成する場合に、重み付き平均における残留値の重みの和が常に１に等しいことを保証するために、デフォルト値を有する要素は、正規化された重み付き平均および残留値の重み（すなわち"利用できない"とは異なる）に含まれない。この非限定的な実施形態において、それらの和を１に等しくさせるために、正規化は、同じ定数を重みのそれぞれに加算することにより計算される。
【０１０５】
エンコーダが既定のＬＯＱでＬＯＱを生成するとすぐに、エンコーダは、デコーダが段階的階層の適切なレンディションを再構成することを可能にする、エンコードされたデータの生成を開始する。特に、デコーダ側で、既定のＬＯＱ  Ｎ−１が利用できるとすぐに、高ＬＯＱ  Ｎでのそれぞれのスパンのそれぞれの要素の実際の値の再構成は、既に利用できた低品質水準の情報に基づいて生成された予測されるレンディションを修正するためにデコーダにより処理された、１または複数の残差セットを受信およびデコードする必要がある。
【０１０６】
2015522986.tif 000006
【０１０７】
低ＬＯＱまたはボトム水準の１または複数のスパンに対して、そして、それらのもののためだけに、エンコーダは、ＸＢの量子化されたレンディションを逆量子化する結果としてそれぞれのスパンＹＢを生成する。これは、数学的に以下のように表現される。
【０１０８】
2015522986.tif 000007
【０１０９】
（記号"^"は、"再構成された推定の"ということを示す。）
【０１１０】
階層における後続する（高）品質水準のサブシーケンスのスパンのために、それぞれのスパンに対して、エンコーダは、"予測因子"として低品質水準の１または複数のスパンを利用して、適切なアップサンプリングオペレーションを実行することにより予測Ｕを生成する。エンコーダ側でのそのようなアップサンプリングオペレーションの目的は、エンコーダがデコーダ側で実行されるであろうオペレーションをシミュレートすることである。特に、予測オペレーションをシミュレートすることにより、エンコーダは、続いて、信号の適切なレンディションの予測および再構成を修正するためにデコーダによって必要とされるだろう再構成データを生成することができる。
【０１１１】
2015522986.tif 000008
【０１１２】
エンコーダは、予測されるスパンＵを生成するために、また、隣接するロットに属するスパンを利用する。これは、実際上、文献の欠如のために再び、"デコーディングウェイブ"（段階的階層としてエンコードされた長いバッチの可能性があるデコードパターンのビジュアルルックに基づく）として本明細書で定義される再構成の方法の非限定的な実施形態である。そのような新規な方法の利点は、すなわちアップサンプリングプロセスの間に問題となる場合に、それが区画化アーティファクトにまさに対処するということである。実際に、１ロットずつ信号のダウンサンプリングの必要に起因する区画化アーティファクトは、ダウンサンプリングおよび／またはダウンブレンディングの間ではなく、アップサンプリングの間に導入される。図１Ｅのロット１およびロット２を考察すると、例えば、時間領域に着目すると、エンコーダは、スパン１０１−７を生成するべく、ロット１のスパン１００―７および１００―８をダウンブレンドする。それは、また、スパン１０１―９を生成するべく、ロット２のスパン１００―９および１００―１０をダウンブレンドする。スパン１００―８および１００―９の間に生じている時間相関現象（例えばオブジェクトの速度における増加の割合、小さいオブジェクトの出現／消失など）はどれでも、そのようなダウンサンプリング処理により"不適切にキャプチャ" される。これは、予測の生成の間、またもしかすると時間的なアップサンプリングオペレーション（すなわちスパン予測オペレーション）が実行される間‐ダウンサンプリングオペレーションのような‐、ロットの厳正な制限内で、明白になるだろう。例えば、デコーダ側でスパン１００−８を生成するアップサンプリングオペレーションがスパン１０１―７、および、もしかするとまた前のスパン（例えば１０１−５）のみを考慮する場合に、予測オペレーションは、スパン１００―８の後に生じた動作／現象を適切に考慮しないだろう。１つの結果は、より不正確な予測、およびそれ故に、予測を修正し、１００−８（および／またはより多くの明白なアーティファクト）のための適切なレンディションを生成するべく、なくてはならない残差データのより多くの量の情報エントロピーになるだろう。しかしながら、この課題は、空間時間アップサンプリングオペレーションの間、エンコーダがダウンサンプリングに利用される境界を越えて広がるカーネルを採用する場合に解決される。非限定的な例として、１０１−７のための予測を生成するべく実行されるアップサンプリングは、予測因子として１０２−６および１０２−１１を利用する。１００−８のための予測を生成するべく実行されるアップサンプリングは、予測因子として１０１―５、１０１―７、１０１―９および１０１―１２を利用する。本質的に、アップサンプリングは、異なるロットからの情報もまた利用し、‐高い品質水準で後続するスパンをデコードする場合に‐アップサンプリング"ウェイブ"（低ＬＯＱのデコードが高ＬＯＱのデコードを"予測する"）を効果的に生成することにより実行される。既定のサンプリング位置および既定のＬＯＱでのスパンのために予測されるレンディションを再構成するために、デコーダ（またはエンコードプロセスの間に使用されるシミュレートデコーダ）は、漸進的に低ＬＯＱのために漸進的により大きいサンプリング位置でスパンを処理しなければならない。図１Ｅに説明された非限定的な実施形態において、予測因子のスパンは、最大限でも隣接するロットに属すことができ、それ故、"デコーディングウェイブ"のより低い一部の最大の"拡張"を制限する。可能性がある時間的なカーネルおよびアップサンプリングシーケンスのいくつかの非限定的な例の実施形態は、エンコード／デコードの遅延、メモリ必須要件、および圧縮効率の間のトレードオフに影響を与えるべく、実行できる。
【０１１３】
予測Ｕは、現在のロット、前のロット、および後続するロットから選択された１または複数の低ＬＯＱのスパンを処理することにより生成されるので、数学的に我々は以下（図１Ｅに説明された非限定的な実施形態に対して）を示すことができる。
【０１１４】
2015522986.tif 000009
【０１１５】
ここで、ｆはアップサンプリング関数である。
【０１１６】
特に、この非限定的な実施形態は、予測されるスパンのサンプリング位置に対するそれぞれの予測因子のスパンの動き補償により生成される要素のプレーンの重み付き平均のアップサンプリングを実行することにより予測Ｕを生成する。
数学的に、スパン１０２―６の非限定的な例の場合のために、
【０１１７】
2015522986.tif 000010
【０１１８】
図１Ｅに説明された非限定的な実施形態において、予測因子の重み付き平均のために使用された重みは、予測されるスパンのサンプリング位置からのそれぞれの予測因子のサンプリング位置の距離に基づく（線形フィルタリングの重み‐２つの予測因子の場合に対し‐およびキュービックフィルタリングの重み‐４つの予測因子の場合に対し‐に従って）。１または複数の予測因子が失敗する（例えばフェンスに近接することに起因して）または、重み付き平均の１または複数の要素がデフォルト値（すなわち動き補償オペレーションの結果として"利用できない"要素）を割り当てられる場合に、残留値の重みは、付加的な正規化の方法（すなわちそれぞれの残留重みに対して同じ定数を合計することにより）によるこの非限定的な例の場合において、１に正規化される。アップサンプリングオペレーション‐動き補償オペレーションと一緒に実行されるこの実施形態において‐は、ブレンディングフィルタリングとアンシャープマスキングが組み合わされた、上向きの水準のためにＬＯＱ＃−２に至るまで線形フィルタリングおよびカスタムフィルタリング（すなわち適切にエンコードされたパラメータを有するエンコーダによりデコーダに対する特定されたカーネルを持つ）を利用する。高品質水準のためのより大きなカーネルの使用は、時間および空間の両方（すなわちより多くの予測因子および／またはより大きなアップサンプリングカーネル）において、隣接するスパン間および／または同じスパンの近接する要素内で低品質水準で見つけられ得る量に対して、隣接するスパン間および／または同じスパンの近接する要素内で高品質水準で見つけられ得る相関の高い量に対応するために調整される。
【０１１９】
既定の品質水準のための予測Ｕが利用できるとすぐに、エンコーダは、任意の既定のスパンと対応する予測されるスパンとの間の差に対応する"絶対残差"Ｒを計算する。これは、次の方程式により表される。
【０１２０】
2015522986.tif 000011
【０１２１】
ボトムＬＯＱ（およびボトムＬＯＱの場合のみ）の場合、
【０１２２】
2015522986.tif 000012
【０１２３】
可逆のエントロピーエンコード段階の前に情報エントロピーの測定基準を減少させるために、絶対残差は、エンコーダにより適切に変換残差Ｔｒ（Ｒ）に変換され、量子化される（それぞれのタイルにおけるデータの特定のヒストグラムに基づいて調整されるパラメータに従って、データを適切なグループ‐"タイル"と呼ばれる‐に区画化することにより、および算術エンコーダを適用することにより、実行される実施形態において）。エンコード（"変換残差"）するための実際の残差データの計算は、全体の残差の算術オペレーションのセットに限定されるのではなく、それはエンコード／デコードアルゴリズム（例えばこの非限定的な実施形態において、低ＬＯＱに基づく方向分解）の全体の圧縮／展開効率を改良することを目的としている特定の機能を含む。
【０１２４】
結果として、ｈ（・）は、絶対残差に対して実行されるオペレーションの全ての"反転"（可能範囲に対する）に対応する機能である場合に、我々は、それぞれのＬＯＱのそれぞれのスパンに対して、こういうことができる。
【０１２５】
2015522986.tif 000013
【０１２６】
2015522986.tif 000014
【０１２７】
この非限定的な実施形態において、階層における高品質水準に対して、同じＬＯＱに対してでさえ、デコーダ側で再構成されるレンディションＹの圧縮および正確性（"詳細水準"または"ＬＯＤ"）の異なる水準で有効にするために、絶対残差は、絶対残差の複数のセットにおいて計算され、送信される。
【０１２８】
計算され、適切に変換された残差データを持つとすぐに、エンコーダは、デコーダ側で実行されるべきオペレーションの上記残差データおよび記述情報に対応するエンコードされた再構成データのセットを生成する。非限定的な実施形態において、上記記述情報は、動き（動き補償オペレーションの間、デコーダ側で利用される）に対応する情報、段階的階層のスパンの特性（特に、それぞれのロットのそれぞれのＬＯＱのそれぞれのスパンのＩＤナンバ、およびキーパラメータ）に対応する情報、およびアップサンプリングオペレーション（特に、より高い階層のスパンのための予測されるスパンを生成するべく処理されるスパンのＩＤナンバ、使用される重みに対応するパラメータ、例えば限定するものではないが、アップサンプリングカーネルなどの使用されるアップサンプリングオペレーションに対応するパラメータ）に対応する情報を含む。
【０１２９】
追加の非限定的な例の実施形態
【０１３０】
図１Ｅで説明され、かつ既に説明されたエンコーダの実施形態は、我々の新規な段階的階層方法の多くの可能な実装のただの１つであり、非限定的とみなされるべきである。
【０１３１】
本質的に、エンコードの間、信号は、シグナルプロセッサにより、オリジナルの品質水準（ＬＯＱ＃０）から開始する異なる品質水準（ＬＯＱ＃０、ＬＯＱ＃−１、ＬＯＱ＃−２、…）を有する階層に変換される。階層の数は任意であり、それはアプリケーションおよび特定の実施形態に依存し得る。非限定的の実施形態は、例えば圧縮効率が実施形態の目標である場合に、可能性があるＬＯＱの全てを計算する。原則として、信号の次元の全て（例えばスパンの数、スパンのそれぞれの次元につき要素の数）が１つの要素と等しい解像度に達する場合に、達成可能な最低のＬＯＱは達せられる。非限定的の実施形態において、ロットの時間解像度が１（すなわちそのＬＯＱで、信号のそのロットのために、１つのスパンだけがある）の解像度に達する場合に、ダウンサンプリングすることは空間次元に沿ってのみダウンサンプリングすることにより継続し、第１の空間次元が１に等しい解像度に達する場合に、ボトムの品質水準（ＬＯＱ）は達せられる。１つの階層から別の階層まで移動するために任意のダウンサンプリング比は、信号の次元のそれぞれに適用され得る。上記の説明された非限定的な実施形態は、任意のスケール係数で時間次元を、および２倍でスパンの空間次元の全てをダウンサンプリングする。（行および列のフレーミングに適用された後）しかしながら、他のアプリケーションおよび実施形態は、その上、ＬＯＱの階層の生成のために、それぞれの次元に対しておよびそれぞれのＬＯＱに対して異なるスケール係数を含む、異なる設定を利用する。非限定的の実施形態において、そのようなスケール係数は、エンコーダおよびデコーダの両方に知られている。非限定的な実施形態において、エンコーダは、デコーダに特定のスケール係数に対応する情報、およびそれぞれの場合において使われるアップサンプリングオペレーションに対応する情報を送信する。非限定的の実施形態において、上記情報は、受け継ぎベースの方法に従ってエンコードされる、すなわち既定のＬＯＱでの上記情報のためのデフォルト値は、適切な受け継ぎオペレーションを通して低ＬＯＱのために再構成される情報に基づいてデコーダにより計算される。
【０１３２】
他の非限定的な実施形態は、同様の層状階層方法を実行する。低ＬＯＱのスパンのサンプリング位置は、異なる数学上のオペレーションに従って計算される。非限定的な実施形態において、低ＬＯＱのスパンのサンプリング位置は、非整数を含む。
【０１３３】
他の非限定的な実施形態において、エンコーダは、低ＬＯＱのためのサンプリングレート定数も維持するために、ロット長および時間的なダウンサンプリングオペレーションを選択する（例えば、非限定的の実施形態は、既定のＬＯＱでのロットにおけるスパンの数が時間的なダウンサンプリングのための多数のスケール係数でない場合に、パディング情報を追加することにより、"タイムパディング"の方法を利用する）。他の非限定的の実施形態においては、代わりに、サンプリングレートは、また、信号の最上位のＬＯＱに対して可変である。他の非限定的な実施形態において、その既定のＬＯＱより上の全てのＬＯＱが同じサンプリングレートを持つ間、時間的なダウンサンプリングは、既定のＬＯＱの下のみ実行される。
【０１３４】
他の非限定的な実施形態において、低ＬＯＱのスパンを生成するために、既定のＬＯＱの複数のスパンの組み合わせは、上記説明されたものとは異なり、かつ、他の適切なダウンサンプリングおよび既知の動き補償方法から選択されるオペレーションを含む。
【０１３５】
上記で説明された非限定的な実施形態において、ダウンサンプリングオペレーションは、時間次元に沿って２または２より多いスパンの間の動きを適切に構成するために、動き予測情報を利用する。これは、信号理論の観点から、時間的なサンプリングがナイキストリミットより低くなるかもしれない、ある時系列信号に対して、有用であり得るからである。いくつかの新手法は、人間の観察者はビデオにおける一般的に表現される動作のタイプに対して最大で３００ｆｐｓまで簡単に把握することができることを実証した一方で、ビデオ信号の例において、２５／３０ｆｐｓは、今日現在での一般的なサンプリングレートの例である。これは、ビデオ信号は一般にナイキストリミットより低い時間次元をサンプリングすることを意味する。そのような場合において、時間次元（例えば動き予測など）に沿ってのみ採用された特定のアプローチは、不十分なサンプリング、本質的に、それらの相関をより良く生かすために、スパンの"再調整"により発生するダメージを減少させる。動きの記述情報は、層状の品質水準に沿って時間的なダウンサンプリングをガイドするために使われる。動き予測は、エンコーダにより採用される任意的な段階である。ゆっくりな動き、高いサンプリングレート、または非常に複雑な動きは、少しの"優先的な処理"も時間次元に与えることなしに、効率が低く成り得る、または、単に層状のＬＯＱを生成するよりもなおさら悪くなり得る動き予測および補償を採用する場合の非限定的な例である。  動き予測を示す適切な条件の信号の部分が有用でない場合に、エンコーダは、動き情報を破棄し、対称ダウンサンプリングを進める（例えば、非限定的な実施形態において、単純なトリリニアサブサンプリング）。
【０１３６】
他の非限定的な実施形態は、低ＬＯＱのスパンに行および列のフレーミングを導入しない。他の非限定的な実施形態においては、導入されたフレーミングの量は、動き情報に関連付けられる。
【０１３７】
他の非限定的な実施形態は、ダウンサンプリングそれ自身に対して異なるオペレーションを利用する。非限定的な実施形態において、エンコーダは、低ＬＯＱのスパンを生成するべく、異なるダウンサンプリングオペレーション（非線形オペレーションを含む）を適用し、残差データの情報エントロピーの測定基準を最小限に抑えるダウンサンプリングオペレーションおよびアップサンプリングオペレーションのセットを特定して、異なるアップサンプリングオペレーションを適用する。そのような実施形態の１つにおいて、エンコーダは、線形ダウンサンプリングオペレーションの結果を選択的（"微調整"）に修正し、かつ残差データのエントロピーの結果に基づいて微調整を最適化する、微調整フィルタリング方法を利用する。
【０１３８】
他の非限定的な実施形態において、エンコーダは、それらを低品質水準のスパンに組み合わせる前に、高品質水準のそれぞれのスパンをダウンサンプリングする。非限定的な実施形態において、エンコーダは、高品質水準のそれぞれのスパンをダウンサンプリングして、動き補償（フレーミングを導入する）を適用し、結果を低品質水準のスパンに組み合わせる。他の非限定的な実施形態において、ダウンサンプリングオペレーションは、動き補償オペレーションと一緒に実行される（すなわちダウンサンプリングプロセスの間、動き補償オペレーションは動き補償されたスパンのダウンサンプリングされたレンディションを生成する）。
【０１３９】
他の非限定的な実施形態において、重み付き平均における重みがそれらの和を１に等しくさせるために正規化される必要がある場合に（例えば重み付き平均が"利用できない"値を含んでいる間、および／またはバッチの開始または終了に近い予測されるスパンを生成する場合）、エンコーダは、加法的正規化（例えば同じ定数を全ての重みに加算する）よりもむしろ乗法的正規化（例えば同じ定数により全ての重みを乗算する）を適用する。
【０１４０】
他の非限定的な実施形態において、予測されるスパンを算出する場合に、エンコーダは、まず、低品質水準の予測因子のスパンのそれぞれをアップサンプリングし、それから、それらを動き補償し、そしてそれから、結果を組み合わせる。他の非限定的の実施形態において、エンコーダは、まず、それぞれのスパンを動き補償し、それから、それらを組み合わせ、最後に結果をアップサンプリングする。他の非限定的な実施形態において、アップサンプリングオペレーションは、動き補償オペレーションと一緒に実行される（すなわちアップサンプリングプロセスの間、動き補償オペレーションは、動き補償されたスパンのアップサンプリングされたレンディションを生成する）。
【０１４１】
他の非限定的な実施形態において、アップサンプリングオペレーションは、制限するのもではないが、線形フィルタ、キュービックフィルタ、ランツォシュフィルタ、バイラテラルフィルタ、最近傍フィルタを含むセットから選択される。
【０１４２】
より広範には、異なる実施形態は、アップサンプリングオペレーションにおいて異なるオペレーションおよびフィルタリングを利用する。アップサンプリングオペレーションは、高ＬＯＱでの信号のスパンの要素の設定のための予測を生成する。非限定的な実施形態のセットにおいて、アップサンプリング（すなわち解像度を増大させるオペレーション）の後、予測の品質を高めるために（例えば非限定的な例を手段として、ダウンサンプリングの間、平滑化されたシャープなエッジを強め、またはダウンサンプリングの間、不鮮明にされた詳細を回復する）、更なるフィルタリングオペレーションの段階が実行される（エンコーダおよびデコーダ側の両方で）。この段階のための非限定的な例の実施形態は、同じ執筆者の以前の特許明細書で説明され、"デブレンディング"オペレーションとして見なされる。他の非限定的な例は、アンシャープマスキングオペレーションを利用することである。他の非限定的な実施形態において、アップサンプリングオペレーションは、適切なパラメータにより特定されるような、またはエンコーダおよびデコーダの両方に知られた予め設定されたデフォルトシーケンスに従った直列の非線形オペレーション（例えば、制限するのもではないが、線形フィルタ、キュービックフィルタ、デブレンディングフィルタ、アンシャープマスキングフィルタ、バイラテラルフィルタ、フラクタルフィルタ、最近傍フィルタなどを含むリストから選択されたオペレーションの適切なシーケンス）を含む。他の非限定的の実施形態において、エンコーダは、アップサンプリングパラメータをデコーダに送信する。そのようなパラメータは、利用される特定のアップサンプリングオペレーションに対応する。
【０１４３】
他の非限定的な実施形態において、動き補償オペレーションは、アップサンプリングオペレーションと一緒に実行される。他の非限定的な実施形態において、動き補償オペレーションは、例えばズーム、回転、オフセット、および／または奥行変化などの複雑な動きを構成する変換を含む浮動小数点オペレーションを利用する。そのような実施形態の１つにおいて、動き補償オペレーションは、座標のセットを一様な座標に変換すること、適切なマトリクスにより上記の一様な座標の浮動小数点の乗算を実行すること、および一様な座標で結果として生じるベクトルを再正規化することを含む。他の非限定的な実施形態において、低品質水準の異なるスパンを高品質水準のスパンに組み合わせる場合に、エンコーダは、線形カーネルに基づいて、重みがサンプリング位置の距離に依存して決まる重み付け平均オペレーションを通して、それらを組み合わせる。他の非限定的な実施形態において、そのような重みは、キュービックカーネルに基づいて、サンプリング位置の距離に依存する。他の非限定的な実施形態において、さらに他のカーネルが採用される。他の非限定的な実施形態において、上記重みは、動き情報の少なくとも一部に生成される（相当な動きが行われる場合に、異なるスパンにおける相関情報の量は、比較的低くなるという事実の主要因である）。他の非限定的な実施形態において、上記の重み付けパラメータは、スパンのそれぞれの特性に対応するパラメータの少なくとも一部に生成される（例えば、比較的にフォーカスの範囲外にあるスパンを適切に構成するようになど）。他の非限定的な実施形態において、上記の重みは、残差データのエントロピーの量を減少させるために、エンコーダにより計算され、対応する記述情報によってデコーダに送信される。
【０１４４】
他の非限定的な実施形態において、高品質水準で予測されるスパンを生成するために処理される予測因子の数は、任意であり、そして、記述情報と共にデコーダに送信される。そのような非限定的な実施形態の１つにおいて、エンコーダは、再構成データのための適切な情報エントロピーの測定基準および／または再構成されたレンディションのための適切な品質基準を最適化することを目的としている反復方法を通して、それぞれの予測されるスパンを生成するべく利用される予測因子の数および重み付けパラメータを最適化する。
【０１４５】
他の非限定的な実施形態において、処理される予測因子の数のためのデフォルト値は、既定のＬＯＱ以下の線形時間フィルタリング（すなわち１または２の予測因子のスパン）、および既定のＬＯＱから最上位のＬＯＱに至るまでキュービック時間フィルタリング（すなわち４つの予測因子のスパン以下）を含む。他の非限定的な実施形態において、既定のロットの既定のＬＯＱの１または複数のスパンに対して、低ＬＯＱの予測因子のスパンは、既定のロットおよび隣接するロットだけでなく、隣接するロットに続くロットにも属する（すなわち既定のスパンのための予測因子のセットは、上記説明された非限定的な実施形態におけるような２つからだけではなく、同様に３つのロットに由来し得る）。
【０１４６】
他の非限定的な実施形態において、エンコーダは、シグナルプロセッサが、特定のシーケンスにおけるエンコードされた再構成データの特定のセットのみを含むデータストリームおよび／またはファイルを生成することを許可し、特定のデコードシーケンスにおける特定のスパンの再構成を許可するべく、エンコードされた再構成データのセットに対して適切な同期マーカを割り当てる。
【０１４７】
他の非限定的な実施形態において、エンコードされたデータを生成する場合に、エンコーダは、１または複数の同期マーカの前にパディングのランダムビットを導入する。続いて、エンコーダは、適切な暗号方式に従ってヘッダ情報および／または同期マーカ情報を暗号化する。
【０１４８】
他の非限定的な実施形態において、エンコーダは、ＬＯＱのそれぞれの残差を処理し、空間次元に沿った"方向分解"方法（ほぼ、同じスパンに対して隣接する残差のセットをグループ化し、それらの平均値とそれらの予測平均値との間の差に対応するパラメータ、それらの水平斜面に対応するパラメータ、それらの垂直斜面に対応するパラメータ、それらの対角斜面に対応するパラメータをエンコードし、それぞれのパラメータを適切な量子化方法の手段によって量子化することによって）、および／または時間次元に沿った"時間分解"方法（本質的に、低ＬＯＱでの同じスパンにより制御される同じＬＯＱの異なる後続するスパンに属する残差の対応するセットをグループ化し、それらの平均に対応するパラメータおよび時間的なタイルに対応するパラメータをエンコードする）に従って変換残差を生成する。他の非限定的な実施形態において、サポート要素残差のセットを生成するべく（文献の欠如のために、既定のロットの既定のＬＯＱに対して"サポートプレーン"として規定される）、ロットのそれぞれに対して、エンコーダがＬＯＱのそれぞれの絶対残差を処理する。エンコーダは、それから、絶対残差とサポート要素残差との間の差に対応する、相対残差のセットを生成する。これは、図３を参照してより詳細に説明される。
【０１４９】
他の非限定的な実施形態において、エンコーダは、残差を変換することなしに、絶対残差の量子化およびエンコードを開始する。
【０１５０】
他の非限定的の実施形態において、エンコーダは、残差のそれぞれのセットを特定の量子化スキームに従って残差を量子化し、使用されるべき逆量子化方法に対応する記述情報をデコーダに送信する。非限定的な実施形態において、利用できる量子化スキームは、制限するものではないが、異なるデッドゾーンおよび一定の量子化段階（異なるデッドゾーンおよび一定の量子化段階に対して、エンコーダはデッドゾーンおよび／または量子化段階の長さに対応するパラメータを特定する）を有するスキーム、異なるデッドゾーンおよび可変の量子化段階（異なるデッドゾーンおよび可変の量子化段階に対して、エンコーダはデッドゾーンおよび／または全ての量子化段階を計算することを許可する機能に対応するパラメータを特定する）を有するスキーム、異なる色空間における量子化を有するスキーム（例えば、非限定的な例の手段として、例えばガンマ空間などの非線形空間）等を含む。他の非限定的な実施形態において、特定の品質水準（例えば最上位の品質水準）のための逆量子化は、また、量子化前のオリジナル残差が量子化範囲に沿って分散したことをより良く表すために、統計再構成方法（例えば、ディザリング、統計逆量子化、過渡層の再構成および組み合わせ等）を含む。
【０１５１】
他の非限定的な実施形態において、量子化決定は、グローバルビットレートの最適化（バッチ内でのロット長の決定を含む）の観点から、前に受け取った決定に影響を及ぼすので、エンコーダは、本質的にグローバルな最適化を達成するために、ループ処理する。非限定的な実施形態において、量子化閾値における変化は、また、残差の計算および変換（例えばサポート要素／サポートチェーンの生成）に影響を及ぼす。
【０１５２】
他の非限定的な実施形態において、受け取られた高い品質（例えば、非限定的な実施形態は、より大きいビット数を割り当てる、より重要な残差およびより小さいビット数に対して例えばフィナー量子化段階、それほど重要でない残差に対して例えば粗量子化段階）を有する信号のレンディションを再構成するために、エンコーダは、残差の異なるセットを生成し、記述的パラメータをそれぞれのセット、残差の対応するセットの重要性の水準に対応する上記のパラメータに割り当てる。
【０１５３】
他の非限定的な実施携帯において、残差は、受け継ぎベースの方法に従って、例えば、低品質水準での残差データに基づいてそれらを予測すること（"受け継ぐこと"）によりエンコードされ、低ＬＯＱでの適切な残差情報の手段によって、高ＬＯＱでの制御された残差の"終了処理"を許可する（例えば、エンコーダが全ての後続するＬＯＱでの信号のその部分のための残差データが０すなわちその予測に等しくなるだろう低ＬＯＱで規定する再構成された信号の部分は、修正を送信することを要求することなく、十分に正確であるだろう）。
【０１５４】
他の非限定的な実施形態において、残差のエントロピーエンコードは、少なくとも１つの次の方法、ハフマンエンコード、ランレングスエンコード、算術エンコードを含む方法の組み合わせを利用する。
【０１５５】
他の非限定的な実施形態において、信号の低ＬＯＱおよび／または同期マーカ情報は、適切な暗号方式の手段によって暗号化される。このようにして、データストリームの比較的に小さい部分を暗号化／復号するデコーダで比較的に限定された必要な処理能力であるにもかかわらず、データストリームの特定の部分と信号の特定の部分との間に明白な相関がないので、まだ信号のデータ送信は非常に安全である。他の非限定的な実施形態において、非常にノイズが多い通信チャネルの存在下でさえ、デコーダが少なくとも低品質水準で適切に信号のレンディションを再構成できるだろうことを保証するために、低ＬＯＱは、適切な冗長技術を利用することにより保護される。
【０１５６】
本明細書で説明される方法は、また、例えばビデオ会議などの低遅延環境で適用され得る。他の非限定的な実施形態において、より低いサンプリング位置（すなわち時間内における前例）を有する低ＬＯＱのスパンだけに基づいて再構成される既定のＬＯＱでの新しいスパンを予測して、エンコーダは、スパンの"ローリング階層"を生成する。他の非限定的な低遅延環境において、既定のスパンのための残差は、同じ品質水準の先行するスパンの残差の情報に基づいて変換される。
【０１５７】
デコーダの実施形態の例の説明
【０１５８】
デコーダとして構成されるシグナルプロセッサ（今からは"デコーダ"）は、再構成データのセットを受信し、オリジナル信号のレンディションを再構成する。
【０１５９】
我々が言及したように、適切な再構成データを生成するために、エンコーダは、デコーダ側で実行されるオペレーションをシミュレートするので、図１Ｅは、また、デコーダにより生成される暫定生成物および最終生成物のシーケンスを説明する。
【０１６０】
段階的階層方法を利用するデコーダにより実行される再構成オペレーションのシーケンスは、高ＬＯＱでのスパンの予測を生成するべく利用される、低ＬＯＱの予測因子の数に基づいて、いくつかの異なるパターンに続くことができる。
【０１６１】
本明細書で説明される非限定的な実施形態の場合、デコーダは、全体のロットのエンコードされたデータを受信する（すなわち、遅延の少なくとも１つのロットは、再構成プロセスを開始するために、デコーダ側で必要である）。上記エンコードされたデータは、記述情報に対応するデータおよび再構成データのセットに対応するデータを含む。
【０１６２】
どのスパン（また潜在的に先行するロットから、受信されたロットがそのバッチの先頭でない場合）が、デコーディングプロセスを開始するために正しいＬＯＱでの正しいスパンかだけでなく、利用可能なエンコードされたデータの手段により再構成され得るかを特定するために、デコーダは、データストリームを受信／フェッチし、同期マーカメタデータを探索／解析することにより開始する。それから、ロットの最低のＬＯＱのレンディションに対応する情報を生成するために、デコーダは、エントロピーデコードを実行する。
【０１６３】
最低のＬＯＱのスパンから開始すると、再構成データを生成するために、デコーダは、エンコーダによりシミュレートされた同じオペレーションを実行する。特に、デコーダは、‐１ＬＯＱずつ‐高ＬＯＱのための予測されるスパンを生成するために、低ＬＯＱのスパンを処理し、絶対残差のレンディションを生成するために再構成データ（受信された変換残差の逆量子化および逆変換）をデコードし、低ＬＯＱで利用できる予測因子のスパンおよび利用できるエンコードされたデータに基づいて再構成され得るスパンのためのレンディションＹを再構成して、最後に予測されるスパンおよび対応する絶対残差を組み合わせる。我々が上述したように、既定のロットのスパンの予測は、また、隣接するロットの予測因子のスパンを利用することができ、効果的に "デコーディングウェイブ"方法を実行する。
【０１６４】
数学的に、
【０１６５】
2015522986.tif 000015
【０１６６】
2015522986.tif 000016
【０１６７】
2015522986.tif 000017
【０１６８】
特に、我々がエンコーダの実施形態のために説明したことと共に一貫して、デコーダの実施形態もまた、予測されるスパンのサンプリング位置に対してそれぞれの予測因子のスパンの動き補償により生成される要素のプレーンの重み付き平均のアップサンプリングを実行することにより予測Ｕを生成する。エンコーダの実施形態のために説明されたそのようなオペレーションの同じ特性（例えば、重みの正規化、"利用できない"デフォルト値など）は、また、デコーダの実施形態に適用される。
【０１６９】
数学的に、スパン１０２―６の非限定的な例の場合、
【０１７０】
2015522986.tif 000018
【０１７１】
2015522986.tif 000019
【０１７２】
式により示されるように、スパン１０２―６の予測は、また、スパン１０３−１１の再構成されたレンディションに基づくので、上記の式に示されるように、スパン１０２−６を再構成し得る前に、デコーダは、例えば、ロット２に関連するエンコードされたデータを受信するために待機せねばならない。
【０１７３】
適切なＬＯＱのスパンが再構成されるとすぐに、デコーダは、表示装置に提示するためのデータを生成し、上記データを表示装置に送信する。非限定的な実施形態において、デコーダが最上位のＬＯＱよりも低いＬＯＱを表示する必要がある場合に、潜在的にそれぞれのスパンの異なる持続時間を構成するために、そのピクチャナンバにより示される時間位置から開始して、その時間の持続時間と同数のレプリカをそれぞれのスパン毎に生成することにより、それはオリジナル（すなわち最上位のＬＯＱ）としての同じサンプリングレートを有する信号を生成する。
【０１７４】
非限定的な実施形態において、デコーダは、それぞれの品質水準に存在するスパンのＩＤナンバ、それぞれのスパンの時間の持続時間、それぞれの予測を生成するために利用される低品質水準での予測因子のスパンのＩＤナンバ、およびそれぞれの予測を生成するために実行されるオペレーションの間利用されるパラメータを含む、ロットの構造の記述情報を受信する。他の非限定的な実施形態において、低品質水準の１または複数の予測因子のスパン‐既定のロットの高品質水準での既定のスパンのための予測を生成するために処理される上記のスパン‐は、また、隣接するロットに属すことができる。
【０１７５】
非限定的な実施形態において、デコーダは、例えば、受信された（例えば、バンド幅の混雑状態が原因で）および／またはリアルタイムデコーディング制約および／または他の制約がされたエンコードされたデータに依存して（例えば、最小処理電力消費量、最小電力消費量、最小吸収バンド幅、最大再生速度など）、異なるスパンの異なるＬＯＱでデコードオペレーションを停止することができる。
【０１７６】
非限定的な実施形態において、適切なパラメータおよび／またはユーザインタフェースコマンドに基づいて、デコーダは、それぞれのスパンの選択された部分のみデコードすることができ、効果的にズーム機能を実行する。非限定的な実施形態において、既定のＬＯＱの残差データのセットは、既定のＬＯＱでの信号の既定の部分（例えば空間部分）を再構成するために、デコーダによって処理される残差データに本質的に対応するタイルのそれぞれであるグループ（"タイル"）に区画化される。上向きの品質水準から、デコーダは、１または複数のスパンのシーケンスの特定のタイルのみを受信し、その結果として、上記のスパンの特定の空間部分のみを既定の品質水準で再構成し、信号の空間部分のみを表示装置に送信する。再構成オペレーション（例えば予測オペレーションなど）は、再構成された部分の境界を越えて低ＬＯＱで信号の要素をまだ利用していることに注意されるべきである。言い換えれば、そのような非限定的な実施形態において、デコーダは、既定のＬＯＱで全体の信号を再構成する必要があり得る再構成された残差セットの特定の空間部分（"タイル"）のみに対応する再構成データを受信する。その結果として、デコーダは、再構成された残差セットの部分のシーケンスのみを再構成し、そしてそれ故に、信号の部分に対してのみ既定のＬＯＱで信号のレンディションを再構成する。
【０１７７】
実施形態において、高解像度信号は、層状ベース方法に従って格納される。比較的に低表示解像度を有する表示装置に接続されたデコーダは、信号のレンディションをシグナルプロセッサに要求し、デコーダが信号を第１品質水準まで再構成することを許可するエンコードされたデータで構成されるデータストリームを受信する。上記の第１品質水準は、信号の利用できる最上位の品質水準よりも低い。入力（例えばユーザインタフェース入力）を受けて、デコーダは、信号の特定の空間部分の高品質のレンディションをシグナルプロセッサに要求する。デコーダは、デコーダが第２品質水準に従って信号の特定の空間部分（"タイル"）のみを再構成することを許可するエンコードされたデータで構成されるデータストリームを受信する。第２品質水準は第１品質水準より高い。このようにして、デコーダは、効率的にズーム機能を実行し、実質的には表示される信号の部分のみを受信およびデコードする（そしてそれ故に、信号をデコードするために消費されたバンド幅および必要な処理能力を最小化する）。
【０１７８】
追加の非限定的な例の実施形態
【０１７９】
我々は、図１Ｅの例の実施形態のために説明されたデコードオペレーションのシーケンスも、利用される特定のオペレーションも非限定的として意図されるべきと再び強調することを望む。当業者は、エンコーダの実施形態の非限定的なバリエーションを説明する場合に説明された異なる例の実施形態の全ては、デコーダの実施形態のバリエーションに直接に対応するということを理解するだろう。
【０１８０】
最後に、図１Ｅに説明された非限定的な実施形態は、ビデオ信号の例の場合に注目したが、同じアプローチは非常に異なるドメインも非常に異なるタイプの信号にも簡単に適用可能である。特に、本明細書で説明された方法は、多次元信号（限定するものではないが、音声信号、マルチチャネル音声信号、ピクチャ、二次元イメージ、ビデオ信号、マルチビュービデオ信号、３Ｄビデオ信号、プレノプティック信号、マルチスペクトル信号、容量信号、容量ビデオ信号、医療用画像信号、４次元以上を有する信号等を含む）のどのタイプに対しても適切である。
【０１８１】
例えば、非限定的な実施形態は、段階的階層方法に従って３Ｄビデオ信号をエンコードおよびデコードする。エンコーダは、２つのビデオチャネルの対応する段階的階層を生成する。２つのビデオチャネルの対応するスパンの動きの記述情報のセットは、また、サポート要素データに従ってエンコードされ、ビデオチャネルの対応するスパンの残差データは、２つのサポート要素の残差データのセットに従ってエンコードされる（本質的に、チャネルにわたって"サポートプレーン"方法を、適切な記述情報に従って２つのチャネルにわたって動き補償のサポート要素の残差データを適用する）。
【０１８２】
他の非限定的な実施形態は、段階的階層方法に従ってマルチチャネル音声信号をエンコードおよびデコードする。チャネルのそれぞれのスパンは、要素のセット（非限定的な実施形態において、スパンの平均振幅値および平均ピッチ値）として表される。そして、異なる音声チャネルのスパンに対応する残差データは、適切な記述情報に従って音声チャネルにわたってサポート要素の残差データ（それ故に、異なるチャネルにおいて同じ音の異なる時間位置を構成する‐本質的にマイクに対する音源の３Ｄ位置に基づく‐）を"動き補償する"（すなわち再調整する相関性があるスパンに対応するオペレーションを本質的に適用する）、サポート要素の残差データのセットに従ってエンコードされる。
【０１８３】
他の非限定的な実施形態は、信号の１または複数の次元に対して、我々がビデオ信号の時間次元のために説明した同じ方法（例えば、ロット、デコーディングウェイブ、残差データのタイル、サポートプレーンなどの区画化）を適用して、膨大な容量データをエンコードおよびデコードする。
【０１８４】
他の非限定的な実施形態は、三次元スパンのシーケンスに対して、我々が二次元スパンのシーケンスのために説明した同じ方法を適用して、容量ビデオをエンコードおよびデコードする。
【０１８５】
他の非限定的な実施形態は、また、非時系列信号に対して本明細書で説明された方法を適用する。非時系列入力信号を処理する非限定的な例の実施形態において、二次元スライス（例えばＣＡＴスキャンに由来する）のシーケンスは、信号の容量階層のレンディションを再構成およびエンコードするエンコーダによって処理される。
【０１８６】
今までのところ説明された段階的階層方法は、それ自体が、可逆か不可逆である。非限定的な例の実施形態は、デジタル信号を効果的にエンコード、送信、およびデコードするために利用され得る。しかしながら、他の非限定的な実施形態において、エンコーダの目的は、圧縮効率とは異なり、限定するものではないが、マルチスケールデコード、アダプティブストリーミング、例えばノイズ除去、信号強調、アーティファクト減少、インタレース解除、解像度増大（"超解像度"）レンディションの測定品質、コンテンツ識別、マシンビジョン、信号の暗号化（例えばセキュアな通信）などの信号処理対象を含む。例えば、ジョイント空間時間階層的アプローチは、時間相関現象（ノイズ、フィルムゲイン、シーンの実際の過渡的情報‐非常にエントロピーかもしれないが比較的に人間の観察者にあまり重要でない‐を含む"過渡的情報"など）に由来する迷惑なアーティファクトの多くを信号のコアコンポーネントから分離することができる。また、リンギングアーティファクトおよびブロックアーティファクトは、本明細書で説明された方法を利用する非限定的な実施形態の手段によって識別および排除（またはコア信号から分離）され得る。非限定的な実施形態において、適切な品質水準で再構成されたＹは、さらに、適切なメタデータ（例えば、過渡的情報の統計特性パラメータ）と共に特定の構成における、他の方法でエンコードされる。
【０１８７】
図１Ｆは、図１Ｅに説明されたエンコーダの実施形態をさらに説明する例の図である。
【０１８８】
エンコーダを実装するシグナルプロセッサは、ＬＯＱ＃０でＮ個のスパンからなるシーケンス１００（Ｘ０）を受信する。図１Ａのバッチ１の特定の例の場合において、エンコーダは、１３個のスパン１００―１、１００―２、１００―３…１００−１３からなるシーケンスを受信する。
【０１８９】
エンコーダは、また、信号のスパンの全体にわたって対象の動きの記述情報を受信する（読みやすさを維持するために図示されない。この実施形態において、動きの上記の記述情報は、残差計算機のブロックから離れたブロックの全てによって受信および処理される）。
【０１９０】
2015522986.tif 000020
【０１９１】
2015522986.tif 000021
【０１９２】
そのようなダウンサンプリングプロセスは、ボトムの品質水準ＬＯＱ＃Ｂのスパン１００＋Ｂが生成されるまでエンコーダにより繰り返される。
【０１９３】
2015522986.tif 000022
【０１９４】
プロセスのダウンサンプリング段階の間、エンコーダは、１つのロット（例えばロット１）のＬＯＱ＃０でスパンのシーケンスのみを処理することにより、動作することができた。"シミュレートされたデコードおよび再構成データの計算"段階の間、エンコーダは、予測を生成するために必要なデータおよび、その結果としてまた後続するロットに属するデータの全てを必要とする。原則としてこれは長いエンコード遅延および／または計算の複雑さを生成し得るので、説明された非限定的な実施形態は、隣接するロットからすぐ接する後続するロットまでのみの予測因子を持つ可能性を限定する。このようにして、信号のロット１をうまくエンコードするために、エンコーダは、ロット１およびロット２のＬＯＱ＃０でのスパンのオリジナルシーケンスを受信する必要"のみ"ある。
【０１９５】
ボトム水準での１または複数のスパンに対して、そして、それらのもののためにだけ、エンコーダはＵ＝０を想定して残差計算機１２０＋Ｂによって残差を直接に計算し、再構成データ１８０＋Ｂを生成する。
【０１９６】
エンコーダはそれからデコーダ側で実行されるだろうデコードオペレーションをシミュレートデコーダ１９０＋Ｂを通してシミュレートし、レンディション１０００−Ｂ（ＹＢ）生成する。これは、数学的に以下のように表される。
【０１９７】
2015522986.tif 000023
ここで、ｈ（）はＸＢ（例えば非限定的な例である、量子化により結果として生じる分解変換を手段として）のエンコーダにより実行されるオペレーションＴｒ（）を"反転させる"（少なくとも可能性がある範囲に対して）関数である。レンディションＹＢの適合性（適切な品質基準に従って）および再構成データ１８０＋Ｂの情報エントロピー（適切な情報エントロピーの測定基準に従って）に基づいて、エンコーダは、次の品質水準に進むかどうかまたは異なるオペレーションおよびパラメータに従って再構成データ１８０＋Ｂの生成を繰り返し適用するかを決定する。
【０１９８】
階層における後続する（高）品質水準のスパンの間、それぞれのスパンに対して、エンコーダは、予測Ｕを生成する（シミュレートデコーダ１９０＋Ｂ、…、１９１、１９０を通して）。特に、シミュレートデコーダブロックは、"予測因子"として低品質水準の１または複数のスパンを利用して、適切なアップサンプリングオペレーションを実行する。
【０１９９】
予測オペレーションをシミュレートすることにより、予測を修正し信号の適切なレンディションを再構成するために、エンコーダは、続いて、デコーダにより必要とされるであろう残差データを生成することができる。例えば、レンディション１０１（Ｘ−１）と予測１１１（Ｕ−１）とを比較することにより、残差計算機１２１は、絶対残差１３１（Ｒ−１）を生成する。絶対残差１３１は、残差データ１８１を算出する再構成データ生成器１７１によりさらに処理される。シミュレートデコーダ１８１は、再構成データ１８１を処理して、レンディション１００１（Ｙ−１）を生成する。再び、品質基準に従ったレンディション１００１の適合性に基づいて、および情報エントロピーの測定基準に従った再構成データ１８１の情報エントロピーの適合性に基づいて、デコーダは、次の（高）品質水準に進むかどうかを決定し、予測１１０（Ｕ０）を算出し、または異なるオペレーションおよびパラメータに従った再構成データ１８１の生成を繰り返し適用する。
【０２００】
再構成データの全てが生成された場合に、エンコーダは、エントロピーエンコード段階に進み、エンコードされたデータおよび適切なメタデータ（例えばヘッダ、同期マーカなど）のセットを生成する。
【０２０１】
図１Ｇは、図１Ｅで説明したデコーダの実施形態をさらに説明する例図である。
【０２０２】
デコーダとして構成されるシグナルプロセッサは、最上位の品質水準でのスパン１０００のセットの再構成を許可する再構成データおよび記述情報を受信する。再び、読みやすさを手助けするために、図は、この非限定的な実施形態のおいては、再構成ブロック１０９０、１０９１、…、１０９０＋Ｂから離れた全てのブロックにより受信され処理される、受信された動きの記述情報を明確に示していない。
【０２０３】
ボトムの品質水準から開始し、１ＬＯＱずつ進むことにより、再構成データを生成するために、デコーダはエンコーダによりシミュレートされた同じオペレーションを実行する。特に、デコーダは、推定残差１０３０＋Ｂを生成する残差デコーダ１０２０＋Ｂを通して再構成データ１８０＋Ｂ（すなわちボトム水準の再構成データ）を処理する。上記の推定残差１０３０＋Ｂは、デフォルトの予測１１０＋Ｂ（ＵＢ＝０）に組み合わされ、ボトムの品質水準で１または複数のスパン１０００＋Ｂ（ＹＢ）を生成する。レンディション１０００＋Ｂ（ＹＢ）はそれから予測計算機１０１０＋Ｂにより処理され、予測１１０＋Ｂ＋１（ＵＢ＋１）を生成する。高ＬＯＱの予測されるスパンを生成するプロセスにおいて、デコーダは、それから‐１ＬＯＱずつ、利用できるデータに基づいて再構成され得る最上位の品質水準のスパンまで‐進み、絶対残差のレンディションを生成し、かつ予測されるスパンと対応する絶対残差を組み合わせるために、再構成データをデコードし、このようにして、高品質水準でレンディションＹを再構成する。
【０２０４】
他の非限定的な実施形態において、特定の状況（例えばデコード遅延、利用できるデコードメモリなど）にうまく処理するために、デコーダは、１ＬＯＱずつ再構成プロセスを実行する代わりに、それが必要なエンコードされたデータを受信し、かつそれが既定のスパンの予測を生成するために必要な低品質水準でスパンを再構成し終えるとすぐに、高品質水準で既定のスパンを再構成するこのようにして、"１階層ずつ"進む代わりに、再構成プロセスは、様々な品質水準にわたって上下に移動し続ける。
【０２０５】
非限定的な実施形態において、残差デコーダ１０２０＋Ｂ、１０２１、１０２０は、残差のための適切なサポート情報（"サポートプレーン"）をまたデコードすることにより、推定絶対残差１０３０＋Ｂ、…、１０３１、１０３０を生成する。同じサポートプレーンは、既定のＬＯＱの複数のスパンの絶対残差を生成するために利用される。他の非限定的な実施形態において、絶対残差は、逆分解変換（例えば、制限するものではないが、逆方向分解および／または逆時間分解を含む）をまた適用することにより、計算される。
【０２０６】
他の非限定的な実施形態において、使われるべき逆量子化方法に対応する受信された記述情報の少なくとも一部に基づいて、デコーダは、残差のそれぞれのセットに対してはっきり限定された量子化スキームに従って残差を逆量子化する。非限定的な実施形態において、利用できる量子化スキームは、限定するものではないが、異なるデッドゾーンおよび一定な量子化段階（そのために、エンコーダは、デッドゾーンおよび／または量子化段階の長さに対応するパラメータを特定する）を有するスキーム、異なるデッドゾーンおよび可変な量子化段階（そのために、エンコーダは、デッドゾーンおよび／または量子化段階の全てを計算することを許可する機能に対応するパラメータを特定する）を有するスキーム、異なる色空間（例えば、非限定的な例である、例えばガンマ空間などの非線形空間を手段として）における量子化を有するスキームを含む。他の非限定的な実施形態において、量子化前のオリジナル残差が量子化範囲に沿って分散されたことをより良く表すために、特定の品質水準（例えば、最上位の品質水準）のための残差の逆量子化は、また、統計再構成方法（例えば、ディザリング、統計逆量子化、再構成、および過渡層の組み合わせなど）を含む。
【０２０７】
他の非限定的な実施形態において、デコーダは、階層構造（例えば、それぞれのＬＯＱのそれぞれのスパンの特性など）に対応する記述情報を受信し、それがどのスパンが既定の利用できる再構成データを生成され得るかを計算することを許可する。
【０２０８】
他の非限定的な実施形態において、予測計算機１０１０＋Ｂ、…、１０１１および１０１０は、既定のスパンの予測因子のスパンを選択し、エンコーダおよびデコーダの両方に知られたデフォルトパラメータに従ってアップサンプリングオペレーションを適用する。非限定的な実施形態において、デフォルトアップサンプリングオペレーションは、限定するものではないが、既定のＬＯＱ以下の線形フィルタリングおよび最上位のＬＯＱのためのキュービックフィルタリングを含む。他の非限定的な実施形態において、デコーダは、アップサンプリングオペレーション（例えば、限定するものではないが、画像処理動作のためのアップサンプリングカーネル、パラメータなど）の間、使用されるオペレーションおよびパラメータに対応する記述情報を受信する。
【０２０９】
図１Ｈは、予測計算方法の非限定的の実施形態をさらに説明する例図である。予測計算機１０１０＋Ｋは、ロットＬ１、…、Ｌｎに属する予測因子のスパンＹＫ（ｔ１）、…、ＹＫ（ｔｎ）のレンディションを受信する。予測計算機１０１０＋Ｋは、また、それぞれの予測因子のスパンの動き情報もそれらのサンプリング位置も受信する。
【０２１０】
サンプリング位置ｔ０に対して動き補償オペレーションを実行することにより、動き補償器１００１０−１、…、１００１０−ｎは、動き補償されたレンディションＭＣ（ＹＫ）のセットを生成する。最後に、予測生成器１００２０は、予測因子のスパンの動き補償されたレンディションを組み合わせ、アップサンプリングされた予測ＵＫ＋１（ｔ０）を高品質水準で生成する。
【０２１１】
他の非限定的な実施形態においては、アップサンプリングオペレーションは、予測生成器１００２０がアップサンプリングされ、動き補償されたレンディションを低品質水準Ｋ＋１で組み合わせるように、動き補償オペレーションと一緒に実行される。さらに他の非限定的な実施形態においては、予測因子のスパンＹＫ（ｔ１）、…ＹＫ（ｔｎ）のレンディションは、動き補償される前に空間次元に沿ってアップサンプリングされる。
【０２１２】
図２Ａ、２Ｂ、２Ｃ、および２Ｄは、要素の２つの二次元平面の組み合わせ（すなわち図１Ｂ、１Ｃ、および１Ｄで説明されたことに従って、アグリゲーションかそれともダウンブレンディングか）を実装する異なる非限定的な実施形態を説明する例図である。実際には、それらは高ＬＯＱの２つのスパン１００―１および１００―２を低ＬＯＱの１つのスパンにダウンブレンディングすることを示すが、簡潔さのために、４つの図の全ては、視覚的に時間領域におけるダウンサンプリングだけを示す。しかしながら、ダウンブレンディングのために図示される同じ考慮は、また、同じＬＯＱ内のアグリゲーションのために有効である。
【０２１３】
ＬＯＱ＃−１（例えば１０１−１）のダウンサンプリングされたスパンを生成するためにスパン１００―１および１００―２をダウンブレンディングする例の場合に着目する４つの図は、また、異なる動き補償アプローチを適用する効果を説明する（そして、特に、また、文献の欠如のために我々が"非対称バランス動き補償"として定義する新規の方法）。数学的に、３つの例の実施形態の全ては、異なる動き補償オペレーションを有するけれども、次の式を適用する。
【０２１４】
2015522986.tif 000024
【０２１５】
動き補償オペレーションは、ダウンブレンドされたスパンのサンプリング位置に対して相対的に実行される。動き記述情報が適切なフォーマット（例えば、動きゾーンおよび動き行列を有する浮動小数点動き補償の我々の新規な方法）でエンコードされた場合に、比較的に異なるサンプリング位置に対する動き補償オペレーションは、非常に効率的なやり方で表され、かつ計算され得る。
【０２１６】
本明細書で説明される非限定的な実施形態のセットにおいて、動き記述情報が割り当てられた信号の部分に対して、動きは、複数のパラメータを伴って推定され、そして、"バランスのとれた動き"（または双方向の動き）として計算される。本質的に、他に対する１つのスパンから動作を特定する代わりに、双方向のデコードを可能にするために、それは、共通の参照位置に対する両方のスパンから動きを特定する。そのような実施形態のいくつかは、１または複数の動き行列（例えば、並進運動すなわちオフセットだけを示す動きベクトルを使う従来の方法とは対照的に、）を使うことにより動きを表す。動き行列（すなわち特定の動きを表すために２より多いパラメータのエンコード）の使用は、そのような非限定的な方法の新規およびキーとなる特性であり、ズーム、回転、奥行き変化などのより洗練された動作の推定および補償を可能にする。動き行列は、時々、並進運動が十分な量を考慮された実施形態における１つのオフセットベクトルに分解される（例えば、既知のサンプリング制約または複雑さの制約が原因で）。他の非限定的な実施形態においては、動作は、同次座標方法を使うことにより計算され、動き補償された座標を有するアフィン変換に対応する１または複数の動き行列により表される。動き行列のそれぞれは、我々が"動きゾーン"として定義する、信号の特定の、かつ、任意に定義された部分に割り当てられる。他の非限定的の実施形態において、動き行列は、動きのより複雑なセットでさえ記述することを許可する、より包括的な奥行変換に対応する。
【０２１７】
動き行列（および、それらを使う実施形態の場合には動きゾーン）は、デコーダに送信され、いくつかの利点を持つ。例えば、それらは、反転され得、そしていくつかのサンプリング位置にわたる同じ動きゾーンの動きは、それぞれの時間的段階に対応する動き行列を適切に組み合わせること（例えば乗算）によって計算され得る。上記のそれを持つことにより、動き行列および動きゾーンは、動き予測および補償の多くの非限定的な実施形態の１つに過ぎない。そして、本明細書で説明される方法は、実質的には動き予測および補償方法のいずれのタイプとも共に適切に機能し得る。
【０２１８】
図２Ａは、動き補償（または、同等に、一定の同一性機能の手段による動き補償）を適用せず、かつ、その結果として、また"フレーミング"を適用せずの効果を説明する。
【０２１９】
ｔ＝１でサンプリングされたスパン１００―１、およびｔ＝２でサンプリングされたスパン１００―２は、ｔ＝（１＋２）／２＝１．５でサンプリングされたスパン１０１―１．５にマージされる。ダウンブレンドされたスパン１０１―１．５のサンプリング位置がスパン１００―１および１００―２のオリジナルのサンプリング位置の平均であるという事実は、実例から明らかである。ベタの円形オブジェクト２０１―０は、イメージの左下（スパン１００―１、サンプリング位置１）からイメージの右上（スパン１００―２のオブジェクト２０２―０、サンプリング位置２）に動いている。スパン１００―１および１００―２の２倍で線形ダウンサンプリングすることは（例えばトリリニアダウンブレンディング）、スパン１０１―１．５を生成する。水平および垂直の次元は、半分にされ、そして、ベタの円形オブジェクトは、両方のスパン位置において部分的に透明で、かつ、目に見えるものとして現れる。本質的にこのスパンを見ることにより、観察者は、本質的に２つの極致の間に位置（時間的な観点から）される、サンプリング位置１および２の間のオブジェクトの全体の動きを見ている。この単純な３次元（すなわち空間時間）ダウンサンプリングアプローチは、非限定的な実施形態において使われる。目に見えるオブジェクトの速度は、予め設定された閾値（すなわち時間的な相関は極めて高い）より低く、そして、条件において、再構成されたレンディションにおける動きのぼけの程度は、受け入れることができる。非限定的な実質的な例は、非常に高解像度および１０００フレーム／秒で撮影されたゆっくり動くシーン場面のビデオである。
【０２２０】
他の実施形態において、動き予測および補償は、Ｎ次元ダウンサンプリングを実行するために有用である。
【０２２１】
動き補償が実行される場合に、空間ダウンサンプリングおよび時間的なダウンサンプリング（"ブレンディング"）は、いくつかの可能な組み合わせと別々か、それとも一緒に実行され得る。非限定的な例の実施形態において、スパンは、動き補償され、そしてそれから三次元ダウンサンプリングが適用される。他の非限定的な実施形態においては、空間ダウンサンプリングは実行され、その後に動き補償が続いて、最後に時間的なダウンサンプリングが続く。他の非限定的な実施形態において、空間ダウンサンプリングは動き補償に組み合わされ、そして時間的なダウンサンプリングが続く。
【０２２２】
図２Ｂは、バランスのとれた動き補償の非限定的な例を説明する例図である。
【０２２３】
非限定的な例の実施形態は、オブジェクトの動きを決定し、２つのオリジナルスパンのサンプリング位置に対して中間にあるスパン時間でそれらの位置を推定する。対称を維持するために、動き補償は、時間的なダウンサンプリングオペレーションと一緒にそれらを"マージする"前に、２つのスパンを高く関連付けされた中間位置に再配置するように（本質的に、２つのオリジナルスパンの位置１および位置２に対して中間位置‐すなわちサンプリング位置１．５‐にある位置をサンプリングすることに対応する）、バランスのとれたやり方で実行される。
【０２２４】
この単純な場合において、オブジェクトは、単純な並進運動（すなわちオフセット）を伴って動いている。他のベクトルは、"補助ベクトル"として計算されるので、２つの動き補償オペレーションにおいて使用されるオブジェクトの動きの記述情報は、それ故、１つのベクトルによって特徴付けられる。
【０２２５】
そのようなバランスのとれたアプローチの恩恵は、動きの参照画像および／または優先的な方向の任意の選択を回避することである。このようにして構成された動き情報は、再生の時間方向がどちらに動いてもオブジェクトの動きの推定に使用され得、本質的に、双方向の再生を可能にする（特徴は、今のところ、動き予測および補償に基づくエンコード技術によって決して提供されない）。
【０２２６】
動き補償オペレーションを適切に実行するために、要素２０１―１．５ｂｉｓの目標プレーンは、ダウンサンプリングされたスパン１０１−１．５ｂｉｓが表示されなければならなかった場合に、表示装置に送信されたであろうイメージに対応するように、生成される。同時に、目標プレーンの外側にあるにもかかわらず、追加のダウンサンプリングオペレーションの間だけでなく、スパン１００―１および１００―２の予測を生成するために有用（特に追加のおよび／または逆動き補償オペレーションの後）になり得る要素をまた含むために、スパン１０１―１．５bisは単に目標プレーン２０１―１．５bisより大きい要素プレーンの割り当てから恩恵を得ることは図２Ｂから明らかである。
【０２２７】
文献の欠如が原因で、我々は目標プレーン２０１―１．５bisに対するスパン１０１―１．５bisの追加の行および列を定義するために新しい用語"フレーミング"を作った。
【０２２８】
スパン１０１―１．５bisは、それ故に、プレーン２２０―１（それのシフトされた位置におけるスパン１００−１を表している）および２２０−２（それのシフトされた位置におけるスパン１００−２を表している）の組み合わせである。図２Ｂから明らかなように、スパン１０１―１．５bisは、非常に異なる重要性水準を持つプレーン要素を含む。エリア２２０―１および２２０―２に属する要素は、"有効"プレーン要素であり、関連情報を含む。全ての他の要素（斜め線を持つエリアにより図に示される）は、ヌル要素、すなわち"利用できない"要素（２５０−１）である。それらはデコーダに送信されず（圧縮重視の実施形態において）、デコーダは、動き情報が知られているように同じ正確性を伴って、エリア２２０―１および２２０―２の位置およびサイズを正確に知っている。この例において、"利用できない"要素は、"有効"値を持つ要素と平均されない。"利用できない"要素を含む要素セットの重み付き平均を含むオペレーション（ダウンサンプリングの間かそれともアップサンプリングの間か）の全てにおいて、"利用できない"要素は、重み付き平均から排除され、残りの要素の重みは、それらの和が１に等しくなるように正規化される（説明された非限定的の実施形態において、これは、残りの重みの全てに対して同じ定数を追加することにより実現される）。
【０２２９】
値を持つが目標プレーン２０１―１．５bisの外側に位置する要素は、スパンが表示されなければなならいが、まだ有用な場合、例えば、デコーディングプロセスの間、アップサンプリングオペレーションをサポートするために、同様にエンコードプロセスの間、さらにダウンサンプリングオペレーションをサポートするために、示されないだろう。
【０２３０】
非限定的な望ましい実施形態において、相対的に目標プレーンのサイズに対するフレーミングの量は、引き続いて低ＬＯＱ毎に増大し、低ＬＯＱのスパンは多数の動き補償されたスパン（すなわちより大きい時間の量を含む）の結果という事実に対応し、そしてそれ故に、動きのより高い程度を考慮しなければならない。
【０２３１】
図２Ｃは、バランスのとれた動き補償を有する時間的なダウンサンプリングのもう１つの例の場合を説明する。これは、より洗練された動きのタイプ（特に、スケール変換、すなわちズーム）を取り入れる時期を選ぶ。前の場合は、オフセット情報を含む動き情報を説明した（一般に最新の動き予測および補償方法により表される情報である）。本明細書で説明された非限定的な実施形態は、より洗練された動きのタイプ、限定するものではないが、オフセット、回転、ズーム／発散、奥行き変化などを含み、また同時に表しながら、バランスのとれた動き予測および補償方法を利用する。特に、本明細書で説明される非限定的な実施形態は、４つのＺＲＯパラメータ（ズームのための１つのパラメータ、回転のための１つのパラメータ、およびオフセットのための２つのパラメータ）により特定される、アフィン（または"ＺＲＯ"）動き行列を有する動きを表す。
【０２３２】
我々が図２Ｂに述べたことと同じように、図２Ｃにおいてもまた、サンプリング位置１．５で中心のダウンサンプリングされたスパンを結果として生じる。
【０２３３】
図２Ｂおよび図２Ｃの両方とも、バランスのとれた動き補償の恩恵を示しているにもかかわらず、また、中間（すなわち潜在的に非整数）サンプリング位置でダウンサンプリングされたスパンの中心のかなり明らかな限定を示す。理論上は、高品質水準でのそれらの対応するスパンの間でダウンサンプリングされたスパンを中心におくことはエレガントであるけれども、分数のサンプリング位置は、最上位のＬＯＱよりも低い品質水準で信号を表示することが必要になるところの課題を生成する。第１に、最上位の品質水準（そのオリジナルサンプリングレートで）から低品質水準（分数のサンプリングレートで）に動的に切り替えることは、オブジェクトの動きにおいて把握される"ジャダ"および"スタッタ"を生み出すだろう。第２に、図２Ｂおよび図２Ｃから明らかように、結果として生じるスパンの目標プレーンは（すなわちスパンが表示されなければならなかった場合に表示されるイメージ）、２つのオリジナルスパンの間の中間位置にあり得、そして、それ故に、それは、少なくとも上記言及したジャダと同じ程度の見るために非常に不愉快になりそうである、目に見える"利用できない"エリアを特徴付けるだろう。非限定的な実施形態は、奇数のスパン（中間サンプリング位置が整数のサンプリング位置になるように、そして、目標プレーンが上記の奇数のスパンのグループの中間スパンの中心にあるように）を有するグループのみに対称な時間的なダウンサンプリングを適用することによりそのような課題を解決する。偶数のスパンをダウンサンプリングすることをさらに許可しながら、そのような課題を解決する他の非限定的な実施形態は、図２Ｄにより図示される。
【０２３４】
図２Ｄは、‐図２Ｂのように同じソース信号の場合‐"バランスのとれた非対称動き補償"の非限定的な例の実施形態を説明し、上記言及した中間（対称）のサンプリング位置の限定なしにバランスのとれた動き補償の恩恵の全てを実現する。
【０２３５】
スパン１００―１および１００―２は、可逆の動き変換（特定の非限定的な実施形態において、それぞれ関連する動きゾーンのための適切なＺＲＯ動き行列）に従ってさらに動き補償されるが、このとき、１．５の代わりに、１に等しいサンプリング位置に対してなされる。それ故に、スパン１００―１の動き補償情報がスパン１００―２の動き補償情報から直接に計算できるということはまだ真実である。または、逆もまた同様である。動き補償は、実際にまだバランスがとれている、すなわち双方向である。
【０２３６】
同時に、ダウンサンプリングされたスパン１０１−１は、本質的にスパン１００―１（スパン１００―２から来る、追加可能ないくつかの情報を有するが、スパン１００―１に連続して位置される）と同じである目標プレーン２０１―１により特徴付けられる。結果として、スパン１０１―１が表示されなければならない場合に、少しも"利用できない"エリアはないだろう。そして、また、サンプリングレートの観点から、ある"ブレンディング"効果にもかかわらず、オブジェクトの動きにおいて把握されるジャダはないだろう。
【０２３７】
図３Ａは、時間相関性残差情報から"サポートプレーン"Ｚへの分離を伴う、残差データのマルチ予測エンコードを実装する非限定的な実施形態を説明する例図である。
【０２３８】
図は、既定の品質水準でスパン１００―１、１００―２、…、１００−ｎのシーケンスからなるオリジナル信号を示す。適切な方法を経由して、エンコーダは予測Ｕ１１０−１、１１０−２…、１００−ｎに対応するシーケンスを同じ品質水準で生成する。エンコーダは、それから、それぞれのスパン１００―ｔとそれの対応する予測Ｕ１１０―ｔとの比較により得られる結果を処理することにより、絶対残差Ｒ１３０−１、…、１３０−ｎの適切なセットを計算する。例えば、残差データ計算機１２０―１は、入力としてスパン１００―１および対応する予測Ｕ１１０―１を受信し、スパン１００―１と予測Ｕ１１０―１との間の差に基づいて絶対残差Ｒ１３０−１を生成する。同様に、エンコーダは、シーケンスの残りのスパンに対応する絶対残差Ｒ１３０−２、…、１３０−ｎのセットを生成する。
【０２３９】
シグナルプロセッサ１４０は、また、サポートプレーン計算機と称され、絶対残差１３０−１、…、１３０−ｎのセットを処理し、この実施形態においては、時間相関性残差情報を集約する、サポートプレーンＺと称される要素１５０のセットを生成するように構成される。
【０２４０】
図３Ａで説明された非限定的な例の実施形態において、サポートプレーン計算機１４０は、また、スパンのシーケンスを超えて動きの情報を含む、記述情報１５５を受信する。
【０２４１】
サポートプレーン生成器Ｚ１５０は、絶対残差Ｒ１３０−ｔのそれぞれのセットの動き補償されたレンディションの重み付き平均Ｓをまず計算することにより実行され、全ての動き補償オペレーションは、同じサンプリング位置に対して計算される（すなわちこの非限定的な実施形態においては、第１整数のサンプリング位置は、シーケンスのスパンの全てのサンプリング位置の平均より低い、または等しい）。Ｓを計算する式は、以下の方程式により表される。
【０２４２】
2015522986.tif 000025
【０２４３】
単純な非限定的な実施形態において、全ての重みは、１／ｎ（すなわち単純な数学の平均）に等しい。他の非限定的な実施形態において、"重み付き平均の外れ値残差"の影響を減少させるために、ＳはＭＣ（Ｒ（ｉ））の統計モードとして計算される。
【０２４４】
いくつかの異なるサンプリング位置を超えて適切な重み付き平均を許可するために（すなわち情報損失の最小化）、動き補償オペレーションは、入力残差のセット（"フレーミング"）よりも多くの行および列を有する動き補償された要素のセットを生成する。加えて、動き補償オペレーションは、デフォルト値（例えば"利用できない"値）を、どれも適切な値を割り当てられない、入力（例えば絶対残差Ｒの特定のセット）および動き情報に基づく、動き補償された要素のセットの要素に割り当てる。
【０２４５】
デフォルト値を有する要素は、Ｓを計算するために使われる、対応する重み付け平均オペレーションを考慮されない。そして、残りの要素の重みは、それらの和を１に等しくさせるように正規化される。非限定的な参照の実施形態において、１へのこの正規化は、同じ定数を残りの要素の全ての重みに対して合計することにより、実現される。他の実施形態において、そのような正規化は、同じ定数を全ての重みに乗算することにより実現される。
【０２４６】
エンコーダは、それから、サポート要素の再構成を許可するために、デコーダに送信されるであろう再構成データを生成し、上記の再構成データのデコードをシミュレートし、サポートプレーンＺ１５０のレンディションを再構成する。
【０２４７】
2015522986.tif 000026
【０２４８】
2015522986.tif 000027
【０２４９】
2015522986.tif 000028
【０２５０】
2015522986.tif 000029
【０２５１】
2015522986.tif 000030
【０２５２】
2015522986.tif 000031
【０２５３】
それは絶対残差Ｒの再構成を"サポートする"ので、我々は、要素Ｚ１５０のセットを既定の品質水準での既定のスパンのシーケンスのための"サポートプレーン"と呼ぶ。本質的に、それはまた、絶対残差の時間相関を使うことにより、上記のシーケンスの再構成に必要な再構成データの情報エントロピー（例えばビットにおけるエンコード量）の減少をサポートする。１つの"残差の上位セット"における絶対残差データの時間相関性を強めることにより（すなわち直感的に、同時に前のスパンから残差のプレーンのそれぞれを予測することを回避しながら、後続するスパンに対して同じ残差情報を何度も繰り返すことを回避することにより）、サポートプレーンは、量子化が実質的に０に等しくなる後の相対残差の数を最大化し、それ故に、残差データの情報エントロピーの全体に対応する測定基準を低減する。
【０２５４】
既定のスパンの再構成されたレンディションは、相対残差と２つの予測されるスパンの予測（任意の適切な方法で生成される第１予測）と、絶対残差の予測（動き補償するサポートプレーンにより生成される第２予測）との組み合わせにより得られるので、我々は、また、"マルチ予測エンコード"方法としてアプローチを定義した。
【０２５５】
上記説明したように、従来の方法（例えば、ビデオ信号の場合において、ＭＰＥＧベースの技術、ＶＰ８など）は、前のまたは後続するサンプルに対する差のエンコード／デコードにより時間相関を利用する（それ故に、時間と共に誤差の蓄積および本質的に一方向再構成／再生を伴い、互いに対してエンコードされたサンプルの"時間的なカスケード"を生成する）。"時間的なダウンサンプリング"および"時間的アグリゲーション"の本明細書で説明された方法は、‐限定するものではないが、今のところ説明された全ての方法を含む‐共通の予測因子として供給し、かつ複数のスパンの相関情報をほぼ集約する一時的にブレンドされた情報（サポートプレーンの場合における同じ解像度またはさらに高解像度で、層状の時間的階層の場合におけるサブサンプリングされた）のエンコード／デコードからなり、（１）スパンの長いシーケンスを超えて時間相関を利用すること（誤差の蓄積の欠如が原因で）、（２）双方向の再構成／再生を実行すること、（３）シーケンスにおける任意のスパンの再構成にランダムアクセスをまた実行することを許可する。非限定的な例として、既定のスパンを再構成することを許可する相対残差を重く量子化する決定は（すなわち１つのスパンにおける情報の重要な損失および／またはアーティファクトを生成する決定）、低ＬＯＱで同じサポートプレーンおよび同じ予測因子のセットに基づいて再構成される同じＬＯＱで他のスパンに影響を与えない。また、任意の１つのスパンの再構成は、時間的オーダーにおける前のスパンの再構成されたレンディションの有用性を必要としないので、デコードは、反対の時間的オーダーで実行され得る（Ｉフレームから前のＩフレームまでちょうどスキップする現行アプローチとは対照的に、例えばビデオを再生するスムースリバース）。
【０２５６】
追加の非限定的な例の実施形態
【０２５７】
図３Ａで説明されるサポートプレーン計算機の例は、非限定的として意図されるべきである。
【０２５８】
2015522986.tif 000032
【０２５９】
2015522986.tif 000033
【０２６０】
他の非限定的な実施形態において、絶対残差Ｒ１３０は、適切な変換手段（例えば、限定するものではないが、分解変換、アダマール変換、ＤＣＴ変換、ウェーブレット変換などを含むリストから選択される）により処理される。
【０２６１】
2015522986.tif 000034
【０２６２】
他の非限定的な実施形態において、対応する残差１３０―１、…、１３０−ｎのセットの動き補償されたレンディションの重み付き平均の代わりに、サポートプレーン計算機１４０は、オリジナルスパン１００―１、…１００−ｎ（適切に動き補償された）の重み付き平均を処理することにより、サポートプレーンＺ１５０を計算する。方法は、ほぼ類似しており、オリジナルスパンに基づいてサポートプレーンＺ１５０を計算することによりではあるが、サポートプレーンは、異なる情報を含む故に、異なる結果をもたらす。そのような実施形態の１つにおいて、次の数学の式は、エンコーダで実行されるオペレーションおよびデコーダで実行される再構成プロセスを説明する。
【０２６３】
2015522986.tif 000035
【０２６４】
2015522986.tif 000036
【０２６５】
2015522986.tif 000037
【０２６６】
2015522986.tif 000038
【０２６７】
他の非限定的な実施形態において、サポートプレーンＺ１５０は、それがサポートする絶対残差Ｒ１３０―１、…１３０−ｎのセットよりも高品質水準（例えば高解像度）を持つ。そのような実施形態においてサポートプレーンＺ１５０は、異なる位置（ピクチャの場合においてサブピクセル位置を含む）においてほぼ同じオブジェクトを表す多数のスパンの動き補償されたレンディションに起因するので、サポートプレーンＺ１５０の品質水準を増大することにより、エンコーダは、サポートプレーンＺ１５０がサブ要素の精度を有する共通の残差情報を格納することを許可し、本質的に、サポートプレーンＺ１５０に格納される時間相関情報の量を最大化する。
【０２６８】
2015522986.tif 000039
【０２６９】
サポートプレーンＺ１５０が適用されるべき部分に対して、
2015522986.tif 000040
【０２７０】
サポートプレーンＺ１５０が適用されるべきではない部分に対して、
2015522986.tif 000041
【０２７１】
他の非限定的な実施形態において、スパン１００―１、１００―２、…、１００−ｎのシーケンスは、複数のサブシーケンス（"ロット"）に区画化され、エンコーダは、上記のロットのそれぞれのためにサポートプレーンＺを生成する。既定のロットのスパンの絶対残差は、上記の既定のロットのサポートプレーンＺに含まれる情報の少なくとも一部に基づいて、デコーダ（またはエンコードプロセス内ではシミュレートデコーダにより）により再構成される。特に、既定のロットの既定のスパンの絶対残差の既定のセットは、相対残差のセットを上記の既定のロットのサポートプレーンＺの動き補償されたレンディションに組み合わせることにより、生成される（動き補償は、上記の既定のスパンのサンプリング位置を参照して実行される）。
【０２７２】
2015522986.tif 000042
【０２７３】
2015522986.tif 000043
【０２７４】
2015522986.tif 000044
【０２７５】
2015522986.tif 000045
【０２７６】
他の非限定的な実施形態において、サポートプレーンＺを利用するマルチ予測エンコード方法は、イメージのシーケンスを直接にエンコードすることに利用される、すなわち予測Ｕの全てが０に等しいと想定する。
【０２７７】
2015522986.tif 000046
【０２７８】
残差データのサポートプレーンの計算および送信における単純な非限定的な例の利点をより良く明確にするために、静止画のビデオクリップ（すなわち全てのスパンが等しい）を表すスパンのロットの場合を考慮することは十分である。任意の品質水準で、サポートプレーンは、ロットのスパンの全ての再構成に必要な情報を十分に伝達する。スパンの全てをデコードおよび再構成するために、さらに相対残差が送信されるために必要とされることはないだろう（すなわち、相対残差の１００％が０に等しいだろう。適切なエントロピーエンコーダは、情報の非常に制限された量でエンコードすることができる）。それはもちろん極端な例の場合であるが、ロットがゆっくりな動きのシーンに属す場合、またはシーンの大きい部分が静止している場合、または動き補償情報がゆっくりな動き／静止しているシーンと同種である相関水準で動き補償された絶対残差を再形成し得る場合に、サポート要素情報に基づく絶対残差のエンコード／デコードの恩恵を理解することは簡単である。
【０２７９】
いくつかの非限定的な実施形態において、デコーダは、信号の特定の空間部分（例えば"タイル"）のみに対応する相対残差データを受信するように構成され、それ故に、上記の既定の部分の既定のＬＯＱのみで信号のレンディションを再構成し、効果的にズーム機能を実装する。言い換えれば、そのような非限定的な実施形態において、デコーダは、既定のＬＯＱで全体の信号の再構成に必要になるであろう絶対残差の再構成されたセットの特定の空間部分（"タイル"）のみに対応する再構成データを受信する。それ故に、デコーダは、絶対残差のセットの部分のシーケンスのみを再構成し、以下を含むオペレーションを実行する。再構成データの第１セットの処理し、サポートプレーンを生成する。再構成データの第２セットを処理し、相対残差のサブプレーン（例えば、相対残差のタイルなど）のシーケンスを生成する。上記の相対残差のサブプレーンのそれぞれは、絶対残差のプレーンのシーケンスにおける絶対残差のプレーンのタイルに対応する。上記の相対残差のサブプレーンのそれぞれを、上記のサポートプレーンの少なくとも一部に基づいて生成される対応する参照値のセットに組み合わせて、絶対残差のタイルのシーケンスを生成する。
【０２８０】
他の非限定的な実施形態において、デコーダ（およびエンコーダ内のシミュレートデコーダ）は、‐１つのサポートプレーンに基づいて既定のＬＯＱのスパンの絶対残差を生成する代わりに‐隣接するサポートプレーン（すなわち隣接するロットのサポートプレーン）の動き補償されたレンディションの重み付き平均に基づいて絶対残差を生成する。
【０２８１】
他の非限定的な実施形態において、１または複数のサポートプレーンＺは、段階的階層の特定の部分に対して（例えば、対応する品質水準で対応するロットよりも小さいスパンのサブシーケンスに対して）エンコード／デコードされる。
【０２８２】
非限定的な実施形態において、サポートプレーンは、信号の特定の特性および圧縮必須要件に従ってエンコーダにより、生成される（非限定的な例の手段により、信号の時間相関特性がサポートプレーンの送信が恩恵を持たならないだろうというような場合に、サポートプレーンの計算をスキップするかどうかはエンコーダしだいである）。
【０２８３】
2015522986.tif 000047
【０２８４】
2015522986.tif 000048
【０２８５】
次の（高）品質水準に対して、デコーダ（エンコーダ内のシミュレートデコーダも同様）は、予測Ｖを生成するために‐適切なアップサンプリングオペレーションを介して‐低品質水準でＺのレンディションを処理する。
【０２８６】
2015522986.tif 000049
【０２８７】
この単純な非限定的な実施形態においてロットのスパンの絶対残差のセットの動き補償されたレンディションの単純な算術平均の手段により（それぞれの動き補償オペレーションはサポート要素Ｓのために選択されたサンプリング位置を参照して実行される）、品質水準ごとに、エンコーダは、サポートプレーンＳの"理想"のレンディション（例えば、プリ量子化およびプリ変換）を生成する。
【０２８８】
2015522986.tif 000050
【０２８９】
2015522986.tif 000051
【０２９０】
2015522986.tif 000052
【０２９１】
結果として、デコーダ（エンコーダ内のシミュレートデコーダも同様）で再構成されたサポート要素Ｚのレンディションは、
【０２９２】
2015522986.tif 000053
【０２９３】
2015522986.tif 000054
【０２９４】
2015522986.tif 000055
【０２９５】
デコーダ（エンコーダ内のシミュレートデコーダも同様）は、それ故に、信号Ｙのレンディションをついに再構成できる。
【０２９６】
2015522986.tif 000056
【０２９７】
非限定的な実施形態において、ロットのサポートプレーンは、ロットの中心のプレーンの段階的階層になる（すなわち、ロットの最上位のスパンのサンプリング位置の平均に等しい‐動き補償オペレーションのために利用される‐サンプリング位置を有する）。
【０２９８】
他の非限定的な実施形態において、サポートプレーンは、最上位の品質水準でのロットのスパンのサンプリング位置の平均よりも低いまたは等しい最上位の品質水準（例えばＬＯＱ＃０）の整数のサンプリング位置を有するプレーンの段階的階層である。このようにして、サポートチェーンプレーンは、信号のオリジナルサンプリングレートに一致するサンプリング位置において常に中心にあり、動き補償オペレーションを単純化する（バランスのとれた動き補償、サンプリングレートジャダ、フレーミングおよび"利用できない"要素を説明する場合に述べられたように）。
【０２９９】
信号の再構成をサポートすることから離れて、段階的階層方法でエンコードされたサポートプレーンは、それ自身において確かにサブプロダクトである（すなわち信号の残りを独立して再構成され得る自己充足的な段階的階層）。これは、いくつかの非限定的な実施形態により使われる。例えば、非限定的な実施形態においてデコーダは、既定のＬＯＱでロットのサポートプレーン再構成データをただデコードすることに対してその処理を限定することができ、そして、サポートプレーンに基づいてイメージを‐対応するロットの時間の持続時間の間‐表示することができる。サポート要素は本質的に既定の品質水準で信号のロットの平均情報を伝達するので、そのような実施形態の例のアプリケーションは、非常に低いバンド幅接続、またはリソースの量が小さいデコーダ（例えばメモリまたは計算能力のような）、またはまさに信号の速い、かつ近接した描画が必要になる状況（例えば加速されたナビゲーション、早送り、または巻き戻し再生など）の場合である。
【０３００】
他の非限定的な実施形態において、エンコーダは、現在のロットおよび／または後続するロットを利用することによる代わりに、既にエンコードされ、かつ送信されたスパンを処理することにより、サポートプレーンを計算する。このアプローチは、サポートプレーンを計算するためにエンコーダ側で使われる同じスパンがデコーダ側で既に利用できるという利点を持つ。よって、サポートプレーン再構成データをデコーダに送信する必要はない。また、エンコードプロセスを開始する前にエンコーダがスパンのフルロットの利用性を待機することができない場合に、アプローチは、低遅延条件（例えば、限定するものではないが、ビデオ会議アプリケーション）において有用である。
【０３０１】
他の非限定的な実施形態において、サポートプレーンは、スパンの移動平均を処理することにより計算され、原理的にデコーダに送信されるサポートプレーンのいずれの情報も必要としない（他の非限定的な実施形態において、エンコーダおよびデコーダ側で利用できる情報の間のアラインメントを保証するためにそのような情報はそれでもなお定期的に送信される）。非限定的な例のように、移動平均として計算されるサポートプレーンは、例えばビデオ会議などのリアルタイムな低遅延アプリケーションにおいて有用である。長い遅延（例えば長いロットを使うことにより）を発生させることは起こり得ないが、未だに時間相関は極めて高い。そのような実施形態において、デコーダは、信号のスパンがデコードおよび再構成されるように、それぞれのＬＯＱに対してサポートプレーンを計算および更新する。非限定的な実施形態において、単純な移動平均スキームが採用される。他の非限定的な実施形態において、異なるスパンに起因する情報は、指数関数的減衰の重みシステムを利用することにより、平均化される。さらに他の非限定的な実施形態において、正確性ベースの重みアプローチは、同じ執筆者の以前の特許明細書で説明された方法に基づいて、使われる。本質的にエンコーダはそれぞれのスパンの精度値（例えばスパンの、対応する統計精度、または逆分散）をデコーダに割り当て及び送信し、そして、デコーダは、２つのバッファを生成する。サポートチェーンが計算された以前のサンプリング位置のためのサポートチェーンのレンディションを含むバッファＺｏｌｄと、個別値の精度の対応するＺｏｌｄの要素のそれぞれを含むバッファｐｏｌｄである。任意のＴ＝ｔで、サンプリング位置ｔでスパンのサポートチェーンに対する"寄与"をＺｎｅｗとして定義すると（すなわちそれの対応する絶対残差Ｒのセット）、バッファ内の新しい値は、以下のように計算される。ここで、スモールキャップの文字は、ビッグキャップにおける対応するプレーンの既定の座標（ｘ,ｙ）で特定の要素を表す。
【０３０２】
2015522986.tif 000057
【０３０３】
2015522986.tif 000058
【０３０４】
動き補償オペレーションは、計算される新しいサポートチェーンのサンプリング位置に対して相対的に計算される。
【０３０５】
ＭＣｘｙ（・）は、要素ＭＣ（・）のプレーンの座標（ｘ,ｙ）を有する要素を特定する。
【０３０６】
β、ａ、およびｂは、適切なパラメータである。１つの例の実施形態において、ａ＝ｂ＝１である。
【０３０７】
時間相関における不連続性を構成するために、非限定的な実施形態は、最後の既定のスパンの値とバッファＺｏｌｄに含まれる対応する動き補償された値との間の差が適切な閾値よりも高い場合に座標（ｘ,ｙ）におけるｐｏｌｄの値を０に"リセット"する、下記で説明されるオペレーションを加算する。
【０３０８】
もしも、
2015522986.tif 000059
であれば、そのとき、
【０３０９】
2015522986.tif 000060
【０３１０】
既に言及されたように、時間次元に沿ってサポートプレーンを利用することは、共通の予測因子の方法（または"マルチ予測エンコード"方法）のアプリケーションのための単に非限定的な例として意図されるべきである。いくつかのスパンの情報を集約する（予測因子のハイパープレーンに）、およびそのようなアグリゲーション情報を処理することにより生成される予測に対して残差をエンコード／デコードするアプローチは、また、信号の他の次元（すなわち必ずしも時間でない）、および潜在的にまた同じ信号の１より多い次元に適用され得る。時間次元に適用される場合に、既に説明されたように、動き予測および動き補償のいくつかの形態を使う実施形態を採用することは普通である。しかしながら、また、他の次元および信号の他のタイプに対してサポート予測因子の方法は、それらをサポートプレーン（それ故にそれらの相関情報を"抽出する"）に集約する前に、"再調整"スパンを目的とする補償処理の形態と共に実装され得る。非限定的な実施形態は、例えば、マルチチャネル音声信号の異なるチャネルを超えてサポート予測因子の方法を採用する。そのような実施形態は、段階的階層方法に従ってマルチチャネル音声信号をエンコードおよびデコードする。さらに、それぞれのチャネルのスパンは、要素のセットとして表される（非限定的な例である、スパンのための平均振幅値および平均ピッチ値を手段として）。そして、異なる音声チャネルの対応するスパンのための残差データは、サポート要素の残差データのセット、適切な記述情報に従ってチャネルを超えて"動き補償"（すなわち本質的に再調整相関スパンに対応するオペレーションを適用する）サポート要素の残差データに従ってエンコードされる（それ故に、異なるチャネルにおける同じ音の異なる時間位置を構成する‐本質的にマイクに対する音源の３Ｄ位置に基づいて）。
【０３１１】
他の非限定的な実施形態は、容量信号の１または複数の次元に対してビデオ信号の時間次元のために説明されたものに類似するマルチ予測方法を適用することにより、膨大な容量データをエンコードおよびデコードする。
【０３１２】
他の非限定的な実施形態は、二次元スパン（すなわちサポートプレーンＺが要素の三次元ハイパープレーンである）のシーケンスのために説明されたものに類似する方法を三次元スパンのシーケンスに適用することにより、容量ビデオをエンコードおよびデコードする。
【０３１３】
既に述べられたように、１または複数のサポート予測因子に基づくエンコード／デコードの新規の方法が多数の利点を持つことは、説明された非限定的な実施形態から明らかである。第１に、サポートプレーンは、残差データの情報エントロピーを低減することを許可する。時系列信号が利用される場合に、時間次元に沿ったサポートプレーンは、特に有用であり、特にそれによって、エンコーダはロットカット、シーンカット、および（もしあれば）動き予測／補償を適切に実行する。サポートプレーンは、また、それらが段階的階層方法のエンコード／デコードループ内に適用される場合に、非常に有用である。
【０３１４】
一般的に、スパンのシーケンスの相関が高いほど、予測絶対残差におけるサポートプレーンにより提供される恩恵は大きくなる。
【０３１５】
図３Ｂは、サポート要素情報に基づく要素の多次元プレーンのシーケンスのエンコードを実装する非限定的な実施形態を説明する例図である。
【０３１６】
プレーン３００―１、…３００−Ｎは、エンコードされたデータストリームを生成するエンコーダ３１０により処理される。特に、上記のエンコードされたデータストリームは、エンコードされたデータ＃１ ３２０、記述情報３３０―１、…、３３０−Ｎのセット、およびエンコードされたデータ＃２ ３４０−１、…、３４０−Ｎのセットを含む。
【０３１７】
エンコードされたデータ＃１ ３２０は、サポートプレーン３５５を生成するサポート再構成器３５０により、受信および処理される。
【０３１８】
サポートプレーン３５５は、オリジナルプレーン３００―１、…、３００−Ｎに対応する適切なレンディションを再構成するためのベースラインとしてデコーダにより、利用される。特に、サポートプレーン３５５は、記述情報３３０―ｉの対応するセットに基づいてサポートプレーン３５５を処理することによりそれぞれ得られる参照プレーン３６５―１、…、３６５−Ｎを生成する参照再構成器３６０により、処理される。非限定的な実施形態において、参照プレーン３６５―ｉのそれぞれを取得する画像処理動作は、記述情報３３０―ｉの対応するセットの動き情報に基づいてサポートプレーン３５５の動き補償オペレーションを実行することを含む。
【０３１９】
相対残差再構成器３７０は、エンコードされたデータ＃２ ３４０−１、…、３４０−Ｎのセットを受信および処理し、相対残差３７５―１、…、３７５−Ｎのセットを生成する。
【０３２０】
デコーダは、それから、参照プレーン３６５―１、…、３６５−Ｎを相対残差プレーン３７５―１、…、３７５−Ｎに組み合わせることにより、再構成されたプレーン３８０―１、…、３８０−Ｎを生成する。
【０３２１】
図４Ａは、マルチ予測エンコードで、そして、特に、また、残差データをエンコードするためにサポートプレーンを利用することにより、層状の時間的階層においてエンコードされた三次元時系列信号の非限定的な例の実施形態を説明する例図である。例の入力信号は、図１Ｅで説明されたものと同じである。全ての実際の目的に対して我々は二次元フレームのシーケンスからなるビデオ信号として考えることができる。
【０３２２】
図４Ａは、それぞれのスパンに対応する絶対残差Ｒのセット（スパンのそれら自体とは対照的に）、および示されるＬＯＱのそれぞれでそれぞれのロットのサポートプレーンを示すので、グラフィカルな表現は、図１Ｅで採用されたもの（特に、それはそれぞれのスパンの異なる時間の持続時間およびサンプリング位置を表さない。）とは異なる。図４Ａは、異なる品質水準でスパンの残差データの量（すなわち要素の量）がどのようにますます低空間解像度を持つかを説明する。そして、‐フレーミングがサポートプレーンに適用されるＬＯＱおよびロットに対して‐既定の品質水準で既定のサポートプレーンのレンディションは、上記のサポートプレーンによりサポートされる同じ品質水準のスパンに対応する絶対残差のセットより高い量の要素を持つ。
【０３２３】
この非限定的な実施形態において、ロットのサポートプレーンは、ＬＯＱ＃０でロットのスパンのサンプリング位置の平均よりもすぐ接して低いまたは等しいＬＯＱ＃０の整数のサンプリング位置に中心がある。特に、ロット２のサポートプレーンＳＰ２のチェーンは、サンプリング位置ｔ＝１１に中心があると同時に、ロット１のサポートプレーンＳＰ１のチェーンは、サンプリング位置ｔ＝４に中心がある。
【０３２４】
特定の例の場合に対して、ＬＯＱ＃−３以下のロットの絶対残差を再構成することは、両方のロットに対して、サポートチェーンを単に再構成することと等価である。すなわち、絶対残差１３４―４セットは、サポートプレーンＳＰ１−４に一致し、絶対残差１３３―４のセットは、サポートプレーンＳＰ１−３に一致するなどである。反対に、サポートプレーンは、ロットが１より多いスパンにより表される品質水準のそれ自身の確かなアイデンティティを持つ。例えば、ロット１のＬＯＱ＃−２の場合、サポートプレーンＳＰ１−２は、絶対残差１０２―２および１０２―６のセットとは異なる。
【０３２５】
エンコードおよびデコードオペレーションは、上記説明された方法に従って動作する。エンコーダ（"そのエンコーダ"）として構成されるシグナルプロセッサは、オリジナルの品質水準（ＬＯＱ＃０）で信号のレンディションを受信する（例えば、一定のサンプリングレートで二次元スパンのシーケンス、さらにそれぞれのスパンは、既定のサンプリング位置および既定の持続時間で特徴付けられる）。エンコーダは、信号を処理し、かつ動き情報を生成することにより、開始する。上記の動き情報の少なくとも一部に基づいて、エンコーダは、前および後続するシーケンス（例えば"バッチ"）における独立してエンコードされるスパンの適切なシーケンスを特定する。エンコーダは、適切なエンコードパラメータの少なくとも一部に基づいて、また、バッチをスパンからなる１または複数の"ロット"に分割する。より詳細には、図４Ａに説明したように、エンコーダは、１３個のスパンからなるバッチを特定し、それを８個のスパンからなるロット１と、５個のスパンからなるロット２に分割する。
【０３２６】
それぞれのロット内で、エンコーダは、適切なダウンサンプリングおよび／またはブレンディングおよび／またはダウンブレンディングオペレーションを実行し始め（また、適切にスパンを超えて動きを構成するために動き補償オペレーションを含む）、低品質水準の信号を生成する。低品質水準のスパンは、高品質水準で動き補償されたスパンの組み合わせの結果である場合に（高品質水準でちょうどスパンの空間ダウンサンプリングとは対照的に）、信号がその品質水準で表示されなければならなかったことにより示されるだろう実際のイメージ（"目標プレーン"）を超えて、エンコーダは、低品質水準のスパンに対して付加的な行および列を追加することにより"フレーミング"の過程を取り入れる。読み易さの目的のために、信号の実際のスパンは、図４Ａに示されない。
【０３２７】
ロットのダウンサンプリングされたレンディションの次元の１つが１要素の解像度に到達する場合に、後続する低階層に対するダウンサンプリングは、残りの次元に沿ってのみダウンサンプリングすることにより、継続する。例えば、ロット２のＬＯＱ＃−２では１要素に等しい時間解像度に到達する（すなわち全体のロットがたった１つのスパンにより表される）。それ故に、ＬＯＱ＃−２からＬＯＱ＃−３までのロット２のダウンサンプリングは、空間次元（典型的に高解像度を持つ）に沿ってのみダウンサンプリングすることにより、継続する。
【０３２８】
それぞれのロット内でのダウンサンプリングプロセスは、ボトムの品質水準が到達されるまで続く。図４の非限定的な例において、ボトムＬＯＱは、ＬＯＱ＃−４である。
【０３２９】
2015522986.tif 000061
【０３３０】
エンコーダは、それからデコーダ側で実行されるオペレーションのシミュレートを開始し、適切なアップサンプリングオペレーションを実行し、ＬＯＱ＃−３に対して予測されるスパンを生成する。この非限定的な実施形態において、エンコーダは、ＬＯＱ＃−１まで次元につき２つの要素およびＬＯＱ＃−１からＬＯＱ＃０まで次元につき４つの要素を含むカーネルを有する時間的なアップサンプリングオペレーションを利用する。既に以前に言及されたように、これは、低ＬＯＱで要素は時間および空間の両方においてより遠いという事実が原因である。よって、要素間の相関は、比較的に部分的になり得る（例えば、相関関係のないスパンに"寄与を要求する"ことは、限定された恩恵をもたらし、そしてときどき、逆効果でさえある）。
【０３３１】
予測されるスパンとダウンサンプリングを介して生成された段階的階層のダウンサンプリングされたスパンとを比較することにより、エンコーダは、ＬＯＱ＃−３で２つのサポートプレーンＳＰ１−３およびＳＰ２−３に再び一致する絶対残差１３３―４および１３３―１１のセットを生成する。
【０３３２】
エンコーダは、ＬＯＱ＃−３に対する再構成されたレンディションに基づいて、ＬＯＱ＃−２に対して予測されるスパンを生成することにより、継続する。予測されるスパンとダウンサンプリングを介して生成された段階的階層のダウンサンプリングされたスパンとを比較することにより、エンコーダは、絶対残差１３２―２、１３２―６および１３２―１１のセットを生成する。ＬＯＱ＃−２で、ロット１は２つのスパンからなり、よって、サポートプレーンはもはや絶対残差のいずれのセットにも一致しない。しかし、それは実用的には絶対残差１３２―２および１３２―６の２つのセットを予測するために使われるサポート要素のセットである。エンコーダは、それ故に、第１にその"理想" （すなわちプレエンコードおよびレンディションＳの再構成）を算出することにより、サポートプレーンＳＰ１−２を算出することを開始する。
【０３３３】
2015522986.tif 000062
【０３３４】
そこで、動き補償オペレーションは、比較的にサポートプレーンＳＰ１−２すなわちｔ＝４のサンプリング位置に対して実行される。
【０３３５】
2015522986.tif 000063
【０３３６】
2015522986.tif 000064
【０３３７】
結果として、エンコーダ（デコーダ側で実行されるであろうオペレーションをシミュレートする）は、サポートプレーンＳＰ１−２（数学的に"Ｚ"として記述される）のレンディションを再構成する。
【０３３８】
2015522986.tif 000065
【０３３９】
絶対残差１３２―２および１３２―６のセットとサポートプレーンＳＰ１−２の動き補償されたレンディション（それぞれ対応するスパンのサンプリング位置に対して）との間の差を算出することにより、エンコーダは、これから、ロット１（不図示）のＬＯＱ＃−２の２つのスパンに対する相対残差のセットを生成することができる。
【０３４０】
エンコーダは、同様に最上位のＬＯＱまで継続し、必要な再構成データの全てを生成する（例えば、この非限定的な例の場合において、それぞれのロットのそれぞれのＬＯＱに対するサポートプレーン残差、相対残差、および記述情報）。
【０３４１】
デコーダ側で、デコーダとして構成されるシグナルプロセッサは、再構成データを生成するために、エンコーダ側でシミュレートされた同じオペレーションを本質的に実行する。デコーダは、また、適切なデコードパラメータに基づいて、再構成されるスパンのシーケンスを特定するために、データストリームを受信し、かつ同期マーカメタデータをデコードすることにより開始する。最低のＬＯＱから開始し、デコーダは、高ＬＯＱのスパンに対する予測を再構成し、サポートプレーンデータを再構成し、サポートプレーンと相対残差データとを適切に組み合わせることにより絶対残差データを再構成し、それ故に、高ＬＯＱのスパンに対するレンディションを再構成する。
【０３４２】
適切なＬＯＱを再構成したらすぐに、シグナルプロセッサは、例えばそれを再生デバイスに送信することにより、再構成された信号をユーザに提供する。受信された再構成データおよび／またはリアルタイムデコードの制約および／または他の制約（例えば、計算能力の消費の最小化、電力消費量の最小化、吸収されたバンド幅の最小化、再生速度の最大化など）を当てにすることにより、および／または特定の入力パラメータに応答することにより、デコーダは、また、信号の異なる部分に対して異なるＬＯＱでのデコードを停止し得る。
【０３４３】
再度、説明された実施形態は、非限定的として考慮されるべきである。そして、当業者は、図４Ａに説明された例の実施形態と共に今までに説明された非限定的な実施形態および方法の全てをどのように組み合わせるかを簡単に推測することができる。
【０３４４】
他の非限定的な実施形態において、既定のロットの既定のＬＯＱのためのサポートプレーンは、動き補償された絶対残差の時間に沿って重み付き平均を実行することによりではなく、実際の動き補償されたスパンの時間に沿って重み付き平均を実行することにより計算される。既定のスパンのための絶対残差は、それ故に、対応する相対残差を既定のスパンのための予測されるスパンとサポートプレーンの動き補償されたレンディションとの間の差に組み合わせることにより得られる。上記のそれを持つことにより、デコーダは動き補償されたサポートプレーンを相対残差に単に組み合わせることにより既定のＬＯＱで信号のレンディションを生成することができるので、これらの実施形態は絶対残差を生成するデコーダを必要としない。そのような実施形態において、既定のＬＯＱのためのサポートプレーンは、実際には、ロットの相関情報の全てを表す（ちょうど相関残差データとは対照的に）。これらの非限定的な実施形態は、ＬＯＱの段階的階層を欠くときは特に有用である。
【０３４５】
他の非限定的な実施形態において、隣接するロットのサポートプレーン情報は、スパンの絶対残差のための予測を生成するために適切に利用される（例えば、サポートプレーンの動き補償されたレンディションの重み付き平均を計算することにより）。
【０３４６】
他の非限定的な実施形態において、隣接するロットのサポートプレーンは、アグリゲーション水準の段階的階層においてエンコードされる。
【０３４７】
図４Ｂおよび図４Ｃは、既定のＬＯＱに絶対残差のためのサポートプレーンの非限定的な例を説明する例図である。上記のサポートプレーンは、アグリゲーション水準の段階的階層においてエンコードされる。例の入力信号は、図４Ａで説明したものと同じである。全ての実際の目的に対して我々は二次元フレームのシーケンスからなるビデオ信号として考えることができる（方法の目的のための我々のスパン）。しかしながら、ロットにおける信号のバッチの分割は異なり、そしてまた、ＬＯＱ＃０に基づいてＬＯＱ＃−１を取得するために使われるダウンサンプリングオペレーションも異なる。特に、図４Ｃで説明されたように、図１Ｅおよび図４Ａで説明された非限定的な実施形態とは異なり、この非限定的な実施形態においてＬＯＱ＃−１は、単純な空間ダウンサンプリングを介して得られる、すなわちＬＯＱ＃０として同じサンプリングレートを維持する。同様の構成は望ましく、そこでＬＯＱ＃−１でレンディションの品質において過度のドロップを回避するために、最上位のＬＯＱのサンプリングレートは比較的低い。
【０３４８】
図４Ａ、図４Ｂのようには、スパンのそれぞれに対応する絶対残差Ｒのセット（スパンのそれら自体を示すこととは対照的に）およびロットのそれぞれに対するサポートプレーンを生き生きと示す。読み易さの目的のために、図４Ｂは信号の最上位のＬＯＱ＃０を示すだけであり、同時に図４Ｃは次の低ＬＯＱ＃−１のサポートプレーンがどうなるかを示す。既に言及されたように、この特定の非限定的な実施形態において、図４Ｃに示される信号の次の低ＬＯＱは、最上位のＬＯＱのように同じサンプリングレートであるが、低空間解像度を持つ。
【０３４９】
図４Ａに示されたことと同様に、サポートプレーンＳＰ１−０、ＳＰ２−０、…、ＳＰ６−０のそれぞれは対応するロットの絶対残差のセットの再構成をサポートする。しかしながら、図４Ａに示されたこととは異なり、低品質水準で同じロットの対応するサポートプレーンに基づいてＳＰｉ−０を再構成する代わりに、この非限定的な実施形態は、ＬＯＱ＃０のために生成されたアグリゲーション水準の特定の段階的階層に基づいてサポートプレーンをエンコードおよびデコードする（すなわち空間ダウンサンプリングであるが、動き補償された時間的なブレンディングのみを実行することなく）。
【０３５０】
特に、エンコーダとして構成されるシグナルプロセッサは、ＬＯＱ＃０でスパンのそれぞれに対する絶対残差１３０―１、…、１３０−１３のセットを生成し、サポートプレーンＳＰ１−０、ＳＰ２−０、…、ＳＰ６−０を生成する。そこで、それぞれのプレーンは、対応するロットの絶対残差のセットの適切に動き補償されたレンディションを組み合わせることにより得られる。この簡易化した非限定的な実施形態において、ロットは、最大３個のスパンでできているために選択される。そして、サポートプレーンのサンプリング位置は、それぞれの既定のロットの先頭のスパンのサンプリング位置に等しい。サポートプレーンＳＰ１−０、…、ＳＰ６−０は、アグリゲーション（ＬＯＡ）＃０の水準でＬＯＱ＃０のためのサポートプレーンと言われている。
【０３５１】
2015522986.tif 000066
【０３５２】
2015522986.tif 000067
【０３５３】
ここで、Ｓはエンコーダにより最初に計算されたとしてサポートプレーン（すなわちＳＰ１−０かＳＰ２−０か）を表す。Ｚはデコーダ側で（デコーダが何を再構成可能かに基づいて、残差データを適切に生成するためにエンコーダによりシミュレートされる）上記のサポートプレーンの再構成されたレンディションを表す。
【０３５４】
2015522986.tif 000068
【０３５５】
2015522986.tif 000069
【０３５６】
2015522986.tif 000070
【０３５７】
図４Ｃに説明されるように、信号の既定のバッチの全てのＬＯＱは、サポートプレーンのアグリゲーション水準のそれ自身の段階的階層を持つ。この非限定的な実施形態において、既定のＬＯＱのサポートプレーンの段階的階層は、信号の他のＬＯＱのサポートプレーンの段階的階層から独立している。
【０３５８】
図５Ａは、二次元サンプルのシーケンスから作られる時系列信号（例えば、非限定的な例である、二次元ビデオフレームから作られるビデオを手段として）の場合においてデコードパターン（"デコーディングウェイブ"）を通してサンプルを再構成するための方法の非限定的な例を説明する図である。方法‐本明細書で時間次元のために説明された‐は、また、単純な二次元信号から容量信号まで、または、三次元よりも多い信号に対してでさえ、非時系列信号に対して適用可能である。
【０３５９】
非限定的な例の実施形態において、エンコーダ側で信号は階層ベースの段階的方法で処理された。特に、この例の場合のために、時間的なダウンサンプリングは最上位の品質水準（ＬＯＱ＃０と呼ばれる）で一定の時間スパンを持つ１６個のサンプルからなるロットで実行された。上記のダウンサンプリングは、ＬＯＱ＃−４に至るまで全ての次元（すなわち時間および空間次元の両方）に沿って２の一定のダウンサンプリングスケール係数で実行される。ＬＯＱ＃−４（ここで時間次元におけるロットの解像度は時間次元において１に等しい、すなわちそれは１つのスパンのみにより表される）から最低のＬＯＱ＃−５まで、適切なスケール係数で空間次元をダウンサンプリングのみすることは適用された。エンコーダは対応する再構成データのセットにおいてそれぞれの既定のＬＯＱで信号のそれぞれのサンプルを再構成するために必要な情報をグループ化し、適切な同期マーカを再構成データのセットのそれぞれに割り当てた。エンコーダは、また、段階的階層の構造およびそれぞれのスパンの特性に対応する適切な記述情報を生成し、高ＬＯＱで既定のスパンのための予測を生成するために、例えばデコーダが処理されるべき低ＬＯＱ（"予測因子"）のスパンがどれかを特定することを許可した。
【０３６０】
非限定的な実施形態において、上記の再構成データのセットは、低ＬＯＱで信号の１または複数の予測因子のスパン、再構成データのそれぞれのセットに対応する信号のスパンを適切にアップサンプリングおよびフィルタリングすることにより計算された予測に基づいて、再構成することを許可する残差データを含む。他の非限定的な実施形態において、残差データは、対応するＬＯＱのために１または複数の共通の予測因子データ（"サポートプレーン"）のセットを参照して指示される。読み易さの利益のために、図５Ａは、サポートプレーンを示さないが、当業者は図３Ａ、３Ｂ、４Ａおよび４Ｂで説明されたサポートプレーンの方法がこの場合においてもどのように利用されるかを簡単に理解することができる。
【０３６１】
それらの任意の次元に沿って比較的に大きいサイズの信号のために、エンコードの任意の実際の方法は、同時に（特に我々が多数の並列処理コアの有用性を利用することを望むなら）信号の部分に働くことを必要とする。図５Ａに説明される場合に、そのような部分はＬＯＱ＃０で１６このスパンからなるロットであるだろう。信号の別個の部分に働くことは、図１Ｅの説明において既に言及されたように、信号の異なる部分の境界で、潜在的に不愉快な"ブロックアーティファクト"に通じる。
【０３６２】
"ブロックアーティファクト"問題に適切に対処する例の実施形態の非限定的なセットは、ダウンサンプリングの間に使われた境界を超えて、信号の隣接する部分に属すサンプルの情報をまた含むアップサンプリングカーネルを利用することによりデコードオペレーションを（信号の次元の任意または全てに対して）実行するシグナルプロセッサで構成される。例の実施形態の他の非限定的なセットは、また、段階的階層を生成するためにダウンサンプリング段階の間につかられたダウンサンプリングカーネルより大きいアップサンプリングカーネルをデコーダ側で採用する（例えば、非限定的な実施形態の手段として、段階的階層を構築する場合にバイリニア／トリリニアダウンサンプリングオペレーションを利用し、そして、高ＬＯＱのための予測を低ＬＯＱから再構成する場合にバイキュービック／トリキュービックアップサンプリングオペレーションを使う）。そのような実施形態において、空間時間アップサンプリングの間に、デコーダおよびエンコーダはダウンサンプリングで使われる境界を越えていくカーネル（またはスパンを処理する非線形オペレーション）を有するフィルタを採用する。非限定的な例として、図１Ｅにおいては、ダウンサンプリング段階の間にスパン１００―８のみがスパン１０１―７を生成するために"寄与した"という事実にもかかわらず、スパン１００―８のための予測を生成するために実行されるアップサンプリングオペレーションは、スパン１０１―５、１０１―７、１０１―９および１０１―１２を利用する。
【０３６３】
本発明による新規の方法は、追加の最適化段階を許可する。品質、圧縮、およびレイテンシ間の望まれたトレードオフに従って、再構成データのセットは、エンコードされ得、デコーダに送信され、および／またはいくつかの異なる連続的な／繰り返しパターンにおいてデコードされる（より良い用語の欠如のために"ウェイブ"タイプとして定義される）。
【０３６４】
他の非限定的な実施形態において、デコーダは、特定のデコードパターンに従って、エンコーダが信号の最上位の品質水準の再構成を開始できるように同じ信号の完全に再構成された（および／または完全に受信された）最低品質水準を持つ前に、エンコードされた再構成データを受信および処理する。それ故に、送信の間、エンコード／デコード遅延を減少させることができる。
【０３６５】
他の非限定的な実施形態によると、シグナルプロセッサは、シーケンスにおいてエンコードされた再構成データのセットを構築し、データストリームを生成する。このデータストリームは、段階的階層においてエンコードされた信号のスパンに対応し、既定のデコーディングウェイブパターンに従ってデコードされる。エンコードされた再構成データのシーケンスは、必要なデコードオペレーションのシーケンスをサポートするように構築され、必ずしもロットの構造およびシーケンスを反映／模倣しない。特に、エンコードされた再構成データの"自然な"シーケンスは、段階的階層が構築された（すなわち１ロットずつ）やり方に一致するように見えるだろうけれども、実際には、順序付けし、かつエンコードされた再構成データのセットをデコーダに送信するための効率的なやり方は、ロットを超えてカットし、デコーダで実行される再構成のパターンを追いかけることである。そのようなパターンは、異なる制約に応じるためにまた変化し得る（例えば、非限定的な例の手段として、デコード遅延を最小化し、デコーダで必要なメモリを減少させ、繰り替えられる計算量を最小化することなど）。言い換えれば、エンコードプロセスの間に得られる再構成データのセットを有するシーケンスにかかわらず、再構成データのセットは、デコードオペレーションの既定のシーケンスをサポートするように、適切にシリアル変換される。
【０３６６】
図５Ａは、時間‐空間段階的階層の文脈における時間次元に沿って２つの潜在的なデコードパターンの例の実施形態を説明する。ＬＯＱ＃−３に至るまでの階層の水準に対してアップサンプリングオペレーションは、高ＬＯＱのスパンの予測を生成するために低ＬＯＱの２つのスパンを含むカーネルを使い（例えば非限定的な例である線形フィルタを手段として）、ＬＯＱ＃−３よりも上の階層の水準の全てに対してアップサンプリングオペレーションは、高ＬＯＱのスパンの予測を生成するために低ＬＯＱの４つの時間的なスパンを含むカーネルを使う（例えば非限定的な例であるキュービックフィルタを手段として）。これは単に非限定的な例であり、任意の水準と他の水準との間のダウンサンプリングおよびアップサンプリングカーネルカーネルは、原則として、任意の次元から成り得る（また４より大きい）ので、一般的に、ダウンサンプリングおよびアップサンプリングオペレーションフィルタの両方はまた非線形オペレーションを含む。
【０３６７】
図５Ａの長方形は、既定のＬＯＱで信号のスパンを表す。それぞれのロットのそれぞれのＬＯＱのそれぞれのスパンに対して、エンコーダは、スパンのレンディションを再構成するために必要である情報およびパラメータを有する同期マーク再構成データの対応するセットを生成する。ついでに言えば、それぞれの既定のＬＯＱのそれぞれの既定のサンプルに対応する再構成データのための同期マーク情報を生成するまさに事実は、本明細書で説明された方法の他の革新的な特徴である。例えば、スパン５１０（すなわちＬＯＱ＃−４でロット１のレンディション）に着目すると、再構成データの適切な同期マークのセット（図５Ａに示されない）は、スパン５１０のレンディションである、ＬＯＱ＃−５で適切にアップサンプリングおよびフィルタリングするロット１のレンディションから生成された予測に基づいてデコーダが再構成することを許可する情報およびパラメータを含む。そのような情報およびパラメータは、５１０のレンディションを取得するために予測を組み合わせるための残差データに対応する情報を含む。既に言及されたように、図５Ａは、いずれのサポートチェーンも含まないが、他の非限定的な例の実施形態はサポートチェーンと共に図５Ａで説明された方法を用いる。
【０３６８】
図５Ａで説明された２つの潜在的なデコードパターンは、デコーダがこの特定の場合において再構成データのセットを受信および／またはデコードし得る２つの非限定的な例のシーケンスを示す。
【０３６９】
非限定的な例の実施形態において、デコーダは最上位の品質水準（ＬＯＱ＃０）で信号のスパンをできるだけ早くデコードおよび再構成するように構成される。そのような実施形態において、デコーダは、それ故に、第１に最上位の品質水準（ＬＯＱ＃０）でロット１の先頭のスパンのレンディションを再構成しようとする。それを行うために、オペレーションの最速のシーケンスは、次の通りである。デコーダ（例えば、受信される適切な記述情報を持つことにより段階的階層の構造を知っている）は、デコードのための第１の対象スパンに基づいて（例えばＬＯＱ＃０でロット１の先頭のスパン）、デコードされるべきスパンの全てを同様に特定する。特に、対象スパンをデコードするために、デコーダは対象スパンの予測（すなわち対象スパンの予測因子のスパン）を生成するために必要であるＬＯＱ＃−１でスパンをまず再構成する必要がある。上記の予測因子のスパンは、デコードされるために、低ＬＯＱでそれらの予測因子のスパンの再構成されたレンディションの有用性を必要とする。デコーダがデコーディングプロセスを実行することを可能にするために、依存性パターンは最低の品質水準で先頭のスパンに至るまで広げられるべきであると理解することは可能である。デコーダが対象スパンを再構成するために再構成される必要があるスパンの全てを特定するとすぐに、それは最低のＬＯＱでのスパンから開始することにより、それらのデコードを開始することができる。
【０３７０】
非限定的な実施形態において、階層構造に従って１ロットずつ構築された再構成データのセットを受信する代わりに、デコーダはスパンのいくつかの隣の文字により図５Ａに示されるシーケンスパターン（ウェイブパターン）を有する再構成データのセットを受信する。簡潔さのために、我々は全ての再構成段階（例えば予測など）に言及することを回避するだろう。そして、デコーダが再構成データのそれぞれのセットをデコードおよび利用するシーケンスを実質的に示す、全体の再構成オペレーションのシーケンスに単に言及する。このパターンに従って、スパンＭを再構成するために、デコーダはＭよりも"より低い"文字を有するスパンの全てを再構成しなければならないだろう。
【０３７１】
上記のスパンを特定するとすぐに、デコーダは、それらのデコードをどのように開始するか選択することができる。非限定的な実施形態において、それは次の順序すなわちＡ、Ｄ、Ｂ、Ｅ、Ｃ、Ｆ、Ｈ、Ｇ、Ｉ、Ｋ、Ｊ、Ｌ、ＭでスパンをデコードすることによりボトムＬＯＱから開始する。
【０３７２】
この非限定的な例において、再構成のシーケンスは、厳密に言えば、再構成データがデコーダに送信された次のシーケンスではなかったことに気付く（すなわちＡ、Ｂ、Ｃ、Ｄ、Ｅ、Ｆ、Ｇ、Ｈ、Ｉなど）。理由は、デコーダがどの対象スパンから開始することを選択したのか前もって知ることなしに、またはデコーダの特定の制約なしに、シーケンスは"できるだけ早く可能な限り最上位"のタイプのより多くの一般の連続的なパターンをサポートすることを意図されているということである。他のデコーダの実施形態は、例えば（例えば、できるだけ早く特定のサンプリング位置を表示する必要に応じて）、それはＬＯＱ＃−２をデコードするための対象ＬＯＱとして、およびそれ故に先頭の対象スパンとしてＧ選択のために決定されるかもしれない。そのような場合において、デコーダは、次のシーケンス、すなわちＡ、Ｄ、Ｂ、Ｅ、Ｃ、Ｆ、Ｇ（すなわち実施に送信されるシーケンスにより近い）でスパンをデコードするだろう。
【０３７３】
もしも、代わりに、デコーダが可能なデコード遅延（階層をジャンプアップおよびダウンを続けることが原因で、複数回あるスパンをデコードしなければならないことをときどき犠牲にしてさえ）を最小限にすることを望む場合、それは文字により示される次のシーケンスで直接に確かにスパンをデコードできた。デコーダはまずＡを再構成し、それからＢ、それからＣ（スパンＣの予測はＬＯＱ＃−４の２つのスパンを含むべきアップサンプリングカーネルに由来するが、Ｃはバッチの先頭のロットの先頭のスパンであるので、予測オペレーションは１つの予測因子すなわちＢのみを利用することに留意すること）、それからそれはＧを再構成したいが、それはまずＦを必要とし、そして、よってそれはロット２のＤを再構成するために全ての方向に遠ざかって行く必要がある。それからＥ、それからＦ、それからＧ、それからＩ等を予測および再構成するためにＨを再構成するためにＬＯＱ＃−３に至る。どの既定の点においても、デコーダは他のスパンを再構成し続け、デコーダは、もし必要であれば、ピクチャナンバ１を有し、かつ最上位の可能性があるＬＯＱを有するデコードされたスパンを表示装置に送信することができる。
【０３７４】
デコーディングウェイブパターン（すなわちデコードオペレーションの実際のシーケンス）はデコード戦略に依存するが、またそれぞれのＬＯＱで時間的なアップサンプリングカーネルのサイズに依存することに留意する。ロット２のＤ、Ｅ、およびＨはロット１の先頭のスパンであるＭを再構成するために必要であるので、例えば図５Ａで説明された１つなどデコーディングウェイブパターンの最小限の再生遅延は２つのロットの間である。
【０３７５】
選択された再構成戦略がどうであれ、デコードされたＭを持つ後に、デコーダは同じ方法に従うことにより他のスパンに進む。同じデコードパターンおよび同じ論理に従うことにより、シーケンスは無制限に続けることができる。
【０３７６】
実施形態において、デコーダにより受信されるデータストリームは、特定のデコードパターンに従って構築され、それ故に、ロットを超えておよびＬＯＱを超えて行ったり来たりするシーケンスに従って構築された再構成データのセットを含む。
【０３７７】
そのような再構成シーケンスは、図５Ａで描かれた非限定的な例の場合、最小限の再生遅延を実現し、デコーダ側で最小限のメモリ量を必要とする。同時に、それは全てのＬＯＱを超えて行ったり来たりして処理するデコーダを必要とする。
【０３７８】
図５Ａに説明されるデコードパターンの第２の非限定的な例は、徐々に増加する数により示されるものである、そのような実施形態において、デコーダは、最上位の品質水準（ＬＯＱ＃０）でロットを十分に再構成するために必要な情報の全てを、１ＬＯＱずつ、生成する観点から、同時にそれぞれのＬＯＱ（すなわち、もし必要であれば、隣接するロットのサンプルをまた含む）の必要なスパンの全てを再構成するように革新的に構成され、表示装置にそれを送信する。そのような目的に従って、デコーダはＬＯＱ＃−５のスパン１、２および３をまず再構成するだろう。それはそれからＬＯＱ＃−４のスパン４、５および６を再構成するだろう。それからＬＯＱ＃−３のスパン７、８、９、１０および１１。それからＬＯＱ＃−２のスパン１２、１３、１４、１５、１６、１７および１８。それからＬＯＱ＃−１のスパン１９、２０、２１、２２、２３、２４、２５、２６、２７および２８。最後に、ＬＯＱ＃０のスパン２９、３０、３１、３２、３３、３４、３５、３６、３７、３８、３９、４０、４１、４２、４３および４４で、ロット１の最上位のＬＯＱの再構成を完了する我々が見ることができるように、既に説明されたデコードパターンと共に最上位のＬＯＱの先頭のサンプルは、再構成された１３番のサンプル（文字"Ｍ"）であった。このデコードパターンと共に我々はそこに進んでいる前により多くのサンプルを処理する必要がある。そして特に最上位のＬＯＱの先頭のサンプルは、再構成される２９番のサンプルである。
【０３７９】
関連性のある制約であるデコード遅延でもなくメモリ使用量でもない場合において、他の非限定的な実施形態は、バッチの再構成データの全てが受信されまで待機し、そしてそれから最低のＬＯＱから開始する全体のバッチを再構成し、１ＬＯＱずつ進むことにより、このデコードパターンのより徹底的なアプリケーションでさえ実装する。
【０３８０】
他の非限定的な実施形態において、デコーダは、再構成データの利用できるセット、最上位のＬＯＱを有し、かつ既定の参照サンプリング位置に最も近いサンプリング位置を有するスパンに基づいて、デコードするように構成される。他の非限定的な実施形態において、デコーダは、あのＬＯＱのスパンの既定の最小数が再構成され得る場合のみ既定のＬＯＱのデコードを開始するように構成される。
【０３８１】
他の非限定的の実施形態において、同じ方法は、サポートバッファ／サポートチェーンをまた利用することによりエンコードされた信号の文脈において適用される。そのような場合において、既定のスパンをデコードし始めることが可能になる前に、デコーダは既定のスパンを再構成するために必要とする１または複数のサポートチェーンを受信およびデコードしなければならない。
【０３８２】
図５Ｂは、図５Ａに説明されたものに類似する時系列信号の場合においてデコードパターンの非限定的な例を説明する図である。時間的なアップサンプリングオペレーションは、高ＬＯＱのスパンの予測を生成するために、１つのスパンより多くを含む全てのＬＯＱで、低ＬＯＱ（例えば非限定的な例である線形フィルタを手段として）の２つのスパンを含むカーネルを使用する。図からすぐに明らかなように、そのような場合において任意の既定のロットは図５Ａに説明された場合に対してより少ない再生遅延を有してデコードされ得る。
【０３８３】
図５Ｂで説明される２つの非限定的なデコードパターンは、図５Ａで説明されたものと同じ論理に従い、新しい文脈に適合され、高ＬＯＱでスパンの予測を生成するために低ＬＯＱで信号の２つのスパンのみが必要となる。
【０３８４】
第１の非限定的な例の実施形態において、デコーダは、最上位の品質水準（ＬＯＱ＃０）で信号のスパンをできるだけ早くデコードおよび再構成するように構成される。そのような実施形態において、デコーダは文字により示されるシーケンスにおいて信号のスパンを再構成する。それはまずＡを再構成し、それからＢ、それからＣ、それからＤ、それからＥ、それからＦを再構成する（最上位のＬＯＱで先頭のスパンはそれ故に６回の再構成プロセスのみの後に再構成される）。それから、ＬＯＱ＃０で２番目のスパンの予測を生成するために、デコーダは低ＬＯＱに戻る必要があり、そして、ＧおよびＨを再構成する。ＢおよびＨを利用することにより、それはＩを生成する。ＣおよびＩを利用することにより、それはＪその他を生成し、文字により示される再構成のシーケンスに従う。
【０３８５】
非限定的な例の実施形態の第２のセットにおいて、デコーダは、高ＬＯＱのスパンを再構成し始める前に、同じＬＯＱ（すなわち、もし必要であれば、隣接するロットのサンプルをまた含む）の最小数のスパンを再構成するように構成される。
【０３８６】
そのような実施形態の１つにおいて、デコーダは、最上位の品質水準（ＬＯＱ＃０）でロットを十分に再構成するために必要になる情報の全てを、１ＬＯＱずつ、生成する観点から構成される。そのような目的に従って、デコーダは図５Ｂの数により示されるシーケンスパターンに従ってサンプルを再構成する。それはＬＯＱ＃−５の１および２をまず再構成し、それからＬＯＱ＃−４の３および４、それからＬＯＱ＃−３の５、６、および７、それからＬＯＱ＃−２の８、９、１０、１１、および１２、それからＬＯＱ＃−１の１３、１４、１５、１６、１７、１８、１９、２０、および２１、そして最後にＬＯＱ＃０の２２、２３、２４、２５、２６、２７、２８、２９、３０、３１、３２、３３、３４、３５、３６、および３７を再構成し、ロット１の最上位のＬＯＱの再構成を完了する。
【０３８７】
ロット２およびロット３のための追加の再構成データを受信すると、同じ方法に従ってデコーダはそれからロット２のスパンのデコードに進むだろう。そして‐キャッシュメモリ制限に適合して‐、既にデコードされたロット１およびロット２のスパンのレンディションを利用する（および／または利用できる再構成データに基づいてそれらを再処理する）。
【０３８８】
明らかに、図５Ａおよび５Ｂの両方で説明されたデコードパターンは単に非限定的な例の実施形態である。いくつかの他のシーケンスパターンはこの特許明細書によりカバーされる同じ基本的な方法を採用することにより可能である。
【０３８９】
また、いくつかの非限定的な実施形態において、最上位の可能性があるＬＯＱよりも低いある品質水準に至るまで、またはサポートチェーン情報に基づいて計算されるそれぞれのロットにつき単なるレンディションに対してさえ、信号の再構成部分を制限するために、（例えば極端なクイックシグナルナビゲーションの場合において）、デコードパターンは、バンド幅の混雑状態、処理能力制限、ユーザ入力等を示すパラメータに基づいてデコーダにより動的に調整される。
【０３９０】
他の非限定的な実施形態において、信号の特定のサンプルに対するネガティブ再生（すなわち逆の時間順序で信号サンプルのデコード）、探索機能（例えばクイックナビゲーション、早送り、巻き戻し）、および／またはランダムアクセスを実装するために、デコードパターンはまた動的に変化し得る。
【０３９１】
さらに他の非限定的な実施形態において、デコーダは、電力消費量対象を示すパラメータおよび／または利用できるバッテリ時間を示すパラメータに基づいて、また、既定の品質水準に至るまでデコードする。電力消費量の制限がない場合、デコーダは特定のＬＯＱ ｎ（例えば非限定的な例を手段として、最高分解能、および利用できる表示装置により表示可能なＬＯＱ）に至るまでデコードする。電力消費量が問題になる場合（例えば非限定的な例を手段として、デコーダは電力消費量を減少させる必要を示すパラメータを受信する）、デコーダは品質水準 ｍ（ｍ＜ｎである）に至るまでのみデコードし、信号のレンディションを再構成することを必要とする計算量、およびその結果として電力消費量を減少させる。
【０３９２】
図５Ｃは、ＬＯＱ＃−１に至るまで階層の水準のためのこの場合において時間的なアップサンプリングオペレーションが高ＬＯＱのスパンのための予測を生成するために低ＬＯＱの２つのスパンを含むカーネルを使う（例えば非限定的な例を手段として、線形フィルタ）という差を有する、図５Ａおよび５Ｂで説明されたものに類似する時系列信号の場合におけるデコードパターンの非限定的な例を説明する例図である。その上、ＬＯＱ＃−１のスパンからＬＯＱ＃０のスパンを予測するために、時間的なアップサンプリングオペレーションは、低ＬＯＱの４つのスパンを含むカーネルを使う（例えば、非限定的な例を手段として、キュービックフィルタ）。
【０３９３】
図５Ａおよび５Ｂに類似するように、図は、デコーダが最上位のＬＯＱ（ＬＯＱ＃０）のスパンを再構成することを許可する２つの非限定的な例のパターンを説明する。第１のパターンは、文字（ＡからＺまで）により示され、それが利用できる既定の再構成データを実行可能になるやいなや、高品質水準でスパンを再構成することを意図する。第２のパターンは、数（１から４２まで）により示され、ロット１のＬＯＱ＃０を十分に再構成するために、同時に（最低のＬＯＱから開始する）それぞれのＬＯＱの必要なスパンの全てを１ＬＯＱずつ革新的に再構成する。
【０３９４】
図５Ｄは、デコードパターンがどのように変化され得るかを、例えば信号の特定のスパンに対するランダムアクセスなど、デコーダにより受信された特定の要求に基づいて説明する図である。
【０３９５】
この非限定的な例において説明された信号および段階的階層は、５Ｃと同じ方法に従って生成される低ＬＯＱのスパンから高ＬＯＱのスパンの予測を想定する残差データと共に、図５Ａ、５Ｂ、および５Ｃで説明されたものに類似する（すなわち最上位のＬＯＱに対して時間的なアップサンプリングオペレーションはＬＯＱ＃−１の４つのスパンを含むカーネルを利用するのに対し、ＬＯＱ＃−１に至るまで階層の水準に対して時間的なアップサンプリングオペレーションは低ＬＯＱの２つのスパンを含むカーネルを使う）。
【０３９６】
図は、最上位のＬＯＱで特定のサンプルを再構成することを意図する再構成の２つの潜在的なパターンを説明する。
【０３９７】
第１の例のシーケンスパターンは、数により示され、そして、同時に（最低のＬＯＱから開始する）それぞれのＬＯＱの必要なスパンの全てを、１ＬＯＱずつ、革新的に再構成することにより特徴付けられる。そのような目的に従って、デコーダは、ＬＯＱ＃０で再構成する対象スパンに基づいて、再構成されるべき低ＬＯＱのスパンの全てを特定する（予測依存の全てに"広げること"により）。デコーダは、それから最低のＬＯＱでスパンから開始することにより上記のスパンの再構成を開始し、１ＬＯＱずつ進む。それはまずＬＯＱ＃−５の１、２、および３を再行使し、それからＬＯＱ＃−４の４、５、および６、それからＬＯＱ＃−３の７、８、および９、それからＬＯＱ＃−２の１０、１１、および１２、それからＬＯＱ＃−１の１３、１４、１５、および１６、そして最後に、"ランダムアクセス"の形態でデコーダにより再構成された対象サンプルであるスパン１７を再構成する。
【０３９８】
第２の例のシーケンスパターンは、文字により示され、そしてそれが実行可能になるやいなや、高品質水準でサンプルを再構成しようとする試みにより特徴付けられる。そのような非限定的な実施形態に従って、デコーダは、Ａ、それからＢ、それからＣ、それからＤを再構成する再構成データをまず処理するように構成される。ＤおよびＢを利用することにより、デコーダは、それからＥおよびＦを再構成する。ＥおよびＦを利用することにより、それはそれからＧおよびＨを再構成する。ＧおよびＨを利用することにより、それはそれからＩおよびＪを再構成する。それはそれからＫおよびＬを再構成するために低ＬＯＱに戻る。ＤおよびＬを利用することにより、それはＭを再構成する。ＦおよびＭを利用することにより、それはＮを再構成する。ＨおよびＮを利用することにより、ＯおよびＰを再構成する。最後に、Ｉ、Ｊ、ＯおよびＰを利用することにより、それは"ランダムアクセス"の形態でデコーダにより再構成された対象サンプルであるＱを再構成する。
【０３９９】
図５Ｅは、信号の特定のスパンに対するランダムアクセスのためのデコードパターンの非限定的な実施形態を説明する他の図である。
【０４００】
この場合において、図５Ｂのように、全ての時間的なアップサンプリングオペレーションは、高ＬＯＱのスパンの予測を生成するために低ＬＯＱの２つのスパン（非限定的な例である線形フィルタを手段として）を含むカーネルを利用する。図からすぐに明らかなように、そのような場合においてより少ない再構成（そして、その結果としてまた再構成データのより少ないセット、すなわちより少ない送信ビット）は、信号の対象スパンをデコードおよび再構成するために必要である。
【０４０１】
図５Ｄに類似するように、図は、デコーダリソースが対象スパンを再構成することを許可する２つの非限定的な例のパターンを説明する。第１のパターンは、数により示され、同時に（最低のＬＯＱから開始する）それぞれのＬＯＱの必要なスパンの全てを、１ＬＯＱずつ、革新的に再構成する。第２のパターンは、文字により示され、それが実行可能になるやいなや、高品質水準でスパンを再構成することを意図する。
【０４０２】
既に言及されたように、上記説明された例の場合は、サポートチェーンを参照する再構成データを含まない。デコーダが既定のＬＯＱでサポートチェーンＺを再構成することを許可する再構成データのセットを受信する非限定的な実施形態の場合、同じＬＯＱの再構成データの任意の他のセットをデコードし始める前に、あれらのセットがデコードされなければならないということを重視することは重要である。さらに、再構成データのこれらのセットは、デコードされるためにサポートチェーンＺのレンディションの有用性を必要とする。
【０４０３】
既に言及されたように、図５Ａ、５Ｂ、５Ｃ、５Ｄ、および５Ｅで説明された実施形態は、特定の次元に沿ったデコードパターンの単に非限定的な例である。しかしながら、デコーディングウェイブ方法は、時間次元のために説明された本明細書で、また、信号の他の次元に対しても適用可能である（ロットの空間と等価なものを利用することにより、それか残差データのセットを信号の既定の部分に対して残差データにおける独立してエンコードされるサブセットにセグメント化することにより、そのような次元に対して信号がセグメント化されたという条件で）。デコーディングウェイブは、１よりも大きい次元にまた適用可能である。非限定的な例の実施形態において、例えば、空間次元に沿ってデコードパターンは、限定されたディスプレイ解像度を有するデコーダデバイス（例えば非限定的な例を手段として、携帯電話）がフル解像度で高解像度ビデオの部分を再構成することを許可するために使われる。フル解像度で全体の信号を受信およびデコードするデコーダデバイス（例えば制限された処理能力および制限された利用できるバンド幅を有する）を必要としないビデオ再生の間にダイナミックズーム機能を効果的に実装する。他の非限定的な実施形態において、デコーダデバイスは、適切なデコーディングウェイブパターンに従って、大きい容量イメージの選択された部分をデコードおよび表示するように構成される。
【０４０４】
非限定的な実施形態において、ネットワークにおける装置は、再構成データのセットの送信を順序付ける。そして、異なるアプリケーションの制約を有する設備に対して同じコンテンツをデコードすることを手助けするために、ある場合において全体のＬＯＱに関連する再構成データのセットの送信をスキップする。
【０４０５】
他の非限定的な実施形態において、ネットワークにおける装置は、再構成データのセットの送信を順序付けするために、デコーダから命令を受信し、ある場合において全体のＬＯＱに関連する再構成データのセットの送信をスキップする。デコーダとこの順序付け装置との間の情報を交換するためのプロトコルは、送信の始まりまたはリアルタイムで進行している情報交換で単なる情報の交換を含み得る。
【０４０６】
図６は、上記で説明された実施形態の可能性がある実装を示す。この実装は、レポジトリ６１０から検索し、かつ段階的階層においてエンコードされた信号の再構成データを処理するように構成され、デコーダ６４０のためのデータストリーム６３０を生成し、既定の品質水準の１または複数のスパンからなるシーケンスで構成される信号１０００のレンディションを再構成するシグナルプロセッサ６２０を含む。
【０４０７】
レポジトリ６１０は、記述情報６０１と共に、再構成データ６００―１、６００―２、…、６００−ｎの複数のセットを含む。記述情報６０１は段階的階層の構造に対応する情報を含むエンコードされたデータの１または複数のセットで構成され、シグナルプロセッサ６２０が再構成データ６００のセットを特定することを可能にする。
【０４０８】
デコーダリソース６４０は異なる品質水準で信号のレンディションを再構成する再構成データ６００の送信された部分を利用する。デコーダ６４０は任意の適切なソース（例えば通信リンク、ストレージデバイスなど）から再構成データ６００のセットを受信し得る。
【０４０９】
信号１０００のレンディションに関連付けられた値は、限定するものではないが、音声データ、マルチチャネル音声データ、イメージデータ、イメージのシーケンス（例えばメディカルイメージデータ）、ビデオ（例えばフレームのシーケンス、インタレースフィールドのシーケンスなど）、マルチビュービデオ、３Ｄビデオ、記号、容量データ、容量ビデオなどを含むデータ情報の任意の適切なタイプを表すことができる。
【０４１０】
適切な受信されたパラメータ（例えば、デコーダデバイスのタイプ、ネットワークの状態、デコーダで実行される再生のタイプなどを示す非限定的な例を手段として）に応えて、シグナルプロセッサ６２０はデコーダに送信する再構成データの選択されたセットを特定およびフェッチする。シグナルプロセッサ６２０は、それからデータストリーム６３０をアセンブルすることによりデコーダ６４０により実行されるデコードオペレーションのシーケンスに対応するシーケンスで上記のセットを順序付ける。
【０４１１】
デコーダ６４０は再構成データの送信されたセットに基づいて信号のレンディションを再構成する。送信段階の間、レポジトリ６１０から再構成データを受信するシグナルプロセッサは、デコーダリソースに送信される再構成データの品質水準を変化させる。デコーダリソースは異なる品質水準で信号を再生するために受信された再構成データをデコードする。それ故に、信号は最上位の品質水準で信号のそれぞれの部分を再構成する適切な再構成データ６００をレポジトリ６１０に含むためにエンコードされ得る。しかしながら、シグナルプロセッサ６２０は、例えばデコーダなどの李モードリソースに再構成データの部分を選択的に送信するように構成され得る。
【０４１２】
デコーダリソースへの再構成データの送信は、連続した順序で次々にビットストリームでデコーダに多数のシーケンスのそれぞれを連続的に送信すること、および層状の再構成データのそれぞれのシーケンスのためのそれぞれのタイルの開始および終了のそれぞれを示すマーカ情報をビットストリームで提供することを含み得る。
【０４１３】
上記で説明された実施形態の他の非限定的な変形において、シグナルプロセッサ６２０は、デコーダ６４０を特定し、再構成データ６００の適切な部分を選択し、既定の品質水準に至るまで信号を再構成することを許可するエンコードされたデータのセットを含むデータストリーム６３０を生成し、データストリームをデコーダ６４０に送信する。
【０４１４】
他の非限定的な実施形態に従って、シグナルプロセッサは、第１の品質水準以下の信号の部分に対応する再構成データのセットの先頭のシーケンスの送信を開始するように構成され得る。それから、第２の品質水準で送信する要求の受信に応えて、第１の品質水準の代わりに第２の品質水準以下の信号の部分に対応する再構成データのセットの２番目のシーケンスを送信する。例えば、デコーダ６４０などのソースは、以前に送信された部分よりも高いまたは低い品質に従って信号の送信を要求することができる。要求に応えて、シグナルプロセッサは要求された品質水準で再構成データを送信する。
【０４１５】
他の非限定的な実施形態に従って、シグナルプロセッサ６２０は、送信エラーのイベントにおいてまた信号の低品質水準の再生を可能にするために、冗長なエンコードを含む再構成データの対応するセットを生成するために、１または複数の品質水準で再構成データ６００のセットを処理することができる。このようにして、デコーダ６４０は高品質水準が破損したイベントにおいて少なくとも低品質水準で信号を再生することが可能になるだろう。
【０４１６】
他の非限定的な実施形態に従って、シグナルプロセッサ６２０は、適切な暗号化方法に従って暗号化された再構成データに対応するセットを生成するために、１または複数の品質水準および／または記述情報（例えば同期マーカ、ヘッダ、または段階的階層の構造に対応する記述情報）で、再構成データのセットを処理することができる。したがって、デコーダ６４０は、全体のデータストリーム６３０の部分にのみ適切な復号方法を適用することにより、信号を復号することが可能になるだろう。それ故に、暗号化されたデータを復号することなしに信号をデコードおよび再生することは不可能である。
【０４１７】
さらに他の非限定的な実施形態に従って、シグナルプロセッサ６２０は、低品質水準で信号の大きい部分に対応する再構成データの先頭のシーケンスをデコーダ６４０に送信する。続いて、それは信号の上記の大きい部分のサブセットの高品質水準に対応する再構成データの２番目のシーケンスを送信する。
【０４１８】
さらに他の非限定的な実施形態に従って、シグナルプロセッサ６２０は、適切なデジタル著作権管理（ＤＲＭ）方法で、同期マーカ情報および／またはビットストリームの限定された部分を暗号化する（例えば、非限定的な例を手段として、高品質水準で再構成するために、および再構成データの残りの"意味を成す"ために絶対必要な、低品質水準に関連する再構成データ）。加えて、シグナルプロセッサは、複数のビットをランダムに再構成データのあるセットの間のビットストリームに挿入し、同期マーカ情報の有用性なしに、実質的に再構成データのセットを特定することをより困難にする（段階的階層ベースのエンコードアプローチにおいて可変長により特徴付けられる特質により）。
【０４１９】
図７は、段階的階層の生成の文脈において２Ｄイメージのダウンサンプリングに使われる方法の非限定的な例の実施形態を示す。要素７．０１、７．０２、７．０３、７．０４、７．０５、７．０６、７．０７、７．０８、７．０９、７．１０、７．１１、７．１２、７．１３、７．１４、７．１５、７．１６は、水準Ｎに属す。非限定的な例において、両次元に沿って２のダウンサンプリングスケール係数を想定すると、要素７．１０１、７．１０２、７．１０３、７．１０４、７．１０５、７．１０６、７．１０７、７．１０８は水準Ｎ−１に属す。非限定的な例を手段として、バイリニアダウンサンプリングを、水準Ｎ−１で要素（"コントローする要素"）に貢献する、水準Ｎで４個の要素（"コントロールされる要素"）からなる各グループに採用することを想定する。よって、７．１０１は７．０１、７．０２、７．０９、および７．１０間の平均として計算される。要素７．２０１および７．２０２は水準Ｎ−２に属す。要素７．２０１は、７．１０１、７．１０２、７．１０５、７．１０６の間の平均である。
【０４２０】
２より大きい次元に沿ってダウンサンプリングすることは、特に次元の１つが時間の場合に、しばしば異なって扱われる。
【０４２１】
非限定的な実施形態において、エンコーダは、トリリニアフィルタリングを利用する三次元においてダウンサンプリングを実行する。図７は、ｔ＝ｔ０でサンプリングされる、要素７．５０１の第１の二次元平面、およびｔ１＞ｔ０でサンプリングされる、要素７．５０２の第２の二次元平面がプレーン７．５０３を生成するために空間および時間でダウンサンプリングされる場合を説明する。低ＬＯＱの要素７．４０１は７．３０１、７．３０２、７．３０３、７．３０４、７．３１１、７．３１２、７．３１３、７．３１４の平均として計算される。同様の基本的なダウンサンプリング方法は、サンプリングレートが閾値を超える場合に相関情報を、または時間に沿って比較的にゆっくりな動きにより特徴付けられる信号の部分を非常に効果的にキャプチャすることができる。異なる文脈において、三次元ダウンサンプリングに使われる方法を前述の理由により修正することにより動き補償技術を採用することはまた望ましい。
【０４２２】
既に言及されたように、段階的階層の再構成をサポートするアップサンプリングオペレーションは、デコーダ側で、それを生成するために利用されるダウンサンプリングオペレーションに対して必ずしも対称でない。図７を参照すると、非限定的な例の実施形態において、アップサンプリングは、バイキュービックフィルタリングを利用して実行される。ＬＯＱ Ｎ＋１の要素７．２８、７．２９、７．３６、７．３７のための予測は、適切な係数Ａ（例えば非限定的な例の実施形態において、Ａ＝−０．６）を有するバイキュービックフィルタを、ＬＯＱ Ｎに属す要素７．１０１、７．１０２、７．１０３、７．１０４、７．１０５、７．１０６、７．１０７、７．１０８、７．１０９、７．１１０、７．１１１、７．１１２、７．１１３、７．１１４、７．１１５、７．１１６に適用することにより計算される。
【０４２３】
他の非限定的な実施形態において、アップサンプリングオペレーションは、バイキュービックフィルタリングの代わりにバイリニアフィルタリングを利用することにより実行される。そのような実施形態において、要素７．２８は７．２８からそれらの幾何学的距離に比例的に重み付けされた要素７．１０６、７．１０８、７．１１０、７．１１１の線形組み合わせの手段により予測される。
【０４２４】
図８は、上記で説明された実施形態に従って段階的階層における信号のエンコードの方法を説明するフローチャートである。
【０４２５】
図９Ａ、図９Ｂおよび図９Ｃは上記で説明された実施形態に従って段階的階層においてエンコードされた信号をデコードする方法を説明するフローチャートである。
【０４２６】
図１０は、本明細書で説明された実施形態に従ってコンピュータ処理を提供するコンピュータシステム８００のブロック図である。
【０４２７】
コンピュータシステム８００は、例えばパーソナルコンピュータ、処理回路、テレビ、再生デバイス、エンコードデバイス、ワークステーション、ポータブルコンピューティングデバイス、携帯電話、タブレット、コンソール、ネットワーク端末、処理デバイス、ネットワークデバイス、スイッチのような処理、ルータ、サーバ、クライアントなどのコンピュータ化されたデバイスであり得、またはコンピュータ化されたデバイスを少なくとも含み得る。
【０４２８】
次の議論は既に議論されたようにシグナルプロセッサ８１３に関連付けされた機能性をどのように実行するか示す基本的な実施形態を提供することに留意する。しかしながら、本明細書で説明されたようなオペレーションを実行するための実際の構成は、それぞれのアプリケーションによって変化し得ることに留意するべきである。
【０４２９】
示されるように、本例のコンピュータシステム８００は、デジタル情報は格納および読出しされ得る、非一時的なコンピュータ可読記憶媒体などのコンピュータ可読記憶媒体８１２との通信を提供する通信バス８１１を含む。
【０４３０】
コンピュータシステム８００は、プロセッサ８１３、Ｉ／Ｏインターフェース８１４、および通信用インターフェース８１７をさらに含み得る。
【０４３１】
１つの実施形態において、Ｉ／Ｏインターフェース８１４は、レポジトリ１８０に対する接続性を提供し、そしてもし存在すれば、スクリーンディスプレイ、音声スピーカ、例えばキーボード、コンピュータマウスなどの周辺機器８１６に対する接続性を提供する。
【０４３２】
上記で簡潔に言及されたように、コンピュータ可読記憶媒体８１２は、任意の適切なデバイスおよび／または例えばメモリ、光記憶装置、ソリッドステートドライブ、ハードドライブ、フロッピー（登録商標）ディスクなどのハードウェアになり得る。１つの実施形態において、記憶媒体８１２は、シグナルプロセッサアプリケーション８４０―１に関連付けられた命令を格納するように構成された非一時的な記録媒体（例えば非キャリアウェイブメディア）である。命令は本明細書で説明されたように任意のオペレーションを実行するために例えばプロセッサ８１３などのそれぞれのリソースにより実行される。
【０４３３】
通信用インターフェース８１７は、コンピュータシステム８００がリモートソースからの情報を検索し他のコンピュータ、スイッチ、クライアント、サーバなどと通信するためにネットワーク１９０で通信することを可能にする。Ｉ／Ｏインターフェース８１４は、プロセッサ８１３がレポジトリ１８０から格納された情報の検索または検索の試みをまた可能にする。
【０４３４】
示されるように、コンピュータ可読記憶媒体８１２は、プロセス８４０―２としてプロセッサ８１３により実行されるシグナルプロセッサアプリケーション８４０―１でエンコードされ得る。
【０４３５】
コンピュータシステム８００はデータおよび／または論理命令を格納するコンピュータ可読記憶媒体８１２を含むために具体化され得ることに留意する。
【０４３６】
シグナルプロセッサアプリケーション８４０―１に関連付けられたコードは、シグナルプロセッサ８１３および／または本明細書で説明された発明を実装するために必要な他のリソースの機能に実装され得る。
【０４３７】
１つの実施形態のオペレーションの間、プロセッサ８１３は、立ち上げ、起動、実行、解釈、またはそうでなければコンピュータ可読記憶媒体８１２に格納されたシグナルプロセッサアプリケーション８４０―１の命令を実行するために通信バス８１１を介してコンピュータ可読記憶媒体８１２にアクセスする。シグナルプロセッサアプリケーション８４０―１の実行は、プロセッサ８１３における処理機能をもたらす。言い換えれば、プロセッサ８１３に関連付けられたシグナルプロセッサプロセス８４０―２は、コンピュータシステム８００におけるプロセッサ８１３内または上で実行しているシグナルプロセッサアプリケーション８４０―１の１または複数の態様を表す。
【０４３８】
当業者は、コンピュータシステム８００が他のプロセスおよび／またはソフトウェアおよびオペレーティングシステムまたはシグナルプロセッサアプリケーション８４０―１を実行するためのハードウェア処理リソースの割り当ておよび使用を制御する他のソフトウェアなどのハードウェアコンポーネント含み得ることを理解するだろう。
【０４３９】
異なる実施形態に従って、コンピュータシステムは限定するものではないがパーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバ、ストレージデバイス、例えばカメラ、セットトップボックス、モバイルデバイス、ビデオゲームコンソール、ハンドヘルドビデオゲームデバイスなどのコンシューマエレクトロニクスデバイス、例えばスイッチ、モデム、ルータなどの周辺機器のデバイス、または一般にコンピューティングまたはエレクトロニクスデバイスのどのタイプを含む様々なタイプのデバイスのいずれかになるかもしれないことに留意する。
【０４４０】
図１１は、残差量子化に利用されるキーパラメータを説明する図である。
【０４４１】
非可逆圧縮は、残差量子化段階の間に実行され、エントロピーエンコードの前にエンコーダにより実行される。階層ベースの段階的エンコーダは、少なくとも２段階アプローチ、すなわち段階的階層の生成（例えば非限定的な例の実施形態において、ダウンサンプリングプロセス）、および残差データの生成（例えば非限定的な例の実施形態において、高水準のための予測を生成し、段階的階層のそれぞれの品質水準のそれぞれのスパンの残差を生成する適切なアップサンプリングオペレーションおよび上記の残差の適切なエンコード）を実行する。ビットレート割り当ておよび非可逆圧縮は、残差を量子化することにより実行される。
【０４４２】
2015522986.tif 000071
【０４４３】
他の非限定的な実施形態において、エンコーダは、異なる詳細水準（ＬＯＤ）をデコーダに同じ品質水準内でまた送信することを可能にするために残差を１より多い残差セット（ｒ＝ｒ１＋…＋ｒｎ）にグループ化することに決めることができる。バンド幅の利用度合または他の制約（例えば非限定的な例を手段として、処理能力、電力消費量制約など）に従って、デコーダは、あるＬＯＤで残差を受信することを停止することができる。
【０４４４】
例えば、要素ｙの値がｙｉｊ＝ｕｉｊ＋ｒ１ｉｊ＋ｒ２ｉｊとして計算される場合に、それによって、ｕは予測であり、ｒ１は第１のＬＯＤのために必要な残差であり、ｒ２は第２の（高）ＬＯＤのために必要な残差であり、それからデコーダは残差ｒ２ｉｊの受信／デコードを断念することによりｙｉｊの低詳細バージョンを計算することができる。
【０４４５】
残差のための値の可能範囲は、−ＵＬ、…、ＵＬとして規定される。
【０４４６】
量子化を実行するために、２つのパラメータは定義される。
【０４４７】
ゼロハーフ幅（ＺＨＷ）は、その範囲に属す残差が０に等しいと想定され得るように、デッドゾーンの範囲の半分、すなわち０の周囲の対称範囲である。
【０４４８】
段階幅（ＳＷ）はサブ範囲のサイズを示し、サブ範囲においては可能残差値の残りの範囲に分割される。非限定的な実施形態において、残りの範囲は、等しいサイズ（ＳＷそれ自体に等しい）のサブ範囲に分割される。他の非限定的な実施形態において、サブ範囲は、異なるサイズを持ち、ＳＷに依存する式で計算される（例えば、非限定的な例を手段として、指数関数的減衰、線形現象、ガウシアン減少など）。
【０４４９】
量子化は［−ＺＨＷ、…、ＺＨＷ］において残差値を０に減衰すること、およびデッドゾーンを超えて段階幅範囲に値を量子化することにより実行される。
【０４５０】
非限定的な実施形態において、量子化は和によりフォローされる単純な乗算により代わりに実行される。他の非限定的な実施形態において、最上位の品質水準のための逆量子化は、また、同じ範囲に属す残差はそもそも範囲内の異なる値を計算に入れ、かつ必ずしも範囲の中心で全て位置付けされないという事実を実質的に補償するために、ディザリングプロセスを利用する。
【０４５１】
ビットレート割り当ては、それぞれのＬＯＱのそれぞれのスパンのＺＨＷおよびＳＷを決定するためにエンコーダ側で実行される処理である。
【０４５２】
非限定的な実施形態において、エンコーダは、低品質水準の正確なレンディションを免責するビットレート割り当て戦略を実装するように構成される。ビットレート割り当て（すなわちそれぞれの要素につき割り当てられるビットの平均の数）は、スパン増大の要素の数に応じて減少する。
【０４５３】
他の非限定的な実施形態において、シグナルプロセッサは、アーティファクトの可視性に基づいて、または品質を示す適切なパラメータによってビットレート割り当てを実行するように構成される。特に、エンコーダが圧縮を増大するためにＳＷを拡大する場合に、アーティファクトは強い量子化が原因で生成され得る。アーティファクトはイメージにおいて比較的に分離された要素のように見える。それにより、逆量子化は、要素のオリジナル値に対して大きな差を生じさせる。非限定的な実施形態において、例えばＳＳＩＭ（はっきりした類似点）または高詳細水準もしくは非常に高い空間周波数を検知するために設計された他の測定基準などの既知の方法は、アーティファクトの可視性を測定するために使われる。エンコーダビットレート割り当てプロセスは、選択された測定基準に従ってアーティファクトの可視性を最小限にするために（例えば、非限定的な例を手段として、信号および／またはＬＯＱの選択された部分に幅広／幅狭のＳＷを利用する代わりにＺＨＷを拡大／減少するために選択することにより）利用できるビットレートを割り当てるためにそのような測定基準を有するフィードバックループを含む。
【０４５４】
他の非限定的な実施形態において、エンコーダは、向上された品質でより良い圧縮を実現するために残差量子化を選択的に訂正することができる。例えば、インヘリタンスベースの方法に従った仕上げプロセスは、信号の大きい部分に共通する情報を低水準に格下げすることにより、必要なビットレート（すなわち圧縮の水準の増大）を減少させることを可能にする。非限定的な実施形態において、残差の選択的な量子化は、仕上げプロセスにより動作され得る。そのような実施形態において、エンコーダは、比較的に同質（エンコーダにより生成された適切な測定基準に従って）、カレントプレーンの、バイ／トリ／多次元エリアの中へ落ちるあれらの残差のためのスパンに範囲の減少を免責する。
【０４５５】
他の非限定的な実施形態において、エンコーダは、人間の観察者に対するそれらの可視性を減少させるために、幾何学的におよび／または時間に沿って、アーティファクトを分離しようとするように構成される。例えば、エンコーダは、より強く（ＺＨＷを拡大する）交互に行われるパターンをフォローする、空間時間プレーンの部分（または信号の１または複数の次元に沿って信号を構成する他の多次元のハイパープレーン）を量子化することができる。他の非限定的な例の実施形態において、５点形スキームが採用される（例えば、２Ｄプレーンの非限定的な場合において、"量子化の深さ"は要素のそれぞれの３×３ブロックに対して十字すなわち同じプレーン上にある５点に配置された５点で構成される幾何学的なパターンをフォローする。それらの４点は正方形または長方形を形成し、それらの中心に５点目があり、そのようなスキームは２より多い次元を有するハイパープレーンのためにまた適切である交互のパターンを有する実施形態により一般化される）。同様の革新的な量子化方法の使用により生成される効果の例は、時間に沿って交互のピクセルでのテクスチャリングの減少である。このようにして、ビットレートの減少は、再構成された信号の把握される品質を強く妥協することなしに実現される。
【０４５６】
本明細書で説明された技術は、階層システムにおけるエンコードおよびデコードのために十分に適していることに再び留意すべきである。しかし、留意すべきことは、本明細書中の実施形態は、そのようなアプリケーションで使用することに限定されず、本明細書中に述べた技術が他のアプリケーションに同様に十分適することである。
【０４５７】
本明細書中に記述されている説明に基づいて、数多くの具体的詳細がクレームされた主題の十分な理解を提供するべく説明されている。しかし、クレームされた主題がこれらの具体的詳細なしに実施可能であることを当業者に理解されよう。他の例では、当業者に公知であろう方法、装置、システム等は、クレームされた主題を曖昧にしないように、詳細には説明されていない。詳細な説明のいくつかの部分は、コンピュータメモリ等のコンピューティングシステムのメモリの中に格納されたデータビットまたはバイナリデジタル信号に対するオペレーションのアルゴリズムまたは象徴の観点から、提示された。これらのアルゴリズム的な説明または表現は、データ処理技術の当業者が他の当業者に仕事の内容を伝えるべく使用される技術の例である。本明細書中に説明されるように、また一般的に、アルゴリズムは、所望の結果をもたらす複数のオペレーションからなる首尾一貫したシーケンスまたは類似の処理であると考えられる。この文脈において、操作または処理は物理量の物理的操作を伴う。典型的には、必ずしも必要ではないが、そのような量は、格納、送信、結合、比較、またはさもなければ操作され得る電気的または磁気的信号の形をとるものであってもよい。しばしば、主に一般的な使用上の理由で、そのような信号をビット、データ、値、要素、記号、文字、用語、数、数字等を参照することが便利であった。しかし、これらおよび類似の用語のすべてが適当な物理量に関連付けられており、単に便利な呼び名にすぎないと理解されるべきである。特段の異なりがない限り、以下の検討から明らかなように、この明細書全体にわたる検討を通じて、「処理」、「コンピューティング」、「算出」、「生成」、「決定」等の用語を用いる検討は、コンピューティングプラットホームのメモリ、レジスタ、または他の情報ストレージデバイス、送信装置、または表示装置内で、物理電子的または磁気的量として表されるデータを操作または変換するコンピューティングプラットホーム、例えばコンピュータまたは類似のエレクトロニックコンピューティングデバイスの動作またはプロセスに言及していると、理解される。
【０４５８】
この発明がその好ましい実施形態を参照して具体的に示され、かつ説明されているとはいえ、添付の特許請求の範囲によって定義される本出願の精神および範囲から逸脱することなく、形態および詳細において様々な変更が可能であることは、当業者によってよく理解されよう。そのようなバリエーションは、本出願の範囲によってカバーされることを意図している。このように、本出願の実施形態に関する前述の説明は、限定されることを意図していない。むしろ、本発明に対するいっさいの限定は、以下の特許請求の範囲に提示されている。
【図１Ｂ】
2015522986.tif 000072
【図１Ｃ】
2015522986.tif 000073
【図１Ｆ】
2015522986.tif 000074
【図１Ｇ】
2015522986.tif 000075
【図１Ｈ】
2015522986.tif 000076
【図２Ａ】
2015522986.tif 000077
【図５Ｄ】
2015522986.tif 000078
【図５Ｅ】
2015522986.tif 000079
【図７】
2015522986.tif 000080
【図８】
2015522986.tif 000081
【図９Ａ】
2015522986.tif 000082
【図９Ｂ】
2015522986.tif 000083
【図９Ｃ】
2015522986.tif 000084
【図１０】
2015522986.tif 000085
【図１１】
2015522986.tif 000086
【図１Ａ】
2015522986.tif 000087
【図１Ｄ】
2015522986.tif 000088
【図１Ｅ】
2015522986.tif 000089
【図２Ｂ】
2015522986.tif 000090
【図２Ｃ】
2015522986.tif 000091
【図２Ｄ】
2015522986.tif 000092
【図３Ａ】
2015522986.tif 000093
【図３Ｂ】
2015522986.tif 000094
【図４Ａ】
2015522986.tif 000095
【図４Ｂ】
2015522986.tif 000096
【図４Ｃ】
2015522986.tif 000097
【図５Ａ】
2015522986.tif 000098
【図５Ｂ】
2015522986.tif 000099
【図５Ｃ】
2015522986.tif 000100
【図６】
2015522986.tif 000101
【国際調査報告】
2015522986.tif 000102
2015522986.tif 000103
2015522986.tif 000104
2015522986.tif 000105
2015522986.tif 000106
2015522986.tif 000107