(57)【要約】  コンピュータプロセッサハードウェアは、値のセットのシーケンスを受信する。コンピュータプロセッサハードウェアは、値のセットのシーケンスを処理し、シーケンスにおける複数のセットの値を利用して１セットの支持値を生成し、当該セットの支持値は、シーケンスにおける値の元のセットのそれぞれを実質的に再現するための基準線を形成するように決定される。コンピュータプロセッサハードウェアは、当該セットの支持値に対応する再構成データを生成する。
2015519016.tif 000002
【特許請求の範囲】
【請求項１】
元の複数のセットの値のシーケンスをエンコードするための方法であって、前記方法は、コンピュータ処理ハードウェアにより、
複数のセットの値のシーケンスを処理し、前記シーケンスにおける前記複数のセットの前記値を利用して、第１のセットの複数の支持値を生成する段階と、
前記第１のセットの複数の支持値に対応する再構成データを生成する段階とを備え、
前記第１のセットの複数の支持値は、基準線を形成し、前記シーケンスにおける前記元の複数のセットの複数の値のそれぞれを実質的に再現するように決定される、方法。
【請求項２】
元の複数のセットの複数の値の前記シーケンスにおける少なくとも所与の１セットの複数の値に対して、前記方法は、
所与の前記元のセットの複数の値および前記第１のセットの複数の支持値に少なくとも部分的に基づいて、付加的再構成データを生成する段階をさらに備える、請求項１に記載の方法。
【請求項３】
前記付加的再構成データは、相対的残存量の再構成データを含み、前記方法は、
前記第１のセットの複数の支持値に少なくとも部分的に基づいて、第２のセットの複数の基準値を決定する段階と、
前記所与の１セットの複数の値と前記第２のセットの複数の基準値との間の差異に対応する、第３のセットの複数の残存量値を決定する段階と、
前記第３のセットの複数の残存量値に対応する相対的残存量の再構成データを決定する段階と、
少なくとも前記相対的残存量の再構成データを格納する段階およびデコーダに送信する段階のうち少なくとも１つの段階とを備える、請求項２に記載の方法。
【請求項４】
前記第２のセットの複数の基準値を決定する段階は、
所与の前記元のセットの複数の値に対応する記述的情報を処理する段階と、
前記記述的情報に基づいて前記第１のセットの複数の支持値を処理し、前記第２のセットの複数の基準値を生成する段階とを備える、請求項３に記載の方法。
【請求項５】
前記第１のセットの複数の支持値を決定する段階は、
元の複数のセットの複数の値の前記シーケンスにおける所与の１セットの複数の値に対応する記述的情報を受信する段階と、
前記記述的情報に基づいて前記所与の１セットの複数の値を処理し、補償された１セットの複数の値を決定する段階と、
前記補償された１セットの値に少なくとも部分的に基づいて、前記第１のセットの支持値を決定する段階とを備える、請求項２に記載の方法。
【請求項６】
前記第１のセットの複数の支持値の少なくとも１つの要素の値を決定する段階は、
２つまたはそれ以上の補償されたセットの複数の値に属する対応要素を相関させることにより複数の相関要素のサブセットを決定する段階と、
複数の相関要素の前記サブセットにおける複数の要素の組み合わせを実行し、前記少なくとも１つの要素に対する値を取得する段階とを備え、
前記補償された複数のセットの複数の値のそれぞれは、元の複数のセットの複数の値の前記シーケンスにおける１セットの複数の値に対応する、請求項５に記載の方法。
【請求項７】
前記組み合わせは、加重平均、演算手段、メジアンモードを含む複数のオペレーションのセットから選択されたオペレーションを実行することにより計算される、請求項６に記載の方法
。
【請求項８】
前記複数の相関要素のうち２つの間の差異が閾値より高い場合、支持平面の要素は、デフォルト値を割り当てられる、請求項６または７に記載の方法。
【請求項９】
前記第１のセットの支持値を処理し、前記第２のセットの複数の基準値を生成する段階は、再サンプリング計算、動き補償オペレーション、均等化オペレーションを含むオペレーションのセットから選択された少なくとも１つのオペレーションを有する、請求項４に記載の方法。
【請求項１０】
元の複数のセットの複数の値の前記シーケンスにおける１セットの複数の値を処理し、補償された１セットの値を生成する段階は、再サンプリング計算、動き補償オペレーション、均等化オペレーションを含む複数のオペレーションのセットから選択された少なくとも１つのオペレーションを有する、請求項５に記載の方法。
【請求項１１】
元の複数のセットの複数の値の前記シーケンスにおける少なくとも所与の１セットの複数の値に対して、前記所与の１セットの複数の値に対応する前記補償されたセットの複数の値は、前記所与の１セットの複数の値に実質的に等しい、請求項５または１０に記載の方法。
【請求項１２】
所与の１セットの複数の値を処理し、補償された１セットの複数の値を生成する段階は、前記補償された１セットの複数の値の複数の要素のうちのいくつかにデフォルト値を割り当てる段階を備え、
複数のデフォルト値を有する前記複数の要素は、前記第１のセットの複数の支持値を生成するときに利用されない、請求項５、１０または１１のいずれか１項に記載の方法。
【請求項１３】
元の複数のセットの複数の値のシーケンスに対して算出された前記第１のセットの複数の支持値は、元の複数のセットの複数の値の前記シーケンスに属さない１セットの複数の値を再構成するための基準線として使用される、請求項１に記載の方法。
【請求項１４】
前記付加的再構成データは、同期マーキング情報を割り当てられる、請求項２に記載の方法。
【請求項１５】
前記第１のセットの複数の支持値は、元の複数のセットの複数の値の前記シーケンスにおける複数のセットの複数の値のそれぞれに含まれる複数の要素の数と異なる、複数の要素の数を含む、請求項３に記載の方法。
【請求項１６】
前記元の複数のセットの複数の値のそれぞれは、第１の品質レベルで信号の予備的描出に対して行う複数の調整に対応し、
前記予備的描出は、第２の品質レベルで前記信号の描出に少なくとも部分的に基づいて生成され、
前記第２の品質レベルは、前記第１の品質レベルよりも低い、請求項３または１５に記載の方法。
【請求項１７】
前記付加的再構成データは、補償再構成データを含み、前記方法は、
前記所与の元のセットの複数の値に対応する前記第２のセットの複数の基準値を生成するべく、前記第１のセットの複数の支持値において実行するための複数のオペレーションに対応するデータを生成する段階と、
前記データに対応する補償再構成データを生成する段階とを備える、請求項３、１５または１６のいずれか１項に記載の方法。
【請求項１８】
前記第３のセットの残存量値は、より低い品質レベルの信号の描出に少なくとも部分的に基づいて更に処理され、前記方法は、
前記第３のセットの複数の残存量値に属する複数の残存量値を処理する段階と、
第４のセットの複数の変換残存量値を生成する段階とを備え、
前記複数の残存量値は、第１の品質レベルで信号の第１の描出に対して行われる複数の調整に対応し、
前記第４のセットの複数の変換残存量は、前記複数の残存量値および第２の品質レベルにおける前記信号の描出に少なくとも部分的に基づき、前記第２の品質レベルは、前記第１の品質レベルよりも低い、請求項３、または１５から１７のいずれか１項に記載の方法。
【請求項１９】
前記第３のセットの複数の残存量値は、複数の別個のサブセットにエンコードされ、前記方法は、
前記第３のセットの複数の残存量値を処理し、複数のサブセットの複数の残存量値を生成する段階と、
複数の残存量値の各サブセットを個別にエンコードし、それぞれが前記複数のサブセットの他のサブセットとは独立してデコードされ得る対応するサブセットの再構成データを生成する段階とを備える、請求項３、または１５から１８のいずれか１項に記載の方法。
【請求項２０】
エンコーダは、少なくとも、元の複数のセットの複数の値の第１のシーケンスおよび元の複数のセットの複数の値の第２のシーケンスを処理し、前記方法は、
元の複数のセットの複数の値の前記第１のシーケンスを処理し、前記第１のシーケンスにおける前記複数のセットの前記複数の値を利用して第１のセットの複数の支持値を生成する段階と、
元の複数のセットの複数の値の前記第２のシーケンスを処理し、前記第１のシーケンスにおける前記複数のセットの前記複数の値を利用し、第２のセットの複数の支持値を生成する段階と、
複数のセットの複数の絶対値の任意のｎ番目の追加シーケンスを処理し、前記シーケンスにおける前記複数のセットの前記複数の値を利用してｎ番目のセットの複数の支持値を生成する段階と、
生成された前記複数のセットの複数の支持値を処理し、前記複数のセットの複数の支持値における複数の値を利用して高次のセットの複数の支持値を生成する段階と、
前記高次のセットの複数の支持値に対応する高次の支持再構成データを生成する段階と、
前記複数のセットの複数の支持値のそれぞれに対応する支持再構成データを生成する段階とを備え、
前記第１のセットの複数の支持値は、前記第１のシーケンスにおける前記元の複数のセットの複数の値のそれぞれを実質的に再現するための基準線であり、
前記第２のセットの複数の支持値は、前記第２のシーケンスにおける前記元の複数のセットの複数の値のそれぞれを実質的に再現するための基準線であり、
前記ｎ番目のセットの複数の支持値は、前記ｎ番目のシーケンスにおける前記元の複数のセットの複数の値のそれぞれを実質的に再現するための基準線であり、
前記高次のセットの複数の支持値は、生成された前記複数のセットの複数の支持値のそれぞれを実質的に再現するための基準線である、請求項１に記載の方法。
【請求項２１】
前記第１のセットの複数の支持値は、複数の品質レベルの段的階層に応じてエンコードされ、前記方法は、
より低い品質レベルで前記第１のセットの複数の支持値の描出を処理する段階と、
より低い品質レベルにある前記第１のセットの複数の支持値の前記描出に少なくとも部分的に基づいて、前記第１のセットの複数の支持値の予備的描出を生成する段階と、
１セットの複数の支持平面残存量値を生成する段階と、
前記複数の支持平面残存量値に対応する支持平面再構成データを生成する段階とを備え、
前記複数の支持平面残存量値は、前記第１のセットの複数の支持値と前記第１のセットの複数の支持値の前記予備的描出との間の複数の差異に対応する、請求項１または２０に記載の方法。
【請求項２２】
再構成された複数のセットの複数の値のシーケンスをデコードするための方法であって、前記方法は、コンピュータ処理ハードウェアにより、
第１のセットの再構成データを処理し、第１のセットの再構成支持値を生成する段階と、
第２のセットの再構成データを処理し、複数のセットの複数の再構成残存量値のシーケンスを生成する段階と、
前記第１のセットの複数の再構成支持値に少なくとも部分的に基づいて、前記複数のセットの複数の再構成残存量値のそれぞれを対応する１セットの複数の再構成基準値と組み合わせ、再構成された複数のセットの複数の値の前記シーケンスを生成する段階とを備え、
前記複数のセットの複数の再構成残存量値のそれぞれは、再構成された複数のセットの複数の値の前記シーケンスにおける１セットの複数の値に対応する、方法。
【請求項２３】
再構成された複数のセットの複数の値の前記シーケンスにおける所与の各セットを生成する段階は、
前記第１のセットの複数の再構成支持値に少なくとも部分的に基づいて１セットの複数の再構成基準値を生成する段階と、
前記１セットの再構成基準値を対応するセットの再構成残存量値と組み合わせる段階とを有する、請求項２２に記載の方法。
【請求項２４】
前記１セットの複数の再構成基準値を生成する段階は、
再構成された複数のセットの複数の値の前記シーケンスにおける前記所与のセットに対応する記述的情報を処理する段階と、
前記記述的情報に基づいて前記第１のセットの複数の再構成支持値を処理し、前記１セットの複数の再構成基準値を生成する段階とを有する、請求項２３に記載の方法。
【請求項２５】
前記第１のセットの複数の再構成支持値を処理し、１セットの複数の再構成基準値を生成する段階は、再サンプリング計算、動き補償オペレーション、均等化オペレーションを含むセットから選択される少なくとも１つのオペレーションを実行する段階を有し、
前記少なくとも１つのオペレーションは、前記記述的情報に少なくとも部分的に基づく、請求項２４に記載の方法。
【請求項２６】
動き補償オペレーションは、支持平面の一部を選択する段階と、移動を適用する段階とを備え、
前記移動は、オフセット、スケーリング、回転のタイプの移動のうち少なくとも１つを含む、請求項２５に記載の方法。
【請求項２７】
所与の１セットの複数の再構成基準値を生成する段階は、前記所与のセットの所与の各要素について、
前記所与の要素に対する対応する記述的値を示す記述的情報を受信する段階と、
前記記述的値に少なくとも部分的に基づいて、前記所与の要素に対応する前記第１のセットの複数の支持値における複数の要素の集団を決定する段階と、
前記集団における前記複数の要素の複数の値に少なくとも部分的に基づいて、前記所与の要素の値を決定する段階とを更に有する、請求項２４に記載の方法。
【請求項２８】
前記第１のセットの複数の再構成支持値は、再構成された複数のセットの複数の値の前記シーケンスにおける前記複数のセットの複数の値のそれぞれに含まれる複数の要素の数より高い複数の要素の数を含む、請求項２２に記載の方法。
【請求項２９】
前記第１のセットの複数の再構成支持値は、再構成された複数のセットの複数の値の前記シーケンスにおける前記複数のセットの複数の値のそれぞれに含まれる複数の要素の数よりも低い複数の要素の数を含む、請求項２２または２８に記載の方法。
【請求項３０】
前記再構成された複数のセットの複数の値のそれぞれは、第１の品質レベルで信号の予備的描出に対して行う複数の調整に対応し、
前記予備的描出は、第２の品質レベルで前記信号の描出に少なくとも部分的に基づいて生成され、
前記第２の品質レベルは、前記第１の品質レベルよりも低い、請求項２２、２８または２９のいずれか１項に記載の方法。
【請求項３１】
前記第２のセットの再構成データを処理し、複数のセットの複数の再構成残存量値のシーケンスを生成する段階は、複数のセットの複数の再構成残存量値の前記シーケンスにおける所与の各セットについて、
第１のセットの複数の変換値を生成する段階と、
前記第２の品質レベルで変換値および前記信号の描出を処理し、前記所与のセットの複数の再構成残存量値を決定する段階とを有し、
前記第２の品質レベルは、前記第１の品質レベルよりも低い、請求項３０に記載の方法。
【請求項３２】
前記第１のセットの再構成支持値は、１セットの複数の高次支持平面値に少なくとも部分的に基づいて生成され、前記方法は、
第１のセットの再構成データを処理し、１セットの複数の高次支持平面値を生成する段階と、
第２のセットの再構成データを処理し、１セットの複数の調整値を生成する段階と、
前記１セットの複数の調整値を、前記１セットの複数の高次支持平面値に少なくとも部分的に基づいて生成された１セットの複数の高次支持平面基準値と組み合わせることにより、前記第１のセットの複数の再構成支持値を決定する段階とを備える、請求項２２に記載の方法。
【請求項３３】
再構成された複数のセットの複数の値における複数の別個のサブシーケンスに対応する複数のセットの複数の再構成支持値は、同一のセットの複数の高次支持平面値に従ってデコードされ、前記方法は、前記複数のセットの複数の再構成支持値における所与の各セットの再構成支持値について、
第１のセットのデータを処理し、第１のセットの複数の高次支持平面値を生成する段階と、
第２のセットのデータを処理し、第２のセットの複数の調整値を生成する段階と、
前記第１のセットの複数の高次支持平面値を処理し、第３のセットの複数の基準値を生成する段階と、
前記第２のセットの複数の調整値を前記第３のセットの複数の基準値と組み合わせ、前記所与のセットの複数の再構成支持値を生成する段階とを備える、請求項２２または３２に記載の方法。
【請求項３４】
前記第１のセットの複数の再構成支持値は、複数の品質レベルの段的階層に応じてデコードされ、前記方法は、
より低い品質レベルにおける前記１セットの複数の再構成支持値の描出を処理する段階と、
より低い品質レベルにおける前記１セットの複数の再構成支持値の前記描出に少なくとも部分的に基づいて、前記１セットの複数の再構成支持値の予備的描出を生成する段階と、
１セットのエンコード済みデータを処理し、１セットの複数の調整値を決定する段階と、
前記複数の調整値を前記１セットの複数の再構成支持値の前記予備的描出と組み合わせ、前記第１のセットの複数の再構成支持値を生成する段階とを備える、請求項２２、３２または３３のいずれか１項に記載の方法。
【請求項３５】
デコーダは、前記再構成された複数のセットの複数の値の特定空間部分のみに対応する再構成データを受信し、結果として、前記再構成された複数のセットの複数の値における複数部分のシーケンスのみを再構成し、前記方法は、
第１のセットの再構成データを処理し、第１のセットの複数の再構成支持値を生成する段階と、
第２のセットの再構成データを処理し、複数のセットの複数の残存量値のシーケンスを生成する段階と、
前記複数のセットの複数の残存量値のそれぞれを、前記第１のセットの複数の再構成支持値に少なくとも部分的に基づいて生成された対応する１セットの複数の基準値と組み合わせ、再構成された複数のセットの複数の値の複数部分のシーケンスを生成する段階とを備え、
前記複数のセットの複数の残存量値のそれぞれは、再構成された複数のセットの複数の値の前記シーケンスにおける１セットの複数の値の一部に対応する、請求項２２、または３２から３４のいずれか１項に記載の方法。
【請求項３６】
再構成された複数のセットの複数の値の前記シーケンスにおける前記複数のセットの複数の値のそれぞれは、複数のセットの前記シーケンスにおける他の複数のセットとは独立してデコードされる、請求項２２、または３２から３５のいずれか１項に記載の方法。
【請求項３７】
再構成された複数のセットの複数の値の前記シーケンスにおける前記複数のセットの複数の値のいずれかに対応する前記１セットの複数の再構成基準値は、再構成された複数のセットの複数の値の前記シーケンスにおける前記複数のセットの複数の値のいずれかを決定する前に決定される、請求項２３に記載の方法。
【請求項３８】
再構成された複数のセットの複数の値の前記シーケンスにおける前記複数のセットの複数の値のそれぞれは、画像に対応する、請求項２２に記載の方法。
【請求項３９】
再構成された複数のセットの複数の値の前記シーケンスにおける前記複数のセットの複数の値のそれぞれは、容積測定画像に対応する、請求項２２または３８に記載の方法。
【請求項４０】
コンピュータに、
複数のセットの複数の値のシーケンスを処理し、前記シーケンスにおける前記複数のセットの前記複数の値を利用して第１のセットの複数の支持値を生成する手順と、
前記第１のセットの複数の支持値に対応する再構成データを生成する手順とを実行させ、
前記第１のセットの複数の支持値は、前記シーケンスにおける元の複数のセットの複数の値のそれぞれを実質的に再現するための基準線を形成するように決定される、プログラム。
【請求項４１】
コンピュータに、
第１のセットの再構成データを処理し、第１のセットの再構成支持値を生成する手順と、
第２のセットの再構成データを処理し、複数のセットの複数の再構成残存量値のシーケンスを生成する手順と、
前記複数のセットの複数の再構成残存量値のそれぞれを、前記第１のセットの複数の再構成支持値に少なくとも部分的に基づいて決定された対応する１セットの複数の再構成基準値と組み合わせ、再構成された複数のセットの複数の値のシーケンスを生成する手順とを行わせる、プログラム。
【請求項４２】
デバイスであって、
プロセッサと、
前記プロセッサにより実行されるアプリケーションに関連する複数の命令を格納するメモリユニットと、
前記プロセッサおよび前記メモリユニットを結合する相互接続であって、前記デバイスが、前記アプリケーションを実行し、
複数のセットの複数の値のシーケンスを処理し、前記シーケンスにおける前記複数のセットの前記複数の値を利用して第１のセットの複数の支持値を生成し、
前記第１のセットの複数の支持値に対応する再構成データを生成する、複数のオペレーションを実行することを可能にする相互接続とを備え、
前記第１のセットの複数の支持値は、前記シーケンスにおける元の複数のセットの複数の値のそれぞれを実質的に再現するための基準線を形成するように決定される、デバイス。
【請求項４３】
デバイスであって、
プロセッサと、
前記プロセッサによって実行されるアプリケーションに関連する複数の命令を格納するメモリユニットと、
前記プロセッサおよび前記メモリユニットを結合する相互接続であって、前記デバイスが、前記アプリケーションを実行し、
第１のセットの再構成データを処理し、第１のセットの複数の再構成支持値を生成し、
第２のセットの再構成データを処理し、複数のセットの複数の再構成残存量値のシーケンスを生成し、
前記複数のセットの複数の再構成残存量値のそれぞれを、前記第１のセットの複数の再構成支持値に少なくとも部分的に基づいて決定された対応する１セットの複数の再構成基準値と組み合わせ、再構成された複数のセットの複数の値のシーケンスを生成する、複数のオペレーションを実行することを可能にする相互接続とを備える、デバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
当技術分野において、デジタル信号のエンコードおよびデコードを扱う多くの技術が知られている。これは、オーディオ信号、映像、ビデオ信号、および科学的および医学的領域において使用される容積測定信号等の他の多次元信号においてそうである。高い圧縮率を得るべく、これらの技術は、信号間の空間および時間の相関を利用する。従来の方法は、基準を識別し、現在位置と所与の基準との間の信号の差異を決定することを試みる。これは、基準がすでに受信され、デコードされた空間平面の一部である空間ドメイン、および、信号の時間における１つのインスタンス（例えばフレームのシーケンスにおけるビデオフレーム）を一定の持続時間に対する基準とみなす時間領域の双方において行われる。例えば、先にデコードされたマクロブロックが空間ドメインにおける基準とみなされ、ＩフレームおよびＰフレームが時間領域における基準として使用される、ＭＰＥＧファミリーの圧縮アルゴリズムがそうである。
【０００２】
既知の技術は、多くの方法による空間相関および時間の相関を利用し、差異（「残存量データ」）を識別し、単純化し、エンコードして送信するべくいくつかの異なる技術を採用する。従来の方法においては、空間相関を活用するべく、（例えば周波数領域への）領域変換を行い、次いで、損失性削除および情報の量子化を行う。これに対して、時間領域においては、従来の方法は、現在のサンプルと基準サンプルとの間の量子化された差異を送信する。サンプル間の類似性を最大化するべく、エンコーダは、基準信号に対して生じた時間に沿った変更を推定することを試みる。従来のエンコードの方法（例えばＭＰＥＧファミリーの技術、ＶＰ８等）においては、これは動き推定と呼ばれる。基準サンプル用のデコーダですでに利用可能な情報を活用することにより現在のサンプルを再構成することを可能にするべく、動き情報は、デコーダに送信される（ＭＰＥＧにおいて、これはマクロブロックに基づく動きベクトルを用いて行う）。
【０００３】
従来の基準ベースのエンコード技術の弱点は、損失のある圧縮技術を採用すると、サンプルにおける誤差がそれぞれ、前方のサンプルに基づいて再構成される後続のサンプルにおける誤差と共に累積し、順次推定される若干のサンプルの後に可視のアーティファクトを生成することである。
【０００４】
一般的なアプローチは、信号を分割して、エンコードオペレーションおよびデコードオペレーションする複雑性を減少させることである。これは、例えばマクロブロックまたはスライスの概念を用いて、空間ドメインおよび時間領域の双方において行われ、現在の最新アプローチは、時間に沿ったグループ・オブ・ピクチャ（ＧＯＰ）分割を使用する。
【０００５】
通常、分割処理は、急激であり、アーティファクトを生じやすい。一例は、ＭＰＥＧ法において行われるマクロブロックのセグメント化である。圧縮の効率性は確かに実現されるが、可視のアーティファクトを引き起こすことも事実である。これらのアーティファクトは、元の信号に関連付けられていないという事実のために、多くの状況で、人間の観察者には非常に明らかである。（例えば、注目すべき２つの例は、ブロックノイズアーティファクトおよびリンギングアーティファクトである）。そのようなアーティファクトの可視性を減少させる多くの試みが実行された（例えば、エンコーダおよびデコーダ側双方へのデブロッキングフィルタおよびデリンギングフィルタ）。しかし、全地球域での品質の低下が認められ、複雑性が増大する等、欠点を伴う。
【０００６】
時間次元に沿って、従来の方法は、チャンク（例えば、時間に沿った各サンプルが映像である、ビデオ信号用のＧＯＰ）においてサンプルを分割する。通常、基準サンプルは、順序に基づいて選択され（基準画像）、チャンクにおけるサンプルは、基準に対して（または双方向予測フレームの場合、２つの基準に）差次的に送信される。これにより、信号の時間発展におけるアーティファクトを引き起こす（例えば、著しい移動に対しては、見て取れる品質は、多くの場合、ＧＯＰのエッジに沿って明らかな不連続性を被る）
【０００７】
当技術分野において既知の方法により対応される１つの要求は、圧縮の効率性である。計算の複雑性は、常に第２の優先事項として考慮され、本質的に、アルゴリズムは、低い計算の複雑性に対して指定されるのではなく、計算上実行可能でなければならなかった。これにより、ハードウェア製造者は、発展する技術に継続的に適合し、選択したアルゴリズムを実装することができる特定プロセッサおよび専用ハードウェアのソリューションを指定しなければならなかった。一例は、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ等に対するハードウェアサポートの発展である。それまで、利用可能な計算コアの数に基づいて自動的に調整する計算性能を有する、平行する大規模なハードウェア上で最適に実行されるようにエンコード技術は指定されなかった（すなわち、コードを適合させる必要がなかったか、またはいくつの計算コアが利用可能かを予め知ることさえなかった）。現在の方法と合わせて実行可能でないこの特徴は、今日ではハードウェア技術がコンピューティングクロックレートおよび送信レートの速度の観点において、シリコンの漸近限界に到達したために、特に重要である。利用可能な計算能力を増大させる現在の傾向は、１つのチップまたはシステムにホスティングされた別個の処理ユニット（「計算コア」）の数を増加させる方向に動いている。
【０００８】
若干の試みは別として、当技術分野において軽視されている別の態様は、品質のスケーラビリティの要求である。スケーラブルなエンコードの方法は、１つのバージョンの圧縮信号をエンコードし、例えば、帯域幅の利用可能性、ディスプレイの解像度、およびデコーダの複雑性に応じて、異なる品質レベルの提供を可能にするであろう。スケーラビリティは、ＭＰＥＧ―ＳＶＣおよびＪＰＥＧ２０００等の既知の方法において考慮され、計算の複雑性のために比較的消極的に採用され、一般的に言えば、アプローチの使用は、本質的に、スケーラブルでない技術に指定されている。
【０００９】
既知の方法により対応されない別の態様は、対称的である。従来の方法を用いて、圧縮の効率性は、双方向（例えば、時間反転）再生、および、より一般的には、信号における任意のサンプルに対するランダムアクセス（例えば、ビデオ信号のためのフレームとフレームによる編集）のような有用な機能を放棄する代償の上で実現され得る。特に、時間次元に沿った予測技術は、デコーダが時間の反転した順序で信号を受信、デコード、および提示することを妨げる。また、採用された予測技術は、アーティファクトのアキュムレーションのために、極めて圧縮され、または誤差を生じやすい送信における動作に影響する。誤差により引き起こされるアーティファクトは、特に、時間における持続時間のために可視である。
【００１０】
また、当技術分野において採用される、予測により推進される技術は、圧縮されたストリームへのランダムアクセスに対する強い制約をもたらす。任意点におけるサンプルの「検索」、（次の時間チャンク／ＧＯＰの開始まで待機する必要なく）異なる信号のビットストリームに「ザッピング」する場合のランダムアクセス等のオペレーションは、現在は実行不可能である。現在、任意点にアクセスする場合にユーザが待機しなければならない時間は、圧縮の効率性との厳しいトレードオフ関係にある。この現象の一例は、ＭＰＥＧファミリーの方法におけるＧＯＰの制約である。最小限の時間遅延および時間に沿ったランダムアクセスを可能にするべく、１つのサンプルのＧＯＰ（すなわち、イントラオンリーのエンコード）を使用しなければならない。
【００１１】
最後に、現在の方法は、要求される計算能力および帯域幅の量のために、非常に高いサンプリングレート（例えばビデオ信号に対する非常に高いフレームレート）に好適でない。例えば、いくつかの研究は、全ての人間が１秒毎に最大３００フレームのビデオ信号の品質差を容易に理解することができるが、現在、計算および帯域幅の制約により１秒毎に２５〜６０フレームよりも多い高品質のビデオ信号をエンコードおよび送信することを極端に高価になっていることを論証した。
【発明の概要】
【００１２】
本明細書において説明する創造的方法は、特に、信号の顕著な相関の次元に沿った信号の複数のサンプルに関連する残存量データをエンコード、送信、およびデコードするための技術における改善に焦点を当てる。
【００１３】
その広い態様によれば、本明細書において説明する本発明の非限定的な実施形態は、支持バッファに基づいて複数のセットの残存量データをエンコードおよび再構成するための方法を備える（例えば、限定されないが、１セットの支持要素）。また、いくつかの非限定的な実施形態は、支持バッファの段的階層を生成することにより方法を実装する。この方法は、残存量データのセットが処理され、支持要素情報および相対的残存量データを生成するエンコード段階と、支持要素情報が処理され、相対的残存量データと組み合わせて残存量データを再構成することを可能にする、残存量データの予測を生成するデコード段階とを備える。
【００１４】
２つまたはそれ以上の階を備えるサンプルの段的階層において信号をエンコードし、段のそれぞれが別個の品質レベル（例えば、信号描出の忠実度のレベルに対応する）を有する、段的階層エンコード法のエンコードおよびデコードループ内で当該方法を使用する非限定的な実施形態には特に注意を喚起されるであろう。そのような方法は、最も低い品質レベルを有する段のサンプルから開始することにより、再構成オペレーションにより任意の品質レベルのサンプルを計算する、デコード段階を備える。本明細書において例示する実施形態は、より低い品質レベルが１または複数の次元の信号全体でより低い解像度（すなわち、粗いサンプリンググリッド）である非限定的な場合に特に焦点を当てるが、当業者は、より低い品質レベルの信号が同一の解像度およびより低いレベルの詳細（例えば、限定されるものではないが、要素の値のより粗い量子化）を有する信号である場合に同一の方法を容易に適合し得る。いくつかの場合に、我々は、より低い品質レベルをより高い「アグリゲーションレベル」（「ＬＯＡ」）と呼び、より高い品質レベルに対するサブサンプリングされた次元のみが時間次元であった。「段」という用語は、本願の以下において、文脈に応じて「品質レベル」（「ＬＯＱ」）または「アグリゲーションレベル」（「ＬＯＡ」）と互換的に使用される。
【００１５】
簡潔にするために、通常、本明細書において例示する非限定的な実施形態は、信号を、時間次元に沿った所与のサンプリングレートで生じる多次元サンプルのシーケンス（すなわち、１または複数の次元を有するアレーとして編成された１または複数の要素のセット）と呼ぶ。説明において、用語「画像」および／または「平面」（最広義の「超平面」、すなわち任意の数の次元を有する要素のアレーを意図する）は、多くの場合、サンプルのシーケンスに沿った信号サンプルのデジタルな描出を識別するべく互換的に使用され、各平面は、その次元のそれぞれに対する所与の解像度を有し、平面における座標の好適な各セットは、１もしくは複数の値または「設定」（例えば、非限定的な例によれば好適な色空間における色設定、密度レベルを示す設定、温度レベルを示す設定、オーディオピッチを示す設定、振幅を示す設定等）を特徴とする、平面要素（もしくは「要素」、または「ペル」、二次元画像については多くの場合に呼ばれる「ピクセル」、容積測定画像については多くの場合に呼ばれる「ボクセル」等）を識別する。非限定的な例として、信号は、画像、オーディオ信号、マルチチャネルオーディオ信号、ビデオ信号、マルチビュービデオ信号（例えば三次元ビデオ）、プレノプティック信号、マルチスペクトル信号、容積測定信号（例えば、医療画像処理、科学画像処理、ホログラフィー画像処理等）、容積測定ビデオ信号、または更に５以上の次元を有する信号であり得る。
【００１６】
本明細書において例示する実施形態は、具体的には、従来技術が存在しないために経時で発展する信号に特に焦点を当てる。例えば、やはり非常に高いサンプリングレート（例えば、やはり１秒毎に１，０００フレームを超え、エンコードおよびデコードのためにコンピューティングおよびソトレージのリソースの過度な量を現在必要とする）は、説明する実施形態により容易に処理される。
【００１７】
簡潔にするために、本明細書において例示する非限定的な実施形態は、多くの場合、例えば、ビデオ信号等、設定の二次元平面のシーケンス（例えば、好適な色空間における二次元画像）として表示される信号に言及する。しかし、同一の概念および方法は、その他のタイプの時間ベースの信号、および時間ベースでない多次元信号（例えば二次元映像、容積測定／ホログラフィー画像、プレノプティックイメージ等）にも適用可能である。時間ベースでない信号の非限定的な例としては、ＣＡＴスキャンまたはＭＲＩの連続した二次元スライス（すなわち、時間ベースでない三次元信号）は、次元（すなわち、スライスされる軸）に沿った連続した二次元サンプルとして好適に表され、（本明細書において例示する創造的方法により、一定のサンプリングレート、または更に可変サンプリングレートのいずれかを想定することにより）スライスされた軸が時間次元である場合と同様に、本明細書に例示する方法によりエンコード／デコードされ得る。
【００１８】
本明細書において図示する段的階層の非限定的な実施形態は、異なる解像度を有する段を特徴とし、より高い段からより低い段へのダウンサンプリングのスケール係数は、各段および各次元（空間的および時間的）について変化し得る。
【００１９】
時間的な段的階層においてエンコードされるサンプルは、異なる持続時間を有し得る。例えば、より高い段の異なる２つのサンプルの時間的ダウンサンプリング（空間的ダウンサンプリングおよび時間的ダウンサンプリングの組み合わせの場合には、「ブレンド」または「ダウンブレンド」）から生じる所与の段のサンプルは、より高い段のサンプルのそれぞれにより表された信号部分の持続時間の和である、持続時間（「タイムスパン」）を有する信号部分を表す。時間的な段的階層に関する文献は、見つからなかった。本文献において、用語「信号スパン」または「スパン」は、用語「サンプル」と互換的に使用される（より適切には、所与の各サンプルが対応するタイムスパンを有し、そのタイムスパンに等しい持続時間中、「サンプルおよびホールド」に対応することを示すと言い得るが）。所与の品質レベルにおける信号の「スパン」は、「所与の時間の瞬間から開始して再生／表示される、所与のサンプリング位置および所与の持続時間を有する信号の部分」を表す。より高い品質レベルの複数のスパンの組み合わせ（ブレンドまたはダウンブレンド）から生じするより低い品質レベルのスパンは、当該複数のスパンのサンプリング位置の直線的または非直線的な組み合わせであるサンプリング位置を有する。非限定的な好ましい一実施形態において、そのようなサンプリング位置は、所与のスパンにブレンドされたスパンのサンプリング位置の平均の切り下げ、すなわち、所与のスパンにダウンサンプリングされたより高いレベルのスパンのサンプリング位置の数学的平均と等しいか、それよりわずかに低い最も高い品質レベルの整数のサンプリング位置である。また、生じた当該スパンは、当該複数のスパンの期間の和である、持続時間を有する。本質的に、用語「スパン」は、特に、時間的ダウンサンプリングに伴って階層を下っていく場合に、各スパンが「サンプルおよびホールド」としてより良好にモデル化される情報を表すという事実を反映し、非常に具体的な時間位置における単純な「サンプル」ではなく、所与の時間間隔、すなわち信号の「スパン」に沿った信号の値を表す。また、同一の段の異なるスパンは、異なる持続時間を有し、実質的に、可変サンプリングレートを表し得る。
【００２０】
本明細書において例示する創造的方法の非限定的な実施形態は、多くの場合、いくつかの形式の動き推定および動き補償技術を活用する。従来の方法において、動き補償は、空間相関に基づいて画像の一部を予測する代替形態として使用される。すなわち、これらのエンコード技術は、再構成されたスパン（例えば画像）の各部分について、空間相関（すなわち、同一のサンプル、例えばＭＰＥＧ法におけるイントラ予測の隣接部分）を活用することにより予測すること、または時間の相関（すなわち、１または複数の基準サンプル、例えばＭＰＥＧ法におけるＰ予測またはＢ予測の部分）を活用することにより予測することを選択する。
【００２１】
本明細書において説明する創造的実施形態については、空間および時間は、隔離状態にあると考える完全に独立した次元ではなく、空間および時間は、空間・時間と呼ばれるより広い多次元空間の別個の次元である。Ｎ次元サンプルのシーケンスを１つの（Ｎ＋１）次元信号として表し、当該（Ｎ＋１）次元信号を段的階層法を用いてエンコードすることにより、本明細書において説明する実施形態は、（好適な空間・時間エンコード・デコードオペレーションにより）その空間・時間における信号を効果的にエンコード・デコードし、同時に空間および時間の相関（すなわち、２つのうちから選択する必要なく）を効果的に活用し、複数のサンプル間（すなわち、単に１つのサンプルから別のサンプルへとではなく）での相関も効果的に活用することができる。なお、同一の品質レベルにおける隣接サンプルに基づくのではなく、より低い品質レベル（および／またはより高いアグリゲーションレベル）のサンプルに基づいてサンプルを予測することにより、（Ｎ＋１）次元信号の選択部分で行われるロッシー決定は、信号の他の部分（すなわち、シーケンスにおける他のサンプル／スパン）に必ずしも伝播しない。要するに、本明細書において説明する実施形態は、全体として信号を操作し、信号全体で相関を活用し、同一のレベルにおける時間次元を他の次元とみなす。多くの場合、本明細書において説明する方法のこの非常に創造的な特性を「対称」と呼ぶ。
【００２２】
本発明は、複数のセットの値において全てのセットに共通な１セットの値（同等なものとしては、「支持情報」、「支持バッファ」、または「支持平面」と呼ばれる）、および当該複数のセットの値における各セットに固有の付加的再構成データに基づいて、当該複数のセットの値をエンコードし、送信し、および／またはデコードする方法に関する。
【００２３】
本明細書において説明するいくつかの非限定的な実施形態において、当該複数のセットの所与の各セットの値に対して、当該付加的再構成データは、当該所与のセットの値を生成するべく、支持平面に基づく値と組み合わせるための１セットの調整（「相対的残存量」）を含む。
【００２４】
本明細書において説明する他の非限定的な実施形態において、当該複数のセットにおける所与の各セットの値に対して、当該付加的再構成データは、第１のセットの値（「基準残留量」）を生成するべく支持平面上で実行するオペレーションと、当該所与のセットの値を生成するべく基準残留量と組み合わせる１セットの調整（「相対的残存量」）とを示す、１セットのパラメータ（「補償データ」）を含む。
【００２５】
本明細書において説明する非限定的な実施形態によれば、信号プロセッサは、複数のセットの値（「絶対的残存量」）を処理するように構成され、当該複数のセットの絶対的残存量のそれぞれは、任意の品質レベルにおける１セットの信号要素間の差異に対応し、当該１セットの信号要素のそれぞれは、スパンおよび対応する予測スパンと呼ばれ、本方法はコーダ内に実装され、
当該絶対的残存量に対応する情報、および／または当該スパンに対応する情報についての計算を行うことにより、支持平面（すなわち、１セットの支持要素）を生成する段階と、
当該支持平面に対応する支持平面再構成データを生成する段階と、
所与のセットの絶対的残存量と、当該支持平面に少なくとも部分的に基づく１セットの値（「基準残留量」）との間の差異に対応する、所与の各セットの絶対的残存量に対して、１セットの値（「相対的残存量」）を生成する段階と、
当該１セットの相対的残存量に対応する相対的残存量の再構成データを生成する段階と、
デコーダに当該支持平面再構成データおよび当該相対的残存量の再構成データを送信する段階とを備える。
【００２６】
本明細書において説明するいくつかの非限定的な実施形態において、本方法は、当該所与のセットの絶対的残存量に対応する基準残留量のセットを生成するべく、所与の各セットの絶対的残存量に対して、支持平面上で実行するオペレーションに対応する追加情報（「補償データ」）を生成する段階を備える。
【００２７】
本明細書において図示する他の非限定的な実施形態は、１セットの絶対的残存量を送信するように構成されたエンコーダを備え、
当該１セットの絶対的残存量は、所与の品質レベルにおける１セットの信号要素間の差異に対応し、当該１セットの信号要素は、所与のスパン、および対応する予測スパンと呼ばれ、エンコーダは、
当該絶対的残存量、および当該所与のスパンを含むスパンのシーケンスに属する１または複数のスパンに対応する情報についての計算を行うように構成された支持平面のジェネレータと、
当該支持平面に対応する支持平面再構成データのジェネレータと、
１セットの値のジェネレータ（「相対的残存量」）と、
当該セットの相対的残存量に対応する相対的残存量の再構成データのジェネレータと、
デコーダに当該支持平面再構成データおよび当該相対的残存量の再構成データを送信するように構成された送信機とを備え、
当該相対的残存量は、当該支持平面に少なくとも部分的に基づいて、１セットの絶対的残存量と１セットの値（「基準残留量」）との間の差異に対応する。
【００２８】
本明細書において説明する他の非限定的な実施形態は、１セットの値（「再構成された絶対的残存量」）を生成するように構成される信号プロセッサを備え、当該１セットの再構成された絶対的残存量は、所与の品質レベルにおける１セットの信号要素間の差異に対応し、当該１セットの信号要素は、スパンおよび対応する予測スパンと呼ばれ、本方法はデコーダ内に実装され、
支持平面再構成データおよび相対的残存量の再構成データを受信する段階と、
当該支持平面再構成データをデコードすることにより、支持平面の再構成された描出を生成する段階と、
相対的残存量の再構成データを処理し、１セットの値（「再構成された相対的残存量」）を生成する段階と、
支持平面の当該再構成された描出、および当該１セットの再構成された相対的残存量に少なくとも部分的に基づく１セットの再構成された絶対的残存量を生成する段階とを備え、
当該再構成された相対的残存量は、支持平面の当該再構成された描出に少なくとも部分的に基づく１セットの値に基づいて行われる調整に対応する。
【００２９】
本明細書において説明するいくつかの非限定的な実施形態において、１セットの再構成された絶対的残存量を生成する段階は、
その所与のセットの再構成された絶対的残存量を生成するべく、支持平面の再構成された描出において実行するオペレーションに対応するデータ（「補償データ」）を受信する段階と、
再構成された描出の支持平面および当該補償データに少なくとも部分的に基づいて１セットの値（「補償された支持平面」または「再構成された基準残留量」）を生成する段階と、
当該補償された支持平面を当該１セットの再構成された相対的残存量と組み合わせることにより１セットの再構成された絶対的残存量を生成する段階とを有する。
【００３０】
また、本明細書において説明するいくつかの非限定的な実施形態において、サンプルシーケンス内の隣接するサンプルのサブシーケンスに対応する複数の支持平面は、共通の支持情報（「高次支持平面」）に従ってデコードされ、本方法は、
高次支持平面再構成データを受信する段階と、
当該複数の支持平面における所与の支持平面に対して、支持平面の相対的残存量の再構成データを受信する段階と、
次支持平面再構成データをデコードすることにより高次支持平面の再構成された描出を生成する段階と、
支持平面の相対的残存量の再構成データを処理し、１セットの値（「再構成された支持平面の相対的残存量」）を生成する段階と、
高次支持平面の当該再構成された描出、および当該１セットの再構成された支持平面の相対的残存量に少なくとも部分的に基づいて、複数の支持平面における所与の支持平面を生成する段階とを備え、
当該再構成された支持平面の相対的残存量は、高次支持平面の当該再構成された描出に少なくとも部分的に基づいて１セットの値を実行する調整に対応する。
【００３１】
これらおよび他の実施形態の変形例を以下に更に詳細に論じる。
【００３２】
本明細書における実施形態は、ソフトウェアまたはハードウェアに実装してもよく、またはソフトウェアおよびハードウェアの組み合わせを用いて実装してもよく、本明細書において開示する本方法のオペレーションのいずれかまたは全てを実行および／またはサポートするべく、１または複数のコンピュータ化されたデバイス、ルータ、ネットワーク、ワークステーション、携帯式またはラップトップコンピュータ、タブレット、携帯電話、ゲームコンソール、セットトップボックス等の構成を含み得ることに留意されたい。換言すれば、１または複数のコンピュータ化されたデバイスまたはプロセッサは、異なる実施形態を実行するべく本明細書において説明するように動作するよう、プログラミングおよび／または構成され得る。
【００３３】
上述の技術に加えて、本明細書におけるなおも他の実施形態は、上記に要約し、以下に詳細に開示する段階およびオペレーションを行うためのソフトウェアプログラムを含む。そのような一実施形態は、プロセッサおよび対応するメモリを有するコンピュータ化されたデバイスにおいて実行されると、プロセッサに本明細書において開示するオペレーションのいずれかをプログラミングおよび／または実行させる、エンコードされたコンピュータプログラム論理、命令等を含むコンピュータ可読なハードウェアストレージリソース（すなわち、コンピュータ可読媒体）を備える。そのような構成は、１または複数のＲＯＭもしくはＲＡＭ、またはＰＲＯＭチップにおけるファームウェアまたはマイクロコード等のコンピュータ可読命令を格納することができる光媒体（例えば、ＣＤ―ＲＯＭ、ＤＶＤ―ＲＯＭ、またはブルーレイ）、フラッシュメモリカード、フロッピー（登録商標）もしくはハードディスク、またはその他の媒体等、コンピュータ可読媒体上に配列またはエンコードされたソフトウェア、コード、および／または他のデータ（例えばデータ構造体）として、または特定用途向け集積回路（ＡＳＩＣ）として提供することができる。ソフトウェアもしくはファームウェア、または他のそのような構成は、コンピュータ化されたデバイスに本明細書において説明する技術を実行させるべく、コンピュータ化されたデバイス上に取り付けることができる。
【００３４】
従って、本開示の具体的な一実施形態は、信号処理オペレーションをサポートするために格納された命令を有するコンピュータ可読ハードウェアストレージ媒体を含む、コンピュータプログラム製品を対象とする。
【００３５】
段階の順序は、明瞭さのために付加されている。これらの段階は、任意の好適な順序で実行され得る。
【００３６】
本開示の他の実施形態は、上記に要約し、以下に詳細に開示する方法の実施形態段階およびオペレーションのいずれかを実行するソフトウェアプログラム、ファームウェア、および／または各ハードウェアを備える。
【００３７】
また、本明細書において論じるシステム、方法、装置、コンピュータ可読記憶媒体上の命令等は、ソフトウェアプログラム、ソフトウェア、ファームウェア、および／もしくはハードウェアのハイブリッド、またはプロセッサもしくはオペレーティングシステム内、またはソフトウェアアプリケーション内等のハードウェア単体として厳密に実施され得ることを理解されたい。
【００３８】
上述のように、本明細書における技術は、信号を処理し、エンコード済みデータのビットストリームを生成し、またはエンコード済みデータのビットストリームを処理し、信号の描出を生成する、ソフトウェア、ファームウェア、および／またはハードウェア用途において使用するのに非常に好適である。しかし、本明細書における実施形態は、そのような用途において使用することに限定されず、本明細書において論じる技術は、他の用途にも同様に非常に好適であることを理解されたい。
【００３９】
なお、本明細書における異なる特徴、技術、構成等のそれぞれは、本開示の異なる箇所において論じられ得るが、概念のそれぞれは、互いに独立して、または互いに組み合わせて実行し得ることを意図することに留意されたい。従って、本明細書において説明する１または複数の本発明、実施形態等は、多くの異なる方法において実施され、および見出され得る。
【００４０】
また、本明細書における実施形態の予備的論述は、本開示または特許請求される発明の全ての実施形態および／または更に新規な態様を指定するものではないことに留意されたい。これに代えて、この簡単な説明は、一般的な実施形態および従来技術に対する新規性に対応する観点のみを提示する。本発明の更なる詳細および／または可能な全体像（順列）については、読者は、以下に更に論じる本開示の発明の詳細な説明のセクションおよび対応する図面に進まれたい。
【図面の簡単な説明】
【００４１】
本発明の上述および他の目的、特徴、および利点は、同一の参照番号が異なる図を通して同一部分を指す添付の図面に例示する、本明細書における好ましい実施形態の以下のより具体的な説明から明らかとなるであろう。図面は、必ずしも縮尺に従わず、むしろ実施形態、原理、概念等の図示が強調される。
【図１Ａ】マルチスケールエンコードおよびデコードシステムを図示する例示的な図である。
【図１Ｂ】時間次元に沿ったアグリゲーションの一例を図示する例示的な図である。
【図１Ｃ】は、空間的ダウンサンプリングおよび空間・時間ダウンブレンドの例を図示する例示的な図である。
【図１Ｄ】時間に沿ったアグリゲーションおよび空間・時間ダウンブレンドの例を図示する例示的な図である。
【図１Ｅ】時間的な段的階層においてエンコードされた信号の構造を図示する例示的な図である。
【図１Ｆ】エンコーダの構造を図示する例示的な図である。
【図１Ｇ】デコーダの構造を図示する例示的な図である。
【図１Ｈ】エンコーダの構造を更に詳細に図示する例示的な図である。
【図２Ａ】２つの画像を処理するべく使用されるオペレーションの様々な段階を図示する。
【図２Ｂ】２つの画像を処理するべく使用されるオペレーションの様々な段階を図示する。
【図２Ｃ】２つの画像を処理するべく使用されるオペレーションの様々な段階を図示する。
【図２Ｄ】２つの画像を処理するべく使用されるオペレーションの様々な段階を図示する。
【図３Ａ】支持要素情報に基づくエンコードを図示する例示的な図である。
【図３Ｂ】支持要素情報に基づくエンコードを図示する例示的な図である。
【図４Ａ】画像のシーケンス処理の例示的な図である。
【図４Ｂ】画像のシーケンス処理の例示的な図である。
【図４Ｃ】画像のシーケンス処理の例示的な図である。
【図５】エンコーダおよびデコーダの構造を図示する例示的な図である。
【図６】支持要素情報に基づくデコードを図示する例示的な図である。
【図７Ａ】支持情報に基づく残存量データのエンコードおよびデコードを図示する例示的な図である。
【図７Ｂ】支持情報に基づく残存量データのエンコードおよびデコードを図示する例示的な図である。
【図８】本明細書において説明する実施形態によるデータ処理を提供するコンピュータシステムのブロック図を示す。
【発明を実施するための形態】
【００４２】
本明細書において例示する方法は、音響信号、マルチチャネル音響信号、映像、二次元画像、ビデオ信号、マルチビュービデオ信号、三次元ビデオ信号、容積測定信号、容積測定ビデオ信号、医療用画像処理信号、５つ以上の次元を有する信号等を含むがこれらに限定されない任意のタイプの多次元信号に好適である。簡潔にするために、説明に沿って、例示する実施形態は、通常、ビデオシーケンス、すなわち、二次元画像のシーケンスからなる時間ベースの信号（一般に「フレーム」、またはインタレースビデオ信号の場合に「フィールド」と呼ばれる）を使用する場合を採用し、各要素（そのような非限定的な例示の場合において、典型的には「ピクセル」と呼ばれる）は、好適な色空間（例えば、ＹＵＶ、ＲＧＢ、ＨＳＶ等）における１セットの色設定を特徴とする。異なる色平面（例えば輝度―Ｙ平面、ならびにクロミナンス―Ｕおよびクロミナンス―Ｖの２つの平面）は、多くの場合、別個にエンコードされ、多くの場合、異なる解像度を有する（クロミナンス情報に対する人間の目のより低い感度のために）。
【００４３】
他の場合に、本文献において先に規定したＮ次元サンプルのシーケンスまたは「スパン」として信号を表し、信号の完全な表現が（Ｎ＋１）次元信号であるという事実を参照する（例えば、次元のうちの１つが時間である場合、これは、１つの時間・空間の描出を有する空間描出のシーケンスを表すことに対応する）。これらは、本明細書において説明する創造的方法を用いてフィルタリングおよび／または圧縮され得る、可能な種類の信号の非限定的な例と考えられるものである。ビデオ以外の信号については、当業者は、ビデオ信号を使用する場合について説明するアプローチを好適に適合させることにより、本明細書において説明する方法を容易に適用することができる。また、非限定的な例示において、スパンは、２以外の異なる数の次元を有する要素の超平面であり得（例えば、一次元スパン、三次元スパン等）、および／または、時間次元について本明細書において記載されるものに対応する時間アプローチとは異なる次元に適用することが可能である。
【００４４】
信号の時間における全てのスパンは、超平面を用いて表される（またはより単純に「平面」、その最広義において「１または複数の次元を有するアレーとして編成された要素のセット」として意図される）。例えば、マルチチャネル音響信号、二次元のＨＤビデオフレーム、または三次元の容積測定医療画像は、全て平面要素（具体的には、マルチチャネル音響信号要素の１Ｄ平面、ＨＤビデオフレーム要素の二次元平面、および容積測定医療画像要素の三次元の超平面）のアレーを用いて表され得る。
【００４５】
時間に沿って、スパンは、所与の（ローカルの）サンプリングレートで生じる。従来の方法においては、サンプリングレートは、常に一定である。これと反対に、本明細書において例示する創造的方法は、可変サンプリングレートを可能にする。特に、最上のレベルよりも低い品質レベルについては、所与の品質レベルのスパン持続時間（すなわち、所与の品質レベルに対するサンプリングレート）は、可変であり、可変サンプリングレートを効果的表し得る。また、異なる持続時間を有するスパンを用いて好適な信号再生を可能にするべく、スパンのそれぞれは、スパンを表示することを開始した時間を表す「映像番号」または「映像識別子」を特徴とする。
【００４６】
本明細書に例示する方法および実施形態は、互いに併せて、および／または別の方法と共に使用することができる。本明細書において例示する好ましい実施形態の多くは、圧縮を実現する、すなわち、最小限のビットを用いる信号の好適な描出をエンコードおよび／またはデコードする目的を有する技術およびアルゴリズムを説明する。また、これは、非限定的な例である。他の実施形態は、マルチスケールエンコードおよびデコード、適応ストリーミング、強力で効率的なフィルタリング、信号のノイズ除去（例えば、画像のノイズ除去、ビデオのノイズ除去等）、信号強調（例えば、信号のスーパーサンプリング、デインターレーシング等）、信号品質基準の生成、コンテンツ識別、マシンビジョン、信号暗号化（例えば、セキュアな通信）等の異なる目的を達成し得る。
【００４７】
図１Ａは、本明細書における実施形態によるマルチスケールエンコードおよびデコードシステムを説明する非限定的な例示の図である。
【００４８】
一実施形態において、エンコーダ１１０は、元の信号１００（信号１００―１、１００―２のシーケンス等）を受信し、信号１００をマルチスケールのデータストリーム１１５にエンコードする。デコーダ１２０―２は、エンコード済みデータのデータストリーム１１５を受信し、第１の品質レベル等、より低いＬＯＱ１００１で再構成された信号を生成する。
【００４９】
デコーダ１２０―１は、データストリーム１１５を受信し、第２の品質レベル等、より高いＬＯＱ１０００で再構成された信号を生成する。この例示的な実施形態において、第２の品質レベルは、第１の品質レベルより高い。一実施形態において、第２の（またはより高い）品質レベルは、第１の（より低い）品質レベルでの解像度より高い解像度の画像（例えば、ディスプレイ画面の１単位面積当たりのより多くの要素）である。従って、シーケンスにおける信号１０００―１は、信号１０００―１のより高い解像度描出であり、シーケンスにおける信号１０００―２は、信号１０００―２等より高い解像度描出である。
【００５０】
非限定的な実施形態において、デコーダ１２０―１も、より低いＬＯＱ１００１で再構成された信号、より高いＬＯＱ１０００で再構成された信号に基づいて再構成するべく、より低いＬＯＱ１００１で再構成された信号を生成する。
【００５１】
いくつかの非限定的な実施形態において、言及したように、第２の品質レベルは、第１の品質レベルより高い解像度（空間的および／または時間的）を有する。そのような実施形態のいくつかにおいて、第２の品質レベルは、特定のスケール係数（整数でないスケール係数および／または１に等しいスケール係数を含む）を用いて、信号の次元のそれぞれをアップサンプリングすることによりス得される解像度を有する。換言すれば、信号１０００―１は、信号１００１―１に少なくとも部分的に基づいてアップサンプリングされ、信号１０００―２は、信号１００１―２等に少なくとも部分的に基づいてアップサンプリングされ得る。同様に、信号１００１における各信号は、より高い解像度の信号にアップサンプリングされ得る。
【００５２】
別の非限定的な実施形態において、デコーダ１２０―２は、データストリーム１１５をデコードするべく、レガシーデコード技術（例えば、ＭＰＥＧ２、ｈ．２６４等）を活用する。
【００５３】
非限定的な例示の実施形態において、テレビデコーダ（限定されないが、例えばセットトップボックス）のデコード信号プロセッサは、図１Ａにおいて例示する方法を実装するようにプログラミングされ、データストリーム１１５は、受信ブロードキャスト信号に対応する。このようにして、レガシーデコーダは、デコーダ１２０と同一のデータストリーム１１５を受信するが、より高い品質レベルで信号の描出を再構成するように利用可能なデータストリームにおける追加のデータを無視する。
【００５４】
他の非限定的な実施形態において、ストリーミングサーバは、エンコード済みデータのストリーム１１５を処理し、デコーダの特性および／または帯域幅輻輳に応答して、（最大に可能な品質レベルではなく）所与の品質レベルまでの信号をデコードするのに必要なエンコード済みデータのみを含む、データストリームのバージョンを生成する。
【００５５】
図１Ｂは、本明細書における実施形態による、時間次元に沿ったアグリゲーションの非限定的な例を図示する図である。
【００５６】
非限定的な例によれば、３つの平面１３０―１、１３０―２、１３０―３は、それぞれ２ｘ２の平面として編成された４つの要素を含み、元の平面と同一の解像度を用いて支持平面１３１に統合される。各平面は、任意の数の要素を含み得る。
【００５７】
一実施形態において、支持平面１３１の要素は、平面１３０―１、１３０―２および１３０―３の対応する要素に基づいて算出される。同一の支持平面に統合された平面の数は、非限定的なものと考えられるべきである。原則として、任意の数の平面が１つの支持平面に統合されるからである。この非限定的な例示の実施形態において、支持平面１３１は、平面１３０―１、１３０―２および１３０―３より「高いアグリゲーションレベル」（ＬＯＡ）にあると言われる。
【００５８】
いくつかの非限定的な実施形態において、支持平面１３１は、平面１３０―１、１３０―２および１３０―３のそれぞれに対する特定の再構成データ、すなわち平面１３０―１、１３０―２および１３０―３の描出に基づいて再構成するべく処理される。
【００５９】
他の非限定的な実施形態において、平面１３０―１、１３０―２および１３０―３は残存量平面であり、信号の再構成された描出を生成するべく、対応するサンプルの予備的描出に対して行うべき調整を指定する。換言すれば、平面１３０―１、平面１３０―２、平面１３０―３等の平面は、いわゆる残存量データを表し得る。残存量データは、再構成される信号が信号の元の描出により密接に一致するように、再構成された信号における複数の要素のそれぞれをどのように調整するかを指定する調整データであり得る。
【００６０】
図１Ｂの非限定的な実施形態において、情報の各平面は、異なるサンプリング位置（すなわちサンプリング時間）に対応する。例えば、要素の平面１３０―１は、シーケンスにおける時間Ｔ１で取り込まれた元の信号の描出を再現することに関連する調整情報を表すことができ、要素の平面１３０―２は、シーケンスにおける時間Ｔ２で取り込まれた元の信号の描出を再現することに関連する調整情報を表すことができ、要素の平面１３０―３は、シーケンスにおける時間Ｔ３で取り込まれた元の信号の描出を再現することに関連する調整情報を表すことができる、等である。
【００６１】
他の非限定的な実施形態において、平面１３０―１、１３０―２および１３０―３は、より低いアグリゲーションレベルにおける他の平面の支持平面である。一例として、より低いアグリゲーションレベルにある複数の平面は、統合され、平面１３０―１を生成することができる。より低いアグリゲーションレベルにおける複数の平面は、統合され、平面１３０―２を生成することができる。より低いアグリゲーションレベルにおける複数の平面は、統合され、平面１３０―３等を生成することができる。従って、複数の平面（画像）に関連する調整情報は、階層的に１つの支持平面に組み合わされ得る。
【００６２】
示すように、要素の１つの支持平面１３１は、要素の複数の時間的平面のそれぞれの属性を取り込む。例えば、動き補償を伴わないこの単純な例において、平面１３１のより低い左要素は、Ｄの値に設定される。これが、平面１３０―１、１３０―２、１３０―３等の対応する要素（例えば、底面の左の要素）の優勢な設定だからである。
【００６３】
平面１３１における上部右要素は、Ｃの値に設定される。これが、平面１３０―１、１３０―２、１３０―３等における対応する要素（例えば最上部右要素）の優勢な設定だからである。従って、支持平面１３１は、複数の個別画像平面のブレンドを含む。
【００６４】
他の非限定的な実施形態において、異なる平面の対応する要素は、長い時間のオブジェクトの動きを考慮するべく、それぞれの平面（動きに関する適切な記述的情報により指定される）の異なる位置に存在してもよい。
【００６５】
本明細書の実施形態は、（残存量データ等の）再構成データを生成する段階を備え、支持平面１３１を個々の平面１３０―１、平面１３０―２、平面１３０―３等に再び変換することができる。例えば、エンコーダは、支持平面１３１における要素の設定を、元の平面１３０―１における要素の設定と比較する。この例において、平面１３０―１に対する再構成データは、支持平面１３１における上部右要素に対する調整により、支持平面１３１を平面１３０―１に変換することができることを示す。すなわち、平面１３０―１における設定は、上部左要素が異なることを除き、支持平面１３１にける要素の設定と概ね同じである。平面１３０―１に関連する再構成データは、設定値Ｃに適用される差異情報を含み、設定値Ｃを平面１３０―１における上部右表示要素の値Ｂに変更することができる。更に、この例示的な実施形態において、エンコーダは、支持平面１３１における要素の設定を、元の平面１３０―２における要素の設定と比較する。この例において、平面１３０―２の再構成データは、いずれの調整もすることなく支持平面１３１における設定を平面１３０―２の要素に変換し得ることを示す。
【００６６】
更に、この例において、エンコーダは、支持平面１３１における要素の設定を、元の平面１３０―３における要素の設定と比較する。この例において、平面１３０―３の再構成データは、支持平面１３１におけるより低い左要素に対する調整により支持平面１３１を平面１３０―３に変換し得ることを示す。すなわち、平面１３０―３における設定は、上部左要素が異なること除き、支持平面１３１における要素の設定と概ね同じである。平面１３０―３と関連する再構成データは、支持平面１３１における設定値Ｄに適用される差異情報を含み、平面１３０―３の設定を再構成するときに、設定値Ｄをより低い左表示要素に対する値Ｅに変更することができる。
【００６７】
図１Ｃは、本明細書における実施形態による空間的ダウンサンプリングおよび空間・時間ダウンブレンドの非限定的な例を図示する例示的な図である。この図は、第１の（より高い）品質レベルにおける平面のシーケンス、および対応する第２の品質レベルにおける平面のシーケンスを図示し、第２の品質レベルは、第１の品質レベルよりも低い。
【００６８】
具体的には、第２の品質レベルにおけるシーケンスは、以下のように得られた。
【００６９】
平面１３５―１は、１６の要素からなる二次元平面であり、両方の空間次元に沿ったスケール係数２でダウンサンプリングされ、ダウンサンプリングした平面１３６―１を生成する。平面１３５―２、１３５―３および１３５―４は、各々１６の要素からなる３つの二次元平面であり、空間次元に沿ったスケール係数２および時間次元に沿ったスケール係数３でダウンサンプリングされ、ダウンブレンド平面１３６―２を生成する。この例において、平面１３５―１は、時間Ｔ１におけるサンプル画像の表現であり、平面１３５―２は、時間Ｔ２におけるサンプル画像の表現であり、平面１３５―３は、時間Ｔ３におけるサンプル画像の表現であり、平面１３５―４は、時間Ｔ４におけるサンプル画像の表現である、などと想定されたい。
【００７０】
空間・時間ダウンサンプリング（すなわち、時間次元にも沿ったダウンサンプリング）のオペレーションは、本願において「ダウンブレンド」（「ダウンサンプリング＋時間ブレンド」の簡略表現）とも呼ばれる。一実施形態において、ダウンサンプリングは、信号の描出の解像度を品質階層レベル以下に減少させることを指し、ブレンドは、時間をかけてサンプリングしたサンプル信号の属性を組み合わせることを指す。同一のダウンブレンド平面にダウンブレンドした平面の数は、非限定的なものとみなされるべきである。原則として、いずれの数の平面もダウンブレンド平面にダウンブレンドすることができるからである。
【００７１】
本明細書の実施形態は、（残存量データ等の）再構成データを生成する段階を備え、支持平面１３６を個々の平面１３５―２、平面１３５―３、および平面１３５―４に再び変換することができる。例えば、エンコーダは、平面１３５―２、１３５―３および１３５―４と同一の品質レベルで信号の予備的描出に平面１３６―２をアップサンプリングした後に行う必要のある修正を決定するように構成され得る。次に、エンコーダは、平面１３６―２のアップサンプリング描出における要素をどのように修正して平面１３５―２にするかを示す第１のセットの再構成データを生成する。次に、エンコーダは、平面１３６―２のアップサンプリング描出における要素を平面１３５―３にどのように修正するかを示す第２のセットの再構成データを生成する。次いで、エンコーダは、平面１３６―２のアップサンプリング描出における要素を平面１３５―４にどのように修正するかを示す第３のセットの再構成データを生成する。従って、デコーダは、平面１３６―２に関連する再構成データおよび第１のセットの再構成データを受信し、平面１３５―２における設定を再現することができる。デコーダは、平面１３６―２に関連する再構成データおよび第２のセットの再構成データを受信し、平面１３５―３における設定を再現することができる。デコーダは、平面１３６―２と関連する再構成データおよび第３のセットの再構成データを受信し、平面１３５―４における設定を再現することができる。
【００７２】
図１Ｄは、本明細書における実施形態による動き補償と共に行うアグリゲーションおよび空間・時間ダウンブレンドの非限定的な例を図示する例示的な図である。
【００７３】
平面２１  １３５―５および平面２２  １３５―６は、支持平面１３７に統合され、支持平面１３７は、元の平面より大きい数の要素を有する。支持平面１３７の要素は、平面１３５―５および１３５―６の対応する要素に基づいて算出される。この非限定的な例示の実施形態においては、支持平面１３７が、元の平面のものより高い解像度を伴うサンプリンググリッドを有しないことを認め得る。これは、拡大したサンプリング領域（例えば、元の平面１３５―５、１３５―６などにおけるよりも大きな数の表示要素）である。平面１３７のグリッドは、平面２１、２２、３１、３２に対して拡張され、「シーン」のより大きい部分（すなわち、より大きな「視界」を有する）を取り込む。支持平面１３７に関連する表示要素の領域を拡大することにより、平面２１および２２における表示要素のより大きい部分を支持平面１３７に取り込むことを可能にする。従って、支持平面１３７は、複数の平面からの情報のアグリゲーションを含む。例えば、示すように、支持平面１３７は、平面２１および２２のそれぞれにおいて提示されるオブジェクトの組み合わせを含む。
【００７４】
示すように、支持平面１３７は、第１のオブジェクトの描出（例えば、平面２１および２２の両方に存在する濃い四角形として視覚的に図示した情報）、ならびに第２のオブジェクト（例えば、平面２２のみにおける三角形として視覚的に図示した情報）を含む。図面は、動き補償の効果を示し、情報は、時間に沿って位置を変え、支持平面１３７にブレンドされる前に動きを補償された濃い四角形として視覚的に図示される。具体的には、図面は、平面２１のサンプリング位置に対する動き補償の一例を示す（すなわち、支持平面１３７においては、濃い四角形は、平面２１において存在した箇所に位置する）。換言すれば、動き補償によるため、ブレンドされた平面１３７は、複数の元の平面の単純なオーバーレイのみにより得られるが、これは「ワープした」平面の加重平均であり、ワープした平面のぞれぞれは、支持平面１３７のサンプリング位置に対する所与の元の平面の動きを補償することにより得られる。
【００７５】
この例示的な実施形態において、平面３１  １３５―７および平面３２  １３５―８は、ダウンブレンド平面１３８にダウンブレンドされ、ダウンブレンド平面１３８は、空間的ダウンサンプリングオペレーションから生じるサンプリンググリッドよりも多くの要素を有する。支持平面１３７と同様に、ダウンブレンド平面１３８も、ダウンブレンド平面１３８にダウンブレンドされた平面の全てにおいて部分的に表され、平面のいくつかのみにおいて部分的に表される情報を含む。このようにして、本明細書における実施形態は、複数の異なる平面に存在するオブジェクトの描出の取り込みを適合させるべく、代表的な平面の解像度を低減するダウンサンプリングアルゴリズムを適用する段階と、ダウンサンプリングした平面に関連する対象範囲の領域（例えば、表示要素の数）拡大させる段階とを備える。
【００７６】
従って、ビデオに関連する画像のシーケンス（および取り込んだ移動オブジェクト）は、原画像と同じであるかまたは異なる解像度の１つの画像に取り込むことができる。
【００７７】
一実施形態において、エンコーダプロセッサハードウェアは、平面２１および２２の間に共通画像要素の設定のセットを含む、支持平面１３７を生成する。支持平面１３７は、ｉ）複数の原画像の第１の平面（画像）において検出された第１のオブジェクト（小さい円）の描出、およびｉｉ）複数の原画像の第２の平面（画像）において検出された第２のオブジェクト（三角形）の描出を含むように構成され得る。第２のオブジェクト（三角形）の描出は、第１の平面２１に存在しない可能性がある。第１のオブジェクトの描出（小さい円）は、第２の平面２２に存在しない可能性がある。
【００７８】
図１Ｅは、この例において、二次元ビデオフレームのシーケンスを表すＮ次元のスパンのシーケンスである、（Ｎ＋１）次元信号を図示する図である。最も高い（元の）品質レベル（ＬＯＱ＃０、または同等なものとして段＃０）のスパンは、ロット１およびロット２の２つの「ロット」、または換言すればスパンの２つのサブシーケンスからなる「バッチ」（すなわち、時間チャンク）において編成される。ＬＯＱ＃０において、ロット１は、等しい持続時間の８つのスパン（サンプリング位置１のスパン１００―１、サンプリング位置２のスパン１００―２，...，サンプリング位置８のスパン１００―８）からなり、ロット２は、等しい持続時間の５つのスパン（サンプリング位置９のスパン１００―９、サンプリング位置１０のスパン１００―１０，...，サンプリング位置１３のスパン１００―１３）からなる。
【００７９】
図１Ｅに図示する信号は、図面に示す４つの最上の品質レベルＬＯＱ＃０、ＬＯＱ＃―１、ＬＯＱ＃―２、およびＬＯＱ＃―３を有する段的階層においてエンコードされる。これは、非限定的なものと意図される。信号は、より大きい数の品質レベルを用いてエンコードすることができ、原則として、最も低いレベルは、１つの要素からなる１つのスパンを有するからである。
【００８０】
品質レベルＬＯＱ＃―１は、ロット１に対する４つのスパン（スパン１０１―１、１０１―３、１０１―５、１０１―７）およびロット２（スパン１０１―９および１０１―１２）に対する２つのスパンからなる。この非限定的な実施形態において、ＬＯＱ＃―１のロットは、ＬＯＱ＃０の同一のロットより小さい数のスパンを有し、すなわちＬＯＱ＃―１のスパンは、時間的ダウンサンプリングにより取得された。また、ＬＯＱ＃―１のスパンに対応する要素の超平面（すなわち、ビデオフレームの例において、二次元平面のピクセル）は、好適なスケール係数を用いて、各空間次元について、ＬＯＱ＃０のスパンに対応する要素の超平面に対してダウンサンプリングされ、この非限定的な例において、超平面は、二次元（例えば二次元画像を表す）を有し、各次元は、全ての品質レベルの階層から次のものへと２の係数でダウンサンプリングされ、２で割ることを保証するべく必要な場合にパディングの線または列を導入する。
【００８１】
ＬＯＱ＃０の異なる数のスパンは、ＬＯＱ＃―１の異なるスパンに対応することに留意されたい。例えば、ＬＯＱ＃―１のダウンブレンドしたスパン１０１―１は、ＬＯＱ＃０におけるスパン１００―１および１００―２（すなわち、スパン１０１―１からスパン１００―１および１００―２への時間的アップサンプリングは、２のスケール係数を有する）に対応する（すなわち、異なる品質レベルにおける信号の同一部分を表す）が、ＬＯＱ＃―１でダウンブレンドしたスパン１０１―１２は、ＬＯＱ＃０におけるスパン１００―１１、１００―１２および１００―１３に対応する（すなわち、スパン１０１―１２に対する時間的アップサンプリングは、３のスケール係数を有する）。
【００８２】
スパンは、サンプリング位置（図１Ｅにおいて、目盛より上の各スパンの上部の数により表される）、持続時間（図１Ｅにおいて、スパンの水平長により表される）、および映像番号（図１Ｅにおいて、濃い円形マークより下の各スパンの下部の数により表される）を特徴とする。例えば、ＬＯＱ＃―３のスパン１０３―１１は、サンプリング位置１１（すなわち、位置１１に「中央揃え」される）、５単位の持続時間（すなわち、ＬＯＱ＃０の５つのスパンに対応する）、および９の映像番号（すなわち、スパンを表示しなければならない場合、映像９から開始して、映像１３まで、すなわち５つの映像の持続時間中、スクリーン上でＬＯＱ＃０の映像レートにとどまるであろう）を特徴とする。
【００８３】
この非限定的な実施形態において、ＬＯＱ＃０よりも低いスパンの品質レベルに対するサンプリング位置は、ＬＯＱ＃０のサンプリングレート（この例において、一定のサンプリングレート）に従って計算される。具体的には、ＬＯＱ＃０の複数のスパンに対応するスパンのサンプリング位置は、ＬＯＱ＃０における対応するスパンのサンプリング位置の平均より低いか、またはこれに等しい（すなわち、切り下げた）整数のサンプリング位置として算出される。例えば、ＬＯＱ＃−２のスパン１０２―２（ＬＯＱ＃０のスパン１００―１、１００―２、１００―３および１００―４に対応する）は、２のサンプリング位置を有する。２が、１００―１、１００―２、１００―３、および１００―４のサンプリング位置の平均（２．５であろう）よりも低い、最も近い整数のサンプリング位置であるからである。同様に、ＬＯＱ＃―３のスパン１０３―１１は、１１のサンプリング位置を有する。１１が、スパン１００―９、１００―１０、１００―１１、１００―１２および１００―１３のサンプリング位置の平均（この場合において、まさに整数）であるためである
【００８４】
この非限定的な実施形態において、ＬＯＱ＃０よりも低い品質レベルのスパンに対する映像番号は、ＬＯＱ＃０のサンプリングレートに従って再び計算され、所与のスパンの映像番号は、所与のスパンに対応するＬＯＱ＃０のスパンの最も低いサンプリング位置として計算される。
【００８５】
エンコーダの実施形態の例示的な説明
【００８６】
圧縮指向の環境において、エンコーダとして構成される信号プロセッサ（以下「エンコーダ」）は、本質的に、所与の品質の信号を圧縮するエンコード済み再構成データのセットを生成する信号を処理する。デコーダとして構成される信号プロセッサ（以下「デコーダ」）は、再構成データのセットを受信し、元の信号の描出を再構成する。
【００８７】
好適なセットのエンコード済み再構成データを生成するべく、まず、エンコーダは、バッチに含まれることになる信号の時間部分、およびロットの小区分を識別する。バッチは、時間次元は、多くの場合、無限であるという問題のために必要であるが（少なくとも実際的目的のために）、空間次元は、明確で固定のネイティブな境界（例えば、ビデオフレームの水平および垂直の解像度、音声サンプルを表す値の数、容積測定画像のｘ―ｙ―ｚ解像度等）有する。従って、たとえ理想的には最良の選択肢であっても、時間における持続時間に沿って信号を分析することは実際上実行不可能である。しかし、動画および撮影等、実際上非限定的な例示における信号は、多くの場合、関係ないチャンクのネイティブな連結チェーンであり、例えば、通常、動画コンテンツは、「シーン」、すなわち、非常に明らかなシーンの変化により分離された相関スパンの時間的に限定された量に分割される。これらの「シーンバッチ」は、信号をエンコードする前の時間の分割に対する有効な基準として機能し得る。これらのバッチは非常に長いが、スパンのシーケンスを更にセグメント化するのに必要である。適切な対策をせずに、シーンを「計算の独立部分」に分割すると、明らかなアーティファクトをもたらし、ノイズパターンが突然、変化し、スムーズな移動が不連続性等を示す可能性がある。本明細書において説明する好ましい非限定的な実施形態により使用される新規な方法論は、「ロット」の使用（すなわち、個別に、ロットにより階層ロットをダウンサンプリングする）および「デコードウェーブ」アプローチ（すなわち、ロット全体で階層をアップサンプリングする）を含む。そのような新規な方法により、現在のアーキテクチャを用いて実際的な計算を行うべく、シーンは、分割される。そのような分割は、デコード中に「ブリッジ」され、厳格な分離を回避し、結果として信号の再構成された描出における不連続性を回避する。
【００８８】
バッチが若干のスパンからなる場合、更に分割する必要はない。その代わり、多くのスパンについて持続するバッチを想定し（すなわち、所与の閾値より大きい）、エンコーダは「ロット」のバッチをスライスする。上記に示したように、ロットは、スパンの連続する数である。１〜５ロットで作成された１〜１２８のスパンおよびバッチのロットの長さは、ロットおよびバッチの持続時間の非限定的な例示である。実際的観点から、そのような長さは、所与の実施形態において使用されるハードウェア、メモリ、および処理ユニットに対して調整されている。ロット次元に関する決定は、エンコーダ側で行う全地球域最適化処理の結果である。非限定的基準は、デコーダリソースの任意の要件（具体的には、メモリ要件）があれば、エンコーダにより生成される所与のプロファイルで、高度に時間相関したバッチ内でロットの長さを最大化する。別の非限定的基準は、固定ロットのサイズを可能な限り多く保持し、特に、計算を単純化するように画像の固定数または１つの画像に対してサイズを設定する（例えば、あまり相関しない画像の前後に）。
【００８９】
エンコーダは、信号全体で動き推定を行い、補助マップ、動きベクトル、動きゾーンマップ、動きマトリックス等のパラメータ数を含み、信号スパンにおいて表されるオブジェクトの動きを表す、好適な記述的情報を生成する。動き推定の結果に応じて、エンコーダは、例えば、ビデオ信号の場合のシーンの変化を考慮しつつ、バッチおよびロットに含まれるスパンの数を修正してもよい。時間に沿ったスパンの時間の相関が所与の閾値未満に減少する場合には、ロットの長さはエンコーダにより短くされる。従って、動きの観点から、バッチ中の信号の活動に対応する好適な測定基準に基づいて、ロットの長さは、本質的には反比例ベースで割り当てられる。非限定的な一実施形態において、ロットの長さは、事前設定した実験パラメータ、ならびに好適なヒューリスティックを活用することにより、当該測定基準に基づいて定義される。
【００９０】
従って、バッチ内では、エンコーダは、スパンを１または複数の「ロット」にグループ化する。
【００９１】
ＬＯＱ＃０のどのスパンがどのロットに属するかを識別すると、エンコーダは、スパンの段的階層を算出し、わずかにより高いＬＯＱで対応する複数のスパンをダウンサンプリングすることにより、より低いＬＯＱで各スパンを生成する。より高いＬＯＱにおける複数のスパンのダウンサンプリングから生じるより低いＬＯＱのスパンは、それらのスパンのための「制御」（または「親」）スパンとしても定義される。
【００９２】
数学的には、ＬＯＱ  Ｋ、ロットＬ、およびサンプリング位置ｔのスパンを
【数１】
2015519016.tif 000003
と呼ぶこととする。図１Ｅにおいて図示する非限定的な実施形態において、スパン１０１―１は、スパン１００―１および１００―２の組み合わせをダウンサンプリングすることにより取得される。より具体的には、より高い品質レベルのスパンは、動きを補償された描出の加重平均を実行することにより組み合わされ、動き補償は、より低い品質レベルにおいてもたらされるスパンのサンプリング位置に基づいて（すなわち、相対的に）行われる。数学的には、これは次式で表し得る。
【数２】
2015519016.tif 000004
【００９３】
動き補償機能ＭＣは、（動き推定の好適な方法により生成された）入力として、動きについての記述的情報を取り、原画像（すなわち、所与のサンプリング位置に中央揃えされたスパン）を、動きを補償された画像に変換し、目的のサンプリング位置に中央揃えする機能である。この非限定的な例示的実施形態において、動きを補償された画像は、複数の動きを補償された画像の組み合わせを可能にしつつ、図１Ｄにおいて先に図示したように、情報損失を限定するべく、原画像より大きい（すなわち、平面要素のより多くの行および列を有する）。文献が存在しないため、我々は、追加の（同一の品質レベルにおけるスパンの元の解像度に対する追加の）行および列を「フレーミング」と定義した。フレーミングのいくつかの要素は、それらの要素が、複数の画像を組み合わせて１つの画像にする間に加重平均に影響することを回避するべく、動き補償機能によりデフォルト値（「利用可能でない」値）を割り当てられる。単純な非限定的な例の場合として、所与のサンプリング位置ｔに対する動き補償を、同一のサンプリング位置ｔを有するスパンＸＫ（ｔ）に適用することは、本質的に、フレーミングを加えた機能を識別することに対応し、フレーミング要素の全ては、デフォルトの「利用可能でない」値を割り当てわれる。組み合わされた元のスパンのサイズに対して、フレーミングは、スパンがより長い持続時間を有するという事実のゆえに、より大きくなって階層を下り、従って、フレーミングは、「より高い量」の全体的シーン（特に、動きに起因する）を含むことがある。
【００９４】
この単純な非限定的実施形態において、ダウンサンプリング機能は、双方の次元に沿った２のスケール係数を有する双線型のダウンサンプリングフィルタであり、重みパラメータａおよびｂは、より低い品質レベルのスパンにダウンサンプリングされるより高い品質レベルのスパンの相対的持続時間にのみ依存する。他の非限定的な実施形態は、サンプリング位置からの距離および／またはより洗練されたパラメータに基づいてスパンに重み付けするが、単純平均は、スパンにより搬送される「相対的な量の情報」が本質的に、表す信号の時間部分に比例するという事実に対応する図１Ｅの具体的な例においては、
【数３】
2015519016.tif 000005
である。
【００９５】
動き補償オペレーションがデフォルト値（例えば「利用可能でない」値）を有する１または複数の要素を含む要素の平面を生成すると、デフォルト値を有する要素は、加重平均に含められず、残存値の重み（すなわち、「利用可能でない」ものと異なる）は、加重平均における残存値の重みの和が常に１に等しくなることを保証するように、正規化される。この非限定的な実施形態において、正規化は、和が１に等しくなるように、同一の定数を重みのそれぞれに加算することにより算出される
【００９６】
エンコーダが所与のＬＯＱでＬＯＱを生成すると、エンコーダは、デコーダが段的階層の好適な描出を再構成することを可能にし得るエンコード済みデータを生成することを開始する。具体的には、デコーダ側で、所与のＬＯＱ  Ｎ―１が利用可能になると、より高いＬＯＱ  Ｎにおける各スパンの各要素の実際値の再構成は、１または複数のセットの残存量を受信およびデコードすることを必要とし、１または複数のセットの残存量は、すでに利用可能であったより低い品質レベルに関する情報に基づいて生成された予測描出を修正するべく、デコーダにより処理される。
【００９７】
数学的には、我々は
【数４】
2015519016.tif 000006
を各スパン
【数５】
2015519016.tif 000007
の再構成された描出と呼ぶことにする。所与の（再構成された）Ｙが対応する（元の）Ｘと異なり得る理由は、圧縮指向の環境において、エンコーダが、再構成されたスパンにおいてある程度の量子化アーティファクトおよび／または他の損失性アーティファクトを可能にし、信号における情報エントロピーの測定基準を減少させるように構成され得るというものである。
【００９８】
より低いＬＯＱまたはボトムレベルの１または複数のスパンに対して、そして、それらに対してのみ、エンコーダは、ＸＢの量子化した描出を逆量子化する結果として各スパンＹＢを生成する。これは、次式により数学的に表される。
【数６】
2015519016.tif 000008
（記号"＾"は「〜の再構成された推定」を示す。）
【００９９】
階層における次の（より高い）品質レベルのスパンについては、エンコーダは、好適なアップサンプリングオペレーションを実行し、「予測子」としてより低い品質レベルの１または複数のスパンを活用することにより、各スパンに対して予測Ｕを生成する。エンコーダ側におけるそのようなアップサンプリングオペレーションの目的は、エンコーダが、デコーダ側で行われることになるオペレーションをシミュレートすることである。具体的には、予測オペレーションをシミュレートすることにより、エンコーダは、次に、予測を修正し、信号の好適な描出を再構成するべく、デコーダが必要とする再構成データを生成することができる。
【０１００】
予測および再構成データは、最も低いレベルから開始して、ＬＯＱによるエンコーダＬＯＱにより生成される。階層における位置（例えば、品質レベル、バッチの開始または終了からの距離等）に基づいて、エンコーダは、より低い品質レベルにおける異なる数のスパンを、予測子として処理する。例えば、図１Ｅにおける特定の非限定的な例において、スパン１０２―６についての予測
【数７】
2015519016.tif 000009
は、予測子スパン１０３―４および１０３―１１として処理することにより生成され、スパン１００―８についての予測
【数８】
2015519016.tif 000010
は、予測子スパン１０１―５、１０１―７、１０１―９および１０１―１２として処理することにより生成され、スパン１００―１についての予測
【数９】
2015519016.tif 000011
は、予測子スパン１０１―１および１０１―３として処理することにより生成される。具体的には、この非限定的な実施形態において、バッチの縁部（「フェンス」）に近いスパンを例外として、予測するスパンとして最も近いサンプリング位置（１つは、より低いか等しく、１つは、より大きいか等しい）を有するより低いレベルの２つのスパンとして、ＬＯＱ＃―１の品質レベルまでの予測子が選択され、また、予測するスパンとして最も近いサンプリング位置（２つは、より低いか等しいサンプリング位置を有し、２つは、より大きいか等しいサンプリング位置を有する）を有するより低いレベルの４つのスパンとして、ＬＯＱ＃―１からＬＯＱ＃０が選択される。時には、予測子は、異なる（隣接する）ロットに属し、これは、我々の新規な方法が、バッチを異なるロットに分割したことに結果として生じるアーティファクトを減少させ、更に除去することを可能にする特性であり、本質的に、ダウンサンプリング中に作成された人工的分割を「固定」する。「フェンス」（すなわち、バッチの開始および終了）に近いスパンに対しては、１または複数の予測子が先行する、または次のバッチから生じたという事実に起因して、より少ない予測子が使用されるが、現在のバッチと相関する可能性はない。
【０１０１】
エンコーダは、予測スパンＵを生成するべく、隣接ロットに属するスパンも活用する。これは、実質的に、再構成方法の非限定的な実施形態であるが、やはり文献が存在しないため、本明細書において（段的階層としてエンコードされた長いバッチにおける可能なデコードパターンの視覚的外観に基づき）「デコードウェーブ」として定義される。そのような新規な方法の利点は、問題となる場合、すなわちアップサンプリングオペレーション処理中にアーティファクトの正確な分割に対応することである。実際のところ、ロットにより信号ロットをダウンサンプリングする必要から生じるアーティファクトの分割は、ダウンサンプリングおよび／またはダウンブレンド中ではなく、アップサンプリング中に導入されるであろう。図１Ｅにおけるロット１およびロット２を検討する。例えば、時間領域に焦点を当て、エンコーダは、ロット１のスパン１００―７および１００―８をダウンブレンドし、スパン１０１―７を生成する。また、エンコーダは、ロット２のスパン１００―９および１００―１０をダウンブレンドし、スパン１０１―９を生成する。スパン１００―８とスパン１００―９との間で生じるいずれかの時間に関係する現象（例えば、オブジェクトの速度加速、現れる／消滅する小さいオブジェクト等）は、そのようなダウンサンプリング処理により「不完全に取り込まれている」。ロットを厳格に限定して、ダウンサンプリングオペレーションのような時間的アップサンプリングオペレーション（すなわち、スパン予測オペレーション）も行えば、これは、予測の生成中に明らかとなるであろう。例えば、デコーダ側でスパン１００―８を生成するアップサンプリングオペレーションがスパン１０１―７、そしておそらくはより前のスパン（例えば１０１―５）を考慮する場合、予測オペレーションは、スパン１００―８の後に生じる移動／現象を適切に考慮しない。１つの結果は、あまり正確でない予測であり、ひいては、予測を修正し、１００―８に対する好適な描出（および／またはより明らかなアーティファクト）を生成するのに必要な、残存量データのより高い量の情報エントロピーであろう。しかし、空間・時間アップサンプリングオペレーション中に、エンコーダが、ダウンサンプリングで使用される境界を越えるカーネルスパニングを採用すれば、この問題は解決される。非限定的な例として、１０１―７についての予測を生成するべく行われるアップサンプリングは、予測子１０２―６および１０２―１１として活用される。１００―８についての予測を生成するべく行われるアップサンプリングは、予測子１０１―５、１０１―７、１０１―９および１０１―１２として活用される。本質的に、アップサンプリングは、高い品質レベルで次のスパンをデコードする場合、異なるロットの情報を活用することによっても行われ、アップサンプリングの「ウェーブ」を効果的に生成する（より低いＬＯＱのデコードは、より高いＬＯＱのデコードを「期待する」）。所与のサンプリング位置および所与のＬＯＱでスパンについての予測描出を再構成するべく、デコーダ（またはエンコード処理中に使用されるシミュレーションデコーダ）は、漸進的に低くなるＬＯＱに対して漸進的に大きくなるサンプリング位置でスパンを処理しなければならない。図１Ｅに図示する非限定的な実施形態において、予測子スパンは、大抵は隣接ロットに属し、従って「デコードウェーブ」のより低い部分の最大の「拡張」を制限する。可能な時間的カーネルおよびアップサンプリングシーケンスのいくつかの非限定的な例示的実施形態は、可能であり、エンコード／デコードのレイテンシ、メモリ要件、および圧縮の効率性の間のトレードオフに影響を与える。
【０１０２】
予測Ｕは、現在のロット、先行するロット、および次のロットから選択される１または複数のより低いＬＯＱのスパンを処理することにより生成されるので、数学的には（図１Ｅに図示する非限定的な実施形態ついて）、
【数１０】
2015519016.tif 000012
であると言うことができ、式中、ｆはアップサンプリング関数である。
【０１０３】
具体的には、この非限定的な実施形態は、予測スパンのサンプリング位置に対して各予測子スパンの動きを補償することにより生成された要素の平面において加重平均のアップサンプリングを行うことにより、予測Ｕを生成する。数学的には、スパン１０２―６の非限定的な例の場合、
【数１１】
2015519016.tif 000013
である。
【０１０４】
図１Ｅに図示する非限定的な実施形態において、予測子の加重平均のために使用される重みは、予測スパンのサンプリング位置からの各予測子のサンプリング位置の距離に基づく（２つの予測子の場合、線形フィルタリングの重みに従い、４つの予測子の場合、立方体フィルタリングの重みに従って）１または複数の予測子が不明であり（例えば、フェンスに近いため）、または加重平均における１または複数の要素がデフォルト値（すなわち、動き補償オペレーションの結果として「利用可能でない」要素）を割り当てられる場合には、付加的な正規化の方法（すなわち、残存する各重みに対し同一の定数を合計することにより）に従うこの非限定的な例において、残存値の重みは１に正規化される。本実施形態において、動き補償オペレーションと併せて実行されるアップサンプリングオペレーションは、上方のレベルについては、デブレンディングフィルタリングおよびアンシャープマスキングと組み合わせて、ＬＯＱ＃―２までの線形フィルタリングおよびカスタムフィルタリング（すなわち、好適なエンコード済みパラメータを有するエンコーダによりデコーダに対して指定されたカーネルを有する）を活用する。時間および空間の双方においてより高い品質レベルのより大きいカーネル（すなわち、より多くの予測子および／またはより大きいアップサンプリングカーネル）の使用は、隣接スパン間のより低い品質レベルにおいて、および／または同一のスパンの隣接要素内に見られ得る量に対する、隣接スパン間のより高い品質レベルにおいて、および／または同一のスパンの隣接要素内に見られ得るより高い量の相関に対応するべく、較正される。
【０１０５】
所与の品質レベルについての予測Ｕが利用可能になると、エンコーダは、任意の所与のスパンと対応する予測スパンとの間の差異に対応する「絶対的残存量」Ｒを算出する。これは、以下の方程式により表される。
【数１２】
2015519016.tif 000014
【０１０６】
ボトムのＬＯＱに対しては（かつボトムのＬＯＱに対してのみ）、
【数１３】
2015519016.tif 000015
であり、無損失のエントロピーエンコード段階前に情報エントロピーの測定基準を減少させるべく（データを好適な集団に分割することにより行われる実施形態において、「タイル」と呼ばれ、各タイルにおけるデータの特定のヒストグラムに基づいて較正されるパラメータに従って、演算エンコーダを適用することで）、絶対的残存量は、エンコーダにより変換残存量Ｔｒ（Ｒ）へと好適に変換および量子化される。エンコードするための実際の残存量データの計算（「変換残存量」）は、全残存量における１セットの演算オペレーションに限定されないが、エンコード／デコードアルゴリズムの全体的圧縮／減圧の効率性（例えば、この非限定的な実施形態において、より低いＬＯＱに基づく方向デコンポジション）の改善を図る特定の関数を備える。
【０１０７】
結果として、ｈ（・）が絶対的残存量について実行されるオペレーション全てを（可能な限りにおいて）「反転させる」ことに対応する関数である場合、各ＬＯＱの各スパンについて、
【０１０８】
【数１４】
2015519016.tif 000016
であると言うことができる。
【０１０９】
具体的には、ボトムのＬＯＱについては
【数１５】
2015519016.tif 000017
である。
【０１１０】
この非限定的な実施形態において、階層におけるより高い品質レベルに対しては、同一のＬＯＱについても、デコーダ側で再構成された描出Ｙの異なるレベルの圧縮および精度（「詳細レベル」または「ＬＯＤ」）を可能にするように、複数のセットの絶対的残存量で、絶対的残存量を計算および送信する。
【０１１１】
残存量データを計算し、好適に変換すると、エンコーダは、当該残存量データ、およびデコーダ側で実行されるオペレーションに関する記述的情報に対応するエンコード済み再構成データのセットを生成する。非限定的な一実施形態において、当該記述的情報は、動きに対応する情報（動き補償オペレーション中にデコーダ側で活用される）、段的階層のスパン特性に対応する情報（具体的には、各ロットの各ＬＯＱにおける各スパンに対するＩＤ番号およびパラメータ）、およびアップサンプリングオペレーションに対応する情報（具体的には、より高い段のスパンについての予測スパンを生成するべく処理されるスパンのＩＤ番号、使用される重みに対応するパラメータ、限定しないが、アップサンプリングカーネル等、使用されるアップサンプリングオペレーションに対応するパラメータ）を含む。
【０１１２】
更なる非限定的な例示的実施形態
図１Ｅに図示し、上記で説明したエンコーダの実施形態は、我々の新規な段的階層法の多くの可能な実装例のうちの１つのみであり、非限定的なものとみなされるべきである。
【０１１３】
本質的に、エンコード中に信号は、信号プロセッサにより、元の品質レベル（ＬＯＱ＃０）から開始する、異なる品質レベル（ＬＯＱ＃０、ＬＯＱ＃―１、ＬＯＱ＃―２，...）を有する段に変換される。段の数は任意であり、用途および具体的実施形態に依存し得る。非限定的な実施形態は、例えば、圧縮の効率性が実施形態の目標である場合に、可能なＬＯＱ全てを計算する。原則として、信号の次元（例えば、スパンの数、スパンの次元毎の要素の数）の全てが１つの要素に等しい解像度に到達すると、実現可能な最も低いＬＯＱに到達する。非限定的な一実施形態において、ロットの時間解像度が解像度１に到達すると（すなわち、そのＬＯＱにおいて、かつそのロットの信号に対して、１つのスパンのみが存在する）、ダウンサンプリングは、空間次元のみに沿ったダウンサンプリングにより継続する。空間次元の第１のものが１に等しい解像度に到達すると、ボトムの品質レベル（ＬＯＱ）に到達する。１つの段から別の段に移動するべく、任意のダウンサンプリング率は、信号の各次元に適用し得る。上記に図示する非限定的な実施形態は、（フレーミング行およびフレーミング列を適用した後）任意のスケール係数を用いて時間次元をダウンサンプリングし、２の係数によりスパンの空間次元全てをダウンサンプリングする。しかし、他の用途および実施形態は、各次元および各ＬＯＱに対する異なるスケール係数を含む、ＬＯＱの段の生成に対しても同様に、異なる設定を使用する。非限定的な一実施形態において、そのようなスケール係数が、エンコーダおよびデコーダの双方に知られる。別の非限定的な実施形態において、エンコーダは、特定のスケール係数、および各場合において使用されるアップサンプリングオペレーションに対応する情報を、デコーダに送信する。別の非限定的な実施形態において、当該情報は、継承に基づく方法に従いエンコードされる。すなわち、任意のＬＯＱにおける当該情報のデフォルト値は、好適な継承オペレーションを介してより低いＬＯＱに対して再構成された情報に基づいて、デコーダにより算出される。
【０１１４】
他の非限定的な実施形態は、類似の段的階層法を実装し、より低いＬＯＱのスパンのサンプリング位置は、異なる数学的オペレーションに従って算出される。非限定的な一実施形態において、より低いＬＯＱのスパンのサンプリング位置は、整数でない数を含む。
【０１１５】
他の非限定的な実施形態において、エンコーダは、より低いＬＯＱに対してもサンプリングレートを一定に維持するように、ロットの長さおよび時間的ダウンサンプリングオペレーションを選択する（例えば、非限定的な一実施形態は、所与のＬＯＱのロットにおけるスパンの数が時間的ダウンサンプリングに対するスケール係数の倍数でない場合、パディング情報を追加することにより、「時間パディング」の方法を活用する）。他の非限定的な実施形態においては、これと異なり、サンプリングレートは、信号の最も高いＬＯＱに対しても変数である。他の非限定的な実施形態において、時間的ダウンサンプリングは、ＬＯＱ未満でのみ行われるが、その所与のＬＯＱより高い全てのＬＯＱが同一のサンプリングレートを有する。
【０１１６】
他の非限定的な実施形態において、所与のＬＯＱの複数のスパンの組み合わせは、より低いＬＯＱのスパンを生成するべく、上記のものとは異なり、かつ当技術分野において既知の他の好適なダウンサンプリングおよび動き補償方法から選択されるオペレーションを含む。
【０１１７】
上記の非限定的な実施形態において、ダウンサンプリングオペレーションは、時間次元に沿った２つまたはそれ以上のスパンの間の動きを適切に考慮するべく、動き推定情報を活用する。一定の時間ベースの信号に対してこれが有用であり得る理由は、信号理論の観点から、時間的サンプリングがナイキスト制限より低いものであり得るということである。ビデオ信号の例において、２５／３０ｆｐｓは、今日の典型的サンプリングレートの一例であるが、一方でいくつかの実験は人間の観察者がビデオで通常、描写されるタイプの動きに対して最大３００ｆｐｓまで容易に知覚し得ることを論証した。これは、ビデオ信号が一般に、ナイキスト制限より低い時間次元をサンプリングすることを意味する。そのような場合、時間次元のみに沿って採用した特定のアプローチ（動き推定等）は、不十分なサンプリングにより引き起こされた障害を減少させ、本質的に、相関をより良好に利用するべくスパンを「再整列」させる。動きに関する記述的情報は、段的品質レベルに沿った時間的ダウンサンプリングを先導するべく使用される。動き推定は、エンコーダにより採用される選択的フェーズである。緩慢な移動、高いサンプリングレート、または非常に複雑な動きは、動き推定および動き補償の採用があまり効率的でないか、時間次元にいかなる「優遇措置」も与えることなく段的ＬＯＱを生成するのみよりも更に有害であり得る場合の非限定的な例である。好適な条件が、動き推定が役立たないことを示す信号部分については、エンコーダは、動き情報を破棄し、対称的ダウンサンプリング（例えば、非限定的な一実施形態において、単純な３つの線のサブサンプリング）を続行する。
【０１１８】
別の非限定的な実施形態は、より低いＬＯＱのスパンにフレーミング行および列を導入しない。別ｉの非限定的な実施形態において、導入されたフレーミングの量は、動き情報に相関する。
【０１１９】
他の非限定的な実施形態は、ダウンサンプリング自体に対して異なるオペレーションを使用する。非限定的な一実施形態において、エンコーダは、より低いＬＯＱのスパンを生成するべく、異なるダウンサンプリングオペレーション（非線形オペレーションを含む）を適用し、異なるアップサンプリングオペレーションを適用し、残存量データの情報エントロピーの測定基準を最小化する１セットのダウンサンプリングオペレーションおよびアップサンプリングオペレーションを識別する。そのような実施形態のうち１つにおいて、エンコーダは、微調整フィルタリング法（ｔｗｅａｋｅｄ  ｆｉｌｔｅｒｉｎｇ  ｍｅｔｈｏｄ）を活用し、線形ダウンサンプリングオペレーションの結果を選択的に修正（「微調整」）し、残存量データのもたらされるエントロピーに基づいて微調整を最適化する。
【０１２０】
別の非限定的な実施形態において、エンコーダは、より高い品質レベルの各スパンを組み合わせて、より低い品質レベルのスパンにする前に、より高い品質レベルの各スパンをダウンサンプリングする。別の非限定的な実施形態において、エンコーダは、より高い品質レベルの各スパンをダウンサンプリングし、動き補償（フレーミングを導入する）を適用し、結果を組み合わせて、より低い品質レベルのスパンにする。別の非限定的な実施形態において、ダウンサンプリングオペレーションは、動き補償オペレーションと併せて実行される（すなわち、ダウンサンプリング処理中に、動き補償オペレーションは、動きを補償されたスパンのダウンサンプリングされた描出を生成する）。
【０１２１】
別の非限定的な実施形態において、和を１に等しくするように加重平均における重みを正規化する必要がある場合（例えば、「利用可能でない」値を含む加重平均において、および／またはバッチの開始または終了に近い予測スパンを生成する場合）、エンコーダは、加算的正規化（例えば、同一の定数を全ての重みに加算する）するのではなく、乗法的正規化（例えば、全ての重みを同一の定数で乗算する）を適用する。
【０１２２】
別の非限定的な実施形態において、予測スパンを算出する場合、エンコーダは、まず、より低い品質レベルの各予測子スパンをアップサンプリングし、次いで動きを補償した後、結果を組み合わせる。別の非限定的な実施形態において、エンコーダは、まず、各スパンの動きを補償し、次いで組み合わせ、最後に結果をアップサンプルする。別の非限定的な実施形態において、アップサンプリングオペレーションは、動き補償オペレーションと併せてせて実行される（すなわち、アップサンプリングオペレーション処理中に、動き補償オペレーションは、動きを補償されたスパンのアップサンプリング描出を生成する）。
【０１２３】
別の非限定的な実施形態において、アップサンプリングオペレーションは、線形フィルタ、立方体フィルタ、ランチョスフィルタ、双方向フィルタ、最近隣フィルタを含むがこれに限定されないセットから選択される。
【０１２４】
より広範には、異なる実施形態は、アップサンプリングオペレーションにおいて異なるオペレーションおよびフィルタリングを用いる。アップサンプリングオペレーションは、より高いＬＯＱにある信号のスパン要素の設定についての予測を生成する。１セットの非限定的な実施形態において、アップサンプリング（すなわち、解像度を上げるオペレーション）後に、予測品質を向上させるべく（例えば、非限定的な例としては、ダウンサンプリング中に平坦になったシャープエッジの向上、またはダウンサンプリング中にぼやけた詳細の取得）、フィルタリングオペレーションの更なる段階が実行される（エンコーダおよびデコーダ側の双方で）。この段階の非限定的な例な実施形態は、同じ著者の以前の特許出願において記載され、「デブレンディング」オペレーションと呼ばれる。別の非限定的な例は、アンシャープマスキングオペレーションを活用する。他の非限定的な実施形態において、アップサンプリングオペレーションとしては、好適なパラメータにより指定され、またはエンコーダおよびデコーダの双方に知られた所定のデフォルトシーケンスに従う、カスケード型非線形オペレーション（例えば、線形フィルタ、立方体フィルタ、デブレンデインングフィルタ、アンシャープマスキングフィルタ、双方向フィルタ、フラクタルフィルタ、最近隣フィルタ等を含むがこれらに限定されない列挙から選択される好適なシーケンスのオペレーション）が挙げられる。別の非限定的な実施形態において、エンコーダは、アップサンプリングパラメータをデコーダに送信し、そのようなパラメータは、使用される特定のアップサンプリングオペレーションに対応する。
【０１２５】
別の非限定的な実施形態において、動き補償オペレーションは、アップサンプリングオペレーションと併せて実行される。他の非限定的な実施形態において、動き補償オペレーションは、ズーム、回転、オフセットおよび／または遠近の変化等の複雑な動きを考慮する変換を含む、浮動小数点オペレーションを活用する。そのような実施形態の１つにおいて、動き補償オペレーションは、１セットの座標を同次座標に変換する段階と、好適なマトリックスにより当該同次座標の浮動小数点乗算を実行する段階と、同次座標においてもたらされるベクトルを再正規化する段階とを含む。別の非限定的な実施形態において、より低い品質レベルの異なるスパンを組み合わせて、より高い品質レベルのスパンにする場合、エンコーダは、線形カーネルに基づいて、重みがサンプリング位置の距離に依存する加重平均オペレーションによりそれらを組み合わせる。別の非限定的な実施形態において、そのような重みは、立方体カーネルに基づくサンプリング位置の距離に依存する。他の非限定的な実施形態において、なおも他のカーネルが採用される。別の非限定的な実施形態において、当該重みは、動き情報に少なくとも部分的に基づいて（実質的な動きが生じると、異なるスパンにおける相関情報量は、相対的により低くなるという事実を考慮して）生成される。別の非限定的な実施形態において、当該重みパラメータは、各スパンの特性に対応するパラメータに少なくとも部分的に基づいて（例えば、相対的に焦点がずれたスパンを適切に考慮などするように）生成される。別の非限定的な実施形態において、当該重みは、残存量データのエントロピーの量を減少させるべく、エンコーダにより算出され、対応する記述的情報を介してデコーダに送信される。
【０１２６】
他の非限定的な実施形態において、より高い品質レベルで予測スパンを生成するべく処理される予測子の数は、任意であり、記述的情報を用いてデコーダに送信される。そのような非限定的な実施形態のうち１つにおいて、エンコーダは、予測子および重みパラメータの数を最適化し、予測子および重みパラメータの数は、再構成データの好適な情報エントロピー測定基準および／または再構成された描出の好適な品質基準の最適化を図るインタラクティブな方法を介して各予測スパンを生成するべく活用される
【０１２７】
別の非限定的な実施形態において、処理される予測子の数に対するデフォルト値は、所与のＬＯＱまでの時間的線形フィルタリング（すなわち、１つまたは２つの予測子スパン）および最上のＬＯＱまでの所与のＬＯＱからの時間的立方体フィルタリング（すなわち、最大４つの予測子スパン）を含む。別の非限定的な実施形態において、所与のロットの所与のＬＯＱにおける１または複数のスパンについては、より低いＬＯＱの予測子スパンは、所与のロットおよび隣接ロットのみならず、隣接ロットの次のロットにも属する（すなわち、所与のスパンについての予測子のセットは、上記の非限定的な実施形態におけるように２つのみからではなく、３つのロットからも生じ得る）。
【０１２８】
他の非限定的な実施形態において、エンコーダは、好適な同期マーカをエンコード済み再構成データのセットに割り当てることにより、信号プロセッサがデータストリーム、および／または特定のシーケンスにおいて特定のセットのエンコード済み再構成データのみを含むファイルを生成することを可能にし、特定のデコードシーケンスにおける特定のスパンの再構成を可能にする。
【０１２９】
他の非限定的な実施形態において、エンコード済みデータを生成する場合、エンコーダは、１または複数の同期マーカの前のパディングのランダムビットを導入する。次に、エンコーダは、好適な暗号化方式に従ってヘッダ情報および／または同期マーカ情報を暗号化する。
【０１３０】
他の非限定的な実施形態において、エンコーダは、ＬＯＱのそれぞれの残存量を処理し、空間次元に沿った「方向デコンポジション」法（実質的に、同一のスパンに対する隣接残存量のセットをグループ化し、平均値と予測される平均値との間の差異に対応するパラメータ、水平傾斜に対応するパラメータ、垂直傾斜に対応するパラメータ、対角傾斜に対応するパラメータをエンコードし、好適な量子化法により各パラメータを量子化することによる）および／または時間次元に沿った「時間デコンポジション」法（本質的に、より低いＬＯＱの同一のスパンにより制御される同一のＬＯＱの次の異なるスパンに属する残存量の対応するセットをグループ化し、平均に対応するパラメータおよび時間的傾きに対応するパラメータをエンコードすることによる）に従って変換残存量を生成する。他の非限定的な実施形態において、ロットのそれぞれに対して、エンコーダは、各ＬＯＱの絶対的残存量を処理し、１セットの支持要素残存量を生成する（文献が存在しないため、所与のロットの所与のＬＯＱに対する「支持平面」と定義する）。次に、エンコーダは、絶対的残存量と支持要素残存量との間の差異に対応する相対的残存量のセットを生成する。これは、図３を参照して更に詳細に説明する。
【０１３１】
他の非限定的な実施形態において、エンコーダは、量子化および残存量を変換することを伴わない絶対的残存量のエンコードに進む。
【０１３２】
別の非限定的な実施形態において、エンコーダは、残存量の各セットに固有の量子化スキームに従って残存量を量子化し、デコーダに、使用しなければならない逆量子化法に対応する記述的情報を送信する。非限定的な一実施形態において、利用可能な数値化スキームは、異なるデッドゾーンおよび一定の数値化段階を有するスキーム（エンコーダがデッドゾーンおよび／または量子化段階の長さに対応するパラメータを指定する）、異なるデッドゾーンおよび可量子化段階を有するスキーム（エンコーダがデッドゾーンおよび／または全ての量子化段階を算出することを可能にする機能に対応するパラメータを指定する）、異なる色空間内での量子化を伴うスキーム（例えば、非限定的な例として、ガンマ空間等の非線形空間）等を備えるが、これらに限定されない。別の非限定的な実施形態において、特定の品質レベル（例えば、最上の品質レベル）の逆量子化は、量子化前の元の残存量が量子化範囲に沿って分散していたことをより良好に表すように、統計的再構成法（例えば、ディザリング、統計的量子化、再構成、および過渡層の組み合わせ等）も含む。
【０１３３】
他の非限定的な実施形態において、量子化の決定は、全地球域ビットレート最適化の観点において先に採られた決定に影響し（バッチ内のロットの長さの決定を含む）し、エンコーダは、本質的に全地球域最適化を実現するべくループを実行する。また、非限定的な一実施形態において、量子化閾値における変更は、残存量の計算および変換（例えば、支持要素／支持チェーンの生成）に影響する。
【０１３４】
他の非限定的な実施形態において、エンコーダは、異なるセットの残存量を生成し、各セットに記述的パラメータを割り当てる。当該パラメータは、認め得る高い品質を有する信号の描出を再構成するべく、対応するセットの残存量の重要性のレベルに対応する（例えば、非限定的な一実施形態は、より大きい数のビット、例えば、より精緻な量子化段階をより重要な残存量に割り当て、より小さい数のビット、例えば、粗雑な量子化段階をあまり重要でない残存量に割り当てる）。
【０１３５】
他の非限定的な実施形態において、残存量は、継承に基づく方法、例えば、より低い品質レベルの残存量データに基づいて予測する（「継承する」）ことによりエンコードされ、より低いＬＯＱの好適な残存量情報により、より高いＬＯＱの制御残存量の「完成」を可能にする（例えば、エンコーダがより低いＬＯＱで、全ての後続するＬＯＱにおける信号部分に対する残存量データを定義する、再構成された信号部分は、ゼロに等しく、すなわち、その予測は十分に正確で、修正を送信することもない）。
【０１３６】
他の非限定的な実施形態において、残存量のエントロピーエンコードは、ハフマンエンコード、ランレングスエンコード、演算エンコードの方法のうち少なくとも１つを含む方法の組み合わせを活用する。
【０１３７】
他の非限定的な実施形態において、より低いＬＯＱの信号および／または同期マーカ情報は、好適な暗号化方式により暗号化される。このように、データストリームの比較的小さい部分を暗号化／復号化するためのデコーダで必要な比較的限定された処理能力にもかかわらず、データストリームの特定部分と信号の特定部分との間に明らかな相関がないので、信号のデータ送信は非常にセキュアである。他の非限定的な実施形態において、ノイズの非常に多い通信チャネルの存在下でも、デコーダが少なくとも低い品質レベルで信号の描出を適切に再構成し得ることを保証するように、適切に冗長技術を活用することにより、より低いＬＯＱは、保護される。
【０１３８】
また、本明細書において説明される方法は、例えばビデオ会議等の低レイテンシ環境内で適用され得る。非限定的な一実施形態において、エンコーダは、スパンの「回転階層」を生成し、より低いサンプリング位置（すなわち、時間において先行する）を有するより低いＬＯＱのスパンにのみ基づいて、再構成される所与のＬＯＱで新しいスパンを予測する。別の非限定的な低レイテンシの実施形態において、所与のスパンに対する残存量は、同一の品質レベルの先行するスパンの残存量情報に基づいて変換される。
【０１３９】
デコーダの実施形態の例示的な説明
デコーダとして構成される信号プロセッサ（以下「デコーダ」）は、再構成データのセットを受信し、元の信号の描出を再構成する。
【０１４０】
言及したように、エンコーダは、好適な再構成データを生成するべく、デコーダ側で実行されるオペレーションをシミュレートするので、図１Ｅは、デコーダにより生成される中間生成物および最終生成物のシーケンスも図示する。
【０１４１】
段的階層法を活用するデコーダにより実行される再構成オペレーションのシーケンスは、より高いＬＯＱでスパンの予測を生成するべく活用されるより低いＬＯＱの予測子の数に基づいて、いくつかの異なるパターンを伴い得る。
【０１４２】
本明細書において説明する非限定的な実施形態については、デコーダは、ロット全体に対するエンコード済みデータを受信する（すなわち、再構成処理を開始するのに、少なくとも１つのロットの遅延がデコーダ側で必要である）。当該エンコード済みデータは、記述的情報に対応するデータおよび再構成データのセットに対応するデータを含む。
【０１４３】
どのスパンが（潜在的に、受信済みロットがバッチの第１のものではない場合には先行するロットのスパンも）利用可能なエンコード済みデータにより再構成され得るかを識別し、ならびにデコード処理を開始するために正しいＬＯＱの正しいスパンを識別するべく、デコーダは、データストリームを受信／フェッチングし、同期マーカメタデータを検索／構文解析することを開始する。次に、デコーダは、ロットの最も低いＬＯＱの描出に対応する情報を生成するべく、エントロピーデコードを実行する。
【０１４４】
最も低いＬＯＱのスパンから開始し、デコーダは、再構成データを生成するべくエンコーダによりシミュレートされた同一のオペレーションを実行する。具体的には、デコーダは、より高いＬＯＱに対する予測スパンを生成するべく、より低いＬＯＱのスパンをＬＯＱ毎に処理し、絶対的残存量の描出を生成するように再構成データをデコード（受信済み変換残存量を逆量子化および逆変換する）し、最後に予測スパンおよび対応する絶対的残存量を組み合わせ、より低いＬＯＱで利用可能な予測子スパンおよび利用可能なエンコード済みデータに基づいて、再構成され得るスパンに対する描出Ｙを再構成する。上記のように、所与のロットのスパンについての予測は、隣接ロットの予測子スパンも活用し、「デコードウェーブ」法を効果的に実装することができる。
【０１４５】
数学的には、
【数１６】
2015519016.tif 000018
である。
【０１４６】
具体的には、エンコーダの実施形態について説明したことと一貫し、デコーダの実施形態も、予測スパンのサンプリング位置に対して各予測子スパンの動きを補償することにより生成された要素の平面の加重平均に対するアップサンプリングを実行することにより、予測Ｕを生成する。また、エンコーダの実施形態について説明したそのようなオペレーションの独自性（例えば重みの正規化、「利用可能でない」デフォルト値等）は、デコーダの実施形態にもあてはまる。
【０１４７】
数学的には、スパン１０２―６の非限定的な例の場合、
【数１７】
2015519016.tif 000019
である。
【０１４８】
上記の式により示すように、スパン１０２―６についての予測もスパン１０３―１１の再構成された描出に基づくので、式に示したように、デコーダは、例えば、スパン１０２―６を再構成することができるようになる前にロット２に対するエンコード済みデータを受信するべく待機しなければならない。
【０１４９】
好適なＬＯＱのスパンが再構成されると、デコーダは、ディスプレイデバイスに提示するデータを生成し、当該データをディスプレイデバイスに送信する。非限定的な一実施形態において、各スパンの潜在的に異なる持続時間を考慮するべく、デコーダが最上のＬＯＱよりも低いＬＯＱを表示する必要がある場合、デコーダは、各スパンに対して、映像番号によって示される時間位置から開始する、持続時間と同じ多さのレプリカを生成することにより、元のサンプリングレート（すなわち最上のＬＯＱ）と同一のサンプリングレートを有する信号を生成する。
【０１５０】
非限定的な一実施形態において、デコーダは、各品質レベルに存在するスパンのＩＤ番号、各スパンの持続時間、各予測を生成するべく使用されるより低い品質レベルで予測子スパンのＩＤ番号、および各予測を生成するべく実行されるオペレーション中に使用されるパラメータを含む、ロットの構造体上で記述的情報を受信する。別の非限定的な実施形態において、より低い品質レベルの１または複数の予測子スパンは、所与のロットのより高い品質レベルで所与のスパンについての予測を生成するように処理され、当該スパンは、隣接ロットにも属することができる。
【０１５１】
非限定的な一実施形態において、デコーダは、例えば、（例えば、帯域幅輻輳に起因して）受信されたエンコード済みデータ、および／またはリアルタイムのデコードの制約、ならびに／または他の制約（例えば、処理電力消費量を最小化し、吸収帯域幅を最小化し、再生速度を最大化するなど）に応じて、異なるスパンの異なるＬＯＱでのデコードオペレーションを停止することができる。
【０１５２】
他の非限定的な実施形態において、好適なパラメータおよび／またはユーザインターフェースコマンドに基づいて、デコーダは、各スパンの選択部分のみをデコードし、ズーム機能を効果的に実装することができる。非限定的な一実施形態において、所与のＬＯＱに対する残存量データのセットは、集団（「タイル」）に分割され、タイルのそれぞれは、所与のＬＯＱで信号の所与の部分（例えば空間部分）を再構成するべく、デコーダにより処理された残存量データに実質的に対応する。上方の品質レベルから、デコーダは、１または複数のスパンのシーケンスに対する特定のタイルのみを受信し、その結果、所与の品質レベルで当該スパンの特定空間部分のみを再構成し、信号の空間部分のみをディスプレイデバイスに送信する。再構成オペレーション（例えば、予測オペレーション等）は、再構成された部分の境界を越えるより低いＬＯＱの信号要素をなおも活用していることに留意しなければならない。換言すれば、そのような非限定的な実施形態において、デコーダは、所与のＬＯＱで全信号を再構成するのに必要な再構成されたセットの残存量の特定空間部分（「タイル」）のみに対応する再構成データを受信する。その結果、デコーダは、再構成されたセットの残存量部分のシーケンスのみを再構成し、従って、信号部分に対してのみ、所与のＬＯＱで信号の描出を再構成する。
【０１５３】
一実施形態において、高解像度の信号は、段ベースの方法に従って格納される。比較的低い表示解像度を有するディスプレイデバイスに接続されたデコーダは、信号プロセッサに信号の描出を要求し、デコーダが第１の品質レベルのまでの信号を再構成することを可能にするエンコード済みデータからなるデータストリームを受信し、当該第１の品質レベルは、信号に対する利用可能な最も高い品質レベルよりも低い。入力（例えば、ユーザインターフェース入力）に応答して、デコーダは、信号プロセッサに、信号の特定空間部分のより高品質の描出を要求する。デコーダは、デコーダが第２の品質レベルに従って、信号の特定空間部分（「タイル」）のみを再構成することを可能にするエンコード済みデータからなるデータストリームを受信し、当該第２の品質レベルは、第１の品質レベルより高い。このように、デコーダは、効率的なズーム機能を実装し、表示される信号部分のみを実質的に受信およびデコードする（従って、消費帯域幅および信号をデコードするのに必要な処理電力を最小化する）。
【０１５４】
更なる非限定的な例示的実施形態
我々は、図１Ｅの例示的な実施形態、ならびに使用される特定のオペレーションについて図示するデコードオペレーションのシーケンスが非限定的なものとして意図されなければならないことを再度強調したい。当業者は、エンコーダの実施形態の非限定的な変形例を説明するときに図示する異なる例示的実施形態の全てが、デコーダの実施形態についての変形例に直に対応することを理解する。
【０１５５】
最後に、図１Ｅに図示する非限定的な実施形態は、ビデオ信号の例の場合に焦点を当てたが、同一のアプローチは、非常に異なるドメイン、ならびに非常に異なるタイプの信号に容易に適用可能である。具体的には、本明細書において図示する方法は、（音響信号、マルチチャネル音響信号、映像、二次元画像、ビデオ信号、マルチビュービデオ信号、三次元ビデオ信号、プレノプティック信号、マルチスペクトル信号、容積測定信号、容積測定ビデオ信号、医療用画像処理信号、５以上の次元を有する信号等を含むがこれらに限定されない）いずれのタイプの多次元信号にも好適である。
【０１５６】
例えば、非限定的な一実施形態は、段的階層法に従う三次元ビデオ信号をエンコードおよびデコードし、エンコーダは、２つのビデオ回線の対応する段的階層を生成する。また、２つのビデオ回線の対応するスパンの動きに関する記述的情報のセットは、（本質的に、好適な記述的情報に従って、チャネル全体にも「支持平面」法を適用し、２つのチャネル全体に動きを補償する支持要素残存量データを適用する）支持要素データに従ってエンコードされ、２つのビデオ回線の対応するスパンについての残存量データは、１セットの支持要素残存量データに従ってエンコードされる。
【０１５７】
別の非限定的な一実施形態は、段的階層法に従ってマルチチャネルオーディオ信号をエンコードおよびデコードし、チャネルのそれぞれに対するスパンは、要素のセット（非限定的な実施形態において、スパンの平均振幅値および平均ピッチ値）として表され、異なるオーディオチャネルの対応するスパンの残存量データは、１セットの支持要素残存量データに従ってエンコードされ、好適な記述的情報に従ってオーディオチャネル全体で支持要素残存量データの「動きを補償する」（すなわち、本質的に、相関スパンを再整列することに対応するオペレーションを適用する）（従って、本質的に、マイクに対する音声の三次元位置に基づいて異なるチャネル内で同一の音声の異なる時間位置を考慮する）。
【０１５８】
別の非限定的な実施形態は、広範な容積測定データをエンコードおよびデコードし、信号の１または複数の次元に、ビデオ信号の時間次元について図示したのと同一の方法を適用する（例えば、ロットにおける分割、デコードウェーブ、残存量データのタイル、支持平面等）。
【０１５９】
別の非限定的な実施形態は、容積測定ビデオをエンコードおよびデコードし、三次元スパンのシーケンスに、二次元スパンのシーケンスについて図示したのと同一の方法を適用する。
【０１６０】
他の非限定的な実施形態は、非経時的信号にも、本明細書において説明する方法を適用する。非限定的な例示的実施形態において、時間に基づかない入力信号で動作して、二次元スライスのシーケンス（例えば、ＣＡＴスキャンから生じる）は、エンコーダにより処理され、エンコーダは、信号の容量測定階層描出を再構成し、エンコードする。
【０１６１】
これまでに説明した段的階層法は、それ自体が無損失または損失性である。非限定的な例示的実施形態は、デジタル信号を効率的にエンコード、送信、およびデコードするべく使用され得る。しかし、他の非限定的な実施形態において、エンコーダの目的は、圧縮の効率性と異なり、マルチスケールのデコード、適応ストリーミング、ノイズ除去等の信号処理目的、信号強調、アーティファクト低減、デインタレース、解像度増強（「超解像度」）、描出品質測定、コンテンツ識別、マシンビジョン、信号暗号化（例えばセキュアな通信）等を含むがこれらに限定されない。例えば、空間・時間の共同階層アプローチは、信号のコアコンポーネントから、時間に関係する現象から生じる悩ましいアーティファクトのほとんど（ノイズ、ファイルム粒子、シーンの実際の過渡的情報等を含む「過渡的情報」。極めてエントロピー的であるが、人間の観察者には比較的重要ではないであろう）を分離することができる。また、リンギングアーティファクトおよびブロックアーティファクトは、本明細書において説明する方法を活用する非限定的な実施形態により、識別し、取り除く（まあはコア信号から分離する）ことができる。非限定的な一実施形態において、好適な品質レベルで再構成されたＹは、他の方法を用いて、具体的な構成としては好適なメタデータ（例えば、過渡的情報のパラメータ統計プロパティ）と共に更にエンコードされる。
【０１６２】
図１Ｆは、図１Ｅに説明するエンコーダの実施形態を更に図示する例示的な図である。
【０１６３】
エンコーダを実装する信号プロセッサは、ＬＯＱ＃０でＮスパンのシーケンス１００（Ｘ０）を受信する。図１Ａのバッチ１の特定例の場合において、エンコーダは、１３のスパン１００―１、１００―２、１００―３，...，１００―１３のシーケンスを受信する。
【０１６４】
また、エンコーダは、信号のスパン全体でオブジェクトの動きに関する記述的情報を受信する（可読性を保持するべく図示せず。本実施形態において、動きに関する当該記述的情報は、残存量計算機ブロック以外のすべてのブロックにより受信および処理される）。
【０１６５】
ダウンサンプラ１１０―０は、シーケンス１００をダウンサンプリングし、ＬＯＱ＃―１でシーケンス１０１（Ｘ−１）を生成する。再び、数学的には、
【数１８】
2015519016.tif 000020
をＬＯＱ  Ｋ、ロットＬおよびサンプリング位置ｔのスパンと呼ぶ。非限定的な実施形態において、スパン１０１―ｔのそれぞれは、対応するより高い品質レベルのスパンの組み合わせをダウンサンプリングすることにより取得される。より具体的には、より高い品質レベルのスパンは、動きを補償された描出の加重平均を組み合わされ、動き補償は、より低い品質レベルでもたらされるスパンのサンプリング位置に基づいて（すなわち相対的に）行われる。例えば、
【数１９】
2015519016.tif 000021
である。
【０１６６】
そのようなダウンサンプリング処理は、ボトムの品質レベルＬＯＱ＃Ｂのスパン１００＋Ｂが生成されるまで、エンコーダにより反復される。
【０１６７】
エンコーダが最も低いＬＯＱ＃Ｂで描出ＸＢを生成すると、エンコーダは、デコーダが段的階層の好適な描出
【数２０】
2015519016.tif 000022
を再構成することを可能にし得るエンコード済みデータの生成を開始し、
【数２１】
2015519016.tif 000023
は各スパン
【数２２】
2015519016.tif 000024
の再構成された描出である。
【０１６８】
ダウンサンプリングフェーズの処理については、エンコーダは、１つのロット（例えばロット１）のＬＯＱ＃０でスパンのシーケンスのみを処理することにより動作し得るであろうが、「シミュレートされたデコードおよび再構成データ計算」のフェーズについては、エンコーダは、予測を生成のに必要なデータの全てを必要とし、その結果、次のロットに属するデータも必要とする。原則として、これは長いエンコード遅延および／または計算の複雑性を生成する可能性があるので、図示する非限定的な実施形態は、隣接ロットの予測子を有する可能性を、次のロットに限定する。このように、信号のロット１を首尾よくエンコードするべく、エンコーダは、ロット１およびロット２のＬＯＱ＃０でスパンの元のシーケンス「のみ」を受信する必要がある。
【０１６９】
ボトムレベルの１または複数のスパンについては、そしてこれらのみについて、エンコーダは、Ｕ＝０と仮定する残存量計算機１２０＋Ｂにより残存量を直に算出し、再構成データ１８０＋Ｂを生成する。
【０１７０】
次に、エンコーダは、シミュレーションデコーダ１９０＋Ｂを介してデコーダ側で実行されることになるデコードオペレーションをシミュレートし、描出１０００―Ｂ（ＹＢ）を生成する。これは、数学的には次式で表され、
【数２３】
2015519016.tif 000025
式中、ｈ（）は、ＸＢ上のエンコーダで実行されるオペレーションＴｒ（）（例えば、非限定的な例として量子化後のデコンポジション変換）を（少なくとも可能な程度に）「反転」させる関数である。描出ＹＢの適切性（好適な品質基準による）および再構成データ１８０＋Ｂの情報エントロピー（好適な情報エントロピー測定基準による）に基づいて、エンコーダは、次の品質レベルに進むか、または異なるオペレーションおよびパラメータに従って再構成データ１８０＋Ｂの生成を反復するか否かを決定する。
【０１７１】
階層における次の（より高い）品質レベルのスパンについては、エンコーダは、各スパンに対して（シミュレーションデコーダ１９０＋Ｂ，...，１９１、１９０により）予測Ｕを生成する具体的には、シミュレーションデコーダブロックは、好適なアップサンプリングオペレーションを実行し、より低い品質レベルの１または複数のスパンを「予測子」として活用する。
【０１７２】
次に、予測オペレーションをシミュレートすることにより、エンコーダは、予測を修正し、信号の好適な描出を再構成するべく、デコーダにより必要とされる残存量データを生成することができる。例えば、描出１０１（Ｘ−１）を予測１１１（Ｕ−１）と比較することにより、残存量計算機１２１は、絶対的残存量１３１（Ｒ−１）を生成する。絶対的残存量１３１は、再構成データのジェネレータ１７１により更に処理され、残存量データ１８１を算出する。シミュレーションデコーダ１８１は、再構成データ１８１を処理し、描出１００１（Ｙ−１）を生成する。再び、品質基準に従う描出１００１の適切性および情報エントロピー測定基準に従う再構成データ１８１の情報エントロピーの適切性に基づき、デコーダは、次の（より高い）品質レベルに進み、予測１１０（Ｕ０）を算出するか、または異なるオペレーションおよびパラメータに従って再構成データ１８１の生成を反復するかを決定する。
【０１７３】
再構成データの全てが生成されると、エンコーダは、エントロピーエンコード段階に進み、エンコード済みデータおよび好適なメタデータ（例えば、ヘッダ、同期マーカ等）のセットを生成する。
【０１７４】
図１Ｇは、図１Ｅに説明するデコーダの実施形態を更に図示する例示的な図である。
【０１７５】
デコーダとして構成される信号プロセッサは、最も高い品質レベルで１セットのスパン１０００を再構成することを可能にする再構成データおよび記述的情報を受信する。再び、可読性を促進するべく、図面は、動きに関する受信済み情報を明示的に示していないが、情報は、この非限定的な実施形態において、再構成器ブロック１０９０、１０９１，...，１０９０＋Ｂ以外の全てのブロックにより受信および処理される。
【０１７６】
ボトムの品質レベルから開始し、ＬＯＱ毎に進み、デコーダは、再構成データを生成するべくエンコーダによりシミュレートされたのと同一のオペレーションを実行する。具体的には、デコーダは、残存量デコーダ１０２０＋Ｂを介して再構成データ１８０＋Ｂ（すなわち、ボトムレベルの再構成データ）を処理し、推定残存量１０３０＋Ｂを生成する。当該推定残存量１０３０＋Ｂは、デフォルトの予測１１０＋Ｂ（ＵＢ＝０）と組み合わされ、ボトムの品質レベルで１または複数のスパン１０００＋Ｂ（ＹＢ）を生成する。次に、描出１０００＋Ｂ（ＹＢ）は、予測計算機１０１０＋Ｂにより処理され、予測１１０＋Ｂ＋１（ＵＢ＋１）を生成する。次に、デコーダは、より高いＬＯＱの予測スパンを生成する処理において、ＬＯＱ毎に利用可能なデータに基づいて再構成され得る最上の品質レベルのスパンまで進み、絶対的残存量の描出を生成するように再構成データをデコードし、予測スパンおよび対応する絶対的残存量を組み合わせ、従ってより高い品質レベルで描出Ｙを再構成する。
【０１７７】
他の非限定的な実施形態において、具体的な状況（例えば、デコードレイテンシ、利用可能なデコードメモリ等）に対応するべく、デコーダは、ＬＯＱ毎に再構成処理を行わずに、必要なエンコード済みデータを受信し、所与のスパンについての予測を生成するのに必要なより低い品質レベルのスパンの再構成を完了すると直ちに、より高い品質レベルの所与のスパンを再構成する。このように、「段毎に」進まず、再構成処理は、様々な品質レベルで上下に動き続ける
【０１７８】
非限定的な一実施形態において、残存量デコーダ１０２０＋Ｂ、１０２１、１０２０は、残存量についての好適な支持情報（「支持平面」）もデコードすることにより、推定絶対的残存量１０３０＋Ｂ，...，１０３１、１０３０を生成し、同一の支持平面は、所与のＬＯＱの複数のスパンに対する絶対的残存量を生成するべく活用される。他の非限定的な実施形態において、絶対的残存量は、逆デコンポジション変換（例えば、逆方向デコンポジションおよび／または逆時間デコンポジションを含むがこれらに限定されない）も適用することにより算出される。
【０１７９】
他の非限定的な実施形態において、デコーダは、使用しなければならない逆量子化法に対応する受信済み情報に少なくとも部分的に基づいて、残存量の各セットに固有の量子化スキームに従って残存量を逆量子化する。非限定的な一実施形態において、利用可能な数値化スキームは、異なるデッドゾーンおよび一定の数値化段階を有するスキーム（エンコーダが、量子化段階のデッドゾーンおよび／または長さに対応するパラメータを指定する）、異なるデッドゾーンおよび可量子化段階を有するスキーム（エンコーダが、全ての量子化段階を算出することを可能にするデッドゾーンおよび／または関数に対応するパラメータを指定する）、異なる色空間における量子化を伴うスキーム（例えば、非限定的な例として、ガンマ空間等の非線形空間）を含むがこれらに限定されない。他の非限定的な実施形態において、具体的な品質レベル（例えば、最上の品質レベル）に対する残存量の逆量子化としては、量子化前の元の残存量が量子化範囲に沿って分散したことをより良好に表すように、統計的再構成法（例えば、ディザリング、統計的量子化、再構成および過渡層の組み合わせ等）も含む。
【０１８０】
非限定的な一実施形態において、デコーダは、階層構造に対応する記述的情報（例えば、各ＬＯＱの各スパンの特性等）を受信し、利用可能な再構成データが存在する場合にどのスパンが生成され得るかを算出することを可能にする。
【０１８１】
非限定的な一実施形態において、予測１０１０＋Ｂ，...，１０１１、および１０１０の計算機は、所与のスパンに対する予測子スパンを選択し、エンコーダおよびデコーダの双方に知られるデフォルトパラメータに従ってアップサンプリングオペレーションを適用する。非限定的な一実施形態において、デフォルトアップサンプリングオペレーションは、所与のＬＯＱまでの線形フィルタリングおよび最上のＬＯＱに対する立方体フィルタリングを含むがこれらに限定されない。別の非限定的な実施形態において、デコーダは、アップサンプリングオペレーション中に使用するオペレーションおよびパラメータに対応する記述的情報を受信する（例えば、限定することなく、アップサンプリングカーネル、画像処理オペレーションのためのパラメータ等）。
【０１８２】
図１Ｈは、予測計算法の非限定的な一実施形態を更に図示する例示的な図である。予測１０１０＋Ｋの計算機は、ロットＬ１，...，Ｌｎに属する予測子スパンＹＫ（ｔ１），...，ＹＫ（ｔｎ）の描出を受信する。予測１０１０＋Ｋの計算機は、各予測子スパンの動き、ならびにそのサンプリング位置に関する情報も受信する。
【０１８３】
動き補償器１００１０―１，...，１００１０―ｎは、サンプリング位置ｔ０に対する動き補償オペレーションを実行することにより１セットの動きを補償された描出ＭＣ（ＹＫ）を生成する。最後に、予測ジェネレータ１００２０は、予測子スパンの動きを補償された描出を組み合わせ、より高い品質レベルでアップサンプリングした予測ＵＫ＋１（ｔ０）を生成する。
【０１８４】
他の非限定的な実施形態において、アップサンプリングオペレーションは、動き補償オペレーションと併せて実行され、その結果、予測ジェネレータ１００２０は、品質レベルＫ＋１でアップサンプリング済みの動きを補償された描出を組み合わせる。なおも他の非限定的な実施形態において、予測子スパンＹＫ（ｔ１），...，ＹＫ（ｔｎ）の描出は、動きを補償される前に空間次元に沿ってアップサンプリングされる。
【０１８５】
図２Ａ、図２Ｂ、図２Ｃ、および図２Ｄは、２つの二次元平面の要素の組み合わせ（すなわち、図１Ｂ、図１Ｃ、および図１Ｄにおいて図示するものによれば、アグリゲーションまたはダウンブレンド）を実装する、異なる非限定的な実施形態を図示する例示的な図である。簡潔にするために、４つの図面の全ては、時間領域におけるダウンサンプリングのみを視覚的に図示するが、実際には、より高いＬＯＱの２つのスパン１００―１および１００―２を、より低いＬＯＱの１つのスパンにダウンブレンドすることを示す。しかし、ダウンブレンドについて図示する同一の留意点は、同一のＬＯＱにおけるアグリゲーションにも有効である。
【０１８６】
４つの図は、ＬＯＱ＃―１（例えば１０１―１）のダウンサンプリングしたスパンを生成するようにスパン１００―１および１００―２をダウンブレンドする例示的な場合に焦点をあて、異なる動き補償のアプローチ（具体的には、文献が存在しないために「非対称的にバランスをとった動き補償」と定義した新規な方法）を適用することの効果も図示する。数学的には、３つの例示的な実施形態は、異なる動き補償オペレーションを伴うが、全て次式を適用する。
【数２４】
2015519016.tif 000026
【０１８７】
動き補償オペレーションは、ダウンブレンドしたスパンのサンプリング位置に対して行う。動きに関する記述的情報は、好適な形式（例えば、動きゾーンおよび動きマトリックスを伴う浮動小数点の動き補償による我々の新規な方法）でエンコードされ、異なるサンプリング位置に対する動き補償オペレーションは、非常に効率的に表現および算出することができる。
【０１８８】
本明細書において説明する１セットの非限定的な実施形態において、動きに関する記述的情報を割り当てられた信号の一部に対しては、複数のパラメータを用いて動きを推定し、「バランスをとった動き」（または「双方向の動き」）として算出する。本質的に、双方向のデコードを可能にするべく、１つのスパンに対する別のスパンからの移動を指定せずに、共通の基準位置に対する双方のスパンからの動きを指定する。そのような実施形態のいくつかは、（例えば、並進移動、すなわちオフセットのみを示す動きベクトルを用いる従来の方法とは異なり）１または複数の動きマトリックスを用いて動きを表す。動きマトリックスを使用して（すなわち、特定の動きを表すべく、３つ以上のパラメータをエンコードすること）は、そのような非限定的方法の新規で重要な特性であり、ズーム、回転、遠近の変化等、より洗練された移動の推定および補償を可能にする。時に、動きマトリックスは、並進移動が十分と考えられる（例えば、既知のサンプリングの制約または複雑性の制約のために）実施形態において、単純なオフセットベクトルに畳み込まれる。他の非限定的な実施形態において、移動は、アフィン変換に対応する１または複数の動きマトリックスにより表され、動きを補償された座標位置は、同次座標法を使用することにより算出される。動きマトリックスのそれぞれは、「動きゾーン」と定義した信号の特定および任意に規定された部分に割り当てられる。他の非限定的な実施形態において、動きマトリックスは、より一般的な透視変換に対応し、より複雑なセットの移動も記載することを可能にする。
【０１８９】
動きマトリックス（および、それを使用する実施形態については、動きゾーン）は、デコーダに送信され、いくつかの利点を有する。例えば、後方向きにすることができ、各時間的段階に対応する動きマトリックスを好適に組み合わせる（例えば、乗算する）ことにより、いくつかのサンプリング位置にわたる同じ動きゾーンの動きを算出することができる。そうは言っても、動きマトリックスおよび動きゾーンは、動き推定および動き補償の多くの非限定的な実施形態のうちの１つに過ぎず、本明細書において説明する方法は、実質的にいずれのタイプの動き推定および動き補償方法とも好適に機能し得る。
【０１９０】
図２Ａは、動き補償（または同等なものとしては一定の識別機能による動き補償）を適用せず、また、結果として「フレーミング」を適用しないことの効果を図示する。
【０１９１】
ｔ＝１でサンプリングされるスパン１００―１およびｔ＝２でサンプリングされるスパン１００―２は、スパン１０１―１．５に合併され、＝（１＋２）／２＝１．５でサンプリングされる。ダウンブレンドしたスパン１０１―１．５のサンプリング位置がスパン１００―１および１００―２の元のサンプリング位置の平均であるという事実は、図示から明らかである。濃い円形オブジェクト２０１―０は、画像（スパン１００―１、サンプリング位置１）の底部左側から画像（スパン１００―２のオブジェクト２０２―０、サンプリング位置２）の右側上部へと移動する。スパン１００―１および１００―２による２の係数の線形ダウンサンプリング（例えば、３つの線のダウンブレンド）は、スパン１０１―１．５を生成し、水平および垂直の次元が半分になり、濃い円形オブジェクトは、双方のスパン位置において部分的に透明であり、可視である。本質的に、このスパンを見ることにより、観察者は、本質的に、（時間的観点から）両極端の間に位置付けられる、サンプリング位置１および２の間のオブジェクトの動き全体を見ている。この単純な三次元（すなわち、空間・時間）ダウンサンプリングによるアプローチは、可視のオブジェクトの速度が所定の閾値未満（すなわち、時間的相関が極めて高い）である非限定的な実施形態において、再構成された描出において不鮮明な動きの程度が受け入れ可能である条件において使用される。非限定的で実際的な例は、非常に高い解像度および１秒毎に１，０００フレームの動きの遅いシーンのビデオである。
【０１９２】
他の実施形態において、動き推定および動き補償は、Ｎ次元のダウンサンプリングを行うのに有用である。
【０１９３】
動き補償を行う場合、空間的ダウンサンプリングおよび時間的ダウンサンプリング（「ブレンド」）は、別個またな共同で、いくつかの可能な組み合わせと併せて行うことができる。非限定的な例の実施形態において、スパンは動きを補償され、次に三次元のダウンサンプリングが適用される。別の非限定的な実施形態において、空間的ダウンサンプリングを行い、動き補償が、そして最後に時間的ダウンサンプリングがこれに続く。別の非限定的な実施形態において、空間的ダウンサンプリングは、動き補償と組み合わされ、時間的ダウンサンプリングがこれに続く。
【０１９４】
図２Ｂは、バランスをとった動き補償の非限定的な例を図示する例示的な図である。
【０１９５】
非限定的な例示実施形態は、オブジェクトの動きを決定し、２つの元のスパンのサンプリング位置に対する中間のスパン時間における位置を推定する。対称性を保持するべく、時間的ダウンサンプリングオペレーションと共に「合併」する前に、（本質的に、２つの元のスパンの位置１および位置２に対する中間位置、すなわちサンプリング位置１．５にある位置をサンプリングすることに対応する）非常に相関する中間位置に２つのスパンを再配置するようにバランスをとって、動き補償を行う。
【０１９６】
この単純な場合に、オブジェクトは、単純な並進的動き（すなわちオフセット）を伴って移動する。このように、２つの動き補償オペレーションにおいて使用されるオブジェクト移動に関する記述的情報は、１つのベクトルを特徴とする。他のベクトルが「補足ベクトル」として算出されるからである。
【０１９７】
そのようなバランスをとったアプローチの利益は、基準画像および／または移動の優先方向のいずれの選択も回避する。このように構造化した動き情報は、再生がどの時間方向に動いてもオブジェクトの移動を推定するように使用することができ、本質的に、双方向の再生（動き推定および動き補償に基づいたエンコード技術によりこれまで提供されなかった特徴）を可能にする。
【０１９８】
動き補償オペレーションを好適に行うべく、ダウンサンプリングしたスパン１０１―１．５ｂｉｓが表示されるとディスプレイデバイスに送信される画像に対応する、要素２０１―１．５ｂｉｓの目的平面が生成される。同時に、目的平面の外側に存在するにもかかわらず、スパン１０１―１．５ｂｉｓが、特に追加および／または後方の動き補償オペレーション後、ならびに追加のダウンサンプリングオペレーション中にスパン１００―１および１００―２に対して予測を生成するのに役立ち得る要素も含むべく、目的平面２０１―１．５ｂｉｓより大きな要素の平面の割り当てから有用であり得ることは、図２Ｂから明らかである。
【０１９９】
文献が存在しないため、目的平面２０１―１．５ｂｉｓに対するスパン１０１―１．５ｂｉｓの追加の行および列を定義するべく、我々は「フレーミング」という新しい用語を作成した。
【０２００】
従って、スパン１０１―１．５ｂｉｓは、平面２２０―１（ずれた位置におけるスパン１００―１を表す）および２２０―２（ずれた位置におけるスパン１００―２を表す）の組み合わせである。図２Ｂから明らかであるように、スパン１０１―１．５ｂｉｓは、非常に異なるレベルの重要度を有する平面要素を含む。区域２２０―１および２２０―２に属する要素は「有効」は平面要素であり、関連する情報を含む。他の要素全て（図において、斜線による区域により図示）は、ゼロの要素、つまり「利用可能でない」要素（２５０―１）である。これらは（圧縮指向の実施形態においては）デコーダに送信されず、デコーダは区域２２０―１および２２０―２の位置およびサイズを正確に知っており、動き情報と同じ精度が知られている。この例において、「利用可能でない」要素は、「有効な値を有する要素と平均することができない。「利用可能でない」要素を含む１セットの要素の加重平均を伴う、オペレーションの全てにおいて（ダウンサンプリング中またはアップサンプリング中のいずれか）、「利用可能でない」要素は、加重平均から除去され、残存要素の重みは、和が１に等しくなるように正規化される（図示する非限定的な実施形態において、これは、残余の重みの全てに同じ定数を加算することにより実現される）。
【０２０１】
値を有するが、目的平面２０１―１．５ｂｉｓの外側にある要素は、スパンを表示しなければならない場合には示されないが、例えば、デコード処理中にアップサンプリングオペレーションをサポートし、エンコード処理中にダウンサンプリングオペレーションを更にサポートするのに有用である。
【０２０２】
非限定的な好ましい実施形態において、目的平面のサイズに対するフレーミングの量は、連続するより低いＬＯＱ毎に増加するが、これはより低いＬＯＱのスパンが動きを補償されたスパンのより大きい数の結果であるという事実に対応し（すなわち、より大きな量の時間を含む）、従って、より高い程度の移動を可能にするはずである。
【０２０３】
図２Ｃは、バランスをとった動き補償を用いる時間的ダウンサンプリングのもう１つの例示的な場合を図示し、今回はより洗練されたタイプの移動（具体的にはスケール変換、すなわちズーム）を導入する。先の場合は、（通常、最新の動き推定および動き補償方法により表される情報である）オフセット情報を含む動き情報を図示する。本明細書において図示する非限定的な実施形態は、バランスをとった動き推定および動き補償方法を活用するが、同時に、オフセット、回転、ズーム／拡散、遠近の変化等を含むがこれらに限定されない、より洗練されたタイプの動きも表す。具体的には、本明細書において図示する非限定的な実施形態は、４つのＺＲＯパラメータ（ズーム用の１つのパラメータ、回転用の１つのパラメータ、およびオフセット用の２つのパラメータ）により識別されたアフィン（または「ＺＲＯ」）の動きマトリックスを用いて移動を表す。
【０２０４】
図２Ｂにおいて説明したことと同様に、図２Ｃにおいても、生じるダウンサンプリングしたスパンは、サンプリング位置１．５で中央揃えされる。
【０２０５】
バランスをとった動き補償の利益を示すにもかかわらず、図２Ｂおよび図２Ｃの双方は、中間（すなわち、潜在的には整数でない）のサンプリング位置でダウンサンプリングしたスパンを中央に揃えることの限界も非常に明確に示す。より高い品質レベルの対応するスパンの間にダウンサンプリングしたスパンを中央揃えすることは、論理的には美しいが、分割されたサンプリング位置は、問題を生じさせ、最上のＬＯＱよりも低い品質レベルで信号を表示するのに必要となる。まず、最上の品質レベル（元のサンプリングレートを有する）からより低い品質レベル（端数のサンプリングレートを有する）に動的に切り替えると、認め得るオブジェクトの動きにおける「ジャダー」および「スタッタ」を生じさせるであろう。第２に、図２Ｂおよび図２Ｃから明らかなように、生じるスパン（すなわち、スパンを表示しなければならない場合に表示される画像）の目的平面は、２つの元のスパンの間の中間位置にあり、結果として、上記のジャダーと少なくとも同様に、見るには非常に不快である可能性がある可視の「利用可能でない」区域を特徴とするであろう。非限定的な実施形態は、奇数のスパンを有するグループにのみ対称的な時間的ダウンサンプリングを適用することによりそのような問題を解決する（その結果、中間のサンプリング位置は、整数のサンプリング位置となり、目的平面は、当該奇数グループのスパンの中間スパンで中央揃えされる）。そのような問題を解決しつつ、偶数のスパンをダウンサンプリングすることをなおも可能にする別の非限定的な実施形態を、図２Ｄに図示する。
【０２０６】
図２Ｄは、中間（対称的）のサンプリング位置の上記限定を伴わないバランスをとった動き補償の全ての利益を実現する、図２Ｂにおけるものと同一のソース信号に対する「バランスをとった非対称の動き補償」の非限定的な例の実施形態を図示する。
【０２０７】
スパン１００―１および１００―２は、反転可能な動き変換（特定の非限定的な実施形態において、関連するそれぞれの動きゾーンに好適なＺＲＯ動きマトリックス）により、なおも動きを補償されるが、今回は１．５ではなく１に等しいサンプリング位置に対してである。従って、スパン１００―１の動き補償情報は、スパン１００―２の動き補償情報から直接に計算可能であることはやはり事実であり、その逆も成立する。動き補償は、確かになおも「バランスをとられ」、すなわち双方向である。
【０２０８】
同時に、ダウンサンプリングしたスパン１０１―１は、スパン１００―１と本質的に同一の目的平面２０１―１を特徴とする（いくつかの情報の可能な追加はスパン１００―２からもたらされるが、スパン１００―１と調和して位置付けられる）。結果として、スパン１０１―１を表示しなければならない場合、いずれの「利用可能でない」区域も存在せず、またサンプリングレートの観点からも、一定の「ブレンド」効果にもかかわらずオブジェクトの移動においてジャダーは認められないであろう。
【０２０９】
図３Ａは、時間に相関する残存量情報の分離を用いて、「支持平面」Ｚに残存量データの多方向予測エンコードを実装する、非限定的な一実施形態を図示する例示的な図である。
【０２１０】
図は、所与の品質レベルにおけるスパン１００―１、１００―２，...１００―ｎのシーケンスからなる元の信号を示す。好適な方法により、エンコーダは、同一の品質レベルで予測Ｕ１１０―１、１１０―２，...，１００―ｎの対応するシーケンスを生成する。次に、エンコーダは、各スパン１００―ｔを対応する予測Ｕ１１０―ｔと比較することにより取得された結果を処理することにより、好適なセットの絶対的残存量Ｒ１３０―１，...，１３０―ｎを算出する。例えば、残存量データ計算機１２０―１は、入力スパン１００―１および対応する予測Ｕ１１０―１を受信し、スパン１００―１と予測Ｕ１１０―１との間の差異に基づいて絶対的残存量Ｒ１３０―１を生成する。同様に、エンコーダは、シーケンスの残存スパンに対応する絶対的残存量Ｒ１３０―２，...，１３０―ｎのセットを生成する。
【０２１１】
単一の信号プロセッサ１４０は、支持平面計算機とも呼ばれ、絶対的残存量Ｒ１３０―１，...，１３０―ｎのセットを処理するように構成され、支持平面Ｚと呼ばれる１セットの要素１５０を生成し、１セットの要素１５０は、本実施形態において時間に相関する残存量情報を要約する。
【０２１２】
図３に図示する非限定的な例な実施形態において、支持平面計算機１４０は、スパンのシーケンス全体での動きに関する情報を含む、記述的情報１５５も受信する。
【０２１３】
支持平面Ｚ  １５０の生成は、各セットの絶対的残存量Ｒ１３０―ｔの動きを補償された描出の加重平均Ｓをまず計算することにより行われ、全ての動き補償オペレーションは、同一のサンプリング位置（すなわち、この非限定的な実施形態において、シーケンスのスパンにおける全てのサンプリング位置の平均より低いか、等しい第１の整数のサンプリング位置）に関して算出される。Ｓを算出するための式は、次の方程式により表される。
【数２５】
2015519016.tif 000027
【０２１４】
単純な非限定的一実施形態において、全ての重みは、１／ｎ（すなわち単純な数学的平均）に等しい。別の非限定的な実施形態において、Ｓは、加重平均に対する「異常値残存量」の影響を低減するように、ＭＣ（Ｒ（ｉ））の統計モードとして算出される。
【０２１５】
いくつかの異なるサンプリング位置にわたる好適な加重平均を可能にするべく（すなわち、情報の損失を最小化する）、動き補償オペレーションは、残存量の入力セット（「フレーミング」）よりも多い行および列を有する動きを補償された要素のセットを生成する。なお、動き補償オペレーションは、入力（例えば、絶対的残存量Ｒの特定のセット）および動き情報に基づいて任意の好適な値を割り当てることができない動きを補償された要素のセットのうちの要素に、デフォルト値（例えば「利用可能ではない」値）を割り当てる。
【０２１６】
デフォルト値を有する要素は、Ｓを算出するべく使用される対応する加重平均オペレーションにおいて考慮されず、残存要素の重みは、１に等しい和となるように正規化される。非限定的な参照実施形態において、この１への正規化は、残存要素の重みの全てに対する同一の定数を合計することにより実現される。他の実施形態において、そのような正規化は、同一の定数について全ての重みを乗算することにより実現される。
【０２１７】
次に、エンコーダは、支持要素の再構成を可能にするべく、デコーダに送信されることになる再構成データを生成し、当該再構成データのデコードをシミュレートし、支持平面Ｚ１５０の描出を再構成する。
【数２６】
2015519016.tif 000028
【０２１８】
次に、エンコーダは、所与の各セットについて、当該所与のセットのサンプリング位置に対する、対応するセットの絶対的残存量Ｒと支持要素Ｚ（「基準残留量」）の動きを補償された描出との間の差異を算出することにより、相対的残存量ＲＩＩ（すなわち、要素１６０―１，...，１６０−ｎのセット）のセットを算出する。
【数２７】
2015519016.tif 000029
【０２１９】
最後に、エンコーダは、相対的残存量ＲＩＩのセットに対応する再構成データのセットを生成し、スパンのシーケンスの描出Ｙを再構成するべく、デコーダにより実行されるオペレーションをシミュレートする。具体的には、所与の各スパンＸ（ｔ）１００−ｔについて、エンコーダは、予測Ｕ（ｔ）１１０―ｔ、サンプリング位置ｔに対する支持平面Ｚ１５０の動きを補償された描出、およびデコード済み相対的残存量ＲＩＩ（ｔ）１６０―ｔの対応するセットを組み合わせることにより、再構成された描出Ｙ（ｔ）を生成する。
【数２８】
2015519016.tif 000030
【０２２０】
例えば、スパン１００―１に対する描出Ｙ（１）の再構成をシミュレートするべく、エンコーダは、予測Ｕ１１０―１、相対的残存量ＲＩＩ１６０―１、およびサンプリング位置ｔ＝１に対して相対的に算出された支持平面Ｚ１５０の動きを補償された描出を組み合わせる。デコーダ側で、デコーダは、それらの同一のオペレーションを実行し、予測Ｕ１１０―１、動き情報に対応するエンコード済みデータ、支持平面Ｚ１５０に対応するエンコード済みデータ、および相対的残存量ＲＩＩ１６０―１に対応するエンコード済みデータをを生成することを可能にするエンコード済みデータを受信することになる。
【０２２１】
我々は、要素Ｚ１５０のセットを、所与の品質レベルにおけるスパンの所与のシーケンスに対する「支持平面」と呼ぶ。絶対的残存量Ｒの再構成を「支持」するからである。本質的に、要素Ｚ１５０のセットは、絶対的残存量の時間の相関を利用することにより当該シーケンスを再構成するのに必要な再構成データの情報エントロピー（例えば、ビットでのエンコード済み量）の低減も支持する。１つの「上位セットの残存量」における時間相関する絶対的残存量データに集中する（すなわち、次にスパンに対して同一の残存量情報を複数回反復することを直感的に回避し、同時に、先のスパンから各平面の残存量を予測することを回避する）ことにより、支持平面は、量子化後にゼロに実質的に等しい相対的残存量の数を最大化し、結果として、残存量データの全体的な情報エントロピーに対応する測定基準を減少させる。
【０２２２】
また、我々はこのアプローチを「マルチ予測エンコード」法と定義した。所与のスパンに対する再構成された描出は、スパンについての予測（任意の好適な方法を用いて生成される第１の予測）および絶対的残存量についての予測（支持平面の動きを補償することにより生成される第２の予測）の２つの予測と相対的残存量を組み合わせることにより取得されるからである。
【０２２３】
上記で説明したように、従来の方法（例えばビデオ信号の場合に、ＭＰＥＧベースの技術、ＶＰ８等）は、先行するまたは後続するサンプルに対する差異をエンコード／デコードすることにより時間の相関を利用する（従って、長時間にわたるエラーのアキュムレーションおよび本質的に一方向の再構成／再生）を伴う、互いにエンコードしたサンプルの「時間的カスケード」を生成する。これまでに図示した全ての方法を含むがこれらの限定されない、本明細書において説明する「時間的ダウンサンプリング」および「時間的アグリゲーション」の方法は、共通の予測子として機能し、実質的に複数のスパンの相関情報を要約する（時間的な段的階層の場合において、同一の解像度で、または支持平面の場合において、より高い解像度でサブサンプリングされる）時間的にブレンドされた情報をエンコード／デコードすることからなり、（１）（エラーのアキュムレーションが存在しないしないので）より長いシーケンスのスパンにわたる時間の相関を活用し、（２）双方向の再構成／再生を実行し、（３）シーケンスにおける任意のスパンのランダムアクセス再構成も実行することを可能にする。非限定的な例として、所与のスパンを再構成することを可能にする相対的残存量を密に量子化する決定（すなわち、情報の著しい損失、および／または１のスパンにおけるアーティファクトを生成する決定）は、同一の支持平面、およびより低いＬＯＱにおける同一のセットの予測子に基づいて再構成される同一のＬＯＱの他のスパンに対して影響を有しない。また、デコードは、逆の時間的順序（例えば、Ｉフレームから前のＩフレームにスキップするのみの現在の方法とは異なる、ビデオの円滑な逆転再生）で実行することができる。いずれのスパンの再構成も、時間的順序において先のスパンの再構成された描出の利用可能性を必要としないためである。
【０２２４】
更なる非限定的な例示的実施形態
図３に図示する支持平面計算の例は、非限定的なものとして意図されるべきである。
【０２２５】
他の非限定的な実施形態において、エンコーダは、相対的残存量ＲＩＩ１６０および支持平面Ｚ１５０に対する情報エントロピーの測定基準を最小化するように加重平均の重みを適合させることにより、支持平面Ｚ１５０を算出する。そのような実施形態の１つにおいて、エンコーダは、実質的にゼロに等しい（特に、好適な量子化処理後）相対的残存量ＲＩＩ１６０の数を最大化するように、支持平面Ｚ１５０を生成するべく使用される加重平均の重みを選択する。そのような実施形態の別のものにおいて、エンコーダは、相対的残存量ＲＩＩ１６０および支持平面Ｚ１５０に対する情報エントロピーの測定基準を最小化しつつ、閾値より大きい描出Ｙの品質の測定基準を維持するように、インタラクティブ最適化法に従って支持平面Ｚ１５０の値を調整する。
【０２２６】
他の非限定的な実施形態において、エンコーダは、支持平面Ｚ１５０を算出する前に絶対的残存量Ｒ１３０のセットを処理する。そのような実施形態の１つにおいて、異なるスパンに対応する絶対的残存量Ｒ１３０は、実質的に同一のシーンにおける照明条件の変化等の場合に残存量データの時間の相関を向上させるように、適切に量子化される。また、エンコーダは、相対的残存量ＲＩＩ１６０の対応するセットと支持平面Ｚ１５０の適切な処理についての適切な情報を組み合わせる前にデコーダに情報を提供するべく、好適なセットの記述的情報を生成する。
【０２２７】
他の非限定的な実施形態において、絶対的残存量Ｒ１３０は、好適な変換（例えば、デコンポジション変換、アダマール変換、ＤＣＴ変換、ウェーブレット変換等を含む列挙から選択されるがこれらに限定されない）により処理される。
【０２２８】
他の非限定的な実施形態において、支持平面Ｚおよび相対的残存量ＲＩＩの双方は、方向デコンポジション（例えば、要素のサブセット、ならびに方向的傾き、およびその平均と予測平均との間の差異に対応するエンコードパラメータを選択する）、時間デコンポジション（例えば、時間に沿った要素のサブセットを選択し、その時間的平均および時間的傾きをエンコードする）、非線形量子化スキーム、アダマール変換、ＤＣＴ変換、ＦＦＴ変換、ウェーブレット変換等を含むがこれらに限定されない列挙から選択される好適なオペレーションにより変換される。これらの非限定的な実施形態のいくつかにおいて、スパンの変換残存量は、同一の著者の他の特許出願において説明されるマルチスケール変換法に基づくより低い品質レベルにおけるスパンの描出に少なくとも部分的に基づいて、エンコードおよびデコードされる。
【０２２９】
他の非限定的な実施形態において、支持平面計算機１４０は、対応するセットの残存量１３０―１，...，１３０―ｎの動きを補償された描出の加重平均ではなく、（適切に動き補償された）元のスパン１００―１，...，１００―ｎの加重平均を処理することにより、支持平面Ｚ１５０を算出する。本方法は、元のスパンに基づいて支持平面Ｚ１５０をコンピューティングすることにより、支持平面は、異なる情報を含み、従って異なる結果を生成するが、実質的に類似する。そのような実施形態のうち１つにおいて、以下の数学的式は、エンコーダにおいて実行されるオペレーションおよびデコーダにおいて行われる再構成処理を説明する。
【数２９】
2015519016.tif 000031
【０２３０】
他の非限定的な実施形態において、支持平面Ｚ１５０は、支持平面Ｚ１５０が支持する絶対的残存量Ｒ１３０―１，...，１３０―ｎのセットより高い品質レベル（例えば、より高い解像度）を有する。そのような実施形態において、支持平面Ｚ１５０は、支持平面Ｚ１５０の品質レベルを増加させることにより、異なる位置（映像の場合、サブピクセル位置を含む）における実質的に同一のオブジェクトを表す複数のスパンの動きを補償された描出からもたらされるので、エンコーダは、支持平面Ｚ１５０がサブ要素の精度を用いて共通の残存量情報を格納することを可能にし、本質的に、支持平面Ｚ１５０に格納された時間相関情報の量を最大化する。
【０２３１】
他の非限定的な実施形態において、エンコーダは、各スパン１００―１、１００―２，...，１００―ｎに対して部分（例えば、画像の区域）を規定し、絶対的残存量Ｒ１３０を生成するべく支持平面Ｚ１５０は、処理されない。そのような実施形態のうちの１つにおいて、エンコーダは、１または複数の所与のスパンについて、残存量情報が他の隣接スパンの残存量情報に相関しない画像部分を識別する（例えば、ビデオ信号の例の場合、例えば、それらの部分は、当該所与のスパンの持続時間についてのみ可視であったオブジェクトに対応するため）。その結果、エンコーダは、スパンの当該部分に対応する記述的情報を生成する。支持平面Ｚ１５０を生成するとき、時間に相関しない情報により支持要素情報を「希釈」することを回避するように、当該部分のコンテンツは処理されない。同時に、絶対的残存量Ｒ１３０―１，...，１３０―ｎのセットを再構成する場合、当該部分に対応する相対的残存量ＲＩＩ１６０―１，...，１６０―ｎのサブセットは、まず、支持平面Ｚ１５０の動きを補償された描出の対応する要素と組み合わせることなく、絶対的残存量Ｒ１３０を生成するべく直接に処理されることになる。デコーダ側（または、エンコード処理中のシミュレーションデコーダ内）で、デコーダは、所与のスパン１００―１に対して絶対的残存量Ｒ１３０の再構成を支持するべく、支持平面Ｚ１５０を活用するべきでない部分についての記述的情報を受信することになる。結果として、デコーダは、２つの異なるアプローチに従って絶対的残存量Ｒ１３０を再構成し、支持平面Ｚ１５０を適用しなければならない部分については
【数３０】
2015519016.tif 000032
であり、支持平面Ｚ１５０を適用してはならない部分については
【数３１】
2015519016.tif 000033
である。
【０２３２】
他の非限定的な実施形態において、スパン１００―１、１００―２，...，１００―ｎのシーケンスは、複数のサブシーケンス（「ロット」）に分割され、エンコーダは、当該ロットのそれぞれに対して支持平面Ｚを生成する。所与のロットのスパンに対する絶対的残存量は、当該所与のロットの支持平面Ｚに含まれる情報に少なくとも部分的に基づいて、デコーダ（またはエンコード処理におけるシミュレーションデコーダ）により再構成される。具体的には、所与のロットの所与のスパンに対する所与の１セットの絶対的残存量は、１セットの相対的残存量を、当該任意のロットの支持平面Ｚの動きを補償された描出と組み合わせることにより生成される（動き補償は、当該任意のスパンのサンプリング位置を参照して行われる）。
【０２３３】
他の非限定的な実施形態において、所与のロットＬ１のスパンに対する絶対的残存量Ｒは、当該所与のロットに対する支持平面ＺＬ１および１または複数の隣接ロットに対する支持平面ＺＬｎを含む複数の支持平面ＺＬ１，...，ＺＬｎに少なくとも部分的に基づいて、デコーダにより再構成される。そのような実施形態にうちの１つにおいて、所与のロットの所与のスパンに対する所与のセットの絶対的残存量Ｒは、１セットの相対的残存量ＲＩＩを、当該所与のロットの支持平面Ｚの動きを補償された描出と、隣接ロットの支持平面Ｚの動きを補償された描出との加重平均と組み合わせることにより生成され、双方の動き補償オペレーションは、当該所与のスパンのサンプリング位置に対して実行される。他の実施形態において、更に３つ以上の支持平面Ｚは、特定のセットの絶対的残存量Ｒの再構成を支持する。エンコーダがロットに対するエンコード済みデータを完成することができる前に複数のロットを処理することを必要とするために、潜在的にエンコード遅延が増加するにもかかわらず、隣接ロットの支持平面Ｚを活用することにより、そのような実施形態が、異なるロットに属するスパン間の潜在的に突発の不連続性を減少させることを可能にする。
【０２３４】
他の非限定的な実施形態において、所与のロットＬ１のスパンに対する絶対的残存量Ｒは、当該所与のロットの支持平面ＺＬ１に基づいてデコーダにより再構成され、２つまたはそれ以上の隣接ロットの複数の支持平面ＺＬ１，...，ＺＬｎは、なおもより高いアグリゲーションレベルの支持平面ＺＩＩに基づいてエンコードされる。所与の各支持平面ＺＬ１，...，ＺＬｎは、（動き補償が、所与の各支持平面のサンプリング位置を参照して実行される）支持平面ＺＩＩの動きを補償された描出を、対応する１セットの相対的残存量と組み合わせることにより再構成される。そのような非限定的な実施形態のいくつかにおいて、エンコーダは、支持平面に対するアグリゲーションレベルの段的階層を生成し、なおもより高いアグリゲーションレベルにおける追加の高次支持平面に基づいて、高次支持平面もエンコードされる。非限定的な実施形態において、ロットサイズは、２つのスパンに等しく、エンコーダは、利用可能な計算リソースおよび最大のエンコード遅延に基づいて所与のアグリゲーションレベルまでの支持平面を統合する。
【０２３５】
他の非限定的な実施形態において、支持平面Ｚ１５０は、動き補償オペレーションを実行することなく生成される。その結果、デコーダで、相対的残存量ＲＩＩ１６０を支持平面Ｚ１５０と組み合わせることのみにより、絶対的残存量Ｒ１３０は生成される
【０２３６】
他の非限定的な実施形態において、支持平面計算機１４０は、支持平面Ｚ１５０および相対的残存量ＲＩＩ１６０―１，...，１６０―ｎのセットを生成する以外に、１または複数のセットの相対的残存量ＲＩＩに対応する記述的情報のセット（すなわち、メタデータ）も生成する。所与の１セットの絶対的残存量Ｒの再構成オペレーション中に、デコーダ（またはエンコード処理におけるシミュレーションデコーダ）は、対応する１セットの記述的情報により指定されたオペレーションに従って支持平面Ｚ１５０および対応するセットの相対的残存量ＲＩＩを処理する。そのような実施形態のうち１つにおいて、当該記述的情報は、限定されないが、（例えば、実質的に同一のシーンの照明の変化を容易に考慮するように）乗算パラメータを含み、動きを補償された支持要素情報に適用する。
【０２３７】
非限定的な実施形態において、支持平面Ｚを活用するマルチ予測エンコード法は、画像のシーケンスを直接にエンコードするべく活用され、すなわち、全てゼロに等しい予測Ｕを仮定する。
【０２３８】
他の非限定的な実施形態において、マルチ予測エンコード法は、時間的な段的階層法を用いてエンコードされた信号の文脈において使用される。そのような実施形態のうちの１つにおいて、エンコーダは、信号の各ロットＬの各ＬＯＱ  Ｋのスパンに対する支持要素
【数３２】
2015519016.tif 000034
を生成する。同一のＬＯＱ  Ｋの異なるロットの支持平面は、支持平面のアグリゲーションレベルの段的階層においてエンコードされる。そのような実施形態において、各品質レベルにおいて、支持平面
【数３３】
2015519016.tif 000035
は、１セットの要素（すなわち、各ロットに対する１つの二次元平面）におけるロットの時間相関情報を伝達する。所与のＬＯＱ  Ｋのスパンは、より低いＬＯＱ（Ｋ―１）の好適な予測子スパン（好適なオペレーションおよびスケール係数を活用することにより空間もしくは時間、または両方においてアップサンプリングされた）、ＬＯＱ  Ｋに対する支持平面
【数３４】
2015519016.tif 000036
、動きに関する記述的情報、および相対的残存量データＲＩＩの好適なセットに基づいて再構成される。本質的に、支持平面は、１セットの要素における所与のロットの残存量データの時間相関情報を伝達し、デコーダが、所与のＬＯＱのスパンを再構成することを可能にする絶対的残存量データについての好適な予測を生成することを可能にする。ロット全体での絶対的残存量の相関は、アグリゲーションレベルの段的階層における隣接ロットの支持平面をエンコードすることにより、効果的に活用される。
【０２３９】
単純な非限定的な例を用いて残存量データの支持平面計算および送信する場合の利点をより良く解明するには、静止画像（すなわち、全てのスパンが同一である）のビデオクリップを表すスパンのロットの場合を考慮すれば十分である。いずれの品質レベルにおいても、支持平面は、ロットの全てのスパンを再構成するのに必要な情報を完全に伝達する。スパンの全てをデコードおよび再構成するべく、更なる相対的残存量を送信する必要はないであろう（すなわち、相対的残存量の１００％はゼロに等しく、この好適なエントロピーエンコーダは、非常に限定された量の情報によりエンコードすることができる）。勿論、これは極端な例の場合であるが、ロットが緩慢な動きのシーンに属し、もしくはシーンの大きな部分が静止し、または動き補償情報が動きを補正された絶対的残存量に対して緩慢な動き／静止したシーンと類似した相関レベルを再生することができる場合、支持要素情報に基づいて絶対的残存量をエンコード／デコードすることの利益を理解するのは容易である。
【０２４０】
いくつかの非限定的な実施形態において、デコーダは、信号の特定空間部分（例えば「タイル」）のみに対応する相対的残存量データを受信するように構成され、従って、当該所与の部分のみのための所与のＬＯＱで信号の描出を再構成し、ズーム機能を効果的に実装する。換言すれば、そのような非限定的な実施形態において、デコーダは、所与のＬＯＱで全信号を再構成するのに必要な絶対的残存量の再構成されたセットの特定空間部分（「タイル」）のみに対応する再構成データを受信する。その結果、デコーダは、絶対的残存量のセット部分のシーケンスのみを再構成し、第１のセットの再構成データを処理し、支持平面を生成する段階と、第２のセットの再構成データを処理し、相対的残存量のサブ平面（例えば、相対的残存量のタイル等）のシーケンスを生成する段階と、当該相対的残存量のサブ平面のそれぞれを、当該支持平面に少なくとも部分的に基づいて生成された対応する１セットの基準値と組み合わせ、絶対的残存量のタイルのシーケンスを生成する段階とを備えるオペレーションを実行し、当該相対的残存量のサブ平面のそれぞれは、絶対的残存量の平面のシーケンスにおける絶対的残存量の平面のタイルに対応する。
【０２４１】
他の非限定的な実施形態において、デコーダ（およびエンコーダ内のシミュレーションデコーダ）は、１つの支持平面に基づいて所与のＬＯＱのスパンに対する絶対的残存量を生成するのではなく、隣接支持平面（すなわち、隣接ロットの支持平面）の動きを補償された描出の加重平均に基づいて絶対的残存量を生成する。
【０２４２】
他の非限定的な実施形態において、１または複数の支持平面Ｚは、段的階層の特定部分（例えば、対応する品質レベルにおける対応するロットよりも小さいスパンのサブシーケンス）についてエンコード／デコードされる。
【０２４３】
非限定的な実施形態において、支持平面は、特定の特性の信号および圧縮要件に従うエンコーダにより生成される（非限定的な例では、支持平面の送信が利益をもたらさないような時間に関連する信号特性の場合に、支持平面計算をスキップするのは、エンコーダに次第である）。
【０２４４】
非限定的な実施形態において、所与のロットＬの支持平面
【数３５】
2015519016.tif 000037
の段的階層も、段的階層法に従ってエンコードされる。そのような実施形態において、所与のロットが１つのスパンからなる品質レベルの全てについて、支持平面Ｚは、そのスパンに対する絶対的残存量Ｒと一致する。支持平面Ｚは、より低い品質レベルの支持平面の描出に基づいて、二次元段的階層に応じてエンコードされる。ボトムレベルにおいては、実施形態が量子化関数Ｑ（・）を残存量データに適用すると仮定して、支持平面Ｚは、単に、Ｓの量子化の逆量子化描出であり、あるいは数学的には、
【数３６】
2015519016.tif 000038
である。
【０２４５】
以下の（より高い）品質レベルについては、デコーダ（ならびにエンコーダ内のシミュレーションデコーダ）は、より低い品質レベルでＺの描出を処理し、好適なアップサンプリングオペレーションにより、予測Ｖを生成する。
【数３７】
2015519016.tif 000039
【０２４６】
全ての品質レベルについて、エンコーダは、この単純な非限定的実施形態において、ロットのスパンにおける絶対的残存量のセットの動きを補償された描出の単純演算平均により、「理想的な」（例えば、事前量子化および事前変換）支持平面Ｓの描出を生成する（各動き補償オペレーションは、支持要素Ｓに対して選択されたサンプリング位置を参照して実行される）。
【数３８】
2015519016.tif 000040
【０２４７】
次に、所与のＬＯＱに対する支持平面残存量ＲＩは、Ｓとその予測Ｖとの間の差異として算出される。
【数３９】
2015519016.tif 000041
【０２４８】
結果として、デコーダ（ならびにエンコーダ内のシミュレーションデコーダ）で再構成された支持要素Ｚの描出は、
【数４０】
2015519016.tif 000042
である。
【０２４９】
エンコーダにより実行される残余のオペレーションは、他の非限定的な実施形態についてすでに説明したものと実質的に類似する。エンコーダは、ＲおよびＺに基づいて相対的残存量ＲＩＩを算出する。
【数４１】
2015519016.tif 000043
【０２５０】
従って、デコーダ（ならびにエンコーダ内のシミュレーションデコーダ）は、最期に信号Ｙの描出を再構成することができる。
【数４２】
2015519016.tif 000044
【０２５１】
非限定的な実施形態において、ロットの支持平面は、ロットにおいて中央揃えされた平面の段的階層である（すなわち、動き補償オペレーションのために活用されて、サンプリング位置は、ロットの最上スパンのサンプリング位置の平均に等しい）。
【０２５２】
別の非限定的な実施形態において、支持平面は、最も高い品質レベルにあるロットのスパンのサンプリング位置の平均よりも低いか、または等しい、最も高い品質レベル（例えばＬＯＱ＃０）の整数のサンプリング位置を有する平面の段的階層である。このように、支持チェーン平面は、信号の元のサンプリングレートと一致するサンプリング位置において常に中央揃えされ、（バランスをとった動き補償、サンプリングレートジャダー、フレーミング、および「利用可能でない」要素を図示するときに説明した）動き補償オペレーションを単純化する。
【０２５３】
信号の再構成を支持することは別として、段的階層法を用いてエンコードされた支持平面は、それ自体としては確かに副生物（すなわち、残りの信号とは独立して再構成され得る自給式段的階層）である。これは、いくつかの非限定的な実施形態により利用される。例えば、非限定的な実施形態において、デコーダは、所与のＬＯＱにおけるロットに対する支持平面再構成データをデコードすることのみに処理を限定し、対応するロットの持続時間中に、支持平面に基づいて画像を表示することができる。そのような実施形態の例示的用途は、非常に低い帯域幅の接続、あるいは少量のリソース（例えば、メモリまたは計算能力）を有するデコーダ、更には速くて近似する信号のレンダリングを必要とする（例えば、加速ナビゲーション、速い転送もしくは速い巻き戻し再生等）状況の場合である。本質的に、支持要素は、所与の品質レベルにある信号ロットに関する平均的情報を伝達するからである。
【０２５４】
他の非限定的な実施形態において、エンコーダは、現在のロットおよび／または次のロットを活用するのではなく、先にエンコードされ、送信されたスパンを処理することにより、支持平面を計算する。このアプローチは、支持平面を計算するべくエンコーダ側で使用される同一のスパンがデコーダ側ですでに利用可能であるという利点を有し、従って支持平面再構成データをデコーダに送信する必要がない。また、本アプローチは、エンコーダが、エンコード処理を開始する前に完全なロットのスパンが利用可能になるまで待機することができない場合に、低レイテンシ条件（例えば、限定されないが、ビデオ会議の用途）において有用である。
【０２５５】
他の非限定的な実施形態において、支持平面は、スパンの移動平均を処理することにより算出され、原則として支持平面に関するいずれの情報もデコーダに送信することを要求しない（しかし、別の非限定的な実施形態において、エンコーダで利用可能な情報とデコーダ側との間の整列を保証するべく、そのような情報は、やはり周期的に送信される）。非限定的な例として、移動平均として算出される支持平面は、長い遅延（例えば、長いロットを使用することによる）を引き起こす可能性はないが、それでも時間の相関が非常に高いビデオ会議等、リアルタイムの低レイテンシ用途において有用である。そのような実施形態において、デコーダは、信号スパンがデコードされ、再構成されると、各ＬＯＱの支持平面を算出し、更新する。非限定的な実施形態においては、単純な移動平均スキームが採用される。別の非限定的な実施形態において、異なるスパンから生じる情報は、指数関数的減衰加重システムを活用することにより平均される。なおも別の非限定的な実施形態において、精度に基づく加重アプローチは、同一の著者の先の特許出願において説明される方法に基づいて使用される。本質的に、エンコーダは、デコーダに各スパンの精度値（例えば、スパンの統計的精度または逆分散に対応する）を割り当てて送信し、デコーダは、支持チェーンが計算された前のサンプリング位置に対する支持チェーンの描出を含むバッファＺｏｌｄ、およびＺｏｌｄの対応する各要素に対する各精度値を含むバッファｐｏｌｄの２つのバッファを生成する。任意のＴ＝ｔにおいて、サンプリング位置ｔにあるスパンの支持チェーンに対する「寄与」（例えば、その対応するセットの絶対的残存量Ｒ）をＺｎｅｗと定義し、バッファにおける新しい値を以下のように算出する。式中、小型大文字は、大文字の対応平面における所与の座標（ｘ，ｙ）の特定要素を表す。
【数４３】
2015519016.tif 000045
【０２５６】
動き補償オペレーションは、算出される新しい支持チェーンのサンプリング位置に対して相対的に算出される。
【０２５７】
ＭＣｘｙ（・）は、要素ＭＣ（・）の平面の座標（ｘ，ｙ）を有する要素を識別する。
【０２５８】
β、ａ、およびｂは、好適なパラメータである。例示的な一実施形態において、ａ＝ｂ＝１である。
【０２５９】
時間の相関における不連続性を考慮するべく、非限定的な実施形態は、最新の所与のスパンの値とバッファｚｏｌｄに含まれる対応する動きを補償された値との間の差異が好適な閾値より高い場合に、座標（ｘ，ｙ）におけるｐｏｌｄの値をゼロに「リセット」する、以下のオペレーションを追加する。
【数４４】
2015519016.tif 000046
ならば、
【数４５】
2015519016.tif 000047
である。
【０２６０】
すでに言及したように、時間次元に沿った支持平面を活用することは、共通予測子法（または「多方向予測エンコード」法）の用途についての非限定的な例としてのみ意図されるべきである。いくつかのスパンの情報を（予測子の超平面に）統合し、そのような統合情報を処理することにより生成された予測に対する残存量をエンコード／デコードするアプローチは、信号の他の次元（すなわち、必ずしも時間でない）にも、また潜在的に、同一信号の２つ以上の次元にも適用され得る。時間次元に適用する場合、先に説明したように、いくつかの形式の動き推定および動き補償を使用する実施形態を採用することは、通例である。しかし、信号の他の次元および他のタイプに対しても、支持予測子法は、スパンを支持平面に統合する（従って相関情報を「変換する」）前に、スパンの「再整列」を図る補償処理をの形式を用いて実装され得る。例えば、非限定的な実施形態は、マルチチャネルオーディオ信号の異なるチャネル全体で支持予測子法を採用する。そのような実施形態は、段的階層法に従ってマルチチャネルオーディオ信号をエンコードおよびデコードし、各チャネルのスパンは、要素のセット（非限定的な例としては、スパンの平均振幅値および平均ピッチ値）として表され、異なるオーディオチャネルの対応するスパンに対する残存量データは、１セットの支持要素残存量データに従ってエンコードされ、好適な記述的情報に従ってチャネル全体で（従って、本質的に、マイクに対する音声源の三次元位置に基づいて異なるチャネルにおける同一音声の異なる時間位置を考慮して）支持要素残存量データの「動きを補償する」（すなわち、本質的に、相関スパンを再整列することに対応するオペレーションを適用する）。
【０２６１】
別の非限定的な実施形態は、ビデオ信号の時間次元について図示したものと類似するマルチ予測法を、容積測定信号の１または複数の次元に適用することにより、広大な容量測データをエンコードおよびデコードする。
【０２６２】
別の非限定的な実施形態は、二次元スパンのシーケンスについて図示したものと類似する方法を、三次元スパンのシーケンス（すなわち、支持平面Ｚは要素の三次元の超平面である）に適用することにより、容量測定ビデオをエンコードおよびデコードする。
【０２６３】
先に記述したように、説明した非限定的な実施形態から、１または複数の支持予測子に基づいてエンコード／デコードする方法が複数の利点を有することが明らかである。まず第１に、支持平面により残存量データの情報エントロピーを低減することが可能になる。時間ベースの信号のために活用する場合、時間次元に沿った支持平面は特に有用であり、それによって、エンコーダは特に、ロットの切断、シーンの切断、および（存在すれば）動き推定／補償を適切に実行する。  また、支持平面は、段的階層法のエンコード／デコード中に適用される場合、非常に有用である。
【０２６４】
一般に、スパンのシーケンスの相関が高ければ、絶対的残存量を予測するときに支持平面により提供される利益は、それだけ大きくなる。
【０２６５】
図３Ｂは、支持要素情報に基づいて多次元平面要素のシーケンスをエンコードする段階を実装する、非限定的な実施形態を図示する例示的な図である。
【０２６６】
平面３００―１，...，３００―Ｎは、エンコーダ３１０により処理され、エンコーダ３１０はエンコード済みデータのストリームを生成する。具体的には、エンコード済みデータの当該ストリームは、エンコード済みデータ＃１  ３２０と、記述的情報３３０―１，...，３３０―Ｎのセットと、エンコード済みデータ＃２  ３４０―１，...，３４０―Ｎのセットとを含む。
【０２６７】
エンコード済みデータ＃１  ３２０は、支持再構成器３５０により受信および処理され、支持再構成器３５０は支持平面３５５を生成する。
【０２６８】
支持平面３５５は、デコーダにより基準線として活用され、元の平面３００―１，...，３００―Ｎに対応する好適な描出を再構成する。具体的には、支持平面３５５は基準再構成器３６０により処理され、基準再構成器３６０は基準平面３６５―１，...，３６５―Ｎを生成し、それぞれは、記述的情報３３０―ｉの対応するセットに基づいて支持平面３５５を処理することにより得られる。非限定的な実施形態において、基準平面３６５―ｉのそれぞれを取得する画像処理オペレーションは、記述的情報３３０―ｉのセットに対応する動き情報に基づく支持平面３５５での動き補償オペレーションを実行する段階を含む。
【０２６９】
相対的残存量再構成器３７０は、エンコード済みデータ＃２  ３４０―１，...，３４０―Ｎのセットを受信および処理し、相対的残存量３７５―１，...，３７５―Ｎのセットを生成する。
【０２７０】
次に、デコーダは、基準平面３６５―１，...，３６５―Ｎを相対的残存量平面３７５―１，...，３７５―Ｎと組み合わせることにより、再構成済み平面３８０―１，...，３８０―Ｎを生成する。
【０２７１】
図４Ａは、マルチ予測エンコードを用い、具体的には残存量データをエンコードするべく支持平面も活用する、時間的な段的階層においてエンコードされた三次元の時間ベースの信号の非限定的な例の実施形態を図示する、例示的な図である。例示の入力信号は、図１Ｅにおいて説明したものと同一であり、あらゆる実際的目的のために、長時間サンプリングされた二次元フレームのシーケンスからなるビデオ信号と考えることができる。
【０２７２】
図４Ａは、スパンのぞれぞれに対応する絶対的残存量Ｒ（スパン事態とは異なり）および示すＬＯＱのそれぞれにおけるロットのそれぞれに対する支持平面のセットを示すので、グラフィック表現は、図１Ｅにおいて採用されたものと異なる（具体的には、グラフィック表現は、スパンのそれぞれの異なる持続時間およびサンプリング位置を表さない）。図４Ａは、異なる品質レベルにおけるスパンの残存量データ量が、どのように空間解像度（すなわち、要素の量）を徐々に低下させるかを図示し、フレーミングを支持平面に適用するＬＯＱおよびロットに対して、所与の品質レベルにおける所与の支持平面の描出が、当該支持平面により支持される同一の品質レベルのスパンに対応する絶対的残存量のセットより高い量の要素を有する。
【０２７３】
この非限定的な実施形態において、ロットの支持平面は、ＬＯＱ＃０におけるロットのスパンにおけるサンプリング位置の平均よりわずかに低いかこれに等しい、ＬＯＱ＃０の整数のサンプリング位置で中央揃えされる。具体的には、ロット１の支持平面ＳＰ１のチェーンは、サンプリング位置ｔ＝４で中央揃えされるが、ロット２の支持平面ＳＰ２のチェーンは、サンプリング位置ｔ＝１１で中央揃えされる。
【０２７４】
特定の例の場合、ＬＯＱ＃―３までのロットに対する絶対的残存量を再構成することは、双方のロットにとり、ただ支持チェーンを再構成することと同等であり、すなわち、絶対的残存量１３４―４のセットは、支持平面ＳＰ１―４と一致し、絶対的残存量１３３―４のセットは、支持平面ＳＰ１―３等と一致する。これと異なり、支持平面は、品質レベルに対する別個の独自の識別を有し、ロットは、２つ以上のスパンにより表される。例えば、ロット１のＬＯＱ＃―２については、支持平面ＳＰ１―２は、絶対的残存量Ｒ１０２―２および１０２―６のセットと異なる。
【０２７５】
エンコードおよびデコードのオペレーションは、上記に図示する方法により機能する。エンコーダ（「エンコーダ」）として構成される信号プロセッサは、元の品質レベル（「ＬＯＱ＃０」）で信号の描出（例えば、スパンのそれぞれが所与のサンプリング位置および所与の持続時間を特徴とする、一定のサンプリングレートでの二次元スパンのシーケンス）を受信する。エンコーダは、信号を処理し、動き情報を生成することにより開始する。当該動き情報に少なくとも部分的に基づいて、エンコーダは、前および後続のシーケンス（すなわち「バッチ」）とは別にエンコードするスパンの好適なシーケンスを識別する。また、エンコーダは、好適なエンコードパラメータに少なくとも部分的に基づいてバッチを１または複数の「ロット」のスパンに分割する。より具体的には、図４Ａに図示するように、エンコーダは、１３のスパンのバッチを識別し、８つのスパンからなるロット１、および５つのスパンからなるロット２に分割する。
【０２７６】
各ロットにおいて、エンコーダは、好適なダウンサンプリングおよび／もしくはブレンド、ならびに／またはダウンブレンドのオペレーション（スパン全体で動きを適切に考慮するべく、動き補償オペレーションも含む）の実行を開始し、信号のより低い品質レベルを生成する。より低い品質レベルのスパンが、より高い品質レベルで動きを補償されたスパンの組み合わせの結果である場合（より高い品質レベルでのスパンの空間的ダウンサンプリングとは異なり）、エンコーダは、追加の行および列を、より低い品質レベルのスパンに追加することにより、示される実画像（「目的平面」）にわたる、ある程度の「フレーミング」を導入し、信号は、その品質レベルで表示しなければならない。読み易さのために、信号の実際のスパンは、図４Ａにおいて示さない。
【０２７７】
ロットのダウンサンプリングした描出の次元のうち１つが１つの要素の解像度に達すると、後続のより低い段のダウンサンプリングは、残存する次元のみに沿ってダウンサンプリングすることにより進行する。例えば、ＬＯＱ＃―２で、ロット２は、１つの要素に等しい時間解像度に達し（すなわち、ロット全体は、１つのスパンのみで表される）、従って、ＬＯＱ＃―２からＬＯＱ＃―３へのロット２のダウンサンプリングは、空間次元（通常、はるかに高い解像度を有する）のみに沿ってダウンサンプリングすることにより進行する。
【０２７８】
各ロットにおけるダウンサンプリング処理は、ボトム品質レベルに達するまで継続する。図４Ａの非限定的な例において、ボトムのＬＯＱはＬＯＱ＃―４である。
【０２７９】
エンコーダがボトムのＬＯＱ＃―４を生成すると、エンコーダは、ボトムレベルの絶対的残存量１３４―４および１３５―１１のセットを生成し（この単純な非限定的実施形態において、ボトムレベルの２つのスパンの要素を量子化することにより）、また、ＬＯＱ＃―４において、絶対的残存量１３４―４および１３５―１１の当該セットは、ＬＯＱ＃―４でロット１およびロット２の支持平面ＳＰ１―４およびＳＰ２―４とそれぞれ一致する。結果として、ＬＯＱ＃―４で、支持平面の残存量ＲＩは、絶対的残存量Ｒと一致し、相対的残存量ＲＩＩは、全てゼロに等しい。
【０２８０】
次に、エンコーダは、デコーダ側で行うオペレーションをシミュレートすることを開始し、好適なアップサンプリングオペレーションを行い、ＬＯＱ＃―３のための予測スパンを生成する。この非限定的な実施形態において、エンコーダは、時間的アップサンプリングオペレーションを活用し、カーネルは、ＬＯＱ＃―１までで１つの次元毎に２つの要素を、また、ＬＯＱ＃―１からＬＯＱ＃０までで１つの次元毎に４つの要素を含む。先にすでに言及したように、これは、より低いＬＯＱで、要素が時間および空間の両方においてより遠く、従って要素間の相関が比較的ローカルである可能性があるという事実によるものである（例えば、そのような相関は限定的な利益しかもたらさず、相関しないスパンへの「寄与を求めること」は、時に非生産的でもある）。
【０２８１】
ダウンサンプリングにより生成した段的階層のダウンサンプリングしたスパンと予測スパンを比較することにより、エンコーダは、絶対的残存量１３３―４および１３３―１１のセットを生成し、このセットは、ＬＯＱ＃―３で２つの支持平面ＳＰ１―３およびＳＰ２―３と再び一致する。
【０２８２】
エンコーダは、ＬＯＱ＃―３の再構成された描出に基づいてＬＯＱ＃―２のための予測スパンを生成することにより進行する。ダウンサンプリングにより生成した段的階層のダウンサンプリングしたスパンと予測スパンを比較することにより、エンコーダは、絶対的残存量１３２―２、１３２―６および１３２―１１のセットを生成する。ＬＯＱ＃―２で、ロット１は、２つのスパンからなり、従って支持平面は、いずれのセットの絶対的残存量とももはや一致しないが、実質的に、絶対的残存量１３２―２および１３２―６の２つのセットを予測するために使用する１セットの支持要素である。従って、エンコーダは、まず、「理想的な」（すなわち、プレエンコードおよび再構成の）描出Ｓを算出することにより、支持平面ＳＰ１―２を算出して進行する。
【数４６】
2015519016.tif 000048
【０２８３】
式中、動き補償オペレーションは、支持平面ＳＰ１―２、すなわちｔ＝４のサンプリング位置に対して行われる。
【０２８４】
また、この非限定的な実施形態において、支持平面は段的階層法に従ってエンコードされるので、エンコーダは、次に支持平面のための再構成データを生成することに移り、ＬＯＱ＃―３で支持平面ＳＰ１―３に好適なアップサンプリングオペレーションを適用することにより、予測される支持平面Ｖの算出を開始する。次に、エンコーダは、支持平面残存量ＲＩを算出する。
【数４７】
2015519016.tif 000049
【０２８５】
結果として、エンコーダ（デコーダで行うオペレーションをシミュレートする）は、支持平面ＳＰ１―２の描出（数学的には「Ｚ」と記載される）を再構成する。
【数４８】
2015519016.tif 000050
【０２８６】
ここで、エンコーダは、支持平面ＳＰ１―２の（対応する各スパンのサンプリング位置に対する）絶対的残存量Ｒ１３２―２および１３２―６と、動きを補償された描出とのセットの間の差異を算出することにより、ロット１（図示せず）のＬＯＱ＃―２の２つのスパンに対する相対的残存量のセットを生成することができる。
【０２８７】
エンコーダは、同様にして最も高いＬＯＱまで進み、必要な再構成データの全て（例えば、この非限定的な例の場合、各ロットの各ＬＯＱに対する支持平面の残存量、相対的残存量、および記述的情報）を生成する。
【０２８８】
デコーダ側では、デコーダとして構成される信号プロセッサは、再構成データを生成するべく、本質的に、エンコーダ側でシミュレートされた同一のオペレーションを行う。デコーダは、やはり好適なデコードパラメータに基づいて、再構成するスパンのシーケンスを識別するべく、データストリームを受信し、同期マーカメタデータをデコードすることにより開始する。最も低いＬＯＱから開始して、デコーダは、より高いＬＯＱのスパンの予測を再構成し、支持平面データを再構成し、支持平面データを相対的残存量データと好適に組み合わせることにより絶対的残存量データを再構成し、結果として、より高いＬＯＱのスパンの描出を再構成する。
【０２８９】
好適なＬＯＱを再構成すると、信号プロセッサは、例えば、再生デバイスに送信することにより、ユーザに再構成された信号を提示する。また、受信した再構成データ、および／またはリアルタイムのデコードの制約、および／または他の制約（例えば、計算電力消費量の最小化、電力消費量の最小化、吸収帯域幅の最小化、再生速度の最小化等）、および／または特定の入力パラメータへの応答に応じて、デコーダは、信号の異なる部分に対する異なるＬＯＱでデコードを停止し得る。
【０２９０】
再度、図示した実施形態は、非限定的なものと考えられるべきであり、当業者は、これまでに論じた全ての非限定的な実施形態および方法を図４Ａに図示する例示的な実施形態とどのように組み合わせるかを容易に推測し得る。
【０２９１】
他の非限定的な実施形態において、所与のロットの所与のＬＯＱに対する支持平面は、動きを補償された絶対的残存量の時間に沿った加重平均を行うことによってではなく、実際に動きを補償されたスパンの時間に沿った加重平均を行うことにより、算出される。従って、所与のスパンの絶対的残存量は、相対的残存量を、所与のスパンの予測スパンと支持平面の動きを補償された描出との間の差異と組み合わせることにより得ることができる。そうは言っても、これらの実施形態は、デコーダに絶対的残存量を生成することは要求しない。デコーダは、動きを補償された支持平面を相対的残存量と組み合わせることのみにより所与のＬＯＱで信号の描出を生成することができるからである。そのような実施形態において、所与のＬＯＱに対する支持平面は、（相関残存量データとは異なり）ロットの相関情報の全てを実際には表す。これらの非限定的な実施形態は、特に、ＬＯＱの段的階層が存在しない場合に有用である。
【０２９２】
他の非限定的な実施形態において、隣接ロットの支持平面情報は、スパンの絶対的残存量の予測を生成するべく、（例えば、支持平面の動きを補償された描出の加重平均を計算することにより）好適に活用される。
【０２９３】
他の非限定的な実施形態において、隣接ロットの支持平面は、アグリゲーションレベルの段的階層でエンコードされる。
【０２９４】
図４Ｂおよび図４Ｃは、所与のＬＯＱの絶対的残存量に対する支持平面の非限定的な例の実施形態を図示する例示的な図であり、当該支持平面は、アグリゲーションレベルの段的階層においてエンコードされる。例示的な入力信号は、図４Ａにおいて説明されるものと同じであり、これを二次元フレームのシーケンスからなるビデオ信号と考えることができる（我々のスパンは方法の目的のためである）。しかし、ロットにおける信号バッチの分割は異なり、ＬＯＱ＃０に基づいてＬＯＱ＃―１を得るべく使用するダウンサンプリングオペレーションも異なる。具体的には、図４Ｃに図示するように、図１Ｅおよび図４Ａにおいて図示する非限定的な実施形態と異なり、この非限定的な実施形態において、ＬＯＱ＃―１は、単純な空間的ダウンサンプリング、すなわち、ＬＯＱ＃０と同一のサンプリングレートを維持することにより得られる。ＬＯＱ＃―１での描出の品質における過剰な低下を回避するべく、最上のＬＯＱのサンプリングレートが比較的低い類似の構成が好ましい。
【０２９５】
図４Ａのように、図４Ｂは、スパンのそれぞれに対応する絶対的残存量Ｒのセット（スパン自体を示すのではなく）および各ロットに対する支持平面を図解的に示す。読み易さのために、図４Ｂは、信号の最上のＬＯＱ＃０のみを示すが、図４Ｃは、次のより低いＬＯＱ＃―１の支持平面について生じることを示す。すでに言及したように、この具体的な非限定的実施形態において、図４Ｃに示す、次のより低い信号のＬＯＱは、最上のＬＯＱと同一のサンプリングレートを有するが、空間解像度はより低い。
【０２９６】
図４Ａにおいて示すものと同様に、支持平面ＳＰ１―０、ＳＰ２―０，...，ＳＰ６―０のそれぞれは、対応するロットの絶対的残存量のセットの再構成を支持する。しかし、図４Ａにおいて示すものとは異なり、より低い品質レベルで同一のロットの対応する支持平面に基づいてＳＰｉ―０を再構成するのではなく、この非限定的な実施形態は、ＬＯＱ＃０のために生成されたアグリゲーションレベルの特定の段的階層に基づいて支持平面をエンコードおよびデコードする（すなわち、空間的ダウンサンプリングを行うことなく、動きを補償された時間的ブレンドのみで）。
【０２９７】
具体的には、エンコーダとして構成される信号プロセッサは、ＬＯＱ＃０でスパンのそれぞれに対する絶対的残存量Ｒ１３０―１，...，１３０―１３のセットを生成し、支持平面ＳＰ１―０、ＳＰ２―０，...，ＳＰ６―０を生成し、各平面は、対応するロットの絶対的残存量のセットの動きを補償された描出を好適に組み合わせることにより得られる。この単純化した非限定的実施形態において、ロットは、最大で３つのスパンから作成されるように選択され、支持平面のサンプリング位置は、所与の各ロットの第１のスパンのサンプリング位置に等しい。支持平面ＳＰ１―０，...，ＳＰ６―０は、アグリゲーションレベル（ＬＯＡ）＃０のＬＯＱ＃０に対する支持平面と呼ばれる
【０２９８】
次に、エンコーダは、より高いアグリゲーションレベル（ＬＯＡ＃１）の高次支持平面ＳＰ１＋３−０−１に従い、支持平面ＳＰ１―０およびＳＰ２―０のエンコードに進む。具体的には、エンコーダは、ＳＰ１＋３−０−１のサンプリング位置に従い、ＳＰ１―０およびＳＰ２―０の動きを補償された描出を好適に組み合わせることによりＳＰ１＋３−０−１を生成する（本実施形態において、ＳＰ１−０のサンプリング位置、すなわち高次支持平面に組み合わされる平面のサンプリング位置のより低いものに設定される）。エンコーダは、次式により、当該平面と支持平面ＳＰ１＋３−０−１の動きを補償された描出との間の差異に基づいて支持平面ＳＰ１―０およびＳＰ２―０のそれぞれに対する支持平面残存量ＲＩ＊（図示せず）を生成する。
【数４９】
2015519016.tif 000051
式中、Ｓは、エンコーダにより最初に算出された支持平面（すなわちＳＰ１―０またはＳＰ２―０）を表し、Ｚは、デコーダ側で当該支持平面の再構成された描出（デコーダが再構成できるものに基づいて残存量データを好適に生成するべく、エンコーダによりシミュレートされた）を表す。
【０２９９】
同一の方法によれば、エンコーダは、高次支持平面ＳＰ５＋６−０−１に基づく高次支持平面ＳＰ３＋４−０−１、ならびに支持平面ＳＰ５―０およびＳＰ６―０に基づいて、支持平面ＳＰ３―０およびＳＰ４―０を再構成するのに必要な高次支持平面ＳＰ３＋４−０−１およびＳＰ５＋６−０−１、ならびに支持平面残存量ＲＩ＊のセット（各支持平面毎に１つのセット）を生成する。
【０３００】
別の非限定的な実施形態において、エンコーダは、ＬＯＡ＃２の１または複数のやはり高次支持平面（例えば、図４Ｂに示す高次支持平面ＳＰ１＋２＋３＋４＋５＋６−０−２）に従い、ＬＯＡ＃１における高次支持平面もエンコードする。これらの実施形態において、エンコーダは、支持平面残存量ＲＩ＊のセットを生成することを開始する前に（最も高いアグリゲーションレベルから開始することによりデコーダ側で再構成処理をシミュレートする前に）、最も高いアグリゲーションレベルまでの支持平面を生成する。
【０３０１】
デコーダ側において、デコーダは、最も高いアグリゲーションレベルにおけるロットのバッチに対する高次支持平面に対応する再構成データを受信し、デコードすることにより、ＬＯＡ＃０における支持平面（すなわち、絶対的残存量のセットを再構成するべく必要な支持平面）を再構成する。次に、デコーダは、次のより低いアグリゲーションレベルの支持平面に対する予測を再構成し、支持平面残存量ＲＩ＊の受信したセットに基づいて当該予測を調整する。デコーダは、最も低いアグリゲーションレベルまで（より正しくは、その低さまで）支持平面の段的階層を再構成する。
【０３０２】
図４Ｃに図示するように、信号の所与のバッチの全てのＬＯＱは、固有の支持平面のアグリゲーションレベルの段的階層を有する。この非限定的な実施形態において、所与のＬＯＱの支持平面の段的階層は、信号の他のＬＯＱの支持平面の段的階層から独立している。
【０３０３】
図５は、支持平面Ｚ１５０に基づいて平面１３０―１，...，１３０―ｎをエンコードおよびデコードする非限定的な実施形態を更に図示する。
【０３０４】
本実施形態は、本願の他の部分ですでに詳述したものと類似する方法に従って機能する。支持平面のジェネレータ５００は、記述的情報１５５に少なくとも部分的に基づいて入力平面１３０―１，...，１３０―ｎを処理し、支持平面Ｚ１５０を生成する。相対的残存量のジェネレータ５１０は、入力平面１３０―１，...，１３０―ｎ、記述的情報１５５、および支持平面Ｚ１５０を処理し、相対的残存量ＲＩＩ１６０のセットを生成する（当該セットのそれぞれは、特定の入力平面１３０―ｉに対応する）。エントロピーエンコーダ５２０は、記述的情報１５５、支持平面Ｚ１５０、および相対的残存量ＲＩＩ１６０のセットを処理し、エンコード済みデータ５３０―１５５、５３０―１５０および５３０―１６０をそれぞれ生成する。
【０３０５】
支持平面のデコーダ５４０は、エンコード済みデータ５３０―１５０を処理し、再構成された支持平面５―１５０を生成する。
【０３０６】
相対的残存量のデコーダ５４５は、エンコード済みデータ５３０―１６０を処理し、再構成された相対的残存量５―１６０のセットを生成し、当該セットのぞれぞれは、特定の入力平面１３０―ｉの再構成された描出に対応する。
【０３０７】
再構成器５５０は、再構成された支持平面５―１５０および再構成された相対的残存量５―１６０を処理し、再構成された平面５―１３０―１，...，５―１３０―ｎを生成する。
【０３０８】
図６は、支持平面により再構成された絶対的残存量に基づいて信号要素のセットをデコードする非限定的な実施形態を更に図示する。
【０３０９】
動き補償器６３０は、動き６１５に基づいて支持平面６１０および記述的情報を受信および処理し、動きを補償された支持平面６３５を生成する。動きを補償された支持平面６３５は、記述的情報６４５を用いて基準残留量の計算機６４０により処理し、基準残留量６５０の平面を生成する。
【０３１０】
基準残留量６５０は、コンバイナ６６０により相対的残存量６２０と組み合わされ、絶対的残存量６７０を生成する。
【０３１１】
絶対的残存量６７０は、コンバイナ６８０により予測６００と組み合わされ、描出Ｙ６９０を生成する。
【０３１２】
図７Ａおよび図７Ｂは、支持平面に基づく絶対的残存量のセットのエンコードおよびデコードの非限定的な実施形態を更に図示する。
【０３１３】
エンコーダとして構成される信号プロセッサにおいて、絶対的残存量１３０―１および１３０―２の平面は、支持平面のジェネレータ７００により処理され、支持平面Ｚ７５０およびメタデータ７５５を生成する。
【０３１４】
デコーダとして構成される信号プロセッサは、支持平面Ｚ７５０、動きに関するメタデータ７５５―１、および相対的残存量７６０―１を受信する。基準残留量の計算機７１０は、動き７５５―１に関するメタデータに基づいて支持平面Ｚ７５０を処理し、基準残留量７４０―１の平面を生成する。次に、コンバイナ７２０は、基準残留量７４０―１を相対的残存量７６０―１と組み合わせ、絶対的残存量１７３０―１の描出（すなわち、絶対的残存量１３０―１のエンコード済み平面に対応する再構成された描出）を生成する。
【０３１５】
図８は、本明細書における実施形態によるコンピュータ処理を提供するコンピュータシステム８００のブロック図である。
【０３１６】
コンピュータシステム８００は、パーソナルコンピュータ、処理回路、テレビ、再生デバイス、エンコードデバイス、ワークステーション、携帯式計算デバイス、携帯電話、タブレット、コンソール、セットトップボックス、ネットワーク端末、処理装置、スイッチとして動作するネットワークデバイス、ルータ、サーバ、クライアント等、コンピュータ化されたデバイスであるか、これらを少なくとも含み得る。
【０３１７】
以下の論述は、前述の信号プロセッサに関連する機能をどのように実行するかを示す基本的な実施形態を提供することに留意されたい。しかし、本明細書において説明するオペレーションを実行するための実際の構成は、各用途に応じて変更し得ることに留意されたい。
【０３１８】
示すように、この例のコンピュータシステム８００は、通信バス８１１を備え、デジタル情報を格納し、取得することができる非一時的コンピュータ可読記憶媒体等のコンピュータ可読記憶媒体８１２との通信を提供する。
【０３１９】
コンピュータシステム８００は、プロセッサ８１３、Ｉ／Ｏインターフェース８１４、および通信用インターフェース８１７を更に備える。
【０３２０】
一実施形態において、Ｉ／Ｏインターフェース８１４は、レポジトリ８８０、そして、存在すれば、スクリーンディスプレイ、オーディオスピーカ、キーボード、コンピュータおよびマウス等の周辺機器８１６への接続性を提供する。
【０３２１】
簡潔に上記で言及したように、コンピュータ可読記憶媒体８１２は、いずれの好適なデバイス、および／またはメモリ、光ストレージ、ソリッドステートストレージ、ハードドライブ、フロッピー（登録商標）ディスク等のハードウェアでもあり得る。一実施形態において、ストレージ媒体８１２は、信号プロセッサアプリケーション８４０―１に関連する命令を格納するように構成された非一時的ストレージ媒体（すなわち、非搬送波媒体）である。命令は、本明細書において論じるオペレーションのいずれかを行うべく、プロセッサ８１３等の各リソースにより実行される。
【０３２２】
通信用インターフェース８１７は、コンピュータシステム８００が、遠隔リソースから情報を取得し、他のコンピュータ、スイッチ、クライアント、サーバ等と通信するべく、ネットワーク８９０を介して通信することを可能にする。また、Ｉ／Ｏインターフェース８１４は、プロセッサ８１３がレポジトリ８８０から格納情報を取得し、または取得を試みることを可能にする。
【０３２３】
示すように、コンピュータ可読記憶媒体８１２は、処理８４０―２としてプロセッサ８１３により実行される信号プロセッサアプリケーション８４０―１を用いてエンコードされ得る。
【０３２４】
コンピュータシステム８００は、データおよび／または論理命令を格納するためのコンピュータ可読記憶媒体８１２を含むように実施され得ることに留意されたい。
【０３２５】
信号プロセッサアプリケーション８４０―１に関連するコードは、本明細書において図示される信号プロセッサおよび／または本明細書において論じる発明を実装するのに必要な他のリソースの機能を実装し得る。
【０３２６】
一実施形態のオペレーション中に、プロセッサ８１３は、コンピュータ可読記憶媒体８１２内に格納された信号プロセッサアプリケーション８４０―１の命令を立ち上げ、起動し、実行し、解釈し、または行うべく、通信バス８１１を介してコンピュータ可読記憶媒体８１２にアクセスする。信号プロセッサアプリケーション８４０―１の実行により、プロセッサ８１３において処理機能が生成される。換言すれば、プロセッサ８１３と関連する信号プロセッサの処理８４０―２は、コンピュータシステム８００におけるプロセッサ８１３内またはその上で信号プロセッサアプリケーション８４０―１を実行する１または複数の態様を表す。
【０３２７】
当業者は、コンピュータシステム８００が、他の処理、ならびに／または信号プロセッサアプリケーション８４０―１を実行するべく、リソースを処理するハードウェアの割り当ておよび使用を制御するオペレーティングシステムもしくは他のソフトウェア等のソフトウェアおよびハードウェアコンポーネントを含み得ることを理解するであろう。
【０３２８】
異なる実施形態によれば、コンピュータシステムは、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバ、ストレージデバイス、カメラ、カムコーダ、セットトップボックス、モバイルデバイス、スマートフォン、タブレット、ビデオゲームコンソール、ハンドヘルドビデオゲームデバイス等の大衆消費電子デバイス、スイッチ、モデム、ルータ等の周辺機器、または一般的に、いずれのタイプの計算または電子デバイスも含むがこれに限定されない、様々なタイプのデバイスのいずれかであり得ることに留意されたい。
【０３２９】
本明細書における技術は、階層的システムにおけるエンコードおよびデコードに非常に適していることに再度留意されたい。しかし、本明細書における実施形態は、そのような用途において使用することに限定されず、本明細書における技術は、他の用途にも同様に非常に適していることに留意されたい。
【０３３０】
本明細書において記載した説明に基づき、特許請求する主題の理解を通して提供するべく、多くの具体的な詳細を記載した。しかし、当業者は、特許請求する主題がこれらの具体的な詳細を用いずに実施し得ることを理他の例において、当業者に既知である方法、装置、システム等は、特許請求する主題を不明瞭にしないよう記載していない。詳細な説明のいくつかの部分は、コンピュータメモリ等のコンピューティングシステムメモリ内に格納したデータビットまたは二値デジタル信号に基づくオペレーションのアルゴリズムまたは記号表現の観点から提示されている。これらのアルゴリズムの説明または表現は、データ処理における当業者が他の当業者に作業内容を伝えるべく、使用する技術の例である。本明細書において、または一般に説明されるアルゴリズムは、所望の結果をもたらす、自己無撞着なシーケンスのオペレーションまたは類似の処理と考えられる。この文脈において、オペレーションまたは処理は、物理的数量の物理的操作を伴う。通常、必ずしもではないが、そのような数量は、格納し、転送し、組み合わせ、比較し、または操作することができる電気信号または磁気信号の形式を取り得る。基本的には共通に使用する理由ゆえに、そのような信号を、ビット、データ、値、設定、要素、記号、文字、用語、数、数字等と呼ぶことは時に便利である。しかし、これらおよび類似の用語の全てが適宜な物理的数量に関連し、単に便宜的なレベルであることを理解されたい。別途具体的に記載しない限り、以下の論述から明らかなように、本明細書を通して「処理」、「計算」、「算出」、「生成」、「決定」等の用語を使用する論述は、メモリ、レジスタ、もしくは他の情報ストレージデバイス、送信デバイス、またはコンピューティングプラットフォームのディスプレイデバイス内の物理電子的数量または磁気的数量として表されるデータを操作または変換する、コンピュータまたは類似の電子コンピューティングデバイス等のコンピューティングプラットフォームの動作または処理を指すことを理解されたい。
【０３３１】
本発明は、好ましい実施形態を参照して具体的に示され、説明されているが、当業者は、添付の特許請求の範囲により規定する本願の趣旨および範囲を逸脱することなく、形式における様々な変更および詳細を施し得ることを理解するであろう。そのような変形例は、本願の範囲に包含されることが意図される。従って、本願の上記の実施形態の説明は、限定的であることを意図しない。むしろ、本発明に対するいずれの限定も以下の特許請求の範囲において示される。
【図１Ａ】
2015519016.tif 000052
【図１Ｂ】
2015519016.tif 000053
【図１Ｃ】
2015519016.tif 000054
【図１Ｄ】
2015519016.tif 000055
【図１Ｅ】
2015519016.tif 000056
【図１Ｆ】
2015519016.tif 000057
【図１Ｇ】
2015519016.tif 000058
【図１Ｈ】
2015519016.tif 000059
【図２Ａ】
2015519016.tif 000060
【図２Ｂ】
2015519016.tif 000061
【図２Ｃ】
2015519016.tif 000062
【図２Ｄ】
2015519016.tif 000063
【図３Ａ】
2015519016.tif 000064
【図３Ｂ】
2015519016.tif 000065
【図４Ａ】
2015519016.tif 000066
【図４Ｂ】
2015519016.tif 000067
【図４Ｃ】
2015519016.tif 000068
【図５】
2015519016.tif 000069
【図６】
2015519016.tif 000070
【図７Ａ】
2015519016.tif 000071
【図７Ｂ】
2015519016.tif 000072
【図８】
2015519016.tif 000073
【国際調査報告】
2015519016.tif 000074
2015519016.tif 000075
2015519016.tif 000076
2015519016.tif 000077
2015519016.tif 000078
2015519016.tif 000079
2015519016.tif 000080
2015519016.tif 000081