(57)【要約】  コンピュータプロセッサハードウェアは、シーケンスにおける複数の原画像の各画像に対する要素設定を指定する、画像データを受信する。コンピュータプロセッサハードウェアは、複数の原画像全体で要素設定を分析する。次に、コンピュータプロセッサハードウェアは、シーケンスにおける複数の原画像の要素設定を利用し、１セットの共通画像要素の設定を指定する第１のエンコード済み画像データを生成し、共通画像要素の設定のセットは、シーケンスにおける原画像のそれぞれを実質的に再現する基準線である。
2015520575.tif 000002
【特許請求の範囲】
【請求項１】
シーケンスにおける複数の原画像の各画像に対する複数の要素設定を指定する画像データを受信する段階と、
前記複数の原画像全体で前記複数の要素設定を分析する段階と、
前記シーケンスにおける前記複数の原画像の前記複数の要素設定を利用し、１セットの複数の共通画像要素の設定を指定する第１のエンコード済み画像データを生成する段階とを備え、
前記１セットの複数の共通画像要素の設定は、前記シーケンスにおいて前記複数の原画像のそれぞれを実質的に再現するための基準線である、方法。
【請求項２】
前記シーケンスにおける所与の各画像について、
前記１セットの複数の共通画像要素の設定に基づいて、前記所与の画像の予備的描出を生成するのに必要な複数の画像処理オペレーションを指定する第２のエンコード済み画像データを生成する段階と、
複数の調整値を指定する第３のエンコード済み画像データを生成し、前記所与の画像の前記予備的描出の複数の設定を適用し、前記所与の画像の描出を実質的に再現する段階とを更に備える、請求項１に記載の方法。
【請求項３】
複数の調整値を指定する第２のエンコード済み画像データを生成し、前記１セットの複数の共通画像要素の設定に適用し、前記シーケンスにおける前記複数の原画像を再現する段階を更に備える、請求項１または２に記載の方法。
【請求項４】
前記１セットの複数の共通画像要素の設定は、１または複数の画像に対応し、複数の予測子画像のそれぞれは、前記シーケンスにおいて前記複数の原画像のうちの少なくとも１つの画像を実質的に再現する基準線である、請求項１から３のいずれか１項に記載の方法。
【請求項５】
複数のセットのエンコード済みデータを含むように前記第１のエンコード済み画像データを生成する段階を更に備え、
前記複数のセットのエンコード済みデータは、複数の品質レベルの複数の画像描出を指定する、請求項１から４のいずれか１項に記載の方法。
【請求項６】
より少ない複数の画像描出を含むように、前記第１のエンコード済みデータにより指定されたより低い連続した品質レベルのうち少なくとも１つを生成する段階を更に備える、請求項５に記載の方法。
【請求項７】
より低い連続した複数の解像度になるように、前記より低い連続した品質レベルで前記複数の画像描出のそれぞれをエンコードする段階を更に備える、請求項６に記載の方法。
【請求項８】
複数のセットのエンコード済みデータを含むように、前記第１のエンコード済み画像データを生成する段階を更に備え、
前記複数のセットのエンコード済みデータは、より高い複数の連続するアグリゲーションレベルで複数の画像描出を指定する、請求項１に記載の方法。
【請求項９】
より少ない複数の画像描出を含むように、前記第１のエンコード済みデータにより指定されたそれぞれのより高い連続したアグリゲーションレベルを生成する段階を更に備える、請求項８に記載の方法。
【請求項１０】
前記より低いアグリゲーションレベルにおける複数の画像描出と同一の解像度になるように、前記より高い連続したアグリゲーションレベルで前記複数の画像描出のそれぞれをエンコードする段階を更に備える、請求項９に記載の方法。
【請求項１１】
元のレベルの前記複数の原画像を第１のセットの複数のサブ集団に細分割することにより、
前記第１のエンコード済み画像データを生成する段階と、
前記第１のセットの前記複数のサブ集団のそれぞれについて、前記複数のサブ集団における前記複数の原画像の組み合わせを表すように第１のレベルでそれぞれの画像描出を生成する段階とを更に備え、
前記第１のセットの前記複数のサブ集団のうち少なくとも１つのサブ集団は、前記複数の原画像の少なくとも２つの画像を含む、請求項１に記載の方法。
【請求項１２】
前記複数の原画像の互いの類似性に応じて、前記複数のサブ集団のぞれぞれに含まれる複数の画像の数を変更する段階を更に備える、請求項１１に記載の方法。
【請求項１３】
前記複数の原画像のシーケンスを分析することにより生成される動き情報に応じて、前記複数のサブ集団のそれぞれに含まれる複数の画像の数を変更する段階を更に備える、請求項１１または１２に記載の方法。
【請求項１４】
前記第１のレベルで前記複数の画像描出を第２のセットの複数のサブ集団に細分割することにより、
第２のレベルで前記第１のエンコード済み画像データを生成する段階と、
前記第２のセットの複数のサブ集団のそれぞれについて、前記第２のセットの複数のサブ集団の各サブ集団において前記複数の画像描出の組み合わせを表す各画像描出を生成する段階とを更に備え、
前記第２のセットの複数のサブ集団のうち少なくとも１つのサブ集団は、前記第１のレベルの少なくとも２つの画像描出を含む、請求項１１から１３のいずれか１項に記載の方法。
【請求項１５】
前記画像データを分析する段階は、
前記複数の原画像全体で前記複数の要素設定の相関を識別する段階と、
識別された前記相関に基づいて第１のエンコード済み画像データを生成する段階とを有する、請求項１に記載の方法。
【請求項１６】
前記複数の原画像の前記複数の要素設定を組み合わせ、前記第１のエンコード済みデータを生成する段階を更に備える、請求項１または１５に記載の方法。
【請求項１７】
前記複数の原画像は、複数の残存画像であり、前記複数の残存画像のそれぞれは、再構成画像を生成するべく、対応する予備画像と組み合わせるための複数の調整を指定する、請求項１、１５または１６のいずれか１項に記載の方法。
【請求項１８】
画像データをエンコードする方法であって、
複数の画像のシーケンスを受信する段階と、
前記複数の画像のそれぞれに対する複数の設定を取得する段階と、
複数の画像の前記シーケンス全体で前記複数の設定をブレンドし、複数の画像の前記シーケンスを表す１つの画像（「予測子画像」）を生成する段階と、
複数の画像の前記シーケンスにおけるそれぞれの所与の画像について、複数の画像処理オペレーションに対応するデータと、前記予測子画像に基づいて前記所与の画像の描出をどのように再構成するかを指定する複数の調整（「残存量」）とを生成する段階とを備える、方法。
【請求項１９】
複数の画像の前記シーケンス全体で前記複数の設定をブレンドする段階は、
前記複数の画像を互いにオーバーレイする段階と、
オーバーレイされた前記複数の画像を組み合わせ、前記シーケンスを表す前記１つの画像を生成する段階とを有する、請求項１８に記載の方法。
【請求項２０】
前記複数の画像のうち少なくとも１つについて、前記複数の画像をオーバーレイする段階は、
前記予測子画像のサンプリング位置に対して前記複数の画像により取り込まれた複数のオブジェクトの動きに少なくとも部分的に基づいて、複数の動き補償オペレーションを行う段階を有する、請求項１９に記載の方法。
【請求項２１】
前記シーケンスにおける前記複数の画像のそれぞれは、第１の解像度に応じて受信され、
前記方法は、第２の解像度になるように前記予測子画像を生成する段階を更に備え、
前記第２の解像度は、前記第１の解像度よりも低い、請求項１８に記載の方法。
【請求項２２】
前記シーケンスにおける前記複数の画像のそれぞれは、特定のオブジェクトの描出を含み、
前記複数の設定をブレンドする段階は、前記複数の画像のそれぞれにおけるオブジェクトの描出の組み合わせに基づいて、前記１つの画像におけるオブジェクトの描出を生成する段階を有する、請求項２１に記載の方法。
【請求項２３】
前記シーケンスにおける前記複数の画像のうち１つは、他の複数の画像に見られないそれぞれの一意な視覚アーティファクトに対応する複数の設定を含み、
前記複数の画像における複数の要素の複数の設定をブレンドする段階は、前記一意な視覚アーティファクトに対応する複数の設定を含むように前記予測子画像を生成する段階を有する、請求項１８に記載の方法。
【請求項２４】
前記複数の設定をブレンドする段階は、
前記シーケンスにおける前記複数の画像のそれぞれにより取り込まれた共通のオブジェクトに対応する複数の設定を識別する段階と、
前記共通のオブジェクトに少なくとも部分的に基づいて、前記シーケンスにおける前記複数の画像の一部を整列させる段階とを有する、請求項１８または２３に記載の方法。
【請求項２５】
前記シーケンスにおける前記複数の画像の全てよりも少ないものにより取り込まれた一意なオブジェクトに対応する複数の設定を識別する段階と、
前記共通のオブジェクトの描出および前記一意なオブジェクトの描出を含むように前記予測子画像を生成する段階とを更に備える、請求項２４に記載の方法。
【請求項２６】
複数の画像の前記シーケンスは、少なくとも第１の画像および第２の画像を含み、
複数の設定を得る段階は、
前記第１の画像における要素の設定を取得する段階と、
前記第２の画像における要素の設定を取得する段階とを有し、
前記第１の画像における前記要素は、前記第１の画像におけるオブジェクトの特定部分を表し、
前記第２の画像における前記要素は、前記オブジェクトの前記特定部分を表す、請求項１８に記載の方法。
【請求項２７】
前記複数の要素の前記複数の設定をブレンドする段階は、前記第１の画像における前記要素の設定および前記第２の画像における前記要素の設定の組み合わせに少なくとも部分的に基づいて、前記予測子画像における前記オブジェクトの前記特定部分に対する設定を計算する段階を有する、請求項２６に記載の方法。
【請求項２８】
前記予測子画像は、前記シーケンスにおける前記複数の画像の解像度より低い解像度であり、
前記方法は、
複数の画像のシーケンスを受信する段階と
前記複数の画像のそれぞれに対する複数の設定を取得する段階と、
前記シーケンスにおける前記複数の画像を組み合わせ、前記シーケンスを表す１つの予測子画像を生成する段階とを備え、
前記１つの画像は、前記シーケンスにおける前記複数の画像の解像度より低い解像度である、請求項１８に記載の方法。
【請求項２９】
前記複数の画像を組み合わせる段階は、
前記シーケンスにおける前記複数の画像のそれぞれにより少なくとも部分的に取り込まれた共通のオブジェクトに対応する複数の設定を識別する段階と
前記複数の画像のそれぞれにおける前記共通のオブジェクトに対応する複数の設定を整列させるべく、前記シーケンスにおける前記画像に画像処理オペレーションを適用する段階とを有する、請求項２８に記載の方法。
【請求項３０】
前記シーケンスにおける前記複数の画像の全てよりも少ないものにより取り込まれた一意なオブジェクトに対応する複数の設定を識別する段階と、
前記共通のオブジェクトの描出および前記一意なオブジェクトの描出を含むように前記予測子画像を生成する段階とを更に備える、請求項２９に記載の方法。
【請求項３１】
画像処理オペレーションを適用し、前記シーケンスにおける所与の画像の複数の設定を整列させる段階は、
前記所与の画像の第１の部分に第１のセットの複数の画像処理オペレーションを適用する段階と、
前記所与の画像の第２の部分に第２のセットの複数の画像処理オペレーションを適用する段階とを更に有し、
前記所与の画像の前記第２の部分は、前記所与の画像の前記第１の部分とは異なる数の複数の要素を有する、請求項２９または３０に記載の方法。
【請求項３２】
前記シーケンスにおける前記複数の画像のそれぞれは、特定のオブジェクトの描出に対応する複数の設定を含み、
前記複数の画像を組み合わせる段階は、複数の画像の前記シーケンスにおけるオブジェクトの異なる描出と一致する複数の設定の組み合わせに基づいて、前記予測子画像の前記特定のオブジェクトの描出を生成する段階を有する、請求項２８に記載の方法。
【請求項３３】
前記１つの画像は、前記複数の画像のそれぞれにより表される視界より大きい視野を表す、請求項２８または３２に記載の方法。
【請求項３４】
前記複数の画像の複数の設定を組み合わせる段階は、
前記複数の画像を互いに重ね合わせる段階と
重ね合わせた前記複数の画像の１または複数を処理し、前記複数の画像における対応する複数のオブジェクトの複数の設定を整列させる段階と、
重ね合わせた前記複数の画像の対応する複数の要素の複数の設定を組み合わせ、前記予測子画像を生成する段階とを有する、請求項２８、３２または３３のいずれか１項に記載の方法。
【請求項３５】
複数の画像の前記シーケンスは、少なくとも第１の画像および第２の画像を含み、
前記複数の設定を得る段階は、
前記第１の画像の要素の設定を取得する段階と、
前記第２の画像の要素の設定を取得する段階とを有し、
前記第１の画像における前記要素の前記設定は、前記第１の画像における描出されたオブジェクトの特定部分に対応し、
前記第２の画像の前記要素は、前記オブジェクトの前記特定部分に対応する、請求項２８、または３２から３４のいずれか１項に記載の方法。
【請求項３６】
前記複数の画像を組み合わせる段階は、前記第１の画像の前記要素に対する前記設定および前記第２の画像における前記要素の前記設定の組み合わせに少なくとも部分的に基づいて、前記予測子画像における前記オブジェクトの特定の領域に対する設定を計算する段階を有する、請求項３５に記載の方法。
【請求項３７】
前記予測子画像を得るべく、前記複数の画像のうちいくつを使用したかを示すメタ情報を生成する段階を更に備える、請求項１８に記載の方法。
【請求項３８】
複数の原画像のシーケンスを実質的に再現する方法であって、
シーケンスにおける複数の原画像から得た第１のエンコード済み画像データを受信する段階と、
複数の調整を指定する第２のエンコード済み画像データを受信する段階と、
１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された前記複数の原画像の複数の予備的描出に対する前記複数の調整の適用に基づいて、前記シーケンスにおける前記複数の原画像を実質的に再現する段階とを備え、
前記第１のエンコード済み画像データは、前記シーケンスにおける前記複数の原画像のそれぞれを再現するための基準線として使用される前記１セットの複数の共通画像要素の設定を指定する、方法。
【請求項３９】
前記複数の原画像を実質的に再現する段階は、
前記複数の原画像のうち第１の画像における複数の画像要素を、前記１セットの複数の共通画像要素の設定に少なくとも部分的に基づく値に初期設定する段階と、
前記複数の原画像のうち第２の画像における複数の画像要素を、前記１セットの複数の共通画像要素の設定に少なくとも部分的に基づく値に初期設定する段階とを有する、請求項３８に記載の方法。
【請求項４０】
前記複数の原画像を実質的に再現する段階は、
前記第２のエンコード済み画像データから第１のセットの調整情報を取得する段階と、
前記第１のセットの調整情報により指定された前記第１の画像における前記複数の画像要素の複数の設定を調整し、前記シーケンスにおける前記複数の画像のうち第１の画像を再現する段階と、
前記第２のエンコード済みデータから第２のセットの調整情報を取得する段階と、
前記第２のセットの調整情報により指定された前記第２の画像における前記複数の画像要素の複数の設定を調整し、前記シーケンスにおける前記複数の画像のうち第２の画像を再現する段階を有し、
前記第１のセットの調整情報は、前記第１の画像における前記複数の画像要素の複数の設定をどのように修正するかを示し、
前記第２のセットの調整情報は、前記第２の画像における前記複数の画像要素の複数の設定をどのように修正するかを示す、請求項３９に記載の方法。
【請求項４１】
前記１セットの複数の共通画像要素の設定は、前記シーケンスの２つまたはそれ以上の画像にわたる、前記複数の原画像の複数の画像要素の複数の設定に基づく複数のオペレーションから得られる、請求項３８に記載の方法。
【請求項４２】
複数の共通画像要素の設定は、１または複数の画像描出に対応する、請求項３８または４１に記載の方法。
【請求項４３】
第１のエンコード済みデータは、複数の共通画像要素の設定に対応する情報以外に、前記複数の共通画像要素の設定に少なくとも部分的に基づいて、前記シーケンスにおける前記複数の原画像の予備描出を再構成するべく使用される複数のオペレーションを指定する情報も含む、請求項３８に記載の方法。
【請求項４４】
それぞれの所与の予備的画像描出に対する情報は、前記複数の共通画像要素の設定のどの部分を処理し、前記所与の画像に対する予備的画像描出を生成するかを指定する情報を含む、請求項４３に記載の方法。
【請求項４５】
所与の予備的画像描出を再構成する複数のオペレーションは、複数の共通画像要素の設定に基づく複数の動き補償オペレーションを含み、
前記方法は、
前記情報により指定された複数の共通画像要素の設定の第１の部分に第１のセットの複数の画像処理オペレーションを適用する段階と、
前記情報により指定された複数の共通画像要素の設定の第２の部分に第２のセットの複数の画像処理オペレーションを適用する段階とを備える、請求項４３または４４に記載の方法。
【請求項４６】
前記１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された複数の予備的画像描出のいずれかは、前記シーケンスにおける前記複数の原画像のいずれかを実質的に再現する前に、前記シーケンスにおける前記複数の原画像のいずれかに対して生成される、請求項３８に記載の方法。
【請求項４７】
前記複数の原画像は、複数の再構成画像を生成するべく、他の複数の所与の画像と組み合わせる複数の調整に対応する、請求項３８または４６に記載の方法。
【請求項４８】
画像データをデコードする方法であって、
シーケンスにおける第１の集団の複数の画像をエンコードすることから得た第１の予測子画像データを受信する段階と、
前記シーケンスにおける第２の集団の複数の画像をエンコードすることから得た第２の予測子画像データを受信する段階と、
前記第１の予測子画像データおよび前記第２の予測子画像データの組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像の描出を再構成する段階とを備え、
前記第１の集団の複数の画像は、前記シーケンスにおける前記第２の集団の複数の画像に隣接して配置される、方法。
【請求項４９】
前記第１の集団の複数の画像は、前記シーケンスにおける第１のセットの複数の連続画像であり、
前記第２の集団の複数の画像は、前記シーケンスにおける第２のセットの複数の連続画像である、請求項４８に記載の方法。
【請求項５０】
最も低い空間・時間の解像度から最も高い空間・時間の解像度にデコードされた第１の階層の画像データとして、前記第１の予測子画像データを受信する段階と、
最も低い空間・時間の解像度から最も高い空間・時間の解像度にデコードされた第２の階層の画像データとして、前記第２の予測子画像データを受信する段階とを更に備える、請求項４８または４９に記載の方法。
【請求項５１】
前記第１の予測子画像データと、前記第２の予測子画像データの少なくとも一部との組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像を再構成する段階は、
前記第１の予測子画像データを利用し、前記第１の階層における所与の段で画像描出を生成する段階と、
前記第２の予測子画像データを利用し、前記第２の階層における前記所与の段で画像描出を生成する段階と、
少なくとも、前記第１の階層における前記所与の段の１つの画像描出と、前記第２の階層の前記所与の段の前記画像描出とを組み合わせることに基づいて、前記所与の段を超える次のより高い段で少なくとも前記１つの画像描出を生成する段階とを有する、請求項５０に記載の方法。
【請求項５２】
少なくとも、前記第１の階層における前記所与の段の前記画像描出と、前記第２の階層における前記所与の段の前記画像描出とを組み合わせる段階は、複数の画像処理オペレーションを行う段階を有する、請求項５１に記載の方法。
【請求項５３】
前記第１のエンコード済みデータから得た画像描出および前記第２のエンコード済みデータから得た画像描出を組み合わせ、前記第１の集団の複数の画像において、前記複数の画像のうち少なくとも１つを再現する段階を更に備える、請求項４８に記載の方法。
【請求項５４】
前記第１の予測子画像データおよび前記第２の予測子画像データの組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像を再構成する段階は、前記第１の集団の複数の画像における少なくとも１つの所与の画像について、
少なくとも、前記第１の階層における画像描出に基づく複数のアップサンプリングオペレーションを行う段階を含む、複数の画像処理オペレーションにより生成された第１の画像と、前記第２の階層における画像描出に基づく複数のアップサンプリングオペレーションを行う段階を含む、複数の画像処理オペレーションにより生成された第２の画像とを組み合わせ、前記第１の集団の複数の画像における前記所与の画像を再現する段階を備える、請求項５０に記載の方法。
【請求項５５】
メタ情報を受信する段階と、
より高い段の所与の画像を生成するべく、前記メタ情報を利用し、より低い段の複数の画像を識別して処理する段階とを更に備える、請求項５４に記載の方法。
【請求項５６】
コンピュータに、
シーケンスにおける複数の原画像のそれぞれを再現するための基準線として使用される１セットの複数の共通画像要素の設定を指定する、第１のエンコード済み画像データを受信する手順と、
複数の調整を指定する第２のエンコード済み画像データを受信する手順と、
前記１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された前記複数の原画像の複数の予備的描出に対する前記複数の調整を適用することに基づいて、前記シーケンスにおける前記複数の原画像を実質的に再現する手順とを行わせる、プログラム。
【請求項５７】
コンピュータに、
シーケンスにおける第１の集団の複数の画像をエンコードすることから得た第１の予測子画像データを受信する手順と、
前記シーケンスにおける第２の集団の複数の画像をエンコードすることから得た第２の予測子画像データを受信する手順と、
前記第１の予測子画像データおよび前記第２の予測子画像データの組み合わせを利用し、
前記シーケンスにおける前記第１の集団の複数の画像の描出を再構成する手順とを行わせ、
前記第１の集団の複数の画像は、前記シーケンスにおける前記第２の集団の複数の画像に隣接して配置される、プログラム。
【請求項５８】
デバイスであって、
プロセッサと、
前記プロセッサにより実行されるアプリケーションに関連する複数の命令を格納するメモリユニットと、
前記プロセッサおよび前記メモリユニットを結合する相互接続であって、前記デバイスが、前記アプリケーションを実行し、
シーケンスにおける複数の原画像のそれぞれを再現するための基準線として使用される１セットの複数の共通画像要素の設定を指定する、第１のエンコード済み画像データを受信し、
複数の調整を指定する第２のエンコード済み画像データを受信し、
前記１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された前記複数の原画像の複数の予備的描出に対する前記複数の調整の適用に基づいて、前記シーケンスにおける前記複数の原画像を実質的に再現する複数のオペレーションを行うことを可能にする、相互接続とを備える、デバイス。
【請求項５９】
デバイスであって、
プロセッサと、
前記プロセッサにより実行されるアプリケーションに関連する複数の命令を格納するメモリユニットと、
前記プロセッサおよび前記メモリユニットを結合する相互接続であって、前記デバイスが、前記アプリケーションを実行し、
シーケンスにおける第１の集団の複数の画像をエンコードすることから得た第１の画像データを受信し、
前記シーケンスにおける第２の集団の複数の画像をエンコードすることから得た第２の画像データを受信し、
前記第１の画像データおよび前記第２の画像データの組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像の描出を再構成するオペレーションを行うことを可能にする、相互接続とを備え、
前記第１の集団の複数の画像は、前記シーケンスにおける前記第２の集団の複数の画像に隣接して配置される、デバイス。
【請求項６０】
ｉ）前記複数の原画像の第１の画像において検出された第１のオブジェクトの描出と、ｉｉ）前記複数の原画像の第２の画像において検出された第２のオブジェクトの描出とを含むように、前記１セットの複数の共通画像要素の設定を生成する段階を更に備え、
前記第２のオブジェクトの描出は、前記第１の画像に存在せず、
前記第１のオブジェクトの描出は、前記第２の画像に存在しない、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
当技術分野において、デジタル信号のエンコードおよびデコードを扱う多くの技術が知られている。これは、音声信号、映像、ビデオ信号、および科学的および医学的領域において使用される容積測定信号等の他の多次元信号においてそうである。高い圧縮率を得るべく、これらの技術は、信号間の空間および時間の相関を利用する。
【０００２】
従来の方法は、基準を識別し、現在位置と所与の基準との間の信号の差を決定することを試みる。これは、基準がすでに受信され、デコードされた空間平面の一部である空間ドメイン、および、信号の時間における１つのインスタンス（例えばフレームのシーケンスにおけるビデオフレーム）を一定の持続時間に対する基準とみなす時間領域の双方において行われる。例えば、先にデコードされたマクロブロックが空間ドメインにおける基準とみなされ、ＩフレームおよびＰフレームが時間領域における基準として使用される、ＭＰＥＧファミリー（ムービングピクチャーエキスパートグループ）の圧縮アルゴリズムがそうである。
【０００３】
既知の技術は、多くの方法による空間相関および時間相関を利用し、差異（「残存量データ」）を識別し、単純化し、エンコードして送信するべくいくつかの異なる技術を採用する。
【０００４】
従来の方法によれば、空間相関を活用するべく、（例えば周波数領域への）領域変換を行い、次いで、損失性削除および情報の量子化を行う。これに対して、時間領域においては、従来の方法は、現在のサンプルと基準サンプルとの間の量子化された差異を送信する。サンプル間の類似性を最大化するべく、エンコーダは、基準信号に対して生じた時間に沿った変更を推定することを試みる。従来のエンコードの方法（例えばＭＰＥＧファミリーの技術、ＶＰ８等）においては、これは動き推定と呼ばれる。基準サンプル用のデコーダですでに利用可能な情報を活用することにより現在のサンプルを再構成することを可能にするべく、動き情報は、対応するデコーダに送信される（ＭＰＥＧにおいて、これはマクロブロックに基づく動きベクトルを用いて行う）。
【０００５】
従来の基準ベースのエンコード技術の弱点は、損失のある圧縮技術を採用すると、サンプルにおける誤差がそれぞれ、前方のサンプルに基づいて再構成される後続のサンプルにおける誤差と共に累積し、順次推定される若干のサンプルの後に可視のアーティファクトを生成することである。
【０００６】
一般的なアプローチは、信号を分割して、オペレーションをエンコードおよびデコードする複雑性を減少させることである。これは、例えばマクロブロックまたはスライスの概念を用いて、空間ドメインおよび時間領域の双方において行われ、現在の最新アプローチは、時間に沿ったグループ・オブ・ピクチャ（ＧＯＰ）分割を使用する。
【０００７】
通常、分割処理は、急激であり、アーティファクトを生じやすい。一例は、ＭＰＥＧ法において行われるマクロブロックのセグメント化である。圧縮の効率性は確かに実現されるが、可視のアーティファクトを引き起こすことも事実である。これらのアーティファクトは、元の信号に関連付けられていないという事実のために、多くの状況で、人間の観察者には非常に明らかである。（例えば、注目すべき２つの例は、「ブロックタイプのアーティファクトおよびリンギングアーティファクトである）。そのようなアーティファクトの可視性を減少させる多くの試みが実行された（例えば、エンコーダおよびデコーダ側双方へのデブロッキングフィルタおよびデリンギングフィルタ）。しかし、全地球域での品質の低下が認められ、複雑性が増大する等、欠点を伴う。
【０００８】
時間次元に沿って、従来の方法は、チャンク（例えば、時間に沿った各サンプルが映像である、ビデオ信号用のＧＯＰ）においてサンプルを分割する。通常、基準サンプルは、順序に基づいて選択され（基準画像）、チャンクにおけるサンプルは、基準に対して（または双方向予測フレームの場合、２つの基準に対して）差次的に送信される。これにより、信号の時間発展におけるアーティファクトを引き起こす（例えば、著しい移動に対しては、見て取れる品質は、多くの場合、ＧＯＰのエッジに沿って明らかな切れ目を被る）
【０００９】
当技術分野において既知の方法により対応される１つの要求は、圧縮の効率性である。計算の複雑性は、常に第２の優先事項として考慮され、本質的に、アルゴリズムは、低い計算の複雑性に対して指定されるのではなく、計算上実行可能でなければならなかった。これにより、ハードウェア製造者は、発展する技術に継続的に適合し、選択したアルゴリズムを実装することができる特定プロセッサおよび専用ハードウェアのソリューションを指定しなければならなかった。一例は、ＭＰＥＧ２、ＭＰＥＧ４、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣ等に対するハードウェアサポートの発展である。それまで、利用可能な計算コアの数に基づいて自動的に調整する計算性能を有する、平行する大規模なハードウェア上で最適に実行されるようにエンコード技術は指定されなかった（すなわち、コードを適合させる必要がなかったか、またはいくつの計算コアが利用可能かを予め知ることさえなかった）。現在の方法と合わせて実行可能でないこの特徴は、今日ではハードウェア技術がコンピューティングクロックレートおよび送信レートの速度の観点において、シリコンの漸近限界に到達したために、特に重要である。利用可能な計算能力を増大させる現在の傾向は、１つのチップまたはシステムにホスティングされた別個の処理ユニット（「計算コア」）の数を増加させる方向に動いている。
【００１０】
若干の試みは別として、当技術分野において軽視されている別の態様は、品質のスケーラビリティの要求である。スケーラブルなエンコードの方法は、１つのバージョンの圧縮信号をエンコードし、例えば、帯域幅の利用可能性、ディスプレイの解像度、およびデコーダの複雑性に応じて、異なる品質レベルの提供を可能にするであろう。スケーラビリティは、ＭＰＥＧ―ＳＶＣおよびＪＰＥＧ２０００等の既知の方法において考慮され、計算の複雑性のために比較的消極的に採用され、一般的に言えば、アプローチの使用は、本質的に、スケーラブルでない技術に指定されている。
【００１１】
既知の方法により対応されない別の態様は、対称的である。従来の方法を用いて、圧縮の効率性は、双方向（例えば、時間反転）再生、および、より一般的には、信号における任意のサンプルに対するランダムアクセス（例えば、ビデオ信号のためのフレームとフレームによる編集）のような有用な機能を放棄する代償の上で実現され得る。特に、時間次元に沿った予測技術は、デコーダが時間の反転した順序で信号を受信、デコード、および提示することを妨げる。また、採用された予測技術は、アーティファクトのアキュムレーションのために、極めて圧縮され、または誤差を生じやすい送信における動作に影響する。誤差により引き起こされるアーティファクトは、特に、時間における持続時間のために可視である。
【００１２】
また、当技術分野において採用される、予測により推進される技術は、圧縮されたストリームへのランダムアクセスに対する強い制約をもたらす。任意点におけるサンプルの「検索」、（次の時間チャンク／ＧＯＰの開始まで待機する必要なく）異なる信号のビットストリームに「ザッピング」する場合のランダムアクセス等のオペレーションは、現在は実行不可能である。現在、任意点にアクセスする場合にユーザが待機しなければならない時間は、圧縮の効率性との厳しいトレードオフ関係にある。この現象の一例は、ＭＰＥＧファミリーの方法におけるＧＯＰの制約である。最小限の時間遅延および時間に沿ったランダムアクセスを可能にするべく、１つのサンプルのＧＯＰ（すなわち、イントラオンリーのエンコード）を使用しなければならない。
【００１３】
最後に、現在の方法は、要求される計算能力および帯域幅の量のために、非常に高いサンプリングレート（例えばビデオ信号に対する非常に高いフレームレート）に好適でない。例えば、いくつかの研究は、全ての人間が１秒毎に最大３００フレームのビデオ信号の品質差を容易に理解することができるが、現在、計算および帯域幅の制約により１秒毎に２５〜６０フレームよりも多い高品質のビデオ信号をエンコードおよび送信することを極端に高価になっていることを論証した。
【発明の概要】
【００１４】
本明細書におけるある実施形態は、特に、信号の顕著な相関の次元に沿った信号の複数のサンプルに関連する残存量データをエンコード、送信、およびデコードするための技術における改善に焦点を当てる。
【００１５】
非限定的な例示の一実施形態によれば、方法は、いわゆる支持バッファに基づいて複数のセットの残存量データをエンコードおよび再構成する段階を備える（例えば、限定されないが、１セットの支持要素）。また、いくつかの非限定的な実施形態は、支持バッファの段的階層を生成することにより方法を実装する。この方法は、残存量データのセットが処理され、支持要素情報および相対的残存量データを生成するエンコード段階と、支持要素情報が処理され、相対的残存量データと組み合わせて残存量データの再構成を可能にする、残存量データの予測を生成するデコード段階とを備える。
【００１６】
２つまたはそれ以上の階を備えるサンプルの段的階層において信号をエンコードし、段のそれぞれが別個の品質レベル（例えば、信号描出の忠実度のレベルに対応する）を有する、段的階層エンコード法のエンコードおよびデコードループ内で当該方法を使用する非限定的な実施形態には特に注意を喚起されるであろう。そのような方法は、最も低い品質レベルを有する段のサンプルから開始することにより、再構成オペレーションにより任意の品質レベルのサンプルを計算する、デコード段階を備える。本明細書に例示する実施形態は、より低い品質レベルが１または複数の次元の信号全体でより低い解像度（すなわち、粗いサンプリンググリッド）である非限定的な場合に特に焦点を当てるが、当業者は、より低い品質レベルの信号が同一の解像度およびより低いレベルの詳細（例えば、限定されるものではないが、要素の値のより粗い量子化）を有する信号である場合に同一の方法を容易に適合し得る。いくつかの場合に、本明細書における実施形態は、より低い品質レベルをより高い「アグリゲーションレベル」（「ＬＯＡ」）と呼び、より高い品質レベルに対するサブサンプリングされた次元のみが時間次元であった。「段」という用語は、本願の以下において、文脈に応じて「品質レベル」（「ＬＯＱ」）または「アグリゲーションレベル」（「ＬＯＡ」）と同一の意味で使用される。
【００１７】
簡潔にするために、通常、本明細書において例示する非限定的な実施形態は、信号を、時間次元に沿った所与のサンプリングレートで生じる多次元サンプルのシーケンス（すなわち、１または複数の次元を有するアレーとして編成された１または複数の要素のセット）と呼ぶ。説明において、用語「画像」および／または「平面」（最広義の「超平面」、すなわち任意の数の次元を有する要素のアレーを意図する）は、多くの場合、サンプルのシーケンスに沿った信号サンプルのデジタルな描出を識別するべく同一の意味で使用され、各平面は、その次元のそれぞれに対する所与の解像度を有し、平面における座標の好適な各セットは、１もしくは複数の値または「設定」（例えば、非限定的な例によれば好適な色空間における色設定、密度レベルを示す設定、温度レベルを示す設定、オーディオピッチを示す設定、振幅を示す設定等）を特徴とする、平面要素（もしくは「要素」、または「ペル」、二次元画像については多くの場合、「ピクセル」と呼ばれ、容積測定画像については多くの場合、「ボクセル」と呼ばれる等）を識別する。非限定的な例として、信号は、画像、音声信号、マルチチャネル音声信号、ビデオ信号、マルチビュービデオ信号（例えば３Ｄビデオ）、容積測定信号（例えば、医療画像処理、科学画像処理、ホログラフィー画像処理等）、容積測定動画信号、プレノティックイメージ、または更に５以上の次元を有する信号であり得る。
【００１８】
本明細書に例示する実施形態は、具体的には、従来技術が存在しないために経時で発展する信号に特に焦点を当てる。例えば、やはり非常に高いサンプリングレート（例えば、やはり１秒毎に１，０００フレームを超え、エンコードおよびデコードのためにコンピューティングおよびソトレージのリソースの過度な量を現在必要とする）は、説明する実施形態により容易に処理される。
【００１９】
簡潔にするために、本明細書に例示する非限定的な実施形態は、多くの場合、例えば、複数の画像を含むビデオ信号等、設定の２Ｄ平面のシーケンス（例えば、好適な色空間における２Ｄ画像）として表示される信号に言及する。しかし、同一の概念および方法は、その他のタイプの時間ベースの信号、および時間ベースでない多次元信号（例えば二次元映像、容積測定／ホログラフィー画像、プレノティックイメージ等）にも適用可能である。時間ベースでない信号の非限定的な例としては、ＣＡＴスキャンまたはＭＲＩの連続した二次元スライス（すなわち、時間ベースでない三次元信号）は、次元（すなわち、スライスされる軸）に沿った連続した二次元サンプルとして好適に表され、（本明細書に例示する創造的方法により、一定のサンプリングレート、または更に可変サンプリングレートのいずれかを想定することにより）スライスされた軸が時間次元である場合と同様に、本明細書に例示する方法によりエンコード／デコードされ得る。
【００２０】
本明細書に図示する段的階層の非限定的な実施形態は、異なる解像度を有する段を特徴とし、より高い段からより低い段へのダウンサンプリングのスケール係数は、各段および各次元（空間的および時間的）について変化し得る。
【００２１】
時間的な段的階層においてエンコードされるサンプルは、異なる持続時間を有し得る。例えば、より高い段の異なる２つのサンプルの時間的ダウンサンプリング（空間的ダウンサンプリングおよび時間的ダウンサンプリングの組み合わせの場合には、「ブレンド」または「ダウンブレンド」）から生じる所与の段のサンプルは、より高い段のサンプルのそれぞれにより表された信号部分の持続時間の和である、持続時間（「時間的スパン」）を有する信号部分を表す。本文献において、用語「信号スパン」または「スパン」は、用語「サンプル」（より適切には、所与の各サンプルがタイムスパンに等しい持続時間中の「サンプルおよびホールド」に対応するスパンを有するといい得るが）、および「画像」（任意の数の次元を有する要素の平面の一般的意味を有する）と同一の意味で使用される。所与の品質レベルにおける信号の「スパン」は、「所与の時間の瞬間から開始して再生／表示される、所与のサンプリング位置および所与の期間を有する信号の部分」を表す。より高い品質レベルの複数のスパンの組み合わせ（ブレンドまたはダウンブレンド）から生じするより低い品質レベルのスパンは、当該複数のスパンのサンプリング位置の直線的または非直線的な組み合わせであるサンプリング位置を有する。
【００２２】
非限定的な実施形態において、最も高い品質レベルの整数のサンプリング位置は、所与のスパンにダウンサンプリングされたより高いレベルのスパンのサンプリング位置の数学的平均、または平均の実質的に切り下げに等しいか、それよりわずかに低い。また、生じた当該スパンは、当該複数のスパンの期間の和である、持続時間を有する。本質的に、用語「スパン」は、特に、時間的ダウンサンプリングに伴って階層を下っていく場合に、各スパンが「サンプルおよびホールド」としてより良好にモデル化される情報を表すという事実を反映し、非常に具体的な時間位置における単純な「サンプル」ではなく、所与の時間間隔、すなわち信号の「スパン」に沿った信号の値を表す。また、同一の段の異なるスパンは、異なる持続時間を有し、事実上、可変サンプリングレートを表し得る。
【００２３】
本明細書に例示する創造的方法の非限定的な実施形態は、多くの場合、いくつかの形式の動き推定および動き補償技術を活用する。従来の方法において、動き補償は、空間相関に基づいて画像の一部を予測する代替形態として使用される。すなわち、これらのエンコード技術は、再構成されたスパン（例えば画像）の各部分について、空間相関（すなわち、同一のサンプル、例えばＭＰＥＧ法におけるイントラ予測の隣接部分）を活用することにより予測すること、または時間相関（すなわち、１または複数の基準サンプル、例えばＭＰＥＧ法におけるＰ予測またはＢ予測の部分）を活用することにより予測することを選択する。
【００２４】
本明細書に説明する創造的実施形態については、空間および時間は、隔離状態にあると考える完全に独立した次元ではなく、空間および時間は、空間・時間と呼ばれるより広い多次元空間の別個の次元である。Ｎ次元サンプルのシーケンスを１つの（Ｎ＋１）次元信号として表し、当該（Ｎ＋１）次元信号を段的階層法を用いてエンコードすることにより、本明細書に説明する実施形態は、（好適な空間・時間エンコード・デコードオペレーションにより）その空間・時間における信号を効果的にエンコード・デコードし、同時に空間および時間相関（すなわち、２つのうちから選択する必要なく）を効果的に活用し、複数のサンプル間（すなわち、単に１つのサンプルから別のサンプルへとではなく）での相関も効果的に活用することができる。なお、同一の品質レベルにおける隣接サンプルに基づくのではなく、より低い品質レベル（および／またはより高いアグリゲーションレベル）のサンプルに基づいてサンプルを予測することにより、（Ｎ＋１）次元信号の選択部分で行われるロッシー決定は、信号の他の部分（すなわち、シーケンスにおける他のサンプル／スパン）に必ずしも伝播しない。要するに、本明細書に説明する実施形態は、全体として信号を操作し、信号全体で相関を活用し、同一のレベルにおける時間次元を他の次元とみなす。多くの場合、本明細書に説明する方法のこの非常に創造的な特性を「対称」と呼ぶ。
【００２５】
本発明は、複数の原画像全体で要素設定を分析することにより生成された共通画像要素の設定に基づいて、複数の原画像をエンコード、送信、および／またはデコードする方法に関し、当該セットの共通画像要素の設定は、シーケンスにおける原画像のそれぞれを実質的に再現する基準線である。
【００２６】
従来の方法のような画像の同一のシーケンス画像に沿った「予測のカスケード」を作成するのではなく、本明細書に図示する方法は、画像シーケンスを同じ「共通の予測子」（実施形態および／または目的に応じて、より低い解像度／品質レベルの原画像または画像と同一の解像度における画像／品質レベルである）に効果的にブレンドし、次いで、デコーダが当該共通の予測子に少なくとも部分的に基づいて調整値を予備的描出と組み合わせることにより、原画像の好適な描出を生成し得るように、当該調整値のセットを生成する。
【００２７】
本明細書において説明するいくつかの非限定的な実施形態において、共通画像要素の設定（すなわち「共通の予測子画像」）は、まず、共通の予測子にブレンドされる画像の時間相関を最大化するように、画像シーケンスにおける画像のそれぞれにおいて画像処理オペレーションを行うことにより生成する。そのような非限定的な実施形態のいくつかにおいて、当該画像処理は、好適な動き補償方法による動き補償オペレーションを含む。
【００２８】
本明細書において説明する他の非限定的な実施形態において、デコーダは、１つの共通の予測子画像に基づいて原画像シーケンスを再構成し、方法は、
複数の原画像のそれぞれを再現するための基準線として使用される１セットの共通画像要素の設定（一実施形態において、共通の予測子画像）を指定する、第１のエンコード済み画像データを受信する段階と、
共通の予測子画像に基づいて原画像シーケンスにおける原画像のそれぞれの予備的画像描出をどのように再構成するかを指定する、記述的情報を処理する段階と、
予備的画像描出に対して行う調整（一実施形態において、いわゆる残存量データ）を指定する、第２のエンコード済み画像データを受信する段階と、
当該調整を当該予備的画像描出と組み合わせることにより、シーケンスにおける複数の原画像を実質的に再現する段階とを備える。
【００２９】
これらおよび他の実施形態の変形例を以下に更に詳細に論じる。
【００３０】
本明細書における実施形態は、ソフトウェアまたはハードウェアに実装してもよく、またはソフトウェアおよびハードウェアの組み合わせを用いて実装してもよく、本明細書において開示する本方法のオペレーションのいずれかまたは全てを実行および／またはサポートするべく、１または複数のコンピュータ化されたデバイス、ルータ、ネットワーク、ワークステーション、携帯式またはラップトップコンピュータ、タブレット、携帯電話、ゲームコンソール、セットトップボックス等の構成を含み得ることに留意されたい。換言すれば、１または複数のコンピュータ化されたデバイスまたはプロセッサは、異なる実施形態を実行するべく本明細書において説明するように動作するよう、プログラミングおよび／または構成され得る。
【００３１】
上述の技術に加えて、本明細書におけるなおも他の実施形態は、上記に要約し、以下に詳細に開示する段階およびオペレーションを行うためのソフトウェアプログラムを含む。そのような一実施形態は、プロセッサおよび対応するメモリを有するコンピュータ化されたデバイスにおいて実行されると、プロセッサに本明細書において開示するオペレーションのいずれかをプログラミングおよび／または実行させる、エンコードされたコンピュータプログラム論理、命令等を含むコンピュータ可読なハードウェアストレージリソース（すなわち、コンピュータ可読媒体）を備える。そのような構成は、１または複数のＲＯＭもしくはＲＡＭ、またはＰＲＯＭチップにおけるファームウェアまたはマイクロコード等のコンピュータ可読命令を格納することができる光媒体（例えば、ＣＤ―ＲＯＭ、ＤＶＤ―ＲＯＭ、またはブルーレイ）、フラッシュメモリカード、フロッピー（登録商標）もしくはハードディスク、またはその他の媒体等、コンピュータ可読媒体上に配列またはエンコードされたソフトウェア、コード、および／または他のデータ（例えばデータ構造体）として、または特定用途向け集積回路（ＡＳＩＣ）として提供することができる。ソフトウェアもしくはファームウェア、または他のそのような構成は、コンピュータ化されたデバイスに本明細書において説明する技術を実行させるべく、コンピュータ化されたデバイス上に取り付けることができる。
【００３２】
本明細書における１または複数の実施形態は、格納された命令を有するコンピュータ可読ストレージ媒体および／またはシステムを備える。命令は、１または複数のコンピュータデバイスのコンピュータプロセッサハードウェアにより実行されると、コンピュータプロセッサハードウェアに、シーケンスにおける複数の原画像の各画像に対する要素設定を指定する画像データを受信するオペレーションと、複数の原画像全体の要素設定を分析するオペレーションと、シーケンスにおける複数の原画像の要素設定を利用して、１セットの共通画像要素の設定を指定する第１のエンコード済み画像データを生成するオペレーションとを行わせ、共通画像要素の設定のセットは、シーケンスにおける原画像のそれぞれを実質的に再現するための基準線である。
【００３３】
本明細書における１または複数の実施形態は、格納された命令を有するコンピュータ可読ストレージ媒体および／またはシステムを備える。命令は、１または複数のコンピュータデバイスのコンピュータプロセッサハードウェアにより実行されると、コンピュータプロセッサハードウェアに、画像シーケンスを受信するオペレーションと、画像のそれぞれに対する設定を取得するオペレーションと、画像シーケンス全体の設定をブレンドし、画像シーケンスを表す１つの画像を生成するオペレーションと、画像シーケンスにおける所与の各画像について、画像処理オペレーションおよび／または予測子画像に基づいて所与の画像の描出をどのように再構成するかを指定する調整に対応するデータを生成するオペレーションとを行わせる
【００３４】
本明細書における１または複数の実施形態は、格納された命令を有するコンピュータ可読ストレージ媒体および／またはシステムを備える。命令は、１または複数のコンピュータデバイスのコンピュータプロセッサハードウェアにより実行されると、コンピュータプロセッサハードウェアに、シーケンスにおける複数の原画像から得た第１のエンコード済み画像データを受信するオペレーションと、調整を指定する第２のエンコード済み画像データを受信するオペレーションと、１セットの共通画像要素に少なくとも部分的に基づいて再構成された原画像の予備的描出に対する調整の適用に基づいて、シーケンスにおける複数の原画像を実質的に再現するオペレーションとを実行させ、第１のエンコード済み画像データは、シーケンスにおける複数の原画像のそれぞれを再現するための基準線として使用される共通画像要素の設定のセットを指定する。
【００３５】
本明細書における１または複数の実施形態は、格納された命令を有するコンピュータ可読ストレージ媒体および／またはシステムを備える。命令は、１または複数のコンピュータデバイスのコンピュータプロセッサハードウェアにより実行されると、コンピュータプロセッサハードウェアに、シーケンスにおける画像の第１の集団をエンコードすることから得た第１の画像データを受信するオペレーションと、シーケンスにおける画像の第２の集団をエンコードすることから生じた第２の画像データを受信するオペレーションと、第１の予測子画像データおよび第２の予測子画像データの組み合わせを利用して、シーケンスにおける画像の第１の集団の描出を再構成するオペレーションとを行わせ、画像の第１の集団は、シーケンスにおける画像の第２の集団に隣接して配置される。
【００３６】
本開示の具体的な一実施形態は、信号処理オペレーションをサポートするために格納された命令を有するコンピュータ可読ハードウェアストレージ媒体を含む、コンピュータプログラム製品を対象とする。
【００３７】
段階の順序は、明瞭さのために付加されている。これらの段階は、任意の好適な順序で実行され得る。
【００３８】
本開示の他の実施形態は、上記に要約し、以下に詳細に開示する方法の実施形態段階およびオペレーションのいずれかを実行するソフトウェアプログラム、ファームウェア、および／または各ハードウェアを備える。
【００３９】
また、本明細書において論じるシステム、方法、装置、コンピュータ可読ストレージ媒体上の命令等は、ソフトウェアプログラム、ソフトウェア、ファームウェア、および／もしくはハードウェアのハイブリッド、またはプロセッサもしくはオペレーティングシステム内、またはソフトウェアアプリケーション内等のハードウェア単体として厳密に実施され得ることを理解されたい。
【００４０】
上述のように、本明細書における技術は、信号を処理し、エンコード済みデータのビットストリームを生成し、またはエンコード済みデータのビットストリームを処理し、信号の描出を生成する、ソフトウェア、ファームウェア、および／またはハードウェア用途において使用するのに非常に好適である。しかし、本明細書における実施形態は、そのような用途において使用することに限定されず、本明細書において論じる技術は、他の用途にも同様に非常に好適であることを理解されたい。
【００４１】
なお、本明細書における異なる特徴、技術、構成等のそれぞれは、本開示の異なる箇所において論じられ得るが、概念のそれぞれは、互いに独立して、または互いに組み合わせて実行し得ることを意図することに留意されたい。従って、本明細書において説明する１または複数の本発明、実施形態等は、多くの異なる方法において実施され、および見出され得る。
【００４２】
また、本明細書における実施形態の予備的論述は、本開示または特許請求される発明の全ての実施形態および／または更に新規な態様を指定するものではないことに留意されたい。これに代えて、この簡単な説明は、一般的な実施形態および従来技術に対する新規性に対応する観点のみを提示する。本発明の更なる詳細および／または可能な全体像（順列）については、読者は、以下に更に論じる本開示の発明の詳細な説明のセクションおよび対応する図面に進まれたい。
【図面の簡単な説明】
【００４３】
本発明の上述および他の目的、特徴、および利点は、同一の参照番号が異なる図を通して同一部分を指す添付の図面に例示する、本明細書における好ましい実施形態の以下のより具体的な説明から明らかとなるであろう。図面は、必ずしも縮尺に従わず、むしろ実施形態、原理、概念等の図示が強調される。
【図１Ａ】マルチスケールエンコードおよびデコードシステムを図示する例示的な図である。
【図１Ｂ】時間次元に沿ったアグリゲーションの一例を図示する例示的な図である。
【図１Ｃ】は、空間的ダウンサンプリングおよび空間・時間ダウンブレンドの例を図示する例示的な図である。
【図１Ｄ】時間に沿ったアグリゲーションおよび空間・時間のダウンブレンドの例を図示する例示的な図である。
【図２Ａ】２つの画像を処理するべく使用されるオペレーションの様々な段階を図示する。
【図２Ｂ】２つの画像を処理するべく使用されるオペレーションの様々な段階を図示する。
【図２Ｃ】２つの画像を処理するべく使用されるオペレーションの様々な段階を図示する。
【図２Ｄ】２つの画像を処理するべく使用されるオペレーションの様々な段階を図示する。
【図３】共通のブレンド予測子に基づくエンコードを図示する例示的な図である。
【図４Ａ】画像シーケンスの処理の例示的な図である。
【図４Ｂ】画像シーケンスの処理の例示的な図である。
【図５Ａ】画像シーケンスの処理の例示的な図である。
【図５Ｂ】画像シーケンスの処理の例示的な図である。
【図６】共通のブレンド予測子画像に基づく画像のエンコードを図示する例示的な図である。
【図７】共通のブレンド予測子画像に基づく画像のエンコードを図示する例示的な図である。
【図８】本明細書において説明する実施形態によるデータ処理を提供するコンピュータシステムのブロック図を示す。
【図９】明細書において説明する実施形態による画像処理を図示する例示的な流れ図である。
【図１０】明細書において説明する実施形態による画像処理を図示する例示的な流れ図である。
【図１１】明細書において説明する実施形態による画像処理を図示する例示的な流れ図である。
【図１２】明細書において説明する実施形態による画像処理を図示する例示的な流れ図である。
【図１３】本明細書における実施形態による処理システムについて図示する例示的な図である。
【図１４】本明細書における実施形態によるデコーダ処理を図示する例示的な図である。
【発明を実施するための形態】
【００４４】
本明細書において例示する方法は、音響信号、マルチチャネル音響信号、映像、二次元画像、ビデオ信号、マルチビュービデオ信号、３Ｄビデオ信号、容積測定信号、容積測定動画信号、医療画像処理信号、５つ以上の次元を有する信号等を含むがこれらに限定されない任意のタイプの多次元信号に好適である。簡潔にするために、説明に沿って、例示する実施形態は、通常、ビデオシーケンス、すなわち、２Ｄ画像のシーケンスからなる時間ベースの信号（一般に「フレーム」、またはインタレースビデオ信号の場合に「フィールド」と呼ばれる）を使用する場合を採用し、各要素（そのような非限定的な例示の場合において、典型的には「ピクセル」と呼ばれる）は、好適な色空間（例えば、ＹＵＶ、ＲＧＢ、ＨＳＶ等）における１セットの色設定を特徴とする。異なる色平面（例えば輝度―Ｙ平面、ならびにクロミナンス―Ｕおよびクロミナンス―Ｖの２つの平面）は、多くの場合、別個にエンコードされ、多くの場合、異なる解像度を有する（クロミナンス情報に対する人間の目のより低い感度のために）。
【００４５】
他の場合に、本文献において先に規定したＮ次元サンプルのシーケンスまたは「スパン」として信号を表し、信号の完全な表現が（Ｎ＋１）次元信号であるという事実を参照する（例えば、次元のうちの１つが時間である場合、これは、１つの時間・空間の描出を有する空間描出のシーケンスを表すことに対応する）。これらは、本明細書において説明する創造的方法を用いてフィルタリングおよび／または圧縮され得る、可能な種類の信号の非限定的な例と考えられるものである。ビデオ以外の信号については、当業者は、ビデオ信号を使用する場合について説明するアプローチを好適に適合させることにより、本明細書において説明する方法を容易に適用することができる。また、非限定的な例示において、スパンは、２以外の異なる数の次元を有する要素の超平面であり得（例えば、一次元スパン、３次元スパン等）、および／または、時間次元について本明細書において記載されるものに対応する時間アプローチとは異なる次元に適用することが可能である。
【００４６】
信号の時間における全てのスパンは、超平面を用いて表される（またはより単純に「平面」、その最広義において「１または複数の次元を有するアレーとして編成された要素のセット」として意図される）。例えば、マルチチャネル音響信号、２ＤのＨＤビデオフレーム、または３Ｄの容積測定医療画像は、全て平面要素（具体的には、マルチチャネル音響信号要素の１Ｄ平面、ＨＤビデオフレーム要素の２Ｄ平面、および容積測定医療画像要素の三次元の超平面）のアレーを用いて表され得る。すでに言及したように、本願において限定するものではないが、多くの場合、上記で詳述したように広く定義したスパンに「画像」という用語を用いて言及する。
【００４７】
時間に沿って、スパンは、所与の（ローカルの）サンプリングレートで生じる。従来の方法においては、サンプリングレートは、常に一定である。これと反対に、本明細書において例示する創造的方法は、可変サンプリングレートを可能にする。特に、最上のレベルよりも低い品質レベルについては、所与の品質レベルのスパン持続時間（すなわち、所与の品質レベルに対するサンプリングレート）は、可変であり、可変サンプリングレートを効果的表し得る。また、異なる期間を有するスパンを用いて好適な信号再生を可能にするべく、各スパンは、スパンを表示することを開始した時間を表す「映像番号」を特徴とする。
【００４８】
本明細書に例示する方法および実施形態は、互いに併せて、および／または別の方法と共に使用することができる。本明細書において例示する実施形態の多くは、圧縮を実現する、すなわち、最小限のビットを用いる信号の好適な描出をエンコードおよび／またはデコードする目的を有する技術およびアルゴリズムを説明する。また、これは、非限定的な例である。他の実施形態は、マルチスケールエンコードおよびデコード、適応ストリーミング、強力で効率的なフィルタリング、信号のノイズ除去（例えば、画像のノイズ除去、ビデオのノイズ除去等）、信号増強（例えば、信号のスーパーサンプリング、でインターレーシング等）、信号品質測定基準の生成、コンテンツの識別、マシンビジョン、信号暗号化（例えば、セキュアな通信）等の異なる目的を達成し得る。
【００４９】
図１Ａは、本明細書における実施形態によるマルチスケールエンコードおよびデコードシステムを説明する非限定的な例示の図である。
【００５０】
一実施形態において、エンコーダ１１０は、元の信号１００（信号１００―１、１００―２のシーケンス等）を受信し、信号１００をマルチスケールのデータストリーム１１５にエンコードする。デコーダ１２０―２は、エンコード済みデータのデータストリーム１１５を受信し、第１の品質レベル等、より低いＬＯＱ１００１で再構成された信号を生成する。
【００５１】
デコーダ１２０―１は、データストリーム１１５を受信し、第２の品質レベル等、より高いＬＯＱ１０００で再構成された信号を生成する。この例示的な実施形態において、第２の品質レベルは、第１の品質レベルよりも高い。一実施形態において、第２の（またはより高い）品質レベルは、第１の（より低い）品質レベルでの解像度よりも高い解像度の画像（例えば、ディスプレイ画面の１単位面積当たりのより多くの要素）である。従って、シーケンスにおける信号１０００―１は、信号１０００―１のより高い解像度描出であり、シーケンスにおける信号１０００―２は、信号１０００―２等より高い解像度描出である。
【００５２】
非限定的な実施形態において、デコーダ１２０―１も、より低いＬＯＱ１００１で再構成された信号、より高いＬＯＱ１０００で再構成された信号に基づいて再構成するべく、より低いＬＯＱ１００１で再構成された信号を生成する。
【００５３】
いくつかの非限定的な実施形態において、言及したように、第２の品質レベルは、第１の品質レベルよりも高い解像度（空間的および／または時間的）を有する。そのような実施形態のいくつかにおいて、第２の品質レベルは、特定のスケール係数（整数でないスケール係数および／または１に等しいスケール係数を含む）を用いて、信号の次元のそれぞれをアップサンプリングすることにより得られる解像度を有する。換言すれば、信号１０００―１は、信号１００１―１に少なくとも部分的に基づいてアップサンプリングされ、信号１０００―２は、信号１００１―２等に少なくとも部分的に基づいてアップサンプリングされ得る。同様に、信号１００１における各信号は、より高い解像度の信号にアップサンプリングされ得る。
【００５４】
別の非限定的な実施形態において、デコーダ１２０―２は、データストリーム１１５をデコードするべく、レガシーデコード技術（例えば、ＭＰＥＧ２、ｈ．２６４等）を活用する。
【００５５】
非限定的な例示の実施形態において、テレビデコーダ（限定されないが、例えばセットトップボックス）のデコード信号プロセッサは、図１Ａにおいて例示する方法を実装するようにプログラミングされ、データストリーム１１５は、受信ブロードキャスト信号に対応する。このようにして、レガシーデコーダは、デコーダ１２０と同一のデータストリーム１１５を受信するが、より高い品質レベルで信号の描出を再構成するように利用可能なデータストリームにおける追加のデータを無視する。
【００５６】
他の非限定的な実施形態において、ストリーミングサーバは、エンコード済みデータのストリーム１１５を処理し、デコーダの特徴および／または帯域幅の輻輳に応答して、（最大に可能な品質レベルではなく）所与の品質レベルまでの信号をデコードするのに必要なエンコード済みデータのみを含む、データストリームのバージョンを生成する。
【００５７】
図１Ｂは、本明細書における実施形態による、時間的次元に沿ったアグリゲーションの非限定的な例を図示する図である。非限定的な例によれば、３つの平面１３０―１、１３０―２、１３０―３は、それぞれ２ｘ２の平面として編成された４つの要素を含み、元の平面と同一の解像度を用いて支持平面１３１に統合される。各平面は、任意の数の要素を含み得る。一実施形態において、支持平面１３１の要素は、平面１３０―１、１３０―２および１３０―３の対応する要素に基づいて算出される。同一の支持平面に統合された平面の数は、非限定的なものと考えられるべきである。原則として、任意の数の平面が１つの支持平面に統合されるからである。この非限定的な例示の実施形態において、支持平面１３１は、平面１３０―１、１３０―２および１３０―３より「高いアグリゲーションレベル」（ＬＯＡ）にあると言われる。
【００５８】
いくつかの非限定的な実施形態において、支持平面１３１は、平面１３０―１、１３０―２および１３０―３のそれぞれに対する特定の再構成データ、すなわち平面１３０―１、１３０―２および１３０―３の描出に基づいて再構成するべく処理される。
【００５９】
他の非限定的な実施形態において、平面１３０―１、１３０―２および１３０―３は残存平面であり、信号の再構成された描出を生成するべく、対応するサンプルの予備的描出に対して行うべき調整を指定する。換言すれば、平面１３０―１、平面１３０―２、平面１３０―３等の平面は、いわゆる残存量データを表し得る。残存量データは、再構成される信号が信号の元の描出により密接に一致するように、再構成された信号における複数の要素のそれぞれをどのように調整するかを指定する調整データであり得る。
【００６０】
図１Ｂの非限定的な実施形態において、情報の各平面は、異なるサンプリング位置（すなわちサンプリング時間）に対応する。例えば、要素の平面１３０―１は、シーケンスにおける時間Ｔ１で取り込まれた元の信号の描出を再現することに関連する調整情報を表すことができ、要素の平面１３０―２は、シーケンスにおける時間Ｔ２で取り込まれた元の信号の描出を再現することに関連する調整情報を表すことができ、要素の平面１３０―３は、シーケンスにおける時間Ｔ３で取り込まれた元の信号の描出を再現することに関連する調整情報を表すことができる、等である。
【００６１】
他の非限定的な実施形態において、平面１３０―１、１３０―２および１３０―３は、より低いアグリゲーションレベルにおける他の平面の支持平面である。一例として、より低いレベルのアグリゲーションにある複数の平面は、統合され、平面１３０―１を生成することができる。より低いアグリゲーションレベルにおける複数の平面は、統合され、平面１３０―２を生成することができる。より低いアグリゲーションレベルにおける複数の平面は、統合され、平面１３０―３等を生成することができる。従って、複数の平面（画像）に関連する調整情報は、階層的に１つの支持平面に組み合わされ得る。
【００６２】
示すように、要素の１つの支持平面１３１は、要素の複数の時間的平面のそれぞれの属性を取り込む。例えば、動き補償を伴わないこの単純な例において、平面１３１のより低い左要素は、Ｄの値に設定される。これが、平面１３０―１、１３０―２、１３０―３等の対応する要素（例えば、底面の左の要素）の優勢な設定だからである。
【００６３】
平面１３１における上部右要素は、Ｃの値に設定される。これが、平面１３０―１、１３０―２、１３０―３等における対応する要素（例えば最上部右要素）の優勢な設定だからである。従って、支持平面１３１は、複数の個別画像平面のブレンドを含む。
【００６４】
他の非限定的な実施形態において、異なる平面の対応する要素は、時間に対するオブジェクトの動きを考慮するべく、それぞれの平面（動きに関する適切な記述的情報により指定される）の異なる位置に存在してもよい。
【００６５】
本明細書の実施形態は、（残存量データ等の）再構成データを生成する段階を備え、支持平面１３１を個々の平面１３０―１、平面１３０―２、平面１３０―３等に再び変換することができる。例えば、エンコーダは、支持平面１３１における要素の設定を、元の平面１３０―１における要素の設定と比較する。この例において、平面１３０―１に対する再構成データは、支持平面１３１における上部右要素に対する調整により、支持平面１３１を平面１３０―１に変換することができることを示す。すなわち、平面１３０―１における設定は、上部左要素が異なることを除き、支持平面１３１にける要素の設定と概ね同じである。平面１３０―１に関連する再構成データは、設定値Ｃに適用される差異情報を含み、設定値Ｃを平面１３０―１における上部右表示要素の値に変更することができる。更に、この例示的な実施形態において、エンコーダは、支持平面１３１における要素の設定を、元の平面１３０―２における要素の設定と比較する。この例において、平面１３０―２の再構成データは、いずれの調整もすることなく支持平面１３１における設定を平面１３０―２の要素に変換し得ることを示す。
【００６６】
更に、この例において、エンコーダは、支持平面１３１における要素の設定を、元の平面１３０―３における要素の設定と比較する。この例において、平面１３０―３の再構成データは、支持平面１３１におけるより低い左要素に対する調整により支持平面１３１を平面１３０―３に変換し得ることを示す。すなわち、平面１３０―３における設定は、上部左要素が異なること除き、支持平面１３１における要素の設定と概ね同じである。平面１３０―３と関連する再構成データは、支持平面１３１における設定値Ｄに適用される差異情報を含み、平面１３０―３の設定を再構成するときに、設定値Ｄをより低い左表示要素に対する値Ｅに変更することができる。
【００６７】
図１Ｃは、本明細書における実施形態による空間的ダウンサンプリングおよび空間・時間ダウンブレンドの非限定的な例を図示する例示的な図である。この図は、第１の（より高い）品質レベルにおける平面のシーケンス、および対応する第２の品質レベルにおける平面のシーケンスを図示し、第２の品質レベルは、第１の品質レベルよりも低い。
【００６８】
具体的には、第２の品質レベルにおけるシーケンスは、以下のように得られた。平面１３５―１は、１６の要素からなる二次元平面であり、両方の空間次元に沿ったスケール係数２でダウンサンプリングされ、ダウンサンプリング平面１３６―１を生成する。平面１３５―２、１３５―３および１３５―４は、各々１６の要素からなる３つの二次元平面であり、空間次元に沿ったスケール係数２および時間次元に沿ったスケール係数３でダウンサンプリングされ、ダウンブレンド平面１３６―２を生成する。この例において、平面１３５―１は、時間Ｔ１におけるサンプル画像の表現であり、平面１３５―２は、時間Ｔ２におけるサンプル画像の表現であり、平面１３５―３は、時間Ｔ３におけるサンプル画像の表現であり、平面１３５―４は、時間Ｔ４におけるサンプル画像の表現である、などと想定されたい。
【００６９】
空間・時間ダウンサンプリング（すなわち、時間次元にも沿ったダウンサンプリング）のオペレーションは、本願において「ダウンブレンド」（「ダウンサンプリング＋時間ブレンド」の簡略表現）とも呼ばれる。一実施形態において、ダウンサンプリングは、信号の描出の解像度を品質階層レベル以下に低下させることを指し、ブレンドは、時間をかけてサンプリングしたサンプル信号の属性を組み合わせることを指す。同一のダウンブレンド平面にダウンブレンドした平面の数は、非限定的なものとみなされるべきである。原則として、いずれの数の平面もダウンブレンド平面にダウンブレンドすることができるからである。
【００７０】
本明細書の実施形態は、（残存量データ等の）再構成データを生成する段階を備え、支持平面１３６を個々の平面１３５―２、平面１３５―３、および平面１３５―４に再び変換することができる。例えば、エンコーダは、平面１３５―２、１３５―３および１３５―４と同一の品質レベルで信号の予備的描出に平面１３６―２をアップサンプリングした後に行う必要のある修正を決定するように構成され得る。次に、エンコーダは、平面１３６―２のアップサンプリング描出における要素を平面１３５―２にどのように修正するかを示す第１のセットの再構成データを生成する。次に、エンコーダは、平面１３６―２のアップサンプリング描出における要素を平面１３５―３にどのように修正するかを示す第２のセットの再構成データを生成する。次いで、エンコーダは、平面１３６―２のアップサンプリング描出における要素を平面１３５―４にどのように修正するかを示す第３のセットの再構成データを生成する。従って、デコーダは、平面１３６―２に関連する再構成データおよび第１のセットの再構成データを受信し、平面１３５―２における設定を再現することができる。デコーダは、平面１３６―２に関連する再構成データおよび第２のセットの再構成データを受信し、平面１３５―３における設定を再現することができる。デコーダは、平面１３６―２と関連する再構成データおよび第３のセットの再構成データを受信し、平面１３５―４における設定を再現することができる。
【００７１】
図１Ｄは、本明細書における実施形態による動き補償と共に行うアグリゲーションおよび空間・時間ダウンブレンドの非限定的な例を図示する例示的な図である。
【００７２】
平面２１  １３５―５および平面２２  １３５―６は、支持平面１３７に統合され、支持平面１３７は、元の平面より大きい数の要素を有する。支持平面１３７の要素は、平面１３５―５および１３５―６の対応する要素に基づいて算出される。この非限定的な例示の実施形態においては、支持平面１３７が、元の平面のものより高い解像度を伴うサンプリンググリッドを有しないことを認め得る。これは、拡大したサンプリング領域（例えば、元の平面１３５―５、１３５―６などにおけるよりも大きな数の表示要素）である。平面１３７のグリッドは、平面２１、２２、３１、３２に対して拡張され、「シーン」のより大きい部分（すなわち、より大きな「視界」を有する）を取り込む。支持平面１３７に関連する表示要素の領域を拡大することにより、平面２１および２２における表示要素のより大きい部分を支持平面１３７に取り込むことを可能にする。従って、支持平面１３７は、複数の平面からの情報のアグリゲーションを含む。例えば、示すように、支持平面１３７は、平面２１および２２のそれぞれにおいて提示されるオブジェクトの組み合わせを含む。
【００７３】
示すように、支持平面１３７は、第１のオブジェクトの描出（例えば、平面２１および２２の両方に存在する濃い四角形として視覚的に図示した情報）、ならびに第２のオブジェクト（例えば、平面２２のみにおける三角形として視覚的に図示した情報）を含む。図は、動き補償の効果を示し、情報は、時間に沿って位置を変え、支持平面１３７にブレンドされる前に動きを補償された濃い四角形として視覚的に図示される。具体的には、図は、平面２１のサンプリング位置に対する動き補償の一例を示す（すなわち、支持平面１３７においては、濃い四角形は、平面２１において存在した箇所に位置する）。換言すれば、動き補償によるため、ブレンドされた平面１３７は、複数の元の平面の単純なオーバーレイのみにより得られるが、これは「ワープした」平面の加重平均であり、ワープした平面のぞれぞれは、支持平面１３７のサンプリング位置に対する所与の元の平面の動きを補償することにより得られる。
【００７４】
この例示的な実施形態において、平面３１  １３５―７および平面３２  １３５―８は、ダウンブレンド平面１３８にダウンブレンドされ、ダウンブレンド平面１３８は、空間的ダウンサンプリングオペレーションから生じるサンプリンググリッドよりも多くの要素を有する。支持平面１３７と同様に、ダウンブレンド平面１３８も、ダウンブレンド平面１３８にダウンブレンドされた平面の全てにおいて部分的に表され、平面のいくつかのみにおいて部分的に表される情報を含む。このようにして、本明細書における実施形態は、複数の異なる平面に存在するオブジェクトの描出の取り込みを適合させるべく、代表的な平面の解像度を低減するダウンサンプリングアルゴリズムを適用する段階と、ダウンサンプリングした平面に関連する対象範囲の領域（例えば、表示要素の数）拡大させる段階とを備える。
【００７５】
従って、ビデオに関連する画像のシーケンス（および取り込んだ移動オブジェクト）は、原画像と同じであるかまたは異なる解像度の１つの画像に取り込むことができる。
【００７６】
一実施形態において、エンコーダプロセッサハードウェアは、平面２１および２２の間に共通画像要素の設定のセットを含む、支持平面１３７を生成する。支持平面１３７は、ｉ）複数の原画像の第１の平面（画像）において検出された第１のオブジェクト（小さい円）の描出、およびｉｉ）複数の原画像の第２の平面（画像）において検出された第２のオブジェクト（三角形）の描出を含むように構成され得る。第２のオブジェクト（三角形）の描出は、第１の平面２１に存在しない可能性がある。第１のオブジェクトの描出（小さい円）は、第２の平面２２に存在しない可能性がある。
【００７７】
図２Ａ、図２Ｂ、図２Ｃ、および図２Ｄは、２つの二次元平面の要素の組み合わせ（すなわち、図１Ｂ、図１Ｃ、および図１Ｄにおいて図示するものによれば、アグリゲーションまたはダウンブレンド）を実装する、異なる非限定的な実施形態を図示する例示的な図である。簡潔にするために、４つの図面の全ては、時間領域におけるダウンサンプリングのみを視覚的に図示するが、実際には、より高いＬＯＱの２つのスパン１００―１および１００―２を、より低いＬＯＱの１つのスパンにダウンブレンドすることを示す。しかし、ダウンブレンドについて図示する同一の留意点は、同一のＬＯＱにおけるアグリゲーションにも有効である。
【００７８】
図２Ａ、図２Ｂ、図２Ｃ、および図２Ｄの４つの図は、ＬＯＱ＃―１（例えば１０１―１）のダウンサンプリングしたスパンを生成するようにスパン１００―１および１００―２をダウンブレンドする例示的な場合に焦点をあて、異なる動き補償のアプローチ（具体的には、文献が存在しないために「非対称的にバランスをとった動き補償」と定義した新規な方法）を適用する効果も図示する数学的には、３つの例示的な実施形態は、異なる動き補償オペレーションを伴うが、全て次式を適用する。
【数１】
2015520575.tif 000003
【００７９】
式中、
【数２】
2015520575.tif 000004
は、ＬＯＴ  Ｌ、ＬＯＱ  Ｋ、およびサンプリング位置ｔのスパンを識別し、Ｄｏｗｎ（  ）は、空間的ダウンサンプリングオペレーションを識別し、ＭＣ（  ）は、サンプリング位置ｔに対する基準を有する動き補償オペレーションを識別する。上記の等式では、この非限定的な実施形態において、ＬＯＱ  ０のスパンが一定のタイムスパンを有するという事実のために、バランスをとった重量を用いて時間ブレンドを行い、重量のそれぞれは、０．５に等しい。
【００８０】
動き補償オペレーションは、ダウンブレンドしたスパンのサンプリング位置に対して行う。動きに関する記述的情報は、好適な形式（例えば、代理人番号ＶＮＯ１２―０８およびＶＮＯ１２―０９による特許出願に更に説明される、任意に規定した動きゾーンおよび動きマトリックスを伴う浮動小数点の動き補償による我々の新規な方法）でエンコードされ、異なるサンプリング位置に対する動き補償オペレーションは、非常に効率的に表現および算出することができる。
【００８１】
本明細書に説明する１セットの非限定的な実施形態において、動きに関する記述的情報を割り当てられた信号の一部に対しては、複数のパラメータを用いて動きを推定し、「バランスをとった動き」（または「双方向の動き」）として算出する。本質的に、双方向のデコードを可能にするべく、１つのスパンに対する別のスパンからの移動を指定せずに、共通の基準位置に対する双方のスパンからの動きを指定する。そのような実施形態のいくつかは、（例えば、並進移動、すなわちオフセットのみを示す動きベクトルを用いる従来の方法とは異なり）１または複数の動きマトリックスを用いて動きを表す。動きマトリックスを使用して（すなわち、特定の動きを表すべく、３つ以上のパラメータをエンコードすること）は、新規であり、そのような非限定的方法の重要な特徴であり、ズーム、回転、遠近の変化等、より洗練された移動の推定および補償を可能にする。時に、動きマトリックスは、並進移動が十分と考えられる（例えば、既知のサンプリングの制約または複雑性の制約のために）実施形態において、単純なオフセットベクトルに畳み込まれる。他の非限定的な実施形態において、移動は、アフィン変換に対応する１または複数の動きマトリックスにより表され、動きを補償された座標位置は、同次座標法を使用することにより算出される。動きマトリックスのそれぞれは、「動きゾーン」と定義した信号の特定および任意に規定された部分に割り当てられる。他の非限定的な実施形態において、動きマトリックスは、より一般的な透視変換に対応し、より複雑なセットの移動も記載することを可能にする。
【００８２】
動きマトリックス（および、それを使用する実施形態については、任意のサイズおよび形状の動きゾーン）は、デコーダに送信され、いくつかの利点を有する。例えば、後方向きにすることができ、各時間的ステップに対応する動きマトリックスを好適に組み合わせる（例えば、乗算する）ことにより、いくつかのサンプリング位置にわたる同じ動きゾーンの動きを算出することができる。そうは言っても、動きマトリックスおよび動きゾーンは、動き推定および動き補償の多くの非限定的な実施形態のうちの１つに過ぎず、本明細書において説明する方法は、実質的にいずれのタイプの動き推定および動き補償方法とも好適に機能し得る。
【００８３】
図２Ａは、動き補償（または同等なものとしては一定の識別機能による動き補償）を適用せず、また、結果として「フレーミング」を適用しないことの効果を図示する。
【００８４】
ｔ＝１でサンプリングされるスパン１００―１およびｔ＝２でサンプリングされるスパン１００―２は、スパン１０１―１．５に合併され、＝（１＋２）／２＝１．５でサンプリングされる。ダウンブレンドしたスパン１０１―１．５のサンプリング位置がスパン１００―１および１００―２の元のサンプリング位置の平均であるという事実は、図示から明らかである。濃い円形オブジェクト２０１―０は、画像（スパン１００―１、サンプリング位置１）の底部左側から画像（スパン１００―２のオブジェクト２０２―０、サンプリング位置２）の右側上部へと移動する。スパン１００―１および１００―２による２の係数の線形ダウンサンプリング（例えば、３つの線のダウンブレンド）は、スパン１０１―１．５を生成し、水平および垂直の次元が半分になり、濃い円形オブジェクトは、双方のスパン位置において部分的に透明であり、可視である。本質的に、このスパンを見ることにより、観察者は、本質的に、（時間的観点から）両極端の間に位置付けられる、サンプリング位置１および２の間のオブジェクトの動き全体を見ている。この単純な三次元（すなわち、空間・時間）ダウンサンプリングによるアプローチは、可視のオブジェクトの速度が所定の閾値未満（すなわち、時間的相関が極めて高い）である非限定的な実施形態において、再構成された描出において不鮮明な動きの程度が受け入れ可能である条件において使用される。非限定的で実際的な例は、非常に高い解像度および１秒毎に１,０００フレームの動きの遅いシーンのビデオである。
【００８５】
他の実施形態において、動き推定および動き補償は、Ｎ次元のダウンサンプリングを行うのに有用である。
【００８６】
動き補償を行う場合、空間的ダウンサンプリングおよび時間的ダウンサンプリング（「ブレンド」）は、別個またな共同で、いくつかの可能な組み合わせを用いて行うことができる。非限定的な例の実施形態において、スパンは動きを補償され、次に三次元のダウンサンプリングが適用される。別の非限定的な実施形態において、空間的ダウンサンプリングを行い、動き補償が、そして最後に時間的ダウンサンプリングがこれに続く。別の非限定的な実施形態において、空間的ダウンサンプリングは、動き補償と組み合わされ、時間的ダウンサンプリングがこれに続く。
【００８７】
図２Ｂは、バランスをとった動き補償の非限定的な例を図示する例示的な図である。
【００８８】
非限定的な例示実施形態は、オブジェクトの動きを判定し、２つの元のスパンのサンプリング位置に対する中間のスパン時間における位置を推定する。対称性を保持するべく、時間的ダウンサンプリングオペレーションと共に「合併」する前に、（本質的に、２つの元のスパンの位置１および位置２に対する中間位置、すなわちサンプリング位置１．５にある位置をサンプリングすることに対応する）非常に相関する中間位置に２つのスパンを再配置するようにバランスをとって、動き補償を行う。オブジェクト２００―１は、スパン１００―１におけるオブジェクト２０１―０の位置およびスパン１００―２におけるオブジェクト２０２―０の位置の平均位置にある。
【００８９】
この単純な場合に、オブジェクトは、単純な並進的動き（すなわちオフセット）を伴って移動する。  このように、２つの動き補償オペレーションにおいて使用されるオブジェクト移動に関する記述的情報は、１つのベクトルを特徴とする。他のベクトルが「補足ベクトル」として算出されるからである。
【００９０】
そのようなバランスをとったアプローチの利益は、基準画像および／または移動の優先方向のいずれの選択も回避する。このように構造化した動き情報は、再生がどの時間方向に動いてもオブジェクトの移動を推定するように使用することができ、本質的に、双方向の再生（動き推定および動き補償に基づいたエンコード技術によりこれまで提供されなかった特徴）を可能にする。
【００９１】
動き補償オペレーションを好適に行うべく、ダウンサンプリングしたスパン１０１―１．５ｂｉｓが表示されるとディスプレイデバイスに送信される画像に対応する、要素２０１―１．５ｂｉｓの目的平面が生成される。同時に、目的平面の外側に存在するにもかかわらず、スパン１０１―１．５ｂｉｓが、特に追加および／または後方の動き補償オペレーション後、ならびに追加のダウンサンプリングオペレーション中にスパン１００―１および１００―２に対して予測を生成するのに役立ち得る要素も含むべく、目的平面２０１―１．５ｂｉｓよりも大きな要素の平面の割り当てから有用であり得ることは、図２Ｂから明らかである。
【００９２】
文献が存在しないため、目的平面２０１―１．５ｂｉｓに対するスパン１０１―１．５ｂｉｓの追加の行および列を定義するべく、我々は「フレーミング」という新しい用語を作成した。
【００９３】
従って、スパン１０１―１．５ｂｉｓは、平面２２０―１（ずれた位置におけるスパン１００―１を表す）および２２０―２（ずれた位置におけるスパン１００―２を表す）の組み合わせである。図２Ｂから明らかであるように、スパン１０１―１．５ｂｉｓは、非常に異なるレベルの重要度を有する平面要素を含む。区域２２０―１および２２０―２に属する要素は「有効」は平面要素であり、関連する情報を含む。他の要素全て（図において、斜線による区域により図示）は、ゼロの要素、つまり「利用可能でない」要素（２５０―１）である。これらは（圧縮指向の実施形態においては）デコーダに送信されず、デコーダは区域２２０―１および２２０―２の位置およびサイズを正確に知っており、動き情報と同じ精度が知られている。この例において、「利用可能でない」要素は、「有効な値を有する要素と平均することができない。「利用可能でない」要素を含む１セットの要素の加重平均を伴う、オペレーションの全てにおいて（ダウンサンプリング中またはアップサンプリング中のいずれか）、「利用可能でない」要素は、加重平均から除去され、残存要素の重量は、和が１に等しくなるように正常化される（図示する非限定的な実施形態において、これは、残存重量の全てに同じ定数を加えることにより実現される）。
【００９４】
値を有するが、目的平面２０１―１．５ｂｉｓの外側にある要素は、スパンを表示しなければならない場合には示されないが、例えば、デコード処理中にアップサンプリングオペレーションをサポートし、エンコード処理中にダウンサンプリングオペレーションを更にサポートするのに有用である。
【００９５】
非限定的な実施形態において、目的平面のサイズに対するフレーミングの量は、連続するより低いＬＯＱ毎に増加するが、これはより低いＬＯＱのスパンが動きを補償されたスパンのより大きい数の結果であるという事実に対応し（すなわち、より大きな量の時間を含む）、従って、より高い程度の移動を可能にするはずである。
【００９６】
図２Ｃは、バランスをとった動き補償を用いる時間的ダウンサンプリングのもう１つの例示的な場合を図示し、今回はより洗練されたタイプの移動（具体的にはスケール変換、すなわちズーム）を導入する。以前の場合は、（通常、最新の動き推定および動き補償方法により表される情報である）オフセット情報を含む動き情報を図示する。本明細書において図示する非限定的な実施形態は、バランスをとった動き推定および動き補償方法を活用するが、同時に、オフセット、回転、ズーム／拡散、遠近の変化等を含むがこれらに限定されない、より洗練されたタイプの動きも表す。具体的には、本明細書に図示する非限定的な実施形態は、４つのＺＲＯパラメータ（ズーム用の１つのパラメータ、回転用の１つのパラメータ、およびオフセット用の２つのパラメータ）により識別されたアフィン（または「ＺＲＯ」）の動きマトリックスを用いて移動を表す。
【００９７】
図２Ｂにおいて説明したことと同様に、図２Ｃにおいても、生じるダウンサンプリングしたスパンは、サンプリング位置１.５で中央に揃えられる。
【００９８】
バランスをとった動き補償の利益を示すにもかかわらず、図２Ｂおよび図２Ｃの双方は、中間（すなわち、潜在的には整数でない）のサンプリング位置でダウンサンプリングしたスパンを中央に揃えることの限界も非常に明確に示す。より高い品質レベルの対応するスパンの間にダウンサンプリングしたスパンを中央揃えすることは、論理的には美しいが、分割されたサンプリング位置は、問題を生じさせ、最上のＬＯＱよりも低い品質レベルで信号を表示するのに必要となる。まず、最上の品質レベル（元のサンプリングレートを有する）からより低い品質レベル（端数のサンプリングレートを有する）に動的に切り替えると、認め得るオブジェクトの動きにおける「ジャダー」および「スタッタ」を生じさせるであろう。第２に、図２Ｂおよび図２Ｃから明らかなように、生じるスパン（すなわち、スパンを表示しなければならない場合に表示される画像）の目的平面は、２つの元のスパンの間の中間位置にあり、結果として、上記のジャダーと少なくとも同様に、見るには非常に不快である可能性がある可視の「利用可能でない」区域を特徴とするであろう。非限定的な実施形態は、奇数のスパンを有するグループにのみ対称的な時間的ダウンサンプリングを適用することによりそのような問題を解決する（その結果、中間のサンプリング位置は、整数のサンプリング位置となり、目的平面は、当該奇数グループのスパンの中間スパンで中央揃えされる）。そのような問題を解決しつつ、偶数のスパンをダウンサンプリングすることをなおも可能にする別の非限定的な実施形態を、図２Ｄに図示する。
【００９９】
図２Ｄは、中間（対称的）のサンプリング位置の上記限定を伴わないバランスをとった動き補償の全ての利益を実現する、図２Ｂにおけるものと同一のソース信号に対する「バランスをとった非対称の動き補償」の非限定的な例の実施形態を図示する。
【０１００】
スパン１００―１および１００―２は、反転可能な動き変換（特定の非限定的な実施形態において、関連するそれぞれの動きゾーンに好適なＺＲＯ動きマトリックス）により、なおも動きを補償されるが、今回は１．５ではなく１に等しいサンプリング位置に対してである。従って、スパン１００―１の動き補償情報は、スパン１００―２の動き補償情報から直接に計算可能であることはやはり事実であり、その逆も成立する。動き補償は、確かになおも「バランスをとられ」、すなわち双方向である。
【０１０１】
同時に、ダウンサンプリングしたスパン１０１―１は、スパン１００―１と本質的に同一の目的平面２０１―１を特徴とする（いくつかの情報の可能な追加はスパン１００―２からもたらされるが、スパン１００―１と調和して位置付けられる）。結果として、スパン１０１―１を表示しなければならない場合、いずれの「利用可能でない」区域も存在せず、またサンプリングレートの観点からも、一定の「ブレンド」効果にもかかわらずオブジェクトの移動においてジャダーは認められないであろう。
【０１０２】
図３は、共通のブレンド予測子（本明細書において「支持平面」と呼ばれる）に基づいて要素の多次元平面のシーケンスをエンコードすることを実装する非限定的な実施形態を図示する例示的な図である。
【０１０３】
平面３００―１，...，３００―Ｎは、エンコーダ３１０により処理され、エンコーダ３１０はエンコード済みデータのストリームを生成する。具体的には、エンコード済みデータの当該ストリームは、エンコード済みデータ＃１  ３２０と、記述的情報３３０―１，...，３３０―Ｎのセットと、エンコード済みデータ＃２  ３４０―１，...，３４０―Ｎのセットとを含む。
【０１０４】
エンコード済みデータ＃１  ３２０は、支持再構成器３５０により受信および処理され、支持再構成器３５０は支持平面３５５を生成する。
【０１０５】
支持平面３５５は、デコーダにより基準線として活用され、元の平面３００―１，...，３００―Ｎに対応する好適な描出を再構成する。具体的には、支持平面３５５は基準再構成器３６０により処理され、基準再構成器３６０は基準平面３６５―１，...，３６５―Ｎを生成し、それぞれは、記述的情報３３０―ｉの対応するセットに基づいて支持平面３５５を処理することにより得られる。非限定的な実施形態において、基準平面３６５―ｉのそれぞれを生成する画像処理オペレーションは、記述的情報３３０―ｉのセットに対応する動き情報に基づく支持平面３５５での動き補償オペレーションを含む。
【０１０６】
残存量再構成器３７０は、エンコード済みデータ＃２  ３４０―１，...，３４０―Ｎのセットを受信および処理し、残存量３７５―１，...，３７５―Ｎのセットを生成する。
【０１０７】
次に、デコーダは、基準平面３６５―１，...，３６５―Ｎを残存平面３７５―１，...，３７５―Ｎと組み合わせることにより、再構成済み平面３８０―１，...，３８０―Ｎを生成する。
【０１０８】
我々は、要素３５５のセットを、所与の品質レベルにおける平面の所与のシーケンスに対する「支持平面」と呼ぶ。シーケンスにおける平面の全ての再構成を「支持」するからである。本質的に、要素３５５のセットは、シーケンス全体で平面の時間の相関を利用することにより、当該シーケンスを再構成するのに必要な再構成データの情報エントロピ（例えば、ビットにおけるエンコード済みの量）の低減をサポートする。「設定の１つの上位セット」における時間に相関する要素設定に集中することにより（すなわち、直感的に、次の平面に対して同一の情報を複数回反復することを回避しつつ、同時に、前の平面から各平面を予測することで誤差のアキュムレーションを生成することを回避することにより）、支持平面は、量子化後に実質的にゼロに等しく、残存量データの全情報に対応する測定基準を結果として減少させる、残存量の数を最大化させる。
【０１０９】
また、他の非限定的な実施形態は、所与の画像の再構成された描出が、より低い品質レベルの信号の描出に基づいて生成される第１の予測および同一の品質レベルの支持平面の動き補償に基づく第２の予測の２つの予測と残存量を組み合わせることにより得られるので、我々が「マルチ予測エンコード法」と定義するものを採用する。
【０１１０】
上記で説明したように、従来の方法（例えば、ビデオ信号、ＭＰＥＧに基づく技術、ＶＰ８等の場合）は、先行または後続のサンプルに対する差異をエンコード／デコードすることによる（従って、時間および本質的に一方向の再構成／再生）に対する誤差のアキュムレーションを用いて互いにエンコードされたサンプリングの「時間的カスケード」を生成することによる）時間の相関を利用する。これまで図示した方法の全てを含むがこれらに限定されない、本明細書における「時間的ダウンサンプリング」および「時間的アグリゲーション」の方法は、共通の予測子として機能し、複数の画像の相関情報を実質的に要約する時間的にブレンドした情報（時間的な段的階層の場合に、同一の解像度、または支持平面の場合により高い解像度でもサブサンプリングされる）をエンコード／デコードする段階からなり、（１）画像のより長いシーケンス全体で時間の相関を活用し（誤差のアキュムレーションは存在しないので）、（２）双方向の再構成／再生を行い、（３）シーケンスにおける任意の画像のランダムアクセス再構成も行うことを可能にする。非限定的な例としては、所与の画像を再構成することを可能にする残存量を密に量子化する決定（すなわち、１つの画像の情報および／またはアーティファクトを著しい損失をもたらす決定）は、同一の支持平面およびより低いＬＯＱでの予測子の同一のセットに基づいて再構成される同一のＬＯＱで、他の画像に影響しない。また、デコードは、後方向きの時間的順序（例えば、あるＩフレームから前のＩフレームへとスキップするのみの現在の方法と異なる、ビデオの滑らかな後方再生）で行うことができる。いずれの画像の再構成も、時間的順序で前の画像の再構成された描出を利用することを必要としないからである。
【０１１１】
図４Ａおよび図４Ｂは、マルチ予測エンコードを用い、具体的には残存量データをエンコードするべく支持平面も活用する、時間的な段的階層においてエンコードされた三次元の時間ベースの信号の非限定的な例の実施形態を図示する、例示的な図である。例示の入力信号は、画像のシーケンスであり、あらゆる実際的目的のために、長時間サンプリングされた二次元フレームのシーケンスからなるビデオ信号と考えることができる。表示要素の平面１００―１は、時間Ｔ１（すなわちサンプリング位置Ｔ１）における画像サンプルデータを表すことができ、表示要素の平面１００―２は、時間Ｔ２における画像サンプルデータを表すことができ、表示要素の平面１００―３は、時間Ｔ３における画像サンプルデータを表すことができる、等々である。最も高い（元の）品質レベル（ＬＯＱ＃０、または同等なものとして段＃０）の画像は、２つの「ロット」であるロット１およびロット２、または換言すれば画像の２つのサブシーケンスからなる「バッチ」（すなわち時間チャンク）において編成される。
【０１１２】
図４Ａおよび図４Ｂに図示する信号は、段的階層でエンコードされ、４つの最上の品質レベルＬＯＱ＃０、ＬＯＱ＃―１、ＬＯＱ＃―２、およびＬＯＱ＃―３がこれらの図面に示されている。これは、より大きい数の品質レベルを用いて信号をエンコードすることができ、原則として最も低いレベルは１つの要素からなる１つのスパンを有するので、非限定的なものとして意図される。品質レベルＬＯＱ＃―１は、ロット１用の４つのサンプル（サンプル１０１―１、１０１―３、１０１―５、１０１―７）およびロット２用の２つのサンプル（サンプリング１０１―９および１０１―１２）からなる。この非限定的な実施形態において、ＬＯＱ＃―１のロットは、ＬＯＱ＃０における同一のロットよりも低い数のサンプルを有し、すなわち、ＬＯＱ＃―１のサンプルは、時間的ダウンサンプリングにより得られたものである。また、ＬＯＱ＃―１のサンプルに対応する要素の超平面（すなわち、ビデオフレームの例において、ピクセルの二次元平面）は、ＬＯＱ＃０のスパンに対応する要素の超平面に対して、各空間次元に好適なスケール係数を用いてダウンサンプリングされ、この非限定的な例示において、超平面は、二次元（例えば二次元画像を表す）を有し、各次元は、全ての品質レベルの階層から次のものへと２の係数でダウンサンプリングされ、２で割ることを保証するべく必要な場合にパディングの線または列を導入する。
【０１１３】
図４Ａは、画像自体を示し、時間的ダウンサンプリングから生じる画像が、より高いＬＯＱの複数のサンプルに対応するために、どのようにして長い「タイムスパン」を有するかを図示する。例えば、ＬＯＱ＃―２の画像１０２―２は、ＬＯＱ＃０の４つのサンプルに等しいタイムスパンを有する。
【０１１４】
図４Ｂは、画像自体を示していないが、これ代えて、示されるＬＯＱのそれぞれの各ロットに対する画像および支持平面のそれぞれに対応する絶対残存量Ｒのセットを示す。図４Ｂは、異なる品質レベルにおける画像の残存量データ量が、どのように空間解像度（すなわち、要素の量）を徐々に低下させるかを図示し、フレーミングを支持平面に適用するＬＯＱおよびロットに対して、所与の品質レベルにおける所与の支持平面の描出が、当該支持平面により支持される同一の品質レベルの画像に対応する絶対残存量のセットよりも高い量の要素を有する。
【０１１５】
この非限定的な実施形態において、ロットの支持平面は、ＬＯＱ＃０におけるロット画像のサンプリング位置の平均よりわずかに低いかこれに等しい、ＬＯＱ＃０の整数のサンプリング位置で中央揃えされる。具体的には、ロット１の支持平面ＳＰ１のチェーンは、サンプリング位置ｔ＝４で中央揃えされるが、ロット２の支持平面ＳＰ２のチェーンは、サンプリング位置ｔ＝１１で中央揃えされる。
【０１１６】
特定の例の場合、ＬＯＱ＃―３までのロットに対する絶対残存量を再構成することは、双方のロットにとり、ただ支持チェーンを再構成することと同等であり、すなわち、絶対残存量１３４―４のセットは、支持平面ＳＰ１―４と一致し、絶対残存量１３３―４のセットは、支持平面ＳＰ１―３等と一致する。これと異なり、支持平面は、品質レベルに対する別個の独自の識別を有し、ロットは、２つ以上の画像により表される。例えば、ロット１のＬＯＱ＃―２については、支持平面ＳＰ１―２は、絶対残存量Ｒ１０２―２および１０２―６のセットと異なる。
【０１１７】
エンコードされた再構成データの好適なセットを生成するべく、所与のサンプリングレートにおける画像シーケンスで作成された信号を受信するエンコーダとして構成された信号プロセッサは、まず、バッチに含まれる信号の時間部分およびロットにおける小区分を識別する。バッチは、時間次元は、多くの場合、無限であるという問題のために必要であるが（少なくとも実際的目的のために）、空間次元は、明確で固定のネイティブな境界（例えば、ビデオフレームの水平および垂直の解像度、音声サンプルを表す値の数、容積測定画像のｘ―ｙ―ｚ解像度等）有する。従って、たとえ理想的には最良の選択肢であっても、時間における持続時間に沿って信号を分析することは実際上実行不可能である。しかし、動画および撮影等、実際上非限定的な例示における信号は、多くの場合、関係ないチャンクのネイティブな連結チェーンであり、例えば、通常、動画コンテンツは、「シーン」、すなわち、非常に明らかなシーンの変化により分離された相関画像の時間的に限定された量に分割される。これらの「シーンバッチ」は、信号をエンコードする前の時間の分割に対する有効な基準として機能し得る。これらのバッチは非常に長いが、画像のシーケンスを更にセグメント化するのに必要である。適切な対策をせずに、シーンを「計算の独立部分」に分割すると、明らかなアーティファクトをもたらし、ノイズパターンが突然、変化し、スムーズな移動が不連続性等を示す可能性がある。本明細書において説明する非限定的な実施形態により使用される新規な方法論は、「ロット」の使用（すなわち、個別に、ロットにより階層ロットをダウンサンプリングする）および「デコードウェーブ」アプローチ（すなわち、ロット全体で階層をアップサンプリングする）を含む。そのような新規な方法により、現在のアーキテクチャを用いて実際的な計算を行うべく、シーンは、分割される。そのような分割は、デコード中に「ブリッジ」され、厳格な分離を回避し、結果として信号の再構成された描出における非連続性を回避する。
【０１１８】
バッチが若干の画像からなる場合、更に分割する必要はない。その代わり、多くの画像について持続するバッチを想定し（すなわち、所与の閾値より大きい）、エンコーダは「ロット」のバッチをスライスする。上記に示したように、ロットは、スパンの連続する数である。１〜５ロットで作成された１〜１２８のスパンおよびバッチのロットの長さは、ロットおよびバッチの持続時間の非限定的な例示である。実際的観点から、そのような長さは、所与の実施形態において使用されるハードウェア、メモリ、および処理ユニットに対して調節されている。ロット次元に関する決定は、エンコーダ側で行う最適化処理の結果である。非限定的基準は、デコーダリソースの任意の要求（具体的には、メモリ要求）があれば、エンコーダにより生成される所与のプロファイルで、高度に時間相関したバッチ内でロットの長さを最大化する。別の非限定的基準は、固定ロットのサイズを可能な限り多く保持し、特に、計算を単純化するように画像の固定数または１つの画像に対してサイズを設定する（例えば、あまり相関しない画像の前後に）。
【０１１９】
エンコーダは、信号全体で動き推定を行い、補助マップ、動きベクトル、動きゾーンマップ、動きマトリックス等のパラメータ数を含み、信号スパンにおいて表されるオブジェクトの動きを表す、好適な記述的情報を生成する。動き推定の結果に応じて、エンコーダは、例えば、ビデオ信号の場合のシーンの変化を考慮しつつ、バッチおよびロットに含まれる画像の数を修正してもよい。時間に沿った画像の時間の相関が所与の閾値未満に減少する場合には、ロットの長さはエンコーダにより短くされる。従って、動きの観点から、バッチ中の信号の活動に対応する好適な測定基準に基づいて、ロットの長さは、本質的には反比例ベースで割り当てられる。非限定的な実施形態において、ロットの長さは、事前設定した実験パラメータ、ならびに好適なヒューリスティックを活用することにより、当該測定基準に基づいて定義される。
【０１２０】
エンコードおよびデコードのオペレーションは、上記に図示する方法により機能する。エンコーダ（「エンコーダ」）として構成される信号プロセッサは、元の品質レベル（「ＬＯＱ＃０」）で信号の描出（例えば、画像のそれぞれが所与のサンプリング位置および所与の持続時間を特徴とする、一定のサンプリングレートでの二次元画像のシーケンス）を受信する。エンコーダは、信号を処理し、動き情報を生成することにより開始する。当該動き情報に少なくとも部分的に基づいて、エンコーダは、前および後続のシーケンス（すなわち「バッチ」）とは別にエンコードする画像の好適なシーケンスを識別する。また、エンコーダは、好適なエンコードパラメータに少なくとも部分的に基づいてバッチを１または複数の「ロット」の画像に分割する。より具体的には、図４Ｂに図示するように、エンコーダは、１３の画像のバッチを識別し、８つの画像からなるロット１、および５つの画像からなるロット２に分割する。
【０１２１】
各ロットにおいて、エンコーダは、好適なダウンサンプリングおよび／もしくはブレンド、ならびに／またはダウンブレンドのオペレーション（画像全体で動きを適切に考慮するべく、動き補償オペレーションも含む）の実行を開始し、信号のより低い品質レベルを生成する。より低い品質レベルの画像が、より高い品質レベルで動きを補償された画像の組み合わせの結果である場合（より高い品質レベルでの画像の空間的ダウンサンプリングとは異なり）、エンコーダは、追加の行および列を、より低い品質レベルの画像に追加することにより、示される実画像（「目的平面」）にわたる、ある程度の「フレーミング」を導入し、信号は、その品質レベルで表示しなければならない。読み易さのために、信号の実画像は、図４Ｂにおいて示さない。
【０１２２】
ロットのダウンサンプリングした描出の次元のうち１つが１つの要素の解像度に達すると、後続のより低い段のダウンサンプリングは、残存する次元のみに沿ってダウンサンプリングすることにより進行する。例えば、ＬＯＱ＃―２で、ロット２は、１つの要素に等しい時間解像度に達し（すなわち、全ロットは、１つの画像のみで表される）、従って、ＬＯＱ＃―２からＬＯＱ＃―３へのロット２のダウンサンプリングは、空間次元（通常、はるかに高い解像度を有する）のみに沿ってダウンサンプリングすることにより進行する。
【０１２３】
各ロットにおけるダウンサンプリング処理は、ボトム品質レベルに達するまで継続する。図４Ｂの非限定的な例において、最後のＬＯＱはＬＯＱ＃―４である。
【０１２４】
エンコーダが最後のＬＯＱ＃―４を生成すると、エンコーダは、ボトムレベルの絶対残存量１３４―４および１３５―１１のセットを生成し（この単純な非限定的実施形態において、ボトムレベルの２つの画像の要素を量子化することにより）、また、ＬＯＱ＃―４において、絶対残存量１３４―４および１３５―１１の当該セットは、ＬＯＱ＃―４でロット１およびロット２の支持平面ＳＰ１―４およびＳＰ２―４とそれぞれ一致する。結果として、ＬＯＱ＃―４で、支持平面の残存量ＲＩは、絶対残存量Ｒと一致し、相対的残存量ＲＩＩは、全てゼロに等しい。
【０１２５】
次に、エンコーダは、デコーダ側で行うオペレーションをシミュレートすることを開始し、好適なアップサンプリングオペレーションを行い、ＬＯＱ＃―３のための予測画像を生成する。この非限定的な実施形態において、エンコーダは、時間的アップサンプリングオペレーションを活用し、カーネルは、ＬＯＱ＃―１までで１つの次元毎に２つの要素を、また、ＬＯＱ＃―１からＬＯＱ＃０までで１つの次元毎に４つ要素を含む。先にすでに言及したように、これは、より低いＬＯＱで、要素が時間および空間の両方においてより遠く、従って要素間の相関が比較的ローカルである可能性があるという事実によるものである（例えば、そのような相関は限定的な利益しかもたらさず、相関しない画像への「寄与を求めること」は、時に非生産的でもある）。
【０１２６】
ダウンサンプリングにより生成した段的階層のダウンサンプリングした画像と予測画像を比較することにより、エンコーダは、絶対残存量１３３―４および１３３―１１のセットを生成し、このセットは、ＬＯＱ＃―３で２つの支持平面ＳＰ１―３およびＳＰ２―３と再び一致する。
【０１２７】
エンコーダは、ＬＯＱ＃―３の再構成された描出に基づいてＬＯＱ＃―２のための予測画像を生成することにより進行する。ダウンサンプリングにより生成した段的階層のダウンサンプリングした画像と予測画像を比較することにより、エンコーダは、絶対残存量１３２―２、１３２―６および１３２―１１のセットを生成する。ＬＯＱ＃―２で、ロット１は、２つの画像からなり、従って支持平面は、いずれのセットの絶対残存量とももはや一致しないが、実質的に、絶対残存量１３２―２および１３２―６の２つのセットを予測するために使用する１セットの支持要素である。従って、エンコーダは、まず、「理想の」（すなわち、プレエンコードおよび再構成の）描出Ｓを算出することにより、支持平面ＳＰ１―２を算出して進行する。
【数３】
2015520575.tif 000005
式中、動き補償オペレーションＭＣは、支持平面ＳＰ１―２、すなわちｔ＝４のサンプリング位置に対して行われる。
【０１２８】
また、この非限定的な実施形態において、支持平面は段的階層法に従ってエンコードされるので、エンコーダは、次に支持平面のための再構成データを生成することに移り、ＬＯＱ＃―３で支持平面ＳＰ１―３に好適なアップサンプリングオペレーションを適用することにより、予測される支持平面Ｖの算出を開始する。次に、エンコーダは、支持平面残存量ＲＩを算出する。
【数４】
2015520575.tif 000006
【０１２９】
結果として、エンコーダ（デコーダで行うオペレーションをシミュレートする）は、支持平面ＳＰ１―２の描出（数学的に「Ｚ」と記載される）を再構成する。
【数５】
2015520575.tif 000007
【０１３０】
ここで、エンコーダは、支持平面ＳＰ１―２の（対応する各画像のサンプリング位置に対する）絶対残存量Ｒ１３２―２および１３２―６と、動きを補償された描出とのセットの間の差異を算出することにより、ロット１（図示せず）のＬＯＱ＃―２の２つの画像に対する相対的残存量のセットを生成することができる。
【０１３１】
エンコーダは、同様にして最も高いＬＯＱまで進み、必要な再構成データの全て（例えば、この非限定的な例の場合、各ロットの各ＬＯＱに対する支持平面の残存量、相対的残存量、および記述的情報）を生成する。
【０１３２】
デコーダ側では、デコーダとして構成された信号プロセッサは、再構成データを生成するべく、本質的に、エンコーダ側でシミュレートされた同一のオペレーションを行う。デコーダは、やはり好適なデコードパラメータに基づいて、再構成する画像のシーケンスを識別するべく、データストリームを受信し、同期マーカメタデータをデコードすることにより開始する。最も低いＬＯＱから開始して、デコーダは、より高いＬＯＱの画像の予測を再構成し、支持平面データを再構成し、支持平面データを相対的残存量データと好適に組み合せることにより絶対残存量データを再構成し、結果として、より高いＬＯＱの画像の描出を再構成する。
【０１３３】
好適なＬＯＱを再構成すると、信号プロセッサは、例えば、再生デバイスに送信することにより、ユーザに再構成された信号を提示する。また、受信した再構成データ、および／またはリアルタイムのデコードの制約、および／または他の制約（例えば、計算電力消費量の最小化、電力消費量の最小化、吸収帯域幅の最小化、再生速度の最小化等）、および／または特定の入力パラメータへの応答に応じて、デコーダは、信号の異なる部分に対する異なるＬＯＱでデコードを停止し得る。
【０１３４】
図示した実施形態は、非限定的なものと考えられるべきであり、当業者は、これまでに論じた全ての非限定的な実施形態および方法を図４Ａおよび４Ｂに図示する例示的な実施形態とどのように組み合わせるかを容易に推測し得る。
【０１３５】
他の非限定的な実施形態において、所与のロットの所与のＬＯＱに対する支持平面は、動きを補償された絶対残存量の時間に沿った加重平均を行うことによってではなく、実際に動きを補償された画像の時間に沿った加重平均を行うことにより、算出される。従って、所与の画像の絶対残存量は、相対的残存量を、所与の画像の予測画像と支持平面の動きを補償された描出との間の差異と組み合わせることにより得ることができる。そうは言っても、これらの実施形態は、デコーダに絶対残存量を生成することは要求しない。デコーダは、動きを補償された支持平面を相対的残存量と組み合わせることのみにより所与のＬＯＱで信号の描出を生成することができるからである。そのような実施形態において、所与のＬＯＱに対する支持平面は、（相関残存量データとは異なり）ロットの相関情報の全てを実際には表す。これらの非限定的な実施形態は、特に、ＬＯＱの段的階層が存在しない場合に有用である。
【０１３６】
他の非限定的な実施形態において、隣接するロットの支持平面情報は、画像の絶対残存量の予測を生成するべく、（例えば、支持平面の動きを補償された描出の加重平均を計算することにより）好適に活用される。
【０１３７】
他の非限定的な実施形態において、隣接するロットの支持平面は、アグリゲーションレベルの段的階層でエンコードされ、すなわち、アグリゲーションレベルの２つまたはそれ以上の支持平面は、より高いアグリゲーションレベルの高次支持平面に基づいてエンコードされる。
【０１３８】
図５Ａおよび５Ｂは、所与のＬＯＱの絶対残存量に対する支持平面の非限定的な例の実施形態を図示する例示的な図であり、当該支持平面は、アグリゲーションレベルの段的階層においてエンコードされる。例示的な入力信号は、図４Ａおよび図４Ｂにおいて説明されるものと同じであり、これを二次元フレームのシーケンスからなるビデオ信号と考えることができる（我々の画像は方法の目的のためである）。しかし、ロットにおける信号バッチの分割は異なり、ＬＯＱ＃０に基づいてＬＯＱ＃―１を得るべく使用するダウンサンプリングオペレーションも異なる。具体的には、図４Ａおよび図４Ｂにおいて図示する非限定的な実施形態と異なり、この非限定的な実施形態において、ＬＯＱ＃―１は、単純な空間的ダウンサンプリング、すなわち、ＬＯＱ＃０と同一のサンプリングレートを維持することにより得られる。ＬＯＱ＃―１での描出の品質における過剰な低下を回避するべく、最上のＬＯＱのサンプリングレートが比較的低い類似の構成が好ましい。
【０１３９】
図４Ｂのように、図５Ａおよび図５Ｂは、画像のそれぞれに対応する絶対残存量Ｒのセット（画像自体を示すのではなく）各ロットに対する支持平面を図解的に示す。読み易さのために、図５Ａは、信号の最上のＬＯＱ＃０のみを示すが、図５Ｂは、次のより低いＬＯＱ＃―１の支持平面について生じることを示す。すでに言及したように、この具体的な非限定的実施形態において、図５Ｂに示す、次のより低い信号のＬＯＱは、最上のＬＯＱと同一のサンプリングレートを有するが、空間解像度はより低い。
【０１４０】
図４Ｂにおいて示すものと同様に、支持平面ＳＰ１―０、ＳＰ２―０，...，ＳＰ６―０のそれぞれは、対応するロットの絶対残存量のセットの再構成を支持する。しかし、図４Ｂにおいて示すものとは異なり、より低い品質レベルで同一のロットの対応する支持平面に基づいてＳＰｉ―０を再構成するのではなく、この非限定的な実施形態は、ＬＯＱ＃０のために生成されたアグリゲーションレベルの特定の段的階層に基づいて支持平面をエンコードおよびデコードする（すなわち、空間的ダウンサンプリングを行うことなく、動きを補償された時間的ブレンドのみで）。
【０１４１】
具体的には、エンコーダとして構成された信号プロセッサは、ＬＯＱ＃０で画像のそれぞれに対する絶対残存量Ｒ１３０―１，...,１３０―１３のセットを生成し、支持平面ＳＰ１―０、ＳＰ２―０，...，ＳＰ６―０を生成し、各平面は、対応するロットの絶対残存量のセットの動きを補償された描出を好適に組み合わせることにより得られる。この単純化した非限定的実施形態において、ロットは、最大で３つの画像から作成されるように選択され、支持平面のサンプリング位置は、所与の各ロットの第１の画像のサンプリング位置に等しい。支持平面ＳＰ１―０，...，ＳＰ６―０は、アグリゲーションレベル（ＬＯＡ）＃０のＬＯＱ＃０に対する支持平面と呼ばれる
【０１４２】
次に、エンコーダは、より高いアグリゲーションレベル（ＬＯＡ＃１）の高次支持平面ＳＰ１＋３−０−１に従い、支持平面ＳＰ１―０およびＳＰ２―０をエンコードすることに移る。具体的には、エンコーダは、ＳＰ１＋３−０−１のサンプリング位置に従い、ＳＰ１―０およびＳＰ２―０の動きを補償された描出を好適に組み合わせることによりＳＰ１＋３−０−１を生成する（本実施形態において、ＳＰ１−０のサンプリング位置、すなわち高次支持平面に組み合わされる平面のサンプリング位置のより低いものに設定される）。エンコーダは、次式により、当該平面と支持平面ＳＰ１＋３−０−１の動きを補償された描出との間の差異に基づいて支持平面ＳＰ１―０およびＳＰ２―０のそれぞれに対する支持平面残存量ＲＩ＊（図示せず）を生成する。
【数６】
2015520575.tif 000008
【０１４３】
式中、Ｓは、エンコーダにより最初に算出された支持平面（すなわちＳＰ１―０またはＳＰ２―０）を表し、Ｚは、デコーダ側で当該支持平面の再構成された描出（デコーダが再構成できるものに基づいて残存量データを好適に生成するべく、エンコーダによりシミュレートされた）を表す。
【０１４４】
同一の方法によれば、エンコーダは、高次支持平面ＳＰ５＋６−０−１に基づく高次支持平面ＳＰ３＋４−０−１、ならびに支持平面ＳＰ５―０およびＳＰ６―０に基づいて、支持平面ＳＰ３―０およびＳＰ４―０を再構成するのに必要な高次支持平面ＳＰ３＋４−０−１およびＳＰ５＋６−０−１、ならびに支持平面残存量ＲＩ＊のセット（各支持平面毎に１つのセット）を生成する。
【０１４５】
別の非限定的な実施形態において、エンコーダは、ＬＯＡ＃２の１または複数のやはり高次支持平面（例えば、図５Ａおよび図５Ｂに示す高次支持平面ＳＰ１＋２＋３＋４＋５＋６−０−２）に従い、ＬＯＡ＃１における高次支持平面もエンコードする。これらの実施形態において、エンコーダは、支持平面残存量ＲＩ＊のセットを生成することを開始する前に（最も高いアグリゲーションレベルから開始することによりデコーダ側で再構成処理をシミュレートする前に）、最も高いアグリゲーションレベルまでの支持平面を生成する。
【０１４６】
デコーダ側において、デコーダは、最も高いアグリゲーションレベルにおけるロットのバッチに対する高次支持平面に対応する再構成データを受信し、デコードすることにより、ＬＯＡ＃０における支持平面（すなわち、絶対残存量のセットを再構成するべく必要な支持平面）を再構成する。次に、デコーダは、次のより低いアグリゲーションレベルの支持平面に対する予測を再構成し、支持平面残存量ＲＩ＊の受信したセットに基づいて当該予測を調整する。デコーダは、最も低いアグリゲーションレベルまで（より正しくは、その低さまで）支持平面の段的階層を再構成する。
【０１４７】
図５Ｂに図示するように、信号の所与のバッチの全てのＬＯＱは、固有の支持平面のアグリゲーションレベルの段的階層を有する。この非限定的な実施形態において、所与のＬＯＱの支持平面の段的階層は、信号の他のＬＯＱの支持平面の段的階層から独立している。
【０１４８】
図６および図７は、支持平面に基づく絶対残存量のセットのエンコードおよびデコードの非限定的な実施形態を更に図示する。
【０１４９】
エンコーダとして構成された信号プロセッサにおいて、画像６００―１および６００―２は、支持平面６５０およびメタデータ６５５を生成するブレンド予測子ジェネレータ６００により処理される。
【０１５０】
図７に図示するように、デコーダとして構成された信号プロセッサは、支持平面６５０、動きに関するメタデータ６５５―１の、および相対的残存量７６０―１を受信する。予備画像の計算機７１０は、動きに関するメタデータ６５５―１に基づいて支持平面６５０を処理し、予備画像７４０―１を生成する。次に、コンバイナ７２０は、予備画像７４０―１を残存量７６０―１と組み合わせ、画像１  ７―６００―１の描出（すなわち、エンコードされた画像６００―１に対応する再構成された描出）を生成する。
【０１５１】
図８は、本明細書における実施形態によるコンピュータ処理を提供するコンピュータシステム８００のブロック図である。
【０１５２】
コンピュータシステム８００は、パーソナルコンピュータ、処理回路、テレビ、再生デバイス、エンコードデバイス、ワークステーション、携帯式計算デバイス、携帯電話、タブレット、コンソール、セットトップボックス、ネットワーク端末、処理装置、スイッチとして動作するネットワークデバイス、ルータ、サーバ、クライアント等、コンピュータ化されたデバイスであるか、これらを少なくとも含み得る。
【０１５３】
以下の論述は、前述の信号プロセッサに関連する機能をどのように実行するかを示す基本的な実施形態を提供することに留意されたい。しかし、本明細書において説明するオペレーションを実行するための実際の構成は、各用途に応じて変更し得ることに留意されたい。
【０１５４】
示すように、この例のコンピュータシステム８００は、通信バス８１１を備え、デジタル情報を格納し、取得することができる非一時的コンピュータ可読ストレージ媒体等のコンピュータ可読ストレージ媒体８１２との通信を提供する。
【０１５５】
コンピュータシステム８００は、プロセッサ８１３、Ｉ／Ｏインターフェース８１４、および通信用インターフェース８１７を更に備える。
【０１５６】
一実施形態において、Ｉ／Ｏインターフェース８１４は、レポジトリ８８０、そして、存在すれば、スクリーンディスプレイ、オーディオスピーカ、キーボード、コンピュータおよびマウス等の周辺機器８１６への接続性を提供する。
【０１５７】
簡潔に上記で言及したように、コンピュータ可読ストレージ媒体８１２は、いずれの好適なデバイス、および／またはメモリ、光記憶装置、ソリッドステートストレージ、ハードドライブ、フロッピー（登録商標）ディスク等のハードウェアでもあり得る。一実施形態において、ストレージ媒体８１２は、信号プロセッサアプリケーション８４０―１に関連する命令を格納するように構成された非一時的ストレージ媒体（すなわち、非搬送波媒体）である。命令は、本明細書において論じるオペレーションのいずれかを行うべく、プロセッサ８１３等の各リソースにより実行される。
【０１５８】
通信用インターフェース８１７は、コンピュータシステム８００が、遠隔リソースから情報を取得し、他のコンピュータ、スイッチ、クライアント、サーバ等と通信するべく、ネットワーク８９０を介して通信することを可能にする。また、Ｉ／Ｏインターフェース８１４は、プロセッサ８１３がレポジトリ８８０から格納情報を取得し、または取得を試みることを可能にする。
【０１５９】
示すように、コンピュータ可読ストレージ媒体８１２は、処理８４０―２としてプロセッサ８１３により実行される信号プロセッサアプリケーション８４０―１を用いてエンコードされ得る。
【０１６０】
コンピュータシステム８００は、データおよび／または論理命令を格納するためのコンピュータ可読ストレージ媒体８１２を含むように実施され得ることに留意されたい。
【０１６１】
信号プロセッサアプリケーション８４０―１に関連するコードは、本明細書において図示される信号プロセッサおよび／または本明細書において論じる発明を実装するのに必要な他のリソースの機能を実装し得る。
【０１６２】
一実施形態のオペレーション中に、プロセッサ８１３は、コンピュータ可読ストレージ媒体８１２内に格納された信号プロセッサアプリケーション８４０―１の命令を立ち上げ、起動し、実行し、解釈し、または行うべく、通信バス８１１を介してコンピュータ可読ストレージ媒体８１２にアクセスする。信号プロセッサアプリケーション８４０―１の実行により、プロセッサ８１３において処理機能が生成される。換言すれば、プロセッサ８１３と関連する信号プロセッサの処理８４０―２は、コンピュータシステム８００におけるプロセッサ８１３内またはその上で信号プロセッサアプリケーション８４０―１を実行する１または複数の態様を表す。
【０１６３】
当業者は、コンピュータシステム８００が、他の処理、ならびに／または信号プロセッサアプリケーション８４０―１を実行するべく、リソースを処理するハードウェアの割り当ておよび使用を制御するオペレーティングシステムもしくは他のソフトウェア等のソフトウェアおよびハードウェアコンポーネントを含み得ることを理解するであろう。
【０１６４】
異なる実施形態によれば、コンピュータシステムは、パーソナルコンピュータシステム、デスクトップコンピュータ、ラップトップ、ノートブック、ネットブックコンピュータ、メインフレームコンピュータシステム、ハンドヘルドコンピュータ、ワークステーション、ネットワークコンピュータ、アプリケーションサーバ、ストレージデバイス、カメラ、カムコーダ、セットトップボックス、モバイルデバイス、スマートフォン、タブレット、ビデオゲームコンソール、ハンドヘルドビデオゲームデバイス等の大衆消費電子デバイス、スイッチ、モデム、ルータ等の周辺機器、または一般的に、いずれのタイプの計算または電子デバイスも含むがこれに限定されない、様々なタイプのデバイスのいずれかであり得ることに留意されたい。
【０１６５】
ここで、図９から図１２の流れ図により、異なるリソースによりサポートされる機能を論じる。以下の流れ図における段階は、任意の好適な順序で実行し得ることに留意されたい。
【０１６６】
図９は、本明細書に図示する実施形態による例示的な方法を図示する流れ図の９００である。前述の概念についていくらかの重複があることに留意されたい。
【０１６７】
処理ブロック９１０において、コンピュータプロセッサハードウェアは、シーケンスにおける複数の原画像の各画像に対する要素設定を指定する画像データを受信する。
【０１６８】
処理ブロック９２０において、コンピュータプロセッサハードウェアは、複数の原画像全体で要素設定を分析する。
【０１６９】
処理ブロック９３０において、コンピュータプロセッサハードウェアは、シーケンスにおける複数の原画像の要素設定を利用し、１セットの共通画像要素の設定を指定する第１のエンコード済み画像データを生成し、共通画像要素の設定のセットは、シーケンスにおける原画像のそれぞれを実質的に再現するための基準線である。
【０１７０】
図１０は、実施形態による例示的な方法を図示する流れ図の１０００である。前述の概念についていくらかの重複があることに留意されたい。
【０１７１】
処理ブロック１０１０において、コンピュータプロセッサハードウェアは、画像のシーケンスを受信する。
【０１７２】
処理ブロック１０２０において、コンピュータプロセッサハードウェアは、画像のそれぞれの設定を取得する。
【０１７３】
処理ブロック１０３０において、コンピュータプロセッサハードウェアは、画像のシーケンス全体で設定をブレンドし、画像のシーケンスを表す１つの画像を生成する。
【０１７４】
処理ブロック１０４０において、画像シーケンスにおける所与の各画像について、コンピュータプロセッサハードウェアは、予測子画像に基づいて、画像処理オペレーションおよび／または所与の画像の描出をどのように再構成するかを指定する調整に対応するデータを生成する。
【０１７５】
図１１は、実施形態による例示的な方法を図示する流れ図の１１００である。前述の概念について重複があることに留意されたい。
【０１７６】
処理ブロック１１１０において、コンピュータプロセッサハードウェアは、シーケンスにおける複数の原画像から得た第１のエンコード済み画像データを受信し、第１のエンコード済み画像データは、シーケンスにおける複数の原画像のそれぞれを再現するための基準線として使用する１セットの共通画像要素の設定を指定する。
【０１７７】
処理ブロック１１２０において、コンピュータプロセッサハードウェアは、調整を指定する第２のエンコード済み画像データを受信する。
【０１７８】
処理ブロック１１３０において、コンピュータプロセッサハードウェアは、共通画像要素のセットに少なくとも部分的に基づいて再構成された、原画像の予備的描出に対する調整の適用に基づいてシーケンスにおける複数の原画像を実質的に再現する。
【０１７９】
図１２は、実施形態による例示的な方法を図示する流れ図の１２００である。前述の概念についていくらかの重複があることに留意されたい。
【０１８０】
処理ブロック１２１０において、コンピュータプロセッサハードウェアは、シーケンスにおける画像の第１の集団をエンコードすることから得た第１の画像データを受信する。
【０１８１】
処理ブロック１２２０において、コンピュータプロセッサハードウェアは、シーケンスにおける第２の集団の画像をエンコードすることから得た第２の画像データを受信し、第１の集団の画像は、シーケンスにおける第２の集団の画像に隣接して配置される。
【０１８２】
処理ブロック１２３０において、コンピュータプロセッサハードウェアは、第１の予測子画像データおよび第２の予測子画像データの組み合わせを利用し、シーケンスにおける第１の集団の画像の描出を再構成する。
【０１８３】
図１３は、本明細書における実施形態による処理システムについて図示する例示的な図である。以下の実施形態は、前述の処理の一例である。
【０１８４】
上記実施形態を念頭に置いて、エンコーダプロセッサハードウェア１３３０は、複数の原画像の要素設定を組み合わせて、エンコード済みデータ１３４０―１を生成する。例えば、エンコーダプロセッサハードウェア１３３０等のコンピュータプロセッサハードウェアは、シーケンス（動画のビデオシーケンス等）における複数の原画像１３２０―１、１３２０―２および１３２０―３の各画像の要素設定を指定する、画像データ１３１０を受信する。エンコーダプロセッサハードウェア１３３０は、複数の原画像１３２０全体で要素設定を分析する。次に、エンコーダプロセッサハードウェア１３３０は、シーケンスにおける複数の原画像１３２０の要素設定を利用し、第１のエンコード済み画像データ１３４０―１（１または複数の支持平面をどのように再現するかを示す情報等）を生成する。エンコード済み画像データ１３４０―１（支持平面情報等）は、画像１３２０における１セットの共通画像要素の設定を指定する。
【０１８５】
共通画像要素の設定のセット（支持平面等）は、シーケンスにおける原画像１３２０のそれぞれを実質的に再現するべく情報の基準線として使用することができる。
【０１８６】
一実施形態において、シーケンスにおける画像１３２０の所与の各画像について、エンコーダプロセッサハードウェア１３３０は、エンコード済み画像データ１３４０―１における共通画像要素の設定の支持平面情報に基づいて、画像１３２０のそれぞれの予備的描出を生成するのに必要な画像処理オペレーションを指定するエンコード済み画像データ１３４０―２を生成する。エンコーダプロセッサハードウェア１３３０は、エンコード済み画像データ１３４０―３も生成し、調整値を指定して各再構成支持平面の予備的描出の設定に適用し、各画像の描出を実質的に再現するように構成され得る。
【０１８７】
一実施形態において、エンコード済み画像データ１３４０―３は、調整値を指定して共通画像要素の設定のセット（または支持平面）に適用し、シーケンスにおいて複数の原画像１３２０を再現する。一実施形態において、エンコード済み画像データ１３４０―３は、別個の同期マークしたサブセットのエンコード済みデータ（１３４０―３―１、１３４０―３―２、１３４０―３―３等）を含み、サブセットのそれぞれは、シーケンスにおける複数の原画像１３２０のうちの１つに対応する。このように、デコーダは、独立してサブセットのいずれかにアクセスし、シーケンスにおける複数の原画像１３２０の別のいずれかを必ずしも再構成することなく、シーケンスにおける複数の原画像１３２０のいずれかに対する描出を再構成することができる。
【０１８８】
非限定的な例示の更なる方法により、エンコード済み画像データ１３４０―１は、１または複数の、いわゆる予測子画像を生成するべく使用され得る。言及したように、予測子画像は、基準線として機能し、シーケンスにおける複数の原画像のうち少なくとも１つを実質的に再現する。
【０１８９】
本明細書において論じる更なる実施形態によれば、エンコード済み画像データ１３４０―１は、複数のセットのエンコード済みデータを含むように構成され得る。データのセットのそれぞれは、複数の品質レベルにおける各支持平面の画像描出を指定することができる。言及したように、それぞれのより低い品質レベルの支持平面は、よりも少ない表示要素を含み、従って、より低い解像度の支持平面を表すことができる。従って、一実施形態において、エンコーダプロセッサハードウェア１３３０は、より低い連続した解像度になるように、より低い連続した品質レベルで画像描出のそれぞれをエンコードする。
【０１９０】
エンコーダプロセッサハードウェア１３３０は、より少ない画像描出を含むように支持平面に対する１または複数のより低い連続した品質レベル情報を生成する。
【０１９１】
図５Ａおよび図５Ｂにおいて先に論じたように、本明細書における実施形態は、複数のアグリゲーションレベルを含む。そのような例において、エンコーダプロセッサハードウェア１３３０は、複数のセットのエンコード済みデータを含むように第１のエンコード済み画像データ１３４０―１を生成し、セットのそれぞれは、各品質レベルに対するより高い複数の連続するアグリゲーションレベルで支持平面の画像描出を指定することができる。例えば、エンコーダプロセッサハードウェア１３３０は、第１のエンコード済みデータにより指定された、より高い連続したアグリゲーションの各レベルを生成し、より少ない画像描出を含むように構成され得る。例えば、図５Ａにおいて、支持平面に対するアグリゲーションレベル＃２（最も高いアグリゲーションレベル）は、最も低いアグリゲーションレベル＃０よりも少ない描出を含み、アグリゲーション＃０は、６つの描出を含む。
【０１９２】
一実施形態において、エンコーダプロセッサハードウェア１３３０は、より低いアグリゲーションレベルの画像描出と同一の解像度になるように、より高い連続したアグリゲーションレベルの画像描出のそれぞれをエンコードする。従って、各アグリゲーションレベルにおける支持平面の描出は、実質的に同じであり得る。
【０１９３】
代替形態として、エンコーダプロセッサハードウェア１３３０は、より低いレベルとは異なる解像度になるように、より高い連続したアグリゲーションレベルにおいて画像描出のそれぞれをエンコードするように構成され得る。
【０１９４】
エンコーダプロセッサハードウェア１３３０は、好適にエンコード済み画像データ１３４０―１を生成するように構成され得る。例えば、エンコーダプロセッサハードウェア１３３０は、元のレベルの複数の原画像を第１のセットのサブ集団に細分割するように構成され得る。第１のセットにおけるサブ集団のうち少なくとも１つのサブ集団は、複数の原画像のうち少なくとも２つの画像を含むことができる。第１のセットにおけるサブ集団のそれぞれに対して、エンコーダプロセッサハードウェア１３３０は、各サブ集団における画像の組み合わせを表すように、第１のレベルのそれぞれの画像描出（例えば、支持平面のアグリゲーションレベル＃０）を生成する。例えば、エンコーダプロセッサハードウェア１３３０は、支持平面１３０―１および支持平面１３０―２を選択し、支持平面ＳＰ１―０を生成する。エンコーダプロセッサハードウェア１３３０は、支持平面１３０―３および支持平面１３０―４を選択し、支持平面ＳＰ２―０を生成する。
【０１９５】
上記の例において、エンコーダプロセッサハードウェア１３３０は、１対の支持平面を選択し、支持平面のアグリゲーションレベル＃０における組み合わされた各支持平面を生成する。一実施形態において、エンコーダプロセッサハードウェア１３３０は、原画像（支持平面）の互いの類似性に応じて、各サブ集団内に含まれる画像の数を変更する
【０１９６】
なおも更なる実施形態において、所望であれば、エンコーダプロセッサハードウェア１３３０は、原画像のシーケンスを分析することにより生成された動き情報に応じて、各サブ集団内に含まれる画像の数を変更する。
【０１９７】
エンコーダプロセッサハードウェア１３３０は、第２のレベルのエンコード済み画像データ１３４０―１の少なくとも一部を生成するように構成され得る。例えば、エンコーダプロセッサハードウェア１３３０は、第１のレベルの画像描出（または支持平面）をアグリゲーションレベル＃０の支持平面に細分割するように構成され得る。アグリゲーションレベル＃０の支持平面の描出は、第２のセットのサブ集団に分割され得る。例えば、サブ集団ＳＰ１―０およびサブ集団ＳＰ２―０は、支持平面ＳＰ１＋２―０―１を生成するべくグループ化し、組み合わせることができる。同様に、支持平面のアグリゲーションレベル＃０の各サブ集団は、組み合わされ、次のより低いアグリゲーションレベルで支持平面の描出を生成することができる。最後のアグリゲーションレベルにおいて、エンコーダプロセッサハードウェアは、支持平面ＳＰ１＋２−０−１、ＳＰ３＋４−０−１、およびＳＰ５＋６−０−１の描出を統合して組み合わせ、支持平面のアグリゲーションレベル＃２において支持平面ＳＰ１＋２＋３＋４＋５＋６−０−２の描出を生成する。
【０１９８】
なおも更なる実施形態において、エンコーダプロセッサハードウェアは、複数の原画像１３２０（支持平面）全体で要素設定の相関を識別するように構成され得る。エンコーダプロセッサハードウェアは、識別された相関に少なくとも部分的に基づいてエンコード済み画像データ１３４０―１を生成する。
【０１９９】
複数の原画像は、残存量データを表す残存画像であり得る。残存画像のそれぞれは、再構成画像を生成するべく、調整を指定し、対応する予備画像と組み合わせるように構成され得る。
【０２００】
更なるエンコーダの実施形態
再び図１３を参照し、本明細書において論じる実施形態を念頭に置いて、エンコーダプロセッサハードウェア１３３０は、画像１３２０のシーケンスを受信するように構成され得る。エンコーダプロセッサハードウェア１３３０は、画像１３２０のそれぞれに対する表示要素設定を得る。エンコーダプロセッサハードウェア１３３０は、画像１３２０のシーケンス全体で設定をブレンドし、画像１３２０のシーケンスを表す１つの画像（「予測子画像」）を生成する。画像１３２０のシーケンスにおける所与の各画像に対して、エンコーダプロセッサハードウェア１３３０は、画像処理オペレーションに対応する各データ、および予測子画像（支持平面）に基づいて画像のそれぞれの描出をどのように再構成するかを指定する調整（「残存量」）を生成する。
【０２０１】
一実施形態において、画像のシーケンス全体で設定をブレンドする段階は、互いに画像をオーバーレイする段階と、オーバーレイされた画像を組み合わせて、画像１３２０のシーケンスを表す１つの画像（支持平面等）を生成する段階とを備える。
【０２０２】
画像をオーバーレイする段階は、動き補償オペレーションを行うことを備え、これは、予測子画像（支持平面または組み合わせ画像）のサンプリング位置に対する画像を取り込まれたオブジェクトの動きに少なくとも部分的に基づく。
【０２０３】
シーケンスにおける画像１３２０のそれぞれは、第１の解像度に従って受信され得る。エンコーダプロセッサハードウェア１３３０は、第１の解像度よりも低い第２の解像度になるように予測子画像または支持平面を生成するように構成され得る。
【０２０４】
図５Ａおよび図５Ｂに関して先に論じたように、シーケンスにおける画像１３２０のそれぞれは、１または複数の特定オブジェクトの描出を含み得る。画像１３２０に関連する設定情報をブレンドする段階は、複数の画像のそれぞれにおけるオブジェクトの描出の組み合わせに基づいて、１つの画像（支持平面画像）におけるオブジェクトの描出を生成する段階を備え得る。従って、支持平面におけるオブジェクトの描出は、複数の画像におけるオブジェクトの描出の組み合わせに基づき得る。
【０２０５】
前述のように、シーケンスにおける画像１３２０のうちの１つは、シーケンスにおける他の画像のいずれにも見られないそれぞれの一意な視覚アーティファクトに対応する表示要素設定を含んでもよい。非限定的な例示として、エンコーダプロセッサハードウェア１３３０は、一意な視覚アーティファクトに対応する設定を含むように予測子画像または支持平面を生成することにより、画像における要素の設定をブレンドする。
【０２０６】
更なる実施形態によれば、支持平面を生成するべく画像１３２０に関連する設定をブレンドする段階は、シーケンスにおける画像のそれぞれにより取り込まれた共通のオブジェクトに対応する設定を識別する段階を備え得る。エンコーダプロセッサハードウェア１３３０は、共通のオブジェクトに少なくとも部分的に基づいてシーケンスにおける画像の一部を整列させるように構成され得る。言及したように、画像は、複数の画像１３２０を表す支持平面を生成するべく、一緒に組み合わせ、またはスティッチングすることができる。
【０２０７】
処理中に、エンコーダプロセッサハードウェア１３３０は、シーケンスにおける全ての画像よりも少ないものによって取り込まれた一意なオブジェクトに対応する設定を識別し得る。エンコーダプロセッサハードウェア１３３０は、共通のオブジェクトの描出および一意なオブジェクトの描出を含むように、予測子画像または支持平面画像を生成するよう構成され得る。
【０２０８】
先に論じたように、画像のシーケンスは、少なくとも第１の画像１３２０―１および第２の画像１３２０―２を含み得る。エンコーダプロセッサハードウェア１３３０は、第１の画像における要素の設定を取得することができる。第１の画像１３２０―１における要素は、第１の画像１３２０―１におけるオブジェクトの特定部分を表し得る。エンコーダプロセッサハードウェア１３３０は、第２の画像１３２０―２における要素の設定を取得するように構成され得る。第２の画像１３２０―２における要素は、オブジェクトの特定部分を表し得る。エンコーダプロセッサハードウェア１３３０は、第１の画像１３２０―１における要素の設定および第２の画像１３２０―２における要素の設定の組み合わせに少なくとも部分的に基づいて、予測子画像（支持平面）におけるオブジェクトの特定部分の設定を計算することにより要素の設定をブレンドすることができる。
【０２０９】
なおも更なる実施形態によれば、予測子画像（支持平面または組み合わせ画像）は、シーケンスにおける画像の解像度より低い解像度である。エンコーダプロセッサハードウェアは、画像のシーケンスを受信し、画像のそれぞれの設定を取得し、シーケンスにおける画像１３２０を組み合わせてシーケンスを表す１つの画像（「予測子画像」または支持平面画像）を生成するように構成され得る。１つの画像は、シーケンスにおける画像１３２０の解像度より低い解像度であり得る。
【０２１０】
画像を組み合わせる段階は、シーケンスにおける画像１３２０のそれぞれにより少なくとも部分的に取り込まれた共通のオブジェクトに対応する設定を識別する段階と、画像のそれぞれにおける共通のオブジェクトに対応する設定を整列させるべく、画像処理オペレーションをシーケンスにおける画像１３２０に適用する段階とを含み得る。本明細書における更なる実施形態は、シーケンスにおける画像１３２０の全てよりも少ないものにより取り込まれた一意なオブジェクトに対応する設定を識別する段階と、共通のオブジェクトの描出および一意なオブジェクトの描出を含むように予測子画像（支持平面画像）生成する段階とを含み得る。
【０２１１】
前述のように、エンコーダプロセッサハードウェアは、図１３の画像１３２０を整列させるべく画像処理オペレーションを適用することができる。一実施形態において、エンコーダプロセッサハードウェア１３２０は、第１のセットの画像処理オペレーションを所与の画像の第１の部分に適用する。エンコーダプロセッサハードウェア１３３０は、第２のセットの画像処理オペレーションを所与の画像の第２の部分に適用し、所与の画像の第２の部分は、所与の画像の第１の部分とは異なる数の要素を有し得る。
【０２１２】
シーケンスにおける画像１３２０のそれぞれは、特定オブジェクトの描出に対応する設定を含み得る。エンコーダプロセッサハードウェア１３３０は、画像１３２０のシーケンスにおけるオブジェクトの異なる描出と一致する設定の組み合わせに基づいて予測子画像における特定オブジェクトの描出（支持平面情報）を生成することにより、画像を組み合わせるように構成され得る。
【０２１３】
前述のように、スティッチングングを可能にすると、１つの画像または支持平面は、画像１３２０のそれぞれにより表された視界より大きい視界を表し得る。
【０２１４】
更なる実施形態によれば、エンコーダプロセッサハードウェア１３３０は、画像１３２０を互いに重ね合わせ、重ね合わせた１または複数の画像を処理して画像１３２０における対応するオブジェクトの設定を整列し、その後、重ね合わせた画像の対応する要素の設定を組み合わせて予測子画像または支持平面情報を生成することにより、画像設定を組み合わせるように構成され得る。
【０２１５】
前述のように、図１３における画像のシーケンスは、少なくとも第１の画像１３２０―１および第２の画像１３２０―２を含み得る。エンコーダプロセッサハードウェア１３３０は、第１の画像１３２０―１における要素の設定を取得することにより、設定を取得するように構成され、第１の画像における要素の設定は、第１の画像における描出されたオブジェクトの特定部分に対応し得る。エンコーダプロセッサハードウェア１３３０は、第２の画像における要素の設定を取得するように構成され、第２の画像における要素は、オブジェクトの特定部分に対応し得る。画像を組み合わせる段階は、第１の画像１３２０―１における要素に対する設定の組み合わせおよび第２の画像１３２０―２における要素の設定に少なくとも部分的に基づいて、予測子画像（支持平面）におけるオブジェクトの特定領域に対する設定を計算する段階を含み得る。
【０２１６】
なおも更なる実施形態において、エンコーダプロセッサハードウェア１３３０は、予測子画像または支持平面を得るべく、画像１３２０のうちいくつが使用されたかを示すメタ情報（エンコード済み画像データ）を生成するように構成され得る。
【０２１７】
図１４は、本明細書における実施形態によるデコーダ処理を図示する例示的な図である。本明細書において論じる実施形態を念頭に置いて、デコーダ処理ハードウェア１４３０は、複数の原画像のシーケンスを実質的に再現する。
【０２１８】
例えば、デコーダ処理ハードウェア１４３０は、シーケンスにおける複数の原画像１３２０―１から得た第１のエンコード済み画像データ１３４０―１を受信する。第１のエンコード済み画像データ１３４０―１は、シーケンスにおける複数の原画像１３２０のそれぞれを再現するための基準線として使用される１セットの共通画像要素の設定を指定する。デコーダ処理ハードウェア１４３０は、「残存量」等の調整を指定するエンコード済み画像データ１３４０―３を受信する。デコーダ処理ハードウェア１４３０は、共通画像要素のセットに少なくとも部分的に基づいて再構成された原画像の予備的描出に対する調整の適用に基づいて、シーケンスにおける複数の原画像１３２０の描出を再現する。換言すれば、デコーダ処理ハードウェア１４３０は、共通設定の支持平面を用いて画像の予備的描出を生成するデコーダ処理ハードウェア１４３０は、調整を共通画像要素の設定に適用し、各画像１３２０を再現する。
【０２１９】
一実施形態において、デコーダ処理ハードウェア１４３０は、複数の画像のうちの第１の画像における画像要素を、共通画像要素の設定のセットに少なくとも部分的に基づく値に初期設定し、複数の画像のうちの第２の画像における画像要素を、共通画像要素の設定のセットに少なくとも部分的に基づく値に初期設定することにより、原画像の描出を実質的に再現する。次に、デコーダ処理ハードウェア１４３０は、エンコード済み画像データ１３４０―３から第１のセットの調整情報を取得する。第１のセットの調整情報は、エンコード済み画像データ１３４０―１（支持平面）から得た第１の画像の予備的描出における画像要素の予備的描出の設定をどのように修正するべきかを示す。デコーダ処理ハードウェア１４３０は、第１のセットの調整情報により指定された画像の予備的描出における画像要素の設定を調整し、第１の画像１３２０―１の描出を再現する。
【０２２０】
デコーダ処理ハードウェア１４３０は、エンコード済みデータ１３４０―３から第２のセットの調整情報を取得する。第２のセットの調整情報は、支持平面（エンコード済み画像データ１３４０―１）から得た第２の画像１３２０―２の描出における画像要素の設定をどのように修正するかを示す。デコーダ処理ハードウェア１４３０は、画像要素の設定を、第２のセットの調整情報により指定された第２の画像の予備的描出に調整し、第２の画像１３２０―２の描出を再現する。
【０２２１】
更なる実施形態によれば、エンコード済み画像データ１３４０―１により取り込まれた共通画像要素の設定のセットまたは組み合された属性は、シーケンスの２つまたはそれ以上の画像に対する原画像における画像要素の設定に適用されるオペレーションから得る。支持平面（エンコード済み画像データ１３４０―１により画定される）に取り込まれた共通画像要素の設定は、１または複数の画像描出である「予測子画像」に対応し得る。
【０２２２】
なおも更なる実施形態によれば、エンコード済み画像データ１３４０は、複数の画像１３２０に関連する共通画像要素の設定に対応する情報以外に、エンコード済み画像データ１３４０―１により指定された共通画像要素の設定に少なくとも部分的に基づいて、シーケンスにおける複数の画像の予備描出を再構成するべく使用されるオペレーションを指定するエンコード済み画像データ１３４０―２等、メタデータ情報（「メタ情報」など）も含み得る。従って、一実施形態において、デコーダ処理ハードウェア１４３０は、エンコード済み画像データ１３４０―２を使用し、各画像１３２０を再現するべく使用されるオペレーションを識別する。
【０２２３】
所与の各予備的画像描出に対するエンコード済み画像データ１３４０―２中のメタ情報は、共通画像要素の設定（エンコード済み画像データ１３４０―１により取り込まれた）のどの部分が処理され、画像１３４０に対する予備的画像描出を生成するかを指定することができる。
【０２２４】
所与の予備的画像描出を再構成するための（エンコード済み画像データ１３４０―２により指定された）オペレーションは、（エンコード済み画像データ１３４０―１により取り込まれた）共通画像要素の設定に動き補償オペレーションを含めてもよい。そのような例において、デコーダ処理ハードウェア１４３０は、メタ情報（エンコード済み画像データ１３４０―２）により指定されたように、第１のセットの画像処理オペレーションを第１の部分の共通画像要素の設定（エンコード済み画像データ１３４０―１）に適用する。デコーダ処理ハードウェア１４３０は、メタ情報（エンコード済み画像データ１３４０―２）により指定されたように、第２のセットの画像処理オペレーションを第２の部分の共通画像要素の設定（エンコード済み画像データ１３４０―１）に適用する。
【０２２５】
一実施形態において、共通画像要素（エンコード済み画像データ１３４０―１）のセットに少なくとも部分的に基づいて再構成される予備的画像描出のいずれも、シーケンスにおける原画像１３２０のいずれかを実質的に再現する前に、シーケンスにおける原画像１３２０のいずれかに対して生成される。
【０２２６】
前述のように、一実施形態において、複数の原画像１３２０は、調整情報に対応し、またはこれを表す。調整情報は、画像１３２０の描出を生成するべく、他の所与の画像と組み合わせる調整（「残存画像」）を指定し得る。
【０２２７】
更なるデコーダの実施形態
本明細書において論じる実施形態を念頭に置いて、デコーダ処理ハードウェア１４３０は、シーケンスにおける第１の集団の画像１３２０のエンコード（エンコーダプロセッサハードウェア１３３０による）から得た「第１の予測子画像データ」または支持平面、第１の画像データを受信するように構成され得る。デコーダ処理ハードウェア１４３０は、シーケンスにおける第２の集団の画像をエンコードすることから得た「第２の予測子画像データ」等、第２の画像データを受信する。第１の集団の画像は、シーケンスにおいて、第２の集団の画像に隣接して配置される。非限定的な例として、デコーダ処理ハードウェア１４３０は、第１の予測子画像データおよび第２の予測子画像データの組み合わせを利用し、シーケンスにおける第１の集団の画像の描出を再構成する。
【０２２８】
更なる実施形態によれば、第１の集団の画像は、シーケンスにおいて第１のセットの連続画像（あるものから別のものへと続く）であり得る。第２の集団の画像は、シーケンスにおいて第２のセットの連続画像（あるものから別のものへと続く）であり得る。
【０２２９】
一実施形態において、デコーダ処理ハードウェア１４３０は、最も低い空間・時間の解像度から最も高い空間・時間の解像度にデコードされた画像データの第１の階層として、第１の予測子画像データを受信し得る。デコーダ処理ハードウェア１４３０は、最も低い空間・時間の解像度から最も高い空間・時間の解像度にデコードされた画像データの第２の階層として、第２の予測子画像データを受信し得る。そのような例において、デコーダ処理ハードウェア１４３０は、第１の予測子画像データ、および第２の予測子画像データの少なくとも一部の組み合わせを利用し、シーケンスにおける第１の集団の画像を再構成する。このオペレーションは、第１の予測子画像データを利用し、第１の階層における所与の段の画像描出を生成する段階と、第２の予測子画像データを利用し、第２の階層における所与の段の画像描出を生成する段階と、少なくとも、第１の階層における所与の段の画像描出および第２の階層における所与の段の画像描出を組み合わせることに基づいて所与の段を超える、次のより高い段で少なくとも１つの画像描出を生成する段階とを有し得る。第１の階層における所与の段の画像描出および第２の階層における所与の段の画像描出を少なくとも組み合わせる段階は、画像処理オペレーションを行う段階を有し得る。
【０２３０】
更なる実施形態を念頭に置いて、デコーダ処理ハードウェア１４３０は、第１のエンコード済みデータから得た画像描出および第２のエンコード済みデータから得た画像描出を組み合わせて、第１の集団の画像において、画像のうち少なくとも１つを再現するように構成され得る。
【０２３１】
前述のように、デコーダ処理ハードウェア１４３０は、第１の予測子画像データおよび第２の予測子画像データの組み合わせを利用し、シーケンスにおいて第１の集団の画像を再構成し得る。このオペレーションは、第１の集団の画像における少なくとも１つの所与の画像について、少なくとも、第１の階層における画像描出に基づくアップサンプリングオペレーションを行う段階を含む画像処理オペレーションにより生成された第１の画像と、第２の階層における画像描出に基づくアップサンプリングオペレーションを行う段階を含む画像処理オペレーションにより生成された第２の画像とを組み合わせ、第１の集団の画像における所与の画像を再現する段階を更に有し得る。デコーダ処理ハードウェア１４３０は、メタ情報を更に受信し得る。デコーダ処理ハードウェア１４３０は、より高い段の所与の画像を生成するべく、メタ情報を利用し、処理するより低い段の画像を識別する。
【０２３２】
本明細書における技術は、階層的システムにおけるエンコードおよびデコードに非常に適していることに再度留意されたい。しかし、本明細書における実施形態は、そのような用途において使用することに限定されず、本明細書における技術は、他の用途にも同様に非常に適していることに留意されたい。
【０２３３】
本明細書において記載した説明に基づき、特許請求する主題の理解を通して提供するべく、多くの具体的な詳細を記載した。しかし、当業者は、特許請求する主題がこれらの具体的な詳細を用いずに実施し得ることを理解するであろう。他の例において、当業者に既知である方法、装置、システム等は、特許請求する主題を不明瞭にしないよう記載していない。詳細な説明のいくつかの部分は、コンピュータメモリ等のコンピューティングシステムメモリ内に格納したデータビットまたは二値デジタル信号に基づくオペレーションのアルゴリズムまたは記号表現の観点から提示されている。これらのアルゴリズムの説明または表現は、データ処理における当業者が他の当業者に作業内容を伝えるべく、使用する技術の例である。本明細書において、または一般に説明されるアルゴリズムは、所望の結果をもたらす、自己無撞着なシーケンスのオペレーションまたは類似の処理と考えられる。この文脈において、オペレーションまたは処理は、物理的数量の物理的操作を伴う。通常、必ずしもではないが、そのような数量は、格納し、転送し、組み合わせ、比較し、または操作することができる電気信号または磁気信号の形式を取り得る。基本的には共通に使用する理由ゆえに、そのような信号を、ビット、データ、値、要素、記号、文字、用語、数、数字等と呼ぶことは時に便利である。しかし、これらおよび類似の用語の全てが適宜な物理的数量に関連し、単に便宜的なレベルであることを理解されたい。別途具体的に記載しない限り、以下の論述から明らかなように、本明細書を通して「処理」、「計算」、「算出」、「決定」等の用語を使用する論述は、メモリ、レジスタ、もしくは他の情報ストレージデバイス、送信デバイス、またはコンピューティングプラットホームのディスプレイデバイス内の物理電子的数量または磁気的数量として表されるデータを操作または変換する、コンピュータまたは類似の電子コンピューティングデバイス等のコンピューティングプラットホームの動作または処理を指すことを理解されたい。
【０２３４】
本明細書における実施形態は、好ましい実施形態を参照して具体的に示され、説明されているが、当業者は、添付の特許請求の範囲により規定する本願の趣旨および範囲を逸脱することなく、形式における様々な変更および詳細を施し得ることを理解するであろう。そのような変形例は、本願の範囲に包含されることが意図される。従って、本願の上記の実施形態の説明は、限定的であることを意図しない。むしろ、本発明に対するいずれの限定も以下の特許請求の範囲において示される。
【図１Ａ】
2015520575.tif 000009
【図１Ｂ】
2015520575.tif 000010
【図１Ｃ】
2015520575.tif 000011
【図１Ｄ】
2015520575.tif 000012
【図２Ａ】
2015520575.tif 000013
【図２Ｂ】
2015520575.tif 000014
【図２Ｃ】
2015520575.tif 000015
【図２Ｄ】
2015520575.tif 000016
【図３】
2015520575.tif 000017
【図４Ａ】
2015520575.tif 000018
【図４Ｂ】
2015520575.tif 000019
【図５Ａ】
2015520575.tif 000020
【図５Ｂ】
2015520575.tif 000021
【図６】
2015520575.tif 000022
【図７】
2015520575.tif 000023
【図８】
2015520575.tif 000024
【図９】
2015520575.tif 000025
【図１０】
2015520575.tif 000026
【図１１】
2015520575.tif 000027
【図１２】
2015520575.tif 000028
【図１３】
2015520575.tif 000029
【図１４】
2015520575.tif 000030
【手続補正書】
【提出日】平成27年1月21日(2015.1.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
シーケンスにおける複数の原画像の各画像に対する複数の要素設定を指定する画像データを受信する段階と、
前記複数の原画像全体で前記複数の要素設定を分析する段階と、
前記シーケンスにおける前記複数の原画像の前記複数の要素設定を利用し、１セットの複数の共通画像要素の設定を指定する第１のエンコード済み画像データを生成する段階とを備え、
前記１セットの複数の共通画像要素の設定は、前記シーケンスにおいて前記複数の原画像のそれぞれを実質的に再現するための基準線である、方法。
【請求項２】
前記シーケンスにおける所与の各画像について、
前記１セットの複数の共通画像要素の設定に基づいて、前記所与の画像の予備的描出を生成するのに必要な複数の画像処理オペレーションを指定する第２のエンコード済み画像データを生成する段階と、
複数の調整値を指定する第３のエンコード済み画像データを生成し、前記所与の画像の前記予備的描出の複数の設定を適用し、前記所与の画像の描出を実質的に再現する段階とを更に備える、請求項１に記載の方法。
【請求項３】
複数の調整値を指定する第２のエンコード済み画像データを生成し、前記１セットの複数の共通画像要素の設定に適用し、前記シーケンスにおける前記複数の原画像を再現する段階を更に備える、請求項１または２に記載の方法。
【請求項４】
前記１セットの複数の共通画像要素の設定は、１または複数の画像に対応し、複数の予測子画像のそれぞれは、前記シーケンスにおいて前記複数の原画像のうちの少なくとも１つの画像を実質的に再現する基準線である、請求項１から３のいずれか１項に記載の方法。
【請求項５】
複数のセットのエンコード済みデータを含むように前記第１のエンコード済み画像データを生成する段階を更に備え、
前記複数のセットのエンコード済みデータは、複数の品質レベルの複数の画像描出を指定する、請求項１から４のいずれか１項に記載の方法。
【請求項６】
より少ない複数の画像描出を含むように、前記第１のエンコード済みデータにより指定されたより低い連続した品質レベルのうち少なくとも１つを生成する段階を更に備える、請求項５に記載の方法。
【請求項７】
より低い連続した複数の解像度になるように、前記より低い連続した品質レベルで前記複数の画像描出のそれぞれをエンコードする段階を更に備える、請求項６に記載の方法。
【請求項８】
複数のセットのエンコード済みデータを含むように、前記第１のエンコード済み画像データを生成する段階を更に備え、
前記複数のセットのエンコード済みデータは、より高い複数の連続するアグリゲーションレベルで複数の画像描出を指定する、請求項１に記載の方法。
【請求項９】
より少ない複数の画像描出を含むように、前記第１のエンコード済みデータにより指定されたそれぞれのより高い連続したアグリゲーションレベルを生成する段階を更に備える、請求項８に記載の方法。
【請求項１０】
前記より低いアグリゲーションレベルにおける複数の画像描出と同一の解像度になるように、前記より高い連続したアグリゲーションレベルで前記複数の画像描出のそれぞれをエンコードする段階を更に備える、請求項９に記載の方法。
【請求項１１】
元のレベルの前記複数の原画像を第１のセットの複数のサブ集団に細分割することにより、
前記第１のエンコード済み画像データを生成する段階と、
前記第１のセットの前記複数のサブ集団のそれぞれについて、前記複数のサブ集団における前記複数の原画像の組み合わせを表すように第１のレベルでそれぞれの画像描出を生成する段階とを更に備え、
前記第１のセットの前記複数のサブ集団のうち少なくとも１つのサブ集団は、前記複数の原画像の少なくとも２つの画像を含む、請求項１に記載の方法。
【請求項１２】
前記複数の原画像の互いの類似性に応じて、前記複数のサブ集団のぞれぞれに含まれる複数の画像の数を変更する段階を更に備える、請求項１１に記載の方法。
【請求項１３】
前記複数の原画像のシーケンスを分析することにより生成される動き情報に応じて、前記複数のサブ集団のそれぞれに含まれる複数の画像の数を変更する段階を更に備える、請求項１１または１２に記載の方法。
【請求項１４】
前記第１のレベルで前記複数の画像描出を第２のセットの複数のサブ集団に細分割することにより、
第２のレベルで前記第１のエンコード済み画像データを生成する段階と、
前記第２のセットの複数のサブ集団のそれぞれについて、前記第２のセットの複数のサブ集団の各サブ集団において前記複数の画像描出の組み合わせを表す各画像描出を生成する段階とを更に備え、
前記第２のセットの複数のサブ集団のうち少なくとも１つのサブ集団は、前記第１のレベルの少なくとも２つの画像描出を含む、請求項１１から１３のいずれか１項に記載の方法。
【請求項１５】
前記画像データを分析する段階は、
前記複数の原画像全体で前記複数の要素設定の相関を識別する段階と、
識別された前記相関に基づいて第１のエンコード済み画像データを生成する段階とを有する、請求項１に記載の方法。
【請求項１６】
前記複数の原画像の前記複数の要素設定を組み合わせ、前記第１のエンコード済みデータを生成する段階を更に備える、請求項１または１５に記載の方法。
【請求項１７】
前記複数の原画像は、複数の残存画像であり、前記複数の残存画像のそれぞれは、再構成画像を生成するべく、対応する予備画像と組み合わせるための複数の調整を指定する、請求項１、１５または１６のいずれか１項に記載の方法。
【請求項１８】
画像データをエンコードする方法であって、
複数の画像のシーケンスを受信する段階と、
前記複数の画像のそれぞれに対する複数の設定を取得する段階と、
複数の画像の前記シーケンス全体で前記複数の設定をブレンドし、複数の画像の前記シーケンスを表す１つの画像（「予測子画像」）を生成する段階と、
複数の画像の前記シーケンスにおけるそれぞれの所与の画像について、複数の画像処理オペレーションに対応するデータと、前記予測子画像に基づいて前記所与の画像の描出をどのように再構成するかを指定する複数の調整（「残存量」）とを生成する段階とを備える、方法。
【請求項１９】
複数の画像の前記シーケンス全体で前記複数の設定をブレンドする段階は、
前記複数の画像を互いにオーバーレイする段階と、
オーバーレイされた前記複数の画像を組み合わせ、前記シーケンスを表す前記１つの画像を生成する段階とを有する、請求項１８に記載の方法。
【請求項２０】
前記複数の画像のうち少なくとも１つについて、前記複数の画像をオーバーレイする段階は、
前記予測子画像のサンプリング位置に対して前記複数の画像により取り込まれた複数のオブジェクトの動きに少なくとも部分的に基づいて、複数の動き補償オペレーションを行う段階を有する、請求項１９に記載の方法。
【請求項２１】
前記シーケンスにおける前記複数の画像のそれぞれは、第１の解像度に応じて受信され、
前記方法は、第２の解像度になるように前記予測子画像を生成する段階を更に備え、
前記第２の解像度は、前記第１の解像度よりも低い、請求項１８に記載の方法。
【請求項２２】
前記シーケンスにおける前記複数の画像のそれぞれは、特定のオブジェクトの描出を含み、
前記複数の設定をブレンドする段階は、前記複数の画像のそれぞれにおけるオブジェクトの描出の組み合わせに基づいて、前記１つの画像におけるオブジェクトの描出を生成する段階を有する、請求項２１に記載の方法。
【請求項２３】
前記シーケンスにおける前記複数の画像のうち１つは、他の複数の画像に見られないそれぞれの一意な視覚アーティファクトに対応する複数の設定を含み、
前記複数の画像における複数の要素の複数の設定をブレンドする段階は、前記一意な視覚アーティファクトに対応する複数の設定を含むように前記予測子画像を生成する段階を有する、請求項１８に記載の方法。
【請求項２４】
前記複数の設定をブレンドする段階は、
前記シーケンスにおける前記複数の画像のそれぞれにより取り込まれた共通のオブジェクトに対応する複数の設定を識別する段階と、
前記共通のオブジェクトに少なくとも部分的に基づいて、前記シーケンスにおける前記複数の画像の一部を整列させる段階とを有する、請求項１８または２３に記載の方法。
【請求項２５】
前記シーケンスにおける前記複数の画像の全てよりも少ないものにより取り込まれた一意なオブジェクトに対応する複数の設定を識別する段階と、
前記共通のオブジェクトの描出および前記一意なオブジェクトの描出を含むように前記予測子画像を生成する段階とを更に備える、請求項２４に記載の方法。
【請求項２６】
複数の画像の前記シーケンスは、少なくとも第１の画像および第２の画像を含み、
複数の設定を得る段階は、
前記第１の画像における要素の設定を取得する段階と、
前記第２の画像における要素の設定を取得する段階とを有し、
前記第１の画像における前記要素は、前記第１の画像におけるオブジェクトの特定部分を表し、
前記第２の画像における前記要素は、前記オブジェクトの前記特定部分を表す、請求項１８に記載の方法。
【請求項２７】
前記複数の要素の前記複数の設定をブレンドする段階は、前記第１の画像における前記要素の設定および前記第２の画像における前記要素の設定の組み合わせに少なくとも部分的に基づいて、前記予測子画像における前記オブジェクトの前記特定部分に対する設定を計算する段階を有する、請求項２６に記載の方法。
【請求項２８】
前記予測子画像は、前記シーケンスにおける前記複数の画像の解像度より低い解像度であり、
前記方法は、
複数の画像のシーケンスを受信する段階と
前記複数の画像のそれぞれに対する複数の設定を取得する段階と、
前記シーケンスにおける前記複数の画像を組み合わせ、前記シーケンスを表す１つの予測子画像を生成する段階とを備え、
前記１つの画像は、前記シーケンスにおける前記複数の画像の解像度より低い解像度である、請求項１８に記載の方法。
【請求項２９】
前記複数の画像を組み合わせる段階は、
前記シーケンスにおける前記複数の画像のそれぞれにより少なくとも部分的に取り込まれた共通のオブジェクトに対応する複数の設定を識別する段階と
前記複数の画像のそれぞれにおける前記共通のオブジェクトに対応する複数の設定を整列させるべく、前記シーケンスにおける前記画像に画像処理オペレーションを適用する段階とを有する、請求項２８に記載の方法。
【請求項３０】
前記シーケンスにおける前記複数の画像の全てよりも少ないものにより取り込まれた一意なオブジェクトに対応する複数の設定を識別する段階と、
前記共通のオブジェクトの描出および前記一意なオブジェクトの描出を含むように前記予測子画像を生成する段階とを更に備える、請求項２９に記載の方法。
【請求項３１】
画像処理オペレーションを適用し、前記シーケンスにおける所与の画像の複数の設定を整列させる段階は、
前記所与の画像の第１の部分に第１のセットの複数の画像処理オペレーションを適用する段階と、
前記所与の画像の第２の部分に第２のセットの複数の画像処理オペレーションを適用する段階とを更に有し、
前記所与の画像の前記第２の部分は、前記所与の画像の前記第１の部分とは異なる数の複数の要素を有する、請求項２９または３０に記載の方法。
【請求項３２】
前記シーケンスにおける前記複数の画像のそれぞれは、特定のオブジェクトの描出に対応する複数の設定を含み、
前記複数の画像を組み合わせる段階は、複数の画像の前記シーケンスにおけるオブジェクトの異なる描出と一致する複数の設定の組み合わせに基づいて、前記予測子画像の前記特定のオブジェクトの描出を生成する段階を有する、請求項２８に記載の方法。
【請求項３３】
前記１つの画像は、前記複数の画像のそれぞれにより表される視界より大きい視野を表す、請求項２８または３２に記載の方法。
【請求項３４】
前記複数の画像の複数の設定を組み合わせる段階は、
前記複数の画像を互いに重ね合わせる段階と
重ね合わせた前記複数の画像の１または複数を処理し、前記複数の画像における対応する複数のオブジェクトの複数の設定を整列させる段階と、
重ね合わせた前記複数の画像の対応する複数の要素の複数の設定を組み合わせ、前記予測子画像を生成する段階とを有する、請求項２８、３２または３３のいずれか１項に記載の方法。
【請求項３５】
複数の画像の前記シーケンスは、少なくとも第１の画像および第２の画像を含み、
前記複数の設定を得る段階は、
前記第１の画像の要素の設定を取得する段階と、
前記第２の画像の要素の設定を取得する段階とを有し、
前記第１の画像における前記要素の前記設定は、前記第１の画像における描出されたオブジェクトの特定部分に対応し、
前記第２の画像の前記要素は、前記オブジェクトの前記特定部分に対応する、請求項２８、または３２から３４のいずれか１項に記載の方法。
【請求項３６】
前記複数の画像を組み合わせる段階は、前記第１の画像の前記要素に対する前記設定および前記第２の画像における前記要素の前記設定の組み合わせに少なくとも部分的に基づいて、前記予測子画像における前記オブジェクトの特定の領域に対する設定を計算する段階を有する、請求項３５に記載の方法。
【請求項３７】
前記予測子画像を得るべく、前記複数の画像のうちいくつを使用したかを示すメタ情報を生成する段階を更に備える、請求項１８に記載の方法。
【請求項３８】
複数の原画像のシーケンスを実質的に再現する方法であって、
シーケンスにおける複数の原画像から得た第１のエンコード済み画像データを受信する段階と、
複数の調整を指定する第２のエンコード済み画像データを受信する段階と、
１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された前記複数の原画像の複数の予備的描出に対する前記複数の調整の適用に基づいて、前記シーケンスにおける前記複数の原画像を実質的に再現する段階とを備え、
前記第１のエンコード済み画像データは、前記シーケンスにおける前記複数の原画像のそれぞれを再現するための基準線として使用される前記１セットの複数の共通画像要素の設定を指定する、方法。
【請求項３９】
前記複数の原画像を実質的に再現する段階は、
前記複数の原画像のうち第１の画像における複数の画像要素を、前記１セットの複数の共通画像要素の設定に少なくとも部分的に基づく値に初期設定する段階と、
前記複数の原画像のうち第２の画像における複数の画像要素を、前記１セットの複数の共通画像要素の設定に少なくとも部分的に基づく値に初期設定する段階とを有する、請求項３８に記載の方法。
【請求項４０】
前記複数の原画像を実質的に再現する段階は、
前記第２のエンコード済み画像データから第１のセットの調整情報を取得する段階と、
前記第１のセットの調整情報により指定された前記第１の画像における前記複数の画像要素の複数の設定を調整し、前記シーケンスにおける前記複数の画像のうち第１の画像を再現する段階と、
前記第２のエンコード済みデータから第２のセットの調整情報を取得する段階と、
前記第２のセットの調整情報により指定された前記第２の画像における前記複数の画像要素の複数の設定を調整し、前記シーケンスにおける前記複数の画像のうち第２の画像を再現する段階を有し、
前記第１のセットの調整情報は、前記第１の画像における前記複数の画像要素の複数の設定をどのように修正するかを示し、
前記第２のセットの調整情報は、前記第２の画像における前記複数の画像要素の複数の設定をどのように修正するかを示す、請求項３９に記載の方法。
【請求項４１】
前記１セットの複数の共通画像要素の設定は、前記シーケンスの２つまたはそれ以上の画像にわたる、前記複数の原画像の複数の画像要素の複数の設定に基づく複数のオペレーションから得られる、請求項３８に記載の方法。
【請求項４２】
複数の共通画像要素の設定は、１または複数の画像描出に対応する、請求項３８または４１に記載の方法。
【請求項４３】
第１のエンコード済みデータは、複数の共通画像要素の設定に対応する情報以外に、前記複数の共通画像要素の設定に少なくとも部分的に基づいて、前記シーケンスにおける前記複数の原画像の予備描出を再構成するべく使用される複数のオペレーションを指定する情報も含む、請求項３８に記載の方法。
【請求項４４】
それぞれの所与の予備的画像描出に対する情報は、前記複数の共通画像要素の設定のどの部分を処理し、前記所与の画像に対する予備的画像描出を生成するかを指定する情報を含む、請求項４３に記載の方法。
【請求項４５】
所与の予備的画像描出を再構成する複数のオペレーションは、複数の共通画像要素の設定に基づく複数の動き補償オペレーションを含み、
前記方法は、
前記情報により指定された複数の共通画像要素の設定の第１の部分に第１のセットの複数の画像処理オペレーションを適用する段階と、
前記情報により指定された複数の共通画像要素の設定の第２の部分に第２のセットの複数の画像処理オペレーションを適用する段階とを備える、請求項４３または４４に記載の方法。
【請求項４６】
前記１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された複数の予備的画像描出のいずれかは、前記シーケンスにおける前記複数の原画像のいずれかを実質的に再現する前に、前記シーケンスにおける前記複数の原画像のいずれかに対して生成される、請求項３８に記載の方法。
【請求項４７】
前記複数の原画像は、複数の再構成画像を生成するべく、他の複数の所与の画像と組み合わせる複数の調整に対応する、請求項３８または４６に記載の方法。
【請求項４８】
画像データをデコードする方法であって、
シーケンスにおける第１の集団の複数の画像をエンコードすることから得た第１の予測子画像データを受信する段階と、
前記シーケンスにおける第２の集団の複数の画像をエンコードすることから得た第２の予測子画像データを受信する段階と、
前記第１の予測子画像データおよび前記第２の予測子画像データの組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像の描出を再構成する段階とを備え、
前記第１の集団の複数の画像は、前記シーケンスにおける前記第２の集団の複数の画像に隣接して配置される、方法。
【請求項４９】
前記第１の集団の複数の画像は、前記シーケンスにおける第１のセットの複数の連続画像であり、
前記第２の集団の複数の画像は、前記シーケンスにおける第２のセットの複数の連続画像である、請求項４８に記載の方法。
【請求項５０】
最も低い空間・時間の解像度から最も高い空間・時間の解像度にデコードされた第１の階層の画像データとして、前記第１の予測子画像データを受信する段階と、
最も低い空間・時間の解像度から最も高い空間・時間の解像度にデコードされた第２の階層の画像データとして、前記第２の予測子画像データを受信する段階とを更に備える、請求項４８または４９に記載の方法。
【請求項５１】
前記第１の予測子画像データと、前記第２の予測子画像データの少なくとも一部との組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像を再構成する段階は、
前記第１の予測子画像データを利用し、前記第１の階層における所与の段で画像描出を生成する段階と、
前記第２の予測子画像データを利用し、前記第２の階層における前記所与の段で画像描出を生成する段階と、
少なくとも、前記第１の階層における前記所与の段の１つの画像描出と、前記第２の階層の前記所与の段の前記画像描出とを組み合わせることに基づいて、前記所与の段を超える次のより高い段で少なくとも前記１つの画像描出を生成する段階とを有する、請求項５０に記載の方法。
【請求項５２】
少なくとも、前記第１の階層における前記所与の段の前記画像描出と、前記第２の階層における前記所与の段の前記画像描出とを組み合わせる段階は、複数の画像処理オペレーションを行う段階を有する、請求項５１に記載の方法。
【請求項５３】
前記第１の予測子画像データから得た画像描出および前記第２の予測子画像データから得た画像描出を組み合わせ、前記第１の集団の複数の画像において、前記複数の画像のうち少なくとも１つを再現する段階を更に備える、請求項４８に記載の方法。
【請求項５４】
前記第１の予測子画像データおよび前記第２の予測子画像データの組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像を再構成する段階は、前記第１の集団の複数の画像における少なくとも１つの所与の画像について、
少なくとも、前記第１の階層における画像描出に基づく複数のアップサンプリングオペレーションを行う段階を含む、複数の画像処理オペレーションにより生成された第１の画像と、前記第２の階層における画像描出に基づく複数のアップサンプリングオペレーションを行う段階を含む、複数の画像処理オペレーションにより生成された第２の画像とを組み合わせ、前記第１の集団の複数の画像における前記所与の画像を再現する段階を備える、請求項５０に記載の方法。
【請求項５５】
メタ情報を受信する段階と、
より高い段の所与の画像を生成するべく、前記メタ情報を利用し、より低い段の複数の画像を識別して処理する段階とを更に備える、請求項５４に記載の方法。
【請求項５６】
コンピュータに、
シーケンスにおける複数の原画像のそれぞれを再現するための基準線として使用される１セットの複数の共通画像要素の設定を指定する、第１のエンコード済み画像データを受信する手順と、
複数の調整を指定する第２のエンコード済み画像データを受信する手順と、
前記１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された前記複数の原画像の複数の予備的描出に対する前記複数の調整を適用することに基づいて、前記シーケンスにおける前記複数の原画像を実質的に再現する手順とを行わせる、プログラム。
【請求項５７】
コンピュータに、
シーケンスにおける第１の集団の複数の画像をエンコードすることから得た第１の予測子画像データを受信する手順と、
前記シーケンスにおける第２の集団の複数の画像をエンコードすることから得た第２の予測子画像データを受信する手順と、
前記第１の予測子画像データおよび前記第２の予測子画像データの組み合わせを利用し、
前記シーケンスにおける前記第１の集団の複数の画像の描出を再構成する手順とを行わせ、
前記第１の集団の複数の画像は、前記シーケンスにおける前記第２の集団の複数の画像に隣接して配置される、プログラム。
【請求項５８】
デバイスであって、
プロセッサと、
前記プロセッサにより実行されるアプリケーションに関連する複数の命令を格納するメモリユニットと、
前記プロセッサおよび前記メモリユニットを結合する相互接続であって、前記デバイスが、前記アプリケーションを実行し、
シーケンスにおける複数の原画像のそれぞれを再現するための基準線として使用される１セットの複数の共通画像要素の設定を指定する、第１のエンコード済み画像データを受信し、
複数の調整を指定する第２のエンコード済み画像データを受信し、
前記１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された前記複数の原画像の複数の予備的描出に対する前記複数の調整の適用に基づいて、前記シーケンスにおける前記複数の原画像を実質的に再現する複数のオペレーションを行うことを可能にする、相互接続とを備える、デバイス。
【請求項５９】
デバイスであって、
プロセッサと、
前記プロセッサにより実行されるアプリケーションに関連する複数の命令を格納するメモリユニットと、
前記プロセッサおよび前記メモリユニットを結合する相互接続であって、前記デバイスが、前記アプリケーションを実行し、
シーケンスにおける第１の集団の複数の画像をエンコードすることから得た第１の画像データを受信し、
前記シーケンスにおける第２の集団の複数の画像をエンコードすることから得た第２の画像データを受信し、
前記第１の画像データおよび前記第２の画像データの組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像の描出を再構成するオペレーションを行うことを可能にする、相互接続とを備え、
前記第１の集団の複数の画像は、前記シーケンスにおける前記第２の集団の複数の画像に隣接して配置される、デバイス。
【請求項６０】
ｉ）前記複数の原画像の第１の画像において検出された第１のオブジェクトの描出と、ｉｉ）前記複数の原画像の第２の画像において検出された第２のオブジェクトの描出とを含むように、前記１セットの複数の共通画像要素の設定を生成する段階を更に備え、
前記第２のオブジェクトの描出は、前記第１の画像に存在せず、
前記第１のオブジェクトの描出は、前記第２の画像に存在しない、請求項１に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２３４
【補正方法】変更
【補正の内容】
【０２３４】
本明細書における実施形態は、好ましい実施形態を参照して具体的に示され、説明されているが、当業者は、添付の特許請求の範囲により規定する本願の趣旨および範囲を逸脱することなく、形式における様々な変更および詳細を施し得ることを理解するであろう。そのような変形例は、本願の範囲に包含されることが意図される。従って、本願の上記の実施形態の説明は、限定的であることを意図しない。むしろ、本発明に対するいずれの限定も以下の特許請求の範囲において示される。
（項目１）
シーケンスにおける複数の原画像の各画像に対する複数の要素設定を指定する画像データを受信する段階と、
前記複数の原画像全体で前記複数の要素設定を分析する段階と、
前記シーケンスにおける前記複数の原画像の前記複数の要素設定を利用し、１セットの複数の共通画像要素の設定を指定する第１のエンコード済み画像データを生成する段階とを備え、
前記１セットの複数の共通画像要素の設定は、前記シーケンスにおいて前記複数の原画像のそれぞれを実質的に再現するための基準線である、方法。
（項目２）
前記シーケンスにおける所与の各画像について、
前記１セットの複数の共通画像要素の設定に基づいて、前記所与の画像の予備的描出を生成するのに必要な複数の画像処理オペレーションを指定する第２のエンコード済み画像データを生成する段階と、
複数の調整値を指定する第３のエンコード済み画像データを生成し、前記所与の画像の前記予備的描出の複数の設定を適用し、前記所与の画像の描出を実質的に再現する段階とを更に備える、請求項１に記載の方法。
（項目３）
複数の調整値を指定する第２のエンコード済み画像データを生成し、前記１セットの複数の共通画像要素の設定に適用し、前記シーケンスにおける前記複数の原画像を再現する段階を更に備える、請求項１または２に記載の方法。
（項目４）
前記１セットの複数の共通画像要素の設定は、１または複数の画像に対応し、複数の予測子画像のそれぞれは、前記シーケンスにおいて前記複数の原画像のうちの少なくとも１つの画像を実質的に再現する基準線である、請求項１から３のいずれか１項に記載の方法。
（項目５）
複数のセットのエンコード済みデータを含むように前記第１のエンコード済み画像データを生成する段階を更に備え、
前記複数のセットのエンコード済みデータは、複数の品質レベルの複数の画像描出を指定する、請求項１から４のいずれか１項に記載の方法。
（項目６）
より少ない複数の画像描出を含むように、前記第１のエンコード済みデータにより指定されたより低い連続した品質レベルのうち少なくとも１つを生成する段階を更に備える、請求項５に記載の方法。
（項目７）
より低い連続した複数の解像度になるように、前記より低い連続した品質レベルで前記複数の画像描出のそれぞれをエンコードする段階を更に備える、請求項６に記載の方法。
（項目８）
複数のセットのエンコード済みデータを含むように、前記第１のエンコード済み画像データを生成する段階を更に備え、
前記複数のセットのエンコード済みデータは、より高い複数の連続するアグリゲーションレベルで複数の画像描出を指定する、請求項１に記載の方法。
（項目９）
より少ない複数の画像描出を含むように、前記第１のエンコード済みデータにより指定されたそれぞれのより高い連続したアグリゲーションレベルを生成する段階を更に備える、請求項８に記載の方法。
（項目１０）
前記より低いアグリゲーションレベルにおける複数の画像描出と同一の解像度になるように、前記より高い連続したアグリゲーションレベルで前記複数の画像描出のそれぞれをエンコードする段階を更に備える、請求項９に記載の方法。
（項目１１）
元のレベルの前記複数の原画像を第１のセットの複数のサブ集団に細分割することにより、
前記第１のエンコード済み画像データを生成する段階と、
前記第１のセットの前記複数のサブ集団のそれぞれについて、前記複数のサブ集団における前記複数の原画像の組み合わせを表すように第１のレベルでそれぞれの画像描出を生成する段階とを更に備え、
前記第１のセットの前記複数のサブ集団のうち少なくとも１つのサブ集団は、前記複数の原画像の少なくとも２つの画像を含む、請求項１に記載の方法。
（項目１２）
前記複数の原画像の互いの類似性に応じて、前記複数のサブ集団のぞれぞれに含まれる複数の画像の数を変更する段階を更に備える、請求項１１に記載の方法。
（項目１３）
前記複数の原画像のシーケンスを分析することにより生成される動き情報に応じて、前記複数のサブ集団のそれぞれに含まれる複数の画像の数を変更する段階を更に備える、請求項１１または１２に記載の方法。
（項目１４）
前記第１のレベルで前記複数の画像描出を第２のセットの複数のサブ集団に細分割することにより、
第２のレベルで前記第１のエンコード済み画像データを生成する段階と、
前記第２のセットの複数のサブ集団のそれぞれについて、前記第２のセットの複数のサブ集団の各サブ集団において前記複数の画像描出の組み合わせを表す各画像描出を生成する段階とを更に備え、
前記第２のセットの複数のサブ集団のうち少なくとも１つのサブ集団は、前記第１のレベルの少なくとも２つの画像描出を含む、請求項１１から１３のいずれか１項に記載の方法。
（項目１５）
前記画像データを分析する段階は、
前記複数の原画像全体で前記複数の要素設定の相関を識別する段階と、
識別された前記相関に基づいて第１のエンコード済み画像データを生成する段階とを有する、請求項１に記載の方法。
（項目１６）
前記複数の原画像の前記複数の要素設定を組み合わせ、前記第１のエンコード済みデータを生成する段階を更に備える、請求項１または１５に記載の方法。
（項目１７）
前記複数の原画像は、複数の残存画像であり、前記複数の残存画像のそれぞれは、再構成画像を生成するべく、対応する予備画像と組み合わせるための複数の調整を指定する、請求項１、１５または１６のいずれか１項に記載の方法。
（項目１８）
画像データをエンコードする方法であって、
複数の画像のシーケンスを受信する段階と、
前記複数の画像のそれぞれに対する複数の設定を取得する段階と、
複数の画像の前記シーケンス全体で前記複数の設定をブレンドし、複数の画像の前記シーケンスを表す１つの画像（「予測子画像」）を生成する段階と、
複数の画像の前記シーケンスにおけるそれぞれの所与の画像について、複数の画像処理オペレーションに対応するデータと、前記予測子画像に基づいて前記所与の画像の描出をどのように再構成するかを指定する複数の調整（「残存量」）とを生成する段階とを備える、方法。
（項目１９）
複数の画像の前記シーケンス全体で前記複数の設定をブレンドする段階は、
前記複数の画像を互いにオーバーレイする段階と、
オーバーレイされた前記複数の画像を組み合わせ、前記シーケンスを表す前記１つの画像を生成する段階とを有する、請求項１８に記載の方法。
（項目２０）
前記複数の画像のうち少なくとも１つについて、前記複数の画像をオーバーレイする段階は、
前記予測子画像のサンプリング位置に対して前記複数の画像により取り込まれた複数のオブジェクトの動きに少なくとも部分的に基づいて、複数の動き補償オペレーションを行う段階を有する、請求項１９に記載の方法。
（項目２１）
前記シーケンスにおける前記複数の画像のそれぞれは、第１の解像度に応じて受信され、
前記方法は、第２の解像度になるように前記予測子画像を生成する段階を更に備え、
前記第２の解像度は、前記第１の解像度よりも低い、請求項１８に記載の方法。
（項目２２）
前記シーケンスにおける前記複数の画像のそれぞれは、特定のオブジェクトの描出を含み、
前記複数の設定をブレンドする段階は、前記複数の画像のそれぞれにおけるオブジェクトの描出の組み合わせに基づいて、前記１つの画像におけるオブジェクトの描出を生成する段階を有する、請求項２１に記載の方法。
（項目２３）
前記シーケンスにおける前記複数の画像のうち１つは、他の複数の画像に見られないそれぞれの一意な視覚アーティファクトに対応する複数の設定を含み、
前記複数の画像における複数の要素の複数の設定をブレンドする段階は、前記一意な視覚アーティファクトに対応する複数の設定を含むように前記予測子画像を生成する段階を有する、請求項１８に記載の方法。
（項目２４）
前記複数の設定をブレンドする段階は、
前記シーケンスにおける前記複数の画像のそれぞれにより取り込まれた共通のオブジェクトに対応する複数の設定を識別する段階と、
前記共通のオブジェクトに少なくとも部分的に基づいて、前記シーケンスにおける前記複数の画像の一部を整列させる段階とを有する、請求項１８または２３に記載の方法。
（項目２５）
前記シーケンスにおける前記複数の画像の全てよりも少ないものにより取り込まれた一意なオブジェクトに対応する複数の設定を識別する段階と、
前記共通のオブジェクトの描出および前記一意なオブジェクトの描出を含むように前記予測子画像を生成する段階とを更に備える、請求項２４に記載の方法。
（項目２６）
複数の画像の前記シーケンスは、少なくとも第１の画像および第２の画像を含み、
複数の設定を得る段階は、
前記第１の画像における要素の設定を取得する段階と、
前記第２の画像における要素の設定を取得する段階とを有し、
前記第１の画像における前記要素は、前記第１の画像におけるオブジェクトの特定部分を表し、
前記第２の画像における前記要素は、前記オブジェクトの前記特定部分を表す、請求項１８に記載の方法。
（項目２７）
前記複数の要素の前記複数の設定をブレンドする段階は、前記第１の画像における前記要素の設定および前記第２の画像における前記要素の設定の組み合わせに少なくとも部分的に基づいて、前記予測子画像における前記オブジェクトの前記特定部分に対する設定を計算する段階を有する、請求項２６に記載の方法。
（項目２８）
前記予測子画像は、前記シーケンスにおける前記複数の画像の解像度より低い解像度であり、
前記方法は、
複数の画像のシーケンスを受信する段階と
前記複数の画像のそれぞれに対する複数の設定を取得する段階と、
前記シーケンスにおける前記複数の画像を組み合わせ、前記シーケンスを表す１つの予測子画像を生成する段階とを備え、
前記１つの画像は、前記シーケンスにおける前記複数の画像の解像度より低い解像度である、請求項１８に記載の方法。
（項目２９）
前記複数の画像を組み合わせる段階は、
前記シーケンスにおける前記複数の画像のそれぞれにより少なくとも部分的に取り込まれた共通のオブジェクトに対応する複数の設定を識別する段階と
前記複数の画像のそれぞれにおける前記共通のオブジェクトに対応する複数の設定を整列させるべく、前記シーケンスにおける前記画像に画像処理オペレーションを適用する段階とを有する、請求項２８に記載の方法。
（項目３０）
前記シーケンスにおける前記複数の画像の全てよりも少ないものにより取り込まれた一意なオブジェクトに対応する複数の設定を識別する段階と、
前記共通のオブジェクトの描出および前記一意なオブジェクトの描出を含むように前記予測子画像を生成する段階とを更に備える、請求項２９に記載の方法。
（項目３１）
画像処理オペレーションを適用し、前記シーケンスにおける所与の画像の複数の設定を整列させる段階は、
前記所与の画像の第１の部分に第１のセットの複数の画像処理オペレーションを適用する段階と、
前記所与の画像の第２の部分に第２のセットの複数の画像処理オペレーションを適用する段階とを更に有し、
前記所与の画像の前記第２の部分は、前記所与の画像の前記第１の部分とは異なる数の複数の要素を有する、請求項２９または３０に記載の方法。
（項目３２）
前記シーケンスにおける前記複数の画像のそれぞれは、特定のオブジェクトの描出に対応する複数の設定を含み、
前記複数の画像を組み合わせる段階は、複数の画像の前記シーケンスにおけるオブジェクトの異なる描出と一致する複数の設定の組み合わせに基づいて、前記予測子画像の前記特定のオブジェクトの描出を生成する段階を有する、請求項２８に記載の方法。
（項目３３）
前記１つの画像は、前記複数の画像のそれぞれにより表される視界より大きい視野を表す、請求項２８または３２に記載の方法。
（項目３４）
前記複数の画像の複数の設定を組み合わせる段階は、
前記複数の画像を互いに重ね合わせる段階と
重ね合わせた前記複数の画像の１または複数を処理し、前記複数の画像における対応する複数のオブジェクトの複数の設定を整列させる段階と、
重ね合わせた前記複数の画像の対応する複数の要素の複数の設定を組み合わせ、前記予測子画像を生成する段階とを有する、請求項２８、３２または３３のいずれか１項に記載の方法。
（項目３５）
複数の画像の前記シーケンスは、少なくとも第１の画像および第２の画像を含み、
前記複数の設定を得る段階は、
前記第１の画像の要素の設定を取得する段階と、
前記第２の画像の要素の設定を取得する段階とを有し、
前記第１の画像における前記要素の前記設定は、前記第１の画像における描出されたオブジェクトの特定部分に対応し、
前記第２の画像の前記要素は、前記オブジェクトの前記特定部分に対応する、請求項２８、または３２から３４のいずれか１項に記載の方法。
（項目３６）
前記複数の画像を組み合わせる段階は、前記第１の画像の前記要素に対する前記設定および前記第２の画像における前記要素の前記設定の組み合わせに少なくとも部分的に基づいて、前記予測子画像における前記オブジェクトの特定の領域に対する設定を計算する段階を有する、請求項３５に記載の方法。
（項目３７）
前記予測子画像を得るべく、前記複数の画像のうちいくつを使用したかを示すメタ情報を生成する段階を更に備える、請求項１８に記載の方法。
（項目３８）
複数の原画像のシーケンスを実質的に再現する方法であって、
シーケンスにおける複数の原画像から得た第１のエンコード済み画像データを受信する段階と、
複数の調整を指定する第２のエンコード済み画像データを受信する段階と、
１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された前記複数の原画像の複数の予備的描出に対する前記複数の調整の適用に基づいて、前記シーケンスにおける前記複数の原画像を実質的に再現する段階とを備え、
前記第１のエンコード済み画像データは、前記シーケンスにおける前記複数の原画像のそれぞれを再現するための基準線として使用される前記１セットの複数の共通画像要素の設定を指定する、方法。
（項目３９）
前記複数の原画像を実質的に再現する段階は、
前記複数の原画像のうち第１の画像における複数の画像要素を、前記１セットの複数の共通画像要素の設定に少なくとも部分的に基づく値に初期設定する段階と、
前記複数の原画像のうち第２の画像における複数の画像要素を、前記１セットの複数の共通画像要素の設定に少なくとも部分的に基づく値に初期設定する段階とを有する、請求項３８に記載の方法。
（項目４０）
前記複数の原画像を実質的に再現する段階は、
前記第２のエンコード済み画像データから第１のセットの調整情報を取得する段階と、
前記第１のセットの調整情報により指定された前記第１の画像における前記複数の画像要素の複数の設定を調整し、前記シーケンスにおける前記複数の画像のうち第１の画像を再現する段階と、
前記第２のエンコード済みデータから第２のセットの調整情報を取得する段階と、
前記第２のセットの調整情報により指定された前記第２の画像における前記複数の画像要素の複数の設定を調整し、前記シーケンスにおける前記複数の画像のうち第２の画像を再現する段階を有し、
前記第１のセットの調整情報は、前記第１の画像における前記複数の画像要素の複数の設定をどのように修正するかを示し、
前記第２のセットの調整情報は、前記第２の画像における前記複数の画像要素の複数の設定をどのように修正するかを示す、請求項３９に記載の方法。
（項目４１）
前記１セットの複数の共通画像要素の設定は、前記シーケンスの２つまたはそれ以上の画像にわたる、前記複数の原画像の複数の画像要素の複数の設定に基づく複数のオペレーションから得られる、請求項３８に記載の方法。
（項目４２）
複数の共通画像要素の設定は、１または複数の画像描出に対応する、請求項３８または４１に記載の方法。
（項目４３）
第１のエンコード済みデータは、複数の共通画像要素の設定に対応する情報以外に、前記複数の共通画像要素の設定に少なくとも部分的に基づいて、前記シーケンスにおける前記複数の原画像の予備描出を再構成するべく使用される複数のオペレーションを指定する情報も含む、請求項３８に記載の方法。
（項目４４）
それぞれの所与の予備的画像描出に対する情報は、前記複数の共通画像要素の設定のどの部分を処理し、前記所与の画像に対する予備的画像描出を生成するかを指定する情報を含む、請求項４３に記載の方法。
（項目４５）
所与の予備的画像描出を再構成する複数のオペレーションは、複数の共通画像要素の設定に基づく複数の動き補償オペレーションを含み、
前記方法は、
前記情報により指定された複数の共通画像要素の設定の第１の部分に第１のセットの複数の画像処理オペレーションを適用する段階と、
前記情報により指定された複数の共通画像要素の設定の第２の部分に第２のセットの複数の画像処理オペレーションを適用する段階とを備える、請求項４３または４４に記載の方法。
（項目４６）
前記１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された複数の予備的画像描出のいずれかは、前記シーケンスにおける前記複数の原画像のいずれかを実質的に再現する前に、前記シーケンスにおける前記複数の原画像のいずれかに対して生成される、請求項３８に記載の方法。
（項目４７）
前記複数の原画像は、複数の再構成画像を生成するべく、他の複数の所与の画像と組み合わせる複数の調整に対応する、請求項３８または４６に記載の方法。
（項目４８）
画像データをデコードする方法であって、
シーケンスにおける第１の集団の複数の画像をエンコードすることから得た第１の予測子画像データを受信する段階と、
前記シーケンスにおける第２の集団の複数の画像をエンコードすることから得た第２の予測子画像データを受信する段階と、
前記第１の予測子画像データおよび前記第２の予測子画像データの組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像の描出を再構成する段階とを備え、
前記第１の集団の複数の画像は、前記シーケンスにおける前記第２の集団の複数の画像に隣接して配置される、方法。
（項目４９）
前記第１の集団の複数の画像は、前記シーケンスにおける第１のセットの複数の連続画像であり、
前記第２の集団の複数の画像は、前記シーケンスにおける第２のセットの複数の連続画像である、請求項４８に記載の方法。
（項目５０）
最も低い空間・時間の解像度から最も高い空間・時間の解像度にデコードされた第１の階層の画像データとして、前記第１の予測子画像データを受信する段階と、
最も低い空間・時間の解像度から最も高い空間・時間の解像度にデコードされた第２の階層の画像データとして、前記第２の予測子画像データを受信する段階とを更に備える、請求項４８または４９に記載の方法。
（項目５１）
前記第１の予測子画像データと、前記第２の予測子画像データの少なくとも一部との組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像を再構成する段階は、
前記第１の予測子画像データを利用し、前記第１の階層における所与の段で画像描出を生成する段階と、
前記第２の予測子画像データを利用し、前記第２の階層における前記所与の段で画像描出を生成する段階と、
少なくとも、前記第１の階層における前記所与の段の１つの画像描出と、前記第２の階層の前記所与の段の前記画像描出とを組み合わせることに基づいて、前記所与の段を超える次のより高い段で少なくとも前記１つの画像描出を生成する段階とを有する、請求項５０に記載の方法。
（項目５２）
少なくとも、前記第１の階層における前記所与の段の前記画像描出と、前記第２の階層における前記所与の段の前記画像描出とを組み合わせる段階は、複数の画像処理オペレーションを行う段階を有する、請求項５１に記載の方法。
（項目５３）
前記第１の予測子画像データから得た画像描出および前記第２の予測子画像データから得た画像描出を組み合わせ、前記第１の集団の複数の画像において、前記複数の画像のうち少なくとも１つを再現する段階を更に備える、請求項４８に記載の方法。
（項目５４）
前記第１の予測子画像データおよび前記第２の予測子画像データの組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像を再構成する段階は、前記第１の集団の複数の画像における少なくとも１つの所与の画像について、
少なくとも、前記第１の階層における画像描出に基づく複数のアップサンプリングオペレーションを行う段階を含む、複数の画像処理オペレーションにより生成された第１の画像と、前記第２の階層における画像描出に基づく複数のアップサンプリングオペレーションを行う段階を含む、複数の画像処理オペレーションにより生成された第２の画像とを組み合わせ、前記第１の集団の複数の画像における前記所与の画像を再現する段階を備える、請求項５０に記載の方法。
（項目５５）
メタ情報を受信する段階と、
より高い段の所与の画像を生成するべく、前記メタ情報を利用し、より低い段の複数の画像を識別して処理する段階とを更に備える、請求項５４に記載の方法。
（項目５６）
コンピュータに、
シーケンスにおける複数の原画像のそれぞれを再現するための基準線として使用される１セットの複数の共通画像要素の設定を指定する、第１のエンコード済み画像データを受信する手順と、
複数の調整を指定する第２のエンコード済み画像データを受信する手順と、
前記１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された前記複数の原画像の複数の予備的描出に対する前記複数の調整を適用することに基づいて、前記シーケンスにおける前記複数の原画像を実質的に再現する手順とを行わせる、プログラム。
（項目５７）
コンピュータに、
シーケンスにおける第１の集団の複数の画像をエンコードすることから得た第１の予測子画像データを受信する手順と、
前記シーケンスにおける第２の集団の複数の画像をエンコードすることから得た第２の予測子画像データを受信する手順と、
前記第１の予測子画像データおよび前記第２の予測子画像データの組み合わせを利用し、
前記シーケンスにおける前記第１の集団の複数の画像の描出を再構成する手順とを行わせ、
前記第１の集団の複数の画像は、前記シーケンスにおける前記第２の集団の複数の画像に隣接して配置される、プログラム。
（項目５８）
デバイスであって、
プロセッサと、
前記プロセッサにより実行されるアプリケーションに関連する複数の命令を格納するメモリユニットと、
前記プロセッサおよび前記メモリユニットを結合する相互接続であって、前記デバイスが、前記アプリケーションを実行し、
シーケンスにおける複数の原画像のそれぞれを再現するための基準線として使用される１セットの複数の共通画像要素の設定を指定する、第１のエンコード済み画像データを受信し、
複数の調整を指定する第２のエンコード済み画像データを受信し、
前記１セットの複数の共通画像要素に少なくとも部分的に基づいて再構成された前記複数の原画像の複数の予備的描出に対する前記複数の調整の適用に基づいて、前記シーケンスにおける前記複数の原画像を実質的に再現する複数のオペレーションを行うことを可能にする、相互接続とを備える、デバイス。
（項目５９）
デバイスであって、
プロセッサと、
前記プロセッサにより実行されるアプリケーションに関連する複数の命令を格納するメモリユニットと、
前記プロセッサおよび前記メモリユニットを結合する相互接続であって、前記デバイスが、前記アプリケーションを実行し、
シーケンスにおける第１の集団の複数の画像をエンコードすることから得た第１の画像データを受信し、
前記シーケンスにおける第２の集団の複数の画像をエンコードすることから得た第２の画像データを受信し、
前記第１の画像データおよび前記第２の画像データの組み合わせを利用し、前記シーケンスにおける前記第１の集団の複数の画像の描出を再構成するオペレーションを行うことを可能にする、相互接続とを備え、
前記第１の集団の複数の画像は、前記シーケンスにおける前記第２の集団の複数の画像に隣接して配置される、デバイス。
（項目６０）
ｉ）前記複数の原画像の第１の画像において検出された第１のオブジェクトの描出と、ｉｉ）前記複数の原画像の第２の画像において検出された第２のオブジェクトの描出とを含むように、前記１セットの複数の共通画像要素の設定を生成する段階を更に備え、
前記第２のオブジェクトの描出は、前記第１の画像に存在せず、
前記第１のオブジェクトの描出は、前記第２の画像に存在しない、請求項１に記載の方法。
【国際調査報告】
2015520575.tif 000031
2015520575.tif 000032
2015520575.tif 000033
2015520575.tif 000034
2015520575.tif 000035
2015520575.tif 000036
2015520575.tif 000037