"高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するダウンサンプラおよびメタデータ生成器であって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、ダウンサンプラおよびメタデータ生成器151と、前記低解像度画像および前記メタデータを符号化する少なくとも1つのエンコーダ152とを備えることを特徴とする装置。前記メタデータは動き変換情報およびサンプリンググリッド情報を含むことを特徴とする請求項1に記載の装置。前記動き変換情報は、前記高解像度画像の2つ以上の間の全体の動きに関係する全体の動き変換情報を含むことを特徴とする請求項2に記載の装置。前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示すサンプリンググリッドインデックスを含むことを特徴とする請求項2に記載の装置。前記高解像度画像は、少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器151は、参照画像から前記1つまたは複数の非参照画像それぞれへの動きを推定し、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し、前記1つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成することを特徴とする請求項1に記載の装置。前記1つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記1つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択されることを特徴とする請求項5に記載の装置。前記グリッドが、前記1つまたは複数のダウンサンプリンググリッドの特定の1つを使用して生成される超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応することを特徴とする請求項6に記載の装置。前記グリッドは歪み尺度に基づいてさらに選択されることを特徴とする請求項6に記載の装置。前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも1つの特定のものの異なる部分をダウンサンプリングするのに使用されることを特徴とする請求項5に記載の装置。前記高解像度画像それぞれに対して個々のバイナリマスクが構築され、前記バイナリマスクは前記高解像度画像の前景ピクセルの個々の位置を示すことを特徴とする請求項5に記載の装置。高解像度画像を受け取り610、そこから低解像度画像およびメタデータを生成する625、110ステップであって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものであるステップと、少なくとも1つのエンコーダを使用して前記低解像度画像および前記メタデータを符号化する115ステップとを含むことを特徴とする方法。前記メタデータは動き変換情報およびサンプリンググリッド情報を含む615、620ことを特徴とする請求項11に記載の方法。前記動き変換情報は、前記高解像度画像の2つ以上の間の全体の動きに関係する全体の動き変換情報を含む615ことを特徴とする請求項12に記載の方法。前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示すサンプリンググリッドインデックスを含む620ことを特徴とする請求項12に記載の方法。前記高解像度画像は、少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器は、参照画像から前記1つまたは複数の非参照画像それぞれへの動きを推定し615、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し620、前記1つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングする625ことによって、前記低解像度画像を生成することを特徴とする請求項11に記載の方法。前記1つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記1つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択されることを特徴とする請求項15に記載の方法。前記グリッドが、前記1つまたは複数のダウンサンプリンググリッドの特定の1つを使用して生成される超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応することを特徴とする請求項16に記載の方法。前記グリッドは歪み尺度に基づいてさらに選択されることを特徴とする請求項16に記載の方法。前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも1つの特定のものの異なる部分をダウンサンプリングするのに使用されることを特徴とする請求項15に記載の方法。前記高解像度画像それぞれに対して個々のバイナリマスクが構築され、前記バイナリマスクが前記高解像度画像の前景ピクセルの個々の位置を示すことを特徴とする請求項15に記載の方法。ビットストリームを受け取り、そこから低解像度画像およびメタデータを復号化するデコーダ153と、前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する超解像度化ポストプロセッサ154とを備えることを特徴とする装置。前記メタデータは動き変換情報およびサンプリンググリッド情報を含むことを特徴とする請求項21に記載の装置。前記動き変換情報は、前記高解像度画像の2つ以上の間の全体の動きに関係する全体の動き変換情報を含むことを特徴とする請求項22に記載の装置。前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示すサンプリンググリッドインデックスを含むことを特徴とする請求項22に記載の装置。前記超解像度化ポストプロセッサ154は、前記メタデータおよび前記低解像度画像から高解像度モザイクを作成し、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元することを特徴とする請求項21に記載の装置。前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間することによって作成されることを特徴とする請求項25に記載の装置。前記超解像度化ポストプロセッサ154は、前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成することを特徴とする請求項25に記載の装置。前記高解像度モザイクの前記ピクセルの所与の1つに対する前記妥当性の尺度が、前記ピクセルの前記所与の1つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の1つは、前記ピクセルの前記所与の1つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定されることを特徴とする請求項27に記載の装置。前記高解像度画像の所与の1つは、前記低解像度画像の対応する1つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の1つにおける周囲の同位置ピクセルの少なくとも1つのピクセル値から、前記高解像度画像の前記所与の1つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の1つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の1つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の1つと前記低解像度画像の前記少なくとも別の1つとの間のピクセルの動き変換を伴うことを特徴とする請求項25に記載の装置。前記高解像度画像の特定の1つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元されることを特徴とする請求項21に記載の装置。ビットストリームを受け取り、そこからデコーダを使用して低解像度画像およびメタデータを復号化する1010ステップと、前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する1025ステップとを含むことを特徴とする方法。前記メタデータは動き変換情報およびサンプリンググリッド情報を含むことを特徴とする請求項31に記載の方法。前記動き変換情報は、前記高解像度画像の2つ以上の間の全体の動きに関係する全体の動き変換情報を含むことを特徴とする請求項32に記載の方法。前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ1つを示すサンプリンググリッドインデックスを含むことを特徴とする請求項32に記載の方法。前記メタデータおよび前記低解像度画像から高解像度モザイクを作成する1020ステップをさらに含み、前記復元するステップが、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元することを特徴とする請求項31に記載の方法。前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間する1020ことによって作成されることを特徴とする請求項35に記載の方法。前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成するステップをさらに含むことを特徴とする請求項35に記載の方法。前記高解像度モザイクの前記ピクセルの所与の1つに対する前記妥当性の尺度が、前記ピクセルの前記所与の1つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の1つは、前記ピクセルの前記所与の1つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定されることを特徴とする請求項37に記載の方法。前記高解像度画像の所与の1つは、前記低解像度画像の対応する1つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の1つにおける周囲の同位置ピクセルの少なくとも1つのピクセル値から、前記高解像度画像の前記所与の1つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の1つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の1つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の1つと前記低解像度画像の前記少なくとも別の1つとの間のピクセルの動き変換を伴うことを特徴とする請求項35に記載の方法。前記高解像度画像の特定の1つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元されることを特徴とする請求項31に記載の装置。高解像度画像から生成される符号化された低解像度画像および前記高解像度画像から生成されるメタデータを備え、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものであることを特徴とする符号化されたビデオ信号データを有するコンピュータ可読記憶媒体。しかし、上述の第1の従来技術の手段は、不利なことに、移動領域に対してスマートサンプリング戦略を使用しない。より正確には、第1の従来技術の手段は、超解像度を得るため、低解像度フレーム間にサブピクセル動きが存在することに依存する。しかし、サブピクセル動きは必ずしも保証されるとは限らない。第2の従来技術の手段では、カメラはフレームキャプチャ間のサブピクセルシフトにおいて機械的に移動される。目的は、後の超解像度化により一層適した低解像度ビデオをキャプチャすることである。静止背景については、第2の従来技術の手段の方法は、上述の第1の従来技術の手段におけるジッタードサンプリングの概念と類似している。しかし、固定ジッターは、発明者らが目標とする用途、即ち後の超解像度化に向けたダウンサンプリング高解像度ビデオに起こり得るような、非静止背景の場合に有効な戦略ではない。従来技術のこれらおよび他の欠点並びに不利な点に対して、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置を対象とする本発明の原理によって対処する。本発明の原理の1つの態様によれば、装置が提供される。装置は、高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成する、ダウンサンプラおよびメタデータ生成器を含む。メタデータは、低解像度画像およびメタデータの復号化後の後処理をガイドするためのものである。装置は、低解像度画像およびメタデータを符号化する少なくとも1つのエンコーダをさらに含む。本発明の原理の別の態様によれば、方法が提供される。方法は、高解像度画像を受け取るステップと、そこから低解像度画像およびメタデータを生成するステップとを含む。メタデータは、低解像度画像およびメタデータの復号化後の後処理をガイドするためのものである。方法は、少なくとも1つのエンコーダを使用して低解像度画像およびメタデータを符号化するステップをさらに含む。本発明の原理のさらに別の態様によれば、装置が提供される。装置は、ビットストリームを受け取り、そこから低解像度画像およびメタデータを復号化するデコーダを含む。装置は、低解像度画像およびメタデータを使用して、低解像度画像にそれぞれ対応する高解像度画像を復元する、超解像度ポストプロセッサをさらに含む。本発明の原理のさらに別の態様によれば、方法が提供される。方法は、ビットストリームを受け取るステップと、デコーダを使用してそこから低解像度画像およびメタデータを復号化するステップとを含む。方法は、低解像度画像およびメタデータを使用して、低解像度画像にそれぞれ対応する高解像度画像を復元するステップをさらに含む。本発明の原理のこれらおよび他の態様、特徴、並びに利点は、例示的実施形態の以下の詳細な説明を添付図面と併せ読むことによって明白になるであろう。本発明の原理は、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置を対象とする。本発明の記載は本発明の原理を例証する。したがって、当業者であれば、本明細書に明示的に記載または図示されないものの、本発明の原理を具体化し、かつ本発明の趣旨および範囲に含まれる様々な構成を考案できることを認識するであろう。本明細書に列挙されるすべての実施例および条件付きの用語は、発明者らが当該分野を促進するのに寄与する読者が本発明の原理および概念を理解するのを助ける教育目的であるものとし、かかる具体的に列挙される実施例および条件に限定されないものと解釈すべきである。さらに、本発明の原理の原理、態様、および実施形態を列挙する本明細書のすべての記述、並びにそれらの具体的な実施例は、それらの構造的等価物および機能的等価物の両方を包含するものとする。それに加えて、かかる等価物は、現在知られている等価物、並びに今後開発される等価物、即ち構造にかかわらず同じ機能を実行する、開発されるあらゆる要素の両方を含むものとする。したがって、例えば、当業者であれば、本明細書に提示されるブロック図は、本発明の原理を具体化する実例的な回路構成の概念図を表すことを認識するであろう。同様に、あらゆるフローチャート、フロー図、状態遷移図、疑似コードなどは、コンピュータ可読媒体で実質的に表され、コンピュータまたはプロセッサが明示的に示されるか否かにかかわらず、かかるコンピュータまたはプロセッサによって実行されてもよい、様々なプロセスを表すことが認識されるであろう。図面に示される様々な要素の機能は、専用ハードウェア、並びに適当なソフトウェアと共同してソフトウェアを実行することができるハードウェアを使用することによってもたらされてもよい。プロセッサによってもたらされる場合、機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、または一部が共有されてもよい複数の個々のプロセッサによってもたらされてもよい。さらに、プロセッサまたはコントローラという用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈すべきではなく、非限定的に、デジタル信号プロセッサDSPハードウェア、ソフトウェアを格納する読み出し専用メモリROM、ランダムアクセスメモリRAM、および不揮発性記憶装置を暗示的に含んでもよい。他の従来および/またはカスタムのハードウェアも含まれてもよい。同様に、図面に示されるあらゆるスイッチは単に概念上のものである。それらの機能は、プログラム論理の動作によって、専用論理によって、プログラム制御と専用論理の相互作用によって、またはさらには手動で実施されてもよく、文脈からより具体的に理解されるように、開発者によって特定の技術を選択可能である。特許請求の範囲において、指定の機能を行う手段として表されるあらゆる要素は、例えば、aその機能を行う回路要素の組み合わせ、またはbしたがって、ファームウェア、マイクロコードなどを含むあらゆる形のソフトウェアと、そのソフトウェアを実行して機能を行わせる適当な回路構成との組み合わせを含む、その機能を行うあらゆる様式を包含するものとする。かかる特許請求の範囲によって定義されるような本発明の原理は、様々な列挙される手段によってもたらされる機能性が、請求項が要求する形で組み合わされ1つにまとめられるという事実に存在する。したがって、それらの機能性をもたらすことができるあらゆる手段は、本明細書に示されるそれらと等価であるものと見なされる。本明細書における本発明の原理の1つの実施形態または一実施形態という言及は、実施形態と併せて記載される特定の機能、構造、および特徴が、本発明の原理の少なくとも1つの実施形態に含まれることを意味する。したがって、1つの実施形態ではまたは一実施形態ではという語句、並びに本明細書全体を通して様々な場所に出てくる他のあらゆる変形が出てくる場合、必ずしもすべてが同じ実施形態を指すものではない。/、および/または、および少なくとも1つのいずれかの使用は、例えば、A/B、Aおよび/またはB、およびAおよびBの少なくとも1つという場合、1番目に挙げられた選択肢Aのみを選択すること、2番目に挙げられた選択肢Bのみを選択すること、または両方の選択肢AおよびBを選択することを包含するものとする。さらなる例として、A、B、および/またはCおよびA、B、およびCの少なくとも1つという場合、かかる語句は、1番目に挙げられた選択肢Aのみを選択すること、2番目に挙げられた選択肢Bのみを選択すること、もしくは3番目に挙げられた選択肢Cのみを選択すること、または1番目および2番目に挙げられた選択肢AおよびBのみを選択すること、もしくは1番目および3番目に挙げられた選択肢AおよびCのみを選択すること、もしくは2番目および3番目に挙げられた選択肢BおよびCのみを選択すること、または3つの選択肢すべてAおよびBおよびCを選択することを包含するものとする。これは、当該分野および関連分野の当業者には容易に明白であるように、挙げられる事項の数と同じだけ拡張されてもよい。また、本明細書で使用するとき、画像およびイメージという用語は交換可能に使用され、ビデオシーケンスからの静止イメージまたは静止画像を指す。既知のように、画像はフレームまたはフィールドであってもよい。それに加えて、本明細書で使用するとき、周囲の同位置ピクセルcolocatedpixelsという用語が、例えば、低解像度画像における周囲の同位置ピクセルのピクセル値から高解像度モザイクにおけるピクセル位置でピクセル値を補間することによって、本明細書に記載される高解像度モザイクを作成することに関して使用される場合、高解像度モザイクで現在補間されているターゲットピクセルと同位置にある即ち、同じ位置を有する特定のピクセルを取り囲む低解像度画像のピクセルを指す。上述したように、本発明の原理は、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置を対象とする。本発明の原理は、有利には、ビデオ圧縮効率を改善するものと認識されるべきである。特に、フレーム間の動きを扱うことができるスマートダウンサンプリング戦略が提案される。前処理段階では、高解像度HRフレームは低解像度LRにダウンサンプリングされ、メタデータは後処理をガイドするために生成される。後処理段階では、復号化された低解像度フレームおよび受け取ったメタデータは、新規な超解像度フレームワーク内で高解像度フレームを復元するのに使用される。低解像度フレームのみが符号化され、送信されるメタデータの量は低度から中程度なので、この手段は圧縮比を向上させるという可能性を有する。スマートダウンサンプリング戦略は、フレーム間の動きを考慮に入れる。ダウンサンプリング戦略は、持っているピクセル情報を互いに補完する換言すれば、フレーム間のピクセルの冗長度を低減するようにしてLRフレームを作成することによって、超解像度化の結果を改善することに寄与する。ある意味では、戦略はフレーム間のサブピクセル動きを強化することを試みる。発明者らは、従来のビデオ圧縮方法主に、例えば、国際標準化機構/国際電気標準会議ISO/IEC、動画圧縮標準4MPEG-4、パート10、高度ビデオ符号化AVC規格/国際電気通信連合、電気通信部門ITU-T、H.264推奨基準以下、MPEG-4AVC規格など、ブロックベースの予測方法は、圧縮比の飽和点に達し始めていることに注目している。データプルーニング方法は、標準的な圧縮方法によって達成されるよりも圧縮効率を改善することを目指す。かかる方法の主な原理は、符号化前またはその最中にデータを除去し、復号化後またはその最中に受信機側で除去したデータを元に戻すというものである。データプルーニング方法は、それらの目標を、例えばブロック/領域の除去と修復、ラインの除去と補間などを達成する様々な前処理および後処理技術を開発してきた。本発明の原理によれば、送信機側でのインテリジェントダウンサンプリングおよび受信機側での超解像度化は、データプルーニングのために開発された技術である。超解像度化は、いくつかの低解像度イメージまたはフレームにわたって情報を一時的に統合することによって、イメージまたはビデオの解像度を向上するプロセスである。このデータプルーニング手段の原理が図1に示される。図1を参照すると、サンプリングベースの超解像度化の例示的なシステム/方法が全体的に参照番号100によって示される。高解像度HRフレームが入力され、低解像度LRフレームおよびメタデータを得るため、ステップ110でダウンサンプラおよびメタデータ生成器151によるダウンサンプリングおよびメタデータ生成にかけられる。ステップ115で、低解像度フレームおよびメタデータはエンコーダ152によって符号化される。ステップ120で、符号化された低解像度フレームおよびメタデータはデコーダ153によって復号化される。低解像度フレームおよびメタデータは、ステップ130で、高解像度出力フレームを供給するため、超解像度化ポストプロセッサ154による超解像度化後処理にかけられる。したがって、前処理段階ステップ110では、高解像度フレームは低解像度にダウンサンプリングされ、メタデータは後処理をガイドするために生成される。特に、フレーム間の動きを扱うことができるスマートダウンサンプリング戦略が提案される。後処理段階ステップ125では、復号化された低解像度フレームおよび受け取ったメタデータは、新規な超解像度フレームワーク内で高解像度フレームを復元するのに使用される。低解像度フレームのみが符号化され、送信されるメタデータの量は低度から中程度なので、この手段を使用して向上された圧縮比を得ることができる。発明者らは、ダウンサンプラおよびメタデータ生成器151はまた、本明細書においてプリプロセッサとして考慮され引用されてもよいことに注目している。以下に記載されるエンコーダおよびデコーダの特定の構成に限定されないが、エンコーダ152およびデコーダ153はそれぞれ、図2および図3に示されるように実装することができる。図2を参照すると、本発明の原理が適用されてもよい例示的なビデオエンコーダは、全体が参照番号200によって示される。ビデオエンコーダ200は、コンバイナ285の非反転入力を有する信号通信の出力を有するフレーム再配列バッファframeorderingbuffer210を含む。コンバイナ285の出力は、変換器および量子化器225の第1の入力と信号通信で接続される。変換器および量子化器225の出力は、エントロピー符号器245の第1の入力および逆変換器および逆量子化器250の第1の入力と信号通信で接続される。エントロピー符号器245の出力は、コンバイナ290の第1の非反転入力と信号通信で接続される。コンバイナ290の出力は、出力バッファ235の第1の入力と信号通信で接続される。エンコーダコントローラ205の第1の出力は、フレーム再配列バッファ210の第2の入力、逆変換器および逆量子化器250の第2の入力、ピクチャタイプ決定モジュール215の入力、マクロブロックタイプMBタイプ決定モジュール220の第1の入力、イントラ予測モジュール260の第2の入力、デブロッキングフィルタ265の第2の入力、動き補償器motioncompensator270の第1の入力、動き推定器motionestimator275の第1の入力、並びに参照画像バッファ280の第2の入力と信号通信で接続される。エンコーダコントローラ205の第2の出力は、補助強化情報SEI挿入器230の第1の入力、変換器および量子化器225の第2の入力、エントロピー符号器245の第2の入力、出力バッファ235の第2の入力、並びにシーケンスパラメータセットSPSおよびピクチャパラメータセットPPS挿入器240の入力と信号通信で接続される。SEI挿入器230の出力は、コンバイナ290の第2の非反転入力と信号通信で接続される。ピクチャタイプ決定モジュール215の第1の出力は、フレーム再配列バッファ210の第3の入力と信号通信で接続される。ピクチャタイプ決定モジュール215の第2の出力は、マクロブロックタイプ決定モジュール220の第2の入力と信号通信で接続される。シーケンスパラメータセットSPSおよびピクチャパラメータセットPPS挿入器240の出力は、コンバイナ290の第3の非反転入力と信号通信で接続される。逆量子化器および逆変換器250の出力は、コンバイナ219の第1の非反転入力と信号通信で接続される。コンバイナ219の出力は、イントラ予測モジュール260の第1の入力およびデブロッキングフィルタ265の第1の入力と信号通信で接続される。デブロッキングフィルタ265の出力は、参照画像バッファ280の第1の入力と信号通信で接続される。参照画像バッファ280の出力は、動き推定器275の第2の入力および動き補償器270の第3の入力と信号通信で接続される。動き推定器275の第1の出力は、動き補償器270の第2の入力と信号通信で接続される。動き推定器275の第2の出力は、エントロピー符号器245の第3の入力と信号通信で接続される。動き補償器270の出力は、スイッチ297の第1の入力と信号通信で接続される。イントラ予測モジュール260の出力は、スイッチ297の第2の入力と信号通信で接続される。マクロブロックタイプ決定モジュール220の出力は、スイッチ297の第3の入力と信号通信で接続される。スイッチ297の第3の入力は、制御入力、即ち第3の入力と比べてスイッチのデータ入力が、動き補償器270またはイントラ予測モジュール260によって供給されるものであるか否かを判定する。スイッチ297の出力は、コンバイナ219の第2の非反転入力およびコンバイナ285の反転入力と信号通信で接続される。フレーム再配列バッファ210の第1の入力およびエンコーダコントローラ205の入力は、入力画像を受け取るために、エンコーダ200の入力として利用可能である。さらに、補助強化情報SEI挿入器230の第2の入力は、メタデータを受け取るために、エンコーダ200の入力として利用可能である。出力バッファ235の出力は、ビットストリームを出力するために、エンコーダ200の出力として利用可能である。図3を参照すると、本発明の原理が適用されてもよい例示的なビデオデコーダは、全体が参照番号300によって示される。ビデオデコーダ300は、エントロピーデコーダ345の第1の入力と信号通信で接続される出力を有する入力バッファ310を含む。エントロピーデコーダ345の第1の出力は、逆変換器および逆量子化器350の第1の入力と信号通信で接続される。逆変換器および逆量子化器350の出力は、コンバイナ325の第2の非反転入力と信号通信で接続される。コンバイナ325の出力は、デブロッキングフィルタ365の第2の入力およびイントラ予測モジュール360の第1の入力と信号通信で接続される。デブロッキングフィルタ365の第2の出力は、参照画像バッファ380の第1の入力と信号通信で接続される。参照画像バッファ380の出力は、動き補償器370の第2の入力と信号通信で接続される。エントロピーデコーダ345の第2の出力は、動き補償器370の第3の入力、デブロッキングフィルタ365の第1の入力、およびイントラ予測器360の第3の入力と信号通信で接続される。エントロピーデコーダ345の第3の出力は、デコーダコントローラ305の入力と信号通信で接続される。デコーダコントローラ305の第1の出力は、エントロピーデコーダ345の第2の入力と信号通信で接続される。デコーダコントローラ305の第2の出力は、逆変換器および逆量子化器350の第2の入力と信号通信で接続される。デコーダコントローラ305の第3の出力は、デブロッキングフィルタ365の第3の入力と信号通信で接続される。デコーダコントローラ305の第4の出力は、イントラ予測モジュール360の第2の入力、動き補償器370の第1の入力、および参照画像バッファ380の第2の入力と信号通信で接続される。動き補償器370の出力は、スイッチ397の第1の入力と信号通信で接続される。イントラ予測モジュール360の出力は、スイッチ397の第2の入力と信号通信で接続される。スイッチ397の出力は、コンバイナ325の第1の非反転入力と信号通信で接続される。入力バッファ310の入力は、入力ビットストリームを受け取るため、デコーダ300の入力として利用可能である。デブロッキングフィルタ365の第1の出力は、出力画像を出力するため、デコーダ300の出力として利用可能である。サンプリングベースの超解像度化の原理サンプリングベースSRの中心思想は、図4A~図4Dおよび図5A~図5Dに示される。図4A~図4Dを参照すると、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップは、全体として参照番号400によって示される。特に、図4Aは、高解像度HRフレーム410の入力セットを示す。図4Bは、参照フレームに対する動き変換Θt1の推定420を示す。図4Cは、参照フレーム座標における超解像度充填率に基づくサンプリンググリッドStの推定430を示すIは恒等変換identitytransformationを指すことに留意されたい。図4Dは、ダウンサンプリングされた低解像度LRフレームおよび対応するメタデータ440を示す。図5A~図5Dを参照すると、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップは、全体として参照番号500によって示される。特に、図5Aは、低解像度フレームおよびメタデータの復号化セット510を示す。図5Bは、参照フレーム座標における低解像度フレームからの超解像度モザイクの作成520を示すIは恒等変換を指すことに留意されたい。図5Cは、超解像度モザイクからの高解像度フレームの復元530を示す。図5Dは、超解像度化された高解像度フレーム540を示す。後処理段階に関係する図5Aを参照すると、最初に、一組の復号化LRフレーム~が、いくつかの関連メタデータとともに利用可能である。フレームの1つは参照フレーム図5Aのであることが分かっている。図5Bでは、メタデータ情報を使用して低解像度フレームのピクセルを共通座標系参照フレームの座標系と一致するに変換した後に、超解像度モザイクが構築される。その後、図5Cを参照すると、メタデータ情報を使用して、超解像度モザイクの情報現在のフレーム座標に逆変換されたものとそれに対応する低解像度フレームを組み合わせることによって、セットの各高解像度フレームが復元される。上述の後処理ステップを実施するため、メタデータは、各フレームと参照フレームとの間のピクセルの動きを記述する必要があり、ダウンサンプリングプロセスは、前処理段階において各低解像度フレームを対応する高解像度フレームから作成するのに使用される。この情報は前処理段階で判定され、メタデータとして送られる。図4Aを参照すると、入力高解像度ビデオは別々に処理されるフレームのセットに分割される。高解像度フレームのセットH1~H4H1は参照フレームと見なされるについて考察することとする。図4Bでは、各フレームと参照フレームとの間の動きが推定される。図4Bでは、HtからH1への動き変換がΘt1によって表される。図4Cでは、対応する低解像度フレームLtを作成するため、ダウンサンプリンググリッドS1が各フレームH1に対して選択される。図4Dでは、ダウンサンプリングした低解像度フレームLtを、エンコーダを使用して圧縮し、対応するメタデータ動きおよびサンプリンググリッド情報とともに受信機に送ることができる。受信機の後処理段階では、復号化低解像度フレームをメタデータ情報とともに使用して、上述したように高解像度フレームが復元される。以下、前処理および後処理段階に関与するステップについてさらに記載する。サンプリングベースの超解像度化の前処理段階前処理段階では、入力高解像度ビデオは、最初に連続フレームのセットに分割される。次に、各セットは別々に処理される。一般的に、各セットのM2フレームを選ぶが、ここで、Mはダウンサンプリングファクタ、即ち高解像度と低解像度のフレーム寸法の比である。この根拠は、高解像度フレームが低解像度フレームのM2倍の数のピクセルを含み、したがって、高解像度フレームと同じサイズの超解像度モザイクを構築するのにM2のLRフレームを得るべきであることである。ここで、ダウンサンプリングファクタが2即ち、M=2である場合を考察し、次に4つの高解像度フレームのセットHt;t=1、2、3、4について考察する。図6を参照すると、サンプリングベースの超解像度化方法の前処理段階に関係する例示的な方法は、全体が参照番号600によって示される。方法600は、機能ブロック610に制御を渡す開始ブロック605を含む。機能ブロック610は、高解像度ビデオフレームt=1、...、Nを入力し、機能ブロック615に制御を渡す。機能ブロック615は、各フレームと参照フレームとの間で全体の動き推定を行って、その動きパラメータを得て、機能ブロック620に制御を渡す。機能ブロック620は、超解像度品質と関連する基準に基づいて各フレームに対するサンプリンググリッドの選択を行って、サンプリンググリッドインデックスを得て、機能ブロック625に制御を渡す。機能ブロック625は、低解像度フレームを得るために高解像度フレームをダウンサンプリングし、機能ブロック630に制御を渡す。機能ブロック630は、低解像度フレーム、t=1、...、Nをエンコーダに出力し、終了ブロック699に制御を渡す。前処理段階例えば、図4および図6に関して示されるようなに関与するステップに関係するさらなる詳細は、次の通りに提供される。1.動き推定:H1を参照フレームとする。各フレームHtから参照フレームへの動きを推定する図4B。HtからH1への動き変換はΘt1によって表される。2.サンプリンググリッドの選択:各フレームHtに対して、サンプリンググリッドStは、対応するLRフレームLtを作成するため、Htから得られるピクセルを示す。グリッドS1は、各フレームが後処理段階の超解像度化プロセス図5A~図5Dに対する補助ピクセル情報を供給するように選ばれる。フレーム間の動きはグリッド選択プロセス中に説明される。3.ダウンサンプリング:選択されたグリッドStを使用して、低解像度フレームLtがそれぞれ作成される。次に、低解像度フレームはエンコーダを使用して圧縮され、受信機に送られる。フレームと使用されるサンプリンググリッドとの間の動きに関する情報も、メタデータとして送られる。前述のステップそれぞれについて以下にさらに記載する。動き推定例証目的のため、以下、所与のセットの参照フレームに対するセットの各フレームHt間の動きを推定する1つの手法について考察する図4B。一般性を失うことなく、参照フレームはH1であることが考えられる。フレーム間で全体の動きのみがあるものと考えることによって、問題を単純化することとする。換言すれば、任意の2つのフレーム間でのピクセルの動きは、いくつかのパラメータを用いて全体の変換によって説明できるものと考える。全体の変換の例としては、並進、回転、アフィンワープ、射影変換などが挙げられる。フレームHiからフレームHjへの動きを推定するため、最初に、フレーム間の動きを説明するパラメータに関する全体の動きモデルを選ぶ。HiおよびHjからのデータを使用して、モデルのパラメータθijを次に決定する。これ以降、変換をΘijによって、そのパラメータをθijによって表すものとする。次に、変換Θijを使用して、HiをHjに位置合わせするまたはワープさせるあるいは逆モデルΘji=Θij1を使用してその逆を行うことができる。全体の動きは、様々なモデルおよび方法を使用して推定することができる。一般に使用される1つのモデルは、次式のように与えられる射影変換である。上述の式は、Hiのx,yにあるピクセルがそこまで移動した、Hjにおける新しい位置x’,y’を与える。したがって、8つのモデルパラメータθij={a1,a2,a3,b1,b2,b3,c1,c2}は、HiからHjへの動きを説明する。パラメータは、通常、2つのフレーム間の1セットの点対応を最初に決定し、次に、ランダムサンプル一致RANSACまたはその変形などのロバストな推定フレームワークを使用することによって推定される。フレーム間の点対応は、例えば、スケール不変特徴量変換SIFTの特徴を抽出し整合すること、またはオプティカルフローを使用することなど、多くの方法によって決定することができる。サンプリングベースの超解像度化手順の場合、参照フレームH1に対する各フレームHt間の動きを推定しなければならない。したがって、θ21、θ31、およびθ41それぞれ、変換Θ21、Θ31、およびΘ41に対応するという三組のパラメータが推定される。変換は逆転可能であり、逆モデルΘji=Θij1はHjからHiへの動きを説明する。サンプリンググリッド選択各高解像度フレームHtに対して、フレームをダウンサンプリングし低解像度版Ltを作成するため、サンプリンググリッドStを選択しなければならない。サンプリンググリッドは、得られ、対応する低解像度フレームに入れられる、高解像度フレーム中のピクセルを示す。図7A~図7Fを参照すると、HR高解像度HRフレームの低解像度LRへのダウンサンプリングに使用されるサンプリンググリッドの例は、全体として参照番号700によって示される。さらに詳細には、図7Aは、高解像度フレーム中のピクセル710を示す。図7Bは、ダウンサンプリングファクタ2を有する4つの均一なサンプリンググリッド720を示す。記号○は第1のサンプリンググリッドg1を、記号は第2のサンプリンググリッドg2を、記号×は第3のサンプリンググリッドg3を、記号△は第4のサンプリンググリッドg4を示す。図7Cは、第1のサンプリンググリッドg1から得られる低解像度フレーム730を示す。図7Dは、第2のグリッドg2から得られる低解像度フレーム740を示す。図7Eは、第3のグリッドg3から得られる低解像度フレーム750を示す。図7Fは、第4のグリッドg4から得られる低解像度フレーム460を示す。図8A~図8Dを参照すると、追加の均一なサンプリンググリッドは、全体として参照番号800によって示される。さらに詳細には、図8Aは、水平方向に食い違ったグリッド810を示す。図8Bは、参照番号820によって集合的に示され、個々にそれぞれの記号○、、×、および△によって表される、サンプリンググリッドg5、g6、g7、およびg8を示す。図8Cは、垂直方向に食い違ったサンプリンググリッド830を示す。図8Dは、参照番号840によって集合的に示され、個々にそれぞれの記号○、、×、および△によって表される、サンプリンググリッドg9、g10、g11、およびg12を示す。ここで、均一なサンプリンググリッド、即ち高解像度フレームのすべての部分にわたってカバー範囲の密度が均一なもののみを使用するように制約する。均一なグリッドを使用することには別個の利点がある。第一に、高解像度フレームのピクセルの間に存在する空間的および時間的関係がおおむね保存され、これが、エンコーダ例えば、図1のエンコーダ115、図2のエンコーダ200が効率的な圧縮のためにビデオの空間的時間的冗長度を活用する助けとなる。第二に、サンプリングベースの超解像度化システムが機能しなくなった場合、均一にサンプリングされたフレームを空間的に補間して高解像度フレームを作成することができ、それによって経験の最小限の質が確保される。第三に、均一なグリッドを使用してサンプリングされたピクセルを低解像度フレームに入れるのがより簡単である。サンプリンググリッド選択プロセスは、各高解像度フレームHtに対して、グリッドの候補プールG={gi;i=1、...、NG}から適当なサンプリンググリッドStを選択する問題として提起される。一実施形態では、発明者らは、図7B、図8B、および図8Dに示される12の候補グリッドg1~g12から選ぶ。食い違ったグリッドg5~g12は、潜在的には、長方形のグリッドg1~g4よりも良好な、ピクセルのわずかに回転させたまたは変形させたグリッドをキャプチャすることができることに留意されたい。グリッドを選択する際に発明者らが採用する基本的な基準は、後処理段階において超解像度化の結果即ち、超解像度モザイクの予期される質を最大限にするものである。実際には、これは、各フレームが超解像度化プロセスに補助ピクセル情報を供給するようにして、グリッドStを選ぶことによって達成される。グリッド選択プロセスは、超解像度モザイク生成プロセスの一部を複写することによって進行する。一実施形態では、グリッドを選択するのに使用される基準は超解像度充填率である。図9を参照すると、サンプリンググリッドの選択に関係するステップは、全体として参照番号900によって示される。特に、図9Aは、サンプリンググリッドが参照フレームに対して選ばれるステップ910を示す。図9Bは、H1と同じサイズの未充填の超解像度フレームHSRが初期化されるステップ920を示す発明者らはHSRとH1との間に動きがないと仮定するので、Iは恒等変換である。図9Cは、各候補グリッドに対して充填率が選ばれるステップ930を示す。図9Dは、対応するStを選択するために各フレームHtに対して前述のステップが繰り返されるステップ940を示す。サンプリンググリッド選択の上述の方法900はまた、以下のようにさらに説明されてもよい4つのフレームのセットについて仮定し、H1は参照フレームである。1.参照フレームH1に対する各フレームHt間の運動変換Θt1を演算する。2.参照フレームに対するサンプリンググリッドをS1=g1として選ぶ。3.参照フレームの座標における未充填の超解像度フレームHSRを初期化する即ち、HSRとH1との間に動きがないものと仮定する。グリッドS1によって与えられるピクセル位置に対応するHSRのピクセルを充填する。4.残りのHRフレームHtt≠1それぞれについて、可能な候補グリッドそれぞれの充填率をGで演算する。候補グリッドgtの充填率は、Htに対してgtが選択されたときに充填される、HSRにおける以前の未充填ピクセルの数として定義される。次に、最も高い充填率をもたらすグリッドgtが選択され即ち、St=gt、Htの対応するピクセルが充填される動き変換Θt1を考慮に入れる。5.セットのすべてのフレームHtが処理されると終了する。そうでなければ、ステップ4に戻る。ステップ4では、候補グリッドgtの充填率は次のように演算される。最初に、Htに対して順に各グリッドg1∈Gを考慮して、Θt1を使用してgtによって与えられるピクセルをHSRに変換移動しHSRの最も近いピクセル位置に丸み付けする、HSRのどれだけの数の未充填ピクセル位置が変換したピクセルによって充填されたかを記録することによって、充填率を演算する。その後、最も高い充填率をもたらすグリッドgtが選択される即ち、St=gt。選択されたグリッドStおよび結果として得られる超解像度品質は、フレームHtが処理される順序に依存してもよいことに留意されたい。1つの再配列戦略は、参照フレームからのそれらの時間的距離の順序を増加させる際にフレームを考慮するというものである。例えば、H2が参照フレームである場合、他のフレームは、H1、H3、およびH4の次の順序で処理される。超解像度品質に関与する充填率の尺度または完全に異なる単位が、グリッド選択の基準として使用されてもよい。例えば、充填済みまたは未充填のものとしてHSRの各ピクセルを表す代わりに、各ピクセルにマッピングされたグリッドピクセルの数を追跡することができる。その後、より大きくHSRに増分的に寄与するグリッドがより高い指数になる増分的情報の尺度として、充填率を再定義することができる。グリッド選択の別の基準は、超解像度化プロセス以前に選択されたグリッドS1~St1およびStに対する現在の候補グリッドを使用するを完全に複写し、例えば参照フレームに対するPSNRに基づいて、最も高いSR品質をもたらすグリッドStを選ぶことを伴うことができる。高解像度から低解像度へのダウンサンプリンググリッド選択プロセスの後、各高解像度フレームHtは対応するサンプリンググリッドStを有する。Stの性質に応じて、Htは次のように低解像度フレームLtにダウンサンプリングされる。Stが長方形のグリッド図7Bの場合、即ちSt=gii=1、2、3、4の場合、ピクセルをStから取り、それらを図7C~図7Fに示されるように水平および垂直に入れることによってLtが形成される。Stが水平方向に食い違ったグリッド図8Bの場合、即ちSt=gii=5、6、7、8の場合、サンプリングされたピクセルを有する各行を、それらすべての行の最初にサンプリングされたピクセルが垂直に並ぶように左側にシフトする。その後、上述のようにピクセルを入れることによってLtが形成される。Stが垂直方向に食い違ったグリッド図8Dの場合、即ちSt=gii=9、10、11、12の場合、サンプリングされたピクセルを有する各列を、それらすべての列の最初にサンプリングされたピクセルが水平に並ぶように上方向にシフトする。その後、上述のようにピクセルを入れることによってLtが形成される。様々な他の構造を有する均一なサンプリンググリッドについては、高解像度フレームからサンプリングされたピクセルを使用して長方形の低解像度フレームを形成するような、適切なパッキング戦略が考案されてもよい。そのように形成された低解像度フレームは、ビデオエンコーダを使用して圧縮される。推定された動き変換パラメータθ21、θ31、θ41および選択されたサンプリンググリッドS1、S2、S3、S4を含むサイド情報は、メタデータとして送信される。ここで、グリッド自体の代わりにサンプリンググリッドインデックスを送れば十分であることに留意されたい即ち、St=giの場合、iを送る。その結果、後処理段階でルックアップテーブルからグリッドが分かる。サンプリングベースのSRの後処理段階後処理段階では、復号化低解像度フレームおよびメタデータを使用して、対応する高解像度フレームを復元する超解像度化SRとして知られるプロセス。図10を参照すると、サンプリングベースの超解像度化方法の後処理段階に関係する例示的な方法は、全体として参照番号1000によって示される。方法1000は、機能ブロック1010に制御を渡す開始ブロック1005を含む。機能ブロック1010は、デコーダから低解像度ビデオフレームt=1、...、Nを入力し、機能ブロック1015に制御を渡す。機能ブロック1015は、各低解像度フレームから有効ピクセルを超解像度モザイク座標に変換し、機能ブロック1020に制御を渡す。機能ブロック1020は、整数ピクセル位置で値を補間することによって超解像度モザイクを作成し、機能ブロック1025に制御を渡す。機能ブロック1025は、超解像度モザイクを高解像度フレーム座標に逆変換することによって各高解像度フレームを復元し、機能ブロック1030に制御を渡す。機能ブロック1030は、高解像度フレームt=1、...、Nを復元し、終了ブロック1099に制御を渡す。機能ブロック1035は、サンプリンググリッドインデックスを機能ブロック1015で使用するために供給する。機能ブロック1040は、動きパラメータメタデータを機能ブロック1015および1025で使用するために供給する。前処理段階における高解像度フレームのセットHtt=1、2、3、4に対応する復号化LRフレームのセットを有するものと推定する図4A~図4D。メタデータは、動きパラメータおよびサンプリンググリッドインデックスを含む。以下は、復号化低解像度フレームおよびサイド情報を使用した高解像度フレームの復元に関与するステップ図5A~図5Dを参照である。1.低解像度フレームからの超解像度モザイクの作成。このステップでは、復号化低解像度フレームのセットからのピクセルおよびサイド情報を使用して、高解像度SRモザイクイメージが作成される。これは、HRフレームがそこから復元される参照イメージとして役立つ。さらに詳細には、復元されたHRフレームそれぞれの一部分はSRモザイクからのものであり、残りの部分は対応するLRフレームピクセルから空間的に補間される。2.高解像度フレームの復元。処理をガイドするためのサイド情報を使用し、超解像度モザイクイメージおよび低解像度フレームを使用して、セットの各高解像度フレームが復元される。これらのステップを以下でさらに説明する。低解像度フレームからの超解像度モザイクの生成このステップでは、高解像度超高解像度モザイクイメージは、復号化低解像度フレームのセットt=1、2、3、4、並びに低解像度フレームLtを作成するのに使用されるグリッドStおよび各フレームからセットの参照フレーム図5Aのt=1におけるフレームへの変換Θt1を含む、関連するメタデータを使用して構築される。は、参照フレームと同じ座標にあるものと、即ちととの間に動きがないものと仮定される。以下は、を構築するステップである。1.現時点では、は、非整数ピクセル位置が存在してもよい、例えば1.44,2.35=128である、連続2Dピクセル空間であるものと考える。2.変換されたグリッド位置Θt1Stとそれに対応する復号化低解像度フレームにおけるピクセル値によって与えられるのピクセル位置を埋める。これを、セットt=1、2、3、4の各復号化低解像度フレームに対して行う。ととの間に動きがないので、Θt1=I恒等変換であることに留意されたい。3.最後に、すべての整数ピクセル位置それぞれにおける周囲のピクセル値から、十分な例えば、閾値を使用して決定されるようなデータが利用可能である、それらの整数ピクセル位置でピクセル値を補間することによって、イメージが構築される。様々な不均一な空間的補間方法がこの操作に利用可能である。これらの方法は、ピクセル位置のセットおよび対応する値を取り、任意の数の他の位置における補間された値を出力する。MATLABのグリッドデータ関数を使用して、この補間を実施することができる。上述のステップの結果は超解像度モザイクイメージである。それに加えて、妥当性マップを演算して、のどのピクセルが、これらのピクセルのみが高解像度フレームの復元に使用されるように信頼性のある情報を含むかが決定されてもよい。妥当性の尺度は、ピクセルの周りの近隣にあるサンプルに基づいて例えば、サンプルの数または密度、モザイクイメージの各ピクセルで演算されてもよい。その後、その妥当性値が十分に高い例えば、所与の閾値を上回る場合のみ、モザイクのピクセルが復元プロセスに使用される。高解像度フレームの復元次に、各高解像度フレームt=1、2、3、4が次のように復元される。1.現時点では、は、非整数ピクセル位置が存在してもよい連続2Dピクセル空間であるものと考える。グリッドStとそれに対応するにおけるピクセル値によって与えられるのピクセル位置を埋める。2.動き変換Θ1tを使用してにおけるピクセル位置を変換する。Θ1tはΘt1の逆変換であることに留意されたい。の整数ピクセル位置xが変換後の空間における位置yに位置する場合即ち、y=Θ1tx、yをそれに対応するにおける値で埋め、即ちとする。3.最後に、すべての整数ピクセル位置それぞれにおける周囲のピクセル値から、フレームのそれらの整数ピクセル位置でピクセル値を補間することによって、高解像度フレームが復元される。これは、上述の節ステップ3に記載されるような空間的補間方法を使用して扱われる。フレーム境界の外側のピクセルは決定されない。前景オブジェクトの扱いこれまでは、フレーム間の動きは全体の動きモデルによって完全に説明される、即ちすべてのピクセルがこの動きモデルに忠実であるものと仮定してきた。ここで、前景オブジェクトを扱うための戦略を提示する。前景オブジェクトは、フレーム間の全体の動きを追随しないオブジェクトまたは領域として定義される。換言すれば、これらのオブジェクトは、フレーム間の全体の動きとは異なる動きを有する。図11A~図11Bを参照すると、2つのフレームフレーム1およびフレームt間の前景オブジェクトの動きは、全体として参照番号1100によって示される。サンプリングベースの超解像度化プロセスでのアーチファクトを回避するため、前景オブジェクトを見つけ、手順の特定のステップ中にこの知見を使用することが重要である。前景は、バイナリマスクFtによって表されてもよく、ここで、Ft=1は前景ピクセルを示し、Ft=0は背景ピクセルを示す。各フレームに対して、その前景ピクセルを示すバイナリマスクFt図11Bに示されるようなが得られているものと仮定する。FGtを、Ft=1であるすべてのピクセルのセットとし、を、Ft=0であるすべてのピクセルのセットとする。次に、この情報は次のように使用されてもよい。サンプリンググリッド選択プロセスでは、Ltを作成するサンプリングHtに対するサンプリンググリッドを決定すると同時に、前景領域は除外されてもよい。ステップ3およびステップ4では、HtからHSRへのFGtにおけるピクセルのマッピングを回避することができる。したがって、充填率または他の尺度は背景ピクセルのみに基づいて演算される。さらに、サンプリンググリッド推定の間、Htにおける十分に平らな領域をFGtの一部と見なすことができる。これは、グリッド選択プロセス中に詳細を備えた領域により高い重要性を与えることによって、超解像度を改善することができる。平らな領域は、空間的変化などの尺度に基づいて決定することができる。高解像度フレームから低解像度へのダウンサンプリングに先立って、アンチエイリアシングフィルタがフレームの前景領域に適用されてもよい。前景領域は本実施形態では超解像度化されないので、アンチエイリアシング操作は、後処理段階でこれらの領域に対してより良好な空間的補間結果を得る助けとなることがある。超解像度モザイク作成プロセスについて考える。ステップ2では、の前景ピクセルFGtのへの変換を回避してもよい。高解像度フレーム復元プロセスのステップ2では、FGtによって定義される内部領域に含まれる、からへと変換された任意のピクセルを廃棄することができる。さらに、ステップ1では、によって定義される内部領域をマッピングする、Stからのピクセルを使用しないことを任意に選ぶことができる。上述の2つの修正例では、またはの十分に例えば、閾値を使用して決定されるような平らな領域を、FGtの一部と見なすことができる。この場合、空間的補間を使用してこれらの領域がアップサンプリングされる。ここまででは、復元された高解像度フレームの前景領域は、対応する復号化低解像度フレームのピクセルから空間的に補間されただけである。ここで、他の低解像度フレームからの情報は、これらの領域を超解像度化するのには明示的に活用されない。しかし、前景領域を受信機側で部分的にまたは完全に超解像度化するため、ブロック動きベクトルフレーム間のサブピクセル動きを活用するためまたは高解像度パッチなどの何らかの追加情報をメタデータとして送ることが可能であってもよい。上述のものに加えて、前景情報を使用する他の基準を使用して結果の質が改善されてもよい。前景マスク推定独立して動いている領域を有するフレームからクリーンで信頼性のある前景マスクを抽出するのは困難な課題である。ピクセル値のノイズを伴う全体の動き推定におけるエラーはプロセスを複雑にする。さらに、前景情報をメタデータとして簡潔に表しデコーダに送信するという問題もある。各高解像度フレームHtの前景マスクFtを抽出する1つの方法を次に記載する。これは、高解像度フレームが利用可能な前処理段階で行われる。以下はプロセスのステップである。1.フレームH1に対して、マスクF1をゼロで充填する。換言すれば、すべてのピクセルが背景と見なされる。2.Ftを抽出するため、フレームHtはH1t=Θ1tH1と比較され、即ち、H1はHtの座標に変換される。正規化相関単位Nt1xは、ピクセルの周りの小さな近隣を考慮して、Htの各ピクセルxとそれに対応するH1tのピクセルとの間で演算される。H1tに対応するピクセルがない即ち、Θt1xがH1の境界の外側にある場合、Ftxは1に設定される。そうでなければ、Nt1x>TTは選ばれた閾値の場合、Ftx=0である。そうでなければ、Ftx=1である。上述のものの変形例を含む他の方法が代わりに使用されてもよい。マスクが前処理段階で演算される場合、それらはサイド情報として受信機に送信されなければならない。前景マスクの高解像度版を送信するのは不要なことがある。マスクは、Htから低解像度フレームLtを作成するのに使用されるのと同じ戦略を使用して、低解像度にダウンサンプリングされ、次に後処理段階でアップサンプリングされてもよい。マスクはまた、送信に先立って圧縮されてもよい例えば、ZIP、MPEG-4AVC規格、および/または他の任意のデータ圧縮スキームを使用する。あるいは、マスクの送信は、復号化低解像度フレームおよびメタデータを使用して、受信機側でそれらを演算することによって完全に回避されてもよい。しかし、受信機で信頼性のあるマスクを演算することは困難な課題である。当業者には明白であるような、本発明の原理の1つまたは複数の実施形態で用いられてもよく、依然として本発明の範囲内にある以下の可能な変形例に注目する。1.方法は4つのフレームのセットについて記載されるが、セットのフレームの数Nは上限を有さない。実際には、Nは少なくとも4であるべきである。セットのサイズは、ダウンサンプリングファクタとフレーム間の動きの量とに基づいて決定することができる。2.K>Nフレームを有するシーケンスは、それぞれN個のフレームを有する多数のセットに分割することができる。各セットは、提案される方法を使用して取り扱うことができる。3.参照フレームは必ずしもセットの第1のフレームである必要はない。参照フレームと非参照フレームとの間の動きの量を最小限に抑えるため、セットの時間的中心付近のフレームを使用するのが有利なことがある。4.フレームのセットを復元しながら、フレームの他のセットからの情報が使用されてもよい。例えば、以前のセットから復元された高解像度参照フレームを使用して、現在のセットの非参照フレームが復元されてもよい。この目的のため、フレームのセット間の動き情報がメタデータとして決定され送信されてもよい。また、現在のセットの外側のフレームからの情報が、超解像度モザイク作成プロセス中に使用されてもよい。5.ここでの取扱いは、グレイスケール単一成分フレームおよび色多重成分フレームの両方に有効である。前処理ステップおよび後処理ステップの1つまたは複数例えば、サンプリンググリッド選択は、各色成分に対して独立して、またはそれらすべてを一緒に考慮することによって実施されてもよい。例えば、各色成分に対して異なるサンプリンググリッドが決定されてもよい。6.単一のフレームの異なる領域に対して、複数のサンプリンググリッドが推定されてもよい。例えば、フレームは4つの長方形の四半分に分割されてもよく、サンプリンググリッドは各々に対して選択され得る。この場合、サンプリンググリッド選択と題した上述の節のステップ2、3、4は、フレーム単位の代わりに四半分単位で実施される。後に続くプロセスダウンサンプリング、後処理はすべて、フレームの異なる領域に対して異なるサンプリンググリッドを使用するように適宜修正される。7.単一フレームの異なる領域に対して、異なる全体の動き変換が推定されてもよい。例えば、動き推定と題した上述の節では、フレームは4つの長方形の四半分に分割されてもよく、セットの各フレームと参照フレームとの間で異なる変換が推定されてもよい。後に続くプロセスはすべて、フレームの各領域に対して対応する変換を使用する。8.動き推定と題した上述の節では、セットの各フレームから参照フレームへの変換を推定する代わりに、各フレームから次のフレームまたはその逆への変換を推定し、それらのうち1つまたは複数を組み合わせて必要な変換を導き出すことが可能である。9.前景マスク前景マスク推定と題した上述の節におけるでは、境界ピクセルのバンドは、例えば固定の黒い境界を扱うための前景として見なされてもよい。上述したように、十分に平らな領域を前景と見なすことも可能である。次に、一部については上述してきた、本発明の多くの付随する利点/特徴のいくつかについて記載する。例えば、1つの利点/特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置である。ダウンサンプラおよびメタデータ生成器は、高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するためのものである。メタデータは、低解像度画像およびメタデータの復号化後の後処理をガイドするためのものである。少なくとも1つのエンコーダ152は、低解像度画像およびメタデータを符号化するためのものである。別の利点/特徴は、上述したようなダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置であり、メタデータは、動き変換情報およびサンプリンググリッド情報を含む。さらに別の利点/特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置であり、メタデータは、上述したように動き変換情報およびサンプリンググリッド情報を含み、動き変換情報は、高解像度画像の2つ以上の間の全体の動きに関係する全体の動き変換情報を含む。さらなる別の利点/特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置であり、メタデータは、上述したように動き変換情報およびサンプリンググリッド情報を含み、サンプリンググリッド情報は、ダウンサンプリングによって高解像度画像から低解像度画像を生成するのに使用される複数のダウンサンプリンググリッドのそれぞれ1つを示すサンプリンググリッドインデックスを含む。さらなる利点/特徴は、上述したようにダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置であり、高解像度画像は、少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、参照画像から1つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し、1つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成する。さらに、別の利点/特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置であり、高解像度画像は、少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、上述したように、参照画像から1つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し、1つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成し、1つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、高解像度画像それぞれが、低解像度画像の復号化後の後処理のための補助ピクセル情報を供給するように、1つまたは複数のダウンサンプリンググリッドが動き情報に基づいて選択される。さらに、別の利点/特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置であり、上述したように、1つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、高解像度画像それぞれが、低解像度画像の復号化後の後処理のための補助ピクセル情報を供給するように、1つまたは複数のダウンサンプリンググリッドが動き情報に基づいて選択され、グリッドは、1つまたは複数のダウンサンプリンググリッドの特定の1つを使用して生成される超解像度画像の以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、超解像度画像は、低解像度画像およびメタデータの復号化後の後処理によって供給される出力に対応する。また、別の利点/特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置であり、上述したように、1つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、高解像度画像それぞれが、低解像度画像の復号化後の後処理のための補助ピクセル情報を供給するように、1つまたは複数のダウンサンプリンググリッドが動き情報に基づいて選択され、グリッドは、歪み尺度に基づいてさらに選択される。それに加えて、別の利点/特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置であり、高解像度画像は少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、上述したように、参照画像から1つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し、1つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成し、複数のダウンサンプリンググリッドの異なるものを使用して、高解像度画像の少なくとも1つの特定のものの異なる部分がダウンサンプリングされる。さらに、別の利点/特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも1つのエンコーダとを有する装置であり、高解像度画像は少なくとも1つの参照画像および1つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、上述したように、参照画像から1つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから1つまたは複数のダウンサンプリンググリッドを選択し、1つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成し、高解像度画像それぞれに対して個々のバイナリマスクが構築され、バイナリマスクは高解像度画像の前景ピクセルの個々の位置を示す。本発明の原理のこれらおよび他の特徴並びに利点は、本明細書の教示に基づいて、関連技術の当業者によって容易に確認されてもよい。本発明の原理の教示は、様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組み合わせで実現されてもよいことを理解されたい。最も好ましくは、本発明の原理の教示はハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアはプログラム記憶装置上で有形的に具体化されるアプリケーションプログラムとして実装されてもよい。アプリケーションプログラムは、任意の適切なアーキテクチャを備える機械にアップロードされ、それによって実行されてもよい。好ましくは、機械は、1つまたは複数の中央処理装置CPU、ランダムアクセスメモリRAM、および入出力I/Oインターフェースなどのハードウェアを有するコンピュータプラットフォーム上で実現される。コンピュータプラットフォームはまた、オペレーティングシステムおよびマイクロ命令コードを含んでもよい。本明細書に記載される様々なプロセスおよび機能は、CPUにより実行されてもよい、マイクロ命令コードの一部もしくはアプリケーションプログラムの一部のどちらかまたはそれらの組み合わせであってよい。それに加えて、他の様々な周辺装置は、追加データ記憶装置および印刷装置などのコンピュータプラットフォームに接続されてもよい。さらに、添付図面に図示される構成要素のシステム構成部品および方法の一部は、好ましくはソフトウェアに実装されるので、システム構成部品またはプロセス機能ブロック間の実際の接続は、本発明の原理がプログラムされるやり方に応じて異なってもよいことを理解されたい。本明細書の教示を所与として、当業者であれば、本発明の原理のこれらおよび類似の実装または構成を想到することができるであろう。添付図面を参照して例示的な実施形態を本明細書に記載してきたが、本発明の原理はそれらの正確な実施形態に限定されず、本発明の原理の範囲または趣旨から逸脱することなく、関連分野の当業者によって様々な変更および修正が達成されてもよいことを理解されたい。かかる変更および修正はすべて、添付の特許請求の範囲で説明されるような本発明の原理の範囲内に含まれるものとする。"