"動きを有する入力ビデオシーケンスであって複数のピクチャを含むものの動きパラメータを推定する動きパラメータ推定器と、前記複数のピクチャのうちの一又は複数を変換するピクチャワーピングプロセスを行って、前記動きパラメータに基づき動き量を低減することにより、前記入力ビデオシーケンスの静的バージョンを提供する画像ワーパーと、学習型超解像を行い、前記ビデオシーケンスの静的バージョンから一又は複数の高解像度置き換えパッチピクチャであって前記入力ビデオシーケンスの再構成において一又は複数の低解像度パッチピクチャを置き換えるものを生成する学習型超解像プロセッサとを有する、装置。前記学習型超解像プロセッサは、前記入力ビデオシーケンスから、一又は複数のダウンサイズされたピクチャを生成し、前記一又は複数のダウンサイズされたピクチャは、前記複数のピクチャの一又は複数にそれぞれ対応し、前記入力ビデオシーケンスの再構成で用いられる、請求項1に記載の装置。前記装置はビデオエンコーダモジュールに含まれている、請求項1に記載の装置。前記動きパラメータは、基準ピクチャと前記複数のピクチャのうちの他の少なくとも一のピクチャとの間のグローバルな動きをモデル化する平面動きモデルを用いて推定され、前記グローバルな動きは、前記基準ピクチャ中の画素を前記他の少なくとも一のピクチャ中の画素に動かす一又は複数の可逆な変換を含み、又は前記他の少なくとも一のピクチャ中の画素を前記基準ピクチャに動かす一又は複数の可逆な変換を含む、請求項1に記載の装置。前記動きパラメータはグループオブピクチャごとに推定される、請求項1に記載の装置。前記動きパラメータは、前記複数のピクチャを複数のブロックにパーティションし、前記複数のブロックのそれぞれの動きモデルを推定するブロックベース動きアプローチを用いて推定される、請求項1に記載の装置。前記ピクチャワーピングプロセスは、前記複数のピクチャよりなるグループオブピクチャ中の基準ピクチャを、前記グループオブピクチャ中の非基準ピクチャとアライメントする、請求項1に記載の装置。動きを有する入力ビデオシーケンスであって複数のピクチャを含むものの動きパラメータを推定するステップと、前記複数のピクチャのうちの一又は複数を変換するピクチャワーピングプロセスを行って、前記動きパラメータに基づき動き量を低減することにより、前記入力ビデオシーケンスの静的バージョンを提供するステップと、学習型超解像を行い、前記ビデオシーケンスの静的バージョンから一又は複数の高解像度置き換えパッチピクチャであって前記入力ビデオシーケンスの再構成において一又は複数の低解像度パッチピクチャを置き換えるものを生成するステップとを有する、方法。前記学習型超解像を行うステップは、前記入力ビデオシーケンスから一又は複数のダウンサイズされたピクチャを生成するステップを有し、前記一又は複数のダウンサイズされたピクチャは、前記複数のピクチャの一又は複数にそれぞれ対応し、前記入力ビデオシーケンスの再構成で用いられる、請求項8に記載の方法。前記方法はビデオエンコーダで行われる、請求項8に記載の方法。前記動きパラメータは、基準ピクチャと前記複数のピクチャのうちの他の少なくとも一のピクチャとの間のグローバルな動きをモデル化する平面動きモデルを用いて推定され、前記グローバルな動きは、前記基準ピクチャ中の画素を前記他の少なくとも一のピクチャ中の同一位置の画素に動かす一又は複数の可逆な変換を含み、又は前記他の少なくとも一のピクチャ中の画素を前記基準ピクチャ中の同一位置の他の画素に動かす一又は複数の可逆な変換を含む、請求項8に記載の方法。前記動きパラメータはグループオブピクチャごとに推定される、請求項8に記載の方法。前記動きパラメータは、前記複数のピクチャを複数のブロックにパーティションし、前記複数のブロックのそれぞれの動きモデルを推定するブロックベース動きアプローチを用いて推定される、請求項8に記載の方法。前記ピクチャワーピングプロセスは、前記複数のピクチャよりなるグループオブピクチャ中の基準ピクチャを、前記グループオブピクチャ中の非基準ピクチャとアライメントする、請求項8に記載の方法。動きを有する入力ビデオシーケンスであって複数のピクチャを有するものの動きパラメータを推定する手段と、前記複数のピクチャのうちの一又は複数を変換するピクチャワーピングプロセスを行って、前記動きパラメータに基づき動き量を低減することにより、前記入力ビデオシーケンスの静的バージョンを提供する手段と、学習型超解像を行い、前記ビデオシーケンスの静的バージョンから一又は複数の高解像度置き換えパッチピクチャであって前記入力ビデオシーケンスの再構成において一又は複数の低解像度パッチピクチャを置き換えるものを生成する手段とを有する、装置。前記学習型超解像を行う手段は、前記入力ビデオシーケンスから、一又は複数のダウンサイズされたピクチャを生成し、前記一又は複数のダウンサイズされたピクチャは、前記複数のピクチャの一又は複数にそれぞれ対応し、前記入力ビデオシーケンスの再構成で用いられる、請求項15に記載の装置。前記動きパラメータは、基準ピクチャと前記複数のピクチャのうちの他の少なくとも一のピクチャとの間のグローバルな動きをモデル化する平面動きモデルを用いて推定され、前記グローバルな動きは、前記基準ピクチャ中の画素を前記他の少なくとも一のピクチャ中の同一位置の画素に動かす一又は複数の可逆な変換を含み、又は前記他の少なくとも一のピクチャ中の画素を前記基準ピクチャ中の同一位置の他の画素に動かす一又は複数の可逆な変換を含む、請求項15に記載の装置。前記動きパラメータはグループオブピクチャごとに推定される、請求項15に記載の装置。前記動きパラメータは、前記複数のピクチャを複数のブロックにパーティションし、前記複数のブロックのそれぞれの動きモデルを推定するブロックベース動きアプローチを用いて推定される、請求項15に記載の装置。前記ピクチャワーピングプロセスは、前記複数のピクチャよりなるグループオブピクチャ中の基準ピクチャを、前記グループオブピクチャ中の非基準ピクチャとアライメントする、請求項15に記載の装置。本願は、圧縮効率が改善されたビデオ圧縮のための動き補償学習型超解像の方法及び装置を開示する。本原理の一態様によると、学習型超解像examplebasedsuperresolution装置が提供される。本装置は、動きを有する入力ビデオシーケンスの動きパラメータを推定する動きパラメータ推定器を含む。入力ビデオシーケンスは複数の画像を含む。本装置は、複数の画像のうちの一又は複数を変換する画像ワーピングプロセスを行って、動きパラメータに基づき動き量を低減することにより、入力ビデオシーケンスの静的バージョンを提供する画像ワーパーも含む。本装置は、さらに、学習型超解像を行って、ビデオシーケンスの静的バージョンから一又は複数の高解像度置き換えパッチ画像を生成する学習型超解像プロセッサを含む。一又は複数の高解像度置き換えパッチ画像は、入力ビデオシーケンスの再構成の時に、一又は複数の低解像度パッチ画像を置き換えるものである。本原理の他の一態様によると、学習型超解像examplebasedsuperresolution方法が提供される。本方法は、動きを有する入力ビデオシーケンスの動きパラメータを推定するステップを含む。入力ビデオシーケンスは複数の画像を含む。本方法は、複数の画像のうちの一又は複数を変換する画像ワーピングプロセスを行って、動きパラメータに基づき動き量を低減することにより、入力ビデオシーケンスの静的バージョンを提供するステップも含む。本方法は、さらに、学習型超解像を行って、ビデオシーケンスの静的バージョンから一又は複数の高解像度置き換えパッチ画像を生成するステップを含む。一又は複数の高解像度置き換えパッチ画像は、入力ビデオシーケンスの再構成の時に、一又は複数の低解像度パッチ画像を置き換えるものである。本原理の他の一態様によると、学習型超解像examplebasedsuperresolution装置が提供される。本装置は、動きのある入力ビデオシーケンスの静的バージョンから生成された高解像度置き換えパッチ画像のうちの一又は複数を受け取り、学習型超解像を行って、前記一又は複数の高解像度置き換えパッチ画像から前記入力ビデオシーケンスの静的バージョンの再構成バージョンを生成する学習型超解像プロセッサを有する。入力ビデオシーケンスの静的バージョンの再構成バージョンは複数の画像を含む。装置は、さらに、前記入力ビデオシーケンスの動きパラメータを受け取り、前記動きパラメータに基づいて逆画像ワーピングプロセスを行って、前記複数の画像のうち一又は複数を変換して、前記動きを有する入力ビデオシーケンスの再構成を生成する逆画像ワーパーとを有する。本原理のさらに他の一態様によると、学習型超解像examplebasedsuperresolution方法が提供される。本方法は、動きを有する入力ビデオシーケンスの動きパラメータと、前記入力ビデオシーケンスの静的バージョンから生成された一又は複数の高解像度置き換えパッチ画像とを受け取るステップを含む。また、本方法は、学習型超解像を行って、一又は複数の高解像度置き換えパッチ画像から、入力ビデオシーケンスの静的バージョンの再構成バージョンを生成するステップを含む。入力ビデオシーケンスの静的バージョンの再構成バージョンは複数の画像を含む。本方法は、さらに、前記動きパラメータに基づき逆画像ワーピングプロセスを行って、前記複数の画像のうちの一又は複数を変換して、前記動きを有する入力ビデオシーケンスの再構成を生成するステップを有する。本原理のさらに他の一態様によると、学習型超解像examplebasedsuperresolution装置が提供される。本装置は、動きを有する入力ビデオシーケンスの動きパラメータを推定する手段を含む。入力ビデオシーケンスは複数の画像を含む。本装置は、複数の画像のうちの一又は複数を変換する画像ワーピングプロセスを行って、動きパラメータに基づき動き量を低減することにより、入力ビデオシーケンスの静的バージョンを提供する手段も含む。本装置は、さらに、学習型超解像を行って、ビデオシーケンスの静的バージョンから一又は複数の高解像度置き換えパッチ画像を生成する手段を含む。一又は複数の高解像度置き換えパッチ画像は、入力ビデオシーケンスの再構成の時に、一又は複数の低解像度パッチ画像を置き換えるものである。本原理の別の一態様によると、学習型超解像examplebasedsuperresolution装置が提供される。本装置は、動きを有する入力ビデオシーケンスの動きパラメータと、前記入力ビデオシーケンスの静的バージョンから生成された一又は複数の高解像度置き換えパッチ画像とを受け取る手段を含む。また、本装置は、学習型超解像を行って、一又は複数の高解像度置き換えパッチ画像から、入力ビデオシーケンスの静的バージョンの再構成バージョンを生成する手段を含む。入力ビデオシーケンスの静的バージョンの再構成バージョンは複数の画像を含む。本装置は、さらに、前記動きパラメータに基づき逆画像ワーピングプロセスを行って、前記複数の画像のうちの一又は複数を変換して、前記動きを有する入力ビデオシーケンスの再構成を生成する手段を有する。本原理の上記その他の態様、特徴、及び有利性は、添付した図面を参照して読むと、実施形態の詳細な説明から明らかとなるであろう。本原理は、ビデオ圧縮のための動き補償学習型超解像の方法と装置とに関する。この説明は本原理を例示するものである。言うまでもなく、当業者は、ここには明示的に説明や図示はしていないが、本原理を化体し、その精神と範囲内に含まれる様々な構成を工夫することができる。ここに記載したすべての例と条件付きの言葉は、発明者が技術発展に対してなした本原理とコンセプトとを、読者が理解しやすいようにするためのものであり、その解釈は具体的に記載した実施例や条件に限定されるべきではない。さらに、本原理の原理、態様、実施形態、及びその実施例のすべての記載は、その構成的等価物及び機能的等価物の両方を含むものである。また、かかる等価物は、現在知られている等価物及び将来開発される等価物を含み、すなわち、構成にかかわらず同じ機能を発揮する開発されるすべての要素を含む。よって、例えば、当業者には言うまでもなく、ここに説明したブロック図は本原理を化体する回路を概念的に示すものである。同様に、言うまでもなく、フローチャート、フロー図、状態遷移図、擬似コード等は、様々な方法processesを表し、これらの方法をコンピュータ読み取り可能媒体に実質的に表しても、明示的に示していようがいまいがコンピュータやプロセッサで実行してもよい。図示した様々な要素の機能は、専用ハードウェアを用いても、ソフトウェアを実行可能なハードウェアと適当なソフトウェアとを組み合わせても提供できる。プロセッサを設けるとき、機能を単一の専用プロセッサで提供してもよいし、共有された単一のプロセッサで提供してもよいし、一部が共有された複数の個別プロセッサで提供してもよい。さらに、プロセッサまたはコントローラという用語を明示的に使用した場合、ソフトウェアを実行できるハードウェアのみをいうと解釈してはならず、限定はされないが、デジタルシグナルプロセッサDSP、ソフトウェアを記憶するROM、RAM、不揮発性記憶装置を黙示的に含んでもよい。その他のハードウェアを従来のものでもカスタムのものであっても含んでもよい。同様に、図面に示したスイッチは概念的なものである。スイッチの機能は、プログラムロジックの動作、専用ロジックの動作、プログラム制御や専用ロジックのインターラクション、またはマニュアルで実行されてもよく、具体的な方法は実施者が文脈から判断して選択できる。請求項において、特定の機能を実行する手段として表した要素は、その機能を実行するいかなる方法も含み、例えば、aその機能を実行する回路要素の組合せと、bファームウェアやマイクロコード等を含む任意の形式のソフトウェア及びそれと組み合わせたその機能を実行する適当な回路とを含む。請求項に記載した本原理は、記載した様々な手段が提供する機能を、請求項に記載したように組み合わせることにある。よって、これらの機能を提供できる手段はどれでも、ここに示したものと等化であると見なせる。明細書において、本発明の一実施形態、またはそのバリエーションと言う場合、本発明の少なくとも1つの実施形態に含まれるその実施形態に関して説明する具体的な特徴、構造、特性などを意味する。それゆえ、本明細書を通していろいろなところに記載した一実施形態においてまたはそのバリエーションは、必ずしもすべてが同じ実施形態を参照するものではない。言うまでもなく、例えば、A/B、A及び/又はB、およびAとBの少なくとも一方のうちの及び/又はおよび少なくとも一方などと言うとき、第1のオプションAのみを選択する場合、第2のオプションBのみを選択する場合、又は両方のオプションAとBを選択する場合を含むものとする。別の例として、例えば、A、B、及び/又はC、およびA、B、及びCの少なくとも一方などと言うとき、第1のオプションAのみを選択する場合、第2のオプションBのみを選択する場合、第3のオプションCのみを選択する場合、第1と第2のオプションAとBのみを選択する場合、第2と第3のオプションBとCを選択する場合、第1と第3のオプションAとCを選択する場合、又は3つすべてのオプションAとBとCを選択する場合を含むものとする。本技術分野及び関連技術分野の当業者には明らかなように、これは多数の場合にも拡張できる。また、ここで、ピクチャpictureと画像imageとの用語は、交換可能に使い、静止画像とビデオシーケンスの画像とを言う。知られているように、ピクチャはフレーム又はフィールドであってもよい。上記の通り、本原理は、ビデオ圧縮のための動き補償学習型超解像の方法と装置とに関する。有利にも、本原理は、冗長な代表パッチの数を減らし、圧縮効率を上げる方法を提供する。本原理により、本願は、背景及びオブジェクトの動きが大きいビデオセグメントを、比較的静的なビデオセグメントに変換するコンセプトを開示する。より具体的に、図4において、オブジェクトの動きがあるビデオの静的ビデオへの変換の一例を、参照数字400で示した。変換400は、オブジェクトの動き410を有するビデオのフレーム1、フレーム2、及びフレーム3に適用して、静的ビデオ420のフレーム1、フレーム2、及びフレーム3を求めるフレームワーピング変換を含む。変換400は、クラスタリングプロセスすなわち、学習型超解像の方法のエンコーダ側の処理コンポーネントと符号化プロセスの前に行われる。変換パラメータは、回復のためデコーダ側に送信される。学習型超解像方法により、静的ビデオの圧縮効率は高くなり、変換パラメータデータのサイズは通常は非常に小さいので、動きのあるビデオを静的ビデオに変換することにより、動きのあるビデオでも圧縮効率を潜在的に上げることができる。図5を参照して、エンコーダで用いるフレームワーピングを有する動き補償学習型超解像の装置例を、参照数字500で示した。装置500は、画像ワーパー520の入力と信号通信し得る第1の出力を有する動きパラメータ推定器510を含む。画像ワーパー520の出力は、学習型超解像エンコーダ側プロセッサ530の入力と信号通信可能に接続されている。学習型超解像エンコーダ側プロセッサ530の第1の出力は、エンコーダ540の入力と信号通信可能に接続され、それにダウンサイズされたフレームを供給する。学習型超解像エンコーダ側プロセッサ530の第2の出力は、エンコーダ540の入力と信号通信可能に接続され、それにパッチフレームを供給する。動きパラメータ推定器510の第2の出力は、装置500の出力となり、動きパラメータを供給する。動きパラメータ推定器510の入力は、装置500の入力となり、入力ビデオを受け取る。エンコーダ540の出力図示せずは、装置500の第2の出力となり、ビットストリームを出力する。ビットストリームには、例えば、符号化されたダウンサイズされたフレーム、エンコーダパッチフレーム、及び動きパラメータを含む。言うまでもなく、エンコーダ540により行われる機能すなわち符号化を行わずに、ダウンサイズされたフレーム、パッチフレーム、及び動きパラメータを、圧縮せずにデコーダ側に送信してもよい。しかし、ビットレートを節約するため、ダウンサイズされたフレームとパッチフレームは、デコーダ側に送信される前に、エンコーダ540により圧縮されることが好ましい。さらに、他の一実施形態では、動きパラメータ推定器510、画像ワーパー520、及び学習型超解像エンコーダ側プロセッサ530は、ビデオエンコーダに、又はその一部に含まれていても良い。よって、エンコーダ側では、クラスタリングプロセスを行う前に、動きパラメータ推定器510により動き推定を行い、画像ワーパー520によりフレームワーピングプロセスを用いて、オブジェクト又は背景の動きを有するフレームを比較的静的なビデオに変換する。動き推定プロセスで抽出されたパラメータは、別のチャンネルを通じてデコーダ側に送信される。図6を参照して、本原理を適用できるビデオエンコーダを参照数字600で示した。ビデオエンコーダ600は、コンバイナ685の非反転入力と信号通信している出力を有するフレーム順序付けバッファ610を含む。コンバイナ685の出力は変換器及び量子化器625の第1の入力と接続され信号通信している。変換器及び量子化器625の出力は、エントロピーコーダ645の第1の入力及び逆変換器及び逆量子化器650の第1の入力と接続され信号通信している。エントロピーコーダ645の出力は、コンバイナ690の第1の非反転入力と接続され信号通信している。コンバイナ690の出力は出力バッファ635の第1の入力と接続され信号通信している。エンコーダコントローラ605の第1の出力は、フレーム順序付けバッファ610の第2の入力と、逆変換器及び逆量子化器650の第2の入力と、ピクチャタイプ決定モジュール615の入力と、マクロブロックタイプMBタイプ決定モジュール620の第1の入力と、イントラ予測モジュール660の第2の入力と、デブロッキングフィルタ665の第2の入力と、動き補償器670の第1の入力と、動き推定器675の第1の入力と、基準ピクチャバッファ680の第2の入力と接続され、信号通信している。エンコーダコントローラ605の第2の出力は、サプリメンタルエンハンスメント情報SEI挿入器630の第1の入力と、変換器及び量子化器625の第2の入力と、エントロピーコーダ645の第2の入力と、出力バッファ635の第2の入力と、シーケンスパラメータセットSPS及びピクチャパラメータセットPPS挿入器640の入力とに接続され、信号通信している。SEI挿入器630の出力は、コンバイナ690の第2の非反転入力と接続され信号通信している。ピクチャタイプ決定モジュール615の第1の出力は、フレーム順序付けバッファ610の第3の入力に接続され信号通信している。ピクチャタイプ決定モジュール615の第2の出力は、マクロブロックタイプ決定モジュール620の第2の入力に接続され信号通信している。シーケンスパラメータセットSPS及びピクチャパラメータセットPPS挿入器640の出力は、コンバイナ690の第3の非反転入力と接続され信号通信している。逆量子化及び逆変換器650の出力は、コンバイナ619の第1の非反転入力と接続され信号通信している。コンバイナ619の出力は、イントラ予測モジュール660の第1の入力と、及びデブロッキングフィルタ665の第1の入力と接続され、信号通信している。デブロッキングフィルタ665の出力は基準ピクチャバッファ680の第1の入力と接続され、信号通信している。基準ピクチャバッファ680の出力は、動き推定器675の第2の入力と、及び動き補償器670の第3の入力と接続され、信号通信している。動き推定器675の第1の出力は動き補償器670の第2の入力と接続され、信号通信している。動き推定器675の第2の出力はエントロピーコーダ645の第3の入力と接続され、信号通信している。動き補償器670の出力はスイッチ697の第1の入力と接続され、信号通信している。イントラ予測モジュール660の出力はスイッチ697の第2の入力と接続され、信号通信している。マクロブロックタイプ決定モジュール620の出力はスイッチ697の第3の入力と接続され、信号通信している。スイッチ697の第3の入力は、スイッチのデータ入力が、制御入力すなわち第3の入力と比較して動き補償器670から提供されるか、又はイントラ予測モジュール660から提供されるか、判断する。スイッチ697の出力は、コンバイナ619の第2の非反転入力と、及びコンバイナ685の反転入力と接続され、信号通信している。フレーム順序付けバッファ610の第1の入力と、エンコーダコントローラ605の入力は、入力ピクチャを受け取る、エンコーダ600の入力としても利用可能である。さらに、サプリメンタルエンハンスメント情報SEI挿入器630の第2の入力は、メタデータを受け取る、エンコーダ600の入力としても利用可能である。出力バッファ635の出力は、ビットストリームを出力する、エンコーダ100の出力として利用できる。言うまでもなく、図5のエンコーダ540は、エンコーダ600として実施してもよい。図7を参照して、エンコーダで用いる動き補償学習型超解像の方法例を、参照数字700で示した。方法700は、開始ブロック705を含み、開始ブロック710は機能ブロック1010に制御を渡す。機能ブロック710は、オブジェクトの動きを有するビデオを入力して、機能ブロック715に制御を渡す。機能ブロック715は、オブジェクトの動きを有する入力ビデオの動きパラメータを推定して保存し、ループ制限ブロック720に制御を渡す。ループ制限ブロック720は、各フレームについてループを行い、機能ブロック725に制御を渡す。機能ブロック725において、推定された動きパラメータを用いて、現在のフレームをワープし、決定ブロック730に制御を渡す。決定ブロック730は、すべてのフレームの処理が終わったか判断する。すべてのフレームの処理が終われば、機能ブロック735に制御を渡す。機能ブロック735において、学習型超解像エンコーダ側処理を行い、機能ブロック750に制御を渡す。機能ブロック740は、ダウンサイズされたフレームと、パッチフレームと、動きパラメータとを出力し、終了ブロック799に制御を渡す。図8を参照して、デコーダにおける逆フレームワーピングを有する動き補償学習型超解像の装置例を、参照数字800で示した。装置800は、デコーダ810を含み、上記のエンコーダ540を含む装置500により生成された信号を処理する。装置800は、学習型超解像デコーダ側プロセッサ820の第1の入力及び第2の入力と信号通信可能な出力を有するデコーダ810を含み、学習型超解像デコーダ側プロセッサ820に、復号されダウンサイズされたフレームとパッチフレームをそれぞれ供給する。学習型超解像デコーダ側プロセッサ820の出力は、逆フレームワーパー830の入力と信号通信可能に接続され、それに超解像ビデオを供給する。逆フレームワーパー830の出力は、ビデオを出力する装置800の出力となる。逆フレームワーパー830の入力は、動きパラメータの受け取りに使える。言うまでもなく、デコーダ810により行われる機能すなわち復号を行わずに、ダウンサイズされたフレーム及びパッチフレームを、圧縮せずにデコーダ側で受信してもよい。しかし、ビットレートを節約するため、ダウンサイズされたフレームとパッチフレームは、デコーダ側に送信される前に、エンコーダ側で圧縮されることが好ましい。さらに、他の一実施形態では、学習型超解像デコーダ側プロセッサ820と逆フレームワーパーは、ビデオデコーダ又はその一部に含まれても良い。よって、デコーダ側では、フレームが学習型超解像により回復された後、逆ワーピングプロセスを行って、回復されたビデオセグメントを元のビデオの座標系に変換する。逆ワーピングプロセスは、エンコーダ側で推定され送信された動きパラメータを用いる。図9を参照して、本原理を適用できるビデオデコーダの一例を参照数字900で示した。ビデオデコーダ900は入力バッファ910を含む。入力バッファ610の出力は、エントロピーデコーダ945の第1の入力と接続され、信号通信している。エントロピーデコーダ945の第1の出力は逆変換及び逆量子化器950の第1の入力と接続され、信号通信している。逆量子化及び逆変換器950の出力は、コンバイナ925の第2の非反転入力と接続され、信号通信している。コンバイナ925の出力は、デブロッキングフィルタ965の第2の入力と、及びイントラ予測モジュール960の第1の入力と接続され、信号通信している。デブロッキングフィルタ965の第2の出力は基準ピクチャバッファ980の第1の入力と接続され、信号通信している。基準ピクチャバッファ980の出力は動き補償器970の第2の入力と接続され、信号通信している。エントロピーデコーダ945の第2の出力は、動き報償器970の第3の入力と、デブロッキングフィルタ965の第1の入力と、及びイントラ予測器960の第3の入力と接続され、信号通信している。エントロピーデコーダ945の第3の出力はデコーダコントローラ905の入力と接続され、信号通信している。デコーダコントローラ905の第1の出力はエントロピーデコーダ945の第2の入力と接続され、信号通信している。デコーダコントローラ905の第2の出力は逆変換及び逆量子化器950の第2の入力と接続され、信号通信している。デコーダコントローラ905の第3の出力はデブロッキングフィルタ965の第3の入力と接続され、信号通信している。デコーダコントローラ905の第4の出力はイントラ予測モジュール960の第2の入力と、動き補償器970の第1の入力と、基準ピクチャバッファ980の第2の入力と接続され、信号通信している。動き補償器970の出力はスイッチ997の第1の入力と接続され、信号通信している。イントラ予測モジュール960の出力はスイッチ997の第2の入力と接続され、信号通信している。スイッチ997の出力は、コンバイナ925の第1の非反転入力と接続され、信号通信している。入力バッファ910の入力は、入力ビットストリームを受け取る、デコーダ900の入力として利用できる。デブロッキングフィルタ965の第1の出力は、出力ピクチャを出力する、デコーダ900の出力として利用できる。言うまでもなく、図8のデコーダは、デコーダ900として実施してもよい。図10を参照して、デコーダで用いる動き補償学習型超解像の方法例を、参照数字1000で示した。方法1000は、開始ブロック1005を含み、開始ブロック1005は機能ブロック1010に制御を渡す。機能ブロック1010は、ダウンサイズされたフレームと、パッチフレームと、動きパラメータとを出力し、機能ブロック1015に制御を渡す。機能ブロック1015において、学習型超解像デコーダ側処理を行い、ループ制限ブロック1020に制御を渡す。ループ制限ブロック1020は、各フレームについてループを行い、機能ブロック1025に制御を渡す。機能ブロック1025において、受信した動きパラメータを用いて逆フレームワーピングし、決定ブロック1030に制御を渡す。決定ブロック1030は、すべてのフレームの処理が終わったか判断する。すべてのフレームの処理が終われば、機能ブロック1035に制御を渡す。終わっていなければ、機能ブロック1020に制御を戻す。機能ブロック1035において、回復したビデオを出力し、終了ブロック1099に制御を渡す。入力ビデオはグループオブフレームGOFに分割される。各GOFは、動き推定、フレームワーピング、及び学習型超解像のための基本単位である。GOFの複数のフレームのうちの一フレーム例えば、中間又は始めのフレームが、動き推定の基準フレームとして選択される。GOFの長さは固定でも可変でもよい。動き推定動き推定を用いて、フレーム中の画素の基準フレームに対する変位を推定する。動きパラメータをデコーダ側に送信しなければならないので、動きパラメータの数はできるだけ少ない方がよい。それゆえ、少数のパラメータにより制御できる、あるパラメトリック動きモデルを選択することが好ましい。例えば、ここに開示する現在のシステムでは、8個のパラメータで特徴付けられる平面動きモデルを利用する。かかるパラメトリック動きモデルは、並進、回転、アフィンワープaffinewarp、投影変換などのフレーム間のグローバルな動きをモデル化できる。これらの動きは異なる多くのタイプのビデオに共通のものである。例えば、カメラがパンするとき、カメラパニングcamerapanningは並進運動となる。このモデルでは、前景のオブジェクトの動きはよくキャプチャできないこともあるが、前景のオブジェクトが小さく、背景の動きが大きい場合、変換後のビデオはほとんど静的なものとなる。もちろん、8個のパラメータにより特徴付けられるパラメトリック動きモデルは、単なる例示であり、本原理の教示により、本原理の精神を維持しつつ、8個より多い又は少ないパラメータで、又は8個のパラメータで特徴付けられる他のパラメトリック動きモデルを用いてもよい。一般性を失わずに、基準フレームをH1、GOF中の残りのフレームをHii=2,3,...,Nとする。2つのフレームHiとフレームHjとの間のグローバルな動きは、Hi中の画素をHj中の対応する画素の位置に、又はその逆に動かす変換により、特徴付けられる。HiからHjへの変換をΘijと記し、そのパラメータをθijと記す。変換Θijを用いてHiをHjに又は逆モデルΘji=Θij-1を用いてその逆にアライメントすなわちワープすることができる。グローバルな動きは、いろいろなモデルと方法を用いて推定でき、そのため、本原理は、グローバルな動きを推定する特定の方法及び/又はモデルに限定されない。一例として、よく使われる一モデルここで参照する現在のシステムで用いられるモデルは、で与えられる投影変換である。上記の式により、Hi中の位置x,yにある画素が移った、Hj中の新しい位置x,yが与えられる。このように、8個のモデルパラメータθij={a1,a2,a3,b1,b2,b3,c1,c2}がHiからHjへの動きを記述する。通常、パラメータは、最初に2つのフレーム間の一組の点対応を決定し、次にRANdomSAmpleConsensus又はそのバリエーションを用いて、ロバスト推定フレームワークを用いることにより、推定される。このバリエーションは、例えば次の文献に記載されているものである:MAFischlerandRCBollesRandomSampleConsensusAParadigmforModelFittingwithApplicationstoImageAnalysisandAutomatedCartographyCommunicationsoftheACMvol241981pp381395、及びPHSTorrandAZissermanMLESACANewRobustEstimatorwithApplicationtoEstimatingImageGeometryJournalofComputerVisionandImageUnderstandingvol78no12000pp138156。フレーム間の点対応は、多数の方法で決定できる。例えば、文献DGLoweDistinctiveimagefeaturesfromscaleinvariantkeypointsInternationalJournalofComputerVisionvol2no602004pp91110に記載されているような、SIFTScaleInvariantFeatureTransform特性を抽出してマッチングすることにより、又は、文献MJBlackandPAnandanTherobustestimationofmultiplemotionsParametricandpiecewisesmoothflowfieldsComputerVisionandImageUnderstandingvol63no11996pp75104に記載されているようなオプティカルフローopticalflowを用いることにより、決定できる。グローバルな動きパラメータを用いて、GOF中の基準フレームを除くフレームをワープwarpして、基準フレームとアライメントalignする。それゆえ、各フレームHii=2,3,...,Nと基準フレームH1との間の動きパラメータを推定しなければならない。変換は可逆であり、逆変換Θji=Θij-1はHjからHiへの動きを記述する。変換結果のフレームを元のフレームにワープするために逆変換を用いる。元のビデオセグメントを回復するため、デコーダ側で逆変換を用いる。変換パラメータは圧縮され、サイドチャンネルを通じてデコーダ側に送信され、ビデオ復元プロセスを促進する。本原理により、グローバル動きモデルの他に、ブロックベース法などの動き推定方法を用いて、より高い精度を達成できる。ブロックベースの方法により、フレームを複数のブロックに分割して、各ブロックの動きモデルを推定する。しかし、ブロックベースモデルを用いて動きを記述するには、非常に多いビットが必要である。フレームワーピング及び逆フレームワーピング動きパラメータを推定した後、エンコーダ側において、フレームワーピングプロセスを行い、非基準フレームを基準フレームにアライメントalignする。しかし、ビデオフレーム中のあるエリアが、上記のグローバル動きモデルに従わない可能性もる。フレームワーピングを用いることにより、これらのエリアは、そのフレーム中の残りのエリアとともに変換される。しかし、このエリアが小さければ、これは大きな問題とはならない。このエリアのワーピングにより、ワープされたフレーム中のこのエリアにだけに人工的な動きが生じるからである。人工的な動きを有するこのエリアが小さい限り、そのための代表パッチが大幅に増加することにはならない。全体的に、ワーピングプロセスにより、代表パッチの総数を低減することができる。また、小さいエリアの人工的な動きは、逆ワーピングプロセスにより可逆される。逆フレームワーピングプロセスは、デコーダ側で行われ、学習型超解像コンポーネントからの復元されたフレームをワープして元の座標系に戻す。本原理の上記その他の特徴と利点は、当業者はここに開示した教示に基づき容易に確認できるであろう。言うまでもなく、本原理の教示は、ハードウェア、ソフトウェア、ファームウェア、特殊用途プロセッサ、またはこれらの組み合わせなどのいろいろな形体で実施することができる。最も好ましくは、本原理の教示をハードウェアとソフトウェアの組合せとして実施する。また、ソフトウェアはプログラム記録装置に実態的に化体されたアプリケーションプログラムとして実施してもよい。そのアプリケーションプログラムは、好適なアーキテクチャを有する機械にアップロードされ、実行される。好ましくは、機械は、中央処理装置CPU、ランダムアクセスメモリRAM、及び入出力I/Oインターフェイス等のハードウェアを有するコンピュータプラットフォームで実施される。コンピュータプラットフォームはオペレーティングシステムとマイクロコードも含んでもよい。ここに説明した様々なプロセスや機能は、CPUが実行できる、マイクロ命令コードの一部やアプリケーションプログラムの一部であってもよく、これらのいかなる組合せであってもよい。また、追加的データ記憶装置や印刷装置等その他の様々な周辺装置をコンピュータプラットフォームに接続してもよい。さらに言うまでもなく、添付した図面に示したシステム構成要素や方法の一部はソフトウェアで実施されることが好ましいが、システム構成要素または方法間の実際的な結合は本原理をプログラムするそのプログラム方法に応じて異なる。ここに開示された本発明の教示を受けて、関連技術分野の当業者は、本原理の同様な実施形態や構成を考えることができるであろう。例示した実施形態を添付した図面を参照して説明したが、言うまでもなく、本原理はこれらの実施形態には限定されず、当業者は、本原理の範囲と精神から逸脱することなく、様々な変化と修正を施すことができるであろう。かかる変更や修正はすべて添付した請求項に記載した本原理の範囲内に含まれるものである。"