(57)【特許請求の範囲】
【請求項１】
高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するダウンサンプラおよびメタデータ生成器であって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、ダウンサンプラおよびメタデータ生成器と、
前記低解像度画像および前記メタデータを符号化する少なくとも１つのエンコーダと、
を備え、
前記メタデータは、２以上の前記高解像度画像間の動きに関する動き変換情報および各フレームが補助ピクセル情報を供給するように、ダウンサンプリング用に使用される、ダウンサンプリンググリッドを示すサンプリンググリッドインデックスを含み、
前記高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器は、参照画像から前記１つまたは複数の非参照画像それぞれへの動きを推定し、前記動き変換情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、前記１つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成し、
前記１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記１つまたは複数のダウンサンプリンググリッドが前記動き変換情報に基づいて選択され、
前記ダウンサンプリンググリッドが、前記１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成された超解像度画像における、前記１つまたは複数のダウンサンプリンググリッドの特定の１つが選択されたときに充填される未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記符号化後の後処理によって供給される出力に対応する、装置。
【請求項２】
前記動き変換情報は、前記高解像度画像の２つ以上の間の全体の動きに関する全体の動き変換情報を含む、請求項１に記載の装置。
【請求項３】
前記サンプリンググリッドインデックスは、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示す、請求項１に記載の装置。
【請求項４】
前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも１つの特定のものの異なる部分をダウンサンプリングするのに使用される、請求項１に記載の装置。
【請求項５】
個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の、フレーム間の全体の動きに追随する背景ピクセルと、前記背景ピクセルと異なる動きをする前景ピクセルとの個々の位置を示し、前記前景ピクセルは前記１つまたは複数のダウンサンプリンググリッドから除外される、請求項１に記載の装置。
【請求項６】
高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するステップであって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、ステップと、
少なくとも１つのエンコーダを使用して前記低解像度画像および前記メタデータを符号化するステップと、
を含み、
前記メタデータは、動き変換情報およびサンプリンググリッドインデックスを含み、
前記高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、前記低解像度画像およびメタデータを生成するステップは、参照画像から前記１つまたは複数の非参照画像それぞれへの動きを推定し、前記動き変換情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、前記１つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成し、
前記１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記１つまたは複数のダウンサンプリンググリッドが前記動き変換情報に基づいて選択され、
前記ダウンサンプリンググリッドが、前記１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成された超解像度画像における、前記１つまたは複数のダウンサンプリンググリッドの特定の１つが選択されたときに充填される未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応する、方法。
【請求項７】
前記動き変換情報は、前記高解像度画像の２つ以上の間の全体の動きに関する全体の動き変換情報を含む、請求項６に記載の方法。
【請求項８】
前記サンプリンググリッドインデックスは、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示す、請求項６に記載の方法。
【請求項９】
前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも１つの特定のものの異なる部分をダウンサンプリングするのに使用される、請求項６に記載の方法。
【請求項１０】
個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の、フレーム間の全体の動きに追随する背景ピクセルと、前記背景ピクセルと異なる動きをする前景ピクセルとの個々の位置を示し、前記前景ピクセルは前記１つまたは複数のダウンサンプリンググリッドから除外される、請求項６に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の原理は、全体として、ビデオ符号化および復号化に関し、より具体的には、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置に関する。
【背景技術】
【０００２】
関連出願の相互参照
本出願は、２０１０年１月２２日出願の米国仮出願第６１／２９７，３２０号明細書の利益を主張し、その全体を参照により本明細書に組み込む。
【０００３】
超解像度を使用するビデオ圧縮の手段は、第１の従来技術の手段で提案された。最初の従来技術の手段では、入力ビデオの空間的サイズは、符号化の前に特定の予め定められた低解像度（ＬＲ）サイズまで低減される。低解像度ビデオがデコーダ側で受け取られた後、低解像度ビデオは、ビットストリームで送信された何らかのサイド情報（メタデータ）とともに、超解像度化方法を使用して元のサイズにアップスケールされる。メタデータは、ブロックのフレームベースでのセグメント化を含み、各ブロックは、移動しているブロックとして、移動していない平面ブロックとして、また移動していないテクスチャ付きブロックとして標識付けされる。移動していない平面ブロックは、空間的補間によってアップスケールされる。移動しているブロックでは、受信機に動きベクトルが送られ、サブピクセル情報を回復するために超解像度化技術が適用される。移動していないテクスチャ付きブロックでは、回転順序で４つの相補的ダウンサンプリンググリッドが適用される、ジッタードダウンサンプリング戦略が使用される。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述の第１の従来技術の手段は、不利なことに、移動領域に対してスマートサンプリング戦略を使用しない。より正確には、第１の従来技術の手段は、超解像度を得るため、低解像度フレーム間にサブピクセル動きが存在することに依存する。しかし、サブピクセル動きは必ずしも保証されるとは限らない。
【０００５】
第２の従来技術の手段では、カメラはフレームキャプチャ間のサブピクセルシフトにおいて機械的に移動される。目的は、後の超解像度化により一層適した低解像度ビデオをキャプチャすることである。静止背景については、第２の従来技術の手段の方法は、上述の第１の従来技術の手段におけるジッタードサンプリングの概念と類似している。しかし、固定ジッターは、発明者らが目標とする用途、即ち後の超解像度化に向けたダウンサンプリング高解像度ビデオに起こり得るような、非静止背景の場合に有効な戦略ではない。
【課題を解決するための手段】
【０００６】
従来技術のこれらおよび他の欠点並びに不利な点に対して、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置を対象とする本発明の原理によって対処する。
【０００７】
本発明の原理の１つの態様によれば、装置が提供される。装置は、高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成する、ダウンサンプラおよびメタデータ生成器を含む。メタデータは、低解像度画像およびメタデータの復号化後の後処理をガイドするためのものである。装置は、低解像度画像およびメタデータを符号化する少なくとも１つのエンコーダをさらに含む。
【０００８】
本発明の原理の別の態様によれば、方法が提供される。方法は、高解像度画像を受け取るステップと、そこから低解像度画像およびメタデータを生成するステップとを含む。メタデータは、低解像度画像およびメタデータの復号化後の後処理をガイドするためのものである。方法は、少なくとも１つのエンコーダを使用して低解像度画像およびメタデータを符号化するステップをさらに含む。
【０００９】
本発明の原理のさらに別の態様によれば、装置が提供される。装置は、ビットストリームを受け取り、そこから低解像度画像およびメタデータを復号化するデコーダを含む。装置は、低解像度画像およびメタデータを使用して、低解像度画像にそれぞれ対応する高解像度画像を復元する、超解像度ポストプロセッサをさらに含む。
【００１０】
本発明の原理のさらに別の態様によれば、方法が提供される。方法は、ビットストリームを受け取るステップと、デコーダを使用してそこから低解像度画像およびメタデータを復号化するステップとを含む。方法は、低解像度画像およびメタデータを使用して、低解像度画像にそれぞれ対応する高解像度画像を復元するステップをさらに含む。
【００１１】
本発明の原理のこれらおよび他の態様、特徴、並びに利点は、例示的実施形態の以下の詳細な説明を添付図面と併せ読むことによって明白になるであろう。
【図面の簡単な説明】
【００１２】
本発明の原理は、以下の例示的な図面と併せてより一層理解することができる。
【００１３】
【図１】本発明の原理の一実施形態による、サンプリングベースの超解像度化の例示的なシステム／方法を示す高次ブロック図である。
【図２】本発明の原理の一実施形態による、本発明の原理が適用されてもよい例示的なビデオエンコーダを示すブロック図である。
【図３】本発明の原理の一実施形態による、本発明の原理が適用されてもよい例示的なビデオデコーダを示すブロック図である。
【図４Ａ】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップを示す図である。
【図４Ｂ】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップを示す図である。
【図４Ｃ】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップを示す図である。
【図４Ｄ】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップを示す図である。
【図５Ａ】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップを示す図である。
【図５Ｂ】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップを示す図である。
【図５Ｃ】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップを示す図である。
【図５Ｄ】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップを示す図である。
【図６】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の前処理段階に関係する例示的な方法を示すフロー図である。
【図７Ａ】本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。
【図７Ｂ】本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。
【図７Ｃ】本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。
【図７Ｄ】本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。
【図７Ｅ】本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。
【図７Ｆ】本発明の原理の一実施形態による、ＨＲ高解像度（ＨＲ）フレームから低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例を示す図である。
【図８Ａ】本発明の原理の一実施形態による、追加の均一なサンプリンググリッドを示す図である。
【図８Ｂ】本発明の原理の一実施形態による、追加の均一なサンプリンググリッドを示す図である。
【図８Ｃ】本発明の原理の一実施形態による、追加の均一なサンプリンググリッドを示す図である。
【図８Ｄ】本発明の原理の一実施形態による、追加の均一なサンプリンググリッドを示す図である。
【図９Ａ】本発明の原理の一実施形態による、サンプリンググリッドの選択に関係するステップを示す図である。
【図９Ｂ】本発明の原理の一実施形態による、サンプリンググリッドの選択に関係するステップを示す図である。
【図９Ｃ】本発明の原理の一実施形態による、サンプリンググリッドの選択に関係するステップを示す図である。
【図９Ｄ】本発明の原理の一実施形態による、サンプリンググリッドの選択に関係するステップを示す図である。
【図１０】本発明の原理の一実施形態による、サンプリングベースの超解像度化方法の後処理段階に関係する例示的な方法を示すフローチャートである。
【図１１Ａ】本発明の原理の一実施形態による、２つのフレーム間の前景オブジェクトの動きを示す図である。
【図１１Ｂ】本発明の原理の一実施形態による、２つのフレーム間の前景オブジェクトの動きを示す図である。
【発明を実施するための形態】
【００１４】
本発明の原理は、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置を対象とする。
【００１５】
本発明の記載は本発明の原理を例証する。したがって、当業者であれば、本明細書に明示的に記載または図示されないものの、本発明の原理を具体化し、かつ本発明の趣旨および範囲に含まれる様々な構成を考案できることを認識するであろう。
【００１６】
本明細書に列挙されるすべての実施例および条件付きの用語は、発明者（ら）が当該分野を促進するのに寄与する読者が本発明の原理および概念を理解するのを助ける教育目的であるものとし、かかる具体的に列挙される実施例および条件に限定されないものと解釈すべきである。
【００１７】
さらに、本発明の原理の原理、態様、および実施形態を列挙する本明細書のすべての記述、並びにそれらの具体的な実施例は、それらの構造的等価物および機能的等価物の両方を包含するものとする。それに加えて、かかる等価物は、現在知られている等価物、並びに今後開発される等価物、即ち構造にかかわらず同じ機能を実行する、開発されるあらゆる要素の両方を含むものとする。
【００１８】
したがって、例えば、当業者であれば、本明細書に提示されるブロック図は、本発明の原理を具体化する実例的な回路構成の概念図を表すことを認識するであろう。同様に、あらゆるフローチャート、フロー図、状態遷移図、疑似コードなどは、コンピュータ可読媒体で実質的に表され、コンピュータまたはプロセッサが明示的に示されるか否かにかかわらず、かかるコンピュータまたはプロセッサによって実行されてもよい、様々なプロセスを表すことが認識されるであろう。
【００１９】
図面に示される様々な要素の機能は、専用ハードウェア、並びに適当なソフトウェアと共同してソフトウェアを実行することができるハードウェアを使用することによってもたらされてもよい。プロセッサによってもたらされる場合、機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、または一部が共有されてもよい複数の個々のプロセッサによってもたらされてもよい。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行することができるハードウェアを排他的に指すものと解釈すべきではなく、非限定的に、デジタル信号プロセッサ（「ＤＳＰ」）ハードウェア、ソフトウェアを格納する読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および不揮発性記憶装置を暗示的に含んでもよい。
【００２０】
他の従来および／またはカスタムのハードウェアも含まれてもよい。同様に、図面に示されるあらゆるスイッチは単に概念上のものである。それらの機能は、プログラム論理の動作によって、専用論理によって、プログラム制御と専用論理の相互作用によって、またはさらには手動で実施されてもよく、文脈からより具体的に理解されるように、開発者によって特定の技術を選択可能である。
【００２１】
特許請求の範囲において、指定の機能を行う手段として表されるあらゆる要素は、例えば、ａ）その機能を行う回路要素の組み合わせ、またはｂ）したがって、ファームウェア、マイクロコードなどを含むあらゆる形のソフトウェアと、そのソフトウェアを実行して機能を行わせる適当な回路構成との組み合わせを含む、その機能を行うあらゆる様式を包含するものとする。かかる特許請求の範囲によって定義されるような本発明の原理は、様々な列挙される手段によってもたらされる機能性が、請求項が要求する形で組み合わされ１つにまとめられるという事実に存在する。したがって、それらの機能性をもたらすことができるあらゆる手段は、本明細書に示されるそれらと等価であるものと見なされる。
【００２２】
本明細書における本発明の原理の「１つの実施形態」または「一実施形態」という言及は、実施形態と併せて記載される特定の機能、構造、および特徴が、本発明の原理の少なくとも１つの実施形態に含まれることを意味する。したがって、「１つの実施形態では」または「一実施形態では」という語句、並びに本明細書全体を通して様々な場所に出てくる他のあらゆる変形が出てくる場合、必ずしもすべてが同じ実施形態を指すものではない。
【００２３】
「／」、「および／または」、および「少なくとも１つ」のいずれかの使用は、例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢの少なくとも１つ」という場合、１番目に挙げられた選択肢（Ａ）のみを選択すること、２番目に挙げられた選択肢（Ｂ）のみを選択すること、または両方の選択肢（ＡおよびＢ）を選択することを包含するものとする。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣの少なくとも１つ」という場合、かかる語句は、１番目に挙げられた選択肢（Ａ）のみを選択すること、２番目に挙げられた選択肢（Ｂ）のみを選択すること、もしくは３番目に挙げられた選択肢（Ｃ）のみを選択すること、または１番目および２番目に挙げられた選択肢（ＡおよびＢ）のみを選択すること、もしくは１番目および３番目に挙げられた選択肢（ＡおよびＣ）のみを選択すること、もしくは２番目および３番目に挙げられた選択肢（ＢおよびＣ）のみを選択すること、または３つの選択肢すべて（ＡおよびＢおよびＣ）を選択することを包含するものとする。これは、当該分野および関連分野の当業者には容易に明白であるように、挙げられる事項の数と同じだけ拡張されてもよい。
【００２４】
また、本明細書で使用するとき、「画像」および「イメージ」という用語は交換可能に使用され、ビデオシーケンスからの静止イメージまたは静止画像を指す。既知のように、画像はフレームまたはフィールドであってもよい。
【００２５】
それに加えて、本明細書で使用するとき、「周囲の同位置ピクセル（co-located pixels）」という用語が、例えば、低解像度画像における「周囲の同位置ピクセル」のピクセル値から高解像度モザイクにおけるピクセル位置でピクセル値を補間することによって、本明細書に記載される高解像度モザイクを作成することに関して使用される場合、高解像度モザイクで現在補間されているターゲットピクセルと同位置にある（即ち、同じ位置を有する）特定のピクセルを取り囲む低解像度画像のピクセルを指す。
【００２６】
上述したように、本発明の原理は、サンプリングベースの超解像度ビデオ符号化および復号化の方法並びに装置を対象とする。本発明の原理は、有利には、ビデオ圧縮効率を改善するものと認識されるべきである。特に、フレーム間の動きを扱うことができるスマートダウンサンプリング戦略が提案される。前処理段階では、高解像度（ＨＲ）フレームは低解像度（ＬＲ）にダウンサンプリングされ、メタデータは後処理をガイドするために生成される。後処理段階では、復号化された低解像度フレームおよび受け取ったメタデータは、新規な超解像度フレームワーク内で高解像度フレームを復元するのに使用される。低解像度フレームのみが符号化され、送信されるメタデータの量は低度から中程度なので、この手段は圧縮比を向上させるという可能性を有する。
【００２７】
スマートダウンサンプリング戦略は、フレーム間の動きを考慮に入れる。ダウンサンプリング戦略は、持っているピクセル情報を互いに補完する（換言すれば、フレーム間のピクセルの冗長度を低減する）ようにしてＬＲフレームを作成することによって、超解像度化の結果を改善することに寄与する。ある意味では、戦略はフレーム間のサブピクセル動きを強化することを試みる。
【００２８】
発明者らは、従来のビデオ圧縮方法（主に、例えば、国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）、動画圧縮標準４（ＭＰＥＧ−４）、パート１０、高度ビデオ符号化（ＡＶＣ）規格／国際電気通信連合、電気通信部門（ＩＴＵ−Ｔ）、Ｈ．２６４推奨基準（以下、「ＭＰＥＧ−４ＡＶＣ規格」）など、ブロックベースの予測方法）は、圧縮比の飽和点に達し始めていることに注目している。データプルーニング方法は、標準的な圧縮方法によって達成されるよりも圧縮効率を改善することを目指す。かかる方法の主な原理は、符号化前（またはその最中）にデータを除去し、復号化後（またはその最中）に受信機側で除去したデータを元に戻すというものである。データプルーニング方法は、それらの目標を、例えばブロック／領域の除去と修復、ラインの除去と補間などを達成する様々な前処理および後処理技術を開発してきた。
【００２９】
本発明の原理によれば、（送信機側での）インテリジェントダウンサンプリングおよび（受信機側での）超解像度化は、データプルーニングのために開発された技術である。超解像度化は、いくつかの低解像度イメージまたはフレームにわたって情報を一時的に統合することによって、イメージまたはビデオの解像度を向上するプロセスである。このデータプルーニング手段の原理が図１に示される。図１を参照すると、サンプリングベースの超解像度化の例示的なシステム／方法が全体的に参照番号１００によって示される。高解像度（ＨＲ）フレームが入力され、低解像度（ＬＲ）フレームおよびメタデータを得るため、ステップ１１０で（ダウンサンプラおよびメタデータ生成器１５１による）ダウンサンプリングおよびメタデータ生成にかけられる。ステップ１１５で、低解像度フレームおよびメタデータは（エンコーダ１５２によって）符号化される。ステップ１２０で、符号化された低解像度フレームおよびメタデータは（デコーダ１５３によって）復号化される。低解像度フレームおよびメタデータは、ステップ１３０で、高解像度出力フレームを供給するため、（超解像度化ポストプロセッサ１５４による）超解像度化後処理にかけられる。したがって、前処理段階（ステップ１１０）では、高解像度フレームは低解像度にダウンサンプリングされ、メタデータは後処理をガイドするために生成される。特に、フレーム間の動きを扱うことができるスマートダウンサンプリング戦略が提案される。後処理段階（ステップ１２５）では、復号化された低解像度フレームおよび受け取ったメタデータは、新規な超解像度フレームワーク内で高解像度フレームを復元するのに使用される。低解像度フレームのみが符号化され、送信されるメタデータの量は低度から中程度なので、この手段を使用して向上された圧縮比を得ることができる。発明者らは、ダウンサンプラおよびメタデータ生成器１５１はまた、本明細書においてプリプロセッサとして考慮され引用されてもよいことに注目している。
【００３０】
以下に記載されるエンコーダおよびデコーダの特定の構成に限定されないが、エンコーダ１５２およびデコーダ１５３はそれぞれ、図２および図３に示されるように実装することができる。
【００３１】
図２を参照すると、本発明の原理が適用されてもよい例示的なビデオエンコーダは、全体が参照番号２００によって示される。ビデオエンコーダ２００は、コンバイナ２８５の非反転入力を有する信号通信の出力を有するフレーム再配列バッファ（frame ordering buffer）２１０を含む。コンバイナ２８５の出力は、変換器および量子化器２２５の第１の入力と信号通信で接続される。変換器および量子化器２２５の出力は、エントロピー符号器２４５の第１の入力および逆変換器および逆量子化器２５０の第１の入力と信号通信で接続される。エントロピー符号器２４５の出力は、コンバイナ２９０の第１の非反転入力と信号通信で接続される。コンバイナ２９０の出力は、出力バッファ２３５の第１の入力と信号通信で接続される。
【００３２】
エンコーダコントローラ２０５の第１の出力は、フレーム再配列バッファ２１０の第２の入力、逆変換器および逆量子化器２５０の第２の入力、ピクチャタイプ決定モジュール２１５の入力、マクロブロックタイプ（ＭＢタイプ）決定モジュール２２０の第１の入力、イントラ予測モジュール２６０の第２の入力、デブロッキングフィルタ２６５の第２の入力、動き補償器（motion compensator）２７０の第１の入力、動き推定器（motion estimator）２７５の第１の入力、並びに参照画像バッファ２８０の第２の入力と信号通信で接続される。
【００３３】
エンコーダコントローラ２０５の第２の出力は、補助強化情報（ＳＥＩ）挿入器２３０の第１の入力、変換器および量子化器２２５の第２の入力、エントロピー符号器２４５の第２の入力、出力バッファ２３５の第２の入力、並びにシーケンスパラメータセット（ＳＰＳ）およびピクチャパラメータセット（ＰＰＳ）挿入器２４０の入力と信号通信で接続される。
【００３４】
ＳＥＩ挿入器２３０の出力は、コンバイナ２９０の第２の非反転入力と信号通信で接続される。
【００３５】
ピクチャタイプ決定モジュール２１５の第１の出力は、フレーム再配列バッファ２１０の第３の入力と信号通信で接続される。ピクチャタイプ決定モジュール２１５の第２の出力は、マクロブロックタイプ決定モジュール２２０の第２の入力と信号通信で接続される。
【００３６】
シーケンスパラメータセット（ＳＰＳ）およびピクチャパラメータセット（ＰＰＳ）挿入器２４０の出力は、コンバイナ２９０の第３の非反転入力と信号通信で接続される。
【００３７】
逆量子化器および逆変換器２５０の出力は、コンバイナ２１９の第１の非反転入力と信号通信で接続される。コンバイナ２１９の出力は、イントラ予測モジュール２６０の第１の入力およびデブロッキングフィルタ２６５の第１の入力と信号通信で接続される。デブロッキングフィルタ２６５の出力は、参照画像バッファ２８０の第１の入力と信号通信で接続される。参照画像バッファ２８０の出力は、動き推定器２７５の第２の入力および動き補償器２７０の第３の入力と信号通信で接続される。動き推定器２７５の第１の出力は、動き補償器２７０の第２の入力と信号通信で接続される。動き推定器２７５の第２の出力は、エントロピー符号器２４５の第３の入力と信号通信で接続される。
【００３８】
動き補償器２７０の出力は、スイッチ２９７の第１の入力と信号通信で接続される。イントラ予測モジュール２６０の出力は、スイッチ２９７の第２の入力と信号通信で接続される。マクロブロックタイプ決定モジュール２２０の出力は、スイッチ２９７の第３の入力と信号通信で接続される。スイッチ２９７の第３の入力は、（制御入力、即ち第３の入力と比べて）スイッチの「データ」入力が、動き補償器２７０またはイントラ予測モジュール２６０によって供給されるものであるか否かを判定する。スイッチ２９７の出力は、コンバイナ２１９の第２の非反転入力およびコンバイナ２８５の反転入力と信号通信で接続される。
【００３９】
フレーム再配列バッファ２１０の第１の入力およびエンコーダコントローラ２０５の入力は、入力画像を受け取るために、エンコーダ２００の入力として利用可能である。さらに、補助強化情報（ＳＥＩ）挿入器２３０の第２の入力は、メタデータを受け取るために、エンコーダ２００の入力として利用可能である。出力バッファ２３５の出力は、ビットストリームを出力するために、エンコーダ２００の出力として利用可能である。
【００４０】
図３を参照すると、本発明の原理が適用されてもよい例示的なビデオデコーダは、全体が参照番号３００によって示される。ビデオデコーダ３００は、エントロピーデコーダ３４５の第１の入力と信号通信で接続される出力を有する入力バッファ３１０を含む。エントロピーデコーダ３４５の第１の出力は、逆変換器および逆量子化器３５０の第１の入力と信号通信で接続される。逆変換器および逆量子化器３５０の出力は、コンバイナ３２５の第２の非反転入力と信号通信で接続される。コンバイナ３２５の出力は、デブロッキングフィルタ３６５の第２の入力およびイントラ予測モジュール３６０の第１の入力と信号通信で接続される。デブロッキングフィルタ３６５の第２の出力は、参照画像バッファ３８０の第１の入力と信号通信で接続される。参照画像バッファ３８０の出力は、動き補償器３７０の第２の入力と信号通信で接続される。
【００４１】
エントロピーデコーダ３４５の第２の出力は、動き補償器３７０の第３の入力、デブロッキングフィルタ３６５の第１の入力、およびイントラ予測器３６０の第３の入力と信号通信で接続される。エントロピーデコーダ３４５の第３の出力は、デコーダコントローラ３０５の入力と信号通信で接続される。デコーダコントローラ３０５の第１の出力は、エントロピーデコーダ３４５の第２の入力と信号通信で接続される。デコーダコントローラ３０５の第２の出力は、逆変換器および逆量子化器３５０の第２の入力と信号通信で接続される。デコーダコントローラ３０５の第３の出力は、デブロッキングフィルタ３６５の第３の入力と信号通信で接続される。デコーダコントローラ３０５の第４の出力は、イントラ予測モジュール３６０の第２の入力、動き補償器３７０の第１の入力、および参照画像バッファ３８０の第２の入力と信号通信で接続される。
【００４２】
動き補償器３７０の出力は、スイッチ３９７の第１の入力と信号通信で接続される。イントラ予測モジュール３６０の出力は、スイッチ３９７の第２の入力と信号通信で接続される。スイッチ３９７の出力は、コンバイナ３２５の第１の非反転入力と信号通信で接続される。
【００４３】
入力バッファ３１０の入力は、入力ビットストリームを受け取るため、デコーダ３００の入力として利用可能である。デブロッキングフィルタ３６５の第１の出力は、出力画像を出力するため、デコーダ３００の出力として利用可能である。
【００４４】
サンプリングベースの超解像度化の原理
サンプリングベースＳＲの中心思想は、図４Ａ〜図４Ｄおよび図５Ａ〜図５Ｄに示される。図４Ａ〜図４Ｄを参照すると、サンプリングベースの超解像度化方法の前処理段階に関係するデータおよびステップは、全体として参照番号４００によって示される。特に、図４Ａは、高解像度（ＨＲ）フレーム４１０の入力セットを示す。図４Ｂは、参照フレームに対する動き変換Θt1の推定４２０を示す。図４Ｃは、参照フレーム座標における超解像度充填率に基づくサンプリンググリッドＳtの推定４３０を示す（Ｉは恒等変換（identity transformation）を指すことに留意されたい）。図４Ｄは、ダウンサンプリングされた低解像度（ＬＲ）フレームおよび対応するメタデータ４４０を示す。
【００４５】
図５Ａ〜図５Ｄを参照すると、サンプリングベースの超解像度化方法の後処理段階に関係するデータおよびステップは、全体として参照番号５００によって示される。特に、図５Ａは、低解像度フレームおよびメタデータの復号化セット５１０を示す。図５Ｂは、参照フレーム座標における低解像度フレームからの超解像度モザイクの作成５２０を示す（Ｉは恒等変換を指すことに留意されたい）。図５Ｃは、超解像度モザイクからの高解像度フレームの復元５３０を示す。図５Ｄは、超解像度化された高解像度フレーム５４０を示す。
【００４６】
後処理段階に関係する図５Ａを参照すると、最初に、一組の復号化ＬＲフレーム
【００４７】
【数１】
0005911809.tif 000002
【００４８】
〜
【００４９】
【数２】
0005911809.tif 000003
【００５０】
が、いくつかの関連メタデータとともに利用可能である。フレームの１つは参照フレーム（図５Ａの
【００５１】
【数３】
0005911809.tif 000004
【００５２】
）であることが分かっている。図５Ｂでは、メタデータ情報を使用して低解像度フレームのピクセルを共通座標系（参照フレームの座標系と一致する）に変換した後に、超解像度モザイクが構築される。その後、図５Ｃを参照すると、メタデータ情報を使用して、超解像度モザイクの情報（現在のフレーム座標に逆変換されたもの）とそれに対応する低解像度フレームを組み合わせることによって、セットの各高解像度フレームが復元される。上述の後処理ステップを実施するため、メタデータは、各フレームと参照フレームとの間のピクセルの動きを記述する必要があり、ダウンサンプリングプロセスは、（前処理段階において）各低解像度フレームを対応する高解像度フレームから作成するのに使用される。この情報は前処理段階で判定され、メタデータとして送られる。
【００５３】
図４Ａを参照すると、入力高解像度ビデオは別々に処理されるフレームのセットに分割される。高解像度フレームのセットＨ1〜Ｈ4（Ｈ1は参照フレームと見なされる）について考察することとする。図４Ｂでは、各フレームと参照フレームとの間の動きが推定される。図４Ｂでは、ＨtからＨ1への動き変換がΘt1によって表される。図４Ｃでは、対応する低解像度フレームＬtを作成するため、（ダウン）サンプリンググリッドＳ1が各フレームＨ1に対して選択される。図４Ｄでは、（ダウンサンプリングした）低解像度フレームＬtを、エンコーダを使用して圧縮し、対応するメタデータ（動きおよびサンプリンググリッド情報）とともに受信機に送ることができる。受信機の後処理段階では、復号化低解像度フレームをメタデータ情報とともに使用して、上述したように高解像度フレームが復元される。
【００５４】
以下、前処理および後処理段階に関与するステップについてさらに記載する。
【００５５】
サンプリングベースの超解像度化の前処理段階
前処理段階では、入力高解像度ビデオは、最初に連続フレームのセットに分割される。次に、各セットは別々に処理される。一般的に、各セットのＭ2フレームを選ぶが、ここで、Ｍはダウンサンプリングファクタ、即ち高解像度と低解像度のフレーム寸法の比である。この根拠は、高解像度フレームが低解像度フレームのＭ2倍の数のピクセルを含み、したがって、高解像度フレームと同じサイズの超解像度モザイクを構築するのにＭ2のＬＲフレームを得るべきであることである。
【００５６】
ここで、ダウンサンプリングファクタが２（即ち、Ｍ＝２）である場合を考察し、次に４つの高解像度フレームのセット（Ｈt；ｔ＝１、２、３、４）について考察する。
【００５７】
図６を参照すると、サンプリングベースの超解像度化方法の前処理段階に関係する例示的な方法は、全体が参照番号６００によって示される。方法６００は、機能ブロック６１０に制御を渡す開始ブロック６０５を含む。機能ブロック６１０は、高解像度ビデオフレームｔ＝１、…、Ｎを入力し、機能ブロック６１５に制御を渡す。機能ブロック６１５は、各フレームと参照フレームとの間で全体の動き推定を行って、その動きパラメータを得て、機能ブロック６２０に制御を渡す。機能ブロック６２０は、超解像度品質と関連する基準に基づいて各フレームに対するサンプリンググリッドの選択を行って、サンプリンググリッドインデックスを得て、機能ブロック６２５に制御を渡す。機能ブロック６２５は、低解像度フレームを得るために高解像度フレームをダウンサンプリングし、機能ブロック６３０に制御を渡す。機能ブロック６３０は、低解像度フレーム、ｔ＝１、…、Ｎをエンコーダに出力し、終了ブロック６９９に制御を渡す。
【００５８】
前処理段階（例えば、図４および図６に関して示されるような）に関与するステップに関係するさらなる詳細は、次の通りに提供される。
【００５９】
１．動き推定：Ｈ1を参照フレームとする。各フレームＨtから参照フレームへの動きを推定する（図４Ｂ）。ＨtからＨ1への動き変換はΘt1によって表される。
【００６０】
２．サンプリンググリッドの選択：各フレームＨtに対して、サンプリンググリッドＳtは、対応するＬＲフレームＬtを作成するため、Ｈtから得られるピクセルを示す。グリッドＳ1は、各フレームが後処理段階の超解像度化プロセス（図５Ａ〜図５Ｄ）に対する補助ピクセル情報を供給するように選ばれる。フレーム間の動きはグリッド選択プロセス中に説明される。
【００６１】
３．ダウンサンプリング：選択されたグリッドＳtを使用して、低解像度フレームＬtがそれぞれ作成される。次に、低解像度フレームはエンコーダを使用して圧縮され、受信機に送られる。フレームと使用されるサンプリンググリッドとの間の動きに関する情報も、メタデータとして送られる。
【００６２】
前述のステップそれぞれについて以下にさらに記載する。
【００６３】
動き推定
例証目的のため、以下、所与のセットの参照フレームに対するセットの各フレームＨt間の動きを推定する１つの手法について考察する（図４Ｂ）。一般性を失うことなく、参照フレームはＨ1であることが考えられる。フレーム間で全体の動きのみがあるものと考えることによって、問題を単純化することとする。換言すれば、任意の２つのフレーム間でのピクセルの動きは、いくつかのパラメータを用いて全体の変換によって説明できるものと考える。全体の変換の例としては、並進、回転、アフィンワープ、射影変換などが挙げられる。
【００６４】
フレームＨiからフレームＨjへの動きを推定するため、最初に、フレーム間の動きを説明するパラメータに関する全体の動きモデルを選ぶ。ＨiおよびＨjからのデータを使用して、モデルのパラメータθijを次に決定する。これ以降、変換をΘijによって、そのパラメータをθijによって表すものとする。次に、変換Θijを使用して、ＨiをＨjに位置合わせする（またはワープさせる）（あるいは逆モデルΘji＝Θij-1を使用してその逆を行う）ことができる。
【００６５】
全体の動きは、様々なモデルおよび方法を使用して推定することができる。一般に使用される１つのモデルは、次式のように与えられる射影変換である。
【００６６】
【数４】
0005911809.tif 000005
【００６７】
上述の式は、Ｈiの（ｘ，ｙ）にあるピクセルがそこまで移動した、Ｈjにおける新しい位置（ｘ’，ｙ’）を与える。したがって、８つのモデルパラメータθij＝｛ａ1，ａ2，ａ3，ｂ1，ｂ2，ｂ3，ｃ1，ｃ2｝は、ＨiからＨjへの動きを説明する。パラメータは、通常、２つのフレーム間の１セットの点対応を最初に決定し、次に、ランダムサンプル一致（ＲＡＮＳＡＣ）またはその変形などのロバストな推定フレームワークを使用することによって推定される。フレーム間の点対応は、例えば、スケール不変特徴量変換（ＳＩＦＴ）の特徴を抽出し整合すること、またはオプティカルフローを使用することなど、多くの方法によって決定することができる。
【００６８】
サンプリングベースの超解像度化手順の場合、参照フレーム（Ｈ1）に対する各フレームＨt間の動きを推定しなければならない。したがって、θ21、θ31、およびθ41（それぞれ、変換Θ21、Θ31、およびΘ41に対応する）という三組のパラメータが推定される。変換は逆転可能であり、逆モデルΘji＝Θij-1はＨjからＨiへの動きを説明する。
【００６９】
サンプリンググリッド選択
各高解像度フレームＨtに対して、フレームをダウンサンプリングし低解像度版Ｌtを作成するため、サンプリンググリッドＳtを選択しなければならない。サンプリンググリッドは、得られ、対応する低解像度フレームに入れられる、高解像度フレーム中のピクセルを示す。図７Ａ〜図７Ｆを参照すると、ＨＲ高解像度（ＨＲ）フレームの低解像度（ＬＲ）へのダウンサンプリングに使用されるサンプリンググリッドの例は、全体として参照番号７００によって示される。さらに詳細には、図７Ａは、高解像度フレーム中のピクセル７１０を示す。図７Ｂは、ダウンサンプリングファクタ２を有する４つの均一なサンプリンググリッド７２０を示す。記号「○」は第１のサンプリンググリッドｇ1を、記号「＋」は第２のサンプリンググリッドｇ2を、記号「×」は第３のサンプリンググリッドｇ3を、記号「△」は第４のサンプリンググリッドｇ4を示す。図７Ｃは、第１のサンプリンググリッドｇ1から得られる低解像度フレーム７３０を示す。図７Ｄは、第２のグリッドｇ2から得られる低解像度フレーム７４０を示す。図７Ｅは、第３のグリッドｇ3から得られる低解像度フレーム７５０を示す。図７Ｆは、第４のグリッドｇ4から得られる低解像度フレーム４６０を示す。
【００７０】
図８Ａ〜図８Ｄを参照すると、追加の均一なサンプリンググリッドは、全体として参照番号８００によって示される。さらに詳細には、図８Ａは、水平方向に食い違ったグリッド８１０を示す。図８Ｂは、参照番号８２０によって集合的に示され、個々にそれぞれの記号○、＋、×、および△によって表される、サンプリンググリッドｇ5、ｇ6、ｇ7、およびｇ8を示す。図８Ｃは、垂直方向に食い違ったサンプリンググリッド８３０を示す。図８Ｄは、参照番号８４０によって集合的に示され、個々にそれぞれの記号○、＋、×、および△によって表される、サンプリンググリッドｇ9、ｇ10、ｇ11、およびｇ12を示す。
【００７１】
ここで、均一なサンプリンググリッド、即ち高解像度フレームのすべての部分にわたってカバー範囲の密度が均一なもののみを使用するように制約する。均一なグリッドを使用することには別個の利点がある。第一に、高解像度フレームのピクセルの間に存在する空間的および時間的関係がおおむね保存され、これが、エンコーダ（例えば、図１のエンコーダ１１５、図２のエンコーダ２００）が効率的な圧縮のためにビデオの空間的時間的冗長度を活用する助けとなる。第二に、サンプリングベースの超解像度化システムが機能しなくなった場合、均一にサンプリングされたフレームを空間的に補間して高解像度フレームを作成することができ、それによって経験の最小限の質が確保される。第三に、均一なグリッドを使用してサンプリングされたピクセルを低解像度フレームに入れるのがより簡単である。
【００７２】
サンプリンググリッド選択プロセスは、各高解像度フレームＨtに対して、グリッドの候補プールＧ＝｛ｇi；ｉ＝１、…、ＮG｝から適当なサンプリンググリッドＳtを選択する問題として提起される。一実施形態では、発明者らは、図７Ｂ、図８Ｂ、および図８Ｄに示される１２の候補グリッドｇ1〜ｇ12から選ぶ。食い違ったグリッドｇ5〜ｇ12は、潜在的には、長方形のグリッドｇ1〜ｇ4よりも良好な、ピクセルのわずかに回転させたまたは変形させたグリッドをキャプチャすることができることに留意されたい。
【００７３】
グリッドを選択する際に発明者らが採用する基本的な基準は、後処理段階において超解像度化の結果（即ち、超解像度モザイク）の予期される質を最大限にするものである。実際には、これは、各フレームが超解像度化プロセスに補助ピクセル情報を供給するようにして、グリッドＳtを選ぶことによって達成される。グリッド選択プロセスは、超解像度モザイク生成プロセスの一部を複写することによって進行する。一実施形態では、グリッドを選択するのに使用される基準は超解像度充填率である。
【００７４】
図９を参照すると、サンプリンググリッドの選択に関係するステップは、全体として参照番号９００によって示される。特に、図９Ａは、サンプリンググリッドが参照フレームに対して選ばれるステップ９１０を示す。図９Ｂは、Ｈ1と同じサイズの未充填の超解像度フレーム（ＨSR）が初期化されるステップ９２０を示す（発明者らはＨSRとＨ1との間に動きがないと仮定するので、Ｉは恒等変換である）。図９Ｃは、各候補グリッドに対して充填率が選ばれるステップ９３０を示す。図９Ｄは、対応するＳtを選択するために各フレームＨtに対して前述のステップが繰り返されるステップ９４０を示す。
【００７５】
サンプリンググリッド選択の上述の方法９００はまた、以下のようにさらに説明されてもよい（４つのフレームのセットについて仮定し、Ｈ1は参照フレームである）。
【００７６】
１．参照フレーム（Ｈ1）に対する各フレームＨt間の運動変換Θt1を演算する。
【００７７】
２．参照フレームに対するサンプリンググリッドをＳ1＝ｇ1として選ぶ。
【００７８】
３．参照フレームの座標における「未充填」の超解像度フレーム（ＨSR）を初期化する（即ち、ＨSRとＨ1との間に動きがないものと仮定する）。グリッドＳ1によって与えられるピクセル位置に対応するＨSRのピクセルを「充填」する。
【００７９】
４．残りのＨＲフレームＨt（ｔ≠１）それぞれについて、可能な候補グリッドそれぞれの充填率をＧで演算する。候補グリッドｇtの充填率は、Ｈtに対してｇtが選択されたときに充填される、ＨSRにおける以前の未充填ピクセルの数として定義される。次に、最も高い充填率をもたらすグリッドｇt＊が選択され（即ち、Ｓt＝ｇt＊）、Ｈtの対応するピクセルが充填される（動き変換Θt1を考慮に入れる）。
【００８０】
５．セットのすべてのフレームＨtが処理されると終了する。そうでなければ、ステップ４に戻る。
【００８１】
ステップ４では、候補グリッドｇtの充填率は次のように演算される。最初に、Ｈtに対して順に各グリッドｇ1∈Ｇを考慮して、Θt1を使用してｇtによって与えられるピクセルをＨSRに変換（移動）し（ＨSRの最も近いピクセル位置に丸み付けする）、ＨSRのどれだけの数の未充填ピクセル位置が変換したピクセルによって充填されたかを記録することによって、充填率を演算する。その後、最も高い充填率をもたらすグリッドｇt＊が選択される（即ち、Ｓt＝ｇt＊）。選択されたグリッドＳtおよび結果として得られる超解像度品質は、フレームＨtが処理される順序に依存してもよいことに留意されたい。１つの再配列戦略は、参照フレームからのそれらの時間的距離の順序を増加させる際にフレームを考慮するというものである。例えば、Ｈ2が参照フレームである場合、他のフレームは、Ｈ1、Ｈ3、およびＨ4の次の順序で処理される。
【００８２】
超解像度品質に関与する充填率の尺度または完全に異なる単位が、グリッド選択の基準として使用されてもよい。例えば、充填済みまたは未充填のものとしてＨSRの各ピクセルを表す代わりに、各ピクセルにマッピングされたグリッドピクセルの数を追跡することができる。その後、より大きくＨSRに増分的に寄与するグリッドがより高い指数になる増分的情報の尺度として、充填率を再定義することができる。グリッド選択の別の基準は、超解像度化プロセス（以前に選択されたグリッドＳ1〜Ｓt-1およびＳtに対する現在の候補グリッドを使用する）を完全に複写し、例えば参照フレームに対するＰＳＮＲに基づいて、最も高いＳＲ品質をもたらすグリッドＳtを選ぶことを伴うことができる。
【００８３】
高解像度から低解像度へのダウンサンプリング
グリッド選択プロセスの後、各高解像度フレームＨtは対応するサンプリンググリッドＳtを有する。Ｓtの性質に応じて、Ｈtは次のように低解像度フレームＬtにダウンサンプリングされる。
【００８４】
Ｓtが長方形のグリッド（図７Ｂ）の場合、即ちＳt＝ｇi（ｉ＝１、２、３、４）の場合、ピクセルをＳtから取り、それらを図７Ｃ〜図７Ｆに示されるように水平および垂直に入れることによってＬtが形成される。
【００８５】
Ｓtが水平方向に食い違ったグリッド（図８Ｂ）の場合、即ちＳt＝ｇi（ｉ＝５、６、７、８）の場合、サンプリングされたピクセルを有する各行を、それらすべての行の最初にサンプリングされたピクセルが垂直に並ぶように左側にシフトする。その後、上述のようにピクセルを入れることによってＬtが形成される。
【００８６】
Ｓtが垂直方向に食い違ったグリッド（図８Ｄ）の場合、即ちＳt＝ｇi（ｉ＝９、１０、１１、１２）の場合、サンプリングされたピクセルを有する各列を、それらすべての列の最初にサンプリングされたピクセルが水平に並ぶように上方向にシフトする。その後、上述のようにピクセルを入れることによってＬtが形成される。
【００８７】
様々な他の構造を有する均一なサンプリンググリッドについては、高解像度フレームからサンプリングされたピクセルを使用して長方形の低解像度フレームを形成するような、適切なパッキング戦略が考案されてもよい。
【００８８】
そのように形成された低解像度フレームは、ビデオエンコーダを使用して圧縮される。推定された動き変換パラメータ（θ21、θ31、θ41）および選択されたサンプリンググリッド（Ｓ1、Ｓ2、Ｓ3、Ｓ4）を含むサイド情報は、メタデータとして送信される。ここで、グリッド自体の代わりにサンプリンググリッドインデックスを送れば十分であることに留意されたい（即ち、Ｓt＝ｇiの場合、ｉを送る）。その結果、後処理段階でルックアップテーブルからグリッドが分かる。
【００８９】
サンプリングベースのＳＲの後処理段階
後処理段階では、復号化低解像度フレームおよびメタデータを使用して、対応する高解像度フレームを復元する（超解像度化（ＳＲ）として知られるプロセス）。図１０を参照すると、サンプリングベースの超解像度化方法の後処理段階に関係する例示的な方法は、全体として参照番号１０００によって示される。方法１０００は、機能ブロック１０１０に制御を渡す開始ブロック１００５を含む。機能ブロック１０１０は、デコーダから低解像度ビデオフレームｔ＝１、…、Ｎを入力し、機能ブロック１０１５に制御を渡す。機能ブロック１０１５は、各低解像度フレームから有効ピクセルを超解像度モザイク座標に変換し、機能ブロック１０２０に制御を渡す。機能ブロック１０２０は、整数ピクセル位置で値を補間することによって超解像度モザイクを作成し、機能ブロック１０２５に制御を渡す。機能ブロック１０２５は、超解像度モザイクを高解像度フレーム座標に逆変換することによって各高解像度フレームを復元し、機能ブロック１０３０に制御を渡す。機能ブロック１０３０は、高解像度フレームｔ＝１、…、Ｎを復元し、終了ブロック１０９９に制御を渡す。機能ブロック１０３５は、サンプリンググリッドインデックスを機能ブロック１０１５で使用するために供給する。機能ブロック１０４０は、動きパラメータ（メタデータ）を機能ブロック１０１５および１０２５で使用するために供給する。
【００９０】
前処理段階における高解像度フレームのセットＨt（ｔ＝１、２、３、４）に対応する復号化ＬＲフレーム
【００９１】
【数５】
0005911809.tif 000006
【００９２】
のセットを有するものと推定する（図４Ａ〜図４Ｄ）。メタデータは、動きパラメータおよびサンプリンググリッドインデックスを含む。以下は、復号化低解像度フレームおよびサイド情報を使用した高解像度フレーム
【００９３】
【数６】
0005911809.tif 000007
【００９４】
の復元に関与するステップ（図５Ａ〜図５Ｄを参照）である。
【００９５】
１．低解像度フレームからの超解像度モザイクの作成。このステップでは、復号化低解像度フレームのセットからのピクセルおよびサイド情報を使用して、高解像度「ＳＲ」モザイクイメージ
【００９６】
【数７】
0005911809.tif 000008
【００９７】
が作成される。これは、ＨＲフレームがそこから復元される参照イメージとして役立つ。さらに詳細には、復元されたＨＲフレームそれぞれの一部分はＳＲモザイクからのものであり、残りの部分は対応するＬＲフレームピクセルから空間的に補間される。
【００９８】
２．高解像度フレームの復元。処理をガイドするためのサイド情報を使用し、超解像度モザイクイメージ
【００９９】
【数８】
0005911809.tif 000009
【０１００】
および低解像度フレーム
【０１０１】
【数９】
0005911809.tif 000010
【０１０２】
を使用して、セットの各高解像度フレーム
【０１０３】
【数１０】
0005911809.tif 000011
【０１０４】
が復元される。
【０１０５】
これらのステップを以下でさらに説明する。
【０１０６】
低解像度フレームからの超解像度モザイクの生成
このステップでは、高解像度超高解像度モザイクイメージ
【０１０７】
【数１１】
0005911809.tif 000012
【０１０８】
は、復号化低解像度フレームのセット
【０１０９】
【数１２】
0005911809.tif 000013
【０１１０】
（ｔ＝１、２、３、４）、並びに低解像度フレームＬtを作成するのに使用されるグリッドＳtおよび各フレームからセットの参照フレーム（図５Ａのｔ＝１におけるフレーム）への変換Θt1を含む、関連するメタデータを使用して構築される。
【０１１１】
【数１３】
0005911809.tif 000014
【０１１２】
は、参照フレームと同じ座標にあるものと、即ち
【０１１３】
【数１４】
0005911809.tif 000015
【０１１４】
と
【０１１５】
【数１５】
0005911809.tif 000016
【０１１６】
との間に動きがないものと仮定される。以下は、
【０１１７】
【数１６】
0005911809.tif 000017
【０１１８】
を構築するステップである。
【０１１９】
１．現時点では、
【０１２０】
【数１７】
0005911809.tif 000018
【０１２１】
は、非整数ピクセル位置が存在してもよい、例えば
【０１２２】
【数１８】
0005911809.tif 000019
【０１２３】
（１．４４，２．３５）＝１２８である、連続２Ｄピクセル空間であるものと考える。
【０１２４】
２．変換されたグリッド位置Θt1（Ｓt）とそれに対応する復号化低解像度フレーム
【０１２５】
【数１９】
0005911809.tif 000020
【０１２６】
におけるピクセル値によって与えられる
【０１２７】
【数２０】
0005911809.tif 000021
【０１２８】
のピクセル位置を埋める。これを、セット（ｔ＝１、２、３、４）の各復号化低解像度フレームに対して行う。
【０１２９】
【数２１】
0005911809.tif 000022
【０１３０】
と
【０１３１】
【数２２】
0005911809.tif 000023
【０１３２】
との間に動きがないので、Θt1＝Ｉ（恒等変換）であることに留意されたい。
【０１３３】
３．最後に、すべての整数ピクセル位置それぞれにおける周囲のピクセル値から、十分な（例えば、閾値を使用して決定されるような）データが利用可能である、それらの整数ピクセル位置でピクセル値を補間することによって、イメージ
【０１３４】
【数２３】
0005911809.tif 000024
【０１３５】
が構築される。様々な（不均一な）空間的補間方法がこの操作に利用可能である。これらの方法は、ピクセル位置のセットおよび対応する値を取り、任意の数の他の位置における補間された値を出力する。ＭＡＴＬＡＢのグリッドデータ関数を使用して、この補間を実施することができる。
【０１３６】
上述のステップの結果は超解像度モザイクイメージ
【０１３７】
【数２４】
0005911809.tif 000025
【０１３８】
である。それに加えて、妥当性マップを演算して、
【０１３９】
【数２５】
0005911809.tif 000026
【０１４０】
のどのピクセルが、これらのピクセルのみが高解像度フレームの復元に使用されるように信頼性のある情報を含むかが決定されてもよい。妥当性の尺度は、ピクセルの周りの近隣にあるサンプルに基づいて（例えば、サンプルの数または密度）、モザイクイメージの各ピクセルで演算されてもよい。その後、その妥当性値が十分に高い（例えば、所与の閾値を上回る）場合のみ、モザイクのピクセルが復元プロセスに使用される。
【０１４１】
高解像度フレームの復元
次に、各高解像度フレーム
【０１４２】
【数２６】
0005911809.tif 000027
【０１４３】
（ｔ＝１、２、３、４）が次のように復元される。
【０１４４】
１．現時点では、
【０１４５】
【数２７】
0005911809.tif 000028
【０１４６】
は、非整数ピクセル位置が存在してもよい連続２Ｄピクセル空間であるものと考える。グリッドＳtとそれに対応する
【０１４７】
【数２８】
0005911809.tif 000029
【０１４８】
におけるピクセル値によって与えられる
【０１４９】
【数２９】
0005911809.tif 000030
【０１５０】
のピクセル位置を埋める。
【０１５１】
２．動き変換Θ1tを使用して
【０１５２】
【数３０】
0005911809.tif 000031
【０１５３】
におけるピクセル位置を変換する。Θ1tはΘt1の逆変換であることに留意されたい。
【０１５４】
【数３１】
0005911809.tif 000032
【０１５５】
の整数ピクセル位置ｘが変換後の
【０１５６】
【数３２】
0005911809.tif 000033
【０１５７】
空間における位置ｙに位置する場合（即ち、ｙ＝Θ1t（ｘ））、ｙをそれに対応する
【０１５８】
【数３３】
0005911809.tif 000034
【０１５９】
における値で埋め、即ち
【０１６０】
【数３４】
0005911809.tif 000035
【０１６１】
とする。
【０１６２】
３．最後に、すべての整数ピクセル位置それぞれにおける周囲のピクセル値から、フレームのそれらの整数ピクセル位置でピクセル値を補間することによって、高解像度フレーム
【０１６３】
【数３５】
0005911809.tif 000036
【０１６４】
が復元される。これは、上述の節（ステップ３）に記載されるような空間的補間方法を使用して扱われる。フレーム境界の外側のピクセルは決定されない。
【０１６５】
前景オブジェクトの扱い
これまでは、フレーム間の動きは全体の動きモデルによって完全に説明される、即ちすべてのピクセルがこの動きモデルに忠実であるものと仮定してきた。ここで、前景オブジェクトを扱うための戦略を提示する。前景オブジェクトは、フレーム間の全体の動きを追随しないオブジェクト（または領域）として定義される。換言すれば、これらのオブジェクトは、フレーム間の全体の動きとは異なる動きを有する。図１１Ａ〜図１１Ｂを参照すると、２つのフレーム（フレーム１およびフレームｔ）間の前景オブジェクトの動きは、全体として参照番号１１００によって示される。サンプリングベースの超解像度化プロセスでのアーチファクトを回避するため、前景オブジェクトを見つけ、手順の特定のステップ中にこの知見を使用することが重要である。前景は、バイナリマスクＦtによって表されてもよく、ここで、Ｆt＝１は前景ピクセルを示し、Ｆt＝０は背景ピクセルを示す。
【０１６６】
各フレームに対して、その前景ピクセルを示すバイナリマスクＦt（図１１Ｂに示されるような）が得られているものと仮定する。ＦＧtを、Ｆt＝１であるすべてのピクセルのセットとし、
【０１６７】
【数３６】
0005911809.tif 000037
【０１６８】
を、Ｆt＝０であるすべてのピクセルのセットとする。次に、この情報は次のように使用されてもよい。
【０１６９】
サンプリンググリッド選択プロセスでは、Ｌtを作成するサンプリングＨtに対するサンプリンググリッドを決定すると同時に、前景領域は除外されてもよい。ステップ３およびステップ４では、ＨtからＨSRへのＦＧtにおけるピクセルのマッピングを回避することができる。したがって、充填率（または他の尺度）は背景ピクセルのみに基づいて演算される。さらに、サンプリンググリッド推定の間、Ｈtにおける十分に平らな領域をＦＧtの一部と見なすことができる。これは、グリッド選択プロセス中に詳細を備えた領域により高い重要性を与えることによって、超解像度を改善することができる。平らな領域は、空間的変化などの尺度に基づいて決定することができる。
【０１７０】
高解像度フレームから低解像度へのダウンサンプリングに先立って、アンチエイリアシングフィルタがフレームの前景領域に適用されてもよい。前景領域は本実施形態では超解像度化されないので、アンチエイリアシング操作は、後処理段階でこれらの領域に対してより良好な空間的補間結果を得る助けとなることがある。
【０１７１】
超解像度モザイク作成プロセスについて考える。ステップ２では、
【０１７２】
【数３７】
0005911809.tif 000038
【０１７３】
の前景ピクセル（ＦＧt）の
【０１７４】
【数３８】
0005911809.tif 000039
【０１７５】
への変換を回避してもよい。
【０１７６】
高解像度フレーム復元プロセスのステップ２では、ＦＧtによって定義される内部領域に含まれる、
【０１７７】
【数３９】
0005911809.tif 000040
【０１７８】
から
【０１７９】
【数４０】
0005911809.tif 000041
【０１８０】
へと変換された任意のピクセルを廃棄することができる。さらに、ステップ１では、
【０１８１】
【数４１】
0005911809.tif 000042
【０１８２】
によって定義される内部領域をマッピングする、Ｓtからのピクセルを使用しないことを（任意に）選ぶことができる。
【０１８３】
上述の２つの修正例では、
【０１８４】
【数４２】
0005911809.tif 000043
【０１８５】
または
【０１８６】
【数４３】
0005911809.tif 000044
【０１８７】
の十分に（例えば、閾値を使用して決定されるような）平らな領域を、ＦＧtの一部と見なすことができる。この場合、空間的補間を使用してこれらの領域がアップサンプリングされる。
【０１８８】
ここまででは、復元された高解像度フレーム
【０１８９】
【数４４】
0005911809.tif 000045
【０１９０】
の前景領域は、対応する復号化低解像度フレーム
【０１９１】
【数４５】
0005911809.tif 000046
【０１９２】
のピクセルから空間的に補間されただけである。ここで、他の低解像度フレームからの情報は、これらの領域を超解像度化するのには明示的に活用されない。しかし、前景領域を受信機側で部分的にまたは完全に超解像度化するため、ブロック動きベクトル（フレーム間のサブピクセル動きを活用するため）または高解像度パッチなどの何らかの追加情報をメタデータとして送ることが可能であってもよい。
【０１９３】
上述のものに加えて、前景情報を使用する他の基準を使用して結果の質が改善されてもよい。
【０１９４】
前景マスク推定
独立して動いている領域を有するフレームからクリーンで信頼性のある前景マスクを抽出するのは困難な課題である。ピクセル値のノイズを伴う全体の動き推定におけるエラーはプロセスを複雑にする。さらに、前景情報をメタデータとして簡潔に表しデコーダに送信するという問題もある。
【０１９５】
各高解像度フレームＨtの前景マスクＦtを抽出する１つの方法を次に記載する。これは、高解像度フレームが利用可能な前処理段階で行われる。以下はプロセスのステップである。
【０１９６】
１．フレームＨ1に対して、マスクＦ1をゼロで充填する。換言すれば、すべてのピクセルが背景と見なされる。
【０１９７】
２．Ｆtを抽出するため、フレームＨtはＨ1t＝Θ1t（Ｈ1）と比較され、即ち、Ｈ1はＨtの座標に変換される。正規化相関単位Ｎt1（ｘ）は、ピクセルの周りの小さな近隣を考慮して、Ｈtの各ピクセルｘとそれに対応するＨ1tのピクセルとの間で演算される。Ｈ1tに対応するピクセルがない（即ち、Θt1（ｘ）がＨ1の境界の外側にある）場合、Ｆt（ｘ）は１に設定される。そうでなければ、Ｎt1（ｘ）＞Ｔ（Ｔは選ばれた閾値）の場合、Ｆt（ｘ）＝０である。そうでなければ、Ｆt（ｘ）＝１である。
【０１９８】
上述のものの変形例を含む他の方法が代わりに使用されてもよい。
【０１９９】
マスクが前処理段階で演算される場合、それらはサイド情報として受信機に送信されなければならない。前景マスクの高解像度版を送信するのは不要なことがある。マスクは、Ｈtから低解像度フレームＬtを作成するのに使用されるのと同じ戦略を使用して、低解像度にダウンサンプリングされ、次に後処理段階でアップサンプリングされてもよい。マスクはまた、送信に先立って圧縮されてもよい（例えば、ＺＩＰ、ＭＰＥＧ−４  ＡＶＣ規格、および／または他の任意のデータ圧縮スキームを使用する）。あるいは、マスクの送信は、復号化低解像度フレームおよびメタデータを使用して、受信機側でそれらを演算することによって完全に回避されてもよい。しかし、受信機で信頼性のあるマスクを演算することは困難な課題である。
【０２００】
当業者には明白であるような、本発明の原理の１つまたは複数の実施形態で用いられてもよく、依然として本発明の範囲内にある以下の可能な変形例に注目する。
【０２０１】
１．方法は４つのフレームのセットについて記載されるが、セットのフレームの数Ｎは上限を有さない。実際には、Ｎは少なくとも４であるべきである。セットのサイズは、ダウンサンプリングファクタとフレーム間の動きの量とに基づいて決定することができる。
【０２０２】
２．Ｋ＞Ｎフレームを有するシーケンスは、それぞれＮ個のフレームを有する多数のセットに分割することができる。各セットは、提案される方法を使用して取り扱うことができる。
【０２０３】
３．参照フレームは必ずしもセットの第１のフレームである必要はない。参照フレームと非参照フレームとの間の動きの量を最小限に抑えるため、セットの（時間的）中心付近のフレームを使用するのが有利なことがある。
【０２０４】
４．フレームのセットを復元しながら、フレームの他のセットからの情報が使用されてもよい。例えば、以前のセットから復元された高解像度参照フレームを使用して、現在のセットの非参照フレームが復元されてもよい。この目的のため、フレームのセット間の動き情報がメタデータとして決定され送信されてもよい。また、現在のセットの外側のフレームからの情報が、超解像度モザイク作成プロセス中に使用されてもよい。
【０２０５】
５．ここでの取扱いは、グレイスケール（単一成分）フレームおよび色（多重成分）フレームの両方に有効である。前処理ステップおよび後処理ステップの１つまたは複数（例えば、サンプリンググリッド選択）は、各色成分に対して独立して、またはそれらすべてを一緒に考慮することによって実施されてもよい。例えば、各色成分に対して異なるサンプリンググリッドが決定されてもよい。
【０２０６】
６．単一のフレームの異なる領域に対して、複数のサンプリンググリッドが推定されてもよい。例えば、フレームは４つの長方形の四半分に分割されてもよく、サンプリンググリッドは各々に対して選択され得る。この場合、「サンプリンググリッド選択」と題した上述の節のステップ２、３、４は、フレーム単位の代わりに四半分単位で実施される。後に続くプロセス（ダウンサンプリング、後処理）はすべて、フレームの異なる領域に対して異なるサンプリンググリッドを使用するように適宜修正される。
【０２０７】
７．単一フレームの異なる領域に対して、異なる全体の動き変換が推定されてもよい。例えば、「動き推定」と題した上述の節では、フレームは４つの長方形の四半分に分割されてもよく、セットの各フレームと参照フレームとの間で異なる変換が推定されてもよい。後に続くプロセスはすべて、フレームの各領域に対して対応する変換を使用する。
【０２０８】
８．「動き推定」と題した上述の節では、セットの各フレームから参照フレームへの変換を推定する代わりに、各フレームから次のフレーム（またはその逆）への変換を推定し、それらのうち１つまたは複数を組み合わせて必要な変換を導き出すことが可能である。
【０２０９】
９．前景マスク（「前景マスク推定」と題した上述の節における）では、境界ピクセルのバンドは、例えば固定の黒い境界を扱うための前景として見なされてもよい。上述したように、十分に平らな領域を前景と見なすことも可能である。
【０２１０】
次に、一部については上述してきた、本発明の多くの付随する利点／特徴のいくつかについて記載する。例えば、１つの利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置である。ダウンサンプラおよびメタデータ生成器は、高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するためのものである。メタデータは、低解像度画像およびメタデータの復号化後の後処理をガイドするためのものである。少なくとも１つのエンコーダ（１５２）は、低解像度画像およびメタデータを符号化するためのものである。
【０２１１】
別の利点／特徴は、上述したようなダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、メタデータは、動き変換情報およびサンプリンググリッド情報を含む。
【０２１２】
さらに別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、メタデータは、上述したように動き変換情報およびサンプリンググリッド情報を含み、動き変換情報は、高解像度画像の２つ以上の間の全体の動きに関係する全体の動き変換情報を含む。
【０２１３】
さらなる別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、メタデータは、上述したように動き変換情報およびサンプリンググリッド情報を含み、サンプリンググリッド情報は、ダウンサンプリングによって高解像度画像から低解像度画像を生成するのに使用される複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む。
【０２１４】
さらなる利点／特徴は、上述したようにダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、参照画像から１つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、１つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成する。
【０２１５】
さらに、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、上述したように、参照画像から１つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、１つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成し、１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、高解像度画像それぞれが、低解像度画像の復号化後の後処理のための補助ピクセル情報を供給するように、１つまたは複数のダウンサンプリンググリッドが動き情報に基づいて選択される。
【０２１６】
さらに、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、上述したように、１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、高解像度画像それぞれが、低解像度画像の復号化後の後処理のための補助ピクセル情報を供給するように、１つまたは複数のダウンサンプリンググリッドが動き情報に基づいて選択され、グリッドは、１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成される超解像度画像の以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、超解像度画像は、低解像度画像およびメタデータの復号化後の後処理によって供給される出力に対応する。
【０２１７】
また、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、上述したように、１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、高解像度画像それぞれが、低解像度画像の復号化後の後処理のための補助ピクセル情報を供給するように、１つまたは複数のダウンサンプリンググリッドが動き情報に基づいて選択され、グリッドは、歪み尺度に基づいてさらに選択される。
【０２１８】
それに加えて、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、高解像度画像は少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、上述したように、参照画像から１つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、１つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成し、複数のダウンサンプリンググリッドの異なるものを使用して、高解像度画像の少なくとも１つの特定のものの異なる部分がダウンサンプリングされる。
【０２１９】
さらに、別の利点／特徴は、ダウンサンプラおよびメタデータ生成器と少なくとも１つのエンコーダとを有する装置であり、高解像度画像は少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、ダウンサンプラおよびメタデータ生成器は、上述したように、参照画像から１つまたは複数の非参照画像それぞれへの動きを推定し、動き情報に基づいて高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、１つまたは複数のダウンサンプリンググリッドを使用して高解像度画像をダウンサンプリングすることによって、低解像度画像を生成し、高解像度画像それぞれに対して個々のバイナリマスクが構築され、バイナリマスクは高解像度画像の前景ピクセルの個々の位置を示す。
【０２２０】
本発明の原理のこれらおよび他の特徴並びに利点は、本明細書の教示に基づいて、関連技術の当業者によって容易に確認されてもよい。本発明の原理の教示は、様々な形態のハードウェア、ソフトウェア、ファームウェア、専用プロセッサ、またはそれらの組み合わせで実現されてもよいことを理解されたい。
【０２２１】
最も好ましくは、本発明の原理の教示はハードウェアとソフトウェアの組み合わせとして実現される。さらに、ソフトウェアはプログラム記憶装置上で有形的に具体化されるアプリケーションプログラムとして実装されてもよい。アプリケーションプログラムは、任意の適切なアーキテクチャを備える機械にアップロードされ、それによって実行されてもよい。好ましくは、機械は、１つまたは複数の中央処理装置（「ＣＰＵ」）、ランダムアクセスメモリ（「ＲＡＭ」）、および入出力（「Ｉ／Ｏ」）インターフェースなどのハードウェアを有するコンピュータプラットフォーム上で実現される。コンピュータプラットフォームはまた、オペレーティングシステムおよびマイクロ命令コードを含んでもよい。本明細書に記載される様々なプロセスおよび機能は、ＣＰＵにより実行されてもよい、マイクロ命令コードの一部もしくはアプリケーションプログラムの一部のどちらかまたはそれらの組み合わせであってよい。それに加えて、他の様々な周辺装置は、追加データ記憶装置および印刷装置などのコンピュータプラットフォームに接続されてもよい。
【０２２２】
さらに、添付図面に図示される構成要素のシステム構成部品および方法の一部は、好ましくはソフトウェアに実装されるので、システム構成部品またはプロセス機能ブロック間の実際の接続は、本発明の原理がプログラムされるやり方に応じて異なってもよいことを理解されたい。本明細書の教示を所与として、当業者であれば、本発明の原理のこれらおよび類似の実装または構成を想到することができるであろう。
【０２２３】
添付図面を参照して例示的な実施形態を本明細書に記載してきたが、本発明の原理はそれらの正確な実施形態に限定されず、本発明の原理の範囲または趣旨から逸脱することなく、関連分野の当業者によって様々な変更および修正が達成されてもよいことを理解されたい。かかる変更および修正はすべて、添付の特許請求の範囲で説明されるような本発明の原理の範囲内に含まれるものとする。
［付記１］
高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するダウンサンプラおよびメタデータ生成器であって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、ダウンサンプラおよびメタデータ生成器（１５１）と、
前記低解像度画像および前記メタデータを符号化する少なくとも１つのエンコーダ（１５２）と
を備える装置。
［付記２］
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、付記１に記載の装置。
［付記３］
前記動き変換情報は、前記高解像度画像の２つ以上の間の全体の動きに関係する全体の動き変換情報を含む、付記２に記載の装置。
［付記４］
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む、付記２に記載の装置。
［付記５］
前記高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器（１５１）は、参照画像から前記１つまたは複数の非参照画像それぞれへの動きを推定し、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、前記１つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成する、付記１に記載の装置。
［付記６］
前記１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記１つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択される、付記５に記載の装置。
［付記７］
前記グリッドが、前記１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成された超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応する、付記６に記載の装置。
［付記８］
前記グリッドは歪み尺度に基づいてさらに選択される、付記６に記載の装置。
［付記９］
前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも１つの特定のものの異なる部分をダウンサンプリングするのに使用される、付記５に記載の装置。
［付記１０］
個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の前景ピクセルの個々の位置を示す、付記５に記載の装置。
［付記１１］
高解像度画像を受け取り（６１０）、そこから低解像度画像およびメタデータを生成する（６２５、１１０）ステップであって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものであるステップと、
少なくとも１つのエンコーダを使用して前記低解像度画像および前記メタデータを符号化する（１１５）ステップと
を含む方法。
［付記１２］
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む（６１５、６２０）、付記１１に記載の方法。
［付記１３］
前記動き変換情報は、２つ以上の前記高解像度画像の間の全体の動きに関係する全体の動き変換情報を含む（６１５）、付記１２に記載の方法。
［付記１４］
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む（６２０）、付記１２に記載の方法。
［付記１５］
前記高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器は、参照画像から前記１つまたは複数の非参照画像それぞれへの動きを推定し（６１５）、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し（６２０）、前記１つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングする（６２５）ことによって、前記低解像度画像を生成する、付記１１に記載の方法。
［付記１６］
前記１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記１つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択される、付記１５に記載の方法。
［付記１７］
前記グリッドが、前記１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成された超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応する、付記１６に記載の方法。
［付記１８］
前記グリッドは歪み尺度に基づいてさらに選択される、付記１６に記載の方法。
［付記１９］
前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも１つの特定のものの異なる部分をダウンサンプリングするのに使用される、付記１５に記載の方法。
［付記２０］
個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の前景ピクセルの個々の位置を示す、付記１５に記載の方法。
［付記２１］
ビットストリームを受け取り、そこから低解像度画像およびメタデータを復号化するデコーダ（１５３）と、
前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する超解像度化ポストプロセッサ（１５４）と
を備える装置。
［付記２２］
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、付記２１に記載の装置。
［付記２３］
前記動き変換情報は、２つ以上の前記高解像度画像の間の全体の動きに関係する全体の動き変換情報を含む、付記２２に記載の装置。
［付記２４］
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む、付記２２に記載の装置。
［付記２５］
前記超解像度化ポストプロセッサ（１５４）は、前記メタデータおよび前記低解像度画像から高解像度モザイクを作成し、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元する、付記２１に記載の装置。
［付記２６］
前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間することによって作成される、付記２５に記載の装置。
［付記２７］
前記超解像度化ポストプロセッサ（１５４）は、前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成する、付記２５に記載の装置。
［付記２８］
前記高解像度モザイクの前記ピクセルの所与の１つに対する前記妥当性の尺度が、前記ピクセルの前記所与の１つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の１つは、前記ピクセルの前記所与の１つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定される、付記２７に記載の装置。
［付記２９］
前記高解像度画像の所与の１つは、前記低解像度画像の対応する１つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の１つにおける周囲の同位置ピクセルの少なくとも１つのピクセル値から、前記高解像度画像の前記所与の１つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の１つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記低解像度画像の前記少なくとも別の１つとの間のピクセルの動き変換を伴う、付記２５に記載の装置。
［付記３０］
前記高解像度画像の特定の１つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元される、付記２１に記載の装置。
［付記３１］
ビットストリームを受け取り、そこからデコーダを使用して低解像度画像およびメタデータを復号化する（１０１０）ステップと、
前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する（１０２５）ステップと
を含む方法。
［付記３２］
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、付記３１に記載の方法。
［付記３３］
前記動き変換情報は、２つ以上の前記高解像度画像の間の全体の動きに関係する全体の動き変換情報を含む、付記３２に記載の方法。
［付記３４］
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む、付記３２に記載の方法。
［付記３５］
前記メタデータおよび前記低解像度画像から高解像度モザイクを作成する（１０２０）ステップをさらに含み、前記復元するステップが、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元する、付記３１に記載の方法。
［付記３６］
前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間する（１０２０）ことによって作成される、付記３５に記載の方法。
［付記３７］
前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成するステップをさらに含む、付記３５に記載の方法。
［付記３８］
前記高解像度モザイクの前記ピクセルの所与の１つに対する前記妥当性の尺度が、前記ピクセルの前記所与の１つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の１つは、前記ピクセルの前記所与の１つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定される、付記３７に記載の方法。
［付記３９］
前記高解像度画像の所与の１つは、前記低解像度画像の対応する１つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の１つにおける周囲の同位置ピクセルの少なくとも１つのピクセル値から、前記高解像度画像の前記所与の１つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の１つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記低解像度画像の前記少なくとも別の１つとの間のピクセルの動き変換を伴う、付記３５に記載の方法。
［付記４０］
前記高解像度画像の特定の１つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元される、付記３１に記載の装置。
［付記４１］
高解像度画像から生成された符号化された低解像度画像および前記高解像度画像から生成されるメタデータを備え、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、符号化されたビデオ信号データを有するコンピュータ可読記憶媒体。
【図１】
0005911809.tif 000047
【図２】
0005911809.tif 000048
【図３】
0005911809.tif 000049
【図４Ａ】
0005911809.tif 000050
【図４Ｂ】
0005911809.tif 000051
【図４Ｃ】
0005911809.tif 000052
【図４Ｄ】
0005911809.tif 000053
【図５Ａ】
0005911809.tif 000054
【図５Ｂ】
0005911809.tif 000055
【図５Ｃ】
0005911809.tif 000056
【図５Ｄ】
0005911809.tif 000057
【図６】
0005911809.tif 000058
【図７Ａ】
0005911809.tif 000059
【図７Ｂ】
0005911809.tif 000060
【図７Ｃ】
0005911809.tif 000061
【図７Ｄ】
0005911809.tif 000062
【図７Ｅ】
0005911809.tif 000063
【図７Ｆ】
0005911809.tif 000064
【図８Ａ】
0005911809.tif 000065
【図８Ｂ】
0005911809.tif 000066
【図８Ｃ】
0005911809.tif 000067
【図８Ｄ】
0005911809.tif 000068
【図９Ａ】
0005911809.tif 000069
【図９Ｂ】
0005911809.tif 000070
【図９Ｃ】
0005911809.tif 000071
【図９Ｄ】
0005911809.tif 000072
【図１０】
0005911809.tif 000073
【図１１Ａ】
0005911809.tif 000074
【図１１Ｂ】
0005911809.tif 000075