【手続補正書】
【提出日】平成26年1月20日(2014.1.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するダウンサンプラおよびメタデータ生成器であって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものであり、前記メタデータは、各フレームが補助ピクセル情報を供給するように、ダウンサンプリング用に使用されるサンプリンググリッド情報を含むことを特徴とする、ダウンサンプラおよびメタデータ生成器と、
前記低解像度画像および前記メタデータを符号化する少なくとも１つのエンコーダと、
を備える装置。
【請求項２】
高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するステップであって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものであり、前記メタデータは、各フレームが補助ピクセル情報を供給するように、ダウンサンプリング用に使用されるサンプリンググリッド情報を含むことを特徴とする、ステップと、
少なくとも１つのエンコーダを使用して前記低解像度画像および前記メタデータを符号化するステップと、
を含む方法。
【請求項３】
前記高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器は、参照画像から前記１つまたは複数の非参照画像それぞれへの動きを推定し、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、前記１つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成する、請求項２に記載の方法。
【請求項４】
前記１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記１つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択される、請求項３に記載の方法。
【請求項５】
前記グリッドが、前記１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成された超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応する、請求項４に記載の方法。
【請求項６】
前記グリッドは歪み尺度に基づいてさらに選択される、請求項４に記載の方法。
【請求項７】
前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも１つの特定のものの異なる部分をダウンサンプリングするのに使用される、請求項３に記載の方法。
【請求項８】
個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の前景ピクセルの個々の位置を示す、請求項３に記載の方法。
【請求項９】
ビットストリームを受け取り、そこから低解像度画像およびメタデータを復号化するデコーダと、
前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する超解像度化ポストプロセッサであって、前記メタデータは、各フレームが補助ピクセル情報を供給するように、ダウンサンプリング用に使用されるサンプリンググリッド情報を含むことを特徴とする、超解像度化ポストプロセッサと、
を備える装置。
【請求項１０】
ビットストリームを受け取り、そこからデコーダを使用して低解像度画像およびメタデータを復号化するステップと、
前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元するステップであって、前記メタデータは、各フレームが補助ピクセル情報を供給するように、ダウンサンプリング用に使用されるサンプリンググリッド情報を含むことを特徴とする、ステップと、
を含む方法。
【請求項１１】
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、請求項２又は１０に記載の方法。
【請求項１２】
前記メタデータおよび前記低解像度画像から高解像度モザイクを作成するステップをさらに含み、前記復元するステップが、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元する、請求項２又は１０に記載の方法。
【請求項１３】
前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間することによって作成される、請求項１２に記載の方法。
【請求項１４】
前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成するステップをさらに含む、請求項１２に記載の方法。
【請求項１５】
前記高解像度モザイクの前記ピクセルの所与の１つに対する前記妥当性の尺度が、前記ピクセルの前記所与の１つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の１つは、前記ピクセルの前記所与の１つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定される、請求項１４に記載の方法。
【請求項１６】
前記高解像度画像の所与の１つは、前記低解像度画像の対応する１つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の１つにおける周囲の同位置ピクセルの少なくとも１つのピクセル値から、前記高解像度画像の前記所与の１つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の１つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記低解像度画像の前記少なくとも別の１つとの間のピクセルの動き変換を伴う、請求項１２に記載の方法。
【請求項１７】
前記高解像度画像の特定の１つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元される、請求項２又は１０に記載の方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０２２３
【補正方法】変更
【補正の内容】
【０２２３】
添付図面を参照して例示的な実施形態を本明細書に記載してきたが、本発明の原理はそれらの正確な実施形態に限定されず、本発明の原理の範囲または趣旨から逸脱することなく、関連分野の当業者によって様々な変更および修正が達成されてもよいことを理解されたい。かかる変更および修正はすべて、添付の特許請求の範囲で説明されるような本発明の原理の範囲内に含まれるものとする。
［付記１］
高解像度画像を受け取り、そこから低解像度画像およびメタデータを生成するダウンサンプラおよびメタデータ生成器であって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、ダウンサンプラおよびメタデータ生成器（１５１）と、
前記低解像度画像および前記メタデータを符号化する少なくとも１つのエンコーダ（１５２）と
を備える装置。
［付記２］
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、付記１に記載の装置。
［付記３］
前記動き変換情報は、前記高解像度画像の２つ以上の間の全体の動きに関係する全体の動き変換情報を含む、付記２に記載の装置。
［付記４］
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む、付記２に記載の装置。
［付記５］
前記高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器（１５１）は、参照画像から前記１つまたは複数の非参照画像それぞれへの動きを推定し、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し、前記１つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングすることによって、前記低解像度画像を生成する、付記１に記載の装置。
［付記６］
前記１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記１つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択される、付記５に記載の装置。
［付記７］
前記グリッドが、前記１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成された超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応する、付記６に記載の装置。
［付記８］
前記グリッドは歪み尺度に基づいてさらに選択される、付記６に記載の装置。
［付記９］
前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも１つの特定のものの異なる部分をダウンサンプリングするのに使用される、付記５に記載の装置。
［付記１０］
個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の前景ピクセルの個々の位置を示す、付記５に記載の装置。
［付記１１］
高解像度画像を受け取り（６１０）、そこから低解像度画像およびメタデータを生成する（６２５、１１０）ステップであって、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものであるステップと、
少なくとも１つのエンコーダを使用して前記低解像度画像および前記メタデータを符号化する（１１５）ステップと
を含む方法。
［付記１２］
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む（６１５、６２０）、付記１１に記載の方法。
［付記１３］
前記動き変換情報は、２つ以上の前記高解像度画像の間の全体の動きに関係する全体の動き変換情報を含む（６１５）、付記１２に記載の方法。
［付記１４］
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む（６２０）、付記１２に記載の方法。
［付記１５］
前記高解像度画像は、少なくとも１つの参照画像および１つまたは複数の非参照画像を含み、前記ダウンサンプラおよびメタデータ生成器は、参照画像から前記１つまたは複数の非参照画像それぞれへの動きを推定し（６１５）、前記動き情報に基づいて前記高解像度画像をダウンサンプリングするのに使用するため、複数の候補ダウンサンプリンググリッドから１つまたは複数のダウンサンプリンググリッドを選択し（６２０）、前記１つまたは複数のダウンサンプリンググリッドを使用して前記高解像度画像をダウンサンプリングする（６２５）ことによって、前記低解像度画像を生成する、付記１１に記載の方法。
［付記１６］
前記１つまたは複数のダウンサンプリンググリッドを使用してダウンサンプリングされたとき、前記高解像度画像それぞれが前記低解像度画像の前記復号化後の後処理のための補助ピクセル情報を供給するように、前記１つまたは複数のダウンサンプリンググリッドが前記動き情報に基づいて選択される、付記１５に記載の方法。
［付記１７］
前記グリッドが、前記１つまたは複数のダウンサンプリンググリッドの特定の１つを使用して生成された超解像度画像における以前の未充填ピクセルの数を示す充填率に基づいてさらに選択され、前記超解像度画像は、前記低解像度画像および前記メタデータの前記復号化後の後処理によって供給される出力に対応する、付記１６に記載の方法。
［付記１８］
前記グリッドは歪み尺度に基づいてさらに選択される、付記１６に記載の方法。
［付記１９］
前記複数のダウンサンプリンググリッドの異なるものが、前記高解像度画像の少なくとも１つの特定のものの異なる部分をダウンサンプリングするのに使用される、付記１５に記載の方法。
［付記２０］
個々のバイナリマスクは前記高解像度画像それぞれに対して構築され、前記バイナリマスクは前記高解像度画像の前景ピクセルの個々の位置を示す、付記１５に記載の方法。
［付記２１］
ビットストリームを受け取り、そこから低解像度画像およびメタデータを復号化するデコーダ（１５３）と、
前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する超解像度化ポストプロセッサ（１５４）と
を備える装置。
［付記２２］
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、付記２１に記載の装置。
［付記２３］
前記動き変換情報は、２つ以上の前記高解像度画像の間の全体の動きに関係する全体の動き変換情報を含む、付記２２に記載の装置。
［付記２４］
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む、付記２２に記載の装置。
［付記２５］
前記超解像度化ポストプロセッサ（１５４）は、前記メタデータおよび前記低解像度画像から高解像度モザイクを作成し、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元する、付記２１に記載の装置。
［付記２６］
前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間することによって作成される、付記２５に記載の装置。
［付記２７］
前記超解像度化ポストプロセッサ（１５４）は、前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成する、付記２５に記載の装置。
［付記２８］
前記高解像度モザイクの前記ピクセルの所与の１つに対する前記妥当性の尺度が、前記ピクセルの前記所与の１つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の１つは、前記ピクセルの前記所与の１つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定される、付記２７に記載の装置。
［付記２９］
前記高解像度画像の所与の１つは、前記低解像度画像の対応する１つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の１つにおける周囲の同位置ピクセルの少なくとも１つのピクセル値から、前記高解像度画像の前記所与の１つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の１つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記低解像度画像の前記少なくとも別の１つとの間のピクセルの動き変換を伴う、付記２５に記載の装置。
［付記３０］
前記高解像度画像の特定の１つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元される、付記２１に記載の装置。
［付記３１］
ビットストリームを受け取り、そこからデコーダを使用して低解像度画像およびメタデータを復号化する（１０１０）ステップと、
前記低解像度画像および前記メタデータを使用して、前記低解像度画像にそれぞれ対応する高解像度画像を復元する（１０２５）ステップと
を含む方法。
［付記３２］
前記メタデータは動き変換情報およびサンプリンググリッド情報を含む、付記３１に記載の方法。
［付記３３］
前記動き変換情報は、２つ以上の前記高解像度画像の間の全体の動きに関係する全体の動き変換情報を含む、付記３２に記載の方法。
［付記３４］
前記サンプリンググリッド情報は、ダウンサンプリングによって前記高解像度画像から前記低解像度画像を生成するのに使用される、複数のダウンサンプリンググリッドのそれぞれ１つを示すサンプリンググリッドインデックスを含む、付記３２に記載の方法。
［付記３５］
前記メタデータおよび前記低解像度画像から高解像度モザイクを作成する（１０２０）ステップをさらに含み、前記復元するステップが、前記低解像度画像、前記メタデータ、および前記高解像度モザイクを使用して前記高解像度画像を復元する、付記３１に記載の方法。
［付記３６］
前記高解像度モザイクは、前記低解像度画像における周囲の同位置ピクセルのピクセル値から、前記高解像度モザイクのピクセル位置でピクセル値を補間する（１０２０）ことによって作成される、付記３５に記載の方法。
［付記３７］
前記高解像度モザイクのピクセルそれぞれの妥当性の尺度を含む妥当性マップを生成するステップをさらに含む、付記３５に記載の方法。
［付記３８］
前記高解像度モザイクの前記ピクセルの所与の１つに対する前記妥当性の尺度が、前記ピクセルの前記所与の１つの周りの近隣にあるサンプルに基づいて演算され、前記ピクセルの前記所与の１つは、前記ピクセルの前記所与の１つに対して演算された前記妥当性の尺度が閾値を上回る場合のみ、前記高解像度画像の復元に使用するのに容認可能なものとして指定される、付記３７に記載の方法。
［付記３９］
前記高解像度画像の所与の１つは、前記低解像度画像の対応する１つにおける周囲の同位置ピクセル、前記高解像度モザイクの周囲の同位置ピクセル、および前記低解像度画像の少なくとも別の１つにおける周囲の同位置ピクセルの少なくとも１つのピクセル値から、前記高解像度画像の前記所与の１つのピクセル位置でピクセル値を補間することによって復元され、前記高解像度モザイクの前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記高解像度モザイクとの間のピクセルの動き変換を伴い、前記低解像度画像の前記少なくとも別の１つにおける前記周囲の同位置ピクセルからの前記補間は、前記高解像度画像の前記所与の１つと前記低解像度画像の前記少なくとも別の１つとの間のピクセルの動き変換を伴う、付記３５に記載の方法。
［付記４０］
前記高解像度画像の特定の１つの前景ピクセルが、前記低解像度画像における周囲の同位置ピクセルから補間することによって復元される、付記３１に記載の装置。
［付記４１］
高解像度画像から生成された符号化された低解像度画像および前記高解像度画像から生成されるメタデータを備え、前記メタデータは、前記低解像度画像および前記メタデータの復号化後の後処理をガイドするためのものである、符号化されたビデオ信号データを有するコンピュータ可読記憶媒体。