【手続補正書】
【提出日】平成28年3月4日(2016.3.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の空間的な解像度及び第１の時間的な解像度を有する入力ビデオフレームシーケンスについて超解像度処理を実行する方法であって、
前記入力ビデオフレームシーケンスのフレームを時間的に補間し、時間的に補間されたフレームを取得するステップと、
前記入力ビデオフレームシーケンスのフレーム及び時間的に補間されたフレームを空間的に補間し、高解像度の低周波時空間フレームを生成するステップであって、前記高解像度の低周波時空間フレームは、前記第１の空間的な解像度より高い第２の空間的な解像度と前記第１の時間的な解像度より高い第２の時間的な解像度とを有する、ステップと、
前記入力ビデオフレームシーケンスのビデオフレームについてフレーム間の空間的な高周波外挿補間を実行し、前記入力ビデオフレームシーケンスのパッチを利用して空間的な高周波合成処理を適用し、前記第２の空間的な解像度及び第２の時間的な解像度を有する高解像度の高周波空間フレームを生成するステップであって、時間的に一致する入力ビデオフレームを有する高解像度の高周波空間フレームのうちの第１のグループは、時間的に一致する入力ビデオフレーム各々から合成され、時間的に一致する入力ビデオフレームを有しない高解像度の高周波空間フレームのうちの第２のグループは、前記第１のグループに属する隣接するフレームに時間的に一致する入力ビデオフレームから合成される、ステップと、
前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得するステップと
を有する方法。
【請求項２】
前記低周波時空間フレームを時間的に補間したフレームは、
少なくとも２つの入力フレームの間でモーションフィールドを生成する処理と、
出力画像のバッファを初期化する処理と、
前記出力画像の時間位置を決定する処理と、
前記２つの入力フレームの各々を重複するパッチに分割する処理と
前記の双方の入力フレームの各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する処理と、
前記の双方の入力フレームの各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する処理と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する処理であって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、処理と、
前記出力画像の画素各々に寄与をもたらす重み係数を、重み係数の蓄積バッファに蓄積する処理であって、蓄積される重み係数は画素の各々について取得される、処理と、
前記の双方の画像の全てのパッチが処理された場合に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する処理と
により取得される、請求項１に記載の方法。
【請求項３】
前記モーションフィールドは、反復的なロバストブロックマッチング（ＩＲＢＭ）により取得され、該ＩＲＢＭは、
ブロックマッチングにより類似するパッチを発見する処理と、
ラージスケールの線形フィルタリング及びローカルスケールの非線形フィルタリングを前記類似するパッチに反復的に適用する処理と
を含む、請求項２に記載の方法。
【請求項４】
前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合する前記のステップが、
前記高解像度の高周波空間フレームをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間フレームを取得するステップと、
前記ハイパスフィルタリングされた高解像度の高周波空間フレームと前記高解像度の低周波時空間フレームとを結合するステップと
を有する請求項１〜３のうち何れか１項に記載の方法。
【請求項５】
前記入力ビデオフレームシーケンスのビデオフレームについてフレーム間の空間的な高周波外挿補間を実行する前記のステップが、
前記入力ビデオフレームシーケンスの入力ビデオフレームを第１のローパスフィルタによりフィルタリングし、低周波入力ビデオフレームを取得するステップと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成するステップと、
前記入力ビデオフレームをアップスケーリングし、アップスケーリングされた入力ビデオフレームを第２のローパスフィルタによりフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得するステップと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定するステップと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するステップと、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するステップと、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するステップと、
アップスケールされた低周波ビデオフレームの中で新たなパッチを特定する処理と、低周波入力ビデオフレームの中で、選択されたパッチに最も合致するブロックを探す処理と、高周波入力ビデオフレームの中で、対応するブロックを選択する処理と、アップスケールされた高周波ビデオフレームの中で新たなパッチの位置におけるパッチについて、対応する選択されたブロックの画素データを蓄積する処理とを反復するステップと、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得するステップと、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得するステップと
を有する請求項１〜４のうち何れか１項に記載の方法。
【請求項６】
高解像度の高周波空間フレームの第２のグループの現在フレームが、前記現在フレームの直接隣接する時間的に一致する入力シーケンスの２つのフレームから、高周波合成により取得される、請求項５に記載の方法。
【請求項７】
入力ビデオシーケンスについて超解像度処理を実行するシステムであって、
入力ビデオシーケンスについての高解像度の低周波時空間フレームを、補間により生成する処理部と、
フレーム間の空間的な高周波外挿補間により、前記入力ビデオシーケンスのフレームから、高解像度の高周波空間フレームを合成する処理部と、
前記の２つのフレームを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスのフレームを生成する処理部と
を有するシステム。
【請求項８】
第１の空間的な解像度及び第１の時間的な解像度を有する入力ビデオフレームシーケンスについて超解像度処理を実行する装置であって、
前記入力ビデオフレームシーケンスのフレームを時間的に補間し、時間的に補間されたフレームを取得する時間補間モジュールと、
前記入力ビデオフレームシーケンスのフレーム及び時間的に補間されたフレームを空間的に補間し、高解像度の低周波時空間フレームを生成する空間補間モジュールであって、前記高解像度の低周波時空間フレームは、前記第１の空間的な解像度より高い第２の空間的な解像度と前記第１の時間的な解像度より高い第２の時間的な解像度とを有する、空間補間モジュールと、
前記入力ビデオフレームシーケンスのビデオフレームについてフレーム間の空間的な高周波外挿補間を実行し、前記入力ビデオフレームシーケンスのパッチを利用して空間的な高周波合成処理を実行し、前記第２の空間的な解像度及び第２の時間的な解像度を有する高解像度の高周波空間フレームを生成する空間外挿補間モジュールであって、時間的に一致する入力ビデオフレームを有する高解像度の高周波空間フレームのうちの第１のグループは、時間的に一致する入力ビデオフレーム各々から合成され、時間的に一致する入力ビデオフレームを有しない高解像度の高周波空間フレームのうちの第２のグループは、前記第１のグループに属する隣接するフレームに時間的に一致する入力ビデオフレームから合成される、空間外挿補間モジュールと、
前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する結合モジュールと
を有する装置。
【請求項９】
当該装置は、前記低周波時空間フレームを時間的に補間したフレームを取得するモジュールを更に有し、該モジュールは、
少なくとも２つの入力フレームの間でモーションフィールドを生成するモーションフィールド生成モジュールと、
出力画像のバッファと、
前記出力画像の時間位置を決定する制御部と、
前記２つの入力フレームの各々を重複するパッチに分割する分割モジュールと、
前記の入力フレームの双方又は一方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像におけるパッチの空間位置を計算する線形補間部と、
前記の入力フレームの双方又は一方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する重み係数計算部と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する第１のアキュムレータであって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、第１のアキュムレータと、
重み係数の蓄積バッファと、
前記出力画像の画素各々に寄与をもたらす重み係数を、前記重み係数の蓄積バッファに蓄積する第２のアキュムレータであって、蓄積される重み係数は画素の各々について取得される、第２のアキュムレータと、
前記の双方の画像の全てのパッチが処理された後に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する正規化モジュールと
を有する、請求項８に記載の装置。
【請求項１０】
当該装置は、ラージスケール線形フィルタ及びローカルスケール非線形フィルタを有する反復的なロバストブロックマッチング（ＩＲＢＭ）部を更に有し、
前記反復的なロバストブロックマッチング部が、所与のパッチに類似するパッチを発見し、ラージスケールの線形フィルタリング及びローカルスケールの非線形フィルタリングを前記類似するパッチに反復的に適用することにより、前記モーションフィールドが取得される、請求項９に記載の装置。
【請求項１１】
前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合する前記結合モジュールが、
前記高解像度の高周波空間フレームをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間フレームを取得するハイパスフィルタと、
前記ハイパスフィルタリングされた高解像度の高周波空間フレームと前記高解像度の低周波時空間フレームとを結合する結合部と
を有する請求項８〜１０のうち何れか１項に記載の装置。
【請求項１２】
前記入力ビデオフレームシーケンスのビデオフレームについてフレーム間の空間的な高周波外挿補間を実行する前記空間外挿補間モジュールが、
前記入力ビデオフレームシーケンスの入力ビデオフレームをフィルタリングし、低周波入力ビデオフレームを取得する第１のローパスフィルタと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成する差分化部と、
前記入力ビデオフレームをアップスケーリングするアップスケーリング部と、
アップスケーリングされた入力ビデオフレームをフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得する第２のローパスフィルタと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定する処理モジュールと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するサーチ部と、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するセレクタ部と、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するアキュムレータ部と、
前記サーチ部、前記セレクタ部及び前記アキュムレータ部のうちの１つ以上を制御し、アップスケーリングされた低周波ビデオフレーム内の全てのパッチを処理するための制御部と、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得する正規化部と、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得する結合部と
を有する請求項８〜１１のうち何れか１項に記載の装置。
【請求項１３】
高解像度の高周波空間フレームの第２のグループの現在フレームが、前記現在フレームの直接隣接する時間的に一致する入力シーケンスの２つのフレームから、高周波合成により取得される、請求項１２に記載の装置。
【請求項１４】
請求項１〜６のうち何れか１項に記載の方法をコンピュータに実行させるコンピュータプログラム。
【請求項１５】
請求項１４に記載のコンピュータプログラムを記憶する記憶媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１０７
【補正方法】変更
【補正の内容】
【０１０７】
以上、本発明に関する基本的な新規な特徴が好ましい実施形態に適用されるように開示、記述及び説明されてきたが、説明された装置の形態や詳細において及びそれらの動作において、説明された装置及び方法に対する様々な省略、置換及び変形が、本発明の精神から逸脱することなく当業者によってなされてよいことが、理解されるであろう。実質的に同じ機能を実質的に同じ方法で実行して同じ結果に至るそれらの要素全ての組み合わせも本発明の範囲内に属することが、明示的に意図されている。説明された或る実施形態の要素を別の実施形態に置換することも十分に意図され想定されている。上述した全ての画像及び/又はパッチは、必ずしも必須ではないが、カラー画像及び/又はカラーパッチとすることが可能である。本発明は純粋に単なる具体例により説明されているにすぎず、発明の範囲から逸脱することなく、細かい修正を行うことが可能であることも理解されるであろう。明細書、(該当する場合には)特許請求の範囲及び図面に開示されている個々の特徴は、独立に又は適切な任意の組み合わせにより提供されてよい。そのような特徴は、該当する場合には、ハードウェア、ソフトウェア又はそれらの組み合わせにより実現されてよい。接続は、該当する場合には、無線接続又は有線接続として実現されてよく、必ずしも直接的或るいは専用の接続である必要はない。特許請求の範囲に参照番号が仮に含まれていたとしても、それは単なる例示に過ぎず、特許請求の範囲を限定するように解釈してはならない。
実施形態に関する付記を以下に例示的に示す。
（付記１）
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する方法であって、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成するステップと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成するステップと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得するステップと
を有する方法。
（付記２）
前記フレーム間の空間的な高周波外挿補間を実行する際に、前記低周波時空間バンドを時間的に補間したフレームが使用される、付記１に記載の方法。
（付記３）
前記低周波時空間バンドを時間的に補間したフレームは、
少なくとも２つの入力フレームの間でモーションフィールドを生成する処理と、
出力画像のバッファを初期化する処理と、
前記出力画像の時間位置を決定する処理と、
前記２つの入力フレームの各々を重複するパッチ群に分割する処理と
前記２つの入力フレーム双方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する処理と、
前記２つの入力フレーム双方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する処理と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する処理であって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、処理と、
前記２つの入力フレーム双方について、画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、重み係数の蓄積バッファに蓄積する処理と、
前記２つの入力フレーム双方の全てのパッチが処理された場合に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する処理と
を実行することにより取得される、付記１に記載の方法。
（付記４）
前記モーションフィールドがＩＲＢＭにより取得される、付記３に記載の方法。
（付記５）
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する前記ステップが、
前記高解像度の高周波空間バンドをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間バンドを取得するステップと、
前記ハイパスフィルタリングされた高解像度の高周波空間バンドと前記高解像度の低周波時空間バンドとを結合するステップと
を有する付記１〜４のうち何れか１項に記載の方法。
（付記６）
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成する前記ステップが、
前記入力ビデオフレームシーケンスの入力ビデオフレームを第１のローパスフィルタによりフィルタリングし、低周波入力ビデオフレームを取得するステップと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成するステップと、
前記入力ビデオフレームをアップスケーリングし、アップスケーリングされた入力ビデオフレームを第２のローパスフィルタによりフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得するステップと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定するステップと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するステップと、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するステップと、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するステップと、
アップスケールされた低周波ビデオフレームの中で新たなパッチを特定する処理と、低周波入力ビデオフレームの中で、選択されたパッチに最も合致するブロックを探す処理と、高周波入力ビデオフレームの中で、対応するブロックを選択する処理と、アップスケールされた高周波ビデオフレームの中で新たなパッチの位置におけるパッチについて、対応する選択されたブロックの画素データを蓄積する処理とを反復するステップと、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得するステップと、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得するステップと
を有する付記１〜５のうち何れか１項に記載の方法。
（付記７）
超解像度処理を実行するシステムであって、
入力ビデオフレームシーケンスについての高解像度の低周波時空間バンドを、補間により生成する処理部と、
フレーム間の空間的な高周波外挿補間により、高解像度の高周波空間バンドを合成する処理部と、
前記の２つのバンドを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを生成する処理部と
を有するシステム。
（付記８）
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する装置であって、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成する空間補間モジュールと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成する空間外挿補間モジュールと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する結合モジュールと
を有する装置。
（付記９）
前記フレーム間の空間的な高周波外挿補間を実行する際に、前記低周波時空間バンドを時間的に補間したフレームが使用される、付記８に記載の装置。
（付記１０）
当該装置は、前記低周波時空間バンドを時間的に補間したフレームを取得するモジュールを更に有し、該モジュールは、
少なくとも２つの入力フレームの間でモーションフィールドを生成するモーションフィールド生成モジュールと、
出力画像バッファと、
前記出力画像の時間位置を決定する制御部と、
前記２つの入力フレームの各々を重複するパッチ群に分割する分割モジュールと
前記２つの入力フレームの双方又は一方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する線形補間部と、
前記２つの入力フレーム双方又は一方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する重み係数計算部と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する第１のアキュムレータであって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、第１のアキュムレータと、
重み係数の蓄積バッファと、
画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、前記重み係数の蓄積バッファに蓄積する第２のアキュムレータと、
前記２つの入力フレーム双方の全てのパッチが処理された後に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する正規化モジュールと
を有する、付記９に記載の装置。
（付記１１）
当該装置がＩＲＢＭ処理部を更に有し、前記モーションフィールドがＩＲＢＭにより取得される、付記１０に記載の装置。
（付記１２）
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合する前記結合モジュールが、
前記高解像度の高周波空間バンドをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間バンドを取得するハイパスフィルタと、
前記ハイパスフィルタリングされた高解像度の高周波空間バンドと前記高解像度の低周波時空間バンドとを結合する結合部と
を有する付記８〜１１のうち何れか１項に記載の装置。
（付記１３）
前記入力ビデオフレームシーケンスのフレームを空間的に補間する前記空間補間モジュールが、
前記入力ビデオフレームシーケンスの入力ビデオフレームをフィルタリングし、低周波入力ビデオフレームを取得する第１のローパスフィルタと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成する差分処理部と、
前記入力ビデオフレームをアップスケーリングするアップスケーリング部と、
アップスケーリングされた入力ビデオフレームをフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得する第２のローパスフィルタと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定する処理モジュールと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するサーチ部と、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するセレクタ部と、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するアキュムレータ部と、
前記サーチ部、前記セレクタ部及び前記アキュムレータ部のうちの１つ以上を制御し、アップスケーリングされた低周波ビデオフレーム内の全てのパッチを処理するための制御部と、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得する正規化部と、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得する結合部と
を有する付記８〜１２のうち何れか１項に記載の装置。