(57)【要約】  超分解処理を実行するための方法は、入力ビデオシーケンス(LR)の高解像度低周波(HRLF)時空間バンドを補間により生成するステップと、高解像度高周波(HRHF)空間バンドを、フレーム間空間高周波外挿により合成するステップと、これら2つのバンドを結合し、時空間超分解ビデオシーケンス(HR)を生成するステップとを有する。超分解処理を実行するための対応するシステムは、入力ビデオシーケンス(LR)の高解像度低周波(HRLF)時空間バンドが補間により生成される処理ステージ部と、高解像度高周波(HRHF)空間バンドが、フレーム間空間高周波外挿により合成される処理ステージ部と、これら2つのバンドが結合され、時空間超分解ビデオシーケンス(HR)を生成する処理ステージ部とを有する。
2015515179.tif 000002
【特許請求の範囲】
【請求項１】
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する方法であって、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成するステップと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成するステップと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得するステップと
を有する方法。
【請求項２】
前記フレーム間の空間的な高周波外挿補間を実行する際に、前記低周波時空間バンドを時間的に補間したフレームが使用される、請求項１に記載の方法。
【請求項３】
前記低周波時空間バンドを時間的に補間したフレームは、
少なくとも２つの入力フレームの間でモーションフィールドを生成する処理と、
出力画像のバッファを初期化する処理と、
前記出力画像の時間位置を決定する処理と、
前記２つの入力フレームの各々を重複するパッチ群に分割する処理と
前記２つの入力フレーム双方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する処理と、
前記２つの入力フレーム双方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する処理と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する処理であって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、処理と、
前記２つの入力フレーム双方について、画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、重み係数の蓄積バッファに蓄積する処理と、
前記２つの入力フレーム双方の全てのパッチが処理された場合に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する処理と
を実行することにより取得される、請求項１に記載の方法。
【請求項４】
前記モーションフィールドがＩＲＢＭにより取得される、請求項３に記載の方法。
【請求項５】
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する前記ステップが、
前記高解像度の高周波空間バンドをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間バンドを取得するステップと、
前記ハイパスフィルタリングされた高解像度の高周波空間バンドと前記高解像度の低周波時空間バンドとを結合するステップと
を有する請求項１〜４のうち何れか１項に記載の方法。
【請求項６】
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成する前記ステップが、
前記入力ビデオフレームシーケンスの入力ビデオフレームを第１のローパスフィルタによりフィルタリングし、低周波入力ビデオフレームを取得するステップと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成するステップと、
前記入力ビデオフレームをアップスケーリングし、アップスケーリングされた入力ビデオフレームを第２のローパスフィルタによりフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得するステップと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定するステップと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するステップと、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するステップと、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するステップと、
アップスケールされた低周波ビデオフレームの中で新たなパッチを特定する処理と、低周波入力ビデオフレームの中で、選択されたパッチに最も合致するブロックを探す処理と、高周波入力ビデオフレームの中で、対応するブロックを選択する処理と、アップスケールされた高周波ビデオフレームの中で新たなパッチの位置におけるパッチについて、対応する選択されたブロックの画素データを蓄積する処理とを反復するステップと、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得するステップと、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得するステップと
を有する請求項１〜５のうち何れか１項に記載の方法。
【請求項７】
超解像度処理を実行するシステムであって、
入力ビデオフレームシーケンスについての高解像度の低周波時空間バンドを、補間により生成する処理部と、
フレーム間の空間的な高周波外挿補間により、高解像度の高周波空間バンドを合成する処理部と、
前記の２つのバンドを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを生成する処理部と
を有するシステム。
【請求項８】
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する装置であって、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成する空間補間モジュールと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成する空間外挿補間モジュールと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する結合モジュールと
を有する装置。
【請求項９】
前記フレーム間の空間的な高周波外挿補間を実行する際に、前記低周波時空間バンドを時間的に補間したフレームが使用される、請求項８に記載の装置。
【請求項１０】
当該装置は、前記低周波時空間バンドを時間的に補間したフレームを取得するモジュールを更に有し、該モジュールは、
少なくとも２つの入力フレームの間でモーションフィールドを生成するモーションフィールド生成モジュールと、
出力画像バッファと、
前記出力画像の時間位置を決定する制御部と、
前記２つの入力フレームの各々を重複するパッチ群に分割する分割モジュールと
前記２つの入力フレームの双方又は一方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する線形補間部と、
前記２つの入力フレーム双方又は一方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する重み係数計算部と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する第１のアキュムレータであって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、第１のアキュムレータと、
重み係数の蓄積バッファと、
画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、前記重み係数の蓄積バッファに蓄積する第２のアキュムレータと、
前記２つの入力フレーム双方の全てのパッチが処理された後に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する正規化モジュールと
を有する、請求項９に記載の装置。
【請求項１１】
当該装置がＩＲＢＭ処理部を更に有し、前記モーションフィールドがＩＲＢＭにより取得される、請求項１０に記載の装置。
【請求項１２】
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合する前記結合モジュールが、
前記高解像度の高周波空間バンドをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間バンドを取得するハイパスフィルタと、
前記ハイパスフィルタリングされた高解像度の高周波空間バンドと前記高解像度の低周波時空間バンドとを結合する結合部と
を有する請求項８〜１１のうち何れか１項に記載の装置。
【請求項１３】
前記入力ビデオフレームシーケンスのフレームを空間的に補間する前記空間補間モジュールが、
前記入力ビデオフレームシーケンスの入力ビデオフレームをフィルタリングし、低周波入力ビデオフレームを取得する第１のローパスフィルタと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成する差分処理部と、
前記入力ビデオフレームをアップスケーリングするアップスケーリング部と、
アップスケーリングされた入力ビデオフレームをフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得する第２のローパスフィルタと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定する処理モジュールと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するサーチ部と、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するセレクタ部と、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するアキュムレータ部と、
前記サーチ部、前記セレクタ部及び前記アキュムレータ部のうちの１つ以上を制御し、アップスケーリングされた低周波ビデオフレーム内の全てのパッチを処理するための制御部と、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得する正規化部と、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得する結合部と
を有する請求項８〜１２のうち何れか１項に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は時間領域又は時空間領域において超解像度処理(super  resolution：SR)を実行するための方法及び装置等に関連する。
【背景技術】
【０００２】
非特許文献1においては、入力ビデオシーケンスの時空間ピラミッドが形成され、これは様々な空間及び時間スケールによる複数のバージョンを含む。そして、(5×5の画素による空間次元と3フレームによる時間次元とを有する)時空間ビデオパッチの各々について、ピラミッドの中で最も合致する組(セット)が探索される。この処理はランダム化された探索方式を利用することにより高速化できるが、非常にコストがかかる。そして、標準的な再構築方式のSR技術を利用して複数の超分解ビデオパッチ(super-resolved  video  patch)を生成し、これらを一緒にすると、超分解処理されたビデオシーケンスになる。たとえこの方法が所定の結果をもたらすように適切に機能するとしても、入力ビデオシーケンスの中で様々な空間及び時間スケールにより再帰的ではない形式で生じる様々な性質の動きを伴う一般的なシーケンスにおいても適切に機能するか否かは明確でない。更に、時空間サーチは、たとえ包括的(或いは網羅的)ではないにしても、コストのかかる処理(或いは、負担の重い処理)であり、これはリアルタイムアプリケーションには使用できない方法であるということになる。
【０００３】
非特許文献2においては、複数の時空間シフトにより複数のバージョンが存在する超分解されたシーケンスバージョンが提案されており、これはグラフ切断方式を利用して、MRF-MAP(Markov  Random  Field  -  Maximum  A  Posteriori)モデルによる標準的な再構築方式の超分解方程式を解いている。この方法は、同じビデオシーケンスを異なる時空間シフトした複数のバージョンが存在することを必要とするが、これらは、利用可能な記録内容のほとんどにおいて生じないものである。
【０００４】
非特許文献3においては、ジョイントフレームレートアップコンバージョン及びアップスケーリングを行う方法が提案されており、これは標準的な再構築方式の超解像度モデルに基づいている。この文献で提案されている方法は時間的な超分解を行うことが可能であるが、そのような動作を記述する方程式は、得られるものが、空間的に最も近い超分解フレームの平滑化線形補間であり、これは一般的な動作に対しては不適切な補間フレームを招いてしまう。
【０００５】
非特許文献4においては、ブロックマッチング方式を利用することにより合致するパッチを整合させた後に、ビデオシーケンスの時空間超分解が、ローカル領域における時空間ステアリングフィルタを利用することにより行われている。この方式には問題が2つあり、第1の問題は、時空間ステアリングフィルタの影響により、超分解されるべき領域に非線形の過剰な平滑化を施してしまい、コストのかかる非線形な後処理及び詳細情報の欠落を招いてしまうことであり、この方式の第2の問題は、動き補償(ブロックマッチング)に起因して、限られた部分的な動き範囲の中でしか適切な補間フレームを生成できないことである。
【先行技術文献】
【非特許文献】
【０００６】
【非特許文献１】“Space-Time  Super-Resolution  from  a  Single  Video”,  O.  Shahar,  A.  Faktor  and  M.  Irani,  IEEE  Conf.  on  Computer  Vision  and  Pattern  Recognition,  2011
【非特許文献２】“On  improving  space-time  super  resolution  using  a  small  set  of  video  inputs”,  U.  Mudenagudi,  S.  Banerjee  and  P.  Kalra,  Indian  Conf.  on  Computer  Vision,  Graphics  and  Image  Processing,  2008
【非特許文献３】“Spatio-temporal  resolution  enhancement  of  video  sequence  based  in  super-resolution  reconstruction”,  M.  Haseyama,  D.  Izumi  and  M.  Takizawa,  ICASSP2010
【非特許文献４】“Super-Resolution  Without  Explicit  Subpixel  Motion  Estimation”,  H.  Takeda,  P.  Milanfar,  M.  Protter  and  M.  Elad,  IEEE  Trans.  on  Image  Processing,  vol.  18,  no.9,  2009
【発明の概要】
【発明が解決しようとする課題】
【０００７】
実施の形態の課題は、上記の問題の少なくとも1つを軽減することである。
【課題を解決するための手段】
【０００８】
一観点の実施形態による方法は、
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する方法であって、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成するステップと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成するステップと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得するステップと
を有する方法である。
【図面の簡単な説明】
【０００９】
【図１】一実施形態により提案されるシステムの構造を示す図。
【図２】一実施形態による時空間補間サブシステムを示す図。
【図３】一実施形態による反復的なロバストブロックマッチング方式に関するフローチャートを示す図。
【図４】所望の正規化された時間位置τに新たなフレームがどのようにして生成されるかについての原理を示す図。
【図５】HR/アップサンプルフレームがどのようにして取得されるかについての原理を概要を示す図。
【図６】2つの連続する低解像度入力フレームの一例を示す図。
【図７】関連する超解像度出力フレームを示す図。
【図８】従来のブロックマッチングにより生じるアーチファクトと本発明によるアーチファクトのない結果とを比較例を示す図。
【図９】空間超解像度処理を実行する方法例のフローチャートを示す図。
【図１０】元の解像度スケールによる類似パッチの高周波情報を外挿することにより超解像度画像の高周波バンドを合成する様子を示す図。
【図１１】サーチウィンドウの場所及び利用例を示す図。
【図１２】重複を含む2D入力データ構造における連続パッチの選択例及び連続パッチの合致するブロックを決定する原理的な動作例を示す図。
【図１３】補間された低周波バンドL1及び外挿された高周波バンドH1を結合し、超解像度画像S1を生成する様子を示す図。
【図１４】フレーム内補間の原理構造を示す図。
【図１５】低解像度入力データ構造に対する超解像度処理を実行する装置の構造を示す図。
【発明を実施するための形態】
【００１０】
＜実施の形態の概要＞
本発明は、ビデオシーケンスにおける各フレームの解像度及びビデオフレームのフレームレートのうち少なくとも1つを改善する新規な方法に関連する。本方法はともに係属している欧州特許出願第12305046.0号で説明されている方法に一部関連している。本願で説明されているように、超分解(能)技術又は超解像(度)技術は、様々な次元の信号に適用できる程度に十分に柔軟性を有する(ただし、信号が適切にサンプリングされることを条件とする、すなわち深刻なエイリアシングアーチファクトが生じていないことを条件とする)。混乱のおそれのない限り、超分解は超解像と同義的に使用されてよい。従来技術(発明者等にとっての従来技術)に対する本願による新規な寄与は、(例えば、15ないし30フレーム毎秒(fps)のような)典型的なビデオシーケンスに深刻な時間的なエイリアシングが存在しても対処できる手段を少なくとも有する。一実施形態において、本方法は上記のアプリケーションによる一般的な超分解の枠組み(フレームワーク)に含まれる。画像処理の文献において、本願に関連する方法は、超分解及びフレームレートアップコンバージョンの技術分野に該当する。
【００１１】
一般的な概念として、入力シーケンスのビデオフレームは先ず体積構造(volumetric  structure)に積み上げられ、最初の2つの次元は各フレームにおける垂直軸及び水平軸を表現し、3番目の次元は時間軸を表現する。そして、超分解されるビデオシーケンスの低周波時空間バンド及び空間高周波バンドが別々に生成される。超分解されるビデオシーケンスの低周波時空間バンドは、ロバスト反復ブロックマッチング方法及び分析補間(Robust  Iterative  Block  Matching  method  and  analytical  interpolation)を行うことにより生成される。次の段階において、ビデオシーケンスにおけるローカル時空間自己相似処理(local  spatio-temporal  self-similarity)を利用することにより、空間高周波バンドが合成される。そして、低周波時空間バンド及び空間高周波バンドが合成され、最終的な超分解ビデオシーケンスが生成される。
【００１２】
本発明の一実施形態において、低解像度の入力ビデオシーケンスに超分解処理を実行するための方法は、入力ビデオシーケンスの高解像度低周波(high-resolution,  low  frequency：HRLF)時空間バンドを補間により生成するステップと、高解像度高周波(high-resolution,  high-frequency：HRHF)空間バンドを、フレーム間空間高周波外挿により合成するステップと、これらのバンドを結合し、時空間超分解ビデオシーケンスを生成するステップとを有する。
【００１３】
本発明の一実施形態において、低解像度の入力ビデオシーケンスに超分解処理を実行するためのシステムは、入力ビデオシーケンスの高解像度低周波(HRLF)時空間バンドが補間により生成される処理ステージ部と、高解像度高周波(HRHF)空間バンドが、フレーム間空間高周波外挿により合成される処理ステージ部と、高解像度低周波時空間バンド(HRLF)と高解像度高周波空間バンドとが結合され、時空間超分解ビデオシーケンス(HR)を生成する処理ステージ部とを有する。
【００１４】
本発明は上記及び後述の方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体にも関連する。コンピュータ可読媒体は、コンピュータにより読み取ることが可能な媒体である。
【００１５】
提案される方法の利点のうちの1つは、現在のGPUで利用可能な超並列処理ハードウェア(massively  parallel  hardware)に適した方法で広範囲に及ぶ動きに対する適切な動き補償を行うことが可能な点である。それでも、そのような方法で達成されるフレーム補間結果は、オプティカルフロー(optical  flow)推定による高コストな従来の最新技術に匹敵することが可能である。言い換えれば、本方法はビデオシーケンスの時間軸を適切に補間することが可能であり、これによりフレームレートアップコンバージョンを効果的に行うことができる。
【００１６】
提案方法による利点の1つは、上述した欧州特許出願第12305046.0号で提案されている高周波補間方式を利用することにより、入力ビデオシーケンスの空間解像度を改善できる点である。本発明では、出力ビデオシーケンスの高周波バンドを合成する手段は、3D領域に拡張される幅広いサーチ範囲を考察している。
【００１７】
本発明の実施の形態のよる利点は従属的な階層として明細書及び図面を参照しながら説明される。
【００１８】
＜図面＞
本発明の実施の形態は添付図面を参照しながら説明される。
【００１９】
図1は一実施形態により提案されるシステムの構造を示す。
【００２０】
図2は一実施形態による時空間補間サブシステムを示す。
【００２１】
図3は一実施形態による反復的なロバストブロックマッチング方式に関するフローチャートを示す。
【００２２】
図4は所望の正規化された時間位置τに新たなフレームがどのようにして生成されるかについての原理を示す。
【００２３】
図5はHR/アップサンプルフレームがどのようにして取得されるかについての原理を概要を示す。
【００２４】
図6は2つの連続する低解像度入力フレームの一例を示す。
【００２５】
図7は関連する超解像度出力フレームを示す。
【００２６】
図8は従来のブロックマッチングにより生じるアーチファクトと本発明によるアーチファクトのない結果とを比較例を示す。
【００２７】
図9は空間超解像度処理を実行する方法例のフローチャートを示す。
【００２８】
図10は元の解像度スケールによる類似パッチの高周波情報を外挿することにより超解像度画像の高周波バンドを合成する様子を示す。
【００２９】
図11はサーチウィンドウの場所及び利用例を示す。
【００３０】
図12は重複を含む2D入力データ構造における連続パッチの選択例及び連続パッチの合致するブロックを決定する原理的な動作例を示す。
【００３１】
図13は補間された低周波バンドL1及び外挿された高周波バンドH1を結合し、超解像度画像S1を生成する様子を示す。
【００３２】
図14はフレーム内補間の原理構造を示す。
【００３３】
図15は低解像度入力データ構造に対する超解像度処理を実行する装置の構造を示す。
【００３４】
＜実施の形態の詳細な説明＞
図1は一実施形態により提案されるシステムの構造を示す。図1において、LR10は低解像度の入力されたビデオシーケンス(低解像度入力ビデオシーケンス)であり、HRLF15は高解像度の低周波数に関する補間されたバンド(高解像度低周波補間バンド)であり、HRHF16は高解像度の高周波数の合成されたバンド(高解像度高周波空間合成バンド)であり、HR17はHRLF15及びHRHF16のバンドを合成した後に得られる結果の超解像ビデオシーケンスである。高解像度低周波HRLF補間バンド15は、低解像度入力ビデオシーケンス10が印加される時空間補間部11で生成される。空間HF合成部12にはHRLF補間バンド15が印加され、ここでは元の入力シーケンス10も使用される。空間HF合成部12は高解像度高周波空間合成バンド16を生成する。HRLF補間バンド15及びHRHF合成バンド16は結合され(13)、超解像ビデオシーケンス14が得られる。
【００３５】
以下、時空間補間(部)11の詳細を説明する。システムの時空間補間部は、高解像度出力シーケンスのうちの低周波バンド(HRLF)を取得する。そのブロック図が図2に示されている。主な問題はビデオシーケンスの時間補間である。解決手段として、低解像度の現在のフレーム(低解像度現在フレーム)と先行するものとを利用して、出力時点tが整数でない場合の補間フレームを生成する。これは、動き推定(反復的なロバストブロックマッチング(Iterative  Robust  Block  Matching：IRBM)ブロック)及びフレーム間補間を行うことにより達成され、それ以外の整数の出力時点については、現時点の高解像度低周波バンドが現在フレームの分析補間として取得される。
【００３６】
次に、反復的なロバストブロックマッチング(IRBM)を説明する。標準的なビデオシーケンスではかなりの時間エイリアシングに起因して、連側的なフレーム間のシーケンスを補間する場合に分析補間を適用することはできず、入力ビデオシーケンスに大きな動きやコントラストがあった場合、深刻なゴーストアーチファクトを招いてしまう。本発明はブロックマッチングアルゴリズムを利用して、反復的な方式により、大きなスケールの線形フィルタ及び小さなスケールの非線形フィルタの双方を適切に適用する。これは本願において反復的なロバストブロックマッチング(IRBM)と言及される。一実施形態において、IRBMは後述するように高周波合成の段階でも使用される。
【００３７】
図3は反復的なロバストブロックマッチング処理のフローチャート例を示す。IRBMに対する入力は2つの連続的なビデオフレームI1、I2であり、出力は動きベクトルの稠密集合(dense  set)(すなわち、モーションフィールドMF)310であり、動きベクトルは、第1の入力画像I1(過去のフレーム)におけるオーバーラップする5×5パッチ各々と第2の入力画像I2(将来のフレーム)における推定位置とを関連付ける。5×5画素以外のパッチサイズを利用することも可能でるが、高速処理及び高画像品質等の観点からは5×5が特に好ましい。第1のステップは、画像についてブロックマッチング(BM)301を適用することにより、モーションフィールド(motion  field：MF)の初期推定結果を取得することである。
【００３８】
そして、(通常的には5ないし15回であり、一例として10回である)所定回数iの反復的な改善305がモーションフィールド推定結果に適用される。これらは、大きなスケールの線形フィルタリング302、縮小するサーチウィンドウとともに行うガイドブロックマッチング303、及びローカルなスケールの非線形フィルタリング304の一連の処理から形成される。
【００３９】
画像に関するブロックマッチング301が、初期サーチウィンドウ(例えば、41×41画素)とともに実行される。大きなスケールの線形フィルタリング302は、例えば、81×81のカーネルサイズ(kernel  size)とともに動きベクトルを平均化する。カーネルサイズは中核的サイズ等と言及されてもよい。ガイドブロックマッチング303は縮小するサーチウィンドウサイズを使用する：MFはサーチ範囲のオフセットとして使用され、各々の反復段階で縮小するサーチウィンドウを許容する。経験的には、一実施形態において、サーチウィンドウは21×21から3×3まで指数関数的に減少する。ローカルスケール非線形フィルタリング304は線形に減少するカーネルサイズのメジアンフィルタを利用する。一実施形態において、カーネルサイズは例えば15×15ないし5×5の範囲内にあってもよい。
【００４０】
ブロックマッチング301における初期サーチウィンドウサイズ、ガイドブロックマッチング303におけるサーチウィンドウサイズ、及びローカルスケールの非線形フィルタリング304のためのメジアンフィルタのカーネルサイズのような上記のパラメータの内の少なくとも幾つかは、少なくともパッチサイズとともに可変であってよく、例えば、それらの値のうちの1つ以上は、大きなパッチについては大きな値であってよく、及び/又はCIFより大きな画像について大きな値であってよい。
【００４１】
大スケール線形フィルタリング302における第1の線形フィルタによる効果の1つは、モーションフィールドの推定における平滑化を導入することである。ローカルスケール非線形フィルタリング304における第2の非線形フィルタによる効果の1つは、エッジを維持しつつローカルな一定性を導入することであり、すなわち原理的にはノイズに対する頑強性又はロバスト性(robustness)を導入することである。(大スケール線形フィルタリング302における)平均化の効果をもたらす平滑化フィルタ、ガイドブロックマッチング303、及び、ローカルスケール非線形フィルタリング304における減少するウィンドウサイズを有するロバストフィルタ(例えば、メジアンフィルタ)による一連の処理の反復は、実際のモーションフィールド310の平滑化及びロバスト近似をもたらす。
【００４２】
新たな画像(すなわち、フレーム)を補間するために利用可能な画像(すなわち、フレーム)双方からのデータを利用するために、IRBMは現在の画像I1に関するリファレンスとして第2の画像I2を利用する。この場合、各々の画像を先行するもの/後続するもの関連付ける動きの遅いモーションフィールドが取得される。
【００４３】
次に、図2に示されているフレーム間補間102を説明する。所与の2つの画像及びそれらを互いに関連付ける対応するモーションフィールドに関し、フレーム間補間102の出力は、補間されたフレームq102であり、補間されたフレームq102は、高周波の時間情報を有しておらず、0及び1の間の正規化された時間位置τにおけるものである(0は第1の画像に対応し、1は第2の画像に対応する)。
【００４４】
フレーム間補間102の処理については図4に示されている。先ず、フレーム間補間102では、出力画像が初期化される(例えば、時点0に初期化される)。次に、入力ビデオシーケンス10に属する最初の2つの入力画像fr1、fr2が、重複するパッチ(例えば、5×5のサイズ)に分割される。これら2つの各画像に関し、時間補間される画像の位置が線形補間により算出され、中心に対する動きベクトルMV1にτを乗算することにより、入力画像の位置に関する移動(すなわち、シフト)τ×MV1として算出される。次に、移動したパッチ(すなわちシフトされたパッチ)が、1-τの重み因子とともに中間出力画像403に蓄積される。すなわち、新たなフレームの時間位置は、第1のフレームfr1に近いほど、第1のフレームfr1からのパッチに対する重み因子は大きくなる。「蓄積」は「累積」又は「アキュムレーション」等と言及されてもよい。0に初期化される重み因子蓄積バッファBW,accは、出力画像中の画素各々に適用される重み因子を蓄積する。
【００４５】
移動の大きさの値が1-τに変更され、重み因子がτに変更される点を除いて、第2の画像fr2も同様な方法で処理される。すなわち、新たなフレームの時間位置は、第2のフレームfr2に近いほど、第2のフレームfr2からのパッチに対する重み因子は大きくなる。
【００４６】
双方の画像fr1、fr2の全てのパッチが処理されると、蓄積された中間出力画像403は、重み因子蓄積バッファBW,accにより取得された蓄積された重み因子により正規化され、時間的に補間されたフレーム404が結果的に得られる。
【００４７】
図4では、最も近い2つの画像を組み合わせることにより、所望の正規化された時間位置における新たなフレームが生成される。双方向のモーションフィールドはIRBMにより既に取得されている。第1の動きベクトルMV1は時点t1及びt2における図示のフレームfr1、fr2から取得される。上述した実施形態において、同じ動きベクトルMV1が双方のフレームfr1、fr2からの寄与の算出に使用されている。別の実施形態では、時点t2におけるフレームfr2及び時点t3における後のフレーム(図示せず)から取得される第2の動きベクトルMV2が、補間に使用されてもよい。
【００４８】
一実施形態において、低周波数の時空間バンドの時間的に補間されたフレームは、少なくとも2つの入力フレームfr1、fr2の間でモーションフィールドを生成する処理と、出力画像バッファを初期化する処理401と、出力画像の時間位置τを決定する処理と、2つの入力フレームfr1、fr2の各々を重複するパッチに分割する処理と、入力フレームfr1、fr2の双方について以下のステップを実行する処理とを行うことにより取得される：
パッチ各々について、決定された時間位置に従って動きベクトルの線形補間により出力画像における空間位置を算出する処理と、  
パッチ各々について、決定した時間位置(1-τ)に従って重み因子を計算し、その重み因子を現在のパッチの画素値に乗算し、パッチ各々の重み付けされた画素値を得る処理と、  
各パッチの算出された空間位置におけるパッチの重み付けされた画素値を、出力画像バッファに蓄積する処理であって、パッチの各々は、画素の重み付けされた値の分だけ、計算された位置における出力画像の画素に寄与する、処理と、  
出力画像の画素各々に寄与する重み因子を、重み因子蓄積バッファに蓄積する処理であって、蓄積された重み因子は画素各々について取得される、処理と、  
画像fr1、fr2の双方のパッチが処理された場合に、重み因子蓄積バッファに含まれかつそこから取得可能な蓄積された重み因子により、蓄積された中間的な出力画像を正規化する処理とが行われる。
【００４９】
次に、図2に示されているフレーム内補間103を説明する。このモジュールは、所望の任意のアップスケーリング因子により、画像のアップスケーリングされた低周波バンドの生成と等価であり、この点については上記の欧州特許出願第12305046.0号に関連する記載があり、以下簡単に説明する。フレーム内補間103はHRフレームのHRHF部分を取得するために使用され、その部分について、時間的に一致するLR入力フレームが利用可能である。すなわち、フレーム間補間103は空間領域でのみ機能する。
【００５０】
フレーム間補間103の原理的なしくみについては図14に示されている。より詳細な事項が以下の説明及び図9に示されている。この点に関し、本発明では、単独の画像を超分解する処理は3つの段階又はステージ141-143を有する。第1のステージ141では、入力画像の補間に基づくアップスケーリングが実行され、低解像度画像に関する等価的なローパスフィルタ処理が続く。第2のステージ142は、高解像度画像における検査されるパッチと低解像度低周波画像(部分的に重複するパッチを含む)におけるローカルに隣接するパッチとの間で低周波のマッチングによるサーチを行う処理と、低解像度画像から取得された対応する高解像度周波数の寄与を蓄積する処理を含む。第3のステージ143は、外挿された高周波バンド及び高解像度画像の低周波バンドによる寄与を加える処理を含む。
【００５１】
一実施形態において、単独の低解像度ディジタル入力データ構造S0の超解像度バージョンを生成する本発明の一形態による方法は、単独の低解像度ディジタル入力データ構造S0をアップスケーリングした後にローパスフィルタリングし、アップスケーリングされた高解像度ディジタルデータ構造の低周波部分L1を取得する。更に、低解像度ディジタル入力データ構造S0は、低周波部分L0と高周波部分H0に分離される。
【００５２】
アップスケールされた高解像度ディジタル構造の高周波部分H1,initが生成され、これは当初はエンプティ(empty)である。アップスケールされた高解像度データ構造の低周波部分L1の複数のパッチ各々について、低解像度ディジタル入力データ構造の低周波部分L0において最も合致するブロックが探索又はサーチされ、低解像度ディジタル入力データ構造の高周波部分における対応するブロックが判別される。そして、低解像度ディジタル入力データ構造の高周波部分H0の中から判別されたブロックは、アップスケールされた高解像度ディジタルデータ構造の低周波部分L1における上記のパッチが含んでいる場所において、アップスケールされた高解像度ディジタルデータ構造の高周波部分H1,accに加えられる。そして、アップルケールされた高解像度データ構造の結果的に得られる高周波部分H1,accは正規化され、一実施形態ではハイパスフィルタリングされる(195)。アップルケールされた高解像データ構造の正規化されハイパスフィルタリングされた高周波部分H1は、アップスケールされた高解像度データ構造の低周波部分L1に加えられ、これにより、単独の低解像度ディジタル入力データ構造S0の改善された超解像度バージョンS1が得られる。ディジタル入力データ構造S0は、1次元(1D)、2次元(2D)又は3次元(3D)にすることが可能である。本発明の一実施形態では、2つの空間次元と1つの時間次元とを有する3D構造が使用される。
【００５３】
説明及び理解を容易にするため、以下、「ブロック」という用語は低解像度データ構造における隣接する値のグループについて使用される一方、「パッチ」という用語は高解像度データ構造における隣接する値のグループについて使用される。ただし、ブロック及びパッチは同じサイズを有し(すなわち、同数及び同一形状をなす隣接データ群であり)かつ実質的に同じである。
【００５４】
一実施形態では、図15に示すような構造を利用して、ディジタルデータの低解像度入力データ構造S0の超解像度処理を実行する装置により、フレーム間補間103が実行される。ディジタルデータの低解像度入力データ構造S0の超解像度処理を実行するそのような装置900は、
入力データ構造S0をフィルタリングし、低周波入力データ構造L0を取得する第1のローパスフィルタFI,0970と、
入力データ構造S0と低周波入力データ構造L0との間の差分を演算することにより、高周波入力データ構造H0を生成する減算部980(例えば、加算部、減算部、比較部、差分化部等により形成される)と、
入力データ構造S0をアップスケーリングするアップスケーラ920と、
アップスケーリングされた入力データ構造をフィルタリングし、アップスケーリングされた低周波データ構造L1を取得する第2のローパスフィルタFI,1930と、
アップスケーリングされた低周波データ構造L1の中で第1の位置における第1のパッチを決定する第1の決定部951と、
低周波入力データ構造L0の中で、第1のパッチに最も合致する第1のブロックを探索又はサーチする探索部952と、
低周波入力データ構造L0の中で第1のブロックの位置を特定する第2の決定部954と、
高周波入力データ構造H0の中で、特定された位置における第2のブロックを選択する選択部又はセレクタ955と、
アップスケールされた高周波データ構造の中で第1の位置にあるパッチである第2のパッチについて、選択された第2のブロックの画素データを蓄積するアキュムレータ957と、
アップスケールされた低周波データ構造L1及びH1,accにおける複数のパッチに関する処理の反復を制御する制御部950と、
アップスケールされた高周波データ構造の中で蓄積された画素値を正規化することにより、アップスケールされ正規化された高周波データ構造H1,ufを取得する正規化部990と、
アップスケールされ正規化された高周波データ構造H1,ufをフィルタリングするハイパスフィルタ995と、
アップスケールされ正規化されハイパスフィルタリングされた高周波データ構造H1とアップスケールされた低周波データ構造L1とを合成(例えば、加算又は結合)することにより、超解像度データ構造S1を取得する合成部999と
を有する。超解像度処理を実行する装置900がフレーム内補間部103において使用される場合、超解像度データ構造S1は図2に示されているLRLFとなる。フィルタ955に関する更なる詳細については後述される。
【００５５】
本発明による少なくともこの実施形態の利点の1つは、自己平均化(self-averaging)を活用していることに起因して、アップスケールされたデータ構造に、従来方法よりも少ないノイズしか導入しない点である。フレーム内補間103に関するこの形態の更なる利点は、単独の画像とともに機能するが、有利なことに、データベース、コードブック又はそれらに類似するものを必要とせず、何らかのトレーニングやトレーニングデータも必要としない点であり、単独画像を使用する従来方法は高周波サンプルを抽出してトレーニングしたデータベースを必要とする。
【００５６】
図9は、ディジタル1D、2D又は3Dデータの低解像度入力データ構造S0について超解像度処理を実行する本発明の実施形態によるフローチャートを示す。この実施形態による方法は、
第1のローパスフィルタFI,0により、入力データ構造S0をフィルタリングし、低周波入力データ構造L0を取得するステップ170と、
加算部/減算部180において、入力データ構造S0と低周波入力データ構造L0との間の差分を演算することにより、高周波入力データ構造H0を生成するステップ180と、
入力データ構造S0をアップスケーリングするステップ120と、
第2のローパスフィルタFI,1により、アップスケーリングされた入力データ構造をフィルタリングし、アップスケーリングされた低周波データ構造L1を取得するステップ130と、
アップスケーリングされた低周波データ構造L1の中で第1の位置における第1のパッチPn,L1を決定するステップと、
低周波入力データ構造L0の中で、第1のパッチPn,L1に最も合致する第1のブロックBn,L0を探索又はサーチするステップ151、152、154と、
低周波入力データ構造L0の中で第1のブロックBn,L0の位置を特定するステップと、
高周波入力データ構造H0の中で、特定された位置における第2のブロックBn,H0を選択するステップと、
アップスケールされた高周波データ構造H1,accの中で第1の位置にあるパッチである第2のパッチについて(第1の位置は第1のパッチPn,L1について既に決定されている)、選択された第2のブロックBn,H0のデータ値(例えば、画素データ)を蓄積する(アキュムレートする)ステップと、
アップスケールされた低周波データ構造L1の中で新たなパッチPn,L1を特定する処理と、低周波入力データ構造L0の中で、選択されたパッチPn,L1に最も合致するブロックBn,L0を探索又はサーチする処理151、152、154と、高周波入力データ構造H0の中で、対応するブロックBn,H0を選択する処理155と、アップスケールされた高周波データ構造H1,accの中で新たなパッチPn,L1の位置におけるパッチPn,H1について、対応する選択されたブロックBn,H0の画素データを蓄積する(アキュムレートする)処理157とを反復するステップ150と、
アップスケールされた高周波データ構造H1,accの中で蓄積された画素値を正規化190及びハイパスフィルタリング(HPフィルタリング)195することにより、アップスケールされ正規化された高周波データ構造H1を取得するステップと
を有する。そして、アップスケールされ正規化された高周波データ構造H1をアップスケールされた低周波データ構造L1に加えることにより、超解像度データ構造S1が取得される。
【００５７】
一実施形態において、第2のローパスフィルタFI,1によりフィルタリング(130)された後に、アップスケールされた入力データ構造は、ダウンスケーリング因子d(n＞d)によりダウンスケーリングされる(140)。従って、アップスケールされた低周波データ構造L1に関し、全体的には非整数のアップスケーリング因子n/dが得られる。アップスケーリングされた高周波データ構造H1,init(又はH1のそれぞれ)は、アップスケールされた低周波データ構造L1と同じサイズを有する。H1のサイズは予め決められていてもよいし、L1から導出されてもよい。H1はこのサイズの空のデータ構造H1,initに対して初期化ステップ160において初期化される。そのような実施形態では、アップスケーリング因子nにより入力データ構造S0をアップスケーリングする処理120と、アップスケールされた入力データ構造を第2のローパスフィルタFI,1によりフィルタリングする処理130と、アップスケールされフィルタリングされた入力データ構造をダウンスケーリング部940がダウンスケーリング因子d(n＞d)によりダウンスケーリングする処理140とを実行することで、アップスケールされた低周波データ構造L1が取得される。こうして、最終的に非整数のアップスケーリング因子n/dが得られる。
【００５８】
図10は超解像度(すなわち、高解像度)の画像の高周波バンドH1を合成する原理を示す。これは、元の解像度スケールにおける類似パッチの高周波情報H0を外挿することにより達成される。以下の説明において、高周波高解像度データ構造H1に言及する場合、正確には、フィルタリングされていない正規化されていない高周波高解像度データ構造H1,accを意味することに留意を要する。
【００５９】
先ず、高解像度画像の低周波バンドLlが、所定のオーバーラップを伴う小さなパッチPn,L1(例えば、5×5画素)に分割される。オーバーラップ量又は重複量の選択の仕方は、高周波アーチファクトに対するロバスト性(これを優先する場合にはオーバーラップを多くする)と演算速度に対するロバスト性(これを優先する場合にはオーバーラップを少なくする)との間の妥協又はトレードオフに依存する。一実施形態では、各方向において20-30％のオーバーラップが選択され、この場合例えば5つの値(20％)のオーバーラップとともにパッチが隣接する。別の実施形態では、オーバーラップは更に大きくてもよく、例えば、30-40％、40-50％又は約50％(例えば、45-55％)等であってもよく、更には90％に達するほど高くてもよい。パッチサイズの20％未満のオーバーラップの場合、後述する本発明による効果は小さくなる。
【００６０】
各画素に寄与するパッチ数で正規化し、平均値を求めることにより、最終的な高周波バンドH1が得られる。パッチ間のオーバーラップが多いほど、高周波外挿補間処理に起因して生じる高周波アーチファクトを抑制する効果は大きくなり、より多くの値が蓄積されるようになる。従って、低解像度画像の低周波バンドL0に関するローカルサーチウィンドウ(例えば、11×11画素)の中で網羅的又は包括的なサーチを行った後に、低周波高解像度パッチPn,L1の各々について、平均差分絶対値(mean  absolute  difference：MAD)(これは、動き推定から分かる)の観点から最も合致するものが取得される。低周波低解像度画像L0の中で最も合致するブロックはPn,L0であり、低周波高解像度パッチPn,L1と同じサイズを有する(例えば、5×5画素のサイズを有する)。
【００６１】
次の処理ステップを理解する場合において、図10に示されているように、低解像度低周波データ構造L0が低解像度高周波データ構造H0と同じ次元(サイズ)を有し、高解像度低周波データ構造L1が高解像度高周波データ構造H1と同じ次元(サイズ)を有していることが重要である。全てのパッチに関し、合致する低周波低解像度パッチPn,L0の(L0内の)位置が特定され、合致する低周波低解像度パッチPn,L0の位置における対応する(H0内の)低解像度高周波パッチPn,H0が抽出又は特定される。H0から抽出又は特定された低解像度高周波パッチPn,H0は、高解像度低周波データ構造L1内の現在のパッチPn,L1が有する同じ位置において、高解像度画像H1の高周波バンドについて蓄積される。具体的には、H0から抽出された低解像度高周波パッチPn,H0の各々の値(例えば、画素)は、高解像度画像H1の高周波バンドの各パッチにおける対応する値(例えば、画素)について蓄積される。このように、高解像度画像H1の高周波バンドが、パッチ毎の蓄積により合成される。高解像度画像L1の低周波バンドを重複するパッチに分割する処理、低周波で最も合致するものを発見する処理、及び、対応する高周波の寄与を蓄積する処理については図11に示されており、この点tに付いては後述する。
【００６２】
結果的に、高解像度データ構造の結果的な(予備的な)高周波バンドにおける各々の値は、複数の寄与するパッチからの値の総和である。L1(及びH1(両者は同じサイズを有するからである))におけるパッチオーバーラップに起因して、少なくとも2つのパッチからの値は、H1における全部又は多くの値に寄与する。そして、高解像度データの結果的(予備的)な高周波バンドH1が正規化される(190)。このため、高周波高解像度データ構造H1における各々の値についてH0からの寄与する値の数が、合成プロセスの間にカウントされ、H1,accに累積された各々の値が最終的にその寄与数により除算される。
【００６３】
図11は低解像度低周波数データ構造L0におけるサーチウィンドウの場所及び利用例を例示的に示す。L1内の第1のパッチP11,L1に関し、L0内の第1のサーチウィンドウW11の中で第1の最も合致するブロックP11,L0が探し出される(サーチされる)。何れのパッチも同じサイズを有する。サーチウィンドウは、各々の方向に少なくとも1つの値の分だけパッチより大きい(ただし、第1のパッチについてはエッジを除く)この例の場合、第1の最も合致するブロックP11,L0が、L0の中で第1のサーチウィンドウW11の左上隅に発見される。このパッチ及びブロックに関する更なる処理については上述したとおりである。水平に及び/又は垂直に移動(シフト)して次のパッチに移る(各々のパッチは先行するパッチと重複している)。本発明では、1つ以上の隣接するフレームまでサーチが拡大して行われる。一実施形態では、直接隣接するものがサーチされてもよく、すなわち±1フレームの範囲内のフレームが使用されてもよい。一実施形態において、(直接隣接するもの)及び(直接隣接するものに直接隣接するもの)のうち少なくとも一方がサーチされてもよく、すなわち、±1フレーム又は±2フレームの範囲内のフレームが使用されてもよい。
【００６４】
図11に示す例の場合、第2のパッチP12,L1が、所定の前進分(パッチアドバンス)だけ水平にシフトした位置で選択される。パッチアドバンスは、パッチサイズとオーバーラップとの間の差分である。(例えば、2Dデータ構造の場合には水平及び垂直のような)異なる方向に関するパッチアドバンスは異なっていてもよく、高解像度出力データ構造の大きさに関して異なる影響又は量を使用してもよいが、通常的には等しい値が使用される。
【００６５】
新たなパッチ位置に応じて新たなサーチウィンドウW12が決定される。原則として、サーチウィンドウはパッチと同じ方向に進むが、進み方は遅い。従って、現在のサーチウィンドウは、以前のサーチウィンドウと同じ位置にあってもよく、この例でもそうである。しかしながら、サーチウィンドウの中で別のパッチP12,L1が発見されているので、最も合致するパッチP12,L0の位置は通常的には異なる。上述したように、最も合致するパッチP12,L0は、低周波高解像度パッチP12,L1の位置において、高解像度高周波データ構造H1に対して累積される。その後パッチP13,L1、P14,L1が決定され、それらに最も合致するものが同様にして発見される。図11に示されているように、サーチウィンドウの中で最も合致するブロックの位置は任意的であり、入力データ(例えば、画像コンテンツ)に依存する。
【００６６】
上記の説明は1次元(1D)的なデータ構造については十分である。2Dデータ構造の場合、以後別のパッチの位置が垂直パッチアドバンスに基づいて決定される。垂直パッチアドバンスは水平パッチアドバンスと組み合わせられていてもいなくてもよい。上述したように、垂直パッチアドバンスもオーバーラップを含み、図11ではP21,L1、．．．、P23,L1についての例が示されている。
【００６７】
サーチウィンドウの位置は、現在のパッチの位置に応じて決定される。図11に示されているように、異なるパッチのサーチウィンドウW11、．．．、W22はオーバーラップ又は重複している。L0はL1よりも小さなデータ構造であるので、各方向のサーチウィンドウの前進分は非常に小さい。一実施形態において、対応するパッチがL1のエッジに接している場合、サーチウィンドウはL0のエッジに接しており、これらのエッジの中で一様に及び/又は一定の割合で(比例して)動かされる。エッジは端、辺、縁などと言及されてもよい。
【００６８】
(図11には示されていない)一実施形態において、サーチウィンドウの中心は、パッチの中心に事実上比例している位置に設定されてもよい。例えば、パッチの中心が高解像度データ構造L1の3％の場所(例えば、中心から3％隔たった場所)にあった場合、サーチウィンドウの中心は低解像度データ構造L0の約3％の場所であるように設定される。その場合、エッジ付近のパッチについては、サーチウィンドウのサイズが縮小されてもよいし、或いは、サーチウィンドウが完全に低解像度データ構造L0の中にシフトされてもよい。
【００６９】
一般に、サーチウィンドウが大きくなるほど、非常に類似するパッチを見出す確率も増える。しかしながら、実際には、サーチウィンドウを大きくすることにより期待されるほどの精度の相違はなく、その理由は、一般的な性質の画像の場合、ローカルなパッチ構造は非常にローカルな領域の中でしか発見されない傾向が強いからである。更に、より大きなサーチウィンドウは探索処理の最中に多くの処理負担を必要とすることになる。
【００７０】
図12は、重複する画像(すなわち、2D入力データ構造)における連続パッチの選択例、及び、連続パッチについて合致するブロックを決定する原理的な動作例を詳細に示す。例示的に、パッチ及びブロックは5×5画素のサイズを有し、サーチウィンドウは12×12画素のサイズを有する。L1の中の第1のパッチP1,L1に関し、上述したように、L0又は隣接するLFフレームの中でサーチウィンドウW1が決定される。サーチウィンドウW1の中で、様々なブロック位置で第1のパッチの比較が行われ、最小の平均絶対値差分(MAD)を有するブロックB1,L0が決定される。これは最も合致するブロックである。低解像度低周波数データ構造L0内の位置が決定され、例えば、左上隅が第3列の第3行の位置にあることが確認される。そして、対応する高周波低解像度画像H0の中の同じ位置に対応するパッチ(近隣であってもよい)が決定される。図示の例では、それは左上隅が第3列の第3行の位置にある5×5画素パッチである。このパッチはH0から取得され、現在の低周波高解像度パッチP1,L1のその位置におけるH1に加えられる、すなわちH1の左上隅の位置におけるH1に加えられる(図12a参照)。
【００７１】
図12bに示されているように、使用されているパッチアドバンスに応じて第2のパッチP2,L1が選択される。パッチアドバンスはこの例では双方の方向に関して2画素分であり、パッチサイズは5×5画素であるのでオーバーラップは3画素分になる。この例の場合、垂直オーバーラップvv及び水平オーバーラップvhは等しい。サーチウィンドウの前進分はパッチの前進分より少ないことに起因して、サーチウィンドウW2は前回のパッチに関するものと同じになっている。しかしながら、(画像コンテンツの任意性により)対比する画素値が前回と異なっていることに起因して、サーチウィンドウの中で最も合致する別のブロックB2,L0が発見される。上述した方法と同様に、その位置が確認され(この例では、左上隅が7列目及び2行目にあることが確認され)、対応する5×5のブロック(左上隅が7列目及び2行目にあるブロック)がH0から取得され、H0から取得されたブロックが第2のパッチP2,L1の位置(すなわち、左上隅が1行目及び3列目にある位置)に関して高周波高解像度画像H1に加えられる。すなわち、2つ以上の異なるパッチに属する特定の画素は、対応する画素から、最も合致するブロックに蓄積される。すなわち、例示的に、(図12に示されているL1の位置に対応する)高解像度高周波画像H1の第4列及び第5行にある特定の画素は、上記の処理の現在の段階において、(第1のパッチの最も合致するブロックB1,L0の中で)第6列及び第7行にある画素から、(第2のパッチの最も合致するブロックB2,L0の中で)第8列及び第6行にある画素に移るように関連付けられる。
【００７２】
上述したように、サーチウィンドウは、通常、複数のパッチが処理された後でしか前進しない。図12cの例に示されているように、上記の例の場合、サーチウィンドウW3は水平方向に1画素だけシフトする前に、3回分のパッチ前進がなされている。更に、ここでは、様々な大きさのパッチアドバンス(及びサーチウィンドウの前進)の順番は相違をもたらさないことに留意を要する。すなわち、L1の右端に到達するまで、先行するパッチがシフトした後に、図12dに示されているパッチが処理されているが、図12aに示されている第1のパッチの直後に図12dに示されているパッチが処理されてもよい。
【００７３】
次に、空間HF合成12を説明する(図1参照)。空間FH合成(処理)の入力において、多数のフレームレートアップコンバージョンされたアップスケールされた入力ビデオフレームが存在し、それらは3次元的に積み上げられている。2つの軸は空間画像の次元に対応し、第3の軸は時間の次元に対応する。
【００７４】
一実施形態において、フレーム間補間(処理)102に関する説明箇所で説明したのと非常に類似する空間HF合成のための方法が使用される。相違点は、この実施形態では、高周波バンドが取得されるべきパッチのローカルな近隣における任意の画像からHFサンプルが取得可能なことである。言い換えれば、サーチウィンドウは、各パッチを中心とする3D領域を占める。
【００７５】
本技術は(2Dパッチの代わりに3Dパッチを考察することにより)時間的な高周波(画像)を復元するために適用すること自体は可能であるが、時間エイリアシングに関する多くのエイリアシングが生じてしまうことが懸念され、目に見えるゴーストの影響を招いてしまうおそれがある。従って更に効果的な方法が望まれる。この問題に対処するため、本発明の一実施形態では、超解像度処理(すなわち、高周波バンドを合成する処理)が、空間的次元においてのみ行われ、時間的次元では行われない。この実施形態の利点は、補間されたフレームの高解像度バージョンを生成するのに必要な高周波成分が、低解像度隣接フレームを外挿することにより取得可能なことである。
【００７６】
次に、HRLF補間バンド15及びHRHF合成バンド16の結合処理(fusing)13を説明する。この結合処理13は、結合部で実行され、超解像度ビデオシーケンス14をもたらす。一実施形態では、ハイパスフィルタ995が空間的次元のこの部分に適用され、合成されたHRHFバンドと補間されたHRLFバンドとのスペクトル的な整合性を保証する。図13aは、高解像度低周波(HRLF)バンドL1と正規化された高周波高解像度(HRHF)バンドH1とを合成し、超解像度画像S1を生成する様子を例示的に示す。正規化された高周波バンドH1は、低周波バンドとのスペクトル的な整合性を保証するために、ハイパスフィルタ995を利用してフィルタリングされる。この高解像度ハイパスフィルタ995は次のように説明される。フィルタFh,1995は、上述したようにフィルタリングステップ195で使用されており、好ましくは、第1の処理ステージ11におけるフィルタFI,0、FI,1930、970と同様に設計されている。この場合、目的は、カットオフ周波数がΩ1,h=d/max(n,d)=d/nであるハイパスフィルタを得ることである。その次数は低解像度フィルタ次数のスケールされたバージョンに設定される：N1,h=round(N0n/d)及びその大きさσ1,h=1。ここのハイパスフィルタの最終的な係数は、ハミングウィンドウの中心に整合したクロネッカーデルタ(Kronecker  delta)、マイナス、同じカットオフ周波数を有する相補的な関係にあるローパスフィルタの係数に設定される。すなわち、ハイパスフィルタは、オールパスフィルタ、マイナス、ローパスフィルタ(所望のハイパスフィルタと同じカットオフ周波数を有する)として定義される。これは図13bのように図示されており、左辺はハイパスフィルタの所望の周波数応答HPであり、右辺はオールパスフィルタAPの応答と上記のローパスフィルタLPとの間の差分である。実際の結合(処理)は、バンドの重ね合わせとして実行されることが可能であり、LF及びHFの周波数バンドが互いに単に加算される。上記の説明から明らかになったように、高解像度画像の低周波バンド(HRLF)L1は原則的に内挿補間により取得されるが、高解像度画像の高周波バンド(HRHF)H1は原則的に外挿補間により取得される。
【００７７】
一例として、図6に示すような所定の2つの連続的な低解像度入力フレームf61、f62に関し、超解像度出力フレームf71、f72、f73(空間的に2倍及び時間的に1つ分拡張されている)が図7に示されている。図7において、第1のフレームf71は、空間次元について超解像度処理がなされた第1の入力フレームf61から取得される。第2のフレームf72は、空間次元について超解像度処理がなされた新たなフレームである。第3のフレームf73は、空間次元について超解像度処理がなされた第2の入力フレームf62から取得される。
【００７８】
本発明の一般的な特徴は、他の技術分野にも原則として適用可能である。2つの所定の画像の間の動きを判定し、ロバスト性に優れたバンドル調整(bundle  adjustment)アルゴリズムに正確な入力を提供し、2つの画像の間の相対的なポーズ又は姿勢を決定する場合には、動き補償技術を利用することが有益である。符号化のアプリケーションでは、中間的な画像は速やかに動き、かつ、2つの隣接する画像から正確に推定できるという事実を活用することにより、高密度マルチビューシーケンスがデシメートされることが可能である。これは、空間(或る1つの何らかの時点において新たな画像を生成する処理)及び時間(連続する時点同士の間で位置を追跡する処理)の双方において優れた3D再構成機能を促すことが可能である。
【００７９】
本発明の利点の1つは簡易なことであり、従って、提案される技術と同程度の品質レベルの補間ビデオフレームを生成できる従来のオプティカルフロー推定技術よりも安価である。これは空間的な超解像度アルゴリズムと結合され、ビデオシーケンスに含まれる豊富な冗長的な情報を利用せずに済む。本発明は、自然な複雑な動きを処理できるという利点を有する。従来の再構築方式のマルチフレーム超解像度技術は、一般に、自然な複雑な動きを処理することはできない。
【００８０】
従来技術では、通常、何らかの先行するモデルが導入され、輪郭の近辺のテクスチャ(texture)や過剰な陰影を除去すること等のような望まれない影響を招いてしまう。更に、フレーム補間に関する従来のブロックマッチングと比較するならば、開示される技法は、ローカルな近辺で類似するパッチの領域において適切に補間されたフレームを生成できる。例えば、図8(左側)はローカルな近辺で類似するパッチの領域においてブロックマッチングにより生じたアーチファクトを含む例を示し、これに対して図8(右側)は開示されるロバスト反復ブロックマッチングにより、アーチファクトを顕著に抑制した適切な処理例を示す。画像は、2つの最も近い近辺から補間されたフレームの詳細に対応する。
【００８１】
別の利点は、オプティカルフロー技術と比較した場合に、大規模な動き推定に関して画像ピラミッドを最初に形成する必要が無く、入力画像について直接的に処理を行うことが可能であり；結果的なオプティカルフローは整数に基づく変位を利用するが、本願ではオプティカルフロー技術が行うのと同様に浮動小数点の変位を利用することが可能であり；(典型的にはエネルギ最小化方式であるので)動き推定を求めるために、長時間の反復を必要としない等の点である。
【００８２】
図5は本発明により高解像度アップサンプルフレームがどのようにして取得されるかを示す。先ず、低解像度フレームf1、．．．、f4が上述したように時間的に補間され、時間手金補間された低解像度フレームi1、．．．、i3が取得される。そして、次のようにアップサンプリング及び補間により低解像度(LR)フレームf1、i1、．．．、i3、f4から、高解像度(HR)フレームF1、I1、．．．、I3、F4が取得される。HRフレームの低周波(LF)の部分(HRLFバンド)は、各自の時間的に対応するLRフレームから空間的にアップサンプルされ、LRフレームは時間的に補間されたフレームを含む。例えば、LF(F1)はf1からアップサンプルされ、LF(I1)はi1からアップサンプルされる、等である。F1、．．．、F4のような入力シーケンスにおける時間的に対応するフレームを有するHRフレームの高周波(HF)部分/バンドは、入力シーケンス(すなわち、f1、．．．、f4)のLRフレームから空間的にアップサンプルされる。
【００８３】
入力シーケンスの中で時間的に対応するフレームが存在しないHRフレームのHF部分/バンド(例えば、I1、I2、I3)は、入力シーケンス(すなわち、f1、．．．、f4)の近辺のLRフレームから空間的にアップサンプルされ、次に補間される。例えば、f1及びf2はアップサンプルされ、そしてI1を得るために補間される。
【００８４】
一実施形態において、非整数の時間位置τにおける新たなHF画像I1、．．．、I3の各々は、2つの別個の部分(すなわち、LFの部分及びHFの部分)において時間的に補間される。LFの部分は、時間的に補間されたLR画像i1から取得され(例えば、図5)、空間的な超解像度処理によりアップサンプルされる(例えば、図9に示すような処理ステップが使用される)。HF部分は、時間的に補間されていない近辺のフレームf1、．．．、f4から取得される。近辺のフレームf1、．．．、f4は空間的な超解像度処理によりアップスケールされる(例えば、図9に示すような処理ステップが使用される)。利点は、良好に一致するパッチが近辺のフレームで発見されるかもしれないことである。
【００８５】
一実施形態において、本発明は、ビデオシーケンスのフレームレートを補足し、出力フレームの各々を空間的に超分解処理するためのパッチに基づくフレームワークを提供する。パッチに基づく(又はブロックに基づく)画像処理は、ノイズ抑制処理又は空間的超解像度処理について適切に別々に優れた効果を発揮する。単独のパッチに基づく方式において、上記2つの問題に対処するために本願による順応性(adaptability)が活用される。本発明は、任意のタイプのビデオシーケンスを改善することに適しており、時間的な次元において多くのエイリアシングが存在する場合にさえ適している。すなわち、本発明は、周期的或いは非常に冗長的な空間及び時間の属性を有するシーケンスのみに着目してはいない。時間的なサンプリング周波数は、空間的次元におけるものよりも、およそ2桁ほど大きさが小さい。有利なことに、空間な超解像度処理の問題は従来方式よりも改善されている(従来方式は、潜在的に、具体的な場合に十分には適応していない過剰な画像モデルとなってしまうおそれがある)。深刻な不適切な時間的超解像度の問題は、線形及び非線形な適切な手段によるMAPモデルを利用することにより対処される。以下、時間的補間に関する更なる詳細な事項を説明する。
【００８６】
＜時間補間＞
ビデオシーケンスを3次元的な方式により考察する場合において、超解像度処理されたビデオシーケンスの低周波バンドを生成するために、3つの利用可能な次元に関し(2つの空間次元と1つの時間次元)、同じ補間方式を適用することが望ましい。しかしながら、これを行う場合に、時間的イベントを適切に補間することができな場合が懸念される。時間領域は、一般に、ナイキスト条件よりも低い周波数でサンプリングされるが、それでも多くの場合に、表示システムが、連続する動きを知覚には十分である。
【００８７】
シーン(場面)の中で時間的なイベントが再帰的でない場合でさえ、時間的な解像度を改善するために、先ず、連続するフレーム間の動きを推定し、次に、線形補間により任意の所望の時点における中間フレームを生成することが提案される。
【００８８】
本願により考察される方式に従って、5×5画素のサイズのパッチが少し重複しているパッチに基づく処理方式を考察する。ある空間位置(i,j)にある画素を中心とするパッチに対応する画素群をPi,jとし、そのパッチに含まれる要素数を＃Pi,jとする。ui,j及びvi,jを、それぞれ、その空間位置における水平動き成分及び垂直動き成分とする。所与の2つのカラーフレームがI1(x,y)及びI2(x,y)であり、色差又はカラー距離(color  distance)を‖I1(x,y)-I2(x,y)‖2とすると、モーションフィールドを推定するために以下の変動に関する数式を利用することができる。
【００８９】
【数１】
2015515179.tif 000003
N1i,j及びN2i,jは位置(i,j)を中心とするローカルスケール及びラージスケールの近辺を表し、各々の領域内で、変動性(一定性)及び粗さ(滑らかさ)を拒否(強制)するために使用される。提案されるデータ項は、従来のオプティカルフロー方式を用いることによっては線形化されない点に留意を要する。むしろここではブロックマッチング(BM)データ項を考察しており、オプティカルフローの場合よりも多い数の情報を利用し、マルチスケール処理を必要としない動き推定を考察することを許容する。欠点は、そのような関数の最小化は、NP困難な問題(NP  hard  problem)となることである。
【００９０】
この問題に対処する第1の選択肢は、データ項を近似(convexify)することである。各々の画素周辺の構造化データコストは、トライアングルメッシュとして表現される下位の凸包(convex  hull)により置換され、近似された関数のデータ項について指数関数的に減少する更新ステップとともに、投影される最急降下線(projected  steepest  descent)が利用される。最後の反復において、下位の凸包のうち最も近い頂点(ローカルな最小点)が、各々の位置における最適な候補として選択される。
【００９１】
しかしながら、この方法は、選択されるパラメータに対して非常に敏感である点に留意を要する。数式(1)における第1の正則化項(regularization  term)のウェイトλ1が大きな値に設定される場合、収束に到達するために、更新ステップは非常に小さくなり、その結果、処理時間は長くなる。従って、GPUの処理能力に更に適した更なる近似が考察され、その方法は、適切な品質と処理時間との間の適切なトレードオフを提案できる反復的なブロックマッチング(反復BM)アルゴリズムをもたらす。
【００９２】
モーションフィールドが双方向に(I1からI2への方向及びその逆方向の双方について)計算されると、中心画素の動きベクトルで指定される方向の各画像の重複する離間したパッチの重み付けされた線形結合として、時間的に補間されたフレームが取得される。
【００９３】
実験では、BMの初期サーチウィンドウサイズが、41×41画素に設定され、反復的なBMの10回の反復の間に、3×3画素のサイズまで指数関数的に減少させた。大きなスケールの線形フィルタの領域では、#N2i,jが81×81画素のサイズで10回の反復の間に一定に維持されるが、ローカルなスケールの非線形フィルタの領域では、#N1i,jが21×21画素のサイズから3×3画素のサイズまで指数関数的に変化している。我々の近似におけるフィルタ領域及びサーチウィンドウサイズの相対的な変動は、(多くのオプティカルフロー推定技法で見受けられるように)粗から密への変動処理における正規化ウェイトの変動と解釈できる。最初に、平滑化フィルタのウェイト(数式(1)におけるλ2)はデータコスト項におけるものより僅かに大きいが、関連する最適化の最中に(BMサーチウィンドウサイズが指数関数的に減らされるにつれて)指数関数的に増やされる。エッジ保存フィルタのウェイトλ2は、データコスト項におけるものより小さな値から実際に等しい値に至るまで変化し、それは最終的な処理ステージで同じサイズのBMサーチウィンドウ及びフィルタ領域双方に適用される指数関数的減少に対応する。サーチウィンドウを制御する更に正確な調整法は、僅かな改善したもたらさないかもしれないが、使用された値は実験において妥当な結果を提供するのに十分であった。
【００９４】
3×3画素の小さなサーチウィンドウとともに更に工夫されたBM処理ステップは、合致するパッチが、補間されたフレームのレンダリングに先行する実際のローカルな最小部分であることを保証するにの使用される。後者の処理はGPUにおける実施に対して直接的である。
【００９５】
数式(1)においてλ1及びλ2がそれぞれ乗算されている第2及び第3の総和は、ブロック毎に適用され、画素毎には適用されない点に留意を要する。これは、オプティカルフロー方法等と相違する。
【００９６】
開示されるアルゴリズムは、全体的に最適な選択肢を一般的に求めるのではなく、ローカルに適切な選択肢を求める貪欲アルゴリズム(greedy  algorithm)と考えることが可能である。貪欲アルゴリズムは、収束に至るまで十分な回数の反復を適用できない場合に、「最適」な方法ではないが、それでも、より良い解を提供できる。
【００９７】
提案される解決手段の利点の1つは、コストのかかる全体的な最適化方法を必要としない現在の超並列処理ハードウェアに相応しいアルゴリズムとともに、フレームレートアップコンバージョンの処理及び空間アップスケーリングの処理を別々に又は一緒に行うことができる点である。
【００９８】
別の利点として、本発明は、グラフィックスハードウェアで特に実施しやすいロバスト性に優れたブロックマッチングアルゴリズムを提供するが、その理由は、超並列処理プラットフォームに利用可能なハードウェアに適するように設計されるからであり、本発明は、コストのかかるオプティカルフロー推定方法に匹敵する高い品質レベルでフレーム補間を実行できる。
【００９９】
別の利点として、本発明は、クロススケール自己類似性(cross  scale  self  similarity)により超解像度信号を一般的な構成に統合することを許容し、超解像度ビデオフレーム及びフレームレートアップコンバージョンを一緒に行うことができる。更に、フレームレートアップコンバージョンは、所望の任意の値で達成できる。開示される方法は、例えば、2：3のプルダウン等のような従来のテレシネ(telecine)方式を改善することが可能である。
【０１００】
以下、本願により教示される実施形態を例示的に列挙する。
【０１０１】
低解像度の入力ビデオフレームシーケンスについて超解像度処理を実行する装置は、
前記入力ビデオフレームシーケンスのフレームを空間的に補間し、高解像度の低周波時空間バンドを生成する空間補間モジュールと、
前記入力ビデオシーケンスのフレームについてフレーム間の空間的な高周波外挿補間を実行し、高解像度の高周波空間バンドを生成する空間外挿補間モジュールと、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する結合モジュールと
を有する装置である。
【０１０２】
一実施形態による装置においては、前記フレーム間の空間的な高周波外挿補間を実行する際に、前記低周波時空間バンドを時間的に補間したフレームが使用される。
【０１０３】
一実施形態による装置は、
前記低周波時空間バンドを時間的に補間したフレームを取得するモジュールを更に有し、該モジュールは、
少なくとも２つの入力フレームの間でモーションフィールドを生成するモーションフィールド生成モジュールと、
出力画像バッファと、
前記出力画像の時間位置を決定する制御部と、
前記２つの入力フレームの各々を重複するパッチ群に分割する分割モジュールと
前記２つの入力フレームの双方又は一方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する線形補間部と、
前記２つの入力フレーム双方又は一方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する重み係数計算部と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する第１のアキュムレータであって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、第１のアキュムレータと、
重み係数の蓄積バッファと、
画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、前記重み係数の蓄積バッファに蓄積する第２のアキュムレータと、
前記２つの入力フレーム双方の全てのパッチが処理された後に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する正規化モジュールとを有する。
【０１０４】
一実施形態による装置においては、ＩＲＢＭ処理部を更に有し、前記モーションフィールドがＩＲＢＭにより取得される。
【０１０５】
一実施形態による装置においては、
前記高解像度の低周波時空間バンドと高解像度の高周波空間バンドとを結合する前記結合モジュールが、
前記高解像度の高周波空間バンドをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間バンドを取得するハイパスフィルタと、
前記ハイパスフィルタリングされた高解像度の高周波空間バンドと前記高解像度の低周波時空間バンドとを結合する結合部とを有する。
【０１０６】
一実施形態による装置においては、
前記入力ビデオフレームシーケンスのフレームを空間的に補間する前記空間補間モジュールが、
前記入力ビデオフレームシーケンスの入力ビデオフレームをフィルタリングし、低周波入力ビデオフレームを取得する第１のローパスフィルタと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成する差分処理部と、
前記入力ビデオフレームをアップスケーリングするアップスケーリング部と、
アップスケーリングされた入力ビデオフレームをフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得する第２のローパスフィルタと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定する処理モジュールと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するサーチ部と、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するセレクタ部と、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するアキュムレータ部と、
前記サーチ部、前記セレクタ部及び前記アキュムレータ部のうちの１つ以上を制御し、アップスケーリングされた低周波ビデオフレーム内の全てのパッチを処理するための制御部と、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得する正規化部と、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得する結合部とを有する。
【０１０７】
以上、本発明に関する基本的な新規な特徴が好ましい実施形態に適用されるように開示、記述及び説明されてきたが、説明された装置の形態や詳細において及びそれらの動作において、説明された装置及び方法に対する様々な省略、置換及び変形が、本発明の精神から逸脱することなく当業者によってなされてよいことが、理解されるであろう。実質的に同じ機能を実質的に同じ方法で実行して同じ結果に至るそれらの要素全ての組み合わせも本発明の範囲内に属することが、明示的に意図されている。説明された或る実施形態の要素を別の実施形態に置換することも十分に意図され想定されている。上述した全ての画像及び/又はパッチは、必ずしも必須ではないが、カラー画像及び/又はカラーパッチとすることが可能である。本発明は純粋に単なる具体例により説明されているにすぎず、発明の範囲から逸脱することなく、細かい修正を行うことが可能であることも理解されるであろう。明細書、(該当する場合には)特許請求の範囲及び図面に開示されている個々の特徴は、独立に又は適切な任意の組み合わせにより提供されてよい。そのような特徴は、該当する場合には、ハードウェア、ソフトウェア又はそれらの組み合わせにより実現されてよい。接続は、該当する場合には、無線接続又は有線接続として実現されてよく、必ずしも直接的或るいは専用の接続である必要はない。特許請求の範囲に参照番号が仮に含まれていたとしても、それは単なる例示に過ぎず、特許請求の範囲を限定するように解釈してはならない。
【図１】
2015515179.tif 000004
【図２】
2015515179.tif 000005
【図３】
2015515179.tif 000006
【図４】
2015515179.tif 000007
【図５】
2015515179.tif 000008
【図６】
2015515179.tif 000009
【図７】
2015515179.tif 000010
【図８ａ）】
2015515179.tif 000011
【図８ｂ）】
2015515179.tif 000012
【図９】
2015515179.tif 000013
【図１０】
2015515179.tif 000014
【図１１】
2015515179.tif 000015
【図１２ａ）】
2015515179.tif 000016
【図１２ｂ）】
2015515179.tif 000017
【図１２ｃ）】
2015515179.tif 000018
【図１２ｄ）】
2015515179.tif 000019
【図１３ａ）】
2015515179.tif 000020
【図１３ｂ）】
2015515179.tif 000021
【図１４】
2015515179.tif 000022
【図１５】
2015515179.tif 000023
【手続補正書】
【提出日】平成26年9月8日(2014.9.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１の空間的な解像度及び第１の時間的な解像度を有する入力ビデオフレームシーケンスについて超解像度処理を実行する方法であって、
前記入力ビデオフレームシーケンスのフレームを時間的に補間し、時間的に補間されたフレームを取得するステップと、
前記入力ビデオフレームシーケンスのフレーム及び時間的に補間されたフレームを空間的に補間し、高解像度の低周波時空間フレームを生成するステップであって、前記高解像度の低周波時空間フレームは、前記第１の空間的な解像度より高い第２の空間的な解像度と前記第１の時間的な解像度より高い第２の時間的な解像度とを有する、ステップと、
前記入力ビデオフレームシーケンスについてフレーム間の空間的な高周波外挿補間を実行し、前記入力ビデオフレームシーケンスのパッチを利用して空間的な高周波合成処理を適用し、前記第２の空間的な解像度及び第２の時間的な解像度を有する高解像度の高周波空間フレームを生成するステップであって、時間的に一致する入力ビデオフレームを有する高解像度の高周波空間フレームのうちの第１のグループは、時間的に一致する入力ビデオフレーム各々から合成され、時間的に一致する入力ビデオフレームを有しない高解像度の高周波空間フレームのうちの第２のグループは、前記第１のグループに属する隣接するフレームに時間的に一致する入力ビデオフレームから合成される、ステップと、
前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得するステップと
を有する方法。
【請求項２】
前記低周波時空間フレームを時間的に補間したフレームは、
少なくとも２つの入力フレームの間でモーションフィールドを生成する処理と、
出力画像のバッファを初期化する処理と、
前記出力画像の時間位置を決定する処理と、
前記２つの入力フレームの各々を重複するパッチ群に分割する処理と
前記２つの入力フレーム双方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する処理と、
前記２つの入力フレーム双方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素値に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する処理と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する処理であって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、処理と、
前記２つの入力フレーム双方について、画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、重み係数の蓄積バッファに蓄積する処理と、
前記２つの入力フレーム双方の全てのパッチが処理された場合に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する処理と
を実行することにより取得される、請求項１に記載の方法。
【請求項３】
前記モーションフィールドは、反復的なロバストブロックマッチング（ＩＲＢＭ）処理により取得され、該ＩＲＢＭ処理は、
ブロックマッチングにより類似するパッチを発見する処理と、
ラージスケールの線形フィルタリング及びローカルスケールの非線形フィルタリングを前記類似するパッチに反復的に適用する処理と
を含む、請求項２に記載の方法。
【請求項４】
前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する前記ステップが、
前記高解像度の高周波空間フレームをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間フレームを取得するステップと、
前記ハイパスフィルタリングされた高解像度の高周波空間フレームと前記高解像度の低周波時空間フレームとを結合するステップと
を有する請求項１〜３のうち何れか１項に記載の方法。
【請求項５】
前記入力ビデオフレームシーケンスについてフレーム間の空間的な高周波外挿補間を実行し、前記入力ビデオフレームシーケンスのパッチを利用して空間的な高周波合成処理を適用し、前記第２の空間的な解像度及び第２の時間的な解像度を有する高解像度の高周波空間フレームを生成する前記ステップが、
前記入力ビデオフレームシーケンスの入力ビデオフレームを第１のローパスフィルタによりフィルタリングし、低周波入力ビデオフレームを取得するステップと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成するステップと、
前記入力ビデオフレームをアップスケーリングし、アップスケーリングされた入力ビデオフレームを第２のローパスフィルタによりフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得するステップと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定するステップと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するステップと、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するステップと、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するステップと、
アップスケールされた低周波ビデオフレームの中で新たなパッチを特定する処理と、低周波入力ビデオフレームの中で、選択されたパッチに最も合致するブロックを探す処理と、高周波入力ビデオフレームの中で、対応するブロックを選択する処理と、アップスケールされた高周波ビデオフレームの中で新たなパッチの位置におけるパッチについて、対応する選択されたブロックの画素データを蓄積する処理とを反復するステップと、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得するステップと、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得するステップと
を有する請求項１〜４のうち何れか１項に記載の方法。
【請求項６】
高解像度の高周波空間フレームの第２のグループの現在フレームが、前記現在フレームの直接隣接する時間的に一致する入力シーケンスの２つのフレームから、高周波合成により取得される、請求項５に記載の方法。
【請求項７】
入力ビデオシーケンスについて超解像度処理を実行するシステムであって、
入力ビデオフレームシーケンスについての高解像度の低周波時空間フレームを、補間により生成する処理部と、
フレーム間の空間的な高周波外挿補間により、前記入力ビデオシーケンスのフレームから、高解像度の高周波空間フレームを合成する処理部と、
前記の２つのフレームを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスのフレームを生成する処理部と
を有するシステム。
【請求項８】
第１の空間的な解像度及び第１の時間的な解像度を有する入力ビデオフレームシーケンスについて超解像度処理を実行する装置であって、
前記入力ビデオフレームシーケンスのフレームを時間的に補間し、時間的に補間されたフレームを取得する時間補間モジュールと、
前記入力ビデオフレームシーケンスのフレーム及び時間的に補間されたフレームを空間的に補間し、高解像度の低周波時空間フレームを生成する空間補間モジュールであって、前記高解像度の低周波時空間フレームは、前記第１の空間的な解像度より高い第２の空間的な解像度と前記第１の時間的な解像度より高い第２の時間的な解像度とを有する、空間補間モジュールと、
前記入力ビデオフレームシーケンスについてフレーム間の空間的な高周波外挿補間を実行し、前記入力ビデオフレームシーケンスのパッチを利用して空間的な高周波合成処理を適用し、前記第２の空間的な解像度及び第２の時間的な解像度を有する高解像度の高周波空間フレームを生成する空間外挿補間モジュールであって、時間的に一致する入力ビデオフレームを有する高解像度の高周波空間フレームのうちの第１のグループは、時間的に一致する入力ビデオフレーム各々から合成され、時間的に一致する入力ビデオフレームを有しない高解像度の高周波空間フレームのうちの第２のグループは、前記第１のグループに属する隣接するフレームに時間的に一致する入力ビデオフレームから合成される、空間外挿補間モジュールと、
前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合し、時間的及び空間的に超解像度処理されたビデオシーケンスを取得する結合モジュールと
を有する装置。
【請求項９】
当該装置は、前記低周波時空間フレームを時間的に補間したフレームを取得するモジュールを更に有し、該モジュールは、
少なくとも２つの入力フレームの間でモーションフィールドを生成するモーションフィールド生成モジュールと、
出力画像バッファと、
前記出力画像の時間位置を決定する制御部と、
前記２つの入力フレームの各々を重複するパッチ群に分割する分割モジュールと
前記２つの入力フレームの双方又は一方の各パッチについて、動きベクトルの線形補間により、決定した時間位置に応じた前記出力画像における空間位置を計算する線形補間部と、
前記２つの入力フレーム双方又は一方の各パッチについて、決定した時間位置に応じた重み係数を計算し、現在のパッチの画素に前記重み係数を乗算し、パッチ各々の重み付けされた画素値を取得する重み係数計算部と、
前記パッチ各々の計算された空間位置における前記パッチの重み付けされた画素値を前記出力画像のバッファに蓄積する第１のアキュムレータであって、各パッチは、重み付けされた画素値による寄与を、前記計算された空間位置における前記出力画像の画素に及ぼす、第１のアキュムレータと、
重み係数の蓄積バッファと、
画素各々について取得されかつ前記出力画像の画素各々に寄与をもたらす重み係数を、前記重み係数の蓄積バッファに蓄積する第２のアキュムレータと、
前記２つの入力フレーム双方の全てのパッチが処理された後に、前記重み係数の蓄積バッファから取得される蓄積された重み係数により、蓄積された中間的な出力画像を正規化する正規化モジュールと
を有する、請求項８に記載の装置。
【請求項１０】
当該装置は、ラージスケール線形フィルタ及びローカルスケール非線形フィルタを有する反復的なロバストブロックマッチング（ＩＲＢＭ）部を更に有し、
前記反復的なロバストブロックマッチング部が、ブロックマッチングにより類似するパッチを発見する処理と、ラージスケールの線形フィルタリング及びローカルスケールの非線形フィルタリングを前記類似するパッチに反復的に適用する処理とを実行することにより、前記モーションフィールドが取得される、請求項９に記載の装置。
【請求項１１】
前記高解像度の低周波時空間フレームと高解像度の高周波空間フレームとを結合する前記結合モジュールが、
前記高解像度の高周波空間フレームをハイパスフィルタリングし、ハイパスフィルタリングされた高解像度の高周波空間フレームを取得するハイパスフィルタと、
前記ハイパスフィルタリングされた高解像度の高周波空間フレームと前記高解像度の低周波時空間フレームとを結合する結合部と
を有する請求項８〜１０のうち何れか１項に記載の装置。
【請求項１２】
前記入力ビデオフレームシーケンスのフレームを空間的に補間する前記空間外挿補間モジュールが、
前記入力ビデオフレームシーケンスの入力ビデオフレームをフィルタリングし、低周波入力ビデオフレームを取得する第１のローパスフィルタと、
前記入力ビデオフレーム及び前記低周波入力ビデオフレームの間の差分を計算することにより、高周波入力ビデオフレームを生成する差分処理部と、
前記入力ビデオフレームをアップスケーリングするアップスケーリング部と、
アップスケーリングされた入力ビデオフレームをフィルタリングし、アップスケーリングされた低周波ビデオフレームを取得する第２のローパスフィルタと、
前記アップスケーリングされた低周波ビデオフレームの中の第１の位置における第１のパッチを特定する処理モジュールと、
前記低周波入力ビデオフレームの中で、前記第１のパッチに最も合致する第１のブロックを探し、前記低周波入力ビデオフレームの中で前記第１のブロックの位置を特定するサーチ部と、
高周波入力ビデオフレームの中で、特定された位置における第２のブロックを選択するセレクタ部と、
アップスケールされた高周波ビデオフレームの中で第１の位置にあるパッチである第２のパッチについて、選択された前記第２のブロックの画素データを蓄積するアキュムレータ部と、
前記サーチ部、前記セレクタ部及び前記アキュムレータ部のうちの１つ以上を制御し、アップスケーリングされた低周波ビデオフレーム内の全てのパッチを処理するための制御部と、
アップスケールされた高周波ビデオフレームの中で蓄積された画素値を正規化し、アップスケールされた正規化された高周波ビデオフレームを取得する正規化部と、
前記アップスケールされた正規化された高周波ビデオフレームのうち少なくとも１つを、アップスケールされた低周波ビデオフレームのうち少なくとも１つに結合することにより、空間的に超解像度処理されたビデオフレームを取得する結合部と
を有する請求項８〜１１のうち何れか１項に記載の装置。
【請求項１３】
高解像度の高周波空間フレームの第２のグループの現在フレームが、前記現在フレームの直接隣接する時間的に一致する入力シーケンスの２つのフレームから、高周波合成により取得される、請求項１２に記載の装置。
【請求項１４】
請求項１〜６のうち何れか１項に記載の方法をコンピュータに実行させる実行命令を保存する、コンピュータにより読み取ることが可能な記憶媒体。
【国際調査報告】
2015515179.tif 000024
2015515179.tif 000025
2015515179.tif 000026
2015515179.tif 000027