(57)【特許請求の範囲】
【請求項１】
画像の解像度向上方法であって：
第一の解像度の第一の画像を受領する段階と；
前記第一の画像のぼかされた画像として前記第一の解像度の第二の画像を生成する段階と；
前記第一の画像を第二の解像度にアップスケールすることによって第三の画像を生成する段階と；
前記第二の解像度の解像度向上画像を合成する段階とを含み、前記合成する段階は、解像度向上画像の複数のピクセル集合について：
・前記解像度向上画像の第一のピクセル集合を選択し；
・前記第一のピクセル集合に対して第一の所定の空間的関係をもつ前記第三の画像の比較ピクセル集合であって前記第二の解像度の解像度をもつ比較ピクセル集合を選択し；
・前記第一のピクセル集合に対して第二の空間的関係をもつ前記解像度向上画像の合成済みピクセル集合であって、前記第二の解像度の解像度をもつ合成済みピクセル集合を選択し；
前記第一の画像の全体もしくは一部及び前記第二の画像の全体もしくは一部である、または、前記第二の画像の全体もしくは一部及び前記第三の画像を前記第一の解像度でサブサンプリングした第四の画像の全体もしくは一部である画像領域中の複数の位置について：
第一の位置を選択し；
前記比較ピクセル集合と、前記第一の位置に対して第三の空間的関係をもつ前記第二の画像についての第一のサンプル・ピクセル集合であって前記第一の解像度の解像度をもつ第一のサンプル・ピクセル集合との間の第一のマッチ・メトリックを決定し；
前記合成済みピクセル集合と、前記第一の画像または前記第三の画像についての、前記第一の位置に対して第四の空間的関係をもち、前記第一の解像度の解像度をもつ第二のサンプル・ピクセル集合との間の第二のマッチ・メトリックを決定し；
前記第一のマッチ・メトリックおよび前記第二のマッチ・メトリックを組み合わせることによって前記第一の位置についての組み合わされたマッチ・メトリックを生成し；
前記組み合わされたマッチ・メトリックならびに、前記第一の画像または前記第四の画像のソース画像領域のピクセル値に応じて、前記第一のピクセル集合についての少なくとも一つのピクセル値を生成する、
段階を逐次反復することによる、
方法。
【請求項２】
請求項１に記載の方法であって、少なくとも一つのピクセル値を生成する前記段階は、複数の位置に関連付けられたソース画像領域の複数のピクセル値を重みをかけて組み合わせることによって、前記第一のピクセル集合のピクセルについてのピクセル値を生成することを含み、前記複数のピクセル値の各ピクセル値の重み付けは、そのピクセル値の組み合わされたマッチ・メトリックに依存する、方法。
【請求項３】
請求項１または２に記載の方法であって、少なくとも一つのピクセル値を生成する前記段階は：
前記複数の位置のうち、組み合わされたマッチ・メトリックがある基準にマッチする位置を含む位置の集合を選択し；
前記位置の集合の各位置についてソース・ピクセル値を選択し；
前記ソース・ピクセル値に応じて前記少なくとも一つのピクセル値を生成することを含む、
方法。
【請求項４】
請求項１から３のいずれか１項に記載の方法であって、前記第二の画像を生成する前記段階は：
前記第一の画像をダウンスケーリングしてより低い解像度の画像を生成し；
前記より低い解像度の画像をアップスケーリングして前記第一の解像度にすることによって前記第二の画像を生成することを含む、
方法。
【請求項５】
請求項４に記載の方法であって、前記より低い解像度の画像の解像度と前記第一の解像度との間の比が実質的に、前記第一の解像度と前記第二の解像度との間の比と同じである、方法。
【請求項６】
請求項１から５のいずれか１項に記載の方法であって、前記第一の画像と前記解像度向上画像との間のアップスケーリング因子は2である、方法。
【請求項７】
前記第二のサンプル・ピクセル集合は前記第一の画像から選択される、請求項１から６のいずれか１項に記載の方法。
【請求項８】
前記第二のサンプル・ピクセル集合は前記第三の画像から選択される、請求項１から６のいずれか１項に記載の方法。
【請求項９】
請求項８に記載の方法であって、前記第二のサンプル・ピクセル集合の選択は、前記第一の解像度で前記第三の画像の領域のピクセルをサブサンプリングする段階を含む、方法。
【請求項１０】
請求項８または９に記載の方法であって、前記第二のサンプル・ピクセル集合のピクセルのピクセル中心が、前記第一の画像のピクセルのピクセル中心に対して空間的にオフセットされる、方法。
【請求項１１】
請求項１から１０のいずれか１項に記載の方法であって、前記組み合わされたマッチ・メトリックは、前記第一のマッチ・メトリックと前記第二のマッチ・メトリックの重みをかけた和を含む、方法。
【請求項１２】
前記比較ピクセル集合は40個未満のピクセルを含む、請求項１から１１のいずれか１項に記載の方法。
【請求項１３】
前記合成済みピクセル集合は15個未満のピクセルを含む、請求項１から１２のいずれか１項に記載の方法。
【請求項１４】
請求項１から１３のいずれか１項に記載の方法であって、前記第一のマッチ・メトリックを決定する前記段階は、前記第二の画像を前記第二の解像度にアップスケーリングして、前記第一の解像度でピクセルをサブサンプリングすることによって、前記第二の画像の前記第一のサンプル・ピクセル集合を決定することを含む、方法。
【請求項１５】
画像の解像度向上装置であって：
第一の解像度の第一の画像を受領する手段と；
前記第一の画像のぼかされた画像として前記第一の解像度の第二の画像を生成する手段と；
前記第一の画像を第二の解像度にアップスケールすることによって第三の画像を生成する手段と；
前記第二の解像度の解像度向上画像を合成する手段とを含み、前記合成は、解像度向上画像の複数のピクセル集合について：
・前記解像度向上画像の第一のピクセル集合を選択し；
・前記第一のピクセル集合に対して第一の所定の空間的関係をもつ前記第三の画像の比較ピクセル集合であって前記第二の解像度の解像度をもつ比較ピクセル集合を選択し；
・前記第一のピクセル集合に対して第二の空間的関係をもつ前記解像度向上画像の合成済みピクセル集合であって、前記第二の解像度の解像度をもつ合成済みピクセル集合を選択し；
前記第一の画像の全体もしくは一部及び前記第二の画像の全体もしくは一部である、または、前記第二の画像の全体もしくは一部及び前記第三の画像を前記第一の解像度でサブサンプリングした第四の画像の全体もしくは一部である画像領域中の複数の位置について：
第一の位置を選択し；
前記比較ピクセル集合と、前記第一の位置に対して第三の空間的関係をもつ前記第二の画像についての第一のサンプル・ピクセル集合であって前記第一の解像度の解像度をもつ第一のサンプル・ピクセル集合との間の第一のマッチ・メトリックを決定し；
前記合成済みピクセル集合と、前記第一の画像または前記第三の画像についての、前記第一の位置に対して第四の空間的関係をもち、前記第一の解像度の解像度をもつ第二のサンプル・ピクセル集合との間の第二のマッチ・メトリックを決定し；
前記第一のマッチ・メトリックおよび前記第二のマッチ・メトリックを組み合わせることによって前記第一の位置についての組み合わされたマッチ・メトリックを生成し；
前記組み合わされたマッチ・メトリックならびに、前記第一の画像または前記第四の画像のソース画像領域のピクセル値に応じて、前記第一のピクセル集合についての少なくとも一つのピクセル値を生成する、
段階を逐次反復することによる、
装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像解像度の向上に、より詳細にはこれに限られるものではないがビデオ・シーケンスのフレームの解像度向上に関する。
【背景技術】
【０００２】
画像の解像度の向上はアップスケーリングとして一般に知られており、関心が高まりつつある。たとえば、さまざまな高精細度（HD:  High  Definition）テレビジョン規格の到来のため、標準精細度（SD:  Standard  Definition）画像からHD画像を生成する好適な方法およびアルゴリズムが望まれている。たとえば、もとのSDビデオ・シーケンスからHDビデオ・シーケンスを生成するためにオフライン処理が使われてきており、リアルタイムで動的にSDビデオ・コンテンツをHDビデオ・コンテンツにアップスケールできるテレビジョンおよびDVDプレーヤー等も開発されている。
【０００３】
そのようなアップスケーリングは典型的には、たとえば双線形または双三次補間またはポリフェーズ・スケーリングを使って新しいピクセル値を生成するために補間を利用する。しかしながら、そのような方法は画像中のピクセル数を増すものの、画像中に新たな高周波数の詳細を導入するものではなく、よってアップスケーリングされた画像はぼやけて見える。標準精細度（SD）ビデオから高精細度（HD）への変換のためには、約200%のアップスケーリング因子が必要とされ、この因子やより高いスケール因子については、ぼけははっきりと目につく傾向があり、望ましくない。
【０００４】
そのような知覚されるぼやけを緩和または補償するため、より詳細でシャープな印象をもつ画像を生成するために進んだ非線形技法が解像度向上においてしばしば用いられる。そのような方法としては、たとえば、特許文献１および特許文献２に記載されるトレーニングおよび構造分類を使って最適化されたデータ依存補間フィルタ、非特許文献１に記載されるエッジ指向の（edge  directed）補間技法が含まれる。これらの技法の多くの概説および評価は非特許文献２；非特許文献３に見出せる。
【０００５】
テレビジョンにおいて使われる解像度向上方法の一つの個別的な例は、ピーキング（peaking）による輝度過渡改善（LTI:  Luminance  Transient  Improvement）として知られる。LTIは、オーバーシュートを生成することなく過渡信号（transient）を増加させ、それにより信号中に新たな高周波数内容を導入することによりエッジのシャープさを改善する技法である。ピーキングは、よりシャープな印象を画像に与えるために、信号中にすでに存在している高周波数成分をブーストすることをねらいとする。LTIの説明は非特許文献４および特許文献３に見出せる。
【０００６】
しかしながら、典型的にはこれらの方法は主としてよりシャープなエッジ遷移を生成することに焦点を当てており、結果として、テクスチャーのような密に詳細がある領域での十分な向上能力を欠くきらいがある。このテクスチャー／詳細の向上の欠如は、増しつつあるスケーリング因子について、特に200%を超えるスケーリング因子についてはより目につくものとなりうる。
【０００７】
テクスチャー合成の方法がたとえば非特許文献５および非特許文献６で提案されている。これらの論文の前者は、基本的な例に基づくテクスチャー合成（example-based  texture  synthesis）の例を開示している。これは、例として使われる小さなテクスチャー・パッチに基づいて画像領域内のテクスチャーを拡張することをねらいとする技法である。しかしながら、そのような方法は、好適なテクスチャーによって領域を覆うためには有用であるものの、アップスケーリングや解像度向上に向けられたものではない。既存のテクスチャー領域の解像度を増すのではなく、テクスチャーをより広い領域に拡張することに向けられたものである。後者の文書はテクスチャー転写（texture  transfer）（または時に制約条件付き（constrained）テクスチャー合成と呼ばれる）として知られる、追加的なターゲット画像によって合成が操縦される技法を開示している。
【０００８】
アップスケーリングのためのもう一つの方法は、例に基づく超解像度（example-based  super-resolution）として知られており、非特許文献７および特許文献４に記載されている。
【０００９】
例に基づく超解像度は、事前に記憶された画像の諸セット〔集合〕をもつデータベースを使用する。ここで、各セットは同じシーンの低解像度バージョンおよび高解像度バージョンを含む。アップスケーリングされるべき入力画像はパッチごとに処理され、各パッチについて最良一致〔マッチ〕例がデータベース中で見出される。一致は、パッチの低解像度コンテンツと例画像のデータベースに記憶されている対応する低解像度パッチとを比較することによって判定される。さらに、アップスケーリングされた画像のすでに合成されたピクセル値が、低解像度一致物に対応する高解像度画像例としてデータベース中に記憶されたピクセルと比較されうる。これは、合成されるパッチどうしが小さな重なりをもつようにすることによって達成される。これは、事実上、よりよい空間的一貫性（consistency）を課すことになる。次いで、最良一致物についての記憶された高解像度画像の高周波数成分が高解像度出力を合成するために使われ、それにより改善されたアップスケーリングされた画像が生成される。具体的には、ピクセル値は最良一致例の記憶された高解像度画像からコピーされてもよい。
【００１０】
しかしながら、このアプローチはいくつかの画像については良好な結果を与えるかもしれないが、いくつかの欠点をもつきらいもある。特に、生成された高解像度画像は最適な品質をもたないことがありうる。たとえば、このプロセスはパッチごとに実行され、出力における空間的一貫性は保証されない。さらに、例画像は処理されている画像に精確に対応しないことがあり、それにより非一貫性を導入する。また、多くの異なる入力画像について十分高い品質を達成するためには、記憶された多数の例画像をもつことが必要であり、それにより資源要件、複雑さおよびコストが増す。たとえば、メモリ要件および検索サイズおよび時間特性が高いことがありうる。
【００１１】
よって、改善された画像解像度向上が有利であろう。特に、柔軟性を高める、複雑さを低減する、画質を改善する、資源消費を低減するおよび／またはパフォーマンスを改善することを許容するシステムが有利であろう。
【先行技術文献】
【特許文献】
【００１２】
【特許文献１】米国特許第5,444,487号（T.  Kondo  and  K.  Kawaguchi,  "Adaptive  dynamic  range  encoding  method  and  apparatus"、1995年8月）
【特許文献２】米国特許第6,192,161号（T.  Kondo  et  al.,  "Method  and  apparatus  for  adaptive  filter  tap  selection  according  to  a  class  "、2001年2月）
【特許文献３】米国特許第4414564A号
【特許文献４】米国特許第6766067号（William  T.  Freeman  and  Thouis  R.  Jones,  "One-pass  super-resolution  images",  July  20,  2004）
【非特許文献】
【００１３】
【非特許文献１】Li  and  Orchard,  "New  edge-directed  interpolation",  IEEE  Transactions  on  Image  Processing  10:1521-1527,  2001
【非特許文献２】van  Ouwerkerk,  "Image  super-resolution  survey",  Image  and  Vision  Computing  24(10):1039-1052,  2006
【非特許文献３】de  M.  Zhao,  M.  Bosma,  and  G.  de  Haan,  "Making  the  Best  of  Legacy  Video  on  Modern  Displays",  Journal  of  the  Society  for  Information  Display,  January  2007,  Volume  15,  Issue  1,  pp.  49-60
【非特許文献４】J.  Tegenbosch,  P.  Hofman  and  M.  Bosma,  "Improving  nonlinear  up-scaling  by  adapting  to  the  local  edge  orientation",  Proceedings  of  the  SPIE,  Vol.  5308,  pp.1181-1190,  Jan.  2004
【非特許文献５】Wei,  L.-Y.,  "Texture  synthesis  by  fixed  neighborhood  searching"、2002
【非特許文献６】Ashikhmin,  M.,  "Fast  Texture  Transfer",  Computer  Graphics  and  Applications,  IEEE  Volume  23,  Issue  4,  July-Aug.  2003  pp.38-43.
【非特許文献７】Freeman,  W.T.,  Jones,  T.R.,  Pasztor,  E.C,  "Example-Based  Super-Resolution.";  Computer  Graphics  and  Applications,  IEEE,  vol.22,  no.2,  pp.56-65,  Mar/Apr  2002
【発明の概要】
【発明が解決しようとする課題】
【００１４】
したがって、本発明は、上述の欠点の一つまたは複数を、単独でまたは任意の組み合わせにおいて、好ましくは緩和、軽減または解消しようとするものである。
【課題を解決するための手段】
【００１５】
本発明のある側面によれば、画像の解像度向上方法であって：第一の解像度の第一の画像を受領する段階と；前記第一の画像のぼかされた画像として前記第一の解像度の第二の画像を生成する段階と；前記第一の画像を第二の解像度にアップスケールすることによって第三の画像を生成する段階と；前記第二の解像度の解像度向上画像を合成する段階とを含み、前記合成する段階は、解像度向上画像の複数のピクセル集合について：前記解像度向上画像の第一のピクセル集合を選択し；前記第一のピクセル集合に対して第一の所定の空間的関係をもつ前記第三の画像の比較ピクセル集合であって前記第二の解像度の解像度をもつ比較ピクセル集合を選択し；前記第一のピクセル集合に対して第二の空間的関係をもつ前記解像度向上画像の合成済みピクセル集合であって、前記第二の解像度の解像度をもつ合成済みピクセル集合を選択し；画像領域中の複数の位置について：第一の位置を選択し；前記比較ピクセル集合と、前記第一の位置に対して第三の空間的関係をもつ前記第二の画像についての第一のサンプル・ピクセル集合であって前記第一の解像度の解像度をもつ第一のサンプル・ピクセル集合との間の第一のマッチ・メトリックを決定し；前記合成済みピクセル集合と、前記第一の画像および前記第三の画像のうちの少なくとも一方についての、前記第一の位置に対して第四の空間的関係をもち、前記第一の解像度の解像度をもつ第二のサンプル・ピクセル集合との間の第二のマッチ・メトリックを決定し；前記第一のマッチ・メトリックおよび前記第二のマッチ・メトリックを組み合わせることによって前記第一の位置についての組み合わされたマッチ・メトリックを生成し；前記組み合わされたマッチ・メトリックならびに前記第一の画像および前記第三の画像の少なくとも一方のソース画像領域のピクセル値に応答して前記第一のピクセル集合についての少なくとも一つのピクセル値を生成する、段階を逐次反復することによる、方法が提供される。
【００１６】
本発明は、ビデオ・シーケンスの諸画像のような、画像の解像度向上の改善を許容しうる。本発明は、容易にされたおよび／または複雑さの低い実装を許容しうる。多くの場合において、本発明は、解像度向上画像の改善された画質を提供しうる。本発明はまた、特に、画像の詳細度および高周波数内容を増しうる。
【００１７】
たとえば、本発明は、テクスチャー（たとえば髪、毛皮、規則的なテクスチャーなど）およびエッジの生成／向上を許容しうる。具体的には、本方法はエッジ遷移を改善することに限定されるものではない。さらに、本発明は、エッジ向上をエイリアス・フリー〔エイリアスなし〕にすることを許容しうる。すなわち、本方法は、先鋭化の一環としてジャギーを導入することなく、よりシャープなエッジ遷移を達成しうる。
【００１８】
本発明は、例に基づく超解像度および例に基づくテクスチャー合成によって提供される利点および恩恵のいくつかを組み合わせ、提供しうる。具体的には、本願のアプローチは、改善されたアップスケーリングを与えるため、特に追加的な詳細、エッジおよびより高解像度のテクスチャーを生成して導入するために、自己相似性およびスケール不変性の前提を活用しうる。
【００１９】
さらに、画像解像度向上は、例画像を提供し、記憶しておく必要なしに達成されうる。実際、前記第二の画像および／または前記第一の画像が、解像度向上画像のピクセルの合成のための例画像として使用されうる。
【００２０】
このように、本願のアプローチは、マッチする低解像度（low  resolution）画像および高解像度（high  resolution）画像の対の例をもつデータベースの必要を回避しうる。さらに、テクスチャー画像の例を記憶しておく必要もない。
【００２１】
本方法は、アップスケーリングされる画像自身から生成される画像例をアップスケーリングにおいて使用する。よって、本方法は、アップスケールされた画像における追加的な詳細を生成するために、ある程度の自己相似性をもち、スケール不変な要素をもつ画像という前提を利用しうる。もとの画像を高解像度画像のための詳細およびテクスチャーのためのソースとして使うことにより、しばしば改善された向上画像の品質が達成できる。さらに、多くのシナリオにおいて有意な詳細は合成される画像位置の近くに位置していると想定できるので、これは、詳細の検索を制限できるので、計算量を実質的に軽減しうる。
【００２２】
前記第二の画像は、前記第一の画像よりも少ない高周波数成分を含んでいてもよい。具体的には、前記第二の画像はぼかされてもよい。これは、画像データの空間周波数帯域幅が、前記第二の解像度で利用可能な空間周波数帯域幅より実質的に低いことを意味する。たとえば、画像データの空間周波数帯域幅は、利用可能な帯域幅の70%未満であってもよく、具体的にはアップスケール因子2のためには利用可能な帯域幅のたった半分に制限されてもよい。
【００２３】
前記合成済みピクセル集合は、一つまたは複数の以前の逐次反復工程においてすでに合成されたピクセルを含む。前記第一および第二の空間的関係は、同じであってもよいし、および／または異なっていてもよい。同様に、前記第三および第四の空間的関係は、同じであってもよいし、および／または異なっていてもよい。同様に、空間的関係とは、たとえば、合成されるピクセル位置に隣接するピクセル領域および／または画像領域を指定しうる。
【００２４】
前記第一のサンプル・ピクセル集合は、前記第一の解像度でサブサンプリングされた前記第二の画像についての線形にアップスケーリングされたおよび／または補間されたサンプルを含みうる。これは、前記第二の解像度と等価な、ピクセルより小さな尺度での精確さ〔サブピクセル精度〕を達成しうる。具体的には、前記第一のサンプル・ピクセル集合のピクセルのピクセル・サイズは、前記第一の解像度のピクセルよりも小さくてもよく、特に、前記第二の解像度のピクセルと同じサイズであってもよい。具体的には、前記第一のサンプル・ピクセル集合のピクセルは、解像度向上画像のピクセルと同じピクセル・グリッド上であってもよい。
【００２５】
前記第二のサンプル・ピクセル集合は、前記第一の解像度でサブサンプリングされた前記第一の画像についての線形にアップスケーリングされたおよび／または補間されたサンプルを含みうる。これは、前記第二の解像度と等価な、ピクセルより小さな尺度での精確さ〔サブピクセル精度〕を達成しうる。具体的には、前記第二のサンプル・ピクセル集合のピクセルのピクセル・サイズは、前記第一の解像度のピクセルよりも小さくてもよく、特に、前記第二の解像度のピクセルと同じサイズであってもよい。具体的には、前記第二のサンプル・ピクセル集合のピクセルは、解像度向上画像のピクセルと同じピクセル・グリッド上であってもよい。
【００２６】
前記の異なるピクセル集合および画像領域内のピクセルの数は、静的および／または動的に決定されうる。たとえば、合成済みピクセル集合および／または比較ピクセル集合中のピクセル数は、前記第一の画像の特性に応答して動的に決定されてもよい。
【００２７】
本発明のある任意的な特徴によれば、少なくとも一つのピクセル値を生成するステップは、複数の位置に関連付けられたソース画像領域の複数のピクセル値を重みをかけて組み合わせることによって、前記第一のピクセル集合のピクセルについてのピクセル値を生成することを含む。ここで、前記複数のピクセル値の各ピクセル値の重み付けは、そのピクセル値の組み合わされたマッチ・メトリックに依存する。
【００２８】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。たとえば、アーチファクトがない、および／またはノイズが軽減された、より自然な画像が合成されうる。
【００２９】
本発明のある任意的な特徴によれば、少なくとも一つのピクセル値を生成するステップは：前記複数の位置のうち、組み合わされたマッチ・メトリックがある基準にマッチする位置を含む位置の集合を選択し；前記位置の集合の各位置についてソース・ピクセル値を選択し；前記ソース・ピクセル値に応答して前記少なくとも一つのピクセル値を生成することを含む。
【００３０】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、たとえば、解像度向上画像についてのピクセル値への寄与が、ソース画像中の特に好適な位置についてのピクセル値に限定されることを許容しうる。前記基準は、たとえば、組み合わされたマッチ・メトリックが所与の閾値を超えるおよび／または組み合わされたマッチ・メトリックが最高の決定されたマッチ・メトリックでなければならないという要求を含みうる。
【００３１】
本発明のある任意的な特徴によれば、前記第二の画像を生成するステップは：前記第一の画像をダウンスケーリングしてより低い解像度の画像を生成し；前記より低い解像度の画像をアップスケーリングして前記第一の解像度にすることによって前記第二の画像を生成することを含む。
【００３２】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、これはぼかされた画像の効率的な生成を許容しうる。本アプローチは、解像度向上画像に対する前記第三の画像の品質劣化と同様の品質劣化を前記第一の画像に対してもつ第二の画像の生成を許容しうる。こうして、この特徴は、自己相似性およびスケール不変性の前提に基づいて詳細を追加するために有用な例画像の特に好適な生成を許容しうる。
【００３３】
前記アップスケーリングは、具体的には、補間または他の空間的フィルタリングを含みうる。こうして、前記アップスケーリングは、前記より低い解像度の画像にいかなる追加的な空間的周波数をも導入しないアップスケーリングでありうる。前記アップスケーリングは、前記第一の画像から前記第三の画像を生成するために使用されるのと同じアルゴリズムおよび／または設定を使用してもよい。
【００３４】
本発明のある任意的な特徴によれば、前記より低い解像度の画像の解像度と前記第一の解像度との間の比が実質的に、前記第一の解像度と前記第二の解像度との間の比と同じである。
【００３５】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、これは画像が、前記第一の解像度と前記第二の解像度の間の解像度の違いを横断した自己相似性およびスケール不変性を精確に反映することを許容しうる。
【００３６】
前記のいくつかの比は、多くの実施形態において、同一であってもよく、および／または互いの10%以内であってもよい。
【００３７】
本発明のある任意的な特徴によれば、請求項６が提供される。
【００３８】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。
【００３９】
本発明のある任意的な特徴によれば、前記第一の画像と前記解像度向上画像との間のアップスケーリング因子は2である。
【００４０】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。
【００４１】
本発明のある任意的な特徴によれば、前記第二のサンプル・ピクセル集合は前記第三の画像から選択される。
【００４２】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、これは、前記解像度向上画像と前記第一の画像との間のピクセル・エッジ位置におけるオフセット差の補償を許容しうる。
【００４３】
本発明のある任意的な特徴によれば、前記第二のサンプル・ピクセル集合の選択は、前記第一の解像度で前記第三の画像の領域のピクセルをサブサンプリングすることを含む。
。
【００４４】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、これは解像度向上が追加的な詳細を導入することを許容しうる。
【００４５】
本発明のある任意的な特徴によれば、前記第二のサンプル・ピクセル集合のピクセルのピクセル中心が、前記第一の画像のピクセルのピクセル中心に対して空間的にオフセットされる。
【００４６】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。空間的オフセットは、具体的には、前記第一の解像度でのピクセル幅より小さくてもよい。この特徴は、多くのシナリオにおいて、前記解像度向上画像と前記第一の画像との間のピクセル・エッジ位置のオフセット差の補償を許容しうる。
【００４７】
本発明のある任意的な特徴によれば、前記組み合わされたマッチ・メトリックは、前記第一のマッチ・メトリックと前記第二のマッチ・メトリックの重みをかけた和を含む。
【００４８】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、多くのシナリオにおいて、前記解像度向上画像と前記第一の画像との間のピクセル・エッジ位置のオフセット差の補償を許容しうる。
【００４９】
本発明のある任意的な特徴によれば、前記比較ピクセル集合は40個未満のピクセルを含む。
【００５０】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、そのような小さな比較ピクセル集合について、特に高い画質および詳細追加が達成できることが見出されている。
【００５１】
本発明のある任意的な特徴によれば、前記合成済みピクセル集合は15個未満のピクセルを含む。
【００５２】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。特に、そのような小さな合成ピクセル集合について、特に高い画質および詳細追加が達成できることが見出されている。合成済みピクセル集合中のピクセル数は、合成されている画像テクスチャーの周期／スケール／要素サイズに応答して設定されてもよい。
【００５３】
本発明のある任意的な特徴によれば、前記第一のマッチ・メトリックを決定するステップは、前記第二の画像を前記第二の解像度にアップスケーリングして、前記第一の解像度でピクセルをサブサンプリングすることによって、前記第二の画像の前記第一のサンプル・ピクセル集合を決定することを含む。
【００５４】
これは、多くのシナリオにおいて、解像度向上画像の改善された画質を許容しうる、および／または容易にされた実装および／または軽減された資源使用を許容しうる。空間的オフセットは、具体的には、前記第一の解像度のピクセル幅より小さくてもよい。この特徴は、多くのシナリオにおいて、前記解像度向上画像と前記第一の画像との間のピクセル・エッジ位置のオフセット差の補償を許容しうる。
【００５５】
本発明のある側面によれば、画像の解像度向上装置であって：第一の解像度の第一の画像を受領する手段と；前記第一の画像のぼかされた画像として前記第一の解像度の第二の画像を生成する手段と；前記第一の画像を第二の解像度にアップスケールすることによって第三の画像を生成する手段と；前記第二の解像度の解像度向上画像を合成する手段とを含み、前記合成は、解像度向上画像の複数のピクセル集合について：前記解像度向上画像の第一のピクセル集合を選択し；前記第一のピクセル集合に対して第一の所定の空間的関係をもつ前記第三の画像の比較ピクセル集合であって前記第二の解像度の解像度をもつ比較ピクセル集合を選択し；前記第一のピクセル集合に対して第二の空間的関係をもつ前記解像度向上画像の合成済みピクセル集合であって、前記第二の解像度の解像度をもつ合成済みピクセル集合を選択し；画像領域中の複数の位置について：第一の位置を選択し；前記比較ピクセル集合と前記第一の位置に対して第三の空間的関係をもつ前記第二の画像についての第一のサンプル・ピクセル集合であって前記第一の解像度の解像度をもつ第一のサンプル・ピクセル集合との間の第一のマッチ・メトリックを決定し；前記合成済みピクセル集合と、前記第一の画像および前記第三の画像のうちの少なくとも一方についての、前記第一の位置に対して第四の空間的関係をもち、前記第一の解像度の解像度をもつ第二のサンプル・ピクセル集合との間の第二のマッチ・メトリックを決定し；前記第一のマッチ・メトリックおよび前記第二のマッチ・メトリックを組み合わせることによって前記第一の位置についての組み合わされたマッチ・メトリックを生成し；前記組み合わされたマッチ・メトリックならびに前記第一の画像および前記第三の画像の少なくとも一方のソース画像領域のピクセル値に応答して前記第一のピクセル集合についての少なくとも一つのピクセル値を生成する、段階を逐次反復することによる、装置が提供される。
【００５６】
本発明のこれらおよびその他の側面、特徴および利点は、以下に記述される実施形態を参照することから明白となり、明快にされるであろう。
【００５７】
本発明の諸実施形態は、単に例として、図面を参照して記述される。
【図面の簡単な説明】
【００５８】
【図１】本発明のいくつかの実施形態に基づく画像アップスケーラの例を示す図である。
【図２】本発明のいくつかの実施形態に基づく画像処理の例を示す図である。
【図３】本発明のいくつかの実施形態に基づく画像アップスケーリング方法の例を示す図である。
【図４】本発明のいくつかの実施形態に基づく画像アップスケーリングの方法における未知ピクセル値の合成の例を示す図である。
【図５】本発明のいくつかの実施形態に基づく画像アップスケーリングの方法におけるピクセル集合マッチングの例を示す図である。
【発明を実施するための形態】
【００５９】
以下の記述は、ビデオ・シーケンスの画像のアップスケーリングに適用可能な本発明の諸実施形態に焦点を当てるが、本発明はこの用途に限定されるものではなく、他の多くの画像に適用されうることは理解されるであろう。
【００６０】
図１は、本発明のいくつかの実施形態に基づく画像アップスケーラ〔アップスケーリング器〕の例を示す図である。
【００６１】
本画像アップスケーラは、アップスケールされ向上されるべき第一の画像を受領する受領器１０１を有する。本例では、画像はビデオ・シーケンス中で受領され、本例では、受領器１０１は、デジタル・エンコードされたビデオ・信号（MPEG-2信号のような）を受領し、これをデコードして個々の画像を生成するよう構成されている。そうした個々の画像は次いでピクセル領域において個々に処理される。
【００６２】
前記第一の画像およびビデオ・シーケンスがいかなる好適な内部源または外部源から受領されてもよいことは理解されるであろう。
【００６３】
前記第一の画像は、第一の解像度で受領される。第一の解像度は、この個別的な例では標準精細度（SD）の解像度である。個別的な例として、画像は720×576ピクセルの画像であってもよく、これが、スケール因子2により、1440×1152ピクセルの高精細度（HD）画像を生成するためにアップコンバートされる。このアップスケールされた画像はその後、たとえばより広く使われるHD解像度である1366×768に、たとえば線形補間を使ってダウンスケーリングされてもよいことは理解されるであろう。
【００６４】
受領器１０１は、前記第一の画像と同じ解像度であるが、何らかの高周波成分を欠くそのぼかされたバージョンである第二の画像を生成する第一の画像生成器１０３に結合されている。よって、前記第二の画像は前記第一の画像と同じ解像度であるが、前記第一の画像の何らかのより高い空間周波数を除去することによってぼかされている。
【００６５】
こうして、前記第二の画像においては、周波数スペクトルの低めの部分だけが満たされている。つまり、周波数スペクトルは、画像解像度によって許容されるレベルまで満たされてはいない。これは、（線形）アップスケーリング（完全な解像度向上なしの）後に典型的に見られる状況である。というのも、画像の解像度が増される際に、利用可能なより広いスペクトルを、もとのより低い解像度で得られない新しい高周波数成分で（完全に）埋めることをしないからである。
【００６６】
結果として、たとえばエッジ遷移の急峻さが低下し、よってぼかされた（blurred）またはなめらかにされた（smoothed）ように見える、つまり以前よりシャープでなくなり、画像中に存在する（新たな）詳細はない。よって、前記第二の画像については、前記第二の解像度の完全な解像度はフルに活用されていない。
【００６７】
受領器１０１はさらに、第二の画像生成器１０５に結合されている。該第二の画像生成器は、前記第一の画像を、出力解像度向上画像の解像度に対応する第二の解像度にアップスケーリングすることによって第三の画像を生成する。こうして、前記第二の画像生成器１０５はHD画像を生成する。第二の画像生成器１０５によって使用されるアップスケーリング技法は、補間に基づくアップスケーリングのような線形アップスケーリング技法である。前記第三の画像は、前記第一の画像より高い空間周波数を含まないので、前記第二の解像度において比較的ぼけて知覚される。
【００６８】
受領器１０１、第一の画像生成器１０３および第二の画像生成器１０５は解像度向上処理器１０７に結合される。解像度向上処理器１０７は、第一、第二および第三の画像に基づいて画像のピクセル値を合成することによって、出力解像度向上画像を生成する。さらに、ピクセル合成は、解像度向上画像のすでに合成されたピクセル値にも基づく。
【００６９】
こうして、図２に示されるように、解像度向上処理器１０７は解像度向上において四つのピクチャーを使う：
・第一の（SD）解像度の受領されたもとの画像である第一の画像２０１。
・第一の画像２０１のぼかされたバージョンであり、第一の（SD）解像度である第二の画像２０３。
・第一の画像２０１の線形アップスケーリングされたバージョンである、第二の（HD）解像度の第三の画像。
・第二の（HD）の解像度である解像度向上画像２０７。
【００７０】
本画像アップスケーラによって使用されるアルゴリズムは、例に基づく超解像度および例に基づくテクスチャー合成と似た要素を使う。しかしながら、これらの従来技術のアプローチとは対照的に、本アプローチは、多くのシナリオにおける改善された画質を許容する。さらに、本アプローチは、解像度向上を与えるために例画像のデータベースを使用も要求もせず、むしろ画像自身に基づいてこの向上を行う。具体的には、第一および第二の画像２０１、２０３が、解像度向上のための例画像セグメントとして使用される。
【００７１】
本アプローチは、向上された高解像度画像を生成するために、当該画像の画像領域の自己相似性およびスケール不変性の性質を活用しようとする。特に、発明者は、多くの画像／シーンは、スケールを横断して、多くのスケール不変な要素および自己相似性を含み、このことが解像度向上を与えるために使用できることを認識するに至った。たとえば、エッジはスケール不変であり、どのスケールでも同じに見え、本質的には低解像度画像から高解像度画像にコピーできる、髪のような多くのテクスチャーは異なるスケールにおいて同じように見える、などである。本アプローチは、そのような認識を、よりシャープなエッジを生成するためのみならず、追加的な髪のような追加的な詳細を生成するためなどにも使用することを許容する。
【００７２】
画像アップスケーラの動作について、以下で、図３〜図５に示される例示的なフローチャートを参照して述べる。
【００７３】
本方法は、第一の画像２０１が受領器１０１によって受領されるステップ３０１で始まる。
【００７４】
ステップ３０１に続いてステップ３０３が行われる。ここでは、第二の画像生成器１０５が第一の画像２０１をアップスケーリングして、解像度向上画像２０７に等しい解像度をもつ第三の画像２０５を生成する。アップスケーリングは、第二の解像度の補間された画像（つまりこれはHD画像である）を生成する線形アップスケーリングである。こうして、本例では、第三の画像２０５は、第一の画像２０１に存在するよりも高い空間周波数は全く含まない。しかしながら、実施形態によっては、第三の画像２０５に、何らかの非線形な解像度向上技法が適用されてもよいことは理解されるであろう。もしそうなら、同じ非線形な解像度向上技法が第二の画像２０３にも適用されてもよい。
【００７５】
ステップ３０３に続いてステップ３０５が行われる。ここでは、第一の画像生成器１０３が、第二の画像２０３を、第一の画像２０１のぼかされた、だが同じ解像度をもつ画像として生成する。第二の画像２０３は第一の画像２０１のぼかしを表すわけだが、このぼかしは、具体的には、もとになるシーンの理論的に理想的な解像度向上画像（すなわち第二の解像度でもともと取り込まれたシャープな画像に対応）を基準としたときの第三の画像２０５のぼかしに対応するものでもよい。具体的には、第二の画像２０３の空間周波数は、第一の画像２０１の帯域幅に対してある比をもつ低周波数帯域幅に限定されるのだが、その比は、第三の画像２０５とフル帯域幅の高解像度画像との空間周波数帯域幅の間の比に対応しうる。
【００７６】
具体例として、アップスケーリング因子2について、第三の画像２０５は、第二の解像度で可能な帯域幅の半分の帯域幅内でのみ空間周波数を含みうる。したがって、第二の画像２０３は、第一の解像度で可能な帯域幅の半分の帯域幅内の空間周波数のみを含むよう制約されうる。
【００７７】
結果として、第一の画像２０１に対する第二の画像２０３の相対的なぼけは、第一の画像２０１に対応する理論的な理想的な高解像度画像に対する第三の画像２０５の相対的なぼけと近く対応する。したがって、スケール横断的な自己相似性の前提のもとで、第一と第二の画像２０３の間の関係は、第三の画像２０５と解像度向上画像２０７の間の関係を推定するために効果的に使用できる。
【００７８】
ぼかされた第二の画像２０３の生成がたとえば、第一の画像２０１を空間的に低域通過フィルタ処理することによって達成されてもよいことは理解されるであろう。しかしながら、この具体例においては、第一の画像生成器１０３は第二の画像の生成を、まず第一の画像２０１をより低解像度にダウンスケーリングして、次いでこの画像をもとの第一の解像度にアップスケーリングすることによって行うよう構成されている。
【００７９】
具体的には、ダウンスケーリングは、第二の解像度（すなわち、第三の画像２０５および解像度向上画像２０７の解像度）と第一の解像度（すなわち、第一および第二の画像２０１、２０３の解像度）との間の比と等価な因子によってであってもよい。これは、第一および第二の画像対２０１、２０３が、第三の画像と解像度向上画像の対２０５、２０７の間の相関をよりよく反映することを許容しうる。
【００８０】
多くの実施形態において、第一の画像２０１とダウンスケーリングされた低解像度画像との間のスケール因子は、解像度向上画像２０７と第一の画像２０１との間のスケール因子と同一に選ばれる。この具体例では、因子2によるダウンスケーリングが適用され、結果として解像度360×288ピクセルのダウンスケーリングされた画像が得られる。
【００８１】
ダウンスケーリングは具体的には、空間的なアンチエイリアス低域通過フィルタを適用し、高周波数成分を除去し、次いで因子2によるダウンサンプリングを行うことによって達成される線形ダウンスケーリングであってもよい。
【００８２】
ダウンスケーリングされた画像は次いで、線形アップスケーリング・アルゴリズムを使って、同じスケール因子によってアップスケーリングされる。具体的には、第一の画像２０１を第三の画像２０５にアップスケーリングするのに使われたのと同じアップスケーリング・アルゴリズムを使用してもよい。
【００８３】
このように、第二の画像２０３においては、周波数スペクトルのより低い部分のみが満たされる。すなわち、周波数スペクトルは、第一の解像度が許容するレベルまで満たされはしない。これは、（線形）アップスケーリング（完全な解像度向上なしの）後に典型的に見られる状況である。というのも、画像の解像度が増される際に、利用可能なより広いスペクトルを、もとのより低い解像度で得られない新しい高周波数成分で（完全に）満たすことをしないからである。
【００８４】
結果として、たとえばエッジ遷移の急峻さが低下し、よってぼかされたまたはなめらかにされたように見える、つまり以前よりシャープでなくなり、画像中に存在する（新たな）詳細はない。よって、前記第二の画像２０３については、前記第二の解像度の完全な解像度はフルに活用されていない。
【００８５】
本方法は次いで、解像度向上画像２０７の生成に進む。本方法は、シーケンシャルなピクセル・ベースのアプローチを使う。ここで、一組のピクセルが同時に合成され、この方法が、解像度向上画像２０７全体が生成されるまでこの合成を逐次反復する。さらに、ピクセル集合の合成は、前の反復工程で合成済みのピクセルも考慮する。
【００８６】
この具体例では、解像度向上画像２０７の一つのピクセルが一時に合成されるが、他の実施形態では二つ以上のピクセルを含むピクセル集合が一緒に合成されてもよいことは理解されるであろう。
【００８７】
こうして、ステップ３０５に続いてステップ３０７が行われる。ここでは、解像度向上画像２０７の次のピクセルが選択され、合成される。ステップ３０７に続いてステップ３０９が行われる。ここでは、解像度向上画像の全てのピクセルが合成されたかどうかが評価される。もしそうであれば、本方法はステップ３１１で停止し、そうでなければ、ステップ３０７に戻って次のピクセルを処理する。
【００８８】
図４は、ピクセル値を合成するために解像度向上処理器１０７によって使用される方法を示している。図４は、いくつかのピクセルはすでに合成済みであり、それによりそれらのピクセルが現在ピクセルの合成において使用できる場合の、解像度向上処理器１０７によって使用される方法を具体的に示している。しかしながら、すでに合成済みのピクセルが全くないときに本方法を開始するためのいかなる好適な方法およびアプローチが使用されてもよいことは理解されるであろう。たとえば、初期のピクセル集合は単に第一の画像２０１、第三の画像または0値の集合からコピーされてもよい。
【００８９】
図４の方法について、図２および示されている未知ピクセル２０９の合成を参照して説明する。本方法は、特に、１ラインずつ、左から右へと、すなわちラスタ・スキャン順にピクセルを合成していく。よって、未知ピクセル２０９が合成されるとき、解像度向上画像２０７中で未知ピクセル２０９の上および左にあるすべてのピクセルはすでに合成済みである。
【００９０】
図４の方法は、現在のピクセルについての好適なマッチを、第一の画像２０１および第二の（ぼかされた）画像２０３の両方において探索する。具体的には、本方法は、解像度向上画像２０７における近隣の（neighboring）合成されたピクセルと第一の画像２０１における対応するピクセル集合との間のマッチならびに第三の画像２０５における近隣ピクセルと第二の画像２０３における対応するピクセル集合との間のマッチを探す。それらのマッチは、二つの画像２０１、２０３における対応する位置について決定され、組み合わされたマッチ・メトリックに組み合わされる。こうして、二つのシャープなピクチャー（すでに合成済みの解像度向上画像２０７および第一の画像２０１）間および二つのぼかされた画像（第二および第三の画像２０３、２０５）間の比較からの成分をいずれも含むマッチ・メトリックをもって探索が実行される。
【００９１】
さらに、マッチング〔照合〕は、第一の解像度と第二の解像度の間の解像度境界を横断して実行される。具体的には、自己相似性およびスケール不変性を想定することによって、異なる解像度のピクセル集合が互いに直接比較され、より高い画像での追加的な詳細を生成するために使用される。たとえば、アップスケール因子2について、ぼかされた第二および第三の画像２０３、２０５の間のマッチが生じていると見出されるのは、第三の画像２０５のピクセル集合のパターンまたはピクセル変動が、第二の画像２０３のピクセル集合のものに一致する場合、すなわち、事実上2倍の対応する空間周波数をもつ場合である。
【００９２】
図４の方法は、次の未知の（まだ合成されていない）ピクセル２０９が選択されるステップ４０１で始まる。先述したように、次のピクセルは、解像度向上画像２０７において前に合成されたピクセルのすぐ右のピクセルとして選択される。
【００９３】
ステップ４０１に続いてステップ４０３が行われる。ここで、第三の画像２０５の比較ピクセル集合２１１が選択される。比較ピクセル集合２１１は、合成されるピクセル２０９に対して第一の所定の空間的関係をもつピクセルを含むピクセルの集合として選択される。この具体例では、比較ピクセル集合２１１は単に、未知ピクセル２０９から所与の半径内にある第三の画像２０５のピクセルとして選択される。
【００９４】
たとえば、比較ピクセル集合２１１は、合成されるピクセルの位置から1ピクセル以下離れている全ピクセルを含んでもよい。こうして、この具体例では、結果として、比較ピクセル集合２１１は9個のピクセル（未知ピクセル２０９と同じ位置をもつ第三の画像２０５のピクセルを含む）を含む正方形の画像領域に対応する。他の実施形態では、他のピクセル集合サイズが使用されてもよいことは理解されるであろう。たとえば、多くの実施形態において、1ないし6ピクセルの半径について有利なパフォーマンスが見出されている。たとえば、ピクセル集合中24個のピクセルに対応するピクセル半径3がしばしば高いパフォーマンスを与える。
【００９５】
比較ピクセル集合２１１についていかなる好適なピクセル選択が使用されてもよく、ピクセル集合は必ずしも連続的な画像領域に対応する必要はないことは理解されるであろう。さらに、他の数の、特により多数のピクセルが比較ピクセル集合２１１に含められてもよいことは理解されるであろう。しかしながら、多くの画像について、ピクセル数を比較的少なく保つことによって特によい解像度向上が達成されることが見出されている。特に有利なパフォーマンスが、40個未満のピクセルを含む比較ピクセル集合について見出されている。生成される比較ピクセル集合２１１は、のちにより詳細に述べるように、のちに第二の画像２０３においてマッチを探すのに使われる。
【００９６】
ステップ４０３に続いてステップ４０５が行われる。ここでは、解像度向上画像２０７の合成済みピクセル集合２１３が選択される。合成済みピクセル集合２１３は、解像度向上画像２０７のうち、合成されるピクセル２０９に対して第二の所定の空間的関係をもつすでに合成済みのピクセルの集合として選択される。この具体例では、比較ピクセル集合２１１は単に、合成済みであり未知ピクセル２０９から所与の半径内にある解像度向上画像２０７のピクセルとして選択される。
【００９７】
たとえば、合成済みピクセル集合２１３は、未知ピクセル２０９に隣接するすべての合成済みのピクセルを含んでいてもよい。こうして、この具体例では、結果として、4個のピクセルを含むL字形領域に対応するL字形の合成済みピクセル集合２１３が得られる。生成された合成済みピクセル集合２１３は、のちにより詳細に述べるように、第一の画像２０１（または第三の画像２０５）におけるマッチを探すのにのちに使われる。
【００９８】
合成済みピクセル集合２１３についていかなる好適なピクセル選択が使用されてもよく、該ピクセル集合は必ずしも連続的な画像領域に対応する必要はないことは理解されるであろう。さらに、他の数の、特により多数のピクセルが合成済みピクセル集合２１３に含められてもよいことは理解されるであろう。しかしながら、多くの画像について、ピクセル数を比較的少なく保つことによって特によい解像度向上が達成されることが見出されている。特に有利なパフォーマンスが、15個未満のピクセルを含む合成ピクセル集合について見出されている。
【００９９】
比較ピクセル集合２１１および合成済みピクセル集合２１３はいずれも、第三の画像２０５および解像度向上画像２０７の第二の解像度にある。このように、比較ピクセル集合２１１および合成済みピクセル集合２１３はいずれも、出力画像の高解像度にある。本方法は、これらの高解像度のピクセル集合を第一および第二の画像２０１、２０３における対応するピクセル集合にマッチさせることを続ける。しかしながら、これらのピクセル集合は第一の解像度にあり、よって解像度ギャップを横断したマッチングが実行される。
【０１００】
具体的には、本方法は、いくつかの位置を含む画像領域を探索することに続く。各位置について、その位置における比較ピクセル集合２１１および合成済みピクセル集合２１３についてのマッチを両方とも考慮に入れる組み合わされたマッチ・メトリックが計算される。
【０１０１】
具体的には、ステップ４０５に続いてステップ４０７が行われる。ここでは、好適な探索画像領域２１５が選択される。探索画像領域２１５は、たとえば、第一の解像度において20×20ピクセル（第二の解像度では40×40ピクセルに対応）を含む正方形の画像領域として選択されてもよい。他の実施形態では他の探索画像領域が使用されてもよく、特により大きな探索画像領域（あるいは、実に画像全体）が使用できることは理解されるであろう。しかしながら、第一の解像度における625ピクセル以下の画像領域についてしばしば特に有利なパフォーマンスが達成されうることが見出されている。実際、そのような比較的小さな探索画像領域は計算量および資源需要を軽減しうるのみならず、多くのシナリオにおいて、同じ画像オブジェクト内で適切なマッチが同定される（たとえば同じテクスチャー内）確率を高めうる。このように、これは、未知ピクセル２０９のピクセル値を生成する際に、同じ視覚的オブジェクトに関係しているのでない画像領域における偽の（spurious）マッチが考慮に入れられる可能性が軽減されうる。
【０１０２】
本方法は、探索画像領域２１５内の各位置を逐次評価してマッチ・メトリックを決定していく。具体的には、本方法はステップ４０９に進み、そこで、探索画像領域２１５の次の位置についての組み合わされたマッチ・メトリックが決定される。
【０１０３】
本方法は次いでステップ４１１に進み、現在位置が探索画像領域２１５内の最後の位置であったかどうか（つまり、すべての位置が評価されたかどうか）が評価される。もしそうであれば、本方法はステップ４１３に進み、合成されるピクセルについてのピクセル値が決定される。もしそうでなければ、本方法はステップ４０９に戻って、次の位置についてのマッチ・メトリックが決定される。
【０１０４】
図５は、ステップ４０９の処理をより詳細に示している。
【０１０５】
このプロセスは、現在位置について第二の画像２０３の第一のサンプル・ピクセル集合２１７が決定されるステップ５０１で始まる。第一のサンプル・ピクセル集合２１７は、この具体例では、第三の画像２０５中の比較ピクセル集合２１１に直接対応するピクセル集合に設定される。こうして、この具体例では、第一のサンプル・ピクセル集合２１７は、第二の画像２０３における9個のピクセルの正方形に対応する。しかしながら、第二の画像２０３は第一の解像度である一方、第三の画像２０５は第二の解像度であるので、照合は解像度を横断して行われる。しかしながら、画像領域の自己相似性の前提のもとでは、この比較は、テクスチャーの異なるスケールの間の比較に対応し、それにより、第二の解像度においてより詳細なテクスチャーが生成されることを許容する。これは、第一の画像２０１からシャープなテクスチャー要素をコピーして繰り返すことによって達成できる。同様に、スケール不変性の想定は、第一の画像２０１からエッジをコピーすることを許容する。エッジはどのスケールでも同じに見えるからである。
【０１０６】
本例では、同じ空間的関係が使用されてもよい。すなわち、第一のサンプル・ピクセル集合２１７は、現在位置を取り囲む9個のピクセルとして選択されてもよい。
【０１０７】
ステップ５０１に続いてステップ５０３が行われる。ここでは、第一のサンプル・ピクセル集合２１７および比較ピクセル集合２１１について第一のマッチ・メトリックが計算される。このマッチ・メトリックを決定するためにいかなる好適なマッチ・メトリックおよび距離基準が使用されてもよいことは理解されるであろう。たとえば、9個のピクセル対についての逆数平均平方ピクセル値差（reciprocal  average  squared  pixel  value  difference）が生成されてもよい。
【０１０８】
このように、第一のマッチ・メトリックは、二つのぼかされた画像における対応する位置のピクセル集合どうしがどのくらいよく互いにマッチするかを示す。第三の画像２０５は理論的な理想的な解像度向上画像のぼかされたバージョンに対応するので、第三の画像２０５のピクセルと第二の画像２０３のピクセルの間の強いマッチは、第一の画像２０１が、この位置において理論的な理想的な解像度向上画像にマッチすることを示す。さらに、二つの画像は等しくぼかされているので、スケール不変性を想定すると、これが、第一の画像２０１の対応するピクセルが未知のピクセル値の精確な反映であることを反映している可能性が高いということになる。こうして、ぼかされた画像２０３、２０５が解像度ギャップを横断してマッチすれば、第一の画像２０１と理論的な理想的な解像度向上画像との間の解像度ギャップの間にも強いマッチがある可能性が高い。
【０１０９】
ステップ５０３に続いてステップ５０５が行われる。ここでは、第一の画像２０１の第二のサンプル・ピクセル集合２１９が現在位置について決定される。第二のサンプル・ピクセル集合２１９はこの具体例では、解像度向上画像２０７中の合成済みピクセル集合２１３に直接対応するピクセル集合に設定される。こうして、この具体例では、第二のサンプル・ピクセル集合２１９は、4個のピクセル（現在位置の上と左の4個のピクセル）を含むL字形に対応する。しかしながら、第一の画像２０１は第一の解像度である一方、解像度向上画像２０７は第二の解像度であるので、照合は解像度を横断して行われる。しかしながら、画像領域のスケール不変性の前提のもとでは、この比較は、テクスチャーの異なるスケールの間の比較に対応し、それにより、第二の解像度においてより詳細なテクスチャーが生成されることを許容する。
【０１１０】
ステップ５０５に続いてステップ５０７が行われる。ここでは、第二のサンプル・ピクセル集合２１９および合成済みピクセル集合２１３について第二のマッチ・メトリックが計算される。このマッチ・メトリックを決定するためにいかなる好適なマッチ・メトリックおよび距離基準が使用されてもよいことは理解されるであろう。たとえば、9個のピクセル対についての逆数平均平方ピクセル値差が生成されてもよい。
【０１１１】
このように、第二のマッチ・メトリックは、二つのシャープな画像２０７、２０１における対応する位置のピクセル集合どうしがどのくらいよく互いにマッチするかを示す。解像度向上画像２０７は理論的な理想的な解像度向上画像の推定されたバージョンに対応すると想定されるので、この画像のピクセルと第一の画像２０１のピクセルとの間の強いマッチは、第一の画像２０１がこの位置において理論的な理想的な解像度向上画像にマッチすることを示す。さらに、二つの画像は等しくシャープなので、スケール不変性を想定すれば、これは、第一の画像２０１の対応するピクセルが未知ピクセル２０９の精確な反映であることを反映している可能性が高いということになる。
【０１１２】
さらに、合成済みピクセル集合２１３が出力画像におけるすでに合成済みの値から選択されるので、解像度向上画像２０７において合成されるピクセル間でマッチングには空間的な一貫性があり、特に、隣接ピクセル間の制約が第一の画像２０１から課されることを保証する。さらに、これは、テクスチャー要素／周期を繰り返すことによってテクスチャー（再）合成を可能にする。
【０１１３】
ステップ５０７に続いてステップ５０９が行われる。ここでは、第一のマッチ・メトリックおよび第二のマッチ・メトリックを組み合わせることによって、現在位置について組み合わされたマッチ・メトリックが計算される。具体的には、組み合わされたマッチ・メトリックは、第一のマッチ・メトリックと第二のマッチ・メトリックの重み付けされた和として生成され、重みは、シャープな画像とぼかされた画像の間のマッチングの相対的な重要さを反映してもよい。
【０１１４】
具体的には、組み合わされたマッチ・メトリックw(i,j)は
【０１１５】
【数１】
0005450600.tif 000002
として決定されてもよい。ここで、iは未知ピクセル２０９の位置を表し、jは探索画像領域２１５内の現在位置であり、d(・,・)は差メトリック（平均差分絶対値（MAD:  mean  absolute  difference）のような）であり、Ni,IHRは比較ピクセル集合２１１を表し、Nj,ILRは第一のサンプル・ピクセル集合２１７を表し、Li,HRは合成済みピクセル集合２１３を表し、Lj,LRは第二のサンプル・ピクセル集合２１９を表す。wNおよびwLは、二つの異なるマッチの相対的な影響度を変えるよう調整されうる重みである。具体例として、これらの値はそれぞれ1および0.75に設定されてもよい。さらに、fは、平均のファジーさを制御する設計パラメータであり、たとえば0.2に設定されうる。
【０１１６】
σ(i)は相似性関数（similarity  function）をローカルなコントラストに適応させる補償因子であり、たとえば：
【０１１７】
【数２】
0005450600.tif 000003
によって与えられる。ここで、Siは画像探索領域である。
【０１１８】
重みwNおよびwLは、組み合わされたマッチ・メトリックにおいてぼかされた画像とシャープな画像のマッチングの影響をバランスさせるために使用されうる。シャープな画像のマッチングを高めると、空間的一貫性をより強く強制することになる。この空間的一貫性は解像度を横断して適用されるので、もとの第一の画像２１０におけるのと同じ、解像度向上画像２０７におけるピクセル周期をもつ周期テクスチャーの合成を強制する。すなわち、単にテクスチャー内のテクスチャー周期を倍にする。これは、テクスチャーの再合成、たとえばより多くの髪の生成を可能にする。
【０１１９】
このように、探索画像領域２１５の各位置について、スケールを横断してシャープな画像およびぼかされた画像両方のマッチングを反映する組み合わされたマッチ・メトリックが生成される。その利点は、例に基づく超解像度およびテクスチャー合成の両方が適用できるということである。ぼかされたマッチングを使って、合成される構造のシャープな等価物が、シャープな第一の画像２０１中で異なるスケールにおいて見出されることができ（たとえばぼかされたエッジが与えられてシャープなエッジが見出される）、テクスチャー合成を制約することができる、すなわち、シャープな解像度向上画像２０７における合成されたテクスチャーはぼやけた、アップスケーリングされた第三の画像２０５に似る。同時に、シャープなマッチは、解像度向上画像２０７の空間的一貫性を課し、テクスチャー要素の反復によるさまざまなテクスチャーの（再）合成を可能にする。ローカルな空間的関係がスケールを横断して維持されるからである。
【０１２０】
探索画像領域２１５の種々の位置について組み合わされたマッチ・メトリックを生成するのに続いて、本方法はステップ４１３に進んで、それらの組み合わされたマッチ・メトリックおよび第一の画像２０１のソース画像領域の対応するピクセル値に応じて未知ピクセル２０９についてのピクセル値が生成される。この具体例では、ソース画像領域は探索画像領域２１５と同一であるが、他の実施形態では他のソース画像領域が使用されてもよいことは理解されるであろう。たとえば、より小さな領域が組み合わされたマッチ・メトリックに基づいて選択されてもよい。
【０１２１】
具体例として、解像度向上処理器１０７は、単に、探索画像領域２１５において、最高の組み合わされたマッチ・メトリックをもつ位置を選択し、次いで、未知ピクセルの値をその位置についてのピクセル値に設定してもよい。
【０１２２】
しかしながら、図２の具体例では、未知ピクセルの値は、ソース／探索画像領域２１５における複数のピクセル値についてのピクセル値を組み合わせることによって生成される。具体的には、複数のピクセル値の重み付けされた組み合わせが実行されてもよい。ここで、各ピクセル値の重み付けは、そのピクセル値についての組み合わされたマッチ・メトリックに依存する。そのような平均化は、解像度向上画像２０７におけるアーチファクトを軽減しうるし、より自然またはソフトに見える画像につながりうる。さらに、種々の位置からの同様の構造が平均され、それにより相関のないノイズが低減されるので、平均によりノイズが軽減されうる。
【０１２３】
具体例として、探索領域内のすべてのピクセル値が上述したような具体的な重みw(i,j)を用いて組み合わされてもよい。こうして、未知のピクセル値は：
【０１２４】
【数３】
0005450600.tif 000004
として生成されうる。
【０１２５】
いくつかの実施形態では、解像度向上処理器１０７は、所与の基準を満たす組み合わされたマッチ・メトリックをもつ位置の組をまず選択するよう構成されてもよい。たとえば、組み合わされたマッチ・メトリックが所与の値を下回る全ての位置が破棄されてもよく、組み合わされたマッチ・メトリックがその閾値を上回る位置についてのみ未知ピクセルの値の生成に含められてもよい。
【０１２６】
たとえば、未知ピクセル値は、上述の重み付けされた和において上記の基準を満たす位置についてのソース・ピクセル値のみを含めることによって生成されてもよい。
【０１２７】
種々のピクセル集合に含められるピクセルの数が、異なる実施形態およびシナリオにおいて異なっていてもよいことは理解されるであろう。たとえば、第一の画像２０１との比較のために使われる合成済みピクセル集合２１３のサイズは、合成されるテクスチャーの特性および性質を反映するよう選択されてもよい。典型的には、合成済みピクセル集合は、半径1ないし6（またはそれ以上）ピクセル以内のピクセルを含むよう選択されてもよく、それにより十分なテクスチャー詳細および空間的一貫性の両方が提供される。ピクセル集合のサイズは静的に決定されていてもよいが、実施形態によっては第一の画像の特性に応じて動的に選択されてもよいことは理解されるであろう。たとえば、テクスチャー属性は、第一の画像内のある画像領域におけるピクセル・パターンの解析によって推定され、テクスチャー周期やテクスチャー要素のサイズが示されてもよく、合成済みピクセル集合２１３のサイズがしかるべく設定されてもよい。たとえば、細かなテクスチャーおよびエッジについては、より小さな半径が設定されてもよい。
【０１２８】
上述した例では、合成済みピクセル集合２１３のマッチングは、直接、第一の画像２０１に対してであった。しかしながら、実施形態によっては、合成済みピクセル集合２１３は、第二のマッチ・メトリックを生成するときに第三の画像２０５とマッチングされてもよい。しかしながら、それらの場合でも、マッチングは相変わらず、第二の解像度の合成済みピクセル集合２１３と第一の解像度の第二のサンプル・ピクセル集合２１９との間で行われるので、合成済みピクセル集合２１３および第二のサンプル・ピクセル集合２１９はいまだ、画像によって表されるシーンの、異なるサイズの視覚的領域をカバーする。
【０１２９】
具体的には、解像度向上処理器１０７は、第三の画像２０５をサブサンプリングして第二のサンプル・ピクセル集合２１９を生成してもよい。たとえば、4個のピクセルのL字形の集合を生成するために、解像度向上処理器１０７は、未知ピクセルの左の2個のピクセルである第三の画像２０５のピクセル、この上の2個のピクセルであるピクセル、未知ピクセル２０９の上の2個のピクセルであるピクセルおよびこの右の2個のピクセルであるピクセルを選択してもよい。
【０１３０】
具体的には、第二のサンプル・ピクセル集合２１９を第三の画像２０５のダウンサンプリングされたピクセル集合として選択することは、解像度向上画像２０７における未知ピクセルのピクセル位置と、第一の画像２０１のピクセル・エッジとの間のピクセル・エッジ・オフセットの補償を許容しうる。特に、第一および第二の画像が第三の画像２０５および解像度向上画像２０７より粗いグリッド上にあるので、マッチング・プロセスの精度が低下しうる。第一および第二の画像位置におけるピクセルのピクセル中心が、高解像度でのピクセルのピクセル中心と同一ではなくなるからである。これは、いくつかのシナリオでは、目に見えるアーチファクトを導入しうる。
【０１３１】
したがって、第一および／または第二の画像２０１、２０３は、（アップスケーリング・アルゴリズムを使って、具体的には線形補間を使って）第二の解像度にアップスケーリングされてもよい。これでマッチングは、解像度向上画像２０７のピクセルと同じサイズをもつ、よって同じエッジおよび中心をもつより小さなピクセルを用いて実行されうる。しかしながら、マッチングはそれでも第一の解像度の第一のサンプル・ピクセル集合２１７および第二のサンプル・ピクセル集合２１９を用いて実行される。よって、選択されたサンプルが未知ピクセル２０９の選択された位置に対応するエッジおよび中心をもつよう、第一のサンプル・ピクセル集合２１７および第二のサンプル・ピクセル集合２１９を選択するときにサブサンプリングが実行される。こうして、いくつかの実施形態では、第一のサンプル・ピクセル集合２１７および第二のサンプル・ピクセル集合２１９は、第二の解像度をもつが第一の解像度でサブサンプリングされたアップスケーリングされたピクセルを含みうる。このようにして、第一のサンプル・ピクセル集合２１７および第二のサンプル・ピクセル集合２１９はこの例でも、第一の解像度にあることになる。
【０１３２】
同じ原理は、未知ピクセル値を生成するときに適用されてもよいことは理解されるであろう。たとえば、第一の画像２０１における組み合わせのためにピクセル値を選択するのではなく、補間されたピクセル位置に対応するよう第三の画像２０５においてピクセル値が選択されてもよい。
【０１３３】
よって、記載されるシステムは、改善された解像度向上を提供しうる。特に、提起されるシステムは、たいていの従来技術の方法のように単にエッジ向上を提供するのではなく、エクスチャーならびにエッジおよびその他の詳細を向上させる、全体的な向上を提供できる。さらに、これは、例に基づく超解像度および制約されたテクスチャー合成の要素を組み合わせる統合された解決策によって、入力画像の要素の自己相似性およびスケール不変性を活用することによって資源を低く保ちながら、達成される。
【０１３４】
上記の記述が、明確のために、種々の機能単位および処理器に言及しつつ本発明の実施形態を記述してきたことが認識されるであろう。しかしながら、異なる機能単位または処理器の間のいかなる好適な機能の配分も、本発明の利点を減じることなく利用されてもよいことは明白であろう。たとえば、別個の処理器または制御器によって実行されるよう図示されている機能が同じ処理器または制御器によって実行されてもよい。よって、個別的な機能単位への言及は、厳密な論理的または物理的構造または編成を示すのではなく、単に、記載される機能を提供する好適な手段に言及したものと見るべきである。
【０１３５】
本発明は、ハードウェア、ソフトウェア、ファームウェアまたはこれらの任意の組み合わせを含むいかなる好適な形で実装することもできる。本発明は、任意的に、少なくとも部分的に、一つまたは複数のデータ・プロセッサおよび／またはデジタル信号プロセッサ上で走るコンピュータ・ソフトウェアとして実装されてもよい。本発明の実施形態の要素およびコンポーネントは、物理的、機能的および論理的にいかなる好適な仕方で実装されてもよい。実際、機能は、単一のユニットにおいて、複数のユニットにおいて、あるいは他の機能ユニットの一部として実装されてもよい。よって、本発明は、単一のユニットにおいて実装されてもよいし、物理的および機能的に異なるユニットおよびプロセッサの間で分散されてもよい。
【０１３６】
本発明についていくつかの実施形態との関連で記述してきたが、本発明は本稿で述べた個別的な形に限定されることは意図されていない。むしろ、本発明の範囲は付属の請求項によってのみ限定される。さらに、ある特徴が特定の実施形態との関連で記載されているよう見えたとしても、当業者は、記載される実施形態のさまざまな特徴は本発明に基づいて組み合わされうることを認識するであろう。請求項において、有するという用語は他の要素やステップの存在を排除するものではない。
【０１３７】
さらに、個々にリストされていても、複数の手段、要素または方法ステップが、たとえば単一のユニットまたはプロセッサによって実装されてもよい。さらに、個々の特徴が異なる請求項に含まれていても、これらが有利に組み合わされる可能性もありうるのであって、異なる請求項に含まれていることは、特徴の組み合わせが実現可能でないおよび／または有利でないことを含意するものではない。ある特徴が一つのカテゴリーの請求項において含まれていても、そのことは、このカテゴリーに限定することを含意するのではなく、もしろ、その特徴が適宜他の請求項カテゴリーにも等しく適用可能であることを含意する。さらに、請求項における特徴の順序は、それらの特徴が作動させられねばならない特定の順序を含意するものではない。特に、方法請求項における個々のステップの順序は、それらのステップがこの順序で実行されねばならないことを含意するものではない。むしろ、それらのステップはいかなる好適な順序で実行されてもよい。さらに、単数形での言及は複数を排除するものではない。このように、「ある」「第一の」「第二の」などの言及は複数を除外するものではない。請求項に参照符号があったとしても、単に明確にする例として与えられているのであって、いかなる意味でも請求項の範囲を限定するものと解釈してはならない。
【図１】
0005450600.tif 000005
【図２】
0005450600.tif 000006
【図３】
0005450600.tif 000007
【図４】
0005450600.tif 000008
【図５】
0005450600.tif 000009