(57)【要約】入力イメージ（Ｉ２）をアップスケーリングする方法及び装置（２０）が記載される。スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける欠如したディテールを代用するものを得るために用いられる。装置（２０）は、入力イメージ（Ｉ２）及び１つ以上の補助入力イメージ（Ｉ１，Ｉ３）のために、一貫性のあるスーパーピクセルを生成し、スーパーピクセルに基づきスーパーピクセルテストベクトルを生成するスーパーピクセルベクトル生成部（７）を有する。マッチングブロック（５）は、スーパーピクセルテストベクトルを用いて入力イメージ及び１つ以上の補助入力イメージに対してクロススケール自己相似性マッチング（１２）を実施する。最後に、出力イメージ生成部（２２）は、クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成する。
2017527011.tif 000002
【特許請求の範囲】
【請求項１】
入力イメージをアップスケーリングする方法であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記方法において、
前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成することと、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成することと、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施することと、
前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成することと
を有する、ことを特徴とする方法。
【請求項２】
高解像低周波イメージを得るよう前記入力イメージをアップスケーリングすることと、
前記入力イメージと前記高解像低周波イメージとの間、及び前記１つ以上の補助入力イメージと前記高解像低周波イメージとの間で、一致位置を特定することと、
前記一致位置を用いて、前記入力イメージ及び前記１つ以上の補助入力イメージから、高解像高周波合成イメージを構成することと、
前記高解像低周波イメージ及び前記高解像高周波合成イメージを高解像のアップスケーリングされた出力イメージへと結合することと
を有する請求項１に記載の方法。
【請求項３】
前記入力イメージ及び前記１つ以上の補助入力イメージは、一連のイメージの中の連続したイメージ、又はシーンのマルチビューイメージである、
請求項１又は２に記載の方法。
【請求項４】
前記入力イメージは、低解像低周波イメージ及び低解像高周波イメージに分けられたバンドであり、
前記低解像低周波イメージは、前記クロススケール自己相似性マッチングのために使用され、前記低解像高周波イメージは、前記アップスケーリングされた出力イメージを生成するために使用される、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
前記アップスケーリングされた出力イメージを生成するイメージブロックは、
前記クロススケール自己相似性マッチングの最良の一致によって定義される単一のイメージブロックを選択すること、
前記クロススケール自己相似性マッチングの一致によって定義されるブロックの全て又は一部の線形結合を生成すること、及び
前記クロススケール自己相似性マッチングの一致によって定義される全てのイメージブロックにわたる平均を生成すること
のうちの少なくとも１つを実施することによって、生成される、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
入力イメージをアップスケーリングすることを可能にする命令を記憶しているコンピュータ可読記憶媒体であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記コンピュータ可読記憶媒体において、
前記命令は、コンピュータによって実行される場合に、該コンピュータに、
前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる、
コンピュータ可読記憶媒体。
【請求項７】
入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置において、
前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成し、該一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成するよう構成されるスーパーピクセルベクトル生成部と、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施するよう構成されるマッチングブロックと、
前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成するよう構成される出力イメージ生成部と
を有する装置。
【請求項８】
入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置において、
プロセッシングデバイス及びメモリデバイスを有し、
前記メモリデバイスには、
前記プロセッシングデバイスによって実行される場合に、当該装置に、
前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる
命令が記憶されている、装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本原理は、イメージをアップスケーリングする方法及び装置に関係がある。より具体的には、イメージをアップスケーリングする方法及び装置であって、アップスケーリング品質を高めるためにスーパーピクセル及び補助イメージ（auxiliary  images）を使用するものが記載される。
【背景技術】
【０００２】
超解像（super-resolution）技術は、現在、複数の用途によって押し進められている。例えば、その２ｋ及び４ｋ改良機を含むＵＨＤＴＶのような、ＨＤＴＶイメージフォーマットの後継は、既に存在しているビデオコンテンツがより大きいディスプレイに合うようにアップスケーリングされる必要がある場合に、超解像技術から恩恵を受けうる。夫々が比較的小さい解像度である複数のビューカメラを必要とするライトフィールドカメラ（light  field  camera(s)）は、最新のシステムカメラ及びＤＳＬＲカメラ（ＤＳＬＲ：Digital  Single  Lens  Reflex）に匹敵しうるピクチャ品質を提供するために、インテリジェント・アップスケーリングを同様に必要とする。第３の用途はビデオ圧縮であり、低解像イメージ又はビデオストリームは復号され、追加の超解像エンハンスメントレイヤによって強化される。このエンハンスメントレイヤは、圧縮されたデータ内に追加として埋め込まれ、超解像度のアップスケーリングされたイメージ又はビデオを介して前者を補う働きをする。
【０００３】
本願で記載される考えは、“Image  and  video  upscaling  from  local  self-examples”，ACM  Transactions  on  Graphics，Vol.30  (2011)，pp.12:1-12:11の中でG.  Freedman  et  al.（非特許文献１）によって提案されるような、イメージ固有の自己相似性（self-similarities）を利用する技術に基づく。この基礎論文は静止イメージに制限されているが、その後の研究は、J.  M.  Salvador  et  al.による論文：“Patch-based  spatio-temporal  super-resolution  for  video  with  non-rigid  motion”，Journal  of  Image  Communication，Vol.28  (2013)，pp.483-493（非特許文献２）において論じられているように、ビデオのアップスケーリングを扱うために複数のイメージを組み込んだ。
【０００４】
あいにく、イメージのアップスケーリングのための如何なる方法も、悲惨な品質低下を伴う。
【０００５】
過去１０年間、スーパーピクセルアルゴリズムは、イメージセグメンテーションのための広く受け入れられ且つ適用された方法となっており、後の処理タスクのための複雑さの低減を提供する。スーパーピクセルセグメンテーションは、イメージのピクセルグリッドの剛構造から、イメージにおけるオブジェクトを定義する意味記述であって、イメージ処理及びコンピュータビジョンアルゴリズムにおけるそのポピュラリティを説明するものへ切り替えることの利点を提供する。
【０００６】
スーパーピクセルアルゴリズムに関する研究は、“Learning  a  classification  model  for  segmentation”，IEEE  International  Conference  on  Computer  Vision  (ICCV)  2003，pp.10-17の中でX.  Ren  et  al.（非特許文献３）によって提案されている処理集約度の高い特徴グルーピング方法（processing  intensive  feature  grouping  method）から始まった。その後に、スーパーピクセル生成のためのより効率的な解決法、例えば、“SLIC  superpixels  compared  to  state-of-the-art  superpixel  methods”，IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence，Vol.34  (2012)，pp.2274-2282の中でR.  Achanta  et  al.（非特許文献４）によって紹介されたSimple  Linear  Iterative  Clustering（ＳＬＩＣ）、が提案された。初期の解決法は静止イメージに焦点を当てていたが、その後の開発は、ビデオへのスーパーピクセルの適用を目的としている。スーパーピクセルの適用には、それらの時間的一貫性が必要である。M.  Reso  et  al.，“Temporally  Consistent  Superpixels”，International  Conference  on  Computer  Vision  (ICCV)，2013，pp.385-392（非特許文献５）において、この要求を実現するアプローチが記載されており、ビデオシーケンス内でトレース可能なスーパーピクセルを提供する。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】G.  Freedman  et  al.，“Image  and  video  upscaling  from  local  self-examples”，ACM  Transactions  on  Graphics，Vol.30  (2011)，pp.12:1-12:11
【非特許文献２】J.  M.  Salvador  et  al.，“Patch-based  spatio-temporal  super-resolution  for  video  with  non-rigid  motion”，Journal  of  Image  Communication，Vol.28  (2013)，pp.483-493
【非特許文献３】X.  Ren  et  al.，“Learning  a  classification  model  for  segmentation”，IEEE  International  Conference  on  Computer  Vision  (ICCV)  2003，pp.10-17
【非特許文献４】R.  Achanta  et  al.，“SLIC  superpixels  compared  to  state-of-the-art  superpixel  methods”，IEEE  Transactions  on  Pattern  Analysis  and  Machine  Intelligence，Vol.34  (2012)，pp.2274-2282
【非特許文献５】M.  Reso  et  al.，“Temporally  Consistent  Superpixels”，International  Conference  on  Computer  Vision  (ICCV)，2013，pp.385-392
【発明の概要】
【０００８】
イメージのアップスケーリングのための改善された解決法であって、品質低下を小さくすることを達成することができる解決法を記載すること目的とする。
【０００９】
一実施形態に従って、入力イメージをアップスケーリングする方法であって、スーパーピクセルを使用したクロススケール（cross-scale）自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記方法は：
−  前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成することと、
−  前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成することと、
−  前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施することと、
−  前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成することと
を有する。
【００１０】
然るに、コンピュータ可読記憶媒体は、入力イメージをアップスケーリングすることを可能にする命令を記憶しており、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる。前記命令は、コンピュータによって実行される場合に、該コンピュータに：
−  前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
−  前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
−  前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
―  前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる。
【００１１】
また、一実施形態において、入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置は：
−  前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成し、該一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成するよう構成されるスーパーピクセルベクトル生成部と、
−  前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施するよう構成されるマッチングブロックと、
−  前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成するよう構成される出力イメージ生成部と
を有する。
【００１２】
他の実施形態において、入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置は、プロセッシングデバイス及びメモリデバイスを有し、前記メモリデバイスには、前記プロセッシングデバイスによって実行される場合に、当該装置に：
−  前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
−  前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
−  前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
−  前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる
命令が記憶されている。
【００１３】
提案されている超解像度方法は、生成された時間的又は多視点的な一貫性があるスーパーピクセルを解析することによって、捕捉されたオブジェクトを追跡する。イメージ素材におけるオブジェクト、及び時間における又は異なったビューにおけるそれらの所在、に関する認識は、関連するマルチイメージのクロススケール自己相似性を見つけるために、アドバンストサーチストラテジへ渡される。異なる時間フェーズ又は異なるビューについて見つけられた複数の有意な自己相似性を組み込むことによって、より適切な超解像度エンハンスメント信号が生成され、改善されたピクチャ品質をもたらす。提案されている超解像度アプローチは、グランドトルス（ground  truth）データとの比較によってピーク信号対雑音比において測定され得るイメージ品質の改善を提供する。加えて、主観テスト（subjective  testing）は、結果として現れるピクチャ品質の視覚的改善を確かめる。これは、ピーク信号対雑音比の計測が人間の視覚認知と必ずしも一致しないので、有用である。
【００１４】
超解像度アプローチは複数のイメージに作用する。複数のイメージは、時間におけるイメージシーケンス（例えば、ビデオ）、マルチビューショット（例えば、複数の角度を保持するライトフィールドカメライメージ）、又はマルチビューショットの時間シーケンスにさえ相当してよい。それらの適用は交換可能であり、このことは、マルチビューイメージ及び時間イメージが同等物として扱われ得ることを意味する。
【００１５】
一実施形態において、解決法は：
−  高解像低周波イメージを得るよう入力イメージをアップスケーリングすることと、
−  前記入力イメージと前記高解像低周波イメージとの間、及び１つ以上の補助入力イメージと前記高解像低周波イメージとの間で、一致位置を特定することと、
−  前記一致位置を用いて、前記入力イメージ及び前記１つ以上の補助入力イメージから、高解像高周波合成イメージを構成することと、
前記高解像低周波イメージ及び前記高解像高周波合成イメージを高解像のアップスケーリングされた出力イメージへと結合することと
を有する。通常、アップスケーリングされたイメージは、不足しているディテールにより悲惨な品質低下を有している。しかし、それら不足しているディテールは、入力イメージ及び１つ以上の補助入力イメージからのイメージブロックを用いて置き換えられる。それらのイメージは、限られた数の適切なイメージブロックしか含まないが、それらのブロックは、一般的に、より関連性がある（すなわち、より良く適合する）。
【００１６】
一実施形態において、前記入力イメージは、低解像低周波イメージ及び低解像高周波イメージに分けられたバンドであり、前記低解像低周波イメージは、前記クロススケール自己相似性マッチングのために使用され、前記低解像高周波イメージは、前記アップスケーリングされた出力イメージを生成するために使用される。このようにして、自己相似性の効率的な解析は確かにされ、アップスケーリングされた出力イメージのための必要な高周波ディテールは確実に取得され得る。
【００１７】
一実施形態において、前記アップスケーリングされた出力イメージを生成するイメージブロックは、前記クロススケール自己相似性マッチングの最良の一致によって定義される単一のイメージブロックを選択すること、前記クロススケール自己相似性マッチングの一致によって定義されるブロックの全て又は一部の線形結合を生成すること、及び前記クロススケール自己相似性マッチングの一致によって定義される全てのイメージブロックにわたる平均を生成すること、のうちの少なくとも１つを実施することによって、生成される。最初の２つの解決法は、必要とされるプロセッシングパワーがより小さくて済み、一方、最後の解決法は、ピーク信号対雑音比について最良の結果を示す。
【００１８】
より良い理解のために、解決法は、これより、図を参照して以下の記載において更に詳細に説明される。解決法は、この例となる実施形態に制限されないこと、及び特定の特徴は、添付の特許請求の範囲において定義されている本解決法の適用範囲から逸脱することなしに、便宜上結合及び／又は変更されてもよいこと、が理解される。
【図面の簡単な説明】
【００１９】
【図１】既知の超解像度アプローチのブロック図を示す。
【図２】図１のブロック図の拡張された、よりコンパクトなバージョンを示す。
【図３】スーパーピクセルに使用した超解像マルチイメージ自己相似性マッチングを表す。
【図４】結合重みが線形回帰により決定される、イメージブロックの線形結合を表す。
【図５】スーパーピクセルへのセグメンテーションの前のイメージの例を示す。
【図６】スーパーピクセルへのセグメンテーションの後の図５のイメージを示す。
【図７】３つのイメージの期間にわたって追跡される単一の時間的に一貫性のあるスーパーピクセルの例を示す。
【図８】種々のアップスケーリングアルゴリズムについて得られた平均ピーク信号対雑音比を示す。
【図９】種々のアップスケーリングアルゴリズムについて得られた平均構造類似性を示す。
【図１０】イメージをアップスケーリングするための、実施形態に従う方法を表す。
【図１１】イメージをアップスケーリングする方法を実施するよう構成された装置の第１の実施形態を概略的に表す。
【図１２】イメージをアップスケーリングする方法を実施するよう構成された装置の第２の実施形態を概略的に表す。
【発明を実施するための形態】
【００２０】
以下で、解決法は、時間的なイメージシーケンス、例えば、ビデオシーケンスのイメージ、に重きを置いて説明される。しかし、記載されているアプローチは、空間的に関連するイメージ、例えば、マルチビューイメージ、に同様に適用可能である。
【００２１】
以下で記載されているアプローチは、図１のブロック図によって示されるような、G.  Freedman  et  al.（非特許文献１）による超解像度アルゴリズムに基づく。当然、一般的な考えは、他の超解像度アルゴリズムに同様に適用可能である。簡単のために、ブロック図は、単一のイメージのみに有効である解決法について記載するが、提案されているアプローチは、複数のイメージのための解決法を提供する。全ての対応する必要な拡張は、別のブロック図において後で説明される。
【００２２】
図１において、低解像度の入力イメージＩ１は、３つの異なるフィルタ、すなわち、低周波高解像イメージＯ１．１を生成するアップサンプリングフィルタ１、低周波低解像イメージＩ１．１を生成するローパスフィルタ２、及び高周波低解像イメージＩ１．２を生成するハイパスフィルタ３、によって処理される。
【００２３】
通常、アップサンプリングされたイメージＯ１．１は、バイキュービック（bi-cubic）又は代替的により複雑なアップスケーリングによって引き起こされるディテールの欠如に起因して、悲惨な品質低下を有している。以降のステップでは、それらの不足しているディテールを代用するものが、自然オブジェクトの固有のクロススケール自己相似性を利用することによって、生成される。不足しているディテールを生成するプロセスは、高周波高解像イメージＯ１．２をもたらす。高周波高解像イメージＯ１．２は、最終的な高解像出力イメージＯ１を生成するよう、処理ブロック４で低周波高解像イメージＯ１．１と結合され得る。
【００２４】
クロススケール自己相似性は、マッチングプロセスブロック５によって検出される。このマッチングプロセスブロック５は、高解像イメージＯ１．１における全てのピクセルについて、低解像イメージＩ１．１内の適切な一致を探す。マッチングプロセスの最先端は、長方形の探索窓の一定の拡張範囲内を探すことである。マッチングプロセスブロック５は、Ｉ１．１を指し示しているＯ１．１における全てのピクセルについて最良の一致位置を生成する。それら最良の一致位置は、合成ブロック６へ渡される。合成ブロック６は、示されているブロックを、高周波低解像イメージＩ１．２から高周波高解像ブロックＯ１．２にコピーする。
【００２５】
図２におけるブロック図は、図１のブロック図のよりコンパクトなバージョンを示し、アドバンストマッチング技術によって拡張されている。図２における追加のブロックは、スーパーピクセルベクトル生成部７である。スーパーピクセルベクトル生成部７は、スーパーピクセルを計算するために入力イメージＩ１を処理し、且つ、マッチングブロック５のために使用されるテストベクトルを選択する。スーパーピクセルのテストベクトル生成は、図１において使用された矩形の探索窓に取って代わる。
【００２６】
図３におけるブロック図は、スーパーピクセルベクトル生成の更なる拡張、すなわち、スーパーピクセルを使用した超解像マルチイメージ自己相似性マッチング、を説明する。図２におけるその先行物として、図３のブロック図は、イメージ素材におけるオブジェクトに気付いている。考えは、オブジェクトが複数のイメージにわたって追跡されることであり、オブジェクトは、ベクトル生成ブロック７において複数の入力イメージにわたるマッチングのためのテストベクトルを生成するのに役立つ。図３において、入力イメージの数は３であるが、この数は強制的ではなく、将来又は過去の方向において位置するイメージを含めること又は除くことによって増減され得る。同様に、マルチビューアプリケーションは、更なるビュー／角度を含めること又は除くことができ、あるいは、マルチビューイメージの時間シーケンスは、更なるビュー／角度及び／又は時間的に後若しくは先に起こるイメージを含めること又は除くことができる。
【００２７】
図３で与えられている例は、時間ｔｔで出力イメージＯ２を更に生成するために時間ｔｔでのイメージＩ２に対して実行される、提案されている方法を示す。時間ｔｔ−１及びｔｔ＋１での入力イメージＩ１及びＩ３は、出力イメージＯ２のために、関連するクロススケール自己相似性を見つけるための追加ソースである。
【００２８】
マッチングブロック５は、全ての入力イメージについてのスーパーピクセルテストベクトル（この例では、｛ｖｔ−１，ｖｔ，ｖｔ＋１｝である。）を受け取り、Ｉ１．１、Ｉ２．１及びＩ３．１を夫々指し示しているＯ２．１における全てのピクセルについて最良の一致位置を生成する。図中、これは、最良の一致位置の３つの完全なセットを表す｛ｐｔ−１，ｐｔ、ｐｔ＋１｝によって示されている。通常、セットの次元は、入力イメージの数に等しい。合成ブロック６は、Ｉ１．２、Ｉ２．２及びＩ３．２からの示されているブロックを結合し、結合結果を高周波高解像イメージＯ２．２にコピーする。
【００２９】
以下で、ベクトル生成ブロック７及び合成ブロック６のより詳細な記載が与えられる。
【００３０】
マルチイメージスーパーピクセルベクトル生成ブロック７は、次のステップを実施することによって、スーパーピクセルテストベクトルセット｛ｖｔ−１，ｖｔ，ｖｔ＋１｝を生成する：
ステップ１：一貫性のあるスーパーピクセル｛ＳＰｔ−１（ｍ），ＳＰｔ（ｎ），ＳＰｔ＋１（ｒ）｝を生成する。インデックス｛ｍ，ｎ，ｒ｝は、イメージ内の全てのスーパーピクセルの範囲を走る。語「時間的に一貫性のある（temporally  consistent）」は、マルチビューアプリケーションにとって一貫性のあるマルチビューにより置き換えられ得る。時間的に一貫性のあるスーパーピクセルを生成するアプローチは、非特許文献５において記載されている。図５は、図６に表されているスーパーピクセルエリアに分けられるイメージの例を示す。図６において、各スーパーピクセルは、異なるグレー値（grey  value）を用いて表されている。図６は、スーパーピクセルラベルマップと呼ばれる。図７は、３つのイメージの期間にわたって追跡される単一の時間的に一貫性のあるスーパーピクセルの例を示す。スーパーピクセルは、時間ｔｔ−１、ｔｔ及びｔｔ＋１でのイメージにおいて表されるビデオシーンにおける移動オブジェクトに追随する。
【００３１】
ステップ２：全てのスーパーピクセルイメージについて別々に検索ベクトル｛ｓｔ−１（ζ），ｓｔ（ζ），ｓｔ＋１（ζ）｝を生成する。インデックスζは、全てのイメージ位置にわたって走る。そのような検索ベクトルを生成する１つのアプローチは、例えば、同時係属の欧州特許出願第１４３０６１３０号において記載されている。
【００３２】
ステップ３：全てのスーパーピクセルについて、オブジェクトに関連したピクセル割り当てを生成する：
ＳＰｔ  →  ＳＰｔ＋１        ＳＰｔ  →  ＳＰｔ−１
ＳＰｔ  →  ＳＰｔ＋２  及び  ＳＰｔ  →  ＳＰｔ−２，
・・・  →  ・・・            ・・・  →  ・・・
なお、関連の数は、入力イメージの数に依存する。そのようなオブジェクトに関連したピクセル割り当てを生成する１つのアプローチは、例えば、同時係属の欧州特許出願第１４３０６１２６号において記載されている。図３における例では、本当に最初のラインのみが使用されている。
【００３３】
ステップ４：最終的なスーパーピクセルテストベクトル｛ｖｔ−１，ｖｔ，ｖｔ＋１｝が、ステップ３で見つけられたピクセル割り当てを適用することによって決定される。図３における例に関して、時間ｔｔでのイメージにおける夫々の別個のスーパーピクセルＳＰｔ（ｎ）≡ＳＰｔ，ｎは、ＳＰｔ−１（ｍ）≡ＳＰｔ−１，ｍへのピクセル個別割り当て、及びＳＰｔ＋１（ｒ）≡ＳＰｔ＋１，ｒへのピクセル個別割り当てを有しており、それらは、ｉ∈｛１，・・・Ｉ｝、ｊ∈｛１，・・・Ｊ｝及びｋ∈｛１，・・・Ｋ｝として、ｐｔ，ｎ（ｉ）→ｐｔ−１，ｍ（ｊ）及びｐｔ，ｎ（ｉ）→ｐｔ＋１，ｒ（ｋ）によって表され得る。言い換えれば、時間ｔｔでのイメージにおける原スーパーピクセルＳＰｔ，ｎに位置する夫々のピクセルｐｔ，ｎ（ｉ）について、対応するピクセルｐｔ−１，ｍ（ｊ）及びｐｔ＋１，ｒ（ｋ）が必要とされ、それらは、時間ｔｔ−１でのイメージにおけるＳＰｔ−１，ｍ及び時間ｔｔ＋１でのイメージにおけるＳＰｔ＋１，ｒ内に位置する。Ｉは、ＳＰｔ，ｎに含まれるピクセルの数であり、Ｊは、ＳＰｔ−１，ｍに含まれるピクセルの数であり、Ｋは、ＳＰｔ＋１，ｒに含まれるピクセルの数である。一般に、ピクセルの数Ｉ、Ｊ及びＫは異なる。そのため、結果として現れるピクセルマッピングは、一対多、一対一、多対一、及びそれらの組み合わせであることができる。テストベクトルｖｔは、それらが直接に取り込まれ得るので、割り当てを必要としない。すなわち、ｖｔ（ζ）＝ｓｔ（ζ）。テストベクトルｖｔ−１及びｖｔ＋１は、夫々、ｖｔ−１（ζ）＝ｓｔ−１（ｐｔ，ｎ（ζ）→ｐｔ−１，ｍ（ζ））及びｖｔ＋１（ζ）＝ｓｔ＋１（ｐｔ，ｎ（ζ）→ｐｔ＋１，ｒ（ζ））に従う割り当てを使用する。より多数の入力イメージは然るべく扱われる。
【００３４】
合成ブロック６によって実施されるブロック結合は、例えば、次のアプローチのうちの１つを用いて、実施され得る：
ａ）最善の一致、すなわち、見つけられた全ての最良の一致の中でも最も良いもの、によってのみ定義される単一ブロックの選択。
【００３５】
ｂ）ブロックの全て又は一部の線形結合。重み（線形係数）は、図４に示されるように、線形回帰（linear  regression）により決定される。
【００３６】
ｃ）見つけられた全ての最良の一致にわたる平均を生成する。このアプローチは、それがＰＳＮＲ（ピーク信号対雑音比；Peak  Signal-to-Nose  Ratio）について最良の結果を示すので、好ましい。
【００３７】
図４は、合成ブロック６内で実行される、高周波高解像イメージＯ２．２を構成するための線形回帰アプローチを示す。線形回帰は、最良の一致位置｛ｐｔ−１，ｐｔ，ｐｔ＋１｝を取り、回帰方程式
［外１］
2017527011.tif 000003
を形成することで最良一致ブロックデータ
［外２］
2017527011.tif 000004
を及び対象ブロック
［外３］
2017527011.tif 000005
をフェッチすることによって、Ｏ２．１における各ピクセル位置ζについて個々に処理される。このとき、ｑは、マッチングブロックにおけるピクセルの数である。この方程式は、入力イメージの数がマッチングブロックにおけるピクセルの数以下である場合に、解くことができる。入力イメージの数がより多い場合には、それは、最も良く一致するブロック、すなわち、最小距離測度を有するブロック、を選択することによって、行列Ｄの水平次元を減らすよう処理される。
【００３８】
図８及び９における２つのグラフは、アップスケーリングされたイメージをグランドトルスデータと比較することによって６４個のイメージのシーケンスにわたって解析された平均ＰＳＮＲ及びＳＳＩＭ（構造類似性；Structural  SIMilarity）を示す。次のアルゴリズムの間の比較が示されている：
バイキュービック：バイキュービック補間によるアップスケーリング。
【００３９】
ＳＩＳＲ：シングルイメージ超解像度（Single  Image  Super  Resolution）。マッチングプロセスは、長方形の探索窓の一定の拡張範囲内を探す。
【００４０】
ＳＲｍ２５：ベクトルに基づく自己相似性マッチングを使用するシングルイメージ超解像度。検索ベクトル長さが２５である。
【００４１】
ＳＲｕＳＰｔ１：項目ｃ）において上述されたように平均化することによって３つのイメージ｛ｔｔ−１，ｔｔ，ｔ＋１｝（すなわち、１つは前のイメージであり、１つは将来のイメージである。）にわたるスーパーピクセルを使用するマルチイメージ自己相似性マッチング。
【００４２】
ＳＲｕＳＰｔ５：項目ｃ）において上述されたように平均化することによって１１個のイメージ｛ｔｔ−５，・・・，ｔｔ−１，ｔｔ，ｔｔ＋１，・・・，ｔｔ＋５｝（すなわち、５つは前のイメージであり、５つは将来のイメージである。）にわたるスーパーピクセルを使用するマルチイメージ自己相似性マッチング。
【００４３】
ＳＲｕＳＰｔ１ｓ：項目ａ）において上述されたように最も良く一致するブロックを選択しながら、３つのイメージ｛ｔｔ−１，ｔｔ，ｔ＋１｝（すなわち、１つは前のイメージであり、１つは将来のイメージである。）にわたるスーパーピクセルを使用するマルチイメージ自己相似性マッチング。
【００４４】
ＳＲｕＳＰｔ５ｓ：項目ａ）において上述されたように最も良く一致するブロックを選択しながら、１１個のイメージ｛ｔｔ−５，・・・，ｔｔ−１，ｔｔ，ｔｔ＋１，・・・，ｔｔ＋５｝（すなわち、５つは前のイメージであり、５つは将来のイメージである。）にわたるスーパーピクセルを使用するマルチイメージ自己相似性マッチング。
【００４５】
２つのグラフは、スーパーピクセルにより制御された自己相似性マッチングを使用する全ての方法が一定の探索エリア内のマッチングより優れていることを示す。それらはまた、入力イメージの増大がＰＳＮＲ及びＳＳＩＭ値の改善をもたらすことを明らかにする。最後に、１１個の入力イメージを解析するＳＲｕＳＰｔ５アルゴリズムは、優れたＰＳＮＲ及びＳＳＩＭ値をもたらすことが分かる。
【００４６】
図１０は、イメージをアップスケーリングする方法の一実施形態を概略的に表す。この方法において、スーパーピクセルを使用したクロススケール自己相似性マッチングは、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる。第１のステップで、一貫性のあるスーパーピクセルが、入力イメージＩ２及び１つ以上の補助入力イメージＩ１、Ｉ３について生成される（１０）。そのような一貫性のあるスーパーピクセルに基づき、次いで、スーパーピクセルテストベクトルが生成される（１１）。スーパーピクセルテストベクトルを用いて、クロススケール自己相似性マッチング（１２）が、入力イメージＩ２及び１つ以上の補助入力イメージＩ１、Ｉ３に対して実施される。最後に、アップスケーリングされた出力イメージＯ２が、クロススケール自己相似性マッチング（１２）の結果を用いて生成される（１３）。
【００４７】
図１１は、入力イメージＩ２をアップスケーリングする装置２０の一実施形態を表す。装置２０は、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために、スーパーピクセルを使用したクロススケール自己相似性マッチングを用いる。このために、装置２０は、アップスケーリングされる入力イメージＩ２、及び１つ以上の補助入力イメージＩ１、Ｉ３を受ける入力部２１を有する。スーパーピクセルベクトル生成部７は、入力イメージＩ２及び１つ以上の補助入力イメージＩ１、Ｉ２のために、一貫性のあるスーパーピクセルを生成し（１０）、更には、一貫性のあるスーパーピクセルに基づき、スーパーピクセルテストベクトルを生成する（１１）。当然、それら２つの機能は、別個の処理ブロックによって同様に実施されてよい。マッチングブロック５は、スーパーピクセルテストベクトルを用いて、入力イメージＩ２及び１つ以上の補助入力イメージＩ１、Ｉ３に対してクロススケール自己相似性マッチング（１２）を行う。出力イメージ生成部２２は、クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージＯ２を生成する（１３）。一実施形態において、出力イメージ生成部２２は、先に更に記載されたように、合成ブロック６及び処理ブロック４を有する。結果として現れる出力イメージＯ２は、出力部２３で利用可能にされ、且つ／あるいは、ローカルストレージに格納される。スーパーピクセルベクトル生成部７、マッチングブロック５、及び出力イメージ生成部２２は、専用のハードウェアとして、又はプロセッサで実行されるソフトウェアとして、実装される。それらはまた、部分的に又は完全に、単一ユニットにおいて結合されてよい。また、入力部２１及び出力部２３は、単一の双方向インターフェイスにまとめられてよい。
【００４８】
イメージをアップスケーリングする方法を実施するよう構成された装置３０の他の実施形態は、図１２において概略的に表されている。装置３０は、プロセッシングデバイス３１と、実行される場合に、記載されている方法の１つに従うステップを装置に実施させる命令を記憶しているメモリデバイス３２とを有する。
【００４９】
例えば、プロセッシングデバイス３１は、記載されている方法の１つに従うステップを実施するよう適応されたプロセッサであることができる。実施形態において、前記の適応は、プロセッサが、記載されている方法の１つに従うステップを実施するよう構成（例えば、プログラム）されることを有する。
【図１】
2017527011.tif 000006
【図２】
2017527011.tif 000007
【図３】
2017527011.tif 000008
【図４】
2017527011.tif 000009
【図５】
2017527011.tif 000010
【図６】
2017527011.tif 000011
【図７】
2017527011.tif 000012
【図８】
2017527011.tif 000013
【図９】
2017527011.tif 000014
【図１０】
2017527011.tif 000015
【図１１】
2017527011.tif 000016
【図１２】
2017527011.tif 000017
【手続補正書】
【提出日】平成29年3月8日(2017.3.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力イメージをアップスケーリングする方法であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられ、前記スーパーピクセルは、意味記述によって定義される前記入力イメージのオブジェクトに対応する、前記方法において、
前記入力イメージ及び１つ以上の補助入力イメージのために、前記入力イメージと前記１つ以上の補助入力イメージの間において一貫性のあるスーパーピクセルを生成することと、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成し、該スーパーピクセルテストベクトルは、前記入力イメージ及び前記１つ以上の補助入力イメージにおいて適切なクロススケール自己相似性一致を探すよう適応されることと、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施することと、
前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成することと
を有する、ことを特徴とする方法。
【請求項２】
高解像低周波イメージを得るよう前記入力イメージをアップスケーリングすることと、
前記入力イメージと前記高解像低周波イメージとの間、及び前記１つ以上の補助入力イメージと前記高解像低周波イメージとの間で、一致位置を特定することと、
前記一致位置を用いて、前記入力イメージ及び前記１つ以上の補助入力イメージから、高解像高周波合成イメージを構成することと、
前記高解像低周波イメージ及び前記高解像高周波合成イメージを高解像のアップスケーリングされた出力イメージへと結合することと
を有する請求項１に記載の方法。
【請求項３】
前記入力イメージ及び前記１つ以上の補助入力イメージは、一連のイメージの中の連続したイメージ、又はシーンのマルチビューイメージである、
請求項１又は２に記載の方法。
【請求項４】
前記入力イメージ及び前記１つ以上の補助入力イメージは、低解像低周波イメージ及び低解像高周波イメージに分けられたバンドであり、
前記低解像低周波イメージは、前記クロススケール自己相似性マッチングのために使用され、前記低解像高周波イメージは、前記アップスケーリングされた出力イメージを生成するために使用される、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
前記アップスケーリングされた出力イメージを生成するイメージブロックは、
前記クロススケール自己相似性マッチングの最良の一致によって定義される単一のイメージブロックを選択すること、
前記クロススケール自己相似性マッチングの一致によって定義されるブロックの全て又は一部の線形結合を生成すること、及び
前記クロススケール自己相似性マッチングの一致によって定義される全てのイメージブロックにわたる平均を生成すること
のうちの少なくとも１つを実施することによって、生成される、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
入力イメージをアップスケーリングすることを可能にする命令を記憶しているコンピュータ可読記憶媒体であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられ、前記スーパーピクセルは、意味記述によって定義される前記入力イメージのオブジェクトに対応する、前記コンピュータ可読記憶媒体において、
前記命令は、コンピュータによって実行される場合に、該コンピュータに、
前記入力イメージ及び１つ以上の補助入力イメージのために、前記入力イメージと前記１つ以上の補助入力イメージの間において一貫性のあるスーパーピクセルを生成させ、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、該スーパーピクセルテストベクトルは、前記入力イメージ及び前記１つ以上の補助入力イメージにおいて適切なクロススケール自己相似性一致を探すよう適応され、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる、
コンピュータ可読記憶媒体。
【請求項７】
入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられ、前記スーパーピクセルは、意味記述によって定義される前記入力イメージのオブジェクトに対応する、前記装置において、
前記入力イメージ及び１つ以上の補助入力イメージのために、前記入力イメージと前記１つ以上の補助入力イメージの間において一貫性のあるスーパーピクセルを生成し、該一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成するよう構成されるスーパーピクセルベクトル生成部であり、前記スーパーピクセルテストベクトルは、前記入力イメージ及び前記１つ以上の補助入力イメージにおいて適切なクロススケール自己相似性一致を探すよう適応される、前記スーパーピクセルベクトル生成部と、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施するよう構成されるマッチングブロックと、
前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成するよう構成される出力イメージ生成部と
を有する装置。
【請求項８】
入力イメージをアップスケーリングするよう構成される装置であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置において、
プロセッシングデバイス及びメモリデバイスを有し、
前記メモリデバイスには、
前記プロセッシングデバイスによって実行される場合に、当該装置に、
前記入力イメージ及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ及び前記１つ以上の補助入力イメージに対してクロススケール自己相似性マッチングを実施させ、
前記クロススケール自己相似性マッチングの結果を用いて、アップスケーリングされた出力イメージを生成させる
命令が記憶されている、装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】変更
【補正の内容】
【００３１】
ステップ２：全てのスーパーピクセルイメージについて別々に検索ベクトル｛ｓｔ−１（ζ），ｓｔ（ζ），ｓｔ＋１（ζ）｝を生成する。インデックスζは、全てのイメージ位置にわたって走る。そのような検索ベクトルを生成する１つのアプローチは、例えば、同時係属の欧州特許出願第１４３０６１３０号（欧州特許出願公開第２９６６６１３（Ａ１）号として公開）において記載されている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】変更
【補正の内容】
【００３２】
ステップ３：全てのスーパーピクセルについて、オブジェクトに関連したピクセル割り当てを生成する：
ＳＰｔ  →  ＳＰｔ＋１        ＳＰｔ  →  ＳＰｔ−１
ＳＰｔ  →  ＳＰｔ＋２  及び  ＳＰｔ  →  ＳＰｔ−２，
・・・  →  ・・・            ・・・  →  ・・・
なお、関連の数は、入力イメージの数に依存する。そのようなオブジェクトに関連したピクセル割り当てを生成する１つのアプローチは、例えば、同時係属の欧州特許出願第１４３０６１２６号（欧州特許出願公開第２９６６６１６（Ａ１）号に対応）において記載されている。図３における例では、本当に最初のラインのみが使用されている。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００４９
【補正方法】変更
【補正の内容】
【００４９】
例えば、プロセッシングデバイス３１は、記載されている方法の１つに従うステップを実施するよう適応されたプロセッサであることができる。実施形態において、前記の適応は、プロセッサが、記載されている方法の１つに従うステップを実施するよう構成（例えば、プログラム）されることを有する。  
上記の実施形態に加えて、以下の付記を開示する。
［付記１］
入力イメージ（Ｉ２）をアップスケーリングする方法であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記方法において、
前記入力イメージ（Ｉ２）及び１つ以上の補助入力イメージ（Ｉ１，Ｉ３）のために、一貫性のあるスーパーピクセルを生成すること（１０）と、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成すること（１１）と、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）に対してクロススケール自己相似性マッチング（１２）を実施することと、
前記クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成すること（１３）と
を有する、ことを特徴とする方法。
［付記２］
高解像低周波イメージ（Ｏ２．１）を得るよう前記入力イメージ（Ｉ２）をアップスケーリングすることと、
前記入力イメージ（Ｉ２）と前記高解像低周波イメージ（Ｏ２．１）との間、及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）と前記高解像低周波イメージ（Ｏ２．１）との間で、一致位置を特定することと、
前記一致位置を用いて、前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）から、高解像高周波合成イメージ（Ｏ２．２）を構成することと、
前記高解像低周波イメージ（Ｏ２．１）及び前記高解像高周波合成イメージ（Ｏ２．２）を高解像のアップスケーリングされた出力イメージ（Ｏ２）へと結合することと
を有する付記１に記載の方法。
［付記３］
前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）は、一連のイメージの中の連続したイメージ、又はシーンのマルチビューイメージである、
付記１又は２に記載の方法。
［付記４］
前記入力イメージ（Ｉ１，Ｉ２，Ｉ３）は、低解像低周波イメージ（Ｉ１．１，Ｉ２．１，Ｉ３．１）及び低解像高周波イメージ（Ｉ１．２，Ｉ２．２，Ｉ３．２）に分けられたバンドであり、
前記低解像低周波イメージ（Ｉ１．１，Ｉ２．１，Ｉ３．１）は、前記クロススケール自己相似性マッチングのために使用され、前記低解像高周波イメージ（Ｉ１．２，Ｉ２．２，Ｉ３．２）は、前記アップスケーリングされた出力イメージを生成するために使用される、
付記１乃至３のうちいずれか一つに記載の方法。
［付記５］
前記アップスケーリングされた出力イメージ（Ｏ２）を生成（１３）するイメージブロックは、
前記クロススケール自己相似性マッチング（１２）の最良の一致によって定義される単一のイメージブロックを選択すること、
前記クロススケール自己相似性マッチング（１２）の一致によって定義されるブロックの全て又は一部の線形結合を生成すること、及び
前記クロススケール自己相似性マッチング（１２）の一致によって定義される全てのイメージブロックにわたる平均を生成すること
のうちの少なくとも１つを実施することによって、生成される、
付記１乃至４のうちいずれか一つに記載の方法。
［付記６］
入力イメージ（Ｉ２）をアップスケーリングすることを可能にする命令を記憶しているコンピュータ可読記憶媒体であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記コンピュータ可読記憶媒体において、
前記命令は、コンピュータによって実行される場合に、該コンピュータに、
前記入力イメージ（Ｉ２）及び１つ以上の補助入力イメージ（Ｉ１，Ｉ３）のために、一貫性のあるスーパーピクセルを生成させ（１０）、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ（１１）、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）に対してクロススケール自己相似性マッチング（１２）を実施させ、
前記クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成させる（１３）、
コンピュータ可読記憶媒体。
［付記７］
入力イメージ（Ｉ２）をアップスケーリングするよう構成される装置（２０）であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置（２０）において、
前記入力イメージ（Ｉ２）及び１つ以上の補助入力イメージ（Ｉ１，Ｉ３）のために、一貫性のあるスーパーピクセルを生成し（１０）、該一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成する（１１）よう構成されるスーパーピクセルベクトル生成部（７）と、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）に対してクロススケール自己相似性マッチング（１２）を実施するよう構成されるマッチングブロック（５）と、
前記クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成する（１３）よう構成される出力イメージ生成部（２２）と
を有する装置（２０）。
［付記８］
入力イメージ（Ｉ２）をアップスケーリングするよう構成される装置（３０）であって、スーパーピクセルを使用したクロススケール自己相似性マッチングが、アップスケーリングされたイメージにおける不足しているディテールを代用するものを得るために用いられる、前記装置（３０）において、
プロセッシングデバイス（３１）及びメモリデバイス（３２）を有し、
前記メモリデバイス（３２）には、
前記プロセッシングデバイス（３１）によって実行される場合に、当該装置（３０）に、
前記入力イメージ（Ｉ２）及び１つ以上の補助入力イメージのために、一貫性のあるスーパーピクセルを生成させ（１０）、
前記一貫性のあるスーパーピクセルに基づきスーパーピクセルテストベクトルを生成させ（１１）、
前記スーパーピクセルテストベクトルを用いて前記入力イメージ（Ｉ２）及び前記１つ以上の補助入力イメージ（Ｉ１，Ｉ３）に対してクロススケール自己相似性マッチング（１２）を実施させ、
前記クロススケール自己相似性マッチング（１２）の結果を用いて、アップスケーリングされた出力イメージ（Ｏ２）を生成させる（１３）
命令が記憶されている、装置（３０）。
【国際調査報告】
2017527011.tif 000018
2017527011.tif 000019