(57)【要約】  本発明は、元画像の低品質バージョン、及び、画像から算出されたエピトミから、元画像の推定を構築する方法及び装置に関連する。本方法は、少なくとも1つのパッチペアを有する辞書を取得するステップ(11)であって、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、第2パッチと呼ばれる元画像の低品質バージョンのパッチとを有し、パッチペアは、エピトミの各パッチについて、エピトミからのパッチと低品質画像からのものとをインプレースマッチングすることにより取り出される、ステップ；元画像の低品質バージョンの各パッチについて、パッチペアの辞書のうちの少なくとも1つのパッチペアを選択するステップ(12)であって、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される、ステップ；選択される少なくとも1つのパッチペアからマッピング関数を取得するステップ(13)；及び、マッピング関数を利用して、元画像の低品質バージョンのパッチを、最終的なパッチに投影するステップ(14)を有する。【選択図】図1
2016535382.tif 000002
【特許請求の範囲】
【請求項１】
元画像の低品質バージョンと画像から算出されたエピトミとにより、元画像の推定を構築する方法であって：
少なくとも1つのパッチペアを有する辞書を取得するステップであって、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、第2パッチと呼ばれる前記元画像の低品質バージョンのパッチとを有し、パッチペアは、前記エピトミの各パッチについて、前記エピトミからのパッチと前記低品質バージョンからのものとをインプレースマッチングすることにより取り出される、ステップ；
前記元画像の低品質バージョンの各パッチについて、パッチペアの前記辞書のうちの少なくとも1つのパッチペアを選択するステップであって、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される、ステップ；
選択された前記少なくとも1つのパッチペアからマッピング関数を取得するステップ；及び
前記マッピング関数を利用して、前記元画像の低品質バージョンのパッチを、最終的なパッチに投影するステップ；
を有する方法。
【請求項２】
前記最終的なパッチは或るピクセルで互いにオーバーラップする場合、前記方法は、前記元画像の推定のピクセル値を与えるために、或るピクセルで前記最終的なパッチを平均化するステップを更に有する、請求項1に記載の方法。
【請求項３】
選択された前記少なくとも1つのパッチペアは、前記元画像の低品質バージョンのパッチのうち最も近い近隣である、請求項1又は2に記載の方法。
【請求項４】
前記マッピング関数は、選択された前記少なくとも1つのパッチペアによる学習により取得される、請求項1ないし3のうち何れか一項に記載の方法。
【請求項５】
前記マッピング関数の学習は、選択された前記少なくとも1つのパッチペアの前記第1パッチ及び前記第2パッチの間の最小二乗誤差を最小化することにより決定される、請求項4に記載の方法。
【請求項６】
前記元画像の低品質バージョンは、前記元画像の解像度を有する画像である、請求項1ないし5のうち何れか一項に記載の方法。
【請求項７】
前記元画像の低品質バージョンは：
前記元画像の低解像度バージョンを生成し；
画像の低解像度バージョンをエンコードし；
画像の低解像度バージョンをデコードし；及び
前記元画像の解像度に合致する解像度を有する前記元画像の低品質バージョンを得るために、デコードされた低解像度バージョンの画像を補間する；
ことにより、取得される請求項6に記載の方法。
【請求項８】
前記エピトミは前記元画像から取得される、請求項1ないし7のうちの何れか一項に記載の方法。
【請求項９】
前記エピトミは前記元画像の低解像度バージョンから取得される、請求項1ないし7のうちの何れか一項に記載の方法。
【請求項１０】
前記元画像の推定は低解像度画像空間に反復的に逆投影され、反復tにおける前記推定の逆投影されたバージョンは、前記元画像の低解像度バージョンと比較される、請求項1ないし9のうちの何れか一項に記載の方法。
【請求項１１】
前記辞書及び前記マッピング関数を取得するために使用される前記元画像の低品質バージョンは、前記元画像の現在の推定を低解像度画像空間に逆投影することにより、及び、反復tにおける前記現在の推定の逆投影されたバージョンと前記元画像の低解像度バージョンとの間で算出される誤差を前記現在の推定に加算することにより、反復的に更新される、請求項1ないし9のうちの何れか一項に記載の方法。
【請求項１２】
元画像の低品質バージョンと画像から算出されたエピトミとにより、元画像の推定を構築する装置であって：
少なくとも1つのパッチペアを有する辞書を取得する手段であって、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、第2パッチと呼ばれる前記元画像の低品質バージョンのパッチとを有し、パッチペアは、前記エピトミの各パッチについて、前記エピトミからのパッチと前記低品質画像からのものとをインプレースマッチングすることにより取り出される、手段；
前記元画像の低品質バージョンの各パッチについて、パッチペアの前記辞書のうちの少なくとも1つのパッチペアを選択する手段であって、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される、手段；
選択された前記少なくとも1つのパッチペアからマッピング関数を取得する手段；及び
前記マッピング関数を利用して、前記元画像の低品質バージョンのパッチを、最終的なパッチに投影する手段；
を有する装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、元の画像の低品質バージョン及びエピトミ(epitome)の支援による画像の構築に関連する。
【背景技術】
【０００２】
この欄は、以下で説明される及び/又は請求項に関連する本発明の様々な側面に関連する様々な技術的側面を読者に紹介するように意図されている。ここでの議論は、本発明の様々な側面の良い理解を促すために背景情報を読者に提供することに資するものと考えられる。従って、ここでの記述はその観点から理解されるべきであり、従来技術の自認ではないことが理解されるべきである。
【０００３】
エピトミは、画像(又はビデオ)信号の凝縮された(分解された)表現であり、その信号はその画像のテクスチャ的特性(textural  properties)の本質を含む。
【０００４】
画像はそのエピトミとその割当マップ(assignation  map)により記述される。エピトミは、画像に由来する一群のチャートを含む。割当マップは、画像の各ブロックについて、テクスチャエピトミの何れのパッチがそれを構築するのに使用されるかを示す。符号化コンテキストでは、エピトミは、割当マップと一緒に保存及び/又は送信される必要がある  (S.  Cherigui,  C.  Guillemot,  D.  Thoreau,  P.  Guillotel,  and  P.  Perez,  “Epitome-based  image  compression  using  translational  sub-pixel  mapping,”  IEEE  MMSP  2011)。
【０００５】
様々な形態のエピトミが提案されており、例えば、高度な「完全性」(high    “completeness”)、或いは、静止画パッチ又は入力ビデオから取得される時空間テクスチャキューブの何れかから学習されるパッチベースの確率モデルによる画像サマリー等である(D.  Simakov,  Y.  Caspi,  E.  Shechtman,  M.  Irani,  “Summarizing  visual  data  using  bidirectional  similarity”,  Computer  Vision  and  Pattern  Recognition,  CVPR  2008)，(N.  Jojic  et  al,  “Epitomic  analysis  of  appearance  and  shape”,  in  Proc.IEEE  Conf.  Comput.  Vis.  (ICCV’03),  pp.34-41,  2003)，(V.  Cheung,  B.  J.  Frey,  and  N.  Jojic,  “Video  Epitomes”,  International  Journal  of  Computer  Vision,  vol.76,  No.2,  Feb.  2008)。適切な推定アルゴリズムを伴うこれらの確率モデルは、インペインティング(in-painting)又は超解像度(super-resolution)におけるコンテンツ分析で有用である。
【０００６】
別の方法群は、画像の中及び画像間の自己類似性(self-similarities)を復元するために、KLTトラッキングアルゴリズム等のようなコンピュータビジョン技術を利用するものである  (H.  Wang,  Y.  Wexler,  E.  Ofek,  H.  Hoppe,  “Factoring  repeated  content  within  and  among  images”,  ACM  Transactions  on  Graphics,  SIGGRAPH  2008)。
【０００７】
一方、別のタイプのアプローチも導入されており、スパースコーディング(sparse  coding)及び辞書学習を利用して、画像からエピトミ的なシグネチャ(epitome-like  signature)を抽出することを目指している(M.  Aharon  and  M.  Elad,  “Sparse  and  Redundant  Modeling  of  Image  Content  Using  an  Image-Signature-Dictionary”,  SIAM  J.  Imaging  Sciences,  Vol.  1,  No.  3,  pp.  228-247,  Jul.  2008)。
【０００８】
画像エピトミに基づくイントラ予測方法も紹介されており、各々のブロックに関する予測は、テンプレートマッチングにより画像エピトミから生成される(A.  Efros,  T.  Leung,  “Texture  synthesis  by  non-parametric  sampling”,  in  International  Conference  on  Computer  Vision,  pages  1033-1038,  1999  )。ビデオエピトミ分析に基づくイントラ符号化方法も提案されており、(ベクトルを照合する)変換マップが、画像エピトミの長さ及び幅により決定される固定長コードとともに符号化される(Q.  Wang,  R.  Hu,  Z.  Wang,  “Intra  coding  in  H.264/AVC  by  image  epitome”,  PCM  2009)。これら2つのアプローチにより使用されるエピトミ画像は、ピラミッド的なアプローチとともに期待値最大化(Expectation  Maximization：EM)アルゴリズムに基づく。
【０００９】
この種のエピトミ画像は、元の画像の全体的なテクスチャ及び形状の特性を保つが、(例えば、入力画像には存在しない余分なパッチ等のような)望まれない視覚的アーチファクトを導入してしまう。
【発明の概要】
【００１０】
本発明は、元の画像の低品質バージョン及びエピトミから元の画像の推定を構築する方法とともに、従来技術の欠点の幾つかを是正し、元の画像の推定を構築する際の望まれないアーチファクトを抑制する。
【００１１】
より具体的には、本方法は、少なくとも1つのパッチペアを有する辞書を取得し、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、前記元画像の低品質バージョンのパッチ(第2パッチと呼ばれる)とを有する。パッチペアは、前記エピトミの各パッチについて、前記エピトミからのパッチと低品質画像からのものとをインプレースマッチング(in-place  matching)することにより取り出される。
【００１２】
次に、前記元画像の低品質バージョンの各パッチについて、本方法は、パッチペアの前記辞書のうちの少なくとも1つのパッチペアを選択し、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される。
【００１３】
そして、本方法は、選択される前記少なくとも1つのパッチペアからマッピング関数を取得し、前記マッピング関数を利用して、前記元画像の低品質バージョンのパッチを、最終的なパッチに投影する。
【００１４】
変形例によれば、前記最終的な(複数の)パッチが或るピクセルで互いにオーバーラップする場合、前記方法は、前記元画像の推定のピクセル値を与えるために、或るピクセルで前記最終的な(複数の)パッチを平均化する。
【００１５】
一形態によれば、選択された前記少なくとも1つのパッチペアは、前記元画像の低品質バージョンのパッチのうち最も近い近隣である。
【００１６】
一形態によれば、前記マッピング関数は、選択された前記少なくとも1つのパッチペアによる学習により取得される。
【００１７】
一形態によれば、前記マッピング関数の学習は、選択された前記少なくとも1つのパッチペアの前記第1パッチ及び前記第2パッチの間の最小二乗誤差を最小化することにより決定される。
【００１８】
一形態によれば、前記元画像の低品質バージョンは、前記元画像の解像度を有する画像である。
【００１９】
一形態によれば、前記元画像の低品質バージョンは：
-  前記元画像の低解像度バージョンを生成し；
-  画像の低解像度バージョンをエンコードし；
-  画像の低解像度バージョンをデコードし；及び
-  前記元画像の解像度に合致する解像度を有する前記元画像の低品質バージョンを得るために、デコードされた低解像度バージョンの画像を補間する；
ことにより、取得される。
【００２０】
一形態によれば、前記エピトミは前記元画像から取得される。
【００２１】
一形態によれば、前記エピトミは前記元画像の低解像度バージョンから取得される。
【００２２】
実施形態の一側面によれば、本発明は、元画像の低品質バージョン、及び、画像から算出されたエピトミから、元画像の推定を構築する装置に関連する。本装置は：
-  少なくとも1つのパッチペアを有する辞書を取得する手段であって、各々のパッチペアは、第1パッチと呼ばれるエピトミのパッチと、第2パッチと呼ばれる前記元画像の低品質バージョンのパッチとを有し、パッチペアは、前記エピトミの各パッチについて、前記エピトミからのパッチと前記低品質画像からのものとをインプレースマッチングすることにより取り出される、手段；
-  前記元画像の低品質バージョンの各パッチについて、パッチペアの前記辞書のうちの少なくとも1つのパッチペアを選択する手段であって、各々のパッチペアは、前記元画像の低品質バージョンのパッチと選択されるパッチペアの第2パッチとに関わる基準に従って選択される、手段；
-  選択される前記少なくとも1つのパッチペアからマッピング関数を取得する手段；及び
-  前記マッピング関数を利用して、前記元画像の低品質バージョンのパッチを、最終的なパッチに投影する手段；を有する。
【００２３】
本発明の具体的な性質に加えて本発明についての他の目的、利点、特徴及び用途は、添付図面に関連して為される好ましい形態についての以下の説明から明らかになるであろう。
【図面の簡単な説明】
【００２４】
実施形態は以下の図面を参照しながら説明される：
【図１】元の画像の低品質バージョン及び画像から算出されたエピトミから元の画像の推定を構築する方法ステップの図を示す。
【図２】図1に関連して説明される方法の実施例のステップの図を示す。
【図２−２】図1に関連して説明される方法の変形実施例によるステップの図を示す。
【図２−３】図1に関連して説明される方法の別の変形実施例によるステップの図を示す。
【図３】画像からエピトミを取得するステップの実施例の図を示す。
【図４】送信する状況におけるエンコーディング/デコーディング方式の具体例の図を示す。元の画像の推定を構築する方法の実施例を実現する例示的なエンコーディング/デコーディング方式のステップの図を示す。
【図６】図5のエンコーディング/デコーディング方式の変形例によるステップの図を示す。
【図７】デバイスのアーキテクチャ例を示す。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態が示される添付図面を参照しながら、本発明は更に十分に説明される。しかしながら、本発明は、多くの代替的な形態で実施されてもよく、ここで説明される実施形態に限定されるように解釈されるべきではない。従って、本発明は様々な変形や代替を受け入れる余地があるが、本発明の具体的な実施形態が、図面における具体例により示され、詳細に説明されている。しかしながら、本発明を開示された特定の形態に限定する意図は無く、むしろ逆に、本発明は、特許請求の範囲で規定されるような本発明の範囲及び精神に該当する全ての修正、等価物及び代替をカバーすることが、理解されるべきである。図面の説明に関し、同様な番号は同様な要素を指す。
【００２６】
本願で使用される用語は、特定の実施形態のみを記述するためのものであり、本発明の限定であるように意図されてはいない。ここで使用されるように、「ある」、「或る」、「前記」、「その」等のような単一的な言い方は、明示的な別段の断りがない限り、複数個の形態も包含する。「有する」、「構成する」、「含む」及び/又は「包含する」等の用語は、本明細書で使用される場合、言及される特徴、インテジャ(integer)、ステップ(又は工程)、オペレーション(又は処理)、エレメント(又は要素)及び/又はコンポーネントの存在を示すが、1つ以上の他の特徴、インテジャ、ステップ、オペレーション、エレメント、コンポーネント及び/又はそれらの組み合わせの存在や追加を排除しないことが、更に理解されるべきである。更に、あるエレメントが他のエレメントに「応答する(responsive)」又は「接続される(connected)」ように言及される場合、それは他のエレメントに直接的に応答又は接続されることが可能であるし、或いは、仲介するエレメントが存在してもよい。これに対して、或るエレメントが母体のエレメントに「直接的に応答する」又は「直接的に接続される」ように言及される場合、仲介するエレメントは存在しない。ここで使用されるように、「及び/又は」という用語は、関連付けて列挙される1つ以上のアイテムの何れか及び全ての組み合わせを含む。
【００２７】
様々なエレメントを記述するために第1、第2等のような用語が本願で使用されるかもしれないが、これらのエレメントはそれらの用語によって限定されるべきでないことが、理解されるであろう。これらの用語は或るエレメントと他のエレメントを区別するだけのために使用される。例えば、開示される教示から逸脱することなく、第1エレメントは第2エレメントと言及されることが可能であり、同様に、第2エレメントは第1エレメントと言及されることが可能である。
【００２８】
ある図面は、通信の主要な方向を示すために通信経路に矢印を含むが、通信は、図示される矢印と反対向きになされてよい場合もあることが、理解されるべきである。
【００２９】
いくつかの実施形態はブロック図及び処理フローチャートに関連して説明されており、その場合の各々のブロックは、回路要素、モジュール又はコード部分を表現し、コード部分は、指定される論理機能を実現するための1つ以上の実行可能な命令を有する。他の実現手段では、そのブロックで説明される機能が、説明とは異なる順序でなされてもよいことに留意すべきである。例えば、関わる機能に依存して、連続して示される2つのブロックは、事実上、実質的に同時に実行されてもよいし、或いは、それらのブロックはしばしば逆の順序で実行されもよい。
【００３０】
「一実施形態」又は「一形態」のような本願における言い回しは、その実施形態に関連して説明される特定の特徴、構造又は事項が、本発明の少なくとも1つの実現手段に含まれることが可能であることを意味する。本明細書中の様々な箇所で登場する「一実施形態において」という語句は、必ずしも全てが同じ実施形態を指す必要はないし、また、相互に他の実施形態を排除する別個の又は代替的な実施形態であるとも限らない。
【００３１】
特許請求の範囲に参照番号が存在する場合、それらは単なる例示であるに過ぎず、特許請求の範囲を限定する作用効果を有しない。
【００３２】
明示的に言及されてはいないが、本願の実施形態及び変形例は、任意のコンビネーション又はサブコンビネーションで実施されてよい。
【００３３】
図1は、元画像Yの低品質バージョンYl(エル)、及び、画像から算出されたエピトミ(epitome)Ehから、元画像Yの推定Y^を構築する方法のステップについての図を示す。この方法は以下において「10」というリファレンスを有する。
【００３４】
エピトミEhは、YiEのように記述されるN個のパッチを有する(i=1...N)。
【００３５】
以下において、パッチは、画像をなす隣接画素の一部である。
【００３６】
ステップ11において、少なくとも1つのパッチペア(YiE,Yil)の辞書(dictionary)が次のようにして取得される：エピトミEhの各パッチYiEについて、低品質画像Ylの中で同じ位置にあるパッチYilが取り出される、すなわち、エピトミEhからのパッチと低品質画像Ylからのものとをインプレースマッチング(in-place  matching)することにより、各々のパッチYiEについて、パッチペア(YiE,Yil)が取得される。
【００３７】
以下において、パッチペア(YiE,Yil)のうちのパッチYiEは第1パッチと呼ばれ、他のパッチYilは第2パッチと呼ばれる。
【００３８】
ステップ12において、低品質画像Ylの各パッチXjlについて、辞書の中でK個のパッチペア(YkE,Ykl)が選択され(k=1,...,K)、各々のパッチペア(YkE,Ykl)は、低品質画像YlのパッチXjlとそのパッチペア  (YkE,Ykl)の第2パッチYklとに関わる基準(又は尺度)に従って選択される。
【００３９】
Kは1に等しくてもよい整数値であることに留意を要する。
【００４０】
一実施形態によれば、K個の選択される第2パッチYklは、低品質画像YlのパッチXjlのうちK個の最も近い近隣(K-NN)である。
【００４１】
ステップ13において、K個のパッチペア(YkE,Ykl)から、マッピング関数が取得される。
【００４２】
一実施形態によれば、マッピング関数は、これらK個のパッチペアの学習により取得される。そのような学習は、例えば、線形又はカーネル回帰を利用してもよい。
【００４３】
回帰はK.Kim  et  al.によって既に考察されており(“Single-image  super-resolution  using  sparse  regression  and  natural  image  prior,”  IEEE  Trans.  Pattern  Analysis  and  Machine  Intelligence,  vol.  32,  no.  6,  pp.  1127ー1133,  2010)、これは単独画像の超解像度に関連し、外的な一群のトレーニング画像からエグザンプルペアを取得し、大規模な一群のトレーニングエグザンプルを必要とする。Z.L.J.yang  et  al.(“Fast  image  super-resolution  based  on  in-place  example  regression,”  in  Proc.  IEEE  International  Conf.  on  Computer  Vision  and  Pattern  Recognition  (CVPR),  2013,  pp.  1059ー1066)は、低周波数バージョン(入力画像とガウシアンカーネルとの畳み込み)と低品質画像のバイキュービック補間バージョンとの間のサンプルペアを取り出している。超解像度アルゴリズムについて言えば、主要な相違は、マッチングペアがエピトミによって与えられる点にある。より正確には、エピトミは元画像の分解された表現(factorized  representation)であるという事実を活用することにより、マッピング関数の局所的な学習が、小規模な一群のパッチペアのみを利用して実行されることが可能である。
【００４４】
一実施形態によれば、マッピング関数の学習は、K個の選択されたパッチペア(YkE,Ykl)の第1パッチ及び第2パッチの間の最小二乗誤差を最小化することにより、次のようにして決定される：
K個の選択されたパッチペアの第2パッチYklを列の中に含む行列を、Mlとする。
【００４５】
K個の選択されたパッチペアの第1パッチYkEを列の中に含む行列を、Mhとする。
【００４６】
多変量線形回帰を考察すると、問題は、次式を最小化するマッピング関数Fを探すことになる：
【００４７】
【数１】
2016535382.tif 000003
この数式は、Y=XB+Eという線形回帰モデルに対応し、その最小化は、次のような最小二乗推定量(least  squares  estimator)を与える：
【００４８】
【数２】
2016535382.tif 000004
変形例によれば、低品質画像YlにおけるパッチXjlは、低品質画像Ylの少なくとも1つの他のパッチとオーバーラップする。例えば、オーバーラップ因子は、調整されることが可能なパラメータであり、8×8パッチの場合、7に設定される。
【００４９】
ステップ14において、低品質画像Ylの各パッチXjlが、次式のように、マッピング関数Fを利用してパッチ〜Xhに射影される：
【００５０】
【数３】
2016535382.tif 000005
ステップ15において、パッチ〜Xhが或る画素で互いにオーバーラップする場合、或る画素でオーバーラップするパッチ〜Xhは、元画像の推定Y^の画素値を与えるように、平均化される。
【００５１】
本方法の一実施形態によれば、図2に示されるように、元画像(オリジナル画像)の低品質バージョンYlは、元画像の解像度を有する画像である。
【００５２】
この実施形態の一例によれば、元画像の低品質バージョンは次のようにして取得される：
ステップ20において、元画像の低解像度バージョンが、ローパスフィルタリング及びダウンサンプリングを利用して生成される。典型的には、2であるダウンサンプリング因子が使用される。
【００５３】
ステップ21において、元画像の低解像度バージョンがエンコードされる。
【００５４】
ステップ22において、元画像のエンコードされた低解像度バージョンが、デコードされる。
【００５５】
本発明は、如何なる特定のエンコーダ/デコーダにも限定されない。例えば、ISO/IEC  14496-10の文書に記述されているMPEG-4  AVC/H.264で規定されるH.264、或いは、(B.  Bross,  W.J.  Han,  G.  J.  Sullivan,  J.R.  Ohm,  T.  Wiegand  JCTVC-K1003,  “High  Efficiency  Video  Coding  (HEVC)  text  specification  draft  9,”  Oct  2012.)の文書に記述されているHEVC(High  Efficiency  Video  Coding)によるエンコーダ/デコーダが使用されてもよい。
【００５６】
ステップ23において、デコードされた低解像度バージョンYdが、例えば、シンプルバイキュービック補間(simple  bi-cubic  interpolation)を利用して補間される。こうして取得された元画像の低品質バージョンは、元画像の解像度に一致する解像度を有する。
【００５７】
図2-2は、図1に関連して説明される方法の実施形態の変形例によるステップについての図を示す。
【００５８】
この変形例によれば、ステップ10(図1)により構築された元画像Yの推定Y^が、低解像度画像空間で反復的に逆投影され(back-projected)、反復時点tにおける推定Y^の逆投影バージョン^Ydtが、元画像の低解像度バージョンと比較される。
【００５９】
符号化/復号化の観点から言えば、元画像の低解像度バージョンは、デコードされた低解像度バージョンYdであり、ステップ22の出力である。
【００６０】
この変形例は、最終的な推定と低解像度バージョンYdとの間の一貫性を保証する。
【００６１】
反復時点tにおいて、元画像Yの推定が考慮される。
【００６２】
図2-2に示されるスイッチSWは、ステップ10(図1)に従って構築される推定Y^が第1の反復で考慮されること、及び、反復(t+1)で算出された推定^Yt+1が反復(t+2)で考慮されることを示す。その推定は、以後、低解像度画像空間に逆投影され、すなわち、その空間では、元画像の低解像度バージョンYdがダウンサンプリング因子に従って決定される(ステップ20)。
【００６３】
実際には、考察される推定の逆投影バージョン^Ydtは、ステップ20と同じダウンサンプリング因子を用いて生成される。
【００６４】
次に、逆投影バージョン^Ydtと元画像の低解像度バージョンYdとの間の誤差Errtが計算される。誤差Errtはその後にアップサンプリングされ(ステップ23)、アップサンプリングされた誤差が、考察対象の推定に加算され、新たな推定を求める。
【００６５】
数学的に言えば、新たな推定^Yt+1は、次のようにして得られる：
【００６６】
【数４】
2016535382.tif 000006
ここで、pは誤差をローカルに広げる逆投影フィルタであり、mはダウンサンプリング因子である(例えば、m=2である)。
【００６７】
反復の最大回数のような基準が確認される場合、或いは、誤差Errtに関して計算される平均誤差が所定の閾値未満になる場合に、反復は止まる。
【００６８】
図2-3は、図1に関連して説明される方法の実施形態の別の変形例のステップについての図を示す。
【００６９】
この変形例によれば、辞書(ステップ11)及びマッピング関数(ステップ13)を取得するために使用される元画像の低品質バージョンは、低解像度画像空間における元画像(Y)の現在の推定を逆投影すること、及び、反復tにおける現在の推定の逆投影バージョン^Ydtと元画像の低解像度バージョンYdとの間で算出される誤差を、現在の推定に加算することにより、反復的に更新される。
【００７０】
反復tにおいて、元画像Yの推定が考察される。
【００７１】
図2-3に示されるスイッチSWは、図2に従って構築される元画像Yの低品質バージョンYlが、第1の反復で考慮されること、及び、反復(t+1)において算出される元画像の推定は、反復(t+2)において考慮されることを示す。
【００７２】
実際には、オリジナル画像の推定は、オリジナル画像Yの低品質バージョンYl(反復1)、或いは、先行する反復で計算されたオリジナル画像の推定の何れかにより、ステップ10から取得される。
【００７３】
実際には、考察される推定の逆投影バージョン^Ydtは、ステップ20と同じダウンサンプリング因子を利用して生成される。
【００７４】
次に、逆投影バージョン^Ydtと元画像の低解像度バージョンYdとの間の誤差Errtが計算される。
【００７５】
符号化/復号化の観点から言えば、元画像の低解像度バージョンは、デコードされた低解像度バージョンYdであり、ステップ22の出力である。
【００７６】
誤差Errtはその後にアップサンプリングされ(ステップ23)、アップサンプリングされた誤差が、考察対象の推定^Ytに加算され、元画像の新たな推定^Yt+1を求める。
【００７７】
反復の最大回数のような基準が確認される場合、或いは、誤差Errtに関して計算される平均誤差が所定の閾値未満になる場合に、反復は止まる。
【００７８】
図3は、画像InからエピトミEhを取得するステップ30の一実施形態を示す。この方法自体は次の文献に詳細に説明されている：S.  Cherigui,  C.  Guillemot,  D.  Thorea  u,  P.  Guillotel,  and  P.  Perez,  “Epitome-based  image  compression  using  translational  sub-pixel  mapping,”  IEEE  MMSP  2011。
【００７９】
画像Inは、そのエピトミEhと割当マップ(assignation  map)Φとにより記述される。エピトミは、画像Inから生じる一群のチャート(a    set  of  charts)を含む。割当マップは、画像の各ブロックについて、テクスチャエピトミ(texture  epitome)の何れのパッチが再構成に使用されるかを示す。
【００８０】
画像InはブロックBiという矩形グリッドに分割され、各ブロックBiは、割当マップφiによりエピトミパッチから近似される。構成方法は、基本的には、3段階により構成される：自己相似性(self-similarities)を発見すること、エピトミチャートを作成すること、及び、更に最も適合するものを探し出して割当マップに従って更新することにより再構築品質を改善すること、である。
【００８１】
ステップ31において、画像Inにおける自己相似性を発見することは、画像Inの中で、画像In内の各ブロックBiに類似する内容(コンテンツ)を有する一群のパッチを探すことから構成される。すなわち、各ブロックBi∈Inに関し、合致したパッチMi,lのマッチリストはLmatch(Bi)={Mi,0,  Mi,1,...}であり、所与の誤差許容度εとともにブロックBiを近似する。例えば、合致性(又は照合)は、平均ユークリッド距離を利用するブロックマッチングアルゴリズムとともに実行される。画像In全体について、網羅的なサーチが実行されてもよい。
【００８２】
所与の一群の画像ブロックについて、全てのマッチリストが作成されると、ステップ32において、合致したパッチMj,lにより表現されることが可能な一群の画像ブロックを示す新たなリストL’match(Mj,l)が構築される。網羅的なサーチの中で発見された全ての合致するブロックMj,lは、画像のブロックグリッドに必ずしも整合しておらず、「画素グリッド(pixel  grid)」に属することに留意を要する。
【００８３】
ステップ33において、入力画像から選択された選択テクスチャパッチから、エピトミチャートが構築される。各々のエピトミチャートは、画像Inの特定の領域を表現する。
【００８４】
初期化サブステップの間に、現在のエピトミチャートECnのインデックスである整数値nがゼロに設定される。現在のエピトミチャートECnは、残存する非再構築画像ブロック(remaining  no  reconstructed  image  blocks)のうち最も代表的なテクスチャパッチにより初期化される。
【００８５】
数学的に言えば、現在のエピトミチャートは、例えば、平均二乗誤差(MSE)の最小という基準により初期化される：
【００８６】
【数５】
2016535382.tif 000007
ここで、Y’(i,j)は所与のテクスチャパッチにより再構築される画像である。
【００８７】
数式(1)は、画像In全体に関する予測誤差を考慮している。すなわち、この基準は、所与のテクスチャパッチにより近似される画像ブロックだけでなく、そのパッチによって近似されない画像ブロックにも適用される。変形例として、画像再構築誤差を計算する場合に、このパッチにより再構築されない画像画素に対して、ゼロの値が指定される。従って、この基準は、現在のエピトミチャートがテクスチャパターンによって拡張されることを可能にし、最大数のブロックの再構築に加えて、最小の再構築誤差を可能にする。
【００８８】
拡張(extension)サブステップ331の間に、現在のエピトミチャートECnは、画像Inから最適拡張ΔEoptだけ徐々に拡張され、現在のエピトミチャートが拡大される毎に、画像Inの中で予測されることが可能な追加ブロック数を記録する。
【００８９】
現在のエピトミチャートが拡張される回数をkとする。初期のエピトミチャートECn(k=0)は、初期化サブステップ330で維持されるテクスチャパッチに対応する。拡張ステップ331は、現在のチャートECn(k)にオーバーラップし及び他の画像ブロックを表現する一群の合致するパッチMj,lを判別することから進行する。従って、現在のエピトミチャートの拡張として使用されることが可能な幾つかの拡張候補ΔEが存在する。k回のエピトミチャートの拡張の後に見出される拡張候補の数をmとする。各々の拡張候補ΔEに関し、構築されることが可能な追加的な画像ブロックが、一群の画素ΔEを含む合致するパッチMj,lのみに関連するリストL’match(Mj,l)から決定される。そして、発見された一群の拡張候補のうち、最適な拡張ΔEkoptが選択される。この最適拡張は、レート歪基準(rate  distortion  criterion)に従う最良の合致をもたらし、その方法は、例えば、ラグランジアン評価基準の最小化により与えられる：
【００９０】
【数６】
2016535382.tif 000008
ここで、λは既存のラグランジアンパラメータである。
【００９１】
評価基準(2)の第1項DEcur+ΔEは、画像Inの推定が、現在のエピトミ
Ecur=Σi=1nECiに含まれるテクスチャ情報及び拡張候補ΔEmにより構築される場合の画素当たりの平均予測誤差を示す。初期化サブステップ330で行われるように、画像ピクセルが、現在のエピトミによっても拡張候補ΔEmによっても影響を受けない場合、ゼロの値が指定される。評価基準(2)の第2項REcur+ΔEは、エピトミを構成する場合の画素当たりのレートに対応し、現在のエピトミEcur及びその拡張候補における画素数を画像In内の総画素数で除算したものとして大まかに推定される。
【００９２】
最適な拡張ΔEkoptが選択されると、現在のエピトミチャートは次のようになる：
【００９３】
【数７】
2016535382.tif 000009
以後、現在のエピトミチャートに重複しかつ他のブロックを表現する合致したパッチMj,lがそれ以上存在しなくなるまで、現在のエピトミチャートを拡張し続ける。そして、現在のエピトミチャートECnがそれ以上拡張できない場合であって、全体画像が現在のエピトミによって未だ表現されていない場合、インデックスnは1つインクリメントされ、別のエピトミチャートが画像の新たな場所で初期化される。全体画像がエピトミによって構築される場合、プロセスは終了する。
【００９４】
ステップ30の形態によれば、画像Inは元画像である。エピトミEhは元画像から取得される。
【００９５】
ステップ30の形態によれば、画像Inは元画像の低解像度バージョンYdである。従って、エピトミEhは、元画像の低解像度バージョンから取得される。
【００９６】
この形態の変形例によれば、元画像の低解像度バージョンYdは、図2のステップ20、21及び22により取得される。
【００９７】
この形態及びその変形例は、エンコードされた画像を送信する観点から有利であり、その理由は、エピトミの送信を回避し、送信帯域幅を減らすからである。
【００９８】
図1に関連して説明される元画像Yの推定Y^を構築する方法は、図4に示されるような通信ネットワークを介して、送信機60及び受信機61の間で、エンコードされた元画像Yを送信するための符号化/復号化方式で使用されてもよい。
【００９９】
図5に示されるように、元画像の低解像度バージョンが生成され(ステップ20)、エンコードされ(ステップ21)、デコードされる(ステップ22)。元画像のデコードされた低解像度バージョンを補間することにより、元画像の低品質バージョンYlが取得される。
【０１００】
最終的に、ステップ30(図3)の形態又は変形例により計算されるエピトミ及び元画像の低品質バージョンYlから、ステップ10(図1)に従って、元画像Yの推定Y^が構築される。
【０１０１】
図示されるように、エピトミが元画像Yから算出されると(ステップ50)、エピトミいは、エンコードされ(ステップ24)、デコード(ステップ25)されることに留意を要する。
【０１０２】
本発明は如何なる特定のエンコーダ/デコーダにも限定されない。例えば、H.264又はHEVCエンコーダ/デコーダが使用されてもよい。
【０１０３】
図6は図5に関連して説明された符号化/復号化方式の変形例を示す。
【０１０４】
この変形例では、エピトミEhと元画像の低品質バージョンYl(ステップ23)との間の差分を計算することにより、残差データRhが取得される。残差データRhは、以後、エンコードされ(ステップ24)及びデコードされ(ステップ25)、そして、残差データは、元画像の低品質バージョン(ステップ23)に加算され、デコーダ側でエピトミを取得する。元画像Yの推定Y^は、元画像の低品質バージョンYl及びエピトミ(ステップ10)から取得される。
【０１０５】
図7はデバイス70の例示的なアーキテクチャを表現する。
【０１０６】
デバイス70は、データ及びアドレスバス71により互いにリンクされる以下の要素を有する：
-  例えばディジタル信号プロセッサ(DSP)であるマイクロプロセッサ72(又はCPU)；
-  リードオンリメモリ(ROM)73；
-  ランダムアクセスメモリ(RAM)74；
-  データの受信、アプリケーションからの送信等のためのI/Oインターフェース75；及び
-  バッテリ76。
【０１０７】
変形例によれば、バッテリ76はデバイスの外部にある。図7のこれらの各要素自体は当業者に周知であるので更には説明されない。言及されたメモリの各々において、本明細書で使用される「レジスタ(register)」という言葉は、小さな容量の領域(数ビット)、或いは、非常の大きな領域(例えば、プログラム全体、多くの量の受信又はデコードされるデータ等)に対応することが可能である。ROM73はプログラム及びパラメータを少なくとも含む。図1ないし6に関連して記述される方法の少なくとも1つのアルゴリズムは、ROM73に保存される。スイッチがオンにされると、CPU72はプログラムをRAMにアップロードし、対応する命令を実行する。
【０１０８】
RAM74は、レジスタの中に、デバイス70のスイッチオンの後にアップロードされるCPU72により実行されるプログラムを有し、入力データをレジスタの中に有し、方法の様々な状態の中間データをレジスタの中に有し、方法の実行に使用される他の変数をレジスタの中に有する。
【０１０９】
本願で説明される実現手段は、例えば、方法又はプロセス、装置、ソフトウェアプログラム、データストリーム又は信号により実現されてもよい。(例えば、方法又は装置としてしか議論されていない場合のように)単独形態の実現手段の文脈でしか議論されていなかったとしても、議論される特徴の実現は、(例えば、プログラムのような)他の形態で実施されてもよい。装置は、例えば、適切なハードウェア、ソフトウェア及びファームウェアで実現されてよい。本方法は、例えばプロセッサのような装置で実現されてもよく、プロセッサは一般的には処理装置を指し、例えば、コンピュータ、マイクロプロセッサ、集積回路、又は、プログラム可能な論理デバイスを含む。プロセッサは、例えば、コンピュータ、セルラ電話機、ポータブル/パーソナルディジタルアシスタント(PDA)、及び、エンドユーザ間の情報通信を促す他のデバイス等のような通信デバイスを含んでもよい。
【０１１０】
本願で説明される様々なプロセス及び特徴の実現手段は、多種多様な装置又はアプリケーション(特に、例えば、装置又はアプリケーション)に組み込まれてよい。そのような装置の具体例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を提供するプレプロセッサ、ビデオコーダ、ビデオデコーダ、ビデオコーデック、ウェブサーバー、セットトップボックス、ラップトップ、パーソナルコンピュータ、セルラ電話機、PDA、及び、その他の通信デバイスである。明らかに、装置はモバイルであってもよく、たとえ移動車両に導入されていてもよい。
【０１１１】
更に、本方法は、プロセッサにより実行される命令により実現されてもよく、そのような命令(及び/又は実施により生成されるデータ値)は、集積回路、ソフトウェアキャリア又はその他のストレージデバイス等のようなプロセッサで読み取ることが可能な媒体に保存され、媒体は、例えば、ハードディスク、コンパクトディスケット(CD)、光ディスク(例えば、DVD(ディジタル多用途ディスク又はディジタルビデオディスク等としばしば言及される))、ランダムアクセスメモリ(RAM)又はリードオンリメモリ(ROM)である。命令は、プロセッサで読み取ることが可能な媒体で物理的に組み込まれるアプリケーションプログラムを形成してもよい。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア又はその組み合わせで実現されてもよい。命令は、例えば、オペレーティングシステム、個別アプリケーション、又はそれらの組み合わせとして理解されてもよい。プロセッサは、従って、例えば、プロセスを実行するように構成されるデバイス、及び、プロセスを実行する命令を有するプロセッサ読み取り可能な媒体(例えば、ストレージデバイス)を含むデバイスの双方として特徴付けられてよい。更に、プロセッサ読み取り可能な媒体は、追加的又は代替的に、実施により生成されるデータ値を保存してもよい。
【０１１２】
当業者に明らかであるように、実現手段は、例えば保存又は送信されてもよい情報を担うようにフォーマットされる様々な信号を生成してもよい。情報は、例えば、方法を実行するための命令、或いは、説明される実現手段の何れかにより生成されるデータを含んでもよい。例えば、信号は、説明される実施形態のシンタックス(syntax)を書き込む又は読み込むルールをデータとして搬送する、又は、説明される実施形態により書き込まれる実際のシンタックス値をデータとして搬送するように、フォーマットされてもよい。そのような信号は、例えば、(例えば、スペクトルのうちの無線周波数部分を使用する)電磁波として又はベースバンド信号としてフォーマットされてもよい。フォーマット化は、例えば、データストリームをエンコードすること、エンコードされたデータストリームとともにキャリアを変調することを含んでもよい。信号が担う情報は、例えば、アナログ又はディジタル情報であってよい。信号は、既知であるように、多種多様の有線又は無線リンクを介して送信されてよい。信号は、プロセッサ読み取り可能な媒体に格納されてよい。
【０１１３】
多くの実現手段が説明されている。しかしながら、様々な変形がなされてよいことが、理解されるであろう。例えば、異なる実現手段の要素は、他の実現手段をもたらすように、組み合わせられてもよいし、置換されてもよいし、修正されてもよいし、或いは、除去されてもよい。更に、他の構造やプロセスが開示されたものに代用されてもよいこと、及び、結果の実現手段は、開示された実現手段と実質的に同じ結果を達成するように、少なくとも実質的に同じ仕方で、少なくとも実質的に同じ機能を実行するであろうことを、当業者は理解するであろう。従って、これら及び他の実現手段も本願で想定されている。
【図１】
2016535382.tif 000010
【図２】
2016535382.tif 000011
【図２ｂｉｓ】
2016535382.tif 000012
【図２ｔｅｒ】
2016535382.tif 000013
【図３】
2016535382.tif 000014
【図４】
2016535382.tif 000015
【図５】
2016535382.tif 000016
【図６】
2016535382.tif 000017
【図７】
2016535382.tif 000018
【国際調査報告】
2016535382.tif 000019
2016535382.tif 000020
2016535382.tif 000021
2016535382.tif 000022