(57)【要約】画像の品質を高める方法は、最初の低解像度画像（ＬＲＩ）からアップサンプリング（Ｓ２，Ｓ３）によって最初の高解像度画像（ＩＨＲＩ）を得るステップと、最初の低解像度画像に基づき、より低い解像度を有する少なくとも１つのダウンサンプリングされたフィルタ処理した画像（ＡＩｉｊ，ＡＩｉ’ｊ’）を与えるステップ（Ｓ４）と、最初の低解像度画像に基づき、ダウンサンプリングされたフィルタ処理した画像と同じ解像度を有するフィルタ処理されていない画像（ＬＲＩ，ＵＩｉ’ｊ’）を与えるステップ（Ｓ６）と、最初の高解像度画像からパッチ（ＰＩ）を選択するステップと、ダウンサンプリングされたフィルタ処理した画像において、選択されたパッチに類似した子パッチ（ＰＡｋ）を見つけるステップ（Ｓ８）と、子パッチと局所的に関連する親パッチを、フィルタ処理されていない画像において見つけるステップと、品質を高められたパッチ（ＥＰ）を形成するよう親パッチ（ＰＰｋ）を線形結合するステップ（Ｓ１４）とを有する。最後に、上記のステップ繰り返し実施することによって得られる品質を高められたパッチが結合されて（Ｓ１５）、品質を高められた高解像度画像（ＥＩｐ）が形成される。
2017505951.tif 000002
【特許請求の範囲】
【請求項１】
画像の品質を高める方法であって、
ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るステップと、
ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度を有する補助画像として、少なくとも１つのダウンサンプリングされたフィルタ処理した画像を与えるステップと、
ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つのダウンサンプリングされたフィルタ処理した画像と同じ解像度を有するフィルタ処理されていない画像を与えるステップと、
ｄ）前記最初の高解像度画像からパッチを選択するステップと、
ｅ）前記少なくとも１つのダウンサンプリングされたフィルタ処理した画像において、前記選択されたパッチに類似した２つ以上の子パッチを見つけるステップと、
ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つけるステップと、
ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合するステップと、
ｈ）品質を高められた高解像度画像を形成するよう、ステップｄ）乃至ｆ）を繰り返し実施することによって得られる品質を高められたパッチを結合するステップと
を有する方法。
【請求項２】
少なくとも１つの前記補助画像は、前記最初の高解像度画像をダウンサンプリングすることによって得られる、
請求項１に記載の方法。
【請求項３】
少なくとも１つの前記補助画像のうちの第１のダウンサンプリングされたフィルタ処理した画像は、前記最初の低解像度画像と同じ解像度を有し、
前記第１のダウンサンプリングされたフィルタ処理した画像と関連する前記フィルタ処理されていない画像は、前記最初の低解像度画像である、
請求項１又は２に記載の方法。
【請求項４】
前記補助画像のうちの第２の補助画像は、前記最初の低解像度画像の解像度よりも低い解像度を有し、
第２のフィルタ処理されていない画像は、前記最初の低解像度画像を前記第２の補助画像の解像度へとダウンサンプリングすることによって得られる、
請求項３に記載の方法。
【請求項５】
前記最初の高解像度画像を得るステップは、ローパスフィルタリングステップ、特に補間、を更に有する、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
ステップｅ）において、前記選択されたパッチとの類似の程度は、少なくとも１つの前記補助画像においてパッチごとに評価され、
最も高い類似度を有する所定数のパッチが前記子パッチとして保持される、
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項７】
ステップｇ）は、
ｇ１）夫々の子パッチに線形係数を割り当てることによって前記子パッチの線形結合を形成し、前記選択されたパッチとの前記線形結合の類似が最も類似した単一の子パッチの類似よりも良いようにするサブステップと、
ｇ２）夫々の子パッチに割り当てられている線形係数を用いて前記親パッチの線形結合を形成するサブステップと
を有する、請求項６に記載の方法。
【請求項８】
ステップｇ１）において、前記線形係数は、前記子パッチのうちの１つを選択することと、仮パッチと該選択された子パッチとの線形結合を形成することと、重ね合わせの類似が前記仮パッチの類似よりも良い場合に前記仮パッチを該仮パッチと前記子パッチとの線形結合により置換することとを反復的に実施することによって、決定される、
請求項７に記載の方法。
【請求項９】
前記仮パッチの及び前記子パッチの線形係数は、それらの線形結合の類似を最適化するように設定される、
請求項８に記載の方法。
【請求項１０】
前記反復は、子パッチの線形結合の類似が前記仮パッチの類似よりも良くない場合に中止される、
請求項８又は９に記載の方法。
【請求項１１】
前記仮パッチは、子パッチの線形結合であり、
第１の暫定的な品質を高められたパッチは、前記仮パッチの線形係数を用いて前記親パッチを線形結合することによって形成され、
第２の暫定的な品質を高められたパッチは、前記仮パッチと前記選択された子パッチとの線形結合の線形係数を用いて前記親パッチを線形結合することによって形成され、
前記反復は、前記第２の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似が、前記第１の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似よりも良くない場合に、中止される、
請求項８又は９に記載の方法。
【請求項１２】
ステップｇ１）において、前記子パッチは、類似の降順において選択される、
請求項８乃至１１のうちいずれか一項に記載の方法。
【請求項１３】
ステップｂ）乃至ｈ）は、ステップｈ）の前の実施において得られた前記品質を高められた高解像度画像を、その後のステップｂ）における前記最初の高解像度画像として用いて、繰り返される、
請求項２乃至１２のうちいずれか一項に記載の方法。
【請求項１４】
ステップｂ）乃至ｈ）は、３乃至５回繰り返される、
請求項１３に記載の方法。
【請求項１５】
画像の品質を高めるデバイスであって、
ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るアップサンプリング手段と、
ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度の少なくとも１つの補助画像を与える手段と、
ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つの補助画像と同じ解像度を有するフィルタ処理されていない画像を与える手段と、
ｄ）前記最初の高解像度画像からパッチを選択する手段と、
ｅ）前記少なくとも１つの補助画像において、前記選択されたパッチに類似した子パッチを見つける手段と、
ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つける手段と、
ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合する手段と、
ｈ）品質を高められた高解像度画像を形成するよう、前記手段ｄ）乃至ｆ）によって得られる複数の品質を高められたパッチを結合する手段と
を有するデバイス。
【請求項１６】
子パッチの線形結合の類似が仮パッチの類似よりも良くない場合に反復を中止するよう構成される終了制御手段を更に有する
請求項１５に記載のデバイス。
【請求項１７】
前記少なくとも１つの補助画像においてパッチごとに前記選択されたパッチとの類似の程度を評価し、最も高い類似度を有する所定数のパッチを前記子パッチとして保持するよう構成される比較手段を更に有する
請求項１５又は１６に記載のデバイス。
【請求項１８】
前記親パッチを線形結合する手段は、
ｇ１）夫々の子パッチに線形係数を割り当てることによって前記子パッチの線形結合を形成し、前記選択されたパッチとの前記線形結合の類似が最も類似した単一の子パッチの類似よりも良いようにするよう構成される第１の結合手段と、
ｇ２）夫々の子パッチに割り当てられている線形係数を用いて前記親パッチの線形結合を形成するよう構成される第２の結合手段と
を有する、請求項１５乃至１７のうちいずれか一項に記載のデバイス。
【請求項１９】
手段ｂ）乃至ｈ）の繰り返される動作周期を制御するよう構成される繰り返し制御手段を更に有し、
手段ｈ）からある動作周期において得られる前記品質を高められた高解像度画像は、手段ｂ）のその後の動作周期において前記最初の高解像度画像として使用される、
請求項１５乃至１８のうちいずれか一項に記載のデバイス。
【請求項２０】
前記最初の高解像度画像を得る手段は、ローパスフィルタ又は補間フィルタを更に有する、
請求項１５乃至１９のうちいずれか一項に記載のデバイス。
【請求項２１】
コンピュータが、
ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るステップと、
ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度の少なくとも１つの補助画像を与えるステップと、
ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つの補助画像と同じ解像度を有するフィルタ処理されていない画像を与えるステップと、
ｄ）前記最初の高解像度画像からパッチを選択するステップと、
ｅ）前記少なくとも１つの補助画像において、前記選択されたパッチに類似した子パッチを見つけるステップと、
ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つけるステップと、
ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合するステップと、
ｈ）品質を高められた高解像度画像を形成するよう、ステップｄ）乃至ｆ）を繰り返し実施することによって得られる品質を高められたパッチを結合するステップと
を実施することを可能にするソフトウェアコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の品質を高めるための、特に、所与の低解像度（ＬＲ；Low-Resolution）画像において欠けている高周波ディテールを回復するための、技術に関係がある。そのような技術は、それらが、縮減された記憶空間において画像情報を記憶することを可能にするとともに、画像情報を処理及び／又は送信するのに必要なバンド幅を低減するので、相当な商業的利益を有する。
【背景技術】
【０００２】
ピクチャが有することができるディテールの程度には物理的制限がある。これは、その最も高い空間周波数成分が、画像の単位長さごとのピクセルの数の半分よりも高いことができないからである。この制限を下回ると、画像のディテールの程度は、示されている対象や、処理の品質などに応じて、変化し得る。以下の記載で、我々は、上記の物理的上限に関連した語「解像度」と、特定の画像において見る者によって認知されるディテールの量に関連した語「画像品質」とを使用することによって、それら２つの側面を区別する。
【０００３】
例えば、下記の非特許文献１乃至３において記載されている、従来の画像品質向上技術は、ビデオデータにおいて、連続する画像の内容は部分的に繰り返しであり、且つ、所与の画像において欠けている高周波情報は、前の又はその後の画像から（それらで十分であるという条件で）取り出され得る、という事実に依存する。従って、再構成された高解像（ＨＲ；High-Resolution）画像の品質は、ＬＲ画像において利用可能なデータの量に大いに依存する。しかし、実際には、十分でない数のＬＲ観測、動き推定（レジストレーション）の誤差、及び未知の点拡がり関数（ＰＳＦ；Point  Spread  Function）は、それらのマルチ画像ＳＲメソッドの利用可能性を、一般的な条件の下で２に満たない小さいアップスケーリング比に制限する。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Irani,  M.，Peleg,  S.，“Improving  resolution  by  image  registration”，CVGIP:  Graphical Models Image Process.  53  (1991)  231-239
【非特許文献２】Irani,  M.，Peleg,  S.，“Motion  analysis  for  image  enhancement”，Resolution,  occlusion,  and  transparency，J.  Vis.  Comm.  Image  Repres.  4  (1993)  324-335
【非特許文献３】Farsiu,  S.，Robinson,  M.，Elad,  M.，Milanfar,  P.，“Fast  and  robust  multiframe  superresolution”，IEEE  Trans.  Image  Process.  13  (2004)  1327-1344
【発明の概要】
【０００５】
本発明の目的は、画像シーケンスにおける前の又はその後の画像に頼ることなしに、個々の画像の品質が高められ得る方法及びデバイスを提供することである。
【０００６】
目的は、一方で、
ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るステップと、
ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度を有する補助画像として、少なくとも１つのダウンサンプリングされたフィルタ処理した画像を与えるステップと、
ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つのダウンサンプリングされたフィルタ処理した画像と同じ解像度を有するフィルタ処理されていない画像を与えるステップと、
ｄ）前記最初の高解像度画像からパッチを選択するステップと、
ｅ）前記少なくとも１つのダウンサンプリングされたフィルタ処理した画像において、前記選択されたパッチに類似した２つ以上の子パッチを見つけるステップと、
ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つけるステップと、
ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合するステップと、
ｈ）品質を高められた高解像度画像を形成するよう、ステップｄ）乃至ｆ）を繰り返し実施することによって得られる品質を高められたパッチを結合するステップと
を有する方法によって、達成される。
【０００７】
本発明は、２つの異なった親パッチが通常は同じオブジェクト（又はオブジェクトの同じ部分）を示さないとはいえ、それらは、複数の思慮深く選択された親パッチを結合することによってディテールが再構成されることを可能にするほど十分に類似し得る、という考えに基づく。言い換えると、画像において示されているものが２つの異なった色の領域（例えば、白色領域及び黒色領域）の間の境界である場合に、この境界は、グレーの異なる陰影でピクセルによって画像において表現される。陰影は、ピクセルが白色又は黒色側に多い傾向がある場合に、ピクセル内で境界が実際にどこにあるかに依存する。ピクセル内の境界の位置は、境界が境界ピクセルに対して異なるように位置するので、境界ピクセルのグレー陰影が異なっている境界の他の領域を示すパッチに基づき、より正確に判断され得る。
【０００８】
少なくとも１つの前記補助画像のうちの第１の補助画像が前記最初の低解像度画像と同じ解像度を有する場合に、当該第１の補助画像と関連する前記フィルタ処理されていない画像は、前記最初の高解像度画像自体であってよい。
【０００９】
実際にしばしば現れる実施形態において、同じ最初の低解像度画像から形成される補助画像は、通常、１つよりも多い。その場合に、前記補助画像のうちの第２の補助画像は、前記最初の高解像度画像の解像度よりも低い解像度を有してよく、当該第２の補助画像と関連する第２のフィルタ処理されていない画像は、前記最初の低解像度画像を当該第２の補助画像の解像度へとダウンサンプリングすることによって得られる。
【００１０】
実施形態において、夫々の補助画像は、前記最初の高解像度画像をダウンサンプリングすることによって得られる。
【００１１】
アップサンプリングは、前記最初の低解像度画像の２つの隣接ピクセルの間に所定数のピクセルを挿入し、それらに標準値（例えば、０）又は隣接ピクセルのうちの１つの値を割り当てることを単に有してよい。その場合に、ローパスフィルタリングステップは、前記補助画像が、前記最初の低解像度画像の解像度へダウンサンプリングすることによって得られるならば、それらの補助画像が元の低解像度画像と及び互いと異なることができることを確かにする。
【００１２】
ローパスフィルタリングは、アップサンプリングされた画像の空間スペクトルにおける高周波成分を弱めることによって、又は補間によって、実施されてよい。
【００１３】
一実施形態において、ステップｅ）において、前記選択されたパッチとの類似の程度は、少なくとも１つの前記補助画像においてパッチごとに評価され、最も高い類似度を有する所定数のパッチのみが、前記子パッチとして保持される。
【００１４】
２つのパッチの類似は、様々な方法で定義されてよい。従来の１つの方法は、２つのパッチの相互相関をそれらの類似の指標として使用することである。
【００１５】
ステップｇ）において、前記品質が高められたパッチは、一実施形態において、
ｇ１）夫々の子パッチに線形係数を割り当てることによって前記子パッチの線形結合を形成し、前記選択されたパッチとの前記線形結合の類似が最も類似した単一の子パッチの類似よりも良いようにするサブステップと、
ｇ２）夫々の子パッチに割り当てられている線形係数を用いて前記親パッチの線形結合を形成するサブステップと
によって得られる。
【００１６】
ステップｇ）において、前記線形係数は、前記子パッチのうちの１つを選択することと、仮パッチと該選択された子パッチとの線形結合を形成することと、重ね合わせの類似が前記仮パッチの類似よりも良い場合に前記仮パッチを該仮パッチと前記子パッチとの線形結合により置換することとを反復的に実施することによって、決定されてよい。
【００１７】
最初の反復において、前記仮パッチは任意に選択されてよく、望ましくは、前記子パッチのうちの１つが前記仮パッチとして選択される。
【００１８】
ステップｇ１）の線形結合において、前記仮パッチの及び前記子パッチの線形係数は、前記選択されたパッチとのそれらの線形結合の類似を最適化するように設定される。
【００１９】
子パッチの線形結合の類似が前記仮パッチの類似よりも良くない場合に、最適化が見つけられたと推測され得、前記反復は中止（すなわち、終了）され得る。前記仮パッチの又は前記子パッチの線形結合の線形係数は、その場合に、ステップｇ）での前記親パッチの線形係数とされ得る。
【００２０】
代替的に、第１の暫定的な品質を高められたパッチは、前記仮パッチの線形係数を用いて前記親パッチを線形結合することによって形成され得、第２の暫定的な品質を高められたパッチは、前記仮パッチと前記選択された子パッチとの線形結合の線形係数を用いて前記親パッチを線形結合することによって形成され得る。前記反復は、前記第２の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似が、前記第１の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似よりも良くない場合に、中止される。
【００２１】
反復の回数を最小限とするために、ステップｇ１）で、前記子パッチは、類似の降順において選択されるべきである。
【００２２】
画像品質は、ステップｂ）乃至ｈ）が、ステップｈ）の前の実施で得られた前記品質を高められた高解像度画像を、その後のステップｂ）における前記最初の高解像度画像として用いて繰り返される場合に、更に改善されてよい。
【００２３】
ステップｂ）乃至ｈ）の繰り返しの回数は、望ましくは３から５の間であるべきである。これは、繰り返しの回数がより多くなると、品質を高められた高解像度画像のそれ以上の実質的な改善は達成されないからである。
【００２４】
本発明の更なる特徴及び利点は、その実施形態の以下の記載から、添付の図面を参照して明らかになるであろう。
【図面の簡単な説明】
【００２５】
【図１】本発明の方法のフローチャートである。
【図２】請求項１の方法で使用される様々な画像どうしの関係を表す。
【図３】請求項１５のデバイスのブロック図である。
【発明を実施するための形態】
【００２６】
図１を参照して後述される、品質を高められた高解像度画像を最初の低解像度画像から形成する方法は、望ましくは、マイクロプロセッサ上で、あるいは、多数の並列プロセッサを有するマイクロプロセッサシステム内で、実行される。
【００２７】
ステップＳ１で、システムは、例えば、ｎ行及びｍ列のピクセルから形成されている、最初の低解像度画像ＬＲＩを受け取る。簡潔さのために、画像ＬＲＩは黒色及び白色のみであって、夫々のピクセルはその陰影を指定する１つの整数に対応する、とここでは考えられる。カラー画像への一般化は、当業者にとって容易である。
【００２８】
ステップＳ２で、画像ＬＲＩは、ＬＲＩのいずれか２つの隣接した行の間に（ｉ−１）個の追加の行を挿入することによって、そして、ＬＲＩのいずれか２つの隣接した列の間に（ｊ−１）個の追加の列を挿入することによって、係数ｉ、ｊによってアップサンプリングされて、（ｉ×ｎ）行×（ｊ×ｍ）列の画像が得られる。ｉ及びｊは小さい整数であり、それらのうちの少なくとも一方は１よりも大きく、ほとんどの実際の実施形態では、ｉ＝ｊが成り立つ。
【００２９】
挿入されたピクセルは、Ｓ２で得られた画像に空間的にローパスフィルタをかけることによって、あるいは、双一次又は双三次補間によって、それらに割り当てられているデータを有する。このようにして、最初の高解像度画像ＩＨＲＩがＳ３で得られる。この画像の物理的解像度は、最初の低解像度画像ＬＲＩの解像度よりも相当に高いが、ディテールの程度は、より良いわけではなく、場合によってはＬＲＩのそれに満たないことさえある点が留意されるべきである。
【００３０】
ステップＳ４で、最初の高解像度画像ＩＨＲＩを係数ｉ，ｊによってダウンサンプリングすることによって、補助画像ＡＩｉｊが得られる。そのような補助画像ＡＩｉｊの解像度は、最初の低解像度画像ＬＲＩのそれと同じであり、ｉ×ｊ個の異なる補助画像ＡＩｉｊが導出され得る。図１では、ｉ＝ｊ＝２であり、それにより、４つの異なる補助画像ＡＩ２２が存在する。最初の高解像度画像ＩＨＲＩが補間によって得られ、それにより、最初の低解像度画像ＬＲＩからの元のピクセルのピクセルデータが不変なままであるならば、それらのｉ×ｊ個の補助画像のうちの１つはＬＲＩと同じであってよい。
【００３１】
更には、補助画像ＡＩｉ’ｊ’が生成されてよい。それらのダウンサンプリング係数ｉ’、ｊ’はｉ、ｊよりも大きい。例えば、図１では、ｉ’＝ｊ’＝３である。それらの補助画像ＡＩｉ’ｊ’は、ＩＨＲＩを直接にダウンサンプリングすることによって、あるいは、補助画像ＡＩｉｊを係数ｉ’／ｉ、ｊ’／ｊによって夫々ダウンサンプリングするによって、取得され得る。ダウンサンプリング係数ｉ’、ｊ’及びｉ’／ｉ、ｊ’／ｊは、望ましくは、１から２の間の有理数である点が留意されるべきである。非整数の有理係数ｉ’＝ｒ／ｍによるダウンサンプリングは、最初に整数係数ｍによって補間し、次いで整数係数ｒによってダウンサンプリングすることによって、実施され得る。
【００３２】
ＩＨＲＩから導出され得る異なる補助画像ＡＩｉｊの数はｉ×ｍ個である。従って、ダウンサンプリング係数が高い場合に、特に、係数ｉ’、ｊ’の場合において、それらの補助画像の一部のみを生成すれば十分であり得る。
【００３３】
エイリアシング効果を回避するために、補助画像ＡＩｉｊ、ＡＩｉ’ｊ’は、ステップＳ５で、空間ローパスフィルタリングを受ける。
【００３４】
全てのそのような補助画像ＡＩｉｊ、ＡＩｉ’ｊ’は、夫々の補助画像の生成をマイクロプロセッサシステムの異なるプロセッサ又はプロセッサの組に割り当てることによって、同時に取得され得る。
【００３５】
夫々の補助画像ＡＩｉ’ｊ’について、同じ解像度を有するフィルタ処理されていないダウンサンプリングされた画像ＵＩｉ’ｊ’は、ステップＳ６で最初の低解像度画像ＬＲＩを係数ｉ’／ｉ、ｊ’／ｊによってダウンサンプリングすることによって得られる。
【００３６】
ステップＳ７で、パッチＰＩ、ＰＡは、最初の高解像度画像ＩＨＲＩにおいて及び補助画像ＡＩｉｊ、ＡＩｉ’ｊ’において定義される。実際に、パッチＰＩ、ＰＡは、少数の行及び列（例えば、６×６）を含む長方形であるべきである。行及び列の数は、最初の高解像度画像ＩＨＲＩの及び補助画像ＡＩｉｊ、ＡＩｉ’ｊ’のパッチについて、それらの夫々のダウンサンプリング係数にかかわらず同じである。ＩＨＲＩの夫々のピクセルは少なくとも１つのパッチＰＩに属する。パッチＰＩは、互いに重なり合ってよく、望ましくは重なり合っている。
【００３７】
ステップＳ８で、パッチＰＩごとに最近傍探索が実施される。すなわち、補助画像ＡＩｉｊ、ＡＩｉ’ｊ’の全てのパッチＰＡについて、パッチＰＩとの類似の程度が評価される。夫々のパッチＰＩについて、所与のパッチＰＩとの類似が最も高いＫ個のパッチＰＡを含む組ＮＮ（ＰＩ）が保持される。
【００３８】
数学的視点から、パッチＰＩ、ＰＡはベクトルと見なされ得る。ここで考えられている場合において、それらのベクトルは６×６＝３６個の成分ｐｉｉ，ｊ、ｐａｉ，ｊを有し、それらのベクトル空間は３６個の次元を有する。
【００３９】
２つのパッチの類似Ｓは、例えば、そのようなベクトルの正規化されたスカラー積として評価されてよい：
【００４０】
【数１】
2017505951.tif 000003
Ｓは、０から１の間の値をとることができる。ステップＳ８で保持されたパッチは、１に最も近いＳを有するパッチである。夫々の入力画像ＬＲＩの処理は、膨大な数の類似Ｓを計算することを伴うので、処理時間は、マイクロプロセッサシステムのプロセッサの間でそれらの計算を分配することによって、短縮されてよい。
【００４１】
元の入力画像ＬＲＩと同じ解像度を有するそれらの補助画像ＡＩｉｊのうちの１つにおける夫々のパッチＰＡは、同じ内容を表す元の入力画像ＬＲＩにおけるパッチＰＰに関連し（図２におけるパッチＰＡ１、ＰＰ１を参照。）、それにより、上記の連続したアップ及びダウンサンプリング動作によって導出されると言うことができる。従って、パッチＰＰはここでは親パッチと、パッチＰＡはその子パッチと呼ばれる。同様に、補助画像ＡＩｉ’ｊ’における及び同じ解像度を有するフィルタ処理されていないダウンサンプリングされた画像ＵＩｉ’ｊ’における同じ内容を表すパッチ（すなわち、図２におけるＰＡ２、ＰＰ２）も、子パッチ及び親パッチと呼ばれる。
【００４２】
ＮＮ（ＰＩ）におけるパッチＰＡ０乃至ＰＡ（Ｋ−１）は、ＰＩとの類似の減少により順序付けられる、と考えられる。すなわち、
Ｓ（ＰＡ０，ＰＩ）≧Ｓ（ＰＡ１，ＰＩ）≧・・・≧Ｓ（ＰＡ（Ｋ−１），ＰＩ）。
【００４３】
ステップＳ９で、パッチＰＩに対して最も高い類似Ｓを有する子パッチＰＡ０は、組ＮＮ（ＰＩ）の中から仮パッチＨＰとして選択される。
【００４４】
パッチＰＩに対して次に高い類似Ｓを有する子パッチＰＡｋ、この例ではＰＡ１は、ステップＳ１０で選択される。
【００４５】
ステップＳ１１で、線形結合
ＬＣ＝ｃｋ１ＨＰ＋ｃｋ２ＰＡｋ        （２）
の線形係数ｃｋ１、ｃｋ２（この場合に、ｋ＝１）は、一方で、ｃｋ１＋ｃｋ２＝１のような正規化条件が満たされ、他方で、ＬＣ及びＰＩの類似Ｓ（ＬＣ，ＰＩ）が最大になるように、選択される。ステップＳ１２は、この類似Ｓ（ＬＣ，ＰＩ）がＰＩと仮パッチＨＰとの間の類似Ｓ（ＨＰ，ＰＩ）よりも良いかどうかを確認し、そうであるならば、ステップＳ１３で、線形結合ＬＣは仮パッチＨＰを置換し、プロセスはステップＳ１０へ戻り、これより、ＮＮ（ＰＩ）の残りのパッチの中で最も類似するもの（ＰＡ２である。）を選択する。ステップＳ１０で、線形結合ＬＣ＝ｃ２１ＨＰ＋ｃ２２ＰＡ２（すなわち、ｋは２に等しい。）の線形係数は、正規化条件が満たされ且つＬＣ及びＰＩの類似Ｓ（ＬＣ，ＰＩ）が最大になるように、選択される。
【００４６】
パッチＰＡ、ＰＩがベクトルと見なされる場合に、それらのベクトル空間は３６個の次元を有し、ＰＩは、３６個の基本ベクトルの線形結合と見なされ得る。従って、ＮＮ（ＰＩ）におけるパッチＰＡｋの個数Ｋがパッチ内のピクセルの個数（すなわち、パッチベクトルの次元）よりも相当に大きい場合に、それらのパッチＰＡｋの多くは冗長であり、プロシージャの最終結果を改善しない。従って、ＮＮ（ＰＩ）におけるパッチの個数Ｋは、パッチ内のピクセルの個数の０．５倍から２倍の間の何らかの値に制限され得る。
【００４７】
明らかに、ステップＳ１０、Ｓ１１は、ＮＮ（ＰＩ）のＫ個のパッチの全てが処理されていない限りは、何度も行われ得る。実際に、より早く反復を中止（すなわち、終了）することは、処理時間を節約するのみならず、中止条件が思慮深く選択される場合には、最終のＨＲ画像の品質も改善する。
【００４８】
第１の実施形態に従って、反復は、Ｓ１２において、類似Ｓ（ＬＣ，ＰＩ）がＳ（ＨＰ，ＰＩ）よりも良くない（これは、Ｓ１１でｃｋ２＝０について見つけられる最適な類似と等価である。）と直ぐに、中止される。
【００４９】
その段階で、ＨＰに寄与するＮＮ（ＰＩ）の中のパッチＰＡ０乃至ＰＡＫ−１の全て及びそれらの夫々の線形係数は知られている。反復がｋ＝３で中止すると考えられる場合に、ＨＰは、
ＨＰ＝ｃ２１（ｃ１１ＰＡ０＋ｃ１２ＰＡ１）＋ｃ２２ＰＡ２      （３）
である。
【００５０】
一般に：
【００５１】
【数２】
2017505951.tif 000004
反復が中止される場合に、方法はＳ１４へ枝分かれし、増強されたパッチＥＰは、式（４）において子パッチをそれらの夫々の親パッチＰＰにより置換することによって得られる：
【００５２】
【数３】
2017505951.tif 000005
第２の実施形態に従って、増強されたパッチＥＰｋは、この同じステップにおいて求められる最適化された線形結合
ＬＣ＝ｃｋ１ＨＰ＋ｃｋ２ＰＡｋ
に基づき、既にステップＳ１１で式（５）を用いて計算されている。最初の低解像度画像ＬＲＩにおいて同じ内容を表すパッチＬＰとのこのパッチＥＰｋの類似が、計算される。パッチＥＰｋ及び画像ＬＲＩにおけるパッチＬＰは、同数のピクセルを有さず、従って、双方の間の類似が、式（１）で見られたように、正規化されたスカラー積によって計算される場合には、パッチＥＰｋは最初にダウンサンプリングされるべきであり、それにより、両方のパッチＥＰ、ＬＰは同じ解像度を有する。ここで、ステップＳ１２は、ステップＳ１０、Ｓ１１の反復ｋにおいて得られたＬＰとＥＰｋとの間の類似が、前の反復（ｋ−１）で得られた類似よりも良いかどうかを判断する。そうでないならば、反復は中止し、ステップＳ１４で出力される増強されたパッチＥＰはＥＰｋ−１である。
【００５３】
ステップＳ１０乃至Ｓ１４は、ループにおいて、あるいは、マルチプロセッサの間で分配されて同時に、最初の高解像度画像ＩＨＲＩの全てのパッチＰＩについて実施される。ステップＳ１５で全ての増強されたパッチＥＰを結合することは、よって、完成した品質を高められた画像ＥＩ１をもたらす。増強されたパッチＥＰが重なり合う場合に、それらは、品質を高められた画像ＥＩ１におけるパッチ間の滑らかな遷移を確かにするために、Ｓ１６で平均化される。
【００５４】
方法は、画像ＥＩ１が出力されることで終了することができる。なお、好適な実施形態に従って、最初の高解像度画像ＩＨＲＩは、Ｓ１７で画像ＥＩ１によって上書きされ、プロシージャはステップＳ４に戻って、それにより、第２の品質を高められた画像ＥＩ２がＳ１６で得られる。
【００５５】
ステップＳ４乃至Ｓ１６は、前のステップＳ１６で得られた画像ＥＩｐによって画像ＥＩｐ−１（ｐ＝２，３，・・・）をステップＳ４で上書きするたびに、ステップＳ１８で３、４又は５のようなｐの何らかの所定の値が達成されるまで、あるいは、画像ＥＩｐ−１、ＥＩｐの類似が、これ以上の実質的な改善が期待されないほど高くなるまで、１回以上繰り返されてよい。
【００５６】
図３を参照すると、一実施形態において、画像の品質を高めるデバイス３０は、
ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像ＩＨＲＩを得るアップサンプリング手段３１と、
ｂ）最初の低解像度画像に基づき、最初の高解像度画像ＩＨＲＩの解像度よりも低い解像度を有する少なくとも１つの補助画像を与える手段３２と、
ｃ）最初の低解像度画像に基づき、少なくとも１つの補助画像と同じ解像度を有するフィルタ処理されていない画像ＵＩを与える手段３３と、
ｄ）最初の高解像度画像からパッチを選択する手段３４と、
ｅ）少なくとも１つの補助画像において、選択されたパッチに類似した子パッチを見つける手段３５と、
ｆ）子パッチと局所的に関連する親パッチを、フィルタ処理されていない画像において見つける手段３６と、
ｇ）品質を高められたパッチを形成するために親パッチを線形結合する手段３７と、
ｈ）品質を高められた高解像度画像を形成するよう、手段ｄ）乃至ｆ）によって得られる複数の品質を高められたパッチを結合する手段３８と
を有する。
【００５７】
デバイスの一実施形態において、少なくとも１つの補助画像は、最初の高解像度画像をダウンサンプリングすることによって得られる。
【００５８】
デバイスの一実施形態において、前記少なくとも１つの補助画像のうちの第１のダウンサンプリングされたフィルタ処理した画像は、最初の低解像度画像と同じ解像度を有し、当該第１のダウンサンプリングされたフィルタ処理した画像と関連するフィルタ処理されていない画像は、最初の低解像度画像である。
【００５９】
デバイスの一実施形態において、補助画像のうちの第２の補助画像は、最初の低解像度画像の解像度よりも低い解像度を有し、第２のフィルタ処理されていない画像は、最初の低解像度画像を当該第２の補助画像の解像度へとダウンサンプリングすることによって得られる。
【００６０】
デバイスの一実施形態において、最初の高解像度画像を得る手段３１は、ローパスフィルタ３０１、特に補間フィルタ、を更に有する。
【００６１】
一実施形態において、デバイス３０は、少なくとも１つの補助画像においてパッチごとに、選択されたパッチとの類似の程度を評価し、最も高い類似度を有する所定数Ｋ個のパッチを前記子パッチとして保持するよう構成される比較手段３１０を更に有する。
【００６２】
デバイスの一実施形態において、親パッチを線形結合する手段３７は、
ｇ１）夫々の子パッチに線形係数を割り当てることによって前記子パッチの線形結合を形成し、選択されたパッチとの線形結合の類似が最も類似した単一の子パッチの類似よりも良いようにする第１の結合手段３７１と、
ｇ２）夫々の子パッチに割り当てられている線形係数を用いて親パッチの線形結合を形成する第２の結合手段３７２と
を有する。
【００６３】
一実施形態において、第１の結合手段３７１は、前記子パッチのうちの１つを選択することと、仮パッチと該選択された子パッチとの線形結合を形成することと、重ね合わせの類似が仮パッチの類似よりも良い場合に仮パッチを仮パッチと子パッチとの線形結合により置換することとを反復的に実施することによって、線形係数を決定するよう更に構成される。
【００６４】
デバイスの一実施形態において、仮パッチの及び子パッチの線形係数は、それらの線形結合の類似を最適化するように設定される。
【００６５】
一実施形態において、デバイスは、子パッチの線形結合の類似が仮パッチの類似よりも良くない場合に反復を中止するよう構成される終了制御手段３９を更に有する。
【００６６】
デバイスの一実施形態において、仮パッチは、子パッチの線形結合であり、第１の暫定的な品質を高められたパッチは、仮パッチの線形係数を用いて親パッチを線形結合することによって形成され、第２の暫定的な品質を高められたパッチは、仮パッチと選択された子パッチとの線形結合の線形係数を用いて親パッチを線形結合することによって形成され、終了制御手段３９は、第２の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似が、第１の暫定的な品質を高められたパッチとステップｄ）で選択されたパッチとの類似よりも良くない場合に、反復を中止する。
【００６７】
デバイスの一実施形態において、手段ｇ）は、類似の降順において子パッチを選択するよう構成される。
【００６８】
一実施形態において、デバイスは、手段ｂ）乃至ｈの繰り返される動作周期を制御するよう構成される繰り返し制御手段３１１を更に有し、手段ｈ）からある動作周期において得られる品質を高められた高解像度画像は、手段ｂ）のその後の動作周期において最初の高解像度画像として使用される。
【００６９】
デバイスの一実施形態において、繰り返し制御手段３１１は、手段ｂ）乃至ｈ）の動作周期を３〜５回実行するようデバイスを制御する。
【００７０】
上記の手段の夫々は、１つ以上のハードウェア処理要素又はプロセッサによって実施されてよい。このとき、上記の手段のうちの２つ以上は、単一のハードウェア処理要素又はプロセッサによって実施されてよい。
【００７１】
一実施形態において、コンピュータプログラムは、コンピュータが、
ａ）最初の低解像度画像から、アップサンプリングによって最初の高解像度画像を得るステップと、
ｂ）前記最初の低解像度画像に基づき、前記最初の高解像度画像の解像度よりも低い解像度の少なくとも１つの補助画像を与えるステップと、
ｃ）前記最初の低解像度画像に基づき、前記少なくとも１つの補助画像と同じ解像度を有するフィルタ処理されていない画像を与えるステップと、
ｄ）前記最初の高解像度画像からパッチを選択するステップと、
ｅ）前記少なくとも１つの補助画像において、前記選択されたパッチに類似した子パッチを見つけるステップと、
ｆ）前記子パッチと局所的に関連する親パッチを、前記フィルタ処理されていない画像において見つけるステップと、
ｇ）品質を高められたパッチを形成するために前記親パッチを線形結合するステップと、
ｈ）品質を高められた高解像度画像を形成するよう、ステップｄ）乃至ｆ）を繰り返し実施することによって得られる品質を高められたパッチを結合するステップと
を実施することを可能にするソフトウェアコードを有する。
【００７２】
様々な実施形態において、コンピュータプログラムは、コンピュータが上記の更なる機能を実行することを可能にするソフトウェアコードを有する。
【００７３】
本発明は単に一例として記載されており、詳細の変更が行われてよく、暗黙的に組み込まれている点が理解されるであろう。明細書並びに（必要に応じて）特許請求の範囲及び図面に開示されている夫々の特徴は、独立して、又は如何なる適切な組み合わせにおいても、提供されてよい。特徴は、必要に応じて、ハードウェア、ソフトウェア、又はそれらの組み合わせにおいて実施されてよい。特許請求の範囲において現れる参照符号は、単なる例示であって、特許請求の範囲の適用範囲を制限する効果を有するべきではない。
【符号の説明】
【００７４】
ＬＲＩ                  最初の低解像度画像
ＩＨＲＩ                最初の高解像度画像
ＡＩｉｊ，ＡＩｉ’ｊ’  補助画像
ＵＩｉ’ｊ’            フィルタ処理されていないダウンサンプリングされた画像
ＰＩ                    ＩＨＲＩにおけるパッチ
ＰＡ，ＰＡｋ            補助画像における子パッチ
ＰＰ，ＰＰｋ            ＬＲＩ又はＵＩｉ’ｊ’における親パッチ
ＥＰ                    増強されたパッチ
ＥＩ                    増強された画像
【図１】
2017505951.tif 000006
【図２】
2017505951.tif 000007
【図３】
2017505951.tif 000008
【国際調査報告】
2017505951.tif 000009
2017505951.tif 000010
2017505951.tif 000011