(57)【要約】本発明の方法及びシステム３００は、入力画像２０から増加された画素解像度の出力画像２１を生成し、入力画像は、入力画像よりも多くの画素を有するアップスケールされた画像２２を生成するために２以外のファクタでアップスケールされ、平滑化された画像２３を生成するために低域通過フィルタリングが施される。高い詳細の画像２４は、減算により生成され、アップスケールされた画像におけるそれぞれの画素について、画素を含むパッチ２５が識別される。平滑化された画像の局所的な領域２７内のベストフィットパッチ２６は、アップスケールされた画像におけるパッチのマッピングされた位置の近くにある平滑化された画像においてサーチすることで発見される。アップスケールされた画像のパッチにおけるそれぞれの画素は、ベストフィットパッチに対応する高い詳細の画像の等価なパッチにおける対応する画素の値を一意的に加えることで補正され、補正されたアップスケールされた画像は、更なる処理のために記憶される。
2013518336.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を有する入力画像から、増加された画素の解像度の出力画像を生成するコンピュータで実行される方法であって、
前記入力画像を第一のメモリに記憶するステップと、
アップスケールされた画像におけるそれぞれの画素が前記入力画像における小数の画素にマッピングされるように、前記入力画像を２以外のファクタでアップスケールすることで、前記入力画像よりも多くの画素を有するアップスケールされた画像を生成するステップと、
前記入力画像に低域通過フィルタリングを施すことで平滑化された画像を生成するステップと、
それぞれの画素値が前記入力画像における対応する画素値と前記平滑化された画像における対応する画素値との間の差である高い詳細の画像を生成するステップと、
前記アップスケールされた画像におけるそれぞれの画素について、前記画素を小数の隣接する画素と共に含むパッチを識別するステップと、
その位置が前記アップスケールされた画像におけるパッチのマッピングされた位置の近くにある前記平滑化された画像におけるパッチをサーチすることで、前記平滑化された画像の局所的な領域におけるベストフィットパッチを発見するステップと、
前記平滑化された画像のベストフィットパッチに対応する前記高い詳細の画像の等価なパッチにおける対応する画素の画素値を一意的に加えることで、前記アップサンプルされた画像の前記パッチにおけるそれぞれの画素を補正するステップと、
補正されたアップスケールされた画像を第二のメモリに更なる処理のために記憶するステップと、
を含むことを特徴とする方法。
【請求項２】
［ノンダイアディックアップスケーリングモジュールが］前記アップスケールされた画像を生成するステップは、原画像の値をアップスケールされた画像にコピーし、その後にフィルタリングすることを含む、
請求項１記載の方法。
【請求項３】
２以外のファクタでＮ：Ｍにスケーリングするステップは、
前記入力画像からＮ個のアップスケールされた画像を作成するステップと、
前記入力画像における連続する画素を前記Ｎ個のアップスケールされた画像の連続する１つにコピーし、連続するコピーされた画素間のＭ個の画素のギャップを残すステップと、
異なるフィルタで前記Ｎ個の画像のそれぞれをフィルタリングするステップと、
前記Ｎ個の画像を加えて複合画像を生成するステップと、
を含む請求項１記載の方法。
【請求項４】
アップスケーリングのために使用される前記Ｎ個の異なるフィルタは、一定の画像を正確に再構築するために適合される、
請求項３記載の方法。
【請求項５】
アップスケーリングのために使用される前記Ｎ個の異なるフィルタは、線形の画像の関数を正確に再構築するために適合される、
請求項３記載の方法。
【請求項６】
平滑化は、前記Ｎ個の異なるフィルタのそれぞれから、第二のセットの双直交のＮ個のフィルタを生成するステップと、平滑化のために使用される異なるフィルタの別のセットを生成するように、Ｎ個のフィルタのそれぞれのセットにおいて対応するフィルタを結合するステップとを含む、
請求項３乃至５の何れか記載の方法。
【請求項７】
前記出力画像は、リアルタイムで生成される、
請求項１乃至６の何れか記載の方法。
【請求項８】
前記入力画像及び前記出力画像は、それぞれのビデオ系列の連続する画像である、
請求項１乃至７の何れか記載の方法。
【請求項９】
前記入力画像は、複数のサブ画像に分割され、
当該方法は、それぞれのサブ画像を独立に実行される、
請求項１乃至８の何れか記載の方法。
【請求項１０】
前記サブ画像は、同時に処理される、
請求項９記載の方法。
【請求項１１】
複数の画素を有する入力画像から、増加された画素解像度の出力画像を生成するシステムであって、
当該システムは、
前記入力画像を表す画素データを記憶する第一のメモリと、
前記第一のメモリに結合され、アップスケールされた画像におけるそれぞれの画素が前記入力画像における小数の画素にマッピングされるように、前記入力画像を２以外のファクタでアップスケーリングすることで、前記入力画像よりも多くの画素を有するアップスケールされた画像を生成するノンダイアディックアップスケーリングモジュールと、
前記ノンダイアディックアップスケーリングモジュールに結合され、前記アップスケールされた画像を表す画素データを記憶する第一のバッファと、
前記第一のメモリに結合され、前記入力画像に低域通過フィルタリングを施すことで、平滑化された画像を生成する低域通過フィルタと、
前記低域通過フィルタに結合され、前記平滑化された画像を表す画素データを記憶する第二のバッファと、
前記第一のメモリ及び第二のバッファに結合され、それぞれの画素が前記入力画像における対応する画素値と前記平滑化された画像における対応する画素値との間の差である高い詳細の画像を生成する減算モジュールと、
前記減算モジュールに結合され、前記高い詳細の画像を表す画素データを記憶する第三のバッファと、
前記第一のバッファに結合され、それぞれのパッチが前記アップスケールされた画像におけるそれぞれの画素を小数の隣接する画素と共に含む連続するパッチを識別するパッチ割り当てモジュールと、
前記パッチ割り当てモジュール及び前記第二のバッファに結合され、それぞれのパッチに最良に整合するベストフィットパッチを発見するように、その位置が前記アップスケールされた画像におけるそれぞれ連続するパッチのマッピングされた位置の近くにある、前記平滑化された画像の局所的な領域内でサーチするベストフィットパッチモジュールと、
前記ベストフィットパッチモジュール及び第三のバッファに結合され、前記平滑化された画像の前記ベストフィットパッチに対応する前記高い詳細の画像の等価なパッチにおける対応する画素の画素値を一意的に加えることで、前記アップスケールされた画像の前記パッチにおけるそれぞれの画素を補正する補正モジュールと、
前記補正モジュールに結合され、前記アップスケールされた画像の補正された画像を記憶する第二のメモリと、
を備えるシステム。
【請求項１２】
前記ノンダイアディックアップスケーリングモジュールは、入力画像の画素値をアップスケールされた画像にコピーし、その後にフィルタリングする、
請求項１１記載のシステム。
【請求項１３】
前記ノンダイアディックアップサンプリングモジュールは、
前記入力画像から、Ｎ個のアップサンプルされた画像を作成し、
前記入力画像における連続する画素を、前記Ｎ個のアップサンプルされた画像の連続する画像にコピーし、連続するコピーされた画素間のＭ個の画素のギャップを残し、
前記Ｎ個の画像のそれぞれを異なるフィルタでフィルタリングし、
前記Ｎ個の画像を加えて複合画像を生成する、ことで、
ノンダイアディックＮ：Ｍスケーリングを実行する、
請求項１１記載のシステム。
【請求項１４】
アップスケーリングのために使用される前記Ｎ個の異なるフィルタは、一定の画像を正確に再構築する、
請求項１３記載のシステム。
【請求項１５】
アップスケーリングのために使用される前記Ｎ個の異なるフィルタは、線形画像関数を正確に再構築する、
請求項１３記載のシステム。
【請求項１６】
前記低域通過フィルタは、前記Ｎ個の異なるファイルタのそれぞれから、双直交のＮ個のフィルタの第二のセットを生成し、平滑化のために使用される異なるフィルタの別のセットを生成するように、Ｎ個のフィルタのそれぞれのセットにおける対応するフィルタを結合する、
請求項１３乃至１５の何れか記載のシステム。
【請求項１７】
前記第一のメモリは、リアルタイムで前記入力画像を捕捉するカメラに結合される、
請求項１１乃至１６の何れか記載のシステム。
【請求項１８】
前記入力画像及び出力画像は、それぞれのビデオ系列の連続する画像である、
請求項１１乃至１７の何れか記載のシステム。
【請求項１９】
前記入力画像の複数のサブ画像を独立に処理する、
請求項１１乃至１８の何れか記載のシステム。
【請求項２０】
前記サブ画像を同時に処理する、
請求項１９記載のシステム。
【請求項２１】
前記第二のメモリは、前記出力画像を表示する表示装置に結合される、
請求項１１乃至２０の何れか記載のシステム。
【請求項２２】
プログラムがコンピュータで実行されるとき、請求項１乃至１１の何れか記載の方法を実行するコンピュータプログラムコードを含むコンピュータプログラム。
【請求項２３】
請求項２２記載のコンピュータプログラムを表すデータを記憶するコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ画像処理の分野に関し、より詳細には、デジタル色補正のシステム及び方向に関する。  
また、本発明は、画像処理に関し、より詳細には、画像の解像度を増加すること、又はイメージアップサンプリングに関する。  
本出願は、2010年1月28日に提出された仮出願第61/299,036号の利益を特許請求するものであり、その内容は、引用により本明細書に盛り込まれる。
【背景技術】
【０００２】
画像の解像度を増加すること、又はイメージアップスケーリングは、実際上及び理論上重要な魅力的且つ基本的な画像編集処理である。今日デジタルカメラは高解像度画像を生成する一方、解像度エンハンスメントから利益を受ける、モバイル装置及び調査システムで発見される、低級のセンサと同様に多くの既存の低解像度画像が存在する。要するに、イメージアップスケーリングは、入力画素に基づいて数百万の未知の画素値の予測を必要とし、その数のほんの僅かな部分を構成する。アップスケーリングは、画像修復（image inpainting）、ぼけの除去（deblurring）、雑音の除去（denoising）及び圧縮（compression）のような様々な他の問題に親密に関連する。
【０００３】
おそらく単一画像のアップスケーリングの最も簡単な形式は、例えばバイリニア及びバイキュービックスキームといった、解析的な補間式を使用して、次の画素を予測する。しかし、自然画像は、オブジェクトのエッジのような強い不連続さを含み、従ってこれらの方法が想定する解析的な滑らかなに従わない。これにより、リンギング、階段、ジャギー及びぼけ効果のようなエッジに沿った幾つかの知覚できるアーチファクトとなる。イメージアップスケーリングは、コンピュータグラフィックス、マシンビジョン及び画像処理コミュニティにより広範に研究されている。これまで開発された方法は、それらの式において異なり、これらが使用する従来の画像モデル及び入力データを明確に示す。ここで、問題に対するメインアプローチ、及び問題の背後の原理が簡単に説明される。本発明の新たな方法の想定される設定である単一画像のアップスケーリング方法に焦点が当てられる。
【０００４】
古典的且つ最も簡単なアプローチは、中間の画素値を予測するために線形補間を使用する。この方法は、バイリニア及びバイキュービックフィルタのようなリニアフィルタを使用して通常は実現され、コマーシャルソフトウェアで一般に発見される。これらの補間カーネルは、自然画像における事実と異なる空間的に滑らか又は帯域制限された信号について設計される。現実世界の画像は、エッジ及び高周波のテクスチャ領域のような特異点を含むことがある。結果として、これらの方法は、リンギング、エリアシング、ジャギー及びぼけのような様々なエッジに関連する視覚的なアーチファクトに苦しむ。非特許文献２５におけるThevenaz等は、これらの方法のより複雑な調査及びそれらの評価を提供する。
【０００５】
より洗練された方法は、画像コンテンツに基づいて補間の重みを調節する。例えば非特許文献１０におけるLi等は、ローカルエッジの向きに従って補間の重みを調節し、Su等は、線形補間のために４つの最も隣接する画素のうちの３つを選択する。これにより、リンギング効果を低減することができ、幾分鮮鋭なエッジを得ることができる。二次方程式ではない平滑さの関数は、アップスケーリングについて使用することができる異なるタイプの非線形の画像の正規化を生じる。例えば非特許文献１におけるAly and Dubois等は、全体の変動関数を最小にすることで画像を拡大する。非特許文献１９におけるShan等は、入力解像度にダウンスケーリングするとき、入力画像と一致する出力画像を保持する洗練されたフィードバック制御のフレームワークを使用して類似のメトリックを最小にする。
【０００６】
自然画像の統計の最近の研究により動機付けられて、幾つかの方法は、ランダムマルコフフィールドモデルを使用して、アップスケーリングされた画像の空間にわたり確率密度を定義する。出力画像は、多くの場合、これらのモデルを最大にすることで計算される。これらのアプローチは、２つの主要なクラスに分割される。１つは、ノンパラメトリックな例に基づくモデルを定義し、１つは解析的な画像モデリングに基づくモデルを定義する。
【０００７】
例に基づく画像の拡大は、非特許文献８においてFreeman等により研究され、さらに、非特許文献７においてFreeman等により開発されている。この画像予測モデルは低周波帯域、すなわち平滑化されたバージョンに分解される例示的なパッチと、残差の高周波帯域とのデータベースに依存する。入力画像は、解析的な補間を使用して高解像度に補間され、次いで、欠けている高周波帯域は、例示的なパッチから予測される。例示的なパッチの低周波成分に従ってマッチングが行われる。このアプローチは、オブジェクトエッジ及び微細なテクスチャ領域の両者で、画像にわたり妥当な細かな詳細を生成可能である。しかし、データベースにおける関連する例が欠けていることは、湾曲したエッジに沿った不規則性を示す相当に雑音が多い画像となる。大きなデータベースの使用は、最も隣接する近傍のサーチにおける追加される比較のために、より時間がかかる。近似的に最も近い近傍のサーチの使用は、それ自身のエラーを導入するときに制限されたソリューションを提供する。また、非特許文献２４におけるTappen等は、パッチに基づくモデルを使用して、出力が入力と一致することを必要とする。
【０００８】
非特許文献２において、画像のフラクタル特性及び画像の圧縮への適用を研究するBarnsleyによる先の研究により動機付けられ、非特許文献１８におけるRobert等及び非特許文献２６におけるVrscay等は、余分の復号化ステップを含むフラクタル圧縮スキームを使用して画像を補間する。このアプローチは、非特許文献１６におけるReusens及び非特許文献１３におけるPolidori等により開示されるように、オーバラップするレンジブロックを使用して、低減することができる強いブロックアーチファクトに苦しむ。これらの研究に基づいて、非特許文献４におけるEbrahimi及びVrscayは、小さなパッチにおける自己相似性に依存して、例えばパッチであるソースとして複数の小さなスケールで入力画像を使用する。これはユニバーサルデータベースに比較して制限されたサイズの例示的なデータベースを提供する一方、後に示すように、この例示的なデータは、拡大されている入力される画像にかなり関連する。非特許文献２１におけるSuetake等は、非特許文献７におけるFreeman等と同様のフレームワークで、欠けている公衆は帯域を推定するために後に使用される例示的なコードブックを計算するために入力画像を使用する。
【０００９】
最近、幾つかのパラメトリック画像モデルは、アップスケーリングについて提案されている。これらの方法は、異なるスケールで統計的な依存度を示す様々な画像特性を記述するため、解析的なモデルを適合させる。非引用文献６におけるFattalは、入力から抽出されるエッジ記述子と、高解像度での勾配との間の関係をモデル化する。再構成されたエッジプロファイルについて従来の完全に解析的なものは、非特許文献２３においてSun等により使用される。これらのアプローチは、それらの例に基づくアプローチよりもかなり高速である、明らかなノイズをもたないシャープなエッジを再現可能である。しかし、結果として得られる画像は、色停滞期を分離することがある一般的なエッジからなるとき、幾分非現実的に見える傾向にある。非引用文献２２におけるSun等は、例に基づくモデリングとパラメトリックモデリングを互いに結合するマルコフランダムフィールドを記載する。
【００１０】
単一の画像のアップスケーリングのほかに、複数の研究は、マルチフレームの超解像度に対処し、この場合、並進運動のオフセットで撮影された同じシーンの複数のショットがシーンの単一の高解像度画像を生成するために使用される。非特許文献５，１１では、この処理を制限するノイズに対処するため、ロバストな規則化を使用することが提案されている。非特許文献３においてBhat等によるスタティックシーンの所与の高解像度写真は、写真からの画素をレンダリングすることで、そのシーンのビデオをエンハンスする。最近、非特許文献９におけるGlasner等は、マルチフレーム、例に基づく超解像度技術を統一して、単一画像の方法を導出している。この方法は、マルチフレームの超解像度の形式を使用し、さらに画像における自己相似性に依存し、サブピクセルオフセットだけ異なるサンプルを取得する。
【００１１】
［局所的な自己相似性］
非特許文献７においてFreeman等は、任意の自然画像から取得された小さなパッチの多目的の例示的なデータベースを使用する。他は、非特許文献２，２６，２１及び９における自己相似性に依存し、自然画像における小さなパッチは、画像内で及びそのスケールにわたり自身を繰返す傾向にある。これにより、外部データベースは、例えばパッチであるソースとして、小さなスケールで撮影された入力画像それ自身と置き換えるのを可能にする。これは、任意のサイズの外部データベースと比較して、制限された数の例示的なパッチを提供する一方、入力画像内で発見されたパッチは、それをアップスケーリングするために関連する。従って、多くの場合、ノンパラメトリックな例に基づく画像モデルの主要なボトルネックであると知られる最隣接近傍サーチに関与する時間コストを低減する一方、より少ない例を使用し、同じ又は更には良好な結果を得ることができる。
【００１２】
本発明の背景として考えられる従来技術の引用は、以下に列挙され、それらの内容は、引用により本明細書に盛り込まれる。本明細書における引用文献の認定は、これらが本明細書で開示される本発明の特許性に関連することを意味することとして推論されるべきではない。それぞれの引用文献は、鍵括弧で囲まれる番号により識別され、従って従来技術は、鍵括弧により囲まれる番号により明細書を通して参照される。
【非特許文献１】Aly, H. and Dubois, E.2005. Image up-sampling using total-variation regularization with a newobservation model. IEEE Trans. Image Processing 14, 10, 1647-1659.
【非特許文献２】Barnsley,M. 1988. Fractal modelling of real world images. The Science of Fractal Images,H.-O. Peitgen and D. Saupe, Eds. Springer-Verlag, New York.
【非特許文献３】Bhat,P., Zitnick, C. L., Snavely, N., Agarwala, A., Agrawala, M., Curless, B.,Cohen, M., and Kang, S. B. 2007. Using photographs to enhance videos of astatic scene. Rendering Techniques 2007, J. Kautz and S. Pattanaik, Eds. Eurographics, 327-338.
【非特許文献４】Ebrahimi,M. and Vrscay, E. R. 2007. Solving the inverse problem of image zooming usingself-examples. Proc. ICIAR 2007. Lecture Notes in Computer Science, vol. 4633.Springer, 117-130.
【非特許文献５】Farsiu,S., Robinson, M., Elad, M., and Milanfar, P. 2004. Fast and robust multi-framesuper resolution. Image Processing, IEEE Transactions on 13, 10 (Oct.),1327-1344.
【非特許文献６】Fattal,R. 2007. Image upsampling via imposed edge statistics. ACM Trans. Graph. 26, 3,95.
【非特許文献７】Freeman,W. T., Jones, T. R., and Pasztor, E. C. 2002. Example-based super- resolution.IEEE Comput. Graph. Appl. 22, 2 (March), 56-65.
【非特許文献８】Freeman,W. T., Pasztor, E. C, and Carmichael, O. T. 2000. Learning low-level vision.Int. J. Comput. Vision 40, 1 (October), 25-47.
【非特許文献９】Glasner,D., Bagon, S., and Irani, M. 2009. Super-resolution from a single image.ICCV09. 349-356.
【非特許文献１０】Li,X. and Orchard, M. T. 2001. New edge-directed interpolation. IEEE Trans. ImageProcessing 10, 10, 1521-1527.
【非特許文献１１】Lin,Z. and Shum, H.-Y. 2004. Fundamental limits of reconstruction-basedsuper-resolution algorithms under local translation. IEEE Trans. Pattern Anal.Mach. Intell. 26, 1, 83-97.
【非特許文献１２】Mallat,S. 1999. A Wavelet Tour of Signal Processing, Second Edition (Wavelet Analysis& Its Applications) . Academic Press.
【非特許文献１３】Polidori,E. and Dugelay, J.-L. 1995. Zooming using iterated function systems. In NATOASI on image coding and analysis, July 8-17,1995, Trondheim, Norway.
【非特許文献１４】Pollock,S. and Cascio, I. 2007.Non-dyadic wavelet analysis Optimisation, Econometric and Financial Analysis,167-203.
【非特許文献１５】Pratt,W. K. 2001. Digital Image Processing: PIKS Inside. John Wiley & Sons, Inc.,New York, NY, USA.
【非特許文献１６】Reusens,E. 1994. Overlapped adaptive partitioning for image coding based on the theoryof iterated functions systems. Acoustics, Speech, and Signal Processing, 1994.ICASSP-94., 1994 IEEE International Conference on. Vol. v. V/569-V/572 vol.5.
【非特許文献１７】Robert,M. G.-A., Denardo, R., Tenda, Y., AND Huang, T. S. 1997. Resolution enhancementof images using fractal coding. In Visual Communications and Image Processing'97. 1089-1100.
【非特許文献１８】Shan,Q., Li, Z., Jia, J., and Tang, C.-K. 2008. Fast image/video upsampling. ACMTrans. Graph. 27, 5, 1-7.
【非特許文献１９】Su,D. and Willis, P. 2004. Image interpolation by pixel-level at a dependenttriangulation. Computer Graphics Forum 23, 2, 189-202.
【非特許文献２０】Suetake,N., Sakano, M., and Uchino, E. 2008. Image super-resolution based on localself-similarity. Journal Optical Review 15, 1 (January) 26-30.
【非特許文献２１】Sun,J., Ning Zheng, N., Tao, H., and Yeung Shum, H. 2003. Image hallucination withprimal sketch priors. Proceedings of the IEEE Conference on Computer Vision andPattern Recognition (CVPR). 729-736.
【非特許文献２２】Sun,J., Xu, Z., and Shum, H.-Y. 2008. Image super-resolution using gradient profileprior. Computer Vision and Pattern Recognition, 2008. CVPR 2008. IEEEConference on. 1-8.
【非特許文献２３】Tappen,M. F., Russell, B. C, and Freeman, W. T. 2004. Efficient graphical models forprocessing images. Proc. CVPR 2004. 673-680.
【非特許文献２４】Thevenaz,P., Blu, T., and Unser, M. 2000. Image interpolation and resampling. Handbookof Medical Imaging, Processing and Analysis, I. Bankman, Ed. Academic Press, San Diego CA, USA, 393-420.
【非特許文献２５】Vrscay,E. R. 2002. From Fractal Image Compression to Fractal-Based Methods inMathematics. The IMA Volumes in Mathematics and Its Applications. Springer- Verlag, New York.
【非特許文献２６】Xiong,R., Xu, J., and Wu, F. 2006. A lifting-based wavelet transform supportingnon-dyadic spatial scalability. Image Processing, 2006 IEEE InternationalConference on. 1861-1864.
【発明の概要】
【課題を解決するための手段】
【００１３】
本発明は、幾つかの態様において、既存の例に基づく超解像度フレームワークを拡張する新たな高品質且つ効率的な単一画像のアップスケーリング技術を提案する。図１は、自然画像におけるローカルスケールの不変性について、本発明のアプローチを示し、小さなスケーリングファクタに応じてそれ自身非常に類似する。この特性は、自然画像におけるおローカルスケールの類似性を利用することで画像のアップスケーリングを示す、図１に示されるように直線及びコーナエッジのような様々な画像の特異性について保持される。ダウンスケーリングされたときのパッチ１０は、それらのトリミングされたバージョン１１１１に非常に類似する。この関係は、様々なタイプの特異性について保持する。本発明は、この考察を使用して、非特許文献４におけるEbrahimi及びVrscayのアプローチを更に１ステップ進め、入力画像における極端に局所的な領域で例えばパッチをサーチする。この局所的なサーチを例えばパッチを取得する他の代替と比較することで、計算時間とマッチングエラーの両者の観点で、優位に良好に実行することが示される。
【００１４】
スケール不変性の想定は、より大きな関連のより多くの例となるパッチが発見される場合、小さなスケーリングファクタについて良好に保持されることが分かる。従って、幾つかの実施の形態によれば、本発明は、所望の拡大サイズを達成するため、小さなスケーリングファクタの複数のアップスケーリングステップを実行する。本発明は、一般的なＮ＋１：Ｎアップサンプリング及びダウンサンプリング比について導出される専用の新たなフィルタバンクを使用して、これら非２項のスケーリング（non-dyadic scaling）を実現する。新たなフィルタは、アップサンプリングプロセスをモデル化するために使用される幾つかの原理に基づいて設計される。これらの原理の間で、欠けている高周波帯域が予測される前に、早い段階でアップサンプリングされた画像が入力画像と一致するように、フィルタがほぼ双直交となることが要件である。これは、例に基づく学習段階で必要とされる予測の量を低減することで入力データを良好に低減し、増加される視覚的な現実性につながる。これまで提案される方法は、逆投影式の大きなシステムを解くことで、この要件を達成し、本発明に係るフィルタバンクは、明示的且つ従って効率的な計算を介してこの整合性を達成する。
【００１５】
本発明によれは、複数の画素を有する入力画像から、増加されたピクセル解像度の出力画像を生成するコンピュータで実現される方法が提供される。本方法は、入力画像を第一のメモリに記憶するステップ、アップスケーリングされた画像におけるそれぞれの画素が入力画像における小数の画素にマッピングされるように、入力画像を２以外のファクタでアップスケーリングする（non-dyadically upscaling）ことで入力画像よりも多くの画素を有するアップスケーリングされた画像を生成するステップ、入力画像を低域通過フィルタリングすることで、平滑化された画像を生成するステップ、それぞれの画素値が、入力画像における対応する画素値と平滑化された画像における対応する画素値との間の差である高い詳細画像を生成するステップ、アップスケーリングされた画像におけるそれぞれの画素について、前記画素を小数の近傍の画素と共に含むパッチを識別するステップ、その位置がアップスケーリングされた画像におけるパッチのマッピングされた位置に近いところにある平滑化された画像におけるパッチをサーチすることで、平滑化された画像の局所的な領域において最良にフィットするパッチを発見するステップ、平滑化された画像の最良にフィットするパッチに対応する高い詳細の画像の等価なパッチにおいて対応する画素の画素値を一意的に加えることで、アップスケーリングされた画像の前記パッチにおけるそれぞれの画素を補正するステップ、及び、補正されたアップスケーリングされた画像を更なる処理のために第二のメモリに記憶するステップを含む。
【００１６】
本発明に係る方法は、高品質の解像度のエンハンスメントを生成することができ、アルゴリズムにおいて変更することなしにビデオ系列に同様に適用される場合がある。本発明に係る局所化されたサーチ及び明示的なフィルタ計算は、非常に効率的な実現を可能にし、低解像度ビデオを高精細フォーマットにエンハンスするとき、リアルタイムのGPUパフォーマンスを報告する。
【００１７】
高速アルゴリズムのおかげで、これまで提案されたアプローチと比較して画質を犠牲にすることなしに、リアルタイムでアップスケールされた出力画像を生成するために使用される。
【図面の簡単な説明】
【００１８】
本発明を理解し、本発明が実際にどのように実行されるかを見るため、以下の添付図面を参照して、限定するものではない例示的な実施の形態が説明される。
【図１】自然画像における局所的なスケールの類似性を利用することによる画像のアップスケーリングを示す図である。
【図２】本発明に係るアップスケーリングスキームを概念的に示す図である。
【図３】異なるスケーリングファクタで画像をアップサンプリングするときに、局所的なサーチにおけるエラーを示すグラフである。
【図４ａ】最終的な拡大率３を達成するために使用される、異なるスケーリングステップの間の比較を示す図である。
【図４ｂ】最終的な拡大率３を達成するために使用される、異なるスケーリングステップの間の比較を示す図である。
【図４ｃ】最終的な拡大率３を達成するために使用される、異なるスケーリングステップの間の比較を示す図である。
【図５】様々なサーチストラテジのエラー対時間コストを示すグラフである。
【図６】異なるサーチ技術を使用したファクタ３でアップスケーリングされる画像を比較する図である。
【図７ａ】グリッドの関係及びフィルタパラメータを示す図である。
【図７ｂ】グリッドの関係及びフィルタパラメータを示す図である。
【図８ａ】繰り返しによる画像を示す図である。
【図８ｂ】繰り返しによる画像を示す図である。
【図８ｃ】繰り返しによる画像を示す図である。
【図８ｄ】繰り返しによる画像を示す図である。
【図９】ａ−ｅは、ほぼ双直交フィルタと係る考慮なしに設計されたフィルタとの間の比較を示す図である。
【図１０】本発明の実施の形態に係る、実行される主要な処理の概念的な表現である。
【図１１】本発明に係るシステム３０の機能を示すブロック図である。
【発明を実施するための形態】
【００１９】
［アップスケーリングスキーム］
本発明により使用される基本的なアップスケーリングスキームは、非特許文献７，２１及び２４における以前に使用されたフレームワークに密接に関連する。しかし、使用されたコンポーネントの大部分を、以下に記載する新たな特定用途向けのコンポーネントに置き換える。第一の寄与は、使用するのを提案する例示的なパッチの代替的なソースである。以下、自然画像におけるリファインされたスケール類似性の特性を説明及び測定する。既存の方法により使用される類似性の想定は、画像にわたり、その複数のスケールで類似性を利用する。この想定はリファインされ、自然画像における様々な単一の特徴は小さなスケーリングファクタの下でそれら自身に類似することを観察する。この特性は、局所的な自己相似性（local self-similarity）と呼ばれ、入力画像における同じ相対的な座標の周りの非常に制限された近傍における関連する例示的なパッチをサーチ及び発見するのを可能にする。このアプローチは、グローバルな画像サーチ又は外部データベースにおけるサーチに比較して最も近いパッチの検索時間を大幅に低減する。
【００２０】
これは、複数のスケールで正確な繰り返しを含まない画像の大部分における明らかな視覚的な妥協なしに達成される。実験では、小さなファクタでスケーリングを適用するとき、入力画像における制限された相対的な近傍において非常に関連するパッチが発見されることが検証される。従って、このアプローチを効果的にするため、例示的なパッチに存在するデータ量及びその関連性を、小さな拡大率の複数のステップにおいて画像をスケーリングすることで最大にする。これは、第二の新たなコンポーネントである、新たな専用のノンダイアディックフィルタバンクを使用することで行われる。以下に記載される、これらのフィルタバンクは、２よりも小さいファクタでスケーリングを実行する補間演算υ及び平滑化演算Ｄが定義される。これらのフィルタバンクが達成する別の望ましい特性は、前の方法が行ったように逆投影の式を解くことなしに、明示的な計算を通しての入力画像との整合性である。
【００２１】
図２は、本発明に係るアップスケーリングを示す。アップサンプルされた画像１３からの低周波帯域のパッチ１２は、低域通過された入力画像１６における小さなウィンドウ１５内のその最も近いパッチ１２と整合する（矢印１４）。入力における整合されたパッチの上側周波数帯域１７は、出力のアップサンプリングされた画像における欠けている上側帯域において埋めるために使用される（矢印１８）。粗い画素のグリッドＧ0で定義される入力画像Ｉ0が与えられると、ＧlをＧi+1にマッピングする線形補間演算子υを使用して細かいグリッドＧ1に補間することで開始され、この場合、Ｇ1は、（1で成長する）スケーリングファクタにより増加する解像度をもつ矩形の画素グリッドである。この最初のアップサンプルされた画像Ｌ1＝υ(Ｉ0)は、スケーリングファクタに比例して、その上側周波数帯域の一部が欠けている。この欠けている帯域は、外部の例示的なデータベースに依存しないが、以下のような局所的な自己相似性を利用するノンパラメトリックなパッチに基づくモデルを使用して予測される。例となるパッチは、入力画像Ｌ0＝υ(Ｄ(Ｉ0))の平滑化されたバージョンから抽出され、この場合Ｄは、ＧlからＧl-1に画像をマッピングするダウンサンプリング演算子であり、専用のフィルタバンクにより定義される。高周波予測は、アップサンプルされた画像Ｌ1におけるそれぞれのパッチｐ⊂Ｇ1を、平滑化された入力Ｌ0におけるその最も類似のパッチｑ(ｐ)⊂Ｇ0はじめにマッチングする行われる。このサーチは、Ｌ0におけるそれぞれのパッチに対して実行されないが、Ｇ1における問合せパッチｐの中心座標と同じ相対的なＧ0における座標を中心とする制限された小さなウィンドウ（図２において１５でマークされる）に対して実行される。後に説明するように、これは、υ及びＤを設計するときに保証される、２つの画像がスペクトル的に互換性があることを必要とする。整合されたパッチでの入力画像における相補的な高周波コンテンツＨ0(ｑ)＝Ｉ0(ｑ)−Ｌ0(ｑ)は、このコンテンツをシンプルに分析することで、すなわちＩ1(ｐ)＝Ｌ1(ｐ)＋Ｈ0(ｑ(ｐ))、アップサンプルされた画像における欠けている高周波帯域を埋めるために使用される。近隣のパッチ間のオーバラップのため、異なる計算が互いに平均される。このスキームの詳細は、次のセクションで詳細に説明される。
【００２２】
本発明は、自然画像における自己相似性をリファインし、自然画像において一般に現れ、解像度のエンハンスメントを必要とするエッジような各種の特異点は、スケーリングの変換に不変であり、従って事例に基づいてそれら自身に類似することが示される。この特性を自己相似性と呼ぶ。これは、関連する例となるパッチが非常に制限されたパッチのセットで発見され、非常に類似したパッチが同じ相対的な座標の周りの局所的な領域でのダウンスケーリングされた（又は平滑化された）バージョンにおいて発見することができることを意味するからである。これは、強度において不連続性、すなわち画像におけるエッジを含むパッチの場合、不連続な一次導関数、すなわちファセット表面のシェーディングの場合である。これらの孤立された特異点は、例えば図１に示されるようなライン、コーナ、Ｔジャンクション、アーク等のような異なる幾何学的な形状で現れる。本発明は、この局所的な類似性を利用して、画素数に依存することから、極端の小さく且つ固定されるまで、最も近いパッチのサーチに係る作業を低減する。局所的な自己相似性が保持される程度に定量化し、その使用を他のパッチのサーチ方法と比較する幾つかの例が記載される。
【００２３】
第一の例では、局所的な自己相似性が様々なスケーリングファクタでどの位良好に保持されるかが定量化される。図３は、その平均強度によりそれぞれの色チャネルを正規化した後、ＲＧＢ色空間で計算される（画素値が０と１との間）、異なるスケーリングファクタで画像をアップサンプリングしたとき、局所的なサーチにおける問合せと検索されたパッチとの間の平均Ｌ1誤差を示す。問合せのパッチは、５×５画素のウィンドウでありＮ＋１：Ｎのスケーリングファクタについて２（Ｎ＋１）×２（Ｎ＋１）画素のウィンドウにおいてサーチが実行される。図におけるグラフは、スケーリング割合が大きくなるにつれてエラーが増加することを明らかに示す。これは以下のように説明される。大きなスケーリングファクタは、例となる画像を計算するとき、強い平滑化を含む。これは、大きなファクタにより入力画像をダウンスケーリングすることに等価である（及びダウンスケーリングにより実現される）。このプロセスでは、画像の特徴は、互いに近くなり、例となるパッチは、スケールの不変の想定に従う純粋に分離された特異点をもはや含まない。図４ａ〜図４ｃは、異なるスケーリングステップが最終的にアップスケールされた画像にどのように影響を及ぼすかを示す。使用されるスケーリングシーケンスは、（図４ａ）２：１，３：２、（図４ｂ）５：４，５：４，４：３，３：２及び（図４ｃ）５：４が５回繰返される。この場合２項である、大きなファクタにより生成されるアーチファクトが明らかである。これが与えられると、所望の最終的な拡大を達成するために小さなファクタの複数のスケーリングステップを実行することで画像がアップスケールされる。これら小さなノンディアディックスケーリングが本発明に係る専用のフィルタバンクを使用して実現される方法は、以下に記載される。
【００２４】
第二の例では、様々なアプローチにより検索されるパッチの品質を実行時間と同様に比較する。ここで、正規化されたＲＧＢ色空間において５×５画素のパッチが使用され、５：４のファクタによりアップスケーリングされた６つのテスト画像から推定される平均値が報告される。図５は、全体の入力画像における、１０×１０画素のウィンドウ内の局所的なサーチ、２０×２０画素のウィンドウ、及び正確な最も近いサーチ、並びに近似的な最も近い近傍のサーチを使用して得られた結果を示す。これらのテストは、５：４のスケーリングファクタで実行される、グラフの時間（time）軸は、対数スケールで示される。グラフは、提案される局所的なサーチがより正確であって、様々なエラー（error）の境界に設定されるｋｄに基づく近似的な最も近い近傍（nearest neighbor）のサーチアルゴリズムの使用よりもかなり高速であることを示す。全体の入力画像における、最も近いパッチを徹底的にサーチすることは、全体の入力画像において、局所的なサーチに比較して精度において有意なゲインを達成せず、２つの間で８０％の一致がある。確かに、これら２つのサーチストラテジ間の有意な視覚的な差が欠けていることは、図６ａ〜図６ｃにより裏付けられ、図６ａ〜図６ｃは、外部データベース（Ｅｘｔ. ＤＢ）における最も近いサーチ、全体の画像（ＮＮ）内の最も近いパッチ、及び局所的なサーチ（ＬＳＳ）を使用して、３のファクタによりアップスケールされる画像を示す。２（Ｎ＋１）×２（Ｎ＋１）よりも大きいウィンドウ内のサーチは、品質において重要なゲインを達成せず、計算するために４倍の長さを要する。
【００２５】
さらに、同数の全体の画素を含む別の非常に詳細な画像により改善される、非特許文献７においてFreeman等により使用される６つの画像から構成される外部データベースの使用がテストされた。より多くの例となるパッチを有すること及び正確な最も近い近傍のサーチの使用にもかかわらず、このオプションは、図６に示されるように、著しく高いエラーとなる。画像それ自身に比較して、このデータベースの低い関連のほかに、低周波帯域に基づいて計算される最も近いパッチは、曖昧になる場合がある。確かに、非特許文献７におけるFreeman等は、構築されている高周波成分に基づいてパッチを整合する。このソリューションは、パッチをサーチするときに空間依存関係を導入し、これは、局所性及び計算の分かりやすさを弱体化させる。
【００２６】
［従来技術のアプローチに対する改善］
本発明に係る例に基づく画像のアップスケーリングの使用により支持される局所的な自己相似性は、これまで提案されるアプローチを本発明と区別する。本発明のテストは、局所的なサーチ、この類似性は、全体の画像をサーチすることに比較して、ほとんど品質のコストなしに、有意なスピードアップを達成することを示す。しかし、非特許文献９におけるGlasner等は、全体の入力画像内且つスケールにわたるサーチにより、同じ特徴の異なる事例が発見されることを示す。図８ａ〜図８ｄは、係る繰り返しが発見及び利用される場合を示す。図８ａは、入力を示し、図８ｂ〜図８ｄは、選択された領域１９のそれぞれの入力画素、本発明の方法により生成される出力、非特許文献９におけるGlasner等の結果を示す。データにおけるこれらの繰り返しを発見するため、非特許文献９におけるGlasner等は、小さなノンディアディックファクタ及び小さな並進運動のオフセットにより異なる複数のスライスで全体のサーチを実行する。このアプローチは、最も近いパッチのサーチの試みを増加する一方、このタイプの繰り返しは、一般的な自然画像におけるエッジの大部分に沿って発見される局所的な自己相似性に比較して十分でない。さらに、Glasner等のアプローチでは、出力画像は、大きな線型方程式の逆投影システムと同様に、超解像度を解くことで計算される。以下に記載されるように、本発明は、局所的且つ明示的な計算からなるカスタムフィルタバンクを使用して、アップスケールされた画像を合成する。結局、本発明のアプローチは、例えばパッチをサーチするとき、及び出力画像を再構成するときの両者で、局所的に作用し、以下に記載されるように完全に並行な実現を可能にする。
【００２７】
［ノンダイアディックフィルタバンク］
上述されたテストからの主要な結論は、小さな局所的なパッチのサーチは、スケーリングファクタが小さい限り効果的である。従って、所望の拡大を達成するため、小さなファクタの複数のアップスケーリングステップが実行される。上述されたアップスケーリングスキームは、解析的な線形補間演算子υ及び平滑化演算子Ｄを使用して、例となるパッチを生成するために使用される、最初のアップサンプルされた画像及び平滑化された入力画像を計算する。これらの演算子の選択は、本発明にとって重大であり、画像のアップスケーリングプロセスをモデル化するために、これらのフィルタバンクにより幾つかの条件に従うべきである。ダイアディックイメージアップサンプリングは、画像の次元が２倍にされ、典型的に、２つの画素毎の間にゼロを加え、次いでフィルタリングステップにより、画像を補間することからなる。ダイアディックダウンサンプリングは、はじめに画像をフィルタリングし、次いで、１つおきに画素をサブサンプリングすることからなる。ダウンスケーリング演算は、前方ウェーブレット変換における粗いレベルの近似的な係数の計算と同じであり、アップスケーリングは、任意の詳細（ウェーブレット）成分を加えることなしに適用される、逆ウェーブレット変換に対応する。実際に、非特許文献１２におけるMallatにより開示されるようなウェーブレット理論は、係るスケーリングスキーム及びフィルタバンクの設計及び解析と主に関連する。この膨大な文献は、２値変換（dyadic transformation）を計算するため、本実施の形態で説明しようとしている要件の全部又は大部分に従う、数え切れない数のフィルタバンクを提供する。しかし、スケーリングファクタが２以外であるノンダイアデック（non-dyadic）の場合について実に少なく、この場合、非特許文献２７におけるXiong等は、画像符号化について３：２スケーリングを計算するためにリフティングスキームを使用する。それらの構築は、線形関数をそれが含む同じ値にマッピングする一方、２つおきに値をスキップする。従って、以下に説明するように、本出願にとって非常に重要である一次の多項式を再構築しない。非特許文献１４におけるPollock等は、無限であって、従って本発明のニーズに適合しない直交対称シャノンライクなウェーブレットを記載している。非特許文献１２におけるウェーブレットパケット解析は、スペクトルのタイリングツリーを一般化し、一般的なダイアディックな空間設定において概して実現される。ここで、ウェーブレット変換のダイアディックスケーリングをＮ＋１：Ｎのスケーリングファクタに拡張する形式が導出される。図７ａ及び図７ｂは、Ｎ＝２及びＮ＝４の場合について説明する。図７ａは、５：４の割合において細かいグリッド（上）に対して配置される粗いグリッド（下）を示す。細かいグリッド上の非ゼロの係数の配置は、赤で示されており、モノクロでグレイの密度の濃い影として現れる。図７ｂは、３：２スケーリングファクタにおいて２つのフィルタのプロファイルを例示する。図示されるように、粗いＧlグリッドポイントと細かいＧl+1グリッドポイントの相対的な配置は、Ｎの周期を有する、ダイアディックのケースの他に、Ｎ＝１、フィルタが厳密に並進不変となることを期待する理��はなく、粗い（又は細かい）グリッドでサンプリングされた同じ関数に、あるグリッドでサンプリングされたリニアランプ関数がマッピングされ、フィルタの重みは、（図で見られる）グリッド間の異なる相対的なオフセットに適応する必要があり、従ってＮ個のフィルタのそれぞれの周期内で異なる。従って、更なる空間的依存性なしに、Ｎ＋１：Ｎ変換は、Ｎ＋１グリッドポイントの周期に不変の変換であるフィルタリングから構成され、従って、不規則なグリッド関係に対処するため、Ｎ個の個別のフィルタが必要とされる。実際に、これは、ダウンスケーリング演算子が、Ｇl+1で実行されるＮ個の標準的な並進不変フィルタリング演算を使用し、続いて、Ｇlにおいて全体でＮ個の値を生成するため、Ｎ＋１個の画素毎にそれぞれフィルタリングされた画像をサブサンプリングすることで計算されることを示す。形式的に、これは以下の式により与えられる。
【００２８】
【数１】
2013518336.tif 000003
ここでｐ＝Ｎ ｍｏｄ Ｎ，ｑ＝（Ｎ−ｐ）／Ｎであり、フィルタｄ1，．．．，ｄNは、Ｎ個の個別の平滑化フィルタであり、フィルタのミラーリングは、
［外１］
2013518336.tif 000004
により与えられ、*は離散畳込みを示す。ダイアディックケースのアナログの拡張は、アップサンプリングステップに適用され、Ｎの周期内のそれぞれのサンプルは、異なるアップサンプリングフィルタｕ1，．．．，ｕNをでフィルタリングされる。これらのフィルタリングされた画像は、以下のように要約される。
【００２９】
【数２】
2013518336.tif 000005
ここでゼロサンプリング演算子は、（↑Ｉ）［（Ｎ+１）ｎ］＝Ｉ［ｎ］及びさもなければゼロである。
【００３０】
マッピング及びその逆を構成するフィルタは、非特許文献１２における双直交フィルタとして知られる。本発明の導出において、この関係は、最初にアップサンプルし、次いでダウンサンプルする場合に必要とされ、すなわち以下に示される。
【００３１】
【数３】
2013518336.tif 000006
逆の順序において演算を適用することは、恒等写像を得ることが期待することができない。これは、Ｇl及びＧl+1は、異なる空間次元からなるためである。形式的に、演算子間の関係（３）は、それぞれ整数ｋ及び１≦ｉ，ｊ≦Ｎについて、以下の関係によりフィルタの観点で表現することができる。
【００３２】
【数４】
2013518336.tif 000007
ここで＜・,・＞はドット積であり、ｋ＝０のときにδk＝１であり、さもなければゼロである。ダウンサンプリングに応じて入力に一致するアップサンプリングされた画像を生成する重要性は、以下の説明から明らかとなるであろう。
【００３３】
並進不変が欠けていること、又はＮ＋１グリッドポイントの周期における並進不変は、本発明のアルゴリズムの高周波予測ステップについて低周波及び高周波の例となるパッチを生成するとき、ちょっとした手違いを導入する。互いに異なるため、Ｎ個の異なるフィルタは、同じ入力信号に異なって応答する。従って、それらの出力は、パッチを比較及び分析するときに高域通過予測ステップにおいて混合されてはならない。これを回避するため、例えば、同じフィルタ応答が常に互いに調節されるように、Ｎ＋１個の画素のオフセットにおいてサーチする。次いで、それぞれの軸に沿って１，．．．，Ｎ＋１により入力画像Ｉ0をオフセットすることで生成される複数の例となる画像Ｌ0＝υ(Ｄ(Ｉ0))を作成することで例となるパッチの数における減少が補償される。従って、結果として、まるで単一の画素のオフセットにおいてサーチされ、フィルタリングされた値が混合されな以下のように、例となるパッチの数は同じままである。
【００３４】
［ウェーブレット基底への接続］
この導出は、アップサンプリングフィルタｕiにより及ぶ空間の補足である細かな空間Ｇl+1の高周波サブスペースに通常及ぶ、高域通過ウェーブレットフィルタを含まない。理由は、高域通過ウェーブレットフィルタをアップサンプリングスキームにおいて使用しないこと、高域通過予測ステップは、（画素値を得るためにウェーブレットフィルタを増やす）詳細の係数ではなく、画素値を、高域通過レイヤをダイレクトに埋めることにある。画素の解像度における仕組みは、ウェーブレットフィルタが導入する空間解像度の損失を回避し、パッチに基づく合成における良好な品質の結果につながる。
【００３５】
しかし、補足の高周波ウェーブレット空間に高周波レイヤの合成を制限することなしに、低周波の近似レイヤは、このステップにより影響され、すなわち、アップサンプルされた画像は、ｕiにより広がる。従って、入力との整合性が弱まる。しかし、本発明のテストは、予測される高周波レイヤは、ダウンサンプリングに応じて知覚できない影響を有し、入力から合成された画像の強度を約１％だけ外れる。
【００３６】
［フィルタ設計］
ここで、画像のアップスケーリングプロセスがモデル化されるように、アップサンプリング及びダウンサンプリングフィルタを設計するために従う指針が記載される。  
（Ｃ１）一様スケーリング：画像をアップスケーリング及びダウンスケーリングするとき、結果として得られる画像が類似の変換である、空間的に一様なスケーリングの変換より異なることが望まれる。係る変換は、２つのポイント毎の間の距離が固定されたファクタだけ変え、画像グリッドの間のスケーリングファクタを変える。この特性は、線形関数の助けによりアップサンプリング及びダウンサンプリングの演算に課される。線形関数は、固定された距離ｄｘの点間の固定された差Ｉ(ｘ＋ｄｘ)−Ｉ(ｘ)を示す。従って、線形関数の形状を保持する、すなわちＧlで定義される線形関数をＧl+1で定義される線形関数にマッピングし、逆にＧl+1で定義される線形関数をＧlで定義される線形関数にマッピングする演算子が必要とされる。線形関数を正確に再現するこの条件は、非特許文献１２におけるウェーブレット設計において一般に使用される、バニッシングモーメント条件の対応する条件である。
【００３７】
（Ｃ２）低周波スパン：カメラは、ぼけアンチエリアシングフィルタを含むのと同様に、有限点拡がり関数を有する。これは、センサのサンプリングレートに従って、サンプリング理論を近似的に満たすように、信号（シーン）の帯域幅を制限するために使用される。これは、Ｄ及びυに関連がある。従って、ダウンサンプリング演算子Ｄは、Ｇl+1での信号をサンプリングする前に必要とされる、ぼけの領域における差をモデル化し、Ｇlの低いサンプリングレートについて、強いボケが必要とされる。これは、非特許文献１５における、低周波帯域を伝達する低域通過フィルタとなるように、Ｄを設計する一般的な方法の背後にある。この周波数帯域の長さは、本発明の場合においてスケーリング割合Ｎ／（Ｎ＋１）に大まかに比例する。
【００３８】
類似の条件は、補間演算子υに適用される。以下に説明されるように、カメラフィルタリングは、入力画像の低いサンプリングレートに従って信号のスペクトルを制限する。最初のアップサンプルされた画像Ｌ1は、より高いサンプリングレートでレンダリングされる、このデータを含むべきである。従って、υの再生カーネルは、スペクトルの低いＮ／（Ｎ＋１）帯域に広がるこの低周波サブスペースに及ぶ必要がある。
【００３９】
（Ｃ３）特異点の保存：上述された、欠けている高い周波数帯域の予測、特異点の適切な再構築は、最初のアップサンプリングされた画像からのパッチを、入力の平滑化されたバージョンにおけるパッチと適切に整合することに依存する。正確な整合を得るため、平滑化された画像Ｌ0＝υ(Ｄ(Ｉ0))及び最初のアップサンプルされた画像Ｌ1＝Ｕ(Ｄ(Ｉ0))における特異点は、類似の形状を有する必要がある。これは、実際に、アップサンプリング演算子υではなく、ダウンサンプリング演算子Ｄに対する条件を課す。これは、Ｌ0及びＬ1はυにより構築され、２つの間の差がυに対して寄与することができないことを意味する。実際に、これは、Ｉ-1を生成するとき、Ｉ0において現れる、ダウンサンプリング演算子Ｄがエッジのような特異点の形状を保持する場合に満たされる。
【００４０】
（Ｃ４）一貫性及び最適な再現：非特許文献２４，６及び１９における既存のアプローチの幾つかは、最終的なアップサンプルされた画像が、入力解像度に低減される場合に、入力画像と同一である必要があるという意味において、入力画像と一致するべきである。これは、初期段階での場合であるべきであり、最初のアップサンプルされた画像Ｌ1は、密度が高いグリッドで保持される、同じ情報を含むとき、入力、すなわちＤ(Ｌ1)＝Ｉ0と既に一致するはずである。しかし、Ｌ1＝υ(Ｉ0)であるので、この条件は、Ｄ(υ(Ｉ0))＝Ｉ0となり、すなわち式（３）で定義される逆の関係である。言い換えれば、アップサンプリング及びダウンサンプリングオペレータを定義するフィルタは、双直交条件（４）に従う必要がある。
【００４１】
この特性を達成することは、予測ステップが、さもなければ生じるデータの損失（弱体化）を取り消すことが要求されない。原画素のこの最適な使用の重要性は、図９ａ〜図９ｅで示されており、入力画像は、図９ａに示される。図９ｂ及び図９ｃは、入力解像度、すなわちＤ(υ(Ｉ0))にダウンサンプルされた後に、高周波予測ステップを実行することなしに、最初のアップサンプルされた画像を示す。図９ｄ及び図９ｅは、本発明に係るアップスケーリングスキームの出力を示す。目立ったエッジは、両ケースにおいて良好に再現されるが、双直交性が欠けていることは、画像を非現実的にする画像における細かな詳細の損失につながる。上述された既存の方法は、線形ソルバを使用するか、又は非線形の反復スキームを通して、Ｄ(Ｉ1)＝Ｉ0を解くことで、出力画像Ｉ1を通してこの関係を暗黙的に強制する。フィルタバンクがほぼ双直交であるようにフィルタバンクを設計することで、明示的且つ従って効率が高い計算を通して、Ｌ1に対するこの条件を近似する。最終的な画像Ｉ1は、前のセクションで説明された、不正確な双直交性及び高周波予測ステップの影響のため、Ｉ0と正確に一致しない。しかし、Ｉ0からＤ(Ｉ1)の全体のずれは、画素強度値において約２％であることをテストは示し、これは視覚的に知覚できない。
【００４２】
付録では、これらの条件を使用して、新たなノンダイアディックフィルタバンクをどのように定義するかが説明される。これは、２つの主要な困難に対処することを必要とする。第一は、「シンプルな」低周波及び高周波の例となる画像を達成するため、小数の非ゼロの係数からなる、コンパクトフィルタを定義する必要がある事実から生じる。大きなサポートを持つフィルタは、異なる近隣のエッジに応答して干渉に苦しむ。これは、それらのスケールの不変性にとって本質的な特異点間の分離を弱らせる。他方で、小数の自由度により、先に列挙した全ての設計の条件に完全に従うことができない。全ての設計の条件は、厳格な制約として扱うのではなく、最適化問題における方針に対する要件の幾つかを緩和するものとして扱う。第二の困難は、双直交の条件（４）の非線形性から生じる。これらの式は、同時に全ての未知のフィルタ係数を解く又は最適化するため、フィルタの設計を困難にする。これは、双直交条件（４）を抜きにして、ダウンサンプリングフィルタｄiをはじめに計算し、次いで所与のｄiについてｕiを計算することで克服される。
【００４３】
表１において、付録で、このフレームワークを使用して得られた最適なフィルタであって、全ての結果を生成するために使用された最適なフィルタが提供される。
【００４４】
［結果］
本発明の方法は、C++で実現され、Intel Core 2 Quad CPU 2.8GHzマシンで実行される。斬新的に大きいスケーリング割合を以下の理由のために使用してアップスケーリングが実行される。画像のサイズが増加するときに、近傍の特異点がより分離され、先に説明された、画像の特異点のスケール不変の特性を弱体化することなしに、より強い平滑化を使用することが可能である。この考察を念頭において、本発明のフィルタがサポートする小さなファクタを使用して、所望の拡大係数、すなわち５：４，５：４，４：３を近似する。例えば、拡大率３を達成するため、５：４，５：４，４：３及び３：２が使用され、拡大率４について、５：４，５：４，４：３，４：３及び３：２が使用される。次いで、所望の拡大率を正確に整合させるため、簡単なバイキュービックダウンサンプリングが使用される。このスキームはYCbCr色空間で実現され、この場合、Yチャネルにのみ高周波が加えられる。これにより、RGB色空間を使用することに比較して、約３倍のスピードアップが可能となる。テストされたスケーリングファクタについて品質の低下が観察されない。
【００４５】
単一コアで実行するときに、それぞれの軸に沿って４倍だけ200×200の画像をアップスケールするために４秒を要する。本方法は、自明に並列である。これは、画像における異なる領域が本方法の明示的な計算において離れないためであり、実行時間がコアの数により更に割ることができるという意味を含む。本発明のアルゴリズムのこの並列な特性を利用し、アルゴリズムにおける変更なしに、Cuda 3.0を使用してNvidiaTM GefroceTM 480GTX GPUで実現される。この実現により、（表示時間を含めて）23.9FPSで640×360〜1920×1080（３倍）でビデオをアップスケールするのを可能にする。スケーリングステップ４：３，３：２及び３：２が使用される。
【００４６】
本発明のアップスケールされた画像の品質と、優れた商業製品Genuine FractalsTMと同様に、現在の最新の方法により生成された結果とが比較される。非特許文献９におけるGlasner等の方法は、本方法は再構築するよりも幾分鮮鋭であるエッジを再構築するが、少量のリンギング及びジャギーを生成する。本方法は、パッチをサーチするとき、かなり少ない計算を実行し、大きな線形システムを解くことを回避し、従って単一コアの実現においてさえ、一桁を超えて高速に実行する。例に基づく方法であるにも係らず、実行時間は、非特許文献６，１８及び２２における解析モデルを使用する方法について報告される時間よりも短い。
【００４７】
ビデオアップスケーリング：ビデオ系列の解像度を拡大するために更なる変更なしに、本発明のアップスケーリング方法が使用される。非特許文献１８におけるShan等による方法と同様に、連続するフレーム間でフリッカのアーチファクトが観察されない。Shan等が説明するように、一致の条件Ｃ４は、安定な出力のための役割を果たすことが観察される。捕捉のマテリアルにおいて、本方法はそれらに比較され、高品質の結果が得られる。本方法の実行時間は、ＣＰＵ及びＧＰＵ実現の両者において低い。
【００４８】
図１０は、増加された画素解像度の出力画像２１を、複数の画素を有する入力画像２０から生成するための、本発明に係る方法により実行される動作を説明する。本方法は、メモリに入力画像を記憶することを含む。アップスケールされた画像におけるそれぞれの画素が入力画像における小数の画素にマッピングされるように、入力画像２０をノンダイアディックにアップスケールすることで、入力画像よりも多くの画素を有するアップスケールされた画像２２が生成される。入力画像２０を低域通過フィルタリングすることで、平滑化された画像２３が生成され、高い詳細の画像２４が生成され、それぞれの画素値２０は、入力画像２０における対応する画素値と、平滑化された画像２３における対応する画素値との間の差である。
【００４９】
アップサンプルされた画像２２におけるそれぞれの画素について、画素を小数の隣接する画素と共に含むパッチ２５が識別される。その位置がアップスケールされた画像２２におけるパッチのマッピングされた位置に近いところにある平滑化された画像２３におけるパッチをサーチすることで、平滑化された画像の局所的な領域２７において、ベストヒットパッチ２６が発見される。アップスケールされた画像２２のパッチ２５におけるそれぞれの画素は、平滑化された画像２３におけるベストフィットパッチ２６に対応する高い詳細の画像２４の等価なパッチにおいてそれぞれの画素２８の値を加えることで補正される。
【００５０】
ひとたびこれが行われると、連続する画素が処理され、それぞれの画素について、異なるパッチが定義される。典型的に、それぞれの画素は、異なるサイズのパッチも実施可能であるが、５×５画素を含むパッチの中央にある。このように連続する画素が処理されるとき、それぞれの画素に対応する定義された連続するオーバラップするパッチが存在する。平滑化された画像２３のベストフィットパッチに対応する高い詳細の画像２４の等価なパッチにおける対応する画素の画素値は、一度だけ出力画像２１に加えられる必要があることを理解されたい。これは、２つのパスのアプローチにおいて本方法を実行することで実際に行われ、この場合、第一のパスでは、ベストフィットパッチが識別され、出力画像に加えられる必要がある画素値が決定される。第二のパスでは、計算された画素値は、出力画像に加えられる。代替的なアプローチでは、ひとたび画素値が出力画像に加えられると、その画素のアドレスはロックされ、その後のパッチについて加えられる高い詳細の値が防止される。更に別のアプローチでは、パッチの数に基づいた平均値がそれぞれの繰返しで加えられるように、ベストフィットパッチに関連する画素値は、出力画像に加えられる前に正規化される。
【００５１】
現在の画素に対応する最良の高い詳細のコンテンツは、アップスケールされた画像に即座に書き込むことができないことが理解される。これは、即座に書き込むことで、次の画素について必要とされる最良の例をサーチするために抽出される次のパッチを変えるためである。結果的に、アップスケールされた画像に加えられる高い詳細の画素データは、（高い詳細のバッファにおいて）何処かに記憶され、完全な画像又はサブ画像が処理されたときにのみ、出力画像を生成するためにアップスケールされた画像に加えられる。
【００５２】
さらに、高い詳細の画素データは、ここで説明されたように、アップスケールされた画像に加えられる前に正規化される。パッチは複数の画素を含むので、連続するパッチは、同じ画素のうちの幾つかをそれぞれ含む。簡単な例を経て、それぞれのパッチが５×５画素を含む場合、それぞれの連続するパッチは１画素だけ水平方向にパッチを移動することで導出され、それぞれの連続するパッチは、前のパッチにおける５つの画素を失い、前のパッチになかった５つの新たな画素を得る。しかし、残りの１５の画素は、両方のパッチにある。１を超えるパッチに共通する画素に関連する高い詳細のデータは、アップスケールされた画像に一度だけ書き込まれる必要がある。従って、出力画像を提供するために高い詳細のデータをアップスケールされた画像に加える前に、高い詳細のバッファにおけるそれぞれの画素を、書き込まれる値の数により正規化（除算）する。
【００５３】
アップスケールされた画像を生成することは、原画像の値をアップスケールされた画像及びその後のフィルタリングにコピーすることを含む。入力画像は、入力画像からＮ個のアップスケールされた画像を作成し、入力画像における連続する画素をＮ個のアップスケールされた画像のうちの連続する１つにコピーし、連続するコピーされた画素間のＭ個の画素のギャップを残すことで、Ｎ：Ｍにノンダイアディックにスケーリングされる。Ｎ個の画像のそれぞれは、個別のフィルタによりフィルタリングされ、Ｎ個の画像は、複合画像を生成するために加えられる。
【００５４】
幾つかの実施の形態によれば、アップスケーリングのために使用されるＮ個の個別のフィルタは、ソースの全ての画素値が同じである場合に、アップスケールされた画像の画素値も同じであるように、一定の画像を正確に再構成するために調整される。
【００５５】
幾つかの実施の形態によれば、アップスケーリングのために使用されるＮ個の個別のフィルタは、線形画像関数を正確に再構築するために調節される。
【００５６】
入力画像は、Ｎ個の異なるフィルタのそれぞれから、双直交のＮ個のフィルタの第二のセットを生成し、平滑化のために使用される異なるフィルタの別のセットを生成するように、Ｎ個のフィルタのそれぞれのセットにおいて対応するフィルタを結合することで平滑化される。
【００５７】
コンピュータリソースが制限されているか又は高い処理速度が要求される場合、入力画像は、複数のサブ画像に分割され、本方法は、それぞれのサブ画像に関して独立に実行される。処理速度は、サブ画像を同時に処理することで増加される。
【００５８】
図１１は、本発明に係るシステム３０の機能を示すブロック図であり、システムは、入力画像（図１０における２０）を表す画素データを記憶する第一のメモリ３１を有する。典型的に、画像は、カメラ３２により捕捉され、カメラは、カメラ画像がリアルタイムで処理されるように、第一のメモリに結合される。リアルタイム処理は、改善されるアルゴリズムのために本発明によりおそらくレンダリングされ、改善されるアルゴリズムは、高い詳細が平滑化された画像の非常に小さな局所的な領域においてのみサーチを行うことで高い詳細が発見される事実により、非常に高速な画像処理が可能となる。平滑化された画像とアップサンプルされた画像におけるそれぞれの画素が入力画像のそれぞれの画素にマッピングされるように、平滑化された画像とアップサンプルされた画像の両者は入力画像から導出されるので、アップスケールされた画像におけるパッチの位置は、ベストフィットパッチを発見するために平滑化された画像における小さな領域にマッピングすることができる。これは、完全な画像を処理する必要を回避し、非常に迅速に高い詳細が発見されるのを可能にする。ノンダイアディックアップサンプリングモジュール３３は、入力画像をノンダイアディックにアップスケールすることで、アップスケールされた画像におけるそれぞれの画素が入力画像における小数の画素にマッピングされるように、入力画像よりも多くの画素を有するアップスケールされた画像（図１０における２２）を生成するために第一のメモリ３１に結合される。第一のバッファ３４は、アップスケールされた画像を表す画素データを記憶するためにノンダイアディックアップサンプリングモジュール３３に結合される。
【００５９】
低域通過フィルタ３５は、第一のメモリ３５に結合され、入力画像を低域通過フィルタリングすることで平滑化された画像を生成し、第一のバッファ３６は、平滑化された画像を表す画素データを記憶する低域通過フィルタ３５に結合される。減算モジュール３７は、第一のメモリ３１及び第二のバッファ３６に結合され、それぞれの画素値が入力画像における対応する画素値と平滑化された画像における対応する画素値との間の差である、高い詳細の画像（図１０における２４）を生成する。第三のバッファ３８は、減算モジュール３７に結合され、高い詳細の画像を表す画素データを記憶する。
【００６０】
パッチ割り当てモジュール３９は、第一のバッファに結合され、それぞれのパッチがアップスケールされた画像におけるそれぞれの画素を小数の隣接する画素と共に含む、連続するパッチを識別するために調整される。ベストフィットパッチモジュール４０は、パッチ割り当てモジュール３９及び第一のバッファ３６に結合され、その位置が、それぞれのパッチと最良に整合するベストフィットパッチを探すように、アップスケールされた画像におけるそれぞれ連続するパッチのマッピングされた位置の近いところにある、平滑化された画像の局所的な領域をサーチする。補正モジュール４１は、ベストフィットパッチモジュール４０及び第三のバッファ３８に結合され、平滑化された画像のベストフィットパッチに対応する高い詳細の画像の等価なパッチにおける対応する画素の画素値を一意的に加えることで、アップスケールされた画像のパッチにおけるそれぞれの画素を補正する。第二のメモリ４２は、補正モジュールに結合され、更なる処理のため又は第二のメモリに結合されるディスプレイデバイス４３による表示のためにアップスケールされた画像の補正された画素を記憶する。
【００６１】
本発明に係るシステムは適切にプログラムされたコンピュータである場合があることを理解されたい。同様に、本発明は、本発明の方法を実行するコンピュータにより読取り可能であるコンピュータプログラムを想定している。さらに、本発明は、本発明の方法を実行するマシンにより実行可能な命令のプログラムを有形に実施するマシン読取り可能なメモリを想定する。
【００６２】
［付録］
先に記載されたように、本発明は、最初のアップスケールされた画像を作成するために使用されるアップスケーリング演算子υ及び入力画像を平滑化するためにアップスケーリング演算子と共に使用されるダウンスケーリング演算子Ｄという、２つの演算子を使用する。これらの演算子のそれぞれは、それ自身のフィルタのセットにより定義される。ここで、サブの表題である「フィルタ設計」の下で上述された原理Ｃ１−Ｃ４に基づいて、これらのフィルタをどのように設計するかが説明される。ここで説明されるように、これらのフィルタのサポートは、フィルタの応答を異なる画像の特徴に混合することを回避するため、できるだけコンパクトに維持する。設計の原理は、フィルタに割り当てようとしている非ゼロの係数の数よりも多くの条件を課す。従って、これらの条件に完全に従わず、厳しい制約としてこれらを扱うのではなく、最適化問題における基本方針に対する要件の幾つかが緩和される。さらに、双直交条件Ｃ４は、υとＤのフィルタ間の非線形の関係を形成し、それらの計算を困難な問題にする。この非線形性は、フィルタの設計を以下のように２つの線形のサブ問題に分割することで克服する。ダウンスケーリング演算子Ｄは、物理的な画像の取得プロセスをモデル化し、従ってυとは独立にはじめに計算することができる。アップサンプリングフィルタは、第二のステップで計算され、他の特性と同様に双直交性が保証される。
【００６３】
画像の取得プロセスを正しくモデル化するため、ダウンスケーリング演算子Ｄは、空間的に一様なスケーリングを実行する。Ｃ１で説明されるように、これは、線形関数を通して必要とされ、ダウンスケーリング演算子は、Ｇl+1を通して定義される線形関数を、Ｇlを通して定義される線形関数にマッピングする。従って、Ｌ(ｘ’)＝ｘ’／αが定義され、この場合ｘ’∈Ｇl+1であり、αはスケーリングファクタ（Ｎ＋１）／Ｎであり、
【数５】
2013518336.tif 000008
を必要とする。
【００６４】
この要件に加えて、特異点をモデル化する関数ｆが２つのスケール間で正しくマッピングされることを保証することで、Ｄは特異点の保存の原理Ｃ３に従う必要がある。これは、以下のように、ダウンサンプルされたｆと解析的にスケーリングされたｆとの間の距離を最小にすることで実現される。
【００６５】
【数６】
2013518336.tif 000009
特異点をモデル化するためにガウス分布
［外２］
2013518336.tif 000010
を使用して、それをサブピクセルのオフセットμだけシフトし、それをデータが到来する全てのオフセット及びスケールを考慮するためにσに等しい量だけ伸張する。Ｍは正規化因子である、合計された項の数に等しい。さらに、ＤがＣ２に従って低周波に拡がることが必要とされ、これは以下の基本方針により達成される。
【００６６】
【数７】
2013518336.tif 000011
この場合Ｄは離散微分演算子である。これは、ラプラシアン行列の固有値である、フーリエ領域においてパワースペクトル
［外３］
2013518336.tif 000012
を最小にすることに等価である。結局、以下の制約された最適化問題が得られる。
【００６７】
【数８】
2013518336.tif 000013
ここでαDは、２つの基本方針を優先付けするために使用される。ラグランジュ乗数ルールを適用することで、ｄiを得るために解く式の小さな線形システムが得られる。
【００６８】
計算されたダウンスケーリングフィルタｄiが与えられると、類似のやり方でアップサンプリングフィルタｕiを計算することができる。ここでの主要な違いは、双直交条件Ｃ４について最適化され、特異点の保持の基本方針の項を除くことである。双直交条件は、式（３）を以下の基本方針に緩和することで達成される。
【００６９】
【数９】
2013518336.tif 000014
ここでｋは隣接したｄiがｕiにオーバラップするインデックスにわたり、Ｍ’は、合計された項の数に等しい正規化定数である。この項は、対応するダウンサンプリングフィルタとアップサンプリングフィルタとの間の１のドット積を促進し、さもなければ０である。
【００７０】
ｄiの計算におけるように、Ｃ２に従ってｕiが低周波に拡がることが必要であり、これは類似の項により達成される。
【００７１】
【数１０】
2013518336.tif 000015
一様なスケーリング制約Ｃ１を受ける両方の基本方針が最適化され、一様なスケーリングの制約は、この場合、以下に示される。
【００７２】
【数１１】
2013518336.tif 000016
この場合(Ｌ’(ｘ’))(ｘ)＝αｘ’である。最後に、ｕiについて結果として得られる最適化問題は、以下に示される。
【００７３】
【数１２】
2013518336.tif 000017
αυは、２つの基本方針を優先付けするために使用される。
【００７４】
表１では、これらの計算を使用して構築されるフィルタが提供される。太字における係数は、フィルタの中央に対応する。
【００７５】
【表１】
2013518336.tif 000018
【図１】
2013518336.tif 000019
【図２】
2013518336.tif 000020
【図３】
2013518336.tif 000021
【図４ａ−４ｃ】
2013518336.tif 000022
【図５】
2013518336.tif 000023
【図６ａ−６ｃ】
2013518336.tif 000024
【図７ａ】
2013518336.tif 000025
【図７ｂ】
2013518336.tif 000026
【図８ａ】
2013518336.tif 000027
【図８ｂ】
2013518336.tif 000028
【図８ｃ】
2013518336.tif 000029
【図８ｄ】
2013518336.tif 000030
【図９】
2013518336.tif 000031
【図１０】
2013518336.tif 000032
【図１１】
2013518336.tif 000033
【国際調査報告】
2013518336.tif 000034
2013518336.tif 000035
2013518336.tif 000036