"複数の画素を有する入力画像から、増加された画素の解像度の出力画像を生成するコンピュータで実行される方法であって、前記入力画像を第一のメモリに記憶するステップと、アップスケールされた画像におけるそれぞれの画素が前記入力画像における小数の画素にマッピングされるように、前記入力画像を2以外のファクタでアップスケールすることで、前記入力画像よりも多くの画素を有するアップスケールされた画像を生成するステップと、前記入力画像に低域通過フィルタリングを施すことで平滑化された画像を生成するステップと、それぞれの画素値が前記入力画像における対応する画素値と前記平滑化された画像における対応する画素値との間の差である高い詳細の画像を生成するステップと、前記アップスケールされた画像におけるそれぞれの画素について、前記画素を小数の隣接する画素と共に含むパッチを識別するステップと、その位置が前記アップスケールされた画像におけるパッチのマッピングされた位置の近くにある前記平滑化された画像におけるパッチをサーチすることで、前記平滑化された画像の局所的な領域におけるベストフィットパッチを発見するステップと、前記平滑化された画像のベストフィットパッチに対応する前記高い詳細の画像の等価なパッチにおける対応する画素の画素値を一意的に加えることで、前記アップサンプルされた画像の前記パッチにおけるそれぞれの画素を補正するステップと、補正されたアップスケールされた画像を第二のメモリに更なる処理のために記憶するステップと、を含むことを特徴とする方法。[ノンダイアディックアップスケーリングモジュールが]前記アップスケールされた画像を生成するステップは、原画像の値をアップスケールされた画像にコピーし、その後にフィルタリングすることを含む、請求項1記載の方法。2以外のファクタでN:Mにスケーリングするステップは、前記入力画像からN個のアップスケールされた画像を作成するステップと、前記入力画像における連続する画素を前記N個のアップスケールされた画像の連続する1つにコピーし、連続するコピーされた画素間のM個の画素のギャップを残すステップと、異なるフィルタで前記N個の画像のそれぞれをフィルタリングするステップと、前記N個の画像を加えて複合画像を生成するステップと、を含む請求項1記載の方法。アップスケーリングのために使用される前記N個の異なるフィルタは、一定の画像を正確に再構築するために適合される、請求項3記載の方法。アップスケーリングのために使用される前記N個の異なるフィルタは、線形の画像の関数を正確に再構築するために適合される、請求項3記載の方法。平滑化は、前記N個の異なるフィルタのそれぞれから、第二のセットの双直交のN個のフィルタを生成するステップと、平滑化のために使用される異なるフィルタの別のセットを生成するように、N個のフィルタのそれぞれのセットにおいて対応するフィルタを結合するステップとを含む、請求項3乃至5の何れか記載の方法。前記出力画像は、リアルタイムで生成される、請求項1乃至6の何れか記載の方法。前記入力画像及び前記出力画像は、それぞれのビデオ系列の連続する画像である、請求項1乃至7の何れか記載の方法。前記入力画像は、複数のサブ画像に分割され、当該方法は、それぞれのサブ画像を独立に実行される、請求項1乃至8の何れか記載の方法。前記サブ画像は、同時に処理される、請求項9記載の方法。複数の画素を有する入力画像から、増加された画素解像度の出力画像を生成するシステムであって、当該システムは、前記入力画像を表す画素データを記憶する第一のメモリと、前記第一のメモリに結合され、アップスケールされた画像におけるそれぞれの画素が前記入力画像における小数の画素にマッピングされるように、前記入力画像を2以外のファクタでアップスケーリングすることで、前記入力画像よりも多くの画素を有するアップスケールされた画像を生成するノンダイアディックアップスケーリングモジュールと、前記ノンダイアディックアップスケーリングモジュールに結合され、前記アップスケールされた画像を表す画素データを記憶する第一のバッファと、前記第一のメモリに結合され、前記入力画像に低域通過フィルタリングを施すことで、平滑化された画像を生成する低域通過フィルタと、前記低域通過フィルタに結合され、前記平滑化された画像を表す画素データを記憶する第二のバッファと、前記第一のメモリ及び第二のバッファに結合され、それぞれの画素が前記入力画像における対応する画素値と前記平滑化された画像における対応する画素値との間の差である高い詳細の画像を生成する減算モジュールと、前記減算モジュールに結合され、前記高い詳細の画像を表す画素データを記憶する第三のバッファと、前記第一のバッファに結合され、それぞれのパッチが前記アップスケールされた画像におけるそれぞれの画素を小数の隣接する画素と共に含む連続するパッチを識別するパッチ割り当てモジュールと、前記パッチ割り当てモジュール及び前記第二のバッファに結合され、それぞれのパッチに最良に整合するベストフィットパッチを発見するように、その位置が前記アップスケールされた画像におけるそれぞれ連続するパッチのマッピングされた位置の近くにある、前記平滑化された画像の局所的な領域内でサーチするベストフィットパッチモジュールと、前記ベストフィットパッチモジュール及び第三のバッファに結合され、前記平滑化された画像の前記ベストフィットパッチに対応する前記高い詳細の画像の等価なパッチにおける対応する画素の画素値を一意的に加えることで、前記アップスケールされた画像の前記パッチにおけるそれぞれの画素を補正する補正モジュールと、前記補正モジュールに結合され、前記アップスケールされた画像の補正された画像を記憶する第二のメモリと、を備えるシステム。前記ノンダイアディックアップスケーリングモジュールは、入力画像の画素値をアップスケールされた画像にコピーし、その後にフィルタリングする、請求項11記載のシステム。前記ノンダイアディックアップサンプリングモジュールは、前記入力画像から、N個のアップサンプルされた画像を作成し、前記入力画像における連続する画素を、前記N個のアップサンプルされた画像の連続する画像にコピーし、連続するコピーされた画素間のM個の画素のギャップを残し、前記N個の画像のそれぞれを異なるフィルタでフィルタリングし、前記N個の画像を加えて複合画像を生成する、ことで、ノンダイアディックN:Mスケーリングを実行する、請求項11記載のシステム。アップスケーリングのために使用される前記N個の異なるフィルタは、一定の画像を正確に再構築する、請求項13記載のシステム。アップスケーリングのために使用される前記N個の異なるフィルタは、線形画像関数を正確に再構築する、請求項13記載のシステム。前記低域通過フィルタは、前記N個の異なるファイルタのそれぞれから、双直交のN個のフィルタの第二のセットを生成し、平滑化のために使用される異なるフィルタの別のセットを生成するように、N個のフィルタのそれぞれのセットにおける対応するフィルタを結合する、請求項13乃至15の何れか記載のシステム。前記第一のメモリは、リアルタイムで前記入力画像を捕捉するカメラに結合される、請求項11乃至16の何れか記載のシステム。前記入力画像及び出力画像は、それぞれのビデオ系列の連続する画像である、請求項11乃至17の何れか記載のシステム。前記入力画像の複数のサブ画像を独立に処理する、請求項11乃至18の何れか記載のシステム。前記サブ画像を同時に処理する、請求項19記載のシステム。前記第二のメモリは、前記出力画像を表示する表示装置に結合される、請求項11乃至20の何れか記載のシステム。プログラムがコンピュータで実行されるとき、請求項1乃至11の何れか記載の方法を実行するコンピュータプログラムコードを含むコンピュータプログラム。請求項22記載のコンピュータプログラムを表すデータを記憶するコンピュータ読み取り可能な記録媒体。本発明は、幾つかの態様において、既存の例に基づく超解像度フレームワークを拡張する新たな高品質且つ効率的な単一画像のアップスケーリング技術を提案する。図1は、自然画像におけるローカルスケールの不変性について、本発明のアプローチを示し、小さなスケーリングファクタに応じてそれ自身非常に類似する。この特性は、自然画像におけるおローカルスケールの類似性を利用することで画像のアップスケーリングを示す、図1に示されるように直線及びコーナエッジのような様々な画像の特異性について保持される。ダウンスケーリングされたときのパッチ10は、それらのトリミングされたバージョン1111に非常に類似する。この関係は、様々なタイプの特異性について保持する。本発明は、この考察を使用して、非特許文献4におけるEbrahimi及びVrscayのアプローチを更に1ステップ進め、入力画像における極端に局所的な領域で例えばパッチをサーチする。この局所的なサーチを例えばパッチを取得する他の代替と比較することで、計算時間とマッチングエラーの両者の観点で、優位に良好に実行することが示される。スケール不変性の想定は、より大きな関連のより多くの例となるパッチが発見される場合、小さなスケーリングファクタについて良好に保持されることが分かる。従って、幾つかの実施の形態によれば、本発明は、所望の拡大サイズを達成するため、小さなスケーリングファクタの複数のアップスケーリングステップを実行する。本発明は、一般的なN1:Nアップサンプリング及びダウンサンプリング比について導出される専用の新たなフィルタバンクを使用して、これら非2項のスケーリングnondyadicscalingを実現する。新たなフィルタは、アップサンプリングプロセスをモデル化するために使用される幾つかの原理に基づいて設計される。これらの原理の間で、欠けている高周波帯域が予測される前に、早い段階でアップサンプリングされた画像が入力画像と一致するように、フィルタがほぼ双直交となることが要件である。これは、例に基づく学習段階で必要とされる予測の量を低減することで入力データを良好に低減し、増加される視覚的な現実性につながる。これまで提案される方法は、逆投影式の大きなシステムを解くことで、この要件を達成し、本発明に係るフィルタバンクは、明示的且つ従って効率的な計算を介してこの整合性を達成する。本発明によれは、複数の画素を有する入力画像から、増加されたピクセル解像度の出力画像を生成するコンピュータで実現される方法が提供される。本方法は、入力画像を第一のメモリに記憶するステップ、アップスケーリングされた画像におけるそれぞれの画素が入力画像における小数の画素にマッピングされるように、入力画像を2以外のファクタでアップスケーリングするnondyadicallyupscalingことで入力画像よりも多くの画素を有するアップスケーリングされた画像を生成するステップ、入力画像を低域通過フィルタリングすることで、平滑化された画像を生成するステップ、それぞれの画素値が、入力画像における対応する画素値と平滑化された画像における対応する画素値との間の差である高い詳細画像を生成するステップ、アップスケーリングされた画像におけるそれぞれの画素について、前記画素を小数の近傍の画素と共に含むパッチを識別するステップ、その位置がアップスケーリングされた画像におけるパッチのマッピングされた位置に近いところにある平滑化された画像におけるパッチをサーチすることで、平滑化された画像の局所的な領域において最良にフィットするパッチを発見するステップ、平滑化された画像の最良にフィットするパッチに対応する高い詳細の画像の等価なパッチにおいて対応する画素の画素値を一意的に加えることで、アップスケーリングされた画像の前記パッチにおけるそれぞれの画素を補正するステップ、及び、補正されたアップスケーリングされた画像を更なる処理のために第二のメモリに記憶するステップを含む。本発明に係る方法は、高品質の解像度のエンハンスメントを生成することができ、アルゴリズムにおいて変更することなしにビデオ系列に同様に適用される場合がある。本発明に係る局所化されたサーチ及び明示的なフィルタ計算は、非常に効率的な実現を可能にし、低解像度ビデオを高精細フォーマットにエンハンスするとき、リアルタイムのGPUパフォーマンスを報告する。高速アルゴリズムのおかげで、これまで提案されたアプローチと比較して画質を犠牲にすることなしに、リアルタイムでアップスケールされた出力画像を生成するために使用される。[アップスケーリングスキーム]本発明により使用される基本的なアップスケーリングスキームは、非特許文献7,21及び24における以前に使用されたフレームワークに密接に関連する。しかし、使用されたコンポーネントの大部分を、以下に記載する新たな特定用途向けのコンポーネントに置き換える。第一の寄与は、使用するのを提案する例示的なパッチの代替的なソースである。以下、自然画像におけるリファインされたスケール類似性の特性を説明及び測定する。既存の方法により使用される類似性の想定は、画像にわたり、その複数のスケールで類似性を利用する。この想定はリファインされ、自然画像における様々な単一の特徴は小さなスケーリングファクタの下でそれら自身に類似することを観察する。この特性は、局所的な自己相似性localselfsimilarityと呼ばれ、入力画像における同じ相対的な座標の周りの非常に制限された近傍における関連する例示的なパッチをサーチ及び発見するのを可能にする。このアプローチは、グローバルな画像サーチ又は外部データベースにおけるサーチに比較して最も近いパッチの検索時間を大幅に低減する。これは、複数のスケールで正確な繰り返しを含まない画像の大部分における明らかな視覚的な妥協なしに達成される。実験では、小さなファクタでスケーリングを適用するとき、入力画像における制限された相対的な近傍において非常に関連するパッチが発見されることが検証される。従って、このアプローチを効果的にするため、例示的なパッチに存在するデータ量及びその関連性を、小さな拡大率の複数のステップにおいて画像をスケーリングすることで最大にする。これは、第二の新たなコンポーネントである、新たな専用のノンダイアディックフィルタバンクを使用することで行われる。以下に記載される、これらのフィルタバンクは、2よりも小さいファクタでスケーリングを実行する補間演算υ及び平滑化演算Dが定義される。これらのフィルタバンクが達成する別の望ましい特性は、前の方法が行ったように逆投影の式を解くことなしに、明示的な計算を通しての入力画像との整合性である。図2は、本発明に係るアップスケーリングを示す。アップサンプルされた画像13からの低周波帯域のパッチ12は、低域通過された入力画像16における小さなウィンドウ15内のその最も近いパッチ12と整合する矢印14。入力における整合されたパッチの上側周波数帯域17は、出力のアップサンプリングされた画像における欠けている上側帯域において埋めるために使用される矢印18。粗い画素のグリッドG0で定義される入力画像I0が与えられると、GlをGi1にマッピングする線形補間演算子υを使用して細かいグリッドG1に補間することで開始され、この場合、G1は、1で成長するスケーリングファクタにより増加する解像度をもつ矩形の画素グリッドである。この最初のアップサンプルされた画像L1=υは、スケーリングファクタに比例して、その上側周波数帯域の一部が欠けている。この欠けている帯域は、外部の例示的なデータベースに依存しないが、以下のような局所的な自己相似性を利用するノンパラメトリックなパッチに基づくモデルを使用して予測される。例となるパッチは、入力画像L0=υの平滑化されたバージョンから抽出され、この場合Dは、GlからGl1に画像をマッピングするダウンサンプリング演算子であり、専用のフィルタバンクにより定義される。高周波予測は、アップサンプルされた画像L1におけるそれぞれのパッチp⊂G1を、平滑化された入力L0におけるその最も類似のパッチq⊂G0はじめにマッチングする行われる。このサーチは、L0におけるそれぞれのパッチに対して実行されないが、G1における問合せパッチpの中心座標と同じ相対的なG0における座標を中心とする制限された小さなウィンドウ図2において15でマークされるに対して実行される。後に説明するように、これは、υ及びDを設計するときに保証される、2つの画像がスペクトル的に互換性があることを必要とする。整合されたパッチでの入力画像における相補的な高周波コンテンツH0=I0-L0は、このコンテンツをシンプルに分析することで、すなわちI1=L1H0、アップサンプルされた画像における欠けている高周波帯域を埋めるために使用される。近隣のパッチ間のオーバラップのため、異なる計算が互いに平均される。このスキームの詳細は、次のセクションで詳細に説明される。本発明は、自然画像における自己相似性をリファインし、自然画像において一般に現れ、解像度のエンハンスメントを必要とするエッジような各種の特異点は、スケーリングの変換に不変であり、従って事例に基づいてそれら自身に類似することが示される。この特性を自己相似性と呼ぶ。これは、関連する例となるパッチが非常に制限されたパッチのセットで発見され、非常に類似したパッチが同じ相対的な座標の周りの局所的な領域でのダウンスケーリングされた又は平滑化されたバージョンにおいて発見することができることを意味するからである。これは、強度において不連続性、すなわち画像におけるエッジを含むパッチの場合、不連続な一次導関数、すなわちファセット表面のシェーディングの場合である。これらの孤立された特異点は、例えば図1に示されるようなライン、コーナ、Tジャンクション、アーク等のような異なる幾何学的な形状で現れる。本発明は、この局所的な類似性を利用して、画素数に依存することから、極端の小さく且つ固定されるまで、最も近いパッチのサーチに係る作業を低減する。局所的な自己相似性が保持される程度に定量化し、その使用を他のパッチのサーチ方法と比較する幾つかの例が記載される。第一の例では、局所的な自己相似性が様々なスケーリングファクタでどの位良好に保持されるかが定量化される。図3は、その平均強度によりそれぞれの色チャネルを正規化した後、RGB色空間で計算される画素値が0と1との間、異なるスケーリングファクタで画像をアップサンプリングしたとき、局所的なサーチにおける問合せと検索されたパッチとの間の平均L1誤差を示す。問合せのパッチは、5×5画素のウィンドウでありN1:Nのスケーリングファクタについて2N1×2N1画素のウィンドウにおいてサーチが実行される。図におけるグラフは、スケーリング割合が大きくなるにつれてエラーが増加することを明らかに示す。これは以下のように説明される。大きなスケーリングファクタは、例となる画像を計算するとき、強い平滑化を含む。これは、大きなファクタにより入力画像をダウンスケーリングすることに等価である及びダウンスケーリングにより実現される。このプロセスでは、画像の特徴は、互いに近くなり、例となるパッチは、スケールの不変の想定に従う純粋に分離された特異点をもはや含まない。図4a~図4cは、異なるスケーリングステップが最終的にアップスケールされた画像にどのように影響を及ぼすかを示す。使用されるスケーリングシーケンスは、図4a2:1,3:2、図4b5:4,5:4,4:3,3:2及び図4c5:4が5回繰返される。この場合2項である、大きなファクタにより生成されるアーチファクトが明らかである。これが与えられると、所望の最終的な拡大を達成するために小さなファクタの複数のスケーリングステップを実行することで画像がアップスケールされる。これら小さなノンディアディックスケーリングが本発明に係る専用のフィルタバンクを使用して実現される方法は、以下に記載される。第二の例では、様々なアプローチにより検索されるパッチの品質を実行時間と同様に比較する。ここで、正規化されたRGB色空間において5×5画素のパッチが使用され、5:4のファクタによりアップスケーリングされた6つのテスト画像から推定される平均値が報告される。図5は、全体の入力画像における、10×10画素のウィンドウ内の局所的なサーチ、20×20画素のウィンドウ、及び正確な最も近いサーチ、並びに近似的な最も近い近傍のサーチを使用して得られた結果を示す。これらのテストは、5:4のスケーリングファクタで実行される、グラフの時間time軸は、対数スケールで示される。グラフは、提案される局所的なサーチがより正確であって、様々なエラーerrorの境界に設定されるkdに基づく近似的な最も近い近傍nearestneighborのサーチアルゴリズムの使用よりもかなり高速であることを示す。全体の入力画像における、最も近いパッチを徹底的にサーチすることは、全体の入力画像において、局所的なサーチに比較して精度において有意なゲインを達成せず、2つの間で80の一致がある。確かに、これら2つのサーチストラテジ間の有意な視覚的な差が欠けていることは、図6a~図6cにより裏付けられ、図6a~図6cは、外部データベースExtDBにおける最も近いサーチ、全体の画像NN内の最も近いパッチ、及び局所的なサーチLSSを使用して、3のファクタによりアップスケールされる画像を示す。2N1×2N1よりも大きいウィンドウ内のサーチは、品質において重要なゲインを達成せず、計算するために4倍の長さを要する。さらに、同数の全体の画素を含む別の非常に詳細な画像により改善される、非特許文献7においてFreeman等により使用される6つの画像から構成される外部データベースの使用がテストされた。より多くの例となるパッチを有すること及び正確な最も近い近傍のサーチの使用にもかかわらず、このオプションは、図6に示されるように、著しく高いエラーとなる。画像それ自身に比較して、このデータベースの低い関連のほかに、低周波帯域に基づいて計算される最も近いパッチは、曖昧になる場合がある。確かに、非特許文献7におけるFreeman等は、構築されている高周波成分に基づいてパッチを整合する。このソリューションは、パッチをサーチするときに空間依存関係を導入し、これは、局所性及び計算の分かりやすさを弱体化させる。[従来技術のアプローチに対する改善]本発明に係る例に基づく画像のアップスケーリングの使用により支持される局所的な自己相似性は、これまで提案されるアプローチを本発明と区別する。本発明のテストは、局所的なサーチ、この類似性は、全体の画像をサーチすることに比較して、ほとんど品質のコストなしに、有意なスピードアップを達成することを示す。しかし、非特許文献9におけるGlasner等は、全体の入力画像内且つスケールにわたるサーチにより、同じ特徴の異なる事例が発見されることを示す。図8a~図8dは、係る繰り返しが発見及び利用される場合を示す。図8aは、入力を示し、図8b~図8dは、選択された領域19のそれぞれの入力画素、本発明の方法により生成される出力、非特許文献9におけるGlasner等の結果を示す。データにおけるこれらの繰り返しを発見するため、非特許文献9におけるGlasner等は、小さなノンディアディックファクタ及び小さな並進運動のオフセットにより異なる複数のスライスで全体のサーチを実行する。このアプローチは、最も近いパッチのサーチの試みを増加する一方、このタイプの繰り返しは、一般的な自然画像におけるエッジの大部分に沿って発見される局所的な自己相似性に比較して十分でない。さらに、Glasner等のアプローチでは、出力画像は、大きな線型方程式の逆投影システムと同様に、超解像度を解くことで計算される。以下に記載されるように、本発明は、局所的且つ明示的な計算からなるカスタムフィルタバンクを使用して、アップスケールされた画像を合成する。結局、本発明のアプローチは、例えばパッチをサーチするとき、及び出力画像を再構成するときの両者で、局所的に作用し、以下に記載されるように完全に並行な実現を可能にする。[ノンダイアディックフィルタバンク]上述されたテストからの主要な結論は、小さな局所的なパッチのサーチは、スケーリングファクタが小さい限り効果的である。従って、所望の拡大を達成するため、小さなファクタの複数のアップスケーリングステップが実行される。上述されたアップスケーリングスキームは、解析的な線形補間演算子υ及び平滑化演算子Dを使用して、例となるパッチを生成するために使用される、最初のアップサンプルされた画像及び平滑化された入力画像を計算する。これらの演算子の選択は、本発明にとって重大であり、画像のアップスケーリングプロセスをモデル化するために、これらのフィルタバンクにより幾つかの条件に従うべきである。ダイアディックイメージアップサンプリングは、画像の次元が2倍にされ、典型的に、2つの画素毎の間にゼロを加え、次いでフィルタリングステップにより、画像を補間することからなる。ダイアディックダウンサンプリングは、はじめに画像をフィルタリングし、次いで、1つおきに画素をサブサンプリングすることからなる。ダウンスケーリング演算は、前方ウェーブレット変換における粗いレベルの近似的な係数の計算と同じであり、アップスケーリングは、任意の詳細ウェーブレット成分を加えることなしに適用される、逆ウェーブレット変換に対応する。実際に、非特許文献12におけるMallatにより開示されるようなウェーブレット理論は、係るスケーリングスキーム及びフィルタバンクの設計及び解析と主に関連する。この膨大な文献は、2値変換dyadictransformationを計算するため、本実施の形態で説明しようとしている要件の全部又は大部分に従う、数え切れない数のフィルタバンクを提供する。しかし、スケーリングファクタが2以外であるノンダイアデックnondyadicの場合について実に少なく、この場合、非特許文献27におけるXiong等は、画像符号化について3:2スケーリングを計算するためにリフティングスキームを使用する。それらの構築は、線形関数をそれが含む同じ値にマッピングする一方、2つおきに値をスキップする。従って、以下に説明するように、本出願にとって非常に重要である一次の多項式を再構築しない。非特許文献14におけるPollock等は、無限であって、従って本発明のニーズに適合しない直交対称シャノンライクなウェーブレットを記載している。非特許文献12におけるウェーブレットパケット解析は、スペクトルのタイリングツリーを一般化し、一般的なダイアディックな空間設定において概して実現される。ここで、ウェーブレット変換のダイアディックスケーリングをN1:Nのスケーリングファクタに拡張する形式が導出される。図7a及び図7bは、N=2及びN=4の場合について説明する。図7aは、5:4の割合において細かいグリッド上に対して配置される粗いグリッド下を示す。細かいグリッド上の非ゼロの係数の配置は、赤で示されており、モノクロでグレイの密度の濃い影として現れる。図7bは、3:2スケーリングファクタにおいて2つのフィルタのプロファイルを例示する。図示されるように、粗いGlグリッドポイントと細かいGl1グリッドポイントの相対的な配置は、Nの周期を有する、ダイアディックのケースの他に、N=1、フィルタが厳密に並進不変となることを期待する理由はなく、粗い又は細かいグリッドでサンプリングされた同じ関数に、あるグリッドでサンプリングされたリニアランプ関数がマッピングされ、フィルタの重みは、図で見られるグリッド間の異なる相対的なオフセットに適応する必要があり、従ってN個のフィルタのそれぞれの周期内で異なる。従って、更なる空間的依存性なしに、N1:N変換は、N1グリッドポイントの周期に不変の変換であるフィルタリングから構成され、従って、不規則なグリッド関係に対処するため、N個の個別のフィルタが必要とされる。実際に、これは、ダウンスケーリング演算子が、Gl1で実行されるN個の標準的な並進不変フィルタリング演算を使用し、続いて、Glにおいて全体でN個の値を生成するため、N1個の画素毎にそれぞれフィルタリングされた画像をサブサンプリングすることで計算されることを示す。形式的に、これは以下の式により与えられる。ここでp=NmodN,q=N-p/Nであり、フィルタd1,...,dNは、N個の個別の平滑化フィルタであり、フィルタのミラーリングは、[外1]により与えられ、は離散畳込みを示す。ダイアディックケースのアナログの拡張は、アップサンプリングステップに適用され、Nの周期内のそれぞれのサンプルは、異なるアップサンプリングフィルタu1,...,uNをでフィルタリングされる。これらのフィルタリングされた画像は、以下のように要約される。ここでゼロサンプリング演算子は、↑I[N1n]=I[n]及びさもなければゼロである。マッピング及びその逆を構成するフィルタは、非特許文献12における双直交フィルタとして知られる。本発明の導出において、この関係は、最初にアップサンプルし、次いでダウンサンプルする場合に必要とされ、すなわち以下に示される。逆の順序において演算を適用することは、恒等写像を得ることが期待することができない。これは、Gl及びGl1は、異なる空間次元からなるためである。形式的に、演算子間の関係3は、それぞれ整数k及び1≦i,j≦Nについて、以下の関係によりフィルタの観点で表現することができる。ここで<>はドット積であり、k=0のときにδk=1であり、さもなければゼロである。ダウンサンプリングに応じて入力に一致するアップサンプリングされた画像を生成する重要性は、以下の説明から明らかとなるであろう。並進不変が欠けていること、又はN1グリッドポイントの周期における並進不変は、本発明のアルゴリズムの高周波予測ステップについて低周波及び高周波の例となるパッチを生成するとき、ちょっとした手違いを導入する。互いに異なるため、N個の異なるフィルタは、同じ入力信号に異なって応答する。従って、それらの出力は、パッチを比較及び分析するときに高域通過予測ステップにおいて混合されてはならない。これを回避するため、例えば、同じフィルタ応答が常に互いに調節されるように、N1個の画素のオフセットにおいてサーチする。次いで、それぞれの軸に沿って1,...,N1により入力画像I0をオフセットすることで生成される複数の例となる画像L0=υを作成することで例となるパッチの数における減少が補償される。従って、結果として、まるで単一の画素のオフセットにおいてサーチされ、フィルタリングされた値が混合されな以下のように、例となるパッチの数は同じままである。[ウェーブレット基底への接続]この導出は、アップサンプリングフィルタuiにより及ぶ空間の補足である細かな空間Gl1の高周波サブスペースに通常及ぶ、高域通過ウェーブレットフィルタを含まない。理由は、高域通過ウェーブレットフィルタをアップサンプリングスキームにおいて使用しないこと、高域通過予測ステップは、画素値を得るためにウェーブレットフィルタを増やす詳細の係数ではなく、画素値を、高域通過レイヤをダイレクトに埋めることにある。画素の解像度における仕組みは、ウェーブレットフィルタが導入する空間解像度の損失を回避し、パッチに基づく合成における良好な品質の結果につながる。しかし、補足の高周波ウェーブレット空間に高周波レイヤの合成を制限することなしに、低周波の近似レイヤは、このステップにより影響され、すなわち、アップサンプルされた画像は、uiにより広がる。従って、入力との整合性が弱まる。しかし、本発明のテストは、予測される高周波レイヤは、ダウンサンプリングに応じて知覚できない影響を有し、入力から合成された画像の強度を約1だけ外れる。[フィルタ設計]ここで、画像のアップスケーリングプロセスがモデル化されるように、アップサンプリング及びダウンサンプリングフィルタを設計するために従う指針が記載される。C1一様スケーリング:画像をアップスケーリング及びダウンスケーリングするとき、結果として得られる画像が類似の変換である、空間的に一様なスケーリングの変換より異なることが望まれる。係る変換は、2つのポイント毎の間の距離が固定されたファクタだけ変え、画像グリッドの間のスケーリングファクタを変える。この特性は、線形関数の助けによりアップサンプリング及びダウンサンプリングの演算に課される。線形関数は、固定された距離dxの点間の固定された差I-Iを示す。従って、線形関数の形状を保持する、すなわちGlで定義される線形関数をGl1で定義される線形関数にマッピングし、逆にGl1で定義される線形関数をGlで定義される線形関数にマッピングする演算子が必要とされる。線形関数を正確に再現するこの条件は、非特許文献12におけるウェーブレット設計において一般に使用される、バニッシングモーメント条件の対応する条件である。C2低周波スパン:カメラは、ぼけアンチエリアシングフィルタを含むのと同様に、有限点拡がり関数を有する。これは、センサのサンプリングレートに従って、サンプリング理論を近似的に満たすように、信号シーンの帯域幅を制限するために使用される。これは、D及びυに関連がある。従って、ダウンサンプリング演算子Dは、Gl1での信号をサンプリングする前に必要とされる、ぼけの領域における差をモデル化し、Glの低いサンプリングレートについて、強いボケが必要とされる。これは、非特許文献15における、低周波帯域を伝達する低域通過フィルタとなるように、Dを設計する一般的な方法の背後にある。この周波数帯域の長さは、本発明の場合においてスケーリング割合N/N1に大まかに比例する。類似の条件は、補間演算子υに適用される。以下に説明されるように、カメラフィルタリングは、入力画像の低いサンプリングレートに従って信号のスペクトルを制限する。最初のアップサンプルされた画像L1は、より高いサンプリングレートでレンダリングされる、このデータを含むべきである。従って、υの再生カーネルは、スペクトルの低いN/N1帯域に広がるこの低周波サブスペースに及ぶ必要がある。C3特異点の保存:上述された、欠けている高い周波数帯域の予測、特異点の適切な再構築は、最初のアップサンプリングされた画像からのパッチを、入力の平滑化されたバージョンにおけるパッチと適切に整合することに依存する。正確な整合を得るため、平滑化された画像L0=υ及び最初のアップサンプルされた画像L1=Uにおける特異点は、類似の形状を有する必要がある。これは、実際に、アップサンプリング演算子υではなく、ダウンサンプリング演算子Dに対する条件を課す。これは、L0及びL1はυにより構築され、2つの間の差がυに対して寄与することができないことを意味する。実際に、これは、I1を生成するとき、I0において現れる、ダウンサンプリング演算子Dがエッジのような特異点の形状を保持する場合に満たされる。C4一貫性及び最適な再現:非特許文献24,6及び19における既存のアプローチの幾つかは、最終的なアップサンプルされた画像が、入力解像度に低減される場合に、入力画像と同一である必要があるという意味において、入力画像と一致するべきである。これは、初期段階での場合であるべきであり、最初のアップサンプルされた画像L1は、密度が高いグリッドで保持される、同じ情報を含むとき、入力、すなわちD=I0と既に一致するはずである。しかし、L1=υであるので、この条件は、D=I0となり、すなわち式3で定義される逆の関係である。言い換えれば、アップサンプリング及びダウンサンプリングオペレータを定義するフィルタは、双直交条件4に従う必要がある。この特性を達成することは、予測ステップが、さもなければ生じるデータの損失弱体化を取り消すことが要求されない。原画素のこの最適な使用の重要性は、図9a~図9eで示されており、入力画像は、図9aに示される。図9b及び図9cは、入力解像度、すなわちDにダウンサンプルされた後に、高周波予測ステップを実行することなしに、最初のアップサンプルされた画像を示す。図9d及び図9eは、本発明に係るアップスケーリングスキームの出力を示す。目立ったエッジは、両ケースにおいて良好に再現されるが、双直交性が欠けていることは、画像を非現実的にする画像における細かな詳細の損失につながる。上述された既存の方法は、線形ソルバを使用するか、又は非線形の反復スキームを通して、D=I0を解くことで、出力画像I1を通してこの関係を暗黙的に強制する。フィルタバンクがほぼ双直交であるようにフィルタバンクを設計することで、明示的且つ従って効率が高い計算を通して、L1に対するこの条件を近似する。最終的な画像I1は、前のセクションで説明された、不正確な双直交性及び高周波予測ステップの影響のため、I0と正確に一致しない。しかし、I0からDの全体のずれは、画素強度値において約2であることをテストは示し、これは視覚的に知覚できない。付録では、これらの条件を使用して、新たなノンダイアディックフィルタバンクをどのように定義するかが説明される。これは、2つの主要な困難に対処することを必要とする。第一は、シンプルな低周波及び高周波の例となる画像を達成するため、小数の非ゼロの係数からなる、コンパクトフィルタを定義する必要がある事実から生じる。大きなサポートを持つフィルタは、異なる近隣のエッジに応答して干渉に苦しむ。これは、それらのスケールの不変性にとって本質的な特異点間の分離を弱らせる。他方で、小数の自由度により、先に列挙した全ての設計の条件に完全に従うことができない。全ての設計の条件は、厳格な制約として扱うのではなく、最適化問題における方針に対する要件の幾つかを緩和するものとして扱う。第二の困難は、双直交の条件4の非線形性から生じる。これらの式は、同時に全ての未知のフィルタ係数を解く又は最適化するため、フィルタの設計を困難にする。これは、双直交条件4を抜きにして、ダウンサンプリングフィルタdiをはじめに計算し、次いで所与のdiについてuiを計算することで克服される。表1において、付録で、このフレームワークを使用して得られた最適なフィルタであって、全ての結果を生成するために使用された最適なフィルタが提供される。[結果]本発明の方法は、Cで実現され、IntelCore2QuadCPU28GHzマシンで実行される。斬新的に大きいスケーリング割合を以下の理由のために使用してアップスケーリングが実行される。画像のサイズが増加するときに、近傍の特異点がより分離され、先に説明された、画像の特異点のスケール不変の特性を弱体化することなしに、より強い平滑化を使用することが可能である。この考察を念頭において、本発明のフィルタがサポートする小さなファクタを使用して、所望の拡大係数、すなわち5:4,5:4,4:3を近似する。例えば、拡大率3を達成するため、5:4,5:4,4:3及び3:2が使用され、拡大率4について、5:4,5:4,4:3,4:3及び3:2が使用される。次いで、所望の拡大率を正確に整合させるため、簡単なバイキュービックダウンサンプリングが使用される。このスキームはYCbCr色空間で実現され、この場合、Yチャネルにのみ高周波が加えられる。これにより、RGB色空間を使用することに比較して、約3倍のスピードアップが可能となる。テストされたスケーリングファクタについて品質の低下が観察されない。単一コアで実行するときに、それぞれの軸に沿って4倍だけ200×200の画像をアップスケールするために4秒を要する。本方法は、自明に並列である。これは、画像における異なる領域が本方法の明示的な計算において離れないためであり、実行時間がコアの数により更に割ることができるという意味を含む。本発明のアルゴリズムのこの並列な特性を利用し、アルゴリズムにおける変更なしに、Cuda30を使用してNvidiaTMGefroceTM480GTXGPUで実現される。この実現により、表示時間を含めて239FPSで640×360~1920×10803倍でビデオをアップスケールするのを可能にする。スケーリングステップ4:3,3:2及び3:2が使用される。本発明のアップスケールされた画像の品質と、優れた商業製品GenuineFractalsTMと同様に、現在の最新の方法により生成された結果とが比較される。非特許文献9におけるGlasner等の方法は、本方法は再構築するよりも幾分鮮鋭であるエッジを再構築するが、少量のリンギング及びジャギーを生成する。本方法は、パッチをサーチするとき、かなり少ない計算を実行し、大きな線形システムを解くことを回避し、従って単一コアの実現においてさえ、一桁を超えて高速に実行する。例に基づく方法であるにも係らず、実行時間は、非特許文献6,18及び22における解析モデルを使用する方法について報告される時間よりも短い。ビデオアップスケーリング:ビデオ系列の解像度を拡大するために更なる変更なしに、本発明のアップスケーリング方法が使用される。非特許文献18におけるShan等による方法と同様に、連続するフレーム間でフリッカのアーチファクトが観察されない。Shan等が説明するように、一致の条件C4は、安定な出力のための役割を果たすことが観察される。捕捉のマテリアルにおいて、本方法はそれらに比較され、高品質の結果が得られる。本方法の実行時間は、CPU及びGPU実現の両者において低い。図10は、増加された画素解像度の出力画像21を、複数の画素を有する入力画像20から生成するための、本発明に係る方法により実行される動作を説明する。本方法は、メモリに入力画像を記憶することを含む。アップスケールされた画像におけるそれぞれの画素が入力画像における小数の画素にマッピングされるように、入力画像20をノンダイアディックにアップスケールすることで、入力画像よりも多くの画素を有するアップスケールされた画像22が生成される。入力画像20を低域通過フィルタリングすることで、平滑化された画像23が生成され、高い詳細の画像24が生成され、それぞれの画素値20は、入力画像20における対応する画素値と、平滑化された画像23における対応する画素値との間の差である。アップサンプルされた画像22におけるそれぞれの画素について、画素を小数の隣接する画素と共に含むパッチ25が識別される。その位置がアップスケールされた画像22におけるパッチのマッピングされた位置に近いところにある平滑化された画像23におけるパッチをサーチすることで、平滑化された画像の局所的な領域27において、ベストヒットパッチ26が発見される。アップスケールされた画像22のパッチ25におけるそれぞれの画素は、平滑化された画像23におけるベストフィットパッチ26に対応する高い詳細の画像24の等価なパッチにおいてそれぞれの画素28の値を加えることで補正される。ひとたびこれが行われると、連続する画素が処理され、それぞれの画素について、異なるパッチが定義される。典型的に、それぞれの画素は、異なるサイズのパッチも実施可能であるが、5×5画素を含むパッチの中央にある。このように連続する画素が処理されるとき、それぞれの画素に対応する定義された連続するオーバラップするパッチが存在する。平滑化された画像23のベストフィットパッチに対応する高い詳細の画像24の等価なパッチにおける対応する画素の画素値は、一度だけ出力画像21に加えられる必要があることを理解されたい。これは、2つのパスのアプローチにおいて本方法を実行することで実際に行われ、この場合、第一のパスでは、ベストフィットパッチが識別され、出力画像に加えられる必要がある画素値が決定される。第二のパスでは、計算された画素値は、出力画像に加えられる。代替的なアプローチでは、ひとたび画素値が出力画像に加えられると、その画素のアドレスはロックされ、その後のパッチについて加えられる高い詳細の値が防止される。更に別のアプローチでは、パッチの数に基づいた平均値がそれぞれの繰返しで加えられるように、ベストフィットパッチに関連する画素値は、出力画像に加えられる前に正規化される。現在の画素に対応する最良の高い詳細のコンテンツは、アップスケールされた画像に即座に書き込むことができないことが理解される。これは、即座に書き込むことで、次の画素について必要とされる最良の例をサーチするために抽出される次のパッチを変えるためである。結果的に、アップスケールされた画像に加えられる高い詳細の画素データは、高い詳細のバッファにおいて何処かに記憶され、完全な画像又はサブ画像が処理されたときにのみ、出力画像を生成するためにアップスケールされた画像に加えられる。さらに、高い詳細の画素データは、ここで説明されたように、アップスケールされた画像に加えられる前に正規化される。パッチは複数の画素を含むので、連続するパッチは、同じ画素のうちの幾つかをそれぞれ含む。簡単な例を経て、それぞれのパッチが5×5画素を含む場合、それぞれの連続するパッチは1画素だけ水平方向にパッチを移動することで導出され、それぞれの連続するパッチは、前のパッチにおける5つの画素を失い、前のパッチになかった5つの新たな画素を得る。しかし、残りの15の画素は、両方のパッチにある。1を超えるパッチに共通する画素に関連する高い詳細のデータは、アップスケールされた画像に一度だけ書き込まれる必要がある。従って、出力画像を提供するために高い詳細のデータをアップスケールされた画像に加える前に、高い詳細のバッファにおけるそれぞれの画素を、書き込まれる値の数により正規化除算する。アップスケールされた画像を生成することは、原画像の値をアップスケールされた画像及びその後のフィルタリングにコピーすることを含む。入力画像は、入力画像からN個のアップスケールされた画像を作成し、入力画像における連続する画素をN個のアップスケールされた画像のうちの連続する1つにコピーし、連続するコピーされた画素間のM個の画素のギャップを残すことで、N:Mにノンダイアディックにスケーリングされる。N個の画像のそれぞれは、個別のフィルタによりフィルタリングされ、N個の画像は、複合画像を生成するために加えられる。幾つかの実施の形態によれば、アップスケーリングのために使用されるN個の個別のフィルタは、ソースの全ての画素値が同じである場合に、アップスケールされた画像の画素値も同じであるように、一定の画像を正確に再構成するために調整される。幾つかの実施の形態によれば、アップスケーリングのために使用されるN個の個別のフィルタは、線形画像関数を正確に再構築するために調節される。入力画像は、N個の異なるフィルタのそれぞれから、双直交のN個のフィルタの第二のセットを生成し、平滑化のために使用される異なるフィルタの別のセットを生成するように、N個のフィルタのそれぞれのセットにおいて対応するフィルタを結合することで平滑化される。コンピュータリソースが制限されているか又は高い処理速度が要求される場合、入力画像は、複数のサブ画像に分割され、本方法は、それぞれのサブ画像に関して独立に実行される。処理速度は、サブ画像を同時に処理することで増加される。図11は、本発明に係るシステム30の機能を示すブロック図であり、システムは、入力画像図10における20を表す画素データを記憶する第一のメモリ31を有する。典型的に、画像は、カメラ32により捕捉され、カメラは、カメラ画像がリアルタイムで処理されるように、第一のメモリに結合される。リアルタイム処理は、改善されるアルゴリズムのために本発明によりおそらくレンダリングされ、改善されるアルゴリズムは、高い詳細が平滑化された画像の非常に小さな局所的な領域においてのみサーチを行うことで高い詳細が発見される事実により、非常に高速な画像処理が可能となる。平滑化された画像とアップサンプルされた画像におけるそれぞれの画素が入力画像のそれぞれの画素にマッピングされるように、平滑化された画像とアップサンプルされた画像の両者は入力画像から導出されるので、アップスケールされた画像におけるパッチの位置は、ベストフィットパッチを発見するために平滑化された画像における小さな領域にマッピングすることができる。これは、完全な画像を処理する必要を回避し、非常に迅速に高い詳細が発見されるのを可能にする。ノンダイアディックアップサンプリングモジュール33は、入力画像をノンダイアディックにアップスケールすることで、アップスケールされた画像におけるそれぞれの画素が入力画像における小数の画素にマッピングされるように、入力画像よりも多くの画素を有するアップスケールされた画像図10における22を生成するために第一のメモリ31に結合される。第一のバッファ34は、アップスケールされた画像を表す画素データを記憶するためにノンダイアディックアップサンプリングモジュール33に結合される。低域通過フィルタ35は、第一のメモリ35に結合され、入力画像を低域通過フィルタリングすることで平滑化された画像を生成し、第一のバッファ36は、平滑化された画像を表す画素データを記憶する低域通過フィルタ35に結合される。減算モジュール37は、第一のメモリ31及び第二のバッファ36に結合され、それぞれの画素値が入力画像における対応する画素値と平滑化された画像における対応する画素値との間の差である、高い詳細の画像図10における24を生成する。第三のバッファ38は、減算モジュール37に結合され、高い詳細の画像を表す画素データを記憶する。パッチ割り当てモジュール39は、第一のバッファに結合され、それぞれのパッチがアップスケールされた画像におけるそれぞれの画素を小数の隣接する画素と共に含む、連続するパッチを識別するために調整される。ベストフィットパッチモジュール40は、パッチ割り当てモジュール39及び第一のバッファ36に結合され、その位置が、それぞれのパッチと最良に整合するベストフィットパッチを探すように、アップスケールされた画像におけるそれぞれ連続するパッチのマッピングされた位置の近いところにある、平滑化された画像の局所的な領域をサーチする。補正モジュール41は、ベストフィットパッチモジュール40及び第三のバッファ38に結合され、平滑化された画像のベストフィットパッチに対応する高い詳細の画像の等価なパッチにおける対応する画素の画素値を一意的に加えることで、アップスケールされた画像のパッチにおけるそれぞれの画素を補正する。第二のメモリ42は、補正モジュールに結合され、更なる処理のため又は第二のメモリに結合されるディスプレイデバイス43による表示のためにアップスケールされた画像の補正された画素を記憶する。本発明に係るシステムは適切にプログラムされたコンピュータである場合があることを理解されたい。同様に、本発明は、本発明の方法を実行するコンピュータにより読取り可能であるコンピュータプログラムを想定している。さらに、本発明は、本発明の方法を実行するマシンにより実行可能な命令のプログラムを有形に実施するマシン読取り可能なメモリを想定する。[付録]先に記載されたように、本発明は、最初のアップスケールされた画像を作成するために使用されるアップスケーリング演算子υ及び入力画像を平滑化するためにアップスケーリング演算子と共に使用されるダウンスケーリング演算子Dという、2つの演算子を使用する。これらの演算子のそれぞれは、それ自身のフィルタのセットにより定義される。ここで、サブの表題であるフィルタ設計の下で上述された原理C1-C4に基づいて、これらのフィルタをどのように設計するかが説明される。ここで説明されるように、これらのフィルタのサポートは、フィルタの応答を異なる画像の特徴に混合することを回避するため、できるだけコンパクトに維持する。設計の原理は、フィルタに割り当てようとしている非ゼロの係数の数よりも多くの条件を課す。従って、これらの条件に完全に従わず、厳しい制約としてこれらを扱うのではなく、最適化問題における基本方針に対する要件の幾つかが緩和される。さらに、双直交条件C4は、υとDのフィルタ間の非線形の関係を形成し、それらの計算を困難な問題にする。この非線形性は、フィルタの設計を以下のように2つの線形のサブ問題に分割することで克服する。ダウンスケーリング演算子Dは、物理的な画像の取得プロセスをモデル化し、従ってυとは独立にはじめに計算することができる。アップサンプリングフィルタは、第二のステップで計算され、他の特性と同様に双直交性が保証される。画像の取得プロセスを正しくモデル化するため、ダウンスケーリング演算子Dは、空間的に一様なスケーリングを実行する。C1で説明されるように、これは、線形関数を通して必要とされ、ダウンスケーリング演算子は、Gl1を通して定義される線形関数を、Glを通して定義される線形関数にマッピングする。従って、L=x’/αが定義され、この場合x’∈Gl1であり、αはスケーリングファクタN1/Nであり、を必要とする。この要件に加えて、特異点をモデル化する関数fが2つのスケール間で正しくマッピングされることを保証することで、Dは特異点の保存の原理C3に従う必要がある。これは、以下のように、ダウンサンプルされたfと解析的にスケーリングされたfとの間の距離を最小にすることで実現される。特異点をモデル化するためにガウス分布[外2]を使用して、それをサブピクセルのオフセットμだけシフトし、それをデータが到来する全てのオフセット及びスケールを考慮するためにσに等しい量だけ伸張する。Mは正規化因子である、合計された項の数に等しい。さらに、DがC2に従って低周波に拡がることが必要とされ、これは以下の基本方針により達成される。この場合Dは離散微分演算子である。これは、ラプラシアン行列の固有値である、フーリエ領域においてパワースペクトル[外3]を最小にすることに等価である。結局、以下の制約された最適化問題が得られる。ここでαDは、2つの基本方針を優先付けするために使用される。ラグランジュ乗数ルールを適用することで、diを得るために解く式の小さな線形システムが得られる。計算されたダウンスケーリングフィルタdiが与えられると、類似のやり方でアップサンプリングフィルタuiを計算することができる。ここでの主要な違いは、双直交条件C4について最適化され、特異点の保持の基本方針の項を除くことである。双直交条件は、式3を以下の基本方針に緩和することで達成される。ここでkは隣接したdiがuiにオーバラップするインデックスにわたり、M’は、合計された項の数に等しい正規化定数である。この項は、対応するダウンサンプリングフィルタとアップサンプリングフィルタとの間の1のドット積を促進し、さもなければ0である。diの計算におけるように、C2に従ってuiが低周波に拡がることが必要であり、これは類似の項により達成される。一様なスケーリング制約C1を受ける両方の基本方針が最適化され、一様なスケーリングの制約は、この場合、以下に示される。この場合=αx’である。最後に、uiについて結果として得られる最適化問題は、以下に示される。αυは、2つの基本方針を優先付けするために使用される。表1では、これらの計算を使用して構築されるフィルタが提供される。太字における係数は、フィルタの中央に対応する。"