(57)【要約】本発明は、単一の低分解能信号が利用可能である場合に、定期的にサンプリングされた多次元信号の分解能の改善に関する。かかる方法は、一般的に、学習型超解像又は単一像超解像と呼ばれる。単一像を超解像化する方法は３つの段階を有する。第１に、入力画像の補間に基づくアップスケーリングが行われ、低解像画像に対する等価ローパスフィルタリング動作が続く。第２の段階は、高解像画像における被検パッチと、部分的に重なり合うパッチを含む低解像低周波画像における局所的に隣接したパッチとの間の低周波整合の検索、及び低解像画像から取得される高周波寄与を累算することを有する。第３の段階は、高解像画像の低周波バンド及び外挿された高周波バンドの寄与を加算することを有する。
2015507273.tif 000002
【特許請求の範囲】
【請求項１】
デジタル１Ｄ、２Ｄ又は３Ｄデータの低解像入力データ構造の超解像処理を行う方法であって、
低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
前記選択された第２のブロックのピクセルデータを、加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化するステップであって、現在のピクセルについて、該現在のピクセルの累算された値に寄与しているピクセルの数によって前記現在のピクセルの前記累算された値を割ることを含むステップと、
超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
を有する方法。
【請求項２】
前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーする第１のサーチ窓を決定するステップを更に有し、
前記低周波入力データ構造において探すステップは、前記第１のサーチ窓内でのみ実行され、
前記低周波入力データ構造においてサーチ窓を決定するステップは、前記低周波アップスケールドデータ構造において新しいパッチごとに繰り返される、
請求項１に記載の方法。
【請求項３】
前記サーチ窓によってカバーされる領域は、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの前記低周波アップスケールドデータ構造の夫々の方向における複数の値を有する、
請求項２に記載の方法。
【請求項４】
前記低周波アップスケールドデータ構造における夫々の新しいパッチは、少なくとも１つの前に処理されたパッチと重なり合う、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
前記低周波アップスケールドデータ構造は、前記低解像入力データ構造をアップスケーリング係数ｎによってアップスケーリングし、該アップスケーリングされた入力データ構造を前記第２のローパスフィルタによってフィルタリングし、該フィルタリングされたアップスケーリングされた入力データ構造をダウンスケーリング係数ｄによってダウンスケーリングすることによって取得され、ｎ＞ｄであり、
最終の非整数スケーリング係数ｎ／ｄが取得される、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
前記第１のローパスフィルタ及び前記第２のローパスフィルタは、同等のフィルタである、
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項７】
前記第１のローパスフィルタは、次数Ｎ０、σ０＝１の大きさ、及びΩ０＝ｄ／ｎの正規化されたカットオフ周波数の特性を備え、前記第２のローパスフィルタは、Ｎ１＝ｎＮ０の次数、σ１＝ｎの大きさ、及びΩ１＝１／ｎの正規化されたカットオフ周波数の特性を備える、
請求項１乃至６のうちいずれか一項に記載の方法。
【請求項８】
Ω１，ｈ＝ｄ／ｎの正規化されたカットオフ周波数、Ｎ１，ｈ＝ｒｏｕｎｄ（Ｎ０×ｎ／ｄ）の次数、及びσ１，ｈ＝１の大きさを有するハイパスフィルタにより前記高周波アップスケールドデータ構造をフィルタリングするステップを更に有する
請求項１乃至７のうちいずれか一項に記載の方法。
【請求項９】
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップは、前記低周波アップスケールドデータ構造の全体がカバーされるまで全てのパッチについて繰り返される、
請求項１乃至７のうちいずれか一項に記載の方法。
【請求項１０】
前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするステップを更に有し、
前記正規化するステップは、前記カウントするステップによって取得された前記寄与の数によってピクセルごとの累算値を割ることを含む、
請求項１乃至８のうちいずれか一項に記載の方法。
【請求項１１】
デジタル２Ｄデータの前記低解像入力データ構造は、デジタル画像である、
請求項１乃至９のうちいずれか一項に記載の方法。
【請求項１２】
前記低解像入力データ構造は、デジタル２Ｄデータを有し、
夫々のブロック及び夫々のパッチは、少なくとも５×５個の値を有し、前記サーチ窓は、少なくとも９×９個の値をカバーし、夫々のパッチは、少なくとも２個の値だけ少なくとも１つの先に処理されたパッチと重なり合う、
請求項１乃至１０のうちいずれか一項に記載の方法。
【請求項１３】
デジタルデータの低解像入力データ構造の超解像処理を行う装置であって、
低周波入力データ構造が取得されるように前記低解像入力データ構造をフィルタリングする第１のローパスフィルタと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算する加算器、減算器又は微分器と、
前記低解像入力データ構造をアップスケーリングするアップスケーラと、
低周波アップスケールドデータ構造が取得されるように前記アップスケーリングされた入力データ構造をフィルタリングする第２のローパスフィルタと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定する第１の決定ユニットと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探すサーチユニットと、
前記低周波入力データ構造内の前記第１のブロックの位置を決定する第２の決定ユニットと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するセレクタユニットと、
前記選択された第２のブロックのピクセルデータを、加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算する累算器と、
前記低周波アップスケールドデータ構造における複数のパッチについての処理の繰り返しを制御する制御ユニットと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化し、該正規化が、現在のピクセルについて、該現在のピクセルの累算された値に寄与しているピクセルの数によって前記現在のピクセルの前記累算された値を割ることを含む正規化ユニットと、
前記正規化された高周波アップスケールドデータ構造をフィルタリングするハイパスフィルタと、
超解像データ構造が取得されるように、前記ハイパスフィルタによりフィルタリングされた前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造と結合する結合ユニットと
を有する装置。
【請求項１４】
前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーするサーチ窓を決定するサーチ窓決定ユニットを更に有し、
前記サーチユニットは、前記サーチ窓内でのみ前記低周波入力データ構造において探す、
請求項１３に記載の装置。
【請求項１５】
前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするカウンタを更に有し、
前記正規化ユニットは、前記寄与の数によってピクセルごとの累算値を割る動作を実行する、
請求項１３又は１４に記載の装置。
【請求項１６】
デジタルデータの低解像入力データ構造の超解像処理を行う方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体であって、
前記方法は、
低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
前記選択された第２のブロックのピクセルデータを、加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を平均化することで正規化するステップと、
超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
を有する、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低解像入力データ構造の超解像バージョンを生成する方法及び対応する装置に関する。
【背景技術】
【０００２】
超解像（super-resolution；ＳＲ）処理は、定期的にサンプリングされた多次元信号の分解能の改善として知られている。それは、低解像信号しか利用可能でない場合にことさら重要である。単一の低解像信号が利用可能であるのか、それとも、複数の同様の低解像信号が利用可能であるのかは、後者の場合には幾つかの利用可能な信号の寄与を結合することでより豊かなデータ値を利用することが可能であることから、有意な違いである。画像処理の文献において、かかる方法は、一般的に、学習型超解像（example-based  super-resolution）又は、より正確に、単一像超解像（single-image  super-resolution）と呼ばれている。下記の見解は概要であり、異なる次元の信号に適用可能であるが、２Ｄ画像超解像の場合に焦点が合わせられる。
【０００３】
画像超解像技術は、Ｍ．Ｉｒａｎｉ及びＳ．Ｐｅｌｅｇ著“Super  Resolution  from  Image  Sequences”（非特許文献１）から始まって、長年にわたってよく知られている。通常、かかる技術は、像形成モデルを反転した再構成処理を用いて、ビデオシーケンスに含まれる連続画像のような、ノイジーで、不鮮明で、低解像度のオブザベーションの組を前提として、高解像画像の推定に関する。このように、画像間のサブピクセルモーション、カメラ及び後処理ブラー並びにサブサンプリングは、利用可能なデータを融合させて超解像画像を取得するために、反転される。幾つかの大域的に最適な反復技法が利用可能であり、それらは、基本的に、推定される画像の事前確率モデルにおいて異なる。これは、別の不良設定モデルに独特な解決法を提供する。
【０００４】
一般に、かかる技術の限定因子は、画像のデブラー処理のための点広がり関数（Point  Spread  Function；ＰＳＦ）の推定（しばしば、ガウス分布と考えられる）及びレジストレーション（画像間のサブピクセルモーションの決定）にある。一般的に、文献におけるＳＲ技術、例えば、Ｌｕｃａｓ−Ｋａｎａｄｅ法又はＨｏｒｎ−Ｓｃｈｕｎｃｋ法は、レジストレーションを得るための古典的なオプティカルフロー（Optical  Flow；ＯＦ）推定を指す。それらは、疑似的な作り事の例では有効に働くが、実際には、ＯＦ推定における既知の解決法は、より大域的な動きが現れる場合に、十分な精度を有してビデオシーケンスに含まれる連続フレームを確実にレジストレーションすることができない。
【０００５】
“Fundamental  Limits  of  Reconstruction-Based  Superresolution  Algorithms  under  Local  Translation”（非特許文献２）において、Ｚ．Ｌｉｎ及びＨ．−Ｙ．Ｓｈｕｍは、幅広い自然条件の下で、このような再構成に基づくＳＲアルゴリズムが約１．６倍の解像度における最大増加の本質的限界を有することを示す。しかし、論文は、利用可能な刊行物のほとんどにおいて共通して探求されている人工的シナリオにおいて、極めてより緩い限界が存在し、これは、最大で５．７倍の解像度増大を可能にすることを証明する。これは、サブピクセルシフトが一般にピクセルサイズの厳密な分数である場合に、レジストレーションに関する有利な条件に起因する。
【０００６】
代替のタイプのＳＲアルゴリズムは、より高い解像度の先験的に知られている標本を用いて、入力された視覚データ（低解像画像）の質を十分に高めることによって、画像の解像度を増大させようと試みる。かかる技術は、通常、学習型超解像（ＥＢＳＲ）と呼ばれている。“Example-based  super-resolution”（非特許文献３）において、Ｗ．Ｔ．Ｆｒｅｅｍａｎ、Ｔ．Ｒ．Ｊｏｎｅｓ及びＥ．Ｃ．Ｐａｓｚｔｏｒは、十分に包括的な画像パッチデータベースから適切な高解像度の標本を得、それらの高周波コンテンツは平均化され、入力画像の低周波コンテンツと融合される。しかし、アルゴリズムの性能は、標本データベースに含まれるケースから目標シーンが外れるにつれて（既知のパッチのいずれもが入力画像のパッチに実際に似ていない場合）、悪化する。実際に、データベースのサイズを大きくすることは、最も良く整合するトレーニングパッチの検索において必要以上の計算費用を負う。故に、この技術は、一般的に使用可能でなく、特定のクラスの超解像画像に焦点を合わせられている。
【０００７】
この問題をうまく処理し且つ拡大されるべきコンテンツに適応して動くために、他のＥＢＳＲアルゴリズムは、単一入力画像内から高解像標本を取り出し、そのために、異なる解像度での画像のピラミッド表示が、小さいダウンスケーリング係数で取得され得る。次いで、入力画像におけるパッチ（例えば、５×５ピクセル）ごとに、整合するパッチが、再構成に基づく超解像と同様にパッチ毎のデータ融合を実行するために、異なる解像度（ピラミッドにおける階層）にある画像の全て又は部分にわたって検索される。この技術は、Ｄ．Ｇｌａｓｎｅｒ、Ｓ．Ｂａｇｏｎ及びＭ．Ｉｒａｎｉ，“Super-Resolution  from  a  Single  Image”（非特許文献４）と、ビデオ超解像のためのフォローアップであるＯ．Ｓｈａｈａｒ、Ａ．Ｆａｃｔｏｒ及びＭ．Ｉｒａｎｉ，“Space-Time  Super-Resolution  from  a  Single  Video”（非特許文献５）とによって、最もよく説明されている。それらの著者は、幾つかの空間的及び時間的スケールでのビデオフレームにわたる３Ｄ時空間探索による計算複雑性の増大を犠牲にして、時間的なエイリアシングの除去を含めて、画像解像度及びフレームレートにおける同時的増大を得る。これは、アプローチを現在の計算能力による実時間演算のために使用不能にする。このアプローチはまた、国際公開第２０１０／１２２５０２（Ａ１）号パンフレット（特許文献１）において使用されている。
【０００８】
他の既知のアプローチは、やはり費用がかかり且つ概して実時間アプローチに用いられず、あるいは、過度のコントラストを強いることで何らかの非現実的な態様のエッジを生じさせる傾向があり、あるいは、テクスチャード加工の範囲において過度のスムージングを生成する傾向があり、これは一般的な場合において不自然に見える画像を生成するという欠点を伴う。
【０００９】
Ｇ．Ｆｒｅｅｄｍａｎ及びＲ．Ｆａｔｔａｌ，“Image  and  Video  Upscaling  From  Local  Self-Examples”（非特許文献６）において、提案されている方法は、夫々の画像パッチの局所的隣接における自己相似性を利用することである。これは、計算時間の削減という利点を有しながら、非特許文献４において使用される全画像探索に近い結果を提供することが示されている。このアプローチの欠点は、画像において高周波を低周波から分離するために使用されるスペースバリアント・フィルタの高度な設計がオンザフライで行われず、結果として、選択可能なアップスケーリング係数の組が限られることである。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】国際公開第２０１０／１２２５０２（Ａ１）号パンフレット
【非特許文献】
【００１１】
【非特許文献１】Ｍ．Ｉｒａｎｉ及びＳ．Ｐｅｌｅｇ，“Super  Resolution  from  Image  Sequences”，Int.  Conf.  on  Pattern  Recognition，１９９０年
【非特許文献２】Ｚ．Ｌｉｎ及びＨ．−Ｙ．Ｓｈｕｍ，“Fundamental  Limits  of  Reconstruction-Based  Superresolution  Algorithms  under  Local  Translation”，IEEE  Trans.  On  Pattern  Analysis  and  Machine  Intelligence，２００４年
【非特許文献３】Ｗ．Ｔ．Ｆｒｅｅｍａｎ、Ｔ．Ｒ．Ｊｏｎｅｓ及びＥ．Ｃ．Ｐａｓｚｔｏｒ，“Example-based  super-resolution”，IEEE  Computer  Graphics  and  Applications，２００２年
【非特許文献４】Ｄ．Ｇｌａｓｎｅｒ、Ｓ．Ｂａｇｏｎ及びＭ．Ｉｒａｎｉ，“Super-Resolution  from  a  Single  Image”，IEEE  Int.  Conf.  on  Computer  Vision，２００９年
【非特許文献５】Ｏ．Ｓｈａｈａｒ、Ａ．Ｆａｃｔｏｒ及びＭ．Ｉｒａｎｉ，“Space-Time  Super-Resolution  from  a  Single  Video”，IEEE  Conf.  on  Computer  Vision  and  Pattern  Recognition，２０１１年
【非特許文献６】Ｇ．Ｆｒｅｅｄｍａｎ及びＲ．Ｆａｔｔａｌ，“Image  and  Video  Upscaling  From  Local  Self-Examples”，ACM  Trans.  On  Graphics，２０１０年
【発明の概要】
【発明が解決しようとする課題】
【００１２】
本発明は、上記の問題のうちの少なくとも幾つかを解消する。本発明は、単一の低分解能信号が利用可能である場合に、定期的にサンプリングされた多次元信号の分解能の改善に関する。画像処理の文献において、かかる方法は、一般的に、学習型超解像又は、より正確には、単一像超解像と呼ばれる。ここで開示される方法論は概要であり、異なる次元の信号に適用され得るが、下記は、２Ｄ画像超解像の場合に焦点を当てる。
【課題を解決するための手段】
【００１３】
本発明に従って、単一像を超解像化することは、３つの段階を有する。第１に、入力画像の補間に基づくアップスケーリングが行われ、低解像画像に対する等価ローパスフィルタリング動作が続く。第２の段階は、高解像画像における被検パッチと、低解像低周波画像における局所的に隣接したパッチ（部分的に重なり合うパッチを含む）との間の低周波整合の検索、及び低解像画像から取得される対応する高周波寄与を累算することを有する。第３の段階は、高解像画像の低周波バンド及び外挿された高周波バンドの寄与を加算することを有する。
【００１４】
原理上、本発明に従う、単一の低解像デジタル入力データ構造Ｓ０の超解像バージョンを生成する方法は、アップスケールド高解像データ構造の低周波部分Ｌ１を取得するよう前記単一の低解像デジタル入力データ構造Ｓ０をアップスケーリング及びローパスフィルタリングするステップと、前記低解像デジタル入力データ構造Ｓ０を低周波部分Ｌ０と高周波部分Ｈ０とに分けるステップとを有する。前記アップスケールド高解像データ構造の高周波部分Ｈ１，ｉｎｔが生成され、これは最初、空である。次いで、前記アップスケールド高解像データ構造の低周波部分Ｌ１の複数のパッチの夫々について、前記低解像デジタル入力データ構造の低周波部分Ｌ０における最も良く整合するブロックが探索され、前記低解像デジタル入力データ構造の高周波部分Ｈ０におけるその対応するブロックが決定される。前記低解像デジタル入力データ構造の高周波部分Ｈ０からの前記決定されたブロックは、次いで、前記アップスケールド高解像データ構造の低周波部分Ｌ１における前記パッチが有する位置で、前記アップスケールド高解像データ構造の高周波部分Ｈ１，ｉｎｔに加えられる。最後に、前記アップスケールド高解像データ構造の結果として得られる高周波部分Ｈ１，ａｃｃは、寄与ピクセルの平均値へ正規化され、一実施形態では、ハイパスフィルタリングされる。前記アップスケールド高解像データ構造の前記正規化されハイパスフィルタリングされた高周波部分Ｈ１は、前記アップスケールド高解像データ構造の前記低周波部分Ｌ１に加えられ、これにより、前記単一の低解像デジタル入力データ構造Ｓ０の改善された超解像バージョンＳ１が得られる。
【００１５】
より良い読みやすさのために、語「ブロック」は、低解像データ構造における隣接する値のグループのためにここでは使用され、一方、語「パッチ」は、高解像データ構造における隣接する値のグループのために使用されることが留意される。なお、ブロック及びパッチは同じサイズ（すなわち、隣接する値の数及び形状）を有し、実質的に同じである。
【００１６】
本発明はまた、デジタルデータの低解像入力データ構造Ｓ０の超解像処理を実行する装置であって、低周波入力データ構造Ｌ０が取得されるように前記低解像入力データ構造Ｓ０をフィルタリングする第１のローパスフィルタＦｌ，０と、高周波入力データ構造Ｈ０が生成されるように前記低解像入力データ構造Ｓ０と前記低周波入力データ構造Ｌ０との間の差を計算する減算ユニット（例えば、加算器、減算器又は微分器）と、前記低解像入力データ構造Ｓ０をアップスケーリングするアップスケーラと、低周波アップスケールドデータ構造Ｌ１が取得されるように前記アップスケーリングされた入力データ構造をフィルタリングする第２のローパスフィルタＦｌ，１と、前記低周波アップスケールドデータ構造Ｌ１において、第１の位置にある第１のパッチを決定する第１の決定ユニットと、前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造Ｌ０において探すサーチユニットと、前記低周波入力データ構造Ｌ０内の前記第１のブロックの位置を決定する第２の決定ユニットと、前記決定された位置にある（すなわち、前記低周波入力データ構造Ｌ０内の前記第１のブロックについて決定された位置にある）前記高周波入力データ構造Ｈ０における第２のブロックを選択するセレクタユニットと、前記選択された第２のブロックのピクセルデータを、前記第１の位置で、高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算（例えば、加算）する累算器と、前記低周波アップスケールドデータ構造Ｌ１及びＨ１，ａｃｃにおける複数のパッチについての処理の繰り返しを制御する制御ユニットと、正規化された高周波アップスケールドデータ構造Ｈ１が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化（すなわち、平均化）する正規化ユニットと、超解像データ構造Ｓ１が取得されるように前記正規化された高周波アップスケールドデータ構造Ｈ１を前記低周波アップスケールドデータ構造Ｌ１と結合（例えば、加算）する結合ユニットとを有する装置に関する。前記高周波アップスケールドデータ構造（Ｈ１，ａｃｃ）は、最初は空である。実施形態において、正規化は、現在のピクセルについて、該現在のピクセルの累算された値に寄与しているピクセルの数によって前記現在のピクセルの前記累算された値を割ることを含む。
【００１７】
本発明はまた、デジタルデータの低解像入力データ構造Ｓ０の超解像処理を行う方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体であって、前記方法は、低周波入力データ構造Ｌ０が取得されるように第１のローパスフィルタによって前記低解像入力データ構造Ｓ０をフィルタリングするステップと、高周波入力データ構造Ｈ０が取得されるように前記低解像入力データ構造Ｓ０と前記低周波入力データ構造Ｌ０との間の差を計算するステップと、低周波アップスケールドデータ構造Ｌ１が取得されるように、前記低解像入力データ構造Ｓ０をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、前記低周波アップスケールドデータ構造Ｌ１において、第１の位置にある第１のパッチを決定するステップと、前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造Ｌ０において探し、前記低周波入力データ構造Ｌ０内の前記第１のブロックの位置を決定するステップと、前記決定された位置にある（すなわち、前記低周波入力データ構造Ｌ０内の前記第１のブロックについて決定された位置にある）前記高周波入力データ構造Ｈ０における第２のブロックを選択するステップと、前記選択された第２のブロックのピクセルデータを、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算（例えば、加算）するステップと、前記低周波アップスケールドデータ構造Ｌ１において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造Ｌ０において探すステップ、前記高周波入力データ構造Ｈ０における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、正規化された高周波アップスケールドデータ構造Ｈ１が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化（平均化）し、超解像データ構造Ｓ１が取得されるように前記正規化された高周波アップスケールドデータ構造Ｈ１を前記低周波アップスケールドデータ構造Ｌ１に加えるステップとを有する、コンピュータ可読媒体に関する。
【００１８】
本発明の利点は、（少なくとも一実施形態において）何らかの望ましい非整数の画像アップスケーリング係数により、何らかの１Ｄ、２Ｄ又は３Ｄデジタル入力データ構造（例えば、何らかのデジタル画像）のより高解像度の再現を生成することができる点である。更に、これは、一般的な方法において、任意の画像の事前確率の導入なしに、画像が異なる解像度で局所的な自己相似性を示すべきであるとの前提を超えてなされる。これは、一般の画像に適用できると証明されている。
【００１９】
本発明の他の利点は、利用される自己平均化により、従来の方法に比べて、アップスケーリングされたデータ構造において導入されるノイズが少ない点である。本発明の更なる利点は、単一像とともに働くが、有利に、データベース、コードブック又は同様のものを必要とせず、如何なるトレーニング又はトレーニングデータも必要としない点であり、一方、従来の単一像による方法は、高周波標本のトレーニングされたリトリービングのためのデータベースを必要とする。
【００２０】
本発明の有利な実施形態は、従属請求項、下記の説明、及び図面において開示される。
【図面の簡単な説明】
【００２１】
【図１】超解像処理を実行する方法のフローチャートである。
【図２】原の解像スケールでの類似するパッチの高周波情報の外挿による超解像画像の高周波バンドの合成を示す。
【図３】サーチ窓の例となる使用及び位置付けを示す。
【図４】オーバーラップを含む２Ｄ入力データ構造における連続するパッチの選択と、連続するパッチのための整合ブロックを決定する原理とを示す。
【図５】オーバーラップを含む１Ｄ入力データ構造における連続するパッチの選択と、連続するパッチのための整合ブロックを決定する原理とを示す。
【図６】高解像画像のアップスケールド低周波バンドＬ１の形成と、低解像入力画像Ｓ０の２バンド解析（Ｌ０，Ｈ０）とを示す。
【図７】超解像画像の高周波バンドＨ１を合成する処理の概念的ブロック図である。
【図８】超解像画像Ｓ１を生成するための補間された低周波バンドＬ１及び外挿された高周波バンドＨ１の融合を示す。
【図９】装置のブロック図である。
【図１０】従来の方法でアップスケーリングされた画像のスペクトルと、本発明に従ってアップスケーリングされた画像のスペクトルとの比較を示す。
【図１１】本発明の３つの主たる段階を示す。
【発明を実施するための形態】
【００２２】
本発明の実例となる実施形態は、添付の図面を参照して記載される。
【００２３】
図１は、本発明の実施形態に従って、デジタル１Ｄ、２Ｄ又は３Ｄデータの低解像入力データ構造Ｓ０の超解像処理を行う方法のフローチャートを示す。この実施形態において、方法は、
低周波入力データ構造Ｌ０が取得されるように第１のローパスフィルタＦｌ，０によって入力データ構造Ｓ０をフィルタリングするステップ１７０と、
加算器／減算器１８０において、高周波入力データ構造Ｈ０が取得されるように入力データ構造Ｓ０と低周波入力データ構造Ｌ０との間の差を計算するステップと、
低周波アップスケールドデータ構造Ｌ１が取得されるように、入力データ構造Ｓ０をアップスケーリング１２０し、このアップスケーリングされた入力データ構造を第２のローパスフィルタＦｌ，１によってフィルタリング１３０するステップと、
低周波アップスケールドデータ構造Ｌ１において、第１の位置にある第１のパッチＰｎ，Ｌ１を決定するステップと、
第１のパッチＰｎ，Ｌ１に最も良く整合する第１のブロックＢｎ，Ｌ０を低周波入力データ構造Ｌ０において探し１５１，１５２，１５４、低周波入力データ構造Ｌ０内の第１のブロックＢｎ，Ｌ０の位置を決定するステップと、
決定された位置にある高周波入力データ構造Ｈ０における第２のブロックＢｎ，Ｈ０を選択するステップ１５５と、
選択された第２のブロックＢｎ，Ｈ０のデータ値（例えば、ピクセルデータ）を、（第一のパッチＰｎ，Ｌ１について先に決定された）第１の位置で、高周波アップスケールドデータ構造Ｈ１，ａｃｃにおけるパッチである第２のパッチＰｎ，Ｈ１に累算するステップ１５７と、
低周波アップスケールドデータ構造Ｌ１において新しいパッチＰｎ，Ｌ１を決定するステップ、この決定されたパッチＰｎ，Ｌ１に最も良く整合するブロックＢｎ，Ｌ０を低周波入力データ構造Ｌ０において探すステップ１５１，１５２，１５４、高周波入力データ構造Ｈ０における対応するブロックＢｎ，Ｈ０を選択するステップ１５５、及び新しいパッチＰｎ，Ｌ１の位置にある高周波アップスケールドデータ構造Ｈ１，ａｃｃにおけるパッチＰｎ，Ｈ１に選択された対応するブロックＢｎ，Ｈ０のピクセルデータを累算するステップ１５７を繰り返すステップ１５０と、
正規化された高周波アップスケールドデータ構造Ｈ１が取得されるように高周波アップスケールドデータ構造Ｈ１，ａｃｃにおける累算されたピクセル値を正規化するステップ１９０と
を有する。最終的に、超解像データ構造Ｓ１は、正規化された高周波アップスケールドデータ構造Ｈ１を低周波アップスケールドデータ構造Ｌ１に加えることによって得られる。
【００２４】
幾つかの実施形態において、第２のローパスフィルタＦｌ，１によるフィルタリング１３０後のアップスケーリングされた入力データ構造は、ｎ＞ｄとして、ダウンスケーリング係数ｄによってダウンスケーリング１４０される。このようにして、全体の非整数アップスケーリング係数ｎ／ｄは、低周波アップスケールドデータ構造Ｌ１について求められる。高周波アップスケールドデータ構造Ｈ１，ｉｎｉｔ（又はＨ１）は、低周波アップスケールドデータ構造Ｌ１と同じサイズを有する。Ｈ１のサイズは、予め定義されても、又はＬ１から導出されてもよい。Ｈ１は、初期化ステップ１６０で、このサイズの空のデータ構造Ｈ１，ｉｎｉｔへ初期化される。
【００２５】
図２は、原の解像スケールＨ０での類似するパッチの高周波情報の外挿による超解像（すなわち、高解像）画像の高周波バンドＨ１の合成の原理を示す。図２乃至７に関する下記の説明において高周波高解像データ構造Ｈ１が記述される場合に、実際には、フィルタリング及び正規化をなされていない高周波高解像データ構造Ｈ１，ａｃｃが言及されている点に留意されたい。
【００２６】
高解像画像Ｌ１の低周波バンドは、最初に、幾らかのオーバーラップを有して小さいパッチＰｎ，Ｌ１（例えば、５×５ピクセル）に分けられる。オーバーラップの量の選択は、高周波アーティファクトへのロバスト性（より多いオーバーラップの場合）と計算速度（より少ないオーバーラップの場合）とのトレードオフを伴う。一実施形態では、夫々の方向における２０〜３０％のオーバーラップが選択される。すなわち、例えば５つの値を有する隣接パッチに関しては、２つの値が重なり合う。他の実施形態では、オーバーラップはより大きく、例えば、３０〜４０％、４０〜５０％、約５０％（例えば、４５〜５５％）又は最大で９０％であってよい。パッチサイズの２０％を下回るオーバーラップに関して、本発明の下記の効果は、通常、より低い。
【００２７】
先に及び以下で更に述べられているように、最終的な高周波バンドＨ１は、夫々のピクセルに寄与するパッチの数によって正規化後に得られ、よって、結果として、平均値が得られる。パッチ間のオーバーラップが大きくなればなるほど、高周波外挿処理から得られる高周波アーティファクトの抑制はますます良くなり、累算される値はますます多くなる。
【００２８】
次いで、夫々の低周波高解像パッチＰｎ，Ｌ１について、平均絶対差（mean  absolute  difference；ＭＡＤ，モーション推定から知られる）に関する最良の整合（best  matching）は、低解像画像の低周波バンドＬ０にわたる局所的なサーチ窓（例えば、１１×１１ピクセル）における全数検索後に得られる。最良の整合は、低周波高解像パッチＰｎ，Ｌ１（例えば、５×５ピクセル）と同じサイズを有する低周波低解像画像Ｌ０からのブロックＰｎ，Ｌ０である。サーチ窓に関する更なる詳細は、図４に関して以下で記載される。
【００２９】
次のステップを理解するために、図２に示されるように、低解像低周波データ構造Ｌ０は低解像高周波データ構造Ｈ０と同じ次元を有し、高解像低周波データ構造Ｌ１は高解像高周波データ構造Ｈ１と同じ次元を有することが留意されるべきである。パッチ毎に、整合した低周波低解像パッチＰｎ，Ｌ０（Ｌ０内）の位置が決定され、整合した低周波低解像パッチＰｎ，Ｌ０のその位置にある対応する低解像高周波パッチＰｎ，Ｈ０（Ｈ０内）が取り出される。Ｈ０からの取り出された低解像高周波パッチＰｎ，Ｈ０は、次いで、高解像低周波データ構造Ｌ１における現在のパッチが有する同じ位置で、高解像画像の高周波バンドＨ１に累算される。詳細には、Ｈ０からの取り出された低解像高周波パッチＰｎ，Ｈ０の各値（例えば、ピクセル）は、高解像画像の高周波バンドＨ１の夫々のパッチにおける対応する値（例えば、ピクセル）に累算される。このように、高解像画像の高周波バンドＨ１は、パッチに基づく累算によって合成される。重なり合ったパッチにおいて高解像画像の低周波バンドＬ１を分割し、最良の低周波整合を見つけ、対応する周波寄与を累算する処理は、図３において図解されており、以下で記載される。
【００３０】
結果として、高解像データ構造の結果として得られる（予備的な）高周波バンドＨ１における各値は、複数の寄与するパッチからの値の和である。Ｌ１における（結果として、更に、Ｈ１における（両者は同じ次元を有するため。））パッチのオーバーラップにより、少なくとも２つのパッチからの値がＨ１における多数又は全ての値に寄与する。従って、高解像データ構造の結果として得られる（予備的な）高周波バンドＨ１は正規化１９０される。このために、高周波高解像データ構造Ｈ１における各値についてのＨ０からの寄与値の数は、合成処理の間にカウントされ、Ｈ１，ａｃｃにおける各累算値は、最終的に寄与の数によって割られる。
【００３１】
図３は、低解像低周波データ構造Ｌ０内のサーチ窓の使用及びポジショニングを例示する。Ｌ１における第１のパッチＰ１１，Ｌ１に関し、第１の最も良く整合するブロックＰ１１，Ｌ０は、第１のサーチ窓Ｗ１１内でＬ０において検索される。両パッチは同じサイズを有する。サーチ窓は、夫々の方向において少なくとも１つの値だけパッチよりも大きい（第１のパッチに関しては、エッジ上を除く）。この例では、第１の最も良く整合するブロックＰ１１，Ｌ０は、第１のサーチ窓Ｗ１１の左上角において、Ｌ０において見つけられる。このパッチ及びブロックのための更なる処理は、上述されたとおりである。次いで、次のパッチは水平方向及び／又は垂直方向でシフトされ、夫々のパッチは前のパッチと重なり合う。
【００３２】
例において、第２のパッチＰ１２，Ｌ１は、所与のパッチ前進によって水平方向にシフトされる位置で選択される。パッチ前進は、パッチサイズとオーバーラップとの間の差である。異なる次元（例えば、２Ｄ構造に関して水平方向及び垂直方向）におけるパッチ前進は異なってよく、これにより、高解像出力データ構造の次元において異なる効果又は品質がもたらされ得るが、それらは、通常は等しい。新しいサーチ窓Ｗ１２は、新しいパッチ位置に従って決定される。原理上、サーチ窓は、パッチと同じ方向であるがよりゆっくりと前進する。よって、現在のサーチ窓は、ここでの場合のように、前のサーチ窓と同じ位置にあってよい。しかし、他のパッチＰ１２，Ｌ１がそのサーチ窓において検索されるので、最も良く整合するパッチＰ１２，Ｌ０の位置は、通常は異なる。次いで、最も良く整合するパッチＰ１２，Ｌ０は、上述されたように、低周波高解像パッチＰ１２，Ｌ１の位置で、高解像高周波データ構造Ｈ１に累算される。次のパッチＰ１３，Ｌ１、Ｐ１４，Ｌ１が決定され、それらの最良の整合が同じように検索される。図３に示されるように、サーチ窓内の最も良く整合するブロックの位置は任意であり、入力データ（例えば、画像コンテンツ）に依存する。上記の説明は、１次元（１Ｄ）のデータ構造については十分である。２Ｄデータ構造に関し、更なる後のパッチの位置は、垂直方向のパッチ前進によって見つけられる（これは、水平方向のパッチ前進と組み合わされてもされなくてもよい。）。また、垂直方向のパッチ前進は、上述され且つＰ２１，Ｌ１、・・・、Ｐ２３，Ｌ１に関して図３に示されるように、オーバーラップを含む。
【００３３】
サーチ窓の位置は、現在のパッチの位置に従って決定される。図３に示されるように、異なるパッチのサーチ窓Ｗ１１、・・・、Ｗ２２は重なり合う。Ｌ０はＬ１に類似するデータ構造であるから、夫々の次元におけるサーチ窓の前進は極めて小さい。一実施形態では、サーチ窓は、それらの対応するパッチがＬ１のエッジ上にある場合はＬ０のエッジ上にあり、それは、それらのエッジの間で一様に及び／又は比例的に動かされる。
【００３４】
一実施形態（図３には図示せず。）では、サーチ窓の中心は、パッチの中心に略比例する位置に設定される。例えば、パッチの中心が高解像データ構造Ｌ１の３％にある場合に、サーチ窓の中心は、低解像データ構造Ｌ０のおよそ３％（端数切り捨て）にあるよう設定される。この場合に、エッジ近くのパッチに関し、サーチ窓のサイズは小さくされてよく、あるいは、サーチ窓は低解像データ構造Ｌ０内に完全にシフトされてよい。
【００３５】
概して、サーチ窓が大きければ大きいほど、非常に類似したパッチを見つける可能性はますます高くなる。しかし、実際には、局所的なパッチ構造は大域的な自然画像における極めて局所的な領域においてしか見つけられない可能性が高いので、サーチ窓を大いに増大させることによる精度の差はほとんど期待されない。更に、より大きいサーチ窓は、検索の間、より多くの処理を要する。
【００３６】
図４は、画像（すなわち、２Ｄ入力データ構造）における連続するパッチの選択、オーバーラップ、及び連続するパッチのための整合ブロックを決定する原理の詳細を示す。代表的に、パッチ及びブロックは５×５ピクセルを有し、サーチ窓は１２×１２ピクセルを有する。Ｌ１における第１のパッチＰ１，Ｌ１に関し、サーチ窓Ｗ１は、上述されたように、Ｌ０において決定される。サーチ窓Ｗ１内で、異なるブロック位置での第１のパッチの比較が行われ、最小平均絶対差（ＭＡＤ）を有するブロックＢ１，Ｌ０が決定される。これは、最も良く整合するブロックである。低解像低周波データ構造Ｌ０内のその位置が決定される。例えば、その左上角は、３行目第３列にある。
【００３７】
次いで、高周波低解像画像Ｈ０における同じ位置にある対応するパッチが決定される。よって、それは、その左上角が３行目第３列にある５×５ピクセルパッチである。このパッチは、Ｈ０から取り出され、現在の低周波高解像パッチＰ１，Ｌ１の位置で、すなわち、Ｈ１の左上角で、Ｈ１に加えられる（図４ａ参照）。
【００３８】
第２のパッチＰ２，Ｌ１は、図４ｂ）に示されるように、用いられるパッチ前進に従って選択される。パッチ前進は、この場合に、両方の方向において２ピクセルであり、これは、５×５ピクセルのパッチサイズにより、オーバーラップが３であることを意味する。よって、この例では、垂直オーバーラップｖｖ及び水平オーバーラップｖｈは等しい。よりゆっくりとしたサーチ窓の前進により、サーチ窓Ｗ２は、前のパッチに対するものと同じである。しかし、異なるピクセル値（任意の画像コンテンツに従う）により、サーチ窓内の他の最も良く整合するブロックＢ２，Ｌ０が見つけられる。上述されたのと同じように、その位置が決定され（例えば、２行目第７列にある左上角）、対応する５×５ブロック（左上角が２行目第７列にある）がＨ０から取り出され、Ｈ０からの取り出されたブロックは、第２のパッチＰ２，Ｌ１の位置で、すなわち、１行目第３列にあるその左上角により、高周波高解像画像Ｈ１に加えられる。よって、２又はそれ以上の異なるパッチに属する特定のピクセルは、最も良く整合するブロックの対応するピクセルから累算される。すなわち、代表的に、高解像高周波画像Ｈ１の５行目第４列にある特定のピクセル（図４に示されるＬ１における位置に対応）は、記載されている処理の目下の段階で、７行目第６列にあるピクセルから（第１のパッチの最も良く整合するブロックＢ１，Ｌ０から）及び６行目第８列にあるピクセルから（第２のパッチの最も良く整合するブロックＢ２，Ｌ０から）累算される値を有する。
【００３９】
上述されたように、サーチ窓は、通常、複数のパッチが処理された後にのみ前進する。上記の構成に関して図４ｃ）で例示されるように、それは、サーチ窓Ｗ３が水平方向において１ピクセルだけシフトされる前に、三度のパッチ前進（すなわち、４番目のパッチ）を要する。更に、パッチ前進（及び、よって、サーチ窓前進）の様々な次元の順次的な順序は違いがないことがここでは留意される。よって、図４ｄ）に表されるパッチは、前のパッチがＬ１の右側エッジまでシフトされた後に処理されてよいが、それはまた、図４ａ）に示されるような第１のパッチの後に直接処理されてもよい。
【００４０】
図５は、１Ｄデータ構造のための対応する例を示す。この場合にも、低周波高解像データ構造Ｌ１の位置＃１・・・＃４にある第１のパッチ（Ｘで表される値を有する）は、低周波低解像データ構造Ｌ０サーチ窓ｗ１内で見つけられる。例えば、位置＃２・・・＃５にある値。よって、位置＃２・・・＃５での対応するＨ０（図示せず。）の値は、位置＃１・・・＃４でＨ１（図示せず。）へ加えられる。第２のステップで、Ｌ１の位置＃３・・・＃６での第２のパッチは、Ｌ０において、例えば、Ｌ０の位置＃３・・・＃６（サーチ窓の位置＃２・・・＃５）で、第２のサーチ窓ｗ２内で見つけられる。よって、位置＃３・・・＃６での対応するＨ０（図示せず。）の値は、位置＃２・・・＃５でＨ１（図示せず。）へ加えられ、以降続く。
【００４１】
１Ｄ及び２Ｄデータ構造に関して上述されたのと同じ原理は、３Ｄデータ構造を含むあらゆる多次元データ構造にも適用可能である。
【００４２】
上述されたように、単一像を超解像化するための開示される方法は、３つの段階から成る。本発明の第１の段階として、図６は、高解像画像のアップスケーリングされた低周波バンドＬ１の形成、及び低解像入力画像Ｓ０の２バンド解析（Ｌ０，Ｈ０）の原理を示す。方法のこの第１の段階の目的は、一実施形態において分数であるアップスケーリング係数により高解像画像の低周波バンドＬ１と、同じ正規化されたバンド幅を有する低解像画像Ｌ０と、低解像画像の残りの高周波成分Ｈ０とを得ることである。低周波部分Ｌ０及び高周波部分Ｈ０への低解像入力画像Ｓ０の２バンド解析が実行される。低解像画像のカットオフ正規化周波数は、高解像画像のそれと等しい。一実施形態では、可分なフィルタが、平方点広がり関数（ＰＳＦ）による大規模な畳み込みを回避するために使用される。これは、補間高解像フィルタＦｌ，１及びローパス低解像フィルタＦｌ，０の両方が十分に１次元フィルタとして表され得ることを意味する。このために、必要に応じて、ＰＳＦは、対応する係数ベクトルのテンソル積として計算され得る（Ｆｌ，１２Ｄ＝Ｆｌ，１Ｆｌ，１Ｔ及びＦｌ，０に関して同様）。
【００４３】
以下で、フィルタの設計のための一実施形態が記載される。
【００４４】
図６に示される２つのフィルタの設計は、主に、低解像ＦＩＲフィルタＦｌ，０の次数Ｎ０の任意の選択及び有理数のアップスケーリング係数ｎ／ｄによって決定される。常のごとく、次数の選択は、畳み込みのための利用可能な計算時間によって決定される。概して、８・・・１６の次数における値は、急峻な十分な遷移バンドを提供するのに十分であるべきである。次数Ｎのために偶数値を選択し、これによりＮ＋１個のフィルタ係数が得られることによって、更なる位相シフトは回避され、より正確な高周波バンドが得られる。ローパスフィルタＦｌ，１及びＦｌ，０はいずれも実数であり、直線位相を有する。すなわち、それらは有限インパルス応答（finite  impulse  response；ＦＩＲ）フィルタである。対応するカットオフ周波数での各フィルタの正規化ゲインは、−６ｄＢと定義される。係数は、長さＮ＋１のハミング窓を用いる離散ｓｉｎｃ関数として定義される。フィルタ振幅は、概して、ウィンドウイング後のローパスバンドの中心でのスケーリングとして定義される。
【００４５】
高解像補間フィルタ
それらの規則を念頭に置いて、設計すべき第１のフィルタは、高解像補間フィルタＦｌ，１である。低解像フィルタＦｌ，０のための所望の次数Ｎ、有理数のアップスケーリング係数ｎ／ｄ、及び前の段落からの設計規則を鑑み、残りの欠けているパラメータは、スケーリング係数σ１（既知のサンプル間に挿入されているｎ個のゼロに対処するため）、高解像フィルタＦｌ，１のための次数Ｎ１、及びそのカットオフ正規化周波数Ω１である。それらのパラメータは、σ１＝ｎ、Ｎ１＝Ｎ０ｎ、及びΩ１＝ｍｉｎ（１／ｎ，１／ｄ）＝１／ｎである。カットオフ周波数は、既存のサンプル間へのゼロの挿入によって生じるスペクトルレプリカを削除する要件に従う。
【００４６】
低解像等価ローパスフィルタ
この場合に、ゼロは既存のサンプル間に導入されず、従って、このフィルタの振幅はσ０＝１である。このフィルタの次数は予め任意に定義されており、カットオフ周波数はΩ０＝ｄ／ｎに設定される。この値は、高解像画像に適用される補間フィルタ後のデシメーションを補償する。
【００４７】
このフィルタ設計によれば、低解像入力画像の解析された低周波成分は、正規化されたバンド幅に関して、所望の高解像画像の低周波成分に整合する。反対に、低解像画像の解析された高周波成分は、高解像画像の欠けている高周波バンドを推定するために使用される。
【００４８】
本発明の第２の段階の目的は、入力画像における局所的な自己相似性を利用することによって、高解像画像の高周波バンドを合成することである。これは、小さいパッチ毎に基づく。方法は、概して、低解像画像の解析された低周波成分のためのより幅広い周波数バンド幅（増大された情報）の利用可能性により、より小さい倍率係数を用いることが有効である。これは、類似する低周波コンテンツを有する画像パッチのためのより良い選択性を提供する。これは、図７において概略的に図解される。方法の更なる詳細は、以下で論じられる。
【００４９】
図７は、超解像画像の高周波バンドを合成する処理の概念的ブロック図７００を例示する。これは、原理上、低解像画像の高周波バンドＨ０を外挿することによって行われる。信号Ｗ１（ｔ）及びＷ０（ｔ）は、処理されている現在の画像パッチに応じて時間において変化する位置を有する空間窓であり、パッチ前進及びサーチ窓前進を夫々象徴する。すなわち、例えば、高解像画像の低周波バンドＬ１が分割される小さいパッチ（例えば、５×５ピクセル）の前進及びオーバーラップは、低周波高解像データ構造Ｌ１内を、及び、同時に、高解像データ構造の高周波バンドＨ１内を第１の速度で進む窓Ｗ１（ｔ）として理解され得る。低解像画像の低周波バンドＬ０にわたるサーチ窓の前進は、時間変化する窓Ｗ０（ｔ）によってモデル化され、これは、同じように低解像画像の高周波バンドＨ０に適用される。サーチユニット７１０は、サーチ窓内で最も良く整合するブロック（すなわち、最小ＳＡＤを有するもの）のための全数検索を実行する。その位置は、上述されたように、低解像画像の高周波バンドＨ０に適用される。検索は、通常、ある存続期間を有するので、この遅延は、遅延補償ユニット７２０，７３０によって補償される。低解像高周波データ構造Ｈ０における対応するパッチは、抽出ユニット７４０で取り出され、累算ユニット７５０で高解像高周波データ構造Ｈ１へ累算される。同様の実施形態は、１Ｄ又は３Ｄのような、２Ｄとは異なる次元を有するデータ構造のために導出され得る。
【００５０】
第３の段階は、最終的な高解像画像の形成である。この段階の目的は、高解像画像の低周波バンドＬ１を高解像画像の正規化された高周波バンドＨ１と適切に融合することである。正規化された高周波高解像バンドＨ１は、低周波高解像バンドＬ１による加算の前に、ハイパスフィルタリングされ得る。このハイパスフィルタリングは、スペクトル適合性を確かにするために有利であるが、Ｌ１及びＨ１が実質的に重なり合った周波数を有さない場合に省略され得る（図８ｂ参照）。
【００５１】
図８は、超解像画像Ｓ１を生成するための低周波高解像バンドＬ１と正規化された高周波高解像バンドＨ１との融合を例示する。正規化された高周波バンドＨ１は、低周波バンドとのスペクトル適合性を確かにするために、ハイパスフィルタ８００を用いてフィルタリングされる。
【００５２】
高解像ハイパスフィルタ
フィルタＦｈ，１は、第１の段階におけるフィルタＦｌ，０、Ｆｌ，１と同じように設計される。この場合に、目的は、カットオフ周波数Ω１，ｈ＝ｄ／ｍａｘ（ｎ，ｄ）＝ｄ／ｎを有するハイパスフィルタを得ることである。その次数は、低解像フィルタの次数のスケーリングされたもの、すなわち、Ｎ１，ｈ＝ｒｏｕｎｄ（Ｎ０ｎ／ｄ）に設定され、その振幅はσ１，ｈ＝１である。可分なハイパスフィルタの最終的な係数は、同じカットオフ周波数を有する相補的なローパスフィルタの係数を差し引いた、ハミング窓の中心と整列されたクロネッカーのデルタ（Kronecker  delta）に設定される。すなわち、ハイパスフィルタは、所望のハイパスフィルタと同じカットオフ周波数を有するローパスフィルタを差し引いた全パスフィルタ（係数の組はクロネッカーのデルタと等しい）として定義される。これは、図８ｂ）に図表を用いて示されている。図８ｂ）において、左側は、ハイパスフィルタの所望の周波数応答ＨＰであり、右側は、全パスフィルタＡＰと上記のローパスフィルタＬＰとの応答の差である。
【００５３】
上記の説明から明らかになったように、高解像画像の低周波バンドＬ１は、原理上、補間によって得られ、一方、高解像画像の高周波バンドＨ１は、原理上、外挿によって得られる。
【００５４】
図９は、デジタルデータの低解像入力データ構造Ｓ０の超解像処理を行う装置であって、低周波入力データ構造Ｌ０が取得されるように入力データ構造Ｓ０をフィルタリングする第１のローパスフィルタ９７０と、高周波入力データ構造Ｈ０が生成されるように入力データ構造Ｓ０と低周波入力データ構造Ｌ０との間の差を計算する加算器、減算器又は微分器９８０と、入力データ構造Ｓ０をアップスケーリングするアップスケーラ９２０と、低周波アップスケールドデータ構造Ｌ１が取得されるように、アップスケーリングされた入力データ構造をフィルタリングする第２のローパスフィルタ９３０と、低周波アップスケールドデータ構造Ｌ１において、第１の位置にある第１のパッチを決定する第１の決定ユニット９５１と、第１のパッチに最も良く整合する第１のブロックを低周波入力データ構造Ｌ０において探すサーチユニット９５２と、低周波入力データ構造Ｌ０内の第１のブロックの位置を決定する第２の決定ユニット９５４と、決定された位置にある（すなわち、低周波入力データ構造内の第１のブロックについて決定された位置にある）高周波入力データ構造Ｈ０における第２のブロックを選択するセレクタユニット９５５と、選択された第２のブロックのピクセルデータを、最初は空である第１の位置での高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算（すなわち、加算）する累算器９５７と、低周波アップスケールドデータ構造Ｌ１における複数のパッチについての処理の繰り返しを制御する制御ユニット９５０と、正規化された高周波アップスケールドデータ構造Ｈ１が取得されるように高周波アップスケールドデータ構造における累算されたピクセル値を正規化（すなわち、平均化）する正規化ユニット９９０と、正規化された高周波アップスケールドデータ構造Ｈ１をフィルタリングするハイパスフィルタ９９５と、超解像データ構造Ｓ１が取得されるように、ハイパスフィルタによりフィルタリングされた正規化された高周波アップスケールドデータ構造Ｈ１を低周波アップスケールドデータ構造Ｌ１と結合する結合ユニット９９９とを有する装置を示す。適切なサイズを有する様々なメモリＭｅｍＬ０、ＭｅｍＬ１、ＭｅｍＨ０、ＭｅｍＨ１は、中間記憶のために使用され得る。なお、これらは、１又はそれ以上の物理メモリとして実施されてよい。原理上、正規化（すなわち、平均化）は、現在のピクセルについて、その現在のピクセルの累算された値に寄与しているピクセルの数によって現在のピクセルの累算された値を割ることを含む。なお、実質的に同等の結果をもたらす如何なる正規化方法も使用され得る。
【００５５】
更なる実施形態は、それらの幾つかが図１及び／又は図９においても示されており、以下で記載される。
【００５６】
一実施形態では、方法は、低周波入力データ構造Ｌ０において第１のサーチ窓Ｗ１を決定するステップ１５１，１５２を更に有し、第１のサーチ窓Ｗ１は、高周波アップスケールドデータ構造Ｌ１において第１の位置に対応する位置にあるブロックの周りの領域をカバーし、前記低周波入力データ構造Ｌ０において探すステップ１５２，１５４は、第１のサーチ窓Ｗ１内でのみ実行される。低周波入力データ構造Ｌ０においてサーチ窓Ｗ１を決定するステップ１５１，１５２は、低周波アップスケールドデータ構造Ｌ１において新しいパッチごとに繰り返される。
【００５７】
一実施形態では、サーチ窓によってカバーされる領域は、高周波アップスケールドデータ構造Ｌ１において第１の位置に対応する位置にあるブロックの周りの低周波アップスケールドデータ構造Ｌ０の夫々の方向における複数の値を有する。
【００５８】
一実施形態では、低周波アップスケールドデータ構造Ｌ１における夫々の新しいパッチＰｎ，Ｌ１は、少なくとも１つの前に処理されたパッチと重なり合う。
【００５９】
一実施形態では、低周波アップスケールドデータ構造Ｌ１は、入力データ構造Ｓ０をアップスケーリング係数ｎによってアップスケーリング１２０し、アップスケーリングされた入力データ構造を第２のローパスフィルタＦｌ，１によってフィルタリング１３０し、フィルタリングされたアップスケーリングされた入力データ構造をダウンスケーリングユニット９４０においてダウンスケーリング係数ｄによってダウンスケーリング１４０することによって取得され、ｎ＞ｄである。このようにして、最終の非整数スケーリング係数ｎ／ｄが取得される。
【００６０】
一実施形態では、第１のローパスフィルタＦｌ，０及び第２のローパスフィルタＦｌ，１は、同等のフィルタである（すなわち、正規化されたカットオフ周波数に係る）。
【００６１】
一実施形態では、第１のローパスフィルタＦｌ，０は、次数Ｎ０、σ０＝１の大きさ、及びΩ０＝ｄ／ｎの正規化されたカットオフ周波数の特性を備え、第２のローパスフィルタＦｌ，１は、Ｎ１＝ｎＮ０の次数、σ１＝ｎの大きさ、及びΩ１＝１／ｎの正規化されたカットオフ周波数の特性を備える。
【００６２】
一実施形態では、方法は、ハイパスフィルタＦｈ，１により高周波アップスケールドデータ構造Ｈ１，ａｃｃをフィルタリングするステップを更に有する。ハイパスフィルタＦｈ，１は、Ω１，ｈ＝ｄ／ｎの正規化されたカットオフ周波数、Ｎ１，ｈ＝ｒｏｕｎｄ（Ｎ０×ｎ／ｄ）の次数、及びσ１，ｈ＝１の大きさを有する。
【００６３】
一実施形態では、低周波アップスケールドデータ構造Ｌ１において新しいパッチＰｎ，Ｌ１を決定するステップ、該決定されたパッチＰｎ，Ｌ１に最も良く整合するブロックを低周波入力データ構造Ｌ０において探すステップ１５２，１５４、高周波入力データ構造Ｈ０における対応するブロックＢｎ，Ｈ０を選択するステップ１５５、及び新しいパッチＰｎ，Ｌ１の位置にある高周波アップスケールドデータ構造Ｈ１，ａｃｃにおけるパッチＰｎ，Ｈ１にその選択された対応するブロックＢｎ，Ｈ０のピクセルデータを累算するステップ１５７は、低周波アップスケールドデータ構造Ｌ１の全体がカバーされるまで全てのパッチについて繰り返される。
【００６４】
一実施形態では、方法は、高周波アップスケールドデータ構造Ｈ１，ａｃｃにおいてピクセルごとの寄与の数、すなわち、高周波アップスケールドデータ構造Ｈ１，ａｃｃのピクセルに寄与した高周波入力データ構造Ｈ０からのブロックの数をカウントするステップを更に有する。その場合に、正規化するステップ１９０は、カウントするステップによって取得された寄与の数によってＨ１，ａｃｃにおけるピクセルごとの累算値を割ることを含む。
【００６５】
一実施形態では、入力データ構造Ｓ０は、２Ｄデジタル画像である。他の実施形態では、入力データ構造Ｓ０は、３Ｄデジタル画像である。デジタル画像は、一般的に、デジタルビデオシーケンスの部分であってよい。
【００６６】
一実施形態では、入力データ構造Ｓ０は、デジタル２Ｄデータを有し、夫々のブロック及び夫々のパッチは、少なくとも５×５個の値を有し、サーチ窓は、少なくとも９×９個の値をカバーし、夫々のパッチは、少なくとも２個の値だけ少なくとも１つの先に処理されたパッチと重なり合う。
【００６７】
一実施形態では、装置は、低周波入力データ構造Ｌ０、低周波アップスケールドデータ構造Ｌ１、高周波入力データ構造Ｈ０、及び高周波アップスケールドデータ構造Ｈ１のうちの少なくとも１つの中間記憶のための少なくとも１つのメモリＭｅｍＬ０、ＭｅｍＬ１、ＭｅｍＨ０、ＭｅｍＨ１を更に有する。
【００６８】
一実施形態では、装置は、低周波入力データ構造Ｌ０においてサーチ窓Ｗ１を決定するサーチ窓決定ユニットをサーチユニット９５２内で更に有し、サーチ窓Ｗ１は、高周波アップスケールドデータ構造Ｌ１において第１の位置に対応する位置にあるブロックの周りの領域をカバーし、サーチユニット９５２は、第１のサーチ窓Ｗ１内でのみ低周波入力データ構造Ｌ０において探す。
【００６９】
一実施形態では、装置は、高周波アップスケールドデータ構造Ｈ１，ａｃｃにおいてピクセルごとの寄与の数をカウントするカウンタ９５３を更に有する。正規化ユニット９９０は、寄与の数によってピクセルごとの累算値を割る動作を実行する。
【００７０】
図１０は、ａ）及びｂ）において、画像及びその原のスペクトルを示す。更に、図１０ｃ）は、本発明に従って画像がアップスケーリングされた後のその画像のスペクトルを示し、図１０ｄ）は、既知の双三次補間を用いて従来手法でアップスケーリングされた後の画像のスペクトルを示す。認識され得るように、従来手法でアップスケーリングされた画像のクリッピングされたスペクトルは改善され、本例では、対角線沿いの付加的な値において可視的である。つまり、本発明に従ってアップスケーリングされたデータ構造のスペクトルは、従来手法によりアップスケーリングされたデータ構造のスペクトルよりも原のスペクトルに近づくことが、本発明の利点である。周波数スペクトルは、開示されている方法が如何にして、アッスケーリングされた画像の欠けている高周波をもっともらしく外挿することができるのかを明示し（それらは、アップスケーリングされた画像におけるより鮮明な輪郭に見られ、より視覚的に魅力的な画像が得られる。）、一方、双三次補間は、多大なエイリアシング・アーティファクトを導入する。
【００７１】
開示されている方法は、より高い解像度のバージョンが推定されるべきである多数の公に利用可能な低解像入力メッセージに対して実施及びテストされてきた。一実施形態では、それは、概して、入力画像の輝度チャネルにのみ適用され、色アップスケーリングを双三次補間のようなより高速なアルゴリズムに任せる。図１０の例では、超解像画像は、１．５倍（ｎ＝３，ｄ＝２）の小さいアップスケーリング係数を三回入力画像に繰り返し適用することによって取得された。
【００７２】
図１１は、単一像を超解像化するための開示される方法に含まれる３つの基本的な段階を示す。第１の段階１１１０で、入力画像の補間に基づくアップスケーリングが行われ、低解像画像に対する等価ローパスフィルタリング動作が続く。第２の段階１１２０は、高解像画像における被検パッチと、部分的に重なり合うパッチを含む低解像低周波画像における局所的に隣接したパッチとの間の低周波整合の検索、及び低解像画像から取得される高周波寄与を累算することを有する。第３の段階１１３０は、正規化及びハイパスフィルタリングと、高解像画像の低周波バンド及び外挿されるハイパスフィルタリング及び正規化された高周波バンドの寄与の加算と有する。
【００７３】
デジタル画像として簡単に示されているが、他のタイプのデジタルデータ構造が、当業者に明らかなように、デジタル画像以外に構成されてよいことが留意されるべきであり、それらのデジタルデータ構造の全ては本発明の範囲内に包含される。同様の原理は、画像ノイズ除去又は他の復元プロシージャのような他の画像処理タスクに、更には、オーディオ信号のような異なる性質及び次元の超分解能信号を取得するために、適用され得る。
【００７４】
開示されている方法は、単一像とともに働くが、有利に、高周波部分（すなわち、詳細）を含む十分な標本を取り出すためのデータベースを必要としない。
【００７５】
他の利点として、開示されている方法は、比較的計算的に効率的であり（それは単一像しか必要とせず、メインの処理ステップは小規模の局所検索である。）、アップスケーリング係数の定義が柔軟であり（それは有理数のアップスケーリング係数及び簡単なＦＩＲフィルタ設計を可能にする。）、更には、異なる性質の信号を処理するために一般化され得る（信号モデルにおける事前の推定は、局所的な自己相似性を超えて、必要とされない。）。
【００７６】
本発明の更なる利点は、入力データ構造の単一のアップスケーリングプロシージャしか用いられず、且つ、外挿がその原の解像度で入力データ構造からなされることである。よって、アップスケーリングによって導入されるアーティファクトの量は最小限にされ、これは、特に、有理数のアップスケーリング係数にとって有利であり、広い高周波バンドが、高周波高解像データ構造における情報を増強するために利用可能である。
【００７７】
本発明の更なる利点は、フィルタを設計するための明確且つ単純な規則が提供されること、及びフィルタが空間不変であることから一度しか設計される必要がないことである。
【００７８】
本発明の更なる利点は、空間平均化により、高周波高解像データ構造Ｈ１が、従来手法により得られるものよりもノイズ及び他のアーティファクトに対してロバストであることである。
【００７９】
本発明の更なる利点は、補間される低周波高解像バンドＬ１と外挿される高周波高解像バンドＨ１とを融合するプロシージャがそれらの間のコヒーレンスを考慮することである。これは、高周波高解像データ構造のためのハイパスフィルタの適切な設計によって達成される。
【００８０】
本発明の好ましい実施形態に適用される本発明の基本的な新規の特徴が図示、記載及び指摘されてきたが、記載されている装置及び方法における様々な省略及び置換及び変更は、開示されている装置の形態及び詳細において並びにそれらの動作において、本発明の技術的範囲から逸脱することなしに当業者によってなされてよいことが理解されるであろう。代表的に、本発明は平方なブロック及びパッチに関して開示されてきたが、当業者は、ここで記載されている方法及び装置が他の形状及び／又はサイズのブロック及びパッチ、例えば、長方形形状又は自由造形の形状、４×４，・・・，１６×１６の正方形、等に適用されてよいことを認識するであろう。更に、本発明は空間分解能に関して開示されてきたが、当業者は、ここで記載されている方法及び装置が必要な変更を加えて時間分解能にも適用されてよいことを認識するであろう。同じ結果を達成するよう実質的に同じ方法において実質的に同じ機能を実行するそれらの要素の全ての組み合わせは、本発明の技術的範囲にあることが明示的に意図される。１つの記載されている実施形態から他への要素の置換がまた、十分に意図され且つ考慮される。本発明は、単に一例として記載されており、詳細の変更は、本発明の技術的範囲から逸脱することなしになされ得ることが理解されるであろう。
【００８１】
明細書並びに（必要に応じて）特許請求の範囲及び図面において開示されている夫々の特徴は、独立して又は何らかの適切な組み合わせにおいて提供されてよい。特徴は、必要に応じて、ハードウェア、ソフトウェア、又はそれらの組み合わせにおいて、例えば、グラフィクスハードウェア（ＧＰＵ）において実施されてよい。特許請求の範囲において現れる参照符号は、単に例示であり、特許請求の範囲の適用範囲に対する制限効果を有すべきではない。
【図１】
2015507273.tif 000003
【図２】
2015507273.tif 000004
【図３】
2015507273.tif 000005
【図４ａ）】
2015507273.tif 000006
【図４ｂ）】
2015507273.tif 000007
【図４ｃ）】
2015507273.tif 000008
【図４ｄ）】
2015507273.tif 000009
【図５ａ）】
2015507273.tif 000010
【図５ｂ）】
2015507273.tif 000011
【図５ｃ）】
2015507273.tif 000012
【図６】
2015507273.tif 000013
【図７】
2015507273.tif 000014
【図８ａ）】
2015507273.tif 000015
【図８ｂ）】
2015507273.tif 000016
【図９】
2015507273.tif 000017
【図１０ａ）】
2015507273.tif 000018
【図１０ｂ）】
2015507273.tif 000019
【図１０ｃ）】
2015507273.tif 000020
【図１０ｄ）】
2015507273.tif 000021
【図１１】
2015507273.tif 000022
【手続補正書】
【提出日】平成26年7月15日(2014.7.15)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
デジタル１Ｄ、２Ｄ又は３Ｄデータの低解像入力データ構造の超解像処理を行う方法であって、
低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
前記選択された第２のブロックのピクセルデータを、ピクセル単位の加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化するステップであって、現在のピクセルについて、該現在のピクセルの累算された値へのピクセルの寄与の数によって前記現在のピクセルの前記累算された値を割ることを含むステップと、
超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
を有する方法。
【請求項２】
前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーする第１のサーチ窓を決定するステップを更に有し、
前記低周波入力データ構造において探すステップは、前記第１のサーチ窓内でのみ実行され、
前記低周波入力データ構造においてサーチ窓を決定するステップは、前記低周波アップスケールドデータ構造において新しいパッチごとに繰り返される、
請求項１に記載の方法。
【請求項３】
前記サーチ窓によってカバーされる領域は、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの前記低周波アップスケールドデータ構造の夫々の方向における複数の値を有する、
請求項２に記載の方法。
【請求項４】
前記低周波アップスケールドデータ構造における夫々の新しいパッチは、少なくとも１つの前に処理されたパッチと重なり合う、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
前記低周波アップスケールドデータ構造は、前記低解像入力データ構造をアップスケーリング係数ｎによってアップスケーリングし、該アップスケーリングされた入力データ構造を前記第２のローパスフィルタによってフィルタリングし、該フィルタリングされたアップスケーリングされた入力データ構造をダウンスケーリング係数ｄによってダウンスケーリングすることによって取得され、ｎ＞ｄであり、
最終の非整数スケーリング係数ｎ／ｄが取得される、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
前記第１のローパスフィルタ及び前記第２のローパスフィルタは、同等のフィルタである、
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項７】
前記第１のローパスフィルタは、次数Ｎ０、σ０＝１の大きさ、及びΩ０＝ｄ／ｎの正規化されたカットオフ周波数の特性を備え、前記第２のローパスフィルタは、Ｎ１＝ｎＮ０の次数、σ１＝ｎの大きさ、及びΩ１＝１／ｎの正規化されたカットオフ周波数の特性を備える、
請求項１乃至６のうちいずれか一項に記載の方法。
【請求項８】
Ω１，ｈ＝ｄ／ｎの正規化されたカットオフ周波数、Ｎ１，ｈ＝ｒｏｕｎｄ（Ｎ０×ｎ／ｄ）の次数、及びσ１，ｈ＝１の大きさを有するハイパスフィルタにより前記高周波アップスケールドデータ構造をフィルタリングするステップを更に有する
請求項１乃至７のうちいずれか一項に記載の方法。
【請求項９】
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップは、前記低周波アップスケールドデータ構造の全体がカバーされるまで全てのパッチについて繰り返される、
請求項１乃至７のうちいずれか一項に記載の方法。
【請求項１０】
前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするステップを更に有し、
前記正規化するステップは、前記カウントするステップによって取得された前記寄与の数によってピクセルごとの累算値を割ることを含む、
請求項１乃至８のうちいずれか一項に記載の方法。
【請求項１１】
デジタル２Ｄデータの前記低解像入力データ構造は、デジタル画像である、
請求項１乃至９のうちいずれか一項に記載の方法。
【請求項１２】
前記低解像入力データ構造は、デジタル２Ｄデータを有し、
夫々のブロック及び夫々のパッチは、少なくとも５×５個の値を有し、前記サーチ窓は、少なくとも９×９個の値をカバーし、夫々のパッチは、少なくとも２個の値だけ少なくとも１つの先に処理されたパッチと重なり合う、
請求項１乃至１０のうちいずれか一項に記載の方法。
【請求項１３】
デジタルデータの低解像入力データ構造の超解像処理を行う装置であって、
低周波入力データ構造が取得されるように前記低解像入力データ構造をフィルタリングする第１のローパスフィルタと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算する加算器、減算器又は微分器と、
前記低解像入力データ構造をアップスケーリングするアップスケーラと、
低周波アップスケールドデータ構造が取得されるように前記アップスケーリングされた入力データ構造をフィルタリングする第２のローパスフィルタと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定する第１の決定ユニットと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探すサーチユニットと、
前記低周波入力データ構造内の前記第１のブロックの位置を決定する第２の決定ユニットと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するセレクタユニットと、
前記選択された第２のブロックのピクセルデータを、ピクセル単位の加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算する累算器と、
前記低周波アップスケールドデータ構造における複数のパッチについての処理の繰り返しを制御する制御ユニットと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化し、該正規化が、現在のピクセルについて、該現在のピクセルの累算された値へのピクセルの寄与の数によって前記現在のピクセルの前記累算された値を割ることを含む正規化ユニットと、
前記正規化された高周波アップスケールドデータ構造をフィルタリングするハイパスフィルタと、
超解像データ構造が取得されるように、前記ハイパスフィルタによりフィルタリングされた前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造と結合する結合ユニットと
を有する装置。
【請求項１４】
前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーするサーチ窓を決定するサーチ窓決定ユニットを更に有し、
前記サーチユニットは、前記サーチ窓内でのみ前記低周波入力データ構造において探す、
請求項１３に記載の装置。
【請求項１５】
前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするカウンタを更に有し、
前記正規化ユニットは、前記寄与の数によってピクセルごとの累算値を割る動作を実行する、
請求項１３又は１４に記載の装置。
【請求項１６】
デジタルデータの低解像入力データ構造の超解像処理を行う方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体であって、
前記方法は、
低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
前記選択された第２のブロックのピクセルデータを、ピクセル単位の加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
前記高周波アップスケールドデータ構造において前記累算されたピクセル値を正規化して、夫々の累算されたピクセル値が該値に寄与しているピクセルの寄与の数によって割られ、且つ、正規化された高周波アップスケールドデータ構造が取得されるようにするステップと、
超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
を有する、コンピュータ可読媒体。
【国際調査報告】
2015507273.tif 000023
2015507273.tif 000024
2015507273.tif 000025