【手続補正書】
【提出日】平成28年1月6日(2016.1.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
デジタル１Ｄ、２Ｄ又は３Ｄデータの低解像入力データ構造の超解像処理を行う方法であって、
低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
前記選択された第２のブロックのピクセルデータを、ピクセル単位の加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化するステップであって、現在のピクセルについて、該現在のピクセルの累算された値へのピクセルの寄与の数によって前記現在のピクセルの前記累算された値を割ることを含むステップと、
超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
を有する方法。
【請求項２】
前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーする第１のサーチ窓を決定するステップを更に有し、
前記低周波入力データ構造において探すステップは、前記第１のサーチ窓内でのみ実行され、
前記低周波入力データ構造においてサーチ窓を決定するステップは、前記低周波アップスケールドデータ構造において新しいパッチごとに繰り返される、
請求項１に記載の方法。
【請求項３】
前記サーチ窓によってカバーされる領域は、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの前記低周波アップスケールドデータ構造の夫々の方向における複数の値を有する、
請求項２に記載の方法。
【請求項４】
前記低周波アップスケールドデータ構造における夫々の新しいパッチは、少なくとも１つの前に処理されたパッチと重なり合う、
請求項１乃至３のうちいずれか一項に記載の方法。
【請求項５】
前記低周波アップスケールドデータ構造は、前記低解像入力データ構造をアップスケーリング係数ｎによってアップスケーリングし、該アップスケーリングされた入力データ構造を前記第２のローパスフィルタによってフィルタリングし、該フィルタリングされたアップスケーリングされた入力データ構造をダウンスケーリング係数ｄによってダウンスケーリングすることによって取得され、ｎ＞ｄであり、
最終の非整数スケーリング係数ｎ／ｄが取得される、
請求項１乃至４のうちいずれか一項に記載の方法。
【請求項６】
前記第１のローパスフィルタ及び前記第２のローパスフィルタは、同等のフィルタである、
請求項１乃至５のうちいずれか一項に記載の方法。
【請求項７】
ｄがダウンスケーリング係数であり、ｎがアップスケーリング係数であるとして、前記第１のローパスフィルタは、次数Ｎ０、σ０＝１の大きさ、及びΩ０＝ｄ／ｎの正規化されたカットオフ周波数の特性を備え、前記第２のローパスフィルタは、Ｎ１＝ｎＮ０の次数、σ１＝ｎの大きさ、及びΩ１＝１／ｎの正規化されたカットオフ周波数の特性を備える、
請求項１乃至６のうちいずれか一項に記載の方法。
【請求項８】
ｄがダウンスケーリング係数であり、ｎがアップスケーリング係数であるとして、Ω１，ｈ＝ｄ／ｎの正規化されたカットオフ周波数、Ｎ１，ｈ＝ｒｏｕｎｄ（Ｎ０×ｎ／ｄ）の次数、及びσ１，ｈ＝１の大きさを有するハイパスフィルタにより前記高周波アップスケールドデータ構造をフィルタリングするステップを更に有する
請求項１乃至７のうちいずれか一項に記載の方法。
【請求項９】
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップは、前記低周波アップスケールドデータ構造の全体がカバーされるまで全てのパッチについて繰り返される、
請求項１乃至７のうちいずれか一項に記載の方法。
【請求項１０】
前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするステップを更に有し、
前記正規化するステップは、前記カウントするステップによって取得された前記寄与の数によってピクセルごとの累算値を割ることを含む、
請求項１乃至８のうちいずれか一項に記載の方法。
【請求項１１】
デジタル２Ｄデータの前記低解像入力データ構造は、デジタル画像である、
請求項１乃至９のうちいずれか一項に記載の方法。
【請求項１２】
前記低解像入力データ構造は、デジタル２Ｄデータを有し、
夫々のブロック及び夫々のパッチは、少なくとも５×５個の値を有し、夫々のパッチは、少なくとも２個の値だけ少なくとも１つの先に処理されたパッチと重なり合う、
請求項１乃至１０のうちいずれか一項に記載の方法。
【請求項１３】
デジタルデータの低解像入力データ構造の超解像処理を行う装置であって、
低周波入力データ構造が取得されるように前記低解像入力データ構造をフィルタリングする第１のローパスフィルタと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算する加算器、減算器又は微分器と、
前記低解像入力データ構造をアップスケーリングするアップスケーラと、
低周波アップスケールドデータ構造が取得されるように前記アップスケーリングされた入力データ構造をフィルタリングする第２のローパスフィルタと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定する第１の決定ユニットと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探すサーチユニットと、
前記低周波入力データ構造内の前記第１のブロックの位置を決定する第２の決定ユニットと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するセレクタユニットと、
前記選択された第２のブロックのピクセルデータを、ピクセル単位の加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算する累算器と、
前記低周波アップスケールドデータ構造における複数のパッチについての処理を繰り返すよう前記第１の決定ユニット、前記サーチユニット、前記第２の決定ユニット、前記セレクタユニット及び前記累算器を制御する制御ユニットと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化し、該正規化が、現在のピクセルについて、該現在のピクセルの累算された値へのピクセルの寄与の数によって前記現在のピクセルの前記累算された値を割ることを含む正規化ユニットと、
前記正規化された高周波アップスケールドデータ構造をフィルタリングするハイパスフィルタと、
超解像データ構造が取得されるように、前記ハイパスフィルタによりフィルタリングされた前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造と結合する結合ユニットと
を有する装置。
【請求項１４】
前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーするサーチ窓を決定するサーチ窓決定ユニットを更に有し、
前記サーチユニットは、前記サーチ窓内でのみ前記低周波入力データ構造において探す、
請求項１３に記載の装置。
【請求項１５】
前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするカウンタを更に有し、
前記正規化ユニットは、前記寄与の数によってピクセルごとの累算値を割る動作を実行する、
請求項１３又は１４に記載の装置。
【請求項１６】
コンピュータで実行される場合に、デジタルデータの低解像入力データ構造の超解像処理を行う方法を前記コンピュータに実行させるコンピュータプログラムであって、
前記方法は、
低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
前記選択された第２のブロックのピクセルデータを、ピクセル単位の加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
前記高周波アップスケールドデータ構造において前記累算されたピクセル値を正規化して、夫々の累算されたピクセル値が該値に寄与しているピクセルの寄与の数によって割られ、且つ、正規化された高周波アップスケールドデータ構造が取得されるようにするステップと、
超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
を有する、コンピュータプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７０
【補正方法】変更
【補正の内容】
【００７０】
図１０は、ａ）及びｂ）において、画像及びその原のスペクトルを示す。更に、図１０ｃ）は、本発明に従って画像がアップスケーリングされた後のその画像のスペクトルを示し、図１０ｄ）は、既知の双三次補間を用いて従来手法でアップスケーリングされた後の画像のスペクトルを示す。認識され得るように、従来手法でアップスケーリングされた画像のクリッピングされたスペクトルは改善され、本例では、対角線沿いの付加的な値において可視的である。つまり、本発明に従ってアップスケーリングされたデータ構造のスペクトルは、従来手法によりアップスケーリングされたデータ構造のスペクトルよりも原のスペクトルに近づくことが、本発明の利点である。周波数スペクトルは、開示されている方法が如何にして、アップスケーリングされた画像の欠けている高周波をもっともらしく外挿することができるのかを明示し（それらは、アップスケーリングされた画像におけるより鮮明な輪郭に見られ、より視覚的に魅力的な画像が得られる。）、一方、双三次補間は、多大なエイリアシング・アーティファクトを導入する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８１
【補正方法】変更
【補正の内容】
【００８１】
明細書並びに（必要に応じて）特許請求の範囲及び図面において開示されている夫々の特徴は、独立して又は何らかの適切な組み合わせにおいて提供されてよい。特徴は、必要に応じて、ハードウェア、ソフトウェア、又はそれらの組み合わせにおいて、例えば、グラフィクスハードウェア（ＧＰＵ）において実施されてよい。特許請求の範囲において現れる参照符号は、単に例示であり、特許請求の範囲の適用範囲に対する制限効果を有すべきではない。
上記の実施形態に加えて、以下の付記を開示する。
（付記１）
デジタル１Ｄ、２Ｄ又は３Ｄデータの低解像入力データ構造の超解像処理を行う方法であって、
低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
前記選択された第２のブロックのピクセルデータを、加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化するステップであって、現在のピクセルについて、該現在のピクセルの累算された値に寄与しているピクセルの数によって前記現在のピクセルの前記累算された値を割ることを含むステップと、
超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
を有する方法。
（付記２）
前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーする第１のサーチ窓を決定するステップを更に有し、
前記低周波入力データ構造において探すステップは、前記第１のサーチ窓内でのみ実行され、
前記低周波入力データ構造においてサーチ窓を決定するステップは、前記低周波アップスケールドデータ構造において新しいパッチごとに繰り返される、
付記１に記載の方法。
（付記３）
前記サーチ窓によってカバーされる領域は、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの前記低周波アップスケールドデータ構造の夫々の方向における複数の値を有する、
付記２に記載の方法。
（付記４）
前記低周波アップスケールドデータ構造における夫々の新しいパッチは、少なくとも１つの前に処理されたパッチと重なり合う、
付記１乃至３のうちいずれか一つに記載の方法。
（付記５）
前記低周波アップスケールドデータ構造は、前記低解像入力データ構造をアップスケーリング係数ｎによってアップスケーリングし、該アップスケーリングされた入力データ構造を前記第２のローパスフィルタによってフィルタリングし、該フィルタリングされたアップスケーリングされた入力データ構造をダウンスケーリング係数ｄによってダウンスケーリングすることによって取得され、ｎ＞ｄであり、
最終の非整数スケーリング係数ｎ／ｄが取得される、
付記１乃至４のうちいずれか一つに記載の方法。
（付記６）
前記第１のローパスフィルタ及び前記第２のローパスフィルタは、同等のフィルタである、
付記１乃至５のうちいずれか一つに記載の方法。
（付記７）
前記第１のローパスフィルタは、次数Ｎ０、σ０＝１の大きさ、及びΩ０＝ｄ／ｎの正規化されたカットオフ周波数の特性を備え、前記第２のローパスフィルタは、Ｎ１＝ｎＮ０の次数、σ１＝ｎの大きさ、及びΩ１＝１／ｎの正規化されたカットオフ周波数の特性を備える、
付記１乃至６のうちいずれか一つに記載の方法。
（付記８）
Ω１，ｈ＝ｄ／ｎの正規化されたカットオフ周波数、Ｎ１，ｈ＝ｒｏｕｎｄ（Ｎ０×ｎ／ｄ）の次数、及びσ１，ｈ＝１の大きさを有するハイパスフィルタにより前記高周波アップスケールドデータ構造をフィルタリングするステップを更に有する
付記１乃至７のうちいずれか一つに記載の方法。
（付記９）
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップは、前記低周波アップスケールドデータ構造の全体がカバーされるまで全てのパッチについて繰り返される、
付記１乃至７のうちいずれか一つに記載の方法。
（付記１０）
前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするステップを更に有し、
前記正規化するステップは、前記カウントするステップによって取得された前記寄与の数によってピクセルごとの累算値を割ることを含む、
付記１乃至８のうちいずれか一つに記載の方法。
（付記１１）
デジタル２Ｄデータの前記低解像入力データ構造は、デジタル画像である、
付記１乃至９のうちいずれか一つに記載の方法。
（付記１２）
前記低解像入力データ構造は、デジタル２Ｄデータを有し、
夫々のブロック及び夫々のパッチは、少なくとも５×５個の値を有し、前記サーチ窓は、少なくとも９×９個の値をカバーし、夫々のパッチは、少なくとも２個の値だけ少なくとも１つの先に処理されたパッチと重なり合う、
付記１乃至１０のうちいずれか一つに記載の方法。
（付記１３）
デジタルデータの低解像入力データ構造の超解像処理を行う装置であって、
低周波入力データ構造が取得されるように前記低解像入力データ構造をフィルタリングする第１のローパスフィルタと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算する加算器、減算器又は微分器と、
前記低解像入力データ構造をアップスケーリングするアップスケーラと、
低周波アップスケールドデータ構造が取得されるように前記アップスケーリングされた入力データ構造をフィルタリングする第２のローパスフィルタと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定する第１の決定ユニットと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探すサーチユニットと、
前記低周波入力データ構造内の前記第１のブロックの位置を決定する第２の決定ユニットと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するセレクタユニットと、
前記選択された第２のブロックのピクセルデータを、加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算する累算器と、
前記低周波アップスケールドデータ構造における複数のパッチについての処理の繰り返しを制御する制御ユニットと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を正規化し、該正規化が、現在のピクセルについて、該現在のピクセルの累算された値に寄与しているピクセルの数によって前記現在のピクセルの前記累算された値を割ることを含む正規化ユニットと、
前記正規化された高周波アップスケールドデータ構造をフィルタリングするハイパスフィルタと、
超解像データ構造が取得されるように、前記ハイパスフィルタによりフィルタリングされた前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造と結合する結合ユニットと
を有する装置。
（付記１４）
前記低周波入力データ構造において、前記高周波アップスケールドデータ構造において前記第１の位置に対応する位置にあるブロックの周りの領域をカバーするサーチ窓を決定するサーチ窓決定ユニットを更に有し、
前記サーチユニットは、前記サーチ窓内でのみ前記低周波入力データ構造において探す、
付記１３に記載の装置。
（付記１５）
前記高周波アップスケールドデータ構造においてピクセルごとの寄与の数をカウントするカウンタを更に有し、
前記正規化ユニットは、前記寄与の数によってピクセルごとの累算値を割る動作を実行する、
付記１３又は１４に記載の装置。
（付記１６）
デジタルデータの低解像入力データ構造の超解像処理を行う方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体であって、
前記方法は、
低周波入力データ構造が取得されるように第１のローパスフィルタによって前記低解像入力データ構造をフィルタリングするステップと、
高周波入力データ構造が生成されるように前記低解像入力データ構造と前記低周波入力データ構造との間の差を計算するステップと、
低周波アップスケールドデータ構造が取得されるように、前記低解像入力データ構造をアップスケーリングし、該アップスケーリングされた入力データ構造を第２のローパスフィルタによってフィルタリングするステップと、
前記低周波アップスケールドデータ構造において、第１の位置にある第１のパッチを決定するステップと、
前記第１のパッチに最も良く整合する第１のブロックを前記低周波入力データ構造において探し、前記低周波入力データ構造内の前記第１のブロックの位置を決定するステップと、
前記低周波入力データ構造内の前記第１のブロックについて決定された位置にある前記高周波入力データ構造における第２のブロックを選択するステップと、
前記選択された第２のブロックのピクセルデータを、加算によって、前記第１の位置で、最初は空である高周波アップスケールドデータ構造におけるパッチである第２のパッチに累算するステップと、
前記低周波アップスケールドデータ構造において新しいパッチを決定するステップ、該決定されたパッチに最も良く整合するブロックを前記低周波入力データ構造において探すステップ、前記高周波入力データ構造における対応するブロックを選択するステップ、及び前記新しいパッチの位置にある前記高周波アップスケールドデータ構造におけるパッチに前記選択された対応するブロックのピクセルデータを累算するステップを繰り返すステップと、
正規化された高周波アップスケールドデータ構造が取得されるように前記高周波アップスケールドデータ構造における前記累算されたピクセル値を平均化することで正規化するステップと、
超解像データ構造が取得されるように前記正規化された高周波アップスケールドデータ構造を前記低周波アップスケールドデータ構造に加えるステップと
を有する、コンピュータ可読媒体。