【手続補正書】
【提出日】平成29年2月1日(2017.2.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光学系を用いた撮像により生成された入力画像を取得するステップと、
該入力画像に含まれる第１のノイズ量を取得するステップと、
前記入力画像に対して高解像度化処理を行うステップと、
前記入力画像をそれぞれ異なる周波数帯域成分としての複数の画像に周波数分解するステップと、
前記第１のノイズ量と前記高解像度化処理の周波数特性とに基づいて、前記複数の画像のそれぞれにおいて領域ごとに第２のノイズ量を算出するステップと、
該第２のノイズ量に基づいて、前記複数の画像のそれぞれの前記領域ごとにノイズ低減処理を行うステップと、
該ノイズ低減処理が行われた前記複数の画像を合成するステップと、を有することを特徴とする画像処理方法。
【請求項２】
前記高解像度化処理は、前記光学系の光学特性に基づいて行われることを特徴とする請求項１に記載の画像処理方法。
【請求項３】
前記ノイズ低減処理は、前記複数の画像のそれぞれにおいて前記光学系の光学特性に基づいて分割された前記領域ごとに行われることを特徴とする請求項１または２に記載の画像処理方法。
【請求項４】
前記第１のノイズ量は、前記複数の画像のうち最も高周波側の画像において取得されることを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
【請求項５】
前記第１のノイズ量は、前記最も高周波側の画像において前記光学系の光学特性に基づいて分割された前記領域ごとに取得されることを特徴とする請求項４に記載の画像処理方法。
【請求項６】
前記第１のノイズ量は、前記撮像の条件に対するノイズ量を測定して得られたノイズ量データに基づいて、前記光学系の光学特性に基づいて分割された前記領域ごとの平均輝度値を用いて決定されることを特徴とする請求項１から３のいずれか一項に記載の画像処理方法。
【請求項７】
前記撮像の条件は、ＩＳＯ感度と輝度レベルであることを特徴とする請求項６に記載の画像処理方法。
【請求項８】
前記第２のノイズ量は、前記光学系の光学特性に基づいて分割された前記領域ごとの前記高解像度化処理の周波数特性と前記周波数分解に用いる基底関数の周波数特性とに基づいて算出されることを特徴とする請求項１から７のいずれか一項に記載の画像処理方法。
【請求項９】
前記第２のノイズ量は、前記光学系の光学特性に基づいて分割された前記領域ごとの前記高解像度化処理の周波数特性と前記周波数分解に用いる基底関数の周波数特性とに基づいて算出された、前記高解像度化処理における前記領域ごとに異なるノイズの増幅量に基づいて算出されることを特徴とする請求項１から７のいずれか一項に記載の画像処理方法。
【請求項１０】
前記周波数分解は、離散ウェーブレット変換により行われることを特徴とする請求項１から９のいずれか一項に記載の画像処理方法。
【請求項１１】
前記高解像度化処理は、前記複数の画像のそれぞれにおいて前記光学系の光学特性に基づいて分割された前記領域ごとに行われることを特徴とする請求項１から１０のいずれか一項に記載の画像処理方法。
【請求項１２】
光学系を用いた撮像により生成された入力画像を取得するステップと、
該入力画像に含まれる第１のノイズ量を取得するステップと、
前記入力画像に対して高解像度化処理を行うステップと、
前記入力画像をそれぞれ異なる周波数帯域成分としての複数の画像に周波数分解するステップと、
前記第１のノイズ量と前記高解像度化処理の周波数特性とに基づいて、前記複数の画像のそれぞれにおいて領域ごとに第２のノイズ量を算出するステップと、
該第２のノイズ量に基づいて、前記複数の画像のそれぞれの前記領域ごとにノイズ低減処理を行うステップと、
該ノイズ低減処理が行われた前記複数の画像を合成するステップと、を含む処理を実行することを特徴とする画像処理装置。
【請求項１３】
光学系を介した撮像により入力画像を生成する撮像素子と、
請求項１２に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１４】
コンピュータに、
光学系を用いた撮像により生成された入力画像を取得するステップと、
該入力画像に含まれる第１のノイズ量を取得するステップと、
前記入力画像に対して高解像度化処理を行うステップと、
前記入力画像をそれぞれ異なる周波数帯域成分としての複数の画像に周波数分解するステップと、
前記第１のノイズ量と前記高解像度化処理の周波数特性とに基づいて、前記複数の画像のそれぞれにおいて領域ごとに第２のノイズ量を算出するステップと、
該第２のノイズ量に基づいて、前記複数の画像のそれぞれの前記領域ごとにノイズ低減処理を行うステップと、
該ノイズ低減処理が行われた前記複数の画像を合成するステップと、を含む処理を実行させることを特徴とする画像処理プログラム。
【請求項１５】
コンピュータに、
光学系を用いた撮像により生成された入力画像を取得するステップと、
該入力画像に含まれる第１のノイズ量を取得するステップと、
前記入力画像に対して高解像度化処理を行うステップと、
前記入力画像をそれぞれ異なる周波数帯域成分としての複数の画像に周波数分解するステップと、
前記第１のノイズ量と前記高解像度化処理の周波数特性とに基づいて、前記複数の画像のそれぞれにおいて領域ごとに第２のノイズ量を算出するステップと、
該第２のノイズ量に基づいて、前記複数の画像のそれぞれの前記領域ごとにノイズ低減処理を行うステップと、
該ノイズ低減処理が行われた前記複数の画像を合成するステップと、を含む処理を実行させることを特徴とする画像処理プログラムが記録された記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理方法、画像処理装置、撮像装置、画像処理プログラムおよび記録媒体
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
本発明の一側面としての画像処理方法は、光学系を用いた撮像により生成された入力画像を取得するステップと、該入力画像に含まれる第１のノイズ量を取得するステップと、入力画像に対して高解像度化処理を行うステップと、入力画像をそれぞれ異なる周波数帯域成分としての複数の画像に周波数分解するステップと、第１のノイズ量と高解像度化処理の周波数特性とに基づいて、複数の画像のそれぞれにおいて領域ごとに第２のノイズ量を算出するステップと、該第２のノイズ量に基づいて、複数の画像のそれぞれの該領域ごとにノイズ低減処理を行うステップと、該ノイズ低減処理が行われた複数の画像を合成するステップと、を有することを特徴とする。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
また、本発明の他の一側面としての画像処理装置は、光学系を用いた撮像により入力画像を取得するステップと、該入力画像に含まれる第１のノイズ量を取得するステップと、入力画像に対して高解像度化処理を行うステップと、入力画像をそれぞれ異なる周波数帯域成分としての複数の画像に周波数分解するステップと、第１のノイズ量と高解像度化処理の周波数特性とに基づいて、複数の画像のそれぞれにおいて領域ごとに第２のノイズ量を算出するステップと、該第２のノイズ量に基づいて、複数の画像のそれぞれの該領域ごとにノイズ低減処理を行うステップと、該ノイズ低減処理が行われた複数の画像を合成するステップと、を有することを特徴とする。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
なお、光学系を介した撮像により入力画像を生成する撮像素子と、上記画像処理装置とを有する撮像装置も、本発明の他の一側面を構成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
また、本発明の一側面としての画像処理プログラムは、コンピュータに、光学系を用いた撮像により生成された入力画像を取得するステップと、該入力画像に含まれる第１のノイズ量を取得するステップと、入力画像に対して高解像度化処理を行うステップと、入力画像をそれぞれ異なる周波数帯域成分としての複数の画像に周波数分解するステップと、第１のノイズ量と高解像度化処理の周波数特性とに基づいて、複数の画像のそれぞれにおいて領域ごとに第２のノイズ量を算出するステップと、該第２のノイズ量に基づいて、複数の画像のそれぞれの領域ごとにノイズ低減処理を行うステップと、該ノイズ低減処理が行われた複数の画像を合成するステップと、を含む処理を実行させることを特徴とする。
さらに、本発明の他の一側面としての画像処理プログラムが記録された記録媒体は、コンピュータに、光学系を用いた撮像により生成された入力画像を取得するステップと、該入力画像に含まれる第１のノイズ量を取得するステップと、入力画像に対して高解像度化処理を行うステップと、入力画像をそれぞれ異なる周波数帯域成分としての複数の画像に周波数分解するステップと、第１のノイズ量と高解像度化処理の周波数特性とに基づいて、複数の画像のそれぞれにおいて領域ごとに第２のノイズ量を算出するステップと、該第２のノイズ量に基づいて、複数の画像のそれぞれの該領域ごとにノイズ低減処理を行うステップと、該ノイズ低減処理が行われた複数の画像を合成するステップと、を含む処理を実行させることを特徴とする。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】変更
【補正の内容】
【００４２】
さらに、ＬＬ１をウェーブレット変換すると、画像サイズを縦横半分にして、ＬＬ２，ＨＬ２，ＬＨ２，ＨＨ２のサブバンド画像に分解することができ、分解して得られたＬＬに対して変換レベル（変換回数）だけ分解することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００５８
【補正方法】変更
【補正の内容】
【００５８】
ステップＳ１０１おいて、コンピュータは、入力画像取得手段を制御し、カメラ等の撮像装置から撮影画像を入力画像として取得する。撮像装置からの入力画像の取得は、該撮像装置と画像処理装置とを有線または無線による通信を介して行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。入力画像には、撮像時における撮像光学系の焦点距離、Ｆ値および撮像距離（フォーカスレンズ位置）と、撮像装置に設けられた撮像素子の画素サイズ等の撮像条件を示す情報（以下、撮像条件情報という）が付加されている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００６０
【補正方法】変更
【補正の内容】
【００６０】
次に、ステップＳ１０２において、コンピュータは、第１のノイズ量取得手段を制御し、入力画像に含まれるノイズ量（第１のノイズ量）σ０を算出する。入力画像に含まれるノイズ量σ０は、入力画像をウェーブレット変換して取得した複数のサブバンド画像のうち最も高周波側のサブバンド画像ＨＨ１におけるＭＡＤを（１４）式により求めることで算出する。また、サブバンド画像ＨＨ１におけるシフトインバリアント領域ごとにＭＡＤを求めることで、シフトインバリアント領域（ｍ，ｎ）ごとに入力画像のノイズ量を算出してもよい。また、撮像装置のＩＳＯ感度や輝度レベル等の撮像条件に対するノイズ量を予め測定して得られたノイズ量データをメモリに記憶させ、入力画像の撮像条件情報とシフトインバリアント領域の平均輝度値に合致するノイズ量を入力画像のノイズ量として取得してもよい。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００６４
【補正方法】変更
【補正の内容】
【００６４】
次に、ステップＳ１０４において、コンピュータは、高解像度化処理手段を制御し、高解像度化処理の周波数特性を算出する。ユーザは画像回復処理の強さを指定し、取得した光学伝達関数を用いて（４）式により高解像度化処理の周波数特性λｆ（ｕ，ｖ）を算出する。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００７２
【補正方法】変更
【補正の内容】
【００７２】
次に、ステップＳ１０６において、コンピュータは、周波数分解手段を制御し、高解像度画像に対してウェーブレット変換（離散ウェーブレット変換）を行う。これにより、高解像度画像は、図３に示すような互いに異なる複数の周波数帯域成分ＨＨ，ＨＬ，ＬＨ，ＬＬとしての複数のサブバンド画像（第２の画像）に周波数分解される。ウェーブレット変換で用いる基底関数は予め数列データとしてメモリに記憶しておき、選択した基底関数の数列を取得してウェーブレット変換を行う。本実施例では、変換レベルを３としたときの処理の例について説明するが、変換レベルは３に限定されるものではなく、変更が可能である。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００７３
【補正方法】変更
【補正の内容】
【００７３】
ウェーブレット変換により分解して得られた複数のサブバンド画像は、図４に示すように、画像回復処理時に入力画像を分割して処理したときと同様に、水平方向にＭ分割され、垂直方向にＮ分割される。サブバンド画像における各分割領域は、撮像光学系の光学特性（光学伝達関数：ＯＴＦ）に基づいて分割された領域に相当する。そして、各サブバンド画像おけるＭ×Ｎ個の分割領域における分割領域（ｍ，ｎ）ごとに処理を行う。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
次に、ステップＳ１０８において、コンピュータは、第２のノイズ量算出手段を制御し、サブバンド画像の各分割領域（ｍ，ｎ）におけるノイズ量（第２のノイズ量）を取得する。ここにいうノイズ量とは、ノイズ分布の標準偏差である。上述したように入力画像のシフトインバリアント領域（ｍ，ｎ）ごとに行った高解像度化処理の周波数特性λｆｍ，ｎ（ｕ，ｖ）は、シフトインバリアント領域ごとの撮像光学系の光学伝達関数Ｈｍ，ｎ（ｕ，ｖ）に基づいて算出される。このため、サブバンド画像の分割領域ごとにノイズ量が異なる。よって、高解像度化処理の周波数特性に基づいて、サブバンド画像の分割領域（ｍ，ｎ）ごとのノイズ量σｓｕｂｂａｎｄ（ｍ，ｎ）を取得する必要がある。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００８６
【補正方法】変更
【補正の内容】
【００８６】
次に、ステップＳ１０９において、コンピュータは、ノイズ低減処理手段を制御し、サブバンド画像の分割領域（ｍ，ｎ）ごとに取得したノイズ量に基づいて、該分割領域ごとにノイズ低減処理を行う。本実施例では、ノイズ低減処理として、しきい値処理を用いる。
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
次に、ステップＳ１１０において、コンピュータは、再合成手段を制御し、ノイズ低減処理後の複数のサブバンド画像ＨＨ，ＨＬ，ＬＨ，ＬＬをウェーブレット逆変換により再合成する。これにより、ステップＳ１１１において、ノイズ低減処理後の画像（第３の画像）を取得する。ノイズ低減処理後の画像は、シフトインバリアント領域ごとの高解像度化処理の周波数特性に基づいて、高解像度化処理により増幅されたノイズが効果的に低減されたものである。