(57)【特許請求の範囲】
【請求項１】
撮像光学系を通した撮像により生成された入力画像に対して画像処理を行う画像処理装置であって、
前記入力画像に対して高解像度化処理を行うことにより第１の画像を生成する第１の処理手段と、
前記第１の画像または該第１の画像から生成した画像であるノイズ低減対象画像に対してノイズ低減処理を行うことにより第２の画像を生成する第２の処理手段とを有し、
前記第２の処理手段は、前記ノイズ低減処理において、
前記ノイズ低減対象画像から、対象画素を含む第１の部分画像と参照画素を含む複数の第２の部分画像とを抽出し、
前記複数の第２の部分画像に対して前記第１の部分画像との相関値を算出し、
前記高解像度化処理によるノイズの増幅量に関する特性と前記相関値とに応じて前記複数の第２の部分画像のそれぞれに対して重みを与え、
前記複数の第２の部分画像における参照画素の画素値と前記重みとを用いて前記対象画素の画素値を算出し、該算出された画素値を用いて前記第２の画像を生成することを特徴とする画像処理装置。
【請求項２】
前記入力画像に含まれる第１のノイズ量を取得するノイズ取得手段を有し、
前記第２の処理手段は、前記ノイズ低減処理において、
前記第１のノイズ量と前記ノイズの増幅量に関する特性とを用いて前記第１の画像に含まれる第２のノイズ量を取得し、
前記第２のノイズ量と前記相関値とに応じて前記複数の第２の部分画像のそれぞれに対して前記重みを与えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の処理手段は、前記ノイズ低減処理において、
前記対象画素における前記第２のノイズ量と前記相関値とに応じて前記複数の第２の部分画像のそれぞれに対して前記重みを与えることを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記第２の処理手段は、前記ノイズ低減処理において、
前記第１の部分画像における前記第２のノイズ量の平均値または中央値と前記相関値とに応じて前記複数の第２の部分画像のそれぞれに対して前記重みを与えることを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記第２の処理手段は、前記ノイズ低減処理において、
前記第１および第２の部分画像における前記第２のノイズ量と前記相関値とに応じて前記複数の第２の部分画像のそれぞれに対して前記重みを与えることを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記第２の処理手段は、前記ノイズ低減処理において、
前記対象画素における前記第２のノイズ量に応じて前記第１および第２の部分画像の画素数を設定することを特徴とする請求項２から５のいずれか一項に記載の画像処理装置。
【請求項７】
前記第２の処理手段は、前記ノイズ低減処理において、
前記ノイズ低減対象画像のうち前記ノイズの増幅量に関する特性に応じて設定した抽出可能領域から前記複数の第２の部分画像を抽出することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記第１の処理手段は、前記撮像光学系の光学特性に基づいて前記高解像度化処理を行うことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
前記第１の処理手段は、前記入力画像における領域ごとに異なる前記撮像光学系の光学特性に基づいて前記高解像度化処理を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記高解像度化処理は画像回復処理であることを特徴とする請求項１から９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記第２の部分画像は前記ノイズ低減対象画像における前記第１の部分画像とは異なる部分の画像であることを特徴とする請求項１から１０のいずれか一項に記載の画像処理装置。
【請求項１２】
撮像光学系を通した撮像により撮像画像を生成する撮像手段と、
前記撮像画像である入力画像に対して画像処理を行う請求項１から１１のいずれか一項に記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項１３】
コンピュータに、撮像光学系を通した撮像により生成された入力画像に対して画像処理を行わせるコンピュータプログラムであって、
前記画像処理は、
前記入力画像に対して高解像度化処理を行うことにより第１の画像を生成する第１の処理と、
前記第１の画像または該第１の画像から生成した画像であるノイズ低減対象画像に対してノイズ低減処理を行うことにより第２の画像を生成する第２の処理とを含み、
前記第２の処理は、前記ノイズ低減処理において、
前記ノイズ低減対象画像から、対象画素を含む第１の部分画像と参照画素を含む複数の第２の部分画像とを抽出し、
前記複数の第２の部分画像に対して前記第１の部分画像との相関値を算出し、
前記高解像度化処理によるノイズの増幅量に関する特性と前記相関値とに応じて前記複数の第２の部分画像のそれぞれに対して重みを与え、
前記複数の第２の部分画像における参照画素の画素値と前記重みとを用いて前記対象画素の画素値を算出し、該算出された画素値を用いて前記第２の画像を生成することを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像により得られた画像に対して高解像度化処理とノイズ低減処理を行う技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置により被写体を撮像すると、該被写体の１点から出た光が撮像光学系（以下、単に光学系という）での回折や収差等の影響により１点に収束することができず、微小な広がりを持つ。このような微小な広がりは、ＰＳＦ（Point Spread Function：点像強度分布関数）として表される。撮像により得られる画像（撮像画像）には、理想的な被写体像にＰＳＦが畳み込まれる。この結果、撮像画像にぼけが生じてその解像度が劣化する。
【０００３】
このような撮像画像の劣化を画像処理技術により補正する高解像度化処理が提案されている。例えば、高解像度化処理の１つである画像回復処理は以下の通りである。
【０００４】
実空間（ｘ，ｙ）において、光学系による劣化を受ける前の元の画像をｆ（ｘ，ｙ）とし、ＰＳＦをｈ（ｘ，ｙ）とし、劣化を受けた画像、すなわち撮像画像としての劣化画像をｇ（ｘ，ｙ）とすると、これらは以下に示す（１）式で表す関係を有する。＊はコンボリューション（畳み込み積分または積和）である。
ｇ（ｘ，ｙ）＝∫∫ｆ（Ｘ，Ｙ）＊ｈ（ｘ−Ｘ，ｙ−Ｙ）ｄＸｄＹ    （１）
この（１）式をフーリエ変換して周波数空間（ｕ，ｖ）での表示形式に変換すると、以下の式（２）のように周波数ごとの積の形式になる。
Ｇ（ｕ，ｖ）＝Ｆ（ｕ，ｖ）・Ｈ（ｕ，ｖ）  （２）
Ｆ（ｕ，ｖ）およびＧ（ｕ，ｖ）はそれぞれ、ｆ（ｘ，ｙ）およびｇ（ｘ，ｙ）をフーリエ変換したものである。また、Ｈ（ｕ，ｖ）はｈ（ｘ，ｙ）をフーリエ変換したものであり、ＯＴＦ（Optical Transfer Function：光学伝達関数）である。
【０００５】
劣化画像から元の画像を得るためには、以下の式（３）に示すように、式（２）の両辺をＨ（ｕ，ｖ）で除算すればよい。
Ｆ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）    （３）
そして、Ｆ（ｕ，ｖ）、すなわちＧ（ｕ，ｖ）／Ｈ（ｕ，ｖ）を逆フーリエ変換して実空間の表示形式に戻すことで、元の画像ｆ（ｘ，ｙ）である回復画像が得られる。
【０００６】
ただし、実際にこのような画像回復処理により元の画像を得る際には、劣化画像に含まれるノイズを著しく増幅させる。このようなノイズの増幅を抑制するための画像回復手法として、（４）式で表されるウィナーフィルタ（Wiener filter）を用いることが知られている。
【０００７】
【数１】
0006614843.tif 000002
【０００８】
（４）式において、Ｈ（ｕ，ｖ）は前述したようにＯＴＦである。Γはノイズの増幅量を低減するための定数であり、増幅率を制御する調整項として利用することが可能である。λf（ｕ，ｖ）はウィナーフィルタの周波数特性であり、言い換えれば画像回復処理としての高解像度化処理の周波数特性を表す。
【０００９】
なお、実際の撮像光学系のＨ（ｕ，ｖ）は画面上の領域（位置）ごとに異なるため、（４）式で示す高解像度化処理の周波数特性λf（ｕ，ｖ）も画面上の領域ごとに異ならせることが望ましい。ここにいう画面上の領域には、画素単位も含む。
【００１０】
（５）式に示すように、λf（ｕ，ｖ）をＧ（ｕ，ｖ）に乗算すれば、光学系の回折や収差等により発生したＰＳＦの位相成分を０にし、振幅成分の周波数特性を増幅することができ、高解像度かつ良好な回復画像を得ることができる。Ｒ（ｕ，ｖ）は回復画像の周波数空間の情報である。
Ｒ（ｕ，ｖ）＝Ｇ（ｕ，ｖ）＊λf（ｕ，ｖ） （５）
ウィナーフィルタのΓを小さくして増幅率を強くすると、高解像度化処理の効果が向上するが、ノイズが著しく増幅される。一方、Γを大きくして増幅率を弱くすると、ノイズの増幅を抑制することはできるが、高解像度化処理の効果が低下する。
【００１１】
特許文献１には、高解像度化処理の効果とノイズの抑制を両立させるために、高解像度化処理を行って得られた高解像度画像に対してノイズ低減処理を行う方法が開示されている。この方法では、高解像度化画像に対してシグマフィルタや平均化フィルタ等の２次元フィルタを用いてノイズ低減処理を行う。この際、画面上の位置の関数として決定されたノイズレベルに応じてノイズ低減処理のパラメータを変更する。
【００１２】
また、特許文献２には、画像の劣化が少ないノイズ低減用フィルタとして知られているＮＬＭ（Non-Local Means）フィルタを用いたノイズ低減処理が開示されている。このノイズ低減処理では、被写体空間の自己相似性を利用し、注目画素の画素値を該注目画素を含む部分画像の構造に似ている複数の部分画像の加重平均画素値で置換することでノイズを低減する。加重平均で用いる重みは、注目画素を中心とする部分画像の各画素値を成分として生成したベクトルと、該注目画素の周辺にある画素の画素値を成分として生成したベクトルとの間の距離に応じて決定される。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特許第５３３７０４９号公報
【特許文献２】米国特許８，４２７，５５９号明細書
【発明の概要】
【発明が解決しようとする課題】
【００１４】
しかしながら、特許文献１にて開示された方法のように局所的なノイズ低減処理を行うと、画像内のエッジ等に劣化が生じる場合があり、高解像度化処理の効果を低下させるおそれがある。また、特許文献２にて開示されたＮＬＭフィルタは、解像度を保ちつつノイズを低減できるものの、設定するパラメータによっては画像の劣化や残留ノイズが生じる場合がある。
【００１５】
本発明は、高解像度化処理により増幅されたノイズを効果的に低減することができるようにした画像処理装置等を提供する。
【課題を解決するための手段】
【００１６】
本発明の一側面としての画像処理装置は、撮像光学系を通した撮像により生成された入力画像に対して画像処理を行う。該画像処理装置は、入力画像に対して高解像度化処理を行うことにより第１の画像を生成する第１の処理手段と、第１の画像または該第１の画像から生成した画像であるノイズ低減対象画像に対してノイズ低減処理を行うことにより第２の画像を生成する第２の処理手段とを有する。第２の処理手段は、ノイズ低減処理において、ノイズ低減対象画像から、対象画素を含む第１の部分画像と参照画素を含む複数の第２の部分画像とを抽出し、複数の第２の部分画像に対して第１の部分画像との相関値を算出し、高解像度化処理によるノイズの増幅量に関する特性と相関値とに応じて複数の第２の部分画像のそれぞれに対して重みを与え、複数の第２の部分画像における参照画素の画素値と重みとを用いて対象画素の画素値を算出し、該算出された画素値を用いて第２の画像を生成することを特徴とする。
【００１７】
なお、撮像光学系を通した撮像により撮像画像を生成する撮像手段と、撮像画像である入力画像に対して画像処理を行う上記画像処理装置も、本発明の他の一側面を構成する。
【００１８】
また、本発明の他の一側面としての画像処理プログラムは、コンピュータに、撮像光学系を通した撮像により生成された入力画像に対して画像処理を行わせるコンピュータプログラムである。画像処理は、入力画像に対して高解像度化処理を行うことにより第１の画像を生成する第１の処理と、第１の画像または該第１の画像から生成した画像であるノイズ低減対象画像に対してノイズ低減処理を行うことにより第２の画像を生成する第２の処理とを含む。第２の処理は、ノイズ低減処理において、ノイズ低減対象画像から、対象画素を含む第１の部分画像と参照画素を含む複数の第２の部分画像とを抽出し、複数の第２の部分画像に対して第１の部分画像との相関値を算出し、高解像度化処理によるノイズの増幅量に関する特性と相関値とに応じて複数の第２の部分画像のそれぞれに対して重みを与え、複数の第２の部分画像における参照画素の画素値と重みとを用いて対象画素の画素値を算出し、該算出された画素値を用いて第２の画像を生成することを特徴とする。
【発明の効果】
【００１９】
本発明によれば、高解像度化処理において増幅されたノイズを良好に低減することができ、ノイズが少ない高解像度な画像を得ることができる。
【図面の簡単な説明】
【００２０】
【図１】本発明の実施例１における画像処理を示すフローチャート。
【図２】実施例１における画像回復処理のシフトインバリアント領域と光学伝達関数を示す図。
【図３】実施例１における高解像度化画像における領域ごとの増幅量を示す図。
【図４】実施例１における注目データと参照データの取得に関する図。
【図５】本発明の実施例２における画像処理装置を内蔵した撮像装置を示す図。
【発明を実施するための形態】
【００２１】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００２２】
図１には、本発明の実施例１である画像処理装置で行われる画像処理のフローチャートを示している。画像処理装置は、パーソナルコンピュータまたは画像処理用ＣＰＵ（またはＭＰＵ）等により構成され、コンピュータプログラムとしての画像処理プログラムに従って本処理を実行する。
【００２３】
この画像処理では、入力画像である撮像画像（劣化画像）に対して高解像度化処理を行って高解像度化画像（第１の画像）を生成し、その後、高解像度化画像に対して高解像度化処理の特性に基づいたノイズ低減処理を行うことで出力画像（第２の画像）を生成する。ここにいう高解像度化処理の特性とは、後述するように、高解像度化処理の周波数特性または高解像度化処理によるノイズの増幅量に関する特性である。
【００２４】
本実施例では、高解像度化処理として、画像回復処理を行う場合を例として説明する。画像処理装置は、第１の処理手段、第２の処理手段およびノイズ取得手段として機能する。
【００２５】
まず、ステップＳ１０１において、画像処理装置は、デジタルスチルカメラ等の撮像装置から撮像画像を入力画像として取得する。撮像装置は、撮像光学系を通して被写体を撮像することで撮像画像を生成する。この撮像装置からの撮像画像の取得は、該撮像装置からの有線または無線による通信により行ってもよいし、半導体メモリや光ディスク等の記憶媒体を介して行ってもよい。撮像画像には、撮像時の撮像装置の焦点距離、Ｆ値、撮像距離、輝度レベルおよび該撮像装置に設けられた撮像素子の画素サイズやＩＳＯ感度等の撮像条件情報が付加されている。
【００２６】
図２には、水平方向にＭ分割され、垂直方向にＮ分割された撮像画像を示している。撮像光学系の光学特性は撮像画像の全体に対して一様ではないが、撮像画像内の狭い領域においてはその領域に対する光学特性を一様とみなすことができる。以下の説明において、撮像光学系の光学特性が一様であるとみなせる領域をシフトインバリアント領域といい、画像処理も領域（ｍ，ｎ）ごとに行う。なお、シフトインバリアント領域は、予め撮像光学系の光学特性を考慮して決定しておくことが好ましい。撮像画像の分割数（つまりはシフトインバリアント領域の数）を増やして個々のシフトインバリアント領域を小さくすると、画像回復処理等の精度は向上するが、処理速度が遅くなったり取り扱うデータ量が増大したりする。このため、これらのバランスを考慮してシフトインバリアント領域の数を決定するとよい。
【００２７】
次に、ステップＳ１０２において、画像処理装置は、撮像画像に含まれるノイズ量（以下、第１のノイズ量という）σ０を算出する。ノイズ量は、ノイズ分布の標準偏差である。撮像画像の第１のノイズ量σ０は、例えば、撮像装置の輝度レベルやＩＳＯ感度等が異なる複数の撮像条件に対するノイズ量を予め測定してそのデータをメモリに記憶しておき、ステップＳ１０１で取得した撮像画像の撮像条件情報に合致するノイズ量を取得する。
【００２８】
また、第１のノイズ量σ０を算出する別の方法として、ＭＡＤ（Median Absolute Deviation）を用いてもよい。ＭＡＤは、撮像画像をウェーブレット変換することで得られた最も高周波なＨＨ１のサブバンド画像のウェーブレット係数ｗＨＨ１を用いて、（６）式により算出する。
ＭＡＤ＝ｍｅｄｉａｎ（｜ｗＨＨ１−ｍｅｄｉａｎ（ｗＨＨ１）｜）    （６）
そして、撮像画像に含まれる第１のノイズ量σ０は、ＭＡＤと標準偏差が（７）式の関係を有することから推定することができる。
σ０＝ＭＡＤ／０．６７４５    （７）
また、第１のノイズ量σ０は、撮像画像における領域（ｍ，ｎ）等のように複数の画素を含む領域ごとに取得してもよいし、１画素ごとに取得してもよい。なお、ステップＳ１０２は、後述するステップＳ１０５が行われる前であれば、ステップＳ１０３およびステップＳ１０４を実行した後に行われてもよい。
【００２９】
次に、ステップＳ１０３において、画像処理装置は、撮像光学系の光学伝達関数（ＯＴＦ）を取得する。ＯＴＦは、Ｈ（ｕ，ｖ）で表されるように、２次元空間におけるＰＳＦの周波数特性である。すなわち、ＯＴＦは、ＰＳＦによってその特性が変化する。
【００３０】
また、ＯＴＦは、それぞれ異なる撮像条件に対応する膨大な数のバリエーションがある。例えば、撮像光学系が可変焦点距離のズームレンズである場合には、焦点距離、Ｆ値、撮像距離、画面上での位置および色（波長）等のパラメータを組み合わせ分だけＯＴＦが存在する。さらに、これらのパラメータと画素サイズ等の撮像素子の特性と組み合わせた数のバリエーションもある。したがって、現実的には、上記パラメータの組み合わせに対応するＯＴＦの中から画像回復処理に必要なＯＴＦだけを取得する。本実施例では、取得可能なＯＴＦを予め光学ＣＡＤ等を用いて計算しておき、計算したＯＴＦを画像回復処理に適したＯＴＦデータベースとしてメモリに保存しておく。そして、画像処理装置は、ステップＳ１０１にて取得した撮像画像から、撮像時の焦点距離、Ｆ値、撮像距離、画素サイズ等の撮像条件情報を取得し、ＯＴＦデータベースに保存されたＯＴＦのうち取得した撮像条件情報に対応するＯＴＦを取得する。
【００３１】
なお、取得するＯＴＦ以外のＯＴＦは、取得したＯＴＦを用いた補間処理によって生成してもよい。また、ＯＴＦを取得する画面上での位置は、図２に示した各シフトインバリアント領域に対応する位置とすることが望ましい。また、取得すべきＯＴＦを測定によって求めることで取得してもよい。
【００３２】
次に、ステップＳ１０４において、画像処理装置は、高解像度化処理の特性として、高解像度化処理の周波数特性を算出する。具体的には、画像処理装置は、ユーザによって指定された画像回復処理の強さとステップＳ１０３で取得したＯＴＦとを用いて、（４）式により高解像度化処理の周波数特性λf（ｕ，ｖ）を算出する。（４）式においてＨ（ｕ，ｖ）はＯＴＦであるので、高解像度化処理の周波数特性λf（ｕ，ｖ）は、撮像光学系の光学特性（ＯＴＦ）に応じた周波数特性と言える。
【００３３】
図２に示した領域（ｍ，ｎ）を代表するＯＴＦをＨｍ,ｎ（ｕ，ｖ）とすると、（４）式を以下の式（８）ように書き換えることができる。
【００３４】
【数２】
0006614843.tif 000003
【００３５】
この（８）式により、領域（ｍ，ｎ）ごとに高解像度化処理の周波数特性λfｍ,ｎ（ｕ，ｖ）を算出することができる。
【００３６】
また、画像回復処理の強さはユーザが認識しやすい０〜１００のような数値範囲から選択できるようにするとよい。画像処理装置は、ユーザが指定した強さに対して、実際に適用する画像回復処理での周波数信号の増幅量を算出および設定する。この周波数信号の増幅量（以下、周波数増幅量という）は、（８）式で示した周波数特性λfｍ,ｎ（ｕ，ｖ）の絶対値（｜λfｍ,ｎ（ｕ，ｖ）｜）として算出され、Γｍ,ｎによって制御される。周波数増幅量は、例えば特定の周波数（Ｕ，Ｖ）における値｜λfｍ,ｎ（Ｕ，Ｖ）｜としてもよい。さらには、｜λfｍ,ｎ（ｕ，ｖ）｜で示される帯域内の最大値や平均値としてもよい。
【００３７】
次に、ステップＳ１０５において、画像処理装置は、撮像画像に対して、算出した高解像度化処理の周波数特性λfｍ,ｎ（ｕ，ｖ）に基づいた画像回復処理を行うことで高解像度化画像（第１の画像）を取得する。この際、領域（ｍ，ｎ）ごとに算出した高解像度化処理の周波数特性λfｍ,ｎ（ｕ，ｖ）を用いることによって、領域（ｍ，ｎ）ごとに最適な画像回復処理を行うことができる。さらに言えば、領域の切り替わりでブロックノイズ等が発生しないような補間処理を用いると、より良好な画像回復処理による高解像度化処理を行うことが可能となる。
【００３８】
なお、画像回復処理を、（８）式を逆フーリエ変換して得られる実空間のフィルタ（画像回復フィルタ）を撮像画像に畳み込むことで行ってもよい。この場合、予め生成された実空間のフィルタを前述したＯＴＦデータベースに格納して用いることも可能である。
【００３９】
次に、ステップＳ１０６において、画像処理装置は、撮像画像の領域（ｍ，ｎ）で行った高解像度化処理の周波数特性λfｍ,ｎ（ｕ，ｖ）に基づいて、領域（ｍ，ｎ）におけるノイズの増幅量Ａ（ｍ，ｎ）を算出する。この際、ＯＴＦデータベースに格納した実空間のフィルタを用いた場合のノイズの増幅量として、予め実空間のフィルタとともにＯＴＦデータベースに格納したものを用いてもよいし、実空間のフィルタをフーリエ変換して求めたものを用いてもよい。
【００４０】
前述したように撮像光学系のＯＴＦであるＨｍ,ｎ（ｕ，ｖ）はシフトインバリアント領域ごとに異なるため、高解像度化処理もシフトインバリアント領域ごとの周波数特性λfｍ,ｎ（ｕ，ｖ）に基づいて行われる。このため、高解像度化画像には、シフトインバリアント領域における高解像度化処理の周波数特性λfｍ,ｎ（ｕ，ｖ）に基づいて増幅されたノイズが含まれる。つまり、高解像度化画像の領域（ｍ，ｎ）ごとにノイズの増幅量が異なる。
【００４１】
そこで、画像処理装置は、高解像度化画像の領域（ｍ，ｎ）における増幅量Ａ（ｍ，ｎ）を算出する。領域（ｍ，ｎ）における高解像度化処理による増幅量Ａ（ｍ，ｎ）は、（９）式より、高解像度化処理の周波数特性λfｍ,ｎ（ｕ，ｖ）に基づいて算出される。（９）式において、Ｎは高解像度化処理の周波数特性λfｍ,ｎ（ｕ，ｖ）のデータ数である。
【００４２】
【数３】
0006614843.tif 000004
【００４３】
図３には、算出した高解像度化画像の領域（ｍ，ｎ）における増幅量Ａ（ｍ，ｎ）を示している。明るい領域ほど増幅量Ａが大きいことを示している。
【００４４】
次に、ステップＳ１０７において、画像処理装置は、高解像度化画像の領域（ｍ，ｎ）におけるノイズ量（第２のノイズ量）σ（ｍ，ｎ）を算出する。領域（ｍ，ｎ）の第２のノイズ量σ（ｍ，ｎ）は、ステップＳ１０２で取得した撮像画像に含まれる第１のノイズ量σ０とステップＳ１０６で算出した領域（ｍ，ｎ）の増幅量Ａ（ｍ，ｎ）とを用いて、以下の（１０）式により算出される。なお、増幅量Ａ（ｍ，ｎ）は上記（９）式により高解像度化処理の周波数特性λfｍ,ｎ（ｕ，ｖ）から求められるので、第２のノイズ量σ（ｍ，ｎ）は、第１のノイズ量と高解像度化処理の周波数特性λfｍ,ｎ（ｕ，ｖ）とを用いて算出されるとも言える。
【００４５】
【数４】
0006614843.tif 000005
【００４６】
次に、ステップＳ１０８〜Ｓ１１２において、画像処理装置は、算出した第２のノイズ量σ（ｍ，ｎ）に基づいてノイズ低減対象画像に対してノイズ低減処理を行う。ここで、ノイズ低減対象画像は高解像度化画像であってもよいし、高解像度化画像から得られた画像であってもよい。高解像度化画像から得られた画像とは、高解像度化画像を周波数分解して得られた画像等が挙げられる。この場合、ステップＳ１０６とステップＳ１０７を高解像度化画像を周波数分解して得られた画像ごとに行ってもよい。
【００４７】
以下、ＮＬＭ（Non-Local Means）フィルタを用いたノイズ低減処理に関して詳細に説明する。
【００４８】
ステップＳ１０８では、画像処理装置は、ノイズ低減対象画像から注目画素（対象画素）を含む部分領域のデータ（第１の部分画像：以下、注目データという）を抽出する。注目データは、ノイズ低減処理の対象である注目画素（１画素でも複数画素でもよい）のみを含む部分領域または注目画素とその周辺画素を含む部分領域のデータである。注目データは画素値の分布に関する情報を有する必要があるため、注目データを抽出する部分領域（以下、注目データ領域という）は複数の画素を含む必要がある。注目画素が１画素である場合には、注目データ領域内の画素数は必ず注目画素の数より数が多くなる。
【００４９】
例えば、図４に示すように、ノイズ低減対象画像２００のうち、注目画素２０２を含む注目データ領域２０１から注目データが抽出される。ここでは注目画素２０２が１画素であり、該注目画素２０２を含む複数画素からなる注目データ領域２０１のデータを注目データとしている。ただし、注目画素と注目データ領域のサイズ、形状および抽出位置は図４に示すものに限定されない。
【００５０】
次に、ステップＳ１０９では、画像処理装置は、ノイズ低減対象画像から複数の部分領域のデータ（複数の第２の部分画像：以下、複数の参照データという）を抽出する。複数の参照データは、後述する加重平均に用いる参照画素（１画素でも複数画素でもよい）を含む部分領域のデータである。
【００５１】
なお、ＮＬＭフィルタを用いるノイズ低減処理では、被写体空間の自己相似性を利用するため、参照データは、注目データを抽出したノイズ低減対象画像から抽出することが好ましい。ただし、参照データを、ノイズ低減対象画像とは別の画像であってノイズ低減対象画像に写っている被写体と類似する被写体が写っている画像から取得してもよい。
【００５２】
また、注目データをノイズ低減対象画像におけるある色成分（例えば、緑成分）から抽出した場合に、参照データを該ノイズ低減対象画像における他の色成分（赤成分や緑成分）から抽出してもよい。
【００５３】
また、ノイズ低減対象画像から参照データを抽出する場合に、注目データに相似な形状のデータは注目データ領域の近傍に存在している可能性が高い。このため、ノイズ低減対象画像のうち、参照データを抽出する部分領域（以下、参照データ領域という）の選択が可能な領域（以下、参照データ抽出可能領域という）を注目データ領域の近傍に絞り込んで、処理の高速化を図ってもよい。
【００５４】
例えば、図４に示すように、参照データ抽出可能領域２０３を、注目データ領域２０１（さらに言えば注目画素２０２）を中心とした該注目データ領域２０１の近傍の領域に設定（限定）する。そして、参照データ抽出可能領域２０３内において複数の参照データ領域２０４を選択し、これら参照データ領域２０４から参照データを抽出する。参照データ領域２０４は注目データ領域２０１と部分的に重なってもよいし、参照データ領域２０４同士が互いに部分的に重なってもよい。また、参照データ領域は注目データ領域と完全に重なってもよいが、後述する加重平均画素値における注目画素自信の重みが他の参照画素の重みよりも相対的に高くなることでノイズ低減処理の効果が低下するため、参照データ領域は注目データ領域とは異なることが好ましい。
【００５５】
なお、参照データ抽出可能領域２０３のサイズや形状、また参照データ領域２０４および参照画素２０５のサイズ、形状、位置は図４に示したものに限定されない。
【００５６】
参照データ抽出可能領域を、注目画素に対する高解像度化処理での増幅量（つまりは高解像度化処理の周波数特性）に応じて設定してもよい。例えば、注目画素に対する高解像度化処理での増幅量から予め設定した範囲内の増幅量となる領域を参照データ抽出可能領域としてもよい。さらに、注目画素での第２のノイズ量に応じて参照データ抽出可能領域を設定してもよい。これにより、注目画素での第２のノイズ量が大きくなるほど参照データ抽出可能領域を大きく設定することになり、ノイズ低減処理の効果を向上させることができる。
【００５７】
次に、ステップＳ１１０では、画像処理装置は、ステップＳ１０８で抽出した注目データとステップＳ１０９で抽出（または取得）した複数の参照データのそれぞれとの相関値を算出する。相関値の算出には、ＳＩＦＴ（Scale-Invariant Feature Transform）やＳＵＲＦ（Speeded-Up Robust Features）のような特徴量ベースの手法や、後述する領域ベースの手法を用いることができる。特徴量ベースの手法では、データの特徴量に着目するため、注目データと参照データの画素数が異なっていても相関値を算出することができる。一方、領域ベースの手法では、互いのデータの画素ごとの画素値の差に着目するため、両データの画素数を合わせないと正しく相関値を算出することができない。ただし、領域ベースの手法では、特徴量ベースの手法よりも相似性を高精度に判定できるというメリットがある。
【００５８】
領域ベースの相関値の算出方法の例として、注目データと参照データの対応画素ごとの画素値の差の二乗平均平方根を用いる方法について説明する。ただし、領域ベースの相関値の算出方法がこれに限定されるわけではない。また、ここでの説明は、簡単のために色成分（ＲＧＢ）を考えずにノイズ低減対象画像が単色画像である場合に対して行うが、ノイズ低減対象画像が複数の色成分を持つ場合にも色成分ごとに適用することができる。
【００５９】
注目データおよび参照データを画像データとして、つまり行列で扱う場合は、相関値ｇは以下の（１１）式のようになる。
【００６０】
【数５】
0006614843.tif 000006
【００６１】
Ｔは注目データにおける複数の画素値を成分ｔｉｊとする行列であり、ＮはＴの行数、ＭはＴの列数である。また、Ｒｋはｋ番目の参照データにおける複数の画素値を成分ｒｉｊとする行列である。（１１）式で表される相関値ｇは、注目データと参照データの差分に対応する値であるため、相関値ｇが０に近い（つまりは小さい）ほど注目データと参照データとの相似性（相関）が高いことを意味する。
【００６２】
ここで、注目データおよび参照データの画素値から、画像の明るさの平均値に相当する直流成分を減算してもよい。相関値によって判定したいのは、注目データと参照データの持つ画素値構造がどの程度似ているかであるため、その明るさ（直流成分）は無関係であるため、これを減算してもよい。また、注目データと参照データの相関が最も高くなるように参照データのコントラストを調整してもよい。これは、参照データの交流成分をスカラー倍することに相当する。
【００６３】
また、注目画素における第２のノイズ量に応じて、注目データおよび参照データの画素数を設定してもよい。例えば、第２のノイズ量が大きい注目画素に対してノイズ低減処理を行う場合は、注目データおよび参照データの画素数を少なくする。注目データおよび参照データの画素数を少なくすると、相関値が大きくなり、重みが大きくなる参照画素が増加するため、ノイズ低減処理の効果を向上させることができる。第２のノイズ量が小さい注目画素に対してノイズ低減処理を行う場合は、注目データおよび参照データの画素数を多くすることで、ノイズ低減処理の効果を抑制することもできる。
【００６４】
次に、ステップＳ１１１では、画像処理装置は、ステップＳ１１０で算出した各参照データの相関値に応じて、各参照データに対して与える重みを設定する。注目データとの相関が高い参照データほど注目データにより類似しているので、その参照データに対する重みを大きく設定する。これにより、注目データの画素値構造を保ったまま、参照データを用いたノイズ低減処理を行うことができる。
【００６５】
また、この際、画像処理装置は、ステップＳ１０７で算出した高解像度化画像の領域（ｍ，ｎ）における第２のノイズ量σ（ｍ，ｎ）に応じて参照データに与える重みを設定する。具体的には、参照データ領域（領域（ｍ，ｎ））における第２のノイズ量σ（ｍ，ｎ）が大きいほど、そこから抽出した参照データに対する重みを大きく設定し、ノイズ低減処理の効果を強くする。例えば、以下の（１２）式のように重みを設定する。
【００６６】
【数６】
0006614843.tif 000007
【００６７】
ｗｋはｋ番目の参照データに対して与えられる重みであり、ｃは重みを調整するための重み調整パラメータである。重み調整パラメータは定数としてもよいし、ユーザが変更できるようにしてもよい。Ｚは重みｗｋの規格化因子であり、以下の（１３）式により表される。
【００６８】
【数７】
0006614843.tif 000008
【００６９】
上記のように重みを設定する際に、注目画素における第２のノイズ量と上記相関値とに応じて重みを設定してもよいし、注目データ領域における第２のノイズ量の平均値または中央値と上記相関値とに応じて重みを設定してもよい。さらに、注目データ領域と参照データ領域における第２のノイズ量と上記相関値とに応じて重みを設定してもよい。例えば、注目データ領域における第２のノイズ量に対して参照データ領域における第２のノイズ量が大きい場合は、ノイズが強い画素が参照されてノイズ低減効果が低くなる等の弊害の要因となり得るため、重みを小さく設定する。
【００７０】
ただし、重みの算出方法はこれらに限らない。例えば、ステップＳ１０６で算出した高解像度化処理による増幅量Ａ（ｍ，ｎ）を用いて重みを算出してもよい。この場合は、ステップＳ１０２における第１のノイズ量の取得とステップＳ１０７における第２のノイズ量の取得は省略してもよい。
【００７１】
次に、ステップＳ１１２では、画像処理装置は、ステップＳ１１１で複数の参照データに対して設定した重みを用いて、該複数の参照データのそれぞれにおける参照画素の画素値の加重平均である加重平均画素値を算出する。そして、その加重平均画素値で注目画素の画素値を置換する。これにより、注目画素のノイズ低減処理が完了する。加重平均画素値ｓａｖｅは、例えば以下の（１４）式により算出される。
【００７２】
【数８】
0006614843.tif 000009
【００７３】
ｓｋはｋ番目の参照データにおける参照画素の画素値である。ただし、加重平均画素値の算出方法はこれに限らない。例えば、非線型結合を用いてもよい。
【００７４】
本ステップにおいて、複数の重み付け画素値（参照画素の画素値）が合成されることで平均化された画素値が得られ、ノイズが低減される。加重平均画素値ｓａｖｅで注目画素の画素値を置換することで、該注目画素のノイズが低減された出力画素が生成される。
【００７５】
注目データに含まれる注目画素が複数である場合には、各注目画素に対して（１４）式による計算とこれにより算出された加重平均画素値ｓａｖｅによる置換とを行えばよい。また、この際に、同時に他のノイズ低減処理の手法を併用してもよい。さらに、加重平均画素値による置換に代えて、加重平均画素値を参考にした学習型のノイズ低減処理を行ってもよい。
【００７６】
以上説明したノイズ低減処理をノイズ低減対象画像の全画素を注目画素として行うことで、画像処理装置はステップＳ１１３において、ノイズ低減処理がなされた出力画像（第２の画像）を生成する。なお、ノイズ低減対象画像のうち一部の領域の画素を注目画素としてノイズ低減処理を行うことで、出力画像を生成してもよい。
【００７７】
本実施例におけるノイズ低減処理は、ノイズ低減対象画像の領域（ｍ，ｎ）における第２のノイズ量に基づく処理であり、撮像画像のシフトインバリアント領域ごとの高解像度化処理によるノイズの増幅量に対して最適化されている。したがって、本実施例におけるノイズ低減処理により、高解像度化処理によって増幅されたノイズが効果的に低減された良好な高解像度化およびノイズ低減画像を得ることができる。
【００７８】
なお、本実施例では、高解像度化処理として画像回復処理を行う場合について説明した。しかし、高解像度化処理の周波数特性を取得できる場合であれば、エッジ強調処理や超解像処理等の高解像度化処理を行ってもよく、この場合でも上述したノイズ低減処理を行うことで同様に良好な高解像度化およびノイズ低減画像を得ることができる。
【実施例２】
【００７９】
次に、本発明の実施例２について説明する。図５には、実施例１の画像処理装置としての画像処理部３０４を備えた撮像装置を示している。撮像光学系３０１は、絞り３０１ａやフォーカスレンズ３０１ｂを含み、被写体からの光に被写体像を形成させる。なお、撮像光学系３０１は撮像装置に対して一体に設けられたものであってもよいし、交換可能に設けられたものであってもよい。
【００８０】
撮像素子３０２は、ＣＣＤセンサやＣＭＯＳセンサ等により構成され、撮像光学系３０１により形成された被写体像を撮像（光電変換）して電気信号としてのアナログ信号を出力する。撮像素子３０２から出力されたアナログ信号は、Ａ／Ｄ変換器３０３によりデジタル信号に変換され、画像処理装置としての画像処理部３０４に入力される。
【００８１】
画像処理部３０４は、入力されたデジタル信号に対して各種画像処理を行うことにより撮像画像を生成する。撮像素子３０２および画像処理部３０４により撮像手段が構成される。また、画像処理部３０４は、撮像画像に対して実施例１で説明した高解像度化処理およびノイズ低減処理を行う。
【００８２】
表示部３０５は、撮像画像に対して高解像度化処理およびノイズ低減処理を行うか否かをユーザに選択させるためのＧＵＩ（グラフィカルユーザーインターフェース）と、高解像度化処理の強さをユーザに設定させるためのＧＵＩとを表示する。これらのＧＵＩを通じてユーザが高解像度化処理およびノイズ低減処理を行うことを選択し、さらに高解像度化処理の強さを設定すると、画像処理部３０４は、撮像画像に対して実施例１で説明した高解像度化処理およびノイズ低減処理を行う。また、予めユーザが高解像度化処理およびノイズ低減処理を行うことを選択し、高解像度化処理の強さを設定した場合には、画像処理部３０４が取得した撮像画像に対して自動的に高解像度化処理およびノイズ低減処理を行うようにしてもよい。
【００８３】
画像処理部３０４に高解像度化処理を行わせるために、状態検知部３０７は、撮像画像を生成する際における撮像装置の撮像条件情報を得る。状態検知部３０７は、撮像条件情報をシステムコントローラ３１０から得てもよい。また、絞り３０１ａの動作やフォーカスレンズ３０１ｂの移動を制御する撮像光学系制御部３０６から、これら絞り３０１ａやフォーカスレンズ３０１ｂを含む撮像光学系に関する撮像条件情報を得てもよい。これらの撮像条件情報が付加された撮像画像は、画像処理部３０４に接続された半導体メモリや光ディスク等の画像記録媒体３０９に記録される。
【００８４】
また、ＯＴＦは、撮像光学系３０１の焦点距離およびＦ値、撮像距離、画面上の位置、撮像素子３０２の画素サイズ等の撮像条件の組み合わせごとに（さらに撮像光学系３０１が交換可能である場合はその識別情報ごとに）、予め記憶部３０８に保持されている。
【００８５】
画像処理部３０４は、高解像度化処理およびノイズ低減処理により生成した出力画像を画像記録媒体３０９に出力して記録させたり、表示部３０５に出力して表示させたりする。以上説明した一連の動作は、ＣＰＵやＭＰＵ等によって構成されるシステムコントローラ３１０により制御される。高解像度化処理およびノイズ低減処理については、実施例１で説明した通りである。
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００８６】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【符号の説明】
【００８７】
３０１  撮像光学系
３０２  撮像素子
３０４  画像処理部
【図１】
0006614843.tif 000010
【図２】
0006614843.tif 000011
【図３】
0006614843.tif 000012
【図４】
0006614843.tif 000013
【図５】
0006614843.tif 000014