(57)【要約】【課題】複雑な処理を行うことなく、平坦部およびグラデーション部のノイズを低減すること。【解決手段】ノイズ低減装置は、入力データに対して第１平滑化フィルタによるフィルタリング処理を施して、第１データを生成する第１フィルタ処理手段と、第１データを周波数によって分離して、低周波成分からなる第２データと高周波成分からなる第３データとを生成する周波数分離手段と、第３データに対して第２平滑化フィルタによるフィルタリング処理を施して、第４データを生成する第２フィルタ処理手段と、第２データに対して第３平滑化フィルタによるフィルタリング処理を施して、第５データを生成する第３フィルタ処理手段と、第４データと第５データとを加算して、第６データを生成する加算手段と、を備える。【選択図】図２
2015032990.tif 000002
【特許請求の範囲】
【請求項１】
入力データに対して第１平滑化フィルタによるフィルタリング処理を施して、第１データを生成する第１フィルタ処理手段と、
前記第１データを周波数によって分離して、低周波成分からなる第２データと高周波成分からなる第３データとを生成する周波数分離手段と、
前記第３データに対して第２平滑化フィルタによるフィルタリング処理を施して、第４データを生成する第２フィルタ処理手段と、
前記第２データに対して第３平滑化フィルタによるフィルタリング処理を施して、第５データを生成する第３フィルタ処理手段と、
前記第４データと前記第５データとを加算して、第６データを生成する加算手段と、
を備えることを特徴とするノイズ低減装置。
【請求項２】
請求項１に記載のノイズ低減装置において、
前記第３平滑化フィルタは、前記第２平滑化フィルタよりも適用範囲が広いことを特徴とするノイズ低減装置。
【請求項３】
請求項１または２に記載のノイズ低減装置において、
前記第２平滑化フィルタおよび前記第３平滑化フィルタは、前記第１平滑化フィルタよりも適用範囲が広いことを特徴とするノイズ低減装置。
【請求項４】
請求項３に記載のノイズ低減装置において、
前記第２平滑化フィルタおよび前記第３平滑化フィルタは、前記適用範囲に含まれるデータ数よりも、演算に用いる適用データの数を少なくすることを特徴とするノイズ低減装置。
【請求項５】
請求項２に記載のノイズ低減装置において、
前記第３フィルタ処理手段は、前記第２データを縮小してデータ数を減らした縮小第２データに対して前記第３平滑化フィルタをかけて、その後拡大して前記第５データを生成することを特徴とするノイズ低減装置。
【請求項６】
請求項１〜５のいずれか一項に記載のノイズ低減装置において、
前記加算手段は、前記第４データにゲインをかけ、前記第５データに加算することを特徴とするノイズ低減装置。
【請求項７】
入力画像データに対して第１平滑化フィルタによるフィルタリング処理を施して、第１画像データを生成する第１フィルタ処理手段と、
前記第１画像データを周波数によって分離して、低周波成分からなる第２画像データと高周波成分からなる第３画像データとを生成する周波数分離手段と、
前記第３画像データに対して第２平滑化フィルタによるフィルタリング処理を施して、第４画像データを生成する第２フィルタ処理手段と、
前記第２画像データに対して第３平滑化フィルタによるフィルタリング処理を施して、第５画像データを生成する第３フィルタ処理手段と、
前記第４画像データと前記第５画像データとを加算して、第６画像データを生成する加算手段と、
を備えることを特徴とする画像処理装置。
【請求項８】
請求項７に記載の画像処理装置を備えることを特徴とする撮像装置。
【請求項９】
入力データに対して第１平滑化フィルタによるフィルタリング処理を施して、第１データを生成する第１フィルタ処理と、
前記第１データを周波数によって分離して、低周波成分からなる第２データと高周波成分からなる第３データとを生成する周波数分離処理と、
前記第３データに対して第２平滑化フィルタによるフィルタリング処理を施して、第４データを生成する第２フィルタ処理と、
前記第２データに対して第３平滑化フィルタによるフィルタリング処理を施して、第５データを生成する第３フィルタ処理と、
前記第４データと前記第５データとを加算して、第６データを生成する加算処理と、
をコンピュータに実行させることを特徴とするノイズ低減プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ノイズ低減装置、画像処理装置、撮像装置、およびノイズ低減プログラムに関する。
【背景技術】
【０００２】
注目画素が、平坦部、エッジ部およびグラデーション部のいずれに属するかを判定し、判定結果に応じた最適なフィルタを選択してノイズ低減処理を行うノイズ低減装置が提案されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０９８３４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記従来技術のノイズ低減装置では、注目画素が、平坦部、エッジ部およびグラデーション部のいずれに属するかを判定する画像解析を行わなければならず、複雑な処理が必要であった。
【課題を解決するための手段】
【０００５】
（１）請求項１に記載の発明によるノイズ低減装置は、入力データに対して第１平滑化フィルタによるフィルタリング処理を施して、第１データを生成する第１フィルタ処理手段と、第１データを周波数によって分離して、低周波成分からなる第２データと高周波成分からなる第３データとを生成する周波数分離手段と、第３データに対して第２平滑化フィルタによるフィルタリング処理を施して、第４データを生成する第２フィルタ処理手段と、第２データに対して第３平滑化フィルタによるフィルタリング処理を施して、第５データを生成する第３フィルタ処理手段と、第４データと第５データとを加算して、第６データを生成する加算手段と、を備えることを特徴とする。
（２）請求項７に記載の発明による画像処理装置は、入力画像データに対して第１平滑化フィルタによるフィルタリング処理を施して、第１画像データを生成する第１フィルタ処理手段と、第１画像データを周波数によって分離して、低周波成分からなる第２画像データと高周波成分からなる第３画像データとを生成する周波数分離手段と、第３画像データに対して第２平滑化フィルタによるフィルタリング処理を施して、第４画像データを生成する第２フィルタ処理手段と、第２画像データに対して第３平滑化フィルタによるフィルタリング処理を施して、第５画像データを生成する第３フィルタ処理手段と、第４画像データと第５画像データとを加算して、第６画像データを生成する加算手段と、を備えることを特徴とする。
（３）請求項８に記載の発明による撮像装置は、請求項７に記載の画像処理装置を備えることを特徴とする。
（４）請求項９に記載の発明によるノイズ低減プログラムは、入力データに対して第１平滑化フィルタによるフィルタリング処理を施して、第１データを生成する第１フィルタ処理と、第１データを周波数によって分離して、低周波成分からなる第２データと高周波成分からなる第３データとを生成する周波数分離処理と、第３データに対して第２平滑化フィルタによるフィルタリング処理を施して、第４データを生成する第２フィルタ処理と、第２データに対して第３平滑化フィルタによるフィルタリング処理を施して、第５データを生成する第３フィルタ処理と、第４データと第５データとを加算して、第６データを生成する加算処理と、をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００６】
複雑な処理を行うことなく、平坦部およびグラデーション部のノイズを低減することができる。
【図面の簡単な説明】
【０００７】
【図１】本発明の一実施の形態による撮像装置の構成を説明するブロック図である。
【図２】ノイズ低減処理の流れを説明するフローチャートである。
【図３】（Ａ）は第１ＭＴＭフィルタを説明する図であり、（Ｂ）は第２ＭＴＭフィルタを説明する図であり、（Ｃ）は第３ＭＴＭフィルタを説明する図である。
【図４】変形例１におけるノイズ低減処理の流れを説明するフローチャートである。
【図５】変形例２におけるノイズ低減処理の流れを説明するフローチャートである。
【図６】パーソナルコンピュータを説明する図である。
【発明を実施するための形態】
【０００８】
以下、図面を参照して本発明の一実施の形態について説明する。図１は、本発明の一実施の形態に係るノイズ低減装置である画像処理装置を搭載した撮像装置１００の構成例を示すブロック図である。撮像装置１００は、操作部材１０１と、撮像レンズ１０２と、撮像素子１０３と、制御装置１０４と、メモリカードスロット１０５と、モニタ１０６とを備えている。操作部材１０１は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズボタン、録画ボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
【０００９】
撮像レンズ１０２は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１０３の受光面に結像させる。なお、撮像レンズ１０２は、図１では代表して１枚のレンズで表しているが、実際は複数の光学レンズから構成される。
【００１０】
撮像素子１０３は、たとえば、ＣＭＯＳイメージセンサなどによって構成される。撮像素子１０３は、撮像レンズ１０２により結像された被写体像を撮像し、撮像によって得られた画像信号を制御装置１０４へ出力する。
【００１１】
制御装置１０４は、ＣＰＵ、メモリ、およびその他の周辺回路により構成され、上記画像信号の処理や、撮像装置１００全体の制御を行う。なお、制御装置１０４を構成するメモリには、ＳＤＲＡＭやフラッシュメモリが含まれる。ＳＤＲＡＭは、揮発性のメモリであって、ＣＰＵがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用されたりする。また、フラッシュメモリは、不揮発性のメモリであって、制御装置１０４が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
【００１２】
メモリカードスロット１０５は、記録媒体としてのメモリカードを挿入するためのスロットである。モニタ１０６は、撮像装置１００の背面に搭載された液晶モニタ（背面モニタ）である。
【００１３】
制御装置１０４は、撮像装置１００の電源スイッチが操作されると電源をオンして、撮像素子１０３から時系列で取得した画像信号を表示用に画像処理した表示用画像データ（スルー画）をモニタ１０６に表示させる。
【００１４】
制御装置１０４は、レリーズボタンが操作されて被写体の撮影が指示されると、撮像素子１０３から入力された画像信号に対して所定の画像処理を行う。そして、画像処理後の画像データをＪＰＥＧ形式などの圧縮画像データに圧縮し、その圧縮画像データを画像ファイルとしてメモリカードスロット１０５に挿入されたメモリカードに記録する。
【００１５】
＜ノイズ低減処理＞
本実施形態の撮像装置１００は、画像に施すノイズ低減処理に特徴を有するので、以下、この点について詳しく説明する。本実施形態のノイズ低減処理では、一例として、エッジ保存型平滑化フィルタであるＭＴＭフィルタ（Modified Trimmed Mean）を用いる。本実施形態において、ＭＴＭフィルタによる演算処理は、以下の式（１）および式（２）により表されるものとする。なお、以下の式（１）および式（２）において、(i,j)は注目画素の座標であり、x(i,j)は注目画素の元の画素値であり、y(i,j)は注目画素にＭＴＭフィルタをかけた後の画素値である。x(i+k,j+l)は、注目画素の周辺にある周辺画素の画素値であり、k,ｌは注目画素からの相対的な画素位置を示す。Ｎは、ＭＴＭフィルタの適用範囲を示す。εは閾値であり、ノイズ低減強度を示す。
【００１６】
【数１】
2015032990.tif 000003
【００１７】
式（２）で表されるように、W(k,l)は、周辺画素の画素値x(i+k,j+l)と注目画素の画素値x(i,j)の差分が閾値ε以下であれば１となり、閾値εよりも大きければ０となる。したがって、式（１）は、ＭＴＭフィルタの適用範囲に含まれる画素のうち、注目画素と画素値の差分が閾値εよりも大きい周辺画素を除いた画素、すなわち注目画素と画素値の差分が閾値ε以下である画素の平均値を求めて、注目画素の画素値とする式である。
【００１８】
なお、閾値εは、たとえば、画像の撮像感度に応じて設定される。高感度で撮像された画像ほど、ノイズが多くなるので閾値εが大きく設定され、低感度で撮像された画像ほどノイズが少なくなるので閾値εが小さく設定される。
【００１９】
図２は、本実施形態におけるノイズ低減処理の流れを説明するフローチャートである。制御装置１０４は、たとえば、撮像素子１０３から入力された画像信号に対して直ちに図２に例示するノイズ低減処理を実施してメモリカードスロット１０５に挿入されたメモリカードに記録する。また、メモリカードに記録された画像データの中からノイズ低減処理を施す画像データが選択されると、図２に例示するノイズ低減処理を実行するプログラムを起動するようにしてもよい。
【００２０】
ステップＳ１において、制御装置１０４は、メモリカードから選択された画像データ（以下、元画像データ（Image0）と呼ぶ）を読み出して、ステップＳ２に進む。なお、元画像データ（Image0）は、ＲＧＢ画像データであってもＹＣｂＣｒ画像データであってもよい。
【００２１】
ステップＳ２において、制御装置１０４は、式（３）に示すように、元画像データ(Image0)に第１ＭＴＭフィルタによるフィルタリング処理を施して、第１画像データ（Image1）を生成する。第１ＭＴＭフィルタは、元画像データ(Image0)の全ての画素値に対して一律に適用される。なお、式（３）において、関数MTM1は、第１ＭＴＭフィルタによる演算を示す。また、以下の式において、(x,y)は、注目画素の座標を示す。
Image1(x,y)=MTM1(Image0(x,y))  …（３）
【００２２】
第１ＭＴＭフィルタの適用範囲は、比較的狭い範囲であり、高周波成分のノイズ低減に適した大きさの範囲となっている。したがって、第１ＭＴＭフィルタによるフィルタリング処理を施すことで、元画像データ（Image0）の平坦部から高周波成分のノイズが低減された第１画像データ（Image1）が生成される。なお、第１ＭＴＭフィルタでは、グラデーション部における高周波成分のノイズはあまり低減されないため、第１画像データ（Image1）には、グラデーション部における高周波成分のノイズが残存する。また、第１画像データ（Image1）には、中低周波成分のノイズも残存する。
【００２３】
なお、平坦部とは、互いに隣接する画素の画素値が同一または略同一である部分である。グラデーション部とは、互いに隣接する画素の画素値が緩やかに上昇または下降する方向に変化する部分である。エッジ部とは、互いに隣接する画素の画素値が急峻に上昇または下降する方向に変化する部分である。
【００２４】
ステップＳ３において、制御装置１０４は、式（４）に示すように、第１画像データ(Image1)にローパスフィルタによるフィルタリング処理を施し、第１画像データ（Image1）から低周波成分を分離して、低周波画像を示す第２画像データ（Image2）を生成する。なお、式（４）において、関数Lpfは、ローパスフィルタによる演算を示す。
Image2(x,y)=Lpf(Image1(x,y))  …（４）
【００２５】
ステップＳ４において、制御装置１０４は、式（５）に示すように、第１画像データ(Image1)と低周波画像を示す第２画像データ（Image2）との差分により、第１画像(Image1) データの中高周波成分からなる第３画像データ（Image3）を生成する。グラデーション部は低周波成分で構成されているため、第３画像データ（Image3）により示される画像では、第１画像データ（Image1）により示される画像のグラデーション部に対応する領域が平坦部となる。
Image3(x,y)=Image1(x,y)-Image2(x,y)  …（５）
【００２６】
ステップＳ５において、制御装置１０４は、式（６）に示すように、第３画像データ（Image3）に第２ＭＴＭフィルタによるフィルタリング処理を施して、第４画像データ（Image4）を生成する。第２ＭＴＭフィルタは、第３画像データ(Image3)の全ての画素値に対して一律に適用される。なお、式（６）において、関数MTM2は、第２ＭＴＭフィルタによる演算を示す。
Image4(x,y)=MTM2(Image3(x,y))  …（６）
【００２７】
上述したように、第３画像データ(Image3)により示される画像では、第１画像データ(Image1) により示される画像のグラデーション部に対応する領域が平坦部となっているので、第２ＭＴＭフィルタによるフィルタリング処理を施すことで、グラデーション部に対応する領域のノイズが低減される。また、第２ＭＴＭフィルタの適用範囲は、上記第１ＭＴＭフィルタよりも広い範囲であり、中周波成分のノイズ低減に適した大きさの範囲となっている。したがって、第２ＭＴＭフィルタによるフィルタリング処理を施すことで、中周波成分のノイズが低減される。この結果、平坦部およびグラデーション部の両方でノイズが低減された中高周波画像を示す第４画像データ(Image4)が生成される。
【００２８】
ステップＳ６において、制御装置１０４は、式（７）に示すように、第２画像データ（Image2）に第３ＭＴＭフィルタによるフィルタリング処理を施すことで、第５画像データ（Image5）を生成する。第３ＭＴＭフィルタは、第５画像データ(Image5)の全ての画素値に対して一律に適用される。なお、式（７）において、関数MTM3は、第３ＭＴＭフィルタによる演算を示す。
Image5(x,y)=MTM3(Image2(x,y))  …（７）
【００２９】
第３ＭＴＭフィルタの適用範囲は、上記第１ＭＴＭフィルタおよび第２ＭＴＭフィルタよりも広い範囲であり、低周波成分のノイズ低減に適した大きさの範囲となっている。したがって、第３ＭＴＭフィルタによるフィルタリング処理を施すことで、低周波成分のノイズが低減された第５画像データ（Image5）が生成される。
【００３０】
なお、ステップＳ４〜Ｓ５とステップＳ６の処理は、並行して行ってもよいし、どちらを先に行ってもよい。
【００３１】
ステップＳ７において、制御装置１０４は、式（８）に示すように、中高周波画像を示す第４画像データ(Image4)と低周波画像を示す第５画像データ（Image5）と元画像データ（Image0）に対して、それぞれ重み付け係数Ｋ４，Ｋ５，Ｋ０を乗算してから、これらの画像データを加算して、最終画像データ(Image6)を生成する。
Image6(x,y)=K4*Image4(x,y)+K5*Image5(x,y)+K0*Image0(x,y)  …（８）
【００３２】
第４画像データ(Image4)と第５画像データ(Image5)とを加算することで、平坦部およびグラデーション部においてノイズが低減された画像を生成することができる。しかしながら、ＭＴＭフィルタを用いたフィルタリング処理では、画像が平滑化されるため、画像の質感が失われやすい。そこで、平滑化によって失われた質感をある程度戻すため、第４画像データ(Image4)と第５画像データ(Image5)に加え、元画像データ(Image0)を加算する。これにより、ノイズを低減しつつ、元画像データ(Image0)の質感を残した最終画像データ(Image6)を生成することができる。
【００３３】
なお、重み付け係数Ｋ４，Ｋ５，Ｋ０は、ＭＴＭフィルタの性質（画像の質感の残し度合いなど）に応じて設定される。一例としては、Ｋ４＝０．５、Ｋ５＝０．５、Ｋ０＝０．５に設定される。また、ＹＣｂＣｒ画像データである場合、Ｙ画像とＣｂＣｒ画像とで元画像データ(Image0)の重み付け係数Ｋ０を変えるようにしてもよい。例えば、Ｙ画像の方がＣｂＣｒ画像よりも元画像データ(Image0)の重み付け係数Ｋ０を大きくするようにしてもよい。また例えば、Ｙ画像のみ元画像データ(Image0)を加算して、ＣｂＣｒ画像では元画像データ(Image0)を加算しないように（すなわちＫ０＝０）にしてもよい。
【００３４】
ステップＳ８において、制御装置１０４は、ステップＳ７で生成した最終画像データ(Image6)で示される画像をモニタ１０６に表示するとともに、最終画像データ(Image6)をメモリカードスロット１０５に挿入されたメモリカードに記録して、図２に示す処理を終了する。
【００３５】
また、図３は、本実施形態における第１ＭＴＭフィルタ、第２ＭＴＭフィルタ、および第３ＭＴＭフィルタの適用範囲の一例を説明する図である。図３（Ａ）は、第１ＭＴＭフィルタの適用範囲を示し、図３（Ｂ）は、第２ＭＴＭフィルタの適用範囲を示し、図３（Ｃ）は、第３ＭＴＭフィルタの適用範囲を示す。図３では、１つの矩形が１つの画素を示し、中央の画素が注目画素であり、黒丸が記載されている画素が第１ＭＴＭフィルタ、第２ＭＴＭフィルタ、および第３ＭＴＭフィルタの演算で用いる画素（以下、適用画素と呼ぶ）である。ＭＴＭフィルタでは、適用画素において注目画素との画素値の差分を演算し、当該差分が閾値ε以下である画素の画素値の平均値を注目画素の画素値とする。
【００３６】
図３（Ａ）に示すように、第１ＭＴＭフィルタの適用範囲は、注目画素を中心とした５×５の範囲となっている。第１ＭＴＭフィルタでは、適用範囲に含まれる全ての画素（５×５個の画素）を適用画素としている。
【００３７】
図３（Ｂ）に示すように、第２ＭＴＭフィルタの適用範囲は、注目画素を中心とした１３×１３の範囲となっている。第２ＭＴＭフィルタでは、適用範囲に含まれる１３×１３個の画素のうち、注目画素から３個ごとに適用画素として設定している。すなわち適用画素は、５×５個であり、第１ＭＴＭフィルタと同数である。
【００３８】
図３（Ｃ）に示すように、第３ＭＴＭフィルタの適用範囲は、注目画素を中心とした２１×２１の範囲となっている。第３ＭＴＭフィルタでは、適用範囲に含まれる２１×２１個の画素のうち、注目画素から５個ごとに適用画素として設定している。すなわち適用画素は、５×５個であり、第１ＭＴＭフィルタおよび第２ＭＴＭフィルタと同数である。
【００３９】
適用範囲を広げて適用画素の個数も多くしてしまうと、演算量が多くなり、演算速度が低下してしまう。しかし本実施形態では、第２ＭＴＭフィルタおよび第３ＭＴＭフィルタにおいて、適用範囲を第１ＭＴＭフィルタよりも広くしながらも、適用画素の個数を第１ＭＴＭフィルタと同数にすることで、第１ＭＴＭフィルタと演算速度を略同一にすることができ、演算速度が低下するのを防止することができる。
【００４０】
なお、以上説明した適用範囲および適用画素の個数は一例である。適用範囲および適用画素の個数は、発生するノイズの量や必要とされる演算速度に応じて適宜決定される。
【００４１】
以上説明した実施形態によれば、次の作用効果が得られる。
（１）撮像装置１００の制御装置１０４は、第１画像データ（Image1）を周波数によって分離して、低周波成分からなる第２画像データ（Image2）と高周波成分からなる第３画像データ（Image3）とを生成し、第３画像データ（Image3）に対して第２ＭＴＭフィルタによるフィルタリング処理を施して第４画像データ（Image4）を生成し、第２画像データ（Image2）に対して第３ＭＴＭフィルタによるフィルタリング処理を施して第５画像データ（Image5）を生成し、第４画像データ（Image4）と第５画像データ（Image5）とを加算して最終画像データ（Image6）を生成する。これにより、画像解析などの複雑な処理を行うことなく、平坦部およびグラデーション部のノイズを低減した最終画像データ（Image6）を生成することができる。
【００４２】
（２）撮像装置１００の制御装置１０４は、入力画像を示す元画像データ（Image0）に対して、第２ＭＴＭフィルタおよび第３ＭＴＭフィルタよりも適用範囲の狭い第１ＭＴＭフィルタによるフィルタリング処理を施して、第１画像データ（Image1）とするようにした。これにより、平坦部における高周波成分のノイズを適切に低減することができる。
【００４３】
（３）撮像装置１００の制御装置１０４は、第３ＭＴＭフィルタよりも第２ＭＴＭフィルタの適用範囲を狭くするようにした。これにより、第２ＭＴＭフィルタによって中周波成分のノイズを低減することができ、且つ第３ＭＴＭフィルタによって低周波成分のノイズを低減することができる。
【００４４】
（４）撮像装置１００の制御装置１０４は、第２ＭＴＭフィルタおよび第３ＭＴＭフィルタにおいて、適用範囲に含まれる画素数よりも、演算に用いる適用画素の数を少なくするようにした。これにより、適用範囲が第１ＭＴＭフィルタよりも広くても、演算量が増えず、演算速度が低下するのを防止することができる。
【００４５】
（変形例１）
上述した実施の形態では、最終画像データ(Image6)を生成する際に、ノイズを低減した第４画像データ(Image4)および第５画像データ(Image5)に対して元画像データ(Image0)を重み付け加算する例について説明した。しかしながら、ＭＴＭフィルタによるフィルタリング処理を施す度に、ＭＴＭフィルタによるフィルタリング処理を施した後の画像データに対して、ＭＴＭフィルタによるフィルタリング処理を施す前の画像データを重み付け加算するようにしてもよい。
【００４６】
具体的に、図４は、変形例１におけるノイズ低減処理の流れを説明するフローチャートである。制御装置１０４は、図４に例示する処理を開始すると、ステップＳ１１において元画像データ（Image0）を読み出して、ステップＳ１２に進む。
【００４７】
ステップＳ１２において、制御装置１０４は、式（９）に示すように、元画像データ(Image0)に上記第１ＭＴＭフィルタによるフィルタリング処理を施した後、重み付け係数Ｋ１を乗算した画像データに、元画像データ(Image0)に対して重み付け係数１−Ｋ１を乗算した画像データを加算して、第１画像データ(Image1)を生成する。なお、０＜Ｋ１＜１とする。
Image1(x,y)=K1*MTM1(Image0(x,y))+（1-K1)*Image0(x,y)  …（９）
【００４８】
ステップＳ１３およびＳ１４については、制御装置１０４は、上述した実施形態のステップＳ３およびＳ４と同様の処理を行う。すなわち、制御装置１０４は、第１画像データ(Image1)にローパスフィルタによるフィルタリング処理を施して低周波画像を示す第２画像データ（Image2）を生成し、第１画像データ(Image1)を第２画像データ（Image2）で差分して中高周波画像を示す第３画像データ（Image3）を生成する。
【００４９】
ステップＳ１５において、制御装置１０４は、式（１０）に示すように、第３画像データ(Image3)に第２ＭＴＭフィルタによるフィルタリング処理を施した後、重み付け係数Ｋ２を乗算した画像データに、第３画像データ(Image3)に対して重み付け係数１−Ｋ２を乗算した画像データを加算して、第４画像データ(Image4)を生成する。なお、０＜Ｋ２＜１とする。
Image4(x,y)=K2*MTM2(Image3(x,y))+（1-K2)*Image3(x,y)  …（１０）
【００５０】
ステップＳ１６において、制御装置１０４は、式（１１）に示すように、第２画像データ(Image2)に対して第３ＭＴＭフィルタによるフィルタリング処理を施した後、重み付け係数Ｋ３を乗算した画像データに、第２画像データ(Image2)に対して重み付け係数１−Ｋ３を乗算した画像データを加算して、第５画像データ(Image5)を生成する。なお、０＜Ｋ３＜１とする。
Image5(x,y)=K3*MTM3(Image2(x,y))+（1-K3)*Image2(x,y)  …（１１）
【００５１】
このように、変形例１では、第１ＭＴＭフィルタ、第２ＭＴＭフィルタ、および第３ＭＴＭフィルタによるフィルタリング処理を施した後の画像データに、それぞれ、第１ＭＴＭフィルタ、第２ＭＴＭフィルタ、および第３ＭＴＭフィルタによるフィルタリング処理を施す前の画像データを重み付け加算する。これにより、最終画像データ（Image6）を生成する際に元画像データ（Image0）を加算する場合と比較して、画像の質感を調整しやすくすることができる。
【００５２】
なお、ステップＳ１４〜Ｓ１５とステップＳ１６の処理は、並行して行ってもよいし、どちらを先に行ってもよい。
【００５３】
ステップＳ１７において、制御装置１０４は、式（１２）に示すように、第４画像データ(Image4)に対して重み付け係数Ｋ４を乗算した画像に第５画像データ(Image5)を加算して、最終画像データ(Image6)を生成する。なお、Ｋ４＞１とする。すなわち、制御装置１０４は、第４画像データ(Image4)にゲインをかけてから、第５画像データ(Image5)に加算する。
Image6(x,y)=K4*Image4(x,y)+Image5(x,y)  …（１２）
【００５４】
このように、中高周波画像を示す第４画像データ(Image4)にゲインをかけることで、最終画像データ(Image6)により示される画像を、輪郭を強調した画像とすることができる。また、第４画像データ(Image4)にかけるゲインの値を調整することで、最終画像データ(Image6)の輪郭強調の度合いを調整することができる。
【００５５】
ステップＳ１８において、制御装置１０４は、ステップＳ１７で生成した最終画像データ(Image6)により示される画像をモニタ１０６に表示するとともに、最終画像データ(Image6)をメモリカードスロット１０５に挿入されたメモリカードに記録して、図４に示す処理を終了する。
【００５６】
（変形例２）
上述した実施の形態では、ＭＴＭフィルタの適用画素の個数を調整することで、適用範囲が広くなっても、演算時間が長くなるのを防止する例について述べた。しかしながら、第２画像データ（Image2）により示される画像（低周波画像）を縮小してから第３ＭＴＭフィルタによるフィルタリング処理を施すことで、演算速度をより高速化するようにしてもよい。
【００５７】
具体的に、図５は、変形例２におけるノイズ低減処理の流れを説明するフローチャートである。ステップＳ２１〜Ｓ２３については、制御装置１０４は、上述した変形例１のステップＳ１１〜１３と同様の処理を行う。すなわち、制御装置１０４は、元画像データ(Image0)に対して第１ＭＴＭフィルタによるフィルタリング処理を施して第１画像データ(Image1)を生成する。そして、制御装置１０４は、第１画像データ(Image1)に対してローパスフィルタによるフィルタリング処理を施して低周波画像を示す第２画像データ（Image2）を生成する。
【００５８】
ステップＳ２４において、制御装置１０４は、式（１３）に示すように、第２画像データ(Image2)の画素数を間引くことで、第２画像データ(Image2)を縮小した縮小第２画像データ(Image2s)を生成する。なお、式（１３）において、関数Smは、画像の縮小処理を示す。
Image2s(x,y)=Sm(Image2(x,y))  …（１３）
【００５９】
ステップＳ２５において、制御装置１０４は、式（１４）に示すように、縮小第２画像データ(Image2s)を元画像データ（Image0）と同じ大きさに拡大して、第２画像データ(Image2)を生成する。ここで生成される第２画像データ（Image2）は、ステップＳ２４で間引きされた分だけ詳細が失われた画像データとなっている。なお、式（１４）において、関数Laは、画像の拡大処理を示す。
Image2(x,y)=La(Image2s(x,y))  …（１４）
【００６０】
ステップＳ２６〜Ｓ２７については、制御装置１０４は、上述した変形例１のステップＳ１４〜１５と同様の処理を行う。すなわち、制御装置１０４は第１画像データ(Image1)と第２画像データ(Image2)との差分により中高周波画像を示す第３画像データ（Image3）を生成する。ここでは、ステップＳ２３で生成された第２画像データ（Image2）ではなく、ステップＳ２５で生成された第２画像データ（Image2）を用いることで、第３画像データ（Image3）に、ローパスフィルタによるフィルタリング処理で失われた中高周波成分と間引き、拡大によって失われた成分とを残すようにしている。そして、制御装置１０４は、第３画像データ(Image3)に対して上記第２ＭＴＭフィルタによるフィルタリング処理を施して、第４画像データ(Image4)を生成する。
【００６１】
ステップＳ２８において、制御装置１０４は、式（１５）に示すように、縮小第２画像データ(Image2s)に対して上記第３ＭＴＭフィルタによるフィルタリング処理を施した後、重み付け係数Ｋ３を乗算した画像データに、縮小第２画像データ(Image2s)に対して重み付け係数１−Ｋ３を乗算した画像データを加算して、縮小第５画像データ(Image5s)を生成する。
Image5s(x,y)=K3*MTM3(Image2s(x,y))+（1-K3)*Image2s(x,y)  …（１５）
【００６２】
なお、ステップＳ２７における第３ＭＴＭフィルタの適用範囲は、例えば第１ＭＴＭフィルタの適用範囲と同じ（たとえば５×５）であっても、縮小第２画像データ(Image2s)に対して第３ＭＴＭフィルタを適用するので、実質的に第２画像データ（Image2）における適用範囲が第１ＭＴＭフィルタよりも広くなる。したがって、変形例２では、第１ＭＴＭフィルタと同じ適用範囲および適用画素の個数として演算速度の低下を防止しながらも、実質的に第３ＭＴＭフィルタの適用範囲を第１ＭＴＭフィルタよりも広くすることができる。また、縮小第２画像データ(Image2s)は、元画像データ(Image0)よりも画素数が少ない分、ＭＴＭフィルタの演算量が少なくなるので、第３ＭＴＭフィルタの演算を、第１ＭＴＭフィルタの演算よりも高速にすることができる。
【００６３】
ステップＳ２９において、制御装置１０４は、式（１６）に示すように、縮小第５画像データ(Image5s)を元画像データ（Image0）と同じ大きさに拡大して、第５画像データ(Image5)を生成する。なお、式（１６）において、関数Laは、画像の拡大処理を示す。
Image5(x,y)=La(Image5s(x,y))  …（１６）
【００６４】
なお、ステップＳ２５〜Ｓ２７とステップＳ２８〜Ｓ２９の処理は、並行して行ってもよいし、どちらを先に行ってもよい。
【００６５】
ステップＳ３０において、制御装置１０４は、上述した変形例１のステップＳ１７と同様に、第４画像データ（Image4）に対して重み付け係数Ｋ４を乗算してから第５画像データ（Image5）を加算して、最終画像データ（Image6）を生成する。
【００６６】
ステップＳ３１において、制御装置１０４は、ステップＳ３０で生成した最終画像データ（Image6）で示される画像をモニタ１０６に表示するとともに、最終画像データ(Image6)をメモリカードスロット１０５に挿入されたメモリカードに記録して、図５に示す処理を終了する。
【００６７】
（変形例３）
上述した実施形態では、第１画像データ（Image1）を周波数によって分離して、互いに異なる周波数成分を有する第２画像データ（Image2）および第３画像データ（Image3）を生成して、それぞれにＭＴＭフィルタよるフィルタリング処理を施す例について述べた。しかしながら、第１画像データ（Image1）から分離する画像の数は２つに限らない。すなわち、第１画像データ（Image1）から、互いに異なる周波数成分を有する３つ以上の画像データを生成して、それぞれにＭＴＭフィルタよるフィルタリング処理を施すようにしてもよい。
【００６８】
（変形例４）
上述した実施形態では、ＭＴＭフィルタを用いる例について述べたが、ＭＴＭフィルタの代わりにこの他のエッジ保存型平滑化フィルタ（たとえば、イプシロンフィルタなど）を用いるようにしてもよい。
【００６９】
（変形例５）
上述した実施形態では、撮像装置１００にノイズ低減装置を搭載する例を説明したが、ノイズ低減装置をパーソナルコンピュータ２００によって構成するようにしてもよい。すなわち、図６に示すパーソナルコンピュータ２００に図２に例示したフローチャートの処理を行うプログラムを実行させることにより、ノイズ低減装置を構成してもよい。プログラムをパーソナルコンピュータ２００に取込んで使用する場合には、パーソナルコンピュータ２００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによってノイズ低減装置として使用する。
【００７０】
パーソナルコンピュータ２００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記憶媒体２０４をパーソナルコンピュータ２００にセットして行ってもよいし、ネットワークなどの通信回線２０１を経由する方法でパーソナルコンピュータ２００へローディングしてもよい。通信回線２０１を経由する場合は、通信回線２０１に接続されたサーバー（コンピュータ）２０２のハードディスク装置２０３などにプログラムを格納しておく。プログラムは、記憶媒体２０４や通信回線２０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。
【００７１】
（変形例６）
上述した実施形態では、画像データに対して、本発明のノイズ低減処理を実行する例について説明したが、これに限らず、たとえば、音声データに対して本発明のノイズ低減処理を実行するようにしてもよい。
【００７２】
（変形例７）
本発明による撮像装置は、デジタルカメラだけに限定されない。例えば、携帯電話機、スマートフォン、タブレット端末なども本発明による撮像装置に含まれる。
【００７３】
以上の説明はあくまで一例であり、上記実施形態の構成に何ら限定されるものではない。また、上記実施形態に各変形例の構成を適宜組み合わせてもかまわない。
【符号の説明】
【００７４】
１００…撮像装置、１０１…操作部材、１０２…撮像レンズ、１０３…撮像素子、１０４…制御装置、１０６…モニタ、２００…パーソナルコンピュータ、２０４…記憶媒体
【図１】
2015032990.tif 000004
【図２】
2015032990.tif 000005
【図３】
2015032990.tif 000006
【図４】
2015032990.tif 000007
【図５】
2015032990.tif 000008
【図６】
2015032990.tif 000009