(57)【要約】【課題】ノイズ除去を適切に行えるようにする。【解決手段】撮像部２０１により撮像された画像を構成する画素の全画素の輝度値の平均値（平均輝度値ＬALL）と、処理対象とされた画素を含む有限領域の輝度値の平均値（平均輝度値Ｌｘ）が、ＯＰＤ２０６から強度補正部２０７に供給される。ノイズ除去強度制御部２０５から、強度補正部２０７に、ノイズを除去するときの強度に関するノイズ除去強度が供給される。強度補正部２０７は、平均輝度値ＬALLと平均輝度値Ｌｘとの差分値から算出される補正係数kをノイズ除去強度に乗算することで、ノイズ除去強度を補正する。その補正後のノイズ除去強度を用いて、２ＤＮＲ処理部２０４は、ノイズ除去に関する処理を実行する。本発明は、撮像装置に適用できる。【選択図】図１７
2011041183.tif 000002
【特許請求の範囲】
【請求項１】
処理対象とされている画像からノイズを除去するための強度を算出するノイズ除去強度算出手段と、
前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出する差分値算出手段と、
前記差分値算出手段で算出された差分値から、前記ノイズ除去強度算出手段により算出された前記強度を補正するための補正係数を導出する導出手段と、
前記導出手段により導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定する設定手段と
を備える画像処理装置。
【請求項２】
前記導出手段は、前記差分値と前記補正係数との相関に基づく演算を行うことで、前記補正係数を導出する
請求項１に記載の画像処理装置。
【請求項３】
前記差分値と前記補正係数とを関連付けたテーブルであり、前記差分値から一意に前記補正係数を読み出せるテーブルを保持するテーブル保持手段をさらに備え、
前記導出手段は、前記テーブル保持手段で保持されている前記テーブルを参照して前記補正係数を導出する
請求項１に記載の画像処理装置。
【請求項４】
前記補正係数は、前記差分値に対し負の依存性を持ち、前記差分値が０のとき１となる
請求項１乃至３のいずれかに記載の画像処理装置。
【請求項５】
２ＤＮＲ（２次元ノイズリダクション）、または３ＤＮＲ（３次元ノイズリダクション）の処理を行う回路に組み込まれる
請求項１乃至４のいずれかに記載の画像処理装置。
【請求項６】
処理対象とされている画像からノイズを除去するための強度を算出し、
前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出し、
前記差分値から、前記強度を補正するための補正係数を導出し、
導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定する
ステップを含む画像処理方法。
【請求項７】
処理対象とされている画像からノイズを除去するための強度を算出し、
前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出し、
前記差分値から、前記強度を補正するための補正係数を導出し、
導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、並びにプログラムに関し、特に、画像からノイズを除去するときに用いて好適な画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、ビデオカメラ等の撮像装置では、デジタルの入力映像信号のS/N(シグナル/ノイズ)比を向上させる目的で、２次元ノイズリダクション（２ＤＮＲ）や３次元ノイズリダクション（３ＤＮＲ）等のノイズ除去を行うノイズ除去回路が採用されていた。図１に、従来の２ＤＮＲ回路の一例の構成を示す。
【０００３】
図１に示した２ＤＮＲ回路１０は、撮像部１１、ＡＧＣ（Automatic Gain Control）部１２、Ａ／Ｄ（Analog/Digital）変換部１３、２ＤＮＲ処理部１４、および、ノイズ除去強度制御部１５を含む構成とされている。撮像部１１で撮像された所定の画像のデータは、ＡＧＣ部１２に供給される。ＡＧＣ部１２は、供給されたデータの信号が強くなると利得を抑えて出力が大きくならないようにし、信号が弱くなると利得を上げて出力が小さくならないように制御することで、一定の強度を有する信号をＡ／Ｄ変換部１３とノイズ除去強度制御部１５に供給する。
【０００４】
Ａ／Ｄ変換部１３は、供給された信号をデジタル信号（データ）に変換し、２ＤＮＲ処理部１４に供給する。ノイズ除去強度制御部１５は、ノイズを除去するための強度を、ＡＧＣ部１２からの信号を基に設定し、その設定でノイズ除去をするように、２ＤＮＲ処理部１４に指示する。２ＤＮＲ処理部１４は、ノイズ除去強度制御部１５からの指示に基づき、Ａ／Ｄ変換部１３からの信号からノイズを除去する処理を施す。
【０００５】
２ＤＮＲとは一般的に、ノイズ成分に対して空間的なフィルタ処理を行い、出力画像の S/N 比向上を図るものである。図１に示した２ＤＮＲ回路１０において実行される２ＤＮＲのフィルタ処理について １次元のモデルを用いて簡単に説明する。
【０００６】
図２に示した５画素からなる配列を例にあげて説明する。図２に示した５画素は、画素ｎを中央とし、図中右側（ｘ軸プラス方向）に、画素ｎ＋１、画素ｎ＋２が位置し、図中左側（ｘ軸マイナス方向）に、画素ｎ−１、画素ｎ−２が位置している。この中央の画素ｎを注目画素としてフィルタ処理を行うとする。このとき、図３Ａに示すように、注目画素ｎの画素値が、周囲の画素ｎ−２，ｎ−１、ｎ＋１，ｎ＋２のそれぞれの画素値より大きい場合、出力信号の強度は、フィルタ処理により、周囲画素の影響を受け、図３Ｂに示したような画素値（強度）となる。
【０００７】
すなわち、注目画素ｎの画素値は、周囲の画素の画素値が小さいために、その影響を受け、フィルタ処理後の画素値は、入力時の画素値よりも小さくなる。このときの周囲画素の影響の強さをノイズ除去強度αとする。この例の場合、ノイズ除去強度αが大きいほど 注目画素ｎの出力値は、周辺画素の画素値に近づくことになる。従って、２ＤＮＲ では 隣接する画素値の差分が小さくなって出力されるため、画の解像感が劣化する可能性があった。
【０００８】
図４は、従来の３ＤＮＲ回路の一例の構成を示す。図４に示した３ＤＮＲ回路５０は、撮像部５１、ＡＧＣ部５２、Ａ／Ｄ変換部５３、減算部５４、減算部５５、ノイズ除去部５６、ノイズ除去強度制御部５７、およびメモリ５８を含む構成とされている。撮像部５１で撮像された所定の画像のデータは、ＡＧＣ部５２に供給される。ＡＧＣ部５２は、供給されたデータの信号が強くなると利得を抑えて出力が大きくならないようにし、信号が弱くなると利得を上げて出力が小さくならないように制御することで、一定の強度を有する信号をＡ／Ｄ変換部５３とノイズ除去強度制御部５７に供給する。
【０００９】
Ａ／Ｄ変換部５３は、供給された信号をデジタル信号（データ）に変換し、減算部５４と減算部５５に供給する。減算部５５には、メモリ５８からのデータも供給される。メモリ５８には、減算部５４からのデータが保存されている。すなわち、メモリ５８には、減算部５４から出力されたフレームのデータが記憶され、減算部５５には、Ａ／Ｄ変換部５３からの現在のフレームのデータとメモリ５８からの過去のフレームのデータが供給される。
【００１０】
減算部５５は、現在のフレームと過去のフレームとの差分を算出し、その差分値をノイズ除去部５６に出力する。ノイズ除去部５６は、ノイズ除去強度制御部５７の指示により差分値から、ノイズ成分を除去する。ノイズ除去強度制御部５７は、ノイズを除去するための強度を、ＡＧＣ部５２からの信号を基に設定し、その設定でノイズ除去するように、ノイズ除去部５６に指示する。
【００１１】
ノイズ成分が除去された差分値は、減算部５４に供給される。減算部５４は、Ａ／Ｄ変換部５３からの信号、すなわち現在のフレームから、ノイズ除去部５６からの差分値を減算したデータを、その時点でのフレームのデータとして出力する。
【００１２】
図５を参照し、図４に示した３ＤＮＲ回路５０の処理についてさらに説明を加える。フレームｎ−１は、メモリ５８に記憶されている過去のフレームのデータであり、フレームｎは、Ａ／Ｄ変換部５３から出力される現フレームのデータである。減算部５５は、フレームｎ−１とフレームｎの差分値を算出する。算出された差分値を差分値Ｍｎとする。この差分値Ｍｎには、被写体の動きによる変化とランダムノイズが含まれている。
【００１３】
ノイズ除去部５６は、ノイズによる寄与の大きさを算出し、減算部５４ にて現フレームの映像信号（フレームｎ）からノイズによる寄与のみを除去する。フレームｎ−１と入力フレームｎの差分値Ｍｎに、ノイズ除去強度制御部５７からのノイズ除去強度αが乗算されて差分値Ｍｎ’が算出され、その差分値Ｍｎ’だけの差分を有するフレームｎが出力される。
【００１４】
差分値Ｍｎが、ノイズ除去強度制御部５７からのノイズ除去強度αが乗算された差分値Ｍｎ’とされることにより、減算部５４から出力される出力フレームは、被写体の動きによる情報を保持しつつノイズが除去されたものとなる。
【００１５】
ところで、ランダムノイズは、撮像部１１（撮像部５１）を構成するＣＣＤ（Charge Coupled Device Image Sensor）などから入力信号を取り出す際に発生するため、その振幅は、入力信号に対しＡＧＣ部１２（ＡＧＣ部５２）でかける利得（ＡＧＣゲイン）の大きさに依存する。そのためノイズ除去強度制御部１５（ノイズ除去強度制御部５７） にて、ＡＧＣゲインの大きさから、動きによる変化とランダムノイズとの閾値（ノイズ除去強度）が算出される。そして、ノイズ除去部５６は、ノイズ除去強度を基にノイズ除去制御を行う(例えば、特許文献１参照)。
【先行技術文献】
【特許文献】
【００１６】
【特許文献１】特開２０００−１９６９１６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１７】
ＡＧＣゲインは、処理対象とされた画像内の全画素に均一にかけられるため、ランダムノイズの振幅も、全ての画素で同程度であり、３ＤＮＲにおけるノイズ除去の処理も全画素同一のノイズ除去強度にて行われる。ここで高輝度画素と低輝度画素で信号強度に差分がある撮像条件に対して３ＤＮＲを適用する場合を考える。高輝度画素の信号強度を強度SH、低輝度画素の信号強度を強度SLとし、３ＤＮＲにて出力信号のS/N比をR以下に抑えるものとする。このとき、S/N=Rを実現しうるノイズ振幅はそれぞれNH=SH/R,NL=SL/Rとなる。このようにS/N=Rを実現するノイズ振幅は信号強度によって差分が存在する。
【００１８】
一方で前述のとおり、３ＤＮＲのノイズ除去強度は全画素で同一とされている。例えば、低輝度画素にてS/N=Rを満たすように３ＤＮＲを行う場合、低輝度画素、高輝度画素双方の画素に対して、ノイズ振幅がNHになるように３ＤＮＲがかかる。高輝度画素ではNLよりも大きいノイズ振幅NHにてS/N=Rが実現可能であり、S/N=Rに対し過度に３ＤＮＲがかかっていることになる。
【００１９】
３ＤＮＲには、出力画像の動解像度の劣化があることが一般に知られている。従って、それぞれの画素に対し、目標とするS/N比に対し最適なノイズ除去強度にて３ＤＮＲを行うことで、動解像度の劣化を最低限に抑えることが必要である。それに対し、従来の３ＤＮＲは全画素同一のノイズ除去強度にてノイズ除去が行われるため、一方の画素では適切なノイズ除去が行えても、他方の画素では適切なノイズ除去ではない可能性があった。またこのようなことは、２ＤＮＲにおいても発生する可能性があった。
【００２０】
本発明は、このような状況に鑑みてなされたものであり、画像内のノイズを適切に除去できるようにすることができるようにするものである。
【課題を解決するための手段】
【００２１】
本発明の一側面の画像処理装置は、処理対象とされている画像からノイズを除去するための強度を算出するノイズ除去強度算出手段と、前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出する差分値算出手段と、前記差分値算出手段で算出された差分値から、前記ノイズ除去強度算出手段により算出された前記強度を補正するための補正係数を導出する導出手段と、前記導出手段により導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定する設定手段とを備える。
【００２２】
前記導出手段は、前記差分値と前記補正係数との相関に基づく演算を行うことで、前記補正係数を導出するようにすることができる。
【００２３】
前記差分値と前記補正係数とを関連付けたテーブルであり、前記差分値から一意に前記補正係数を読み出せるテーブルを保持するテーブル保持手段をさらに備え、前記導出手段は、前記テーブル保持手段で保持されている前記テーブルを参照して前記補正係数を導出するようにすることができる。
【００２４】
前記補正係数は、前記差分値に対し負の依存性を持ち、前記差分値が０のとき１となるようにすることができる。
【００２５】
２ＤＮＲ（２次元ノイズリダクション）、または３ＤＮＲ（３次元ノイズリダクション）の処理を行う回路に組み込まれるようにすることができる。
【００２６】
本発明の一側面の画像処理方法は、処理対象とされている画像からノイズを除去するための強度を算出し、前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出し、前記差分値から、前記強度を補正するための補正係数を導出し、導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定するステップを含む。
【００２７】
本発明の一側面のプログラムは、処理対象とされている画像からノイズを除去するための強度を算出し、前記画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、前記画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値を取得し、前記第１の平均輝度値と前記第２の平均輝度値の差分を算出し、前記差分値から、前記強度を補正するための補正係数を導出し、導出された前記補正係数で前記強度を補正することで、前記ノイズを除去する対象とされている画素に対するノイズ除去のための強度を設定するステップを含む処理をコンピュータに実行させる。
【００２８】
本発明の一側面の画像処理装置および方法、並びにプログラムにおいては、処理対象とされている画像からノイズを除去するための強度が、画像を構成する全画素の輝度値の平均値である第１の平均輝度値と、画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である第２の平均輝度値の差分に依存する補正係数で補正される。その補正係数で補正された強度で、ノイズ除去のための処理が実行される。
【発明の効果】
【００２９】
本発明の一側面によれば、画像内のノイズを適切に除去できるようになる。
【図面の簡単な説明】
【００３０】
【図１】従来の２ＤＮＲ回路の一例の構成を示す図である。
【図２】処理対象の画素を含む配列を示す図である。
【図３】信号強度について説明するための図である。
【図４】従来の３ＤＮＲ回路の一例の構成を示す図である。
【図５】信号強度について説明するための図である。
【図６】本発明を適用した３ＤＮＲ回路の一実施の形態の構成を示す図である。
【図７】強度補正部の構成を示す図である。
【図８】処理対象とされる画像の一例を示す図である。
【図９】補正係数について説明するための図である。
【図１０】補正係数について説明するための図である。
【図１１】補正強度部の処理について説明するためのフローチャートである。
【図１２】低輝度領域の画素の処理について説明するための図である。
【図１３】高輝度領域の画素の処理について説明するための図である。
【図１４】高輝度領域の画素の処理について説明するための図である。
【図１５】高輝度領域の画素の処理について説明するための図である。
【図１６】強度補正部の他の構成を示す図である。
【図１７】本発明を適用した２ＤＮＲ回路の一実施の形態の構成を示す図である。
【図１８】記録媒体について説明するための図である。
【発明を実施するための形態】
【００３１】
以下に、本発明の実施の形態について図面を参照して説明する。
【００３２】
ビデオカメラ等の撮像装置では、デジタルの入力映像信号のS/N(シグナル/ノイズ)比を向上させる目的で、２次元ノイズリダクション（２ＤＮＲ）や３次元ノイズリダクション（３ＤＮＲ）等のノイズ除去を行うノイズ除去回路が採用されている。本発明は、この２ＤＮＲや３ＤＮＲに係わる発明である。
【００３３】
［３ＤＮＲの構成について］
図６は、本発明を適用した３ＤＮＲ回路の一実施の形態の構成を示す図である。図６に示した３ＤＮＲ回路１００は、撮像部１０１、ＡＧＣ部１０２、Ａ／Ｄ変換部１０３、減算部１０４、減算部１０５、ノイズ除去部１０６、ノイズ除去強度制御部１０７、メモリ１０８、ＯＰＤ（Optical Detector）１０９、および強度補正部１１０を含む構成とされている。
【００３４】
撮像部１０１は、ＣＣＤ（Charge Coupled Device Image Sensor）などの撮像素子を含む構成とされ、画像や映像を撮像する。撮像部１０１で撮像された所定の画像のデータは、ＡＧＣ部１０２に供給される。ＡＧＣ部１０２は、供給されたデータの信号が強くなると利得を抑えて出力が大きくならないようにし、信号が弱くなると利得を上げて出力が小さくならないように制御することで、一定の強度を有する信号をＡ／Ｄ変換部１０３とノイズ除去強度制御部１０７に供給する。
【００３５】
Ａ／Ｄ変換部１０３は、供給された信号をデジタル信号（データ）に変換し、減算部１０４、減算部１０５、およびＯＰＤ１０９に供給する。減算部１０５には、メモリ１０８からのデータも供給される。メモリ１０８には、減算部１０４からのデータが保存されている。メモリ１０８には、減算部１０４から出力されたフレームのデータが記憶され、減算部１０５には、Ａ／Ｄ変換部１０３からの現在のフレームのデータとメモリ１０８からの過去のフレームのデータが供給される構成とされている。
【００３６】
減算部１０５は、現在のフレームと過去のフレームとの差分を算出し、その差分値をノイズ除去部１０６に出力する。ノイズ除去部１０６は、強度補正部１１０からの指示（詳細は後述する）により差分値から、ノイズ成分を除去する。強度補正部１１０には、ノイズ除去強度制御部１０７からのデータと、ＯＰＤ１０９からのデータが供給される。ノイズ除去強度制御部１０７は、ノイズを除去するための強度を、ＡＧＣ部１０２からの信号を基に設定し、その設定でノイズ除去をするように、ノイズ除去部１０６に指示するが、本実施の形態においては、ノイズ除去部１０６に直接指示を出す構成とされておらず、強度補正部１１０を介して指示が出される構成とされている。
【００３７】
撮像部１０１を構成するＣＣＤなどから入力信号を取り出す際に発生するため、その振幅は、入力信号に対しＡＧＣ部１０２でかける利得（ＡＧＣゲイン）の大きさに依存する。そのためノイズ除去強度制御部１０７ にて、ＡＧＣ部１０２のＡＧＣゲインの大きさから、動きによる変化とランダムノイズとの閾値（ノイズ除去強度α）が算出される。このノイズ除去強度αが、強度補正部１１０に供給され、補正される。そして、その補正されたノイズ除去強度α’により、ノイズ除去部１０６は、ノイズを除去する処理を実行する。
【００３８】
ＯＰＤ１０９は、ある期間、例えば１フィールド期間において輝度信号成分あるいはクロマ信号成分を検波（積分）する。ＯＰＤ１０９は、図示していない制御部からの指示に基づき、検波領域を切り出す検波枠信号を生成し、当該検波枠信号を基に検波領域切り出し、この切り出した検波領域のデジタル映像信号、例えば輝度信号を積分し、その輝度積分データを強度補正部１１０に供給する。
【００３９】
強度補正部１１０には、ＯＰＤ１０９から、全画素平均の輝度値と処理対象とされている領域の平均の輝度値が供給される。ここでは、“全画素平均の輝度値”とは、処理対象とされている１フレーム（画像）内の全画素の輝度値の平均値であるとして説明を続ける。また、“処理対象とされている領域”とは、ノイズ除去の対象とされた注目画素を含む領域であり、所定の数の画素を含む有限領域である。
【００４０】
ノイズ除去部１０６により、ノイズ成分が除去された差分値は、減算部１０４に供給される。減算部１０４は、Ａ／Ｄ変換部１０３からの信号、すなわち現在のフレームから、ノイズ除去部１０６からの差分値を減算したデータを、その時点でのフレームのデータとして出力する。その出力されたフレームデータは、メモリ１０８にも供給され、記憶される。
【００４１】
［強度補正部の構成について］
図７は、強度補正部１１０の構成を示す図である。強度補正部１１０は、減算部１５１、係数導出部１５２、および乗算部１５３を備える構成とされている。減算部１５１には、ＯＰＤ１０９（図６）から全画素の輝度値の平均値（以下、平均輝度値ＬALLと記述する）と、ノイズ除去対象の画素を含む有限領域の輝度値の平均値（以下、平均輝度値Ｌxと記述する）が供給される。減算部１５１は、供給された平均輝度値Ｌxから平均輝度値ＬALLを減算する。
【００４２】
すなわち、減算部１５１は、処理対象とされているフレーム内にある処理対象とされている領域の輝度値の平均値から、フレーム内の全画素の輝度値の平均値を減算する。その減算結果（以下、差分値（Ｌｘ−ＬALL）と記述する）は、係数導出部１５２に供給される。係数導出部１５２は、所定の演算式に差分値（Ｌｘ−ＬALL）を代入することで、補正係数ｋを導出する。導出された補正係数ｋは、乗算部１５３に供給される。
【００４３】
乗算部１５３には、ノイズ除去強度制御部１０７から、ノイズを除去するためのノイズ除去強度αと、係数導出部１５２からの補正係数ｋが供給される。乗算部１５３は、供給されたノイズ除去強度αに補正係数ｋを乗算することで、補正後のノイズ除去強度α’を算出し、ノイズ除去部１０６（図６）に供給する。
【００４４】
除去されるノイズのうち、ランダムノイズは、撮像部１０１から入力信号を取り出す際に発生するため、その振幅は、入力信号に対しＡＧＣ部１０２でかける利得（ＡＧＣゲイン）の大きさに依存する。そのためノイズ除去強度制御部１０７ にて、ＡＧＣゲインの大きさから、動きによる変化とランダムノイズとの閾値（ノイズ除去強度α）が算出される。
【００４５】
ノイズ除去強度制御部１０７で算出されるノイズ除去強度αは、フレーム内の全画素に対するノイズ除去強度αであるため、必ずしも、フレーム内の全画素に適した強度であるとは限らない。ここで高輝度画素と低輝度画素で信号強度に差分がある撮像条件に対して３ＤＮＲを適用する場合を考える。例えば、図８に示したような画像が撮像され、ノイズ除去の対象とされている場合を考える。
【００４６】
図８に示した画像は、右側が、低輝度領域１６１であり、左側が、高輝度領域１６２である。低輝度領域内の低輝度画素の信号強度を強度SLとし、高輝度領域１６２内の高輝度画素の信号強度を強度SHとした場合、３ＤＮＲにて出力信号のS/N比をR以下に抑えるとき、S/N=Rを実現しうるノイズ振幅はそれぞれNH=SH/R,NL=SL/Rとなる。このようにS/N=Rを実現するノイズ振幅は信号強度によって差分が存在する。
【００４７】
一方で前述のとおり、３ＤＮＲのノイズ除去強度は全画素で同一とされている。例えば、低輝度画素にてS/N=Rを満たすように３ＤＮＲを行う場合、低輝度画素、高輝度画素双方の画素に対して、ノイズ振幅がNHになるように３ＤＮＲがかかる。高輝度画素ではNLよりも大きいノイズ振幅NHにてS/N=Rが実現可能であり、S/N=Rに対し過度に３ＤＮＲがかかっていることになる。
【００４８】
このように、全画素に対して同一のノイズ除去強度αを適用して処理すると、例えば、高輝度の画素に対して適切なノイズ除去強度αであっても、低輝度の画素に対しては不適切なノイズ除去強度αで処理された画像となってしまう可能性がある。
【００４９】
そこで、輝度の違いにより適切なノイズ除去強度が適用されるように、強度補正部１１０では、フレーム内の処理対象とされている領域毎に、ノイズ除去強度制御部１０７からのノイズ除去強度αに、補正係数ｋを乗算し、その領域にあったノイズ除去強度α’を算出する。強度補正部１１０がこのように、領域毎にノイズ除去強度α’を算出するので、１つのフレーム（画像）内の全画素に同一のノイズ除去強度αが適用されることなく、１つのフレーム内で、複数のノイズ除去強度α’が、領域毎に、その領域に適した値に設定され、適用される。
【００５０】
このようなノイズ除去強度αをノイズ除去強度α’に変換するための処理を、強度補正部１１０は行う。再度図７を参照するに、係数導出部１５２は、補正係数ｋを算出するとき、所定の演算式に、差分値（Ｌｘ−ＬALL）を代入することで算出する。ここでは、演算式と表記したが、予め定められた差分値（Ｌx - ＬALL）と補正係数ｋとの相関Ｆ（Ｌｘ−ＬALL）に基づき、補正係数ｋが導出される。
ｋ＝Ｆ（Ｌｘ−ＬALL）
【００５１】
この相関は、補正係数ｋが、差分値（Ｌx - ＬALL）に対し負の依存性を持ち、差分値（Ｌx - ＬALL）＝０ にてｋ＝１ となるように設定されている。差分値（Ｌx - ＬALL）と 補正係数ｋとの相関Ｆ（Ｌｘ−ＬALL）の一例を、図９に示す。図９に示した相関は、
差分値（Ｌx - ＬALL）＝０  のとき  ｋ＝１
差分値（Ｌx - ＬALL）＜１  のとき  ｋ＞１
差分値（Ｌx - ＬALL）＞１  のとき  ｋ＜１
の関係を満たしている。
【００５２】
図９に示した補正係数ｋと差分値（Ｌx - ＬALL）の相関は一例であり、限定を示すものではない。図９に示した相関が用いられ、補正係数ｋが算出される場合、補正後のノイズ除去強度α’は、図１０に示したような値をとる。すなわち、処理対象とされている領域の平均輝度値Ｌｘが、処理対象とされているフレーム内の全画素の輝度値の平均輝度値ＬALLよりも小さい場合（低輝度の場合であり、輝度値が輝度値ＬLの場合）、ノイズ除去強度制御部１０７からのノイズ除去強度αは、補正係数ｋが乗算されることにより、ノイズ除去強度αよりも大きな値を有するノイズ除去強度αLに補正される。
【００５３】
一方、平均輝度値Ｌｘが、平均輝度値ＬALLよりも大きい場合（高輝度の場合であり、輝度値が輝度値ＬHである場合）、ノイズ除去強度αは、補正係数ｋが乗算されることにより、ノイズ除去強度αよりも小さな値を有するノイズ除去強度αHに補正される。平均輝度値Ｌｘが、平均輝度値ＬALLと同じ場合、ノイズ除去強度αは、補正係数ｋ＝１が乗算されることにより、ノイズ除去強度αと同じ値を有するノイズ除去強度αに補正される。
【００５４】
このように、処理対象とされている領域が、その領域を含む画像全体に対して、低輝度であると判断される場合には、例えば、図８における低輝度領域１６１であると判断される場合には、ノイズ除去強度が強く補正される。そして、処理対象とされている領域が、その領域を含む画像全体に対して、高輝度であると判断される場合には、例えば、図８における高輝度領域１６２であると判断される場合には、ノイズ除去強度が弱く補正される。
【００５５】
このように、補正係数ｋを算出し、ノイズ除去強度αを補正することで、信号強度が大きく比較的S/N比のよい高輝度領域に対するノイズ除去強度を弱くし、S/N比の悪い低輝度領域に対するノイズ除去強度を強くする、というような各信号のS/N比に応じて、ノイズ除去強度を調節することが可能となる。
【００５６】
３ＤＮＲでは動解像度の劣化というようにノイズ除去制御には副作用が伴う可能性があるが、本発明を適用することで、S/N比に対してノイズ除去強度の最適化を図られるため、S/N比のよい高輝度領域での副作用の発現を抑えながら、低輝度領域の S/N比の改善を図ることが可能となる。さらに、信号強度の差分の大きい撮像条件、すなわちダイナミックレンジの高い撮像条件にて、より効果的なノイズ除去を行うことが可能となる。
【００５７】
このような補正係数ｋを算出し、ノイズ除去強度αを補正する図７に示した強度補正部１１０の処理について、図１１のフローチャートを参照して説明する。ステップＳ１１において、強度補正部１１０の減算部１５１は、ＯＰＤ１０９（図６）から、全画素の平均輝度値ＬALLと、ノイズ除去対象の画素を含む有限領域の平均輝度値Ｌｘを取得する。
【００５８】
ステップＳ１２において、減算部１５１は、取得した平均輝度値ＬALLと平均輝度値Ｌxとの差分を算出する。ここでは、平均輝度値Ｌxから平均輝度値ＬALLが減算されるとして説明を続ける。
【００５９】
仮に、平均輝度値ＬALLから平均輝度値Ｌxが減算されるようにした場合、補正係数ｋと差分値（ＬALL―Ｌx）との相関は、図９に示した相関とは逆の相関となるようにすればよい。すなわち、差分値（ＬALL―Ｌx）に対し正の依存性を持ち、差分値（Ｌx - ＬALL）＝０にてｋ＝１ となるように設定される。式で表せば、
差分値（ＬALL―Ｌx）＝０  のとき  ｋ＝１
差分値（ＬALL―Ｌx）＜１  のとき  ｋ＜１
差分値（ＬALL―Ｌx）＞１  のとき  ｋ＞１
の関係を満たす相関であればよい。
【００６０】
図１１に示したフローチャートの説明に戻り、ステップＳ１２において、減算部１５１により、平均輝度値Ｌｘから平均輝度値ＬALLが減算された差分値（Ｌx - ＬALL）が算出されると、その差分値（Ｌx - ＬALL）は、係数導出部１５２（図７）に供給される。ステップＳ１３において、係数導出部１５２は、減算部１５１からの差分値（Ｌx - ＬALL）から、補正係数ｋを算出する。この算出については、既に説明した通り、差分値（Ｌx - ＬALL）と補正係数ｋの相関により求められる。
【００６１】
ステップＳ１３において、係数導出部１５２で補正係数ｋが算出されると、その補正係数ｋは、乗算部１５３に供給される。乗算部１５３は、ノイズ除去強度制御部１０７からのノイズ除去強度αに、係数導出部１５２からの補正係数ｋを乗算することで、補正後のノイズ除去強度α’を算出し、ノイズ除去部１０６に供給する。
【００６２】
このようにして、強度補正部１１０は、ノイズ除去強度αを補正する。
【００６３】
すなわち、本実施の形態においては、ノイズ除去強度制御部１０７により算出された処理対象とされている画像からノイズを除去するためのノイズ除去強度αが補正される。その補正のために、画像を構成する全画素の輝度値の平均値である平均輝度値ＬALLと、画像内のノイズを除去する対象とされている画素を含む有限領域内の画素の輝度値の平均値である平均輝度値Ｌｘが取得され、その平均輝度値同士の差分が算出され、その差分値から、ノイズ除去強度αを補正するための補正係数ｋが導出される。そして、補正係数ｋがノイズ除去強度αに乗算されることで、ノイズを除去する対象とされている画素に対するノイズ除去のためのノイズ除去強度α’が設定される。
【００６４】
さらに、補正係数ｋは、差分値と補正係数との相関に基づく演算を行うことで導出される。
【００６５】
ここで図８に示したような低輝度領域１６１と高輝度領域１６２を含む画像に対して、上記したノイズ除去の処理が行われる場合を考える。低輝度領域１６１の画素による入力信号の信号強度は図１２Ａのようにランダムノイズにより時間的に変化している。画素ｎＬの信号強度ｎＬ、画素ｎＬ＋１の信号強度ｎＬ＋１、画素ｎＬ＋２の信号強度ｎＬ＋２、画素ｎＬ＋３の信号強度ｎＬ＋３は、それぞれ異なる。このように、低輝度領域１６１内の画素の入力信号の信号強度は、ほぼ同一の値になるような状況であっても、ランダムノイズの影響などで、異なる強度となる。
【００６６】
図１２Ｂは、現フレームの所定の画素の入力信号の信号強度と、その画素に対応する１フレーム前の画素の出力信号の信号強度の差分値（Ｍn＝ＩＮn−ＯＵＴn-1）を示す図である。図１２Ｂに示すように、現フレームの画素ｎＬの信号強度ｎＬと、その画素ｎＬに対して１フレーム前の画素の信号強度との差分は０であり、現フレームの画素ｎＬ＋１の信号強度ｎＬ＋１と、その画素ｎＬ＋１に対して１フレーム前の画素の信号強度との差分は差分値ＭＬ＋１であると算出される。また、現フレームの画素ｎＬ＋２の信号強度ｎＬ＋２と、その画素ｎＬ＋２に対して１フレーム前の画素の信号強度との差分は差分値ＭＬ＋２であり、現フレームの画素ｎＬ＋３の信号強度ｎＬ＋３と、その画素ｎＬ＋３に対して１フレーム前の画素の信号強度との差分は差分値ＭＬ＋３であると算出される。
【００６７】
このような場合、ノイズ振幅Δnに応じたノイズ除去強度αL（補正係数ｋが乗算されたノイズ除去強度α’）が設定されることで、そのノイズ除去強度α’内にある、現フレームの入力画素の画素値と、１フレーム前の出力画素の画素値との信号強度の差分である差分値ＭＬ＋１、差分値ＭＬ＋２、および差分値ＭＬ＋３は、それぞれ殆どノイズであると判別される。
【００６８】
このようなとき、図６に示した３ＤＮＲ回路１００で３ＤＮＲ処理が施されることで、図１２Ｃに示すような出力信号が出力される。図１２Ｃにおいて、実線は、出力信号の強度を表し、点線は、参考のために記載した入力信号の強度を表す。
【００６９】
図１２Ｃにおいて、画素ｎＬの信号強度ｎＬはノイズが除去されることにより信号強度ｎＬ’になる。ただし、この画素ｎＬを基準とした場合、信号強度ｎＬと信号強度ｎＬ’は同じ強度である。同様に、画素ｎＬ＋１の信号強度ｎＬ＋１は、差分値ＭＬ＋１のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＬ＋１から減算された信号強度ｎＬ＋１’とされ出力される。
【００７０】
画素ｎＬ＋２の信号強度ｎＬ＋２は、差分値ＭＬ＋２のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＬ＋２から減算された信号強度ｎＬ＋２’とされ出力される。画素ｎＬ＋３の信号強度ｎＬ＋３は、差分値ＭＬ＋３のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＬ＋３から減算された信号強度ｎＬ＋３’とされ出力される。
【００７１】
このように、図１２Ｃに示したように、出力信号のS/N比は大きく改善されたものとすることが可能である。
【００７２】
一方、高輝度領域１６２の画素による入力信号の信号強度は、低輝度領域１６１の画素に比べて比較的大きいものとなる。高輝度領域１６２内における画素値の時間変化において、ノイズによる差分以上に、被写体の動きによる差分の方が支配的である。高輝度領域１６２の動被写体の動きにより、図１３Ａに示したような入力信号の時間的変化があったとする。
【００７３】
画素ｎＨの信号強度ｎＨ、画素ｎＨ＋１の信号強度ｎＨ＋１、画素ｎＨ＋２の信号強度ｎＨ＋２、画素ｎＨ＋３の信号強度ｎＨ＋３は、それぞれ異なる。このような、高輝度領域１６２内の画素の信号強度の違いは、被写体の動きによる差分、換言すれば、動き量によるところが大きい。
【００７４】
図１３Ｂは、現フィールドの所定の画素の入力信号の信号強度と、その画素に対応する１フィールド前の画素の入力信号の信号強度の差分値（入力動き量ΔＩＮ＝ＩＮn−ＩＮn-1）を示す図である。
【００７５】
図１３Ｂに示すように、現フィールドの画素ｎＬの信号強度ｎＬと、その画素ｎＬに対して１フィールド前の画素の信号強度との入力動き量は０である。現フィールドの画素ｎＬ＋１の信号強度ｎＬ＋１と、その画素ｎＬ＋１に対して１フィールド前の画素の信号強度との入力動き量は、入力動き量Ｐ１である。現フィールドの画素ｎＬ＋２の信号強度ｎＬ＋２と、その画素ｎＬ＋２に対して１フィールド前の画素の信号強度との入力動き量は、入力動き量Ｐ２である。現フィールドの画素ｎＬ＋３の信号強度ｎＬ＋３と、その画素ｎＬ＋３に対して１フィールド前の画素の信号強度との入力動き量は、入力動き量Ｐ３である。
【００７６】
これらの入力動き量Ｐ１、入力動き量Ｐ２、および入力動き量Ｐ３は、それぞれ、動被写体の動きに対応した量である。この量は、ノイズではなく、ノイズ除去処理により除去されない量とする必要がある。
【００７７】
ここで、このような入力動き量が得られる状況のときに、本発明を適用していない従来の３ＤＮＲ回路、例えば、図４に示した３ＤＮＲ回路５０でノイズ除去を行った場合について、図１４を参照して説明する。またここでは、このような差分値が算出された高輝度領域１６２が存在する画像には、低輝度領域１６１が存在し、図８に示したような画像であるとして説明を続ける。よって、従来の３ＤＮＲ５０においては、低輝度領域１６１で算出されたノイズ除去強度αL（図１２で低輝度領域１６１内でノイズを除去するときのノイズ除去強度）が、高輝度領域１６２においても適用される。
【００７８】
図１４Ａは、低輝度領域１６１の説明のときに用いた図１２Ｂに対応する図であり、現フレームの所定の画素の入力信号の信号強度と、その画素に対応する１フレーム前の画素の出力信号の信号強度の差分値（Ｍn＝ＩＮn−ＯＵＴn-1）を示す図である。
【００７９】
図１４Ａに示すように、現フレームの画素ｎＨの信号強度ｎＨと、その画素ｎＨに対して１フレーム前の画素の信号強度との差分は０である。現フレームの画素ｎＨ＋１の信号強度ｎＨ＋１と、その画素ｎＨ＋１に対して１フレーム前の画素の信号強度との差分は、差分値ＭＨ＋１’である。現フレームの画素ｎＨ＋２の信号強度ｎＨ＋２と、その画素ｎＨ＋２に対して１フレーム前の画素の信号強度との差分は、差分値ＭＨ＋２’である。現フレームの画素ｎＨ＋３の信号強度ｎＨ＋３と、その画素ｎＨ＋３に対して１フレーム前の画素の信号強度との差分は、差分値ＭＨ＋３’である。
【００８０】
このような場合、ノイズ振幅Δnに応じたノイズ除去強度αLが設定され、すなわち、従来の３ＤＮＲ回路５０では、処理対象とされている画像内の全画素に対して同一のノイズ除去強度αLが設定され、ノイズ除去の処理が実行される。そのため、その出力信号の強度は、図１４Ｂに示したようになる。
【００８１】
図１４Ｂにおいて、画素ｎＨの信号強度ｎＨはノイズが除去されることにより信号強度ｎＨ’になる。ただし、この画素ｎＨを基準とした場合、信号強度ｎＨと信号強度ｎＨ’は同じ強度である。同様に、画素ｎＨ＋１の信号強度ｎＨ＋１は、差分値ＭＨ＋１のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＨ＋１から減算された信号強度ｎＨ＋１’とされ出力される。
【００８２】
画素ｎＨ＋２の信号強度ｎＨ＋２は、差分値ＭＨ＋２のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＨ＋２から減算された信号強度ｎＨ＋２’とされ出力される。画素ｎＨ＋３の信号強度ｎＨ＋３は、差分値ＭＨ＋３のうち、ノイズであると判断されたノイズ除去強度αL内の強度分が、信号強度ｎＨ＋３から減算された信号強度ｎＨ＋３’とされ出力される。
【００８３】
図１４Ｃは、現フィールドの所定の画素の出力信号の信号強度と、その所定の画素に対応し、１フィールド前の出力信号の信号強度との差分 (出力動き量ΔＯＵＴ＝ＯＵＴn−ＯＵＴn-1)を表す図である。
【００８４】
図１４Ｃに示すように、現フィールドの画素ｎＨの出力信号の信号強度ｎＨ’と、その画素ｎＨに対して１フィールド前の画素の出力信号の信号強度との出力動き量は０である。現フィールドの画素ｎＨ＋１の出力信号の信号強度ｎＨ＋１’と、その画素ｎＨ＋１’に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ１’である。
【００８５】
現フィールドの画素ｎＨ＋２の出力信号の信号強度ｎＨ＋２’と、その画素ｎＨ＋２’に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ２’である。現フィールドの画素ｎＨ＋３の出力信号の信号強度ｎＨ＋３’と、その画素ｎＨ＋３’に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ３’である。
【００８６】
この出力動き量Ｐ１’、出力動き量Ｐ２’、出力動き量Ｐ３’の絶対値は、それぞれ、入力動き量Ｐ１、入力動き量Ｐ２、入力動き量Ｐ３（図１３Ｂ）の絶対値と比較して小さくなる傾向にある。例えば、図１３Ｂに示した、入力動き量Ｐ２が有限の大きさを有しているのに対して、図１４Ｃに示した、出力動き量Ｐ２’は０となっている。これは入力信号に対して、出力信号の動解像度が劣化していることを意味している。
【００８７】
このように従来の３ＤＮＲ回路５０（図４）でノイズ除去の処理を実行したときには、１フレーム（１フィールド）内の全ての画素に対して、同一の強度でノイズ除去の処理が実行されるため、低輝度領域のS/N比の改善に伴い、高輝度領域での動解像度の劣化が起こる可能性があった。
【００８８】
しかしながら、図１５を参照して説明するように、本発明を適用した３ＤＮＲ回路１００（図６）によれば、低輝度領域のS/N比の改善に伴い、高輝度領域での動解像度の劣化が起こる可能性を低減させることが可能となる。
【００８９】
図８に示したような画像を処理する場合、低輝度領域１６１の平均輝度値を平均輝度値ＬL、高輝度領域１６２の平均輝度値を平均輝度値ＬH、画面全体の平均輝度値を平均輝度値ＬALLとすると、
平均輝度値ＬH＞平均輝度値ＬALL＞平均輝度値ＬL
なる関係が成り立つ。
【００９０】
図１５Ａは低輝度領域１６１の説明のときに用いた図１２Ｂに対応する図であり、現フレームの所定の画素の入力信号の信号強度と、その画素に対応する１フレーム前の画素の出力信号の信号強度の差分値（Ｍn＝ＩＮn−ＯＵＴn-1）を示す図である。
【００９１】
図１５Ａに示すように、現フレームの画素ｎＨの入力信号の信号強度ｎＨと、その画素ｎＨに対して１フレーム前の画素の信号強度との差分は０であり、現フレームの画素ｎＨ＋１の入力信号の信号強度ｎＨ＋１と、その画素ｎＨ＋１に対して１フレーム前の画素の出力信号の信号強度との差分は、差分値ＭＨ＋１”である。
【００９２】
現フレームの画素ｎＨ＋２の入力信号の信号強度ｎＨ＋２と、その画素ｎＨ＋２に対して１フレーム前の画素の出力信号の信号強度との差分は、差分値ＭＨ＋２”である。現フレームの画素ｎＨ＋３の入力信号の信号強度ｎＨ＋３と、その画素ｎＨ＋３に対して１フレーム前の画素の出力信号の信号強度との差分は、差分値ＭＨ＋３”である。
【００９３】
図１４Ａと図１５Ａを比較すると異なることがわかる。例えば、差分値ＭＨ＋３’と差分値ＭＨ＋３”は異なる値となっている。図１４Ａと図１５Ａは、ともに、図１３Ａに示したような入力信号強度の入力信号が入力されたときの差分値であるが、出力信号が異なるため、現フレームの所定の画素の入力信号の信号強度と、その画素に対応する１フレーム前の画素の出力信号の信号強度の差分値は異なる値となる。
【００９４】
このような場合、ノイズ振幅Δnに応じたノイズ除去強度αH（補正係数ｋが乗算されたノイズ除去強度α”）を設定されてノイズ除去の処理が実行されるため、その出力信号の強度は、図１５Ｂに示したようになる。
【００９５】
図１５Ｂにおいて、画素ｎＨの入力信号の信号強度ｎＨは、ノイズが除去されることにより信号強度ｎＨ”になる。ただし、この画素ｎＨを基準とした場合、信号強度ｎＨと信号強度ｎＨ”は同じ強度である。同様に、画素ｎＨ＋１の入力信号の信号強度ｎＨ＋１は、差分値ＭＨ＋１”のうち、ノイズであると判断されたノイズ除去強度αH内の強度分が、信号強度ｎＨ＋１から減算された信号強度ｎＨ＋１”とされ出力される。
【００９６】
画素ｎＨ＋２の入力信号の信号強度ｎＨ＋２は、差分値ＭＨ＋２”のうち、ノイズであると判断されたノイズ除去強度αH内の強度分が、信号強度ｎＨ＋２から減算された信号強度ｎＨ＋２”とされ出力される。画素ｎＨ＋３の入力信号の信号強度ｎＨ＋３は、差分値ＭＨ＋３”のうち、ノイズであると判断されたノイズ除去強度αH内の強度分が、信号強度ｎＨ＋３から減算された信号強度ｎＨ＋３”とされ出力される。
【００９７】
ノイズ除去強度αHは、図１４Ａに示したノイズ除去強度αLと比較して、小さい値であることがわかる。これは、上述したように、同一画像内に低輝度領域１６１と高輝度領域１６２が存在するような場合、補正係数が乗算されることで、低輝度領域１６１内に適用するノイズ除去強度αLの方が、高輝度領域１６２内に適用するノイズ除去強度αHのよりも大きな値になるように設定されているからである。
【００９８】
よって、高輝度領域１６２内では、ノイズ成分は除去されるが、動き成分は除去されず、適切なノイズ除去が行われる。その結果、図１５Ｂに示すような強度を有する出力信号が出力され、図１５Ｃに示すような出力動き量が得られることになる。
【００９９】
図１５Ｃは、現フィールドの所定の画素の出力信号の信号強度と、その所定の画素に対応し、１フィールド前の出力信号の信号強度との差分 (出力動き量ΔＯＵＴ＝ＯＵＴn−ＯＵＴn-1)を表す図である。
【０１００】
図１５Ｃに示すように、現フィールドの画素ｎＨの出力信号の信号強度ｎＨ”と、その画素ｎＨに対して１フィールド前の画素の出力信号の信号強度との出力動き量は０である。現フィールドの画素ｎＨ＋１の出力信号の信号強度ｎＨ＋１”と、その画素ｎＨ＋１”に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ１”である。
【０１０１】
現フィールドの画素ｎＨ＋２の出力信号の信号強度ｎＨ＋２”と、その画素ｎＨ＋２”に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ２”である。現フィールドの画素ｎＨ＋３の出力信号の信号強度ｎＨ＋３”と、その画素ｎＨ＋３”に対して１フィールド前の画素の出力信号の信号強度との出力動き量は出力動き量Ｐ３”である。
【０１０２】
本発明を適用した３ＤＮＲ回路１００で、ノイズ除去強度αHにて３ＤＮＲの処理を行った場合、出力動き量ΔOUTと入力動き量ΔINとの差分は、従来の３ＤＮＲ回路５０でノイズ除去強度αLにて３ＤＮＲの処理を行ったときと比べて小さくなる。例えば、図１５Ｃに示した出力動き量Ｐ３”と例えば、図１３Ｂに示した入力動き量Ｐ３との差分（３ＤＮＲ回路１００で処理した場合の差分）は、例えば、図１４Ｃに示した出力動き量Ｐ３’と例えば、図１３Ｂに示した入力動き量Ｐ１との差分（３ＤＮＲ回路５０で処理した場合の差分）よりも小さいものとなる。
【０１０３】
このことは、本発明を用いて３ＤＮＲでノイズ除去の処理を行うことで、高輝度領域の動解像度の劣化を抑えながら、低輝度領域におけるS/N比の改善を行うことが可能となることを示している。すなわち、１つの画像内に、高輝度の領域と低輝度の領域が存在しているような場合であっても、その高輝度の領域と低輝度の領域の両方に適したノイズ除去を適切に行うことが可能となる。
【０１０４】
［強度補正部の他の構成について］
図７に示した強度補正部１１０においては、処理対象とされているフレーム内にある処理対象とされている領域の輝度値の平均値である平均輝度値Ｌｘから、フレーム内の全画素の輝度値の平均値である平均輝度値ＬALLを減算した差分値（Ｌｘ−ＬALL）と、補正係数ｋとの相関Ｆ（Ｌｘ−ＬALL）に基づき、補正係数ｋが導出されるとして説明した。換言すれば、差分値（Ｌｘ−ＬALL）を所定の演算式に代入し、演算することで、補正係数ｋが算出されるとして説明した。
【０１０５】
この相関関係を、予めテーブルとして保持し、そのテーブルが参照されることで、補正係数ｋが算出されるようにしても良い。テーブルを保持し、そのテーブルが参照されて補正係数ｋが算出されるようにした場合、強度補正部１１０の構成は、図１６に示したようになる。
【０１０６】
図１６は、強度補正部１１０の他の構成を示す図である。図１６に示した強度補正部１１０は、減算部１７１、係数導出部１７２、乗算部１７３、およびテーブル保持部１７４を備える構成とされている。減算部１７１には、ＯＰＤ１０９（図６）から全画素の輝度値の平均値である平均輝度値ＬALLと、ノイズ除去対象を含む有限領域の輝度値の平均値である平均輝度値Ｌxが供給される。減算部１７１は、供給された平均輝度値Ｌxから平均輝度値ＬALLを減算する。
【０１０７】
すなわち、減算部１７１は、処理対象とされているフレーム内にある処理対象とされている領域の輝度値の平均値から、フレーム内の全画素の輝度値の平均値を減算する。その減算結果である差分値（Ｌｘ−ＬALL）は、係数導出部１７２に供給される。係数導出部１７２は、テーブル保持部１７４を参照し、差分値（Ｌｘ−ＬALL）に対応する補正係数ｋを導出する。テーブル保持部１７４が保持するテーブルは、差分値（Ｌｘ−ＬALL）と補正係数ｋが関連付けられているテーブルであり、差分値（Ｌｘ−ＬALL）から一意に補正係数ｋを読み出せるテーブルである。
【０１０８】
テーブルに書き込まれている補正係数ｋは、図７に示した強度補正部１１０の説明でした、図９に示すような相関関係を満たす。すなわち、補正係数ｋは、差分値（Ｌx - ＬALL）に対し負の依存性を持ち、差分値（Ｌx - ＬALL）＝０ にてｋ＝１ となるように設定されている。差分値（Ｌx - ＬALL）と補正係数ｋとの相関を満たす補正係数ｋが差分値（Ｌx - ＬALL）と関連付けられてテーブルに記載されている。図９に示した相関は、
差分値（Ｌx - ＬALL）＝０  のとき  ｋ＝１
差分値（Ｌx - ＬALL）＜１  のとき  ｋ＞１
差分値（Ｌx - ＬALL）＞１  のとき  ｋ＜１
の関係を満たし、この関係を満たす補正係数ｋが差分値（Ｌx - ＬALL）と関連付けられてテーブルに記載されている。
【０１０９】
図１６に示した強度補正部１１０の説明に戻り、テーブル保持部１７４が参照されて導出された補正係数ｋは、乗算部１７３に供給される。乗算部１７３には、ノイズ除去強度制御部１０７から、ノイズを除去するためのノイズ除去強度αと、係数導出部１７２からの補正係数ｋが供給される。乗算部１７３は、供給されたノイズ除去強度αに補正係数ｋを乗算することで、補正後のノイズ除去強度α’を算出し、ノイズ除去部１０６（図６）に供給する。
【０１１０】
基本的な動作は、図７に示した強度補正部１１０と同様であるが、補正係数ｋが、テーブルを参照して導出される点が異なる。図１６に示した強度補正部１１０も、図１１に示したフローチャートに基づいて処理を行うため、その説明は省略する。ただし、ステップＳ１３において行われる補正係数ｋの導出に関する処理は、テーブル保持部１７４に保持されているテーブルが参照されて行われる点が異なる。
【０１１１】
このように、テーブルが参照されて補正係数ｋが導出される場合も、相関から補正係数ｋが導出される場合と同じく、高輝度領域の動解像度の劣化を抑えながら、低輝度領域におけるS/N比の改善を行うことが可能となるノイズ除去を実現できる。
【０１１２】
［２ＤＮＲ回路の構成について］
上述した実施の形態は、３ＤＮＲ回路においてノイズを除去する場合であった。本発明は、２ＤＮＲ回路にも適用できる。図１７は、本発明を２ＤＮＲ回路に適用したときの一実施の形態の構成を示す図である。
【０１１３】
図１７に示した２ＤＮＲ回路２００は、撮像部２０１、ＡＧＣ部２０２、Ａ／Ｄ変換部２０３、２ＤＮＲ処理部２０４、ノイズ除去強度制御部２０５、ＯＰＤ２０６、および強度補正部２０７を含む構成とされている。撮像部２０１で撮像された所定の画像のデータは、ＡＧＣ部２０２に供給される。ＡＧＣ部２０２は、供給されたデータの信号が強くなると利得を抑えて出力が大きくならないようにし、信号が弱くなると利得を上げて出力が小さくならないように制御することで、一定の強度を有する信号をＡ／Ｄ変換部２０３とノイズ除去強度制御部２０５に供給する。
【０１１４】
Ａ／Ｄ変換部２０３は、供給された信号をデジタル信号（データ）に変換し、２ＤＮＲ処理部２０４とＯＰＤ２０６に供給する。ノイズ除去強度制御部２０５は、ノイズを除去するための強度（ノイズ除去強度α）を、ＡＧＣ部２０２からの信号を基に設定し、強度補正部２０７に供給する。強度補正部２０７は、ＯＰＤ２０６から供給される全画素平均の輝度値と処理対象とされている領域の平均の輝度値である平均輝度値ＬALLと、処理対象とされている領域内の画素の平均の輝度値である平均輝度値Ｌｘを用いて、ノイズ除去強度制御部２０５からのノイズ除去強度αを補正する。
【０１１５】
補正されたノイズ除去強度α’は、２ＤＮＲ処理部２０４に供給される。２ＤＮＲ処理部２０４は、Ａ／Ｄ変換部２０３からの信号を、ノイズ除去強度α’に基づき、ノイズを除去する処理を施す。
【０１１６】
このように構成される２ＤＮＲ回路２００におけるＯＰＤ２０６は、図６に示した３ＤＮＲ回路１００のＯＰＤ１０９と同じ構成とすることができる。また、２ＤＮＲ回路２００における強度補正部２０７は、図６に示した３ＤＮＲ回路１００の強度補正部１１０と同じ構成とすることができる。すなわち、強度補正部２０７は、図７に示した強度補正部１１０または図１６に示した強度補正部１１０と同じ構成とすることが可能である。
【０１１７】
よって、強度補正部２０７は、図７に示した強度補正部１１０または図１６に示した強度補正部１１０と同じ処理を実行することで、換言すれば、図１１に示したフローチャートの処理を実行することで、供給されたノイズ除去強度αを補正し、ノイズ除去強度α’を生成する。
【０１１８】
本発明を２ＤＮＲに適用した場合も、３ＤＮＲに適用した場合と同じ効果を得ることができる。すなわち、S/N比の比較的高い高輝度域における解像感の劣化を抑制しつつ、低輝度域のS/N比を高めることが可能となる。
【０１１９】
このように、本発明を適用してノイズ除去を行うことで、信号強度が大きく比較的S/Nのよい高輝度領域に対するノイズ除去強度を弱くし、S/N比の悪い低輝度領域に対するノイズ除去強度を強くする、というように各信号のS/N比に応じて、ノイズ除去強度を調節することが可能となる。
【０１２０】
３ＤＮＲでは動解像度の劣化、２ＤＮＲでは解像感の劣化、というようにノイズ除去制御には副作用が伴うが、本発明を適用することで、S/N比に対してノイズ除去強度の最適化を図られるため、S/N比のよい高輝度領域での副作用の発現を抑えながら、低輝度領域のS/N比改善を図ることが可能となる。特に信号強度の差分の大きい撮像条件、すなわちダイナミックレンジの高い撮像条件にて、より効果を期待できる。
【０１２１】
なお、上述した実施の形態において、例えば、図９に示した差分値（Ｌｘ―ＬALL）と補正係数ｋとの相関関係は、一例であり、他の相関関係、例えば、一次関数に基づく相関関係であっても良い。
【０１２２】
また、ノイズ除去強度αに、補正係数ｋが乗算されることで、ノイズ除去強度α’が算出されるとして説明したが、補正係数ｋが乗算される以外にも、例えば補正係数kが加算、減算、または除算されることによりノイズ除去強度α’が算出されるようにしても良い。
【０１２３】
［記録媒体について］
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１２４】
図１８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２、ＲＡＭ（Random Access Memory）１００３は、バス１００４により相互に接続されている。バス１００４には、さらに、入出力インタフェース１００５が接続されている。入出力インタフェース１００５には、入力部１００６、出力部１００７、記憶部１００８、通信部１００９、及びドライブ１０１０が接続されている。
【０１２５】
入力部１００６は、キーボード、マウス、マイクロフォンなどよりなる。出力部１００７は、ディスプレイ、スピーカなどよりなる。記憶部１００８は、ハードディスクや不揮発性のメモリなどよりなる。通信部１００９は、ネットワークインタフェースなどよりなる。ドライブ１０１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア１０１１を駆動する。
【０１２６】
以上のように構成されるコンピュータでは、ＣＰＵ１００１が、例えば、記憶部１００８に記憶されているプログラムを、入出力インタフェース１００５及びバス１００４を介して、ＲＡＭ１００３にロードして実行することにより、上述した一連の処理が行われる。
【０１２７】
コンピュータ（ＣＰＵ１００１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア１０１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１２８】
コンピュータでは、プログラムは、リムーバブルメディア１０１１をドライブ１０１０に装着することにより、入出力インタフェース１００５を介して、記憶部１００８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部１００９で受信し、記憶部１００８にインストールすることができる。その他、プログラムは、ＲＯＭ１００２や記憶部１００８に、あらかじめインストールしておくことができる。
【０１２９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１３０】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１３１】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【符号の説明】
【０１３２】
１００  ３ＤＮＲ回路，  １０１  撮像部，  １０２  ＡＧＣ部，  １０３  Ａ／Ｄ変換部，  １０４  減算部，  １０５  減算部，  １０６  ノイズ除去部，  １０７  ノイズ除去強度制御部，  １０８  メモリ，  １０９  ＯＰＤ，  １１０  強度補正部，  １５１  減算部，  １５２  係数導出部，  １５３  乗算部，  １７１  減算部，  １７２  係数導出部，  １７３  乗算部，  １７４  テーブル保持部，  ２０１  撮像部，  ２０２  ＡＧＣ部，  ２０３  Ａ／Ｄ変換部，  ２０４  ２ＤＮＲ処理部，  ２０５  ノイズ除去強度制御部，  ２０６  ＯＰＤ，  ２０７  強度補正部
【図１】
2011041183.tif 000003
【図２】
2011041183.tif 000004
【図３】
2011041183.tif 000005
【図４】
2011041183.tif 000006
【図５】
2011041183.tif 000007
【図６】
2011041183.tif 000008
【図７】
2011041183.tif 000009
【図８】
2011041183.tif 000010
【図９】
2011041183.tif 000011
【図１０】
2011041183.tif 000012
【図１１】
2011041183.tif 000013
【図１２】
2011041183.tif 000014
【図１３】
2011041183.tif 000015
【図１４】
2011041183.tif 000016
【図１５】
2011041183.tif 000017
【図１６】
2011041183.tif 000018
【図１７】
2011041183.tif 000019
【図１８】
2011041183.tif 000020