(57)【要約】【課題】高品位な映像信号を得ることができる撮像装置１を提供する。【解決手段】被写体１０を撮影し映像信号を出力するＣＣＤ１０２と、被写体１０と撮像装置１との間の撮影距離ｄを取得する距離情報取得部１０８と、撮影距離ｄに基づき映像信号のノイズ低減処理を行うノイズ低減部１１０とを有する。【選択図】図２
2010239492.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し映像信号を出力する撮像手段と、
前記映像信号に対応した、前記被写体と前記撮像手段との間の撮影距離を算出する測距手段と、
前記撮影距離に基づき、前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、を有することを特徴とする撮像装置。
【請求項２】
被写体を撮影し映像信号を出力する撮像手段と、
前記映像信号に対応した、前記被写体と前記撮像手段との間の撮影距離、を算出する測距手段と、
前記撮像手段の一の被写体との合焦情報に基づき、前記一の被写体と前記撮像手段との間の撮影距離である特定距離を算出する特定距離取得手段と、
前記撮影距離と、前記特定距離とに基づき、前記映像信号に対応した相対距離を算出する相対距離算出手段と、
前記相対距離に基づき、前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、を有することを特徴とする撮像装置。
【請求項３】
前記ノイズ低減手段が、前記相対距離に基づき、前記映像信号に対して平滑化処理を行う平滑化手段を有することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項４】
前記ノイズ低減手段が、
前記映像信号に含まれるノイズ量を推定するノイズ推定手段と、
前記相対距離と推定された前記ノイズ量とに基づき、コアリング処理に用いる閾値であるコアリング閾値を設定する閾値設定手段と、
前記コアリング閾値を用いて、前記映像信号に対して前記コアリング処理を行うコアリング手段と、を有することを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記平滑化手段が、
前記相対距離に基づき、所定の中心画素からの位置範囲を表すフィルタサイズを設定するサイズ設定手段と、
前記フィルタサイズに対応したフィルタ係数を記録するフィルタ係数記録手段と、
前記フィルタサイズに基づき前記フィルタ係数記録手段からフィルタ係数を読み出し、前記映像信号に対してローパスフィルタ処理を行うフィルタ処理手段と、を有することを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記平滑化手段が、
前記相対距離に基づきフィルタ係数を設定するフィルタ係数設定手段と、
前記フィルタ係数に基づき前記映像信号に対してローパスフィルタ処理を行うフィルタ処理手段と、を有することを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記閾値設定手段が、
前記コアリング閾値を算出する閾値算出関数の係数を記録する関数係数記録手段と、
前記相対距離と前記ノイズ量と前記閾値算出関数と、に基づきコアリング閾値を算出する関数演算手段と、を有することを特徴とする請求項４に記載の撮像装置。
【請求項８】
前記閾値設定手段が、
前記相対距離と前記ノイズ量に対応したコアリング閾値のテーブルを記録するテーブル記録手段と、
前記相対距離と前記ノイズ量に基づき、前記テーブル記録手段から前記コアリング閾値を導出するテーブル演算手段と、を有することを特徴とする請求項４に記載の撮像装置。
【請求項９】
前記相対距離算出手段が、
前記相対距離の上限値を設定する上限設定手段と、
前記相対距離が前記上限値を超える場合に、前記相対距離を前記上限値に置き換えるクリッピング手段、とを有することを特徴とする請求項２に記載の撮像装置。
【請求項１０】
前記閾値算出関数が増加関数であることを特徴とする請求項７に記載の撮像装置。
【請求項１１】
前記サイズ設定手段が、前記相対距離の増加に対して前記フィルタサイズを単調増加することを特徴とする請求項５に記載の撮像装置。
【請求項１２】
前記フィルタ係数設定手段において、ノイズ低減処理の対象となる注目画素に対する前記フィルタ係数と、前記注目画素の近傍画素（前記注目画素からＮ画素（但し、Ｎは１以上の整数）の範囲内の画素）に対する前記フィルタ係数との比率が、前記相対距離に基づき、設定されることを特徴とする請求項６に記載の撮像装置。
【請求項１３】
撮像手段により被写体を撮影し映像信号を出力する撮影ステップと、
前記映像信号に対応した、前記被写体と前記撮像手段との間の撮影距離、を算出する距離情報取得ステップと、
前記撮影距離に基づき、前記映像信号に対してノイズ低減処理を行うノイズ低減処理ステップと、を有することを特徴とする映像信号のノイズ低減方法。
【請求項１４】
撮像手段により被写体を撮影し映像信号を出力する撮影ステップと、
前記映像信号に対応した、前記被写体と前記撮像手段との間の撮影距離、を算出する距離情報取得ステップと、
前記撮像手段の一の前記被写体との合焦情報に基づき、前記一の被写体と前記撮像手段との間の撮影距離である特定距離を算出する特定距離情報取得ステップと、
前記撮影距離と、前記特定距離とに基づき、前記映像信号に対応した相対距離を算出する相対距離算出ステップと、
前記相対距離に基づき、前記映像信号に対してノイズ低減処理を行うノイズ低減ステップとを有することを特徴とする映像信号のノイズ低減方法。
【請求項１５】
前記ノイズ低減ステップが、前記相対距離に基づき、前記映像信号に対して平滑化処理を行う平滑化ステップを有することを特徴とする請求項１４に記載の映像信号のノイズ低減方法。
【請求項１６】
前記ノイズ低減ステップが、
前記映像信号に含まれるノイズ量を推定するノイズ推定ステップと、
前記相対距離と推定された前記ノイズ量とに基づき、コアリング処理に用いる閾値であるコアリング閾値を設定するコアリング閾値設定ステップと、
前記コアリング閾値を用いて、前記映像信号に対して前記コアリング処理を行うコアリングステップと、を有することを特徴とする請求項１５に記載の映像信号のノイズ低減方法。
【請求項１７】
前記平滑化ステップが、
前記相対距離に基づき、所定の中心画素からの位置範囲を表すフィルタサイズを設定するサイズ設定ステップと、
前記フィルタサイズに対応したフィルタ係数を記録するフィルタ係数記録ステップと、
前記フィルタサイズに基づき前記フィルタ係数記録手段からフィルタ係数を読み出し、前記映像信号に対してローパスフィルタ処理を行うフィルタ処理ステップと、を有することを特徴とする請求項１５に記載の映像信号のノイズ低減方法。
【請求項１８】
前記平滑化ステップが、
前記相対距離に基づきフィルタ係数を設定するフィルタ係数設定ステップと、
前記フィルタ係数に基づき前記映像信号に対してローパスフィルタ処理を行うフィルタ処理ステップと、を有することを特徴とする請求項１５に記載の映像信号のノイズ低減方法。
【請求項１９】
前記コアリング閾値設定ステップが、
前記コアリング閾値を算出する閾値算出関数の係数を記録する関数記録ステップと、
前記相対距離と前記ノイズ量と前記閾値算出関数と、に基づきコアリング閾値を算出する関数演算ステップと、を有することを特徴とする請求項１６に記載の映像信号のノイズ低減方法。
【請求項２０】
前記コアリング閾値設定ステップが、
前記相対距離と前記ノイズ量に対応したコアリング閾値のテーブルを記録するテーブル記録ステップと、
前記相対距離と前記ノイズ量に基づき、前記テーブル記録手段から前記コアリング閾値を導出するテーブル演算ステップと、を有することを特徴とする請求項１６に記載の映像信号のノイズ低減方法。
【請求項２１】
前記相対距離算出ステップが、
前記相対距離の上限値を設定する上限設定ステップと、
前記相対距離が前記上限値を超える場合に、前記相対距離を前記上限値に置き換えるクリッピングステップと、を有することを特徴とする請求項１４に記載の映像信号のノイズ低減方法。
【請求項２２】
前記閾値算出関数が増加関数であることを特徴とする請求項１９に記載の映像信号のノイズ低減方法。
【請求項２３】
前記サイズ設定ステップが、前記相対距離の増加に対して前記フィルタサイズを単調増加することを特徴とする請求項１７に記載の映像信号のノイズ低減方法。
【請求項２４】
前記フィルタ係数設定ステップにおいて、前記一の被写体の前記映像信号に対応した注目画素に対する前記フィルタ係数と、前記注目画素の近傍画素（前記注目画素からＮ画素（但し、Ｎは１以上の整数）の範囲内の画素）に対する前記フィルタ係数と、の比率が、前記相対距離に基づき、再設定されることを特徴とする請求項１８に記載の映像信号のノイズ低減方法。
【請求項２５】
前記撮影ステップが、
前記撮像手段により前記被写体を撮影し第１の映像信号を出力する第１の撮影ステップと、
前記撮像手段により前記被写体を撮影し第２の映像信号を出力する第２の撮影ステップとを有し、
前記第２の映像信号に対して、前記第１の映像信号から算出された前記撮影距離を基に前記ノイズ低減処理が行われることを特徴とする請求項１３から請求項２４のいずれか１項に記載の映像信号のノイズ低減方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像して得られた映像信号に対してノイズ低減処理を行う撮像装置および映像信号のノイズ低減方法に関し、特に被写体との距離を基に適応的なノイズ低減処理を行う撮像装置および被写体との距離を基に適応的なノイズ低減処理を行う映像信号のノイズ低減方法に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置では、撮像して得られた映像信号をアナログ信号からデジタル信号に変換するときに、映像信号中にノイズが含まれてしまう。また、ＣＣＤ等の撮像素子に欠陥画素があった場合等には映像信号中に固定パターンノイズが含まれてしまう。このため、撮像装置では映像信号中のノイズを低減するためにノイズ低減処理が行われている。
【０００３】
例えば特開２００４−７２４２２号公報には、入力映像信号レベル、ＩＳＯ感度、またはゲイン等に対するノイズ量を関数化したモデルを用いて注目領域の映像信号中に含まれるノイズ量を推定し、推定したノイズ量に基づきノイズ低減処理を行う撮像システムが開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−７２４２２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特開２００４−７２４２２号公報に開示された撮像システムでは、入力映像信号に対し含まれると予測されるノイズ量を所定の指数関数で定式化している。そして撮影時の撮像素子の温度、ゲイン、露光時間、および／またはホワイトバランス係数等の情報に基づき、映像信号中に含まれるノイズ量を動的に推定することで上記指数関数の係数を決定しノイズ低減処理を行っている。
【０００６】
しかし上記公知の撮像システムでは、推定されたノイズ量に基づきコアリング閾値を設定しているため、ノイズ量が大きいと映像信号のエッジ成分までノイズ成分であると見なされ、ノイズ低減処理により原信号が劣化することがあった。また上記ノイズ低減処理は被写体に係わらず、推定されたノイズ量に基づき所定の処理が行われるため、例えば構造の細かなテクスチャを持つ被写体の映像信号にノイズ量が大きい場合ノイズ低減処理により、被写体のテクスチャの細かな構造が表示されなくなることがあった。
【課題を解決するための手段】
【０００７】
上記目的を達成すべく、本発明の撮像装置は、被写体を撮影し映像信号を出力する撮像手段と、前記映像信号に対応した、前記被写体と前記撮像手段との間の撮影距離を算出する測距手段と、前記撮影距離に基づき、前記映像信号に対してノイズ低減処理を行うノイズ低減手段と、を有することを特徴とする。
【０００８】
また、本発明の映像信号のノイズ低減方法は、撮像手段により被写体を撮影し映像信号を出力する撮影ステップと、前記映像信号に対応した、前記被写体と前記撮像手段との間の撮影距離、を算出する距離情報取得ステップと、前記撮影距離に基づき、前記映像信号に対してノイズ低減処理を行うノイズ低減処理ステップと、を有することを特徴とする。
【発明の効果】
【０００９】
本発明は、高品位な映像信号を得ることができる撮像装置および高品位な映像信号を得ることができる映像信号のノイズ低減方法を提供する。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態の撮像装置の構成図である。
【図２】原色カラーフィルタの構成を示す説明図である。
【図３】本発明の第１実施形態の撮像装置の相対距離算出部の構成図である。
【図４】映像画像を説明するための説明図である。
【図５】本発明の第１実施形態の撮像装置のノイズ低減部の構成図である。
【図６】本発明の第１実施形態の撮像装置の閾値算出関数の形状をプロットした図である。
【図７】本発明の第１実施形態の撮像装置のエッジ成分判定処理の説明図である。
【図８】本発明の第１実施形態の第１変形例のノイズ低減部の構成を示す構成図である。
【図９】本発明の第１実施形態の第１変形例の撮像装置のノイズ低減処理の流れについて説明するためのフローチャートである。
【図１０】本発明の第１実施形態の第２変形例のノイズ低減部の構成を示す構成図である。
【図１１】本発明の第１実施形態の第３変形例のノイズ低減部の構成を示す構成図である。
【図１２】本発明の第２実施形態の撮像装置の構成を示す構成図である。
【図１３】本発明の第２実施形態の撮像装置のノイズ低減部の構成を示す構成図である。
【発明を実施するための形態】
【００１１】
＜第１実施形態＞  
以下、図面を参照して本発明の第１実施形態の撮像装置１について説明する。  
図１は、本実施の形態の撮像装置１の構成を示す構成図である。撮像装置１においては、撮像手段であるＣＣＤ１０２は、特定の被写体１０Ａおよび１０Ｂ等を含む被写体１０を、レンズ系１００および絞り１０１を介して撮影し、アナログ映像信号を出力する。すなわち、映像信号は、ＣＣＤ１０２の画素数の画素の信号の集合体であり、以下、画素の信号のことを単に画素と表現する場合もある。
【００１２】
なお、本明細書において、単に「被写体１０」という場合には、ＣＣＤ１０２が撮影した画面全体に写っているものを意味し、特定の被写体１０Ａ、例えば近くの人物、または特定の被写体１０Ｂ、例えば遠くの山、等を意味するものではない。ＣＣＤ１０２から出力された被写体１０のアナログ映像信号は、Ａ／Ｄ変換器１０４にてデジタル映像信号に変換される。Ａ／Ｄ変換器１０４から出力された映像信号は、バッファ１０５を介して、測光評価部１０６と、測距手段である距離情報取得部１０８と、ノイズ低減手段であるノイズ低減部１１０とへ転送される。
【００１３】
測光評価部１０６は、絞り１０１およびＣＣＤ１０２と接続され、距離情報取得部１０８は、レンズ制御部１０７、および相対距離算出手段である相対距離算出部１０９と接続されている。レンズ制御部１０７はＡＦモータ１０３と接続されている。ノイズ低減部１１０は補間部１１１と接続され、補間部１１１は信号処理部１１２と接続されている。信号処理部１１２は圧縮部１１３と接続され、圧縮部１１３は出力部１１４と接続されている。
【００１４】
制御手段であるマイクロコンピュータ等から構成された制御部１１５は、Ａ／Ｄ変換器１０４と、測光評価部１０６と、レンズ制御部１０７と、距離情報取得部１０８と、相対距離算出部１０９と、ノイズ低減部１１０と、補間部１１１と、信号処理部１１２と、圧縮部１１３と、出力部１１４と、双方向に接続されている。さらに、電源スイッチ（不図示）と、シャッターボタン（不図示）と、撮影時のシーンモード等の撮影条件の切り替え等を行うためのインターフェースを備えた外部Ｉ／Ｆ部１１６とが、制御部１１５と、双方向に接続されている。なお、撮像装置１のシャッターボタンは、半押しされることで、プリ撮影モードに入り、全押しされることで本撮影モードに入る、２段階の押しボタンスイッチから構成されている。また、シーンモードとは、種々の撮影シーンに有利なシャッター速度、絞り値、および／または、ある被写体等を、撮像装置が自動的に選択し、適正条件で撮影を行うための設定であり、例えば、ポートレートモード、風景モード、クローズアップ（マクロ）モード等があり、撮影時に撮影者が選択することができる。
【００１５】
次に、図１を用いて、撮像装置１における信号の流れについて説明する。撮像装置１は、外部Ｉ／Ｆ部１１６を介してＩＳＯ感度およびシャッタースピード等の撮影条件が設定された後、シャッターボタンが半押しされることで、プリ撮影モードに入る。レンズ系１００および絞り１０１を介してＣＣＤ１０２により撮影された映像信号は、Ａ／Ｄ変換器１０４にてアナログ信号からデジタル信号に変換されてバッファ１０５に保存される。すなわち、撮像手段により被写体を撮影し映像信号を出力する撮影ステップが行われる。
【００１６】
なお、後述するように、撮像装置１では、本撮影モードでも、再度、撮影ステップが行われる。そして、撮像装置１では、プリ撮影モードにおける第１の撮影ステップで出力される第１の映像信号を基に、本撮影モードにおける第２の撮影ステップで出力される第２の映像信号のノイズ低減処理が行われる。もちろん、１回の撮影ステップのみで得られた映像信号を用いて全ての処理を行ってもよい。
【００１７】
なお、本実施の形態の撮像装置１では、ＣＣＤ１０２として、ベイヤー型の原色カラーフィルタを有する単板ＣＣＤを例に説明する。ここで、図２は、ベイヤー型の原色カラーフィルタの構成を示す説明図であり、多数のＣＣＤ素子が２次元に配置された構造を有し、各ＣＣＤ素子を横方向の位置（座標）を「ｉ」、縦方向の位置（座標）を「ｊ」で示している。ベイヤー型は２×２画素を基本単位とし、Ｒ、Ｇ１、Ｇ２、またはＢの４種類のいずれか１つのカラーフィルタが、それぞれの各素子に配置されている。なお、Ｇ１とＧ２とは同一の光学特性を持つフィルタである。そして、２×２素子の基本単位１９Ａにより１つの映像信号からなる画素１９（図４参照）が出力される。
【００１８】
バッファ１０５に保存された映像信号は、測光評価部１０６と、距離情報取得部１０８と、ノイズ低減部１１０とへ転送される。測光評価部１０６では、映像信号中の輝度レベルを算出し、適正露光になるように絞り１０１およびＣＣＤ１０２の電子シャッタースピード等を制御する。
【００１９】
距離情報取得部１０８は、撮像装置１から被写体１０までの距離である撮影距離ｄを、それぞれの画素に対応した映像信号に対して算出する。すなわち、映像信号に対応した、被写体１０と撮像装置１との間の撮影距離ｄを算出する距離情報取得ステップが実行される。距離情報取得部１０８は、例えば、焦点ぼけの具合の異なる複数枚の画像から「ぼけ」の状態を表す「ぼけパラメータ」を算出する。ここで、ぼけパラメータとは輝度信号の焦点ぼけ状態を示す指標であり、ＰＳＦ（Point Spread Function：点分散関数）の分散値と相関のあるパラメータである。
【００２０】
ＰＳＦの分散値と撮影距離ｄとの関係は、所定の関係式でモデル化されているため、距離情報取得部１０８は、ぼけパラメータから、映像信号のそれぞれの画素について、撮像装置１から被写体１０までの撮影距離ｄを算出する。ただし、上記関係式は、レンズの構成、ズーム、および絞り等の条件によって異なるため、それぞれの条件に応じた関係式を用いて算出される。
【００２１】
距離情報取得部１０８は、上記説明のように、映像信号のそれぞれの画素について、それぞれの撮影距離ｄを算出、すなわち、ＣＣＤ１０２の素子数（画素数）と同じ数の撮影距離ｄを算出しても良いが、撮像装置１では、処理の効率化のために、映像信号を複数の領域に分割し、分割した領域毎にフォーカスポイントを求めることで、任意の位置の映像信号の撮影距離ｄを表す距離マップを作成することもできる。距離情報取得部１０８により取得された撮影距離ｄの情報は、レンズ制御部１０７および相対距離算出部１０９へ転送される。
【００２２】
特定距離取得手段であるレンズ制御部１０７は、距離情報取得部１０８を介して得られた撮影距離情報に基づきＡＦモータ１０３を制御し、設定されたシーンモード等に基づいて、特定の被写体１０Ａ、例えば人物、に焦点のあった合焦画像を得る。言い換えれば、レンズ制御部１０７は、合焦画像が得られる合焦距離である特定距離の距離情報を取得する特定距離情報取得ステップを行う。
【００２３】
相対距離算出手段である相対距離算出部１０９は、距離情報取得部１０８から得られた撮影距離ｄと、レンズ制御部１０７によって求められた特定距離とに基づき、それぞれの画素に対応した映像信号全体について、相対距離ｒを算出する相対距離算出ステップを行う。
【００２４】
次に、撮像装置１は、外部Ｉ／Ｆ部１１６を介してシャッターボタンが全押しされることで本撮影を行う。すなわち撮像手段により被写体を撮影し第２の映像信号を出力する第２の撮影ステップが再度繰り返される。そしてノイズ低減ステップにおいてノイズ低減処理が行われる映像信号は第２の映像信号である。ＣＣＤ１０２により撮影された映像信号はプリ撮影モードのときと同様にバッファ１０５へ転送され、一時的に保存される。本撮影は、測光評価部１０６にて求められた露光条件とレンズ制御部１０７によって求められた合焦条件等とに基づき行われ、これらの撮影条件は制御部１１５へ転送される。
【００２５】
撮像装置１のノイズ低減部１１０は、相対距離算出部１０９から得られる相対距離ｒに基づき、バッファ１０５から得られる映像信号に対して適応的なノイズ低減処理を行うノイズ低減ステップが行われる。なお、適応的とは、それぞれの画素の映像信号が、それぞれの状況に応じて適した処理がされていることを意味する。
【００２６】
ノイズ低減処理後の映像信号は、補間部１１１へ転送される。補間部１１１は、公知の補間処理により三板状態の映像信号を生成し、信号処理部１１２へ転送する。信号処理部１１２では、映像信号に対して公知の色変換処理および階調変換処理などが行われ、圧縮部１１３へ転送される。圧縮部１１３は、公知のＪＰＥＧ等の圧縮処理を行い、出力部１１４へ映像信号を転送する。出力部１１４は、圧縮後の映像信号をメモリーカード等のメディアに記録保存する。
【００２７】
ここで図３を用いて相対距離算出部１０９の構成について説明する。図３は相対距離算出部１０９の構成図である。図３に示すように相対距離算出部１０９はバッファ２００と、局所領域抽出部２０１と、平均距離算出部２０２と、距離差分部２０３と、上限設定部２０４と、クリッピング部２０５と、距離バッファ２０６とを有する。距離情報取得部１０８はバッファ２００に接続している。バッファ２００は局所領域抽出部２０１および距離差分部２０３に接続している。局所領域抽出部２０１は平均距離算出部２０２に接続している。平均距離算出部２０２は距離差分部２０３に接続している。距離差分部２０３はクリッピング部２０５に接続している。上限設定部２０４はクリッピング部２０５に接続している。クリッピング部２０５は距離バッファ２０６に接続し、距離バッファ２０６はノイズ低減部１１０に接続している。制御部１１５は、局所領域抽出部２０１と、平均距離算出部２０２と、距離差分部２０３と、上限設定部２０４と、クリッピング部２０５とに、双方向に接続されている。
【００２８】
距離情報取得部１０８から転送された、それぞれの画素の撮影距離情報は、バッファ２００に転送される。バッファ２００内の撮影距離情報は、局所領域抽出部２０１および距離差分部２０３に転送される。局所領域抽出部２０１は、ある注目画素を中心とする所定のサイズ、例えば３×３画素単位の局所領域を抽出し、局所領域内の画素の映像信号に対する撮影距離情報を取得する。
【００２９】
ここで、図４は、映像画像を説明するための説明図である。注目画素２１とは、ノイズ低減処理の対象となる画素１９であり、注目領域２２を構成する画素１９である。図４から明らかなように近傍領域２３は注目領域２２の外縁部に沿って、画素数として「（局所領域の画素数―１）／２」の幅を持った領域である。言い換えれば、近傍領域２３は注目画素からＮ画素の範囲にある非合焦画素の領域であり、例えば、Ｎは１以上の整数であり、例えば２〜５である。Ｎが前記範囲内であれば、撮像装置１１が補正処理に要する時間は実用上問題とならない。なお、図４は１箇所の注目領域２２を含む映像画像２０の一部２０Ａを表示しているが、映像画像２０は複数の注目領域２２を含んでおり、以下の処理は複数の注目画素のそれぞれに対して行われる。
【００３０】
次に、局所領域内の撮影距離情報は平均距離算出部２０２へ転送される。平均距離算出部２０２は、局所領域内の撮影距離情報の平均値を算出し、距離差分部２０３へ転送する。距離差分部２０３は、撮影距離情報の平均値とバッファ２００を介して得られる合焦距離との差の絶対値である相対距離ｒを算出しクリッピング部２０５に転送する。
【００３１】
クリッピング部２０５は、上限設定ステップにおいて上限設定部２０４にて予め定められた相対距離上限値ｍａｘｒに基づき、距離差分部２０３から転送される相対距離ｒに対してクリッピング処理を行うクリッピングステップを実行する。ここで、クリッピング処理とは、予め定められた相対距離上限値ｍａｘｒを超える相対距離ｒを相対距離上限値ｍａｘｒの値で置き換えする処理のことである。相対距離上限値ｍａｘｒは、相対距離ｒの大きさが無限大となり、処理が困難になるのを防ぐために設けられたものである。撮像装置１は、相対距離上限値ｍａｘｒを設定することで、過度なノイズ低減処理が行われないように制御できる。相対距離上限値ｍａｘｒは、例えば、撮影者が、外部Ｉ／Ｆ部１１６から制御部１１５を介して、手動で入力する。
【００３２】
クリッピング処理後の相対距離ｒの情報は、距離バッファ２０６へ転送される。全画素に対して処理が終了した後に、距離バッファ２０６に保存された相対距離ｒの情報は、ノイズ低減部１１０に転送される。なお、上述した例では、単位画素毎に撮影距離ｄの平均値を算出しているが、これに限ることはなく、例えば所定の画素単位サイズの小領域毎に平均距離が得られている場合は、小領域毎にその近傍の小領域の情報に基づき同様に平均距離の平均値を算出することも可能である。
【００３３】
次に図５を用いてノイズ低減部１１０の構成について説明する。図５は、ノイズ低減部１１０の構成図である。図５に示すように、ノイズ低減部１１０は、画像バッファ３００と、ノイズ推定手段であるノイズ推定部３０１と、閾値設定部手段である閾値設定部３０２と、関数記録手段である関数ＲＯＭ３０３と、局所領域抽出部３０４と、平均値算出部３０５と、コアリング処理において対象の映像信号がエッジ成分であるのか否かの判定を行うエッジ成分判定部３０６と、平滑化部３０７と、フィルタ係数記録手段である係数ＲＯＭ３０８と、加算減算部３０９とを有する。バッファ１０５は画像バッファ３００に接続している。画像バッファ３００はノイズ推定部３０１および局所領域抽出部３０４に接続している。ノイズ推定部３０１は、関数演算手段である閾値設定部３０２に接続している。閾値設定部３０２はエッジ成分判定部３０６および加算減算部３０９に接続している。相対距離算出部１０９および関数ＲＯＭ３０３は閾値設定部３０２に接続している。局所領域抽出部３０４は平均値算出部３０５およびエッジ成分判定部３０６に接続している。平均値算出部３０５はエッジ成分判定部３０６に接続している。エッジ成分判定部３０６は平滑化部３０７および加算減算部３０９に接続している。エッジ成分判定部３０６、平滑化部３０７および加算減算部３０９を用いてコアリング処理が行われる。係数ＲＯＭ３０８は平滑化部３０７へ接続されている。平滑化部３０７および加算減算部３０９は補間部１１１に接続されている。制御部１１５は、ノイズ推定部３０１と、閾値設定部３０２と、局所領域抽出部３０４と、平均値算出部３０５と、エッジ成分判定部３０６と、平滑化部３０７と、加算減算部３０９との、双方向に接続されている。
【００３４】
バッファ１０５から転送された映像信号は、画像バッファ３００に一時的に保存され、ノイズ推定部３０１および局所領域抽出部３０４に転送される。ノイズ推定部３０１は、外部Ｉ／Ｆ部１１６を介して制御部１１５から転送されるＩＳＯ感度などの撮影情報に基づいて設計されたノイズ関数を用いて、画素（ｉ、ｊ）毎の映像信号、すなわち画素（ｉ、ｊ）に対応する、R、G、Ｂのいずれかの映像信号に対応するノイズ量Ｎ（ｉ、ｊ）を推定する。なお、（ｉ、ｊ）は画素の座標を示している。
【００３５】
ノイズ量Ｎの推定は、R、Ｇ１、Ｇ２、Ｂの各色成分毎に行う。ノイズ量Ｎの推定方法は、公知の方法、例えば特開２００４−７２４２２号公報に開示されている方法を用いることができる。なお、ノイズ推定部３０１により推定するノイズ量Ｎは単位画素毎に限らず、２×２または４×４画素単位等の小領域毎に算出することも可能である。
【００３６】
ノイズ推定部３０１により推定されたノイズ量Ｎは、閾値設定部３０２へ転送される。閾値設定部３０２は、関数記録ステップにおいてコアリング閾値を算出する閾値算出関数の係数が記録された関数ＲＯＭ３０３から所定の関数を読み出し、ノイズ量Ｎ（ｉ、ｊ）と相対距離算出部１０９で得られた相対距離ｒ（ｉ、ｊ）に基づき、入力された映像信号がノイズ成分であるか否かを判定するためのコアリング閾値ｔｈ（ｉ、ｊ）を算出する。具体的には、閾値設定部３０２は、推定したノイズ量Ｎ（ｉ、ｊ）をコアリング閾値ｔｈ（ｉ、ｊ）の初期値とし、そのコアリング閾値ｔｈ（ｉ、ｊ）を上記相対距離ｒ（ｉ、ｊ）の大きさに基づき補正する。
【００３７】
ここで、本実施の形態の撮像装置１では、合焦位置にある領域は、例えば撮影者が撮影したい特定の被写体が撮影されている主要な領域であると仮定し、主要な領域に対しては元の映像信号を極力劣化させずにノイズ低減処理を行う。このため、撮像装置１では、例えば以下の式１に示す閾値算出関数によってコアリングステップで用いる閾値であるコアリング閾値ｔｈをコアリング閾値設定ステップにて算出する。
【００３８】
（式１）
2010239492.tif 000003
式１において、ａ（ｉ、ｊ）は相対距離ｒ（ｉ、ｊ）＝０のときのコアリング閾値ｔｈを表す定数項で、０からＮ（ｉ、ｊ）の間の任意の値とする。ｍａｘｒは相対距離ｒの上限値を表す定数項で、外部Ｉ／Ｆ部１１６から制御部１１５を介して得られる。定数項ａ（ｉ、ｊ）は、関数ＲＯＭ３０３に記録されている。（式１）は、相対距離ｒ（ｉ、ｊ）がｍａｘｒ以下の場合は上の式によりコアリング閾値ｔｈ（ｉ、ｊ）を算出し、相対距離ｒ（ｉ、ｊ）がｍａｘｒよりも大きい場合は下の式に示すように、ノイズ量Ｎ（ｉ、ｊ）をコアリング閾値ｔｈ（ｉ、ｊ）とする。
【００３９】
次に、図６は、式１の閾値算出関数の形状をプロットした図である。図６において、Ｌ
は線形増加関数を示し、ＮＬは非線形増加関数の例を示している。図６、Ｌに示す式１の閾値算出関数は、相対距離ｒ（ｉ、ｊ）が、ｍａｘｒ以下の場合は、相対距離ｒ（ｉ、ｊ）に対して、コアリング閾値ｔｈが線形に増加する線形増加関数である。
【００４０】
なお、閾値算出関数は、線形増加関数に限られるものではなく、図６、ＮＬに示す相対距離ｒ（ｉ、ｊ）に対して、コアリング閾値ｔｈが非線形に増加する非線形増加関数を用いることも可能である。例えば、閾値算出関数として、非線形に定式化したものを以下の式２に示す。
【００４１】
（式２）
2010239492.tif 000004
式２において、ｋ（ｉ、ｊ）は、２次関数の傾斜を決める係数である。ｋ（ｉ、ｊ）の値は、相対距離ｒ（ｉ、ｊ）が０のときに、コアリング閾値ｔｈ（ｉ、ｊ）の値がａ（ｉ、ｊ）となるように決定する。
【００４２】
閾値設定部３０２が行う関数演算手段は実装化が容易であり、低コストのシステムを構築することができる。すなわち、撮像装置１は、コアリング閾値ｔｈの設定に関数を用いているため、メモリの削減や低コスト化を図ることができる。また、撮像装置１は、ノイズ量Ｎだけでなく相対距離ｒも考慮してコアリング閾値ｔｈを設定する関数演算ステップを有するために、複数の異なる被写体領域に対して適切なノイズ低減処理を行うことができ、高品位な映像信号を得ることができる。また、撮像装置１は、閾値算出関数として実装化が容易な増加関数を用いるため、低コストの撮像装置を提供できる。
【００４３】
閾値設定部３０２が算出したコアリング閾値ｔｈ（ｉ、ｊ）は、エッジ成分判定部３０６および加算減算部３０９へ転送される。局所領域抽出部３０４は、注目画素を中心とする所定サイズの局所領域、例えば５×５画素単位の局所領域を抽出し、局所領域中に属する画素の映像信号を、平均値算出部３０５およびエッジ成分判定部３０６へ転送する。平均値算出部３０５では、局所領域中に属する各画素の映像信号、すなわちR信号、G信号、B信号の平均値Ａｖｅ（ｉ、ｊ）を算出し、算出した平均値Ａｖｅを、エッジ成分判定部３０６へ転送する。
【００４４】
図７は、撮像装置１におけるエッジ成分判定処理の説明図である。図７に示すように、エッジ成分判定部３０６は、平均値算出部３０５から得られる平均値Ａｖｅ（ｉ、ｊ）と閾値設定部３０２から得られるコアリング閾値ｔｈ（ｉ、ｊ）とを基に、局所領域抽出部３０４から得られる注目画素の映像信号がエッジ成分であるか否かを判定する。図７に、エッジ成分判定処理の概念を示す説明図である。図７において、波線は入力の映像信号を示し、実直線は平均値Ａｖｅ（ｉ、ｊ）を示し、点線はコアリング閾値を表す境界線を示す。
【００４５】
エッジ成分判定処理では、入力された映像信号Ｓ（ｉ、ｊ）が、平均値Ａｖｅ（ｉ、ｊ）にコアリング閾値ｔｈ（ｉ、ｊ）を加算した値よりも小さく、平均値Ａｖｅ（ｉ、ｊ）からコアリング閾値ｔｈ（ｉ、ｊ）を減算した値よりも大きい場合は、映像信号Ｓ（ｉ、ｊ）がノイズ成分であると判定する。これに対して、エッジ成分判定処理では、入力された映像信号Ｓ（ｉ、ｊ）が、平均値Ａｖｅ（ｉ、ｊ）にコアリング閾値ｔｈ（ｉ、ｊ）を加算した値よりも大きい、または平均値Ａｖｅ（ｉ、ｊ）からコアリング閾値ｔｈ（ｉ、ｊ）を減算した値よりも小さい場合は、映像信号Ｓ（ｉ、ｊ）がエッジ成分であると判定する。上記説明の、エッジ成分判定処理を式で表すと、以下の（式３）のようになる。
【００４６】
（式３）
2010239492.tif 000005
例えば、図７に示した映像信号Ｓでは、丸印で囲まれた映像信号が、エッジ成分判定部３０６によりエッジ成分と判定される。そして、エッジ成分判定部３０６は、ノイズ成分と判定した場合には、局所領域内の映像信号を平滑化部３０７へ転送し、エッジ成分と判定した場合は、注目画素の映像信号を加算減算部３０９へ転送する。
【００４７】
平滑化部３０７は、フィルタ係数記録ステップにおいてフィルタサイズに対応したフィルタ係数が記録されたフィルタ係数記録手段である係数ＲＯＭ３０８から所定のフィルタ係数を読み出す。そして、平滑化部３０７は、転送されてきた映像信号に対して、局所領域内の映像信号に基づくローパスフィルタ等の公知の平滑化処理を行う平滑化処理ステップの後に、平滑化後の注目画素の映像信号を補間部１１１へ転送する。
【００４８】
加算減算部３０９は、注目画素と近傍画素間の映像信号の連続性を保持するために設けられた処理である。加算減算部３０９では、例えば、注目画素の映像信号Ｓ（ｉ、ｊ）が、Ａｖｅ（ｉ、ｊ）＋Ｎ（ｉ、ｊ）より大きい場合は映像信号Ｓ（ｉ、ｊ）からノイズ量Ｎ（ｉ、ｊ）を減算し、Ａｖｅ（ｉ、ｊ）-Ｎ（ｉ、ｊ）よりも小さい場合は映像信号Ｓ（ｉ、ｊ）に、ノイズ量Ｎ（ｉ、ｊ）を加算する。加算または減算後の映像信号は、補間部１１１へ転送される。撮像装置１は、相対距離ｒに基づき、映像信号に対して平滑化処理を行いノイズ成分を低減するため、高品位な映像信号が得られる。
【００４９】
以上の説明のように、撮像装置１および本実施の形態の映像信号のノイズ低減方法は、異なる撮影距離ｄにある複数の特定の被写体が撮影された映像信号であっても、高品位な映像信号を得ることができる。撮像装置１および本実施の形態の映像信号のノイズ低減方法は、逆に、近い撮影距離ｄにある複数の特定の被写体が撮影された映像信号であっても、適度のノイズ低減処理を行うため高品位な映像信号を得ることができる。
【００５０】
また、本実施の形態の撮像装置１は、上記構成に加えて、撮像手段の合焦情報と測光情報とレンズ焦点距離情報とに基づき、測距手段から得られた撮影距離情報より特定距離情報を取得する特定距離取得手段と、映像信号に対応付けられた撮影距離情報と特定距離情報との相対距離ｒを算出する相対距離算出手段とを、さらに有し、制御手段が、相対距離ｒに基づきノイズ低減処理を制御する。すなわち、撮像装置１は、それぞれの映像信号の距離情報と合焦距離との相対距離ｒを算出し、それぞれの相対距離ｒに基づき映像信号に対するノイズ低減処理を制御する制御部を有する。このため、撮像装置１は、それぞれ所定の距離にある映像信号に対して適切なノイズ低減処理を行うことで、高品位な映像信号が得られる。
【００５１】
また、撮像装置１は、ノイズ低減手段が、映像信号に対応付けられた相対距離ｒに基づき、映像信号に対して平滑化処理を行う平滑化手段を有するため、平滑化処理によりノイズ成分を低減し、高品位な映像信号が得られる
撮像装置１は、画素単位ではなく、所定の画素数単位でも最適なノイズ低減処理を行うことが可能となり、高品位な映像信号を得ることができる。また、撮像装置１は、相対距離ｒに基づきコアリング閾値ｔｈを設定しているため、合焦位置にある主要な領域に対してエッジ成分の劣化の少ない映像信号を得ることも可能となる。
【００５２】
さらに、撮像装置１Ｂは、ノイズ低減手段が、映像信号に基づき、映像信号に含まれるノイズ量Ｎを推定するノイズ推定手段と、相対距離ｒとノイズ量Ｎに基づきコアリング閾値ｔｈを設定する閾値設定手段と、映像信号とコアリング閾値ｔｈを基に映像信号に対してコアリング処理を行うコアリング手段とを、さらに有する。このため、撮像装置１Ｂは、ノイズ量Ｎに加え、相対距離ｒに基づきコアリング閾値ｔｈを設定することで、合焦位置にある映像信号に対して適切なノイズ低減処理を行うことができ、高品位な映像信号を得ることができる
＜第１実施形態の第１変形例＞  
以下、図面を参照して本発明の第１実施形態の第１変形例の撮像装置１Ｂについて説明する。本変形例の撮像装置１Ｂは、第１実施形態の撮像装置１と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。
【００５３】
図８は、撮像装置１Ｂのノイズ低減部１１０Ｂの構成を示す構成図である。図８に示すように、ノイズ低減部１１０Ｂの構成は、第１実施形態の撮像装置１のノイズ低減部１１０の構成から、平滑化部３０７を省略し、サイズ設定ステップを行うフィルタサイズ設定手段であるサイズ設定部３１２と、第２局所領域抽出部３１３と、フィルタ処理ステップを行うフィルタ処理手段であるフィルタ処理部３１４とを追加した構成になっている。
【００５４】
ノイズ低減部１１０Ｂでは、相対距離算出部１０９はサイズ設定部３１２に接続している。そして、画像バッファ３００およびサイズ設定部３１２は第２局所領域抽出部３１３に接続している。エッジ成分判定部３０６と、係数ＲＯＭ３０８と、サイズ設定部３１２と、第２局所領域抽出部３１３とは、フィルタ処理部３１４に接続している。フィルタ処理部３１４は補間部１１１へ接続されている。制御部１１５は、サイズ設定部３１２と、第２局所領域抽出部３１３と、フィルタ処理部３１４と、双方向に接続されている。
【００５５】
相対距離算出部１０９から得られた相対距離ｒの情報は、サイズ設定部３１２へ転送される。サイズ設定部３１２は、映像信号の各画素の相対距離ｒに基づき、画素からの位置範囲を表すフィルタサイズを、例えば１×１画素から９×９画素の中から選択し、設定するサイズ設定ステップを実行する。ここで、上記フィルタは、ローパスフィルタの作用を有し、フィルタサイズが大きくなると、より広い範囲の画素の情報を基にフィルタ処理が行われるため、映像信号の高周波成分をより多く低減する。撮像装置１Ｂでは、それぞれの画素の映像信号の相対距離ｒが小さい場合は小さいフィルタサイズを選択し、相対距離ｒが大きい場合は大きいフィルタサイズを選択する。撮像装置１Ｂは、映像信号の相対距離ｒに基づき、フィルタサイズを変えることでノイズ低減処理の強度を変えることができ、高品位な映像信号を得ることが可能となる。
【００５６】
なお、上記説明では、相対距離算出部１０９が相対距離ｒの増加に対してフィルタサイズを増加するように設定しているが、フィルタサイズを単調に増加していくと、フィルタサイズが極端に大きくなってしまうことがある。このため、撮像装置１Ｂでは、フィルタサイズに上限値を定め、所定値以上の相対距離ｒの画素に対しては、上限値のサイズのフィルタにてローパスフィルタ処理を行う。
【００５７】
サイズ設定部３１２で設定されたフィルタサイズの情報は、第２局所領域抽出部３１３およびフィルタ処理部３１４に転送される。第２局所領域抽出部３１３は、画像バッファ３００より転送された映像信号から、注目画素を中心とするフィルタサイズに該当する局所領域を抽出し、局所領域中の画素の映像信号をフィルタ処理部３１４へ転送する。
【００５８】
フィルタ処理部３１４は、エッジ成分判定部３０６でノイズ成分と判定された注目画素の映像信号に対して、係数ＲＯＭ３０８からフィルタサイズに応じたフィルタ係数を読み出し、第２局所領域抽出部３１３から得られた局所領域内の画素の映像信号を用いて、ローパスフィルタ処理を行う。
【００５９】
フィルタ処理部３１４で出力された映像信号は、補間部１１１へ転送される。なお、上記説明ではフィルタサイズを相対距離ｒに基づき設定しているが、これに限ることはなく、例えばフィルタサイズをパラメータとして用いないで、フィルタ係数を相対距離ｒに基づき設定する構成も可能である。
【００６０】
ここで、図９を用いて、本実施の形態の撮像装置１Ｂにおけるノイズ低減処理の流れについて説明する。図９は、本実施の形態の撮像装置１Ｂにおけるノイズ低減処理の流れについて説明するためのフローチャートである。
【００６１】
＜ステップＳ１＞  撮影ステップ  
最初に、撮像装置１Ｂの撮像手段であるＣＣＤ１０２は、被写体１０を撮影し未処理の映像信号を出力する。撮像装置１Ｂは、未処理の映像信号と、ＩＳＯ感度およびホワイトバランス係数、設定モード等の撮像条件に関する付随情報を含むヘッダ情報とを、読み込み、画像バッファ３００等に保存する。  
＜ステップＳ２＞  
局所領域抽出部３０４は、注目画素を中心とする、例えば３×３画素サイズの局所領域を抽出する。  
＜ステップＳ３＞  
平均値算出部３０５は、ステップＳ２で抽出した局所領域内の画素の映像信号の平均値を算出する。
【００６２】
＜ステップＳ４＞  
撮像装置１Ｂは、ステップＳ１で読み込んだＩＳＯ感度、ホワイトバランス係数等のヘッダ情報に基づき、関数ＲＯＭ３０３からノイズ関数を読み込む。  
＜ステップＳ５＞  
ノイズ推定部３０１は、ステップＳ３で算出した平均値とステップＳ４で読み込んだノイズ関数に従い、ノイズ量Ｎを推定するノイズ推定ステップを実行する。  
＜ステップＳ６＞  
エッジ成分判定部３０６は、ステップＳ３の平均値に対してステップＳ５で得られたノイズ量Ｎをコアリング閾値ｔｈとして、処理対象の映像信号がエッジ成分か否かの判定を行うエッジ成分判定処理を行うエッジ成分判定ステップを実行する。
【００６３】
＜ステップＳ７＞  
エッジ成分判定部３０６は、ステップＳ６でエッジ成分判定処理された映像信号が、ノイズ成分であるかエッジ成分であるかを判定し、ノイズ成分である場合はステップＳ８からの処理を開始し、エッジ成分である場合はステップＳ１４からの処理を開始する。  
＜ステップＳ８＞  
撮像装置１Ｂは、フィルタ処理のための係数を設定するフィルタ係数設定ステップを実行する。具体的には、ステップＳ９〜ステップＳ１２の処理を行う。  
＜ステップＳ９＞  
相対距離算出部１０９は、注目画素における相対距離ｒを算出する。
【００６４】
＜ステップＳ１０＞  
サイズ設定部３１２は、ステップＳ９で算出した相対距離ｒの大きさに応じたフィルタサイズを設定する。  
＜ステップＳ１１＞  
撮像装置１Ｂは、ステップＳ１０で設定したフィルタサイズに応じたフィルタ係数を係数ＲＯＭ３０８から読み込む。  
＜ステップＳ１２＞  
第２局所領域抽出部３１３は、注目画素を中心とする、ステップＳ１０で設定したフィルタサイズの局所領域を抽出する。  
＜ステップＳ１３＞  
フィルタ処理部３１４は、ステップＳ１１で読み込んだフィルタ係数と、ステップＳ１２で抽出した局所領域の映像信号に基づき、フィルタ処理ステップであるローパスフィルタ処理を行う。
【００６５】
＜ステップＳ１４＞  
加算減算部３０９は、ステップＳ７から転送された映像信号に対して、ステップＳ５で推定したノイズ量Ｎを加算、または減算する。  
＜ステップＳ１５＞  
撮像装置１Ｂは、全画素に対する処理が完了したか否かを判断し、完了していない場合は全画素に対する処理が完了するまで、ステップＳ２からの処理を繰り返す。  
＜ステップＳ１６＞  
信号処理部１１２は、公知の補間処理、色変換、階調変換、エッジ強調処理などを行う。  
＜ステップＳ１７＞  
圧縮部１１３は、公知のＪＰＥＧなどの圧縮処理を行う。
【００６６】
＜ステップＳ１８＞  
出力部１１４は、処理後の映像信号を出力し、処理を終了する。
【００６７】
以上の説明のように、撮像装置１Ｂは、平滑化手段が、相対距離ｒに基づきフィルタサイズを設定するサイズ設定手段と、フィルタサイズに対応したフィルタ係数を記録する記録手段と、フィルタサイズに基づき記録手段からフィルタ係数を読み出し映像信号に対してローパスフィルタ処理を行うフィルタ処理手段とを有する。すなわち、撮像装置１Ｂは、サイズ設定部３１２にて、相対距離ｒに応じたフィルタサイズを設定し、係数ＲＯＭ３０８からフィルタ係数を読み出し、フィルタ処理部３１４にて、フィルタ係数に基づき注目画素の映像信号に対してフィルタ処理を行う。
【００６８】
撮像装置１Ｂは、撮像装置１等が有する効果に加えて、相対距離ｒに対してフィルタサイズを変えることでノイズ低減処理の強度を変えることができるため、より高品位な映像信号を得ることができる。
【００６９】
＜第１実施形態の第２変形例＞  
以下、図面を参照して本発明の第１実施形態の第２変形例の撮像装置１Ｃについて説明する。本変形例の撮像装置１Ｃは、第１実施形態の第１変形例の撮像装置１Ｂと類似しているため、同じ構成要素には同じ符号を付し説明は省略する。
【００７０】
図１０は、撮像装置１Ｃのノイズ低減部１１０Ｃの構成を示す構成図である。図１０に示すように、ノイズ低減部１１０Ｃの構成は、ノイズ低減部１１０Ｂの構成から、サイズ設定部３１２を省略し、フィルタ係数設定手段である係数設定部３１５を追加した構成になっている。
【００７１】
撮像装置１Ｃのノイズ低減部１１０Ｃでは、相対距離算出部１０９および係数ＲＯＭ３０８は、係数設定部３１５に接続されている。係数設定部３１５はフィルタ処理手段であるフィルタ処理部３１４に接続している。制御部１１５は、係数設定部３１５と双方向に接続している。  
係数設定部３１５は、相対距離算出部１０９から転送された相対距離ｒの値に基づきフィルタ係数の設定を行う。ここで、係数ＲＯＭ３０８には、予め所定のローパスフィルタの係数が記録されている。係数設定部３１５は、例えば、相対距離ｒが所定の値よりも小さい場合は注目画素に掛かる係数を、注目画素の近傍画素に掛かる係数に対して相対的に大きな値となるように再設定することで、映像信号の劣化を低減したフィルタ処理が行われるようにする。ここで、注目画素の近傍画素とは、注目画素から所定数の範囲内にある画素を意味し、注目画素に隣接し、注目画素からＮ画素（但し、Ｎは１以上の整数）の範囲内の画素である。例えば、Ｎ＝１の場合には、近傍画素は注目画素を中心とする３×３画素の領域の画素であり、Ｎ＝２の場合には、近傍画素は注目画素を中心とする５×５画素の領域の画素であり、Ｎ＝４の場合には、近傍画素は注目画素を中心とする９×９画素の領域の画素である。
【００７２】
撮像装置１Ｃでは、注目画素と注目画素の近傍画素とに対するフィルタ係数を再設定することで、フィルタ処理の強度を適応的に変更できる。一方、相対距離ｒが所定の値よりも大きい場合は、注目画素とその近傍画素に掛かる係数の大きさが同等になるように再設定し、強いフィルタ処理が行われるようにする。なお、撮像装置１Ｃにおいてフィルタ処理の強度を変化する方法としては、前記のフィルタ係数の設定を変化する方法に限らず、バイラテラルフィルタにおける重みを表すガウス分布の標準偏差を相対距離ｒに基づき適応的に変える方法も適用可能である。
【００７３】
撮像装置１Ｃは、平滑化手段が、相対距離ｒに基づきフィルタ係数を設定するフィルタ係数設定手段と、フィルタ係数に基づき映像信号に対してローパスフィルタ処理を行うフィルタ処理手段とを有する。このため、撮像装置１Ｃは、相対距離ｒに対してフィルタ係数を変えることで、相対距離ｒの異なる特定の領域に対してノイズ低減処理の強度を変えることができ、撮像装置１等が有する効果に加えて、より高品位な映像信号を得ることが可能となる。
【００７４】
すなわち、撮像装置１Ｃは、相対距離ｒに基づきフィルタ係数、およびフィルタサイズを変更することにより、より高精度な平滑化処理が可能となり、ノイズ成分を除去した後でも、元の映像信号を保持した高品位な映像信号を得ることができる。
【００７５】
＜第１実施形態の第３変形例＞  
以下、図面を参照して本発明の第１実施形態の第３変形例の撮像装置１Ｄについて説明する。本変形例の撮像装置１Ｄは、第１実施形態の撮像装置１と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。
【００７６】
図１１は、撮像装置１Ｄのノイズ低減部１１０Ｄの構成を示す構成図である。図１１に示すように、ノイズ低減部１１０Ｄの構成は、図５に示したノイズ低減部１１０の構成から閾値設定部３０２および関数ＲＯＭ３０３を省略し、テーブル演算手段であるテーブル演算部３１６およびテーブル記録手段であるテーブルＲＯＭ３１７を追加した構成である。すなわち、ノイズ低減部１１０Ｄは、関数を用いてコアリング閾値ｔｈを算出する代わりに、予めノイズ量Ｎ、相対距離ｒとコアリング閾値ｔｈとの対応関係のテーブル（対応表）がテーブル記録ステップにて記録されているテーブル記録手段を参照して、コアリング閾値ｔｈを求めるテーブル演算ステップを有する構成である。
【００７７】
撮像装置１Ｄのノイズ低減部１１０Ｄにおいては、相対距離算出部１０９およびノイズ推定部３０１は、テーブル演算部３１６に接続している。テーブルＲＯＭ３１７はテーブル演算部３１６に接続している。テーブル演算部３１６は、エッジ成分判定部３０６および加算減算部３０９へ接続されている。相対距離算出部１０９で得られた相対距離ｒの情報と、ノイズ推定部３０１で推定された映像信号に対するノイズ量Ｎとは、テーブル演算部３１６へ転送される。テーブル演算部３１６は、相対距離ｒと、ノイズ量Ｎと、コアリング閾値ｔｈの対応関係が記録されたテーブルＲＯＭ３１７を参照し、コアリング閾値ｔｈを算出する。
【００７８】
ここで、テーブルＲＯＭ３１７に記録されているコアリング閾値のテーブルは、予め定められているものとし、例えば図６に示した閾値算出関数を用いて、相対距離ｒをある一定間隔でサンプリングして、サンプリングした各相対距離ｒとノイズ量Ｎとに対応したコアリング閾値ｔｈを算出しておくことで得られる。テーブル演算部３１６により算出されたコアリング閾値ｔｈは、エッジ成分判定部３０６と、加算減算部３０９とへ転送される。以下の処理は、図５に示したノイズ低減部１１０の処理と同等であるため説明は省略する。
【００７９】
上記の説明のように、撮像装置１Ｄは、テーブル演算部３１６にてテーブルＲＯＭ３１７を参照し、相対距離ｒとノイズ量Ｎに対応するコアリング閾値ｔｈを算出するテーブル演算部３１６を有する撮像装置である。テーブル演算手段は実装化が容易であるため、撮像装置１Ｄは、撮像装置１等が有する効果に加えて、高速かつ低コストである。
【００８０】
なお、以上の撮像装置１等の説明では、撮像装置１等のＣＣＤとしては、ベイヤー型の原色カラーフィルタを前面に配置した単板ＣＣＤを対象としているが、これに限定されることはなく、補色のカラーフィルタを前面に配置した単板ＣＣＤまたは三板ＣＣＤを使用することも可能である。例えば、撮像装置のＣＣＤとして補色の単板ＣＣＤに適用する場合は、Ｃｙ、Ｍｇ、Ｙｅ、Gの信号から所定の計算式により輝度および色差信号を算出し、それぞれの信号に含まれるノイズ量Ｎを推定する。
【００８１】
また、以上の説明では、撮像装置１等は、ノイズ量Ｎの推定およびエッジ成分判定処理時に用いる映像信号として、所定の局所領域内の画素の映像信号の単純平均値を用いているが、これに限ることはなく、加重平均値または中央値等を用いてもよく、また、ノイズ量Ｎの推定には、バイラテラルフィルタ等のエッジ保存型のフィルタ処理の出力を用いてを行う方法も可能である。
【００８２】
さらに、以上の説明では、撮像装置１等は、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、ＣＣＤ１０２からの映像信号を未処理のままのＲａｗデータとし、制御部１１５からの撮影時の情報をヘッダ情報として出力し、別途ソフトウェアにて処理する構成も可能である。
【００８３】
＜第２実施形態＞  
以下、図面を参照して本発明の第２実施形態の撮像装置１Ｅについて説明する。本実施の形態の撮像装置１Ｅは、第１実施形態の撮像装置１と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。
【００８４】
図１２は、本実施の形態の撮像装置１Ｅの構成を示す構成図である。図１２に示すように、撮像装置１Ｅの構成は、第１実施形態の撮像装置１の構成から、相対距離算出部１０９およびノイズ低減部１１０を省略して、ノイズ低減部１２０を追加した構成になっている。  
撮像装置１Ｅでは、距離情報取得部１０８は、ノイズ低減部１２０に接続している。ノイズ低減部１２０は、補間部１１１に接続している。制御部１１５は、ノイズ低減部１２０と双方向に接続されている。
【００８５】
以下、図１２を用いて、撮像装置１Ｅにおける信号の流れについて説明する。距離情報取得部１０８から転送された撮影距離情報は、ノイズ低減部１２０へ転送される。ノイズ低減部１２０は、距離情報取得部１０８から得られた撮影距離情報に基づき、注目画素と注目画素の近傍画素の撮影距離情報を抽出し、抽出された画素の撮影距離ｄに基づき映像信号に対して適応的なノイズ低減処理を行う。ノイズ低減処理後の映像信号は、補間部１１１へ転送される。以下の撮像装置１Ｅの動作は、第１実施形態の撮像装置１と同じである。
【００８６】
次に、図１３を用いて、撮像装置１Ｅのノイズ低減部１２０の構成について説明する。図１３は、本実施の形態の撮像装置のノイズ低減部の構成を示す構成図である。図１３に示すように、ノイズ低減部１２０は、画像バッファ４００と、局所領域抽出部４０１と、距離重み算出部４０２と、距離重み係数算出部（以下「重み係数算出部」ともいう。）４０３と、加算平均部４０４とを有する。バッファ１０５は画像バッファ４００に接続している。距離情報取得部１０８は距離重み算出部４０２に接続している。画像バッファ４００は、局所領域抽出部４０１に接続している。局所領域抽出部４０１は、距離重み算出部４０２と、重み係数算出部４０３と、加算平均部４０４とに接続している。距離重み算出部４０２および重み係数算出部４０３は、加算平均部４０４に接続されている。加算平均部４０４は、補間部１１１に接続している。制御部１１５は、局所領域抽出部４０１と、距離重み算出部４０２と、重み係数算出部４０３と、加算平均部４０４とに、双方向に接続されている。
【００８７】
以下、図１３を用いて、ノイズ低減部１２０における信号の流れについて説明する。バッファ１０５から転送された映像信号は画像バッファ４００に転送され、一時的に保存される。画像バッファ４００に保存された映像信号は、局所領域抽出部４０１に転送される。局所領域抽出部４０１は、注目画素を中心とする所定のサイズ、例えば５×５画素単位サイズ、の局所領域を抽出し、局所領域内に属する画素の映像信号を距離重み算出部４０２と、重み係数算出部４０３と、加算平均部４０４とにそれぞれ転送する。
【００８８】
重み係数算出部４０３では、公知のバイラテラルフィルタ（Bilateral Filter）と同様に、注目画素と注目画素近傍画素との映像信号の差と、２つの画素間の距離、すなわち座標値の差とに基づく第１の重み係数ｗ１の算出を行う。距離重み算出部４０２は、注目画素に対応付けられた撮影距離ｄと、注目画素を含むその近傍画素に対応付けられた撮影距離ｄとの差である撮影距離差を算出し、局所領域中の各画素に対する第２の重み係数を算出する。重み係数算出部４０３の処理を、式で表すと、例えば以下の式４のようになる。
【００８９】
（式４）
2010239492.tif 000006
式４において、（ｉ、ｊ）は注目画素の座標を示し、(ｊ＋ｍ、ｊ＋ｎ)は、注目画素（ｉ、ｊ）から水平方向にm、垂直方向にn画素だけ離れた近傍画素の座標を示し、ｗ（ｊ＋ｍ、ｊ＋ｎ)は座標(ｊ＋ｍ、ｊ＋ｎ)の画素における撮影距離ｄに基づく第２の重み係数ｗ２を示している。また、d（ｉ、ｊ）は座標（ｉ、ｊ）の画素における撮影距離ｄを表し、σdは撮影距離に対する重みを表すガウス分布の標準偏差を表す係数である。
【００９０】
つまり、式４では注目画素の撮影距離ｄと近傍画素の撮影距離ｄとの差が大きくなると、それに基づき近傍画素に対する第２の重み係数ｗ２が小さくなる。ただし、注目画素の撮影距離ｄまたは近傍画素の撮影距離ｄのいずれかが無限遠の場合には、重み係数算出部４０３が、式４の計算ができなくなる。このため、重み係数算出部４０３では、撮影距離差の上限値を予め規定しておき、撮影距離差が上限値を超える場合は、撮影距離差を上限値で置き換える。撮影距離差の上限値は、被写体の種類に基づき切り替えるのが好ましく、例えばマクロ撮影のように領域全体に対して距離の差が小さくなるような場合は、撮影距離差の上限値を小さく設定し、風景の撮影を行うような場合は、映像信号中の領域間で撮影距離差が大きくなると考えられるので、それに基づき撮影距離差の上限値を大きく設定する。
【００９１】
撮影距離差の上限値の設定は、外部Ｉ／Ｆ部１１６で設定したシーンモードを基に、制御部１１５を介して重み係数算出部４０３に転送する構成で実現できる。
【００９２】
重み係数算出部４０３が算出した第２の重み係数ｗ２は、加算平均部４０４に転送される。加算平均部４０４では、重み係数算出部４０３で算出された第１の重み係数ｗ１と、距離重み算出部４０２で算出された第２の重み係数ｗ２とに基づき、局所領域中の映像信号の重み付け加算平均値を算出する。撮像装置１Ｅでは、加算平均部４０４が算出した映像信号の重み付け加算平均値が、注目画素の映像信号と置き換えられる。
【００９３】
撮像装置１Ｅでは、注目画素と近傍画素の撮影距離差を、加算平均値算出のときの重み係数として利用することにより、撮影距離差のある領域間のエッジ成分を保持し、エッジ成分以外の映像信号に対して高精度なノイズ低減処理を行うことが可能となる。また、撮像装置１Ｅでは、撮影距離ｄの近い領域の画素に対して加算比率の高い重み係数が与えられるため、撮影距離ｄの近い、同一の特定の被写体と考えられる領域上の画素の情報を用いた高精度な平滑化処理を行うことができる。さらに、撮像装置１Ｅでは、画素の映像の信号差が小さい微小なエッジ成分が存在する場合であっても、撮影距離情報を用いることでエッジ成分を保持した高精度なノイズ低減処理が可能となる。
【００９４】
本発明は、上述した実施の形態および変形例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【符号の説明】
【００９５】
１、１Ｂ〜１Ｅ…撮像装置、１０…被写体、１０Ａ…特定の被写体、１００…レンズ系、１０１…絞り、１０２…ＣＣＤ、１０３…ＡＦモータ、１０４…Ａ／Ｄ変換器、１０５…バッファ、１０６…測光評価部、１０７…レンズ制御部、１０８…距離情報取得部、１０９…相対距離算出部、１１０、１１０Ｂ〜１１０Ｄ…ノイズ低減部、１１１…補間部、１１２…信号処理部、１１３…圧縮部、１１４…出力部、１１５…制御部、１１６…外部Ｉ／Ｆ部、１２０…ノイズ低減部、２００…バッファ、２０１…局所領域抽出部、２０２…平均距離算出部、２０３…距離差分部、２０４…上限設定部、２０５…クリッピング部、２０６…距離バッファ、３００…画像バッファ、３０１…ノイズ推定部、３０２…閾値設定部、３０３…関数ＲＯＭ、３０４…局所領域抽出部、３０５…平均値算出部、３０６…エッジ成分判定部、３０７…平滑化部、３０８…係数ＲＯＭ、３０９…加算減算部、３１２…サイズ設定部、３１３…局所領域抽出部、３１４…フィルタ処理部、３１５…フィルタ係数設定部、３１６…テーブル演算部、３１７…テーブルＲＯＭ、４００…画像バッファ、４０１…局所領域抽出部、４０２…距離重み算出部、４０３…距離重み係数算出部、４０４…加算平均部
【図１】
2010239492.tif 000007
【図２】
2010239492.tif 000008
【図３】
2010239492.tif 000009
【図４】
2010239492.tif 000010
【図５】
2010239492.tif 000011
【図６】
2010239492.tif 000012
【図７】
2010239492.tif 000013
【図８】
2010239492.tif 000014
【図９】
2010239492.tif 000015
【図１０】
2010239492.tif 000016
【図１１】
2010239492.tif 000017
【図１２】
2010239492.tif 000018
【図１３】
2010239492.tif 000019