(57)【要約】【課題】低照度撮影においてもＳ／Ｎの劣化が少なく、解像感の高い撮像装置を実現する。【解決手段】ノイズ低減部６の前段に平滑化部３を、ノイズ低減部６の後段にディテール抽出部９を配置する。これによりノイズ低減部６への入力信号のＳ／Ｎを改善し、Ｓ／Ｎを改善効果を向上させ、ディテール抽出部９でのノイズの混入を抑える。この構成により、Ｓ／Ｎの劣化が少なく、解像感の高い撮像装置の実現が可能になる。【選択図】　図１
2004064192.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子と、
前記撮像素子の出力信号のゲインを調整するゲイン調整手段と、
前記ゲイン調整手段の出力信号に対して平滑化処理を行う平滑化手段と、
前記ゲイン調整手段の出力信号または前記平滑化手段の出力信号のいずれか一方を選択して出力する選択手段と、
前記選択手段の出力信号に対して巡回型ノイズ低減処理を施すノイズ低減手段と、
前記ノイズ低減手段の出力信号に対してマトリクス処理を施す第１および第２のマトリクス手段と、
前記第２のマトリクス手段の出力信号から２次元高周波数成分を抽出するディテール抽出手段と、
前記第１のマトリクス手段の出力信号と前記ディテール抽出手段の出力信号とを加算する加算手段とを備え、
前記ゲイン調整手段のゲインが所定の値以下の場合は前記ゲイン調整手段の出力信号を、前記ゲイン調整手段のゲインが所定の値を超える場合は前記平滑化手段の出力信号を、前記ノイズ低減手段への入力となるよう前記選択手段を制御することを特徴とする撮像装置。
【請求項２】
選択手段は、撮影環境が高照度の時はゲイン調整手段の出力信号を選択し、低照度の時は平滑化手段の出力信号を選択することを特徴とする請求項１記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、デジタルビデオカメラなどの撮像装置に関するものである。
【０００２】
【従来の技術】
最近、ビデオカメラの小型化およびＣＣＤの多画素化に伴い、ＣＣＤの画素サイズが縮小されてきている。ＣＣＤの画素サイズが小さくなれば、当然の結果として感度が低く、Ｓ／Ｎが悪くなり、特に低照度での画質を確保することが難しくなってきている。このため、最近のビデオカメラにおいては、ノイズ低減処理が必須になりつつある。
【０００３】
従来の撮像装置の構成について説明する。図５に従来の撮像装置の一構成例を示す。図５は３板カメラの例であり、ＣＣＤ１からγ補正部５まではＲＧＢ３系統分存在する。ただし、図の簡略化のため、同図において太い矢印はＲＧＢ信号を、細い矢印は輝度信号を示すものとする。ＣＣＤ１の出力は、ゲイン調整部２およびγ補正部５において被写体条件に応じた適切なゲイン制御、および適切な階調補正が施される。第１のマトリクス７では、下記（数式１）の演算により、ＲＧＢ信号から第１の輝度信号Ｙを求める。
【０００４】
Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ　・・・（数式１）
第２のマトリクス８では、（数式１）または（数式２）の演算により、ＲＧＢ信号から第２の輝度信号Ｙ’を求める。
【０００５】
Ｙ’＝０．２５Ｒ＋０．５０Ｇ＋０．２５Ｂ　・・・（数式２）
Ｙとは別にＹ’を求める理由は、３板カメラにおいて、Ｇ用ＣＣＤをＲＢ用ＣＣＤに対して画素ピッチの１／２だけずらして配置する空間画素ずらし法を用いる場合に、周波数領域で互いに反転した位相を持つＧの折り返し成分とＲＢの折り返し成分をキャンセルするためである。この場合は、（数式２）の演算におけるＲＧＢの各係数は、Ｇが０．５、ＲとＢの係数和が０．５になるように設定される。
【０００６】
ディテール抽出部９では、第２のマトリクス８の出力である第２の輝度信号の２次元高周波数成分を抽出する。ディテール抽出部９の内部構成例を図６に、また各部の信号波形を図７に示す。ここで、図７の波形は、垂直または水平方向の変化を示すものであるとする。以下、図６および図７を参照しながら説明する。
【０００７】
ラインメモリ１１および１２では、入力される映像信号を１Ｈ（Ｈ：水平走査期間、ＮＴＳＣでは約６３．５μｓｅｃ）遅延する。ラインメモリ１１の出力はラインメモリ１２に入力される。この結果、ラインメモリ１１および１２の出力は、入力信号を１Ｈおよび２Ｈ遅延したものとなる。垂直ＨＰＦ（Ｈｉｇｈ　Ｐａｓｓ　Ｆｉｌｔｅｒ）１３では、（数式３）の演算により、垂直方向の高周波数成分を求める。
【０００８】
ＨＶ＝（−１＋２・Ｈ−１−Ｈ−２）／４　・・・（数式３）
ここで、Ｈ−１は１Ｈ分の遅延を示す。同様に水平ＨＰＦ１４では、（数式４）の演算により、水平方向の高周波数成分を求める。
【０００９】
ＨＨ＝（−１＋２・ｚ−１−ｚ−２）／４　・・・（数式４）
ここで、ｚ−１は水平１画素分の遅延を示す。ディテール抽出部９への入力を図７（ａ）のような信号とすれば、垂直ＨＰＦ１３および水平ＨＰＦ１４の出力は同図（ｂ）のように、高周波数成分を抽出したものとなる。信号に含まれるノイズは一般的に高い周波数成分を多く含んでいるため、入力に含まれているノイズも垂直ＨＰＦ１３および水平ＨＰＦ１４の出力に混入する。
【００１０】
ゲイン調整部１５−１および１５−２では、垂直ＨＰＦ１３および水平ＨＰＦ１４の出力に対してそれぞれ適当なゲインを乗じる。コアリング部１６−１および１６−２では、ゲイン調整部１５−１および１５−２の出力に対して、図８に示すように入力振幅が閾値ｔｈ以下の部分をゼロにし、閾値を超える入力に対しては閾値を減算して出力する。ゲイン調整部１５−１および１５−２の出力も、図７（ｂ）のようにノイズを多く含む信号となる。そこで、このような信号にコアリング処理を施すことにより、コアリング部１６−１および１６−２の出力波形は同図（ｃ）のようにノイズが除去されたものとなる。加算部１７では、コアリング部１６−１および１６−２の出力信号を加算し、２次元高周波数成分を得る。
【００１１】
図５に戻って、加算部１０では、第１のマトリクス手段の出力にディテール抽出部９の出力を加算することで、図７（ｄ）のようにディテールが強調され、Ｓ／Ｎは多少劣化するが解像感の高い信号が得られる。
【００１２】
３次元ＮＲ（Ｎｏｉｓｅ　Ｒｅｄｕｃｔｉｏｎ）６では、加算部１０の出力に対して時間方向にフィールド巡回型ノイズ低減処理を施す。ここで、フィールド巡回型ノイズ低減処理について説明する。図９は３次元ＮＲの一構成例を示すものである。第１の減算部１８では、入力信号からメモリ１９の出力を減算する。ここで、メモリ１９は１Ｖ（Ｖ：垂直走査期間、ＮＴＳＣでは１／５９．９４ｓｅｃ）の遅延を与えるものであるとすると、第１の減算部１８の出力には、連続する２フィールドの映像信号の差が現れるので、１Ｖ期間の映像信号の変化分（動き）およびノイズが含まれることになる。
【００１３】
非線形処理部２０では、第１の減算部１８の出力からノイズを抽出する。一般的にノイズは信号に比べて振幅が小さいという考えに基づき、図１０に示されるように入力信号の振幅が閾値ｐより小さい場合は、入力をそのまま出力し、入力信号の振幅が閾値ｐより大きくなるに従って出力振幅を小さく抑えるという処理を施せば、入力信号からノイズを抽出できる。第２の減算部２１では、入力信号から非線形処理部２０の出力を減算する。この結果、第２の減算部２１の出力にはノイズが低減された映像信号出力が得られる。ここで、非線形処理部２０の閾値ｐとノイズ振幅の関係を述べると、閾値ｐ以下の振幅を持つノイズは、非線形処理部２０を通過し、第２の減算部２１で入力信号から減算されるため、ほぼ完全に除去できる。一方、閾値ｐを超える振幅を持つノイズは非線形処理部２０で減衰を受けるので、第２の減算部２１で入力信号から減算しても完全には除去できず、一部または全てが残留することになる。
【００１４】
第２の減算部２１の出力は同時にフィールドメモリ１９へも入力され、１Ｖ後の入力信号との演算に利用される。３次元ＮＲ６の出力は、カメラ輝度信号出力となる。
【００１５】
【発明が解決しようとする課題】
しかし、上記構成による撮像装置では、以下のような課題がある。解像感を高めるため、ディテール抽出部９におけるディテールゲインを大きく、またはコアリング部１６−１および１６−２の閾値ｔｈを小さくすると、加算部１０の出力においてノイズ振幅は増大し、Ｓ／Ｎが劣化する。Ｓ／Ｎ劣化を３次元ＮＲ６で補正しようとすると、非線形処理部２０の閾値ｐを大きくする必要があるが、閾値ｐを大きくすると信号の変化分も非線形処理部２０の出力に含まれるようになるため、第２の減算部２１の出力は残像劣化が大きくなってしまうという課題がある。また、コアリング部１６−１および１６−２の閾値ｔｈを大きくすると、Ｓ／Ｎは改善されるが、振幅の小さいディテールが消失し、全体的にぼんやりした映像になってしまう。
【００１６】
本発明は上記課題を解決するもので、解像感が高く、Ｓ／Ｎ劣化が少ない撮像装置を実現するものである。
【００１７】
【課題を解決するための手段】
この課題を解決するために本願請求項１の撮像装置は、撮像素子と、前記撮像素子の出力信号を増幅する増幅手段と、前記増幅手段の出力信号に対して平滑化処理を行う平滑化手段と、前記増幅手段の出力信号、または前記平滑化手段の出力信号のいずれか一方を選択して出力する選択手段と、前記選択手段の出力信号に対して巡回型ノイズ低減処理を施すノイズ低減手段と、前記ノイズ低減手段の出力信号に対してマトリクス処理を施す第１および第２のマトリクス手段と、前記第２のマトリクス回路の出力信号から２次元高周波数成分を抽出するディテール信号抽出手段と、前記第１のマトリクス手段の出力信号と前記ディテール信号抽出手段の出力信号を加算する加算手段とを備えたものである。
【００１８】
【発明の実施の形態】
本発明の請求項１及び２に記載の発明は、撮像素子と、前記撮像素子の出力信号のゲインを調整するゲイン調整手段と、前記ゲイン調整手段の出力信号に対して平滑化処理を行う平滑化手段と、前記ゲイン調整手段の出力信号または前記平滑化手段の出力信号のいずれか一方を選択して出力する選択手段と、前記選択手段の出力信号に対して巡回型ノイズ低減処理を施すノイズ低減手段と、前記ノイズ低減手段の出力信号に対してマトリクス処理を施す第１および第２のマトリクス手段と、前記第２のマトリクス手段の出力信号から２次元高周波数成分を抽出するディテール抽出手段と、前記第１のマトリクス手段の出力信号と前記ディテール抽出手段の出力信号とを加算する加算手段とを備え、前記ゲイン調整手段のゲインが所定の値以下の場合は前記ゲイン調整手段の出力信号を、前記ゲイン調整手段のゲインが所定の値を超える場合は前記平滑化手段の出力信号を、前記ノイズ低減手段への入力となるよう前記選択手段を制御するものであり、これにより、ノイズ低減手段の出力信号に対してディテール強調を行うという作用を有する。
【００１９】
以下、本発明の実施の形態について、図面を用いて説明する。
【００２０】
（実施の形態１）
図１は本発明の請求項１に示す発明の実施の形態を示すブロック図である。図１は３板カメラの例であり、ＣＣＤ１から３次元ＮＲ６まではＲＧＢ３系統分存在する。ここでも、図の簡略化のため、同図において太い矢印はＲＧＢ信号を、細い矢印は輝度信号を示すものとする。
【００２１】
図において、１は入射される被写体の光学信号を電気信号に変換して出力する撮像素子であるＣＣＤ、２はＣＣＤ１からの出力信号に対してゲイン調整をするゲイン調整手段であるゲイン調整部、３はゲイン調整部２の出力信号に対して平滑化処理を行う平滑化手段である低域濾波フィルタ（以下、ＬＰＦと記す）、４はゲイン調整部２またはＬＰＦ３の出力信号のいずれか一方を選択して出力する選択手段である選択部、５は選択部４の出力信号に対して階調補正などのγ補正を施すγ補正部、６はγ補正部５の出力信号に対してフィールド巡回型ノイズ低減処理を施す３次元ノイズリダクション回路（以下、３次元ＮＲと記す）で、本実施の形態ではγ補正部４の出力信号を３次元ＮＲ６でノイズ低減を行う構成としたが、γ補正部５は選択部４と３次元ＮＲ６との間に必ず設ける必要はなく、選択部４の出力信号を３次元ＮＲ６に入力する構成としてもよい。７及び８は３次元ＮＲ６の出力信号に対してマトリクス処理を施す第１及び第２のマトリクス手段である第１及び第２のマトリクス回路（以下、第１及び第２のマトリクスと記す）、９は第２のマトリクス８の出力信号から２次元高周波成分を抽出するディテール抽出手段であるディテール抽出部、１０は第１のマトリクス７の出力信号とディテール抽出部９の出力信号とを加算する加算手段である加算部であり、加算部１０の出力信号が本装置の出力信号となる。
【００２２】
以上のように構成された本実施の形態の撮像装置について、以下その動作について説明する。
【００２３】
ＣＣＤ１から出力されるＲＧＢ信号は、ゲイン調整部２で被写体条件に応じた信号レベル調整が行われる。ＬＰＦ（Ｌｏｗ　Ｐａｓｓ　Ｆｉｌｔｅｒ）３では、１次元または２次元ＬＰＦ処理が施される。
【００２４】
ここで、ＬＰＦ処理について説明する。簡単のために水平方向のＬＰＦを例にあげて説明する。（数式５）に示すような伝達関数を持つＬＰＦを考えると、その周波数特性は図２（ａ）に示すようなものとなる。
【００２５】
ＬＰＦ＝（１＋ｚ−１）／２　・・・（数式５）
（数式５）においてｚ−１は水平方向１画素分の遅延を表し、図２においてｆｓは水平または垂直方向のサンプリング周波数を表す。図２（ａ）から明らかなように、ＬＰＦ３の周波数特性は高周波数成分が大きく減衰するものであるから、信号の高周波数成分、および高周波成分を多く含むノイズは大きく減衰し、Ｓ／Ｎは改善される。ノイズがランダムノイズの場合、Ｓ／Ｎ改善度合いは約３ｄＢである。垂直ＬＰＦの場合は、（数式５）における画素の遅延量が垂直方向１画素分になるだけで、全く同様である。
【００２６】
選択部４では、ゲイン調整部２の出力信号またはＬＰＦ３の出力信号のいずれか一方を選択して出力する。選択部４の出力はγ補正部５で階調補正され、３次元ＮＲ６に入力される。
【００２７】
３次元ＮＲ６では、γ補正部５の出力信号に対してフィールド巡回型ノイズ低減処理が施される。３次元ＮＲ６の内部動作は図９及び図１０で説明した従来の場合と全く同様であるため、説明を省略するが、ここで前段のＬＰＦ３が３次元ＮＲ６に及ぼす影響を考えてみる。前述のように、ＬＰＦ３の出力信号においてはノイズ振幅が小さくなっているため、３次元ＮＲ６内部の非線形処理部２０への入力ノイズ振幅も小さくなる。そのため、本来は閾値ｐを超える振幅を持つために残留していたノイズが、ＬＰＦ３を通ることにより閾値ｐ以下の振幅になることで、完全に除去できるようになる。その結果、３次元ＮＲの効果は一層高められることになる。
【００２８】
第１のマトリクス７では、（数式１）の演算により、ＲＧＢから第１の輝度信号Ｙを求める。同様に第２のマトリクス８では、（数式２）の演算により、ＲＧＢから第２の輝度信号Ｙ’を求める。Ｙとは別にＹ’を求める理由は、従来の場合と同様、空間画素ずらし法を用いる場合に折り返しをキャンセルするためである。
【００２９】
ディテール抽出部９では、第２のマトリクス８の出力から（数式３）および（数式４）に示す演算によって２次元高周波数成分を抽出する。周波数特性を図２（ｂ）に示す。ここで、ｆｓは水平または垂直のサンプリング周波数である。ディテール抽出部９の内部構成および動作は図６及び図７で説明した従来の場合と全く同じであるため、説明を省略するが、内部信号の状態は異なってくる。ここで、図３および図６を参照しながら入力信号のＳ／Ｎとディテール抽出処理の関係について考えてみる。
【００３０】
図３はディテール抽出部９内部の信号の波形を示すものである。前述のようにディテール抽出部９内部のコアリング部１６−１，１６−２では、高周波数成分に含まれるノイズを除去しているが、閾値ｔｈを超えるノイズは残留してしまう。しかし、前段のＬＰＦ３および３次元ＮＲ６でＳ／Ｎ改善処理を行うと、図３（ａ）に示すように入力信号に含まれるノイズレベルが（図７（ａ）に比べて）小さくなるので、その分だけ図３（ｂ）のようにコアリング閾値ｔｈを（図７（ｂ）に比べて）より小さく、またはディテールゲインをより大きく設定することができ、図３（ｄ）のようにＳ／Ｎをほとんど劣化させずにディテールをより強調することが可能になる。
【００３１】
また、ＬＰＦ３を通すことによる解像感の劣化の補償について説明する。前述のように、ＬＰＦ３の周波数特性は図２（ａ）のように、ディテール抽出部９の周波数特性は同図（ｂ）のようになる。さらに、本実施の形態のシステムの総合周波数特性は同図（ｃ）のようになる。ちなみに（ｃ）の特性はディテール抽出部９内部のゲイン調整部１５−１，１５−２におけるゲインを１倍に設定した場合である。同図（ｃ）を見れば明らかなように、ＬＰＦ３によって劣化した周波数特性（図２（ａ））はディテール強調処理によりかなり回復し、映像の解像感が増す。ｆｓ／２の周波数を回復させることはできないが、折り返しの発生を防ぐためにｆｓ／２で帯域制限する必要があることを考慮すると、問題無いレベルと考えられる。
【００３２】
以上の構成を用いて、実際の撮影状況に応じた制御の方法について図４を用いて説明する。図４はゲイン調整部２のＡＧＣゲインとディテール抽出部９内のゲイン調整部１５−１及び１５−２のディテールゲインの関係を示すグラフである。図４において、ゲイン調整部２のＡＧＣゲインが０〜３ｄＢ（高照度状態）の時は、元々信号のＳ／Ｎが良いため、選択部４を制御してゲイン調整部２の出力信号を選択する。一方、ゲイン調整部２のＡＧＣゲインが３ｄＢを超える（低照度状態）時は、信号のＳ／Ｎが悪くなるため、選択部４を制御してＬＰＦ３の出力信号を選択する。それと同時に、劣化する周波数特性を補償するためにディテール抽出部９内部のゲイン調整部１５−１および１５−２のゲインを上げるように制御する。よって図４のように、ＡＧＣゲインが３ｄＢになった時にディテールゲインを大きくすることで、周波数特性の劣化に伴う画質低下を補償することができる。なお、ＡＧＣゲインが３ｄＢよりも増加する場合は、ノイズレベルも増加してしまうため、ディテールゲインを低下させていくことにより、ＡＧＣゲインの増加に伴うノイズレベルの増加を防ぐことができる。
【００３３】
以上のように本実施の形態では、３次元ＮＲ６の前にＬＰＦ３を、３次元ＮＲ６の後にディテ−ル抽出部９を配置することで、３次元ＮＲ６におけるノイズ低減処理の効果を一層高めると同時に、ディテール抽出部９に入力される信号のＳ／Ｎを向上させることにより、ディテール強調処理でのＳ／Ｎ劣化を最小限に抑え、その結果、低照度などの悪条件でも解像感を高く保ちつつ、Ｓ／Ｎの良い撮像装置を実現できる。また、低照度条件においても、信号の周波数特性をほとんど劣化させることなく、Ｓ／Ｎを改善することが可能になる。
【００３４】
なお、以上の実施の形態では、３板カメラを例にとって説明したが、ＣＣＤ１から３次元ＮＲ６までを１系統、つまり単板カメラの構成としても同様に成り立つ。
【００３５】
また、ノイズ低減手段での処理を、１Ｖ前の信号を参照して演算するフィールド巡回型処理として説明したが、１Ｈ前の信号を参照して演算するライン巡回型、または２Ｖ前の信号を参照して演算するフレーム巡回型でも同様に成り立つ。ライン巡回型の場合は、垂直ディテールの劣化を伴うが、残像劣化は原理的に無く、メモリ容量が１Ｈ分で済むという特徴があり、フレーム巡回型の場合は被写体の動きに対する残像劣化は多くなり、メモリ容量が２倍になるが、静止部にて垂直ディテールが劣化しないという特徴を持つ。
【００３６】
また、説明の便宜上、ディテール抽出部９、ＬＰＦ３の伝達関数を（数式３）〜（数式５）に示されるものとしたが、この限りではない。
【００３７】
また、第２のマトリクス手段での演算を（数式２）に示されるものとして説明したが、（数式１）に示されるものとしても同様に成り立つ。
【００３８】
また、ＡＧＣゲインが３ｄＢを境に選択部４を制御するとしたが、３ｄＢである必要はなく、任意の値を境に制御しても良い。
【００３９】
【発明の効果】
以上のように本発明は、ノイズ低減処理の前に平滑化手段を、ノイズ低減処理の後にディテ−ル抽出処理を配置することで、ノイズ低減処理の効果を一層高めると同時に、ディテール抽出手段に入力される信号のＳ／Ｎを向上させることにより、ディテール強調処理でのＳ／Ｎ劣化を最小限に抑え、その結果、低照度などの悪条件でも解像感を高く保ちつつ、Ｓ／Ｎの良い撮像装置を実現できる。
【図面の簡単な説明】
【図１】本発明の撮像装置の実施の形態を示すブロック図
【図２】同実施の形態におけるＬＰＦ、ディテール抽出手段、およびシステム総合の周波数特性を示す特性図
【図３】本発明の撮像装置におけるディテール抽出手段内部の動作を説明するための模式図
【図４】同実施の形態における選択手段、ディテールゲインのＡＧＣゲイン連動制御特性を示す特性図
【図５】従来の撮像装置の構成例を示すブロック図
【図６】ディテール抽出手段の構成を示すブロック図
【図７】従来の撮像装置におけるディテール抽出手段内部の動作を説明するための模式図
【図８】コアリング手段の動作を説明するための特性図
【図９】巡回型ノイズ低減回路の構成を示すブロック図
【図１０】巡回型ノイズ低減回路の非線形回路の入出力特性を示す特性図
【符号の説明】
１　ＣＣＤ（撮像素子）
２　ゲイン制御部
３　ＬＰＦ（平滑化手段）
４　選択部
６　３次元ＮＲ（ノイズ低減手段）
７　第１のマトリクス部
８　第２のマトリクス部段
９　ディテール抽出部
１０　加算部
【図１】
2004064192.tif 000003
【図２】
2004064192.tif 000004
【図３】
2004064192.tif 000005
【図４】
2004064192.tif 000006
【図５】
2004064192.tif 000007
【図６】
2004064192.tif 000008
【図７】
2004064192.tif 000009
【図８】
2004064192.tif 000010
【図９】
2004064192.tif 000011
【図１０】
2004064192.tif 000012