(57)【要約】【課題】撮影した映像のノイズを効果的に除去可能な撮像装置を提供する。【解決手段】入力映像信号に対して直交変換を施して周波数変換信号を生成し、周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する。周波数変換信号とフレームあるいはフィールド遅延信号の相関性を求め、周波数変換信号に対してフィルタ処理を行い、相関度生成手段の出力を用いてフィルタ処理の処理内容を制御する。フィルタリング手段の出力に逆変換を施し、周波数変換信号に対してフレームあるいはフィールド遅延信号との相関性に応じてパラメータを適応的に変化させながらフィルタ処理を行い、処理結果に逆変換を施して出力する。【選択図】図１
2010081463.tif 000002
【特許請求の範囲】
【請求項１】
入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、
該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、
該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、
該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、
該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、
該フィルタリング手段の出力に逆変換を施す逆変換手段と、
を有し、
該周波数変換信号に対して、該フレーム遅延信号との相関性に応じてフィルタ処理を行い、処理結果に逆変換を施して出力することを特徴とする撮像装置。
【請求項２】
光を電気信号に変換する撮像素子と、
該撮像素子に集光して結像させる光学系と、
該撮像素子から出力される電気信号を入力とし、信号処理を施して一つもしくは複数の処理結果を出力する信号処理手段と、
を備え、
該信号処理手段は、該信号処理手段の出力に対して直交変換を施して周波数変換信号を生成する変換手段と、該周波数変換信号を遅延してフレームあるいはフィールド遅延信号を出力する遅延手段と、該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、該フィルタリング手段の出力に逆変換を施す逆変換手段と、を有し、
該周波数変換信号に対して、該フレーム遅延信号との相関性に応じてフィルタ処理を行い、処理結果に逆変換を施して出力することを特徴とする撮像装置。
【請求項３】
請求項２に記載の撮像装置において、
前記信号処理手段は、赤、緑、青の三色の色信号を生成する色信号生成手段であることを特徴とする撮像装置。
【請求項４】
請求項２に記載の撮像装置において、
前記信号処理手段は、輝度信号及び色差信号を生成する手段であることを特徴とする撮像装置。
【請求項５】
請求項２に記載の撮像装置において、
前記信号処理手段は、赤、緑、青の三色の色信号のいずれかが交互に配置された信号を生成する手段であることを特徴とする撮像装置。
【請求項６】
光を電気信号に変換する撮像素子と、
該撮像素子に集光して結像させる光学系と、
該撮像素子から出力される電気信号を入力とし、輝度信号および色差信号を生成する信号処理手段と、
該輝度信号に対して直交変換を施して周波数変換信号を生成する変換手段と、
該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、
該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、
該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、
該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、
該フィルタリング手段の出力に逆変換を施す逆変換手段と、
前記色差信号を遅延し、フレームあるいはフィールド遅延信号を出力する第２の遅延手段と、
該第２の遅延手段の出力に対して第２のフィルタ処理を行う第２のフィルタリング手段と、
該相関度生成手段の出力を用いて該第２のフィルタ処理の処理内容を制御する第２の制御手段と、
を有し、
該周波数変換信号および該色差信号に対して、該フレーム遅延信号との相関性に応じてフィルタ処理を行い、該周波数変換信号の処理結果に逆変換を施して出力することを特徴とする撮像装置。
【請求項７】
請求項１ないし６のいずれかに記載の撮像装置は、
該相関性を入力としてノイズ除去の強度パラメータを生成する第１のパラメータ生成手段と、
該相関性を入力としてエンハンス処理の強度パラメータを生成する第２のパラメータ生成手段と、
該ノイズ除去の強度パラメータと該エンハンス処理の強度パラメータと前記フィルタリング手段の出力を入力として、前記フィルタリング手段の出力に非線形処理を加える非線形処理手段と、
を備え、該非線形処理手段において空間周波数に応じたノイズ低減処理とエンハンス処理を行うことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置と情報処理装置を有する映像記録システムに適用可能な撮像装置に関する。
【背景技術】
【０００２】
特許文献１には「［目的］直交変換を用いたフレーム巡回型のノイズ除去装置において、画質劣化を発生することなく、従来以上のＳ／Ｎ改善効果を得る。［構成］フレーム巡回型のノイズ除去装置において、フレーム差分信号はアダマール変換回路１０５で複数の空間周波数成分に分解された後、非線形処理回路１０６で各々非線形処理が施され、アダマール逆変換回路１０７で合成され元の時間軸上の信号に変換される。また、アダマール変換成分のうち２次元低域成分を用いる動き検出回路１０８を設け、フレーム差分信号から動き成分を検出する。係数回路１０９では、動き検出回路１０８の検出結果で係数を制御し、その係数をアダマール逆変換の出力信号に乗算し、ノイズ成分とする。このノイズ成分を、入力映像信号から減算する。以上の構成で、入力映像信号の特徴に応じたノイズ抽出が行え、画質劣化を生じず高いＳ／Ｎ改善効果を得ることができる。」と記載されている。
【０００３】
【特許文献１】特開平８−７９５７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
近年、半導体デバイスの高速化、撮像素子の微細化、ディジタル画像処理技術の発展などによって、ディジタル映像記録システムがより一般的になってきている。これは、例えば民生用のビデオカメラや監視カメラシステムが身近に存在するようになったことからも見て取れる。このような状況において、映像の高品質化に対する要求が高まっている。高品質化にも様々な観点あるが、数々の要因によって映像に混入するノイズをいかにして除去するかがとりわけ重要な課題となっている。
【０００５】
映像に混入するノイズは、画像中に位置や強度がランダムに発生するランダムノイズ、画像中に固定的に出現する固定パターンノイズ、散発的に見られるスパイクノイズなどに大別できる。これらのうちのランダムノイズは、視聴者に映像のちらつきやザラザラ感を与える原因となり、画像品質の低下をもたらす大きな要因である。このランダムノイズを除去する方法として、映像の時間方向の相関性を利用したフレーム巡回型ノイズ除去装置が一般的に用いられている。
【０００６】
さらに、このタイプのノイズ除去装置の改良版として、直交変換の一種であるアダマール変換を組み合わせたノイズ除去装置が開示されている。
【０００７】
ノイズ除去装置の基本構成のブロック図の一例を図２に示す。ノイズ除去装置は、減算器１０１および１０２、フレームメモリ１０３、ラインメモリ１０４、アダマール変換回路１０５、非線形処理１０６、アダマール逆変換回路１０７、動き検出回路１０８、係数回路１０９を有して構成される。
【０００８】
ノイズ除去装置に入力される映像信号は、まず減算器１０１において、フレームメモリ１０３に格納されているフレーム遅延信号との減算が行われ、差分信号が生成される。生成された差分信号は、ラインメモリ１０４によって複数ライン分のデータが保持され、保持された複数ライン分のデータと差分信号データが並列にアダマール変換回路１０５に供給される。アダマール変換回路１０５では、例えば４画素×２ライン分などのある処理単位ごとにアダマール変換処理が施される。この演算で生じた８つの周波数成分信号には、非線形処理１０６において、それぞれにリミット処理などの非線形処理が施される。処理結果は、アダマール逆変換回路１０７において逆変換処理が施される。また、８つの周波数成分信号のうちの最低次の信号（直流成分）は動き検出回路１０８にも供給される。動き検出回路１０８は、入力された直流成分を元に、周波数変換前の元画像に動きがあるかどうかの判定を行う。判定結果は係数回路１０９に供給される。係数回路１０９は、判定結果を元に重み係数を計算し、これを逆変換処理結果に対して乗算して、減算器１０１に供給する。減算器１０１は、入力信号から係数回路１０９の出力を減算して出力信号を生成する。
【０００９】
このような操作により、非線形処理１０６におけるノイズ成分の抽出を行い、それを入力信号から減算してノイズ除去が可能であるとしている。また、動き検出回路１０８による動き検出により、入力信号の中の動きのある部分と静止している部分に対して適した割合でノイズ除去が可能であるとしている。
【００１０】
前記のフレーム巡回型ノイズ除去装置および特許文献１にて示すような改良型フレーム巡回型ノイズ除去装置においては、前フレームのデータを現在のフレームのデータに加算することにより、ランダムノイズを除去することが可能であるが、特に画像内の動きのある箇所において、二重写しのような残像が残ってしまう。このような弊害を取り除くため、画像内の動きのある箇所と静止している箇所を判別し、動きのある箇所は前フレームのデータを加算する割合（以下、循環係数と称する）を減らして残像の発生を防ぎ、動きのない箇所においては循環係数を増やしてランダムノイズを除去するという制御を行う。その際、特許文献１に示すようにアダマール変換を用いて動きのある箇所と静止している箇所を判別するなどの工夫がなされることにより判別効率を高めることができるが、前記手法を用いてもなお動きのある箇所を高い精度で判別するのは困難であるという点について考慮がなされていなかった。
【００１１】
また、特にディジタル画像の撮像系においては、光の三原色（Ｒ（赤）、Ｇ（緑）、Ｂ（青））を分けて処理を行う必要があるが、ＲＧＢを別々に処理することにより、本来は存在しないはずの偽色や色ノイズを発生させる可能性がある点についても考慮がなされていなかった。
【００１２】
また、民生のディジタル画像撮像システムでは、ノイズ除去の工程の後に、信号処理によって失われた高周波成分を付加するエッジ強調処理を行うのが一般的であり、そのための回路を別途設ける必要があり、ソフトウェア実装では処理負荷の増大、ＬＳＩなどのハードウェア実装では回路規模や消費電力が増大してしまう点についても考慮がなされていなかった。
【００１３】
本発明は、撮影した映像のノイズを効果的に除去可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明にかかる撮像装置では、撮像システムへの入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、該フィルタリング手段の出力に逆変換を施す逆変換手段を設ける。そして、該周波数変換信号に対して、該フレームあるいはフィールド遅延信号との相関性に応じてパラメータを適応的に変化させながらフィルタ処理を行い、処理結果に逆変換を施して出力する。
【発明の効果】
【００１５】
本発明によれば、撮影した映像のノイズを効果的に除去可能な撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１６】
以下図面を用いて説明を行う。
【実施例１】
【００１７】
本発明の第１の実施例を図１に示す。図１は本発明の撮像装置をビデオカメラの形態で実現したものである。本実施例のビデオカメラは、光学系１０１、撮像素子１０２、デモザイキング処理部１０３、周波数変換部１０４〜１０６、ノイズ削減処理部１０７〜１０９、フレームメモリ１１０、周波数逆変換部１１１〜１１３、輝度信号生成部１１４、色差信号生成部１１５、符号化部１１６、および記録媒体１１７を有して成る。以下、本実施例のビデオカメラの動作について、順を追って説明する。
【００１８】
図示していない被写体より発せられた光はまず光学系１０１によって集光される。光学系１０１に関して詳細は図示されていないが、複数のレンズ、合焦および倍率調整のためにレンズを移動させるモータ、これを制御する制御系等から構成される。
【００１９】
光学系１０１によって集光された光は撮像素子１０２によって電気信号に変換される。撮像素子１０２は実際に感光するＣＣＤやＣＭＯＳ等の撮像部のほか、アナログ電気信号をサンプリングしてディジタル電気信号に変換するＡＤ変換回路、周囲の光量によってゲイン調整を行うＡＧＣ回路、撮像素子に駆動のためのタイミング信号を供給するタイミングジェネレータ、およびこれらを制御する制御回路等によって構成される。
【００２０】
撮像素子１０２によってディジタル電気信号に変換された映像信号は、デモザイキング処理部１０３によって処理され、Ｒ成分信号、Ｇ成分信号、Ｂ成分信号を出力する。例えば、撮像素子１０２で使用されている撮像部がＢａｙｅｒ配列型のイメージセンサである場合、全てのサンプリング位置におけるＲ成分信号、Ｇ成分信号、Ｂ成分信号がそろっているわけではない。このような場合、デモザイキング処理部１０３は、サンプリング位置において不足している成分の信号を周辺画素からの画素補間などの適切な処理により生成して出力する。なお、使用する撮像部の種類によっては、撮像素子１０２から出力される時点でＲ成分信号、Ｇ成分信号、Ｂ成分信号が全てそろっている場合がある。このような場合、デモザイキング処理部１０３は存在しなくても良いものとする。
【００２１】
デモザイキング処理部１０３から出力された各色成分の信号は、それぞれ別の周波数変換部１０４〜１０６に入力され、ある画素単位ごと（例えば４画素×４画素、８画素×８画素など）で周波数変換される。周波数変換は、例えば離散コサイン変換（ＤＣＴ）やアダマール変換、ウェーブレット変換などである。
【００２２】
周波数変換された各色成分信号は、各色毎に設けられたノイズ削減処理部１０７〜１０９に供給される。このノイズ削減処理部には、すでにフレームメモリ１１０に格納されている過去のフレームの周波数変換後の色成分信号も供給される構成になっている。ノイズ削減処理部１０７〜１０９におけるノイズ削減処理の具体的な内容については、後述する。
【００２３】
ノイズ削減処理が施された各色成分信号は、フレームメモリ１１０に格納され、これと並行して、周波数逆変換部１１１〜１１３に供給される。周波数逆変換部１１３では、周波数変換部１０４〜１０６において施される周波数変換処理の逆演算を施し、周波数領域に変換された色成分信号を元の空間領域の信号に復元する。
【００２４】
空間領域に復元された各色成分信号は、輝度信号生成部１１４、及び色差信号生成部１１５に供給される。輝度信号生成部１１４では、供給された各色成分の信号に対してマトリクス演算等の演算手法を施し、輝度信号を生成する。色差信号生成部１１５においても同様にして、色差信号が生成される。
【００２５】
生成された輝度信号及び色差信号は、符号化部１１５に供給される。符号化部１１５では、入力された輝度信号及び色差信号に対して、例えばＨ．２６４やＭＰＥＧ−２などの圧縮符号化処理を施す。また、図示されていない音声集音部、音声信号前処理部、音声信号符号化部によって生成される圧縮音声信号と、前記の圧縮符号化処理によって生成された圧縮映像信号のマルチプレクス処理が行われ、圧縮映像音声データとして記録媒体１１７に記録される。
【００２６】
ノイズ削減処理部１０７〜１０９の処理について説明する。一例としてノイズ削減処理部１０７での処理について詳細に述べるが、内部構成および動作はノイズ削減処理部１０８、１０９においても同様であるものとする。
【００２７】
ノイズ削減処理部１０７は、減算器２０１、エンハンス係数算出部２０２、コア係数算出部２０３、コアリング処理群２０４、エンハンス処理群２０５、循環係数算出部２０６、乗算器２０７、加算器２０８を有して構成される。
【００２８】
周波数変換部１０４から入力されたＲ成分信号は、まず減算器２０１において、フレームメモリに格納され１フレーム遅延されたＲ成分信号１１０との減算処理が施される。そして、生成された差分信号は、エンハンス係数算出部２０２、コア係数算出部２０３、および循環係数生成部２０６へ供給され、後述するノイズ除去処理に必要な循環係数、コアリング処理及びエンハンス処理に必要なパラメータの算出を行う。パラメータは、周波数成分ごとに個別に設定可能であるものとする。
【００２９】
まず循環係数生成部２０６は、減算処理結果の特に低周波成分の絶対値に応じた循環係数を生成する。生成された循環係数は、乗算器２０７によって減算処理結果に乗算され、その後周波数変換部１０４から入力されたＲ成分信号に加算される。静止画像におけるランダムノイズは、全周波数成分に均等に分布しており、かつフレーム間で相関性がないため、本処理によってランダムノイズの低減が可能である。また、周波数変換を施すことにより、例えば動いている物体のエッジ部分をより敏感に検出することができるため、動いている部分と静止している部分の峻別を従来よりも精度良く行うことができる。
【００３０】
コアリング処理群２０４は複数のコアリング処理から構成される。コアリング処理は、各周波数成分毎に個別に行われる。コアリング処理における入力と出力の関係を図６に示す。コアリング処理部においては、たとえば以下の４つのパラメータを元に入力信号から出力信号への写像が行われる。（１）コアリングの正側の影響範囲（図６におけるａ点）、（２）コアリングの負側の影響範囲（図６におけるｂ点）、（３）コアリングの正側の傾き（図６におけるｃ／ａ）、（４）コアリングの負側の傾き（図６におけるｄ／ｂ）の４つである。
【００３１】
入力画像に対して周波数変換をかけることにより、高周波数成分（ランダムノイズ成分、被写体のエッジ成分）と低周波数成分（被写体のエッジでない部分など）に分離することができる。この周波数変換後の映像信号について、フレーム間の差分を取ることにより、被写体の動きとランダムノイズが効率的に分離可能である。
【００３２】
パラメータの決定方法について説明する。まず、コアリングの影響範囲（ａ、ｃ）は、ノイズレベルによって決定することができる。ランダムノイズの特性として、あるレベル以内で決まった分布をしていること（一様分布やガウス分布）、レベル自体が比較的低いこと、すべての周波数成分に一様に含まれることが挙げられる。このため、入力画像に含まれるノイズのレベルを調べておき、これに応じてａおよびｃを決定する。また、前述の特性により、通常はｃ＝−ａとなるように設定される。
【００３３】
ノイズ除去の程度は、コアリング領域の傾き（ｃ／ａ、ｄ／ｂ）によって決定される。すなわち、傾きが小さくなる（水平に近くなる）ほど、ノイズ除去の効果は大きくなる。また、本発明では各周波数成分毎に個別にコアリングのパラメータを設定できる構成としているが、ランダムノイズ成分は各周波数成分に均等に出現する性質があるため、すべての周波数成分において同様のコアリング影響範囲設定およびコアリング領域の傾きを設定することが一般的である。
【００３４】
上記のようにコアリング処理を施すことにより、ランダムノイズ成分は抑制しつつ、低周波数成分やレベルの大きい高周波数成分（つまり物体のエッジ成分）はそのまま出力するため、画像にボケなどを生じさせることなく、ランダムノイズの抑制が可能となる。
【００３５】
コアリング処理群２０４によってランダムノイズ成分が低減された映像信号は、引き続いてエンハンス処理群２０５に入力される。エンハンス処理もコアリング処理と同様、周波数成分毎に個別に実施可能な構成になっている。エンハンス処理における入力と出力の関係を図７に示す。エンハンス処理のパラメータはたとえば以下のように決定される。（１）エンハンスの正側の影響範囲（図７におけるｅ点）、（２）エンハンスの負側の影響範囲（図７におけるｆ点）、（３）エンハンスの正側の傾き（図７におけるｇ／ｅ）、（４）コアリングの負側の傾き（図７におけるｈ／ｆ）の４つである。
【００３６】
これらを周波数成分ごとに算出して設定することにより、従来のフィルタリングでは困難であった、特定の周波数成分を強調して画像の見栄えをよくすることが可能である。一般には、低周波成分はエンハンスの傾きを小さく設定することによって画像の自然さを損なわず、中域成分に対して強めにエンハンス処理をかけることによって視覚的特性が向上する。高周波成分を強調しすぎると画像のざらつきが視覚的に悪影響を与える場合があるので、エンハンス処理は抑え目にするのがよいとされる。
【００３７】
これまで説明したように、コアリング処理とエンハンス処理を周波数成分毎にそれぞれ区別して行うことにより、きわめて高精度でのランダムノイズ除去が可能となる。
【００３８】
また、コアリング処理とエンハンス処理の両特性を併せ持った入出力特性として、図８に示したような特性がある。パラメータとしてコアリング処理とエンハンス処理の境界点や各部の傾きをパラメータとして設定することにより、両処理を同時に行うことが可能であり、ソフトウェア処理では処理時間の短縮、ハードウェア処理では回路規模縮小と電力削減を実現することが可能である。
【実施例２】
【００３９】
本発明の第２の実施例を図３に示す。図３は本発明の撮像装置をビデオカメラの形態で実現したものである。本実施例のビデオカメラは、光学系１０１、撮像素子１０２、デモザイキング処理部１０３、周波数変換部１０４、ノイズ削減処理部１０７、フレームメモリ１１０、周波数逆変換部１１１、輝度信号生成部１１４、色差信号生成部１１５、符号化部１１６、および記録媒体１１７を有して成る。以下、本実施例のビデオカメラの動作について、順を追って説明する。
【００４０】
本発明の第２の実施例は前記の第１の実施例とほぼ共通であるため、差分についてのみ説明する。まず、光学系１０１および撮像素子１０２にて取り込まれた映像信号は、ＲＧＢ混色のまま周波数変換部１０４に入力される。周波数変換部１０４では、実施例１と同様に周波数変換を施すが、この際、周辺の同色画素の値を使用して周波数変換を施す。たとえばＢａｙｅｒ配列の撮像素子を使用した場合、第１ラインはＲ成分、Ｇ成分、Ｒ成分、Ｇ成分……のように配列され、第２ラインはＧ成分、Ｂ成分、Ｇ成分、Ｂ成分……のように配列される。第３ラインは第１ラインと同様の配列になっている。したがって、たとえばＲ成分について周波数変換を施す場合には、中心のＲ成分画素およびその画素を取り囲むＲ成分（水平・垂直に隣々接の画素、および３つ離れた画素）を使用して周波数返還を施すものとする。Ｇ成分、Ｂ成分についても同様である。
【００４１】
周波数変換された映像信号は、ノイズ削減処理部１０７においてノイズ削減処理およびエンハンス処理が施され、周波数逆変換部１１１において逆変換されて空間領域の信号に復元される。
【００４２】
復元された映像信号は、デモザイキング処理部１０３でＲ成分、Ｇ成分、Ｂ成分に分離され、輝度信号生成部１１４および色差信号生成部１１５において輝度信号および色差信号に変換される。その後、符号化部１１６で圧縮符号化およびマルチプレクスが行われ、記録媒体１１７にデータとして格納される。
【００４３】
本発明の形態をとることにより、実施例１と同様のノイズ除去およびエンハンスを実現しながら、周波数変換、ノイズ除去、逆周波数変換の処理量を削減することが可能になる。
【００４４】
また、本実施例の別の形態を図４に示す。図４は本発明の撮像装置をビデオカメラの形態で実現したものである。本実施例のビデオカメラは、光学系１０１、撮像素子１０２、デモザイキング処理部１０３、周波数変換部１０４および１０５、ノイズ削減処理部１０７および１０８、フレームメモリ１１０、周波数逆変換部１１１および１１２、輝度信号生成部１１４、色差信号生成部１１５、符号化部１１６、および記録媒体１１７を有して成る。以下、本実施例のビデオカメラの動作について、順を追って説明する。
【００４５】
ここでも第１の実施例と共通点は多いため、概略説明にとどめ、各部の詳細動作は第１の実施例と同様であるので、割愛する。まず、光学系１０１および撮像素子１０２にて取り込まれた映像信号は、デモザイキング処理部１０３でＲ成分、Ｇ成分、Ｂ成分に分離され、輝度信号生成部１１４および色差信号生成部１１５において輝度信号および色差信号に変換される。生成された輝度信号および色差信号は、周波数変換部１０４および１０５に入力され、周波数変換が施される。その後、ノイズ削減処理部１０７および１０８においてノイズ除去処理およびエンハンス処理が施され、周波数逆変換部１１１および１１２において復元される。ノイズ除去された輝度信号および色差信号は、符号化部１１６で圧縮符号化およびマルチプレクスが行われ、記録媒体１１７にデータとして格納される。
【００４６】
本発明の形態をとることにより、実施例１と同様のノイズ除去およびエンハンスを実現しながら、ＲＧＢ個別に処理することによって発生する可能性のある偽色や色ノイズなどの発生を抑制することが可能である。
【００４７】
また、上記実施形態の発展として、輝度信号については周波数領域でのノイズ除去を行い、色差信号については従来から用いられているフレーム巡回型のノイズ除去を行うような形態も可能である。本実施形態を図５に示す。本実施形態をとることにより、色差信号側の周波数変換処理部および逆周波数変換処理を削減することが可能であり、処理量・回路規模・消費電力の低減につながる。
【００４８】
以上、本発明の実施形態について説明してきたが、上記第１および第２の発明で示した構成は、上記実施例１および２に限定されるものではなく、発明の範囲で自由に変更することも可能である。
【００４９】
以上説明した撮像装置では、撮像システムへの入力映像信号に対して直交変換を施して周波数変換信号を生成する変換手段と、該周波数変換信号を遅延し、フレームあるいはフィールド遅延信号を出力する遅延手段と、該周波数変換信号と該フレームあるいはフィールド遅延信号の相関性を求める相関度生成手段と、該周波数変換信号に対してフィルタ処理を行うフィルタリング手段と、該相関度生成手段の出力を用いて該フィルタ処理の処理内容を制御する制御手段と、該フィルタリング手段の出力に逆変換を施す逆変換手段を設ける。そして、該周波数変換信号に対して、該フレームあるいはフィールド遅延信号との相関性に応じてパラメータを適応的に変化させながらフィルタ処理を行い、処理結果に逆変換を施して出力する。これにより、動きのある箇所と静止している箇所を高精度に判別することができ、画像特性に応じた循環係数を用いたランダムノイズ除去が可能となる。
【００５０】
また、信号処理手段を、赤、緑、青の三色の色信号を生成する色信号生成手段とすることにより、偽色や色ノイズを発生させることなくランダムノイズ除去を行うことが可能となる。
【００５１】
また、信号処理手段を、輝度信号及び色差信号を生成する手段、もしくは輝度信号のみを生成する手段とすることにより、動きのある箇所は高い精度で判別しつつ処理負荷や回路規模を低減させるという目的が達成される。
【００５２】
また、該相関性を入力としてノイズ除去の強度パラメータを生成する第１のパラメータ生成手段と、該相関性を入力としてエンハンス処理の強度パラメータを生成する第２のパラメータ生成手段と、該ノイズ除去の強度パラメータと該エンハンス処理の強度パラメータと前記フィルタリング手段の出力を入力として、前記フィルタリング手段の出力に非線形処理を加える非線形処理手段を設けることにより、前記非線形処理手段において空間周波数に応じたノイズ低減処理とエンハンス処理を行うことができ、処理負荷や回路規模を大幅に増やすことなくノイズ除去およびエッジ強調処理を行うという目的が達成される。
【００５３】
周波数変換により高周波成分の強調処理とランダムノイズ処理を統合することが可能であり、処理負荷や回路規模削減、電力削減の効果がある。
【図面の簡単な説明】
【００５４】
【図１】本発明の第１の実施形態を表す図である。
【図２】ノイズ削減処理部１０７の内部構造を表す図である。
【図３】本発明の第２の実施形態を表す図である。
【図４】本発明の第２の別の実施形態を表す図である。
【図５】本発明の第２の別の実施形態を表す図である。
【図６】コアリング処理部における入出力特性を表す図である。
【図７】エンハンス処理部における入出力特性を表す図である。
【図８】コアリング処理とエンハンス処理の両方の特性を有する入出力特性の例を表す図である。
【符号の説明】
【００５５】
１０１  光学系
１０２  撮像素子
１０３  デモザイキング処理部
１０４〜１０６  周波数変換部
１０７〜１０９  ノイズ削減処理部
１１０  フレームメモリ
１１０〜１１３  周波数逆変換部
１１４  輝度信号生成部
１１５  色差信号生成部
１１６  符号化部
１１７  記録媒体
【図１】
2010081463.tif 000003
【図２】
2010081463.tif 000004
【図３】
2010081463.tif 000005
【図４】
2010081463.tif 000006
【図５】
2010081463.tif 000007
【図６】
2010081463.tif 000008
【図７】
2010081463.tif 000009
【図８】
2010081463.tif 000010