(57)【要約】【課題】簡単な信号処理システムでノイズ除去ができ、かつ劣化の少ない画質を得ることが可能となる画像信号のノイズ低減方法及びノイズ低減装置を提供する。【解決手段】アナログ処理部３１から出力されたデジタル変換後の画像信号に含まれるノイズをノイズ低減部３２によって除去する。ノイズ低減部３２では、５×５等の画素空間を対象として、周辺画素の各々の値を、予め中心画素の値との差を所定のノイズ定数を上限とする大きさの値に制限し、上限が制限された周辺画素の値を各々の周辺画素の新たな値としたうえで、中心画素の値を、周辺画素の新たな値と中心画素の値とを平均化した値に変換するローパスフィルタ処理を実施する。画像信号に常に同一の処理を施すだけで、エッジなどの大きな振幅成分を保持したまま低振幅成分のノイズを低減させ、同時にエッジを劣化させることなくエッジ上のノイズを低減させることができる。【選択図】  図２
2004363853.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子から出力された画像信号に対し、注目画素の値とその注目画素の周囲における複数の周辺画素の値とを平均化した値を、前記注目画素の新たな値に変換するローパスフィルタ処理を施すとともに、その際、前記周辺画素の値を前記注目画素の値を中心とした所定範囲に制限することを特徴とする画像信号のノイズ低減方法。
【請求項２】
前記ローパスフィルタ処理は、
前記複数の周辺画素の各々について、前記注目画素との値の差を所定のノイズ定数を上限とする大きさの値に制限する工程と、
上限が制限された周辺画素の値を各々の周辺画素の新たな値とする工程と、
注目画素の値を、各々の周辺画素の新たな値と注目画素の値とを平均化した値に変換する工程と
からなることを特徴とする請求項１記載の画像信号のノイズ低減方法。
【請求項３】
前記撮像素子から出力された画像信号に対して色補間処理を施す工程を含み、
前記ローパスフィルタ処理を、前記色補間処理が施される前の画像信号に対して行うことを特徴とする請求項１又は２記載の画像信号のノイズ低減方法。
【請求項４】
前記注目画素及び周辺画素はＧ成分の画素であることを特徴とする請求項３記載の画像信号のノイズ低減方法。
【請求項５】
前記撮像素子から出力された画像信号に対してガンマ変換処理を施す工程を含み、
前記ローパスフィルタ処理を、前記ガンマ変換処理が施される前の画像信号に対して行うことを特徴とする請求項１〜４のいずれかに記載の画像信号のノイズ低減方法。
【請求項６】
前記注目画素の値と、その注目画素の周囲における複数の周辺画素の値との平均化に際し、各画素の値に所定の重み付けを行うことを特徴とする請求項１〜５のいずれかに記載の画像信号のノイズ低減方法。
【請求項７】
撮像素子から出力された画像信号におけるノイズを低減するノイズ低減装置において、
入力した画像信号に対し、注目画素の値と、その注目画素の周囲における複数の周辺画素の値とを平均化した値を前記注目画素の新たな値とするとともに、その際、前記周辺画素の値を前記注目画素の値を中心とした所定範囲に制限するローパスフィルタ処理を施すノイズ低減手段を備えたことを特徴とする画像信号のノイズ低減装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばデジタルカメラに用いて好適な画像信号のノイズ低減方法及びノイズ低減装置に関する。
【０００２】
【従来の技術】
従来、デジタルカメラ等においては、撮像素子から出力されデジタル変換された画像信号からノイズを除去する方法として、例えば平滑化フィルタや、メディアンカットフィルタを用いる方法が知られている。しかし、画像信号にそれらのフィルタをかけた場合にはノイズだけでなく画像のエッジ成分も失われることとなる。そのためエッジ成分を劣化させることなくノイズ成分を除去あるいは減少させることが必要となる。これに関しては、例えば下記特許文献１には、Ａ／Ｄコンバータから出力されたデジタル映像信号（画像信号）に対し、輝度レベルに基づき１画素ごとにノイズであるか否かを判別し、ノイズと判別された画素信号だけをデジタルフィルタに通すことにより、ノイズ成分の影響がなく、かつ解像度の劣化の少ない画像を得る方法が記載されている。
【０００３】
【特許文献１】
特開平８−３３１４２２号公報（「００３３」〜「００３６」段落参照。）
【０００４】
【発明が解決しようとする課題】
しかしながら、上記方法は、画像信号に対して、それがノイズであるか否かの判別、及びその判別結果に応じた信号処理内容の切り換えを行うものであるため、ハードウェア資源等の信号処理システムの複雑化やコスト高を招くという問題があった。
【０００５】
本発明は、かかる従来の課題に鑑みてなされたものであり、簡単な信号処理システムでノイズ除去ができ、かつ劣化の少ない画質を得ることが可能となる画像信号のノイズ低減方法及びノイズ低減装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
前記課題を解決するために請求項１の発明にあっては、撮像素子から出力された画像信号に対し、注目画素の値とその注目画素の周囲における複数の周辺画素の値とを平均化した値を、前記注目画素の新たな値に変換するローパスフィルタ処理を施すとともに、その際、前記周辺画素の値を前記注目画素の値を中心とした所定範囲に制限する方法とした。
【０００７】
かかる方法においては、画像信号におけるエッジなどの大きな振幅成分を保持したまま低振幅成分のノイズを低減させ、同時にエッジを劣化させることなくエッジ上のノイズを低減させることができる。しかも、画素の値に関係なく常に同一の処理を画像信号に施すだけで、それを実現することができる。
【０００８】
また、請求項２の発明にあっては、前記ローパスフィルタ処理は、前記複数の周辺画素の各々について、前記注目画素との値の差を所定のノイズ定数を上限とする大きさの値に制限する工程と、上限が制限された周辺画素の値を各々の周辺画素の新たな値とする工程と、注目画素の値を、各々の周辺画素の新たな値と注目画素の値とを平均化した値に変換する工程とからなる方法とした。
【０００９】
かかる方法においても、画像信号におけるエッジなどの大きな振幅成分を保持したまま低振幅成分のノイズを低減させ、同時にエッジを劣化させることなくエッジ上のノイズを低減させることができる。しかも、画素の値に関係なく常に同一の処理を画像信号に施すだけで、それを実現することができる。
【００１０】
また、請求項３の発明にあっては、前記撮像素子から出力された画像信号に対して色補間処理を施す工程を含み、前記ローパスフィルタ処理を、前記色補間処理が施される前の画像信号に対して行うようにした。
【００１１】
かかる方法によれば、ローパスフィルタ処理におけるデータ処理量を少なくすることができる。
【００１２】
また、請求項４の発明にあっては、前記注目画素及び周辺画素をＧ成分の画素とした。
【００１３】
かかる方法によれば、ローパスフィルタ処理におけるデータ処理量を最小とすることができる。
【００１４】
また、請求項５の発明にあっては、前記撮像素子から出力された画像信号に対してガンマ変換処理を施す工程を含み、前記ローパスフィルタ処理を、前記ガンマ変換処理が施される前の画像信号に対して行うようにした。
【００１５】
かかる方法によれば、画像信号におけるガンマ変換後の階調特性に合わせた、ノイズ低減の対象とする周波数領域の調整を行うことなく、低階調域から高階調域にかけて均一なノイズ低減を行うことができる。
【００１６】
また、請求項６の発明にあっては、前記注目画素の値と、その注目画素の周囲における複数の周辺画素の値との平均化に際し、各画素の値に所定の重み付けを行うようにした。
【００１７】
かかる方法によれば、ローパスフィルタ処理に際して、注目画素の値を、その周辺画素の値の影響を一定以上受けない値とするだけでなく、変換後の注目画素の値に反映される周辺画素の値からの影響度合を調整することができる。
【００１８】
また、請求項７の発明にあっては、撮像素子から出力された画像信号におけるノイズを低減するノイズ低減装置において、入力した画像信号に対し、注目画素の値と、その注目画素の周囲における複数の周辺画素の値とを平均化した値を前記注目画素の新たな値とするとともに、その際、前記周辺画素の値を前記注目画素の値を中心とした所定範囲に制限するローパスフィルタ処理を施すノイズ低減手段を備えたものとした。
【００１９】
かかる構成においては、画像信号におけるエッジなどの大きな振幅成分を保持したまま低振幅成分のノイズを低減させ、同時にエッジを劣化させることなくエッジ上のノイズを低減させることができる。しかも、画素の値に関係なく常に同一の処理を画像信号に施すだけで、それを実現することができる。
【００２０】
【発明の実施の形態】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラ１の概略構成を示すブロック図である。
【００２１】
このデジタルカメラ１は、撮像素子であるＣＣＤ２により被写体を撮像し、撮像により取得した被写体画像をＬＣＤ（液晶表示装置）４に表示させるとともに、撮影操作に応じて、撮像した被写体画像を画像データに変換し画像メモリ５に記録する構成である。なお、画像メモリ５は、カメラ本体に内蔵又は着脱自在なフラッシュメモリ等の不揮発性メモリである。
【００２２】
ＣＣＤ２は、感光部にベイヤー配列の原色フィルター（図４（ａ）参照）が設けられたものであり、ＣＣＤ２から出力されたアナログの撮像信号は、信号処理部３において各種の信号処理を施されて、最終的には輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）を含んだＹＵＶデータ、すなわちデジタルの画像信号として出力される。
【００２３】
信号処理部３から出力された画像信号は、撮影待機状態にあるときＬＣＤ４に送られて被写体画像として表示される。また、撮影操作時には、ＣＰＵ６によりＪＰＥＧ等の所定フォーマットに従い圧縮され画像メモリ５に記録される。画像メモリ５に記録された圧縮後の画像データは、必要に応じＣＰＵ６により読み出され、いったん伸張された後ＬＣＤ４において静止画像、或いは動画像として再生表示される。
【００２４】
また、デジタルカメラ１は、ＣＰＵ６が上記画像データの圧縮・伸張、及び装置全体の制御に必要とする各種の制御プログラムが記録されたＲＯＭ７と、ＣＰＵ６の作業用メモリであるＲＡＭ８、キー入力部９、レンズ駆動部１０を有している。キー入力部９は、シャッターキーや、動作モードの切り替えに使用されるモード切替キー等からなり、キー操作に応じた操作信号をＣＰＵ６へ出力する。レンズ駆動部１０は、ＣＣＤ２の前面に配置されたフォーカスレンズを含むレンズ群を光軸方向に駆動するモーターや、それを制御するためのドライバー等から構成され、ＡＦ制御時におけるＣＰＵ６からの指令に基づきレンズ位置を変化させる。
【００２５】
図２は、前述した信号処理部３の詳細を示すブロック図である。信号処理部３は、ＣＣＤ２から入力したアナログの撮像信号が入力するアナログ処理部３１と、ノイズ低減部３２、色補間部３３、ホワイトバランス調整部３４、ガンマ補正部（ガンマＬＵＴ）３５、色変換部３６、エッジ強調部３７の各部から構成されている。
【００２６】
アナログ処理部３１は、ＣＣＤ２から出力された撮像信号に含まれるＣＣＤ２の駆動ノイズを減少させる相関二重サンプリング回路（ＣＤＳ回路）と、ノイズ低減後における信号のゲインを調整する自動利得制御回路（ＡＧＣ回路）、ゲイン調整後の信号をデジタル信号に変換するＡ／Ｄ変換器を含み、ＣＣＤ２から入力したアナログの撮像信号をデジタルの画像信号（ベイヤーデータ）に変換する。ノイズ低減部３２は、アナログ処理部３１から出力された撮像信号に混入しているノイズを低減させる。なお詳細については後述する。
【００２７】
色補間部３３は、上記ノイズが低減されたベイヤーデータからＲ，Ｇ，Ｂの色成分について色補間を行って全画素分のＲＧＢデータを生成する。ホワイトバランス調整部３４は、画像を構成する全画素の色情報に基づきＲ，Ｇ，Ｂの色成分毎のゲイン調整を行うことによってホワイトバランスを調整する。ガンマ補正部３５は画像信号に対するガンマ特性（階調特性）の補正を行う。
【００２８】
色変換部３６は、Ｒ，Ｇ，Ｂの色成分データから輝度信号（Ｙ信号）と色差信号（Ｃｂ信号、Ｃｒ信号）を含んだＹＵＶデータを生成する。エッジ強調部３７は、ハイパスフィルタ或いはマスクフィルタによりＹＵＶデータにおけるＹ信号の振幅を調整することによりエッジ強調を行い、かつエッジ強調により生じたノイズをコアリング処理等により除去し、処理後の画像信号をＣＰＵ６やＬＣＤ４へ出力する。
【００２９】
次に、前述したノイズ低減部３２について詳述する。ノイズ低減部３２は、所謂ローパスフィルタであって、図示しないが、５ライン分のラインメモリ、５ピクセル分の遅延素子と、各遅延素子からの出力に対して減算器、絶対値算出回路、リミッタ等が接続された構成である。そして、図３に示した処理アルゴリズムに従ったノイズ低減処理を行うことにより、アナログ処理部３１から入力したベイヤーデータにおけるノイズを低減させる。
【００３０】
すなわちノイズ低減部３２では、図４（ａ）に示した５×５の画素空間を処理単位としてＲＧＢの色成分データ毎に以下の動作を行う。まずＧデータについて説明すると、図４（ｂ）に示したように、注目画素（中心画素）、及びその周辺８画素の値（画素値）に着目し、各周辺画素値Ｇ０〜Ｇ７の各々について注目画素値Ｇｃとの差ｄ０〜ｄ７を求める（ステップＳ１）。次に、各々の周辺画素値の差ｄ０〜ｄ７の絶対値を所定のノイズ定数Ａ（但し、Ａ＞０）に制限し、その結果を修正値ｄ０’〜ｄ７’とする（ステップＳ２）。さらに、ここで求めた各々の修正値ｄ０’〜ｄ７’を注目画素値Ｇｃから差し引いた値を各々の周辺画素値Ｇ０’〜Ｇ７’として再定義する（ステップＳ３）。つまりステップＳ１〜Ｓ３においては、各々の周辺画素値Ｇ０〜Ｇ７を所定の区間［Ｇｃ−Ａ，Ｇｃ＋Ａ］の値に制限する。その後、再定義した周辺画素値Ｇ０’〜Ｇ７’と注目画素値Ｇｃに重み付けを行ったうえで平均値を求め、その結果を注目画素の値Ｇｃ’として再定義する平均値フィルタ（線形平滑化フィルタ）演算を行う（ステップＳ４）。すなわち注目画素値（Ｇ０）を、周辺画素値（Ｇ０〜Ｇ７）の影響を一定以上受けない元の値と近い値（Ｇ０’）に変換することによってノイズ低減を行う。なお、図３に示した注目画素値Ｇｃと再定義後の周辺画素値Ｇ０’〜Ｇ７’に対する重み付け倍率（４倍、２倍、１倍）は単なる一例である。
【００３１】
引き続き、Ｂ，Ｒの色成分データについても、上述したＧデータと同様の処理を行いノイズを低減させる。但し、その際には図４（ｃ）、同図（ｄ）に示したように、注目画素値Ｂｃ，Ｒｃに対して４画素分の周辺画素値Ｂ０〜Ｂ３，Ｒ０〜Ｒ３を用いた処理を行い、かつ前述した重み付け倍率は、例えば注目画素値を２倍、その周辺画素値を１倍とする。
【００３２】
以上のように前記ノイズ低減部３２における処理では、アナログ処理部３１から入力したベイヤーデータのＲＧＢの各色成分データ毎に、注目画素値を、周辺画素値の影響を一定以上受けない元の値と近い値に変換するため、エッジなどの大きな振幅成分を保持したまま、撮像信号に混入している低振幅ノイズを低減させることができる。また、エッジ部分の画素についても、注目画素値に近い周辺画素値（修正値）のみで平均化を行うため、エッジを劣化させることなくエッジ上のノイズも低減させることができる。しかも、注目画素値や周辺画素値に関係なく常に同一の処理を画像信号に施すだけである。従って、信号処理システムが簡単であり低コストでノイズ除去ができるとともに、劣化の少ない画質を得ることができる。
【００３３】
なお、本実施の形態では、ＲＧＢの各色成分データの全てを処理対象としてノイズ低減処理（ローパスフィルタ処理）を行うようにしたが、輝度成分が最も多いＧデータのみにノイズ低減処理を施すようにしても構わない。その場合であっても実用上の効果を得ることができる。
【００３４】
また、Ｇデータを対象とするとき、注目画素の値Ｇｃとその周辺８画素の再定義後の値Ｇ０’〜Ｇ７’を用いて平均値フィルタ演算を行うようにしたが、使用する周辺画素の数を１２画素に増しても構わない。つまり図４（ｂ）に示した周辺画素値Ｇ０〜Ｇ１１を所定の区間［Ｇｃ−Ａ，Ｇｃ＋Ａ］の値に制限したうえで、それらを用いて平均値フィルタ演算を行うようにしてもよい。
【００３５】
なお、前述したノイズ定数Ａの値は任意であり、それを大きくすることによりノイズの除去能力を高めることができるが、あまり大きくするとエッジ成分を劣化させることとなる。また、それを小さくすればエッジ成分を残すことができるが、あまり小さくするとノイズが除去できなくなる。従って、双方の兼ね合いに応じて適宜設計すればよい。
【００３６】
また、本実施の形態では、ステップＳ４の平均値フィルタ演算において、各画素値に対して重み付けを行うようにしたことから、注目画素値を、周辺画素値の影響を一定以上受けない元の値と近い値に変換するだけでなく、変換後の注目画素値に反映される周辺画素値からの影響度合を調整することができる。したがって、ノイズ低減処理システムの設計上の自由度が広く、その設計が容易である。なお、係る重み付けは不可欠ではなく、廃止しても構わない。
【００３７】
一方、本実施の形態においては、前述したアルゴリズムによるノイズ低減処理をアナログ処理部３１から入力したベイヤーデータに対して行う場合について説明したが、前記ノイズ低減処理は、例えば色変換部３６において生成されたＹＵＶデータの輝度（Ｙ）データに対して行うこともでき、その場合においてもエッジなどの大きな振幅成分を保持したままで低振幅のノイズを除去することができ、かつエッジの品質を維持したままエッジ上のノイズを低減することができる。
【００３８】
これに関し、本実施の形態では、前記ノイズ低減処理をベイヤーデータの段階、つまり色分離以前の画像信号に対して行うことにより、ハードウェア資源を削減することができる。すなわちベイヤーデータを処理対象とすれば、注目画素と周辺画素を合わせた８画素分について減算処理を行えば５×５の画素空間に対応できるが、輝度データを処理対象とする場合には、同様の画素空間に対応するには２５画素（５×５）分の減算処理等が必要となり、それに対応する構成が必要となるためである。
【００３９】
なお、本実施の形態ではＣＣＤ２がベイヤー配列の原色フィルターを有し、色分離以前の画像信号がベイヤーデータである場合について説明したが、ＣＣＤ２（ＭＯＳ型の撮像素子であってもよい）が他の色配列のフィルターを有する構成である場合についても、本実施の形態と同様のノイズ低減処理を色分離以前の画像信号に対して行うことにより、上記効果を得ることができる。
【００４０】
さらに、本実施の形態では、ノイズ低減処理をガンマ変換前に行うため、低階調域から高階調域にかけて均一なノイズ低減を行うことができる。しかも、ガンマ変換後に行う場合にあっては階調毎にノイズ定数Ａを可変させる必要があるが（ガンマ変換を行った後には低階調域のノイズが増幅されるためである。）、本実施の形態のようにガンマ変換前に行う場合においてはそのような必要がない。したがって、これによってもハードウェア資源を削減することができる。
【００４１】
なお、本実施の形態においては、本発明を主として静止画の撮影及び記録を行うデジタルカメラに適用した場合について説明したが、本発明はこれ以外にも、デジタルビデオカメラ等のように画像信号の処理を必要とする他の映像機器においても実施可能であり、その場合においても前述した効果を得ることができる。
【００４２】
【発明の効果】
以上説明したように請求項１，２，７の発明においては、画像信号におけるエッジなどの大きな振幅成分を保持したまま低振幅成分のノイズを低減させ、同時にエッジを劣化させることなくエッジ上のノイズを低減させることができ、しかも、画素の値に関係なく常に同一の処理を画像信号に施すだけで、それを実現することができるようにした。よって、簡単な信号処理システムでノイズ除去ができ、かつ劣化の少ない画質を得ることが可能となり、同時に信号処理システムの低コスト化が可能となる。
【００４３】
また、請求項３の発明においては、ローパスフィルタ処理におけるデータ処理量を少なくすることができるようにした。よって、信号処理システムの負担を軽減することにより、それをハードウェア資源によって実現する場合におけるシステムの、より一層の低コスト化が可能となる。
【００４４】
また、請求項４の発明においては、ローパスフィルタ処理におけるデータ処理量を最小とすることができるようにした。これによっても、信号処理システムの負担を軽減することにより、それをハードウェア資源によって実現する場合におけるシステムの、より一層の低コスト化が可能となる。
【００４５】
また、請求項５の発明においては、画像信号におけるガンマ変換後の階調特性に合わせた、ノイズ低減の対象とする周波数領域の調整を行うことなく、低階調域から高階調域にかけて均一なノイズ低減を行うことができる。これによっても、信号処理システムの負担を軽減することにより、それをハードウェア資源によって実現する場合におけるシステムの、より一層の低コスト化が可能となる。
【００４６】
また、請求項６の発明においては、ローパスフィルタ処理に際して、注目画素の値を、その周辺画素の値の影響を一定以上受けない値とするだけでなく、変換後の注目画素の値に反映される周辺画素の値からの影響度合を調整することができるようにした。よって、信号処理システムにおける設計の自由度を広げることが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施の形態を示すデジタルカメラのブロック図である。
【図２】信号処理部の詳細を示すブロック図である。
【図３】ノイズ低減部における処理アルゴリズムを示すフローチャートである。
【図４】（ａ）はノイズ低減処理の処理単位となる画素空間、（ｂ）〜（ｄ）は画素空間における注目画素と周辺画素を示す図である。
【符号の説明】
１    デジタルカメラ
２    ＣＣＤ
３    信号処理部
３１    アナログ処理部
３２    ノイズ低減部
３３    色補間部
３４    ホワイトバランス調整部
３５    ガンマ補正部
３６    色変換部
３７    エッジ強調部
【図１】
2004363853.tif 000003
【図２】
2004363853.tif 000004
【図３】
2004363853.tif 000005
【図４】
2004363853.tif 000006