(57)【要約】【課題】デジタルビデオカメラやデジタルスチルカメラにおいて、温度変化によって特性が変わるノイズを効率よく除去することができるノイズ低減装置を実現することを目的とする。【解決手段】本発明のノイズ低減装置は、ノイズ成分を抽出するための画像を、動きのないフレーム間の差分画像とし、これらの画像に対しＤＣＴ変換を行ってノイズ成分を抽出することによりカメラ固有のノイズ成分除去を実現する。これにより、従来のデジタルビデオカメラ、及びデジタルスチルカメラに、アナログ回路やＣＣＤにより発生し、温度変化などにより特性が変わるノイズを効率よく除去することができる。【選択図】図１
2009212651.tif 000002
【特許請求の範囲】
【請求項１】
画像を取り込む撮像手段と、
前記撮像手段の出力画像を１フレーム遅延させる遅延手段と、
前記撮像手段の出力画像と前記遅延手段の出力画像との差分を算出する減算手段と、
前記撮像手段の出力画像における動きを検出する動き検出手段と、
前記動き検出手段による動き検出結果を基に、前記減算手段の出力画像からノイズ成分を抽出するノイズ抽出手段と、
前記撮像手段の出力画像と前記ノイズ成分との差分を算出するノイズ成分除去手段と、を備えたノイズ低減装置。
【請求項２】
前記動き検出手段は、前記減算手段の出力画像を基に、前記撮像手段の出力画像における動きを検出する請求項１に記載のノイズ低減装置。
【請求項３】
前記ノイズ抽出手段は、前記動き検出手段による動き検出結果を基に、前記減算手段の出力画像を直交変換し、変換後の高周波成分をノイズ成分として抽出する請求項１または２に記載のノイズ低減装置。
【請求項４】
前記動き検出手段による動き検出結果を基に、前記ノイズ成分を記憶するノイズ成分記憶手段を備え、
前記ノイズ成分除去手段は、前記撮像手段の出力画像と前記ノイズ成分記憶手段上のノイズ成分との差分を算出する請求項１から３の何れかに記載のノイズ低減装置。
【請求項５】
画像を取り込む撮像ステップと、
前記撮像ステップによる出力画像を１フレーム遅延させる遅延ステップと、
前記撮像ステップによる出力画像と前記遅延ステップによる出力画像との差分を算出する減算ステップと、
前記撮像ステップによる出力画像における動きを検出する動き検出ステップと、
前記動き検出ステップによる動き検出結果を基に、前記減算ステップによる出力画像からノイズ成分を抽出するノイズ抽出ステップと、
前記撮像ステップによる出力画像と前記ノイズ成分との差分を算出するノイズ成分除去ステップと、を含むノイズ低減方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルビデオカメラ、及びデジタルスチルカメラにおいて、その入力画像信号が持つノイズを除去するためのノイズ低減装置、及び方法に関するものである。
【背景技術】
【０００２】
一般に、画像撮像装置により画像信号を記録する際、ノイズの影響による画質劣化は避けることができない。そのため画像撮像装置には、画像信号に含まれるノイズ成分を低減するためにノイズ低減装置が通常搭載されている。ノイズ低減装置によって画像信号のノイズ成分を低減させることで画質を向上させる処理がなされている。
【０００３】
ノイズ低減装置としては、画像信号を空間周波数に変換し、高い周波数の成分などをノイズとみなすことによってノイズを検出し、画像信号成分とノイズ成分を分離する手法が種々提案されている。
【０００４】
特許文献１では、２次元ＤＣＴなどの周波数変換処理により画像信号を周波数領域へと変換し、高い周波数に対して微小レベル信号をゼロにコアリングすることで、周波数依存のノイズを除去する手法を提案している。画像信号に対する非直線処理の適用範囲を適宜変更することで、ノイズ除去特性の適応制御にも良好に対応することが可能であり、画像の座標位置に寄らないノイズ除去が実現できる。
【０００５】
しかしながら、上記文献を含む一般のノイズ低減装置は、画像入力デバイスの後段、画像符号化装置の前段に配置されるのが通常であった。ノイズは画像入力デバイスに依存したものも多く、画像入力デバイスによって要求されるノイズ特性も異なる。したがって、前述のような構成のノイズ低減装置ではノイズの特性を決定する方法が複雑であるという問題がある。
【０００６】
そこで、この問題を解決するため特許文献２では、図７のような構成のノイズ低減装置を提案している。上記文献では撮像制御手段２０６によって撮像手段２０１を制御し、デフォーカス状態や光を遮断して画像を撮影する。意図的にデフォーカス状態で撮影した画像や、光を遮断した状態で撮影した画像を周波数変換手段２０２によって周波数変換し、その高周波成分をノイズ成分としている。ノイズ成分を通常撮影時の画像から減算することによりノイズ除去を実現している。上記手法によりアナログ回路やＣＣＤにより発生するノイズを除去することが可能となる。
【０００７】
しかしながら、デフォーカスや光を遮断するといった処理は撮影前に行うため、動画記録中は動作させることが出来ない。したがって、温度よって変化するノイズの特性に追従することができず、長時間撮影時にはノイズ除去の効果が小さくなる。
【特許文献１】特開平１０−３０４３６１号公報
【特許文献２】特開２００７−２７４０６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
本発明は、意図的にデフォーカス状態で撮影した画像や、光を遮断した状態で撮影した画像の代わりに、動きの少ない連続するフレームの差分画像からノイズ成分を抽出することによって、温度の変化に伴って特性が変化するノイズを除去することができるノイズ低減装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明のノイズ低減装置は、画像を取り込む撮像手段と、前記撮像手段の出力画像を所定間隔遅延させる遅延手段と、前記撮像手段の出力画像と前記遅延手段の出力画像との差分を算出する減算手段と、前記撮像手段の出力画像における動きを検出する動き検出手段と、前記動き検出手段による動き検出結果を基に、前記減算手段の出力画像からノイズ成分を抽出するノイズ抽出手段と、前記撮像手段の出力画像と前記ノイズ成分との差分を算出するノイズ成分除去手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
このような構成により、アナログ回路やＣＣＤにより発生するノイズを効率よく除去することができ、さらに温度変化に伴って変化するノイズに対しても除去効果を有する。
【発明を実施するための最良の形態】
【００１１】
以下、本特許の実施の形態について図面を用いて説明する。
【００１２】
図１に本特許の構成を示す。１０１は被写体を画像信号へと変換する撮像手段、１０２は画像信号を周波数領域に変換する第一の周波数領域変換手段、１０４は画像データを１フレーム分遅延させる遅延手段、１０５は取り込んだ画像と遅延させた画像との差分を計算する減算手段、１０６は減算手段１０５から出力される差分画像からフレーム間の動きを検出する動き検出手段、１０７は減算手段１０５から出力される差分画像を周波数領域に変換する第二の周波数領域変換手段、１０８は周波数変換された差分画像からノイズ成分を抽出するノイズ成分抽出手段、１０９はノイズ成分抽出手段１０８で抽出されたノイズ成分を記憶するノイズ成分記憶手段、１０３はノイズ除去対象画像信号を周波数領域に変換した画像からノイズ成分記憶手段１０９に記憶されたノイズ成分を減算することでノイズを除去するノイズ成分除去手段である。
【００１３】
上記のように構成された本発明のノイズ低減装置の動作について図２のフローチャートを参照しながら説明する。
【００１４】
まず、撮像手段１０１により画像データが取得される（ステップＳ１）。得られた画像データを遅延手段１０４により１フレーム分遅延させる（ステップＳ２）。次に、遅延させた１フレーム前の画像データと遅延させない画像データとの差分を減算手段１０５で計算する（ステップＳ３）。減算手段１０５から出力されるフレーム間差分画像から動き検出を行う（ステップＳ４）。
【００１５】
動き検出手段１０６における動き検出は、フレーム間差分画像の画素毎の絶対値を積算し、フレーム間差分絶対値和が小さいときはフレーム間の相関が強い、つまり動きが小さいと判定し、フレーム間差分絶対値和が大きいときはフレーム間の相関が弱い、つまり動きが大きいと判定する。動きの有無はフレーム間差分絶対値和と所定の閾値とを比較することによって判定する。
【００１６】
本実施の形態では、１フレーム遅延させ、フレーム間の差分画像から動き検出を行っているが、これに限るものではなく、撮像手段１０１における制御情報を基に、動き検出を行っても良い。
【００１７】
動き検出手段１０６で動きがないフレームと認識された場合、フレーム間差分画像の絶対値を第二の周波数領域変換手段１０７によって周波数領域に変換する（ステップＳ５）。ステップＳ５によって変換された画像データをノイズ成分としてノイズ成分記憶手段１０９に記憶する（ステップＳ６）。
【００１８】
動き検出の判定は、常に実施されるか、または所定の間隔で実施されるため、起動後に温度変化に伴ってノイズが変化した際にも、ノイズ成分を抽出することができる。
【００１９】
第一の周波数領域変換手段１０２、及び後述の第二の周波数領域変換手段１０７における画像信号の周波数領域への変換は二次元ＤＣＴ変換を用いる。
【００２０】
【数１】
2009212651.tif 000003
【００２１】
ここで、周波数領域に変換した画像信号の垂直空間周波数方向の座標をｉ、水平空間周波数方向の座標をｊとし、周波数領域に変換する前の画像信号の垂直座標をｘ、水平座標をｙとする。上式において、Ｆ（ｉ，ｊ）は周波数領域に変換した画像信号の座標（ｉ，ｊ）の値、ｆ（ｘ，ｙ）は周波数領域に変換する前の画像信号の座標（ｘ，ｙ）の値、Ｎは二次元ＤＣＴ変換を適用するブロックのサイズをそれぞれ表している。
【００２２】
図３に８×８のブロックに対して二次元ＤＣＴ変換を施した結果を示す。図３において、左上の成分は低周波数の成分を表しており、右下に近づくほど周波数成分が高くなる。
【００２３】
一般に画像に含まれるノイズはフレーム間での相関が低いため、動きのない連続するフレーム間の差分を取ると、ノイズ成分のみが差分データとして抽出される。そのフレーム間差分画像に対して二次元ＤＣＴ変換を行うと高周波部分に成分が集中する。これは、概してノイズ成分が高周波に現れやすいという性質を持っているからである。そのときの周波数成分を図４に示す。このとき、図４において表される成分はノイズであるとみなすことができる。垂直空間周波数方向の座標をｉ、水平空間周波数方向の座標をｊ、座標ｉｊの周波数成分の値をＸｉｊとすると、以下の条件を満たしたときに、その座標の成分をノイズとみなして検出する。
【００２４】
【数２】
2009212651.tif 000004
【００２５】
このように、ノイズ成分抽出手段１０８により周波数領域でのノイズ成分を検出する。上式においてａの値を５、ｂの値を４と設定したときの、図４の画像信号から検出されたノイズ成分を図５に示す。一番左上の座標を（０，０）とすると、座標値（ｉ、ｊ）が（４，６）、（５，４）、（７，５）の位置にそれぞれノイズとして８，５，５という成分が検出されている。なお、画像信号の周波数領域変換に用いる式は二次元ＤＣＴ変換に限らず、ＦＦＴ変換やウェーブレット変換を用いても良い。
【００２６】
ノイズ成分抽出手段１０８によって検出されたノイズ成分は、ノイズ成分記憶手段１０９においてメモリなどに記憶しておく（ステップＳ６）。
【００２７】
次に、ノイズ成分記憶手段１０９にノイズ成分が記憶されている状態で、通常撮影を行う処理の流れについて説明する。
【００２８】
通常撮影時、撮像手段１０１は画像信号を取り込み（ステップＳ１）、周波数領域変換手段１０２により二次元ＤＣＴ変換を施し、画像信号を周波数領域のデータへと変換する（ステップＳ７）。その後、ノイズ成分除去手段１０３において、ノイズ成分記憶手段１０９に記憶されたノイズ成分と、ノイズ除去対象画像信号との差分を取ることにより通常撮影画像からノイズ成分を除去する（ステップＳ８）。ノイズを除去するための式を以下に示す。
【００２９】
【数３】
2009212651.tif 000005
【００３０】
ここで、Ｙはノイズ除去対象画像信号、Ｘはノイズ成分記憶手段１０９に記憶されているノイズ成分、Ｚはノイズ除去後の画像信号をそれぞれ表している。また式中のパラメータｃはノイズ成分に与える重みであり、この重みをノイズ成分に付加して差分を取ることで、様々な特性のノイズに対応することができる。
【００３１】
図３の画像信号から図５のノイズ成分を除去した結果を図６に示す。このとき、ノイズ成分の重みｃの値は１としている。図６より、座標値（４，６）、（５，４）、（７，５）のノイズが低減されていることが分かる。なおノイズ除去の式は線形である必要がなく、非線形の式を用いてもよい。
【００３２】
自然画は連続するフレームの同一画素位置に対する相関性が強く、ノイズは相関が弱いという特徴をもっている。ここで、動きのない連続するフレーム間の差分を取ることで、フレーム間の相関性が弱い領域を目出たせることができる。この相関性が弱い部分をノイズとみなすことで、ノイズ成分の抽出を効率よく実現することが可能となる。また、動画像記録中に随時ノイズ成分を更新することができるため、温度などにより変化するノイズの特性に追従することができ、より幅広い特性のノイズに対してノイズ低減効果が期待できる。
【産業上の利用可能性】
【００３３】
本発明のノイズ低減装置によれば、温度上昇等によって変化するノイズ特性に追従したノイズ低減を行うことができ、アナログ回路やＣＣＤにより発生するノイズを効率よく除去することができるので、撮像装置を備える機器において有用である。
【図面の簡単な説明】
【００３４】
【図１】本発明の一実施の形態におけるノイズ低減装置の構成を示すブロック図
【図２】本発明の一実施の形態におけるノイズ低減装置の動作を示すフローチャート
【図３】二次元ＤＣＴ変換を施した画像信号を示す図
【図４】二次元ＤＣＴ変換を施したノイズ成分抽出対象画像信号を示す図
【図５】抽出したノイズ成分を示す図
【図６】ノイズを除去した画像信号を示す図
【図７】従来のノイズ低減装置の構成を示すブロック図
【符号の説明】
【００３５】
１０１    撮像手段
１０２    周波数領域変換手段
１０３    ノイズ成分除去手段
１０４    遅延手段
１０５    減算手段
１０６    動き検出手段
１０７    周波数領域変換手段
１０８    ノイズ成分抽出手段
１０９    ノイズ成分記憶手段
２０１    撮像手段
２０２    周波数領域変換手段
２０３    ノイズ成分抽出手段
２０４    ノイズ成分記憶手段
２０５    ノイズ成分除去手段
２０６    撮像制御手段
【図１】
2009212651.tif 000006
【図２】
2009212651.tif 000007
【図３】
2009212651.tif 000008
【図４】
2009212651.tif 000009
【図５】
2009212651.tif 000010
【図６】
2009212651.tif 000011
【図７】
2009212651.tif 000012