(57)【要約】【課題】画像から精度良くエッジを検出してノイズが低減された画像を取得する。【解決手段】エッジ検出部６１が、赤外線カットフィルタを使用しない撮影および赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像Ｙ１，Ｙ２、Ｃｂ１，Ｃｂ２、Ｃｒ１，Ｃｒ１のうちの、第１の画像Ｙ１，Ｙ２、Ｃｂ１に含まれるエッジを検出する。処理部６２が、エッジを避けるように、第２の画像に対してノイズ低減処理を施して処理済み画像を取得する。【選択図】図３
2008271024.tif 000002
【特許請求の範囲】
【請求項１】
赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出するエッジ検出手段と、
前記エッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得するノイズ低減手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記第１の画像を表す画像データがＲＧＢ各色データからなり、前記エッジ検出手段は、前記ＲＧＢ各色データから生成された輝度データおよび２つの色差データの少なくとも１つのデータにより表される画像から前記エッジを検出する手段であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像に含まれるエッジをそれぞれ第１および第２のエッジ情報として検出するエッジ検出手段と、
前記第１および前記第２の相対応する位置における画像の差異を検出する差異検出手段と、
前記第１および前記第２のエッジ情報、並びに前記第１の画像における前記差異の有無に応じて、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得するノイズ低減手段とを備えたことを特徴とする画像処理装置。
【請求項４】
前記ノイズ低減手段は、前記第２の画像における前記差異がないと見なせる部分については、前記第１のエッジ情報に基づくエッジを避けるように、前記第２の画像における前記差異があると見なせる部分については、前記第２のエッジ情報に基づくエッジを避けるように、前記ノイズ低減処理を施す手段であることを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記差異検出手段は、前記第１および前記第２の相対応する位置における画素値の差分値の絶対値を前記差異として検出する手段であることを特徴とする請求項３または４記載の画像処理装置。
【請求項６】
前記第１および前記第２の画像を表す画像データがＲＧＢ各色データからなり、前記エッジ検出手段は、前記ＲＧＢ各色データから生成された輝度データおよび２つの色差データの少なくとも１つのデータにより表される画像から前記第１および前記第２のエッジを検出する手段であることを特徴とする請求項３から５のいずれか１項記載の画像処理装置。
【請求項７】
前記第１の画像および前記第２の画像は同一のシャッタスピードにて取得されたものであることを特徴とする請求項３から６のいずれか１項記載の画像処理装置。
【請求項８】
前記第１および前記第２の画像を表す画像データがＲＧＢ各色データからなり、前記差異検出手段は、Ｂの色データに基づいて前記差異を検出する手段であることを特徴とする請求項７記載の画像処理装置。
【請求項９】
赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出するエッジ検出手段と、
前記第１および前記第２の画像の動きを検出する動き検出手段と、
前記動きに基づいて前記エッジの位置を補正するエッジ補正手段と、
該位置が補正されたエッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得するノイズ低減手段とを備えたことを特徴とする画像処理装置。
【請求項１０】
前記第１の画像を表す画像データがＲＧＢ各色データからなり、前記エッジ検出手段は、前記ＲＧＢ各色データから生成された輝度データおよび２つの色差データの少なくとも１つのデータにより表される画像から前記エッジを検出する手段であることを特徴とする請求項９記載の画像処理装置。
【請求項１１】
前記第１の画像および前記第２の画像は同一のシャッタスピードにて取得されたものであることを特徴とする請求項９または１０記載の画像処理装置。
【請求項１２】
前記第１および前記第２の画像を表す画像データがＲＧＢ各色データからなり、前記動き検出手段は、Ｂの色データに基づいて前記動きを検出する手段であることを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
撮影により画像を取得する撮影手段と、
前記撮影手段の光軸上に赤外線カットフィルタを出し入れするフィルタ切替手段と、
前記赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により同一の被写体を表す第１および第２の画像を取得するよう、前記撮影手段および前記フィルタ切替手段を制御する制御手段と、
請求項１から１２のいずれか１項記載の画像処理装置とを備えたことを特徴とする撮影装置。
【請求項１４】
赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出し、
前記エッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得することを特徴とする画像処理方法。
【請求項１５】
赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像に含まれるエッジをそれぞれ第１および第２のエッジ情報として検出し、
前記第１および前記第２の相対応する位置における画像の差異を検出し、
前記第１および前記第２のエッジ情報、並びに前記第１の画像における前記差異の有無に応じて、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得することを特徴とする画像処理方法。
【請求項１６】
赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出し、
前記第１および前記第２の画像の動きを検出し、
前記動きに基づいて前記エッジの位置を補正し、
該位置が補正されたエッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得することを特徴とする画像処理方法。
【請求項１７】
赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出する手順と、
前記エッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１８】
赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像に含まれるエッジをそれぞれ第１および第２のエッジ情報として検出する手順と、
前記第１および前記第２の相対応する位置における画像の差異を検出する手順と、
前記第１および前記第２のエッジ情報、並びに前記第１の画像における前記差異の有無に応じて、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【請求項１９】
赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出する手順と、
前記第１および前記第２の画像の動きを検出する手順と、
前記動きに基づいて前記エッジの位置を補正する手順と、
該位置が補正されたエッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得する手順とを有することを特徴とする画像処理方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影により取得された画像に対してノイズを低減する画像処理を施す画像処理装置および方法並びに画像処理方法をコンピュータに実行させるためのプログラムに関するものである。
【背景技術】
【０００２】
従来より、ＣＣＤ等の撮像系の光軸上に、入射された光から赤外領域の光（赤外成分）を除去する赤外線カットフィルタを出し入れ可能に配置し、赤外線カットフィルタを使用した撮影と赤外線カットフィルタを使用しない撮影とを行うことができるようにしたデジタルカメラが用いられている（特許文献１参照）。ここで、ＣＣＤは赤外領域の光にも感度を有するため、被写体からの光のすべてをＣＣＤ上に結像すると、再現される色に赤味がかかることから、被写体の色を正しく再現することができない。このため、このようなデジタルカメラにおいては、通常の撮影時には赤外線カットフィルタを使用する撮影を行っている。逆に、撮影環境の光量が少ない場合には、赤外線カットフィルタを使用すると、ＣＣＤに到達する光の光量が少なくなることから、ＣＣＤから得られる電気信号が小さくなりＳ／Ｎが低下して非常にノイズが多くなる。このため、撮影環境の光量が少ない場合には、赤外線カットフィルタを使用しない撮影を行い、さらに撮影により取得した画像をモノクロ画像として扱うことにより、人間の目に見えない波長域の光をも用いて感度の低下を防止している。
【０００３】
なお、上記特許文献１に記載されたデジタルカメラにおいては、撮影環境の明るさに応じて赤外線カットフィルタの使用の有無を切り替えているが、撮影時の時刻、天気およびハレーション等の情報に基づいて、赤外線カットフィルタを使用した撮影と使用しない撮影とを切り替えるようにしたデジタルカメラも提案されている（特許文献２参照）。このようなデジタルカメラによれば、通常のカラー撮影と高感度撮影とを自動で切り替えることができる。
【０００４】
ところで、ＣＣＤは高画素化、高感度化の一途をたどっているが、高感度化に伴い、撮影により取得された画像に含まれるノイズの影響が問題となってきている。このため、画像に含まれるノイズを低減するための種々の手法が提案されている。例えば、撮影により取得された画像からエッジを検出し、検出したエッジを避けるようにローパスフィルタによるフィルタリング処理を行って、ノイズを低減する手法が提案されている。このような手法を用いることにより、エッジをぼかすことなく、画像に含まれるノイズを低減することができる。
【特許文献１】特開平６−１４１２４７号公報
【特許文献１】特開２００４−２６０３２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、高感度の撮影を行うことにより取得された画像には、非常に多くのノイズが含まれており、しかもノイズの信号の振幅が画像に含まれるエッジの振幅よりも大きくなる場合があるため、ノイズとエッジとを区別することが困難となる場合がある。このようにノイズとエッジとを区別することができないと、エッジを避けてノイズ低減処理を行うことができなくなるため、ノイズ低減処理により画像のエッジがぼけてしまうという問題がある。
【０００６】
本発明は、上記事情に鑑みなされたものであり、画像から精度良くエッジを検出してノイズが低減された画像を取得することを目的とする。
【課題を解決するための手段】
【０００７】
本発明による第１の画像処理装置は、赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出するエッジ検出手段と、
前記エッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得するノイズ低減手段とを備えたことを特徴とするものである。
【０００８】
ここで、「エッジを避けるように」とは、エッジにノイズ低減処理を施さないことのみならず、エッジにおけるノイズ低減処理の強度を、エッジ以外の部分よりも弱めることも含む。
【０００９】
なお、本発明による第１の画像処理装置においては、前記第１の画像を表す画像データがＲＧＢ各色データからなる場合において、前記エッジ検出手段を、前記ＲＧＢ各色データから生成された輝度データおよび２つの色差データの少なくとも１つのデータにより表される画像から前記エッジを検出する手段としてもよい。
【００１０】
本発明による第２の画像処理装置は、赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像に含まれるエッジをそれぞれ第１および第２のエッジ情報として検出するエッジ検出手段と、
前記第１および前記第２の相対応する位置における画像の差異を検出する差異検出手段と、
前記第１および前記第２のエッジ情報、並びに前記第１の画像における前記差異の有無に応じて、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得するノイズ低減手段とを備えたことを特徴とするものである。
【００１１】
なお、本発明による第２の画像処理装置においては、前記ノイズ低減手段を、前記第２の画像における前記差異がないと見なせる部分については、前記第１のエッジ情報に基づくエッジを避けるように、前記第２の画像における前記差異があると見なせる部分については、前記第２のエッジ情報に基づくエッジを避けるように、前記ノイズ低減処理を施す手段としてもよい。
【００１２】
また、本発明による第２の画像処理装置においては、前記差異検出手段を、前記第１および前記第２の相対応する位置における画素値の差分値の絶対値を前記差異として検出する手段としてもよい。
【００１３】
また、本発明による第２の画像処理装置においては、前記第１および前記第２の画像を表す画像データがＲＧＢ各色データからなる場合において、前記エッジ検出手段を、前記ＲＧＢ各色データから生成された輝度データおよび２つの色差データの少なくとも１つのデータにより表される画像から前記第１および前記第２のエッジを検出する手段としてもよい。
【００１４】
また、本発明による第２の画像処理装置においては、前記第１の画像および前記第２の画像を同一のシャッタスピードにて取得してもよい。
【００１５】
この場合、前記第１および前記第２の画像を表す画像データがＲＧＢ各色データからなる場合において、前記差異検出手段を、Ｂの色データに基づいて前記差異を検出する手段としてもよい。
【００１６】
本発明による第３の画像処理装置は、赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出するエッジ検出手段と、
前記第１および前記第２の画像の動きを検出する動き検出手段と、
前記動きに基づいて前記エッジの位置を補正するエッジ補正手段と、
該位置が補正されたエッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得するノイズ低減手段とを備えたことを特徴とするものである。
【００１７】
なお、本発明による第３の画像処理装置においては、前記第１の画像を表す画像データがＲＧＢ各色データからなる場合において、前記エッジ検出手段を、前記ＲＧＢ各色データから生成された輝度データおよび２つの色差データの少なくとも１つのデータにより表される画像から前記エッジを検出する手段としてもよい。
【００１８】
また、本発明による第３の画像処理装置においては、前記第１の画像および前記第２の画像は同一のシャッタスピードにて取得されたものとしてもよい。
【００１９】
この場合、前記第１および前記第２の画像を表す画像データがＲＧＢ各色データからなる場合において、前記差異検出手段を、Ｂの色データに基づいて前記差異を検出する手段としてもよい。
【００２０】
本発明による撮影装置は、撮影により画像を取得する撮影手段と、
前記撮影手段の光軸上に赤外線カットフィルタを出し入れするフィルタ切替手段と、
前記赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により同一の被写体を表す第１および第２の画像を取得するよう、前記撮影手段および前記フィルタ切替手段を制御する制御手段と、
本発明による第１から第３の画像処理装置のいずれかとを備えたことを特徴とするものである。
【００２１】
本発明による第１の画像処理方法は、赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出し、
前記エッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得することを特徴とするものである。
【００２２】
本発明による第２の画像処理方法は、赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像に含まれるエッジをそれぞれ第１および第２のエッジ情報として検出し、
前記第１および前記第２の相対応する位置における画像の差異を検出し、
前記第１および前記第２のエッジ情報、並びに前記第１の画像における前記差異の有無に応じて、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得することを特徴とするものである。
【００２３】
本発明による第３の画像処理方法は、赤外線カットフィルタを使用しない撮影および該赤外線カットフィルタを使用した撮影により取得された、同一の被写体を表す第１および第２の画像のうちの該第１の画像に含まれるエッジを検出し、
前記第１および前記第２の画像の動きを検出し、
前記動きに基づいて前記エッジの位置を補正し、
該位置が補正されたエッジを避けるように、前記第２の画像に対してノイズ低減処理を施して処理済み画像を取得することを特徴とするものである。
【００２４】
なお、本発明による第１から第３の画像処理方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【発明の効果】
【００２５】
本発明の第１の画像処理装置および方法によれば、赤外線カットフィルタを使用しない撮影により取得された第１の画像に含まれるエッジが検出され、赤外線カットフィルタを使用した撮影により取得された第２の画像に対して、エッジを避けるようにノイズ低減処理が施されて処理済み画像が取得される。
【００２６】
ここで、赤外線カットフィルタを使用しない撮影により取得された第１の画像は、人間の目に見えない波長域を含むために感度が高くなりノイズは少なくなるが、画像に赤味がかかってしまうことから被写体の色を正しく再現することができない。一方、赤外線カットフィルタを使用した撮影により取得された第２の画像は、撮像素子に到達する光量が少ないためにノイズが多いものの、被写体の色を正しく再現することができる。
【００２７】
本発明の第１の画像処理装置および方法においては、第１の画像からエッジを検出しているため、ノイズに影響されることなく、精度良くエッジを検出することができる。したがって、エッジを確実に避けるように第２の画像に対してノイズ低減処理を施すことができ、その結果、エッジをぼかすことなくノイズが低減された処理済み画像を取得することができる。
【００２８】
本発明の第２の画像処理装置および方法によれば、赤外線カットフィルタを使用しない撮影および赤外線カットフィルタを使用した撮影により取得された同一の被写体を表す第１および第２の画像に含まれるエッジがそれぞれ第１および第２のエッジ情報として検出され、第１および第２の画像の相対応する位置における画像の差異が検出される。そして、第１および第２のエッジ情報、並びに差異の有無に応じて、第２の画像に対してノイズ低減処理が施される。
【００２９】
ここで、第１および第２の画像は、赤外線カットフィルタを光軸上において切り替えて撮影を行うことにより取得されるため、撮影にタイムラグが生じることから、第１および第２の画像において被写体が移動してしまう場合がある。このように被写体が移動すると、第１の画像と第２の画像とのエッジの位置が異なるものとなるため、第１の画像において検出したエッジを避けるように第２の画像に対してノイズ低減処理を施すと、第２の画像におけるエッジ上にノイズ低減処理を施してしまうおそれがある。
【００３０】
ここで、第１および第２の画像上の被写体が移動していない部分については差異は生じないが、被写体が移動している部分については第１および第２の画像間において差異が生じる。本発明の第２の画像処理装置および方法においては、第１および第２のエッジ情報、並びに差異の有無に応じて、第２の画像に対してノイズ低減処理を施すようにしたため、第１の画像を用いて精度良くエッジを検出しつつも、被写体が移動する等した場合においても第２の画像に含まれるエッジを避けるようにノイズ低減処理を行うことができる。したがって、エッジをぼかすことなくノイズが低減された処理済み画像を取得することができる。
【００３１】
本発明の第３の画像処理装置および方法によれば、赤外線カットフィルタを使用しない撮影により取得された第１の画像に含まれるエッジが検出され、第１および第２の画像の動きが検出され、動きに基づいてエッジの位置が補正される。そして、位置が補正されたエッジを避けるように第２の画像に対してノイズ低減処理が施される。
【００３２】
ここで、第１および第２の画像は、赤外線カットフィルタを光軸上において切り替えて撮影を行うことにより取得されるため、撮影にタイムラグが生じることから、第１および第２の画像において被写体が移動してしまう場合がある。このように被写体が移動すると、第１の画像と第２の画像とのエッジの位置が異なるものとなるため、第１の画像において検出したエッジを避けるように第２の画像に対してノイズ低減処理を施した場合に、第２の画像におけるエッジ上にノイズ低減処理を施してしまうおそれがある。
【００３３】
本発明の第３の画像処理装置および方法においては、第１および第２の画像の動きに基づいて、エッジの位置を補正し、位置が補正されたエッジを避けるように第２の画像に対してノイズ低減処理を施すようにしたため、第１の画像を用いて精度良くエッジを検出しつつも、被写体が移動する等した場合においても第２の画像に含まれるエッジを避けるようにノイズ低減処理を行うことができる。したがって、エッジをぼかすことなくノイズが低減された処理済み画像を取得することができる。
【発明を実施するための最良の形態】
【００３４】
以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように本実施形態によるデジタルカメラ１は、動作モードスイッチ、ズームレバー、上下左右ボタン、レリーズボタンおよび電源スイッチ等の操作系２と、操作系２の操作内容をＣＰＵ４０に伝えるためのインターフェース部分である操作系制御部３とを有している。
【００３５】
撮像系６としては、フォーカスレンズおよびズームレンズからなる撮影レンズ１０を有している。撮影レンズ１０を構成するフォーカスレンズおよびズームレンズは、モータとモータドライバとからなるレンズ駆動部１１によって光軸方向に移動可能である。
【００３６】
絞り１２は、モータとモータドライバとからなる絞り駆動部１３によって駆動される。この絞り駆動部１３は、ＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。
【００３７】
シャッタ１４は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部１５によって駆動される。シャッタ駆動部１５は、レリーズボタンの押下により発生する信号と、ＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードデータとに応じて、シャッタ１４の開閉の制御を行う。
【００３８】
シャッタ１４の後方には、赤外線カットフィルタ１６が設けられている。赤外線カットフィルタ１６は、公知のスライド機構等からなるフィルタ駆動部１７により、撮影系６の光軸上に出し入れ可能とされている。
【００３９】
赤外線カットフィルタ１６の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。
【００４０】
ＣＣＤ１８から取り込まれたアナログ撮影信号は、アナログ信号処理部２０に入力される。アナログ信号処理部２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。
【００４１】
タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１５、フィルタ駆動部１７、ＣＣＤ制御部１９、およびアナログ信号処理部２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、赤外線カットフィルタ１６の光軸上への出し入れ。ＣＣＤ１８の電荷の取込み、およびアナログ信号処理部２０の処理の同期をとっている。
【００４２】
フラッシュ制御部２３は、撮影時にフラッシュ２４を発光させる。
【００４３】
画像入力コントローラ２５は、アナログ信号処理部２０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込む。
【００４４】
フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。
【００４５】
表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ２８に表示させたり、再生モード時に記録メディア３５に保存されている画像データをモニタ２８に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定時間間隔でＣＣＤ１８により連続して撮影される。
【００４６】
ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４０がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。
【００４７】
ＡＦ処理部３０は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。
【００４８】
ＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいてＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。なお、露出およびホワイトバランスについては、撮影モードがマニュアルモードに設定されている場合には、デジタルカメラ１の撮影者がマニュアル操作により設定可能である。また、露出およびホワイトバランスが自動で設定された場合にも、撮影者が操作系２から指示を行うことにより、露出およびホワイトバランスをマニュアル調整することが可能である。
【００４９】
なお、ＡＥ／ＡＷＢ処理部３１は、後述する第１および第２の撮影においてシャッタスピードを同一に設定するものとする。
【００５０】
図２は画像処理部３２の構成を示すブロック図である。図２に示すように、画像処理部３２は、ＹＣ処理部５０、ノイズ低減部５１、オフセット補正部５２、ゲイン補正部５３、色補正部５４およびガンマ補正部５５を備え、まずＹＣ処理部５０において、本画像のＣＣＤ−ＲＡＷデータの色補間処理を行うとともに、ＲＧＢ各色データからなるＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。そして、ＹＣデータを用いて、ノイズ低減処理、オフセット補正処理、色補正処理、およびガンマ補正処理を行う。
【００５１】
なお、本実施形態の特徴はノイズ低減部５１において行われる処理にあるが、ノイズ低減部５１において行われる処理については後述する。
【００５２】
ここで、本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、アナログ信号処理部２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データによる画像である。
【００５３】
圧縮／伸長処理部３３は、画像処理部３２によって処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。また、圧縮／伸長処理部３３は、再生モードの場合には、記録メディア３５から圧縮された画像ファイルを読み出し、伸長処理を行う。伸長後の画像データはモニタ２８に出力され、画像データの画像が表示される。
【００５４】
メディア制御部３４は、記録メディア３５にアクセスして画像ファイルの書き込みと読み込みの制御を行う。
【００５５】
内部メモリ３６は、デジタルカメラ１において設定される各種定数、およびＣＰＵ４０が実行するプログラム等を記憶する。
【００５６】
ＣＰＵ４０は、操作系２およびＡＦ処理部３０等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。また、ＣＰＵ４０は、本画像の撮影時に、１回のレリーズ動作により、まず赤外線カットフィルタ１６を光軸上から退避させた状態での撮影、すなわち赤外線カットフィルタ１６を使用しない第１の撮影、および赤外線カットフィルタ１６を光軸上に位置せしめた状態での撮影、すなわち赤外線カットフィルタ１６を使用した第２の撮影という、２回の撮影を連続して行うよう、デジタルカメラ１の本体各部を制御する。これにより、１回のレリーズ動作により第１の撮影による第１の画像Ｓ１および第２の撮影による第２の画像Ｓ２が取得される。なお、第１および第２の画像Ｓ１，Ｓ２はＣＣＤ−ＲＡＷデータにより表される本画像であり、ＲＧＢ各色データからなる。
【００５７】
データバス４１は、各種処理部、フレームメモリ２６およびＣＰＵ４０等に接続されており、デジタル画像データおよび各種指示等のやり取りを行う。
【００５８】
デジタルカメラ１は以上の構成により、撮影によりＣＣＤ１８が取得した本画像のＣＣＤ−ＲＡＷデータに対して画像処理部３２が画像処理を施し、さらに圧縮／伸長処理部３３が処理済みの画像データを圧縮し、さらにメディア制御部３４が圧縮された画像データを記録メディア３５に記録する。
【００５９】
次いで、第１の実施形態において行われるノイズ低減処理について詳細に説明する。図３は第１の実施形態におけるノイズ低減部５１の構成を示す概略ブロック図である。図３に示すように、第１の実施形態におけるノイズ低減部５１は、第１の画像Ｓ１をＹＣ処理することにより取得されるＹ１データ、Ｃｂ１データおよびＣｒ１データ、並びに第２の画像Ｓ２をＹＣ処理することにより取得されるＹ２データ、Ｃｂ２データおよびＣｒ２データが入力されるものであり、エッジ検出部６１および処理部６２を備える。
【００６０】
次いで、第１の実施形態におけるノイズ低減部５１が行う処理について説明する。図４は第１の実施形態において行われるノイズ低減処理のフローチャートである。ノイズ低減部５１にＹ１データ、Ｃｂ１データおよびＣｒ１データ並びにＹ２データ、Ｃｂ２データおよびＣｒ２データが入力されることにより処理が開始され、エッジ検出部６１が、Ｙ１データ、Ｃｂ１データおよびＣｒ１データにより表されるＹ１画像、Ｃｂ１画像およびＣｒ１画像に含まれるエッジを検出し、エッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅを生成する（ステップＳＴ１）。
【００６１】
具体的には、Ｙ１画像、Ｃｂ１画像およびＣｒ１画像に、ハイパスフィルタによるフィルタリング処理を施すことにより、Ｙ１画像、Ｃｂ１画像およびＣｒ１画像に含まれるエッジを検出する。図５はハイパスフィルタの例を示す図である。ここで、ハイパスフィルタＨＰ１〜ＨＰ４は、それぞれ画像の垂直方向（Ｖ方向）、水平方向（Ｈ方向）、左下から右上方向（ＮＥ方向）および右下から左上方向（ＮＷ方向）のエッジを検出するためのものである。なお、ハイパスフィルタＨＰ１〜ＨＰ４のフィルタ係数は図５に示すものに限定されるものではない。
【００６２】
エッジ検出部６１は、Ｙ１画像、Ｃｂ１画像およびＣｒ１画像の全画素について、上記ハイパスフィルタＨＰ１〜ＨＰ４によるフィルタリング処理を行う。そして、ハイパスフィルタＨＰ１〜ＨＰ４の出力結果がすべてあらかじめ定められた判定しきい値Ｔｈ１以下となった画素については、その画素にはエッジはないと判定する。一方、１以上のハイパスフィルタＨＰ１〜ＨＰ４の出力結果がしきい値Ｔｈ１を超えた画素については、最大の出力結果を得たハイパスフィルタＨＰ１〜ＨＰ４により定められる方向にエッジが存在すると判定する。したがって、ハイパスフィルタＨＰ１の出力結果が最大であった場合にはＶ方向、ハイパスフィルタＨＰ２の出力結果が最大であった場合にはＨ方向、ハイパスフィルタＨＰ３の出力結果が最大であった場合にはＮＥ方向、ハイパスフィルタＨＰ４の出力結果が最大であった場合にはＮＷ方向にエッジが存在すると判定する。
【００６３】
図６はエッジ画像の例を示す図である。図６に示すようにエッジ画像は、エッジがないと判定された画素Ｎと、エッジが検出された場合のＨ，Ｖ，ＮＥ，ＮＷのそれぞれの方向を表す画素Ｈ，Ｖ，ＮＥ，ＮＷとからなる。例えばエッジがないと判定された画素については信号値は０となり、エッジが検出された画素については信号値を１とするとともに、その方向を表す情報が付与される。
【００６４】
次いで、処理部６２が、Ｙ２データ、Ｃｂ２データおよびＣｒ２データにより表されるＹ２画像、Ｃｂ２画像およびＣｒ２画像に対して、エッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅに基づいてエッジを避けるようにノイズ低減処理を行い（ステップＳＴ２）、ノイズ低減処理を終了する。
【００６５】
具体的には、Ｙ２画像、Ｃｂ２画像およびＣｒ２画像に、ローパスフィルタによるフィルタリング処理を施すことにより、Ｙ２画像、Ｃｂ２画像およびＣｒ２画像に含まれるエッジを避けるようにノイズ低減処理を施す。図７はローパスフィルタの例を示す図である。ここで、ローパスフィルタＬＰ０はエッジがないと判定された画素に、ローパスフィルタＬＰ１〜ＬＰ４は、エッジの方向がそれぞれＶ方向、Ｈ方向、ＮＥ方向およびＮＷ方向と判定された画素に使用される。このようにローパスフィルタＬＰ０〜ＬＰ４によりフィルタリング処理を行うことにより、エッジがないと判定された画素は平均化されることによりノイズが低減される。一方、エッジがあると判定された画素はそのエッジが存在する方向に対してフィルタリング処理が施されるため、エッジをぼかすことなくノイズが低減される。
【００６６】
なお、ローパスフィルタＬＰ０〜ＬＰ４のフィルタ係数は図７に示すものに限定されるものではない。
【００６７】
ノイズ低減処理済みのＹｆデータ、Ｃｂｆデータ、Ｃｒｆデータは、オフセット補正部５２、ゲイン補正部５３、色補正部５４、およびガンマ補正部５５において、オフセット補正処理、色補正処理およびガンマ補正処理が施される。
【００６８】
そして、圧縮／伸長処理部３３が、画像処理部３２によって処理が行われたＹｆデータ、Ｃｂｆデータ、Ｃｒｆデータに対して、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。生成された画像ファイルはメディア制御部３４により記録メディア３５に記録される。
【００６９】
ここで、赤外線カットフィルタ１６を使用しない撮影により取得された第１の画像Ｓ１は、人間の目に見えない波長域を含むため感度が高くなってノイズは少なくなるが、画像に赤味がかかってしまうことから被写体の色を正しく再現することができない。一方、赤外線カットフィルタ１６を使用した撮影により取得された第２の画像Ｓ２は、ＣＣＤ１８に到達する光量が少ないためにノイズが多いものの、被写体の色を正しく再現することができる。第１の実施形態においては、第１の画像Ｓ１からエッジを検出しているため、ノイズに影響されることなく、精度良くエッジを検出することができる。したがって、エッジを確実に避けるように第２の画像Ｓ２に対してノイズ低減処理を施すことができ、その結果、エッジをぼかすことなくノイズが低減された処理済み画像を取得することができる。
【００７０】
次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においては第１の実施形態におけるノイズ低減部の構成のみが異なるため、以降の説明においては第１の実施形態との相違点についてのみ説明する。図８は第２の実施形態におけるノイズ低減部の構成を示す概略ブロック図である。図８に示すように、第２の実施形態におけるノイズ低減部５１Ａは、第１の画像Ｓ１をＹＣ処理することにより取得されるＹ１データ、Ｃｂ１データおよびＣｒ１データ、第２の画像Ｓ２をＹＣ処理することにより取得されるＹ２データ、Ｃｂ２データおよびＣｒ２データ、ＹＣ処理前の第１の画像Ｓ１におけるＢの色データＢ１、並びにＹＣ処理前の第２の画像Ｓ２におけるＢの色データＢ２が入力されるものであり、エッジ検出部７１、差異検出部７２および処理部７３を備える。
【００７１】
次いで、第２の実施形態におけるノイズ低減部５１Ａが行う処理について説明する。図９は第２の実施形態において行われるノイズ低減処理のフローチャートである。ノイズ低減部５１ＡにＹ１データ、Ｃｂ１データおよびＣｒ１データ、Ｙ２データ、Ｃｂ２データおよびＣｒ２データ、Ｂ１データ並びにＢ２データが入力されることにより処理が開始され、エッジ検出部７１が、Ｙ１画像、Ｃｂ１画像およびＣｒ１画像、並びにＹ２画像、Ｃｂ２画像およびＣｒ２画像に含まれるエッジを検出し、エッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅおよびエッジ画像Ｙ２ｅ，Ｃｂ２ｅ，Ｃｒ２ｅを生成する（ステップＳＴ１１）。
【００７２】
なお、エッジの検出は上記第１の実施形態と同様に、ハイパスフィルタによるフィルタリング処理により行えばよい。第２の実施形態においては、Ｙ２画像、Ｃｂ２画像およびＣｒ２画像のエッジ画像Ｙ２ｅ，Ｃｂ２ｅ，Ｃｒ２ｅをさらに生成する点が第１の実施形態と異なる。
【００７３】
一方、差異検出部７２が、Ｂ１，Ｂ２データにより表されるＢ１画像，Ｂ２画像の相対応する位置における画素の差分値の絶対値｜Ｂ１(i,j)−Ｂ２(i,j)｜を算出する（ステップＳＴ１２）。なお、(i,j)はＢ１画像，Ｂ２画像の相対応する画素の座標値であり、初期値は(i,j)＝(1,1)である。
【００７４】
ここで、ＣＣＤ１８に設けられているＲＧＢ各色のフィルタおよび赤外線カットフィルタ１６の透過特性を図１０に示す。なお、図１０においては透過率は最大１．０としている。また、図１０においてＲ，Ｇ，Ｂ、ＩＲはそれぞれＲＧＢ各色フィルタおよび赤外線カットフィルタ１６の透過特性を示している。図１０に示すように、ＲおよびＧの色フィルタが透過する光の波長域は、赤外線カットフィルタ１６が透過する光の波長域と部分的に重なる。このため、赤外線カットフィルタ１６を使用しない第１の撮影と、赤外線カットフィルタ１６を使用した第２の撮影とでシャッタスピードが同一であると、第１および第２の撮影においてＣＣＤ１８に到達するＲおよびＧの光量は異なるものとなる。これに対して、Ｂの色フィルタが透過する光の波長域は赤外線カットフィルタ１６が透過する光の波長域とは重ならないため、シャッタスピードが同一であれば第１および第２の撮影においてＣＣＤ１８に到達するＢの光量は同一となる。
【００７５】
したがって、差異検出部７２において、Ｂ１画像およびＢ２画像を用いることにより、精度良く相対応する位置における画素の差分値の絶対値｜Ｂ１(i,j)−Ｂ２(i,j)｜を算出することができる。
【００７６】
次いで、処理部７３が、差分値の絶対値｜Ｂ１(i,j)−Ｂ２(i,j)｜がしきい値Ｔｈ１以下であるか否かを判定する（ステップＳＴ１３）。ここで、第１および第２の画像Ｓ１，Ｓ２は、赤外線カットフィルタ１６を光軸上において切り替えて撮影を行うことにより取得されるため、撮影にタイムラグが生じることから、第１および第２の画像において被写体が移動してしまう場合がある。例えば、被写体を人物とした場合に被写体が手を振っていたりすると、図１１に示すように、第１および第２の画像Ｓ１，Ｓ２において、人物の手の位置が異なるものとなる。
【００７７】
したがって、図１１に示す第１および第２の画像Ｓ１，Ｓ２の場合、差分値の絶対値｜Ｂ１(i,j)−Ｂ２(i,j)｜は、手に対応する画素以外の画素においてはしきい値Ｔｈ１以下となり、手に対応する画素についてはしきい値Ｔｈ１を超えることとなる。ここで、差分値の絶対値｜Ｂ１(i,j)−Ｂ２(i,j)｜がしきい値Ｔｈ１以下となることは、第１および第２の画像Ｓ１，Ｓ２において、エッジの位置が変わらないことを意味する。このため、ステップＳＴ１３が肯定されると、処理部７３は、第１の実施形態と同様に、赤外線カットフィルタ１６を使用しない撮影により取得されたＹ１画像、Ｃｂ１画像およびＣｒ１画像から検出したエッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅに基づいて、Ｙ２画像、Ｃｂ２画像およびＣｒ２画像に対して、エッジを避けるようにノイズ低減処理を行う（第１のノイズ低減処理：ステップＳＴ１４）。
【００７８】
一方、差分値の絶対値｜Ｂ１(i,j)−Ｂ２(i,j)｜がしきい値Ｔｈ１を超えるということは、第１および第２の画像Ｓ１，Ｓ２において、エッジの位置が変化したことを意味する。このような場合、第１の実施形態と同様に、エッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅに基づいて、エッジを避けるようにＹ２画像、Ｃｂ２画像およびＣｒ２画像に対して、ノイズ低減処理を行った場合、Ｙ２画像、Ｃｂ２画像およびＣｒ２画像におけるエッジの部分に対してノイズ低減処理を施してしまうおそれがある。
【００７９】
このため、処理部７３は、ステップＳＴ１３が否定されると、赤外線カットフィルタ１６を使用した撮影により取得されたＹ２画像、Ｃｂ２画像およびＣｒ２画像から検出したエッジ画像Ｙ２ｅ，Ｃｂ２ｅ，Ｃｒ２ｅに基づいて、Ｙ２画像、Ｃｂ２画像およびＣｒ２画像に対して、エッジを避けるようにノイズ低減処理を行う（第２のノイズ低減処理：ステップＳＴ１５）。
【００８０】
そして、すべての画素についてノイズ低減処理を終了したか否かを判定し（ステップＳＴ１６）、ステップＳＴ１６が否定されると、処理対象を次の画素に設定し（ステップＳＴ１７）、ステップＳＴ１２に戻ってステップＳＴ１２以降の処理を繰り返す。ステップＳＴ１６が肯定されると、ノイズ低減処理を終了する。
【００８１】
このように、第２の実施形態においては、差異検出部７２が算出した差分値の絶対値｜Ｂ１(i,j)−Ｂ２(i,j)｜がしきい値Ｔｈ１以下となる場合には、ノイズに影響されずに精度良く検出されたエッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅを、しきい値Ｔｈ１を超える場合には、ノイズに影響されているものの、エッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅよりは第２の画像Ｓ２のエッジの位置を正確に表しているエッジ画像Ｙ２ｅ，Ｃｂ２ｅ，Ｃｒ２ｅに基づいて、エッジを避けるようにノイズ低減処理を行うようにしたものである。このため、第１の画像Ｓ１を用いて精度良くエッジを検出しつつも、被写体が移動する等した場合においても、第２の画像Ｓ２に含まれるエッジを避けるようにノイズ低減処理を行うことができ、その結果、エッジをぼかすことなくノイズが低減された処理済み画像を取得することができる。
【００８２】
なお、上記第２の実施形態においては、差異検出部７２において、Ｂ１，Ｂ２データにより表されるＢ１画像，Ｂ２画像の相対応する位置における画素の差分値の絶対値｜Ｂ１(i,j)−Ｂ２(i,j)｜を算出しているが、Ｂ１画像，Ｂ２画像の相対応する位置における画素の比率を算出するようにしてもよい。ここで、被写体が移動していない場合、比率は１に近い値となり、被写体が移動した場合比率は１から離れた値となるため、比率の際に応じて上記と同様に第１および第２のノイズ低減処理を行うことができる。
【００８３】
また、上記第２の実施形態においては、差異検出部７２においてＢ１，Ｂ２データにより表されるＢ１画像およびＢ２画像を用いているが、Ｂ１画像およびＢ２画像に代えてＹ１画像およびＹ２画像を用いてもよい。また、Ｃｂ１画像およびＣｂ２画像、またはＣｒ１画像およびＣｒ２画像を用いてもよい。さらには、Ｇ１画像およびＧ２画像、またはＲ１画像およびＲ２画像を用いてもよい。この場合、各画像の信号値のレベルに応じて、判定しきい値Ｔｈ１のレベルを変更すればよい。
【００８４】
次いで、本発明の第３の実施形態について説明する。なお、第３の実施形態においては第１の実施形態におけるノイズ低減部の構成のみが異なるため、以降の説明においては第１の実施形態との相違点についてのみ説明する。図１２は第３の実施形態におけるノイズ低減部の構成を示す概略ブロック図である。図１２に示すように、第３の実施形態におけるノイズ低減部５１Ｂは、第１の画像Ｓ１をＹＣ処理することにより取得されるＹ１データ、Ｃｂ１データおよびＣｒ１データ、第２の画像Ｓ２をＹＣ処理することにより取得されるＹ２データ、Ｃｂ２データおよびＣｒ２データ、ＹＣ処理前の第１の画像Ｓ１におけるＢの色データＢ１、並びにＹＣ処理前の第２の画像Ｓ２におけるＢの色データＢ２が入力されるものであり、エッジ検出部８１、動き検出部８２、エッジ補正部８３および処理部８４を備える。
【００８５】
次いで、第３の実施形態におけるノイズ低減部５１Ｂが行う処理について説明する。図１３は第３の実施形態において行われるノイズ低減処理のフローチャートである。ノイズ低減部５１ＢにＹ１データ、Ｃｂ１データおよびＣｒ１データ、Ｙ２データ、Ｃｂ２データおよびＣｒ２データ、Ｂ１データ並びにＢ２データが入力されることにより処理が開始され、エッジ検出部８１が、Ｙ１画像、Ｃｂ１画像およびＣｒ１画像に含まれるエッジを検出し、エッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅを生成する（ステップＳＴ２１）。なお、エッジの検出は上記第１の実施形態と同様に、ハイパスフィルタによるフィルタリング処理により行えばよい。
【００８６】
一方、動き検出部８２が、Ｂ１，Ｂ２データにより表されるＢ１画像およびＢ２画像の動きを検出する（ステップＳＴ２２）。具体的には、Ｂ１画像、Ｂ２画像について互いに対応する対応点を検出し、対応点の移動量および移動方向を表す動きベクトルを動きとして検出する。なお、動きベクトルの検出の方法としては、例えば「Shape and Motion form Image Streams: a Factorization Mehtod-Part 3」および「Detection and Tracking of Pont Features ( Technical Report CMU-CS-91-132」に記載された手法等、公知の任意の手法を用いることができる。また、動きベクトルはＢ１画像の全画素について検出される。なお、Ｂ１画像およびＢ２画像を用いて動きを検出しているのは、第２の実施形態と同様の理由による。
【００８７】
次いで、エッジ補正部８３が、検出された動きに基づいて、エッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅにおけるエッジの位置を補正する（ステップＳＴ２３）。ここで、第１および第２の画像Ｓ１，Ｓ２は、赤外線カットフィルタ１６を光軸上において切り替えて撮影を行うことにより取得されるため、撮影にタイムラグが生じることから、第１および第２の画像において被写体が移動してしまう場合がある。例えば、被写体を人物とした場合に被写体が手を振っていたりすると、上記図１１に示すように、第１および第２の画像Ｓ１，Ｓ２において、人物の手の位置が異なるものとなる。
【００８８】
このような場合、第１の画像Ｓ１上における動きベクトルは、手に対応する画素以外の画素においては０となるが、手に対応する画素については図１４に示すように第１の画像Ｓ１および第２の画像Ｓ２上における対応点の位置の相違に応じて動きベクトルが大きくなる。したがって、エッジ補正部８３は、Ｙ２画像、Ｃｂ２画像およびＣｒ２画像におけるエッジの位置と同一の位置となるように、エッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅにおけるエッジの位置を、動きベクトルに基づいて補正する。
【００８９】
次いで、処理部８４が、Ｙ２データ、Ｃｂ２データおよびＣｒ２データにより表されるＹ２画像、Ｃｂ２画像およびＣｒ２画像に対して、補正されたエッジ画像Ｙ１ｅ′，Ｃｂ１ｅ′，Ｃｒ１ｅ′に基づいて、エッジを避けるようにノイズ低減処理を行い（ステップＳＴ２４）、ノイズ低減処理を終了する。
【００９０】
このように、第３の実施形態においては、動き検出部８２が検出した動きに基づいて、エッジ画像Ｙ１ｅ，Ｃｂ１ｅ，Ｃｒ１ｅにおけるエッジの位置を補正し、位置が補正されたエッジを避けるようにＹ２画像、Ｃｂ２画像およびＣｒ２画像に対してノイズ低減処理を施すようにしたものである。
【００９１】
このため、第１の画像Ｓ１を用いて精度良くエッジを検出しつつも、被写体が移動する等した場合においても第２の画像Ｓ２に含まれるエッジを避けるようにノイズ低減処理を行うことができ、その結果、エッジをぼかすことなくノイズが低減された処理済み画像を取得することができる。
【００９２】
なお、上記第３の実施形態においては、動き検出部８２においてＢ１，Ｂ２データにより表されるＢ１画像およびＢ２画像を用いているが、Ｂ１画像およびＢ２画像に代えてＹ１画像およびＹ２画像を用いてもよい。また、Ｃｂ１画像およびＣｂ２画像、またはＣｒ１画像およびＣｒ２画像を用いてもよい。さらには、Ｇ１画像およびＧ２画像、またはＲ１画像およびＲ２画像を用いてもよい。
【００９３】
また、上記第１から第３の実施形態においては、エッジ検出部６１，７１，８１がＹ１，Ｙ２画像、Ｃｂ１，Ｃｂ２画像およびＣｒ１，Ｃｒ１画像に含まれるエッジを検出しているが、例えばＹ１，Ｙ２画像のみからエッジを検出してエッジ画像Ｙ１ｅ，Ｙ２ｅを生成し、ノイズ低減処理を行う際には、エッジ画像Ｙ１ｅ，Ｙ２ｅのみを参照してＹ２画像、Ｃｂ２画像およびＣｒ２画像に対してノイズ低減処理を施すようにしてもよい。
【００９４】
また、上記第１から第３の実施形態においては、第１および第２の撮影を同一のシャッタスピードにて行っているが、赤外線カットフィルタ１６の有無によるＣＣＤ１８に到達する光量の相違を考慮して、異なるシャッタスピードにて第１および第２の撮影を行うようにしてもよい。この場合、第２の実施形態においては、各画像の信号値のレベルに応じて、判定しきい値Ｔｈ１のレベルを変更すればよい。
【００９５】
また、上記第１から第３の実施形態においては、ＹＣ処理後にノイズ低減処理を行っているが、ＹＣ処理前のＲＧＢ各色の画像に対してノイズ低減処理を行うようにしてもよい。この場合、第１および第３の実施形態においては、第１の画像を構成するＲＧＢ各色画像からエッジを検出し、第２の画像Ｓ２のＲＧＢ各色画像に対してノイズ低減処理を行うこととなる。また、第２の実施形態においては、第１および第２の画像を構成するＲＧＢ各色画像からエッジを検出し、第２の画像Ｓ２のＲＧＢ各色画像に対してノイズ低減処理を行うこととなる。
【００９６】
以上、本発明の画像処理装置の実施形態をデジタルカメラに適用しているが、デジタルカメラにより取得された画像データに対して、上記と同様にノイズ低減処理を行う画像処理装置のみを提供してもよい。また、コンピュータを、上記のエッジ検出部、ノイズ低減処理部、差異検出部および動き検出部に対応する手段として機能させ、図４，９，１３に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。
【図面の簡単な説明】
【００９７】
【図１】本発明の第１の実施形態による画像処理装置を適用したデジタルカメラの構成を示す概略ブロック図
【図２】画像処理部の構成を示すブロック図
【図３】第１の実施形態におけるノイズ低減部の構成を示す概略ブロック図
【図４】第１の実施形態において行われるノイズ低減処理のフローチャート
【図５】ハイパスフィルタの例を示す図
【図６】エッジ画像の例を示す図
【図７】ローパスフィルタの例を示す図
【図８】第２の実施形態におけるノイズ低減部の構成を示す概略ブロック図
【図９】第２の実施形態において行われるノイズ低減処理のフローチャート
【図１０】ＲＧＢ各色のフィルタと赤外線カットフィルタの透過特性を示す図
【図１１】被写体の動きを説明するための図
【図１２】第３の実施形態におけるノイズ低減部の構成を示す概略ブロック図
【図１３】第３の実施形態において行われるノイズ低減処理のフローチャート
【図１４】動きベクトルを説明するための図
【符号の説明】
【００９８】
１    デジタルカメラ
３２  画像処理部
５１，５１Ａ，５１Ｂ  ノイズ低減部
６１，７１，８１    エッジ検出部
６２，７３，８４    処理部
７２    差異検出部
８２    動き検出部
８３    エッジ補正部
【図１】
2008271024.tif 000003
【図２】
2008271024.tif 000004
【図３】
2008271024.tif 000005
【図４】
2008271024.tif 000006
【図５】
2008271024.tif 000007
【図６】
2008271024.tif 000008
【図７】
2008271024.tif 000009
【図８】
2008271024.tif 000010
【図９】
2008271024.tif 000011
【図１０】
2008271024.tif 000012
【図１１】
2008271024.tif 000013
【図１２】
2008271024.tif 000014
【図１３】
2008271024.tif 000015
【図１４】
2008271024.tif 000016