(57)【要約】【課題】撮影画像に含まれるノイズを効果的に除去することが可能となる撮像装置、及び画像ノイズ除去方法を提供する。【解決手段】撮影時に、通常の撮像動作と、シャッターを閉じた状態での撮像動作を行い、通常の撮影画像データ１０１とノイズ画像データ１０２とを取得する。撮影画像データ１０１において、ノイズ画像データ１０２に存在するノイズパターン部分と位置及び形状のみが一致するノイズパターン部分を検索し、検索したノイズパターン部分を構成する画素のみを対象として、ノイズ成分を除去する補正を行う。撮影画像データ１０１に新たなノイズを生成することなく、暗電流による再現性のあるノイズと同時に、撮像された画像から再現性のあったランダムノイズを除去することができる。【選択図】      図３
2006246088.tif 000002
【特許請求の範囲】
【請求項１】
入射光を光電変換し撮像信号を出力する撮像手段と、
この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された撮像信号に基づく第１の画像データを取得する第１の撮影制御手段と、
前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された撮像信号に基づく第２の画像データを取得する第２の撮影制御手段と、
前記第１の撮影制御手段により取得された第１の画像データと、前記第２の撮影制御手段により取得された第２の画像データとを比較し、この比較結果に基づき、前記第１の撮影制御手段により取得された第１の画像データを補正する補正手段と
を備えたことを特徴とする撮像装置。
【請求項２】
前記補正手段は、
前記第２の画像データからノイズ成分が含まれる画素により構成されるノイズパターン部分を検出し、前記第１の画像データの対応する部分に前記ノイズパターン部分と形状が一致するノイズパターン部分が存在するか否かを確認し、それが存在した場合に、当該ノイズパターン部分を前記補正対象として決定する決定手段を含み、
前記第１の画像データにおける、前記決定手段により補正対象として決定されたノイズパターン部分を構成する画素のみを対象としてノイズ成分を取り除く所定の補正を行うことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記補正手段は、
前記第１の画像データからノイズ成分が含まれると判断した画素により構成されるノイズパターン部分を検出するとともに、前記第２の画像データからノイズ成分が含まれる画素により構成されるノイズパターン部分を検出し、前記第１の画像データから検出したノイズパターン部分と、前記第２の画像データから検出したノイズパターン部分とを個別に比較し、位置及び形状が一致するノイズパターン部分を前記補正対象として決定する決定手段を含み、
前記第１の画像データにおける、前記決定手段により補正対象として決定されたノイズパターン部分を構成する画素のみを対象としてノイズ成分を取り除く所定の補正を行うことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記補正手段は、前記決定手段により補正対象として決定されたパターン部分を構成する画素のみを、当該パターン部分を構成する画素の値から、当該パターン部分が対応する前記ノイズパターン部分を構成する画素の値を減算する補正を行うことを特徴とする請求項１，２又は３記載の撮像装置。
【請求項５】
前記補正手段は、前記決定手段により補正対象として決定されたパターン部分を構成する画素のみを、当該画素の周辺画素であってノイズ成分が含まれないと判断した画素に基づく補正を行うことを特徴とする請求項１，２又は３記載の撮像装置。
【請求項６】
撮像手段から出力された撮像信号に基づく画像データに存在するノイズを除去する撮像装置のノイズ除去方法であって、
前記撮像手段への入射光路を開とした状態で、前記撮像手段から出力された撮像信号に基づく第１の画像データを取得する工程と、
前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された撮像信号に基づく第２の画像データを取得する工程と、
前記第１の画像データと前記第２の画像データとを比較し、この比較結果に基づき、前記第１の画像データを補正する工程と
を含むことを特徴とする撮像装置のノイズ除去方法。
【請求項７】
入射光を光電変換し撮像信号を出力する撮像手段を備えた撮像装置が有するコンピュータに、
前記撮像手段への入射光路を開とした状態で、前記撮像手段から出力された撮像信号に基づく第１の画像データを取得する処理と、
前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された撮像信号に基づく第２の画像データを取得する処理と、
前記第１の画像データと前記第２の画像データとを比較し、この比較結果に基づき、前記第１の画像データを補正する処理と
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及びノイズ除去方法に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置においてはＣＣＤやＭＯＳ型の固体撮像素子が用いられている。ＣＣＤ等においては、撮影レンズ等の光学系によって受光面に結像された被写体の光学像を光電変換することにより撮像信号として出力している。
【０００３】
ところで、ＣＣＤ等によって撮像される画像には不可避的に種々のノイズが含まれている。例えばＣＣＤ等が、入射光を遮断した状態においても出力電圧が生じる、いわゆる暗出力（暗電圧）特性を有することに起因した暗電流によるノイズや、撮像信号がデジタル信号へ変換される過程で、例えば電源のゆらぎや、Ａ／Ｄ変換時のサンプリング調整のばらつき等の影響による生ずるノイズ等である。
【０００４】
ここで上記暗電流によるノイズは、ＣＣＤ等を構成する光電変換素子に固有のものであるため、同一環境下で再現性を有する固定パターンノイズである。係るノイズの除去方法としては、例えば撮影時に、通常の撮像動作により本画像を取得する際、シャッターを閉じた状態での撮像を行うことによりノイズ成分のみからなるノイズ画像を併せて取得し、本画像からノイズ画像を減算することによってノイズ成分のない撮影画像を得る方法が知られている（例えば下記特許文献１参照）。また、それとは別に、下記特許文献２には、撮像した画像に含まれるノイズの除去に際し、本画像からノイズに相当する画素部分を検出し、検出画素を周辺画素との相関関係に基づき補正する方法が記載されている。
【特許文献１】特開２０００−３５００９１号公報
【特許文献２】特開平６−８６０９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前述した電源のゆらぎや、Ａ／Ｄ変換時のサンプリング調整のばらつき等の影響による生ずるノイズは、暗電流によるものとは異なり時間的に不規則に存在する再現性の低いランダムノイズである。そのため暗電流によるノイズを除去する場合のように、本画像からノイズ画像を減算する方法を用いたのでは効果的なノイズ除去ができないという問題があった。
【０００６】
つまりランダムノイズは再現性の低いノイズであるため、ノイズ画像には存在するが本画像には存在しないノイズも多数存在している。したがって、前述したように本画像からノイズ画像を減算すると、本画像においては、ランダムノイズではない部分（画素）までもが補正されることとなり、結果的に、補正した画素部分が新たなノイズとなってしまうためである。係る不具合は上述した他の方法のように、本画像からノイズに相当する画素部分を検出して補正する場合においても同様である。すなわち本画像内においてノイズに相当する画素部分を正確に検出するのは困難であるため、誤ってノイズと検出された画素部分には新たなノイズが生成されてしまうためである。
【０００７】
本発明は、かかる従来の課題に鑑みてなされたものであり、撮影画像に含まれるノイズを効果的に除去することが可能となる撮像装置、及び画像ノイズ除去方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
前記課題を解決するため請求項１の発明にあっては、入射光を光電変換し撮像信号を出力する撮像手段と、この撮像手段への入射光路を開とした状態で、前記撮像手段から出力された撮像信号に基づく第１の画像データを取得する第１の撮影制御手段と、前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された撮像信号に基づく第２の画像データを取得する第２の撮影制御手段と、前記第１の撮影制御手段により取得された第１の画像データと、前記第２の撮影制御手段により取得された第２の画像データとを比較し、この比較結果に基づき、前記第１の撮影制御手段により取得された第１の画像データを補正する補正手段とを備えたものとした。
【０００９】
かかる構成においては、第１の画像データ、つまり撮像された画像に新たなノイズを生成することなく、暗電流による再現性のあるノイズと同時に、撮像された画像から再現性のあったランダムノイズを除去することができる。
【００１０】
また、請求項２の発明にあっては、前記補正手段は、前記第２の画像データからノイズ成分が含まれる画素により構成されるノイズパターン部分を検出し、前記第１の画像データの対応する部分に前記ノイズパターン部分と形状が一致するノイズパターン部分が存在するか否かを確認し、それが存在した場合に、当該ノイズパターン部分を前記補正対象として決定する決定手段を含み、前記第１の画像データにおける、前記決定手段により補正対象として決定されたノイズパターン部分を構成する画素のみを対象としてノイズ成分を取り除く所定の補正を行うものとした。
【００１１】
また、請求項３の発明にあっては、前記補正手段は、前記第１の画像データからノイズ成分が含まれると判断した画素により構成されるノイズパターン部分を検出するとともに、前記第２の画像データからノイズ成分が含まれる画素により構成されるノイズパターン部分を検出し、前記第１の画像データから検出したノイズパターン部分と、前記第２の画像データから検出したノイズパターン部分とを個別に比較し、位置及び形状が一致するノイズパターン部分を前記補正対象として決定する決定手段を含み、前記第１の画像データにおける、前記決定手段により補正対象として決定されたノイズパターン部分を構成する画素のみを対象としてノイズ成分を取り除く所定の補正を行うものとした。
【００１２】
また、請求項４の発明にあっては、前記補正手段は、前記決定手段により補正対象として決定されたパターン部分を構成する画素のみを、当該パターン部分を構成する画素の値から、当該パターン部分が対応する前記ノイズパターン部分を構成する画素の値を減算する補正を行うものとした。
【００１３】
また、請求項５の発明にあっては、前記補正手段は、前記決定手段により補正対象として決定されたパターン部分を構成する画素のみを、当該画素の周辺画素であってノイズ成分が含まれないと判断した画素に基づく補正を行うものとした。
【００１４】
また、請求項６の発明にあっては、撮像手段から出力された撮像信号に基づく画像データに存在するノイズを除去する撮像装置のノイズ除去方法であって、前記撮像手段への入射光路を開とした状態で、前記撮像手段から出力された撮像信号に基づく第１の画像データを取得する工程と、前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された撮像信号に基づく第２の画像データを取得する工程と、前記第１の画像データと前記第２の画像データとを比較し、この比較結果に基づき、前記第１の画像データを補正する工程とを含む方法とした。
【００１５】
かかる方法によれば、第１の画像データ、つまり撮像された画像に新たなノイズを生成することなく、暗電流による再現性のあるノイズと同時に、撮像された画像から再現性のあったランダムノイズを除去することができる。
【００１６】
また、請求項７の発明にあっては、入射光を光電変換し撮像信号を出力する撮像手段を備えた撮像装置が有するコンピュータに、前記撮像手段への入射光路を開とした状態で、前記撮像手段から出力された撮像信号に基づく第１の画像データを取得する処理と、前記撮像手段への入射光路を閉とした状態で、前記撮像手段から出力された撮像信号に基づく第２の画像データを取得する処理と、前記第１の画像データと前記第２の画像データとを比較し、この比較結果に基づき、前記第１の画像データを補正する処理とを実行させるためのプログラムとした。
【発明の効果】
【００１７】
以上のように本発明においては、撮像された画像に新たなノイズを生成することなく、暗電流による再現性のあるノイズと同時に、撮像された画像から再現性のあったランダムノイズを除去することができるようにした。よって、撮影画像に含まれるノイズを効果的に除去することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の一実施の形態を図にしたがって説明する。図１は、本発明に係るデジタルカメラのブロック図である。本実施の形態のデジタルカメラはＡＥ（自動露出）機能等の一般的な機能を備えたものであって、以下の構成を備えている。
【００１９】
すなわちデジタルカメラにおいては、撮像レンズ１、メカシャッタ２を介してＣＣＤ３（撮像手段）に被写体の光学像が結像される。ＣＣＤ３はＴＧ（Timing Generator）４により所定の周期で走査駆動されて、結像された被写体の光学像を画素毎に光電変換し、光の強さに応じた画素信号からなるアナログの撮像信号をアナログ処理部５に出力する。前記メカシャッタ２は、ＣＰＵ６から送られる開閉信号に基づきアクチュエータ１３により駆動されＣＣＤ３への入射光路を開閉する。すなわち撮影時には、ＡＥ機能により決定されたシャッター速度に応じた時間だけ「開」駆動される。
【００２０】
アナログ処理部５は、ＣＣＤ３から入力した撮像信号に含まれるノイズを除去するＣＤＳ（Correlated Double Sampling：相関二重サンプリング回路）と、ＣＤＳを経た撮像信号を増幅するアナログアンプであるＡＧＣ（ゲイン調整アンプ）と、ＡＧＣで増幅され調整されたアナログの撮像信号をデジタル信号に変換するＡＤ（Ａ／Ｄ変換器）とからなり、デジタルデータ化した撮像信号をＣＰＵ６に出力する。
【００２１】
ＣＰＵ６は、デジタルカメラの各部を制御するとともに、画像データの圧縮・伸張を含む各種のデジタル信号処理機能を備えている。そして、デジタル信号処理を施された画像データは、アドレス・データバス７を介して順次ＤＲＡＭ８に蓄積される。ＤＲＡＭ８に蓄積された画像データは、所定の画像処理ブロック単位で読み出され、Ｒ，Ｇ，Ｂ毎のデジタルの画像データに変換され、さらに輝度（Ｙ）信号・色差（Ｃｂ，Ｃｒ）信号の画像データへ変換される。さらに変換後の画像データからはビデオ信号が生成されて液晶モニタ９へ送られる。
【００２２】
液晶モニタ９は、カラー表示可能な液晶表示器及びその駆動回路とを含み、記録モードが設定されているときには、所定のフレーム周期で更新される被写体画像すなわちスルー画像等を表示する。また、操作補助用として機能選択時の処理メニュー表示や設定用の図形若しくはアイコン等の表示を行う。
【００２３】
また、ＣＰＵ６は、画像記録時においては画像処理ブロック単位のＹ，Ｃｂ，Ｃｒの画像データを所定の方式で圧縮符号化し、記録されている静止画像の再生時には伸張復号化する。撮影時に圧縮符号化された画像データは、静止画データとして内蔵フラッシュメモリ１０や、カードインターフェース１１を介して着脱自在な各種のメモリカード１２（記録媒体）に記録される。
【００２４】
キー入力部１４は、図示しない電源キー、記録／再生のモード切替スイッチ、シャッターキー等の各種キーにより構成され、ユーザーによるキー操作に応じた操作信号をＣＰＵ６に送る。例えば記録モードでシャッターキーが押された撮影操作時には、それを示すトリガー信号をＣＰＵ６に出力する。
【００２５】
前記内蔵フラッシュメモリ１０には、圧縮後の画像データを記憶する画像記憶領域とは別にプログラム領域が確保されており、そのプログラム領域には、ＣＰＵ６に前述した画像データの圧縮・伸張や、色調整処理を含む各種の画像信号処理や、ＡＥ制御等の各種制御を行わせるためのプログラムと、それらの制御に際して使用されるデータが記憶されている。そして、ＣＰＵ６は、上記の各プログラムに従い動作することにより、撮影時には、本発明の第１の撮影制御手段、第２の撮影制御手段、決定手段、補正手段として機能する。
【００２６】
次に、本実施の形態におけるデジタルカメラの本発明に係る動作について説明する。図２は、撮影時に前記ＣＰＵ６が実行する処理の内容を示したフローチャートである。
【００２７】
ＣＰＵ６は、例えば記録モードの設定や、記録モードが設定された状態の電源投入に伴い動作を開始すると、所定のスルーレートでのＣＣＤ３による被写体の撮像、及び撮像した画像の液晶モニタ９によるスルー表示を開始し（ステップＳ１）、シャッターキーが押されるまでの間（ステップＳ２でＮＯ）、一定時間毎に液晶モニタ９に表示するスルー画像を更新する。なお、その間は、メカシャッタ２は開状態にあるとともに、スルーレートで画像データを取得する毎にＡＥ計算（自動露出計算）を行い、次回の撮像タイミングにおけるＣＣＤ３の電荷蓄積時間（露光時間）を制御する。
【００２８】
やがて、ユーザーによりシャッターキーが押されたら（ステップＳ２でＹＥＳ）、ＣＣＤ３において上記ＡＥ計算よって得られた露光時間での露光を行って、ＣＣＤ３データの取込みを行い、それに基づく画像データを撮影画像データ（第１の画像データ）１０１としてＤＲＡＭ８に記憶する（ステップＳ３：図３参照）。さらにメカシャッター２を閉状態とした後（ステップＳ４）、ＣＣＤ３において先と同じ露光時間での露光を行って、ＣＣＤ３データの取込みを行い、それに基づく画像データをノイズ画像データ（第２の画像データ）１０２として、前記撮影画像データとは別にＤＲＡＭ８に記憶する（ステップＳ５：図３参照）。このとき記憶されるノイズ画像データ１０２には、暗電流による再現性のあるノイズとともに、再現性の低いランダムノイズが含まれている。
【００２９】
次に、上記のノイズ画像データ１０２から、その画像データ中に含まれているノイズ部分、すなわちノイズ成分が含まれる画素により構成されるノイズパターン部分を検出する（ステップＳ６）。次に、各々のノイズ部分について、撮影画像データ１０１の側の対応する部分に、ノイズ成分が含まれると判断できる画素により構成されている同形状のノイズ部分があるか否かを確認する（ステップＳ７）。そして、それが存在する場合には（ステップＳ８でＹＥＳ）、撮影画像データ１０１における当該ノイズ部分を補正対象として、当該ノイズ部分を構成する画素のデータに対して、各画素に含まれるノイズ成分を取り除くための補正を行う（ステップＳ９）。
【００３０】
具体的には、先に説明した暗電流によるノイズを除去する場合と同様の手法により、ノイズ部分を構成する画素のデータの画素値から、そのノイズ部分が対応しているノイズ画像データ１０２の側のノイズ部分を構成する画素のデータの画素値を減算し、その結果を新たな画素値とする処理を行う。なお、上記補正に際しては、撮影画像データ１０１におけるノイズ部分を構成する画素のデータの画素値を、その周辺画素であってノイズ成分が含まれないと判断できる画素との相関関係に基づき補正するようにしてもよい。
【００３１】
以後、ノイズ画像データ１０２中に含まれている全てのノイズ部分について、上記ステップＳ７、又はステップＳ７〜Ｓ９の処理を繰り返すことにより、撮影画像データ１０１に存在するノイズパターン部分のうち、ノイズ画像データ１０２に存在するノイズパターン部分と位置及び形状のみが一致するノイズパターン部分を構成する画素のみを補正する。
【００３２】
そして、全てのノイズ部分についての処理が終了したら（ステップＳ１０でＹＥＳ）、前述したように部分的にノイズ成分を取り除くための補正が行われた後の撮影画像データ１０３（図３参照）を圧縮し、圧縮後のデータを前記メモリカード１２に記録して（ステップＳ１１）、撮影処理を終了する。
【００３３】
ここで、上述した処理に際しては、メカシャター２を閉状態とした露光により取得されたノイズ画像データ１０２には、暗電流によるノイズに相当する部分とランダムノイズに相当する部分とが含まれているが、暗電流によるノイズに相当する部分は再現性があるため、それと対応するノイズパターン部分が撮影画像データ１０１に存在している。他方、ランダムノイズに相当する部分には、再現性のなかったものと再現性のあったものとが混在しているが、そのうちで再現性のあったものについては、それと対応するノイズパターン部分が撮影画像データ１０１に存在している。そのため、前述したステップＳ７〜Ｓ９の処理においては、撮影画像データ１０１に存在しているノイズ部分うち、暗電流によるノイズに相当する部分と、再現性のあったランダムノイズに相当する部分との双方を構成する画素についてノイズ成分が取り除かれることとなる。
【００３４】
したがって、本実施の形態においては、撮影画像データ１０１から、暗電流による再現性のあるノイズを除去することができると同時に、再現性のあったランダムノイズをも除去することができる。しかも、撮影画像データ１０１に新たなノイズを生成してしまうようなことがない。これにより、撮影画像に含まれるノイズを効果的に除去することができ、その結果、より品質の高い撮影画像を得ることができる。
【００３５】
なお、本実施の形態では、先にノイズ画像データ１０２からノイズパターン部分を検出し、検出したノイズパターン部分と位置及び形状が一致するノイズパターン部分を、撮影画像データ１０１を検索することによって、画素補正すべきノイズパターン部分を決定するようにしたが、それを次のようにして決定してもよい。例えば予め撮影画像データ１０１とノイズ画像データ１０２との双方においてノイズパターン部分をそれぞれ検出し、双方の検出結果を比較することによって、撮影画像データ１０１において画素補正すべきノイズパターン部分を決定するようにしてもよい。但し、本実施の形態のようにした方が、撮影画像データ１０１において無駄なノイズパターン部分を検索する処理を省くことができるため、処理効率がよい。
【図面の簡単な説明】
【００３６】
【図１】本発明に係るデジタルカメラのブロック図である。
【図２】撮影時にＣＰＵが実行する処理の内容を示したフローチャートである。
【図３】本発明に係るノイズ処理方法を示す模式説明図である。
【符号の説明】
【００３７】
２    メカシャッター
３    ＣＣＤ
５    アナログ処理部
６    ＣＰＵ
８    ＤＲＡＭ
１０    内蔵フラッシュメモリ
１３    アクチュエータ
【図１】
2006246088.tif 000003
【図２】
2006246088.tif 000004
【図３】
2006246088.tif 000005