(57)【要約】【課題】  画質劣化をできるだけ少なくすることを課題とする。【解決手段】  被写体像を撮像する撮像素子を有する撮像装置であって、前記撮像素子を非露光の状態にして、前記撮像素子から得られた非露光画像デ−タに基づき、前記撮像素子を露光の状態にして、前記撮像素子から得られた露光画像デ−タを補正する第１の補正手段と、前記撮像素子から得られた前記露光画像データに含まれる第１の信号を前記露光画像データに含まれる第２の信号を用いて補正する第２の補正手段と、前記撮像素子から得られた前記露光画像データに対して、前記第１の補正手段による補正を行うか、前記第２の補正手段による補正を行うかを、前記撮像装置における撮影動作の違いに応じて選択する制御手段とを有することを特徴とする撮像装置を提供する。【選択図】  図１
2005073233.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像素子を有する撮像装置であって、
前記撮像素子を非露光の状態にして、前記撮像素子から得られた非露光画像デ−タに基づき、前記撮像素子を露光の状態にして、前記撮像素子から得られた露光画像デ−タを補正する第１の補正手段と、
前記撮像素子から得られた前記露光画像データに含まれる第１の信号を、前記露光画像データに含まれる第２の信号を用いて補正する第２の補正手段と、
前記撮像素子から得られた前記露光画像データに対して、前記第１の補正手段による補正を行うか、前記第２の補正手段による補正を行うかを、前記撮像装置における撮影動作の違いに応じて選択する制御手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記撮影動作の違いは、前記撮像素子における露光時間の違いを含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記撮影動作の違いは、静止画像撮影と動画像撮影との違いを含むことを特徴とする請求項１に記載の撮像装置。
【請求項４】
前記撮影動作の違いは、前記撮像素子から得られた前記露光画像データを記録手段に記録する動作と、前記露光画像データを前記記録手段に記録しない動作との違いを含むことを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像素子に像を結像するレンズと、
前記撮像素子からの信号をＡ／Ｄ変換するＡ／Ｄ変換器と、
前記Ａ／Ｄ変換器から出力された信号を記憶手段に記録するように制御する記憶制御手段とを有することを特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体像を撮像する撮像装置に関する。
【背景技術】
【０００２】
ＣＭＯＳ、ＣＣＤ等の撮像素子で撮像した静止画像や動画像を記録したり、再生したりする電子カメラ等の撮像装置において、撮像素子を露光しない状態で本撮影と同様に電荷蓄積を行った後に読み出したダーク画像データと、撮像素子を露光した状態で電荷蓄積を行った後に読み出した本撮影画像データとを用いて演算処理することによりダークノイズ補正処理を行うことが可能である。この補正処理により、ＣＭＯＳ、ＣＣＤ等の撮像素子において発生する暗電流ノイズや撮像素子固有の画素欠陥による微少なキズ（例えば、点キズ）等の画質劣化を低減することができる。
【０００３】
特に、暗電流ノイズは、電荷蓄積時間の長時間化及び撮像素子の温度上昇に応じて増大するため、この補正処理は、長秒時の露光や高温時の露光を行う場合に大きな画質改善効果をもたらす。従って、電子カメラ等の使用者にとって、ダークノイズ補正処理は極めて有益な機能であると言える。
【０００４】
また、撮像素子固有の画素欠陥による微少なキズに対して、キズ画素に隣接する画素の画像データを用いた補間演算処理を行うことにより、キズを補正するキズ補間処理を行うことも可能である。キズ補間処理においては、生産工程や電源投入時などにあらかじめ欠陥画素を検出、記憶し、その位置情報を元に補間を行う方法や、撮像中の画像情報から欠陥画素を識別してリアルタイムに補間を行う方法などがある（例えば、特許文献１）。
【特許文献１】特開２００１−０２８７１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように電子カメラ等の撮像装置においては、欠陥画素の補間処理を常時行うものがある。また一方で、電荷蓄積時間の長時間化及び撮像素子の温度上昇に応じて暗電流ノイズ及び／或いは点キズが増大するという問題に対応するために、ダークノイズ補正処理を行うものがある。
【０００６】
従来例の一例として、図２の撮像装置２０を以下に説明する。同図において、２００はレンズ、２０１はＣＣＤなどの撮像素子、２０２は相関２重サンプリングなどのアナログ信号処理およびＡ／Ｄコンバータを含むアナログフロントエンド、２０４はダーク補正回路、２０５は画像メモリ、２０６は欠陥画素検出回路、２０７は欠陥画素補間回路、２０９は信号処理回路、２１０は表示装置、２１１は画像を記憶する記憶媒体である。
【０００７】
上記構成における撮像装置２０の動作について説明する。レンズ２００を介して撮像素子２０１上に結像した被写体像は、撮像信号としてアナログフロントエンド２０２により相関二重サンプル処理及びＡ／Ｄ変換される。欠陥画素検出回路２０６において検出された欠陥画素を欠陥画素補間回路２０７で補正した後、ダーク補正回路２０４でダーク補正が行われる。そして、信号処理回路２０９において所定の信号処理が行われた後に表示装置２１０に表示される。同時に、撮影者によって撮影が指示されると、記憶媒体２１１に記憶される。
【０００８】
しかしながら、欠陥画素の補間は周辺の画素を用いて行うために周波数特性が悪化するという欠点がある。また、撮像中の画像情報から欠陥画素を識別してリアルタイムに補間を行う方法では、欠陥画素以外の高周波成分を欠陥画素として誤検出し、更に画像が劣化する場合がある。
【０００９】
また、ダークノイズ補正処理は処理に時間がかかるため、タイムラグが生じるという欠点がある。
【００１０】
したがって、ダークノイズ補正処理を行う場合に欠陥画素の補間も同時に行うと、欠陥画素の補正の効果以上に、画像の劣化が問題となる場合があった。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明では、被写体像を撮像する撮像素子を有する撮像装置であって、前記撮像素子を非露光の状態にして、前記撮像素子から得られた非露光画像デ−タに基づき、前記撮像素子を露光の状態にして、前記撮像素子から得られた露光画像デ−タを補正する第１の補正手段と、前記撮像素子から得られた前記露光画像データに含まれる第１の信号を、前記露光画像データに含まれる第２の信号を用いて補正する第２の補正手段と、前記撮像素子から得られた前記露光画像データに対して、前記第１の補正手段による補正を行うか、前記第２の補正手段による補正を行うかを、前記撮像装置における撮影動作の違いに応じて選択する制御手段とを有することを特徴とする撮像装置を提供する。
【発明の効果】
【００１２】
本発明によれば、画質劣化をできるだけ少なくした画質のよい画像を得ることができる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の好適な実施の形態について説明する。
【００１４】
（実施の形態１）
図１は、本発明の実施の様態１の撮像装置１０を概略的に示す図である。同図において、１００はレンズ、１０１は撮像素子、１０２は相関２重サンプリングなどのアナログ信号処理およびＡ／Ｄコンバータ（Ａ/Ｄ変換器）を含むアナログフロントエンド、１０３は動作切り替えスイッチ、１０４はダーク補正回路、１０５は画像メモリ、１０６は欠陥画素検出回路、１０７は欠陥画素補間回路、１０８はマイコン、１０９は信号処理回路、１１０は表示装置、１１１は画像を記憶する記憶手段である記憶媒体である。なお、欠陥画素補正とダーク補正処理とを切り替える動作切り替えスイッチ１０３を制御するマイコン１０８の説明は後に詳細に述べる。
【００１５】
次に、上記構成における実施の形態１の動作について説明する。
【００１６】
レンズ１００を介してＣＣＤ１０１上に結像した被写体像は、撮像信号としてアナログフロントエンド１０２により相関二重サンプル処理及びＡ／Ｄ変換された後、処理を切り替えるスイッチ部１０３に供給される。ダーク補正や欠陥画素補正が行われた映像信号は、信号処理１０９において所定の信号処理が行われた後に表示装置１１０に表示される。同時に、撮影者によって撮影が指示されると、記憶媒体１１１に記憶される。
【００１７】
図４はダーク補正１０４の処理内容を説明する図である。図中の４−Ａは撮像した映像信号、４−Ｂは非露光で撮影したダーク信号、４−Ｃは撮像信号４−Ａとダーク信号４−Ｂの差分の信号である。理想的な撮像系であれば、ダーク信号４−Ｂは無信号の状態になるが、実際には画素欠陥などの影響で４−Ｂに示すようにノイズ成分を含んだ信号となる。このノイズ成分は、例えば蓄積時間などの条件によって変化し、蓄積時間が長ければ長いほど大きくなる。４−Ａでは、ダーク信号４−Ｂの影響を受けて映像にノイズ成分が含まれた状態となっており、このままでは満足のできる画像が得られない。そこで、４−Ａの信号から４−Ｂの信号を引くことによってノイズ成分をキャンセルした４−Ｃの信号を得る。
【００１８】
次に、欠陥画素検出回路１０６の動作に関して説明をする。ここでは、欠陥画素として画素の信号レベルが大きくなってしまうものに関して説明する。図５は欠陥画素検出回路１０６および、画素補間回路１０７の処理内容を説明する図である。図中の５−Ａは撮像した映像信号、５−Ｂは欠陥画素を補間した結果の映像信号である。５−Ａの円で囲んだ部分のように、画素欠陥によって本来の映像信号よりも画素の信号レベルが高くなり、白点のキズのように見える場合がある。これを検出する為には、画像信号の画素ごとのレベルを測定し、隣り合った周囲の画素の信号レベルと比較することで欠陥画素を検出することができる。但し、撮像した映像信号中の画素レベルは一定ではなく画像によって異なる為に検出には工夫が必要である。例えば、注目する画素の周辺数画素を平均し、その平均レベルと注目する画素のレベルを比較することによって欠陥画素を検出することができる。５−Ａの円で囲んだ部分はこのようにして検出することができる。但し、１画素単位で変動するような周波数の高い映像の場合は誤って検出する場合もある。これを防ぐ為には、周辺の画像と比較し、本来の映像か、あるいは欠陥画素なのかを判別する。このようにして検出した欠陥画素の位置は画素補間回路１０７に伝達され、補間される。
【００１９】
次に、画素補間回路１０７の動作に関して説明する。欠陥画素の補間は、欠陥画素検出回路１０６によって検出された画素を周囲の画素から補間するものである。補間の仕方としては周囲の何画素を用いるかによって何通りかの手法がある。たとえば、水平方向のみを参照して補完する場合や、上下、斜め方向の画素も考慮して補間する場合などが挙げられる。１画素単位で変動するような周波数の高い映像の場合は本来の画像と同等にはならず、画質の劣化を招く場合があるため、上下、斜め方向の画素も用いて補間を行う方が有利な場合が多い。その結果、図５の５−Ｂのように白点のキズが補正されて目立たなくすることができる。
【００２０】
さて、これまで２種類の補正手法に関して述べてきたが、欠陥画素の補間を行うと、周波数特性が悪化するという欠点がある。また、撮像中の画像情報から欠陥画素を識別してリアルタイムに補間を行う方法では、欠陥画素以外の高周波成分を欠陥画素として誤検出し、更に画像が劣化する場合がある。また、ダークノイズ補正処理は処理に時間がかかるため、タイムラグが生じるという欠点がある。本実施の形態ではダーク補正と欠陥画素補正を排他的に制御することにより、タイムラグを少なくするとともに、高画質の画像を得ることができる撮像装置を提供する。
【００２１】
電荷蓄積時間の長時間化及び撮像素子の温度上昇に応じて暗電流ノイズ及び／或いは点キズが増大するので長時間の蓄積の場合にダークノイズ補正処理を行うことは非常に効果的である。一方で、タイムラグが目立ってしまう短時間の蓄積の場合や、静止画ではなく動画の撮影や、あるいは撮影していないプレビューの状態の場合には欠陥画素補正を用いたほうが効果的である。そこで、本実施の形態では撮像装置の撮影動作に応じて、ダーク補正処理と欠陥画素補正処理これらの処理を切り替えて使用する構成とする。
【００２２】
次に、欠陥画素補正とダーク補正処理とを切り替える動作切り替えスイッチ１０３を制御するマイコン１０８について詳しく説明する。図６は処理の切り替えを制御するマイコン１０８の動作を表すフローチャートである。まず、蓄積時間が所定の時間よりも長いか否かを判別し（ステップＳ６００）、所定の時間よりも長い場合はダーク処理へ切り替わる（ステップＳ６０７）。次に、記録時かプレビュー時かを判別し（ステップＳ６０１）、プレビューでは無い場合はダーク処理へ切り替わる（ステップＳ６０７）。欠陥画素補正に切り替わった場合（ステップＳ６０２）、撮影（ステップＳ６０３）の後欠陥画素検出が行われ（ステップＳ６０４）、欠陥画素補間（ステップＳ６０５）で補正された映像信号が記録される（ステップＳ６０６）。但し、プレビューの場合は記録（ステップＳ６０６）を行わない。一方、ダーク処理（ステップＳ６０７）に切り替わった場合、撮影（ステップＳ６０３）の後ダーク撮影（ステップＳ６０９）が行われ、撮影されたダーク画像はメモリ１０５に保存される（ステップＳ６１０）。その後、差分演算（ステップＳ６１１）でメモリ中のダーク画像と撮影された画像の差分をとり、ノイズが除去された映像信号が記録される（ステップＳ６０６）。
【００２３】
このようにして、蓄積時間が長秒時であるか否かや、静止画撮影であるか動画撮影であるかや、プレビューであるか否か、などの撮像装置の撮影動作の違いにより、ダーク補正と欠陥画素補正を排他的に行う。これにより、２種類の画像補正の手法の利点を生かした、画質劣化の少ない画像を得ることが出来る。本実施の形態では撮影動作として蓄積時間およびプレビューを説明したが、動画記録時、撮影時の利得や感度など、その他の動作条件で切り替えても構わない。また、欠陥画素の補正の方法は、周辺画素からの信号を用いた補間による補正を説明したが、欠陥画素の上方の画素などの信号で置換することにより補正を行うなどの他の方法でもよい。同様に、ダーク補正の方法も、本実施の形態とは別の方法でもよい。
【００２４】
（実施の形態２）
図３は実施の形態２の撮像装置３０の構成を示す図であり、図中の３００から３１１は第１の実施の形態を示す図１の１００から１１１と同様である。図中３２０は本実施の形態の特徴的な部分で、欠陥画素検出３０６において検出された欠陥画素の位置を記憶する欠陥位置メモリである。欠陥位置メモリ３２０は撮像装置３０の構成に応じて揮発メモリである場合と不揮発メモリである場合が考えられる。工場調整時に欠陥画素検出を行う場合は不揮発メモリを用い、電源投入時など使用時に欠陥画素検出を行う場合には揮発メモリを用いる場合がある。
【００２５】
実施の形態１と同様に、レンズ３００を介してＣＣＤ３０１上に結像した被写体像は、撮像信号としてアナログフロントエンド３０２により相関二重サンプル処理及びＡ／Ｄ変換された後、処理を切り替えるスイッチ部３０３に供給される。ダーク補正や欠陥画素補正が行われた映像信号は、信号処理３０９において所定の信号処理が行われた後に表示装置３１０に表示される。同時に、撮影者によって撮影が指示されると、記憶媒体３１１に記憶される。また一方で、アナログフロントエンド３０２から出力された信号は欠陥画素検出回路３０６にも入力される。欠陥画素検出は通常の撮影時には行われない構成の為、検出を行う際にのみ欠陥画素検出回路３０６が動作する構成となっている。
【００２６】
ダーク補正３０４の処理は第１の実施の形態と同様であり、撮像信号とダーク信号の差分をとることによってノイズ成分をキャンセルしたの信号を得る。
【００２７】
次に、画素補間回路３０７の動作に関して説明する。欠陥画素の補間は、欠陥位置メモリ３２０に記憶された欠陥画素位置に相当する画素を周囲の画素から補間するものである。補間の仕方は第１の実施の形態と同様であり、図７中の７−Ｂのような欠陥画素を含んだ映像信号に対して、欠陥画素部分を周囲の画素から補間処理して７−Ｃのように画質改善した映像信号を得る。その結果、図５の５−Ｂと同様に白点のキズが補正されて目立たなくすることが出来る。
【００２８】
ここまでの２種類の補正手法に関して排他的に用いる構成は第１の実施の形態と同様であり、撮影条件に応じてこれらの処理を切り替えて使用する構成とする。図８は処理の切り替えを行うマイコン３０８の動作を表すフローチャートである。本実施の形態において特徴的な部分はあらかじめ調整処理を行い、欠陥位置データを記憶していることである。調整処理はダーク撮像を行い（ステップＳ８２０）、ステップＳ８２１においてダーク画から欠陥画素を検出する。検出された欠陥画素はステップＳ８２２で位置情報として欠陥位置メモリ３２０に保存され、撮影時に欠陥位置として用いられる（ステップＳ８２３）。
【００２９】
撮影時の動作としては、まず、蓄積時間が所定の時間よりも長いか否かを判別し（ステップＳ８００）、所定の時間よりも長い場合はダーク処理へ切り替わる（ステップＳ８０７）。次に、記録時かプレビュー時かを判別し（ステップＳ８０１）、プレビューでは無い場合はダーク処理へ切り替わる（ステップＳ８０７）。欠陥画素補正に切り替わった場合（ステップＳ８０２）、撮影（ステップＳ８０３）の後、欠陥画素補間（ステップＳ８０５）で補正された映像信号が記録される（ステップＳ８０６）。但し、プレビューの場合は記録（ステップＳ８０６）を行わない。欠陥画素補間（ステップＳ８０５）で補正する際にはあらかじめ記憶された欠陥位置が参照される構成である（ステップＳ８２３）。一方、ダーク処理（ステップＳ８０７）に切り替わった場合、撮影（ステップＳ８０３）の後ダーク撮影（ステップＳ８０９）が行われ、撮影されたダーク画はメモリ３０５に保存される（ステップＳ８１０）。その後、差分演算（ステップＳ８１１）でメモリ中のダーク画像と撮影された画像の差分をとり、ノイズが除去された映像信号が記録される（ステップＳ８０６）。
【００３０】
このようにして、蓄積時間が長秒時であるか否かやプレビューであるか否かなどの撮像装置の撮影動作の違いによりダーク補正と欠陥画素補正を排他的に行うことによって、２種類の画像補正の手法の利点を生かし、画質劣化の少ない画像を得ることが出来る。本実施の形態では撮影動作として蓄積時間およびプレビューを説明したが、動画記録時、撮影時の利得や感度など、その他の動作条件で切り替えても構わないし、ダーク補正や欠陥画素補正などは別の構成でも構わない。また、調整処理は工場調整などで行っても構わないし、電源投入時や電源遮断直前に行っても構わないことは言うまでも無い。
【００３１】
（実施の形態３）
本発明の実施の形態３として、実施の形態１と実施の形態２を合わせた構成の例を挙げておく。実施の形態１では欠陥画素検出を映像信号を用いてリアルタイムに行う構成を説明した。また、実施の形態２ではあらかじめ欠陥画素検出を行い、撮影時には補間のみを行う構成を説明した。実施の形態１の欠点としては１画素単位で変動するような周波数の高い映像の場合は誤って検出することが挙げられるが、実施の形態２の欠点としては、欠陥位置情報を保存した後に欠陥画素が増加した場合や、撮像素子の温度が上昇することによって欠陥画素が増加した場合などに対応できない点が挙げられる。
【００３２】
本実施の形態では欠陥画素の補正をより確実なものにする為にリアルタイムの検出とあらかじめ行う欠陥画素検出を併用することを特徴とする。
【００３３】
このような構成でも、蓄積時間が長秒時であるか否かやプレビューであるか否かなどの撮像装置の撮影動作の違いによりダーク補正と欠陥画素補正を排他的に行うことによって、２種類の画像補正の手法の利点を生かし、画質劣化の少ない画像を得ることができる。
【００３４】
（実施の形態４）
実施の形態４における撮像装置の構成は、実施の形態１と同様、撮像装置１０で概略的に示すことができる。図１の説明は実施の形態１と同様であるので省略する。
【００３５】
次に、上記構成における本発明の実施の形態３の動作について説明する。
【００３６】
レンズ１００を介して撮像素子１０１上に結像した被写体像は、撮像信号としてアナログフロントエンド１０２により相関二重サンプル処理及びＡＤ変換された後、処理を切り替える動作切り替えスイッチ１０３に供給される。ダークノイズ補正や欠陥画素補正が行われた映像信号は、信号処理回路１０９において所定の信号処理が行われた後に表示装置１１０に表示される。同時に、撮影者によって撮影が指示されると、記憶媒体１１１に記憶される。
【００３７】
図４はダークノイズ補正回路１０４の処理内容を説明する図である。図中の４−Ａは撮像した映像信号、４−Ｂは非露光で撮影したダーク信号、４−Ｃは撮像信号４−Ａとダーク信号４−Ｂの差分の信号である。理想的な撮像系であれば、ダーク信号４−Ｂは無信号の状態になるが、実際には画素欠陥などの影響で４−Ｂに示すようにノイズ成分を含んだ信号となる。このノイズ成分は、例えば蓄積時間などの条件によって変化し、蓄積時間が長ければ長いほど大きくなる。４−Ａでは、ダーク信号４−Ｂの影響を受けて映像にノイズ成分が含まれた状態となっており、このままでは満足のできる画像が得られない。そこで、４−Ａの信号から４−Ｂの信号を引くことによってノイズ成分をキャンセルした４−Ｃの信号を得る。
【００３８】
次に、欠陥画素検出回路１０６の動作に関して説明をする。ここでは、欠陥画素として画素の信号レベルが大きくなってしまうものに関して説明する。図５は欠陥画素検出回路１０６および、画素補間回路１０７の処理内容を説明する図である。図中の５−Ａは撮像した映像信号、５−Ｂは欠陥画素を補間した結果の映像信号である。５−Ａの円で囲んだ部分のように、画素欠陥によって本来の映像信号よりも画素の信号レベルが高くなり、白点のキズのように見える場合がある。これを検出する為には、画像信号の画素ごとのレベルを測定し、隣り合った周囲の画素の信号レベルと比較することで欠陥画素を検出することができる。但し、撮像した映像信号中の画素レベルは一定ではなく画像によって異なる為に検出には工夫が必要である。例えば、注目する画素の周辺数画素を平均し、その平均レベルと注目する画素のレベルを比較することによって欠陥画素を検出することができる。５−Ａの円で囲んだ部分はこのようにして検出することができる。但し、１画素単位で変動するような周波数の高い映像の場合は誤って検出する場合もある。これを防ぐ為には、周辺の画像と比較し、本来の映像か、あるいは欠陥画素なのかを判別する。このようにして検出した欠陥画素の位置は画素補間回路１０７に伝達され、補間される。
【００３９】
次に、画素補間回路１０７の動作に関して説明する。欠陥画素の補間は、欠陥画素検出回路１０６によって検出された画素を周囲の画素から補間するものである。補間の仕方としては、周囲の何画素を用いるかによって何通りかの手法がある。たとえば、水平方向のみを参照して補間する場合や、上下、斜め方向の画素も考慮して補間する場合などが挙げられる。１画素単位で変動するような周波数の高い映像の場合は、本来の画像と同等にはならず、画質の劣化を招く場合があるため、上下、斜め方向の画素も用いて補間を行う方が有利な場合が多い。その結果、図５の５−Ｂのように、白点のキズが補正されて画質劣化が目立たない画像を得ることができる。
【００４０】
さて、これまで２種類の補正手法に関して述べてきたが、欠陥画素の補正を行うと、周波数特性が悪化するという欠点がある。また、撮像中の画像情報から欠陥画素を識別してリアルタイムに補正を行う方法では、欠陥画素以外の高周波成分を欠陥画素として誤検出し、更に画像が劣化する場合がある。また、ダーク信号は、映像信号の撮像と同じ時間をかけて、非露光で撮影するので、ダークノイズ補正処理は処理に時間がかかる。このため、タイムラグが生じるという欠点がある。本実施の形態ではダークノイズ補正と欠陥画素補正を排他的に制御することにより、タイムラグを少なくするとともに、高画質の画像を得ることのできる撮像装置を提供することができる。
【００４１】
電荷蓄積時間の長時間化及び撮像素子の温度上昇に応じて暗電流ノイズ及び／或いは点キズが増大するので、長時間の蓄積の場合にダークノイズ補正処理を行うことは非常に効果的である。一方で、タイムラグが目立ってしまう短時間の蓄積の場合や、静止画ではなく動画の撮影や、あるいは撮影していないプレビューの状態の場合には欠陥画素補正を用いたほうがよい。そこで、本実施の形態では、撮像装置の撮影動作に応じて、ダークノイズ補正処理と欠陥画素補正処理を切り替えて使用する構成とする。
【００４２】
次に、欠陥画素補正処理とダークノイズ補正処理とを切り替える動作切り替えスイッチ１０３を制御するマイコン１０８について詳しく説明する。
【００４３】
図９は処理の切り替えを制御するマイコン１０８の動作を表すフローチャートである。まず、記録時かプレビュー時かを判別し（ステップＳ９０１）、プレビューの場合は欠陥画素補正処理に切り替わる（ステップＳ９０２）。プレビューではない場合は、蓄積時間が所定の時間よりも長いか否かを判別し（ステップＳ９００）、所定の時間よりも長い場合はダークノイズ補正処理へ切り替わり（ステップＳ９０７）、所定の時間よりも長くない場合は欠陥画素補正処理に切り替わる（ステップＳ９０２）。欠陥画素補正処理に切り替わった場合（ステップＳ９０２）、撮影（ステップＳ９０３）の後、欠陥画素検出が行われ（ステップＳ９０４）、欠陥画素補間（ステップＳ９０５）で補正された映像信号が記録される（ステップＳ９０６）。但し、プレビューの場合（ステップＳ９１２）は記録（ステップＳ９０６）を行わない。一方、ダークノイズ補正処理（ステップＳ９０７）に切り替わった場合、撮影（ステップＳ９０８）の後、ダーク撮影（ステップＳ９０９）が行われ、撮影されたダーク画像は画像メモリ１０５に保存される（ステップＳ９１０）。その後、差分演算（ステップ９１１）で画像メモリ１０５中のダーク画像と撮影された画像の差分をとり、ノイズが除去された映像信号が記録される（ステップＳ９０６）。
【００４４】
このようにして、蓄積時間が長秒時であるか否かや、プレビューであるか否か、などの撮像装置の撮影動作の違いにより、ダークノイズ補正と欠陥画素補正を排他的に行うことによって、２種類の画像補正の手法の利点を生かし、画質劣化の少ない画像を得ることができる。本実施の形態では撮影動作として蓄積時間およびプレビューを説明したが、静止画撮影であるかまたは動画撮影であるかや、動画記録時、撮影時の利得や感度など、その他の動作条件で切り替えても構わない。また、欠陥画素の補正方法は、周辺画素からの信号を用いた補間による補正を説明したが、欠陥画素の上方の画素等の信号で置換することにより補正を行うなどの他の方法を適用してもよい。同様に、ダーク補正方法も、本実施の形態とは別の補正方法でもよい。
【００４５】
（実施の形態５）
実施の形態５の撮像装置の概要は、実施の形態２と同様に撮像装置３０で表すことができる。図３の説明は実施の形態２と同様であるので省略する。
【００４６】
実施の形態２と同様に、レンズ３００を介して撮像素子３０１上に結像した被写体像は、撮像信号としてアナログフロントエンド３０２により相関二重サンプル処理及びＡ／Ｄ変換された後、処理を切り替える動作切り替えスイッチ３０３に供給される。ダークノイズ補正や欠陥画素補正が行われた映像信号は、信号処理回路３０９において所定の信号処理が行われた後に表示装置３１０に表示される。同時に、撮影者によって撮影が指示されると、記憶媒体３１１に記憶される。また一方で、アナログフロントエンド３０２から出力された信号は欠陥画素検出回路３０６にも入力される。欠陥画素検出は通常の撮影時には行われない構成の為、検出を行う際にのみ欠陥画素検出回路３０６が動作する構成となっている。
【００４７】
ダークノイズ補正回路３０４の処理は実施の形態２と同様であり、撮像信号とダーク信号の差分をとることによってノイズ成分をキャンセルした信号を得る。
【００４８】
次に、欠陥画素検出回路３０６の動作に関して説明をする。ここでは、欠陥画素として画素の信号レベルが大きくなってしまうものに関して説明する。画素欠陥によって、本来は暗い部分の画素の信号レベルが高くなり、白点のキズのように見える場合がある。これを検出する為には、非露光の画像信号の画素ごとのレベルを測定し、隣り合った画素の信号レベルと比較することで欠陥画素を検出することができる。実施の形態１では撮影時の映像信号から検出した為に、１画素単位で変動するような周波数の高い映像の場合は誤って検出する場合があったが、本実施の形態では非露光の画像信号から検出する為に映像信号の影響は受けずに検出することができる。検出した欠陥画素は撮像素子中の位置の情報として欠陥画素位置メモリ３２０に記憶される。
【００４９】
図７における７−Ａは非露光の画像信号を示し、図中の円で囲んだ部分が欠陥画素として検出される。
【００５０】
次に、画素補間回路３０７の動作に関して説明する。欠陥画素の補間は、欠陥画素位置メモリ３２０に記憶された欠陥画素位置に相当する画素を周囲の画素から補間するものである。補間の仕方は実施の形態１と同様であり、図７中の７−Ｂのような欠陥画素を含んだ映像信号に対して、欠陥画素部分を周囲の画素から補間処理して７−Ｃのように画質改善した映像信号を得る。その結果、図５の５−Ｂと同様に白点のキズが補正されて目立たなくすることができる。
【００５１】
ここまでの２種類の補正手法に関して排他的に用いる構成は実施の形態１と同様であり、撮影条件に応じてこれらの処理を切り替えて使用する構成とする。
【００５２】
図１０は処理の切り替えを制御するマイコン３０８の動作を表すフローチャートである。本実施の形態において特徴的な部分はあらかじめ調整処理を行い、欠陥画素位置データを記憶していることである。調整処理はダーク撮像を行い（ステップＳ１０２０）、ステップＳ１０２１においてダーク画像から欠陥画素を検出する。検出された欠陥画素はステップＳ１０２２で位置情報として欠陥画素位置メモリ３２０に保存され、撮影時に欠陥画素位置として用いられる（ステップＳ１０２３）。
【００５３】
撮影時の動作としては、まず、記録時かプレビュー時かを判別し（ステップＳ１００１）、プレビューの場合は欠陥画素補正処理へ切り替わり（ステップＳ１００２）、プレビューではない場合は、蓄積時間が所定の時間よりも長いか否かを判別し（ステップＳ１０００）、所定の時間よりも長い場合はダークノイズ補正処理へ切り替わり（ステップＳ１００７）、所定の時間よりも長くない場合は欠陥画素補正処理に切り替わる（ステップＳ１００２）。欠陥画素補正処理に切り替わった場合（ステップＳ１００２）、撮影（ステップＳ１００３）の後、欠陥画素補間（ステップＳ１００５）で補正された映像信号が記録される（ステップＳ１００６）。但し、プレビューの場合（ステップＳ１０２４）は記録（ステップＳ１００６）を行わない。欠陥画素補間（ステップＳ１００５）で補正する際にはあらかじめ記憶された欠陥画素位置が参照される構成である（ステップＳ１０２３）。一方、ダークノイズ補正処理（ステップＳ１００７）に切り替わった場合、撮影（ステップＳ１００８）の後、ダーク撮影（ステップＳ１００９）が行われ、撮影されたダーク画像は画像メモリ３０５に保存される（ステップＳ１０１０）。その後、差分演算（ステップＳ１０１１）で画像メモリ３０５中のダーク画像と撮影された画像の差分をとり、ノイズが除去された映像信号が記録される（ステップＳ１００６）。
【００５４】
このようにして、蓄積時間が長秒時であるか否かやプレビューであるか否かなどの撮像装置の撮影動作の違いによりダークノイズ補正と欠陥画素補正を排他的に行うことによって、２種類の画像補正の手法の利点を生かし、画質劣化の少ない画像を得ることができる。本実施の形態では撮影動作として蓄積時間およびプレビューを説明したが、静止画撮影であるかまたは動画撮影であるかや、動画記録時、撮影時の利得や感度など、その他の動作条件で切り替えても構わないし、ダークノイズ補正や欠陥画素補正などは別の構成でも構わない。また、調整処理は工場調整などで行っても構わないし、電源投入時や電源遮断直前に行っても構わないことは言うまでもない。
【図面の簡単な説明】
【００５５】
【図１】本発明の実施の形態１、４に係る画像処理装置の構成を示すブロック図である。
【図２】従来の構成を示すブロック図である。
【図３】本発明の実施の形態２、５に係る画像処理装置の構成を示すブロック図である。
【図４】ダーク処理を説明する概念図である。
【図５】欠陥画素補正を説明する概念図である。
【図６】本発明の実施の形態１のマイコンの動作のフローチャートである。
【図７】本発明の実施の形態２の欠陥画素補正を説明する概念図である。
【図８】本発明の実施の形態２のマイコンの動作のフローチャートである。
【図９】本発明の実施の形態４のマイコンの動作のフローチャートである。
【図１０】本発明の実施の形態５のマイコンの動作のフローチャートである。
【符号の説明】
【００５６】
１００  レンズ
１０１  撮像素子
１０２  アナログ信号処理およびＡ／Ｄコンバータ
１０３  制御切り替えスイッチ
１０４  ダーク補正回路
１０５  メモリ
１０６  欠陥画素検出回路
１０７  欠陥画素補間回路
１０８  マイコン
１０９  信号処理
１１０  表示装置
１１１  記憶媒体
【図１】
2005073233.tif 000003
【図２】
2005073233.tif 000004
【図３】
2005073233.tif 000005
【図４】
2005073233.tif 000006
【図５】
2005073233.tif 000007
【図６】
2005073233.tif 000008
【図７】
2005073233.tif 000009
【図８】
2005073233.tif 000010
【図９】
2005073233.tif 000011
【図１０】
2005073233.tif 000012