(57)【特許請求の範囲】
【請求項１】
撮像素子の欠陥画素の位置を示す第１の補正用データを予め格納した記憶手段と、
前記撮像素子から読み出された前記欠陥画素に係る画像データを補正する補正手段と、
静止画撮影モード又は動画撮影モードのいずれかの撮影モードに設定するモード設定手段と、
前記モード設定手段により前記静止画撮影モードが設定された場合に、前記記憶手段に格納された前記第１の補正用データに基づいて、前記補正手段が前記撮像素子から読み出された前記欠陥画素に係る画像データを補正するように制御し、
前記モード設定手段により前記動画撮影モードが設定された場合に、前記撮像素子を遮光した状態で前記撮像素子を動画撮影用に駆動して電荷蓄積を行わせることでダーク画像データを取得し、前記ダーク画像データに基づいて前記撮像素子の欠陥画素の位置を示す第２の補正用データを生成し、前記第２の補正用データに基づいて、前記補正手段が前記撮像素子から読み出された前記欠陥画素に係る画像データを補正するように制御する制御手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記動画撮影モードでは、前記撮像素子から画素信号を間引き形式で読み出すことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記動画撮影モードでは、前記撮像素子から画素信号を部分切り出し形式で読み出すことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記制御手段は、前記動画撮影モードにおいて前記撮像素子から読み出される画像データに係る画素数と同じ画素数の分だけ読み出された前記ダーク画像データを用いて、前記第２の補正用データを生成することを特徴とする請求項１乃至３の何れか１項に記載の画像処理装置。
【請求項５】
前記第２の補正用データは、前記ダーク画像データのうち、データレベルが所定の判定値を超える画像データに係る画素の位置を示す情報を含むことを特徴とする請求項１乃至４の何れか１項に記載の画像処理装置。
【請求項６】
撮像素子から読み出された欠陥画素に係る画像データを補正する補正工程と、
静止画撮影モード又は動画撮影モードのいずれかの撮影モードに設定するモード設定工程と、
前記モード設定工程により前記静止画撮影モードが設定された場合に、前記補正工程において、記憶手段に予め格納された撮像素子の欠陥画素の位置を示す第１の補正用データに基づいて、前記撮像素子から読み出された前記欠陥画素に係る画像データを補正するように制御し、
前記モード設定工程により前記動画撮影モードが設定された場合に、前記撮像素子を遮光した状態で前記撮像素子を動画撮影用に駆動して電荷蓄積を行わせることでダーク画像データを取得し、前記ダーク画像データに基づいて前記撮像素子の欠陥画素の位置を示す第２の補正用データを生成し、前記補正工程において、前記第２の補正用データに基づいて、前記撮像素子から読み出された前記欠陥画素に係る画像データを補正するように制御する制御工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項７】
請求項６に記載の制御方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子に発生した欠陥画素に係る映像信号を補正する欠陥画素補正技術に関する。
【背景技術】
【０００２】
従来、ＣＣＤ、ＣＭＯＳセンサ等の固体撮像素子では、その製造工程で異常な映像信号を出力する欠陥画素（キズ画素とも言う）が発生することが知られている。この欠陥画素それ自体を固体撮像素子の製造工程で完全に無くすことは非常に困難である。そこで、従来、欠陥画素に係る映像信号を画像処理により補正する欠陥画素補正技術が実現されている。
【０００３】
従来の欠陥画素補正方法では、一般に、欠陥画素に隣接する同色の正常画素の出力信号を用いた補間演算処理により、該欠陥画素に係る出力信号を補正している。この場合、固体撮像素子を工場から出荷する際に、所定条件下におけるダーク出力、及び露光出力を評価し、所定の出力範囲を超える出力値となる画素をキズ画素（欠陥画素）と判定する。そして、このキズ画素の種類（黒キズ、白キズ等）、及びアドレス（画像データにおける水平方向座標ｘ、垂直方向座標ｙ）と、そのキズ画素の出力レベルのデータを、キズ補正用データとして得る。
【０００４】
このキズ補正用データをＲＯＭ等に記憶して電子カメラ等の画像処理装置に搭載し、画像処理装置は、このキズ補正用データを用いてキズ補正処理を行う。
【０００５】
最近では、固体撮像素子は、その画素数が大幅に増大し高精細な静止画像を撮影可能となっている。さらに、静止画像だけでなく動画像の表示・記録が可能な電子カメラも実現されている。動画像を表示・記録する場合には、より高精細な時間方向の解像力を得るために、最低でも２４コマ〜３０コマ／秒程度のフレームレートを確保する必要がある。
【０００６】
また、静止画撮影時の高画素数の画像データの生成処理と、動画撮影時の高フレームレートの読出し処理を両立させるために、動画撮影時には固体撮像素子の出力画素数を低減させている。例えば、固体撮像素子の全画素領域の読出しを高速に行う場合には、固体撮像素子の水平方向、垂直方向それぞれ所定画素数おきに読出す、いわゆる間引き読出しを行うことにより、出力画素数の低減化を図ることができる。
【０００７】
他の出力画素数の低減方法としては、いわゆる画素混合手段による画素加算間引き読出しが知られている。この画素加算間引き読出しは、単純に間引き読出しを行うと、空間的にサンプリング周波数が低減し、空間的な折返しノイズが増加するため、固体撮像素子上で、実際には読出しを行わない画素出力を実際に読出しを行う画素出力に加算して、読出すものである。このような画素加算間引き読出しについては、例えば特開２００２−１３５７９３に示すような方法が提案されている。
【０００８】
さらに、特にＣＭＯＳ型の固体撮像素子においては、固体撮像素子の一部の領域の画素データみを読出す部分切出し読出しも容易に行うことが可能である。
【特許文献１】特開２００２−１３５７９３
【特許文献２】特許２５６５２６３
【特許文献３】特開２００４−２４１９７８
【発明の開示】
【発明が解決しようとする課題】
【０００９】
一方、固体撮像素子のキズ画素の補正方法について再度考えると、前述のキズ補正用データとしてのキズ画素のアドレスデータは、固体撮像素子からの読出し方式が変化すると、得られる画像データのサイズが異なるので、当然に異なったものとなってしまう。
【００１０】
従って、動画読出し時においても同様にキズ画素の補正を行おうとすると、必要なキズ画素のアドレスデータは、全画素読出しモードの画像サイズに係るアドレスデータから、動画読出し時の画像サイズに対応したアドレスデータに変換する必要がある。又は、固体撮像素子をその製造工場から出荷する際に、前もって動画読出しのためのキズ補正用データを取得し、それらデータを全てカメラに記憶し、固体撮像素子の読出し方式に応じて適用するキズ補正用データを切替える必要がある。又は、カメラの組立時に改めて動画読出しのためのキズ補正用データを抽出し、カメラに書込むという対応が必要である。
【００１１】
さらに、以下のような問題も懸念される。例えば、固体撮像素子からの読出し方式に応じてアドレスの変換方式を切替える場合には、カメラシステムのメモリの使用量としては静止画撮影時に使用するＲＯＭ容量と変わりがない。しかし、読出し方式ごとにアドレスの再変換をカメラのファームウェアにて実行すると、変換処理の負荷が重く、この変換処理に多くの時間を必要としてしまい、現実的な時間内での処理が非常に困難になる。
【００１２】
特に、静止画用の全画素読出しに対応したキズ補正用データは、高ＩＳＯ感度、長時間露出に対応できるように非常にレベルの小さなキズ画素に関する情報が記載されており、そのデータ量はかなり大きなものである。
【００１３】
一方、動画用の読出しに関しては、使用するＩＳＯ感度が同じであっても、露光時間がフレームレートで規定されるため、長時間露光は考慮する必要がなく、実際に動画用に生成されるキズ補正用データは、静止画用のキズ補正用データに比較すれば小さなデータ量となる。しかし、小さな動画用のキズ補正用のデータを生成する場合にも、静止画用の大容量のキズ補正用データからキズ補正対象の画素をサーチし、アドレス変換を行う必要があり、処理負荷は非常に大きくなる。
【００１４】
また、画素加算間引き読出しにおいては、読出す画素だけではなく周辺の加算する画素がキズ画素である場合も影響を受けるため、アドレス変換を行うには、より複雑な演算を要してしまう。
【００１５】
一方、固体撮像素子の読出し方式に対応する全てのキズ補正用データを記憶しようとすると、動画用キズ補正用データは小容量なものの、各読出し方式ごと、特に切出し読出しを想定すると、読出し位置、切出し倍率ごとに補正データを用意する必要がある。このため、保存すべきデータの種類が増え、カメラシステムでこのキズ補正用データを記憶するＲＯＭの使用量が非常に大きく、またその管理の負荷も大きくなってしまう。
【００１６】
例えば、水平、垂直方向を１／５ずつ切出して読出す場合、読出し開始位置、終了位置を水平、垂直とも５箇所に限定したとしても５×５＝２５通りの読出し位置が選択できる。これら読出し位置のそれぞれに対してキズ補正用データを用意する必要があるため、これだけでキズ補正用データのセットが２５種類となってしまう。
【００１７】
また、これらのデータ生成をカメラの製造工程において行う場合には、各読出し方式ごとにデータを取得する必要があり、製造工程でのテスト時間が増大するといった諸々のコストアップ要因が発生する。
【００１８】
本発明は、このような背景に鑑みてなされたもので、その目的は、固体撮像素子の画素データを各種の形態で読み出して撮像する場合に、欠陥画素の補正処理を簡単かつ安価に行えるようにすることにある。
【課題を解決するための手段】
【００１９】
上記目的を達成するために、本発明に係る画像処理装置は、撮像素子の欠陥画素の位置を示す第１の補正用データを予め格納した記憶手段と、前記撮像素子から読み出された前記欠陥画素に係る画像データを補正する補正手段と、静止画撮影モード又は動画撮影モードのいずれかの撮影モードに設定するモード設定手段と、前記モード設定手段により前記静止画撮影モードが設定された場合に、前記記憶手段に格納された前記第１の補正用データに基づいて、前記補正手段が前記撮像素子から読み出された前記欠陥画素に係る画像データを補正するように制御し、前記モード設定手段により前記動画撮影モードが設定された場合に、前記撮像素子を遮光した状態で前記撮像素子を動画撮影用に駆動して電荷蓄積を行わせることでダーク画像データを取得し、前記ダーク画像データに基づいて前記撮像素子の欠陥画素の位置を示す第２の補正用データを生成し、前記第２の補正用データに基づいて、前記補正手段が前記撮像素子から読み出された前記欠陥画素に係る画像データを補正するように制御する制御手段と、を有することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、固体撮像素子の画素データを各種の形態で読み出して撮像する場合に、欠陥画素の補正処理を簡単かつ安価に行うことが可能となる。
【発明を実施するための最良の形態】
【００２１】
以下、本発明を実施するための最良の形態を図面に基づいて説明する。図１は、本発明の実施の形態に係る画像処理装置としての撮像装置の概略構成を示すブロック図である。
【００２２】
本撮像装置は、撮像素子１０１、ＡＦＥ（アナログフロントエンド）１０２、ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１０３、タイミング発生回路１０４、及びＣＰＵ１０５を有している。
【００２３】
撮像素子１０１としては、例えばＣＭＯＳセンサ（固体撮像素子）が使用されている。
【００２４】
このＣＭＯＳセンサは、ＩＳＯ感度に応じてゲインを切り替える不図示のアンプ回路を内蔵している。また、このＣＭＯＳセンサで撮像された画像データは、全画素を読出す全画素読出しモード（第１の動作モード）、画素を間引きして読出す間引き読出しモード（第２の動作モード）、水平・垂直方向の読出し開始位置（第２の動作モード）、及び読出し終了位置を選択して読出す部分切出し読出しモード（第２の動作モード）で読出すことができる。さらに、間引き読出しモード時には、ＣＭＯＳセンサ上の複数の画素の出力を加算平均して出力する画素加算間引き読出しモードで読出すことも可能である。
【００２５】
図８は、通常の全画素読出し処理を示している。図８の左側に撮像素子１０１の物理的な画素配置を示している。各画素領域に記載の「Ｒ」、「Ｇｒ」、「Ｇｂ」、「Ｂ」は、原色ベイヤー配列を示している。この撮像素子１０１を水平方向、垂直方向に順次スキャンし、全画素の出力を時系列に得た場合の画像イメージを、図８の右側に示している。この場合、全画素読出しであるので、当然に、得られる画像イメージも、物理配置と同様の画素（色）配列となる。
【００２６】
ＡＦＥ１０２は、撮像素子１０１からのアナログ信号をデジタル信号に変換するＡ／Ｄ変換器を内蔵し、また、ダークオフセットレベルをクランプする機能を有している。ＤＳＰ１０３は、ＡＦＥ１０２から出力されたデータに対して各種の補正処理、及び現像処理、圧縮処理を行う。また、ＤＳＰ１０３は、ＲＯＭ１０６、ＲＡＭ１０７等の各種メモリに対するアクセス処理、記録媒体１０８への画像データの書き込み処理、ＬＣＤ１１４に対する各種データの表示処理等を行う。
【００２７】
また、ＤＳＰ１０３は、キズ補正回路１０３３（図５参照）を有し、キズ画素（欠陥画素）の出力データを周辺の画素の出力データを用いて補正するキズ画素補正機能を有している。なお、ＲＯＭ１０６には、当該撮像装置、又は撮像素子１０１の製造時に生成された静止画撮影モード用のキズ補正用データ（第１の補正用データ）が予め格納されている。
【００２８】
タイミング発生回路１０４は、ＣＰＵ１０５の制御の下に、撮像素子１０１、ＡＦＥ１０２及びＤＳＰ１０３にクロック信号や制御信号を供給し、ＤＳＰ１０３と協働して、ＣＭＯＳセンサの各種読出しモードに対応したタイミング信号を生成する。
【００２９】
ＣＰＵ１０５は、ＤＳＰ１０３及びタイミング発生回路１０４の制御並びに測光・測距等の不図示の各部を使ったカメラ機能の制御を行う。ＣＰＵ１０５には、例えば電源スイッチ１０９、第１段目のシャッタスイッチＳＷ１（１１０）、第２段目のシャッタスイッチＳＷ２（１１１）、モードダイアル１１２及びＩＳＯ感度設定スイッチ１１３が接続されている。ＣＰＵ１０５は、これらのスイッチ及びダイアルの設定状態に応じた処理を実行する。
【００３０】
ＲＯＭ１０６は、撮像装置の制御プログラム、すなわち、ＣＰＵ１０５が実行する図２、図３、図４、図６、図７に係るプログラム、及び各種の補正用データ（キズ補正用データを含む）等を記憶している。このＲＯＭ１０６は、一般的にはフラッシュメモリにより構成されている。ＲＡＭ１０７は、ＲＯＭ１０６よりも高速にアクセスできるように構成されている。このＲＡＭ１０７は、ワークエリアとして利用され、ＤＳＰ１０３により処理される画像データ等を一時的に記憶する。なお、ＲＯＭ１０６に記憶されたキズ補正用データは、撮影時には、ＲＡＭ１０７に展開されて使用される。
【００３１】
記録媒体１０８としては、例えば撮影された画像データを保存するメモリカード等が用いられる。記録媒体１０８は、例えば不図示のコネクタを介してＤＳＰ１０３に接続される。電源スイッチ１０９は、撮像装置を起動させる際にユーザにより操作される。第１段目のシャッタスイッチＳＷ１がオンされた場合は、測光処理、測距処理等の撮影前処理が実行される。第２段目のシャッタスイッチＳＷ２がオンされた場合は、不図示のミラー及びシャッタを駆動し、撮像素子１０１により撮像した画像データをＡＦＥ１０２及びＤＳＰ１０３を介して記録媒体１０８に書込む一連の撮像動作が開始される。
【００３２】
モードダイアル１１２は、撮像装置の各種の動作モードを設定するために利用される。ＩＳＯ感度設定スイッチ１１３は、撮像装置の撮影ＩＳＯ感度を設定するために利用される。ＬＣＤ１１４は、カメラの情報を表示し、撮影した画像を再生表示し、或いは動画像データを表示するためのものである。
【００３３】
次に、図１に示した撮像装置の撮影動作の概要を図２のフローチャートに基づいて説明する。
【００３４】
ＣＰＵ１０５は、電源スイッチ１０９がオンされると（ステップＳ２０１）、撮影に必要な電気エネルギーがバッテリに残存しているか否かを判別する（ステップＳ２０２）。その結果、撮影に必要な電気エネルギーがバッテリに残存していなければ、ＣＰＵ１０５は、その旨の警告メッセージをＬＣＤ１１４に表示して（ステップＳ２１１）、ステップＳ２０１に戻り、電源スイッチ１０９が再度オンされるのを待つ。
【００３５】
撮影に必要な電気エネルギーがバッテリに残存していれば、ＣＰＵ１０５は、記録媒体１０８をチェックする（ステップＳ２０３）。このチェックは、所定容量以上のデータを記録可能な記録媒体１０８が当該撮像装置に装着されているか否かを判断することにより行う。所定容量以上のデータを記録可能な記録媒体１０８が当該撮像装置に装着されていない場合は、ＣＰＵ１０５は、その旨の警告メッセージをＬＣＤ１１４に表示して（ステップＳ２１１）、ステップＳ２０１に戻る。
【００３６】
所定容量以上のデータを記録可能な記録媒体１０８が当該撮像装置に装着されている場合は、ＣＰＵ１０５は、モードダイアル１１２により設定された撮影モードが静止画撮影モード、動画撮影モードの何れであるかを判別する（ステップＳ２０４）。そして、ＣＰＵ１０５は、静止画撮影モードが設定されていれば、静止画撮影処理を行い（ステップＳ２０５）、動画撮影モードが設定されていれば、動画撮影処理を行う（テップＳ２０６）。
【００３７】
次に、図２のステップＳ２０５における静止画撮影処理の詳細を、図３のフローチャートに基づいて説明する。
【００３８】
静止画撮影処理では、ＣＰＵ１０５は、まず、シャッタスイッチＳＷ１がオンされるのを待つ（ステップＳ３０１）。そして、ＣＰＵ１０５は、シャッタスイッチＳＷ１がオンされると、不図示の測光制御部及び測距制御部を用いて、絞り値及びシャッタ速度を決定する測光処理、撮影レンズの焦点を被写体に合わせる測距処理を行う（ステップＳ３０２）。
【００３９】
次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされたか否かを判別する（ステップＳ３０３）。その結果、シャッタスイッチＳＷ２がオンされていなければ、ＣＰＵ１０５は、シャッタスイッチＳＷ１のオン状態が継続しているか否かを判別する（ステップＳ３０４）。
【００４０】
ＣＰＵ１０５は、シャッタスイッチＳＷ１のオン状態が継続していれば、ステップＳ３０３に戻って、シャッタスイッチＳＷ２がオンされたか否かを判別する。一方、シャッタスイッチＳＷ１のオン状態が継続していなければ、ＣＰＵ１０５は、ステップＳ３０１に戻って、シャッタスイッチＳＷ１が再度オンされるのを待つ。
【００４１】
ステップＳ３０３にてシャッタスイッチＳＷ２がオンされたと判別された場合は、ＣＰＵ１０５は、撮影処理を実行する（ステップＳ３０５）。この撮影処理の詳細については、後述する。
【００４２】
次に、ＣＰＵ１０５は、ＤＳＰ１０３により、撮影した画像データの現像処理を実行させる（ステップＳ３０６）。そして、ＣＰＵ１０５は、ＤＳＰ１０３により、現像処理が施された画像データに対する圧縮処理を実行させて、その圧縮処理が施された画像データをＲＡＭ１０７の空き領域に格納させる（ステップＳ３０７）。
【００４３】
次に、ＣＰＵ１０５は、ＤＳＰ１０３により、ＲＡＭ１０７に格納されている画像データの読出しと、記録媒体１０８への記録処理を実行させる（ステップＳ３０８）。そして、ＣＰＵ１０５は、電源スイッチ１０９のオン／オフ状態をチェックする（ステップＳ３０９）。電源スイッチ１０９がオンのままであれば、ＣＰＵ１０５は、ステップＳ３０１へ戻り、次の撮影に備える。一方、電源スイッチ１０９がオフされていれば、図２のステップＳ２０１に戻り、電源スイッチが再度オンされるのを待つ。
【００４４】
次に、図３のステップＳ３０５の撮影処理の詳細を、図４のフローチャートに基づいて説明する。
【００４５】
撮影処理では、ＣＰＵ１０５は、当該撮像装置の撮影ＩＳＯ感度がＩＳＯ感度設定スイッチ１１３にて設定されたＩＳＯ感度となるように、撮像素子１０１内のアンプゲイン、ＡＦＥ１０２内部のゲイン等を設定する（ステップＳ４００）。
【００４６】
次に、ＣＰＵ１０５は、キズ補正用データを選択する（ステップＳ４０１）。ここでは、補正対象のキズ画素の種類が白キズに限定されるものとして説明する。白キズは、露光時間（電荷蓄積時間）に応じてレベル（データレベル）が大きくなる特性を持つ。さらに同じレベルの白キズであっても、設定されたＩＳＯ感度が大きければ、画像上では大きなキズとして見えてしまう。そこで、本実施の形態では、撮像素子１０１上の画素を補正対象のキズ画素として判定する場合の判定値としては、ＩＳＯ感度が高ければ高いほど、シャッタ秒時が長ければ長いほど、より小さなレベルのキズ画素まで補正するような判定値を用いている。
【００４７】
すなわち、ステップＳ４０１では、ＣＰＵ１０５は、ＩＳＯ感度設定スイッチ１１３にて設定されたＩＳＯ感度、及び図３のステップＳ３０２にて決定されたシャッタ速度に基づいて、キズ画素の判定値を決定する。そして、ＣＰＵ１０５は、この判定値とＲＯＭ１０６に格納されたキズ補正用データに記載のレベル値とを比較する。次に、ＣＰＵ１０５は、キズ補正用データに記載されているキズ画素（第１の画素数の画素）のうち、そのレベル値が判定値を超えた画素のみを補正対象のキズ画素として選択する。そして、ＣＰＵ１０５は、補正対象のキズ画素に係る補正用データをＲＡＭ１０７上に展開する。この場合の補正用データは、当該補正対象のキズ画素のアドレス情報だけで構成されている。
【００４８】
次に、ＣＰＵ１０５は、ミラーをミラーアップ位置に移動させる（ステップＳ４０２）。次に、ＣＰＵ１０５は、図３のステップＳ３０２の測光処理にて取得した測光データに基づいて、所定の絞り値まで絞りを駆動する（ステップＳ４０３）。次いで、ＣＰＵ１０５は、撮像素子１０１の電荷を消去（クリア）する（ステップＳ４０４）。その後、ＣＰＵ１０５は、撮像素子１０１に対する電荷蓄積を開始する（ステップＳ４０５）。続いて、ＣＰＵ１０５は、シャッタを開き（ステップＳ４０６）、撮像素子１０１の露光を開始する（ステップＳ４０７）。
【００４９】
そして、ＣＰＵ１０５は、測光データにより規定される露光終了時間が経過するまで待機し（ステップＳ４０８）、露光終了時間が経過すると、シャッタを閉じる（ステップＳ４０９）。次に、ＣＰＵ１０５は、開放の絞り値まで絞りを駆動する（ステップＳ４１０）。次いで、ＣＰＵ１０５は、ミラーダウン位置までミラーを駆動する（ステップＳ４１１）。その後、ＣＰＵ１０５は、設定した電荷蓄積時間が経過するまで待機し（ステップＳ４１２）、電荷蓄積時間が経過すると、撮像素子１０１に対する電荷蓄積を終了する（ステップＳ４１３）。
【００５０】
続いて、ＣＰＵ１０５は、撮像素子１０１の信号を読出す（ステップＳ４１４）。この場合、ダークオフセットレベルをクランプする機能を具えたＡＦＥ１０２は、撮像素子１０１の不図示のオプティカルブラック部からの出力を用いてクランプ動作を行う。
【００５１】
次に、ＣＰＵ１０５は、キズ補正処理を行う（ステップＳ４１５）（第１の補正手段）。このキズ補正処理は、図５に示したキズ補正回路１０３３を用いて行われる。すなわち、図５に示すように、ＤＳＰ１０３には、キズ補正回路１０３３が内蔵されている。このキズ補正回路１０３３は、ＡＦＥ１０２から入力される各画素のデータの中のキズ画素に係るデータを、直前の同色の画素のデータに置き換えて出力するものである。
【００５２】
ここで、図５を参照してキズ補正処理を詳細に説明する。上記のように、既にステップＳ４０１にて、今回の静止画撮影時に補正対象となるキズ画素のみのアドレス情報をＲＡＭ１０７上に展開している。そこで、ＤＳＰ１０３のキズ補正回路１０３３は、このＲＡＭ１０７上のキズ画素のアドレス情報に基づいて、キズ画像の補正処理を行う。
【００５３】
このキズ画素のアドレス情報としては、同期信号を基準としたときの各キズ画素が現れるタイミングデータに換算して記述されている。メモリ制御回路１０３１は、このキズ画素のアドレス情報としてのタイミングデータを、アドレス比較回路１０３２に転送する。
【００５４】
アドレス比較回路１０３２は、同期信号を基準としたときの撮像素子１０１の読出しタイミングとこのアドレス情報としてのタイミングデータを比較する。そして、両者が一致した場合には、キズ補正回路１０３３は、当該画素の画素データを直前の同色画素の画素データに置換して出力する。
【００５５】
その後、次のキズ画素の補正処理に備え、アドレス比較回路１０３２には、メモリ制御回路１０３１により、直ちに次のキズ画素のアドレス情報としてのタイミングデータが転送される。そして、同様にして、キズ補正回路１０３３により、キズ画素に係る画素データの補正処理が行われる。
【００５６】
このようなキズ補正処理が施された画像データに対して、ＤＳＰ１０３内の他の処理回路１０３４にて、図３のステップＳ３０６，Ｓ３０７，Ｓ３０８の現像、圧縮、記録といった各種処理が施される。
【００５７】
次に、動画撮影処理を説明する。本実施の形態では、動画撮影モードになると、不図示のミラーをアップし、シャッタを開き、撮像素子１０１から読出される画像データを現像してＬＣＤ１１４上に表示し続けるモニタ動作を行うことを想定している。また、シャッタスイッチＳＷ２がオンしている間は、動画データを記録媒体１０８に記録し続けることを想定している。
【００５８】
動画撮影モードから抜け出るには、モードダイアル１１２の設定を変更するか、電源スイッチ１０９をオフすることを想定している。また、記録される動画像の大きさ、位置、フレームレート等は別途不図示の設定手段によって設定できるものとする。動画像の大きさ、位置、フレームレート等の相違に応じて、本実施の形態では、次のような動画モードを想定している。
【００５９】
「通常動画モード」
この通常動画モードは、撮像素子１０１上の画素データを水平、垂直方向とも、５画素中１画素のみ読出すモードである。すなわち、図９に示したように、１／５間引き読出しを行う動画モードである。この場合、読出し画素数は１／２５となり、大幅な読出し時間の短縮が可能である。
【００６０】
「高速動画モード」
この高速動画モードは、撮像素子１０１上の画素データを、水平方向は１１画素中１画素のみ読出し、垂直方向は５画素中１画素のみ読出す。また、水平方向は、４画素離れた同色の画素の画素データ同士の加算平均値を画素データとして出力することにより（図１０参照）、間引き率が高いことに起因する空間サンプリング時の信号の折り返し成分を除去する。すなわち、高速動画モードでは、図１０に示したような加算間引き読出しが行われる。この場合、読出し時間が大幅に短縮されることにより、単位時間あたりのフレーム数が増加し、高速な被写体に適した動画モードとなる。
【００６１】
本実施の形態では、上記の加算間引き形式で読出しを行うために、撮像素子１０１内にアナログ的に画素データを混合する混合部を設け、水平方向に４画素離間した同色の画素の画素データ同士の混合処理を、データ読出し前に行う。この混合処理により、読出される画素データは、周辺画素の画素データとの平均値となっている。この混合処理に係る画素データを、図９の間引き読出しと同様の方式で読出す。ただし、間引き率は、１／５から１／１１に下げる。
【００６２】
なお、水平方向だけでなく垂直方向においても画素混合が可能な撮像素子においては、垂直方向も合わせて画素混合を行うことで、水平、垂直両方向の空間サンプリング時の信号の折り返し成分除去が可能となる。
【００６３】
「電子ズームモード」
この電子ズームモードは、撮像素子１０１の一部の領域のみを拡大したイメージで表示するため、撮像素子１０１の一部領域のみを間引くことなく読出すモードである。本実施の形態では、図１２に示したように、水平、垂直方向とも、有効画素数の１／５の領域を切り出している。すなわち、電子ズームモードでは、部分切出し読出しが行われる。図１１は、部分切出し読出しを示す概念図である。
【００６４】
図１１のような部分切出し形式で読出しを行うために、本実施の形態では、撮像素子１０１について、水平方向と垂直方向とで独立に、読出し開始位置と読出し終了位置を設定可能としている。そして、タイミング発生回路１０４からの駆動信号に応じて、上記の読出し開始位置と読出し終了位置との間の領域の画素の画素データを、間引きを行うことなく全て読出す。
【００６５】
本実施の形態では、撮像素子１０１としてはＣＭＯＳ型の撮像素子を想定している。従って、上記の各種の読出し方式の切替え処理は、水平、垂直方向のシフトレジスタのシフト動作を変更することにより簡単に行うことが可能である。
【００６６】
次に、図２のステップＳ２０６における動画撮影処理の詳細を、図６のフローチャートに基づいて説明する。
【００６７】
ＣＰＵ１０５は、モードダイアル１１２により選択された動画モード、すなわち、通常動画モード、高速動画モード、又は電子ズームモードを設定する（ステップＳ６００）。次に、ＣＰＵ１０５は、動画用のキズ補正用データ（第２の補正用データ）を取得する（ステップＳ６０１）。ここで、図６のフローチャートの説明を中断し、動画用のキズ補正用データの取得処理の詳細を、図７のフローチャートに基づいて説明する。
【００６８】
ＣＰＵ１０５は、まず、ＩＳＯ感度設定スイッチ１１３にて設定可能な最大のＩＳＯ感度を設定すべく、撮像素子１０１内のアンプゲインや、ＡＦＥ１０２内部のゲイン等を設定する（ステップＳ７００）。この設定ゲインは、キズ画素の検出を目的として行うためのものであり、本来使用する予定の設定ゲインよりも高い設定ゲインとすることができる。これにより、より高精度のキズ画素の検出が可能となる。
【００６９】
次に、ＣＰＵ１０５は、ＲＯＭ１０６に格納されたキズ補正用データから独立したキズ補正処理を行うため、ＤＳＰ１０３内のキズ補正回路１０３３の動作を禁止する（ステップＳ７０１）。次に、ＣＰＵ１０５は、撮像素子１０１の電荷をクリアし（ステップＳ７０２）、撮像素子１０１の電荷蓄積を開始する（ステップＳ７０３）。ただし、この時点では不図示のミラーはアップしていないし、同じく不図示のシャッタも開いていないため、撮像素子１０１には被写体像は入射しておらず、撮影できるのはダーク画像である。
【００７０】
次に、ＣＰＵ１０５は、設定した電荷蓄積時間が経過したか否かを判別する（ステップＳ７０４）。設定した電荷蓄積時間が経過したならば、ＣＰＵ１０５は、撮像素子１０１の電荷蓄積を終了する（ステップＳ７０５）。ここで設定する電荷蓄積時間としては、基本的には記録或いは表示する動画像のフレームレートに相当する時間でよく、例えば３０フレーム／秒の動画の場合は、３３ｍＳ程度の電荷蓄積時間を設定すればよい。ただし、ステップＳ７００でのゲイン設定と同様に設定する電荷蓄積時間を実際に使用する電荷蓄積時間よりも長くしてもよい。この場合、白キズ画素は電荷蓄積時間に比例してその出力レベルが大きくなるため、より微小なレベルの白キズを検出できることとなり、より高精度の検出が可能となる。
【００７１】
その後、ＣＰＵ１０５は、撮像素子１０１上で得られたダーク画像を読出す（ステップＳ７０６）。
【００７２】
この撮像素子１０１からのダーク画像の読出しは、図６のステップＳ６００にて設定されている動画用モードに対応した読出し方式で行う。すなわち、ステップＳ７０６では、実際にこれから動画を撮影する際の読出し方式と同一の読出し方式でダーク画像データが得られることとなる。このダーク画像データは、キズ補正回路１０３３が動作していないため、キズ画素の出力レベルのままとなっている。
【００７３】
次に、ＣＰＵ１０５は、このダーク画像データに基づいて動作撮影用のキズ補正用データを作成する。すなわち、ＣＰＵ１０５は、得られた各画素のダーク画像データを順次読み込み、そのダーク画像データのレベルを所定の判定値と比較する（ステップＳ７０７）。そして、ＣＰＵ１０５は、そのダーク画像データが当該判定値を超える画素を白キズ画素として検出し、この白キズ画素のアドレス情報をキズ補正用データとしてＲＡＭ１０７上に生成する（ステップＳ７０８）。このアドレス情報は、前述のようなタイミングデータとして構成することができる。
【００７４】
この場合、ダーク画像データは、上記のように、これから実際に動画を撮影する際の読出し方式と同一の読出し方式で読み出されている。従って、ダーク画像データ上で検出されたキズ画素のアドレスと、ＤＳＰ１０３内のキズ補正回路１０３３に供給する補正用データとしてのアドレス情報は、同期信号に対するオフセット（水平ブランキング期間に相当する時間）を加算するだけで容易に変換可能である。
【００７５】
最後に、ＣＰＵ１０５は、ステップＳ７０８で生成したキズ補正用データによるキズ補正処理を有効にするため、キズ補正回路１０３３の動作を許可する（ステップＳ７０９）。
【００７６】
次に、図６の動画撮影のフローチャートの説明に戻る。ステップＳ６０１にて動画用キズ補正データの取得処理が終わると、ＣＰＵ１０５は、不図示のミラーアップ、および不図示のシャッタの開動作を行う（ステップＳ６０２）。これにより、撮像素子１０１に常時被写体像が入射するようになる。
【００７７】
次に、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされているか否かを判別する（ステップＳ６０３）。シャッタスイッチＳＷ２がオンされている場合には、ＣＰＵ１０５は、記録媒体１０８に動画像データを書き込む記録動作を開始する（ステップＳ６０５）。一方、シャッタスイッチＳＷ２がオフされている場合には、ＣＰＵ１０５は、記録媒体１０８に動画像データを書き込む記録動作が現在実行されていることを条件に、その記録動作を停止する（ステップＳ６０４）。すなわち、ＣＰＵ１０５は、シャッタスイッチＳＷ２がオンされている間は、動画像データの記録処理を継続し、シャッタスイッチＳＷ２がオフされた時点で動画像データの記録処理を停止する。ただし、安全のために、シャッタスイッチＳＷ２がオフされなくても、所定時間が経過した時点や、記録媒体１０８の残容量が少なくなった時点で、記録動作を停止してもよい。
【００７８】
ステップＳ６０４、又はＳ６０５の処理を行った後、ＣＰＵ１０５は、ＬＣＤ１１４への画像データのモニタ表示を繰り返すモニタ動作を行うべく、露出調整を行う（ステップＳ６０６）。この露出調整では、直前に撮影した画像データから露光量を判断し、適切な露光量となるように、レンズの絞りやＡＦＥ１０２内部のゲインを設定する。ただし、最初の動画撮影時には直前のデータが存在しないため、レンズの絞りやＡＦＥ１０２内部のゲインとしては、初期値が設定される。
【００７９】
次に、ＣＰＵ１０５は、撮影処理を行う（ステップＳ６０７）。動画撮影時には、撮像素子１０１は、タイミング発生回路１０４からの駆動信号によって、電荷クリア−蓄積−読出しを繰り返し実行する。また、撮像素子１０１は、設定された動画像の大きさと位置に対応した読出し方式の動画撮影モードで駆動され、所定のフレームレートで読出し動作が繰り返される。
【００８０】
次に、ＣＰＵ１０５は、撮影処理により読出された動画像のデータについて、ステップＳ６０１で取得したキズ補正用データ（アドレス情報）を用いて、ＤＳＰ１０３内のキズ補正回路１０３３によりキズ画素の補正処理を行う（ステップＳ６０８）（第２の補正手段）。この補正処理は、キズ補正用データが異なるだけで、静止画の場合と同様の処理である。
【００８１】
次に、ＣＰＵ１０５は、ＤＳＰ１０３により、現像処理（ステップＳ６０９）、モニタ表示のための圧縮処理（ステップＳ６１０）を行い、それらの処理結果を、ＬＣＤ１１４に表示する（ステップＳ６１１）。この動作を表示に必要なフレームレートで繰り返すことで、モニタ動作が可能となる。
【００８２】
次に、ＣＰＵ１０５は、電源スイッチ１０９がオフされていれば（ステップＳ６１２）、動画終了処理を行って（ステップＳ６１４）、図２のステップＳ２０１にリターンする。一方、電源スイッチ１０９がオン状態のままであれば（ステップＳ６１２）、ＣＰＵ１０５は、モードダイアル１１２をチェックする（ステップＳ６１３）。モードダイアル１１２が動画用モードのままであれば、ステップＳ６０３に戻る。一方、モードダイアル１１２が静止画モードに切り替えられていれば、動画終了処理を行って（ステップＳ６１５）、図２のステップＳ２０４にリターンする。
【００８３】
ステップＳ６１４、Ｓ６１５の動画終了処理では、現在記録動作中であれば記録動作の停止、撮像素子１０１の駆動停止、ＤＳＰ１０３の読出し処理の停止を行うと共に、不図示のシャッタを閉じ、不図示のミラーをダウンする。
【００８４】
以上説明したように、本実施の形態では、静止画撮影時用のキズ補正用データとしては、撮像素子１０１をその製造工場から出荷する際に得られたデータを使用している。一方、動画用の読出しモードでの動作時には、その読出し動作を行う直前に撮像素子１０１を遮光した状態で電荷蓄積、読出しを行い、得られた画像データから補正すべきキズ画素のアドレスを検出し、キズ補正用データとしてＲＡＭ１０７に記憶している。そして、実際の撮影時には、これらのデータを用いてキズ補正処理を行っている。
【００８５】
この場合、ＲＯＭ１０６に記憶するキズ補正用データは、従来と同様に静止画撮影用のものだけであり、ＲＯＭ１０６のメモリ容量を増大させる必要はない。また、動画撮影時には、実際の動画撮影に先立ってダーク撮影を行うことにより、キズ画素をその読出し方式ごとに検出している。このため、複雑な演算処理であるキズ画素のアドレス変換処理を行う必要はなくなる。
【００８６】
さらに、撮像素子１０１を出荷する際の動作テスト時に、静止画用に特化した条件でのみキズ補正用データを取得すればよく、動画用の各種の読出し動作に個別に対応した多数のキズ補正用データを取得する必要はない。このため、撮像素子１０１の動作テスト時間の短縮化を図ることができ、また、多数のキズ補正用データを管理する必要もない。
【００８７】
また、カメラの製造工程においても、動画モードでの各種の読出し動作に個別に対応したキズ補正用データを取得する必要がないため、カメラの動作テスト時間の短縮化を図ることができ、また、多数のキズ補正用データを管理する必要もない。
【００８８】
さらに、カメラシステムにおいても、動画モードでの各種の読出し動作に個別に対応したキズ補正用データをフラッシュメモリ等に保存する必要がないため、メモリ容量の増大を抑制することが可能となる。
【００８９】
また、カメラシステムにおいて、静止画用キズ補正用データから、動画モードでの各種の読出し動作それぞれ用にキズ補正用データを変換する作業負荷が発生しないため、起動時の負荷が軽くなり、高速な起動が可能となる効果がある。
【００９０】
また、変換作業を高速に行うためにハードウェアを高速化する必要もなく、コストアップを回避することができる。
【００９１】
また、カメラのシステムにおいても実際に使用する動画モードでの各種の読出し動作ごとにキズ画素の検出処理を行うが動画用のキズ補正用データの算出処理は、読出し方式に拠らずに同一の方法にて行うことができる。このため、多くの読出し方法を有するシステムであっても、キズ画素検出機能の追加がファームウェアの開発に与える負荷の増大を抑制することができる。
【００９２】
なお、本発明は、上記の実施の形態に限定されることなく、各種の変形例を想定することができる。例えば、上記の実施の形態においては、ステップＳ６０１にて動画読出しによりダーク画像を取得し、動画用のキズ補正用データを生成した後、モニタ動作、記録動作を行うように記載している。これに対し、ＤＳＰ１０３での処理が可能であれば、動画読出しによりダーク画像を取得する処理は、ステップＳ６０１のタイミングで行い、動画用のキズ補正用データの生成処理は、後で行ってもよい。
【００９３】
すなわち、動画用のキズ補正用データの生成する前に、直ちにモニタ動作や記録動作に移行し、モニタ動作や、記録動作と並行して動画用のキズ補正用データを生成してもよい。この場合、モードダイアル１１２の設定操作から動画像の表示までのタイムラグを短くすることができる。
【００９４】
また、動画用のキズ補正用データの生成処理を開始した後に、ミラーアップ、シャッタ動作といったメカニカルな動作を行い、このメカニカルな動作を行っている間に、動画用のキズ補正用データを生成することができる。
【００９５】
また、キズ補正回路１０３３は、キズ画素の出力をその直前の同色の画素の出力に置換して出力しているが、これ以外の補正方法でキズ画素を補正することも可能である。
【００９６】
また、キズ補正用データ、すなわちキズ画素を特定するための情報は、前述のようなタイミングデータではなく、キズ画素の物理的な所在位置を示すＸＹ座標値等のアドレス情報であってもよい。
【００９７】
さらに、静止画撮影において、撮像素子１０１上で得られたダーク画像を読出し、このダーク画像から求められた暗電流のレベル値を、ステップＳ４１５でキズ補正処理が施された画像データから差し引いてもよい。
【００９８】
このように静止画撮影において作成されたダーク画像データと、上述した動画撮影において作成されたダーク画像データとでは、その利用目的および利用方法が異なる。上述したように、動画撮影のために作成されたダーク画像データは、判定値を超えるレベル値の画素を白キズ画素として検出するために用いられる。これに対し、静止画撮影のために生成されたダーク画像データは、すでにキズ補正処理が施された各画素のデータから、ダーク画像データの各画素のデータを差し引くことで、暗電流を除去するために用いられる。
【００９９】
さらに、上記の実施の形態では、ダーク画像データを用いてキズ補正処理を行う対象として、間引き読出し、加算間引き読出し、および、部分切出し読出しを行う動画像のデータを例にあげて説明したが、これに限られるものではない。ＲＯＭ１０６に格納されたキズ補正用データを用いてキズ補正処理を行う静止画の画像データに対して画素数が異なる画像データであれば、ダーク画像データを用いてキズ補正処理を行う対象となり得る。例えば、間引き読出し、加算間引き読出し、および、部分切出し読出しを行う静止画像のデータに対して、ダーク画像データを用いてキズ補正処理を行ってもよい。
【０１００】
さらに、本発明の目的は、上述した各実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体によっても達成される。すなわち、この記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読出して実行することによって達成される。
【０１０１】
この場合、記憶媒体から読出されたプログラムコード自体が前述した各実施の形態の機能を実現することになり、そのプログラムコード、該プログラムコードから構成されたプログラム、及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。
【０１０２】
また、プログラムコードを供給するための記憶媒体としては、次のものを用いることができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光磁気ディスク等を用いることができる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ＋ＲＷ等の光ディスク、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。または、プログラムコードをネットワークを介してダウンロードしてもよい。
【０１０３】
また、本発明は、コンピュータが読出したプログラムコードを実行することにより、上記の各実施の形態の機能が実現される場合だけに限定されるものではない。その他、例えば、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施の形態の機能が実現される場合も含まれる。
【０１０４】
さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれることにより各実施の形態の機能が実現される場合も含まれる。この場合、当該書込みの後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行うこととなる。
【図面の簡単な説明】
【０１０５】
【図１】本発明の実施の形態に係る画像処理装置（撮像装置）の概略構成を示すブロック図である。
【図２】上記の撮像装置の撮影動作の概要を示すフローチャートである。
【図３】図２のステップＳ２０５における静止画撮影処理の詳細を示すフローチャートである。
【図４】図３のステップＳ３０５における撮影処理の詳細を示すフローチャートである。
【図５】上記の撮像装置のキズ補正に係る回路部分を示すブロック図である。
【図６】図２のステップＳ２０６における動画撮影処理の詳細を示すフローチャートである。
【図７】図６のステップＳ６０１における動画用のキズ補正用データの取得処理の詳細を示すフローチャートである。
【図８】全画素読み出し処理を示す概念図である（静止画撮影時）。
【図９】間引き読み出し処理を示す概念図である（動画撮影時）。
【図１０】画素加算間引き読み出し処理を示す概念図である（動画撮影時）。
【図１１】部分切出し読み出し処理を示す概念図である（電子ズーム時）。
【図１２】部分切出し読み出しの領域を示す概念図である（電子ズーム時）。
【符号の説明】
【０１０６】
１０１：撮像素子（固体撮像素子）
１０２：ＡＦＥ（アナログフロントエンド）
１０３：ＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）
１０４：タイミング発生回路
１０５：ＣＰＵ
１０６：ＲＯＭ
１０７：ＲＡＭ
１０８：記録媒体
１１２：モードダイアル
１０３１：メモリ制御回路
１０３２：アドレス比較回路
１０３３：キズ補正回路
【図１】
0005300306.tif 000002
【図２】
0005300306.tif 000003
【図３】
0005300306.tif 000004
【図４】
0005300306.tif 000005
【図５】
0005300306.tif 000006
【図６】
0005300306.tif 000007
【図７】
0005300306.tif 000008
【図８】
0005300306.tif 000009
【図９】
0005300306.tif 000010
【図１０】
0005300306.tif 000011
【図１１】
0005300306.tif 000012
【図１２】
0005300306.tif 000013