(57)【要約】【課題】簡単な処理で点滅欠陥画素による画像ノイズを補正できる画像ノイズ低減方法および撮像装置を提供することを課題とする。【解決手段】固体撮像素子を備えた撮像装置の画像ノイズ低減方法において、被写体像を固体撮像素子で撮像する撮像工程と、固体撮像素子の温度を検知する固体撮像素子温度検知工程と、固体撮像素子を遮光した状態で、撮像工程における電荷蓄積時間と固体撮像素子温度検知工程で検知した固体撮像素子の温度に基づいて所定の回数、固体撮像素子の出力する画像ノイズデータの取得を行う画像ノイズデータ取得工程と、画像ノイズデータ取得工程で得られた画像ノイズデータに基づいて補正データを作成する補正データ作成工程と、撮像工程で取得した画像データを、補正データ作成工程で作成した補正データに基づいて補正する画像補正工程と、を含むことを特徴とする画像ノイズ低減方法。【選択図】図４
2007199907.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子を備えた撮像装置の画像ノイズ低減方法において、
被写体像を前記固体撮像素子で撮像する撮像工程と、
前記固体撮像素子の温度を検知する固体撮像素子温度検知工程と、
前記固体撮像素子を遮光した状態で、前記撮像工程における電荷蓄積時間情報と、前記固体撮像素子温度検知工程で検知した前記固体撮像素子の温度情報のうち少なくとも１つに基づいて所定の回数、前記固体撮像素子の出力する画像ノイズデータの取得を行う画像ノイズデータ取得工程と、
前記画像ノイズデータ取得工程で得られた前記画像ノイズデータに基づいて補正データを作成する補正データ作成工程と、
前記撮像工程で取得した画像データを、前記補正データ作成工程で作成した補正データに基づいて補正する画像補正工程と、
を含むことを特徴とする画像ノイズ低減方法。
【請求項２】
前記補正データ作成工程において、
前記画像ノイズデータ取得工程で所定の回数取得した前記画像ノイズデータのうち、所定値以上の画像ノイズデータに基づいて補正データを作成することを特徴とする請求項１に記載の画像ノイズ低減方法。
【請求項３】
前記補正データ作成工程において、
前記画像ノイズデータ取得工程で所定の回数取得した全ての前記画像ノイズデータに基づいて補正データを作成することを特徴とする請求項２に記載の画像ノイズ低減方法。
【請求項４】
前記補正データ作成工程において、
前記画像ノイズデータ取得工程で所定の回数取得した前記画像ノイズデータのうち、共通する画像ノイズデータに基づいて補正データを作成することを特徴とする請求項２に記載の画像ノイズ低減方法。
【請求項５】
前記補正データ作成工程は、
前記撮像工程で撮像した被写体像の画像データを所定値と比較する濃度比較工程を含み、
前記濃度比較工程において、
被写体像の画像データが第１の所定値以下と判定したときは、
前記画像ノイズデータ取得工程で所定の回数取得した全ての前記画像ノイズデータに基づいて補正データを作成し、
被写体像の画像データが第２の所定値以上と判定したときは、
前記画像ノイズデータ取得工程で所定の回数取得した前記画像ノイズデータのうち、共通する画像ノイズデータに基づいて補正データを作成することを特徴とする請求項２に記載の画像ノイズ低減方法。
【請求項６】
前記画像ノイズデータ取得工程において、
前記撮像工程における電荷蓄積時間が長いほど、前記画像ノイズデータの取得回数を多くすることを特徴とする請求項１乃至５の何れか１項に記載の画像ノイズ低減方法。
【請求項７】
前記画像ノイズデータ取得工程において、
前記撮像工程における固体撮像素子の温度が高いほど、前記画像ノイズデータの取得回数を多くすることを特徴とする請求項１乃至５の何れか１項に記載の画像ノイズ低減方法。
【請求項８】
固体撮像素子を備えた撮像装置において、
被写体像を前記固体撮像素子で撮像する撮像手段と、
前記固体撮像素子の温度を検知する固体撮像素子温度検知手段と、
前記固体撮像素子を遮光した状態で、前記撮像手段が被写体像を撮像したときの電荷蓄積時間情報と、前記固体撮像素子温度検知手段の検知した固体撮像素子の温度情報のうち少なくとも１つの情報に基づいて、所定の回数、前記固体撮像素子の出力する画像ノイズデータの取得を行う画像ノイズデータ取得手段と、
前記画像ノイズデータ取得手段で得られた前記画像ノイズデータに基づいて補正データを作成する補正データ作成手段と、
前記撮像手段で取得した画像データを、前記補正データ作成手段で作成した補正データに基づいて補正する画像補正手段と、
を有することを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像ノイズ低減方法および撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルカメラ等の撮像装置に備えられた固体撮像素子には、ダストの付着，結晶欠陥等による欠陥画素が存在することが知られている。欠陥画素には、画像にかかわらず白に見える信号レベルの信号を出力するため、白キズと呼ばれる白い点が撮像画像に現れるもの、あるいは画像にかかわらず黒に見える信号レベルの信号を出力するため、黒キズと呼ばれる黒い点が撮像画像に現れるものがある。このような欠陥画素による画像ノイズがあると著しく画質が劣化するため、撮像装置に欠陥画素補正回路を備えて、撮像した画像を補正していた。
【０００３】
固体撮像素子では、欠陥画素の位置を正確に特定できるので、従来は、工場出荷時に欠陥画素検査装置を用いて固体撮像素子の欠陥画素を検出し、その位置情報と信号レベルをＲＯＭに記録し、このＲＯＭを撮像カメラに搭載し、ＲＯＭに記憶された欠陥画素の位置情報と信号レベルに基づいて欠陥画素を補正するようにしていた。
【０００４】
ところで、近年、撮像装置の小型化、高画素化に伴って、より小型で高画素の固体撮像素子が求められるようになってきた。これらの小型、高画素の固体撮像素子では、従来技術で補正可能な一定の信号レベルを出力する欠陥画素に加えて、信号レベルが変動する点滅欠陥画素が発生することが知られている。点滅欠陥画素は信号レベルが変動するため、１回の検査では検出できないことがあり、また検出できたとしても検出したときの信号レベルと、撮影時の信号レベルは異なるので、検出したときの信号レベルで補正を行うと、補正過剰になったり、補正不足になるという問題があった。
【０００５】
このような問題を解決するため、均一な画面を複数フレームにわたり繰り返し撮像して各画素の信号レベルを測定し、変動レベルが判定基準以上のとき点滅欠陥画素と判定し、点滅欠陥画素の出力は他の画素の出力から導入した代替値により代替させる方法（例えば、特許文献１参照）等が提案されている。
【特許文献１】特開２００３−２９８９４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の方法では、どの程度のフレーム数を取得するかの示唆が無く、適切に点滅画素を検出することが難しかった。
【０００７】
本発明は、上記課題に鑑みてなされたものであって、簡単な方法で点滅欠陥画素を抽出することにより画像ノイズを補正できる画像ノイズ低減方法および撮像装置を提供することを課題とする。
【課題を解決するための手段】
【０００８】
本発明の目的は、下記構成により達成することができる。
【０００９】
１．
固体撮像素子を備えた撮像装置の画像ノイズ低減方法において、
被写体像を前記固体撮像素子で撮像する撮像工程と、
前記固体撮像素子の温度を検知する固体撮像素子温度検知工程と、
前記固体撮像素子を遮光した状態で、前記撮像工程における電荷蓄積時間情報と、前記固体撮像素子温度検知工程で検知した前記固体撮像素子の温度情報のうち少なくとも１つに基づいて所定の回数、前記固体撮像素子の出力する画像ノイズデータの取得を行う画像ノイズデータ取得工程と、
前記画像ノイズデータ取得工程で得られた前記画像ノイズデータに基づいて補正データを作成する補正データ作成工程と、
前記撮像工程で取得した画像データを、前記補正データ作成工程で作成した補正データに基づいて補正する画像補正工程と、
を含むことを特徴とする画像ノイズ低減方法。
【００１０】
２．
前記補正データ作成工程において、
前記画像ノイズデータ取得工程で所定の回数取得した前記画像ノイズデータのうち、所定値以上の画像ノイズデータに基づいて補正データを作成することを特徴とする１に記載の画像ノイズ低減方法。
【００１１】
３．
前記補正データ作成工程において、
前記画像ノイズデータ取得工程で所定の回数取得した全ての前記画像ノイズデータに基づいて補正データを作成することを特徴とする２に記載の画像ノイズ低減方法。
【００１２】
４．
前記補正データ作成工程において、
前記画像ノイズデータ取得工程で所定の回数取得した前記画像ノイズデータのうち、共通する画像ノイズデータに基づいて補正データを作成することを特徴とする２に記載の画像ノイズ低減方法。
【００１３】
５．
前記補正データ作成工程は、
前記撮像工程で撮像した被写体像の画像データを所定値と比較する濃度比較工程を含み、
前記濃度比較工程において、
被写体像の画像データが第１の所定値以下と判定したときは、
前記画像ノイズデータ取得工程で所定の回数取得した全ての前記画像ノイズデータに基づいて補正データを作成し、
被写体像の画像データが第２の所定値以上と判定したときは、
前記画像ノイズデータ取得工程で所定の回数取得した前記画像ノイズデータのうち、共通する画像ノイズデータに基づいて補正データを作成することを特徴とする２に記載の画像ノイズ低減方法。
【００１４】
６．
前記画像ノイズデータ取得工程において、
前記撮像工程における電荷蓄積時間が長いほど、前記画像ノイズデータの取得回数を多くすることを特徴とする１乃至５の何れか１項に記載の画像ノイズ低減方法。
【００１５】
７．
前記画像ノイズデータ取得工程において、
前記撮像工程における固体撮像素子の温度が高いほど、前記画像ノイズデータの取得回数を多くすることを特徴とする１乃至５の何れか１項に記載の画像ノイズ低減方法。
【００１６】
８．
固体撮像素子を備えた撮像装置において、
被写体像を前記固体撮像素子で撮像する撮像手段と、
前記固体撮像素子の温度を検知する固体撮像素子温度検知手段と、
前記固体撮像素子を遮光した状態で、前記撮像手段が被写体像を撮像したときの電荷蓄積時間情報と、前記固体撮像素子温度検知手段の検知した固体撮像素子の温度情報のうち少なくとも１つの情報に基づいて、所定の回数、前記固体撮像素子の出力する画像ノイズデータの取得を行う画像ノイズデータ取得手段と、
前記画像ノイズデータ取得手段で得られた前記画像ノイズデータに基づいて補正データを作成する補正データ作成手段と、
前記撮像手段で取得した画像データを、前記補正データ作成手段で作成した補正データに基づいて補正する画像補正手段と、
を有することを特徴とする撮像装置。
【発明の効果】
【００１７】
簡単な処理で点滅欠陥画素による画像ノイズを補正する画像ノイズ低減方法と高画質な撮像装置を提供できる。
【発明を実施するための最良の形態】
【００１８】
以下、図面に基づき本発明の実施の形態を説明する。
【００１９】
まず、本発明の実施形態に係わる固体撮像素子の一例であるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）の点滅欠陥画素の特性例について、図１を用いて説明する。
【００２０】
図１は本発明に係わるＣＣＤの点滅欠陥画素の一例を説明するための説明図である。
【００２１】
図１（ａ）はＣＣＤの電荷蓄積時間Ｓと点滅欠陥画素のＣＣＤ出力電圧Ｖｏの関係の一例を説明するグラフ、図１（ｂ）はＣＣＤの温度Ｔと点滅欠陥画素のＣＣＤ出力電圧Ｖｏの関係の一例を説明するグラフである。同一の電荷蓄積時間Ｓと温度Ｔの条件下でも、ＣＣＤ出力電圧Ｖｏは点滅欠陥画素毎に異なるので、図１に示すＣＣＤ出力電圧Ｖｏは一例である。
【００２２】
最初に図１（ａ）から説明する。ＣＣＤの画素のうち標準値の約２０倍以上の暗電流を出力する欠陥画素は、特に夜景撮影など長秒時の撮影を行うと、周囲の画素より明るく白いキズのように見えるため白キズと呼ばれている。暗電流はＣＣＤの温度が一定だとすると、電荷蓄積時間Ｓに比例するので、欠陥画素のＣＣＤ出力電圧Ｖｏも電荷蓄積時間Ｓに比例するのが一般的な欠陥画素である。しかしながら、点滅欠陥画素の場合は電荷蓄積時間Ｓに比例する傾向はあるが、同じ条件でも露光毎に一定せず点滅するようにＣＣＤ出力電圧Ｖｏが大きくなったり、小さくなったりする。
【００２３】
図１（ａ）のＶｏａｖｅは固体撮像素子温度Ｔ＝５０℃、暗黒の条件で、電荷蓄積時間を変えて複数回撮像したときの点滅欠陥画素のＣＣＤ出力電圧Ｖｏの平均値の例である。また、ＶｏｍａｘはそのときのＣＣＤ出力電圧Ｖｏの最大値、ＶｏｍｉｎはＣＣＤ出力電圧Ｖｏの最小値である。Ｖｄ（１）は電荷蓄積時間１秒のときのＶｏｍａｘとＶｏｍｉｎの差であり、点滅欠陥画素のＣＣＤ出力電圧Ｖｏの変動幅を示している。同様にＶｄ（３）は電荷蓄積時間３秒のときのＣＣＤ出力電圧Ｖｏの変動幅であり、図１（ａ）の例ではＶｄ（１）の約４倍になっている。
【００２４】
また、基準値Ｖｔｈは人間が撮像画像を見て白キズを検知できる限界である検知限レベルを表している。たとえば電荷蓄積時間Ｔａが例えば０．１秒以下の場合はＣＣＤ出力電圧ＶｏはＶｔｈ以下であり、欠陥画素は人間の目に検知できないので特に補正する必要はない。
【００２５】
図１（ｂ）は電荷蓄積時間Ｓ＝１秒、暗黒の条件で、固体撮像素子温度Ｔを変えて複数回撮像したときの点滅欠陥画素のＣＣＤ出力電圧Ｖｏのグラフである。図１（ａ）と同様に、ＶｏｍａｘはＣＣＤ出力電圧Ｖｏの最大値、ＶｏｍｉｎはＣＣＤ出力電圧Ｖｏの最小値、ＶｏａｖｅはＣＣＤ出力電圧Ｖｏの平均値を示す。欠陥画素の暗電流は、電荷蓄積時間が一定でも、たとえばＣＣＤの温度が１０℃上昇すると約２倍になる。そのため、図１（ｂ）に示すようにＣＣＤの温度が上昇すると急激に欠陥画素のＣＣＤ出力電圧Ｖｏの変動幅が大きくなっている。
【００２６】
このように点滅欠陥画素のＣＣＤ出力電圧Ｖｏの変動幅は、電荷蓄積時間ＳとＣＣＤの温度に依存する。
【００２７】
図２は、本発明に係る撮像装置の一例であるデジタルカメラの外観図である。図２（ａ）はデジタルカメラ前面の斜視図、図２（ｂ）はデジタルカメラ背面の斜視図である。
【００２８】
図２（ａ）において、８１は撮影レンズ、８２はファインダ窓、８３はシャッタボタン、８４はフラッシュ発光部、８６は調光用センサ窓、８７はストラップ取り付け部である。８９はレンズカバーであり、開状態で図示のように撮影レンズ８１は撮影可能状態となり、閉方向へ少し移動させることで撮影レンズ８１は沈胴する。即ち、レンズカバー８９の開閉とカメラの電源スイッチ９４が連動している。
【００２９】
レリーズボタン８３は半押し（以後スイッチＳＷ１のＯＮという）によりカメラの撮影準備動作、即ち焦点合わせ動作（ＡＦ機能）や露光条件の決定動作（ＡＥ機能）が行われ、全押し（以後スイッチＳＷ２のＯＮという）により撮影露光動作が行われる。
【００３０】
図２（ｂ）において、９１はファインダ接眼部、９２は赤と緑の表示ランプであり、ＡＦやＡＥの情報をスイッチＳＷ１がＯＮされた時、点灯もしくは点滅により撮影者に表示するものである。９３はズームボタンであり、ズームアップ、ズームダウンをおこなうボタンである。
【００３１】
９５はメニュー／セットボタン、９６は選択ボタンで４方向スイッチ、ＬＣＤ１８１は例えば液晶パネルなどを用いた画像表示部であり画像やその他文字情報等を表示する。メニュー／セットボタン９５で、ＬＣＤ１８１上に各種のメニューを表示させ、選択ボタン９６で選択し、メニュー／セットボタン９５で確定させる機能を有している。前記メニューにはデジタルズーム機能のＯＮ、ＯＦＦの選択メニューがあり、撮影者はメニュー／セットボタン９５、選択ボタン９６により、デジタルズーム機能のＯＮ、ＯＦＦを設定できる。
【００３２】
再生ボタン９７は、撮影した画像の再生をおこなうボタンである。９８はディスプレイボタンで、ＬＣＤ１８１に表示された画像やその他文字情報の表示や消去を選択するボタンである。９９は消去ボタンで、撮影記録した画像の消去をおこなうボタンである。１０１は三脚穴、１０２は電池／カード蓋である。電池／カード蓋１０２の内部には、本カメラの電源を供給する電池と、撮影した画像を記録するカード型のメモリカード２５が挿脱可能になっている。
【００３３】
本発明に係る撮像装置の制御系について図３を用いて説明する。
【００３４】
図３は本発明に係わるデジタルカメラ１の内部構成を示す概略ブロック図である。なお、図２に示したものと同じ構成要素には同符号を付してその説明を省略する。
【００３５】
デジタルカメラ１は、ＡＤ変換部２１、画像処理部２２、操作部６０、メインマイコン部７、画像メモリ２３等を有する。
【００３６】
メインマイコン部７は、マイクロコンピュータを備えて構成される。すなわち、メインマイコン部７は、各種演算処理を行うＣＰＵ７０と、演算を行うための作業領域となるＲＡＭ７５と、制御プログラム等が記憶されるＲＯＭ７６とを備え、デジタルカメラ１の各処理部の動作を統括的に制御する。不揮発性メモリであるＲＯＭ７６としては、例えば、データの電気的な書き換えが可能なＥＥＰＲＯＭが採用される。これにより、ＲＯＭ７６は、データの書き換えが可能で、かつ、電源を落とした場合でもそのデータの内容を保持する。
【００３７】
操作部６０の独立して設けられた複数の操作部材であるシャッタボタン８３、ズームボタン９３、ズームボタン９３、メニュー／セットボタン９５、選択ボタン９６、再生ボタン９７、ディスプレイボタン９８、消去ボタン９９、および電源スイッチ９４の出力はメインマイコン部７０に入力されている。
【００３８】
操作者（ユーザ）は、この操作部６０にて所定の操作を行うことにより、各種の設定操作を行うことができる。
【００３９】
図３の撮影レンズ８１は、複数のレンズを有するレンズ系レンズ部３２を備えている。これら複数のレンズの光軸上の位置をズーム・フォーカス駆動部３３２が駆動することにより移動させ、変倍がおこなわれる。変倍の制御はＣＰＵ７０の指令により、ズーム・フォーカス駆動部３３２が変倍を行う。
【００４０】
また、これら複数のレンズの内、フォーカシングに用られるレンズは、ＡＦ制御部７１からの制御信号により、ズーム・フォーカス駆動部３３２が駆動して焦点調節を行う。さらに、ＣＰＵ７０のＡＥ制御部７１は絞り・シャッター駆動部３３１を駆動し、絞り３３を所定の絞り値まで所定の時間開閉し、絞り値と電荷蓄積時間で決定される露光量を調定する。
【００４１】
なお、本発明は、ＣＣＤ、ＣＭＯＳ等の固体撮像素子に適用可能であるが、本実施形態では、固体撮像素子としてＣＣＤ５を用いた場合について説明する。
【００４２】
撮影前において、ＣＰＵ７０の指令により、ＣＣＤ駆動部６はタイミング信号を発生し、ＣＣＤ５からライブビュー画像の読み出し駆動を行っている。
【００４３】
撮影時は、一旦ＣＣＤ駆動部６がＣＣＤ５の電荷を掃き出し、所定の電荷蓄積時間の間、ＣＣＤ５を露光する。露光後、ＣＣＤ駆動部のはタイミング信号により、ＣＣＤ５から撮影画像の読み出しが始まる。
【００４４】
ＣＣＤ温度検知部７９は、サーミスタなどの温度検知素子を用いてＣＣＤの温度を検出し、ディジタル値に変換してＣＰＵ７０に出力する、本発明の固体撮像素子温度検知手段である。ＣＣＤ温度検知部７９は、ＣＣＤの温度を検知できるよう、たとえばＣＣＤ基板上やＣＣＤパッケージに接するように設けられている。
【００４５】
Ａ／Ｄ変換部２１、画像処理部２２および画像メモリ２３は、ＣＣＤ５にて取得された画像を扱う処理部を示している。すなわち、ＣＣＤ５にて取得されたアナログ信号の画像は、Ａ／Ｄ変換部２１にてデジタル信号に変換される。
【００４６】
画像処理部２２はガンマ補正部２２１、輪郭補正部２２２、画像圧縮部２２３、デジタルズーム部２２４画像補正部２２５などの画像処理機能を有する。ガンマ補正部２２１、輪郭補正部２２２の補正量の設定値はメインマイコン部７からの指令により設定される。また、デジタルズーム部２２４の拡大倍率の設定はメインマイコン部７の変倍制御部７７からの指令により設定される。
【００４７】
ガンマ補正部２２１は、入出力特性である階調特性を表すルックアップテーブルを持ち、入力されたデジタル値に対応するデジタル値に変換して出力する機能を持っている。すなわち、Ａ／Ｄ変換部２１で変換されたデジタル信号を、ＣＰＵ７０が前記ルックアップテーブルに設定する階調特性で階調変換する。
【００４８】
輪郭補正部２２２は、ＣＰＵ７０の設定する入出力特性である周波数応答特性で画像の輪郭などを補正し、画像メモリ２３に一時的に格納する。
【００４９】
画像圧縮部２２３は、画像処理後のデジタル信号をＪＰＥＧ形式などに圧縮する。
【００５０】
デジタルズーム手段であるデジタルズーム部２２４は、変倍制御部７７の設定するデジタルズーム倍率で画像を拡大し、画像メモリ２３に一時的に格納する。
【００５１】
画像補正部２２５は、後に説明する補正データ作成部７７で作成した補正データに基づいて撮像した画像を補正する。画像補正部２２５は本発明の画像補正手段である。
【００５２】
手ぶれ検出部４４は、角速度を検出する角速度センサを有し、前記角速度センサが検出した角速度に応じた電圧を出力する。メインマイコン部７は、入力された検出部４４を構成する各センサの出力電圧をデジタル値に変換し、角速度とする。
【００５３】
メインマイコン部７は、自動合焦制御部（ＡＦ制御部）７１、本発明の電荷蓄積時間設定手段である自動露出制御部（ＡＥ制御部）７２、補正データ作成部７７、手ぶれ制御部７８、画像ノイズデータ取得部６１、濃度比較部６２などの各種の制御機能を有する。メインマイコン部７の各種の機能は、予めＲＯＭ７６内に記憶される制御プログラムに従ってＣＰＵ７０が演算処理を行うことにより実現される。
【００５４】
また、圧縮後の画像をメモリカード２５に記録したり、またＬＣＤ１８１などに表示出力する制御機能も持っている。このような画像に対する各種の処理もメインマイコン部７の制御に基づいて行われる。
【００５５】
ＡＦ制御部７１は、ズーム・フォーカス駆動部３３２を制御して、フォーカシングレンズを小刻みに移動させ、それぞれで得られた画像データに基づいて画像の評価をおこない最適なフォーカシングレンズの位置を決定する（ＡＦ機能）。
【００５６】
ＡＥ制御部７２は、撮影前に画像メモリ２３より得られる画像データに基づいて、撮影時の絞り値とシャッタ速度の露光条件を設定する（ＡＥ機能）。
【００５７】
また、ＡＥ制御部７２は、フラッシュ撮影時においてフラッシュ９４の制御も行う。
【００５８】
変倍制御部７７は、メニュー／セットボタン９５による設定と、ズームボタン９３の操作に応じて、ズーム・フォーカス駆動部３３２に指令し、レンズ部３２の焦点距離を変更したり、デジタルズーム部２２４に画像の拡大を指令する。
【００５９】
手ぶれ制御部７８は、手ぶれ検出部４４から角速度の情報を得てレンズ部３２の図示しない結像面におけるぶれ量を算出し、シャッタ速度と焦点距離から求めた手ぶれ限界値と比較した結果に応じて、ズームフォーカス駆動部３３２を制御する。
【００６０】
画像ノイズデータ取得部６１は、絞り３３を完全に閉じて遮光した状態で、所定の回数撮影時と同じ時間ＣＣＤ５に電荷を蓄積した後、読み出してＡ／Ｄ変換部２１でデジタル値に変換された画像ノイズデータを画像メモリ２３に記憶する。画像ノイズデータ取得部６１は、予めＲＯＭ７６に記憶されている電荷蓄積時間やＣＣＤの温度に応じた所定の回数ノイズデータ取得の取得を繰り返す。画像ノイズデータ取得部６１は本発明の画像ノイズデータ取得手段である。
【００６１】
補正データ作成部７７は、画像ノイズデータ取得部６１が取得し、画像メモリ２３に記憶されている画像ノイズデータに基づいて補正データを作成する。補正データ作成部７７は、本発明の補正データ作成手段である。
【００６２】
濃度比較部６２は、撮影時にＣＣＤ５にから読み出し、画像メモリ２３に記憶されている画像データの平均値求めて、その値を濃度Ｄとし、濃度Ｄを所定値Ｘと比較する。
【００６３】
本発明に係る撮像装置の動作について説明する。
【００６４】
図４は、デジタルカメラ１で行われる欠陥画素による画像ノイズ低減方法の実施形態の流れを示すフローチャートである。なお、図４においては、デジタルカメラ１の電源が投入され、撮影モードが選択されて撮影待機状態になってからの処理について説明する。
【００６５】
Ｓ１０１：シャッタボタン８３を半押し（ＳＷ１  ＯＮ）にして撮影準備をするステップである。
【００６６】
撮影者は、被写体が適切な位置と大きさに撮影できるように撮影画角を設定し、シャッタボタン８３を半押し（ＳＷ１  ＯＮ）にする（ステップＳ１０１）。
【００６７】
Ｓ１０２：自動焦点制御を行うステップである。
【００６８】
ＡＦ制御部７１は焦点を検出し、ズーム・フォーカス駆動部３３２に焦点位置Ｄまで移動するように指令し、レンズ部３２を合焦させる（ステップＳ１０２）。
【００６９】
Ｓ１０３：露出制御を行うステップである。
【００７０】
ＡＥ制御部７２は自動露出制御を行い、電荷蓄積時間Ｔを設定する（ステップＳ１０３）。
【００７１】
Ｓ１０４：撮影者がシャッタボタン８３が全押し（ＳＷ２  ＯＮ）にして、撮影を開始するステップである。
【００７２】
撮影者は、シャッタボタン８３を全押し（ＳＷ２  ＯＮ）にして、撮影を開始する（ステップＳ１０４）。
【００７３】
Ｓ１０５：ＣＰＵ７０の指令により撮影を開始し、ＣＣＤ５に電荷蓄積時間Ｔの間露光する撮像工程のステップである。
【００７４】
露光後、ＣＣＤ５から得られた画像データは、一旦画像メモリ２３に記憶される。
【００７５】
Ｓ１０６：ステップＳ１０３で設定された電荷蓄積時間Ｔが、所定の電荷蓄積時間を超えるかどうか、判定するステップである。
【００７６】
本実施形態では一例として所定の電荷蓄積時間を１／８秒としている。以下、所定の電荷蓄積時間を１／８秒として説明する。所定の電荷蓄積時間は、想定されるＣＣＤの温度範囲で点滅欠陥画素の出力電圧Ｖｏが検知限以下になるように設定すれば良い。
【００７７】
Ｔ≦１／８秒の場合、（ステップＳ１０６；Ｎｏ）、ステップＳ１１５に進む。
【００７８】
Ｔ＞１／８秒の場合、（ステップＳ１０６；Ｙｅｓ）、ステップＳ１０８に進む。
【００７９】
Ｓ１０８：ＣＰＵ７０がＣＣＤ５の温度を検知する温度検知工程のステップである。
【００８０】
ＣＰＵ７０はＣＣＤ温度検知部７９に指令し、ＣＣＤ温度検知部７９が検知したＣＣＤ５の温度情報を送信させる。ＣＰＵ７０は、ＣＣＤ５の温度情報を一旦ＲＡＭ７５に記憶する。
【００８１】
Ｓ１０９：画像ノイズデータ取得部６１が、画像ノイズデータ取得回数を決定するステップである。また、ステップＳ１０９からステップＳ１１２までは、本発明の画像ノイズデータ取得工程である。
【００８２】
画像ノイズデータ取得部６１は、一例として表１に示すような、画像ノイズデータ取得回数の表に基づいて画像ノイズデータの取得回数を決定する。
【００８３】
表１は、ステップＳ１０７の撮像工程における、ＣＣＤ５の電荷蓄積時間ＳとＣＣＤ５の温度Ｔの情報に基づいて画像ノイズデータの取得回数を決定する表である。表１は、ＣＣＤ５の点滅欠陥画素の特性を予め測定した例えば図１のデータから、点滅の変動幅が大きい条件では画像ノイズデータの取得回数を多くなるように設定している。
【００８４】
【表１】
2007199907.tif 000003
【００８５】
表１の横方向は電荷蓄積時間Ｓ、縦方向は固体撮像素子温度Ｔであり、撮像工程における電荷蓄積時間Ｓと固体撮像素子温度Ｔから該当する取得回数に決定する。例えば、電荷蓄積時間Ｓが３秒で、固体撮像素子温度が５０℃のとき、表１から画像ノイズデータの取得回数は５回である。
【００８６】
なお、電荷蓄積時間Ｓが１／８秒未満のときは、欠陥画素の出力電圧Ｖｏは検知限以下であり、補正は不要なので画像ノイズデータの取得は行わない。
【００８７】
また、表１の例では、ＣＣＤ５の電荷蓄積時間ＳとＣＣＤ５の温度Ｔの情報に基づいて画像ノイズデータの取得回数を決定しているが、いづれか一方の情報に基づいて画像ノイズデータの取得回数を決定することもできる。例えば、ＣＣＤ５の電荷蓄積時間Ｓが１秒以上のときは画像ノイズデータの取得回数を３回、電荷蓄積時間Ｓが１秒未満では１回という表でも良い。
【００８８】
Ｓ１１０：ＣＣＤ５の撮像面を遮光するステップである。
【００８９】
ＣＰＵ７０は、絞り３３が全閉になるよう絞りシャッタ駆動部３３１を制御する。
【００９０】
Ｓ１１１：画像ノイズデータを取得するステップである。
【００９１】
画像ノイズデータ取得部６１は、ステップＳ１０５の撮像工程における、ＣＣＤ５の電荷蓄積時間Ｓの間、遮光状態で電荷を蓄積し、電荷蓄積時間Ｓの後、ＣＣＤ５から得られた画像ノイズデータを、一旦画像メモリ２３に記憶する。
【００９２】
Ｓ１１２：画像ノイズデータ取得が終了したか、どうか、判定するステップである。
【００９３】
画像ノイズデータ取得部６１は、ステップＳ１０９で決定した取得回数分、画像ノイズデータを取得したか、どうか、判定する。
【００９４】
画像ノイズデータ取得が終了していない場合、（ステップＳ１１２；Ｎｏ）、ステップＳ１１０に戻る。
【００９５】
画像ノイズデータ取得が終了していない場合は、ステップＳ１１０に戻り画像ノイズデータ取得を再度行う。
【００９６】
画像ノイズデータ取得が終了した場合、（ステップＳ１１２；Ｙｅｓ）、ステップＳ１１３に進む。
【００９７】
Ｓ１１３：欠陥画素の補正データを作成する補正データ作成工程のステップである。
【００９８】
補正データ作成部７７は、ステップＳ１１１で取得した画像ノイズデータから欠陥画素の補正データを作成する。補正データ作成工程のサブルーチンについては後に詳しく説明する。
【００９９】
Ｓ１１４：ＣＰＵ７０の指令により、画像補正部２２５が画像補正を行う画像補正工程のステップである。
【０１００】
画像補正部２２５は、ステップＳ１１３で作成された補正データを、ステップＳ１１４で取得し、画像メモリ２３に記憶されている撮影画像データから引き算し、欠陥画素の補正を行い、補正後の撮影画像を画像メモリ２３に記憶する。
【０１０１】
Ｓ１１５：ＣＰＵ７０の指令により、画像処理部２２が画像補正以外の画像処理を行うステップである。
【０１０２】
画像メモリ２３に記憶されている撮影画像データは、画像処理部２２により、ホワイトバランス補正やガンマ補正、輪郭補正など所定の画像処理が行われる。
【０１０３】
Ｓ１１６：ＣＰＵ７０の指令により、撮影画像データを順次メモリカード２５に記録するステップである。
【０１０４】
画像圧縮部２２３は撮影画像データを圧縮し、圧縮された撮影画像データは画像メモリ２３に保存された後、順次メモリカード２５に記録される（ステップＳ１１６）。
【０１０５】
以上で、欠陥画素による画像ノイズを低減する手順は終了である。
【０１０６】
次に、本発明の第１の実施形態における補正データ作成工程のサブルーチンについて図５、図６、図７を用いて説明する。
【０１０７】
図５は第１の実施形態における補正データ作成工程の手順を説明するフローチャートである。
【０１０８】
Ｓ２０１：取得した全ての画像ノイズデータから、基準値Ｖｔｈ以上の出力の画素を抽出するステップである。
【０１０９】
画像メモリ２３に記憶されている画像ノイズデータ取得工程で取得された全ての画像ノイズデータから、基準値Ｖｔｈ以上のＣＣＤ出力電圧Ｖｏを出力した欠陥画素を抽出する（ステップＳ２０１）。
【０１１０】
Ｓ２０２：抽出した欠陥画素毎に出力の平均値を算出するステップである。
【０１１１】
画像ノイズデータ取得工程でＮ回画像ノイズデータが取得されていたとすると、ステップＳ２０１で抽出した画素毎に、Ｎ回のＣＣＤ出力電圧Ｖｏの平均値を算出する。（ステップＳ２０２）。
【０１１２】
Ｓ２０３：抽出した欠陥画素全てを含む補正データを作成するステップである。
【０１１３】
ステップＳ２０２で算出した欠陥画素毎に、Ｎ回のＣＣＤ出力電圧Ｖｏの平均値を算出し、その値を補正値とする補正データを作成する。（ステップＳ２０３）。
【０１１４】
以上で、第１の実施形態の補正データ作成工程のサブルーチンは終了し、メインルーチンに戻る。
【０１１５】
図６は画像取得工程において、取得した画像ノイズデータの例を説明する説明図である。
【０１１６】
図６（ａ）、図６（ｂ）は画像ノイズデータ取得工程で、１回目と２回目に取得した画像ノイズデータの一例を示している。Ｇ１〜Ｇ５は欠陥画素、Ｌ１、Ｌ２は欠陥画素Ｇ１、Ｇ４をそれぞれ含むラインである。
【０１１７】
欠陥画素のうち、Ｇ１、Ｇ２は点滅欠陥画素である。説明のため、図６（ａ）ではＧ１、Ｇ２を図示しているが、図６（ｂ）では図示していない。また、Ｇ５も図６（ｂ）では欠陥画素として図示しているが、図６（ａ）では図示していない。なお、点滅欠陥画素は図１で説明したように、ＣＣＤ出力電圧Ｖｏが変動幅の範囲で変動するので、図示していない点滅欠陥画素も、所定値以下のＣＣＤ出力電圧Ｖｏが出力されている。
【０１１８】
図６（ｃ）はステップＳ２０３で作成した補正データの例である。Ｇ１〜Ｇ５の例えば２回のＣＣＤ出力電圧Ｖｏの平均値を補正データとして作成している。
【０１１９】
図７は画像補正工程における処理の例を説明する説明図である。
【０１２０】
図７（ａ−１）は全面灰色の被写体を撮像時において、欠陥画素Ｇ４を含むラインＬ２のＣＣＤ出力電圧Ｖｏの一部を説明する説明図である。欠陥画素Ｇ４のＣＣＤ出力電圧Ｖｏはノイズ電圧Ｖｎ１＋信号電圧Ｖｓであり、そのほかの画素のＣＣＤ出力電圧Ｖｏは信号電圧Ｖｓである。
【０１２１】
図７（ａ−２）は画像ノイズデータ取得工程において取得した、欠陥画素Ｇ４のＣＣＤ出力電圧Ｖｏの説明図である。欠陥画素Ｇ４のＣＣＤ出力電圧Ｖｏは、撮像時と同じノイズ電圧Ｖｎ１である。
【０１２２】
図７（ａ−３）は画像補正工程において補正した後の欠陥画素Ｇ４のＣＣＤ出力電圧Ｖｏの説明図である。ノイズ電圧Ｖｎ１を補正データとして、図７（ａ−１）の欠陥画素Ｇ４のＣＣＤ出力電圧Ｖｏであるノイズ電圧Ｖｎ１＋信号電圧Ｖｓから引き算すると、信号電圧Ｖｓが残る。このように、一定の条件下ではノイズ電圧Ｖｎ１が変動しない欠陥画素Ｇ４の画像補正ができる。
【０１２３】
図７（ｂ−１）、図７（ｃ−１）は全面灰色の被写体を撮像時において、点滅欠陥画素Ｇ１を含むラインＬ１のＣＣＤ出力電圧Ｖｏの一部を説明する説明図である。点滅欠陥画素Ｇ１のＣＣＤ出力電圧Ｖｏは、例えば図７（ｂ−１）の場合はノイズ電圧Ｖｎ２＋信号電圧Ｖｓであり、図７（ｃ−１）の場合はノイズ電圧Ｖｎ４＋信号電圧Ｖｓである。
【０１２４】
図７（ｂ−２）、図７（ｃ−２）は画像ノイズデータ取得工程において取得した、点滅欠陥画素Ｇ１のＣＣＤ出力電圧Ｖｏの説明図である。例えば図７（ｂ−２）の場合はノイズ電圧Ｖｎ３であり、図７（ｃ−２）の場合はノイズ電圧Ｖｎ５である。
【０１２５】
このように点滅欠陥画素の場合はノイズ電圧取得毎に電圧が異なる。
【０１２６】
図７（ｂ−３）、図７（ｃ−３）は画像補正工程において補正した後の点滅欠陥画素Ｇ１のＣＣＤ出力電圧Ｖｏの説明図である。
【０１２７】
図７（ｂ−３）の場合、ノイズ電圧Ｖｎ３を補正データとして、図７（ｂ−１）の点滅欠陥画素Ｇ１のＣＣＤ出力電圧Ｖｏであるノイズ電圧Ｖｎ２＋信号電圧Ｖｓから引き算した結果、周囲の画素より明るい、いわゆる白キズが低減されている。しかしながら、Ｖｎ２＞Ｖｎ１なので補正不足となり、白キズが少し残っている。
【０１２８】
図７（ｃ−３）の場合、ノイズ電圧Ｖｎ５を補正データとして、図７（ｂ−１）の点滅欠陥画素Ｇ１のＣＣＤ出力電圧Ｖｏであるノイズ電圧Ｖｎ４＋信号電圧Ｖｓから引き算すると、Ｖｎ５＞Ｖｎ４なので補正過剰となり、周囲の画素より暗い、いわゆる黒キズが発生している。ただ、黒キズは白キズより目立たないので、図７（ｃ−１）より画質は改善されている。
【０１２９】
第１の実施形態では図６（ｃ）で説明したように、例えば２回画像ノイズデータを取得した場合、２回の画像ノイズデータの平均値を補正データとして作成する。図７の例ではノイズ電圧Ｖｎ２とノイズ電圧Ｖｎ４の平均値になる。このように、平均値を用いて画像補正を行っても、補正不足または補正過剰となる場合もあるが、その量は最大でも変動幅の１／２であり、特に夜景撮影など画面全体が暗い場面を撮影する場合は、点滅欠陥画素を白キズや黒キズとしてあまり目立たないレベルに補正することができる。
【０１３０】
次に、本発明の第２の実施形態における補正データ作成工程のサブルーチンについて図８、図９を用いて説明する。
【０１３１】
図８は第２の実施形態における補正データ作成工程の手順を説明するフローチャートである。
【０１３２】
Ｓ３０１：取得した全ての画像ノイズデータから、基準値Ｖｔｈ以上の出力の画素を抽出するステップである。
【０１３３】
画像メモリ２３に記憶されている画像ノイズデータ取得工程で取得された全ての画像ノイズデータから、基準値Ｖｔｈ以上のＣＣＤ出力電圧Ｖｏを出力した欠陥画素を抽出する（ステップＳ３０１）。
【０１３４】
Ｓ３０２：抽出した欠陥画素毎から点滅欠陥画素を抽出するステップである。
【０１３５】
画像ノイズデータ取得工程でＮ回画像ノイズデータが取得されていたとすると、ステップＳ３０１で抽出した画素毎に、Ｎ回のＣＣＤ出力電圧Ｖｏの変動幅を算出し、所定の変動幅以上の画素を点滅欠陥画素として抽出する。（ステップＳ３０２）。
【０１３６】
Ｓ３０３：抽出した欠陥画素から点滅欠陥画素を除く補正データを作成するステップである。
【０１３７】
ステップＳ３０２で抽出した点滅欠陥画素以外の欠陥画素のＣＣＤ出力電圧Ｖｏの平均値を補正値とする補正データを作成する。（ステップＳ３０３）。
【０１３８】
以上で、第２の実施形態の補正データ作成工程のサブルーチンは終了し、メインルーチンに戻る。
【０１３９】
図９は取得した画像ノイズデータの例を説明する説明図である。
【０１４０】
図９（ａ）、図９（ｂ）は画像ノイズデータ取得工程で、１回目と２回目に取得した画像ノイズデータの一例を示している。Ｇ１１〜Ｇ１７は欠陥画素であり、そのうち、Ｇ１５、Ｇ１６、Ｇ１７は点滅欠陥画素である。説明のため、図６（ａ）では、Ｇ１７を図示しているが、図６（ｂ）では図示していない。また、Ｇ１５、Ｇ１６も図６（ｂ）では図示しているが、図６（ａ）では図示していない。なお、点滅欠陥画素は図１で説明したように、ＣＣＤ出力電圧Ｖｏが変動幅の範囲で変動するので、図示していない点滅欠陥画素も、一定のＣＣＤ出力電圧Ｖｏが出力されている。
【０１４１】
図９（ｃ）はステップＳ３０３で作成した補正データの例である。点滅欠陥画素以外のＧ１１〜Ｇ１４が補正データとして作成されている。
【０１４２】
このようにすると、欠陥画素のうち点滅欠陥画素の画像補正は行わないので、点滅欠陥画素に対する補正が補正過剰になって黒キズが発生することが無い。そのため、特に明るい場面を撮影する場合に気になる黒キズの発生を無くし、高画質な画像が得ることができる。
【０１４３】
次に、本発明の第３の実施形態における補正データ作成工程のサブルーチンについて図１０を用いて説明する。
【０１４４】
図１０は第３の実施形態における補正データ作成工程の手順を説明するフローチャートである。なお、図５、図８で説明した手順と同一のステップには同番号を付し、説明を省略する。
【０１４５】
Ｓ３０１：取得した全ての画像ノイズデータから、基準値Ｖｔｈ以上の出力の画素を抽出するステップである。
【０１４６】
Ｓ４００：被写体像を撮像した画像データの濃度を所定値と比較する濃度比較工程のステップである。
【０１４７】
濃度比較部６２は、画像メモリ２３に記憶されている撮像工程で取得された被写体像の画像データの平均値を濃度Ｄとし、濃度Ｄを所定値Ｘと比較する（ステップＳ４００）。Ａ／Ｄ変換部２１が１０ｂｉｔだとすると、例えば所定値Ｘは１２８である。なお、画像データの平均値を求めるときは、全画面の平均でも、画面を分割したブロック毎の平均値でも良い。
【０１４８】
濃度Ｄが所定値Ｘ未満の場合、（ステップＳ４００；Ｎｏ）、ステップＳ２０２に進む。
【０１４９】
濃度Ｄが所定値Ｘ以上の場合、（ステップＳ４００；Ｙｅｓ）、ステップＳ３０２に進む。
【０１５０】
Ｓ２０２：抽出した欠陥画素毎に出力の平均値を算出するステップである。
【０１５１】
画像ノイズデータ取得工程でＮ回画像ノイズデータが取得されていたとすると、ステップＳ２０１で抽出した画素毎に、Ｎ回のＣＣＤ出力電圧Ｖｏの平均値を算出する。（ステップＳ２０２）。
【０１５２】
Ｓ２０３：抽出した欠陥画素全てを含む補正データを作成するステップである。
【０１５３】
ステップＳ２０２で算出した欠陥画素毎に、Ｎ回のＣＣＤ出力電圧Ｖｏの平均値を算出し、その値を補正値とする補正データを作成する。（ステップＳ２０３）。
【０１５４】
Ｓ３０２：抽出した欠陥画素毎から点滅欠陥画素を抽出するステップである。
【０１５５】
画像ノイズデータ取得工程でＮ回画像ノイズデータが取得されていたとすると、ステップＳ３０１で抽出した画素毎に、Ｎ回のＣＣＤ出力電圧Ｖｏの変動幅を算出し、所定の変動幅以上の画素を点滅欠陥画素として抽出する。（ステップＳ３０２）。
【０１５６】
Ｓ３０３：抽出した欠陥画素から点滅欠陥画素を除く補正データを作成するステップである。
【０１５７】
ステップＳ３０２で抽出した点滅欠陥画素以外の欠陥画素のＣＣＤ出力電圧Ｖｏの平均値を補正値とする補正データを作成する。（ステップＳ３０３）。
【０１５８】
第３の実施形態では、濃度比較部６２が、被写体を撮影した画像データの濃度Ｄを求め、濃度Ｄを所定値Ｘと比較し、画像補正の方法を変えている。すなわち、濃度Ｄが所定値Ｘより小さい場合は、画面全体が暗いので、第１の実施形態で説明した画像ノイズデータの平均値を補正データとして作成する画像補正方法を実行し、濃度Ｄが所定値Ｘより大きい場合は、画面全体が明るいので、第２の実施形態で説明した点滅欠陥画素以外の欠陥画素のを補正する画像補正方法を実行する。このようにすることにより、画面の明るさに応じて、画面上に目立つ欠陥画素を補正できる。
【０１５９】
以上のように本発明によれば、簡単な処理で点滅欠陥画素による画像ノイズを補正する画像ノイズ低減方法と高画質な撮像装置を提供できる。
【０１６０】
なお、実施の形態としてデジタルカメラを例示したが、携帯電話やビデオカメラなどにも適用可能である。
【図面の簡単な説明】
【０１６１】
【図１】本発明に係わるＣＣＤの点滅欠陥画素の一例を説明するための説明図である。
【図２】本発明に係る撮像装置の一例であるデジタルカメラの外観図である。
【図３】本発明に係る本発明に係わるデジタルカメラ１の内部構成を示す概略ブロック図である。
【図４】本発明に係わるデジタルカメラ１で行われる欠陥画素による画像ノイズ低減方法の実施形態の流れを示すフローチャートである。
【図５】第１の実施形態における補正データ作成工程の手順を説明するフローチャートである。
【図６】画像取得工程において、取得した画像ノイズデータの例を説明する説明図である。
【図７】画像補正工程における処理の例を説明する説明図である。
【図８】第２の実施形態における補正データ作成工程の手順を説明するフローチャートである。
【図９】取得した画像ノイズデータの例を説明する説明図である。
【図１０】第３の実施形態における補正データ作成工程の手順を説明するフローチャートである。
【符号の説明】
【０１６２】
１  デジタルカメラ
５  ＣＣＤ
２３  画像メモリ
２５  メモリカード
４４  手ぶれ検出部
６０  画像ノイズデータ取得部
７０  ＣＰＵ
７７  補正データ作成部
７８  手ぶれ制御部
７９  固体撮像素子温度検知部
８１  撮影レンズ
２２５  画像補正部
Ｌ  光軸
【図１】
2007199907.tif 000004
【図２】
2007199907.tif 000005
【図３】
2007199907.tif 000006
【図４】
2007199907.tif 000007
【図５】
2007199907.tif 000008
【図６】
2007199907.tif 000009
【図７】
2007199907.tif 000010
【図８】
2007199907.tif 000011
【図９】
2007199907.tif 000012
【図１０】
2007199907.tif 000013