(57)【特許請求の範囲】
【請求項１】
撮像素子の垂直転送部の欠陥に起因する縦線キズを補正するための欠陥補正装置であって、
前記撮像素子の温度を検出する温度検出手段と、
ダーク画像の縦線キズレベルを前記ダーク画像の縦線キズレベルの測定時の温度とともに記憶した記憶手段と、
前記記憶手段に記憶された前記ダーク画像の縦線キズレベル及び前記ダーク画像の縦線キズレベルの測定時の温度と、前記温度検出手段により検出された温度とに基づいて、撮影画像に発生する縦線キズレベルを近似的に算出する演算手段と、
前記撮像素子の有効画素出力信号から前記演算手段により近似的に算出された前記縦線キズレベルを減算することで撮影画像の縦線キズを補正する補正手段と、
前記撮像素子でスミアが発生しているかどうかを判定する判定手段と、を具備し、
前記補正手段は、前記判定手段による判定結果に応じて、前記スミアの補正処理と前記縦線キズの補正処理とを切り替えることを特徴とする欠陥補正装置。
【請求項２】
撮像素子の垂直転送部の欠陥に起因する縦線キズを補正するための欠陥補正方法であって、
前記撮像素子の温度を検出する温度検出工程と、
記憶手段に予め記憶されたダーク画像の縦線キズレベル及び前記ダーク画像の縦線キズレベルの測定時の温度と、前記温度検出工程において検出された温度とに基づいて、撮影画像に発生する縦線キズレベルを近似的に算出する演算工程と、
前記撮像素子の有効画素出力信号から前記演算工程において近似的に算出された前記縦線キズレベルを減算することで撮影画像の縦線キズを補正する補正工程と、
前記撮像素子でスミアが発生しているかどうかを判定する判定工程と、を具備し、
前記補正工程では、前記判定工程における判定結果に応じて、前記スミアの補正処理と前記縦線キズの補正処理とを切り替えることを特徴とする欠陥補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子における画素欠陥を補正する技術に関するものである。
【背景技術】
【０００２】
従来の固体撮像素子の画素欠陥の補正方法としては、特開平５−６８２０９号公報（特許文献１）に開示されているような方法が知られている。この方法では、固体撮像素子の画素欠陥部を画素欠陥検出手段により検出し、検出した欠陥画素のアドレスをＲＯＭ、ＲＡＭなどの記憶手段に記憶し、撮影時に欠陥画素部の周辺画素情報により補間を行っている。
【０００３】
また、垂直方向の連続的な画素の補正方法としては、特開２００４−２３６８３号公報（特許文献２）に開示されているような方法が知られている。この方法では、縦線キズの先頭座標のみをＲＯＭに記録しておき、周辺画像領域が輝度変化や色変化の少ない画像特徴を有している場合には、縦線キズが目立ちやすいため、同色の周辺４画素の平均値で当該欠陥画素の値を置換している。
【０００４】
また、撮影画像の垂直方向後方のＯＢ（オプティカルブラック）列あるいはダミー画素列の信号量を検出し、検出した信号量を有効画素部の列から減算する手法も知られている。この手法は、垂直転送路の欠陥による垂直方向の欠陥画素列、すなわち縦線キズの補正方法にも用いられている。
【特許文献１】特開平５−６８２０９号公報
【特許文献２】特開２００４−２３６８３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示されている手法では、検出したアドレスをＲＯＭ、ＲＡＭなどの記憶手段に記憶させている。そのため、縦線キズのような連続したキズが多数存在する撮像素子においては、欠陥画素のアドレスを保存するＲＯＭ、ＲＡＭの容量が大きく必要になるという問題がある。また、縦線キズに隣接キズがある場合、垂直方向、水平方向どちらからも補間できない場合があるという問題がある。さらに縦線キズは通常の点キズよりもレベルが低い場合が多いため、キズ検出時に検出されにくいという問題もある。
【０００６】
また、特許文献２に開示されている手法では、欠陥画素のアドレスを保存するＲＯＭ、ＲＡＭ容量は小さくなるが、縦線キズに隣接キズがある場合や点キズが同じ箇所に集中した場合、垂直方向、水平方向どちらからも補間できないという問題が同様に発生する。さらに縦線キズと直線状の特定の被写体が重なった場合、補間誤差が発生しやすい。
【０００７】
また、垂直方向の連続的な画素欠陥の補正方法として、撮影画像のＯＢ列あるいはダミー画素列の信号量を検出し、検出した信号量を有効画素部の列の信号から減算することにより補正を行う手法では、次のような問題がある。すなわち、この手法では、縦線キズは補正可能となるが、撮影画像のＯＢ列あるいはダミー画素列の信号量を検出する際、ノイズ除去あるいは平均化のために多くの行のデータが必要となり、フレームレートが低下してしまう。また、高輝度被写体撮影時等にスミアが発生した場合にはスミアも補正することになるため、次のような問題が発生する。すなわち、高輝度被写体が動いたり、固体撮像装置が動いた場合に、補正対象の列に遅れが発生し、補正する必要のない列を補正する過補正が発生することがあり、画像上に黒い縦筋が現れる現象が発生してしまうことがある。
【０００８】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、固体撮像素子の画素欠陥の補正をより効果的に且つローコストに行なえるようにすることである。
【課題を解決するための手段】
【０００９】
上述した課題を解決し、目的を達成するために、本発明に係わる欠陥補正装置は、撮像素子の垂直転送部の欠陥に起因する縦線キズを補正するための欠陥補正装置であって、前記撮像素子の温度を検出する温度検出手段と、ダーク画像の縦線キズレベルを前記ダーク画像の縦線キズレベルの測定時の温度とともに記憶した記憶手段と、前記記憶手段に記憶された前記ダーク画像の縦線キズレベル及び前記ダーク画像の縦線キズレベルの測定時の温度と、前記温度検出手段により検出された温度とに基づいて、撮影画像に発生する縦線キズレベルを近似的に算出する演算手段と、前記撮像素子の有効画素出力信号から前記演算手段により近似的に算出された前記縦線キズレベルを減算することで撮影画像の縦線キズを補正する補正手段と、前記撮像素子でスミアが発生しているかどうかを判定する判定手段と、を具備し、前記補正手段は、前記判定手段による判定結果に応じて、前記スミアの補正処理と前記縦線キズの補正処理とを切り替えることを特徴とする。
【００１０】
また、本発明に係わる欠陥補正方法は、撮像素子の垂直転送部の欠陥に起因する縦線キズを補正するための欠陥補正方法であって、前記撮像素子の温度を検出する温度検出工程と、記憶手段に予め記憶されたダーク画像の縦線キズレベル及び前記ダーク画像の縦線キズレベルの測定時の温度と、前記温度検出工程において検出された温度とに基づいて、撮影画像に発生する縦線キズレベルを近似的に算出する演算工程と、前記撮像素子の有効画素出力信号から前記演算工程において近似的に算出された前記縦線キズレベルを減算することで撮影画像の縦線キズを補正する補正工程と、前記撮像素子でスミアが発生しているかどうかを判定する判定工程と、を具備し、前記補正工程では、前記判定工程における判定結果に応じて、前記スミアの補正処理と前記縦線キズの補正処理とを切り替えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、固体撮像素子の画素欠陥の補正をより効果的に且つローコストに行なうことが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
【００１３】
（第１の実施形態）
図１は、本発明の第１の実施形態に係わる固体撮像装置、ここではデジタルスチルカメラの構成を示すブロック図である。
【００１４】
まず、図１の各部の機能について説明する。図１において、１０は固体撮像装置であり、本実施形態ではデジタルスチルカメラである。固体撮像装置１０の内部の機能を詳述すると、１２は光を電気信号に変換する固体撮像素子であり、本実施形態ではＣＣＤである。１１は被写体からの光をＣＣＤ１２へ集光するレンズ、１３はＣＣＤ１２から出力されるアナログ映像信号をデジタル画像信号へ変換する画像処理回路、１４はＣＣＤ１２を駆動させるパルスを発生するタイミングジェネレーターである。１５は撮影データ、調整データ、画像データ等を記憶する第１の記憶部であり、ここではＲＡＭである。１６は調整データを記憶する第２の記憶部であり、ここではＲＯＭである。１７はデジタルスチルカメラ１０から取り外し可能な撮影画像記録媒体、ここではコンパクトフラッシュ（登録商標）カードで、第１の記憶部１５に一時的に記録された画像データが最終的に記録される。１８は固体撮像装置１０の全機能を制御する制御部であり、ここではＣＰＵである。１９は固体撮像素子１２の周辺温度を測定するサーミスタである。
【００１５】
次に、本実施形態の撮像装置の動作の流れを図３、図４のフローチャートを参照して説明する。
【００１６】
本実施形態では、撮像装置の工場出荷前に固体撮像素子の縦線キズのアドレスとレベルを検出する調整工程が必要となる。図３は調整工程を示したフローチャートである。本実施形態は、ライブビューモード、または動画撮影時の縦線キズ補正に好適であるため、本実施形態では動画撮影の場合を例に挙げて説明する。なお、ライブビューモードにおいても、同様な構成で同様な効果が得られる。
【００１７】
まず、調整を開始すると(ステップＳ１０１)、固体撮像素子１２の縦線キズのアドレス及びレベルを正確に検出するために、スミアの発生しないダーク画像の撮影を開始する(ステップＳ１０２)。
【００１８】
次に、撮影開始時に第１の記憶部１５の撮影データメモリエリアに動画撮影条件を記録する。即座に第１の記憶部１５の撮影データメモリエリアから、撮影感度情報を制御部１８が取得する(ステップＳ１０３)。撮影時の感度は、縦線キズを検出しやすい高感度に設定する方が望ましい。
【００１９】
さらにサーミスタ１９から制御部１８の制御により固体撮像素子１２の周辺温度を取得する(ステップＳ１０４)。サーミスタの位置は固体撮像素子１２の画素部により近い方が好ましい。
【００２０】
次に、動画画像１フレームのＯＢ（オプティカルブラック）部またはダミー画素部の信号を測定することにより、縦線キズのアドレス及びキズレベル（画素の欠陥に起因して発生する信号レベル）の測定を行う(ステップＳ１０５)。縦線キズのアドレス及びキズレベルの測定は、画像処理回路１３と制御部１８により行なわれる。また、これらの測定された縦線キズのアドレス及びキズレベルは、第２の記憶部１６に記憶される。
【００２１】
図２はＯＢ部またはダミー画素部を測定する手法を表した図で、縦線キズが発生した場合の素子構成図である。縦線キズは、垂直転送部の欠陥により発生するもので、図２の様に同列の全画素に同程度のレベルのオフセットが発生する。このオフセット量は同様に下ＯＢ部ｂ、ダミー画素部ｃにも発生する。本実施形態では、各撮影感度毎に予め縦線キズが実使用上問題とならないオフセットの最大値を設定し、その値を基準値Ｓ(ＬＳＢ：Least Significant Bit)とする。そして、動画画像１フレームのダミー画素部ｃの有効画素部全列の内の各列についてダミー画素部加算平均値Ｌcから右ＯＢ部ｄの加算平均値Ｌdを減算する。すなわち、
Ｌc−Ｌd＝Ｌ (ＬＳＢ)
を計算し、その値Ｌと基準値Ｓとを比較する(ステップＳ１０６)。比較の結果、全列がＬ≦Ｓの場合、縦線キズ無しと判定し、縦線キズ調整を終了する(ステップＳ１０７)。比較の結果、Ｌ＞Ｓの列が１つでもある場合、縦線キズ有りと判断し、該当する列全てのＸ軸アドレス（水平方向アドレス）および縦線キズレベルＬ(ＬＳＢ)を調整用の第２の記憶部１６に記憶させる(ステップＳ１０８)。以上により縦線キズの調整は完了となる。
【００２２】
次に、動画撮影時の線キズ補正の第１の実施形態を図４のフローチャートを参照して説明する。
【００２３】
まず撮影者が動画撮影を開始(ステップＳ２０１)すると同時に、撮影時の撮影条件を取得する。具体的には縦線キズのレベルに影響を与える撮影時の感度情報と固体撮像素子１２の温度情報を取得し第１の記憶部１５の撮影データメモリエリアに記憶させる(ステップＳ２０２、ステップＳ２０３)。撮影条件取得後、工場での縦線キズ調整で取得した、調整時の固体撮像素子１２の温度情報、縦線キズのアドレス情報、縦線キズレベル情報を第２の記憶部１６の調整データメモリエリアから読み取る。そして、動画撮影時の撮影感度情報、固体撮像素子１２の温度情報から、現在発生している縦線キズレベルを、キズレベルは温度上昇約１０°で倍に変化するという原理により以下の式で近似的に算出する（ステップＳ２０４）。
【００２４】
すなわち、縦線キズ調整時の固体撮像素子の温度をＴt（℃）、縦線キズ調整時の縦線キズレベルをＬt(ＬＳＢ)、撮影時の固体撮像素子の温度をＴc（℃）とすると、撮影時の縦線キズレベルＬc (ＬＳＢ) は、次のように表わされる。
【００２５】
Ｌc＝２(（Ｔc−Ｔt）／１０)×Ｌt
撮影時の縦線キズレベルＬcを算出後、縦線キズアドレスの有効画素部ａの列の全画素それぞれから縦線キズレベルＬc(ＬＳＢ)を減算することで縦線キズ補正を行う。縦線キズ調整時に縦線キズが複数あった場合、それぞれの縦線キズアドレスに対してステップＳ２０４、ステップＳ２０５を動画撮影が終了するまで継続して行う(ステップＳ２０６、ステップＳ２０７)。
【００２６】
なお、動画撮影の毎フレーム毎にステップＳ２０２〜ステップＳ２０６を行うことが理想であるが、補正に影響を与えない程度に定期的に行っても構わない。
【００２７】
（第２の実施形態）
第１の実施形態では、縦線キズ調整時に検出されたアドレス全てを撮影時の条件にかかわらず常時補正する例を示したが、縦線キズは温度によりレベルが上昇するため、撮影時の固体撮像素子の温度が低い場合には補正が不必要な場合もある。第２の実施形態では、図５のフローチャートを参照してその手法を説明する。
【００２８】
図５のステップＳ３０１〜ステップＳ３０４は第１の実施形態を示す図４のステップＳ２０１〜ステップＳ２０４と同様である。すなわち、撮影時の感度情報と固体撮像素子１２の温度情報を取得し、第１の記憶部１５の撮影データメモリエリアに記憶させる(ステップＳ３０２、ステップＳ３０３)。次に、工場での縦線キズ調整で取得した、調整時の固体撮像素子温度Ｔt（℃）、縦線キズのアドレス情報、縦線キズレベルＬt(ＬＳＢ)を第２の記憶部１６の調整データメモリエリアから読み取る。そして、動画撮影時の撮影感度情報、固体撮像素子の温度Ｔc（℃）から、現在発生している縦線キズレベルＬc (ＬＳＢ)を以下の式で近似的に算出する(ステップＳ３０４)。
【００２９】
Ｌc＝２(（Ｔc−Ｔt）／１０)×Ｌt
撮影時の縦線キズレベルＬc(ＬＳＢ)を算出後、縦線キズレベルＬc(ＬＳＢ)を各撮影感度毎に設定された縦線キズが実使用上問題とならない最大値である基準値Ｓ(ＬＳＢ)と比較する。縦線キズ調整時に縦線キズが検出された全アドレスが Ｌc≦Ｓの場合、縦線キズ補正は必要無しと判定し、縦線キズ補正を行わずに撮影完了まで撮影を行う(ステップＳ３０７、ステップＳ３０８)。縦線キズ調整時に縦線キズが検出されたアドレスのうち一つでも Ｌc＞Ｓの場合、対象のアドレスは縦線キズ補正が必要と判定する。そして、第１の実施形態のステップＳ２０５〜ステップＳ２０７を同様に動画撮影終了まで継続的に行い、縦線キズを補正する(ステップＳ３０９)。
【００３０】
（第３の実施形態）
撮像素子によっては、素子の垂直転送路に光が入り込むことにより生じるスミアが発生するものがあり、縦線キズと同様に垂直方向に一定レベルのオフセットが発生する。しかし、縦線キズと高輝度被写体撮影時のスミア発生レベルを比較した場合、縦線キズのレベルは小さく、スミアのレベルは非常に大きくなる可能性がある。そのため、縦線キズが発生している列、スミアが発生している列それぞれを判別し、それぞれの列に適した補正を行う必要がある。第３の実施形態では、スミア発生時の縦線キズ補正方法を図６のフローチャートを参照して説明する。
【００３１】
まず縦線キズ調整時に行った図３のステップＳ１０５と同様に、動画撮影開始時にＯＢ部あるいはダミー画素部の加算平均値算出を行なう。しかし、ステップＳ４０２では縦線キズ調整時に縦検出されたアドレスのみではなく、動画撮影画像の全列それぞれの加算平均値Ｂ(ＬＳＢ)を算出する(ステップＳ４０２)。算出方法は、第１の実施形態と同様で、
Ｂc−Ｂd＝Ｂ(ＬＳＢ)
とする。
【００３２】
次に、図４のステップＳ２０２からステップＳ２０４と同様に、撮影時の感度情報と固体撮像素子の温度情報を取得し、第１の記憶部１５の撮影データメモリエリアに記憶させる(ステップＳ４０３、ステップＳ４０４)。次に、工場での縦線キズ調整で取得した、調整時の固体撮像素子の温度Ｔt（℃）、縦線キズのアドレス情報、縦線キズレベルＬt(ＬＳＢ)を第２の記憶部１６の撮影データメモリエリアから読み取る。そして、動画撮影時の撮影感度情報、固体撮像素子の温度Ｔc（℃）から現在発生している縦線キズレベルＬc (ＬＳＢ)を以下の式で近似的に算出する(ステップＳ４０５)。
【００３３】
Ｌc＝２(（Ｔc−Ｔt）／１０)×Ｌt
縦線キズレベルＬc (ＬＳＢ)を算出後、Ｌc (ＬＳＢ)と全列のＢ(ＬＳＢ)を比較する(ステップＳ４０６)。全列においてＬc≧α×Ｂの場合、スミアが発生していないと判定し、第１の実施形態のステップＳ２０５〜ステップＳ２０７を同様に動画撮影終了まで継続的に行ない、縦線キズ補正対象アドレスの縦線キズ補正を行う(ステップＳ４０７)。なおαはＬc(ＬＳＢ)を近似的に算出する際に発生する誤差を吸収する係数で１.５〜２.０ 程度が望ましい。
【００３４】
一方、全アドレスのうち一つでもＬc＜α×Ｂの場合、スミアが発生していると判断する(ステップＳ４０８)。そして、縦線キズ補正対象のアドレスでは、（対象アドレスがＬc≧α×Ｂの場合）図４のステップＳ２０５〜ステップＳ２０７と同様に動画撮影終了まで継続的に縦線キズ補正を行い、Ｌc＜α×Ｂである対象のアドレスではスミア補正を行なう。補正方法は、Ｌc＜α×Ｂに該当するスミア補正対象列の有効画素部ａからＢ(ＬＳＢ)を減算することによって行なう(ステップＳ４０９)。ただし、スミア発生時に高輝度被写体が移動した場合、またはデジタルスチルカメラが手ぶれ、移動した場合、本来補正すべき画素列に時間差によるずれが生じる。これにより、画像には過減算による黒い縦スジが発生する。そのため、スミア補正の減算量Ｂは、太陽光源以外の比較的弱い光源で発生するスミアを補正可能とするように、ある程度の上限を持たせる方が好ましい。
【００３５】
以上の動作を本実施形態では動画撮影中の毎フレームで行うが、ステップＳ４０２〜ステップＳ４１０に関しては毎フレームではなく、補正に影響を与えない程度に一定周期で行っても構わない。
【００３６】
以上説明した通り、第１及び第２の実施形態では、縦線キズ調整時の固体撮像素子の温度情報、縦線キズのアドレス情報、縦線キズレベル情報、動画撮影時の撮影感度情報、固体撮像素子の温度情報、から現在発生している縦線キズレベルを算出する。これにより、動画撮影中のＯＢ列あるいはダミー画素列の信号量検出時間によるフレームレートの低下が発生することなく、また縦線キズ補正誤差の少ない良好なライブビュー画像、動画の撮影が可能となる。
【００３７】
また、第３の実施形態によれば、スミアの発生量に応じて縦線キズ補正とスミア補正を切り替えることにより、縦線キズ補正とスミア補正の両立が可能となる。また、高輝度被写体撮影時においても、補正上限値が制限されるため、高輝度被写体が移動した場合、またはデジタルスチルカメラが手ぶれ、移動した場合に発生する黒い縦スジが軽減可能となる。この結果、良好なライブビュー画像、動画の撮影が可能となる。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態に係わる撮像装置の構成を示す機能ブロック図である。
【図２】縦線キズ発生例を表す固体撮像素子の構成図である。
【図３】縦線キズ調整の流れを示すフローチャートである。
【図４】第１の実施形態における撮影中の補正動作を示すフローチャートである。
【図５】第２の実施形態における撮影中の補正動作を示すフローチャートである。
【図６】第３の実施形態における撮影中の補正動作を示すフローチャートである。
【符号の説明】
【００３９】
１０  撮像装置
１１  レンズ
１２  固体撮像素子
１３  画像処理回路
１４  タイミングジェネレーター
１５  第１の記憶部
１６  第２の記憶部
１７  記録媒体
１８  制御部
１９  サーミスタ
【図１】
0004785564.tif 000002
【図２】
0004785564.tif 000003
【図３】
0004785564.tif 000004
【図４】
0004785564.tif 000005
【図５】
0004785564.tif 000006
【図６】
0004785564.tif 000007