(57)【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像素子と、
前記撮像素子を駆動する駆動手段と、
前記駆動手段を用いて前記撮像素子の光電変換単位の画素である単位画素の画素情報を複数個加算しつつ読み出す加算読み出しが可能な読み出し手段と、
前記単位画素に関する画素欠陥情報であって、少なくとも欠陥単位画素のアドレス情報および所定レベルの重畳信号出力を有するグレイ欠陥単位画素に関する重畳信号レベル情報を含んでなる単位画素欠陥情報を記憶する記憶手段と、
前記加算読み出しによって読み出された加算後の画素である複画素の画素情報に対して、前記単位画素欠陥情報に基いて補正を施す画素情報補正手段と、
前記複画素の画素情報に基いて、前記複画素内の前記グレイ欠陥単位画素に関する飽和の発生の有無を判別する飽和判別手段とを具備し、
前記画素情報補正手段は、前記複画素のうちに前記グレイ欠陥単位画素が含まれている場合には、前記複画素の画素情報に対して、前記飽和判別手段の判別結果に基いて、前記グレイ欠陥単位画素のグレイ欠陥レベルおよび／または前記単位画素の飽和レベルに基いた補正を施すように構成されていることを特徴とする撮像装置。
【請求項２】
前記画素情報補正手段は、前記複画素のうちに前記グレイ欠陥単位画素と信号出力がほぼ零の黒欠陥単位画素とが含まれている場合には、前記複画素の画素情報に対して、前記グレイ欠陥単位画素のグレイ欠陥レベルおよび／または前記単位画素の飽和レベルと、前記複画素の構成画素数及び黒欠陥画素数とに基づいた補正を施すように構成されていることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記飽和判別手段は、前記複画素に対する平均的露光入力を仮定することにより前記複画素内の単位画素に関する飽和の発生の有無を推定判別し、
前記画素情報補正手段は、前記飽和判別手段によるこの推定判別結果に基づいて、前記複画素の画素情報に対する補正を施すことを特徴とする請求項１記載の撮像装置。
【請求項４】
前記画素情報補正手段は、前記複画素に前記単位画素に関する飽和の発生があった場合には、前記複画素の画素情報に対して、単位画素の飽和レベルおよび複画素の構成画素数および飽和発生画素数に基き、飽和画素に関する画素飽和レベル分および未飽和画素に関するグレイ欠陥レベルを減じた後に所定の係数を乗じる係数補正を施すように構成されていることを特徴とする請求項１記載の撮像装置。
【請求項５】
前記画素情報補正手段は、前記複画素の前記黒欠陥単位画素を除く構成単位画素すべてがグレイ欠陥画素であり、且つ存在するすべてのグレイ欠陥画素について飽和が発生したと前記飽和判別手段が判断した場合には、これを欠陥複画素と判定し、隣接する非欠陥複画素の情報をもって当該欠陥複画素の情報に充当するように構成されている請求項１記載の撮像装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はＣＣＤ等の撮像素子を用いた撮像装置に関し、特に画素加算後の画素情報に対して欠陥画素に関する補正を行う撮像装置に関する。
【０００２】
【従来の技術】
近年、ＣＣＤ等の撮像素子により被写体像を撮像して映像信号を得るデジタルスチルカメラ（電子カメラ）が盛んに開発されている。この種の電子カメラに用いられる撮像装置において、画素欠陥の補償及び画素加算読み出しはそれぞれ公知である。即ち、前者によって欠陥のある撮像素子でも実用に供されることが可能となり、市場に提供可能なコストが実現されている。また、後者によってＳＮ比やダイナミックレンジの向上を図ることができる。
【０００３】
このとき、例えば２行２列の４画素加算読み出しによって１つの画素（これを複画素と称する、これに対して原画素を単位画素と称する）を得る場合、複画素中に１画素でも欠陥画素が含まれていた場合はこの複画素は欠陥複画素となる。このため、従来の欠陥補償技術を適用したとすると、この欠陥複画素に対して隣接する複画素の情報をもって充当（代用）することになる。
【０００４】
【発明が解決しようとする課題】
上記例では、欠陥複画素の中にも、単位画素では欠陥でない有効な画素が含まれているにも関わらず、加算読み出しによって欠陥画素情報と混合されるためにこれらの画素情報が無効とされ、より遠い隣接複画素情報によって充当されている。従って解像度の劣化が大きいものであった。
【０００５】
なお、この課題に対して、画素信号加算読み出し方式として撮像素子からの信号読み出し部すなわちサンプルホールド回路を利用した画素信号加算を用いる場合に関しては、欠陥画素が含まれる部分だけを通常の加算動作と異なるサンプルホールド処理をすることで、有効な単位画素に相当する情報を得ることができるようにして、解像度劣化を防ぐようにした技術が提案されている（特開平１１−１２２５３８号公報）。
【０００６】
しかしながらこの方式も、
・技術的に高度な要素を含むデリケートなハード回路であり、基本性能の安定確保が困難な場合もあるサンプルホールド回路に、さらに特殊な切り換え動作を必要とするため、性能の確保が極めて困難になる可能性がある
・水平方向の加算に対してしか適用できないから、例えば最も一般的に垂直２ライン加算後にこの技術を適用した上記４画素加算の場合を考えれば、欠陥画素が１画素だけであった場合でも、有効に利用可能なのは高々２画素の情報までであり、無駄が大きい。また、このとき４画素のうち対角あるいは水平方向に隣接する２画素が欠陥であるだけで、この複画素は欠陥画素となってしまう
という不具合を有している。
【０００７】
本発明は上述の事情を考慮してなされたもので、その目的とするところは、複雑な負担の大きいハード回路を要することなく、また有効画素の情報を無駄無く利用し、従ってＳＮの劣化を最小限にとどめつつ解像度の劣化を事実上生じない効果的な欠陥補正が可能な撮像装置を提供することにある。
【０００８】
【課題を解決するための手段】
上述の課題を解決するため、本発明の撮像装置は、被写体像を撮像する撮像素子と、前記撮像素子を駆動する駆動手段と、前記駆動手段を用いて前記撮像素子の光電変換単位の画素である単位画素の画素情報を複数個加算しつつ読み出す加算読み出しが可能な読み出し手段と、前記単位画素に関する画素欠陥情報であって、少なくとも欠陥単位画素のアドレス情報および所定レベルの重畳信号出力を有するグレイ欠陥単位画素に関する重畳信号レベル情報を含んでなる単位画素欠陥情報を記憶する記憶手段と、前記加算読み出しによって読み出された加算後の画素である複画素の画素情報に対して、前記単位画素欠陥情報に基いて補正を施す画素情報補正手段と、前記複画素の画素情報に基いて、前記複画素内の前記グレイ欠陥単位画素に関する飽和の発生の有無を判別する飽和判別手段とを具備し、前記画素情報補正手段は、前記複画素のうちに前記グレイ欠陥単位画素が含まれている場合には、前記複画素の画素情報に対して、前記飽和判別手段の判別結果に基いて、前記グレイ欠陥単位画素のグレイ欠陥レベルおよび／または前記単位画素の飽和レベルに基いた補正を施すように構成されていることを特徴とする。
【０００９】
本発明によれば、グレイ欠陥画素のある撮像素子において画素加算読み出しを行う場合に、加算読み出し後の複画素の画素情報に対して、単位画素欠陥情報に基いた補正を行うことにより、同一複画素内の単位画素の情報に基づいた欠陥補正が可能となり、事実上の解像度の低下を防止することができる。特に、複画素の画素情報の補正に際しては、複画素の画素情報からグレイ欠陥単位画素に関するグレイ欠陥レベル分を減じたりあるいは複画素の画素情報から画素飽和レベル分を減じた後に所定の係数補正を施すといった、グレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルに基いた補正を用いているので、実際上問題となる中間レベルの欠陥画素を含む複画素に対してグレイ欠陥単位画素の飽和の有無を考慮した最適な補正を行うことが可能となる。つまり、グレイ欠陥単位画素についてはそれが飽和してない場合にはグレイ欠陥レベルを複画素の画素情報から差し引けばよいが、飽和している場合には、その画素出力全体を除外する必要があり、これが、グレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルに基いた補正により実現される。
【００１０】
また、複画素のうちにグレイ欠陥単位画素と、信号出力がほぼ零の黒欠陥単位画素とが含まれている場合には、複画素の画素情報に対して、グレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルと、複画素の構成画素数及び黒欠陥画素数とに基づいた補正を施すことが望ましい。これにより、複画素の構成画素数に対する黒欠陥画素の割合をも考慮した適切な補正を行うことが可能となる。
【００１１】
また、上述のグレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルに基いた補正に際しては、まず、複画素に対する平均的露光入力を仮定した場合における複画素内の単位画素に関する飽和の発生の有無を判別して、グレイ欠陥単位画素が飽和画素であるか否かを推定することが好ましい。このような推定を用いることにより、グレイ欠陥単位画素の飽和の有無に基づいてグレイ欠陥単位画素のグレイ欠陥レベルおよび／または単位画素の飽和レベルを用いた補正を適切に行うことが可能となる。すなわち、単純には、未飽和画素であれば、加算後の複画素の画素情報からそのグレイ欠陥レベルを減じるだけで正しい補正を行うことができる。また飽和画素である場合には、グレイ欠陥レベルを減じるのではなく、飽和画素の出力成分全てつまり画素飽和レベル分を減じて複画素の画素情報から飽和画素の影響を除外することにより、残りの単位画素からの信号成分を利用した正しい補正が可能となる。
【００１２】
実際には、複画素内には飽和画素と未飽和画素が混在することを考慮して、複画素に単位画素に関する飽和の発生が有った場合には、複画素の画素情報に対して、単位画素の飽和レベルおよび複画素の構成画素数および飽和発生画素数に基き、画素飽和レベル分および未飽和画素に関するグレイ欠陥レベルを減じた後に所定の係数を乗じる係数補正を施すことによって補正を行うことができる。
【００１３】
また、複画素の前記黒欠陥単位画素を除く構成単位画素すべてがグレイ欠陥画素であり、且つすべてグレイ欠陥画素について飽和が発生したと判断した場合には、これを欠陥複画素と判定し、隣接する非欠陥複画素の情報をもって当該欠陥複画素の情報に充当すればよい。これは、つまり１つでも未欠陥画素がある場合や、未飽和のグレイ欠陥画素がある場合には、その信号出力を利用して複画素の画素情報を得ることを意味するものである。
【００１４】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を説明する。
図１は、本発明の一実施形態に係わる電子カメラの概略構成を示すブロック図である。
【００１５】
図中１０１は各種レンズからなるレンズ系、１０２はレンズ系１０１を駆動するためのレンズ駆動機構、１０３はレンズ系１０１の絞りを制御するための露出制御機構、１０４はローパス及び赤外カット用のフィルタ、１０５はＣＣＤ撮像素子、１０６は撮像素子１０５を駆動するためのＣＣＤドライバ、１０７はＡ／Ｄ変換器等を含むプリプロセス回路、１０８は色信号生成処理，マトリックス変換処理，その他各種のデジタル処理を行うためのデジタルプロセス回路、１０９はカードインターフェース、１１０はメモリカード、１１１はＬＣＤ画像表示系を示している。
【００１６】
また、図中の１１２は各部を統括的に制御するためのシステムコントローラ（ＣＰＵ）、１１３は各種ＳＷからなる操作スイッチ系、１１４は操作状態及びモード状態等を表示するための操作表示系、１１５はレンズ駆動機構１０２を制御するためのレンズドライバ、１１６は発光手段としてのストロボ、１１７は露出制御機構１０３及びストロボ１１６を制御するための露出制御ドライバ、１１８は各種設定情報等を記憶するための不揮発性メモリ（ＥＥＰＲＯＭ）を示している。
【００１７】
本実施形態の電子カメラにおいては、システムコントローラ１１２が全ての制御を統括的に行っており、ＣＣＤドライバ１０６によりＣＣＤ撮像素子１０５の駆動を制御して露光（電荷蓄積）及び信号の読み出しを行い、それをプリプロセス回路１０７を介してデジタルプロセス回路１０８に取込んで、各種信号処理を施した後にカードインターフェース１０９を介してメモリカード１１０に記録するようになっている。
【００１８】
図２は、ＣＣＤ撮像素子１０５の素子構造を示す平面図である。受光素子としてフォトダイオード２０１がマトリクス配置され、フォトダイオード２０１間に縦列方向に複数本の垂直ＣＣＤ２０２が配置され、垂直ＣＣＤ２０２の端部に横列方向に１本の水平ＣＣＤ２０３が配置されている。そして、フォトダイオード２０１に蓄積された信号電荷は電荷移送パルスＴＧにより垂直ＣＣＤ２０２に読み出され、垂直ＣＣＤ２０２内を紙面下方向に転送される。垂直ＣＣＤ２０２を転送した信号電荷は水平ＣＣＤ２０３に移送され、この水平ＣＣＤ２０３を紙面左方向に転送され、最終的に読み出しアンプであるＦＤＡ（フローティングディフュージョンアンプ）２０４を介して出力されるようになっている。
【００１９】
ここまでの基本構成は従来装置と同様であるが、本実施形態ではこれに加え、ＣＣＤ１０５に対して単位画素の画素情報を複数個加算しつつ読み出す加算読み出し機能と、ＥＥＰＲＯＭ１１２に記憶されている単位画素欠陥情報に基づいて加算後の画素情報に対する補正を行う画素情報補正機能が設けられている。単位画素欠陥情報は、黒欠陥画素のアドレス情報とグレイ欠陥画素のアドレス情報及びそのグレイレベル情報とから構成されている。なお、撮像素子１０５における加算読み出しはシステムコントローラ１１２に設けられた画素加算駆動制御部１１２ａの制御下にＣＣＤドライバ１０６によって行われ、補正処理はシステムコントローラ１１２に設けられた画素情報補正部１１２ｂの制御下にデジタルプロセス回路１０８のデジタル演算により行われるようになっている。
【００２０】
本実施形態で用いる撮像素子１０５は、例えば順次走査（プログレシブスキャニング）型とし、縦横の画素ピッチが等しい正方画素タイプであるとする。そして、この撮像素子１０５は、図３に示すように２×２の隣接４画素を最小単位として加算読み出しされる。このように実質的な画像情報の最小単位が、撮像素子１０２の複数の画素（単位画素）から構成されている時に、これを複画素と名付ける。
【００２１】
次に、本実施形態における画素加算信号読み出し及び欠陥補正の動作について説明する。
【００２２】
画素信号の加算読み出しは、公知の垂直２画素加算と水平２画素加算の同時採用による隣接４画素加算読み出しにより行われる。垂直２画素加算は、図４（ａ）に示すように、毎回の水平ブランキング期間（Ｈblk）に２画素（２行）分の垂直転送クロック（φＶ）を出力することによって行われる。水平２画素加算は、図４（ｂ）に示すように、読み出しアンプ２０４におけるＣＤＳ（相関二重サンプリング回路）の１回のサンプリング期間、即ち各リセットゲートパルス（ＲＳＴ）間に２画素分の水平転送パルス（φＨ）を出力することによって行われる。
【００２３】
欠陥画素の補正処理において、対象とする「欠陥」は黒欠陥画素（信号出力がほぼ０の画素）とグレイ欠陥画素（信号成分に加え暗電流成分等からなる所定レベルの重畳信号出力を持つ画素）とする。グレイ欠陥画素のうち、重畳信号出力つまりグレイ欠陥レベルが単位画素の飽和レベルｗであるものは白欠陥画素となる。そして、欠陥画素を含む複画素については２×２の加算後の画像情報に対して以下の補正が行われる。
【００２４】
まず、グレイ欠陥画素を含む場合における２×２の加算後の画像情報に対する補正の原理について説明する。図５（ａ）は複画素を構成する２×２の４画素ｐ１，ｐ２，ｐ３，ｐ４の中でｐ４のみがグレイ欠陥画素であり、そのグレイ欠陥レベルがＤである場合を示している。この場合、２×２の加算後の画像情報の値Ａは、４画素ｐ１，ｐ２，ｐ３，ｐ４それぞれの本来の信号レベル成分をＳ１，Ｓ２，Ｓ３，Ｓ４とすると、
Ａ＝Ｓ１＋Ｓ２＋Ｓ３＋Ｓ４＋Ｄ    …（１）
となる。よって、加算後の画像情報の値Ａからグレイ欠陥レベルＤを減ずることにより、補正後の複画素信号値Ｓを得ることができる。
【００２５】
Ｓ＝Ａ−Ｄ                        …（２）
しかし、入力信号レベル（被写体輝度レベル）が大きく、グレイ欠陥画素ｐ４が図５（ｂ）のように飽和（飽和レベル＝ｗ）している場合には、グレイ欠陥画素ｐ４からの出力は飽和レベルｗでクリップされてしまうので、加算後の画像情報の値Ａは
Ａ＝Ｓ１＋Ｓ２＋Ｓ３＋ｗ          …（３）
となる。この場合、飽和レベルｗは、グレイ欠陥画素ｐ４に関する本来の出力レベルＳ４＋Ｄよりも小さいので、（２）式のように、加算後の画像情報の値Ａからグレイ欠陥レベルＤを単純に減ずる補正では正しい出力を得ることができなくなる。したがって、この場合には、飽和画素の出力を加算後の画像情報の値Ａから除外して、残りの画素出力のみで補正後の信号を得るために、
Ｓ＝（Ａ−ｗ）  ×  ４／３        …（４）
という補正を行うことが必要となる。
【００２６】
よって、複画素内に含まれるグレイ欠陥画素の飽和の有無を推定し、その推定結果に基づいて（１）式と（４）式を切れ替えて使用することにより、加算後の画像情報の値Ａに対して正しい補正を施すことが可能となる。図５（ｂ）から分かるように、グレイ欠陥画素に関する信号の許容可能なダイナミックレンジはｗ−Ｄの範囲に限られる。このことを基に、グレイ欠陥画素ｐ４が飽和しているか否かを、加算後の画像情報の値Ａから推定する事ができる。この推定は、複画素を構成する２×２の４画素に対して平均的露光入力が与えられるという仮定の下でなされる。つまり、グレイ欠陥画素ｐ４の信号レベルＳ４は、
Ｓ４＝（Ａ−Ｄ）／４              …（５）
と推定することができる。
【００２７】
複画素の画像情報Ａに対する補正処理の手順を図６のフローチャートに示す。
【００２８】
まず、複画素の画像情報Ａを入力し（ステップＳ１０１）、複画素を構成する２×２の４画素に対して平均的露光入力が与えられることを仮定した場合におけるグレイ欠陥画素ｐ４の信号レベルＳ４（＝（Ａ−Ｄ）／４）が、ｗ−Ｄの範囲内であるか、あるいはそれよりも大きいかを判断する（ステップＳ１０２）。ｗ−Ｄの範囲内であればグレイ欠陥画素ｐ４は未飽和画素であるので、複画素の画像情報Ａに対して、Ｓ＝Ａ−Ｄの補正が施される（ステップＳ１０３）。一方、ｗ−Ｄよりも大きい場合にはグレイ欠陥画素ｐ４は飽和画素であるので、複画素の画像情報Ａに対して、Ｓ＝（Ａ−ｗ）  ×  ４／３の補正が施される（ステップＳ１０４）。
【００２９】
また、複画素内にはグレイ欠陥画素のみならず、黒欠陥画素も含まれる場合があるので、この場合には複画素の構成画素数に対する黒欠陥画素の割合をも考慮して図７の手順で補正が行われる。ここでは、例えば当該１複画素（４画素）に含まれる黒欠陥の画素数をｎＢ（≦２）、グレイ欠陥の画素数を１個とする。
【００３０】
まず、複画素の画像情報Ａを入力し（ステップＳ１１１）、複画素を構成する２×２の４画素に対して平均的露光入力が与えられることを仮定した場合におけるグレイ欠陥画素ｐ４の信号レベルＳ４（＝（Ａ−Ｄ）／（４−ｎＢ））が、ｗ−Ｄの範囲内であるか、あるいはそれよりも大きいかを判断する（ステップＳ１１２）。黒欠陥の画素からの出力は零であるので、（Ａ−Ｄ）／（４−ｎＢ）は、黒欠陥の画素数を除外して１画素当たりの平均出力を求めたものである。
【００３１】
信号レベルＳ４がｗ−Ｄの範囲内であれば（（Ａ−Ｄ）／（４−ｎＢ）≦ ｗ−Ｄ）、グレイ欠陥画素ｐ４は未飽和画素であるので、複画素の画像情報Ａに対して、Ｓ＝（Ａ−Ｄ）・４／（４−ｎＢ）の補正が施される（ステップＳ１１３）。これはＡからＤを減算し、それに黒欠陥画素の割合を考慮した係数 ４／（４−ｎＢ）を乗じたものである。
【００３２】
一方、信号レベルＳ４がｗ−Ｄよりも大きい場合には（（Ａ−Ｄ）／（４−ｎＢ）＞ ｗ−Ｄ）、グレイ欠陥画素ｐ４は飽和画素であるので、複画素の画像情報Ａに対して、Ｓ＝（Ａ−ｗ）・４／（４−ｎＢ−１）の補正が施される（ステップＳ１１４）。除数（４−ｎＢ−１）は、総画素数４から飽和しているグレイ欠陥画素数１と黒欠陥画素数ｎＢを減算したものである。
【００３３】
これを式で書き下すと、
（Ａ−Ｄ）／（４−ｎＢ）≦ ｗ−Ｄ
のとき  Ｓ＝（Ａ−Ｄ）・４／（４−ｎＢ）    …（６）
（Ａ−Ｄ）／（４−ｎＢ）＞ ｗ−Ｄ
のとき  Ｓ＝（Ａ−ｗ）・４／（４−ｎＢ−１）…（７）
と表すことができる。
【００３４】
また、実際には、複画素内には複数のグレイ欠陥画素が存在する場合があり、しかもそれらのグレイ欠陥レベルは互いに異なるので、飽和したグレイ欠陥画素と未飽和のグレイ欠陥画素とが混在する状況が考えられる。したがって、一般には、次のステップ（０）〜（６）の手順で示すように、グレイ欠陥画素毎に飽和の有無を推定しながら補正処理を行うことが必要となる。
【００３５】
ここでは、複画素を構成する２×２の４画素それぞれのグレイ欠陥レベルを欠陥レベルの大きいものから順にＤ１，Ｄ２，Ｄ３，Ｄ４とし（同値の場合も含む）、Ｄ１，Ｄ２，Ｄ３，Ｄ４の順で飽和しているか否かを推定しながら補正処理を行うものとする。なお、欠陥のない画素はＤ＝０であり、黒欠陥画素もＤ＝０である。
【００３６】
（０）ｎＢ＝４の場合は、この複画素を欠陥複画素とする。
【００３７】
（１）グレイ欠陥レベルＤ１の画素の出力レベルは、
（Ａ−Σ［ｉ＝１ｔｏ４］Ｄｉ）／（４−ｎＢ）
と推定できる。よって、
（Ａ−Σ［ｉ＝１ｔｏ４］Ｄｉ）／（４−ｎＢ）≦ ｗ−Ｄ１
のときは  Ｓ＝（Ａ−Σ［ｉ＝１ｔｏ４］Ｄｉ）・４／（４−ｎＢ）
それ以外（グレイ欠陥レベルＤ１の画素が飽和している場合）は（２）
（ただしΣ［ｉ＝１ｔｏ４］ＤｉはＤ１〜Ｄ４の総和を示す、以下同じ）
（２）グレイ欠陥レベルＤ１の画素が飽和しているので、グレイ欠陥レベルＤ２の画素の出力レベルは、
（Ａ−ｗ−Σ［ｉ＝２ｔｏ４］Ｄｉ）／（３−ｎＢ）
と推定できる。よって、
（Ａ−ｗ−Σ［ｉ＝２ｔｏ４］Ｄｉ）／（３−ｎＢ）≦ ｗ−Ｄ２
のときは  Ｓ＝（Ａ−ｗ−Σ［ｉ＝２ｔｏ４］Ｄｉ）・４／（３−ｎＢ）、
それ以外（グレイ欠陥レベルＤ２の画素も飽和している場合）は（３）
（３）グレイ欠陥レベルＤ１，Ｄ２の２画素が飽和しているので、グレイ欠陥レベルＤ３の画素の出力レベルは、
（Ａ−２ｗ−Σ［ｉ＝３ｔｏ４］Ｄｉ）／（２−ｎＢ）
と推定できる。よって、
（Ａ−２ｗ−Σ［ｉ＝３ｔｏ４］Ｄｉ）／（２−ｎＢ）≦ ｗ−Ｄ３
のときは  Ｓ＝（Ａ−２ｗ−Σ［ｉ＝３ｔｏ４］Ｄｉ）・４／（２−ｎＢ）
それ以外（グレイ欠陥レベルＤ３の画素も飽和している場合）は（４）
（４）グレイ欠陥レベルＤ１，Ｄ２，Ｄ３の３画素が飽和しているので、グレイ欠陥レベルＤ４の画素の出力レベルは、黒欠陥画素がない場合は、
（Ａ−３ｗ−Ｄ４）／（１−ｎＢ）
と推定できる。よって、
（Ａ−３ｗ−Ｄ４）／（１−ｎＢ）≦ ｗ−Ｄ４
のときは  Ｓ＝（Ａ−３ｗ−Ｄ４）・４／（１−ｎＢ）
それ以外の場合（グレイ欠陥レベルＤ４の画素も飽和している場合）は（５）
（５）グレイ欠陥レベルＤ１，Ｄ２，Ｄ３，Ｄ４の４画素が飽和しているが、グレイ欠陥レベルＤ４の画素に欠陥がない場合、つまりＤ４＝０
の場合は  Ｓ＝４ｗ（４画素分の飽和＝白レベル）
それ以外の場合（４画素全てがグレイ欠陥画素であり、且つそれら全てが飽和している）はこの複画素を欠陥複画素とする。
【００３８】
なお、ステップ（１）〜（４）の各段階で除数（Ｐ−ｎＢ）が０になった場合（ステップ（１）ではＰ＝４、ステップ（２）ではＰ＝３、ステップ（３）ではＰ＝２、ステップ（４）ではＰ＝１）、つまり各段階で黒欠陥を除いた画素が全て飽和している場合には（６）に進む。
【００３９】
（６）Ｄ４−Ｐ＝０の場合、つまり最後に飽和が確認された画素に欠陥がない場合は  Ｓ＝４ｗ（４画素分の飽和＝白レベル）
それ以外の場合（黒欠陥を除く他の画素全てが飽和しており、且つそれら全てがグレイ欠陥画素である）はこの複画素を欠陥複画素とする。
【００４０】
なお、以上のステップ（０）〜（６）の補正後の出力Ｓを求める式は欠陥画素が含まれていない場合（（１）においてｎＢ＝０かつすべてのＤｉ＝０の場合）も含んでおり、この場合にはＳ＝Ａとなる。
【００４１】
さらに上記においては極力統一的な処理を志向して白欠陥（飽和欠陥）はグレイ欠陥の特殊な場合として取扱う形式を採用しているが、実際の処理においてはこれに限らず、露光条件等によらず常に飽和レベルを出力するいわゆる（狭義の）白欠陥については、その個数によって場合分けを行なう処理なども採用し得る。具体的な一例（ただし話を簡単にするために黒欠陥が無いとしたとき）を示せば、白欠陥がｎｗ個の場合は他のステップを経ずして直接ステップ（１＋ｎｗ）に移行するものが挙げられ、これは狭義の白欠陥画素に関してはレベル推定演算および判断処理を省略することができるという利点を有している。
【００４２】
また、４画素に限らず一般のＮ画素加算の場合も同様に処理することができ、上述の（ステップ０および最終ステップを除く）各段階のステップ番号をｍとすれば、ステップ（ｍ）における式は、
（ｍ）  （Ａ−（ｍ−１）ｗ−Σ［ｉ＝ｍ ｔｏＮ］Ｄｉ）／（Ｎ−ｍ＋１−ｎＢ）≦ ｗ−Ｄｍ
のときは  Ｓ＝（Ａ−（ｍ−１）ｗ−Σ［ｉ＝ｍｔｏＮ］Ｄｉ）・Ｎ／（Ｎ−ｍ＋１−ｎＢ）
それ以外は（ｍ＋１）
と一般化できる。
【００４３】
また上記で、欠陥情報の取得については触れていないが、公知の任意の手法を用いることができる。例えば、事前に製造工程で調べたデータ（温度や露光時間依存も含む）をメモリに記憶しておいたものを、使用時の温度や露光時間を参照して用いても良い。また、撮影直前に、例えば使用予定露光時間で遮光状態でテスト撮像して求めたデータを利用しても良い。
【００４４】
なお上記において「黒欠陥画素（信号出力がほぼ０の画素）」と「重畳信号出力〜飽和レベルｗであるものは白欠陥画素」と記したところは必ずしもそれぞれ出力０、出力ｗを必須とするものではなく、近似的にそのような画素と見なされるものであっても良いことは言うまでも無い。
【００４５】
このように本実施形態によれば、４画素加算読み出しによって１つの複画素を得る方式において、複画素中に１画素でも中間レベルのグレイ欠陥画素が含まれていた場合に前記式に基づく補正演算を行うことにより、欠陥画素を簡易に補償することができる。そしてこの場合、欠陥複画素に対する補正は、隣接複画素情報ではなく同一複画素内の単位画素の情報に基づいて行われる。このため、有効画素の情報を無駄無く利用することができ、ＳＮの劣化を最小限にとどめつつ解像度の劣化を抑制することができる。また、サンプルホールド回路に特殊な切り換え動作を持たせる等の複雑なハード構成を要することなく、単純な計算式を用いて計算するのみで実現することができる。
【００４６】
なお、本発明は上述した実施形態に限定されるものではない。実施形態では、モノクロ撮像素子で説明したが、本発明はカラー撮像素子にも同様に適用できる。カラーの場合は元の加算が通常同色の加算処理となり、コーディングパターンによっては隣接加算以外の加算が用いられるが、その加算対象の複画素に対して全く同様に適用できる。また、デジタルスチルカメラ等の電子カメラに限らず、ビデオカメラ等のムービーにも全く同様に適用できる。
【００４７】
また、画素加算は内部で加算するのみに限らず、外部で加算することも可能である。例えば水平加算について、撮像素子から信号を読み出した後にデジタル演算で隣接２画素加算を行うようにしてもよい。その他、本発明の要旨を逸脱しない範囲で、種々変形して実施することができる。
【００４８】
【発明の効果】
以上詳述したように本発明によれば、画素加算により感度の向上をはかった撮像装置において、一般の中間レベルのグレイ欠陥に対しても、有効画素の情報を無駄無く利用した、従ってＳＮの劣化を最小限にとどめつつ解像度の劣化を事実上生じない効果的な欠陥補正を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る電子カメラの構成を示すブロック図。
【図２】同実施形態で用いられるＣＣＤ撮像素子の素子構造を示す平面図。
【図３】同実施形態で用いられるＣＣＤ撮像素子における単位画素と複画素との関係を示す図。
【図４】同実施形態で用いられる加算駆動読み出し動作を示すタイミングチャート。
【図５】同実施形態で用いられる補正処理の原理を説明するための図。
【図６】同実施形態で用いられる補正処理の手順を示す第１のフローチャート。
【図７】同実施形態で用いられる補正処理の手順を示す第２のフローチャート。
【符号の説明】
１０１…レンズ系
１０２…レンズ駆動機構
１０３…露出制御機構
１０４…フィルタ系
１０５…ＣＣＤカラー撮像素子
１０６…ＣＣＤドライバ
１０７…プリプロセス部
１０８…デジタルプロセス部
１０９…カードインターフェース
１１０…メモリカード
１１１…ＬＣＤ画像表示系
１１２…システムコントローラ（ＣＰＵ）
１１２ａ…画素加算駆動制御部
１１２ｂ…画素情報補正部
１１３…操作スイッチ系
１１４…操作表示系
１１５…レンズドライバ
１１６…ストロボ
１１７…露出制御ドライバ
１１８…不揮発性メモリ（ＥＥＰＲＯＭ）
２０１…フォトダイオード
２０２…垂直ＣＣＤ
２０３…水平ＣＣＤ
２０４…読み出しアンプ
【図１】
0004646392.tif 000002
【図２】
0004646392.tif 000003
【図３】
0004646392.tif 000004
【図４】
0004646392.tif 000005
【図５】
0004646392.tif 000006
【図６】
0004646392.tif 000007
【図７】
0004646392.tif 000008