(57)【要約】【課題】従来の固体撮像装置においては、画素加算され読み出された映像信号を、読出し後の隣接画素を用いて補正を行うため、不自然さを抱かせる補正が行われるという課題があった。【解決手段】固体撮像素子１１０１からの複数の画素信号を加算した信号を出力する画素加算部１１０５と、固体撮像素子１１０１における画素欠陥の位置情報を記憶した記憶部１１０２と、画素加算部１１１０５において画素する加算数と、加算する画素に含まれる欠陥画素数と、加算後出力される画素に含まれる欠陥信号レベル、を用いることにより、画素加算により読み出された映像信号の欠陥を補正する欠陥画素補正部とを備え、注目画素の読み出し後の隣接画素を用いることなく補正処理を行なうようにしている。【選択図】図１
2010130289.tif 000002
【特許請求の範囲】
【請求項１】
固体撮像素子の画素からの画素信号を加算して出力する画素加算部と、
前記固体撮像素子の欠陥画素に関する欠陥画素情報を記憶する記憶部と、
前記画素加算部で画素信号を加算する画素数、加算する画素に含まれる欠陥画素数、および、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルに基づいて、前記出力信号の欠陥を補正する欠陥画素補正部と、
を備えることを特徴とする固体撮像装置。
【請求項２】
前記欠陥画素情報は、前記固体撮像素子における欠陥画素の位置および信号レベルの情報を含む請求項１に記載の固体撮像装置。
【請求項３】
前記欠陥画素補正部は、
前記画素加算部で加算する画素数を判断する加算画素数判断手段と、
前記画素加算部から出力される、欠陥画素の画素信号を含む出力信号が、どの位置の画素の出力信号として出力されるかを判断する欠陥画素位置判断手段と、
前記出力信号に含まれる欠陥画素数を判断する欠陥画素含有数判断手段と、
前記出力信号に含まれる欠陥画素の信号レベルを判断する欠陥信号レベル判断手段と、
前記加算画素数判断手段、前記欠陥画素位置判断手段、欠陥画素含有数判断手段および欠陥信号レベル判断手段の判断結果に基づいて、前記出力信号の欠陥の補正処理を行う欠陥画素補正実施手段と、
を備える請求項１または２に記載の固体撮像装置。
【請求項４】
前記欠陥画素位置判断手段は、全画素の画素信号を読み出す方式における欠陥画素の位置情報と前記画素加算部の画素加算の方式とに基づいて、どの位置の画素の出力信号として出力されるかを判断する請求項３に記載の固体撮像装置。
【請求項５】
前記欠陥画素含有数判断手段は、前記欠陥画素位置判断手段の判断結果に基づいて、前記画素加算部から出力される出力信号に、何画素の欠陥画素の画素信号が含まれているかを判断する請求項４に記載の固体撮像装置。
【請求項６】
前記欠陥信号レベル判断手段は、前記固体撮像素子の欠陥画素の信号レベルと、前記欠陥画素含有数判断手段より得られる欠陥画素数とに基づいて、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルを判断する請求項５に記載の固体撮像装置。
【請求項７】
前記記憶部は、欠陥画素の特性を識別した欠陥識別情報を記憶するものであり、
前記欠陥信号レベル判断手段は、前記欠陥識別情報に基づいて、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルを判断する請求項３に記載の固体撮像装置。
【請求項８】
前記記憶部は、欠陥画素の特性を識別した欠陥識別情報を記憶する請求項１に記載の固体撮像装置。
【請求項９】
前記欠陥識別情報は、固定の信号レベルを出力する特性の欠陥画素を識別した情報である請求項８に記載の固体撮像装置。
【請求項１０】
前記欠陥識別情報に基づいて、前記欠陥画素補正部による補正を行なうか否かを管理する管理手段を備える請求項８または９に記載の固体撮像装置。
【請求項１１】
前記管理手段は、前記欠陥画素補正部による補正が、欠陥画素の特性に応じた補正となるように前記欠陥画素補正部を管理する請求項１０に記載の固体撮像装置。
【請求項１２】
固体撮像素子の画素からの画素信号を、所定のクリップ値でクリップ処理して加算する画素加算部と、
前記クリップ処理された画素を欠陥画素として、該欠陥画素に関する欠陥画素情報を記憶する記憶部と、
前記画素加算部で画素信号を加算する画素数、加算する画素に含まれる欠陥画素数、および、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルに基づいて、前記出力信号の欠陥を補正する欠陥画素補正部とを備え、
前記欠陥画素補正部は、
前記画素加算部で加算する画素数を判断する加算画素数判断手段と、
前記画素加算部から出力される、欠陥画素の画素信号を含む出力信号が、どの位置の画素の出力信号として出力されるかを判断する欠陥画素位置判断手段と、
前記出力信号に含まれる欠陥画素数を判断する欠陥画素含有数判断手段と、
前記出力信号に含まれる欠陥画素の信号レベルを、前記所定のクリップ値に基づいて判断する欠陥信号レベル判断手段と、
前記加算画素数判断手段、前記欠陥画素位置判断手段、欠陥画素含有数判断手段および欠陥信号レベル判断手段の判断結果に基づいて、前記出力信号の欠陥の補正処理を行う欠陥画素補正実施手段と、
を備えることを特徴とする固体撮像装置。
【請求項１３】
撮像条件によって信号レベルが変化する欠陥画素を有する固体撮像素子の画素からの画素信号を加算して出力する画素加算部と、
前記固体撮像素子の欠陥画素に関する欠陥画素情報を記憶する記憶部と、
前記画素加算部で画素信号を加算する画素数、加算する画素に含まれる欠陥画素数、および、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルに基づいて、前記出力信号の欠陥を補正する欠陥画素補正部とを備え、
前記欠陥画素情報は、前記固体撮像素子における欠陥画素の位置、信号レベルおよび欠陥画素記憶時の撮像条件の情報を含むことを特徴とする固体撮像装置。
【請求項１４】
前記欠陥画素情報は、撮像条件に応じて変化する欠陥画素の信号特性の情報を含み、
前記欠陥画素補正部は、前記欠陥画素の信号特性の情報および撮像条件に基づいて、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルを判断する請求項１３に記載の固体撮像装置。
【請求項１５】
固体撮像素子における欠陥画素の位置情報を記憶する記憶部と、
前記固体撮像素子の画素からの画素信号を加算する画素加算部で加算する画素数、加算する画素に含まれる欠陥画素数、および、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルに基づいて、前記出力信号の欠陥を補正する欠陥画素補正部とを備え、
前記欠陥画素補正部は、
前記画素加算部で加算する画素数を判断する加算画素数判断手段と、
前記画素加算部から出力される、欠陥画素の画素信号を含む出力信号が、どの位置の画素の出力信号として出力されるかを判断する欠陥画素位置判断手段と、
前記出力信号に含まれる欠陥画素数を判断する欠陥画素含有数判断手段と、
前記出力信号に含まれる欠陥画素の信号レベルを判断する欠陥信号レベル判断手段と、
前記加算画素数判断手段、前記欠陥画素位置判断手段、欠陥画素含有数判断手段および欠陥信号レベル判断手段の判断結果に基づいて、前記出力信号の欠陥の補正処理を行う欠陥画素補正実施手段とを備える半導体集積回路。
【請求項１６】
固体撮像素子の画素からの画素信号を加算して出力する加算ステップと、
固体撮像素子における欠陥画素の位置情報を記憶する記憶ステップと、
前記加算ステップで出力される出力信号が、どの位置の画素の出力信号として出力されるかを判断する欠陥画素位置判断ステップと、
前記加算ステップで出力される出力信号に含まれる欠陥画素数を判断する欠陥画素含有数判断ステップと、
前記加算ステップで出力される出力信号に含まれる欠陥画素の信号レベルを判断する欠陥信号レベル判断ステップと、
前記加算画素数判断ステップ、前記欠陥画素位置判断ステップ、前記欠陥画素含有数判断ステップおよび欠陥信号レベル判断ステップの判断結果に基づいて、前記加算ステップで出力される出力信号の欠陥の補正処理を行う欠陥画素補正ステップと、
を備えることを特徴とする欠陥画素補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を用いて撮像する固体撮像装置、固体撮像素子の欠陥画素を補正するのに好適な半導体集積回路および欠陥画素補正方法に関し、更に詳しくは、複数の画素信号を加算して読み出す動作を行なう固体撮像装置、半導体集積回路および欠陥画素補正方法に関する。
【背景技術】
【０００２】
近年、デジタルスチルカメラ、デジタルビデオカメラをはじめとする固体撮像装置が普及してきている。これらの固体撮像装置においては固体撮像素子の高画素化が進み、近年では数百万画素のシステムが一般的に使用されるようになり、中には数千万画素の商品も市販されるようになっている。
【０００３】
さらに、デジタルスチルカメラの機能において、高画素の固体撮像素子を静止画用途のみでなく、動画撮影を兼用する機種が主流となっている。このような動画撮影を兼用するデジタルスチルカメラにおいては、静止画用途の際には従来どおりに固体撮像素子の全画素信号を用いて処理を行うが、動画用途の際には、複数の画素から画素信号を加算して読み出す撮像方式を用いることがある。
【０００４】
ＣＣＤ、ＣＭＯＳ等の固体撮像素子においては、二次元に配列された画素において、その製造過程もしくは製造後において半導体の局部的な感度不良が生ずることが知られている。これらの現象が起きると、入射した光量に応じた電荷出力が得られなくなるため、撮像画像上に被写体とは無関係に白点や黒点が見て取れる、いわゆる欠陥画素となって現れる。
【０００５】
近年の固体撮像素子に求められる画素数は、以前の数十万画素程度から数百万画素、場合によっては数千万画素に増大したこともあり、固体撮像素子の製造技術の進歩にも関わらず、固体撮像素子に現れる欠陥画素の発生確率は、減少していない。特に低コストが求められる民生機器に使用される固体撮像素子においては、その製造歩留まりを上げるために、欠陥画素数を従来に比して多く許容せざるを得なくなってきている。
【０００６】
そのため、欠陥画素に対する補正処理が要望されている。
【０００７】
こうした欠陥画素の撮像出力に起因する画質劣化を信号処理によって補正するために、従来では、固体撮像素子に含まれる欠陥画素の位置情報を不揮発性メモリに記憶し、通常撮像時において、この不揮発性メモリに記憶されている位置情報に従い欠陥画素を特定し、もしくは隣接する画素との信号レベル差を評価し、設定されたレベルを超える差分が生じている場合欠陥画素であると特定し、欠陥画素の撮像出力を、欠陥画素の隣接する同色フィルタにより出力された画素の撮像出力と置き換えることにより、欠陥画素補正を行っている。
【０００８】
静止画用途の際に、従来どおりに固体撮像素子の全画素信号を読み出す撮像方式で得られた映像信号における欠陥においても、動画用途の際に、複数の画素から画素信号を加算して読み出す撮像方式で得られた映像信号における欠陥においても、同様の手法が用いられている。
【０００９】
また、一部では複数の画素から画素信号を加算して読み出す撮像方式を用いる固体撮像素子においては、欠陥画素である場合には、画素信号を加算する前に隣接する画素と置き換えることにより、加算後の映像信号に欠陥画素が含まれないようにする手法も用いられている。
【００１０】
従来の技術では、欠陥画素に隣接する同色フィルタにより出力された画素の撮像出力と置き換えることにより、欠陥画素の補正を実現している。これらの方式は、固体撮像素子の全画素信号を読み出す撮像方式においては、固体撮像素子上、欠陥画素に隣接する画素の画素信号との置き換えが可能であるため、置き換える画素の特性の評価を行い最適な近傍画素と置き換えることを実現することにより、視覚的に遜色のない効果的な補正を実現することができる（例えば、特許文献１参照）。
【００１１】
しかしながら、複数の画素から画素信号を加算して読み出す撮像方式を用いた場合においては、固体撮像素子より得られる映像信号は、複数の画素の画素信号を加算した後の信号であるため、映像信号の出力位置的に隣接していたとしても、固体撮像素子画素位置においては距離があることとなり、非隣接画素であるといえる。そのような非隣接画素と置き換える欠陥補正方式では、視覚的に違和感を覚える可能性が高まるため適切な補正とはいえないという課題がある。
【００１２】
また、複数の画素から画素信号を加算して読み出す撮像方式において、固体撮像素子より得られる映像信号が、固体撮像素子画素位置的には隣接していないことを解消するために、複数の画素から画素信号を加算して読み出す撮像方式を変更し、固体撮像素子上で隣接画素との置き換えを行った後に加算することも提案されているが（例えば、特許文献２参照）、これらの方式では固体撮像素子の構成を変更する必要があるため、従来から用いられている固体撮像素子には適用できないという課題がある。
【特許文献１】特開２００２−３４４８１４
【特許文献２】特許第３７４０３２４号
【発明の開示】
【発明が解決しようとする課題】
【００１３】
以上のように複数の画素から画素信号を加算して読み出す撮像方式における欠陥画素の補正においては、固体撮像素子の画素位置における隣接画素との置き換えではないために欠陥画素と置き換え画素との距離が物理的に離れており不自然さを抱かせる補正となる可能性が高いという課題、あるいは、画素加算方式を変更した固体撮像素子に作り直す必要があるという課題がある。
【００１４】
本発明は、上述のような課題に鑑みて為されたものであって、複数の画素から画素信号を加算して読み出す撮像方式の固体撮像装置において、従来の固体撮像素子の構成を大幅に変更することなく、しかも、視覚的に違和感を覚える可能性が低い画素欠陥の補正を可能にすることを目的とする。
【課題を解決するための手段】
【００１５】
（１）本発明の固体撮像装置は、固体撮像素子の画素からの画素信号を加算して出力する画素加算部と、前記固体撮像素子の欠陥画素に関する欠陥画素情報を記憶する記憶部と、前記画素加算部で画素信号を加算する画素数、加算する画素に含まれる欠陥画素数、および、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルに基づいて、前記出力信号の欠陥を補正する欠陥画素補正部とを備えている。
【００１６】
前記欠陥画素補正部は、画素加算部から出力される出力信号（映像信号）の信号レベルからそれに含まれる欠陥画素の信号レベルを差し引いて、欠陥画素以外の画素の画素信号の平均レベルを算出し、その平均レベルを、加算する画素数倍して補正するのが好ましい。
【００１７】
本発明の固体撮像装置によれば、画素加算部から出力される加算後の出力信号（映像信号）に含まれる欠陥を、加算画素数、欠陥画素数、および、欠陥画素の信号レベルに基づいて、その出力信号自体で補正することができるので、加算後の他の出力信号（映像信号）、すなわち、出力位置的には隣接しているが固体撮像素子画素位置においては距離がある非隣接画素による出力信号（映像信号）を用いて補正する必要がなく、これによって、視覚的に遜色のない補正となり、また、固体撮像素子の構成を変更するといった必要もない。
【００１８】
（２）本発明の固体撮像装置の一つの実施形態では、前記欠陥画素情報は、前記固体撮像素子における欠陥画素の位置および信号レベルの情報を含んでいる。
【００１９】
この実施形態によると、欠陥画素補正部では、欠陥画素の位置情報および欠陥画素の信号レベル情報に基づいて、画素加算部から出力される加算後の出力信号の欠陥を補正することができる。
【００２０】
（３）本発明の固体撮像装置の他の実施形態では、前記欠陥画素補正部は、前記画素加算部で加算する画素数を判断する加算画素数判断手段と、前記画素加算部から出力される、欠陥画素の画素信号を含む出力信号が、どの位置の画素の出力信号として出力されるかを判断する欠陥画素位置判断手段と、前記出力信号に含まれる欠陥画素数を判断する欠陥画素含有数判断手段と、前記出力信号に含まれる欠陥画素の信号レベルを判断する欠陥信号レベル判断手段と、前記加算画素数判断手段、前記欠陥画素位置判断手段、欠陥画素含有数判断手段および欠陥信号レベル判断手段の判断結果に基づいて、前記出力信号の欠陥の補正処理を行う欠陥画素補正実施手段とを備えている。
【００２１】
複数の画素からの画素信号を加算して読み出す撮像方式における加算画素数は、固体撮像素子の撮像方式に従って一意に確定するものであり、したがって、加算画素数判断手段では、例えば、固体撮像素子をどの動作方式で動作させているに基づいて、加算画素数を判断することができる。
【００２２】
複数の画素を加算する方式は、固体撮像素子の仕様によって一意に決定できるものであり、欠陥画素位置判断手段は、全画素を読み出す映像方式における欠陥画素の位置情報に基づいて、複数の画素からの画素信号を加算して読み出す撮像方式で読み出された場合の欠陥画素の画素位置情報を判断することができる。
【００２３】
欠陥画素含有数判断手段は、全画素を読み出す映像方式における欠陥画素の位置情報と、画素加算部の混合（加算）方式とに基づいて、画素加算部から出力される出力信号に、欠陥画素の画素信号を含むか否か、および、何画素の欠陥画素の画素信号を含むかを判断することができる。
【００２４】
欠陥信号レベル判断手段は、固体撮像素子より出力される欠陥画素の信号レベルと、欠陥画素含有数判断手段より得られる欠陥画素数とに基づいて、画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルを判断することができる。
【００２５】
この実施形態によると、欠陥画素補正を行う上で必要となる数値等を判断し、加算されて出力される注目画素のみの出力信号で欠陥を補正することができるので、加算後の出力位置的に隣接する画素の出力信号を用いる必要がなく、視覚的に遜色のない補正が可能になる。
【００２６】
また、加算画素数判断手段は、画素加算部で加算処理される画素数を判断するので、画素加算部における加算方式に複数の種類がある場合においても、どの加算方式を用いているのかを特定して加算処理される画素数を判断することができる。
【００２７】
（４）上記（３）の実施形態では、前記欠陥画素位置判断手段は、全画素の画素信号を読み出す方式における欠陥画素の位置情報と前記画素加算部の画素加算の方式とに基づいて、どの位置の画素の出力信号として出力されるかを判断するようにしてもよい。
【００２８】
この実施形態によると、全画素の画素信号を読み出す方式における欠陥画素の位置情報、すなわち、固体撮像素子上の絶対的な位置情報を用いることにより、画素加算部における画素加算方法が変わった場合であっても対応することができ、加算後の欠陥画素の位置を特定することができる。
【００２９】
（５）上記（４）の実施形態では、前記欠陥画素含有数判断手段は、前記欠陥画素位置判断手段の判断結果に基づいて、前記画素加算部から出力される出力信号に、何画素の欠陥画素の画素信号が含まれているかを判断するようにしてもよい。
【００３０】
この実施形態によると、加算されて出力される注目画素の出力信号に、いくつの欠陥画素が含まれている場合であっても、欠陥画素の補正を行うことが可能となる。
【００３１】
（６）上記（５）の実施形態では、前記欠陥信号レベル判断手段は、前記固体撮像素子の欠陥画素の信号レベルと、前記欠陥画素含有数判断手段より得られる欠陥画素数とに基づいて、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルを判断してもよい。
【００３２】
この実施形態によると、加算されて出力される注目画素の出力信号に、いくつの欠陥画素が含まれている場合であっても、信頼度の高い欠陥画素の信号レベルを算出することができる。
【００３３】
（７）上記（３）の実施形態では、前記記憶部は、欠陥画素の特性を識別した欠陥識別情報を記憶するものであり、前記欠陥信号レベル判断手段は、前記欠陥識別情報に基づいて、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルを判断するようにしてもよい。
【００３４】
この実施形態によると、欠陥画素に一定の特性がある場合に欠陥画素の特性を反映させて欠陥画素の信号レベルを特定することができ、信頼性の高い欠陥画素の信号レベルの算出が実現できる。
【００３５】
（８）本発明の固体撮像装置の他の実施形態では、前記記憶部は、欠陥画素の特性を識別した欠陥識別情報を記憶するものである。
【００３６】
この実施形態によると、欠陥画素の特性を識別した情報を記憶することができるため、信頼性の高い欠陥画素の補正を実施することができる。
【００３７】
（９）上記（８）の実施形態では、前記欠陥識別情報は、固定の信号レベルを出力する特性の欠陥画素を識別した情報としてもよい。
【００３８】
この実施形態によると、欠陥画素の持つ信号レベルを特定した情報を記憶することができるため、信頼性の高い欠陥補正を実施することが出来る。
【００３９】
（１０）上記（８）または（９）の実施形態では、前記欠陥識別情報に基づいて、前記欠陥画素補正部による補正を行なうか否かを管理する管理手段を備えてもよい。
【００４０】
この実施形態によると、欠陥識別情報に基づいて、補正処理を行う欠陥画素を指定することが可能となり、部分的な欠陥補正を実施することができる。
【００４１】
（１１）上記（１０）の実施形態では、前記管理手段は、前記欠陥画素補正部による補正が、欠陥画素の特性に応じた補正となるように前記欠陥画素補正部を管理してもよい。
【００４２】
この実施形態によると、欠陥画素の特性、すなわち、欠陥画素の種類に応じて欠陥の補正方法を変更することが可能となり、効果的な欠陥画素の補正を行うことができる。
【００４３】
（１２）本発明の固体撮像装置は、固体撮像素子の画素からの画素信号を、所定のクリップ値でクリップ処理して加算する画素加算部と、前記クリップ処理された画素を欠陥画素として、該欠陥画素に関する欠陥画素情報を記憶する記憶部と、前記画素加算部で画素信号を加算する画素数、加算する画素に含まれる欠陥画素数、および、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルに基づいて、前記出力信号の欠陥を補正する欠陥画素補正部とを備え、前記欠陥画素補正部は、前記画素加算部で加算する画素数を判断する加算画素数判断手段と、前記画素加算部から出力される、欠陥画素の画素信号を含む出力信号が、どの位置の画素の出力信号として出力されるかを判断する欠陥画素位置判断手段と、前記出力信号に含まれる欠陥画素数を判断する欠陥画素含有数判断手段と、前記出力信号に含まれる欠陥画素の信号レベルを、前記所定のクリップ値に基づいて判断する欠陥信号レベル判断手段と、前記加算画素数判断手段、前記欠陥画素位置判断手段、欠陥画素含有数判断手段および欠陥信号レベル判断手段の判断結果に基づいて、前記出力信号の欠陥の補正処理を行う欠陥画素補正実施手段とを備えている。
【００４４】
本発明の固体撮像装置によれば、クリップ処理を行い一定値以上の信号レベルを扱わない場合において、クリップ値を欠陥画素の信号レベルとして特定することが出来るため、信頼性の高い欠陥画素の補正を実現することができる。
【００４５】
（１３）本発明の固体撮像装置は、撮像条件によって信号レベルが変化する欠陥画素を有する固体撮像素子の画素からの画素信号を加算して出力する画素加算部と、前記固体撮像素子の欠陥画素に関する欠陥画素情報を記憶する記憶部と、前記画素加算部で画素信号を加算する画素数、加算する画素に含まれる欠陥画素数、および、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルに基づいて、前記出力信号の欠陥を補正する欠陥画素補正部とを備え、前記欠陥画素情報は、前記固体撮像素子における欠陥画素の位置、信号レベルおよび欠陥画素記憶時の撮像条件の情報を含むものである。
【００４６】
本発明の固体撮像装置によれば、欠陥画素に一定の特性がある場合に欠陥画素が持つ特性を反映させて欠陥画素の信号レベルを特定することができ、信頼性の高い欠陥画素の信号レベルの算出が実現できる。
【００４７】
（１４）上記（１３）の実施形態では、前記欠陥画素情報は、撮像条件に応じて変化する欠陥画素の信号特性の情報を含み、前記欠陥画素補正部は、前記欠陥画素の信号特性の情報および撮像条件に基づいて、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルを判断してもよい。
【００４８】
この実施形態によると、欠陥画素が有する、例えば、光量、温度、光源などの撮像条件に基づく特性を記憶することができるため、撮像条件に基づく特性により動的に変化する欠陥画素の補正を実現することができる。
【００４９】
（１５）本発明の半導体集積回路は、固体撮像素子における欠陥画素の位置情報を記憶する記憶部と、前記固体撮像素子の画素からの画素信号を加算する画素加算部で加算する画素数、加算する画素に含まれる欠陥画素数、および、前記画素加算部から出力される出力信号に含まれる欠陥画素の信号レベルに基づいて、前記出力信号の欠陥を補正する欠陥画素補正部とを備え、前記欠陥画素補正部は、前記画素加算部で加算する画素数を判断する加算画素数判断手段と、前記画素加算部から出力される、欠陥画素の画素信号を含む出力信号が、どの位置の画素の出力信号として出力されるかを判断する欠陥画素位置判断手段と、前記出力信号に含まれる欠陥画素数を判断する欠陥画素含有数判断手段と、前記出力信号に含まれる欠陥画素の信号レベルを判断する欠陥信号レベル判断手段と、前記加算画素数判断手段、前記欠陥画素位置判断手段、欠陥画素含有数判断手段および欠陥信号レベル判断手段の判断結果に基づいて、前記出力信号の欠陥の補正処理を行う欠陥画素補正実施手段とを備えている。
【００５０】
本発明の半導体集積回路によると、画素欠陥を含む固体撮像素子を用いてシステムを構成する場合において、画素加算処理を行い読み出された映像信号の欠陥に対する補正を実施し、周辺画素に対して違和感の少ない信号による画像処理を実現し、かつ小型化したシステムを提供することが出来る。
【００５１】
（１６）本発明の欠陥画素補正方法は、固体撮像素子の画素からの画素信号を加算して出力する加算ステップと、固体撮像素子における欠陥画素の位置情報を記憶する記憶ステップと、前記加算ステップで加算する画素数を判断する加算画素数判断ステップと、前記加算ステップで出力される出力信号が、どの位置の画素の出力信号として出力されるかを判断する欠陥画素位置判断ステップと、前記加算ステップで出力される出力信号に含まれる欠陥画素数を判断する欠陥画素含有数判断ステップと、前記加算ステップで出力される出力信号に含まれる欠陥画素の信号レベルを判断する欠陥信号レベル判断ステップと、前記加算画素数判断ステップ、前記欠陥画素位置判断ステップ、前記欠陥画素含有数判断ステップおよび欠陥信号レベル判断ステップの判断結果に基づいて、前記加算ステップで出力される出力信号の欠陥の補正処理を行う欠陥画素補正ステップとを備えている。
【００５２】
本発明の欠陥画素補正方法によれば、加算ステップによる加算後の出力信号に含まれる欠陥を、加算画素数、欠陥画素数、および、欠陥画素の信号レベルに基づいて、その出力信号自体で補正することができるので、非隣接画素の画素信号を加算した出力信号を用いて補正する必要がなく、これによって、視覚的に遜色のない補正となり、また、固体撮像素子の構成を変更するといった必要もない。
【発明の効果】
【００５３】
本発明によれば、複数の画素からの画素信号を加算して読み出された出力信号自体を補正することにより、物理的には距離が離れた隣接していない画素の画素信号を加算して読み出された出力信号を用いて補正する必要がなく、これによって、視覚的な不自然さを抱かせる可能性が低い補正となり、また、固体撮像素子の構成を変更して画素加算方式を変更する必要もない。
【００５４】
このように従来の固体撮像装置の構成自体を大幅に変更する必要性も発生しないため、低コストでの構成の改善によって、全画素信号を読み出す撮像方式と複数の画素から画素信号を加算して読み出す撮像方式とを両用する固体撮像装置での、効果的な欠陥画素補正の改善を実現することが可能になる。
【００５５】
これによって、高画素化が進む固体撮像素子分野において、その製造歩留まりを上げるために、欠陥画素数を従来に比して多く許容することが可能となり、民生機器において低コストの固体撮像装置を提供することが可能となる。
【発明を実施するための最良の形態】
【００５６】
以下、本発明の実施の形態について図面を用いて説明する。
【００５７】
（実施の形態１）
図１は、本発明の実施形態に係る固体撮像装置の構成図である。
【００５８】
この実施形態の固体撮像装置は、レンズ１１００より入力された映像光を電気信号に変換するに固体撮像素子１１０１と、固体撮像素子１１０１から読み出された同色複数画素の映像信号（画素信号）を加算処理する画素加算部１１０５と、欠陥画素に関する欠陥画素情報として、欠陥画素位置情報を記憶する記憶部１１０２と、欠陥画素の補正処理を行なう欠陥画素補正部１１０３と、所定の画像処理（ＷＢ処理、ＡＥ処理、ＹＣ処理など）を行って映像信号を適切な出力画像に変換する画像処理部１１０４とを備えている。
【００５９】
更に、固体撮像装置は、１個以上のＣＰＵ１１０７と、ＲＡＭ等の揮発性メモリ１１０８と、ＲＯＭおよびフラッシュメモリ等の不揮発性メモリ１１０９とを備えており、不揮発性メモリ１１０９に記憶されているプログラムを実行することで、固体撮像素子１１０１、画素加算部１１０５、記憶部１１０２、欠陥画素補正部１１０３、画像処理部１１０４等の各部を制御するものである。
【００６０】
固体撮像素子１１０１は、二次元的に配列された画素領域を有しており、レンズ１１００より入力された映像光を電気信号に変換する機能を有し、各画素の映像信号（画素信号）を読み出す動作を行なう。
【００６１】
画素加算部１１０５は、固体撮像素子１１０１において読み出された映像信号の同色複数画素を用いて加算処理を行った画素加算映像信号（出力信号）を出力する。なお、画素加算部１１０５は、固体撮像素子１１０１の機能として実現されてもよい、すなわち、固体撮像素子１１０１は、画素加算部１１０５を含んで構成されてもよい。また、この画素加算部１１０５は、アナログ処理するＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）及びデジタル信号に変換するＡＤＣ（ＡＤ  Ｃｏｎｖｅｒｔｅｒ）において実現されてもよいし、あるいは、独立して存在してもよい。
【００６２】
この実施形態の固体撮像装置は、固体撮像素子１１０１の全画素から画素信号を読み出す撮像方式および複数の画素を用いて画素信号を加算して読み出す撮像方式を選択的に動作させることができる。
【００６３】
記憶部１１０２は、固体撮像素子１１０１に含まれる、入射された映像光を正常な電気信号に変換することができない欠陥画素の、２次元的に配列された画素領域における位置情報である欠陥画素位置情報を割り出し、割り出した情報を、欠陥画素に関連する情報テーブルとして記憶領域に記憶する。
【００６４】
欠陥画素位置情報は、固体撮像素子１１０１における絶対的な欠陥画素の位置情報であり、変動しない情報であるため、繰り返し使用することが可能な情報である。欠陥画素位置情報は、一時的な使用を目的とするのではなく、長期的な使用を視野に入れて記憶部１１０２の不揮発性の記憶領域に記憶させ、繰り返し使用できるようにしている。
【００６５】
なお、欠陥画素位置情報については、製造した半導体工場で検出して記憶部１１０２の不揮発性の記憶領域に予め記憶させるか、あるいは、固体撮像装置側において、固体撮像装置のシャッターを遮光状態としたときに、所定の出力レベルを超える画素（白点欠陥画素）の位置情報、並びに、固体撮像装置への入射光量を所定のレベルとしたとき、所定の出力レベルに達しない画素（黒点欠陥画素）の位置情報を、記憶部１１０２の不揮発性の記憶領域に記憶しておく手法を用いることができる。
【００６６】
ここで記憶する欠陥画素位置情報は、２次元的に配列された画素領域における欠陥画素の位置情報、つまり全画素を読み出す撮像方式により得られた欠陥画素の位置情報とする。
【００６７】
なお、固体撮像装置の出荷時のみでなく固体撮像装置側でも記憶ができるようにするのは、後発的に発生した欠陥画素に対応するためである。
【００６８】
欠陥画素補正部１１０３は、画素加算部１１０５における加算画素数と、画素加算部１１０５から出力信号である加算後読み出された映像信号に含まれる欠陥画素数（以下、「欠陥画素含有数」ともいう）と、加算後読み出された映像信号に含まれている欠陥画素が占める信号レベル（以下、「欠陥レベル」ともいう）とを用いて算出した映像信号に対する補正ゲインおよび補正オフセットを用いて、画素加算された信号の欠陥画素の補正処理を行なう。この欠陥画素補正部１１０３では、記憶部１１０２において記憶された欠陥画素の情報、および、記憶する際の記憶条件を参照することができる。
【００６９】
なお、記憶部１１０２、欠陥画素補正部１１０３、画像処理部１１０４を含んで半導体集積回路１１０６を構成することが可能である。これにより、画素加算された映像信号を入力する固体撮像装置において、効果的な欠陥補正を行う、小型化されたシステムを構築することができる。
【００７０】
図２は、記憶部１１０２および欠陥画素補正部１１０３のブロック図である。
【００７１】
記憶部１１０２は、欠陥画素情報記憶手段１３０１を備えている。この欠陥画素情報記憶手段１３０１は、欠陥画素を特定するための情報（以下、「欠陥画素情報」ともいう）を記憶する。ここでの欠陥画素情報とは、欠陥画素位置情報を意味する。なお、欠陥画素情報として、注目画素が保有する欠陥信号レベルや、欠陥画素情報を記憶する場合の撮像条件、例えば、輝度や温度や明度など、を記憶することも可能である。これらの欠陥画素情報は、欠陥画素情報記憶手段１３０１としての不揮発性メモリなどに記憶することにより、長期的に参照し、活用することができる。
【００７２】
欠陥画素補正部１１０３は、加算画素数判断手段１２０１と、欠陥画素位置判断手段１２０２と、欠陥画素含有数判断手段１２０３と、欠陥信号レベル判断手段１２０４と、欠陥画素補正実施手段１２０５とを備えている。
【００７３】
加算画素数判断手段１２０１は、固体撮像素子１１０１において加算する画素信号の数Ｎを特定する。複数の画素から画素信号を加算して読み出す撮像方式における加算画素数Ｎは、固体撮像素子１１０１の撮像方式に従い一意に確定する情報である。そのため、固体撮像素子１１０１の動作方式を決定すれば、特定することが可能な情報であるので、固体撮像素子１１０１をどの動作方式で動作させているのかを判断することで加算画素数Ｎを算出する。加算画素数判断方法は、例えば、画素加算部１１０５を動作させる際に設定する動作モードの値を記憶領域等に退避させ参照すること、画素加算部１１０５にて管理されている画素加算数に関する情報を参照することなどが考えられる。
【００７４】
欠陥画素位置判断手段１２０２は、欠陥画素の加算処理を行った後、読み出される映像信号のどの位置の画素として出力されるのかを特定する。複数の画素を加算する方式は、固体撮像素子１１０１の仕様により、一意に決定できるものである。つまり、全画素を読み出す映像方式における欠陥画素の位置情報を元に、複数の画素から画素信号を加算して読み出す撮像方式で読み出された場合の欠陥画素の画素位置情報を、算出することが可能である。欠陥画素位置判断方法としては、例えば、記憶部１１０２において記憶されている欠陥画素情報および、画素加算部１１０５における加算方法を用いて、位置座標変換を行うことが考えられる。
【００７５】
欠陥画素含有数判断手段１２０３は、含有欠陥画素数の算出を行う。つまり、注目画素が欠陥画素をＭ個含んで生成された画素であることを特定する。注目画素が欠陥画素を含むか否か、および何画素含むかは、全画素を読み出す映像方式における欠陥画素の位置情報と、画素混合の混合方式に基づき、算出することにより特定することができる。欠陥画素含有数判断方法としては、例えば、記憶部１１０２において記憶されている欠陥画素情報および、画素加算部１１０５における加算方法を用いて、位置座標変換を行うことにより変換後の位置座標に該当する欠陥画素数を求める方法が考えられる。
【００７６】
欠陥信号レベル判断手段１２０４は、画素信号が持つ欠陥レベルを算出する。
【００７７】
欠陥信号レベル判断手段１２０４は、固体撮像素子より出力される欠陥画素の信号レベルと、欠陥画素含有数判断手段１２０３より得られる欠陥画素数Ｍと、を用いて、複数の画素から画素信号を加算して読み出す撮像方式で画素読み出しを行い、出力された映像信号が、保有する欠陥画素の信号レベルを特定することを特徴とする。欠陥信号レベル判断方法としては、例えば、画素加算により読み出された画素に含まれる各欠陥画素の信号成分をすべて加算する、欠陥画素の信号成分が一意の定められた値である場合は、一意の定められた値と欠陥画素含有数判断手段１２０３より得られる欠陥画素数Ｍの積算により求める、という方法が考えられる。
【００７８】
欠陥画素補正実施手段１２０５は、加算画素数判断手段１２０１、欠陥画素位置判断手段１２０２、欠陥画素含有数判断手段１２０３、および、欠陥信号レベル判断手段１２０４においてそれぞれ算出された値に基づき、欠陥画素補正部１１０３に入力された映像信号に対する補正値を決定し、ゲイン処理、オフセット処理により欠陥画素の補正を実施する。
【００７９】
なお、前記加算画素数判断手段１２０１、前記欠陥画素位置判断手段１２０２、前記欠陥画素含有数判断手段１２０３、前記欠陥信号レベル判断手段１２０４、および、前記欠陥画素補正実施手段１２０５において行われる演算処理（算出）は、この実施形態では、固体撮像装置内に含まれるＣＰＵを用いて実現することを想定しているが、固体撮像装置外部のＣＰＵ等の演算装置を用いて実施してもよい。
【００８０】
図３は、画素加算部１１０５における画素加算のイメージを示す図である。
【００８１】
画素加算処理は、固体撮像素子１１０１の全画素を個別に読み出すのではなく、複数の画素を加算した信号を出力する方式である。例えば、４画素の信号を加算して1信号を生成する場合においては、画素３０１、３０２、３０３、３０４の同色フィルタにより得られた同色隣接画素の信号レベルを足し合わせることにより1画素を生成し、画素３０５として出力する方式である。この際、画素３０１、３０２、３０３、３０４の位置情報によりそれぞれに係数を掛け合わせることにより、加算前の信号に対して重み付けを行って、加算する場合もある。加算方法にはさまざまな様式が考えられるが、読み出しの方式が確定すれば、加算方式は特定することが可能といえる。なお、全画素読み出ししか行えない固体撮像素子を用いている場合であっても、ＡＦＥやＡＤＣを備えることにより、ＡＦＥやＡＤＣに画素加算手段を儲け、画素加算を行った映像信号を出力してもかまわない。
図４は、欠陥画素補正部１１０３の欠陥画素補正実施手段１２０５における欠陥画素補正処理の構成を示す図である。
【００８２】
欠陥画素補正部１１０３は、画素加算部１１０５から出力される映像信号を、欠陥補正実施手段１２０５において補正し、補正後の信号を出力する。オフセット処理部１４０１において、入力された映像信号から欠陥信号レベルを除去する。オフセット処理で使用するオフセット値は、欠陥信号レベル判断手段１２０４により算出された信号レベルを用いる。この処理により、入力された映像信号より、欠陥信号レベルが除去される。
【００８３】
次に、ゲイン処理部１４０２において、欠陥ではない画素の信号レベルで平均化した信号レベルの、Ｎ画素加算処理を行う。つまり、注目画素が有する有効な映像信号の平均値を算出し、この平均値を欠陥画素の値として画素加算処理を行うといえる。なお、平均値は有効な映像信号の画素のみを用いて算出し、欠陥画素の個数は含まない。ゲイン処理におけるゲイン値は、加算画素数判断手段１２０１、欠陥画素位置判断手段１２０２、欠陥画素含有数判断手段１２０３により得られる加算画素数Ｎ、欠陥画素含有数Ｍを用いて求められる、Ｎ／（Ｎ−Ｍ）とする。
【００８４】
図５および図６に基づいて、画素加算を用いた読み出し方式における欠陥の発生イメージを説明する。
【００８５】
上述のように、画素加算処理は複数の画素を足し合わせることにより１つの映像信号を生成する方式である。図５に示すように、Ｒ１信号、Ｒ２信号、Ｒ３信号、Ｒ４信号において、どの信号も欠陥画素ではない場合、これら正常なレベルを保有する４画素の映像信号（画素信号）を足し合わせることにより、出力されるＲ信号は、正常な信号レベルを持つ画素信号として生成され、出力される。
【００８６】
次に、図６に示すように、Ｒ１信号、Ｒ２信号、Ｒ３信号、Ｒ４信号において、Ｒ１画素が欠陥画素である場合を考える。つまりＲ１欠陥信号、Ｒ２信号、Ｒ３信号、Ｒ４信号の足し合わせが行われることとなるため、出力されるＲ信号はＲ１欠陥信号のレベルを含む、欠陥画素信号として生成され、出力されることとなる。
【００８７】
従来の方式では、複数の画素から画素信号を加算して読み出す撮像方式で読み出された後の隣接画素との置き換えを行っていたが、本発明では、隣接画素を用いることなく、この出力された画素信号自体に補正を施すことによって、欠陥の除去を行う。
【００８８】
欠陥画素補正実施手段１２０５において実施される欠陥画素の補正処理を、図７に基づいて説明する。
【００８９】
画素加算部１１０５から出力される出力信号Ｓｉｇは、固体撮像素子１１０１から読み出され、画素加算部１１０５によりＮ画素の加算処理が行われて読み出された映像信号である。この出力信号ＳｉｇはＭ画素の欠陥を含んでいる。出力信号ＳｉｇのレベルをＳｉｇ、欠陥レベルをＫｉｚｕで表す場合、Ｓｉｇ−Ｋｉｚｕにより、出力信号レベルに含まれる欠陥レベル、つまりはＭ画素の信号合計レベル、を取り除き、優良画素(Ｎ−Ｍ)個の信号レベルのみとすることができる。
【００９０】
次に、優良画素（Ｎ−Ｍ）個の信号の平均レベル、Ｓｉｇ−Ｋｉｚｕ÷（Ｎ−Ｍ）を、画素加算前の１画素の信号レベルとする。つまり、この値を欠陥画素が本来持っているべき正しい信号レベルとして、補正を行うのである。Ｓｉｇ−Ｋｉｚｕ÷（Ｎ−Ｍ）の信号レベルを持つ画素をＮ画素加算した場合の信号レベルＳｉｇ−Ｋｉｚｕ÷（Ｎ−Ｍ）×Ｎを求めることにより、欠陥画素が持つ欠陥信号を含まず、画素配列上隣接する画素の信号を用いて補正を行うことが可能となる。
【００９１】
上述の図６に基づいて具体的に説明すると、出力信号Ｒは、４画素（Ｎ＝４）の加算処理が行なわれて出力された信号であり、この出力信号Ｒには、Ｒ１欠陥の１画素（Ｍ＝１）の欠陥を含んでいる。
【００９２】
そこで、出力信号Ｒの信号レベル（Ｓｉｇ）からＲ１欠陥の信号レベル（Ｋｉｚｕ）を取り除き（Ｓｉｇ−Ｋｉｚｕ）、優良画素であるＲ２、Ｒ３、Ｒ４の３画素の信号レベルのみとする。次に、優良画素である３画素の信号の平均レベル（Ｓｉｇ−Ｋｉｚｕ）／３を算出し、これを４画素加算し｛（Ｓｉｇ−Ｋｉｚｕ）／３｝×４、補正後の信号とするものである。
【００９３】
このように画素加算部１１０５から出力される出力信号Ｓｉｇのみで欠陥画素の補正を行なうことができるので、出力位置的には隣接していても固体撮像素子の画素位置においては距離がある非隣接画素の画素信号を加算した後の出力信号と置き換える従来例に比べて、視覚的に違和感を覚える可能性が低い適切な補正となる。しかも、固体撮像素子の構成を変更するといった必要もない。
【００９４】
なお、欠陥信号レベルの合計Ｋｉｚｕは、前記欠陥信号レベル判断手段１２０４により算出された値、Ｍは前記欠陥画素含有数判断手段１２０３により算出された値、Ｎは前記加算画素数判断手段１２０１により算出された値を用いて処理を行う。また、出力信号レベルＳｉｇが欠陥を含む画素であることは、前記欠陥画素位置判断手段１２０２により算出する。
【００９５】
次に、欠陥画素の記憶について、図８に基づいて、説明する。
【００９６】
上述のように、記憶部１１０２は、欠陥画素位置情報を記憶する機能を有する。欠陥画素は固体撮像素子１１０１上の任意の位置に発生する正常な信号を読み出すための機能を達成できない画素である。
【００９７】
画素は、水平・垂直の２次元的に配列されており、それぞれの画素は独立して読み出すことが可能である。注目画素が欠陥画素であるか否かは、固体撮像装置のシャッターを遮光状態としたときに、所定の出力レベルを超える画素（白点欠陥画素）であるか、並びに、固体撮像装置への入射光量を所定のレベルとしたとき、所定の出力レベルに達しない画素（黒点欠陥画素）であるか、により特定する。この際の所定の出力レベルについては、任意に定めることが可能である。
【００９８】
欠陥画素と判断された画素は、その画素位置を不揮発性メモリなどからなる記憶部１１０２に記憶される。例えば記憶部１１０２おいて注目画素８０１が欠陥画素であるとされた場合、画素８０１の位置情報である（垂直、水平）＝（０，１）という情報が、記憶部１１０２で記憶される。この情報は、不揮発性メモリに記憶され、長期的に使用できる状態で管理される。例えば画素８０１以外の４画素（１，２）、（２，１）、（３，２）、（５，５）も同様に欠陥であるとされた場合、画素８０１を含む５箇所の欠陥画素位置情報が記憶部１１０２に記憶され、不揮発性メモリにて管理される。
【００９９】
記憶部１１０２において記憶される欠陥画素位置情報は、欠陥画素補正部１１０３において参照可能な情報であり、加算画素数判断手段１２０１、欠陥画素位置判断手段１２０２、欠陥画素含有数判断手段１２０３、欠陥信号レベル判断手段１２０４において欠陥画素位置情報を参照して、必要な演算処理を行う。
【０１００】
また、記憶部１１０２では、欠陥画素に関する情報として、注目画素の位置情報のみでなく、注目画素の欠陥画素の信号レベル(以下、「欠陥画素信号レベル」ともいう)や撮像条件などの情報も付随して記憶することが可能である。また、これらの欠陥画素に関する情報は、欠陥画素補正部１１０３において自由に参照することができ、演算処理に用いることが可能である。
【０１０１】
記憶部１１０２において、欠陥画素位置情報に欠陥画素信号レベルを付随して記憶する場合の、記憶処理イメージを図９に示す。
【０１０２】
例えば記憶部１１０２おいて注目画素９０１が信号レベルａを有している。欠陥画素か否かの判断は、注目画素の信号レベルが、所定の信号レベルＡを超える画素であるか、所定の出力レベルＢに達しない画素であるかの判断により実施している。つまり、注目画素９０１の信号レベルａが所定の信号レベルＡを超える、もしくは所定の信号レベルＢに達しない場合に欠陥画素であると判断し、欠陥画素位置情報を記憶する。この際、所定の信号レベルＡおよび所定の信号レベルＢと比較した、注目画素９０１の信号レベルａは欠陥画素の判断処理において、把握できている情報である。つまりこの情報も記憶部１１０２に記憶することが可能である。
【０１０３】
注目画素９０１が、所定の信号レベルＡを超える画素であると判断した際、注目画素９０１の画素位置情報（垂直、水平）＝（０，１）という情報と、注目画素９０１の信号レベルがａであることを、記憶部１０２に記憶する。これにより、欠陥画素位置情報と、それに付随する欠陥画素信号レベルを記憶することが可能となる。記憶された欠陥画素位置情報、および欠陥画素信号レベルは不揮発性メモリにおいて管理される。図９では、画素９０１以外の４画素（１，２）、（２，１）、（３，２）、（５，５）も同様に信号レベルｂ，ｃ，ｄ，ｅが記憶されている。
【０１０４】
記憶部１１０２において記憶される欠陥画素位置情報は、欠陥画素補正部１１０３において参照可能な情報であり、加算画素数判断手段１２０１、欠陥画素位置判断手段１２０２、欠陥画素含有数判断手段１２０３、欠陥信号レベル判断手段１２０４において欠陥画素位置情報を参照して、必要な演算処理を行うことが可能である。なお、所定の信号レベルＡおよび所定の信号レベルＢは任意に設定可能であるものとする。
【０１０５】
また、注目画素９０１の信号レベルによる判別を行えば、注目画素の映像信号レベルがαの信号レベルを保有する画素のみ、欠陥画素位置情報を記憶部１１０２で記憶することも可能である。この際αの値は任意に設定可能であり、欠陥画素補正部１１０３の各手段において、参照可能な情報である。
【０１０６】
（実施の形態２）
図１０は、本発明の他の実施形態の図２に対応するブロック図である。
【０１０７】
この実施形態の固体撮像装置は、上述の実施の形態の図１と同様に、レンズ１１００と、固体撮像素子１１０１と、画素加算部１１０５と、記憶部２１０２と、欠陥画素補正部２１０３と、画像処理部１１０４とを備えており、基本的な構成は同様である。
【０１０８】
この実施形態では、記憶部２１０２は、固体撮像素子１１０１において、固定の信号レベルを出力する特性を持った欠陥画素であることを識別する機能を有する欠陥識別手段２００１と、前記欠陥識別手段の情報に基づき、欠陥識別情報を記憶する欠陥画素種別管理手段２００３と、欠陥画素を特定するための情報を記憶する欠陥画素情報記憶手段２３０１とを備えている。
【０１０９】
欠陥画素は、様々な要因で生じるものであり、すべての欠陥が同様の特性を持つわけではない。そのためどのような種類の欠陥であるのかを特定し、その欠陥に応じた補正を行うことが求められる。欠陥識別手段２００１は、注目画素が欠陥画素である場合、その画素はどのような特性を持つ画素および欠陥であるのかを特定する。例えば、どのような条件下であっても、固体撮像素子の最大出力レベルの信号レベルを出力する種類の欠陥画素である、ということを特定する。
【０１１０】
欠陥画素種別管理手段２００３は、欠陥識別手段２００１により特定された欠陥画素の特性に応じて、記憶する欠陥画素情報を管理する機能、およびその欠陥画素を画素加算読み出し時に補正の対象とするか否かを管理する機能を有する。例えば、特定の信号レベルＦを常に表示する欠陥画素のみで構成される欠陥画素位置情報郡を作成する、それとは区別可能な形式で特定の信号レベルＥを常に表示する欠陥画素のみで構成される欠陥画素位置情報郡を作成するなどという、ここに区別できる形での管理、および記憶する欠陥画素位置情報に欠陥特性情報を付加して記憶する、などの形式が考えられる。
【０１１１】
欠陥画素種別管理手段１００３により管理される情報は、長期的に使用することが必要となるため、不揮発性メモリなどに記憶し、繰り返し使用することが可能である。
【０１１２】
欠陥画素補正部２１０３は、固体撮像素子１１０１より読み出された画素における加算画素数を算出する加算画素数判断手段２２０１と、欠陥画素が加算処理後の読み出し画素位置を算出する欠陥画素位置判断手段２２０２と、加算処理後の読み出し画素に含まれる欠陥画素数を算出する欠陥画素含有数判断手段２２０３と、欠陥画素数と欠陥信号レベルとを用いて欠陥信号レベルを算出する欠陥信号レベル判断手段２２０４と、欠陥画素の種別を特定する欠陥種別判断手段２００２と、欠陥画素の補正を行なう欠陥画素補正実施手段２２０５とを備えている。
【０１１３】
欠陥画素補正部２１０３は、欠陥画素に対する適正な補正を行うことを目的としている。つまり記憶部２１０２において欠陥画素種別管理手段２００３により、管理されている各注目画素の欠陥の種類を読み取り、その欠陥の種類に応じた補正処理を実施することが求められる。
【０１１４】
欠陥種別判断手段２００２は、欠陥画素種別管理手段２００３により管理されている情報を読み取り、補正を実施しようとしている注目画素の欠陥画素の種類を特定し、注目画素の欠陥を補正する最適な補正手法を欠陥信号レベル判断手段２２０４および欠陥画素補正実施手段２２０５に通知する。欠陥信号レベル判断手段２２０４および欠陥画素補正実施手段２２０５は、欠陥種別判断手段２００２により得られる手段に基づき、欠陥信号レベルの算出および欠陥画素の補正処理を実施する。
【０１１５】
例えば、常に一定の方式により生み出される欠陥画素を保有し、一意に定められたレベル、たとえば出力レンジの最大値の信号レベルを常に出力する特性を持った欠陥画素を有する特性を持つ欠陥画素が存在し、これらの画素に対して適切な補正を実施することを目的として、記憶部２１０２および欠陥画素補正部２１０３を動作させる場合を考える。
【０１１６】
この時、注目画素が常に一定の定められた信号レベルＫを出力する特性を持つ欠陥であることを識別する機能を持つ欠陥識別手段２００１を用いて、記憶部２１０２により、これらの欠陥画素の座標位置情報を不揮発性メモリなどの記憶領域に記憶する。また、不揮発性メモリなどの記憶領域より情報を取得した情報より、常に一定の方式により生み出される欠陥画素に対する補正処理を行うことを特定する欠陥種別判断手段２００２を用いて欠陥画素補正部２１０３における補正手段を決定する。
【０１１７】
このとき、記憶部２１０２では常に一定の定められた信号レベルＫを出力する特性を持つ欠陥のみを記憶してもよいし、常に一定の定められた信号レベルＫを出力する特性を持つ欠陥であることを判別できる情報を付与する、もしくは記憶領域を分割するなどして、そのほかの欠陥と識別できる形で記憶してもよい。
【０１１８】
欠陥種別判断手段２００２において、注目画素の欠陥の種類が常に一定の定められた信号レベルＫを出力する特性を持つ欠陥であることを判別すると、欠陥信号レベル判断手段２２０４は注目画素に含まれる１つの欠陥レベルをＫとして処理する。ここで、欠陥画素含有数判断手段２２０３は、含まれる欠陥が常に一定の定められた信号レベルＫを出力する特性を持つ欠陥であるか否かを判断し、欠陥画素数Ｍを算出することが可能である。なお、常に一定の定められた信号レベルＫを出力する特性を持つ欠陥のみを補正する場合は、欠陥含有個数Ｍには、常に一定の定められた信号レベルＫを出力する特性を持つ欠陥のみで算出され、複数の欠陥に対応する場合は常に一定の定められた信号レベルＫを出力する特性を持つ欠陥がいくつあるのかを算出する。これにより、複数の種類の欠陥画素の情報が記憶領域に記憶されている場合であっても、常に一定の定められた信号レベルＫを出力する特性を持つ欠陥のみを対象として補正することが可能である。欠陥信号レベル判断手段２２０４では、常に一定の定められた信号レベルＫを出力する特性を持つ欠陥のみを補正対象とする場合は、レベルＫの欠陥がＭ個含まれていると考え、欠陥画素における欠陥レベルをＫ×Ｍとして算出する。
【０１１９】
また、例えば、複数の画素から画素信号を加算して読み出す撮像方式においては、加算前の映像信号を定められたクリップレベルＣによりクリップ処理を行った後に加算する特性を持つ加算方式を用いる固体撮像素子がある。
【０１２０】
他の実施形態として、かかる固体撮像素子を用いた場合について説明する。この場合、読み出される映像信号がクリップレベルＣを超えているときには、クリップ回路によりクリップ処理され、信号レベルＣとして映像信号が出力され、加算処理が行なわれるため、加算後の映像信号がＣ×Ｎを超えないことが保障される。また、クリップレベルＣ以上の信号は、クリップレベルＣとして処理され、正常な信号レベルではないため、クリップレベルＣ以上の信号レベルを持つ信号は欠陥画素として扱うことができる。
【０１２１】
欠陥識別手段２００１では、注目画素がクリップレベルＣに等しい、若しくは、上回る映像信号レベルを出力する画素であることを識別し、該当する画素の座標位置情報を記憶領域に記憶する。このとき、クリップレベルＣに等しい、若しくは上回る映像信号レベルを出力する画素を記憶してもよいし、その他の欠陥画素を含んで記憶してもよい。但し、複数の種類の欠陥画素を含んで記憶する場合、クリップレベルＣにより制限される画素であることが識別可能な情報を付加して記憶するか、記憶領域を分けるなどの処置により、欠陥の種類を特定することが可能な処理を行う。
【０１２２】
欠陥種別判断手段２００２では、注目画素がクリップレベルＣに等しい、もしくは上回る映像信号レベルを出力する画素を含んで加算処理が行われていることを記憶領域に記憶された情報を読み取り判別すると、欠陥信号レベル判断手段２２０４は注目画素に含まれる１つの欠陥レベルをＣとして処理する。ここで、欠陥画素含有数判断手段２２０３は、含まれる欠陥がクリップレベルＣのレベルを有するものであるかを判断し、読み出された画素に含まれるこの種の欠陥画素の数を算出することが可能である。クリップレベルＣのレベルを保有する欠陥のみを補正対象とする場合、欠陥画素Ｍであるといえる。
【０１２３】
クリップレベルＣによるクリップ処理により、固体撮像素子よりクリップレベルＣ以上の信号は、後段の処理部に流れることはない。そのため、クリップレベルＣによりクリップされ出力される信号は、信号レベルＣを保有する欠陥画素であるといえる。つまり、欠陥信号レベル判断手段２２０４において1画素の欠陥レベルをＣとして欠陥画素の信号レベルを算出することが可能であるといえる。これにより、欠陥画素信号レベルをクリップレベルＣとし、欠陥含有個数Ｍに基づき欠陥画素の信号レベルの算出が可能となる。
【０１２４】
（実施の形態３）
図１１は、本発明の更に他の実施形態の図２に対応するブロック図である。
【０１２５】
この実施形態の固体撮像装置は、上述の実施の形態の図１と同様に、レンズ１１００と、固体撮像素子１１０１と、画素加算部１１０５と、記憶部３１０２と、欠陥画素補正部３１０３と、画像処理部１１０４とを備えており、基本的な構成は同様である。
【０１２６】
この実施形態では、出力される信号レベルが変動する欠陥画素の補正を考える。つまり、撮像条件の変化に応じて欠陥画素の信号レベルが変化する場合の欠陥に対する補正を考える。
【０１２７】
固体撮像装置には、その映像信号を撮像した場合の撮像条件が存在する。例えば、光量、温度、光源などが考えられる。これらの撮像条件により、固体撮像素子における画素の信号蓄積のレベルは変化する。正常な画素においていえるこの特性は、欠陥画素に対しても同様に考えることができる。つまりは、撮像条件に応じて欠陥画素が持つ信号レベルが変化する種類の欠陥が存在するといえる。
【０１２８】
記憶部３１０２は、欠陥画素記憶時の撮像条件を調査する撮像条件調査手段３１０１と、撮像条件調査手段３１０１により得られた撮像条件を記憶する撮像条件管理手段３１０２と、画素信号特性を記憶する画素信号変化特性記憶手段３１０３と、欠陥画素を特定するための情報を記憶する欠陥画素情報記憶手段３３０１とを備えている。
【０１２９】
撮像条件調査手段３１０１は、欠陥画素情報の記憶時、および撮像時に動作するものであり、その際の撮像条件の調査を行い特定し、撮像条件管理手段３１０２への情報の伝達を行う。
【０１３０】
撮像条件管理手段３１０２は、欠陥画素の位置情報記憶時には撮像条件調査手段３１０１により得た撮像条件の記憶部への記憶を行い、通常撮像時には、記憶部に記憶された欠陥画素情報記憶時の撮像条件と、撮像時の撮像条件を比較し、現撮像時の欠陥画素の信号レベルの算出に必要な処理を求める。
【０１３１】
画素信号変化特性記憶手段３１０３は、固体撮像素子における画素の信号変化の特性を記憶する。画素の信号変化特性は、Ｘ次関数などにより表されるものとし、記憶された特性は欠陥画素補正部３１０３において、画素補正に利用するものとする。画素の信号変化特性は、外部より不揮発性メモリなどを用いて登録することが可能であり、画素信号変化特性記憶手段３１０３は登録された画素の信号変化特性を読み出し、活用することが可能であるものとする。
【０１３２】
欠陥画素補正部３１０３は、固体撮像素子より読み出された画素における加算画素数、欠陥画素が加算処理後の読み出し画素位置、加算処理後の読み出し画素に含まれる欠陥画素数を算出する欠陥画素含有数、欠陥信号レベルを用いて、欠陥画素の補正を実現する。
【０１３３】
ここで、欠陥信号レベルは、画素信号変化特性記憶手段３１０３により特定される信号変化の特性と、撮像条件管理手段３１０２により管理される通常撮像時の撮像条件および欠陥画素情報記憶時の撮像条件と、欠陥画素情報記憶手段３３０１において記憶された欠陥画素情報を用いて、欠陥信号レベルの特定を行うものとする。この欠陥信号レベルの特定機能は、前記欠陥信号レベル判断手段３２０４の機能として実現してもかまわない。
【０１３４】
図１２に映像信号の撮像条件による変化特性を示す。
【０１３５】
図１２のように映像信号の信号レベルが撮像条件により変化するとする。ここで、図１２の横軸の撮像条件は、例えば、露光量である。図１２で示される画素信号レベルの変化特性を現すＸ次関数で表される特性を画素信号変化特性記憶手段３１０３に記憶する。この変化特性を用いることにより、画像信号の撮像条件に伴う信号変化に追従した欠陥画素の変化を把握することが可能となる。つまり画素信号変化特性が分れば、現在の撮像条件と、画素位置情報記憶時の撮像条件、画素位置情報記憶時の欠陥画素の映像信号レベルにより、現在の撮像条件における欠陥画素の映像信号レベルを算出することが可能であるといえる。
【０１３６】
このように記憶部３１０２において、欠陥画素位置情報の他に、撮像条件および撮像時の画素の画素信号変化特性を記憶しておくことにより、欠陥画素の信号が保有する画素信号レベルを算出することが可能となる。これにより、欠陥画素補正部３１０３において適切な欠陥補正を行う。
【０１３７】
この欠陥画素補正部３１０３における補正について、更に説明する。
【０１３８】
欠陥画素補正部３１０３は、固体撮像素子より読み出された画素における加算画素数を算出する加算画素数判断手段３２０１、欠陥画素が加算処理後の読み出し画素位置を算出する欠陥画素位置判断手段３２０２、加算処理後の読み出し画素に含まれる欠陥画素数を算出する欠陥画素含有数判断手段３２０３、欠陥画素数と欠陥信号レベルを用いて欠陥信号レベルを算出する欠陥信号レベル判断手段３２０４、これら各手段により得られた情報を元に欠陥画素補正を実現する欠陥画素補正実施手段３２０５を備えている。
【０１３９】
ここで、欠陥信号レベル判断手段３２０４は、撮像条件管理手段３１０２より欠陥信号レベルを算出するための演算係数を取得し、注目画素における欠陥信号レベルを算出する。また、欠陥画素補正実施手段３２０５の処理は、上述の図４で示されるように、注目画素に対するオフセット処理およびゲイン処理で行ない、加算後読み出された隣接する画素は用いない。
【０１４０】
これらの手段により、撮像条件の変化に応じて欠陥画素の信号レベルが変化する種類の欠陥に対しても、欠陥画素が持つ信号レベルを求めることにより、画素加算処理後の読み出し後の周辺画素を用いることなく、注目している欠陥画素に含まれる有効信号のみを用いての補正を実現することができる。
【産業上の利用可能性】
【０１４１】
本発明に係る固体撮像装置は、画素加算を実施する固体撮像装置において画素加算後の隣接画素を利用せずに、画素加算対象の画素を用いて補正を行うことにより、より利用者に違和感を与えない画素欠陥の補正を行う。これは固体撮像素子上の隣接する同色隣接画素に欠陥が含まれる可能性が高い場合においても、良好な補正結果を得ることができる。また、その注目画素の値が欠陥画素として補正が必要な場合において、それが周辺画素の値と大きくかけ離れたものとなることがないことから、画像のエッジ部分が注目画素に重なっていたり、近接していたりする場合においても常に良好な補正結果を得ることができる。
【０１４２】
これにより、欠陥画素を一定量含んだ固体撮像素子の利用が可能となるため、高画素のデジタルスチルカメラ、デジタルビデオカメラ、ネットワークカメラ、車載カメラなどにおいて有用であるといえる。
【図面の簡単な説明】
【０１４３】
【図１】本発明に係る固体撮像装置の構成図である。
【図２】図１の記憶部および欠陥画素補正部のブロック図である。
【図３】画素加算のイメージ図である。
【図４】欠陥画素補正実施手段の補正処理を示す図である。
【図５】欠陥画素を含まない場合の画素加算を用いた読み出しイメージ図である。
【図６】欠陥画素を含む場合の画素加算を用いた読み出しイメージ図である。
【図７】欠陥画素の補正処理のイメージ図である。
【図８】記憶部への欠陥画素位置情報の記憶を説明するための図である。
【図９】記憶部への欠陥画素位置情報および欠陥画素信号レベルの記憶を説明するための図である。
【図１０】本発明の他の実施形態の図２に対応するブロック図である。
【図１１】本発明の更に他の実施形態の図２に対応するブロック図である。
【図１２】映像信号の撮像条件による変化特性を示す図である。
【符号の説明】
【０１４４】
１１０１                      固体撮像素子
１１０２,２１０２,３１０２    記憶部
１１０３，２１０３，３１０３  欠陥画素補正部
１１０４                      画像処理部
１１０５                      画素加算部
１１０６                      半導体集積回路
１２０１,２２０１,３２０１    加算画素数判断手段
１２０２，２２０２，３２０２  欠陥画素位置判断手段
１２０３，２２０３，３２０３  欠陥画素含有数判断手段
１２０４，２２０４，３２０４  欠陥信号レベル判断手段
１２０５，２２０５，３２０５  欠陥補正実施手段
２００１                      欠陥識別手段
２００２                      欠陥種別判別手段
２００３                      欠陥画素種別管理手段
３１０１                      撮像条件調査手段
３１０２                      撮像条件管理手段
３１０３                      画素信号変化特性記憶手段
【図１】
2010130289.tif 000003
【図２】
2010130289.tif 000004
【図３】
2010130289.tif 000005
【図４】
2010130289.tif 000006
【図５】
2010130289.tif 000007
【図６】
2010130289.tif 000008
【図７】
2010130289.tif 000009
【図８】
2010130289.tif 000010
【図９】
2010130289.tif 000011
【図１０】
2010130289.tif 000012
【図１１】
2010130289.tif 000013
【図１２】
2010130289.tif 000014