(57)【特許請求の範囲】
【請求項１】
異なる色の画素が繰り返し配列された撮像素子と、
前記撮像素子の補正対象となる画素が存在するライン上の前記補正対象となる画素と同色の画素と、前記ライン上の前記補正対象となる画素と異色の画素とから、前記同色と前記異色との差を示す色キャリアレベルを検出する検出手段と、
前記ライン上の前記異色の画素を用いて、前記補正対象となる画素の補間値を得る補間手段と、
前記色キャリアレベルと前記補間値を合成した値を用いて前記補正対象となる画素の値を補正する補正手段とを有することを特徴とする撮像装置。
【請求項２】
前記撮像素子の欠陥画素の位置を記憶するメモリを有し、
前記補正手段は、前記メモリに記憶された位置の画素に対して前記補正を行い、前記メモリに記憶された位置ではない画素に対して前記補正を行わないことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記メモリに記憶された位置に応じて補正パルスを出力する発生手段を有し、
前記補正手段は、前記補正パルスが供給されたときに前記補正を行うことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記検出手段は、前記補正対象となる画素と同色の複数の画素の信号の平均と、前記補正対象となる画素と異色の複数の画素の信号の平均との差により、前記色キャリアレベルを検出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
【請求項５】
前記補間手段は、前記補正対象となる画素の左右の画素の平均により前記補間値を得ることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
【請求項６】
異なる色の画素が繰り返し配列された撮像素子の補正対象となる画素が存在するライン上の前記補正対象となる画素と同色の画素と、前記ライン上の前記補正対象となる画素と異色の画素とから、前記同色と前記異色との差を示す色キャリアレベルを検出する検出ステップと、
前記ライン上にある前記異色の画素を用いて、前記補正対象となる画素の補間値を得る補間ステップと、
前記色キャリアレベルと前記補間値を合成した値を用いて前記補正対象となる画素の値を補正する補正ステップとを有することを特徴とする撮像方法。
【請求項７】
請求項６に記載の撮像方法の各ステップをコンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像装置及び撮像方法に関し、特にカラー撮像素子の画素欠陥を補正する方式の撮像装置に適用して好適である。
【０００２】
【従来の技術】
近年、半導体技術の進歩により、ＣＣＤ等の固体撮像素子の画素数、感度、スミア抑圧比、ダイナミックレンジなどの性能は年々改善されている。しかしながら、固体撮像素子の製造過程や、製造後に発生する画素欠陥の発生を完全に抑止する技術は確立されておらず、製造歩留まりに大きく影響している。
【０００３】
この画素欠陥は、固体撮像素子の製造過程で発生するものとしては、チリによる露光のムラやチリの混入により画素への入射光が遮られて発生するものの他、半導体基板の結晶欠陥や、基板内に存在する重金属イオン等の影響によるものが報告されている。また、製造後に発生する画素欠陥としては、周囲の材料や、環境等から発生されるアルファー線が原因とされている。
【０００４】
これらの原因により発生する画素欠陥には、正常な画素より出力の大きい白欠陥と、正常な画素より出力の小さい黒欠陥とがあり、画面上で白又は黒い点状に映る。このような画素欠陥を補正する方法は、従来より多く提案されている。この従来の第１の例としては、特許第２６０３６４０号公報がある。これは、撮像素子出力信号をサンプルホールドする際、欠陥画素に対応するサンプリングパルスを除去することにより補正を行う方式である。この動作により、欠陥画素の前の画素の信号が、欠陥画素の信号に置き換えて出力される。
また、従来の第２の例としては、特開平０５−０８３６３８号公報がある。これは、欠陥画素の前後の信号の平均値を欠陥画素の信号に置き換えて出力する動作を行う技術である。
【０００５】
【発明が解決しようとする課題】
しかしながら、上記従来例の補正では、回路構成は簡単になるものの、欠陥画素付近に細かい絵柄が存する時に、置き換えによる誤差が生じてしまうという欠点があった。
【０００６】
従来の第１の例では前の画素のみを用いて補正を行っているため、例えば左側が白、右側が黒い画面で、欠陥画素がちょうど右側の黒い画面に入った状態で撮影すると、左側の白い色が黒い部分に食い込んだように見えてしまう。特に、カラーモザイクフィルタを用いたカラー撮像素子の場合、同色の画素から補正するため、２画素前の画素の信号を用いて補正をするので、食い込む度合いが大きくなってしまう。
【０００７】
また、従来の第２の例では、左右の画素を用いて補正しているため、横に食い込んだように見える現象は生じないが、縦に細い線を撮影した際に、その細い線が欠陥画素部分で補正により切れて見える現象が生ずる。特にカラーモザイクフィルタを用いたカラー撮像素子の場合、２画素離れた画素の信号により補正を行うため、この現象が大きく現れてしまう欠点があった。
【０００８】
そこで、本発明の目的は、これら従来例の欠点を除き、画質劣化の極めて少ない欠陥画素の補正が可能な撮像装置及び撮像方法を提供することにある。
【０００９】
【課題を解決するための手段】
本発明の撮像装置は、異なる色の画素が繰り返し配列された撮像素子と、前記撮像素子の補正対象となる画素が存在するライン上の前記補正対象となる画素と同色の画素と、前記ライン上の前記補正対象となる画素と異色の画素とから、前記同色と前記異色との差を示す色キャリアレベルを検出する検出手段と、前記ライン上の前記異色の画素を用いて、前記補正対象となる画素の補間値を得る補間手段と、前記色キャリアレベルと前記補間値を合成した値を用いて前記補正対象となる画素の値を補正する補正手段とを有する。
【００１０】
本発明の撮像方法は、異なる色の画素が繰り返し配列された撮像素子の補正対象となる画素が存在するライン上の前記補正対象となる画素と同色の画素と、前記ライン上の前記補正対象となる画素と異色の画素とから、前記同色と前記異色との差を示す色キャリアレベルを検出する検出ステップと、前記ライン上にある前記異色の画素を用いて、前記補正対象となる画素の補間値を得る補間ステップと、前記色キャリアレベルと前記補間値を合成した値を用いて前記補正対象となる画素の値を補正する補正ステップとを有する。
【００１１】
本発明の記憶媒体は、上記した本発明の撮像方法の各ステップをコンピュータに実行させるためのプログラムを格納したことを特徴とするコンピュータ読み取り可能なものである。
【００１９】
【発明の実施の形態】
以下、本発明を適用した具体的な実施形態について図面を参照しながら詳細に説明する。
【００２０】
図１は本発明の実施形態のカラー撮像装置の主要構成を示すブロック図である。この図１において、１はカラーモザイクフィルタを撮像面に配置したカラー撮像素子であるＣＣＤであり、２はＣＣＤ１を駆動するＣＣＤ駆動パルス及び同期パルスＰｓを発生するタイミング発生部、３はＣＣＤ１の出力信号をディジタル信号に変換するＡＤコンバータ、４はＡＤコンバータ３の出力信号から、欠陥画素の周囲におけるＣＣＤ１のカラーモザイクフィルタの繰り返し周期により決まる周波数の色キャリアを検出するキャリア検出部、５はＣＣＤ１の欠陥画素をその画素の周囲の画素の信号を用いて補間する補間部、６はキャリア検出４で検出されたキャリアと補間部５で補間された信号とを合成する合成部、７はスイッチ回路、８はＣＣＤ１の欠陥画素の位置情報が予め書き込まれた欠陥位置メモリ、９はタイミング発生部２の出力する同期パルスＰｓと欠陥位置メモリ８の出力とを基にＣＣＤ１の欠陥画素に対応するタイミングで補正パルスＰｃを発生する補正パルス発生部、１０はクランプ回路、色分離回路、ガンマ補正回路、輪郭補正回路、ホワイトクリップ回路及びダーククリップ回路を含み、ＣＣＤ１の出力信号からカラービデオ信号を形成するプロセス回路、１１はビデオ信号の出力端子である。
補間部５、合成部６及びスイッチ回路７を含み補正手段が構成される。
【００２１】
以下、図１の動作を信号の流れに沿って説明する。先ず、不図示の被写体像は不図示の撮像光学系により、ＣＣＤ１上のカラーモザイクフィルタを通って、ＣＣＤ１の受光面に結像し、光電変換されて信号電荷になる。この信号電荷は、タイミング発生部２により発生されたＣＣＤ駆動パルスに応じて、順次転送され、ＣＣＤ１の出力部分にある電荷電圧変換部において撮像信号に変換されて出力される。この撮像信号は、ＡＤコンバータ３によりディジタル撮像信号に変換される。このディジタル撮像信号は、先ずスイッチ回路７に入力される。スイッチ回路７は補正パルス発生部９の出力である補正パルスＰｃにより制御されているが、欠陥画素に対応する信号でない時はこのＡＤコンバータ３の出力であるディジタル撮像信号が選択され、プロセス回路１０に入力される。
【００２２】
プロセス回路１０では前述の各処理部によりカラービデオ信号を形成し、出力端子１１から不図示の外部機器であるテレビモニターやＶＴＲに出力される。
【００２３】
ＡＤコンバータ３の出力のディジタル撮像信号はまた、キャリア検出部４、補間部５に入力される。キャリア検出部４では、前述のように欠陥画素の周囲における、ＣＣＤ１のカラーモザイクフィルタの繰返し周期で決まる周波数の色キャリアのレベルを検出する。また、補間部５では、欠陥画素の周囲の画素の信号から、欠陥画素のレベルを補間する補間値を得る。キャリア検出部４から得られた色キャリアレベルと補間部５から得られた補間値は合成部６において合成され、欠陥画素の信号と置き換えられて合成された信号が得られる。この合成された信号はスイッチ回路７に入力され、前述のように補正パルスＰｃによって、欠陥画素に対応する信号のみ合成信号が選択され欠陥画素のディジタル撮像信号と置き換えられて、補正されたディジタル撮像信号になり、前述のようにプロセス回路１０に入力される。
【００２４】
補正パルス発生部９は、タイミング発生部２から発生される同期パルスＰｓと、欠陥位置メモリ８に予め書き込まれているＣＣＤ１の欠陥画素の位置のデータから、ＣＣＤ１から欠陥画素のデータが読み出されるタイミングで補正パルスＰｃを発生する。この欠陥画素の位置のデータは、例えばＣＣＤ１を単体で検査することにより欠陥画素の位置を検出し、予め欠陥位置メモリ８に書き込んでから、装置に組み込むなどの方法で記憶しておく。この時、欠陥画素の数は、ＣＣＤ１の状態に応じて、０個である場合もあれば、１個又は複数個の場合もある。補正パルス発生部９は、１フィールド期間内にこの欠陥画素の数に応じた数の補正パルスＰｃを出力する。
【００２５】
この発生された補正パルスＰｃはスイッチ回路７の選択端子に供給され、前述のように、欠陥画素の位置に対応しない時はＡＤコンバータ３の出力が選択され、欠陥画素の位置に対応する時は合成部６の出力が選択されるように動作する。
【００２６】
図２は、本実施形態の撮像装置の動作説明図である。
図２（ａ）は、ＣＣＤ１のカラーモザイクフィルタの一例を示している。このカラーモザイクフィルタは、ＲＧＢの各原色のフィルタが、奇数ラインではＲＧＲＧの繰り返しで配置され、偶数ラインではＧＢＧＢの繰り返しで配置されてなるベイヤー配列といわれる形式のものである。この場合、各色フィルタの水平方向の繰返し周期は２画素なので、水平方向の色キャリア周波数は水平転送周波数の１／２になる。
【００２７】
図２（ｂ）において、実線はＡＤコンバータ３の出力のディジタル撮像信号を示しており、図２（ａ）のカラーモザイクフィルタの配置において、ある奇数番目のラインを表している。被写体画像としては、図２（ｂ）中で上に凸の輝度変化のある画像を表したものを例示する。
【００２８】
この奇数番目のラインにおいてはＲＧＲＧの順番で信号が得られるが、被写体の色成分の比率によってＲとＧが所定比率となる。図２（ｂ）では、例えばＡ，Ｃ，Ｅ，Ｇ，ＩがＲの画素で、Ｂ，Ｄ，Ｆ，ＨがＧの画素とすると、Ｒ成分がＧ成分より少ない比率になっている。この時、ＲとＧの差が色キャリアであり、図中、色キャリアレベルとして示されている。この色キャリアレベルは、Ｒの複数の画素と、Ｇの複数の画素のそれぞれの平均の差等として得ることができる。
【００２９】
Ａ〜Ｉの各画素のうち、Ｅの画素に欠陥があり、正常な値よりも大きな値が出力されている例を示している。この時、先ずキャリア検出４では、前述の色キャリアレベルを検出して出力する。また、補間部５では、例えば欠陥画素の左右の２画素の平均から補間値を得ている。合成部６では、例えば色キャリアレベルと補間値を単純加算している。この加算して得られた合成値がスイッチ回路７により選択され補正されたディジタル撮像信号になり、前述のように、プロセス回路１０に入力されビデオ信号が形成される。
【００３０】
同図中で同色画素による補間値と比較すると、左右の画素からの補間値を反映しているため、元の画像の信号をより良く補間している。また、単純左右平均の補間値と比較すると、色キャリアレベルの値を合成しているため、補正によって色キャリアの値かが部分的に変化してしまうことがない。
【００３１】
図３は、図１のカラー撮像装置の要部を詳細に示すブロック図である。１０１〜１０９，１１８〜１２１はそれぞれ所定ビット幅のＤ型フリップフロップ（以下、ＤＦＦと略記する。）であり、１１０〜１１２，１１４，１１７，１２２はそれぞれ加算器、１１５，１２３はそれぞれ１／２の係数器、１１３は１／４の係数器、１１６は減算器である。
【００３２】
図３において、図１中のキャリア検出部４は１０４〜１１６で構成され、補間部５は１１８〜１２３、合成部６は１１７で構成されている。
【００３３】
先ず、キャリア検出部４に相当する動作について説明する。
入力されたディジタル撮像信号ＳDCCDは、ＤＦＦ１０４〜１０９で各々１画素分遅延する。これらのＤＦＦの出力は、同色の信号同士が加算されることになる。先ず、撮像信号ＳDCCDとＤＦＦ１０９の出力が加算器１１１で加算され、次にＤＦＦ１０５とＤＦＦ１０７の出力が加算器１１０で加算される。加算器１１０，１１１の出力は更に加算器１１２で加算され、係数器１１３で１／４の係数が乗ぜられ、奇数番目の画素の値の平均値となる。また、ＤＦＦ１０４の出力と、ＤＦＦ１０８の出力は加算器１１４で加算され、係数器１１４で１／２の係数が乗ぜられ、偶数番目の画素の値の平均値となる。このようにして得られた２つの平均値は、減算器１１６でその差が取られ、色キャリアレベルとされる。
【００３４】
続いて、補間部５に相当する動作について説明する。
ＤＦＦ１１９の出力と、このＤＦＦ１１９の出力を２画素分遅延したＤＦＦ１２１の出力は、加算器１２２で加算され、係数器１２３で１／２の係数が乗ぜられ、補間値である欠陥画素の隣接画素の平均値が得られる。
【００３５】
このようにして得られた色キャリアレベルと補間値は、合成部６である加算器１１７により加算され、その出力がスイッチ回路７により、補間パルスＰｃに応じて撮像信号ＳDCCDをＤＦＦ１０１〜１０３で遅延した信号と切り替えられる。このＤＦＦ１０１〜１０３は、ＤＦＦ１０４〜１０６又はＤＦＦ１１８〜１２０による信号の遅延と遅延時間を合わせるために挿入されるものである。
【００３６】
スイッチ回路７により切り替えられた信号は、前述のようにプロセス回路１０に入力される。この動作により、ディジタル撮像信号から、色キャリアレベルと補間値とを得て、それを合成した信号を補正パルスに応じて欠陥画素の信号と置き換える動作を行う。
【００３７】
このように、本実施形態のカラー撮像装置によれば、画質劣化の極めて少ない欠陥画素の補正を、補正パルス発生部９からの補正パルスＰｃによるスイッチ回路７の切り替えにより、容易且つ確実に行うことが可能となる。
【００３８】
ここで、本実施形態のカラー撮像装置のいくつかの変形例について説明する。なお、本実施形態の撮像装置と同様の構成要素等については同符号を記して説明を省略する。
【００３９】
（変形例１）
この変形例１のカラー撮像装置は、その要部が図４に示すように構成されている。この図４において、２０１〜２０６はそれぞれＤＦＦであり、２０７〜２０９，２１４はそれぞれ加算器、２１０，２１２はそれぞれ１／４の係数器、２１１は１／２の係数器、２１３は減算器である。この例では、図３において共通化可能な部分を共通化している。例えば、図３のＤＦＦ１０１，１０４，１１８がＤＦＦ２０１に、ＤＦＦ１０２，１０５，１１９がＤＦＦ２０２に、ＤＦＦ１０３，１０６，１２０がＤＦＦ２０３に共通化されている。また、加算器は通常の置換法則で組合わせを変えてあるが、演算結果は同一になっている。従って、図４の動作機能としては図３と全く同一であるため、詳細な説明は省略する。
【００４０】
（変形例２）
この変形例２のカラー撮像装置は、その要部が図５に示すように構成されている。この図４において、３０１〜３０６はそれぞれ１水平期間のディレーライン（１ＨＤＬ）、３０７は２次元バンドパスフィルタ（ＢＰＦ）、３０８，３１４は所定の遅延時間を有するディレーライン、３０９，３１０はＤＦＦ、３１１，３１３は加算器、３１２は１／２の係数器である。
【００４１】
図５の構成において、図１中のキャリア検出部４は、３０１〜３０７で構成され、補間部５は３０８〜３１２で、合成部は３１３でそれぞれ構成されている。
【００４２】
１ＨＤＬ３０１〜３０６は、垂直方向に信号を遅延させ、それらの出力を用いて２次元ＢＰＦ３０７で色キャリアのレベルを検出する。この２次元バンドパスフィルタ３０７の特性は、ディレーライン３１４の出力である現在の画素に対応するＣＣＤ１の色フィルタから得られる信号と、補間部５の出力に対応する補間画素に対応する色フィルタから得られる信号との出力差を検出する特性に設定されている。
【００４３】
３０８〜３１２で構成される補間部５は、図３の補間部とほぼ同様であるが、２次元ＢＰＦ３０７での遅延時間と合わせるため、ディレーライン３０８が挿入されている。
【００４４】
この補間部５の出力は、図３と同様、色キャリア検出４の出力と、加算器３１３で合成される。その出力はＰＣに応じてディレーライン３１４の出力と切り替えられることにより、欠陥画素が置き換えられる。
【００４５】
なお、本実施形態及びその変形例において説明した撮像装置の機能を実現するように、各種のデバイスを動作させるためのプログラムコード自体及びそのプログラムコードをコンピュータに供給するための手段や、前記撮像装置を用いた撮像方法を実現するためのプログラムコード自体及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は本発明の範疇に属する。
【００４６】
またこの場合、所定の記憶再生装置により、記憶媒体に格納されているプログラムコードが読み出され、ＥＥＰＲＯＭが動作する。かかるプログラムコードを記憶する記憶媒体としては、例えばフロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。
【００４７】
また、コンピュータが供給されたプログラムコードを実行することにより、各実施形態の機能が実現されるだけでなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）或いは他のアプリケーションソフト等と共同して各実施形態の機能が実現される場合にもかかるプログラムコードは本発明に含まれる。
【００４８】
更に、供給されたプログラムコードがコンピュータの機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいてその機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって本実施形態の機能が実現されるシステムも本発明に含まれる。
【００４９】
【発明の効果】
本発明によれば、画質劣化の極めて少ない欠陥画素の補正を、補正パルス発生手段からの補正パルスによるスイッチ回路７の切り替えにより、容易且つ確実に行うことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態のカラー撮像装置の主要構成を示すブロック図である。
【図２】本発明の実施形態のカラー撮像装置の動作を説明するための模式図である。
【図３】図１のカラー撮像装置の要部を詳細に示すブロック図である。
【図４】本発明の実施形態の変形例１において、カラー撮像装置の要部を詳細に示すブロック図である。
【図５】本発明の実施形態の変形例２において、カラー撮像装置の要部を詳細に示すブロック図である。
【符号の説明】
１  ＣＣＤ
２  タイミング発生部
３  ＡＤコンバータ
４  キャリア検出部
５  補間部
６  合成部
７  スイッチ回路
８  欠陥位置メモリ
９  補正パルス発生部
１０  プロセス回路
１１  出力端子
１０１〜１０９，１１８〜１２１，２０１〜２０６，３０９，３１０  Ｄ型フリップフロップ（ＤＦＦ）
１１０〜１１２，１１４，１１７，１２２，２０７〜２０９，２１４，３１１，３１３  加算器
１１５，１２３，２１１，３１２  １／２の係数器
１１３，２１０，２１２  １／４の係数器
１１６，２１３  減算器
３０１〜３０６  １水平期間のディレーライン（１ＨＤＬ）
３０７  ２次元バンドパスフィルタ（ＢＰＦ）
３０８，３１４  ディレーライン
【図１】
0004077956.tif 000002
【図２】
0004077956.tif 000003
【図３】
0004077956.tif 000004
【図４】
0004077956.tif 000005
【図５】
0004077956.tif 000006