(57)【要約】【課題】  オプティカルブラック領域、または受光画素領域中に欠陥画素が存在したとしても、正しい再生画像データを得ることのできる信号処理装置を提供する。【解決手段】  先ず、撮像動作が開始されて黒データＢ（ｎ）が生成され、生成された黒データＢ（ｎ）のなかから欠陥黒画素候補が検出される。そして、複数画面の撮像が行われ、撮像の都度、欠陥黒画素候補が検出される。複数画面に亘る欠陥黒画素候補の検出が完了すると、複数画面分の欠陥黒画素候補から真の欠陥黒画素が判定される。この後、真の欠陥黒画素と判定された黒画素の位置情報が生成され、位置メモリ７８に記憶される。そして、これ以降の撮像動作では、位置メモリ７８に記憶される位置情報に従ってクランプパルスＣＬＰが生成される。【選択図】          図１
2005101829.tif 000002
【特許請求の範囲】
【請求項１】
受光画素領域の少なくとも一部にオプティカルブラック領域が設けられた撮像素子から出力され、水平走査期間、または垂直走査期間の一部に前記オプティカルブラック領域に対応した黒基準が含まれる画像信号に対し、所定の処理を施す信号処理装置において、
画像信号に同期してクランプパルスを発生するクランプパルス発生回路と、
前記クランプパルスに応答して前記黒基準をクランプするクランプ回路と、
前記黒基準を取り出す前記オプティカルブラック領域に含まれる欠陥画素を検出する欠陥検出回路と、を備え、
前記クランプパルス発生回路は、前記欠陥検出回路で前記オプティカルブラック領域中の欠陥画素の位置とクランプパルスの立ち上げ状態の位置が重なるとき、クランプパルスの立ち上げをキャンセルすることを特徴とする信号処理装置。
【請求項２】
請求項１に記載の信号処理装置において、
前記欠陥検出回路で生成される位置情報を記憶するメモリを更に備えることを特徴とする信号処理装置。
【請求項３】
請求項１又は請求項２に記載の信号処理装置において、
前記欠陥検出回路の検出結果に応じて、前記欠陥画素を含むラインの黒基準を他のラインの黒基準に基づいて補間する補間回路を更に備えたことを特徴とする信号処理装置。
【請求項４】
請求項１に記載の信号処理装置において、
前記欠陥検出回路は、前記受光画素領域の受光画素から得られる画像信号から欠陥信号を検出し、
当該信号処理装置は、前記欠陥検出回路で検出された前記欠陥信号を補正する欠陥補正回路を更に備えたことを特徴とする信号処理装置。
【請求項５】
請求項４に記載の信号処理装置において、
前記欠陥検出回路は、前記オプティカルブラック領域中の欠陥画素の検出、又は、前記受光画素から得られる画像信号に含まれる欠陥信号の検出の何れかを指示する選択信号に応じて動作し、前記選択信号に従って検出動作が切り替えられることを特徴とする信号処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像素子の受光画素領域及びオプティカルブラック領域に含まれる欠陥画素を検出して補正する信号処理装置に関する。
【背景技術】
【０００２】
図８は、従来の撮像装置の構成を示すブロック図である。図８に示す撮像装置は、アナログ処理回路４、クランプパルス発生回路６８、Ａ／Ｄ変換回路１６及びデジタル処理回路１７を備える。
【０００３】
ＣＣＤ固体撮像素子は、図９に示すように、複数の受光画素が行列配置されて受光画素領域２ｉが構成され、入射光に応じて発生する情報電荷を各受光画素に蓄積する。この受光画素領域２ｉの周辺には、アルミニウム等で遮光されたオプティカルブラック領域２ｂが設定され、このオプティカルブラック領域２ｂにも受光画素領域と同様に蓄積画素（以下、黒画素と称する）が配置される。このようなＣＣＤ固体撮像素子においては、黒画素に蓄積される情報電荷が受光画素に蓄積される情報電荷と共に転送される。このため、図１０に示すように、ＣＣＤ固体撮像素子からの出力信号Ｙ（ｔ）には、水平走査期間、または垂直走査期間の一部に黒画素からの黒基準Ｂ（ｔ）が含まれる。
【０００４】
アナログ処理回路４は、クランプ回路６、ＣＤＳ回路１２及びＡＧＣ回路１４を備えて構成され、ＣＣＤ出力信号Ｙ（ｔ）に対してアナログ信号処理を施す。クランプ回路６は、クランプパルス発生回路６８から出力されるクランプパルスＣＬＰに応答してＣＣＤ出力信号Ｙ（ｔ）に含まれる黒基準Ｂ（ｔ）をクランプし、ＣＣＤ出力信号Ｙ（ｔ）の全黒レベルを電位固定する。このクランプ回路６では、入力される黒基準Ｂ（ｔ）をクランプパルスＣＬＰが立ち上げられる期間でアナログ的に平均化しながらクランプする。ＣＤＳ回路１２は、クランプ回路６から出力された信号に対してフィードスルーレベル及び信号レベルをサンプリングし、信号レベルからフィードスルーレベルを減算した信号を出力する。ＡＧＣ回路１４は、ＣＤＳ回路１２から出力された信号を、１画面、或いは、１垂直走査期間単位で積分し、その積分値が所定の範囲内に収まるようにゲインを調整した画像信号Ｙ（ｔ１）を生成する。
【０００５】
クランプパルス発生回路６８は、水平同期信号ＨＤ及び基準クロックＣＫに基づいてクランプパルスＣＬＰを生成してクランプ回路６へ出力する。クランプパルス発生回路６８では、クランプパルスＣＬＰを水平走査期間１Ｈの始まりの所定期間に立ち上げることにより、１ライン分のＣＣＤ出力信号Ｙ（ｔ）の先頭に表れる黒基準Ｂ（ｔ）をクランプするようにクランプ期間を設定する。
【０００６】
Ａ／Ｄ変換回路１６は、アナログ処理回路４から出力される画像信号Ｙ（ｔ１）を１画素単位で量子化して第１画像データＹ（ｎ１）を生成すると共に、クランプ回路６でクランプされた黒基準Ｂ（ｔ）を量子化して黒データＢ（ｎ）を生成する。そして、第１画像データＹ（ｎ１）から黒データＢ（ｎ）を差し引いて第２画像データＹ（ｎ２）を生成する。この第２画像データＹ（ｎ２）の値が、実際に再生表示される画像データの値となる。
デジタル処理回路１７は、Ａ／Ｄ変換回路１６から出力される第２画像データＹ（ｎ２）に対し、色分離、マトリクス演算等のデジタル信号処理を施し、輝度信号及び色差信号を含む第３画像データＹ（ｎ３）を生成する。また、ＣＣＤ固体撮像素子の露光状態を制御する露光制御や、ＣＣＤ出力信号Ｙ（ｔ）のホワイトバランスを制御するホワイトバランス制御を行う。
【特許文献１】特開平６−８６０９５
【発明の開示】
【発明が解決しようとする課題】
【０００７】
上述のような構成において、ＣＣＤ固体撮像素子には、受光画素領域及びオプティカルブラック領域の各領域中に欠陥画素が存在することがある。この欠陥画素は、ＣＣＤ固体撮像素子の製造過程で付いた傷や時間経過に伴う劣化等が原因となって発生する。
【０００８】
例えば、欠陥画素がオプティカルブラック領域中に存在すると、オプティカルブラック領域から得られる黒基準が正極性の場合、黒基準中に電圧レベルの極端に高いものが含まれて出力されることになる。この場合、クランプ後の黒基準の電圧レベルが引き上げられて黒データＢ（ｔ）の値が大きくなり、結果として第２画像データＹ（ｎ２）の値が実際の信号レベルより小さくなってしまう。このような不具合は、クランプ処理が１ラインに対して１回行われる場合、１ライン分の画像データに亘って同様に発生し、この結果、１画面分の再生画像が表示されたときに一部のラインだけが相対的に暗く見える横引き画像となる。
【０００９】
一方、欠陥画素が受光画素領域中に存在する場合、常に同じ受光画素から欠陥画像信号が出力され、再生画像中に固定パターンのノイズが発生する。このようなノイズは、被写体画像の視認性を著しく悪化させ、画面全体のノイズ感を強調してしまう。このような欠陥画素を解決するための１つとして、画面全体をぼかすようなフィルタ処理を施してノイズ感を和らげる方法があるが、この方法においては、欠陥画素以外の画素にも同様にフィルタ処理がかかるため、解像度を悪化させてしまうという問題があった。
【００１０】
そこで、本発明は、オプティカルブラック領域、または受光画素領域中に欠陥画素が存在したとしても、正しい再生画像データを得ることのできる信号処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本願発明は、上述の課題に鑑みて為されたものであり、その特徴とするところは、受光画素領域の少なくとも一部にオプティカルブラック領域が設けられた撮像素子から出力され、水平走査期間、または垂直走査期間の一部に前記オプティカルブラック領域に対応した黒基準が含まれる画像信号に対し、所定の処理を施す信号処理装置において、画像信号に同期してクランプパルスを発生するクランプパルス発生回路と、前記クランプパルスに応答して前記黒基準をクランプするクランプ回路と、前記黒基準を取り出す前記オプティカルブラック領域に含まれる欠陥画素を検出する欠陥検出回路と、を備え、前記クランプパルス発生回路は、前記欠陥検出回路で前記オプティカルブラック領域中の欠陥画素の位置とクランプパルスの立ち上げ状態の位置が重なるとき、クランプパルスの立ち上げをキャンセルすることにある。
【発明の効果】
【００１２】
本発明によれば、オプティカルブラック領域中に含まれる欠陥黒画素の影響を回避することができ、一部のラインだけが相対的に暗くなるといった不具合のない良好な再生画像を得ることができる。
【発明を実施するための最良の形態】
【００１３】
図１は、本発明の実施形態の構成を示すブロック図である。この図において、先の図８に示す構成と同一の構成については、同じ符号が付してある。
図１に示す信号処理装置１は、アナログ処理回路４、Ａ／Ｄ変換回路１６、欠陥処理回路７０、クランプパルス発生回路６８及びデジタル処理回路１７を備える。アナログ処理回路４は、クランプ回路６、ＣＤＳ回路１２及びＡＧＣ回路１４を備え、ＣＣＤ出力信号Ｙ（ｔ）に対して所定のアナログ信号処理を施す。クランプ回路６は、クランプパルス発生回路６８から出力されるクランプパルスＣＬＰに応答してＣＣＤ出力信号Ｙ（ｔ）に含まれる黒基準Ｂ（ｔ）をクランプし、ＣＣＤ出力信号Ｙ（ｔ）の全黒レベルを電位固定する。ＣＤＳ回路１２は、クランプ回路６から出力された信号に対してフィードスルーレベル及び信号レベルをサンプリングし、信号レベルからフィードスルーレベルを減算した信号を出力する。ＡＧＣ回路１４は、ＣＤＳ回路１２から出力された信号を、１画面、或いは、１垂直走査期間単位で積分し、その積分値が所定の範囲内に収まるようにゲインを調整した画像信号Ｙ（ｔ１）を生成する。
【００１４】
Ａ／Ｄ変換回路１６は、アナログ処理回路４から出力される画像信号Ｙ（ｔ１）を１画素単位で量子化して第１画像データＹ（ｎ１）を生成すると共に、クランプ回路６でクランプされた黒基準Ｂ（ｔ）を量子化して黒データＢ（ｎ）を生成する。そして、第１画像データＹ（ｎ１）から黒データＢ（ｎ）を差し引いて第２画像データＹ（ｎ２）を生成する。
欠陥処理回路７０は、欠陥検出回路７２、欠陥補正回路７４、判定回路７６及び位置メモリ７８を備える。欠陥検出回路７２は、Ａ／Ｄ変換回路１６から順次出力される第２画像データＹ（ｎ２）を順次取り込み、第２画像データＹ（ｎ２）に含まれる欠陥画素の画像データを検出する。
例えば、図２に示すように、注目画素の第２画像データＹ（０）に対して周辺８画素の第２画像データＹ（１）〜Ｙ（８）を参照して欠陥画素を検出する場合、欠陥検出回路７２では、周辺画素の第２画像データＹ（１）〜Ｙ（８）を用いた判定基準範囲を設定する。
図３は、判定基準範囲の設定の一例を説明する図である。先ず、第２画像データＹ（１）〜Ｙ（８）を平均化して平均レベルＬａｖｅを生成すると共に、第２画像データＹ（１）〜Ｙ（８）の最大レベルＬｍａｘ、最小レベルＬｍｉｎを生成する。この後、平均レベルＬａｖｅと最大レベルＬｍａｘとの差ΔＬＨを、最大値Ｌｍａｘに加算して判定基準範囲の上限を設定する。そして、平均レベルＬａｖｅと最小レベルＬｍｉｎとの差ΔＬＬを、最小値Ｌｍｉｎから減算して判定基準範囲の下限を設定する。
判定基準範囲の設定の他の一例として以下の方法もある。先ず、第２画像データＹ（１）〜Ｙ（８）の最大レベルＬｍａｘ、最小レベルＬｍｉｎを生成し、最大レベルＬｍａｘと最小レベルＬｍｉｎの中心を中心レベルＬｃｅｎとする。この後、中心レベルＬｃｅｎと最大レベルＬｍａｘとの差ΔＬを、最大値Ｌｍａｘに加算して判定基準範囲の上限を設定する。そして、中心レベルＬｃｅｎと最小レベルＬｍｉｎとの差ΔＬを、最小値Ｌｍｉｎから減算して判定基準範囲の下限を設定する。
欠陥検出回路７２では、入力される第２画像データＹ（０）が判定基準範囲外であれば、欠陥受光画素と判定し、欠陥補正回路７４に対する第１検出信号ＤＳ１を立ち上げる。このとき、欠陥検出回路７２では、第１検出信号ＤＳ１の立ち上げと共に、注目画素の第２画像データＹ（０）及び周辺のＹ（１）〜Ｙ（８）を欠陥補正回路７４へ出力する。即ち、欠陥検出回路７２は、メモリ回路及び遅延回路を内蔵し、注目画素の第２画像データＹ（０）及び周辺のＹ（１）〜Ｙ（８）を判定動作の処理時間分だけ遅延した後に出力する。
【００１５】
また、欠陥検出回路７２は、Ａ／Ｄ変換回路１６で生成される黒データＢ（０）に対しても同様に、周辺のＢ（１） 〜Ｂ（８）を参照して生成された判定基準範囲と比較を行う。そして、欠陥黒画素を検出した場合には、判定回路７６に対する第２検出信号ＤＳ２を立ち上げる。尚、黒データＢ（ｎ）の欠陥黒画素検出に際しては、第２検出信号ＤＳ２のみを出力し、注目画素の黒データＢ（０）や、周辺の黒データＢ（１）〜Ｂ（８）を出力しない。
【００１６】
更に、欠陥検出回路７２は、タイミング制御回路や制御マイコンで生成される選択信号ＳＥＬを受けるように構成され、選択信号ＳＥＬに応じて動作を切り替える。例えば、選択信号ＳＥＬが欠陥黒画素の検出を指示するときには、Ａ／Ｄ変換回路１６から１ライン分のデータが入力される期間に対し、黒データＢ（ｎ）が入力される期間だけに検出動作を行い、第２画像データＹ（ｎ２）が入力される期間は動作を停止する。逆に、選択信号ＳＥＬが欠陥受光画素の検出を指示するときには、第２画像データＹ（ｎ２）が入力される期間だけ検出動作を行う。
【００１７】
欠陥補正回路７４は、第２画像データＹ（ｎ２）の周辺画素から補正データＹ’（ｎ２）を生成すると共に、欠陥受光画素と判定された第２画像データＹ（ｎ２）を補正データＹ’（ｎ２）と置き換える。例えば、補正データＹ’（ｎ２）は、注目画素の第２画像データＹ（ｎ２）の周辺の４画素を平均化することにより生成され、欠陥補正回路７４では、第１検出信号ＤＳ１が立ち上げられたときにのみ、この補正データＹ’（ｎ２）を注目画素の第２画像データＹ（ｎ２）に置き換えて出力する。
【００１８】
判定回路７６は、第２検出信号ＤＳ２をモニタし、第２検出信号ＤＳ２が立ち上げられた黒画素を欠陥黒画素の候補と判定する。そして、欠陥候補と判定した黒画素の位置情報を生成し、位置メモリ７８へ出力する。更に、判定回路７６では、第２検出信号ＤＳ２を複数画面分に亘ってモニタし、このモニタ結果を位置メモリ７８に格納された位置情報と照らし合わせ、位置情報によって示される欠陥黒画素の候補の中から真の欠陥黒画素を判定する。即ち、同一の黒画素に対して、欠陥候補とされる頻度を複数画面に亘ってモニタすることにより、欠陥判定の連続性を確認し、欠陥とは別の要因でノイズとなったものが欠陥黒画素と認定されるのを防止している。そして、欠陥黒画素と判定した画素の位置情報を再び位置メモリ７８へ出力する。
位置メモリ７８は、判定回路７６からの位置情報を記憶してクランプパルス発生回路６８へ出力する。位置メモリ７８はＤＲＡＭ、ＳＲＡＭ、フラッシュメモリなどの読み出し及び書き込みが自由な記憶媒体からなり、判定回路７６で判定された欠陥黒画素候補及び真の欠陥黒画素の位置情報を受け取って記憶する。位置メモリ７８がフラッシュメモリのような不揮発性メモリの場合には、電源が遮断されてもデータを記憶しておくことが可能である。
【００１９】
デジタル処理回路１７は、欠陥補正回路７４から出力される第２画像データＹ（ｎ２）又はＹ’（ｎ２）に対し、色分離、マトリクス演算等のデジタル信号処理を施し、輝度信号及び色差信号を含む第３画像データＹ（ｎ３）を生成する。また、ＣＣＤ固体撮像素子の露光状態を制御する露光制御や、ＣＣＤ出力信号Ｙ（ｔ）のホワイトバランスを制御するホワイトバランス制御を行う。
以上のような構成を有する信号処理装置の動作を図４のフローチャートを参照しながら説明する。
【００２０】
先ず、ステップＳ１において、欠陥黒画素候補の検出が行われる。このステップＳ１では、撮像動作が開始されて黒データＢ（ｎ）が生成され、生成された黒データＢ（ｎ）のなかから欠陥黒画素候補が検出される。このとき、欠陥検出回路７２へ供給される選択信号ＳＥＬは、欠陥黒画素の検出を指示しており、これにより、Ａ／Ｄ変換回路１６からの出力信号のうち、黒データＢ（ｎ）が入力される期間だけが欠陥検出の対象となる。ステップＳ１では、欠陥黒画素候補の検出が１画面中のすべての黒画素に対して行われ、撮像開始の１画面分に含まれる欠陥黒画素候補の検出が行われる。
【００２１】
次に、ステップＳ２において、欠陥黒画素候補の中から真の欠陥黒画素が判定される。ステップＳ２では、ステップＳ１の撮像に続いて、２画面目、３画面目と複数画面の撮像が行われ、撮像の都度、ステップＳ１と同様にして欠陥黒画素候補が検出される。複数画面に亘る欠陥黒画素候補の検出が完了すると、複数画面分の欠陥黒画素候補から真の欠陥黒画素が判定される。この後、真の欠陥黒画素と判定された黒画素の位置情報が生成され、位置メモリ７８に記憶される。そして、これ以降の撮像動作では、位置メモリ７８に記憶される位置情報に従ってクランプパルスＣＬＰが生成され、図５に示すように欠陥黒画素の位置情報とクランプパルスの立ち上げ状態の位置が重なったとき、クランプパルスＣＬＰの立ち上げをキャンセルする。また、図６に示すように欠陥黒画素の位置情報で示される黒基準Ｂ（ｔ）を避けるようにクランプパルスＣＬＰが立ち上げられる。これにより、欠陥黒画素の影響が回避できるため、クランプ処理後の黒基準Ｂ（ｔ）の電圧レベルが不用意に引き上げられるのが防止される。このため、Ａ／Ｄ変換回路１６の減算処理後であっても、第２画像データＹ（ｎ２）の値が実際の値に比べて小さくなることがなくなり、一部のラインが相対的に暗くなる横引き画像を防止することができる。
【００２２】
次に、ステップＳ３において、欠陥検出回路７２の検出動作が切り替えられる。ステップＳ３では、選択信号ＳＥＬのレベルが反転され、欠陥黒画素の検出から欠陥受光画素の検出に指示が切り替えられる。これにより、Ａ／Ｄ変換回路１６からの出力信号のうち、黒データＢ（ｎ）が入力される期間が欠陥検出の対象外となり、逆に、第２画像データＹ（ｎ２）が入力される期間だけが欠陥検出の対象となる。
【００２３】
次に、ステップＳ４では、欠陥検出回路７２へ順次入力される第２画像データＹ（ｎ２）に対して判定基準範囲の設定、及び判定基準範囲との比較が逐次行われる。そして、欠陥受光画素の検出に応じて第１検出信号ＤＳ１が立ち上げられる。
【００２４】
次に、ステップＳ５において、ステップＳ４で検出した欠陥受光画素に対し、補正処理が施される。このステップＳ５では、欠陥検出回路７２からの第１検出信号ＤＳ１の立ち上げに応答して、欠陥受光画素の画像データＹ（ｎ）を補正データＹ’（ｎ）に置き換える。また、ステップＳ５の処理では、先のステップＳ２のように、欠陥画素判定の連続性の確認が行われず、欠陥受光画素と判定された画像データに対してリアルタイムで補正処理が施される。このため、１画面分の画像データの位置情報を記憶可能なメモリを準備する必要がなく、チップ面積の増大やコストの増大を回避することができる。これに加え、欠陥画素が要因でノイズとなるデータだけでなく、別の要因でノイズとなるデータに対しても同様に補正処理が施される。このとき、ノイズとはならない画像データに対しては補正処理がかからないため、解像度を極度に落とすことがなく、良好な再生画像を得ることができる。
【００２５】
図７は、本発明の第２実施形態の構成を示すブロック図である。この第２実施形態において先の第１実施形態と異なる点は、補間回路８０を設け、欠陥黒画素を含むラインの黒データＢ（ｎ）を他のラインの黒データＢ（ｎ）に基づいて補間する点にある。
【００２６】
補間回路８０は、１ライン分の黒画素中に欠陥黒画素と判定される画素が多く含まれていた場合、そのラインとは別のラインの黒データＢ（ｎ）を記憶する。そして、検出処理以降の撮像動作中に、欠陥黒画素の割合が高いラインの黒基準Ｂ（ｔ１）がＡ／Ｄ変換回路１６が入力されるとき、記憶していた別のラインの黒基準Ｂ（ｔ１）をＡ／Ｄ変換回路１６へ出力する。即ち、１ライン分の黒画素領域中に欠陥黒画素が多く存在していた場合、これを避けてクランプパルスＣＬＰを立ち上げるとクランプ期間が不足するため、そのラインに対するクランプパルスＣＬＰの立ち上げを省略し、代わりに別のラインの黒基準Ｂ（ｔ１）で補間するようにしている。
【図面の簡単な説明】
【００２７】
【図１】本発明の第１実施形態の構成を示すブロック図である。
【図２】注目画素及び周辺画素を説明する図である。
【図３】判定基準範囲を説明する図である。
【図４】図１の動作を説明するフローチャートである。
【図５】クランプパルスＣＬＰの状態を説明するタイミング図である。
【図６】クランプパルスＣＬＰの他の状態を説明するタイミング図である。
【図７】本発明の第２実施形態の構成を示すブロック図である。
【図８】従来の撮像装置の構成を示すブロック図である。
【図９】受光画素領域及びオプティカルブラック領域を示す図である。
【図１０】クランプタイミングを示すタイミング図である。
【符号の説明】
【００２８】
４：アナログ処理回路、６：クランプ回路、１２：ＣＤＳ回路
１４：ＡＧＣ回路、１６：Ａ／Ｄ変換回路、１７：デジタル処理回路
６８：クランプパルス発生回路、７０：欠陥処理回路、７２：欠陥検出回路
７４：欠陥補正回路、７６：判定回路、７８：位置メモリ、８０：補間回路
【図１】
2005101829.tif 000003
【図２】
2005101829.tif 000004
【図３】
2005101829.tif 000005
【図４】
2005101829.tif 000006
【図５】
2005101829.tif 000007
【図６】
2005101829.tif 000008
【図７】
2005101829.tif 000009
【図８】
2005101829.tif 000010
【図９】
2005101829.tif 000011
【図１０】
2005101829.tif 000012