(57)【要約】【課題】スミアに混入したノイズを良好に除去しながら、高輝度被写体が動くことに起因するスミア移動に対する追従性を高める。【解決手段】固体撮像素子１０１は、スミア成分を含んだ画像データとスミアデータのみとを予め定めたライン毎に順番に読み出す。読み出された画像データはＡＤ変換後に抽出されて記憶回路１０４に記憶され、読み出されたスミアデータはＡＤ変換後に抽出されて記憶回路１０５に記憶される。前記抽出されたスミアデータは、ノイズ除去回路１０６でノイズ除去される。減算回路１０７は、前記記憶された画像データから、その画像データの位置に隣接するノイズ除去されたスミアデータを減算して、画像データからスミア成分を除去する。スミア動き検出回路１０８及び係数算出回路１０９はノイズ除去回路１０６でノイズ除去に使用する係数の値を算出する。【選択図】図８
2012217082.tif 000002
【特許請求の範囲】
【請求項１】
スミア成分を含んだ画像データと、スミアデータのみとを、予め定めたライン毎に順番に読み出す固体撮像素子と、
前記固体撮像素子から順番に読み出された画像データとスミアデータとをＡＤ変換するＡＤ変換手段と、
前記ＡＤ変換手段によりＡＤ変換された画像データを抽出し記憶する画像データ抽出・記憶手段と、
前記ＡＤ変換手段によりＡＤ変換されたスミアデータを抽出し記憶するスミアデータ抽出・記憶手段と、
前記スミアデータ抽出・記憶手段により抽出された最新の１ラインのスミアデータについて、前記スミアデータ抽出・記憶手段に記憶された過去の１ラインのスミアデータを用いてノイズ除去するノイズ除去手段と、
前記画像データ抽出・記憶手段により抽出された画像データから、前記ノイズ除去手段によりノイズ除去されたスミアデータのうち前記画像データの位置に隣接するスミアデータを減算する減算手段とを有する
ことを特徴とする撮像装置。
【請求項２】
固体撮像素子から予め定めたライン毎に順番に読み出されたスミア成分を含んだ画像データとスミアデータのみとをＡＤ変換するＡＤ変換手段と、
前記ＡＤ変換手段によりＡＤ変換された画像データを抽出し記憶する画像データ抽出・記憶手段と、
前記ＡＤ変換手段によりＡＤ変換されたスミアデータを抽出し記憶するスミアデータ抽出・記憶手段と、
前記スミアデータ抽出・記憶手段により抽出された最新の１ラインのスミアデータについて、前記スミアデータ抽出・記憶手段に記憶された過去の１ラインのスミアデータを用いてノイズ除去するノイズ除去手段と、
前記画像データ抽出・記憶手段により抽出された画像データから、前記ノイズ除去手段によりノイズ除去されたスミアデータのうち前記画像データの位置に隣接するスミアデータを減算する減算手段とを有する
ことを特徴とする信号処理装置。
【請求項３】
前記請求項１及び２の何れか１項に記載の撮像装置又は信号処理装置において、
前記固体撮像素子は、
画像データとスミアデータとを１ライン毎に交互に読み出す
ことを特徴とする撮像装置又は信号処理装置。
【請求項４】
前記請求項１及び２の何れか１項に記載の撮像装置又は信号処理装置において、
前記固体撮像素子は、
画像データを複数ライン読み出す毎にスミアデータを１ライン読み出す
ことを特徴とする撮像装置又は信号処理装置。
【請求項５】
前記請求項３記載の撮像装置又は信号処理装置において、
前記減算手段は、
得られた最新の１ラインの画像データ中の各画像データについて、この１ラインの画像データに隣接する１ラインのノイズ除去後のスミアデータのうち、その各画像データの水平位置と同一水平位置での最新のスミアデータを減算する
ことを特徴とする撮像装置又は信号処理装置。
【請求項６】
前記請求項３記載の撮像装置又は信号処理装置において、
前記減算手段は、
得られた最新の複数ラインの画像データ中の各画像データについて、この複数ラインの画像データに隣接する１ラインのノイズ除去後のスミアデータのうち、その各画像データの水平位置と同一水平位置での最新のスミアデータを減算する
ことを特徴とする撮像装置又は信号処理装置。
【請求項７】
請求項１〜６の何れか１項に記載の撮像装置又は信号処理装置において、
前記スミアデータ抽出・記憶手段により抽出された最新の１ラインのスミアデータと、前記スミアデータ抽出・記憶手段に記憶された過去の１ラインのスミアデータとを用いて、スミアの水平方向の動き量を検出するスミア動き検出手段と、
前記スミア動き検出手段で検出されたスミアの水平方向の動き量に応じて、ノイズ除去用の係数を算出するノイズ除去用係数算出手段とを備え、
前記ノイズ除去手段は、
前記ノイズ除去用係数算出手段が算出したノイズ除去用の係数を用いて、最新の１ラインのスミアデータについてノイズ除去する
ことを特徴とする撮像装置又は信号処理装置。
【請求項８】
請求項１〜６の何れか１項に記載の撮像装置又は信号処理装置において、
前記スミアデータ抽出・記憶手段により抽出された最新の１ラインのスミアデータと、前記スミアデータ抽出・記憶手段に記憶された過去の１ラインのスミアデータとを用いて、スミアのレベルの変化量を検出するスミア動き検出手段と、
前記スミア動き検出手段で検出されたスミアのレベルの変化量に応じて、ノイズ除去用の係数を算出するノイズ除去用係数算出手段とを備え、
前記ノイズ除去手段は、
前記ノイズ除去用係数算出手段が算出したノイズ除去用の係数を用いて、最新の１ラインのスミアデータについてノイズ除去する
ことを特徴とする撮像装置又は信号処理装置。
【請求項９】
前記請求項７及び８の何れか１項に記載の撮像装置又は信号処理装置において、
前記ノイズ除去手段は、ＩＩＲフィルタを備え、
前記ノイズ除去用係数算出手段は、前記ＩＩＲフィルタで使用するノイズ除去用の係数を算出する
ことを特徴とする撮像装置又は信号処理装置。
【請求項１０】
請求項２〜９の何れか１項に記載の信号処理装置を搭載した
ことを特徴とする撮像装置。
【請求項１１】
スミア成分を含んだ画像データと、スミアデータのみとを、固体撮像素子から予め定めたライン毎に順番に読み出す工程と、
前記固体撮像素子から順番に読み出された画像データとスミアデータとをＡＤ変換する工程と、
前記ＡＤ変換された画像データを抽出し記憶する工程と、
前記ＡＤ変換されたスミアデータを抽出し記憶する工程と、
前記抽出された最新の１ラインのスミアデータについて、記憶された過去の１ラインのスミアデータを用いてノイズ除去する工程と、
前記抽出された画像データから、前記ノイズ除去されたスミアデータのうち前記画像データの位置に隣接するスミアデータを減算する工程とを有する
ことを特徴とする撮像方法。
【請求項１２】
前記固体撮像素子から予め定めたライン毎に順番に読み出された画像データとスミアデータとをＡＤ変換する工程と、
前記ＡＤ変換された画像データを抽出し記憶する工程と、
前記ＡＤ変換されたスミアデータを抽出し記憶する工程と、
前記抽出された最新の１ラインのスミアデータについて、記憶された過去の１ラインのスミアデータを用いてノイズ除去する工程と、
前記抽出された画像データから、前記ノイズ除去されたスミアデータのうち前記画像データの位置に隣接するスミアデータを減算する工程とを有する
ことを特徴とする信号処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＣＤを用いたカメラシステムにおいて、高輝度被写体を撮像した際に発生するスミアに起因する画質の劣化を補正、改善する撮像装置、信号処理装置に関する。
【背景技術】
【０００２】
一般に、ＣＣＤを用いたカメラシステムでは、高輝度被写体を撮像した際にはスミアが発生する。このスミアは、フォトダイオードにて蓄積された電荷が垂直転送ＣＣＤに漏れ出し、その漏れ出された垂直転送ＣＣＤで電荷転送読み出しが行なわれるため、ＣＣＤから読み出された画像に被写体には無い擬似的な垂直線が入ってしまう現象である。
【０００３】
従来、前記スミアを補正する技術として特許文献１の技術がある。この技術は、垂直ＯＢ領域にも同様にスミアが存在することを利用し、その垂直ＯＢ領域のデータをラインメモリに記憶し、露光領域のデータが読み出される際にそのラインメモリのデータを同時に読み出して、露光領域のデータからそのラインメモリのデータを減算をすることにより、スミアの補正を行なっている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−１１０３７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記従来の技術では、ラインメモリに記憶した垂直ＯＢ領域のデータを用いてスミア減算補正を行なう構成であり、この垂直ＯＢ領域のデータはフレーム毎にしか更新できない。その結果、例えば、１フレーム分のデータの読み出し中において高輝度被写体が動いた際には、高輝度被写体と併せてスミアも同時に動いてしまうことになるが、この時、スミアは前記のように列が揃った垂直線になることはなく、斜めにうねった線となる。その結果、高輝度被写体が動く前に読み出された露光領域のデータはラインメモリに記憶した垂直ＯＢ領域のデータで減算補正されて、正しくスミア補正されるものの、高輝度被写体が動いた後に読み出された露光領域のデータがラインメモリに記憶した垂直ＯＢ領域のデータで減算補正されても、新たにスミアが生じた箇所では減算補正の対象とはならずにスミアが残存して、垂直線が一部残ってしまう一方、本来スミアが無かった箇所でスミア減算補正が行われて、画像データが欠落し、画質が悪化してしまう欠点がある。
【０００６】
本発明は、前記従来の問題点を解決するものであり、その目的は、ＣＣＤを用いた撮像装置において、高輝度被写体が動いた際のスミア補正の追従性を高めることにある。
【課題を解決するための手段】
【０００７】
前記目的を達成するため、本発明では、有効画像領域中において、画像データとその画像データに対応したスミアデータとを水平ライン単位で読み出して、画像データからその対応スミアデータを減算補正することにより、１フレーム中で高輝度被写体が動いてスミアが移動した場合にも、そのスミアの移動に対する従性を高めることとする。
【０００８】
具体的に、請求項１記載の発明の撮像装置は、スミア成分を含んだ画像データと、スミアデータのみとを、予め定めたライン毎に順番に読み出す固体撮像素子と、前記固体撮像素子から順番に読み出された画像データとスミアデータとをＡＤ変換するＡＤ変換手段と、前記ＡＤ変換手段によりＡＤ変換された画像データを抽出し記憶する画像データ抽出・記憶手段と、前記ＡＤ変換手段によりＡＤ変換されたスミアデータを抽出し記憶するスミアデータ抽出・記憶手段と、前記スミアデータ抽出・記憶手段により抽出された最新の１ラインのスミアデータについて、前記スミアデータ抽出・記憶手段に記憶された過去の１ラインのスミアデータを用いてノイズ除去するノイズ除去手段と、前記画像データ抽出・記憶手段により抽出された画像データから、前記ノイズ除去手段によりノイズ除去されたスミアデータのうち前記画像データの位置に隣接するスミアデータを減算する減算手段とを有することを特徴とする。
【０００９】
請求項２記載の発明の信号処理装置は、固体撮像素子から予め定めたライン毎に順番に読み出されたスミア成分を含んだ画像データとスミアデータのみとをＡＤ変換するＡＤ変換手段と、前記ＡＤ変換手段によりＡＤ変換された画像データを抽出し記憶する画像データ抽出・記憶手段と、前記ＡＤ変換手段によりＡＤ変換されたスミアデータを抽出し記憶するスミアデータ抽出・記憶手段と、前記スミアデータ抽出・記憶手段により抽出された最新の１ラインのスミアデータについて、前記スミアデータ抽出・記憶手段に記憶された過去の１ラインのスミアデータを用いてノイズ除去するノイズ除去手段と、前記画像データ抽出・記憶手段により抽出された画像データから、前記ノイズ除去手段によりノイズ除去されたスミアデータのうち前記画像データの位置に隣接するスミアデータを減算する減算手段とを有することを特徴とする。
【００１０】
請求項３記載の発明は、前記請求項１及び２の何れか１項に記載の撮像装置又は信号処理装置において、前記固体撮像素子は、画像データとスミアデータとを１ライン毎に交互に読み出すことを特徴とする。
【００１１】
請求項４記載の発明は、前記請求項１及び２の何れか１項に記載の撮像装置又は信号処理装置において、前記固体撮像素子は、画像データを複数ライン読み出す毎にスミアデータを１ライン読み出すことを特徴とする。
【００１２】
請求項５記載の発明は、前記請求項３記載の撮像装置又は信号処理装置において、前記減算手段は、得られた最新の１ラインの画像データ中の各画像データについて、この１ラインの画像データに隣接する１ラインのノイズ除去後のスミアデータのうち、その各画像データの水平位置と同一水平位置での最新のスミアデータを減算することを特徴とする。
【００１３】
請求項６記載の発明は、前記請求項３記載の撮像装置又は信号処理装置において、前記減算手段は、得られた最新の複数ラインの画像データ中の各画像データについて、この複数ラインの画像データに隣接する１ラインのノイズ除去後のスミアデータのうち、その各画像データの水平位置と同一水平位置での最新のスミアデータを減算することを特徴とする。
【００１４】
請求項７記載の発明は、請求項１〜６の何れか１項に記載の撮像装置又は信号処理装置において、前記スミアデータ抽出・記憶手段により抽出された最新の１ラインのスミアデータと、前記スミアデータ抽出・記憶手段に記憶された過去の１ラインのスミアデータとを用いて、スミアの水平方向の動き量を検出するスミア動き検出手段と、前記スミア動き検出手段で検出されたスミアの水平方向の動き量に応じて、ノイズ除去用の係数を算出するノイズ除去用係数算出手段とを備え、前記ノイズ除去手段は、前記ノイズ除去用係数算出手段が算出したノイズ除去用の係数を用いて、最新の１ラインのスミアデータについてノイズ除去することを特徴とする。
【００１５】
請求項８記載の発明は、請求項１〜６の何れか１項に記載の撮像装置又は信号処理装置において、前記スミアデータ抽出・記憶手段により抽出された最新の１ラインのスミアデータと、前記スミアデータ抽出・記憶手段に記憶された過去の１ラインのスミアデータとを用いて、スミアのレベルの変化量を検出するスミア動き検出手段と、前記スミア動き検出手段で検出されたスミアのレベルの変化量に応じて、ノイズ除去用の係数を算出するノイズ除去用係数算出手段とを備え、前記ノイズ除去手段は、前記ノイズ除去用係数算出手段が算出したノイズ除去用の係数を用いて、最新の１ラインのスミアデータについてノイズ除去することを特徴とする。
【００１６】
請求項９記載の発明は、前記請求項７及び８の何れか１項に記載の撮像装置又は信号処理装置において、前記ノイズ除去手段は、ＩＩＲフィルタを備え、前記ノイズ除去用係数算出手段は、前記ＩＩＲフィルタで使用するノイズ除去用の係数を算出することを特徴とする。
【００１７】
請求項１０記載の発明の撮像装置は、請求項２〜９の何れか１項に記載の信号処理装置を搭載したことを特徴とする。
【００１８】
請求項１１記載の発明の撮像方法は、スミア成分を含んだ画像データと、スミアデータのみとを、固体撮像素子から予め定めたライン毎に順番に読み出す工程と、前記固体撮像素子から順番に読み出された画像データとスミアデータとをＡＤ変換する工程と、前記ＡＤ変換された画像データを抽出し記憶する工程と、前記ＡＤ変換されたスミアデータを抽出し記憶する工程と、前記抽出された最新の１ラインのスミアデータについて、記憶された過去の１ラインのスミアデータを用いてノイズ除去する工程と、前記抽出された画像データから、前記ノイズ除去されたスミアデータのうち前記画像データの位置に隣接するスミアデータを減算する工程とを有することを特徴とする。
【００１９】
請求項１２記載の発明の信号処理方法は、前記固体撮像素子から予め定めたライン毎に順番に読み出された画像データとスミアデータとをＡＤ変換する工程と、前記ＡＤ変換された画像データを抽出し記憶する工程と、前記ＡＤ変換されたスミアデータを抽出し記憶する工程と、前記抽出された最新の１ラインのスミアデータについて、記憶された過去の１ラインのスミアデータを用いてノイズ除去する工程と、前記抽出された画像データから、前記ノイズ除去されたスミアデータのうち前記画像データの位置に隣接するスミアデータを減算する工程とを有することを特徴とする。
【００２０】
従って、請求項１〜１２記載の発明では、ＣＣＤを用いた撮像装置において、固体撮像素子からは画面の有効領域内において例えば１ライン毎に画像データとスミアデータとが読み出される。そして、得られた最新の１ラインのスミアデータに含まれるノイズが、その前に得られた１ラインのスミアデータを用いてノイズ除去手段でノイズ除去される。そして、得られた画像データが減算回路においてその画像データに隣接するノイズ除去されたスミアデータだけ減算されて、画像データのスミア補正が行われる。従って、スミアの発生源である高輝度被写体が１画面中で動いてスミアが斜めにゆがんでも、この斜めのスミアに良好に追従したスミアデータで画像データがスミア補正される。よって、高輝度被写体が動くことによる画質悪化を低減できる。
【００２１】
また、請求項７〜９記載の発明では、ノイズ除去手段でのノイズ除去処理に用いる係数値がスミアの水平方向の動き量やレベル変化量に基づいて算出されるので、高輝度被写体の動き量や輝度変化が大きい場合には、スミアの動きに対する追従性を高くできる一方、高輝度被写体の動き量や輝度変化が小さい場合、すなわち、スミアの動きに対する高い追従性が不要な場合には、スミアデータに対するノイズ除去性能を高くすることが可能である。
【発明の効果】
【００２２】
以上説明したように、請求項１〜１２記載の発明によれば、スミアに混入したノイズを良好に除去しながら、高輝度被写体が動くことに起因するスミア移動に対する追従性を高めて、画質悪化を低減することができる。
【００２３】
特に、請求項７〜９記載の発明では、スミアの水平方向の動き量やレベル変化量に応じて、スミアに混入したノイズの除去性能を変更するので、高輝度被写体の動きやその輝度変化が小さい場合には、スミア補正に対する追従性を良好に維持しつつノイズの除去性能を高めることができる一方、高輝度被写体の動きやその輝度変化が大きい場合には、その大きな動きや輝度変化に合わせてスミア補正に対する追従性を高めることができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１の実施形態を示す撮像装置のブロック構成図である。
【図２】（ａ）は同実施形態の固体撮像素子の要部概略構成を示す図、同図（ｂ）は固体撮像素子に備える垂直転送ＣＣＤにスミアが混入している様子を説明する図である。
【図３】（ａ）は同固体撮像素子からの画像データの垂直間引き読み出しとスミアデータの読み出しとを説明する図、同図（ｂ）はライン毎に読み出された画像データ及びスミアデータを示す図である。
【図４】（ａ）は画像の有効領域及びＯＢ領域を示す図、同図（ｂ）は画像データとスミアデータとを１ライン毎に交互に読み出す図、同図（ｃ）は画像データを２ライン読み出した後にスミアデータを１ライン読み出す図である。
【図５】スミアデータからのノイズ除去と画像データからスミアデータを減算するシーケンスとを示す図である。
【図６】ＩＩＲフィルタを用いたノイズ除去とスミアデータの減算とを示す図である。
【図７】ＩＩＲフィルタを用いたノイズ除去の概念図である。
【図８】本発明の第２の実施形態を示す撮像装置のブロック構成図である。
【図９】スミアの水平移動距離の算出方法を示す図である。
【図１０】スミアの水平移動距離に対するＩＩＲフィルタ用の係数値を示す特性図である。
【図１１】スミアの最大値の変化の算出方法を示す図である。
【図１２】スミアの最大値の差に対するＩＩＲフィルタ用の係数値を示す特性図である。
【発明を実施するための形態】
【００２５】
以下、本発明の実施形態について、図面を参照しながら説明する。
【００２６】
（第１の実施形態）
図１は本発明の第１の実施形態の撮像装置の全体構成を示す。
【００２７】
同図において、１０１はフォトダイオードを含む固体撮像素子、１０２はタイミングジェネレータ、１０３は前記固体撮像素子１０１からの画像データ及びスミアデータをＡＤ変換するＡＤ変換器（ＡＤ変換手段）、１０４は前記ＡＤ変換された画像データとスミアデータのうち画像データのみを抽出して記憶する画像データ抽出・記憶回路（画像データ抽出・記憶手段）、１０５はＡＤ変換された画像データとスミアデータのうちスミアデータのみを抽出して記憶するスミアデータ抽出・記憶回路（スミアデータ抽出・記憶手段）、１０６は過去に記憶されたスミアデータを用いて最新のスミアデータからノイズ成分をＩＩＲフィルタで除去するスミアデータノイズ除去回路（スミアデータノイズ除去手段）、１０７は前記画像データ抽出・記憶回路１０４で抽出された画像データから前記スミアデータノイズ除去回路１０６でノイズ除去されたスミアデータを減算する減算回路（減算手段）である。図１の撮像装置において、固体撮像素子１０１を除いて信号処理回路を構成する。
【００２８】
図２（ａ）は固体撮像素子１０１の要部構成を示し、ベイヤー配列されたフィルタが配置された複数のフォトダイオード１０１ａと、それ等の各列毎に図中左方に配置された複数の垂直転送ＣＣＤ１０と、前記フォトダイオード１０１ａの各列の図中下方に配置された水平転送ＣＣＤ１１とを備えている。同図（ｂ）は、スミア発生時において、高輝度被写体により各フォトダイオード１０１ａから漏れ出した電荷がスミアデータとして各垂直転送ＣＣＤ１０に混入した状態のイメージを示している。同図では、各垂直転送ＣＣＤ１０の各転送部にスミアデータが混入した状態をカタカナ文字「ス」を加入して表現している。
【００２９】
図３は、固体撮像素子１０１において、水平ライン単位で画像データ又はスミアデータを読み出すイメージを示す。同図では、所定の複数ラインでのみ画像データを読み出す垂直間引き読み出しを行い、その画像データの読み出しを行わないラインの垂直転送ＣＣＤ１０に含まれる電荷をスミアデータとして出力する。ここで、全てのスミアデータの読み出しは必要はなく、使用しないスミアデータの水平ラインは、垂直転送後に水平転送を行わずに、破棄する。具体的に、図３（ａ）では、水平転送ＣＣＤ１１側から第３ライン及び第６ラインではスミアデータは使用せず破棄し、それ等のラインを除いて、破線で囲んだ第２、第４及び第６ラインでのみ画像データを垂直転送ＣＣＤ１０に転送する一方、第１、第３及び第５ラインでは画像データを垂直転送ＣＣＤ１０に転送せず、これ等の第１、第３及び第５ラインでは垂直転送ＣＣＤ１０にはスミアデータのみとする。
【００３０】
その結果、図３（ｂ）に示すように、水平同期信号ＨＤに同期して、第１ラインではスミアデータのみが読み出され、第２ラインではスミアデータを含んだ画像データ（以下、単に画像データという）が読み出され、第３ラインではスミアデータが、第４ラインでは画像データが、第５ラインではスミアデータが、第６ラインでは画像データが各々読み出され、ライン毎にスミアデータと画像データとが交互に出力される。以上の動作は、固体撮像素子１０１の動作を制御する制御回路（図示せず）により行われる。
【００３１】
尚、前記図３（ｂ）では、奇数ラインではスミアデータを読み出し、偶数ラインでは画像データを読み出す構成を例示したが、その他、例えば図４（ａ）に示すように、画面の有効画素領域中において、同図（ｂ）に示すように、逆に、偶数ラインでスミアデータを読み出し、奇数ラインで画像データを読み出す構成を採用したり、同図（ｃ）に示すように、画像データを続けて２ライン分読み出した後、スミアデータを１ライン分読み出す構成を採用しても良い。
【００３２】
このように、スミアデータを読み出すライン数を増減すれば、画像データのラインの出力に対するスミアデータのラインの出力の頻度を変更できる。出力するスミアデータのラインの頻度が高ければ、画像データの位置により一層近接するスミアデータを読み出すことができ、高輝度被写体が動いた際のスミア補正の追従性を高めることが可能である。一方、スミアデータのラインの頻度が低ければ、画像データの出力のフレームレートが向上する。
【００３３】
尚、ＯＢ領域でのスミアデータも読み出され、このＯＢ領域でのスミアデータを用いて有効領域の先頭ラインでのスミア補正が行われる。
【００３４】
次に、前記図１の構成の下でのスミア補正について説明する。図１において、先ず、固体撮像素子１０１から１ライン毎に図３及び図４に例示した規則に従って画像データとスミアデータとが出力されるので、これ等のデータをＡＤ変換器１０３でＡＤ変換する。画像データ抽出・記憶回路１０４は、１水平ライン単位で変化するカウンタ（図示せず）を用いて、前記ＡＤ変換された画像データのみを抽出し、内部に記憶する。同様に、スミアデータ抽出・記憶回路１０５は、１水平ライン単位で変化するカウンタを用いて、前記ＡＤ変換されたスミアデータのみを抽出し、内部に記憶する。
【００３５】
続いて、図１のスミアデータノイズ除去回路１０６は、図５、図６及び図７に示したように、内部にＩＩＲフィルタ１０６ａを有する。このＩＩＲフィルタ１０６ａは、スミアデータ抽出・記憶回路１０５で得られた最新の１ラインのスミアデータについて、スミアデータ抽出・記憶回路１０５の内部に備えたＳＲＡＭから成るラインメモリ１０５ａに記憶した過去の（直前の）１ラインのスミアデータのうち、前記最新のスミアデータと同一水平アドレスのスミアデータを用いて、ノイズ除去する。このノイズ除去は、下記式（１）に基づいて行われる。
【００３６】
【数１】
2012217082.tif 000003
【００３７】
ここに、ＫはＩＩＲフィルタ用の係数であって、固定値Ｋfixである。
【００３８】
そして、前記ノイズ除去された最新のスミアデータは減算回路１０７に送られて、このスミアデータと同一水平アドレスのＡＤ変換後の最新の画像データがこのノイズ除去後の最新のスミアデータだけ減算されて、この画像データからスミアデータが除去される。前記減算に使用されたノイズ除去後の最新のスミアデータは、過去のスミアデータとして、前記スミアデータ抽出・記憶回路１０５のラインメモリ１０５ａに記憶され、次のＩＩＲフィルタ処理によるノイズ除去に使用される。
【００３９】
従って、本実施形態では、今回取得した最新の１ライン分のスミアデータは、直前に取得された過去の１ライン分のノイズ除去後のスミアデータによって、対応する水平アドレス毎に、ＩＩＲフィルタ１０６ａで前記式（１）のＩＩＲフィルタ処理を施されるので、有効にノイズ除去される。
【００４０】
しかも、前記スミアデータは、図３（ｂ）、図４（ｂ）及び（ｃ）から判るように、有効画像領域の所定の複数ラインで取得されるので、画像データからスミア成分を除去するスミア補正では、図５及び図６から判るように、取得した最新の１ライン分の画像データは、その画像データに隣接する１ライン分のノイズ除去されたスミアデータによってスミア補正される。従って、スミアの発生源である高輝度被写体がどのように動いても、その動きに応じたスミア成分を含む画像データは、その画像データに隣接した位置で取得されたスミアデータ、即ち、前記高輝度被写体の動きに応じたスミアデータで減算処理されるので、スミアに対する追従性が向上して、従来のように高輝度被写体が動いて斜めにゆがんだスミアが残ったり、スミア成分のない画像データがスミアデータで減算処理されて画像データが一部欠落するなどの欠点がない。
【００４１】
また、ＣＣＤ撮像装置において、垂直方向のデータ転送速度を高速化する電荷高速転送方法として、垂直転送ＣＣＤ１０の上部及び下部の画素領域を高速転送し、それ等の領域でのデータを破棄して、中間領域のみで必要な画像データを通常速度で読み出す方法がある。この方法は、高速転送によりデータ出力のフレームレートを向上させることができるが、高輝度被写体によりスミアが発生している状態でこの高速転送方法を用いると、垂直転送ＣＣＤの転送時間が上及び下領域と中間領域とで異なるために、スミアのレベルが垂直方向で変化することになる。ここで、従来のようにラインメモリに記憶した垂直ＯＢ領域のスミアデータを用いてスミア減算補正を行なう場合には、画像の垂直方向には一定の値で減算することになり、スミアのレベルが低い中間領域でスミア過補正となってしまうが、本実施形態では、スミアのレベルが低い中間領域の画像データが、その画像データ近傍の低レベルのスミアデータで減算補正されるので、適切なスミア補正が行われる。
【００４２】
（第２の実施形態）
図８は本発明の第２の実施形態を示す。
【００４３】
本実施形態では、前記スミアデータノイズ除去回路１０６のＩＩＲフィルタ１０６ａで用いる係数Ｋを可変にして、スミアの動きに対する追従性の向上とノイズ除去性能の向上との両立を図るものである。
【００４４】
図８では、図１に示した撮像装置の構成に加えて、スミア動き検出回路１０８とノイズ除去用の係数算出回路１０９とを追加して、スミアの水平移動距離に応じてＩＩＲフィルタ用の係数Ｋの値を変更する。具体的には次の通りである。
【００４５】
図８において、前記スミア動き検出回路（スミア動き検出手段）１０８は、図９に示したように、スミアデータ抽出・記憶回路１０５で過去に記憶された直前スミアデータの最大値の水平アドレスＨadr_smear_oldと、最新のスミアデータの最大値の水平アドレスＨadr_smear_newとを比較し、スミアの水平方向の移動距離lengthを、下記式（２）に基づいて、その両者の水平アドレスの差を演算し、その絶対値を取って、算出する。
【００４６】
【数２】
2012217082.tif 000004
【００４７】
また、前記ノイズ除去用の係数算出回路（ノイズ除去用の係数算出手段）１０９は、前記スミア動き検出回路１０８で算出されたスミアの水平移動距離lengthに基づいてＩＩＲフィルタ用の係数Ｋlengthを算出する。この係数Ｋlengthの算出は、図１０及び下記式（３）に示すように、
【００４８】
【数３】
2012217082.tif 000005
【００４９】
スミアデータの水平移動距離lengthが閾値１以下の場合には、係数Ｋlengthを最小値Ａに設定し、スミアの水平移動距離lengthが閾値２（閾値１＜閾値２）以上の場合には係数Ｋlengthを最大値Ｃに設定し、その両値Ａ、Ｃの間では、スミアの水平移動距離lengthの増大に応じて係数Ｋlengthを線形的に大きくするように設定する。この係数Ｋlengthの線形増大の傾きが前記式（３）中の定数Ｂである。
【００５０】
従って、本実施形態では、スミアの水平移動距離lengthが大きい場合には、ＩＩＲフィルタ用の係数Ｋlengthが大きくなるので、前記ＩＩＲフィルタ１０６ａでのノイズ除去の演算式（１）から判るように最新のスミアデータが大きく反映されて、スミアの動きへの追従性が高くなる。一方、スミアの水平移動距離lengthが小さい場合、すなわち高い追従性が不要な場合には、ＩＩＲフィルタ用の係数Ｋlengthが小さくなるので、最新のスミアデータの反映量が小さくなって、ＩＩＲフィルタ１０６ａのノイズ除去性能が高くなる。
【００５１】
よって、本実施形態によれば、スミアの動きに対する追従性と、スミアデータに含まれるノイズの除去性能との両立を図ることが可能である。
【００５２】
（変形例）
次に、本実施形態の変形例を説明する。
【００５３】
本変形例では、図８に示したスミアデータノイズ除去回路１０６のＩＩＲフィルタ１０６ａで用いる係数Ｋを、スミアのレベル変化に応じて変更するものである。
【００５４】
本変形例での撮像装置の全体構成は図８と同様である。図８のスミア動き検出回路１０８は、図１１に示したように、スミアデータ抽出・記憶回路１０５で過去に記憶されたスミアデータの最大値level_smear_oldと、最新のスミアデータの最大値level_smear_newとを比較し、それ等のスミアの最大値の差levelを、下記式（４）に基づいて演算し、その絶対値を取って、スミアの最大値の変化を算出する。
【００５５】
【数４】
2012217082.tif 000006
【００５６】
また、前記ノイズ除去用の係数算出回路１０９は、前記スミア動き検出回路１０８で算出されたスミアの最大値の差levelに基づいてＩＩＲフィルタ用の係数Ｋlevelを算出する。この係数Ｋlevelの算出は、図１２及び下記式（５）に示すように、
【００５７】
【数５】
2012217082.tif 000007
【００５８】
スミアの最大値の変化levelが閾値１以下の場合には、係数Ｋlevelを最小値Ｅに設定し、スミアの最大値の変化levelが閾値２（閾値１＜閾値２）以上の場合には係数Ｋlevelを最大値Ｇに設定し、その両値Ｅ、Ｇの間では、スミアの最大値の変化levelの増大に応じて係数Ｋlevelを線形的に大きくするように設定する。この係数Ｋlevelの線形増大の傾きが前記式（５）中の定数Ｆである。
【００５９】
従って、本実施形態では、スミアの最大値の変化levelが大きい場合には、ＩＩＲフィルタ用の係数Ｋlevelが大きくなるので、最新のスミアデータが大きく反映されて、スミアの値変化に対する追従性が高くなる。一方、スミアの最大値の変化levelが小さい場合、すなわち高い追従性が不要な場合には、ＩＩＲフィルタ用の係数Ｋlevelが小さくなるので、最新のスミアデータの反映量が小さくなって、ＩＩＲフィルタ１０６ａのノイズ除去性能が高くなる。
【００６０】
よって、本実施形態によれば、スミアの値変化に対する追従性と、スミアデータに含まれるノイズの除去性能との両立を図ることが可能である。
【００６１】
尚、スミアデータノイズ除去回路１０６のＩＩＲフィルタ１０６ａで用いる係数Ｋは、前記第３の実施形態でのスミアの水平移動距離lengthに応じた係数Ｋlengthと、本変形例のスミアの最大値の変化levelに応じた係数Ｋlevelとの両者を併せて使用しても良いのは勿論である。
【産業上の利用可能性】
【００６２】
以上説明したように、本発明は、スミアに混入したノイズを良好に除去しながら、高輝度被写体が動くことに起因するスミア移動に対する追従性を高めて、画質悪化を低減することができるので、ＣＣＤ型の撮像装置、カメラシステム等として有用である。
【符号の説明】
【００６３】
１０        垂直転送ＣＣＤ
１１        水平転送ＣＣＤ
１０１       固体撮像素子
１０１ａ      フォトダイオード
１０２       タイミングジェネレータ
１０３       ＡＤ変換器（ＡＤ変換手段）
１０４       画像データ抽出・記憶回路（画像データ抽出・記憶手段）
１０５       スミアデータ抽出・記憶回路（スミアデータ抽出・記憶手段）
１０５ａ      ラインメモリ
１０６       スミアデータノイズ除去回路（スミアデータノイズ除去手段）
１０６ａ      ＩＩＲフィルタ
１０７       減算回路（減算手段）
１０８       スミア動き検出回路（スミア動き検出手段）
１０９       ノイズ除去用係数算出回路（ノイズ除去用係数算出手段）
【図１】
2012217082.tif 000008
【図２】
2012217082.tif 000009
【図３】
2012217082.tif 000010
【図４】
2012217082.tif 000011
【図５】
2012217082.tif 000012
【図６】
2012217082.tif 000013
【図７】
2012217082.tif 000014
【図８】
2012217082.tif 000015
【図９】
2012217082.tif 000016
【図１０】
2012217082.tif 000017
【図１１】
2012217082.tif 000018
【図１２】
2012217082.tif 000019