(57)【要約】【課題】スミア信号を適正に除去することのできる複数倍垂直ＣＣＤを用いた固体撮像装置を提供する。【解決手段】本発明の複数倍垂直ＣＣＤを用いた固体撮像装置１００は、スミア成分を含む画像信号からなる第一信号とノイズ成分を含むスミア信号からなる第二信号とを垂直ＣＣＤの各井戸で互いに垂直転送する垂直転送手段と、第一信号と第二信号とを水平転送する水平転送手段と、第二信号からノイズ成分を除去した第三信号を生成するノイズ除去手段１６と、第一信号から第三信号を減算するスミア減算手段１７とを備え、スミア補正を行なう前にスミア信号に対してノイズ除去を行なうことで、スミア補正を行った画像のノイズ減少を図ることができる。【選択図】 図１
2010141630.tif 000002
【特許請求の範囲】
【請求項１】
複数倍垂直ＣＣＤを用いた固体撮像装置において、
スミア成分を含む画像信号からなる第一信号とノイズ成分を含むスミア信号からなる第二信号とを垂直ＣＣＤの各井戸で互いに垂直転送する垂直転送手段と、
前記第一信号と前記第二信号とを水平転送する水平転送手段と、
前記第二信号からノイズ成分を除去した第三信号を生成するノイズ除去手段と、
前記第一信号から前記第三信号を減算するスミア減算手段と、を備え、
前記第一信号から前記第三信号を減算してスミア成分を含まない画像信号を得るスミア補正を行なうことを特徴とする固体撮像装置。
【請求項２】
前記複数倍垂直ＣＣＤは、２倍垂直ＣＣＤであることを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記ノイズ除去手段は、同一の垂直ＣＣＤから得られる２つ以上のスミア信号を使用してノイズ除去を行なうことを特徴とする請求項１または請求項２に記載の固体撮像装置。
【請求項４】
前記水平転送手段は、前記第一信号と前記第二信号とを同じ転送経路から互いに水平転送することを特徴とする請求項１から請求項３のいずれかに記載の固体撮像装置。
【請求項５】
請求項１から請求項４のいずれかに記載の固体撮像装置を用いたことを特徴とする撮像機器。
【請求項６】
複数倍垂直ＣＣＤを用いた固体撮像装置のスミア補正において、
スミア成分を含む画像信号からなる第一信号とノイズ成分を含むスミア信号からなる第二信号とを垂直ＣＣＤの各井戸で互いに垂直転送する垂直転送ステップと、
前記第一信号と前記第二信号とを水平転送する水平転送ステップと、
前記第二信号からノイズ成分を除去した第三信号を生成するノイズ除去ステップと、
前記第一信号から前記第三信号を減算するスミア減算ステップとを備え、
前記第一信号から前記第三信号を減算してスミア成分を含まない画像信号を得る固体撮像装置のスミア補正方法。
【請求項７】
前記複数倍垂直ＣＣＤは、２倍垂直ＣＣＤであることを特徴とする請求項６に記載の固体撮像装置のスミア補正方法。
【請求項８】
前記ノイズ除去ステップは、同一の垂直ＣＣＤから得られる２つ以上のスミア信号を使用してノイズ除去を行なうことを特徴とする請求項６または請求項７に記載の固体撮像装置のスミア補正方法。
【請求項９】
前記水平転送ステップは、前記第一信号と前記第二信号とを同じ転送経路から互いに水平転送することを特徴とする請求項６から請求項８のいずれかに記載の固体撮像装置のスミア補正方法。
【請求項１０】
請求項６から請求項９のいずれかに記載の固体撮像装置のスミア補正方法を用いたことを特徴とする撮像機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置、スミア補正方法及びこれらを用いた撮像機器に関し、特にスミア補正機能付き固体撮像装置、固体撮像装置のスミア補正方法及びこれらを用いた撮像機器に関する。
【背景技術】
【０００２】
ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  ｄｅｖｉｃｅ、電荷結合素子）イメージセンサ等の固体撮像素子を用いた撮像機器では、光が垂直ＣＣＤに直接入射することによってスミアが発生する。
【０００３】
そこで、スミアを除去するために、垂直転送部を介して転送されてくる撮像電荷を２つの水平転送部を介して２ライン分同時に読み出し、フィールド毎に全画素分の撮像情報を出力する２ライン同時読み出し型の固体撮像素子を用いる方法が知られている（例えば、特許文献１参照）。
【０００４】
これは、固体撮像素子の２つの水平転送部を使用して、一方の水平転送部を介して一方のフィールドの撮像出力を読み出すと共に、他方の水平転送部を介して他方のフィールドの撮像出力としてスミア成分のみの撮像出力を読み出す。そして、各水平転送部を介して読み出される各フィールドの撮影出力を、減算手段が減算合成してスミア信号のない画素情報を出力する方法である。
【０００５】
図５に上記従来の固体撮像素子を用いた固体撮像装置の構成を示す。図５に示した固体撮像装置５０では、受光部５１ａと受光部５１ｂが縦方向に交互に配置されており、一方の水平転送部である水平ＣＣＤ５３を介して一方のフィールドの受光部５１ａから撮像出力を読み出すと共に、他方の水平転送部である水平ＣＣＤ５６を介して他方のフィールドの受光部５１ｂから撮像出力としてスミア信号のみの撮像出力を読み出し、各水平ＣＣＤ５３、５６を介して読み出される各フィールドの撮像出力を、減算手段である減算器５５により減算合成して、スミアのない画像信号を得ている。
【０００６】
そして、一方の受光部の撮像出力を読み出すと共に、他方の受光部のスミア信号のみの撮像出力を読み出すという動作を、受光部５１ａと受光部５１ｂについて、交互に繰り返すようにしている。
【特許文献１】特開平６−３３９０７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の固体撮像装置では、水平転送部を介して読み出される各フィールドの撮影出力を減算手段で減算合成してスミア補正をする際に、減算するスミア信号にノイズ成分が含まれるため、スミア補正の効果を十分に発揮できないという課題を有していた。
【０００８】
本発明は、このような従来の課題を解決するためになされたもので、スミア補正を行なう前に、スミア信号に対してノイズ除去を行なうことでスミア補正を行った画像のノイズを減少させることができる固体撮像装置を提供することを目的としたものである。
【課題を解決するための手段】
【０００９】
本発明の固体撮像装置は、複数倍垂直ＣＣＤを用い、スミア成分を含む画像信号からなる第一信号とノイズ成分を含むスミア信号からなる第二信号とを垂直ＣＣＤの各井戸で互いに垂直転送する垂直転送手段と、第一信号と第二信号とを水平転送する水平転送手段と、第二信号からノイズ成分を除去した第三信号を生成するノイズ除去手段と、第一信号から第三信号を減算するスミア減算手段とを備えた構成を有している。
【００１０】
この構成により、スミア補正を行なう前に、スミア信号に対してノイズ除去を行なうことでスミア補正を行った画像のノイズを減少させることができる。
【００１１】
また、本発明の固体撮像装置の複数倍垂直ＣＣＤは、２倍垂直ＣＣＤを用いた構成を有している。
【００１２】
この構成により、受光素子の数に対して２倍の垂直ＣＣＤの井戸を設けたことにより、受光素子で生じた第一信号と第二信号とを一つおきの垂直ＣＣＤの井戸に保持することができる。
【００１３】
また、本発明の固体撮像装置のノイズ除去手段は、同一の垂直ＣＣＤから得られる２つ以上のスミア信号を使用してノイズ除去を行なう構成を有している。
【００１４】
この構成により、スミア成分の高域に影響を及ぼさずにノイズの除去が可能になり、そのノイズ除去結果を補正信号とすることで、誤差の少ないスミア補正が可能になる。
【００１５】
また、本発明の撮像機器は、前述の固体撮像装置を用いた構成を有している。この構成により、誤差の少ないスミア補正が可能な固体撮像装置とすることができる。
【００１６】
さらに、本発明の固体撮像装置のスミア補正方法は、複数倍垂直ＣＣＤを用い、スミア成分を含む画像信号からなる第一信号とノイズ成分を含むスミア信号からなる第二信号とを垂直ＣＣＤの各井戸で互いに垂直転送する垂直転送ステップと、前記第一信号と前記第二信号とを水平転送する水平転送ステップと、前記第二信号からノイズ成分を除去した第三信号を生成するノイズ除去ステップと、前記第一信号から前記第三信号を減算するスミア減算ステップとを備えた構成を有している。
【００１７】
この構成により、スミア補正を行なう前に、スミア信号に対してノイズ除去を行なうことでスミア補正を行った画像のノイズを減少させることができる。
【発明の効果】
【００１８】
本発明の固体撮像装置は、複数倍垂直ＣＣＤを用い、スミア成分を含む画像信号からなる第一信号とノイズ成分を含むスミア信号からなる第二信号とを垂直ＣＣＤの各井戸で互いに垂直転送する垂直転送手段と、前記第一信号と前記第二信号とを水平転送する水平転送手段と、前記第二信号からノイズ成分を除去した第三信号を生成するノイズ除去手段と、前記第一信号から前記第三信号を減算するスミア減算手段とを備えた構成を有すことにより、スミア補正を行なう前に、スミア信号に対してノイズ除去を行なうことでスミア補正を行った画像のノイズ低減を図った固体撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の実施の形態の撮像装置について、図面を用いて説明する。
【００２０】
（実施の形態１）
図１は、本発明の実施の形態１における固体撮像装置の構成を示す部分ブロック図である。
【００２１】
図１において、本実施の形態の固体撮像装置１００は、スミア成分を含む画像信号からなる第一信号とノイズ成分を含むスミア信号からなる第二信号とを垂直ＣＣＤの各井戸で互いに垂直転送する垂直転送手段と、第一信号と第二信号とを水平転送する水平転送手段とを有する固体撮像素子１１と、固体撮像素子１１で得られた第一信号と第二信号とを図示してないＡｎａｌｏｇ  Ｆｒｏｎｔ  ＥｎｄとＡｎａｌｏｇ／Ｄｉｇｉｔａｌ変換器によって増幅すると共にアナログ信号をデジタル信号に変換する前処理手段１２と、後述するスミア補正処理手段１４と、画像信号出力を出力する画像信号処理手段１８とを有する構成である。
【００２２】
スミア補正処理手段１４は、第一信号と第二信号の時間軸を調整、分離して出力する時間軸変換手段１５と、ノイズ成分を含むスミア信号からなる第二信号からノイズ除去を行なうノイズ除去手段１６と、スミア成分を含む画像信号からなる第一信号からノイズ除去手段１６から出力された第三信号を減産するスミア減算手段１７とを有している。
【００２３】
以上のように構成された撮像装置１００の固体撮像素子１１について、図２の構造を示す模式図を用いて説明する。
【００２４】
図２において、撮像装置１００の固体撮像素子１１は、光が当たると電荷を生じる受光素子２１ａ、２１ｂ、２１ｃと、井戸に溜まった電荷を垂直転送する垂直ＣＣＤ２２ａ、２２ｂ、２２ｃと、井戸に溜まった電荷を水平転送する水平ＣＣＤ２３と、転送された電荷の検出を行なうＦｌｏａｔｉｎｇ  Ｄｉｆｆｕｓｉｏｎ（フローティング・ディフュージョン）２４（以下、ＦＤと呼ぶ）とで構成されている。
【００２５】
なお、図２では説明を簡単にするために固体撮像素子１１の受光素子２１ａ、２１ｂ、２１ｃを縦に３列、垂直ＣＣＤ２２ａ、２２ｂ、２２ｃも縦に３列並べた例を模式的に表している。
【００２６】
また、受光素子２１は縦に４つ並び、垂直ＣＣＤ２２は受光素子２１の数に対して２倍の数が並んでいて、下端において水平ＣＣＤ２３に接続している。
【００２７】
受光素子２１ａ、２１ｂ、２１ｃに光が当たることによって生じた電荷は、黒い矢印で示す搬送手段２６ａ、２６ｂ、２６ｃが垂直ＣＣＤ２２ａ、２２ｂ、２２ｃに運ぶ。このとき、垂直ＣＣＤ２２ａ、２２ｂ、２２ｃの数が受光素子２１ａ、２１ｂ、２１ｃの数の２倍あるため、受光素子２１ａ、２１ｂ、２１ｃで生じた電荷を一つおきの垂直ＣＣＤ２２ａ、２２ｂ、２２ｃの井戸に画像信号２７として保持する。
【００２８】
通常露光時の受光素子２１の電荷４つを垂直ＣＣＤ２２ａ、２２ｂ、２２ｃに対して一つおきに搬送し、他の垂直ＣＣＤ２２ａ、２２ｂ、２２ｃには受光素子２１の電荷を搬送していない。
【００２９】
一方、垂直ＣＣＤ２２ｂに太陽や高輝度ランプなどのスミア発生源２８からの光が当たると、垂直ＣＣＤ２２ｂに白丸で示したスミア電荷が溜まる。図２では、垂直ＣＣＤ２２ｂの上から４番目の井戸から下の井戸まで全てにスミア電荷、すなわちスミア信号２９が溜まったことを示している。
【００３０】
垂直ＣＣＤ２２ｂの井戸に溜まった画像信号２７とスミア信号２９は、垂直ＣＣＤ２２ｂから水平ＣＣＤ２３に向けて、１チャンネル分ずつ押し出される形で順次送られる。
【００３１】
そして、垂直ＣＣＤ２２ａ及び垂直ＣＣＤ２２ｂから水平ＣＣＤ２３に送られた信号は、ＦＤ２４で所定の処理後に図１の前処理手段１２へ送られてスミア補正が行われる。
【００３２】
ここでＣＣＤ撮像装置においては、システムに起因する周期性クロックノイズ等のノイズが発生し、上述のスミア補正においても画像に影響が出る。画像信号とスミア信号とノイズの関係について説明する。
【００３３】
スミア成分を含む画像信号Ｉｓは、スミア成分を含まない画像信号成分Iと、スミア成分Ｓｍと、画像信号に含まれるノイズ成分ｎｉを含んでいるので、Ｉｓ＝I＋Ｓｍ＋ｎｉと表される。ノイズ成分ｎｓを含むスミア信号Ｓｓは、Ｓｓ＝Ｓｍ＋ｎｓと表されるので、スミア補正を行った画像信号Ｉｍは、数１で表される。
【００３４】
【数１】
2010141630.tif 000003
【００３５】
スミア成分を除去する前の画像ＩｍにおけるノイズのＲＭＳ（Ｒｏｏｔ  Ｍｅａｎ  Ｓｑｕａｒｅｄ  Ｖａｌｕｅ）を、ＲＭＳ（ｎｉ）とすると、スミア成分を除去した画像IのノイズのＲＭＳは、数２で表される。
【００３６】
【数２】
2010141630.tif 000004
【００３７】
よって、ノイズのＲＭＳはスミア成分を除去する前の画像の√２倍になり、ノイズレベルは約３．０ｄＢ悪化する。
【００３８】
そこで、本発明は、ノイズ除去を行ったスミア信号を使用して、画像信号に含まれるスミア成分を除去する。ノイズ除去の手法に関して様々な手法が提案されているがここでは単純に４つのスミア信号（Ｓ１、Ｓ２、Ｓ３、Ｓ４）を加算平均によってスミア補正を行った場合を示す。
【００３９】
ノイズ除去を行ったスミア信号Ｓｎは、４つのスミア信号Ｓ１、Ｓ２、Ｓ３、Ｓ４に含まれるノイズ成分をｎ１、ｎ２、ｎ３、ｎ４とすると、数３で表される。
【００４０】
【数３】
2010141630.tif 000005
【００４１】
ノイズ除去をおこなったスミア信号Ｓｎと、画像信号Ｉｓを減算して、スミア成分を除去した画像Ｉｎは、Ｉｎ＝ Ｉｓ−Ｓｎとなるので、数４で表される。
【００４２】
【数４】
2010141630.tif 000006
【００４３】
よって、スミア成分を除去した画像ＩｎのノイズのＲＭＳは、数５で表される。
【００４４】
【数５】
2010141630.tif 000007
【００４５】
つまり、スミア成分を除去した画像ＩｎのノイズのＲＭＳはスミア成分を除去する前の画像の約１．１倍になり、ノイズレベルは約０．９７ｄＢの悪化となる。よって、ノイズ除去を行なわないスミア信号でスミア補正を行った画像と比較して、ノイズレベルは、約２．０ｄＢ改善されることになる。
【００４６】
次に、図３を用いて画像を補正する様子を説明する。図３において、図３（ａ）は、本発明の実施の形態１における固体撮像素子１１で通常露光したときの画像で、陸地、家、山、空の画像信号２７とスミア発生源２８（破線で表示）である太陽の光により発生している画面右側の上下の帯のスミア信号２９とを示している。
【００４７】
一方、図３（ｂ）は、受光素子２１からの電荷を転送しないとき、いわゆる露光時間ゼロのときの画像で、スミア発生源２８により受光素子２１に電荷が生じたスミア信号２９を示しており、図中のｘ方向とｙ方向の矢印の説明は後述する。
【００４８】
図３（ｃ）は、図３（ｂ）のスミア信号２９からノイズ除去を行った補正信号を作成し、図３（ａ）のスミア信号２９を含む画像信号２７から作成した上述の補正信号を減算したスミア信号２９を含まない画像信号３０を示している。図３（ｃ）では、スミア発生源である太陽についても一つの画像信号としてスミア補正されている。
【００４９】
次に、図４を用いてスミア信号２９に対して加算平均によるノイズ除去を行い、前述の補正信号を生成する様子を説明する。
【００５０】
図４において、図４（ａ）は、図３（ｂ）に示した同一垂直ＣＣＤ２２ｂから得られたスミア信号２９が並んでいる方向（ｙ方向）の信号レベルを示す。
【００５１】
ここで、ａ１は垂直ＣＣＤ２２ｂから得られたノイズ成分を含むスミア信号２９を示し、いずれもスミア発生源２８の影響を受けた垂直ＣＣＤ２２から得られた信号であるためノイズ成分を含む一定のスミア成分が示されている。一方、ａ２は垂直ＣＣＤ２２ａ、２２ｃから得られたノイズ成分のみの信号を示す。
【００５２】
図４（ｂ）は、図３（ｂ）に示した異なる垂直ＣＣＤ２２ａ、２２ｂ、２２ｃから得られたスミア信号２９が並んでいる方向（ｘ方向）の信号レベルを示す。ここで、ｂ２は垂直ＣＣＤ２２ｂから得られたノイズ成分を含むスミア信号２９を示し、ｂ１、ｂ３（両側の信号レベルの低い部分）はそれぞれ垂直ＣＣＤ２２ａ，２２ｃから得られたノイズ成分のみの信号を示す。
【００５３】
図４（ｃ）は、図４（ａ）より加算平均によるノイズ成分を除去した信号レベルを示し、ｃ１は垂直ＣＣＤ２２ｂから得られたノイズ成分を除去したスミア信号を示し、ｃ２は垂直ＣＣＤ２２ａ、２２ｃから得られた信号を示す。
【００５４】
図４（ｄ）は、図４（ｂ）より加算平均によるノイズ成分を除去した信号レベルを示し、スミア成分の空間周波数成分における高域が除去されて、スミア成分がなかった信号までスミア信号が広がっている。
【００５５】
本実施の形態の撮像装置のノイズ除去手法においては、図４（ｃ）のようにｙ方向のスミア信号２９に対してノイズ除去を行なうことで、スミア成分の高域に影響を及ぼさずにノイズの除去が可能になり、そのノイズ除去結果を補正信号とすることで、誤差の少ないスミア補正が可能になる。
【００５６】
なお、本実施の形態の撮像装置のノイズ除去手法においては、転送経路の特性の影響を受けずにスミア信号を適正に除去し、撮影情報の読み出し速度を速くすることができるように、スミア成分を含む画像信号とスミア信号の両者を共通の水平ＣＣＤを介して送出する例を示したが、スミア成分を含む画像信号とスミア信号とを別々の水平ＣＣＤを介して信号を送出する場合であってもノイズ除去結果を補正信号とすることで、誤差の少ないスミア補正が可能である。
【００５７】
また、以上の本実施の形態では、加算平均によるノイズ除去を行なうように説明したが、本発明はこれに限ることなく、エッジ成分を保存するバイラテラルフィルタ（Ｂｉｌａｔｅｒａｌ  Ｆｉｌｔｅｒ）やメディアンフィルタ（Ｍｅｄｉａｎ  Ｆｉｌｔｅｒ）であってもよい。
【産業上の利用可能性】
【００５８】
以上のように、本発明にかかる複数倍垂直ＣＣＤを用いた固体撮像装置は、スミア補正を行なう前に、スミア信号に対してノイズ除去を行なうことでスミア補正を行った画像のノイズ減少を図ることができるという効果を有し、デジタルカメラ、車載用カメラ、監視カメラ、ビデオカメラ等の撮像機器に有用である。
【図面の簡単な説明】
【００５９】
【図１】本発明の実施の形態１における撮像装置の構成を示す部分ブロック図
【図２】本発明の実施の形態１における固体撮像素子の構造を示す模式図
【図３】（ａ）本発明の実施の形態１における通常露光時の画像を示す図（ｂ）露光時間ゼロ時の画像を示す図（ｃ）スミア補正後の画像を示す図
【図４】（ａ）本発明の実施の形態１におけるノイズ除去前の同一垂直ＣＣＤの信号レベルを示す図（ｂ）ノイズ除去前の異なる垂直ＣＣＤの信号レベルを示す図（ｃ）同一垂直ＣＣＤのノイズ除去後の信号レベルを示す図（ｄ）異なる垂直ＣＣＤのノイズ除去後の信号レベルを示す図
【図５】従来の固体撮像素子の構造を示す模式図
【符号の説明】
【００６０】
１１    固体撮像素子
１２    前処理手段
１４    スミア補正処理手段
１５    時間軸変換手段
１６    ノイズ除去手段
１７    スミア減算手段
１８    画像信号処理手段
２１    受光素子
２２    垂直ＣＣＤ
２３    水平ＣＣＤ
２４    Ｆｌｏａｔｉｎｇ  Ｄｉｆｆｕｓｉｏｎ
２６    搬送手段
２７    画像信号
２８    スミア発生源
２９    スミア信号
１００    固体撮像装置
【図１】
2010141630.tif 000008
【図２】
2010141630.tif 000009
【図３】
2010141630.tif 000010
【図４】
2010141630.tif 000011
【図５】
2010141630.tif 000012