(57)【要約】【課題】高画質を得るための適切な縦筋補正技術を提供すること。【解決手段】Ａ／Ｄ変換器１０３で量子化された固体撮像素子１０１の出力信号のうち、垂直ＯＢラインの期間のみの信号がＯＢライン選択器１０５で選択されてラインメモリ１０６に格納される。レベル調整器１０７は増幅器１０２の増幅率が変化したフレームの最初の垂直ＯＢラインの期間にラインメモリ１０６から読み出された過去の垂直ＯＢライン信号をレベル調整し、選択器Ａ１０８経由で出力する。減算器１０９は現在の垂直ＯＢライン信号からレベル調整済みの信号を減算する。乗算器１１１は減算済みの信号に対して選択器Ｂ１１１経由で増幅率が変化したフレームの最初の垂直ＯＢラインの期間用の巡回係数Ｋ1Hの乗算を行なう。減算器１１２は現在の垂直ＯＢライン信号から上記乗算結果を減算し、その減算結果をラインメモリ１０６に再書き込みすることで巡回動作が行なわれる。【選択図】図１
2012175328.tif 000002
【特許請求の範囲】
【請求項１】
光学的黒領域を有する固体撮像素子と、
該固体撮像素子の出力信号に対して縦筋補正を行なう縦筋補正部とを有し、
前記縦筋補正部は、
前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するＯＢライン選択部と、
前記光学的黒ライン信号を格納するメモリと、
前記メモリから読み出された過去フレームの光学的黒ライン信号を前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するレベル調整部と、
現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算部と、
前記差信号に巡回係数を乗算して積を算出する乗算部と、
前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算部と、
前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算部と、
を備えている撮像装置。
【請求項２】
光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なう撮像方法であって、
前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップと、
前記光学的黒ライン信号をメモリに格納するステップと、
過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップと、
現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップと、
前記差信号に巡回係数を乗算して積を算出するステップと、
前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップと、
前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップと、
を備えている撮像方法。
【請求項３】
光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なうためのプログラムであって、
コンピュータに下記のステップを実行させるためのプログラム。
前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップ；
前記光学的黒ライン信号をメモリに格納するステップ；
過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップ；
現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップ；
前記差信号に巡回係数を乗算して積を算出するステップ；
前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップ；
前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子を利用した撮像装置および撮像方法ならびにプログラムに関する。
【背景技術】
【０００２】
従来より、固体撮像素子を使用した撮像装置においては、システム起因の周期性クロックノイズや垂直転送レジスタの欠陥に起因するノイズによる画質劣化が問題となっている。これらのノイズのレベルそのものは極めて低いが、画面上では固定した縦筋状のノイズとなるため非常に目立ち易く、画質を顕著に劣化させる結果となる。また、周囲よりも極めて輝度の高い被写体を撮像した際に画面全体にわたって直線状に白飛びが発生するスミア現象も、画質劣化の主要因のひとつである。
【０００３】
このような縦筋状ノイズを除去する手法が検討されてきているが、特許文献１（特開平７−６７０３８号公報）には、個体撮像素子の垂直方向の光学的黒画素部分（垂直ＯＢ領域）の出力信号を画素単位で積分（加算平均）してランダムなノイズ成分を平均化して零とすることにより固定パターンノイズ信号を検出し、個体撮像素子の有効画素部分の出力信号より上記固定パターンノイズ信号を減算することで、白線等及びスミアを改善する方法が開示されている。
【０００４】
図４は、上述したような、光学的に黒の領域である垂直ＯＢ領域を利用して縦筋状ノイズ（以下では、単に「縦筋」という）の補正を行う際の、従来の撮像装置の構成例の概略を示すブロック図である。
【０００５】
図４に示すように、固体撮像素子１００１からの出力信号は、増幅器１００２で増幅された後、Ａ／Ｄ変換器１００３にて量子化され、縦筋補正部１００４に入力される。
【０００６】
縦筋補正部１００４は、ＯＢライン選択器１００５、ラインメモリ１００６、ライン積分器１００７、減算器１００８を備えている。
【０００７】
ＯＢライン選択器１００５は、有効画素領域の信号と垂直ＯＢ領域の信号のうち、垂直ＯＢ領域の信号のみを出力する。ライン積分器１００７は、ラインメモリ１００６を利用して、垂直ＯＢ領域の信号を画素毎にライン積分（加算平均）する。これによりランダムノイズは除去され、１ライン分の補正値が得られる。この補正値は、ラインメモリ１００６に格納される。ライン積分器１００７は、ラインメモリ１００６に格納された補正値を読み出し、減算器１００８に出力する。減算器１００８は、固体撮像素子１００１から入力された各ライン信号から上述の補正値を画素毎に減算する。このような手順により、縦筋状ノイズが除去された（縦筋補正された）信号が得られる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平７−６７０３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述したような従来手法では、固体撮像素子に設けられた垂直ＯＢ領域のライン数が少ない場合には、フレーム内でライン積分（加算平均）を行なう際の、垂直方向の１画素毎の加算平均回数が少なくなるため、ノイズ低減が不十分となって、補正後の信号にノイズが残ってしまう場合がある。また、フレーム間で加算平均を行なうような場合には、特に、フレーム間で撮像装置の増幅器１００２のゲインを変化させた場合に、ノイズと縦筋が残留してしまう。
【００１０】
本発明は、上述したような従来の撮像装置の問題点に鑑みてなされたもので、その目的とするところは、垂直ＯＢ領域のライン数が少ない場合や、増幅器のゲインがフレーム間で変化した場合でも、縦筋補正を適切に行うことにより高い画質が得られる技術を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の撮像装置は、光学的黒領域を有する固体撮像素子と、該固体撮像素子の出力信号に対して縦筋補正を行なう縦筋補正部とを有し、前記縦筋補正部は、前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するＯＢライン選択部と、前記光学的黒ライン信号を格納するメモリと、前記メモリから読み出された過去フレームの光学的黒ライン信号を前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するレベル調整部と、現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算部と、前記差信号に巡回係数を乗算して積を算出する乗算部と、前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算部と、前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算部と、を備えている。
【００１２】
また、本発明の撮像方法は、光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なう撮像方法であって、前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップと、前記光学的黒ライン信号をメモリに格納するステップと、過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップと、現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップと、前記差信号に巡回係数を乗算して積を算出するステップと、前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップと、前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップと、を備えている。
【００１３】
さらに、本発明のプログラムは、光学的黒領域を有する固体撮像素子の出力信号に対して縦筋補正を行なうためのプログラムであって、コンピュータに下記のステップを実行させるためのプログラムである。前記固体撮像素子の出力信号に含まれる光学的黒ライン信号を選択するステップ；前記光学的黒ライン信号をメモリに格納するステップ；過去フレームの光学的黒ライン信号を前記メモリから読み出して前記固体撮像素子の出力信号の映像ゲインに応じてレベル調整するステップ；現在フレームの最初の光学的黒ライン信号と前記レベル調整がされた過去フレームの光学的黒ライン信号との差信号を算出する第１の減算ステップ；前記差信号に巡回係数を乗算して積を算出するステップ；前記現在フレームの光学的黒ライン信号から前記差信号と巡回係数の積を減算した信号を求め、該減算済み信号を前記メモリに光学的黒ライン信号として再書込みする第２の減算ステップ；前記固体撮像素子の有効画素領域からの出力信号から前記メモリから読み出した信号を減算する第３の減算ステップ。
【発明の効果】
【００１４】
本発明によれば、垂直ＯＢ領域のライン数が少ない場合でも、フレーム間の巡回動作により、効果的にノイズ低減が行われ、適切な縦筋補正を行なうことができる。また、撮像装置の増幅器のゲインがフレーム間で変化した場合でも、前フレームまで巡回させた垂直ＯＢライン信号を映像レベルの変化分だけレベル調整して巡回させることができる。その結果、増幅率が変化するなどの映像レベル変化に縦筋補正信号のレベルを追随させることにより補正の残留を少なくして縦筋補正を行なうことが可能となる。
【図面の簡単な説明】
【００１５】
【図１】実施例における撮像装置の構成を示すブロック図
【図２】実施例における撮像装置のゲイン調整の説明図
【図３】実施例における信号処理のフローチャート
【図４】光学的に黒の領域である垂直ＯＢ領域を利用して縦筋状ノイズの除去のための補正を行う際の、従来の撮像装置の構成例の概略を示すブロック図
【発明を実施するための形態】
【００１６】
以下に、図面を参照して、本発明を実施するための形態について説明する。
【実施例】
【００１７】
図１は、本実施例における撮像装置の構成を示すブロック図である。
【００１８】
固体撮像素子１０１の出力信号は、増幅器１０２で増幅された後、Ａ／Ｄ変換器１０３にて量子化され、縦筋補正部１０４に入力される。
【００１９】
縦筋補正部１０４は、ＯＢライン選択器１０５、ラインメモリ１０６、レベル調整器１０７、第１の選択器（選択器Ａ）１０８、第２の選択器（選択器Ｂ）１１０、乗算器１１１、および、３つの減算器１０９、１１２、１１３を備えている。
【００２０】
ＯＢライン選択器１０５には、Ａ／Ｄ変換器１０３で量子化された信号Ｑnが入力され、当該信号Ｑnのうちの、垂直ＯＢラインの期間のみの信号（垂直ＯＢライン信号：Ｘn）を出力する。
【００２１】
ラインメモリ１０６には、上記垂直ＯＢライン信号Ｘnに対して後述する演算を施して得られた減算結果Ｙnが、フレーム毎に再書込みされる。
【００２２】
ラインメモリ１０６に格納された減算結果は、上記垂直ＯＢライン信号Ｘnがフレーム内の最初の垂直ＯＢライン信号である場合には、過去フレームの垂直ＯＢライン信号Ｙn-1がレベル調整器１０７に排出される。この場合の過去フレームの垂直ＯＢライン信号Ｙn-1は、フレーム内の最初の垂直ＯＢライン信号が縦筋補正部１０４に入力される期間にラインメモリ１０６から読み出された過去フレームの垂直ＯＢライン信号である。
【００２３】
一方、上記垂直ＯＢライン信号Ｘnが２ライン目以降の垂直ＯＢライン信号である場合には、上記レベル調整器１０７を介さずに、過去フレームの垂直ＯＢライン信号Ｙn-1が選択器Ａ１０８へと排出される。
【００２４】
垂直ＯＢライン信号Ｘnがフレーム内の最初の垂直ＯＢライン信号である場合に過去フレームの垂直ＯＢライン信号Ｙn-1がレベル調整器１０７に排出されると、レベル調整器１０７は、この垂直ＯＢライン信号Ｙn-1を、増幅器１０２の増幅率に応じてレベル調整し、調整後の垂直ＯＢライン信号Ｙn-1を選択器Ａ１０８に出力する。なお、増幅器１０２の増幅率に応じたレベル調整については後述する。
【００２５】
選択器Ａ１０８は、垂直ＯＢライン信号Ｘnがフレーム内の最初の垂直ＯＢライン信号である場合にはレベル調整後の垂直ＯＢライン信号Ｙn-1を、垂直ＯＢライン信号Ｘnが２ライン目以降の垂直ＯＢライン信号である場合には過去フレームの垂直ＯＢライン信号Ｙn-1を、減算器１０９に排出する。
【００２６】
減算器１０９は、ＯＢライン選択器１０５からの垂直ＯＢライン信号Ｘnと、選択器Ａ１０８からの垂直ＯＢライン信号Ｙn-1の入力を受け、上記垂直ＯＢライン信号Ｘnから上記垂直ＯＢライン信号Ｙn-1を減算して、その結果（Ｘn−Ｙn-1）を乗算器１１１へと出力する。
【００２７】
選択器Ｂ１１０は、垂直ＯＢライン信号Ｘnがフレーム内の最初の垂直ＯＢライン信号である場合には巡回係数Ｋ1Hを、垂直ＯＢライン信号Ｘnが２ライン目以降の垂直ＯＢライン信号である場合には巡回係数Ｋを、乗算器１１１へと出力する。
【００２８】
乗算器１１１は、上記減算結果（Ｘn−Ｙn-1）および上記巡回係数Ｋ1HまたはＫの入力を受け、両者の乗算を行う。すなわち、垂直ＯＢライン信号Ｘnがフレーム内の最初の垂直ＯＢライン信号である場合には（Ｘn−Ｙn-1）に巡回係数Ｋ1Hを乗じてＫ1H（Ｘn−Ｙn-1）とし、垂直ＯＢライン信号Ｘnが２ライン目以降の垂直ＯＢライン信号である場合には（Ｘn−Ｙn-1）に巡回係数Ｋを乗じてＫ（Ｘn−Ｙn-1）とする。そして、この乗算結果は、減算器１１２へと出力される。
【００２９】
減算器１１２は、ＯＢライン選択器１０５からの垂直ＯＢライン信号Ｘnと、乗算器１１１からのＫ1H（Ｘn−Ｙn-1）またはＫ（Ｘn−Ｙn-1）の入力を受け、垂直ＯＢライン信号ＸnからＫ1H（Ｘn−Ｙn-1）またはＫ（Ｘn−Ｙn-1）を減算して、その結果を、ラインメモリに再書き込みする垂直ＯＢライン信号Ｙnとして、減算器１１３およびラインメモリ１０６へと出力する。
【００３０】
以降、上記巡回動作が繰り返される。
【００３１】
つまり、上記の巡回動作では、垂直ＯＢライン信号Ｘnがフレーム内の最初の垂直ＯＢライン信号である場合には下式（１）が、また、垂直ＯＢライン信号Ｘnが２ライン目以降の垂直ＯＢライン信号である場合には下式（２）が、ラインメモリに再書き込みする垂直ＯＢライン信号Ｙnとして得られることにる。
【００３２】
【数１】
2012175328.tif 000003
【００３３】
【数２】
2012175328.tif 000004
【００３４】
減算器１１３には、Ａ／Ｄ変換器１０３で量子化された信号Ｑnと減算器１１２からの式（１）又は式（２）で標記される垂直ＯＢライン信号Ｙnが入力される。減算器１１３は、上記式（１）又は式（２）で標記される垂直ＯＢライン信号Ｙnを縦筋補正信号として、量子化された信号Ｑnから減算することで、縦筋補正動作を行う。
【００３５】
図２は、本実施例におけるレベル調整器１０７が実行するゲイン調整を説明するための図である。
【００３６】
フレーム１とフレーム２の間のブランキング期間において増幅器１０２のゲインがＧａからＧｂに変化すると仮定する。この場合、フレーム２の映像信号レベルは、フレーム１の映像信号レベルに対してＧｂ／Ｇａ倍となる。
【００３７】
そこで、垂直ＯＢラインの最初のラインにてラインメモリ１０６から読み出された過去フレームの垂直ＯＢライン信号に対し、レベル調整用ゲイン値＝Ｇｂ／Ｇａを乗じて、現在の垂直ＯＢライン信号に近いレベルに調整する。そして、この調整後の垂直ＯＢライン信号に対して（式１）の巡回動作を行い、再度、ラインメモリ１０６に書き込み、調整済み信号Ｙnとする。
【００３８】
垂直ＯＢラインの２ライン目以降の同一フレームでは、増幅器１０２のゲインには変化がないため信号の調整は必要ない。従って、垂直ＯＢラインの２ライン目以降は、レベル調整用ゲイン値を１に戻す。
【００３９】
以上の動作により、フレーム１もフレーム２も、ゲインに関わらずラインメモリ１０６に格納された信号Ｙnのレベルと垂直ＯＢライン信号のレベルは概ね近いものとなり、上述した縦筋補正が可能となる。
【００４０】
図３は、本実施例における信号処理のフローチャートであり、以下に説明する各ステップは、本発明の撮像方法を構成する。
【００４１】
先ず、縦筋補正信号を生成するに当たり、過去フレームにてラインメモリ１０６に格納されている垂直ＯＢライン信号Ｙn-1の読み出しを行なう（Ｓ３０１）。次に、固体撮像素子１０１から増幅器１０２およびＡ／Ｄ変換器１０３を介して入力される量子化された信号が、垂直ＯＢの１ライン目のものであるか否かを判断する（Ｓ３０２）。
【００４２】
この信号が垂直ＯＢの１ライン目のものであれば（Ｓ３０２：Ｙｅｓ）、Ｓ３０１で読み出された信号Ｙn-1のレベル調整を行う。具体的には、［Ｙn-1×Ｇｂ／Ｇａ］を新たなＹn-1として置き換える（Ｓ３０３）。なお、上記量子化された信号が垂直ＯＢの１ライン目のものでない場合には（Ｓ３０２：Ｎｏ）、垂直ＯＢの２ライン目以降のものであるから、Ｙn-1はそのままとする。
【００４３】
続いて、現在の垂直ＯＢラインの信号Ｘnから上記Ｙn-1を減算する（Ｓ３０４）。
【００４４】
さらに、現在の信号が垂直ＯＢの１ライン目のものであるか否かを判断し（Ｓ３０５）、この信号が垂直ＯＢの１ライン目のものであれば（Ｓ３０５：Ｙｅｓ）、巡回係数Ｋ1Hを乗算してＫ1H・（Ｘn−Ｙn-1）を算出する（Ｓ３０６）。
【００４５】
一方、この信号が２ライン目以降の垂直ＯＢであれば（Ｓ３０５：Ｎｏ）、巡回係数Ｋを乗算してＫ・（Ｘn−Ｙn-1）を算出する（Ｓ３０７）。
【００４６】
そして、上記Ｓ３０６またはＳ３０７で得られた値を用いて、上記式１および式２で与えられるＹnを算出し（Ｓ３０８）、これを再びラインメモリ１０６に格納する（Ｓ３０９）。
【００４７】
垂直ＯＢラインが終了したか否かを判断し（Ｓ３１０）、終了していない場合には（Ｓ３１０：Ｎｏ）、Ｓ３０１に戻り上記ステップを繰り返す。一方、垂直ＯＢラインが終了していれば（Ｓ３１０：Ｙｅｓ）、有効画素からラインメモリ１０６に格納されている信号を縦筋補正信号として読み出して減算することで縦筋補正を行なう（Ｓ３１１）。
【００４８】
このようにして、映像レベル変化に縦筋補正信号のレベルを追随させることにより補正の残留を少なくした縦筋補正が実行される。
【００４９】
上述した処理のうち、現在の信号が垂直ＯＢ領域の１ライン目のものか２ライン目以降のものかあるいは有効画素領域のものであるかの掌握は、例えば割り込み処理を利用して行うことができる。
【００５０】
なお、上述の実施例では、ゲイン変化をＡ／Ｄ変換前の増幅器の増幅率の変化として説明したが、Ａ／Ｄ変換後の量子化された信号に対して乗算を行なうことでゲインを変えることも可能である。かかる変更後の態様も、本発明の範囲に含まれる。また、垂直ＯＢ１ライン目におけるゲイン調整についてはＧｂ／Ｇａ倍に限定するものではなく、別に定めた係数を付加して調整することもできる。
【００５１】
以上、実施例により本発明の撮像装置および撮像方法について説明したが、上述の撮像方法を構成する各ステップは、これを記録したプログラムにより、コンピュータを用いて実行することができることは明らかである。
【産業上の利用可能性】
【００５２】
本発明によれば、増幅率が変化するなどの映像レベル変化に縦筋補正信号のレベルを追随させることにより補正の残留を少なくして縦筋補正を行なうことが可能となる。
【符号の説明】
【００５３】
１０１、１００１  固体撮像素子
１０２、１００２  増幅器
１０３、１００３  Ａ／Ｄ変換器
１０４、１００４  縦筋補正部
１０５、１００５  ＯＢライン選択器
１０６、１００６  ラインメモリ
１０７  レベル調整器
１０８  選択器Ａ
１０９、１１２、１１３、１００８  減算器
１１０  選択器Ｂ
１１１  乗算器
１００７  ライン積分器
【図１】
2012175328.tif 000005
【図２】
2012175328.tif 000006
【図３】
2012175328.tif 000007
【図４】
2012175328.tif 000008