(57)【要約】【課題】撮像素子の列アンプのゲインの切り替え時に、画像における縦線の発生を抑制する。【解決手段】複数の画素及び画素列毎に配置された列アンプを有する撮像素子と、撮像素子の垂直ＯＢ部の画素から読み出した信号を受けて複数フレーム分の信号を平均化処理して列毎の補正データを生成する補正データ生成部と、列アンプのゲイン毎に補正データを記憶する補正データメモリと、列アンプのゲインに対応する補正データを読み出し、撮像素子の有効画素部の画素から読み出した信号を対応する列の補正データを用いて補正する補正部と、列アンプのゲインを設定するＣＰＵとを有し、列アンプのゲインを切り替える場合、有効画素部の画素からの信号の読み出しにおける列アンプのゲインを切り替える前に、垂直ＯＢ部の画素からの信号の読み出しのみを切り替え後のゲインに設定して行い補正データを生成する。【選択図】図１
2015154199.tif 000002
【特許請求の範囲】
【請求項１】
二次元の行列状に配置され、入射された光を電気信号に変換する光電変換素子をそれぞれ有する複数の画素、及び画素列毎に配置され前記画素からの信号を設定される複数の増幅値で増幅する列アンプを有する撮像素子と、
前記撮像素子に設けられた垂直オプティカルブラック部の遮光された画素行の画素から読み出した信号を受けて複数フレーム分の当該信号を列毎に平均化処理して列毎の補正データを生成する補正データ生成手段と、
前記列アンプに設定される増幅値毎に、前記補正データ生成手段により生成された前記補正データを記憶する補正データ記憶手段と、
前記列アンプに設定された増幅値に対応する前記補正データを前記補正データ記憶手段から読み出し、前記撮像素子の有効画素部の画素から読み出した信号を対応する列の前記補正データを用いて補正する画像処理手段と、
被写体の明るさに応じて前記列アンプの増幅値を設定する制御手段とを有し、
前記列アンプの増幅値を第１の増幅値から第２の増幅値に切り替える場合、前記有効画素部の画素からの信号の読み出しにおける前記列アンプの増幅値を切り替える前に、前記垂直オプティカルブラック部の画素からの信号の読み出しのみを前記列アンプの増幅値を前記第２の増幅値に設定して行い前記第２の増幅値に対応する補正データを生成することを特徴とする撮像装置。
【請求項２】
前記撮像素子の温度を検出する温度検出手段を有し、
前記列アンプの増幅値を前記第１の増幅値から前記第２の増幅値に切り替える前に、現在の前記撮像素子の温度と、前記第２の増幅値に対応する補正データを更新したときの前記撮像素子の温度との差が所定値より大きい場合には、前記垂直オプティカルブラック部の画素からの信号の読み出しのみを前記列アンプの増幅値を前記第２の増幅値に設定して行い前記第２の増幅値に対応する補正データを生成することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記列アンプに設定されるそれぞれの増幅値での前記補正データを電源起動時にそれぞれ生成し、前記補正データ記憶手段に記憶することを特徴とする請求項１又は２記載の撮像装置。
【請求項４】
前記列アンプの増幅値が第１の増幅値から第２の増幅値に切り替わる場合、フレーム毎に前記列アンプの増幅値を前記第１の増幅値及び前記第２の増幅値に切り替えて前記垂直オプティカルブラック部の画素から信号を読み出し、前記第１の増幅値に対応する補正データ及び前記第２の増幅値に対応する補正データをそれぞれ生成することを特徴とする請求項１記載の撮像装置。
【請求項５】
二次元の行列状に配置され、入射された光を電気信号に変換する光電変換素子をそれぞれ有する複数の画素、及び画素列毎に配置され前記画素からの信号を設定される複数の増幅値で増幅する列アンプを有する撮像素子を有する撮像装置の撮像方法であって、
前記撮像素子に設けられた垂直オプティカルブラック部の遮光された画素行の画素から読み出した信号を受けて複数フレーム分の当該信号を列毎に平均化処理して列毎の補正データを生成し、前記列アンプに設定される増幅値毎に補正データ記憶手段に記憶する補正データ生成工程と、
前記列アンプに設定された増幅値に対応する前記補正データを前記補正データ記憶手段から読み出し、前記撮像素子の有効画素部の画素から読み出した信号を対応する列の前記補正データを用いて補正する画像処理工程と、
被写体の明るさに応じて前記列アンプの増幅値を設定する制御工程とを有し、
前記列アンプの増幅値を第１の増幅値から第２の増幅値に切り替える場合、前記有効画素部の画素からの信号の読み出しにおける前記列アンプの増幅値を切り替える前に、前記垂直オプティカルブラック部の画素からの信号の読み出しのみを前記列アンプの増幅値を前記第２の増幅値に設定して行い前記第２の増幅値に対応する補正データを生成することを特徴とする撮像方法。
【請求項６】
二次元の行列状に配置され、入射された光を電気信号に変換する光電変換素子をそれぞれ有する複数の画素、及び画素列毎に配置され前記画素からの信号を設定される複数の増幅値で増幅する列アンプを有する撮像素子を有する撮像装置の撮像方法をコンピュータに実行させるためのプログラムであって、
前記撮像素子に設けられた垂直オプティカルブラック部の遮光された画素行の画素から読み出した信号を受けて複数フレーム分の当該信号を列毎に平均化処理して列毎の補正データを生成し、前記列アンプに設定される増幅値毎に補正データ記憶手段に記憶する補正データ生成ステップと、
前記列アンプに設定された増幅値に対応する前記補正データを前記補正データ記憶手段から読み出し、前記撮像素子の有効画素部の画素から読み出した信号を対応する列の前記補正データを用いて補正する画像処理ステップと、
被写体の明るさに応じて前記列アンプの増幅値を設定する制御ステップとをコンピュータに実行させ、
前記列アンプの増幅値を第１の増幅値から第２の増幅値に切り替える場合、前記有効画素部の画素からの信号の読み出しにおける前記列アンプの増幅値を切り替える前に、前記垂直オプティカルブラック部の画素からの信号の読み出しのみを前記列アンプの増幅値を前記第２の増幅値に設定して行い前記第２の増幅値に対応する補正データを生成するよう制御することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
ＣＭＯＳイメージセンサ等の固体撮像素子を用いた撮像装置は、多画素化、高速撮像、低ノイズ化が要求されている。多くの画素からの撮像信号を高速に処理するために単純に処理周波数を上げると、アナログ回路系においてノイズが発生したり、消費電力が増加したりする。そのため、行方向及び列方向に画素が配されて成る撮像素子から各列同時に撮像信号を並列に読み出したり、水平方向の転送を複数のラインで並列に行ったりなどして、信号読み出し処理を低速で行う手法が用いられている。
【０００３】
しかし、製造プロセスにおけるバラツキ等が原因で、画素列毎の入出力特性にバラツキが生じ、出力画像に縦線をおびた固定パターンノイズが発生してしまう問題がある。特に問題となるのは、撮像素子の内部に列毎に配置しているアンプ（以下、列アンプと称す）の電気的特性のオフセットバラつきによる縦線である。列アンプのオフセット成分に基づく縦線をキャンセルするために、撮像素子内部の遮光された画素領域である垂直オプティカルブラック（ＯＢ：Optical Black）部を用いて、縦線補正を行っている。
【０００４】
ここで、撮像素子内部の垂直ＯＢ部として上部の１０ライン程度が遮光されている場合、１フレームの画像データを読み出す毎に、１列につき１０画素の黒画像データを得ることができる。そして、各列毎に垂直ＯＢ部からの黒画像データの平均をとることで、列アンプのゲインのバラつきのオフセット成分のみを含んだ補正データが生成される。補正データは、例えばＨＶ＝Ｋ・ＶＯＢ＋（１−Ｋ）・ＰＨＶ（ただし、０＜Ｋ＜１）で表される平均化処理を行うＩＩＲ（Infinite Impulse Response：無限インパルス応答）フィルタにより求められる。なお、定数Ｋは巡回係数、ＨＶは補正データ、ＶＯＢが現在読み出された垂直ＯＢ部の黒画像データ、ＰＨＶは１画素前に更新された補正データである。
【０００５】
例えば、巡回係数を１／２５６とすると、約２５６画素の黒画像データが入力されると補正データＨＶは収束する。１フレームで１０画素の黒画像データが得られるので約２５フレーム分の読み出しを行うことで補正データは収束する。巡回係数が小さければ、早く収束するが垂直ＯＢ部のランダムノイズ成分の影響を受け易くなり、安定した補正データを得ることができない。実際の画像に用いられる有効データから、対応する列の補正データの差分をとることで列アンプのオフセット成分をキャンセルし縦線の補正を行う。
【０００６】
また、撮像素子内部の列アンプ部に複数の離散的なゲインを設定することが可能である場合、後段のゲイン部のゲインデータと合わせて制御することで、光電変換素子の飽和電子数やゲインアップ時のノイズを改善することができる。例えば、列アンプのゲインとして（×３）及び（×６）の２通りの設定が可能であるとすると、（×３）設定時は被写体の明るさが十分に大きい時には、フォトダイオード内の飽和電子数をより多く確保することができ、高ダイナミックレンジを実現できる。また、被写体が暗く電気的なゲインをかけて画像を生成する時には、撮像素子内部の列アンプで（×６）設定にすることで、後段のゲイン部でゲインをかける時よりもノイズを改善することが可能となる。撮像素子内部の列アンプのゲインは、被写体の輝度レベルに応じて適宜列アンプゲインを切り替えて制御を行う。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−４９９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、撮像素子において列アンプのゲイン（増幅値）が切り替わると、列アンプのオフセット成分も変化する。列アンプのゲインが切り替わった時の補正データは、複数フレームの間、収束しておらず、収束するまでの数フレームの間において縦線が発生してしまう。これを回避するために、列アンプのゲインの切り替わりのタイミング時のみ巡回係数を小さくして補正データの収束を早める方法があるが、早めた時の補正データが垂直ＯＢ部のランダムノイズの影響を受けて縦線が発生してしまうことがある。
【０００９】
本発明は、撮像素子の列アンプのゲイン（増幅値）が切り替わる時においても、出力画像における縦線の発生を抑制できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、二次元の行列状に配置され、入射された光を電気信号に変換する光電変換素子をそれぞれ有する複数の画素、及び画素列毎に配置され前記画素からの信号を設定される複数の増幅値で増幅する列アンプを有する撮像素子と、前記撮像素子に設けられた垂直オプティカルブラック部の遮光された画素行の画素から読み出した信号を受けて複数フレーム分の当該信号を列毎に平均化処理して列毎の補正データを生成する補正データ生成手段と、前記列アンプに設定される増幅値毎に、前記補正データ生成手段により生成された前記補正データを記憶する補正データ記憶手段と、前記列アンプに設定された増幅値に対応する前記補正データを前記補正データ記憶手段から読み出し、前記撮像素子の有効画素部の画素から読み出した信号を対応する列の前記補正データを用いて補正する画像処理手段と、被写体の明るさに応じて前記列アンプの増幅値を設定する制御手段とを有し、前記列アンプの増幅値を第１の増幅値から第２の増幅値に切り替える場合、前記有効画素部の画素からの信号の読み出しにおける前記列アンプの増幅値を切り替える前に、前記垂直オプティカルブラック部の画素からの信号の読み出しのみを前記列アンプの増幅値を前記第２の増幅値に設定して行い前記第２の増幅値に対応する補正データを生成することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像素子の列アンプの増幅値が切り替わるときに、切り替わり後の増幅値に対応する補正データを切り替わり前に生成することができる。したがって、切り替え後の増幅値に応じた適切な補正データを用いて補正を行うことができ、画像における縦線の発生を抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における撮像装置の構成例を示す図である。
【図２】本実施形態における撮像素子の構成例を示す図である。
【図３】本実施形態における補正データの生成例を示す図である。
【図４】本実施形態における補正動作を説明するための図である。
【図５】本実施形態における列アンプのゲイン制御を示す図である。
【図６】第２の実施形態における撮像装置の構成例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面に基づいて説明する。
（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態における撮像装置の構成例を示す図である。図１に示す第１の実施形態における撮像装置は、撮像素子の内部に有する列毎のアンプ（列アンプ）のゲイン（増幅値）が切り替え可能となっている。
【００１４】
図１において、レンズ群１００は、被写体像からの光量を収束及び焦点を合わせるためのＡＦ（オートフォーカス制御）機構やズーム機構が組み込まれている。絞り部１０１は、被写体像の光量を制御してＡＥ（自動露出制御）を行い、電子シャッター時間（露光時間）及びゲインと合わせて、取り込まれる画像の撮像信号が適切な輝度レベルに保つように制御する。レンズドライバ１０２は、ＣＰＵ１１４による制御に応じて、レンズ群（フォーカスレンズ、ズームレンズ等）１００や絞り部１０１の駆動制御を行う。
【００１５】
撮像素子（半導体撮像素子）１０３は、入射された光を電気信号に変換する光電変換素子（フォトダイオード）をそれぞれ有する複数の画素が二次元の行列状に配置されている。撮像素子１０３は、レンズ群１００及び絞り部１０１を介して結像された被写体像の光を電気信号に変換して出力する。撮像素子１０３は、例えばＣＭＯＳイメージセンサ等である。また、撮像素子１０３は、内部に画素列毎にアンプ（列アンプ）を有しており、ＣＰＵ１１４による制御に応じて内部設定により列アンプのゲイン（増幅値）を切り替えることができる。本実施形態においては、一例として列アンプのゲイン（増幅値）を３倍（×３）、６倍（×６）に切り替えることができるものとする。
【００１６】
アナログフロントエンド（ＡＦＥ：Analog Front End）部１０４は、撮像素子１０３より出力される光電変換された電気信号から信号レベルを取り出すためのＣＤＳ部（相関二重サンプリング部）を有する。また、ＡＦＥ部１０４は、アナログ画素信号をデジタル信号にアナログ−デジタル変換（Ａ／Ｄ変換）するＡ／Ｄ変換部を有する。
【００１７】
補正データ生成部１０５は、撮像素子１０３から出力されＡＦＥ部１０４でＡ／Ｄ変換された垂直ＯＢ部からの撮像信号（黒画像データ）に基づいて補正データを生成する。補正データ生成部１０５は、例えばＩＩＲ（Infinite Impulse Response：無限インパルス応答）フィルタを用いた平均化処理により、各列毎の縦線補正データを生成する。補正データ生成部１０５は、列アンプ設定されるゲイン毎（増幅値毎）に補正データを生成する。
【００１８】
補正データメモリ＜１＞１０６は、補正データ生成部１０５が生成する各列毎の補正データのうち、列アンプのゲイン（増幅値）が３倍（×３）の時の補正データを各列単位で記憶する。また、補正データメモリ＜２＞１０７は、補正データ生成部１０５が生成する各列毎の補正データのうち、列アンプのゲイン（増幅値）が６倍（×６）の時の補正データを各列単位で記憶する。補正データメモリ＜１＞１０６及び補正データメモリ＜２＞１０７は、補正データ記憶手段の一例である。
【００１９】
画像処理ＩＣ１０８は、補正部１０９、ゲイン部１１０、及び画像処理部１１１を有する。補正部１０９は、ＡＦＥ部１０４より出力される画像データに対して、補正データメモリ＜１＞１０６又は補正データメモリ＜２＞１０７から補正データを読み出して補正処理を行う。ゲイン部１１０は、補正された画像データを適正な輝度レベルにするためにデジタル的に増幅処理を行う。画像処理部１１１は、ゲイン部１１０から出力された画像データにγ（ガンマ）・アパーチャ・カラーバランス等の画像処理を行い所望の動画フォーマットに変換し、表示部１１２や記録部１１３に画像データを転送する。
【００２０】
表示部１１２は、画像処理ＩＣ１０８から転送される画像データを表示するためのパネル等である。記録部１１３は、ＭＰＥＧ（Moving Picture Experts Group）等の動画フォーマットの画像データを記録するためのＳＤカード及びフラッシュメモリ等で構成される。ＣＰＵ（Central Processing Unit）１１４は、撮像装置の制御を司る。
【００２１】
次に、図２を参照して、撮像素子１０３の構成を説明する。図２は、撮像素子１０３の構成例を示す図である。図２に示す撮像素子１０３は、各列毎に設けた列アンプのゲイン（増幅値）を３倍（×３）、６倍（×６）と切り替えることが可能となっている。
【００２２】
図２において、垂直オプティカルブラック部（ＯＢ：Optical Black）２００は、画素の光電変換素子（フォトダイオード）に光が当たらないように垂直方向に遮光膜が配置された、すなわち遮光された画素行の画素領域である。本実施形態では、垂直ＯＢ部２００は、１０ラインとする。水平オプティカルブラック部（水平ＯＢ部）２０１は、垂直ＯＢ部２００と同様に画素に光が当たらないように水平方向に遮光膜が配置された画素領域である。フォトダイオード部２０２は、通常の光電変換を行い輝度レベルを電荷信号及び電気信号に変換する簡易バッファが併設されており、実際の画素（有効画素部）を構成する。
【００２３】
レジスタ群２０３は、ＣＰＵ１１４に接続され、電子シャッター等の撮像素子１０３の各設定や列アンプのゲイン（増幅値）の切り替え設定が行われる。列アンプ２０４は、各画素列毎に配置されており、対応する行セレクタ部２０５によって選択された画素からの撮像信号を増幅する。行セレクタ部２０５は、レジスタ群２０３に設定された読み出し開始位置、読み出し領域を基に、撮像素子の画素領域上のフォトダイオード部２０２、水平ＯＢ部２０１、垂直ＯＢ部２００より任意の行を選択する。行セレクタ部２０５は、選択した行の画素の撮像信号を列アンプ２０４を介して列セレクタ部２０６に出力する。
【００２４】
列セレクタ部２０６は、レジスタ群２０３に設定された読み出し開始位置、読み出し領域を基に、行セレクタ部２０５により選択された画素からの撮像信号を順次列毎に選択してＡＦＥ部１０４に出力する。列アンプ設定部２０７は、レジスタ群２０３の設定値に応じて、各列アンプのゲイン（増幅値）を設定する。
【００２５】
本実施形態における撮像素子１０３においては、１ライン目から１０ライン目までの水平ＯＢ部２０１と垂直ＯＢ部２００を読み出し、１１ライン目からの水平ＯＢ部２０１と有効画素部を所定のライン数読み出すことで、１フレームの画像の読み出しが終了する。なお、本実施形態では、有効画素は１９２０×１０８０とし、それ以外に１０ライン分の垂直ＯＢ部２００と３０行分の水平ＯＢ部２０１があるとし、１フレームの読み出しを１／６０［ｓ］で終了するものとする。
【００２６】
まず、撮像装置に電源が投入されると、ＣＰＵ１１４は、各初期設定を行う。そして、ＣＰＵ１１４は、水平方向の読み出し領域、垂直方向の読み出し領域、及び水平・垂直の読み出し開始アドレスを設定し、さらに列アンプのゲイン（増幅値）を３倍（×３）に設定する。本実施形態では、図２に示した撮像素子１０３の全画素を読み出すように設定する。初期設定が終了すると、露出制御に伴って絞り及びフォーカスが制御され、設定された露光時間の間、撮像素子１０３に光が照射され光電変換が終了した後、撮像素子の各画素から撮像信号が読み出され、ＡＦＥ部１０４に出力される。
【００２７】
最初に、垂直ＯＢ部２００の画素領域に対応する水平ＯＢ部２０１の画素の撮像信号が読み出される。読み出された撮像信号は、ＡＦＥ部１０４で平均化処理され、クランプ黒レベルとして保持される。次に、垂直ＯＢ部２００の１行目の画素がＸ0、Ｘ1、Ｘ2、Ｘ3、…、Ｘ1919と、垂直ＯＢ部２００における１行目の水平方向全領域の画素から撮像信号がＡＦＥ部１０４に出力される。なお、Ｘ0は、対象の行において水平ＯＢ部２０１に隣接する画素である有効画素１列目に対応する列を示し、順にＸ1919は、有効画素１９２０列目に対応する列を示す。また、Ｘ0列の画素の画像データをＶＯＢｘ０、Ｘ1列の画素の画像データをＶＯＢｘ１、…、Ｘa列の画素の画像データをＶＯＢｘａとする。
【００２８】
読み出された画像データは、ＡＦＥ部１０４で、水平ＯＢ部２０１の黒レベルにクランプ処理され、さらにＡ／Ｄ変換された後に補正データ生成部１０５に入力される。
【００２９】
次に、図３を参照して、補正データの生成について詳細を説明する。図３は、本実施形態における補正データの生成例を示す図である。補正データメモリ＜１＞１０６及び補正データメモリ＜２＞１０７には、補正データとしてある初期値が入っており、順次入力される垂直ＯＢ部２００の画素からの撮像信号（黒画像データ）を基に更新していく。補正データメモリ＜１＞１０６は、列アンプのゲインが３倍設定の時の補正データを記憶し、補正データメモリ＜２＞１０７は、列アンプのゲインが６倍設定の時の補正データを記憶する。
【００３０】
なお、図３に示すように補正データは、列アンプのゲインが３倍（×３）設定時のＸ0列の補正データがＨＶｘ０＿１、Ｘ1列の補正データがＨＶｘ１＿１、…、Ｘ1919列の補正データがＨＶｘ１９１９＿１とする。また、列アンプのゲインが６倍（×６）設定時のＸ0列の補正データがＨＶｘ０＿２、Ｘ1列の補正データがＨＶｘ１＿２、…、Ｘ1919列の補正データがＨＶｘ１９１９＿２とする。
【００３１】
ＡＦＥ部１０４よりＸ0列の画素の画像データＶＯＢｘ０が補正データ生成部１０５に入力されると、列アンプのゲインの設定値が３倍（×３）であるときには、補正データメモリ＜１＞１０６よりＸ0列に対応する補正データＨＶｘ０＿１を読み出す。また、列アンプのゲインの設定値が６倍（×６）であるときには、補正データメモリ＜２＞１０７よりＸ0列に対応する補正データＨＶｘ０＿２を読み出す。
【００３２】
ここで、初期においては、列アンプのゲインは３倍（×３）に設定されているので、補正データ生成部１０５は、補正データＨＶｘ０＿１を補正データメモリ＜１＞１０６から読み出す。そして、補正データ生成部１０５は、ＩＩＲフィルタの計算式に、読み出した補正データＨＶｘ０＿１をＰＨＶｘ０として入力するとともに、Ｘ0列の画素の画像データＶＯＢｘ０を入力し、下記の演算を行う。
ＨＶｘ０＝Ｋ・ＶＯＢｘ０＋（１−Ｋ）・ＰＨＶｘ０  （０＜Ｋ＜１）
補正データ生成部１０５は、演算の結果として得られた補正データＨＶｘ０を補正データメモリ＜１＞１０６に補正データＨＶｘ０＿１として書き戻し更新する。
【００３３】
巡回係数Ｋの値を１に近づけると補正データＨＶｘ０の収束が早くなるが垂直ＯＢ部２００におけるランダムノイズの影響を受け易くなる。一方、巡回係数Ｋの値を０に近づけるとノイズの影響は小さくなるが、補正データＨＶｘ０の収束時間が長くなってしまう。ここでは、巡回係数Ｋの値は、実験等で適正値と考えられるＫ＝１／２５６とする。巡回係数Ｋが１／２５６であると、収束するのに約２５６個の垂直ＯＢ部２００の画像データが必要となり、仮に垂直ＯＢ部２００が１０ラインとすると約２５フレームの画像データが必要となる。
【００３４】
さらに、補正データ生成部１０５は、Ｘ0列の画素の画像データＶＯＢｘ１が入力されると、同様に補正データメモリ＜１＞１０６よりＸ1列に対応する補正データＨＶｘ１＿１を読み出し、同様の計算で得られた補正データＨＶｘ１＿１を書き戻し更新する。以上を繰り返して、Ｘ1919列に対応する補正データＨＶｘ１９１９＿１まで補正データが更新されると、垂直ＯＢ部２００の１ライン目の読み出し及び補正データ生成が終了する。
【００３５】
同様に、行セレクタ部２０５で、垂直ＯＢ部２００の２ライン目の画素を選択し、列セレクタ部２０６により順次、選択された画素の撮像信号がＡＦＥ部１０４に出力される。そして、垂直ＯＢ部２００の１ライン目と同様に、垂直ＯＢ部２００の２ライン目の画素の画像データを用いて、Ｘ0〜Ｘ1919列に対応する各列毎の補正データＨＶｘ０＿１〜ＨＶｘ１９１９＿１を更新する。
【００３６】
以上を繰り返し、２５フレーム分の垂直ＯＢ部２００の画像データが入力されると、すなわち各列２５０程度の画像データが入力されて補正データが更新されると、補正データとして適正な値に収束されている。また、列アンプのゲインが６倍（×６）に設定されているときには、補正データメモリ＜２＞１０７の補正データＨＶｘ０＿２〜ＨＶｘ１９１９＿２を更新するように制御する。
【００３７】
なお、電源起動時には、各補正データメモリ１０６、１０７に適当な初期値が入っている。そのため、列アンプのゲインが３倍（×３）及び６倍（×６）設定時の垂直ＯＢ部２００の画像データをそれぞれ２５フレーム分読み出して、各補正データメモリの補正データを収束させるようにしてもよい。補正データを収束させるまでの間は、黒ミュート等で画像の出力や記録を行わないようにする。さらに、電源起動時には、絞りを完全に閉じ有効画素を遮光して撮像信号を出力し、各補正データメモリの補正データを収束させることで１フレームの画像データの読み出しで高速に補正データを収束させることも可能となる。
【００３８】
次に、有効読み出し領域（有効画素部）の読み出しについて説明する。垂直ＯＢ部２００の画素からの読み出し終了後に、有効画素１行目の画素の撮像信号を行セレクタ部２０５により、列アンプ部２０４に出力する。列アンプ部２０４に出力された撮像信号は、現状の列アンプのゲインの設定値である３倍（×３）で増幅され、列アンプ２０４より列セレクタ部２０６に出力される。
【００３９】
さらに、列セレクタ部２０６より、水平ＯＢ部２０１から画素を順に選択しＡＦＥ部１０４に出力する。ＡＦＥ部１０４に入力された水平ＯＢ部２０１の画素の撮像信号は、前述したようにクランプ黒レベルとして平均化処理される。有効画素１ライン目に対応する水平ＯＢ部２０１の画素の撮像信号がすべて出力されると、有効画素の１ライン目の画素の撮像信号が順次ＡＦＥ部１０４に出力される。ＡＦＥ部１０４は、入力された画像データに対して、水平ＯＢ部２０１で平均化された黒レベルでクランプ処理を行い、ＣＤＳ部及びＡ／Ｄ変換部での処理を行った後、デジタルデータとして補正部１０７に出力する。
【００４０】
次に、図４を用いて、補正の動きを説明する。図４においては、横軸に撮像素子１０３上での列を、縦軸に輝度レベルを示しており、補正データメモリ＜１＞１０６内の補正データ（列アンプのゲインが３倍設定時の補正）により、縦線補正を行う様子を示している。図４においては、画素データ４００は、読み出し領域（有効画素部）に設定されたＸ0、Ｘ1、Ｘ2、Ｘ3、…、Ｘ1919の画素データである。画素データ４００は、列アンプの電気的特性のバラツキにより、図示したように列毎に輝度レベルのバラツキが生じており、このまま出力すると出力画像に縦線が発生してしまう。
【００４１】
補正部１０９は、列アンプのゲインの設定が３倍（×３）であるので、各列に対応した補正データＨＶｘ０＿１〜ＨＶｘ１９１９＿１を補正データメモリ＜１＞１０６から読み出して補正処理を行う。すなわち、Ｘ0列の画素の画像データが読み出されている時には、補正データメモリ＜１＞１０６から補正データＨＶｘ０＿１を読み出し、Ｘ0列の画像データから補正データＨＶｘ０＿１の差分をとることで補正を行い、ゲイン部１１０に出力する。
【００４２】
同様に、Ｘ1の列の画素の画像データが読み出されている時には補正データＨＶｘ１＿１を用いて、Ｘ2列の画素の画像データが読み出されている時には補正データＨＶｘ２＿１を用いて、各々補正を行いゲイン部１１０に出力する。以上のように補正を行うことで、図４に示したように列毎の輝度バラツキが補正された画像データ４０１がゲイン部１１０に出力される。
【００４３】
ゲイン部１１０に入力された画像データは、露出制御で決定されるゲイン値で増幅され、画像処理部１１１に入力される。画像処理部１１１に入力された画像データは、例えば各記録フォーマットに変換されて記録部１１３に記録されたり、又表示部１１２に表示されたりする。以上のようにして、列アンプのゲインが３倍（×３）設定時は縦線の補正を行う。なお、列アンプのゲインが６倍（×６）設定である場合の縦線の補正は、補正データメモリ＜２＞１０７から読み出した補正データＨＶｘ０＿２〜ＨＶｘ１９１９＿２を用いて補正を行う点が異なるだけで同様である。
【００４４】
次に、列アンプのゲイン（増幅値）の切り替え制御について説明する。図５は、露出制御の一部である列アンプのゲイン制御を示す図である。図５において、縦軸はゲイン値であり、横軸は被写体の明るさである。実線５００は、ゲイン部１１０に設定されるデジタルゲインの推移を示しており、破線５０１は撮像素子１０３の列アンプのゲインとゲイン部１１０のデジタルゲインとを合計したトータルゲインの推移を示している。
【００４５】
前述したように電源起動時は、撮像素子１０３の列アンプのゲインは３倍（×３）に設定されており、補正部１０９で補正された画像データの積分値（輝度レベル）を基に露出制御を行う。本実施形態では、絞りＦ１．８〜Ｆ８．０、電子シャッター速度１／５００［ｓ］〜１／６０［ｓ］、デジタルゲイン０ｄＢ〜１８ｄＢの制御条件の範囲のなかで、画像データの輝度レベルが目標輝度レベルとなるように適正な値にすることにより露出制御を行う。なお、デジタルゲインは、図５に示すように、Ｇｏ［ｄＢ］のオフセットゲインが設定されている。
【００４６】
ＣＰＵ１１４は、画像データの輝度レベルに応じて、絞り及び電子シャッターを制御する。例えば、読み出された輝度レベルが目標輝度レベルに対して大きい場合には、ＣＰＵ１１４は、輝度レベルが目標輝度レベルとなるように次のような制御を行う。ＣＰＵ１１４は、Ｆ値（絞り値）を大きくして撮像素子１０３に露光される光量を制限し、また電子シャッター速度を速くして撮像素子１０３の露光時間を制限するように制御する。
【００４７】
逆に、読み出された輝度レベルが目標輝度レベルに対して低い場合には、ＣＰＵ１１４は、輝度レベルが目標輝度レベルとなるように次のような制御を行う。ＣＰＵ１１４は、Ｆ値（絞り値）を小さくして撮像素子１０３に露光される光量を大きくし、また電子シャッター速度を遅くして撮像素子１０３の露光時間を長くするように制御する。
【００４８】
なお、デジタルゲインは、ノイズが増大しないように、絞りやシャッターを制御している領域では０ｄＢのままである。そして、絞り開放（Ｆ１．８）、電子シャッター速度１／６０［ｓ］となっても輝度レベルが目標輝度レベルに対して低い場合にデジタルゲインをあげていく。
【００４９】
例えば、被写体が暗くなってきて、絞りがＦ１．８、電子シャッター速度が１／６０［ｓ］になると、ＣＰＵ１１４は、図５に示すようにデジタルゲインをあげていく。被写体が暗くなりデジタルゲインを上げていき、ゲインがＧ１［ｄＢ］上がると（図５のＡの位置）になると、ＣＰＵ１１４による制御に応じて、垂直ＯＢ部２００の画素からの読み出し時のみ列アンプのゲインを３倍（×３）から６倍（×６）に切り替える。
【００５０】
前述したように、列アンプのゲインが６倍（×６）設定時の垂直ＯＢ部２００の画素からの撮像信号は、ＡＦＥ部１０４でＡ／Ｄ変換されて補正データ生成部１０５に入力される。さらに、列アンプのゲインが６倍（×６）設定であるので、補正データ生成部１０５は、図３に示したように補正データメモリ＜２＞１０７より補正データＨＶｘ０＿２〜ＨＶｘ１９１９＿２を読み出して、補正データを生成する。
【００５１】
垂直ＯＢ部２００の画素からの読み出し終了後、ＣＰＵ１１４による制御に応じて、列アンプのゲインを３倍（×３）に戻し有効画素部の画素からの読み出しを行う。有効画素部の画素からの撮像信号は、ＡＦＥ部１０４でＡ／Ｄ変換されて補正部１０９に入力される。そして、補正部１０９は、前述したように補正データメモリ＜１＞１０６から列アンプのゲインが３倍（×３）の補正データＨＶｘ０＿１〜ＨＶｘ１９１９＿１を読み出して縦線の補正を行う。
【００５２】
以上のように、ゲインがＧ１［ｄＢ］上がった位置（図５のＡ〜Ｂの時）では、垂直ＯＢ部２００のみ列アンプのゲインを６倍（×６）設定にして読み出し補正データメモリ＜２＞１０７の補正データを更新する。
【００５３】
さらに、被写体が暗くなり、ゲインが６ｄＢ上がると（図５のＢの位置）、ＣＰＵ１１４による制御に応じて、図５に示すように列アンプのゲインを６倍（×６）に切り替える。すなわち、垂直ＯＢ部２００及び有効画素部の画素からの撮像信号を列アンプのゲインを６倍（×６）設定にして読み出す。さらに、ＣＰＵ１１４による制御に応じて、ゲイン部１１０のデジタルゲインを６ｄＢ下げる。
【００５４】
このように制御することで、撮像素子１０３の列アンプのゲインとゲイン部１１０のデジタルゲインとによるトータルゲインが図５に破線５０１で示したように変わらないように制御でき、列アンプのゲイン切り替え時の輝度変化を抑えることができる。列アンプのゲインが６倍（×６）の時は、補正データメモリ＜２＞１０７の補正データを更新し、有効画素部の画素の画像データは、補正データメモリ＜２＞１０７の補正データを用いて縦線の補正を行う。
【００５５】
さらに、被写体が暗くなりＧ２［ｄＢ］以上のゲインがかけられた後に、逆に被写体が明るくなり再度Ｇ２［ｄＢ］付近（図５のＣの位置）になると、垂直ＯＢ部２００の画素からの読み出し時のみ列アンプのゲインを６倍（×６）から３倍（×３）に切り替える。列アンプのゲインが３倍（×３）設定であるので、補正データ生成部１０５は、補正データメモリ＜１＞１０６の補正データＨＶｘ０＿１〜ＨＶｘ１９１９＿１の更新を行う。すなわち、図５に示したＢ〜Ｃの間にゲイン設定値がある時には、垂直ＯＢ部２００の画素からの読み出しのみ列アンプのゲインを３倍（×３）に設定し補正データメモリ＜１＞１０６の補正データを更新する。
【００５６】
以上のように、有効画素部の画素からの撮像信号に対する列アンプのゲインの切り替えが行われるデジタルゲイン設定値付近で、垂直ＯＢ部２００の画素からの読み出しのみ時のみ列アンプのゲインの切り替えを行うように制御する。そして、有効画素部の画素からの読み出しとは異なる列アンプのゲイン設定値の補正データを更新するように制御する。
【００５７】
まとめると、図５に示したＢよりゲインが低い時には列アンプのゲインを３倍（×３）に切り替えて補正データメモリ＜１＞の補正データ１０６で有効画素部の画像データを補正する。図５に示したＢよりゲインが高い時には列アンプのゲインを６倍（×６）に切り替えて補正データメモリ＜２＞の補正データ１０７で有効画素部の画像データを補正する。また、図５に示したＡ〜Ｃにゲインがある場合には、垂直ＯＢ部２００の画素からの読み出しは、有効画素部の画素からの読み出しとは異なる列アンプのゲインで行い、対応する補正データメモリの補正データを更新するように制御する。
【００５８】
また、図５に示したＡ若しくはＣで、垂直ＯＢ部２００の画素からの読み出しのみ列アンプのゲインの切り替えを行い、複数フレーム分の補正データの更新後に、列アンプのゲインを戻しても良い。さらに、図５に示したＡ〜Ｃにゲインが設定されている間は、垂直ＯＢ部２００の画素からの読み出し時のみ列アンプのゲインの切り替えをフレーム毎に行い、各補正データメモリ１０６、１０７に記憶する補正データの更新をフレーム毎に行うようにしても良い。このように制御することで、図５に示したＡ若しくはＢで、垂直ＯＢ部２００の画素からの読み出しのみ列アンプのゲインを切り替えた状態に留まる場合でも、列アンプのもう一方のゲイン設定に対応する補正データを更新することができる。
【００５９】
第１の実施形態によれば、撮像素子１０３における有効画素部の画素からの読み出しにおいて列アンプのゲイン（増幅値）が切り替わる前に、列アンプのゲイン（増幅値）の切り替え後の補正データを生成し収束させることができる。したがって、有効画素部の画素からの読み出しにおける列アンプのゲインを切り替える時に、切り替え後のゲインに応じた適切な補正データで補正を行うことができ、撮像素子の温度等の状況変化があっても出力画像における縦線の発生を抑制することができる。
【００６０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図６は、第２の実施形態における撮像装置の構成例を示す図である。図６において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。
【００６１】
サーミスタ１２１は、温度検出手段の一例であり、撮像素子１０３の温度を検出するために、撮像素子１０３付近に配置されている。サーミスタ１２１は、温度に応じた出力を画像処理ＩＣ１０８が有する図示しないＡ／Ｄ変換部に出力し、そのＡ／Ｄ変換部の出力をデジタルデータとしてＣＰＵ１１４が適時読み出し、撮像素子１０３の温度検出を行う。
【００６２】
第２の実施形態における撮像装置は、第１の実施形態と同様に、電源起動時にＣＰＵ１１４が各初期設定を行い、列アンプのゲイン（増幅値）を３倍（×３）に設定する。補正データ生成部１０５は、垂直ＯＢ部２００の画素データにより補正データメモリ＜１＞１０６の補正データを更新する。補正データメモリ＜１＞１０６には、補正データの初期値としてランダム値が格納されているため、補正データが収束するフレーム数分の垂直ＯＢ部２００の読み出しを行い、補正データメモリ＜１＞１０６に記憶される補正データを収束させる。さらに、ＣＰＵ１１４による制御に応じて列アンプのゲイン（増幅値）を６倍（×６）に設定し、補正データ生成部１０５が垂直ＯＢ部２００の画素データにより補正データメモリ＜２＞１０７の補正データを同様に更新し収束させる。
【００６３】
第１の実施形態と同様に、補正データ生成部１０５による補正データ生成の際の巡回係数を１／２５６とすると、補正データが収束するまでに２５フレーム分の画像データが必要となる。そこで、補正データメモリ＜１＞１０６及び補正データメモリ＜２＞１０７の補正データを収束させるまでの５０フレーム分は、黒ミュート等で画像の出力や記録は行わないようにする。
【００６４】
また、補正データの更新時の撮像素子１０３の温度をサーミスタ１２１を用いて検出し、補正データメモリ＜１＞１０６の補正データの更新時の温度をＴｈ１［℃］、補正データメモリ＜２＞１０７の補正データの更新時の温度をＴｈ２［℃］として保持する。
【００６５】
なお、補正データを収束させるための画像データの読み出し時のみ、絞り部１０１を閉じて遮光膜が配置されていない有効画素領域の画像データを黒画像データとして用いて、補正データを更新しても良い。本実施形態において、撮像素子１０３は、垂直方向に１０８０ライン分の画素を有するので、有効画素すべてが黒画像データとなるために１フレーム分の画像データの読み出しで、補正データの収束が終了する。
【００６６】
補正データメモリ＜１＞１０６及び補正データメモリ＜２＞１０７に記憶する補正データの収束が終了すると、列アンプのゲインを３倍（×３）に設定し、第１の実施形態と同様に、補正データの更新・縦線補正・露出制御を行いつつ画像の出力や記録を行う。補正データの更新時には、撮像素子１０３の温度を検出し、更新した補正データに対応する温度Ｔｈ１［℃］、Ｔｈ２［℃］を更新する。
【００６７】
被写体が暗くなると、第１の実施形態と同様に、ＣＰＵ１１４は、絞りを開放し、電子シャッター速度を１／６０［ｓ］に設定し、更に暗くなるようであれば、図５に示したようにゲインを上げていく。ゲインが図５に示したＡ〜Ｂの間にあるときには、列アンプのゲインは３倍（×３）に設定しており、その時（現在）の温度Ｔｈ１［℃］と補正データメモリ＜２＞１０７の補正データ更新時の温度Ｔｈ２［℃］とを比較する。具体的には、｜Ｔｈ２−Ｔｈ１｜＞αであれば、第１の実施形態と同様に、垂直ＯＢ部２００の画素からの読み出しのみ列アンプのゲインを６倍（×６）に設定し、補正データメモリ＜２＞１０７に記憶する補正データを更新する。所定のフレーム数以上、補正データメモリ＜２＞１０７の補正データの更新を行ったら、垂直ＯＢ部２００の画素からの読み出し時の列アンプのゲインを３倍（×３）に設定する。
【００６８】
その後もゲインが図５に示したＡ〜Ｂにあれば、｜Ｔｈ２−Ｔｈ１｜＞αとなった時に、垂直ＯＢ部２００の画素からの読み出しのみ列アンプのゲインを６倍（×６）に切り替える。そして、補正データメモリ＜２＞１０７に記憶する補正データを、所定のフレーム数分の画像データを用いて更新する。ここで、所定値αは実験等で求められ、補正データが撮像素子１０３の温度によって影響を受け始める値であり、温度ＴＨ１の値に応じてαの値を可変させるようにしても良い。
【００６９】
そして、ゲインが図５に示したＢの位置（６ｄＢゲインが上がった状態）より右側になったら、全画素の読み出しにおける列アンプのゲインを６倍（×６）に設定して、補正データメモリ＜２＞１０７に記憶した補正データを用いて補正を行って画像を出力する。
【００７０】
また、ゲインが図５に示したＢ〜Ｃにある時には、列アンプのゲインが６倍（×６）に設定されているが、前述したように｜Ｔｈ２−Ｔｈ１｜＞αとなれば、垂直ＯＢ部２００の画素からの読み出しのみ列アンプのゲインを３倍（×３）に設定する。そして、補正データメモリ＜１＞１０６に記憶する補正データを、所定のフレーム数分の画像データを用いて更新する。
【００７１】
以上のように、図５に示したＢよりゲインが低い時（６ｄＢ以下）には、撮像素子１０３の列アンプのゲインを３倍（×３）に切り替えて補正データメモリ＜１＞１０６に記憶した補正データを用いて補正を行う。また、図５に示したＢよりゲインが高い時には、列アンプのゲインを６倍（×６）に切り替えて補正データメモリ＜２＞１０７に記憶した補正データを用いて補正を行う。さらに、ゲインが図５に示したＡ〜ＢもしくはＢ〜Ｃにあるときには、温度Ｔｈ１とＴｈ２とを比較する。比較の結果、ある一定値以上の差があれば（本実施形態ではα［℃］）、垂直ＯＢ部２００の画素からの読み出しのみ列アンプのゲインを切り替えて、もう一方の補正データメモリの補正データを更新する。
【００７２】
第２の実施形態によれば、撮像素子１０３の温度に基づいて、垂直ＯＢ部２００の画素からの読み出し時のみ列アンプのゲインの切り替えを行い、一方の補正データの更新を行う。これにより、撮像素子１０３の温度による垂直ＯＢ部２００の画素からの画像データの特性変化の影響を受けることなく、ゲイン切り替わり時の縦線補正を行うことが可能となり、出力画像における縦線の発生を抑制することができる。
【００７３】
なお、前述した第１及び第２の実施形態では、列アンプのゲインの切り替わりは、図５に示したＢの６ｄＢの一点としたが、ゲインが上がる場合と下がる場合で、切り替えポイントを複数持ち、頻繁に切り替わらないようにヒステリシスをもたせてもよい。
【００７４】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００７５】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００７６】
１０３：撮像素子  １０４：アナログフロントエンド部  １０５：補正データ生成部  １０６：補正データメモリ＜１＞  １０７：補正データメモリ＜２＞  １０８：画像処理ＩＣ  １０９：補正部  １１０：ゲイン部  １１１：画像処理部  １１４：ＣＰＵ  １２１：サーミスタ  ２００：垂直オプティカルブラック部  ２０４：列アンプ
【図１】
2015154199.tif 000003
【図２】
2015154199.tif 000004
【図３】
2015154199.tif 000005
【図４】
2015154199.tif 000006
【図５】
2015154199.tif 000007
【図６】
2015154199.tif 000008