(57)【要約】【課題】撮像素子内部でのゲインの切り替えを行っても、Ａ／Ｄ変換誤差による画像の輝度変化を抑制できるようにする。【解決手段】複数の画素及び画素列毎に配置された列アンプを有する撮像素子と、撮像素子から出力される画像信号をＡ／Ｄ変換するＡ／Ｄ変換部と、Ａ／Ｄ変換された画像信号を増幅するゲイン部と、列アンプのゲインを切り替える場合、切り替え前後で列アンプとゲイン部とのゲインの和が一定になるように制御するとともに、連続する列アンプのゲイン切り替え前後のゲイン部からの出力を画素毎に平均化処理して出力する。【選択図】図１
2015154200.tif 000002
【特許請求の範囲】
【請求項１】
二次元の行列状に配置され、入射された光を電気信号に変換する光電変換素子をそれぞれ有する複数の画素、及び画素列毎に配置され前記画素からの信号を設定される複数の増幅値で増幅する列アンプを有する撮像素子と、
前記撮像素子から出力される画像信号をアナログ−デジタル変換する変換手段と、
前記変換手段によりデジタル信号に変換された画像信号を任意の増幅値で増幅する増幅手段と、
前記列アンプの増幅値を切り替える場合、切り替え前後で前記列アンプの増幅値と前記増幅手段の増幅値との和が一定になるように、前記列アンプの増幅値及び前記増幅手段の増幅値を制御する制御手段と、
連続する前記列アンプの増幅値の切り替え前の画像と切り替え後の画像との前記増幅手段からの出力を画素毎に平均化処理して出力する合成手段とを有することを特徴とする撮像装置。
【請求項２】
連続する前記列アンプの増幅値の切り替え前の画像と切り替え後の画像とを比較する比較手段をさらに有し、
前記列アンプの増幅値の切り替え前後の差分が所定値より大きい場合、前記平均化処理を行わないことを特徴とする請求項１記載の撮像装置。
【請求項３】
前記比較手段は、連続する前記列アンプの増幅値の切り替え前の画像と切り替え後の画像とのすべての画素について対応する画素のデータの差分絶対値の総和を算出し、
算出された前記差分絶対値の総和が所定値よりも大きい場合、前記平均化処理を行わないことを特徴とする請求項２記載の撮像装置。
【請求項４】
前記比較手段は、連続する前記列アンプの増幅値の切り替え前の画像と切り替え後の画像との対応する画素の差分絶対値が大きい領域及び小さい領域を検出し、
前記合成手段は、前記比較手段により検出された小さい領域のみ前記平均化処理を行うことを特徴とする請求項２記載の撮像装置。
【請求項５】
前記比較手段が、連続する前記列アンプの増幅値の切り替え前の画像と切り替え後の画像とにおける主要被写体を検出し、前記列アンプの増幅値の切り替え前後で前記主要被写体の位置が所定値以上ずれている場合、前記平均化処理を行わないことを特徴とする請求項２記載の撮像装置。
【請求項６】
二次元の行列状に配置され、入射された光を電気信号に変換する光電変換素子をそれぞれ有する複数の画素、及び画素列毎に配置され前記画素からの信号を設定される複数の増幅値で増幅する列アンプを有する撮像素子と、前記撮像素子から出力される画像信号をアナログ−デジタル変換する変換手段と、前記変換手段によりデジタル信号に変換された画像信号を任意の増幅値で増幅する増幅手段とを有する撮像装置の撮像方法であって、
前記列アンプの増幅値を切り替える場合、切り替え前後で前記列アンプの増幅値と前記増幅手段の増幅値との和が一定になるように、前記列アンプの増幅値及び前記増幅手段の増幅値を制御する制御工程と、
連続する前記列アンプの増幅値の切り替え前の画像と切り替え後の画像との前記増幅手段からの出力を画素毎に平均化処理して出力する合成工程とを有することを特徴とする撮像方法。
【請求項７】
二次元の行列状に配置され、入射された光を電気信号に変換する光電変換素子をそれぞれ有する複数の画素、及び画素列毎に配置され前記画素からの信号を設定される複数の増幅値で増幅する列アンプを有する撮像素子と、前記撮像素子から出力される画像信号をアナログ−デジタル変換する変換手段と、前記変換手段によりデジタル信号に変換された画像信号を任意の増幅値で増幅する増幅手段とを有する撮像装置の撮像方法をコンピュータに実行させるためのプログラムであって、
前記列アンプの増幅値を切り替える場合、切り替え前後で前記列アンプの増幅値と前記増幅手段の増幅値との和が一定になるように、前記列アンプの増幅値及び前記増幅手段の増幅値を制御する制御ステップと、
連続する前記列アンプの増幅値の切り替え前の画像と切り替え後の画像との前記増幅手段からの出力を画素毎に平均化処理して出力する合成ステップとをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像方法に関する。
【背景技術】
【０００２】
ＣＭＯＳイメージセンサ等の固体撮像素子を用いた撮像装置は、多画素化、高速撮像、低ノイズ化が要求されている。ＣＭＯＳイメージセンサは、光電変換されたフォトダイオードの電荷を電圧に変換し、さらにゲインをかけて後段のアナログ・フロント・エンド（ＡＦＥ：Analog Front End）部に撮像信号を出力する。ＡＦＥ部は、入力された撮像信号をアナログ−デジタル変換処理（Ａ／Ｄ変換処理）して画像処理ＩＣ等に出力する。
【０００３】
一般的に、撮像素子内部で、光電変換後にかける電気的なゲインを大きくすると、外乱や電気回路上に発生するノイズ成分を低減することが可能となる。しかしながら、撮像素子内部でのゲインを大きくすると、フォトダイオードで光電変換しうる最大の飽和電子数が電気回路上の飽和レベルに制限されてしまい最大飽和電子数が減少してしまう。また、被写体が明るい状態でフォトダイオードに十分な光量が照射されている時には、外乱や電気回路上のノイズは、光ショットノイズに比べて充分に小さく無視できるレベルである。
【０００４】
なお、光ショットノイズは、フォトダーオードで変換する電子数が多い程大きくなるが、電圧変換時のゲインを小さくすることができるため、フォトダイオードでの電子数が多い程ノイズは小さくなる。故に、被写体が明るい場合には、撮像素子内部でのゲインは小さくして飽和電子数を大きく取れるようにした方が望ましい。逆に、被写体が暗くなり、フォトダーオードで変換する電子数が少なくなる場合には、外乱や電気回路上のノイズが支配的になるので撮像素子内部でのゲインを大きくした方がよい。
【０００５】
そこで、よりノイズを改善するために、撮像素子内部でのゲインを離散的に設定可能にしたＣＭＯＳイメージセンサを用い、被写体の照度に合わせて撮像素子内部でのゲインの切り替え制御を行う撮像装置がある。例えば、撮像素子内部でのゲインとして３倍（×３）及び６倍（×６）を設定でき、被写体の輝度レベルに応じて、絞り・電子シャッター・撮像素子出力後にかけるゲイン（後段ゲイン）を適宜制御して露出制御を行う撮像装置がある。この撮像装置では、撮像素子内部でのゲインが３倍の状態で後段ゲインが０［ｄＢ］から６［ｄＢ］に上がると、撮像素子内部でのゲインを３倍から６倍に設定するとともに後段ゲインを６［ｄＢ］から０［ｄＢ］に設定する。このように制御することで急激な被写体の変化に対応し、撮像素子の離散的なゲイン変化（×３→×６）に対応している。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００９−４９９８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、撮像素子内部でのゲインが切り替わると、後段のＡＦＥ部への入力が大きく変化する。例えば、前述した撮像装置では、撮像素子内部でのゲインが切り替わるとき、ＡＦＥ部内のＡ／Ｄ変換部の入力レベルに６［ｄＢ］の変化が生じる。
【０００８】
通常、Ａ／Ｄ変換部は、電気回路特性的に理想的なＡ／Ｄ変換出力特性を持たず、Ａ／Ｄ変換の入力レベルに応じた変換誤差が生じてしまう。この変換誤差は、Ａ／Ｄ変換の入力レベルによって異なり、撮像素子内部でのゲインを大きく変化させ、後段ゲインで調整しても、画像にはＡ／Ｄ変換誤差による輝度レベルの変化が生じてしまう。この変化は、画像内の輝度レベルによって異なるために、撮像素子内部でのゲイン切り替え時に、面内での瞬間的な輝度変化として画像に現れてしまうという問題があった。
【０００９】
本発明は、撮像素子内部でのゲインの切り替えを行っても、Ａ／Ｄ変換誤差による画像の輝度変化を抑制できるようにすることを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る撮像装置は、二次元の行列状に配置され、入射された光を電気信号に変換する光電変換素子をそれぞれ有する複数の画素、及び画素列毎に配置され前記画素からの信号を設定される複数の増幅値で増幅する列アンプを有する撮像素子と、前記撮像素子から出力される画像信号をアナログ−デジタル変換する変換手段と、前記変換手段によりデジタル信号に変換された画像信号を任意の増幅値で増幅する増幅手段と、前記列アンプの増幅値を切り替える場合、切り替え前後で前記列アンプの増幅値と前記増幅手段の増幅値との和が一定になるように、前記列アンプの増幅値及び前記増幅手段の増幅値を制御する制御手段と、連続する前記列アンプの増幅値の切り替え前の画像と切り替え後の画像との前記増幅手段からの出力を画素毎に平均化処理して出力する合成手段とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、撮像素子からの出力が大きく変わるような撮像素子内部での増幅値の切り替えを行っても、アナログ−デジタル変換のリニアリティ性の影響による画像の輝度変化を小さくすることが可能になる。
【図面の簡単な説明】
【００１２】
【図１】第１の実施形態における撮像装置の構成例を示す図である。
【図２】本実施形態における撮像素子の構成例を示す図である。
【図３】本実施形態におけるゲイン制御の例を示す図である。
【図４】本実施形態におけるＡ／Ｄ変換特性の例を示す図である。
【図５】第２の実施形態における撮像装置の構成例を示す図である。
【図６】第２の実施形態における画像比較を説明するための図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態を図面に基づいて説明する。
（第１の実施形態）
本発明の第１の実施形態について説明する。図１は、第１の実施形態における撮像装置の構成例を示す図である。図１に示す第１の実施形態における撮像装置は、撮像素子の内部に有する列毎のアンプ（列アンプ）のゲイン（増幅値）が切り替え可能となっている。
【００１４】
図１において、レンズ群１００は、被写体像からの光量を収束及び焦点を合わせるためのＡＦ（オートフォーカス制御）機構やズーム機構が組み込まれている。絞り部１０１は、被写体像の光量を制御してＡＥ（自動露出制御）を行い、電子シャッター時間（露光時間）及びゲインと合わせて、取り込まれる画像の撮像信号が適切な輝度レベルに保つように制御する。レンズドライバ１０２は、ＣＰＵ１１２による制御に応じて、レンズ群（フォーカスレンズ、ズームレンズ等）１００や絞り部１０１の駆動制御を行う。
【００１５】
撮像素子（半導体撮像素子）１０３は、入射された光を電気信号に変換する光電変換素子（フォトダイオード）をそれぞれ有する複数の画素が二次元の行列状に配置されている。撮像素子１０３は、レンズ群１００及び絞り部１０１を介して結像された被写体像の光を電気信号に変換して出力する。撮像素子１０３は、例えばＣＭＯＳイメージセンサ等である。また、撮像素子１０３は、内部に画素列毎にアンプ（列アンプ）を有しており、ＣＰＵ１１２による制御に応じて内部設定により列アンプのゲイン（増幅値）を切り替えることができる。本実施形態においては、一例として列アンプのゲイン（増幅値）を３倍（×３）、６倍（×６）に切り替えることができるものとする。
【００１６】
アナログ・フロント・エンド（ＡＦＥ：Analog Front End）部１０４は、撮像素子１０３より出力される光電変換された電気信号から信号レベルを取り出すためのＣＤＳ部（相関二重サンプリング部）１１４を有する。また、ＡＦＥ部１０４は、アナログ画素信号をデジタル信号にアナログ−デジタル変換（Ａ／Ｄ変換）するＡ／Ｄ変換部１１５を有する。
【００１７】
画像処理ＩＣ１０５は、ゲイン部１０６、合成部１０７、及び画像処理部１０８を有する。ゲイン部１０６は、ＡＦＥ部１０４から出力される画像信号を適正な輝度レベルにするために電気的に増幅する。合成部１０７は、現在のフレーム画像と、メモリ部１０９に記録されている前のフレーム画像との、連続する２つの画像のそれぞれ対応する画素の信号について平均化処理を行う。画像処理部１０８は、入力される画像信号にノイズリダクション処理、輪郭強調補正、ガンマ補正、カラーバランス制御等の画像処理を行い所望の動画フォーマットに変換し、表示部１１０や記録部１１１に画像信号を転送する。
【００１８】
メモリ部１０９は、合成部１０７での平均化処理に用いる画像（前のフレーム画像）を蓄える。表示部１１０は、画像処理ＩＣ１０５から転送される画像データを表示するためのパネル等である。記録部１１１は、ＭＰＥＧ（Moving Picture Experts Group）等の動画フォーマットの画像データを記録するためのＳＤカード及びフラッシュメモリ等で構成される。ＣＰＵ（Central Processing Unit）１１２は、撮像装置の制御を司る。
【００１９】
次に、図２を参照して、撮像素子１０３の構成を説明する。図２は、撮像素子１０３の構成例を示す図である。図２に示す撮像素子１０３は、各列毎に設けた列アンプのゲイン（増幅値）を３倍（×３）、６倍（×６）と切り替えることが可能となっている。
【００２０】
図２において、水平オプティカルブラック部（ＯＢ：Optical Black）２００は、画素の光電変換素子（フォトダイオード）に光が当たらないように水平方向に遮光膜が配置された画素領域である。水平ＯＢ部２００は、主に画像の黒レベルを合わせるために用いられる。フォトダイオード部２０１は、通常の光電変換を行い輝度レベルを電荷信号及び電気信号に変換する簡易バッファが併設されており、実際の画素（有効画素部）を構成する。
【００２１】
レジスタ群２０２は、ＣＰＵ１１２に接続され、電子シャッター等の撮像素子１０３の各設定や列アンプのゲイン（増幅値）の切り替え設定が行われる。列アンプ２０３は、各画素列毎に配置されており、対応する行セレクタ部２０４によって選択された画素からの撮像信号を増幅する。行セレクタ部２０４は、レジスタ群２０２に設定された読み出し開始位置、読み出し領域を基に、撮像素子の画素領域上の水平ＯＢ部２００、フォトダイオード部２０１より任意の行を選択する。行セレクタ部２０４は、選択した行の画素の撮像信号を列アンプ２０３を介して列セレクタ部２０５に出力する。
【００２２】
列セレクタ部２０５は、レジスタ群２０２に設定された読み出し開始位置、読み出し領域を基に、行セレクタ部２０４により選択された画素からの撮像信号を順次列毎に選択してＡＦＥ部１０４に出力する。列アンプ設定部２０６は、レジスタ群２０２の設定値に応じて、各列アンプのゲイン（増幅値）を設定する。
【００２３】
本実施形態における撮像素子１０３においては、読み出し開始位置に設定された読み出し開始ラインに対応する水平ＯＢ部２００を読み出し、読み出し開始列より、所望の列分読み出すことで１ライン分の読み出しを終了する。さらに、所定のラインの読み出しを繰り返すことで、１フレームの画像の読み出しが終了する。なお、本実施形態では、有効画素は１９２０×１０８０とし、それ以外に３０行分の水平ＯＢ部２００があるとし、１フレームの読み出しを１／６０［ｓ］で終了するものとする。
【００２４】
まず、撮像装置に電源が投入されると、ＣＰＵ１１２は、各初期設定を行う。そして、ＣＰＵ１１２は、水平方向の読み出し領域、垂直方向の読み出し領域、及び水平・垂直の読み出し開始アドレス、電子シャッター（露光時間：最大１／６０［ｓ］）の設定を行い、さらに列アンプのゲイン（増幅値）を３倍（×３）に設定する。本実施形態では、図２に示した撮像素子１０３の全画素を読み出すように設定する。初期設定が終了すると、露出制御に伴って絞り及びフォーカスが制御され、設定された露光時間の間、撮像素子１０３に光が照射され光電変換が終了した後、撮像素子の各画素から撮像信号が読み出され、ＡＦＥ部１０４に出力される。
【００２５】
まず、水平ＯＢ部２００の画素の撮像信号が読み出される。読み出された水平ＯＢ部２００の撮像信号は、ＣＤＳ部１１４でレベルの検出後にＡ／Ｄ変換処理され、ＡＦＥ部１０４内で平均化処理しつつクランプ黒レベルとして保持される。次に、有効読み出し領域（有効画素部）の画素の撮像信号が読み出される。読み出された有効画素部の撮像信号は、ＣＤＳ部１１４でレベルの検出後に、Ａ／Ｄ変換部１１５でアナログ−デジタル変換処理され、前述した黒レベルによりクランプ処理した後に画像処理ＩＣ１０５に出力される。以上を繰り返すことで、撮像素子１０３より水平ＯＢ部２００及び有効画素部の画素の撮像信号を列アンプのゲインを３倍に設定して読み出す。
【００２６】
画像処理ＩＣ１０５では、ゲイン部１０６で増幅され、合成部１０７を経由してメモリ部１０９に記録されるとともに、画像処理部１０８に出力される。画像処理部１０８ではアパーチャ補正、ノイズリダクション処理、ガンマ補正、ホワイトバランス補正等の一連の画像処理を行うとともに、画像全体の明るさを示す輝度レベルを算出する。さらに、画像処理後の画像データを、ＡＶＣＨＤ等の記録フォーマットに変換した後に記録部１１１に出力し、さらにパネル等に表示を行う表示部１１０に画像データを転送する。また、ＣＰＵ１１２は、画像処理部１０５で算出された輝度レベルを基に露出制御を行う。
【００２７】
次に、列アンプのゲイン（増幅値）の切り替え制御について説明する。図３は、露出制御の一部である列アンプのゲイン制御を示す図である。図３において、縦軸はゲイン値であり、横軸は被写体の明るさである。実線３００は、ゲイン部１０６に設定されるデジタルゲインの推移を示しており、破線３０１は撮像素子１０３の列アンプのゲインとゲイン部１０６のデジタルゲインとを合計したトータルゲインの推移を示している。
【００２８】
前述したように電源起動時は、撮像素子１０３の列アンプのゲインは３倍（×３）に設定されており、画像処理部１０８で算出された輝度レベルを基に露出制御を行う。本実施形態では、絞りＦ１．８〜Ｆ８．０、電子シャッター速度１／５００［ｓ］〜１／６０［ｓ］、デジタルゲイン０ｄＢ〜１８ｄＢの制御条件の範囲のなかで、画像データの輝度レベルが目標輝度レベルとなるように適正な値にすることにより露出制御を行う。なお、デジタルゲインは、図３に示すように、Ｇｏ［ｄＢ］のオフセットゲインが設定されている。
【００２９】
ＣＰＵ１１２は、画像データの輝度レベルに応じて、絞り及び電子シャッターを制御する。例えば、読み出された輝度レベルが目標輝度レベルに対して大きい場合には、ＣＰＵ１１２は、輝度レベルが目標輝度レベルとなるように次のような制御を行う。ＣＰＵ１１２は、Ｆ値（絞り値）を大きくして撮像素子１０３に露光される光量を制限し、また電子シャッター速度を速くして撮像素子１０３の露光時間を制限するように制御する。
【００３０】
逆に、読み出された輝度レベルが目標輝度レベルに対して低い場合には、ＣＰＵ１１２は、輝度レベルが目標輝度レベルとなるように次のような制御を行う。ＣＰＵ１１２は、Ｆ値（絞り値）を小さくして撮像素子１０３に露光される光量を大きくし、また電子シャッター速度を遅くして撮像素子１０３の露光時間を長くするように制御する。
【００３１】
なお、デジタルゲインは、ノイズが増大しないように、絞りやシャッターを制御している領域では０ｄＢのままである。そして、絞り開放（Ｆ１．８）、電子シャッター速度１／６０［ｓ］となっても輝度レベルが目標輝度レベルに対して低い場合にデジタルゲインをあげていく。
【００３２】
例えば、被写体が暗くなってきて、絞りがＦ１．８、電子シャッター速度が１／６０［ｓ］になると、ＣＰＵ１１２は、図３に示すようにデジタルゲインをあげていく。被写体が暗くなりデジタルゲインを上げていき、図３に示すＡ（ゲインが６［ｄＢ］上がった位置）になると、列アンプのゲインを３倍（×３）から６倍（×６）に切り替えると同時に、ゲイン部１０６のゲイン値を６［ｄＢ］下げる。このようにＣＰＵ１１２は、列アンプのゲインを切り替えるとき、切り替えの前後で列アンプのゲインとゲイン部１０６のゲインとの和が一定となるように制御する。
【００３３】
このように制御することで、撮像素子１０３の列アンプのゲインとゲイン部１０６のデジタルゲインとによるトータルゲインが図３に破線３０１で示したようにリニアに制御することができるので、大きな輝度変化なく露出制御することができる。
【００３４】
ここで、列アンプのゲイン切り替え時におけるＡＦＥ部１０４内のＡ／Ｄ変換部１１５のＡ／Ｄ変換出力について説明をする。図４は、Ａ／Ｄ変換部のＡ／Ｄ入出力特性（リニアリティ特性）の例を示す図である。図４において、横軸はＡ／Ｄ変換部への入力であり、縦軸はＡ／Ｄ変換部の出力である。本例においては、Ａ／Ｄ変換部への入力は０［Ｖ］〜１［Ｖ］とし、Ａ／Ｄ変換部の出力は値０〜１６３８４とする。すなわち、理想的には、０．５［Ｖ］入力時は値８１９２を出力し、１［Ｖ］入力時は値１６３８４を出力する。
【００３５】
図４において、破線４００は理想出力特性であり、実線４０１は実際の入出力特性である。実線４０１が破線４００に近い程リニアリティ特性が優れているが、実際には出力値で±４０程度の誤差が存在する。例えば、列アンプのゲインを３倍に設定した時に、Ａ／Ｄ変換部の入力が図４に示すＡの位置（０．３Ｖ）とすると、理想的には、出力値は４９１５となるが、実際には出力値は４９５５とＡ／Ｄ変換される。また、列アンプのゲインを３倍から６倍に切り替えると、図４に示すＢの位置（０．６Ｖ）となり、理想的には出力値は９８３０となるが、実際には出力値は９７９０とＡ／Ｄ変換され、列アンプのゲインの切り替え前と後で３％程度の輝度差が生じる。このように、列アンプのゲインの切り替え時には、１フレーム内の画像内の明るさによっては、輝度差が生じてしまい、ガンマ補正等の画像処理によっては、さらに大きな輝度差となり瞬間的な輝度変化として画像に現れる。
【００３６】
そこで、本実施形態では、ＣＰＵ１１２は、撮像素子１０３の列アンプのゲインを３倍から６倍に切り替えた後に、画像処理ＩＣ１０５に対して画像合成実行信号を出力する。ＣＰＵ１１２からの画像合成実行信号を受けると、画像処理ＩＣ１０５は、メモリ部１０９に記録された列アンプのゲインの切り替え前の画像と切り替え後の画像の各対応する画素毎に合成部１０７で平均化処理を行い、画像処理部１０８に出力する。
【００３７】
このように列アンプのゲインの切り替え前後の連続する２つのフレームの画像を用いて平均化処理を行うことで、図４に示したＡ→Ｂの列アンプのゲインの切り替え直後には出力値が９８５０となり、輝度変化は１．５％程度と半分に改善される。また、被写体が暗い状態から明るくなり、列アンプのゲインの設定が６倍から３倍に切り替わる場合も同様に制御を行う。
【００３８】
なお、本実施形態では、メモリ部１０９に常に１フレーム分の画像を記録するようにしているが、列アンプのゲインの切り替え時にのみ画像を記録するようにしてもよい。さらに、平均化処理を下記式のようにし、画像の輝度レベルの分布によってα、βの重みづけを変えることで、より輝度変化を小さくするように制御しても良い。
Ｙｎ＝１／２・（α・Ｙ１＋β・Ｙ２）
なお、Ｙｎは平均化後の値、Ｙ１は列アンプのゲイン切り替え前の画素の値、Ｙ２は列アンプのゲイン切り替え後の画素の値であり、α＋β＝１である。また、列アンプのゲインの切り替え時の平均化処理された画像に対しては、画像処理部１０８がノイズリダクション処理を行わない（あるいは強度を弱める）ようにしても良い。
【００３９】
第１の実施形態によれば、撮像素子１０３の列アンプのゲイン切り替え後の画像と切り替え前の画像との平均化処理を行い、ゲイン切り替え直後の出力画像とする。これにより、ＡＦＥ部１０４内のＡ／Ｄ変換部１０４のリニアリティ依存による輝度変化を改善することが可能となる。
【００４０】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。図５は、第２の実施形態における撮像装置の構成例を示す図である。図５において、図１に示した構成要素と同一の機能を有する構成要素には同一の符号を付し、重複する説明は省略する。
【００４１】
第２の実施形態における撮像装置は、画像処理ＩＣ１０５が、ゲイン部１０６、合成部１０７、及び画像処理部１０８に加え、さらに画像比較部１１３を有する。画像比較部１１３は、列アンプのゲインの切り替え前後の画像を比較し、列アンプのゲインの切り替え前後での画像の動きのレベル（画像の変化）を判断する。
【００４２】
第２の実施形態における撮像装置は、第１の実施形態と同様に、撮像素子１０３より水平ＯＢ部２００及び有効画素部の画素の撮像信号を読み出し、ＡＦＥ部１０４内のＣＤＳ部１１４でのレベル検出、Ａ／Ｄ変換部１１５でのＡ／Ｄ変換処理を行う。そして、画像処理ＩＣ１０５に出力し、第１の実施形態と同様に画像信号をメモリ１０９に記録するとともに画像処理部１０８で一連の画像処理動作を行う。
【００４３】
また、第２の実施形態における撮像装置は、被写体の輝度レベルに応じて第１の実施形態と同様に、露出制御を行いゲイン部１０６のデジタルゲインが６ｄＢ上がった所で、列アンプのゲインの設定を３倍から６倍に切り替える。ＣＰＵ１１２は、撮像素子１０３の列アンプのゲインを３倍から６倍に切り替えた後に、画像処理ＩＣ１０５に対して画像合成実行信号を出力する。画像処理ＩＣ１０５は、画像合成実行信号が出力されると、列アンプのゲインの切り替え前と後の画像の比較を画像比較部５１３で行う。
【００４４】
図６を参照して、画像比較部５１３での画像の比較について説明する。図６において、画像データ６００は、列アンプのゲイン切り替え前の画像データであり、画像データ６０１は、列アンプのゲイン切り替え後の画像データである。ここでは、画像データ６００、６０１は、縦１０８０行、横１９２０列の画素が存在するものとする。また、列アンプのゲイン切り替え前のｘ列目，ｙ行目の一画素のデータをＢｘ・ｙと示し、切り替え後のｘ列目，ｙ行目の一画素のデータをＦｘ・ｙと示す。
【００４５】
画像処理ＩＣ１０５の画像比較部１１３は、図６に示すようにＤｉ・ｊ＝｜Ｂｉ・ｊ−Ｆｉ・ｊ｜（ｉ＝１〜１９２０、ｊ＝１〜１０８０）の演算を行い、同列・同行の画像データの差分絶対値Ｄ１・１〜Ｄ１９２０・１０８０を算出する。さらに、画像比較部１１３は、差分絶対値Ｄ１・１〜Ｄ１９２０・１０８０の総和を算出する。
【００４６】
ここで、列アンプのゲインの切り替え前後で、画像の変化が小さければ、値Ｄ１・１〜Ｄ１９２０・１０８０の総和は限りなく小さくなり、大きければ画像の変化が大きいことになる。また、被写体の変化が大きければ輝度変化は目立たず、さらに被写体の変化がある画像を第１の実施形態と同様に平均化処理を行うと像流れ等が生じてしまうことがあるので、被写体の変化が大きい時には平均化処理を行わない方が望ましい。
【００４７】
本実施形態では、画像比較部１１３は、値Ｄ１・１〜Ｄ１９２０・１０８０の総和が所定値Ｓより大きければ被写体の変化が大きいと判断し、所定値Ｓより小さければ被写体の変化が小さいと判断する。なお、所定値Ｓは、実験等で求められた値で前述した平均化処理による影響を勘案して決定される。
【００４８】
そして、画像比較部１１３が被写体の変化が小さいと判断した場合には、第１の実施形態と同様に合成部１０７で平均化処理を行う。一方、画像比較部１１３が被写体の変化が大きいと判断した場合には、合成部１０７での平均化処理を行わない。このように、列アンプのゲインの切り替え前後の画像の変化を検出し、変化の小さい時のみ平均化処理を行うことで、画像品位を損なうことなく輝度変化を緩和することが可能となる。
【００４９】
なお、１面の画像データ内で、動きや変化のある領域を特定し、動きや変化の小さい領域のみ平均化処理を行うように制御しても良い。また、画像比較部１１３で、主要被写体を検出し列アンプのゲイン切り替え前後での主要被写体の位置を検出し、主要被写体の位置の違いがある所定値以上の場合には画像の差分が大きいと判断し、平均化処理を行わないように制御しても良い。
【００５０】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００５１】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００５２】
１０３：撮像素子  １０４：アナログ・フロント・エンド部  １０５：画像処理ＩＣ  １０６：ゲイン部  １０７：合成部  １０８：画像処理部  １０９：メモリ部  １１２：ＣＰＵ  １１３：画像比較部  １１４：ＣＤＳ部  １１５：Ａ／Ｄ変換部  ２０３：列アンプ
【図１】
2015154200.tif 000003
【図２】
2015154200.tif 000004
【図３】
2015154200.tif 000005
【図４】
2015154200.tif 000006
【図５】
2015154200.tif 000007
【図６】
2015154200.tif 000008