(57)【要約】      （修正有）【課題】画質劣化の少ないHDR画像を生成する固体撮像素子およびその駆動方法、並びに電子機器を提供する。【解決手段】固体撮像素子は、複数の画素が行列状に２次元配置された画素アレイ部２１と、画素アレイ部の複数行の画素の画素信号を同時に読み出すように画素を駆動する制御部２６とを備える。同時に読み出された複数行の画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である。【選択図】図１
2016208402.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が行列状に２次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
固体撮像素子。
【請求項２】
同時に読み出された前記第１のフレームの画素信号をAD変換する第１のAD変換部と、
同時に読み出された前記第２のフレームの画素信号をAD変換する第２のAD変換部と
をさらに備える
請求項１に記載の固体撮像素子。
【請求項３】
同時に読み出された前記第１のフレームの画素信号と前記第２のフレームの画素信号は、同一の画素列の画素信号である
請求項１に記載の固体撮像素子。
【請求項４】
前記制御部は、前記画素アレイ部の４行の前記画素の画素信号を同時に読み出すように前記画素を駆動する
請求項１に記載の固体撮像素子。
【請求項５】
前記第１のフレームの画素信号を記憶する記憶部と、
前記第１のフレームの画素信号と、前記第２のフレームの画素信号を加算する加算部と、
前記加算部で算出して得られた加算信号と、前記第１のフレームの画素信号を、所定の合成比で合成する合成演算部と
をさらに備える
請求項１に記載の固体撮像素子。
【請求項６】
前記第１のフレームの画素信号は、前記第２のフレームの画素信号よりも、露光時間が長い信号である
請求項５に記載の固体撮像素子。
【請求項７】
前記第１のフレームの画素信号は、前記第２のフレームの画素信号よりも、露光時間が短い信号である
請求項５に記載の固体撮像素子。
【請求項８】
第１乃至第３の半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１の半導体基板には、前記画素アレイ部が少なくとも形成され、
前記第２の半導体基板には、前記記憶部が少なくとも形成され、
前記第３の半導体基板には、前記加算部と前記合成演算部が少なくとも形成されている
請求項５に記載の固体撮像素子。
【請求項９】
前記第２の半導体基板は、前記第１の半導体基板と前記第３の半導体基板との間に配置されている
請求項８に記載の固体撮像素子。
【請求項１０】
前記記憶部は、少なくとも前記第２のフレームの画素信号の読み出しが開始されるまで、前記第１のフレームの画素信号を記憶する
請求項５に記載の固体撮像素子。
【請求項１１】
前記合成演算部は、前記加算信号と前記第１のフレームの画素信号を所定の合成比で合成することにより、HDR画像を生成する
請求項５に記載の固体撮像素子。
【請求項１２】
前記記憶部は、２枚以上の画像を記憶し、
前記合成演算部は、３枚以上の画像それぞれの画像信号を、所定の合成比で合成する
請求項５に記載の固体撮像素子。
【請求項１３】
複数の画素が行列状に２次元配置された画素アレイ部を備える固体撮像素子が、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、
同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
固体撮像素子の駆動方法。
【請求項１４】
複数の画素が行列状に２次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
固体撮像素子
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、固体撮像素子およびその駆動方法、並びに電子機器に関し、特に、画質劣化の少ないHDR画像を生成することができるようにする固体撮像素子およびその駆動方法、並びに電子機器に関する。
【背景技術】
【０００２】
ダイナミックレンジを拡げたHDR（High Dynamic Range：ハイダイナミックレンジ）画像を撮像する技術として、互いに異なる露光時間で撮像された複数枚の画像を用いてHDR画像を生成する方法がある（例えば、特許文献１参照）。
【０００３】
しかし、そのような手法では、複数枚の画像を撮影している間に、被写体が動いたり、手ブレ等により画面が動いた場合に、動いた部分の画像が不自然になってしまう。そのため、例えば、特許文献１に記載の手法では、動被写体部分での位置合わせを行うようにしているが、このような信号処理で位置合わせを行う手法では、動きが大きい場合や、動被写体によって隠蔽された物体などがあった場合に完全に位置合わせを行えない場合がある。
【０００４】
そこで、動被写体の誤差をなるべく少なくするために、１つの撮像素子内に、高感度画素と低感度画素を用意し、同時に複数の露光時間の信号を取得する方法がある（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１１−４３５３号公報
【特許文献２】特開２０１３−２１６６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、同時に複数の露光時間の信号を取得する手法では、画像解像度が低下し、エイリアシングなどが発生してしまう。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、画質劣化の少ないHDR画像を生成することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の第１の側面の固体撮像素子は、複数の画素が行列状に２次元配置された画素アレイ部と、前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部とを備え、同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である。
【０００９】
本技術の第２の側面の固体撮像素子の駆動方法は、複数の画素が行列状に２次元配置された画素アレイ部を備える固体撮像素子が、前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である。
【００１０】
本技術の第３の側面の電子機器は、複数の画素が行列状に２次元配置された画素アレイ部と、前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部とを備え、同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である固体撮像素子を備える。
【００１１】
本技術の第１乃至第３の側面においては、複数の画素が行列状に２次元配置された画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素が駆動され、同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号とされ、第２の画素行の画素信号は、第２のフレームの画素信号とされる。
【００１２】
固体撮像素子及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
【発明の効果】
【００１３】
本技術の第１乃至第３の側面によれば、画質劣化の少ないHDR画像を生成することができる。
【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本技術中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した固体撮像素子の概略構成を示すブロック図である。
【図２】固体撮像素子の基板構成例を示す図である。
【図３】共有画素構造の場合の画素回路を示す図である。
【図４】HDR画像を生成する際の画素駆動について説明する図である。
【図５】固体撮像素子の詳細構造を示す図である。
【図６】固体撮像素子の画素駆動について説明する図である。
【図７】一般的なカラムADC構造について説明する図である。
【図８】本技術を適用した固体撮像素子が４段カラムADC構造の場合を説明する図である。
【図９】フレーム非加算モードによる駆動を説明する図である。
【図１０】フレーム加算モードによる駆動を説明する図である。
【図１１】フレーム加算モードのHDR画像生成処理を説明するフローチャートである。
【図１２】フレーム非加算モードのHDR画像生成処理を説明するフローチャートである。
【図１３】HDR合成部の詳細を説明するブロック図である。
【図１４】動被写体ブレンド率算出部を説明するブロック図である。
【図１５】輝度ブレンド率算出部を説明するブロック図である。
【図１６】HDR合成処理を説明するフローチャートである。
【図１７】固体撮像素子の第２の実施の形態を示すブロック図である。
【図１８】固体撮像素子の第３の実施の形態を示すブロック図である。
【図１９】第３の実施の形態のHDR画像生成処理を説明するフローチャートである。
【図２０】第４の実施の形態における画素駆動を説明する図である。
【図２１】固体撮像素子の第４の実施の形態を示すブロック図である。
【図２２】第４の実施の形態のHDR画像生成処理を説明するフローチャートである。
【図２３】固体撮像素子の第５の実施の形態を示すブロック図である。
【図２４】第５の実施の形態のHDR画像生成処理を説明するフローチャートである。
【図２５】固体撮像素子の第６の実施の形態を示すブロック図である。
【図２６】第６の実施の形態のHDR画像生成処理を説明するフローチャートである。
【図２７】固体撮像素子の第７の実施の形態を示すブロック図である。
【図２８】第４の実施の形態における画素駆動を説明する図である。
【図２９】固体撮像素子の第８の実施の形態を示すブロック図である。
【図３０】本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【図３１】イメージセンサを使用する使用例を説明する図である。
【発明を実施するための形態】
【００１６】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（２枚の画像を合成してHDR画像を生成する構成例）
２．第２の実施の形態（欠陥補正部及びノイズ低減部を有する構成例）
３．第３の実施の形態（欠陥補正部及びノイズ低減部を共通化した構成例）
４．第４の実施の形態（第１フレームを短畜信号とした第１構成例）
５．第５の実施の形態（第１フレームを短畜信号とした第２構成例）
６．第６の実施の形態（第１フレームを短畜信号とした第３構成例）
７．第７の実施の形態（欠陥補正処理及びノイズ低減処理を合成後に行う構成例）
８．第８の実施の形態（４枚の画像を合成してHDR画像を生成する構成例）
９．電子機器への適用例
【００１７】
＜１．第１の実施の形態＞
＜１．１  固体撮像素子の全体構成例＞
図１は、本技術を適用した固体撮像素子の概略構成を示すブロック図である。
【００１８】
図１の固体撮像素子１は、画素領域１１、メモリ領域１２、ロジック領域１３、及び制御領域１４を有している。
【００１９】
固体撮像素子１は、露光時間の異なる２枚の画像から、ダイナミックレンジを拡大したHDR画像を生成して出力する機能を有する。
【００２０】
なお、以下では、HDR画像の生成に際し、２枚の画像それぞれにおいて設定される露光時間のうち、長い方の露光時間を長露光時間と称し、短い方の露光時間を短露光時間と称する。また、長露光時間で露光して得られる１枚の画像を長露光画像、短露光時間で露光して得られる１枚の画像を短露光画像、長露光時間で露光して得られる画素信号を長露光信号、短露光時間で露光して得られる画素信号を短露光信号とも称する。
【００２１】
画素領域１１には、画素アレイ部２１とカラムAD変換部２２が形成され、メモリ領域１２には、フレームメモリ２３が形成されている。また、ロジック領域１３には、フレーム加算部２４及びHDR合成部２５が形成され、制御領域１４には、制御部２６が形成されている。
【００２２】
画素領域１１の画素アレイ部２１には、入射光の光量に応じた光電荷を生成して蓄積する光電変換部を有する画素２０が行方向及び列方向の行列状に２次元配置されている。カラムAD変換部２２は、２次元配置された各画素２０から出力されるアナログの画素信号をデジタルの画素信号に変換する。
【００２３】
カラムAD変換部２２は、例えば、長露光信号についてはメモリ領域１２のフレームメモリ２３に出力し、短露光信号についてはロジック領域１３のHDR合成部２５に出力する。
【００２４】
メモリ領域１２のフレームメモリ２３は、例えば、DRAM(Dynamic Read Only Memory)等の揮発性メモリで構成され、カラムAD変換部２２から供給される１枚（１フレーム）の画像を記憶し、所定のタイミングで、ロジック領域１３のフレーム加算部２４に出力する。
【００２５】
ロジック領域１３は、画素信号に対して所定の信号処理を実行するロジック回路が形成された領域である。フレーム加算部２４は、カラムAD変換部２２から供給される短露光画像と、フレームメモリ２３から供給される長露光画像とを加算（フレーム加算）し、加算後の画像をHDR合成部２５に出力する。ただし、このフレーム加算をする処理は、固体撮像素子１の動作モードがフレーム加算モードの場合に実行される。動作モードがフレームを加算しないフレーム非加算モードの場合は、フレーム加算部２４は、フレームメモリ２３から供給される長露光画像をそのまま、HDR合成部２５に出力する。
【００２６】
HDR合成部２５は、露光時間の異なる２枚の画像から、ダイナミックレンジを拡大したHDR画像を生成して出力する。HDR画像生成の詳細については後述する。ここで、HDR画像の生成に用いられる、露光時間の異なる２枚の画像を、長畜画像と短畜画像と称することとし、上述した短露光画像と長露光画像と区別して使用する。詳細は後述するが、動作モードがフレーム加算モードである場合は、HDR合成部２５は、短露光画像と長露光画像を加算した画像を長畜画像、及び短露光画像を短畜画像としてHDR画像を生成する。一方、動作モードがフレーム非加算モードである場合は、長露光画像がそのまま長畜画像となり、短露光画像がそのまま短畜画像となる。
【００２７】
制御領域１４の制御部２６は、所定のクロック信号やタイミング信号を、各画素２０やカラムAD変換部２２に供給することにより、画素２０及びカラムAD変換部２２の駆動を制御する。また、制御部２６は、所定のクロック信号やタイミング信号をメモリ領域１２に供給し、フレームメモリ２３への画像（データ）の書き込み、及び、フレームメモリ２３からの画像（データ）の読み出しを制御する。
【００２８】
＜１．２  固体撮像素子の基板構成例＞
図２は、固体撮像素子１の基板構成例を示している。
【００２９】
固体撮像素子１は、図２に示されるように、３枚の半導体基板３１乃至３３を積層した３層構造により形成することができる。
【００３０】
より具体的には、図２Aに示されるように、３枚の半導体基板３１乃至３３のうち、入射光側の第１の半導体基板３１には画素領域１１を形成し、真ん中の第２の半導体基板３２にはメモリ領域１２を形成し、第２の半導体基板３２の下層の第３の半導体基板３３に、ロジック領域１３と制御領域１４を形成した構成を採用することができる。
【００３１】
あるいはまた、図２Bに示されるように、３枚の半導体基板３１乃至３３のうち、第１の半導体基板３１には画素領域１１と制御領域１４を形成し、第２の半導体基板３２にはメモリ領域１２を形成し、第３の半導体基板３３に、ロジック領域１３を形成した構成とすることもできる。
【００３２】
３枚の半導体基板３１乃至３３どうしは、例えば、貫通ビアやCu-Cuの金属結合により電気的に接続される。
【００３３】
以上のように、固体撮像素子１は、画素信号を生成する画素領域１１、画素信号を一時記憶するメモリ領域１２、及び、画像合成処理等の所定の信号処理を行うロジック領域１３が一体となっていることで、データ量を圧縮できるため、データ転送の負荷を低減し、転送速度の向上、消費電力の低減などの効果がある。
【００３４】
また、固体撮像素子１の後段に、イメージシグナルプロセッサ（ISP）などの画像処理装置に新たなメモリやロジック回路を増設することなく、HDR画像を出力することができる。
【００３５】
＜１．３  共有画素構造の回路例＞
次に、図１の固体撮像素子１で採用されている共有画素構造について説明する。
【００３６】
画素アレイ部２１では、１つのFD（浮遊拡散領域）を、複数の画素２０で共有する共有画素構造が採用されている。
【００３７】
図３は、縦４画素×横２画素の計８画素で１つのFDを共有させた共有画素構造の場合の回路図を示している。
【００３８】
各画素２０は、フォトダイオードPDと、フォトダイオードPDに蓄積された電荷を転送する転送トランジスタTGのみを個別に保有している。そして、FD３５、リセットトランジスタ（リセットTr）３６、増幅トランジスタ（増幅Tr）３７、及び選択トランジスタ（選択Tr）３８のそれぞれは、共有単位である８画素で共通に利用される。
【００３９】
なお、以下では、共有単位である８画素で共通に利用されるリセットトランジスタ３６、増幅トランジスタ３７、及び選択トランジスタ３８のそれぞれを、共有画素トランジスタとも称する。また、共有単位内の８画素の各々に配置されたフォトダイオードPDと転送トランジスタTGを区別するため、図３に示されるように、フォトダイオードPD１乃至PD８及び転送トランジスタTG１乃至TG８と称する。
【００４０】
フォトダイオードPD１乃至PD８のそれぞれは、光を受光して光電荷を生成して蓄積する。
【００４１】
転送トランジスタTG１は、信号線TG１Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD１に蓄積されている光電荷をFD３５に転送する。転送トランジスタTG２は、信号線TG２Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD２に蓄積されている光電荷をFD３５に転送する。転送トランジスタTG３は、信号線TG３Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD３に蓄積されている光電荷をFD３５に転送する。転送トランジスタTG４は、信号線TG４Aを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、フォトダイオードPD４に蓄積されている光電荷をFD３５に転送する。フォトダイオードPD５乃至PD８と転送トランジスタTG５乃至TG８についても、フォトダイオードPD１乃至PD４と転送トランジスタTG１乃至TG４と同様に動作する。
【００４２】
FD３５は、フォトダイオードPD１乃至PD８から供給された光電荷を一時保持する。
【００４３】
リセットトランジスタ３６は、信号線RSTを介してゲート電極に供給される駆動信号がアクティブ状態になるとこれに応答して導通状態になることで、FD３５の電位を所定のレベル（リセット電圧VDD）にリセットする。
【００４４】
増幅トランジスタ３７は、ソース電極が選択トランジスタ３８を介して垂直信号線VSLに接続されることにより、垂直信号線VSLの一端に接続されている定電流源回路部の負荷MOS（図示せず）とソースフォロワ回路を構成する。
【００４５】
選択トランジスタ３８は、増幅トランジスタ３７のソース電極と垂直信号線VSLとの間に接続されている。選択トランジスタ３８は、信号線SELを介してゲート電極に供給される選択信号がアクティブ状態になるとこれに応答して導通状態となり、共有単位を選択状態として増幅トランジスタ３７から出力される共有単位内の画素の画素信号を垂直信号線VSLに出力する。共有単位内の複数の画素２０は、垂直駆動回路（不図示）からの駆動信号に応じて、１画素単位で画素信号を出力することもできるし、複数画素単位で画素信号を同時出力することもできる。
【００４６】
本実施の形態では、固体撮像素子１が、図３に示したような、縦４画素×横２画素の計８画素で１つのFDを共有させた共有画素構造を有するものとして説明するが、８画素以外の画素数（例えば、２画素、４画素、１６画素など）で共有する構造でもよいし、FDと共有画素トランジスタを共有しない構造とすることもできる。
【００４７】
＜１．４  固体撮像素子の画素駆動の説明＞
次に、図４を参照して、長畜画像と短畜画像の２枚の画像を用いてHDR画像を生成する際の画素駆動について説明する。
【００４８】
なお、図４の説明では、長畜画像と短畜画像それぞれは、垂直方向の行数H及び水平方向の列数Wの画像で構成されるものとする。
【００４９】
長畜画像と短畜画像の２枚の画像を用いてHDR画像を作成する場合、例えば、図４Aに示されるような画素駆動が考えられる。図４Aの画素駆動方法は、長畜画像を取得する第１フレームと、短畜画像を取得する第２フレームの各フレームを等時間間隔で読み出していき、そのフレーム内で露光時間を設定する方法である。長畜画像を取得する第１フレームでは、例えば、フレーム期間内で最大の露光時間が設定され、短畜画像を取得する第２フレームでは、第１フレームよりも短い露光時間が設定される。１枚のHDR画像は、第１フレームの長畜画像と第２フレームの短畜画像が得られて初めて生成できるので、HDR画像を出力するのにかかる時間（以下、出力フレーム長という。）をTとすると、第１フレームの長畜画像及び第２フレームの短畜画像それぞれの画像取得にかかる時間は、T/2時間である。
【００５０】
図４Aの画素駆動では、各フレームの時間が一定に保たれており、長畜画像の最大露光時間は、T/2時間となる。
【００５１】
そこで、出力フレーム長Tと、短畜画像の露光時間は、同じ条件であっても、長畜画像を取得する第１フレームと、短畜画像を取得する第２フレームのフレーム時間を異なる時間に設定すれば、図４Bに示されるように、長畜画像の露光時間をT/2時間よりさらに延ばすことが可能となる。
【００５２】
しかし、CMOSイメージセンサなどの撮像素子では、例えば、第１フレームの画像の0行目から順番に読み出していき、第１フレームの画像のH行目の読み出しが終了してから、第２フレームの画像を、同様に0行目から順次読みだしていくという、ラスタスキャン駆動が一般的である。
【００５３】
このラスタスキャン駆動の場合、最後のH行目の信号を読み出し終わってからでないと、次フレームの画像の読み出しを開始することができないため、前フレームの読み出しが完全に終了するのを待つ必要があり、その待ち時間の分だけ、図４Bに示されるように、長蓄画像と短蓄画像の読み出し時間差が発生してしまう。
【００５４】
そこで、図１の固体撮像素子１は、同一時刻に複数行の信号読み出しを行うことで、長蓄画像と短蓄画像の読み出し時間差を最小限にするように画素２０を駆動する。
【００５５】
例えば、図４Cに示されるように、ある時刻において第１フレームの画像のy行目と第２フレームの画像のx行目が同時に読み出される。これにより、第１フレームと第２フレームの間を開けずにすぐに露光を開始することができ、読み出し時間差を最小にすることができる。
【００５６】
なお、図４Cにおいても、HDR画像の生成に必要な出力フレーム長Tと、短畜画像の露光時間は、上述した図４A及び図４Bと同じである。したがって、図４Bにおける、長畜画像の露光期間と短畜画像の露光期間の間の空白部分の期間は、固体撮像素子１の駆動制御では、長畜画像の露光期間とすることができ、HDR画像の生成に必要な時間は、同じT時間であっても、上述した図４A及び図４Bと比べて、長畜画像の露光時間を長く取ることができる。
【００５７】
＜１．５  固体撮像素子の複数段カラムADC構造＞
図５は、図４Cで説明した第１フレームと第２フレームの同時読み出しを実現する固体撮像素子１の詳細構造を示している。
【００５８】
図５では、画素アレイ部２１の一部と、カラムAD変換部２２の一部、及び、カラムAD変換部２２へランプ信号を供給するDAC（Digital to Analog Converter）４１が、図示されている。DAC４１は、図１の制御領域１４に含まれている。
【００５９】
固体撮像素子１の画素アレイ部２１では、図５に示されるように、例えばベイヤ配列で配置された共有単位の８個の画素２０に対して１つのFD３５が形成されており、同一列の複数のFD３５は、左右それぞれに配置された２本の垂直信号線VSL1及びVSL2に接続されている。
【００６０】
図１のカラムAD変換部２２は、画素アレイ部２１に対して、図５において上側と下側のそれぞれに配置されたカラムAD変換部２２Aと２２Bで構成される。
【００６１】
２本の垂直信号線VSL1及びVSL2のうちの１本の垂直信号線VSL1は、下側のカラムAD変換部２２AのADC５０と接続されており、他の１本の垂直信号線VSL2は、上側のカラムAD変換部２２BのADC５０と接続されている。
【００６２】
カラムAD変換部２２AのADC５０は、垂直信号線VSL1を介して入力される所定画素の画素信号と、DAC４１Aからのランプ信号とを比較するコンパレータ（比較器）５１と、コンパレータの比較時間をカウントするアップダウンカウンタ（counter）５２を有する。
【００６３】
カラムAD変換部２２BのADC５０は、垂直信号線VSL2を介して入力される所定画素の画素信号と、DAC４１Bからのランプ信号とを比較するコンパレータ（比較器）５１と、コンパレータの比較時間をカウントするアップダウンカウンタ（counter）５２を有する。
【００６４】
コンパレータ５１は、画素信号とランプ信号とを比較して得られる差信号をアップダウンカウンタ５２に出力する。例えば、ランプ信号が画素信号より大である場合にはHi(High)の差信号がアップダウンカウンタ５２に供給され、ランプ信号が画素信号より小である場合にはLo(Low)の差信号がアップダウンカウンタ５２に供給される。
【００６５】
アップダウンカウンタ５２は、P相（Preset Phase）AD変換期間で、Hiの差信号が供給されている間だけダウンカウントするとともに、D相（Data Phase）AD変換期間で、Hiの差信号が供給されている間だけアップカウントする。そして、アップダウンカウンタ５２は、P相AD変換期間のダウンカウント値と、D相AD変換期間のアップカウント値との加算結果を、CDS処理およびAD変換処理後の画素データとして出力する。これにより、画素信号のAD変換を行うとともにリセットノイズを除去することができる。なお、P相AD変換期間でアップカウントし、D相AD変換期間でダウンカウントしてもよい。
【００６６】
一列に配置された複数のFD３５それぞれが、保持しておいた電荷を、右側に配置された２本の垂直信号線VSL1及びVSL2から出力するか、または、左側に配置された２本の垂直信号線VSL1及びVSL2から出力するかは、例えば、撮像設定等の所定の条件に応じて適宜使い分けられる。
【００６７】
いま例えば、固体撮像素子１は、同一列の複数のFD３５が右側に配置された２本の垂直信号線VSL1及びVSL2を使用して画素信号を出力するものとし、図４Cで説明したように、ある時刻において第１フレームの画像のy行目と第２フレームの画像のx行目を同時に読み出す場合、図６に示すように、読み出しが制御される。
【００６８】
即ち、固体撮像素子１の制御部２６は、第１フレームの画像のy行目の画素信号を、画素アレイ部２１の下側のカラムAD変換部２２AのADC５０に出力し、第２フレームの画像のx行目の画素信号を、画素アレイ部２１の上側のカラムAD変換部２２BのADC５０に出力するように、各画素２０を制御する。
【００６９】
画素列に対してADCを設ける一般的なカラムADC構造は、図７に示されるように、一列に配置された複数のFD３５に対して、左右それぞれに１本の垂直信号線と１個のADC(例えば垂直信号線VSL1とカラムAD変換部２２A側のADC５０）だけを設けた構造である。この場合には、第１フレームの画像の読み出しが終了するまでは、第２フレームの画像の読み出しを開始することができないため、図４Bに示したような駆動となる。
【００７０】
これに対し、固体撮像素子１は、一列に配置された複数のFD３５に対して、出力可能なADCとして、２個のADC５０を備えた２段カラムADC構造とすることで、第１フレームの画像と第２フレームの画像を同時に読み出すことが可能となる。
【００７１】
なお、２段カラムADC構造は、HDR画像の生成においては、上述したように、第１フレームの画像と第２フレームの画像の同時読み出しとして利用されるが、例えば、通常の１枚単位の撮像等においては、読み出し速度を２倍にする目的として利用することができる。
【００７２】
図８は、一列に配置された複数のFD３５に対して、出力可能なADCとして、４個のADC５０を備えた４段カラムADC構造の例を示している。
【００７３】
固体撮像素子１は、図５に示した２段カラムADC構造の他、図８に示されるような、一列に配置された複数のFD３５に対して、左右それぞれに４本の垂直信号線VSL1乃至VSL4と４個のADC５０を備えた４段カラムADC構造とすることもできる。この場合、画素アレイ部２１内の４行の画素信号を同時に読み出すことが可能となり、HDR画像の生成のために２枚の画像を用いる場合には、読み出し速度を、２段カラムADC構造の２倍にすることができる。また、２段、４段以外の多段カラムADC構造としてもよい。
【００７４】
＜１．６  フレーム加算モードとフレーム非加算モード＞
ところで、図４Cを参照して説明した固体撮像素子１の画素駆動は、出力フレーム長Tを、長畜画像の露光期間と短畜画像の露光期間に振り分けるように制御するものである。
【００７５】
換言すれば、図４Cを参照して説明した固体撮像素子１の画素駆動は、第１フレームの長露光画像をHDR画像の長畜画像としてそのまま用い、第２フレームの短露光画像をHDR画像の短畜画像として用いるフレーム非加算モードの駆動を示している。
【００７６】
図９は、出力フレーム長Tを３０msecとしたときの、フレーム非加算モードの３種類の露光比における長畜画像の露光時間と短畜画像の露光時間を示した図である。
【００７７】
長畜画像と短畜画像の露光比が１：８である場合、長畜画像の露光時間は２６．６７msecに設定され、短畜画像の露光時間は３．３３msecに設定される。
【００７８】
長畜画像と短畜画像の露光比が１：２である場合、長畜画像の露光時間は２０msecに設定され、短畜画像の露光時間は１０msecに設定される。
【００７９】
長畜画像と短畜画像の露光比が１：１である場合、長畜画像の露光時間は１５msecに設定され、短畜画像の露光時間は１５msecに設定される。
【００８０】
従って、フレーム非加算モードでは、長畜画像の最大露光時間は、（３０−短畜画像の露光時間）msecで設定され、例えば、長畜画像と短畜画像の露光比が１：２である場合に、長畜画像の露光時間は２０msec以上に延ばすことはできない。
【００８１】
次に、図１０を参照して、固体撮像素子１によるフレーム加算モードによる駆動について説明する。
【００８２】
図１０は、図９と同じ出力フレーム長T及び露光比の場合のフレーム加算モードにおける、長畜画像の露光時間と短畜画像の露光時間を示した図である。
【００８３】
フレーム加算モードでは、固体撮像素子１は、第１フレームで取得した長露光画像と第２フレームで取得した短露光画像をフレーム加算部２４で加算し、その結果得られる画像を、HDR画像の長畜画像として用い、第２フレームの短露光画像をHDR画像の短畜画像として用いる。
【００８４】
この場合、長畜画像の露光時間は、第１フレームの露光時間と第２フレームの露光時間の和で表されるため、どのような露光比であっても、常に一定となり、図１０の例では、出力フレーム長Tと同じ３０msecとなる。
【００８５】
そして、長畜画像と短畜画像の露光比を１：８とする場合には、図１０に示されるように、第２フレームの露光時間を３．７５msecに設定すればよい。
【００８６】
また、長畜画像と短畜画像の露光比を１：２とする場合には、第２フレームの露光時間を１５msecに設定すればよく、長畜画像と短畜画像の露光比を１：１とする場合には、第２フレームの露光時間を３０msecに設定すればよい。
【００８７】
従って、フレーム加算モードでは、長畜画像の露光時間は第１フレームの露光時間と第２フレームの露光時間の和で表されるため、どのような露光比であっても、長畜画像の露光時間を常に一定に保つことができる。また、フレーム加算モードでは、図９と比較して明らかなように、長畜画像の露光時間を、フレーム非加算モードよりも長く確保することができる。
【００８８】
＜１．７  フレーム加算モードにおけるHDR画像生成処理＞
図１１のフローチャートを参照して、フレーム加算モードにおける固体撮像素子１のHDR画像生成処理について説明する。
【００８９】
初めに、ステップＳ１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第１フレームの長露光信号の読み出しを開始する。第１フレームの長露光信号は、上述したように、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
【００９０】
画素アレイ部２１の各画素２０は、制御部２６の読み出し制御に従い、蓄積されているアナログの長露光信号（画素信号）をカラムAD変換部２２に出力し、カラムAD変換部２２は、リセットノイズを除去しつつデジタルに変換する。カラムAD変換部２２は、AD変換後の長露光信号を、フレームメモリ２３へ出力する。
【００９１】
ステップＳ２において、フレームメモリ２３は、画素領域１１のカラムAD変換部２２から順次供給された、第１フレームの長露光信号を一時記憶する。第１フレームの長露光信号は、後述するステップＳ４において、加算対象の第２フレームの短露光信号の読み出しが開始されるまでは少なくとも保持される。
【００９２】
ステップＳ３において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第２フレームの短露光信号の読み出しを開始する。第２フレームの短露光信号も、上述したように、第１フレームの読み出し終了後から、第２フレームの短露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
【００９３】
画素アレイ部２１の各画素２０は、制御部２６の読み出し制御に従い、蓄積されているアナログの短露光信号（画素信号）をカラムAD変換部２２に出力し、カラムAD変換部２２は、リセットノイズを除去しつつデジタルに変換する。カラムAD変換部２２は、AD変換後の短露光信号を、フレーム加算部２４及びHDR合成部２５に出力する。
【００９４】
なお、図６等を参照して説明したように、固体撮像素子１は、第１フレームの長露光信号と第２フレームの短露光信号を、多段カラムADC構造を用いて同時に読み出すので、ステップＳ３の第２フレームの短露光信号の読み出しが開始された後は、第１フレームの長露光信号の読み出しと第２フレームの短露光信号の読み出しが、並行して実行される。
【００９５】
ステップＳ４において、フレーム加算部２４は、フレームメモリ２３に記憶されている第１フレームの長露光信号を取得し、取得した第１フレームの長露光信号と、カラムAD変換部２２から供給された第２フレームの短露光信号を加算した加算信号を生成し、HDR合成部２５に出力する。
【００９６】
ステップＳ５において、HDR合成部２５は、フレーム加算部２４から供給された加算信号を長畜画像の画素信号（以下、長畜信号という。）とし、カラムAD変換部２２から供給された第２フレームの短露光信号を短畜画像の画素信号（以下、短畜信号という。）として、HDR画像を生成するHDR合成処理を実行する。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
【００９７】
＜１．８  フレーム非加算モードにおけるHDR画像生成処理＞
次に、図１２のフローチャートを参照して、フレーム非加算モードにおける固体撮像素子１のHDR画像生成処理について説明する。
【００９８】
図１２のステップＳ１１乃至Ｓ１３は、上述した図１１のステップＳ１乃至Ｓ３と、それぞれ同様であるので、その説明は省略する。
【００９９】
ステップＳ１４において、フレーム加算部２４は、フレームメモリ２３に記憶されている第１フレームの長露光信号を取得し、取得した第１フレームの長露光信号をそのまま、HDR合成部２５に出力する。
【０１００】
ステップＳ１５において、HDR合成部２５は、フレーム加算部２４から供給された第１フレームの長露光信号を長畜信号とし、カラムAD変換部２２から供給された第２フレームの短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
【０１０１】
なお、上述した説明では、ラスタスキャン駆動の読み出しにおいて、0行目から順番に読み出すように説明したが、必ずしも0行目から読み出す必要はない。
【０１０２】
以上のように、図１１のフレーム加算モードのHDR画像生成処理では、第１フレームの長露光画像と、第２フレームの短露光画像を加算して得られた画像を長畜画像とし、第２フレームの短露光画像を短畜画像として、HDR画像が生成される。
【０１０３】
一方、図１２のフレーム非加算モードのHDR画像生成処理では、第１フレームの長露光画像を長畜画像とし、第２フレームの短露光画像を短畜画像として、HDR画像が生成される。
【０１０４】
フレーム加算モードでは、長畜画像の露光時間を、どのような露光比であっても常に一定に保つことができ、フレーム非加算モードよりも長く確保することができる。換言すれば、１枚単位の画像（通常画像）を生成する場合も、HDR画像を生成する場合も、フレーム画像を出力する単位時間（出力フレーム長）を、長畜画素の露光時間に応じて適応的に変更する必要が無いため、駆動制御が容易となる。
【０１０５】
また、固体撮像素子１は、図５または図８に示したように、一列に配置された複数のFD３５に対して、出力可能なADCとして、複数個のADC５０を備えた多段カラムADC構造を有しており、第１フレームの長露光画像の読み出しと、第２フレームの短露光画像の読み出しを同時に行うことができる。換言すれば、第１フレームの長露光画像の読み出しが終了していなくても、第２フレームの短露光画像の読み出しを開始することができる。これにより、短蓄画像と長蓄画像の読み出し時間差が少ないため、動被写体の影響を受けにくくなる。
【０１０６】
１つの撮像素子内に、長畜画素（高感度画素）と短畜画素（低感度画素）を用意することで、複数の露光時間の信号を同時に取得する方法と比べて、固体撮像素子１の構成及び制御によれば、長畜画像も短畜画像も画素アレイ部２１の全画素で画素信号を取得することができるので、空間解像度も時間解像度も落とすことなく、モアレやエイリアシングといった画質劣化が発生しない。したがって、画質劣化の少ないHDR画像を生成することができる。
【０１０７】
＜１．９  HDR合成部の詳細＞
次に、図１３乃至図１６を参照して、HDR合成部２５によるHDR合成処理について説明する。
【０１０８】
なお、以下の説明では、フレーム加算モードのHDR画像生成を行うものとして、長畜信号としての、長露光信号と短露光信号を加算した加算信号がフレーム加算部２４から供給される場合について説明し、フレーム非加算モードについての説明は省略する。
【０１０９】
＜ブロック図＞
図１３は、HDR合成部２５の詳細構成を、フレームメモリ２３及びフレーム加算部２４とともに示したブロック図である。
【０１１０】
HDR合成部２５は、LPF８１及び８２、動被写体ブレンド率算出部８３、輝度ブレンド率算出部８４、並びに、合成演算部８５を有している。
【０１１１】
カラムAD変換部２２から出力された、HDR画像を生成するための短畜信号としての短露光信号は、LPF８１と合成演算部８５に供給される。また、フレーム加算部２４から出力された、HDR画像を生成するための長畜信号としての加算信号は、LPF８２と合成演算部８５に供給される。
【０１１２】
LPF８１は、供給された短畜信号にローパスフィルタ処理を施すことにより、高周波ノイズを除去した短畜信号を生成し、動被写体ブレンド率算出部８３及び輝度ブレンド率算出部８４に供給する。
【０１１３】
LPF８２は、供給された長畜信号にローパスフィルタ処理を施すことにより、高周波ノイズを除去した長畜信号を生成し、動被写体ブレンド率算出部８３及び輝度ブレンド率算出部８４に供給する。
【０１１４】
動被写体ブレンド率算出部８３は、生成するHDR画像の各画素について、動被写体かどうかに応じたブレンド率（合成比）である動被写体ブレンド率βを算出する。
【０１１５】
具体的には、動被写体ブレンド率算出部８３は、生成するHDR画像の各画素について、次式（１）により、長畜信号と短畜信号の差分絶対値diffを算出する。
【数１】
2016208402.tif 000003
【０１１６】
式（１）のLは長畜信号（長畜画素の画素値）、Sは短畜信号（短畜画素の画素値）、Bopbは黒レベル信号、gainは長畜画素と短畜画素の露光比を表す。
【０１１７】
動被写体ブレンド率算出部８３は、図１４に示される動被写体ブレンド率関数（動被写体ブレンド率テーブル）を参照し、算出した長畜信号と短畜信号の差分絶対値diffから、動被写体ブレンド率βを算出する。
【０１１８】
図１４の横軸は、式（１）で算出される差分絶対値diffであり、縦軸は、動被写体検出率βを表す。横軸のTh0及びTh1は、次式（２）で計算される、長畜信号Lに応じて適応的に変動される閾値であり、coef0乃至coef3それぞれは、予め設定される所定の係数（パラメータ）である。
【数２】
2016208402.tif 000004
【０１１９】
図１４の動被写体検出率関数によれば、式（１）で算出される差分絶対値diffが大きい（閾値Th1より大である）ときは、明るい被写体が動いていると推定し、短畜信号を使用する動被写体ブレンド率βが算出される。
【０１２０】
一方、式（１）で算出される差分絶対値diffが小さい（閾値Th0より小である）ときは、長畜信号を使用する動被写体ブレンド率βが算出される。差分絶対値diffが閾値Th0から閾値Th1までは、動被写体ブレンド率βは、例えば、線形に変化する。
【０１２１】
従って、図１４のような動被写体検出率関数によれば、動きが大きい部分では、より動体ブレの少ない短畜信号を使用するような動被写体ブレンド率βが算出される。
【０１２２】
図１３に戻り、動被写体ブレンド率算出部８３は、以上のようにしてHDR画像の各画素について算出した動被写体ブレンド率βを、合成演算部８５に供給する。
【０１２３】
輝度ブレンド率算出部８４は、生成するHDR画像の各画素について、輝度値に応じたブレンド率（合成比）である輝度ブレンド率αを算出する。
【０１２４】
具体的には、輝度ブレンド率算出部８４は、生成するHDR画像の各画素について、長畜信号Lに基づく長畜ブレンド率αLを算出し、短畜信号Sに基づく短畜ブレンド率αSを算出する。そして、輝度ブレンド率算出部８４は、算出した長畜ブレンド率αLと短畜ブレンド率αSとを用いて、α＝αL＊αSを算出することにより、輝度レベルに基づくブレンド率（輝度ブレンド率）αを算出する。
【０１２５】
図１５Aは、長畜信号Lに基づくブレンド率αLを算出するための長畜ブレンド率関数（長畜ブレンド率テーブル）を示し、図１５Bは、短畜信号Sに基づくブレンド率αSを算出するための短畜ブレンド率関数（短畜ブレンド率テーブル）を示している。
【０１２６】
図１５Aの横軸は長畜信号Lを表し、縦軸は長畜ブレンド率αLを表す。図１５Bの横軸は短畜信号Sを表し、縦軸は短畜ブレンド率αSを表す。Th0L及びTh1Lと、Th0S及びTh1Sは、予め設定された所定の閾値を表す。
【０１２７】
図１５Aの長畜ブレンド率関数及び図１５Bの短畜ブレンド率関数によれば、被写体の明るさが暗い場合は、長時間露光により暗部まで撮像できている長畜信号Lを使用し、被写体の明るさが明るい場合は、明るくて飽和しない短畜信号Sを使用するような、ブレンド率αLとブレンド率αSが算出される。
【０１２８】
図１３に戻り、輝度ブレンド率算出部８４は、以上のようにして算出した長畜ブレンド率αLと短畜ブレンド率αSとを用いて、α＝αL＊αSを算出することにより、輝度ブレンド率αを算出し、合成演算部８５に供給する。
【０１２９】
合成演算部８５は、生成するHDR画像の各画素について、動被写体ブレンド率算出部８３から供給される動被写体ブレンド率βと、輝度ブレンド率算出部８４から供給される輝度ブレンド率αから、HDR画像を生成するための最終的な短畜信号Sと長畜信号Lのブレンド率（合成比）であるHDRブレンド率γを、γ＝α＊βにより算出する。
【０１３０】
そして、合成演算部８５は、算出したHDRブレンド率γを用いて、HDR画像の各画素について次式（３）により画素値を算出し、HDR画像を生成する。
【数３】
2016208402.tif 000005
【０１３１】
＜HDR合成処理＞
図１６のフローチャートを参照して、HDR合成部２５によるHDR合成処理について説明する。この処理は、図１１のステップＳ５及び図１２のステップＳ１５の処理に相当する。
【０１３２】
初めに、ステップＳ３１において、LPF８１とLPF８２は、短畜信号と長畜信号のそれぞれについて、ローパスフィルタ処理を施す。即ち、LPF８１は、短畜信号に対してローパスフィルタ処理を施し、LPF８２は、長畜信号に対してローパスフィルタ処理を施す。
【０１３３】
ステップＳ３２において、動被写体ブレンド率算出部８３は、生成するHDR画像の各画素について、動被写体かどうかに応じたブレンド率である動被写体ブレンド率βを算出する。より具体的には、動被写体ブレンド率算出部８３は、生成するHDR画像の各画素について、式（１）による長畜信号と短畜信号の差分絶対値diffを算出する。そして、動被写体ブレンド率算出部８３は、図１４に示される動被写体ブレンド率関数を参照し、算出した長畜信号と短畜信号の差分絶対値diffから、動被写体ブレンド率βを算出し、合成演算部８５に供給する。
【０１３４】
ステップＳ３３において、輝度ブレンド率算出部８４は、生成するHDR画像の各画素について、輝度値に応じたブレンド率である輝度ブレンド率αを算出する。より具体的には、輝度ブレンド率算出部８４は、生成するHDR画像の各画素について、長畜信号Lに基づく長畜ブレンド率αLを算出し、短畜信号Sに基づいて短畜画素のブレンド率αSを算出する。そして、輝度ブレンド率算出部８４は、α＝αL＊αSを算出することにより、輝度ブレンド率αを算出し、合成演算部８５に供給する。
【０１３５】
ステップＳ３４において、合成演算部８５は、生成するHDR画像の各画素について、動被写体ブレンド率算出部８３から供給された動被写体ブレンド率βと、輝度ブレンド率算出部８４から供給された輝度ブレンド率αから、HDR画像を生成するための最終的な短畜信号Sと長畜信号Lのブレンド率であるHDRブレンド率γを、γ＝α＊βにより算出する。
【０１３６】
ステップＳ３５において、合成演算部８５は、HDR画像の各画素について、算出したHDRブレンド率γを用いて式（３）により画素値を算出し、HDR画像を生成する。
【０１３７】
以上のHDR合成処理により、短畜信号Sと長畜信号Lから、HDR画像が生成され、HDR合成部２５から出力される。
【０１３８】
＜２．第２の実施の形態＞
＜ブロック図＞
図１７は、固体撮像素子１の第２の実施の形態を示すブロック図である。
【０１３９】
図１７では、画素領域１１と制御領域１４の図示が省略されている。また、図１７において、上述した第１の実施の形態と対応する部分については同一の符号を付してあり、その説明は省略する。後述するその他の実施の形態の説明においても同様とする。
【０１４０】
固体撮像素子１の第２の実施の形態は、短畜信号及び長畜信号に対して、欠陥補正処理とノイズ低減処理を行うようにした構成例を示している。
【０１４１】
図１７の第２の実施の形態では、短畜信号の信号ラインと、長畜信号の信号ラインのそれぞれに、欠陥補正部９１とノイズ低減部９２が追加されている点が、上述した第１の実施の形態と異なる。
【０１４２】
HDR合成処理によって２枚の画像を合成したあとでは、ノイズの特性や欠陥画素の特性が変化するため、欠陥補正処理やノイズ低減処理は、合成前の段階で行うことが望ましい。
【０１４３】
欠陥補正部９１Sは、供給された短畜信号に対して欠陥画素の有無を検出し、欠陥画素が検出された場合に、その欠陥画素を補正する欠陥補正処理を実行する。ノイズ低減部９２Sは、欠陥補正部９１Sから出力された欠陥補正処理後の短畜信号に対して、ノイズ低減処理を実行する。
【０１４４】
欠陥補正部９１Lは、供給された長畜信号に対して欠陥補正処理を実行する。ノイズ低減部９２Lは、欠陥補正部９１Lから出力された欠陥補正処理後の長畜信号に対して、ノイズ低減処理を実行する。
【０１４５】
欠陥補正部９１Sまたは９１Lとしての欠陥補正部９１が行う欠陥補正処理は、例えば、画像を構成する各画素を注目画素として、注目画素の周辺に位置する周辺画素（例えば、注目画素を中心とする３ｘ３の、注目画素を除く８画素）の画素値の平均値と、注目画素の画素値との差分値を算出し、差分値が所定の閾値以上である場合に、注目画素の画素値を周辺画素の平均値で置き換える処理などを行う。なお、この欠陥補正処理は、あくまで一例であって、その他の任意の欠陥補正処理を採用することができる。
【０１４６】
ノイズ低減部９２Sまたは９２Lとしてのノイズ低減部９２が行うノイズ低減処理は、例えば、注目画素の画素値と周辺画素の平均値との差分が大きいほど重みが小さくなるような重みを設定し、注目画素と重みを付加した周辺画素の平均値との重み付け平均の結果を、注目画素の画素値とする処理を行う。なお、このノイズ低減処理は、あくまで一例であって、その他の任意のノイズ低減処理を採用することができる。
【０１４７】
固体撮像素子１の第２の実施の形態によれば、欠陥補正処理とノイズ低減処理を行った短畜信号及び長畜信号を用いて、HDR画像を生成することが可能となる。
【０１４８】
＜３．第３の実施の形態＞
＜ブロック図＞
図１８は、固体撮像素子１の第３の実施の形態を示すブロック図である。
【０１４９】
図１８においても、画素領域１１と制御領域１４については、図示が省略されている。
【０１５０】
固体撮像素子１の第３の実施の形態も、短畜信号及び長畜信号に対して、欠陥補正処理
とノイズ低減処理を行うようにした構成例を示している。ただし、図１７に示した第２の実施の形態では、短畜信号の信号ラインと、長畜信号の信号ラインのそれぞれに、欠陥補正部９１とノイズ低減部９２が設けられたが、第３の実施の形態では、欠陥補正部９１とノイズ低減部９２が共通化されている。
【０１５１】
具体的には、１つの欠陥補正部９１とノイズ低減部９２が、フレームメモリ２３の前段に配置されている。この１つの欠陥補正部９１とノイズ低減部９２で、第１フレームの長露光信号と、第２フレームの短露光信号を時間差で逐次処理を行うことで、欠陥補正部９１とノイズ低減部９２の共通化を図っている。そのため、第２フレームの短露光信号は、第１フレームの長露光信号の欠陥補正処理とノイズ低減処理が終了するまで待機させる必要があるので、第２フレームの短露光信号を所定時間遅延させるための遅延調整部１０１が、欠陥補正部９１の前段に設けられている。遅延調整部１０１は、例えば、フレームメモリ２３と同様のDRAM等で構成される。
【０１５２】
欠陥補正部９１の前段には、欠陥補正部９１への入力信号として、カラムAD変換部２２から出力される第１フレームの長露光信号、または、遅延調整部１０１から出力される第２フレームの短露光信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部９２の後段には、ノイズ低減部９２からの出力信号の出力先を、フレームメモリ２３またはHDR合成部２５のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
【０１５３】
第１フレームの長露光信号は、欠陥補正部９１とノイズ低減部９２において、欠陥補正処理及びノイズ低減処理が実行された後、フレームメモリ２３に供給され、所定時間、記憶される。
【０１５４】
第２フレームの短露光信号は、第１フレームの全ての長露光信号に対して、欠陥補正処理及びノイズ低減処理が終了するまで、遅延調整部１０１で待機される。そして、第１フレームの全ての長露光信号の欠陥補正処理及びノイズ低減処理が終了した後、欠陥補正部９１とノイズ低減部９２に供給され、欠陥補正処理及びノイズ低減処理が実行される。
【０１５５】
＜HDR画像生成処理＞
図１９のフローチャートを参照して、固体撮像素子１の第３の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
【０１５６】
初めに、ステップＳ５１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第１フレームの長露光信号の読み出しを開始する。第１フレームの長露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
【０１５７】
ステップＳ５２において、欠陥補正部９１とノイズ低減部９２は、順次入力される第１フレームの長露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
【０１５８】
ステップＳ５３において、フレームメモリ２３は、ノイズ低減部９２から順次供給されるノイズ低減処理後の第１フレームの長露光信号を一時記憶する。
【０１５９】
ステップ５４において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第２フレームの短露光信号の読み出しを開始する。第２フレームの短露光信号も、上述したように、第１フレームの読み出し終了後から、第２フレームの短露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
【０１６０】
第３の実施の形態においても、ステップＳ５４の第２フレームの短露光信号の読み出しが開始された後は、第１フレームの長露光信号の読み出しと第２フレームの短露光信号の読み出しが、並行して実行される。
【０１６１】
ステップ５５において、遅延調整部１０１は、カラムAD変換部２２から供給された第２フレームの短露光信号を、所定時間遅延させる。ここでの遅延時間は、第１フレームの全ての長露光信号に対して、欠陥補正処理及びノイズ低減処理が終了するまでの時間である。
【０１６２】
ステップＳ５６において、欠陥補正部９１とノイズ低減部９２は、所定時間の遅延後、遅延調整部１０１から順次入力される第２フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
【０１６３】
ステップＳ５７において、フレーム加算部２４は、フレームメモリ２３に記憶されている長露光信号を取得し、取得した長露光信号と、ノイズ低減部９２から供給された短露光信号を加算した加算信号を生成し、HDR合成部２５に出力する。
【０１６４】
ステップＳ５８において、HDR合成部２５は、フレーム加算部２４から供給された加算信号を長畜信号とし、ノイズ低減部９２から供給された欠陥補正処理及びノイズ低減処理後の第２フレームの短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図１６の処理と同一である。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
【０１６５】
＜４．第４の実施の形態＞
【０１６６】
次に、固体撮像素子１の第４の実施の形態について説明する。
【０１６７】
上述した第１乃至第３の実施の形態では、第１フレームを長露光信号とし、第２フレームが短露光信号となるように、画素アレイ部２１の各画素２０が駆動された。
【０１６８】
これに対して、以下に説明する固体撮像素子１の第４の実施の形態では、図２０に示されるように、第１フレームを短露光信号とし、第２フレームが長露光信号となるように、画素アレイ部２１の各画素２０が駆動される。
【０１６９】
このように、第１フレームを短露光信号とした場合、第１フレームの短露光信号が短畜信号、第１フレームの短露光信号と第２フレームの長露光信号を加算した加算信号が長畜信号となる。また、第１フレームを短露光信号とした場合には、図２０に示されるように、短畜信号と長畜信号の読出し開始位置を揃えることができる。
【０１７０】
＜ブロック図＞
図２１は、固体撮像素子１の第４の実施の形態を示すブロック図である。
【０１７１】
なお、図２１においても、画素領域１１と制御領域１４については、図示が省略されている。
【０１７２】
第１フレームを短露光信号とする場合、図２１に示されるように、上述した第１乃至第３の実施の形態におけるフレームメモリ２３とフレーム加算部２４のほかに、もう１つのフレームメモリ２３が必要となる。第４の実施の形態において、欠陥補正部９１の前段に配置されたフレームメモリ２３を第１のフレームメモリ２３−１と称し、ノイズ低減部９２の後段に配置されたフレームメモリ２３を第２のフレームメモリ２３−２と称する。
【０１７３】
第１のフレームメモリ２３−１は、第１フレームの短露光信号の信号ラインに配置され、フレーム加算部２４は、第２フレームの長露光信号の信号ラインに配置される。第２のフレームメモリ２３−２は、ノイズ低減部９２とHDR合成部２５との間に配置される。
【０１７４】
なお、図２１においても、欠陥補正部９１の前段には、欠陥補正部９１への入力信号として、第１のフレームメモリ２３−１から出力される第１フレームの短露光信号、または、フレーム加算部２４から出力される加算信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部９２の後段には、ノイズ低減部９２からの出力信号の出力先を、第２のフレームメモリ２３−２またはHDR合成部２５のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
【０１７５】
第１のフレームメモリ２３−１は、取得した第１フレームの短露光信号を、後段の欠陥補正部９１に供給するとともに、所定時間保持し、その後、フレーム加算部２４に供給する。
【０１７６】
フレーム加算部２４は、第２フレームの長露光信号を取得し、第１のフレームメモリ２３−１から供給される第１フレームの短露光信号と加算して、加算結果を欠陥補正部９１に出力する。
【０１７７】
第２のフレームメモリ２３−２は、ノイズ低減部９２が出力するノイズ低減処理後の第１フレームの短露光信号を一時記憶し、所定時間経過後、HDR合成部２５に供給する。
【０１７８】
＜HDR画像生成処理＞
図２２のフローチャートを参照して、固体撮像素子１の第４の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
【０１７９】
初めに、ステップＳ７１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第１フレームの短露光信号の読み出しを開始する。第１フレームの短露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
【０１８０】
ステップＳ７２において、第１のフレームメモリ２３−１は、画素領域１１のカラムAD変換部２２から供給される第１フレームの短露光信号を、後段の欠陥補正部９１に供給するとともに、一時記憶する。
【０１８１】
ステップＳ７３において、欠陥補正部９１とノイズ低減部９２は、第１のフレームメモリ２３−１から順次入力される第１フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
【０１８２】
ステップＳ７４において、第２のフレームメモリ２３−２は、ノイズ低減部９２から順次供給されるノイズ低減処理後の第１フレームの短露光信号を、後段のHDR合成部２５に供給するとともに、一時記憶する。
【０１８３】
ステップ７５において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第２フレームの長露光信号の読み出しを開始する。第２フレームの長露光信号も、上述したように、第１フレームの読み出し終了後から、第２フレームの長露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
【０１８４】
ステップ７６において、フレーム加算部２４は、第１のフレームメモリ２３−１に記憶されている短露光信号を取得し、取得した短露光信号と、画素領域１１のカラムAD変換部２２から供給された第２フレームの長露光信号を加算した加算信号を生成し、欠陥補正部９１に出力する。
【０１８５】
ステップＳ７７において、欠陥補正部９１とノイズ低減部９２は、フレーム加算部２４からから順次入力される加算信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。処理後の加算信号は、HDR合成部２５に供給される。
【０１８６】
ステップＳ７８において、HDR合成部２５は、ノイズ低減部９２から供給された加算信号を長畜信号とし、第２のフレームメモリ２３−２から供給された欠陥補正処理及びノイズ低減処理後の短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図１６の処理と同一である。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
【０１８７】
＜５．第５の実施の形態＞
＜ブロック図＞
図２３は、固体撮像素子１の第５の実施の形態を示すブロック図である。
【０１８８】
なお、図２３においても、画素領域１１と制御領域１４については、図示が省略されている。
【０１８９】
第５の実施の形態は、上述した第４の実施の形態と同様に、第１フレームを短露光信号とし、第２フレームが長露光信号となるように、画素アレイ部２１の各画素２０を駆動する場合の構成であるが、２つのフレームメモリ２３を必要としない構成例を示している。
【０１９０】
図２３の第５の実施の形態では、欠陥補正部９１とノイズ低減部９２の後段に、フレームメモリ２３とフレーム加算部２４が設けられる。
【０１９１】
図２３においても、欠陥補正部９１の前段には、欠陥補正部９１への入力信号として、第１フレームの短露光信号、または、第２フレームの長露光信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部９２の後段には、ノイズ低減部９２からの出力信号の出力先を、フレームメモリ２３またはフレーム加算部２４のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
【０１９２】
フレームメモリ２３は、欠陥補正処理とノイズ低減処理が施された第１フレームの短露光信号を一時記憶し、所定時間経過後、短畜信号として、HDR合成部２５に供給する。また、フレームメモリ２３は、取得した第１フレームの短露光信号を、所定時間経過後、フレーム加算部２４にも供給する。
【０１９３】
フレーム加算部２４は、欠陥補正処理とノイズ低減処理が施された第２フレームの長露光信号を取得し、フレームメモリ２３から供給される第１フレームの短露光信号と加算した加算信号を生成し、長畜信号として、HDR合成部２５に供給する。
【０１９４】
＜HDR画像生成処理＞
図２４のフローチャートを参照して、固体撮像素子１の第５の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
【０１９５】
初めに、ステップＳ９１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第１フレームの短露光信号の読み出しを開始する。第１フレームの短露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
【０１９６】
ステップＳ９２において、欠陥補正部９１とノイズ低減部９２は、画素領域１１のカラムAD変換部２２から順次入力される第１フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
【０１９７】
ステップＳ９３において、フレームメモリ２３は、ノイズ低減部９２から順次供給されるノイズ低減処理後の第１フレームの短露光信号を、後段のHDR合成部２５に供給するとともに、一時記憶する。
【０１９８】
ステップＳ９４において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第２フレームの長露光信号の読み出しを開始する。第２フレームの長露光信号も、上述したように、第１フレームの読み出し終了後から、第２フレームの長露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
【０１９９】
ステップＳ９５において、欠陥補正部９１とノイズ低減部９２は、画素領域１１のカラムAD変換部２２から順次入力される第２フレームの長露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
【０２００】
ステップ９６において、フレーム加算部２４は、フレームメモリ２３に記憶されている第１フレームの短露光信号を取得し、取得した第１フレームの短露光信号と、ノイズ低減部９２から出力された欠陥補正処理及びノイズ低減処理後の第２フレームの長露光信号とを加算した加算信号を生成し、HDR合成部２５に出力する。
【０２０１】
ステップＳ９７において、HDR合成部２５は、フレーム加算部２４から供給された加算信号を長畜信号とし、フレームメモリ２３から供給された短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図１６の処理と同一である。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
【０２０２】
図２１の第４の実施の形態の固体撮像素子１は、第１フレームの短露光信号と長露光信号を加算することで、先に長畜信号を生成し、生成した長畜信号に対して欠陥補正処理及びノイズ低減処理を実行する。
【０２０３】
一方、図２３の第５の実施の形態の固体撮像素子１は、第１フレームの短露光信号と第２フレームの長露光信号のそれぞれに対して欠陥補正処理及びノイズ低減処理を実行し、処理後の短露光信号と長露光信号を加算して、長畜信号を生成する。
【０２０４】
＜６．第６の実施の形態＞
＜ブロック図＞
図２５は、固体撮像素子１の第６の実施の形態を示すブロック図である。
【０２０５】
なお、図２５においても、画素領域１１と制御領域１４については、図示が省略されている。
【０２０６】
第６の実施の形態は、上述した第５の実施の形態と同様に、第１フレームを短露光信号とし、第２フレームを長露光信号とし、かつ、２つのフレームメモリ２３を必要としない構成例を示している。
【０２０７】
図２５の第６の実施の形態では、欠陥補正部９１とノイズ低減部９２の前段に、フレーム加算部２４が設けられ、欠陥補正部９１とノイズ低減部９２の後段に、フレームメモリ２３が設けられている。フレーム加算部２４は、第２フレームの長露光信号の信号ラインに配置されている。
【０２０８】
図２５においても、欠陥補正部９１の前段には、欠陥補正部９１への入力信号として、第１フレームの短露光信号、または、フレーム加算部２４からの加算信号のいずれかを選択するスイッチが設けられているが、図示が省略されている。また、ノイズ低減部９２の後段には、ノイズ低減部９２からの出力信号の出力先を、フレームメモリ２３またはHDR合成部２５のいずれかに切り替えるスイッチが設けられているが、図示が省略されている。
【０２０９】
フレームメモリ２３は、欠陥補正処理とノイズ低減処理が施された第１フレームの短露光信号を一時記憶し、所定時間経過後、短畜信号として、HDR合成部２５に供給する。また、フレームメモリ２３は、取得した第１フレームの短露光信号を、所定時間経過後、フレーム加算部２４にも供給する。
【０２１０】
フレーム加算部２４は、カラムAD変換部２２から出力される第２フレームの長露光信号を取得し、フレームメモリ２３から供給される第１フレームの短露光信号と加算した加算信号を生成し、長畜信号として、後段の欠陥補正部９１に供給する。
【０２１１】
＜HDR画像生成処理＞
図２６のフローチャートを参照して、固体撮像素子１の第６の実施の形態におけるフレーム加算モードのHDR画像生成処理について説明する。
【０２１２】
初めに、ステップＳ１０１において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において短露光時間に設定されて得られた第１フレームの短露光信号の読み出しを開始する。第１フレームの短露光信号は、ラスタスキャン駆動により、例えば、0行目から順番に読み出される。
【０２１３】
ステップＳ１０２において、欠陥補正部９１とノイズ低減部９２は、画素領域１１のカラムAD変換部２２から順次入力される第１フレームの短露光信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
【０２１４】
ステップＳ１０３において、フレームメモリ２３は、ノイズ低減部９２から順次供給されるノイズ低減処理後の第１フレームの短露光信号を、後段のHDR合成部２５に供給するとともに、一時記憶する。
【０２１５】
ステップＳ１０４において、固体撮像素子１の制御部２６は、画素アレイ部２１の各画素２０において長露光時間に設定されて得られた第２フレームの長露光信号の読み出しを開始する。第２フレームの長露光信号も、第１フレームの読み出し終了後から、第２フレームの長露光時間が経過した0行目から順番に、ラスタスキャン駆動により読み出される。
【０２１６】
ステップＳ１０５において、フレーム加算部２４は、画素領域１１のカラムAD変換部２２から順次入力される第２フレームの長露光信号を取得し、取得した長露光信号と、フレームメモリ２３から取得した第１フレームの短露光信号を加算した加算信号を生成する。
【０２１７】
ステップ１０６において、欠陥補正部９１とノイズ低減部９２は、フレーム加算部２４から順次供給される加算信号に対して、欠陥補正処理及びノイズ低減処理を順番に実行する。
【０２１８】
ステップＳ１０７において、HDR合成部２５は、フレームメモリ２３に記憶されている第１フレームの短露光信号を取得し、ノイズ低減部９２から供給された欠陥補正処理及びノイズ低減処理の処理後の加算信号を長畜信号とし、フレームメモリ２３から取得した第１フレームの短露光信号を短畜信号として、HDR画像を生成するHDR合成処理を実行する。このHDR合成処理は、上述した図１６の処理と同一である。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
【０２１９】
図２３の第５の実施の形態の固体撮像素子１は、第１フレームの短露光信号と第２フレームの長露光信号のそれぞれに対して欠陥補正処理及びノイズ低減処理を実行し、処理後の短露光信号と長露光信号を加算して、長畜信号を生成する。
【０２２０】
一方、図２５の第６の実施の形態の固体撮像素子１は、欠陥補正処理及びノイズ低減処理の処理後の第１フレームの短露光信号と、処理前の第２フレームの長露光信号を加算し、その結果得られる加算信号（長畜信号）に対して欠陥補正処理及びノイズ低減処理を実行する。
【０２２１】
＜７．第７の実施の形態＞
＜ブロック図＞
図２７は、固体撮像素子１の第７の実施の形態を示すブロック図である。
【０２２２】
図２７においても、画素領域１１と制御領域１４については、図示が省略されている。
【０２２３】
上述した第１乃至第６の実施の形態は、いずれも、HDR合成部２５の前段に欠陥補正部９１とノイズ低減部９２が配置された構成であったのに対して、第７の実施の形態では、欠陥補正部９１とノイズ低減部９２が、HDR合成部２５の後段に配置されている。
【０２２４】
本技術のHDR合成処理は、合成をする際に、２枚の画像の位置合わせや補間処理を行わないので、HDR合成処理後に欠陥画素が周囲の画素に影響することがない。そのため、図２７に示されるように、HDR合成処理を行うHDR合成部２５の後段に、欠陥補正部９１とノイズ低減部９２を設け、欠陥補正処理とノイズ低減処理を行うことができる。ただし、この場合、ノイズ低減部９２には、合成後の画素信号（以下、HDR信号という。）が、長畜信号と短畜信号をどの比率で合成したのかを知らせる必要があるため、合成比率情報として、HDRブレンド率γが、合成演算部８５からノイズ低減部９２に供給される。
【０２２５】
固体撮像素子１の第７の実施の形態におけるフレーム加算モードのHDR画像生成処理は、図１１を参照して説明した第１の実施の形態におけるHDR画像生成処理のステップＳ５の処理の後に、HDR画像の各画素信号（HDR信号）に対して、欠陥補正処理及びノイズ低減処理を順番に実行する処理が追加されたものとなる。
【０２２６】
＜８．第８の実施の形態＞
＜４枚の画像合成の例＞
上述した第１乃至第７の実施の形態は、いずれも、画素アレイ部２１の各画素２０を、２種類の異なる露光時間で露光して得られる２種類の画素信号を用いてHDR画像を生成する例であった。
【０２２７】
しかし、露光時間を３回以上に分割し、３種類以上の画素信号を用いてHDR画像を生成する構成とすることもできる。
【０２２８】
図２８は、出力フレーム長Tにおいて４回の露光時間を設定し、４種類の画素信号を出力する場合の画素駆動を示す図である。
【０２２９】
図２８において、第１の露光時間が設定された第１のフレームの画素信号を第１の露光信号、第２の露光時間が設定された第２のフレームの画素信号を第２の露光信号、第３の露光時間が設定された第３のフレームの画素信号を第３の露光信号、第４の露光時間が設定された第４のフレームの画素信号を第４の露光信号という。第１の露光時間乃至第４の露光時間それぞれは、同一の露光時間であってもよいし、異なる露光時間であってもよい。
【０２３０】
このように、４種類の画素信号が生成される場合、固体撮像素子１は、例えば、第１の露光信号乃至第４の露光信号を加算した信号を第１の長畜信号、第２の露光信号乃至第４の露光信号を加算した信号を第２の長畜信号、第３の露光信号と第４の露光信号を加算した信号を第３の長畜信号、及び、第４の露光信号を短畜信号として用いて、HDR画像を生成することができる。
【０２３１】
＜ブロック図＞
図２９は、固体撮像素子１の第８の実施の形態として、４回の露光時間を設定し、４種類の画素信号を用いてHDR画像を生成する場合の固体撮像素子１の構成例を示すブロック図である。
【０２３２】
図２９においても、画素領域１１と制御領域１４の図示は省略されている。
【０２３３】
メモリ領域１２は、第１のフレームメモリ２３−１、第２のフレームメモリ２３−２、及び、第３のフレームメモリ２３−３を有する。
【０２３４】
ロジック領域１３は、第１のフレーム加算部２４−１、第２のフレーム加算部２４−２、及び第３のフレーム加算部２４−３と、HDR合成部２５を有する。
【０２３５】
画素領域１１から出力された第４の露光信号は、ロジック領域１３の第１のフレーム加算部２４−１とHDR合成部２５に供給される。
【０２３６】
画素領域１１から出力された第３の露光信号は、メモリ領域１２の第１のフレームメモリ２３−１に供給され、一時記憶された後、ロジック領域１３の第１のフレーム加算部２４−１に供給される。
【０２３７】
画素領域１１から出力された第２の露光信号は、メモリ領域１２の第２のフレームメモリ２３−２に供給され、一時記憶された後、ロジック領域１３の第２のフレーム加算部２４−２に供給される。
【０２３８】
画素領域１１から出力された第１の露光信号は、メモリ領域１２の第３のフレームメモリ２３−３に供給され、一時記憶された後、ロジック領域１３の第３のフレーム加算部２４−３に供給される。
【０２３９】
第１のフレーム加算部２４−１は、第１のフレームメモリ２３−１から供給された第３の露光信号と、画素領域１１から出力された第４の露光信号とを加算し、その結果得られる第３の長畜信号（＝第３の露光信号＋第４の露光信号）を、第２のフレーム加算部２４−２とHDR合成部２５に供給する。
【０２４０】
第２のフレーム加算部２４−２は、第２のフレームメモリ２３−２から供給された第２の露光信号と、第１のフレーム加算部２４−１から出力された第３の長畜信号（＝第３の露光信号＋第４の露光信号）とを加算し、その結果得られる第２の長畜信号（＝第２の露光信号＋第３の露光信号＋第４の露光信号）を、第３のフレーム加算部２４−３とHDR合成部２５に供給する。
【０２４１】
第３のフレーム加算部２４−３は、第３のフレームメモリ２３−３から供給された第１の露光信号と、第２のフレーム加算部２４−２から出力された第２の長畜信号（＝第２の露光信号＋第３の露光信号＋第４の露光信号）とを加算し、その結果得られる第１の長畜信号（＝第１の露光信号＋第２の露光信号＋第３の露光信号＋第４の露光信号）を、HDR合成部２５に供給する。
【０２４２】
HDR合成部２５は、第１の長畜信号乃至第３の長畜信号及び短畜信号のそれぞれを、所定のHDRブレンド率γで合成し、HDR画像を生成するHDR合成処理を実行する。HDR合成部２５は、HDR合成処理により得られたHDR画像を出力して処理を終了する。
【０２４３】
上述した第２乃至第８の実施の形態においても、長畜画像及び短畜画像のいずれも画素アレイ部２１の全画素で画素信号を取得することができるので、空間解像度も時間解像度も落とすことなく、モアレやエイリアシングといった画質劣化が発生しない。したがって、画質劣化の少ないHDR画像を生成することができる。
【０２４４】
また、固体撮像素子１では、多段カラムADC構造により、画素アレイ部２１の複数行の同時読出しを可能とし、短蓄画像と長蓄画像の読み出し時間差を少なくすることができるため、動被写体の影響を受けにくいHDR画像を生成することができる。
【０２４５】
＜９．電子機器への適用例＞
本技術は、固体撮像素子への適用に限られるものではない。即ち、本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に固体撮像素子を用いる複写機など、画像取込部（光電変換部）に固体撮像素子を用いる電子機器全般に対して適用可能である。固体撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
【０２４６】
図３０は、本技術に係る電子機器としての、撮像装置の構成例を示すブロック図である。
【０２４７】
図３０の撮像装置２００は、レンズ群などからなる光学部２０１、図１の固体撮像素子１の構成が採用される固体撮像素子（撮像デバイス）２０２、およびカメラ信号処理回路であるDSP(Digital Signal Processor)回路２０３を備える。また、撮像装置２００は、フレームメモリ２０４、表示部２０５、記録部２０６、操作部２０７、および電源部２０８も備える。DSP回路２０３、フレームメモリ２０４、表示部２０５、記録部２０６、操作部２０７および電源部２０８は、バスライン２０９を介して相互に接続されている。
【０２４８】
光学部２０１は、被写体からの入射光（像光）を取り込んで固体撮像素子２０２の撮像面上に結像する。固体撮像素子２０２は、光学部２０１によって撮像面上に結像された入射光の光量を画素単位で電気信号に変換して画素信号として出力する。この固体撮像素子２０２として、図１の固体撮像素子１、即ち、多段カラムADC構造により、画素アレイ部２１の複数行の同時読出しを可能とし、第１フレームと第２フレームを加算した画素信号を長畜信号、第１フレームと第２フレームの一方の画素信号を短畜信号としてHDR画像を生成することができる固体撮像素子を用いることができる。
【０２４９】
表示部２０５は、例えば、液晶パネルや有機EL(Electro Luminescence)パネル等のパネル型表示装置からなり、固体撮像素子２０２で撮像された動画または静止画を表示する。記録部２０６は、固体撮像素子２０２で撮像された動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
【０２５０】
操作部２０７は、ユーザによる操作の下に、撮像装置２００が持つ様々な機能について操作指令を発する。電源部２０８は、DSP回路２０３、フレームメモリ２０４、表示部２０５、記録部２０６および操作部２０７の動作電源となる各種の電源を、これら供給対象に対して適宜供給する。
【０２５１】
上述したように、固体撮像素子２０２として、上述した各実施の形態に係る固体撮像素子１を用いることで、短蓄画像と長蓄画像の読み出し時間差が少なく、画質劣化の少ないHDR画像を生成することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置２００においても、撮像画像の高画質化を図ることができる。
【０２５２】
＜イメージセンサの使用例＞
図３１は、上述した固体撮像素子１としてのイメージセンサを使用する使用例を示す図である。
【０２５３】
上述した固体撮像素子１としてのイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
【０２５４】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０２５５】
また、本技術は、可視光の入射光量の分布を検知して画像として撮像する固体撮像素子への適用に限らず、赤外線やＸ線、あるいは粒子等の入射量の分布を画像として撮像する固体撮像素子や、広義の意味として、圧力や静電容量など、他の物理量の分布を検知して画像として撮像する指紋検出センサ等の固体撮像素子（物理量分布検知装置）全般に対して適用可能である。
【０２５６】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５７】
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【０２５８】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０２５９】
なお、本技術は以下のような構成も取ることができる。
（１）
複数の画素が行列状に２次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
固体撮像素子。
（２）
同時に読み出された前記第１のフレームの画素信号をAD変換する第１のAD変換部と、
同時に読み出された前記第２のフレームの画素信号をAD変換する第２のAD変換部と
をさらに備える
前記（１）に記載の固体撮像素子。
（３）
同時に読み出された前記第１のフレームの画素信号と前記第２のフレームの画素信号は、同一の画素列の画素信号である
前記（１）または（２）に記載の固体撮像素子。
（４）
前記制御部は、前記画素アレイ部の４行の前記画素の画素信号を同時に読み出すように前記画素を駆動する
前記（１）乃至（３）のいずれかに記載の固体撮像素子。
（５）
前記第１のフレームの画素信号を記憶する記憶部と、
前記第１のフレームの画素信号と、前記第２のフレームの画素信号を加算する加算部と、
前記加算部で算出して得られた加算信号と、前記第１のフレームの画素信号を、所定の合成比で合成する合成演算部と
をさらに備える
前記（１）乃至（４）のいずれかに記載の固体撮像素子。
（６）
前記第１のフレームの画素信号は、前記第２のフレームの画素信号よりも、露光時間が長い信号である
前記（５）に記載の固体撮像素子。
（７）
前記第１のフレームの画素信号は、前記第２のフレームの画素信号よりも、露光時間が短い信号である
前記（５）に記載の固体撮像素子。
（８）
第１乃至第３の半導体基板からなる３枚の半導体基板を積層して構成され、
前記第１の半導体基板には、前記画素アレイ部が少なくとも形成され、
前記第２の半導体基板には、前記記憶部が少なくとも形成され、
前記第３の半導体基板には、前記加算部と前記合成演算部が少なくとも形成されている
前記（５）に記載の固体撮像素子。
（９）
前記第２の半導体基板は、前記第１の半導体基板と前記第３の半導体基板との間に配置されている
前記（８）に記載の固体撮像素子。
（１０）
前記記憶部は、少なくとも前記第２のフレームの画素信号の読み出しが開始されるまで、前記第１のフレームの画素信号を記憶する
前記（５）乃至（９）のいずれかに記載の固体撮像素子。
（１１）
前記合成演算部は、前記加算信号と前記第１のフレームの画素信号を所定の合成比で合成することにより、HDR画像を生成する
前記（５）乃至（１０）のいずれかに記載の固体撮像素子。
（１２）
前記記憶部は、２枚以上の画像を記憶し、
前記合成演算部は、３枚以上の画像それぞれの画像信号を、所定の合成比で合成する
前記（５）乃至（１１）のいずれかに記載の固体撮像素子。
（１３）
複数の画素が行列状に２次元配置された画素アレイ部を備える固体撮像素子が、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動し、
同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
固体撮像素子の駆動方法。
（１４）
複数の画素が行列状に２次元配置された画素アレイ部と、
前記画素アレイ部の複数行の前記画素の画素信号を同時に読み出すように前記画素を駆動する制御部と
を備え、
同時に読み出された複数行の前記画素信号のうちの第１の画素行の画素信号は、第１のフレームの画素信号であり、第２の画素行の画素信号は、第２のフレームの画素信号である
固体撮像素子
を備える電子機器。
【符号の説明】
【０２６０】
１  固体撮像素子，  １１  画素領域，  １２  メモリ領域，  １３  ロジック領域，  １４  制御領域，  ２０  画素，  ２１  画素アレイ部，  ２２（２２A,２２B）  カラムAD変換部，  ２３  フレームメモリ，  ２４  フレーム加算部，  ２５  HDR合成部，  ２６  制御部，  ３１乃至３３  半導体基板，  ３１  FD，  ５０  ADC，  ８５  合成演算部，  ９１（９１S,９１L）  欠陥補正部，  ９２（９２S,９２L）  ノイズ低減部，  １０１  遅延調整部，  ２００  撮像装置，  ２０２  固体撮像素子
【図１】
2016208402.tif 000006
【図２】
2016208402.tif 000007
【図３】
2016208402.tif 000008
【図４】
2016208402.tif 000009
【図５】
2016208402.tif 000010
【図６】
2016208402.tif 000011
【図７】
2016208402.tif 000012
【図８】
2016208402.tif 000013
【図９】
2016208402.tif 000014
【図１０】
2016208402.tif 000015
【図１１】
2016208402.tif 000016
【図１２】
2016208402.tif 000017
【図１３】
2016208402.tif 000018
【図１４】
2016208402.tif 000019
【図１５】
2016208402.tif 000020
【図１６】
2016208402.tif 000021
【図１７】
2016208402.tif 000022
【図１８】
2016208402.tif 000023
【図１９】
2016208402.tif 000024
【図２０】
2016208402.tif 000025
【図２１】
2016208402.tif 000026
【図２２】
2016208402.tif 000027
【図２３】
2016208402.tif 000028
【図２４】
2016208402.tif 000029
【図２５】
2016208402.tif 000030
【図２６】
2016208402.tif 000031
【図２７】
2016208402.tif 000032
【図２８】
2016208402.tif 000033
【図２９】
2016208402.tif 000034
【図３０】
2016208402.tif 000035
【図３１】
2016208402.tif 000036