(57)【要約】【課題】  外付けフレームメモリを用いることなくダイナミックレンジ拡大を実現し、小型でかつ低コストの撮像装置を提供する。【解決手段】  レンズ１０を介して固体撮像素子１１上に結像し光像に比例した電荷量を蓄積し、蓄積電荷出力ＳＸを取出す蓄積手段６１と、蓄積手段６１の出力を合成する合成手段６２と、蓄積手段６１と合成手段６２のタイミング制御や、飽和量制御などを行う合成制御手段６５とを備える。合成手段６２は、蓄積手段６１の出力と保持手段６４の出力ＳＭを加算し電荷加算出力ＳＹを取出すための加算手段６３と、加算手段６３の出力を一時的に保持する保持手段６４を備える。蓄積手段６１の電荷蓄積時間及び／又は蓄積飽和量を切替えて、撮像した信号を合成手段６２で合成処理を行うことでダイナミックレンジ拡大を実現する。【選択図】      図８
2007081924.tif 000002
【特許請求の範囲】
【請求項１】
入射する光の量に応じた量の電荷を蓄積し、蓄積画像を形成する蓄積手段と、
前記蓄積手段で形成された複数枚の異なる蓄積画像を合成する合成手段と、
前記蓄積手段で蓄積画像を形成する際の電荷蓄積期間の長さを制御する蓄積期間制御手段とを備え、
前記蓄積手段で前記少なくとも複数枚の異なる蓄積画像を形成する際、前記蓄積期間制御手段が、互いに異なる長さの電荷蓄積期間を設定する
ことを特徴とする撮像装置。
【請求項２】
前記蓄積手段に蓄積可能な電荷の蓄積飽和量を制御する飽和量制御手段と、
前記蓄積手段の出力に比例した撮像信号に基づき、被写体の明るさを検出する明るさ検出手段とをさらに備え、
前記明るさ検出手段の出力信号に応じて、前記飽和量制御手段により設定される前記蓄積飽和量及び前記蓄積期間制御手段により設定される前記蓄積期間の少なくとも一方を制御する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
入射する光の量に応じた量の電荷を蓄積し、蓄積画像を形成する蓄積手段と、
前記蓄積手段で形成された複数枚の異なる蓄積画像を合成する合成手段と、
前記蓄積手段に蓄積可能な電荷の蓄積飽和量を制御する飽和量制御手段とを備え、
前記蓄積手段で前記複数枚の異なる蓄積画像を形成する際、前記飽和量制御手段が互いに異なる蓄積飽和量を設定する
ことを特徴とする撮像装置。
【請求項４】
前記蓄積手段で蓄積画像を形成する際の蓄積期間の長さを制御する蓄積期間制御手段と、
前記蓄積手段の出力に比例した撮像信号に基づき、被写体の明るさを検出する明るさ検出手段とをさらに備え、
前記明るさ検出手段の出力信号に応じて、前記飽和量制御手段により設定される前記蓄積飽和量及び前記蓄積期間制御手段により設定される前記電荷蓄積期間の少なくとも一方の長さを制御する
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記蓄積手段が、ＣＣＤ撮像素子のフォトダイオードを含み、該フォトダイオードが、前記蓄積手段の前記蓄積飽和量が、前記フォトダイオードのフォトダイオード電位と、オーバフローバリアを形成するオーバフローバリア電位の電位差に応じて決定され、
前記飽和量制御手段が、前記蓄積飽和量の制御のため前記オーバフローバリア電位を調整する
ことを特徴とする請求項２又は請求項３に記載の撮像装置。
【請求項６】
前記合成手段が、前記ＣＣＤ撮像素子の前記蓄積手段で蓄積された電荷量を垂直電荷転送する垂直転送手段であり、
前記複数枚の蓄積画像のうちの１枚目の蓄積画像を取得してから、最後の蓄積画像を取得するまで、前記垂直電荷転送の動作を行わないことを特徴とする請求項１又は請求項３に記載の撮像装置。
【請求項７】
前記複数枚の異なる蓄積画像を形成するに当たり、前記蓄積期間を順次短くすることを特徴とする請求項1又は請求項４に記載の撮像装置。
【請求項８】
前記明るさ検出手段で検出された被写体の明るさがより大きいほど、前記飽和量制御手段で設定される蓄積飽和量をより多くすることを特徴とする請求項２又は請求項４に記載の撮像装置。
【請求項９】
前記明るさ検出手段で検出された被写体の明るさがより大きいほど、前記蓄積期間制御手段で設定される蓄積期間をより短くすることを特徴とする請求項２又は請求項４に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は固体撮像素子を用いた撮像装置に関するものであり、ダイナミックレンジ拡大機能を有する撮像装置に関する。
【背景技術】
【０００２】
晴天下のトンネル内で出口の風景を撮影しようとした場合に、出口部分が白つぶれを起こしてしまう現象は、知られている。これは、デジタルカメラや携帯電話向けカメラで広く用いられている撮像素子のダイナミックレンジが、６０ｄＢ程度であり、トンネル内から出口風景を撮影するために必要なダイナミックレンジを満たしていないために起こる現象である。
【０００３】
一般的にトンネル内から出口風景を撮像する場合、１００ｄＢ以上のダイナミックレンジが要求される。
【０００４】
ダイナミック・レンジを広くするために、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮像素子やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子で、種々の方法が提案されてきた。
【０００５】
従来の一つの撮像装置においては、入力画像データの明度平均値を検出し、階調変換テーブルを変更する手段を備えることでダイナミックレンジを拡大していた（例えば、特許文献１）。
【０００６】
また、従来の別の撮像装置では、互いに異なる２つの露光時間で撮影を行うことにより得られた撮像データを合成する手段を備えることで、ダイナミックレンジの拡大を図っていた（例えば、非特許文献１）。
【０００７】
【特許文献１】特開２００４−３６３７２６号公報（第５図）
【非特許文献２】上田和彦ら、「広ダイナミックレンジカメラ用階調変換処理の開発」、映像メディア学会誌Ｖｏｌ．５６，Ｎｏ．３，ｐｐ４６９−４７５（２００２）  （第６−７頁、第１３図）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、階調変換テーブルを画像の明度平均値に応じて変化させる場合には、高精度の明度平均値検出のための処理が必要である。
また、２つの露光時間で撮影された信号を合成するためには、一つの露光時間での撮影により得られた１画面分の撮像データを記憶するフレームメモリが必要である。
また、２つの露光時間で撮影を行うために、撮像を完了するまでの時間が長いと言う問題があった。さらに、２枚の画像を合成するための信号処理機能を実現する必要があるため、コストが増大する問題もあった。
【０００９】
本発明は上述した課題を解決するためになされたもので、大容量のメモリを必要とせず、また撮像のための時間が短く、ダイナミックレンジが広く、しかも小型でかつ低コストの撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、
入射する光の量に応じた量の電荷を蓄積し、蓄積画像を形成する蓄積手段と、
前記蓄積手段で形成された複数枚の異なる蓄積画像を合成する合成手段と、
前記蓄積手段で蓄積画像を形成する際の電荷蓄積期間の長さを制御する蓄積期間制御手段とを備え、
前記蓄積手段で前記少なくとも複数枚の異なる蓄積画像を形成する際、前記蓄積期間制御手段が、互いに異なる長さの電荷蓄積期間を設定する
ことを特徴とする撮像装置を提供する。
【発明の効果】
【００１１】
本発明によれば、大容量のメモリを用いることなく広いダイナミックレンジを有し、かつ小型で低コストの撮像装置が得られる。
【発明を実施するための最良の形態】
【００１２】
実施の形態１．
図１は本発明の実施の形態１の撮像装置の全体的構成を示すブロック図である。図示の撮像装置は、レンズ１０と、固体撮像素子１１と、アナログ信号処理手段１２と、Ａ／Ｄ変換手段１３と、デジタル信号処理手段１４と、タイミング信号発生手段１５と、ＣＰＵ１６と、表示手段１７とを有する。
【００１３】
レンズ１０は、図示しない被写体からの光を固体撮像素子１１の撮像面に集光する。
固体撮像素子１１は、被写体からの光を光電変換して、その結果得られる電気信号を撮像出力ＳＡとして出力する。
アナログ信号処理手段１２は、撮像出力ＳＡを相関二重サンプリング処理（ＣＤＳ）ならびに自動信号増幅処理（ＡＧＣ）して、その結果を増幅出力ＳＢとして出力する。
【００１４】
Ａ／Ｄ変換手段１３は、アナログの増幅出力ＳＢをデジタル信号に変換し、デジタル出力ＳＣとして出力する。
デジタル信号処理手段１４は、デジタル出力ＳＣに階調変換処理、補間処理、フィルタ処理を施して、後段の信号処理や表示デバイスで利用しやすく信号を加工し、デジタル映像出力ＳＥとして出力する。
タイミング信号発生手段１５は、固体撮像素子１１、アナログ信号処理手段１２、及びＡ／Ｄ変換手段１３の動作の制御のためのタイミング信号を発生する。タイミング信号発生手段１５はさらに、固体撮像素子１１の蓄積飽和量の制御のための信号を発生する。
ＣＰＵ１６は、各種演算を実行するとともに、撮像装置の全体を制御する。ＣＰＵ１６は、特に、タイミング信号発生手段１５及びデジタル信号処理手段１４を制御する。
【００１５】
以下上記した各部材についてより詳しく説明する。
レンズ１０は、固体撮像素子１１上に被写体の光量を集光する機能を有している。被写体をぼけなく撮像するために、自動的に焦点調整を行う。なお、手動による固定焦点切換構成を有するものでもよく、パンフォーカスによる無調整のレンズを用いることが可能である。さらに、複数枚のレンズを組み合わせ、レンズ間距離を調整する、ズーム機能を有するものを用いることもできる。
【００１６】
固体撮像素子１１は、フォトダイオードのような光電変換素子を２次元的に配列したものであり、被写体からの光を画素ごとに光電変換し、光電変換した出力を所定の駆動方法で読み出すことができる。
【００１７】
タイミング信号発生手段１５は、固体撮像素子１１に、２相の水平ＣＣＤ（ＨＣＣＤ）を駆動するための水平転送パルスＨＤＰ（φＨ１、φＨ２）と、４相の垂直ＣＣＤ（ＶＣＣＤ）を駆動するための垂直転送パルスＶＤＰ（φＶ１、φＶ２、φＶ３、φＶ４）と、画素電荷を読み出すための読み出しパルスと、ＣＣＤの基板から蓄積した画素電荷を排出することにより電子シャッタを実現するための電子シャッタパルス（φＳＵＢ）とを所定の手順で供給する。タイミング信号発生手段１５はまた飽和量制御信号ＣＳを発生する。
タイミング信号発生手段１５から固体撮像素子１１の駆動のために発生される上記の信号やパルスの全体が符号ＰＡで表されている。
【００１８】
タイミング信号発生手段１５はまた、アナログ信号処理手段１２から出力される信号をサンプルホールドするためのサンプルホールドパルスＰＢと、Ａ／Ｄ変換手段１３のためのＡ／Ｄ変換クロックＰＣを出力する。
【００１９】
固体撮像素子１１は、タイミング信号発生手段１５からの上記のような制御信号に応じて動作し、画素電荷の蓄積及び出力などを行う。
【００２０】
固体撮像素子１１は、色フィルタを配置していないモノクロのものであっても良く、原色や補色型の色フィルタを配置したカラー型のものであっても良い。
【００２１】
さらにライン型（一次元）の固体撮像素子を用いる構成でもよい。
【００２２】
また、本実施の形態では撮像素子としてＣＣＤ撮像素子を用いるが、これに限るものではなく、例えば前述の合成手段６２と同等の手段を備えたＣＭＯＳ型撮像素子や、赤外線検出素子であっても構わない。
【００２３】
さらに、固体撮像素子１１は、前出の２相の水平転送パルスと４相の垂直転送パルスを用いて駆動されるものに限定されず、例えば、３相の垂直転送パルスを用いる固体撮像素子１１を用いることもできる。
【００２４】
アナログ信号処理手段１２は、撮像出力ＳＡをタイミング信号発生手段１５からのサンプルホールドパルスＰＢにより相関二重サンプリング処理（ＣＤＳ）を行い、撮像出力ＳＡに応じて自動利得調整（ＡＧＣ）された利得で増幅して出力する。
【００２５】
Ａ／Ｄ変換部１３は、アナログの増幅出力ＳＢをタイミング信号発生手段１５からのＡ／Ｄ変換クロックＰＣに応じてデジタル変換し、デジタル出力ＳＣとして出力する。デジタル信号の分解能は、一般的な表示機器では、８ビットの分解能があればよいが、後段の信号処理による色分解能改善、階調特性改善、微少なコントラスト検出、ダイナミックレンジ拡大など種々の目的に応じて多ビット化が一般的になっており、１０ビットや１４ビット分解能なども可能である。
【００２６】
デジタル信号処理手段部１４では、ＲＧＢ信号から輝度色差信号（ＹＣｂＣｒ）への変換、ホワイトバランス補正、γ（ガンマ）補正、色補間処理および輪郭強調補正等の画像処理が行われる。
【００２７】
デジタル信号処理手段１４で映像信号処理されることで、表示手段１７において表示可能な映像信号になる。表示手段１７はＬＣＤなどで構成されるものであり、デジタル信号処理手段１４から出力された映像信号を表示する。
【００２８】
固体撮像素子１１は、図２に示すように、複数の光電変換素子列２０を有する光電変換部（センサ部）１９と、それぞれ光電変換素子列２０に対応し、隣接して設けられた複数の垂直転送部（ＶＣＣＤ）２２と、光電変換素子列２０と垂直転送部２２の間に位置する読み出しゲート部２４と、水平転送部２７と、出力増幅器２８とを有する。固体撮像素子１１は例えばＣＣＤ撮像素子で構成される。
【００２９】
各光電変換素子列２０は、撮像画面上の第１の方向、例えば垂直方向に列をなす複数の画素位置に配置され、被写体（図示しない）からの光をレンズ１を介して受けて光電変換を行なう複数の光電変換素子２１を有する。光電変換素子２１は例えばフォトダイオードで構成される。
【００３０】
各垂直転送部２２は、対応する光電変換素子列２０の光電変換素子２１にそれぞれ対応して設けられ、対応する光電変換素子２１で蓄積された電荷が、読み出しゲート部２４のそれぞれの読み出しゲート２５を介して転送され、かつ相互間で垂直方向に電荷の転送を行う複数の転送素子２３から成る。垂直転送部２２は例えばＣＣＤで構成される。
水平転送部２７は、垂直転送部２２で転送され、垂直転送部２２から出力された電荷を受けて、第１の方向と直交する第２の方向、例えば水平方向に転送する。
水平転送部２７も例えばＣＣＤで構成される。
【００３１】
出力増幅器２８は、水平転送部２７を転送され、水平転送部２７から出力された電荷を増幅して出力する。
【００３２】
光電変換部１９の光電変換素子２３における光電変換によって、光の強さに応じた量の電荷が蓄積され、読み出しパルスＣＨによって、電荷が読み出しゲート部２４を介して垂直転送部２２に電荷信号として取り出され、４相のパルスφＶ１、φＶ２、φＶ３、φＶ４から成る垂直転送パルスＶＤＰによって水平転送部２７の方向へ逐次転送される。水平転送部２７では１ライン分の電荷信号が入るたびに２相のパルスφＨ１、φＨ２から成る水平転送パルスＨＤＰによって水平方向に電荷の転送を行ない、出力増幅器２８で信号電圧に変換して信号を出力する。
【００３３】
本願では簡単のため、垂直転送部２２内の転送を単に「垂直転送」と言い、水平転送部２７内の転送を単に「水平転送」と言うことがある。
【００３４】
上記の垂直転送パルスＶＤＰによって、垂直転送部２２内の電荷を水平転送部２７の方向（図２の垂直転送部２２内の矢印ＦＷの方向に転送することが可能である。また、垂直転送パルスＶＤＰを印加しない時は、垂直転送部２２は画像保持手段としての働きを有し、読み出しゲート部２４を介して垂直転送部２２に取り出された電荷を、垂直転送部２２内で移動させず、取り出された位置に保持することができる。
垂直転送部２２の各転送素子２３は、内部に保持されている電荷と、対応する光電変換素子２１から転送される電荷とを加算する加算手段としても機能する。
【００３５】
図３は、図２における縦方向に並んだ４画素を拡大して示す図である。符号ＰＸは一つの画素を示す。各画素は、光電変換素子２１、読み出しゲート２５ならびに転送素子２３を備える。本実施の形態では４相の垂直転送パルスＶＤＰを用いており、１画素あたり４個の電極２６ａ〜２６ｄが設けられている。光電変換素子２１にて光電変換されて蓄積された電荷は、読み出しゲート２５を介して転送素子２３に読み出される。以下に述べるように、４相の垂直転送パルスＶＤＰの電圧を所定の時系列で変化させることにより、垂直転送部２２内の電荷を転送することができる。
【００３６】
図２及び図３に示される、固体撮像素子１１の垂直転送部２２内の電荷を順方向に転送する具体的な手法を、垂直転送パルスＶＤＰの電位変化のタイミングチャートである図４および図５を用いて説明する。図４は、各電極の垂直転送パルスＶＤＰの４相のパルスφＶｉ（ｉ＝１、２、３、４）のタイミングチャートであり、横軸に時刻を、縦軸に４つの電極２６ａ〜２６ｄに与えられる電位を並べて示している。図５は、図４に示す垂直転送パルスＶＤＰを各電極に与えた時の、電荷移動の様子を示す図である。図５において、横軸は垂直転送部２２の転送素子２３の電極２６ａ〜２６ｄの位置を示し、縦軸には各電極の電子のポテンシャルエネルギーφｉ（＝−ｅφＶｉ）と電荷ＱＣの分布の経時変化（異なる時刻ｔ＝ａ１乃至ａ９における電荷分布）が示してある。
【００３７】
次に動作を説明する。図４において、時刻ａ１では電極２６ｂの電位φＶ２と電極２６ｃの電位φＶ３が＋Ｖであり、電極２６ａの電位φＶ１と電極２６ｄの電位φＶ４を０Ｖであるため、図５に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積される。次に時刻ａ２にて電極２６ｄにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ｂから電極２６ｄに拡散する。次に時刻ａ３にて電極２６ｂを無バイアスにすると、電荷ＱＣは電極２６ｃから電極２６ｄに収束し、結果として、時刻ａ１からａ３において、電荷ＱＣは順方向（図５において右方向）へ１電極分だけ移動したことになる。
【００３８】
時刻ａ４では電極２６ａにバイアス電圧＋Ｖを印加し、時刻ａ５で電極２６ｃを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向に移動する。時刻ａ６では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ａ７で電極２６ｄを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向へ移動する。時刻ａ８では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ａ９で電極２６ａを無バイアスにすることにより時刻ａ１の状態と同じになる。すなわち、時刻ａ１から時刻ａ９において、１画素分電荷ＱＣを順方向へ移動したことになる。
【００３９】
本実施の形態においては、上述したように、電荷の拡散ステップ後に収束ステップを行ない、これを繰り返すことで電荷の転送を実現しているが、拡散と収束のステップを同時に行なっても電荷の転送は可能である。例えば、図５の時刻ａ２の拡散と時刻ａ３の収束を同時に行なう、すなわち電極２６ｄへのバイアス電圧印加と電極２６ｂの無バイアス化を同時に行なうことによっても同様の電荷の転送は達成できる。あるいは、図５において時刻ａ３の収束と時刻ａ４の拡散を同時に行なっても、同様に電荷の転送が可能である。
【００４０】
ここで、各垂直転送素子２３の１相目と３相目の転送電極２６ａ、２６ｃは、読み出しゲート２５のゲート電極を兼ねる構成とされている。そして、４相の垂直転送クロックφＶ１〜φＶ４のうち、１相目の転送クロックφＶ１と３相目の転送クロックφＶ３が、低レベル（以下、「ＶＬ」レベルと言う）、中間レベル（以下、「ＶＭ」レベルと言う）、及び高レベル（以下、「ＶＨ」レベルと言う）の３値を取るように設定され、そのうちの最も高い「ＶＨ」レベルのパルスが読み出しゲート２５の読み出しゲートパルスＣＨである。
【００４１】
上述した光電変換部１９、垂直転送部２２、読み出しゲート部２４、水平転送部２７及び殿か出力増幅部２８は、図２に示すように、半導体基板１８上に形成され、これらにより、インターライン転送方式のＣＣＤ撮像素子１１が構成されている。
【００４２】
タイミング信号発生手段１５が発生する上記した飽和量制御信号ＣＳは、基板バイアス発生回路３０に供給され、基板バイアス発生回路３０は、飽和量制御信号ＣＳに基づいて基板バイアス電圧Ｖｓｕｂを発生する。
【００４３】
基板バイアス電圧Ｖｓｕｂは、ダイオード３３を介し、さらに端子３１を介して基板１８に印加され、この基板バイアスＶｓｕｂの電圧値により、ＣＣＤ撮像素子１１の光電変換部１９の各光電変換素子２１の蓄積飽和量が決まる。
【００４４】
一方、タイミング信号発生手段１５で発生されるシャッタパルスφＳＵＢは、コンデンサ３２で直流分が遮断された後、端子３１を介して基板１８に印加される。端子３１とグランドとの間には抵抗３４が接続されている。なお、ダイオード３３は、シャッタパルスφＳＵＢの「Ｌ」レベルを基板バイアスＶｓｕｂの直流レベルにクランプする作用をなす。
【００４５】
この基板バイアス発生回路３０は、飽和量制御信号ＣＳに応じて基板バイアスＶｓｕｂの電圧値を変えることで、光電変換部１９の蓄積飽和量を複数段階に、例えば３段階に切り換える。
３段階に切り換える場合には、例えば、飽和量制御信号ＣＳが「Ｌ」レベルのときは、基板バイアス電圧がＶｓｕｂ１となり、蓄積飽和量ＶＯＤが第１の値ＶＯＤ１となり、飽和量制御信号ＣＳが「Ｍ」レベルのときは、基板バイアス電圧がＶｓｕｂ２（Ｖｓｕｂ１よりも低い）となり、蓄積飽和量ＶＯＤが第２の値ＶＯＤ２（＞ＶＯＤ１）となり、飽和量制御信号ＣＳが「Ｈ」レベルのときは、基板バイアス電圧がＶｓｕｂ３（Ｖｓｕｂ２よりも低い）となり、蓄積飽和量ＶＯＤが第３の値ＶＯＤ３（＞ＶＯＤ２）となる。「Ｍ」レベルは「Ｌ」レベルと「Ｈ」レベルの中間のレベルである。なお、飽和量制御信号ＣＳを２ビットの信号で構成して、「Ｌ」、「Ｍ」、「Ｈ」レベルを表しても良い。
【００４６】
図６（ａ）及び（ｂ）は、本発明の撮像素子内部のポテンシャル分布図である。図６（ａ）及び（ｂ）において、符号ＰＴＨで示す範囲は、基板１８の深さ方向の電位の変化を示し、符号ＳＦＣで示す範囲は、基板１８の表面に沿う方向の電位の変化を示す。図６（ａ）は電荷蓄積時の電位を示し、図６（ｂ）は電荷読み出し時の電位を示す。
【００４７】
電荷蓄積時には、図６（ａ）に示すように垂直転送素子２３の１相目と３相目の転送電極２６ａ、２６ｃ（読み出しゲート２５の電極を兼ねている）に印加される垂直転送パルスφＶ１、φＶ３が「ＶＭ」レベルに維持されている。この結果、垂直転送素子２３（１相目と３相目の転送電極２６ａ、２６ｃの部分）の電位はΨＶＣＣＤｍになっている。このとき光電変換素子（フォトダイオード）２１の電位ΨＰＤと垂直転送素子２３の電位ＶＣＣＤｍの間に読出し電位ΨＣＨｍによるバリアが存在し、フォトダイオード２１から垂直転送素子２３へ電荷が漏れ出さないようになっている。
【００４８】
また、フォトダイオード２１と基板１８間にも、基板１８の電位Ｖｓｕｂに応じたオーバフロードレインバリア電位ΨＶＯＤが形成される。このオーバフローバリア電位ΨＶＯＤで飽和蓄積量が決められる。
【００４９】
従って、基板１８に印加される電位Ｖｓｕｂを変更することで、蓄積飽和量を変更することができる。例えば、基板に印加される電位Ｖｓｕｂを３段階に切換えることで、飽和蓄積量を３段階に切り換えることができる。先に述べた飽和量制御信号ＣＳはこの蓄積飽和量の切換えのため、基板１８に印加される電位Ｖｓｕｂの切り換えるために用いられる。
【００５０】
読み出し時には、図６（ｂ）に示すように、垂直転送素子２３の電極２６ａ、２６ｃに電圧ＶＨを印加することで、垂直転送素子２３（１相目と３相目の転送電極２６ａ、２６ｃの部分）の電位はΨＶＣＣＤｈなり、電荷読出しゲート電位がΨＣＨｈとなり、フォトダイオード電位ΨＰＤより高くなるため、信号電荷は、垂直転送素子２３に移される。
読み出しの後で、垂直転送素子２３の電極２６ａ、２６ｃに印加される電圧を「ＶＭ」レベルに戻すことで、破線で示す電位分布になるため、電荷の読出しが終了する。
【００５１】
以下、フォトダイオード２１における電荷蓄積を２回に分けて行い、１回目の電荷蓄積（第１の電荷蓄積）で蓄積された電荷を読み出して垂直転送素子２３で保持し、２回目の電荷蓄積（第２の電荷蓄積）で蓄積された電荷を読み出して、垂直転送素子２３において、１回目と２回目の蓄積電荷を加算する処理について図７（ａ）〜（ｄ）を参照して説明する。ここで、第１の電荷蓄積を行う第１の蓄積期間が第２の電荷蓄積を行う第２の蓄積期間よりも長く、第１の電荷蓄積の際に設定される第１の蓄積飽和量が、第２の電荷蓄積の際に設定される第２の蓄積飽和量よりも少ない場合を想定する。蓄積飽和量は例えば対応する信号の電圧値で表され、一例として第１の蓄積飽和量が２２０ｍＶ、第２の蓄積飽和量が２８０ｍＶである。
【００５２】
図７（ａ）は、フォトダイオード２１における、第１の蓄積期間のポテンシャル分布を示し、図７（ｂ）は、第１の蓄積期間に蓄積された電荷を垂直転送素子２３に読み出す際のポテンシャル分布を示す。図７（ｃ）は、フォトダイオード２１における第２の蓄積期間のポテンシャル分布を示し、図７（ｄ）は、第２の蓄積期間に蓄積された電荷を垂直転送素子２３に読み出し、第１の蓄積期間に蓄積され、保持されている電荷と加算する際のポテンシャル分布を示す。
【００５３】
図７（ａ）では、基板１８に印加される電位が第１の値Ｖｓｕｂ１であり、その結果オーバーフローバリア電位ΨＶＯＤが第１の値ΨＶＯＤ１となっている。これに対し、図７（ｃ）では、基板１８に印加される電位が上記第１の値Ｖｓｕｂ１よりも低い第２の値Ｖｓｕｂ２であり、その結果オーバーフローバリア電位ΨＶＯＤが上記第１の値ΨＶＯＤ１よりも高い第２の値ΨＶＯＤ２となっている。
上記のように蓄積飽和量を対応する信号の電圧値で表すと、オーバーフローバリア電位の第１の値ΨＶＯＤ１が第１の蓄積飽和量２２０ｍＶに対応し、第２の値ΨＶＯＤ２が第２の蓄積飽和量２８０ｍＶに対応する。
【００５４】
図７（ａ）に示されるように蓄積された電荷Ｑ１は図７（ｂ）に示されるように垂直転送素子２３に読み出される。読み出された電荷Ｑ１は、図７（ｃ）に示されるようにフォトダイオード２１で電荷蓄積が行われている間も垂直転送素子２３内に保持される。図７（ｃ）に示されるように蓄積された電荷Ｑ２は、図７（ｄ）に示されるように垂直転送素子２３に読み出され、垂直転送素子２３内に保持されている電荷Ｑ１と加算される。
【００５５】
図７（ａ）に示される第１の電荷蓄積の際、第１の蓄積飽和量ＶＯＤ１を超える電荷は基板１８に排出されるので、蓄積電荷量Ｑ１は第１の蓄積飽和量ＶＯＤ１以下に制限される。図７（ｃ）に示される第２の電荷蓄積の際、第２の蓄積飽和量ＶＯＤ２を超える電荷は基板１８に排出されるので、蓄積電荷量Ｑ２は第２の蓄積飽和量ＶＯＤ２以下に制限される。
【００５６】
図８は、実施の形態１で用いられる電荷合成及びその制御を行うための構成要素を機能ブロック図で表したものである。
図８の蓄積手段６１及び合成手段６２は、図１の固体撮像素子１１で構成されるものであり、そのうち、蓄積手段６１は、図２の光電変換部１９で構成される。合成手段６２は、加算手段６３と保持手段６４とを有するが、これらは、いずれも図２の垂直転送部２２で構成される。
【００５７】
レンズ１０によって被写体の光像が固体撮像素子１１の撮像面に形成され、光電変換部１９で構成される蓄積手段６１が、光像の各画素における光量に応じた電荷量を蓄積し、蓄積電荷出力ＳＸを出力する。蓄積電荷は、読出しパルスＣＨで蓄積手段６１から合成手段６２へ読み込まれる。
合成手段６２は、蓄積手段６１から異なるタイミングで読み出された電荷ＳＸを加算により合成するものであり、そのうち、加算手段６３は、蓄積手段６１から出力される（読み出される）電荷ＳＸと保持手段６４に保持されている電荷ＳＭを加算し、加算の結果得られる電荷ＳＹが再び保持手段６４に保持される。保持手段６４で保持されている電荷ＳＭが合成手段６２の出力となる。なお、保持手段６４は、蓄積手段６１の容量よりも大きな容量を有し、合成処理を行っても飽和しないように形成されている。
【００５８】
このように、垂直転送部２２において垂直転送パルスを静止させた状態で、蓄積手段６１から読み出された蓄積電荷出力ＳＸを、保持手段６４で保持し、蓄積処理及び読出し処理を２回以上行うことで、電荷の加算処理を実現している。
【００５９】
合成制御手段６５は、図１のＣＰＵ１６とタイミング信号発生手段１５で構成されものであり、蓄積手段６１と合成手段６２の動作のタイミングの制御や、蓄積飽和量の制御などを行う。
【００６０】
合成制御手段６５は、飽和量制御手段６６とタイミング制御手段６７とで構成されている。このうち、飽和量制御手段６６は、デジタル信号処理手段１４から撮像出力ＳＡに対応した信号ＳＦを検出した結果をもとに、蓄積手段６１における蓄積飽和量ＶＯＤを飽和量制御信号ＣＳで制御する。即ち、オーバフローバリア電位ΨＶＯＤを制御し、第１の値ΨＶＯＤ１又は第２の値ΨＶＯＤ２に切り換えることで、フォトダイオード２１の蓄積飽和量ＶＯＤを第１の値ＶＯＤ１又は第２の値ＶＯＤ２に切り換える。
【００６１】
タイミング制御手段６７は、フォトダイオード２１からの読出しのタイミングを読み出しパルスＣＨで制御するものである。具体的には、垂直転送素子２３の１相目及び３相目の電極２６ａ、２６ｃに印加される電圧を「ＶＨ」レベルにすることで、読み出し（及び加算）を行い、読み出し後に「ＶＭ」レベルに戻す。
タイミング制御手段６７はさらに、垂直転送部２２及び水平転送部２７における転送のタイミングを制御する。
即ち、上記のような電荷の読み出し及び合成の処理を実施した後、図３〜図５を参照して説明したように、垂直転送部２２の電極２６ａ〜２６ｅに印加される電圧を所定の順序で「ＶＭ」レベルと「ＶＬ」レベルに所定の順序で切り換えることで垂直転送を行い、垂直転送により水平転送部２７に転送された電荷の水平転送を行う。
【００６２】
以下、図９から図１６を参照して、合成処理の具体例につき説明する。
図９は、本発明の合成手段を説明するための、８００×６００画素の撮像データの一例を示し、図１０は、図９中の二点鎖線（ｙ座標＝３００）で示される水平ラインに沿う撮像出力を示す。図９において、符号Ｇｄで示す矩形の部分が暗い部分（暗部）であり、この暗部Ｇｂに対応する図１０中のｘ座標２００からｘ座標３００まで、かつｙ座標２５０からｙ座標３５０までの範囲では、信号レベルが２０ｍＶであり、図９において符号Ｇｂで示す矩形の部分が明るい部分（明部）であり、この明部Ｇｂに対応する図１０中のｘ座標５００からｘ座標６００まで、かつｙ座標２５０からｙ座標３５０までの範囲では、信号レベルが４８０ｍＶであり、暗部Ｇｄ及び明部Ｇｂ以外の部分Ｇｇは、中程度の明るさを有し、信号レベルが４０ｍＶである。
【００６３】
図１１（ａ）〜（ｉ）は、図８に示した蓄積手段６１、加算手段６３、及び保持手段６４の動作を示すため、図１及び図８に示される各信号、電荷量などの変化を表したタイムチャートである。
【００６４】
図１１（ａ）は、シャッタボタンが押された時点Ｔｏｎを示す。
図１１（ｂ）の符号ＶＤは垂直同期信号であり、通常所定の期間毎に発生される。一つの垂直同期信号から次の垂直同期信号までがフレーム期間である。図１１には、２つのフレーム期間、即ち第１のフレーム期間ＦＲ０及び第２のフレーム期間ＦＲ１が示されている。
第１のフレーム期間ＦＲ０は、シャッタボタンの押下による静止画取込み指令に備えて待機するフレーム期間であり、第２のフレーム期間ＦＲ１が本撮像のための電荷蓄積を行うフレーム期間である。第１のフレーム期間ＦＲ０は、後述の理由で明るさ検出のための予備撮像のための期間とも呼ばれる。
【００６５】
図１１（ｃ）及び（ｅ）は、それぞれ暗部Ｇｄ及び明部Ｇｂ内の蓄積手段６１（フォトダイオード２１）において蓄積される電荷ＳＸｄ（ｔ）、ＳＸｂ（ｔ）を示し、図１１（ｄ）及び（ｆ）は、それぞれ暗部Ｇｄ及び明部Ｇｂ内の画素に対応する加算手段６３及び保持手段６４（垂直転送素子２３）において保持されている電荷ＳＭｄ（ｔ）、ＳＭｂ（ｔ）及び加算の結果得られる電荷ＳＹｄ（ｔ）、ＳＹｂ（ｔ）を示す。
図１１（ｇ）は、蓄積飽和量ＶＯＤを示し、図１１（ｈ）は、読み出しパルスＣＨを示す。図１１（ｈ）は、垂直転送のタイミングを示している。
【００６６】
第１のフレーム期間ＦＲ０においては撮像装置は待機状態にあり、飽和量制御信号ＣＳが「Ｈ」レベルに設定され、蓄積飽和量ＶＯＤを固体撮像素子１１の規格上の信号飽和量（フォトダイオード２１で蓄積可能であり、かつ垂直転送部２２及び水平転送部２７で転送可能な最大の信号量）に等しい第３の値ＶＯＤ３＝５００ｍＶに設定し、所定の期間（ｔ０ａ〜ｔ０ｂ）だけ電荷蓄積を行い、その結果得られた撮像出力（デジタル信号処理手段１５の出力ＳＦ）に基づいて、表示手段１７で表示を行い、ＣＰＵ１６で明るさの検出（平均値、最大値の検出）などを行う。所定の期間ｔ０ａ〜ｔ０ｂだけ電荷蓄積を行うため、時刻ｔ０ａに読み出しパルスＣＨを発生し、その時点までにフォトダイオード２１に蓄積されていた電荷を垂直転送部２２に読み出し、垂直転送部２２内を高速転送し（ＶＴｆ）、さらに水平転送部２７を介して掃き捨てる。その後、時刻ｔ０ｂに再び読み出しパルスＣＨを発生し、時刻ｔ０ａから時刻ｔ０ｂまでの期間にフォトダイオード２１に蓄積された電荷を垂直転送部２２に読み出し（ＶＴｎ）、垂直転送ＶＴを行い、さらに水平転送を行って読み出す。時刻ｔ０ａから時刻ｔ０ｂまでの蓄積期間の長さは、想定される被写体の最も明るい部分でも蓄積飽和量ＶＯＤ３に達しないように十分短く、かつその範囲でできるだけ長い値に定められる。
【００６７】
図１０に示される撮像出力（平均が４８．７５ｍＶ）は明るさ検出のためのフレーム期間ＦＲ０における時刻ｔ０ａから時刻ｔ０ｂまでの蓄積期間での電荷蓄積の結果得られたものである。
第１のフレーム期間ＦＲ０における撮像の結果検出された被写体の明るさに基づいて、第１のフレーム期間ＦＲ１における第１及び第２の蓄積期間の長さが決められる。決め方の詳細については後述する。
【００６８】
第２のフレーム期間ＦＲ１の先頭の垂直同期信号ＶＤの立ち上がりの後の時刻ｔ１ａに、読み出しパルスＣＨが発生する。
読み出しパルスＣＨの発生（ｔ１ａ）と略同時に飽和量制御信号ＣＳが「Ｌ」レベルに設定され、その結果蓄積飽和量が第１の値ＶＯＤ１に設定される。
【００６９】
時刻ｔ１ａにおける読み出しパルスＣＨの発生により、それまでフォトダイオード２１に蓄積されていた電荷が垂直転送部２２に読み出され、高速転送（ＶＴｆ）され、さらに水平転送部２７を介して掃き捨てられる。
【００７０】
時刻ｔ１ａにおいて、フォトダイオード２１で電荷の蓄積が開始され、時刻ｔ１ｄまで蓄積が継続される。ここで、図示の例では、第１の蓄積飽和量ＶＯＤ１が比較的低く設定されており、明部Ｇｂのフォトダイオード２１における蓄積電荷量は、時刻ｔ１ｃで第１の蓄積飽和量ＶＯＤ１に達し、その後、蓄積期間の終了まで蓄積電荷量は蓄積飽和量に維持される。即ち時刻ｔ１ｄにおける蓄積電荷量ＳＸｂ（ｔ１ｄ）は、時刻ｔ１ｃにおける蓄積電荷量ＳＸｂ（ｔ１ｃ）に等しい。一方、暗部Ｇｄのフォトダイオード２１における蓄積電荷量は、第１の蓄積飽和量ＶＯＤ１に達せず、時刻ｔ１ｄまでゆっくりと上昇を続ける。暗部Ｇｄのフォトダイオード２１における、蓄積期間の終了時（ｔ１ｄ）の電荷はＳＸｄ（ｔ１ｄ）で表される。
【００７１】
時刻ｔ１ｄに読み出しパルスＣＨが発生し、フォトダイオード２１の信号電荷は、読み出されて加算手段６３（垂直転送素子２３）に供給される。時刻ｔ１ｄ以前に保持手段６４（垂直転送素子２３）に保持されている電荷はなく（それ以前に初期化されているため）、加算手段６３の出力ＳＹｄ（ｔ１ｄ）、ＳＹｂ（ｔ１ｄ）は、それぞれ、フォトダイオード２１の出力ＳＸｄ（ｔ１ｄ）、ＳＸｂ（ｔ１ｄ）と等しい。
加算手段６３の出力ＳＹｄ（ｔ１ｄ）、ＳＹｂ（ｔ１ｄ）は、保持手段６４においてＳＭｄ（ｔ１ｄ）、ＳＹｂ（ｔ１ｄ）として保持される。
【００７２】
従って、
ＳＭｄ（ｔ１ｄ）＝ＳＹｄ（ｔ１ｄ）＝ＳＸｄ（ｔ１ｄ）    …（１Ａ）
ＳＭｂ（ｔ１ｄ）＝ＳＹｂ（ｔ１ｄ）＝ＳＸｂ（ｔ１ｃ）    …（１Ｂ）
が満たされている。
なお、式（１Ａ）と式（１Ｂ）の違いは、式（１Ｂ）では、明部Ｇｂの飽和により、ＳＸｂ（ｔ１ｄ）がＳＸｂ（ｔ１ｃ）に等しいための置き換えがなされている点である。
【００７３】
時刻ｔ１ｄで読み出しパルスＣＨが発生すると、第２の電荷蓄積が開始され、電荷蓄積は時刻ｔ１ｆまで続けられる。
第２の蓄積期間（ｔ１ｄからｔ１ｆまで）は、第１の蓄積期間（ｔ１ａからｔ１ｄまで）よりも短く設定される。図１１では、第２の蓄積期間が第１の蓄積期間の１／２程度に描かれているが、実際には例えば１／１０程度に定められる。
【００７４】
読み出しパルスＣＨの発生（ｔ１ｄ）と略同時に、飽和量制御信号ＣＳが「Ｍ」レベルに設定され、蓄積飽和量ＶＯＤが第２の値ＶＯＤ２に設定される。ここでは、第２の蓄積飽和量ＶＯＤ２は第１の蓄積飽和量ＶＯＤ１よりも大きい場合を想定している。なお、飽和量制御信号ＣＳの値の切換えは、第２の電荷蓄積の開始（ｔ１ｄ）よりも少し遅れてもよく、最も明るい部分（ダイナミックレンジの最大値の部分）において蓄積電荷量が第１の蓄積飽和量に達するより前に切り換えれば良い。
【００７５】
第２の蓄積期間は短く、また第２の蓄積飽和量ＶＯＤ２が比較的高いので、明部Ｇｂのフォトダイオード２１においても、暗部Ｇｄのフォトダイオード２１においても、蓄積電荷は飽和せず、蓄積期間の終了時（ｔ１ｆ）まで、上昇を続ける。
【００７６】
時刻ｔ１ｆにおいて、フォトダイオード２１の蓄積電荷ＳＸｄ（ｔ１ｆ）、ＳＸｂ（ｔ１ｆ）がそれぞれ読み出しパルスＣＨにより読み出されて加算手段６３（垂直転送素子２３）に供給され、保持手段６４（垂直転送素子２３）に保持されている電荷ＳＭｄ（ｔ１ｆ）、ＳＭｂ（ｔ１ｆ）とそれぞれ加算され、加算結果ＳＹｄ（ｔ１ｆ）、ＳＹｂ（ｔ１ｆ）が得られる。これを数式で表すと、
ＳＹｄ（ｔ１ｆ）＝ＳＸｄ（ｔ１ｆ）＋ＳＭｄ（ｔ１ｄ）      …（２Ａ）
ＳＹｂ（ｔ１ｆ）＝ＳＸｂ（ｔ１ｆ）＋ＳＭｄ（ｔ１ｃ）      …（２Ｂ）
となる。
【００７７】
加算の結果得られた電荷ＳＹｄ（ｔ１ｆ）、ＳＹｂ（ｔ１ｆ）は直ちに（遅くとも次のフレームにおける電荷読み出しまでに）垂直転送部２２内を垂直転送されて（ＶＴ）、水平転送部２７に送られ、垂直転送が終わると、垂直転送部２２は初期化される（ＳＹｄ、ＳＹｂがすべてゼロにされる）。
第２のフレームの次のフレームでは待機状態に戻り、第１のフレームＦＲ０と同様の処理が行われる。
【００７８】
このように、飽和量制御手段６６で、基板バイアス電位Ｖｓｕｂを制御することによりフォトダイオード２１の蓄積飽和量を調整し、またタイミング制御手段６７で読み出しタイミングを制御することにより電荷蓄積期間の長さを調整し、暗部Ｇｄのフォトダイオード２１における蓄積電荷を抑制せず、明部Ｇｂのフォトダイオード２１の蓄積電荷量を抑制することができる。
【００７９】
以下、この点につき図１２を参照してさらに説明する。図１２は、フォトダイオード２１において蓄積される電荷の量の変化、及び垂直転送部２２における加算により得られる電荷の量を示す。横軸が時間であり、縦軸が電荷量（に対応する電圧）を示す。横軸の時刻を表す符号は図１１の符号と対応し、図１２には、図１１で時刻ｔ１ａからｔ１ｆまでの時間に相当する部分が示されている。
【００８０】
図１２に示す例では、固体撮像素子１１の規格上の信号飽和量が５００ｍＶであり、第１の蓄積飽和量ＶＯＤ１が２２０ｍＶ、第２の蓄積飽和量ＶＯＤ２が２８０ｍＶ（＝５００ｍＶ−２２０ｍＶ）に設定されている。但し、図１２には、図示の都合でＶＯＤ１とＶＯＤ２の違いをより大きいものとして描いている。
時刻ｔ１ａにおいて、第１の電荷蓄積が開始され、明部Ｇｂ及び暗部Ｇｄのフォトダイオード２１における蓄積電荷量ＳＸｂ（ｔ）、ＳＸｄ（ｔ）が上昇を開始する。明部Ｇｂのフォトダイオード２１における蓄積電荷量ＳＸｂ（ｔ）の上昇は急であり、時刻ｔ１ｃにおいて、第１の蓄積飽和量ＶＯＤ１に達し、その後、蓄積電荷量ＳＸｂ（ｔ）は、第１の蓄積飽和量ＶＯＤ１に維持される。一方、暗部Ｇｄのフォトダイオード２１における蓄積電荷量ＳＸｄ（ｔ）の上昇は緩やかであり、第１の蓄積飽和量ＶＯＤ１に達することなく、蓄積期間の終了時ｔ１ｄにＳＸｄ（ｔ１ｄ）に達する。
時刻ｔ１ｄに読み出しが行われると、フォトダイオード２１の電荷は垂直転送素子２３に移され、それぞれＳＭｂ（ｔ１ｄ）、ＳＭｄ（ｔ１ｄ）として保持される。読み出しにより、フォトダイオード２１内の蓄積電荷量はゼロになる。
【００８１】
時刻ｔ１ｄにおける読み出しパルスＣＨの発生により、第２の電荷蓄積が開始され、明部Ｇｂ及び暗部Ｇｄのフォトダイオード２１における蓄積電荷量ＳＸｂ（ｔ）、ＳＸｄ（ｔ）が再び上昇を開始するが、蓄積期間の終了（ｔ１ｆ）までの期間が短いため、また第２の飽和蓄積量ＶＯＤ２が比較的高いため、明部Ｇｂの画素２１においても、電荷蓄積量ＳＸｂ（ｔ）が第２の蓄積飽和量ＶＯＤ２に達することなく、蓄積期間の終了時における明部Ｇｂ及び暗部Ｇｄのフォトダイオード２１の蓄積電荷量はそれぞれＳＸｂ（ｔ１ｆ）、ＳＸｄ（ｔ１ｆ）となる。
【００８２】
時刻ｔ１ｆに読み出しが行われると、フォトダイオード２１の電荷は垂直転送素子２３に移され、それぞれ垂直転送素子２３に保持されている電荷ＳＭｂ（ｔ１ｄ）、ＳＭｄ（ｔ１ｄ）と加算されてＳＹｂ（ｔ１ｆ）、ＳＹｄ（ｔ１ｆ）となり、これが垂直転送素子２３に保持される。時刻ｔ１ｆの読み出しにより、フォトダイオード２１内の電荷は再びゼロになる。
【００８３】
図１３〜図１５は、蓄積電荷の加算の数値例を示すもので、横軸は図１０の横軸に対応している。
図１３は、第１の蓄積期間の終了時のフォトダイオード２１における蓄積電荷量を示す。暗部Ｇｄ，明部Ｇｂ，中間部Ｇｇの蓄積電荷量がそれぞれ８２ｍＶ、２２０ｍＶ、１６４ｍＶとなっている。この蓄積電荷量は、第２の蓄積期間の終了まで垂直転送素子２３に保持される。
図１４は、第２の蓄積期間の終了時のフォトダイオード２１における蓄積電荷量を示す。暗部Ｇｄ，明部Ｇｂ，中間部Ｇｇの蓄積電荷量がそれぞれ１０ｍＶ、２４０ｍＶ、２０ｍＶとなっている。
図１５は、図１４に示される第２の蓄積期間の終了時のフォトダイオード２１における蓄積電荷量を、図１３に示される第１の蓄積期間の終了時のフォトダイオード２１における蓄積電荷量（第２の蓄積期間の終了時まで垂直転送素子２３に保持されている蓄積電荷量）と加算した結果得られる電荷量を示す。暗部Ｇｄ，明部Ｇｂ，中間部Ｇｇのフォトダイオード２１に対応する垂直転送素子２３における加算の結果得られる電荷量がそれぞれ９２ｍＶ、４６０ｍＶ、１８４ｍＶとなっている。図１５のうち、斜線を施した部分は、第２の蓄積期間の蓄積電荷量に相当する成分である。
【００８４】
第１の蓄積期間と第２の蓄積期間で得られた電荷信号を合成することで、図１５に示す電荷信号を得ることができる。
【００８５】
次に図１６を参照して、上記の実施の形態の効果を説明する。図１６（ａ）は、第１の蓄積期間で蓄積した電荷による画像を示す。図示のように、この画像では、明るい部分、即ち窓ＷＤの外の景色（符号ＤＳで示される部分）が白つぶれしている。図１６（ｂ）は、第２の蓄積期間で蓄積した電荷による画像（仮に第１の蓄積期間で蓄積した電荷による画像と合成することなく、取り出したと仮定した場合に得られる画像）を示す。図示のようにこの画像では、明るい部分、即ち窓ＷＤの外の景色ＤＳは鮮明に再現されているが、暗い部分、即ち室内の人物ＨＢなどは、黒潰れに近い状態になっている。図１６（ｃ）は、第１の蓄積期間で蓄積した電荷と第２の蓄積期間で蓄積した電荷とを合成することにより得られる画像を示す。図１６（ｃ）の画像は、図１６（ａ）に示される画像と図１６（ｂ）に示される画像とを合成したものである。図１６（ｃ）に示されるように、明るい部分ＤＳも暗い部分ＨＤもともに鮮明に再現されている。即ち、合成によりダイナミックレンジが拡大される。
【００８６】
以上のように、第１の蓄積期間と第２の蓄積期間に分けて電荷蓄積を行って電荷を加算する場合、各画素について、被写体の明るさＢＲと、光電変換素子２１で発生される電荷（発生電荷）ＱＧ及び光電変換素子２１から読み出される電荷（読み出し電荷）ＱＲの関係は、図１７に示すようになる。発生電荷ＱＧは、被写体の明るさのすべての範囲において、被写体の明るさに比例するものとしている。
図示のように、被写体の明るさＢＲが比較的小さい範囲、即ち閾値ＢＲｔ以下では、オーバーフローが起きないので、読み出し電荷ＱＲは、発生電荷ＱＧに等しいが、被写体の明るさＢＲが比較的大きい範囲、即ち閾値ＢＲｔを超えると、読み出し電荷ＱＲは発生電荷ＱＧよりも小さくなる。
閾値ＢＲｔは、発生電荷が第１の蓄積期間及び第２の蓄積期間の少なくとも一方において蓄積飽和量に達する点（被写体の明るさ）である。
図１７に示すように、被写体の明るさＢＲが比較的小さい範囲では、被写体の明るさＢＲに対する読み出し電荷ＱＲの変化が比較的大きく、被写体の明るさＢＲが比較的大きい範囲では、被写体の明るさＢＲに対する読み出し電荷ＯＲの変化が比較的小さいので、被写体の暗部の輝度差が鮮明に再現される一方、被写体の明るい部分も白つぶれを起こすことなく、再現される。
【００８７】
上記のように本実施の形態においては、本撮像のための電荷蓄積を行う期間（第２のフレーム期間ＦＲ１）における、第１及び第２の蓄積期間は、読み出しパルスＣＨの発生のタイミングで決められる。第１及び第２の蓄積期間の長さの決定は、検出された被写体の明るさ、例えば画素毎の電荷信号の画面全体にわたる平均値や画素毎の電荷信号の画面中の最大値などに基づいて行われる。
画素毎の電荷信号の画面全体にわたる平均値は、デジタル信号処理手段１４の出力ＳＦ（固体撮像素子１１の出力ＳＡに対応する）の画面全体にわたる積算値を画素の数で割ることにより得られる。
本実施の形態では、本撮像のための電荷蓄積を行うフレーム（例えばＦＲ１）の第１及び第２の蓄積期間の長さを、１フレーム前（明るさ検出のためのフレーム期間、例えばＦＲ０）の予備撮像の結果得られた出力ＳＦに基づいて行う。
上記のように、明るさ検出のための予備撮像においては、電荷蓄積は、２回に分けて行われず、例えば比較的短い蓄積期間で行われる。図１０に示される撮像出力（平均が４８．７５ｍＶ）はそのような短い蓄積期間で得られたものである。
【００８８】
以下、図１１のフレームＦＲ１の一つ前のフレームＦＲ０の撮像の結果得られる出力ＳＦに基づいてフレームＦＲ１の第２の電荷蓄積の時間を定める場合を例にして説明する。
【００８９】
図１８は上記の第１及び第２の蓄積期間の長さの決定を含む上記の合成処理を行う際のＣＰＵ１６などの動作を示すフローチャートである。図１９は、図１８における検出処理（Ｓｔ１）を示すフローチャートである。
【００９０】
以下、図１８及び図１９を参照して説明する。固体撮像素子１１は、予備撮像のためのフレーム期間（例えば図１１のＦＲ０）に被写体を撮像し、撮像の結果得られる撮像出力ＳＡがアナログ信号処理手段１２、及びＡ／Ｄ変換手段１３を介してデジタル信号処理手段１４に供給され、デジタル信号処理手段１４からは、撮像出力ＳＡに対応（例えば比例）した信号ＳＦが出力される。ＣＰＵ１６は、信号ＳＦの平均値、最大値などを検出する（Ｓｔ１）。
検出処理（Ｓｔ１）の詳細は図１９に示されている。被写体が図９に示されるものである場合を想定すると、撮像画像の輝度に対応した撮像出力ＳＦ（又はＳＡ）の最大値Ｖｍａｘとして４８０ｍＶが検出される（図１９のＳｔａ１）。次に、信号ＳＦの平均値Ｖａｐｌを算出する（Ｓｔａ２）。
【００９１】
図９に示す例では、撮像出力ＳＦが２０ｍＶの暗部Ｇｄ、撮像出力ＳＦが４８０ｍＶの明部Ｇｂの面積がともに、１００×１００＝１００００画素であり、
撮像出力ＳＦが４０ｍＶの中間部Ｇｇの面積が
８００×６００−（１００×１００）×２＝４６００００画素であるので、
平均値Ｖａｐｌは、
Ｖａｐｌ＝（２０×１００００＋４８０×１００００＋４０×４６００００）／（８００×６００）＝４８．７５
となる（Ｓｔａ２）。
【００９２】
次に、計算処理（Ｓｔ２）では、ＳＴｂ１のステップで先ほどもとめた最大値Ｖｍａｘ及び平均値Ｖａｐｌ、並びに予備撮像における蓄積期間Ｌ０及び本撮像の際の第１の蓄積期間Ｌ１、第１の飽和値（ＶＯＤ１＝２２０ｍＶ）及び第２の飽和値（ＶＤＯ２＝２８０ｍＶ）に基づいて、本撮像の際の第１及び第２の蓄積期間Ｌ１及びＬ２のそれぞれの最大値Ｌ１ｍ及びＬ２ｍを、下記の式（３Ａ）、（３Ｂ）によって求める。
Ｌ１ｍ＝Ｌ０×（ＶＯＤ１／Ｖａｐｌ）      …（３Ａ）
Ｌ２ｍ＝Ｌ０×（ＶＯＤ２／Ｖｍａｘ）      …（３Ｂ）
或いは
Ｌ２ｍ＝Ｌ１ｍ×（ＶＯＤ２×Ｖａｐｌ）／（ＶＯＤ１×Ｖｍａｘ）      …（３Ｃ）
上記の例では、ＶＯＤ１＝２２０ｍＶ、ＶＯＤ２＝２８０ｍＶ、Ｖａｐｌ＝４８．７５ｍ、Ｖｍａｘ＝４８０ｍＶであるので、
Ｌ１ｍ＝Ｌ０×４．５
Ｌ２ｍ＝Ｌ０／１．７１＝Ｌ１ｍ／７．７
即ち、最大値Ｌ１ｍは、Ｌ０の４．５倍、最大値Ｌ２ｍはＬ１の７．７分の１である。
Ｌ１は、余裕を持たせるため、Ｌ１ｍよりも若干低い値、例えばその０．９倍前後とする。
図１３乃至図１５に示した例では、４．１倍（Ｌ１ｍの０．９１倍）としている。
Ｌ２は、余裕を持たせるため、Ｌ２ｍよりも若干小さい値、例えば０．９倍前後（例えば０．８５乃至０．９５倍）の値とする。
図１３乃至図１５に示した例では、Ｌ０の２分の１（Ｌ２ｍの０．８６倍）、Ｌ１の８．２分の１としている。
【００９３】
以下、式（３Ａ），（３Ｂ）によりＬ１ｍ、Ｌ２ｍを求めるのが妥当である理由を説明する。
図２０は、図１２と類似であるが、それぞれ予備撮像の時間Ｌ０の経過時、本撮像の際の第１の蓄積期間を仮想的に延ばした期間（最長の蓄積期間）Ｌ１ｍの終了時、及び第２の電荷蓄積を仮想的に延ばした期間（最長の蓄積期間）Ｌ２ｍの終了時における、最も明るい画素（撮像出力の最大値を生じさせる部分）の蓄積電荷、及び平均的画素（撮像出力の平均値を生じさせる仮想的な画素）における蓄積電荷を示す。最長の蓄積期間Ｌ１ｍ、Ｌ２ｍのほか、採用される第１及び第２の蓄積期間がＬ１、Ｌ２で示されている。
【００９４】
第１の蓄積期間Ｌ１の終了時に、平均的画素における蓄積電荷が第１の飽和量ＶＯＤ１よりも若干低くなるのが望ましい。そうすれば、平均値や平均値に近い値が、図１７の閾値Ｑｔよりも少し低い範囲に位置することとなり、入射光量の変化に対する蓄積電荷量の変化が比較的高い範囲に収まる（したがって、入射光量の差を鮮明に再現することができる）からである。そのために、本実施の形態では、第１の蓄積期間Ｌ１の終了時に、平均的画素における蓄積電荷が第１の飽和量ＶＯＤ１よりも若干低くなるように第１の蓄積期間Ｌ１の長さが定められる。
図２０において、仮に平均的画素における、蓄積電荷が本撮像の第１の蓄積期間の終了時に第１の飽和量ＶＯＤ１に達するように定めるとすれば、そのときの第１の蓄積期間Ｌ１ｍと、Ｌ０、ＶＯＤ１、Ｖａｐｌとの間には、
Ｌ１ｍ／Ｌ０＝ＶＯＤ１／Ｖａｐｌ      …（４Ａ）
式（４Ａ）の左辺のＬ０を右辺に移すことにより上記の式（３Ａ）が得られる。
Ｌ１を上記のようにＬ１ｍよりも少し小さい値に定めれば、平均的画素の蓄積電荷を第１の飽和量ＶＯＤ１よりも少し少なくできる。
【００９５】
第２の蓄積期間Ｌ２の終了時に、最も明るい画素（最大値画素）における蓄積電荷が第２の飽和量ＶＯＤ２よりも若干低くなるのが望ましい。そうすれば、最大値やそれに近い値の画素の撮像出力が同一の値になってしまうこと（白つぶれ）を防ぐことができるからである。そのために、本実施の形態では、第２の蓄積期間Ｌ２の終了時に、最大値画素における蓄積電荷が第２の飽和量ＶＯＤ２よりも若干低くなるように第２の蓄積期間Ｌ２の長さが定められる。
図２０において、仮に最大値画素における、蓄積電荷が本撮像の第２の蓄積期間の終了時に第２の飽和量ＶＯＤ２に達するように定めるとすれば、そのときの第２の最長蓄積期間Ｌ２ｍと、Ｌ０、ＶＯＤ２、Ｖｍａｘとの間には、
Ｌ２ｍ／Ｌ０＝ＶＯＤ２／Ｖｍａｘ      …（５Ａ）
式（５Ａ）の左辺のＬ０を右辺に移すことにより、上記の式（３Ｂ）が得られる。
また、式（３Ｂ）と式（３Ａ）を連立で解くことにより、式（３Ｃ）が得られる。
Ｌ２を上記のようにＬ２ｍよりも少し小さい値に定めれば、最大値画素の蓄積電荷を第２の飽和量ＶＯＤ２よりも少し少なくできる。
【００９６】
図１８のステップＳｔ２で上記のようにしてＬ１，Ｌ２が決定されたら、次のステップＳｔ３で第１の蓄積期間Ｌ１での電荷蓄積を行って、第１の蓄積期間の最後に読み出しを行い、次のステップＳｔ４で第２の蓄積期間Ｌ２での電荷蓄積を行って第２の蓄積期間の最後に読み出し、加算による合成を行い、合成された電荷（画像）を出力する（Ｓｔ５）。
【００９７】
上記の例では、電荷蓄積を２回に分け、１回目と２回目で蓄積飽和量を異なる値とし、蓄積期間を異なる長さとすることで、暗部と明部がともに鮮明に再現され、ダイナミックレンジを大きくしている。しかし、１回目と２回目で蓄積期間を異なる値とする一方、蓄積飽和量を同じ値としても良く、逆に蓄積期間を同じ値とし、蓄積飽和量を異なる値としても良い。
１回目と２回目で蓄積期間の長さを変える場合、２回目の蓄積期間を短くする方が良い。スミアを低減することができ、また、撮像装置にブレによる影響を少なくすることができるからである。但し、本発明は、これに限定されず、第２の蓄積期間を第１の蓄積期間よりも長くしても良い。
【００９８】
なお、上記の例では、飽和量御信号ＣＳが、「Ｌ」レベル、「Ｍ」レベル、又は「Ｈ」レベルのいずれかを表すものであるが、代わりに、２値のうちのいずれかを表すものであっても良く、４値以上のいずれかを表すものであっても良い。さらに飽和量制御信号としてアナログ制御信号や多数ビットのデジタル信号を用いることで、直接蓄積飽和量を表すこととしても良い。
【００９９】
また、上記の例では、電荷蓄積が２回に分けて行われるが、３回以上に分けて行っても良い。電荷蓄積を３回以上に分けて行い、蓄積期間を互いに異なる長さとする場合には、上記と同じ理由で蓄積期間を順次短くするのが好ましい。
【０１００】
電荷蓄積をＮ回に分けて行う場合の読み出し及び加算による合成の手順を図２１に示す。図２１において、第１の蓄積期間における電荷蓄積（ＧＣ１）で得られた電荷が保持手段６４に読み出されて（ＲＤ１）、保持される（ＨＬ１）。同様に、第２の蓄積期間における電荷蓄積（ＧＣ２）で得られた電荷が保持手段６４に読み出されて（ＲＤ２）、保持されている電荷と加算され（ＡＤ１）、加算の結果得られる電荷が保持される（ＨＬ２）。以下、同様の処理を繰り返し、最後に第Ｎの蓄積期間における電荷蓄積（ＧＣＮ）で得られた電荷が保持手段６４に読み出されて（ＲＤＮ）、保持されている電荷と加算され（ＡＤ（Ｎ−１））、加算の結果得られる電荷が合成画像を表す電荷として出力される。
【０１０１】
実施の形態２．
本発明の実施の形態２の撮像装置の全体的構成をブロック図で表すと図１のようになる。但し、ＣＰＵ１６が、実施の形態１で説明したのと同様の機能を持つとともに、デジタル信号処理手段１４から出力ＳＦに基づき、自動露光制御（ＡＥ）のための計算を行い、計算結果に基づきタイミング信号発生手段１５を制御して電子シャッタパルス群（複数のシャッタパルスφＳＵＢから成るパルス列）ＣＥの発生の期間を制御し、これにより蓄積期間の調整を行う。電荷蓄積は、実施の形態１で説明したのと同様、例えば２回に分けて行われ、電荷蓄積を行う時間が制御される。
【０１０２】
図２２は、実施の形態２で用いられる電荷合成及びその制御を行うための構成要素を機能ブロック図で表したものである。図２２の電荷合成及びその制御手段は、図８の構成と概して同じであるが、蓄積手段６１が蓄積期間を調整することができるように構成され、合成制御手段６５が、蓄積手段６１の蓄積期間を制御するためのシャッタパルス発生手段６８を有する。
【０１０３】
図２３（ａ）〜（ｊ）は、図２２に示した蓄積手段６１、加算手段６３、及び保持手段６４の動作を示すため、図１及び図２２に示される各信号、電荷量などの変化を表したタイムチャートである。図２３（ａ）〜（ｉ）は、それぞれ図１１（ａ）乃至（ｉ）と同様の信号、電荷量などを示す。図２３（ｊ）は、シャッタパルス群ＣＥの発生期間を示す。シャッタパルスは、蓄積期間を調整するために発生されるものである。図２３に示す例では、第１及び第２の蓄積期間の長さを、シャッタパルスにより調整（短縮）している。
【０１０４】
図２３において、第１のフレーム期間ＦＲ０における動作は図１１と同じである。ただし、電荷蓄積は、シャッタパルス群ＣＥの発生の終了の時刻ｔ０ａに開始される。即ち、時刻ｔ０ａまでにフォトダイオード２１に発生される電荷は、シャッタパルス群ＣＥにより基板１８に排出される。
【０１０５】
第２のフレーム期間ＦＲ１の先頭の垂直同期信号ＶＤの立ち上がりの後の時刻ｔ１ａに、シャッタパルス群ＣＥの発生が開始され、時刻ｔ１ａでシャッタパルスの発生が終了する。シャッタパルス群ＣＥが発生されている限り、フォトダイオード２１で発生された電荷は基板１８に排出されてフォトダイオード２１内には蓄積されない。シャッタパルスの発生が終了すると（ｔ１ａ）、その時電荷蓄積（第１の電荷蓄積）が開始され、電荷蓄積は時刻ｔ１ｄまで続けられる。
【０１０６】
なお、シャッタパルス群ＣＥは、垂直同期信号ＶＤの立ち上がり後直ちに発生を開始せず、電荷蓄積が開始されるべき時刻ｔ１ａの直前のみ発生するようにしても良い。
第１の電荷蓄積の開始（ｔ１ａ）と略同時に飽和量制御信号ＣＳが「Ｌ」レベルに設定され、その結果蓄積飽和量が第１の値ＶＯＤ１に設定される。
【０１０７】
図示の例では、第１の蓄積飽和量ＶＯＤ１が比較的低く設定されており、明部Ｇｂのフォトダイオード２１における蓄積電荷量は、時刻ｔ１ｃで第１の蓄積飽和量ＶＯＤ１に達し、その後、蓄積期間の終了まで蓄積電荷量は蓄積飽和量に維持される（ＳＸｂ（ｔ１ｄ）＝ＳＸｂ（ｔ１ｃ））。一方、暗部Ｇｄのフォトダイオード２１における蓄積電荷量は、第１の蓄積飽和量ＶＯＤ１に達せず、時刻ｔ１ｄまでゆっくりと上昇を続ける。暗部Ｇｄのフォトダイオード２１における、蓄積期間の終了時（ｔ１ｄ）の電荷はＳＸｄ（ｔ１ｄ）で表される。
【０１０８】
時刻ｔ１ｄでは、読み出しパルスＣＨが発生し、フォトダイオード２１の信号電荷は、読み出されて加算手段６３（垂直転送素子２３）に供給される。時刻ｔ１ｄ以前に保持手段６４（垂直転送素子２３）に保持されている電荷はなく（それ以前に初期化されているため）、加算手段６３の出力ＳＹｄ（ｔ１ｄ）、ＳＹｂ（ｔ１ｄ）は、それぞれ、フォトダイオード２１の出力ＳＸｄ（ｔ１ｄ）、ＳＸｂ（ｔ１ｄ）と等しい。
加算手段６３の出力ＳＹｄ（ｔ１ｄ）、ＳＹｂ（ｔ１ｄ）は、保持手段６４においてＳＭｄ（ｔ１ｄ）、ＳＹｂ（ｔ１ｄ）として保持される。
【０１０９】
時刻ｔ１ｅで読み出しパルスＣＨが発生され、読み出しが終わると、シャッタパルス群ＣＥの発生が開始され、フォトダイオード２１で発生された電荷は基板１８に排出されフォトダイオード２１内には蓄積されず、時刻ｔ１ｅでシャッタパルス群ＣＥの発生が終了すると、その時電荷蓄積（第２の電荷蓄積）が開始され、電荷蓄積は時刻ｔ１ｆまで続けられる。
なお、シャッタパルス群ＣＥは、読み出しパルスＣＨの後ただちに発生を開始せず、電荷蓄積が開始されるべき時刻ｔ１ｅの直前のみ発生するようにしても良い。
２回目の（第２の）蓄積期間（ｔ１ｅからｔ１ｋまで）は、１回目の（第１の）蓄積期間（ｔ１ａからｔ１ｄまで）よりも短く設定される。
【０１１０】
第２の電荷蓄積の開始（ｔ１ｅ）と略同時に、飽和量制御信号ＣＳが「Ｍ」レベルに設定され、蓄積飽和量ＶＯＤが第２の値ＶＯＤ２に設定される。ここでは、第２の蓄積飽和量ＶＯＤ２は第１の蓄積飽和量ＶＯＤ１よりも大きい場合を想定している。なお、飽和量制御信号ＣＳの値の切換えは、第２の電荷蓄積の開始（ｔ１ｅ）よりも少し遅れてもよく、画像の最も明るい部分（ダイナミックレンジの最大値の部分）において蓄積電荷量が第１の蓄積飽和量に達するより前に切り換えれば良い。
【０１１１】
時刻ｔ１ｅに電荷蓄積が開始された場合、蓄積期間が短く、また第２の蓄積飽和量ＶＯＤ２が比較的高いので、明部Ｇｂのフォトダイオード２１においても、暗部Ｇｄのフォトダイオード２１においても、蓄積電荷は飽和せず、蓄積期間の終了時（ｔ１ｆ）まで、上昇を続ける。
【０１１２】
時刻ｔ１ｆにおいて、フォトダイオード２１の蓄積電荷ＳＸｄ（ｔ１ｆ）、ＳＸｂ（ｔ１ｆ）がそれぞれ読み出しパルスＣＨにより読み出されて加算手段６３（垂直転送素子２３）に供給され、保持手段６４（垂直転送素子２３）に保持されている電荷ＳＭｄ（ｔ１ｆ）、ＳＭｂ（ｔ１ｆ）とそれぞれ加算され、加算結果ＳＹｄ（ｔ１ｆ）、ＳＹｂ（ｔ１ｆ）が得られる。
【０１１３】
加算の結果得られた電荷ＳＴｄ（ｔ１ｆ）、ＳＹｂ（ｔ１ｆ）は直ちに（遅くとも次のフレームにおける電荷読み出しまでに）垂直転送部２２内を垂直転送されて（ＶＴ）、水平転送部２７に送られ、垂直転送が終わると、垂直転送部２２は初期化される（ＳＹｄ、ＳＹｂがすべてゼロにされる）。
【０１１４】
シャッタパルス群ＣＥの発生期間、特にその発生期間の終了時刻ｔ１ａ、ｔ１ｅの決定、即ち蓄積期間の長さの決定は、検出された被写体の明るさ、例えば画素毎の電荷信号の画面全体にわたる平均値や画素毎の電荷信号の画面中の最大値などに基づいて実施の形態１について図１８及び図１９を参照して説明したのと同様に行われる。
【０１１５】
以上、実施の形態１及び２において、蓄積飽和量が３つの値のいずれかを取ることができ、予備撮像において蓄積飽和量が最も大きい値（ＶＯＤ３＝５００ｍＶ）に設定され、本撮像の１回目の電荷蓄積において、蓄積飽和量が最も小さい値（ＶＯＤ１＝２２０ｍＶ）に設定され、本撮像の２回目の電荷蓄積において、蓄積飽和量が中間の値（ＶＯＤ２＝２８０ｍＶ）に設定されているが、２回目の電荷蓄積の時間を十分に短く設定すれば（即ち、２回目の蓄積電荷量が２８０ｍＶ（５００ｍＶ−２２０ｍＶ、即ち固体撮像素子１１の規格上の信号飽和量から１回目の蓄積飽和量を差し引いた値）に達しない程度の時間に定めれば）、本撮像の２回目の電荷蓄積における蓄積飽和量は２８０ｍＶ以上の値であれば如何なる値でもよく、例えば第３の蓄積飽和量ＶＯＤ３と等しい値としても良い。このようにすれば、基板電位としては、２つの値を選択的に設定可能であれば良く、飽和量制御信号ＣＳとして１ビットのものを用いれば良い。
【０１１６】
また、実施の形態１及び２において、第１の蓄積期間及び第２の蓄積期間の双方を予備撮像の結果に基づいて決定することとしているが、第１の蓄積期間を、予備撮像の結果に基づいて定めず一定の値とし或いは他の要因によって定め、第２の蓄積期間のみを予備撮像の結果に基づいて定めるようにしても良い。
また上記の実施の形態１及び２では、予備撮像の結果に応じて蓄積期間のみを調整しているが、絞りを調整することによって、撮像出力を制御するようにしても良く、絞りと蓄積期間の双方を調整して撮像出力を制御するようにしても良い。また、第１の蓄積期間の長さを一定とし、あるいは他の要因によって決定し、予備撮像の結果に応じて、絞りを調整して第１の蓄積期間における蓄積電荷量を調整し、同じ絞りで、第２の蓄積期間の長さを調整することで、第２の蓄積期間の蓄積電荷量を調整するようにしても良い。
いずれの場合にも蓄積期間に上限を設けて、撮像に要する時間が長くなりすぎるのを回避するようにしても良い。
【０１１７】
上記のように蓄積期間を第１の蓄積期間と第２の蓄積期間を互いに異なる長さにする場合に、第１の蓄積期間を長くし、第２の蓄積期間を短くすれば、第１の蓄積期間に蓄積され、読み出された電荷が、垂直転送部２２に保持される時間を比較的短くすることができるので、スミアやブレに影響を少なくすることができる。但し、本発明は、これに限定されず、第２の蓄積期間を第１の蓄積期間よりも長くしても良い。
【０１１８】
さらに、以上のように、検出された被写体の明るさ（平均値、最大値）に基づいて蓄積期間の長さを調整することに加えて、検出された被写体の明るさ（平均値、最大値）に基づいて各蓄積期間の蓄積飽和量を制御することとしても良い。
【０１１９】
本発明によれば、上記したように、電荷蓄積を複数回に分けて行うことで、撮像画像のダイナミックレンジを拡大することができる。また、外付けのフレームメモリを用いることなく、固体撮像素子１１内で合成処理を実現できるため、撮像装置を低コストとし、また撮像素子１１の後段の信号処理回路のリソースの削減や基板実装面積の縮小などの効果が得られる。
【図面の簡単な説明】
【０１２０】
【図１】本発明の実施の形態１の撮像装置の全体的構成を示すブロック図である。
【図２】本発明で用いられる固体撮像素子の構成を示す図である。
【図３】図２における縦方向に並んだ４画素を拡大して示す図である。
【図４】垂直転送部内で順方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰを示すタイミングチャートである。
【図５】垂直転送部内で順方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図６】（ａ）及び（ｂ）は、本発明の撮像素子内部のポテンシャル分布を示す図である。
【図７】（ａ）乃至（ｄ）は、電荷蓄積及び読み出しの際の撮像素子内部のポテンシャル分布を示す図である。
【図８】実施の形態１で用いられる電荷合成及びその制御を行うための構成要素を示す機能ブロック図である。
【図９】本発明の合成手段を説明するための、８００×６００画素の撮像データの一例を示す図である。
【図１０】図９中の二点鎖線（ｙ座標＝３００）で示される水平ラインに沿う撮像出力を示す。
【図１１】（ａ）〜（ｉ）は、図８に示した蓄積手段６１、加算手段６３、及び保持手段６４の動作を示すため、図１及び図８に示される各信号、電荷量などの変化を表したタイムチャートである。
【図１２】フォトダイオード２１において蓄積される電荷の量の変化、及び垂直転送部２２における加算により得られる電荷の量を示すタイムチャートである。
【図１３】撮像データが図９に示すものである場合の、第１の蓄積期間の終了時のフォトダイオード２１における蓄積電荷量の例を示す図である。
【図１４】撮像データが図９に示すものである場合の、第２の蓄積期間の終了時のフォトダイオード２１における蓄積電荷量の例を示す図である。
【図１５】図１４に示される第２の蓄積期間の終了時のフォトダイオード２１における蓄積電荷量を、図１３に示される第１の蓄積期間の終了時のフォトダイオード２１における蓄積電荷量（第２の蓄積期間の終了時まで垂直転送素子２３に保持されている蓄積電荷量）と加算した結果得られる電荷量を示す図である。
【図１６】（ａ）〜（ｃ）は、本発明による電荷蓄積及び加算により得られる画像の一例を示し、白つぶれを避け、しかも暗部においても鮮明な映像を得ることができることを説明する図である。
【図１７】被写体の明るさと、光電変換素子２１から読み出される電荷及び光電変換素子２１で発生される電荷との関係を示す線図である。
【図１８】第１及び第２の蓄積期間の長さの決定を含む上記の合成処理を行う際のＣＰＵ１６などの動作を示すフローチャートである。
【図１９】図１８における検出処理（Ｓｔ１）を示すフローチャートである。
【図２０】蓄積期間決定のための計算方法を示す図１２と類似のタイムチャートである。
【図２１】電荷蓄積をＮ回に分けて行う場合の読み出し及び加算による合成の手順を示す図である。
【図２２】実施の形態２で用いられる電荷合成及びその制御を行うための構成要素を示す機能ブロック図である。
【図２３】（ａ）〜（ｊ）は、図２２に示した蓄積手段６１、加算手段６３、及び保持手段６４の動作を示すため、図１及び図２２に示される各信号、電荷量などの変化を表したタイムチャートである。
【符号の説明】
【０１２１】
１０  レンズ、  １１  固体撮像素子、  １２  アナログ信号処理手段、  １３  Ａ／Ｄ変換手段、  １４  デジタル信号処理手段、  １５  タイミング信号発生手段、  １６  ＣＰＵ、  ２０  光電変換部、  ２１  光電変換素子、  ２２  垂直転送部、  ２３  垂直転送素子、  ２４  読み出しゲート部、  ２５  読み出しゲート、  ２６ａ〜２６ｄ  電極、  ２７  水平転送部、  ２８  出力増幅部、  ６１  蓄積手段、  ６２  合成手段、  ６３  加算手段、  ６４  保持手段、  ６５  電荷合成制御手段、  ６６  飽和量制御手段、  ６７  タイミング制御手段。
【図１】
2007081924.tif 000003
【図２】
2007081924.tif 000004
【図３】
2007081924.tif 000005
【図４】
2007081924.tif 000006
【図５】
2007081924.tif 000007
【図６】
2007081924.tif 000008
【図７】
2007081924.tif 000009
【図８】
2007081924.tif 000010
【図９】
2007081924.tif 000011
【図１０】
2007081924.tif 000012
【図１１】
2007081924.tif 000013
【図１２】
2007081924.tif 000014
【図１３】
2007081924.tif 000015
【図１４】
2007081924.tif 000016
【図１５】
2007081924.tif 000017
【図１６】
2007081924.tif 000018
【図１７】
2007081924.tif 000019
【図１８】
2007081924.tif 000020
【図１９】
2007081924.tif 000021
【図２０】
2007081924.tif 000022
【図２１】
2007081924.tif 000023
【図２２】
2007081924.tif 000024
【図２３】
2007081924.tif 000025