(57)【特許請求の範囲】
【請求項１】
入射する光の量に応じた量の電荷を蓄積し、蓄積画像を形成する蓄積手段と、
前記蓄積手段で蓄積画像を形成する際に、電荷蓄積を複数回に分けて行い、２回目以降の各回の電荷蓄積を、それより前の電荷蓄積よりも高い蓄積飽和量を設定して行わせる飽和量制御手段と、
前記固体撮像素子への光を遮断する遮蔽状態と、前記固体撮像素子への光を通過させる開放状態との間で切り換え可能な絞りと、
前記蓄積飽和量の切り替えに際し、前記絞りを遮蔽状態とする制御手段と
を有することを特徴とする撮像装置。
【請求項２】
２回目以降の各回の電荷蓄積を、それよりも前の電荷蓄積よりも短い蓄積期間で行わせる蓄積期間制御手段をさらに備えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記蓄積手段の出力に比例した撮像信号に基づき、被写体の明るさを検出する明るさ検出手段とをさらに備え、
前記明るさ検出手段の出力信号に応じて、前記飽和量制御手段により設定される前記蓄積飽和量及び前記蓄積期間制御手段により設定される前記電荷蓄積期間の少なくとも一方の長さを制御する
ことを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記蓄積手段が、ＣＣＤ撮像素子のフォトダイオードを含み、該フォトダイオードが、前記蓄積手段の前記蓄積飽和量が、前記フォトダイオードのフォトダイオード電位と、オーバフローバリアを形成するオーバフローバリア電位の電位差に応じて決定され、
前記飽和量制御手段が、前記蓄積飽和量の制御のため前記オーバフローバリア電位を調整する
ことを特徴とする請求項１に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は固体撮像素子を用いた撮像装置に関するものであり、ダイナミックレンジ拡大機能を有する撮像装置に関する。
【背景技術】
【０００２】
晴天下のトンネル内で出口の風景を撮影しようとした場合に、出口部分が白つぶれを起こしてしまう現象は、知られている。これは、デジタルカメラや携帯電話向けカメラで広く用いられている撮像素子のダイナミックレンジが、６０ｄＢ程度であり、トンネル内から出口風景を撮影するために必要なダイナミックレンジを満たしていないために起こる現象である。
【０００３】
一般的にトンネル内から出口風景を撮像する場合、１００ｄＢ以上のダイナミックレンジが要求される。
【０００４】
ダイナミック・レンジを広くするために、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）撮像素子やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子で、種々の方法が提案されてきた。
【０００５】
従来の一つの撮像装置においては、入力画像データの明度平均値を検出し、階調変換テーブルを変更する手段を備えることでダイナミックレンジを拡大していた（例えば、特許文献１）。
【０００６】
また、従来の別の撮像装置では、互いに異なる２つの露光時間で撮影を行うことにより得られた撮像データを合成する手段を備えることで、ダイナミックレンジの拡大を図っていた（例えば、非特許文献１）。
【０００７】
【特許文献１】特開２００４−３６３７２６号公報（第９−１１頁、第５図）
【非特許文献２】上田和彦ら、「広ダイナミックレンジカメラ用階調変換処理の開発」、映像メディア学会誌Ｖｏｌ．５６，Ｎｏ．３，ｐｐ４６９−４７５（２００２）  （第６−７頁、第１３図）
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、階調変換テーブルを画像の明度平均値に応じて変化させる場合には、高精度の明度平均値検出のための処理が必要である。
また、２つの露光時間で撮影された信号を合成するためには、一つの露光時間での撮影により得られた１画面分の撮像データを記憶するフレームメモリが必要である。
また、２つの露光時間で撮影を行うために、撮像を完了するまでの時間が長いと言う問題があった。さらに、２枚の画像を合成するための信号処理機能を実現する必要があるため、コストが増大する問題もあった。
【０００９】
本発明は上述した課題を解決するためになされたもので、特殊な機構部品や大容量のメモリを必要とせず、また撮像のための時間が短く、ダイナミックレンジが広く、しかも小型でかつ低コストの撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の撮像装置は、
入射する光の量に応じた量の電荷を蓄積し、蓄積画像を形成する蓄積手段と、
前記蓄積手段で蓄積画像を形成する際に、電荷蓄積を複数回に分けて行い、２回目以降の各回の電荷蓄積を、それより前の電荷蓄積よりも高い蓄積飽和量を設定して行わせる飽和量制御手段と、
前記固体撮像素子への光を遮断する遮蔽状態と、前記固体撮像素子への光を通過させる開放状態との間で切り換え可能な絞りと、
前記蓄積飽和量の切り替えに際し、前記絞りを遮蔽状態とする制御手段と
を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、特殊な機構装置や大容量のメモリを用いることなく広いダイナミックレンジを有し、かつ小型で低コストの撮像装置が得られる。
【発明を実施するための最良の形態】
【００１２】
実施の形態１．
図１は本発明の実施の形態１の撮像装置の全体的構成を示すブロック図である。図示の撮像装置は、レンズ１０と、固体撮像素子１１と、アナログ信号処理手段１２と、Ａ／Ｄ変換手段１３と、デジタル信号処理手段１４と、タイミング信号発生手段１５と、ＣＰＵ１６と、表示手段１７とを有する。
【００１３】
レンズ１０は、図示しない被写体からの光を固体撮像素子１１の撮像面に集光する。
固体撮像素子１１は、被写体からの光を光電変換して、その結果得られる電気信号を撮像出力ＳＡとして出力する。
アナログ信号処理手段１２は、撮像出力ＳＡを相関二重サンプリング処理（ＣＤＳ）ならびに自動信号増幅処理（ＡＧＣ）して、その結果を増幅出力ＳＢとして出力する。
【００１４】
Ａ／Ｄ変換手段１３は、アナログの増幅出力ＳＢをデジタル信号に変換し、デジタル出力ＳＣとして出力する。
デジタル信号処理手段１４は、デジタル出力ＳＣに階調変換処理、補間処理、フィルタ処理を施して、後段の信号処理や表示デバイスで利用しやすく信号を加工し、デジタル映像出力ＳＥとして出力する。
タイミング信号発生手段１５は、固体撮像素子１１の制御のための信号、例えば電子シャッタパルスＣＥ、読み取りパルスＣＨ、垂直転送パルスＶＤＰ，水平転送パルスＨＤＰ、蓄積飽和量の制御のための信号ＣＳなどを固体撮像素子１１に供給する。
タイミング信号発生手段１５はさらに、アナログ信号処理手段１２、及びＡ／Ｄ変換手段１３の動作の制御のためのタイミング信号を発生する。
【００１５】
ＣＰＵ１６は、各種演算を実行するとともに、撮像装置の全体を制御する。ＣＰＵ１６は、特に、タイミング信号発生手段１５及びデジタル信号処理手段１４を制御する。
【００１６】
ＣＰＵ１６は、デジタル信号処理手段１４から撮像出力ＳＡに比例した、画素ごとの信号ＳＦを受けて、に基づき被写体の明るさ（最大値、平均値）を検出し、検出結果に基づいて、タイミング信号発生手段１５により、電子シャッタパルスＣＥや読み出しパルスによる蓄積期間（例えば、後述の第１及び第２の蓄積期間）の制御及び飽和量制御信号による蓄積飽和量の制御を行う。
上記の被写体の明るさは、１フレーム（画面）中の最大値や平均値で表される。
平均値を求めるには、画素毎の信号を１フレームにわたって積算し、１フレーム内の画素の数で割る。
なお、１フレーム（画面）を複数個（ｎ×ｍ個（ｎ、ｍは自然数））の領域（窓）に分割し、窓ごとに最大値或いは平均値を検出することとしても良い。窓を構成することにより、撮像画像に最適な蓄積飽和量の制御を行うことができる。
【００１７】
なお、上記した最大値の検出は平均値の計算は、デジタル信号処理手段１４で行うように構成することも可能である。デジタル信号処理手段１４で構成することで、高速に演算が行え、また、ＣＰＵ１６における他の処理の遅延を防ぐことができる。
【００１８】
ＣＰＵ１６における露光制御（ＡＥ）は、実施の形態１で説明したのと同様の機能を持つとともに、デジタル信号処理手段１４からの出力ＳＦに基づいて自動露光制御（ＡＥ）のための計算を行い、計算結果に基づきタイミング信号発生手段１５を制御して電子シャッタパルス群（複数のシャッタパルスφＳＵＢから成るパルス列）ＣＥの発生の期間を制御し、これにより蓄積期間の調整を行うものである。
蓄積期間の制御及び蓄積飽和量の制御については後に詳しく説明する。
【００１９】
以下上記した各部材についてより詳しく説明する。
レンズ１０は、固体撮像素子１１上に被写体の光量を集光する機能を有している。被写体をぼけなく撮像するために、自動的に焦点調整を行う。なお、手動による固定焦点切換構成を有するものでもよく、パンフォーカスによる無調整のレンズを用いることが可能である。さらに、複数枚のレンズを組み合わせ、レンズ間距離を調整する、ズーム機能を有するものを用いることもできる。
【００２０】
固体撮像素子１１は、フォトダイオードのような光電変換素子を２次元的に配列したものであり、被写体からの光を画素ごとに光電変換し、光電変換した出力を所定の駆動方法で読み出すことができる。
【００２１】
タイミング信号発生手段１５は、固体撮像素子１１に、２相の水平ＣＣＤ（ＨＣＣＤ）を駆動するための水平転送パルスＨＤＰ（φＨ１、φＨ２）と、４相の垂直ＣＣＤ（ＶＣＣＤ）を駆動するための垂直転送パルスＶＤＰ（φＶ１、φＶ２、φＶ３、φＶ４）と、画素電荷を読み出すための読み出しパルスと、ＣＣＤの基板から蓄積した画素電荷を排出することにより電子シャッタを実現するための電子シャッタパルス（φＳＵＢ）とを所定の手順で供給する。タイミング信号発生手段１５はまた飽和量制御信号ＣＳを発生する。
タイミング信号発生手段１５から固体撮像素子１１の駆動のために発生される上記の信号やパルスの全体が符号ＰＡで表されている。
【００２２】
タイミング信号発生手段１５はまた、アナログ信号処理手段１２から出力される信号をサンプルホールドするためのサンプルホールドパルスＰＢと、Ａ／Ｄ変換手段１３のためのＡ／Ｄ変換クロックＰＣを出力する。
【００２３】
固体撮像素子１１は、タイミング信号発生手段１５からの上記のような制御信号に応じて動作し、画素電荷の蓄積及び出力などを行う。
【００２４】
固体撮像素子１１は、色フィルタを配置していないモノクロのものであっても良く、原色や補色型の色フィルタを配置したカラー型のものであっても良い。さらにライン型（一次元）の固体撮像素子を用いる構成でもよい。また、本実施の形態Ａでは撮像素子としてＣＣＤ撮像素子を用いるが、これに限るものではなく、例えばＣＭＯＳ型撮像素子や、赤外線検出素子であっても構わない。
【００２５】
さらに、固体撮像素子１１は、前出の２相の水平転送パルスと４相の垂直転送パルスを用いて駆動されるものに限定されず、例えば、３相の垂直転送パルスを用いる固体撮像素子１１を用いることもできる。
【００２６】
アナログ信号処理手段１２は、撮像出力ＳＡをタイミング信号発生手段１５からのサンプルホールドパルスＰＢにより相関二重サンプリング処理（ＣＤＳ）を行い、撮像出力ＳＡに応じて自動利得調整（ＡＧＣ）された利得で増幅して出力する。
【００２７】
Ａ／Ｄ変換部１３は、アナログの増幅出力ＳＢをタイミング信号発生手段１５からのＡ／Ｄ変換クロックＰＣに応じてデジタル変換し、デジタル出力ＳＣとして出力する。デジタル信号の分解能は、一般的な表示機器では、８ビットの分解能があればよいが、後段の信号処理による色分解能改善、階調特性改善、微少なコントラスト検出、ダイナミックレンジ拡大など種々の目的に応じて多ビット化が一般的になっており、１０ビットや１４ビット分解能なども可能である。
【００２８】
デジタル信号処理手段部１４では、ＲＧＢ信号から輝度色差信号（ＹＣｂＣｒ）への変換、ホワイトバランス補正、γ（ガンマ）補正、色補間処理および輪郭強調補正等の画像処理が行われる。
【００２９】
デジタル信号処理手段１４で映像信号処理されることで、表示手段１７において表示可能な映像信号になる。表示手段１７はＬＣＤなどで構成されるものであり、デジタル信号処理手段１４から出力された映像信号を表示する。
【００３０】
固体撮像素子１１は、図２に示すように、複数の光電変換素子列２０を有する光電変換部（センサ部）１９と、それぞれ光電変換素子列２０に対応し、隣接して設けられた複数の垂直転送部（ＶＣＣＤ）２２と、光電変換素子列２０と垂直転送部２２の間に位置する読み出しゲート部２４と、水平転送部２７と、出力増幅器２８とを有する。固体撮像素子１１は例えばＣＣＤ撮像素子で構成される。
【００３１】
各光電変換素子列２０は、撮像画面上の第１の方向、例えば垂直方向に列をなす複数の画素位置に配置され、被写体（図示しない）からの光をレンズ１を介して受けて光電変換を行なう複数の光電変換素子２１を有する。光電変換素子２１は例えばフォトダイオードで構成される。
【００３２】
各垂直転送部２２は、対応する光電変換素子列２０の光電変換素子２１にそれぞれ対応して設けられ、対応する光電変換素子２１で蓄積された電荷が、読み出しゲート部２４のそれぞれの読み出しゲート２５を介して転送され、かつ相互間で垂直方向に電荷の転送を行う複数の転送素子２３から成る。垂直転送部２２は例えばＣＣＤで構成される。
水平転送部２７は、垂直転送部２２で転送され、垂直転送部２２から出力された電荷を受けて、第１の方向と直交する第２の方向、例えば水平方向に転送する。水平転送部２７も例えばＣＣＤで構成される。出力増幅器２８は、水平転送部２７を転送され、水平転送部２７から出力された電荷を増幅して出力する。
【００３３】
光電変換部１９の光電変換素子２３における光電変換によって、光の強さに応じた量の電荷が蓄積され、読み出しパルスＣＨによって、電荷が読み出しゲート部２４を介して垂直転送部２２に電荷信号として取り出され、４相のパルスφＶ１、φＶ２、φＶ３、φＶ４から成る垂直転送パルスＶＤＰによって水平転送部２７の方向へ逐次転送される。水平転送部２７では１ライン分の電荷信号が入るたびに２相のパルスφＨ１、φＨ２から成る水平転送パルスＨＤＰによって水平方向に電荷の転送を行ない、出力増幅器２８で信号電圧に変換して信号を出力する。
【００３４】
本願では簡単のため、垂直転送部２２内の転送を単に「垂直転送」と言い、水平転送部２７内の転送を単に「水平転送」と言うことがある。
【００３５】
上記の垂直転送パルスＶＤＰによって、垂直転送部２２内の電荷を水平転送部２７の方向（図２の垂直転送部２２内の矢印ＦＷの方向に転送することが可能である。
【００３６】
図３は、図２における縦方向に並んだ４画素を拡大して示す図である。符号ＰＸは一つの画素を示す。各画素は、光電変換素子２１、読み出しゲート２５ならびに転送素子２３を備える。本実施の形態Ａでは４相の垂直転送パルスＶＤＰを用いており、１画素あたり４個の電極２６ａ〜２６ｄが設けられている。光電変換素子２１にて光電変換されて蓄積された電荷は、読み出しゲート２５を介して転送素子２３に読み出される。以下に述べるように、４相の垂直転送パルスＶＤＰの電圧を所定の時系列で変化させることにより、垂直転送部２２内の電荷を転送することができる。
【００３７】
図２及び図３に示される、固体撮像素子１１の垂直転送部２２内の電荷を順方向に転送する具体的な手法を、垂直転送パルスＶＤＰの電位変化のタイミングチャートである図４および図５を用いて説明する。図４は、各電極の垂直転送パルスＶＤＰの４相のパルスφＶｉ（ｉ＝１、２、３、４）のタイミングチャートであり、横軸に時刻を、縦軸に４つの電極２６ａ〜２６ｄに与えられる電位を並べて示している。図５は、図４に示す垂直転送パルスＶＤＰを各電極に与えた時の、電荷移動の様子を示す図である。図５において、横軸は垂直転送部２２の転送素子２３の電極２６ａ〜２６ｄの位置を示し、縦軸には各電極の電子のポテンシャルエネルギーφｉ（＝−ｅφＶｉ）と電荷ＱＣの分布の経時変化（異なる時刻ｔ＝ａ１乃至ａ９における電荷分布）が示してある。
【００３８】
次に動作を説明する。図４において、時刻ａ１では電極２６ｂの電位φＶ２と電極２６ｃの電位φＶ３が＋Ｖであり、電極２６ａの電位φＶ１と電極２６ｄの電位φＶ４を０Ｖであるため、図５に示すように、電極２６ｂと電極２６ｃに電位井戸が形成されて電荷ＱＣが蓄積される。次に時刻ａ２にて電極２６ｄにバイアス電圧＋Ｖを印加すると、電極２６ｂと電極２６ｃにあった電荷ＱＣは、電極２６ｂから電極２６ｄに拡散する。次に時刻ａ３にて電極２６ｂを無バイアスにすると、電荷ＱＣは電極２６ｃから電極２６ｄに収束し、結果として、時刻ａ１からａ３において、電荷ＱＣは順方向（図５において右方向）へ１電極分だけ移動したことになる。
【００３９】
時刻ａ４では電極２６ａにバイアス電圧＋Ｖを印加し、時刻ａ５で電極２６ｃを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向に移動する。時刻ａ６では電極２６ｂにバイアス電圧＋Ｖを印加し、時刻ａ７で電極２６ｄを無バイアスにすることにより、電荷ＱＣはさらに１つの電極分だけ順方向へ移動する。時刻ａ８では電極２６ｃにバイアス電圧＋Ｖを印加し、時刻ａ９で電極２６ａを無バイアスにすることにより時刻ａ１の状態と同じになる。すなわち、時刻ａ１から時刻ａ９において、１画素分電荷ＱＣを順方向へ移動したことになる。
【００４０】
本実施の形態においては、上述したように、電荷の拡散ステップ後に収束ステップを行ない、これを繰り返すことで電荷の転送を実現しているが、拡散と収束のステップを同時に行なっても電荷の転送は可能である。例えば、図５の時刻ａ２の拡散と時刻ａ３の収束を同時に行なう、すなわち電極２６ｄへのバイアス電圧印加と電極２６ｂの無バイアス化を同時に行なうことによっても同様の電荷の転送は達成できる。あるいは、図５において時刻ａ３の収束と時刻ａ４の拡散を同時に行なっても、同様に電荷の転送が可能である。
【００４１】
ここで、各垂直転送素子２３の１相目と３相目の転送電極２６ａ、２６ｃは、読み出しゲート２５のゲート電極を兼ねる構成とされている。そして、４相の垂直転送クロックφＶ１〜φＶ４のうち、１相目の転送クロックφＶ１と３相目の転送クロックφＶ３が、低レベル（以下、「ＶＬ」レベルと言う）、中間レベル（以下、「ＶＭ」レベルと言う）、及び高レベル（以下、「ＶＨ」レベルと言う）の３値を取るように設定され、そのうちの最も高い「ＶＨ」レベルのパルスが読み出しゲート２５の読み出しゲートパルスＣＨである。
【００４２】
上述した光電変換部１９、垂直転送部２２、読み出しゲート部２４、水平転送部２７及び出力増幅部２８は、図２に示すように、半導体基板１８上に形成され、これらにより、インターライン転送方式のＣＣＤ撮像素子１１が構成されている。
【００４３】
タイミング信号発生手段１５が発生する上記した飽和量制御信号ＣＳは、基板バイアス発生回路３０に供給され、基板バイアス発生回路３０は、飽和量制御信号ＣＳに基づいて基板バイアス電圧Ｖｓｕｂを発生する。
【００４４】
基板バイアス電圧Ｖｓｕｂは、ダイオード３３を介し、さらに端子３１を介して基板１８に印加され、この基板バイアスＶｓｕｂの電圧値により、ＣＣＤ撮像素子１１の光電変換部１９の各光電変換素子２１の蓄積飽和量が決まる。
【００４５】
一方、タイミング信号発生手段１５で発生されるシャッタパルスφＳＵＢは、コンデンサ３２で直流分が遮断された後、端子３１を介して基板１８に印加される。端子３１とグランドとの間には抵抗３４が接続されている。なお、ダイオード３３は、シャッタパルスφＳＵＢの「Ｌ」レベルを基板バイアスＶｓｕｂの直流レベルにクランプする作用をなす。
【００４６】
この基板バイアス発生回路３０は、飽和量制御信号ＣＳに応じて基板バイアスＶｓｕｂの電圧値を変えることで、光電変換部１９の蓄積飽和量を複数段階に、例えば２段階に切り換える。
２段階に切り換える場合には、例えば、飽和量制御信号ＣＳが「Ｌ」レベルのときは、蓄積飽和量ＶＯＤが第１の値ＶＯＤ１となり、飽和量制御信号ＣＳが「Ｈ」レベルのときは、蓄積飽和量ＶＯＤが第２の値ＶＯＤ２（＞ＶＯＤ１）となる。
【００４７】
図６（ａ）及び（ｂ）は、本発明の撮像素子内部の電位分布図である。図６（ａ）及び（ｂ）において、符号ＰＴＨで示す範囲は、基板１８の深さ方向の電位の変化を示し、符号ＳＦＣで示す範囲は、基板１８の表面に沿う方向の電位の変化を示す。図６（ａ）は電荷蓄積時の電位を示し、図６（ｂ）は電荷読み出し時の電位を示す。
【００４８】
電荷蓄積時には、図６（ａ）に示すように垂直転送素子２３の１相目と３相目の転送電極２６ａ、２６ｃ（読み出しゲート２５の電極を兼ねている）に印加される垂直転送パルスφＶ１、φＶ３が「ＶＭ」又は「ＶＬ」レベルに維持されている。この結果、垂直転送素子２３（１相目と３相目の転送電極２６ａ、２６ｃの部分）の電位はΨＶＣＣＤｍ又はΨＶＣＣＤｈになっている。このとき光電変換素子（フォトダイオード）２１の電位ΨＰＤと垂直転送素子２３の電位ΨＶＣＣＤｍ又はΨＶＣＣＤｌの間に読出し電位ΨＣＨｍ又はΨＣＨｌによるバリアが存在し、フォトダイオード２１から垂直転送素子２３へ電荷が漏れ出さないようになっている。
【００４９】
また、フォトダイオード２１と基板１８間にも、基板１８の電位Ｖｓｕｂに応じたオーバフロードレインバリア電位ΨＶＯＤが形成される。このオーバフローバリア電位ΨＶＯＤで飽和蓄積量が決められる。
【００５０】
従って、基板１８に印加される電位Ｖｓｕｂを変更することで、蓄積飽和量を変更することができる。例えば、基板に印加される電位Ｖｓｕｂを２段階に切換えることで、飽和蓄積量を２段階に切り換えることができる。先に述べた飽和量制御信号ＣＳはこの蓄積飽和量の切換えのため、基板１８に印加される電位Ｖｓｕｂの切り換えるために用いられる。
【００５１】
読み出し時には、図６（ｂ）に示すように、垂直転送素子２３の電極２６ａ、２６ｃに電圧ＶＨを印加することで、垂直転送素子２３（１相目と３相目の転送電極２６ａ、２６ｃの部分）の電位はΨＶＣＣＤｈなり、電荷読出しゲート電位がΨＣＨｈとなり、フォトダイオード電位ΨＰＤより高くなるため、信号電荷は、垂直転送素子２３に移される。
読み出しの後で、垂直転送素子２３の電極２６ａ、２６ｃに印加される電圧を「ＶＭ」又は「ＶＬ」レベルに戻すことで、破線で示す電位分布になるため、電荷の読出しが終了する。
【００５２】
以下、フォトダイオード２１における電荷蓄積を２回に分けて行い、１回目の電荷蓄積の際に第１の蓄積飽和量を設定し、１回目の電荷蓄積（第１の電荷蓄積）で蓄積された電荷をそのままフォトダイオード２１に保持し、２回目の電荷蓄積の際に第１の蓄積飽和量よりも多い第２の蓄積飽和量を設定し、２回目の電荷蓄積（第２の電荷蓄積）が終わった時点でフォトダイオード２１に蓄積されている電荷を読み出す処理について図７（ａ）〜（ｃ）を参照して説明する。
ここで、第２の電荷蓄積を行う第２の蓄積期間が第１の電荷蓄積を行う第１の蓄積期間よりも短い場合を想定する。
蓄積飽和量は例えば対応する信号の電圧値で表され、一例として第１の蓄積飽和量が２２０ｍＶ、第２の蓄積飽和量が固体撮像素子１１の規格上の信号飽和量（フォトダイオード２１で蓄積可能であり、かつ垂直転送部２２及び水平転送部２７で転送可能な最大の信号量）である、５００ｍＶに設定されている。第１の蓄積飽和量は、固体撮像素子１１の規格上の飽和信号量（５００ｍＶ）の半分以下とするのが望ましい。
【００５３】
図７（ａ）は、フォトダイオード２１における、第１の蓄積期間の電位分布を示し、図７（ｂ）は、フォトダイオード２１における第２の蓄積期間の電位分布を示し、図７（ｃ）は、第２の蓄積期間に蓄積された電荷を垂直転送素子２３に読み出す際の電位分布を示す。
【００５４】
図７（ａ）では、基板１８に印加される信号の電位が第１の値Ｖｓｕｂ１であり、その結果オーバーフローバリア電位ΨＶＯＤが第１の値ΨＶＯＤ１となっている。これに対し、図７（ｂ）では、基板１８に印加される電位が上記第１の値Ｖｓｕｂ１よりも低い第２の値Ｖｓｕｂ２であり、その結果オーバーフローバリア電位ΨＶＯＤが上記第１の値ΨＶＯＤ１よりも高い第２の値ΨＶＯＤ２となっている。
上記のように蓄積飽和量を対応する信号の電圧値で表すと、オーバーフローバリア電位の第１の値ΨＶＯＤ１が第１の蓄積飽和量２２０ｍＶに対応し、第２の値ΨＶＯＤ２が第２の蓄積飽和量５００ｍＶに対応する。
【００５５】
図７（ａ）に示されるように第１の電荷蓄積期間に第１の蓄積飽和量の範囲内で蓄積された電荷Ｑ１は、図７（ｂ）に示されるように第２の電荷蓄積期間にもそのままフォトダイオード２１に保持され、第２の電荷蓄積期間には、電荷Ｑ１に上乗せする形で電荷Ｑ２の蓄積が続けられる。
図７（ａ）に示される第１の電荷蓄積の際、第１の蓄積飽和量ＶＯＤ１を超える電荷は基板１８に排出される（オーバーフローする）ので、蓄積電荷量Ｑ１は第１の蓄積飽和量ＶＯＤ１以下に制限される。図７（ｂ）に示される第２の電荷蓄積の際、第２の蓄積飽和量ＶＯＤ２を超える電荷は基板１８に排出されるので、蓄積電荷量Ｑ２は第２の蓄積飽和量ＶＯＤ２以下に制限される。
第２の蓄積飽和量が第１の蓄積飽和量よりも多いので、第１の電荷蓄積期間において第１の蓄積飽和量に達していた場合にも、第２の電荷蓄積期間にはさらに蓄積電荷が増加する。第２の電荷蓄積期間が終わると、図７（ｃ）に示されるように蓄積された電荷（Ｑ１＋Ｑ２）が、垂直転送素子２３に読み出される。
このようにして、第１の電荷蓄積期間に蓄積された電荷と第２の電荷蓄積期間に蓄積された電荷がフォトダイオード内で加算乃至合成される。
【００５６】
図８は、実施の形態１で用いられる電荷蓄積及びその制御を行うための構成要素を機能ブロック図で表したものである。
図８の蓄積手段６１は、図１に示される固体撮像素子１１、特にその光電変換部１９（図２）で構成される。
【００５７】
レンズ１０によって被写体の光像が固体撮像素子１１の撮像面に形成され、光電変換部１９で構成される蓄積手段６１が、光像の各画素における光量に応じた電荷量を蓄積し、蓄積電荷出力ＳＸを出力する。
合成制御手段６５は、図１のＣＰＵ１６とタイミング信号発生手段１５で構成されるものであり、蓄積手段６１の動作のタイミングの制御や、蓄積飽和量の制御などを行う。
【００５８】
合成制御手段６５は、上記した、固体撮像素子１１（蓄積手段６１）における電荷の合成を制御するものであり、飽和量制御手段６６と、タイミング制御手段６７と、露光時間制御手段６８とで構成されている。このうち、飽和量制御手段６６は、蓄積手段６１における蓄積飽和量ＶＯＤを飽和量制御信号ＣＳで制御する。即ち、基板１８に印加される電圧Ｖｓｕｂを第１の値Ｖｓｕｂ１又は第２の値Ｖｓｕｂ２に切り換えることでフォトダイオード２１の蓄積飽和量ＶＯＤを第１の値ＶＯＤ１又は第２の値ＶＯＤ２に切り換える。この際、デジタル信号処理手段１４から撮像出力ＳＡに対応した信号ＳＦを検出した結果をもとに、第１の値Ｖｓｕｂ１及び第２の値Ｖｓｕｂ２の各々を調整することとしても良い。
【００５９】
タイミング制御手段６７は、フォトダイオード２１からの読出しのタイミングを、読み出しパルスＣＨで制御するものである。具体的には、垂直転送素子２３の１相目及び３相目の電極２６ａ、２６ｃに印加される電圧を「ＶＨ」レベルにすることで、読み出しを行い、読み出し後に「ＶＭ」又は「ＶＬ」レベルに戻す。
なお、タイミング制御手段６７はさらに、垂直転送部２２及び水平転送部２７における転送のタイミングを制御する。即ち、上記のような電荷の読み出しの処理を実施した後、図３〜図５を参照して説明したように、垂直転送部２２の電極２６ａ〜２６ｅに印加される電圧を所定の順序で「ＶＭ」レベルと「ＶＬ」レベルに所定の順序で切り換えることで垂直転送を行い、垂直転送により水平転送部２７に転送された電荷の水平転送を行う。
【００６０】
シャッタパルス発生手段６８は、シャッタパルス群ＣＥの発生により、蓄積手段６１における蓄積期間を調整する。
【００６１】
以下、図９から図１６を参照して、電荷蓄積処理の具体例につき説明する。
図９は、本発明の電荷蓄積を説明するための、８００×６００画素の撮像データの一例を示し、図１０は、図９中の二点鎖線（ｙ座標＝３００）で示される水平ラインに沿う撮像出力を示す。図９において、符号Ｇｄで示す矩形の部分が暗い部分（暗部）であり、この暗部Ｇｂに対応する図１０中のｘ座標２００からｘ座標３００まで、かつｙ座標２５０からｙ座標３５０までの範囲では、信号レベルが２０ｍＶであり、図９において符号Ｇｂで示す矩形の部分が明るい部分（明部）であり、この明部Ｇｂに対応する図１０中のｘ座標５００からｘ座標６００まで、かつｙ座標２５０からｙ座標３５０までの範囲では、信号レベルが４８０ｍＶであり、暗部Ｇｄ及び明部Ｇｂ以外の部分Ｇｇは、中程度の明るさを有し、信号レベルが４０ｍＶである。
【００６２】
図１１（ａ）〜（ｈ）は、実施の形態１の撮像装置の動作を示すため、図１及び図８に示される各信号、電荷量などの変化を表したタイミングチャートである。
【００６３】
図１１（ａ）は、シャッタボタンが押された時点Ｔｏｎを示す。
図１１（ｂ）の符号ＶＤは垂直同期信号であり、通常所定の期間毎に発生される。一つの垂直同期信号から次の垂直同期信号までがフレーム期間である。図１１には、２つのフレーム期間、即ち第１のフレーム期間ＦＲ０及び第２のフレーム期間ＦＲ１が示されている。
第１のフレーム期間ＦＲ０は、シャッタボタンの押下による静止画取込み指令に備えて待機するフレーム期間であり、第２のフレーム期間ＦＲ１が本撮像のための電荷蓄積を行うフレーム期間である。第１のフレーム期間ＦＲ０は、後述の理由で明るさ検出のための予備撮像のための期間とも呼ばれる。
【００６４】
図１１（ｃ）及び（ｄ）は、それぞれ暗部Ｇｄ及び明部Ｇｂ内の蓄積手段６１（フォトダイオード２１）において蓄積される電荷ＳＸｄ（ｔ）、ＳＸｂ（ｔ）を示す。
図１１（ｅ）は、飽和量制御信号ＣＳを示し、図１１（ｆ）は、読み出しパルスＣＨを示す。図１１（ｇ）は、垂直転送のタイミングを示している。図１１（ｈ）は、シャッタパルス群ＣＥの発生期間を示す。シャッタパルスは、蓄積期間を調整するために発生されるものである。図１１に示す例では、第１及び第２の蓄積期間の長さを、シャッタパルスにより調整（短縮）している。
【００６５】
第１のフレーム期間ＦＲ０においては、撮像装置は待機状態にあり、飽和量制御信号ＣＳが「Ｈ」レベルに設定され、蓄積飽和量ＶＯＤが第２の値ＶＯＤ２に設定され、所定の期間（ｔ０ａ〜ｔ０ｂ）、すなわちシャッタパルス群ＣＥの発生の終了の時刻ｔ０ａから読み出しパルスＣＨの発生までの期間だけ電荷蓄積を行い、その結果得られた撮像出力（デジタル信号処理手段１５の出力ＳＦ）に基づいて、表示手段１７で表示を行い、ＣＰＵ１６で明るさの検出（平均値、最大値の検出）などを行う。
電荷蓄積期間の開始時刻ｔ０ａまでにフォトダイオード２１に発生される電荷は、シャッタパルス群ＣＥにより基板１８に排出される。電荷蓄積期間の終了時刻ｔ０ｂに読み出しパルスＣＨを発生し、時刻ｔ０ａから時刻ｔ０ｂまでの期間にフォトダイオード２１に蓄積された電荷を垂直転送部２２に読み出し（ＶＴｎ）、垂直転送ＶＴを行い、さらに水平転送を行って読み出す。
時刻ｔ０ａから時刻ｔ０ｂまでの蓄積期間の長さは、想定される被写体の最も明るい部分でも蓄積飽和量ＶＯＤ２に達しないように十分短く、かつその範囲でできるだけ長い値となるように定められる。
【００６６】
図１０に示される撮像出力（平均が４８．７５ｍＶ）は明るさ検出のためのフレーム期間ＦＲ０における時刻ｔ０ａから時刻ｔ０ｂまでの蓄積期間での電荷蓄積の結果得られたものである。
第１のフレーム期間ＦＲ０における撮像の結果検出された被写体の明るさに基づいて、第１のフレーム期間ＦＲ１における第１及び第２の蓄積期間の長さが決められる。決め方の詳細については後述する。
【００６７】
第２のフレーム期間ＦＲ１の先頭の垂直同期信号ＶＤの立ち上がりの後の時刻ｔ１ａに、シャッタパルス群ＣＥの発生が開始され、時刻ｔ１ａでシャッタパルスの発生が終了する。シャッタパルス群ＣＥが発生されている限り、フォトダイオード２１で発生された電荷は基板１８に排出されてフォトダイオード２１内には蓄積されない。シャッタパルスの発生が終了すると（ｔ１ａ）、その時電荷蓄積（第１の電荷蓄積）が開始され、電荷蓄積は時刻ｔ１ｄまで続けられる。
なお、シャッタパルス群ＣＥは、垂直同期信号ＶＤの立ち上がり後直ちに発生を開始せず、電荷蓄積が開始されるべき時刻ｔ１ａの直前のみ発生するようにしても良い。
第１の電荷蓄積の開始（ｔ１ａ）と略同時に飽和量制御信号ＣＳが「Ｌ」レベルに設定され、その結果蓄積飽和量が第１の値ＶＯＤ１に設定される。
【００６８】
時刻ｔ１ａにおいて、フォトダイオード２１で電荷の蓄積が開始され、時刻ｔ１ｄまで蓄積が継続される。
図示のように、第１の蓄積飽和量ＶＯＤ１が比較的低く設定されており、明部Ｇｂのフォトダイオード２１における蓄積電荷量は、時刻ｔ１ｂで第１の蓄積飽和量ＶＯＤ１に達し、その後第１の蓄積期間の終了まで蓄積電荷量は蓄積飽和量に維持される。即ち時刻ｔ１ｄにおける蓄積電荷量ＳＸｂ（ｔ１ｄ）は、時刻ｔ１ｂにおける蓄積電荷量ＳＸｂ（ｔ１ｂ）に等しい。一方、暗部Ｇｄのフォトダイオード２１における蓄積電荷量は、第１の蓄積飽和量ＶＯＤ１に達せず、時刻ｔ１ｄまでゆっくりと上昇を続ける。暗部Ｇｄのフォトダイオード２１における、第１の蓄積期間の終了時（ｔ１ｄ）の電荷はＳＸｄ（ｔ１ｄ）で表される。
【００６９】
時刻ｔ１ｄで飽和量制御信号ＣＳが「Ｈ」レベルに設定され、蓄積飽和量ＶＯＤが、第１の値ＶＯＤ１よりも大きい第２の値ＶＯＤ２に設定される。これにより、第２の電荷蓄積が開始され、電荷蓄積は時刻ｔ１ｆまで続けられる。
第２の蓄積期間（ｔ１ｄからｔ１ｆまで）は、第１の蓄積期間（ｔ１ａからｔ１ｄまで）よりも短く設定される。図１１では、第２の蓄積期間が第１の蓄積期間の１／２程度に描かれているが、実際には例えば１／１０程度に定められる。
【００７０】
明部Ｇｂのフォトダイオード２１においても、蓄積期間の終了時（ｔ１ｆ）までに蓄積電荷量が第２の蓄積飽和量ＶＯＤ２に達しないように、第２の蓄積期間が十分短く及び／又は第２の蓄積飽和量ＶＯＤ２が十分大きく定められる。
【００７１】
時刻ｔ１ｆにおいて、フォトダイオード２１の蓄積電荷ＳＸｄ（ｔ１ｆ）、ＳＸｂ（ｔ１ｆ）がそれぞれ読み出しパルスＣＨにより対応する垂直転送素子２３に読み出される。垂直転送素子２３に読み出された電荷はＳＹｄ（ｔ１ｆ）、ＳＹｂ（ｔ１ｆ）で表され、これらはフォトダイオード２１の蓄積電荷ＳＸｄ（ｔ１ｆ）、ＳＸｂ（ｔ１ｆ）に等しい。
【００７２】
読み出された電荷ＳＹｄ（ｔ１ｆ）、ＳＹｂ（ｔ１ｆ）は直ちに（遅くとも次のフレームにおける電荷読み出しまでに）垂直転送部２２内を垂直転送されて（ＶＴ）、水平転送部２７に送られ、垂直転送が終わると、垂直転送部２２は初期化される（ＳＹｄ、ＳＹｂがすべてゼロにされる）。
第２のフレームの次のフレームでは待機状態に戻り、第１のフレームＦＲ０と同様の処理が行われる。
【００７３】
このように、飽和量制御手段６６で、基板バイアス電位Ｖｓｕｂを制御することによりフォトダイオード２１の蓄積飽和量を調整し、またシャッタパルス発生手段６８でシャッタパルス群ＣＥの発生の終了のタイミングを制御し、タイミング制御手段６７で読み出しタイミングを制御することにより電荷蓄積期間の長さを調整し、暗部Ｇｄのフォトダイオード２１における蓄積電荷を抑制せず、明部Ｇｂのフォトダイオード２１の蓄積電荷量を抑制することができる。
【００７４】
以下、この点につき図１２を参照してさらに説明する。図１２は、フォトダイオード２１において蓄積される電荷の量の変化を示す。横軸が時間であり、縦軸が電荷量（に対応する電圧）を示す。横軸の時刻を表す符号は図１１の符号と対応し、図１２には、図１１で時刻ｔ１ａからｔ１ｆまでの時間に相当する部分が示されている。
【００７５】
図１２に示す例では、第１の蓄積飽和量ＶＯＤ１が２２０ｍＶ、第２の蓄積飽和量ＶＯＤ２が５００ｍＶ（固体撮像素子１１の規格上の信号飽和量）に設定されている。但し、図１２には、図示の都合でＶＯＤ１とＶＯＤ２の違いをより大きいものとして描いている。
時刻ｔ１ａにおいて、第１の電荷蓄積が開始され、明部Ｇｂ及び暗部Ｇｄのフォトダイオード２１における蓄積電荷量ＳＸｂ（ｔ）、ＳＸｄ（ｔ）が上昇を開始する。明部Ｇｂのフォトダイオード２１における蓄積電荷量ＳＸｂ（ｔ）の上昇は急であり、時刻ｔ１ｂにおいて、第１の蓄積飽和量ＶＯＤ１に達し、その後、蓄積電荷量ＳＸｂ（ｔ）は、第１の蓄積飽和量ＶＯＤ１に維持される。一方、暗部Ｇｄのフォトダイオード２１における蓄積電荷量ＳＸｄ（ｔ）の上昇は緩やかであり、第１の蓄積飽和量ＶＯＤ１に達することなく、蓄積期間の終了時ｔ１ｄにＳＸｄ（ｔ１ｄ）に達する。
時刻ｔ１ｄにおいて蓄積飽和量が第２の値ＶＯＤ２に切り換えられると、第２の電荷蓄積が開始され、明部Ｇｂのフォトダイオード２１における蓄積電荷量ＳＸｂ（ｔ）が再び上昇を開始する。一方暗部Ｇｄのフォトダイオード２１はそれ以前と同じように蓄積電荷量ＳＸｄ（ｔ）の上昇が続く。蓄積期間の終了（ｔ１ｆ）までの期間が十分に短く、及び／又は第２の飽和蓄積量ＶＯＤ２が十分に高いと言う条件が満たされる限り、明部Ｇｂの画素２１においても、電荷蓄積量ＳＸｂ（ｔ）が第２の蓄積飽和量ＶＯＤ２に達することなく、蓄積期間の終了時における明部Ｇｂ及び暗部Ｇｄのフォトダイオード２１の蓄積電荷量はそれぞれＳＸｂ（ｔ１ｆ）、ＳＸｄ（ｔ１ｆ）となる。
【００７６】
時刻ｔ１ｆに読み出しが行われると、フォトダイオード２１の電荷は垂直転送素子２３に移され、垂直転送される。時刻ｔ１ｆの読み出しにより、フォトダイオード２１内の電荷はゼロになる。
【００７７】
図１３〜図１５は、蓄積電荷の数値例を示すもので、横軸は図１０の横軸に対応している。
図１３は、第１の蓄積期間中にフォトダイオード２１で発生され、蓄積される電荷（発生された電荷のうちのオーバーフローするものを除く）の量を示す。暗部Ｇｄ，明部Ｇｂ，中間部Ｇｇの蓄積電荷量がそれぞれ８２ｍＶ、２２０ｍＶ、１６４ｍＶとなっている。
図１４は、第２の蓄積期間中にフォトダイオード２１で発生され、蓄積される電荷の量を示す。暗部Ｇｄ，明部Ｇｂ，中間部Ｇｇの蓄積電荷量がそれぞれ１０ｍＶ、２４０ｍＶ、２０ｍＶとなっている。
図１５は、第２の蓄積期間の終了時にフォトダイオード２１に蓄積されている電荷の量、即ち、第１の蓄積期間中に蓄積された電荷の量と第２の蓄積期間中に蓄積された電荷の量の合計を示す。暗部Ｇｄ，明部Ｇｂ，中間部Ｇｇのフォトダイオード２１における第２の蓄積期間の終了時の蓄積る電荷量がそれぞれ９２ｍＶ、４６０ｍＶ、１８４ｍＶとなっている。図１５のうち、斜線を施した部分は、第２の蓄積期間中に蓄積された電荷量に相当する成分である。
【００７８】
第１の蓄積期間に蓄積された電荷に上乗せする形で第２の蓄積期間中に電荷を蓄積することで、第１の蓄積期間に発生され蓄積される電荷と第２の蓄積期間に発生され蓄積される電荷を合成し、これにより図１５に示す電荷信号を得ることができる。
【００７９】
次に図１６を参照して、上記の実施の形態の効果を説明する。図１６（ａ）は、第１の蓄積期間に発生され蓄積された電荷による画像を示す。図示のように、この画像では、明るい部分、即ち窓ＷＤの外の景色（符号ＤＳで示される部分）が白つぶれしている。図１６（ｂ）は、第２の蓄積期間に発生され蓄積された電荷による画像（仮に第２の蓄積期間に発生され蓄積された電荷を（第１の蓄積期間に蓄積された電荷から分離して取り出したと仮定した場合に得られる画像）を示す。図示のようにこの画像では、明るい部分、即ち窓ＷＤの外の景色ＤＳは鮮明に再現されているが、暗い部分、即ち室内の人物ＨＢなどは、黒潰れに近い状態になっている。図１６（ｃ）は、第１の蓄積期間に発生され蓄積された電荷と第２の蓄積期間に発生され蓄積された電荷とを合成することにより得られる画像を示す。図１６（ｃ）の画像は、図１６（ａ）に示される画像と図１６（ｂ）に示される画像とを合成したものである。図１６（ｃ）に示されるように、明るい部分ＤＳも暗い部分ＨＤもともに鮮明に再現されている。即ち、合成によりダイナミックレンジが拡大される。
【００８０】
以上のように、第１の蓄積期間と第２の蓄積期間に分けて電荷蓄積を行う場合、各画素について、被写体の明るさＢＲと、光電変換素子２１で発生される電荷（発生電荷）ＱＧ及び光電変換素子２１から読み出される電荷（読み出し電荷）ＱＲの関係は、図１７に示すようになる。発生電荷ＱＧは、被写体の明るさのすべての範囲において、被写体の明るさに比例するものとしている。
図示のように、被写体の明るさＢＲが比較的小さい範囲、即ち閾値ＢＲｔ以下では、オーバーフローが起きないので、読み出し電荷ＱＲは、発生電荷ＱＧに等しいが、被写体の明るさＢＲが比較的大きい範囲、即ち閾値ＢＲｔよりも大きい範囲では、読み出し電荷ＱＲは発生電荷ＱＧよりも小さくなる。
閾値ＢＲｔは、発生電荷が第１の蓄積期間及び第２の蓄積期間の少なくとも一方において蓄積飽和量に達する点（被写体の明るさ）である。
図１７に示すように、被写体の明るさＢＲが比較的小さい範囲では、被写体の明るさＢＲの変化に対する読み出し電荷ＱＲの変化の比（傾き）が比較的大きく、被写体の明るさＢＲが比較的大きい範囲では、被写体の明るさＢＲの変化に対する読み出し電荷ＯＲの変化の比が比較的小さいので、被写体の暗部の輝度差が鮮明に再現される一方、被写体の明るい部分も白つぶれを起こすことなく、再現される。
【００８１】
上記のように本実施の形態においては、本撮像のための電荷蓄積を行う期間（第２のフレーム期間ＦＲ１）における、第１及び第２の蓄積期間は、シャッタパルス群ＣＥの発生の終了の時点及び読み出しパルスＣＨの発生のタイミングで決められる。第１及び第２の蓄積期間の長さの決定は、検出された被写体の明るさ、例えば画素毎の電荷信号の画面全体にわたる平均値や画素毎の電荷信号の画面中の最大値などに基づいて行われる。
画素毎の電荷信号の画面全体にわたる平均値は、デジタル信号処理手段１４の出力ＳＦ（固体撮像素子１１の出力ＳＡに対応する）の画面全体にわたる積算値を画素の数で割ることにより得られる。
本実施の形態では、本撮像のための電荷蓄積を行うフレーム（例えばＦＲ１）の第１及び第２の蓄積期間の長さを、１フレーム前（明るさ検出のためのフレーム期間、例えばＦＲ０）の予備撮像の結果得られた出力ＳＦに基づいて行う。
上記のように、明るさ検出のための予備撮像においては、電荷蓄積は、２回に分けて行われず、例えば比較的短い蓄積期間で行われる。図１０に示される撮像出力（平均が４８．７５ｍＶ）はそのような短い蓄積期間で得られたものである。
【００８２】
以下、図１１のフレームＦＲ１の一つ前のフレームＦＲ０の撮像の結果得られる出力ＳＦに基づいてフレームＦＲ１の第２の電荷蓄積の時間を定める場合を例にして説明する。
【００８３】
図１８は上記の第１及び第２の蓄積期間の長さの決定を含む上記の合成処理を行う際のＣＰＵ１６などの動作を示すフローチャートである。図１９は、図１８における検出処理（Ｓｔ１）を示すフローチャートである。
【００８４】
以下、図１８及び図１９を参照して説明する。固体撮像素子１１は、予備撮像のためのフレーム期間（例えば図１１のＦＲ０）に被写体を撮像し、撮像の結果得られる撮像出力ＳＡがアナログ信号処理手段１２、及びＡ／Ｄ変換手段１３を介してデジタル信号処理手段１４に供給され、デジタル信号処理手段１４からは、撮像出力ＳＡに対応（例えば比例）した信号ＳＦが出力される。ＣＰＵ１６は、信号ＳＦの平均値、最大値などを検出する（Ｓｔ１）。
検出処理（Ｓｔ１）の詳細は図１９に示されている。被写体が図９に示されるものである場合を想定すると、撮像画像の輝度に対応した撮像出力ＳＦ（又はＳＡ）の最大値Ｖｍａｘとして４８０ｍＶが検出される（図１９のＳｔａ１）。次に、信号ＳＦの平均値Ｖａｐｌを算出する（Ｓｔａ２）。
【００８５】
図９に示す例では、撮像出力ＳＦが２０ｍＶの暗部Ｇｄ、撮像出力ＳＦが４８０ｍＶの明部Ｇｂの面積がともに、１００×１００＝１００００画素であり、
撮像出力ＳＦが４０ｍＶの中間部Ｇｇの面積が
８００×６００−（１００×１００）×２＝４６００００画素であるので、
平均値Ｖａｐｌは、
Ｖａｐｌ＝（２０×１００００＋４８０×１００００＋４０×４６００００）／（８００×６００）＝４８．７５
となる（Ｓｔａ２）。
【００８６】
次に、計算処理（Ｓｔ２）では、ＳＴｂ１のステップで先ほどもとめた最大値Ｖｍａｘ及び平均値Ｖａｐｌ、並びに予備撮像における蓄積期間Ｌ０及び本撮像の際の第１の蓄積期間Ｌ１、第１の飽和値（ＶＯＤ１＝２２０ｍＶ）及び第２の飽和値（ＶＤＯ２＝５００ｍＶ）に基づいて、本撮像の際の第１及び第２の蓄積期間Ｌ１及びＬ２のそれぞれの最大値Ｌ１ｍ及びＬ２ｍを、下記の式（３Ａ）、（３Ｂ）によって求める。
Ｌ１ｍ＝Ｌ０×（ＶＯＤ１／Ｖａｐｌ）      …（３Ａ）
Ｌ２ｍ＝Ｌ０×（ＶＯＤ２−ＶＯＤ１）／Ｖｍａｘ      …（３Ｂ）
或いは
Ｌ２ｍ＝Ｌ１ｍ×｛（ＶＯＤ２−ＶＯＤ１）×Ｖａｐｌ｝／（ＶＯＤ１×Ｖｍａｘ）
…（３Ｃ）
上記の例では、ＶＯＤ１＝２２０ｍＶ、ＶＯＤ２＝５００ｍＶ、Ｖａｐｌ＝４８．７５ｍ、Ｖｍａｘ＝４８０ｍＶであるので、
Ｌ１ｍ＝Ｌ０×４．５
Ｌ２ｍ＝Ｌ０／１．７１＝Ｌ１／７．７
即ち、最大値Ｌ１ｍは、Ｌ０の４．５倍、最大値Ｌ２ｍはＬ１の７．７分の１である。
Ｌ１は、余裕を持たせるため、Ｌ１ｍよりも若干低い値、例えばその０．９倍前後とする。
図１３乃至図１５に示した例では、４．１倍（Ｌ１ｍの０．９１倍）としている。
Ｌ２は、余裕を持たせるため、Ｌ２ｍよりも若干小さい値、例えば０．９倍前後（例えば０．８５乃至０．９５倍）の値とする。
図１３乃至図１５に示した例では、Ｌ０の２分の１（Ｌ２ｍの０．８６倍）、Ｌ１の８．２分の１としている。
【００８７】
以下、式（３Ａ），（３Ｂ）によりＬ１ｍ、Ｌ２ｍを求めるのが妥当である理由を説明する。
図２０は、図１２と類似であるが、それぞれ予備撮像の時間Ｌ０の経過時、本撮像の際の第１の蓄積期間を仮想的に延ばした期間（最長の蓄積期間）Ｌ１ｍの終了時、及び第２の電荷蓄積を仮想的に延ばした期間（最長の蓄積期間）Ｌ２ｍの終了時における、最も明るい画素（撮像出力の最大値を生じさせる部分）の蓄積電荷、及び平均的画素（撮像出力の平均値を生じさせる仮想的な画素）における蓄積電荷を示す。最長の蓄積期間Ｌ１ｍ、Ｌ２ｍのほか、採用される第１及び第２の蓄積期間がＬ１、Ｌ２で示されている。
【００８８】
第１の蓄積期間Ｌ１の終了時に、平均的画素における蓄積電荷が第１の飽和量ＶＯＤ１よりも若干低くなるのが望ましい。そうすれば、平均値や平均値に近い値が、図１７の閾値Ｑｔよりも少し低い範囲に位置することとなり、入射光量の変化に対する蓄積電荷量の変化の比が比較的高い範囲に収まる（したがって、入射光量の差を鮮明に再現することができる）からである。そのために、本実施の形態では、第１の蓄積期間Ｌ１の終了時に、平均的画素における蓄積電荷が第１の飽和量ＶＯＤ１よりも若干低くなるように第１の蓄積期間Ｌ１の長さが定められる。
図２０において、仮に平均的画素における、蓄積電荷が本撮像の第１の蓄積期間の終了時に第１の飽和量ＶＯＤ１に達するように定めるとすれば、そのときの第１の蓄積期間Ｌ１ｍと、Ｌ０、ＶＯＤ１、Ｖａｐｌとの間には、
Ｌ１ｍ／Ｌ０＝ＶＯＤ１／Ｖａｐｌ      …（４Ａ）
式（４Ａ）の左辺のＬ０を右辺に移すことにより、上記の式（３Ａ）が得られる。
Ｌ１を上記のようにＬ１ｍよりも少し小さい値に定めれば、平均的画素の蓄積電荷を第１の飽和量ＶＯＤ１よりも少し少なくできる。
【００８９】
第２の蓄積期間Ｌ２の終了時に、最も明るい画素（最大値画素）における蓄積電荷が第２の飽和量ＶＯＤ２よりも若干低くなるのが望ましい。そうすれば、最大値やそれに近い値の画素の撮像出力が同一の値になってしまうこと（白つぶれ）を防ぐことができるからである。そのために、本実施の形態では、第２の蓄積期間Ｌ２の終了時に、最大値画素における蓄積電荷が第２の飽和量ＶＯＤ２よりも若干低くなるように第２の蓄積期間Ｌ２の長さが定められる。
図２０において、仮に最大値画素における、蓄積電荷が本撮像の第２の蓄積期間の終了時に第２の飽和量ＶＯＤ２に達するように定めるとすれば、そのときの第２の最長蓄積期間Ｌ２ｍと、Ｌ０、ＶＯＤ１、ＶＯＤ２、Ｖｍａｘとの間には、
Ｌ２ｍ／Ｌ０＝（ＶＯＤ２−ＶＯＤ１）／Ｖｍａｘ      …（５Ａ）
式（５Ａ）の左辺のＬ０を右辺に移すことにより、上記の式（３Ｂ）が得られる。
また、式（３Ｂ）と式（３Ａ）を連立で解くことにより、上記の式（３Ｃ）が得られる。
Ｌ２を上記のようにＬ２ｍよりも少し小さい値に定めれば、最大値画素の蓄積電荷を第２の飽和量ＶＯＤ２よりも少し少なくできる。
【００９０】
図１８のステップＳｔ２で上記のようにしてＬ１，Ｌ２が決定されたら、次のステップＳｔ３で第１の蓄積期間Ｌ１での電荷蓄積を行って、第１の蓄積期間の最後に蓄積飽和量を切り換え、次のステップＳｔ４で第２の蓄積期間Ｌ２での電荷蓄積を行って第２の蓄積期間の最後に読み出し、読み出された電荷（画像）を出力する（Ｓｔ５）。
【００９１】
上記の例では、電荷蓄積を２回に分け、１回目の電荷蓄積における蓄積飽和量よりも２回目の電荷蓄積における蓄積飽和量をよりも十分に大きな値とするだけではなく、１回目の蓄積期間よりも２回目の蓄積期間を十分に短くすることで、暗部と明部がともに鮮明に再現され、ダイナミックレンジを大きくしている。しかし、１回目の蓄積期間と２回目の蓄積期間を同じ長さにしても良く、１回目の蓄積期間よりも２回目の蓄積期間を長くしても良い。
【００９２】
なお、上記の例では、飽和量御信号ＣＳが、「Ｈ」レベルまたは「Ｌ」レベルのいずれかを表すものであるが、代わりに、３値以上を表す信号を用いて飽和量を３つ以上の値のいずれかに設定するものであってもよく、さらに飽和量制御信号としてアナログ制御信号や多数ビットのデジタル信号を用いることで、直接蓄積飽和量を表すこととしても良い。
【００９３】
また、上記の例では、電荷蓄積が２回に分けて行われるが、３回以上に分けて行っても良い。この場合、蓄積飽和量を次第に大きくしていく。例えば３回目の蓄積期間は２回目の蓄積期間よりも蓄積飽和量が大きく、４回目の蓄積期間は３回目の蓄積期間よりも蓄積飽和量を大きくする。一般的に言えば第ｉ（ｉは２以上の自然数）の蓄積期間は第（ｉ−１）の蓄積期間の蓄積飽和量よりも大きくする。このようにすることで、例えば図２１に示すように、（一つの画面内で、）明るさの変化に対する、合計の蓄積電荷量の変化の比（傾き）を段階的に切り替えることができる。図２１は電荷蓄積を４回に分けて行う場合を示し、ＢＲｔ１，ＢＲｔ２，ＢＲｔ３において、明るさの変化に対する合計の蓄積電荷量の変化の比（傾き）が切り替わる。
【００９４】
なおまた、上記の実施の形態では、予備撮像を行うフレーム期間ＦＲ０においては、蓄積飽和量を第１の値ＶＯＤ１に維持したが、第２の値ＶＯＤ２に維持するようにしても良い。
【００９５】
実施の形態２．
図２２は、本発明の実施の形態２の撮像装置の全体的構成を示すブロック図である。図示の撮像装置は、図１に示される実施の形態１の撮像装置と概して同じであるが、絞り７１が追加されており、ＣＰＵ１６が制御信号ＣＴにより絞り７１の開閉（開放／遮蔽）を制御する点で異なる。
【００９６】
図２３（ａ）〜（ｉ）は、図１１（ａ）〜（ｈ）と同様の、実施の形態２の撮像装置の動作を示すタイミングチャートである。図２３（ａ）乃至（ｈ）は、それぞれ図１１（ａ）〜（ｈ）と同じもの（信号、電荷量）を示す。図２３（ｉ）は、絞り７１を制御する信号ＣＴを示す。信号ＣＴが「高」レベルのときは絞り７１が遮蔽され、信号ＣＴが「低」レベルのときは、絞りが開放される。
【００９７】
図２３（ｉ）に示すように、第１のフレーム期間ＦＲ０中、信号ＣＴが「低」レベルであり、絞り７１が開放状態に保たれ、図２３（ａ）乃至（ｈ）に示されるように、図１１（ａ）〜（ｈ）に示される動作と同じである。
第２のフレーム期間ＦＲ１においては、時刻ｔ１ｃからｔ１ｅの間信号ＣＴが「高」レベルであり、絞りＣＴが遮蔽状態となる。
絞り７１が遮蔽状態となる期間は、飽和量制御信号ＣＳが「低」レベルから「高」レベルに切り替わる時刻ｔ１ｄの前後にわたる期間である。即ち、絞り７１は、時刻ｔ１ｄより少し前の時刻ｔ１ｃに遮蔽状態となり、時刻ｔ１ｄの少し後の時刻ｔ１ｅに開放状態に戻る。
この結果、絞り７１が遮蔽状態にある間は、電荷蓄積が進まず、フォトダイオード２１内の蓄積電荷は保持される。即ち、時刻ｔ１ｃにおける蓄積電荷ＳＸｄ（ｔ１ｃ）、ＳＸｂ（ｔ１ｃ）が時刻ｔ１ｅまで維持される。
即ち、
ＳＸｄ（ｔ１ｅ）＝ＳＸｄ（ｔ１ｄ）＝ＳＸｄ（ｔ１ｃ）
ＳＸｂ（ｔ１ｅ）＝ＳＸｂ（ｔ１ｄ）＝ＳＸｂ（ｔ１ｃ）＝ＳＸｂ（ｔ１ｂ）
である。
時刻ｔ１ｅ以後は、実施の形態１における時刻ｔ１ｄ以降と同様に、電荷蓄積が続行される。
【００９８】
蓄積飽和量制御信号ＣＳが切り替わるときに、絞り７１を遮蔽状態にすることにより、蓄積飽和量のＶＯＤ１からＶＯＤ２への切り替わり時の不安定な時期における電荷蓄積を阻止することができ、合計の蓄積電荷量が不安定な動作の影響を受けるのを防ぐことができる。
【００９９】
以上、実施の形態１及び２において、第１の蓄積期間及び第２の蓄積期間の双方を予備撮像の結果に基づいて決定することとしているが、第１の蓄積期間を、予備撮像の結果に基づいて定めず一定の値とし或いは他の要因によって定め、第２の蓄積期間のみを予備撮像の結果に基づいて定めるようにしても良い。
また上記の実施の形態１及び２では、予備撮像の結果に応じて蓄積期間のみを調整しているが、絞りを調整することによって、撮像出力を制御するようにしても良く、絞りと蓄積期間の双方を調整して撮像出力を制御するようにしても良い。また、第１の蓄積期間の長さを一定とし、あるいは他の要因によって決定し、予備撮像の結果に応じて、絞りを調整して第１の蓄積期間における蓄積電荷量を調整し、同じ絞りで、第２の蓄積期間の長さを調整することで、第２の蓄積期間の蓄積電荷量を調整するようにしても良い。
いずれの場合にも蓄積期間に上限を設けて、撮像に要する時間が長くなりすぎるのを回避するようにしても良い。
【０１００】
さらに、以上のように、検出された被写体の明るさ（平均値、最大値）に基づいて蓄積期間の長さを調整することに加えて、検出された被写体の明るさ（平均値、最大値）に基づいて各蓄積期間の蓄積飽和量を制御することとしても良い。
【０１０１】
本発明によれば、上記したように、電荷蓄積を複数回に分けて行うことで、撮像画像のダイナミックレンジを拡大することができる。また、外付けのフレームメモリを用いることなく、固体撮像素子１１内で合成処理を実現できるため、撮像装置を低コストとし、また撮像素子１１の後段の信号処理回路のリソースの削減や基板実装面積の縮小などの効果が得られる。
【図面の簡単な説明】
【０１０２】
【図１】本発明の実施の形態１の撮像装置の全体的構成を示すブロック図である。
【図２】本発明で用いられる固体撮像素子の構成を示す図である。
【図３】図２における縦方向に並んだ４画素を拡大して示す図である。
【図４】垂直転送部内で順方向に電荷を転送する場合に印加される垂直転送パルスＶＤＰを示すタイミングチャートである。
【図５】垂直転送部内で順方向に電荷を転送する場合の固体撮像素子の転送素子の電極の電位分布を示す図である。
【図６】（ａ）及び（ｂ）は、本発明の撮像素子内部の電位分布を示す図である。
【図７】（ａ）乃至（ｃ）は、電荷蓄積及び読み出しの際の撮像素子内部の電位分布を示す図である。
【図８】実施の形態１における電荷蓄積及びその制御を行うための構成要素を示す機能ブロック図である。
【図９】本発明の電荷蓄積を説明するための、８００×６００画素の撮像データの一例を示す図である。
【図１０】図９中の二点鎖線（ｙ座標＝３００）で示される水平ラインに沿う撮像出力を示す。
【図１１】（ａ）〜（ｈ）は、実施の形態１の撮像装置の動作を示すため、図１及び図８に示される各信号、電荷量などの変化を表したタイミングチャートである。
【図１２】フォトダイオード２１において蓄積される電荷の量の変化を示すタイミングチャートである。
【図１３】撮像データが図９に示すものである場合の、第１の蓄積期間中にフォトダイオード２１で蓄積される電荷の量の例を示す図である。
【図１４】撮像データが図９に示すものである場合の、第２の蓄積期間中にフォトダイオード２１で蓄積される電荷の量の例を示す図である。
【図１５】図１３に示される第１の蓄積期間中にフォトダイオード２１で蓄積される電荷の量と、図１４に示される第１の蓄積期間中にフォトダイオード２１で蓄積される電荷の量の合計を示す図である。
【図１６】（ａ）〜（ｃ）は、本発明による電荷蓄積により得られる画像の一例を示し、白つぶれを避け、しかも暗部においても鮮明な映像を得ることができることを説明する図である。
【図１７】被写体の明るさと、光電変換素子２１から読み出される電荷及び光電変換素子２１で発生される電荷との関係を示す線図である。
【図１８】第１及び第２の蓄積期間の長さの決定を含む上記の処理を行う際のＣＰＵ１６などの動作を示すフローチャートである。
【図１９】図１８における検出処理（Ｓｔ１）を示すフローチャートである。
【図２０】蓄積期間決定のための計算方法を示す図１２と類似のタイミングチャートである。
【図２１】電荷蓄積を４回に分けて行う場合の、被写体の明るさと、光電変換素子２１から読み出される電荷との関係を示す線図である。。
【図２２】本発明の実施の形態２の撮像装置の全体的構成を示すブロック図である。
【図２３】（ａ）〜（ｈ）は、実施の形態２の撮像装置の動作を示すため、図１及び図８に示される各信号、電荷量などの変化を表したタイミングチャートである。図である。
【符号の説明】
【０１０３】
１０  レンズ、  １１  固体撮像素子、  １２  アナログ信号処理手段、  １３  Ａ／Ｄ変換手段、  １４  デジタル信号処理手段、  １５  タイミング信号発生手段、  １６  ＣＰＵ、  ２０  光電変換部、  ２１  光電変換素子、  ２２  垂直転送部、  ２３  垂直転送素子、  ２４  読み出しゲート部、  ２５  読み出しゲート、  ２６ａ〜２６ｄ  電極、  ２７  水平転送部、  ２８  出力増幅部、  ６１  蓄積手段、  ６５  電荷合成制御手段、  ６６  飽和量制御手段、  ６７  タイミング制御手段、  ６８  シャッタパルス発生手段、  ７１  絞り。
【図１】
0004703332.tif 000002
【図２】
0004703332.tif 000003
【図３】
0004703332.tif 000004
【図４】
0004703332.tif 000005
【図５】
0004703332.tif 000006
【図６】
0004703332.tif 000007
【図７】
0004703332.tif 000008
【図８】
0004703332.tif 000009
【図９】
0004703332.tif 000010
【図１０】
0004703332.tif 000011
【図１１】
0004703332.tif 000012
【図１２】
0004703332.tif 000013
【図１３】
0004703332.tif 000014
【図１４】
0004703332.tif 000015
【図１５】
0004703332.tif 000016
【図１６】
0004703332.tif 000017
【図１７】
0004703332.tif 000018
【図１８】
0004703332.tif 000019
【図１９】
0004703332.tif 000020
【図２０】
0004703332.tif 000021
【図２１】
0004703332.tif 000022
【図２２】
0004703332.tif 000023
【図２３】
0004703332.tif 000024