(57)【要約】【課題】  複数露光により撮像を行って広いダイナミックレンジを持った画像を合成する場合において、被写体が高速移動する場合に合成画像に生じる歪みを軽減する。【解決手段】  駆動制御手段たるタイミングジェネレータ５０および垂直走査回路６０は、短時間露光Ｓおよび極短時間露光Ｖの前後に２つの長時間露光Ｌ１およびＬ２を発生させて、画素行列部１０Ａの各画素に複数種類の露光期間の露光を順次行わせる。画像処理部７０は、画素行列部１０Ａから読み出される各露光期間の露光結果である画素信号を取得し、２つの長時間露光Ｌ１およびＬ２の露光結果を平均化したＬ画像データと、短時間露光Ｓの結果であるＳ画像データおよび極短時間露光Ｖの結果であるＶ画像データとから、広いダイナミックレンジを持った画像データを合成する。【選択図】図１
2009267739.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素を行列状に配列してなる画素行列部と、
短時間での露光期間の前後に２つの長時間の露光期間を発生させて、前記画素行列部の各画素に複数種類の露光期間の露光を順次行わせるとともに、各露光期間の露光結果である画素信号の読み出しを行わせる駆動制御手段と、
前記画素行列部から読み出される各露光期間の露光結果である画素信号を取得し、２つの長時間の露光期間の露光結果である各画素信号の合成値と、この２つの長時間の露光期間の間の短時間の露光期間の露光結果である画素信号とから画像データを合成する画像処理手段と
を具備することを特徴とする固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、行列状に配列された複数の画素から受光量に応じた電気信号を取り出して出力する固体撮像装置に係り、特に複数回の露光により広いダイナミックレンジを持った画像データを合成する機能を備えた固体撮像装置に関する。
【背景技術】
【０００２】
周知の通り、ＣＭＯＳ固体撮像装置等の固体撮像装置では、行列をなす各画素が順次駆動され、各画素から画素信号の読み出しが行われる。最も基本的な構成では、一定時間長のフレーム（垂直走査期間）毎に全画素から画素信号を読み出す動作が繰り返される。このような構成では、１つの画素に着目すると、前回の画素信号の読み出しから今回の画素信号の読み出しまでの期間である１フレームが露光時間となり、今回読み出される画素信号の信号値は露光期間内における画素の受光量を反映したものとなる。
【０００３】
露光時間を長短変化させた場合、画素信号の信号値の露光時間に対する勾配は、画素が受ける光の強さ（＝被写体の照度）に依存して大きくなる。従って、被写体が明るい場合には露光時間を短くし、被写体が暗い場合には露光時間を長くする、という具合に、被写体の照度に合わせて露光時間を調整することが好ましい。しかしながら、被写体の照度の範囲が広い場合、１種類の露光時間での撮像では、被写体の各部の明暗を正確に表す画像信号を得ることは困難である。そこで、異なる露光時間で複数回の露光を行い、各露光により得られた複数種類の画像信号を用いて広いダイナミックレンジの画像データを合成する技術（以下、便宜上、複数露光という）が提案されている。
【０００４】
図８は、この複数露光の技術による撮像シーケンスの例を示すものである。この例では、１つの画素に着目すると、１フレーム内に長時間露光Ｌ、短時間露光Ｓ、極短時間露光Ｖを順次行い、この３種類の露光期間の露光結果である画素信号を画素行列から得ている。このようにして各露光期間において得られた各画素信号に対し、例えば各露光期間の長さの逆数に比例したゲインを乗算して加算することにより、広いダイナミックレンジを持った画像データを合成することができる。
なお、複数露光を行ってダイナミックレンジの広い画像データを得る技術に関しては、ＣＣＤ固体撮像装置のものではあるが、特許文献１に開示がある。
【特許文献１】特開２００２−２７３２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、図８に示すような複数露光を行った場合、長時間露光Ｌによる撮像タイミングと、短時間露光Ｓおよび極短時間露光Ｖによる各撮像タイミングとのずれが大きくなるため、被写体が水平方向に高速移動したときに合成される画像の歪みが大きくなるという問題があった。
【０００６】
以下、この問題について、図９（ａ）および（ｂ）を参照して説明する。この例において、被写体は、円状であり、かつ、その明暗の分布が同心円状をなしており、中心の円状領域が最も明るく、その外側の円環状領域が２番目に明るく、最も外側の円環状領域は最も暗くなっている。
【０００７】
この被写体が静止している状態において、図８に示す複数露光を行い、各露光結果を合成すると、図９（ａ）に例示する合成画像が得られる。この合成画像において、外側の円環状領域は、最も暗く、長時間露光Ｌにより得られた画像（以下、Ｌ画像という）に含まれていた部分である。また、この円環状部分の内側の円環状領域は、やや明るく、短時間露光Ｓにより得られた画像（以下、Ｓ画像という）に含まれていた部分である。また、中心の円状領域は、非常に明るく、短時間露光Ｓにより得られた画像（以下、Ｖ画像という）に含まれていた部分である。このように被写体が静止している状態では、複数露光により撮像を行って露光結果を合成した場合に歪みのない合成画像が得られる。
【０００８】
しかし、被写体が高速移動している状態において、被写体を複数露光により撮像して露光結果を合成すると、合成画像が被写体の移動方向に大きく歪んだものとなる。図９（ｂ）は、被写体が水平方向（矢印方向）に高速移動したときに得られる合成画像を例示するものである。図８に示すような複数露光を行った場合、短時間露光ＳによりＳ画像が撮られるタイミングは、長時間露光ＬによりＬ画像が撮られるタイミングから大きく遅れ、極短時間露光ＶによりＶ画像が撮られるタイミングはそれよりもさらに遅れる。このため、合成画像では、Ｓ画像は、Ｌ画像よりも被写体の移動方向（この例では左から右への方向）にずれた位置に移動し、Ｖ画像はそれよりもさらに被写体の移動方向にずれた位置に移動し、被写体に対して合成画像が大きく歪むという問題が発生する。
【０００９】
この発明は、以上説明した事情に鑑みてなされたものであり、複数露光により撮像を行って広いダイナミックレンジを持った画像を合成する場合において、被写体が高速移動する場合に合成画像に生じる歪みを軽減することができる固体撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
この発明は、複数の画素を行列状に配列してなる画素行列部と、短時間での露光期間の前後に２つの長時間の露光期間を発生させて、前記画素行列部の各画素に複数種類の露光期間の露光を順次行わせるとともに、各露光期間の露光結果である画素信号の読み出しを行わせる駆動制御手段と、前記画素行列部から読み出される各露光期間の露光結果である画素信号を取得し、２つの長時間の露光期間の露光結果である各画素信号の合成値と、この２つの長時間の露光期間の間の短時間の露光期間の露光結果である画素信号とから画像データを合成する画像処理手段とを具備することを特徴とする固体撮像装置を提供する。
【００１１】
かかる発明によれば、短時間の露光の前後に長時間露光が行われ、これらの２つの長時間露光の露光結果である画素信号の合成値と、その間の短時間露光の露光結果である画素信号とから、広いダイナミックレンジの画像信号が合成される。従って、長時間露光による撮像タイミングと短時間露光による撮像タイミングのずれが少なくなり、被写体が高速移動する場合に合成画像に生じる歪みを軽減することができる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照し、この発明の一実施形態について説明する。
図１は、この発明の一実施形態によるＣＭＯＳ固体撮像装置の構成を示すブロック図である。このＣＭＯＳ固体撮像装置において、画素行列部１０Ａは、画素１０を行列状に配列してなるものである。
【００１３】
図２はこの画素行列部１０Ａにおける１個の画素１０の構成例を示すものである。図２に示すように、１個の画素１０は、ＰＤ（Photo Diode；フォトダイオード）１０１と、各々ＭＯＳ型トランジスタである転送トランジスタ１０２と、リセットトランジスタ１０３と、増幅トランジスタ１０４と、行選択トランジスタ１０５とにより構成されている。これらの各素子は、ｐ型半導体基板に形成されている。そして、図２では、ＰＤ１０１、転送トランジスタ１０２およびリセットトランジスタ１０３についてはそれらの断面構造が図示され、増幅トランジスタ１０４および行選択トランジスタ１０５については回路シンボルを用いた図示がなされている。
【００１４】
図２において、ＰＤ１０１は、ｐ型半導体基板に低濃度のｎ型不純物の埋め込み層を形成してなるものであり、受光量に応じた信号電荷を発生する光電変換素子である。転送トランジスタ１０２は、ソースがＰＤ１０１に接続され、ドレインがＦＤ（Floating Diffusion；浮遊拡散層）１０２ｄとなっている。この転送トランジスタ１０２は、ゲートに転送パルスＴＸｉが与えられることにより、ＰＤ１０１に蓄積された信号電荷をＦＤ１０２ｄに転送する。リセットトランジスタ１０３は、ソースが電源ＶＤＤに接続されており、ドレインがＦＤ１０２ｄとなっている。このリセットトランジスタ１０３は、ゲートにリセットパルスＲＴｉが与えられることにより、ＦＤ１０２ｄを電源ＶＤＤの電位にリセットする。増幅トランジスタ１０４は、ドレインが電源ＶＤＤに接続され、ゲートがＦＤ１０２ｄに接続されている。また、行選択トランジスタ１０５は、増幅トランジスタ１０４のソースと列信号線１１との間に介挿されており、ゲートに行選択パルスＳＬｉが与えられる。こららの増幅トランジスタ１０４および行選択トランジスタ１０５は、行選択パルスＳＬｉが与えられることにより、ＦＤ１０２ｄに蓄積された電荷に応じた電圧を列信号線１１に読み出す読出回路としての役割を果たす。
【００１５】
図１に示すように、列信号線１１には、同様な構成の画素１０が複数接続されるとともに、各画素１０の増幅トランジスタ１０４の負荷となる定電流源が接続されている（図示略）。さらに各列信号線１１には、ＣＤＳ（Correlated Double Sampling；相関２重サンプリング）回路が接続されている。図１におけるカラムＣＤＳ部２０は、この列信号線１１毎に設けられたＣＤＳ回路の集合体である。各ＣＤＳ回路は、タイミングジェネレータ５０からサンプリングパルスφｒおよびφｓが与えられる各タイミングにおいて、画素行列部１０Ａの各列信号線１１に読み出される電圧を各々サンプリングして差分を検出し、アナログ画素信号を各々出力する。カラムＡＤＣ部３０は、画素行列部１０Ａにおける画素１０の列毎に設けられたＡＤＣ（Analog to Digital Converter）の集合体である。各ＡＤＣは、タイミングジェネレータ５０による制御の下、各ＣＤＳ回路から出力されるアナログ画素信号をデジタル画素信号に変換する。水平走査回路４０は、画素行列部１０Ａの列数と同じステージ数のシフトレジスタである。この水平走査回路４０は、タイミングジェネレータ５０による制御の下、水平走査期間毎にカラムＡＤＣ部３０から出力される一行分のデジタル画素信号を取り込み、画像処理部７０にシリアル転送する動作を繰り返す。
【００１６】
垂直走査回路６０は、タイミングジェネレータ５０による制御の下、画素行列部１０Ａの各行に対する行選択パルスＳＬｉ（ｉ＝１〜ｎ）、リセットパルスＲＴｉ（ｉ＝１〜ｎ）および転送パルスＴＸｉ（ｉ＝１〜ｎ）を発生する回路である。タイミングジェネレータ５０は、垂直走査回路６０、カラムＣＤＳ部２０、カラムＡＤＣ部３０、水平走査回路４０等、ＣＭＯＳ固体撮像装置の各部のタイミング制御のための信号を発生する回路である。本実施形態において、タイミングジェネレータ５０および垂直走査回路６０は、水平走査期間毎に画素行列部１０Ａの各行を順次選択し、選択した第ｉ行の各画素１０に対して行選択パルスＳＬｉを出力するとともに、リセットパルスＲＴｉおよび転送パルスＴＸｉを順次出力し、転送パルスＴＸｉの前後の各タイミングにおいてサンプリングパルスφｒおよびφｓを各々出力する駆動制御手段として機能する。また、本実施形態において、この駆動制御手段としてのタイミングジェネレータ５０および垂直走査回路６０は、短時間での露光期間の前後に２つの長時間の露光期間を発生させて、画素行列部１０Ａの各画素１０に複数種類の露光期間の露光を順次行わせるとともに、各露光期間の露光結果である画素信号の読み出しを行わせる役割を果たす。なお、その具体的構成については後述する。
【００１７】
画像処理部７０は、水平走査回路４０を介して供給されるデジタル画素信号を処理して、フレーム毎に一画面分の画像データを合成する装置である。本実施形態では、１フレーム期間内に複数回の露光が行われ、露光期間の異なる複数種類のデジタル画素信号が画素毎に得られる。画像処理部７０は、異なる露光期間において得られた各デジタル画素信号を用いて、広いダイナミックレンジを持った画像データを合成する。この画像処理部７０により合成された画像データは、図示しないモニタに表示され、あるいは図示しないＨＤ（ハードディスク）等の記録媒体に記録される。
【００１８】
Ｕ／Ｉ（ユーザインタフェース）部８０は、液晶表示パネル等の表示装置と押しボタン等の各種の操作子により構成されている。Ｕ／Ｉ部８０は、ＣＭＯＳ固体撮像装置の操作に関する各種の案内情報を表示し、操作子を介して撮像条件等に関する各種の情報をユーザから取得する役割を果たす。制御部９０は、Ｕ／Ｉ部８０を介して取得されるユーザからの指示に従い、ＣＭＯＳ固体撮像装置の各部の制御を行う装置である。
【００１９】
図３はタイミングジェネレータ５０および垂直走査回路６０の具体的な構成を示すブロック図である。図３に示すように、タイミングジェネレータ５０は、クロックカウンタ５２と、ラインカウンタ５３と、パルス発生器５５と、イネーブルパルス発生器５６とを有する。
【００２０】
クロックカウンタ５２およびラインカウンタ５３は、フレームの切り換え制御およびフレーム内の水平走査期間の切り換え制御を行うとともに、現在時刻を示す情報の管理を行う役割を果たす。本実施形態においてフレームは、画素行列部１０Ａの行数ｎより多くのｍ個の水平走査期間に区切られている。１つのフレームを構成する各水平走査期間は、１番からｍ番までのライン番号により特定される。各水平走査期間は、画素行列部１０Ａから一行分のアナログ画素信号を読み出してデジタル化し、画像処理部７０にシリアル転送することが可能な時間長を有する。
【００２１】
本実施形態では、一定周波数のクロックをカウントすることにより、一水平走査期間の計時を行う。このクロックのカウントを行うのが図３におけるクロックカウンタ５２である。このクロックカウンタ５２のカウント値は、水平走査期間内における相対時刻を示す情報として利用される。
【００２２】
クロックカウンタ５２は、一水平走査期間分のクロックのカウントを終える度にラインクロックφＨを出力する。ラインカウンタ５３は、このラインクロックφＨのカウントを行う。そして、ラインカウンタ５３は、ラインクロックφＨをｍ個カウントする毎にカウント値を初期化する。従って、ラインカウンタ５３のカウント値は、常に現在の水平走査期間のライン番号を示すものとなる。
【００２３】
パルス発生器５５は、画素行列部１０Ａの各行へ供給するリセットパルスＲＴｉおよび転送パルスＴＸｉの基となるリセットパルスＲＴＧおよび転送パルスＴＸＧを発生する回路である。このリセットパルスや転送パルスの他、パルス発生器５５は、カラムＣＤＳ部２０に相関２重サンプリングを行わせるためのサンプリングパルスφｒおよびφｓや、この相関２重サンプリングに続いてカラムＡＤＣ部３０にＡ／Ｄ変換を行わせるためのサンプリングパルスや、さらにそれに続いて水平走査回路４０にシリアル転送を行わせるためのシフトクロックを発生する。制御部９０は、各パルスの立ち上がりエッジや立ち下がりエッジのタイミング、シフトクロックの発生開始タイミングに対応したクロックカウンタ５２のカウント値を指定する情報をパルス発生器５５に与え、パルス発生器５５は、この情報が示すタイミングにおいて、各パルスを立ち上げまたは立ち下げ、あるいはシフトクロックの発生を開始する。
【００２４】
イネーブルパルス発生器５６は、一水平走査期間分のパルス幅を持った２種類のイネーブルパルスＥＮａおよびＥＮｂを発生する。イネーブルパルスＥＮａは、画素信号の読み出しを指令するパルスである。イネーブルパルスＥＮｂは、画素１０のＰＤ１０１の蓄積電荷の消去を指令するパルスである。制御部９０は、フレーム内においてイネーブルパルスＥＮａおよびＥＮｂを各々発生する各水平走査期間の各ライン番号をイネーブルパルス発生器５６に対して指示し、イネーブルパルス発生器５６は、この指示された各ライン番号の各水平走査期間においてイネーブルパルスＥＮａおよびＥＮｂを各々発生する。
【００２５】
垂直走査回路６０は、いずれも画素行列部１０Ａの行数ｎと同じステージ数を有するシフトレジスタ６１および６２と、画素行列部１０Ａの行毎に設けられたＡＮＤ−ＯＲゲート６３および６４とを有する。シフトレジスタ６１および６２の各ステージをなす各フリップフロップのクロック端子には、タイミングジェネレータ５０のクロックカウンタ５２が出力するラインクロックφＨが与えられる。また、シフトレジスタ６１の初段のデータ入力端子にはイネーブルパルス発生器５６が出力するイネーブルパルスＥＮａが、シフトレジスタ６２の初段のデータ入力端子にはイネーブルパルス発生器５６が出力するイネーブルパルスＥＮｂが各々与えられる。シフトレジスタ６１は、イネーブルパルスＥＮａをラインクロックφＨにより順次後段にシフトし、シフトレジスタ６２は、イネーブルパルスＥＮｂをラインクロックφＨにより順次後段にシフトする。
【００２６】
シフトレジスタ６１の各ステージｉは、前段から到来するイネーブルパルスＥＮａを画素行列部１０Ａの第ｉ行に対応したＡＮＤ−ＯＲゲート６３および６４へイネーブルパルスＥＮａｉとして供給する。このイネーブルパルスＥＮａｉは、ＡＮＤ−ＯＲゲート６３および６４へ供給される他、行選択パルスＳＬｉとして、画素行列部１０Ａの第ｉ行の各画素１０に供給される。また、シフトレジスタ６２の各ステージｉは、前段から到来するイネーブルパルスＥＮｂを画素行列部１０Ａの第ｉ行に対応したＡＮＤ−ＯＲゲート６３および６４へイネーブルパルスＥＮｂｉとして供給する。
【００２７】
画素行列部１０Ａの第ｉ行に対応したＡＮＤ−ＯＲゲート６３は、イネーブルパルスＥＮａｉとリセットパルスＲＴＧとの論理積およびイネーブルパルスＥＮｂｉとリセットパルスＲＴＧとの論理積を求め、両論理積の論理和をリセットパルスＲＴｉとして出力する。画素行列部１０Ａの第ｉ行に対応したＡＮＤ−ＯＲゲート６４は、イネーブルパルスＥＮａｉと転送パルスＴＸＧとの論理積およびイネーブルパルスＥＮｂｉと転送パルスＴＸＧとの論理積を求め、両論理積の論理和を転送パルスＴＸｉとして出力する。
【００２８】
イネーブルパルスＥＮａｉが発生する間、画素行列部１０Ａの第ｉ行に対応したＡＮＤ−ＯＲゲート６３は、パルス発生器５５が出力するリセットパルスＲＴＧを選択し、ＡＮＤ−ＯＲゲート６４は、転送パルスＴＸＧを選択し、リセットパルスＲＴｉおよび転送パルスＴＸｉとして、画素行列部１０Ａの第ｉ行の各画素１０に各々供給する。そして、イネーブルパルスＥＮａｉは、行選択パルスＳＬｉとして、画素行列部１０Ａの第ｉ行の各画素１０に供給される。従って、画素行列部１０Ａの第ｉ行の各画素１０では、ＦＤ１０２ｄの電圧が列信号線１１に読み出され、画素信号の読み出しが行われる。
【００２９】
一方、イネーブルパルスＥＮｂｉが発生する間、画素行列部１０Ａの第ｉ行に対応したＡＮＤ−ＯＲゲート６３は、パルス発生器５５が出力するリセットパルスＲＴＧを選択し、ＡＮＤ−ＯＲゲート６４は、転送パルスＴＸＧを選択し、リセットパルスＲＴｉおよび転送パルスＴＸｉとして、画素行列部１０Ａの第ｉ行の各画素１０に各々供給する。この場合、画素行列部１０Ａの第ｉ行の各画素１０に対し、行選択パルスＳＬｉは供給されない。従って、画素行列部１０Ａの第ｉ行の各画素１０では、ＰＤ１０１の蓄積電荷の消去が行われる。
以上が本実施形態によるＣＭＯＳ固体撮像装置の構成の詳細である。
【００３０】
次に本実施形態の動作について説明する。広いダイナミックレンジを持った画像信号の取得が必要とされる場合、本実施形態では、１フレーム毎に図４（ａ）に示す複数露光を行う。すなわち、画素行列部１０Ａの１つの画素１０に着目すると、本実施形態では、１フレーム内において、短時間露光Ｓおよび極短時間露光Ｖをフレームの中央に位置させ、その前後に同じ露光時間の長時間露光Ｌ１およびＬ２を位置させ、これらの４種類の露光を順次行う。
【００３１】
図４（ｂ）は、このような複数露光を行うための具体的な撮像シーケンスを例示するものである。図４（ｂ）において、上下方向に並んだ各ストライプは、画素行列部１０Ａの各行における画素信号の読み出しの様子および蓄積電荷の消去の様子を示すものである。
【００３２】
さらに詳述すると、図４（ｂ）においてＲなる表記のなされた各水平走査期間（以下、水平走査期間Ｒ）では、図４（ｃ）に示すように、行選択パルスＳＬｉがアクティブレベルとされ、この間、リセットパルスＲＴｉおよび転送パルスＴＸｉが順次発生され、さらに転送パルスＴＸｉの前後の各タイミングにおいてサンプリングクロックφｒおよびφｓがカラムＣＤＳ部２０に供給され、画素行列部１０Ａの第ｉ行のアナログ画素信号の読み出しが行われる。さらに、図示は省略したが、カラムＡＤＣ部３０によるアナログ画素信号のデジタル画素信号への変換、水平走査回路４０によるデジタル画素信号の画像処理部７０へのシリアル転送が行われる。
【００３３】
また、図４（ｂ）においてｒなる表記のなされた各水平走査期間（以下、水平走査期間ｒ）では、図４（ｄ）に示すように、行選択パルスＳＬｉは非アクティブレベルとされ、リセットパルスＲＴｉおよび転送パルスＴＸｉが順次発生される。この水平走査期間では、画素信号の読み出しは行われず、画素行列部１０Ａの第ｉ行の各画素１０におけるＰＤ１０１の蓄積電荷の消去のみが行われる。
【００３４】
１つの行に着目すると、あるフレームでは、直前のフレームの最後の水平走査期間Ｒ内の転送パルスＴＸｉの発生タイミングが長時間露光Ｌ１の始点であり、その後の水平走査期間Ｒ内の転送パルスＴＸｉの発生タイミングが長時間露光Ｌ１の終点である。また、この長時間露光Ｌ１の後の水平走査期間ｒ内の転送パルスＴＸｉの発生タイミングが短時間露光Ｓの始点であり、その後の水平走査期間Ｒ内の転送パルスＴＸｉの発生タイミングが短時間露光Ｓの終点である。また、この短時間露光Ｓの後の水平走査期間ｒ内の転送パルスＴＸｉの発生タイミングが極短時間露光Ｖの始点であり、その直後の水平走査期間Ｒ内の転送パルスＴＸｉの発生タイミングが極短時間露光Ｖの終点であると同時に長時間露光Ｌ２の始点である。そして、この水平走査期間Ｒの後の水平走査期間Ｒ内の転送パルスＴＸｉの発生タイミングが長時間露光Ｌ２の終点であると同時にその次のフレームにおける長時間露光Ｌ１の始点である。
【００３５】
タイミングジェネレータ５０におけるイネーブルパルス発生器５６は、図４（ｂ）に示す各水平走査期間Ｒにおいて画素行列部１０Ａの各行ｉの画素信号の読み出しが行われるように、イネーブルパルスＥＮａをシフトレジスタ６１に供給する。さらにパルス発生器５５は、これらの各水平走査期間Ｒにおいて、サンプリングクロックφｒおよびφｓ、Ａ／Ｄ変換を行わせるためのサンプリングパルス、シリアル転送のためのシフトクロックを発生する。また、イネーブルパルス発生器５６は、図４（ｂ）に示す各水平走査期間ｒにおいて画素行列部１０Ａの各行ｉの蓄積電荷の消去が行われるように、イネーブルパルスＥＮｂをシフトレジスタ６２に供給する。
【００３６】
これにより長時間露光Ｌ１の終点を含む各水平走査期間Ｒでは、長時間露光Ｌ１の結果である１行分のデジタル画素信号がカラムＡＤＣ部３０において生成され、水平走査回路４０を介して画像処理部７０にシリアル転送される。短時間露光Ｓ、極短時間露光Ｖおよび最後の長時間露光Ｌ２についても同様であり、これらの各露光期間の終点を含む各水平走査期間Ｒでは、露光結果である１行分のデジタル画素信号がカラムＡＤＣ部３０において生成され、水平走査回路４０を介して画像処理部７０にシリアル転送される。
【００３７】
そして、画像処理部７０は、図５に示す手順に従って、広いダイナミックレンジを持った画像データを合成する。まず、フレームの先頭の長時間露光Ｌ１により得られたデジタル画素信号の集合であるＬ１画像データと、フレームの最後の長時間露光Ｌ２により得られたデジタル画素信号の集合であるＬ２画像データとを同一画素同士平均化したＬ画像データが生成される。次に、このＬ画像データと、短時間露光Ｓにより得られたデジタル画素信号の集合であるＳ画像データと、極短時間露光Ｖにより得られたデジタル画素信号の集合であるＶ画像データとから広いダイナミックレンジを持った画像データを合成する。
【００３８】
この合成の方法には各種考えられるが、露光時間と画素信号値との関係が直線的である場合には、次のような合成方法を実施可能である。図６において、横軸は露光時間、縦軸はＬ画像データ、Ｓ画像データおよびＶ画像データの画素信号値である。また、ｔＬは長時間露光Ｌ１およびＬ２の露光時間、ｔＳは短時間露光Ｓの露光時間、ｔＶは極短時間露光Ｖの露光時間である。また、ｔｈ０はカラムＡＤＣ部３０が出力するデジタル画素信号の飽和値である。
【００３９】
既に述べたように、画素信号値の露光時間に対する勾配は、画素１０が受ける光の強さ、すなわち、被写体の照度に依存して大きくなる。図６に示す露光時間軸と画素信号値軸からなる直交座標系において、原点（０，０）と点（ｔＬ，ｔｈ０）を結ぶ直線の勾配は、長時間露光Ｌ１またはＬ２において画素信号値が飽和する被写体の照度の上限値に対応している。また、原点（０，０）と点（ｔＳ，ｔｈ０）を結ぶ直線の勾配は、短時間露光Ｓにおいて画素信号値が飽和する被写体の照度の上限値に対応している。この合成方法では、原点（０，０）と点（ｔＬ，ｔｈ０）を結ぶ直線上において露光時間ｔＳに対応した点の画素信号値ｔｈ１を求め、この画素信号値ｔｈ１を、短時間露光Ｓにより得られるＳ画像データの画素信号値のうち合成画像の画素値として採用するものの下限値とする。また、原点（０，０）と点（ｔＳ，ｔｈ０）を結ぶ直線上において露光時間ｔＶに対応した点の画素信号値ｔｈ２を求め、この画素信号値ｔｈ２を、極短時間露光Ｖにより得られるＶ画像データの画素信号値のうち合成画像の画素値として採用するものの下限値とする。そして、以上の飽和値ｔｈ０、下限値ｔｈ１およびｔｈ２を用いて、次のようにＬ画像データ、Ｓ画像データ、Ｖ画像データから合成画像の画素信号値を決定する。
【００４０】
まず、ある画素のＬ画像データの画素信号値が飽和値ｔｈ０未満である場合、画像処理部７０は、その画素信号値に対して重み係数Ａ／ｔＬを乗算したものを合成画像の画素信号値とする。ここで、Ａは定数である。また、ある画素のＬ画像データの画素信号値が飽和値ｔｈ０に達しており、Ｓ画像データの画素信号値が飽和値ｔｈ０より小さく、かつ、下限値ｔｈ１以上である場合、画像処理部７０は、Ｓ画像データの画素信号値に対して重み係数Ａ／ｔＳを乗算したものを合成画像の画素信号値とする。また、Ｓ画像データの画素信号値が飽和値ｔｈ０に達しており、Ｖ画像データの画素信号値が飽和値ｔｈ０より小さく、かつ、下限値ｔｈ２以上である場合、画像処理部７０は、Ｖ画像データの画素信号値に対して重み係数Ａ／ｔＶを乗算したものを合成画像の画素信号値とする。以上のような処理を行うことにより広いダイナミックレンジを持った合成画像の画像データが得られる。
【００４１】
図７は本実施形態の効果を例示するものである。本実施形態では、図４（ａ）に示すような複数露光を行って、２つの長時間露光Ｌ１およびＬ２をフレームの先頭と最後において行い、これらの各露光結果を平均化したものを、長時間露光の結果であるＬ画像データとして用いる。このため、Ｌ画像データの実質的な撮像タイミングと、Ｓ画像データおよびＶ画像データの撮像タイミングとのずれが少なくなる。このため、被写体が高速移動する場合でも、合成画像では、図７に例示するように、Ｓ画像およびＶ画像のＬ画像からの位置ずれを少なくし、被写体に対する合成画像の歪みを少なくすることができるという効果がある。
【００４２】
以上、この発明の一実施形態について説明したが、この発明には他にも実施形態が考えられる。例えば次の通りである。
（１）上記実施形態では、２つの長時間露光Ｌ１およびＬ２の間に短時間露光Ｓと極短時間露光Ｖを配置したが、これらのいずれか一方のみを配置してもよい。
（２）上記実施形態では、フレームの先頭と最後に行う長時間露光Ｌ１およびＬ２の露光時間を同じ長さにしたが、これらの露光時間を異なる長さにしてもよい。この場合、長時間露光Ｌ１およびＬ２の露光時間がｔＬ１およびｔＬ２であるとすると、例えばＬ１画像データの画素信号値に重み係数Ａ／ｔＬ１を乗算したものと、Ｌ２画像データの画素信号値に重み係数Ａ／ｔＬ２を乗算したものとを加算して、Ｌ画像データを合成すればよい。
（３）上記実施形態では、この発明による固体撮像装置の一例としてＣＭＯＳ固体撮像装置を示したが、この発明はＣＣＤ固体撮像装置等の他の固体撮像装置にも適用可能である。
【図面の簡単な説明】
【００４３】
【図１】この発明の一実施形態であるＣＭＯＳ固体撮像装置の構成を示すブロック図である。
【図２】同実施形態における画素１０の構成例を示す図である。
【図３】同実施形態におけるタイミングジェネレータ５０および垂直走査回路６０の構成例を示すブロック図である。
【図４】同実施形態において行われる複数露光およびこの複数露光を行うための撮像シーケンスを例示する図である。
【図５】同実施形態において行われる画像データの合成手順を示す図である。
【図６】同実施形態においてＬ画像データ、Ｓ画像データおよびＶ画像データから合成画像の画素信号値を求める方法を説明する図である。
【図７】同実施形態において高速移動する被写体を撮像した場合に得られる合成画像を例示する図である。
【図８】複数露光の例を示す図である。
【図９】高速移動する被写体について複数露光による撮像を行った場合の合成画像を例示する図である。
【符号の説明】
【００４４】
１０……画素、１１……列信号線、１０Ａ……画素行列部、２０……カラムＣＤＳ部、３０……カラムＡＤＣ部、４０……水平走査回路、５０……タイミングジェネレータ、６０……垂直走査回路、７０……画像処理部、８０……Ｕ／Ｉ部、９０……制御部、５２……クロックカウンタ、５３……ラインカウンタ、５６……イネーブルパルス発生器、５５……パルス発生器、６１，６２……シフトレジスタ、６３，６４……ＡＮＤ−ＯＲゲート。
【図１】
2009267739.tif 000003
【図２】
2009267739.tif 000004
【図３】
2009267739.tif 000005
【図４】
2009267739.tif 000006
【図５】
2009267739.tif 000007
【図６】
2009267739.tif 000008
【図７】
2009267739.tif 000009
【図８】
2009267739.tif 000010
【図９】
2009267739.tif 000011