(57)【要約】【課題】  良質で広いダイナミックレンジを持つ画像を得ることのできる撮像装置を提供する。【解決手段】  撮像装置は、メカニカルシャッタと、第１の画像信号と、前記第１の画像信号と同一画素位置において前記第１の画像信号より後に撮像され前記第１の画像信号とはシャッタ時間が異なる第２の画像信号を出力する撮像手段と、前記メカニカルシャッタと前記撮像手段とを、前記第２の画像信号にスミアが重畳しないように動作させる撮像動作手段と、画像信号をガンマ変換するガンマ変換手段と、前記第１の画像信号と前記第２の画像信号に基づき、前記第１の画像信号に対応する補正画像信号を生成する補正画像信号生成手段と、前記補正画像信号と前記第２の画像信号を合成する画像信号合成手段とを有する。【選択図】  図３
2005244459.tif 000002
【特許請求の範囲】
【請求項１】
メカニカルシャッタと、
第１の画像信号と、前記第１の画像信号と同一画素位置において前記第１の画像信号より後に撮像され前記第１の画像信号とはシャッタ時間が異なる第２の画像信号を出力する撮像手段と、
前記メカニカルシャッタと前記撮像手段とを、前記第２の画像信号にスミアが重畳しないように動作させる撮像動作手段と、
画像信号をガンマ変換するガンマ変換手段と、
前記第１の画像信号と前記第２の画像信号に基づき、前記第１の画像信号に対応する補正画像信号を生成する補正画像信号生成手段と、
前記補正画像信号と前記第２の画像信号を合成する画像信号合成手段と
を有する撮像装置。
【請求項２】
前記第１の画像信号は前記第２の画像信号よりも長いシャッタ時間で撮像される請求項１記載の撮像装置。
【請求項３】
さらに、前記第２の画像信号に前記第１の画像信号と第２の画像信号との感度比を乗算して換算画像信号を生成する換算画像信号生成手段を有し、
前記補正画像信号生成手段は、ガンマ変換した前記換算画像信号とガンマ変換した前記第１の画像信号とから適応的に補正画像信号を生成する請求項２記載の撮像装置。
【請求項４】
前記補正画像信号生成手段は、前記ガンマ変換した換算画像信号と前記ガンマ変換した第１の画像信号との差が定数Ｇ１より小さい場合は、前記ガンマ変換した第１の画像信号を前記補正画像信号とし、
前記ガンマ変換した換算画像信号と前記ガンマ変換した第１の画像信号との差が定数Ｇ２より大きい場合は、前記ガンマ変換した換算画像信号を前記補正画像信号とし、
上記以外の場合は、以下の式（１）に基づき前記補正画像信号を求める請求項３記載の撮像装置。
Ｇ’Ｌ（ｘ，ｙ）＝αＧＬＳ（ｘ，ｙ）＋（１−α）ＧＬ（ｘ，ｙ）  …（１）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧＬＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した換算画像信号、ＧＬ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第１の画像信号、Ｇ１及びＧ２は共に正の定数でＧ２＞Ｇ１の関係にあり、αは加重係数である。
【請求項５】
前記加重係数αは、
α＝（ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）−Ｇ１）／（Ｇ２−Ｇ１）
によって求められる請求項４記載の撮像装置。
【請求項６】
前記画像信号合成手段は、下記の式（２）により、前記補正画像信号と前記第２の画像信号を合成する請求項２〜５のいずれか１項に記載の撮像装置。
ＧＣ（ｘ，ｙ）＝ｋＧ’Ｌ（ｘ，ｙ）＋（１−ｋ）ＧＳ（ｘ，ｙ）  …（２）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｌ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧＳ（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第２の画像信号、ｋは合成パラメータであり０〜１の範囲の定数である。
【請求項７】
前記第１の画像信号は前記第２の画像信号よりも短いシャッタ時間で撮像される請求項１記載の撮像装置。
【請求項８】
さらに、前記第２の画像信号に前記第１の画像信号と第２の画像信号との感度比を乗算して換算画像信号を生成する換算画像信号生成手段を有し、
前記補正画像信号生成手段は、ガンマ変換した前記換算画像信号とガンマ変換した前記第１の画像信号とから適応的に補正画像信号を生成する請求項７記載の撮像装置。
【請求項９】
前記補正画像信号生成手段は、前記ガンマ変換した第２の画像信号が定数Ｇ４より大きい場合は、前記ガンマ変換した第１の画像信号を前記補正画像信号とし、
前記ガンマ変換した第２の画像信号が定数Ｇ３より小さい場合は、前記ガンマ変換した換算画像信号を前記補正画像信号とし、
上記以外の場合は、以下の式（３）に基づき前記補正画像信号を求める請求項８記載の撮像装置。
Ｇ’Ｓ（ｘ，ｙ）＝（１−β）ＧSL（ｘ，ｙ）＋βＧＳ（ｘ，ｙ）  …（３）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｓ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧSL（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した換算画像信号、ＧS（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第１の画像信号、Ｇ３及びＧ４は共に正の定数でＧ４＞Ｇ３の関係にあり、βは加重係数である。
【請求項１０】
前記加重係数βは、
β＝（ＧＬ（ｘ，ｙ）−Ｇ３）／（Ｇ４−Ｇ３）
によって求められる請求項９記載の撮像装置。
【請求項１１】
前記画像信号合成手段は、下記の式（４）により、前記補正画像信号と前記第２の画像信号を合成する請求項７〜１０のいずれか１項に記載の撮像装置。
ＧＣ（ｘ，ｙ）＝ｋＧＬ（ｘ，ｙ）＋（１−ｋ）Ｇ’Ｓ（ｘ，ｙ）  …（４）
ただし、（ｘ，ｙ）は画素位置、Ｇ’Ｓ（ｘ，ｙ）は画素位置（ｘ，ｙ）における補正画像信号、ＧL（ｘ，ｙ）は画素位置（ｘ，ｙ）におけるガンマ変換した第２の画像信号、ｋは合成パラメータであり０〜１の範囲の定数である。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に広いダイナミックレンジの画像を得ることのできる撮像装置に関する。
【背景技術】
【０００２】
従来、デジタルスチルカメラやビデオカメラにおいては、異なる露光量で２回の撮像を行い、該２回の撮像から得られる２種類の色信号を信号処理して、広いダイナミックレンジを有する画像を得ることが知られている。上記の異なる露光量の撮像とは、例えば、短い時間間隔で、長いシャッタ時間（ロングシャッタ時間）と短いシャッタ時間（ショートシャッタ時間）との２回の撮像を行うことである。シャッタ時間の切り替えは、例えば、電子シャッタ単独、あるいは、メカシャッタを併用して行われている。（例えば、特許文献１〜４参照。）
【０００３】
【特許文献１】特開平１１−７５１１８号公報
【特許文献２】特開２０００−３４１５８２号公報
【特許文献３】特開２００３−２１９２８１号公報
【特許文献４】特開２００３−２４４７１９号公報  図１１は、従来の撮像装置５１の構成例を示すブロック図である。
【０００４】
撮像装置５１は、少なくとも、ＣＣＤイメージセンサと出力アンプやアナログデジタルコンバータ等の周辺回路とを含む撮像部５２、利得調整回路５３（５３ａ及び５３ｂ）、ガンマ変換回路５４（５４ａ及び５４ｂ）、色信号合成回路５７及び色信号処理回路５８を含んで構成される。
【０００５】
撮像装置５１は、長いシャッタ時間と短いシャッタ時間による撮像を順次行い、長いシャッタ時間による赤信号、緑信号又は青信号のいずれかの色信号ＳＬ（以下、単に色信号ＳＬと呼ぶ）と短いシャッタ時間による赤信号、緑信号又は青信号のいずれかの色信号信号ＳＳ（以下、単に色信号ＳＳと呼ぶ）を、順番に出力する。先に撮像される色信号ＳＬは、例えば、メモリ等に一時的に記憶され、その後、メモリを介さない色信号ＳＳと同時に、後段の利得調整回路５３（５３ａ及び５３ｂ）に送られる。
【０００６】
利得調整回路５３（５３ａ及び５３ｂ）では、色信号ＳＬ及び色信号ＳＳの利得を調整し、次のガンマ変換回路５４（５４ａ及び５４ｂ）に出力する。ガンマ変換回路５４（５４ａ及び５４ｂ）は、色信号ＳＬ及び色信号ＳＳをそれぞれガンマ変換し、ガンマ変換後の赤信号、緑信号又は青信号のいずれかの色信号ＧＬ及び赤信号、緑信号又は青信号のいずれかの色信号ＧＳを出力する。
【０００７】
色信号合成回路５７は、下記の式（Ｘ）に従い、入力される色信号ＧＬ及び色信号ＧＳを合成して、赤信号、緑信号又は青信号のいずれかの合成色信号ＧＣとして出力する。
【０００８】
ＧＣ（ｘ，ｙ）＝ｋＧＬ（ｘ，ｙ）＋（１−ｋ）ＧＳ（ｘ，ｙ）…（Ｘ）
ただし、ＧＣ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における赤信号、緑信号又は青信号のいずれかの合成色信号ＧＣ、ＧＬ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における長いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＧＬ、ＧＳ（ｘ，ｙ）は、画素位置（ｘ，ｙ）における短いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＧＳ、ｋは０〜１の範囲の定数（好ましくは０．５〜０．７の範囲の定数）である。
【０００９】
色信号処理回路５８は、合成色信号ＧＣに対して、各種の色信号処理を行い合成画像信号として出力する。
【発明の開示】
【発明が解決しようとする課題】
【００１０】
撮像装置では、長いシャッタ時間の撮像及び短いシャッタ時間の撮像のいずれを先に行ったとしても、先に撮像した色信号はメカシャッタが開いた状態で不要電荷の掃き出しを行うため、高照度被写体に起因するスミアが重畳する。したがって、スミアが重畳した色信号をそのまま合成するとごうせい画像にスミアが現れてしまう。
【００１１】
本発明の目的は、良質で広いダイナミックレンジを持つ画像を得ることのできる撮像装置を提供することである。
【課題を解決するための手段】
【００１２】
本発明の一観点によれば、撮像装置は、メカニカルシャッタと、第１の画像信号と、前記第１の画像信号と同一画素位置において前記第１の画像信号より後に撮像され前記第１の画像信号とはシャッタ時間が異なる第２の画像信号を出力する撮像手段と、前記メカニカルシャッタと前記撮像手段とを、前記第２の画像信号にスミアが重畳しないように動作させる撮像動作手段と、画像信号をガンマ変換するガンマ変換手段と、前記第１の画像信号と前記第２の画像信号に基づき、前記第１の画像信号に対応する補正画像信号を生成する補正画像信号生成手段と、前記補正画像信号と前記第２の画像信号を合成する画像信号合成手段とを有する。
【発明の効果】
【００１３】
本発明によれば、良質で広いダイナミックレンジを持つ画像を得ることのできる撮像装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
【実施例】
【００１５】
図１は、本発明の実施例に共通の固体撮像素子（撮像部）２の概略平面図である。 
【００１６】
固体撮像素子２は、例えば、固体撮像装置として最も広く用いられているインターライン型ＣＣＤ（ＩＴＣＣＤ）である。受光領域には、多数の光電変換素子（画素）１２が正方格子状に配列されている。それぞれの光電変換素子１２の列間には、光電変換素子１２で発生した信号電荷を読み出して、３相駆動（ΦＶ１〜ΦＶ３）で垂直方向に転送する垂直電荷転送路（ＶＣＣＤ）１４が、転送電極及び垂直転送チャネルを含んで形成され、光電変換素子１２で生じた信号電荷を垂直方向に転送する。
【００１７】
図中、受光領域の下側にはＶＣＣＤ８１４により転送される電荷を1行ごとに周辺回路２４に転送する水平電荷転送路（ＨＣＣＤ）２３が形成される。
【００１８】
図中、各画素に対応するカラーフィルタの配列を各画素内に「Ｒ，Ｇ，Ｂ」の文字で示す。ここで、Ｒは赤、Ｇは緑、Ｂは青を示す。この固体撮像装置１で採用されているカラーフィルタ配列は一般にベイヤ配列と呼ばれ、デジタルスチルカメラ（ＤＳＣ）用のカメラの撮像装置としての固体撮像素子に一般的に用いられている。
【００１９】
図２は、図１に示す固体撮像素子（撮像部）２の第１の実施例による動作を説明するためのタイミング図である。
【００２０】
第１の実施例では、長いシャッタ時間の（露光量の大きい）撮像を先に行い、その後、短いシャッタ時間（露光量の小さい）撮像を行う。
【００２１】
まず、メカニカルシャッタが開かれると共に、電子シャッタパルスが印加され、タイミングｔ１において長いシャッタ時間による撮像が開始されて該撮像による信号電荷が光電変換素子１２に蓄積される。この蓄積された信号電荷を光電変換素子１２からＶＣＣＤ１４に読み出す前に、タイミングｔ２〜ｔ３の間に、ＶＣＣＤ１４に高速転送パルスが印加される。ＶＣＣＤ１４への高速転送パルスの印加により、ＶＣＣＤ１４に残留するスミア電荷や不要電荷は掃き出される。しかし、メカニカルシャッタが開放されているので、高照度の被写体が結像されている部分では、新たに発生するスミア電荷を完全に掃き出すことはできないので、高速転送パルスの印加後にも、ＶＣＣＤ１４にスミア電荷は残留する。その後、タイミングｔ４において、読み出しパルスを光電変換素子１２の読み出しゲート領域に印加することで、信号電荷をＶＣＣＤ１４に読み出すが、ＶＣＣＤ１４にスミア電荷が残留しているので、先に撮像する長いシャッタ時間の色信号にはスミアが重畳することになる。
【００２２】
また、タイミングｔ４からタイミングｔ５において短いシャッタ時間による撮像が行われて該撮像による信号電荷が光電変換素子１２に蓄積される。短いシャッタ時間の撮像が終了すると、タイミングｔ５においてメカニカルシャッタは閉じられる。なお、タイミングｔ３からｔ６の間はＶＣＣＤ１４の転送は停止されている。
【００２３】
次ぎに、タイミングｔ６からタイミングｔ７において、ＶＣＣＤ１４にラインシフトパルスが印加され、ＶＣＣＤ１４に蓄積されていた長いシャッタ時間の撮像による信号電荷は垂直方向に転送され、ＨＣＣＤ２３を介して周辺回路２４から長いシャッタ時間の出力信号（色信号）ＳＬとして順次読み出される。
【００２４】
長いシャッタ時間の色信号ＳＬの読み出しが終了すると、タイミングｔ８において、読み出しパルスを光電変換素子１２の読み出しゲート領域に印加することで、短いシャッタ時間の信号電荷をＶＣＣＤ１４に読み出す。この時、メカニカルシャッタは閉じた状態であるので、ＶＣＣＤ１４には新たなスミア電荷が発生しないため、短いシャッタ時間の色信号へのスミアの重畳は起きない。
【００２５】
その後、タイミングｔ９からタイミングｔ１０において、ＶＣＣＤ１４にラインシフトパルスが印加され、ＶＣＣＤ１４に蓄積されていた短いシャッタ時間の撮像による信号電荷は垂直方向に転送され、ＨＣＣＤ２３を介して周辺回路２４から短いシャッタ時間の出力信号（色信号）ＳＳとして順次読み出される。
【００２６】
以上のような動作により、本発明の第１の実施例では、スミアが重畳した長いシャッタ時間の色信号とスミアのない短いシャッタ時間の色信号とが固体撮像素子（撮像部）２から出力される。
【００２７】
図３は、本発明の第１の実施例による撮像装置１の構成例を示すブロック図である。
【００２８】
撮像装置１は、撮像部（固体撮像素子）２、利得調整回路３（３ａ及び３ｂ）、ガンマ変換回路４（４ａ〜４ｃ）、換算色信号生成回路５、補正色信号生成回路６、色信号合成回路７及び色信号処理回路８を含んで構成される。
【００２９】
撮像部２は、例えば、図１に示すようなＣＣＤカラーイメージセンサであり、水平（ｘ）及び垂直（ｙ）方向に配列される多数の光電変換素子（画素）１２及び垂直電荷転送路（ＶＣＣＤ）１４を含む受光領域、水平電荷転送路（ＨＣＣＤ）２３等を含んで構成される。撮像部２は、図２に示すように、大きい露光量（長いシャッタ時間）と小さい露光量（短いシャッタ時間）による撮像を順次行い、長いシャッタ時間による１枚分（１フレーム分）の画像信号（色信号）ＳＬと短いシャッタ時間による１枚分（１フレーム分）の画像信号（色信号）ＳＳを、順番に出力する。
【００３０】
なお、本実施例では、例えば、大きい露光量の色信号のみを一旦メモリに記憶し、小さい露光量の色信号をＣＣＤイメージセンサからリアルタイムに読み出すと同時に、大きい露光量の色信号をメモリから読み出し、両方の色信号を同時に供給している。また、両方の色信号をメモリに記憶し、同時に読み出すようにしてもよい。
【００３１】
撮像部２は、まず、画素位置（ｘ，ｙ）におけるスミアの重畳した長いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＳＬ（ｘ，ｙ）を出力し、利得調整回路３ａは、該出力されたスミアの重畳した色信号ＳＬ（ｘ，ｙ）を利得調整して、ガンマ変換回路４ａに出力する。ガンマ変換回路４ａは、色信号ＳＬ（ｘ，ｙ）をガンマ変換して、色信号ＧＬ（ｘ，ｙ）として補正色信号生成回路６に出力する。
【００３２】
撮像部２は、次ぎに、画素位置（ｘ，ｙ）におけるスミアの無い短いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＳＳ（ｘ，ｙ）を出力し、利得調整回路３ｂは、該出力された色信号ＳＳ（ｘ，ｙ）を利得調整して、ガンマ変換回路４ｂ及び換算色信号生成回路５の双方に出力する。
【００３３】
ガンマ変換回路４ｂは、色信号ＳＳ（ｘ，ｙ）をガンマ変換して、ガンマ変換後の色信号ＧＳ（ｘ，ｙ）として色信号合成回路７に出力する。
【００３４】
換算色信号生成回路５は、色信号ＳＳ（ｘ，ｙ）を、長いシャッタ時間の色信号ＳＬと短いシャッタ時間の色信号ＳＳとの感度比ｍで乗算して、リニア値の換算色信号色信号ＳＬＳ（ｘ，ｙ）としてガンマ変換回路４ｃに出力する。ガンマ変換回路４ｃは、換算色信号色信号ＳＬＳ（ｘ，ｙ）をガンマ変換して、ガンマ変換後の換算色信号色信号ＧＬＳ（ｘ，ｙ）として補正色信号生成回路６に出力する。
【００３５】
感度比ｍは、大きい露光量（長いシャッタ時間）／小さい露光量（短いシャッタ時間）から求められる感度比である。なお、ここで小さい露光量の色信号ＳＳ（ｘ，ｙ）を感度比ｍで乗算するのは、大きい露光量の色信号ＳＬ（ｘ，ｙ）と信号レベルのスケールを合わせるためである。
【００３６】
補正色信号生成回路６は、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とから補正信号Ｇ’Ｌ（ｘ，ｙ）を生成する。なお、補正色信号生成回路６における処理の詳細は、後に図５を用いて説明する。
【００３７】
色信号合成回路７は、補正信号Ｇ’Ｌ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）とを合成し、合成色信号ＧＣ（ｘ，ｙ）を生成する。なお、色信号合成回路７における処理の詳細は、後に図４を用いて説明する。
【００３８】
色信号処理回路８は、合成色信号ＧＣ（ｘ，ｙ）に対して各種の色信号処理を行い、合成画像信号として出力する。
【００３９】
図４は、本発明の実施例による色信号合成処理を表すフローチャートである。
【００４０】
ステップＳＡ１では、色信号合成処理をスタートし、ステップＳＡ２で、撮像部２のＣＣＤイメージセンサの画素位置（ｘ，ｙ）における長いシャッタ時間のリニア値の赤色、緑色又は青色の色信号ＳＬ（ｘ，ｙ）を取得し、ガンマ変換してガンマ変換した色信号ＧＬ（ｘ，ｙ）とする。
【００４１】
ステップＳＡ３では、撮像部２のＣＣＤイメージセンサの画素位置（ｘ，ｙ）における短いシャッタ時間のリニア値の赤色、緑色又は青色の色信号ＳＳ（ｘ，ｙ）を取得する。
【００４２】
ステップＳＡ４では、ステップＳＡ３で取得した色信号ＳＳ（ｘ，ｙ）をガンマ変換して、ガンマ変換した色信号ＧＳ（ｘ，ｙ）とする。
【００４３】
ステップＳＡ５では、ステップＳＡ３で取得した色信号ＳＳ（ｘ，ｙ）を長いシャッタ時間の色信号ＳＬと短いシャッタ時間の色信号ＳＳとの感度比ｍで乗算して、リニア値の換算色信号色信号ＳＬＳ（ｘ，ｙ）を生成する。
【００４４】
ステップＳＡ６では、ステップＳＡ５で生成した換算色信号色信号ＳＬＳ（ｘ，ｙ）をガンマ変換して、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）を生成する。
【００４５】
ステップＳＡ７では、図５に示す補正色信号生成処理を行う。補正色信号生成処理は、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とから補正信号Ｇ’Ｌ（ｘ，ｙ）を生成する。
【００４６】
ステップＳＡ８では、下記式（Ａ）に従い、補正信号Ｇ’Ｌ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）とを合成し、合成色信号ＧＣ（ｘ，ｙ）を生成する。
【００４７】
ＧＣ（ｘ，ｙ）＝ｋＧ’Ｌ（ｘ，ｙ）＋（１−ｋ）ＧＳ（ｘ，ｙ）  …（Ａ）
ただし、ｋは、合成パラメータであり、０〜１の範囲の定数である。合成パラメータｋの値は０．５〜０．７であることが望ましい。
【００４８】
合成色信号ＧＣ（ｘ，ｙ）を生成した後は、該生成した合成色信号ＧＣ（ｘ，ｙ）を出力してステップＳＡ９に進み色信号合成処理を終了する。
【００４９】
図５は、図４のステップＳＡ７で行われる補正色信号生成処理の一例を表すフローチャートである。
【００５０】
ステップＳＢ１では、補正色信号生成処理を開始し、ステップＳＢ２では、下記式（Ｂ）に基づき、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差が定数Ｇ１より小さいか否かを判断する。両信号の差が定数Ｇ１より小さい場合は、ＹＥＳの矢印で示すステップＳＢ３に進み、差の絶対値が大きい場合は、ＮＯの矢印で示すステップＳＢ４に進む。
【００５１】
ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）＜Ｇ１  …（Ｂ）
ステップＳＢ３では、色信号ＧＬ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）とする。その後、ステップＳＢ８に進み、補正色信号生成処理を終了して、図４のステップＳＡ８に進む。
【００５２】
ステップＳＢ４では、下記式（Ｃ）に基づき、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差が定数Ｇ２より大きいか否かを判断する。両信号の差が定数Ｇ２より大きい場合は、ＹＥＳの矢印で示すステップＳＢ５に進み、差が小さい場合は、ＮＯの矢印で示すステップＳＢ６に進む。
【００５３】
ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）＞Ｇ２  …（Ｃ）
ステップＳＢ５では、色信号ＧＬＳ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）とする。その後、ステップＳＢ８に進み、補正色信号生成処理を終了して、図４のステップＳＡ８に進む。
【００５４】
ステップＳＢ６では、下記式（Ｄ）に基づき、加重係数αを求める。その後ステップＳＢ７に進む。
【００５５】
α＝（ＧＬ（ｘ，ｙ）−ＧＬＳ（ｘ，ｙ）−Ｇ１）／（Ｇ２−Ｇ１）…（Ｄ）
ステップＳＢ７では、下記式（Ｅ）に従い、ステップＳＢ６で求めた加重係数αを用いてガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との加重平均値を求めて補正信号Ｇ’Ｌ（ｘ，ｙ）とする。その後、ステップＳＢ８に進み、補正色信号生成処理を終了して、図４のステップＳＡ８に進む。
【００５６】
Ｇ’Ｌ（ｘ，ｙ）＝αＧＬＳ（ｘ，ｙ）＋（１−α）ＧＬ（ｘ，ｙ）  …（Ｅ）
長いシャッタ時間による色信号にスミアが含まれる場合、長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）はガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）より大きくなる。よって、画像としてのスミアが目立つレベルを定数Ｇ２として設定し、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差が定数Ｇ２以上では色信号ＧＬＳ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）としてスミアを避けている。
【００５７】
また、画像としてスミアが殆ど見えないレベルを定数Ｇ１として設定し、ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差が定数Ｇ１以下では色信号ＧＬ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）としている。
【００５８】
ガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）との差の絶対値が定数Ｇ２以下で定数Ｇ１以上の場合、両者の加重平均値を補正信号Ｇ’Ｌ（ｘ，ｙ）として、定数Ｇ１と定数Ｇ２の境界付近で補正信号が滑らかにつながるようになる。
【００５９】
なお、定数Ｇ１及びＧ２は、ともに正の定数であり、Ｇ１＜Ｇ２の関係が成り立つように予め設定される。この時、定数Ｇ１と定数Ｇ２として小さい値を選ぶと合成画像のスミアは減少するが、Ｓ／Ｎが悪いガンマ変換した換算色信号色信号ＧＬＳ（ｘ，ｙ）成分が多くなるので、画質低下が目立つようになる。よって、定数Ｇ１と定数Ｇ２として適当な値を選ぶことが必要である。
【００６０】
図６は、図１に示す固体撮像素子（撮像部）２の第２の実施例による動作を説明するためのタイミング図である。
【００６１】
第２の実施例では、短いシャッタ時間の（露光量の小さい）撮像を先に行い、その後、長いシャッタ時間（露光量の大きい）撮像を行う。
【００６２】
まず、メカニカルシャッタが開かれると共に、電子シャッタパルスが印加される。その後、タイミングｔ１１においてＶＣＣＤ１４に高速転送パルスが印加される。ＶＣＣＤ１４への高速転送パルスの印加により、ＶＣＣＤ１４に残留するスミア電荷や不要電荷は掃き出される。しかし、メカニカルシャッタが開放されているので、高照度の被写体が結像されている部分では、新たに発生するスミア電荷を完全に掃き出すことはできないので、高速転送パルスの印加後にも、ＶＣＣＤ１４にスミア電荷は残留する。
【００６３】
次ぎに、タイミングｔ１２において短いシャッタ時間による撮像が開始されて該撮像による信号電荷が光電変換素子１２に蓄積される。その後、タイミングｔ１４において、読み出しパルスを光電変換素子１２の読み出しゲート領域に印加することで、信号電荷をＶＣＣＤ１４に読み出すが、ＶＣＣＤ１４にスミア電荷が残留しているので、先に撮像する短いシャッタ時間の色信号にはスミアが重畳することになる。
【００６４】
また、タイミングｔ１４からタイミングｔ１５において長いシャッタ時間による撮像が行われて該撮像による信号電荷が光電変換素子１２に蓄積される。長いシャッタ時間の撮像が終了すると、タイミングｔ１５においてメカニカルシャッタは閉じられる。なお、タイミングｔ１３からｔ１６の間はＶＣＣＤ１４の転送は停止されている。
【００６５】
次ぎに、タイミングｔ１６からタイミングｔ１７において、ＶＣＣＤ１４にラインシフトパルスが印加され、ＶＣＣＤ１４に蓄積されていた短いシャッタ時間の撮像による信号電荷は垂直方向に転送され、ＨＣＣＤ２３を介して周辺回路２４から短いシャッタ時間の出力信号（色信号）ＳＳとして順次読み出される。
【００６６】
短いシャッタ時間の色信号ＳＳの読み出しが終了すると、タイミングｔ１８において、読み出しパルスを光電変換素子１２の読み出しゲート領域に印加することで、長いシャッタ時間の信号電荷をＶＣＣＤ１４に読み出す。この時、メカニカルシャッタは閉じた状態であるので、ＶＣＣＤ１４には新たなスミア電荷が発生しないため、長いシャッタ時間の色信号へのスミアの重畳は起きない。
【００６７】
その後、タイミングｔ１９からタイミングｔ２０において、ＶＣＣＤ１４にラインシフトパルスが印加され、ＶＣＣＤ１４に蓄積されていた長いシャッタ時間の撮像による信号電荷は垂直方向に転送され、ＨＣＣＤ２３を介して周辺回路２４から長いシャッタ時間の出力信号（色信号）ＳＬとして順次読み出される。
【００６８】
以上のような動作により、本発明の第２の実施例では、スミアが重畳した短いシャッタ時間の色信号とスミアのない長いシャッタ時間の色信号とが固体撮像素子（撮像部）２から出力される。
【００６９】
図７は、本発明の第２の実施例による撮像装置１の構成例を示すブロック図である。
【００７０】
第１の実施例との相違点は、短いシャッタ時間による撮像が行われた後に長いシャッタ時間による撮像が行われる点である。
【００７１】
すなわち、撮像部２が、まず、画素位置（ｘ，ｙ）におけるスミアの重畳した短いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＳＳ（ｘ，ｙ）を出力し、利得調整回路３ａは、該出力されたスミアの重畳した色信号ＳＳ（ｘ，ｙ）を利得調整して、ガンマ変換回路４ａに出力する。ガンマ変換回路４ａは、色信号ＳＳ（ｘ，ｙ）をガンマ変換して、色信号ＧＳ（ｘ，ｙ）として補正色信号生成回路６に出力する。
【００７２】
撮像部２は、次ぎに、画素位置（ｘ，ｙ）におけるスミアの無い長いシャッタ時間の赤信号、緑信号又は青信号のいずれかの色信号ＳＬ（ｘ，ｙ）を出力し、利得調整回路３ｂは、該出力された色信号ＳＬ（ｘ，ｙ）を利得調整して、ガンマ変換回路４ｂ及び換算色信号生成回路５の双方に出力する。
【００７３】
ガンマ変換回路４ｂは、色信号ＳＬ（ｘ，ｙ）をガンマ変換して、ガンマ変換後の色信号ＧＬ（ｘ，ｙ）として色信号合成回路７に出力する。
【００７４】
換算色信号生成回路５は、色信号ＳＬ（ｘ，ｙ）を、長いシャッタ時間の色信号ＳＬと短いシャッタ時間の色信号ＳＳとの感度比ｍ分の１で乗算して、リニア値の換算色信号色信号ＳＳＬ（ｘ，ｙ）としてガンマ変換回路４ｃに出力する。ガンマ変換回路４ｃは、換算色信号色信号ＳＳＬ（ｘ，ｙ）をガンマ変換して、ガンマ変換後の換算色信号色信号ＧＳＬ（ｘ，ｙ）として補正色信号生成回路６に出力する。
【００７５】
感度比ｍは、大きい露光量（長いシャッタ時間）／小さい露光量（短いシャッタ時間）から求められる感度比である。なお、ここで大きい露光量の色信号ＳＬ（ｘ，ｙ）を感度比ｍ分の１で乗算するのは、大きい露光量の色信号ＳＳ（ｘ，ｙ）と信号レベルのスケールを合わせるためである。
【００７６】
補正色信号生成回路６は、ガンマ変換した換算色信号色信号ＧＳＬ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）とから補正信号Ｇ’Ｓ（ｘ，ｙ）を生成する。なお、補正色信号生成回路６における処理の詳細は、後に図９を用いて説明する。
【００７７】
色信号合成回路７は、補正信号Ｇ’Ｓ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とを合成し、合成色信号ＧＣ（ｘ，ｙ）を生成する。なお、色信号合成回路７における処理の詳細は、後に図８を用いて説明する。
【００７８】
色信号処理回路８は、合成色信号ＧＣ（ｘ，ｙ）に対して各種の色信号処理を行い、合成画像信号として出力する。
【００７９】
図８は、本発明の第２の実施例による色信号合成処理を表すフローチャートである。
【００８０】
ステップＳＣ１では、色信号合成処理をスタートし、ステップＳＣ２で、撮像部２のＣＣＤイメージセンサの画素位置（ｘ，ｙ）における短いシャッタ時間のリニア値の赤色、緑色又は青色の色信号ＳＳ（ｘ，ｙ）を取得し、ガンマ変換してガンマ変換した色信号ＧＳ（ｘ，ｙ）とする。
【００８１】
ステップＳＣ３では、撮像部２のＣＣＤイメージセンサの画素位置（ｘ，ｙ）における長いシャッタ時間のリニア値の赤色、緑色又は青色の色信号ＳＬ（ｘ，ｙ）を取得する。
【００８２】
ステップＳＣ４では、ステップＳＣ３で取得した色信号ＳＬ（ｘ，ｙ）をガンマ変換して、ガンマ変換した色信号ＧＬ（ｘ，ｙ）とする。
【００８３】
ステップＳＣ５では、ステップＳＣ３で取得した色信号ＳＬ（ｘ，ｙ）を長いシャッタ時間の色信号ＳＬと短いシャッタ時間の色信号ＳＳとの感度比ｍで割り、リニア値の換算色信号色信号ＳＳＬ（ｘ，ｙ）を生成する。
【００８４】
ステップＳＣ６では、ステップＳＣ５で生成した換算色信号色信号ＳＳＬ（ｘ，ｙ）をガンマ変換して、ガンマ変換した換算色信号色信号ＧＳＬ（ｘ，ｙ）を生成する。
【００８５】
ステップＳＣ７では、図９に示す補正色信号生成処理を行う。補正色信号生成処理は、ガンマ変換した換算色信号色信号ＧＳＬ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）とから補正信号Ｇ’Ｓ（ｘ，ｙ）を生成する。
【００８６】
ステップＳＣ８では、下記式（Ｆ）に従い、補正信号Ｇ’Ｓ（ｘ，ｙ）と長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）とを合成し、合成色信号ＧＣ（ｘ，ｙ）を生成する。
【００８７】
ＧＣ（ｘ，ｙ）＝ｋＧＬ（ｘ，ｙ）＋（１−ｋ）Ｇ’Ｓ（ｘ，ｙ）  …（Ｆ）
ただし、ｋは、合成パラメータであり、０〜１の範囲の定数である。合成パラメータｋの値は０．５〜０．７であることが望ましい。
【００８８】
合成色信号ＧＣ（ｘ，ｙ）を生成した後は、該生成した合成色信号ＧＣ（ｘ，ｙ）を出力してステップＳＣ９に進み色信号合成処理を終了する。
【００８９】
図９は、図８のステップＳＣ７で行われる補正色信号生成処理の一例を表すフローチャートである。
【００９０】
ステップＳＤ１では、補正色信号生成処理を開始し、ステップＳＤ２では、下記式（Ｇ）に基づき、ガンマ変換した長いシャッタ時間の色信号ＧＬ（ｘ，ｙ）が定数Ｇ３より小さいか否かを判断する。定数Ｇ３より小さい場合は、ＹＥＳの矢印で示すステップＳＤ３に進み、大きい場合は、ＮＯの矢印で示すステップＳＤ４に進む。
【００９１】
ＧＬ（ｘ，ｙ）＜Ｇ３  …（Ｇ）
ステップＳＤ３では、換算色信号色信号ＳＳＬ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｓ（ｘ，ｙ）とする。その後、ステップＳＤ８に進み、補正色信号生成処理を終了して、図８のステップＳＣ８に進む。
【００９２】
ステップＳＤ４では、下記式（Ｈ）に基づき、長いシャッタ時間のガンマ変換後の色信号ＧＬ（ｘ，ｙ）が定数Ｇ４より大きいか否かを判断する。定数Ｇ４より大きい場合は、ＹＥＳの矢印で示すステップＳＤ５に進み、小さい場合は、ＮＯの矢印で示すステップＳＤ６に進む。
【００９３】
ＧＬ（ｘ，ｙ）＞Ｇ４  …（Ｈ）
ステップＳＤ５では、短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｓ（ｘ，ｙ）とする。その後、ステップＳＤ８に進み、補正色信号生成処理を終了して、図８のステップＳＣ８に進む。
【００９４】
ステップＳＤ６では、下記式（Ｉ）に基づき、加重係数βを求める。その後ステップＳＤ７に進む。
【００９５】
β＝（ＧＬ（ｘ，ｙ）−Ｇ３）／（Ｇ４−Ｇ３）…（Ｉ）
ステップＳＤ７では、下記式（Ｊ）に従い、ステップＳＤ６で求めた加重係数βを用いてガンマ変換した換算色信号色信号ＧＳＬ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）との加重平均値を求めて補正信号Ｇ’Ｓ（ｘ，ｙ）とする。その後、ステップＳＤ８に進み、補正色信号生成処理を終了して、図８のステップＳＣ８に進む。
【００９６】
Ｇ’Ｓ（ｘ，ｙ）＝（１−β）ＧＳＬ（ｘ，ｙ）＋βＧＳ（ｘ，ｙ）  …（Ｊ）
この第２の実施例では、第１の実施例とは異なり、スミアが無い長いシャッタ時間の色信号が飽和すると、本質的にスミア補正ができない。なぜならば、短いシャッタ時間の換算色信号を精度良く生成するのが難しいためである。
【００９７】
しかし、スミアは比較的暗い部分で目立つので、長いシャッタ時間の色信号が飽和しない画像部分でスミア補正をすることで、スミア低減の効果を得ることができる。また、長いシャッタ時間の色信号はＳ／Ｎ比が良いので、そのまま短いシャッタ時間の補正色信号の生成に使用することに利点がある。
【００９８】
従って、第２の実施例では、スミアの大小にかかわらず、長いシャッタ時間の色信号ＧＬ（ｘ，ｙ）が飽和したか否かで補正色信号を決定する。そこで、この第２の実施例では、定数Ｇ４として長いシャッタ時間の色信号ＧＬ（ｘ，ｙ）の飽和又は飽和付近の値を設定し、定数Ｇ３を定数Ｇ４より小さい値に設定する。
【００９９】
長いシャッタ時間による色信号が飽和した場合、すなわち、定数Ｇ４以上の場合、ガンマ変換した短いシャッタ時間の色信号ＧＳ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）とする。また、定数Ｇ３より小さい場合は、換算色信号ＧＳＬ（ｘ，ｙ）をそのまま補正信号Ｇ’Ｌ（ｘ，ｙ）としている。
【０１００】
このように、基本的に長いシャッタ時間の色信号から生成した換算色信号を補正色信号として利用する。しかし、長いシャッタ時間の色信号が飽和以上の値に達した時には、補正ができないため、短いシャッタ時間の色信号を補正色信号として使用する。また、定数Ｇ３と定数Ｇ４の境界付近では長いシャッタ時間による色信号が定数Ｇ４以下で定数Ｇ４以上の場合、両者の加重平均値を補正信号Ｇ’Ｌ（ｘ，ｙ）として、定数Ｇ３と定数Ｇ４の境界付近で補正信号が滑らかにつながるようにしている。
【０１０１】
以上、本発明の第１及び第２の実施例によれば、長いシャッタ時間の色信号と短いシャッタ時間の色信号とのどちらか一方にスミアが重畳する場合でも、スミアが目立たない良好な画質で、且つダイナミックレンジの広い画像を得ることができる。
【０１０２】
なお、本発明の実施例は、照度・色差信号（ＹＣｒＣｂ）に変換された２枚の画像の合成にも適用することができる。この場合は、照度・色差信号（ＹＣｒＣｂ）をＲＧＢ信号に変換して、ＲＧＢの各信号に対して本実施例と同じ処理を行うことで同様の効果を得ることができる。
【０１０３】
また、上述の実施例では、ＣＣＤカラーイメージセンサを用いて説明したが、白黒センサを用いることもできる。この場合は、単一の白黒の画像信号に対して本実施例と同じ処理を行うことで同様の効果を得ることができる。
【０１０４】
また、上述の実施例では、補正信号Ｇ’Ｌ（ｘ，ｙ）と短いシャッタ時間のガンマ変換後の色信号ＧＳ（ｘ，ｙ）との合成を合成パラメータｋを用いて行ったが、両信号の合成は、これに限るものではない。
【０１０５】
また、本発明の実施例では、複数の光電変換素子１２が正方行列上に配列された受光部を有する固体撮像素子１を例として説明したが、本発明はこれに限らず、例えば、図１０に示すようなＰＩＡＣＣＤ（Ｐｉｘｅｌ  Ｉｎｔｅｒｌｅａｖｅｄ  Ａｒｒａｙ  ＣＣＤ）を採用した受光部を有する固体撮像素子３２を用いることができる。受光領域は、多数の光電変換素子１２をいわゆる画素ずらし配置に配置して構成されている。ここで、本明細書でいう「画素ずらし配置」とは、２次元テトラゴナル行列の第１格子と、その格子間位置に格子点を有する２次元テトラゴナル行列の第２格子とを合わせた配置を指す。例えば、奇数列（行）中の各光電変換素子１２に対し、偶数列（行）中の光電変換素子１２の各々が、光電変換素子１２の列（行）方向ピッチの約１／２、列（行）方向にずれ、光電変換素子列（行）の各々が奇数行（列）または偶数行（列）の光電変換素子１２のみを含む。「画素ずらし配置」は、多数個の光電変換素子１２を複数行、複数列に亘って行列状に配置する際の一形態である。
【０１０６】
なお、ピッチの「約１／２」とは、１／２を含む他に、製造誤差、設計上もしくはマスク製作上起こる画素位置の丸め誤差等の要因によって１／２から外れてはいるものの、得られる固体撮像素子１２の性能およびその画像の画質からみて実質的に１／２と同等とみなすことができる値をも含むものとする。上記の「光電変換素子行内での光電変換素子１２のピッチの約１／２」についても同様である。
【０１０７】
それぞれの光電変換素子１２の列間には、光電変換素子１２で発生した信号電荷を読み出して垂直方向に転送する垂直電荷転送装置１４が、光電変換素子１２の間隙を垂直方向に蛇行するように設けられている。画素ずらし配置により形成された空隙部に蛇行する転送チャネルが配置され、隣接する転送チャネルは光電変換素子を介して離れたり、チャネルストップ領域を挟んで近接したりする。
【０１０８】
以上実施例に沿って本発明を説明したが、本発明はこれらに制限されるものではない。例えば、種々の変更、改良、組み合わせ等が可能なことは当業者に自明であろう。
【図面の簡単な説明】
【０１０９】
【図１】本発明の実施例に共通の固体撮像素子（撮像部）２の概略平面図である。
【０１１０】
【図２】図１に示す固体撮像素子（撮像部）２の第１の実施例による動作を説明するためのタイミング図である。
【図３】本発明の第１の実施例による撮像装置１の構成例を示すブロック図である。
【図４】本発明の実施例による色信号合成処理を表すフローチャートである。
【図５】図４のステップＳＡ７で行われる補正色信号生成処理の一例を表すフローチャートである。
【図６】図１に示す固体撮像素子（撮像部）２の第２の実施例による動作を説明するためのタイミング図である。
【図７】本発明の第２の実施例による撮像装置１の構成例を示すブロック図である。
【図８】本発明の第２の実施例による色信号合成処理を表すフローチャートである。
【図９】図８のステップＳＣ７で行われる補正色信号生成処理の一例を表すフローチャートである。
【図１０】ＰＩＡＣＣＤを採用した受光部の一例を示す平面図である。
【図１１】従来の撮像装置５１の構成例を示すブロック図である。
【符号の説明】
【０１１１】
１…撮像装置、２…固体撮像素子（撮像部）、３…利得調整回路、４…ガンマ変換回路、５…換算色信号生成回路、６…補正色信号生成回路、７…色信号合成回路、８…色信号処理回路、１２…光電変換素子（画素）、１４…ＶＣＣＤ、２３…ＨＣＣＤ、２４…周辺回路
【図１】
2005244459.tif 000003
【図２】
2005244459.tif 000004
【図３】
2005244459.tif 000005
【図４】
2005244459.tif 000006
【図５】
2005244459.tif 000007
【図６】
2005244459.tif 000008
【図７】
2005244459.tif 000009
【図８】
2005244459.tif 000010
【図９】
2005244459.tif 000011
【図１０】
2005244459.tif 000012
【図１１】
2005244459.tif 000013