(57)【要約】【課題】全画素読み出し方式ではなく汎用的な方式の固体撮像素子を使ってＳＶＥ撮像ができるようにする。【解決手段】高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷を独立に取得するようにセンサ部が所定の感度パターンで配置され、かつセンサ部の配列の間に電荷転送部が配列されたインターライン方式の構成のＣＣＤ固体撮像素子を使用する。メカニカルシャッタを開放してセンサ部に高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを同時に蓄積した後（ｔ１２〜ｔ１４）、メカニカルシャッタを閉じて信号電荷の蓄積を停止させる（ｔ１４）。この後、フレーム読み出し方式を適用し、最初に高感度画素信号に対応する信号電荷を垂直ＣＣＤに読み出してラインシフトし（ｔ２０〜ｔ２６）、全てのラインシフトが完了した後、低感度画素信号に対応する信号電荷を垂直ＣＣＤに読み出してラインシフトする（ｔ３０〜ｔ３６）。【選択図】図１１
2007135200.tif 000002
【特許請求の範囲】
【請求項１】
入力される電磁波の強度に応じた信号電荷を取得する複数の電荷生成部が配置され、前記電荷生成部で取得した信号電荷を所定方向に転送する電荷転送部を備えた撮像素子を用いて高感度画素信号と低感度画素信号を取得し、この高感度画素信号と低感度画素信号とを使い分けて出力画像を生成することでダイナミックレンジを拡大する撮像方法であって、
前記撮像素子として、高感度画素信号に対応する信号電荷もしくは低感度画素信号に対応する信号電荷をそれぞれ独立に取得するようにそれぞれの電荷生成部が所定の感度パターンで配置され、電荷生成部の配列の間に電荷転送部が配列されたインターライン方式の構成のものを使用し、
前記電荷生成部に入射する前記電磁波の量を異なるものとすることで、それぞれの電荷生成部が前記高感度画素信号に対応する信号電荷もしくは低感度画素信号に対応する信号電荷をそれぞれ独立に取得するようにし、
それぞれの前記電荷生成部に高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを同時に蓄積した後、信号電荷の蓄積を停止させ、その後、高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを所定の順で電荷転送部に読み出して転送する
ことを特徴とする撮像方法。
【請求項２】
入力される電磁波の強度に応じた信号電荷を取得する複数の電荷生成部が配置され、前記電荷生成部で取得した信号電荷を所定方向に転送する電荷転送部を備えた撮像素子を駆動制御する駆動装置であって、
前記撮像素子は、前記電荷生成部に入射する前記電磁波の量を異なるものとすることで、高感度画素信号に対応する信号電荷もしくは低感度画素信号に対応する信号電荷をそれぞれ独立に取得するようにそれぞれの電荷生成部が所定の感度パターンで配置され、電荷生成部の配列の間に電荷転送部が配列されたインターライン方式の構成のものであり、
前記電荷生成部に高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを同時に蓄積した後、信号電荷の蓄積を停止させ、その後、高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを所定の順で電荷転送部に読み出して転送するように制御する駆動制御部
を備えたことを特徴とする駆動装置。
【請求項３】
入力される電磁波の強度に応じた信号電荷を取得する複数の電荷生成部が配置され、前記電荷生成部で取得した信号電荷を所定方向に転送する電荷転送部を具備した撮像素子を備えた撮像装置であって、
前記撮像素子は、前記電荷生成部に入射する前記電磁波の量を異なるものとすることで、高感度画素信号に対応する信号電荷もしくは低感度画素信号に対応する信号電荷をそれぞれ独立に取得するようにそれぞれの電荷生成部が所定の感度パターンで配置され、かつ前記電荷生成部の配列の間に前記電荷転送部が配列されたインターライン方式の構成となっており、
前記電磁波の前記電荷生成部への入射並びに高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷の各電荷生成部への蓄積動作を制御するとともに、高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷を所定の順で電荷転送部に読み出して転送するように制御する駆動制御部と、
取得された高感度画素信号と低感度画素信号とを使い分けて出力画像を生成することでダイナミックレンジを拡大する画像処理部と
を備えたことを特徴とする撮像装置。
【請求項４】
前記撮像素子は、透過率の異なるニュートラルデンシティフィルタが前記電荷生成部の前面に配置されることで、前記電荷生成部に入射する前記電磁波の量が異なるものとされている
ことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記電荷生成部への信号電荷の蓄積を停止させる機構的なシャッタを備えている
ことを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記駆動制御部は、前記電荷生成部への信号電荷の蓄積中に、前記電荷転送部での転送動作を行なうように制御する
ことを特徴とする請求項３に記載の撮像装置。
【請求項７】
前記駆動制御部は、前記高感度画素信号に対応する信号電荷と前記低感度画素信号に対応する信号電荷の前記電荷転送部への最初の読み出しに先立って、前記電荷転送部を前記信号電荷の転送よりも高速に転送動作を行なうように制御する
ことを特徴とする請求項３または６に記載の撮像装置。
【請求項８】
前記撮像素子は、前記高感度画素信号に対応する信号電荷を取得する第１の電荷生成部が一並びに配列され、その隣りに、前記低感度画素信号に対応する信号電荷を取得する第２の電荷生成部が一並びに配列されており、
前記駆動制御部は、前記第１の電荷生成部が配列されたラインと前記第２の電荷生成部が配列されたラインの各信号電荷をフィールドごとに交互に前記電荷転送部に読み出すように制御する
ことを特徴とする請求項３に記載の撮像装置。
【請求項９】
前記駆動制御部は、前記電荷生成部に高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを同時に蓄積した後、信号電荷の蓄積を停止させ、その後、高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを順次電荷転送部に読み出して転送するように制御する
ことを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記駆動制御部は、低感度画素信号に対応する信号電荷を取得する前記第２の電荷生成部から前記電荷転送部への信号電荷の読み出しと転送とを先に行なうように制御する
ことを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記駆動制御部は、高感度画素信号に対応する信号電荷を取得する前記第１の電荷生成部から前記電荷転送部への信号電荷の読み出しと転送とを先に行なうように制御する
ことを特徴とする請求項９に記載の撮像装置。
【請求項１２】
前記電磁波の前記電荷生成部への入射強度状態を監視する露出制御部をさらに備え、
前記駆動制御部は、前記露出制御部から前記入射強度状態の情報を受け取り、この入射強度状態の情報を参照して、前記高感度画素信号に対応する信号電荷と前記低感度画素信号に対応する信号電荷の読み出しと転送とを、何れを先に行なうかを制御する
ことを特徴とする請求項９に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を撮像しこの被写体像に応じた画像信号を出力する固体撮像素子（イメージセンサ）を使用した撮像方法および固体撮像素子を駆動する駆動装置、並びに固体撮像素子と駆動装置とを備えた固体撮像装置や電子スチルカメラや撮像装置モジュールなどの、撮像方法を実施する撮像装置（カメラシステム）に関する。より詳細には、撮像された被写体画像のダイナミックレンジを向上させる技術に関する。
【背景技術】
【０００２】
ＣＣＤ（Charge Coupled Device）撮像素子やＣＭＯＳ（Complementary Mental-Oxide Semiconductor ）センサなどのような固体撮像素子が、ビデオカメラやデジタルスチルカメラなどの撮像装置、ＦＡ（Factory Automation）の分野における部品検査装置、ＭＥ（Medical Electronics ）の分野における電子内視鏡などの光計測装置に幅広く利用されている。
【０００３】
ここで、固体撮像素子を用いた撮像装置や光計測機器などにおいては、ダイナミックレンジを向上させるために、異なる感度の光電変換素子（フォトダイオードなどの受光素子）を利用して画像を撮像し、撮像により得られた光強度信号を合成する手法が種々提案されている。
【０００４】
【特許文献１】米国特許出願  ＵＳ  ＡＰＰ  ０９／３２６，４２２号明細書
【特許文献２】米国特許出願  ＵＳ  ＡＰＰ  ０９／５１１，４６９号明細書
【特許文献３】特開２００２−１１２１２０号公報
【特許文献４】国際公開第ＷＯ２００２／０５６６０３号パンフレット
【特許文献５】特開２００４−１７２８５８号公報
【非特許文献１】S.K.Nayar and T.Mitsunaga,"High Dynamic Range Imaging:Spatially Varying Pixel Exposures",Proc. of Computer Vision and Pattern Recognition 2000,Vol.1,pp.472-479,June,2000
【０００５】
たとえば、特許文献１，２および非特許文献１には、通常のダイナミックレンジを有する撮像素子に、出力画像の１画素に対応する１つの受光素子ごと、その感度が異なるような仕組みを施して撮像し、得られた画像信号に所定の画像処理を施して広ダイナミックレンジの画像信号を生成する仕組みが提案されている。
【０００６】
受光素子ごとの感度が異なるような仕組みとしては、受光素子ごとに光の透過率や開口率を変える、あるいは電子シャッタ機能を使うなどによって、空間的な感度のパターンをつくることにより実現する。これらの空間的な感度パターンを用いて解像度を低下させることなしにダイナミックレンジを向上させる技術の１つがＳＶＥ（Spatially Varying Exposure）方式と称するものである。
【０００７】
このＳＶＥ方式では、各受光素子は１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。また、全ての受光素子が同時に露光するので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
【０００８】
このＳＶＥ方式を単板カラーＣＣＤ固体撮像素子を用いて実現するための固体撮像素子の構造およびその駆動方法としては、たとえば、特許文献３〜５に、電子シャッタ機能を利用して各受光素子の露出時間をいくつかのパターンで変化させる露出モードを設ける電子シャッタ方式ＳＶＥの仕組みが提案されている。
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、これらに記載の仕組みは、全画素読み出し（ＰＳ；Progressive Scan）方式のカラー固体撮像素子を使用した場合についてのみ、電子シャッタ機能を利用した駆動タイミングを具体的に示しており、その他の方式のセンサで電子シャッタ方式ＳＶＥ方式にして信号電荷を読み出す仕組みについては、具体的な開示がない。
【００１０】
たとえば、特許文献４の図２３に制御タイミングが示されているが、その対象となる撮像素子がどのような方式の素子であるのかは明示されていない。また、水平ラインごとに感度が変わるような感度モザイクパターンを実現するために、水平ラインごとに配置される垂直転送電極（垂直レジスタ駆動電極）を利用して、ラインごとに異なる読み出しパルス電圧がかけられるような若干の改良を行なうとよい旨が記載されているが、どのような改良を行なうかの具体的な仕組みについては開示がない。
【００１１】
また、任意の感度モザイクパターンに対して対処可能な仕組みとして、読み出し電極の配置態様についての説明があるが、それは３相駆動の垂直レジスタ（垂直ＣＣＤ）を持つ全画素読み出し方式のＣＣＤ固体撮像素子についてのものである。
【００１２】
また、特許文献５の図９に制御タイミングが示されているが、その対象となる撮像素子は全画素読み出し方式のものであることが明示されている。
【００１３】
一方、使用するＣＣＤ固体撮像素子が全画素読み出し方式のＣＣＤ固体撮像素子である場合、画素の微細化が困難である、製造コストが高いなどの問題もある。すなわち、従来、全画素読み出し（ＰＳ；Progressive Scan）の画素構造として、非特許文献２には、３層電極３相駆動のものが提案されている。
【００１４】
【非特許文献２】「１／２インチ３３万画素正方格子全画素読み出し方式ＣＣＤ撮像素子」、テレビジョン学会技術報告  情報入力、情報ディスプレイ１９９４年１１月、ｐ７−１２
【００１５】
この非特許文献２に記載の全画素読み出し方式の撮像素子は、３層目の転送電極も有効画素領域中において水平方向に延在した構造となっている。
【００１６】
しかしながら、３層構造とするには、３層ポリシリコンプロセスにより各画素に３枚の転送電極を配置する高度な微細化技術の導入が必要であり、製造コストが嵩む。また、全画素読み出し方式の撮像素子はインターライン方式の撮像素子と比較して飽和電子数が少ないという問題もある。
【００１７】
本発明は、上記事情に鑑みてなされたものであり、全画素読み出し方式ではなく、より汎用的な方式の固体撮像素子を使ってＳＶＥ撮像を行ない、ダイナミックレンジの広い画像を取得することができる仕組みを提供することを目的とする。
【課題を解決するための手段】
【００１８】
本発明に係る仕組みにおいては、半導体装置の一例である撮像素子として、入射された電磁波に対応する信号電荷を生成するマトリクス状に配列された電荷生成部と、電荷生成部により生成された信号電荷を一方の方向に順次転送する第１電荷転送部と、第１電荷転送部から転送された信号電荷を一方の方向とは異なる他の方向に順次転送する第２電荷転送部とを備えるものを使用する。
【００１９】
なお、“一方の方向”と“他の方向”とは相対的なものであり、一般的に走査速度の低速な列方向もしくは垂直方向と呼ばれるものが一方の方向に相当し、一般的に走査速度の高速な行方向もしくは水平方向と呼ばれるものが他の方向に相当する。ただし、たとえば図面を９０度回転させると、上下左右の関係が変わり、行と列もしくは垂直と水平の関係が逆転すると同様に、絶対的なものではない。たとえば、第１電荷転送部が列方向なら第２電荷転送部は行方向で、第２電荷転送部が列方向なら第１電荷転送部は行方向になる。以下、一方の方向は列方向もしくは垂直方向で代表記述し、他の方向は行方向もしくは水平方向で代表記述する。
【００２０】
またさらに、撮像素子として、電荷生成部に入射する電磁波の量を異なるものとすることで、高感度画素信号に対応する信号電荷もしくは低感度画素信号に対応する信号電荷をそれぞれ独立に取得するようにそれぞれの電荷生成部が所定の感度パターンで配置され、電荷生成部の配列の間に電荷転送部が配列されたインターライン方式の構成のものを使用する。
【００２１】
なお、ここで言う「インターライン方式」は、電荷生成部の配列の間に電荷転送部が配列された構造を有していればよく、典型的なインターライン方式のものに限らず、インターライン方式の撮像領域の下部に１フィールド分の信号電荷を蓄積するための蓄積領域を備えたフレームインターライン転送方式のものであってもよい。
【００２２】
そして、電磁波の電荷生成部への入射並びに高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷の各電荷生成部への蓄積動作を制御しつつ、高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを、フレーム読み出し方式を適用しつつ所定の順で電荷転送部に読み出して転送するように駆動制御部で制御する。
【００２３】
ここで、「所定の順」は、感度パターン配列によって様々な態様を採ることができ、フィールド別に別感度の画素信号を取得することに限定されない。たとえば、１行の各画素の感度が全て同じで、かつ異なる行との間で感度が異なる感度モザイクパターンの場合には、フィールドごとに別感度の画素信号を取得することができる。一方、１行の各画素の感度が所定の順で異なるように配置され、さらに異なる行との間でも感度が異なるように配置された感度モザイクパターンの場合には、各フィールド内でも、別感度の画素信号を取得することになる。
【００２４】
このようにして取得された高感度画素信号と低感度画素信号とを用いることでＳＶＥ撮像を実現でき、画像処理部では、高感度画素信号と低感度画素信号とを使い分けて出力画像を生成することでダイナミックレンジを拡大する合成処理を行なうことができる。
【００２５】
なお、本発明は、高感度画素信号と低感度画素信号とを、全画素読み出し方式ではなく、より汎用的な方式の固体撮像素子を使って如何にして取得するかがポイントであり、取得した高感度画素信号と低感度画素信号とを使い分けて出力画像を生成することでダイナミックレンジを拡大する合成処理の具体的な仕組み関しては、たとえば国際公開第ＷＯ２００２／０５６６０３号パンフレットや特開平２００４−１７２８５８号公報などに記載されている種々の仕組みを採用することができる。
【００２６】
なお、フレーム読み出し方式を適用するとは言っても、通常のインターライン型のＣＣＤ固体撮像素子でフレーム読み出し撮像を行なうときのように、Ｖブランキング期間に偶数ラインもしくは奇数ラインの各電荷生成部から垂直ＣＣＤ（垂直方向に信号電荷を転送する電荷転送部）に信号電荷を一斉に読み出し（フィールドシフトし）、次フィールドの画面撮像中の水平ブランキング期間内に垂直電荷転送（ラインシフト）を行なって水平ＣＣＤ（水平方向に信号電荷を転送する電荷転送部）まで信号電荷を転送するといった従来から知られているような単純なフレーム読み出し方式ではない。
【００２７】
本願発明の駆動制御タイミングとしては、高感度画素信号と低感度画素信号のそれぞれに対応する信号電荷を感度別の電荷生成部に同時に蓄積した後、フレーム読み出し方式を適用して、偶数ラインもしくは奇数ラインの別に独立に信号電荷を垂直ＣＣＤに読み出してラインシフトする点で従来から知られているような単純なフレーム読み出し方式とは違いがある。
【００２８】
なお、信号電荷を電荷生成部で生成しているいわゆる露光期間中は、ラインシフト動作を停止させておいてもよいが、その場合には、電荷転送部では、スミアや暗電流に起因した電荷が蓄積され続けるし、ブルーミングによる不要な電荷も溜まる。
【００２９】
したがって、露光終了後に、そのままの状態で電荷生成部から信号電荷を読み出すと、読み出した信号電荷にスミアや暗電流やブルーミングなどの不要な電荷が重畳され、Ｓ／Ｎ（Signal (to) Noise ratio ；信号対雑音比）やダイナミックレンジが低下し点欠陥のレベルや個数が増加する。よって、電荷生成部から信号電荷を最初に電荷転送部に読み出すのに先立って、たとえば通常の信号電荷のラインシフトよりも高速なラインシフト動作を行なって、この不要な電荷成分を掃き捨てておくのが好ましい。
【００３０】
また、信号電荷を電荷生成部で生成している露光期間中に、ラインシフト動作を行なっておくと、露光期間中に暗電流に起因した電荷が電荷転送部に蓄積され続ける現象を防止でき、電荷転送部に生じる暗電流に起因したＳ／Ｎ低下やダイナミックレンジの低下、点欠陥のレベルや個数の増加などを防止することができる。
【００３１】
ただし、この場合は、スミアやブルーミング現象の発生を防止することは難しく、電荷生成部から信号電荷を最初に電荷転送部に読み出すのに先立って、たとえば通常の信号電荷のラインシフトよりも高速なラインシフト動作を行なって、スミアやブルーミング現象を引き起こす不要な電荷成分を掃き捨てておくのがよい。
【００３２】
また従属項に記載された発明は、本発明に係る仕組みのさらなる有利な具体例を規定する。
【００３３】
たとえば、電荷生成部に入射する電磁波の量を異なるものとすることで各電荷生成部が所定の感度パターンで配置されるようにするに当たっては、透過率（あるいは濃度）の異なるニュートラルデンシティフィルタを前記所定の感度パターンに従って電荷生成部の前面に配置するのがよい。ニュートラルデンシティフィルタを利用すれば、オンチップレンズを用いて全体としての感度向上を図ることができるし、電荷生成部に電磁波が入射する開口面積を最適化することで、その時点で期待できる最高の解像度にしつつ、所定の感度パターンとなるように電荷生成部の検知感度を調整することもできる。
【００３４】
また、電荷生成部への信号電荷の蓄積を停止させるシャッタ機構としては、電子シャッタではなく、機構的なシャッタ（メカニカルシャッタ）を使うのがよい。メカニカルシャッタを用いることで、一般的なデジタルスチルカメラ用の撮像素子を流用することができる。
【００３５】
また、撮像素子としては、高感度画素信号に対応する信号電荷を取得する第１の電荷生成部が一並びに（一行に）配列され、その隣りに、前記低感度画素信号に対応する信号電荷を取得する第２の電荷生成部が一並びに（一行に）配列されているものを使用するのがよい。つまり、電荷生成部の並びごとに（たとえば水平ラインごとに）感度が変わるような感度パターンとされているものを使用するのがよい。
【００３６】
こうすることで、駆動制御部にて、奇数ラインと偶数ラインの信号電荷をフィールドごとに交互に電荷転送部に読み出すように、それぞれ一並びに配列された第１の電荷生成部および第２の電荷生成部を制御する「フレーム読み出し方式」とすれば、高感度画素信号の画像と低感度画素信号の画像とをフィールドごとに独立に取得することができる。
【００３７】
これを利用して、さらに、電荷生成部に高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを同時に蓄積した後、信号電荷の蓄積を停止させ、その後、フレーム読み出し方式を適用し、高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを順次電荷転送部に読み出して転送するように制御するのがよい。
【００３８】
ただし、この場合、露光を停止させた後に、低感度画素および高感度画素の内の一方の電荷生成部について電荷転送部に信号電荷を読み出して転送している期間には、他方の電荷生成部では、露光されないまま信号電荷を保持し続けていることになり、電荷生成部で生じる暗電流に起因した電荷が蓄積され続ける。したがって、後から読み出す方の信号については、電荷生成部で生じる暗電流に起因したＳ／Ｎやダイナミックレンジの低下、点欠陥のレベルや個数の増加などが問題となり得る。
【００３９】
ここで、取得した高感度画素信号と低感度画素信号とを使い分けて出力画像を生成することでダイナミックレンジを拡大する合成処理に当たっては、各感度の画素で取得した画素信号が所定の閾値レベル（小信号側はノイズレベルに対応する閾値θｌ、大信号側は飽和レベルに対応する閾値θｈ）と比較され、前記各感度の画素で取得した画素信号がこれらの閾値θｌと閾値θｈの間に入っているか否かの有効性判定を行ない、これらの閾値θｌと閾値θｈの間に入っていない無効である画素については、本来の強度が復元されないので、無効である画素の画素値を、その近傍の有効な画素の画素値を用いて補間する。
【００４０】
したがって、高感度画素信号に階調があり、低感度画素信号がノイズに埋もれ易い低輝度側では、低感度画素信号の方が無効となる画素が多く、高感度の画素値を用いた補間処理がなされる画素数が増える。よって、電荷生成部で生じる暗電流に起因したＳ／Ｎやダイナミックレンジの低下、点欠陥のレベルや個数の増加などの問題を受けないように補間処理をするには、有効画素が多くなる高感度画素信号の方を先に取得した方がよいことになる。
【００４１】
一方、高感度画素信号が飽和し易く低感度画素信号に階調がある高輝度側では、高感度画素信号の方が無効となる画素が多く、低感度の画素値を用いた補間処理がなされる画素数が増える。よって、電荷生成部で生じる暗電流に起因したＳ／Ｎ低下や点欠陥のレベルや個数の増加などの問題を受けないように補間処理をするには、有効画素が多くなる低感度画素信号の方を先に取得した方がよいことになる。
【００４２】
最低被写体照度を小さくするためには、つまり高感度化するためには、高感度画素信号のノイズが少ない方がいいことになる。一方、高感度画素信号が飽和し難く、また低感度画素信号がノイズに埋もれ難い標準光量（中輝度領域）では、無効となる一方の感度の画素値を有効な他方の画素値を用いて補間する画素数は少なく、総合的なＳ／Ｎや点欠陥などの観点では、この領域では低感度画素信号のノイズが少ない方がいいことになる。
【００４３】
これらを勘案すれば、高感度画素および低感度画素で取得した画素信号の状態を参照して、高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷の何れを先に読み出すかを切り替えるのがよい。
【００４４】
たとえば、高輝度側や中輝度領域では、低感度画素信号に対応する信号電荷を取得する第２の電荷生成部から電荷転送部への信号電荷の読み出し（フィールドシフト）と転送（ラインシフト）とを先に行なうように制御するのがよい。すなわち、電荷生成部に高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを同時に蓄積した後、フレーム読み出し方式を適用し、最初に低感度信号に対応する信号電荷を電荷転送部に読み出してラインシフトし、この全てのラインシフトが完了した後、高感度画素信号に対応する信号電荷を電荷転送部に読み出してラインシフトする。
【００４５】
こうすることで、最初に高感度画素信号に対応する信号電荷を電荷転送部に読み出してラインシフトし、この全てのラインシフトが完了した後、低感度画素信号に対応する信号電荷を電荷転送部に読み出してラインシフトしたときよりも、中輝度領域でのＳ／Ｎや点欠陥などを改善することができる。また、高輝度側でも効果は少ないが、多少は高輝度側の入射光強度のダイナミックレンジを広げることができるし、多少は高輝度側のＳ／Ｎや点欠陥などの改善も期待できる。
【００４６】
一方、低輝度側では、高感度画素信号に対応する信号電荷を取得する第１の電荷生成部から電荷転送部への信号電荷の読み出し（フィールドシフト）と転送（ラインシフト）とを先に行なうように制御するのがよい。すなわち、電荷生成部に高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを同時に蓄積した後、フレーム読み出し方式を適用し、最初に高感度画素信号に対応する信号電荷を電荷転送部に読み出してラインシフトし、この全てのラインシフトが完了した後、低感度画素信号に対応する信号電荷を電荷転送部に読み出してラインシフトする。
【００４７】
こうすることで、最初に低感度画素信号に対応する信号電荷を電荷転送部に読み出してラインシフトし、この全てのラインシフトが完了した後、高感度画素信号に対応する信号電荷を電荷転送部に読み出してラインシフトしたときよりも、低輝度側の入射光強度のダイナミックレンジを広げることができるし、低輝度側のＳ／Ｎを改善することもできる。また、低輝度側の点欠陥も少なくかつレベルも小さくすることができる。
【発明の効果】
【００４８】
本発明によれば、各電荷生成部が高感度画素信号に対応する信号電荷もしくは低感度画素信号に対応する信号電荷をそれぞれ独立に取得するように所定の感度パターンで配置されたインターライン方式の撮像素子を使用して、高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを所定の順で電荷転送部に読み出して転送するようにした。これにより、高感度画素信号と低感度画素信号とが所定の感度パターンで配置された感度モザイク画像を取得するＳＶＥ撮像を実現でき、この感度モザイク画像を使って、ダイナミックレンジを拡大する合成処理を行なうことができる。
【００４９】
全画素読み出し方式ではなく、製造コストが安く、同じ画素サイズなら全画素読み出し方式よりも飽和信号電子数を大きくできる汎用的な方式であるインターライン方式の撮像素子を使用してＳＶＥ撮像を行なうことができ、画素サイズの微細化が可能になる。
【発明を実施するための最良の形態】
【００５０】
以下、図面を参照して本発明の実施形態について詳細に説明する。
【００５１】
＜デジタルスチルカメラの全体構成＞
図１は、本発明に係る撮像装置（カメラシステム）の一実施形態であるデジタルスチルカメラ１を示す概略構成図である。なお、このデジタルスチルカメラ１は、静止画撮像動作時にカラー画像を撮像し得るカメラとして適用されるようになっている。
【００５２】
この図１で示す撮像装置は、ＣＣＤ固体撮像素子１０、光学系５、信号処理系６の一部であるプリアンプ部６２およびＡ／Ｄ変換部６４、露出コントローラ９４、およびＣＣＤ固体撮像素子１０を駆動制御する駆動装置の一例である駆動制御部９６を有する撮像装置モジュール３と、撮像装置モジュール３により得られる撮像信号に基づいて映像信号を生成しモニタ出力したり所定の記憶メディアに画像を格納したりする本体ユニット４とを備えてなるデジタルスチルカメラ１として構成されている。
【００５３】
撮像装置モジュール３内の駆動制御部９６には、ＣＣＤ固体撮像素子１０を駆動するための各種のパルス信号を生成するタイミング信号生成部４０と、このタイミング信号生成部４０からのパルス信号を受けて、ＣＣＤ固体撮像素子１０を駆動するためのドライブパルスに変換するドライバ（駆動部）４２と、ＣＣＤ固体撮像素子１０やドライバ４２などに電源供給する駆動電源４６とが設けられている。
【００５４】
撮像装置モジュール３内のＣＣＤ固体撮像素子１０と駆動制御部９６とにより固体撮像装置２が構成される。固体撮像装置２は、ＣＣＤ固体撮像素子１０と駆動制御部９６とが、１枚の回路基板上に配されたものとして提供されるものであるのがよい。
【００５５】
また、このデジタルスチルカメラ１の処理系統は、大別して、光学系５、信号処理系６、記録系７、表示系８、および制御系９から構成されている。なお、撮像装置モジュール３および本体ユニット４が、図示しない外装ケースに収容されて、実際の製品（完成品）が仕上がるのは言うまでもない。
【００５６】
光学系５は、ＣＣＤ固体撮像素子１０のセンサ部（電荷生成部）における信号電荷の蓄積を停止させる機能を持つ機構的なシャッタ（以下メカニカルシャッタと記す）５２、被写体の光画像を集光するレンズ５４、および光画像の光量を調整する絞り５６とから構成されている。
【００５７】
被写体Ｚからの光Ｌは、メカニカルシャッタ５２およびレンズ５４を透過し、絞り５６により調整されて、適度な明るさでＣＣＤ固体撮像素子１０に入射する。このとき、レンズ５４は、被写体Ｚからの光Ｌからなる映像が、ＣＣＤ固体撮像素子１０上で結像されるように焦点位置を調整する。
【００５８】
信号処理系６は、ＣＣＤ固体撮像素子１０からのアナログ撮像信号を増幅する増幅アンプや、増幅された撮像信号をサンプリングすることによってノイズを低減させるＣＤＳ（Correlated Double Sampling：相関２重サンプリング）回路などを有するプリアンプ部６２、プリアンプ部６２が出力するアナログ信号をデジタル信号に変換するＡ／Ｄ（Analog/Digital）変換部６４、Ａ／Ｄ変換部６４から入力されるデジタル信号に所定の画像処理を施すＤＳＰ（Digital Signal Processor）で構成された画像処理部６６から構成されている。
【００５９】
記録系７は、画像信号を記憶するフラッシュメモリなどのメモリ（記録媒体）７２と、画像処理部６６が処理した画像信号を符号化してメモリ７２に記録し、また、読み出して復号し画像処理部６６に供給するＣＯＤＥＣ（Code/Decode あるいはCompression/Decompression の略）７４とから構成されている。
【００６０】
表示系８は、画像処理部６６が処理した画像信号をアナログ化するＤ／Ａ（Digital/Analog）変換部８２、入力されるビデオ信号に対応する画像を表示することによりファインダとして機能する液晶（ＬＣＤ；Liquid Crystal Display）などよりなるビデオモニタ８４、およびアナログ化された画像信号を後段のビデオモニタ８４に適合する形式のビデオ信号にエンコードするビデオエンコーダ８６から構成されている。
【００６１】
制御系９は、先ず、図示しないドライブ（駆動装置）を制御して磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリに記憶されている制御用プログラムを読み出し、読み出した制御用プログラム、あるいはユーザからのコマンドなどに基づいてデジタルスチルカメラ１の全体を制御するＣＰＵ（Central Processing Unit ）などよりなる中央制御部９２を備える。
【００６２】
また制御系９は、画像処理部６６に送られた画像の明るさが適度な明るさを保つようにメカニカルシャッタ５２や絞り５６を制御する露出コントローラ（露出制御部）９４、ＣＣＤ固体撮像素子１０から画像処理部６６までの各機能部の動作タイミングを制御するタイミング信号生成部（タイミングジェネレータ；ＴＧ）４０を具備した駆動制御部９６、ユーザがシャッタタイミングやその他のコマンドを入力する操作部９８を有する。中央制御部９２は、デジタルスチルカメラ１のバス９９に接続された画像処理部６６、ＣＯＤＥＣ７４、メモリ７２、露出コントローラ（露出制御部）９４、およびタイミング信号生成部４０を制御している。
【００６３】
ビデオモニタ８４は、デジタルスチルカメラ１のファインダの役割も担っている。ユーザが操作部９８に含まれるシャッタボタンを押下した場合、中央制御部９２は、タイミング信号生成部４０に対し、シャッタボタンが押下された直後の画像信号を取り込み、その後は画像処理部６６の図示しない画像メモリに画像信号が上書きされないように信号処理系６を制御させる。その後、画像処理部６６の画像メモリに書き込まれた画像データは、ＣＯＤＥＣ７４によって符号化されてメモリ７２に記録される。以上のようなデジタルスチルカメラ１の動作によって、１枚の画像データの取り込みが完了する。
【００６４】
なお、このデジタルスチルカメラ１では、オートフォーカス（ＡＦ）、オートホワイトバランス（ＡＷＢ）、自動露光（ＡＥ）などの自動制御装置を備えている。これらの制御は、ＣＣＤ固体撮像素子１０から得られる出力信号を使用して処理する。たとえば、露出コントローラ９４は、画像処理部６６に送られた画像の明るさが適度な明るさを保つようにその制御値が中央制御部９２により設定され、その制御値に従って絞り５６を制御する。具体的には、中央制御部９２が画像処理部６６に保持されている画像から適当な個数の輝度値のサンプルを獲得し、その平均値が予め定められた適当とされる輝度の範囲に収まるように絞り５６の制御値を設定する。
【００６５】
タイミング信号生成部４０は、中央制御部９２により制御され、ＣＣＤ固体撮像素子１０、プリアンプ部６２、Ａ／Ｄ変換部６４、および画像処理部６６の動作に必要とされるタイミングクロックを発生し、各部に供給する。操作部９８は、ユーザが、デジタルスチルカメラ１を動作させるとき操作される。
【００６６】
図示した例は、信号処理系６のプリアンプ部６２およびＡ／Ｄ変換部６４を撮像装置モジュール３に内蔵しているが、このような構成に限らず、プリアンプ部６２やＡ／Ｄ変換部６４を本体ユニット４内に設ける構成を採ることもできる。またＤ／Ａ変換部８２を画像処理部６６内に設ける構成を採ることもできる。
【００６７】
また、タイミング信号生成部４０を撮像装置モジュール３に内蔵しているが、このような構成に限らず、タイミング信号生成部４０を本体ユニット４内に設ける構成を採ることもできる。またタイミング信号生成部４０とドライバ４２とが別体のものとしているが、このような構成に限らず、両者を一体化させたもの（ドライバ内蔵のタイミングジェネレータ）としてもよい。こうすることで、よりコンパクトな（小型の）デジタルスチルカメラ１を構成できる。
【００６８】
また、タイミング信号生成部４０やドライバ４２は、それぞれ個別のディスクリート部材で回路構成されたものでもよいが、１つの半導体基板上に回路形成されたＩＣ（Integrated Circuit）として提供されるものであるのがよい。こうすることで、コンパクトにできるだけでなく、部材の取扱いが容易になるし、両者を低コストで実現できる。また、デジタルスチルカメラ１の製造が容易になる。
【００６９】
また、使用するＣＣＤ固体撮像素子１０との関わりの強い部分であるタイミング信号生成部４０やドライバ４２をＣＣＤ固体撮像素子１０と共通の基板に搭載することで一体化させる、あるいは撮像装置モジュール３内に搭載することで一体化させると、部材の取扱いや管理が簡易になる。また、これらがモジュールとして一体となっているので、デジタルスチルカメラ１（の完成品）の製造も容易になる。なお、撮像装置モジュール３は、光学系５からのみ構成されていても構わない。
【００７０】
＜ＣＣＤ固体撮像素子と周辺部の概要；ＩＬ−ＣＣＤへの適用＞
図２は、ＣＣＤ固体撮像素子１０と、このＣＣＤ固体撮像素子１０を駆動する駆動制御部９６の一実施形態とから構成された第１実施形態の固体撮像装置２の概略図である。この第１実施形態では、センサ部の配列（垂直方向の配列）の間に垂直電荷転送部が配列されたインターライン（InterLine ）方式のＣＣＤ固体撮像素子（ＩＬ−ＣＣＤ）１０を４相で駆動する場合を例に採って説明する。
【００７１】
図２において、ＣＣＤ固体撮像素子１０には、駆動電源４６から、電源電圧ＶＤＤおよびリセットドレイン電圧ＶＲＤが印加され、ドライバ４２にも所定の電圧が供給されるようになっている。
【００７２】
固体撮像装置２を構成するＣＣＤ固体撮像素子１０は、半導体基板２１上に、画素（ユニットセル）に対応して受光素子の一例であるフォトダイオードなどからなるセンサ部（感光部；フォトセル）１１が多数、垂直（列）方向および水平（行）方向において２次元マトリクス状に配列されている。これらセンサ部１１は、受光面から入射した入射光を検知し、その光量（強度）に応じた電荷量の信号電荷を取得（一般的に光電変換といわれる）し、この取得した信号電荷を当該センサ部１１に蓄積する。
【００７３】
またＣＣＤ固体撮像素子１０は、センサ部１１の垂直列ごとにＮ相駆動に対応する複数本の垂直転送電極２４が設けられる垂直ＣＣＤ（Ｖレジスタ部、垂直電荷転送部）１３が配列されている。本例では、４相駆動に対応するべく、２ユニットセル当たり４本の垂直転送電極２４（それぞれに参照子_1，_2，_3，_4を付して示す）が電荷転送部の一例である垂直ＣＣＤ１３上に配列されている。
【００７４】
たとえば、垂直ＣＣＤ１３上（受光面側）には、各列の同垂直位置の垂直ＣＣＤ１３に共通となるように、４種類の垂直転送電極２４が、垂直方向に所定の順序で、センサ部１１の受光面に開口部を形成するように配置されている。垂直転送電極２４は、水平方向に延在するように、すなわち、センサ部１１の受光面側に開口部を形成するようにしつつ、水平方向に横切るように配置される。
【００７５】
４種類の垂直転送電極２４は、１つのセンサ部１１に２つの垂直転送電極２４が対応するように形成され、かつ駆動制御部９６のドライバ４２から供給される４種類の垂直転送パルスΦＶ_1，ΦＶ_2，ΦＶ_3，ΦＶ_4で信号電荷を垂直方向に転送駆動するように構成されている。すなわち、垂直方向に隣接する２つのセンサ部１１を１組にして、４つの垂直転送電極２４にそれぞれ垂直転送パルスΦＶ_1，ΦＶ_2，ΦＶ_3，ΦＶ_4が駆動制御部９６のドライバ４２から印加されるようになっている。
【００７６】
また、ＣＣＤ固体撮像素子１０には、複数本の垂直ＣＣＤ１３の各転送先側端部すなわち、最後の行の垂直ＣＣＤ１３に隣接して、図の左右方向に延在する水平ＣＣＤ（Ｈレジスタ部、水平電荷転送部）１５が１ライン分設けられている。この水平ＣＣＤ１５は、たとえば２相の水平転送クロックＨ１，Ｈ２に基づく水平転送パルスΦＨ１，ΦＨ２によって転送駆動され、複数本の垂直ＣＣＤ１３から移された１ライン分の信号電荷を、水平ブランキング期間後の水平走査期間において順次水平方向に転送する。このため２相駆動に対応する複数本（２本）の水平転送電極２９（２９-1，２９-2）が設けられる。
【００７７】
ここで、図示した例では、垂直方向の４つの電極によって規定される垂直ＣＣＤ１３の一組（１パケット）に対応して、組ごとに４つの垂直転送電極２４が設けられ、その中で、垂直方向の最上部に位置する垂直転送電極２４は、垂直転送パルスΦＶ_1が印加される垂直転送電極２４_1に対応している。さらに１段前（より水平ＣＣＤ１５側）の垂直転送電極２４_2には垂直転送パルスΦＶ_2が印加され、さらに１段前（より水平ＣＣＤ１５側）の垂直転送電極２４_3には垂直転送パルスΦＶ_3が印加され、最も水平ＣＣＤ１５側の垂直転送電極２４_4には垂直転送パルスΦＶ_4が印加される。
【００７８】
また、垂直方向の最上部に位置するセンサ部１１は、垂直転送パルスΦＶ_1が印加される垂直転送電極２４_1と垂直転送パルスΦＶ_2が印加される垂直転送電極２４_2に対応している。さらに１段前（より水平ＣＣＤ１５側）のセンサ部１１は、垂直転送パルスΦＶ_3が印加される垂直転送電極２４_3と垂直転送パルスΦＶ_4が印加される垂直転送電極２４_4に対応している。
【００７９】
垂直ＣＣＤ１３の転送方向は図中縦（列）方向であり、この方向に垂直ＣＣＤ１３が設けられ、この方向に直交する方向（水平方向、行方向）に垂直転送電極２４が複数本並べられる。さらに、これら垂直ＣＣＤ１３と各センサ部１１との間には読み出しゲート部１２が介在している。各画素の読み出しゲート部１２上には、４つの垂直転送電極２４_1〜２４_4のうちの垂直転送電極２４_1，２４_3の対応する方が読み出し電極を兼ねるように設けられている。また各ユニットセルの境界部分にはチャネルストップ部（ＣＳ）１７が設けられている。これらセンサ部１１、センサ部１１の垂直列ごとに設けられ、各センサ部１１から読み出しゲート部１２によって読み出された信号電荷を垂直転送する複数本の垂直ＣＣＤ１３、読み出しゲート部１２、およびチャネルストップ部（ＣＳ）１７などによって撮像エリア１４が構成されている。
【００８０】
センサ部１１に蓄積された信号電荷は、読み出しゲート部１２に読み出しクロックＲＯＧに対応する読み出しパルスΦＲＯＧが印加されることにより垂直ＣＣＤ１３に読み出される。このセンサ部１１から垂直ＣＣＤ１３への信号電荷の読み出しを、特にフィールドシフトともいう。
【００８１】
垂直ＣＣＤ１３は、４相の垂直転送クロックＶ１〜Ｖ４に基づく垂直転送パルスΦＶ１〜ΦＶ４よって転送駆動され、読み出された信号電荷を水平ブランキング期間の一部にて水平ＣＣＤ１５側に向かって１走査線（１ライン）に相当する部分ずつ同時に垂直方向に転送する。この垂直ＣＣＤ１３での水平ＣＣＤ１５側への１ラインずつの信号電荷の垂直転送を、特にラインシフトともいう。
【００８２】
水平ＣＣＤ１５の転送先の端部には、たとえばフローティング・ディフュージョン・アンプ（ＦＤＡ）構成の電荷電圧変換部１６が設けられている。電荷電圧変換部１６は、水平ＣＣＤ１５によって水平転送されてきた信号電荷を順次電圧信号に変換して出力する。この電圧信号は、被写体からの光の入射量に応じたＣＣＤ出力（ＶＯＵＴ）として導出される。以上により、インターライン方式のＣＣＤ固体撮像素子１０が構成されている。
【００８３】
また固体撮像装置２は、ＣＣＤ固体撮像素子１０を駆動するための種々のクロック信号（“Ｌ”レベルと“Ｈ”レベルの２値）を生成するタイミング信号生成部４０と、タイミング信号生成部４０から供給された種々のクロックを所定レベルのドライブパルスにしてＣＣＤ固体撮像素子１０に供給するドライバ４２とを備えている。
【００８４】
たとえば、タイミング信号生成部４０は、水平同期信号（ＨＤ）や垂直同期信号（ＶＤ）に基づいて、ＣＣＤ固体撮像素子１０のセンサ部１１に蓄積された信号電荷を読み出すための読み出しクロックＲＯＧ、読み出した信号電荷を垂直方向に転送駆動し水平ＣＣＤ１５に渡すための垂直転送クロックＶ１〜Ｖｎ（ｎは駆動時の相数を示す；たとえば４相駆動時にはＶ４）、垂直ＣＣＤ１３から渡された信号電荷を水平方向に転送駆動し電荷電圧変換部１６に渡すための水平転送クロックＨ１，Ｈ２、およびリセットクロックＲＧなどを生成し、ドライバ４２に供給する。なお、ＣＣＤ固体撮像素子１０が電子シャッタに対応するものである場合には、タイミング信号生成部４０は、電子シャッタクロックＸＳＧもドライバ４２に供給する。
【００８５】
ドライバ４２は、タイミング信号生成部４０から供給された種々のクロックを所定レベルの電圧信号（ドライブパルス）に変換し、あるいは別の信号に変換しＣＣＤ固体撮像素子１０に供給する。たとえば、タイミング信号生成部４０から発せられた４相の垂直転送クロックＶ１〜Ｖ４は、ドライバ４２を介してドライブパルスΦＶ１〜ΦＶ４とされ、ＣＣＤ固体撮像素子１０内の対応する所定の垂直転送電極（２４_1〜２４_4）に印加されるようになっている。
【００８６】
なお、読み出しクロックＲＯＧはドライバ４２を介して垂直転送クロックＶ１，Ｖ３と組み合わされて、読み出し電圧を含む３値レベルのドライブパルスΦＶ１，ΦＶ３とされ垂直転送電極２４_1，２４_3に印加されるようになっている。
【００８７】
同様に、２相の水平転送クロックＨ１，Ｈ２は、ドライバ４２を介してドライブパルスΦＨ１，ΦＨ２とされ、ＣＣＤ固体撮像素子１０内の対応する所定の水平転送電極２９_1，２９_2に印加されるようになっている。
【００８８】
ここで、ドライバ４２は、上述のように、読み出しクロックＲＯＧについては、４相の垂直転送クロックＶ１〜Ｖ４のうちのＶ１，Ｖ３と組み合わせることで、３値レベルを採る垂直転送パルスΦＶ１，ΦＶ３として、ＣＣＤ固体撮像素子１０に供給する。つまり、垂直転送パルスΦＶ１，ΦＶ３は、本来の垂直転送動作だけでなく、信号電荷の読み出しにも兼用されるようになっている。
【００８９】
このような構成のＣＣＤ固体撮像素子１０の一連の動作を概説すれば以下の通りである。先ず、タイミング信号生成部４０は、垂直転送用の転送クロックＶ１〜Ｖ４や読み出しクロックＲＯＧなどの種々のクロック信号を生成する。これらのクロック信号は、ドライバ４２により所定電圧レベルのドライブパルスに変換された後に、ＣＣＤ固体撮像素子１０の所定端子に入力される。
【００９０】
センサ部１１の各々に蓄積された信号電荷は、タイミング信号生成部４０から発せられた読み出しクロックＲＯＧが読み出しゲート部１２上の、４つの垂直転送電極２４_1〜２４_4の内の読み出し電極を兼ねる方の垂直転送電極２４_1，２４_3の対応する方に印加され、読み出し電極下の読み出しゲート部１２のポテンシャルが深くなることにより、当該読み出しゲート部１２を通して垂直ＣＣＤ１３に読み出される。そして、４相の垂直転送パルスΦＶ１〜ΦＶ４に基づいて垂直ＣＣＤ１３が駆動されることで、順次水平ＣＣＤ１５へ転送される。
【００９１】
水平ＣＣＤ１５は、タイミング信号生成部４０から発せられた２相の水平転送クロックＨ１，Ｈ２がドライバ４２により所定電圧レベルに変換された２相の水平転送パルスΦＨ１，ΦＨ２に基づいて、複数本の垂直ＣＣＤ１３の各々から垂直転送された１ラインに相当する信号電荷を順次電荷電圧変換部１６側に水平転送する。
【００９２】
電荷電圧変換部１６は、水平ＣＣＤ１５から順に注入される信号電荷を図示しないフローティングディフュージョンに蓄積し、この蓄積した信号電荷を信号電圧に変換し、この変換した信号電圧をたとえば図示しないソースフォロア構成の出力回路を介して、タイミング信号生成部４０から発せられたリセットクロックＲＧがドライバ４２により所定電圧レベルに変換されたリセットパルスΦＲＧの制御の元に撮像信号（ＣＣＤ出力信号）ＶＯＵＴとして出力する。
【００９３】
すなわち上記ＣＣＤ固体撮像素子１０においては、センサ部１１を縦横に２次元状に配置してなる撮像エリア１４で検出した信号電荷を、各センサ部１１の垂直列に対応して設けられた垂直ＣＣＤ１３により水平ＣＣＤ１５まで垂直転送し、この後、２相の水平転送パルスΦＨ１，ΦＨ２に基づいて、信号電荷を水平ＣＣＤ１５により水平方向に転送するようにしている。そして、電荷電圧変換部１６にて水平ＣＣＤ１５からの信号電荷に対応した信号電圧に変換してから出力するという動作を繰り返す。
【００９４】
＜モザイクパターン配列＞
図３〜図５は、色・感度モザイク画像を構成する画素の色成分および感度の配列パターン（以下、色・感度モザイクパターンと記述する）の基本構成を説明する図である。なお、色・感度モザイクパターンを構成する色の組合せとしては、Ｒ（赤），Ｇ（緑），およびＢ（青）からなる３色の組合せの他、Ｙ（黄），Ｍ（マゼンタ），Ｃ（シアン），およびＧ（緑）からなる４色の組合せがある。
【００９５】
なお、図３〜図５においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字として数字がその感度の段階を示している。たとえば、Ｇ１と表示された画素は、色がＧ（緑）であって感度がＳ１であることを示している。また、感度については数字が大きいほど、より高感度であるとする。
【００９６】
色・感度モザイクパターンの基本は、以下に示す第１〜第４の特徴によって分類することができる。なお図３は、第１の特徴を呈する色・感度モザイクパターンＰ１を示す図である。図４は、第２の特徴を呈する色・感度モザイクパターンＰ２を示す図である。図５は、第４の特徴を呈する色・感度モザイクパターンＰ４を示す図である。
【００９７】
第１の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されていることである。
【００９８】
たとえば、図３に示す色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２＾１／２（“＾”はべき乗を示す）の間隔で、垂直方向には２＾３／２の間隔で格子状に配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２＾１／２の間隔で格子状に配置されている。
【００９９】
特に、この図３に示す色・感度モザイクパターンＰ１は、奇数ラインの全てが高感度画素とされ、偶数ラインの全てが低感度画素とされており、奇数ラインと偶数ラインの信号電荷をフィールドごとに交互に垂直ＣＣＤ１３に独立に読み出すようにすれば、フィールドごとに高感度画素信号と低感度画素信号とを独立に読み出すことができる利点がある。
【０１００】
第２の特徴は、第１の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤー（Bayer ）配列をなしていることである。たとえば、図４に示す色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤー配列であるといえる。
【０１０１】
第３の特徴は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれることである。また、第４の特徴は、第３の特徴を有しており、さらに、同一の感度を有する画素に注目した場合、それらの配列がベイヤー配列をなしていることである。
【０１０２】
たとえば、図５に示す色・感度モザイクパターンＰ４において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２＾１／２の間隔を空けてベイヤー配列をなしている。また、感度Ｓ１の画素だけに注目した場合も同様に、それらは２＾１／２の間隔を開けてベイヤー配列をなしている。
【０１０３】
なお、ここで示した第１、第２、および第４の特徴を有する色・感度モザイクパターンＰ１，Ｐ２，Ｐ４は、その一例を示したに過ぎず、たとえば国際公開第ＷＯ２００２／０５６６０３号パンフレットの図８〜図１８に示されているように、種々のパターン（配列）を採ることができる。
【０１０４】
＜感度モザイクパターンの形成方法＞
図６〜図９は、ＣＣＤ固体撮像素子１０において、上述した色・感度モザイクパターンのうちの特に感度モザイクパターンを実現する方法を説明する図である。なお、色・感度モザイクパターンのうち、色モザイクパターンについては、ＣＣＤ固体撮像素子１０の受光素子の上面に、画素ごとに異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。一方、色・感度モザイクパターンのうち、感度モザイクパターンについては、本実施形態では、光学的な方法を採る。
【０１０５】
何れの感度モザイクパターンを用いても、光学的手法により１つの固体撮像素子を構成する受光素子のそれぞれの感度制御を実現することで、各受光素子に１種類の感度を設定することができる。
【０１０６】
撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができないが、得られた画像信号に所定の画像処理を施し（たとえば、国際公開第ＷＯ２００２／０５６６０３号パンフレットや特開平２００４−１７２８５８号公報を参照）、全ての画素の感度が均一になるように画像処理を行なうことによって、結果的にダイナミックレンジが広い画像を生成することができる。
【０１０７】
電子シャッタ方式で感度モザイクパターンを実現する場合、実際の所、たとえば色・感度モザイクパターンＰ１への適用は容易であるが、その他の感度パターンを実現するには、汎用的な電極配置の撮像素子を使用することができず、相当の工夫が必要となり、実現の困難性を伴う。
【０１０８】
これに対して、光学的手法により感度モザイクパターンを実現する場合、自由に感度配列を設定できるので、汎用的な電極配置の撮像素子を使用した場合でも、解像度や色分離性能などに優れた色モザイクパターンを適用しつつ、様々な感度モザイクパターンを設定することができ、たとえば色・感度モザイクパターンＰ２，Ｐ４への適用も容易である。
【０１０９】
以下、感度モザイクパターンを光学的に実現する方法について具体的に説明する。
【０１１０】
先ず、図６は、ＣＣＤ固体撮像素子１０の受光素子の一例であるフォトダイオード（ＰＤ）を中心とするセンサ部１１の断面を示している。センサ部１１の上部表面には、オンチップレンズ８２１が形成されている。オンチップレンズ８２１は、図面上方からの入射光がフォトダイオード８２３に集光されるようになされている。オンチップカラーフィルタ８２２は、入射光の波長帯域を制限する（特定の波長帯域だけを透過させる）。
【０１１１】
センサ部１１の下部には、ウェハ中にフォトダイオード８２３が形成されている。フォトダイオード８２３は、入力された光量に対応して電荷を生じる。フォトダイオード８２３の両脇には、垂直ＣＣＤ１３が形成されている。垂直ＣＣＤ１３の上部には、この垂直ＣＣＤ１３を駆動する垂直転送電極２４が配置されている。
【０１１２】
垂直ＣＣＤ１３は、フォトダイオード８２３で生じた電荷を転送する領域であるので、垂直ＣＣＤ１３内において、入力された光によって電荷が生じることがないように、垂直ＣＣＤ１３と垂直転送電極２４はシールド（遮光膜）８２４によって遮光されている。シールド８２４は、フォトダイオード８２３の上部だけが開口しており、その開□部分を入射光が通過してフォトダイオード８２３に到達するようになされている。
【０１１３】
このような構造のＣＣＤ固体撮像素子１０において、受光素子の一例である各センサ部１１の感度を光学的に変えるには、フォトダイオード８２３に対する入射光量を変化させるとよい。
【０１１４】
たとえば、図７は、感度モザイクパターンを光学的に実現する第１の手法を示している。この図に示すように、オンチップレンズ８２１の設置の有無により、集光される光量を変化させる手法を採ることができる。
【０１１５】
また、図８は、感度モザイクパターンを光学的に実現する第２の手法を示している。この図に示すように、オンチップカラーフィルタ８２２の上方または下方に、つまり電荷生成部の一例であるフォトダイオード８２３の前面にニュートラルデンシティ（ＮＤ；Neutral Density ）フィルタ８３１を配置することにより、光の透過率を変える手法を採ることができる。なお、所定の透過率を持つニュートラルデンシティフィルタ８３１の設置の有無を採用することもできる。
【０１１６】
また、図９は、感度モザイクパターンを光学的に実現する第３の手法を示している。この図に示すように、シールド８２４の開口部分の面積を変化させることにより、フォトダイオード８２３に対する入射光量を変化させる手法を採ることができる。
【０１１７】
これらの手法の中で、オンチップレンズ８２１の設置の有無を利用した第１の手法は、オンチップレンズ８２１のある画素とない画素の感度の比を大きくすることができず、ダイナミックレンジの拡大率もそれ程大きくすることができない。また、開口部分の面積を変化させる第３の手法では、その時点で形成可能な通常の開口面積よりもさらに狭開口に形成するのは不可能であり、実際には、通常の開口面積のものとより広い開口面積のものとにしなければならず、画素サイズが大きくなってしまい、結果として、撮像エリアのサイズと画素サイズを一定としたときには、画素数が低下し、ひいては解像度が低下する。
【０１１８】
一方、図８に示すニュートラルデンシティフィルタ８３１を利用する第２の手法は、その濃度、換言すればその透過率を調整することで、受光素子に到達する光量を調整することができ、最適な手法である。オンチップレンズ８２１を付けることで全体としての感度向上を図ることができるし、またセンサ部１１に可視光が入射する開口面積を最適化する、すなわちその時点で形成可能な通常の（最適な）開口面積とすることでその時点で期待できる最高の解像度にしつつ、所定の感度パターンとなるように画素感度を調整することもできる。
【０１１９】
これらを勘案し、本実施形態では、受光感度を画素ごとに異なるものとする仕組みとして、ニュートラルデンシティフィルタ８３１の濃度を変えることで、受光素子ごとの感度が異なるＮＤフィルタ方式の仕組みにする。なお、ニュートラルデンシティフィルタ８３１の濃度を変えることで実現される受光感度の段階としては、Ｓ０およびＳ１からなる２段階の他、感度Ｓ２を追加した３段階や、さらに、感度Ｓ３を追加した４段階などがある。
【０１２０】
ＮＤフィルタ方式ＳＶＥ撮像の場合は、高感度画素と低感度画素の配列方法に制限がない、つまり感度モザイクパターンの配列に自由度があるので、カラーフィルタの配列をたとえばベイヤー配列にすることができ解像度の点で有利である。
【０１２１】
一方、ＳＶＥ撮像を電子シャッタ方式で実現しようとした場合は、受光素子（センサ）に蓄積された信号の読み出し方法の制限から高感度画素と低感度画素の配列方法に制限があり、カラーフィルタの配列をベイヤー配列とすることが難しく、ＮＤフィルタ方式ＳＶＥ撮像と比較した場合において、解像度低下が問題となる。
【０１２２】
＜駆動タイミング；第１実施形態＞
図１０および図１１は、光学的な手法、特にニュートラルデンシティフィルタ８３１の濃度の違いにより感度モザイクパターンが形成されているインターライン型のＣＣＤ固体撮像素子１０を用いてＳＶＥ撮像を実現するための駆動制御の第１実施形態を説明する図である。なお、露出動作中に受光される光強度は変化しないものとする。
【０１２３】
ここで、図１０に示す第１例は、先に低感度画素信号用のセンサ部１１ｌから信号電荷を垂直ＣＣＤ１３に読み出してラインシフトする場合を示し、図１１に示す第２例は、先に高感度画素信号用のセンサ部１１ｈから信号電荷を垂直ＣＣＤ１３に読み出してラインシフトする場合を示している。
【０１２４】
基本的には、機構的（メカニカル）なシャッタ（メカニカルシャッタ）５２を使用することで可視光のセンサ部１１への入射を制御してセンサ部１１への信号電荷の蓄積を制御するとともに、奇数ラインと偶数ラインの信号電荷をフィールドごとに交互に垂直ＣＣＤ１３に読み出すことで各画素の信号電荷を独立に転送するいわゆるフレーム読み出し方式を用いる。
【０１２５】
この際、タイミング信号生成部４０は、可視光のセンサ部１１への入射を制御するべくメカニカルシャッタ５２の開閉を制御するし、また高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷の各センサ部１１への蓄積動作を制御する。
【０１２６】
ここで、図１０（Ａ）および図１１（Ａ）は、図２に示す半導体基板２１に電荷掃き出しパルス（電子シャッタパルス）ΦＶsubを供給してセンサ部１１に蓄積された電荷を掃き出してからセンサ部１１で信号電荷の蓄積を開始した後、センサ部１１に蓄積された電荷を最後に垂直ＣＣＤ１３に読み出すまでの期間で定義されるＣＣＤ固体撮像素子１０の電子的な全露光期間を示している。
【０１２７】
図１０（Ｂ）および図１１（Ｂ）は、機構的なシャッタ（メカニカルシャッタ）５２の開閉を指令するパルス電圧のタイミングを示している。メカニカルシャッタ５２が開放されている期間で定義される全露光期間中に可視光帯域の所定の波長成分（オンチップカラーフィルタ８２２の色成分による）がセンサ部１１に入射し、センサ部１１にて光電変換がなされて信号電荷がそのセンサ部１１に蓄積される。
【０１２８】
図１０（Ｃ）および図１１（Ｃ）は、電荷転送を指令する制御電圧が与えられるタイミングを示している。図１０（Ｄ）および図１１（Ｆ）は、奇数ラインと偶数ラインのうちの一方のライン（たとえば偶数ラインとする）のセンサ部１１ｅに対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図１０（Ｅ）および図１１（Ｇ）は、メカニカルシャッタ５２の開き指示および電荷読み出しパルス電圧が与えられることに対応して一方のラインのセンサ部１１ｅに蓄積される電荷量の変化を示している。
【０１２９】
図１０（Ｆ）および図１１（Ｄ）は、奇数ラインと偶数ラインのうちの他方のライン（たとえば奇数ライン）のセンサ部１１ｏに対し、電荷読み出しを指令するパルス電圧のタイミングを示している。図１０（Ｇ）および図１１（Ｅ）は、メカニカルシャッタ５２の開き指示および電荷読み出しパルス電圧が与えられることに対応して他方のラインのセンサ部１１ｏに蓄積される電荷量の変化を示している。
【０１３０】
なお、図示を割愛するが、ＣＣＤ固体撮像素子１０の奇数ラインのセンサ部１１ｏおよび偶数ラインのセンサ部１１ｅに対しては、共通して、電荷掃き出しパルス（電子シャッタパルス）ΦＶsub も供給されるようになっている。この電荷掃き出しパルスΦＶsub は、メカニカルシャッタ５２が開放されて露光が開始される前に、各センサ部１１から電荷を掃き出させる（リセットさせる）ように供給される。
【０１３１】
以上のように、奇数ラインと偶数ラインの各センサ部１１の前面に形成されたニュートラルデンシティフィルタ８３１の濃度をそれぞれ違えることにより、同じ露光期間中（センサ部１１への信号電荷蓄積中）に奇数ラインのセンサ部１１ｏに蓄積される電荷量と、偶数ラインのセンサ部１１ｅに蓄積される電荷量が異なるように設定することができる。
【０１３２】
ここで、ＣＣＤ固体撮像素子１０における色・感度モザイクパターンとして、図３に示す第１の特徴を呈する色・感度モザイクパターンＰ１を用いた場合には、奇数ラインが２つの感度Ｓ０，Ｓ１のうちの感度Ｓ１の高感度画素を持つものとなり、偶数ラインが２つの感度Ｓ０，Ｓ１のうちの感度Ｓ０の低感度画素を持つものとなる。
【０１３３】
したがって、図１０（Ｄ）および図１１（Ｆ）は、２つの感度Ｓ０，Ｓ１のうちの感度Ｓ０の低感度画素信号用のセンサ部１１ｌ（たとえばニュートラルデンシティフィルタ８３１の濃度が濃く透過率の低い低感度画素信号を得る受光素子）に対し、電荷読み出しを指令するパルス電圧のタイミングを示すことになる。また、図１０（Ｅ）および図１１（Ｇ）は、メカニカルシャッタ５２の開き指示および電荷読み出しパルス電圧が与えられることに対応して低感度パターンを持つセンサ部１１ｌに蓄積される電荷量の変化を示すことになる。
【０１３４】
また、図１０（Ｆ）および図１１（Ｄ）は、２つの感度Ｓ０，Ｓ１のうちの感度Ｓ１の高感度画素信号用のセンサ部１１ｈ（たとえばニュートラルデンシティフィルタ８３１の濃度が薄く透過率の高い高感度画素信号を得る受光素子）に対し、電荷読み出しを指令するパルス電圧のタイミングを示すことになる。また、図１０（Ｇ）および図１１（Ｅ）は、メカニカルシャッタ５２の開き指示および電荷読み出しパルス電圧が与えられることに対応して高感度パターンを持つセンサ部１１ｈに蓄積される電荷量の変化を示すことになる。
【０１３５】
この場合、図１０（Ｅ）と図１０（Ｇ）との比較や図１１（Ｅ）と図１１（Ｇ）との比較から分かるように、同一の画像を同一の露光期間（ｔ１２〜ｔ１４）で撮像したとき、メカニカルシャッタ５２を閉じた後の蓄積信号電荷量は図１０（Ｅ）や図１１（Ｇ）に示すセンサ部１１ｌよりも図１０（Ｇ）や図１１（Ｅ）に示すセンサ部１１ｈの方が多く、センサ部１１ｈの方が高感度である。もちろん、メカニカルシャッタ５２の開放期間（ｔ１２〜ｔ１４）を調整することで、全体の露光量を調整することもできる。
【０１３６】
以上のように、奇数ラインと偶数ラインの各センサ部１１について、高感度画素あるいは低感度画素が混在せずに配列されていれば、各ラインのセンサ部１１に対する制御タイミングをそれぞれ違えることにより、同じ露光期間中（センサ部１１への信号電荷蓄積中）に奇数ラインのセンサ部１１ｏから読み出される蓄積電荷量と、偶数ラインのセンサ部１１ｅから読み出される蓄積電荷量すなわち感度が異なるように設定することができる。
【０１３７】
すなわち、駆動制御部９６は、電子的な全露光期間内（ｔ１０〜ｔ３０）における所定期間（ｔ１２〜ｔ１４）に、メカニカルシャッタ５２を開き、被写体Ｚからの光Ｌが、メカニカルシャッタ５２およびレンズ５４を透過し絞り５６により調整されて適度な明るさでＣＣＤ固体撮像素子１０に入射するように制御し、メカニカルシャッタ５２が開放されている期間にセンサ部１１への信号電荷の蓄積が行なわれ、所定期間経過後の時点ｔ１４にてメカニカルシャッタ５２を閉じることでセンサ部１１への信号電荷の蓄積を停止させる。
【０１３８】
また、この第１実施形態では、タイミング信号生成部４０は、期間ｔ１０〜ｔ１７以外においては、必要に応じて第１および第２の受光素子に対し共通して垂直ＣＣＤ１３（Ｖレジスタ）に電荷を転送させるための電荷転送電圧（垂直転送パルスΦＶ）を垂直転送電極２４に供給するように制御するのであるが、期間ｔ１０〜ｔ１７においては、垂直ＣＣＤ１３での電荷の転送が停止されるように電荷転送電圧が垂直転送電極２４に供給されないように制御する。
【０１３９】
この点は、通常のインターライン型のＣＣＤ固体撮像素子でフレーム読み出し撮像を行なう際に、Ｖブランキング期間に偶数ラインもしくは奇数ラインの各センサ部１１から垂直ＣＣＤ１３に信号電荷を一斉に読み出し（フィールドシフトし）、次フィールドの画面撮像中の水平ブランキング期間内に垂直電荷転送（ラインシフト）を行なうのと異なる。
【０１４０】
ここで、第１実施形態では、電荷読み出しパルス電圧は、奇数ラインと偶数ラインの各センサ部１１に対して異なるタイミングで供給される。
【０１４１】
たとえば、図１０に示すように、先に低感度画素信号用のセンサ部１１ｌから信号電荷を垂直ＣＣＤ１３に読み出してラインシフトする場合には、メカニカルシャッタ５２を閉じ（ｔ１４）、所定のタイミングで、低感度画素信号読み出し用の電荷読み出しパルス電圧（読み出しＲＯＧ１）を低感度画素のセンサ部１１ｌを持つ偶数ラインのセンサ部１１ｅに対応する垂直転送電極２４（読み出し電極を兼用するもの）に供給することで、その偶数ラインのセンサ部１１ｅ（センサ部１１ｌ）から垂直ＣＣＤ１３に信号電荷を一斉に読み出す（ｔ２０）。
【０１４２】
この偶数ラインの信号電荷を垂直ＣＣＤ１３を介して順次水平ＣＣＤ１５側に転送（ラインシフト）する（ｔ２２〜ｔ２６）。その結果として、偶数ラインの画素のみからなる１フィールド分の画像を表す撮像信号が電荷電圧変換部１６から出力されるようになる。
【０１４３】
なお、偶数ラインのセンサ部１１ｅに電荷読み出しパルス電圧（読み出しＲＯＧ１）を供給するタイミングは、低感度画素信号電荷をラインシフトする期間を確保できる限りにおいて、メカニカルシャッタ５２を閉じた時点（ｔ１４）から電子的な露光を終了させる時点ｔ３０までの間の任意の時点とすることができる。
【０１４４】
そして、この偶数ラインのセンサ部１１ｅから垂直ＣＣＤ１３に読み出された信号電荷の全てのラインシフトが完了した時点（ｔ２６）の後に、所定のタイミングで、高感度画素信号読み出し用の電荷読み出しパルス電圧（読み出しＲＯＧ２）を高感度画素のセンサ部１１ｈを持つ奇数ラインのセンサ部１１ｏに対応する垂直転送電極２４（読み出し電極を兼用するもの）に供給することで、その奇数ラインのセンサ部１１ｏ（センサ部１１ｈ）から垂直ＣＣＤ１３に信号電荷を一斉に読み出す（ｔ３０：ｔ２６とほぼ同じタイミングでもよい）。
【０１４５】
この奇数ラインのセンサ部１１ｏ（センサ部１１ｈ）から垂直ＣＣＤ１３に信号電荷を一斉に読み出す時点（ｔ３０）で電子的な露光が完了する。この奇数ラインの信号電荷を垂直ＣＣＤ１３を介して順次水平ＣＣＤ１５側に転送（ラインシフト）する（ｔ３２〜ｔ３６）。その結果として、奇数ラインの画素のみからなる１フィールド分の画像を表す撮像信号が電荷電圧変換部１６から出力されるようになる。
【０１４６】
偶数ラインの画素のみからなる１フィールド分の画像と、奇数ラインの画素のみからなる１フィールド分の画像とを独立に取得できるし、先に出力された偶数ラインの画素のみからなる１フィールド分の画像と合成すれば、全ラインの画素から成る１フレーム分の感度モザイク画像が得られる。
【０１４７】
なお、図１０では、先に低感度画素信号用のセンサ部１１ｌから信号電荷を垂直ＣＣＤ１３に読み出してラインシフトするべく、偶数ラインのセンサ部１１ｅからの信号電荷の垂直ＣＣＤ１３への読み出しと垂直転送（ラインシフト）とを先にしているが、逆に、図１１に示すように、先に高感度画素信号用のセンサ部１１ｈから信号電荷を垂直ＣＣＤ１３に読み出してラインシフトするべく、奇数ラインのセンサ部１１ｏからの信号電荷の垂直ＣＣＤ１３への読み出しと垂直転送（ラインシフト）とを先にしてもよい。
【０１４８】
すなわち、メカニカルシャッタ５２を閉じ（ｔ１４）、所定のタイミングで、高感度画素信号読み出し用の電荷読み出しパルス電圧（読み出しＲＯＧ２）を高感度画素のセンサ部１１ｈを持つ奇数ラインのセンサ部１１ｏに対応する垂直転送電極２４（読み出し電極を兼用するもの）に供給することで、その奇数ラインのセンサ部１１ｏ（センサ部１１ｈ）から垂直ＣＣＤ１３に信号電荷を一斉に読み出す（ｔ２０）。
【０１４９】
この奇数ラインの信号電荷を垂直ＣＣＤ１３を介して順次水平ＣＣＤ１５側に転送（ラインシフト）する（ｔ２２〜ｔ２６）。その結果として、奇数ラインの画素のみからなる１フィールド分の画像を表す撮像信号が電荷電圧変換部１６から出力されるようになる。
【０１５０】
そして、この奇数ラインのセンサ部１１ｏから垂直ＣＣＤ１３に読み出された信号電荷の全てのラインシフトが完了した時点（ｔ２６）の後に、所定のタイミングで、低感度画素信号読み出し用の電荷読み出しパルス電圧（読み出しＲＯＧ１）を低感度画素のセンサ部１１ｌを持つ偶数ラインのセンサ部１１ｅに対応する垂直転送電極２４（読み出し電極を兼用するもの）に供給することで、その偶数ラインのセンサ部１１ｅ（センサ部１１ｌ）から垂直ＣＣＤ１３に信号電荷を一斉に読み出す（ｔ３０：ｔ２６とほぼ同じタイミングでもよい）。
【０１５１】
この偶数ラインのセンサ部１１ｅ（センサ部１１ｌ）から垂直ＣＣＤ１３に信号電荷を一斉に読み出す時点（ｔ３０）で電子的な露光が完了する。この偶数ラインの信号電荷を垂直ＣＣＤ１３を介して順次水平ＣＣＤ１５側に転送（ラインシフト）する（ｔ３２〜ｔ３６）。その結果として、偶数ラインの画素のみからなる１フィールド分の画像を表す撮像信号が電荷電圧変換部１６から出力されるようになる。
【０１５２】
奇数ラインの画素のみからなる１フィールド分の画像と、偶数ラインの画素のみからなる１フィールド分の画像とを独立に取得できるし、偶数ラインの画素のみからなる１フィールド分の画像を先に出力された奇数ラインの画素のみからなる１フィールド分の画像と合成すれば、全ラインの画素から成る１フレーム分の感度モザイク画像が得られる。
【０１５３】
なお、好ましくは、１回目の読み出しのために電荷読み出しパルス電圧（読み出しＲＯＧ１）もしくは電荷読み出しパルス電圧（読み出しＲＯＧ２）を供給する直前（ｔ１７〜ｔ２０）に、露光期間中（センサ部１１への信号電荷蓄積中）に垂直ＣＣＤ１３中に生じるスミア成分や暗電流成分やブルーミングなどに起因した不要な電荷（垂直ＣＣＤ１３中の不要電荷）をＣＣＤ固体撮像素子１０外に掃き捨てておくのがよい。
【０１５４】
不要な電荷をＣＣＤ固体撮像素子１０外に掃き捨てるためには、たとえば、垂直ＣＣＤ１３を高速に空転送しておくとよい。通常の信号電荷のラインシフトとは異なり、その電荷量は少なく、かつその電荷は出力信号には使わないため、垂直ＣＣＤ１３の転送効率などをあまり気にする必要はないので、垂直ＣＣＤ１３を駆動するための駆動パルスの振幅の低下や波形の歪みなどをあまり気にしなくてもよく、このような高速転送は可能である。
【０１５５】
露光期間中（センサ部１１への信号電荷蓄積中）に垂直ＣＣＤ１３中に生じるスミア成分や暗電流成分やブルーミングなどをＣＣＤ固体撮像素子１０外に掃き捨てた後にセンサ部１１ｏもしくはセンサ部１１ｅから垂直ＣＣＤ１３に信号電荷を読み出すので低スミア、低暗電流になるし、ブルーミングの問題を抑制することもできる。また、露光期間中（センサ部１１への信号電荷蓄積中）に垂直ＣＣＤ１３中で発生する暗電流が白点（点欠陥）になることもない。
【０１５６】
ただし、後から読み出す方のセンサ部１１では、露光を停止させた後に、先に読み出す方のセンサ部１１から信号電荷を垂直ＣＣＤ１３に読み出してラインシフトしている期間には、露光されないまま後から読み出す方のセンサ部１１中に信号電荷を保持し続けていることになり、後から読み出す方のセンサ部１１中で生じる暗電流に起因した電荷（センサ部１１中の不要電荷）が蓄積され続ける。
【０１５７】
したがって、後から読み出す方の信号については、センサ部１１中で生じる暗電流に起因したＳ／Ｎやダイナミックレンジの低下および／または白点（点欠陥）のレベルや個数の増加が問題となり得るので、撮像目的に応じて、高感度画素信号用のセンサ部１１ｏと低感度画素信号用のセンサ部１１ｅとの何れから先に信号電荷を垂直ＣＣＤ１３に読み出すかを切り替えるのがよい。
【０１５８】
たとえば、中央制御部９２は、撮像時のセンサ部１１への電磁波の入射強度の状態を監視し、露出コントローラ９４は、この中央制御部９２から撮像時のセンサ部１１への電磁波の入射強度状態の情報を取得し、その情報を使って、画像処理部６６に送られた画像の明るさが適度な明るさを保つようにメカニカルシャッタ５２や絞り５６を制御するとともに、タイミング信号生成部４０は、この中央制御部９２から撮像時のセンサ部１１への電磁波の入射強度状態の情報を取得し、その情報を使って、高感度画素信号用のセンサ部１１ｏと低感度画素信号用のセンサ部１１ｅとの何れから先に信号電荷を垂直ＣＣＤ１３に読み出すかを切り替える。
【０１５９】
たとえば、高感度画素信号に階調があり、低感度画素信号がノイズに埋もれ易い低輝度領域での撮像時には、低感度画素信号の方が無効となる画素が多く、高感度の画素値を用いた補間処理がなされる画素数が増える。このとき、高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３への信号電荷の読み出しを低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３への信号電荷の読み出しよりも後にすると、後から信号電荷を垂直ＣＣＤ１３に読み出す高感度画素信号用のセンサ部１１ｈ中で生じる暗電流や白点（点欠陥）が問題となるので、低輝度領域での撮像時には、高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３への信号電荷の読み出しを低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３への信号電荷の読み出しよりも先にするのがよい。
【０１６０】
低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３への信号電荷の読み出しを高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３への信号電荷の読み出しよりも後にすると、先に垂直ＣＣＤ１３に信号電荷を読み出す方の高感度画素信号用のセンサ部１１ｈから信号電荷を垂直ＣＣＤ１３に読み出してラインシフトしている期間には、後から垂直ＣＣＤ１３に信号電荷を読み出す方の低感度画素信号用のセンサ部１１ｌ中では暗電流が生じているが、低輝度領域での撮像時には、低感度画素信号の方が無効となる画素が多く、高感度の画素値を用いた補間処理がなされる画素数が増える。このため、センサ部１１中で生じる暗電流に起因したＳ／Ｎやダイナミックレンジの低下、点欠陥のレベルや個数の増加などの問題を受けないように補間処理をするには、有効画素が多くなる高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３への信号電荷の読み出しを無効画素が多くなる低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３への信号電荷の読み出しよりも先にする方がよいことになる。
【０１６１】
つまり、低輝度領域の撮像時には、高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３への信号電荷の読み出しを低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３への信号電荷の読み出しよりも先にすることで、低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３への信号電荷の読み出しを高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３への信号電荷の読み出しよりも先にしたときよりも、低輝度側の入射光強度のダイナミックレンジを広げることができるし、低輝度側のＳ／Ｎを改善することもできる。
【０１６２】
また、低輝度側の点欠陥も少なくかつレベルも小さくすることができる。ただし、期間ｔ１０〜ｔ１７においては、垂直ＣＣＤ１３での電荷の転送が停止しているので、露光終了後に、そのままの状態で、先に高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３に信号電荷を読み出すと、先に高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３に読み出した信号電荷に、これらの垂直ＣＣＤ１３中に生じるスミアや暗電流やブルーミングなどに起因した不要な電荷が重畳されてしまうので、期間ｔ１０〜ｔ１７に垂直ＣＣＤ１３中に生じるスミアや暗電流やブルーミングなどに起因した不要な電荷を高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３に信号電荷を読み出す前にＣＣＤ固体撮像素子１０外に掃き捨てておくようにする必要がある（ｔ１７〜ｔ２０）。
【０１６３】
こうすることで、高感度画素信号は、センサ部１１中の不要電荷だけでなく垂直ＣＣＤ１３中の不要電荷も少ないので、低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３への信号電荷の読み出しを高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３への信号電荷の読み出しよりも先にしたときよりも、低輝度側の入射光強度のダイナミックレンジや低輝度側のＳ／Ｎが改善し、高感度、入射光強度の高ダイナミックレンジが達成でき、期間ｔ１０〜ｔ１７において垂直ＣＣＤ１３中で発生する暗電流が白点（点欠陥）になることもない。
【０１６４】
また、高輝度側や中輝度領域では、低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３への信号電荷の読み出しを高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３への信号電荷の読み出しよりも先にするのがよい。こうすることで、高感度画素信号用のセンサ部１１ｈから垂直ＣＣＤ１３への信号電荷の読み出しを低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３への信号電荷の読み出しよりも先にしたときよりも、中輝度領域でのＳ／Ｎや点欠陥などを改善することができる。また、高輝度側でも効果は少ないが、多少は高輝度側の入射光強度のダイナミックレンジを広げることができるし、多少は高輝度側のＳ／Ｎや点欠陥などの改善も期待できる。
【０１６５】
ただし、期間ｔ１０〜ｔ１７においては、垂直ＣＣＤ１３での電荷の転送が停止しているので、露光終了後に、そのままの状態で、先に低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３に信号電荷を読み出すと、先に低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３に読み出した信号電荷に、これらの垂直ＣＣＤ１３中に生じるスミアや暗電流やブルーミングなどに起因した不要な電荷が重畳されてしまうので、期間ｔ１０〜ｔ１７に垂直ＣＣＤ１３中に生じるスミアや暗電流やブルーミングなどに起因した不要な電荷を低感度画素信号用のセンサ部１１ｌから垂直ＣＣＤ１３に信号電荷を読み出す前にＣＣＤ固体撮像素子１０外に掃き捨てておくようにする必要がある（ｔ１７〜ｔ２０）。
【０１６６】
こうすることで、低感度画素信号は、センサ部１１中の不要電荷だけでなく垂直ＣＣＤ１３中の不要電荷も少ないので、中輝度領域でのＳ／Ｎや点欠陥などを改善することができる。また、高輝度側でも効果は少ないが、多少は高輝度側の入射光強度のダイナミックレンジを広げることができるし、多少は高輝度側のＳ／Ｎや点欠陥などの改善も期待できる。また、中輝度領域および高輝度側の両方において、電子的な全露光期間中に垂直ＣＣＤ１３中で発生する暗電流が白点（点欠陥）になることもない。
【０１６７】
図３に示す色・感度モザイクパターンＰ１は、奇数ラインの全てが高感度画素とされ、偶数ラインの全てが低感度画素とされており、このように水平ラインごとに感度が変わるような感度モザイクパターンを実現するためには、タイミング信号生成部４０は、フィールドごとに異なる読み出しクロックＲＯＧをドライバ４２に供給して、それぞれの信号電荷を独立に垂直ＣＣＤ１３に読み出し、かつ水平ＣＣＤ１５側に独立に転送するように制御すればよい。
【０１６８】
ＩＬ−ＣＣＤにおいて、高感度画素と低感度画素に同時に露光・蓄積を行なった後に、フレーム読み出しを採用してそれぞれの信号電荷を独立に読み出して転送する、つまり奇数ラインと偶数ラインの信号電荷をフィールドごとに交互に垂直ＣＣＤ１３に独立に読み出して水平ＣＣＤ１５側に転送すると、高感度画素の信号と低感度画素の信号とを独立に取得できるし、何れを先に読み出すかも自由に設定できる。
【０１６９】
たとえば、図１０（Ｄ）および図１０（Ｆ）に示すように、低感度画素が配列された偶数ラインのセンサ部１１ｅからの信号電荷の垂直ＣＣＤ１３への読み出しと水平ＣＣＤ１５側への転送を、高感度画素が配列された奇数ラインのセンサ部１１ｏからの信号電荷の垂直ＣＣＤ１３への読み出しと水平ＣＣＤ１５側への転送よりも先にすることができる。
【０１７０】
また、図１１（Ｄ）および図１１（Ｆ）に示すように、高感度画素が配列された奇数ラインのセンサ部１１ｏからの信号電荷の垂直ＣＣＤ１３への読み出しと水平ＣＣＤ１５側への転送を、低感度画素が配列された偶数ラインのセンサ部１１ｅからの信号電荷の垂直ＣＣＤ１３への読み出しと水平ＣＣＤ１５側への転送よりも先にすることができる。
【０１７１】
これに対して、図４に示す色・感度モザイクパターンＰ２や図５に示す色・感度モザイクパターンＰ４では、奇数ラインおよび偶数ラインの何れについても、高感度画素と低感度画素とが混在して配列されているので、奇数ラインと偶数ラインの信号電荷をフィールドごとに交互に垂直ＣＣＤ１３に読み出すことで各画素の信号電荷を独立に転送するフレーム読み出し方式を採用したとしても、フィールドごとに高感度画素信号と低感度画素信号とを独立に（順次）読み出すことができない。
【０１７２】
このことから、メカニカルシャッタ５２を使用するとともに、奇数ラインと偶数ラインの信号電荷をフィールドごとに交互に垂直ＣＣＤ１３に読み出すことで各画素の信号電荷を独立に転送するいわゆるフレーム読み出し方式を用いてＳＶＥ撮像を行なう際に、高感度画素信号と低感度画素信号の何れを先に読み出すかを確実に制御するという観点では、奇数ラインと偶数ラインの何れについても、高感度画素あるいは低感度画素が混在せずに配列されている図３に示す色・感度モザイクパターンＰ１を採用すると、フィールド別に高感度画素信号と低感度画素信号とを分別して読み出すことができ都合がよい。
【０１７３】
全画素読み出し方式のＣＣＤ固体撮像素子ではなく、メカニカルシャッタ５２を使用することにより、インターライン型のＣＣＤ固体撮像素子１０でもＳＶＥ撮像を実現することができ、画素サイズの微細化が可能になる。また、インターライン型のＣＣＤ固体撮像素子１０は、全画素読み出し方式のＣＣＤ固体撮像素子に比べて製造コストが安いので、システムコストを低減しつつＳＶＥ撮像を実現することができる。
【０１７４】
また、メカニカルシャッタ５２を使用するので、露光を停止した状態でラインシフトを行なうことができ、その間はＣＣＤ固体撮像素子１０への光の入射がなく、原理的に、ラインシフト期間中にＣＣＤ固体撮像素子１０へ入射する光に起因するスミア成分などの不要電荷によるノイズを完全に無くすことができる。加えて、メカニカルシャッタ５２を閉じて露光を終了させた後、センサ部１１に蓄積した信号電荷を最初に垂直ＣＣＤ１３に読み出す前に、垂直ＣＣＤ１３中に生じるスミアや暗電流やブルーミングなどに起因した不要な電荷をＣＣＤ固体撮像素子１０外に掃き捨てておくようにすれば、スミア現象をより完全に防止することもでき、全画素読み出し方式のＣＣＤ固体撮像素子やインターライン型のＣＣＤ固体撮像素子で顕著に現われ得るスミアが原理的に発生しない効果を享受することもできる。
【０１７５】
また、本実施形態では、高感度画素信号に対応する信号電荷と低感度画素信号に対応する信号電荷とを同時に感度別のセンサ部１１に蓄積した後、所定のタイミングで（必要な露光時間経過後に）、信号電荷の蓄積を停止させ、その後、高感度画素信号に対応する信号電荷（もしくは低感度画素信号に対応する信号電荷）を垂直ＣＣＤ１３に読み出して即時に水平ＣＣＤ１５側に転送するようにしている。センサ部１１から垂直ＣＣＤ１３に読み出した信号電荷を垂直ＣＣＤ１３内に保持しておいたまま露光を継続するということがないので、露光期間中（つまりセンサ部１１への信号電荷の蓄積中）に垂直ＣＣＤ１３内に信号電荷を保持しておくことに起因する暗電流や点欠陥（いわゆる垂直ＣＣＤ１３中で発生する白点のこと）は問題とならない。
【０１７６】
これに対して、特許文献４の図２３や特許文献５の図９に示されているタイミングでは、露光期間中の所定のタイミング（全露光期間の略中間）でセンサ部から垂直ＣＣＤ（Ｖレジスタ）に信号電荷を読み出し、垂直転送せずに信号電荷をその垂直ＣＣＤ内に保持しておいて、全露光期間経過後に、垂直ＣＣＤ内に保持しておいた信号電荷を読み出すので、垂直ＣＣＤ中で発生する暗電流や点欠陥が問題となる。
【０１７７】
また、本実施形態の駆動制御手法では、各受光素子は露光期間中（センサ部１１への信号電荷蓄積中）の全期間に亘る被写体Ｚの情報を計測することができる。加えて、奇数ラインから得られる撮像信号と偶数ラインから得られる撮像信号とは同一の露光期間（蓄積期間）でのものであるので、動解像度が高く、動きの速い被写体に対しても画像の暈けが生じることがない。この点は、電子シャッタ方式ＳＶＥ撮像では、露光期間の制御で感度モザイクパターンを実現するので、動被写体撮像時に画像の暈けなどが発生してしまうのと大きく異なる。
【０１７８】
＜各色・感度モザイクパターンでの性能比較＞
図１２は、各色・感度モザイクパターンでの性能比較を説明する図である。ここでは、高解像度画像が得られるベイヤー配列（感度モザイクパターンのないもの）を基準に、色・感度モザイクパターンＰ１，Ｐ２を比較して示している。
【０１７９】
前述の図１０および図１１では、高感度画素信号と低感度画素信号の何れを先に読み出すかを制御するという観点から、光学的手法により受光素子のそれぞれの感度制御を実現することで色・感度モザイクパターンＰ１を実現する適用事例を示した。なお、この色・感度モザイクパターンＰ１の場合、汎用的な電極配置構造のＩＬ−ＣＣＤを用いて電子シャッタ方式のＳＶＥ撮像を実現することも容易である。
【０１８０】
ただし、色・感度モザイクパターンＰ１の場合、画素の色だけに注目するとベイヤー配列にはなっておらず解像度は色・感度モザイクパターンＰ２の場合よりも多少劣る。また、詳細については説明を割愛するが、全ての画素の感度が均一になるように画像処理を行なうことでダイナミックレンジの広い画像を生成するために、この色・感度モザイクパターンＰ１の感度モザイクパターンに応じた信号処理が行なわれるが、この際、色ノイズ（色滲み）の点で多少の難点が生じる。
【０１８１】
これに対して、色・感度モザイクパターンＰ２の場合、汎用的な電極配置構造のＩＬ−ＣＣＤを用いて電子シャッタ方式のＳＶＥ撮像を実現することは事実上できず、電極構造の変更が必要となりその実現が困難である。一方、光学的手法により受光素子のそれぞれの感度制御を実現することで色・感度モザイクパターンＰ２を実現するのは、汎用的な電極配置構造のＩＬ−ＣＣＤを用いる場合でも容易である。
【０１８２】
また、色・感度モザイクパターンＰ２の場合、画素の色だけに注目するとベイヤー配列になっているので、感度モザイクパターンに対する信号処理と補正の関係から解像度はベイヤー配列より少し劣るものの、概ねベイヤー配列と遜色のない高解像度画像を取得でき、色・感度モザイクパターンＰ１よりも解像度が少しよい。すなわち、解像度の観点では、たとえばニュートラデンシティフィルタを利用したＮＤ方式ＳＶＥとする場合、この色・感度モザイクパターンＰ２を適用するのがよい。
【０１８３】
また、光学的な手法で感度モザイクパターン（Ｐ２に限らずＰ１なども）を実現すると、感度別の各受光素子は同一の露光期間（信号電荷蓄積期間）の全期間に亘る被写体Ｚの情報を計測するので、電子シャッタ方式ＳＶＥ撮像とは異なり、動解像度が高く、動被写体撮像時に画像の暈けなどが発生しない利点がある。
【０１８４】
ただし、光学的な手法で感度モザイクパターン（Ｐ２に限らずＰ１なども）を実現すると、固体撮像素子の製造時に各受光素子の感度が固定されることになり（感度を可変制御にすることができなくなり）、ダイナミックレンジの拡大率を状況に合せて可変に制御することが事実上できない。また、ダイナミックレンジの拡大が必要ないときに、ＳＶＥ撮像をオフすると言うことができず、事実上、ＳＶＥ撮像機能を働かせたままとせざるを得ず、解像度が多少低下したままとなる。
【０１８５】
これに対して、電子シャッタ方式ＳＶＥ撮像では、露光期間の制御で感度モザイクパターンを実現するので、ダイナミックレンジの拡大率を状況に合せて可変制御することが容易であり、また、ＳＶＥ撮像機能のオン／オフ制御もできるので、ダイナミックレンジの拡大が必要ないときにはＳＶＥ撮像をオフできる。
【０１８６】
＜駆動タイミング；第２実施形態＞
図１３は、光学的な手法、特にニュートラルデンシティフィルタ８３１の濃度の違いにより感度モザイクパターンが形成されているインターライン型のＣＣＤ固体撮像素子１０を用いてＳＶＥ撮像を実現するための駆動制御の第２実施形態を説明する図である。この図１３では、高感度画素信号を先に読み出す図１１に示したものへの変形例で示すが、低感度画素信号を先に読み出す図１０に示したものへも同様に適用可能である。なお、露出動作中に受光される光強度は変化しないものとする。
【０１８７】
この第２実施形態の駆動制御手法は、信号電荷をセンサ部１１で生成しているいわゆる露光期間中に、ラインシフト動作を行なう点に特徴を有する。第１実施形態のように、露光期間中にラインシフト動作を停止させておくと、垂直ＣＣＤ１３では、暗電流に起因した電荷が蓄積され続けるので垂直ＣＣＤ１３内には不要な電荷が溜まる。
【０１８８】
これに対して、露光期間中に、ラインシフト動作を行なっておくと、露光期間中に垂直ＣＣＤ１３中で発生する暗電流に起因した電荷が垂直ＣＣＤ１３に蓄積され続ける現象を防止でき、垂直ＣＣＤ１３中に生じる暗電流に起因したＳ／Ｎ低下を防止することができる。
【０１８９】
すなわち、期間ｔ１０〜ｔ１７以外においては、必要に応じて垂直ＣＣＤ１３（Ｖレジスタ）に電荷を転送させるための波形電圧が垂直転送電極２４に供給されるのであるが、期間ｔ１０〜ｔ１６においても、垂直ＣＣＤ１３中で発生する暗電流を掃き捨てるためには垂直ＣＣＤ１３に電荷（垂直ＣＣＤ１３中の暗電流）を転送させるための波形電圧が垂直転送電極２４に供給される方がよい。
【０１９０】
この点は、通常のインターライン型のＣＣＤ固体撮像素子でフレーム読み出し撮像を行なう際には、Ｖブランキング期間に偶数ラインもしくは奇数ラインの撮像部全面の各センサ部１１から垂直ＣＣＤ１３に信号電荷を一斉に読み出し（フィールドシフトし）、次フィールドの画面撮像中の水平ブランキング期間内に垂直電荷転送（ラインシフト）を行なうのと同様である。
【０１９１】
ただし、露光期間中にラインシフト動作を行なうと、高輝度部分での信号電荷の垂直ＣＣＤ１３への混入により、画面上高輝度部分の上下に縦筋（つまりスミアやブルーミング）が発生し得る。これを避けるには、１回目の読み出しのために電荷読み出しパルス電圧（読み出しＲＯＧ１）もしくは電荷読み出しパルス電圧（読み出しＲＯＧ２）を供給する直前（ｔ１７〜ｔ２０）に、スミア現象やブルーミング現象を引き起こす不要な電荷（垂直ＣＣＤ１３中の不要電荷）をＣＣＤ固体撮像素子１０外に掃き捨てておくのがよい。
【０１９２】
＜ＦＩＴ−ＣＣＤへの適用；第３実施形態＞
図１４は、ＣＣＤ固体撮像素子１０と、このＣＣＤ固体撮像素子１０を駆動する駆動制御部９６の一実施形態とから構成された第３実施形態の固体撮像装置２の概略図である。
【０１９３】
第１実施形態では、ＣＣＤ固体撮像素子１０として、インターライン（InterLine ）方式のＩＬ−ＣＣＤを用いた事例で説明したが、ＩＬ−ＣＣＤの下部に１フィールド分の信号電荷を蓄積するための遮光された蓄積領域３００を備えたフレームインターライン転送（Flame InterLine Transfer）方式のＦＩＴ−ＣＣＤをＣＣＤ固体撮像素子１０として用いても、センサ部１１から垂直ＣＣＤ１３への信号電荷の読み出しや垂直ＣＣＤ１３におけるラインシフト動作は殆ど同じであり、図１０を用いて説明した駆動制御を同様に行なうことができる。
【０１９４】
すなわち、ＦＩＴ−ＣＣＤでは、垂直ブランキング期間に垂直ＣＣＤ１３に読み出された信号電荷は高速の垂直転送パルスΦＶＶを用いて蓄積領域３００に転送される。この後、水平ブランキング期間に第１実施形態での垂直転送パルスΦＶと同様な速度の垂直転送パルスΦＶを用いて、信号電荷が蓄積領域３００から１水平ラインずつ水平ＣＣＤ１５に送り込まれるラインシフト動作が行なわれる。
【０１９５】
このように、第１実施形態、第２実施形態、および第３実施形態の何れの駆動制御手法を用いる場合においても、メカニカルシャッタ５２を用いることで、ＩＬ−ＣＣＤやＦＩＴ−ＣＣＤを用いてＳＶＥ方式による静止画撮像を実現することができるので、一般的なデジタルスチルカメラ用のＣＣＤ固体撮像素子を流用することができ、より画素サイズの小さなＣＣＤ固体撮像素子１０を用いることができ、多画素化を低コストで実現することができる。
【０１９６】
＜デモザイク処理の概要＞
図１５は、本実施形態のデジタルスチルカメラ１におけるＳＶＥ撮像動作の概要を説明する図である。デジタルスチルカメラ１は、駆動制御部９６による駆動制御の元に光学系５およびＣＣＤ固体撮像素子１０による撮像動作によって、被写体Ｚを所定のモザイクパターンに従って画素ごとに異なる色と感度で撮像し、色と感度がモザイク状になった色・感度モザイク画像を得る。
【０１９７】
その後、画像処理部６６を中心とする信号処理系６により、撮像動作によって得られた画像が、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換される。以下、色・感度モザイク画像を、各画素が全ての色成分を有し、かつ、均一の感度を有する画像に変換する画像処理部６６を中心とする信号処理系６の処理を、デモザイク処理とも記述する。
【０１９８】
たとえば、ＳＶＥモードで撮像を行なうと、センサからの出力画像は図１５（Ａ）に示すような色・感度モザイク画像になる。ここで、図１５（Ｂ）は図１５（Ａ）の部分拡大図である。図１５（Ａ）に示すような色・感度モザイク画像は、画像処理によって各画素が全ての色成分と均一の感度を有する画像に変換される。すなわち、図１５（Ａ）に示す色・感度モザイク画像から被写体の元の輝度および色を復元することで、図１５（Ｄ）に示すようなダイナミックレンジが拡大された画像を得ることができる。ここで、図１５（Ｃ）は、ＳＶＥの信号処理によってダイナミックレンジが拡大された所定の１ラインの出力信号であり、図１５（Ｅ）は図１５（Ｄ）の部分拡大図である。
【０１９９】
図１６〜図２１は、画像処理部６６におけるデモザイク処理の概要を説明する図である。ここでは、デモザイク処理について簡単に説明するが、画像処理部６６におけるデモザイク処理の詳細は、たとえば、国際公開第ＷＯ２００２／０５６６０３号パンフレットや特開２００４−１７２８５８号公報を参照するとよい。
【０２００】
図１６は、画像処理部６６におけるデモザイク処理に着目した機能ブロック図である。デモザイク処理は、光学系５およびＣＣＤ固体撮像素子１０による撮像動作によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理からなる。
【０２０１】
図１６に示す画像処理部６６の構成例において、光学系５およびＣＣＤ固体撮像素子１０による撮像動作によって得られた色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像を生成する輝度画像生成部１８１および３原色Ｒ，Ｇ，Ｂの出力画像を生成する単色画像生成部１８２〜１８４に供給される。
【０２０２】
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
【０２０３】
図１７は、輝度画像生成部１８１の構成例を示す図である。図１７において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、３原色成分Ｒ，Ｇ，Ｂの各推定値Ｒ’，Ｇ’，Ｂ’を求める推定部１９１〜１９３に供給される。
【０２０４】
推定部１９１は、色・感度モザイク画像に対してＲ成分推定処理を施し、得られる各画素に対するＲ成分の推定値Ｒ’を乗算器１９４に供給する。推定部１９２は、色・感度モザイク画像に対してＧ成分推定処理を施し、得られる各画素に対するＧ成分の推定値Ｇ’を乗算器１９５に供給する。推定部１９３は、色・感度モザイク画像に対してＢ成分推定処理を施し、得られる各画素に対するＢ成分の推定値Ｂ’を乗算器１９６に供給する。
【０２０５】
乗算器１９４は、推定部１９１から供給される推定値Ｒ’に、色バランス係数ｋＲを乗算し、その積を加算器１９７に出力する。乗算器１９５は、推定部１９２から供給される推定値Ｇ’に、色バランス係数ｋＧを乗算し、その積を加算器１９７に出力する。乗算器１９６は、推定部１９３から供給される推定値Ｂ’に、色バランス係数ｋＢを乗算し、その積を加算器１９７に出力する。
【０２０６】
加算器１９７は、乗算器１９４から入力される積Ｒ’・ｋＲ、乗算器１９５から入力される積Ｇ’・ｋＧ、および乗算器１９６から入力される積Ｂ’・ｋＢを加算し、その和を画素値とする輝度候補画像を生成してノイズ除去部１９８に供給する。
【０２０７】
ここで、色バランス係数ｋＲ，ｋＧ，ｋＢは、予め設定されている値であり、たとえば、ｋＲ＝０．３、ｋＧ＝０．６、ｋＢ＝０．１である。なお、色バランス係数ｋＲ，ｋＧ，ｋＢの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、たとえば、ｋＲ＝ｋＧ＝ｋＢとしてもよい。
【０２０８】
ノイズ除去部１９８は、加算器１９７から供給される輝度候補画像に対してノイズ除去処理を施し、得られる輝度画像を図１６に示した単色画像生成部１８２〜１８４に供給する。
【０２０９】
図１８〜図２０は、推定部１９１，１９２，１９３が用いる合成感度補償ルックアップテーブルについて説明するための図である。図１８は、感度Ｓ０の低感度画素の感度特性曲線ｂと、感度Ｓ１の高感度画素の感度特性曲線ａを示しており、横軸は入射光の強度、縦軸は画素値を示す。図１８において、高感度画素の感度Ｓ１は、低感度画素の感度Ｓ０に対して４倍の感度を有している。
【０２１０】
推定部１９１，１９２，１９３が行なう推定処理では、図１８の感度特性曲線ｂに示すような特性で測定された感度Ｓ０の低感度画素から算出された第１の商と、図１８の感度特性曲線ａに示すような特性で測定された感度Ｓ１の高感度画素を用いて算出された第２の商とが加算される。この第１の商と第２の商の和を、図１９の感度特性曲線ｃに示す。したがって、図１９の感度特性曲線ｃは、感度Ｓ０の低感度画素の感度特性と感度Ｓ１の高感度画素の感度特性が合成された感度特性を有することになる。
【０２１１】
この合成された感度特性曲線ｃは、低輝度から高輝度に亘る広ダイナミックレンジの感度特性となるが、図１９に示すように折れ線となっているので、感度特性曲線ｃの逆特性曲線を用いることにより、元のリニアな感度特性を復元するようにする。具体的には、第１の商と第２の商の和に、図２０に示した図１９の感度特性曲線ｃの逆特性曲線ｄを適用して非線形性を補償するようにする。合成感度補償ルックアップテーブルは、図２０の逆特性曲線ｄをルックアップテーブル化したものである。
【０２１２】
図２１は、出力画像Ｒを生成する単色画像生成部１８２の構成例を示す図である。なお、出力画像Ｇを生成する単色画像生成部１８３や出力画像Ｂを生成する単色画像生成部１８４の構成例も同様であるので、その構成や説明は省略する。
【０２１３】
単色画像生成部１８２において、色・感度モザイク画像、色モザイクパターン情報、および感度モザイクパターン情報は、補間部２０１に供給される。輝度画像は、比率値算出部２０２、および乗算器２０３に供給される。
【０２１４】
補間部２０１は、色・感度モザイク画像に補間処理を施し、得られる全ての画素がＲ成分の画素値を有するＲ候補画像を比率値算出部２０２に出力する。比率値算出部２０２は、Ｒ候補画像と輝度画像の対応する画素間の強度比率の低周波成分（以下単に強度比率と記述する）を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成して乗算器２０３に供給する。
【０２１５】
乗算器２０３は、輝度画像の各画素の画素値に、対応する強度比率を示す比率値情報を乗算し、その積を画素値とする出力画像Ｒを生成する。
【０２１６】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０２１７】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０２１８】
たとえば、上記実施形態では、可視光を色分離して検知することでカラー画像を撮像する場合におけるＳＶＥ方式の撮像について説明したが、カラー画像に限らずモノクロ画像の撮像であってもよい。また。可視光に限らず、赤外線や紫外線などの任意の波長帯域の電磁波を検知することで、その所定波長帯域の画像を撮像する場合におけるＳＶＥ方式の撮像についても、上記実施形態の仕組みを同様に適用することができる。
【図面の簡単な説明】
【０２１９】
【図１】本発明に係る撮像装置の一実施形態であるデジタルスチルカメラを示す概略構成図である。
【図２】ＣＣＤ固体撮像素子と駆動制御部とから構成された第１実施形態および第２実施形態の固体撮像装置の概略図である。
【図３】第１の特徴を呈する色・感度モザイクパターンＰ１を示す図である。
【図４】第２の特徴を呈する色・感度モザイクパターンＰ２を示す図である。
【図５】第４の特徴を呈する色・感度モザイクパターンＰ４を示す図である。
【図６】センサ部の断面を示す図である。
【図７】感度モザイクパターンを光学的に実現する第１の手法を説明する図である。
【図８】感度モザイクパターンを光学的に実現する第２の手法を説明する図である。
【図９】感度モザイクパターンを光学的に実現する第３の手法を説明する図である。
【図１０】感度モザイクパターンが形成されているインターライン型のＣＣＤ固体撮像素子を用いてＳＶＥ撮像を実現するための駆動制御の第１実施形態（第１例）を説明する図である。
【図１１】感度モザイクパターンが形成されているインターライン型のＣＣＤ固体撮像素子を用いてＳＶＥ撮像を実現するための駆動制御の第１実施形態（第２例）を説明する図である。
【図１２】各色・感度モザイクパターンでの性能比較を説明する図である。
【図１３】感度モザイクパターンが形成されているインターライン型のＣＣＤ固体撮像素子を用いてＳＶＥ撮像を実現するための駆動制御の第２実施形態を説明する図である。
【図１４】ＣＣＤ固体撮像素子と駆動制御部とから構成された第３実施形態の固体撮像装置の概略図である。
【図１５】本実施形態のデジタルスチルカメラにおけるＳＶＥ撮像動作の概要を説明する図である。
【図１６】画像処理部におけるデモザイク処理に着目した機能ブロック図である。
【図１７】輝度画像生成部の構成例を示す図である。
【図１８】推定部が用いる合成感度補償ルックアップテーブルについて説明するための図（その１）である。
【図１９】推定部が用いる合成感度補償ルックアップテーブルについて説明するための図（その２）である。
【図２０】推定部が用いる合成感度補償ルックアップテーブルについて説明するための図（その３）である。
【図２１】出力画像Ｒを生成する単色画像生成部の構成例を示す図である。
【符号の説明】
【０２２０】
１…デジタルスチルカメラ、２…固体撮像装置、３…撮像装置モジュール、４…本体ユニット、５…光学系、６…信号処理系、７…記録系、８…表示系、９…制御系、１０…ＣＣＤ固体撮像素子、１１…センサ部、１２…読み出しゲート部、１３…垂直ＣＣＤ、１４…撮像エリア、１５…水平ＣＣＤ、１６…電荷電圧変換部、１７…チャネルストップ部（ＣＳ）、２４…垂直転送電極、４０…タイミング信号生成部、４２…ドライバ、４６…駆動電源、５２…メカニカルシャッタ、５４…レンズ、５６…絞り、６２…プリアンプ部、６４…Ａ／Ｄ変換部、６６…画像処理部、７２…メモリ、７４…ＣＯＤＥＣ、８２…Ｄ／Ａ変換部、８４…ビデオモニタ、８６…ビデオエンコーダ、９２…中央制御部、９４…露出コントローラ、９６…駆動制御部、９８…操作部、３００…蓄積領域、８２１…オンチップレンズ、８２２…オンチップカラーフィルタ、８２４…シールド（遮光膜）、８３１…ニュートラルデンシティフィルタ
【図１】
2007135200.tif 000003
【図２】
2007135200.tif 000004
【図３】
2007135200.tif 000005
【図４】
2007135200.tif 000006
【図５】
2007135200.tif 000007
【図６】
2007135200.tif 000008
【図７】
2007135200.tif 000009
【図８】
2007135200.tif 000010
【図９】
2007135200.tif 000011
【図１０】
2007135200.tif 000012
【図１１】
2007135200.tif 000013
【図１２】
2007135200.tif 000014
【図１３】
2007135200.tif 000015
【図１４】
2007135200.tif 000016
【図１５】
2007135200.tif 000017
【図１６】
2007135200.tif 000018
【図１７】
2007135200.tif 000019
【図１８】
2007135200.tif 000020
【図１９】
2007135200.tif 000021
【図２０】
2007135200.tif 000022
【図２１】
2007135200.tif 000023