(57)【要約】【課題】時間ずれの少ない複数の画像信号を取得することができるようにする。【解決手段】撮像素子は、入射した光を光電変換により電荷に変換して蓄積する光電変換部と、光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域を有する。また、撮像素子は、所定の光源の発光パターンに応じて、光電変換部で生成された電荷を、複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、画素を駆動する駆動部を有する。本技術は、例えば、撮像素子等に適用できる。【選択図】図６
2016189557.tif 000002
【特許請求の範囲】
【請求項１】
入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部と
を備える撮像素子。
【請求項２】
前記所定の光源の発光パターンは、発光のオン及びオフの繰り返しであり、
前記駆動部は、所定の周期で、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する
請求項１に記載の撮像素子。
【請求項３】
前記所定の光源の発光パターンは、発光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記発光のオン期間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。
【請求項４】
前記駆動部は、他の１つの前記電荷蓄積部への前記電荷の転送を、前記発光のオフ期間に同期させるように、前記画素を駆動する
請求項３に記載の撮像素子。
【請求項５】
前記所定の光源は、赤外光を発光する光源である
請求項３に記載の撮像素子。
【請求項６】
前記所定の光源の発光パターンは、光通信の通信情報の信号区間と非信号区間の繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記信号区間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。
【請求項７】
前記駆動部は、他の１つの前記電荷蓄積部への前記電荷の転送を、前記非信号区間に同期させるように、前記画素を駆動する
請求項６に記載の撮像素子。
【請求項８】
前記所定の光源の発光パターンは、偏光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記偏光のオン期間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。
【請求項９】
前記偏光として、P波とS波とがあり、
前記駆動部は、１つの前記電荷蓄積部への前記電荷の転送を前記P波のオン期間に同期させ、他の１つの前記電荷蓄積部への前記電荷の転送を前記S波のオン期間に同期させるように、前記画素を駆動する
請求項８に記載の撮像素子。
【請求項１０】
前記所定の光源の発光パターンは、所定の波長帯域成分を有する光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記所定の波長帯域成分を有する光のオン期間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。
【請求項１１】
前記所定の光源の発光パターンとして、R、G、またはBの波長帯域成分を有する３種類の光のオン及びオフの繰り返しがあり、
前記画素領域の前記画素は、３つの前記電荷蓄積部を有し、
前記駆動部は、前記R、G、またはBの波長帯域成分を有する光のオン期間に同期させて、前記光電変換部で生成された電荷を、対応する３つの前記電荷蓄積部へ順次転送するように、前記画素を駆動する
請求項１０に記載の撮像素子。
【請求項１２】
前記所定の光源の発光パターンは、所定の配光特性を有する光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記所定の配光特性を有する光のオン期間に同期させるように、前記画素を駆動する
請求項１に記載の撮像素子。
【請求項１３】
前記駆動部は、前記配光特性が異なる複数の光源それぞれのオン期間に同期させて、前記光電変換部で生成された電荷を、対応する前記電荷蓄積部へ順次転送するように、前記画素を駆動する
請求項１２に記載の撮像素子。
【請求項１４】
前記配光特性が異なる複数の光源により得られた画像信号には、異なるゲインが設定される
請求項１２に記載の撮像素子。
【請求項１５】
入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域を備える撮像素子が、
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する
撮像素子の駆動方法。
【請求項１６】
入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部と
を有する撮像素子
を備える電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像素子およびその駆動方法、並びに電子機器に関し、特に、時間ずれの少ない複数の画像信号を取得することができるようにする撮像素子およびその駆動方法、並びに電子機器に関する。
【背景技術】
【０００２】
例えば、監視カメラなどの撮像装置においては、赤外光で被写体を照らして撮像することで、認識性を向上させたものがある。例えば、特許文献１では、赤外LEDの点灯と消灯を１フレーム単位で繰り返し、１フレームおきに、カラー画像と、赤外光によってコントラストが鮮やかになったモノクロ画像が取得される。そして、カラー画像とモノクロ画像とを合成して、認識性を向上させた画像が生成される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２３３９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、光源種類の異なる画像をフレーム単位で切り替える場合には、フレーム単位の時間ずれが発生し、例えば、動被写体などに適応させることが困難であった。
【０００５】
本技術は、このような状況に鑑みてなされたものであり、時間ずれの少ない複数の画像信号を取得することができるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の第１の側面の撮像素子は、入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部とを備える。
【０００７】
本技術の第２の側面の撮像素子の駆動方法は、入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域を備える撮像素子が、所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する。
【０００８】
本技術の第３の側面の電子機器は、入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部とを有する撮像素子を備える。
【０００９】
本技術の第１乃至第３の側面においては、入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域において、所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素が駆動される。
【００１０】
撮像素子及び電子機器は、独立した装置であっても良いし、他の装置に組み込まれるモジュールであっても良い。
【発明の効果】
【００１１】
本技術の第１乃至第３の側面によれば、時間ずれの少ない複数の画像信号を取得することができる。
【００１２】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１３】
【図１】本技術を適用した撮像素子の構成例を示すブロック図である。
【図２】画素の等価回路を示す図である。
【図３】画素回路の平面的な構成例を示す図である。
【図４】表面照射型とした場合の画素の概略構成を示す斜視図である。
【図５】裏面照射型とした場合の画素の概略構成を示す斜視図である。
【図６】撮像素子による第１の駆動制御を説明する図である。
【図７】撮像素子による第２の駆動制御を説明する図である。
【図８】撮像素子による第２の駆動制御を説明する図である。
【図９】撮像素子による第３の駆動制御を説明する図である。
【図１０】画素のカラーフィルタ配置を説明する図である。
【図１１】輝度信号Yと色差信号CrおよびCbを生成する処理を説明する図である。
【図１２】デイモードにおける駆動制御説明する図である。
【図１３】輝度信号Yと色差信号CrおよびCbを生成する処理を説明する図である。
【図１４】ベイヤ配列のときの輝度信号Yと色差信号CrおよびCbを生成する処理を説明する図である。
【図１５】撮像素子による第４の駆動制御を説明する図である。
【図１６】撮像素子による第５の駆動制御を説明する図である。
【図１７】撮像素子による第６の駆動制御を説明する図である。
【図１８】車のヘッドライトにおける３種類の配光パターンの例を示す図である。
【図１９】本技術を適用した電子機器としての撮像装置の構成例を示すブロック図である。
【図２０】撮像素子の使用例を説明する図である。
【発明を実施するための形態】
【００１４】
以下、本技術を実施するための形態（以下、実施の形態という）について説明する。なお、説明は以下の順序で行う。
１．撮像素子全体構成例
２．画素の詳細構成
３．第１の駆動制御（パルス光源対応制御）
４．第２の駆動制御（光通信対応制御）
５．第３の駆動制御（IR受光対応制御）
６．第４の駆動制御（偏光対応制御）
７．第５の駆動制御（RGB対応制御）
８．第６の駆動制御（配光パターン対応制御）
９．まとめ
１０．撮像装置への適用例
【００１５】
＜１．撮像素子全体構成例＞
図１は、本技術を適用した撮像素子の構成例を示すブロック図である。
【００１６】
図１に示すように、撮像素子１は、画素領域２、垂直駆動回路３、カラム信号処理回路４、水平駆動回路５、出力回路６、および制御回路７を備えて構成される。
【００１７】
画素領域２は、図示しない光学系により集光される光を受光する受光面である。画素領域２には、複数の画素１１が行列状に配置されており、それぞれの画素１１は、水平信号線を介して行ごとに垂直駆動回路３に接続されるとともに、垂直信号線を介して列ごとにカラム信号処理回路４に接続される。複数の画素１１は、それぞれ受光する光の光量に応じたレベルの画素信号をそれぞれ出力し、それらの画素信号から、画素領域２に結像する被写体の画像が構築される。
【００１８】
垂直駆動回路３は、画素領域２に配置される複数の画素１１の行ごとに順次、それぞれの画素１１を駆動（転送や、選択、リセットなど）するための駆動信号を、水平信号線を介して画素１１に供給する。
【００１９】
カラム信号処理回路４は、複数の画素１１から垂直信号線を介して出力される画素信号に対してCDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のAD変換を行うとともにリセットノイズを除去する。
【００２０】
水平駆動回路５は、画素領域２に配置される複数の画素１１の列ごとに順次、カラム信号処理回路４から画素信号をデータ出力信号線に出力させるための駆動信号を、カラム信号処理回路４に供給する。
【００２１】
出力回路６は、水平駆動回路５の駆動信号に従ったタイミングでカラム信号処理回路４からデータ出力信号線を介して供給される画素信号を増幅し、後段の信号処理回路に出力する。
【００２２】
制御回路７は、撮像素子１の内部の各ブロックの駆動を制御する。例えば、制御回路７は、各ブロックの駆動周期に従ったクロック信号を生成して、それぞれのブロックに供給する。
【００２３】
このように構成される撮像素子１は、CDS処理とAD変換処理を行うカラム信号処理回路４が画素列ごとに配置されたカラムAD方式と呼ばれるCMOSイメージセンサである。
【００２４】
＜２．画素の詳細構成＞
次に、図２乃至図５を参照して、画素１１の詳細構成について説明する。
【００２５】
図２は、画素１１の等価回路を示す図である。
【００２６】
図２に示すように、画素１１は、PD２１、電荷読み出し経路２２−１乃至２２−３、および、アンチブルーミングゲート２３を備えて構成される。
【００２７】
PD２１は、入射した光を光電変換により電荷に変換して蓄積する光電変換部である。PD２１は、アノード端子が接地されているとともに、カソード端子が電荷読み出し経路２２−１乃至２２−３それぞれを介して垂直信号線に接続されるとともに、アンチブルーミングゲート２３を介してドレインに接続されている。
【００２８】
電荷読み出し経路２２−１は、転送ゲート３１−１、電荷蓄積ゲート３２−１、読み出しゲート３３−１、FD部３４−１、蓄積容量３５−１、増幅トランジスタ３６−１、選択トランジスタ３７−１、およびリセットトランジスタ３８−１を備えて構成される。なお、電荷読み出し経路２２−２および２２−３は、電荷読み出し経路２２−１と同様に構成されており、その詳細な説明は省略する。
【００２９】
転送ゲート３１−１のゲート電極と電荷蓄積ゲート３２−１のゲート電極とは接続されており、転送ゲート３１−１および電荷蓄積ゲート３２−１は、ゲート電極に印加される転送パルスTG1に従って、同一のタイミングで駆動する。即ち、転送パルスTG1がオンになるタイミングで、PD２１に蓄積されている電荷が、転送ゲート３１−１を介して電荷蓄積ゲート３２−１に転送され、電荷蓄積ゲート３２−１で蓄積される。
【００３０】
読み出しゲート３３−１は、ゲート電極に印加される読み出しパルスROG1に従って駆動し、読み出しパルスROG1がオンになるタイミングで、電荷蓄積ゲート３２−１に蓄積されている電荷がFD部３４−１に読み出される。
【００３１】
FD部３４−１は、増幅トランジスタ３６−１のゲート電極に接続された所定の蓄積容量３５−１を有する浮遊拡散領域であり、読み出しゲート３３−１を介して転送される電荷を蓄積容量３５−１に一時的に蓄積する。
【００３２】
増幅トランジスタ３６−１は、FD部３４−１の蓄積容量３５−１に蓄積されている電荷に応じたレベル（即ち、FD部３４−１の電位）の画素信号を、選択トランジスタ３７−１を介して垂直信号線に出力する。つまり、FD部３４−１が増幅トランジスタ３６−１のゲート電極に接続される構成により、FD部３４−１は、PD２１から電荷蓄積ゲート３２−１に転送された電荷を、その電荷に応じたレベルの画素信号に変換する電荷電圧変換部として機能する。
【００３３】
選択トランジスタ３７−１は、垂直駆動回路３から供給される選択信号SEL1に従って駆動し、選択トランジスタ３７−１がオンになると、増幅トランジスタ３６−１から出力される画素信号が垂直信号線に出力可能な状態となる。
【００３４】
リセットトランジスタ３８−１は、垂直駆動回路３から供給されるリセット信号RG1に従って駆動し、リセットトランジスタ３８−１がオンになると、FD部３４−１の蓄積容量３５−１に蓄積されている電荷がドレインに排出される。これにより、FD部３４−１の蓄積容量３５−１がリセットされる。
【００３５】
このように電荷読み出し経路２２−１は構成されており、PD２１から電荷蓄積ゲート３２−１に転送された電荷に応じた画素信号が、電荷読み出し経路２２−１を介して読み出される。同様に、電荷読み出し経路２２−２では、PD２１から電荷蓄積ゲート３２−２に転送された電荷に応じた画素信号が読み出され、電荷読み出し経路２２−３では、PD２１から電荷蓄積ゲート３２−３に転送された電荷に応じた画素信号が読み出される。
【００３６】
アンチブルーミングゲート２３は、ゲート電極に印加される排出パルスABGに従って駆動し、排出パルスABGがオンになるタイミングで、PD２１に蓄積されている電荷がドレインに排出されることにより、シャッタ制御が行われる。また、PD２１に非常に強い光が入射した場合に、PD２１からアンチブルーミングゲート２３を介して電荷が溢れ出るように、アンチブルーミングゲート２３の電位が設定されている。
【００３７】
図３は、図２に示した画素回路の平面的な構成例を示す図である。
【００３８】
図３に示すように、画素１１は、略正方形に形成されたPD２１の３辺に接続するように電荷読み出し経路２２−１乃至２２−３が形成され、残りの１辺に接続するようにアンチブルーミングゲート２３が形成されている。
【００３９】
電荷読み出し経路２２−１は、PD２１側から順に、転送ゲート３１−１、電荷蓄積ゲート３２−１、読み出しゲート３３−１、およびリセットトランジスタ３８−１が配置されている。なお、電荷読み出し経路２２−２および２２−３は、電荷読み出し経路２２−１と同様に構成されており、その詳細な説明は省略する。また、図３では、増幅トランジスタ３６および選択トランジスタ３７の図示は省略されている。
【００４０】
転送ゲート３１−１および電荷蓄積ゲート３２−１は、共通のゲート電極４１−１を有して構成され、ゲート電極４１−１はPD２１に隣接するように配置されている。また、読み出しゲート３３−１を構成するゲート電極４２−１と、リセットトランジスタ３８−１を構成するゲート電極４３−１との間に、FD部３４に接続される貫通電極４４−１が配置されている。また、ゲート電極４３−１に対して貫通電極４４−１の反対側に、リセットトランジスタ３８−１のドレインに接続される貫通電極４５−１が配置されている。
【００４１】
アンチブルーミングゲート２３は、PD２１に隣接するようにゲート電極５１が配置され、ゲート電極５１に対してPD２１の反対側に、ドレインに接続される貫通電極５２が配置されている。
【００４２】
また、画素１１の受光面側には、電荷読み出し経路２２−１乃至２２−３およびアンチブルーミングゲート２３を遮光するように遮光膜６１が成膜されており、遮光膜６１には、PD２１に光を入射するための開口部６２が形成されている。
【００４３】
このように、画素１１は、３方向に電荷読み出し経路２２−１乃至２２−３が配置され（3tap構造）、残りの１方向にアンチブルーミングゲート２３が配置される構成とすることができる。
【００４４】
次に、図４及び図５を参照して、画素１１の立体的な構成例についてさらに説明する。
【００４５】
撮像素子１には、PD２１が形成される半導体基板に対して配線層などを積層する表面側から光を照射する表面照射型と、配線層などが形成された表面に対して反対側の裏面側から光を照射する裏面照射型の２種類がある。
【００４６】
図４は、撮像素子１を表面照射型とした場合の画素１１の概略構成を示す斜視図であり、図５は、撮像素子１を裏面照射型とした場合の画素１１の概略構成を示す斜視図である。
【００４７】
撮像素子１を表面照射型とした場合、図４に示されるように、画素１１ごとにオンチップレンズ８１が設けられており、オンチップレンズ８１を介して入射する光は、PD２１が設けられる半導体基板の配線層側に積層された遮光膜６１の開口部６２を通過してPD２１に照射される。
【００４８】
図示するように、PD２１に対して３方向に電荷蓄積部８２−１乃至８２−３が設けられ、残りの１方向にリセットドレイン８３が設けられている。電荷蓄積部８２−１乃至８２−３は、電荷蓄積ゲート３２−１乃至３２−３（図２参照）に対応し、PD２１から電荷蓄積部８２−１乃至８２−３に電荷が転送される。リセットドレイン８３は、アンチブルーミングゲート２３（図２参照）を介してPD２１の電荷を排出するのに利用される。
【００４９】
このように撮像素子１を表面照射型とした場合の画素１１では、PD２１と電荷蓄積部８２−１乃至８２−３とが同一平面上に配置される構成となる。
【００５０】
これに対して、撮像素子１を裏面照射型とした場合には、図５に示されるように、画素１１ごとにオンチップレンズ８１が設けられており、オンチップレンズ８１を介して入射する光がPD２１に照射される。PD２１の表面側（図５の下方を向く面側）に遮光膜６１が形成されており、この遮光膜６１によって、下方に配置された電荷蓄積部８２−１乃至８２−３およびリセットドレイン８３が遮光されている。
【００５１】
図示するように、電荷蓄積部８２−１乃至８２−３およびリセットドレイン８３は、裏面側にPD２１が設けられる半導体基板の表面側に、平面的に見てPD２１と重なるように配置される。このように、撮像素子１を裏面照射型とした場合には、PD２１と電荷蓄積部８２−１乃至８２−３とが同一平面上に配置されることがないため、電荷蓄積部８２−１乃至８２−３の面積を、図４の表面照射型の画素１１と比較して、大きく設計することができる。
【００５２】
これにより、裏面照射型では、例えば、画素１１のサイズを、表面照射型よりも全体的に小さくすることができる。即ち、裏面側の多くの部分を電荷蓄積部８２−１乃至８２−３の配置に用いることができるので、画素１１の微細化を図ることができる。さらに、電荷蓄積部８２−１乃至８２−３の影響を受けることなくPD２１の開口率を広くすることができるので、受光感度を向上させることができる。
【００５３】
以上のように構成される画素１１は、垂直駆動回路３の駆動に従って、PD２１で生成された電荷を、電荷読み出し経路２２−１乃至２２−３を介して読み出すことができる。
【００５４】
より具体的には、画素１１は、１フレームの期間中にPD２１の電荷を、順次、電荷蓄積部８２−１乃至８２−３に転送して、電荷蓄積部８２−１乃至８２−３それぞれに、３つの異なる露光タイミングの電荷（画素信号）を蓄積することができる。電荷蓄積部８２−１乃至８２−３それぞれに蓄積された、露光タイミングの異なる電荷（画素信号）が、電荷読み出し経路２２−１乃至２２−３を介して読み出され、出力される。
【００５５】
なお、以下の説明では、１フレーム期間内の所定期間中にPD２１で電荷を生成し、電荷読み出し経路２２−１の電荷蓄積部８２−１に転送する動作を、「第１読み出し経路の露光」のように称する場合がある。また、同一フレーム期間内の所定期間中にPD２１で電荷を生成し、電荷読み出し経路２２−２の電荷蓄積部８２−２に転送する動作を、「第２読み出し経路の露光」のように称する場合がある。同様に、同一フレーム期間内の所定期間中にPD２１で電荷を生成し、電荷読み出し経路２２−３の電荷蓄積部８２−３に転送する動作を、「第３読み出し経路の露光」のように称する場合がある。
【００５６】
なお、図２および図３に示したように、画素１１は、PD２１から転送される電荷を蓄積する電荷蓄積部８２−１乃至８２−３として、ゲート電極付き埋め込みチャネル型の構造の電荷蓄積ゲート３２−１乃至３２−３を採用している。しかし、電荷蓄積部８２の構造としては、例えば、フローティングディフュージョン型や仮想ゲート付き埋め込みチャネル型など、様々な構造を採用することができる。この場合、それらの電荷蓄積部８２の容量は、ＳＮＲ等に応じて適宜設定することができる。また、画素１１は、アンチブルーミングゲート２３を備えない構造としてもよい。さらに、近年微細化で多く利用されているFD共有構造を採用することが可能で、FD部３４以降の回路を共有することができる。即ち、FD部３４−１、FD部３４−２、FD部３４−３を１つに接続して、１つずつ設けられたリセットトランジスタ３８、増幅トランジスタ３６、および選択トランジスタ３７を、電荷読み出し経路２２−１乃至２２−３で共有する構造を採用することができる。
【００５７】
また、上述した例では、画素１１が、３つの電荷読み出し経路２２−１乃至２２−３を有し、３種類の異なる露光タイミングで得られた電荷を、電荷蓄積部８２−１乃至８２−３に蓄積できる構成として説明した。
【００５８】
しかし、画素１１は、３つの電荷読み出し経路２２−１乃至２２−３のいずれか一つを省略し、２種類の異なる露光タイミングで得られた電荷を、異なる２つの電荷蓄積部８２に蓄積する構成とすることもできる。例えば、電荷読み出し経路２２−３が省略されたとすると、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有し、２種類の異なる露光タイミングで得られた電荷を、対応する電荷蓄積部８２−１及び８２−２に蓄積できる構成とすることができる。
【００５９】
また、上述した例では、画素１１の形状が四角形の場合で、３つの電荷読み出し経路２２−１乃至２２−３を有する例を挙げたが、画素１１の形状は、ハニカム配列の六角形としてもよい。この場合、画素１１には、５つの電荷読み出し経路２２と１つのアンチブルーミングゲート２３を構成することができ、多角形化によって、任意の電荷読み出し経路２２を設けることができる。
【００６０】
以下では、複数種類の電荷読み出し経路２２を有し、異なる露光タイミングで得られた電荷を、異なる電荷蓄積部８２にそれぞれ蓄積する構成とした画素１１の駆動方法とアプリケーション適用例について説明する。
【００６１】
＜３．第１の駆動制御（パルス光源対応制御）＞
図６は、撮像素子１による第１の駆動制御を説明する図である。
【００６２】
なお、図６は、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有する場合の駆動制御例を示している。
【００６３】
近年、道路の信号機（交通信号機）は、LED光源を用いたものに置き換えられている。LED光源は、点灯と消灯を所定期間で繰り返すパルス光源（交流光源）である。ドライブレコーダなどの車載カメラなどにおいて、録画された動画像を見ると、人間の目では点灯して見える信号機が点滅（フリッカ）しているように録画されることが多い。これは、車載カメラの撮像タイミングが、LED光源の消灯時と一致した場合には、消灯されているように録画されることになるためである。
【００６４】
第１の駆動制御では、撮像素子１は、各画素１１において、第１読み出し経路の露光と、第２読み出し経路の露光を、１フレームの期間中に複数回繰り返す制御を行う。
【００６５】
図６において、第１読み出し経路の１回の露光期間は、例えば、期間T1で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【００６６】
また、第２読み出し経路の１回の露光期間は、例えば、期間T2で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【００６７】
第１の駆動制御では、期間T1で示される第１読み出し経路の露光と、期間T2で示される第１読み出し経路の露光が、パルス光源の点灯周期に対して高速な周期で繰り返されている。
【００６８】
例えば、図６に示されるように、撮像素子１が動画像を撮像する際のフレームレートを60fpsとすると、１フレーム当たりの時間は16.7msとなる。この16.7msの１フレーム期間に対して、第１読み出し経路の露光と第２読み出し経路の露光が、1/1000ないし1/10000程度の短い周期、換言すれば、数μsecないし数百μsec程度の時間間隔で行われる。
【００６９】
そして、撮像素子１は、１フレーム分の撮像が終了した後に、行ごとに順次、ローリング読み出しを行う。
【００７０】
第１読み出し経路の露光と第２読み出し経路の露光を、パルス光源の点灯周期に対して高速な周期で繰り返すことにより、パルス光源が点灯している期間中に、第１読み出し経路の露光と第２読み出し経路の露光が、所定回数が必ず含まれる状態となる。
【００７１】
従って、撮像素子１は、パルス光源の点灯を必ず撮像することができ、撮像画像のフリッカ現象を防止することができる。これにより、撮像素子１の後段で、例えば、複雑なフリッカ補正処理を行う必要がなくなり、後段の信号処理の負荷を軽減することができる。
【００７２】
第１の電荷読み出し経路２２−１で得られた画素信号と、第２の電荷読み出し経路２２−２で得られた画素信号は、それらを加算して１つの撮像画像としてもよいし、それらの一方をフリッカレスの画像として用いても良い。
【００７３】
なお、上述した例は、パルス光源の点灯周波数に関係なく、高速な所定の周期で、各電荷読み出し経路２２における露光を行う例であるが、パルス光源の点灯周期が既知である場合には、パルス光源の点灯周期に同期させた周期で、各電荷読み出し経路２２における露光を行っても良い。
【００７４】
また、第１読み出し経路の露光期間T1と、第２読み出し経路の露光期間T2に時間差を設けて、例えば、第１読み出し経路から得られる画素信号を高感度信号、第２読み出し経路から得られる画素信号を低感度信号とし、ハイダイナミックレンジ合成を行ってもよい。この場合には、パルス光源の影響を受けにくい正確なハイダイナミックレンジ合成を行うことができる。
【００７５】
＜４．第２の駆動制御（光通信対応制御）＞
図７は、撮像素子１による第２の駆動制御を説明する図である。
【００７６】
なお、図７も、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有する場合の駆動制御例を示している。図７以降においても、フレームレートは60fpsであるとし、１フレーム当たりの時間は16.7msとする。
【００７７】
安全運転を支援するシステムとして、例えば、信号機情報や規制情報、車両情報などを、車どうしでやり取りする車車間通信、車両と路側機等とでやりとりする路車間通信と呼ばれる通信方法がある。
【００７８】
路車間通信の一つとして、例えば、交通信号機の、赤、青、黄の点灯期間の一部に、光のオンオフで所定の情報を伝送する光通信を行うことが考えられる。
【００７９】
そのような場合に、撮像素子１は、第２の駆動制御として、各画素１１において、第１読み出し経路の露光を、光通信の通信情報の受信用として実行し、第２読み出し経路の露光を、画像生成用として実行する制御を行う。
【００８０】
例えば、図７に示されるように、LED光源の点灯期間が、光通信を行うLED通信期間と、交通信号機としての動作を行う交通信号期間とに分かれている。LED通信期間では、LED光源は、１フレーム期間中、伝送される情報に応じてオン（点灯）またはオフ（消灯）となっている。
【００８１】
撮像素子１は、第１読み出し経路の露光をLED通信期間に同期して実行させ、第２読み出し経路の露光をLED通信期間以外の期間、即ち、交通信号期間に実行させる。なお、LED通信期間のタイミングは、撮像素子１において既知であるとする。
【００８２】
図７において、第１読み出し経路の１回の露光期間は、例えば、期間T3で示される。第１読み出し経路の露光の１回の露光時間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【００８３】
また、第２読み出し経路の１回の露光期間は、例えば、期間T4で示される。第２読み出し経路の露光の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【００８４】
そして、第２の駆動制御においても、第１の駆動制御と同様に、期間T3のような第１読み出し経路の露光と、期間T4のような第１読み出し経路の露光が、１フレームの周期に対して高速な周期で繰り返されている。
【００８５】
第１の電荷読み出し経路２２−１で得られた信号は、例えば、画素領域２に対応する２次元の光通信情報として、後段の画像処理部（例えば、図１９の画像処理部２１４）等で処理される。第２の電荷読み出し経路２２−２で得られた信号は、例えば、撮像画像用の信号として、後段の画像処理部で処理される。これにより、光通信と画像取得を両立することができる。
【００８６】
なお、図７では、交通信号期間中、LED光源が点灯している場合の例を示したが、図８に示されるように、LED光源が消灯している場合もある。
【００８７】
図７及び図８の説明では、第２の駆動制御の適用事例として、交通信号機の、赤、青、黄の点灯期間の一部に、光のオンオフで所定の情報を伝送する光通信を行う場合の例について説明したが、第２の駆動制御の適用は、この事例に限定されるものではない。
【００８８】
＜５．第３の駆動制御（IR受光対応制御）＞
図９は、撮像素子１による第３の駆動制御を説明する図である。
【００８９】
なお、図９も、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有する場合の駆動制御例を示している。
【００９０】
例えば、監視カメラなどの撮像装置においては、夜間などの低照度でも認識性を向上させるため、赤外光（以下、IRとも記述する）を発光して撮像する機能を備えるものがある。IR発光機能を備える監視カメラでは、夜間はIRを発光させて撮像するナイトモードが実行され、昼間はIRを発光せずに撮像するデイモードが実行される。
【００９１】
撮像素子１は、IRを発光させて撮像するナイトモードにおいて、第３の駆動制御として、第１読み出し経路の露光をIR発光期間に同期して実行させ、第２読み出し経路の露光を、IR非発光期間に同期して実行させる。なお、IR発光期間のタイミングは、撮像素子１において既知であるとする。
【００９２】
図９において、第１読み出し経路の１回の露光期間は、例えば、期間T5で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【００９３】
また、第２読み出し経路の１回の露光期間は、例えば、期間T6で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【００９４】
第３の駆動制御においても、第１読み出し経路の露光と、第２読み出し経路の露光が、１フレームの周期に対して高速な周期で繰り返される。
【００９５】
例えば、撮像素子１の画素領域２では、図１０に示されるように、R（赤色）のカラーフィルタを有するR画素、G（緑色）のカラーフィルタを有するG画素、B（青色）のカラーフィルタを有するB画素、及び、W（透明）のカラーフィルタを有するW画素からなる４画素の単位が規則的に配列されている。また、R画素、G画素、及びB画素において、IRが入射された場合には、IRはカットされず、PD２１で受光される。W（透明）のカラーフィルタは、全波長の光を透過させるカラーフィルタである。
【００９６】
図１１は、撮像素子１の後段に配置された画像処理部（例えば、図１９の画像処理部２１４）において実行されるナイトモードの画像処理であり、第３の駆動制御により得られた画素信号から、輝度信号Yと色差信号CrおよびCbを生成する処理を示している。
【００９７】
IR発光期間に同期して転送パルスTG1により電荷が転送される第１読み出し経路の露光では、図１１上段に示されるように、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRが得られる。画素データR＋IRは、Rの波長成分と赤外光成分を含む画素データであり、画素データG＋IRは、Gの波長成分と赤外光成分を含む画素データである。画素データB＋IRは、Bの波長成分と赤外光成分を含む画素データであり、画素データW＋IRは、R,G,B３色の波長成分と赤外光成分を含む画素データである。
【００９８】
一方、IR非発光期間に同期して転送パルスTG2により電荷が転送される第２読み出し経路の露光では、図１１下段に示されるように、画素データR、画素データG、画素データB、及び、画素データWが得られる。画素データR、画素データG、画素データB、及び、画素データWは、それぞれ、赤外光成分を含まない、Rの波長成分、Gの波長成分、Bの波長成分、及び、R,G,B３色の波長成分からなる画素データである。
【００９９】
まず、画像処理部は、デモザイク処理により、自画素で得られる波長成分以外の波長成分の画素データを生成する。その結果、各画素１１に対して、第１の電荷読み出し経路２２−１の画素データに基づいた、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRと、第２の電荷読み出し経路２２−２の画素データに基づいた、画素データR、画素データG、画素データB、及び、画素データWが得られる。
【０１００】
減算器１０１は、画素データR＋IRから画素データRを減算し、その結果得られる画素データIRを加算器１０５に供給する。減算器１０２は、画素データG＋IRから画素データGを減算し、その結果得られる画素データIRを加算器１０５に供給する。減算器１０３は、画素データB＋IRから画素データBを減算し、その結果得られる画素データIRを加算器１０５に供給する。減算器１０４は、画素データW＋IRから画素データWを減算し、その結果得られる画素データIRを加算器１０５に供給する。
【０１０１】
加算器１０５は、減算器１０１乃至１０４それぞれから供給された画素データIRを加算し、その結果（画素データ4IR）を、加算器１０７に供給する。
【０１０２】
YC分離部１０６は、画素データR、画素データG、及び、画素データBから、輝度信号Yと色差信号CrおよびCbを生成する。輝度信号Yと色差信号CrおよびCbは、例えば、ITU-R(International Telecommunication Union Radiocommunication Sector).BT.601の規格に基づいて、次式（１）乃至（３）により生成することができる。生成された輝度信号Yは、加算器１０７に供給される。
Y＝０．２９９×Ｒ＋０．５８７×Ｇ＋０．１４４×Ｂ・・・・（１）
Cb＝−０．１６８７３６×Ｒ−０．３３１２６４×Ｇ＋０．５×Ｂ・・・（２）
Cr＝０．５×Ｒ−０．４１８６８８×Ｇ−０．０８１３１２×Ｂ・・・（３）
【０１０３】
加算器１０７は、YC分離部１０６から供給された輝度信号Yと、加算器１０５から供給された赤外光成分の画素データ4IRとを加算し、高輝度の輝度信号Yを生成する。
【０１０４】
以上のようにして、ナイトモードにおいて、第３の駆動制御により得られた画素信号から、高感度な画像を生成することができる。
【０１０５】
図１２は、デイモードにおける駆動制御を示している。
【０１０６】
デイモードの駆動制御は、画素駆動に関しては、図９に示したナイトモードの駆動制御（第３の駆動制御）と同じである。デイモードでは、受光される太陽光にIRが含まれているので、IR発光が常時オフとされる点が、ナイトモードと異なる。
【０１０７】
図１３は、撮像素子１の後段に配置された画像処理部において実行されるデイモードの画像処理であり、第３の駆動制御により得られた画素信号から、輝度信号Yと色差信号CrおよびCbを生成する処理を示している。
【０１０８】
転送パルスTG1により電荷が転送される第１読み出し経路の露光では、図１３上段に示されるように、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRが得られる。
【０１０９】
また、転送パルスTG2により電荷が転送される第２読み出し経路の露光においても、図１３下段に示されるように、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRが得られる。
【０１１０】
画像処理部は、デモザイク処理により、自画素で得られる波長成分以外の波長成分の画素データを生成する。その結果、図１３に示されるように、各画素１１に対して、画素データR＋IR、画素データG+IR、画素データB+IR、及び、画素データW＋IRが得られる。
【０１１１】
加算器１２１は、画素データR＋IR、画素データG+IR、及び、画素データB+IRを加算して、その結果得られる画素データR+G+B+3IRを減算器１２２に供給する。減算器１２２は、画素データR+G+B+3IRから、画素データW＋IRを減算し、その結果（2IR）を、乗算器１２３及び加算器１２８に供給する。
【０１１２】
乗算器１２３は、減算器１２２から供給された画素データ2IRを、0.5倍して、画素データIRを生成し、減算器１２４乃至１２６に供給する。
【０１１３】
減算器１２４は、画素データR+IRから、乗算器１２３から供給された画素データIRを減算し、その結果（画素データR）を、YC分離部１２７に供給する。減算器１２５は、画素データG+IRから、乗算器１２３から供給された画素データIRを減算し、その結果（画素データG）を、YC分離部１２７に供給する。減算器１２６は、画素データB+IRから、乗算器１２３から供給された画素データIRを減算し、その結果（画素データB）を、YC分離部１２７に供給する。
【０１１４】
YC分離部１０６は、例えば上述した式（１）乃至（３）により、画素データR、画素データG、及び、画素データBから、輝度信号Yと色差信号CrおよびCbを生成する。生成された輝度信号Yは、加算器１２８に供給される。
【０１１５】
加算器１２８は、YC分離部１０６から供給された輝度信号Yと、減算器１２２から供給された赤外光成分の画素データ2IRとを加算し、高輝度の輝度信号Yを生成する。
【０１１６】
デイモードにおいても、以上のようにして、高感度な画像を生成することができる。
【０１１７】
WRGBの色配列は、図１０に示した配列に限られず、例えば、WRGBの各色が2x2からなる４画素単位で形成され、4x4を繰り返し単位としたWRGB配列等でも構わない。換言すれば、Red・Green・Blueの３色に、３色を合わせた分光のWhiteを組み合わせた４色であれば、いかなる配列のものでもよい。
【０１１８】
次に、撮像素子１の画素領域２が、R画素、G画素、R画素、及びB画素の４画素の単位が規則的に配列されたベイヤ配列で構成される場合について説明する。
【０１１９】
撮像素子１の画素領域２がベイヤ配列で構成されている場合においても、駆動制御は、図９に示したナイトモードの駆動制御（第３の駆動制御）と同じである。
【０１２０】
ただし、撮像素子１の画素領域２がベイヤ配列で構成されている場合には、ナイトモードとデイモードでIRカットフィルタ（IRCF）を機械的に脱着する機構（リムーバブル機構）が必要となる。撮像素子１の各画素１１は、デイモードにおいてはIRカットフィルタが挿入された状態で受光し、ナイトモードにおいてはIRカットフィルタがない状態で受光する。
【０１２１】
なお、IR光源として波長帯域の狭いレーザーを用い、かつ、IRの透過帯域が狭いRGB+IRフィルタを用いることができれば、デイモードにおいてもわずかな退色で済むので、フィルタの機械的な脱着が不要に出来る可能性はある。
【０１２２】
図１４は、画素領域２がベイヤ配列で構成されている場合に、ナイトモードにおいて第３の駆動制御により得られた画素信号から、輝度信号Yと色差信号CrおよびCbを生成する処理を示している。
【０１２３】
図１４の処理は、図１１と比較して明らかなように、図１１を参照して説明した処理と同様であるので、説明は省略する。
【０１２４】
また、デイモードの輝度信号Yと色差信号CrおよびCbを生成する処理は、IRカットフィルタが挿入された状態で、第１読み出し経路の露光と、第２読み出し経路の露光の２経路で受光される点以外は、一般的なCMOSセンサの受光と同様であるので、説明は省略する。
【０１２５】
＜６．第４の駆動制御（偏光対応制御）＞
図１５は、撮像素子１による第４の駆動制御を説明する図である。
【０１２６】
なお、図１５も、画素１１が２つの電荷読み出し経路２２−１及び２２−２を有する場合の駆動制御例を示している。
【０１２７】
第４の駆動制御は、異なる２種類の発光に同期して、第１読み出し経路の露光と第２読み出し経路の露光を行うように制御する。異なる２種類の発光として、偏光方向が異なるP波とS波の例について説明する。
【０１２８】
即ち、第４の駆動制御では、撮像素子１は、各画素１１において、第１読み出し経路の露光をP波の発光期間に同期して実行させ、第２読み出し経路の露光を、S波の発光期間に同期して実行させる。なお、P波及びS波の発光期間のタイミングは、撮像素子１において既知であるとする。
【０１２９】
図１５において、第１読み出し経路の１回の露光期間は、例えば、期間T7で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【０１３０】
また、第２読み出し経路の１回の露光期間は、例えば、期間T8で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【０１３１】
第４の駆動制御においても、第１読み出し経路の露光と、第２読み出し経路の露光が、１フレームの周期に対して高速な周期で繰り返される。
【０１３２】
第１の電荷読み出し経路２２−１で得られた画像信号により、２次元のP波画像が得られる。第２の電荷読み出し経路２２−２で得られた画像信号により、２次元のS波画像が得られる。
【０１３３】
異なる偏光に対応する複数の画像信号は、例えば、ライティング（光照射方向）が異なる画像の生成や立体画像の生成などに利用できる。
【０１３４】
また、第４の駆動制御は、第１読み出し経路の露光と第２読み出し経路の露光を偏光光の種類で使い分けるアプリケーションの他、医療やヘルスケア等のアプリケーション、農業の作物管理等のアプリケーションなどにも適用できる。さらにまた、第４の駆動制御は、異なる波長帯域の光に対応して２種類の画像を取得する場合、例えば、生体内の状態を観察する近赤外光で撮像した画像と、可視光で撮像した画像を同時に取得する場合にも利用できる。
【０１３５】
＜７．第５の駆動制御（RGB対応制御）＞
図１６は、撮像素子１による第５の駆動制御を説明する図である。
【０１３６】
上述した第４の駆動制御が、異なる２種類の発光に同期した時分割露光を行うものであるのに対して、第５の駆動制御は、異なる３種類の発光に同期した時分割露光の制御を行う。即ち、第５の駆動制御は、異なる３種類の発光に同期して、第１読み出し経路の露光、第２読み出し経路の露光、及び、第３読み出し経路の露光を行う。従って、図１６は、画素１１が３つの電荷読み出し経路２２−１乃至２２−３を有する場合の駆動制御の例を示している。異なる３種類の発光の例として、R,G,Bの異なる３種類の波長成分の光の例について説明する。
【０１３７】
第５の駆動制御では、撮像素子１は、各画素１１において、第１読み出し経路の露光をBlue LEDによる青色光の発光期間に同期して実行させ、第２読み出し経路の露光を、Green LEDによる緑色光の発光期間に同期して実行させ、第３読み出し経路の露光を、Red LEDによる赤色光の発光期間に同期して実行させる。なお、青色光、緑色光、及び赤色光の発光期間のタイミングは、撮像素子１において既知であるとする。
【０１３８】
図１６において、第１読み出し経路の１回の露光期間は、例えば、期間T10で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【０１３９】
また、第２読み出し経路の１回の露光期間は、例えば、期間T11で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【０１４０】
さらに、第３読み出し経路の１回の露光期間は、例えば、期間T12で示される。第３読み出し経路の１回の露光期間は、転送パルスTG3がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【０１４１】
第５の駆動制御においても、第１読み出し経路の露光乃至第３読み出し経路の露光それぞれが、１フレームの周期に対して高速な周期で繰り返される。
【０１４２】
第１の電荷読み出し経路２２−２で得られた画像信号により、B画像が得られる。第２の電荷読み出し経路２２−２で得られた画像信号により、G画像が得られる。第３の電荷読み出し経路２２−３で得られた画像信号により、R画像が得られる。
【０１４３】
人間の体内を撮像する内視鏡用の撮像装置では、例えば、表層血管等を強調表示する等の目的で、青色光、緑色光、または赤色光など、所定の波長成分のみを有する光源を照射した観察が行われる。一般的には、青色光、緑色光、及び赤色光の照射をフレーム単位で切り替えて、B画像、G画像、及びR画像が取得される。これに対して、撮像素子１の第５の駆動制御によれば、１フレームでB画像、G画像、及びR画像を同時に取得することができ、フレーム時間差のない画像が生成できる。また、各画素につき、B画素信号、G画素信号、及びR画素信号を取得することができるので、高解像度な画像を取得することができる。
【０１４４】
上述したR,G,Bの異なる３種類の波長成分の光に対応した時分割露光制御は、夜間用の監視カメラにも適用できる。
【０１４５】
＜８．第６の駆動制御（配光パターン対応制御）＞
図１７は、撮像素子１による第６の駆動制御を説明する図である。
【０１４６】
第６の駆動制御は、配光パターンが異なる３種類の発光に同期して、第１読み出し経路の露光、第２読み出し経路の露光、及び、第３読み出し経路の露光を行う。従って、図１７の例も、画素１１が３つの電荷読み出し経路２２−１乃至２２−３を有する場合の駆動制御例を示している。
【０１４７】
ここで、配光パターンとは、光の照射方向または照射エリアのことを意味する。配光パターンが異なる３種類の発光の例として、車のヘッドライト（前照灯）の発光の例について説明する。
【０１４８】
車のヘッドライトの発光には、いわゆる、ハイビームと、ロービームと呼ばれる光の照らし方がある。また近年では、ハイビームとロービーム以外の照らし方も研究されている。
【０１４９】
図１８は、車のヘッドライトにおける３種類の配光パターン（配光特性）の例を示している。
【０１５０】
図１８Aは、いわゆるハイビームであり、ヘッドライトの照射範囲が上向きで、遠方を含む広角な範囲を照らす照らし方である。このような照らし方を、図１７では、Wide Highと記述している。
【０１５１】
図１８Bは、対向車がいる場合などに使われる、いわゆるロービームであり、ヘッドライトの照射範囲が下向きで、近距離下方の範囲を照らす照らし方である。このような照らし方を、図１７では、Wide Lowと記述している。
【０１５２】
図１８Cは、ハイビームとロービームの中間的な照らし方であり、対向車方向の照射を抑制しつつ、できるだけ遠方を含む広角な範囲を照らす照らし方である。このような照らし方を、図１７では、Sprit Highと記述している。
【０１５３】
例えば、車載カメラに搭載された撮像素子１による撮像として、図１７に示される第６の駆動制御が実行される。
【０１５４】
具体的には、撮像素子１は、各画素１１において、第１読み出し経路の露光をWide Highの発光期間に同期して実行させ、第２読み出し経路の露光を、Sprit Highの発光期間に同期して実行させ、第３読み出し経路の露光を、Wide Lowの発光期間に同期して実行させる。なお、Wide High、Sprit High、及び、Wide Lowの発光タイミングは、撮像素子１において既知であるとする。
【０１５５】
図１７において、第１読み出し経路の１回の露光期間は、例えば、期間T13で示される。第１読み出し経路の１回の露光期間は、転送パルスTG1がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【０１５６】
また、第２読み出し経路の１回の露光期間は、例えば、期間T14で示される。第２読み出し経路の１回の露光期間は、転送パルスTG2がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【０１５７】
さらに、第３読み出し経路の１回の露光期間は、例えば、期間T15で示される。第３読み出し経路の１回の露光期間は、転送パルスTG3がオンされたタイミングと、その直前に排出パルスABGがオンとされたタイミングとの間で構成される。
【０１５８】
第５の駆動制御においても、第１読み出し経路の露光乃至第３読み出し経路の露光それぞれが、１フレームの周期に対して高速な周期で繰り返される。
【０１５９】
Wide Highの配光パターンは、対向車や先行車のドライバにとっては眩しいため、長時間の発光は控えなければいけないが、人間が眩しいと感じない範囲で発光させることは可能である。撮像素子１は、Wide Highのタイミングで撮像することにより、遠方まで捉えた画像を生成することが可能となる。
【０１６０】
また、撮像素子１は、第１読み出し経路の露光乃至第３読み出し経路の露光それぞれを独立して制御が可能であるため、第１の電荷読み出し経路２２−１乃至第３の電荷読み出し経路２２−３それぞれで得られた画像信号に対して、異なる最適な信号処理を実行することができる。
【０１６１】
例えば、異なる配光パターンに対応した各画像では、画像の明るさが異なるので、Wide High、Sprit High、及び、Wide Lowそれぞれ画像信号に対して、異なるゲインを設定することができる。Wide High、Sprit High、及び、Wide Lowそれぞれによる画像では、Wide Lowによる画像が最も明るい画像となり、Wide Highによる画像が最も暗い画像となると考えられる。そのため、Wide Highによる画像信号に高いゲインを設定し、Wide Lowによる画像信号に低いゲインを設定し、Sprit Highによる画像信号に真ん中のゲインを設定し、その結果得られた画像を重ね合わせることで、近距離から遠方まで広範囲に捉えた画像を生成することができる。これにより、画像の認識精度を高めることができる。
【０１６２】
＜９．まとめ＞
以上説明したように、図１の撮像素子１は、入射した光を光電変換により電荷に変換して蓄積するPD２１（光電変換部）と、PD２１から転送される電荷を蓄積する複数の電荷蓄積部８２とを有する画素１１が複数配置された画素領域２と、所定の光源の発光パターンに応じて、PD２１で生成された電荷を、複数の電荷蓄積部８２に順次転送することを１フレーム期間内に複数回繰り返すように、画素１１を駆動する垂直駆動回路３（駆動部）とを備える。
【０１６３】
第１の駆動制御では、所定の光源の発光パターンは、例えば、LED光源の発光のオン及びオフの繰り返しであり、撮像素子１は、点灯の周期に対して高速な周期で、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
【０１６４】
あるいはまた、第１の駆動制御では、撮像素子１は、少なくとも１つの電荷蓄積部８２（例えば、電荷蓄積部８２−１）への電荷の転送をLED光源の発光のオン期間に同期させて、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
【０１６５】
第２の駆動制御では、所定の光源の発光パターンは、例えば、LED光源の光通信の通信情報の信号区間（LED通信期間）と非信号区間（交通信号期間）の繰り返しであり、撮像素子１は、少なくとも１つの電荷蓄積部８２（例えば、電荷蓄積部８２−１）への電荷の転送をLED光源の光通信の通信情報の信号区間に同期させて、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
【０１６６】
第３の駆動制御では、所定の光源の発光パターンは、例えば、赤外光のオン及びオフの繰り返しであり、撮像素子１は、赤外光のオン期間及びオフ期間に同期させて、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
【０１６７】
第４の駆動制御では、所定の光源の発光パターンは、例えば、P波とS波のオン及びオフの繰り返しであり、撮像素子１は、P波とS波のオン期間に同期させて、PD２１で生成された電荷を、電荷蓄積部８２−１及び８２−２に順次転送することを繰り返すように、各画素１１を駆動する。
【０１６８】
第５の駆動制御では、所定の光源の発光パターンは、例えば、所定の波長帯域成分（例えば、R、G、またはBの波長帯域成分）を有する複数種類の光のオン及びオフの繰り返しであり、撮像素子１は、複数種類の光のオン期間に同期させて、PD２１で生成された電荷を、対応する電荷蓄積部８２に順次転送することを繰り返すように、各画素１１を駆動する。
【０１６９】
第６の駆動制御では、所定の光源の発光パターンは、例えば、所定の配光特性（例えば、Wide High、Sprit High、または、Wide Low）を有する光のオン及びオフの繰り返しであり、撮像素子１は、配光特性が異なる複数種類の光それぞれのオン期間に同期させて、PD２１で生成された電荷を、対応する電荷蓄積部８２に順次転送することを繰り返すように、各画素１１を駆動する。
【０１７０】
即ち、撮像素子１は、第１読み出し経路の露光乃至第３読み出し経路の露光を時分割で制御することができ、複数の電荷読み出し経路２２に対応した複数の画像信号を取得することができる。撮像素子１は、第１読み出し経路の露光乃至第３読み出し経路の露光を、１フレームの周期に対して高速な周期で繰り返すので、複数の画像信号それぞれは、独立し、かつ、時間ずれの少ない画像信号となる。得られた複数の画像信号は、それぞれ独立の画像とすることもできるし、それらを合成処理して１枚の画像とすることもできる。
【０１７１】
上述した各実施の形態において、1フレーム内の読み出し繰り返し周期は一定間隔で表記しているが、発光タイミングと合わせて不規則にしてもよい。例えば、ローリング信号読み出しを行う直前の露光時間を多くするような対数間隔に露光時間を伸ばすような間隔とすることで、人間の目の対数応答に近い動体特性を得ることができる。また、フリッカは光源周波数と蓄積駆動周波数が整数倍になるような同期した場合に起きるので、意図的に、蓄積駆動周波数をランダムにすることで、よりフリッカが起きにくい状態を作り出すことができる。
【０１７２】
また各実施の形態において、露光シャッタ制御にアンチブルーミング制御機構を設けたが、露光シャッタ制御が不要な場合は、アンチブルーミングゲート２３とドレインは無くしてもよい。
【０１７３】
＜１０．撮像装置への適用例＞
図１９は、例えば監視カメラなどとして利用される、IR発光機能を備える撮像装置の構成例を示すブロック図である。
【０１７４】
図１９の撮像装置２００は、撮像レンズ２１１、光学フィルタ２１２、撮像素子２１３、画像処理部２１４、記録部２１５、撮像制御部２１６、測光部２１７、及び、赤外光透光部２１８を備える。
【０１７５】
撮像レンズ２１１は、被写体からの光を集光して光学フィルタ２１２を介して撮像素子２１３に導くレンズである。光学フィルタ２１２は、撮像レンズ２１１からの光のうち可視光および赤外光を透過して、撮像素子２１３の撮像面に結像させる。
【０１７６】
撮像素子２１３は、光学フィルタ２１２を介して受光した光を電気信号に変換して、画像信号を生成し、画像処理部２１４に出力する。撮像素子２１３には、例えば、図１０に示したような、R画素、G画素、B画素、およびW画素の４画素を単位とする画素ユニットが二次元格子状に規則的に配置されている。撮像素子２１３は、これらの画素のそれぞれで光電変換したアナログの電気信号をAD（Analog to Digital）変換することにより、デジタルの画素信号を生成し、画像処理部２１４に供給する。この撮像素子２１３として、上述した撮像素子１が採用される。
【０１７７】
画像処理部２１４は、撮像素子２１３から供給された画像信号を用いて所定の画像処理を行う。例えば、画像処理部２１４は、図１１や図１３を参照して説明したデモザイク処理、画素データR、画素データG、画素データB、及び、画素データWの各画素データから、高輝度な輝度信号Yと色差信号CrおよびCbを生成する処理などを行う。
【０１７８】
記録部２１５は、画像処理部２１４から供給される動画または静止画を、ハードディスクや半導体メモリ等の記録媒体に記録する。
【０１７９】
撮像制御部２１６は、撮像装置２００全体の動作を制御する。例えば、撮像制御部２１６は、測光部２１７から供給される測光量に基づいてデイモードとナイトモードを判定し、判定結果に対応した各種の制御信号を、撮像素子２１３、画像処理部２１４、及び、赤外光投光部２１８に供給する。
【０１８０】
より具体的には、例えば、撮像制御部２１６は、判定されたモード（デイモードまたはナイトモード）に応じて、図１１で説明した処理と、図１３で説明した処理を切り替える処理切替制御信号を画像処理部２１４に供給する。撮像制御部２１６は、上述した第１乃至第６の駆動制御を切り替える撮像制御信号を撮像素子２１３に供給する。また例えば、撮像制御部２１６は、赤外光の発光を制御する発光制御信号を赤外光投光部２１８に供給する。
【０１８１】
測光部２１７は、撮像装置２００周辺の明るさを測光し、その結果としての測光量を撮像制御部２１６に供給する。赤外光投光部２１８は、撮像制御部２１６から供給された発光制御信号に基づいて、赤外光(IR)を被写体に照射する。
【０１８２】
なお、撮像装置２００は、撮像素子２１３で生成された画像を表示する表示部をさらに備えてもよい。また、撮像装置２００は、外部インターフェースをさらに備え、その外部インターフェースを介して、画像データを外部の装置に出力したり、外部から、撮像装置２００の動作を制御するための各種の制御信号、例えば、LED光源の発光と同期をとるための同期信号などを入力させてもよい。
【０１８３】
また、図１９では、撮像レンズ２１１、光学フィルタ２１２、撮像素子２１３、画像処理部２１４、記録部２１５、赤外光投光部２１８、撮像制御部２１６、および、測光部２１７を同一の装置内に設ける構成としているが、これらを別々の装置に設ける構成としてもよい。例えば、撮像素子２１３などを撮像装置２００に設け、画像処理部２１４を情報処理装置等に設ける構成としてもよい。
【０１８４】
上述したように、撮像素子２１３として、上述した撮像素子１を用いることで、１フレーム期間内で時間ずれの少ない、それぞれが独立した複数の画像信号を取得することができる。従って、ビデオカメラやデジタルスチルカメラ、さらには携帯電話機等のモバイル機器向けカメラモジュールなどの撮像装置２００においても、例えば、動被写体に強い（時間ずれを低減した）撮像画像を生成することができ、撮像画像の高画質化を図ることができる。
【０１８５】
本技術は、デジタルスチルカメラやビデオカメラ等の撮像装置や、撮像機能を有する携帯端末装置や、画像読取部に撮像素子を用いる複写機など、画像取込部（光電変換部）に撮像素子を用いる電子機器全般に対して適用可能である。撮像素子は、ワンチップとして形成された形態であってもよいし、撮像部と信号処理部または光学系とがまとめてパッケージングされた撮像機能を有するモジュール状の形態であってもよい。
【０１８６】
＜イメージセンサの使用例＞
図２０は、上述した撮像素子１（イメージセンサ）を使用する使用例を示す図である。
【０１８７】
上述した撮像素子１は、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
【０１８８】
・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
【０１８９】
本技術は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１９０】
例えば、上述した複数の実施の形態の全てまたは一部を組み合わせた形態を採用することができる。
【０１９１】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、本明細書に記載されたもの以外の効果があってもよい。
【０１９２】
なお、本技術は以下のような構成も取ることができる。
（１）
入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部と
を備える撮像素子。
（２）
前記所定の光源の発光パターンは、発光のオン及びオフの繰り返しであり、
前記駆動部は、所定の周期で、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する
前記（１）に記載の撮像素子。
（３）
前記所定の光源の発光パターンは、発光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記発光のオン期間に同期させるように、前記画素を駆動する
前記（１）または（２）に記載の撮像素子。
（４）
前記駆動部は、他の１つの前記電荷蓄積部への前記電荷の転送を、前記発光のオフ期間に同期させるように、前記画素を駆動する
前記（３）に記載の撮像素子。
（５）
前記所定の光源は、赤外光を発光する光源である
前記（３）に記載の撮像素子。
（６）
前記所定の光源の発光パターンは、光通信の通信情報の信号区間と非信号区間の繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記信号区間に同期させるように、前記画素を駆動する
前記（１）乃至（５）のいずれかに記載の撮像素子。
（７）
前記駆動部は、他の１つの前記電荷蓄積部への前記電荷の転送を、前記非信号区間に同期させるように、前記画素を駆動する
前記（６）に記載の撮像素子。
（８）
前記所定の光源の発光パターンは、偏光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記偏光のオン期間に同期させるように、前記画素を駆動する
前記（１）乃至（７）のいずれかに記載の撮像素子。
（９）
前記偏光として、P波とS波とがあり、
前記駆動部は、１つの前記電荷蓄積部への前記電荷の転送を前記P波のオン期間に同期させ、他の１つの前記電荷蓄積部への前記電荷の転送を前記S波のオン期間に同期させるように、前記画素を駆動する
前記（８）に記載の撮像素子。
（１０）
前記所定の光源の発光パターンは、所定の波長帯域成分を有する光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記所定の波長帯域成分を有する光のオン期間に同期させるように、前記画素を駆動する
前記（１）乃至（９）のいずれかに記載の撮像素子。
（１１）
前記所定の光源の発光パターンとして、R、G、またはBの波長帯域成分を有する３種類の光のオン及びオフの繰り返しがあり、
前記画素領域の前記画素は、３つの前記電荷蓄積部を有し、
前記駆動部は、前記R、G、またはBの波長帯域成分を有する光のオン期間に同期させて、前記光電変換部で生成された電荷を、対応する３つの前記電荷蓄積部へ順次転送するように、前記画素を駆動する
前記（１０）に記載の撮像素子。
（１２）
前記所定の光源の発光パターンは、所定の配光特性を有する光のオン及びオフの繰り返しであり、
前記駆動部は、少なくとも１つの前記電荷蓄積部への前記電荷の転送を、前記所定の配光特性を有する光のオン期間に同期させるように、前記画素を駆動する
前記（１）乃至（１１）のいずれかに記載の撮像素子。
（１３）
前記駆動部は、前記配光特性が異なる複数の光源それぞれのオン期間に同期させて、前記光電変換部で生成された電荷を、対応する前記電荷蓄積部へ順次転送するように、前記画素を駆動する
前記（１２）に記載の撮像素子。
（１４）
前記配光特性が異なる複数の光源により得られた画像信号には、異なるゲインが設定される
前記（１２）に記載の撮像素子。
（１５）
入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域を備える撮像素子が、
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する
撮像素子の駆動方法。
（１６）
入射した光を光電変換により電荷に変換して蓄積する光電変換部と、前記光電変換部から転送される電荷を蓄積する複数の電荷蓄積部とを有する画素が複数配置された画素領域と、
所定の光源の発光パターンに応じて、前記光電変換部で生成された電荷を、前記複数の電荷蓄積部に順次転送することを１フレーム期間内に複数回繰り返すように、前記画素を駆動する駆動部と
を有する撮像素子
を備える電子機器。
【符号の説明】
【０１９３】
１  撮像素子，  ２  画素領域，  ３  垂直駆動回路，  １１  画素，  ２１  PD，  ２２−１乃至２２−３  電荷読み出し経路，  ３２−１乃至３２−３  電荷蓄積ゲート，  ８２−１乃至８２−３  電荷蓄積部，  ２００  撮像装置，  ２１３  撮像素子，  ２１４  画像処理部，  ２１６  撮像制御部，  ２１７  測光部，  ２１８  赤外光投光部
【図１】
2016189557.tif 000003
【図２】
2016189557.tif 000004
【図３】
2016189557.tif 000005
【図４】
2016189557.tif 000006
【図５】
2016189557.tif 000007
【図６】
2016189557.tif 000008
【図７】
2016189557.tif 000009
【図８】
2016189557.tif 000010
【図９】
2016189557.tif 000011
【図１０】
2016189557.tif 000012
【図１１】
2016189557.tif 000013
【図１２】
2016189557.tif 000014
【図１３】
2016189557.tif 000015
【図１４】
2016189557.tif 000016
【図１５】
2016189557.tif 000017
【図１６】
2016189557.tif 000018
【図１７】
2016189557.tif 000019
【図１８】
2016189557.tif 000020
【図１９】
2016189557.tif 000021
【図２０】
2016189557.tif 000022