(57)【特許請求の範囲】
【請求項１】
入射光によって生じた電荷の蓄積を行う光電変換部と、前記電荷を保持する保持部と、前記電荷に基づく信号を出力する増幅部と、前記光電変換部から前記保持部へ前記電荷を転送する第１の転送スイッチと、前記保持部から前記増幅部へ前記電荷を転送する第２の転送スイッチと、をそれぞれが有する複数の画素と、
前記第１の転送スイッチと前記第２の転送スイッチをオンまたはオフする制御を行う制御部と、を有し、
前記制御部は、
第１の行と第２の行の前記第２の転送スイッチをオフに保持しながら、前記第１の行と前記第２の行の前記第１の転送スイッチを同時にオンにすることにより、前記光電変換部から前記保持部に第１の電荷蓄積期間に蓄積された電荷を転送する第１の転送と、前記第１の転送の後に、前記第１の行の前記第２の転送スイッチをオンにすることにより、前記保持部から前記増幅部に、前記第１の電荷蓄積期間に蓄積された電荷を読み出す第１の読出と、
前記第１の読出の後に、前記第１の行と前記第２の行の前記第２の転送スイッチをオフに保持しながら、前記第１の行と前記第２の行の前記第１の転送スイッチを同時にオンにすることにより、前記光電変換部から前記保持部に第２の電荷蓄積期間に蓄積された電荷を転送する第２の転送と、
前記第２の転送の後に、前記第２の行の前記第２の転送スイッチをオンにすることにより、前記保持部から前記増幅部に、前記第２の電荷蓄積期間に蓄積された電荷を読み出す第２の読出を行い、
前記第１の読出から前記第２の転送までの間において、前記第２の行の前記第２の転送スイッチがオフに維持されていることを特徴とする撮像装置。
【請求項２】
前記複数の画素は、前記光電変換部に蓄積された電荷を排出する排出スイッチを有し、前記制御部は、前記第１の転送スイッチを間欠的に複数回オンする時刻において、前記複数の画素の前記排出スイッチがオフとなるように制御することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記第１の転送スイッチが間欠的に複数回オンする時刻において、前記複数の画素の前記第２の転送スイッチがオフとなるように制御することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
前記複数の画素のそれぞれは、
前記保持部として、第１の保持部および第２の保持部と、
前記光電変換部から前記第１の保持部に前記電荷を転送する前記第１の転送スイッチと、
前記第１の保持部から前記増幅部に転送する前記第２の転送スイッチと、
前記光電変換部から前記第２の保持部に前記電荷を転送する第３の転送スイッチと、
前記第２の保持部から前記増幅部に前記電荷を転送する第４の転送スイッチを有し、
前記制御部は、前記複数の画素のうち、複数の行に配されているそれぞれの画素について、前記第３の転送スイッチを同じタイミングで間欠的に複数回オンすることにより前記光電変換部から前記第２の保持部に前記電荷を間欠的に複数回転送し、前記複数の画素の前記第４の転送スイッチを行順次でオンすることにより前記第２の保持部に保持されていた前記複数回転送された電荷を行毎に前記増幅部に転送するように制御し、
前記第１の保持部に保持されていた前記複数回転送された電荷の電荷量と、前記第２の保持部に保持されていた前記複数回転送された電荷の電荷量が異なることを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項５】
前記第１の転送スイッチを間欠的にオンにしている期間の長さと前記第３の転送スイッチを間欠的にオンにしている期間の長さが異なるか、または、前記第１の転送スイッチを複数回オンにして前記光電変換部から前記第１の保持部に転送する回数と前記第３の転送スイッチを複数回オンにして前記光電変換部から前記第２の保持部に転送する回数が異なることを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記制御部は、前記第１の転送スイッチをオンにする期間と前記第３の転送スイッチをオンにする期間が重複しないように制御することを特徴とする請求項４または５に記載の撮像装置。
【請求項７】
前記制御部は、前記第２の転送スイッチをオンにする時刻と前記第４の転送スイッチをオンにする時刻とが異なるように制御することを特徴とする請求項４から６のいずれかに記載の撮像装置。
【請求項８】
前記制御部は、
前記複数の画素の少なくとも１つの画素において、前記第２の転送スイッチをオフに維持して前記保持部で複数回転送された電荷を保持する第１の保持期間と、前記第１の保持期間の後に、前記第２の転送スイッチをオフに維持して前記保持部で前記複数回転送された電荷を保持する第２の保持期間を有し、前記第１の保持期間の間に前記第１の転送スイッチがオンになる回数と、前記第２の保持期間に前記第１の転送スイッチがオンになる回数が異なるように制御することを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項９】
前記複数の画素は、第１の画素と第２の画素を有し、
前記制御部は、
前記第１の画素の前記保持部の電位がリセットされた後から前記第１の画素の前記第２の転送スイッチがオンになるまでの間に前記第１の画素の前記保持部に保持された電荷の電荷量と、
前記第２の画素の前記保持部の電位がリセットされた後から前記第２の画素の前記第２の転送スイッチがオンになるまでの間に前記第２の画素の前記保持部に保持された電荷の電荷量とが異なるように制御することを特徴とする請求項１から３のいずれかに記載の撮像装置。
【請求項１０】
前記制御部は、前記第１の転送スイッチを同じタイミングで間欠的に複数回オンにする期間が１フレームの期間よりも短くなるように制御することを特徴とする請求項９に記載の撮像装置。
【請求項１１】
前記制御部は、前記複数の画素において、前記第１の転送スイッチを同じタイミングで間欠的に複数回オンにする間隔は、光源の点滅周期の１／２以下であることを特徴とする請求項１から１０のいずれかに記載の撮像装置。
【請求項１２】
前記制御部は、前記複数の画素の少なくとも１つの画素において、前記保持部で前記電荷が保持されている期間は、光源の点滅周期よりも長くなるように制御することを特徴とする請求項１から１１のいずれかに記載の撮像装置。
【請求項１３】
請求項１から１２のいずれかに記載の撮像装置であって、
前記制御部は、前記第１の転送スイッチを制御するためのパルスを生成する第１のパルス生成部と、前記第２の転送スイッチを制御するためのパルスを生成する第２のパルス生成部とを有することを特徴とする撮像装置。
【請求項１４】
請求項１から１３のいずれかに記載の撮像装置と、
前記撮像装置から出力される入力された画像データを処理する画像処理装置と、を有することを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、撮像システム、撮像装置の駆動方法に関する。
【背景技術】
【０００２】
近年、低消費電力や高速読み出しに適したＣＭＯＳイメージセンサを使用したデジタルビデオカメラやデジタルカメラなどの撮像装置が広く一般に普及している。撮像装置に対して被写体が移動している場合、撮像領域面内で露光されるタイミングが同時でないと、走査線ごとに蓄積時間がずれるため、被写体が歪んで記録されることがある。そこで、蓄積の時間的な同時性を確保するために、グローバル電子シャッタといわれる全画素で同時に露光開始と露光終了を制御する構成が提案されている（特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第１１／０４３４３２号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、信号機や電光掲示板で用いられるＬＥＤ光源や蛍光灯などの光源には、人の眼には一定の明るさで点灯しているように見えても、実際には商用電源の周波数に同期して速い周期で点滅しているものがある。また、直流で動作する光源においても、消費電流の抑制や明るさを制御するため、パルス幅変調（ＰＷＭ）等のパルス駆動で輝度を制御しているものがある。
【０００５】
このような光源の下で、短い露光時間で撮像すると、静止画では点灯していないように撮像される場合があり、動画ではフレーム間の画像の輝度値が変動するため、激しく点滅しているように撮像されることがある。また、光源の点灯周期に対して短い露光時間で撮影を行うと、均一な明るさの撮影場面において、フレーム毎に輝度が変わる面フリッカや、１枚の撮影画面の中で明るい所と暗い所が周期的に出てしまうラインフリッカと呼ばれる現象が生じることがある。
【０００６】
そこで、本発明は、蓄積の時間同時性を確保しつつ、光源の点滅等による影響を抑制した画像を取得することが可能な撮像装置、撮像システム、撮像装置の駆動方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る撮像装置は、入射光によって生じた電荷の蓄積を行う光電変換部と、前記電荷を保持する保持部と、前記電荷に基づく信号を出力する増幅部と、前記光電変換部から前記保持部へ前記電荷を転送する第１の転送スイッチと、前記保持部から前記増幅部へ前記電荷を転送する第２の転送スイッチと、をそれぞれが有する複数の画素と、前記複数の画素の前記増幅部からの信号が出力される出力線と、前記複数の画素のうち、複数の行に配されているそれぞれの画素について、前記第１の転送スイッチを同じタイミングで間欠的に複数回オンすることにより前記光電変換部から前記保持部に前記電荷を複数回転送し、前記第２の転送スイッチを行順次でオンすることにより前記保持部に保持されていた前記複数回転送された電荷を行毎に前記増幅部に転送するように制御する制御部と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、蓄積の時間同時性を確保しつつ、光源の点滅等による影響を抑制した画像を取得することが可能な撮像装置、撮像システム、撮像装置の駆動方法を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る撮像装置の駆動のタイミングチャート
【図２】第１の実施形態に係る撮像装置の駆動のタイミングチャート
【図３】第１の実施形態に係る撮像装置のブロック図
【図４】第１の実施形態に係る撮像装置の画素における等価回路図
【図５】第２の実施形態に係る撮像装置の画素における等価回路図
【図６】第２の実施形態に係る撮像装置の駆動のタイミングチャート
【図７】第２の実施形態に係る撮像システムのブロック図
【図８】第２の実施形態に係る撮像システムの説明図
【図９】第３の実施形態に係る撮像装置の駆動のタイミングチャート
【図１０】第４の実施形態に係る撮像装置の駆動のタイミングチャート
【発明を実施するための形態】
【００１０】
（第１の実施形態）
本発明に係る撮像装置の具体的な形態について、図面を参照しつつ説明する。なお、以下の説明および図面において、共通の構成については共通の符号を付して、適宜説明を省略する。
【００１１】
図１から図４を参照して、本発明の一部の実施形態による撮像装置の構成および撮像装置の駆動方法を説明する。
【００１２】
（全体ブロック図）
図３は、本実施形態の撮像装置の全体ブロック図である。撮像装置１０１は半導体基板を用いて１つのチップで構成することができる。撮像装置１０１は、撮像領域１０２に配された複数の画素を有している。また、撮像装置１０１は制御部１０３を有している。制御部１０３は、垂直走査部１０４、信号処理部１０５および出力部１０６に制御信号、電源電圧等を供給する。垂直走査部１０４は撮像領域１０２に配された複数の画素に駆動信号を供給する。垂直走査部１０４は画素行ごともしくは複数の画素行ごとに駆動信号を供給する。垂直走査部１０４はシフトレジスタもしくはアドレスデコーダにより構成することができる。信号処理部１０５は、列回路、水平走査回路、水平出力線を含んで構成される。列回路は、各々が、複数の回路ブロックを含んで構成されうる。回路ブロックは、信号保持部、列増幅回路、ノイズ除去部、ＡＤ変換部などである。水平走査回路はシフトレジスタもしくはアドレスデコーダにより構成することができる。水平出力線に出力される信号は、アナログ信号でもデジタル信号でもよい。出力部１０６は水平出力線を介して伝達された信号を撮像装置１０１外に出力する。出力部１０６は、バッファもしくは増幅回路を含んで構成されている。垂直走査部１０４、信号処理部１０５、出力部１０６は撮像領域１０２の外側に配される。
【００１３】
（画素部の等価回路図）
図４は、本実施形態の撮像領域１０２の画素部分の等価回路の構成例である。図４には例示として４つの画素３００を示している。画素３００は、光電変換部３０１、電荷保持部３０２、第１の転送スイッチ３０４（「ＴＸ１」ともいう。）、第２の転送スイッチ３０５（「ＴＸ２」ともいう。）を含む。また、画素３００は、増幅部３１０、リセットトランジスタ３０９、選択トランジスタ３０７、入力ノード３０３を含む。
【００１４】
光電変換部３０１は、入射光によって生成される電荷を蓄積する。光電変換部３０１として、例えばフォトダイオードが用いられる。第１の転送スイッチ３０４は、光電変換部３０１で生成された電荷を、電荷保持部３０２に転送する。電荷保持部３０２は、入射光によって光電変換部３０１で生成された電荷を保持する。第２の転送スイッチ３０５は、電荷保持部３０２に保持された電荷を増幅部３１０の入力ノード３０３に転送する。第１の転送スイッチ３０４および第２の転送スイッチ３０５としては、例えばＭＯＳトランジスタが用いられる。第１の転送スイッチ３０４の動作は、制御線３２１を通じて供給される制御信号（駆動パルス）によって制御され、第２の転送スイッチ３０５の動作は、制御線３２２を通じて供給される制御信号によって制御される。画素３００は行列状に配されているが、同一の行に含まれる画素３００に対しては共通の制御線が接続される。
【００１５】
選択トランジスタ３０７は、出力線３０８に信号を出力する画素３００を選択する。選択された画素３００の増幅部３１０は、入射光によって生成した電荷に基づく信号を出力線３０８に出力する。
【００１６】
増幅部３１０は、例えばソースフォロア回路を構成する。リセットトランジスタ３０９は、制御線３２５の信号によって増幅部３１０の入力ノード３０３の電圧をリセット線３２６の電位にリセットする。
【００１７】
また、画素３００は、排出スイッチ３１８（「ＯＦＤ」ともいう。）を有する。
【００１８】
排出スイッチ３１８は、光電変換部３０１の電荷をオーバーフロードレインなどの電源ノード３２４に排出し、光電変換部３０１の電荷による電位をリセットする。排出スイッチ３１８の動作は、制御線３２３を通じて供給される制御信号によって制御される。
【００１９】
これらの構成により、電荷保持部３０２が電荷を保持している間に、生成された電荷を光電変換部３０１が蓄積することが可能となる。このため撮像装置１０１は、複数の画素３００における光電変換部３０１において、電荷の蓄積時間の開始と終了を一致させることができ、蓄積の時間同時性を確保することができる。蓄積時間は、例えば複数の画素３００の排出スイッチ３１８をオンからオフに制御することによって開始することができる。
【００２０】
なお、排出スイッチ３１８は必ずしも必要がなく、光電変換部からの電荷排出先を半導体基板とする、Ｖｅｒｔｉｃａｌ  Ｏｖｅｒｆｌｏｗ  Ｄｒａｉｎと呼ばれる構成を採用してもよい。また、電荷保持部３０２の電位をリセットするスイッチ（不図示）を別途設けることもできる。第２の転送スイッチ３０５をオンからオフにした後であって、光電変換部３０１から電荷保持部３０２に電荷を転送する前に、リセット用のスイッチをオンにして電荷保持部３０２の電位をリセットしてもよい。
【００２１】
（タイミングチャート）
図１は、本実施形態の撮像装置１０１の動作を説明するタイミング図である。
【００２２】
波形２０１は、交流電源を全波整流した波形を模式的に示したものである。交流電源は、例えば５０Ｈｚや６０Ｈｚの周波数を有する電源である。図１の期間Ｔ２１１は、交流電源の周期に相当しており、例えば１／５０秒や１／６０秒である。
【００２３】
波形２０２は、波形２０１の電源を用いた光源の点灯状態を示したものである。Ｈレベルは点灯状態、Ｌレベルは消灯状態を表す。交流電源を用いた光電としては、例えば交通信号機などのＬＥＤ光源などがある。全波整流した電源の波形２０１がある閾値以上の場合、波形２０２はＨレベルとなって点灯状態になる。一方、波形２０１が閾値以下の場合、波形２０２はＬレベルとなって消灯状態になる。
【００２４】
期間Ｔ２１２は、光源の点滅周期を示しており、交流電源の周期である期間Ｔ２１１の１／２の周期となる。また、期間Ｔ２１３は光源の点灯している期間、期間Ｔ２１４は光源の消灯している期間をそれぞれ示す。
【００２５】
信号波形２０３は、排出スイッチ３１８の制御線３２３のパルス信号の波形を示す。ＬレベルからＨレベルに制御されると、排出スイッチ３１８がオンになり、光電変換部３０１から電荷が電源ノード３２４に排出される。本実施形態では、全画素が同じタイミングで信号波形２０３がＨレベルからＬレベルとなり、排出スイッチ３１８がオンからオフになるように構成されている。このため、全ての画素について同じタイミングで光電変換部３０１での電荷蓄積が開始される。なお、本明細書において、「同じタイミング」とは、厳密な同時である必要はなく、実質的に同じ時刻のことである。
【００２６】
信号波形２０４は、第１の転送スイッチ３０４の制御線３２１のパルス信号の波形を示す。ＬレベルからＨレベルになると、第１の転送スイッチ３０４がオフからオンとなり、光電変換部３０１で生成された電荷が電荷保持部３０２に転送される。本実施形態においては、信号波形２０４が全画素でＬレベルからＨレベルになる。このため、光電変換部３０１で生成された電荷は、全画素で同時に電荷保持部３０２に転送され、全ての画素について同じタイミングで１回目の電荷蓄積が終了されることになる。
【００２７】
期間Ｔ２１５は、１回の電荷蓄積の開始から終了までの期間（サンプリング期間）を示すものである。本実施形態では、短時間のサンプリングが複数回行われていることが特徴となっている。すなわち、全ての画素において第１の転送スイッチ３０４が同じタイミングで間欠的に複数回オンすることによって、光電変換部３０１から電荷保持部３０２に電荷が間欠的に複数回転送されている。また、第１の転送スイッチ３０４がオンする時刻においては、全ての画素において排出スイッチ３１８がオフとなるように、排出スイッチ３１８も間欠的にオンとオフの動作が繰り返されている。
【００２８】
信号波形２０５は、第２の転送スイッチ３０５の制御線３２２のパルス信号波形を示す。ＬレベルからＨレベルになると、第２の転送スイッチ３０５がオンとなり、電荷保持部３０２で保持された電荷が増幅部３１０に転送される。図１には、ｎ行目からｎ＋ｘ行目に配されている第２の転送スイッチを制御するための信号波形２０５が示されている。図１に示すように、第２の転送スイッチ３０５の制御線３２２のパルス信号は、行順次でＬレベルからＨレベルになるため、第２の転送スイッチ３０５も行順次でオンになる。このため、行毎に電荷保持部３０２に保持されていた電荷が増幅部３１０に転送される。
【００２９】
ここで、期間Ｔ２１７は、ｎ行目の電荷保持部３０２において電荷が保持されている期間である。期間Ｔ２１７では、ｎ行目の第２の転送スイッチ３０５がオフに維持されたまま、第１の転送スイッチ３０４が間欠的に複数回オンすることによって、電荷保持部３０２に電荷が転送される。そのため、期間Ｔ２１７は、電荷保持部３０２において保持される電荷が光電変換部で生成される期間でもある。また、期間Ｔ２１７は、複数回行われるサンプリング動作において、最初のサンプリング動作の開始から、最後のサンプリング動作の終了までの期間に相当する。本実施形態では、このような制御を行うため、電荷保持部３０２には多重露光した信号が蓄積される。同様に、期間Ｔ２１８も、ｎ＋１行目における最初のサンプリングの開始から、最後のサンプリングの終了までの期間を示している。
【００３０】
本実施形態では、全ての画素で第１のスイッチが同じタイミングで制御されることから、ｎ行目の画素（第１の画素）とｎ＋１行目の画素（第２の画素）の第１の転送スイッチは同じタイミングで制御される。他方、第２のスイッチに関しては、ｎ行目の画素（第１の画素）の第２の転送スイッチがオフに維持された状態で、ｎ＋１行目の画素（第２の画素）の第２の転送スイッチがオンに制御される。これにより、行順次で電荷保持部３０２から増幅部３１０への転送が行われている。
【００３１】
期間Ｔ２２０は、１フレームの期間を示している。この期間内では、１フレーム分の画像が行ごとに順次電荷保持部３０２から増幅部３１０に出力される。
【００３２】
図２は、図１のうち、信号波形２０３、信号波形２０４、２０５の関係を詳細に説明するための図である。これらの波形は、排出スイッチ３１８、第１の転送スイッチ３０４、第２の転送スイッチ３０５にそれぞれ対応している。
【００３３】
期間Ｔ２１５は、１回のサンプリング期間を示すものである。この期間は、排出スイッチ３１８がオンからオフになる時刻から、第１の転送スイッチ３０４がオンからオフになる時刻までの期間に相当する。なお、第１の転送スイッチ３０４が複数回オンになる時刻において、排出スイッチ３１８はオフとなっている。
【００３４】
期間Ｔ２２１は、１フレーム周期を示すものであり、この期間はｎ行の第２の転送スイッチ３０５がオフからオンになる時刻から、再度ｎ行の第２の転送スイッチ３０５がオフからオンになる時刻までの期間に相当する。
【００３５】
期間Ｔ２２２は、行毎の垂直走査周期を示すものであり、例えば、ｎ行目の画素の第２の転送スイッチ３０５がオフからオンになる時刻から、ｎ＋１行目の画素の第２の転送スイッチ３０５がオフからオンになる時刻までの期間に相当する。
【００３６】
期間Ｔ２１５は、例えば、期間Ｔ２１２（光源の点滅周期）の１／２以下の間隔としてもよい。このように設定すれば、複数回のサンプリングのうち、いずれかが消灯時に行われた場合でも、同じフレームの別のサンプリングが点灯時に行われる可能が高くなる。
【００３７】
本実施形態では、短い露光時間となるサンプリングを複数回繰り返して、電荷保持部３０２で加算することから、光源の点灯時と消灯時との信号電荷を平均化でき、誤検出を抑制することができる。また、光源の点滅周期の１／２の間隔でサンプリングする場合よりも、より多い回数でサンプリングをすれば、点滅光源の下での被写体の検出精度の向上や、画像劣化の抑制することができる。たとえば、期間Ｔ２１５を、期間Ｔ２１２の１／４以下の間隔や、１／８以下の間隔にしてもよい。
【００３８】
期間Ｔ２１７は、期間Ｔ２１２（光源の点滅周期）よりも長ければよいが、点滅光電の下での被写体の検出精度の向上や画像劣化の抑制を図るためには、期間Ｔ２１７の長さを長くすればよい。たとえば、期間Ｔ２１７の長さは、光源の点滅する周期の整数倍としてもよい。特に、商用電源のように予め周波数や周期が明確な場合には、期間Ｔ２１７の長さをこのように整数倍とすることが好ましい。
【００３９】
本実施形態では、全ての画素について、各サンプリング時間の開始と終了のタイミングを同期させている。これにより、各行における電荷蓄積時間の同時性を確保することができている。
【００４０】
また、電荷蓄積時間を短くしたサンプリングを間欠的に複数回行い、サンプリングされた電荷を電荷蓄積部で加算・多重化し、１フレーム分の電荷量を取得している。このような駆動方法を行うことによって、光源が点滅していたとしても、各サンプリングが分散している多重露光となっているため、光源変動の影響が平均化され、フリッカ等の影響を抑える効果を奏することが可能である。
【００４１】
他方、２の転送スイッチは行順次で駆動するため、第２の転送スイッチがオフからオンになるタイミングは各行で異なっている。すなわち、行毎に電荷保持部３０２に保持する電荷の最初のサンプリング動作の開始から、最後のサンプリング動作の終了までの多重化期間がずらされている。このため、行によっては多重化される電荷が前または後のフレームに分かれて存在することになるが、情報自体は前後のフレームのいずれかに存在するため、画像認識時に前後フレームから情報を取得すれば、情報の欠落を抑制することができる。
【００４２】
ところで、本実施形態では、排出スイッチ３１８および第１の転送スイッチ３０４を全画素で一括して制御する。他方、第２の転送スイッチ３０５は行順次で制御する。そこで、図３に示した制御部１０３において、２つの生成部に分けたパルス生成部を設けることができる。第１のパルス生成部は、排出スイッチ３１８および第１の転送スイッチ３０４の駆動パルスを生成する。他方、第２のパルス生成部は、第２の転送スイッチ３０５の駆動パルスを生成する。すなわち、第１のパルス発生部が、サンプリングの間隔、サンプリングの長さ、サンプリングの期間を決定する。他方、第２のパルス発生部が、サンプリングした電荷を多重化する期間の長さや、ある行における１フレームに占める蓄積時間の割合などを決定する。このように、２つのパルス発生部を設けたことから、両者を独立して組み合わせることが設定可能となり、多重化後の露光量や多重化した画像のサンプリング動作の時間的な分散割合、多重化する画像の割合等を制御することができる。これにより、多重露光画像の柔軟な撮像条件設定が可能となる。
【００４３】
また、２つのパルス発生部を独立して組み合わせるのではなく、第１のパルス発生部からのパルスと、第２のパルス発生部からのパルスを同期するように構成するとよい。たとえば、全行の第１の転送スイッチがオンの状態において、ある行の第２の転送スイッチがオンになると、電荷蓄積部から転送された電荷が電荷保持部で蓄積されず、増幅部に転送されることになる。このような動作を抑制するために、２つのパルス発生部からのパルスを同期させる。具体的には、第２のパルス発生部からのパルスを用いた水平走査周波数（第２の転送スイッチが行順次でオンとなるタイミングに対応した周波数）を逓倍したものを第１のパルス発生部からのパルスとして用いることも可能である。または、水平走査周波数を分周したものを第１のパルス発生部からのパルスとして用いることも可能である。
【００４４】
通常のグローバル電子シャッタは全行の電荷蓄積期間が終了してから電荷を電荷保持部から増幅部に出力するため、電荷蓄積を行っていない期間がフレーム間に生じることになる。これは、例えばプロペラ飛行機のプロペラの回転速度が一定にもかかわらず、不規則に回転しているような違和感が生じる原因になる。本実施形態の駆動動作では、サンプリング露光が複数フレームにわたり常に一定間隔で実行されるため、動画で撮影画像を撮影しても違和感のない画像が取得できる。
【００４５】
上記では、全ての画素において、サンプリング動作の開始と終了が一致することを説明した。しかし、全ての画素が同時にサンプリングを開始している必要はなく、用途に応じて適宜選択される複数の画素においてサンプリングの開始時刻と終了時刻とが一致していればよい。
【００４６】
（第２の実施形態）
図５および図６を参照して、ダイナミックレンジを拡大する撮像装置の構成、撮像装置の駆動方法、撮像装置を有する撮像システムについて説明する。
【００４７】
本実施形態によれば、光源の点滅状態による影響を抑制しながら短い露光時間の画像と長い露光時間の画像を取得できるため、フリッカ等の抑制された高画質のダイナミックレンジ画像が取得できる。また、時間同時性を確保しながら取得できるので、ダイナミックレンジ拡大画像を合成する際に、短い露光時間の画像と長い露光時間の画像間で歪がない画像が得られるため、高画質な画像合成が実現できる。
【００４８】
図５は、本実施形態の撮像領域１０２の画素部分の等価回路の構成例である。図３に示されている画素３００と比較して、画素８００は、第１の転送スイッチ３０４、電荷保持部３０２、第２の転送スイッチ３０５の組み合わせを２つ有している点が異なる。本明細書において、各セットに含まれる各構成の区別が必要な場合、各構成の参照符号にＳ、Ｌの添え字を付する（例えば、電荷保持部３０２Ｓ）。
【００４９】
図５に示すように、本実施形態では、第１の転送スイッチ３０４Ｓ、３０４Ｌのそれぞれを制御するための制御線３２１Ｓ、３２１Ｌが設けられている。なお、第１の転送スイッチ３０４Ｌは、３０４Ｓと区別するために、第３の転送スイッチ３０４Ｌと表現することもある。また、第２の転送スイッチ３０５Ｓ、３０５Ｌのそれぞれを制御するための制御線３２２Ｓ、３２２Ｌが設けられている。なお、第２の転送スイッチ３０５Ｌは、３０５Ｓと区別するために、第４の転送スイッチ３０５Ｌと表現することもある。これ以外の構成は、第１の実施形態の画素３００の構成と同じである。
【００５０】
このような構成により、第１の電荷保持部で電荷が保持されている状態であっても、第２の電荷保持部へ電荷を転送することができる。また、第１および第２の電荷保持部で電荷が保持されている状態でも、第１または第２の電荷保持部に電荷を転送することもできる。このため、両方の電荷保持部に同時性の高い信号を保持することが可能となる。
【００５１】
画素８００において、光電変換部３０１で生成された電荷は、第１の転送スイッチ３０４Ｓと第１の転送スイッチ３０４Ｌとのそれぞれ選択された時間に応じて、電荷保持部３０２Ｓと電荷保持部３０２Ｌとのそれぞれに保持される。第１の実施形態では、フレームごとに同じ露光時間のサンプリング動作を行ない、フレームごとに露光時間の同じ画像を生成させた。一方、本実施形態では、画素８００が第１と第２の電荷保持部を用いることによって、異なる露光時間のサンプリングを並列に行うことが特徴となる。
【００５２】
（タイミングチャート）
図６は、本実施形態の撮像装置の動作を説明するタイミング図である。波形９０２は、例えば電光掲示板や各種照明機器、自動車などの表示に用いられるアナログ変調されたＬＥＤ光源などの点灯波形を示す。
【００５３】
波形９０３は、排出スイッチ３１８の制御線３２３のパルス信号の波形を示す。ＬレベルからＨレベルに制御されると、排出スイッチ３１８がオンになり、光電変換部３０１から電荷が電源ノード３２４に排出される。本実施形態では、全画素が同じタイミングでＬレベルからＨレベル、ＨレベルからＬレベルに制御されるように構成されている。
【００５４】
信号波形９０４Ｓは、第１の転送スイッチ３０４Ｓの制御線３２１Ｓのパルス信号の波形である。また、信号波形９０４Ｌは、第１の転送スイッチ３０４Ｌの制御線３２１Ｌのパルス信号の波形である。本実施形態において、光電変換部３０１で生成された電荷は、全画素同時で電荷保持部３０２Ｓ又は電荷保持部３０２Ｌに転送される。
【００５５】
信号波形９０４ＳがＬレベルからＨレベルになると、光電変換部１０７で生成された電荷は、電荷保持部３０２Ｓに転送される。本実施形態では、全画素の第１の転送スイッチ３０４Ｓが同じタイミングでオンからオフに制御されている。同様に、全画素において、信号波形９０４Ｌが同じタイミングでＬレベルからＨレベルになることにより、全画素の第１の転送スイッチ３０４Ｌがオンからオフになり、光電変換部３０１で生成された電荷が電荷保持部３０２Ｌに転送される。
【００５６】
このように構成することにより、電荷保持部３０２Ｓには、信号波形９０３および信号波形９０４Ｓで規定された期間に光電変換部１０７で生成された電荷を保持することができる。同様に、電荷保持部３０２Ｌには、信号波形９０３および信号波形９０４Ｌで規定された期間に光電変換部１０７で生成された電荷を保持することができる。すなわち、同時性を確保しつつ、各電荷保持部で電荷蓄積期間の長さが異なるサンプリングが可能となる。これにより、被写体やカメラの動きに対して発生する画像ずれの発生を抑制することができる。ダイナミックレンジを拡大するためには、電荷保持部３０２Ｓで保持される電荷量と電荷保持部３０２Ｌで保持される電荷量が異なればよい。そのため、各サンプリングの長さ（第１または第３の転送スイッチを間欠的にオンしている各期間の長さ）を同じとして、電荷保持部３０２Ｓと電荷保持部３０２Ｌへの転送回数を異ならせるような構成としてもよい。
【００５７】
ここで、期間Ｔ９１５Ｓは、電荷保持部３０２Ｓで保持される電荷を蓄積する期間であり、短時間のサンプリング期間に相当する。他方、期間Ｔ９１５Ｌは、電荷保持部３０２Ｌで保持される電荷を蓄積する期間であり、長時間のサンプリング期間に相当する。すなわち、第１の転送スイッチ３０４Ｓをオンからオフに切り替えるまでの期間の長さ（期間Ｔ９１５Ｓ）は、第３の転送スイッチ３０４Ｌをオンからオフに切り替えるまでの期間の長さ（第２の期間Ｔ９１５Ｌ）よりも短い。
【００５８】
また、図６においては、期間Ｔ９１５Ｓと期間Ｔ９１５Ｌは、時間的に重複することはなく、互いに異なるタイミングとなっている。短時間のサンプリング動作と、長時間のサンプリング動作とを交互に行うことによって、同一のフレーム間で複数の異なる露光時間の画像を生成することが可能となる。また、期間Ｔ９１５Ｓと期間Ｔ９１５Ｌは時間的に一部が重複していてもよい。この場合、電荷保持部３０２Ｓと電荷保持部３０２Ｌの両方で同時期に電荷蓄積がなされるが、電荷保持部３０２Ｓと電荷保持部３０２Ｌとで電荷蓄積期間の長さが結果的に異なればよいため、このような形態も許容されうる。
【００５９】
信号波形９０５Ｓは、第２の転送スイッチ３０５Ｓの制御線３２２Ｓのパルス信号の波形であり、９０５Ｌは、第２の転送スイッチ３０５Ｌの制御線３２２Ｌのパルス信号の波形である。信号波形９０５ＳがＬレベルからＨレベルになると、第２の転送スイッチ３０５Ｓがオンになり、電荷保持部３０２Ｓで保持された電荷が出力部１１２に行順次で転送される。同様に、信号波形９０５ＬがＬレベルからＨレベルになると、第２の転送スイッチ３０５Ｌがオンになり、電荷保持部３０２Ｌで保持された電荷が出力部１１２に行順次で転送される。
【００６０】
期間Ｔ９２０は１フレームの期間を示しており、１行目から最終行目までの１フレーム分の画像を行ごとに順次、出力部１１２に出力する１画面分の転送期間となっている。
【００６１】
また、期間Ｔ９２１ＳおよびＴ９２１Ｌは、ｎ行目の電荷保持部３０２Ｓおよび３０２Ｌにおいて、複数回サンプリングされた電荷が保持される期間を示したものである。同様に、期間Ｔ９２２ＳおよびＴ９２２Ｌは、ｎ＋１行目の電荷保持部３０２Ｓおよび３０２Ｌで電荷が保持される期間を示し、期間Ｔ９２３ＳおよびＴ９２３Ｌは、ｎ＋２行目の電荷保持部３０２Ｓおよび３０２Ｌで電荷が保持される期間を示している。
【００６２】
本実施形態において、１フレームである期間Ｔ９２０の間に、期間Ｔ９１５Ｓで示される短時間のサンプリング動作を３回行い、多重露光した画像を生成している。また、期間Ｔ９２０の間に、期間Ｔ９１５Ｌで示される長時間のサンプリング動作を３回行い、多重露光した画像を生成している。
【００６３】
このように、本実施形態では、電荷保持部３０２Ｓおよび電荷保持部３０２Ｌの２つの電荷保持部を設け、それぞれの制御線に適切なパルスを入力することによって、２つの異なる露光時間の画像を生成することが可能となる。
【００６４】
露光時間の異なる２つの多重露光画像は、時間の間隔をあけて複数回サンプリングして得られた画像のため、光源の点灯状態の変動するある一瞬の情報ではなく、複数回のサンプリング露光が多重化された情報となる。このため、光源を撮影したときに発生するフリッカ又はフリッカ状のちらつきを抑制することが可能となる。
【００６５】
また、それぞれの多重露光画像は、同一のフレームの期間を複数回サンプリングして得られているため、ほぼ同時刻の撮影を２種類の露光時間で撮影した画像となる。従って、読み出されたそれぞれの多重露光画像を合成することによって、ダイナミックレンジを拡大した画像を得ることができる。詳細については後述する。
【００６６】
本実施形態においても、第１の実施形態で説明したように、第１のパルス発生部と第２のパルス発生部を設けて、多重露光画像の柔軟な撮像条件設定を実現することが可能である。また、第１のパルス発生部からのパルスは、水平走査周波数を逓倍して水平走査に同期したパルスとするか、水平走査周波数を分周して水平走査に同期したパルスとしてもよい。
【００６７】
また、本実施形態では、短時間サンプリング動作および長時間サンプリング動作をそれぞれ３回行っている。しかし、サンプリング動作の回数は、これに限られるものではなく２回以上であれば、何回行ってもよい。また、１フレームの期間に行われる短時間サンプリングと長時間サンプリングとの回数が互いに異なっていてもよい。
【００６８】
サンプリング動作の回数を多くするために信号波形９０４Ｓ、９０４Ｌのパルス間隔を短くすると、フリッカを抑制する効果はより大きくなる。光源の点滅周波数をＮ（Ｈｚ）とした場合、サンプリングのサイクル（Ｈｚ）＞Ｎ（Ｈｚ）からフリッカ抑制の効果が表れる。また、サンプリングのサイクル（Ｈｚ）＞２Ｎの条件で十分な効果が表れる。例えば、５０Ｈｚの商用電源を用いる蛍光灯の照明下で、１００Ｈｚで撮像するとフリッカが現れやすい。この場合、サンプリングのサイクル（Ｈｚ）＞１００Ｈｚで効果が表れ、また、サンプリングのサイクル（Ｈｚ）＞２００Ｈｚとすることで、十分な効果が得られうる。５０Ｈｚの商用電源を用いた光源に対して、信号波形９０４Ｓ、９０４Ｌのパルス間隔を１０ｍｓ以下にすることによって、フリッカ抑制の効果が得られる。また、更にフリッカ抑制の効果を高めるために、信号波形９０４Ｓ、９０４Ｌのパルス間隔は、例えば５ｍｓよりも短くてもよい。
【００６９】
また、電荷の多重化する露光時間の合計時間は、フリッカの抑制効果を大きくするために、長くしてもよい。例えば、短時間サンプリング動作の露光時間の合計と長時間サンプリング動作の露光時間の合計とを合計した時間が、光源の点滅する周期の１／２以上であってもよい。
【００７０】
さらに、各画素８２０は、電荷保持部３０２と第１の転送スイッチ３０４と第２の転送部１１１とを含むセットを２つ備えるが、例えば３つ以上のセットを備え、フレームごとに露光時間の異なる３つ以上の画像を生成してもよい。
【００７１】
加えて、図６では、短時間サンプリング動作と長時間サンプリング動作を並行して行っているが、短時間サンプリング動作と長時間サンプリング動作は分離していてもよい。例えば、短時間サンプリング動作を行うために、第１の転送スイッチ３０４Ｓが間欠的に複数回オンを繰り返している期間は、第１の転送スイッチ３０４Ｌはオフに維持する。一方、長時間サンプリング動作を行うために第１の転送スイッチ３０４Ｌが間欠的に複数回オンを繰り返している期間は、第１の転送スイッチ３０４Ｓはオフに維持する。このようにすることで、短時間サンプリング動作と長時間サンプリング動作を１フレーム中で分離することができる。なお、短時間サンプリング動作と長時間サンプリング動作を完全に並行して行う例や完全に分離して行う例だけでなく、これらの中間など適宜選択することが可能である。
【００７２】
（撮像システムの構成例）
図７および図８を用いて、第２の実施形態における撮像装置１０１を用いたダイナミックレンジを拡大する撮像システムについて説明する。
【００７３】
図７に本実施形態における撮像システム７００の画像処理装置７１０の構成例を示す。画像処理装置７１０は、撮像装置１０１から各フレームの画像信号を受信し、露光時間の異なる２つ以上の画像を合成し、画像表示装置７２０への表示信号と画像記録装置７３０への記録信号とを出力する。前画像処理部７０１は、撮像装置１０１から入力された画像データに対して、例えば黒レベルの補正などの画像処理を行う。
【００７４】
第１の画像一時記憶部７０２は、１フレームの間において得られた短時間露光の画像データをフレームメモリなどで一時、保持する。第２の画像一時記憶部７０３は、１フレームの間において長時間露光の画像データをフレームメモリなどで一時、保持する。画像合成部７０４は、第１の画像一時記憶部７０２から入力された短時間露光画像と、第２の画像一時記憶部７０３から入力された長時間露光画像とを合成し、ダイナミックレンジを拡大した合成画像を生成する。後画像処理部７０５は、ベイヤー配列などの撮像素子の画素配列信号を一般的なＲＧＢ信号やＹＣｂＣｒ信号のような映像信号に変換する。また後画像処理部７０５は、例えばホワイトバランスやガンマ補正などの、合成された画像の画質補正を行ってもよい。画像表示ＩＦ部７０６は、画像表示装置７２０へ画像の表示信号を送信し、制御信号を送受信するＩＦ部である。画像記録ＩＦ部７０７は、画像記録装置７３０へ画像の記録信号を送信し、制御信号を送受信するＩＦ部である。
【００７５】
図８に本実施形態の撮像システム７００の画像合成部７０４で行われるダイナミックレンジ拡大画像の作成方法について示す。ここでは、短時間露光画像と長時間露光画像とを合成し、例えば出力レベルの階調数を４０９６階調から６５５３６階調相当に増加させ、ダイナミックレンジを７２ｄＢ相当から９６ｄＢ相当に拡大する場合を示す。
【００７６】
図８（ａ）は、画像合成を行う前の照度と出力レベルとの関係を示す図である。特性５０１Ａは、主に被写体の暗部領域を撮像するために用いられるものであり、長時間露光画像の撮像時の照度に対する出力レベル特性である。ここで、撮像素子の出力は１２ｂｉｔであり、出力される階調数は４０９６階調とする。特性５０２Ａは、主に被写体の明部領域を撮像するために用いられるものであり、短時間露光画像の撮像時の照度に対する出力レベル特性である。長時間露光画像の特性と比較して、露光時間の短い短時間露光画像の特性の傾きは、緩やかになる。例えば、長時間露光の露光時間は、短時間露光の合計の露光時間の１６倍であるとする。
【００７７】
本実施形態において、長時間露光画像の撮像時の出力レベルは、照度が１０００ｌｘで４０９５階調に達するのに対して、短時間露光画像の撮像時の出力レベルは、照度が１６倍の１６０００ｌｘで４０９５階調に達するように設定されている。まず長時間露光で撮像された画像と、短時間露光で撮像された画像とを合成するために、短時間露光で撮像された画像データをデジタル的に４ｂｉｔ上位側にシフトした画像を作成する。これによって、短時間露光で撮像された画像データは、４ｂｉｔ上位側にシフトし、階調数６５５３６階調の１６ｂｉｔのデータとなる。次いで長時間露光画像と短時間露光画像との合成を行う。ある閾値の出力レベルの階調以下では長時間露光で撮像された画像データを、また閾値の出力レベルよりも大きい出力レベルの階調では短時間露光で撮像された画像データを用いることによって１６ｂｉｔの画像を生成する。例えば、閾値を４０９５階調とする。
【００７８】
図８（ｂ）に、照度に対する合成後の画像の階調の出力レベルを示す。長時間露光した特性５０１Ａは、閾値である４０９５階調以下の出力レベルのデータを、そのまま用いた領域である。特性５０２Ｂは、短時間露光画像のデータの特性５０２Ａを４ｂｉｔ、上位側にシフトし、またシフトしたデータのうち、閾値である４０９５階調よりも大きい出力レベルの領域である。これによって合成後の画像は、暗部で１６ｂｉｔの階調精度を有しながら、暗部の撮影に対して飽和レベルが１６倍に大きくなったダイナミックレンジの拡大された画像となる。本実施形態において、長時間露光の露光時間は、短時間露光の露光時間と比較して１６倍としたが、例えば更に露光時間の比を大きく設定することで、１００ｄＢ以上の高いダイナミックレンジを有する画像を得ることが可能となる。
【００７９】
上述した構成および駆動方法を用いることによって、撮像システム７００は、例えば暗いトンネル内を走る車の車載用カメラで明るいトンネル外の信号機の点灯状態を撮影する場合、短時間露光となる明るい信号機の点灯状態を誤検出する可能性が抑制される。また撮像装置８０１は、短時間露光の画像と長時間露光の画像とを合成することによって、トンネル内の暗部からトンネル外の明部まで、ダイナミックレンジの広い明瞭な画像を得られる。
【００８０】
（第３の実施形態）
上記の第２の実施形態においては、１画素の中に２つの電荷保持部を設けて、短い露光時間の蓄積電荷と長い露光時間の蓄積電荷を別々の電荷保持部で保持して情報を取得し、ダイナミックレンジを拡大する撮像装置の例を示した。これに対して、本実施形態では、１フレーム中に、短い露光時間の蓄積電荷を保持する期間（第１の保持期間）と、長い露光時間の蓄積電荷を保持する期間（第２の保持期間）を設けて、ダイナミックレンジを拡大する撮像装置の例を示す。本実施形態によれば、１画素の中に２つの電荷保持部を設けなくてもよいという利点がある。
【００８１】
本実施形態における撮像装置１０１の構成は図３と同様である。また、本実施形態における撮像装置１０１の画素部分の等価回路の構成例は図４と同様である。
【００８２】
図９は、本実施形態の撮像装置の動作を説明するタイミング図である。第１の実施形態と同様に、信号波形２０３は、排出スイッチ３１８の制御線３２３のパルス信号の波形を示す。また、信号波形２０４は、第１の転送スイッチ３０４の制御線３２１のパルス信号の波形を示す。本実施形態では、全ての画素について同じタイミングで、排出スイッチ３１８のオンとオフの切り替えと、第１の転送スイッチ３０４のオンとオフの切り替えがなされる。このため、サンプリング露光については、全ての画素において同時性が確保される。
【００８３】
信号波形２０５は、第２の転送スイッチ３０５の制御線３２２のパルス信号波形を示す。図９には、ｎ行目からｎ＋ｘ行目に配されている第２の転送スイッチを制御するための信号波形２０５が示されている。図９に示すように、第２の転送スイッチ３０５の制御線３２２のパルス信号は、行順次でＬレベルからＨレベルになるため、行順次で電荷保持部３０２から増幅部３１０に電荷が転送されることになる。
【００８４】
期間Ｔ２１５は、上述した複数回行われるサンプリング動作の１回の時間を示す。また、期間Ｔ２１７Ｍは、ｎ行目の電荷保持部３０２で電荷が保持される期間を示しており、Ｔ２１７Ｍの間に生成された電荷は、短い露光時間の画像を形成する電荷として使用される。期間Ｔ２１７Ｎも、ｎ行目の電荷保持部３０２で電荷が保持される期間を示しているが、Ｔ２１７Ｎの間に生成された電荷は、長い露光時間の画像を形成する電荷として使用される。また、期間Ｔ２１７ＭおよびＴ２１７Ｎは複数回行われるサンプリング動作の最初のサンプリング動作の開始から最後のサンプリング動作の終了までの期間に相当する。本実施形態においても、図９に示すように、期間Ｔ２１７ＭとＴ２１７Ｎの期間に、複数回のサンプリング動作を行う。
【００８５】
同様に、期間Ｔ２１８Ｍ、Ｔ２１８Ｎ、Ｔ２１９Ｍ、Ｔ２１９Ｎ等に示すように、各行においても、短い露光時間の画像を形成する電荷と長い露光時間の画像を形成する電荷が電荷保持部３０２に保持される。電荷保持部３０２で加算された電荷は、行順次で増幅部３１０に電荷が転送され、出力部１０６から画像処理装置７１０に画像データが出力される。
【００８６】
上記のような構成および駆動方法を採用することにより、電荷保持部３０２において複数回サンプリングした電荷を多重露光して得られた画像が取得できる。また、多重化の回数が少ない画像は短い露光時間の画像となり、多重化の回数が多い画像は、長い露光時間の画像となるため、２種類の画像が取得できる。これらの画像から、ダイナミックレンジの拡大した画像を取得する構成は実施形態２と同様である。
【００８７】
本実施形態では、短い露光時間の画像と長い露光時間の画像に関しては、第２の実施形態のように同時性が確保されない。しかし、１つの画素に１つの電荷保持部しかない構成でありながら、異なる１フレーム蓄積時間の画像を取得できる駆動方法である。本実施形態によれば、サンプリング露光動作のサンプリング量を変えることで、短い露光時間の画像と長い露光時間の画像の露光時間の比を保ったまま、１フレーム蓄積時間を可変に制御することが可能となる。
【００８８】
（第４の実施形態）
本実施形態では、画面内の画素行ごとに１フレーム蓄積時間を変更できる構成例を示す。本実施形態における撮像装置１０１の構成は図３と同様である。また、本実施形態における撮像装置１０１の画素部分の等価回路の構成例は図４と同様である。
【００８９】
図１０は、本実施形態の撮像装置の動作を説明するタイミング図であり、信号波形２０３、信号波形２０４、信号波形２０５の関係を説明するための図である。信号波形２０３は、排出スイッチ３１８の制御線３２３のパルス信号の波形を示す。また、信号波形２０４は、第１の転送スイッチ３０４の制御線３２１のパルス信号の波形を示す。本実施形態では、全ての画素について同じタイミングで、排出スイッチ３１８のオンとオフの切り替えと、第１の転送スイッチ３０４のオンとオフの切り替えがなされる。このため、サンプリング露光については、全ての画素において同時性が確保される。
【００９０】
また、信号波形２０５は、第２の転送スイッチ３０５の制御線３２２のパルス信号波形を示す。図１０には、ｎ行目からｎ＋ｘ行目に配されている第２の転送スイッチを制御するための信号波形２０５が示されている。図１０に示すように、第２の転送スイッチ３０５の制御線３２２のパルス信号は、行順次でＬレベルからＨレベルになるため、行順次で電荷保持部３０２から増幅部３１０に電荷が転送されることになる。
【００９１】
また、信号波形２０６は、電荷保持部３０２の電位をリセットするスイッチ（不図示）の制御線のパルス信号波形を示す。例えば、このリセットスイッチはＭＯＳトランジスタで構成され、このスイッチがオンになると電荷保持部３０２の電位をリセット線３２６の電位にリセットするように構成することができる。
【００９２】
期間Ｔ２１５は、１回の電荷蓄積の開始から終了までの期間（サンプリング期間）を示す。また、Ｔ２１６は、１フレームに相当する期間内でサンプリング動作を実行している期間を示している。このように、本実施形態では、サンプリング動作を実行している期間は、１フレームに相当する期間の一部である点において、上記実施形態とは駆動の方法が異なっている。
【００９３】
期間Ｔ２１７は、ｎ行目の画素の電荷保持部３０２の電位がリセットされた時刻から、オフに維持されていた第２の転送スイッチ３０５がオンになる時刻までの期間であり、電荷蓄積部３０２で多重露光した信号が蓄積される期間である。
【００９４】
同様に、期間Ｔ２１８および期間Ｔ２１９も、ｎ＋１行目およびｎ＋ｘ行目における電荷保持部３０２の電位がリセットされた時刻から第２の転送スイッチ３０５がオンになる時刻までの期間に相当する。
【００９５】
本実施形態に係る駆動方法によれば、ｎ行目の画素においては、期間Ｔ２１６と期間Ｔ２１７の重なる期間内にサンプリングされた電荷が電荷保持部３０２に保持されることになる。他方、ｎ＋ｘ行目の画素においては、期間Ｔ２１６と期間Ｔ２１９の重なる期間内にサンプリングされた電荷がｎ＋ｘ行目の電荷保持部に保持されることになる。
【００９６】
すなわち、本実施形態ではサンプリング動作を実行している期間は、１フレームに相当する期間の一部である。また、各行において電荷保持部をリセットするタイミングと電荷保持部から増幅部に転送するタイミングが異なる。このため、画素行が異なれば、電荷保持部で多重化されている電荷量も異なることとなる。これにより、画面内の行ごとに多重化されるサンプリング動作による電荷量が変わるため、画面内の露光量を垂直走査方向（列方向）に変化させることができる。例えば、車載カメラでは、日光が照射されて所望の撮像領域の上方は明るい領域であるのに対して、日光が照射されにくい下方は暗い領域となる可能性がある。そこで、本実施形態の駆動方法を用いれば、露光量を変化させることができるため、好適な画像を取得することが可能となる。また、所望の撮像領域の下方のみや中央のみが明るい場合でも、適宜各スイッチの駆動タイミングを調整することで、好適な画像を取得可能である。
【００９７】
ところで、画面内の垂直走査方向の露光量の変化率を変えずに露光量の絶対値を変化させる場合には、１回のサンプリング動作において露光される電荷量を増減すればよい。そのため、信号波形２０３および信号波形２０４で決まるサンプリング幅やサンプリング間隔等を変えればよい。また、露光量の絶対値を大きく変えずに面内の露光量の変化率を変える場合には、Ｔ２１６と、各画素行の電荷保持部で電荷が保持される期間（例えば、Ｔ２１７）の重複度合を変化させればよい。
【００９８】
このように、サンプリング間隔、サンプリング幅、サンプリング数の制御と、各行で行うサンプリング電荷の多重化制御を独立に制御していることから、撮像装置における画面内の露光量の制御も可能となる。
【００９９】
（その他の実施形態）
本発明は上記で説明した実施形態に限定されるものではなく、各実施形態は適宜変更、組み合わせが可能である。
【０１００】
また、各実施形態の信号波形のＨレベルまたはＬレベルの長さは適宜変更することが可能である。たとえば、第２の実施形態では、第１の転送スイッチの駆動パルスに関して、長い露光時間の信号得る場合のＨレベルの期間の長さが、短い露光時間の信号を得る場合のＨレベルの期間の長さよりも長くなっている。しかし、Ｈレベルの期間は同じ長さあるいは大小関係を逆転させて、光電変換部から電荷保持部への転送回数を変えることによって露光時間の長さを変えてもよい。
【０１０１】
さらに、各実施形態で説明した撮像装置も画像処理装置等を組み合わせて、第２の実施形態で説明した撮像システムを構成することも可能である。
【０１０２】
加えて、本発明に係る撮像装置や撮像システムは、小型の無人移動体、各種ロボット、携帯機器、車載カメラ、監視カメラ、産業用カメラ等、様々なシーンで画像認識を行う装置に適用することが可能である。
【符号の説明】
【０１０３】
２０３  信号波形（排出スイッチのパルス信号）
２０４  信号波形（第１の転送スイッチのパルス信号）
２０５  信号波形（第２の転送スイッチのパルス信号）
３０４  第１の転送スイッチ
３０５  第２の転送スイッチ
３１８  排出スイッチ
【図１】
0006702704.tif 000002
【図２】
0006702704.tif 000003
【図３】
0006702704.tif 000004
【図４】
0006702704.tif 000005
【図５】
0006702704.tif 000006
【図６】
0006702704.tif 000007
【図７】
0006702704.tif 000008
【図８】
0006702704.tif 000009
【図９】
0006702704.tif 000010
【図１０】
0006702704.tif 000011