(57)【要約】【課題】  フリッカ対策をしつつ、情報の欠落を防止することのできる距離情報を取得可能な撮像システムを提供する。【解決手段】  第１の撮像装置と、第２の撮像装置と、第１の撮像装置と第２の撮像装置から取得した信号を処理する信号処理部とを有する。第１の撮像装置の露光期間と、第２の撮像装置の露光期間は、１フレーム内で複数回繰り返される。第１の撮像装置の露光期間と第２の撮像装置の非露光期間が重複し、かつ、第１の撮像装置の非露光期間と第２の撮像装置の露光期間が重複する。【選択図】  図８
2018064257.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像装置と、
第２の撮像装置と、
前記第１の撮像装置と前記第２の撮像装置から取得した信号を処理する信号処理部とを有し、
前記第１の撮像装置の露光期間と、前記第２の撮像装置の露光期間は、１フレーム内で複数回繰り返され、
前記第１の撮像装置の露光期間と前記第２の撮像装置の非露光期間が重複し、前記第１の撮像装置の非露光期間と前記第２の撮像装置の露光期間が重複することを特徴とする撮像システム。
【請求項２】
前記第１の撮像装置の露光期間の長さと、前記第２の撮像装置の露光期間の長さが異なることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記第１の撮像装置の露光期間と前記第２の撮像装置の露光期間が重複することを特徴とする請求項１または２に記載の撮像システム。
【請求項４】
前記第１の撮像装置の露光期間と前記第２の撮像装置の露光期間が重複しないことを特徴とする請求項１または２に記載の撮像システム。
【請求項５】
前記第１の撮像装置の非露光期間と前記第２の撮像装置の非露光期間が重複しないことを特徴とする請求項１または２に記載の撮像システム。
【請求項６】
前記第２の撮像装置の非露光期間と前記第１の撮像装置の露光期間が対応し、前記第１の撮像装置の非露光期間と前記第２の撮像装置の露光期間が対応することを特徴とする請求項１または２に記載の撮像システム。
【請求項７】
前記第１の撮像装置の露光期間と前記第２の撮像装置の露光期間が重複している第１の期間は、前記第１の撮像装置の非露光期間と前記第２の撮像装置の露光期間が重複している第２の期間、および、前記第２の撮像装置の非露光期間と前記第１の撮像装置の露光期間が重複している第３の期間よりも長いことを特徴とする請求項１または２に記載の撮像システム。
【請求項８】
前記第１の撮像装置の露光期間は、前記第１の撮像装置が有する機械シャッタの開放期間に対応し、前記第２の撮像装置の露光期間は、前記第２の撮像装置が有する機械シャッタの開放期間に対応することを特徴とする請求項１から７のいずれか１項に記載の撮像システム。
【請求項９】
前記第１の撮像装置および前記第２の撮像装置は、二次元状に配された複数の画素を更に有し、
前記複数の画素のそれぞれは、
光電変換部と、
光電変換部から転送される電荷を保持する電荷保持部と、を備えることを特徴とする請求項１から７のいずれか１項に記載の撮像システム。
【請求項１０】
前記複数の画素において、前記第１の撮像装置の露光期間の開始と終了が一括して行われることを特徴とする請求項９に記載の撮像システム。
【請求項１１】
前記第２の撮像装置が有する複数の画素において、前記第２の撮像装置の露光期間の開始と終了が一括して行われることを特徴とする請求項９または１０に記載の撮像システム。
【請求項１２】
前記電荷保持部は、第１の電荷保持部と、第２の電荷保持部を有し、
前記複数の画素は、前記光電変換部から前記第１の電荷保持部に電荷を転送する第１の転送スイッチと、前記光電変換部から前記第２の電荷保持部に電荷を転送する第２の転送スイッチとを有し、
第１のフレームにおいて、前記光電変換部から前記第１の電荷保持部に複数回電荷が転送され、前記第１のフレームとは異なる第２のフレームにおいて、前記光電変換部から前記第２の電荷保持部に複数回電荷が転送されることを特徴とする請求項９から１１のいずれか１項に記載の撮像システム。
【請求項１３】
前記信号処理部は、前記第１の撮像装置と前記第２の撮像装置から取得した信号から、被写体までの距離情報を取得することを特徴とする請求項１から１２のいずれか１項に記載の撮像システム。
【請求項１４】
請求項１から１３のいずれか１項に記載の撮像システムを有し、
前記撮像システムは、
前記第１の撮像装置と前記第２の撮像装置からの信号に基づく視差画像から、対象物までの距離情報を取得する距離情報取得手段と、
前記距離情報に基づいて移動体を制御する制御手段と、を有することを特徴とする移動体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システムに関する。
【背景技術】
【０００２】
従来から、視点が異なる２つのカメラ（ステレオカメラ）を用いて計測対象である物体を撮像し、得られた２つの画像を用いて物体までの距離を測定するステレオ測距技術が知られている。ステレオカメラは、撮像された２つの画像間に生じる視差を利用して、三角測量の原理により物体までの距離を測定する。ステレオカメラを用いれば、カメラ位置とその前方にある人や物体などの被写体との距離を測定することができるため、ステレオカメラは、自動走行や事故回避を目的とした車載用のカメラとしても用いられる。
【０００３】
特許文献１には、交流電源駆動などに起因して明滅や輝度変動を繰り返す発光機器（例えば、発光ダイオード（ＬＥＤ））の下でも、被写体の撮像が可能である車載用のステレオカメラが記載されている。具体的には、特許文献１には、第１の撮像装置または第２の撮像装置の露光期間を、発光機器の明滅周期よりも長くすることにより、フリッカ対策を行った車載用のステレオカメラが記載されている。また、特許文献１には、第１の撮像装置の露光期間よりも第２の撮像装置の露光期間を長くすることで、第２の撮像装置から取得される信号を発光機器の確認用に用いることも記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１６５０８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記のように、特許文献１では、フリッカ対策のために、第２の撮像装置の露光期間の開始点を第１の撮像装置の露光期間の開始点よりも早く設定し、第２の撮像装置の露光時間を第１の撮像装置の露光時間よりも長くすることが記載されている。
【０００６】
しかし、特許文献１では、第２の撮像装置の露光期間の終了点と第１の撮像装置の露光期間の終了点が同じとなっている。このため、次のフレームにおける第１または第２の撮像装置の露光期間が開始するまでの間に、発光機器が発光してしまうと、この状態が撮影できないこととなり、情報が欠落する。
【０００７】
そこで、本発明は、フリッカ対策をしつつ、情報の欠落を防止することのできる距離情報を取得可能な撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る撮像システムは、第１の撮像装置と、第２の撮像装置と、前記第１の撮像装置と前記第２の撮像装置から取得した信号を処理する信号処理部とを有し、前記第１の撮像装置の露光期間と、前記第２の撮像装置の露光期間は、１フレーム内で複数回繰り返され、前記第１の撮像装置の露光期間と前記第２の撮像装置の非露光期間が重複し、前記第１の撮像装置の非露光期間と前記第２の撮像装置の露光期間が重複することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、フリッカ対策をしつつ、情報の欠落を防止することのできる距離情報を取得可能な撮像システムを提供することができる。
【図面の簡単な説明】
【００１０】
【図１】第１の実施形態にかかる撮像システムのブロック図を示す。
【図２】第１の実施形態にかかる撮像装置のブロック図を示す。
【図３】第１の実施形態にかかる画素部の等価回路図を示す。
【図４】第１の実施形態にかかる撮像システムの駆動のタイミング図を示す。
【図５】第１の実施形態にかかる撮像システムの駆動のタイミング図を示す。
【図６】第２の実施形態にかかる撮像システムのブロック図を示す。
【図７】第２の実施形態にかかる画素部の等価回路図を示す。
【図８】第２の実施形態にかかる撮像システムの駆動のタイミング図を示す。
【図９】第３の実施形態にかかる撮像システムの駆動のタイミング図を示す。
【図１０】第３の実施形態にかかる撮像システムの駆動のタイミング図を示す。
【図１１】第４の実施形態にかかる画素部の等価回路図を示す。
【図１２】第４の実施形態にかかる撮像システムの駆動のタイミング図を示す。
【図１３】第４の実施形態にかかる撮像システムの駆動のタイミング図を示す。
【図１４】第５の実施形態での撮像システムを有する移動体を示す。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
本発明に係る撮像システムの具体的な形態について、図面を参照しつつ説明する。なお、以下の説明および図面において、共通の構成については共通の符号を付して、適宜説明を省略する。図１から図５を参照して、本発明の第１の実施形態による撮像システムの構成および駆動方法を説明する。
【００１２】
（撮像システムのブロック図）
図１Ａは第１の実施形態における撮像システムのブロック図である。撮像システム１００は、撮像装置１０１（第１の撮像装置）と撮像装置１０２（第２の撮像装置）を備える。また、撮像システム１００は、信号処理部１０３、光学制御部１０４、シャッタ・撮像装置制御部１０５、画像表示部１０６、記録部１０７、システムコントローラ１０８を備える。撮像装置１０１、１０２の光入射面側には光学部１０９と機械シャッタ１１０が配され、撮像装置１０１、１０２の後段には画像前処理部１１２が配される。
【００１３】
撮像装置１０１、１０２は、光学部１０９と機械シャッタ１１０を経て入射した光を電気信号に変換する。また、変換された電気信号は画像前処理部１１２で処理される。撮像装置１０１、１０２に照射される光量の大きさは、光学部１０９や機械シャッタ１１０への入力値や、撮像装置１０１、１０２および状態検知部１１１で測定される光信号強度を基に、システムコントローラ１０８が判定を行う。システムコントローラ１０８が撮像装置１０１、１０２に照射される光量が適正範囲から外れていると判定する場合、光学制御部１０４、シャッタ・撮像装置制御部１０５を通じて光学部１０９の絞り値や機械シャッタ１１０の動作を調整する。光学部１０９の絞り値や機械シャッタ１１０の動作を調整するのは、自動調整である必要はなく手動調整であってもよい。
【００１４】
シャッタ・撮像装置制御部１０５は、２台の撮像装置１０１、１０２と機械シャッタ１１０の動作を同期させる。具体的には、シャッタ・撮像装置制御部１０５は、第１の撮像装置１０１の機械シャッタ１１０と、第２の撮像装置１０２の機械シャッタ１１０の動作を同期させる周期信号の生成、画像信号の生成および出力に関わるタイミングを制御する信号生成等を行う。
【００１５】
機械シャッタ１１０は例えば光を遮蔽する先幕と後幕を有し、幕走行方位を行方向に有する。またシャッタの開閉期間はシャッタ・撮像装置制御部１０５によって制御される。
【００１６】
画像前処理部１１２は、撮像装置１０１、１０２から取得した電気信号に対して水平垂直同期や符号化等の処理を施して、後段の信号処理部１０３に画像信号として送信する。
【００１７】
信号処理部１０３は、画像処理部１１３、距離情報処理部１１４、画像出力部１１５を有する。
【００１８】
画像処理部１１３は、画像前処理部１１２から、撮像装置１０１、１０２の画像信号を取得する。そして、画像処理部１１３は、画像の一時記憶、画像の明るさ・コントラスト等の補正、輪郭抽出・部分切り出し・合成・歪み補正の画像加工、被写体の分別・同定・認知等の処理を行う。
【００１９】
距離情報処理部１１４は、画像処理部１１３の処理結果を基に、被写体との視差・測距演算の処理を行う。
【００２０】
画像出力部１１５は、画像処理部１１３の処理結果を基に、画像表示部１０６と記録部１０７への出力に適した信号への加工と信号出力を行う。
【００２１】
図１Ｂは、シャッタ・撮像装置制御部１０５の一例をより詳しく説明するものである。シャッタ・撮像装置制御部１０５は、周期信号の生成等を行う原発振生成部１６０と、第１の撮像装置１０１と第２の撮像装置１０２を制御するための制御信号を出力する制御信号出力部１５０とを有する。配線１７０は制御信号出力部１５０と第１の撮像装置１０１を電気的に接続する配線であり、配線１８０は制御信号出力部１５０と第２の撮像装置１０２とを電気的に接続する配線である。２つの撮像装置を高い精度で同期させるために、配線１７０の長さと配線１８０の長さは略同じである。ここで、略同じ長さとは、同一の長さのみならず、本実施形態の効果を奏する範囲において異なる長さであってもよい。
【００２２】
（撮像装置のブロック図）
図２は撮像システム１００に配されている撮像装置１０１または１０２のブロック図である。撮像装置１０２は、撮像装置１０１と同様の構成を有する。
【００２３】
撮像装置１０１または１０２は、複数の画素１１が二次元状に配された撮像領域１０、制御部１２、垂直走査部１３、画素信号処理部１４、出力部１６からなる。制御部１２、垂直走査部１３、画素信号処理部１４、出力部１６は撮像領域１０の外周に配されている。
【００２４】
制御部１２は、垂直走査部１３、画素信号処理部１４、出力部１６に制御信号、電源電圧等を供給する。垂直走査部１３は、撮像領域１０に配された複数の画素１１について画素行毎または複数の画素行毎に駆動信号を供給する。第１の撮像装置１０１と第２の撮像装置１０２とを高い精度で同期するために、図１に示したシャッタ・撮像装置制御部１０５は制御部１２と電気的に接続されている。
【００２５】
垂直走査部１３は、シフトレジスタまたはアドレスデコーダにより構成することができる。
【００２６】
画素信号処理部１４は、列回路１７、水平走査回路１８、水平出力線１５を含んで構成される。列回路は、各々複数の回路を含んで構成される。例えば、複数の回路とは、信号保持回路、増幅回路、ノイズ除去回路、アナログデジタル変換回路、等である。水平走査回路はシフトレジスタまたはアドレスデコーダにより構成することができる。水平出力線１５に出力される信号は、アナログ信号、デジタル信号のいずれでも良い。
【００２７】
出力部１６は緩衝回路を含んで構成され、水平出力線１５を介して伝達された信号を撮像装置１０１または１０２の後段にある画像前処理部１１２へ送信する。
【００２８】
（画素部の等価回路図）
図３は、図２に示す画素１１の等価回路の構成を示す。図３は４つの画素からなる例である。画素１１は、光電変換部３０１、フローティングディフュージョン３０２（ＦＤ３０２）、転送スイッチ３０４、入力ノード３０３、リセットトランジスタ３０５、増幅部３０６、選択トランジスタ３０７を含む。同一行に配されている複数の画素１１は転送スイッチ３０４、リセットトランジスタ３０５および選択トランジスタ３０７を各々一斉に動作・停止制御する制御線ｐＴＸ１、ｐＳＥＬ、ｐＲＥＳに接続される。
【００２９】
光電変換部３０１は入射光によって電荷を生成して、生成された電荷を蓄積する。光電変換部３０１は、例えばフォトダイオードである。
【００３０】
転送スイッチ３０４は、光電変換部３０１で生成された電荷をＦＤ３０２に転送する。転送スイッチ３０４は制御線ｐＴＸ１を通じて供給される信号によって制御される。転送スイッチ３０４は、例えばＭＯＳトランジスタである。
【００３１】
ＦＤ３０２は、光電変換部３０１で生成された電荷を、転送スイッチ３０４の動作によって受取り保持する機能を担い、増幅部３０６の入力ノード３０３を構成する。
【００３２】
増幅部３０６は、増幅部３０６の入力ノード３０３に蓄積された電荷を垂直出力線３０８に増幅して画素信号として出力する。増幅部３０６は、例えばソースフォロワ回路である。
【００３３】
選択トランジスタ３０７は、垂直出力線３０８に信号を出力する画素３００を選択する。
【００３４】
リセットトランジスタ３０５は、制御線ｐＲＥＳの信号によって入力ノード３０３にある電荷を電源３０９に排出して、入力ノード３０３の電位を電源３０９の電位にする、リセット動作を行う。
【００３５】
（タイミングチャート）
図４は、撮像システム１００の動作を説明するタイミング図である。波形４００は、交流電源を全波整流した波形を模式的に示している。交流電源は、例えば５０Ｈｚや６０Ｈｚの周波数を有する電源である。図４の期間Ｔ４０は、交流電源の周期に相当しており、例えば１／５０秒や１／６０秒である。
【００３６】
波形４０１は、波形４００の電源を用いた光源の点滅状態を示している。Ｈレベルは点灯状態、Ｌレベルは消灯状態を表す。交流電源を用いた光源としては、例えば交通信号機などのＬＥＤ光源などがある。全波整流した電源の波形４００がある閾値以上の場合、波形４０１はＨレベルとなって点灯状態になる。一方、波形４００が閾値以下の場合、波形４０１はＬレベルとなって消灯状態になる。
【００３７】
期間Ｔ４１は、光源の点滅周期を示しており、交流電源の周期である期間Ｔ４０の１／２の周期となる。また、期間Ｔ４２は光源の点灯している期間、期間Ｔ４３は光源の消灯している期間をそれぞれ示す。
【００３８】
矩形の符号４１０および４２０は、第１の撮像装置１０１および第２の撮像装置１０２の光入射側に配した機械シャッタ１１０の開閉状態をそれぞれ示すものである。矩形部分は開状態、矩形がない部分は閉状態を表わす。機械シャッタ１１０の開放期間は、実質的に第１の撮像装置１０１と第２の撮像装置１０２の露光期間となる。そのため、矩形の符号４１０と矩形の符号４２０を、露光期間４１０と露光期間４２０ということもある。
【００３９】
信号波形４１１および４２１は転送スイッチ３０４の制御線ｐＴＸ１での入力信号の波形を示す。転送スイッチ３０４の制御線ｐＴＸ１がＬレベルからＨレベルに制御されると、転送スイッチ３０４がオン状態になり、光電変換部３０１にある電荷はＦＤ３０２を含む入力ノード３０３に転送される。
【００４０】
次に、光電変換部３０１からＦＤ３０２への電荷転送を終えた後に制御線ｐＴＸ１の制御信号をＨレベルからＬレベルに戻す。
【００４１】
信号波形４１２および４２２は選択トランジスタ３０７の制御線ｐＳＥＬでの入力信号の波形を示す。選択トランジスタ３０７の制御線ｐＳＥＬがＬレベルからＨレベルに制御されると、選択トランジスタ３０７がオン状態になり、電源３０９から増幅部３０６を経た電流を垂直出力線３０８に出力する。
【００４２】
信号波形４１３および４２３はリセットトランジスタ３０５の制御線ｐＲＥＳでの入力信号の波形を示す。リセットトランジスタ３０５の制御線ｐＲＥＳがＬレベルからＨレベルに制御されると、リセットトランジスタ３０５がオン状態になり、ＦＤ３０２を含む入力ノード３０３にある電荷は電源３０９に排出される。
【００４３】
図４に示すように、第１の撮像装置１０１および第２の撮像装置１０２は、行順次に露光するように、これらの撮像装置の機械シャッタ１１０は、１フレーム内で繰り返し開閉を行う。
【００４４】
機械シャッタ１１０の開放期間は、実質的に第１および第２の撮像装置での露光期間となる。すなわち、機械シャッタ４１０および４２０が行順次で開放されている期間、第１および第２の撮像装置の対応する画素行の光電変換部３０１に入射した光は電荷に変換される。機械シャッタ４１０および４２０が閉鎖されている期間、第１および第２の撮像装置の対応する画素行の光電変換部３０１は電荷を生成せず、電荷を保持し続ける。こうして機械シャッタ４１０および４２０の行順次開閉、即ち第１および第２の撮像装置の対応する画素行への露光を繰り返して光電変換部３０１に電荷を蓄積させる。
【００４５】
任意のフレームにおいて、機械シャッタ４１０および４２０の行順次の最終開閉は、第１および第２の撮像装置の対応する画素行への最終露光である。例えば第１の撮像装置の１行目であれば図４中のＴ４４およびＴ４５、第２の撮像装置の１行目であれば図４中のＴ４６およびＴ４７に当たる。
【００４６】
最終行まで露光が終了した後、第１および第２の撮像装置の制御線ｐＳＥＬ４１２、４２２に制御信号を行順次でＬレベルからＨレベルへ入力する。次に、制御線ｐＳＥＬ４１２、４２２の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ４１３、４２３に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、入力ノード３０３に残留する電荷を電源３０９に排出する。次に、制御線ｐＳＥＬ４１２、４２２の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ４１３、４２３に制御信号を行順次にＨレベルからＬレベルへ戻して、リセットトランジスタ３０５をオン状態からオフ状態にする。次に、制御線ｐＳＥＬ４１２、４２２の制御信号をＨレベルに保ちつつ、制御線ｐＴＸ４１２、４２２に制御信号を行順次にＬレベルからＨレベルに入力することにより、光電変換部３０１に蓄積された電荷をＦＤ３０２に転送する。ＦＤ３０２に転送された電荷は増幅部３０６によって増幅された画素信号となる。増幅された画素信号は、選択トランジスタ３０７から垂直出力線３０８に出力される。光電変換部３０１からＦＤ３０２へ電荷転送を終えた後に、制御線ｐＴＸの４１２、４２２は制御信号を行順次にＨレベルからＬレベルへ戻して、転送スイッチ３０４をオン状態からオフ状態にする。最後に、制御線ｐＳＥＬ４１２、４２２の制御信号をＨレベルからＬレベルへ戻して、選択トランジスタ３０７をオン状態からオフ状態にする。
【００４７】
図４においては、１フレームにおける第１の撮像装置１０１の複数の露光期間を符号４１００、４１１０で示している。同様に、１フレームにおける第２の撮像装置１０２の複数の露光期間を符号４２００、４２１０で示している。つまり、第１および第２の撮像装置において、１フレーム内で複数の露光期間が繰り返されており、露光期間内に光電変換部３０１で生じた電荷は光電変換部３０１で加算される。
【００４８】
また、第１の撮像装置１０１の露光期間４１００、４１１０と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間４２００、４２１０が重複している。また、第１の撮像装置１０１の露光期間４１００、４１１０と第２の撮像装置１０１の露光期間４２００、４２１０とは相補的な関係となっている。すなわち、第１の撮像装置１０１の露光期間は、第２の撮像装置１０２の非露光期間に対応し、第１の撮像装置１０１の非露光期間は、第２の撮像装置１０２の露光期間に対応している。また、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間が重複していない上に、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の非露光期間も重複していない。
【００４９】
なお、図４では、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間は重複されていないが、以下で説明する図５のように、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の一部が重なり合っていてもよい。図５の場合であっても、上記で説明したように、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間が重複しているという関係を満たしている。また、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の重複する時間が長ければ長いほど、各撮像装置で取得される２つの画像は同時性が高い画像となるため、より高い精度で被写体までの距離を取得することが可能となる。ここで、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の重複する期間を第１の期間とする。また、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間の重複する期間を第２の期間とする。さらに、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の非露光期間の重複する期間を第３の期間とする。この場合、第１の期間は、第２の期間および第３の期間よりも長くすることによって、同時性がより確保された画像を取得できることになる。
【００５０】
また、図４では、第１の撮像装置１０１の露光期間４１００、４１１０の長さは、第２の撮像装置１０２の露光期間４２００、４２１０の長さよりも長くなるように構成されている。しかし、第１の撮像装置１０１と第２の撮像装置１０２の露光期間の長さは一致していてもよいし、また、第２の撮像装置１０２の露光期間の長さが第１の撮像装置１０１の露光期間の長さよりも長くてもよい。第１の撮像装置１０１と第２の撮像装置１０２の露光期間の長さが異なる場合には、各撮像装置から取得される情報を合成して、ダイナミックレンジを拡大した画像を形成することも可能である。
【００５１】
本実施形態では、１フレーム内において、第１の撮像装置１０１と第２の撮像装置１０２の露光期間が複数回繰り返されているため、フリッカ対策をすることができる。
【００５２】
また、本実施形態では、第１の撮像装置１０１の非露光期間でも第２の撮像装置１０１の露光期間が存在し、かつ、第２の撮像装置１０２の非露光期間でも第１の撮像装置１０１の露光期間が存在することになる。第２の撮像装置１０２の非露光期間においても、第１の撮像装置１０１の露光期間が存在することから、特許文献１に記載された技術よりも、情報の欠落を抑制することができるという効果がある。
【００５３】
（第２の実施形態）
本実施形態は、電子シャッタを用いて露光期間を制御する点で、第１の実施形態とは異なる。また、本実施形態は、光電変換部とＦＤとの間に電荷保持部を有することを特徴とする。以下、図６、図７、図８等を参照しつつ、説明を行う。
【００５４】
（撮像システムのブロック図）
図６は本実施形態にかかる撮像システムのブロック図である。撮像システム６００は少なくとも２台の撮像装置１０１、１０２、信号処理部１０３、光学制御部１０４、シャッタ・撮像装置制御部１０５、画像表示部１０６、記録部１０７、システムコントローラ１０８を備える。
【００５５】
またシャッタ・撮像装置制御部１０５は、２台の撮像装置１０１、１０２の動作を同期させる。具体的には、シャッタ・撮像装置制御部１０５は、２台の撮像装置１０１と１０２を同期させる周期信号の生成や、撮像装置１０１と１０２の各々の露光期間制御、画像信号の生成および出力に関わる時期を制御する信号生成を行う。
【００５６】
（撮像装置のブロック図）
本実施形態にかかる撮像装置は図２と同様のブロック配置を採り得る。もっとも、制御部１２には、垂直走査部１３を介して、画素行毎または複数の画素行毎にシャッタ動作を行う駆動信号を供給する機能が付け加えられている。
【００５７】
（画素部の等価回路図）
図７は、画素１１の等価回路の構成を示す。画素１１は、図２の構成に加えて、電荷保持部３１０と、光電変換部３０１から電荷保持部３１０に電荷を転送する第１の転送スイッチ３０４と、電荷保持部３１０からフローティングディフュージョン３０２に電荷を転送する第２の転送スイッチ３１１を含む。また、光電変換部３０１から電源３０９へ電荷を排出するオーバーフロードレイントランジスタ３１２を含む。
【００５８】
第１の転送スイッチ３０４、第２の転送スイッチ３１１、オーバーフロードレイントランジスタ３１２を同一行で一斉に動作するために、同一行に配されている複数の画素は制御線ｐＴＸ１、ｐＴＸ２、ｐＯＦＤに接続される。
【００５９】
（タイミングチャート）
図８は、撮像システム６００の動作を説明するタイミング図である。矩形の符号８１０および８２０は、第１の撮像装置１０１および第２の撮像装置１０２の露光期間を示す。すなわち、矩形部分は露光期間、矩形がない部分は非露光期間を表わす。
【００６０】
信号波形８１１および８２１は、第１の転送スイッチ３０４の制御線ｐＴＸ１での入力信号の波形を示す。第１転送スイッチ３０４の制御線ｐＴＸ１がＬレベルからＨレベルに制御されると、転送スイッチ３０４が動作して、光電変換部３０１にある電荷は電荷保持部３１０に転送される。
【００６１】
信号波形８１２および８２２は、第２の転送スイッチ３１１の制御線ｐＴＸ２での入力信号の波形を示す。第２の転送スイッチ３１１の制御線ｐＴＸ２がＬレベルからＨレベルに制御されると、第２の転送スイッチ３１１が動作して、電荷保持部３１０にある電荷はＦＤ３０２に転送される。すなわち、電荷が増幅部３０６の入力ノード３０３に転送される。
【００６２】
信号波形８１３および８２３は、オーバーフロードレイントランジスタ３１２の制御線ｐＯＦＤでの入力信号の波形を示す。オーバーフロードレイントランジスタ３１２の制御線ｐＯＦＤがＬレベルからＨレベルに制御されると、オーバーフロードレイントランジスタ３１２が動作して、光電変換部３０１にある電荷は電源３０９に排出される。
【００６３】
信号波形８１４および８２４は、選択トランジスタ３０７の制御線ｐＳＥＬでの入力信号の波形を示す。選択トランジスタ３０７の制御線ｐＳＥＬがＬレベルからＨレベルに制御されると、選択トランジスタ３０７が動作して、電源３０９から増幅部３０６を経た電流を垂直出力線３０８に出力する。
【００６４】
信号波形８１５および８２５はリセットトランジスタ３０５の制御線ｐＲＥＳでの入力信号の波形を示す。リセットトランジスタ３０５の制御線ｐＲＥＳがＬレベルからＨレベルに制御されると、リセットトランジスタ３０５が動作して、ＦＤ３０２および増幅部３０６の入力ノード３０３にある電荷は電源３０９に排出される。
【００６５】
露光期間８１０および８２０に先立って、制御線ｐＯＦＤの８１３、８２３に制御信号をＬレベルからＨレベルへ入力する。これにより、光電変換部３０１に残留する電荷は電源３０９に排出される。
【００６６】
次に、制御線ｐＯＦＤの８１３、８２３について、制御信号がＨレベルからＬレベルへ行順次で戻ると、第１および第２の撮像装置は露光期間８１０および８２０を開始する。
【００６７】
次に、制御線ｐＴＸ１の８１１、８２１に制御信号をＬレベルからＨレベルに入力すると露光期間８１０および８２０を終了して、光電変換部３０１から電荷保持部３１０への電荷転送を開始する。
【００６８】
次に、光電変換部３０１から電荷保持部３１０への電荷転送を終えた後に、制御線ｐＴＸ１の８１１、８２１は制御信号をＨレベルからＬレベルに戻す。
【００６９】
次に、第１、第２の撮像装置において、上記した駆動方法を用いて、任意のフレームの２回目以降の露光、光電変換部３０１から電荷保持部３１０への電荷の転送がなされる。
【００７０】
このように、任意のフレーム内で繰り返される露光によって、露光期間内に光電変換部３０１で生じた電荷は電荷保持部３１０で加算される。
【００７１】
任意のフレームにおいて、第１、第２の撮像装置での行順次の最終露光は、例えば第１の撮像装置の１行目であれば図８中のＴ８０およびＴ８１、第２の撮像装置の１行目であれば図８中のＴ８２およびＴ８３の時期に当たる。
【００７２】
次に、第１および第２の撮像装置の制御線ｐＳＥＬ８１４、８２４に制御信号を行順次でＬレベルからＨレベルへ入力する。そして、制御線ｐＳＥＬ８１４、８２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ８１５、８２５に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、増幅部３０６の入力ノード３０３に残留する電荷を電源３０９に排出する。
【００７３】
次に、制御線ｐＳＥＬ８１４、８２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ８１５、８２５の制御信号は行順次でＨレベルからＬレベルへ戻す。
【００７４】
次に、制御線ｐＳＥＬ８１４、８２４の制御信号をＨレベルに保ちつつ、第１、第２の撮像装置の制御線ｐＴＸ２の８１２、８２２に制御信号をＬレベルからＨレベルに行順次で入力する。その結果、任意のフレーム内で繰り返された光電変換部３０１への露光で生じた電荷は電荷保持部３１０からＦＤ３０２へ転送される。ＦＤ３０２に転送された電荷は入力ノード３０３を通じて増幅部３０６を動作して増幅された画素信号となる。
【００７５】
そして既に第１および第２の撮像装置での制御線ｐＳＥＬの８１４，８２４は制御信号をＨレベルに入力しているため、増幅された画素信号は選択トランジスタ３０７から垂直出力線３０８に出力される。電荷保持部３１０からＦＤ３０２へ電荷転送を終えた後に、制御線ｐＴＸ２の８１２、８２２は制御信号をＨレベルからＬレベルへ行順次に戻す。最後に、制御線ｐＳＥＬ８１４、８２４の制御信号を、ＨレベルからＬレベルへ戻す。
【００７６】
図８に示すように、第１の撮像装置１０１および第２の撮像装置１０２は、行順次で露光がされ、かつ、１フレーム内で繰り返し露光が行われる。また、第１の撮像装置１０１の露光期間８１００、８１１０と第２の撮像装置１０１の露光期間８２００、８２１０とは相補的な関係となっている。また、第１の撮像装置１０１の露光期間８１００、８１１０と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間８２００、８２１０が重複している。
【００７７】
なお、図８では、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間は重複されていないが、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の一部が重なり合っていてもよい。この場合であっても、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間が重複しているという関係を満たしている。
【００７８】
本実施形態では、１フレーム内において、第１の撮像装置１０１と第２の撮像装置１０２の露光期間が複数回繰り返されているため、フリッカ対策をすることができる。
【００７９】
また、本実施形態では、第１の撮像装置１０１の非露光期間でも第２の撮像装置１０１の露光期間が存在し、かつ、第２の撮像装置１０２の非露光期間でも第１の撮像装置１０１の露光期間が存在することになる。第２の撮像装置１０２の非露光期間においても、第１の撮像装置１０１の露光期間が存在することから、特許文献１に記載された技術よりも、情報の欠落を抑制することができるという効果がある。
【００８０】
（第３の実施形態）
本実施形態は、各行に配されている画素の露光期間をそろえるグローバル電子シャッタ方式を採用した撮像システムである。図２に示した撮像装置、図６に示した撮像システム、図７に示した画素部の等価回路図は、本実施形態にも適用される。
【００８１】
（タイミングチャート）
図９は、本実施形態での撮像システムの動作を説明するタイミング図である。矩形の符号９１０および９２０は、撮像システム６００において第１の撮像装置１０１および第２の撮像装置１０２の露光期間を示す。すなわち、矩形部分は露光期間、矩形がない部分は非露光期間を表す。
【００８２】
信号波形９１１および９２１は、第１の転送スイッチ３０４の制御線ｐＴＸ１での入力信号の波形を表す。信号波形９１２および９２２は、第２の転送スイッチ３１１の制御線ｐＴＸ２での入力信号の波形を表す。信号波形９１３および９２３はオーバーフロードレイントランジスタ３１２の制御線ｐＯＦＤでの入力信号の波形を表す。信号波形９１４および９２４は選択トランジスタ３０７の制御線ｐＳＥＬでの入力信号の波形を表す。信号波形９１５および９２５はリセットトランジスタ３０５の制御線ｐＲＥＳでの入力信号の波形を表す。
【００８３】
図８において、各行の画素は、全行一括して露光期間の開始と終了が行われ、かつ、１フレーム内で複数の露光が繰り返して行われる。
【００８４】
全行一括の露光期間９１０および９２０に先立って、制御線ｐＯＦＤの９１３、９２３に制御信号を全行一斉にＬレベルからＨレベルへ入力する。これにより、全画素の光電変換部３０１に残留する電荷は電源３０９に排出される。
【００８５】
次に、制御ｐＯＦＤの９１３、９２３について、制御信号がＨレベルからＬレベルへ全画素一斉に戻ると、第１および第２の撮像装置は露光期間９１０および９２０を全画素一斉に開始する。
【００８６】
次に、制御線ｐＴＸ１の９１１、９２１に制御信号を全行一斉にＬレベルからＨレベルに入力すると、全画素一斉に露光期間９１０および９２０を終了して、全画素一斉に光電変換部３０１から電荷保持部３１０へ電荷を転送する。
【００８７】
次に、全画素一斉に光電変換部３０１から電荷保持部３１０への電荷転送を終えた後に、全行の制御線ｐＴＸ１の９１１、９２１は制御信号をＨレベルからＬレベルへ一斉に戻す。
【００８８】
次に、第１、第２の撮像装置において、上記した駆動方法を用いて、任意のフレームの２回目以降の露光、光電変換部３０１から電荷保持部３１０への電荷の転送がなされる。
【００８９】
このように、任意のフレーム内で繰り返される露光によって、露光期間内に光電変換部３０１で生じた電荷は電荷保持部３１０で加算される。
【００９０】
任意のフレームにおいて、第１、第２の撮像装置での全画素一括の最終露光は、例えば第１の撮像装置であれば図９中のＴ９０およびＴ９１、第２の撮像装置であれば図９中のＴ９２およびＴ９３に当たる。
【００９１】
全画素一斉の最終露光後に、制御線ｐＳＥＬ９１４、９２４に制御信号を行順次でＬレベルからＨレベルへ入力する。次に、制御線ｐＳＥＬ９１４、９２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ９１５、９２５に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、ＦＤ３０２および入力ノード３０３に残留する電荷を電源３０９に排出する。次に、制御線ｐＳＥＬ９１４、９２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ９１５、９２５の制御信号は行順次でＨレベルからＬレベルへ戻す。
【００９２】
続いて、制御線ｐＳＥＬ９１４、９２４の制御信号をＨレベルに保ちつつ、制御線ｐＴＸ２の９１２、９２２に制御信号を行順次にＬレベルからＨレベルに入力する。その結果、任意のフレーム内で繰り返された光電変換部３０１への露光で生じた電荷は行順次に第１の電荷保持部３１０からＦＤ３０２へ転送される。電荷保持部３１０に転送された電荷は入力ノード３０３を通じて増幅部３０６を動作して増幅された画素信号となる。
【００９３】
増幅された画素信号は、ｎフレームの露光であればＴ９００およびＴ９０２の期間に、ｎ＋１フレームの露光であればＴ９０１およびＴ９０３の期間に選択トランジスタ３０７から垂直出力線３０８に画素信号を出力する。行順次に電荷保持部３１０からＦＤ３０２へ電荷転送を終えた後に、全行の制御線ｐＴＸ２の９１２、９２２は制御信号をＨレベルからＬレベルへ行順次に戻す。
【００９４】
最後に、制御線ｐＳＥＬ９１４、９２４の制御信号を行順次でＨレベルからＬレベルへ戻す。
【００９５】
図９に示すように、第１の撮像装置１０１および第２の撮像装置１０２は、全行一括で露光がされ、かつ、１フレーム内で繰り返し露光が行われる。また、第１の撮像装置１０１の露光期間９１００、９１１０と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間９２００、９２１０が重複している。
【００９６】
本実施形態では、全行一括で、露光期間の開始と終了が決定されているため、時間の同時性が確保された撮像が可能となり、高速に運動する物体を撮像する際に生じやすい像歪みを抑制した撮像が可能となる。
【００９７】
また、本実施形態では、１フレーム内において、第１の撮像装置１０１と第２の撮像装置１０２の露光期間が複数回繰り返されているため、フリッカ対策をすることができる。
【００９８】
さらに、本実施形態では、第１の撮像装置１０１の非露光期間でも第２の撮像装置１０１の露光期間が存在し、かつ、第２の撮像装置１０２の非露光期間でも第１の撮像装置１０１の露光期間が存在することになる。第２の撮像装置１０２の非露光期間においても、第１の撮像装置１０１の露光期間が存在することから、特許文献１に記載された技術よりも、情報の欠落を抑制することができるという効果がある。
【００９９】
なお、図９では、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間は重複されていない。しかし、図１０（Ａ）に示すように第１の撮像装置１０１の露光期間１０１０と第２の撮像装置１０２の露光期間１０２０の一部が重なり合っていてもよい。この場合であっても、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の非露光期間が重複しており、かつ、第１の撮像装置１０１の非露光期間と第２の撮像装置１０２の露光期間が重複しているという関係を満たしている。
【０１００】
また、図１０（Ｂ）に示すように、第１の撮像装置１０１の非露光期間の全てと第２の撮像装置１０２の露光期間１０２０が重複し、第２の撮像装置１０２の非露光期間の全てと第１の撮像装置１０１の露光期間１０１０が重複するようにすることも可能である。この構成によれば、システム全体として、非露光期間がなくなるため、より情報の欠落を抑制することができるという効果がある。
【０１０１】
なお、本実施形態では、第１の撮像装置１０１と第２の撮像装置１０２は、両方ともグローバル電子シャッタの駆動で動作していたが、一方をグローバル電子シャッタの駆動で動作させ、他方をローリングシャッタの駆動を動作させてもよい。
【０１０２】
（第４の実施形態）
本実施形態は、グローバル電子シャッタ方式を採用した撮像システムである。第３の実施形態と異なるのは、１つの画素に対して、電荷蓄積部を２つ有する点である。図２に示した撮像装置、図６に示した撮像システムは、本実施形態にも適用される。
【０１０３】
（画素部の等価回路図）
図１１は撮像装置１０１または１０２での画素１１の等価回路の構成を示したものである。
【０１０４】
画素１１は図７で説明した構成に加えて、第２の電荷保持部３１３、第３の転送スイッチ３１４、第４の転送スイッチ３１５を含む。第３の転送スイッチ３１４および第４の転送スイッチ３１５を各々一斉に動作・停止制御する制御線ｐＴＸ３、ｐＴＸ４が同じ行に配された複数の画素と接続される。
【０１０５】
光電変換部３０１で生成された電荷は、第３の転送スイッチ３１４の動作によって光電変換部３０１から第２の電荷保持部３１３に転送され、第２の電荷保持部３１３は転送された電荷を保持する。
【０１０６】
第３の転送スイッチ３１４は、制御線ｐＴＸ３を通じて供給される信号によって電荷の転送と停止を制御される。具体的には、制御線ｐＴＸ３がＬレベルからＨレベルになると、第３の転送スイッチ３１４は電荷を転送し、制御線ｐＴＸ３がＨレベルからＬレベルになると第３の転送スイッチ３１４は電荷転送を停止する。
【０１０７】
第４の転送スイッチ３１５は、第２の電荷保持部３１３で生成された電荷を電荷保持部３１０に転送する。第４の転送スイッチ３１５は制御線ｐＴＸ４を通じて供給される信号によって電荷の転送と停止を制御される。具体的には、制御線ｐＴＸ４がＬレベルからＨレベルになると、第３の転送スイッチ３１５は電荷を転送し、制御線ｐＴＸ４がＨレベルからＬレベルになると第４の転送スイッチ３１５は電荷転送を停止する。
【０１０８】
（タイミングチャート）
図１２は、本実施形態の撮像システムの動作を説明するタイミング図である。矩形の符号１２１０および１２２０は、撮像システム６００において第１および第２の撮像装置の露光期間を示す。すなわち、矩形部分は露光期間、矩形がない部分は非露光期間を表す。
【０１０９】
信号波形１２１１および１２２１は、第１の転送スイッチ３０４の制御線ｐＴＸ１での入力信号の波形を表す。信号波形１２１２および１２２２は、第２の転送スイッチ３１１の制御線ｐＴＸ２での入力信号の波形を表す。信号波形１２１３および１２２３は、第３の転送スイッチ３１４の制御線ｐＴＸ３での入力信号の波形を表す。信号波形１２１４および１２２４は、第４の転送スイッチ３１５の制御線ｐＴＸ４での入力信号の波形を表す。信号波形１２１５および１２２５はオーバーフロードレイントランジスタ３１２の制御線ｐＯＦＤでの入力信号の波形を表す。信号波形１２１６および１２２６は選択トランジスタ３０７の制御線ｐＳＥＬでの入力信号の波形を表す。信号波形１２１７および１２２７はリセットトランジスタ３０５の制御線ｐＲＥＳでの入力信号の波形を表す。
【０１１０】
本実施形態で、撮像装置１０１または１０２の画素１１は、光電変換部３０１に対して並列に接続する第１の電荷保持部３１０と第２の電荷保持部３１３を有する。第１の電荷保持部３１０と第２の電荷保持部３１３は、例えばフレームごとに機能が分けられる。例えば、図１２のｎフレームでは、光電変換部３０１から第１の電荷保持部３１０に複数回電荷が転送されるが、第２の電荷保持部は保持している電荷を行順次でＦＤ３０２で転送している。他方、図１２のｎ＋１フレームでは逆に、光電変換部３０１から第２の電荷保持部３１３に複数回電荷が転送されており、この間、第１の電荷保持部３１０は保持している電荷を行順次でＦＤ３０２に転送している。このように、フレーム毎に第１の電荷保持部３１０と第２の電荷保持部３１３は機能が交互に入れ替わっている。
【０１１１】
ｎフレームでの初回の全行一括の露光１２１０および１２２０に先立って、制御線ｐＯＦＤの１２１５、１２２５に制御信号を全行一斉にＬレベルからＨレベルへ入力する。これにより、全画素の光電変換部３０１に残留する電荷は電源３０９に排出される。
【０１１２】
制御線ｐＯＦＤの１２１５、１２２５について、制御信号がＨレベルからＬレベルへ全画素一斉に戻ると、第１および第２の撮像装置は露光１２１０および１２２０を全画素一斉に開始する。
【０１１３】
次に、制御線ｐＴＸ１の１２１１、１２２１に制御信号を全行一斉にＬレベルからＨレベルに入力すると、全画素一斉に露光１２１０および１２２０を終了して、全画素一斉に光電変換部３０１から第１のＦＤ３０２へ電荷を転送する。
【０１１４】
次に、全画素一斉に光電変換部３０１から第１の電荷保持部３１０への電荷転送を終えた後に、全行の制御線ｐＴＸ１の１０１１、１０２１は制御信号をＨレベルからＬレベルへ一斉に戻す。光電変換部３０１での露光期間は全画素に渡って同一期間となり、その期間に生じた電荷は第１の電荷保持部３１０へ転送される。
【０１１５】
次に、ｎフレームの２回目以降の露光を行う際、露光開始直前に制御線ｐＯＦＤの１０１５、１０２５に制御信号を全行一斉にＬレベルからＨレベルへ入力して、非露光期間で光電変換部３０１に蓄積した電荷を電源３０９に排出する。
【０１１６】
次に、制御線ｐＯＦＤの１０１５、１０２５での制御信号がＨレベルからＬレベルへ全行一斉に戻ると、第１、第２の撮像装置は露光を全画素一斉に開始する。
【０１１７】
以降の光電変換部３０１の露光終了、光電変換部３０１から第１の電荷保持部３１０への電荷転送までの手順は、ｎフレームの初回の露光と同一駆動である。
【０１１８】
ｎフレーム内で繰り返される光電変換部３０１での露光期間に生じた電荷は、第１の電荷保持部３１０で加算される。ｎフレームにおいて、第１、第２の撮像装置での全画素一斉の最終露光は、例えば第１の撮像装置であれば図１２中のＴ１２０、第２の撮像装置であれば図１２中のＴ１２５に当たる。
【０１１９】
全画素一斉の最終露光後に、制御線ｐＳＥＬ１２１６、１２２６に制御信号を行順次でＬレベルからＨレベルへ入力する。次に、制御線ｐＳＥＬ１２１６、１２２６の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ１２１５、１２２５に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、入力ノード３０３に残留する電荷を電源３０９に排出する。次に、制御線ｐＳＥＬ１２１６、１２２６の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ１２１５、１２２５の制御信号は行順次でＨレベルからＬレベルへ戻す。
【０１２０】
続いて、制御線ｐＳＥＬ１２１６、１２２６の制御信号をＨレベルに保ちつつ、制御線ｐＴＸ２の１２１２、１２２２に制御信号を行順次にＬレベルからＨレベルに入力する。その結果、任意のフレーム内で繰り返された光電変換部３０１への露光で生じた電荷は行順次に第１の電荷保持部３１０からＦＤ３０２へ転送される。電荷保持部３１０に転送された電荷は入力ノード３０３を通じて増幅部３０６を動作して増幅された画素信号となる。
【０１２１】
増幅された画素信号は、ｎフレームの露光であればＴ１２０１およびＴ１２０５の期間に、選択トランジスタ３０７から垂直出力線３０８に画素信号を出力する。行順次に第１のＦＤ３０２から電荷保持部３１０へ電荷転送を終えた後に、全行の制御線ｐＴＸ２の１２１２、１２２２は制御信号をＨレベルからＬレベルへ行順次に戻す。
【０１２２】
最後に、制御線ｐＳＥＬ１２１４、１２２４の制御信号を行順次でＨレベルからＬレベルへ戻す。
【０１２３】
一方、光電変換部３０１から第２の電荷保持部３１３へ電荷を転送する経路の駆動手順は以下の通りである。
【０１２４】
ｎフレーム開始時に、全画素の第２の電荷保持部３１３は既にｎ−１フレームでの光電変換部３０１への露光で生じた電荷を加算・蓄積している。例えばｎ−１フレームにおいて、第２の撮像装置での全画素一斉の最終露光は、第２の撮像装置であれば図１２中のＴ１２４の時期に当たる。この全画素一斉の最終露光後に、制御線ｐＳＥＬ１２１４、１２２４に制御信号を行順次でＬレベルからＨレベルへ入力する。
【０１２５】
初めに、制御線ｐＳＥＬ１２１４、１２２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ１２１５、１２２５に制御信号を行順次でＬレベルからＨレベルへ入力する。この操作により、入力ノード３０３に残留する電荷を電源３０９に排出する。入力ノード３０３に残留する電荷を排出後に、制御線ｐＳＥＬ１２１４、１２２４の制御信号をＨレベルに保ちつつ、制御線ｐＲＥＳ１２１５、１２２５の制御信号は行順次でＬレベルからＨレベルへ戻す。
【０１２６】
続いて、制御線ｐＳＥＬ１２１６、１２２６の制御信号をＨレベルに保ちつつ、制御線ｐＴＸ４の１２１４、１２２４に制御信号を行順次にＬレベルからＨレベルに入力する。その結果、任意のフレーム内で繰り返された光電変換部３０１への露光で生じた電荷は行順次に第２の電荷保持部３１３から電荷保持部３１０へ転送される。電荷保持部３１０に転送された電荷は入力ノード３０３を通じて増幅部３０６を動作して増幅された画素信号となる。
【０１２７】
増幅された画素信号は、ｎ−１フレームの露光であればＴ１２００およびＴ１２０４の期間に、選択トランジスタ３０７から垂直出力線３０８に画素信号を出力する。行順次に第２の電荷保持部３１３から電荷保持部３１０へ電荷転送を終えた後に、全行の制御線ｐＴＸ４の１２１４、１２２４は制御信号をＨレベルからＬレベルへ行順次に戻す。
【０１２８】
次に、制御線ｐＳＥＬ１２１６、１２２６の制御信号を行順次でＨレベルからＬレベルへ戻す。このようにｎフレームの期間において、ｎ−１フレームでの光電変換部３０１への露光で生じた第２の電荷保持部で蓄積されていた電荷は垂直出力線３０８に出力される。
【０１２９】
同様に、ｎ＋１フレームでは、全画素一括で制御線ｐＴＸ３をＬレベルからＨレベルにすることにより、複数回オン状態とし、光電変換部３０１から第２の電荷保持部３１３に複数回電荷を転送する。第２の電荷保持部３１３は、複数回転送された電荷を保持する。他方、第１の電荷保持部３１０は、行順次で制御線ｐＴＸ２をＬレベルからＨレベルにすることより、第１の電荷保持部３１０からＦＤ３０２へ電荷が転送される。また、上記の駆動と同様に、Ｔ１２０１およびＴ１２０５の期間に、垂直出力線３０８に画素信号が出力される。
【０１３０】
このように、本実施形態では、ｎフレーム（第１のフレーム）においては、第１の転送スイッチ３０４を複数回オンして、第１の電荷保持部３１０で電荷を蓄積している。また、ｎ＋１フレーム（第２のフレーム）においては、第３の転送スイッチ３１４を複数回オンして、第２の電荷保持部３１３で電荷を蓄積する。さらに、ｎフレームでは、第３の転送スイッチ３１４がオフに維持され、ｎ＋１フレームでは、第１の転送スイッチ３０４がオフに維持されている。
【０１３１】
本実施形態では、全行一括で、露光期間の開始と終了が決定されているため、時間の同時性が確保された撮像が可能となり、高速に運動する物体を撮像する際に生じやすい像歪みを抑制した撮像が可能となる。
【０１３２】
また、本実施形態では、１フレーム内において、第１の撮像装置１０１と第２の撮像装置１０２の露光期間が複数回繰り返されているため、フリッカ対策をすることができる。
【０１３３】
さらに、本実施形態では、第１の撮像装置１０１の非露光期間でも第２の撮像装置１０１の露光期間が存在し、かつ、第２の撮像装置１０２の非露光期間でも第１の撮像装置１０１の露光期間が存在することになる。第２の撮像装置１０２の非露光期間においても、第１の撮像装置１０１の露光期間が存在することから、特許文献１に記載された技術よりも、情報の欠落を抑制することができるという効果がある。
【０１３４】
加えて、本実施形態では、光電変換部３０１から繰り返し電荷を蓄積する電荷保持部を２つ備えている。このため、任意のフレームでは、一方の電荷保持部を光電変換部３０１から繰り返し電荷を蓄積する役割とし、他方の電荷保持部を後段に電荷を転送する役割とすることができる。また、フレームごとに、繰り返し電荷を蓄積する役割と、後段に電荷を転送する役割を交互に第１の電荷保持部と第２の電荷保持部に割り振ることができる。そのため、露光期間と電荷の転送期間の自由度を確保した駆動が可能となる。
【０１３５】
なお、図１２では、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間は重複されていない。しかし、第１の撮像装置１０１の露光期間と第２の撮像装置１０２の露光期間の一部が重なり合っていてもよい。
【０１３６】
また、図１２では、第１の撮像装置１０１の各露光期間の長さよりも、第２の撮像装置１０２の各露光期間の長さが短い。しかし、図１３に示すように、第１の撮像装置１０１の各露光期間の長さと、第２の撮像装置１０２の各露光期間の長さが等しくなるように構成することも可能である。
【０１３７】
さらに、本実施形態においても、第１の撮像装置１０１の非露光期間の全てと第２の撮像装置１０２の露光期間が重複し、第２の撮像装置１０２の非露光期間の全てと第１の撮像装置１０１の露光期間が重複するようにすることも可能である。この構成によれば、システム全体として、非露光期間がなくなるため、より情報の欠落を抑制することができるという効果がある。
【０１３８】
なお、本実施形態では、第１の撮像装置でのｎフレームの画素信号はｎフレームからｎ＋１フレームにかけて垂直出力線３０８に出力している（Ｔ１２０１の期間）。また、第２の撮像装置でのｎフレームの画素信号はｎ＋１フレームで垂直出力線３０８に出力している（Ｔ１２０５の期間）。しかし、第１の撮像装置について、Ｔ１２０１の開始期間を遅らせて、垂直出力線３０８への出力をｎ＋１フレームに収めることも可能であり、この場合、両撮像装置の画素信号送出期間をｎ＋１フレームだけに収めることができる。
【０１３９】
また、図１３に示した形態によれば、一方の撮像装置での任意のフレーム内での露光周期が、他方の撮像装置での任意のフレーム内で露光周期と等しく、露光周期の位相が逆位相の関係にある。このような構成は、シャッタ・撮像装置制御部１０５が、信号生成器および分周器より出力される信号を各々撮像装置のシャッタ制御信号として用いることで実現可能である。信号生成器は、露光開始と終了のタイミングを生成し、分周器はそのタイミングに対して逆位相の遅延信号を生じさせるものである。このため、簡便な回路構成でサンプリング頻度の高める効果を得られる。
【０１４０】
（第５の実施形態）
図１４は本発明の撮像システムを車両に搭載した例である。
【０１４１】
図１４（Ａ）に、車両システムおよび撮像システムの概略を示す。
【０１４２】
本実施形態において、撮像システム１４００は、本発明に係る測距画素および撮像画素を含む撮像システムである。撮像システム１４００は、撮像装置１４０４〜１４１７により取得された複数の画像データに対し、画像処理を行う画像処理部１０３００を有する。また、撮像システム１４００により取得された複数の画像データから視差（視差画像の位相差）の算出を行う視差算出部１０４００を有する。また、撮像システム１４００は、算出された視差に基づいて対象物までの距離を算出する距離計測部１０５００と、算出された距離に基づいて衝突可能性があるか否かを判定する衝突判定部１０６００と、を有する。ここで、視差算出部１０４００や距離計測部１０５００は、対象物までの距離情報を取得する距離情報取得手段の一例である。すなわち、距離情報とは、視差、デフォーカス量、対象物までの距離等に関する情報である。衝突判定部１０６００はこれらの距離情報のいずれかを用いて、衝突可能性を判定してもよい。距離情報取得手段は、専用に設計されたハードウェアによって実現されてもよいし、ソフトウェアモジュールによって実現されてもよいし、これらの組合せによって実現されてもよい。また、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）やＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）などによって実現されてもよい。
【０１４３】
撮像システム１４００は車両情報取得装置１３１００と接続されており、車速、ヨーレート、舵角などの車両情報を取得することができる。また、撮像システム１４００は、衝突判定部１０６００での判定結果に基づいて、車両に対して制動力を発生させる制御信号を出力する制御装置である制御ＥＣＵ１４１００と接続されている。また、撮像システム１４００は、衝突判定部１０６００での判定結果に基づいて、ドライバーへ警報を発する警報装置１４２００とも接続されている。例えば、衝突判定部１０６００の判定結果として衝突可能性が高い場合、制御ＥＣＵ１４１００はブレーキをかける、アクセルを戻す、エンジン出力を抑制するなどして衝突を回避、被害を軽減する車両制御を行う。警報装置１４２００は音等の警報を鳴らす、カーナビゲーションシステムなどの画面に警報情報を表示する、シートベルトやステアリングに振動を与えるなどしてユーザに警告を行う。
【０１４４】
本実施形態では車両の周囲、例えば前方または後方を撮像システム１４００で撮像する。図１４（Ｂ）に、車両前方および後方を撮像システムの配置例を示す。
【０１４５】
第１および第２の撮像装置１４０４〜１４１７は車両１４０２の周囲に配置される。車両１４０２の進退方位または外形（例えば車幅）に対する中心線１４０３を対称軸に見立て、その対称軸に対して第１および第２の撮像装置の対が線対称に配置することができる。このような配置は、車両１４０２と被写対象物との距離計測や衝突可能性の判定を行う上で好ましい。
【０１４６】
また第１および第２の撮像装置は、運転者が運転席から車両１４０１の外の状況を視認する際に運転者の視野を妨げない配置が好ましい。
【０１４７】
第１および第２の撮像装置の配置は、車両前方であれば例えば１４０４と１４０５、１４０６と１４０７、１４０８と１４０９、１４１０と１４１１の各対が挙げられる。また車両後方であれば、例えば１４１２と１４１３、１４１４と１４１５、１４１６と１４１７の各対が挙げられる。
【０１４８】
また、上記では、他の車両と衝突しない制御を説明したが、他の車両に追従して自動運転する制御や、車線からはみ出さないように自動運転する制御などにも適用可能である。さらに、撮像システムは、自動車・鉄道等の車両に限らず、例えば、船舶、航空機あるいは産業用ロボットなどの移動体（移動装置）に適用することができる。加えて、移動体に限らず、高度道路交通システム（ＩＴＳ）等、広く物体認識を利用する機器に適用することができる。
【０１４９】
（その他の実施形態）
上記の各実施形態で記載した事項は、各実施形態間で相互に置換することが可能である。
【符号の説明】
【０１５０】
１０  撮像領域
１１  画素
１００、６００  撮像システム
１０１  第１の撮像装置
１０２  第２の撮像装置
３０１  光電変換部
４１０、８１０、９１０、１０１０、１２１０  第１の撮像装置の露光期間
４２０、８２０、９２０、１０２０、１２２０  第２の撮像装置の露光期間
【図１】
2018064257.tif 000003
【図２】
2018064257.tif 000004
【図３】
2018064257.tif 000005
【図４】
2018064257.tif 000006
【図５】
2018064257.tif 000007
【図６】
2018064257.tif 000008
【図７】
2018064257.tif 000009
【図８】
2018064257.tif 000010
【図９】
2018064257.tif 000011
【図１０】
2018064257.tif 000012
【図１１】
2018064257.tif 000013
【図１２】
2018064257.tif 000014
【図１３】
2018064257.tif 000015
【図１４】
2018064257.tif 000016