(57)【要約】【課題】露光時間を細かく制御することができるようにする。【解決手段】複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第１のアドレス記憶部と、第１のアドレス記憶部から転送されたアドレスを記憶する第２のアドレス記憶部とを備え、第２のアドレス記憶部に記憶されたアドレスに基づき、露光の開始を制御する。第１のアドレス記憶部から第２のアドレス記憶部へのアドレスの転送を制御する転送制御部をさらに備える。本技術は、例えば、異なる露光時間で撮像された画像を合成して１枚の画像を生成する撮像装置に適用できる。【選択図】図１１
2019004382.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第１のアドレス記憶部と、
前記第１のアドレス記憶部から転送された前記アドレスを記憶する第２のアドレス記憶部と
を備え、
前記第２のアドレス記憶部に記憶された前記アドレスに基づき、前記露光の開始を制御する
撮像装置。
【請求項２】
前記第１のアドレス記憶部から前記第２のアドレス記憶部への前記アドレスの転送を制御する転送制御部をさらに備える
請求項１に記載の撮像装置。
【請求項３】
前記第１のアドレス記憶部は、デコードされた前記アドレスを記憶し、
前記第２のアドレス記憶部は、前記露光が開始されるより前の時点に、前記第１のアドレス記憶部から転送されてきた前記アドレスを記憶する
請求項１に記載の撮像装置。
【請求項４】
前記第１のアドレス記憶部への前記アドレスの記憶と、前記第１のアドレス記憶部から前記第２のアドレス記憶部への前記アドレスの転送は、１水平同期期間内に行われる
請求項１に記載の撮像装置。
【請求項５】
前記露光は、１水平同期期間内の所定のタイミングで開始され、前記所定のタイミングは可変とされている
請求項１に記載の撮像装置。
【請求項６】
前記転送制御部は、前記第１のアドレス記憶部が、前記アドレスを記憶している状態であるか否かを監視し、前記アドレスを記憶している状態であるとき、前記第２のアドレス記憶部に前記アドレスを転送させる
請求項２に記載の撮像装置。
【請求項７】
前記転送制御部は、前記第１のアドレス記憶部が記憶している前記アドレスを記憶し、
前記第１のアドレス記憶部が、前記アドレスを記憶していない状態であり、前記転送制御部が、前記アドレスを記憶している状態のとき、前記第２のアドレス記憶部をリセットする
請求項２に記載の撮像装置。
【請求項８】
前記転送制御部は、前記第１のアドレス記憶部が、前記アドレスを記憶している状態のときに、リセットを指示する信号を受信した場合、記憶しているアドレスをリセットする
請求項２に記載の撮像装置。
【請求項９】
異なる露光時間で撮像された画像を合成した画像を生成する撮像装置であり、
前記異なる露光時間毎に、前記露光の開始を調整する
請求項１に記載の撮像装置。
【請求項１０】
前記露光時間と、前記画素からの信号の読み出しの周期が重なった場合、前記読み出しのタイミングをずらして読み出しを行う
請求項９に記載の撮像装置。
【請求項１１】
複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第１の露光用アドレス記憶部と第２の露光用アドレス記憶部と、
読み出しを行う画素のアドレスを記憶する読み出し用アドレス記憶部と
を備える撮像装置。
【請求項１２】
前記第１の露光用アドレス記憶部と、前記第２の露光用アドレス記憶部は、それぞれラッチで構成されている
請求項１１に記載の撮像装置。
【請求項１３】
異なる露光時間で画像を撮像し、
前記ラッチは、前記異なる露光時間の数に応じたビット数で構成される
請求項１１に記載の撮像装置。
【請求項１４】
前記第１の露光用アドレス記憶部と同様の構成を含み、前記第１の露光用アドレス記憶部に記憶されている前記アドレスを記憶する第３の露光用アドレス記憶部をさらに備える
請求項１１に記載の撮像装置。
【請求項１５】
前記第１の露光用アドレス記憶部に記憶されている前記アドレスは、所定のタイミングで、前記第２の露光用アドレス記憶部と前記３の露光用アドレス記憶部に転送される
請求項１４に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は撮像装置に関し、例えば、露光時間を細かく設定できるようにした撮像装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラやデジタルスチルカメラなどの応用に適した固体撮像装置として知られるＣＣＤ(Charge Coupled Device)イメージセンサや増幅型のイメージセンサは、高感度での画素数の増加やイメージサイズの縮小による画素サイズの微細化が進んでいる。一方で、一般にＣＣＤイメージセンサやCMOS(Complementary Metal Oxide Semiconductor)イメージセンサのような固体撮像装置は、屋内や野外、昼間や夜間といった多様な環境下で使用される傾向があり、外光の変化等に応じて、光電変換素子における電荷蓄積期間を制御することによって露光時間を調整し、感度を最適値にする電子シャッタ動作などが必要となることが多い。
【０００３】
ところで、CMOSイメージセンサにおいて、そのダイナミックレンジを拡大する方法として、露光時間の異なる複数の画像を連続的に撮影して合成する手法が知られている。すなわち、長時間露光画像と短時間露光画像を連続的に個別に撮影し、暗い画像領域については長時間露光画像を利用し、長時間露光画像では白とびとなってしまうような明るい画像領域では短時間露光画像を利用する合成処理によって、１つの画像を生成する手法である。このように、複数の異なる露光画像を合成することで、白とびのないダイナミックレンジの広い画像、すなわち広ダイナミックレンジ画像（ＨＤＲ画像）を得ることができる。
【０００４】
例えば特許文献１は、複数の異なる露光時間を設定した２枚の画像を撮影し、これらの画像を合成して広いダイナミックレンジの画像を得る構成を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０００−５０１５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載された構成は、長時間露光画像と短時間露光画像を個別に撮影して合成するという処理を行うことが必要となる。この場合、長時間露光画像と短時間露光画像の撮像時の露光時間を、それぞれ適切に調整する必要がある。
【０００７】
本技術は、このような状況に鑑みてなされたものであり、露光時間を細かく調整することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の第１の撮像装置は、複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する 画素のアドレスを記憶する第１のアドレス記憶部と、前記第１のアドレス記憶部から転送された前記アドレスを記憶する第２のアドレス記憶部とを備え、前記第２のアドレス記憶部に記憶された前記アドレスに基づき、前記露光の開始を制御するする。
【０００９】
本技術の一側面の第２の撮像装置は、複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第１の露光用アドレス記憶部と第２の露光用アドレス記憶部と、読み出しを行う画素のアドレスを記憶する読み出し用アドレス記憶部とを備える。
【００１０】
本技術の一側面の第１の撮像装置においては、複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第１のアドレス記憶部と、第１のアドレス記憶部から転送されたアドレスを記憶する第２のアドレス記憶部とが備えられる。露光は、第２のアドレス記憶部に記憶されたアドレスに基づき制御される。
【００１１】
本技術の一側面の第２の撮像装置においては、複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第１の露光用アドレス記憶部と第２の露光用アドレス記憶部と、読み出しを行う画素のアドレスを記憶する読み出し用アドレス記憶部とが備えられる。
【００１２】
なお、撮像装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。
【発明の効果】
【００１３】
本技術の一側面によれば、露光時間を細かく調整することができる。
【００１４】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１５】
【図１】本技術を適用した撮像装置の一実施の形態の構成を示す図である。
【図２】画素の構成について説明するための図である。
【図３】画素を駆動する駆動パルスを示す図である。
【図４】ＡＤ変換部の駆動を説明する図である。
【図５】画素配置について説明するための図である。
【図６】シャッタと読み出しのタイミングについて説明するための図である。
【図７】画素を駆動する駆動パルスを示す図である。
【図８】シャッタと読み出しのタイミングが重なる場合について説明するための図である。
【図９】シャッタと読み出しのタイミングが重なったときの電荷の流れについて説明するための図である。
【図１０】シャッタと読み出しのタイミングについて説明するための図である。
【図１１】アドレスレコーダの構成について説明するための図である。
【図１２】シャッタのタイミングについて説明するための図である。
【図１３】シャッタのタイミングについて説明するための図である。
【図１４】アドレス記憶部の状態遷移について説明するための図である。
【図１５】アドレス記憶部の内部構成例について説明するための図である。
【図１６】シャッタアドレスの転送タイミングについて説明するための図である。
【図１７】アドレス記憶部の他の内部構成例について説明するための図である。
【図１８】シャッタアドレスの転送タイミングについて説明するための図である。
【図１９】シャッタアドレスの転送タイミングについて説明するための図である。
【図２０】電子機器に搭載される撮像装置の構成例を示すブロック図である。
【図２１】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２２】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【発明を実施するための形態】
【００１６】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００１７】
＜撮像装置の構成＞
図１は、本技術を適用した撮像装置の実施の形態の構成例を示すブロック図である。
【００１８】
図１において、撮像装置１１は、画素アレイ部１２、アドレスレコーダ１３、画素タイミング駆動部１４、カラム信号処理部１５、およびセンサコントローラ１６を備えて構成される。
【００１９】
画素アレイ部１２には、複数の画素２１がアレイ状に配置されており、それぞれの画素２１は、水平信号線を介して画素タイミング駆動部１４に接続されるとともに、垂直信号線VSLを介してカラム信号処理部１５に接続される。複数の画素２１は、図示しない光学系を介して照射される光の光量に応じた画素信号をそれぞれ出力し、それらの画素信号から、画素アレイ部１２に結像する被写体の画像が構築される。
【００２０】
画素２１は、光電変換を行うフォトダイオード２２、フォトダイオード２２の電荷をフローティングディフュージョン（ＦＤ：Floating Diffusion）２４に転送する転送トランジスタ２３、浮遊拡散領域であるフローティングディフュージョン２４、ソースフォロワ部を介して信号を伝搬する増幅トランジスタ２５、電子シャッタ行および読み出し行を選択する選択トランジスタ２６、および、フローティングディフュージョン２４をリセットするリセットトランジスタ２７を備えて構成される。
【００２１】
画素アレイ部１２は、画素２１が平面状または曲面状に配置されている画素領域である。画素アレイは、各単位画素を互いに異なる２方向に分類（グループ化）することができる構成であればどのようなものであってもよく、互いに直交する２直線方向に並べられるNxMの典型的な行列構成でなくてもよい。すなわち、例えばハニカム構造のように、単位画素のライン（行）やカラム（列）が直線でなくてもよい。すなわち、各ラインや各カラムの単位画素が直線状に並べられていなくてもよいし、単位画素のラインとカラムが直交していなくてもよい。
【００２２】
アドレスデコーダ１３と画素タイミング駆動部１４は、垂直走査部を構成し、センサコントローラ１６に制御されて、画素アレイ部１２の各画素をライン毎に駆動させ、画素信号を読み出させる。
【００２３】
アドレスレコーダ１３は、センサコントローラ１６から供給されるアドレス指定情報をデコードし、画素タイミング駆動部１４の指定されたアドレスに対応する構成に制御信号を供給する。画素タイミング駆動部１４は、アドレスレコーダ１３からの制御信号とセンサコントローラ１６からの画素駆動パルスとの論理和に従って、画素アレイ部１２の各画素に対して駆動させる制御信号を供給する。
【００２４】
カラム信号処理部１５は、複数の画素２１から垂直信号線VSLを介して出力される画素信号に対してCDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことで、画素信号のＡＤ変換を行うとともにリセットノイズを除去する。例えば、カラム信号処理部１５は、画素２１の列数に応じた複数のＡＤ変換器３３を有して構成され、画素２１の列ごとに並列的にCDS処理を行うことができる。また、カラム信号処理部１５は、ソースフォロワ部の負荷MOS部を形成する定電流部３１、垂直信号線VSLの電位をアナログデジタル変換するためのシングルスロープ型のＤＡコンバータ３２を備える。
【００２５】
また、ＡＤ変換器３３は、キャパシタ３４および３５、コンパレータ３６、カウンタ３７を備えて構成される。キャパシタ３４には、垂直信号線VSLを介して画素信号の電位が印加され、キャパシタ３５には、ＤＡコンバータ３２から出力されるランプ波の電位が印加される。そして、コンパレータ３６は、垂直信号線VSLを介して供給される画素信号の電位と、ＤＡコンバータ３２から供給されるランプ波の電位とを比較して、それらの電位が交差するタイミングにおいて反転する反転パルスを出力する。カウンタ３７は、アナログ値をデジタル値に変換するために、画素信号の電位とランプ波の電位とが交差するタイミングに応じたＡＤ期間をカウントする。
【００２６】
センサコントローラ１６は、撮像装置１１の全体の駆動を制御する。例えば、センサコントローラ１６は、撮像装置１１を構成する各ブロックの駆動周期に従ったクロック信号を生成して、それぞれのブロックに供給する。
【００２７】
＜画素の構成＞
ここで、図１を参照し、画素２１の構成について説明を加える。以下、画素２１を単位画素２１と記述する。画素アレイ部１２において、単位画素２１は、例えばアレイ状に配置されている。各単位画素２１には、画素信号を転送する垂直信号線VSLが単位画素２１のカラム毎に割り当てられる。また、画素信号の読み出しに関する動作は、単位画素のライン毎に制御される。
【００２８】
図１を参照するに、単位画素２１のフォトダイオード２２は、受光した光を、その光量に応じた電荷量の光電荷（ここでは、光電子）に光電変換してその光電荷を蓄積する。フォトダイオード２２のアノード電極は、画素領域のグランド（画素グランド）に接続され、カソード電極は、転送トランジスタ２３を介してフローティングディフュージョン２４に接続される。
【００２９】
転送トランジスタ２３は、フォトダイオード２２からの光電荷の読み出しを制御する。転送トランジスタ２３は、ドレイン電極が、フローティングディフュージョン２４に接続され、ソース電極が、フォトダイオード２２のカソード電極に接続される。また、転送トランジスタ２３のゲート電極には、画素タイミング駆動部１４から制御信号TRGが供給される。制御信号TRG（すなわち、転送トランジスタ２３のゲート電位）がオフ状態のとき、フォトダイオード２２からの光電荷の読み出しが行われない（フォトダイオード２２において光電荷が蓄積される）。制御信号TRG（すなわち、転送トランジスタ２３のゲート電位）がオン状態のとき、フォトダイオード２２に蓄積された光電荷が読み出され、フローティングディフュージョン２４に供給される。
【００３０】
リセットトランジスタ２７は、フローティングディフュージョン２４の電位をリセットする。リセットトランジスタ２７は、ドレイン電極が電源電位に接続され、ソース電極がフローティングディフュージョン２４に接続される。また、リセットトランジスタ２７のゲート電極には、画素タイミング駆動部１４から制御信号RSTが供給される。制御信号RST（すなわち、リセットトランジスタ２７のゲート電位）がオフ状態のとき、フローティングディフュージョン２４は電源電位と切り離されている。制御信号RST（すなわち、リセットトランジスタ２７のゲート電位）がオン状態のとき、フローティングディフュージョン２４の電荷が電源電位に捨てられ、フローティングディフュージョン２４がリセットされる。
【００３１】
増幅トランジスタ２５は、フローティングディフュージョン２４の電位変化を増幅し、電気信号（アナログ信号）として出力する。増幅トランジスタ２５は、ゲート電極がフローティングディフュージョン２４に接続され、ドレイン電極が電源電位に接続され、ソース電極が選択トランジスタ２６のドレイン電極に接続されている。例えば、増幅トランジスタ２５は、リセットトランジスタ２７によってリセットされたフローティングディフュージョン２４の電位をリセット信号（リセットレベル）として選択トランジスタ２６に出力する。また、増幅トランジスタ２５は、転送トランジスタ２３によって光電荷が転送されたフローティングディフュージョン２４の電位を光蓄積信号（信号レベル）として選択トランジスタ２６に出力する。
【００３２】
選択トランジスタ２６は、増幅トランジスタ２５から供給される電気信号の垂直信号線VSLへの出力を制御する。選択トランジスタ２６は、ドレイン電極が増幅トランジスタ２５のソース電極に接続され、ソース電極が垂直信号線VSLに接続されている。また、選択トランジスタ２６のゲート電極には、画素タイミング駆動部１４から制御信号SELが供給される。
【００３３】
制御信号SEL（すなわち、選択トランジスタ２６のゲート電位）がオフ状態のとき、増幅トランジスタ２５と垂直信号線VSLは電気的に切り離されている。したがって、この状態のとき、当該単位画素から画素信号が出力されない。制御信号SEL（すなわち、選択トランジスタ２６のゲート電位）がオン状態のとき、当該単位画素が選択状態となる。すなわち、増幅トランジスタ２５と垂直信号線VSLが電気的に接続され、増幅トランジスタ２５から出力される信号が、当該単位画素の画素信号として、垂直信号線VSLに供給される。すなわち、当該単位画素から画素信号が読み出される。
【００３４】
＜単位画素の他の例＞
単位画素２１の構成は任意であり、図１の例に限定されない。例えば、転送トランジスタ２３が省略されていてもよい。また、１単位画素当たりの画素数は任意であり、図１の例のように１画素であってもよいし、複数画素であってもよい。
【００３５】
複数画素を有する場合の単位画素の構成例を図２に示す。図２の例の場合、単位画素２１は、フォトダイオード２２を２つ有する（フォトダイオード２２−１とフォトダイオード２２−２）。すなわち、この場合、単位画素２１は、２画素により構成される。また、図２の例の場合、単位画素２１は、転送トランジスタ２３を２つ有する（転送トランジスタ２３−１と転送トランジスタ２３−２）。転送トランジスタ２３−１は、画素タイミング駆動部１４から供給される制御信号TRGに基づいて、フォトダイオード２２−１からの光電荷の読み出しを制御する。転送トランジスタ２３−２は、画素タイミング駆動部１４から供給される制御信号TRGに基づいて、フォトダイオード２２−２からの光電荷の読み出しを制御する。
【００３６】
図２の例の場合、フローティングディフュージョン２４、増幅トランジスタ２５、選択トランジスタ２６、リセットトランジスタ２７等の構成は、単位画素内で共有される。そして、各画素（フォトダイオード２２−１とフォトダイオード２２−２）の画素信号は、互いに同一垂直信号線VSLを介して伝送される。
【００３７】
次に、図３に示す信号を参照して、図１または図２に示すように構成される画素２１の駆動について説明する。
【００３８】
図３には、１水平同期期間を示す水平同期信号、転送トランジスタ２３を駆動するTRG駆動パルス（読み出し時転送パルスおよび電子シャッタ時転送パルス）、リセットトランジスタ２７を駆動するRST駆動パルス（電子シャッタ時リセットパルスおよび読み出し時リセットパルス）、および、選択トランジスタ２６を駆動するSEL駆動パルス（読み出し時選択パルス）が示されている。
【００３９】
電子シャッタ時には、電子シャッタ時転送パルスおよび電子シャッタ時リセットパルスをオンすることでフォトダイオード２２の電位をリセット状態にする。その後、蓄積時間中にフォトダイオード２２に電荷を蓄積し、センサコントローラ１６から読み出しパルスが発行される。
【００４０】
読み出し時には、読み出し時リセットパルスをオンすることでフローティングディフュージョン２４の電位をリセットさせた後、プリデータ相（Ｐ相）の電位をＡＤ変換する。その後、読み出し時転送パルスにてフォトダイオード２２の電荷をフローティングディフュージョン２４へ転送させデータ相（Ｄ相）をＡＤ変換する。なお、読み出し時には読み出し時選択パルスはオン状態になっている。
【００４１】
次に、図４に示す信号を参照して、図１に示すように構成されるＡＤ変換器３３の駆動について説明する。
【００４２】
図４には、１水平同期期間を示す水平同期信号、ＤＡコンバータ３２から出力されるランプ信号の電位（実線）、垂直信号線VSLから出力される画素信号の電位（破線）、コンパレータ３６から出力される反転パルス、およびカウンタ３７の動作イメージが示されている。
【００４３】
ＤＡコンバータ３２は、画素信号のリセットレベルを読み出すためのＰ相において一定の勾配で電位が順次降下する第１の傾斜を有し、画素信号のデータレベルを読み出すためのＤ相において一定の勾配で電位が順次降下する第２の傾斜を有するランプ波を生成する。また、コンパレータ３６は、画素信号の電位とランプ波の電位とを比較して、画素信号の電位とランプ波の電位とが交差するタイミングにおいて反転する反転パルスを出力する。
【００４４】
そして、カウンタ３７は、Ｐ相においてランプ波が降下し始めたタイミングから、ランプ波の電位が画素信号の電位以下になったタイミングまでをカウント（Ｐ相カウント値）した後、Ｄ相においてランプ波が降下し始めたタイミングから、ランプ波の電位が画素信号の電位以下になったタイミングまでをカウント（Ｄ相カウント値）する。これにより、Ｐ相カウント値とＤ相カウント値との差分が、リセットノイズが除去された画素信号として取得される。
【００４５】
このように、図４に示すようなランプ波を利用して画素信号のＡＤ変換が行われる。
【００４６】
＜撮像装置の画素配置＞
画素アレイ部１２の画素配置について、図５を参照して説明する。図５Ａは、２×２の４画素を１単位とし、その単位内の、左上の画素２１−１が主に赤（R）の帯域を光電変換するＲ画素とされ、左下の画素２１−２が主に緑（G）の帯域を光電変換するＧ画素とされ、右上の画素２１−３が主に緑（G）の帯域を光電変換するＧ画素とされ、右下の画素２１−４が主に青（B）の帯域を光電変換するＢ画素とされている。このようにすることにより、画素２１がベイヤ配列の１単位を構成するようにすることができる。
【００４７】
Ｒ画素、Ｇ画素、Ｂ画素は、それぞれの色に特性のある分光感度の画素として機能する。
【００４８】
図５Ｂに、他の画素配置を示す。図５Ｂは、２×２の４画素を１単位とし、その単位内の、左上の画素２１−１がＲ画素とされ、左下の画素２１−２、右上の画素２１−３、および右下の画素２１−４が全整色性の分光感度のあるＣ画素とされている。Ｃ画素は、上記したＲ画素、Ｇ画素、Ｂ画素よりも高感度の画素であり、Ｃ画素を設けることで、例えば、暗い場所においても明るい画像が得られやすくなる。このように、全整色性である分光感度を有するＣ画素を含む構成とすることもできる。
【００４９】
図５に示した画素配置は、一例であり、本技術は、図５に示した画素配置に適用範囲が限定されるわけではない。例えば、図５Ａに示した画素配置において、２つあるＧ画素の一方にＣ画素を配置した構成としても良い。
【００５０】
＜撮像装置の撮影動作について＞
撮像装置１１は、３枚の画像を撮像し、その３枚の画像の合成処理に基づく広ダイナミックレンジ（HDR:High Dynamic Range）画像の生成処理を行う。ここで３枚の画像は、露光時間が異なる画像である。長い露光時間を長時間露光と記述し、長時間露光で撮像された画像を長時間露光画像と記述する。短い露光時間を短時間露光と記述し、短時間露光で撮像された画像を短時間露光画像と記述する。長時間露光よりも短いが、短時間露光よりも長い露光時間を中時間露光と記述し、中時間露光で撮像された画像を中時間露光画像と記述する。
【００５１】
なお、ここでは、長時間露光、中時間露光、および短時間露光で、それぞれ撮像された長時間露光画像、中時間露光画像、および短時間露光画像を合成処理することで、広ダイナミックレンジの画像を生成されるとして説明を続けるが、３つの露光時間ではなく、例えば２つの露光時間（長時間露光と短時間露光）で撮像された２つの画像を合成処理することで、広ダイナミックレンジの画像を生成される場合などにも、本技術を適用することはできる。
【００５２】
長時間露光画像、中時間露光画像、および短時間露光画像は、時間をずらすことで撮像が行われる。例えば、長時間露光画像が撮像された後、中時間露光画像が撮像され、中時間露光画像が撮像された後、短時間露光画像が撮像される。ここでは、長時間露光画像、中時間露光画像、短時間露光画像の順で撮像される場合を例に挙げて説明を続けるが、短時間露光画像、中時間露光画像、長時間露光画像の順で撮像が行われても良い。
【００５３】
この撮像について、図６を参照して説明する。ここでは、図２に示したように、１単位画素に２個のフォトダイオード２２を含む構成、換言すれば２画素共有の場合を例に挙げて説明する。また、ここでは、図５Ｂに示した画素配置、すなわちＲ画素とＣ画素が配置されている場合を例に挙げて説明を続け、縦方向に配置されているＲ画素とＣ画素が１単位画素に含まれ、共有されているとして説明を続ける。
【００５４】
図６の左側に、画素アレイ部１２（図１）に配置されている画素群の一部を示す。Ｒ画素２１−１、Ｃ画素２１−２、Ｒ画素２１−３、Ｃ画素２１−４、Ｒ画素２１−５、およびＣ画素２１−６は、縦方向に配置されている画素である。また、Ｃ画素２１−２とＲ画素２１−３は、共有画素とされ、Ｃ画素２１−４とＲ画素２１−５は、共有画素とされている。
【００５５】
図６中、四角形内に示した“Ｓ”は、シャッタが切られるタイミングを示し、“Ｒ”は、読み出しのタイミングを示す。時刻t１において、Ｒ画素２１−１とＣ画素２１−２に対して、シャッタが切られ、露光が開始される。時刻t２において、Ｒ画素２１−３とＣ画素２１−４に対して、シャッタが切られ、露光が開始される。時刻t３において、Ｒ画素２１−５とＣ画素２１−６に対して、シャッタが切られ、露光が開始される。
【００５６】
時刻t４において、Ｒ画素２１−１とＣ画素２１−２からの読み出しが開始される。Ｒ画素２１−１とＣ画素２１−２は、時刻t１から時刻t４までの時間Ｔ１だけ露光され、この時間Ｔ１が、長時間露光Ｔ１となる。同じく、時刻t２から露光が開始され、長時間露光Ｔ１だけ経過した時刻t５において、Ｒ画素２１−３とＣ画素２１−４からの読み出しが開始される。同じく、時刻t３から露光が開始され、長時間露光Ｔ１だけ経過した時刻t６において、Ｒ画素２１−５とＣ画素２１−６からの読み出しが開始される。
【００５７】
次に、中時間露光における撮像が開始される。時刻t６において、Ｒ画素２１−１とＣ画素２１−２に対して、シャッタが切られ、露光が開始される。時刻t７において、Ｒ画素２１−３とＣ画素２１−４に対して、シャッタが切られ、露光が開始される。時刻t８において、Ｒ画素２１−５とＣ画素２１−６に対して、シャッタが切られ、露光が開始される。
【００５８】
時刻t８において、Ｒ画素２１−１とＣ画素２１−２からの読み出しが開始される。Ｒ画素２１−１とＣ画素２１−２は、時刻t６から時刻t８までの時間Ｔ２だけ露光され、この時間Ｔ２が、中時間露光Ｔ２となる。同じく、時刻t７から露光が開始され、中時間露光Ｔ２だけ経過した時刻t１０において、Ｒ画素２１−３とＣ画素２１−４からの読み出しが開始される。同じく、時刻t３から露光が開始され、中時間露光Ｔ２だけ経過した時刻t１３において、Ｒ画素２１−５とＣ画素２１−６からの読み出しが開始される。
【００５９】
さらに、短時間露光における撮像が開始される。時刻t９において、Ｒ画素２１−１とＣ画素２１−２に対して、シャッタが切られ、露光が開始される。時刻t１２において、Ｒ画素２１−３とＣ画素２１−４に対して、シャッタが切られ、露光が開始される。時刻t１５において、Ｒ画素２１−５とＣ画素２１−６に対して、シャッタが切られ、露光が開始される。
【００６０】
時刻t１１において、Ｒ画素２１−１とＣ画素２１−２からの読み出しが開始される。Ｒ画素２１−１とＣ画素２１−２は、時刻t９から時刻t１１までの時間Ｔ３だけ露光され、この時間Ｔ３が、短時間露光Ｔ３となる。同じく、時刻t１３から露光が開始され、短時間露光Ｔ３だけ経過した時刻t１４において、Ｒ画素２１−３とＣ画素２１−４からの読み出しが開始される。同じく、時刻t１５から露光が開始され、短時間露光Ｔ３だけ経過した時刻t１６において、Ｒ画素２１−５とＣ画素２１−６からの読み出しが開始される。
【００６１】
長時間露光Ｔ１、中時間露光Ｔ２、および短時間露光Ｔ３は、以下の関係にある。
長時間露光Ｔ１＞中時間露光Ｔ２＞短時間露光Ｔ３
【００６２】
ここで、例えば、Ｒ画素２１−１に注目し、図３と図６を参照するに、Ｒ画素２１−１は、時刻t１において、シャッタが切られる。すなわち時刻t１において、Ｒ画素２１−１に対して、電子シャッタ時転送パルス（STR）と電子シャッタ時リセットパルス（SRST）が出されることで、露光が開始される。そして時刻t４において、読み出しが開始されるとき、読み出し時リセットパルス（RRST）がオンにされる。
【００６３】
図３に示したように１水平同期期間内に、シャッタが切られ、１水平同期期間内に読み出しが行われる。例えば、所定の水平同期期間にシャッタが切られ、その１つ後の水平同期期間で読み出しが行われた場合、露光時間は、１水平同期期間と同等となる。また例えば、所定の水平同期期間にシャッタが切られ、その２つ後の水平同期期間で読み出しが行われた場合、露光時間は、２水平同期期間と同等となる。
【００６４】
すなわち、シャッタが切られるタイミングと読み出しが開始されるタイミングが、水平同期期間内で固定とされている場合、露光時間は、１水平同期期間の整数倍となる。
【００６５】
カラム信号処理部１５は、複数の画素２１から垂直信号線VSLを介して出力される画素信号に対して相関２重サンプリング処理を施すことで、画素信号のＡＤ変換を行うが、このＡＤ変換を行う期間をＡＤ期間とする。またここでは１ＡＤ期間は、１水平同期期間とする
【００６６】
よって、シャッタが切られるタイミングと読み出しが開始されるタイミングが、水平同期期間内で固定とされている場合、露光時間は、１ＡＤ期間の整数倍になる。
【００６７】
図６を参照して説明したように、長時間露光Ｔ１、中時間露光Ｔ２、および短時間露光Ｔ３を設定し、撮像を行う場合、これらの露光時間は、それぞれ１ＡＤ期間の整数倍となる。このことは、シャッタが切られるタイミングと読み出しが開始されるタイミングが、１ＡＤ期間内で固定とされている場合、短時間露光Ｔ３は、最短でも１ＡＤ期間となることを表している。
【００６８】
長時間露光画像、中時間露光画像、および短時間露光画像を合成して、高ダイナミックレンジの画像を生成するとき、例えば、明るい所を撮像しているときには、短時間露光画像の合成比率が高くされる。このとき、短時間露光画像自体が、適切な露光でない場合、例えば、露光時間が適切な露光時間よりも長かった場合、白飛びが発生した画像となってしまう可能性がある。このような場合、結果として、適切な広ダイナミックレンジの画像を生成できない可能性がある。
【００６９】
上記したように、シャッタが切られるタイミングと読み出しが開始されるタイミングが、それぞれ１ＡＤ期間内で固定とされている場合、短時間露光Ｔ３は、最短でも１ＡＤ期間となるため、短時間露光Ｔ３の露光時間が、適切な露光時間よりも長かった場合であっても、短時間露光Ｔ３は、１ＡＤ期間と同等の時間に設定されてしまい、最適な撮像が行えない可能性がある。
【００７０】
ここでは、短時間露光画像を例に挙げて説明したが、長時間露光画像と中時間露光画像のそれぞれの画像においても同様に、露光時間が、１ＡＤ期間の整数倍でしか設定できなければ、短時間露光画像の場合と同じく、適切な露光時間で撮像がされない可能性がある。また、露光時間が、１ＡＤ期間単位でしか調整できない場合、長時間露光、中時間露光、短時間露光の設定が粗い設定しかできず、これらの露光時間の比を所望とする比とできない可能性もある。これらの露光時間の比が所望の比とならないことにより、合成後の画像の画質が低下してしまう可能性もある。
【００７１】
そこで、露光時間を細かく調整できるようにし、適切とされる露光時間を設定できるようにする。
【００７２】
ここでは、図７に示すように、電子シャッタ時転送パルス（STR）と、電子シャッタ時リセットパルス（RRST）を、１水平動期間内の任意のタイミングで出せるようにする。図７では、１水平動期間内の任意のタイミングで出せることを示すために、複数のクロックを図示してあるが、この複数のクロックのうちの１クロックが、電子シャッタ時転送パルス（STR）および電子シャッタ時リセットパルス（RRST）とされる。
【００７３】
このようにすることで、シャッタを切るタイミングを、１クロック単位で調整することができる。シャッタを切るタイミングは、露光の開始のタイミングであるため、１クロック単位で、露光時間を調整できるようになる。以下の説明においては、“シャッタを切る”との記述をするが、この記述は、“露光の開始”と読み替えることができる。
【００７４】
例えば、１ＡＤ期間が、８μｓであり、１クロックが０．０２μｓと設定されていた場合、シャッタが切られるタイミング（露光が開始されるタイミング）と読み出しが開始されるタイミングが、ＡＤ期間内で固定とされている場合、露光時間は、８μｓ単位で調整され、シャッタが切られるタイミンを可変とし読み出しが開始されるタイミングは、水平同期期間内で固定とされている場合、露光時間は、０．０２μｓ単位で調整することができる。
【００７５】
よって、この例の場合、露光時間は、４００倍（＝８／０．０２）の精度で調整できることになる。１クロックを細かくとれば(周波数を高くすれば)、さらに細かい露光時間の調整を行うことができる。なお、このクロックの周波数は、撮像装置１１に求められる精度に適した数値に設定されれば良い。
【００７６】
＜シャッタと読み出しが重なる場合について＞
このように、シャッタのタイミングを調整し、適切な露光時間を実現できるようにした場合、露光時間が可変となるため、露光時間によっては、シャッタのタイミングと読み出しのタイミングが重なってしまう可能性がある。このことについて、図８を参照して説明するが、まず、図６を再度参照する。
【００７７】
図６の時刻ｔ４において、Ｃ画素２１−２から読み出しが行われ、時刻ｔ５において、Ｒ画素２１−３から読み出しが行われる。この時刻ｔ４から時刻ｔ５は、３ＡＤ期間となる。同じく、時刻ｔ５において、Ｃ画素２１−４から読み出しが行われ、時刻ｔ６において、Ｒ画素２１−５から読み出しが行われる。この時刻ｔ５から時刻ｔ６は、３ＡＤ期間となる。
【００７８】
すなわち、読み出しは、３ＡＤ期間毎に行われることになる。３ＡＤ期間となるのは、長時間露光、中時間露光、短時間露光の順でＡＤ変換しているからである。
【００７９】
本技術によると、シャッタの切るタイミングを可変とすることができ、露光時間を可変とすることができるため、露光時間と、読み出しの周期（３ＡＤ期間）が一致するときがある可能性がある。
【００８０】
図８を参照するに、図６と同じく、左側に画素配置を示している。図８では、縦方向に配置されている画素２１−１乃至２１−５を示し、Ｃ画素２１―２とＲ画素２１−３は共有画素とされ、Ｃ画素２１―４とＲ画素２１−５は共有画素とされている。
【００８１】
時刻ｔ３１において、Ｒ画素２１−１とＣ画素２１−２に対して、シャッタが切られ、時刻ｔ３２において、読み出しが開始される。この時刻ｔ３１から時刻３２までの時間Ｔ３１は、露光時間となり、この露光時間は、３ＡＤ期間となっている。
【００８２】
時刻ｔ３２において、Ｒ画素２１−３とＣ画素２１−４に対して、シャッタが切られ、時刻ｔ３３において、読み出しが開始される。この時刻ｔ３２から時刻３３までの時間Ｔ３２は、露光時間となり、この露光時間は、３ＡＤ期間となっている。
【００８３】
図８に示した例では、時刻ｔ３２において、Ｒ画素２１−１とＣ画素２１−２に対して読み出しが行われ、時刻ｔ３３において、Ｒ画素２１−３とＣ画素２１−４に対して読み出しが行われる。よって、読み出しの周期は、時刻ｔ３２から時刻ｔ３３の時間Ｔ３２となる。この時間Ｔ３２は、上記したように、Ｒ画素２１−３とＣ画素２１−４の露光時間に該当し、３ＡＤ期間となる。
【００８４】
このように、露光時間と読み出しの周期が一致すると、図８を参照するに、時刻ｔ３２において、Ｃ画素２１−２に対する読み出しと、Ｒ画素２１−３に対するシャッタが、同時刻に行われる状態が発生する可能性がある。
【００８５】
このＣ画素２１−２とＲ画素２１−３は、共有画素である。図９に、仮にＣ画素２１−２に対する読み出しと、Ｒ画素２１−３に対するシャッタが、同時刻に行われる状態を示す。図９は、図２に示した画素２１に対して、電荷の流れの矢印を追加した図である。
【００８６】
図９では、フォトダイオード２２−２が、Ｃ画素２１−２に含まれるフォトダイオードであるとし、フォトダイオード２２−３が、Ｒ画素２１−３に含まれるフォトダイオードであるとする。
【００８７】
Ｒ画素２１−３（フォトダイオード２２−３）に対してシャッタが切られた状態は、電子シャッタ時転送パルスおよび電子シャッタ時リセットパルスがオンにされた状態であり、そのような状態のときには、図９に示したように、フォトダイオード２２−３に蓄積されている電荷が、転送トランジスタ２３−１を介して、リセットトランジスタ２７の方に流れることで、リセットが行われる状態である。
【００８８】
Ｃ画素２１−２（フォトダイオード２２−２）に対して読み出しが開始された状態は、読み出し時リセットパルスがオンにされた状態であり、そのような状態のときには、図９に示したように、Ｃ画素２１−２に蓄積されていた電荷が、フローティングディフュージョン２４に流れ、蓄積されるが、リセットトランジスタ２７がオンの状態になっているため、フローティングディフュージョン２４に蓄積されることなく、リセットトランジスタ２７の方に流れてしまう。
【００８９】
このように、共有画素に対して、シャッタのタイミングと読み出しのタイミングが重なった状態が発生すると、読み出しが正常に行えない状態が発生してしまう。
【００９０】
そこで、図１０に示すように、露光時間が読み出し周期と同じ時間、この場合、３ＡＤ期間となってしまうときには、読み出しのタイミングをずらす制御が行われる。
【００９１】
図１０は、図６と同じく、左側に画素配置を示し、それぞれの画素に対するシャッタのタイミングと読み出しのタイミングを示した図である。なお、図６を参照して説明した場合と同様のタイミングなどに関しては説明を省略し、また、適宜、図６に示した場合と比較しながら説明を行う。
【００９２】
図６は、露光時間が読み出し周期と同じ時間、この場合、３ＡＤ期間とはなっていない場合を示していた。
【００９３】
図６に示したＣ画素２１−２に対しては、時刻ｔ４において読み出しが開始され、このＣ画素２１−２と共有画素にされているＲ画素２１−３に対しては、時刻ｔ５において読み出しが開始される。この時刻t４から時刻t５までの時間は、３ＡＤ期間となっている。
【００９４】
図６に示したような状況に対して、図１０は、露光時間が読み出し周期と同じ時間であるため、読み出しのタイミングがずらす制御が行われる場合を示している。
【００９５】
上記したように、本実施の形態においては、シャッタのタイミングを可変とすることで、露光時間を変化させることができる。また、長時間露光、中時間露光、および短時間露光のそれぞれの露光時間で撮像を行う。長時間露光、中時間露光、および短時間露光のうちの全て、２つ、または１つが、読み出し周期（の整数倍）と同じ時間となる場合がある。
【００９６】
図１０では、長時間露光と短時間露光が、読み出し周期と重なった場合を示している。図１０に示したＣ画素２１−２に対しては、時刻ｔ５４において読み出しが開始され、このＣ画素２１−２と共有画素にされているＲ画素２１−３に対しては、時刻ｔ５５において読み出しが開始される。この時刻ｔ５４から時刻ｔ５５までの時間は、４ＡＤ期間となるように、読み出しのタイミングが制御される。
【００９７】
すなわちこの場合、通常３ＡＤ期間で読み出しが行われるが、１ＡＤ期間、読み出しを遅延させることで、読み出し周期が４ＡＤ期間になるような制御が行われる。シャッタが切られるタイミングを、１ＡＤ期間遅延させることで、読み出しが１ＡＤ期間遅延される。
【００９８】
また、図６に示したＣ画素２１−４に対しては、時刻ｔ５５において読み出しが開始され、このＣ画素２１−４と共有画素にされているＲ画素２１−５に対しては、時刻ｔ５６において読み出しが開始される。この時刻ｔ５５から時刻ｔ５６までの時間は、２ＡＤ期間となるように、読み出しのタイミングが制御される。
【００９９】
すなわちこの場合、通常３ＡＤ期間で読み出しが行われるが、１ＡＤ期間、読み出しを早めることで、読み出し周期が２ＡＤ期間になるような制御が行われる。この場合、シャッタが切られるタイミングを、１ＡＤ期間早くさせることで、読み出しが１ＡＤ期間早く行われる。
【０１００】
短時間露光時も同様に、読み出しのタイミングの間隔が、４ＡＤ期間または２ＡＤ期間となるように制御される。また、読み出しのタイミングの変更に伴い、シャッタを切るタイミングを早める、または遅延させることで、この場合、露光時間が３ＡＤ期間となるように制御される。
【０１０１】
このように、露光時間が読み出し周期と同じ時間、この場合、３ＡＤ期間となるような場合には、読み出しのタイミングをずらすことで、シャッタのタイミングと読み出しのタイミングが重ならないように制御される。
【０１０２】
図１０では、長時間露光、中時間露光、短時間露光のうちの、露光時間が読み出し周期と同じ時間になる露光に対して、読み出しのタイミングをずらす制御が行われる場合を例に挙げて説明した。長時間露光、中時間露光、短時間露光のうちの１つの露光時間が、読み出し周期と同じ時間になるような状況のときには、長時間露光、中時間露光、短時間露光の全ての露光における読み出しのタイミングを、同じように制御する、換言すれば、上記した例では、４ＡＤ期間または２ＡＤ期間となるように読み出しのタイミングを制御するようにしても良い。
【０１０３】
ここでは、露光時間が、３ＡＤ期間となる場合に、上記したような読み出しタイミングの制御が行われる場合を例に挙げて説明した。これは、長時間露光、中時間露光、短時間露光で撮像を行うため、３ＡＤ期間となるためである。
【０１０４】
よって、例えば、長時間露光と短時間露光で撮像を行う場合、３ＡＤ期間ではなく、２ＡＤ期間となる。すなわち、露光時間が２ＡＤ期間となるときに、読み出しのタイミングをずらす制御が行われる。
【０１０５】
すなわち、ここでは、３ＡＤ期間を例に挙げて説明をしたが、異なる露光時間で撮像を行い、複数枚の撮像画像を取得し、合成するときに、その取得される画像数に応じたＡＤ期間と、露光時間が一致したときに、読み出しのタイミングをずらす制御が行われる。
【０１０６】
また、このような読み出しのタイミングの制御は、共有画素構成としたときに行われる制御であり、共有画素構成としない場合、換言すれば、図１に示したように１画素２１に、１個のフォトダイオード２２が含まれるような構成の場合には、行われない制御である。
【０１０７】
＜回路構成＞
上記したように、シャッタのタイミングを制御するための回路構成について説明する。
【０１０８】
図１１は、アドレスデコーダ１３(図１)の内部構成例を示す図である。アドレスデコーダ１３は、画素アレイ部１２のライン毎に、シャッタ用アドレス記憶部１０１と読み出し用アドレス記憶部１０２が設けられている。
【０１０９】
シャッタ用アドレス記憶部１０１は、シャッタを切る画素のアドレスを記憶する。読み出し用アドレス記憶部１０２は、読み出しを行う画素のアドレスを記憶する。シャッタ用アドレス記憶部１０１は、第１のアドレス記憶部１２１と第２のアドレス記憶部１２２を含む。
【０１１０】
第１のアドレス記憶部１２１に記憶されているアドレスは、所定のタイミングで、第２のアドレス記憶部１２２に転送される。第２のアドレス記憶部１２２に記憶されているアドレスが、後段の画素タイミング駆動部１４に供給されることで、そのアドレスで指定された画素２１のシャッタが切られる。
【０１１１】
このように、シャッタのアドレス（以下、適宜シャッタアドレスと記述する）は、２段のアドレス記憶部で管理される。シャッタは、上記したように、１ＡＤ期間内の所望のタイミングで切ることができるように構成されている。
【０１１２】
このことを、図１２を参照して再度説明する。図１２では、水平同期信号と、電子シャッタ時転送パルスを示した。電子シャッタ時転送パルスは、シャッタを切るタイミングの説明のために図示した。
【０１１３】
本技術によると、ＡＤ期間Ｔ３２の時刻ｔ７１、時刻ｔ７２、または時刻ｔ７３のいずれのタイミングにおいても、シャッタを切るための制御を行うことができる。換言すれば、ＡＤ期間Ｔ７２が開始された時点、中間の時点、終盤の時点の、いずれのタイミングでもシャッタを切れるように制御することができる。
【０１１４】
ここで、ＡＤ期間Ｔ７２の時刻t７１、すなわち、ＡＤ期間Ｔ７２が開始された時点でシャッタを切る場合を考える。ＡＤ期間Ｔ７２が開始された時点でシャッタを切る場合、その前の時点で、シャッタを切る画素２１のアドレスを特定する(デコードしておく)必要がある。
【０１１５】
図１２に示した例では、ＡＤ期間Ｔ７１のときに、シャッタアドレスをデコードしておき、ＡＤ期間Ｔ７２のときに、デコードされたシャッタアドレスを用いてシャッタが切られるようにしておく必要がある。
【０１１６】
図１３を参照する。ＡＤ期間Ｔ３１の間に、シャッタを切る画素２１（画素２１内のフォトダイオード２２）のシャッタアドレスが、後述するパルスに基づく期間で、デコードされ、シャッタ用アドレス記憶部１０１の第１のアドレス記憶部１２１に記憶される。
【０１１７】
第１のアドレス記憶部１２１に記憶されたシャッタアドレスは、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２にシャッタアドレスの転送を指示するパルスに基づき、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２に転送される。
【０１１８】
ＡＤ期間Ｔ３１にデコードされたシャッタアドレスは、ＡＤ期間Ｔ３２より前の時点（ＡＤ期間Ｔ３１内）において、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２に転送され、記憶される。そして、ＡＤ期間Ｔ３２において、第２のアドレス記憶部１２２に記憶されたシャッタアドレスに基づき、シャッタが切られる。
【０１１９】
このように、デコードするＡＤ期間と、シャッタアドレスに基づきシャッタを切るＡＤ期間を、異なるＡＤ期間とすることで、ＡＤ期間の所望とされるタイミングでシャッタを切ることが可能となる。所望とされるタイミングが、例えば、ＡＤ期間内の前の方であっても、シャッタを切ることができる。
【０１２０】
ここでは、デコードするＡＤ期間と、シャッタアドレスに基づきシャッタを切るＡＤ期間を、異なるＡＤ期間とする場合を例に挙げて説明したが、例えば、シャッタを切るタイミングが、ＡＤ期間の後ろの方である場合、デコードされたアドレスが、第２のアドレス記憶部１２２に転送されるＡＤ期間と、シャッタアドレスに基づきシャッタを切るＡＤ期間が、同一のＡＤ期間となってもよい。
【０１２１】
すなわち、シャッタアドレスが、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２に転送されるタイミングは、シャッタがＡＤ期間内のどのタイミングで切られるかにより、常に同じタイミングではなく、異なるタイミングとしてもよい。
【０１２２】
例えば、上記したように、ＡＤ期間の前の方でシャッタが切られる場合、そのシャッタが切られる前のＡＤ期間でシャッタアドレスの転送が実行され、ＡＤ期間の後の方でシャッタが切られる場合、そのシャッタが切られるＡＤ期間と同一のＡＤ期間内でシャッタアドレスの転送が実行されるようにしてもよい。
【０１２３】
第１のアドレス記憶部１２１と第２のアドレス記憶部１２２は、例えば、ラッチで構成することができる。第１のアドレス記憶部１２１と第２のアドレス記憶部１２２を、それぞれラッチで構成した場合、図１５に示すように、３ビットのラッチとなる。
【０１２４】
本実施の形態においては、長時間露光、中時間露光、および短時間露光の３つの露光制御を行うため、それぞれの露光におけるアドレスを記憶するために、３ビットのラッチ構成となる。図１５に示した例では、第１のアドレス記憶部１２１は、ラッチ１４１−１乃至ラッチ１４１−３から構成され、第２のアドレス記憶部１２２は、ラッチ１４２−１乃至１４２−３から構成されている。
【０１２５】
例えば、ラッチ１４１−１とラッチ１４２−１は、長時間露光用のシャッタアドレスを記憶し、ラッチ１４１−２とラッチ１４２−２は、中時間露光用のシャッタアドレスを記憶し、ラッチ１４１−３とラッチ１４２−３は、短時間露光用のシャッタアドレスを記憶するように構成することができる。
【０１２６】
このようなラッチの構成は、一例であり、限定を示す記載ではない。例えば、ラッチ以外で、第１のアドレス記憶部１２１と第２のアドレス記憶部１２２を構成しても良い。また、ここでは、長時間露光、中時間露光、および短時間露光の３つの露光制御を行うため、それぞれの露光におけるアドレスを記憶するための３ビットのラッチ構成を例に挙げて説明したが、例えば、長時間露光と短時間露光の２つの露光制御を行う場合には、２ビットのラッチ構成とすることができる。
【０１２７】
＜アドレス記憶部の状態遷移＞
シャッタ用アドレス記憶部１０１の状態遷移について説明する。状態遷移については、第１のアドレス記憶部１２１と第２のアドレス記憶部１２２のどちらも同様であるため、ここでは、第１のアドレス記憶部１２１を例に挙げて説明する。
【０１２８】
第１のアドレス記憶部１２１は、シャッタ状態、露光状態、およびアイドリング状態の３つの状態を有する。なお、シャッタ動作には関係がないため、第１のアドレス記憶部１２１には、設定されないが、読み出し状態もあるため、読み出し状態も含めて説明を続ける。
【０１２９】
シャッタ状態は、シャッタアドレスを記憶している状態である。第１のアドレス記憶部１２１は、シャッタ状態のとき、シャッタアドレスを記憶している状態である。
【０１３０】
第１のアドレス記憶部１２１に記憶されているシャッタアドレスは、上記したように、所定のタイミングで、第２のアドレス記憶部１２２に転送される。第２のアドレス記憶部１２２に転送されると、第２のアドレス記憶部１２２に記憶されたシャッタアドレスに基づき、シャッタが切られる。シャッタが切られることにより、露光が開始される。
【０１３１】
第１のアドレス記憶部１２１は、シャッタ状態のとき、リセットが実行されると、露光状態に遷移する。露光が終了されると、画素２１からの読み出しが行われる。読み出しに関するアドレスは、読み出し用アドレス記憶部１０２に記憶されるため、シャッタアドレスを記憶する第１のアドレス記憶部１２１は遷移しない状態であるが、状態としては、設けられている。
【０１３２】
画素２１からの読み出しから、次のシャッタが切られるまでの間は、アイドリング状態とされる。第１のアドレス記憶部１２１は、アイドリング状態のときは、シャッタアドレスを記憶していない状態である。
【０１３３】
第１のアドレス記憶部１２１は、シャッタ状態、露光状態、およびアイドリング状態の３状態の間を順次遷移する。
【０１３４】
＜シャッタ用アドレス記憶部の動作＞
図１６を参照し、図１１に示したシャッタ用アドレス記憶部１０１の動作について説明する。
【０１３５】
ＡＤ期間Ｔ９１において、第１のアドレス記憶部１２１は、アイドル状態である。ＡＤ期間Ｔ９２において、シャッタアドレスリセットパルスがシャッタ用アドレス記憶部１０１に出されると、第１のアドレス記憶部１２１は、リセットされ、シャッタ状態に遷移する。その後、シャッタアドレスセットパルスに基づき、シャッタアドレスが、第１のアドレス記憶部１２１に設定（記憶）される。
【０１３６】
第２のアドレス転送パルスがシャッタ用アドレス記憶部１０１に出されると、第１のアドレス記憶部１２１に記憶されていたシャッタアドレスが、第２のアドレス記憶部１２２に転送され、記憶される。第２のアドレス転送パルスは、このように、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２にシャッタアドレスを転送させるときに出されるパルスであり、所定の周期で出されるパルスである。
【０１３７】
ＡＤ期間Ｔ９２において、第２のアドレス記憶部１２２は、転送されてきたシャッタアドレスを記憶すると、シャッタ状態に遷移する。このように、第２のアドレス記憶部１２２にシャッタアドレスが記憶されたことで、シャッタを切ることができる状態となる。この場合、ＡＤ期間Ｔ９２の後の期間である、ＡＤ期間Ｔ９３内の所望のタイミングで、シャッタを切ることができる。
【０１３８】
図１６には図示していないが、電子シャッタ時転送パルスと電子シャッタ時リセットパルスが出されることで、第２のアドレス記憶部１２２に記憶されているアドレスに対応する画素２１に対してシャッタが切られる。
【０１３９】
ＡＤ期間Ｔ９３において、第１のアドレス記憶部１２１に、シャッタアドレスリセットパルスが出されると、第１のアドレス記憶部１２１は、リセットされ、シャッタ状態から、蓄積状態へと遷移する。また、ＡＤ期間Ｔ９３において、第２のアドレス転送パルスが出されると、第２のアドレス記憶部１２２は、リセットされ、シャッタ状態から蓄積状態へと遷移する。
【０１４０】
このように、第２のアドレス記憶部１２２の状態は、第１のアドレス記憶部１２１に追従した状態に遷移する。
【０１４１】
ＡＤ期間Ｔ９４において、第１のアドレス記憶部１２１に、シャッタアドレスリセットパルスが出されると、第１のアドレス記憶部１２１は、リセットされ、蓄積状態から、シャッタ状態へと遷移する。またデコードされたシャッタアドレスがある場合、シャッタアドレスセットパルスに応じて、第１のアドレス記憶部１２１は、シャッタアドレスを記憶する。
【０１４２】
このような処理が繰り返されることで、第１のアドレス記憶部１２１にシャッタアドレスが記憶され、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２にシャッタアドレスが転送され、第２のアドレス記憶部１２２に記憶されているシャッタアドレスに基づきシャッタが制御される。
【０１４３】
＜シャッタ用アドレス記憶部の他の構成と動作＞
図１７は、シャッタ用アドレス記憶部１０１の他の構成を示す図である。第２の実施の形態における図１７に示したシャッタ用アドレス記憶部１０１ｂ（図１１に示したシャッタ用アドレス記憶部１０１と区別を付けるため、１０１ｂとの符号を付す）は、第１のアドレス記憶部１２１、第２のアドレス記憶部１２２、および状態監視部１５１を備える構成とされている。
【０１４４】
第１のアドレス記憶部１２１と第２のアドレス記憶部１２２は、図１１に示した第１のアドレス記憶部１２１と第２のアドレス記憶部１２２と、基本的に同様の構成、動作のため、同一の符号を付し、その説明は適宜省略する。
【０１４５】
状態監視部１５１は、第１のアドレス記憶部１２１と第２のアドレス記憶部１２２の状態を、それぞれ監視し、適切なタイミングで、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２に、シャッタアドレスが転送されるように制御を行う制御部として機能する。
【０１４６】
図１７に示したシャッタ用アドレス記憶部１０１の動作について、図１６を再度参照して説明する。図１６を参照した説明は既にしたが、状態監視部１５１が、第１のアドレス記憶部１２１と第２のアドレス記憶部１２２の状態を監視し、状態監視部１５１が、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２へのシャッタアドレスの転送を制御する点が、上記した場合と異なる。この点について説明を加える。
【０１４７】
ＡＤ期間Ｔ９２において、第２のアドレス転送パルスが出されたとき、状態監視部１５１は、第１のアドレス記憶部１２１が、シャッタ状態であるか否かを判定する。状態監視部１５１は、第２のアドレス転送パルスが出されたときに、第１のアドレス記憶部１２１が、シャッタ状態である場合、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２へと、シャッタアドレスが転送されるように制御を行う。また、第２のアドレス記憶部１２２の状態を、シャッタ状態に遷移させる。
【０１４８】
ＡＤ期間Ｔ９３において、第２のアドレス転送パルスが出されたとき、状態監視部１５１は、第１のアドレス記憶部１２１が、シャッタ状態であるか否かを判定する。ＡＤ期間Ｔ９３において、第２のアドレス転送パルスが出されたときには、第１のアドレス記憶部１２１は、蓄積状態であるため、シャッタ状態では無いと判定される。
【０１４９】
このように、第１のアドレス記憶部１２１は、シャッタ状態では無いと判定された場合、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２へのシャッタアドレスの転送は行わずに、第２のアドレス記憶部１２２の状態を、シャッタ状態から蓄積状態へと遷移させる。
【０１５０】
さらに、ＡＤ期間Ｔ９４において、第２のアドレス転送パルスが出されたとき、状態監視部１５１は、第１のアドレス記憶部１２１が、シャッタ状態であるか否かを判定する。状態監視部１５１は、第２のアドレス転送パルスが出されたときに、第１のアドレス記憶部１２１が、シャッタ状態である場合、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２へと、シャッタアドレスが転送されるように制御を行う。また、第２のアドレス記憶部１２２の状態を、シャッタ状態に遷移させる。
【０１５１】
このように、状態監視部１５１を設け、第１のアドレス記憶部１２１と第２のアドレス記憶部１２２の状態を監視し、その状態に応じて、シャッタアドレスの転送を制御したり、第２のアドレス記憶部１２２の状態を遷移させたりするような構成とすることもできる。
【０１５２】
＜シャッタ用アドレス記憶部の他の構成と動作＞
シャッタ用アドレス記憶部１０１のさらに他の構成と動作について説明する(第３の実施の形態とする)。
【０１５３】
第３の実施の形態におけるシャッタ用アドレス記憶部１０１の構成としては、図１７に示した第２の実施の形態におけるシャッタ用アドレス記憶部１０１ｂと同様の構成とすることができる。ここでは、第３の実施の形態におけるシャッタ用アドレス記憶部１０１は、図１７に示したシャッタ用アドレス記憶部１０１ｂであるとし、図示はしないが、シャッタ用アドレス記憶部１０１ｂと区別するために、シャッタ用アドレス記憶部１０１ｃと記述する。
【０１５４】
第３の実施の形態におけるシャッタ用アドレス記憶部１０１ｃの状態監視部１５１の内部構成は、ラッチで構成され、第１のアドレス記憶部１２１に記憶されているシャッタアドレスを適宜記憶する構成とされている。この点が、第２の実施の形態と異なる。
【０１５５】
状態監視部１５１も、図１５の第１のアドレス記憶部１２１と同じく３ビット分のラッチ１４１−１乃至１４１−３を備える構成とすることができる。すなわち、状態監視部１５１は、第１のアドレス記憶部１２１に記憶されているシャッタアドレスを記憶するため、第１のアドレス記憶部１２１と同様の構成とすることができる。
【０１５６】
このように、状態監視部１５１も、シャッタアドレスを記憶する構成とした場合のシャッタ用アドレス記憶部１０１の動作について、図１８を参照して説明する。
【０１５７】
図１８は、図１６に示したタイミングチャートに、監視部リセットのチャートと、監視部セットのチャートを追記した図である。
【０１５８】
ＡＤ期間Ｔ１１２において、第２のアドレス転送パルスが出されたとき、状態監視部１５１は、第１のアドレス記憶部１２１が、シャッタ状態であるか否かを判定する。状態監視部１５１は、第２のアドレス転送パルスが出されたときに、第１のアドレス記憶部１２１が、シャッタ状態である場合、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２へと、シャッタアドレスが転送されるように制御を行う。また、第２のアドレス記憶部１２２の状態を、シャッタ状態に遷移させる。
【０１５９】
ＡＤ期間Ｔ１１３において、監視部リセットパルスが状態監視部１５１に出されると、状態監視部１５１は、記憶しているシャッタアドレスをリセットする。リセット後に、監視部セットパルスを受け取ると、状態監視部１５１は、第１のアドレス記憶部１２１に記憶されているシャッタアドレスを読み出し、記憶する。
【０１６０】
このように、第１のアドレス記憶部１２１がシャッタ状態のときに、状態監視部１５１がリセットされると、状態監視部１５１は、第１のアドレス記憶部１２１に記憶されているシャッタアドレスを記憶する。そして、状態監視部１５１は、自身の状態を、シャッタ状態に設定する。
【０１６１】
一方で、ＡＤ期間Ｔ１１３においては、第２のアドレス転送パルスが出されたとき、状態監視部１５１は、第１のアドレス記憶部１２１が、シャッタ状態であるか否かを判定する。ＡＤ期間Ｔ１１３において、第２のアドレス転送パルスが出されたときには、第１のアドレス記憶部１２１は、蓄積状態であるため、シャッタ状態ではないと判定される。
【０１６２】
状態監視部１５１は、第１のアドレス記憶部１２１が、シャッタ状態では無いと判定した場合、さらに自己の状態を見て、シャッタ状態であるか否かを判定する。ＡＤ期間Ｔ１１３のとき、状態監視部１５１は、シャッタ状態であるため、シャッタ状態であると判定する。
【０１６３】
状態監視部１５１は、第１のアドレス記憶部１２１の状態がシャッタ状態以外の状態であり、状態監視部１５１の状態が、シャッタ状態である場合、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２へのシャッタアドレスの転送を制御する。
【０１６４】
ＡＤ期間Ｔ１１３の、第２のアドレス転送パルスが出されたとき、第１のアドレス記憶部１２１は、露光状態であるため、シャッタアドレスは記憶していないため、第２のアドレス記憶部１２２にシャッタアドレスは転送されず、第２のアドレス記憶部１２２は、リセットされた状態となる。よって、第２のアドレス記憶部１２２は、第１のアドレス記憶部１２１と同じ露光状態へと遷移する。
【０１６５】
ＡＤ期間Ｔ１１４において、状態監視部１５１は、監視部リセットパルスを受け取ると、記憶しているシャッタアドレスをリセットするが、第１のアドレス記憶部１２１が、シャッタ状態以外のときには、リセットを行わないように設定されている。
【０１６６】
状態監視部１５１は、リセット動作を行うとき、第１のアドレス記憶部１２１の状態を見て、シャッタ状態のときだけリセットを行うように自己の状態を制御する。
【０１６７】
または、図１９に示すように、第１のアドレス記憶部１２１がシャッタ状態では無い場合、監視部リセットパルスはマスク（図中、ばつ印はマスクを示す）されるようにしても良い。監視部リセットパルスがマスクされることで、状態監視部１５１は監視部リセットパルスを受け取らない状態となるため、状態監視部１５１はリセット動作を行わない。
【０１６８】
このように、状態監視部１５１が制御されることで、ＡＤ期間Ｔ１１４では、状態監視部１５１のシャッタ状態が維持される。
【０１６９】
ＡＤ期間Ｔ１１４において、第２のアドレス転送パルスが出されたとき、状態監視部１５１は、第１のアドレス記憶部１２１が、シャッタ状態であるか否かを判定するが、この場合、シャッタ状態であると判定されるため、第１のアドレス記憶部１２１から第２のアドレス記憶部１２２へと、シャッタアドレスが転送される。また、このとき、第２のアドレス記憶部１２２の状態は、シャッタ状態に遷移される。
【０１７０】
このように、状態監視部１５１を設け、第１のアドレス記憶部１２１と第２のアドレス記憶部１２２の状態を監視し、その状態に応じて、シャッタアドレスの転送を制御したり、第２のアドレス記憶部１２２の状態を遷移させたりするような構成とすることもできる。
【０１７１】
本技術によれば、ＡＤ期間の所望とされるタイミングでシャッタを切る、換言すれば、露光の開始を行うことができる。露光の開始を所望のタイミングで行えることで、露光時間をより細かく調整することができるようになる。
【０１７２】
露光時間をより細かく調整することができることで、適切な露光時間で撮像を行うことが可能となり、画質を向上させることが可能となる。
【０１７３】
また、異なる露光時間の画像をそれぞれ撮像し、合成する場合も、異なる露光時間のそれぞれを、細かく調整でき、適切な露光時間で撮像を行い、合成された画像の画質を向上させることができる。
【０１７４】
＜電子機器の構成＞
なお、上述したような各実施の形態の撮像装置１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
【０１７５】
図２０は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
【０１７６】
図２０に示すように、撮像装置２０１は、光学系２０２、撮像素子２０３、信号処理回路２０４、モニタ２０５、およびメモリ２０６を備えて構成され、静止画像および動画像を撮像可能である。
【０１７７】
光学系２０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子２０３に導き、撮像素子２０３の受光面（センサ部）に結像させる。
【０１７８】
撮像素子２０３としては、上述した実施の形態の撮像装置１１が適用される。撮像素子２０３には、光学系２０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子２０３に蓄積された電子に応じた信号が信号処理回路２０４に供給される。
【０１７９】
信号処理回路２０４は、撮像素子２０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路２０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ２０５に供給されて表示されたり、メモリ２０６に供給されて記憶（記録）されたりする。
【０１８０】
このように構成されている撮像装置２０１では、上述した実施の形態の撮像装置１１を適用することによって、例えば、画質が向上した画像を撮像することができる。
【０１８１】
＜移動体への応用例＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０１８２】
図２１は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１８３】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２１に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（Interface）１２０５３が図示されている。
【０１８４】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１８５】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１８６】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１８７】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１８８】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１８９】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced Driver Assistance System）の機能実現を目的とした協調制御を行うことができる。
【０１９０】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１９１】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０３０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１９２】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２１の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１９３】
図２２は、撮像部１２０３１の設置位置の例を示す図である。
【０１９４】
図２２では、撮像部１２０３１として、撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５を有する。
【０１９５】
撮像部１２１０１、１２１０２、１２１０３、１２１０４、１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２、１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１９６】
なお、図２２には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１９７】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１９８】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０km/h以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１９９】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０２００】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０２０１】
本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０２０２】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０２０３】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２０４】
なお、本技術は以下のような構成も取ることができる。
（１）
複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する 画素のアドレスを記憶する第１のアドレス記憶部と、
前記第１のアドレス記憶部から転送された前記アドレスを記憶する第２のアドレス記憶部と
を備え、
前記第２のアドレス記憶部に記憶された前記アドレスに基づき、前記露光の開始を制御する
撮像装置。
（２）
前記第１のアドレス記憶部から前記第２のアドレス記憶部への前記アドレスの転送を制御する転送制御部 をさらに備える
前記（１）に記載の撮像装置。
（３）
前記第１のアドレス記憶部は、デコードされた前記アドレスを記憶し、
前記第２のアドレス記憶部は、前記露光が開始されるより前の時点に、前記第１のアドレス記憶部から転送されてきた前記アドレスを記憶する
前記（１）または（２）に記載の撮像装置。
（４）
前記第１のアドレス記憶部への前記アドレスの記憶と、前記第１のアドレス記憶部から前記第２のアドレス記憶部への前記アドレスの転送は、１水平同期期間内に行われる
前記（１）乃至（３）のいずれかに記載の撮像装置。
（５）
前記露光は、１水平同期期間内の所定のタイミングで開始され、前記所定のタイミングは可変とされている
前記（１）乃至（４）のいずれかに記載の撮像装置。
（６）
前記転送制御部は、前記第１のアドレス記憶部が、前記アドレスを記憶している状態であるか否かを監視し、前記アドレスを記憶している状態であるとき、前記第２のアドレス記憶部に前記アドレスを転送させる
前記（２）に記載の撮像装置。
（７）
前記転送制御部は、前記第１のアドレス記憶部が記憶している前記アドレスを記憶し、
前記第１のアドレス記憶部が、前記アドレスを記憶していない状態であり、前記転送制御部が、前記アドレスを記憶している状態のとき、前記第２のアドレス記憶部をリセットする
前記（２）に記載の撮像装置。
（８）
前記転送制御部は、前記第１のアドレス記憶部が、前記アドレスを記憶している状態のときに、リセットを指示する信号を受信した場合、記憶しているアドレスをリセットする
前記（２）に記載の撮像装置。
（９）
異なる露光時間で撮像された画像を合成した画像を生成する撮像装置であり、
前記異なる露光時間毎に、前記露光を開始するタイミングを調整する
前記（１）乃至（８）のいずれかに記載の撮像装置。
（１０）
前記露光時間と、前記画素からの信号の読み出しの周期が重なった場合、前記読み出しのタイミングをずらして読み出しを行う
前記（９）に記載の撮像装置。
（１１）
複数の画素がアレイ状に配置されている画素アレイ部内の露光を開始する画素のアドレスを記憶する第１の露光用アドレス記憶部と第２の露光用アドレス記憶部と、
読み出しを行う画素のアドレスを記憶する読み出し用アドレス記憶部と
を備える撮像装置。
（１２）
前記第１の露光用アドレス記憶部と、前記第２の露光用アドレス記憶部は、それぞれラッチで構成されている
前記（１１）に記載の撮像装置。
（１３）
異なる露光時間で画像を撮像し、
前記ラッチは、前記異なる露光時間の数に応じたビット数で構成される
前記（１１）または（１２）に記載の撮像装置。
（１４）
前記第１の露光用アドレス記憶部と同様の構成を含み、前記第１の露光用アドレス記憶部に記憶されている前記アドレスを記憶する第３の露光用アドレス記憶部をさらに備える
前記（１１）乃至（１３）のいずれかに記載の撮像装置。
（１５）
前記第１の露光用アドレス記憶部に記憶されている前記アドレスは、所定のタイミングで、前記第２の露光用アドレス記憶部と前記３の露光用アドレス記憶部に転送される
前記（１４）に記載の撮像装置。
【符号の説明】
【０２０５】
１１  撮像装置，  １２  画素アレイ部，  １３  アドレスレコーダ，  １４  画素タイミング駆動部，  １５  カラム信号処理部，  １６  センサコントローラ，  ２１  画素，  ２２  フォトダイオード，  ２３  転送トランジスタ，  ２４  フローティングディフュージョン，  ２５  増幅トランジスタ，  ２６  選択トランジスタ，  ２７  リセットトランジスタ，  ３１  定電流部，  ３２  DAコンバータ，  ３３  ＡＤ変換器，  ３４および３５  キャパシタ，  ３６  コンパレータ，  ３７  カウンタ，  １０１  シャッタ用アドレス記憶部，  １０２  読み出し用アドレス記憶部，  １２１  第１のアドレス記憶部，  １２２  第２のアドレス記憶部，  １４１  ラッチ，  １５１  状態監視部
【図１】
2019004382.tif 000003
【図２】
2019004382.tif 000004
【図３】
2019004382.tif 000005
【図４】
2019004382.tif 000006
【図５】
2019004382.tif 000007
【図６】
2019004382.tif 000008
【図７】
2019004382.tif 000009
【図８】
2019004382.tif 000010
【図９】
2019004382.tif 000011
【図１０】
2019004382.tif 000012
【図１１】
2019004382.tif 000013
【図１２】
2019004382.tif 000014
【図１３】
2019004382.tif 000015
【図１４】
2019004382.tif 000016
【図１５】
2019004382.tif 000017
【図１６】
2019004382.tif 000018
【図１７】
2019004382.tif 000019
【図１８】
2019004382.tif 000020
【図１９】
2019004382.tif 000021
【図２０】
2019004382.tif 000022
【図２１】
2019004382.tif 000023
【図２２】
2019004382.tif 000024