(57)【要約】  本技術は、距離情報と画像を生成できるようにする撮影装置、撮影方法、プログラムに関する。光を照射する光源と、受光された光に応じた電荷を蓄積する蓄積部と、蓄積部により蓄積された電荷量から距離情報を生成する距離情報生成部と、蓄積部により蓄積された電荷量から画像を生成する画像生成部とを備え、距離情報生成部は、光源により光が照射されているときに、蓄積部に蓄積された電荷量から距離情報を生成し、画像生成部は、光源により光が照射されていないときに、蓄積部に蓄積された電荷量から画像を生成する。本技術は、対象物までの距離に関する距離情報を取得し、対象物の画像を撮影する撮影装置に適用できる。
2017217240.tif 000002
【特許請求の範囲】
【請求項１】
光を照射する光源と、
受光された光に応じた電荷を蓄積する蓄積部と、
前記蓄積部により蓄積された電荷量から距離情報を生成する距離情報生成部と、
前記蓄積部により蓄積された電荷量から画像を生成する画像生成部と
を備え、
前記距離情報生成部は、前記光源により前記光が照射されているときに、前記蓄積部に蓄積された電荷量から前記距離情報を生成し、
前記画像生成部は、前記光源により前記光が照射されていないときに、前記蓄積部に蓄積された電荷量から前記画像を生成する
撮影装置。
【請求項２】
前記蓄積部は、第１のタップと第２のタップを備え、
前記光源により前記光が照射されているときには、前記第１のタップと前記第２のタップに交互に電荷が蓄積される
請求項１に記載の撮影装置。
【請求項３】
前記光源により前記光が照射されていないときには、前記第１のタップまたは前記第２のタップの一方に電荷が蓄積される
請求項２に記載の撮影装置。
【請求項４】
前記光源により前記光が照射されていないときには、前記第１のタップと前記第２のタップのうち、一方が長時間露光時の電荷を蓄積し、他方が短時間露光時の電荷を蓄積する
請求項２に記載の撮影装置。
【請求項５】
前記第１のタップと前記第２のタップに交互に電荷が蓄積される
請求項４に記載の撮影装置。
【請求項６】
所定のフレームにおいて、前記第１のタップは、長時間露光時の電荷を蓄積し、前記第２のタップは、短時間露光時の電荷を蓄積し、
前記所定のフレームの次のフレームにおいて、前記第１のタップは、短時間露光時の電荷を蓄積し、前記第２のタップは、長時間露光時の電荷を蓄積する
請求項４に記載の撮影装置。
【請求項７】
前記画像生成部は、前記長時間露光時に蓄積された電荷量に基づく画像と前記短時間露光時に蓄積された電荷量に基づく画像とから、ダイナミックレンジの広い画像を生成する
請求項４に記載の撮影装置。
【請求項８】
前記画像生成部は、前記所定のフレームにおいて前記長時間露光時に蓄積された電荷量に基づく画像から、前記次のフレームにおいて前記短時間露光時に蓄積された電荷量に基づく画像を減算することで、前記画像を生成する
請求項６に記載の撮影装置。
【請求項９】
前記画像生成部は、前記所定のフレームにおいて前記長時間露光時に蓄積された電荷量に基づく画像から、前記次のフレームにおいて前記短時間露光時に蓄積された電荷量に基づく画像を減算することで、前記所定のフレームにおける前記画像を生成し、
前記次のフレームにおいて前記長時間露光時に蓄積された電荷量に基づく画像から、前記所定のフレームにおいて前記短時間露光時に蓄積された電荷量に基づく画像を減算することで、前記次のフレームにおける前記画像を生成する
請求項６に記載の撮影装置。
【請求項１０】
前記画像生成部は、前記所定のフレームにおいて前記長時間露光時に蓄積された電荷量に基づく画像から、前記所定のフレームにおいて前記短時間露光時に蓄積された電荷量に基づく画像を減算することで、前記所定のフレームにおける前記画像を生成する
請求項６に記載の撮影装置。
【請求項１１】
前記長時間露光時の電荷を蓄積する前記第１のタップまたは前記第２のタップに対するリセットのタイミングを調整することで、前記長時間露光の露光時間が制御される
請求項６に記載の撮影装置。
【請求項１２】
前記短時間露光時の電荷を蓄積する前記第１のタップまたは前記第２のタップに対するリセットのタイミングを調整することで、前記短時間露光の露光時間が制御される
請求項６に記載の撮影装置。
【請求項１３】
前記第１のタップまたは第２のタップの一方は、前記蓄積部に対するリセット時または前記蓄積部の飽和時に電荷を逃す領域である
請求項２に記載の撮影装置。
【請求項１４】
光を照射する光源を備える撮影装置の撮影方法において、
受光された光に応じた電荷を蓄積し、
蓄積された電荷量から距離情報を生成し、
蓄積された電荷量から画像を生成する
ステップを含み、
前記距離情報を、前記光源により前記光が照射されているときに蓄積された電荷量から生成し、
前記画像を、前記光源により前記光が照射されていないときに蓄積された電荷量から生成する
撮影方法。
【請求項１５】
光を照射する光源を備える撮影装置を制御するコンピュータに、
受光された光に応じた電荷を蓄積し、
蓄積された電荷量から距離情報を生成し、
蓄積された電荷量から画像を生成する
ステップを含み、
前記距離情報を、前記光源により前記光が照射されているときに蓄積された電荷量から生成し、
前記画像を、前記光源により前記光が照射されていないときに蓄積された電荷量から生成する
処理を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は撮影装置、撮影方法、プログラムに関し、例えば、距離測定と撮影を良好に行えるようにした撮影装置、撮影方法、プログラムに関する。
【背景技術】
【０００２】
光の速度は、３×１０8 （m/s）である。この光の速度が既知であることを用いて、光を照射し、対象物からの反射光を受光し、その遅れ時間を計測することで、対象物までの距離を測定することが提案されている。このような提案の１つとして、ＴＯＦ（Time of Flight）方式があり、この光の飛行時間を測定することで対象物までの距離を測る方法が提案されている(例えば、特許文献１参照)。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２９４４２０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＴＯＦ方式により対象物までの距離を測距する場合、照射光を照射する必要があるため、ＴＯＦ動作時には、環境光のみの画像を撮影することはできなかった。【０００５】
本技術は、このような状況に鑑みてなされたものであり、対象物までの距離の測定と撮影を良好に行えるようにするものである。
【課題を解決するための手段】
【０００６】
本技術の一側面の撮影装置は、光を照射する光源と、受光された光に応じた電荷を蓄積する蓄積部と、前記蓄積部により蓄積された電荷量から距離情報を生成する距離情報生成部と、前記蓄積部により蓄積された電荷量から画像を生成する画像生成部とを備え、前記距離情報生成部は、前記光源により前記光が照射されているときに、前記蓄積部に蓄積された電荷量から前記距離情報を生成し、前記画像生成部は、前記光源により前記光が照射されていないときに、前記蓄積部に蓄積された電荷量から前記画像を生成する。【０００７】
本技術の一側面の撮影方法は、光を照射する光源を備える撮影装置の撮影方法において、受光された光に応じた電荷を蓄積し、蓄積された電荷量から距離情報を生成し、蓄積された電荷量から画像を生成するステップを含み、前記距離情報を、前記光源により前記光が照射されているときに蓄積された電荷量から生成し、前記画像を、前記光源により前記光が照射されていないときに蓄積された電荷量から生成する。【０００８】
本技術の一側面のプログラムは、光を照射する光源を備える撮影装置を制御するコンピュータに、受光された光に応じた電荷を蓄積し、蓄積された電荷量から距離情報を生成し、蓄積された電荷量から画像を生成するステップを含み、前記距離情報を、前記光源により前記光が照射されているときに蓄積された電荷量から生成し、前記画像を、前記光源により前記光が照射されていないときに蓄積された電荷量から生成する処理を実行させる。【０００９】
本技術の一側面の撮影装置、撮影方法、プログラムにおいては、光を照射する光源が備えられ、受光された光に応じた電荷が蓄積され、蓄積された電荷量から距離情報と画像がそれぞれ生成される。距離情報は、光源により光が照射されているときに蓄積された電荷量から生成され、画像は、光源により光が照射されていないときに蓄積された電荷量から生成される。【００１０】
なお、撮影装置は、独立した装置であっても良いし、１つの装置を構成している内部ブロックであっても良い。【００１１】
また、プログラムは、伝送媒体を介して伝送することにより、または、記録媒体に記録して、提供することができる。
【発明の効果】
【００１２】
本技術の一側面によれば、対象物までの距離の測定と撮影を良好に行える。【００１３】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１４】
【図１】本技術を適用した撮影装置の一実施の形態の構成を示す図である。
【図２】画像の構造を示す図である。
【図３】ＴＯＦ方式による距離の算出について説明するための図である。
【図４】第１の駆動方式について説明するための図である。
【図５】第２の駆動方式について説明するための図である。
【図６】第３の駆動方式について説明するための図である。
【図７】第４の駆動方式について説明するための図である。
【図８】他の画素の構造を示す図である。
【図９】記録媒体について説明するための図である。
【発明を実施するための形態】
【００１５】
以下に、本技術を実施するための形態（以下、実施の形態という）について説明する。
【００１６】
＜撮影装置の構成＞
図１は、本技術を適用した撮影装置の一実施の形態の構成を示す図である。図１に示した撮影装置１０は、光源２１、光源制御部２２、撮影部２３、読み出し制御部２４、距離画像生成部２５、環境光画像生成部２６を含む構成とされている。
【００１７】
撮影装置１０は、対象物(被写体)までの距離を測定する測距機能と、被写体を撮影する撮影機能を有する。測距機能を実現するために、撮影装置１０は、光源２１と光源制御部２２を備える。光源制御部２２は、後述するように光源２１の発光を制御する。
【００１８】
撮影部２３は、撮影素子を含む構成とされ、光源２１で発光された光が、対象物にあたり、反射した反射光を受光する。なお、この反射光には、光源２１からの光と、環境光による光が含まれている。また、撮影部２３は、光源２１の発光が停止されているときに、対象物に環境光があたり、反射してきた反射光も受光する。
【００１９】
読み出し制御部２４は、光源２１で発光された光の反射光を受光しているときには、撮影部２３から信号を、距離画像生成部２５に供給し、環境光のみの反射光を受光しているときには、撮影部２３から信号を、環境光画像生成部２６に供給する。
【００２０】
距離画像生成部２５は、対象物との距離に関する画像を生成する。なおここでは、距離画像を生成するとして説明を続けるが、距離画像以外の距離情報が生成されるようにしても良い。環境光画像生成部２６は、環境光による対象物（被写体）の画像を生成する。
【００２１】
距離を測定する方法として、ＴＯＦ（Time To Flight）方式を用いた場合を例に挙げて説明する。ＴＯＦ型センサを構成する場合、撮影部２３を構成する撮影素子は、例えば、図２に示したような構成を有する。
【００２２】
図２は、撮影部２３を構成する画素群のうちの１画素を示し、１つのＴＯＦ型センサを構成している例を示す。ＴＯＦ型センサを構成する各画素は、埋め込みフォトダイオードで構成されている。Ｐ型シリコン基板５１は、ｎ＋領域５２に蓄積された電荷を２つの拡散層（ｎ＋領域５３とｎ＋領域５４）へそれぞれ転送する構造となされている。
【００２３】
この転送は、制御信号線ＴＸ１と制御信号線ＴＸ２を介して転送ゲート５５と転送ゲート５６にそれぞれ供給される制御信号ＴＸ１と制御信号ＴＸ２に基づき制御される。後述するように、ｎ＋領域５２に蓄積された電荷は、ｎ＋領域５３とｎ＋領域５４に交互に電荷転送され、電荷蓄積が行われる。
【００２４】
なおここでは、図２に示したように、２つの拡散層に電荷を転送する場合を例に挙げて説明を続けるが、電界を用いて電荷を振り分ける構造によりＴＯＦ型センサを構成する場合や、２つのフォトダイオードを１組として用いてＴＯＦ型センサを構成する場合などにも、本技術を適用することはできる。
【００２５】
ＴＯＦ型センサは、自己が発した光が、対象物に当たり、反射して帰ってくるまでの時間を計測することで、対象物までの距離を計測するセンサである。ＴＯＦ型センサは、例えば、図３に示したタイミングで動作する。
【００２６】
所定の時間、例えば、ここでは、パルス発光時間Ｔｐとする時間だけ、対象物に対して照射光が照射される。発光された照射光は、対象物に当たり、反射して戻ってくる。この反射光が、フォトダイオード５２により受光される。図３に示したように、照射光の照射が開始されてから反射光を受光するまでの時間は、対象物までの距離応じた時間となる。
【００２７】
図３以降に説明においては、ｎ＋領域５３を、第１のタップ（tap）５３と記述し、ｎ＋領域５４を第２のタップ５４と記述する。
【００２８】
第１のタップ５３は、照射光の照射が開始された時点から、パルス発光時間Ｔｐだけ受光する。この間に受光されるのは、背景光（環境光が対象物にあたり反射してくる反射光）と反射光（照射光が対象物にあたり反射してくる反射光）である。１回の受光で蓄積された受光量から、信号ｎ０が取得される。
【００２９】
第２のタップ５４は、第１のタップ５３の受光が終了された時点から、パルス発光時間Ｔｐだけ受光する。この間に受光されるのは、背景光と反射光である。１回の受光で蓄積された受光量から、信号ｎ１が取得される。
【００３０】
このように、蓄積のタイミングの位相を全く逆にした駆動が行われることで、信号ｎ０と信号ｎ１が取得される。このような駆動が複数回繰り返され、蓄積、積算が行われることで、信号Ｎ０と信号Ｎ１が、それぞれ取得される。このようにして得られた信号Ｎ０と信号Ｎ１から距離Ｄが算出される。
【００３１】
信号Ｎ０と信号Ｎ１（信号ｎ０と信号ｎ１）には、背景光を受光することで蓄積された信号も含まれるため、その背景光を除き、反射光からの信号を残すために、背景光に関しても蓄積と積算が行われ、信号Ｎ２が取得される。
【００３２】
このようにして取得される信号Ｎ０、信号Ｎ１、および信号Ｎ２を用い、以下の式（１）、（２）により、距離Ｄが算出される。
【００３３】
【数１】
2017217240.tif 000003
【００３４】
式（１）、式（２）において、Ｄは、距離を表し、ｃは、高速を表し、Ｔｐは、パルス発光時間を表す。このようにして、対象物までの距離Ｄを求めることができる。
【００３５】
ＴＯＦ型センサの照射光としては、８５０ｎｍ付近の近赤外光が利用されることが多い。この照射光は、光源２１（図１）から照射され、光源２１からの照射光は、光源制御部２２により制御される。光源制御部２２は、図３を参照して説明したように、オンとオフを所定の周期で繰り返す制御を行う。
【００３６】
撮影部２３は、第１のタップ５３と第２のタップ５４での電荷の蓄積を行う。読み出し制御部２４は、ＴＯＦセンサとして機能している期間が終了した時点で、第１のタップ５３と第２のタップ５４に、それぞれ蓄積されている電荷を読み出し、距離画像生成部２５に供給する。
【００３７】
距離画像生成部２５は、上記した式（１）、式（２）に基づき、対象物までの距離を算出する。算出された距離を、そのまま距離情報として出力されるようにしても良いし、算出された距離に応じた色で色付けするなどの処理がなされることで、距離画像が生成され、出力されるようにしても良い。
【００３８】
撮影装置１０では、上記したような処理により、距離画像（距離情報）が生成される。一方で、撮影装置１０は、環境光による被写体の撮影処理も行い、撮影画像を生成する。距離画像と撮影画像を生成する場合の撮影装置１０の処理（駆動）について、第１乃至第４の駆動方式として、以下に説明する。
【００３９】
＜第１の駆動方式＞
図４は、第１の駆動方式について説明するためのタイミングチャートである。例えば、動画を撮影する場合、１フレーム取得期間（図中、１Ｖ間隔と記載）は、ＴＯＦ駆動の期間と環境光による撮影（環境光撮影）の期間に分けられ、それぞれの期間において、それぞれの駆動が行われる。なお、撮影される画像は、静止画像であっても良いし、動画像であっても良い。
【００４０】
時刻ｔ０から時刻ｔ１は、ＴＯＦ駆動期間とされる。ＴＯＦ駆動期間においては、図３を参照して説明したようにＴＯＦ駆動が行われ、距離情報（距離画像）が取得される。ＴＯＦ駆動期間においては、光源２１は、所定の周期で、オンとオフが繰り返される。またＴＯＦ駆動期間においては、第１のタップ５３（Tap１）と第２のタップ５４（tap２）への電荷の転送が交互に行われ、蓄積が行われ、読み出しが行われる。
【００４１】
ＴＯＦ駆動期間の開始時において、第１のタップ５３と第２のタップ５４において、リセット（Reset）動作が行われ、その後、電荷の転送、蓄積、読み出しが行われる。なお、図中、ＴＯＦ駆動期間内におけるReadは、電荷の転送、蓄積の開始を示し、第１のタップ５３と第２のタップ５４からの電荷の読み出しは、環境光撮影駆動期間の開始前に行われる。
【００４２】
また読み出しは、読み出し制御部２４（図１）により制御され、第１のタップ５３または第２のタップ５４から読み出された信号は、距離画像生成部２５に供給され、距離情報の生成に用いられる。
【００４３】
時刻ｔ１から時刻ｔ２は、環境光撮影駆動期間とされる。環境光撮影駆動期間においては、第１のタップ５３への電荷の転送と蓄積が行われ、蓄積された電荷の読み出しが行われる。環境光撮影駆動期間においては、光源２１は、オフの状態とされる。すなわち、光源２１の発光は停止される。
【００４４】
環境光撮影駆動期間の開始時点（時刻ｔ１）または開始時点より前の時点において、第１のタップ５３に対してリセット処理が実行されることで、第１のタップ５３における電荷の掃き出しが行われる。
【００４５】
リセット処理後、電荷の蓄積が行われる。そして、時刻ｔ２において、第１のタップ５３に蓄積された電荷が読み出し制御部２４の制御のもと、読み出され、環境光画像生成部２６に供給される。
【００４６】
環境光画像生成部２６は、第１のタップ５３から読み出された信号に基づき、画像を生成する。この読み出される信号は、光源２１がオフにされている状態のときに受光された受光量に応じた信号である。すなわち、環境光が対象物（被写体）にあたり、反射してきた光を受光し、その受光された受光量に応じた信号である。
【００４７】
このように、１Ｖ間隔を、ＴＯＦ駆動期間と環境光撮影駆動期間に分け、ＴＯＦ駆動期間においては、距離情報が取得でき、環境光撮影駆動期間においては、環境光による被写体の画像を取得できるようにすることができる。
【００４８】
なお、ＴＯＦ駆動期間（時刻ｔ０から時刻ｔ１）と、環境光撮影駆動期間（時刻ｔ１から時刻ｔ２）は、例えば、環境撮影駆動期間、換言すれば、環境光による撮影を行う露光時間に応じて、適宜変更可能である。換言すれば、ＴＯＦ駆動期間と環境光撮影駆動期間は、固定の長さの期間であっても良いし、可変の長さの期間であっても良い。
【００４９】
また、例えば、環境光撮影駆動期間（露光時間）の長さにより時刻ｔ２より前の時点で、第１のタップ５３からの信号の読み出しが行われるようにしても良い。また、ここでは、ＴＯＦ駆動期間の後に、環境光撮影駆動期間が設けられている場合を例に挙げて説明したが、環境光撮影駆動期間の後に、ＴＯＦ駆動期間が設けられているようにしても良い。
【００５０】
また、図４を参照して説明した例では、環境光撮影駆動期間においては、第１のタップ５３が駆動される例を示したが、第２のタップ５４が駆動されるようにすることも可能である。また、以下に説明する第２乃至第４の駆動方式のように、環境光撮影駆動期間において、第１のタップ５３と第２のタップ５４の両方が駆動されるようにすることも可能である。
【００５１】
＜第２の駆動方式＞
次に、第２の駆動方式について説明する。図５は、第２の駆動方式について説明するためのタイミングチャートである。
【００５２】
第２の駆動方式においては、環境光撮影駆動期間に、第１のタップ５３と第２のタップ５４の両方で、電荷の蓄積が行われ、読み出しが行われる。
【００５３】
時刻t０から時刻ｔ１１までＴＯＦ駆動期間とされ、図４を参照して説明した第１の駆動方式におけるＴＯＦ駆動期間と同様に、ＴＯＦ駆動が行われ、距離情報が取得される。
【００５４】
時刻ｔ１１から時刻ｔ１３までの環境光撮影駆動期間とされる。まず、第１のタップ５３での電荷の蓄積が実行される。時刻ｔ１１よりも前の時点において、第１のタップ５３に対してリセット処理が実行されることで、第１のタップ５３における電荷の掃き出しが行われる。
【００５５】
第１のタップ５３は、時刻ｔ１１から時刻ｔ１２まで電荷の蓄積を行う。時刻ｔ１２において、第２のタップ５４に対してリセット処理が実行されることで、第２のタップ５４における電荷の掃き出しが行われる。第２のタップ５４は、時刻ｔ１２から時刻ｔ１３まで電荷の蓄積を行う。
【００５６】
時刻ｔ１３において、第１のタップ５３と第２のタップ５４にそれぞれ蓄積された電荷が、読み出し制御部２４の制御のもと、読み出され、環境光画像生成部２６に供給される。
【００５７】
環境光画像生成部２６は、第１のタップ５３と第２のタップ５４から読み出された信号に基づき、画像を生成する。この読み出される信号は、光源２１がオフにされている状態のときに受光された受光量に応じた信号である。すなわち、環境光が対象物（被写体）にあたり、反射してきた光を受光し、その受光された受光量に応じた信号である。
【００５８】
また、時刻ｔ１１から時刻ｔ１２までの時間（時間Ｔ１とする）と、時刻ｔ１２から時刻ｔ１３（時間Ｔ２とする）は、時間Ｔ1の方が、時間Ｔ２よりも短い時間とされている。換言すれば、第１のタップ５３に対する露光時間は、第２のタップ５４に対する露光時間よりも短い露光時間に設定されている。
【００５９】
すなわち、この場合、第１のタップ５３は、短時間露光時の電荷を蓄積し、第２のタップ５４は、長時間露光時の電荷を蓄積する。よって、第２の駆動方式によれば、短時間露光時の画像と長時間露光時の画像を得ることができる。このように、環境光画像生成部２６は、短時間露光時の画像と長時間露光時の画像を得ることができ、この得られた短時間露光時の画像と長時間露光時の画像を合成することで、ダイナミックレンジの広い画像（HDR（High Dynamic Range）画像）を生成する。
【００６０】
このように、１Ｖ間隔を、ＴＯＦ駆動期間と環境光撮影駆動期間に分け、ＴＯＦ駆動期間においては、距離情報が取得でき、環境光撮影駆動期間においては、環境光による被写体の画像を取得できるようにすることができる。また取得される環境光による被写体の画像は、HDR画像とすることができる。
【００６１】
なお、第１の駆動方式と同じく、ＴＯＦ駆動期間（時刻ｔ０から時刻ｔ１１）と、環境光撮影駆動期間（時刻ｔ１１から時刻ｔ１３）は、例えば、環境光による撮影を行う露光時間に応じて、適宜変更可能である。換言すれば、ＴＯＦ駆動期間と環境光撮影駆動期間は、それぞれ固定の長さの期間であっても良いし、可変の長さの期間であっても良い。
【００６２】
また、短時間露光（時刻ｔ１１から時刻ｔ１２）と、長時間露光（時刻ｔ１２から時刻ｔ１３）の長さは、それぞれ固定の露光時間であっても良いし、可変の露光時間であっても良い。
【００６３】
また、図５を参照して説明した例では、環境光撮影駆動期間においては、短時間露光の後、長時間露光が行われる場合を例に挙げて説明したが、長時間露光の後、短時間露光が行われるようにしても良い。
【００６４】
また、環境光撮影駆動期間においては、先に第１のタップ５３が駆動される例を示したが、先に第２のタップ５４が駆動されるようにすることも可能である。
【００６５】
＜第３の駆動方式＞
次に、第３の駆動方式について説明する。図６は、第３の駆動方式について説明するためのタイミングチャートである。
【００６６】
第３の駆動方式においては、環境光撮影駆動期間に、第１のタップ５３と第２のタップ５４の両方で、電荷の蓄積が行われ、読み出しが行われる。また、第３の駆動方式においては、環境光撮影駆動期間に、第１のタップ５３と第２のタップ５４のそれぞれで、交互に複数回の蓄積が行われる。
【００６７】
時刻t０から時刻ｔ２１までＴＯＦ駆動期間とされ、図４を参照して説明した第１の駆動方式におけるＴＯＦ駆動期間と同様に、ＴＯＦ駆動が行われ、距離情報が取得される。
【００６８】
時刻ｔ２１から時刻ｔ３２までの環境光撮影駆動期間とされる。まず、第１のタップ５３での電荷の蓄積が実行される。時刻ｔ２１よりも前の時点において、第１のタップ５３に対してリセット処理が実行されることで、第１のタップ５３における電荷の掃き出しが行われる。
【００６９】
第１のタップ５３は、時刻ｔ２１から時刻ｔ２２まで電荷の蓄積を行う。時刻ｔ２２において、第２のタップ５４に対してリセット処理が実行されることで、第２のタップ５４における電荷の掃き出しが行われる。第２のタップ５４は、時刻ｔ２２から時刻ｔ２３まで電荷の蓄積を行う。
【００７０】
時刻ｔ２３において、第２のタップ５４での蓄積から、第１のタップ５３での蓄積に切り換えられる。時刻ｔ２３から時刻ｔ２４まで、第１のタップ５３での電荷の蓄積が行われる。時刻ｔ２４において、第１のタップ５３での蓄積から、第２のタップ５４での蓄積に切り換えられる。時刻ｔ２４から時刻ｔ２５まで、第２のタップ５４での電荷の蓄積が行われる。
【００７１】
時刻ｔ２５において、第２のタップ５４での蓄積から、第１のタップ５３での蓄積に切り換えられる。時刻ｔ２５から時刻ｔ２６まで、第１のタップ５３での電荷の蓄積が行われる。時刻ｔ２６において、第１のタップ５３での蓄積から、第２のタップ５４での蓄積に切り換えられる。時刻ｔ２６から時刻ｔ２７まで、第２のタップ５４での電荷の蓄積が行われる。
【００７２】
時刻ｔ２７において、第２のタップ５４での蓄積から、第１のタップ５３での蓄積に切り換えられる。時刻ｔ２７から時刻ｔ２８まで、第１のタップ５３での電荷の蓄積が行われる。時刻ｔ２８において、第１のタップ５３での蓄積から、第２のタップ５４での蓄積に切り換えられる。時刻ｔ２８から時刻ｔ２９まで、第２のタップ５４での電荷の蓄積が行われる。
【００７３】
時刻ｔ２９において、第２のタップ５４での蓄積から、第１のタップ５３での蓄積に切り換えられる。時刻ｔ２９から時刻ｔ３０まで、第１のタップ５３での電荷の蓄積が行われる。時刻ｔ３０において、第１のタップ５３での蓄積から、第２のタップ５４での蓄積に切り換えられる。時刻ｔ３０から時刻ｔ３１まで、第２のタップ５４での電荷の蓄積が行われる。
【００７４】
時刻ｔ３１において、第２のタップ５４での蓄積から、第１のタップ５３での蓄積に切り換えられる。時刻ｔ３１から時刻ｔ３２まで、第１のタップ５３での電荷の蓄積が行われる。時刻ｔ３２において、第１のタップ５３での蓄積から、第２のタップ５４での蓄積に切り換えられる。時刻ｔ３２から時刻ｔ３３まで、第２のタップ５４での電荷の蓄積が行われる。
【００７５】
時刻ｔ３３において、第１のタップ５３と第２のタップ５４にそれぞれ蓄積された電荷が、読み出し制御部２４の制御のもと、読み出され、環境光画像生成部２６に供給される。
【００７６】
環境光画像生成部２６は、第１のタップ５３と第２のタップ５４から読み出された信号に基づき、画像を生成する。この読み出される信号は、光源２１がオフにされている状態のときに受光された受光量に応じた信号である。すなわち、環境光が対象物（被写体）にあたり、反射してきた光を受光し、その受光された受光量に応じた信号である。
【００７７】
また、第１のタップ５３が電荷を蓄積している時間（時間Ｔ１１とする）は、時刻ｔ２１から時刻ｔ２２、時刻ｔ２３から時刻ｔ２４、時刻ｔ２５から時刻ｔ２６、時刻ｔ２７から時刻ｔ２８、時刻ｔ２９から時刻ｔ３０、時刻ｔ３１から時刻ｔ３２を加算した時間である。
【００７８】
同様に、第２のタップ５４が電荷を蓄積している時間（時間Ｔ１２とする）は、時刻ｔ２２から時刻ｔ２３、時刻ｔ２４から時刻ｔ２５、時刻ｔ２６から時刻ｔ２７、時刻ｔ２８から時刻ｔ２９、時刻ｔ３０から時刻ｔ３１、時刻ｔ３２から時刻ｔ３３を加算した時間である。
【００７９】
時間Ｔ１１と時間Ｔ１２を比較すると、時間Ｔ１１の方が時間Ｔ１２よりも長い時間である。換言すれば、第１のタップ５３に対する露光時間は、第２のタップ５４に対する露光時間よりも長い露光時間に設定されている。
【００８０】
すなわち、この場合、第１のタップ５３は、長時間露光時の電荷を蓄積し、第２のタップ５４は、短時間露光時の電荷を蓄積する。よって、第３の駆動方式によれば、長時間露光時の画像と短時間露光時の画像を得ることができる。このように、環境光画像生成部２６は、長時間露光時の画像と短時間露光時の画像を得ることができ、この得られた長時間露光時の画像と短時間露光時の画像を合成することで、ダイナミックレンジの広い画像（HDR画像）を生成する。
【００８１】
このように、１Ｖ間隔を、ＴＯＦ駆動期間と環境光撮影駆動期間に分け、ＴＯＦ駆動期間においては、距離情報が取得でき、環境光撮影駆動期間においては、環境光による被写体の画像を取得できるようにすることができる。また取得される環境光による被写体の画像は、HDR画像とすることができる。
【００８２】
なお、第１、第２の駆動方式と同じく、ＴＯＦ駆動期間（時刻ｔ０から時刻ｔ１１）と、環境光撮影駆動期間（時刻ｔ２１から時刻ｔ３３）は、例えば、環境光による撮影を行う露光時間に応じて、適宜変更可能である。換言すれば、ＴＯＦ駆動期間と環境光撮影駆動期間は、それぞれ固定の長さの期間であっても良いし、可変の長さの期間であっても良い。
【００８３】
また、長時間露光（時間Ｔ１１）と、短時間露光（時間Ｔ１２）の長さは、それぞれ固定の露光時間であっても良いし、可変の露光時間であっても良い。
【００８４】
また、図６を参照して説明した例では、環境光撮影駆動期間においては、第１のタップ５３が長時間露光に対応し、第２のタップ５４が短時間露光に対応している場合を例に挙げて説明したが、第１のタップ５３が短時間露光に対応し、第２のタップ５４が長時間露光に対応しているように構成することも可能である。
【００８５】
また、環境光撮影駆動期間においては、先に第１のタップ５３が駆動される例を示したが、先に第２のタップ５４が駆動されるようにすることも可能である。
【００８６】
第３の駆動方式は、動被写体に強いＨＤＲ画像を生成することができる。第３の駆動方式においては、上記したように、第１のタップ５３と第２のタップ５４に交互に電荷が蓄積されるため、動被写体を撮影したときに、その影響を軽減した撮影を行うことができる。
【００８７】
＜第４の駆動方式＞
次に、第４の駆動方式について説明する。図７は、第４の駆動方式について説明するためのタイミングチャートである。
【００８８】
第４の駆動方式においては、環境光撮影駆動期間に、第１のタップ５３と第２のタップ５４の両方で、電荷の蓄積が行われ、読み出しが行われる。
【００８９】
時刻t０から時刻ｔ４１までＴＯＦ駆動期間とされ、図４を参照して説明した第１の駆動方式におけるＴＯＦ駆動期間と同様に、ＴＯＦ駆動が行われ、距離情報が取得される。
【００９０】
時刻ｔ４１から時刻ｔ４３まで、環境光撮影駆動期間とされる。まず、第１のタップ５３での電荷の蓄積が実行される。時刻ｔ４１よりも前の時点において、第１のタップ５３に対してリセット処理が実行されることで、第１のタップ５３における電荷の掃き出しが行われる。
【００９１】
第１のタップ５３は、時刻ｔ４１から時刻ｔ４２まで電荷の蓄積を行う。時刻ｔ４２において、第２のタップ５４に対してリセット処理が実行されることで、第２のタップ５４における電荷の掃き出しが行われる。第２のタップ５４は、時刻ｔ４２から時刻ｔ４３まで電荷の蓄積を行う。
【００９２】
時刻ｔ４３において、第１のタップ５３と第２のタップ５４にそれぞれ蓄積された電荷が、読み出し制御部２４の制御のもと、読み出され、環境光画像生成部２６に供給される。
【００９３】
時刻ｔ４１から時刻ｔ４２までの時間（時間Ｔ２１とする）と、時刻ｔ４２から時刻ｔ４３（時間Ｔ２２とする）は、時間Ｔ２１の方が、時間Ｔ２２よりも長い時間とされている。換言すれば、第１のタップ５３に対する露光時間は、第２のタップ５４に対する露光時間よりも長い露光時間に設定されている。
【００９４】
時間Ｔ２２は、短時間露光であるが、上記した例えば、第２、第３の駆動方式における短時間露光時間よりもさらに短い時間とされ、ごく短い時間だけ露光している期間とされる。時間Ｔ２２の露光時に得られる信号は、ダークノイズ相当の信号とされ、ダークノイズを除去するための信号として用いられる。
【００９５】
ダークノイズを除去するために、２フレーム分の信号が用いられる。まずこのようにして、１フレーム目の撮影が行われると、次の期間において、２フレーム目の撮影が行われる。
【００９６】
２フレーム目の撮影も、１フレーム目の撮影と基本的に同様に行われる。まず、時刻t４３から時刻ｔ４４までＴＯＦ駆動期間とされ、ＴＯＦ駆動が行われ、距離情報が取得される。
【００９７】
なお、２フレーム目の撮影時には、ＴＯＦ駆動期間を省略し、環境光撮影駆動期間だけが設けられるようにしても良い。距離情報を、フレーム毎に取得する必要がある場合には、フレーム毎にＴＯＦ駆動期間が設けられ、フレーム毎に取得する必要が無い場合には、例えば、２フレーム毎にＴＯＦ駆動期間が設けられるようにすることも可能である。
【００９８】
すなわち、距離情報を取得する頻度は、距離情報をどのように用いるかなどに依存して設定することができ、その設定に基づき、ＴＯＦ駆動期間が設けられるようにすることができる。ここでは、フレーム毎にＴＯＦ駆動期間が設けられているとして説明を続ける。
【００９９】
時刻ｔ４４から時刻ｔ４６まで、２フレームに対する環境光撮影駆動期間とされる。まず、第２のタップ５４での電荷の蓄積が実行される。時刻ｔ４４よりも前の時点において、第２のタップ５４に対してリセット処理が実行されることで、第２のタップ５４における電荷の掃き出しが行われる。
【０１００】
第２のタップ５４は、時刻ｔ４４から時刻ｔ４５まで電荷の蓄積を行う。時刻ｔ４５において、第１のタップ５３に対してリセット処理が実行されることで、第１のタップ５３における電荷の掃き出しが行われる。第１のタップ５３は、時刻ｔ４５から時刻ｔ４６まで電荷の蓄積を行う。
【０１０１】
時刻ｔ４６において、第１のタップ５３と第２のタップ５４にそれぞれ蓄積された電荷が、読み出し制御部２４の制御のもと、読み出され、環境光画像生成部２６に供給される。
【０１０２】
２フレーム目においては、時刻ｔ４４から時刻ｔ４５までの時間（時間Ｔ２３とする）と、時刻ｔ４５から時刻ｔ４６（時間Ｔ２４とする）は、時間Ｔ２３の方が、時間Ｔ２４よりも長い時間とされている。換言すれば、第２のタップ５４に対する露光時間は、第１のタップ５３に対する露光時間よりも長い露光時間に設定されている。
【０１０３】
１フレーム目の撮影においては、第１のタップ５３が長時間露光により電荷を蓄積し、第２のタップ５４が短時間露光により電荷を蓄積した。２フレーム目の撮影においては、第２のタップ５４が長時間露光により電荷を蓄積し、第１のタップ５３が短時間露光により電荷を蓄積する。
【０１０４】
このように、１フレーム目と２フレーム目とでは、長時間露光と短時間露光をそれぞれ担当するタップが反転される。
【０１０５】
ここで、１フレーム目（ｎフレーム目、以下、フレームＦnとする）の環境光撮影駆動期間ｎの長時間露光時に得られる画像（時刻ｔ４１から時刻ｔ４２において、第１のタップ５３で蓄積された電荷に基づく画像）を、長時間露光画像Ｉ1,nとし、短時間露光時に得られる画像（時刻ｔ４２から時刻ｔ４３において、第２のタップ５４で蓄積された電荷に基づく画像）を、短時間露光画像Ｉ2,nとする。
【０１０６】
同様に、２フレーム目（ｎ＋１フレーム目、以下、フレームＦn+1とする）の環境光撮影駆動期間ｎ＋１の長時間露光時に得られる画像（時刻ｔ４４から時刻ｔ４５において、第２のタップ５４で蓄積された電荷に基づく画像）を、長時間露光画像Ｉ2,n+1とし、短時間露光時に得られる画像（時刻ｔ４５から時刻ｔ４６において、第１のタップ５３で蓄積された電荷に基づく画像）を、短時間露光画像Ｉ1,n+1とする。
【０１０７】
このようにした場合、ｎフレーム目で得られる短時間露光時の画像（ここでは、短時間露光画像Ｉ2,n）は、ノイズ成分による画像となり、長時間露光時の画像（ここでは、長時間露光画像Ｉ1,n）は、ノイズ成分と環境光成分による画像となる。
【０１０８】
同様に、ｎ＋１フレーム目で得られる短時間露光時の画像（ここでは、短時間露光画像Ｉ1,n+1）は、ノイズ成分による画像となり、長時間露光時の画像（ここでは、長時間露光画像Ｉ2,n+1）は、ノイズ成分と環境光成分による画像となる。
【０１０９】
ノイズ成分を除去した画像を生成するには、ノイズ成分と環境光成分による画像から、ノイズ成分の画像を減算すれば良いことがわかる。同一タップから得られるノイズ成分と環境光成分による画像から、ノイズ成分の画像を減算し、ノイズ成分が除去された画像（フレーム）を生成する場合、以下の式により求めることができる。
【０１１０】
１フレーム目（フレームＦn）は、以下の式により求められる。
フレームＦn＝長時間露光画像Ｉ1,n−短時間露光画像Ｉ1,n-1
【０１１１】
２フレーム目（フレームＦn+1）は、以下の式により求められる。
フレームＦn+1＝長時間露光画像Ｉ2,n+1−短時間露光画像Ｉ2,n
【０１１２】
３フレーム目（フレームＦn+2）は、以下の式により求められる。
フレームＦn+2＝長時間露光画像Ｉ1,n+2−短時間露光画像Ｉ1,n+1
【０１１３】
以下、４フレーム（フレームＦn+3）以降も同様に求められる。すなわち、生成するフレーム（例えば、フレームＦn）時に得られた長時間露光時の画像（例えば、長時間露光画像Ｉ1,n）から、前のフレーム（例えば、フレームＦn-1）時に得られた短時間露光時の画像（例えば、短時間露光画像Ｉ1,n-1）が減算されることで求められる。
【０１１４】
この場合、同一タップ（第１のタップ５３または第２のタップ５４）から得られた長時間露光時の画像と短時間露光時の画像の差分が算出されることで、ノイズが除去された画像が生成される。タップによりノイズ成分が異なる場合もあるため、同一のタップから得られる画像同士の差分で、ノイズが除去された画像が生成される。
【０１１５】
上記したノイズ除去の方法（第１のノイズ除去方法と記述する）によると、同一タップから得られる長時間露光時の画像と、短時間露光時の画像が用いられ、環境光撮影駆動期間ｎの長時間露光時の画像より前の時点の環境光撮影駆動期間ｎ−１で得られる短時間露光時の画像が減算されることで、ノイズが除去される。
【０１１６】
すなわち、２フレーム分の環境光撮影駆動期間内で得られる画像を用いてノイズを除去した画像を生成する。
【０１１７】
この２フレーム分の画像を用いてノイズを除去する点は同一であるが、長時間露光時の画像より前の時点で得られる短時間露光時の画像を減算することで、ノイズを除去するときと、長時間露光時の画像より後の時点で得られる短時間露光時の画像を減算することで、ノイズを除去するときとを交互に繰り返すことで、ノイズを除去した画像を生成する方法（第２のノイズ除去方法と記述する）について説明を加える。
【０１１８】
第２のノイズ除去方法によると、１フレーム目（フレームＦn）は、以下の式により求められる。
フレームＦn＝長時間露光画像Ｉ1,n−短時間露光画像Ｉ1,n+1
【０１１９】
２フレーム目（フレームＦn+1）は、以下の式により求められる。
フレームＦn+1＝長時間露光画像Ｉ2,n+1−短時間露光画像Ｉ2,n
【０１２０】
３フレーム目（フレームＦn+2）は、以下の式により求められる。
フレームＦn+2＝長時間露光画像Ｉ1,n+2−短時間露光画像Ｉ1,n+3
【０１２１】
４フレーム目（フレームＦn+3）は、以下の式により求められる。
フレームＦn+3＝長時間露光画像Ｉ2,n+3−短時間露光画像Ｉ2,n+2
【０１２２】
以下、５フレーム（フレームＦn+4）以降も同様に求められる。
【０１２３】
フレームＦnは、環境光撮影駆動期間ｎ内に第１のタップ５３から得られる長時間露光画像Ｉ1,nから、環境光撮影駆動期間ｎの後の環境光撮影駆動期間ｎ＋１内に第１のタップ５３から得られる短時間露光画像Ｉ1,n+1が減算されることで求められる。
【０１２４】
フレームＦn+1は、環境光撮影駆動期間ｎ＋１内に第２のタップ５４から得られる長時間露光画像Ｉ2,n+1から、環境光撮影駆動期間ｎ＋１の前の環境光撮影駆動期間ｎ内に第２のタップ５４から得られる短時間露光画像Ｉ2,nが減算されることで求められる。
【０１２５】
第２のノイズ除去方法によると、環境光撮影駆動期間ｎと環境光撮影駆動期間ｎ＋１にそれぞれ得られる長時間露光時の画像と短時間露光時の画像から、フレームＦnとフレームＦn+1がそれぞれ生成される。
【０１２６】
同様に、第２のノイズ除去方法によると、環境光撮影駆動期間ｎ＋２と環境光撮影駆動期間ｎ＋３にそれぞれ得られる長時間露光時の画像と短時間露光時の画像から、フレームＦn+2とフレームＦn+3がそれぞれ生成される。
【０１２７】
このように、第２のノイズ除去方法によると、連続する２つの環境光撮影駆動期間内でそれぞれ得られる長時間露光時の画像と短時間露光時の画像から、２フレームが生成される。この場合、２つの環境光撮影駆動期間で閉じられた処理とされる。
【０１２８】
さらに、１つの環境光撮影駆動期間で閉じられた処理で、ノイズが除去される画像が生成されるようにしても良い（第３のノイズ除去方法とする）。
【０１２９】
第３のノイズ除去方法によると、１フレーム目（フレームＦn）は、以下の式により求められる。
フレームＦn＝長時間露光画像Ｉ1,n−短時間露光画像Ｉ2,n
【０１３０】
２フレーム目（フレームＦn+1）は、以下の式により求められる。
フレームＦn+1＝長時間露光画像Ｉ2,n+1−短時間露光画像Ｉ1,n+1
【０１３１】
以下、３フレーム（フレームＦn+2）以降も同様に求められる。
【０１３２】
フレームＦnは、環境光撮影駆動期間ｎ内に第１のタップ５３から得られる長時間露光画像Ｉ1,nと、第２のタップ５４から得られる短時間露光画像Ｉ2,nが減算されることで求められる。
【０１３３】
フレームＦnは、環境光撮影駆動期間ｎ＋１内に第２のタップ５４から得られる長時間露光画像Ｉ2,n+1と、第１のタップ５３から得られる短時間露光画像Ｉ1,n+1が減算されることで求められる。
【０１３４】
このように、同一の環境光撮影駆動期間内に得られる長時間露光時の画像と短時間露光時の画像との差分から、ノイズが除去された画像が生成される。
【０１３５】
このように、第４の駆動方式によれば、ＣＤＳ（Correlated Double Sampling）などによるノイズ除去を行わなくても、ノイズを除去した画像を生成することができる。撮影装置１０は、上記したように、距離情報も生成するが、距離情報は、例えば、図３を参照して説明したように、２つの蓄積量を減算し、差分で距離を求めるため、仮に、蓄積量にノイズ成分が含まれていても、差分により除去される。
【０１３６】
よって、例えば、ＴＯＦ方式により距離情報を取得するような場合には、ＣＤＳなどのノイズ除去の処理は行われない構成とされていることがある。そのようなノイズ除去の処理は行われない構成であっても、第４の駆動方式によれば、ノイズを除去した画像を生成することができる。
【０１３７】
第４の駆動方式において、長時間露光時間を飽和しない時間とするために、リセットのタイミングを調整するようにしても良い。
【０１３８】
例えば、図７において、時刻ｔ４１（より前の時点）で、第１のタップ５３に対するリセット処理が行われるが、このリセット処理の行うタイミングを、例えば、時刻ｔ４１よりも後の時点とすることで、第１のタップ５３における電荷の蓄積時間を短くすることができる。すなわち、第１のタップ５３に対する露光時間を短くすることができる。
【０１３９】
このように、長時間露光時間を、リセットのタイミングで調整し、飽和しないように制御する仕組みを設けても良い。
【０１４０】
また、長時間露光時間は、ＴＯＦ駆動期間において取得される画素値を用いて設定されるように構成することも可能である。
【０１４１】
また同様に、短時間露光時間を飽和しない時間とするために、リセットのタイミングを調整するようにすることも可能である。また長時間露光時間と短時間露光時間の両方またはどちらか一方のリセットのタイミングを調整することで、飽和しないように制御するようにしても良い。
【０１４２】
第１乃至第３の駆動方式のいずれかと、第４の駆動方式を組み合わせることで、ノイズを除去した画像を生成することができるとともに、その画像をHDR画像とすることができる。第１乃至第３の駆動方式のいずれかと、第４の駆動方式を組み合わせる場合、時分割で組み合わせることができる。
【０１４３】
第４の駆動方式において、画素単位（またはタップ単位）で２つのグループに分割し、一方のグループを長時間露光の画素とし、他方のグループを短時間露光の画素に設定し、画素毎に上記した第４の駆動方式による駆動が行われるようにしても良い。また、ライン単位で２つのグループに分割し、一方のグループを長時間露光の画素とし、他方のグループを短時間露光の画素に設定し、画素毎に上記した第４の駆動方式による駆動が行われるようにしても良い。
【０１４４】
このように、長時間露光の画素と短時間露光の画素を設け、長時間露光画像と短時間露光画像を取得できるようにし、HDR画像が生成できる構成とすることも可能である。
【０１４５】
このように、本技術によれば、距離情報（距離画像）と環境光による環境光撮影画像を取得することができる。また、環境光撮影画像を撮影するときには、光源２１の発行を停止させるため、光源２１により消費される消費電力を低減させることが可能となる。また、ＴＯＦ駆動期間においては、第１のタップ５３と第２のタップ５４での時間方向の高速電荷振り分け駆動が行われるが、環境光撮影駆動期間においては、高速電荷振り分け駆動は行われないため、その分の消費電力を抑制することができる。
【０１４６】
上述した実施の形態においては、第１のタップ５３と第２のタップ５４という２つのタップが備えられている画素を例に挙げて説明した。すなわち、図８のＡに示すように、１つのフォトダイオード５２に対して、フォトダイオード５２で蓄積された電荷を振り分ける第１のタップ５３と第２のタップ５４という２つのタップが備えられている画素を例に挙げて説明した。
【０１４７】
しかしながら、本技術は、このような構成の画素にだけに適用範囲が限定されるわけではない。例えば、図８のＢに示すように１つのタップを備える画素に対しても上記した実施の形態を適用することができる。
【０１４８】
図８のＢに示したＴＯＦ型センサを構成する画素は、１つのフォトダイオード５２に１つのタップ１０１が備えられている。また、１つのフォトダイオード５２に、リセット時や飽和時に電荷を逃すために設けられている領域１０２（ここではドレイン１０２と称する）が備えられている。
【０１４９】
図８のＢに示した画素において、タップ１０１は、例えば、上記した第１のタップ５３または第２のタップ５４に該当する。また図８のＢに示した画素において、ドレイン１０２は、上記した第１のタップ５３または第２のタップ５４に該当する。例えば、タップ１０１が第１のタップ５３に該当する場合、ドレイン１０２は、第２のタップ５４に該当する。
【０１５０】
上述した実施の形態（第１乃至第４の実施の形態）において、第１のタップ５３をタップ１０１とし、第２のタップ５４をドレイン１０２とすることで、図８のＢに示したような１タップ構成のＴＯＦ型センサに対しても本技術を適用することができる。
【０１５１】
このように、本技術は、上記した２タップ構成のＴＯＦ型センサ以外のＴＯＦ型センサに対しても適用できる。
【０１５２】
＜記録媒体について＞
上述した一連の処理、例えば、光源２１の発光のオン、オフの制御や、露光時間の設定、設定された露光時間によるタップへの電荷の振り分けに係わる制御などは、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０１５３】
図９は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。コンピュータにおいて、ＣＰＵ（Central Processing Unit）２０１、ＲＯＭ（Read Only Memory）２０２、ＲＡＭ（Random Access Memory）２０３は、バス２０４により相互に接続されている。バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、入力部２０６、出力部２０７、記憶部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０１５４】
入力部２０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記憶部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインタフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０１５５】
以上のように構成されるコンピュータでは、ＣＰＵ２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、ＲＡＭ２０３にロードして実行することにより、上述した一連の処理が行われる。
【０１５６】
コンピュータ（ＣＰＵ２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０１５７】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ＲＯＭ２０２や記憶部２０８に、あらかじめインストールしておくことができる。
【０１５８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０１５９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１６０】
なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
【０１６１】
なお、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０１６２】
なお、本技術は以下のような構成も取ることができる。
（１）
光を照射する光源と、
受光された光に応じた電荷を蓄積する蓄積部と、
前記蓄積部により蓄積された電荷量から距離情報を生成する距離情報生成部と、
前記蓄積部により蓄積された電荷量から画像を生成する画像生成部と
を備え、
前記距離情報生成部は、前記光源により前記光が照射されているときに、前記蓄積部に蓄積された電荷量から前記距離情報を生成し、
前記画像生成部は、前記光源により前記光が照射されていないときに、前記蓄積部に蓄積された電荷量から前記画像を生成する
撮影装置。
（２）
前記蓄積部は、第１のタップと第２のタップを備え、
前記光源により前記光が照射されているときには、前記第１のタップと前記第２のタップに交互に電荷が蓄積される
前記（１）に記載の撮影装置。
（３）
前記光源により前記光が照射されていないときには、前記第１のタップまたは前記第２のタップの一方に電荷が蓄積される
前記（２）に記載の撮影装置。
（４）
前記光源により前記光が照射されていないときには、前記第１のタップと前記第２のタップのうち、一方が長時間露光時の電荷を蓄積し、他方が短時間露光時の電荷を蓄積する
前記（２）に記載の撮影装置。
（５）
前記第１のタップと前記第２のタップに交互に電荷が蓄積される
前記（４）に記載の撮影装置。
（６）
所定のフレームにおいて、前記第１のタップは、長時間露光時の電荷を蓄積し、前記第２のタップは、短時間露光時の電荷を蓄積し、
前記所定のフレームの次のフレームにおいて、前記第１のタップは、短時間露光時の電荷を蓄積し、前記第２のタップは、長時間露光時の電荷を蓄積する
前記（４）に記載の撮影装置。
（７）
前記画像生成部は、前記長時間露光時に蓄積された電荷量に基づく画像と前記短時間露光時に蓄積された電荷量に基づく画像とから、ダイナミックレンジの広い画像を生成する
前記（４）乃至（６）のいずれかに記載の撮影装置。
（８）
前記画像生成部は、前記所定のフレームにおいて前記長時間露光時に蓄積された電荷量に基づく画像から、前記次のフレームにおいて前記短時間露光時に蓄積された電荷量に基づく画像を減算することで、前記画像を生成する
前記（６）に記載の撮影装置。
（９）
前記画像生成部は、前記所定のフレームにおいて前記長時間露光時に蓄積された電荷量に基づく画像から、前記次のフレームにおいて前記短時間露光時に蓄積された電荷量に基づく画像を減算することで、前記所定のフレームにおける前記画像を生成し、
前記次のフレームにおいて前記長時間露光時に蓄積された電荷量に基づく画像から、前記所定のフレームにおいて前記短時間露光時に蓄積された電荷量に基づく画像を減算することで、前記次のフレームにおける前記画像を生成する
前記（６）に記載の撮影装置。
（１０）
前記画像生成部は、前記所定のフレームにおいて前記長時間露光時に蓄積された電荷量に基づく画像から、前記所定のフレームにおいて前記短時間露光時に蓄積された電荷量に基づく画像を減算することで、前記所定のフレームにおける前記画像を生成する
前記（６）に記載の撮影装置。
（１１）
前記長時間露光時の電荷を蓄積する前記第１のタップまたは前記第２のタップに対するリセットのタイミングを調整することで、前記長時間露光の露光時間が制御される
前記（６）乃至（１０）のいずれかに記載の撮影装置。
（１２）
前記短時間露光時の電荷を蓄積する前記第１のタップまたは前記第２のタップに対するリセットのタイミングを調整することで、前記短時間露光の露光時間が制御される
前記（６）乃至（１１）のいずれかに記載の撮影装置。
（１３）
前記第１のタップまたは第２のタップの一方は、前記蓄積部に対するリセット時または前記蓄積部の飽和時に電荷を逃す領域である
前記（２）乃至（１２）のいずれかに記載の撮影装置。
（１２）
光を照射する光源を備える撮影装置の撮影方法において、
受光された光に応じた電荷を蓄積し、
蓄積された電荷量から距離情報を生成し、
蓄積された電荷量から画像を生成する
ステップを含み、
前記距離情報を、前記光源により前記光が照射されているときに蓄積された電荷量から生成し、
前記画像を、前記光源により前記光が照射されていないときに蓄積された電荷量から生成する
撮影方法。
（１３）
光を照射する光源を備える撮影装置を制御するコンピュータに、
受光された光に応じた電荷を蓄積し、
蓄積された電荷量から距離情報を生成し、
蓄積された電荷量から画像を生成する
ステップを含み、
前記距離情報を、前記光源により前記光が照射されているときに蓄積された電荷量から生成し、
前記画像を、前記光源により前記光が照射されていないときに蓄積された電荷量から生成する
処理を実行させるためのプログラム。
【符号の説明】
【０１６３】
１０  撮影装置，  ２１  光源，  ２２  光源制御部，  ２３  撮影部，  ２４  読み出し制御部，  ２５  距離画像生成部，  ２６  環境光画像生成部
【図１】
2017217240.tif 000004
【図２】
2017217240.tif 000005
【図３】
2017217240.tif 000006
【図４】
2017217240.tif 000007
【図５】
2017217240.tif 000008
【図６】
2017217240.tif 000009
【図７】
2017217240.tif 000010
【図８】
2017217240.tif 000011
【図９】
2017217240.tif 000012
【国際調査報告】
2017217240.tif 000013
2017217240.tif 000014