(57)【要約】  撮像装置は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で、撮像素子の第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で、それぞれ被写体からの前記光によって前記電荷を蓄積させる蓄積制御部と、第１領域の複数の画素からの第１画素信号群から得た第１画像と、第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、前記被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する算出部とを備える。
2017104765.tif 000002
【特許請求の範囲】
【請求項１】
受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、
前記撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で、前記撮像素子の前記第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で、それぞれ被写体からの前記光によって前記電荷を蓄積させる蓄積制御部と、
前記第１領域の複数の画素からの第１画素信号群から得た第１画像と、前記第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、前記被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する算出部とを備える撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１蓄積時間と前記第２蓄積時間のいずれか遅い方の蓄積が終了した後に、前記第１領域および前記第２領域に含まれる複数の画素の画素信号を読み出す読出部をさらに備える撮像装置。
【請求項３】
請求項１または請求項２に記載の撮像装置において、
前記蓄積制御部は、前記第１蓄積時間と前記第２蓄積時間とを同時間とし、前記第１領域の複数の画素に対する蓄積を開始させた後に前記第２領域の複数の画素に対する蓄積を開始させる撮像装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の撮像装置において、
前記蓄積制御部は、前記第１領域の複数の画素に対する蓄積の終了前に前記第２領域の複数の画素に対する蓄積を開始させる撮像装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の撮像装置において、
前記第１画像に対して、予め設定した特徴量抽出処理を施して前記測定対象を特定し、前記第２画像に対して、予め設定した特徴量抽出処理を施して前記測定対象を特定する特定部を備え、
前記算出部は、前記第１画像および前記第２画像に共通して含まれる、前記測定対象以外の前記被写体で位置合わせした画像において、前記第１画像で特定された前記測定対象の位置と前記第２画像で特定された前記測定対象の位置との間の距離を算出する撮像装置。
【請求項６】
請求項１から請求項５のいずれか一項に記載の撮像装置において、
前記第１画像および前記第２画像において、それぞれの前記測定対象の奥行方向の距離を計測する計測部をさらに備え、
前記算出部は、前記奥行方向の距離をさらに用いて、前記測定対象の三次元の移動距離、当該移動距離に基づく速度の少なくともいずれかを算出する撮像装置。
【請求項７】
請求項６に記載の撮像装置において、
周期的に強度を変調した光を照射する照射部をさらに備え、
前記蓄積制御部は、前記第１領域に含まれる複数の画素に対しては前記第１蓄積時間で、前記第２領域に含まれる複数の画素に対しては前記第２蓄積時間で、前記光の照射周期に合わせた第１周期および第２周期でそれぞれ前記光を受光させ、
前記計測部は、前記第１画像としての、前記第１領域の複数の画素からの第１画素信号群から得た前記第１周期による第１周期画像と、前記第１画素信号群から得た前記第２周期による第２周期画像とに基づき、前記第１画像の前記測定対象の奥行方向の距離を計測するとともに、前記第２画像としての、前記第２領域の複数の画素からの第２画素信号群から得た前記第１周期による第１周期画像と、前記第２画素信号群から得た前記第２周期による第２周期画像とに基づき、前記第２画像の前記測定対象の奥行方向の距離を計測する撮像装置。
【請求項８】
請求項６または請求項７に記載の撮像装置において、
前記奥行方向の距離を用いて前記測定対象を特定する第２の特定部を備える撮像装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の撮像装置において、
前記蓄積制御部は、前記撮像素子の前記第１領域および前記第２領域と異なる第３領域に含まれる複数の画素に対して第３蓄積時間で前記被写体からの前記光によって前記電荷を蓄積 させ、
前記算出部は、前記第１画像と、前記第２画像と、前記第３領域の複数の画素からの第３画素信号群から得た第３画像とに基づいて、前記測定対象の加速度を算出する撮像装置。
【請求項１０】
請求項１から請求項９のいずれか一項に記載の撮像装置において、
前記蓄積制御部は、前記第１蓄積時間、前記第２蓄積時間と並行して、前記第１領域および前記第２領域と異なる第４領域に含まれる複数の画素に対して前記第１蓄積時間よりも短い第４蓄積時間で、前記第１領域、前記第２領域および前記第４領域と異なる第５領域に含まれる複数の画素に対して前記第２蓄積時間よりも短い第５蓄積時間で、それぞれ前記電荷を蓄積させ、
前記算出部は、前記第４領域の複数の画素からの第４画素信号群から得た第４画像と、前記第５領域の複数の画素からの第５画素信号群から得た第５画像とに基づいて、前記測定対象の移動距離、速度の少なくともいずれかを算出する撮像装置。
【請求項１１】
請求項１から請求項１０のいずれか一項に記載の撮像装置において、
前記蓄積制御部は、前記算出部が算出した移動距離、速度の少なくともいずれかに基づいて、前記第２蓄積時間の開始時間を設定する撮像装置。
【請求項１２】
受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、
前記撮像素子の複数に分かれた領域に対し、互いに異なる蓄積時間でそれぞれ被写体からの前記光によって前記電荷を蓄積させる蓄積制御部と、
前記複数に分かれた領域にそれぞれ含まれる複数の画素信号群から得た複数の画像に基づいて、測定対象の移動距離、速度、加速度の少なくともいずれかを算出する算出部とを備える撮像装置。
【請求項１３】
受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子の第１領域に含まれる複数の画素に対して第１蓄積時間で、被写体からの前記光によって前記電荷を蓄積させ、
前記撮像素子の前記第１領域と異なる第２領域に含まれる複数の画素に対して第２蓄積時間で、前記被写体からの前記光によって前記電荷を蓄積させ、
前記第１領域の複数の画素からの第１画素信号群から得た第１画像と、前記第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、測定対象の移動距離、速度の少なくともいずれかを算出する動き検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および動き検出方法に関する。
【背景技術】
【０００２】
動画像フレームのうち、隣接する２フレーム間から物体の移動量を求める技術が知られている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】日本国特開平５−２８２６９号公報
【０００４】
従来技術では、少なくとも２フレームの画像を取得する必要があった。
【発明の概要】
【０００５】
本発明の第１の態様によると、撮像装置は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で、撮像素子の第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で、それぞれ被写体からの光によって電荷を蓄積させる蓄積制御部と、第１領域の複数の画素からの第１画素信号群から得た第１画像と、第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する算出部とを備える。
本発明の第２の態様によると、撮像装置は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、撮像素子の複数に分かれた領域に対し、互いに異なる蓄積時間でそれぞれ被写体からの光によって電荷を蓄積させる蓄積制御部と、複数に分かれた領域にそれぞれ含まれる複数の画素信号群から得た複数の画像に基づいて、被写体に含まれる測定対象の移動距離、速度、加速度の少なくともいずれかを算出する算出部とを備える。
本発明の第３の態様によると、動き検出方法は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で被写体からの光によって電荷を蓄積させ、撮像素子の第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で被写体からの光によって電荷を蓄積させ、第１領域の複数の画素からの第１画素信号群から得た第１画像と、第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する。
【図面の簡単な説明】
【０００６】
【図１】カメラの使用場面を例示する図である。
【図２】図２(a)〜図２(c)は、撮像素子の撮像面における第１領域および第２領域の配置を例示する図である。
【図３】第１の実施の形態によるカメラの構成を例示する図である。
【図４】図４(a)は、第１の実施の形態による撮像タイミングを説明する図である。図４(b)〜図４(e)は、変形例における撮像タイミングを説明する図である。
【図５】図５(a)は、第１画像を説明する模式図であり、図５(b)は、第２画像を説明する模式図である。図５(c)は、第１画像に対して第２画像における対象物を合成した模式図である。
【図６】対象物の移動速度を検出する処理の流れについて説明するフローチャートである。
【図７】ＴＯＦセンサとしての撮像素子の画素を説明する図である。
【図８】第２の実施の形態における撮像タイミングの例を説明する図である。
【図９】積層型撮像素子の断面図である。
【図１０】撮像チップの画素配列と単位領域を説明する図である。
【図１１】単位領域における回路を説明する図である。
【図１２】図１１の回路に対応する撮像素子の機能的構成を示すブロック図である。
【発明を実施するための形態】
【０００７】
図１は、本発明の一実施の形態によるカメラ１の使用場面を例示する図である。カメラ１は、例えば三脚２に固定されており、移動する対象物Ｔ（例えば、走行する自動車等）を撮像する。カメラ１の撮像部１２（図３）に備わる撮像素子は、１フレームの画像を撮像する際に、撮像面の複数の領域において異なるタイミングで独立して撮像することが可能に構成される。なお、以下の説明において、撮像とは、後述するように、撮像部１２が受光した光を光電変換して電荷を蓄積することを示している。ただし、撮像の定義はこれに限らない。
【０００８】
上記カメラ１は、１フレームの撮像の際に、撮像面の第１領域と第２領域とで時刻をずらして対象物Ｔを撮像する。そして、第１領域において第１時刻で撮像された対象物Ｔの位置と、第２領域において第１時刻より後の第２時刻で撮像された対象物Ｔの位置とに基づき、対象物Ｔの移動情報（移動速度等）を検出する。
【０００９】
図２(a)〜図２(c)は、カメラ１の撮像素子の撮像面における第１領域および第２領域の配置を例示する図である。図２(a)の例によれば、第１領域は偶数列によって構成され、第２領域は奇数列によって構成される。すなわち、撮像面が偶数列と奇数列とに分割されている。
【００１０】
図２(b)の例によれば、第１領域は奇数行によって構成され、第２領域は偶数行によって構成される。すなわち、撮像面が奇数行と偶数行とに分割されている。
【００１１】
図２(c)の例によれば、第１領域は、奇数列における偶数行のブロックと、偶数列における奇数行のブロックとによって構成される。また、第２領域は、偶数列における偶数行のブロックと、奇数列における奇数行のブロックとによって構成される。すなわち、撮像面が市松模様状に分割されている。
【００１２】
図２(a)〜図２(c)のいずれの場合も、１フレームの撮像を行った撮像素子から読み出した画素信号によって、撮像時刻が異なる第１画像および第２画像が生成される。本実施の形態では、第１画像および第２画像が同じ画角で撮像され、同じ対象物Ｔを含む。このようなカメラ１について、以下に詳細に説明する。
【００１３】
（第１の実施の形態）
＜カメラの説明＞
図３は、第１の実施の形態によるカメラ１の構成を例示する図である。カメラ１は、撮像光学系１０と、制御部１１と、撮像部１２と、操作部１３と、画像処理部１４と、液晶モニタ１５と、バッファメモリ１６とを有する。また、カメラ１には、メモリカード１７等の着脱可能な記録媒体が実装されている。
なお、光源部１８は必須の構成ではなく、第１の実施の形態においては光源部１８を使用しない。
【００１４】
撮像光学系１０は、複数のレンズによって構成され、撮像部１２における撮像素子２１の撮像面に被写体像を結像させる。撮像光学系１０を構成する複数のレンズには、フォーカス調節のために光軸Ａｘ方向に進退移動するフォーカスレンズが含まれる。フォーカスレンズは、不図示のアクチュエータ（例えば超音波モータ等）によって光軸Ａｘ方向に駆動される。
【００１５】
制御部１１は、例えばマイクロプロセッサおよびその周辺回路から構成される。制御部１１は、制御部１１内の不揮発性メモリ１１ｍに格納されている制御プログラムを実行することにより、カメラ１の各部に対する制御を行う。制御部１１には、蓄積制御部１１ａと、画像生成部１１ｂと、特定部１１ｃと、算出部１１ｄと、焦点調節部１１ｅとが機能的に備えられる。これらの各機能部は、上記制御プログラムによりソフトウェア的に構成される。なお、これらの各機能部を電子回路によって構成してもよい。
【００１６】
蓄積制御部１１ａは、撮像素子２１の撮像（電荷蓄積）タイミングを制御するタイミング信号を生成し、生成したタイミング信号を撮像素子２１へ送出する。図４(a)は、本実施の形態による撮像タイミングの例を説明する図である。蓄積制御部１１ａは、時刻ｔ＝０において撮像素子２１の第１領域の電荷蓄積（蓄積１）を開始させる。蓄積１の時間は、例えば、予め設定されているシャッター速度に対応する時間ａとする。すなわち、蓄積時間とは、電荷の蓄積を開始する時刻から終了する時刻までの時間（期間）を示す。
【００１７】
なお、以下では第１領域の電荷蓄積開始から第２領域の電荷蓄積開始までの時間間隔をΔｔとして説明する。蓄積制御部１１ａは、蓄積１の開始から時間Δｔ（＝ａ）を待って撮像素子２１の第２領域の電荷蓄積（蓄積２）を開始させる。蓄積２の時間は、例えば予め設定されているシャッター速度に対応する時間ａとする。本実施の形態では、蓄積１の終了とともに蓄積２を開始させており、かつ、蓄積１および蓄積２の時間を同じ長さに制御する。すなわち、蓄積１の終了時刻ｔ＝ａが蓄積２の開始時刻であり、蓄積２の終了時刻はｔ＝２ａである。
【００１８】
蓄積制御部１１ａは、蓄積２の終了とともに、撮像部１２から画像データの読み出しを開始させる。そして、時刻ｔ＝ｃにおいて画像データの読み出しを終了する。以上説明したように、第１領域における撮像を開始した後から第２領域における撮像を開始すべく、撮像素子２１の撮像時刻が制御される。
【００１９】
図３に戻り、画像生成部１１ｂは、撮像素子２１の第１領域で取得された画像データに基づき第１画像を生成するとともに、撮像素子２１の第２領域で取得された画像データに基づき第２画像を生成する。図５(a)は、第１画像を説明する模式図であり、図５(b)は、第２画像を説明する模式図である。図５(a)において、対象物に符号ＴＡを付すとともに、図５(b)において、対象物に符号ＴＡ’を付している。対象物ＴＡと対象物ＴＡ’は同一の対象物であるが、第１領域と第２領域とで時刻をずらして対象物を撮像しているため、対象物が移動した分だけ画像内での位置が異なっている。
【００２０】
特定部１１ｃは、第１画像から対象物ＴＡを示す特徴量を抽出するとともに、第２画像から対象物ＴＡ’を示す特徴量を抽出する。一例を説明すると、特定部１１ｃは、画像における対象物ＴＡ、ＴＡ’の形状、色、輝度、輪郭等に基づき公知の手法を用いて特徴量を抽出する。
【００２１】
特定部１１ｃはさらに、抽出した特徴量に基づき、第１画像における対象物ＴＡの位置を求めるとともに、第２画像における対象物ＴＡ’の位置を求める。対象物ＴＡ、ＴＡ’の位置は、例えば、対象物ＴＡ、ＴＡ’をそれぞれ構成する画素信号が読み出された複数の画素の位置の重心で表すことができる。
なお、第１画像の対象物ＴＡについての特徴点の位置を対象物ＴＡの位置とし、第２画像の対象物ＴＡ’についての特徴点の位置を対象物ＴＡ’の位置としてもよい。特徴点とは、画像において対象物の特徴的な形状等を示す点をいう。
【００２２】
図５(c)は、第１画像に対して第２画像における対象物ＴＡ’を合成した模式図である。算出部１１ｄは、合成時の第１画像および第２画像の位置合わせのために、第１画像および第２画像において共通に含まれ、静止している背景の標識等Ｐを用いることができる。算出部１１ｄは、第１画像における対象物ＴＡの位置と、第２画像における対象物ＴＡ’の位置との間の間隔Ｄを画素単位で求め、上記対象物ＴＡ、ＴＡ’の間隔Ｄに所定係数を乗算することによって、対象物Ｔの移動距離Ｌを算出する。
【００２３】
上記所定係数は、画像の１画素ピッチ当たりの距離を示す。画像の単位画素当たりの距離は、撮像素子２１の画素ピッチや、撮像光学系１０の焦点距離などによって異なる。そこで、所定係数として撮像素子２１や撮像光学系１０の設計データに基づく値を用意し、予め制御部１１内の不揮発性メモリ１１ｍに格納しておく。算出部１１ｄは、所定係数を不揮発性メモリ１１ｍから読み出し、読み出した係数を上記対象物ＴＡ、ＴＡ’の間隔Ｄに乗算する。
【００２４】
算出部１１ｄはさらに、対象物Ｔの移動距離Ｌを第１画像の撮像時刻と第２画像の撮像時刻との差（すなわち時間Δｔ）で除算することにより、対象物Ｔの移動速度ｖを算出することができる。
なお、図５(c)の模式図は、説明をわかりやすくするために記載したもので、算出部１１ｄが必ずしも合成画像を生成する必要はない。たとえば、カメラ１が固定されている場合、第１画像と第２画像の撮影範囲は同じなので、第１画像における対象物ＴＡの位置と、第２画像における対象物ＴＡ’の位置をそのまま用いて両者の間隔Ｄを求めればよい。この場合、第１画像および第２画像に共通する標識等Ｐは同じ位置にあるため、合成画像を生成しなくても、第１画像および第２画像を標識等Ｐで位置合わせしたと考えることができる。
【００２５】
焦点調節部１１ｅは、撮像素子２１の所定画素から読み出された信号に基づき、撮像光学系１０の焦点調節を行う。焦点調節部１１ｅは、例えば、撮像素子２１に設けられた不図示の焦点検出用画素から出力される信号を用いて公知の位相差方式の焦点検出演算を行う。焦点調節部１１ｅは、この演算によって撮像光学系１０のデフォーカス量を求め、求めたデフォーカス量に応じてフォーカスレンズの移動量を算出する。制御部１１が不図示のアクチュエータによってフォーカスレンズを上記移動量だけ駆動させることにより、撮像光学系１０の自動焦点調節を行うことができる。
【００２６】
撮像部１２は、撮像素子２１、増幅回路２２、およびＡＤ変換回路２３を有する。撮像素子２１は複数の画素から構成されており、各画素は、撮像光学系１０によって結像された光（被写体像）を光電変換して電荷を蓄積する。各画素位置には、赤色、緑色、および青色のいずれかの光を透過するフィルタがベイヤー(Bayer)配列されたカラーフィルタ２１ａが設けられている。
【００２７】
増幅回路２２は、撮像素子２１の各画素から読み出された信号を所定の増幅率（ゲイン）で増幅し、増幅した信号をＡＤ変換回路２３へ出力する。ＡＤ変換回路２３は、入力された信号をＡＤ変換する。撮像部１２から読み出されるデジタルデータは、画像データとしてバッファメモリ１６に格納される。
【００２８】
バッファメモリ１６に格納された画像データに対しては、画像処理部１４は、各種の画像処理を施す。画像処理した画像は、液晶モニタ１５に表示されたり、メモリカード１７に格納されたりする。メモリカード１７は、不揮発性のフラッシュメモリなどから構成され、カメラ１に対して着脱可能である。
【００２９】
画像処理部１４は、例えばＡＳＩＣ等により構成されており、バッファメモリ１６をワークスペースとして、上記第１領域に対応する第１画像のデータ、および上記第２領域に対応する第２画像のデータに対する画像処理を行う。画像処理には、ベイヤー配列において不足する色の信号を補間する色補間処理や、赤色、緑色、および青色の信号に対するゲイン比を調整するホワイトバランス処理の他、ガンマ補正や階調調整などの処理が含まれる。また、必要に応じて所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理も含まれる。
【００３０】
操作部１３は、レリーズボタンやモード切り替えボタン、電源ボタンなど各種の操作ボタンから構成されている。操作部１３は、ユーザによる上記の各操作ボタンの操作に応じた操作信号を制御部１１へ出力する。
【００３１】
＜移動速度の検出＞
制御部１１は、第１画像における対象物ＴＡの位置と、第２画像における対象物ＴＡ’の位置との間の間隔Ｄに基づき、対象物Ｔの移動速度ｖを検出する。このような速度検出処理の流れについて、図６のフローチャートを参照して説明する。
【００３２】
制御部１１は、操作部１３を構成するモード切り替えボタンが操作されると、カメラ１の動作モードを切り替える。制御部１１は、操作部１３から速度検出モードへの切り替え操作信号が入力された場合に、図６による処理を開始させる。
【００３３】
図６のステップＳ１１０において、制御部１１の蓄積制御部１１ａは、撮像素子２１へタイミング信号を送出し、撮像素子２１の第１領域において蓄積１を開始させてステップＳ１２０へ進む。
図４(a)に図示したように、蓄積１の蓄積時間は、予め設定されているシャッター速度に対応する時間ａである。蓄積制御部１１ａは、蓄積１の開始時から時間ａが経過すると、撮像素子２１の第１領域において蓄積１を終了させる。
【００３４】
ステップＳ１２０において、制御部１１の蓄積制御部１１ａは、蓄積１の開始時から時間Δｔが経過したか否かを判定する。蓄積制御部１１ａは、時間Δｔが経過した場合にステップＳ１２０を肯定判定してステップＳ１３０へ進む。蓄積制御部１１ａは、時間Δｔが経過しない場合には、ステップＳ１２０を否定判定して時間Δｔの経過を待つ。
【００３５】
ステップＳ１３０において、制御部１１の蓄積制御部１１ａは、撮像素子２１へタイミング信号を送出し、撮像素子２１の第２領域において蓄積２を開始させてステップＳ１４０へ進む。
図４(a)に図示したように、蓄積２の蓄積時間は、予め設定されているシャッター速度に対応する時間ａである。蓄積制御部１１ａは、蓄積２の開始時から時間ａが経過すると、撮像素子２１の第２領域において蓄積２を終了させる。
【００３６】
ステップＳ１４０において、制御部１１の蓄積制御部１１ａは、撮像素子２１における蓄積が終了したか否かを判定する。蓄積制御部１１ａは、蓄積１および蓄積２がいずれも終了した場合にステップＳ１４０を肯定判定してステップＳ１５０へ進む。蓄積制御部１１ａは、蓄積１または蓄積２が継続している場合には、ステップＳ１４０を否定判定して蓄積の終了を待つ。
【００３７】
ステップＳ１５０において、制御部１１の蓄積制御部１１ａは、撮像部１２から画像データの読み出しを開始させる。蓄積制御部１１ａは、撮像素子２１の第１領域で取得された画像データと、撮像素子２１の第２領域で取得された画像データとを読み出すと、画像データの読み出しを終了させてステップＳ１６０へ進む。
【００３８】
ステップＳ１６０において、制御部１１の画像生成部１１ｂは、第１領域で取得された画像データに基づき第１画像を生成するとともに、撮像素子２１の第２領域で取得された画像データに基づき第２画像を生成してステップＳ１７０へ進む。
【００３９】
ステップＳ１７０において、制御部１１の特定部１１ｃは、第１画像の対象物ＴＡを特定するとともに、第２画像の対象物ＴＡ’を特定してステップＳ１８０へ進む。ステップＳ１８０において、制御部１１の算出部１１ｄは、第１画像における対象物ＴＡの位置と、第２画像における対象物ＴＡ’の位置との間の間隔Ｄを求めてステップＳ１９０へ進む。
【００４０】
ステップＳ１９０において、制御部１１の算出部１１ｄは、上記対象物ＴＡ、ＴＡ’の間隔Ｄに所定係数を乗算することによって対象物Ｔの移動距離Ｌを算出する。算出部１１ｄはさらに、移動距離Ｌを、蓄積１と蓄積２との間の開始時刻の差（時間Δｔ）で除算することにより、対象物Ｔの移動速度ｖを算出し、図６による処理を終了する。
【００４１】
次のような変形も本発明の範囲内であり、変形例の一つ、もしくは複数を上述の実施の形態と組み合わせることも可能である。
（変形例１）
第１の実施の形態の説明では、第１画像と第２画像とにそれぞれ対象物Ｔが含まれていることが必要である。しかしながら、第１領域における蓄積１の開始時点から第２領域における蓄積２の開始時点までの時間Δｔを設定した場合に、対象物Ｔの速度によっては対象物Ｔがカメラ１の前を通り過ぎてしまい、第２画像に対象物Ｔが含まれないことがある。この場合において、蓄積制御部１１ａが時間Δｔの値をより小さく変更するようにしてもよい。
【００４２】
具体的には、図６のステップＳ１７０の処理の後、ステップＳ１８０の処理の前において、制御部１１が、第２画像に対象物Ｔが含まれるか否かを判断する。そして、第２画像に対象物Ｔが含まれている場合はステップＳ１８０へ進む。一方、第２画像に対象物Ｔが含まれていない場合は、制御部１１の蓄積制御部１１ａによって時間ΔｔをステップＳ１２０で経過した時間よりも小さく変更した上でステップＳ１１０へ戻り、再びステップＳ１１０以降の処理を繰り返す。これにより、再度、対象物Ｔの移動速度ｖを検出する際に、第１画像と第２画像とにそれぞれ対象物Ｔが含まれるようになり、適切に対象物Ｔの移動速度ｖを求めることができる。
【００４３】
なお、第１領域における蓄積１の開始時点から第２領域における蓄積２の開始時点までの時間Δｔを小さく設定した場合には、第１画像と第２画像との間で対象物Ｔの位置がほとんど変わらないことになる。この場合においては、蓄積制御部１１ａが時間Δｔの値をより大きく変更するようにしてもよい。
【００４４】
上述した第２画像に対象物Ｔが含まれるかどうかは、第１画像で特定された対象物ＴＡと第２画像で特定された対象物ＴＡ’との間の移動距離Ｌ、対象物Ｔの移動速度ｖ、変形例２において後述する対象物Ｔの加速度αに依存する。このため、蓄積制御部１１ａは、第１領域における蓄積１の開始時点から第２領域における蓄積２の開始時点までの時間Δｔを、上記移動距離Ｌ，移動速度ｖの少なくともいずれかに基づいて決定してよい。
【００４５】
（変形例２）
第１の実施の形態の説明では、カメラ１が、１フレームの撮像の際に撮像素子２１の撮像面を２つの領域に分割し、２つの領域間で時刻をずらしてそれぞれ対象物Ｔを撮像する例を説明した。撮像面を分割する領域数は、２つに限らず４つでも８つでもよい。
【００４６】
例えば、分割する領域数を４つに増やす場合には、撮像時刻が異なる第１画像〜第４画像を生成することができる。そして、第１画像と第２画像とに基づいて対象物Ｔの移動速度ｖ１を求め、第２画像と第３画像とに基づいて対象物Ｔの移動速度ｖ２を求め、第３画像と第４画像とに基づいて対象物Ｔの移動速度ｖ３を求めることができる。
【００４７】
対象物Ｔの移動速度ｖが一定である場合は、上記の瞬間的な移動速度ｖ１〜ｖ３は同じ値であるが、対象物Ｔの移動速度ｖが変化する場合には、瞬間的な移動速度ｖ１〜ｖ３は異なる値となる。つまり、分割する領域数を増やすことによって、対象物Ｔの瞬間的な移動速度の変化（加速度）を求め得る。少なくとも分割する領域が３つあれば、対象物Ｔの加速度を求めることができる。
【００４８】
例えば、第１画像〜第４画像がそれぞれΔｔ間隔で撮像されており、上記移動速度ｖ１よりも上記移動速度ｖ２が大きいとする。この場合の加速度αは、α＝（ｖ２−ｖ１）/Δｔである。変形例２によれば、撮像素子２１の撮像面を分割する領域数を増やし、これらの領域でそれぞれ時間をずらしながら撮像することにより、対象物Ｔの瞬間的な移動速度を連続的に求めることが可能になる。
【００４９】
（変形例３）
第１の実施の形態の説明では、蓄積１の終了とともに蓄積２を開始させ、かつ、蓄積１および蓄積２の蓄積時間を同じに制御する例を説明した。蓄積１の開始後の蓄積２の開始タイミングや、蓄積１と蓄積２の蓄積時間の大小関係は、適宜変更しても構わない。このように変形する撮像タイミングの例について、図４(b)〜図４(d)を参照して説明する。
【００５０】
図４(b)は、蓄積１の終了を待たずに蓄積２を開始させ、かつ、蓄積１および蓄積２の蓄積時間を同じに制御する撮像タイミングの例を説明する図である。蓄積制御部１１ａは、時刻ｔ＝０において撮像素子２１の第１領域の電荷蓄積（蓄積１）を開始させる。蓄積１の時間は、予め設定されているシャッター速度に対応する時間ａとする。
【００５１】
蓄積制御部１１ａは、蓄積１の開始から時間Δｔ（＝ａ１）を待って撮像素子２１の第２領域の電荷蓄積（蓄積２）を開始させる。蓄積２の時間は、蓄積１の蓄積時間と同じ時間ａである。図４(b)によれば、蓄積１の終了時刻ｔ＝ａより前の時刻ｔ＝ａ１が蓄積２の開始時刻である。また、蓄積２の終了時刻ｔ＝ａ１＋ａである。
【００５２】
蓄積制御部１１ａは、蓄積２の終了とともに、撮像部１２から画像データの読み出しを開始させる。そして、時刻ｔ＝ｃ１において画像データの読み出しを終了する。以上説明したように、第１領域における撮像を開始した後から第２領域における撮像を開始すべく、撮像素子２１の撮像時刻が制御される。
【００５３】
図４(c)は、蓄積１の終了とともに蓄積２を開始させ、かつ、蓄積１の蓄積時間よりも蓄積２の蓄積時間を短く制御する撮像タイミングの例を説明する図である。蓄積制御部１１ａは、時刻ｔ＝０において撮像素子２１の第１領域の電荷蓄積（蓄積１）を開始させる。蓄積１の時間は、予め設定されているシャッター速度に対応する時間ａとする。
【００５４】
蓄積制御部１１ａは、蓄積１の開始から時間Δｔ（＝ａ）を待って撮像素子２１の第２領域の電荷蓄積（蓄積２）を開始させる。蓄積２の時間は、上記時間ａよりも短くする。図４(c)によれば、蓄積１の終了時刻ｔ＝ａが、蓄積２の開始時刻である。また、蓄積２の終了時刻ｔ＝ｂである。
【００５５】
蓄積制御部１１ａは、蓄積２の終了とともに、撮像部１２から画像データの読み出しを開始させる。そして、時刻ｔ＝ｃ２において画像データの読み出しを終了する。以上説明したように、第１領域における撮像を開始した後から第２領域における撮像を開始すべく、撮像素子２１の撮像時刻が制御される。
【００５６】
図４(d)は、蓄積１の終了を待たずに蓄積２を開始させ、かつ、蓄積１および蓄積２の終了時刻を同じに制御する撮像タイミングの例を説明する図である。蓄積１の蓄積時間は、蓄積２の蓄積時間よりも長い。蓄積制御部１１ａは、時刻ｔ＝０において撮像素子２１の第１領域の電荷蓄積（蓄積１）を開始させる。蓄積１の時間は、予め設定されているシャッター速度に対応する時間ａとする。
【００５７】
蓄積制御部１１ａは、蓄積１の開始から時間Δｔ（＝ｂ１）を待って撮像素子２１の第２領域の電荷蓄積（蓄積２）を開始させる。蓄積２の時間は、上記時間ａよりも短くする。図４(d)によれば、蓄積１の終了時刻ｔ＝ａより前の時刻ｔ＝ｂ１が蓄積２の開始時刻である。また、蓄積２の終了時刻ｔ＝ａである。
【００５８】
蓄積制御部１１ａは、蓄積１および蓄積２の終了とともに、撮像部１２から画像データの読み出しを開始させる。そして、時刻ｔ＝ｃ３において画像データの読み出しを終了する。以上説明したように、第１領域における撮像を開始した後から第２領域における撮像を開始すべく、撮像素子２１の撮像時刻が制御される。なお、図４(c)、図４(d)に示すように、蓄積１の時間よりも蓄積２の時間の方が短い場合、蓄積１に基づく第１画像よりも蓄積２に基づく第２画像の方が暗くなる。この場合、増幅回路２２は、第１領域から読み出す信号を増幅する増幅率（ゲイン）よりも、第２領域から読み出す信号を増幅する増幅率（ゲイン）を大きくしてもよい。これにより第１画像と第２画像の明るさをほぼ等しくすることができる。
【００５９】
（変形例４）
撮像素子２１の撮像面の２つの領域間で取得時刻をずらした１組のペア画像（第１画像と第２画像）に加えて、上記ペア画像とは電荷蓄積時間が異なる別の組のペア画像（第３画像と第４画像）を得るようにしてもよい。
【００６０】
変形例４において、カメラ１の制御部１１は、撮像素子２１の撮像面を分割する領域数を４つとし、１フレームの撮像を行った撮像素子２１から読み出した画素信号によって、撮像時刻が異なる第１画像と第２画像とからなるペア画像、および撮像時刻が異なる第３画像と第４画像とからなるペア画像をそれぞれ生成する。第１画像〜第４画像は、互いに同じ画角で同じ対象物Ｔを含む。
【００６１】
図４(e)は、変形例４による撮像タイミングの例を説明する図である。蓄積制御部１１ａは、時刻ｔ＝０において撮像素子２１の第１領域の電荷蓄積（蓄積１）を開始させる。蓄積１の時間は、予め設定されているシャッター速度に対応する時間ａとする。
【００６２】
蓄積制御部１１ａは、蓄積１の開始から時間Δｔ（＝ｂ２）を待って撮像素子２１の第２領域の電荷蓄積（蓄積２）を開始させる。蓄積２の時間は、蓄積１の蓄積時間ａと同じである。図４(e)によれば、蓄積１の終了時刻ｔ＝ａより前の時刻ｔ＝ｂ２が蓄積２の開始時刻である。また、蓄積２の終了時刻ｔ＝ｂ２＋ａである。
【００６３】
蓄積制御部１１ａは、上記蓄積１および蓄積２と並行して、時刻ｔ＝０において撮像素子２１の第３領域の電荷蓄積（蓄積３）を開始させる。蓄積３の時間は、例えば上記シャッター速度に対応する時間ａよりも短い時間ａ３とする。
【００６４】
蓄積制御部１１ａは、蓄積３の開始から上記時間Δｔ（＝ｂ２）を待って撮像素子２１の第４領域の電荷蓄積（蓄積４）を開始させる。蓄積４の時間は、蓄積３の蓄積時間ａ３と同じである。図４(e)によれば、蓄積１および蓄積３の開始時刻ｔ＝０が同じである。また、蓄積２および蓄積４の開始時刻ｔ＝ｂ２が同じである。
【００６５】
蓄積制御部１１ａは、蓄積１〜蓄積４のうちの最も遅い蓄積の終了とともに、撮像部１２から画像データの読み出しを開始させる。そして、時刻ｔ＝ｃ４において画像データの読み出しを終了する。以上説明したように、第１領域における撮像を開始した後から第２領域における撮像を開始するとともに、第３領域における撮像を開始した後から第４領域における撮像を開始すべく、撮像素子２１の撮像時刻が制御される。さらに、蓄積１および蓄積２の蓄積時間に比べて蓄積３および蓄積４の蓄積時間が短く制御される。
【００６６】
変形例４によれば、撮像時刻が異なる第１画像と第２画像とからなるペア画像、および撮像時刻が異なる第３画像と第４画像とからなるペア画像がそれぞれ生成される。第１画像と第２画像とからなるペア画像は、第３画像と第４画像とからなるペア画像に比べて、暗い環境での撮像に適している。反対に、第３画像と第４画像とからなるペア画像は、第１画像と第２画像とからなるペア画像に比べて、明るい環境での撮像に適している。
【００６７】
このように、変形例４では、明るい環境と暗い環境とのどちらにも適合するようにダイナミックレンジを拡張しつつ、対象物Ｔの移動速度ｖを求めることができる。
【００６８】
上述した第１の実施の形態によれば、次の作用効果が得られる。
（１）カメラ１は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子２１と、撮像素子２１の第１領域に含まれる複数の画素に対しては時間ａで、撮像素子２１の第１領域と異なる第２領域に含まれる複数の画素に対しては時間ａで、それぞれ被写体からの前記光によって前記電荷を蓄積させる蓄積制御部１１ａと、第１領域の複数の画素からの第１画素信号群から得た第１画像と、第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、前記被写体に含まれる対象物Ｔの移動距離Ｌ、移動速度ｖを算出する算出部１１ｄとを備える。これにより、１フレームの撮像を行うだけで対象物Ｔの移動距離Ｌや移動速度ｖを算出できるので、２フレームの撮像が必要な場合に比べて短時間で行うことができる。なお、１フレームとは、撮像素子２１への電荷蓄積が開始されてから、蓄積された電荷に基づく画像データを読み出すまでの１回の処理を示している。
【００６９】
（２）カメラ１は、蓄積１と蓄積２のいずれか遅い方の蓄積が終了した後に、第１領域および第２領域に含まれる複数の画素の画素信号を読み出す制御部１１をさらに備えるので、信号の読み出しは１回ですむ。これにより、複数回の読み出しが必要な場合に比べて、短時間で行うことができる。
【００７０】
（３）カメラ１の蓄積制御部１１ａは、第１領域の蓄積時間と第２領域の蓄積時間とを同じ時間ａとし、第１領域の複数の画素に対する蓄積１を開始させてから第２領域の複数の画素に対する蓄積２を開始させるようにした。これにより、１フレームの撮像の中で蓄積開始時刻を時間Δｔだけずらした第１画像と第２画像とが得られる。
【００７１】
（４）カメラ１の蓄積制御部１１ａは、第１領域の複数の画素に対する蓄積１の終了前に第２領域の複数の画素に対する蓄積２を開始させることで、蓄積１を終了してから蓄積２を開始させる場合に比べて、蓄積１の開始時点から蓄積２の開始時点までの時間Δｔを小さくすることができる。すなわち、蓄積開始時刻のずらし（すなわち時間Δｔ）を小さくした第１画像と第２画像とが得られる。
【００７２】
（５）カメラ１は、第１画像に対して、予め設定した特徴量抽出処理を施して対象物Ｔを特定し、第２画像に対して、予め設定した特徴量抽出処理を施して対象物Ｔを特定する特定部１１ｃを備える。そして、算出部１１ｄは、第１画像で特定された対象物ＴＡと第２画像で特定された対象物ＴＡ’との間の移動距離Ｌを算出する。これにより、移動する対象物Ｔの移動距離Ｌを適切に求めることができる。
【００７３】
（６）カメラ１は、蓄積時間が制御される複数の画素を有する撮像素子２１と、撮像素子２１の複数に分かれた領域に対し、互いに異なる蓄積時間でそれぞれ撮像させる（被写体からの光によって電荷を蓄積させる）蓄積制御部１１ａと、複数に分かれた領域にそれぞれ含まれる複数の画素信号群から得た複数の第１画像、第２画像に基づいて、対象物Ｔの移動距離Ｌ、移動速度ｖを算出する算出部１１ｄとを備える。これにより、１フレームの撮像を行うだけで対象物Ｔの移動距離Ｌや移動速度ｖを算出できるので、２フレームの撮像が必要な場合に比べて短時間で行うことができる。
【００７４】
（第２の実施の形態）
第１の実施の形態のカメラ１は、対象物Ｔの撮像面内での移動速度ｖを求めたが、第２の実施の形態のカメラ１は、対象物Ｔが撮像面と直交する奥行き方向に移動する場合における奥行き方向の移動速度ｖｚも求める。このために図３のカメラ１は、撮像部１２の撮像素子２１が、いわゆるＴＯＦ（time of flight）センサによって構成される。また、第２の実施の形態では、照射光を発する光源１８を用いる。
【００７５】
ＴＯＦセンサは、公知のＴＯＦ法に用いるイメージセンサである。ＴＯＦ法は、光源部１８から対象物Ｔに向けて光パルス（照射光）を発し、対象物Ｔで反射された光パルスがカメラ１へ戻ってくるまでの時間に基づいて、カメラ１から対象物Ｔまでの距離ｚを検出する技術である。
【００７６】
図７は、ＴＯＦセンサとしての撮像素子２１の画素２０ｎを説明する模式図である。図７において、画素２０ｎは、不図示のマイクロレンズの内側に光電変換部としてフォトダイオードＰＤを有する。
【００７７】
画素２０ｎにおいて、フォトダイオードＰＤは、入射光に応じた電荷を生成する。画素２０ｎには、３系統の信号読み出し部が設けられている。３系統のうち１つは転送トランジスタ４０１を介して読み出される。もう１つは、転送トランジスタ４０２を介して読み出される。残りの１つは、転送トランジスタ４０３を介して読み出される。これらの信号読み出し部はそれぞれ、ＦＤ(フローティング拡散)領域と、増幅トランジスタＡＭＰと、選択トランジスタＳＥＬと、リセットトランジスタＲＳＴとを有する。
【００７８】
フォトダイオードＰＤで生成された信号電荷は、上記転送トランジスタ４０１、転送トランジスタ４０２、転送トランジスタ４０３のうちのいずれかを介して、対応するＦＤ(フローティング拡散)領域へ転送される。ＦＤ領域は信号電荷を受け取り、その信号電荷を電圧に変換する。ＦＤ領域の電位に応じた信号は、増幅トランジスタＡＭＰによって増幅される。そして、選択トランジスタＳＥＬによって選択された信号として読み出される。転送トランジスタ４０１がオンされた場合に読み出される信号をＳ４０１、転送トランジスタ４０２がオンされた場合に読み出される信号をＳ４０２、転送トランジスタ４０３がオンされた場合に読み出される信号をＳ４０３と呼ぶことにする。リセットトランジスタＲＳＴは、ＦＤ領域の電位をリセットするリセット部として動作する。
【００７９】
第２の実施の形態では、算出部１１ｄが、上述した３系統の信号読み出し部によって読み出される信号Ｓ４０１、信号Ｓ４０２、信号Ｓ４０３に基づき、対象物Ｔで反射された光パルスがカメラ１へ戻ってくるまでの時間に基づく距離ｚを以下のように算出する。
【００８０】
図８は、第２の実施の形態における撮像タイミングの例を説明する図である。図８の例では、蓄積制御部１１ａが、撮像素子２１の第１領域における蓄積１の終了を待たずに蓄積２を開始させ、かつ、蓄積１および蓄積２の蓄積時間を同じに制御する。
【００８１】
蓄積制御部１１ａは、時刻ｔ＝０において撮像素子２１の第１領域の蓄積１を開始させる。蓄積１の時間は、予め設定されているシャッター速度に対応する時間ａとする。一点鎖線５１で囲む範囲が蓄積１に相当する。
【００８２】
蓄積制御部１１ａは、蓄積１の開始から時間Δｔ（＝ａ１）を待って撮像素子２１の第２領域の蓄積２を開始させる。蓄積２の時間は、蓄積１の蓄積時間と同じ時間ａである。一点鎖線５２で囲む範囲が蓄積２に相当する。図８によれば、蓄積１の終了時刻ｔ＝ａより前の時刻ｔ＝ａ１が蓄積２の開始時刻である。また、蓄積２の終了時刻ｔ＝ａ１＋ａである。
【００８３】
蓄積制御部１１ａは、蓄積２の終了とともに、撮像部１２から画像データの読み出しを開始させる。以上説明したように、第１領域における撮像を開始した後から第２領域における撮像を開始するように、撮像素子２１の撮像時刻が制御される。
【００８４】
＜蓄積１＞
蓄積１について、さらに詳細に説明する。制御部１１は、時刻ｔ０以降に強度変調された光源１８からパルス幅Ｗの照射光を所定の周期でパルス発光させる。対象物Ｔで反射された反射光は、照射光の発光時刻から時間ｄだけ遅れて撮像素子２１で受光される。
【００８５】
蓄積制御部１１ａは、第１領域の各画素に対し、光源１８が発するパルス光と同じパルス幅Ｗ、周期の転送パルス信号Ｔｘ４０１を生成して上記転送トランジスタ４０１をオン／オフさせる。また、蓄積制御部１１ａは、第１領域の各画素に対し、転送パルス信号Ｔｘ４０１よりも位相遅れ（上記パルス幅Ｗ分遅い）の転送パルス信号Ｔｘ４０２を生成して上記転送トランジスタ４０２をオン／オフさせる。さらに、蓄積制御部１１ａは、第１領域の各画素に対し、転送パルス信号Ｔｘ４０２よりも位相遅れ（上記パルス幅Ｗ分遅い）の転送パルス信号Ｔｘ４０３を生成して上記転送トランジスタ４０３をオン／オフさせる。
【００８６】
＜蓄積２＞
蓄積２について、さらに詳細に説明する。制御部１１は、時刻ｔ＝ａ１以降も上記所定の周期で光源１８からパルス幅Ｗの照射光をパルス発光させる。対象物Ｔで反射された反射光は、照射光の発光時刻から時間ｄだけ遅れて撮像素子２１で受光される。
【００８７】
蓄積制御部１１ａは、第２領域の各画素に対し、光源１８が発するパルス光と同じパルス幅Ｗ、周期の転送パルス信号Ｔｘ４０１を生成して上記転送トランジスタ４０１をオン／オフさせる。また、蓄積制御部１１ａは、第２領域の各画素に対し、転送パルス信号Ｔｘ４０１よりも位相遅れ（上記パルス幅Ｗ分遅い）の転送パルス信号Ｔｘ４０２を生成して上記転送トランジスタ４０２をオン／オフさせる。さらに、蓄積制御部１１ａは、第２領域の各画素に対し、転送パルス信号Ｔｘ４０２よりも位相遅れ（上記パルス幅Ｗ分遅い）の転送パルス信号Ｔｘ４０３を生成して上記転送トランジスタ４０３をオン／オフさせる。
【００８８】
＜対象物Ｔまでの距離ｚ＞
算出部１１ｄは、以下のようにカメラ１から対象物Ｔまでの距離ｚを求める。図８において、転送パルス信号Ｔｘ４０１の波形の斜線部分は、転送トランジスタ４０１がオンされた場合にＦＤ領域へ転送される信号電荷の量に対応する。この電荷量が、図７の信号Ｓ４０１として読み出される。また、転送パルス信号Ｔｘ４０２の波形の斜線部分は、転送トランジスタ４０２がオンされた場合にＦＤ領域へ転送される信号電荷の量に対応する。この電荷量が、図７の信号Ｓ４０２として読み出される。信号Ｓ４０１によって生成される画像と、信号Ｓ４０２によって生成される画像とをＴＯＦ画像と呼ぶ。
【００８９】
なお、信号Ｓ４０１および信号Ｓ４０２には光源１８が照射した光とは別の背景光（定常光）が寄与している。本実施の形態では、背景光の寄与分を除去すべく、光源１８の消灯時に転送トランジスタ４０３がオンされた場合にＦＤ領域へ転送される信号電荷の量（図７の信号Ｓ４０３として読み出される）を、制御部１１が上記信号Ｓ４０１およびＳ４０２から差し引く。ＴＯＦ画像から信号Ｓ４０３によって生成される画像を差し引くことで、ＴＯＦ画像に含まれる背景光成分を除去する。
【００９０】
上記時間ｄとパルス幅Ｗの比は、次式（１）で求められる。
ｄ／Ｗ＝(Ｓ４０２−Ｓ４０３)/(Ｓ４０１＋Ｓ４０２−Ｓ４０３)  ……（１）
また、上記時間ｄは、光源１８が発したパルス光がカメラ１と対象物Ｔの間を１往復した距離（すなわち２×ｚ）であるので、カメラ１から対象物Ｔまでの距離ｚについて、次式（２）が成立する。
ｚ＝ｃ・ｄ／２                          ……（２）
ただし、符号ｃは光速を表す。算出部１１ｄは、上式（１）および（２）により距離ｚを算出する。
【００９１】
＜対象物Ｔの三次元方向の移動速度の検出＞ 
算出部１１ｄは、蓄積１で得たＴＯＦ画像によって得られるカメラ１から対象物Ｔまでの距離ｚ１と、蓄積２で得たＴＯＦ画像によって得られるカメラ１から対象物Ｔまでの距離ｚ２との差（ｚ１−ｚ２）を、対象物Ｔの奥行き方向の移動距離Ｌｚとする。
【００９２】
さらに、制御部１１の特定部１１ｃは、第１の実施の形態の場合と同様に、第１画像の対象物ＴＡを特定するとともに、第２画像の対象物ＴＡ’を特定する。第２の実施の形態では、例えば、蓄積１で得られた上記信号Ｓ４０１によって生成される画像を第１画像とし、蓄積２で得られた上記信号Ｓ４０１によって生成される画像を第２画像とする。制御部１１の算出部１１ｄは、第１画像における対象物ＴＡの位置と、第２画像における対象物ＴＡ’の位置との間の間隔Ｄを求め、この間隔Ｄに所定係数を乗算することによって対象物Ｔの平面方向の移動距離Ｌを算出する。そして、算出部１１ｄは、平面方向の移動距離Ｌと、奥行き方向の移動距離Ｌｚに基づいて、対象物Ｔの三次元空間での移動距離を算出する。
【００９３】
算出部１１ｄはさらに、三次元方向の移動距離を、蓄積１と蓄積２との間の開始時刻の差（時間Δｔ）で除算することにより、対象物Ｔの三次元方向の移動速度を算出する。
【００９４】
（変形例５）
第２の実施の形態の説明では、ＴＯＦ法によって対象物Ｔの奥行き方向の距離ｚを求める例を説明したが、上記距離ｚを他の方法によって求めてもよい。例えば、焦点調節部１１ｅによる焦点調節結果を用いることができる。
【００９５】
一般に、カメラ１から対象物Ｔまでの距離は、焦点調節後のフォーカスレンズの位置に対応するので、対象物Ｔにピントが合うフォーカスレンズの位置が決まれば、その位置に対応するカメラ１から対象物Ｔまでの距離を求めることができる。すなわち、撮像光学系１０の設計データに基づく距離情報（ルックアップテーブルでも関数でもよい）をフォーカスレンズの位置ごとに用意し、予め制御部１１内の不揮発性メモリ１１ｍに格納しておくことで、フォーカスレンズの位置に対応する対象物Ｔまでの距離が得られる。
なお、焦点距離が可変のズームレンズの場合は、焦点距離ごとに距離情報を用意し、制御部１１内の不揮発性メモリ１１ｍに格納しておいてもよい。
【００９６】
（変形例６）
第１画像から対象物ＴＡを特定する際、または第２画像から対象物ＴＡ’を特定する際に、対象物Ｔの奥行き方向の距離ｚを用いてもよい。特定部１１ｃは、距離ｚが所定範囲（カメラ１の通常の撮影距離であり、例えば１ｍから１０ｍ）の範囲にあれば対象物Ｔと判定し、距離ｚが上記範囲から外れている場合には、対象物Ｔでないと判定する。これにより、例えば、カメラ１の前を予期せぬ人が横切ったり、カメラ１の前で異物が飛んだりした場合には、これらを対象物Ｔから除外できるから、誤った移動速度ｖの算出を防止し得る。
【００９７】
上述した第２の実施の形態によれば、第１の実施の形態の作用効果に加えて、次の作用効果が得られる。
（１）カメラ１は、第１画像および第２画像において、それぞれの対象物ＴＡ、ＴＢの奥行方向の距離ｚを計測する算出部１１ｄをさらに備える。そして、算出部１１ｄは、奥行方向の距離ｚをさらに用いて、対象物Ｔの三次元の移動距離Ｌｚ、当該移動距離Ｌｚに基づく移動速度ｖｚを算出する。これにより、平面方向だけでなく、奥行き方向の移動距離Ｌｚ，移動速度ｖｚが得られる。
【００９８】
（２）カメラ１は、強度変調したパルス光を周期的に照射する光源１８をさらに備える。そして、蓄積制御部１１ａは、撮像素子２１の複数の画素に対して、パルス光の照射周期に合わせた第１周期Ｔｘ４０１と第２周期Ｔｘ４０２とでそれぞれパルス光（反射光）を受光させるとともに、第１領域に含まれる複数の画素に対しては時間ａにおいて第１周期および第２周期でそれぞれ被写体像を撮像させるとともに、第２領域に含まれる複数の画素に対しては時間ａにおいて第１周期Ｔｘ４０１および第２周期Ｔｘ４０２でそれぞれ被写体像を撮像させる。これにより、１フレームの撮像の中で蓄積開始時刻をずらした第１画像と第２画像として、それぞれＴＯＦ画像が得られる。ＴＯＦ画像は、第１周期Ｔｘ４０１で撮像された画像と第２周期Ｔｘ４０２で撮像された画像である。
【００９９】
（３）カメラ１の算出部１１ｄは、第１画像として、第１領域の複数の画素からの第１画素信号群から得た第１周期Ｔｘ４０１による第１周期画像と、第１画素信号群から得た第２周期Ｔｘ４０２による第２周期画像とに基づき、第１画像の対象物Ｔの奥行方向の距離ｚ１を計測するとともに、第２画像としての、第２領域の複数の画素からの第２画素信号群から得た第１周期Ｔｘ４０１による第１周期画像と、第２画素信号群から得た第２周期Ｔｘ４０２による第２周期画像とに基づき、第２画像の対象物Ｔの奥行方向の距離ｚ２を算出する。
【０１００】
すなわち、蓄積１で得られるＴＯＦ画像に基づき、カメラ１から対象物Ｔまでの奥行き距離ｚ１が算出できる。また、蓄積２で得られるＴＯＦ画像に基づき、カメラ１から対象物Ｔまでの奥行き距離ｚ２が算出できる。この結果、奥行き距離ｚ１と奥行き距離ｚ２との差（ｚ１−ｚ２）が、対象物Ｔの奥行き方向の移動距離Ｌｚとして算出できる。
さらに、算出部１１ｄは、奥行き方向の移動距離Ｌｚを、蓄積１と蓄積２との間の開始時刻の差（時間Δｔ）で除算することにより、対象物Ｔの奥行き方向の移動速度ｖｚを算出できる。
【０１０１】
＜積層型撮像素子の説明＞
上述したカメラ１の撮像素子２１として用いる積層型の撮像素子について説明する。なお、この積層型の撮像素子は、本願出願人が先に出願して国際公開されたＷＯ１３／１６４９１５号に記載されているものである。図９は、積層型の撮像素子１００の断面図である。撮像素子１００は、入射光に対応した画素信号を出力する裏面照射型撮像チップ１１３と、画素信号を処理する信号処理チップ１１１と、画素信号を記録するメモリチップ１１２とを備える。これら撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２は積層されており、Ｃｕ等の導電性を有するバンプ１０９により互いに電気的に接続される。
【０１０２】
なお、図示するように、入射光は主に白抜き矢印で示すＺ軸プラス方向へ向かって入射する。本例においては、撮像チップ１１３において、入射光が入射する側の面を裏面（撮像面）と称する。また、座標軸に示すように、Ｚ軸に直交する紙面左方向をＸ軸プラス方向、Ｚ軸およびＸ軸に直交する紙面手前方向をＹ軸プラス方向とする。以降のいくつかの図においては、図９の座標軸を基準として、それぞれの図の向きがわかるように座標軸を表示する。
【０１０３】
撮像チップ１１３の一例は、裏面照射型のＭＯＳイメージセンサである。ＰＤ層１０６は、配線層１０８の裏面側に配されている。ＰＤ層１０６は、二次元的に配され、入射光に応じた電荷を蓄積する複数のＰＤ（フォトダイオード）１０４、および、ＰＤ１０４に対応して設けられたトランジスタ１０５を有する。
【０１０４】
ＰＤ層１０６における入射光の入射側にはパッシベーション膜１０３を介してカラーフィルタ１０２が設けられる。カラーフィルタ１０２は、互いに異なる波長領域を透過する複数の種類を有しており、ＰＤ１０４のそれぞれに対応して特定の配列を有している。カラーフィルタ１０２の配列については後述する。カラーフィルタ１０２、ＰＤ１０４およびトランジスタ１０５の組が、一つの画素を形成する。
【０１０５】
カラーフィルタ１０２における入射光の入射側には、それぞれの画素に対応して、マイクロレンズ１０１が設けられる。マイクロレンズ１０１は、対応するＰＤ１０４へ向けて入射光を集光する。
【０１０６】
配線層１０８は、ＰＤ層１０６からの画素信号を信号処理チップ１１１に伝送する配線１０７を有する。配線１０７は多層であってもよく、また、受動素子および能動素子が設けられてもよい。
【０１０７】
配線層１０８の表面には複数のバンプ１０９が配される。当該複数のバンプ１０９が信号処理チップ１１１の対向する面に設けられた複数のバンプ１０９と位置合わせされて、撮像チップ１１３と信号処理チップ１１１とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【０１０８】
同様に、信号処理チップ１１１およびメモリチップ１１２の互いに対向する面には、複数のバンプ１０９が配される。これらのバンプ１０９が互いに位置合わせされて、信号処理チップ１１１とメモリチップ１１２とが加圧等されることにより、位置合わせされたバンプ１０９同士が接合されて、電気的に接続される。
【０１０９】
なお、バンプ１０９間の接合には、固相拡散によるＣｕバンプ接合に限らず、はんだ溶融によるマイクロバンプ結合を採用してもよい。また、バンプ１０９は、例えば後述する一つのブロックに対して一つ程度設ければよい。したがって、バンプ１０９の大きさは、ＰＤ１０４のピッチよりも大きくてもよい。また、画素が配列された画素領域以外の周辺領域において、画素領域に対応するバンプ１０９よりも大きなバンプを併せて設けてもよい。
【０１１０】
信号処理チップ１１１は、表裏面にそれぞれ設けられた回路を互いに接続するＴＳＶ（シリコン貫通電極）１１０を有する。ＴＳＶ１１０は、周辺領域に設けられることが好ましい。また、ＴＳＶ１１０は、撮像チップ１１３の周辺領域、メモリチップ１１２にも設けられてよい。
【０１１１】
図１０は、撮像チップ１１３の画素配列と単位領域１３１を説明する図である。特に、撮像チップ１１３を裏面（撮像面）側から観察した様子を示す。画素領域には例えば２０００万個以上もの画素がマトリックス状に配列されている。図１０の例では、隣接する４画素×４画素の１６画素が一つの単位領域１３１を形成する。図の格子線は、隣接する画素がグループ化されて単位領域１３１を形成する概念を示す。単位領域１３１を形成する画素の数は、これに限られず１０００個程度、例えば３２画素×６４画素でもよいし、それ以上でもそれ以下でもよい。
【０１１２】
画素領域の部分拡大図に示すように、図１０の単位領域１３１は、緑色画素Ｇｂ、Ｇｒ、青色画素Ｂおよび赤色画素Ｒの４画素から成るいわゆるベイヤー配列を、上下左右に４つ内包する。緑色画素Ｇｂ、Ｇｒは、カラーフィルタ１０２として緑色フィルタを有する画素であり、入射光のうち緑色波長帯の光を受光する。同様に、青色画素Ｂは、カラーフィルタ１０２として青色フィルタを有する画素であって青色波長帯の光を受光し、赤色画素Ｒは、カラーフィルタ１０２として赤色フィルタを有する画素であって赤色波長帯の光を受光する。
【０１１３】
例えば、１ブロックにつき単位領域１３１を少なくとも１つ含むように複数のブロックが定義され、各ブロックはそれぞれ異なる制御パラメータで各ブロックに含まれる画素を制御できる。つまり、あるブロックに含まれる画素群と、別のブロックに含まれる画素群とで、撮像条件が異なる撮像信号を取得できる。制御パラメータの例は、フレームレート、ゲイン、間引き率、画素信号を加算する加算行数または加算列数、電荷の蓄積タイミング、蓄積時間、蓄積回数、デジタル化のビット数（語長）等である。撮像素子１００は、行方向（撮像チップ１１３のＸ軸方向）の間引きのみでなく、列方向（撮像チップ１１３のＹ軸方向）の間引きも自在に行える。さらに、制御パラメータは、画素からの信号取得後の画像処理におけるパラメータであってもよい。
【０１１４】
図１１は、単位領域１３１における回路を説明する図である。図１１の例では、隣接する３画素×３画素の９画素により一つの単位領域１３１を形成する。また、１画素につき１系統の信号読み出し部を例示する。
なお、上述したように単位領域１３１に含まれる画素の数はこれに限られず、これ以下でもこれ以上でもよい。単位領域１３１の二次元的な位置を符号Ａ〜Ｉにより示す。
【０１１５】
単位領域１３１に含まれる画素のリセットトランジスタは、画素ごとに個別にオンオフ可能に構成される。図１１において、画素Ａのリセットトランジスタをオンオフするリセット配線３００が設けられており、画素Ｂのリセットトランジスタをオンオフするリセット配線３１０が、上記リセット配線３００とは別個に設けられている。同様に、画素Ｃのリセットトランジスタをオンオフするリセット配線３２０が、上記リセット配線３００、３１０とは別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれのリセットトランジスタをオンオフするための専用のリセット配線が設けられている。
【０１１６】
単位領域１３１に含まれる画素の転送トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図１１において、画素Ａの転送トランジスタをオンオフする転送配線３０２、画素Ｂの転送トランジスタをオンオフする転送配線３１２、画素Ｃの転送トランジスタをオンオフする転送配線３２２が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの転送トランジスタをオンオフするための専用の転送配線が設けられている。
【０１１７】
さらに、単位領域１３１に含まれる画素の選択トランジスタについても、画素ごとに個別にオンオフ可能に構成される。図１１において、画素Ａの選択トランジスタをオンオフする選択配線３０６、画素Ｂの選択トランジスタをオンオフする選択配線３１６、画素Ｃの選択トランジスタをオンオフする選択配線３２６が、別個に設けられている。他の画素Ｄから画素Ｉに対しても、それぞれの選択トランジスタをオンオフするための専用の選択配線が設けられている。なお、リセットトランジスタ、転送トランジスタ及び増幅トランジスタは、撮像チップ１１３側に設けられることが好ましい。一方、選択トランジスタは、撮像チップ１１３側に設けられてもよいし、信号処理チップ１１１側に設けられてもよい。ただし、トランジスタの配置はこれに限らない。
【０１１８】
なお、電源配線３０４は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。同様に、出力配線３０８は、単位領域１３１に含まれる画素Ａから画素Ｉで共通に接続されている。また、電源配線３０４は複数の単位領域間で共通に接続されるが、出力配線３０８は単位領域１３１ごとに個別に設けられる。負荷電流源３０９は、出力配線３０８へ電流を供給する。負荷電流源３０９は、撮像チップ１１３側に設けられてもよいし、信号処理チップ１１１側に設けられてもよい。さらに、出力配線３０８が接続されるＡＤコンバータや、選択配線３０６、３１６、３２６が接続される読出し回路等の周辺回路は、信号処理チップ１１１側に設けられることが好ましい。これらの周辺回路を、単位領域１３１に対応する信号処理チップ１１１側の同じ領域に設けることで、複数の単位領域１３１ごとに電荷蓄積のタイミング、時間を制御するための回路を配置できる。
【０１１９】
単位領域１３１のリセットトランジスタおよび転送トランジスタを個別にオンオフすることにより、単位領域１３１に含まれる画素Ａから画素Ｉに対して、電荷の蓄積開始時間、蓄積終了時間、転送タイミングを含む電荷蓄積を制御することができる。また、単位領域１３１の選択トランジスタを個別にオンオフすることにより、各画素Ａから画素Ｉの画素信号を共通の出力配線３０８を介して出力することができる。
【０１２０】
ここで、単位領域１３１に含まれる画素Ａから画素Ｉについて、それぞれの電荷蓄積のタイミングを制御する、いわゆるグローバルシャッタ方式が公知である。グローバルシャッタ方式により、図１１の例では画素Ａから画素Ｉまでの全ての画素信号を同時に出力するとともに、他の単位領域１３１に含まれる画素Ａから画素Ｉの画素信号を出力するタイミングを異ならせることができる。なお、行および列に対して規則的な順序で電荷蓄積を制御する、いわゆるローリングシャッタ方式により行ごとに画素を選択してから列を指定すると、図１１の例では「ＡＢＣＤＥＦＧＨＩ」の順序で画素信号が出力される。
【０１２１】
このように単位領域１３１を基準として回路を構成することにより、単位領域１３１ごとに電荷蓄積のタイミング、時間を制御することができる。換言すると、単位領域１３１間で異なった時刻で撮像した画素信号をそれぞれ出力させることができる。また、撮像チップ１１３において一部のブロックに含まれる単位領域１３１に電荷蓄積（撮像）を行わせる間に他のブロックに含まれる単位領域１３１を休ませることにより、撮像チップ１１３の所定のブロックでのみ撮像を行わせて、その画素信号を出力させることができる。さらに、フレーム間で電荷蓄積（撮像）を行わせるブロック（蓄積制御の対象ブロック）を切り替えて、撮像チップ１１３の異なるブロックで逐次撮像を行わせて、画素信号を出力させることもできる。
【０１２２】
図１２は、図１１に例示した回路に対応する撮像素子１００の機能的構成を示すブロック図である。アナログのマルチプレクサ４１１は、単位領域１３１を形成する９個のＰＤ１０４を順番に選択して、それぞれの画素信号を当該単位領域１３１に対応して設けられた出力配線３０８へ出力させる。マルチプレクサ４１１は、ＰＤ１０４と共に、撮像チップ１１３に形成される。
【０１２３】
マルチプレクサ４１１を介して出力された画素信号は、信号処理チップ１１１に形成された、相関二重サンプリング（ＣＤＳ）・アナログ／デジタル（Ａ／Ｄ）変換を行う信号処理回路４１２により、ＣＤＳおよびＡ／Ｄ変換が行われる。Ａ／Ｄ変換された画素信号は、デマルチプレクサ４１３に引き渡され、それぞれの画素に対応する画素メモリ４１４に格納される。デマルチプレクサ４１３および画素メモリ４１４は、メモリチップ１１２に形成される。
【０１２４】
演算回路４１５は、画素メモリ４１４に格納された画素信号を処理して後段の画像処理部に引き渡す。演算回路４１５は、信号処理チップ１１１に設けられてもよいし、メモリチップ１１２に設けられてもよい。なお、図１２では１つの単位領域１３１の分の接続を示すが、実際にはこれらが単位領域１３１ごとに存在して、並列で動作する。ただし、演算回路４１５は単位領域１３１ごとに存在しなくてもよく、例えば、一つの演算回路４１５がそれぞれの単位領域１３１に対応する画素メモリ４１４の値を順に参照しながらシーケンシャルに処理してもよい。
【０１２５】
上記の通り、単位領域１３１のそれぞれに対応して出力配線３０８が設けられている。撮像素子１００は撮像チップ１１３、信号処理チップ１１１およびメモリチップ１１２を積層しているので、これら出力配線３０８にバンプ１０９を用いたチップ間の電気的接続を用いることにより、各チップを面方向に大きくすることなく配線を引き回すことができる。
【０１２６】
以上の説明では、種々の実施の形態および変形例を説明したが、本発明はこれらの内容に限定されるものではない。本発明の技術的思想の範囲内で考えられるその他の態様も本発明の範囲内に含まれる。
【０１２７】
次の優先権基礎出願および国際公開公報の開示内容は引用文としてここに組み込まれる。
日本国特許出願２０１５年第２４４８８９号（２０１５年１２月１６日出願）
国際公開第２０１３／１６４９１５号パンフレット
【符号の説明】
【０１２８】
１…カメラ、２１、１００…撮像素子、１１…制御部、１１ａ…蓄積制御部、１１ｃ…特定部、１１ｄ…算出部
【図１】
2017104765.tif 000003
【図２】
2017104765.tif 000004
【図３】
2017104765.tif 000005
【図４】
2017104765.tif 000006
【図５】
2017104765.tif 000007
【図６】
2017104765.tif 000008
【図７】
2017104765.tif 000009
【図８】
2017104765.tif 000010
【図９】
2017104765.tif 000011
【図１０】
2017104765.tif 000012
【図１１】
2017104765.tif 000013
【図１２】
2017104765.tif 000014
【手続補正書】
【提出日】平成30年4月18日(2018.4.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、
前記撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で、前記撮像素子の前記第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で、それぞれ被写体からの前記光によって前記電荷を蓄積させる蓄積制御部と、
前記第１領域の複数の画素からの第１画素信号群から得た第１画像と、前記第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、前記被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する算出部とを備え、
前記蓄積制御部は、前記第１蓄積時間と前記第２蓄積時間とを同時間とし、前記第１領域の複数の画素に対する蓄積を開始させた後に前記第２領域の複数の画素に対する蓄積を開始させる撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記第１蓄積時間と前記第２蓄積時間のいずれか遅い方の蓄積が終了した後に、前記第１領域および前記第２領域に含まれる複数の画素の画素信号を読み出す読出部をさらに備える撮像装置。
【請求項３】
請求項１または２に記載の撮像装置において、
前記蓄積制御部は、前記第１領域の複数の画素に対する蓄積の終了前に前記第２領域の複数の画素に対する蓄積を開始させる撮像装置。
【請求項４】
請求項１から請求項３のいずれか一項に記載の撮像装置において、
前記第１画像に対して、予め設定した特徴量抽出処理を施して前記測定対象を特定し、前記第２画像に対して、予め設定した特徴量抽出処理を施して前記測定対象を特定する特定部を備え、
前記算出部は、前記第１画像および前記第２画像に共通して含まれる、前記測定対象以外の前記被写体で位置合わせした画像において、前記第１画像で特定された前記測定対象の位置と前記第２画像で特定された前記測定対象の位置との間の距離を算出する撮像装置。
【請求項５】
請求項１から請求項４のいずれか一項に記載の撮像装置において、
前記第１画像および前記第２画像において、それぞれの前記測定対象の奥行方向の距離を計測する計測部をさらに備え、
前記算出部は、前記奥行方向の距離をさらに用いて、前記測定対象の三次元の移動距離、当該移動距離に基づく速度の少なくともいずれかを算出する撮像装置。
【請求項６】
受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、
前記撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で、前記撮像素子の前記第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で、それぞれ被写体からの前記光によって前記電荷を蓄積させる蓄積制御部と、
前記第１領域の複数の画素からの第１画素信号群から得た第１画像と、前記第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、前記被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する算出部と、
前記第１画像および前記第２画像において、それぞれの前記測定対象の奥行方向の距離を計測する計測部とを備え、
前記算出部は、前記奥行方向の距離をさらに用いて、前記測定対象の三次元の移動距離、当該移動距離に基づく速度の少なくともいずれかを算出する撮像装置。
【請求項７】
請求項５または請求項６に記載の撮像装置において、
周期的に強度を変調した光を照射する照射部をさらに備え、
前記蓄積制御部は、前記第１領域に含まれる複数の画素に対しては前記第１蓄積時間で、前記第２領域に含まれる複数の画素に対しては前記第２蓄積時間で、前記光の照射周期に合わせた第１周期および第２周期でそれぞれ前記光を受光させ、
前記計測部は、前記第１画像としての、前記第１領域の複数の画素からの第１画素信号群から得た前記第１周期による第１周期画像と、前記第１画素信号群から得た前記第２周期による第２周期画像とに基づき、前記第１画像の前記測定対象の奥行方向の距離を計測するとともに、前記第２画像としての、前記第２領域の複数の画素からの第２画素信号群から得た前記第１周期による第１周期画像と、前記第２画素信号群から得た前記第２周期による第２周期画像とに基づき、前記第２画像の前記測定対象の奥行方向の距離を計測する撮像装置。
【請求項８】
請求項５から請求項７のいずれか一項に記載の撮像装置において、
前記奥行方向の距離を用いて前記測定対象を特定する第２の特定部を備える撮像装置。
【請求項９】
請求項１から請求項８のいずれか一項に記載の撮像装置において、
前記蓄積制御部は、前記撮像素子の前記第１領域および前記第２領域と異なる第３領域に含まれる複数の画素に対して第３蓄積時間で前記被写体からの前記光によって前記電荷を蓄積させ、
前記算出部は、前記第１画像と、前記第２画像と、前記第３領域の複数の画素からの第３画素信号群から得た第３画像とに基づいて、前記測定対象の加速度を算出する撮像装置。
【請求項１０】
請求項１から請求項９のいずれか一項に記載の撮像装置において、
前記蓄積制御部は、前記第１蓄積時間、前記第２蓄積時間と並行して、前記第１領域および前記第２領域と異なる第４領域に含まれる複数の画素に対して前記第１蓄積時間よりも短い第４蓄積時間で、前記第１領域、前記第２領域および前記第４領域と異なる第５領域に含まれる複数の画素に対して前記第２蓄積時間よりも短い第５蓄積時間で、それぞれ前記電荷を蓄積させ、
前記算出部は、前記第４領域の複数の画素からの第４画素信号群から得た第４画像と、前記第５領域の複数の画素からの第５画素信号群から得た第５画像とに基づいて、前記測定対象の移動距離、速度の少なくともいずれかを算出する撮像装置。
【請求項１１】
請求項１から請求項１０のいずれか一項に記載の撮像装置において、
前記蓄積制御部は、前記算出部が算出した移動距離、速度の少なくともいずれかに基づいて、前記第２蓄積時間の開始時間を設定する撮像装置。
【請求項１２】
受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、
前記撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で、前記撮像素子の前記第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で、それぞれ被写体からの前記光によって前記電荷を蓄積させる蓄積制御部と、
前記第１領域の複数の画素からの第１画素信号群から得た第１画像と、前記第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、前記被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する算出部とを備え、
前記蓄積制御部は、前記算出部が算出した移動距離、速度の少なくともいずれかに基づいて、前記第２蓄積時間の開始時間を設定する撮像装置。
【請求項１３】
受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、
前記撮像素子の複数に分かれた領域に対し、互いに異なる蓄積時間でそれぞれ被写体からの前記光によって前記電荷を蓄積させる蓄積制御部と、
前記複数に分かれた領域にそれぞれ含まれる複数の画素信号群から得た複数の画像に基づいて、測定対象の移動距離、速度、加速度の少なくともいずれかを算出する算出部と、
前記複数の画像において、それぞれの前記測定対象の奥行方向の距離を計測する計測部とを備え、
前記算出部は、前記奥行方向の距離をさらに用いて、前記測定対象の三次元の移動距離、当該移動距離に基づく速度の少なくともいずれかを算出する撮像装置。
【請求項１４】
受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子の第１領域に含まれる複数の画素に対して第１蓄積時間で、被写体からの前記光によって前記電荷を蓄積させ、
前記撮像素子の前記第１領域と異なる第２領域に含まれる複数の画素に対して第２蓄積時間で、前記被写体からの前記光によって前記電荷を蓄積させ、前記第１蓄積時間と前記第２蓄積時間とを同時間とし、前記第１領域の複数の画素に対する蓄積を開始させた後に前記第２領域の複数の画素に対する蓄積を開始させ、
前記第１領域の複数の画素からの第１画素信号群から得た第１画像と、前記第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、測定対象の移動距離、速度の少なくともいずれかを算出する動き検出方法。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
本発明の第１の態様によると、撮像装置は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で、撮像素子の第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で、それぞれ被写体からの光によって電荷を蓄積させる蓄積制御部と、第１領域の複数の画素からの第１画素信号群から得た第１画像と、第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する算出部とを備え、蓄積制御部は、第１蓄積時間と第２蓄積時間とを同時間とし、第１領域の複数の画素に対する蓄積を開始させた後に第２領域の複数の画素に対する蓄積を開始させる。
本発明の第２の態様によると、撮像装置は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で、撮像素子の第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で、それぞれ被写体からの光によって電荷を蓄積させる蓄積制御部と、第１領域の複数の画素からの第１画素信号群から得た第１画像と、第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する算出部と、第１画像および第２画像において、それぞれの測定対象の奥行方向の距離を計測する計測部とを備え、算出部は、奥行方向の距離をさらに用いて、測定対象の三次元の移動距離、当該移動距離に基づく速度の少なくともいずれかを算出する。
本発明の第３の態様によると、撮像装置は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、撮像素子の第１領域に含まれる複数の画素に対しては第１蓄積時間で、撮像素子の第１領域と異なる第２領域に含まれる複数の画素に対しては第２蓄積時間で、それぞれ被写体からの光によって電荷を蓄積させる蓄積制御部と、第１領域の複数の画素からの第１画素信号群から得た第１画像と、第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、被写体に含まれる測定対象の移動距離、速度の少なくともいずれかを算出する算出部とを備え、蓄積制御部は、算出部が算出した移動距離、速度の少なくともいずれかに基づいて、第２蓄積時間の開始時間を設定する。
本発明の第４の態様によると、撮像装置は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子と、撮像素子の複数に分かれた領域に対し、互いに異なる蓄積時間でそれぞれ被写体からの光によって電荷を蓄積させる蓄積制御部と、複数に分かれた領域にそれぞれ含まれる複数の画素信号群から得た複数の画像に基づいて、測定対象の移動距離、速度、加速度の少なくともいずれかを算出する算出部と、複数の画像において、それぞれの測定対象の奥行方向の距離を計測する計測部とを備え、算出部は、奥行方向の距離をさらに用いて、測定対象の三次元の移動距離、当該移動距離に基づく速度の少なくともいずれかを算出する。
本発明の第５の態様によると、動き検出方法は、受光した光を光電変換して電荷を蓄積する複数の画素を有する撮像素子の第１領域に含まれる複数の画素に対して第１蓄積時間で、被写体からの光によって電荷を蓄積させ、撮像素子の第１領域と異なる第２領域に含まれる複数の画素に対して第２蓄積時間で、被写体からの光によって電荷を蓄積させ、第１蓄積時間と第２蓄積時間とを同時間とし、第１領域の複数の画素に対する蓄積を開始させた後に第２領域の複数の画素に対する蓄積を開始させ、第１領域の複数の画素からの第１画素信号群から得た第１画像と、第２領域の複数の画素からの第２画素信号群から得た第２画像とに基づいて、測定対象の移動距離、速度の少なくともいずれかを算出する。
【国際調査報告】
2017104765.tif 000015
2017104765.tif 000016
2017104765.tif 000017
2017104765.tif 000018