(57)【要約】  撮像装置（１０）は、発光信号と露光信号とを発生する制御部（３）と、発光信号を受信することにより光照射を行う光源部（１）と、露光信号に従ったタイミングで反射光の露光量を取得する撮像部（２）と、撮像部（２）から受けた撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部（４）とを備え、撮像部（２）は、距離画像の信号を得るための露光を行う画素と、輝度画像の信号を得るための露光を行う画素とが共通である構成を有し、光源部（１）は、撮像部（２）が輝度画像の信号を得るための露光を行う期間にも、制御部（３）で発生する発光信号が示すタイミングに従って光の照射を行う。
2017150246.tif 000002
【特許請求の範囲】
【請求項１】
照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、
前記発光信号により前記照射光の照射を行う光源部と、
複数の画素を有し、前記露光信号により複数回の露光を行い、画素毎に異なる複数の信号蓄積部に信号を蓄積する撮像を行い、当該撮像に対応した撮像信号を出力する固体撮像素子を備える撮像部と、
前記撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部とを備え、
前記撮像信号は、前記距離画像を演算するための距離撮像信号と、前記輝度画像を演算するための輝度撮像信号を有し、
前記固体撮像素子は、前記距離撮像信号及び前記輝度撮像信号を、共通の前記画素から生成し、
前記光源部は、前記距離撮像信号と同様に、前記輝度撮像信号を得るための前記固体撮像素子が露光を行う期間に、前記発光信号が示すタイミングに従って前記照射光の照射を行う
撮像装置。
【請求項２】
前記制御部は、前記画素毎に異なる複数の信号蓄積部の少なくとも２つの信号蓄積部のそれぞれに露光を行う前期露光信号のタイミングを、前記発光信号のタイミングに対して互いに異なるとともに、互いにオーバーラップの期間を有するように設定する
請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記画素毎に異なる複数の信号蓄積部の少なくとも２つの信号蓄積部のそれぞれに露光を行う前期露光信号のタイミングを、前記発光信号のタイミングに対して互いに異なるとともに、前記発光信号との位相関係が、前記距離画像が得られる測距範囲内に置いた物体からの反射光による露光量が互いに等しくなるように設定する
請求項１または２に記載の撮像装置。
【請求項４】
前記信号処理部は、前記距離画像と前記輝度画像とを用いて、演算により３次元の物体検知または物体測定を行う
請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
さらに、前記距離画像を得る方式は、ＴＯＦ（ｔｉｍｅ  ｏｆ  ｆｌｉｇｈｔ）方式である
請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記制御部は、露光を行い前記信号蓄積部に信号を蓄積させる露光期間、及び、前記信号蓄積部から前記撮像信号を得るために信号を転送する転送期間、の少なくとも一方を、前記距離画像を得るための期間と、前記輝度画像を得るための期間とに分けて時間的に独立した制御を行い、前記露光期間において前記信号蓄積部及び前記信号蓄積部から信号を転送する駆動方法の少なくとも一方を、前記距離画像を得るための信号と、前記輝度画像を得るための信号とで異ならせる
請求項１〜５のいずれか１項に記載の撮像装置。
【請求項７】
前記光源部が照射する光は、７５０ｎｍから４０００ｎｍの波長を有する赤外光であり、
前記撮像部は、さらに、前記光源部から照射される光の波長近傍を通過させる光学的バンドパスフィルタ（帯域通過フィルタ）を備える
請求項１〜６のいずれか１項に記載の撮像装置。
【請求項８】
前記固体撮像素子は、
前記照射光の未照射時に得られる第２撮像信号を前記共通の画素から生成し、
前記撮像装置は、
前記照射光の照射時に生じる前記輝度撮像信号から前記第２撮像信号を減算して、前記輝度画像を得る
請求項１〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記制御部は、前記光源部の発光を制御する発光信号のデューティ比が、前記距離画像の信号を得るための露光期間と、輝度画像の信号を得るための露光期間とで異ならせる
請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
異なる前記信号蓄積部には、異なる露光時間で露光した輝度画像を得るための信号が蓄積される
請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
前記信号処理部は、前記光源部から前記照射光を照射した前記輝度撮像信号と、前記光源部から光を照射しない前記第２撮像信号の少なくとも一方を、前記距離画像を得る演算に使用する
請求項１〜１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記固体撮像素子は、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型の固体撮像素子である
請求項１〜１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記固体撮像素子は、ＣＭＯＳ型の固体撮像素子である
請求項１〜１１のいずれか１項に記載の撮像装置。
【請求項１４】
前記固体撮像素子は、
受光領域の同じ側の隣り合う前記信号蓄積部の間に、電荷の転送を制御する転送制御部を備える
請求項１３に記載の撮像装置。
【請求項１５】
照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、
前記発光信号により前記照射光の照射を行う光源部と、
複数の画素を有し、前記露光信号により複数回の露光を行い、画素毎に異なる複数の信号蓄積部に信号を蓄積する撮像を行い、当該撮像に対応した撮像信号を出力する固体撮像素子を備える撮像部と、
前記撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部とを備える撮像装置に用いられる固体撮像素子であって、
前記撮像信号は、前記距離画像を演算するための距離撮像信号と、前記輝度画像を演算するための輝度撮像信号を有し、
前記固体撮像素子は、
前記距離撮像信号及び前記輝度撮像信号を、共通の前記画素から生成し、
前記輝度撮像信号と同様に、前記発光信号が示すタイミングに従って照射された前記照射光の前記反射光を用いて前記輝度撮像信号を得るための露光を行う
撮像装置に用いられる固体撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、及びそれに用いられる固体撮像素子に関する。
【背景技術】
【０００２】
物体を３次元検知する方法で、距離画像と輝度画像とを併用して演算・信号処理する方法が知られている。【０００３】
特許文献１には、距離画像センサにより得られる距離画像と、通常の画像センサにより得られる輝度画像とを併用して演算・信号処理することで、３次元検知の精度を向上させる従来技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１９４８３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された従来技術では、距離画像と輝度画像とを異なる固体撮像素子を用いた２台のカメラで取得するので、距離画像と輝度画像との視点が一致しないことによる測距誤差が生じる。特に被写体（対象物）が近い場合には、その測距誤差が顕著になるという課題を有している。【０００６】
上記課題に鑑み、本発明は、高い検知精度または高い測定精度を有し、かつその精度が環境照度に依存しない３次元の検知、測定、表示、または描写を実現する小型の撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題を解決するために、本発明の一態様に係る撮像装置は、照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、前記発光信号により前記照射光の照射を行う光源部と、複数の画素を有し、前記露光信号により複数回の露光を行い、画素毎に異なる複数の信号蓄積部に信号を蓄積する撮像を行い、当該撮像に対応した撮像信号を出力する固体撮像素子を備える撮像部と、前記撮像信号における信号量に基づいて演算により距離画像と輝度画像とを出力する信号処理部とを備え、前記撮像信号は、前記距離画像を演算するための距離撮像信号と、前記輝度画像を演算するための輝度撮像信号を有し、前記固体撮像素子は、前記距離撮像信号及び前記輝度撮像信号を、共通の前記画素から生成し、前記光源部は、前記距離撮像信号と同様に、前記輝度撮像信号を得るための前記固体撮像素子が露光を行う期間に、前記発光信号が示すタイミングに従って前記照射光の照射を行うことを特徴とする。
【発明の効果】
【０００８】
本発明に係る撮像装置によれば、固体撮像素子から高精度な距離画像と高画質な輝度画像とが得られるので、当該距離画像及び輝度画像を併用して演算することで、小型で高い検知精度または測定精度を有し、かつその精度が環境照度に依存しない３次元の検知、測定、表示、または描写を実現することが可能となる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１に係る撮像装置の概略構成を示す機能ブロック図である。
【図２Ａ】図２Ａは、ＣＣＤ型の固体撮像素子の構成を示す図である。
【図２Ｂ】図２Ｂは、実施の形態１に係る固体撮像素子の画素配列の一例を表す図である。
【図２Ｃ】図２Ｃは、実施の形態１に係る固体撮像素子において同一画素から距離撮像信号及び輝度撮像信号を発生することを説明する図である。
【図２Ｄ】図２Ｄは、実施の形態１に係る固体撮像素子の画素配列の一例を表す図である。
【図２Ｅ】図２Ｅは、実施の形態１に係る固体撮像素子の画素配列の一例を表す図である。
【図３】図３は、実施の形態１に係る撮像装置の動作の概略を示すタイミングチャートである。
【図４】図４は、距離画像フレームにおける１回目の第一の発光露光期間および１回目の第二の発光露光期間のタイミングチャートである。
【図５】図５は、距離画像フレームにおける１回目の第三の発光露光期間および２回目の第一の発光露光期間のタイミングチャートである。
【図６】図６は、実施の形態１に係る撮像装置の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
【図７】図７は、輝度画像フレームにおける輝度露光期間、輝度背景光露光期間、及び輝度転送期間のタイミングチャートである。
【図８】図８は、実施の形態１の変形例１に係る撮像装置の動作の概略を示すタイミングチャートである。
【図９】図９は、距離画像フレームにおける１回目の第三の発光露光期間および２回目の第一の発光露光期間のタイミングチャートである。
【図１０】図１０は、実施の形態１の変形例１に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。
【図１１】図１１は、実施の形態１の変形例１に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。
【図１２】図１２は、実施の形態１の変形例２に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。
【図１３】図１３は、実施の形態１の変形例２に係る撮像装置の被写体の距離に対する露光量の変化を説明する図である。
【図１４】図１４は、実施の形態１の変形例２に係る撮像装置の実距離と測距値との関係を説明する図である。
【図１５】図１５は、実施の形態１の変形例３に係る撮像装置の露光量を検出するタイミングの一例を説明する図である。
【図１６】図１６は、実施の形態１の変形例３に係る撮像装置の発光信号と露光信号との相対位相と露光量との関係を説明する図である。
【図１７】図１７は、実施の形態１の変形例４に係る撮像装置の動作の概略を示すタイミングチャートである。
【図１８】図１８は、実施の形態１の変形例５に係る撮像装置の動作の概略を示すタイミングチャートである。
【図１９】図１９は、実施の形態１の変形例６に係る撮像装置の動作の概略を示すタイミングチャートである。
【図２０】図２０は、実施の形態１の変形例７に係る撮像装置の動作の概略を示すタイミングチャートである。
【図２１】図２１は、実施の形態２に係る撮像装置の動作の概略を示すタイミングチャートである。
【図２２】図２２は、実施の形態２に係る撮像装置の動作の概略を示すタイミングチャートである。
【図２３】図２３は、実施の形態２に係る撮像装置の露光量を検出するタイミングを説明する図である。
【図２４】図２４は、ＣＭＯＳ型イメージセンサの構成の一例を示す図である。
【発明を実施するための形態】
【００１０】
以下、本開示の実施の形態に係る撮像装置、及びそれに用いられる固体撮像素子について、図面を参照しながら説明する。なお、以下の実施の形態は、いずれも本発明の一具体例を示すものであり、数値、形状、材料、構成要素、構成要素の配置位置及び接続形態などは一例であり、本発明を限定するものではない。
【００１１】
また、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１２】
（実施の形態１）
図１は、実施の形態１に係る撮像装置（測距撮像装置）１０の概略構成の一例を示す機能ブロック図である。同図に示すように、撮像装置１０は、光源部１と、撮像部２と、制御部（駆動制御部）３と、信号処理部４とを備える。この構成により、撮像装置１０は、静止画だけでなく動画も撮影することが可能である。
【００１３】
光源部１は、駆動回路、コンデンサ及び発光素子を有し、コンデンサに保持した電荷を発光ダイオードへ供給することで照射光を発する。発光素子としてはレーザダイオードや発光ダイオード（ＬＥＤ）等のその他の発光素子を用いてもよい。照射光は、一例として赤外光（近赤外光、遠赤外光を含む）である。
【００１４】
制御部３は、露光信号制御部３Ａと発光信号制御部３Ｂを少なくとも備え、発光信号制御部３Ｂにより被写体（物体、測定対象物）への光照射を指示する発光信号と、露光信号制御部３Ａにより当該被写体からの反射光及び後述する背景光の露光を指示する露光信号とを発生する。なお、図１では、発光信号制御部３Ｂと露光信号制御部３Ａとは制御部３内に構成されているが、発光信号制御部３Ｂおよび露光信号制御部３Ａは、それぞれ個別の制御部として構成されていてもよい。
【００１５】
また、そのような場合は、発光信号制御部３Ｂは光源部１内に構成されていてもよく、また、露光信号制御部３Ａは撮像部２内に構成されていてもよい。
【００１６】
光源部１は、制御部３で発生する発光信号のタイミングに従って光を点滅させ（パルス）、被写体に対して照射光（パルス光）の照射を行う。
【００１７】
撮像部２は、固体撮像素子２０を有する。固体撮像素子２０は、照射光が反射した反射光（パルス光）を受光する。また、固体撮像素子２０は、光源部１の発光動作を行わないことで、太陽光などの背景光（外乱光）、または暗電流成分などのオフセット成分である背景光（外乱光）を受光する。
【００１８】
また、固体撮像素子２０は、被写体を含む領域に対して、制御部３で発生する露光信号が示すタイミングに従って複数回の露光を行い、画素毎に異なる複数の信号蓄積部（図２Ａにおける垂直転送部２３、図２４における電荷蓄積部３２）に信号を蓄積する撮像を行った後、蓄積された信号を転送して露光量に対応した撮像信号と第２撮像信号とを得る。ここで、撮像信号は、照射光に基づく被写体からの反射光を露光し、後述する距離画像を生成するための距離撮像信号と、輝度画像を生成するための輝度撮像信号とを有する。一方、第２撮像信号は、光源部１から照射光を照射しない状態で、太陽光などの背景光や暗電流成分などのオフセット成分である背景光を露光して得られる信号である。
【００１９】
撮像部２は、さらに、カメラレンズ、光源部１から照射される光の波長近傍のみを通過させる光学的バンドパスフィルタ（帯域通過フィルタ）、及びＡ／Ｄコンバータ等の回路を適宜有する。
【００２０】
信号処理部４は、撮像部２から受けた撮像信号及び第２撮像信号における信号量に基づいて、演算により距離画像（距離信号、距離情報）と輝度画像（輝度信号、輝度情報）とを出力する。これととともに、上記距離画像及び上記輝度画像を用いて、演算により３次元の物体検知（検知）ないし物体測定（測定）を行う。
【００２１】
次に、本実施の形態に係る撮像装置１０の撮像部２を、一例として、ＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）型の固体撮像素子（イメージセンサ）として用いた場合について説明する。
【００２２】
図２Ａは、ＣＣＤ型の固体撮像素子２０の構成を示す図である。図２Ａは、本実施の形態に係る固体撮像素子２０の一例を示す構成図であり、撮像部２がこの固体撮像素子２０を備える。ここでは、本発明の理解を容易とするため、垂直方向に４画素分及び水平方向に４画素分のみを示している。
【００２３】
図２Ａに示すように、本実施の形態に係る固体撮像素子２０は、複数の受光領域（受光部、光電変換部、一例として、フォトダイオード、ＰＤ）２１と、複数の読出ゲート（読み出し部）２２と、複数の垂直転送部（第１の転送部）２３と、水平転送部（第２の転送部）２４と、出力アンプ２５と、半導体基板電圧（ＳＵＢ）を制御する信号φＳＵＢを入力するＳＵＢ端子２６とを備える。
【００２４】
また、垂直転送部２３及び水平転送部２４は、電荷（信号、信号電荷）の転送と共に、電荷（信号、信号電荷）を蓄積する電荷蓄積部（信号蓄積部）でもある。
【００２５】
なお、図２Ａでは、画素は、少なくとも受光領域２１を含み、繰り返し単位となるもの（単位セル、単位画素）と定義しているが、その他の定義として、画素は受光領域２１そのものと定義する場合も含むものとする。
【００２６】
複数の受光領域２１は、半導体基板に行列状に配置され、各々が入射光を信号電荷に変換する。
【００２７】
図２Ｂは、実施の形態１に係る固体撮像素子２０の画素配列の一例を表す図である。図２Ｂに示すように、固体撮像素子２０の各画素２７は、照射光（一例として、赤外線ＩＲ（近赤外線、遠赤外線を含む））及び背景光に対して感度を有するイメージセンサである。
【００２８】
なお、実施の形態１に係る固体撮像素子２０は、図２Ｂの画素配列に限定されるものではなく、図２Ｄ、図２Ｅに示すように、その他の画素（一例として、可視光を受光するＷ（白）画素、または、可視光の特定波長帯の光を受光するＲ（赤）画素、Ｇ（緑）画素、Ｂ（青））を有する画素配列であってもよい。
【００２９】
図２Ｃは、実施の形態１に係る固体撮像素子２０において同一画素から距離撮像信号及び輝度撮像信号を発生することを説明する図である。図２Ｃに示すように、固体撮像素子２０の画素構造は、輝度撮像信号を発生する画素（または、受光領域）、距離撮像信号を発生する画素（または、受光領域）、及び第２撮像信号を発生する画素（または、受光領域）が、それぞれ異なるものではなく、同じ画素（共通の画素）２７から撮像信号（輝度撮像信号及び距離撮像画素）と第２撮像信号とを発生することが特徴である。
【００３０】
つまり、本実施の形態に係る撮像装置１０（及び固体撮像素子２０）では、距離画像を得るための信号（距離撮像信号と第２撮像信号）と輝度画像を得るための信号（輝度撮像信号と第２撮像撮像信号）とが、固体撮像素子２０の同一の画素２７で取得される。これにより、距離画像と輝度画像との視点を一致させることができ、高い測距精度を得ることが可能となる。また、固体撮像素子２０を構成する画素２７の数分の解像度を有する、つまり高解像度（高精細）の距離画像を得ることができる。
【００３１】
また、撮像信号を生成する画素２７の開口率（単位面積当たりに光を受光できる面積の比率）を高くすることができ、ノイズの少ない高精度な撮像信号の発生、および固体撮像素子２０および撮像装置１０の小型化を実現することが出来る。
【００３２】
また、図２Ａに示すように、複数の読出ゲート２２は、各々が受光領域２１に対応して設けられ、対応する受光領域２１から信号電荷を読み出す。
【００３３】
複数の垂直転送部２３は、複数のゲートから構成され、受光領域２１から読出ゲート２２で読み出された信号電荷を順次垂直方向に転送する。各垂直転送部２３は、例えば、受光領域２１から読み出された信号電荷を列方向（垂直方向）に転送する８相電極Ｖ１〜Ｖ８（以降、ゲートＶ１〜Ｖ８と記載する場合あり）で構成されている。
【００３４】
水平転送部２４は、複数のゲートから構成され、複数の垂直転送部２３から転送された信号電荷を順次水平方向（行方向）に転送する。この水平転送部２４は、例えば、２相電極Ｈ１、Ｈ２で構成される。
【００３５】
出力アンプ２５は、水平転送部２４から転送された信号電荷を順次検出して電圧信号に変換して出力する。
【００３６】
ここで、上述の垂直転送部２３を構成するゲートＶ１〜Ｖ８のうち、ゲートＶ１及びＶ５は、一行かつ一列毎に読み出すことが可能なように、複数の受光領域２１のそれぞれに対応して設けられた読出ゲート２２と共用されている。また、受光領域２１の読出ゲート２２が形成された側と左右方向の反対側には、信号電荷の混入を抑制するためのチャネルストップ２８が設置されている。
【００３７】
各受光領域２１のバルク方向（半導体基板の深さ方向）には縦型電荷排出ドレイン（ＶＯＦＤ：ｖｅｒｔｉｃａｌ  ｏｖｅｒ  ｆｌｏｗ  ｄｒａｉｎ）２９が構成されており、ＳＵＢ端子２６に高電圧が印加されると全受光領域２１の信号電荷は一括して縦型電荷排出ドレイン２９を介して外部に排出される。具体的には、ＳＵＢ端子２６がＨｉｇｈレベルの場合には、受光領域２１内の信号電荷は半導体基板（外部）に排出され、ＳＵＢ端子２６がＬｏｗレベルの場合には、受光領域２１内で光電変換された信号電荷が蓄積される。
【００３８】
また、垂直転送部２３を構成するゲートＶ１及びＶ５のそれぞれに印加されるパルスであるφＶ１及びφＶ５を、Ｈｉｇｈレベルにして読出ゲート２２を開いた状態で、ＳＵＢ端子２６をＬｏｗレベルにすると、受光領域２１内で光電変換された信号電荷は、ゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積される。
【００３９】
つまり、制御部３から出力して露光タイミングを指示する露光信号は、ＳＵＢ端子２６に入力されて半導体基板電圧（ＳＵＢ）を制御する信号φＳＵＢである。
【００４０】
次に、図３〜図７を用いて、本実施の形態に係る撮像装置１０の駆動方法（動作タイミング）について説明する。図３〜図７で後述するように、本実施の形態に係る撮像装置１０では、距離画像を得る方式としてはＴＯＦ方式であり、また発光露光の繰り返しにおいて露光をしない位相が存在する矩形波型ＴＯＦ方式（パルスＴＯＦ方式）を基本原理とする。
【００４１】
図３は、実施の形態１に係る撮像装置１０の動作の概略を示すタイミングチャートである。より具体的には、図３は、１フレーム期間内で、左右に隣接する２つの受光領域２１で発生された信号電荷を垂直転送部２３に読み出し、垂直転送する駆動タイミングの一例を示す。図３には、垂直同期パルスＶＤと、露光信号であるφＳＵＢと、垂直転送部２３を構成するゲートＶ１〜Ｖ８のうち読出ゲート２２と共用されているφＶ１及びφＶ５と、光源部１から照射される照射光（赤外光）と、被写体で反射した反射光と、背景光と、受光領域２１で発生した信号電荷のイメージを示すＳｉｇｎａｌとが示されている。
【００４２】
垂直同期パルスＶＤは、毎秒複数フレームであり、各１フレーム期間は距離画像フレームと輝度画像フレームとで構成される。
【００４３】
距離画像フレーム期間は、距離撮像信号（撮像信号）を得るために、第一の発光露光期間（Ａ０期間）及び第二の発光露光期間（Ａ１期間）と、第三の発光露光期間（Ａ２期間）と、距離転送期間（ＴＯＦ転送期間）とで構成される。
【００４４】
第一の発光露光期間（Ａ０期間）及び第二の発光露光期間（Ａ１期間）は、それぞれ、光源部１から照射される光（照射光）の照射タイミングに対して、被写体までの距離に応じて遅延した反射光（反射光１、反射光２）の受光領域２１での露光タイミングが異なる期間である。より具体的には、第一の発光露光期間（Ａ０期間）及び第二の発光露光期間（Ａ１期間）は、制御部３で発生する発光信号に従って光源部１から照射される光（照射光）の照射タイミングに対して、固体撮像素子２０の受光領域２１にて被写体までの距離に応じて遅延した反射光（反射光１、反射光２）の露光を指示する制御部３からの露光信号φＳＵＢのタイミング位相が各々異なる期間である。
【００４５】
第三の発光露光期間（Ａ２期間）は、光源部１からの光照射を停止して背景光のみを、制御部３からの露光信号φＳＵＢのタイミングに応じて受光領域２１で露光して第２撮像信号を得る期間である。
【００４６】
距離転送期間（ＴＯＦ転送期間）は、第一、第二、及び第三の発光露光期間における露光で蓄積した３種類の信号を転送し、距離撮像信号（撮像信号）を信号処理部４に出力する期間である。
【００４７】
一方、輝度画像フレームは、輝度撮像信号（撮像信号）を得るために、輝度露光期間（ＹＩＲ期間）と、輝度背景光露光期間（ＹＢＧ期間）と、輝度転送期間とで構成される。
【００４８】
輝度露光期間（ＹＩＲ期間）は、制御部３で発生する発光信号に従って光源部１から光（照射光）を照射し、被写体からの反射光を受光領域２１で露光する期間である。
【００４９】
輝度背景光露光期間（ＹＢＧ期間）は、光源部１からの光照射を停止して背景光のみを受光領域２１で露光して第２撮像信号を得る期間である。
【００５０】
輝度転送期間は、輝度露光期間及び輝度背景光露光期間における露光で蓄積した２種類の信号を転送し、輝度撮像信号（撮像信号）を信号処理部４に出力する期間である。
【００５１】
つまり、本実施の形態に係る撮像装置１０は、距離撮像信号を生成する場合と同様に、輝度撮像信号を生成する場合も背景光のみで生成するのではなく、制御部３で発生する発光信号に従って光源部１から照射された照射光に基づいて生成することが特徴である。
【００５２】
言い換えれば、光源部１は、輝度撮像信号と同様に、輝度撮像信号を得るための固体撮像素子２０が露光を行う期間にも、発光信号が示すタイミングに従って照射光の照射を行うことが特徴である。
【００５３】
これにより、本実施の形態に係る撮像装置１０は、輝度画像の信号を得るための露光期間にも、光源部１から光（照射光）を照射するので、環境照度に依存せず高画質な輝度画像を得ることができる。
【００５４】
また、露光期間の信号蓄積部及び信号を蓄積また転送する駆動方法として、距離画像を得るための信号に対しては、その測距精度を優先した選択をし、輝度画像を得る信号に対してはその画質を優先した選択をすることができる。
【００５５】
図４は、距離画像フレームにおける１回目の第一の発光露光期間および１回目の第二の発光露光期間のタイミングチャートである。また、図５は、距離画像フレームにおける１回目の第三の発光露光期間および２回目の第一の発光露光期間のタイミングチャートである。また、図７は、輝度画像フレームにおける輝度露光期間、輝度背景光露光期間、及び輝度転送期間のタイミングチャートである。また、図６は、実施の形態１に係る撮像装置１０の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
【００５６】
図６の（ａ）は、制御部３が出力する発光信号（照射光）、露光信号（φＳＵＢ）、及び読出信号（φＶ１、φＶ５）の、１つの距離画像フレームにおけるタイミング関係を示している。図６の（ｂ）は、第一の発光露光期間（Ａ０期間）における露光量ａ０の検出タイミングを表している。図６の（ｃ）は、第二の発光露光期間（Ａ１期間）における露光量ａ１の検出タイミングを表している。図６の（ｄ）は、第三の発光露光期間（Ａ２期間）における露光量ａ２の検出タイミングを表している。
【００５７】
先に説明した図３及び図４に示すように、距離画像フレームの第一の発光露光期間（Ａ０−１期間）は、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して、受光領域２１が制御部３から第一の遅延時間を経た露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。
【００５８】
本実施の形態の場合、図６に示すように、第一の露光信号（φＳＵＢがＬｏｗレベル）期間の長さは、発光信号期間の長さと同じＴ０、第一の遅延時間は０、すなわち発光信号が送信されている（ハイレベルである）期間に設定している。
【００５９】
本実施の形態の場合、図６に示すように、この第一の発光露光をｍ回繰り返して、当該露光により発生した電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積する。その後、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じ、図４の時刻Ｔ１〜Ｔ９のタイミングに示された、φＶ１〜φＶ８のパルスを印加することにより、垂直転送部２３内のＡ０−１期間に蓄積した信号電荷が垂直転送部２３内を順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は空となる。
【００６０】
続いて、図３及び図４に示すように、距離画像フレームの第二の発光露光期間（Ａ１−１期間）は、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して、受光領域２１が制御部３から第一の遅延時間と異なる第二の遅延時間を経た露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。
【００６１】
本実施の形態の場合、図６に示すように、第二の露光信号（φＳＵＢがＬｏｗレベル）期間の長さは、発光信号期間の長さ及び第一の露光信号期間の長さと同じＴ０であり、第二の遅延時間は、第一の遅延時間０と第一の露光信号期間とを足したＴ０に設定している。
【００６２】
本実施の形態の場合、図６に示すように、この第二の発光露光をｍ回繰り返して、当該露光により発生した電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積する。その後、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図４の時刻Ｔ１０〜Ｔ１８のタイミングに示す、φＶ１〜φＶ８のパルスを印加することにより、垂直転送部２３内のＡ０−１期間に蓄積した信号電荷とＡ１−１期間に蓄積した信号電荷とが垂直転送部２３内を順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は再び空となる。
【００６３】
続いて図３及び図５に示すように、距離画像フレームの第三の発光露光期間（Ａ２−１期間）は、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１からの光照射を停止して、受光領域２１が制御部３から露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。本実施の形態の場合、この期間の露光信号（φＳＵＢがＬｏｗレベル）期間の長さは、第一の露光信号期間や第二の露光信号期間の長さと同じＴ０、に設定している。
【００６４】
本実施の形態の場合、図６に示すように、この第三の発光露光をｍ回繰り返して、当該露光により発生した電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積する。その後、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図５の時刻Ｔ１９〜Ｔ３６のタイミングに示す、φＶ１〜φＶ８のパルスが印加される。これにより、垂直転送部２３内のＡ０−１期間に蓄積した信号電荷と、Ａ１−１期間に蓄積した信号電荷と、Ａ２−１期間に蓄積した信号電荷とが、垂直転送部２３内で逆方向にＡ０−１期間に蓄積された信号電荷が、読出ゲート２２が存在するパケットに来るように電荷が転送される。
【００６５】
この時、Ａ０−１期間に蓄積した信号電荷と、Ａ１−１期間に蓄積した信号電荷と、Ａ２−１期間に蓄積した信号電荷との３種類が混合することなく、独立して垂直転送部２３内のパケットに格納される。
【００６６】
次に、図３及び図５に示すように、１回目の第一の発光露光期間（Ａ０−１期間）と同様の動作をもう一度繰り返して、２回目の第一の発光露光期間（Ａ０−２期間）とする。つまり、Ａ０−１期間の信号電荷とＡ０−２期間の信号電荷とが垂直転送部２３内で加算されて格納されることになる。次に、図５の時刻Ｔ１〜Ｔ９タイミングに示された、φＶ１〜φＶ８のパルスが印加されることにより、垂直転送部２３内のＡ０−１期間およびＡ０−２期間に蓄積した信号電荷と、Ａ１−１期間に蓄積した信号電荷と、Ａ２−１期間に蓄積した信号電荷とが、垂直転送部２３内で順方向に転送され、Ａ１−１期間に蓄積された信号電荷が、読出ゲート２２が存在するパケットに来る。
【００６７】
以下、図３に示すとおり、同様の動作を繰り返すことで、２回目の第二の発光露光期間（Ａ１−２期間）に、上記１回目の第二の発光露光期間（Ａ１−１期間）と同様の動作で露光することによりＡ１−１期間に蓄積された信号電荷とＡ１−２期間に蓄積された信号電荷とが垂直転送部２３内で加算されることになる。また、２回目の第三の発光露光期間（Ａ２−２期間）に、上記１回目の第三の発光露光期間（Ａ２−１期間）と同様の動作で露光することによりＡ２−１期間に蓄積された信号電荷とＡ２−２期間に蓄積された信号電荷とが垂直転送部２３内で加算されることになる。
【００６８】
その後、図６に示すように、この一連の動作を合計Ｎ回繰り返した後、距離転送期間で垂直転送部２３の転送と水平転送部２４の転送とを順次繰り返して、上記電荷を出力アンプ２５で電圧信号に変換して出力し、撮像信号にして信号処理部４に出力する。
【００６９】
続いて、図６を用いて、本実施の形態に係る撮像装置１０の距離画像フレームにおける測距動作の詳細を説明する。
【００７０】
図６の（ａ）は、発光信号、照射光、第一〜第三の露光信号（φＳＵＢ）、及び読出信号（φＶ１，φＶ５）の１画面におけるタイミング関係の例を示している。本実施の形態の場合、第一〜第三の発光露光期間における発光信号及び露光信号の繰り返しがｍ回で、一連のタイミングを１セットとし、これをＮセット繰り返し出力した後、蓄積された露光信号を出力する。ここで、第一の露光信号による露光量ａ０の総和をＡ０、第二の露光信号による露光量ａ１の総和をＡ１、第三の露光信号による露光量ａ２の総和をＡ２とする。そうすると、本実施の形態の場合、第三の発光露光期間では光源部１からの光照射を停止するので、Ａ２は背景光のみである。このため、光速（２９９，７９２，４５８ｍ／ｓ）をｃとすると、信号処理部４では、画素毎に以下の式１の演算を行うことにより、被写体までの距離Ｌを算出できる。
【００７１】
【数１】
2017150246.tif 000003
【００７２】
このように距離画像フレーム期間では、露光の制御を、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、基板電圧（ＳＵＢ）を制御する信号φＳＵＢのみで行う。
【００７３】
したがって、全ての受光領域２１に対して同時に、高速で、高精度に露光制御を実現し、上記の式１におけるＡ０、Ａ１、Ａ２の精度が高くなり、従って精度の高い距離画像を得るための信号を実現することができる。
【００７４】
続いて、図３及び図７に示すように、輝度画像フレームの輝度露光期間（ＹＩＲ期間）は、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出した後、Ｌｏｗレベルに戻す。
【００７５】
続いて、制御部３で発生する発光信号に従って光源部１から、所定の時間、光を連続照射し、被写体からの反射光を受光領域２１で露光して電荷を蓄積し、光源部１からの光の照射終了から所定時間の後にφＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開く。これにより、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図７の時刻Ｔ１〜Ｔ９のタイミングに示された、φＶ１〜φＶ８のパルスを印加する。これにより、垂直転送部２３内のＹＩＲ期間に蓄積した信号電荷が垂直転送部２３内で順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は空となる。
【００７６】
光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間は、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、制御部３からの露光信号φＳＵＢを、ＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。
【００７７】
従って、当該露光で蓄積された信号電荷は、被写体からの反射光と露光期間内にわたる背景光とによるものであり、そのイメージは、図３のＳｉｇｎａｌで示された通りである。
【００７８】
続いて、図３及び図７に示すように、輝度画像フレームの輝度背景光露光期間（ＹＢＧ期間）は、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出した後、Ｌｏｗレベルに戻す。
【００７９】
続いて、光源部１からの光の照射を停止し、受光領域２１で露光して電荷を蓄積し、所定時間の後にφＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開く。これにより、受光領域２１に蓄積している電荷を、垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じる。
【００８０】
この時、ＹＩＲ期間に蓄積された信号電荷と、ＹＢＧ期間に蓄積された信号電荷の２種類が混合することなく、独立して垂直転送部２３内のパケットに格納される。
【００８１】
ここで、輝度背景光露光期間（ＹＢＧ期間）の露光期間は、制御部３からの露光信号φＳＵＢをＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。
【００８２】
本実施の形態の場合、輝度背景光露光期間（ＹＢＧ期間）の露光期間の長さは、輝度露光期間（ＹＩＲ期間）の露光期間の長さと同じにしている。従って、当該露光で蓄積された信号電荷は、露光期間内にわたる背景光によるものであり、その露光量は輝度露光期間（ＹＩＲ期間）で露光された信号に含まれる背景光と同じであり、そのイメージは図３のＳｉｇｎａｌで示された通りである。
【００８３】
その後、輝度転送期間において垂直転送部２３の転送と水平転送部２４の転送とを順次繰り返し、上記電荷を出力アンプ２５で電圧信号に変換して出力し、撮像信号にして信号処理部４に出力する。信号処理部４では、輝度画像を得る演算において、輝度露光期間（ＹＩＲ期間）で露光された信号から輝度背景光露光期間（ＹＢＧ期間）で露光された信号を減算する。
【００８４】
このように、輝度画像フレームでは、読出ゲート２２を開いているのは、電荷を受光領域２１から垂直転送部２３に読出す時だけであるので、読出ゲート２２が開いている時間に起因するノイズが少ない、高画質な輝度画像を得ることができる。
【００８５】
さらに、輝度露光期間に光源部１から光を照射して輝度画像を得る演算において、輝度露光期間（ＹＩＲ期間）で露光された信号から輝度背景光露光期間（ＹＢＧ期間）で露光された信号を減算するので、光源部１から照射した光の被写体からの反射光による輝度情報のみの輝度画像が得られ、画質の背景光依存を更に抑えることができる。これに加え、光源部１から照射する光（照射光）の波長に対する被写体の吸収、蛍光、反射率で決まる特異的な輝度画像を得ることができるので、さまざまな特異的な３次元検知や測定を高精度に実現することができる。
【００８６】
例えば、赤外光を使用することで、可視光では検出が困難な被写体、例えば血管の高精度な３次元測定、高精度かつ高画質な被写体の形態の立体表示、描写などを実現することができる。
【００８７】
また、さらに、距離画像フレームにおける発光信号に対して被写体からの反射光を受光する露光信号のタイミングが各々異なる複数の露光期間で得られる画素毎の信号を蓄積する手段、及び、輝度画像フレームにおける画素毎に光源からの光を照射する時と照射しない時との信号を蓄積する手段として、垂直転送部２３に既に構成されている複数パケットを利用することができる。したがって、追加で信号蓄積手段を形成することが不要となり、同じ面積であれば受光領域２１を大きく形成でき、飽和感度を大きくすることが可能となる。これにより、最大受光量が大きくなり、高精度な距離画像と高画質な輝度画像とを実現できる。
【００８８】
以上、本実施の形態に係る撮像装置１０によれば、固体撮像素子２０の同一画素２７から得られる高精度な距離画像と輝度画像とを用いて演算により３次元の検知ないし測定が行われる。つまり、固体撮像素子の同一画素から得られる距離画像からの距離情報と輝度画像からの輝度情報とを併用して演算するので、例えば、ポイントクラウドなどの被写体の形態の立体検出、表示、描写を、高精度かつ高画質に実現し、高精度な視線方向検出、高精度なジェスチャー認識、高精度な障害物検知、高精度な路面検知など、高精度な３次元検知や測定を実現することができる。
【００８９】
また、本実施の形態に係る撮像装置１０は、画素２７毎に異なる信号を蓄積する複数の信号蓄積部として、垂直転送部に既に構成されている複数パケットを利用することができる。したがって、追加で信号蓄積手段を形成することが不要となり、同じ面積であれば受光領域２１（フォトダイオード）を大きく形成でき、飽和感度を大きくすることが可能となる。よって、最大受光量が大きくなり、高精度な距離画像と高画質な輝度画像を得ることができる。
【００９０】
また、本実施の形態に係る撮像装置１０および固体撮像素子２０によれば、全受光領域２１の信号電荷は、一括して縦型電荷排出ドレイン２９を介して外部に排出される。言い換えると、複数の受光領域２１（フォトダイオード）を一括してリセットする動作、いわゆるグローバルリセットを行うことができ、視点が一致した画像歪みのない距離画像と輝度画像とを得ることで、高い測距および被写体検知の精度を得ることができる。
【００９１】
（実施の形態１の変形例１）
図８は、実施の形態１の変形例１に係る撮像装置１０の動作の概略を示すタイミングチャートである。また、図９は、距離画像フレームにおける１回目の第三の発光露光期間（Ａ２−１期間）および２回目の第一の発光露光期間（Ａ０−２期間）のタイミングチャートである。また、図１０及び図１１は、それぞれ、実施の形態１の変形例１に係る撮像装置１０の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
【００９２】
図１０の（ａ）及び図１１の（ａ）は、制御部３が出力する発光信号（照射光）及び露光信号（φＳＵＢ）、及び読出信号（φＶ１、φＶ５）の、１つの距離画像フレームにおけるタイミング関係の例を示している。図１０の（ｂ）及び図１１の（ｂ）は、第一の発光露光期間（Ａ０期間）における露光量ａ０の検出タイミングを表している。また、図１０の（ｃ）及び図１１の（ｃ）は、第二の発光露光期間（Ａ１期間）における露光量ａ１の検出タイミングを表している。図１０の（ｄ）及び図１１の（ｄ）は、第三の発光露光期間（Ａ２期間）における露光量ａ２の検出タイミングを表している。
【００９３】
実施の形態１との差異は、距離画像フレームの第三の露光発光期間（Ａ２）では、光源部１からの光の照射を停止せず、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して、受光領域２１が制御部３から第一及び第二の遅延時間とは異なる第三の遅延時間を経た露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。
【００９４】
本実施の形態の場合、図１０及び図１１に示すように、第三の露光信号（φＳＵＢがＬｏｗレベル）期間の長さは、発光信号期間の長さや第一及び第二の露光信号期間の長さと同じＴ０、第三の遅延時間は、第一の遅延時間０と第一の露光信号期間Ｔ０と第二の露光期間Ｔ０とを加算した２×Ｔ０に設定している。
【００９５】
すると、発光信号タイミング（照射光）に対する被写体からの反射光（反射光１、反射光２）の光路による遅延Ｔｄが、光源部１が発光信号を受信して発光するタイミングに対する第一の露光信号φＳＵＢの遅延時間０と第一の露光信号期間Ｔ０とを加算した値Ｔ０未満である場合、図１０に示すように、第三の露光信号期間は背景光のみ露光される。
【００９６】
一方、発光信号タイミング（照射光）に対する被写体からの反射光（反射光１、反射光２）の光路による遅延Ｔｄが、光源部１が発光信号を受信して発光するタイミングに対する第一の露光信号φＳＵＢの遅延時間０と第一の露光信号期間Ｔ０とを加算した値Ｔ０以上である場合、図１１に示すように、第一の露光信号期間は背景光のみ露光される。
【００９７】
そこで、第一の露光信号による露光量ａ０の総和をＡ０、第二の露光信号による露光量ａ１の総和をＡ１、第三の露光信号による露光量ａ２の総和をＡ２とすると、信号処理部４にて、画素毎に、Ａ０とＡ２との大小関係の判定を行い、その判定結果（式２及び式４）に従って、以下の式３及び式５の演算を行うことにより、被写体までの距離Ｌを算出できる。
【００９８】
【数２】
2017150246.tif 000004
の場合、被写体までの距離Ｌは式３で算出される。
【００９９】
【数３】
2017150246.tif 000005
【０１００】
【数４】
2017150246.tif 000006
の場合、被写体までの距離Ｌは式５で算出される。
【０１０１】
【数５】
2017150246.tif 000007
【０１０２】
即ち、実施の形態１では、測距範囲（限界）が、ｃ×Ｔｏ／２であるのに対して、実施の形態１の変形例１では、測距範囲（限界）が、２×（ｃ×Ｔｏ／２）へと２倍に広がる。
【０１０３】
従って、本実施の形態の変形例１では、実施の形態１と同様の効果に加え、距離画像における測距範囲が広がるので、３次元検知、測定の範囲が広がるという効果を有する。
【０１０４】
（実施の形態１の変形例２）
現実の撮像装置では、照射光や露光信号は理想的な矩形波ではなく一定の遷移時間を要するために信号期間の長さが理想値よりも短くなっている。特に発光素子としてレーザダイオードや発光ダイオード（ＬＥＤ）等は駆動負荷が比較的大きいため、照射光の遷移時間が大きくなり、露光信号よりも信号期間が短くなる傾向がある。
【０１０５】
図１２は、実施の形態１の変形例２に係る撮像装置１０の照射光の信号期間が理想値よりも短い場合の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図であり、図１３は、上記タイミングでの被写体の実距離に対する第一〜第三の各露光信号期間の露光量の変化を最大値で正規化して示す説明図であり、図１４は、上記タイミングでの被写体の実距離と測距値との関係を示す説明図である。
【０１０６】
本変形例の場合、図１２に示す通り、照射光の信号期間の長さが、発光信号期間の理想的な長さＴ０よりもＴｎだけ短く、第一の露光信号（Ａ０露光信号）期間の長さを、発光信号期間の理想的な長さＴ０よりＴｗだけ第二の露光信号（Ａ１露光信号）期間とオーバーラップするようにその終点を伸ばし、第二の露光信号（Ａ１露光信号）期間の長さを、発光信号期間の理想的な長さＴ０よりＴｗだけ第三の露光信号（Ａ２露光信号）期間とオーバーラップするようにその終点を伸ばし、第三の露光信号（Ａ２露光信号）期間の長さを、発光信号期間の理想的な長さＴ０よりＴｗだけその終点を伸ばしている。
【０１０７】
この時、図１３に示す通り、第二の露光信号による露光量の総和Ａ１の信号量は最大値で平坦な期間が存在するので、第一と第二との露光信号期間の間、第二と第三の露光信号期間の間にオーバーラップ期間が無いと、この平坦な期間では前記の式３及び式５の分子、分母ともに変化がないため、図１４の“オーバーラップ無“のグラフが示すように実距離に従って測距値が変化しない期間が生じてしまうが、本変形例のように第一〜第三の各露光信号期間の終点を伸ばして、第一と第二との露光信号期間の間、第二と第三との露光信号期間の間にオーバーラップ期間Ｔｗを設けることで、第二の露光信号による露光量の総和Ａ１の信号量が平坦な期間では、前記の式３及び式５の分母が実距離に従って変化する。これにより、図１４の”オーバーラップ有“のグラフが示すように、被写体の測距値は実距離に従って常に単調に変化して直線性が保たれ、高い測距精度が得られる。
【０１０８】
従って、本変形例では、実施の形態１と同様の効果に加え、距離画像における測距精度が更に高いので、３次元検知、測定が更に高精度になるという効果を有する。
【０１０９】
（実施の形態１の変形例３）
実際の撮像装置では、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して第一の露光信号期間が開始するまでの遅延時間である第一の遅延時間を０にして、測距範囲を０から２×（ｃ×Ｔｏ／２）で使用することはない。このため、所望の至近距離からプラス２×（ｃ×Ｔｏ／２）までとなるように、上記第一の遅延時間を設定することになる。
【０１１０】
図１５は、実施の形態１の変形例３に係る撮像装置１０の距離画像フレームにおける露光量を検出するタイミングの一例を説明する図である。
【０１１１】
実施の形態１の変形例１との差異は、以下の通りである。つまり、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して第一の露光信号期間が開始するまでの遅延時間である第一の遅延時間をＤｐに設定する。また、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して第二の露光信号期間が開始するまでの遅延時間である第二の遅延時間は、第一の遅延時間Ｄｐと第一の露光信号期間Ｔ０とを加算したＤｐ＋Ｔ０に設定する。また、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して第三の露光信号期間が開始するまでの遅延時間である第三の遅延時間は、第一の遅延時間Ｄｐと第一の露光信号期間Ｔ０と第二の露光信号期間Ｔ０とを加算したＤｐ＋２×Ｔ０に設定している。
【０１１２】
図１６は、実施の形態１の変形例３に係る撮像装置１０の発光信号と露光信号との相対位相と露光量との関係を説明する図である。より具体的には、図１６は、上記タイミンミングにて被写体を所望の測距範囲の１／４、即ち測距範囲の（ｃ×Ｔｏ／２）／２に固定して、第一〜第三の露光信号期間の相対位相関係は固定したまま、発光信号と露光信号との相対位相のみを走査、即ち第一の遅延時間であるＤｐの値を走査した時の、第一の露光信号による露光量の総和Ａ０の信号量変化及び第二の露光信号による露光量の総和Ａ１の信号量変化をプロットしたグラフである。第一の露光信号による露光量の総和Ａ０は、Ｄｐが発光信号タイミング（照射光）に対する被写体からの反射光の光路による遅延Ｔｄに一致している時に最大となり、Ｄｐを小さくすると露光量は小さくなり、Ｔｄ−Ｔｏになると最小になる。一方、第二の露光信号による露光量の総和Ａ１は、ＤｐがＴｄ−Ｔｏに一致しているとき最大となり、Ｄｐを大きくすると露光量は小さくなり、Ｔｄになると最小になる。Ｄｐとして、第一の露光信号による露光量の総和Ａ０と第二の露光信号による露光量の総和Ａ１とが一致する点を選択すると、それはＴｄ−Ｔｏ／２となり、被写体の位置が測距範囲の下限からｃ×Ｔｏ／２／２即ち測距範囲の１／４のところになるように発光信号と露光信号との相対位相が自動的に最適化されることになり、所望の範囲で高精度に測距が可能となる。
【０１１３】
従って、本実施の形態の変形例３では、実施の形態１と同様の効果に加え、距離画像が所望の範囲で高精度になるので、３次元検知、測定が所望の範囲にて高精度になるという効果を有する。
【０１１４】
（実施の形態１の変形例４）
図１７は、実施の形態１の変形例４に係る撮像装置１０の動作の概略を示すタイミングチャートである。実施の形態１との差異は、輝度画像フレームの輝度露光期間（ＹＩＲ期間）における光源部１から照射される光が連続照射ではなく、距離画像フレームの露光期間と同様、間欠照射である。
【０１１５】
本実施の形態の距離画像を得る測距方式では、前述の通り測距範囲（限界）は制御部３からの１回の発光信号期間の長さＴ０に比例し、精度はＴ０に反比例するので、１回の発光信号期間の長さＴ０は、必要な測距範囲と必要な精度で決定される。また、本実施の形態の距離画像を得る測距方式の場合、被写体の距離が遠く、発光信号タイミング（照射光）に対する被写体からの反射光（反射光１、反射光２）の光路による遅延が大きい場合に、その反射光（反射光１、反射光２）が露光発光動作の繰り返しの次の露光期間で露光されてしまう折り返し現象を避けるために、発光信号のデューティ比を２０％としている。
【０１１６】
一方、輝度画像の画質は、露光における光量に依存するので、輝度画像フレームの輝度露光期間（ＹＩＲ期間）における光源部１から照射される光の発光信号期間の長さとデューティ比は、光源部１を構成する光源の種類に応じてその発光強度が最大になるように設定される。
【０１１７】
上述のように、実施の形態１の変形例４では、実施の形態１と同様の効果に加え、輝度画像を得るための露光期間における光源部１から照射される光の発光信号期間の長さとデューティ比とは、距離画像を得るための露光期間における光源部１から照射される光の発光信号期間の長さ及びデューティ比とは、独立して光源の種類に応じてその発光強度が最大になるように設定できる。よって、更に高画質な輝度画像を実現する効果を有する。
【０１１８】
言い換えると、輝度画像の信号を得るための露光期間の発光デューティ比は、距離画像の信号を得るための方式には依存せず、光源の発光強度が最適になる設定を実現することができる。
【０１１９】
（実施の形態１の変形例５）
図１８は、実施の形態１の変形例５に係る撮像装置１０の動作の概略を示すタイミングチャートである。実施の形態１との差異は、輝度画像フレームの輝度露光期間（ＹＩＲ期間）を、距離画像フレームにおける距離転送期間と重ねていることである。具体的には、光源部１からの光の照射終了から所定時間の後にφＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開く。これにより受光領域２１に蓄積している電荷が垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出されるタイミングが、ＴＯＦ転送完了以降になるように、露光開始前に受光領域２１に蓄積している電荷を全て一旦半導体基板（外部）に排出するとともに露光の開始を決める動作である制御部３からの露光信号φＳＵＢを、一旦ＨｉｇｈレベルにしてＬｏｗレベルに戻す動作を、所望の露光期間になるように距離転送期間内に設定する。
【０１２０】
上述のように、実施の形態１の変形例５では、実施の形態１と同様の効果に加え、フレームレート（毎秒のフレーム数）が増加するとともに、距離画像の露光期間と輝度画像の露光期間との時間差が小さくなり、動きの早い被写体に対する３次元の検知や測定の精度を高めることができる。
【０１２１】
（実施の形態１の変形例６）
図１９は、実施の形態１の変形例６に係る撮像装置１０の動作の概略を示すタイミングチャートである。実施の形態１の変形例５との差異は、輝度画像フレームの輝度露光期間（ＹＩＲ期間）と輝度背景光露光期間（ＹＢＧ期間）との順番を入れ替え、輝度背景光露光期間（ＹＢＧ期間）を距離画像フレームにおける距離転送期間と重ねていることである。
【０１２２】
これにより、実施の形態１の変形例６では、実施の形態１の変形例５と同様の効果に加え、距離転送期間では光源部１からの光の照射を停止するので、垂直転送部２３に光が入射されることによる不要電荷の発生、いわゆるスミアが距離画像に重畳されることを抑える効果を有する。
【０１２３】
（実施の形態１の変形例７）
図２０は、実施の形態１の変形例７に係る撮像装置１０の動作の概略を示すタイミングチャートである。実施の形態１との差異は、輝度画像フレームにおいて、輝度露光期間が、光源部１の発光期間の長さ及び露光期間の長さが異なる２種類の露光期間である輝度露光期間１及び輝度露光期間２で構成されることである。
【０１２４】
具体的には、図２０に示すように、輝度画像フレームの第一の輝度露光期間（ＹＩＲ１期間）では、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、露光信号φＳＵＢをＬｏｗレベルに戻す。
【０１２５】
続いて、制御部３で発生する発光信号に従って光源部１から所定の時間、光を連続照射し、被写体からの反射光を受光領域２１で露光して電荷を蓄積する。そして、光源部１からの光の照射終了から所定時間の後に、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、垂直転送部２３のゲートを制御する。これにより、ＹＩＲ１期間において垂直転送部２３内に蓄積された信号電荷が垂直転送部２３内の順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は空となる。光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間は、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、制御部３からの露光信号φＳＵＢを、ＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。従って、当該露光で蓄積された信号電荷は、被写体からの反射光及び露光期間内にわたる背景光であり、そのイメージは図２０のＳｉｇｎａｌで示された通りである。
【０１２６】
続いて、図２０に示すように、輝度画像フレームの第二の輝度露光期間（ＹＩＲ２期間）では、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、露光信号φＳＵＢをＬｏｗレベルに戻す。
【０１２７】
続いて、制御部３で発生する発光信号に従って光源部１から第一の輝度露光期間（ＹＩＲ１期間）とは異なる所定の時間、光を連続照射し、被写体からの反射光を受光領域２１で露光して電荷を蓄積する。そして、光源部１からの光の照射終了から所定時間の後に、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、垂直転送部２３のゲートを制御する。これにより、ＹＩＲ１期間及びＹＩＲ２期間において垂直転送部２３内に蓄積された信号電荷が垂直転送部２３内の順方向に読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は再び空となる。光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間は、第一の輝度露光期間（ＹＩＲ１期間）同様、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、第一の輝度露光期間（ＹＩＲ１期間）同様、制御部３からの露光信号φＳＵＢを、ＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになり、その長さは第一の輝度露光期間（ＹＩＲ１期間）とは異なる。従って、当該露光で蓄積された信号電荷は、被写体からの反射光及び露光期間内にわたる背景光であり、そのイメージは図２０のＳｉｇｎａｌで示された通りである。
【０１２８】
続いて、図２０に示すように、輝度画像フレームの輝度背景光露光期間（ＹＢＧ期間）では、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、露光信号φＳＵＢをＬｏｗレベルに戻す。
【０１２９】
続いて、光源部１からの光の照射は停止して、受光領域２１で露光して電荷を蓄積し、所定時間の後、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すればφＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じる。
【０１３０】
このとき、ＹＩＲ１期間に蓄積された信号電荷と、ＹＩＲ２期間に蓄積された信号電荷と、ＹＢＧ期間に蓄積された信号電荷の３種類が混合することなく、独立して垂直転送部２３内のパケットに格納される。
【０１３１】
ここで、輝度背景光露光期間（ＹＢＧ期間）の露光期間は、制御部３からの露光信号φＳＵＢを、ＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。本実施の形態の場合、この輝度背景光露光期間（ＹＢＧ期間）における露光期間の長さは、第一の輝度露光期間（ＹＩＲ１期間）における露光期間の長さと同じとしている。従って、当該露光で蓄積された信号電荷は、露光期間内にわたる背景光であり、その露光量は第一の輝度露光期間（ＹＩＲ１期間）で露光された信号に含まれる背景光と同じであり、第二の輝度露光期間（ＹＩＲ２期間）で露光された信号に含まれる背景光とは露光期間の長さの差異分だけ異なり、そのイメージは図２０のＳｉｇｎａｌで示された通りである。
【０１３２】
その後、輝度転送期間において、垂直転送部２３の転送と水平転送部２４の転送とを順次繰り返して、上記電荷を出力アンプ２５で電圧信号に変換して出力し、撮像信号にして信号処理部４に出力する。信号処理部４では、輝度画像を得る演算において、第一の輝度露光期間（ＹＩＲ１期間）で露光された信号と第二の輝度露光期間（ＹＩＲ２期間）で露光された信号との合成及び輝度背景光露光期間（ＹＢＧ期間）で露光された信号の減算を露光期間の長さの差異を考慮して行う。
【０１３３】
これにより、実施の形態１の変形例７では、実施の形態１と同様の効果に加え、輝度画像における、特に光源部に近い被写体の飽和を抑えられるので、近い被写体から遠い被写体まで高画質な輝度画像を得ることができる。
【０１３４】
（実施の形態２）
図２１は、実施の形態２に係る撮像装置１０の動作の概略を示すタイミングチャートである。より具体的には、図２１は、１フレーム期間内で、左右に隣接する２つの受光領域２１で発生された信号電荷を垂直転送部２３に読み出し、垂直転送する駆動タイミングの一例を示している。
【０１３５】
図２１には、垂直同期パルスＶＤと、露光信号であるφＳＵＢと、垂直転送部２３を構成するゲートＶ１〜Ｖ８のうち読出ゲート２２と共用されているφＶ１及びφＶ５と、光源部１から照射される赤外光（照射光）と、被写体で反射された反射光と、背景光と、受光領域２１で発生した信号電荷のイメージを示すＳｉｇｎａｌとが示されている。実施の形態１との差異は、１フレーム期間内の露光期間としては、第二の発光露光期間（Ａ１期間）、輝度露光期間（ＹＩＲ期間）及び輝度背景光露光期間（ＹＢＧ期間）の３種類で構成され、距離画像を得る信号の露光は第二の発光露光期間（Ａ１期間）のみである。上記３種類の異なる露光で得られた信号電荷は、独立して垂直転送部２３内のパケットに格納され、１度の転送期間で転送される。
【０１３６】
具体的には、垂直同期パルスＶＤは毎秒複数フレームであり、各１フレーム期間は、第二の発光露光期間（Ａ１期間）と、輝度露光期間（ＹＩＲ期間）と、輝度背景光露光期間（ＹＢＧ期間）と、これら３種類の露光で蓄積した３種類の信号を転送し撮像信号を信号処理部４に出力する転送期間とで構成される。
【０１３７】
第二の発光露光期間（Ａ１期間）は、制御部３で発生する発光信号に従って光源部１から照射される光の照射タイミングに対して異なる位相を有し、当該期間では、受光領域２１にて被写体までの距離に応じて遅延した反射光の露光を指示する制御部３からの露光信号φＳＵＢのタイミングで露光する。
【０１３８】
輝度露光期間（ＹＩＲ期間）では、制御部３で発生する発光信号に従って光源部１から光を照射し、被写体からの反射光を受光領域２１で露光する。
【０１３９】
輝度背景光露光期間（ＹＢＧ期間）では、光源部１からの光照射を停止して背景光のみを受光領域２１で露光する。
【０１４０】
転送期間では、これら３種類の露光で蓄積した３種類の信号を転送し撮像信号を信号処理部４に出力する。
【０１４１】
図２２は、実施の形態２に係る撮像装置１０の動作の詳細を示すタイミングチャートである。また、図２３は、実施の形態２に係る撮像装置１０における露光量を検出するタイミングの一例を説明する図である。
【０１４２】
より具他的には、図２３の（ａ）は、制御部３が出力する発光信号（照射光）及び露光信号（φＳＵＢ）、ならびに読出信号（φＶ１、φＶ５）の１つのフレームにおけるタイミング関係の例を表している。また、図２３の（ｂ）は、第二の発光露光期間（Ａ１期間）における露光量ａ１の検出タイミングを表している。また、図２３の（ｃ）は、輝度露光期間（ＹＩＲ期間）における露光量の総和ＹＩＲの検出タイミングを表している。また、図２３の（ｄ）は、輝度背景光露光期間（ＹＢＧ期間）における露光量の総和ＹＢＧの検出タイミングを表している。
【０１４３】
図２１及び図２２に示すように、第二の発光露光期間（Ａ１期間）は、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して、受光領域２１が制御部３から第二の遅延時間を経た露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。本実施の形態の場合、図２３に示すように、第二の露光信号（φＳＵＢがＬｏｗレベル）期間の長さ及び第二の遅延時間は、発光信号期間の長さと同じＴ０に設定している。
【０１４４】
本実施の形態の場合、図２３に示すように、第二の発光露光を、トータルの露光時間が実施の形態１と同じになるようにｍ×Ｎ回繰り返し、当該露光により発生した電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに蓄積する。その後、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図２２の時刻Ｔ１〜Ｔ９のタイミングに示された、φＶ１〜φＶ８のパルスを印加する。これにより、垂直転送部２３内のＡ１期間に蓄積した信号電荷を、垂直転送部２３内で順方向に、読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は空となる。
【０１４５】
続いて、図２１及び図２２に示すように、輝度露光期間（ＹＩＲ期間）は、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、制御部３からの露光信号φＳＵＢをＬｏｗレベルにする。続いて、制御部３で発生する発光信号に従って、光源部１から所定の時間、光を連続照射し、被写体からの反射光を受光領域２１で露光して電荷を蓄積する。そして、光源部１からの光の照射終了から所定時間の後に、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じて、図２２の時刻Ｔ１０〜Ｔ１８のタイミングに示された、φＶ１〜φＶ８のパルスを印加する。これにより、垂直転送部２３内のＡ１期間に蓄積された信号電荷と、ＹＩＲ期間に蓄積された信号電荷とが垂直転送部２３内で順方向に、読出ゲート２２が存在しないゲート下のパケットに転送され、ゲートＶ１及びＶ５下の信号電荷は再び空となる。光源部１からの光の照射終了から、φＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間は、撮像したい被写体のうち最も遠いものでの反射光の光路による遅延を考慮して設定すればよい。ここで、露光期間は、制御部３からの露光信号φＳＵＢをＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。従って、当該露光で蓄積された信号電荷は、被写体からの反射光及び露光期間内にわたる背景光によるものであり、そのイメージは、図２１のＳｉｇｎａｌで示された通りである。本実施の形態の場合、図２３に示すように、光源部１からの光の照射期間はｍ×Ｎ×Ｔ０に設定され、光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間はＴ０に設定されているので、露光期間の長さは（ｍ×Ｎ＋１）×Ｔ０となる。
【０１４６】
続いて図２１及び図２２に示すように、輝度背景光露光期間（ＹＢＧ期間）は、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じた状態で、制御部３からの露光信号φＳＵＢを、一旦Ｈｉｇｈレベルにして受光領域２１に蓄積している電荷を全て半導体基板（外部）に排出する。その後、露光信号φＳＵＢをＬｏｗレベルに戻す。続いて、光源部１からの光の照射を停止し、受光領域２１で露光して電荷を蓄積し、所定時間の後にφＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開き、受光領域２１に蓄積している電荷を垂直転送部２３の読出ゲート２２であるゲートＶ１下のパケット及びゲートＶ５下のパケットに読出す。当該読出しが終了すれば、φＶ１及びφＶ５をＭｉｄｄｌｅレベルにして読出ゲート２２を閉じる。
【０１４７】
このとき、Ａ１期間に蓄積された信号電荷と、ＹＩＲ期間に蓄積された信号電荷と、ＹＢＧ期間に蓄積された信号電荷の３種類が混合することなく、独立して垂直転送部２３内のパケットに格納される。
【０１４８】
ここで、輝度背景光露光期間（ＹＢＧ期間）の露光期間は、制御部３からの露光信号φＳＵＢをＨｉｇｈレベルからＬｏｗレベルにしたところで始まり、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いたところで終了することになる。本実施の形態の場合、輝度背景光露光期間（ＹＢＧ期間）の露光期間の長さは、図２３に示すように、輝度露光期間（ＹＩＲ期間）の露光期間の長さと同じ（ｍ×Ｎ＋１）×Ｔ０にしている。従って、当該露光で蓄積された信号電荷は露光期間内にわたる背景光であり、その露光量は輝度露光期間（ＹＩＲ期間）で露光された信号に含まれる背景光と同じであり、そのイメージは図２１のＳｉｇｎａｌで示された通りである。
【０１４９】
その後、転送期間で垂直転送部２３の転送と水平転送部２４の転送とを順次繰り返し、上記電荷を出力アンプ２５で電圧信号に変換して出力し、撮像信号にして信号処理部４に出力する。信号処理部４では、輝度画像を得る演算において、輝度露光期間（ＹＩＲ期間）で露光された信号から輝度背景光露光期間（ＹＢＧ期間）で露光された信号を減算する。
【０１５０】
このように輝度画像を得るための信号ＹＩＲ及びＹＢＧの撮像動作では、読出ゲート２２を開いているのは、電荷を受光領域２１から垂直転送部２３に読出す時だけである。よって、読出ゲート２２が開いている時間に起因するノイズが少ない、高画質な輝度画像を得ることができる。
【０１５１】
続いて、図２３を用いて、本実施の形態に係る撮像装置１０の距離画像を得る信号の測距動作の詳細を説明する。
【０１５２】
図２３の（ａ）は、発光信号（照射光）、露光信号（φＳＵＢ）、及び読出信号（φＶ１、φＶ５）の１画面におけるタイミング関係の例を示している。本実施の形態の場合、第二の発光露光期間（Ａ１期間）における発光信号及び露光信号の繰り返しがｍ×Ｎ回であり、輝度露光期間（ＹＩＲ期間）における光源部１からの光の照射期間はｍ×Ｎ×Ｔ０であり、光源部１からの光の照射終了からφＶ１及びφＶ５をＨｉｇｈレベルにするまでの時間はＴ０であり、露光期間の長さは（ｍ×Ｎ＋１）×Ｔ０であり、輝度背景光露光期間（ＹＢＧ期間）の露光期間の長さは（ｍ×Ｎ＋１）×Ｔ０である。
【０１５３】
ここで、第二の露光信号による露光量ａ１の総和をＡ１とし、輝度露光期間の露光量の総和をＹＩＲとし、輝度背景光露光期間の露光量の総和をＹＢＧとする。本実施の形態の場合、第二の発光露光期間における光の総照射期間と輝度露光期間の光の照射期間とは、発光信号（照射光）及び露光信号（φＳＵＢ）の立ち上がり時間と立ち下がり時間とがゼロである場合、共に同じｍ×Ｎ×Ｔ０である。このため、ＹＩＲからＹＢＧを減算した結果は、第二の発光露光期間に照射された光の反射光を全て露光した総和と等しく、またＡ１に含まれる背景光は、ＹＢＧの（ｍ×Ｎ）／（ｍ×Ｎ＋１）倍である。しかし実際の発光信号（照射光）及び露光信号（φＳＵＢ）は立ち上がり時間と立ち下がり時間とを持つために、期間Ｔ０の繰り返し回数がｍ×Ｎ回であっても、連続のｍ×Ｎ×Ｔ０とは必ずしも同じ時間量にはならない。このため、その差異の補正が必要であり、その補正係数をａとする。よって、光速（２９９，７９２，４５８ｍ／ｓ）をｃとすると、信号処理部４では画素毎に以下の式６の演算を行うことにより、被写体までの距離Ｌを算出できる。
【０１５４】
【数６】
2017150246.tif 000008
【０１５５】
なお、実施の形態１及びその変形例で得られる同様の信号でもこの同じ演算を行ってもよい。
【０１５６】
上記式６において、被写体までの距離によって値が変化するＡ１を得る撮像動作は、露光の制御を、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、基板電圧（ＳＵＢ）を制御する信号φＳＵＢのみで行うので、全ての受光領域２１に対して同時に、高速で、高精度に露光制御を実現できる。よって、上記の式６におけるＡ１の精度が高くなり、従って精度の高い距離画像を得るための信号を実現することができる。
【０１５７】
さらに、上記式６において、被写体までの距離によって値が変化しないＹＩＲ及びＹＢＧを得る撮像動作では、読出ゲート２２を開いているのは、電荷を受光領域２１から垂直転送部２３に読出す時だけであるので、読出ゲート２２が開いている時間に起因するノイズが少なく、演算で算出される距離Ｌの偏差が小さくなる。
【０１５８】
上述したように、本実施の形態では、実施の形態１と同様の効果に加え、演算で算出される距離Ｌの偏差が小さくなるので、距離画像の精度が更に高くなり、より精度の高い３次元の検知や測定を実現することができる。
【０１５９】
さらに、フレームレート（毎秒のフレーム数）が増加するとともに、距離画像の露光期間と輝度画像の露光期間との時間差が小さくなるので、動きの早い被写体に対する３次元の検知や測定の精度を高めることができる。
【０１６０】
（まとめ）
なお、上述した実施の形態は全て、距離画像を得る方式としてはＴＯＦ方式の中でも発光露光の繰り返しにおいて露光をしない位相が存在する矩形波型ＴＯＦ方式を例にしたが、これに限られない。正弦波あるいは矩形波に変調された光源に対して、位相が９０度ごと異なる４位相の露光タイミングで得られた信号から演算で距離画像を得る変調型ＴＯＦ方式（照射光が正弦波）、矩形波変調型ＴＯＦ方式（照射光が矩形波）、さらには被写体に投影した単一のランダムなドットで構成された投影パターンの移動量から画像処理で距離を演算するパターン照射方式など他の方式であってもよい。
【０１６１】
また、上述した実施の形態は、固体撮像素子としてＣＣＤ型イメージセンサを用いて説明したが、本発明に用いられる固体撮像素子は、それに限定されるものではなく、その他のイメージセンサ（一例として、ＣＭＯＳ型イメージセンサ、または、光電変換膜を備えるイメージセンサ）を用いることができ、本発明の効果を得ることができる。なお、本実施の形態では、画素２７内で電荷が電圧に変換されるイメージセンサをＣＭＯＳ型イメージセンサと称する。
【０１６２】
図２４は、本実施の形態に係る固体撮像素子２０の一例として、ＣＭＯＳ型イメージセンサの構成を示す図であり、撮像部２がこの固体撮像素子２０を備える。ここでは、本発明の理解を容易とするため、垂直方向に２画素分及び水平方向に２画素分のみを示している。なお、本実施の形態に係るＣＭＯＳ型イメージセンサ（図２４）とＣＣＤ型イメージセンサ（図２Ａ）との比較において、図２４の受光領域３１は図２Ａの受光領域２１に相当し、図２４の電荷蓄積部３２は図２Ａの垂直転送部２１に相当し、図２４の読み出し部３６は読出ゲート２２に相当する。
【０１６３】
図２４に示すように、複数の受光領域（受光部、光電変換部、一例として、フォトダイオード）３１と、各々の受光領域３１には露光を制御する露光制御部３３を介して不要な電荷を排出するオーバーフロードレイン３４と、左右に複数（一例として２つ）の電荷の読み出しを制御する読み出し部３６を介して、左右隣り合う受光領域３１間で共通の電荷を蓄積する電荷蓄積部３２を備え、受光領域３１の同じ側の隣り合う２つの電荷蓄積部３２の間は、電荷の転送を制御する転送制御部３５を備え、隣り合う２つの電荷蓄積部３２のうち一方の転送制御部３５とは反対側は、出力部３８を介して、隣り合う他の電荷蓄積部３２と共通の電荷を電圧に変換するフローティングディフージョン３７に接続される。
【０１６４】
ここで、距離画像フレームでは、受光領域３１ごとに、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して各々異なる複数のタイミングの露光信号期間で露光して発生した電荷は異なる電荷蓄積部３２に蓄積した後、転送制御部３５と出力部３８とを制御してフローティングディフージョン３７で電圧に変換して、順次出力される。一方、輝度画像フレームでは、露光制御部３３と出力の制御とを線順次で走査（いわゆるローリングシャッター）することで、受光領域３１で発生した電荷は、電荷蓄積部３２に留まることなく直接フローティングディフージョン３７で電圧に変換して、順次出力されるので、電荷蓄積部に電荷が留まることに起因するノイズによる画像劣化が発生しない。
【０１６５】
従って、固体撮像素子としてＣＭＯＳ型イメージセンサを用いても、ＣＣＤ型イメージセンサを用いた場合と同様、本発明の効果を得ることができる。
【０１６６】
また、上述した実施の形態では、輝度画像は、露光期間に光源部１から光を照射することで得られる場合を例にしたが、光照射を露光期間に行わなくてもよい。
【０１６７】
また、上述した実施の形態は、測距精度を向上するために、背景光を露光（受光）する場合を説明したが、背景光を露光（受光）せずに照射光を露光（受光）するのみの場合でも本発明の効果を得ることができる。
【０１６８】
また、上記実施の形態では、撮像装置について説明したが、本開示の撮像装置の構成は、距離情報により距離を測定する撮像装置に留まらず、その他の物理量（例：形状、温度、放射線濃度など）を精度よく検知する物理量検知装置や、撮像したデータを精度良く描写させる撮像装置にも適用することが可能である。
【０１６９】
（その他の実施の形態）
以上、本開示の撮像装置及び固体撮像素子について、上記実施の形態及びその変形例に基づいて説明してきたが、本開示の撮像装置及び固体撮像素子は、上記実施の形態及びその変形例に限定されるものではない。上記実施の形態及びその変形例における任意の構成要素を組み合わせて実現される別の実施の形態や、上記実施の形態及びその変形例に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本開示の撮像装置及び固体撮像素子を内蔵した各種機器も本発明に含まれる。
【産業上の利用可能性】
【０１７０】
本発明に係る撮像装置は、周辺環境に依存することなく、被写体の高精度な３次元の検知、測定が実現できるため、例えば、ポイントクラウドなど、人物、建物、人体や動植物の器官・組織などの形態を立体検出、表示、描写や、視線方向検出、ジェスチャー認識、障害物検知、路面検知などに有用である。
【符号の説明】
【０１７１】
１    光源部
２    撮像部
３    制御部
３Ａ  露光信号制御部
３Ｂ  発光信号制御部
４    信号処理部
１０    撮像装置
２０    固体撮像素子
２１    受光領域（受光部、光電変換部）
２２    読出ゲート（読み出し部）
２３    垂直転送部（第１の転送部、信号蓄積部）
２４    水平転送部（第２の転送部、信号蓄積部）
２５    出力アンプ
２６    ＳＵＢ端子
２７    画素
２８    チャネルストップ
２９    縦型電荷排出ドレイン
３１    受光領域（受光部、光電変換部）
３２    電荷蓄積部（信号蓄積部、転送部）
３３    露光制御部
３４    オーバーフロードレイン
３５    転送制御部
３６    読み出し部
３７    フローティングディフュージョン
３８    出力部
【図１】
2017150246.tif 000009
【図２Ａ】
2017150246.tif 000010
【図２Ｂ】
2017150246.tif 000011
【図２Ｃ】
2017150246.tif 000012
【図２Ｄ】
2017150246.tif 000013
【図２Ｅ】
2017150246.tif 000014
【図３】
2017150246.tif 000015
【図４】
2017150246.tif 000016
【図５】
2017150246.tif 000017
【図６】
2017150246.tif 000018
【図７】
2017150246.tif 000019
【図８】
2017150246.tif 000020
【図９】
2017150246.tif 000021
【図１０】
2017150246.tif 000022
【図１１】
2017150246.tif 000023
【図１２】
2017150246.tif 000024
【図１３】
2017150246.tif 000025
【図１４】
2017150246.tif 000026
【図１５】
2017150246.tif 000027
【図１６】
2017150246.tif 000028
【図１７】
2017150246.tif 000029
【図１８】
2017150246.tif 000030
【図１９】
2017150246.tif 000031
【図２０】
2017150246.tif 000032
【図２１】
2017150246.tif 000033
【図２２】
2017150246.tif 000034
【図２３】
2017150246.tif 000035
【図２４】
2017150246.tif 000036
【手続補正書】
【提出日】平成30年7月19日(2018.7.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、前記発光信号により前記照射光の照射を行う光源部と、固体撮像素子を備える撮像部と、を備える撮像装置であって、
前記固体撮像素子は画素を有し、前記照射光が照射されることにより、距離画像を生成するための距離撮像信号、及び、輝度画像を生成するための輝度撮像信号を、共通の前記画素から生成し、
前記制御部は、前記距離撮像信号または前記輝度撮像信号の信号電荷を蓄積させる露光期間、及び、転送させる転送期間、の少なくとも一方を、距離画像フレームと輝度画像フレームとに分けて設定し、
前記信号電荷を蓄積、及び、転送する駆動の少なくとも一方を、前記距離画像フレームと前記輝度画像フレームとで異ならせる
撮像装置。
【請求項２】
前記画素は、受光部と信号蓄積部とを有し、
前記距離画像フレームでは、前記信号電荷を前記信号蓄積部下のパケットに蓄積し、
前記輝度画像フレームでは、前記信号電荷を前記受光部に蓄積する
請求項１に記載の撮像装置。
【請求項３】
前記受光部および前記信号蓄積部の間に、前記信号電荷の転送を制御する転送制御部を備える
請求項２に記載の撮像装置。
【請求項４】
前記輝度撮像信号は、前記距離撮像信号と同じ波長帯の信号である
請求項１〜３のいずれか１項に記載の撮像装置。
【請求項５】
演算により距離画像と輝度画像とを出力する信号処理部を備え、
前記固体撮像素子は、
前記照射光の未照射時に得られ、前記輝度撮像信号と同じ波長帯の第２撮像信号を生成し、
前記信号処理部は、前記輝度画像を得るために、前記輝度撮像信号から前記第２撮像信号を減算する
請求項１〜４のいずれか１項に記載の撮像装置。
【請求項６】
前記輝度画像フレームは、前記輝度撮像信号を得る輝度露光期間と、前記第２撮像信号を得る輝度背景光露光期間と、を有する
請求項５に記載の撮像装置。
【請求項７】
前記第２撮像信号は、前記距離撮像信号と同じ波長帯の信号であり、
前記信号処理部は、前記距離画像を得るために、前記距離撮像信号と前記第２撮像信号を用いて演算を行う
請求項５または６に記載の撮像装置。
【請求項８】
演算により距離画像と輝度画像とを出力する信号処理部を備え、
前記固体撮像素子は、前記照射光の未照射時に得られる前記距離撮像信号と同じ波長帯の第２撮像信号を生成し、
前記輝度撮像信号は、前記距離撮像信号と同じ波長帯であり、
前記信号処理部は、前記輝度撮像信号、及び、前記第２撮像信号の少なくとも一方を、前記距離画像を得る演算に使用する
請求項１〜４のいずれか１項に記載の撮像装置。
【請求項９】
前記距離画像フレームは、前記照射光が照射され前記露光が行われる期間と、前記照射光が未照射で前記露光が行われる期間と、を有する
請求項１〜８のいずれか１項に記載の撮像装置。
【請求項１０】
前記輝度画像は、前記距離画像と同じ波長帯の画像である
請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１１】
前記照射光は、７５０ｎｍから４０００ｎｍの波長を有する赤外光であり、
前記撮像部は、さらに、前記照射光の波長近傍を通過させる光学的バンドパスフィルタ（帯域通過フィルタ）を備える
請求項１〜１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記画素は、受光部と、前記受光部毎に異なる複数の信号蓄積部を有し、
前記制御部は、前記受光部毎に異なる複数の信号蓄積部の少なくとも２つの信号蓄積部のそれぞれに露光を行う前記露光信号のタイミングを、前記発光信号のタイミングに対して互いに異なるように設定する
請求項１〜１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記制御部は、前記露光信号と前記発光信号との位相関係を、前記距離画像が得られる測距範囲内に置いた物体からの反射光による露光量が互いに等しくなるように、設定する
請求項１２に記載の撮像装置。
【請求項１４】
異なる前記信号蓄積部には、異なる露光時間で露光した前記輝度画像を得るための信号が蓄積される
請求項１２または１３に記載の撮像装置。
【請求項１５】
前記制御部は、前記露光信号のタイミングを、互いにオーバーラップの期間を有するように設定する
請求項１〜１４のいずれか１項に記載の撮像装置。
【請求項１６】
前記制御部は、前記発光信号のデューティ比が、前記距離画像の信号を得るための露光期間と、輝度画像の信号を得るための露光期間とで異ならせる
請求項１〜１５のいずれか１項に記載の撮像装置。
【請求項１７】
前記撮像装置は、前記距離画像と前記輝度画像とを用いて、演算により３次元の物体検知または物体測定を行う
請求項１〜１６のいずれか１項に記載の撮像装置。
【請求項１８】
前記距離画像を得る方式は、ＴＯＦ（ｔｉｍｅ ｏｆ ｆｌｉｇｈｔ）方式である
請求項１〜１７のいずれか１項に記載の撮像装置。
【請求項１９】
照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、前記発光信号により前記照射光の照射を行う光源部と、固体撮像素子を備える撮像部と、を備え、
前記制御部は、距離撮像信号または輝度撮像信号の信号電荷を蓄積させる露光期間、及び、転送させる転送期間、の少なくとも一方を、距離画像フレームと輝度画像フレームとに分けて設定し、前記信号電荷を蓄積、及び、転送する駆動の少なくとも一方を、前記距離画像フレームと前記輝度画像フレームとで異ならせる、
撮像装置に用いられる固体撮像素子であって、
前記固体撮像素子は画素を有し、前記照射光が照射されることにより、距離画像を生成するための前記距離撮像信号、及び、輝度画像を生成するための前記輝度撮像信号を、共通の前記画素から生成する
固体撮像素子。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
上記課題を解決するために、本発明の一態様に係る撮像装置は、照射光の照射を指示する発光信号と、物体からの反射光の露光を指示する露光信号とを発生する制御部と、前記発光信号により前記照射光の照射を行う光源部と、固体撮像素子を備える撮像部と、を備える撮像装置であって、前記固体撮像素子は画素を有し、前記照射光が照射されることにより、距離画像を生成するための距離撮像信号、及び、輝度画像を生成するための輝度撮像信号を、共通の前記画素から生成し、前記制御部は、前記距離撮像信号または前記輝度撮像信号の信号電荷を蓄積させる露光期間、及び、転送させる転送期間、の少なくとも一方を、距離画像フレームと輝度画像フレームとに分けて設定し、前記信号電荷を蓄積、及び、転送する駆動の少なくとも一方を、前記距離画像フレームと前記輝度画像フレームとで異ならせることを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】変更
【補正の内容】
【００２９】
図２Ｃは、実施の形態１に係る固体撮像素子２０において同一画素から距離撮像信号及び輝度撮像信号を発生することを説明する図である。図２Ｃに示すように、固体撮像素子２０の画素構造は、輝度撮像信号を発生する画素（または、受光領域）、距離撮像信号を発生する画素（または、受光領域）、及び第２撮像信号を発生する画素（または、受光領域）が、それぞれ異なるものではなく、同じ画素（共通の画素）２７から撮像信号（輝度撮像信号及び距離撮像信号）と第２撮像信号とを発生することが特徴である。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
実施の形態１との差異は、距離画像フレームの第三の発光露光期間（Ａ２）では、光源部１からの光の照射を停止せず、φＶ１及びφＶ５をＨｉｇｈレベルにして読出ゲート２２を開いた状態で、光源部１が制御部３からの発光信号を受信して光を照射するタイミングに対して、受光領域２１が制御部３から第一及び第二の遅延時間とは異なる第三の遅延時間を経た露光信号φＳＵＢを受信し、そのＬｏｗレベルの期間で露光を行う。
【国際調査報告】
2017150246.tif 000037
2017150246.tif 000038
2017150246.tif 000039
2017150246.tif 000040