(57)【要約】固体撮像装置（１０）は、行列状に配置された複数の画素を有する撮像部（１１）と、複数の画素の列のそれぞれに対応して設けられ、複数の画素で生成された信号電荷を読み出す読み出し電極と読み出した信号電荷を列方向に転送する転送電極とを有する複数の垂直転送部（１４）と、垂直転送部（１４）で転送されてきた信号電荷を行方向に転送して出力する水平転送部（１５）とを備える。撮像部（１１）は、可視光を信号電荷に変換する第１光電変換部を有する可視光画素（１２）が行方向に隣接するように並べられた第１の行と、赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素（１３）が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される。
2018101049.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配置された複数の画素を有する撮像部を備え、
前記撮像部は、可視光を信号電荷に変換する第１光電変換部を有する可視光画素が行方向に隣接するように並べられた第１の行と、赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される
固体撮像装置。
【請求項２】
前記第１の行と前記第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置される、または、Ｎ行の前記第１の行とＬ行の前記第２の行（ＮとＬは異なる自然数）とが交互に繰り返すように配置される
請求項１記載の固体撮像装置。
【請求項３】
前記固体撮像装置は、さらに、前記複数の画素の列のそれぞれに対応して設けられ、前記複数の画素で生成された信号電荷を読み出す読み出し電極と読み出した信号電荷を列方向に転送する転送電極とを有する複数の垂直転送部を備える
請求項１または２記載の固体撮像装置。
【請求項４】
前記複数の垂直転送部は、前記読み出し電極によって、前記第２の行において隣接する２つの赤外光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算する
請求項３記載の固体撮像装置。
【請求項５】
前記複数の垂直転送部は、前記読み出し電極によって、前記第１の行において隣接する２つの可視光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算する
請求項３または４記載の固体撮像装置。
【請求項６】
前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部は、前記読み出し電極によって、前記第１の行において隣接する２つの可視光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算し、
前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記読み出し電極によって、前記第２の行において隣接する２つの赤外光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算する
請求項５記載の固体撮像装置。
【請求項７】
前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部は、前記読み出し電極によって、複数の前記第２の行のうちの一部の第２の行を構成する赤外光画素において第１の露光時間による露光で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出し、
前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記読み出し電極によって、複数の前記第２の行のうちの他の一部の第２の行を構成する赤外光画素において前記第１の露光時間よりも短い第２の露光時間による露光で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出す
請求項３〜６のいずれか１項に記載の固体撮像装置。
【請求項８】
前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部、又は、前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記転送電極によって、前記第１の露光時間による露光で得られた信号電荷が保持される前記垂直転送部の第１の箇所と、前記第２の露光時間による露光で得られた信号電荷が保持される前記垂直転送部の第２の箇所とが同じ行となるように、前記第１の箇所又は前記第２の箇所を列方向に転送する
請求項７記載の固体撮像装置。
【請求項９】
前記固体撮像装置は、ＣＭＯＳイメージセンサである
請求項１または２に記載の固体撮像装置。
【請求項１０】
赤外光を照射する光源部と、
請求項１〜９のいずれか１項に記載の固体撮像装置と、
前記光源部及び前記固体撮像装置を制御することで、前記固体撮像装置が備える可視光画素に可視光を受光させ、前記固体撮像装置が備える赤外光画素に、前記光源部が照射した赤外光が被写体に反射して返ってくる反射光を受光させる制御回路と、
前記固体撮像装置が備える可視光画素で生成された信号電荷を読み出すことで前記被写体の可視画像を生成し、前記固体撮像装置が備える赤外光画素で生成された信号電荷を読み出すことで前記被写体までの距離を示す距離画像を生成する信号処理回路と
を備える測距撮像装置。
【請求項１１】
前記信号処理回路は、前記固体撮像装置が備える赤外光画素で生成された信号電荷を読み出すことで前記被写体までの距離を示す距離画像と赤外光画像とを生成する
請求項１０記載の測距撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置及び固体撮像装置を用いて距離画像を生成する測距撮像装置に関する。
【背景技術】
【０００２】
従来、距離画像を生成する測距撮像装置（いわゆる測距カメラ）として、様々な技術が提案されている（特許文献１、２参照）。ここで、距離画像とは、画像を構成する画素の単位で被写体までの距離を示す画像である。【０００３】
特許文献１の測距撮像装置は、被写体に向けて赤外光を照射する光源部と、被写体から反射してきた赤外光を受光する固体撮像装置（いわゆるイメージセンサ）とを備える。固体撮像装置は、赤外光を受光する赤外光画素だけが行列状に配置された撮像部を有し、赤外光画素で生成された信号電荷を読み出す際に、行方向に隣接する２個の赤外光画素について信号電荷を加算して読み出すことで、赤外光画素について個別に信号電荷を読み出す場合に比べ、２倍に感度を向上させている。これによって、高い感度で距離画像が生成される。【０００４】
また、特許文献２の測距撮像装置は、被写体に向けて赤外光を照射する光源部と、被写体から反射してきた赤外光だけでなく可視光も受光する固体撮像装置とを備える。固体撮像装置は、赤外光を受光する赤外光画素と、可視光を受光する可視光画素とが、行方向及び列方向に交互（市松状）に配置された撮像部を有する。これによって、赤外光画素で生成された信号電荷を読み出すことで距離画像が生成されるとともに、可視光画素で生成された信号電荷を読み出すことで可視画像も生成され、被写体までの距離が２次元的に分かるだけでなく、被写体の輝度も分かるので、例えば、赤外光が反射されにくい黒色の箇所についても被写体の形状や模様が認識され、測距撮像装置のアプリケーションが広がる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１４／００２４１５号
【特許文献２】国際公開第２０１６／０３１１７１号
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の測距撮像装置では、高い感度で距離画像が生成されるものの、距離画像しか得られない（つまり、可視画像が得られない）という問題がある。【０００７】
一方、特許文献２の測距撮像装置では、距離画像と可視画像とが生成されるものの、赤外光画素が行方向に隣接して配置されていないので２個の赤外光画素について信号電荷を加算することができず、高い感度で距離画像を得ることができないという問題がある。【０００８】
そこで、本発明は、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適した固体撮像装置及び測距撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の一形態に係る固体撮像装置は、行列状に配置された複数の画素を有する撮像部を備え、前記撮像部は、可視光を信号電荷に変換する第１光電変換部を有する可視光画素が行方向に隣接するように並べられた第１の行と、赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される。【００１０】
また、上記目的を達成するために、本発明の一形態に係る測距撮像装置は、赤外光を照射する光源部と、上記固体撮像装置と、前記光源部及び前記固体撮像装置を制御することで、前記固体撮像装置が備える可視光画素に可視光を受光させ、前記固体撮像装置が備える赤外光画素に、前記光源部が照射した赤外光が被写体に反射して返ってくる反射光を受光させる制御回路と、前記固体撮像装置が備える可視光画素で生成された信号電荷を読み出すことで前記被写体の可視画像を生成し、前記固体撮像装置が備える赤外光画素で生成された信号電荷を読み出すことで前記被写体までの距離を示す距離画像を生成する信号処理回路とを備える。
【発明の効果】
【００１１】
本発明により、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適した固体撮像装置及び測距撮像装置が提供される。
【図面の簡単な説明】
【００１２】
【図１】図１は、実施の形態に係る測距撮像装置の構成を示すブロック図である。
【図２】図２は、図１に示された固体撮像装置の詳細な構成を示すブロック図である。
【図３】図３は、図１に示された固体撮像装置による信号電荷の第１の読み出し例を示す図である。
【図４】図４は、実施の形態に係る測距撮像装置において距離画像が生成される原理を説明する図である。
【図５】図５は、図１に示された固体撮像装置による信号電荷の第２の読み出し例を示す図である。
【図６】図６は、図５に示された第２の読み出し例における赤外光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。
【図７】図７は、図５に示された第２の読み出し例における可視光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。
【図８】図８は、図５に示された第２の読み出し例における固体撮像装置の駆動タイミングを示す図である。
【図９】図９は、図１に示された固体撮像装置による信号電荷の第３の読み出し例を示す図である。
【図１０】図１０は、図９に示された第３の読み出し例における可視光画素及び赤外光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。
【図１１】図１１は、図９に示された第３の読み出し例における固体撮像装置の駆動タイミングの一例を示す図である。
【図１２】図１２は、図９に示された第３の読み出し例における固体撮像装置の駆動タイミングの別の例を示す図である。
【図１３】図１３は、図１に示された固体撮像装置による信号電荷の第４の読み出し例を示す図である。
【図１４】図１４は、図１３に示された第４の読み出し例におけるＬｏｎｇ露光時の赤外光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。
【図１５】図１５は、図１３に示された第４の読み出し例におけるＳｈｏｒｔ露光時の赤外光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。
【図１６】図１６は、図１３に示された第４の読み出し例における可視光画素についての信号電荷の読み出しと電荷蓄積状態を示す図である。
【図１７】図１７は、図１３に示された第４の読み出し例における固体撮像装置の駆動タイミングの一例を示す図である。
【図１８】図１８は、図１３に示された第４の読み出し例における固体撮像装置の駆動タイミングの別の例を示す図である。
【図１９】図１９は、図１に示された固体撮像装置のＣＭＯＳイメージセンサタイプの一例を示す図である。
【図２０】図２０は、図１に示された固体撮像装置の複数行置きに可視光画素と赤外光画素を配置した一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、駆動タイミング等は、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうちの、本発明の最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、各図は、必ずしも厳密に図示したものではない。各図において、実質的に同一の構成については同一の符号を付し、重複する説明は省略又は簡略化する。
【００１４】
図１は、実施の形態に係る測距撮像装置５の構成を示すブロック図である。
【００１５】
測距撮像装置５は、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成することが可能な測距カメラであり、固体撮像装置１０、光源部２０、制御回路３０及び信号処理回路４０を備える。
【００１６】
光源部２０は、被写体に向けて赤外光を照射する光源であり、例えば、レーザダイオード（ＬＤ）又は発光ダイオード（ＬＥＤ）等の発光素子、駆動回路及びコンデンサ等で構成される。駆動回路の下で、コンデンサに保持された電荷が発光素子に供給されことで赤外光が照射される。
【００１７】
固体撮像装置１０は、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適したイメージセンサであり、制御回路３０による制御の下で赤外光による露光及び可視光による露光を行い、距離画像及び可視画像の元情報となるＲＡＷデータ（撮像情報）を生成して出力する回路であり、例えば、１チップの半導体回路で実現される。
【００１８】
制御回路３０は、光源部２０及び固体撮像装置１０に対してそれぞれ発光信号及び露光信号を出力して制御することで、固体撮像装置１０が備える可視光画素１２に可視光を受光させ、固体撮像装置１０が備える赤外光画素１３に、光源部２０が照射した赤外光が被写体に反射して返ってくる反射光を受光させる回路であり、例えば、タイミング生成回路等で構成される。
【００１９】
信号処理回路４０は、固体撮像装置１０が備える可視光画素１２で生成された信号電荷を読み出すことで被写体の可視画像を生成し、固体撮像装置１０が備える赤外光画素１３で生成された信号電荷を読み出すことで被写体までの距離を示す距離画像を生成する回路であり、具体的には、固体撮像装置１０からＲＡＷデータ（撮像情報）を受け取って保持し、必要な演算処理（例えば、赤外光画素１３から読み出したＲＡＷデータを用いて距離を演算する処理）を行う回路であり、プログラムが格納されたＲＯＭ、情報を一時的に保持するＲＡＭ、プログラムを実行するプロセッサ、入出力ポート等で構成される。なお、信号処理回路４０は、固体撮像装置１０が備える赤外光画素１３で生成された信号電荷を読み出すことで、距離画像だけでなく、赤外光画像を生成してもよい。赤外光画像は、赤外光画素１３から読み出したＲＡＷデータによって生成される画像である。
【００２０】
なお、測距撮像装置５として、図１に示されていない光学レンズ等の光学系、光学レンズを移動させる駆動機構、生成された可視画像及び距離画像を表示するディスプレイ及び保存する補助メモリ、操作者からの指示を受け取る入力デバイス（ボタン、タッチパネル）等を備えてもよい。
【００２１】
図２は、図１に示された固体撮像装置１０の詳細な構成を示すブロック図である。
【００２２】
固体撮像装置１０は、ＣＣＤイメージセンサであり、撮像部１１、複数の垂直転送部１４、水平転送部１５及び信号電荷検出部１６を備える。
【００２３】
撮像部１１は、半導体基板上に形成された、行列状に配置された複数の画素（可視光画素１２及び赤外光画素１３）で構成される。撮像部１１は、可視光を信号電荷に変換する第１光電変換部を有する可視光画素１２が行方向に隣接するように並べられた第１の行と、赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素１３が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される。つまり、可視光画素１２と赤外光画素１３とが行方向のストライプ状に並ぶように配置されている。
【００２４】
可視光画素１２は、可視光（白色光）だけを通過させる（つまり、赤外光を遮断する）光学フィルタ、マイクロレンズ、第１光電変換部としての受光素子、受光素子で生成された電荷を蓄積する蓄積部等で構成される。なお、光学フィルタは、可視光と赤外光の両方を通過させてもよいし、可視光のうち、Ｒ（赤）、Ｇ（緑）、Ｂ（青）等の特定波長帯の光だけを通過させるカラーフィルタであってもよい。
【００２５】
赤外光画素１３は、赤外光だけを通過させる光学フィルタ、マイクロレンズ、第２光電変換部としての受光素子、受光素子で生成された電荷を蓄積する蓄積部等で構成される。
【００２６】
つまり、第１光電変換部と第２光電変換部は、その上方に備わる光学フィルタの構造を変えることで各光電変換部に異なる波長域の光が到達し、第１光電変換部と第２光電変換部の不純物領域構造（ウェル構造）は同じである。但し、第１光電変換部と第２光電変換部の不純物領域構造（ウェル構造）は、各波長域に合わせて構造を変えることも出来る。
【００２７】
垂直転送部１４は、複数の画素（可視光画素１２及び赤外光画素１３）の列のそれぞれに対応して設けられ、複数の画素で生成された信号電荷を読み出す読み出し電極（読み出し用ゲート）と読み出した信号電荷を列方向に転送する転送電極（転送用ゲート）とを有する。なお、垂直転送部１４は、より詳しくは、読み出し電極と転送電極とに駆動用電圧を所定のタイミングで印加する（例えば、合計１０種類のゲートを駆動する１０相駆動をする）駆動回路（図示せず）を有し、駆動回路からの駆動信号に従って、可視光画素１２及び赤外光画素１３で生成された電荷を読み出して列方向に転送する。
【００２８】
水平転送部１５は、垂直転送部１４で転送されてきた信号電荷を行方向に転送して信号電荷検出部１６に出力する。
【００２９】
信号電荷検出部１６は、水平転送部１５で転送されてきた信号電荷を電圧として出力する出力回路である。
【００３０】
なお、本実施の形態では、固体撮像装置１０は、ＣＣＤイメージセンサであったが、ＣＭＯＳイメージセンサであってもよい。
【００３１】
次に、以上のように構成された本実施の形態に係る測距撮像装置５の動作について、説明する。
【００３２】
（第１の読み出し例）
図３は、図１に示された固体撮像装置１０による信号電荷の第１の読み出し例を示す図である。ここでは、垂直転送部１４が、可視光画素１２及び赤外光画素１３について、読み出し電極によって、個別に信号電荷を読み出す動作が示されている。
【００３３】
このような読み出しによって、信号処理回路４０は、可視光画素１２から読み出された信号電荷に対応するＲＡＷデータだけから可視画像を生成するとともに、赤外光画素１３から読み出された信号電荷に対応するＲＡＷデータだけから距離画像を生成することができる。
【００３４】
図４は、実施の形態に係る測距撮像装置５において距離画像が生成される原理を説明する図である。ここでは、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式による距離画像の生成原理が示されている。
【００３５】
ＴＯＦでは、制御回路３０による制御の下で、光源部２０から赤外光をパルス状に照射させ、固体撮像装置１０において、２種類の露光期間（第１露光期間及び第２露光期間）で被写体からの反射光を受光することで、２種類の信号電荷Ｓ０、Ｓ１を赤外光画素１３から読み出して垂直転送部１４における各々のパケットに蓄積し、さらに、第３露光期間で赤外光を発光させずに背景光を受光することで、信号電荷ＢＧ（バックグランドの信号電荷）を読み出して垂直転送部１４における別のパケットに蓄積する。３種類のパケットに蓄積された信号電荷Ｓ０、Ｓ１、ＢＧは、垂直転送部１４によって順次転送され、水平転送部１５及び信号電荷検出部１６を経て出力される。信号処理回路４０では、信号電荷Ｓ０、Ｓ１、ＢＧの比率と差分から画素毎に被写体までの距離を求めることで距離画像を生成する。なお、パケットとは、画素から読み出された信号電荷が蓄積されるメモリセルであり、垂直転送部１４において信号電荷を蓄積して転送する箇所に相当する。
【００３６】
より詳しくは、パルス幅Ｔｐの照射光の立ち上がり時刻から始まる第１露光期間をＴ１、照射光の立ち下がり時刻から始まる第２露光期間をＴ２、光源部２０をＯＦＦした第３露光期間をＴ３とし、露光期間Ｔ１〜Ｔ３は、パルス幅Ｔｐよりも長い時間に設定される。第１露光期間Ｔ１において赤外光画素１３で生成される信号電荷をＳ０、第２露光期間Ｔ２において赤外光画素１３で生成される信号電荷をＳ１、第３露光期間Ｔ３において赤外光画素１３で生成される信号電荷をＢＧとすると、遅れ時間Δｔは次式で与えられる。
【００３７】
Δｔ＝Ｔｐ｛（Ｓ１−ＢＧ）／（Ｓ０−ＢＧ）｝
【００３８】
この遅れ時間Δｔは、被写体までの距離に対応する値である。
【００３９】
よって、信号処理回路４０は、信号電荷Ｓ０、Ｓ１、ＢＧから、上記式に従って、画素毎に、遅れ時間Δｔを算出し、被写体までの距離を求めることで、距離画像を生成する。
【００４０】
なお、ＴＯＦ方式による露光のタイミングは、図４に示されたものに限られず、第１露光期間Ｔ１として、照射光のパルスタイミングと一致させたり、照射光のパルスタイミングに含まれるより小さな期間にしたり、第２露光期間Ｔ２として、照射光が照射されてから照射光のパルス幅Ｔｐよりも短い時間で終了する期間にしたり、第３露光期間Ｔ３をゼロにしても（つまり、第３露光期間Ｔ３を設けなくても）よい。
【００４１】
（第２の読み出し例）
図５は、図１に示された固体撮像装置１０による信号電荷の第２の読み出し例を示す図である。ここでは、垂直転送部１４が、読み出し電極によって、可視光画素１２については個別に信号電荷を読み出すが、赤外光画素１３については第２の行において（つまり、行方向に）隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所（パケット）に読み出すことで加算（２画素加算）する様子が示されている。
【００４２】
なお、図５に示される読み出し例では、隣接する２つの赤外光画素１３で生成された信号電荷は、奇数列の垂直転送部１４及び偶数列の垂直転送部１４の両方に読み出される。これによって、奇数列の垂直転送部１４及び偶数列の垂直転送部１４の一方だけに読み出されるケースに比べ、行方向の空間分解能（解像度）が向上される。
【００４３】
図６は、図５に示された第２の読み出し例における赤外光画素１３についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
【００４４】
ここで、垂直転送部１４は、図示されているように、列方向に隣接する２つの画素ごとに１０個の転送電極（Ｖ１、Ｖ２Ａ／Ｖ２Ｂ、Ｖ３〜Ｖ１０）を有する。なお、転送電極Ｖ２Ａ及びＶ２Ｂは、赤外光画素１３から垂直転送部１４に信号電荷を読み出す読み出し電極を兼ねている。また、転送電極Ｖ４は、可視光画素１２から垂直転送部１４に信号電荷を読み出す読み出し電極を兼ねている。
【００４５】
図６における赤外光画素１３が並ぶ第２の行のうち、奇数行において隣接する２つの赤外光画素１３ａ及び１３ｂに着目すると、偶数列の垂直転送部１４ａは、２つの赤外光画素１３ａ及び１３ｂで生成された信号電荷を、共通の読み出し電極Ｖ２Ｂによって、同時に、垂直転送部１４ａの列方向における同じ箇所（パケット）に読み出す。その後、垂直転送部１４ａは、パケットを列方向（より詳しくは、下方向）に転送する。このような２つの赤外光画素１３ａ及び１３ｂからの読み出しと列方向への転送とを、第１露光期間Ｔ１で得られた信号電荷Ｓ０、第２露光期間Ｔ２で得られた信号電荷Ｓ１、第３露光期間Ｔ３で得られた信号電荷ＢＧについて、繰り返す。
【００４６】
また、図６における赤外光画素１３が並ぶ第２の行のうち、偶数行において隣接する２つの赤外光画素１３ｃ及び１３ｄに着目すると、奇数列の垂直転送部１４ｂは、２つの赤外光画素１３ｃ及び１３ｄで生成された信号電荷を、共通の読み出し電極Ｖ２Ａによって、同時に、垂直転送部１４ｂの列方向における同じ箇所（パケット）に読み出す。その後、垂直転送部１４ｂは、パケットを列方向（下方）に転送する。このような２つの赤外光画素１３ｃ及び１３ｄからの読み出しと列方向への転送とを、第１露光期間Ｔ１で得られた信号電荷Ｓ０、第２露光期間Ｔ２で得られた信号電荷Ｓ１、第３露光期間Ｔ３で得られた信号電荷ＢＧについて、繰り返す。
【００４７】
その後、垂直転送部１４ａ及び１４ｂに読み出された信号電荷Ｓ０、Ｓ１及びＢＧは、パケットに格納された状態で列方向に転送され、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
【００４８】
図７は、図５に示された第２の読み出し例における可視光画素１２についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
【００４９】
図７に示されるように、可視光画素１２については、いずれの可視光画素１２についても、可視光画素１２から垂直転送部１４への信号電荷の読み出し、及び、列方向の転送は、同じ態様で行われる。つまり、各可視光画素１２で生成された信号電荷は、垂直転送部１４の読み出し電極Ｖ４によって、垂直転送部１４内のパケットに読み出される。その後、垂直転送部１４に読み出された信号電荷は、パケットに格納された状態で列方向に転送され、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
【００５０】
図８は、図５に示された第２の読み出し例における固体撮像装置１０の駆動タイミングを示す図である。図８の（ａ）に示されるＶＤは、１フレームのタイミングを示し、図８の（ｂ）に示されるφＳＵＢは、全画素の信号電荷を半導体基板に排出するための基板排出パルスのタイミングを示し、図８の（ｃ）に示されるφＶ２Ａ、２Ｂは、垂直転送部１４を構成する赤外光画素１３用の読み出し電極Ｖ２Ａ、Ｖ２Ｂに印加される駆動信号のタイミングを示し、図８の（ｄ）に示されるφＶ４は、垂直転送部１４を構成する可視光画素１２用の読み出し電極Ｖ４に印加される駆動信号のタイミングを示し、図８の（ｅ）に示されるφＶ１、５、８は、垂直転送部１４を構成する転送電極Ｖ１、５８に印加される駆動信号のタイミングを示し、図８の（ｆ）に示されるφＶ３、６、７、９、１０は、垂直転送部１４を構成する転送電極Ｖ３、６、７、９、１０に印加される駆動信号のタイミングを示し、図８の（ｇ）に示される赤外光は、光源部２０から照射される赤外光パルスのタイミングを示し、図８の（ｈ）に示される信号蓄積信号は、可視光画素１２及び赤外光画素１３への露光期間を示す。
【００５１】
なお、図８に示されるように、図８の（ｃ）に示されるφＶ２Ａ、２Ｂ、及び、図８の（ｄ）に示されるφＶ４は、３値の電圧レベルをとるパルスであり、最も高い電圧レベルになることで、それぞれ、赤外光画素１３及び可視光画素１２から垂直転送部１４に信号電荷を読み出し、中位の電圧レベルと最も低い電圧レベルとの間で変化するパルスによって、垂直転送部１４における信号電荷をパケットに格納した状態で列方向に転送する。
【００５２】
１フレームの前半の期間ｔａでは、赤外光を用いた赤外光画素１３の２画素加算による測距が行われる。つまり、第１露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ０の読み出し）、第２露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ１の読み出し）、及び、第３露光期間での背景光の露光（信号電荷ＢＧの読み出し）が行われる（図８の（ｈ）参照）。
【００５３】
より詳しくは、期間ｔａの第１露光期間では、まず、基板排出パルスφＳＵＢが印加され（図８の（ｂ））、これによって全画素の信号電荷が基板に排出され、その後に図４の第１露光期間に示されるタイミングで赤外光によるパルス照射と露光が行われ（図８の（ｇ））、赤外光画素１３に信号電荷が生成されるが、φＶ２Ａ、２Ｂが最も高い電圧レベルにあることから（図８の（ｃ））、赤外光画素１３で生成された信号電荷は垂直転送部１４に読み出されて加算される。このような基板排出パルスφＳＵＢの印加、赤外光のパルス照射及び露光、赤外光画素１３から垂直転送部１４への信号電荷の読み出し加算が一定回数だけ繰り返されることで、第１露光期間で生成された信号電荷Ｓ０の読み出しが行われる。
【００５４】
期間ｔａの第２露光期間及び第３露光期間でも、第１露光期間と基本的に同じ動作が行われ、第２露光期間及び第３露光期間で生成された信号電荷Ｓ１、ＢＧの読み出しが行われる。ただし、第２露光期間では、赤外光によるパルス照射と露光は、図４の第２露光期間に示されるタイミングで行われる。また、第３露光期間では、赤外光の照射は行われない。
【００５５】
続く期間ｔｂでは、赤外光画素１３から垂直転送部１４に読み出された信号電荷Ｓ０、Ｓ１、ＢＧがパケットに格納された状態で列方向に転送され（図８の（ｃ）、（ｄ）、（ｅ）、（ｆ）参照）、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。信号処理回路４０は、読み出した信号電荷Ｓ０、Ｓ１、ＢＧから、図４に示された原理によって距離画像を生成する。また、期間ｔｂの途中から、これらの転送と並行して、可視光による露光が行われ、可視光画素１２に信号電荷が生成される（図８の（ｈ）参照）。
【００５６】
そして、期間ｔｃにおいて、まず、可視光画素１２で生成された信号電荷が垂直転送部１４に読み出され（図８の（ｄ））、その後、垂直転送部１４に読み出された信号電荷がパケットに格納された状態で列方向に転送され（図８の（ｃ）、（ｄ）、（ｅ）、（ｆ）参照）、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。信号処理回路４０は、読み出した信号電荷から、可視画像を生成する。
【００５７】
以上のように、本実施の形態に係る固体撮像装置１０は、行列状に配置された複数の画素を有する撮像部１１を備える。撮像部１１は、可視光を信号電荷に変換する第１光電変換部を有する可視光画素１２が行方向に隣接するように並べられた第１の行と、赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素１３が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される。
【００５８】
これにより、撮像部１１は、可視光画素１２と赤外光画素１３とで構成されるので、可視画像と距離画像とを生成することが可能になる。また、撮像部１１の第２の行では、赤外光画素１３が行方向に隣接するように並べられているので、隣接する２個の赤外光画素１３について信号電荷を加算して読み出すことで、高い感度で距離画像を生成することが可能になる。よって、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適した固体撮像装置１０が実現される。
【００５９】
また、固体撮像装置１０は、さらに、複数の画素の列のそれぞれに対応して設けられ、複数の画素で生成された信号電荷を読み出す読み出し電極と読み出した信号電荷を列方向に転送する転送電極とを有する複数の垂直転送部１４を備える。そして、図５〜図８に示される第２の読み出し例によれば、垂直転送部１４は、読み出し電極Ｖ２Ａ、Ｖ２Ｂによって、第２の行において隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算する。
【００６０】
これにより、第２の行において隣接する２つの赤外光画素１３で生成された信号電荷が垂直転送部１４の列方向における同じ箇所に読み出されて加算されるので、高い感度で距離画像が生成される。
【００６１】
また、本実施の形態に係る測距撮像装置５は、赤外光を照射する光源部２０と、固体撮像装置１０と、光源部２０及び固体撮像装置１０を制御することで、固体撮像装置１０が備える可視光画素１２に可視光を受光させ、固体撮像装置１０が備える赤外光画素１３に、光源部２０が照射した赤外光が被写体に反射して返ってくる反射光を受光させる制御回路３０と、固体撮像装置１０が備える可視光画素１２で生成された信号電荷を読み出すことで被写体の可視画像を生成し、固体撮像装置１０が備える赤外光画素１３で生成された信号電荷を読み出すことで被写体までの距離を示す距離画像を生成する信号処理回路４０とを備える。
【００６２】
これにより、固体撮像装置１０は可視光画素１２と赤外光画素１３とで構成されるので、信号処理回路４０によって可視画像と距離画像とが生成される。また、固体撮像装置１０において、赤外光画素１３が行方向に隣接するように並べられているので、隣接する２個の赤外光画素１３について信号電荷を加算して読み出すことで、高い感度で距離画像が生成される。よって、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適した測距撮像装置５が実現される。
【００６３】
なお、信号処理回路４０は、固体撮像装置１０が備える赤外光画素１３で生成された信号電荷を読み出すことで、距離画像だけでなく、赤外光画像を生成してもよい。
【００６４】
（第３の読み出し例）
図９は、図１に示された固体撮像装置１０による信号電荷の第３の読み出し例を示す図である。
【００６５】
この例では、垂直転送部１４が、読み出し電極によって、赤外光画素１３だけでなく、可視光画素１２についても、隣接する２つの可視光画素１２で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所（パケット）に読み出すことで加算する。
【００６６】
このとき、複数の垂直転送部１４のうちの偶数列及び奇数列の一方の垂直転送部１４は、読み出し電極Ｖ４によって、第１の行において隣接する２つの可視光画素１２で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算し、複数の垂直転送部１４のうちの偶数列及び奇数列の他方の垂直転送部１４は、読み出し電極”Ａ、２Ｂによって、第２の行において隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算する。つまり、可視光画素１２で生成された信号電荷を列方向に転送する垂直転送部１４と、赤外光画素１３で生成された信号電荷を列方向に転送する垂直転送部１４とが異なる（偶数列及び奇数列の一方と他方に分離される）。
【００６７】
図１０は、図９に示された第３の読み出し例における可視光画素１２及び赤外光画素１３についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
【００６８】
奇数列の垂直転送部１４ａは、読み出し電極Ｖ４によって、行方向に隣接する２つの可視光画素１２から垂直転送部１４の同一パケットに信号電荷を読み出して加算し、その後、転送電極Ｖ１〜Ｖ１０によって、列方向に転送する。
【００６９】
一方、偶数列の垂直転送部１４ｂは、読み出し電極Ｖ２Ａ、Ｖ２Ｂによって、行方向に隣接する２つの赤外光画素１３から垂直転送部１４の同一パケットに信号電荷を読み出して加算することを、第１露光期間Ｔ１、第２露光期間Ｔ２及び第３露光期間Ｔ３について繰り返し、その後、転送電極Ｖ１〜Ｖ１０によって、列方向に転送する。
【００７０】
図１１は、図９に示された第３の読み出し例における固体撮像装置１０の駆動タイミングの一例を示す図である。図１１の（ａ）〜（ｈ）に示される項目は、図８と同じである。
【００７１】
１フレームの前半の期間ｔａでは、図８と同じ動作が行われる。
【００７２】
続く期間ｔｂでは、図８と異なり、可視光による露光だけが行われ、可視光画素１２に信号電荷が生成される（図１１の（ｈ）参照）。つまり、この期間ｔｂでは、赤外光画素１３から垂直転送部１４に読み出された信号電荷Ｓ０、Ｓ１、ＢＧの列方向への転送は行われない（続く期間ｔｃで行われる）。よって、図８のケースと比べ、期間ｔｂは短縮され、より高いフレームレートでの撮像が可能になる。
【００７３】
そして、期間ｔｃにおいて、まず、可視光画素１２で生成された信号電荷が垂直転送部１４に読み出され（図１１の（ｄ））、その後、奇数列の垂直転送部１４ａに読み出された可視光画素１２の信号電荷、及び、偶数列の垂直転送部１４ｂに読み出された赤外光画素１３の信号電荷Ｓ０、Ｓ１、ＢＧがパケットに格納された状態で列方向に転送され（図１１の（ｃ）、（ｄ）、（ｅ）、（ｆ）参照）、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
【００７４】
図１２は、図９に示された第３の読み出し例における固体撮像装置１０の駆動タイミングの別の例を示す図である。図１２の（ａ）〜（ｈ）に示される項目は、図１１と同じである。
【００７５】
１フレームの前半の期間ｔａでは、図１１と同じ動作である。
【００７６】
続く期間ｔｂでは、図１１と異なり、直前のフレームにおける可視光による露光及び可視光画素１２からの読み出しによって奇数列の垂直転送部１４ａに読み出されていた信号電荷、及び、直前の期間ｔａにおける露光及び赤外光画素１３からの読み出しによって偶数列の垂直転送部１４ｂに読み出された信号電荷Ｓ０、Ｓ１、ＢＧがパケットに格納された状態で列方向に転送され（図１２の（ｃ）、（ｄ）、（ｅ）、（ｆ）参照）、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
【００７７】
また、期間ｔｂの途中から、これらの転送と並行して、基板排出パルスφＳＵＢの印加（図１１の（ｂ））、可視光による露光（図１２の（ｈ））、及び、φＶ４による可視光画素１２から奇数列の垂直転送部１４ａへの信号電荷の読み出し加算が行われ（図８の（ｄ））、次のフレームにおける垂直転送部１４による列方向の転送に備えられる。
【００７８】
このような図１２に示される駆動タイミングでは、図１１に比べ、図１１における期間ｔｂ及び期間ｔｃでの処理が一つの期間ｔｂにまとめられており、より高いフレームレートでの撮像が可能になる。
【００７９】
なお、このような第３の読み出し例においても、読み出された信号電荷Ｓ０、Ｓ１、ＢＧは、信号処理回路４０において、図４に示された原理によって距離画像が生成される。
【００８０】
以上のように、図９〜図１２に示される第３の読み出し例によれば、赤外光画素１３だけでなく、可視光画素１２についても、垂直転送部１４は、読み出し電極Ｖ４によって、第１の行において隣接する２つの可視光画素１２で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算する。
【００８１】
これにより、第１の行において隣接する２つの可視光画素１２で生成された信号電荷が垂直転送部１４の列方向における同じ箇所に読み出されて加算されるので、可視光画素１２について個別に信号電荷を読み出す場合に比べ、可視画像の感度が２倍に向上される。
【００８２】
また、複数の垂直転送部１４のうちの偶数列及び奇数列の一方の垂直転送部１４は、読み出し電極Ｖ４によって、第１の行において隣接する２つの可視光画素１２で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算し、複数の垂直転送部１４のうちの偶数列及び奇数列の他方の垂直転送部１４は、読み出し電極Ｖ２Ａ、Ｖ２Ｂによって、第２の行において隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算する。
【００８３】
これにより、可視光画素１２で生成された信号電荷を列方向に転送する垂直転送部１４ａと、赤外光画素１３で生成された信号電荷を列方向に転送する垂直転送部１４ｂとが異なるので、可視光画素１２及び赤外光画素１３で生成された信号電荷を同時に列方向に転送でき、その結果、電荷転送期間が短縮化され、より高いフレームレートが実現される。
【００８４】
（第４の読み出し例）
図１３は、図１に示された固体撮像装置１０による信号電荷の第４の読み出し例を示す図である。
【００８５】
この例では、図５に示される第２の読み出し例と同様に、垂直転送部１４は、読み出し電極によって、可視光画素１２については個別に信号電荷を読み出すが、赤外光画素１３については第２の行において（つまり、行方向に）隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所（パケット）に読み出すことで加算する。
【００８６】
ただし、第４の読み出し例では、赤外光画素１３の露光について、時間の長さが異なる２種類の露光（以下、長い時間による露光を「Ｌｏｎｇ露光」といい、短い時間による露光を「Ｓｈｏｒｔ露光」という）が行われる。
【００８７】
図１４は、図１３に示された第４の読み出し例におけるＬｏｎｇ露光時の赤外光画素１３についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
【００８８】
Ｌｏｎｇ露光では、赤外光画素１３が並ぶ第２の行のうち、１行おきの行（ここでは、第２の行だけの並びにおける奇数行）について、隣接する２つの赤外光画素１３で生成された信号電荷が読み出し電極Ｖ２Ｂによって偶数列の垂直転送部１４ｂの列方向における同じ箇所（パケット）に読み出されて加算される。このような読み出しが、第１露光期間Ｔ１、第２露光期間Ｔ２及び第３露光期間Ｔ３で生成された信号電荷Ｓ０、Ｓ１、ＢＧのそれぞれについて行われる。
【００８９】
図１５は、図１３に示された第４の読み出し例におけるＳｈｏｒｔ露光時の赤外光画素１３についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
【００９０】
Ｓｈｏｒｔ露光では、赤外光画素１３が並ぶ第２の行のうち、１行おきの行（ここでは、第２の行だけの並びにおける偶数行）について、隣接する２つの赤外光画素１３で生成された信号電荷が読み出し電極Ｖ２Ａによって奇数列の垂直転送部１４ａの列方向における同じ箇所（パケット）に読み出されて加算される。このような読み出しが、第１露光期間Ｔ１、第２露光期間Ｔ２及び第３露光期間Ｔ３で生成された信号電荷Ｓ０、Ｓ１、ＢＧのそれぞれについて行われる。
【００９１】
本図に示される読み出し例では、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧのそれぞれが読み出される奇数列の垂直転送部１４ａの列方向における箇所（パケット）と、Ｌｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧのそれぞれが格納されている偶数列の垂直転送部１４ｂの列方向における箇所（パケット）とが、行方向に揃うように、偶数列の垂直転送部１４ｂが動作する。具体的には、偶数列の垂直転送部１４ｂは、Ｌｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧをそれぞれのパケットに読み出した後、それらのパケットを列方向（下方向又は上方向）に２画素分だけ転送し、その後、奇数列の垂直転送部１４ａは、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧをそれぞれのパケットに読み出す。
【００９２】
これは、Ｌｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置と、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置とを行方向に揃えることで、垂直転送部１４による列方向の電荷転送期間を短縮するためである。
【００９３】
図１６は、図１３に示された第４の読み出し例における可視光画素１２についての信号電荷の読み出しと電荷蓄積状態（パケット）を示す図である。
【００９４】
図７に示される動作と同様に、各可視光画素１２で生成された信号電荷は、垂直転送部１４の読み出し電極Ｖ４によって、垂直転送部１４内のパケットに読み出され、パケットに格納された状態で列方向に転送され、水平転送部１５及び信号電荷検出部１６を経て信号処理回路４０に出力される。
【００９５】
図１７は、図１３に示された第４の読み出し例における固体撮像装置１０の駆動タイミングの一例を示す図である。ここでは、図１５に示されるようなＬｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置と、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置とを行方向に揃える処理が行われなかった場合（つまり、Ｌｏｎｇ露光による信号電荷とＳｈｏｒｔ露光による信号電荷とが異なる行のパケットに格納される場合）の駆動タイミングが示されている。図１７の（ａ）〜（ｈ）に示される項目は、図８と基本的に同じである。ただし、図１７では、図８の（ｃ）に示されたφＶ２Ａ、２Ｂについて、それぞれを分離した形態で示されている（図１７の（ｃ１）はφＶ２Ｂを示し、図１７の（ｃ２）はφＶ２Ａを示す）。
【００９６】
１フレームの前半の期間ｔａでは、Ｌｏｎｇ露光により、第１露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ０の読み出し）、第２露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ１の読み出し）、及び、第３露光期間での背景光の露光（信号電荷ＢＧの読み出し）が行われ、続いて、Ｓｈｏｒｔ露光により、第１露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ０の読み出し）、第２露光期間での赤外光の照射と露光による距離計測（信号電荷Ｓ１の読み出し）、及び、第３露光期間での背景光の露光（信号電荷ＢＧの読み出し）が行われる（図１７の（ｈ）参照）。なお、Ｌｏｎｇ露光とＳｈｏｒｔ露光では、例えば、８：１の比率で、第１露光期間、第２露光期間及び第３露光期間での露光時間の長さが設定される。
【００９７】
続く期間ｔｂ、期間ｔｃでは、図８と同様の動作が行われる。
【００９８】
なお、このようなＬｏｎｇ露光とＳｈｏｒｔ露光とによるＲＡＷデータを受け取った信号処理回路４０は、Ｌｏｎｇ露光とＳｈｏｒｔ露光の露光時間比を考慮したうえで、それぞれの露光で生成された信号電荷Ｓ０、Ｓ１、ＢＧを用いて、図４に示されるＴＯＦ方式によって距離を算出することで、広いダイナミックレンジで、被写体までの距離を画素単位で算出する（つまり、距離画像を生成する）。
【００９９】
図１８は、図１３に示された第４の読み出し例における固体撮像装置１０の駆動タイミングの別の例を示す図である。ここでは、図１５に示されるようなＬｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置と、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置とを行方向に揃える処理が行われた場合（つまり、Ｌｏｎｇ露光による信号電荷とＳｈｏｒｔ露光による信号電荷とが同じ行のパケットに格納される場合）の駆動タイミングが示されている。図１８の（ａ）〜（ｈ）に示される項目は、図１７と同じである。
【０１００】
基本的な動作は、図１７と同じであるが、図１７に比べ、赤外光画素１３から読み出された信号電荷についての電荷転送期間（期間ｔｂ）が短縮化されている。本駆動タイミングによれば、Ｌｏｎｇ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置と、Ｓｈｏｒｔ露光による信号電荷Ｓ０、Ｓ１、ＢＧを格納したパケットの位置とが行方向に揃えられるので、垂直転送部１４においてパケットが存在しない箇所が多く存在しており、その箇所の分だけ垂直転送部１４から水平転送部１５への信号電荷の転送を省くことができるので、垂直転送部１４による列方向の電荷転送期間が短くなる。
【０１０１】
以上のように、図１３〜図１８に示される第４の読み出し例によれば、複数の垂直転送部１４のうちの偶数列及び奇数列の一方の垂直転送部１４は、読み出し電極Ｖ２Ｂによって、複数の第２の行のうちの一部の第２の行を構成する赤外光画素１３において第１の露光時間による露光で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出し、複数の垂直転送部１４のうちの偶数列及び奇数列の他方の垂直転送部１４は、読み出し電極Ｖ２Ａによって、複数の第２の行のうちの他の一部の第２の行を構成する赤外光画素１３において第１の露光時間よりも短い第２の露光時間による露光で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出す。
【０１０２】
これにより、赤外光画素１３について、長さの異なる２種類の露光時間による露光で得られた信号電荷が読み出されるので、赤外光画素１３から得られる距離情報のダイナミックレンジが拡大される。
【０１０３】
また、図１５及び図１８に示される駆動タイミングによれば、複数の垂直転送部１４のうちの偶数列及び奇数列の一方の垂直転送部１４、又は、複数の垂直転送部１４のうちの偶数列及び奇数列の他方の垂直転送部１４は、転送電極によって、第１の露光時間による露光で得られた信号電荷が保持される垂直転送部１４の第１の箇所と、第２の露光時間による露光で得られた信号電荷が保持される垂直転送部１４の第２の箇所とが同じ行となるように、第１の箇所又は第２の箇所を列方向に転送する。
【０１０４】
これにより、長さの異なる２種類の露光時間による露光で得られた信号電荷が垂直転送部１４に保持される位置が同じ行に揃えられたうえで列方向に転送されるので、電荷転送期間が短縮化され、より高いフレームレートが実現される。
【０１０５】
以上、本発明に係る固体撮像装置及び測距撮像装置について、実施の形態に基づいて説明したが、本発明は、この実施の形態に限定されるものではない。本発明の主旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、実施の形態における一部の構成要素を組み合わせて構築される別の形態も、本発明の範囲内に含まれる。
【０１０６】
例えば、上記実施の形態では、固体撮像装置１０は、ＣＣＤイメージセンサであったが、図１９に示すように、ＣＭＯＳイメージセンサであってもよい。
【０１０７】
図１９において、ＣＭＯＳイメージセンサ５０は、画素アレイ部５１、垂直走査回路６０、タイミング制御部６１、参照信号生成部６２、カラム処理部６３、水平走査回路６４、信号処理部６５及び出力回路６６で構成される。
【０１０８】
画素アレイ部５１は、行列上に配置された複数の画素で構成される。より詳しくは、可視光を信号電荷に変換する第１光電変換部を有する可視光画素５３が行方向に隣接するように並べられた第１の行と、赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素５４が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される。画素アレイ部５１において、同じ列に並ぶ画素は、定電流源５２が接続された共通の垂直信号線５５に接続される。
【０１０９】
垂直走査回路６０は、タイミング制御部６１による制御の下で、画素アレイ部５１に対して行ごとに制御信号を出力する（つまり、垂直走査をする）ことで、行単位で画素から垂直信号線５５を経てカラム処理部６３に信号を出力させる。タイミング制御部６１は、外部から入力されるマスタークロック及びデータに応じて、ＣＭＯＳイメージセンサ５０の各構成要素に対して動作タイミングを指示する。参照信号生成部６２は、タイミング制御部６１による制御の下で、カラム処理部６３が有するＡ／Ｄ変換器に入力される参照信号を生成する。
【０１１０】
カラム処理部６３は、画素アレイ部５１の各列に対応したＡ／Ｄ変換器及びメモリを有し、タイミング制御部６１による制御の下で、画素アレイ部５１から列単位で入力される信号をＡ／Ｄ変換器でデジタル信号に変換してメモリに格納し、水平走査回路６４から与えられる制御信号に従って、各メモリに保持されたデジタル信号をシフトしながら、順次、信号処理部６５に出力する。水平走査回路６４は、タイミング制御部６１による制御の下で、カラム処理部６３の各メモリに保持されたデジタル信号をシフトさせるための制御信号をカラム処理部６３に出力する。信号処理部６５は、カラム処理部６３から出力されたデジタル信号に対して各種処理を行う回路であり、例えば、図１の信号処理回路４０と同様の処理をする。出力回路６６は、信号処理部６５から出力されたデジタル信号を外部に出力するバッファアンプである。
【０１１１】
また、図２では、撮像部１１において、可視光画素１２がと赤外光画素１３が行方向に隣接するように並べられ、行方向のストライプ状に並ぶように配置されていたが、これに限定されず、図２０に示すように、複数行置き（一例として、図２０においては、２行置き）に配置されていてもよい。つまり、可視光画素１２が行方向に隣接するように並べられた第１の行と赤外光画素１３が行方向に隣接するように並べられた第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置されてもよい。更に、可視光画素１２が行方向に隣接するように並べられた第１の行と赤外光画素１３が行方向に隣接するように並べられた第２の行は、異なる行置きに（Ｎ行の第１の行とＬ行の第２の行（ＮとＬは異なる自然数）とが交互に繰り返すように）配置されてもよい。例えば、連続する２行分の第１の行と１行分の第２の行とが交互に繰り返すように配置されてもよい。
【０１１２】
また、上記実施の形態では、第１〜第４の読み出し例が説明されたが、これらの複数の読み出し例に係る駆動方式が固体撮像装置（又は、測距撮像装置）に実装され、操作者による事前の設定によってそれらの複数の駆動方式から一つが選択されてもよいし、それらの複数の読み出し例に係る駆動方式のうちの一つだけが固体撮像装置（又は、測距撮像装置）に実装されてもよい。
【０１１３】
また、上記実施の形態では、撮像部１１において、可視光画素１２が並ぶ第１の行では、可視光画素１２だけが配置されていたが、これに限定されず、他の波長帯の光（例えば、赤外光）を受光する画素が第１の行に含まれてもよい。
【０１１４】
同様に、撮像部１１において、赤外光画素１３が並ぶ第２の行では、赤外光画素１３だけが配置されていたが、これに限定されず、他の波長帯の光（例えば、可視光）を受光する画素が第２の行に含まれてもよい。第２の行において、２つの赤外光画素が隣接して配置された箇所が一部に存在する限り、その箇所では、赤外光画素の２画素加算が可能になるので、高い感度で距離画像が生成される。
【０１１５】
また、上記実施の形態では、固体撮像装置１０の撮像部１１が有する赤外光画素１３は、距離画像の生成に用いられたが、赤外光画素１３の用途としては、距離画像の生成に限られず、被写体の各種特性の観察等、他の用途であってもよい。本実施の形態に係る固体撮像装置１０によれば、可視光画素１２による撮像情報と赤外光画素１３による撮像情報の両方が得られ、かつ、高い感度で赤外光画素１３による撮像情報が得られるので、可視光と赤外光のイメージングを同時に行う各種用途に利用され得る。
【産業上の利用可能性】
【０１１６】
本発明に係る固体撮像装置は、距離画像と可視画像とを生成し、かつ、高い感度で距離画像を生成するのに適しているので、小さな被写体や、遠方の被写体の距離画像及び可視画像を精度良く取得する測距撮像装置として有用である。例えば、指先でジェスチャー入力するスマートフォン、複数人の全身動作でコントロールするゲーム機、車に搭載されて車外の対象物を認識するカメラ等、測距カメラのアプリケーションを有する測距撮像装置に有用である。
【符号の説明】
【０１１７】
５  測距撮像装置
１０  固体撮像装置
１１  撮像部
１２  可視光画素
１３、１３ａ〜１３ｄ  赤外光画素
１４、１４ａ、１４ｂ  垂直転送部
１５  水平転送部
１６  信号電荷検出部
２０  光源部
３０  制御回路
４０  信号処理回路
５０  ＣＭＯＳイメージセンサ
５１  画素アレイ部
５２  定電流源
５３  可視光画素
５４  赤外光画素
５５  垂直信号線
６０  垂直走査回路
６１  タイミング制御部
６２  参照信号生成部
６３  カラム処理部
６４  水平走査回路
６５  信号処理部
６６  出力回路
【図１】
2018101049.tif 000003
【図２】
2018101049.tif 000004
【図３】
2018101049.tif 000005
【図４】
2018101049.tif 000006
【図５】
2018101049.tif 000007
【図６】
2018101049.tif 000008
【図７】
2018101049.tif 000009
【図８】
2018101049.tif 000010
【図９】
2018101049.tif 000011
【図１０】
2018101049.tif 000012
【図１１】
2018101049.tif 000013
【図１２】
2018101049.tif 000014
【図１３】
2018101049.tif 000015
【図１４】
2018101049.tif 000016
【図１５】
2018101049.tif 000017
【図１６】
2018101049.tif 000018
【図１７】
2018101049.tif 000019
【図１８】
2018101049.tif 000020
【図１９】
2018101049.tif 000021
【図２０】
2018101049.tif 000022
【手続補正書】
【提出日】令和1年5月16日(2019.5.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
行列状に配置された複数の画素を有する撮像部を備え、
前記撮像部は、可視画像を生成するために可視光における全ての波長域の光を信号電荷に変換する第１光電変換部を有する可視光画素と、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式による被写体までの距離を示す距離画像と赤外光画像とを生成するために赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素とを備える
固体撮像装置。
【請求項２】
前記撮像部は、前記可視光画素が行方向に隣接するように並べられた第１の行と、前記赤外光画素が行方向に隣接するように並べられた第２の行とが、列方向に交互に配置されて構成される
請求項１記載の固体撮像装置。
【請求項３】
前記第１の行と前記第２の行は、Ｍ行置き（Ｍは自然数）に交互に配置される、または、Ｎ行の前記第１の行とＬ行の前記第２の行（ＮとＬは異なる自然数）とが交互に繰り返すように配置される
請求項２記載の固体撮像装置。
【請求項４】
前記固体撮像装置は、さらに、前記複数の画素の列のそれぞれに対応して設けられ、前記複数の画素で生成された信号電荷を読み出す読み出し電極と読み出した信号電荷を列方向に転送する転送電極とを有する複数の垂直転送部を備える
請求項２又は３に記載の固体撮像装置。
【請求項５】
前記複数の垂直転送部は、前記読み出し電極によって、前記第２の行において隣接する２つの赤外光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算する
請求項４記載の固体撮像装置。
【請求項６】
前記複数の垂直転送部は、前記読み出し電極によって、前記第１の行において隣接する２つの可視光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算する
請求項５記載の固体撮像装置。
【請求項７】
前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部は、前記読み出し電極によって、前記第１の行において隣接する２つの可視光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算し、
前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記読み出し電極によって、前記第２の行において隣接する２つの赤外光画素で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出すことで加算する
請求項６記載の固体撮像装置。
【請求項８】
前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部は、前記読み出し電極によって、複数の前記第２の行のうちの一部の第２の行を構成する赤外光画素において第１の露光時間による露光で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出し、
前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記読み出し電極によって、複数の前記第２の行のうちの他の一部の第２の行を構成する赤外光画素において前記第１の露光時間よりも短い第２の露光時間による露光で生成された信号電荷を当該垂直転送部の列方向における同じ箇所に読み出す
請求項４〜７のいずれか１項に記載の固体撮像装置。
【請求項９】
前記複数の垂直転送部のうちの偶数列及び奇数列の一方の垂直転送部、又は、前記複数の垂直転送部のうちの偶数列及び奇数列の他方の垂直転送部は、前記転送電極によって、前記第１の露光時間による露光で得られた信号電荷が保持される前記垂直転送部の第１の箇所と、前記第２の露光時間による露光で得られた信号電荷が保持される前記垂直転送部の第２の箇所とが同じ行となるように、前記第１の箇所又は前記第２の箇所を列方向に転送する
請求項８記載の固体撮像装置。
【請求項１０】
前記固体撮像装置は、ＣＭＯＳイメージセンサである
請求項１〜３のいずれか１項に記載の固体撮像装置。
【請求項１１】
前記可視光における全ての波長域の光は、白色光である
請求項１〜１０のいずれか１項に記載の固体撮像装置。
【請求項１２】
赤外光を照射する光源部と、
請求項１〜１１のいずれか１項に記載の固体撮像装置と、
前記光源部及び前記固体撮像装置を制御することで、前記可視光画素に可視光を受光させ、更に、前記赤外光画素に、前記光源部が照射した赤外光が前記被写体に反射して返ってくる反射光を受光させる制御回路と、
前記可視光画素で生成された信号電荷を読み出すことで前記可視画像を生成し、前記赤外光画素で生成された信号電荷を読み出すことで前記距離画像と前記赤外光画像とを生成する信号処理回路と
を備える測距撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
上記目的を達成するために、本発明の一形態に係る固体撮像装置は、行列状に配置された複数の画素を有する撮像部を備え、前記撮像部は、可視画像を生成するために可視光における全ての波長域の光を信号電荷に変換する第１光電変換部を有する可視光画素と、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）方式による被写体までの距離を示す距離画像と赤外光画像とを生成するために赤外光を信号電荷に変換する第２光電変換部を有する赤外光画素とを備える。 
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５０
【補正方法】変更
【補正の内容】
【００５０】
図８は、図５に示された第２の読み出し例における固体撮像装置１０の駆動タイミングを示す図である。図８の（ａ）に示されるＶＤは、１フレームのタイミングを示し、図８の（ｂ）に示されるφＳＵＢは、全画素の信号電荷を半導体基板に排出するための基板排出パルスのタイミングを示し、図８の（ｃ）に示されるφＶ２Ａ、２Ｂは、垂直転送部１４を構成する赤外光画素１３用の読み出し電極Ｖ２Ａ、Ｖ２Ｂに印加される駆動信号のタイミングを示し、図８の（ｄ）に示されるφＶ４は、垂直転送部１４を構成する可視光画素１２用の読み出し電極Ｖ４に印加される駆動信号のタイミングを示し、図８の（ｅ）に示されるφＶ１、５、８は、垂直転送部１４を構成する転送電極Ｖ１、５、８に印加される駆動信号のタイミングを示し、図８の（ｆ）に示されるφＶ３、６、７、９、１０は、垂直転送部１４を構成する転送電極Ｖ３、６、７、９、１０に印加される駆動信号のタイミングを示し、図８の（ｇ）に示される赤外光は、光源部２０から照射される赤外光パルスのタイミングを示し、図８の（ｈ）に示される信号蓄積信号は、可視光画素１２及び赤外光画素１３への露光期間を示す。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
このとき、複数の垂直転送部１４のうちの偶数列及び奇数列の一方の垂直転送部１４は、読み出し電極Ｖ４によって、第１の行において隣接する２つの可視光画素１２で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算し、複数の垂直転送部１４のうちの偶数列及び奇数列の他方の垂直転送部１４は、読み出し電極”Ｖ２Ａ、２Ｂによって、第２の行において隣接する２つの赤外光画素１３で生成された信号電荷を当該垂直転送部１４の列方向における同じ箇所に読み出すことで加算する。つまり、可視光画素１２で生成された信号電荷を列方向に転送する垂直転送部１４と、赤外光画素１３で生成された信号電荷を列方向に転送する垂直転送部１４とが異なる（偶数列及び奇数列の一方と他方に分離される）。
【国際調査報告】
2018101049.tif 000023
2018101049.tif 000024
2018101049.tif 000025