(57)【要約】  各画素に備えられた光電変換部（４）から各画素の信号電荷を独立に垂直転送部（５）に排出する読み出し電極（８ａ，８ｂ）を設ける。被写体に赤外光を照射する第１の露光期間では、第１の画素から得た信号電荷と、第１の画素に隣接する第２の画素から得た信号電荷とを、垂直転送部（５）上で加算して第１の信号電荷を作る。赤外光を照射しない第２の露光期間では、第１の画素から得た信号電荷と、第１の画素に隣接する第２の画素から得た信号電荷とを、垂直転送部（５）上で、第１の信号電荷に加算しないように、垂直転送部（５）を転送させて、別のパケットに第２の信号電荷として加算する。
2014002415.tif 000002
【特許請求の範囲】
【請求項１】
被写体へ赤外光を照射する赤外光源と、
前記被写体からの入射光を受ける固体撮像装置とを備えた撮像装置であって、
前記固体撮像装置は、
基板上に行列状に配置された、入射光を信号電荷に変換する複数の第１の画素及び複数の第２の画素と、
前記第１及び第２の画素の信号電荷を同時に又は独立に、各画素に備えられた光電変換部から垂直転送部に排出する読み出し部とを備え、
前記垂直転送部は、１画素複数電極で構成され、１画素１信号溜める全画素読み出しが可能であり、かつ列方向の上下２方向どちらにも信号電荷を転送することが可能であり、
１フレーム走査期間内で、
第１の露光期間で、前記第１の画素から得た信号電荷と、前記第１の画素に隣接する前記第２の画素から得た信号電荷とを、前記垂直転送部上で加算して第１の信号電荷を作り、
第２の露光期間で、前記第１の画素から得た信号電荷と、前記第１の画素に隣接する前記第２の画素から得た信号電荷とを、前記垂直転送部上で、前記第１の信号電荷に加算しないように、前記垂直転送部を転送させて、別のパケットに第２の信号電荷として加算する駆動を、
複数回繰り返した後に出力することを特徴とする撮像装置。
【請求項２】
前記第１の画素と前記第２の画素とは、行毎に交互に配置され、
垂直方向に隣接する前記第１の画素と前記第２の画素とを加算することを特徴とする請求項１記載の撮像装置。
【請求項３】
前記第１の画素から信号電荷を読み出した後、垂直転送を１画素分行い、前記第２の画素から信号電荷を読み出すことで、前記第１の画素から読み出した信号電荷と加算することを特徴とする請求項２記載の撮像装置。
【請求項４】
前記第１の画素と前記第２の画素との読み出し電極を１画素の間隔より近づけて配置することで、同時に１つのパケットに信号電荷を読み出すことを特徴とする請求項２記載の撮像装置。
【請求項５】
被写体へ赤外光を照射する赤外光源と、
前記被写体からの入射光を受ける固体撮像装置とを備えた撮像装置であって、
前記固体撮像装置は、
基板上に行列状に配置された、入射光を信号電荷に変換する複数の第１の画素及び複数の第２の画素と、
前記第１及び第２の画素の信号電荷を同時に又は独立に、各画素に備えられた光電変換部から垂直転送部に排出する読み出し部とを備え、
前記垂直転送部は、１画素複数電極で構成され、１画素１信号溜める全画素読み出しが可能であり、かつ列方向の上下２方向どちらにも信号電荷を転送することが可能であり、
前記第１の画素と前記第２の画素とは、列毎に交互に配置され、
１フレーム走査期間内で、
第１の露光期間で、前記第１の画素から得た信号電荷と、前記第１の画素に水平方向に隣接する前記第２の画素から得た信号電荷とを、前記垂直転送部上で加算して第１の信号電荷を作り、
第２の露光期間で、前記第１の画素から得た信号電荷と、前記第１の画素に水平方向に隣接する別の第２の画素から得た信号電荷とを、別の垂直転送部上で、第２の信号電荷として加算する駆動を、
複数回繰り返した後に出力することを特徴とする撮像装置。
【請求項６】
前記第１の画素と前記第２の画素とを、共通の読み出し電極で１つのパケットに同時に読み出すことを特徴とする請求項５記載の撮像装置。
【請求項７】
前記第１の画素と前記第２の画素とを、それぞれ別の電極で１つのパケットに同時に読み出すことを特徴とする請求項５記載の撮像装置。
【請求項８】
前記第１の画素と前記第２の画素とは、行毎に交互に配置され、また列毎にも交互に配置されることで、市松状となっていて、
垂直方向に隣接する前記第１の画素と前記第２の画素とを加算することを特徴とする請求項３又は４に記載の撮像装置。
【請求項９】
前記第１の画素と前記第２の画素とは、列毎に交互に配置され、また行毎にも交互に配置されることで、市松状となっていて、
水平方向に隣接する前記第１の画素と前記第２の画素とを同時に読み出して加算することを特徴とする請求項１記載の撮像装置。
【請求項１０】
前記垂直転送部は、２画素複数電極で構成され、２画素で少なくとも３信号溜めることが可能であり、
１フレーム走査期間内で、前記第１の露光期間で得た第１の信号電荷と、前記第２の露光期間で得た第２の信号電荷とに加えて、第３の露光期間で、前記第１の画素から得た信号電荷と、前記第１の画素に隣接する前記第２の画素から得た信号電荷とを、前記垂直転送部上で加算して第３の信号電荷を作る駆動を繰り返すことを特徴とする請求項９記載の撮像装置。
【請求項１１】
前記第１の露光期間で、前記被写体を含む空間に前記赤外光を照射しながら撮像して、前記第１の信号電荷を作り、全画素の光電変換部に残る信号電荷を前記基板に掃き捨てた後、前記第２の露光期間で、前記赤外光を照射しない背景光のみの状態で撮像して、前記第２の信号電荷を作り、前記第１の信号電荷と前記第２の信号電荷との差分で背景光成分を除去して前記被写体までの距離を三角測量法により求めるステレオ方式の測距センサとして利用可能な請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１２】
前記第１の露光期間で、前記被写体を含む空間に前記赤外光を特定パターンで照射しながら撮像して、前記第１の信号電荷を作り、全画素の光電変換部に残る信号電荷を前記基板に掃き捨てた後、前記第２の露光期間で、前記赤外光を照射せずに撮像して、前記第２の信号電荷を作り、前記第１の信号電荷と前記第２の信号電荷との差分で背景光成分を除去して、各照射パターンの位置ずれ量によって前記被写体までの距離を求めるパターン照射型の測距センサとして利用可能な請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１３】
前記第１の露光期間で、前記赤外光をパルス状に発光させて前記被写体を含む空間に照射しながら、特定期間に受光される反射光を光電変換部から読み出して、前記第１の信号電荷を作り、また前記第２の露光期間で、別の特定期間に受光される反射光を光電変換部から読み出して、前記第２の信号電荷を作り、その比率で前記被写体までの距離を求めるＴＯＦ型の測距センサとして利用可能な請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１４】
前記第１の露光期間で、前記赤外光をパルス状に発光させて前記被写体に照射し、特定期間に受光される反射光を光電変換部から読み出して、前記第１の信号電荷を作り、また前記第２の露光期間で、別の特定期間に受光される反射光を光電変換部から読み出して、前記第２の信号電荷を作り、更に前記第３の露光期間で、別の特定期間に前記赤外光を照射せず撮像して背景光成分のみの第３の信号電荷を作り、その差分と比率で前記被写体までの距離を求めるＴＯＦ型の測距センサとして利用可能な請求項１０記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入射した光を電気信号に変換して映像信号として出力する撮像装置に関するものである。
【背景技術】
【０００２】
特許文献１には、赤外光を利用して被写体までの距離を測定する機能を持つ測距カメラが開示されている。一般に、測距カメラに用いられる固体撮像装置は、測距センサと呼ばれる。特に、例えばゲーム機に搭載され、被写体である人物の体の動きや手の動きを検出するカメラは、モーションカメラとも呼ばれる。【０００３】
特許文献２には、全画素同時読み出しを可能とする垂直転送電極構造を持つ固体撮像装置が開示されている。具体的には、フォトダイオード（ＰＤ）の各列の隣に垂直方向に延びる垂直転送部が設けられたＣＣＤ（Charge Coupled Device）イメージセンサである。垂直転送部は、各フォトダイオードに対応して、４つの垂直転送電極を備えており、そのうち少なくとも１つの垂直転送電極がフォトダイオードから垂直転送部に信号電荷を読み出す読み出し電極を兼ねている。また、フォトダイオードの全画素の信号電荷を掃き捨てるための縦型オーバーフロードレイン（ＶＯＤ）が備えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１７４８５４号公報
【特許文献２】特開２０００−２３６４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２の固体撮像装置を測距センサとして使用する場面を想定する。まず、赤外光を照射して撮像する。この際、赤外光を照射して得た信号電荷を、奇数番号の行に位置するフォトダイオードから垂直転送部に読み出す。偶数番号の行に位置するフォトダイオードに溜まった信号電荷は、基板に掃き捨てられる。次に、赤外光を照射せずに撮像する。この際、垂直転送部中の信号電荷はその位置を保持させつつ、赤外光を照射せずに得た信号電荷を、偶数番号の行に位置するフォトダイオードから垂直転送部に読み出す。奇数番号の行に位置するフォトダイオードに溜まった信号電荷は、基板に掃き捨てられる。その後、垂直転送部に溜められた信号電荷を順次転送して出力する。赤外光を照射して得た信号電荷から、赤外光を照射せずに得た信号電荷を減算すれば、背景光中の赤外光成分による影響を排除した距離画像を得ることができる。【０００６】
しかしながら、この場合には、以下のような課題が生じる。まず、赤外光を照射して得た信号電荷から、赤外光を照射せずに得た信号電荷を減算する際に、両信号電荷間で１画素分の空間的なずれが生じている。この減算により、減算する方向の解像度が半分に低下してしまう。また、掃き捨てにより信号電荷の利用率が５０％になり、感度が低下する。そのうえ、赤外光を照射して得た信号電荷と、赤外光を照射せずに得た信号電荷との間に露光タイミングのずれがあるため、特に動きの速い被写体の場合に距離測定結果に誤差が生じやすい。【０００７】
本発明の目的は、高精度の距離画像を効率良く得るための撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一態様に係る撮像装置は、被写体へ赤外光を照射する赤外光源と、前記被写体からの入射光を受ける固体撮像装置とを備えた撮像装置であって、前記固体撮像装置は、基板上に行列状に配置された、入射光を信号電荷に変換する複数の第１の画素及び複数の第２の画素と、前記第１及び第２の画素の信号電荷を同時に又は独立に、各画素に備えられた光電変換部から垂直転送部に排出する読み出し部とを備え、前記垂直転送部は、１画素複数電極で構成され、１画素１信号溜める全画素読み出しが可能であり、かつ列方向の上下２方向どちらにも信号電荷を転送することが可能であり、１フレーム走査期間内で、第１の露光期間で、前記第１の画素から得た信号電荷と、前記第１の画素に隣接する前記第２の画素から得た信号電荷とを、前記垂直転送部上で加算して第１の信号電荷を作り、第２の露光期間で、前記第１の画素から得た信号電荷と、前記第１の画素に隣接する前記第２の画素から得た信号電荷とを、前記垂直転送部上で、前記第１の信号電荷に加算しないように、前記垂直転送部を転送させて、別のパケットに第２の信号電荷として加算する駆動を、複数回繰り返した後に出力することを特徴とする。【０００９】
本態様によれば、隣接する２つの画素から得た信号を加算することによって、同じ２つの画素から赤外光を照射した信号電荷と、背景光中の赤外光成分のみの信号電荷とを読み出すことができるため、画素ずれを生じずに、２つの信号の減算が可能になる。また、毎回の露光期間で全ての画素から信号電荷を読み出すため、信号電荷の利用率が１００％になる。更に、１フレーム期間内に複数回読み出すため、２つの信号電荷の時間差が減り、動きのある被写体を撮像することが可能となる。
【発明の効果】
【００１０】
本発明によれば、赤外光照射による距離画像の撮像を、駆動方法を変えることで、高画質かつ高精度でありながら、システム全体の電力と発熱とが抑えられる撮像装置を実現できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る固体撮像装置を備えた測距カメラの概略構成を示す図である。
【図２】ステレオ方式の測距カメラの測距方法を説明する図である。
【図３】ステレオ方式の測距カメラの動作原理を説明する図である。
【図４】パターン照射型の測距カメラの測距方法を説明する図である。
【図５】（ａ）及び（ｂ）は、パターン照射型の測距カメラの動作原理を説明する図である。
【図６】ＴＯＦ型の測距カメラの測距方法を説明する図である。
【図７】ＴＯＦ型の測距カメラにおける第１のタイミング図である。
【図８】（ａ）及び（ｂ）は、図７のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。
【図９】ＴＯＦ型の測距カメラにおける第２のタイミング図である。
【図１０】（ａ）及び（ｂ）は、図９のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。
【図１１】ＴＯＦ型の測距カメラにおける第３のタイミング図である。
【図１２】（ａ）及び（ｂ）は、図１１のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。
【図１３】ＴＯＦ型の測距カメラにおける第４のタイミング図である。
【図１４】（ａ）及び（ｂ）は、図１３のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。
【図１５】本発明の第１の実施形態に係る固体撮像装置の構成図である。
【図１６】図１５の固体撮像装置の駆動タイミング図である。
【図１７】（ａ）、（ｂ）、（ｃ）及び（ｄ）は、図１５の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図１８】本発明の第２の実施形態に係る固体撮像装置の構成図である。
【図１９】図１８の固体撮像装置の駆動タイミング図である。
【図２０】（ａ）及び（ｂ）は、図１８の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図２１】（ａ）及び（ｂ）は、図１８の固体撮像装置の変形例における１フレーム期間内の信号電荷の流れを示す概念図である。
【図２２】本発明の第３の実施形態に係る固体撮像装置の構成図である。
【図２３】（ａ）、（ｂ）、（ｃ）及び（ｄ）は、図２２の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図２４】本発明の第４の実施形態に係る固体撮像装置の構成図である。
【図２５】（ａ）及び（ｂ）は、図２４の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図２６】本発明の第５の実施形態に係る固体撮像装置の構成図である。
【図２７】図２６の固体撮像装置の駆動タイミング図である。
【図２８】（ａ）、（ｂ）及び（ｃ）は、図２６の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図２９】図２６の固体撮像装置の変形例を示す構成図である。
【図３０】本発明の第６の実施形態に係る固体撮像装置の構成図である。
【図３１】図３０の固体撮像装置の駆動タイミング図である。
【図３２】（ａ）、（ｂ）及び（ｃ）は、図３０の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。なお、添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。図面において実質的に同一の構成、動作及び効果を表す要素については、同一の符号を付す。
【００１３】
図１は、本発明に係る固体撮像装置を備えた測距カメラの概略構成を示す図である。図１に示すように、撮影対象空間１００にて被写体１０１に背景光照明１０２のもと、波長８５０ｎｍの赤外レーザー光が赤外光源１０３から照射される。その反射光を光学レンズ１０４と、８５０ｎｍ近傍の近赤外波長領域を透過する光学フィルタ１０５とを介して、固体撮像装置１０６で受け、固体撮像装置１０６に結像された画像を電気信号に変換する。赤外光源１０３と、光学レンズ１０４と、光学フィルタ１０５と、例えばＣＣＤイメージセンサである固体撮像装置１０６とが、測距カメラを構成する。
【００１４】
測距カメラにはいくつかの種類があるが、ステレオ方式、パターン照射型、ＴＯＦ（Time Of Flight）型等のいずれでもよい。
【００１５】
図２は、ステレオ方式の測距カメラの測距方法を説明する図である。撮影対象空間１１０における被写体１１１に対して、１組のカメラ１２０及び赤外光源１２５と、他の１組のカメラ１３０及び赤外光源１３５とが配置される。両カメラ１２０，１３０の各々の光軸間の距離を２Ｌとする。Ｌは基線長と呼ばれる。
【００１６】
図３は、ステレオ方式の測距カメラの動作原理を説明する図である。赤外光源１２５，１３５は、各々被写体１１１に対して赤外光を照射する。一方のカメラ１２０は、レンズ１２１と固体撮像装置１２２とを有し、中心からｎ１画素だけ離れた位置に赤外光スポットが結像する。他方のカメラ１３０は、レンズ１３１と固体撮像装置１３２とを有し、中心からｎ２画素だけ離れた位置に赤外光スポットが結像する。これらの結果をもとに、被写体１１１までの距離ｚを三角測量法により求める。
【００１７】
図４は、パターン照射型の測距カメラの測距方法を説明する図である。撮影対象空間１４０における被写体１４１に対して、１組のカメラ１５０及び赤外光源１５５が配置される。赤外光源１５５は、赤外光を特定パターンで被写体１４１を含む撮影対象空間１４０に照射する。ここでも、基線長をＬとする。
【００１８】
図５（ａ）及び図５（ｂ）は、パターン照射型の測距カメラの動作原理を説明する図である。カメラ１５０は、レンズ１５１と固体撮像装置１５２とを有し、各照射パターンの位置ずれ量（ｚ１とｚ２との差）によって被写体１４１までの距離を求める。
【００１９】
図６は、ＴＯＦ型の測距カメラの測距方法を説明する図である。ここでも、被写体１６０に対して、１組のカメラ１７０及び赤外光源１７５が配置される。赤外光源１７５は、距離ｚだけ離れた位置の被写体１６０にパルス状の照射光を与える。被写体１６０に当たった赤外光は、反射する。カメラ１７０は、その反射光を受ける。
【００２０】
図７は、ＴＯＦ型の測距カメラにおける第１のタイミング図である。照射光のパルス幅をＴｐとし、照射光と反射光との間の遅延をΔｔとする。
【００２１】
図８（ａ）及び図８（ｂ）は、図７のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。以下、第１のＴＯＦ法という。図８（ａ）に示すように、カメラ１７０で得られる第１信号の大きさは、照射光パルスの立ち上がり時刻から始まる第１露光期間における反射光に基づく信号電荷の量ＩＲ１である。一方、図８（ｂ）に示すように、カメラ１７０で得られる第２信号の大きさは、照射光パルスの立ち下がり時刻から始まる第２露光期間における反射光に基づく信号電荷の量ＩＲ２である。ここでは、第１及び第２露光期間の長さを照射光のパルス幅Ｔｐよりも広く取っている。被写体１６０までの距離をｚとし、光速をｃとするとき、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×（ＩＲ２／ＩＲ１）
となる。
【００２２】
図９は、ＴＯＦ型の測距カメラにおける第２のタイミング図である。ここでは、照射光のパルス幅が時間Ｔｐよりも長いものとする。
【００２３】
図１０（ａ）及び図１０（ｂ）は、図９のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。以下、第２のＴＯＦ法という。図１０（ａ）に示すように、カメラ１７０で得られる第１信号の大きさは、反射光パルスの立ち上がり時刻よりも後から始まる第１露光期間（長さＴｐ）における反射光に基づく信号電荷の量ＩＲ１である。一方、図１０（ｂ）に示すように、カメラ１７０で得られる第２信号の大きさは、照射光パルスの立ち上がり時刻から始まる第２露光期間（長さＴｐ）における反射光に基づく信号電荷の量ＩＲ２である。この場合には、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×｛（ＩＲ１−ＩＲ２）／ＩＲ１｝
となる。
【００２４】
図１１は、ＴＯＦ型の測距カメラにおける第３のタイミング図である。ここでも、照射光のパルス幅が時間Ｔｐよりも長いものとする。
【００２５】
図１２（ａ）及び図１２（ｂ）は、図１１のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。以下、第３のＴＯＦ法という。図１２（ａ）に示すように、カメラ１７０で得られる第１信号の大きさは、照射光パルスの立ち下がり時刻に終了する第１露光期間（長さＴｐ）における反射光に基づく信号電荷の量ＩＲ１である。一方、図１２（ｂ）に示すように、カメラ１７０で得られる第２信号の大きさは、照射光パルスの立ち下がり時刻から始まる第２露光期間（長さＴｐ）における反射光に基づく信号電荷の量ＩＲ２である。この場合には、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×（ＩＲ２／ＩＲ１）
となる。
【００２６】
図８（ａ）及び図８（ｂ）に示した第１のＴＯＦ法であれば、赤外光源１７５の照射光パルスの立ち上がり速度、立ち下がり速度、半値幅、赤外光ＯＮ時の安定性の全てを制御しなければ、距離ｚの測定誤差に繋がる。これに対して、図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法や、図１２（ａ）及び図１２（ｂ）に示した第３のＴＯＦ法であれば、その全ては制御しなくてもよいため、システムの構築の容易性が増す。例えば、図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法であれば、第１露光期間では赤外光ＯＮ時の安定性だけが寄与するし、第２露光期間であればパルスの立ち上がり速度が寄与する。したがって、例えばパルスの立ち下がり速度は多少遅くても、距離ｚの算出に影響しない。このように、照射光パルスの立ち上がり部分のみを利用する第２のＴＯＦ法や、照射光パルスの立ち下がり部分のみを利用する第３のＴＯＦ法は、第１のＴＯＦ法に比べて利点がある。
【００２７】
図１３は、ＴＯＦ型の測距カメラにおける第４のタイミング図である。照射光のパルス幅をＴｐとし、照射光と反射光との間の遅延をΔｔとし、反射光に含まれる背景光成分をＢＧとする。
【００２８】
図１４（ａ）及び図１４（ｂ）は、図１３のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。以下、第４のＴＯＦ法という。反射光には背景光成分ＢＧが含まれているため、距離ｚの計算をする上で、背景光成分ＢＧの除去が望ましい。そこで、３つの異なる信号電荷が溜められる固体撮像装置を用いることとする。
【００２９】
まず、図１４（ａ）に示すように、照射光パルスの立ち上がり時刻から始まる第１露光期間における反射光に基づく信号電荷の量はＳ０＋ＢＧである。また、赤外光を照射しない第３露光期間における背景光のみに基づく信号電荷の量はＢＧである。したがって、両者の差を取ることにより、カメラ１７０で得られる第１信号の大きさはＳ０となる。一方、図１４（ｂ）に示すように、照射光パルスの立ち下がり時刻から始まる第２露光期間における反射光に基づく信号電荷の量はＳ１＋ＢＧである。また、赤外光を照射しない第３露光期間における背景光のみに基づく信号電荷の量はＢＧである。したがって、両者の差を取ることにより、カメラ１７０で得られる第２信号の大きさはＳ１となる。更に、被写体１６０までの距離をｚとし、光速をｃとするとき、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×（Ｓ１／Ｓ０）
となる。
【００３０】
以上の測距カメラに好適に利用される固体撮像装置の第１〜第６の実施形態について、以下順次説明する。
【００３１】
《第１の実施形態》
図１５は、本発明の第１の実施形態に係る固体撮像装置の構成図である。ここでは、図面の簡略化のために、垂直方向に４画素分、水平方向に４画素分のみ示している。
【００３２】
この固体撮像装置は、半導体基板に行列状に配置され、入射光を信号電荷に変換する複数の光電変換部（フォトダイオード）４と、光電変換部４に対応して設けられ、光電変換部４から読み出された信号電荷を列方向（垂直方向）に転送する垂直転送部５と、垂直転送部５によって転送された信号電荷を行方向（水平方向）に転送する水平転送部１０と、水平転送部１０によって転送された信号電荷を出力する電荷検出部１１と、行毎に読み出すことが可能なように、光電変換部４のそれぞれに対応して設けられた第１の読み出し電極８ａ及び第２の読み出し電極８ｂとを備える。
【００３３】
ここで、固体撮像装置は、全画素読み出し（プログレッシブスキャン）対応のインターライントランスファー方式のＣＣＤであり、例えば、垂直転送部５は、１画素あたり垂直転送電極８が４ゲートある４相駆動であり、水平転送部１０は２相駆動である。光電変換部４からの信号電荷の読み出し電極は、４相駆動の垂直転送部５の、垂直転送電極８ａ及び８ｂが兼用した構成になっている。光電変換部４に溜まった信号電荷は、例えば、信号パケット９で表される電極に読み出され、転送される。
【００３４】
また、各画素には、全画素の信号電荷を掃き捨てるためのＶＯＤ１２が備えられている。ただし、本発明の理解を容易とするため、ＶＯＤ１２は画素の面横方向に記載しているが、実際には画素のバルク方向（半導体基板の深さ方向）に構成されている。ＶＯＤ１２の基板に接続されているＳｕｂ端子に高電圧が印加されると全画素の信号電荷は一括して基板に排出される構成となっている。
【００３５】
次に、図１６及び図１７（ａ）〜図１７（ｄ）を用いて、図１５の固体撮像装置の動作タイミングについて説明する。図１６は、１フレーム期間内で、縦に隣接する２画素を垂直転送して加算する駆動タイミングの一例を示しており、図１７（ａ）〜図１７（ｄ）は、電荷加算及び電荷転送のイメージを示している。
【００３６】
まず、図１６に示すように、垂直同期パルスＶＤは毎秒６０フレーム（６０ｆｐｓ）であり、各フレーム期間内に、赤外光照射下の信号電荷２１と、背景光のみの場合の信号電荷２２との双方の信号電荷が得られる。図１６では、説明を簡単にするため、赤外光を照射した撮像と、背景光のみの撮像とを１フレームあたり２回ずつ行っている。
【００３７】
各フレームの初めに、基板排出パルス（φＳｕｂ）を印加し、全画素の信号電荷を排出する。φＳｕｂ印加終了により、１回目の赤外光照射露光期間Ｔａが開始され、同時に赤外光が照射される。背景光は点灯継続しているため被写体からの反射光は、照射した赤外光と背景光との双方を含んでいる。
【００３８】
ここで、φＶ１Ａに読み出しパルスを印加し、信号電荷２１を垂直転送部５に読み出し、１回目の露光期間Ｔａが終了する。同時に赤外光の照射も停止する。このときの光電変換部４から垂直転送部５への電荷読み出しのイメージは、図１５にも光電変換部４からの矢印で示している。
【００３９】
なお、本実施形態では、赤外光照射期間と露光期間Ｔａとを合致させているが、赤外光照射期間が背景光露光期間Ｔｂを含まなければ、特に問題は生じない。
【００４０】
その後、図１７（ａ）〜図１７（ｂ）で示すように、読み出した信号電荷２１を１画素分、隣接する画素まで順転送方向（図中下方）に転送させる。そして、φＶ１Ｂに読み出しパルスを印加し、垂直転送部５に信号電荷を読み出すが、その際、既にφＶ１Ａから読み出していた信号電荷と加算する。加算した信号電荷２１は、１画素分、先ほどと反対に、逆転送方向（図中上方）へ垂直転送する。
【００４１】
次に、φＳｕｂを印加し、全画素の信号電荷を排出したあと、図１６の露光期間Ｔｂで示すように、赤外光を照射せずに、赤外光源以外から発する赤外光成分、つまり背景光のみの信号電荷を光電変換部４に溜める。
【００４２】
そして、露光期間Ｔｂ終了時に、φＶ１Ｂに読み出しパルスを印加し、図１７（ｃ）に示すように、光電変換部４に溜まった背景光成分の信号電荷２２を垂直転送部５に読み出す。その際、先ほどの照射赤外光を含む信号電荷２１とは加算されないように、別パケットに読み出す。
【００４３】
その後、図１７（ｄ）に示すように、１画素分逆方向に垂直転送して、φＶ１Ａに読み出しパルスを印加することで、隣接する縦２画素の信号を加算する。このときの加算する画素の組み合わせは、先ほどの信号電荷２１を加算したときと同じ２画素である。
【００４４】
加算した後に、１画素分順方向に垂直転送して、信号電荷２１及び信号電荷２２を元の図１７（ａ）と同じ位置に戻す。なお、図１７（ａ）には、信号電荷２２が示されていないが、図１７（ｄ）に示すように、信号電荷２１に挟まれた空きパケットが信号電荷２２の位置に相当する。
【００４５】
これら赤外光照射ＯＮ／ＯＦＦと図１７（ａ）〜図１７（ｄ）の一連の駆動とを１セットとして、図１６に示す駆動タイミングでは、１フレーム期間内に２セット行ったあと、転送期間Ｔｃで出力している。
【００４６】
以上、第１の実施形態に係る固体撮像装置によれば、垂直方向に隣り合う２つの画素から、赤外光を照射して得た信号電荷２１と背景光のみの信号電荷２２との２種類の信号を得ることが可能となり、２つの信号間での画素ずれが無くなる。これにより、２つの信号を使って背景光を減算した際に、同じアドレスから得た信号同士で減算するため、正確に距離画像を取得することが可能になる。しかも、画素部の設計が容易である。
【００４７】
更に、本実施形態の固体撮像装置であれば、全てのフォトダイオードに溜まった信号電荷を隣接加算することで利用するため、基板に掃き捨てる信号電荷が無くなり、利用率を１００％にすることができる。また、感度が実質的に倍になることから、同じ赤外光の信号量が必要であるならば、照射する赤外光源の出力を下げる、あるいは、露光期間を短くすることも可能になる。つまり、低消費電力化に有効である。
【００４８】
また、１フレーム期間内で２回、赤外光を照射した信号電荷２１と、背景光のみの信号電荷２２とを読み出す駆動を繰り返すため、実質的に、２つの信号間の時間差が短くなり、動きの速い被写体を撮像して、２つの信号を使って背景光を減算したときにも、誤差が生じにくい。
【００４９】
なお、信号電荷の転送期間Ｔｃにて出力される信号の並びは従来と同じであり、信号処理系は既存システムを使うことができるため、第１の実施形態の固体撮像装置は、従来の固体撮像装置から置き換えて、容易に取り扱うことができる。すなわち、既存システムとの親和性が高い。
【００５０】
これにより、赤外線照射も含めたシステム全体の電力と発熱とを抑えながら、より高精度なモーションセンサとして使用可能な固体撮像装置を実現できる。なお、１フレーム期間内の赤外光照射ＯＮ／ＯＦＦの繰り返しは、図１７（ａ）〜図１７（ｄ）では簡単のため２回となっているが、この回数が多ければ多いほど、動きの速い被写体には有効である。
【００５１】
また、これまで隣接２画素の加算駆動を中心に説明したが、加算せずに、一般的な駆動で全画素出力することで、距離画像でない、通常画像の撮像も可能である。
【００５２】
なお、第１の実施形態に係る固体撮像装置は、主にステレオ方式やパターン照射型の測距センサとして使われる。
【００５３】
《第２の実施形態》
以下、本発明の第２の実施形態に係る固体撮像装置について、第１の実施形態と異なる点を中心に説明する。第２の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、隣接する２つの画素から信号電荷を読み出す方法が異なり、更にそれに起因して、垂直転送部の構成が異なっている。しかし、垂直方向に隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００５４】
図１８は、第２の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第１の実施形態に係る図１５の固体撮像装置と比較して、光電変換部４に対応して設けられた垂直転送部５へ、光電変換部４から信号電荷を読み出す電極が異なっており、第１の実施形態に係る図１５の固体撮像装置に比べると、隣接する２画素の読み出し電極が近づいている。図１５では、垂直転送電極中に４つおきに読み出し電極が配置されていたが、本実施形態に係る図１８の固体撮像装置では、光電変換部４からの信号電荷の読み出し電極は、φＶ１及びφＶ３といったように、２電極離れたところに、２つの読み出し電極８ａ及び８ｂを配置した構成になっている。
【００５５】
次に、図１９、図２０（ａ）及び図２０（ｂ）を用いて、本実施形態に係る固体撮像装置の動作タイミングについて説明する。図１９は、１フレーム期間内で、縦に隣接する２画素を加算する駆動タイミングの一例を示しており、第１の実施形態の図１６と比較して、φＶ１及びφＶ３は同時に印加される点が異なる。
【００５６】
図２０（ａ）及び図２０（ｂ）に示すように、赤外光を照射した露光期間の信号をφＶ１及びφＶ３に同時に読み出しパルスを印加することで、垂直転送部５に信号電荷２１として読み出し、読み出すと同時に２画素の信号を１つの信号パケット中で加算する。この構成により、第１の実施形態と比較すると、２画素の信号を加算するために、１画素分垂直転送していた駆動が不要となる。このときの光電変換部４から垂直転送部５への電荷読み出しのイメージは、図１８にも光電変換部４からの矢印で示している。
【００５７】
加算した信号電荷２１は、１画素分、逆転送方向（図中上方）に垂直転送して、φＳｕｂで全画素の信号電荷を排出した後、露光期間Ｔｂで溜めた信号電荷２２を、先ほどと同じくφＶ１及びφＶ３に同時に読み出しパルスを印加することで、垂直転送部５の別パケットに読み出し、加算した信号電荷２２が得られる。
【００５８】
その後、１画素分順方向に垂直転送して、信号電荷２１及び信号電荷２２を元の図２０（ａ）と同じ位置に戻す。なお、図２０（ａ）には、信号電荷２２が示されていないが、図２０（ｂ）に示すように、信号電荷２１に挟まれた空きパケットが信号電荷２２の位置に相当する。
【００５９】
これら赤外光照射ＯＮ／ＯＦＦと図２０（ａ）〜図２０（ｂ）の一連の駆動とを１セットとして、図１９に示す駆動タイミングでは、１フレーム期間内に２セット行ったあと、出力している。
【００６０】
以上、第２の実施形態に係る固体撮像装置によれば、隣接する２画素から読み出すタイミングが同時になることから、駆動タイミングの設計が容易になることに加えて、より正しく距離を計算することが可能となる。また、ＴＯＦ型の測距センサ等、加算する２つの信号間で、時間差が生じると距離の誤判定に繋がる測距方式でも、使用することが可能になる。
【００６１】
また、出力される信号順については第１の実施形態で示されたものと同じであり、信号処理系は既存システムを使うことができるため、本実施形態の固体撮像装置も、第１の実施形態と同様に、従来の固体撮像装置から置き換えて、容易に取り扱うことができる。
【００６２】
更に、加算駆動をせずに、１フレームあたり１回読み出しの全画素出力（全画素独立読み出し）をしたい場合は、図１８に示す、φＶ２をＬＯＷレベルにしながらφＶ１及びφＶ３から同時に読み出すことで、各画素の光電変換部４に溜められた信号電荷を別パケットに読み出して、全画素出力することが可能である。これにより、１つのセンサから、駆動の違いだけで、距離画像の撮像も、通常画像の撮像もいずれも可能となる。
【００６３】
なお、図２１（ａ）及び図２１（ｂ）に示すように、水平方向に隣接する２画素を加算することも有効である。この方法だと、水平方向に隣り合う２画素から、１つの共通した読み出し電極φＶ１Ａ又はφＶ１Ｂを通じて読み出すだけで、垂直転送部５で加算することが可能となり、光電変換部４の端から読み出す必要のある、図１８の固体撮像装置と比べると、光電変換部４から読み出しがしやすく、設計が容易であるとともに、より光電変換部４の中心近くに読み出し電極を配置することが可能のため、読み出し可能電圧も低く設定することができる。
【００６４】
《第３の実施形態》
以下、本発明の第３の実施形態に係る固体撮像装置について、第１の実施形態と異なる点を中心に説明する。第３の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、読み出し電極φＶ１Ａ，φＶ１Ｂの配置が、列毎に１画素分ずれており、市松状になっている点が異なる。しかし、垂直方向に隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００６５】
図２２は、第３の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第１の実施形態に係る図１５の固体撮像装置と比較して、光電変換部４に対応して設けられた垂直転送部５へ、光電変換部４から信号電荷を読み出す電極が異なっており、第１の実施形態に係る図１５の固体撮像装置では、φＶ１Ａの読み出し電極を有する画素の右隣の画素は同じくφＶ１Ａの読み出し電極を有していたのに対し、第３の実施形態に係る図２２の固体撮像装置では、φＶ１Ａの読み出し電極を有する画素の右隣は、φＶ１Ｂの読み出し電極を有している画素が配置されている点が異なる。そして、そのφＶ１Ｂの読み出し電極を有する画素の右隣には、φＶ１Ａの読み出し電極を有する画素が配置されている。一行下の画素は、その逆で、一番左の画素がφＶ１Ｂの読み出し電極を有していて、その右隣の画素は、φＶ１Ａの読み出し電極を有している。このように、φＶ１Ａの読み出し電極を有する画素とφＶ１Ｂの読み出し電極を有する画素とが、それぞれ市松状に配置されている。
【００６６】
次に、図２３（ａ）〜図２３（ｄ）を用いて、図２２の固体撮像装置の動作タイミングについて説明する。なお、読み出し電極の配置が市松状になっている点が第１の実施形態と異なるだけで、駆動タイミング自体は、第１の実施形態に係る図１６と同じである。
【００６７】
図２３（ａ）〜図２３（ｄ）に示すように、赤外光を照射した露光期間に得た信号電荷２１と、赤外光を照射せずに背景光状態での露光期間に得た信号電荷２２とは、市松状に信号が出力される。なお、図２３（ａ）には、理解をしやすくするため、光電変換部４に、φＶ１Ａで読み出す画素は「Ａ」と記載し、φＶ１Ｂで読み出す画素は「Ｂ」と記載している。
【００６８】
その後は、第１の実施形態に係る図１７（ａ）〜図１７（ｄ）と同じ流れであり、図２３（ａ）〜図２３（ｄ）で示すように、赤外光を照射して得た信号電荷２１を読み出して、次に、背景光のみで得た信号電荷２２を読み出す。なお、図２３（ａ）の時点での光電変換部４から垂直転送部５への電荷読み出しのイメージは、図２２にも光電変換部４からの矢印で示している。
【００６９】
これら赤外光照射ＯＮ／ＯＦＦと図２３（ａ）〜図２３（ｄ）の一連の駆動とを１セットとして、第１の実施形態に係る、図１６に示す駆動タイミングでは、１フレーム期間内に２セット行ったあと、転送期間Ｔｃで出力している。
【００７０】
以上、第３の実施形態に係る固体撮像装置によれば、赤外光を照射して得た信号電荷から、赤外光を照射せずに得た信号電荷を減算することで、減算方向の解像度が半分に減っても、減算後の信号が市松化されていることにより、信号処理によってその解像度を補完することができるようになる。これにより、同じ画素数の従来の測距センサと比べても、より高精細な測距が可能になる。
【００７１】
なお、第１の実施形態と同様に、一般的な駆動で全画素読み出しすれば、通常の撮像も可能である。
【００７２】
《第４の実施形態》
以下、本発明の第４の実施形態に係る固体撮像装置について、第２の実施形態と異なる点を中心に説明する。第４の実施形態に係る固体撮像装置は、第２の実施形態に係る固体撮像装置と比較して、同時に加算する２画素の組み合わせが列毎に異なり、それに起因して、読み出し電極の構成が異なっている。しかし、垂直方向に隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第２の実施形態に係る固体撮像装置と同様である。以下、第２の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００７３】
図２４は、第４の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第２の実施形態に係る図１８の固体撮像装置と比較して、光電変換部４に対応して設けられた垂直転送部５へ、光電変換部４から信号電荷を読み出す電極が列毎に異なっている。例えば、図１８の固体撮像装置では、最も左下に配置された画素はφＶ３で読み出し、その右隣の画素もφＶ３で読み出していた。しかし、第４の実施形態に係る図２４の固体撮像装置では、最も左下に配置された画素はφＶ３で読み出しているのに対し、その右隣の画素はφＶ１で読み出す構成になっている。更に、その右隣の画素は、φＶ３で読み出す構成になっている。
【００７４】
第４の実施形態に係る固体撮像装置は、第２の実施形態と比べて、読み出し電極の配置が列毎に異なるのみであるため、第４の実施形態に係る固体撮像装置の駆動タイミングは、第２の実施形態に係る駆動タイミングである図１９に示す一例と同じである。
【００７５】
次に、図２５（ａ）及び図２５（ｂ）を用いて、本実施形態に係る固体撮像装置の動作タイミングについて説明する。図２５（ａ）及び図２５（ｂ）に示すように、赤外光を照射した露光期間に得た信号電荷２１と、赤外光を照射せずに背景光状態での露光期間に得た信号電荷２２とは、市松状に信号が出力される。なお、図２５（ａ）には、理解をしやすくするため、光電変換部４に、φＶ１で読み出す画素は「１」と記載し、φＶ３で読み出す画素は「３」と記載している。
【００７６】
その後、第２の実施形態に係る図２０（ａ）〜図２０（ｂ）と同じように、図２５（ａ）〜図２５（ｂ）で示すように、赤外光を照射して得た信号電荷２１を読み出して、次に、垂直転送した後、背景光のみで得た信号電荷２２を読み出す。なお、図２５（ａ）の時点での光電変換部４から垂直転送部５への電荷読み出しのイメージは、図２４にも光電変換部４からの矢印で示している。
【００７７】
これら赤外光照射ＯＮ／ＯＦＦと図２５（ａ）及び図２５（ｂ）の一連の駆動とを１セットとして、第２の実施形態に係る、図１９に示す駆動タイミングでは、１フレーム期間内に２セット行ったあと、転送期間Ｔｃで出力している。
【００７８】
以上、第４の実施形態に係る固体撮像装置によれば、赤外光を照射して得た信号電荷から、赤外光を照射せずに得た信号電荷を減算することで、減算方向の解像度が半分に減っても、減算後の信号が市松化されていることにより、信号処理によってその解像度を補完することができるようになる。これにより、同じ画素数の従来の測距センサと比べても、より高精細な測距が可能になる。
【００７９】
更に、第２の実施形態と同じく、隣接する２画素から読み出すタイミングが同時になることから、駆動タイミングの設計が容易になることに加えて、加算の同時性から特にＴＯＦ型の測距センサで有効である。例えば、光源パルスの立ち上がり部分で距離を算出する図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法や、光源パルスの立ち下がり部分で距離を算出する図１２（ａ）及び図１２（ｂ）に示した第３のＴＯＦ法も有効である。
【００８０】
なお、ここまで加算駆動を中心に説明したが、隣接２画素の加算駆動をせずに、１フレームあたり１回読み出しの全画素出力（全画素独立読み出し）をしたい場合は、第２の実施形態と同様に、φＶ２をＬＯＷレベルにしながらφＶ１及びφＶ３から同時に読み出すことで、各画素の光電変換部４に溜められた信号電荷を別パケットに読み出して、全画素出力することが可能である。これにより、１つのセンサから、駆動の違いだけで、距離画像の撮像も、通常画像の撮像もいずれも可能となる。
【００８１】
《第５の実施形態》
以下、本発明の第５の実施形態に係る固体撮像装置について、第４の実施形態と異なる点を中心に説明する。第５の実施形態に係る固体撮像装置は、第４の実施形態に係る固体撮像装置と比較して、同時に加算する２画素の組み合わせが異なり、第５の実施形態では、横方向の２画素を加算しており、それに起因して、読み出し電極の構成が異なっている。しかし、隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第４の実施形態に係る固体撮像装置と同様である。以下、第４の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００８２】
図２６は、第５の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第４の実施形態に係る図２４の固体撮像装置と比較して、光電変換部４に対応して設けられた垂直転送部５へ、光電変換部４から信号電荷を読み出す電極が、垂直転送部５を挟んで水平方向に隣り合う光電変換部４のそれぞれから同時に読み出せる構造になっている。
【００８３】
なお、垂直転送電極φＶ１が全画素に配置されているため、垂直転送電極８の両側の画素から読み出してはいけない箇所と、垂直転送電極８ａの両側の画素から読み出す箇所とが、図２６に示すように市松状に存在する。このため、φＶ１のうち、信号電荷を読み出さない垂直転送電極８の両側にはチャネルストップ領域７を形成して、φＶ１に読み出しパルスを印加したときに、垂直転送部５に信号電荷が読み出されないようにする。また、逆に、φＶ１のうち、信号電荷を読み出す必要のある垂直転送電極８ａの両側にはチャネルストップ領域７を設けずに、信号電荷を読み出しやすくする。なお、図が複雑になるため、例えば、第４の実施形態に係る固体撮像装置の構成図である図２４に示されているφＳｕｂに関する記載は、図２６では省いているが、第５の実施形態に係る固体撮像装置でも同様の構成である。
【００８４】
次に、図２７及び図２８（ａ）〜図２８（ｃ）を用いて、本実施形態に係る固体撮像装置の動作タイミングについて説明する。図２７は、１フレーム期間内で、横に隣接する２画素を同時に加算する駆動タイミングの一例を示しており、図２８（ａ）〜図２８（ｃ）は、電荷加算及び電荷転送のイメージを示している。
【００８５】
まず、図２７に示すように、各フレーム期間内に、赤外光照射下の信号電荷２１と、背景光のみの場合の信号電荷２２との双方の信号電荷が得られるのは、第４の実施形態に係る固体撮像装置と変わりないが、φＶ１に読み出しパルスを印加するだけで、隣接する２画素を混合しながら読み出すことが可能である点が、第４の実施形態と異なる。
【００８６】
図２７の露光期間Ｔａで示すように、赤外光を照射して信号電荷を溜めて、φＶ１に読み出しパルスを印加し、図２８（ａ）のように、市松状に信号電荷２１を読み出して撮像する。このときの光電変換部４から垂直転送部５への電荷読み出しのイメージは、図２６にも光電変換部４からの矢印で示している。その後、図２８（ｂ）で示すように、読み出した信号電荷２１を１画素分、隣接する画素まで逆転送方向（図中上方）に転送させる。
【００８７】
次に、φＳｕｂを印加し、全画素の信号電荷を排出したあと、図２７の露光期間Ｔｂで示すように、赤外光を照射せずに、背景光のみの信号電荷を光電変換部４に溜める。そして、露光期間Ｔｂの終了時に、φＶ１に読み出しパルスを印加し、図２８（ｃ）に示すように、市松状に信号電荷２２を垂直転送部５に読み出す。その際、先ほどの照射赤外光を含む信号電荷２１とは加算されないように、別パケットに読み出している。
【００８８】
その後、垂直転送部５に溜めた信号電荷を１画素分、先ほどとは逆に、順転送方向（図中下方）に１画素分転送し、再度、図２７のＴａで示す露光期間が開始する。これ以降は、図２８（ａ）〜図２８（ｃ）の流れと同じで、これを１セットとして、図２７の駆動タイミングでは、赤外光照射ＯＮ／ＯＦＦと図２８（ａ）〜図２８（ｃ）の一連の駆動を２セット繰り返したあと、転送期間Ｔｃで出力している。
【００８９】
以上、第５の実施形態に係る固体撮像装置によれば、水平方向に隣り合う２画素から、１つの共通した読み出し電極φＶ１を通じて読み出すだけで、垂直転送部５で加算することが可能となり、光電変換部４の端から読み出す必要のある、第４の実施形態に係る図２４の固体撮像装置と比べると、光電変換部４の中心付近から読み出せるような電極構造にできるため、光電変換部４から信号電荷の読み出しがしやすく、設計が容易であるとともに、読み出し可能電圧も低く抑えることが可能である。
【００９０】
ここまで、加算駆動を中心に説明したが、隣接２画素の加算駆動をせずに、１フレームあたり１回読み出しの全画素出力（全画素独立読み出し）をしたい場合は、図２６に示すように、読み出し電極を兼ねた垂直転送電極８ｂで表したφＶ２から読み出しができる設計にしておくことで、各画素の光電変換部４に溜められた信号電荷を別パケットに読み出して、全画素出力することが可能である。これにより、１つのセンサから、駆動の違いだけで、距離画像の撮像も、通常画像の撮像もいずれも可能となる。
【００９１】
別の実施形態として、図２９に示すような固体撮像装置でもよい。図２９の固体撮像装置は、図２６に示す固体撮像装置と比較して、φＶ２の垂直転送電極が、全画素から読み出せる構成ではなく、市松状に読み出せるように配置されている。これにより、隣接２画素混合時の駆動は変わりないが、全画素読み出し時は、読み出し電極８ｂで示すφＶ２で光電変換部４ｂからまず信号パケット９ｂに電荷を読み出した後、φＶ１に読み出しパルスを印加して、光電変換部４ａから信号パケット９ａに電荷を読み出す。このとき、信号パケット９ａには光電変換部４ｂからの電荷も読み出されるが、先ほどφＶ２で読み出したときから時間差が少なければ、光電変換部４ｂから読み出される信号量はごく微量であり、問題ない。図２９の構成にすることで、光電変換部４から垂直転送部５に読み出す電極は、一方向あたり１電極だけであり、図２６のような一方向あたり２電極あったものに比べて、読み出し部の設計がしやすい。
【００９２】
なお、隣接する２画素から読み出すタイミングが同時になることから、特にＴＯＦ型の測距センサで有効である。例えば、光源パルスの立ち上がり部分で距離を算出する図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法や、光源パルスの立ち下がり部分で距離を算出する図１２（ａ）及び図１２（ｂ）に示した第３のＴＯＦ法も有効である。
【００９３】
《第６の実施形態》
以下、本発明の第６の実施形態に係る固体撮像装置について、第５の実施形態と異なる点を中心に説明する。第６の実施形態に係る固体撮像装置は、第５の実施形態に係る固体撮像装置と比較して、垂直転送部の電極構成は同じであるがその駆動相数が異なり、それに起因して、垂直転送部に保持できる信号パケット数が異なっている。しかし、隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第５の実施形態に係る固体撮像装置と同様である。以下、第５の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００９４】
図３０は、第６の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第５の実施形態に係る図２６の固体撮像装置と比較して、１画素４電極は変わらないが、垂直転送部５が８相駆動になっている。８相駆動になったことにより、第５の実施形態であれば、図２６に示すように、１画素１パケット、つまり、２画素で２パケットのみ溜めることができたが、第６の実施形態に係る図３０の構成であれば、２画素で３パケット溜めることが可能になる。
【００９５】
なお、溜められる信号パケットの数が増えたが、赤外光照射画像と背景光画像とを差分処理した際に生じる、画素ずれが生じないことは第５の実施形態と変わらない。また、解像度を上げられる点や、全画素の信号を利用することができる点も、第５の実施形態と同様である。
【００９６】
次に、図３１及び図３２（ａ）〜図３２（ｃ）を用いて、本実施形態に係る固体撮像装置の動作タイミングについて説明する。図３１は、１フレーム期間内で、横に隣接する２画素を同時に加算する駆動タイミングの一例を示しており、図３２（ａ）〜図３２（ｃ）は、電荷加算及び電荷転送のイメージを示している。
【００９７】
まず、図３１に示すように、各フレーム期間内に、赤外光を照射して被写体からの反射光を含む信号電荷３１と、先ほどとは異なるタイミングで赤外光を照射して被写体からの反射光を含む信号電荷３２と、背景光のみを含む信号電荷３３との３種類の信号電荷が得られる点が異なる。
【００９８】
図３１の露光期間Ｔａで示すように、赤外光を照射して信号電荷を溜めて、φＶ１及びφＶ５に読み出しパルスを印加し、図３２（ａ）のように、市松状に信号電荷３１を読み出す。このときの光電変換部４から垂直転送部５への電荷読み出しのイメージは、図３０にも光電変換部４からの矢印で示している。その後、図３２（ｂ）で示すように、読み出した信号電荷３１を、逆転送方向（図中上方）に転送させるが、これまでの実施形態と異なり、１画素分は転送させず、１〜２電極分のみ転送させる。
【００９９】
次に、図３１の露光期間Ｔｂで示すように、露光期間Ｔａとは異なるタイミングで赤外光を照射し、光電変換部４に溜まった電荷は、図３２（ｂ）で示すように、信号電荷３１とは混合しないように、垂直転送部５に信号電荷３２として読み出す。
【０１００】
更に、先ほどと同様に、２〜３電極分信号を転送させて、図３１の露光期間Ｔｄで示すように、赤外光を照射せずに背景光による信号電荷だけを光電変換部４に溜めて、図３２（ｃ）に示すように、信号電荷３１及び信号電荷３２とは加算されないように、垂直転送部５の別パケットに信号電荷３３として読み出す。
【０１０１】
その後、垂直転送部５に溜めた信号電荷を１画素分、先ほどとは逆に順転送方向（図中下方）に１画素分転送し、また、図３１のＴａで示す露光期間が開始する。これ以降は、図３２（ａ）〜図３２（ｃ）の流れと同じで、これを１セットとすると、図３１の駆動タイミングでは、赤外光照射のＯＮ／ＯＦＦや一連の駆動を２セット繰り返したあと、転送期間Ｔｃで出力している。
【０１０２】
第６の実施形態の固体撮像装置によれば、第５の実施形態の固体撮像装置と同じ構成の電極にも関わらず、駆動相数を変えるだけで、垂直転送部５に溜められる信号パケットの種類を増やすことが可能になる。駆動相数を変えるには、画素部の周辺に配置されているバスライン配線から垂直転送電極への接続の仕方を変えるだけで可能であり、画素部のレイアウトを変更する必要は無く、設計変更も容易である。
【０１０３】
本実施形態の固体撮像装置は、３つの異なる信号電荷が溜められるので、図１４（ａ）及び図１４（ｂ）に示した、背景光成分ＢＧの除去を実行する第４のＴＯＦ法に適した固体撮像装置であって、測定距離精度の向上が可能となる。ただし、光源パルスの立ち上がり部分で距離を算出する図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法や、光源パルスの立ち下がり部分で距離を算出する図１２（ａ）及び図１２（ｂ）に示した第３のＴＯＦ法にも有効である。
【０１０４】
また、第５の実施形態と同じく、φＶ２を用いることで全画素読み出しも可能である。これにより、１つのセンサから、駆動の違いだけで、距離画像の撮像も、通常画像の撮像もいずれも可能となる。
【０１０５】
図３０の実施形態の別の形態として、第５の実施形態の場合の図２９のような、φＶ２から読み出す画素を市松状に配置して、読み出し部の設計をしやすくしてもよい。
【０１０６】
以上、本発明の第１〜第６の実施形態を説明したが、本発明は、これら実施形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施形態に施したものや、異なる実施形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１０７】
例えば、上記の第１〜第５の実施形態では、垂直転送部は４相駆動であった。しかし、３相駆動や５相駆動でも同じ効果を得ることが可能である。また、上記の第６の実施形態では、垂直転送部は８相駆動であったが、例えば１０相駆動でも同じ効果を得ることが可能である。
【０１０８】
上記第１〜第６の実施形態に係る固体撮像装置を前述のステレオ方式、パターン照射型、又はＴＯＦ型の測距カメラに利用することにより、従来の固体撮像装置を使うときに比べて、感度や画素使用率が高いことで、赤外光照射パワーを下げたり、あるいは、露光時間を短くしたりすることができ、システム全体の低消費電力化が可能となる。
【産業上の利用可能性】
【０１０９】
本発明は、高精度の距離画像を効率良く得ることができるので、特に測距カメラ等の撮像装置に利用することができる。
【符号の説明】
【０１１０】
４，４ａ，４ｂ  光電変換部
５  垂直転送部
７  画素分離部（チャネルストップ領域）
８  垂直転送電極
８ａ，８ｂ  読み出し電極を兼ねる垂直転送電極
９，９ａ，９ｂ  信号パケット
１０  水平転送部
１１  電荷検出部
１２  縦型オーバーフロードレイン（ＶＯＤ）
２１  第１の信号電荷（赤外光＋背景光）
２２  第２の信号電荷（背景光）
３１  第１の信号電荷（反射光１＋背景光）
３２  第２の信号電荷（反射光２＋背景光）
３３  第３の信号電荷（背景光）
１００  撮影対象空間
１０１  被写体
１０２  背景光照明
１０３  赤外光源
１０４  レンズ
１０５  光学フィルタ
１０６  固体撮像装置
１１０，１４０  撮影対象空間
１１１，１４１，１６０  被写体
１２０，１３０，１５０，１７０  カメラ
１２１，１３１，１５１  レンズ
１２２，１３２，１５２  固体撮像装置
１２５，１３５，１５５，１７５  赤外光源
【図１】
2014002415.tif 000003
【図２】
2014002415.tif 000004
【図３】
2014002415.tif 000005
【図４】
2014002415.tif 000006
【図５】
2014002415.tif 000007
【図６】
2014002415.tif 000008
【図７】
2014002415.tif 000009
【図８】
2014002415.tif 000010
【図９】
2014002415.tif 000011
【図１０】
2014002415.tif 000012
【図１１】
2014002415.tif 000013
【図１２】
2014002415.tif 000014
【図１３】
2014002415.tif 000015
【図１４】
2014002415.tif 000016
【図１５】
2014002415.tif 000017
【図１６】
2014002415.tif 000018
【図１７】
2014002415.tif 000019
【図１８】
2014002415.tif 000020
【図１９】
2014002415.tif 000021
【図２０】
2014002415.tif 000022
【図２１】
2014002415.tif 000023
【図２２】
2014002415.tif 000024
【図２３】
2014002415.tif 000025
【図２４】
2014002415.tif 000026
【図２５】
2014002415.tif 000027
【図２６】
2014002415.tif 000028
【図２７】
2014002415.tif 000029
【図２８】
2014002415.tif 000030
【図２９】
2014002415.tif 000031
【図３０】
2014002415.tif 000032
【図３１】
2014002415.tif 000033
【図３２】
2014002415.tif 000034
【手続補正書】
【提出日】平成26年9月4日(2014.9.4)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入射した光を電気信号に変換して映像信号として出力する撮像装置に関するものである。
【背景技術】
【０００２】
特許文献１には、赤外光を利用して被写体までの距離を測定する機能を持つ測距カメラが開示されている。一般に、測距カメラに用いられる固体撮像装置は、測距センサと呼ばれる。特に、例えばゲーム機に搭載され、被写体である人物の体の動きや手の動きを検出するカメラは、モーションカメラとも呼ばれる。
【０００３】
特許文献２には、全画素同時読み出しを可能とする垂直転送電極構造を持つ固体撮像装置が開示されている。具体的には、フォトダイオード（ＰＤ）の各列の隣に垂直方向に延びる垂直転送部が設けられたＣＣＤ（Charge Coupled Device）イメージセンサである。垂直転送部は、各フォトダイオードに対応して、４つの垂直転送電極を備えており、そのうち少なくとも１つの垂直転送電極がフォトダイオードから垂直転送部に信号電荷を読み出す読み出し電極を兼ねている。また、フォトダイオードの全画素の信号電荷を掃き捨てるための縦型オーバーフロードレイン（ＶＯＤ）が備えられている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００９−１７４８５４号公報
【特許文献２】特開２０００−２３６４８６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献２の固体撮像装置を測距センサとして使用する場面を想定する。まず、赤外光を照射して撮像する。この際、赤外光を照射して得た信号電荷を、奇数番号の行に位置するフォトダイオードから垂直転送部に読み出す。偶数番号の行に位置するフォトダイオードに溜まった信号電荷は、基板に掃き捨てられる。次に、赤外光を照射せずに撮像する。この際、垂直転送部中の信号電荷はその位置を保持させつつ、赤外光を照射せずに得た信号電荷を、偶数番号の行に位置するフォトダイオードから垂直転送部に読み出す。奇数番号の行に位置するフォトダイオードに溜まった信号電荷は、基板に掃き捨てられる。その後、垂直転送部に溜められた信号電荷を順次転送して出力する。赤外光を照射して得た信号電荷から、赤外光を照射せずに得た信号電荷を減算すれば、背景光中の赤外光成分による影響を排除した距離画像を得ることができる。
【０００６】
しかしながら、この場合には、以下のような課題が生じる。まず、赤外光を照射して得た信号電荷から、赤外光を照射せずに得た信号電荷を減算する際に、両信号電荷間で１画素分の空間的なずれが生じている。この減算により、減算する方向の解像度が半分に低下してしまう。また、掃き捨てにより信号電荷の利用率が５０％になり、感度が低下する。そのうえ、赤外光を照射して得た信号電荷と、赤外光を照射せずに得た信号電荷との間に露光タイミングのずれがあるため、特に動きの速い被写体の場合に距離測定結果に誤差が生じやすい。
【０００７】
本発明の目的は、高精度の距離画像を効率良く得るための撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一態様に係る撮像装置は、被写体へ赤外光を照射する赤外光源と、第１の画素と当該第１の画素に隣接する第２の画素が行列上に配置された固体撮像装置と、を備えた撮像装置であって、前記固体撮像装置は、前記被写体からの入射光を信号電荷に変換する光電変換部と、当該光電変換部から前記信号電荷を読み出す読み出し電極と、複数の電極で構成され、全画素読み出しを行い、かつ列方向の上下２方向に前記信号電荷を転送する垂直転送部と、を備え、さらに、前記固体撮像装置は、１フレーム走査期間に第１の露光期間と第２の露光期間を繰り返し、前記第１の露光期間は、前記第１の画素からの前記信号電荷と、前記第１の画素に隣接する前記第２の画素からの前記信号電荷と、を前記垂直転送部上で加算して第１の信号電荷を作り、前記第２の露光期間は、前記第１の画素からの前記信号電荷と、前記第１の画素に隣接する前記第２の画素からの前記信号電荷と、を前記垂直転送部上で前記第１の信号電荷と加算しないように転送させて、別のパケットで加算して第２の信号電荷を作るものである。
【０００９】
本態様によれば、隣接する２つの画素からの信号電荷を加算することによって、同じ２つの画素から赤外光を照射した信号電荷と、背景光中の赤外光成分のみの信号電荷とを読み出すことができるため、画素ずれを生じずに、２つの信号電荷の減算が可能になる。また、毎回の露光期間で全ての画素から信号電荷を読み出すため、信号電荷の利用率が１００％になる。更に、１フレーム期間内に複数回読み出すため、２つの信号電荷の時間差が減り、動きのある被写体を撮像することが可能となる。
【発明の効果】
【００１０】
本発明によれば、赤外光照射による距離画像の撮像を、駆動方法を変えることで、高画質かつ高精度でありながら、システム全体の電力と発熱とが抑えられる撮像装置を実現できる。
【図面の簡単な説明】
【００１１】
【図１】本発明に係る固体撮像装置を備えた測距カメラの概略構成を示す図である。
【図２】ステレオ方式の測距カメラの測距方法を説明する図である。
【図３】ステレオ方式の測距カメラの動作原理を説明する図である。
【図４】パターン照射型の測距カメラの測距方法を説明する図である。
【図５】（ａ）及び（ｂ）は、パターン照射型の測距カメラの動作原理を説明する図である。
【図６】ＴＯＦ型の測距カメラの測距方法を説明する図である。
【図７】ＴＯＦ型の測距カメラにおける第１のタイミング図である。
【図８】（ａ）及び（ｂ）は、図７のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。
【図９】ＴＯＦ型の測距カメラにおける第２のタイミング図である。
【図１０】（ａ）及び（ｂ）は、図９のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。
【図１１】ＴＯＦ型の測距カメラにおける第３のタイミング図である。
【図１２】（ａ）及び（ｂ）は、図１１のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。
【図１３】ＴＯＦ型の測距カメラにおける第４のタイミング図である。
【図１４】（ａ）及び（ｂ）は、図１３のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。
【図１５】本発明の第１の実施形態に係る固体撮像装置の構成図である。
【図１６】図１５の固体撮像装置の駆動タイミング図である。
【図１７】（ａ）、（ｂ）、（ｃ）及び（ｄ）は、図１５の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図１８】本発明の第２の実施形態に係る固体撮像装置の構成図である。
【図１９】図１８の固体撮像装置の駆動タイミング図である。
【図２０】（ａ）及び（ｂ）は、図１８の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図２１】（ａ）及び（ｂ）は、図１８の固体撮像装置の変形例における１フレーム期間内の信号電荷の流れを示す概念図である。
【図２２】本発明の第３の実施形態に係る固体撮像装置の構成図である。
【図２３】（ａ）、（ｂ）、（ｃ）及び（ｄ）は、図２２の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図２４】本発明の第４の実施形態に係る固体撮像装置の構成図である。
【図２５】（ａ）及び（ｂ）は、図２４の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図２６】本発明の第５の実施形態に係る固体撮像装置の構成図である。
【図２７】図２６の固体撮像装置の駆動タイミング図である。
【図２８】（ａ）、（ｂ）及び（ｃ）は、図２６の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【図２９】図２６の固体撮像装置の変形例を示す構成図である。
【図３０】本発明の第６の実施形態に係る固体撮像装置の構成図である。
【図３１】図３０の固体撮像装置の駆動タイミング図である。
【図３２】（ａ）、（ｂ）及び（ｃ）は、図３０の固体撮像装置の１フレーム期間内の信号電荷の流れを示す概念図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を参照して説明する。なお、添付の図面を用いて説明を行うが、これは例示を目的としており、本発明がこれらに限定されることを意図しない。図面において実質的に同一の構成、動作及び効果を表す要素については、同一の符号を付す。
【００１３】
図１は、本発明に係る固体撮像装置を備えた測距カメラの概略構成を示す図である。図１に示すように、撮影対象空間１００にて被写体１０１に背景光照明１０２のもと、波長８５０ｎｍの赤外レーザー光が赤外光源１０３から照射される。その反射光を光学レンズ１０４と、８５０ｎｍ近傍の近赤外波長領域を透過する光学フィルタ１０５とを介して、固体撮像装置１０６で受け、固体撮像装置１０６に結像された画像を電気信号に変換する。赤外光源１０３と、光学レンズ１０４と、光学フィルタ１０５と、例えばＣＣＤイメージセンサである固体撮像装置１０６とが、測距カメラを構成する。
【００１４】
測距カメラにはいくつかの種類があるが、ステレオ方式、パターン照射型、ＴＯＦ（Time Of Flight）型等のいずれでもよい。
【００１５】
図２は、ステレオ方式の測距カメラの測距方法を説明する図である。撮影対象空間１１０における被写体１１１に対して、１組のカメラ１２０及び赤外光源１２５と、他の１組のカメラ１３０及び赤外光源１３５とが配置される。両カメラ１２０，１３０の各々の光軸間の距離を２Ｌとする。Ｌは基線長と呼ばれる。
【００１６】
図３は、ステレオ方式の測距カメラの動作原理を説明する図である。赤外光源１２５，１３５は、各々被写体１１１に対して赤外光を照射する。一方のカメラ１２０は、レンズ１２１と固体撮像装置１２２とを有し、中心からｎ１画素だけ離れた位置に赤外光スポットが結像する。他方のカメラ１３０は、レンズ１３１と固体撮像装置１３２とを有し、中心からｎ２画素だけ離れた位置に赤外光スポットが結像する。これらの結果をもとに、被写体１１１までの距離ｚを三角測量法により求める。
【００１７】
図４は、パターン照射型の測距カメラの測距方法を説明する図である。撮影対象空間１４０における被写体１４１に対して、１組のカメラ１５０及び赤外光源１５５が配置される。赤外光源１５５は、赤外光を特定パターンで被写体１４１を含む撮影対象空間１４０に照射する。ここでも、基線長をＬとする。
【００１８】
図５（ａ）及び図５（ｂ）は、パターン照射型の測距カメラの動作原理を説明する図である。カメラ１５０は、レンズ１５１と固体撮像装置１５２とを有し、各照射パターンの位置ずれ量（ｚ１とｚ２との差）によって被写体１４１までの距離を求める。
【００１９】
図６は、ＴＯＦ型の測距カメラの測距方法を説明する図である。ここでも、被写体１６０に対して、１組のカメラ１７０及び赤外光源１７５が配置される。赤外光源１７５は、距離ｚだけ離れた位置の被写体１６０にパルス状の照射光を与える。被写体１６０に当たった赤外光は、反射する。カメラ１７０は、その反射光を受ける。
【００２０】
図７は、ＴＯＦ型の測距カメラにおける第１のタイミング図である。照射光のパルス幅をＴｐとし、照射光と反射光との間の遅延をΔｔとする。
【００２１】
図８（ａ）及び図８（ｂ）は、図７のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。以下、第１のＴＯＦ法という。図８（ａ）に示すように、カメラ１７０で得られる第１信号の大きさは、照射光パルスの立ち上がり時刻から始まる第１露光期間における反射光に基づく信号電荷の量ＩＲ１である。一方、図８（ｂ）に示すように、カメラ１７０で得られる第２信号の大きさは、照射光パルスの立ち下がり時刻から始まる第２露光期間における反射光に基づく信号電荷の量ＩＲ２である。ここでは、第１及び第２露光期間の長さを照射光のパルス幅Ｔｐよりも広く取っている。被写体１６０までの距離をｚとし、光速をｃとするとき、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×（ＩＲ２／ＩＲ１）
となる。
【００２２】
図９は、ＴＯＦ型の測距カメラにおける第２のタイミング図である。ここでは、照射光のパルス幅が時間Ｔｐよりも長いものとする。
【００２３】
図１０（ａ）及び図１０（ｂ）は、図９のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。以下、第２のＴＯＦ法という。図１０（ａ）に示すように、カメラ１７０で得られる第１信号の大きさは、反射光パルスの立ち上がり時刻よりも後から始まる第１露光期間（長さＴｐ）における反射光に基づく信号電荷の量ＩＲ１である。一方、図１０（ｂ）に示すように、カメラ１７０で得られる第２信号の大きさは、照射光パルスの立ち上がり時刻から始まる第２露光期間（長さＴｐ）における反射光に基づく信号電荷の量ＩＲ２である。この場合には、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×｛（ＩＲ１−ＩＲ２）／ＩＲ１｝
となる。
【００２４】
図１１は、ＴＯＦ型の測距カメラにおける第３のタイミング図である。ここでも、照射光のパルス幅が時間Ｔｐよりも長いものとする。
【００２５】
図１２（ａ）及び図１２（ｂ）は、図１１のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。以下、第３のＴＯＦ法という。図１２（ａ）に示すように、カメラ１７０で得られる第１信号の大きさは、照射光パルスの立ち下がり時刻に終了する第１露光期間（長さＴｐ）における反射光に基づく信号電荷の量ＩＲ１である。一方、図１２（ｂ）に示すように、カメラ１７０で得られる第２信号の大きさは、照射光パルスの立ち下がり時刻から始まる第２露光期間（長さＴｐ）における反射光に基づく信号電荷の量ＩＲ２である。この場合には、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×（ＩＲ２／ＩＲ１）
となる。
【００２６】
図８（ａ）及び図８（ｂ）に示した第１のＴＯＦ法であれば、赤外光源１７５の照射光パルスの立ち上がり速度、立ち下がり速度、半値幅、赤外光ＯＮ時の安定性の全てを制御しなければ、距離ｚの測定誤差に繋がる。これに対して、図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法や、図１２（ａ）及び図１２（ｂ）に示した第３のＴＯＦ法であれば、その全ては制御しなくてもよいため、システムの構築の容易性が増す。例えば、図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法であれば、第１露光期間では赤外光ＯＮ時の安定性だけが寄与するし、第２露光期間であればパルスの立ち上がり速度が寄与する。したがって、例えばパルスの立ち下がり速度は多少遅くても、距離ｚの算出に影響しない。このように、照射光パルスの立ち上がり部分のみを利用する第２のＴＯＦ法や、照射光パルスの立ち下がり部分のみを利用する第３のＴＯＦ法は、第１のＴＯＦ法に比べて利点がある。
【００２７】
図１３は、ＴＯＦ型の測距カメラにおける第４のタイミング図である。照射光のパルス幅をＴｐとし、照射光と反射光との間の遅延をΔｔとし、反射光に含まれる背景光成分をＢＧとする。
【００２８】
図１４（ａ）及び図１４（ｂ）は、図１３のタイミング図に基づくＴＯＦ型の測距カメラの動作原理を説明する図である。以下、第４のＴＯＦ法という。反射光には背景光成分ＢＧが含まれているため、距離ｚの計算をする上で、背景光成分ＢＧの除去が望ましい。そこで、３つの異なる信号電荷が溜められる固体撮像装置を用いることとする。
【００２９】
まず、図１４（ａ）に示すように、照射光パルスの立ち上がり時刻から始まる第１露光期間における反射光に基づく信号電荷の量はＳ０＋ＢＧである。また、赤外光を照射しない第３露光期間における背景光のみに基づく信号電荷の量はＢＧである。したがって、両者の差を取ることにより、カメラ１７０で得られる第１信号の大きさはＳ０となる。一方、図１４（ｂ）に示すように、照射光パルスの立ち下がり時刻から始まる第２露光期間における反射光に基づく信号電荷の量はＳ１＋ＢＧである。また、赤外光を照射しない第３露光期間における背景光のみに基づく信号電荷の量はＢＧである。したがって、両者の差を取ることにより、カメラ１７０で得られる第２信号の大きさはＳ１となる。更に、被写体１６０までの距離をｚとし、光速をｃとするとき、
ｚ＝ｃ×Δｔ／２
＝（ｃ×Ｔｐ／２）×（Δｔ／Ｔｐ）
＝（ｃ×Ｔｐ／２）×（Ｓ１／Ｓ０）
となる。
【００３０】
以上の測距カメラに好適に利用される固体撮像装置の第１〜第６の実施形態について、以下順次説明する。
【００３１】
《第１の実施形態》
図１５は、本発明の第１の実施形態に係る固体撮像装置の構成図である。ここでは、図面の簡略化のために、垂直方向に４画素分、水平方向に４画素分のみ示している。
【００３２】
この固体撮像装置は、半導体基板に行列状に配置され、入射光を信号電荷に変換する複数の光電変換部（フォトダイオード）４と、光電変換部４に対応して設けられ、光電変換部４から読み出された信号電荷を列方向（垂直方向）に転送する垂直転送部５と、垂直転送部５によって転送された信号電荷を行方向（水平方向）に転送する水平転送部１０と、水平転送部１０によって転送された信号電荷を出力する電荷検出部１１と、行毎に読み出すことが可能なように、光電変換部４のそれぞれに対応して設けられた第１の読み出し電極８ａ及び第２の読み出し電極８ｂとを備える。
【００３３】
ここで、固体撮像装置は、全画素読み出し（プログレッシブスキャン）対応のインターライントランスファー方式のＣＣＤであり、例えば、垂直転送部５は、１画素あたり垂直転送電極８が４ゲートある４相駆動であり、水平転送部１０は２相駆動である。光電変換部４からの信号電荷の読み出し電極は、４相駆動の垂直転送部５の、垂直転送電極８ａ及び８ｂが兼用した構成になっている。光電変換部４に溜まった信号電荷は、例えば、信号パケット９で表される電極に読み出され、転送される。
【００３４】
また、各画素には、全画素の信号電荷を掃き捨てるためのＶＯＤ１２が備えられている。ただし、本発明の理解を容易とするため、ＶＯＤ１２は画素の面横方向に記載しているが、実際には画素のバルク方向（半導体基板の深さ方向）に構成されている。ＶＯＤ１２の基板に接続されているＳｕｂ端子に高電圧が印加されると全画素の信号電荷は一括して基板に排出される構成となっている。
【００３５】
次に、図１６及び図１７（ａ）〜図１７（ｄ）を用いて、図１５の固体撮像装置の動作タイミングについて説明する。図１６は、１フレーム期間内で、縦に隣接する２画素を垂直転送して加算する駆動タイミングの一例を示しており、図１７（ａ）〜図１７（ｄ）は、電荷加算及び電荷転送のイメージを示している。
【００３６】
まず、図１６に示すように、垂直同期パルスＶＤは毎秒６０フレーム（６０ｆｐｓ）であり、各フレーム期間内に、赤外光照射下の信号電荷２１と、背景光のみの場合の信号電荷２２との双方の信号電荷が得られる。図１６では、説明を簡単にするため、赤外光を照射した撮像と、背景光のみの撮像とを１フレームあたり２回ずつ行っている。
【００３７】
各フレームの初めに、基板排出パルス（φＳｕｂ）を印加し、全画素の信号電荷を排出する。φＳｕｂ印加終了により、１回目の赤外光照射露光期間Ｔａが開始され、同時に赤外光が照射される。背景光は点灯継続しているため被写体からの反射光は、照射した赤外光と背景光との双方を含んでいる。
【００３８】
ここで、φＶ１Ａに読み出しパルスを印加し、信号電荷２１を垂直転送部５に読み出し、１回目の露光期間Ｔａが終了する。同時に赤外光の照射も停止する。このときの光電変換部４から垂直転送部５への電荷読み出しのイメージは、図１５にも光電変換部４からの矢印で示している。
【００３９】
なお、本実施形態では、赤外光照射期間と露光期間Ｔａとを合致させているが、赤外光照射期間が背景光露光期間Ｔｂを含まなければ、特に問題は生じない。
【００４０】
その後、図１７（ａ）〜図１７（ｂ）で示すように、読み出した信号電荷２１を１画素分、隣接する画素まで順転送方向（図中下方）に転送させる。そして、φＶ１Ｂに読み出しパルスを印加し、垂直転送部５に信号電荷を読み出すが、その際、既にφＶ１Ａから読み出していた信号電荷と加算する。加算した信号電荷２１は、１画素分、先ほどと反対に、逆転送方向（図中上方）へ垂直転送する。
【００４１】
次に、φＳｕｂを印加し、全画素の信号電荷を排出したあと、図１６の露光期間Ｔｂで示すように、赤外光を照射せずに、赤外光源以外から発する赤外光成分、つまり背景光のみの信号電荷を光電変換部４に溜める。
【００４２】
そして、露光期間Ｔｂ終了時に、φＶ１Ｂに読み出しパルスを印加し、図１７（ｃ）に示すように、光電変換部４に溜まった背景光成分の信号電荷２２を垂直転送部５に読み出す。その際、先ほどの照射赤外光を含む信号電荷２１とは加算されないように、別パケットに読み出す。
【００４３】
その後、図１７（ｄ）に示すように、１画素分逆方向に垂直転送して、φＶ１Ａに読み出しパルスを印加することで、隣接する縦２画素の信号を加算する。このときの加算する画素の組み合わせは、先ほどの信号電荷２１を加算したときと同じ２画素である。
【００４４】
加算した後に、１画素分順方向に垂直転送して、信号電荷２１及び信号電荷２２を元の図１７（ａ）と同じ位置に戻す。なお、図１７（ａ）には、信号電荷２２が示されていないが、図１７（ｄ）に示すように、信号電荷２１に挟まれた空きパケットが信号電荷２２の位置に相当する。
【００４５】
これら赤外光照射ＯＮ／ＯＦＦと図１７（ａ）〜図１７（ｄ）の一連の駆動とを１セットとして、図１６に示す駆動タイミングでは、１フレーム期間内に２セット行ったあと、転送期間Ｔｃで出力している。
【００４６】
以上、第１の実施形態に係る固体撮像装置によれば、垂直方向に隣り合う２つの画素から、赤外光を照射して得た信号電荷２１と背景光のみの信号電荷２２との２種類の信号を得ることが可能となり、２つの信号間での画素ずれが無くなる。これにより、２つの信号を使って背景光を減算した際に、同じアドレスから得た信号同士で減算するため、正確に距離画像を取得することが可能になる。しかも、画素部の設計が容易である。
【００４７】
更に、本実施形態の固体撮像装置であれば、全てのフォトダイオードに溜まった信号電荷を隣接加算することで利用するため、基板に掃き捨てる信号電荷が無くなり、利用率を１００％にすることができる。また、感度が実質的に倍になることから、同じ赤外光の信号量が必要であるならば、照射する赤外光源の出力を下げる、あるいは、露光期間を短くすることも可能になる。つまり、低消費電力化に有効である。
【００４８】
また、１フレーム期間内で２回、赤外光を照射した信号電荷２１と、背景光のみの信号電荷２２とを読み出す駆動を繰り返すため、実質的に、２つの信号間の時間差が短くなり、動きの速い被写体を撮像して、２つの信号を使って背景光を減算したときにも、誤差が生じにくい。
【００４９】
なお、信号電荷の転送期間Ｔｃにて出力される信号の並びは従来と同じであり、信号処理系は既存システムを使うことができるため、第１の実施形態の固体撮像装置は、従来の固体撮像装置から置き換えて、容易に取り扱うことができる。すなわち、既存システムとの親和性が高い。
【００５０】
これにより、赤外線照射も含めたシステム全体の電力と発熱とを抑えながら、より高精度なモーションセンサとして使用可能な固体撮像装置を実現できる。なお、１フレーム期間内の赤外光照射ＯＮ／ＯＦＦの繰り返しは、図１７（ａ）〜図１７（ｄ）では簡単のため２回となっているが、この回数が多ければ多いほど、動きの速い被写体には有効である。
【００５１】
また、これまで隣接２画素の加算駆動を中心に説明したが、加算せずに、一般的な駆動で全画素出力することで、距離画像でない、通常画像の撮像も可能である。
【００５２】
なお、第１の実施形態に係る固体撮像装置は、主にステレオ方式やパターン照射型の測距センサとして使われる。
【００５３】
《第２の実施形態》
以下、本発明の第２の実施形態に係る固体撮像装置について、第１の実施形態と異なる点を中心に説明する。第２の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、隣接する２つの画素から信号電荷を読み出す方法が異なり、更にそれに起因して、垂直転送部の構成が異なっている。しかし、垂直方向に隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００５４】
図１８は、第２の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第１の実施形態に係る図１５の固体撮像装置と比較して、光電変換部４に対応して設けられた垂直転送部５へ、光電変換部４から信号電荷を読み出す電極が異なっており、第１の実施形態に係る図１５の固体撮像装置に比べると、隣接する２画素の読み出し電極が近づいている。図１５では、垂直転送電極中に４つおきに読み出し電極が配置されていたが、本実施形態に係る図１８の固体撮像装置では、光電変換部４からの信号電荷の読み出し電極は、φＶ１及びφＶ３といったように、２電極離れたところに、２つの読み出し電極８ａ及び８ｂを配置した構成になっている。
【００５５】
次に、図１９、図２０（ａ）及び図２０（ｂ）を用いて、本実施形態に係る固体撮像装置の動作タイミングについて説明する。図１９は、１フレーム期間内で、縦に隣接する２画素を加算する駆動タイミングの一例を示しており、第１の実施形態の図１６と比較して、φＶ１及びφＶ３は同時に印加される点が異なる。
【００５６】
図２０（ａ）及び図２０（ｂ）に示すように、赤外光を照射した露光期間の信号をφＶ１及びφＶ３に同時に読み出しパルスを印加することで、垂直転送部５に信号電荷２１として読み出し、読み出すと同時に２画素の信号を１つの信号パケット中で加算する。この構成により、第１の実施形態と比較すると、２画素の信号を加算するために、１画素分垂直転送していた駆動が不要となる。このときの光電変換部４から垂直転送部５への電荷読み出しのイメージは、図１８にも光電変換部４からの矢印で示している。
【００５７】
加算した信号電荷２１は、１画素分、逆転送方向（図中上方）に垂直転送して、φＳｕｂで全画素の信号電荷を排出した後、露光期間Ｔｂで溜めた信号電荷２２を、先ほどと同じくφＶ１及びφＶ３に同時に読み出しパルスを印加することで、垂直転送部５の別パケットに読み出し、加算した信号電荷２２が得られる。
【００５８】
その後、１画素分順方向に垂直転送して、信号電荷２１及び信号電荷２２を元の図２０（ａ）と同じ位置に戻す。なお、図２０（ａ）には、信号電荷２２が示されていないが、図２０（ｂ）に示すように、信号電荷２１に挟まれた空きパケットが信号電荷２２の位置に相当する。
【００５９】
これら赤外光照射ＯＮ／ＯＦＦと図２０（ａ）〜図２０（ｂ）の一連の駆動とを１セットとして、図１９に示す駆動タイミングでは、１フレーム期間内に２セット行ったあと、出力している。
【００６０】
以上、第２の実施形態に係る固体撮像装置によれば、隣接する２画素から読み出すタイミングが同時になることから、駆動タイミングの設計が容易になることに加えて、より正しく距離を計算することが可能となる。また、ＴＯＦ型の測距センサ等、加算する２つの信号間で、時間差が生じると距離の誤判定に繋がる測距方式でも、使用することが可能になる。
【００６１】
また、出力される信号順については第１の実施形態で示されたものと同じであり、信号処理系は既存システムを使うことができるため、本実施形態の固体撮像装置も、第１の実施形態と同様に、従来の固体撮像装置から置き換えて、容易に取り扱うことができる。
【００６２】
更に、加算駆動をせずに、１フレームあたり１回読み出しの全画素出力（全画素独立読み出し）をしたい場合は、図１８に示す、φＶ２をＬＯＷレベルにしながらφＶ１及びφＶ３から同時に読み出すことで、各画素の光電変換部４に溜められた信号電荷を別パケットに読み出して、全画素出力することが可能である。これにより、１つのセンサから、駆動の違いだけで、距離画像の撮像も、通常画像の撮像もいずれも可能となる。
【００６３】
なお、図２１（ａ）及び図２１（ｂ）に示すように、水平方向に隣接する２画素を加算することも有効である。この方法だと、水平方向に隣り合う２画素から、１つの共通した読み出し電極φＶ１Ａ又はφＶ１Ｂを通じて読み出すだけで、垂直転送部５で加算することが可能となり、光電変換部４の端から読み出す必要のある、図１８の固体撮像装置と比べると、光電変換部４から読み出しがしやすく、設計が容易であるとともに、より光電変換部４の中心近くに読み出し電極を配置することが可能のため、読み出し可能電圧も低く設定することができる。
【００６４】
《第３の実施形態》
以下、本発明の第３の実施形態に係る固体撮像装置について、第１の実施形態と異なる点を中心に説明する。第３の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、読み出し電極φＶ１Ａ，φＶ１Ｂの配置が、列毎に１画素分ずれており、市松状になっている点が異なる。しかし、垂直方向に隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００６５】
図２２は、第３の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第１の実施形態に係る図１５の固体撮像装置と比較して、光電変換部４に対応して設けられた垂直転送部５へ、光電変換部４から信号電荷を読み出す電極が異なっており、第１の実施形態に係る図１５の固体撮像装置では、φＶ１Ａの読み出し電極を有する画素の右隣の画素は同じくφＶ１Ａの読み出し電極を有していたのに対し、第３の実施形態に係る図２２の固体撮像装置では、φＶ１Ａの読み出し電極を有する画素の右隣は、φＶ１Ｂの読み出し電極を有している画素が配置されている点が異なる。そして、そのφＶ１Ｂの読み出し電極を有する画素の右隣には、φＶ１Ａの読み出し電極を有する画素が配置されている。一行下の画素は、その逆で、一番左の画素がφＶ１Ｂの読み出し電極を有していて、その右隣の画素は、φＶ１Ａの読み出し電極を有している。このように、φＶ１Ａの読み出し電極を有する画素とφＶ１Ｂの読み出し電極を有する画素とが、それぞれ市松状に配置されている。
【００６６】
次に、図２３（ａ）〜図２３（ｄ）を用いて、図２２の固体撮像装置の動作タイミングについて説明する。なお、読み出し電極の配置が市松状になっている点が第１の実施形態と異なるだけで、駆動タイミング自体は、第１の実施形態に係る図１６と同じである。
【００６７】
図２３（ａ）〜図２３（ｄ）に示すように、赤外光を照射した露光期間に得た信号電荷２１と、赤外光を照射せずに背景光状態での露光期間に得た信号電荷２２とは、市松状に信号が出力される。なお、図２３（ａ）には、理解をしやすくするため、光電変換部４に、φＶ１Ａで読み出す画素は「Ａ」と記載し、φＶ１Ｂで読み出す画素は「Ｂ」と記載している。
【００６８】
その後は、第１の実施形態に係る図１７（ａ）〜図１７（ｄ）と同じ流れであり、図２３（ａ）〜図２３（ｄ）で示すように、赤外光を照射して得た信号電荷２１を読み出して、次に、背景光のみで得た信号電荷２２を読み出す。なお、図２３（ａ）の時点での光電変換部４から垂直転送部５への電荷読み出しのイメージは、図２２にも光電変換部４からの矢印で示している。
【００６９】
これら赤外光照射ＯＮ／ＯＦＦと図２３（ａ）〜図２３（ｄ）の一連の駆動とを１セットとして、第１の実施形態に係る、図１６に示す駆動タイミングでは、１フレーム期間内に２セット行ったあと、転送期間Ｔｃで出力している。
【００７０】
以上、第３の実施形態に係る固体撮像装置によれば、赤外光を照射して得た信号電荷から、赤外光を照射せずに得た信号電荷を減算することで、減算方向の解像度が半分に減っても、減算後の信号が市松化されていることにより、信号処理によってその解像度を補完することができるようになる。これにより、同じ画素数の従来の測距センサと比べても、より高精細な測距が可能になる。
【００７１】
なお、第１の実施形態と同様に、一般的な駆動で全画素読み出しすれば、通常の撮像も可能である。
【００７２】
《第４の実施形態》
以下、本発明の第４の実施形態に係る固体撮像装置について、第２の実施形態と異なる点を中心に説明する。第４の実施形態に係る固体撮像装置は、第２の実施形態に係る固体撮像装置と比較して、同時に加算する２画素の組み合わせが列毎に異なり、それに起因して、読み出し電極の構成が異なっている。しかし、垂直方向に隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第２の実施形態に係る固体撮像装置と同様である。以下、第２の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００７３】
図２４は、第４の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第２の実施形態に係る図１８の固体撮像装置と比較して、光電変換部４に対応して設けられた垂直転送部５へ、光電変換部４から信号電荷を読み出す電極が列毎に異なっている。例えば、図１８の固体撮像装置では、最も左下に配置された画素はφＶ３で読み出し、その右隣の画素もφＶ３で読み出していた。しかし、第４の実施形態に係る図２４の固体撮像装置では、最も左下に配置された画素はφＶ３で読み出しているのに対し、その右隣の画素はφＶ１で読み出す構成になっている。更に、その右隣の画素は、φＶ３で読み出す構成になっている。
【００７４】
第４の実施形態に係る固体撮像装置は、第２の実施形態と比べて、読み出し電極の配置が列毎に異なるのみであるため、第４の実施形態に係る固体撮像装置の駆動タイミングは、第２の実施形態に係る駆動タイミングである図１９に示す一例と同じである。
【００７５】
次に、図２５（ａ）及び図２５（ｂ）を用いて、本実施形態に係る固体撮像装置の動作タイミングについて説明する。図２５（ａ）及び図２５（ｂ）に示すように、赤外光を照射した露光期間に得た信号電荷２１と、赤外光を照射せずに背景光状態での露光期間に得た信号電荷２２とは、市松状に信号が出力される。なお、図２５（ａ）には、理解をしやすくするため、光電変換部４に、φＶ１で読み出す画素は「１」と記載し、φＶ３で読み出す画素は「３」と記載している。
【００７６】
その後、第２の実施形態に係る図２０（ａ）〜図２０（ｂ）と同じように、図２５（ａ）〜図２５（ｂ）で示すように、赤外光を照射して得た信号電荷２１を読み出して、次に、垂直転送した後、背景光のみで得た信号電荷２２を読み出す。なお、図２５（ａ）の時点での光電変換部４から垂直転送部５への電荷読み出しのイメージは、図２４にも光電変換部４からの矢印で示している。
【００７７】
これら赤外光照射ＯＮ／ＯＦＦと図２５（ａ）及び図２５（ｂ）の一連の駆動とを１セットとして、第２の実施形態に係る、図１９に示す駆動タイミングでは、１フレーム期間内に２セット行ったあと、転送期間Ｔｃで出力している。
【００７８】
以上、第４の実施形態に係る固体撮像装置によれば、赤外光を照射して得た信号電荷から、赤外光を照射せずに得た信号電荷を減算することで、減算方向の解像度が半分に減っても、減算後の信号が市松化されていることにより、信号処理によってその解像度を補完することができるようになる。これにより、同じ画素数の従来の測距センサと比べても、より高精細な測距が可能になる。
【００７９】
更に、第２の実施形態と同じく、隣接する２画素から読み出すタイミングが同時になることから、駆動タイミングの設計が容易になることに加えて、加算の同時性から特にＴＯＦ型の測距センサで有効である。例えば、光源パルスの立ち上がり部分で距離を算出する図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法や、光源パルスの立ち下がり部分で距離を算出する図１２（ａ）及び図１２（ｂ）に示した第３のＴＯＦ法も有効である。
【００８０】
なお、ここまで加算駆動を中心に説明したが、隣接２画素の加算駆動をせずに、１フレームあたり１回読み出しの全画素出力（全画素独立読み出し）をしたい場合は、第２の実施形態と同様に、φＶ２をＬＯＷレベルにしながらφＶ１及びφＶ３から同時に読み出すことで、各画素の光電変換部４に溜められた信号電荷を別パケットに読み出して、全画素出力することが可能である。これにより、１つのセンサから、駆動の違いだけで、距離画像の撮像も、通常画像の撮像もいずれも可能となる。
【００８１】
《第５の実施形態》
以下、本発明の第５の実施形態に係る固体撮像装置について、第４の実施形態と異なる点を中心に説明する。第５の実施形態に係る固体撮像装置は、第４の実施形態に係る固体撮像装置と比較して、同時に加算する２画素の組み合わせが異なり、第５の実施形態では、横方向の２画素を加算しており、それに起因して、読み出し電極の構成が異なっている。しかし、隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第４の実施形態に係る固体撮像装置と同様である。以下、第４の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００８２】
図２６は、第５の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第４の実施形態に係る図２４の固体撮像装置と比較して、光電変換部４に対応して設けられた垂直転送部５へ、光電変換部４から信号電荷を読み出す電極が、垂直転送部５を挟んで水平方向に隣り合う光電変換部４のそれぞれから同時に読み出せる構造になっている。
【００８３】
なお、垂直転送電極φＶ１が全画素に配置されているため、垂直転送電極８の両側の画素から読み出してはいけない箇所と、垂直転送電極８ａの両側の画素から読み出す箇所とが、図２６に示すように市松状に存在する。このため、φＶ１のうち、信号電荷を読み出さない垂直転送電極８の両側にはチャネルストップ領域７を形成して、φＶ１に読み出しパルスを印加したときに、垂直転送部５に信号電荷が読み出されないようにする。また、逆に、φＶ１のうち、信号電荷を読み出す必要のある垂直転送電極８ａの両側にはチャネルストップ領域７を設けずに、信号電荷を読み出しやすくする。なお、図が複雑になるため、例えば、第４の実施形態に係る固体撮像装置の構成図である図２４に示されているφＳｕｂに関する記載は、図２６では省いているが、第５の実施形態に係る固体撮像装置でも同様の構成である。
【００８４】
次に、図２７及び図２８（ａ）〜図２８（ｃ）を用いて、本実施形態に係る固体撮像装置の動作タイミングについて説明する。図２７は、１フレーム期間内で、横に隣接する２画素を同時に加算する駆動タイミングの一例を示しており、図２８（ａ）〜図２８（ｃ）は、電荷加算及び電荷転送のイメージを示している。
【００８５】
まず、図２７に示すように、各フレーム期間内に、赤外光照射下の信号電荷２１と、背景光のみの場合の信号電荷２２との双方の信号電荷が得られるのは、第４の実施形態に係る固体撮像装置と変わりないが、φＶ１に読み出しパルスを印加するだけで、隣接する２画素を混合しながら読み出すことが可能である点が、第４の実施形態と異なる。
【００８６】
図２７の露光期間Ｔａで示すように、赤外光を照射して信号電荷を溜めて、φＶ１に読み出しパルスを印加し、図２８（ａ）のように、市松状に信号電荷２１を読み出して撮像する。このときの光電変換部４から垂直転送部５への電荷読み出しのイメージは、図２６にも光電変換部４からの矢印で示している。その後、図２８（ｂ）で示すように、読み出した信号電荷２１を１画素分、隣接する画素まで逆転送方向（図中上方）に転送させる。
【００８７】
次に、φＳｕｂを印加し、全画素の信号電荷を排出したあと、図２７の露光期間Ｔｂで示すように、赤外光を照射せずに、背景光のみの信号電荷を光電変換部４に溜める。そして、露光期間Ｔｂの終了時に、φＶ１に読み出しパルスを印加し、図２８（ｃ）に示すように、市松状に信号電荷２２を垂直転送部５に読み出す。その際、先ほどの照射赤外光を含む信号電荷２１とは加算されないように、別パケットに読み出している。
【００８８】
その後、垂直転送部５に溜めた信号電荷を１画素分、先ほどとは逆に、順転送方向（図中下方）に１画素分転送し、再度、図２７のＴａで示す露光期間が開始する。これ以降は、図２８（ａ）〜図２８（ｃ）の流れと同じで、これを１セットとして、図２７の駆動タイミングでは、赤外光照射ＯＮ／ＯＦＦと図２８（ａ）〜図２８（ｃ）の一連の駆動を２セット繰り返したあと、転送期間Ｔｃで出力している。
【００８９】
以上、第５の実施形態に係る固体撮像装置によれば、水平方向に隣り合う２画素から、１つの共通した読み出し電極φＶ１を通じて読み出すだけで、垂直転送部５で加算することが可能となり、光電変換部４の端から読み出す必要のある、第４の実施形態に係る図２４の固体撮像装置と比べると、光電変換部４の中心付近から読み出せるような電極構造にできるため、光電変換部４から信号電荷の読み出しがしやすく、設計が容易であるとともに、読み出し可能電圧も低く抑えることが可能である。
【００９０】
ここまで、加算駆動を中心に説明したが、隣接２画素の加算駆動をせずに、１フレームあたり１回読み出しの全画素出力（全画素独立読み出し）をしたい場合は、図２６に示すように、読み出し電極を兼ねた垂直転送電極８ｂで表したφＶ２から読み出しができる設計にしておくことで、各画素の光電変換部４に溜められた信号電荷を別パケットに読み出して、全画素出力することが可能である。これにより、１つのセンサから、駆動の違いだけで、距離画像の撮像も、通常画像の撮像もいずれも可能となる。
【００９１】
別の実施形態として、図２９に示すような固体撮像装置でもよい。図２９の固体撮像装置は、図２６に示す固体撮像装置と比較して、φＶ２の垂直転送電極が、全画素から読み出せる構成ではなく、市松状に読み出せるように配置されている。これにより、隣接２画素混合時の駆動は変わりないが、全画素読み出し時は、読み出し電極８ｂで示すφＶ２で光電変換部４ｂからまず信号パケット９ｂに電荷を読み出した後、φＶ１に読み出しパルスを印加して、光電変換部４ａから信号パケット９ａに電荷を読み出す。このとき、信号パケット９ａには光電変換部４ｂからの電荷も読み出されるが、先ほどφＶ２で読み出したときから時間差が少なければ、光電変換部４ｂから読み出される信号量はごく微量であり、問題ない。図２９の構成にすることで、光電変換部４から垂直転送部５に読み出す電極は、一方向あたり１電極だけであり、図２６のような一方向あたり２電極あったものに比べて、読み出し部の設計がしやすい。
【００９２】
なお、隣接する２画素から読み出すタイミングが同時になることから、特にＴＯＦ型の測距センサで有効である。例えば、光源パルスの立ち上がり部分で距離を算出する図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法や、光源パルスの立ち下がり部分で距離を算出する図１２（ａ）及び図１２（ｂ）に示した第３のＴＯＦ法も有効である。
【００９３】
《第６の実施形態》
以下、本発明の第６の実施形態に係る固体撮像装置について、第５の実施形態と異なる点を中心に説明する。第６の実施形態に係る固体撮像装置は、第５の実施形態に係る固体撮像装置と比較して、垂直転送部の電極構成は同じであるがその駆動相数が異なり、それに起因して、垂直転送部に保持できる信号パケット数が異なっている。しかし、隣り合う画素同士の信号電荷を加算することができる構造を提供することを目的とする点は、第５の実施形態に係る固体撮像装置と同様である。以下、第５の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００９４】
図３０は、第６の実施形態に係る固体撮像装置の構成図である。この固体撮像装置は、第５の実施形態に係る図２６の固体撮像装置と比較して、１画素４電極は変わらないが、垂直転送部５が８相駆動になっている。８相駆動になったことにより、第５の実施形態であれば、図２６に示すように、１画素１パケット、つまり、２画素で２パケットのみ溜めることができたが、第６の実施形態に係る図３０の構成であれば、２画素で３パケット溜めることが可能になる。
【００９５】
なお、溜められる信号パケットの数が増えたが、赤外光照射画像と背景光画像とを差分処理した際に生じる、画素ずれが生じないことは第５の実施形態と変わらない。また、解像度を上げられる点や、全画素の信号を利用することができる点も、第５の実施形態と同様である。
【００９６】
次に、図３１及び図３２（ａ）〜図３２（ｃ）を用いて、本実施形態に係る固体撮像装置の動作タイミングについて説明する。図３１は、１フレーム期間内で、横に隣接する２画素を同時に加算する駆動タイミングの一例を示しており、図３２（ａ）〜図３２（ｃ）は、電荷加算及び電荷転送のイメージを示している。
【００９７】
まず、図３１に示すように、各フレーム期間内に、赤外光を照射して被写体からの反射光を含む信号電荷３１と、先ほどとは異なるタイミングで赤外光を照射して被写体からの反射光を含む信号電荷３２と、背景光のみを含む信号電荷３３との３種類の信号電荷が得られる点が異なる。
【００９８】
図３１の露光期間Ｔａで示すように、赤外光を照射して信号電荷を溜めて、φＶ１及びφＶ５に読み出しパルスを印加し、図３２（ａ）のように、市松状に信号電荷３１を読み出す。このときの光電変換部４から垂直転送部５への電荷読み出しのイメージは、図３０にも光電変換部４からの矢印で示している。その後、図３２（ｂ）で示すように、読み出した信号電荷３１を、逆転送方向（図中上方）に転送させるが、これまでの実施形態と異なり、１画素分は転送させず、１〜２電極分のみ転送させる。
【００９９】
次に、図３１の露光期間Ｔｂで示すように、露光期間Ｔａとは異なるタイミングで赤外光を照射し、光電変換部４に溜まった電荷は、図３２（ｂ）で示すように、信号電荷３１とは混合しないように、垂直転送部５に信号電荷３２として読み出す。
【０１００】
更に、先ほどと同様に、２〜３電極分信号を転送させて、図３１の露光期間Ｔｄで示すように、赤外光を照射せずに背景光による信号電荷だけを光電変換部４に溜めて、図３２（ｃ）に示すように、信号電荷３１及び信号電荷３２とは加算されないように、垂直転送部５の別パケットに信号電荷３３として読み出す。
【０１０１】
その後、垂直転送部５に溜めた信号電荷を１画素分、先ほどとは逆に順転送方向（図中下方）に１画素分転送し、また、図３１のＴａで示す露光期間が開始する。これ以降は、図３２（ａ）〜図３２（ｃ）の流れと同じで、これを１セットとすると、図３１の駆動タイミングでは、赤外光照射のＯＮ／ＯＦＦや一連の駆動を２セット繰り返したあと、転送期間Ｔｃで出力している。
【０１０２】
第６の実施形態の固体撮像装置によれば、第５の実施形態の固体撮像装置と同じ構成の電極にも関わらず、駆動相数を変えるだけで、垂直転送部５に溜められる信号パケットの種類を増やすことが可能になる。駆動相数を変えるには、画素部の周辺に配置されているバスライン配線から垂直転送電極への接続の仕方を変えるだけで可能であり、画素部のレイアウトを変更する必要は無く、設計変更も容易である。
【０１０３】
本実施形態の固体撮像装置は、３つの異なる信号電荷が溜められるので、図１４（ａ）及び図１４（ｂ）に示した、背景光成分ＢＧの除去を実行する第４のＴＯＦ法に適した固体撮像装置であって、測定距離精度の向上が可能となる。ただし、光源パルスの立ち上がり部分で距離を算出する図１０（ａ）及び図１０（ｂ）に示した第２のＴＯＦ法や、光源パルスの立ち下がり部分で距離を算出する図１２（ａ）及び図１２（ｂ）に示した第３のＴＯＦ法にも有効である。
【０１０４】
また、第５の実施形態と同じく、φＶ２を用いることで全画素読み出しも可能である。これにより、１つのセンサから、駆動の違いだけで、距離画像の撮像も、通常画像の撮像もいずれも可能となる。
【０１０５】
図３０の実施形態の別の形態として、第５の実施形態の場合の図２９のような、φＶ２から読み出す画素を市松状に配置して、読み出し部の設計をしやすくしてもよい。
【０１０６】
以上、本発明の第１〜第６の実施形態を説明したが、本発明は、これら実施形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施形態に施したものや、異なる実施形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１０７】
例えば、上記の第１〜第５の実施形態では、垂直転送部は４相駆動であった。しかし、３相駆動や５相駆動でも同じ効果を得ることが可能である。また、上記の第６の実施形態では、垂直転送部は８相駆動であったが、例えば１０相駆動でも同じ効果を得ることが可能である。
【０１０８】
上記第１〜第６の実施形態に係る固体撮像装置を前述のステレオ方式、パターン照射型、又はＴＯＦ型の測距カメラに利用することにより、従来の固体撮像装置を使うときに比べて、感度や画素使用率が高いことで、赤外光照射パワーを下げたり、あるいは、露光時間を短くしたりすることができ、システム全体の低消費電力化が可能となる。
【産業上の利用可能性】
【０１０９】
本発明は、高精度の距離画像を効率良く得ることができるので、特に測距カメラ等の撮像装置に利用することができる。
【符号の説明】
【０１１０】
４，４ａ，４ｂ  光電変換部
５  垂直転送部
７  画素分離部（チャネルストップ領域）
８  垂直転送電極
８ａ，８ｂ  読み出し電極を兼ねる垂直転送電極
９，９ａ，９ｂ  信号パケット
１０  水平転送部
１１  電荷検出部
１２  縦型オーバーフロードレイン（ＶＯＤ）
２１  第１の信号電荷（赤外光＋背景光）
２２  第２の信号電荷（背景光）
３１  第１の信号電荷（反射光１＋背景光）
３２  第２の信号電荷（反射光２＋背景光）
３３  第３の信号電荷（背景光）
１００  撮影対象空間
１０１  被写体
１０２  背景光照明
１０３  赤外光源
１０４  レンズ
１０５  光学フィルタ
１０６  固体撮像装置
１１０，１４０  撮影対象空間
１１１，１４１，１６０  被写体
１２０，１３０，１５０，１７０  カメラ
１２１，１３１，１５１  レンズ
１２２，１３２，１５２  固体撮像装置
１２５，１３５，１５５，１７５  赤外光源
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体へ赤外光を照射する赤外光源と、
第１の画素と当該第１の画素に隣接する第２の画素が行列上に配置された固体撮像装置と、を備えた撮像装置であって、
前記固体撮像装置は、
前記被写体からの入射光を信号電荷に変換する光電変換部と、当該光電変換部から前記信号電荷を読み出す読み出し電極と、複数の電極で構成され、全画素読み出しを行い、かつ列方向の上下２方向に前記信号電荷を転送する垂直転送部と、を備え、
さらに、前記固体撮像装置は、
１フレーム走査期間に第１の露光期間と第２の露光期間を繰り返し、
前記第１の露光期間は、前記第１の画素からの前記信号電荷と、前記第１の画素に隣接する前記第２の画素からの前記信号電荷と、を前記垂直転送部上で加算して第１の信号電荷を作り、
前記第２の露光期間は、前記第１の画素からの前記信号電荷と、前記第１の画素に隣接する前記第２の画素からの前記信号電荷と、を前記垂直転送部上で前記第１の信号電荷と加算しないように転送させて、別のパケットで加算して第２の信号電荷を作る
撮像装置。
【請求項２】
前記第１の画素と前記第２の画素とは、行毎に交互に配置され、
垂直方向に隣接する前記第１の画素からの前記信号電荷と前記第２の画素からの前記信号電荷とを加算する
請求項１記載の撮像装置。
【請求項３】
前記第１の画素から信号電荷を読み出した後、垂直転送を１画素分行い、前記第２の画素から前記信号電荷を読み出すことで、前記第１の画素からの前記信号電荷と前記第２の画素からの前記信号電荷とを加算する
請求項２記載の撮像装置。
【請求項４】
前記第１の画素と前記第２の画素との前記読み出し電極を１画素の間隔より近づけて配置することで、同時に１つのパケットに前記信号電荷を読み出す
請求項２記載の撮像装置。
【請求項５】
被写体へ赤外光を照射する赤外光源と、
第１の画素と当該第１の画素に隣接する第２の画素が行列上に配置された固体撮像装置と、を備えた撮像装置であって、
前記固体撮像装置は、
前記被写体からの入射光を信号電荷に変換する光電変換部と、当該光電変換部から前記信号電荷を読み出す読み出し電極と、複数の電極で構成され、全画素読み出しを行い、かつ列方向の上下２方向に前記信号電荷を転送する垂直転送部と、を備え、
前記第１の画素と前記第２の画素とは、列毎に交互に配置され、
さらに、前記固体撮像装置は、
１フレーム走査期間に第１の露光期間と第２の露光期間を繰り返し、
前記第１の露光期間は、前記第１の画素からの前記信号電荷と、前記第１の画素に水平方向に隣接する前記第２の画素からの前記信号電荷と、を前記垂直転送部上で加算して第１の信号電荷を作り、
前記第２の露光期間は、前記第１の画素からの前記信号電荷と、前記第１の画素に水平方向に隣接する別の第２の画素からの前記信号電荷と、を前記第１の露光期間と異なる位置の前記垂直転送部で加算して第２の信号電荷を作る
撮像装置。
【請求項６】
前記第１の画素と前記第２の画素は、共通の前記読み出し電極で１つのパケットに同時に前記信号電荷を読み出す
請求項５記載の撮像装置。
【請求項７】
前記第１の画素と前記第２の画素は、それぞれ別の前記読み出し電極で１つのパケットに同時に前記信号電荷を読み出す
請求項５記載の撮像装置。
【請求項８】
前記第１の画素と前記第２の画素の配置は、行毎および列毎に交互に配置された市松状であり、
垂直方向に隣接する前記第１の画素からの前記信号電荷と前記第２の画素からの前記信号電荷を加算する
請求項３又は４に記載の撮像装置。
【請求項９】
前記第１の画素と前記第２の画素の配置は、列毎および行毎に交互に配置された市松状であり、
水平方向に隣接する前記第１の画素からの前記信号電荷と前記第２の画素からの前記信号電荷を同時に読み出して加算する
請求項１記載の撮像装置。
【請求項１０】
前記垂直転送部は、２画素複数電極で構成され、２画素で少なくとも３信号を溜め、
前記１フレーム走査期間は、前記第１の画素からの前記信号電荷と、前記第１の画素に隣接する前記第２の画素からの前記信号電荷と、を前記垂直転送部上で加算して第３の信号電荷を作る第３の露光期間を有する
請求項９記載の撮像装置。
【請求項１１】
前記固体撮像装置は、ステレオ方式の測距センサであり、
前記第１の露光期間は、前記被写体を含む空間に前記赤外光を照射しながら撮像して、前記第１の信号電荷を作り、
全画素の前記光電変換部に残る前記信号電荷を基板に掃き捨てた後、
前記第２の露光期間は、前記赤外光を照射しない背景光のみの状態で撮像して、前記第２の信号電荷を作り、
前記撮像装置は、前記第１の信号電荷と前記第２の信号電荷の差分で背景光成分を除去し、三角測量法により前記被写体までの距離を算出する
請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１２】
前記固体撮像装置は、パターン照射型の測距センサであり、
前記第１の露光期間は、前記被写体を含む空間に前記赤外光を特定パターンで照射しながら撮像して、前記第１の信号電荷を作り、
全画素の前記光電変換部に残る前記信号電荷を基板に掃き捨てた後、
前記第２の露光期間は、前記赤外光を照射せずに撮像して、前記第２の信号電荷を作り、
前記撮像装置は、前記第１の信号電荷と前記第２の信号電荷の差分で背景光成分を除去し、各照射パターンの位置ずれ量によって前記被写体までの距離を算出する
請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１３】
前記固体撮像装置は、ＴＯＦ型の測距センサであり、
前記第１の露光期間は、前記赤外光をパルス状に発光させて前記被写体を含む空間に照射しながら、特定期間に受光される反射光を前記光電変換部から読み出して、前記第１の信号電荷を作り、
前記第２の露光期間は、別の特定期間に受光される反射光を前記光電変換部から読み出して、前記第２の信号電荷を作り、
前記撮像装置は、前記第１の信号電荷と前記第２の信号電荷の比率により前記被写体までの距離を算出する
請求項１〜９のいずれか１項に記載の撮像装置。
【請求項１４】
前記固体撮像装置は、ＴＯＦ型の測距センサであり、
前記第１の露光期間は、前記赤外光をパルス状に発光させて前記被写体に照射し、特定期間に受光される反射光を前記光電変換部から読み出して、前記第１の信号電荷を作り、
前記第２の露光期間は、別の特定期間に受光される反射光を前記光電変換部から読み出して、前記第２の信号電荷を作り、
前記第３の露光期間は、別の特定期間に前記赤外光を照射せず撮像して背景光成分のみの前記第３の信号電荷を作り、
前記撮像装置は、前記第１の信号電荷、前記第２の信号電荷、および前記第３の信号電荷の差分と比率で前記被写体までの距離を算出する
請求項１０記載の撮像装置。
【国際調査報告】
2014002415.tif 000035
2014002415.tif 000036
2014002415.tif 000037
2014002415.tif 000038