(57)【要約】【課題】可視光画素と同じ大きさのＺ画素を使用して、距離計測の精度を向上させる。【解決手段】固体撮像装置において、可視光変換ブロックは、可視光を受光する受光面が配置されて受光した可視光の受光量に応じた電荷を生成する複数の可視光変換部と複数の可視光変換部によりそれぞれ生成された電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える。赤外光変換ブロックは、可視光変換部の受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて受光した赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と複数の赤外光変換部によりそれぞれ生成された電荷をまとめて同時に保持する赤外光電荷保持部とを備える。【選択図】図４
2020188275.tif 000002
【特許請求の範囲】
【請求項１】
半導体基板に設けられた第１可視光光電変換部と、
前記半導体基板に設けられ、前記第１可視光光電変換部と略等しい受光面積を有する第１赤外光光電変換部と、
前記半導体基板内に設けられ、前記第１可視光光電変換部及び前記第１赤外光光電変換部で生成された電荷を保持する第１電荷保持部と
を具備する第１光電変換ブロックが設けられた
固体撮像装置。
【請求項２】
前記第１光電変換ブロックは、第２可視光光電変換部及び第３可視光光電変換部をさらに有し、
前記第１電荷保持部は、前記第２可視光光電変換部及び前記第３可視光光電変換部で生成された電荷を保持する
請求項１記載の固体撮像装置。
【請求項３】
前記第１光電変換ブロックと隣接する第２光電変換ブロックにおいて、平面視における赤外光光電変換部の配置が前記第１光電変換ブロックと同じである請求項２記載の固体撮像装置。
【請求項４】
前記第１可視光光電変換部は青色に応じた波長帯の光を透過するカラーフィルターを有し、
前記第２可視光光電変換部は緑色に応じた波長帯の光を透過するカラーフィルターを有し、
前記第３可視光光電変換部は赤色に応じた波長帯の光を透過するカラーフィルターを有する
請求項２または３記載の固体撮像装置。
【請求項５】
前記第１赤外光変換部は、第２電荷保持部をさらに具備する
請求項２記載の固体撮像装置。
【請求項６】
前記第２電荷保持部は、前記第１電荷保持部とは異なる露光開始時間の電荷を
保持する請求項５記載の固体撮像装置。
【請求項７】
前記第１光電変換ブロックは第２可視光光電変換部と
第２赤外光光電変換部とをさらに具備し、
第２光電変換ブロックは、
第４可視光光電変換部及び第５可視光光電変換部と、
第３赤外光光電変換部及び第４赤外光光電変換部と、
前記第４可視光光電変換部及び前記第５可視光光電変換部と前記第３赤外光光電変換部及び前記第４赤外光光電変換部で生成された電荷を保持する第３電荷保持部とを具備し、
前記第１光電変換ブロックと前記第２光電変換ブロックは、前記第１赤外光光電変換部及び前記第２赤外光光電変換部と前記第３赤外光光電変換部及び前記第４赤外光光電変換部とが隣接するように設けられていること
を特徴とする請求項１記載の固体撮像装置。
【請求項８】
前記第１光電変換ブロックの前記第１赤外光光電変換部及び前記第２赤外光光電変換部は第１の露光開始時間で露光を開始し、
前記第２光電変換ブロックの前記第３赤外光光電変換部及び前記第４赤外光光電変換部は、前記第１の露光開始時間とは異なる第２の露光開始時間で露光を開始するように構成された
請求項７記載の固体撮像装置。
【請求項９】
前記第１電荷保持部に保持された電荷に応じた信号を生成するトランジスタをさらに備えた請求項１記載の固体撮像装置。
【請求項１０】
前記半導体基板に設けられ、前記第１可視光光電変換部と前記第１赤外光光電変換部の間にあって、断面視で前記第１電荷保持部の直上に設けられた画素分離領域を有する
前記請求項１記載の固体撮像装置。
【請求項１１】
赤外光出射部と、半導体基板に設けられた第１可視光光電変換部と、前記半導体基板に設けられ前記第１可視光光電変換部と略等しい受光面積を有する第１赤外光光電変換部と、前記半導体基板内に設けられ前記第１可視光光電変換部及び前記第１赤外光光電変換部で生成された電荷を保持する第１電荷保持部と、を具備する第１光電変換ブロックと、
前記赤外光出射部から出射された光が前記第１赤外光光電変換部で受光されるまでの時間を前記第１電荷保持部に保持された電荷に基づいて計測し、距離を算出する距離計測部と
を備える撮像システム。
【請求項１２】
赤外光出射手段と、
半導体基板に設けられた第１可視光光電変換部と、
前記半導体基板に設けられ前記第１可視光光電変換部と略等しい受光面積を有する第１赤外光光電変換部と、
前記半導体基板内に設けられ前記第１可視光光電変換部及び前記第１赤外光光電変換部で生成された電荷を保持する第１電荷保持部と
を具備する第１光電変換ブロックにおいて、
前記赤外光出射部から出射された光が前記第１赤外光光電変換部で受光されるまでの時間を前記第１電荷保持部に保持された電荷に基づいて計測し、距離を算出する距離計測手段とを備える距離計測方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、固体撮像装置、撮像システムおよび距離計測方法に関する。詳しくは、被写体との距離を計測する距離計測画素を有する固体撮像装置、撮像システムおよびこれらにおける距離計測方法に関する。
【背景技術】
【０００２】
従来、赤外光を被写体に照射し、反射された赤外光を受光して照射から受光までの時間を計測することにより、被写体との距離を計測する撮像システムが使用されている。このような方式はＴＯＦ（Time of Flight）方式と呼ばれ、被写体の動き検出や３次元形状の計測の際に広く使用される方式である。この撮像システムに使用する撮像素子は、可視光を電気信号に変換する光電変換素子を有する可視光画素と、反射された赤外光を電気信号に変換する光電変換素子を有する赤外光画素とにより構成されている。この赤外光画素により距離の計測が行われる。ここで、このような赤外光画素を距離計測画素と称する。通常、反射光は伝播の過程で減衰するため、可視光画素と同じ大きさの赤外光画素を距離計測画素として使用した場合には、光電変換の感度が不足して、距離計測の精度が低下する。これを防ぐためには、高感度の距離計測画素を使用することが望ましい。そこで、可視光画素の光電変換素子と比較して、４倍の受光面積の光電変換素子を有する距離計測画素を使用するシステムが提案されている（例えば、特許文献１参照。）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】米国特許出願公開第２００６／０１９２０８６号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上述の従来技術は、光電変換素子としてシングルフォトンアバランシェダイオード（ＳＰＡＤ：Single Photon Avalanche diode）を使用するとともに、このＳＰＡＤ素子を可視光画素の光電変換素子の４倍の受光面積に構成している。これにより、光電変換の感度を高めて微弱な反射光における距離計測を可能にしている。しかし、可視光画素より大きな面積の距離計測画素を要するため、通常の撮像素子とは異なる設計ルールにより製造する必要がある。このため、コストが高いという問題がある。
【０００５】
本技術はこのような状況に鑑みて生み出されたものであり、可視光画素と同じ大きさに構成された距離計測画素を使用しながら、距離計測の精度を向上させることを目的とする。
【課題を解決するための手段】
【０００６】
本技術は、上述の問題点を解消するためになされたものであり、その第１の側面は、可視光を受光する受光面が配置されて上記受光した上記可視光の受光量に応じた電荷を生成する複数の可視光変換部と上記複数の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、上記可視光変換部の上記受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて上記受光した上記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と上記複数の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックとを具備する固体撮像装置である。これにより、上記複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に保持されるという作用をもたらす。
【０００７】
また、この第１の側面において、上記可視光変換ブロックは、４個の上記可視光変換部と上記可視光電荷保持部とを備えてもよい。これにより、上記可視光変換ブロックは、４個の上記可視光変換部を有するという作用をもたらす。
【０００８】
また、この第１の側面において、上記赤外光変換ブロックは、４個の上記赤外光変換部と上記赤外光電荷保持部とを備えてもよい。これにより、上記赤外光変換ブロックは、４個の上記赤外光変換部を有するという作用をもたらす。
【０００９】
また、この第１の側面において、上記赤外光変換ブロックは、２個の上記赤外光変換部と、２個の上記可視光変換部と、上記２個の赤外光変換部により生成された上記電荷を保持する際には上記２個の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持し、上記２個の可視光変換部により生成された上記電荷を保持する際には上記２個の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する上記赤外光電荷保持部とを備えてもよい。これにより、上記赤外光変換ブロックは、２個の上記赤外光変換部と２個の上記可視光変換部とを有するという作用をもたらす。
【００１０】
また、この第１の側面において、上記可視光変換ブロックは、赤色光に応じた上記電荷を生成する上記可視光変換部である赤色光変換部と緑色光に応じた上記電荷を生成する上記可視光変換部である緑色光変換部と青色光に応じた上記電荷を生成する上記可視光変換部である青色光変換部とがベイヤー配列形状に配置された上記４個の可視光変換部と上記可視光電荷保持部とを備えてもよい。これにより、上記可視光変換ブロックは、ベイヤー配列形状に配置された４個の可視光変換部を有するという作用をもたらす。
【００１１】
また、この第１の側面において、上記可視光変換ブロックは、赤色光に応じた上記電荷を生成する上記可視光変換部である赤色光変換部と緑色光に応じた上記電荷を生成する上記可視光変換部である緑色光変換部と青色光に応じた上記電荷を生成する上記可視光変換部である青色光変換部と白色光に応じた上記電荷を生成する上記可視光変換部である白色光変換部と上記可視光電荷保持部とを備えてもよい。これにより、上記可視光変換ブロックは、上記赤色光変換部と上記緑色光変換部と上記青色光変換部と上記白色光変換部の４個の可視光変換部を有するという作用をもたらす。
【００１２】
また、この第１の側面において、上記赤外光変換ブロックは、上記複数の赤外光変換部と上記赤外光電荷保持部との間を同時に導通させて上記複数の赤外光変換部によりそれぞれ生成された上記電荷を上記赤外光電荷保持部に転送する赤外光電荷転送部をさらに備えてもよい。これにより、上記複数の赤外光変換部により生成された上記電荷が同時に上記赤外光保持部に転送されるという作用をもたらす。
【００１３】
また、この第１の側面において、上記赤外光電荷保持部に保持された上記電荷に応じた信号を生成する赤外光信号生成部をさらに具備してもよい。これにより、上記赤外光電荷保持部に保持された上記電荷に応じた信号が生成されるという作用をもたらす。
【００１４】
また、本技術の第２の側面は、被写体に赤外光を出射する赤外光出射部と、可視光を受光する受光面が配置されて上記受光した上記可視光の受光量に応じた電荷を生成する複数の可視光変換部と上記複数の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、上記可視光変換部の上記受光面と略等しいサイズであるとともに上記出射されて上記被写体により反射された赤外光を受光する受光面が配置されて上記受光した上記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と上記複数の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと、上記赤外光電荷保持部に保持された上記電荷に応じた信号を生成する赤外光信号生成部と、上記赤外光出射部における上記出射から上記赤外光変換ブロックの上記赤外光変換部における上記受光までの時間を上記生成された上記信号に基づいて計測することにより上記被写体との距離を計測する距離計測部とを具備する撮像システムである。これにより、上記複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に保持されるという作用をもたらす。
【００１５】
また、本技術の第３の側面は、被写体に赤外光を出射する赤外光出射手順と、可視光を受光する受光面が配置されて上記受光した上記可視光の受光量に応じた電荷を生成する複数の可視光変換部と上記複数の可視光変換部によりそれぞれ生成された上記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックにおける上記可視光変換部の上記受光面と略等しいサイズであるとともに上記出射されて上記被写体により反射された赤外光を受光する受光面が配置されて上記受光した上記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と上記複数の赤外光変換部によりそれぞれ生成された上記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックにおいて上記赤外光電荷保持部に保持された上記電荷に応じた信号を生成する赤外光信号生成手順と、上記赤外光の出射から上記赤外ブロックの上記赤外光変換部における上記受光までの時間を上記生成された上記信号に基づいて計測することにより上記被写体との距離を計測する距離計測手順とを具備する距離計測方法である。これにより、上記複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に保持されるという作用をもたらす。
【発明の効果】
【００１６】
本技術によれば、可視光画素と同じ大きさの距離計測画素を使用しながら、距離計測の精度を向上させるという優れた効果を奏し得る。なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
【図面の簡単な説明】
【００１７】
【図１】本技術の実施の形態における撮像システム１の構成例を示す図である。
【図２】本技術の実施の形態における固体撮像装置２０の構成例を示す図である。
【図３】本技術の第１の実施の形態における画素の構成例を示す図である。
【図４】本技術の第１の実施の形態における画素の配置例を示す図である。
【図５】本技術の第１の実施の形態における画素の構成例を示す模式図である。
【図６】本技術の第１の実施の形態における距離の計測方法を示す図である。
【図７】本技術の第１の実施の形態における赤外光変換ブロックを例示する図である。
【図８】本技術の第１の実施の形態における撮像期間および距離計測期間の関係を示す図である。
【図９】本技術の第１の実施の形態における撮像方法を示す図である。
【図１０】本技術の第１の実施の形態における距離の計測方法を示す図である。
【図１１】本技術の第１の実施の形態における距離の計測の処理手順の一例を示す図である。
【図１２】本技術の第１の実施の形態の変形例における可視光変換ブロックを例示する図である。
【図１３】本技術の第２の実施の形態における赤外光変換ブロックを例示する図である。
【図１４】本技術の第２の実施の形態における撮像期間および距離計測期間の関係を示す図である。
【図１５】本技術の第２の実施の形態における撮像方法を示す図である。
【図１６】本技術の第３の実施の形態における赤外光変換ブロックを例示する図である。
【図１７】本技術の第３の実施の形態における距離の計測方法を示す図である。
【図１８】本技術の第３の実施の形態における撮像方法を示す図である。
【図１９】本技術の第４の実施の形態における赤外光変換ブロックを例示する図である。
【図２０】本技術の第５の実施の形態における画素の配置例を示す図である。
【図２１】本技術の第５の実施の形態における画素の構成例を示す図である。
【図２２】本技術の第５の実施の形態における撮像方法を示す図である。
【発明を実施するための形態】
【００１８】
以下、本技術を実施するための形態（以下、実施の形態と称する）について説明する。説明は以下の順序により行う。
１．第１の実施の形態（赤外光変換ブロックが２個の赤外光変換画素および２個の可視光変換画素により構成される場合の例）
２．第２の実施の形態（赤外光変換ブロックが４個の赤外光変換画素により構成される場合の例）
３．第３の実施の形態（赤外光変換ブロックが１個の赤外光変換画素および３個の可視光変換画素により構成される場合の例）
４．第４の実施の形態（ベイヤー配列におけるＧ画素の位置に赤外光変換画素が配置される場合の例）
５．第５の実施の形態（光電変換部に２個の電荷保持部が接続される場合の例）
【００１９】
＜１．第１の実施の形態＞
［撮像システムの構成］
図１は、本技術の実施の形態における撮像システム１の構成例を示す図である。この撮像システム１は、レンズ１０と、固体撮像装置２０と、信号処理部３０と、画像処理部４０と、距離計測部５０と、赤外光出射部６０とを備える。
【００２０】
レンズ１０は、固体撮像装置２０に対して光学的に被写体を結像するものである。固体撮像装置２０は、レンズ１０によって結像された光学画像を画像信号に変換し、出力するものである。この固体撮像装置２０は、光学画像が結像される面に画像信号を生成する画素が２次元に配置されて構成されている。この画素には、光学画像のうちの可視光に対応する可視光画素と赤外光に対応する赤外光画素とが含まれる。
【００２１】
この可視光画素は、受光した可視光に応じた信号を生成する画素であり、赤色光に応じた信号を生成する画素（Ｒ画素）、緑色光に応じた信号を生成する画素（Ｇ画素）および青色光に応じた信号を生成する画素（Ｂ画素）の３種の画素が例として挙られる。これらの画素により生成された信号である可視光信号により被写体の画像信号が構成される。
【００２２】
一方、赤外光画素は、受光した赤外光に応じた信号である赤外信号を生成する画素である。本技術の実施の形態における赤外光画素は、後述する赤外光出射部６０から出射されて被写体により反射された赤外光を受光し、赤外光信号を生成する。そして、この赤外光の出射から赤外光の受光までの時間を計測することにより、被写体までの距離が計測される。この赤外光画素が前述の距離計測画素（以下、Ｚ画素と称する。）に該当する。固体撮像装置２０の構成および距離の計測の詳細については、後述する。
【００２３】
信号処理部３０は、固体撮像装置２０から出力された画像信号を処理するものである。この信号処理部３０は、固体撮像装置２０から出力された画像信号を可視光信号および赤外光信号に分離し、それぞれ画像処理部４０および距離計測部５０に対して出力する。また、この信号処理部３０は、固体撮像装置２０の制御も行う。
【００２４】
画像処理部４０は、信号処理部３０から出力された可視光信号に対して画像処理を行うものである。この画像処理として、例えば、固体撮像装置２０により生成された単色の可視光信号に対して不足する他の色の信号を補間するデモザイク処理および可視光信号を輝度信号と色差信号に変換する処理等を行うことができる。画像処理部４０により処理された画像信号は、例えば、信号線（不図示）を経由して撮像システム１の外部に対して出力される。
【００２５】
距離計測部５０は、信号処理部３０から出力された赤外光信号に基づいて被写体との距離を計測するものである。また、この距離計測部５０は、赤外光出射部６０の制御も行う。
【００２６】
赤外光出射部６０は、距離計測部５０の制御に基づいて赤外光を被写体に出射するものである。
【００２７】
［固体撮像装置の構成］
図２は、本技術の実施の形態における固体撮像装置２０の構成例を示す図である。この固体撮像装置２０は、画素アレイ部１００と、垂直駆動部２００と、水平転送部３００と、アナログデジタル変換器（ＡＤＣ：Analog Digital Converter）４００とを備える。
【００２８】
画素アレイ部１００は、可視光画素と、赤外光画素と、信号生成部とを備え、これらが２次元アレイ状に配置されたものである。これら可視光画素および赤外光画素は、それぞれ可視光および赤外光に応じた電荷を生成する光電変換部を備えている。また、信号生成部は、光電変換部により生成された電荷を所定のタイミングで画像信号に変換して、出力するものである。光電変換を所定の期間行った後、これに基づく画像信号を生成することにより、露光を行うことができる。同図の画素アレイ部１００は、４個の画素（画素１１０、１２０、１３０および１４０）に対して１個の信号生成部１５０が配置された例を表している。この場合、画素１１０、１２０、１３０および１４０において生成された電荷が信号生成部１５０に転送され、この電荷に基づく画像信号が出力される。これらの画素のうち可視光画素により生成された電荷に基づく画像信号が可視光信号として出力され、赤外光画素により生成された電荷に基づく画像信号が赤外光信号として出力される。
【００２９】
上述した画素の選択を制御する信号等は、信号線１０１により伝達される。また、信号生成部１５０から出力された画像信号は、信号線１０２により伝達される。画素アレイ部１００には、これら信号線１０１および１０２が、ＸＹマトリクス状に配線されている。すなわち、同じ行に配置された画素１１０等には１つの信号線１０１が共通に配線され、同じ列に配置された画素１１０等の出力は、１つの信号線１０２に共通に配線されている。
【００３０】
垂直駆動部２００は、制御信号を生成して画素アレイ部１００に対して出力するものである。この垂直駆動部２００は、画素アレイ部１００の全ての信号線１０１に対して制御信号を出力する。垂直駆動部２００が出力する制御信号には、上述した画素１１０等における生成された電荷の信号生成部１５０への転送を制御する信号と、信号生成部１５０における画像信号の生成を制御する信号とが含まれる。
【００３１】
水平転送部３００は、画素アレイ部１００から出力された画像信号に対して処理を行うものである。この水平転送部３００には、画素アレイ部１００の１行分の画素１１０等に対応する出力信号が同時に入力される。この入力された画像信号に対して、水平転送部３００は、パラレル−シリアル変換を行い、変換後の画像信号を出力する。
【００３２】
アナログデジタル変換器４００は、水平転送部３００により出力された画像信号を、アナログ信号からデジタル信号に変換（ＡＤ変換）するものである。ＡＤ変換された画像信号は出力バッファ（不図示）を介して固体撮像装置２０の外部に出力される。
【００３３】
［画素の回路構成］
図３は、本技術の第１の実施の形態における画素の構成例を示す図である。同図は、画素１１０、１２０、１３０および１４０ならびに信号生成部１５０および電荷保持部１５１の回路構成を表したものである。
【００３４】
画素１１０は、光電変換部１１１と、電荷転送部１１３と、オーバーフロードレイン１１２とを備える。なお、電荷転送部１１３およびオーバーフロードレイン１１２は、ＭＯＳ（Metal Oxide Semiconductor）トランジスタにより構成される。
【００３５】
画素１１０には、信号線１０１のほかに、電源線Ｖｄｄおよび接地線が接続されている。画素１１０の電源はこれら電源線Ｖｄｄおよび接地線を通して供給される。また、信号線１０１は、複数の信号線（ＯＦＤ１およびＴＲ１）により構成されている。ＯＦＤ１（Over Flow Drain 1）は、オーバーフロードレイン１１２に制御信号を伝達する信号線である。ＴＲ１（Transfer 1）は、電荷転送部１１３に制御信号を伝達する信号線である。同図に表したように、これらは何れもＭＯＳトランジスタのゲートに接続される。ゲートおよびソース間の閾値電圧以上の電圧（以下、オン信号と称する。）がこれらの信号線を通して入力されると、該当するＭＯＳトランジスタが導通状態になる。
【００３６】
同図に表したように、光電変換部１１１のアノードは接地され、カソードは電荷転送部１１３のソースとオーバーフロードレイン１１２のソースに接続される。オーバーフロードレイン１１２のゲートおよびドレインは、それぞれＯＦＤ１およびＶｄｄに接続される。電荷転送部１１３のゲートは信号線ＴＲ１に接続され、ドレインは電荷保持部１５１の一端に接続される。
【００３７】
光電変換部１１１は、受光量に応じた電荷を生成して蓄積するものである。この光電変換部１１１は、フォトダイオードにより構成される。この光電変換部１１１には、可視光に対応する可視光変換部または赤外光に対応する赤外光変換部のいずれか一方が対応する。後述するように、画素ごとに配置されたカラーフィルタの特性を変更することにより、可視光変換部または赤外光変換部を構成することができる。
【００３８】
電荷転送部１１３は、光電変換部１１１により生成された電荷を電荷保持部１５１に転送するものである。この電荷転送部１１３は、光電変換部１１１と電荷保持部１５１との間を導通させることにより、電荷の転送を行う。
【００３９】
オーバーフロードレイン１１２は、光電変換部１１１により生成された電荷を排出するものである。このオーバーフロードレイン１１２は、光電変換部１１１において過剰に生成された電荷の排出を行う。また、光電変換部１１１とＶｄｄとの間を導通させることにより、光電変換部１１１に蓄積された全ての電荷の排出を行うこともできる。
【００４０】
画素１２０は、光電変換部１２１と、電荷転送部１２２と、オーバーフロードレイン１２３とを備える。
【００４１】
画素１２０に接続された信号線１０１は、複数の信号線（ＯＦＤ２およびＴＲ２）により構成されている。ＯＦＤ２（Over Flow Drain 2）は、オーバーフロードレイン１２３に制御信号を伝達する信号線である。ＴＲ２（Transfer 2）は、電荷転送部１２２に制御信号を伝達する信号線である。ＯＦＤ２およびＴＲ２は、それぞれオーバーフロードレイン１２３および電荷転送部１２２のゲートに接続される。これ以外の画素１２０の構成は画素１１０と同様であるため、説明を省略する。
【００４２】
画素１３０は、光電変換部１３１と、電荷転送部１３３と、オーバーフロードレイン１３２とを備える。
【００４３】
画素１３０に接続された信号線１０１は、複数の信号線（ＯＦＤ３およびＴＲ３）により構成されている。ＯＦＤ３（Over Flow Drain 3）は、オーバーフロードレイン１３２に制御信号を伝達する信号線である。ＴＲ３（Transfer 3）は、電荷転送部１３３に制御信号を伝達する信号線である。ＯＦＤ３およびＴＲ３は、それぞれオーバーフロードレイン１３２および電荷転送部１３３のゲートに接続される。これ以外の画素１３０の構成は画素１１０と同様であるため、説明を省略する。
【００４４】
画素１４０は、光電変換部１４１と、電荷転送部１４２と、オーバーフロードレイン１４３とを備える。
【００４５】
画素１４０に接続された信号線１０１は、複数の信号線（ＯＦＤ４およびＴＲ４）により構成されている。ＯＦＤ４（Over Flow Drain 4）は、オーバーフロードレイン１４３に制御信号を伝達する信号線である。ＴＲ４（Transfer 4）は、電荷転送部１４２に制御信号を伝達する信号線である。ＯＦＤ４およびＴＲ４は、それぞれオーバーフロードレイン１４３および電荷転送部１４２のゲートに接続される。これ以外の画素１４０の構成は画素１１０と同様であるため、説明を省略する。
【００４６】
電荷保持部１５１は、画素１１０、１２０、１３０および１４０から転送された電荷を保持するものである。
【００４７】
信号生成部１５０は、電荷保持部１５１に保持された信号に応じた信号を生成するものである。この信号生成部１５０は、ＭＯＳトランジスタ１５２乃至１５４を備える。
【００４８】
信号生成部１５０には、信号線１０１、信号線１０２、電源線Ｖｄｄおよび接地線が接続されている。信号線１０１は、複数の信号線（ＲＳＴおよびＳＥＬ）により構成されている。ＲＳＴ（Reset）は、ＭＯＳトランジスタ１５２に制御信号を伝達する信号線である。ＳＥＬ（Select）は、ＭＯＳトランジスタ１５４に制御信号を伝達する信号線である。信号線１０２は、信号生成部１５０により生成された信号を伝達する信号線である。
【００４９】
同図に表したように、ＭＯＳトランジスタ１５２および１５３のドレインは、Ｖｄｄに接続される。ＭＯＳトランジスタ１５２のソースおよびＭＯＳトランジスタ１５３のゲートは、前述の電荷転送部１１３、１２２、１３３および１４２のドレインが接続された電荷保持部１５１の一端に接続される。電荷保持部１５１の他の一端は、接地される。ＭＯＳトランジスタ１５３のソースはＭＯＳトランジスタ１５４のドレインに接続され、ＭＯＳトランジスタ１５４のソースは信号線１０２に接続される。ＭＯＳトランジスタ１５２およびＭＯＳトランジスタ１５４のゲートは、それぞれ信号線ＲＳＴおよびＳＥＬに接続される。
【００５０】
ＭＯＳトランジスタ１５３は、電荷保持部１５１に保持された電荷に応じた信号を生成するＭＯＳトランジスタである。ＭＯＳトランジスタ１５４は、ＭＯＳトランジスタ１５３により生成された信号を画像信号として信号線１０２に出力するＭＯＳトランジスタである。なお、信号線１０２には、図示しない定電流電源が接続されており、ＭＯＳトランジスタ１５３とともにソースフォロワー回路を構成する。この定電流電源は図２において説明した水平転送部３００に配置されている。
【００５１】
ＭＯＳトランジスタ１５２は、電荷保持部１５１に保持された電荷を排出するＭＯＳトランジスタである。このＭＯＳトランジスタ１５２は、電荷保持部１５１とＶｄｄとの間を導通させることにより電荷の排出を行う。
【００５２】
［画素における動作］
同図に表した画素の動作について画素１１０を例に挙げて説明する。まず、ＯＦＧからオン信号が入力されるとオーバーフロードレイン１１２は導通し、光電変換部１１１のカソードにＶｄｄが印加される。これにより、光電変換部１１１に蓄積されていた電荷が排出される。その後、受光量に応じた電荷が新たに生成されて、光電変換部１１１に蓄積される。
【００５３】
所定の露光時間が経過した後、ＴＲ１からオン信号が入力されると、電荷転送部１１３が導通する。これにより、光電変換部１１１と電荷保持部１５１との間が導通状態になり、光電変換部１１１に蓄積された電荷が電荷保持部１５１に転送されて保持される。ＭＯＳトランジスタ１５３のゲートは電荷保持部１５１に接続されているため、電荷保持部１５１に保持された電荷に基づく信号が生成される。この時、ＳＥＬからオン信号が入力されるとＭＯＳトランジスタ１５４が導通し、ＭＯＳトランジスタ１５３により生成された信号が信号線１０２に出力される。
【００５４】
その後、ＲＳＴからオン信号が入力されてＭＯＳトランジスタ１５２が導通すると、電荷保持部１５１にＶｄｄが印加されて、保持されていた電荷が排出される。
【００５５】
電荷転送部１１３、１２２、１３３および１４２のソースは電荷保持部１５１に共通に接続されている。このため、これらを制御するＴＲ１乃至ＴＲ４を制御することにより画素１１０、１２０、１３０および１４０のうちの所望の画素において生成された電荷に基づく画像信号を生成して出力することができる。
【００５６】
上述のように各画素の動作は、それぞれ変わるところがない。しかし、光電変換部（光電変換部１１１、１２１、１３１および１４１）の特性を変更することにより、各画素を可視光画素または赤外光画素として使用することができる。具体的には、各画素に配置されるカラーフィルタを変更することにより、光電変換部の特性を変更することができる。このカラーフィルタは、光電変換部に入射する光を選択するフィルタである。可視光のみを透過させるカラーフィルタを配置することにより、光電変換部を可視光に対応する光電変換部である可視光変換部にすることができ、当該可視光変換部を有する画素を可視光画素にすることができる。一方、赤外光のみを透過させるカラーフィルタを配置した場合には、光電変換部を赤外光に対応する光電変換部である赤外光変換部にすることができ、当該赤外光変換部を有する画素を赤外光画素にすることができる。カラーフィルタの配置の詳細については、後述する。
【００５７】
ここで、１個の電荷保持部とこの電荷保持部に共通に接続された複数の光電変換部との組合せを変換ブロックと称する。同図においては、電荷保持部１５１および４個の光電変換部（光電変換部１１１、１２１、１３１および１４１）により変換ブロックが構成される例を表した。この変換ブロックのうち、複数の可視光変換部により構成される変換ブロックを可視光変換ブロックと称する。また、複数の赤外光変換部からなる変換ブロックを赤外光変換ブロックと称する。さらに、可視光変換ブロックにおける電荷保持部を可視光電荷保持部と称し、赤外光変換ブロックにおける電荷保持部を赤外光電荷保持部と称する。後述するように、可視光電荷保持部は、複数の可視光変換部によりそれぞれ生成された電荷をそれぞれ異なる期間に排他的に保持する。これに対し、赤外光電荷保持部は、複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する。この赤外光電荷保持部に保持された電荷に応じた信号を生成する信号生成部１５０を赤外光信号生成部と称する。
【００５８】
［画素の配置］
図４は、本技術の第１の実施の形態における画素の配置例を示す図である。同図は、４つの変換ブロックの配置を表した平面図である。また、同図の左上の変換ブロックを図３において説明した画素等に対応させて説明する。ただし、オーバーフロードレイン１１２、１２３、１３２、１４３については、記載を省略している。同図に表したように、画素１１０、１２０、１３０および１４０の中央に電荷保持部１５１が配置されている。この電荷保持部１５１に対して各画素の電荷転送部１１３、１２２、１３３および１４２がそれぞれ隣接して配置され、これらの電荷転送部に対して光電変換部１１１、１２１、１３１および１４１が隣接して配置されている。信号生成部１５０は、これらの変換ブロック毎に隣接して配置される。同図に表した光電変換部１１１、１２１、１３１および１４１に対して被写体からの光が照射されると、光電変換が行われる。すなわち、光電変換部１１１等のうち、同図に示された領域が可視光等を受光する受光面に該当する。
【００５９】
また、画素にはそれぞれカラーフィルタ１１９、１２９、１３９および１４９が配置されている。各画素に記載されたＲ、Ｇ、ＢおよびＺの文字はカラーフィルタの種類を表している。ここで、Ｚの文字が記載された画素１２０および１４０のカラーフィルタ１２９および１４９は、赤外光を透過させるカラーフィルタである。このため、光電変換部１１１および１３１と同図の左下の変換ブロックにおける１６１、１７１、１８１および１９１とは可視光変換部に該当し、これらを有する画素１１０、１３０、１６０、１７０、１８０および１９０は可視光画素に該当する。一方、光電変換部１２１および１４１は赤外光変換部に該当し、これらを有する画素１２０および１４０は赤外光画素に該当する。同図より明らかなように、赤外光変換部の受光面は、可視光変換部の受光面と略等しいサイズである。
【００６０】
さらに、同図における左上の変換ブロックは、２個の赤外光変換部（光電変換部１２１および１４１）と２個の可視光変換部（光電変換部１１１および１３１）と赤外光電荷保持部（電荷保持部１５１）とを備えており、赤外光変換ブロックに該当する。また、この変換ブロックに隣接して配置された信号生成部１５０は、赤外光電荷保持部（電荷保持部１５１）に保持された電荷に応じた信号を生成する赤外光信号生成部に該当する。同様に、同図における右上の変換ブロックも赤外光変換ブロックに該当する。一方、同図における左下の変換ブロックは、４個の可視光変換部（光電変換部１６１、１７１、１８１および１９１）と可視光電荷保持部（電荷保持部１５９）とを備えており、可視光変換ブロックに該当する。同様に、同図における右下の変換ブロックも可視光変換ブロックに該当する。この可視光変換ブロックは、Ｒ、ＧおよびＢ画素がベイヤー配列に構成されている。
【００６１】
［画素の断面］
図５は、本技術の第１の実施の形態における画素の構成例を示す模式図である。同図は、図４におけるＡ−Ａ'線に沿う断面図である。画素１１０および１４０を例に挙げて説明する。同図の光電変換部１１１および１４１は、ｐ型半導体領域５１７と、その内部に埋め込まれたｎ型半導体領域５１１および５１２によりそれぞれ構成される。これらの界面に形成されたｐｎ接合部分において光電変換が行われ、受光量に応じた電荷が生成される。この際、生成された電荷のうち電子は、ｎ型半導体領域５１１および５１２に蓄積される。光電変換部の上方にはカラーフィルタ１１９または１４９と平坦化膜５０３とマイクロレンズ５０１とが順に配置されている。平坦化膜５０３は、画素の表面を平坦にするものである。マイクロレンズ５０１は、画素に照射された光を光電変換部に集光させるレンズである。カラーフィルタ１１９および１４９の間には遮光膜５０２が配置されている。この遮光膜５０２は、隣接する画素から斜めに入射する光を遮光するものである。
【００６２】
また、ｐ型半導体領域５１７における画素の間には、分離領域５１３が配置されている。この分離領域５１３は、画素同士を分離するとともに、隣接する画素から斜めに入射する光を遮光する領域である。画素１１０および画素１４０の中間部分に電荷保持部１５１が配置されている。この電荷保持部１５１は、ｎ型半導体領域５１４により構成される。このｎ型半導体領域５１４は、フローティングディフュージョン（ＦＤ）と称され、信号生成部１５０（不図示）が接続される領域である。同図に表したように、電荷保持部１５１は分離領域５１３の直下に配置されているため、分離領域５１３により遮光される。この電荷保持部１５１と光電変換部１１１および１４１との間に電荷転送部１１３および１４２が配置されている。これら電荷転送部１１３および１４２には、ゲート電極５１５および５１６がそれぞれ配置されている。これらのゲート電極にオン電圧が印加されると、光電変換部１１１または１４１と電荷保持部１５１との間のｐ型半導体領域５１７が導通し、電荷転送部１１３および１４２が導通状態になる。
【００６３】
ｐ型半導体領域５１７の下方には層間絶縁層５１９と配線層５１８とが配置されている。配線層５１８は、画素１１０および１４０の信号を伝達するものであり、図３において説明した信号線１０１および１０２を構成するものである。層間絶縁層５１９は、配線層５１８相互の絶縁を行うものである。
【００６４】
このように、同図の電荷保持部１５１は、分離領域５１３により遮光されるため、暗電流が低減される。
【００６５】
［距離の計測の原理］
図６は、本技術の第１の実施の形態における距離の計測方法を示す図である。同図の出射赤外光は、赤外光出射部６０により出射された赤外光の波形を表している。また、反射赤外光は、出射赤外光が被写体により反射されて固体撮像装置２０に入射した赤外光の波形を表している。固体撮像装置２０のＺ画素は、この反射赤外光を受光して赤外光信号に変換し、露光を行う。この際、２個のＺ画素を使用してそれぞれ異なる露光期間を設定し赤外光信号を生成する。第１の露光期間および第２の露光期間は、この２個のＺ画素に設定された露光期間の関係を表したものであり、２値化された波形の値「１」の期間が露光期間に該当する。
【００６６】
同図に表したように、出射赤外光は、５０％デューティにパルス幅変調されて赤外光出射部６０から出射される。これに対し、反射赤外光は、出射赤外光に対して位相が遅れた波形となる。同図のＤはこの位相の遅れを表している。これは、出射された赤外光が被写体により反射して固体撮像装置２０に到達するまでの時間に相当する。この時間を計測することにより被写体までの距離を算出することができる。
【００６７】
同図の第１の露光期間は、出射赤外光と同期した露光期間が設定されている。一方、第２の露光期間は、出射赤外光と１８０°位相がずれた露光期間が設定されている。第１の露光期間では、同図の期間７０１において反射光の光電変換が行われる。第２の露光期間では、同図の期間７０２において反射光の光電変換が行われる。これら期間７０１および７０２の比率は、位相遅れに基づいて変化する。すなわち、位相遅れＤが大きくなる程、期間７０１は短くなり、期間７０２は長くなる。そこで、第１の露光期間および第２の露光期間においてＺ画素により生成された赤外光信号の比率を算出することにより位相遅れＤを算出することができる。
【００６８】
ここで、第１および第２の露光期間が設定されたＺ画素の赤外光信号をそれぞれＳ１およびＳ２、出射赤外光の周期をＴとすると、Ｄは次式により算出することができる。
Ｄ＝Ｓ２×（Ｓ１＋Ｓ２）×Ｔ／２
被写体までの距離Ｌは、次式により算出することができる。
Ｌ＝Ｄ×ｃ／２    ・・・（式１）
ただし、ｃは光速である。例えば、被写体との距離が１０ｍの場合には、Ｄは約３３ｎｓとなる。この場合、Ｔを例えば、１００ｎｓ（出射赤外光の変調周波数は１０ＭＨｚ）にすることにより距離を計測することができる。これら赤外光出射部６０に対するパルス変調された赤外光の出力の制御および距離の算出は、図１において説明した距離計測部５０により行われる。
【００６９】
このように２個のＺ画素を用いることにより被写体との距離を算出することができる。なお、反射赤外光は、伝播の過程で減衰するため、赤外光の出射を繰返し行うとともに、Ｚ画素により生成された電荷の蓄積を行い、赤外光信号のレベルを高める必要がある。
【００７０】
［固体撮像装置の動作］
図７は、本技術の第１の実施の形態における赤外光変換ブロックを例示する図である。同図の画素の配置は、図４において説明した画素の配置と同様である。同図の上側２つの赤外光変換ブロック６２０および６３０に配置されたＺ画素（Ｚａ、Ｚｂ、ＺｃおよびＺｄ）からなる画素群６６０により距離の計測が行われる。ＺａおよびＺｃとＺｂおよびＺｄとは異なる赤外光変換ブロックに属しており、それぞれ異なる赤外光電荷保持部６２１および６３１に接続されている。図６において説明した第１の露光期間および第２の露光期間をＺａおよびＺｃとＺｂおよびＺｄとに適用し、距離の計測を行う。一方、同図の可視光変換ブロック６１０は、可視光電荷保持部６１１を備えている。この、可視光変換ブロック６１０は、可視光による撮像の用に供される。
【００７１】
図８は、本技術の第１の実施の形態における撮像期間および距離計測期間の関係を示す図である。同図に表したように、固体撮像装置２０は、被写体の画像信号を生成する撮像の後に、被写体との距離の計測を行う。これらが行われる期間である撮像期間および距離計測期間が交互に繰り返される。撮像期間では、可視光画素においてリセット、露光および信号出力が第１のラインから順に実行される。ここで、リセットとは、光電変換部に蓄積された電荷を排出することである。１ラインに含まれる全ての画素に対してリセットが行われ、露光が開始される。所定の露光期間の経過後に、光電変換により生成された電荷に基づく画像信号が生成されて出力される。これにより、当該ラインにおける露光が終了する。これらを全てのラインに対して行うことにより、１画面分の画像信号であるフレームを得ることができる。その後、距離計測期間に移行する。
【００７２】
距離計測期間では、赤外光画素においてリセット、露光および信号出力が第１のラインから順に実行される。この際、距離計測のための赤外光信号が生成されて出力される。
【００７３】
［撮像方法］
図９は、本技術の第１の実施の形態における撮像方法を示す図である。同図は可視光変換ブロック６１０における撮像方法を表した図であり、同図には入力信号と出力信号の関係が表されている。同図に記載された信号は、図３において説明した信号に対応する。このうち入力信号では、２値化された波形の値「１」の期間がオン信号の入力に該当する。また、可視光電荷保持部６１１以外の構成要素（電荷転送部やオーバーフロードレイン等）の符号は、図３において説明した構成要素と同じ符号を使用して説明する。
【００７４】
まず、ＯＦＤ１乃至ＯＦＤ４にオン信号を入力してオーバーフロードレイン１１２、１２３、１３２および１４３を導通させる（Ｔ１）。これにより、光電変換部１１１、１２１、１３１および１４１に蓄積された電荷が排出されて、リセットが実行される。リセット終了後に、ＯＦＤ１乃至ＯＦＤ４へのオン信号の入力を停止して、オーバーフロードレイン１１２、１２３、１３２および１４３を非導通にする（Ｔ２）。これにより、光電変換部１１１、１２１、１３１および１４１には、新たに光電変換による電荷が生成されて蓄積される。すなわち、露光が開始される。
【００７５】
所定の露光期間の経過後に、ＲＳＴにオン信号を入力して、信号生成部１５０のＭＯＳトランジスタ１５２を導通させる（Ｔ３）。これにより、可視光電荷保持部６１１の電荷が排出される。同時にＳＥＬにオン信号を入力して、信号生成部１５０のＭＯＳトランジスタ１５４を導通させる。これにより、以降の動作において、可視光電荷保持部６１１に電荷が転送されて保持された際に、この電荷に基づく可視光信号が信号線１０２に出力される。
【００７６】
次に、ＲＳＴのオン信号の入力を停止して、ＭＯＳトランジスタ１５２を非導通にするとともに、ＴＲ１にオン信号を入力して画素１１０の電荷転送部１１３を導通させる（Ｔ４）。これにより、光電変換部１１１に蓄積された電荷が可視光電荷保持部６１１に転送される。また、信号線１０２には、この可視光電荷保持部６１１に転送された電荷に基づく信号「Ｇ」が出力される。これは、画素１１０における可視光信号（緑色光に対応する画像信号）に該当する。この光電変換部１１１に蓄積された電荷の可視光電荷保持部６１１への転送により画素１１０における露光期間は停止し、図８において説明した信号出力に移行する。
【００７７】
次に、ＴＲ１へのオン信号の入力を停止するとともに、ＲＳＴにオン信号を入力する（Ｔ５）。これにより、可視光電荷保持部６１１に保持された電荷が排出され、画素１１０における信号出力が終了する。
【００７８】
次に、ＲＳＴへのオン信号の入力を停止するとともに、ＴＲ２にオン信号を入力して画素１２０の電荷転送部１２２を導通させる（Ｔ６）。これにより、光電変換部１２１に蓄積された電荷が可視光電荷保持部６１１に転送され、信号線１０２には転送された電荷に基づく信号「Ｂ」が出力される。これは、画素１２０における可視光信号（青色光に対応する画像信号）に該当する。その後、ＴＲ２へのオン信号の入力を停止するとともに、ＲＳＴにオン信号を入力する（Ｔ７）。これにより、可視光電荷保持部６１１の電荷が排出され、画素１２０における信号出力が終了する。
【００７９】
次に、ＲＳＴのオン信号の入力を停止し、ＴＲ３にオン信号を入力して画素１３０の電荷転送部１３３を導通させる（Ｔ８）。これにより、光電変換部１３１に蓄積された電荷が可視光電荷保持部６１１に転送され、信号線１０２には転送された電荷に基づく信号「Ｒ」が出力される。これは、画素１３０における可視光信号（赤色光に対応する画像信号）に該当する。その後、ＴＲ３へのオン信号の入力を停止するとともにＲＳＴにオン信号を入力する（Ｔ９）。これにより、可視光電荷保持部６１１の電荷が排出され、画素１３０における信号出力が終了する。
【００８０】
次に、ＲＳＴのオン信号の入力を停止し、ＴＲ４にオン信号を入力して画素１４０の電荷転送部１４２を導通させる（Ｔ１０）。これにより、光電変換部１４１に蓄積された電荷が可視光電荷保持部６１１に転送され、信号線１０２には転送された電荷に基づく信号「Ｇ」が出力される。これは、画素１４０における可視光信号（緑色光に対応する画像信号）に該当する。その後、ＴＲ４およびＳＥＬへのオン信号の入力を停止する（Ｔ１１）。これにより、画素１４０における信号出力が終了する。
【００８１】
図９において説明した処理を全てのラインについて行うと、１画面の撮像期間が終了する。このように、可視光変換ブロック６１０では、４個の光電変換部１１１、１２１、１３１および１４１によりそれぞれ生成された電荷がそれぞれ異なる期間（Ｔ４、Ｔ６、Ｔ８およびＴ１０）に排他的に可視光電荷保持部６１１に保持される。すなわち、複数の可視光変換部によりそれぞれ生成された電荷がそれぞれ異なる期間に排他的に可視光電荷保持部に保持される。
【００８２】
［距離の計測］
図１０は、本技術の第１の実施の形態における距離の計測方法を示す図である。同図は、画素群６６０における距離の計測方法を表した図である。同図には、画素群６６０のＺ画素における入力信号と、出射赤外光および反射赤外光と、赤外光電荷保持部６２１および６３１における保持電荷量との関係が表されている。なお、図７において説明した赤外光変換ブロック６２０および６３０の信号は、図３において説明した信号に対応する。すなわち、画素群６６０のＺ画素のうち、ＺａおよびＺｃの信号は、図３における画素１２０および１４０の信号にそれぞれ対応する。同様に、ＺｂおよびＺｄの信号は、図３における画素１１０および１３０の信号にそれぞれ対応する。赤外光電荷保持部６２１および６３１以外の構成要素の符号には、図３において説明した構成要素と同じ符号を用いて説明する。
【００８３】
まず、赤外光変換ブロック６２０および６３０のＲＳＴにオン信号を入力してＭＯＳトランジスタ１５２を導通させる。同時に、赤外光変換ブロック６２０のＯＦＤ２およびＯＦＤ４と、赤外光変換ブロック６３０のＯＦＤ１およびＯＦＤ３とにオン信号を入力してオーバーフロードレイン１２３、１４３、１１２および１３２を導通させる（Ｔ１）。これにより、赤外光電荷保持部６２１および６３１に保持された電荷が排出される。また、赤外光変換ブロック６２０の光電変換部１２１および１４１と、赤外光変換ブロック６３０の光電変換部１１１および１３１とに蓄積された電荷が排出されてリセットが行われる。リセット終了後、上述のＲＳＴおよびＯＦＤへのオン信号の入力が停止される（Ｔ２）。
【００８４】
次に、赤外光出射部６０から赤外光を出射させるとともに、赤外光変換ブロック６２０のＴＲ２およびＴＲ４にオン信号を入力し、赤外光変換ブロック６３０のＯＦＤ１およびＯＦＤ３にオン信号を入力する（Ｔ３）。これにより、赤外光変換ブロック６２０では、電荷転送部１２２および１４２が導通し、光電変換部１２１および１４１において反射赤外光に基づいて生成された電荷が赤外光電荷保持部６２１に保持される。一方、赤外光変換ブロック６３０では、オーバーフロードレイン１１２および１３２が導通し、光電変換部１１１および１３１がリセットされる。
【００８５】
次に、赤外光出射部６０における赤外光の出射を停止させるとともに、赤外光変換ブロック６２０のＴＲ２およびＴＲ４と、赤外光変換ブロック６３０のＯＦＤ１およびＯＦＤ３とにおけるオン信号の入力を停止する。同時に、赤外光変換ブロック６２０のＯＦＤ１およびＯＦＤ３と、赤外光変換ブロック６３０のＴＲ２およびＴＲ４とにオン信号を入力する（Ｔ４）。これにより、赤外光変換ブロック６２０では、オーバーフロードレイン１２３および１４３が導通し、光電変換部１２１および１４１がリセットされる。一方、赤外光変換ブロック６３０では、電荷転送部１１３および１３３が導通し、光電変換部１１１および１３１において反射赤外光に基づいて生成された電荷が赤外光電荷保持部６３１に保持される。
【００８６】
次に、赤外光変換ブロック６２０のＯＦＤ１およびＯＦＤ３と、赤外光変換ブロック６３０のＴＲ２およびＴＲ４とにおけるオン信号の入力を停止する（Ｔ５）。以後、Ｔ３およびＴ４の操作を所定の回数繰り返す。これにより、赤外光電荷保持部６２１および６３１には、反射赤外光に基づく電荷が蓄積されていく。
【００８７】
次に、赤外光変換ブロック６２０および６３０のＳＥＬにオン信号を入力する（Ｔ６）。これより、赤外光変換ブロック６２０および６３０のＭＯＳトランジスタ１５４が導通し、赤外光電荷保持部６２１および６３１に保持された電荷に基づく赤外光信号がそれぞれ出力される。その後、赤外光変換ブロック６２０および６３０のＳＥＬへのオン信号の入力を停止し、距離計測期間を終了する（Ｔ７）。
【００８８】
上述のように、赤外光変換ブロック６２０のＺａおよびＺｃでは、出射赤外光に同期した光電変換が行われる。すなわち、図６において説明した第１の露光期間がＺａおよびＺｃに設定される。一方、赤外光変換ブロック６３０のＺｂおよびＺｄでは、出射赤外光に対して１８０°位相がずれた期間において光電変換が行われる。すなわち、図６において説明した第２の露光期間がＺｂおよびＺｄに適用される。これらＺ画素からの赤外光信号に基づいて、距離計測部５０が被写体との距離を算出する。
【００８９】
このように、赤外光変換ブロック６２０では、電荷転送部１２２および１４２が同時に導通状態になり、２個の光電変換部１２１および１４１によりそれぞれ生成された電荷がまとめて同時（Ｔ３）に赤外光電荷保持部６２１に保持される。同様に、赤外光変換ブロック６３０では、電荷転送部１１３および１３３が同時に導通状態になり、２個の光電変換部１１１および１３１によりそれぞれ生成された電荷がまとめて同時（Ｔ４）に赤外光電荷保持部６３１に保持される。すなわち、複数の赤外光変換部によりそれぞれ生成された電荷がまとめて同時に赤外光電荷保持部に保持される。なお、電荷転送部１２２および１４２は、特許請求の範囲に記載の赤外光電荷転送部の一例である。
【００９０】
一方、赤外光変換ブロック６２０のＧ画素およびＲ画素は、図９において説明した撮像方法が適用されて、可視光信号が生成される。すなわち、これらの画素に含まれる可視光変換部によりそれぞれ生成された電荷は、それぞれ異なる期間に排他的に赤外光電荷保持部６２１に保持される。これは、赤外光変換ブロック６３０のＢ画素およびＧ画素においても同様である。
【００９１】
［距離の計測手順］
図１１は、本技術の第１の実施の形態における距離の計測処理手順の一例を示す図である。同図の処理は、撮像システム１において、距離の計測を行う際に実行される。図７において説明した符号を用いて処理の手順を説明する。
【００９２】
まず、赤外光出射部６０が被写体に対して赤外光を出射する（ステップＳ９０１）。次に、第１の露光期間が設定された赤外光変換ブロック６２０により、赤外光の露光が行われる（ステップＳ９０２）。所定の露光期間の経過後、この露光により生成された電荷が赤外光電荷保持部６２１に保持され（ステップＳ９０３）、赤外光出射部６０による赤外光の出射が停止される（ステップＳ９０４）。次に、第２の露光期間が設定された赤外光変換ブロック６３０により、赤外光の露光が行われ（ステップＳ９０５）、生成された電荷が赤外光電荷保持部６３１に保持される（ステップＳ９０６）。次に、所定の露光回数に達したか否かが判断される（ステップＳ９０７）。所定の露光回数に達していない場合には（ステップＳ９０７：Ｎｏ）、ステップＳ９０１からの処理を再度実行する。
【００９３】
一方、所定の露光回数に達していた場合には（ステップＳ９０７：Ｙｅｓ）、赤外光電荷保持部６２１および６３１に保持された電荷に基づく赤外光信号が生成される（ステップＳ９０８）。最後に、距離計測部５０が生成された赤外光信号に基づいて距離の算出を行う（ステップＳ９０９）。
【００９４】
本技術の第１の実施の形態では、図７において説明したように、画素群６６０のＺａおよびＺｃとＺｂおよびＺｄとに、それぞれ第１の露光期間および第２の露光期間が設定されて露光が行われる。これにより、第１の露光期間および第２の露光期間に基づく赤外光信号を同時に取得することができ、距離計測期間を短縮することができる。また、可視光画素における可視光変換部の受光面と同じサイズの受光面を有する２個の赤外光変換部を見かけ上並列に接続して使用し、光電変換を行うことにより、赤外光変換部の感度を高くすることができる。光電変換部の感度、すなわち単位時間当たりの電荷生成量は、光電変換部の受光面積に比例するためである。
【００９５】
可視光変換部の２倍の面積の赤外光変換部を構成しても感度を高めることは可能である。しかし、大面積の光電変換部では、電荷転送部による電荷の転送に要する時間が長くなるという問題がある。図５において説明した光電変換部１４１のｎ型半導体領域５１２において、蓄積された電荷の移動は、主に電荷の拡散によりなされるためである。これに対し、本技術の第１の実施の形態では、上述のように、可視光画素における可視光変換部の受光面と同じサイズの受光面を有する赤外光変換部を２個使用しており、電荷の転送に要する時間を可視光変換部と同じにすることができる。
【００９６】
また、図７の赤外光変換ブロック６２０と６３０とは隣接して配置されている。そのため、これらの赤外光変換ブロックにより生成された赤外光信号は、同一の被写体に基づく赤外光信号とみなすことができる。赤外光変換ブロック６２０および６３０が離れて配置された場合と比べ、距離の計測の精度を向上させることができる。
【００９７】
また、可視光変換ブロックは、４個の可視光画素により構成されるとともにベイヤー配列に構成されている。これに対し、本技術の第１の実施の形態における画素群６６０も４個のＺ画素により構成されている。これにより、画素アレイ部１００に対するＺ画素の配置を容易にすることができる。画素アレイ部１００の可視光画素を赤外光画素に置き換えることにより、固体撮像装置２０は構成される。この際、可視光変換ブロックとＺ画素の画素群６６０とが同数であることから、画素アレイ部１００全体に対するＲ画素、Ｇ画素およびＢ画素の比率を変更することなく、置き換えることができるためである。
【００９８】
さらに、本技術の第１の実施の形態では、Ｚ画素と可視光画素とを略等しい大きさにしている。これにより、カラーフィルタの構成を除いて、Ｚ画素と可視光画素とは半導体基板における拡散層の構成や配線パターン等を共用することができるため、同一の設計ルールに基づいて製造することができる。
【００９９】
このように、本技術の第１の実施の形態によれば、可視光画素と略等しい大きさの２個のＺ画素を並列に使用することにより、Ｚ画素の感度を向上させることができる。これにより、距離計測の精度を向上させることができる。
【０１００】
［変形例］
上述の実施の形態では、可視光画素としてＲ画素、Ｇ画素およびＢ画素の３画素により、可視光変換ブロックを構成していたが、白色光に対応するＷ画素を加えた４画素により構成してもよい。例えば、ベイヤー配列における２個のＧ画素のうちの１個の画素をＷ画素に置き換えた構成にすることができる。
【０１０１】
図１２は、本技術の第１の実施の形態の変形例における可視光変換ブロックを例示する図である。同図においてＷの文字が記載された画素がＷ画素に該当し、当該画素には白色光を透過させるカラーフィルタが配置されている。同図においても、可視光変換ブロック６１１とＺ画素の画素群６６０とが同数になり、画素アレイ部１００全体に対するＲ画素、Ｇ画素、Ｂ画素およびＷ画素の比率を変更することなく、可視光画素を赤外光画素に置き換えることができる。
【０１０２】
＜第２の実施の形態＞
上述の実施の形態では、２個のＺ画素と２個の可視光画素とにより構成された赤外光変換ブロックを使用して距離の計測を行っていた。これに対し、本技術の第２の実施の形態では、４個のＺ画素により構成された赤外光変換ブロックにより距離の計測を行う。これにより、Ｚ画素に接続する信号線の本数を削減することができる。
【０１０３】
［固体撮像装置の動作］
図１３は、本技術の第２の実施の形態における赤外光変換ブロックを例示する図である。同図の赤外光変換ブロック６２０は、全ての画素がＺ画素により構成されている点で、図７において説明した赤外光変換ブロック６２０と異なる。すなわち、図７におけるＺ画素による画素群６６０と赤外光変換ブロック６２０の画素とが一致した構成となっている。このため、同図の赤外光変換ブロック６２０のＺ画素では、電荷転送部やオーバーフロードレインを４画素同時に動作させることができる。４個のＺ画素を使用して赤外光信号を生成するため、Ｚ画素の感度を高めることができ、距離計測の精度を向上させることができる。これ以外の固体撮像装置２０および撮像システム１の構成は本技術の第１の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。
【０１０４】
図１４は、本技術の第２の実施の形態における撮像期間および距離計測期間の関係を示す図である。本技術の第２の実施の形態では、撮像期間の後に２度の距離計測期間である第１の距離計測期間および第２の距離計測期間が実行される点で、図８において説明した距離計測期間と異なる。
【０１０５】
［撮像方法］
図１５は、本技術の第２の実施の形態における撮像方法を示す図である。前述のように赤外光変換ブロック６２０の全てのＺ画素の電荷転送部およびオーバーフロードレインに対して同じ信号が入力される。同図の第１の距離計測期間および第２の距離計測期間の操作はそれぞれ図１０において説明した赤外光変換ブロック６２０および６３０における操作と同様であるため、説明を省略する。
【０１０６】
このように、本技術の第２の実施の形態によれば、４個のＺ画素により構成された赤外光変換ブロックにより距離の計測を行うことにより、Ｚ画素に供給する信号を共通にすることができる。これにより、信号線の本数を削減することができる。
【０１０７】
＜第３の実施の形態＞
上述の第１の実施の形態では、２個のＺ画素と２個の可視光変換画素とにより構成された赤外光変換ブロックを使用して距離の計測を行っていた。これに対し、本技術の第３の実施の形態では、１個のＺ画素と３個の可視光変換画素とにより構成された赤外光変換ブロックにより距離の計測を行う。これにより、反射赤外光の露光を４相に分けて行う方式の距離計測方法を使用することができる。
【０１０８】
［固体撮像装置の動作］
図１６は、本技術の第３の実施の形態における赤外光変換ブロックを例示する図である。同図の赤外光変換ブロック６２０、６３０、６４０および６５０は、１個のＺ画素と３個の可視光変換画素とにより構成されている点で、図７において説明した赤外光変換ブロック６２０および６３０と異なる。また、同図におけるＺ画素による画素群６６０は、これら４個の赤外光変換ブロックにまたがって配置されるとともに、２つのラインにまたがって配置される。これ以外の固体撮像装置２０および撮像システム１の構成は本技術の第１の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。
【０１０９】
［距離の計測の原理］
図１７は、本技術の第３の実施の形態における距離の計測方法を示す図である。同図に表した距離の計測方法では、正弦波により振幅変調された赤外光を出射し、反射赤外光の位相遅れを計測することにより、距離を計測する。同図におけるａは、これら出射赤外光および反射赤外光の関係を表したものである。出射赤外光を同図におけるａの正のｘ軸方向に取ると、反射赤外光は被写体との距離に応じて遅れた位相の波形となる。この遅れをφにより表すと、φは次式により表される。
φ＝ｔａｎ−１（ｑ／ｒ）
ただし、ｑは反射波の波高値を表し、ｒは９０°進み位相における反射波の波高値を表している。
【０１１０】
同図におけるｂは、これらｑおよびｒの取得方法を表したものである。出射赤外光の１周期における９０°の位相ごとに反射赤外光の波高値を計測する。これらをｐ１乃至４により表すと、ｑおよびｒは次式により表される。
ｑ＝｜（ｐ１−ｐ３）／２｜
ｒ＝｜（ｐ２−ｐ４）／２｜
このように、ｐ１およびｐ３と、ｐ２およびｐ４とにおいてそれぞれの差分を算出することにより、反射赤外光以外の赤外光の影響を除去することができる。φは次式により算出することができる。
φ＝ｔａｎ−１｜（ｐ１−ｐ３）／（ｐ２−ｐ４）｜
図６において説明したＤは、次のように算出することができる。
Ｄ＝Ｔ×φ／２π
【０１１１】
次に、式１を用いて被写体までの距離Ｌを算出する。ここで、ｐ１乃至４は、出射赤外光の１周期に対して９０°毎に区切って露光を行い、生成された電荷を蓄積して赤外光信号に変換することにより取得することができる。同図におけるｂには、これらを第１乃至第４の露光期間として表している。
【０１１２】
上述のように、同図に表した距離の計測方法では、４個のＺ画素を用い、差分を算出して距離の計測を行うため、反射赤外光以外の赤外光の影響を除去することができる。このため、図６において説明した距離の計測方法と比較して、精度の高い計測を行うことができる。
【０１１３】
［撮像方法］
図１８は、本技術の第３の実施の形態における撮像方法を示す図である。同図のＺａ、Ｚｂ、ＺｃおよびＺｄのそれぞれに、図１７において説明した第１乃至第４の露光期間が設定された場合を想定する。まず、赤外光変換ブロック６２０、６３０、６４０および６５０のＲＳＴにオン信号を入力し、赤外光電荷保持部６２１、６３１、６４１および６５１に保持されていた電荷を排出する（Ｔ１）。なお、以降の説明では、赤外光変換ブロックの名称を省略して記載する。
【０１１４】
このＲＳＴへの信号入力と同時に、ＯＦＤ４、ＯＦＤ３、ＯＦＤ２およびＯＦＤ１にオン信号を入力し、光電変換部１１１、１２１、１３１および１４１をリセットする。リセット終了後にＲＳＴ、ＯＦＤ１乃至４へのオン信号の入力を停止する（Ｔ２）。
【０１１５】
次に、赤外光の出射を開始し、ＴＲ４、ＯＦＤ３、ＯＦＤ２およびＯＦＤ１にオン信号を入力する（Ｔ３）。これにより、画素１４０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６２１に蓄積される。
【０１１６】
次に、ＴＲ４およびＯＦＤ３へのオン信号の入力を停止するとともに、ＴＲ３、ＯＦＤ４、ＯＦＤ２およびＯＦＤ１にオン信号を入力する（Ｔ４）。これにより、画素１３０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６３１に蓄積される。
【０１１７】
次に、ＴＲ３およびＯＦＤ２へのオン信号の入力を停止するとともに、ＴＲ２、ＯＦＤ４、ＯＦＤ３およびＯＦＤ１にオン信号を入力する（Ｔ５）。これにより、画素１２０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６４１に蓄積される。
【０１１８】
次に、ＴＲ２およびＯＦＤ１へのオン信号の入力を停止するとともに、ＴＲ１、ＯＦＤ４、ＯＦＤ３およびＯＦＤ２にオン信号を入力する（Ｔ６）。これにより、画素１１０において反射赤外光に基づく露光が行われ、電荷が赤外光電荷保持部６５１に蓄積される。
【０１１９】
次に、ＴＲ１およびＯＦＤ４へのオン信号の入力を停止する（Ｔ７）。以後、Ｔ３乃至Ｔ６の動作を所定の回数繰り返す。これにより、赤外光電荷保持部６２１、６３１、６４１および６５１には、反射赤外光に基づく電荷が蓄積されていく。
【０１２０】
次に、赤外光変換ブロック６２０および６３０のＳＥＬにオン信号を入力する（Ｔ８）。これにより、赤外光電荷保持部６２１および６３１に保持された電荷に基づく赤外光信号が生成される。次に、赤外光変換ブロック６２０および６３０のＳＥＬへのオン信号の入力を停止するとともに、赤外光変換ブロック６４０および６５０のＳＥＬにオン信号を入力する（Ｔ９）。これにより、赤外光電荷保持部６４１および６５１に保持された電荷に基づく赤外光信号が生成される。図１６において説明したように、Ｚ画素による画素群６６０は２つのラインにまたがって配置されているため、ＳＥＬの信号を１ライン毎に入力して赤外光信号を取得する必要がある。その後、赤外光変換ブロック６４０および６５０のＳＥＬへのオン信号の入力を停止し、距離計測期間を終了する（Ｔ１０）。
【０１２１】
上述の赤外光電荷保持部６２１、６３１、６４１および６５１に保持された電荷に基づく赤外光信号を取得することにより、９０°位相をずらした赤外光信号を得ることができる。これらの赤外光信号に基づいて距離計測部５０が被写体との距離を算出する。
【０１２２】
このように、本技術の第３の実施の形態によれば、反射赤外光の露光を４相に分けて行う方式の距離計測方法を使用することができる。これにより、反射赤外光以外の赤外光の影響を除去することが可能になり、距離計測の精度を向上させることができる。
【０１２３】
＜第４の実施の形態＞
上述の第３の実施の形態では、画素群６６０のＺ画素が隣接して配置されていた。これに対し、本技術の第４の実施の形態では、赤外光変換ブロックにおけるベイヤー配列のうちのＧ画素の位置にＺ画素が配置される。これにより、デモザイク処理を容易にすることができる。
【０１２４】
［固体撮像装置の動作］
図１９は、本技術の第４の実施の形態における赤外光変換ブロックを例示する図である。同図の赤外光変換ブロック６２０、６３０、６４０および６５０は、１個のＺ画素と３個の可視光変換画素により構成されている。しかし、Ｚ画素がそれぞれの光電変換ブロックのベイヤー配列におけるＧ画素の位置に配置されている点で、図１６において説明した赤外光変換ブロック６２０、６３０、６４０および６５０と異なる。これ以外の固体撮像装置２０および撮像システム１の構成は本技術の第３の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。また、距離計測方法には、本技術の第３の実施の形態と同様に反射赤外光の露光を４相に分けて行う方式の距離計測方法を採用することができる。
【０１２５】
前述のように、画像処理部４０では、固体撮像装置２０から出力された可視光信号に対するデモザイク処理が行うことができる。このデモザイク処理は、各画素における不足する色の信号を補間する処理であり、Ｚ画素に適用する際には、赤色光、緑色光および青色光の３つに対応する信号を補間する必要がある。この補間は、該当する色に対応する可視光画素のうち、Ｚ画素の周囲に配置された可視光画素により出力された可視光信号の平均値を算出することにより行うことができる。しかし、Ｚ画素における緑色光に対応する可視光信号については、同じ赤外光変換ブロックに含まれるＧ画素の信号を用いて補間を行うことができる。これにより、緑色光に対応する可視光信号のデモザイク処理を簡略化することができる。
【０１２６】
このように、本技術の第４の実施の形態によれば、ベイヤー配列におけるＧ画素の位置にＺ画素を配置することにより、デモザイクの際に同じ赤外光変換ブロックに含まれるＧ画素の可視光信号を用いて補間することができる。これにより、可視光信号のデモザイク処理を簡略化することができる。
【０１２７】
＜５．第５の実施の形態＞
上述の、本技術の第４の実施の形態では、Ｚ画素において生成された電荷は、１組の電荷転送部および電荷保持部により転送され、保持されていた。これに対し、本技術の第５の実施の形態では、２組の電荷転送部および電荷保持部を使用する。これにより、距離計測の精度を高めることができる。
【０１２８】
［画素の配置］
図２０は、本技術の第５の実施の形態における画素の配置例を示す図である。同図のＺ画素（Ｚａ）である画素１４０は、電荷転送部１４４および電荷保持部１５５をさらに備える点で、図４において説明したＺ画素１４０と異なる。なお、同図に表された他のＺ画素（Ｚｂ、ＺｃおよびＺｄ）についても同様である。
【０１２９】
［画素の回路構成］
図２１は、本技術の第５の実施の形態における画素の構成例を示す図である。同図は、赤外光変換ブロックのうち、Ｚ画素１４０、信号生成部１５０ならびに電荷保持部１５１および１５５の回路構成を表したものである。
【０１３０】
同図の画素１４０は、オーバーフロードレイン１４３を備える必要はない。代わりに電荷転送部１４４をさらに備える。また、信号線１０１は、ＯＦＤ４の代わりにＴＲ５を備えている。このＴＲ５（Transfer 5）は、電荷転送部１４４に制御信号を伝達する信号線である。同図に表したように、光電変換部１４１のアノードは接地され、カソードは電荷転送部１４２および１４４のソースに接続される。電荷転送部１４２および１４４のゲートは、それぞれＴＲ４および５に接続される。電荷転送部１４２のドレインは、図３で説明した画素１４０と同様に電荷保持部１５１の一端に接続される。一方、電荷転送部１４４のドレインは、電荷保持部１５５の一端に接続される。
【０１３１】
信号生成部１５０は、ＭＯＳトランジスタ１５６乃至１５８をさらに備える点で、図３において説明した信号生成部１５０と異なる。同図に表したように、ＭＯＳトランジスタ１５６および１５７のドレインは、Ｖｄｄに接続される。ＭＯＳトランジスタ１５６のソースおよびＭＯＳトランジスタ１５７のゲートは、前述の電荷転送部１４４のドレインが接続された電荷保持部１５５の一端に接続される。電荷保持部１５５の他の一端は、接地される。ＭＯＳトランジスタ１５７のソースはＭＯＳトランジスタ１５８のドレインに接続され、ＭＯＳトランジスタ１５８のソースは信号線１０２に接続される。同図に表したように、信号線１０２は、２本の信号線により構成され、それぞれＭＯＳトランジスタ１５４および１５８により出力された信号を伝達する。ＭＯＳトランジスタ１５６およびＭＯＳトランジスタ１５８のゲートは、それぞれ信号線ＲＳＴおよびＳＥＬに接続される。
【０１３２】
ＭＯＳトランジスタ１５７は、電荷保持部１５５に保持された電荷に応じた信号を生成するＭＯＳトランジスタである。ＭＯＳトランジスタ１５８は、ＭＯＳトランジスタ１５７により生成された信号を画像信号として信号線１０２に出力するＭＯＳトランジスタである。ＭＯＳトランジスタ１５６は、電荷保持部１５５に保持された電荷を排出するＭＯＳトランジスタである。
【０１３３】
このように、同図の画素１４０では、光電変換部１４１により生成された電荷を電荷保持部１５１および１５５に分けて転送することができる。これ以外の画素の構成は、図３において説明した画素等の構成と同様であるため、説明を省略する。また、本技術の第５の実施の形態における距離の計測方法には、図６において説明した距離の計測方法を使用することができる。これ以外の固体撮像装置２０および撮像システム１の構成は、本技術の第１の実施の形態の固体撮像装置２０および撮像システム１と同様であるため、説明を省略する。
【０１３４】
［撮像方法］
図２２は、本技術の第５の実施の形態における撮像方法を示す図である。同図は、図２０において説明した画素１４０における入力信号と出力信号との関係等を表したものである。
【０１３５】
まず、ＲＳＴ、ＴＲ４およびＴＲ５にオン信号を入力する（Ｔ１）。これにより、光電変換部１４１がリセットされ、電荷保持部１５１および１５５に保持された電荷が排出される。リセット終了後、上述のＲＳＴ、ＴＲ４およびＴＲ５へのオン信号の入力が停止される（Ｔ２）。
【０１３６】
次に、赤外光出射部６０から赤外光を出射させるとともに、ＴＲ４にオン信号を入力する（Ｔ３）。これにより、光電変換部１４１により生成された反射赤外光に基づく電荷が電荷保持部１５１に保持される。
【０１３７】
次に、赤外光出射部６０による赤外光の出射を停止させるとともに、ＴＲ４へのオン信号の入力を停止する。同時に、ＴＲ５にオン信号を入力する（Ｔ４）。これにより、光電変換部１４１により生成された反射赤外光に基づく電荷が電荷保持部１５５に保持される。
【０１３８】
以後、Ｔ３およびＴ４の操作を所定の回数繰り返す。これにより、電荷保持部１５１および１５５には、反射赤外光に基づく電荷が蓄積されていく。
【０１３９】
次に、ＳＥＬにオン信号を入力する（Ｔ６）。これにより、電荷保持部１５１および１５５に保持された電荷に基づく赤外光信号がそれぞれ出力される。その後、ＳＥＬへのオン信号の入力を停止し、距離計測期間を終了する（Ｔ７）。出力された赤外光信号に基づいて、距離計測部５０により、距離が算出される。
【０１４０】
なお、赤外光の受光感度が不足する場合には、Ｚｂ、ＺｃおよびＺｄにおいても同様に赤外光信号を生成し、これらを加算して距離の算出に使用することも可能である。
【０１４１】
このように、電荷保持部１５１には、出射赤外光に同期した光電変換に基づく電荷が蓄積される。一方、電荷保持部１５５には、出射赤外光と１８０°位相がずれたタイミングで光電変換が行われ、電荷が蓄積される。すなわち、図６において説明した第１および第２の露光期間を１個の画素により実行することができる。このため、第１および第２の露光期間を異なる画素により実行する場合と比較して、光電変換における感度のばらつき等の影響を低減することができ、距離計測の精度を向上させることができる。また、光電変換部１４１により生成された電荷は、全て電荷保持部１５１および１５５に転送されるため、画素１４０は、オーバーフロードレインを設ける必要はない。
【０１４２】
このように、本技術の第５の実施の形態によれば、距離の計測に必要な２つの赤外光信号を１個の画素により生成することができる。これにより、光電変換における感度のばらつき等の影響を低減することができるため、距離計測の精度を向上させることができる。
【０１４３】
［変形例］
上述の本技術の第５の実施の形態では、ベイヤー配列のうちのＧ画素の位置にＺ画素が配置される赤外光変換ブロックに対して、Ｚ画素の電荷転送部と電荷保持部とを追加して距離の計測を行っていた。これに対し、本技術の第１の実施の形態におけるＺ画素に電荷転送部と電荷保持部とをそれぞれ追加して距離の計測を行ってもよい。具体的には、図４において説明した画素１２０の光電変換部１２１および画素１４０の光電変換部１４１に電荷転送部を追加する。この追加した電荷転送部が共通に接続される電荷保持部をさらに備える構成にする。これにより、光電変換における感度のばらつき等の影響を低減することができるため、赤外光変換ブロックが２個の赤外光変換部と２個の可視光変換部とにより構成される場合において、距離計測の精度を向上させることができる。
【０１４４】
なお、上述の実施の形態は本技術を具現化するための一例を示したものであり、実施の形態における事項と、特許請求の範囲における発明特定事項とはそれぞれ対応関係を有する。同様に、特許請求の範囲における発明特定事項と、これと同一名称を付した本技術の実施の形態における事項とはそれぞれ対応関係を有する。ただし、本技術は実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において実施の形態に種々の変形を施すことにより具現化することができる。
【０１４５】
また、上述の実施の形態において説明した処理手順は、これら一連の手順を有する方法として捉えてもよく、また、これら一連の手順をコンピュータに実行させるためのプログラム乃至そのプログラムを記憶する記録媒体として捉えてもよい。この記録媒体として、例えば、ＣＤ（Compact Disc）、ＭＤ（MiniDisc）、ＤＶＤ（Digital Versatile Disc）、メモリカード、ブルーレイディスク（Blu-ray（登録商標）Disc）等を用いることができる。
【０１４６】
なお、本明細書に記載された効果はあくまで例示であって、限定されるものではなく、また、他の効果があってもよい。
【０１４７】
なお、本技術は以下のような構成もとることができる。
（１）可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、
前記可視光変換部の前記受光面と略等しいサイズであるとともに赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと
を具備する固体撮像装置。
（２）前記可視光変換ブロックは、４個の前記可視光変換部と前記可視光電荷保持部とを備える前記（１）に記載の固体撮像装置。
（３）前記赤外光変換ブロックは、４個の前記赤外光変換部と前記赤外光電荷保持部とを備える前記（２）に記載の固体撮像装置。
（４）前記赤外光変換ブロックは、
２個の前記赤外光変換部と、
２個の前記可視光変換部と、
前記２個の赤外光変換部により生成された前記電荷を保持する際には前記２個の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持し、前記２個の可視光変換部により生成された前記電荷を保持する際には前記２個の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する前記赤外光電荷保持部と
を備える
前記（２）に記載の固体撮像装置。
（５）前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記可視光変換部である青色光変換部とがベイヤー配列形状に配置された前記４個の可視光変換部と前記可視光電荷保持部とを備える前記（２）から（４）のいずれかに記載の固体撮像装置。
（６）前記可視光変換ブロックは、赤色光に応じた前記電荷を生成する前記可視光変換部である赤色光変換部と緑色光に応じた前記電荷を生成する前記可視光変換部である緑色光変換部と青色光に応じた前記電荷を生成する前記可視光変換部である青色光変換部と白色光に応じた前記電荷を生成する前記可視光変換部である白色光変換部と前記可視光電荷保持部とを備える前記（２）から（４）のいずれかに記載の固体撮像装置。
（７）前記赤外光変換ブロックは、前記複数の赤外光変換部と前記赤外光電荷保持部との間を同時に導通させて前記複数の赤外光変換部によりそれぞれ生成された前記電荷を前記赤外光電荷保持部に転送する赤外光電荷転送部をさらに備える前記（１）から（６）のいずれかに記載の固体撮像装置。
（８）前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成部をさらに具備する前記（１）から（７）のいずれかに記載の固体撮像装置。
（９）被写体に赤外光を出射する赤外光出射部と、
可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックと、
前記可視光変換部の前記受光面と略等しいサイズであるとともに前記出射されて前記被写体により反射された赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックと、
前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成部と、
前記赤外光出射部における前記出射から前記赤外光変換ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測部と
を具備する撮像システム。
（１０）被写体に赤外光を出射する赤外光出射手順と、
可視光を受光する受光面が配置されて前記受光した前記可視光の受光量に応じた電荷を生成する複数の可視光変換部と前記複数の可視光変換部によりそれぞれ生成された前記電荷をそれぞれ異なる期間に排他的に保持する可視光電荷保持部とを備える可視光変換ブロックにおける前記可視光変換部の前記受光面と略等しいサイズであるとともに前記出射されて前記被写体により反射された赤外光を受光する受光面が配置されて前記受光した前記赤外光の受光量に応じた電荷を生成する複数の赤外光変換部と前記複数の赤外光変換部によりそれぞれ生成された前記電荷をまとめて同時に保持する赤外光電荷保持部とを備える赤外光変換ブロックにおいて前記赤外光電荷保持部に保持された前記電荷に応じた信号を生成する赤外光信号生成手順と、
前記赤外光の出射から前記赤外ブロックの前記赤外光変換部における前記受光までの時間を前記生成された前記信号に基づいて計測することにより前記被写体との距離を計測する距離計測手順と
を具備する距離計測方法。
【符号の説明】
【０１４８】
１  撮像システム
１０  レンズ
２０  固体撮像装置
３０  信号処理部
４０  画像処理部
５０  距離計測部
６０  赤外光出射部
１００  画素アレイ部
１１０、１２０、１３０、１４０、１６０、１７０、１８０、１９０  画素
１１１、１２１、１３１、１４１、１６１、１７１、１８１、１９１  光電変換部
１１２、１２３、１３２、１４３  オーバーフロードレイン
１１３、１２２、１３３、１４２、１４４  電荷転送部
１１９、１２９、１３９、１４９  カラーフィルタ
１５０  信号生成部
１５１、１５５、１５９  電荷保持部
１５２〜１５４、１５６〜１５８  ＭＯＳトランジスタ
２００  垂直駆動部
３００  水平転送部
４００  アナログデジタル変換器
６１０  可視光変換ブロック
６１１  可視光電荷保持部
６２０、６３０、６４０、６５０  赤外光変換ブロック
６２１、６３１、６４１、６５１  赤外光電荷保持部
【図１】
2020188275.tif 000003
【図２】
2020188275.tif 000004
【図３】
2020188275.tif 000005
【図４】
2020188275.tif 000006
【図５】
2020188275.tif 000007
【図６】
2020188275.tif 000008
【図７】
2020188275.tif 000009
【図８】
2020188275.tif 000010
【図９】
2020188275.tif 000011
【図１０】
2020188275.tif 000012
【図１１】
2020188275.tif 000013
【図１２】
2020188275.tif 000014
【図１３】
2020188275.tif 000015
【図１４】
2020188275.tif 000016
【図１５】
2020188275.tif 000017
【図１６】
2020188275.tif 000018
【図１７】
2020188275.tif 000019
【図１８】
2020188275.tif 000020
【図１９】
2020188275.tif 000021
【図２０】
2020188275.tif 000022
【図２１】
2020188275.tif 000023
【図２２】
2020188275.tif 000024