(57)【要約】【課題】本発明は、被写体の三次元カラー画像を撮像可能なビデオカメラに用いられるＣＭＯＳイメージセンサにおいて、被写体の二次元カラー画像と被写体の奥行き値とを１チップにより容易に取得できるようにすることを最も主要な特徴としている。【解決手段】たとえば、半導体基板上にＲＧＢ画像取得用画素とは独立して配置されるＤｅｐｔｈ情報取得用画素１３において、ＬＥＤ非発光時の電荷（外光成分）を転送／蓄積するための第１のリード用トランジスタ１３ａおよび第１の蓄積用トランジスタ１３ｃと、ＬＥＤ発光時の電荷（ＬＥＤ成分＋外光成分）を転送／蓄積するための第２のリード用トランジスタ１３ｂおよび第２の蓄積用トランジスタ１３ｄとが、１つのフォトダイオードＰＤ２に対して並列に接続されてなる構成となっている。【選択図】      図３
2005175392.tif 000002
【特許請求の範囲】
【請求項１】
半導体基板上に、ｎ画素×（ｎ＋ｍ）画素を１単位として設けられ、被写体の二次元カラー画像を撮像する複数の撮像用画素と、
前記半導体基板上に、前記複数の撮像用画素とは独立して設けられ、前記被写体の奥行き値を取得するための、少なくとも１つの奥行き情報取得用画素と、
前記半導体基板上に設けられ、前記被写体に光を照射した際の、前記少なくとも１つの奥行き情報取得用画素の出力と、前記被写体に光を照射しない際の、前記少なくとも１つの奥行き情報取得用画素の出力との差分により、前記被写体の奥行き値を算出する差分回路と
を具備し、
前記少なくとも１つの奥行き情報取得用画素が、
前記被写体の光学像を電気信号として蓄積する第１の光電変換蓄積部と、
前記第１の光電変換蓄積部に蓄積された前記電気信号を読み出す第１および第２のリード用トランジスタと、
前記第１のリード用トランジスタによって前記第１の光電変換蓄積部より読み出された、前記被写体に光を照射しない際の、前記電気信号を蓄積するための第１の電荷蓄積部と、
前記第２のリード用トランジスタによって前記第１の光電変換蓄積部より読み出された、前記被写体に光を照射した際の、前記電気信号を蓄積するための第２の電荷蓄積部と、
前記第１および第２の電荷蓄積部に共通に接続された出力用トランジスタと
を備えてなることを特徴とする固体撮像装置。
【請求項２】
前記少なくとも１つの奥行き情報取得用画素は、
さらに、
前記出力用トランジスタに転送された前記電気信号を増幅する第１の増幅用トランジスタと、
前記第１の増幅用トランジスタの制御電極の電位に応じた出力を出力信号線に出力させるための第１の選択用トランジスタと、
前記第１の増幅用トランジスタの制御電極の電位をリセットする第１のリセット用トランジスタと
を備えることを特徴とする請求項１に記載の固体撮像装置。
【請求項３】
前記複数の撮像用画素は、
それぞれ、
前記被写体の光学像を電気信号として蓄積する第２の光電変換蓄積部と、
前記第２の光電変換蓄積部に蓄積された前記電気信号を読み出す第３のリード用トランジスタと、
前記第３のリード用トランジスタによって前記第２の光電変換蓄積部より読み出された前記電気信号を増幅する第２の増幅用トランジスタと、
前記第２の増幅用トランジスタの制御電極の電位に応じた出力を出力信号線に出力させるための第２の選択用トランジスタと、
前記第２の増幅用トランジスタの制御電極の電位をリセットする第２のリセット用トランジスタと
を備えてなることを特徴とする請求項１に記載の固体撮像装置。
【請求項４】
前記半導体基板上には、前記複数の撮像用画素が前記ｎ画素×（ｎ＋ｍ）画素を１単位として水平方向に配置され、かつ、前記ｎ画素×（ｎ＋ｍ）画素を１単位とする前記複数の撮像用画素および前記少なくとも１つの奥行き情報取得用画素が垂直方向に交互に配置されるとともに、
さらに、
前記垂直方向に交互に配置された、前記複数の撮像用画素を選択的に駆動する第１の垂直駆動回路と、
前記垂直方向に交互に配置された、前記少なくとも１つの奥行き情報取得用画素を選択的に駆動する第２の垂直駆動回路と、
前記水平方向に配置された、前記複数の撮像用画素を選択的に駆動する第１の水平駆動回路と、
前記第１，第２の垂直駆動回路および前記第１の水平駆動回路を制御するタイミング回路と
が設けられていることを特徴とする請求項１に記載の固体撮像装置。
【請求項５】
被写体に光を照射するための光源と、
半導体基板上に、ｎ画素×（ｎ＋ｍ）画素を１単位として設けられ、前記被写体の二次元カラー画像を撮像する複数の撮像用画素と、
前記半導体基板上に、前記複数の撮像用画素とは独立して設けられ、前記被写体の奥行き値を取得するための、少なくとも１つの奥行き情報取得用画素と、
前記半導体基板上に設けられ、前記被写体に前記光源からの光を照射した際の、前記少なくとも１つの奥行き情報取得用画素の出力と、前記被写体に前記光源からの光を照射しない際の、前記少なくとも１つの奥行き情報取得用画素の出力との差分により、前記被写体の奥行き値を算出する差分回路と、
前記複数の撮像用画素によって撮像された前記被写体の二次元カラー画像と前記差分回路により算出された前記被写体の奥行き値とを合成し、前記被写体の三次元カラー画像を得る合成回路と
を具備し、
前記少なくとも１つの奥行き情報取得用画素が、
前記被写体の光学像を電気信号として蓄積する第１の光電変換蓄積部と、
前記第１の光電変換蓄積部に蓄積された前記電気信号を読み出す第１および第２のリード用トランジスタと、
前記第１のリード用トランジスタによって前記第１の光電変換蓄積部より読み出された、前記被写体に前記光源からの光を照射しない際の、前記電気信号を蓄積するための第１の電荷蓄積部と、
前記第２のリード用トランジスタによって前記第１の光電変換蓄積部より読み出された、前記被写体に前記光源からの光を照射した際の、前記電気信号を蓄積するための第２の電荷蓄積部と、
前記第１および第２の電荷蓄積部に共通に接続された出力用トランジスタと
を備えてなることを特徴とする撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置およびそれを利用した撮像システムに関するもので、特に、被写体の三次元カラー画像を撮像可能なビデオ（デジタルムービー）カメラ、および、それに用いられるＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサに関する。
【背景技術】
【０００２】
従来、光学系により結像された光学像を電気信号に変換するための光電変換セル（画素）のいくつかを、オートフォーカス（ＡＦ）のための測距などに利用するようにした固体撮像装置が提案されている（たとえば、特許文献１参照）。これは、二次元的に配列された複数の光電変換セルのうち、一部のセルについて、マイクロレンズの中心に対し、遮光膜の開口のピッチを上側または下側にずらして形成する。つまり、フォーカスがずれた状態で被写体を撮像した場合に、信号のピークの位置が上方向または下方向にずれる二種類の測距用画素を構成する。このような測距用画素を、通常の撮像用画素に混在させて配置することにより、１チップによって、被写体の二次元カラー画像（光学像）の撮像と被写体までの距離情報の取得とを可能にしたものである。
【特許文献１】特開２０００−１５６８２３
【発明の開示】
【発明が解決しようとする課題】
【０００３】
上記した構成の固体撮像装置は、たとえば、２画素×２画素を１単位とする撮像用画素のうちの１つを、距離情報を得るための測距用画素として構成し、その測距用画素からの信号を読み出すことによって、ＡＦのための測距を可能にしたものである。すなわち、この固体撮像装置の場合、１チップにより、被写体の二次元カラー画像の撮像と距離情報の取得とが可能となっている。しかしながら、この固体撮像装置では、立体画像である被写体の三次元カラー画像を撮像することはできない。
【０００４】
上記したように、従来においては、１チップによって被写体の二次元カラー画像の撮像と距離情報の取得とが可能な固体撮像装置が提案されているものの、近年、被写体の色情報付きの三次元画像（被写体の三次元カラー画像）を１チップにより撮像することが可能な固体撮像装置およびそれを利用した撮像システムの開発が望まれていた。
【０００５】
本発明の目的は、１チップにより被写体の三次元カラー画像を撮像することが可能な固体撮像装置およびそれを利用した撮像システムを提供することにある。
【課題を解決するための手段】
【０００６】
本願発明の一態様によれば、半導体基板上に、ｎ画素×（ｎ＋ｍ）画素を１単位として設けられ、被写体の二次元カラー画像を撮像する複数の撮像用画素と、前記半導体基板上に、前記複数の撮像用画素とは独立して設けられ、前記被写体の奥行き値を取得するための、少なくとも１つの奥行き情報取得用画素と、前記半導体基板上に設けられ、前記被写体に光を照射した際の、前記少なくとも１つの奥行き情報取得用画素の出力と、前記被写体に光を照射しない際の、前記少なくとも１つの奥行き情報取得用画素の出力との差分により、前記被写体の奥行き値を算出する差分回路とを具備し、前記少なくとも１つの奥行き情報取得用画素が、前記被写体の光学像を電気信号として蓄積する第１の光電変換蓄積部と、前記第１の光電変換蓄積部に蓄積された前記電気信号を読み出す第１および第２のリード用トランジスタと、前記第１のリード用トランジスタによって前記第１の光電変換蓄積部より読み出された、前記被写体に光を照射しない際の、前記電気信号を蓄積するための第１の電荷蓄積部と、前記第２のリード用トランジスタによって前記第１の光電変換蓄積部より読み出された、前記被写体に光を照射した際の、前記電気信号を蓄積するための第２の電荷蓄積部と、前記第１および第２の電荷蓄積部に共通に接続された出力用トランジスタとを備えてなることを特徴とする固体撮像装置が提供される。
【０００７】
また、本願発明の一態様によれば、被写体に光を照射するための光源と、半導体基板上に、ｎ画素×（ｎ＋ｍ）画素を１単位として設けられ、前記被写体の二次元カラー画像を撮像する複数の撮像用画素と、前記半導体基板上に、前記複数の撮像用画素とは独立して設けられ、前記被写体の奥行き値を取得するための、少なくとも１つの奥行き情報取得用画素と、前記半導体基板上に設けられ、前記被写体に前記光源からの光を照射した際の、前記少なくとも１つの奥行き情報取得用画素の出力と、前記被写体に前記光源からの光を照射しない際の、前記少なくとも１つの奥行き情報取得用画素の出力との差分により、前記被写体の奥行き値を算出する差分回路と、前記複数の撮像用画素によって撮像された前記被写体の二次元カラー画像と前記差分回路により算出された前記被写体の奥行き値とを合成し、前記被写体の三次元カラー画像を得る合成回路とを具備し、前記少なくとも１つの奥行き情報取得用画素が、前記被写体の光学像を電気信号として蓄積する第１の光電変換蓄積部と、前記第１の光電変換蓄積部に蓄積された前記電気信号を読み出す第１および第２のリード用トランジスタと、前記第１のリード用トランジスタによって前記第１の光電変換蓄積部より読み出された、前記被写体に前記光源からの光を照射しない際の、前記電気信号を蓄積するための第１の電荷蓄積部と、前記第２のリード用トランジスタによって前記第１の光電変換蓄積部より読み出された、前記被写体に前記光源からの光を照射した際の、前記電気信号を蓄積するための第２の電荷蓄積部と、前記第１および第２の電荷蓄積部に共通に接続された出力用トランジスタとを備えてなることを特徴とする撮像システムが提供される。
【０００８】
上記の構成とした場合、１チップ上に、被写体の奥行き値（三次元画像）を取得するための少なくとも１つの奥行き情報取得用画素を、ｎ画素×（ｎ＋ｍ）画素を１単位とする、被写体の二次元カラー画像を撮像するための通常の撮像用画素とは独立して配置できるようになる。これにより、被写体の二次元カラー画像と三次元画像（距離情報をもった被写体の二次元画像）とを、１チップによって撮像することが可能となるものである。
【０００９】
特に、奥行き情報取得用画素の小面積化とともに、撮像時における外光の変化の影響を最小限に抑えることが可能となるものである。
【発明の効果】
【００１０】
この発明によれば、被写体の二次元カラー画像と三次元画像とを１チップによって撮像できるようになる結果、１チップにより被写体の三次元カラー画像を撮像することが可能な固体撮像装置およびそれを利用した撮像システムを提供できる。
【発明を実施するための最良の形態】
【００１１】
以下、本発明の実施の形態について図面を参照して説明する。
【００１２】
［実施形態］
図１は、この発明の一実施形態にしたがった、ＣＭＯＳイメージセンサ（固体撮像装置）の基本構成を示すものである。ここでは、ｎ画素×（ｎ＋ｍ）画素からなる１単位分の撮像用画素の数を“４（この場合、ｎ＝２，ｍ＝０）”とし、その４つの撮像用画素と少なくとも１つの奥行き情報取得用画素とによって、１つの単位繰り返しセル構造が構成されている場合を例に説明する。
【００１３】
このＣＭＯＳイメージセンサ１０の場合、たとえば、半導体基板１１上に４つの単位繰り返しセル構造が二次元状に配置されている。各単位繰り返しセル構造は、被写体の色情報付きの二次元画像、つまり二次元カラー画像（以下、ＲＧＢ画像と称する）取得用の４つの画素１２と、三次元画像（距離情報をもった被写体の二次元画像）である、上記被写体の奥行き値（以下、Ｄｅｐｔｈ情報と称する）取得用の少なくとも１つの画素１３とを有している。
【００１４】
すなわち、上記ＲＧＢ画像取得用画素１２および上記Ｄｅｐｔｈ情報取得用画素１３は、上記半導体基板１１の垂直方向に対して交互に配置されている。本実施形態の場合、上記ＲＧＢ画像取得用画素１２が２ライン配置された後、上記Ｄｅｐｔｈ情報取得用画素１３が１ライン配置されている。さらに、上記ＲＧＢ画像取得用画素１２が２ライン配置された後、上記Ｄｅｐｔｈ情報取得用画素１３が１ライン配置されている。また、上記半導体基板１１の水平方向（各ライン）に対しては、上記ＲＧＢ画像取得用画素１２が４つずつ（２単位分）、上記Ｄｅｐｔｈ情報取得用画素１３が２つずつ（２単位分）配置されている。このように、上記Ｄｅｐｔｈ情報取得用画素１３は、１チップ上に上記ＲＧＢ画像取得用画素１２と独立して配置され、かつ、上記ＲＧＢ画像取得用画素１２のほぼ４倍の面積を有して形成されている。
【００１５】
上記半導体基板１１上の、上記ＲＧＢ画像取得用画素１２および上記Ｄｅｐｔｈ情報取得用画素１３が配置された画素領域の左側には、Ｖレジスタである、ＲＧＢ画像用垂直レジスタ（ＲＧＢ画素レジスタ）１４、Ｄｅｐｔｈ情報用垂直レジスタ（ＭＰ画素レジスタ）１５、および、電子シャッタ用レジスタ１６が配置されている。上記ＲＧＢ画像用垂直レジスタ１４は、ラインごとに、上記ＲＧＢ画像取得用画素１２を駆動するための第１の垂直駆動回路であり、リセット信号（ＲＥＳＥＴ＿ＲＧＢ）、アドレス信号（ＡＤＲＥＳ＿ＲＧＢ）、および、リード信号（ＲＥＡＤ＿ＲＧＢ）を生成する。上記Ｄｅｐｔｈ情報用垂直レジスタ１５は、ラインごとに、上記Ｄｅｐｔｈ情報取得用画素１３を駆動するための第２の垂直駆動回路であり、リセット信号（ＲＥＳＥＴ＿Ｄ）、アドレス信号（ＡＤＲＥＳ＿Ｄ）、第１，第２のリード信号（ＲＥＡＤ１＿Ｄ，ＲＥＡＤ２＿Ｄ）、第１，第２の蓄積信号（ＣＣＤ１＿Ｄ，ＣＣＤ２＿Ｄ）、および、アウトプットゲート信号（ＯＧ＿Ｄ）を生成する。上記電子シャッタ用レジスタ１６は、後述する電子シャッタ動作を制御するためのシャッタ制御信号を生成し、ラインごとに設けられたマルチプレクサ１７に出力するものである。
【００１６】
上記マルチプレクサ１７は、上記電子シャッタ用レジスタ１６からの上記シャッタ制御信号と上記ＲＧＢ画像用垂直レジスタ１４からの上記リード信号（ＲＥＡＤ＿ＲＧＢ）との論理和出力（ＯＲ）を、それぞれ、上記ＲＧＢ画像取得用画素１２に供給するものである。すなわち、通常の読み出し動作を行う場合、上記リード信号（ＲＥＡＤ＿ＲＧＢ）がハイ（Ｈ）となる。これにより、上記マルチプレクサ１７の出力（ＯＲ）がハイ（Ｈ）になって、対応する上記ＲＧＢ画像取得用画素１２のリード用トランジスタのゲートがハイ（オン）になる。その際、上記シャッタ制御信号はロウ（Ｌ）である。これに対し、通常の電子シャッタ用に読み出し動作を行う場合には、上記シャッタ制御信号がハイ（Ｈ）になる。これにより、上記マルチプレクサ１７の出力（ＯＲ）がハイ（Ｈ）になって、対応する上記ＲＧＢ画像取得用画素１２のリード用トランジスタのゲートがハイ（オン）になる。その際、上記リード信号（ＲＥＡＤ＿ＲＧＢ）はロウ（Ｌ）である。
【００１７】
一方、上記半導体基板１１上の、上記画素領域の下側には水平レジスタ１８が配置されている。この水平レジスタ１８は、上記ＲＧＢ画像取得用画素１２および上記Ｄｅｐｔｈ情報取得用画素１３の各出力をコントロールするための第１の水平駆動回路である。上記水平レジスタ１８には、ＳＩＧ選択駆動用トランジスタ１９および差分回路２０を介して、出力信号線である垂直信号線（ＳＩＧ）２１の一端がそれぞれ接続されている。なお、上記垂直信号線２１の他端は、上記画素領域の上側において、それぞれ、負荷（ＬＯＡＤ）用トランジスタ２２を介して接地されている。
【００１８】
さらに、上記半導体基板１１上には、増幅回路（ＡＭＰ．）２３、Ａ／Ｄ（アナログ・デジタル）変換回路２４、出力回路２５、および、タイミング発生回路２６が配設されている。上記増幅回路２３は上記ＳＩＧ選択駆動用トランジスタ１９の各ドレインに共通に接続されて、上記差分回路２０の各出力を増幅する。上記Ａ／Ｄ変換回路２４は、上記増幅回路２３の増幅出力をアナログ信号からデジタル信号に変換する。上記出力回路２５は、上記Ａ／Ｄ変換器２４の出力（ＲＧＢ画像またはＤｅｐｔｈ情報）を、ＣＭＯＳイメージセンサ１０の外部に出力する。上記タイミング発生回路２６は、上記ＲＧＢ画像用垂直レジスタ１４、上記Ｄｅｐｔｈ情報用垂直レジスタ１５、上記電子シャッタ用レジスタ１６、上記水平レジスタ１８、上記Ａ／Ｄ変換回路２４、および、上記出力回路２５をそれぞれ制御する。
【００１９】
ここで、上記ＲＧＢ画像取得用画素１２は、それぞれ、ＲＧＢベイヤー配列のカラーフィルタ、および、マイクロレンズ（図示していない）を有している。本実施形態の場合、たとえば図１に示したように、各単位繰り返しセル構造のうち、１つのＲＧＢ画像取得用画素１２には“Ｒ”色フィルタが、他の１つのＲＧＢ画像取得用画素１２には“Ｂ”色フィルタが、残りの２つのＲＧＢ画像取得用画素１２には“Ｇ”色フィルタが、それぞれ割り当てられている。
【００２０】
一方、上記Ｄｅｐｔｈ情報取得用画素１３は、それぞれ、上記カラーフィルタと同じ高さの透明樹脂、および、複数（この場合、４つ）のマイクロレンズを有している。つまり、同じ径のマイクロレンズを用いることで、マイクロレンズの焦点位置を均一にすることができる。
【００２１】
図２は、上記したＲＧＢ画像取得用画素１２の構成の具体例を示すものである。ここでは、１つの単位繰り返しセル構造における４つのＲＧＢ画像取得用画素１２を例に示している。図２に示すように、上記ＲＧＢ画像取得用画素１２は、それぞれ、フォトダイオード（第２の光電変換蓄積部）ＰＤ１、第３のリード用トランジスタ（ＲＥＡＤ  Ｔｒ）１２ａ、第２のリセット用トランジスタ（ＲＥＳＥＴ  Ｔｒ）１２ｂ、第２の選択用トランジスタとしてのアドレス用トランジスタ（ＡＤＤＲＥＳＳ  Ｔｒ）１２ｃ、および、第２の増幅用トランジスタ（ＡＭＰ  Ｔｒ）１２ｄを有して構成されている。
【００２２】
つまり、各ＲＧＢ画像取得用画素１２の上記フォトダイオードＰＤ１には、上記リード用トランジスタ１２ａのソースが接続されている。このリード用トランジスタ１２ａのゲートは、上記マルチプレクサ１７の出力（ＯＲ）用の配線に接続されている。また、上記リード用トランジスタ１２ａのドレインは、上記増幅用トランジスタ１２ｄのゲート（制御電極）、および、上記リセット用トランジスタ１２ｂのソースに接続されている。上記リセット用トランジスタ１２ｂのドレインには電源電圧（たとえば、ＶＤＤ）が供給されるとともに、ゲートが上記リセット信号（ＲＥＳＥＴ＿ＲＧＢ）用の配線に接続されている。これにより、検出部（Ｄｅｔｅｃｔｉｏｎ  Ｎｏｄｅ）ＤＮ１の電位が、上記リセット用トランジスタ１２ｂによって、ある電圧にあらかじめ設定（リセット）されるようになっている。
【００２３】
また、上記増幅用トランジスタ１２ｄは、ソースが上記垂直信号線２１に接続されるとともに、ドレインが上記アドレス用トランジスタ１２ｃのソースに接続されている。このアドレス用トランジスタ１２ｃのドレインには電源電圧が供給されるとともに、ゲートが上記アドレス信号（ＡＤＲＥＳ＿ＲＧＢ）用の配線に接続されている。
【００２４】
次に、上記したＲＧＢ画像取得用画素１２の駆動方法（通常の読み出し動作）について簡単に説明する。たとえば、上記リセット信号（ＲＥＳＥＴ＿ＲＧＢ）をハイ（Ｈ）にして、上記リセット用トランジスタ１２ｂのゲートをオンさせる。これにより、上記検出部ＤＮ１の電位がある電圧に設定される。この後、上記リード信号（ＲＥＡＤ＿ＲＧＢ）をハイ（Ｈ）にすることによって、上記マルチプレクサ１７の出力（ＯＲ）をハイ（Ｈ）にして、上記リード用トランジスタ１２ａのゲートをオンにする（その際、上記シャッタ制御信号はロウ（Ｌ））。すると、蓄積期間内に上記フォトダイオードＰＤ１において光電変換されて蓄積された信号電荷（電気信号）が、上記検出部ＤＮ１に読み出される。この後、上記アドレス信号（ＡＤＲＥＳ＿ＲＧＢ）用の配線が選択的に活性化（Ｈ）されて、読み出しのラインが選択される。これにより、上記負荷用トランジスタ２２と上記増幅用トランジスタ１２ｄとからなるソースフォロワ回路によって、その読み出しのラインに対応する、上記増幅用トランジスタ１２ｄのゲートの電位に応じた電圧が、上記垂直信号線２１に出力される。
【００２５】
図３は、上記したＤｅｐｔｈ情報取得用画素１３の構成の具体例を示すものである。ここでは、１つの単位繰り返しセル構造における１つのＤｅｐｔｈ情報取得用画素１３を例に示している。図３に示すように、上記Ｄｅｐｔｈ情報取得用画素１３は、フォトダイオード（第１の光電変換蓄積部）ＰＤ２、第１，第２のリード用トランジスタ（ＲＥＡＤ１  Ｔｒ，ＲＥＡＤ２  Ｔｒ）１３ａ，１３ｂ、第１，第２の電荷蓄積部としての蓄積用トランジスタ（ＣＣＤ１，ＣＣＤ２）１３ｃ，１３ｄ、出力用トランジスタ（ＯＧ  Ｔｒ）１３ｅ、第１のリセット用トランジスタ（ＲＥＳＥＴ  Ｔｒ）１３ｆ、第１の選択用トランジスタとしてのアドレス用トランジスタ（ＡＤＤＲＥＳＳ  Ｔｒ）１３ｇ、および、第１の増幅用トランジスタ（ＡＭＰ  Ｔｒ）１３ｈを有して構成されている。
【００２６】
つまり、Ｄｅｐｔｈ情報取得用画素１３の上記フォトダイオードＰＤ２には、上記第１，第２のリード用トランジスタ１３ａ，１３ｂの各ソースが共通に接続されている。上記第１のリード用トランジスタ１３ａのゲートは、上記第１のリード信号（ＲＥＡＤ１＿Ｄ）用の配線に接続されている。また、上記第１のリード用トランジスタ１３ａのドレインは、上記第１の蓄積用トランジスタ１３ｃのソースに接続されている。上記第１の蓄積用トランジスタ１３ｃのゲートは、上記第１の蓄積信号（ＣＣＤ１＿Ｄ）用の配線に接続されている。上記第２のリード用トランジスタ１３ｂのゲートは、上記第２のリード信号（ＲＥＡＤ２＿Ｄ）用の配線に接続されている。また、上記第２のリード用トランジスタ１３ｂのドレインは、上記第２の蓄積用トランジスタ１３ｄのソースに接続されている。上記第２の蓄積用トランジスタ１３ｄのゲートは、上記第２の蓄積信号（ＣＣＤ２＿Ｄ）用の配線に接続されている。
【００２７】
上記第１，第２の蓄積用トランジスタ１３ｃ，１３ｄの各ドレインは、上記出力用トランジスタ１３ｅのソースに共通に接続されている。この出力用トランジスタ１３ｅのゲートは、上記アウトプットゲート信号（ＯＧ＿Ｄ）用の配線に接続されている。上記出力用トランジスタ１３ｅのドレインは、上記増幅用トランジスタ１３ｈのゲート（制御電極）、および、上記リセット用トランジスタ１３ｆのソースに接続されている。上記リセット用トランジスタ１３ｆのドレインには電源電圧（たとえば、ＶＤＤ）が供給されるとともに、ゲートが上記リセット信号（ＲＥＳＥＴ＿Ｄ）用の配線に接続されている。これにより、検出部ＤＮ２の電位が、上記リセット用トランジスタ１３ｆによって、ある電圧にあらかじめ設定（リセット）されるようになっている。
【００２８】
また、上記増幅用トランジスタ１３ｈは、ソースが上記垂直信号線２１に接続されるとともに、ドレインが上記アドレス用トランジスタ１３ｇのソースに接続されている。このアドレス用トランジスタ１３ｇのドレインには電源電圧が供給されるとともに、ゲートが上記アドレス信号（ＡＤＲＥＳ＿Ｄ）用の配線に接続されている。
【００２９】
このように、上記Ｄｅｐｔｈ情報取得画素１３は、上記ＲＧＢ画像取得用画素１２と比較して、上記第２のリード用トランジスタ１３ｂ、第１，第２の蓄積用トランジスタ１３ｃ，１３ｄ、および、上記出力用トランジスタ１３ｅの分だけ回路の構成要素が増える。そこで、現実のレイアウトを考え、上記Ｄｅｐｔｈ情報取得用画素１３の面積を、上記ＲＧＢ画像取得用画素１２の面積の約４倍としている。上記Ｄｅｐｔｈ情報取得用画素１３の面積を大きくすることは、上記Ｄｅｐｔｈ情報取得用画素１３の光感度を確保するためにも重要である。
【００３０】
なお、上記垂直信号線２１には、上述したように、上記ＲＧＢ画像取得用画素１２のみが接続される第１の信号線と、上記ＲＧＢ画像取得用画素１２および上記Ｄｅｐｔｈ情報取得用画素１３が接続される第２の信号線とがある。上記第１，第２の信号線は交互に配設されている。
【００３１】
図４は、上記Ｄｅｐｔｈ情報取得用画素１３のレイアウト例を示すものである。なお、同図（ａ）は一部を透過して示す平面図であり、同図（ｂ）は図（ａ）の４ｂ−４ｂ線に沿う断面図、同図（ｃ）は図（ａ）の４ｃ−４ｃ線に沿う断面図である。
【００３２】
本実施形態の場合、上記Ｄｅｐｔｈ情報取得用画素１３は、たとえばｐ型の上記半導体基板１１の表面部に、ｎ導電型の上記フォトダイオードＰＤ２が形成されている。このフォトダイオードＰＤ２は、上記ＲＧＢ画像取得用画素１２のフォトダイオードＰＤ１よりも広い面積を有して形成されている。すなわち、フォトダイオードＰＤ２としては、たとえばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）発光時の電気信号とＬＥＤ非発光時の電気信号とを蓄積できるようにするために、上記フォトダイオードＰＤ１の電荷蓄積量（面積）よりも大きくすることが望ましい。
【００３３】
また、上記Ｄｅｐｔｈ情報取得用画素１３には、１つのフォトダイオードＰＤ２に対して、２つのＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）部、つまり上記第１，第２のリード用トランジスタ１３ａ，１３ｂおよび上記第１，第２の蓄積用トランジスタ１３ｃ，１３ｄが並列に設けられている。上記第１のリード用トランジスタ１３ａは、たとえばＬＥＤ非発光期間における上記フォトダイオードＰＤ２からの電荷を蓄積するための、ｎ- 導電型のストレージ（Ｓｔｒａｇｅ）部１３ａ-1を有している。上記第２のリード用トランジスタ１３ｂは、たとえばＬＥＤ発光期間における上記フォトダイオードＰＤ２からの電荷を蓄積するための、ｎ- 導電型のストレージ（Ｓｔｒａｇｅ）部１３ｂ-1を有している。上記ストレージ部１３ａ-1，１３ｂ-1は、上記第１，第２のリード用トランジスタ１３ａ，１３ｂのゲートの直下、および、上記第１，第２のリード用トランジスタ１３ａ，１３ｂのゲートと上記第１，第２の蓄積用トランジスタ１３ｃ，１３ｄのゲートとの相互間をそれぞれ含む、上記半導体基板１１の表面部に所定の深さを有して設けられている。
【００３４】
一方、上記第１の蓄積用トランジスタ１３ｃは、上記第１のリード用トランジスタ１３ａからの電荷を蓄積するための、ｎ- 導電型のストレージ（Ｓｔｒａｇｅ）部１３ｃ-1を有している。上記第２の蓄積用トランジスタ１３ｄは、上記第２のリード用トランジスタ１３ｂからの電荷を蓄積するための、ｎ- 導電型のストレージ（Ｓｔｒａｇｅ）部１３ｄ-1を有している。上記ストレージ部１３ｃ-1，１３ｄ-1は、上記第１，第２の蓄積用トランジスタ１３ｃ，１３ｄのゲートの直下、および、上記第１，第２の蓄積用トランジスタ１３ｃ，１３ｄのゲートと上記出力用トランジスタ１３ｅのゲートとの相互間をそれぞれ含む、上記半導体基板１１の表面部に所定の深さを有して設けられている。
【００３５】
このように、上記Ｄｅｐｔｈ情報取得用画素１３を、上記ＲＧＢ画像取得用画素１２よりも大きくすることによって、上記フォトダイオードＰＤ２の面積は大きくなる。しかも、上記ＣＣＤ部、つまり増加した分の回路の構成要素（第２のリード用トランジスタ１３ｂ、第１，第２の蓄積用トランジスタ１３ｃ，１３ｄ、および、上記出力用トランジスタ１３ｅなど）を、上記Ｄｅｐｔｈ情報取得画素１３内に形成することが可能となる。
【００３６】
なお、本実施形態の場合、上記ストレージ部１３ｃ-1，１３ｄ-1は、それぞれに蓄積可能な電荷量が、上記フォトダイオードＰＤ２に蓄積可能な電荷量よりも大きく、たとえばＮ倍以上になるように構成されている。これにより、ＬＥＤ非発光時の上記ストレージ部１３ｃ-1での電荷の蓄積とＬＥＤ発光時の上記ストレージ部１３ｄ-1での電荷の蓄積とを、１フレーム内において、少なくともＮ回は繰り返すことが可能となる。この場合、蛍光灯などの外光が変化する環境下において、上記Ｄｅｐｔｈ情報を取得する場合にも、外光の変化による影響を最小限に抑えることが可能となるものである。
【００３７】
しかも、上記フォトダイオードＰＤ２に対して、上記第１，第２のリード用トランジスタ１３ａ，１３ｂおよび上記第１，第２の蓄積用トランジスタ１３ｃ，１３ｄを並列に配置することにより、それらを直列に配置するようにした場合に比べ、上記Ｄｅｐｔｈ情報取得用画素１３の面積は小さくなる。
【００３８】
次に、上記したＤｅｐｔｈ情報取得画素１３の駆動方法について簡単に説明する。まず、たとえばＬＥＤの非発光期間内に、フォトダイオードＰＤ２において光電変換されて蓄積された信号電荷を、第１の蓄積用トランジスタ１３ｃに転送する場合について説明する。この場合、最初に第１の蓄積信号（ＣＣＤ１＿Ｄ）をハイ（Ｈ）にして、第１の蓄積用トランジスタ１３ｃのゲートをオンにする。その状態で、第１のリード信号（ＲＥＡＤ１＿Ｄ）をハイ（Ｈ）にして、第１のリード用トランジスタ１３ａのゲートをオンにする。これにより、上記フォトダイオードＰＤ２に蓄積された上記信号電荷は、上記第１のリード用トランジスタ１３ａに送られ、そのストレージ部１３ａ-1に蓄積される。続いて、上記第１のリード信号（ＲＥＡＤ１＿Ｄ）をロウ（Ｌ）にして、上記第１のリード用トランジスタ１３ａのゲートをオフにする。すると、上記ストレージ部１３ａ-1に蓄積された電荷は、上記第１の蓄積用トランジスタ１３ｃに送られ、そのストレージ部１３ｃ-1に蓄積される。これにより、ＬＥＤの非発光期間において光電変換された信号電荷は、上記第１の蓄積用トランジスタ１３ｃのストレージ部１３ｃ-1で保持される。
【００３９】
今度は、たとえばＬＥＤの発光期間内に、フォトダイオードＰＤ２において光電変換されて蓄積された信号電荷を、第２の蓄積用トランジスタ１３ｄに転送する場合について説明する。この場合、最初に第２の蓄積信号（ＣＣＤ２＿Ｄ）をハイ（Ｈ）にして、第２の蓄積用トランジスタ１３ｄのゲートをオンにする。その状態で、第２のリード信号（ＲＥＡＤ２＿Ｄ）をハイ（Ｈ）にして、上記第２のリード用トランジスタ１３ｂのゲートをオンにする。これにより、上記フォトダイオードＰＤ２に蓄積された上記信号電荷は、上記第２のリード用トランジスタ１３ｂに送られ、そのストレージ部１３ｂ-1に蓄積される。続いて、上記第２のリード信号（ＲＥＡＤ２＿Ｄ）をロウ（Ｌ）にして、上記第２のリード用トランジスタ１３ｂのゲートをオフにする。すると、上記ストレージ部１３ｂ-1に蓄積された電荷は、上記第２の蓄積用トランジスタ１３ｄに送られ、そのストレージ部１３ｄ-1に蓄積される。これにより、ＬＥＤの発光期間において光電変換された信号電荷は、上記第２の蓄積用トランジスタ１３ｄのストレージ部１３ｄ-1で保持される。
【００４０】
上記第１の蓄積用トランジスタ１３ｃのストレージ部１３ｃ-1で保持されている電荷は、上記第１の蓄積信号（ＣＣＤ１＿Ｄ）をロウ（Ｌ）にし、上記第１の蓄積用トランジスタ１３ｃのゲートをオフすることにより、上記出力用トランジスタ１３ｅを介して、上記検出部ＤＮ２に読み出される。同様に、上記第２の蓄積用トランジスタ１３ｄのストレージ部１３ｄ-1で保持されている電荷は、上記第２の蓄積信号（ＣＣＤ２＿Ｄ）をロウ（Ｌ）にし、上記第２の蓄積用トランジスタ１３ｄのゲートをオフすることにより、上記出力用トランジスタ１３ｅを介して、上記検出部ＤＮ２に読み出される。
【００４１】
上記検出部ＤＮ２に読み出された電荷は、上記増幅用トランジスタ１３ｈのゲートの電位を変化させる。この後、上記アドレス信号（ＡＤＲＥＳ＿Ｄ）用の配線が選択的に活性化されて、読み出しのラインが選択される。これにより、上記負荷用トランジスタ２２と上記増幅用トランジスタ１３ｈとからなるソースフォロワ回路によって、その読み出しのラインに対応する、上記増幅用トランジスタ１３ｈのゲートの電位に応じた電圧が、上記垂直信号線２１に出力される。
【００４２】
図５は、上記した差分回路２０の構成例を示すものである。ここでは、１つの単位繰り返しセル構造に対応して、１つの演算部が設けられてなる場合を例に示している。本実施形態の場合、たとえば図５に示すように、上記垂直信号線２１のうち、上記Ｄｅｐｔｈ情報取得用画素１３が接続される上記垂直信号線２１にのみ演算部２０Ａが設けられている。上記演算部２０Ａは、それぞれ、２つのトランジスタ２０ａ，２０ｂと１つの差動アンプ２０ｃとから構成されている。つまり、上記Ｄｅｐｔｈ情報取得用画素１３が接続される上記垂直信号線２１には、それぞれ、上記トランジスタ２０ａのソースおよび上記トランジスタ２０ｂのソースが接続されている。上記トランジスタ２０ａのドレインは、上記差動アンプ２０ｃの非反転入力端に接続されている。上記トランジスタ２０ａのゲートは、差分算出用レジスタ（図示していない）によって制御される、外光成分＋ＬＥＤ成分蓄積用の信号線２７に接続されている。上記トランジスタ２０ｂのドレインは、上記差動アンプ２０ｃの反転入力端に接続されている。上記トランジスタ２０ｂのゲートは、上記差分算出用レジスタにより制御される、外光成分蓄積用の信号線２８に接続されている。
【００４３】
この差分回路２０の各演算部２０Ａによって、上記垂直信号線２１に現れるＬＥＤ発光期間内およびＬＥＤ非発光期間内の各信号（上記増幅用トランジスタ１３ｈのゲートの電圧に応じた電圧）の差分が求められる。こうすることによって、ＬＥＤの光照射による被写体からの反射光より反射成分のみを取り出すことができる。
【００４４】
一般に、反射光の強さは被写体までの距離の二乗に反比例する。そこで、この関係を用いて、被写体までのＤｅｐｔｈ情報（奥行き値）を取得する。そして、このＤｅｐｔｈ情報を、上記ＲＧＢ画像取得用画素１２の各出力から得られるＲＧＢ画像（二次元カラー画像）と合成する。これにより、被写体の三次元カラー画像（被写体の色情報付きの三次元画像）を得ることが可能になる。
【００４５】
図６は、上記のＣＭＯＳイメージセンサ１０が適用されるビデオカメラ（撮像システム）の構成例を示すものである。このビデオカメラ１は、被写体２に光を照射する光源としてのＬＥＤ３、上記被写体２からの反射光が光学系４により光学像として結像される上記ＣＭＯＳイメージセンサ１０、および、上記ＬＥＤ３や上記ＣＭＯＳイメージセンサ１０を制御するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）５を備えている。また、上記ＣＰＵ５には、たとえば、被写体の三次元カラー画像を表示するための液晶パネルなどからなる表示部８、および、メモリカードや磁気テープなどの記録媒体に被写体の三次元カラー画像を記録するための記録部９が接続されている。
【００４６】
なお、このビデオカメラ１では、上記ＣＰＵ５につながるフォトダイオード６によって、蛍光灯７の発光タイミング（発光周波数）を検出するようになっている。
【００４７】
次に、上記した構成のビデオカメラ１を例に、上記Ｄｅｐｔｈ情報取得用画素１３の駆動方法について、図７〜図２５を参照して説明する。なお、図７，図８はタイミングチャートであり、図９〜図２５は上記Ｄｅｐｔｈ情報取得用画素１３での信号電荷の転送状態を示す図である。また、図９〜図２５において、各図（ａ）はＣＣＤ１（外光成分の蓄積）側を、各図（ｂ）はＣＣＤ２（ＬＥＤ成分＋外光成分の蓄積）側を、それぞれ示している。
【００４８】
たとえば、図７に示した時刻ｔ１では、第１のリード信号（ＲＥＡＤ１＿Ｄ）をハイ（Ｈ）にすることにより、Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２に蓄積されている、実際には使用しない信号電荷（無効成分）が、第１のリード用トランジスタ１３ａのストレージ部１３ａ-1に蓄積される（図９（ａ）参照）。
【００４９】
図７に示した時刻ｔ２では、第２のリード信号（ＲＥＡＤ２＿Ｄ）をハイ（Ｈ）にすることにより、Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２に蓄積されている、実際には使用しない信号電荷（無効成分）が、第２のリード用トランジスタ１３ｂのストレージ部１３ｂ-1に蓄積される（図１０（ｂ）参照）。なお、第２のリード信号（ＲＥＡＤ２＿Ｄ）がロウ（Ｌ）に変化した時点から、Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２での信号電荷の蓄積が開始される。
【００５０】
図７に示した時刻ｔ３では、第１のリード用トランジスタ１３ａのストレージ部１３ａ-1に蓄積されている信号電荷、および、第２のリード用トランジスタ１３ｂのストレージ部１３ｂ-1に蓄積されている信号電荷の、第１，第２の蓄積用トランジスタ１３ｃ，１３ｄへの転送が行われる。すなわち、時刻ｔ２において、第１のリード信号（ＲＥＡＤ１＿Ｄ）をロウ（Ｌ）にすることにより、第１のリード用トランジスタ１３ａのストレージ部１３ａ-1に蓄積されている、実際には使用しない信号電荷（無効成分）が、第１の蓄積用トランジスタ１３ｃのストレージ部１３ｃ-1に蓄積される（図１１（ａ）参照）。同様に、第２のリード信号（ＲＥＡＤ２＿Ｄ）をロウ（Ｌ）にすることにより、第２のリード用トランジスタ１３ｂのストレージ部１３ｂ-1に蓄積されている、実際には使用しない信号電荷（無効成分）が、第２の蓄積用トランジスタ１３ｄのストレージ部１３ｄ-1に蓄積される（図１１（ｂ）参照）。
【００５１】
図７に示した時刻ｔ４では、第１のリード信号（ＲＥＡＤ１＿Ｄ）をハイ（Ｈ）にすることにより、Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２に蓄積されている信号電荷（外光成分）が、第１のリード用トランジスタ１３ａのストレージ部１３ａ-1に蓄積される（図１２（ａ）参照）。また、この時刻ｔ４では、第１の蓄積信号（ＣＣＤ１＿Ｄ）がハイ（Ｈ）に設定されている。このため、第１のリード用トランジスタ１３ａのストレージ部１３ａ-1に蓄積されている信号電荷は、第１のリード信号（ＲＥＡＤ１＿Ｄ）がロウ（Ｌ）に変化する際に、第１の蓄積用トランジスタ１３ｃのストレージ部１３ｃ-1に蓄積される。なお、第１のリード信号（ＲＥＡＤ１＿Ｄ）がロウ（Ｌ）に変化した時点から、Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２での信号電荷の蓄積が開始される。
【００５２】
図７に示した時刻ｔ５では、Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２に、ＬＥＤ３の発光期間における信号電荷（ＬＥＤ成分＋外光成分）の蓄積が開始される（図１３（ａ），（ｂ）参照）。
【００５３】
図７に示した時刻ｔ６では、第２のリード信号（ＲＥＡＤ２＿Ｄ）をハイ（Ｈ）にすることにより、Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２に蓄積されている、上記ＬＥＤ３の発光期間における信号電荷（ＬＥＤ成分＋外光成分）が、第２のリード用トランジスタ１３ｂのストレージ部１３ｂ-1に蓄積される（図１４（ｂ）参照）。
【００５４】
図７に示した時刻ｔ７では、第２のリード信号（ＲＥＡＤ２＿Ｄ）をロウ（Ｌ）にすることにより、第２のリード用トランジスタ１３ｂのストレージ部１３ｂ-1に蓄積されている、上記ＬＥＤ３の発光期間における信号電荷（ＬＥＤ成分＋外光成分）が、第２の蓄積用トランジスタ１３ｄのストレージ部１３ｄ-1に蓄積される（図１５（ｂ）参照）。
【００５５】
図８に示した時刻ｔ８では、上記ＬＥＤ３の非発光期間における信号電荷（外光成分）を検出部ＤＮ２に転送する前に、上記検出部ＤＮ２の電位のリセットが行われる。すなわち、リセット信号（ＲＥＳＥＴ＿Ｄ）がハイ（Ｈ）になって、リセット用トランジスタ１３ｆのゲートがオンされることにより、上記検出部ＤＮ２の電位のリセットが行われる（図１６（ａ），（ｂ）参照）。
【００５６】
図８に示した時刻ｔ９では、リセット信号（ＲＥＳＥＴ＿Ｄ）がロウ（Ｌ）に設定されることにより、上記検出部ＤＮ２の電位のリセットが終了される（図１７（ａ），（ｂ）参照）。
【００５７】
図８に示した時刻ｔ１０では、第１の蓄積信号（ＣＣＤ１＿Ｄ）がロウ（Ｌ）に設定されることにより、第１の蓄積用トランジスタ１３ｃのストレージ部１３ｃ-1に蓄積されている、上記ＬＥＤ３の非発光期間における信号電荷（外光成分）が、出力用トランジスタ１３ｅを介して、上記検出部ＤＮ２に送られる（図１８（ａ）参照）。なお、上記出力用トランジスタ１３ｅのゲート電圧は、一定のＤＣ電圧（たとえば、（１／２）・ＶＤＤ）に設定されている。
【００５８】
図８に示した時刻ｔ１１では、第１の蓄積信号（ＣＣＤ１＿Ｄ）がロウ（Ｌ）に設定されることにより、第１の蓄積用トランジスタ１３ｃのストレージ部１３ｃ-1に蓄積されている、上記ＬＥＤ３の非発光期間における信号電荷（外光成分）の、上記検出部ＤＮ２への転送動作が終了される（図１９（ａ），（ｂ）参照）。この状態で、上記増幅用トランジスタ１３ｈと上記負荷用トランジスタ２２とをソースフォロワ回路として動作させることにより、上記ＬＥＤ３の非発光期間における信号電荷が、上記垂直信号線２１に出力される。
【００５９】
図８に示した時刻ｔ１２では、上記ＬＥＤ３の発光期間における信号電荷（ＬＥＤ成分＋外光成分）を検出部ＤＮ２に転送する前に、上記検出部ＤＮ２の電位のリセットが行われる。すなわち、リセット信号（ＲＥＳＥＴ＿Ｄ）がハイ（Ｈ）になって、リセット用トランジスタ１３ｆのゲートがオンされることにより、上記検出部ＤＮ２の電位のリセットが行われる（図２０（ａ），（ｂ）参照）。
【００６０】
図８に示した時刻ｔ１３では、リセット信号（ＲＥＳＥＴ＿Ｄ）がロウ（Ｌ）に設定されることにより、上記検出部ＤＮ２の電位のリセットが終了される（図２１（ａ），（ｂ）参照）。
【００６１】
図８に示した時刻ｔ１４では、第２の蓄積信号（ＣＣＤ２＿Ｄ）がロウ（Ｌ）に設定されることにより、第２の蓄積用トランジスタ１３ｄのストレージ部１３ｄ-1に蓄積されている、上記ＬＥＤ３の発光期間における信号電荷（ＬＥＤ成分＋外光成分）が、出力用トランジスタ１３ｅを介して、上記検出部ＤＮ２に送られる（図２２（ｂ）参照）。
【００６２】
図８に示した時刻ｔ１５では、第２の蓄積信号（ＣＣＤ２＿Ｄ）がロウ（Ｌ）に設定されることにより、第２の蓄積用トランジスタ１３ｄのストレージ部１３ｄ-1に蓄積されている、上記ＬＥＤ３の発光期間における信号電荷（ＬＥＤ成分＋外光成分）の、上記検出部ＤＮ２への転送動作が終了される（図２３（ａ），（ｂ）参照）。この状態で、上記増幅用トランジスタ１３ｈと上記負荷用トランジスタ２２とをソースフォロワ回路として動作させることにより、上記ＬＥＤ３の発光期間における信号電荷が、上記垂直信号線２１に出力される。
【００６３】
図８に示した時刻ｔ１６では、リセット信号（ＲＥＳＥＴ＿Ｄ）がハイ（Ｈ）に設定されることにより、リセット用トランジスタ１３ｆのゲートがオンされて、上記検出部ＤＮ２の電位がリセットされる（図２４（ａ），（ｂ）参照）。
【００６４】
図８に示した時刻ｔ１７では、リセット信号（ＲＥＳＥＴ＿Ｄ）がロウ（Ｌ）に設定されることにより、上記検出部ＤＮ２の電位のリセットが終了される（図２５（ａ），（ｂ）参照）。
【００６５】
このようにして、上記ＬＥＤ３の非発光期間における信号電荷および上記ＬＥＤ３の発光期間における信号電荷が、それぞれ上記垂直信号線２１に出力される。これにより、上記差分回路２０において、上記ＬＥＤ３の光照射による被写体２からの反射成分のみが取り出される。そして、この反射成分より導き出される上記被写体２までのＤｅｐｔｈ情報（奥行き値）を、たとえば上記ＣＰＵ５において、上記ＲＧＢ画像取得用画素１２の各出力から得られるＲＧＢ画像（色情報付きの二次元画像）と合成する。その結果、被写体の三次元カラー画像（被写体の色情報付きの三次元画像）が得られる。
【００６６】
特に、１フレーム内において、上記したＬＥＤ３の発光／非発光期間における信号電荷の転送を、１回ではなく、複数回繰り返すようにする。つまり、上記ＬＥＤ３の発光／非発光期間における信号電荷の蓄積を繰り返し行うとともに、その都度、ＣＣＤ部への信号電荷の転送を行うようにする。こうすることにより、たとえば上記蛍光灯７がもつフリッカの影響を最小限に抑えることが可能となる。
【００６７】
上記したように、２画素×２画素を１単位とする、被写体の二次元カラー画像を撮像するための通常のＲＧＢ画像取得用画素とは独立して、被写体の奥行き値を取得するためのＤｅｐｔｈ情報取得用画素を１チップ上に配置するようにしている。これにより、原理的に光軸ズレをなくすことができるとともに、被写体の奥行き値を取得するための画素の光感度を十分に確保することが可能となる。したがって、メカニカルな装置などを必要とすることなく、被写体の奥行き値を高解像度により取得することが可能となる結果、被写体の三次元カラー画像を容易に取得できるようになるものである。
【００６８】
なお、本実施形態のビデオカメラを実現するにあたっては、白色ＬＥＤなどの可視波長全般にわたって光を発する光源を選定するとよい。白色ＬＥＤは、少なくとも赤、緑、青の三色の光を発する。したがって、上記被写体の色が赤であろうが、緑であろうが、青であろうが、上記被写体は光源からの光を確実に反射するので、Ｄｅｐｔｈ情報を問題なく取得することが可能となる。
【００６９】
ここで、図２６は、図１のIIXVI−IIXVI線に沿う上記画素領域の断面構造を示すものである。光源に白色ＬＥＤを選定する場合、たとえば図２６に示すように、上記Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２上には、赤や緑や青のカラーフィルタ３１を設けないことが望ましい。上記フォトダイオードＰＤ２上にもカラーフィルタ３１を設けるようにした場合、たとえ白色ＬＥＤを光源として用いたとしても、カラーフィルタ３１の分光のせいで被写体２からの反射光がフォトダイオードＰＤ２に届かなくなる。
【００７０】
通常、マイクロレンズ３２は上記カラーフィルタ３１の上部に形成される。上記Ｄｅｐｔｈ情報取得用画素１３の上部だけカラーフィルタ３１が存在しないと、マイクロレンズ３２の下部の平坦性が悪くなり、マイクロレンズ３２の形成が難しくなる問題がある。さらに、マイクロレンズ３２の焦点位置が変わってしまうという問題点もある。このような場合、たとえば図２６に示すように、上記フォトダイオードＰＤ２の上部にはカラーフィルタ３１を形成する変わりに、上記カラーフィルタ３１とほぼ同じ高さの透明樹脂３３を埋め込む。このようにして、マイクロレンズ３２の下部の平坦性を良くするとともに、マイクロレンズ３２の焦点位置を均一にすることが望ましい。
【００７１】
また、本実施形態の場合、ＲＧＢ画像取得用画素１２のフォトダイオードＰＤ１に対して、Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２の面積が大きくなっている。これにより、Ｄｅｐｔｈ情報取得用画素１３の光感度を高くすることができる。Ｄｅｐｔｈ情報取得用画素１３の光感度が高ければ高いほど、上記ＬＥＤ３の明るさを低く設定できる。つまり、カメラ全体の低消費電力化の面で有利となる。
【００７２】
特に、本実施形態のように、Ｄｅｐｔｈ情報取得用画素１３の面積をＲＧＢ画像取得用画素１２の面積の４倍とした場合には、Ｄｅｐｔｈ情報取得用画素１３のフォトダイオードＰＤ２の上部に４つのマイクロレンズ３２を配置すると良い。これにより、マイクロレンズ３２の焦点位置を均一にすることが容易に可能となる。
【００７３】
また、２画素×２画素を１単位とする場合に限らず、たとえば２画素×４画素または２画素×８画素などをそれぞれ１単位とする、ＣＭＯＳイメージセンサにも同様に適用できる。
【００７４】
その他、本願発明は、上記（各）実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。さらに、上記（各）実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組み合わせにより種々の発明が抽出され得る。たとえば、（各）実施形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題（の少なくとも１つ）が解決でき、発明の効果の欄で述べられている効果（の少なくとも１つ）が得られる場合には、その構成要件が削除された構成が発明として抽出され得る。
【００７５】
なお、請求項の記載に関連して、本発明はさらに次の態様をとり得る。
【００７６】
（１）  前記第１および第２の電荷蓄積部は、それぞれに蓄積可能な電荷量が、前記第１の光電変換蓄積部に蓄積可能な電荷量よりも大きいことを特徴とする固体撮像装置。
【００７７】
（２）  前記少なくとも１つの奥行き情報取得用画素は、さらに、前記出力用トランジスタに転送された前記電気信号を増幅する第１の増幅用トランジスタと、前記第１の増幅用トランジスタの制御電極の電位に応じた出力を出力信号線に出力させるための第１の選択用トランジスタと、前記第１の増幅用トランジスタの制御電極の電位をリセットする第１のリセット用トランジスタとを備えることを特徴とする撮像システム。
【００７８】
（３）  前記複数の撮像用画素は、それぞれ、前記被写体の光学像を電気信号として蓄積する第２の光電変換蓄積部と、前記第２の光電変換蓄積部に蓄積された前記電気信号を読み出す第３のリード用トランジスタと、前記第３のリード用トランジスタによって前記第２の光電変換蓄積部より読み出された前記電気信号を増幅する第２の増幅用トランジスタと、前記第２の増幅用トランジスタの制御電極の電位に応じた出力を出力信号線に出力させるための第２の選択用トランジスタと、前記第２の増幅用トランジスタの制御電極の電位をリセットする第２のリセット用トランジスタとを備えてなることを特徴とする撮像システム。
【００７９】
（４）  前記第１および第２の電荷蓄積部は、それぞれに蓄積可能な電荷量が、前記第１の光電変換蓄積部に蓄積可能な電荷量よりも大きく、前記第１の電荷蓄積部には、その都度、前記被写体に前記光源からの光を照射しない際の電気信号が、前記第２の電荷蓄積部には、その都度、前記被写体に前記光源からの光を照射した際の電気信号が、それぞれ蓄積されることを特徴とする撮像システム。
【００８０】
（５）  前記半導体基板上には、前記複数の撮像用画素が前記ｎ画素×（ｎ＋ｍ）画素を１単位として水平方向に配置され、かつ、前記ｎ画素×（ｎ＋ｍ）画素を１単位とする前記複数の撮像用画素および前記少なくとも１つの奥行き情報取得用画素が垂直方向に交互に配置されるとともに、さらに、前記垂直方向に交互に配置された、前記複数の撮像用画素を選択的に駆動する第１の垂直駆動回路と、前記垂直方向に交互に配置された、前記少なくとも１つの奥行き情報取得用画素を選択的に駆動する第２の垂直駆動回路と、前記水平方向に配置された、前記複数の撮像用画素を選択的に駆動する第１の水平駆動回路と、前記第１，第２の垂直駆動回路および前記第１の水平駆動回路を制御するタイミング回路とが設けられていることを特徴とする撮像システム。
【図面の簡単な説明】
【００８１】
【図１】本発明の一実施形態にしたがった、ＣＭＯＳイメージセンサの概略を示す構成図。
【図２】図１に示したＣＭＯＳイメージセンサにおける、ＲＧＢ画像取得用画素の構成例を示す回路図。
【図３】図１に示したＣＭＯＳイメージセンサにおける、Ｄｅｐｔｈ情報取得用画素の構成例を示す回路図。
【図４】図１に示したＣＭＯＳイメージセンサにおける、Ｄｅｐｔｈ情報取得用画素のレイアウト例を示す図。
【図５】図１に示したＣＭＯＳイメージセンサにおける、差分回路の構成例を示す回路図。
【図６】図１に示したＣＭＯＳイメージセンサを、ビデオカメラに適用した場合を例に示す構成図。
【図７】図６に示したビデオカメラを例に、Ｄｅｐｔｈ情報取得用画素の駆動方法について説明するために示すタイミングチャート。
【図８】図６に示したビデオカメラを例に、Ｄｅｐｔｈ情報取得用画素の駆動方法について説明するために示すタイミングチャート。
【図９】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１０】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１１】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１２】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１３】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１４】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１５】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１６】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１７】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１８】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図１９】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図２０】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図２１】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図２２】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図２３】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図２４】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図２５】Ｄｅｐｔｈ情報取得用画素１３の駆動方法を説明するために示す図。
【図２６】図１のIIXVI − IIXVI線に沿う、画素領域の断面図。
【符号の説明】
【００８２】
１…ビデオカメラ（撮像システム）、２…被写体、３…ＬＥＤ、４…光学系、５…ＣＰＵ、６…フォトダイオード、７…蛍光灯、８…表示部、９…記録部、１０…ＣＭＯＳイメージセンサ（固体撮像装置）、１１…半導体基板（Ｐ型）、１２…ＲＧＢ画像取得用画素（撮像用画素）、１２ａ…リード用トランジスタ、１２ｂ…リセット用トランジスタ、１２ｃ…アドレス用トランジスタ、１２ｄ…増幅用トランジスタ、１３…Ｄｅｐｔｈ情報取得用画素（奥行き情報取得用画素）、１３ａ…第１のリード用トランジスタ、１３ａ-1…ストレージ部、１３ｂ…第２のリード用トランジスタ、１３ｂ-1…ストレージ部、１３ｃ…第１の蓄積用トランジスタ、１３ｃ-1…ストレージ部、１３ｄ…第２の蓄積用トランジスタ、１３ｄ-1…ストレージ部、１３ｅ…出力用トランジスタ、１３ｆ…リセット用トランジスタ、１３ｇ…アドレス用トランジスタ、１３ｈ…増幅用トランジスタ、１４…ＲＧＢ画像用垂直レジスタ、１５…Ｄｅｐｔｈ情報用垂直レジスタ、１６…電子シャッタ用レジスタ、１７…マルチプレクサ、１８…水平レジスタ、１９…ＳＩＧ選択駆動用トランジスタ、２０…差分回路、２０Ａ…演算部、２０ａ，２０ｂ…トランジスタ、２０ｃ…差動アンプ、２１…垂直信号線（ＳＩＧ）、２２…負荷（ＬＯＡＤ）用トランジスタ、２３…増幅回路、２４…Ａ／Ｄ変換回路、２５…出力回路、２６…タイミング発生回路、２７…信号線（外光＋ＬＥＤ成分蓄積用）、２８…信号線（外光成分蓄積用）、３１…カラーフィルタ、３２…マイクロレンズ、３３…透明樹脂、ＰＤ１…フォトダイオード（ＲＧＢ画像取得用）、ＰＤ２…フォトダイオード（Ｄｅｐｔｈ情報取得用）、ＤＮ１…検出部（ＲＧＢ画像取得用）、ＤＮ２…検出部（Ｄｅｐｔｈ情報取得用）。
【図１】
2005175392.tif 000003
【図２】
2005175392.tif 000004
【図３】
2005175392.tif 000005
【図４】
2005175392.tif 000006
【図５】
2005175392.tif 000007
【図６】
2005175392.tif 000008
【図７】
2005175392.tif 000009
【図８】
2005175392.tif 000010
【図９】
2005175392.tif 000011
【図１０】
2005175392.tif 000012
【図１１】
2005175392.tif 000013
【図１２】
2005175392.tif 000014
【図１３】
2005175392.tif 000015
【図１４】
2005175392.tif 000016
【図１５】
2005175392.tif 000017
【図１６】
2005175392.tif 000018
【図１７】
2005175392.tif 000019
【図１８】
2005175392.tif 000020
【図１９】
2005175392.tif 000021
【図２０】
2005175392.tif 000022
【図２１】
2005175392.tif 000023
【図２２】
2005175392.tif 000024
【図２３】
2005175392.tif 000025
【図２４】
2005175392.tif 000026
【図２５】
2005175392.tif 000027
【図２６】
2005175392.tif 000028