(57)【要約】  可視光画像と、背景光による影響を排除した距離画像とを取得する撮像装置において、動体の距離精度の悪化及びフレームレートの低下を防止する。そのため、撮像装置は、赤外光を照射する赤外光源（１０３）と、半導体基板上に行列状に配置された、可視光を信号電荷に変換する複数の第１画素と、赤外光を信号電荷に変換する複数の第２画素とを有する固体撮像装置（１０５）とを備える。固体撮像装置（１０５）は、複数の第１画素から得た第１の信号と、赤外光の照射期間で複数の第２画素から得た第２の信号と、赤外光の非照射期間で複数の第２画素から得た第３の信号とを１フレーム走査期間内で出力する。
2014122714.tif 000002
【特許請求の範囲】
【請求項１】
赤外光を照射する赤外光源と、
半導体基板上に行列状に配置された、可視光を信号電荷に変換する複数の第１画素と、赤外光を信号電荷に変換する複数の第２画素とを有する固体撮像装置とを備え、
前記固体撮像装置は、前記複数の第１画素から得た第１の信号と、前記赤外光の照射期間で前記複数の第２画素から得た第２の信号と、前記赤外光の非照射期間で前記複数の第２画素から得た第３の信号とを１フレーム走査期間内で出力することを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記固体撮像装置は、
前記複数の第１画素の信号電荷と前記複数の第２画素の信号電荷とを転送する垂直転送部と、
前記転送された信号電荷を信号増幅して出力する出力部とを備えたことを特徴とする撮像装置。
【請求項３】
請求項２記載の撮像装置において、
前記複数の第２画素の信号電荷のみを転送する他の垂直転送部を、前記垂直転送部とは別に備えたことを特徴とする撮像装置。
【請求項４】
請求項１記載の撮像装置において、
前記複数の第２画素の各々は、１画素当り複数の信号を出力すべく、
光電変換された前記信号電荷をフローティング領域に転送する信号転送部と、
前記フローティング領域の電位に基づいて信号増幅する信号増幅部と、
前記信号増幅部で信号増幅した信号を選択出力する選択部とを各々複数備えたことを特徴とする撮像装置。
【請求項５】
請求項１記載の撮像装置において、
前記複数の第１画素は、ブルーを受光するブルー画素と、グリーンを受光するグリーン画素と、レッドを受光するレッド画素との３種類からなることを特徴とする撮像装置。
【請求項６】
請求項１記載の撮像装置において、
前記複数の第１画素は、イエローを受光するイエロー画素と、シアンを受光するシアン画素と、グリーンを受光するグリーン画素と、マゼンタを受光するマゼンタ画素との４種類、又はこれらのうちいずれか３種類からなることを特徴とする撮像装置。
【請求項７】
請求項１記載の撮像装置において、
前記第２及び第３の信号から得た出力に所定の係数を掛けて、前記第１の信号から得た出力から差し引くことにより、前記第１の信号から得た出力に混入する赤外光成分を除去することを特徴とする撮像装置。
【請求項８】
請求項１記載の撮像装置において、
前記複数の第１画素は、赤外光を遮断するフィルタを備えることを特徴とする撮像装置。
【請求項９】
請求項１記載の撮像装置において、
前記赤外光をパルス状に発光させて、被写体を含む空間に照射し、
異なる２つの期間に受光した反射光から、前記複数の第２画素の各々で前記第２の信号として２つの距離信号を生成し、
前記２つの距離信号と、前記赤外光の非照射期間に生成した前記第３の信号との各々の差分で背景光成分を除去し、
前記２つの距離信号の比率によって被写体までの距離を求める、ＴＯＦ型の測距センサとして機能する撮像装置。
【請求項１０】
請求項１記載の撮像装置において、
前記赤外光を特定パターンで、被写体を含む空間に照射して、前記第２の信号を生成し、
前記第２の信号と、前記赤外光の非照射期間に生成した前記第３の信号との差分で背景光成分を除去し、
各照射パターンの位置ずれ量によって被写体までの距離を求める、パターン照射型の測距センサとして機能する撮像装置。
【請求項１１】
請求項１記載の撮像装置において、
前記赤外光を、被写体を含む空間に照射して、前記第２の信号を生成し、
前記第２の信号と、前記赤外光の非照射期間に生成した前記第３の信号との差分で背景光成分を除去し、
三角測量法によって被写体までの距離を求める、ステレオ方式の測距センサとして機能する撮像装置。
【請求項１２】
赤外光を照射する赤外光源と、半導体基板上に行列状に配置された、可視光を信号電荷に変換する複数の第１画素と、赤外光を信号電荷に変換する複数の第２画素とを有する固体撮像装置とを備えた撮像装置の駆動方法であって、
前記複数の第１画素から第１の信号を得るステップと、
前記赤外光の照射期間で前記複数の第２画素から第２の信号を得るステップと、
前記赤外光の非照射期間で前記複数の第２画素から第３の信号を得るステップと、
前記第１の信号と、前記第２の信号と、前記第３の信号とを１フレーム走査期間内で出力するステップとを有することを特徴とする撮像装置の駆動方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の距離位置に存在する被写体の像（距離画像）を取得する撮像装置に関し、特に、距離画像の取得とともに通常の画像（可視光画像）を取得する撮像装置及びその駆動方法に関するものである。
【背景技術】
【０００２】
近年、テレビ、ゲーム機等に、例えば、赤外光を撮影対象空間に照射して、被写体（人物）の体や手の動きを検出する測距カメラ（モーションカメラ）が搭載され、それに使われる距離画像を取得する撮像装置、いわゆる測距センサが知られている。【０００３】
また、測距センサにおいて、距離画像と同時に通常の可視光画像を取得することは、画像中からの特定の被写体の切り出し（背景分離）や、３次元画像の作成等を行ううえで有用である。【０００４】
特許文献１においては、１つの固体撮像装置により距離画像と同時に可視光画像を取得している。具体的には、可視光及び赤外（ＩＲ）光の撮像が可能な単板構成の固体撮像装置により、１フレーム走査期間ごとに可視光及び赤外光の撮像を行いながら、撮影対象空間へのＩＲパルスの照射を１フレーム走査期間おきに行う。可視光画像を１フレーム走査期間ごとに生成するとともに、ＩＲパルスの照射時の撮像によって得られたＩＲ画素信号からＩＲパルスの非照射時の撮像によって得られたＩＲ画素信号を減算することによって、背景光による影響を排除した距離画像を１フレーム走査期間おきに生成する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００８−８７００号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記固体撮像装置は、複数フレームを使用して背景光による影響を排除した距離画像を生成しているため、１つのフレームと次のフレームとの間に被写体が動いた場合、距離画像に誤差が生じる。また、上記のとおり１枚の距離画像の取得に複数フレームを必要とするため、距離画像のフレームレートが低下する。このため、動体の距離情報を正確に取得することができないといった問題があった。【０００７】
本発明は、上記課題に鑑みてなされたものであり、１フレーム走査期間内に、可視光画像と、背景光による影響を排除した距離画像とを取得することができる撮像装置及びその駆動方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の一態様に係る撮像装置は、赤外光を照射する赤外光源と、半導体基板上に行列状に配置された、可視光を信号電荷に変換する複数の第１画素と、赤外光を信号電荷に変換する複数の第２画素とを有する固体撮像装置とを備えた撮像装置であって、固体撮像装置は、複数の第１画素から得た第１の信号と、赤外光の照射期間で複数の第２画素から得た第２の信号と、赤外光の非照射期間で複数の第２画素から得た第３の信号とを１フレーム走査期間内で出力することを特徴とする。【０００９】
本態様によれば、１フレーム走査期間内に、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号が得られることから、動体の距離情報の精度向上や、フレームレート向上が可能となる。【００１０】
また、好ましくは、第２及び第３の信号から得た出力に所定の係数を掛けて、第１の信号から得た出力から差し引くことにより、第１の信号から得た出力に混入する赤外光成分を除去する。これにより、可視光画像の色再現性向上が可能となる。
【発明の効果】
【００１１】
本発明によれば、１フレーム走査期間内に、可視光画像と、背景光による影響を排除した距離画像とを取得するので、動体の距離精度及びフレームレートを向上することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明に係る撮像装置を用いた測距システムの構成例を示すブロック図である。
【図２】図１中の固体撮像装置の第１の実施形態を示す平面図である。
【図３】図２の固体撮像装置の概略動作を示すタイミング図である。
【図４】図２の固体撮像装置のあるタイミングにおける動作を示す平面図である。
【図５】図２の固体撮像装置の次のタイミングにおける動作を示す平面図である。
【図６】図２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。
【図７】図２の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。
【図８】図２の固体撮像装置の距離信号蓄積期間における詳細動作を示すタイミング図である。
【図９】図１中の固体撮像装置の第２の実施形態を示す平面図である。
【図１０】図９の固体撮像装置の概略動作を示すタイミング図である。
【図１１】図９の固体撮像装置のあるタイミングにおける動作を示す平面図である。
【図１２】図９の固体撮像装置の次のタイミングにおける動作を示す平面図である。
【図１３】図９の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。
【図１４】図９の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。
【図１５】図９の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。
【図１６】図９の固体撮像装置の第１及び第２の距離信号蓄積期間における詳細動作を示すタイミング図である。
【図１７】図１中の固体撮像装置の第３の実施形態を示す平面図である。
【図１８】図１７の固体撮像装置の概略動作を示すタイミング図である。
【図１９】図１７の固体撮像装置のあるタイミングにおける動作を示す平面図である。
【図２０】図１７の固体撮像装置の次のタイミングにおける動作を示す平面図である。
【図２１】図１７の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。
【図２２】図１７の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。
【図２３】図１７の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。
【図２４】図１７の固体撮像装置の第１及び第２の距離信号蓄積期間における詳細動作を示すタイミング図である。
【図２５】図１中の固体撮像装置の第４の実施形態を示すブロック図である。
【図２６】図２５中の着目画素領域の詳細構成例を示す回路図である。
【図２７】図２５の固体撮像装置の概略動作を示すタイミング図である。
【図２８】図２５の固体撮像装置の距離・背景光信号蓄積期間における詳細動作を示すタイミング図である。
【図２９】図１中の固体撮像装置の第５の実施形態を示す平面図である。
【図３０】図１中の固体撮像装置の第６の実施形態を示す平面図である。
【図３１】図３０の固体撮像装置の概略動作を示すタイミング図である。
【図３２】図３０の固体撮像装置のあるタイミングにおける動作を示す平面図である。
【図３３】図３０の固体撮像装置の次のタイミングにおける動作を示す平面図である。
【図３４】図３０の固体撮像装置の更に次のタイミングにおける動作を示す平面図である。
【発明を実施するための形態】
【００１３】
以下、本発明の実施形態について、図面を参照して説明する。なお、添付の図面を用いて説明を行うが、これらは例示を目的としており、本発明がこれらに限定されることを意図しない。図面において実質的に同一の構成、動作及び効果を表す要素については、同一の符号を付す。
【００１４】
図１は、本発明に係る撮像装置を用いた測距システムの構成例を示すブロック図である。図１に示すように、背景光源１０２からの可視光と赤外光とを含む照明を備えた撮影対象空間内に被写体１０１が位置する。撮像装置は、赤外光源１０３と、レンズ１０４と、固体撮像装置１０５と、制御部１０６と、信号処理部１０７とを備えており、ＴＯＦ（Time Of Flight）型、パターン照射型、ステレオ型等の、よく知られた種々の赤外線方式のうちのいずれかを採用した測距システムを構成する。
【００１５】
赤外光源１０３は、被写体１０１に向けて、例えば波長８５０ｎｍの赤外レーザー光を照射する。背景光及び赤外レーザー光は、被写体１０１で反射してレンズ１０４に入射し、固体撮像装置１０５に結像する。固体撮像装置１０５は、半導体基板上に行列状に配置された、可視光を信号電荷に変換する複数の第１画素と、赤外光を信号電荷に変換する複数の第２画素とを有する。制御部１０６は、赤外光源１０３と固体撮像装置１０５との同期をとるように制御する。信号処理部１０７は、固体撮像装置１０５の出力から、赤外レーザー光に基づく距離画像信号とともに、可視光画像信号を生成する。
【００１６】
以下、図１中の固体撮像装置１０５の種々の具体例について説明する。
【００１７】
《第１の実施形態》
図２は、図１中の固体撮像装置１０５の第１の実施形態を示す平面図である。ここでは、図１の測距システムがＴＯＦ型であり、かつ固体撮像装置１０５がＣＣＤ（Charge Coupled Device）イメージセンサであるものとする。
【００１８】
図２に示した固体撮像装置は、半導体基板上に行列状に配置された複数の光電変換部１０を備える。これら光電変換部１０は、可視光を信号電荷に変換する複数の光電変換部１０ａと、赤外光を信号電荷に変換する複数の光電変換部１０ｂとに分けられる。可視光の光電変換部１０ａは、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）を選択的に透過するフィルタを備える。赤外光の光電変換部１０ｂは、赤外（ＩＲ）光を選択的に透過するフィルタを備える。
【００１９】
図２の固体撮像装置は、光電変換部１０ａ，１０ｂから読み出された信号電荷を列方向に転送する垂直転送部１１と、垂直転送部１１によって転送された信号電荷を行方向（水平方向）に転送する水平転送部１２と、水平転送部１２によって転送された信号電荷を出力する電荷検出部１３と、赤外光の光電変換部１０ｂのそれぞれに対応して設けられ、両脇の垂直転送部１１へ異なるタイミングで読み出すことが可能な第１の読み出し電極（Ｖ１Ａ）１４ａ及び第２の読み出し電極（Ｖ１Ｂ）１４ｂと、可視光の光電変換部１０ａのそれぞれに対応して設けられた第３の読み出し電極（Ｖ２）１４ｃとを更に備える。
【００２０】
ここで、固体撮像装置は、全画素読み出し（プログレッシブスキャン）対応のインターライントランスファ方式のＣＣＤであり、例えば、垂直転送部１１は、１画素あたり垂直転送電極１４が４ゲートある４相駆動であり、水平転送部１２は２相駆動である。光電変換部１０ａ，１０ｂからの信号電荷の読み出し電極は、４相駆動の垂直転送部１１の、垂直転送電極１４ａ，１４ｂ及び１４ｃが兼用した構成になっている。垂直転送部１１は、信号電荷の通り道となる垂直転送路１５を２本備え、光電変換部１０ａ，１０ｂに溜まった信号電荷は、例えば、信号パケット１６ａ，１６ｂ，１６ｃ及び１６ｄで表わされるパケットに、それぞれ振り分けて読み出し、転送される。
【００２１】
また、各画素には、縦型オーバーフロードレイン（ＶＯＤ）が備えられている。基板に接続されているＶＳＵＢ電極１７に高電圧が印加されると、全画素の信号電荷は一括に基板に排出される構成となっている。
【００２２】
図３は、図２の固体撮像装置の概略動作を示すタイミング図である。また図４〜図７は、図２の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
【００２３】
図３に示す垂直同期パルスＶＤは、例えば毎秒３０フレーム（３０ｆｐｓ）であり、各フレーム走査期間内に、可視光画像と、背景光による影響を排除した距離画像とを生成するための距離信号２０、距離信号２１、背景光信号２２及び可視光信号２３が得られる。
【００２４】
各フレームの初めに、基板排出パルスφＳｕｂを印加し、全画素の信号電荷を排出する。基板排出パルスφＳｕｂの印加終了により、距離信号２０及び可視光信号２３の蓄積期間が開始され、同時にパルス状の赤外光が赤外光源１０３から照射される。
【００２５】
距離信号蓄積期間Ｔａでは、読み出しパルスφＶ１Ａ及びφＶ１Ｂを印加し、図４に示すように、距離信号２０を読み出し、これを信号パケット１６ａに蓄積するとともに、距離信号２１を読み出し、これを信号パケット１６ｂに蓄積する。
【００２６】
距離信号蓄積期間Ｔａが終了すると、赤外光の照射を止め、図５に示すように、距離信号２０及び距離信号２１を信号パケット１６ａ〜１６ｄとともに１画素分、順方向（図中下方向）へ転送する。
【００２７】
背景光信号蓄積期間Ｔｂでは、距離信号蓄積期間Ｔａの半分、即ちＴａ／２に相当する期間だけ背景光を露光した後、読み出しパルスφＶ１Ａを印加し、図６に示すように、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
【００２８】
背景光信号蓄積期間Ｔｂが終了すると、図７に示すように、距離信号２０、距離信号２１及び背景光信号２２を信号パケット１６ａ〜１６ｄとともに１画素分、順方向へ転送する。その後、読み出しパルスφＶ２を印加し、可視光信号２３を読み出し、これを信号パケット１６ｄに蓄積する。
【００２９】
信号転送期間Ｔｃでは、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２及び可視光信号２３を電荷検出部１３から出力する。
【００３０】
距離画像の生成においては、まず、距離信号２０及び距離信号２１に含まれる背景光成分を、背景光信号２２を用いて排除する。
【００３１】
図８は、図２の固体撮像装置の距離信号蓄積期間Ｔａにおける詳細動作を示すタイミング図である。距離信号蓄積時間Ｔａでは常に背景光が露光され、距離信号２０及び距離信号２１にそれぞれ半分ずつ背景光成分が混入する。これにより、それぞれに含まれる背景光成分は、Ｔａ／２に相当する期間だけ背景光を露光した背景光信号２２と等しくなる。よって、距離信号２０及び距離信号２１のそれぞれから背景光信号２２を減算することにより、それぞれに含まれる背景光成分を排除することができる。
【００３２】
ここで、距離信号２０及び距離信号２１は、被写体１０１までの距離によってその信号比が異なることから、背景光成分が排除された距離信号２０及び距離信号２１の信号比を求めることで、背景光による影響を排除した、正確な距離画像（赤外光画像）を生成することができる。
【００３３】
また、可視光画像の生成においては、可視光信号２３に含まれる赤外成分を、距離信号２０、距離信号２１及び背景光信号２２を用いて排除する。
【００３４】
図３に示すように、可視光信号２３の蓄積期間には、距離信号２０、距離信号２１及び背景光信号２２も同時に蓄積されるため、可視光信号２３にそれらの赤外成分が混入する。ここで、可視光信号２３の蓄積期間は、距離信号２０、距離信号２１及び背景光信号２２の蓄積期間を全て足し合わせた時間と同一に設定しているため、可視光信号２３から、距離信号２０、距離信号２１及び背景光信号２２をそれぞれ減算することにより、可視光信号２３に含まれる赤外成分を排除することが可能となり、色再現性の高い可視光画像を生成することができる。
【００３５】
以上、第１の実施形態に係るＴＯＦ型測距システムによれば、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることが可能となり、従来技術にあったような、フレームを跨いで距離情報を得ることが無くなる。これにより、動体の距離情報の精度向上や、フレームレート向上が可能になる。
【００３６】
更に、従来技術では、可視光信号２３に含まれる赤外成分を排除するためには、専用の信号を得る必要があり、色再現性の高い可視光画像を得る場合、フレームレートが低下していたが、第１の実施形態に係るＴＯＦ型測距システムによれば、距離信号２０、距離信号２１及び背景光信号２２を用いて赤外成分を排除することができるため、フレームレートを低下することなく、色再現性の高い可視光画像を得ることが可能になる。
【００３７】
なお、図３では、可視光信号２３の蓄積期間は、距離信号２０、距離信号２１及び背景光信号２２の蓄積期間を全て足し合わせた時間と同一に設定しているが、基板排出パルスφＳｕｂの印加により、可視光信号２３の蓄積期間を独立して制御することも可能である。例えば、距離信号蓄積期間Ｔａに、基板排出パルスφＳｕｂを印加することにより、距離信号２０及び距離信号２１の蓄積期間を殆ど変えることなく、可視光信号２３の蓄積期間を短く設定することが可能となり、明るい被写体１０１を撮像する場合においても、可視光信号２３が飽和しなくなる。また、可視光信号２３の蓄積期間を独立に制御した場合、混入する赤外成分も蓄積期間に比例して変化するため、可視光信号２３から、距離信号２０、距離信号２１及び背景光信号２２を減算する際、蓄積期間に応じた係数を掛け合わせてから減算することで、可視光信号２３に混入する赤外成分を排除することが可能となり、可視光信号２３の蓄積期間を独立に制御した場合においても、色再現性の高い可視光画像が得られる。
【００３８】
また、可視光の光電変換部１０ａに、赤外光をカットするフィルタを備えてもよい。これにより、前記赤外成分を排除するための減算処理を省略した場合においても、色再現性の高い可視光画像を得ることが可能となる。
【００３９】
《第２の実施形態》
図９は、図１中の固体撮像装置１０５の第２の実施形態を示す平面図である。ここでは、図１の測距システムがＴＯＦ型であり、かつ固体撮像装置１０５がＣＣＤイメージセンサであるものとする。
【００４０】
第２の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、光電変換部１０のフィルタ配列が異なり、また、光電変換部１０から信号電荷を読み出し、蓄積する方法が異なり、更にそれに起因して、垂直転送部１１の構成が異なっている。しかし、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００４１】
図９に示した固体撮像装置は、図２の固体撮像装置と比較して、赤外光を信号電荷に変換する複数の光電変換部１０ｂの配置が異なる。また、垂直転送部１１は、３画素あたり垂直転送電極１４が１２ゲートある１２相駆動であり、信号電荷の通り道となる垂直転送路１５を１本備える。
【００４２】
図１０は、図９の固体撮像装置の概略動作を示すタイミング図であって、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得る例を示している。また図１１〜図１５は、図９の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
【００４３】
まず、第１の距離信号蓄積期間Ｔａ１の前に、読み出しパルスφＶ１を印加し、図１１に示すように、前フレームの信号転送期間Ｔｃの露光により蓄積された可視光信号２３を読み出し、これを信号パケット１６ｅに蓄積する。
【００４４】
その後、図１２に示すように、可視光信号２３を信号パケット１６ａ〜１６ｅとともに１段順方向へ転送する。転送した後、読み出しパルスφＶ５を印加し、前フレームの信号転送期間Ｔｃの露光により蓄積された可視光信号２４を読み出し、これを信号パケット１６ｄに蓄積する。
【００４５】
その後、図１３に示すように、可視光信号２３及び可視光信号２４を信号パケット１６ａ〜１６ｅとともに１段逆方向（図中上方向）へ転送し、第１の距離信号蓄積期間Ｔａ１を開始する。第１の距離信号蓄積期間Ｔａ１では、読み出しパルスφＶ９を印加し、距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。
【００４６】
第１の距離信号蓄積期間Ｔａ１が終了すると、図１４に示すように、可視光信号２３、可視光信号２４及び距離信号２０を信号パケット１６ａ〜１６ｅとともに１段順方向へ転送し、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、読み出しパルスφＶ９を印加し、距離信号２１を読み出し、これを信号パケット１６ｂに蓄積する。
【００４７】
第２の距離信号蓄積期間Ｔａ２が終了すると、図１５に示すように、可視光信号２３、可視光信号２４、距離信号２０及び距離信号２１を信号パケット１６ａ〜１６ｅとともに１段順方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ９を印加し、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
【００４８】
信号転送期間Ｔｃでは、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２、可視光信号２４及び可視光信号２３を順次出力する。
【００４９】
図１６は、図９の固体撮像装置の第１及び第２の距離信号蓄積期間Ｔａ１，Ｔａ２における詳細動作を示すタイミング図である。第１及び第２の距離信号蓄積期間Ｔａ１，Ｔａ２において、垂直転送電極１４ｃに印加する読み出しパルスφＶ９は、Ｈｉｇｈレベルに固定され、基板排出パルスφＳｕｂがＬｏｗレベルになったときに電荷が蓄積される。
【００５０】
距離画像の生成においては、第１の実施形態に係る固体撮像装置と同様に、距離信号２０及び距離信号２１に含まれる背景光成分を、背景光信号２２を用いて排除する。
【００５１】
また、可視光画像の生成においては、第１の実施形態に係るＴＯＦ型測距システムと比較して、可視光信号２４が加えられているのみで、可視光信号２４に含まれる赤外成分についても、距離信号２０、距離信号２１及び背景光信号２２を用いて排除する。
【００５２】
以上、第２の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置に備えられた垂直転送部１１の駆動相数を増加することで、１本の垂直転送部１１に垂直転送路１５を１本のみ備える構造においても、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることが可能となり、固体撮像装置の設計及び製造が容易になる。
【００５３】
《第３の実施形態》
図１７は、図１中の固体撮像装置１０５の第３の実施形態を示す平面図である。ここでは、図１の測距システムがＴＯＦ型であり、かつ固体撮像装置１０５がＣＣＤイメージセンサであるものとする。
【００５４】
第３の実施形態に係る固体撮像装置は、第２の実施形態に係る固体撮像装置と比較して、光電変換部１０のフィルタ配列が異なり、また、光電変換部１０から信号電荷を読み出し、蓄積する方法が異なり、更にそれに起因して、垂直転送部１１の構成が異なっている。しかし、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることができる構造及び駆動方法を提供することを目的とする点は、第２の実施形態に係る固体撮像装置と同様である。以下、第２の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００５５】
図１７に示した固体撮像装置は、図９の固体撮像装置と比較して、赤外光を信号電荷に変換する複数の光電変換部１０ｂの配置が異なる。また、垂直転送部１１は、２画素あたり垂直転送電極１４が８ゲートある８相駆動であり、信号電荷の通り道となる垂直転送路１５を１本備える。
【００５６】
図１８は、図１７の固体撮像装置の概略動作を示すタイミング図であって、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得る例を示している。また図１９〜図２３は、図１７の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
【００５７】
まず、第１の距離信号蓄積期間Ｔａ１の前に、読み出しパルスφＶ２及びφＶ６を印加し、図１９に示すように、前フレームの信号転送期間Ｔｃの露光により蓄積された可視光信号２３を読み出し、これを信号パケット１６ｄ及び１６ｅに蓄積する。
【００５８】
その後、図２０に示すように、可視光信号２３を信号パケット１６ａ〜１６ｆとともに１段順方向へ転送する。転送した後、読み出しパルスφＶ１を印加し、前フレームの信号転送期間Ｔｃの露光により蓄積された可視光信号２４を読み出し、これを信号パケット１６ｆに蓄積する。
【００５９】
その後、第１の距離信号蓄積期間Ｔａ１の開始に伴い、読み出しパルスφＶ５を印加し、図２１に示すように、距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。
【００６０】
第１の距離信号蓄積期間Ｔａ１が終了すると、図２２に示すように、可視光信号２３、可視光信号２４及び距離信号２０を信号パケット１６ａ〜１６ｆとともに１段順方向へ転送し、第２の距離信号蓄積期間Ｔａ２を開始する。第２の距離信号蓄積期間Ｔａ２では、読み出しパルスφＶ５を印加し、距離信号２１を読み出し、これを信号パケット１６ｂに蓄積する。
【００６１】
第２の距離信号蓄積期間Ｔａ２が終了すると、図２３に示すように、可視光信号２３、可視光信号２４、距離信号２０及び距離信号２１を信号パケット１６ａ〜１６ｆとともに１段順方向へ転送し、背景光信号蓄積期間Ｔｂを開始する。背景光信号蓄積期間Ｔｂでは、第１の距離信号蓄積期間Ｔａ１及び第２の距離信号蓄積期間Ｔａ２と同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ５を印加し、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
【００６２】
信号転送期間Ｔｃでは、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、距離信号２１、背景光信号２２、可視光信号２３及び可視光信号２４を順次出力する。
【００６３】
図２４は、図１７の固体撮像装置の第１及び第２の距離信号蓄積期間Ｔａ１，Ｔａ２における詳細動作を示すタイミング図である。第１及び第２の距離信号蓄積期間Ｔａ１，Ｔａ２において、垂直転送電極１４ｄに印加する読み出しパルスφＶ５は、Ｈｉｇｈレベルに固定され、基板排出パルスφＳｕｂがＬｏｗレベルになったときに電荷が蓄積される。
【００６４】
距離画像の生成においては、第２の実施形態に係る固体撮像装置と同様に、距離信号２０及び距離信号２１に含まれる背景光成分を、背景光信号２２を用いて排除する。
【００６５】
また、可視光画像の生成においては、第２の実施形態に係るＴＯＦ型測距システムと同様に、可視光信号２３及び２４に含まれる赤外成分は、距離信号２０、距離信号２１及び背景光信号２２を用いて排除する。
【００６６】
以上、第３の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置のフィルタ配列を変更することで、垂直転送部１１の駆動相数が８相駆動の場合においても、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることが可能となり、１２相駆動と比較して、固体撮像装置の端子数を削減することが可能となる。
【００６７】
《第４の実施形態》
図２５は、図１中の固体撮像装置１０５の第４の実施形態を示すブロック図である。ここでは、図１の測距システムがＴＯＦ型であり、かつ固体撮像装置１０５がＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサであるものとする。
【００６８】
第４の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、固体撮像装置にＣＭＯＳイメージセンサを用いている点が異なる。しかし、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００６９】
図２５に示した固体撮像装置は、半導体基板上に行列状に配置された複数の光電変換部１０を備える。これら光電変換部１０は、可視光を信号電荷に変換する複数の光電変換部１０ａと、赤外光を信号電荷に変換する複数の光電変換部１０ｂとに分けられる。可視光の光電変換部１０ａは、レッド（Ｒ）、グリーン（Ｇ）、ブルー（Ｂ）を選択的に透過するフィルタを備える。赤外光の光電変換部１０ｂは、赤外（ＩＲ）光を選択的に透過するフィルタを備える。図２５の固体撮像装置は、光電変換部１０ａ，１０ｂから読み出された信号を走査し、出力するための垂直走査回路３０、垂直信号線３５及び水平走査回路３１が更に備えられている。また、ノイズを除去するために、ノイズ除去回路３２が、各列に対応して配置形成されている。
【００７０】
図２６は、図２５中の着目画素領域３３の詳細構成例を示す回路図である。着目画素領域３３は、互いに隣接した、可視光の光電変換部１０ａと赤外光の光電変換部１０ｂとを含む領域である。
【００７１】
赤外光の光電変換部１０ｂには、１画素当り複数の信号を出力すべく、複数の制御信号線ＴＸ１〜ＴＸ３と、各々読み出した信号電荷を蓄積する複数のフローティング領域３４ａ，３４ｂ，３４ｃと、各々光電変換された信号電荷をフローティング領域３４ａ，３４ｂ，３４ｃに転送する複数の信号転送部３６ａ，３６ｂ，３６ｃと、各々フローティング領域３４ａ，３４ｂ，３４ｃの電位をリセットする複数のリセット部３７ａ，３７ｂ，３７ｃと、各々フローティング領域３４ａ，３４ｂ，３４ｃの電位に基づいて信号増幅する複数の信号増幅部３８ａ，３８ｂ，３８ｃと、各々信号増幅部３８ａ，３８ｂ，３８ｃで信号増幅した信号を選択出力する複数の選択部３９ａ，３９ｂ，３９ｃとが備えられている。可視光の光電変換部１０ａには、制御信号線ＴＸ４と、読み出した信号電荷を蓄積するフローティング領域３４ｄと、光電変換された信号電荷をフローティング領域３４ｄに転送する信号転送部３６ｄと、フローティング領域３４ｄの電位をリセットするリセット部３７ｄと、フローティング領域３４ｄの電位に基づいて信号増幅する信号増幅部３８ｄと、信号増幅部３８ｄで信号増幅した信号を選択出力する選択部３９ｄとが備えられている。
【００７２】
フローティング領域３４ａ〜３４ｄに蓄積された信号は、選択信号線Ｓにパルスが印加されたタイミングで、それぞれに対応した垂直信号線３５を通って出力される。フローティング領域３４ａ〜３４ｄに蓄積された信号は、リセット信号線Ｒ１，Ｒ２にパルスが印加されたタイミングでリセットされる。
【００７３】
図２７は、図２５の固体撮像装置の概略動作を示すタイミング図であって、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得る例を示している。また図２８は、図２５の固体撮像装置の距離・背景光信号蓄積期間Ｔｄにおける詳細動作を示すタイミング図である。
【００７４】
まず、距離・背景光信号蓄積期間Ｔｄでは、図２８に示すように、制御信号パルスφＴＸ１，φＴＸ２及びφＴＸ３を印加することで、距離信号２０、距離信号２１及び背景光信号２２を順番に、フローティング領域３４ａ，３４ｂ及び３４ｃへ読み出している点が、第１の実施形態と異なる。
【００７５】
距離・背景光信号蓄積期間Ｔｄが終了すると、制御信号パルスφＴＸ４を印加し、可視光信号２３をフローティング領域３４ｄへ読み出した後、垂直走査回路３０及び水平走査回路３１を制御することで、距離信号２０、距離信号２１、背景光信号２２及び可視光信号２３を出力する。
【００７６】
距離画像の生成においては、第１の実施形態に係る固体撮像装置と同様に、距離信号２０及び距離信号２１に含まれる背景光成分は、背景光信号２２を用いて排除する。
【００７７】
可視光画像の生成においては、第１の実施形態に係る固体撮像装置と同様に、可視光信号２３に含まれる赤外成分は、距離信号２０、距離信号２１及び背景光信号２２を用いて排除する。
【００７８】
以上、第４の実施形態に係るＴＯＦ型測距システムによれば、固体撮像装置にＣＭＯＳイメージセンサを用いることによっても、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることが可能となる。これにより、信号の転送期間Ｔｃを短縮することが可能となり、フレームレートを更に向上することができる。また、距離信号２０、距離信号２１及び背景光信号２２が順次繰り返して蓄積されることから、動体の距離情報の精度を更に向上することができる。
【００７９】
《第５の実施形態》
図２９は、図１中の固体撮像装置１０５の第５の実施形態を示す平面図である。ここでは、図１の測距システムがＴＯＦ型であり、かつ固体撮像装置１０５がＣＣＤイメージセンサであるものとする。
【００８０】
第５の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、可視光の光電変換部１０ａに、グリーン（Ｇ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、シアン（Ｃｙ）を選択的に透過するフィルタが備えられている点が異なる。つまり、光電変換部１０のフィルタ配列のみが異なり、その他電極の構成に変更はない。また、固体撮像装置の駆動方法においては、図３〜図８に示す、第１の実施形態に係る固体撮像装置の駆動方法と同様である。しかし、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。
【００８１】
以上の第５の実施形態に係るＴＯＦ型測距システムによれば、光電変換部１０ａに、グリーン（Ｇ）、マゼンタ（Ｍｇ）、イエロー（Ｙｅ）、シアン（Ｃｙ）を選択的に透過するフィルタを備える場合においても、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることが可能となる。これにより、可視光画像の感度及び解像度を向上することができる。
【００８２】
《第６の実施形態》
図３０は、図１中の固体撮像装置１０５の第６の実施形態を示す平面図である。ここでは、図１の測距システムがパターン照射型であり、かつ固体撮像装置１０５がＣＣＤイメージセンサであるものとする。第１の実施形態に係るＴＯＦ型測距システムと比較して、赤外光が特定パターン状に照射される点が異なる。
【００８３】
第６の実施形態に係る固体撮像装置は、第１の実施形態に係る固体撮像装置と比較して、光電変換部１０から信号電荷を読み出し、蓄積する方法が異なり、更にそれに起因して、垂直転送部１１の構成が異なっている。しかし、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることができる構造及び駆動方法を提供することを目的とする点は、第１の実施形態に係る固体撮像装置と同様である。以下、第１の実施形態と異なる点を中心に説明し、同じ点は説明を省略する。
【００８４】
図３０の固体撮像装置における垂直転送部１１は、２画素あたり垂直転送電極１４が８ゲートある８相駆動であり、可視光の光電変換部１０ａのそれぞれに対応して第１の読み出し電極１４ａと第４の読み出し電極１４ｄとが備えられ、赤外光の光電変換部１０ｂのそれぞれに対応して第２の読み出し電極１４ｂと第３の読み出し電極１４ｃとが備えられている。また、垂直転送部１１は１本につき、垂直転送路１５が１本備えられ、信号パケット１６ａ，１６ｃ，１６ｄを備える。
【００８５】
図３１は、図３０の固体撮像装置の概略動作を示すタイミング図であって、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得る例を示している。また図３２〜図３４は、図３０の固体撮像装置の個々のタイミングにおける動作を示す平面図である。
【００８６】
まず、距離信号蓄積期間Ｔａでは、読み出しパルスφＶ１Ｂ及びφＶ５Ａを印加し、図３２に示すように、赤外光源１０３が発光している期間だけ蓄積されていた距離信号２０を読み出し、これを信号パケット１６ａに蓄積する。
【００８７】
距離信号蓄積期間Ｔａが終了すると、赤外光の照射を止め、図３３に示すように、距離信号２０を信号パケット１６ａ，１６ｃ及び１６ｄとともに順方向へ転送する。背景光信号蓄積期間Ｔｂでは、距離信号蓄積期間Ｔａと同じ長さの期間だけ背景光を露光した後、読み出しパルスφＶ１Ｂ及びφＶ５Ａを印加し、背景光信号２２を読み出し、これを信号パケット１６ｃに蓄積する。
【００８８】
背景光信号蓄積期間Ｔｂが終了すると、図３４に示すように、距離信号２０及び背景光信号２２を信号パケット１６ａ，１６ｃ及び１６ｄとともに順方向へ転送する。転送した後、読み出しパルスφＶ１Ａ及びφＶ５Ｂを印加し、可視光信号２３を読み出し、これを信号パケット１６ｄに蓄積する。
【００８９】
信号転送期間Ｔｃでは、垂直転送部１１及び水平転送部１２を順次走査することにより、距離信号２０、背景光信号２２及び可視光信号２３を出力する。
【００９０】
距離画像の生成においては、第１の実施形態に係るＴＯＦ型測距システムと同様に、まず、距離信号２０に含まれる背景光成分を、背景光信号２２を用いて排除する。ここで、赤外光源１０３からは特定パターン状の光が照射されており、背景光成分が排除された距離信号２０から、各照射パターンの位置ずれ量を求めることで、正確な距離画像を生成することができる。
【００９１】
また、可視光画像の生成においては、第１の実施形態に係るＴＯＦ型測距システムと比較して、距離信号２１が存在しないのみで、可視光信号２３に含まれる赤外成分については、距離信号２０及び背景光信号２２を用いて排除する。
【００９２】
以上、第６の実施形態に係るパターン照射型測距システムによれば、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることが可能となり、従来技術にあったような、フレームを跨いで距離情報を得ることが無くなる。これにより、動体の距離情報の精度向上や、フレームレート向上が可能になる。
【００９３】
《第７の実施形態》
以下、第７の実施形態に係るステレオ型測距システムについて説明するが、第６の実施形態と異なる点を中心に説明する。
【００９４】
第７の実施形態に係るステレオ型測距システムの概略は図１に示すとおりであり、第６の実施形態に係るパターン照射型測距システムと比較して、固体撮像装置１０５及び赤外光源１０３が各々２つ備えられ、赤外光が被写体１０１に一様に照射される点が異なる。
【００９５】
第７の実施形態に係る固体撮像装置の構成及び駆動方法は、図３０〜図３４に示す、第６の実施形態に係る固体撮像装置の構成及び駆動方法と同様である。
【００９６】
距離画像の生成においては、第６の実施形態に係るパターン照射型測距システムと同様に、まず、距離信号２０に含まれる背景光成分を、背景光信号２２を用いて排除する。ここで、赤外光源１０３が固体撮像装置１０５の両脇に合計２つ備えられており、それぞれから出力された赤外光により、背景光成分が排除された距離信号２０から、被写体１０１までの距離を三角測量法により求めることで、正確な距離画像を生成することができる。
【００９７】
また、可視光画像の生成においては、第６の実施形態に係るパターン照射型測距システムと同様に、可視光信号２３に含まれる赤外成分を、距離信号２０及び背景光信号２２を用いて排除する。
【００９８】
第７の実施形態に係るステレオ型測距システムによれば、１フレーム走査期間内で、可視光画像と、背景光による影響を排除した距離画像とを生成するための信号を得ることが可能となり、従来技術にあったような、フレームを跨いで距離情報を得ることが無くなる。これにより、動体の距離情報の精度向上や、フレームレート向上が可能になる。
【００９９】
以上、本発明の実施形態に基づいて説明したが、本発明は、これら実施形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施形態に施したものや、異なる実施形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１００】
例えば、上記第１〜第７の実施形態では、２相駆動の水平転送部１２が１つ備えられていた。しかし、３相以上の駆動相数や、複数の水平転送部を備えた場合でも、同じ効果を得ることが可能である。
【産業上の利用可能性】
【０１０１】
以上説明してきたとおり、本発明に係る撮像装置は、動体の距離精度及びフレームレートを向上することができるので、所定の距離位置に存在する被写体の距離画像とともに可視光画像を取得する撮像装置として有用である。
【符号の説明】
【０１０２】
１０，１０ａ，１０ｂ  光電変換部
１１  垂直転送部
１２  水平転送部
１３  電荷検出部
１４，１４ａ，１４ｂ，１４ｃ，１４ｄ  垂直転送電極
１５  垂直転送路
１６ａ，１６ｂ，１６ｃ，１６ｄ，１６ｅ，１６ｆ  信号パケット
１７  ＶＳＵＢ電極
２０，２１  距離信号
２２  背景光信号
２３，２４  可視光信号
３０  垂直走査回路
３１  水平走査回路
３２  ノイズ除去回路
３３  着目画素領域
３４ａ，３４ｂ，３４ｃ，３４ｄ  フローティング領域
３５  垂直信号線
３６ａ，３６ｂ，３６ｃ，３６ｄ  信号転送部
３７ａ，３７ｂ，３７ｃ，３７ｄ  リセット部
３８ａ，３８ｂ，３８ｃ，３８ｄ  信号増幅部
３９ａ，３９ｂ，３９ｃ，３９ｄ  選択部
１０１  被写体
１０２  背景光源
１０３  赤外光源
１０４  レンズ
１０５  固体撮像装置
１０６  制御部
１０７  信号処理部
【図１】
2014122714.tif 000003
【図２】
2014122714.tif 000004
【図３】
2014122714.tif 000005
【図４】
2014122714.tif 000006
【図５】
2014122714.tif 000007
【図６】
2014122714.tif 000008
【図７】
2014122714.tif 000009
【図８】
2014122714.tif 000010
【図９】
2014122714.tif 000011
【図１０】
2014122714.tif 000012
【図１１】
2014122714.tif 000013
【図１２】
2014122714.tif 000014
【図１３】
2014122714.tif 000015
【図１４】
2014122714.tif 000016
【図１５】
2014122714.tif 000017
【図１６】
2014122714.tif 000018
【図１７】
2014122714.tif 000019
【図１８】
2014122714.tif 000020
【図１９】
2014122714.tif 000021
【図２０】
2014122714.tif 000022
【図２１】
2014122714.tif 000023
【図２２】
2014122714.tif 000024
【図２３】
2014122714.tif 000025
【図２４】
2014122714.tif 000026
【図２５】
2014122714.tif 000027
【図２６】
2014122714.tif 000028
【図２７】
2014122714.tif 000029
【図２８】
2014122714.tif 000030
【図２９】
2014122714.tif 000031
【図３０】
2014122714.tif 000032
【図３１】
2014122714.tif 000033
【図３２】
2014122714.tif 000034
【図３３】
2014122714.tif 000035
【図３４】
2014122714.tif 000036
【国際調査報告】
2014122714.tif 000037
2014122714.tif 000038
2014122714.tif 000039
2014122714.tif 000040