(57)【要約】【課題】距離分解能の低下なしに距離計測範囲を拡大可能な距離画像センサを提供する。【解決手段】放射源１３は、時間軸上に順に配列された第１〜第５のフレームにおいて対象物に照射される第１〜第５のパルスＰＴ１〜ＰＴ５の列を放射パルスとして提供する。フレームの各々では、撮像時刻ＴＰＵ１〜ＴＰＵ５は各フレームの始点から所定の時間△ＴＰＤの位置に規定され、またパルスＰＴ１〜ＰＴ５が、それぞれ、第１〜第５のフレームの始点から、互いに異なるシフト量でシフトされる。５つのフレームの各々における撮像ウインドウＡ、Ｂを用いて、ピクセルアレイ２３は、互いに異なる距離範囲の対象物の距離情報を有する要素画像信号ＳＥ１〜ＳＥ５を生成する。処理装置１７は、これらを合成して画像信号ＳＩＭＡＧＥを生成する。５回の飛行時間測定のを用いるので、広い距離範囲の対象物の距離情報を得るために、放射パルスの幅を広げる必要がなく、距離分解能が低下しない。【選択図】図１０
2010032425.tif 000002
【特許請求の範囲】
【請求項１】
飛行時間法を用いる距離画像センサであって、
飛行時間を計測するために対象物に照射する放射パルスを発生する放射源と、
互いに異なる第１〜第ｎの飛行時間（ｎ＞１）に対応する第１〜第ｎの撮像タイミングを示す制御信号を生成する制御装置と、入射放射線に感応して電荷を生成する検出素子を含む複数のピクセルのピクセルアレイと、前記第１〜第ｎの撮像タイミングにそれぞれ対応する第１〜第ｎの要素画像信号を前記制御信号に応答して生成する信号生成装置とを有する画像生成装置と、
前記第１〜第ｎの要素画像信号を合成して、前記対象物に関する距離情報を含む画像信号を生成する処理装置と
を備え、
各ピクセルの前記検出素子は、前記第１〜第ｎの撮像タイミングの各々における第１及び第２の撮像ウインドウにおいて該検出素子に入射する入射放射線に応じてそれぞれ第１及び第２の電荷を生成し、
各ピクセルは、前記第１及び第２の撮像ウインドウに対応してそれぞれ前記第１及び第２の電荷から第１及び第２の要素信号を提供し、
前記第１の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有しており、
前記第２の撮像ウインドウは、前記撮像時刻の直後にあり所定の時間幅を有しており、
前記第ｉの要素画像信号（１≦ｉ≦ｎ）は、前記第ｉの撮像タイミングにおける各ピクセルの前記第１及び第２の要素信号を含む、ことを特徴とする距離画像センサ。
【請求項２】
前記放射源は、時間軸に関して順に配列された第１〜第ｎのフレームそれぞれにおいて対象物に照射される第１〜第ｎのパルスの列を前記放射パルスとして提供し、
前記第１〜第ｎのパルスは、それぞれ、前記第１〜第ｎのフレームの始点から、互いに異なるシフト量でシフトされており、
前記第１〜第ｎのフレームの各々において、前記撮像時刻は各フレームの始点から所定の時間で規定され、
前記第１〜第ｎのフレームの各々は、前記第１及び第２の撮像ウインドウを含み、
前記第１〜第ｎのパルスの各々の持続時間は、前記第１の撮像ウインドウの期間以下であり、
前記第１〜第ｎのパルスの各々の持続時間は、前記第２の撮像ウインドウの期間以下である、ことを特徴とする請求項１に記載された距離画像センサ。
【請求項３】
前記第１〜第ｎのフレームの各々は、前記第１及び第２の撮像ウインドウと、前記第１及び第２の撮像ウインドウと異なる電荷廃棄ウインドウとを含み、
前記ピクセルは、前記電荷廃棄ウインドウにおいて、前記検出素子の電荷を廃棄する、ことを特徴とする請求項２に記載された距離画像センサ。
【請求項４】
前記ピクセルは、前記第１〜第ｎの撮像タイミングにおける前記第１及び第２の撮像ウインドウにおいてそれぞれ導通し前記検出素子に接続された第１及び第２の転送ゲートと、前記検出素子に接続され前記電荷廃棄ウインドウに導通する第１及び第２の廃棄ゲートとを含み、
前記検出素子は前記第１の転送ゲートと前記第２の転送ゲートとの間に位置し、
前記検出素子は前記第１の廃棄ゲートと前記第２の廃棄ゲートとの間に位置する、ことを特徴とする請求項３に記載された距離画像センサ。
【請求項５】
前記第１〜第ｎのパルスのパルス幅は、線形応答領域を用いて前記距離情報を含む画像信号を生成可能なように規定されている、ことを特徴とする請求項２〜請求項４のいずれか一項に記載された距離画像センサ。
【請求項６】
前記放射源は、単一のフレームに単一のパルスを前記放射パルスとして提供し、
前記第１〜第ｎの撮像タイミングは、前記フレーム内に位置し、
前記第１〜第ｎの撮像タイミングの前記撮像時刻は、互いに異なるシフト量で前記単一のフレームの始点からシフトされており、
前記第１の撮像タイミングの前記撮像時刻の直前には前記第１の撮像ウインドウが設けられ、
前記第ｎの撮像タイミングの前記撮像時刻の直後には前記第２の撮像ウインドウが設けられ、
前記第１〜第ｎの撮像タイミングのうちの第ｉの撮像タイミング（１≦ｉ＜ｎ−１）と第ｉ＋１の撮像タイミングとの間には、前記検出素子に入射する入射放射線に応じた電荷を取り込むためのウインドウが規定されており、
前記ウインドウは、前記第１及び第２の撮像ウインドウのために兼用され、
前記パルスの持続時間は、前記第１の撮像ウインドウの期間以下であり、
前記パルスの各々の持続時間は、前記第２の撮像ウインドウの期間以下である、ことを特徴とする請求項１に記載された距離画像センサ。
【請求項７】
前記単一のフレームは、前記第１及び第２の撮像ウインドウと、前記第１の撮像ウインドウ及び前記第２の撮像ウインドウと異なる電荷廃棄ウインドウとを含み、
前記ピクセルは、前記電荷廃棄ウインドウにおいて、前記検出素子の電荷を廃棄する、ことを特徴とする請求項６に記載された距離画像センサ。
【請求項８】
前記ピクセルは、前記検出素子の一方の側に配置された第１の群の第１〜第ｊの転送ゲートと、前記検出素子の他方の側に配置された第２の群の第ｊ＋１〜第ｎ＋１の転送ゲートと、前記検出素子に接続され前記電荷廃棄ウインドウに導通する第１及び第２の廃棄ゲートとを含み、
前記第１〜第ｎ＋１の転送ゲートは、前記第１〜第ｎの撮像タイミングのいずれかにおいて導通し、
前記検出素子は前記第１の廃棄ゲートと前記第２の廃棄ゲートとの間に位置する、ことを特徴とする請求項７に記載された距離画像センサ。
【請求項９】
複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法であって、
前記ピクセルアレイの検出素子を用いて、互いに異なる第１〜第ｎの飛行時間（ｎ＞１）で複数の撮像を行って、第１〜第ｎの要素画像信号を生成するステップと、
前記第１〜第ｎの要素画像信号を合成して、前記対象物に関する距離情報を含む画像信号を生成するステップと
を備え、
各ピクセルは、前記第１〜第ｎの撮像タイミングにおける第１及び第２の撮像ウインドウにおいてそれぞれ第１及び第２の電荷を生成し、
前記第１の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有しており、
前記第２の撮像ウインドウは、前記撮像時刻の直後にあり所定の時間幅を有しており、
各ピクセルは、前記第１及び第２の電荷の量にそれぞれ対応する第１及び第２の要素信号を提供し、
前記第ｉの要素画像信号（１≦ｉ≦ｎ）は、前記第ｉの撮像タイミングにおける前記複数のピクセルの前記第１及び第２の要素信号を含む、ことを特徴とする方法。
【請求項１０】
前記第１〜第ｎの要素画像信号を生成する前記ステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含み、
前記放射パルスの照射では、時間軸に関して順に配列された第１〜第ｎのフレームそれぞれにおいて対象物に照射するための第１〜第ｎのパルスが出射され、
前記第１〜第ｎのパルスは、それぞれ、前記第１〜第ｎのフレームの始点から、互いに異なるシフト量でシフトされており、
前記第１〜第ｎのフレームの各々において、前記基準時刻は各フレームの始点であり、
前記第１〜第ｎのフレームの各々は、前記第１及び前記第２の撮像ウインドウを含み、
前記第１〜第ｎのパルスの各々の持続時間は、前記第１の撮像ウインドウの期間以下であり、
前記第１〜第ｎのパルスの各々の持続時間は、前記第２の撮像ウインドウの期間以下である、ことを特徴とする請求項９に記載された方法。
【請求項１１】
前記第１〜第ｎの要素画像信号を生成する前記ステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含み、
前記放射パルス照射では、単一のフレームに単一のパルスが出射され、
前記第１〜第ｎの撮像タイミングは、前記単一のフレーム内に位置し、
前記第１〜第ｎの撮像タイミングは、前記単一のフレームの始点から、互いに異なるシフト量でシフトされており、
前記第１及び第２の撮像ウインドウの各々は、前記第１〜第ｎの撮像タイミングのうち隣接する撮像タイミングの間に設けられている、ことを特徴とする請求項９に記載された方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離画像センサ、及び撮像信号を飛行時間法により生成する方法に関する。
【背景技術】
【０００２】
特許文献１には、全画素同時電子シャッタ動作が可能な固体撮像装置が記載されている。この固体撮像装置は、全フォトダイオードをリセットした後に、第１転送ゲートを一斉に閉じ、各フォトダイオードに電荷の蓄積を行う。シャッタ時間が経過した後に、第１転送ゲートを一斉に開き、蓄積された電荷をそれぞれの電荷蓄積領域に転送する。特許文献２には、電子シャッタ作用を備えた能動ピクセルセンサアレイが記載されている。特許文献３には、距離画像センサのための画素回路が記載されている。シリコン基板上に酸化膜が設けられており、この酸化膜上に、２つの電荷転送用フォトゲート電極が設けられる。酸化膜の縁部には、電荷取り出し用の浮遊拡散層が設けられている。特許文献４には、強度変調された放射フィールドを検出と復調のための方法及び装置が記載されている。この方法及び装置では、センサ素子のアレイの光感応部に生成された信号電荷を、光源によって生成された変調信号に同期してメモリセルに転送するように、センサ素子の電子スイッチを制御すると共に、メモリセルに格納された信号電荷を評価ユニットに転送するように、メモリセルを制御する。特許文献５には、アクティブピクセルセンサが記載されている。アクティブピクセルセンサは、信号電荷として集められるフォト電荷を入力光から発生する光検出領域と、ピクセル内に増幅器の入力に接続されたセンスノードに光検出領域から信号電荷を転送するトランジスタとを備える。ピクセルの設計では、光検出領域が中心軸に関して二次元対称性を有するように設けられている。特許文献６では、ＴＯＦ法を用いる三次元撮像システムが記載されている。三次元撮像システムのピクセルは、ピクセル検出器、電荷コレクタ及び電子シャッタを含み、電子シャッタは、ピクセル検出器と電荷コレクタとの間に介在している。非特許文献１は、ＣＣＤを用いた距離測定センサが記載されている。反射光の遅延時間は、２つの検知期間によって位相シフト量として測定される。
【特許文献１】特開平１１−１７７０７６号公報
【特許文献２】特表２０００−５０４４８９号公報
【特許文献３】特開２００５−２３５８９３号公報
【特許文献４】ＵＳＰ５８５６６６７号公報
【特許文献５】ＵＳＰ５９８６２９７号公報
【特許文献６】ＵＳＰ６３２３９４２号公報
【非特許文献１】Ryohei Miyagawa, Takeo Kanade, "CCD-based range-finding sensor,"IEEE Trans. Electron Devices, vol. 44, no. 10, pp.1648-1652 (1997).
【発明の開示】
【発明が解決しようとする課題】
【０００３】
光の飛行時間を用いた従来の距離画像センサでは、距離計測範囲を広げるためには、以下の事項が必要であった：（ａ１）光の変調周波数を高める；（ａ２）光のパルスの幅を広げる。一方、距離分解能を高めるためには、以下の事項が必要であった：（ｂ１）光の変調周波数を高める；（ｂ２）光のパルス幅を短くする。上記のように、距離計測範囲を広げるためには光のパルスの幅を広げることが求められる一方で、距離分解能を高めるためには光のパルス幅を短くすることが求められる。故に、計測可能な距離範囲を拡大することは、距離分解能を向上させることとトレードオフの関係にある。
【０００４】
本発明は、このような事情を鑑みて為されたものであり、距離分解能を低下させることなく、距離計測範囲を拡大可能な距離画像センサ、及び撮像信号を飛行時間法により生成する方法を提供することを目的とする。
【課題を解決するための手段】
【０００５】
本発明の一側面は、飛行時間法を用いる距離画像センサである。距離画像センサは、（ａ）飛行時間を計測するために対象物に照射する放射パルスを発生する放射源と、（ｂ）互いに異なる第１〜第ｎの飛行時間（ｎ＞１）に対応する第１〜第ｎの撮像タイミングを示す制御信号を生成する制御装置と、入射放射線に感応して電荷を生成する検出素子を含む複数のピクセルのピクセルアレイと、第１〜第ｎの撮像タイミングにそれぞれ対応する第１〜第ｎの要素画像信号を制御信号に応答して生成する信号生成装置とを有する画像生成装置と、（ｃ）第１〜第ｎの要素画像信号を合成して、対象物に関する距離情報を含む画像信号を生成する処理装置とを備える。各ピクセルの検出素子は、第１〜第ｎの撮像タイミングの各々における第１及び第２の撮像ウインドウにおいて該検出素子に入射する入射放射線に応じてそれぞれ第１及び第２の電荷を生成する。各ピクセルは、第１及び第２の撮像ウインドウに対応してそれぞれ第１及び第２の電荷から第１及び第２の要素信号を提供する。第１の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり所定の時間幅を有している。第２の撮像ウインドウは、撮像時刻の直後にあり所定の時間幅を有している。第ｉの要素画像信号（１≦ｉ≦ｎ）は、第ｉの撮像タイミングにおける各ピクセルの第１及び第２の要素信号を含む。
【０００６】
この距離画像センサによれば、第１〜第ｎの飛行時間（ｎ＞１）は互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、第１〜第ｎの飛行時間に対応する第１〜第ｎの撮像タイミングで第１〜第ｎの要素画像信号を生成するので、第１〜第ｎの要素画像信号の各々は、互いに異なる距離範囲の対象物の距離情報を有している。これらの第１〜第ｎの要素画像信号を合成して画像信号を生成するので、広い距離範囲における対象物の距離情報を得ることができる。
【０００７】
また、対象物の距離情報を得るために、第１〜第ｎの撮像タイミングの各々では、第１及び第２の撮像ウインドウでピクセルの検出素子に入射する入射放射線に対応する第１及び第２の要素信号を生成しているので、複数回の飛行時間法の測定により、広い距離範囲において対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能を低下されない。
【０００８】
本発明に係る距離画像センサでは、放射源は、時間軸に関して順に配列された第１〜第ｎのフレームそれぞれにおいて対象物に照射される第１〜第ｎのパルスの列を放射パルスとして提供する。第１〜第ｎのパルスは、それぞれ、第１〜第ｎのフレームの始点から、互いに異なるシフト量でシフトされている。第１〜第ｎのフレームの各々において、撮像時刻は各フレームの始点から所定の時間で規定されている。第１〜第ｎのフレームの各々は、第１及び第２の撮像ウインドウを含む。第１〜第ｎのパルスの各々の持続時間は、第１の撮像ウインドウの期間以下である。第１〜第ｎのパルスの各々の持続時間は、第２の撮像ウインドウの期間以下である。
【０００９】
この距離画像センサによれば、第１〜第ｎの飛行時間の測定には、互いに異なるシフト量でシフトされた第１〜第ｎのパルスを用いる。第１〜第ｎのパルスは、それぞれ、時間軸に関して順に配列された第１〜第ｎのフレームにおいて対象物に照射される。第１〜第ｎのパルスを、それぞれ、第１〜第ｎのフレームにおける第１及び第２の撮像ウインドウに対応づけて、複数回の飛行時間の測定を行うことができる。
【００１０】
本発明に係る距離画像センサでは、第１〜第ｎのフレームの各々は、第１及び第２の撮像ウインドウと、第１及び第２の撮像ウインドウと異なる電荷廃棄ウインドウとを含む。ピクセルは、電荷廃棄ウインドウにおいて、検出素子の電荷を廃棄する。この距離画像センサによれば、電荷廃棄ウインドウにおいて検出素子の電荷が廃棄されるので、検出素子が受ける背景ノイズを除外できる。
【００１１】
本発明に係る距離画像センサでは、ピクセルは、第１〜第ｎの撮像タイミングにおける第１の撮像ウインドウ及び第２の撮像ウインドウにそれぞれ導通し検出素子に接続され第１及び第２の転送ゲートと、検出素子に接続され電荷廃棄ウインドウに導通する第１及び第２の廃棄ゲートとを含む。検出素子は第１の転送ゲートと第２の転送ゲートとの間に位置する。検出素子は第１の廃棄ゲートと第２の廃棄ゲートとの間に位置する。この距離画像センサのピクセルアレイは、上記の構造のピクセルのアレイを含むことができる。
【００１２】
本発明に係る距離画像センサでは、第１〜第ｎのパルスのパルス幅は、線形応答領域を用いて距離情報を含む画像信号を生成可能なように規定されることができる。この距離画像センサによれば、線形応答領域を用いるので、飛行時間の測定の全範囲において、距離精度を確保できる。
【００１３】
本発明に係る距離画像センサでは、放射源は、単一のフレームに単一のパルスを放射パルスとして提供する。第１〜第ｎの撮像タイミングは、単一のフレーム内に位置する。第１〜第ｎの撮像タイミングの撮像時刻は、互いに異なるシフト量で単一のフレームの始点からシフトされている。第１の撮像タイミングの撮像時刻の直前には第１の撮像ウインドウが設けられると共に、第ｎの撮像タイミングの撮像時刻の直後には第２の撮像ウインドウが設けられる。第１〜第ｎの撮像タイミングのうちの第ｉの撮像タイミング（１≦ｉ＜ｎ−１）と第ｉ＋１の撮像タイミングとの間には、検出素子に入射する入射放射線に応じた電荷を取り込むためのウインドウが規定されている。ウインドウは、第１及び第２の撮像ウインドウのために兼用されている。単一のパルスの持続時間は第１及び第２の撮像ウインドウの期間以下である。
【００１４】
この距離画像センサによれば、第１〜第ｎの撮像タイミングの各々における撮像時刻の前後にそれぞれ第１及び第２の撮像ウインドウが設けられる。故に、第１及び複数の第２の撮像ウインドウが交互に配列されて、撮像ウインドウの列を構成する。撮像ウインドウの列の最初には単独の第１の撮像ウインドウがあり、最後には単独の第２の撮像ウインドウがある。撮像ウインドウの列において、単独の第１の撮像ウインドウと単独の第２の撮像ウインドウとの間に一又は複数の撮像兼用ウインドウがある。撮像兼用ウインドウは第１の撮像ウインドウ及び第２の撮像ウインドウの両方のために設けられている。撮像ウインドウの列におけるｎ個の撮像時刻において、第１〜第ｎの要素画像信号が生成される。
【００１５】
本発明に係る距離画像センサでは、単一のフレームは、第１及び第２の撮像ウインドウと、第１の撮像ウインドウ及び第２の撮像ウインドウと異なる電荷廃棄ウインドウとを含む。ピクセルは、電荷廃棄ウインドウにおいて、検出素子の電荷を廃棄する。この距離画像センサによれば、電荷廃棄ウインドウにおいて検出素子の電荷が廃棄されるので、検出素子が受ける背景ノイズを除外できる。
【００１６】
本発明に係る距離画像センサでは、ピクセルは、検出素子の一方の側に配置された第１の群の第１〜第ｊの転送ゲートと、検出素子の他方の側に配置された第２の群の第ｊ＋１〜第ｎ＋１の転送ゲートと、検出素子に接続され電荷廃棄ウインドウに導通する第１及び第２の廃棄ゲートとを含む。第１〜第ｎ＋１の転送ゲートは、第１〜第ｎの撮像タイミングのいずれかにおいて導通する。検出素子は第１の廃棄ゲートと第２の廃棄ゲートとの間に位置する。この距離画像センサのピクセルアレイは、上記の構造のピクセルのアレイを含むことができる。
【００１７】
本発明の別の側面は、複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法である。この方法は、（ａ）ピクセルアレイの検出素子を用いて、互いに異なる第１〜第ｎの飛行時間（ｎ＞１）で複数の撮像を行って、第１〜第ｎの要素画像信号を生成するステップと、（ｂ）第１〜第ｎの要素画像信号を合成して、対象物に関する距離情報を含む画像信号を生成するステップとを備える。各ピクセルは、第１〜第ｎの撮像タイミングにおける第１及び第２の撮像ウインドウにおいてそれぞれ第１及び第２の電荷を生成する。第１の撮像ウインドウは、基準時刻から規定された撮像時刻の直前にあり、また所定の時間幅を有している。第２の撮像ウインドウは、撮像時刻の直後にあり、また所定の時間幅を有している。各ピクセルは、第１及び第２の電荷の量にそれぞれ対応する第１及び第２の要素信号を提供する。第ｉの要素画像信号（１≦ｉ≦ｎ）は、第ｉの撮像タイミングにおける複数のピクセルの第１及び第２の要素信号を含む。
【００１８】
この方法によれば、第１〜第ｎの飛行時間（ｎ＞１）は互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、第１〜第ｎの飛行時間に対応する第１〜第ｎの撮像タイミングで第１〜第ｎの要素画像信号を生成するので、第１〜第ｎの要素画像信号の各々は、互いに異なる距離範囲の対象物の距離情報を有している。これらの第１〜第ｎの要素画像信号を合成して画像信号を生成するので、広い距離範囲における対象物の距離情報を得ることができる。
【００１９】
また、対象物の距離情報を得るために、第１〜第ｎの撮像タイミングの各々では、第１の撮像ウインドウ及び第２の撮像ウインドウでピクセルの検出素子に入射する入射放射線に対応する第１及び第２の要素信号を生成しているので、複数回の飛行時間により、広い距離範囲において対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能を低下されない。
【００２０】
本発明に係る方法では、第１〜第ｎの要素画像信号を生成するステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含む。放射パルスの照射では、時間軸に関して順に配列された第１〜第ｎのフレームそれぞれにおいて対象物に照射するための第１〜第ｎのパルスが出射される。第１〜第ｎのパルスは、それぞれ、第１〜第ｎのフレームの始点から、互いに異なるシフト量でシフトされている。第１〜第ｎのフレームの各々において、基準時刻は各フレームの始点である。第１〜第ｎのフレームの各々は、第１及び第２の撮像ウインドウを含む。第１〜第ｎのパルスの各々の持続時間は、第１の撮像ウインドウの期間以下である。第１〜第ｎのパルスの各々の持続時間は、第２の撮像ウインドウの期間以下である。
【００２１】
この方法によれば、第１〜第ｎの飛行時間の測定には、互いに異なるシフト量でシフトされた第１〜第ｎのパルスを用いる。第１〜第ｎのパルスは、それぞれ、時間軸に関して順に配列された第１〜第ｎのフレームにおいて対象物に照射される。第１〜第ｎのパルスを、それぞれ、第１〜第ｎのフレームにおいて第１及び第２の撮像ウインドウを用いて、複数回の飛行時間の測定を行うことができる。
【００２２】
本発明に係る方法では、第１〜第ｎの要素画像信号を生成するステップは、飛行時間を計測するための放射パルスを対象物に照射するステップを含む。放射パルス、または、単一のフレームに単一のパルスが出射される。第１〜第ｎの撮像タイミングは、単一のフレーム内に位置する。第１〜第ｎの撮像タイミングは、単一のフレームの始点から、互いに異なるシフト量でシフトされている。第１及び第２の撮像ウインドウの各々は、第１〜第ｎの撮像タイミングのうち隣接する撮像タイミングの間に設けられている。
【００２３】
この方法によれば、第１〜第ｎの撮像タイミングの各々における撮像時刻の前後に第１及び第２の撮像ウインドウが設けられる。故に、複数の第１の撮像ウインドウ及び複数の第２の撮像ウインドウが交互に配列されて、撮像ウインドウの列を構成する。撮像ウインドウの列の最初には単独の第１の撮像ウインドウがあり、最後には単独の第２の撮像ウインドウがある。撮像ウインドウの列において、単独の第１の撮像ウインドウと単独の第２の撮像ウインドウとの間に一又は複数の撮像兼用ウインドウがある。撮像兼用ウインドウは第１の撮像ウインドウ及び第２の撮像ウインドウの両方のために設けられている。
【発明の効果】
【００２４】
本発明によれば、距離分解能を低下させることなく距離計測範囲を拡大可能な距離画像センサ、及び撮像信号を飛行時間法により生成する方法が提供される。
【発明を実施するための最良の形態】
【００２５】
本発明の知見は、例示として示された添付図面を参照して以下の詳細な記述を考慮することによって容易に理解できる。引き続いて、添付図面を参照しながら、本発明の距離画像センサ、及び撮像信号を飛行時間法により生成する方法に係る実施の形態を説明する。可能な場合には、同一の部分には同一の符号を付する。
【００２６】
図１は、本実施の形態に係る、飛行時間法を用いる距離画像センサを示す図面である。距離画像センサ１１は、放射源１３と、画像生成装置１５と、処理装置１７とを備える。放射源１３は、飛行時間を計測するために対象物に照射する放射パルスＬＰを発生する。放射源１３は、例えば、半導体発光素子１３ａと、この発光素子１３ａの駆動回路１３ｂとを含み、駆動回路１３ｂはタイミング信号に応答して発光素子を駆動する。半導体発光素子１３ａとしては、発光ダイオード及びレーザダイオードが用いられる。放射源１３は、近赤外領域、可視光等の波長範囲の放射線を用いることができる。近赤外領域、可視光等を提供する光源から、ＴＯＦ測定のための光パルスが出射される。画像生成装置１５は、制御装置２１、ピクセルアレイ２３、及び信号生成装置２５を有する。画像生成装置１５の制御装置２１は、互いに異なる第１〜第ｎの飛行時間（ｎ＞１）ＴＯＦ１〜ＴＯＦｎに対応する第１〜第ｎの撮像タイミングを示す制御信号を生成する。ピクセルアレイ２３は複数のピクセル２７を含み、これらのピクセル２７は、例えば行及び列に配列されている。各ピクセル２７は、入射放射線ＬＲに感応して電荷を生成する検出素子を含む。この検出素子として、例えばフォトゲート等を用いることができる。信号生成装置１７は、第１〜第ｎの撮像タイミングにおける撮像にそれぞれ対応する第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを制御信号に応答して生成する。処理装置１７は、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを合成して、対象物に関する距離情報を含む画像信号ＳＩＭＡＧＥを生成する。
【００２７】
各ピクセル２７の検出素子は、各撮像タイミングにおける第１及び第２の撮像ウインドウＷＰＵ１、ＷＰＵ２において該検出素子に入射する入射放射線に応じてそれぞれ第１及び第２の電荷を生成する。各ピクセル２７は、第１及び第２の撮像ウインドウＷＰＵ１、ＷＰＵ２における第１及び第２の電荷にそれぞれ対応した第１及び第２の出力信号Ｓ１、Ｓ２を提供する。第１の撮像ウインドウＷＰＵ１は、基準時刻から規定された撮像時刻ＴＰＵの直前にあり、第２の撮像ウインドウＷＰＵ２は、撮像時刻ＴＰＵの直後にある。故に、ｎ回の撮像における第１及び第２の電荷の比率からｎ回の飛行時間（ＴＯＦ）を測定できる。第１及び第２の撮像ウインドウＷＰＵ１、ＷＰＵ２は、所定の時間幅ＰＷＩＮを有している。第ｉの要素画像信号（１≦ｉ≦ｎ）は、第ｉの撮像タイミングにおける各ピクセル２７の第１及び第２の要素信号Ｓ１、Ｓ２を含む。
【００２８】
この距離画像センサ１１によれば、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎは互いに異なるので、それぞれの飛行時間ＴＯＦ１〜ＴＯＦｎの測定は、互いに異なる測距範囲をカバーする。また、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎに対応する第１〜第ｎの撮像タイミングで第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを生成するので、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎの各々は、互いに異なる距離範囲の対象物の距離情報を有している。これらの第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを合成して画像信号ＳＩＭＡＧＥを生成するので、広い距離範囲における対象物の距離情報を得ることができる。
【００２９】
また、対象物の距離情報を得るために、第１〜第ｎの撮像タイミングの各々では、第１及び第２の撮像ウインドウＷＰＵ１、ＷＰＵ２を介してピクセル２７の検出素子に入射する入射放射線ＬＲに対応する第１及び第２の出力信号Ｓ１、Ｓ２を生成するので、複数回の飛行時間法の測定により所望の距離範囲において対象物に関する距離範囲の情報を得ている。広い距離範囲における対象物の距離情報を得るために、放射パルスＬＰの幅を広げる必要がないので、飛行時間ＴＯＦ１〜ＴＯＦｎの測定において、距離分解能を低下されない。
【００３０】
図１を参照すると、距離画像センサシステム３１が示されており、このシステム３１は、距離画像センサ１１及び外部装置３３を含む。外部装置３３は、例えば表示装置、出力デバイス等であることができる。出力デバイスは例えばインタフェース装置である。
【００３１】
また、信号生成装置２５は、各ピクセル２７から提供された第１及び第２の要素信号Ｓ１、Ｓ２から、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを生成するための手段２５ａ、２５ｂ、２５ｃを含む。第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎは、それぞれ、第１〜第ｎの撮像タイミングにおいて撮像された対象物の画像情報及び距離情報を含んでいる。第１〜第ｎの撮像タイミングの各々が、所定の間隔で配置されているので、第１〜第ｎの撮像タイミングを用いて所望の測距範囲の撮像を可能にしている。一方、距離分解能は、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎの各々の測定において規定される。
【００３２】
図２は、画像信号ＳＩＭＡＧＥを表示装置３３によって表示した画像を示している。図２（ａ）を参照すると、撮像の対象物が示されている。図２（ｂ）を参照すると、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを処理して作成された明暗画像が示される。図２（ｃ）を参照すると、画像信号ＳＩＭＡＧＥを表示装置に出力された画像が表示されている。図２（ｃ）の表示では、距離画像センサ１１と対象物との距離に応じて表示のトーンが変更されている。なお、実際のシステムでは、表示された画像は、距離画像センサ１１と対象物との距離に応じて色分けされることができる。
【００３３】
図３は、本実施の形態における距離画像センサのためのピクセルの一構造を示す図面である。図３（ａ）を参照すると、ピクセル２７の主要部を示す平面図である。図３（ｂ）及び図３（ｃ）には、それぞれ、図３（ａ）に示されたI−I線及びII−II線に沿って取られた断面を示す。ピクセル２７は、シリコン基板といった半導体基板Ｐ−ｓｕｂ上に形成されている。ピクセル２７は、フォトゲートＰＧと、第１及び第２の転送ゲートＴＸ１、ＴＸ２と、第１及び第２の廃棄ゲートＴＸＢＣＤとを含む。フォトゲートＰＧは、入射放射線ＬＲに感応して電荷を生成する。フォトゲートＰＧは、それぞれ、第１及び第２の転送ゲートＴＸ１、ＴＸ２を介して第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２に接続されている。また、フォトゲートＰＧは、それぞれ、第１及び第２の廃棄ゲートＴＸＢＣＤを介して第１及び第２の半導体領域ＦＤＢＣＤに接続されている。第１及び第２の半導体領域ＦＤＢＣＤは、電荷廃棄ライン、例えばＶＤＤに接続されている。フォトゲートＰＧは、第１及び第２の転送ゲートＴＸ１、ＴＸ２の間に設けられており、また第１及び第２の廃棄ゲートＴＸＢＣＤの間に設けられている。第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２及び第１及び第２の半導体領域ＦＤＢＣＤは、例えばｐ型半導体領域ｐ−ｗｅｌｌ、ｐ−ｅｐｉに設けられたｎ型半導体領域である。第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２は、リセットゲートＲｅｓｅｔを介して第１及び第２のｎ型半導体領域ＦＤＲに接続されており、これらの半導体領域ＦＤＲには、リセット電圧が印加されている。リセットゲートＲｅｓｅｔは、薄いＭＩＳ（好ましくはＭＯＳ）構造を有しており、リセットゲートＲｅｓｅｔとｐ型半導体領域ｐ−ｗｅｌｌとの間には、ゲート絶縁膜が設けられており、この薄い絶縁膜は例えば薄いＳｉＯ２からなる。フォトゲートＰＧ、第１及び第２の転送ゲートＴＸ１、ＴＸ２及び第１及び第２の廃棄ゲートＴＸＢＣＤは、厚いＭＩＳ（好ましくはＭＯＳ）構造を有しており、フォトゲートＰＧ、第１及び第２の転送ゲートＴＸ１、ＴＸ２及び第１及び第２の廃棄ゲートＴＸＢＣＤとｎ型半導体埋込領域ｎ−ｂｕｒｉｅｄとの間には、ゲート絶縁膜が設けられており、厚い絶縁膜は例えば薄いＳｉＯ２からなる。第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２及び第１及び第２の浮遊半導体領域ＦＤＢＣＤは、ｎ型半導体埋込領域ｎ−ｂｕｒｉｅｄのエッジに接触している。
【００３４】
ピクセル２７は、第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２にそれぞれ接続された増幅器Ａｍｐ１、Ａｍｐ２を含む。増幅器Ａｍｐ１、Ａｍｐ２の各々は、ソースフォロアアンプを含む。例えば、増幅器Ａｍｐ１、Ａｍｐ２の各々は増幅用トランジスタを含み、これらのトランジスタのゲートは、それぞれ、第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２に接続される。増幅用トランジスタのソースは、ピクセルアレイ２３のカラム線に接続される。増幅用トランジスタの導通は、選択用トランジスタによって行われる。選択用トランジスタ及び増幅用トランジスタは、電源線とカラム線との間に接続され、選択用トランジスタは増幅用トランジスタに直列に接続される。
【００３５】
図４及び図５を参照しながら、ピクセルの動作を説明する。代表的なフレームＦｒａｍｅが示されている。撮像ウインドウＡの開始時刻は、フレームＦｒａｍｅの始点から規定され所定の期間Ｔ０の期間であり、また撮像ウインドウＢの開始時刻は、撮像ウインドウＡの終了点から規定され所定の期間Ｔ０の期間である。フレームＦｒａｍｅは、撮像ウインドウＡ、Ｂと異なる電荷廃棄ウインドウＣを含む。測距に先だって、ピクセルアレイの第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２はリセットされる。
【００３６】
第１及び第２の撮像ウインドウＡ、Ｂでは、それぞれ、転送ゲートＴＸ１、ＴＸ２が導通する。第１の撮像ウインドウＡの幅は第２の撮像ウインドウＢの幅と等しい。動作の説明を容易にするために、放射パルスＰＴは、第１の撮像ウインドウの立ち上がりに同期して出射される。ピクセルアレイは、距離画像センサと対象物との距離に応じた遅延時間（ＴＯＦ）で遅延した受信パルスＰＲを受ける。フォトゲートＰＧは、受信パルスＰＲに応答して電荷を生成する。電荷は、第１及び第２の撮像ウインドウＡ、Ｂにおいてそれぞれ第１及び第２の浮遊半導体領域ＦＤ１、ＦＤ２に転送される。図５から理解されるように、パルスＰＲの遅延時間は、距離画像センサと対象物との間の光の往復時間に等しい。
【００３７】
図５（ａ）に示されるように、第１の転送ゲートＴＸ１の導通に応答して、第１の撮像ウインドウＡ内で生成された電荷△Ｑ１が第１の転送ゲートＴＸ１を介して第１の浮遊半導体領域ＦＤ１に転送される。第１の撮像ウインドウＡ内では、図５（ｂ）に示されるように、廃棄ゲートＴＸＢＣＤは非道通である。
【００３８】
図５（ｃ）に示されるように、第２の転送ゲートＴＸ２の導通に応答して、第２の撮像ウインドウＢ内で生成された電荷△Ｑ２が第２の転送ゲートＴＸ２を介して第２の浮遊半導体領域ＦＤ２に転送される。第２の撮像ウインドウＢ内では、図５（ｄ）に示されるように、廃棄ゲートＴＸＢＣＤは非道通である。
【００３９】
図５（ｅ）に示されるように、廃棄ゲートＴＸＢＣＤの導通に応答して、電荷廃棄ウインドウＣ内で生成された電荷（背景電荷）△Ｑ３が廃棄ゲートＴＸＢＣＤを介して半導体領域ＦＤＢＣＤに転送される。電荷廃棄ウインドウＣ内では、図５（ｆ）に示されるように、第１及び第２の転送ゲートＴＸ１、ＴＸ２は非道通である。
【００４０】
図６は、画像生成装置の構成を示す図面である。図４及び図５を参照しながら行われたピクセル動作の制御は、図６の画像生成装置の各回路によって行われる。図６を参照すると、ピクセルアレイ２３が示されている。ピクセルアレイ２３の一辺には、ＰＧドライバ２１ａが設けられている。ＰＧドライバ２１ａは、各ピクセル２７のフォトゲートＰＧに接続され、また各ピクセル２７を駆動している。ＰＧＤクロック発生器２１ｂは、ＰＧドライバ２１ａに接続されており、またＰＧドライバ２１ａのためのタイミングクロックを生成する。ＰＧＤクロック発生器２１ｂは、タイミング発生器２１ｃに接続されており、また画像生成装置１５の動作タイミングを規定するクロックを生成する。信号生成装置２５が、ピクセルアレイ２３によって生成された信号を垂直スキャナ２５ｄからの制御信号に応じて順に読み出す。この信号は、ピクセル２７のソースフォロア型増幅器の負荷となる電流源２５ａを用いてカラム線上の電圧信号に変換される。電圧信号は、ノイズキャンセル回路２５ｂによって処理されて、ノイズキャンセル回路２５ｂ内の記憶回路に格納される。ノイズキャンセル回路２５ｂにおける処理によって、ピクセルにリセットノイズが除去される。ノイズキャンセル回路２５ｂ内の記憶回路の内容は、水平スキャナ２５ｃからの制御信号に応答して出力駆動回路２５ｅに順に送られる。出力駆動回路２５ｅは、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを提供する。処理装置１７は、ｎ個の要素画像信号ＳＥ１〜ＳＥｎを合成して、対象物に関する距離情報を含む画像信号ＳＩＭＡＧＥを生成する。
【００４１】
図７は、ピクセル分配特性を示す図面である。分配特性の測定は、図７（ａ）に示されるタイミングで行われる。一フレームにおいて、第１及び第２の撮像ウインドウＡ、Ｂのタイミングを規定する。第１及び第２の撮像ウインドウＡ、Ｂの幅は、例えば１００ナノ秒（ｎｓ）である。第１及び第２の撮像ウインドウＡ、Ｂによって規定される撮像時間に対して、放射パルスの出射タイミングを変化させて遅延時間を調整した。放射パルスの幅は、例えば１００ナノ秒である。図７（ｂ）を参照すると、ピクセルの出力信号の信号Ｖ１、Ｖ２は、遅延時間に対してほぼ線形に変化している。また、信号Ｖ１−Ｖ２もほぼ線形に変化している。信号Ｖ１＋Ｖ２が、撮像ウインドウの期間幅においてほぼ一定であるので、遅延時間に応じた電荷の振り分けが適切に行われている。第１及び第２の撮像ウインドウＡ、Ｂと放射パルスとの重なり期間を除いて、出力値がゼロであるので、電荷廃棄ゲートの動作が確認される。図７（ｂ）を参照すると、信号Ｖ１は、遅延時間Ｔｄ＝−１００ｎｓ、＋１００ｎｓの付近において非線形に変化しており、信号Ｖ２は、遅延時間Ｔｄ＝０ｎｓ、＋２００ｎｓの付近において非線形に変化している。この非線形な振る舞いは、放射パルスが、理想的な矩形から変形していることに起因すると考えられる。
【００４２】
図８は、短パルスを用いたピクセル分配特性を示す図面である。分配特性の測定は、図８（ａ）に示されるタイミングで行われる。一フレームにおいて、第１及び第２の撮像ウインドウＡ、Ｂのタイミングを規定する。第１及び第２の撮像ウインドウＡ、Ｂの幅は、例えば１００ナノ秒（ｎｓ）である。第１及び第２の撮像ウインドウＡ、Ｂによって規定される撮像時間に対して、放射パルスの出射タイミングを変化させて遅延時間を調整した。放射パルスの幅は、第１及び第２の撮像ウインドウＡ、Ｂの幅より短く、例えば１０ナノ秒である。遅延時間は、投射パルスの立ち下がりが第１及び第２の撮像ウインドウＡ、Ｂの撮像時間に一致するときを基準にしている。図８（ｂ）を参照すると、ピクセルの出力信号Ｖ１、Ｖ２は、遅延時間に対してほぼ線形に変化している。また、信号Ｖ１−Ｖ２もほぼ線形に変化している。信号Ｖ１＋Ｖ２が、撮像ウインドウの期間幅においてほぼ一定であるので、遅延時間に応じた電荷の振り分けが行われている。第１及び第２の撮像ウインドウＡ、Ｂと放射パルスとの重なり期間を除いて、出力値がゼロであるので、電荷廃棄ゲートの動作が確認される。
【００４３】
図９は、放射パルス幅及び撮像ウインドウ幅との距離分可能との関係を示す図面である。図９（ａ）を参照すると、毎秒３０フレームの繰り返しで行われた測距における、放射パルス強度と距離分解能との関係を示す。この測定において、放射パルス幅は、１００ｎｓ及び０ｎｓが用いられた。図９（ｂ）を参照すると、毎秒３フレームの繰り返しで行われた測距における、放射パルス強度と距離分解能との関係を示す。この測定において、放射パルス幅は、１００ｎｓ及び１０ｎｓが用いられた。
【００４４】
まず、放射パルスの強度は大きくなるにつれて、距離分可能が向上している。また、放射パルスの幅を１００ｎｓから１０ｎｓに変更すると、距離分解能が１／１０に小さく成っている。故に、距離分解能が放射パルス幅に比例する、故に、距離分解能は、放射源からの放射パルス幅に線形に変化すると共に、この放射パルス幅と共に小さくなる。
発明者の実験例により得られた分解能の値を示す：
測定方式、        放射パルス１００ｎｓ、放射パルス１０ｎｓ
毎秒３０フレーム、２９ｍｍ、            ２．３ｍｍ、（平均化処理無し）
毎秒３フレーム、  ９．１ｍｍ、          １．３ｍｍ、（平均化処理有り）。
【００４５】
（実施例１）
図１０は、一実施例の測距タイミングを示す図面である。図１０（ａ）を参照すると、放射源１３は、時間軸に関して順に配列された第１〜第ｎのフレーム（図１０では５フレーム）それぞれにおいて対象物に照射される第１〜第ｎのパルス（図１０では５パルス）ＰＴ１〜ＰＴ５の列を放射パルスとして提供する。第１〜第ｎのフレームは、制御信号によって規定される。該フレームの各々において、撮像時刻ＴＰＵ１〜ＴＰＵ５は各フレームの始点から所定の時間△ＴＰＤの位置に規定される。各フレームは、撮像ウインドウＡ、Ｂを含む。パルスＰＴ１〜ＰＴ５の幅は、第１及び第２の撮像ウインドウの幅より小さい。或いは、パルスＰＴ１〜ＰＴ５の幅は、第１及び第２の撮像ウインドウの幅以下であってもよい。図１０（ｂ）は、各フレームの始点を基準にして表示する時間軸（以下「還元された時間軸」と呼ぶ）の原点に合わせて、時間軸に関して順に配列された５つのフレームの始点を示す図面である。図１０（ｂ）を参照すると、第１〜第ｎのパルスＰＴ１〜ＰＴ５が、それぞれ、第１〜第５のフレームの始点から互いに異なるシフト量でシフトされることが理解される。
【００４６】
この距離画像センサによれば、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦ５の測定には、互いに異なるシフト量でシフトされた第１〜第ｎのパルスＰＴ１〜ＰＴ５を用いる。第１〜第ｎのパルスＰＴ１〜ＰＴ５は、それぞれ、時間軸に関して順に配列された第１〜第ｎのフレームＦｒａｍｅ１〜Ｆｒａｍｅ５において対象物に照射される。第１〜第ｎのパルスＰＴ１〜ＰＴ５を、それぞれ、第１〜第ｎのフレームＦｒａｍｅ１〜Ｆｒａｍｅ５における第１及び第２の撮像ウインドウＡ、Ｂに対応づけて、複数回の飛行時間ＴＯＦ１〜ＴＯＦ５の測定を行うことができる。
【００４７】
第１〜第ｎのフレームＦｒａｍｅ１〜Ｆｒａｍｅ５の各々は、撮像ウインドウＡ、Ｂと異なる電荷廃棄ウインドウＣを含む。ピクセル２７は、電荷廃棄ウインドウＣにおいて、検出素子の電荷を廃棄するので、検出素子に入射する背景ノイズを除外できる。また、電荷廃棄ウインドウＣの期間は、撮像ウインドウＡ、Ｂにおいて各ピクセルによって生成された出力信号Ｓ１、Ｓ２を読み出すために用いられる。
【００４８】
図１１は、ピクセルアレイ２３と放射源１３とを用いて撮像信号ＳＩＭＡＧＥを飛行時間法により生成する方法における主要な工程を示す図面である。工程Ｓ１０１では、ピクセルアレイ２３の検出素子を用いて、互いに異なる第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎで第１〜第ｎの撮像を行って、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを生成する。
工程Ｓ１０７では、第１〜第ｎの要素画像信号ＳＥ１〜ＳＥｎを合成して、対象物に関する距離情報を含む画像信号ＳＩＭＡＧＥを生成する。
【００４９】
具体的には、工程Ｓ１０１は以下の手順による。工程Ｓ１０２では、時間軸に関して順に配列された第１〜第ｎのフレームの内の第１のフレームおいて第１のパルスを放射して、第１のフレームにおける撮像ウインドウＡ、Ｂを用いて第１の撮像を行う。工程Ｓ１０３では、工程Ｓ１０２で得られた第１の撮像をピクセルアレイから読み出して、第１の要素画像信号ＳＥ１を生成する。工程Ｓ１０４では、時間軸に関して順に配列された第２〜第ｎのフレームの内の第ｉのフレームおいて第ｉのパルスを放射して、第ｉのフレームにおける撮像ウインドウＡ、Ｂを用いて第ｉの撮像を行う。工程Ｓ１０５では、工程Ｓ１０４で得られた第ｉの撮像をピクセルアレイから読み出して、第ｉの要素画像信号ＳＥｉを生成する。工程Ｓ１０６では、第ｉの撮像及び第ｉの要素画像信号ＳＥｉの生成を繰り返す。
【００５０】
上記のように、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎの測定には、互いに異なるシフト量でシフトされた第１〜第ｎのパルスを用いる。これらのパルスは、それぞれ、時間軸に関して順に配列された第１〜第ｎのフレームにおいて対象物に照射される。第１〜第ｎのパルスを、それぞれ、第１〜第ｎのフレームにおける第１及び第２の撮像ウインドウに対応づけて、複数回の飛行時間ＴＯＦ１〜ＴＯＦｎの測定を行うことができる。
【００５１】
この方法によれば、第１〜第ｎの飛行時間ＴＯＦ１〜ＴＯＦｎは互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、飛行時間ＴＯＦ１〜ＴＯＦｎに対応するｎ個の撮像タイミングでそれぞれ要素画像信号ＳＥ１〜ＳＥｎを生成するので、要素画像信号ＳＥ１〜ＳＥｎの各々は、互いに異なる距離範囲の対象物の距離情報を有する。これらの要素画像信号ＳＥ１〜ＳＥｎを合成して画像信号ＳＩＭＡＧＥを生成するので、広い距離範囲にわたる対象物の距離情報を得ることができる。また、対象物の距離情報を得るために、撮像タイミングの各々では、撮像ウインドウＡ、Ｂでピクセルの検出素子に入射する入射放射線に対応する第１及び第２の信号Ｓ１、Ｓ２を生成すると共に、複数回の飛行時間の測定により、所望の距離範囲において対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能が低下しない。
【００５２】
（実施例２）
実施例２の距離画像センサでは、放射源１３は、単一のフレームＦｒａｍｅ０に単一のパルスＰＴ０を放射パルスとして提供する。図１２（ａ）は、単一のフレームを用いるタイミングを示す。このフレームは、制御信号によって規定される。第１〜第ｎのフレーム第１〜第ｎの撮像タイミング（この例では、ＴＰＵ１、ＴＰＵ２、ＴＰＵ３）は、単一のフレームＦｒａｍｅ０内に位置する。撮像タイミングの撮像時刻ＴＰＵ１ＴＰＵ２、ＴＰＵ３は、互いに異なるシフト量で単一のフレームＦｒａｍｅ０の始点からシフトされている。ｎ個の撮像タイミングのうちの第ｉの撮像タイミング（１≦ｉ＜ｎ−１）と第ｉ＋１の撮像タイミングとの間に、検出素子に入射する入射放射線に応じた電荷を浮遊半導体領域に取り込むためのウインドウが規定される。撮像時刻ＴＰＵ１ＴＰＵ２、ＴＰＵ３の各々の直前には撮像ウインドウＡが設けられ、この撮像時刻の直後には撮像ウインドウＢが設けられるので、撮像ウインドウ間のウインドウは撮像ウインドウＡ、Ｂとして兼用される。
【００５３】
この距離画像センサによれば、撮像ウインドウＡ、Ｂが交互に配列されて、撮像ウインドウの列を構成する。撮像ウインドウの列の最初には単独の撮像ウインドウＡがあり、最後には単独の撮像ウインドウＢがある。撮像ウインドウの列において、単独の第１の撮像ウインドウと単独の第２の撮像ウインドウとの間に一又は複数の撮像兼用ウインドウがある。撮像兼用ウインドウは第１の撮像ウインドウ及び第２の撮像ウインドウの両方のために設けられている。故に、第１〜第ｎの撮像タイミングの各々における撮像時刻の前後にそれぞれ第１及び第２の撮像ウインドウが設けられる。撮像ウインドウの列における複数の撮像時刻において、それぞれ、複数の要素画像信号が生成される。
【００５４】
一例では、単一のパルスＰＴ０の持続時間は、第１の撮像ウインドウＡの期間と等しく、単一のパルスＰＴ０の持続時間は、第２の撮像ウインドウＢの期間と等しい。単一のパルスＰＴ０の持続時間は、フレームＦｒａｍｅ０の始点から規定される。単一のパルスＰＴ０の終了時点から所定の数のウインドウの列が規定される。ウインドウ列内のウインドウは、互いに異なる転送ゲートＴＸｉの導通によって規定される。単一のフレームＦｒａｍｅ０は、ウインドウの列の期間と異なる電荷廃棄ウインドウとを含む。ピクセル２７は、この電荷廃棄ウインドウにおいて、検出素子の電荷を廃棄する。これによって、検出素子が受ける背景ノイズを除外できる。
【００５５】
図１３は、本実施例に適用可能なピクセルの構造の平面図を示す図面である。図１３のピクセルを図３（ａ）のピクセルと比較すると、転送ゲートの構造を除いて、図１３のピクセルの構造は図３（ａ）のピクセル構造と同じである。図１３のピクセルは、フォトゲートＰＧの一方の側に配置された第１の群の第１〜第ｊの転送ゲート（図１３ではＴＸ１、ＴＸ３）と、フォトゲートＰＧの他方の側に配置された第２の群の第ｊ＋１〜第ｎ＋１の転送ゲート（図１３ではＴＸ２、ＴＸ４）を含む。第１〜第ｎ＋１の転送ゲート（図１３ではＴＸ１〜ＴＸ４）は、第１〜第ｎの撮像タイミングのいずれかにおいて導通する。第１〜第ｎ＋１の転送ゲート（図１３ではＴＸ１〜ＴＸ４）は、それぞれ、第１〜第ｎ＋１の浮遊半導体領域（図１３ではＦＤ１〜ＦＤ４）に接続されている。なお、フォトゲートＰＧは廃棄ゲートＴＸＢＣＤの間に位置する。
【００５６】
図１２（ｂ）は、パルスの遅延に応じて、選択ゲートＴＸ１〜ＴＸ４に生成される信号を示す。遅延時間の基準は、放射パルスの立ち上がり時刻に規定される。選択ゲートＴＸ１〜ＴＸ４は、飛行時間によって遅延したパルスを取り込んで、図１２（ｂ）に示される信号ＶＴＸ１、ＶＴＸ２、ＶＴＸ３、ＶＴＸ４を生成する。図１２（ｂ）は、遅延時間に応じて転送ゲートＴＸ１〜ＴＸ４が、互いに異なる信号を生成することを示している。図１２（ｂ）は、図７（ｂ）及び図８（ｂ）に対応する特性を示す。３個以上の撮像ウインドウの列の使用によって、単一のパルスＴＰ０を用いるけれども、複数回の飛行時間の測定を行うことができる。撮像期間においては、転送ゲートＴＸ１〜ＴＸ４のいずれかが導通している。
【００５７】
図１４は、ピクセルアレイ２３と放射源１３とを用いて撮像信号ＳＩＭＡＧＥを飛行時間法により生成する方法における主要な工程を示す図面である。工程Ｓ２０１では、ピクセルアレイ２３の検出素子を用いて、互いに異なる飛行時間ＴＯＦ１〜ＴＯＦｎでｎ回の撮像を行って、要素画像信号ＳＥ１〜ＳＥｎを生成する。工程Ｓ２０８では、要素画像信号ＳＥ１〜ＳＥｎを合成して、画像信号ＳＩＭＡＧＥを生成する。
【００５８】
具体的には、工程Ｓ２０１は以下の手順による。工程Ｓ２０２では、飛行時間を計測するための放射パルスを対象物に照射する。工程Ｓ２０３では、複数のウインドウ列内の第１の撮像ウインドウにおいて第１の撮像を行う。工程Ｓ２０４では、工程Ｓ２０３で得られた第１の撮像をピクセルアレイから読み出して、第１の要素画像信号ＳＥ１を生成する。工程Ｓ２０５では、第ｉ−１のウインドウの直後の第ｉの撮像ウインドウにおいて第ｉの撮像を行う。工程Ｓ２０６では、工程Ｓ２０５で得られた第ｉの撮像をピクセルアレイから読み出して、第１の要素画像信号ＳＥｉを生成する。工程Ｓ２０７では、第ｉの撮像及び第ｉの要素画像信号ＳＥｉの生成を繰り返す。
【００５９】
上記のように、単一の放射パルス及び３個以上の撮像ウインドウを用いて複数回の撮像を行う。この方法によれば、飛行時間ＴＯＦ１〜ＴＯＦｎは互いに異なるので、それぞれの飛行時間は、互いに異なる測距範囲をカバーする。また、飛行時間ＴＯＦ１〜ＴＯＦｎに対応するｎ個の撮像タイミングで要素画像信号ＳＥ１〜ＳＥｎを生成するので、これらの要素画像信号ＳＥ１〜ＳＥｎの各々は、互いに異なる距離範囲の対象物の距離情報を有する。これらの要素画像信号ＳＥ１〜ＳＥｎを合成して画像信号ＳＩＭＡＧＥを生成するので、広い距離範囲における対象物の距離情報を得ることができる。また、対象物の距離情報を得るために、第１〜第ｎの撮像タイミングの各々では、撮像ウインドウＡ及び撮像ウインドウＢでピクセルの検出素子に入射する入射放射線に対応する第１及び第２の出力信号Ｓ１、Ｓ２を生成するので、複数回の飛行時間の測定により、所望の範囲の対象物に関する距離範囲の情報を得ている。故に、広い距離範囲における対象物の距離情報を得るために、放射パルスの幅を広げる必要がない。したがって、個々の飛行時間の測定において、距離分解能を低下されない。
【００６０】
引き続き、いくつかの測定装置の例を説明する。
（例１）：レンジシフトタイミング
図１５を参照しながら、距離画像センサの一例を説明する。この距離画像センサでは、時間軸に沿ってフレームＦｒａｍｅ１〜Ｆｒａｍｅ４が配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ４の各々には、撮像ウインドウＡ、Ｂが設けられている。図１５（ａ）を参照すると、撮像ウインドウＡ、Ｂの幅は１００ナノ秒であり、撮像ウインドウＡはフレームの始点に合わせて配置されており、撮像ウインドウＢは撮像ウインドウＡの直後に配置される。フレームＦｒａｍｅ１〜Ｆｒａｍｅ４には、それぞれ、パルスＰＴ１〜ＰＴ４が設けられている。飛行時間のためのパルスＰＴの幅は２５ナノ秒である。パルスＰＴ１はフレームＦｒａｍｅ１の始点から７５ナノ秒のシフト量でシフトされ、パルスＰＴ２はフレームＦｒａｍｅ２の始点から５０ナノ秒のシフト量でシフトされ、パルスＰＴ３はフレームＦｒａｍｅ３の始点から２５ナノ秒のシフト量でシフトされ、パルスＰＴ４はフレームＦｒａｍｅ４の始点に設けられている。
【００６１】
２５ナノ秒幅のパルスＰＴを用いるとき、計測範囲は３．７５メートルである。フレームＦｒａｍｅ１を用いてセンサから３．７５メートルの範囲を測定可能であり、フレームＦｒａｍｅ２を用いて３．７５メートルから７．５メートルの範囲を測定可能であり、フレームＦｒａｍｅ３を用いて７．５メートルから１１．２５メートルの範囲を測定可能であり、フレームＦｒａｍｅ４を用いて１１．２５メートルから１５メートルの範囲を測定可能である。４パルスを用いた測定範囲は１５メートルであり、これは、パルス幅１００ナノ秒を用いた測定範囲と同じである。一方、本距離画像センサによれば、パルス幅を短くできるので、パルス幅１００ナノ秒を用いた測距に比べて、距離分解能は改善される。
【００６２】
発明者は、図１５（ｂ）に示されるように、測距における分解能を見積もった。パルスＰＴの幅は１００ナノ秒（比較例）であると共に背景光に応答してフォトゲートが生成する電子（ＮＢ）は１０４、１０５であるとき、それぞれ、距離分解能σＬは０．０４０メートル、０．０４５メートルである。一方、本実施例では、パルスＰＴの幅は２５ナノ秒であると共に背景光に応答してフォトゲートが生成する電子（ＮＢ）は１０４、１０５であるとき、それぞれ、距離分解能σＬは０．０１０メートル、０．０１１メートルであった。パルス幅を短くすることによって、距離分解能を小さくできる。
【００６３】
（例２）：デューティ比
図１６を参照しながら、距離画像センサの一例を説明する。この距離画像センサでは、時間軸に沿ってフレームＦｒａｍｅ１〜Ｆｒａｍｅ４が配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ４の各々には、撮像ウインドウＡ、Ｂが設けられている。撮像ウインドウＡ、Ｂの幅は２５ナノ秒であり、撮像ウインドウＡはフレームの始点から７５ナノ秒でシフトされた時刻に合わせて配置されており、撮像ウインドウＢは撮像ウインドウＡの直後に配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ４には、それぞれ、例１と同様に、パルスＰＴ１〜ＰＴ４が設けられている。
【００６４】
フレームの幅に対する撮像ウインドウの幅の比率（デューティ比）を小さくして、ＴＯＦ測定期間における背景光のノイズの影響を低減できる。この低減によって距離分解能を改善できる。例２では、撮像ウインドウの幅が、例１における値に比べて１／４の２５ナノ秒であるので、撮像ウインドウにおいて不可避的に取り込まれる背景光を少なくなる。
【００６５】
発明者は、図１６（ｂ）に示されるように、測距における分解能を見積もった。読み出し回路のランダムノイズによる電子数（ＮＲ）及び背景光に応答してフォトゲートによって生成される電子（ＮＢ）がそれぞれ１００、１０５であり、また光源のパルスのデューティ比が０．１であるとき、１００ナノ秒（比較例）のパルスＰＴの距離画像センサの距離分解能を見積もった。距離分解能σＬは１５メートルの測距範囲に対して、約４．５センチメートル以下であった。
【００６６】
また、読み出し回路のランダムノイズによる電子数（ＮＲ）及び背景光に応答してフォトゲートによって生成され電子（ＮＢ）がそれぞれ１００、１０５であるとき、２５ナノ秒のパルスＰＴの距離画像センサの距離分解能を見積もった。光源パルスのデューティ比が０．１、０．０２５であるとき、距離分解能σＬは、それぞれ、１５メートルの測距範囲に対して、約１．１センチメートル以下、１センチメートル以下であった。光源パルスのデューティ比を小さくすることによって、距離分解能を小さくできる。
【００６７】
（例３）：線形応答領域
図１７を参照しながら、距離画像センサの一例を説明する。この距離画像センサでは、時間軸に沿ってフレームＦｒａｍｅ１〜Ｆｒａｍｅ７が配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ７の各々には、撮像ウインドウＡ、Ｂが設けられている。撮像ウインドウＡ、Ｂの幅は１００ナノ秒であり、撮像ウインドウＡはフレームの始点に合わせて配置されており、撮像ウインドウＢは撮像ウインドウＡの直後に配置されている。フレームＦｒａｍｅ１〜Ｆｒａｍｅ７には、例１と同様に、パルスＰＴ１〜ＰＴ７が設けられている。撮像ウインドウＡ、Ｂの幅は１００ナノ秒であり、飛行時間のためのパルスＰＴ１〜ＰＴ７の幅は２５ナノ秒である。
【００６８】
図１７（ｂ）に示されるように、遅れ時間がゼロ秒と１０ナノ秒の付近で、ピクセルからの信号が遅れ時間に対する線形な変化から外れている、この非線形性は距離精度を低下させている。遅れ時間の線形応答領域を測距に用いることによって、距離精度を所定の値に維持することができる。パルスＰＴ１〜ＰＴ７の幅とシフト量を調整して、パルスＰＴ１〜ＰＴ７の各々における線形領域を利用して、遅延時間と距離との関係から距離の決定を行うことができる。
【００６９】
フレームＦｒａｍｅ１では、パルスＰＴ１は撮像ウインドウＡ及び撮像ウインドウＢの切り替わり時刻を横切って設けられている。この時刻を基準にして、パルスＰＴ２の立ち下がりは＋３ナノ秒でシフトしている。フレームＦｒａｍｅ２では、パルスＰＴ２のシフト量は、パルスＰＴ１のシフト量に対して−４ナノ秒でシフトされている。フレームＦｒａｍｅ３は、パルスＰＴ３のシフト量は、パルスＰＴ２のシフト量に対して−４ナノ秒でシフトされている。同様に、パルスＰＴ４〜ＰＴ７も、それぞれ、隣接フレーム内のパルスＰＴ３〜ＰＴ６のシフト量を基準にして所定の調整量（−４ナノ秒）でシフトされている。故に、あるフレーム内の放射パルスのシフト量と隣接フレーム内の放射パルスのシフト量との差は、該放射パルス幅未満である。
【００７０】
この距離画像センサによれば、線形応答領域を用いるので、飛行時間の測定の全範囲において、距離精度を確保できる。
【００７１】
好適な実施の形態において本発明の原理を図示し説明してきたが、本発明は、そのような原理から逸脱することなく配置および詳細において変更され得ることは、当業者によって認識される。本発明は、本実施の形態に開示された特定の構成に限定されるものではない。したがって、特許請求の範囲およびその精神の範囲から来る全ての修正および変更に権利を請求する。
【産業上の利用可能性】
【００７２】
以上説明したように、本実施の形態は、レンジシフト動作に基づくＴＯＦ距離画像センサ及び方法に関しており、以下のように構成される。デューティ比の小さい、すなわち、短時間のパルス光を用い、検出する撮像ウインドウの期間以外の期間では電荷を蓄積せずに生成電荷を排出する。この構造に基づき、光パルスの発光タイミングと撮像ウインドウとの関係を相対的にずらして複数回の撮像を行って、複数の要素画像信号を生成する。これらの要素画像信号を合成することによって、所望の距離分解能を保つと共に、距離計測の範囲を広げることができる。また、本実施の形態に係る方法と装置によれば、電荷排出構造をもつ距離画像センサでは、短時間光パルスの発光タイミングを、撮像のための撮像ウインドウに対して、相対的にずらして撮像を行う。これらの画像を合成すると共に、これらの画像により距離を計測する。これによって、高い距離分解能をもちながら、距離計測範囲を広くできる。さらに、本実施の形態に係る距離画像センサ及び方法によれば、複数の撮像タイミングの各々において規定された撮像ウインドウを用いて、撮像タイミング毎の信号をピクセルから取り出す。これによって、1フレーム内の信号として、異なる値でレンジシフトされた複数の要素画像信号を取り出す。さらに、本実施の形態に係る距離画像センサ及び方法によれば、小さいパルス幅の測距パルスと使用するとき、１つの測距パルスでは線形に検出される範囲が狭くなる。これによる距離精度の低下を避けるために、互いのシフト量が異なるようにシフトした複数の測距パルスを用いると共に、測距範囲を互いに重ね合わせるように配列された測距パルスを用いて距離の計測を行う。これは、パルス毎を用いる測距に異なる測距範囲を割り付けると共に、測距パルスのシフト量差が測距パルスのパルス幅未満になるようにパルスを配列する。これによって、広い計測範囲で線形の計測を行うことができる。
【図面の簡単な説明】
【００７３】
【図１】図１は本実施の形態に係る飛行時間法による距離画像センサを示す図面である。
【図２】図２は、画像信号ＳＩＭＡＧＥを表示装置によって表示した画像を示す図面である。
【図３】図３は本実施の形態における距離画像センサのピクセル構造を示す図面である。
【図４】図４は、ピクセルの動作タイミングを示す図面である。
【図５】図５は、ピクセルの動作を概略的に示す図面である。
【図６】図６は、画像生成装置の構成を示す図面である。
【図７】図７は、ピクセル分配特性を示す図面である。
【図８】図８は、短パルスを用いたピクセル分配特性を示す図面である。
【図９】図９は放射パルス幅及び撮像ウインドウ幅と距離分解能との関係の図面である。
【図１０】図１０は、一実施例の測距タイミングを示す図面である。
【図１１】図１１は、ピクセルアレイと放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法の主要な工程を示す図面である。
【図１２】図１２は、単一のフレームを用いる測距タイミング、及びパルスの遅延に応じて選択ゲートＴＸ１〜ＴＸ４の各々に生成される信号波形を示す図面である。
【図１３】図１３は、本実施例に適用可能なピクセルの構造の平面図を示す図面である。
【図１４】図１４は、複数のピクセルを含むピクセルアレイと飛行時間を計測するための放射源とを用いて対象物に関する距離情報を含む撮像信号を飛行時間法により生成する方法における主要な工程を示す図面である。
【図１５】図１５は、距離画像センサの一例におけるタイミングを示す図面である。
【図１６】図１６は、距離画像センサの一例におけるタイミングを示す図面である。
【図１７】図１７は、距離画像センサの一例におけるタイミングを示す図面である。
【符号の説明】
【００７４】
１１…距離画像センサ、１３…放射源、１５…画像生成装置、１７…処理装置、１３ａ…半導体発光素子、１３ｂ…駆動回路、２１…制御装置、２３…ピクセルアレイ、２５…信号生成装置、２７…ピクセル、ＳＥ１〜ＳＥｎ…要素画像信号、ＳＩＭＡＧＥ…画像信号、ＷＰＵ１、ＷＰＵ２…第１及び第２の撮像ウインドウ、
【図１】
2010032425.tif 000003
【図３】
2010032425.tif 000004
【図４】
2010032425.tif 000005
【図５】
2010032425.tif 000006
【図６】
2010032425.tif 000007
【図１０】
2010032425.tif 000008
【図１１】
2010032425.tif 000009
【図１２】
2010032425.tif 000010
【図１３】
2010032425.tif 000011
【図１４】
2010032425.tif 000012
【図２】
2010032425.tif 000013
【図７】
2010032425.tif 000014
【図８】
2010032425.tif 000015
【図９】
2010032425.tif 000016
【図１５】
2010032425.tif 000017
【図１６】
2010032425.tif 000018
【図１７】
2010032425.tif 000019