(57)【要約】【課題】  短時間で信頼性の高い距離画像を生成することができる距離測定システム及び距離測定方法を提供すること。【解決手段】  本発明にかかる距離測定システムは、取得した視差画像に基づいて距離画像を生成する視差測定型測距装置１と、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する位相ＴＯＦ型測距装置２を有する。ここで、視差測定型測距装置１は、位相ＴＯＦ型測距装置２によって取得された距離情報を初期値として距離画像を算出する。【選択図】  図７
2008008687.tif 000002
【特許請求の範囲】
【請求項１】
取得した視差画像に基づいて距離画像を生成する第１の測距手段と、
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第２の測距手段とを備えた距離測定システムであって、
前記第１の測距手段は、前記第２の測距手段によって取得された距離情報を初期値として距離画像を算出する距離測定システム。
【請求項２】
前記第２の測距手段は、前記第１の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択することを特徴とする請求項１記載の距離測定システム。
【請求項３】
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第３の測距手段をさらに備え、
当該第３の測距手段は、前記第２の測距手段により選択された距離情報に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成することを特徴とする請求項２記載の距離測定システム。
【請求項４】
取得した視差画像に基づいて距離画像を生成する第１の測距手段と、
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第３の測距手段とを備えた距離測定システムであって、
当該第３の測距手段は、前記第１の測距手段により生成された距離画像に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成する距離測定システム。
【請求項５】
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第２の測距手段と、
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第３の測距手段を備えた距離測定システムであって、
当該第３の測距手段は、前記第２の測距手段により選択された距離情報に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成する距離測定システム。
【請求項６】
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第２の測距手段と、
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第３の測距手段を備えた距離測定システムであって、
前記第２の測距手段は、前記第３の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択することを特徴とする請求項１記載の距離測定システム。
【請求項７】
取得した視差画像に基づいて距離画像を生成する第１の測距手段と、
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第２の測距手段とを備えた距離測定システムであって、
前記第２の測距手段は、前記第１の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択する距離測定システム。
【請求項８】
前記第１の測距手段により生成された距離画像と、前記第２の測距手段により生成された距離情報を合成することによって、統合距離画像を生成する手段をさらに備えたことを特徴とする請求項１、２又は７記載の距離測定システム。
【請求項９】
前記第１の測距手段により生成された距離画像と、前記第２の測距手段により生成された距離情報と、前記第３の測距手段により生成された距離画像のいずれか２以上を合成することによって、統合距離画像を生成する手段をさらに備えたことを特徴とする請求項３〜６いずれかに記載の距離測定システム。
【請求項１０】
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成するステップと、
生成された距離情報を初期値として、視差画像に基づき距離画像を生成するステップを備えた距離測定方法。
【請求項１１】
前記距離情報に基づいて走査範囲を限定するステップと、
出射した測定光線と対象物の反射光線の位相差に基づいて限定された走査範囲における距離画像を生成するステップをさらに備えたことを特徴とする請求項１０記載の距離測定方法。
【請求項１２】
取得した視差画像に基づいて距離画像を生成するステップと、
生成された距離画像に基づいて走査範囲を限定するステップと、
出射した測定光線と対象物の反射光線の位相差に基づいて限定された走査範囲における距離画像を生成するステップとを備えた距離測定方法。
【請求項１３】
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成するステップと、
生成された距離情報に基づいて走査範囲を限定するステップと、
出射した測定光線と対象物の反射光線の位相差に基づいて、前記限定された走査範囲における距離画像を生成するステップとを備えた距離測定方法。
【請求項１４】
出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成するステップと、
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて複数の距離情報を生成するステップと、
前記距離画像に基づいて複数の距離情報より任意の距離情報を選択するステップとを備えた距離測定方法。
【請求項１５】
取得した視差画像に基づいて距離画像を生成するステップと、
入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて複数の距離情報を生成するステップと、
前記視差画像を取得することにより生成された距離画像に基づいて、複数の距離情報より任意の距離情報を選択するステップとを備えた距離測定方法。
【請求項１６】
得られた距離画像及び又は距離情報を合成することによって、統合距離画像を生成するステップをさらに備えたことを特徴とする請求項１０〜１５いずれかに記載の距離測定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離測定システム及び距離測定方法に関し、特に複数種類の距離測定技術を用いた距離測定システム及び距離測定方法に関する。
【背景技術】
【０００２】
対象物までの距離を測定する距離測定システムについては、様々な方式が提案されている。例えば、代表的な方式としては、視差測定方式、位相ＴＯＦ（Time Of Flight）方式やパルスＴＯＦ方式がある。
【０００３】
このうち視差測定方式は、例えば、特許文献１に開示されている。視差測定方式は、２以上の異なる視点に配置した複数のカメラによって撮影した視差画像に基づいて、立体画像を合成する。また、この視差測定方式は、特許文献２においても受動的方法として説明されている。
【０００４】
位相ＴＯＦ方式は、例えば、特許文献３に開示されている。位相ＴＯＦ方式では、強度変調された測定光線を測定対象に照射して、対象物からの反射光を検出して、光電子変換を行い、変換された光電子を複数の蓄積手段のいずれかに時間的にずらして蓄積するようにしている。この方式によれば、測定対象が遠くにあればあるほど、複数の蓄積手段のうち時間的に後のタイミングで蓄積するようにした蓄積手段に、より多くの光電子が蓄積されることになる。つまり、測定対象までの距離に応じて、複数の蓄積手段のそれぞれに蓄積される光電子数の相対的な比率や差分が決定される。この比率や差分を求めることによって測定対象までの距離を求めることができる。
【０００５】
パルスＴＯＦ方式は、例えば、能動的方法として特許文献２に開示されている。パルスＴＯＦ方式は、パルス状の測定光線を測定対象物に照射して、測定対象物からの反射光と測定光線との位相差から距離を求める方式であって、測定光線を２次元的に走査し、各点で距離を測定して三次元の形状を測定するものである。
【特許文献１】特開２００１−２５６４８２号公報
【特許文献２】特開平９−５０５０号公報
【特許文献３】特開２００３−５１９８８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
視差測定方式は、距離情報を得るために二以上の画像同士の特徴点を照合する必要がある。一般的に特徴点の照合は画像全体に亘って実行しなければならないため、計算量が膨大となり、計算時間も長時間化するという問題があった。従って、視差測定方式では、リアルタイムに計算することが困難であり、例えば、ロボットや車両等の移動体に搭載することは困難であった。
【０００７】
位相ＴＯＦ方式は、光の強度を一定の周期で変調させて照射するものであるが、対象物までの距離がこの波長以上の場合には、原理的に距離算出結果は一意に決まらない。また、イメージセンサ内に光の位相を算出する機構を持つ場合には、イメージセンサの構造が複雑になり解像度を十分に高めることは困難であった。
【０００８】
パルスＴＯＦ方式は、測定光線を２次元で走査して距離画像を得るためには、測定光線を発するレーザ等を揺動ミラーやポリゴンミラーを用いて上下左右に物理的に走査する必要があるため、距離画像の取得時間が長くなるという問題があった。
【０００９】
本発明は、かかる課題を解決するためになされたものであり、短時間で信頼性の高い距離画像を生成することができる距離測定システム及び距離測定方法を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明にかかる距離測定システムは、取得した視差画像に基づいて距離画像を生成する第１の測距手段と、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第２の測距手段とを備えた距離測定システムであって、前記第１の測距手段は、前記第２の測距手段によって取得された距離情報を初期値として距離画像を算出するものである。このような構成により、短い時間で信頼性の高い距離画像を算出できる。
【００１１】
ここで、前記第２の測距手段は、前記第１の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択することが好ましい。第２の測距手段において測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【００１２】
また、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第３の測距手段をさらに備え、当該第３の測距手段は、前記第２の測距手段により選択された距離情報に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成することが好ましい。このような構成により、短い時間で信頼性の高い距離画像を算出できる。
【００１３】
本発明にかかる他の観点による距離測定システムは、取得した視差画像に基づいて距離画像を生成する第１の測距手段と、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第３の測距手段とを備えた距離測定システムであって、当該第３の測距手段は、前記第１の測距手段により生成された距離画像に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成するものである。このような構成により、短い時間で信頼性の高い距離画像を算出できる。
【００１４】
本発明にかかる他の観点による距離測定システムは、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第２の測距手段と、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第３の測距手段を備えた距離測定システムであって、当該第３の測距手段は、前記第２の測距手段により選択された距離情報に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成するものである。このような構成により、短い時間で信頼性の高い距離画像を算出できる。
【００１５】
本発明にかかる他の観点による距離測定システムは、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第２の測距手段と、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成する第３の測距手段を備えた距離測定システムであって、前記第２の測距手段は、前記第３の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択するものである。第２の測距手段において測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【００１６】
本発明にかかる他の観点による距離測定システムは、取得した視差画像に基づいて距離画像を生成する第１の測距手段と、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成する第２の測距手段とを備えた距離測定システムであって、前記第２の測距手段は、前記第１の測距手段により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択するものである。第２の測距手段において測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【００１７】
さらに、前記第１の測距手段により生成された距離画像と、前記第２の測距手段により生成された距離情報を合成することによって、統合距離画像を生成する手段を備えることが望ましい。
【００１８】
また、前記第１の測距手段により生成された距離画像と、前記第２の測距手段により生成された距離情報と、前記第３の測距手段により生成された距離画像のいずれか２以上を合成することによって、統合距離画像を生成する手段をさらに備えるとよい。
【００１９】
本発明にかかる距離測定方法は、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成するステップと、生成された距離情報を初期値として、視差画像に基づき距離画像を生成するステップを備えたものである。このような方法により、短い時間で信頼性の高い距離画像を算出できる。
【００２０】
本発明にかかる他の観点による距離測定方法は、前記距離情報に基づいて走査範囲を限定するステップと、出射した測定光線と対象物の反射光線の位相差に基づいて限定された走査範囲における距離画像を生成するステップをさらに備える。このような方法により、短い時間で信頼性の高い距離画像を算出できる。
【００２１】
本発明にかかる他の観点による距離測定方法は、取得した視差画像に基づいて距離画像を生成するステップと、生成された距離画像に基づいて走査範囲を限定するステップと、出射した測定光線と対象物の反射光線の位相差に基づいて限定された走査範囲における距離画像を生成するステップとを備える。このような方法により、短い時間で信頼性の高い距離画像を算出できる。
【００２２】
本発明にかかる他の観点による距離測定方法は、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて距離情報を生成するステップと、生成された距離情報に基づいて走査範囲を限定するステップと、出射した測定光線と対象物の反射光線の位相差に基づいて、前記限定された走査範囲における距離画像を生成するステップとを備える。このような方法により、短い時間で信頼性の高い距離画像を算出できる。
【００２３】
本発明にかかる他の観点による距離測定方法は、出射した測定光線と対象物の反射光線の位相差に基づいて距離画像を生成するステップと、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて複数の距離情報を生成するステップと、前記距離画像に基づいて複数の距離情報より任意の距離情報を選択するステップとを備える。このような方法により、測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【００２４】
本発明にかかる他の観点による距離測定方法は、取得した視差画像に基づいて距離画像を生成するステップと、入射した強度変調光から変換された光電子を時間的にずらして異なる蓄積手段に蓄積し、これらの蓄積手段に蓄積された光電子数に応じて複数の距離情報を生成するステップと、前記視差画像を取得することにより生成された距離画像に基づいて、複数の距離情報より任意の距離情報を選択するステップとを備える。このような方法により、測定距離を限定する必要性がなくなるので、測定距離を長くすることができる。
【００２５】
さらに、得られた距離画像及び又は距離情報を合成することによって、統合距離画像を生成するステップを備えることが好ましい。
【発明の効果】
【００２６】
本発明によれば、短時間で信頼性の高い距離画像を生成することができる距離測定システム及び距離測定方法を提供することができる。
【発明を実施するための最良の形態】
【００２７】
本実施の形態にかかる距離測定システムの構成について、図１に示すブロック図を用いて説明する。当該距離測定システムは、視差測定方式、位相ＴＯＦ方式及びパルスＴＯＦ方式を組み合わせて構成したものである。図１に示す例では、それぞれの方式を実現するための撮像装置１１，２１，３１と、データ処理装置４を基本的な構成としているが、それぞれの方式を実現する視差測定型測距装置と、位相ＴＯＦ型測距装置と、パルスＴＯＦ型測距装置をデータやり取り可能な状態で別体に構成してもよい。なお、出力装置５は任意である。この距離測定システムは、様々な用途に適用可能であるが、例えば、ロボットや車両等の移動体に搭載され、周辺にある物体までの距離の測定に用いられる。
【００２８】
図１に示されるように、撮像装置として、視差測定型撮像装置１１Ｒ、１１Ｌと、位相ＴＯＦ型撮像装置２１及びパルスＴＯＦ型撮像装置３１を備えている。データ処理部４は、視差測定型処理部４１、位相ＴＯＦ型処理部４２、パルスＴＯＦ型処理部４３及び合成画像生成部４４を備えている。出力装置５は、例えば、ディスプレイである。
【００２９】
図２は、視差測定型測距装置１を示すブロック図である。図２に示されるように、当該視差測定型測距装置１は、視差測定型撮像装置１１Ｒ，１１Ｌと視差測定型処理部４１を備えている。視差測定型撮像装置１１Ｒ，１１Ｌは、それぞれ、ＣＣＤ画像センサ（ＣＣＤカメラ）、カメラインターフェイス回路、画像メモリ、演算処理回路によって構成される。ＣＣＤ画像センサの代わりにＣＭＯＳ画像センサを用いることも可能である。視差測定型撮像装置１１Ｒ，１１Ｌは、同一の対象物を異なる視点から撮影し、撮影画像情報を視差測定型処理部４１に出力する。視差測定型処理部４１は、撮影画像情報を入力し、後に詳述するデータ処理を実行する。
【００３０】
図３は、位相ＴＯＦ型測距装置２を示すブロック図である。位相ＴＯＦ型測距装置２は、画素単位で対象物までの距離を求めることができ、その距離測定精度は、±１０％程度である。位相ＴＯＦ型測距装置２では、強度変調光の周期に応じて、同じ結果がでるため、原理的に複数の距離候補が生成され、候補から選択することは困難である。例えば、２０ＭＨｚの強度変調光を用いた場合には、７．５ｍの周期で同じ結果が得られるため、例えば、０．５ｍと８ｍのいずれかを判別することができない。このため、本発明では、複数の候補から任意の候補を選択するために、他の視差測定型測距装置１やパルスＴＯＦ型測距装置２の測定結果を用いることにした。
【００３１】
図３に示されるように、当該位相ＴＯＦ型測距装置２は、変調波光源２１１と固体撮像素子２１２を基本的に備えている。変調波光源２１１は、強度が一定の周期で変調された光を出射する光源であり、例えば、レーザや発光ダイオードを用いたＡＭ（Amplitude Modulation：振幅変調）変調光源である。変調光は、例えば、２０ＭＨｚの正弦波である。固体撮像素子２１２は、対象物からの反射光を検出して、光電子変換を行い、変換された光電子を複数の蓄積手段のいずれかに時間的にずらして蓄積し、蓄積された光電子数に応じて距離情報を生成する機能を有する。
【００３２】
図４（ａ）に、固体撮像素子２１２の基本構成を示す。図４（ｂ）は、図４（ａ）におけるＡ矢視図の一部を省略して示した説明図である。図に示されるように、固体撮像素子２１２は、本体部２１４の上面２１４ａにフォトダイオード２１５が埋め込まれている。フォトダイオード２１５の両側には、２つの蓄積部２１６ａ，２１６ｂが形成されている。さらに、蓄積部２１６ａ，２１６ｂ上に電極２１７ａ，２１７ｂが形成されている。蓄積部２１６ａ，２１６ｂは、図示しない読み出し回路と接続されている。さらに、固体撮像素子２１２は、蓄積部２１６ａ，２１６ｂのいずれに光電子を移動させるかを切り換える処理を行う光電子蓄積制御手段としてのスイッチング回路２１３とを有する。
なお、図４は、フォトダイオード２１５と２つの蓄積部２１６ａ，２１６ｂとスイッチング回路２１３とからなる１画素分を示すが、固体撮像素子２１２には、多数個の画素が２次元配列されている。
フォトダイオード２１５は、固体撮像素子２１２に入射する光を受光する受光部として機能する。フォトダイオード２１５は、強度変調光が入射し、入射した強度変調光の光量子を光電子変換して光電子を生成する。
【００３３】
蓄積部２１６ａ，２１６ｂのそれぞれは、フォトダイオード２１５において生成された光電子を蓄積する。
【００３４】
蓄積部２１６ａとフォトダイオード２１５との間と蓄積部２１６ｂとフォトダイオード２１５との間には、フォトダイオード２１５への逆流を防止するために、不純物ドープのポテンシャルバリア２１８ａ，２１８ｂが設けられている。
【００３５】
電極２１７ａ，２１７ｂは、ポテンシャル操作用の電極であり、電極２１７ａに印加される電圧と電極２１７ｂに印加される電圧とは逆相である。
【００３６】
読み出し回路は、蓄積部２１６ａ，２１６ｂに蓄積された電荷信号を転送する回路であり、例えば、ＣＭＯＳやＣＣＤによって構成できる。
スイッチング回路２１３は、フォトダイオード２１５に入射する強度変調光の周期信号に同期した信号、即ち、強度変調光の変調周期に同期した検波信号に応じて光電子が蓄積される蓄積部２１６ａ，２１６ｂのいずれかの切り換えを制御する。
【００３７】
次に、当該固体撮像素子の動作について、図５を用いて説明する。図５（ａ）は、電極２１７ｂが正電位印加状態の場合の固体撮像素子２１２の画素周辺のポテンシャルを示し、図５（ｂ）は、電極２１７ａが正電位印加状態の場合の固体撮像素子２１２の画素周辺のポテンシャルを示す。
【００３８】
対象物を反射した強度変調光が固体撮像素子２１２に入射される。フォトダイオード２１５は、入射した強度変調光を光電子変換し、光電子を生成する。フォトダイオード２１５によって生成された光電子は、検波信号に応じたスイッチング回路２１３の制御によって、蓄積部２１６ａまたは蓄積部２１６ｂのいずれかに移動される。
【００３９】
電極２１７ａが正電位印加状態になると、図５（ｂ）に示すように、フォトダイオード２１５によって生成された光電子は、蓄積部２１６ａに移動して蓄積される。電極２１７ｂが正電位印加状態になると、図５（ａ）に示すように、フォトダイオード２１５によって生成された光電子は、蓄積部２１６ｂに移動して蓄積される。変調波光源２１１から対象物を経て固体撮像素子２１２までの距離に応じて蓄積部２１６ａに蓄積される光電子数と蓄積部２１６ｂに蓄積される光電子数との比率が決まる。例えば、対象物までの距離が比較的短い場合には、蓄積部２１６ａに蓄積された光電子数は蓄積部２１６ｂに蓄積された光電子数に比べて多くなる。逆に、対象物までの距離が比較的長い場合には、蓄積部２１６ａに蓄積される光電子数が減少し、蓄積部２１６ｂに蓄積される光電子数が増加する。即ち、蓄積部２１６ａに蓄積された光電子数と蓄積部２１６ｂに蓄積された光電子数との差や比率に基づいて対象物までの距離を求めることができる。
図６は、パルスＴＯＦ型測距装置３を示すブロック図である。一般的に、パルスＴＯＦ型測距装置３の距離測定精度は、±１％程度であり、位相ＴＯＦ型測距装置２よりも高い。図６に示されるように、当該パルスＴＯＦ型測距装置３は、パルスＴＯＦ型撮像装置３１とパルスＴＯＦ型処理部４３を備えている。パルスＴＯＦ型撮像装置３１は、パルス光源３１１、走査手段３１２及び撮像素子３１３を備えている。パルス光源３１１は、所定の制御によってパルス状のレーザを出射するレーザ光源である。走査手段３１２は、パルス光源３１１との間に設けられ、当該パルス光源より出射したレーザを対象物を含む所定範囲を上下左右に２次元走査する手段であって、例えば、揺動ミラーやポリゴンミラー、及びそれらを駆動する手段によって実現される。撮像素子３１３は、ＣＣＤ画像センサやＣＭＯＳ画像センサによって構成される。パルスＴＯＦ型処理部４３は、撮影画像情報を入力し、後に詳述するデータ処理を実行する。
【００４０】
パルス光源３１１から出射されたパルス状の測定光線は、対象物により反射され、撮像素子３１３に入射する。撮像素子３１３は、画素単位でその光量に応じた電気信号に変換し、出力する。パルスＴＯＦ型処理部４３は、パルス光源３１１から出射されたパルス状の測定光線の位相と、撮像素子３１３に入射された反射光線の位相より位相差を算出し、位相差より距離情報に変換する。このような処理を走査手段３１２によって測定光線を走査し、全ての画素に関して実行することによって距離画像を得る。
【００４１】
図７は、本発明にかかる距離測定システムにおける処理の流れを示すフローチャートである。図に示されるように、視差測定型測距装置１において視差画像を取得する（Ｓ１０１）。取得した視差画像情報を図示しない画像メモリに格納される。
【００４２】
位相ＴＯＦ型測距装置２においても距離画像を取得する（Ｓ２０１）。取得した距離画像情報は、図示しない画像メモリに格納される。次に位相ＴＯＦ型測距装置２は、折り返し距離画像を付加する（Ｓ２０２）。ここで、折り返し距離画像とは、最も位相ＴＯＦ方式により距離を算出した場合に発生する、複数の候補となる距離画像をいう。このようにして、複数の距離候補である距離情報Ｂ−１と距離情報Ｂ−２が求まる（Ｓ２０３，Ｓ２０４）。位相ＴＯＦ型測距装置２は、これらの距離情報Ｂ−１と距離情報Ｂ−２のうち、短い方の距離情報Ｂ−１を初期値として視差測定型測距装置１に入力する。
【００４３】
視差測定型測距装置１は、当該距離情報Ｂ−１を入力し、初期値として設定する（Ｓ１０２）。対象物までの距離の程度が分かれば、ある程度、視差の範囲を限定することができるので計算量を減少させることができる。視差測定型測距装置１は、設定された初期値に基づいて特徴点の照合処理（対応点の検索処理）を実行する（Ｓ１０３）。具体的には、異なる視点から撮影された画像において、対象物の同一位置を示す特徴点を抽出し、抽出された特徴点同士の相対的な位置ずれを検出する。そして、視差測定型測距装置１は、特徴点の照合処理の結果に基づいて、距離画像を算出する（Ｓ１０４）。視差測定型測距装置１は、算出した距離画像情報を位相ＴＯＦ型測距装置２に出力する。
【００４４】
位相ＴＯＦ型測距装置２は、視差測定型測距装置１から距離画像情報を取得し、距離情報Ｂ−１か距離情報Ｂ−２のいずれかを選択する（Ｓ２０５）。位相ＴＯＦ型測距装置２は、選択した距離情報をパルスＴＯＦ型測距装置３に対して出力する。
【００４５】
パルスＴＯＦ型測距装置３は、位相ＴＯＦ型測距装置２から距離情報を入力し、走査範囲を設定する（Ｓ３０１）。具体的には、走査範囲は、全画面ではなく、特徴点が含まれる一部に限定される。パルスＴＯＦ型測距装置３は、設定された走査範囲をパルス状のレーザを走査する（Ｓ３０２）。そして、パルスＴＯＦ型測距装置３は、走査されたレーザの反射光を検出して、距離画像を取得する（Ｓ３０３）。
【００４６】
視差測定型測距装置１は、ステップＳ１０４において算出した距離画像に対して画素毎に画像信頼度の付加処理を実行し（Ｓ１０５）、その処理後の距離画像情報を合成画像生成部４４に出力する。
【００４７】
位相ＴＯＦ型測距装置２は、ステップＳ２０５において選択した距離情報に対して画素毎に画像信頼度の付加処理を実行し（Ｓ２０６）、その処理後の距離情報を合成画像生成部４４に出力する。
【００４８】
パルスＴＯＦ型測距装置３は、ステップＳ３０３において取得した距離画像情報に対して画素毎に画像信頼度の付加処理を実行し（Ｓ３０４）、その処理後の距離画像情報を合成画像生成部４４に出力する。
【００４９】
合成画像生成部４４は、視差測定型測距装置１より入力した距離画像情報と、位相ＴＯＦ型測距装置２より入力した距離情報と、パルスＴＯＦ型測距装置３より入力した距離画像情報に基づいて、統合距離画像の合成処理を実行する（Ｓ４０１）。このとき、画素毎に付加した信頼度に基づいて合成処理を行う。
【００５０】
以上説明したように、本発明にかかる距離測定システムでは、位相ＴＯＦ型測距装置２において求められた距離情報を、視差測定型測距装置１において初期値として用いることとしたため、局所解を短い時間で求めることが可能となる。ここで、位相ＴＯＦ型測距装置２は、視差測定型測距装置１と比べて距離測定精度は劣るが、視差測定型測距装置１の初期値として使用するには十分な程度の距離測定精度を有している。
【００５１】
視差測定型測距装置１では、輝度差が少ない画像では特徴点を抽出することが困難であるため、複数の画像間の視差情報を得ることが困難である。位相ＴＯＦ型測距装置２やパルスＴＯＦ型測距装置３では、輝度差は問題とならないため、輝度差が少ない画像において距離を算出する場合には、まず、位相ＴＯＦ型測距装置２やパルスＴＯＦ型測距装置３により対象物までの距離を求め、その結果に基づいて初期値を設定するようにしてもよい。
【００５２】
なお、パルスＴＯＦ型測距装置３は、視差測定型測距装置１により生成された距離画像に基づいて走査範囲を限定して、限定された走査範囲を走査して距離画像を生成するようにしてもよい。
【００５３】
また、位相ＴＯＦ型測距装置２は、パルスＴＯＦ型測距装置３により算出された距離画像に応じて、複数の候補となる距離情報より任意の距離情報を選択するようにしてもよい。
【図面の簡単な説明】
【００５４】
【図１】本発明にかかる距離測定システムの全体を示すブロック図である。
【図２】本発明にかかる距離測定システムにおける視差測定型測距装置の構成を示すブロック図である。
【図３】本発明にかかる距離測定システムにおける位相ＴＯＦ型測距装置の構成を示すブロック図である。
【図４】本発明にかかる距離測定システムにおける位相ＴＯＦ型測距装置の一部構成を示す説明図である。
【図５】本発明にかかる距離測定システムにおける位相ＴＯＦ型測距装置の固体撮像素子の画素周辺のポテンシャルを示す説明図である。
【図６】本発明にかかる距離測定システムにおけるパルスＴＯＦ型測距装置の構成を示すブロック図である。
【図７】本発明にかかる距離測定システムにおける処理の流れを示すフローチャートである。
【符号の説明】
【００５５】
１  視差測定型測距装置
２  位相ＴＯＦ型測距装置
３  パルスＴＯＦ型測距装置
４  データ処理装置
５  出力装置
１１  視差測定型撮像装置
２１  位相ＴＯＦ型撮像装置
３１  パルスＴＯＦ型撮像装置
４１  視差測定型処理部
４２  位相ＴＯＦ型処理部
４３  パルスＴＯＦ型処理部
４４  合成画像生成部
【図１】
2008008687.tif 000003
【図２】
2008008687.tif 000004
【図３】
2008008687.tif 000005
【図４】
2008008687.tif 000006
【図５】
2008008687.tif 000007
【図６】
2008008687.tif 000008
【図７】
2008008687.tif 000009