(57)【要約】３−Ｄ（３次元）撮像システムが記載されている。この３−Ｄ撮像システムは、目標シーンに対して光を発する照明装置、散乱及び／または反射された光を検知することによって目標シーンを撮像する撮像センサ、光伝達時間に基づいて目標シーンに関する距離情報を確定する評価装置、及び評価装置へ同期化情報を与える同期化手段から構成される。同期化手段は照明装置中において発せられた光から電気基準信号を直接引き出して生成する手段から成る。
2008533478.tif 000002
【特許請求の範囲】
【請求項１】
目標シーンに対して光を発する照明装置、
散乱／反射された光を検知することによって前記目標シーンを撮像する撮像センサ、
光伝達時間に基づいて前記目標シーンに関する距離情報を確定する評価装置、及び
前記評価装置へ同期化情報を与える同期化手段から構成され、
前記同期化手段は、前記照明装置において前記発せられた光に由来する電気基準信号を直接引き出して生成する手段から成ることを特徴とする３−Ｄ撮像システム。
【請求項２】
前記電気基準信号生成手段と前記照明装置の少なくとも１個の光源が隣接していることを特徴とする請求項１項記載のシステム。
【請求項３】
前記電気基準信号生成手段が、操作に関し、前記撮像センサから独立していることを特徴とする請求項１項または２項記載のシステム。
【請求項４】
前記電気基準信号生成手段が前記照明装置の照明電流と相関した電圧を与える分路レジスタから成ることを特徴とする請求項１〜３のいずれか１項記載のシステム。
【請求項５】
前記電気基準信号生成手段が前記照明装置中に配置されたオプトエレクトロニック変換器から成ることを特徴とする請求項１〜３のいずれか１項記載のシステム。
【請求項６】
前記オプトエレクトロニック変換器が前記照明装置によって発せられる光の即時検知を可能とするフォトダイオードから成ることを特徴とする請求項５項記載のシステム。
【請求項７】
前記オプトエレクトロニック変換器が、前記撮像センサのセンサセルと実質的に同じに構成され、かつ前記照明装置によって発せられる光の即時検知を可能とする独立型センサセルであることを特徴とする請求項５項記載のシステム。
【請求項８】
前記同期化手段が前記撮像センサのセンサセルの特徴を再現するミクサ素子から成ることを特徴とする請求項１〜６のいずれか１項記載のシステム。
【請求項９】
前記撮像センサが２次元画素配列カメラから成ることを特徴とする請求項１〜８のいずれか１項記載のシステム。
【請求項１０】
前記評価装置が前記撮像センサ及び前記同期化手段へ接続された信号処理装置から成ることを特徴とする請求項１〜９のいずれか１項記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は３−Ｄ（３次元）撮像システムに関する。
【背景技術】
【０００２】
空間の一定部分の３次元表示を与える装置には多数の異なる分野において種々の潜在的用途がある。それら用途の例をいくつか挙げると、自動車センサ技術（例えば自動車占有者検知及び類別）、ロボットセンサ技術（例えば対象確認）、安全技術（例えば工場設備の監視）等である。従来の２次元撮像とは異なり、３次元撮像システムには目標シーンに関する深度情報が必要である。すなわち１または２以上の観察対象と撮像システムの受光装置との距離を測定することが必要である。距離測定のための例えばレーダー用途における周知な方法は、測定信号の送信からその信号のエコー帰還までの時間間隔を計測することである。この方法は、一定の媒体中において伝達速度が既知である信号の場合、測定距離は伝達速度と信号が前後へ移動する時に費やす時間との積によって与えられるとする原理に基づくものである。
【０００３】
光学撮像システムの場合、測定信号は光波から成る。本発明においては用語「光」が用いられているが、電磁波全般及び特に可視領域外の光（例えば赤外線及び紫外線）をも含むものとして理解されるべきである。
【０００４】
光波を用いて距離測定を行うためには、一般的に発せられた光が時間経過と共に変化することが要求される。距離測定方法としては２つの方法が既知であり、その一つは飛行時間（ＴＯＦ）法と呼ばれる方法であり、もう一つは移相法と呼ばれる方法である。移相測定においては、発せられた光の振幅が（例えば正弦波変調によって）周期的に変調される。ＴＯＦ測定においては、光は通常周期性を要求されることなくパルス状に発せられる。移相測定においては、変調周期は通常光速で割り算された最大測定距離のほぼ２倍程度である。この方法では、伝達時間間隔は発信光信号と受信光信号との位相比較を行うことによって位相差として測定される。この位相比較には発信された光信号を用いた復調の同期化が必要とされる。光速によって与えられる高伝達速度ゆえに、ＴＯＦ法あるいは移相法による距離測定においては測定装置に要求される分解能が基本的に困難な課題となる。実際、数ｃｍ程度の空間分解能を得るために１０−１１秒（１０ｐｓ）程度の時間分解能が要求される。
【０００５】
パルス光法と移相法の双方共、時間間隔は一般的に電気的ドメイン中において測定される。従って、測定装置における同期化に影響を及ぼす電気伝達時間及び遅延によって測定精度に決定的な影響が及ぶ。この観点における実際上の問題点は、信号ライン上における電気伝達時間や電子部品中における遅延の変化及びドリフトが不明なことである。他方、型式が同一の装置であっても、例えば製造工程（例えば半導体製造）における公差に起因して、それら装置間には一定の変動が生ずる。他方、例えば温度変化あるいは構成成分の老化によって、操作中に時間変動するドリフトが生ずる。このような変動及びドリフトによって測定精度に有害な影響が与えられる。
【０００６】
その結果として、より信頼性の高い同期化を与えることにより上記問題点を解消する努力が払われてきた。例えばＷＯ９８／１０２５５においては、Ｓｃｈｗａｒｔｅにより、発光モジュールから受光カメラの１または２以上のセンサセルへ光学フィードバックパスを与えることが提案されている。ＤＥ４４３９２９８においてＳｃｈｗａｒｔｅによって示されているように、受光装置へ光が反射されることなく、例えば光ファイバを通して発せられた光をガイドすることによって同期化を目的とした位相基準を得ることが可能である。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
本発明は上述した問題点を解消することができる改良型３−Ｄ撮像システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記問題点を解消するため、本発明では、目標シーンに対して光を発する照明装置と散乱あるいは反射された光を検知することによって目標シーンの撮像を行う撮像センサから成る３−Ｄ撮像システムが提案される。このシステムには、光伝達時間に基づいて目標シーンに関する距離情報を確定する評価装置と、この評価装置へ同期化情報を与える同期化手段がさらに含まれている。本発明の重要な観点によれば、前記同期化手段には照明装置中において電気基準信号を発せられた光から直接引き出して生成させる手段が含まれる。光伝達時間は、照明装置から光が反射あるいは散乱される目標まで伝達され、さらにその目標から検知が行われる撮像センサまで戻る発光時間の変化する光の一定の識別標識にとって必要な時間間隔として理解されるべきである。光伝達時間は、前述したＴＯＦ法あるいは移相法等のいずれか適当な方法を用いて測定される。
【０００９】
移相法の場合、照明装置からは時間変調された周期的な光信号が生成される。この信号により、この場合には照明装置において発せられる光信号と撮像センサにおいて検知される散乱あるいは反射光信号との位相差として測定される時間間隔を確定することが可能となる。この位相差は公知の復調技術を用いることにより適切な撮像センサを通して取得可能であり、そして必要な距離情報を得るための評価装置によって利用される。前述した測定エラーを減ずるため、３−Ｄ撮像システムには、電気基準信号を与えることによって照明装置中で発せられた光から位相情報を直接抜粋あるいは引き出す手段を備えた同期化手段が含まれる。この基準信号により、同期化に役立ち、さらに評価装置による距離計算の修正に用いられる基準位相情報が与えられる。発せられた光を撮像センサ上へ導くことによって基準位相を得る公知の方法とは対照的に、光伝導体が不要となり、また機械的装着や光遮蔽に要する労力がすべて不要となる。以上全般的に移相法に言及して説明したが、本発明はパルス光（ＴＯＦ）測定あるいは類似の方法を用いる３−Ｄ撮像システムに対しても直ちに適用可能である。
【００１０】
同期化をさらに改善するため、前記電気基準信号生成手段は好ましくは照明装置の少なくとも１個の光源に隣接するように配置される。光信号ライン長及び／または電気信号ライン長を最小とすることにより、基準信号の位相と発せられた光の位相との一致が最大化される。理解されるように、電気信号生成手段は操作に関して撮像センサから独立されている。それゆえ、本発明に従って同期化の改善を行う場合、撮像センサの機械的変更は必要とされない。
【００１１】
第一の実施態様では、電気基準信号生成手段に照明装置の照明電流と相関させて電圧を与える分路レジスタが備えられる。この実施態様は簡略かつ経済的ではあるが信頼性の高い解決方法を提供するものである。本発明の変形において、電気基準信号生成手段は、オプトエレクロニック変換器を照明装置中へ配置した形で含ませることも可能である。例えば第二の実施態様においては、このオプトエレクトロニック変換器として、照明装置によって発せられる光を直ちに検知可能とするフォトダイオードが用いられる。また第三の実施態様では、このオプトエレクトロニック変換器は撮像センサのセンサセルと本質的に同じに構成された独立型センサセルであり、このセンサセルによって照明装置によって発せられる光の即時検知が可能とされる。
【００１２】
前記第一及び第二の実施態様においては、前記同期化手段には好ましくは撮像センサのセンサセルの特徴を再現するミクサ素子からなる。このミクサ素子は電気基準信号生成手段とは照明装置の前に間隔なしで配置される撮像センサのセンサセルに本質的に模倣するものである。かかる構成により直接基準測定を行うためのゼロ位相差構成が与えられる。
【００１３】
３−Ｄ撮像システム中に用いられる好ましい型式の撮像センサとしては２次元画素配列カメラが挙げられる。例えば、ＣＣＤ（電荷結合装置）、ＣＭＯＳ（相補性金属酸化物半導体）、及び／またはＴＦＡ（ＡＳＩＣ上薄膜）技術を基礎とした既存の集積ロックイン画素カメラは本発明に従った３−Ｄ撮像システムに適したものである。
【００１４】
前記評価装置には、前記撮像センサ及び前記同期化手段へ接続された信号処理装置が好ましく含まれる。用いられる信号処理装置及び既存の３−Ｄ撮像システム構造によっては、電気基準信号生成手段を比較的容易に既存の設計へ組み入れることが可能である。
【発明を実施するための手段】
【００１５】
以下において本発明の非限定的実施態様について添付図面を参照しながら説明し、本発明についてさらに明らかにする。
【００１６】
図１は符号１０でその全体が示されている３−Ｄ撮像システムを示した図である。図１の３−Ｄ撮像システムは当該技術分野において公知であり、例えばＷＯ９８／１０２５５において開示されている。このシステムには目標シーンに対して光を発する照明装置１２と目標シーンの撮像を行う撮像センサ１４が含まれている。撮像センサ１４には、それ自体公知である方式において、必要な付属品、例えば焦点レンズ（図示せず）及びいずれか適当な技術によって製造された電子カメラチップ、例えばＣＣＤ、ＣＭＯＳ及び／またはＴＦＡが含まれている。従って、この撮像センサ１４中にはロックイン画素センサセル１６が２次元的に配列され、目標シーンが個々のセンサセルごとに小さな部分に分けられて撮像され、画素ごとに画像形成が行われる。
【００１７】
照明装置１２には、照明ドライバ２０によって集合的に駆動される発光ダイオード（ＬＥＤ）等の数個の発光装置１2が含まれる。信号源２２からは照明ドライバ２０及びフォトゲートドライバ２４のための入力信号が供給される。フォトゲートドライバ２４からの出力は撮像センサ１４へ接続される。評価装置２６には適当な電子計算装置、例えばデジタル信号プロセッサ（ＤＳＰ）が備えられ、評価装置２６は撮像センサ１４の出力へ接続される。
【００１８】
この３−Ｄ撮像システム１０は、移相測定法に基づく操作に際して以下に要約されるように作動される。信号源２２はその出力時に変調信号Ｅ１を生成し、その変調信号Ｅ１は照明ドライバ２０へ送られる。照明ドライバ２０は駆動信号Ｅ２を用いて照明装置１２を駆動させ、それによって時間変調された光信号Ｌ１が対象物３０（単なる模式的表現にすぎない）が含まれる目標シーン上へ放射される。光信号Ｅ１の時間変調の例としては、正弦波振幅（すなわち光強度）変調あるいは周期的パルス放射系がある。変調された光信号Ｌ１は対象物３０によって反射あるいは散乱されて帰還光信号Ｌ２となり、この帰還信号は入射光として撮像センサ１４によって受け取られる。この変調信号はまた、変調信号Ｅ１を復調信号Ｅ３へ変換するフォトゲートドライバ２４へも送られる。この復調信号Ｅ３は撮像センサ１４によって受け取られる。この復調信号Ｅ３及び検知された光信号Ｌ２を用いて、撮像センサ１４によって位相情報信号Ｅ４が生成され、この位相情報信号は対象物３０に関する距離情報を抽出するために評価装置２６へ送られる。図１に概略的に示された３−Ｄ撮像技術についてのさらなる詳細は例えばＷＯ９８／１０２５５及びその関連文献中に記載されている。
【００１９】
先に説明したように、図１に示した装置の測定精度には未知かつ時間変動する信号伝達時間及び要素遅延による限界がある。実際、照明装置１２において発せられた光信号Ｌ１と復調信号Ｅ３との間に位相差がないことが理想である。しかしながら、照明ドライバ２０及びフォトゲートドライバ２４における時間変動性遅延等のいくつかの要因によってこれらの信号間に制御不能な位相差が持ち込まれる。この位相差は同期化に不利な影響を与えるものである。その結果、照明装置１２において発せられる光信号Ｌ１と撮像センサ１４において検知される光信号Ｌ２との位相関係に基づいた距離情報の確定において重大なエラーが生ずる可能性がある。
【００２０】
図２〜４は、照明装置１４において発せられた光信号Ｌ１の位相を直接抽出しあるいは導き出すことによって測定エラーを減ずる新規な３−Ｄ撮像システムの本発明による実施態様を示した図である。図２〜４において、図１に示した素子と同一あるいは類似の素子は同一符号で示されている。図１のシステムと異なる点についてのみ素子及び機能関係について詳細に説明する。
【００２１】
図２は第一の実施態様に従った３−Ｄ撮像システム１００を示した図である。分路レジスタ１１０が照明装置１１０の発光装置１８及びアース端へ直列に接続されている。この分路レジスタ１１０により、照明電流に比例した電圧が発光装置１８を通して与えられる。この電圧は電気基準信号Ｅ５としてミクサ素子１２０へ送られる。電気基準信号Ｅ５と光信号Ｌ１の絶対時間的作用とを（照明装置１４において）最大限一致させるため、レジスタ１１０は照明装置１２内において発光装置１８へ可能な限り接近させて配置される。しかしながら、評価装置１３０での最終評価期間中は不可避的伝達時間を考慮することが可能である。ミクサ素子１２０には、ミクサ素子１２０が光信号の代わりに電圧を入力として受け入れる点を除いて、撮像センサ１４の個々のセンサセル１６と本質的に同じ特性、特に本質的に同じ転送機能が備わっている。ミクサ素子１２０はさらなる入力として復調信号Ｅ３を受け取って同期化信号Ｅ６を与える。簡単に言えば、ミクサ素子１２０及びレジスタ１１０は、照明装置１２前に間隔ゼロで配置されている場合の個々のロックイン画素センサセル１６の出力を本質的に再現する。従って、分路レジスタ１１０とミクサ素子１２０が一体となって評価装置１３０へ基準位相情報を与える同期化手段が構成される。評価装置１３０により同期化信号Ｅ６を用いて基準距離が算出され、さらにこの得られた基準距離が位相情報信号Ｅ４を基礎として計算された距離から減じられる。これにより、図１に示した従来技術装置によって生ずる測定エラーが実質的に減じられる。
【００２２】
図３には第三の実施態様が示されている。図３の３−Ｄ撮像システム２００は図２のシステムとほぼ一致したシステムである。３−Ｄ撮像システム２００の主たる相違点は電気基準信号Ｅ５を生成する手段が異なっていることである。図３から理解されるように、発光装置１８に隣接した照明装置１２中にフォトダイオード２１０が取り付けられている。このフォトダイオード２１０により、発せられた光信号Ｌ１から光電変換によって電気基準信号Ｅ５が直接引き出される。ミクサ素子２２０によってその入力としてフォトダイオード２１０の出力電流と復調信号Ｅ３が受け取られ、またその出力として同期化信号Ｅ６を提供する。図２に示したミクサ素子１２０と同様に、ミクサ素子２２０はフォトダイオード２１０と一体となって撮像センサ１４のセンサセル１６の機能を真似るように設計されている。３−Ｄ撮像システム２００の他の特徴は、図２に関して説明した３−Ｄ撮像システムの特徴と同様である。
【００２３】
図４はさらに別の実施態様による３−Ｄ撮像システム３００を示した図である。図４の３−Ｄ撮像システム３００では、照明装置１２中にその発光装置１８に近接して単一かつ独立したセンサセル３１０が配置される。このセンサセル３１０は撮像センサ１４のセンサセル１６と実質的に同一のものである。センサセル１６と同様に、センサセル３１０には復調信号Ｅ３が送られる。図２及び図３とは対照的に、センサセル３１０は同期化信号Ｅ６の機能を用いて直接電気基準信号を与えるため、図４の３−Ｄ撮像システム３００にはミクサ素子は必要とされない。理解されるように、照明装置１２内部へ配置された独立型センサセル３１０によってゼロ距離測定にほぼ対応する位相基準が与えられる。上記において説明したように、評価装置３３０によってセンサセル３１０からの同期化信号Ｅ６及び撮像センサ１４からの位相情報信号Ｅ４に基づいて距離情報が確定される。
【００２４】
図２〜４に示した実施態様において理解されるように、電気基準信号Ｅ５は照明装置１２中において発せられた光信号Ｌ１から直接引き出されるため、かかる電気基準信号Ｅ５によって同期化が改善される。換言すれば、（図２において発光装置１８の応答時間を無視できると考えた場合）      、基準信号Ｅ５によって発せられた光信号Ｌ１に関する絶対時間情報が与えられる。さらに、基準信号Ｅ５によって、他の校正及び／または試験目的にとって有用な情報となる発せられた光信号Ｌ１の強度も表示される。
【図面の簡単な説明】
【００２５】
【図１】従来技術に従った３−Ｄ撮像システムの概略図である。
【図２】本発明の第一の実施態様に従った３−Ｄ撮像システムの概略図である。
【図３】本発明の第二の実施態様に従った３−Ｄ撮像システムの概略図である。
【図４】本発明の第三の実施態様に従った３−Ｄ撮像システムの概略図である。
【図１】
2008533478.tif 000003
【図２】
2008533478.tif 000004
【図３】
2008533478.tif 000005
【図４】
2008533478.tif 000006
【国際調査報告】
2008533478.tif 000007
2008533478.tif 000008
2008533478.tif 000009