(57)【要約】本発明は、少なくとも一つの記録平面における対象物の位置を記録すべく使用される特にレーザスキャナ等のオプトエレクトロニクス・センサの可視領域における監視区域に関する画像情報を提供し、そして、少なくとも一つのビデオ・カメラを有するビデオ・システムの可視領域における監視区域に関する画像情報を提供する方法に関する。オプトエレクトロニクス・センサによって記録される深度画像の各々は、その監視区域における複数の記録された対象物の点と対応するピクセルをそれら対応する対象物点の位置座標と一緒に含み、それら対象物点を含む一領域のビデオ・システムによって記録されたビデオ画像は、当該ビデオ・システムによって検出されたピクセル及びデータを含む。対象物点の内の少なくとも一つの記録された位置座標に基づき、その対象物点と対応していると共にビデオ・システムによって記録された少なくとも一つのピクセルが規定される。ビデオ画像のピクセルと対応しているデータ、深度画像のピクセル、及び／或は、対象物点の位置座標は相互に関連されている。
2004530144.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一つの検出平面内、及び、少なくとも一つのビデオ・カメラ（１６）を伴うビデオ・システム（１４）の視野（３２）内における対象物（２０）の位置検出のため、特にレーザスキャナ等のオプトエレクトロニクス・センサ（１２）の視野（２２）内に横たわる監視区域に関する画像情報を提供する方法であって、
−前記オプトエレクトロニクス・センサ（１２）によって検出され、前記監視区域内における一つ或はそれ以上の検出対象物（２０）上の各対象物点（２６，３６，３８）と対応する画像点（２６’，３６’，３８’）を各々が含む深度画像が、それら対応対象物点（２６，３６，３８）の位置座標を伴って、一領域のビデオ画像と共に提供され、前記ビデオ画像が前記ビデオ・システム（１４）によって検出され、前記対象物点（２６，３６，３８）を含み、前記ビデオ・システムによって検出されたデータと共に前記画像点（２６”，３６”，３８”，５４）を含み、
少なくとも一つの画像点（２６”，３６”，３８”，５４）が画像点（２６，３６，３８）と対応している前記対象物点（２６，３６，３８）の内の少なくとも一つの前述した検出された位置座標に基づいて決定されると共に前記ビデオ・システム（１４）によって検出され、
前記ビデオ画像の前記画像点（２６”，３６”，３８”，５４）と対応しているデータ、前記深度画像の前記画像点（２６’，３６’，３８’）、及び／或は、前記対象物点（２６，３６，３８）の前記位置座標が相互に関連されていることから成る画像情報を提供する方法。
【請求項２】
前記対象物点（２６，３６，３８）と対応している前記ビデオ画像の前記画像点（２６”，３６”，３８”，５４）が前記ビデオ・システム（１４）の結像特性に依存して決定されることを特徴とする、請求項１に記載の画像情報を提供する方法。
【請求項３】
対象物点（２６，３６，３８）が前記ビデオ・システム（１４）によって検出されたビデオ画像内において完全にマスクされるか或は部分的にマスクされるかが、前記オプトエレクトロニクス・センサ（１２）によって検出された前記対象物点（２６，３６，３８）の位置座標に基づくと共に前記ビデオ・システム（１４）の位置に基づき決定されることを特徴とする、請求項１或は２に記載の画像情報を提供する方法。
【請求項４】
前記対象物点（２６，３６，３８）と対応している前記ビデオ画像の画像点（２６”，３６”，３８”，５４）の決定と、前記対象物点（２６，３６，３８）と対応している前記深度画像の画像点（２６’，３６’，３８’）に対するデータの関連性とが対象物点（２６，３６，３８）に対する予め決定された融合領域内において行われていることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項５】
前記深度画像及び前記ビデオ画像が、各々、セグメント化され、
前記ビデオ画像の内の少なくとも一つのセグメントが前記深度画像における少なくとも一つのセグメントと関連されると共に、前記深度画像の前記セグメントの前記画像点（２６’，３６’，３８’）の内の幾つかと少なくとも対応している画像点（２６”，３６”，３８”，５４）を含むことを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項６】
前記深度画像がセグメント化され、
予め決定されたパターンが前記深度画像における少なくとも一つのセグメントの画像点（２６’，３６’，３８’）と対応する画像点（２６”，３６”，３８”，５４）を含む前記ビデオ画像の領域内で求められ、
前記調査の結果がデータとして前記セグメント及び／或は該セグメントを形成している前記画像点（２６’，３６’，３８’）と関連されることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項７】
少なくとも一つの検出平面内での対象物（２０）の位置の検出のためにオプトエレクトロニクス・センサ（１２）の視野（２２）内、及び、少なくとも一つのビデオ・カメラ（４４，４８ａ，４８ｂ）による深度分解３次元ビデオ画像の検出のためにビデオ・システム（４２）の視野（３２）内に横たわる監視区域に関する画像情報を提供する方法であって、
前記オプトエレクトロニクス・センサ（１２）によって検出され、前記監視区域内における一つ或はそれ以上の検出対象物（２０）上の対象物点（２６，３６，３８）と対応する画像点（２６’，３６’，３８’）を各々が含む深度画像が、前記対象物点（２６，３６，３８）を含む領域において前記ビデオ・システム（４２）によって検出され、前記対象物点（２６，３６，３８）の位置座標を伴った画像点（２６”，３６”，３８”，５４）を含むビデオ画像と共に、提供され、
前記深度画像の検出平面に近接して配置されるか或はその検出平面内において配置される前記ビデオ画像内の画像点（２６”，３６”，３８”，５４）が前記深度画像の対応画像点（２６’，３６’，３８’）と平行移動及び／或は回転によって符合させられ、
前記ビデオ画像のこれら画像点（２６”，３６”，３８”，５４）の位置座標が前記決定された平行移動及び／或は回転に従って修正されることから成る画像情報を提供する方法。
【請求項８】
検出画像がそれぞれセグメント化され、
前記ビデオ画像における、前記深度画像の前記検出平面内か或はその平面に近接された画像点（２６”，３６”，３８”，５４）を有する少なくとも一つのセグメントが少なくとも平行移動及び／或は回転によって前記深度画像における対応セグメントと符合させられ、
前記ビデオ画像の前記セグメントにおけるこれら画像点（２６”，３６”，３８”，５４）の位置座標が前記平行移動及び／或は回転に従って修正されることを特徴とする、請求項７に記載の画像情報を提供する方法。
【請求項９】
前記符合化が前記深度画像の全セグメントに対して一緒に実行されることを特徴とする、請求項７或は８に記載の画像情報を提供する方法。
【請求項１０】
前記符合化が予め決定された融合領域内の前記深度画像のセグメントに対してだけ実行されることを特徴とする、請求項７或は８に記載の画像情報を提供する方法。
【請求項１１】
前記提供された画像情報が検出された対象物点（２６，３６，３８）の少なくとも前記位置座標を含むと共に、前記深度分解画像として使用されることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項１２】
前記融合領域が前記ビデオ画像の予め決定された切片に基づくと共に前記ビデオ・システム（１４，４２）の結像特性に基づき決定されることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項１３】
対象物認識及び対象物追跡が前記深度分解画像の内の一つのデータに基づくか或は前記提供された画像情報に基づき実行され、
前記融合領域が前記対象物認識及び前記対象物追跡のデータを参照して決定されることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項１４】
前記融合領域が対象物（２０）の仮定された位置に対するデータを参照するか或は前記対象物（２０）に対する特定領域のデータを参照して決定されることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項１５】
前記融合領域がＧＰＳレシーバと連携したディジタル道路マップからのデータを参照して決定されることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項１６】
一つ或はそれ以上のオプトエレクトロニクス・センサ（１２）による複数の深度画像が用いられることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項１７】
前記符合化が少なくとも二つ或はそれ以上の深度画像におけるセグメントに対して同時に実行されることを特徴とする、請求項１６に記載の画像情報を提供する方法。
【請求項１８】
前記オプトエレクトロニクス・センサ（１２）の視野（２２）のスキャンに及んで、前記画像点（２６’，３６’，３８’）が順次検出されることで獲得された深度画像が用いられ、
前記深度画像の前記画像点（２６’，３６’，３８’）の前記位置座標が、前記ビデオ画像における前記画像点（２６”，３６”，３８”，５４）の決定に先行するか、或は、前記オプトエレクトロニクス・センサ（１２）の実際の移動若しくはそれに近接した移動に従って、そして、前記深度画像の各種画像点（２６’，３６’，３８’）の検出時点と参照時点との間の差に従っての各場合における前記セグメント形成に先行して修正されることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項１９】
前記オプトエレクトロニクス・センサ（１２）の視野（２２）のスキャンに及んで、前記画像点（２６’，３６’，３８’）が順次検出されることで獲得された深度画像が用いられ、
前記深度画像のシーケンスが検出され、対象物認識及び／或は対象物追跡が前記監視区域の前記画像における前記画像点（２６’，３６’，３８’）に基づき実行され、それら画像点（２６’，３６’，３８’）が各認識対象物と関連され且つ前記対象物追跡に関して計算された移動データがこれら画像点（２６’，３６’，３８’）の各々と関連され、
前記深度画像の前記画像点（２６’，３６’，３８’）の前記位置座標が前記ビデオ画像における前記画像点（２６”，３６”，３８”，５４）の決定に先行するか、或は、前記対象物認識及び／或は前記対象物追跡の結果を用いての前記位置座標の符合化に先行して修正されることを特徴とする、前記各請求項の内の何れか一項に記載の画像情報を提供する方法。
【請求項２０】
前記修正において、前記画像点（２６’，３６’，３８’）の前記位置座標が、それらと関連された移動データに従って、且つ、前記画像点（２６’，３６’，３８’）の前記検出時間と参照時点との間の差に従って修正されることを特徴とする、請求項１９に記載の画像情報を提供する方法。
【請求項２１】
前記参照時点が前記ビデオ画像の検出の時点であることを特徴とする、請求項１８乃至２０の内の何れか一項に記載の画像情報を提供する方法。
【請求項２２】
前記各請求項の内の何れか一項に従った方法を用いて監視区域に関して情報を提供すべく対象物の認識及び追跡を為す方法であって、対象物認識及び対象物追跡が前記提供された画像情報に基づき実行される画像情報を提供する方法。
【請求項２３】
プログラムがコンピュータ上で実行される際に、請求項１乃至２２の内の何れか一項に従った方法を実行するプログラムコード手段を具備するコンピュータ・プログラム。
【請求項２４】
コンピュータ上で実行される際に、請求項１乃至２２の内の何れか一項に従った方法を実行すべく機械可読データ担体上に記憶されているプログラムコード手段を具備するコンピュータ・プログラム・プロダクト。
【請求項２５】
監視区域の深度解像画像を提供する装置であり、少なくとも一つの検出平面内に対象物（２０）の位置を検出する特にレーザスキャナ等の少なくとも一つのオプトエレクトロニクス・センサ（１２）と、少なくとも一つのビデオ・カメラ（１６，４４，４８ａ，４８ｂ）を具備するビデオ・システム（１４，４２）と、前記オプトエレクトロニクス・センサ（１２）及び前記ビデオ・システム（１４，４２）と接続されて、請求項１乃至２２の内の何れか一項に従った方法を実行すべく設計されているデータ処理装置（１８，４６）とを備える装置。
【請求項２６】
前記ビデオ・システム（１４，４２）が立体カメラ（４４，４８ａ，４８ｂ）を有することを特徴とする、請求項２５に記載の装置。
【請求項２７】
前記ビデオ・システム及び前記オプトエレクトロニクス・センサが一つのセンサを形成すべく統合されていることを特徴とする、請求項２５に記載の装置。
【請求項２８】
前記ビデオ・システムが光検出素子から成る配列を有し、
前記オプトエレクトロニクス・センサがレーザスキャナであり、
前記光検出素子から成る配列が特に共通軸周りにレーザスキャナの視野のスキャンに対して使用される放射ビームと同期して及び／或は放射検出に役立つレーザスキャナの少なくとも一つの光検出素子と同期して旋回可能であることを特徴とする、請求項２５或は２７に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視区域に関する画像情報を提供する方法に関する。
【背景技術】
【０００２】
監視区域は、これら監視区域内における変化を認識するために、画像検出用の装置を用いて頻繁に監視されている。対象物の認識及び追跡（トラッキング）のための方法は、特に、監視区域の順次検出される画像に基づいて、監視区域における対象物と対応している対象物が認識され且つ追跡されるような目的にも使用される。こうした方法の重要な応用分野は車両前方の領域の監視、或は、車両周りの総合的な近傍区域の監視である。
【０００３】
画像検出のための装置は、好ましくは、深度分解画像を検出させることができる対象物認識及び対象物追跡のために使用される。そうした深度分解画像は、そうした画像検出装置に対する検出対象物の位置についての情報、特に、画像検出装置からそうした対象物の表面上の少なくとも幾つかの点までの間隔についての情報、或は、この間隔を引き出すことが可能なデータについての情報を含む。
【０００４】
レーザスキャナは、例えば、深度分解画像の検出のための画像検出装置として使用可能であり、予め決定された角度範囲にわたって掃引する少なくとも１パルス分の放射ビームでスキャン内の視野をスキャンすることができると共に、一対象物の一点或は一領域によって反射された放射ビームの放射インパルスであって殆ど拡散された放射インパルスを検出できる。伝達され反射されて検出された放射インパルスの実行時間は距離測定のこのプロセスで検出される。よって画像点に対してこうして検出された生データは、反射が検出される角度や、放射インパルスの実行時間から決定された対象物点の距離を含むことが可能である。放射は特に可視光或は赤外線光であり得る。
【０００５】
そうしたレーザスキャナは非常に正確な位置情報、特に複数の対象物点とレーザスキャナとの間の非常に正確な間隔を疑いの余地無く提供するものであるが、原則として放射ビームが移動させられる検出平面内にだけこうしたことがもたらされて、この平面内における位置情報に基づくだけで検出された対象物を分類することは非常に困難であり得る。例えば、交通信号灯を担う支柱だけが検出される交通信号灯は、こうして、同一径の柱幹を有する街灯柱或は樹木とは容易に識別できない。この出願にとっての更なる重要な例は人と木との間の識別である。
【０００６】
深度分解画像は立体カメラを用いたビデオ・システムでも検出され得る。しかしながら、立体カメラから対象物の間隔が増大すれば、深度情報の正確性は低下し、対象物認識及び対象物追跡がより難しくなる。立体カメラ・システムのカメラ間の間隔は、できる限り高くなっている深度情報の正確性に対してできる限り広くすべきであり、それは特に車両内におけるような限られた据付スペースにとって問題である。
【発明の開示】
【発明が解決しようとする課題】
【０００７】
それ故に本発明の目的は、良好な状態の対象物認識及び対象物追跡を許容するように画像情報をもたらし得る方法を提供することである。
【課題を解決するための手段】
【０００８】
この目的は請求項１の特徴を有する第１代替例に従った方法で満たされる。
【０００９】
本発明に従えば、少なくとも一つの検出平面における対象物の位置の検出のためのオプトエレクトロニクス・センサの視野、そして少なくとも一つのビデオ・カメラを有するビデオ・システムの視野に横たわる監視区域に関する画像情報を提供する方法が提供され、そこで、オプトエレクトロニクス・センサによって検出され、各々が監視区域における一つ或はそれ以上の検出対象物における対象物点と対応する画像点を含むと共にそれら対応対象物点の位置座標を有する深度画像が提供され、そして、それら対象物点を含むと共にビデオ・システムによって検出されたデータを伴う画像点を含む一領域のビデオ画像が提供され、対象物点と対応すると共にビデオ・システムによって検出された少なくとも一つの画像点が対象物点の内の少なくとも一つの検出位置座標に基づき決定され、ビデオ画像の画像点と対応しているデータ、深度画像の画像点、及び／或は、対象物点の位置座標は相互に関連されている。
【００１０】
本発明に従った方法において、画像検出用の二つの装置の画像が用いられ、それらの視野の各々がそれら二つの視野の内の一方にも特に対応可能な監視区域を含む。ビデオ・システムの視野は原則として３次元であるが、位置認識用のオプトエレクトロニクス・センサ、例えばレーザスキャナの視野は２次元のみである。監視区域がセンサの視野内に横たわると云う表現は、それ故に２次元視野の場合として理解されて、オプトエレクトロニクス・センサが位置情報を検出する検出区域に対する監視区域の投影はオプトエレクトロニクス・センサの視野以内に横たわることになる。
【００１１】
画像検出用の一方の装置は、少なくとも一つの検出平面内における対象物の位置の検出用、即ち、センサによって受信されると共に各対象物点から来る電磁放射の方向において該センサからの対象物点の間隔についてのデータを直接的或は間接的に含む深度画像の検出用の少なくとも一つのオプトエレクトロニクス・センサである。オプトエレクトロニクス・センサのそうした深度分解画像はこの出願において深度画像と云われる。
【００１２】
そうした深度分解画像の検出用のオプトエレクトロニクス・センサは一般に公知である。よって、例えば、立体カメラを具備するシステムで、カメラによって撮られた強度画像の深度分解画像への変換のための装置を有するものが用いられる。しかしながらレーザスキャナは、好ましくは、非常に精密な位置決定を許容するために用いられる。特にそれらは初期的にはレーザスキャナと名付けられ得る。
【００１３】
ビデオ・システムは画像検出用の第２装置として用いられ、例えば、一行の光検出素子、或は、好ましくは、ＣＣＤ又はＣＭＯＳエリアセンサを具備するカメラであり得る少なくとも一つのビデオ・カメラを有する。ビデオ・カメラは、このプロセスにおいて、電磁スペクトルの可視範囲或は赤外線範囲で動作可能である。ビデオ・システムは少なくとも一つの単眼カメラ、立体カメラ、或は、立体カメラ装置を有することができる。ビデオ・システムは、例えば強度情報及び／或はカラー情報を伴う画像点を含み得る視野におけるビデオ画像を検出する。行状、列状、或は、面上に配列されたカメラの光検出素子は、深度画像検出用のオプトエレクトロニクス・センサに対して固定体に配列され得るか、或は、（先の種類のレーザスキャナが使用されている場合）、レーザスキャナの放射ビーム及び／或は該放射ビームの反射又は軽減された放射を検出する少なくとも一つの光検出素子と同期して移動させることもできる。
【００１４】
本発明に従えば、初期的には、オプトエレクトロニクス・センサによって検出されて、監視区域における一つ或はそれ以上の検出対象物上の対象物点と対応していると共にそれら対応対象物点の位置座標を有する画像点を各々が含む深度画像と、ビデオ・システムによって検出される対象物点を含むと共に該ビデオ・システムによって検出されたデータを伴う画像点を含む区域のビデオ画像とが提供される。この画像提供はセンサ或はビデオ・システムからの画像の直接伝送によって行われ得るか、或は対応するデータが記憶されたメモリ手段の読み取りによって行われ得る。これら画像にとって唯一重要なことは、双方が監視区域よりも一般に小型であり得る同一領域の写像であり得ることであって、対象物点と対応している画像点が深度画像及びビデオ画像の双方において出現し得ることである。
【００１５】
よって、対象物点と対応していると共にビデオ・システムによって検出された少なくとも一つの画像点は、複数の対象物点の内の少なくとも一つの検出された位置座標に基づき決定される。その結果、一つの画像点は深度画像の内の一つの画像点と対応するビデオ画像において決定される。
【００１６】
それ故に、ビデオ画像の画像点と対応しているデータは深度画像の画像点と関連されているか、画像点及び位置座標は対象物点の位置座標又はデータと関連されているか、或は、その双方かの何れかであって、それによって画像情報の相互的な相互補整が行われる。ビデオ画像のビデオ・データは、それ故に、深度画像の位置データと関連されており、そしてこれらは直接的に生ずる任意の所望データであり得るか、或は、ビデオ画像の画像点からの中間データによる任意の所望データであり得る。このデータは、ビデオ・システムの設計に依存した強度情報或はカラー情報を、そしてもし赤外線カメラが使用されれば、温度情報をも有し得る。
【００１７】
対象物点のためにこのようにして獲得されたデータは、例えば、位置座標用のデータ要素を伴う新画像点として出力可能であり、強度情報或はカラー情報は、記憶され得るか、或は、例えば対象物認識及び対象物追跡のために平行して稼働するプロセスに直接的に使用され得る。
【００１８】
対象物点のための本発明に従った方法によって、例えば単純なセンサ及びビデオ・カメラの場合のように位置或は対象物点の他の更なる光学的特性の何れかに対するデータばかりでなく、位置及び更なる特性の双方に対するデータも提供される。例えば、対象物点のための強度及び／或はカラーは位置に加えて提供され得る。
【００１９】
画像点と関連されたより多数のデータは、対象物認識方法及び対象物追跡方法に使用される位置情報ばかりではなく、ビデオ情報をも許容する。これは、例えば、セグメント化、仮想対象物関連性へのセグメント、或は、仮想対象分類において非常に有益であり、それは情報或はデータのより多数の片々がより信頼性ある識別を許容するからである。
【００２０】
ビデオ画像内において深画像度における対象物点と対応している画像点の決定は様々な方法で行われることが可能である。オプトエレクトロニクス・センサのビデオ・カメラ或はビデオ・システムに対する相対位置、即ち、空間的間隔及び相対配向はこの目的のために好ましくは既知である。相対位置の決定は例えば較正によって行われ得る。更なる好適な設計は一装置内でのビデオ・システム及びレーザスキャナの組み合わせであり、それによって較正が製造プロセスにおいて一度に行われ得る。
【００２１】
例えば、もし深度分解画像を提供するビデオ・システムが立体カメラを伴って使用されれば、決定は唯一位置情報の比較によって行われ得る。しかしながら、特に任意の深度分解画像を提供しないビデオ・システムが用いられた場合、深度画像の対象物点と対応しているビデオ画像の画像点はビデオ・システムの結像特性に依存して好ましくは決定される。この出願において結像特性は、ビデオ・カメラ或はビデオ・システムの結像装置の焦点距離やＣＣＤ或はＣＭＯＳエリアセンサ等の受光素子からのそれらの間隔としても理解される。例えば、もしビデオ・カメラがＣＣＤ或ＣＭＯＳエリアセンサ等の光検出器に視野を結像するレンズ系等の結像装置を有すれば、結像装置の結像特性を観察する一方で深度画像における画像の位置座標から、光検出器範囲における光検出器素子の内の何れかに画像点と対応している対象物点が結像されるかが計算され、そこからビデオ画像の何れの画と点像深度画像の画像点が対応しているかを決定する。光検出器素子のサイズ、結像装置の分解能、並びに、対象物点の位置に依存して、ビデオ画像の複数の画像点も一つの対象物点と関連され得る。
【００２２】
もしオプトエレクトロニクス・センサとビデオ・システムの画角が異なれば、監視区域内に複数の対象物を伴う場合が生じ得て、深度画像において可視の対象物点がビデオ画像における別の対象物点で完全に或は部分的にマスクされる。それ故に、深度画像におけるオプトエレクトロニクス・センサによって検出される対象物点の位置座標に基づくと共に少なくともビデオ・システムの位置及び配向に基づいて、ビデオ・システムによって検出されるビデオ画像内において対象物点が完全に或は部分的にマスクされるか否かが決定されることが好ましい。この目的のために、オプトエレクトロニクス・センサに対するビデオ・システムのビデオ・カメラの位置は知らされるべきである。この位置は、オプトエレクトロニクス・センサ及びビデオ・システムの精密な相対位置及び相対配向での結着によって決定されるか、或は、特に較正によっても決定され得る。
【００２３】
更には、対象物点と対応しているビデオ画像の画像点の決定、及び、深度画像の対象物点と対応している画像点に対する対応データの関連付けを行うことが予め決定された融合領域内において対象物点を生ずるために好ましい。融合領域は、初期的には、例えば提供されるべきデータの使用に依存して、監視区域内において予め決定され得る任意の所望領域であり得る。よって、監視区域とは独立して、監視区域内部に横たわるより小さな領域はデータの相互補整が行われるべく予め決定される。よって融合領域は対象となる領域と対応する。本方法はそうした融合領域を予め決定することによって相当に加速され得る。
【００２４】
本方法の好適実施例において、深度画像及びビデオ画像は、各々、セグメント化される。よって、深度画像のセグメントの画像点の内の少なくも幾つかと対応する画像点を含むビデオ画像の少なくとも一つのセグメントは、深度画像における少なくとも一つのセグメントと関連されている。例えば深度分解画像を検出するビデオ・システムにおける深度画像のセグメント化及びビデオ画像のセグメント化は、明らかに同一の規準に従って行われ得るが、深度画像におけるセグメント化は位置情報を用いて行われ、特に近隣規準を用いて行われ、そして、ビデオ画像におけるセグメント化は例えばビデオ画像の画像処理で知られる規準等の他の規準に従って、例えば強度、カラー、組織、及び／或は、画像領域の縁等に基づいて行われる。対応データは例えば画像データ濾過等の複数の事前処理段階によって決定され得る。この関連性はデータとしてのビデオ画像のセグメントを深度画像における画像点と関連させることを可能としている。こうして、オプトエレクトロニクス・センサによってスキャンが行われる深度画像の検出平面と直交する方向における情報も獲得され得る。これは、例えばセグメントの延長、或は、第３次元においてこのセグメントと関連された仮想対象物の延長であり得る。対象物認識及び対象物追跡の方法におけ仮想対象物の分類はそうした情報を参照して相当より容易に為され得る。例えば、道路における単一の路傍支柱と街灯柱との両対象物は深度画像においては異ならないか或は殆ど異ならないが、路傍支柱は高さだけで街灯柱からより容易に識別され得る。
【００２５】
更に、深度画像にとってはセグメント化されることが好ましく、予め決定されたパターンにとっては深度画像における少なくとも一つのセグメントの画像点と対応する画像点を含むビデオ画像の領域に捜し出されることが好ましく、そして、調査の結果にとってはデータとしてセグメント及び／或は該セグメントを形成している画像点と関連されることが好ましい。パターンは、一般的には、対象物の領域の画像、例えば交通標識の画像或は道路上の記号の画像であり得る。ビデオ画像におけるパターンの認識はビデオ画像処理において知られるパターン認識方法で行われ得る。本方法のこの更なる発展例は、監視区域における可能性ある対象物についての情報に基づき、深度画像におけるセグメントが対象物或は該対象物を表す仮想対象のどのような種類と対応し得るかについての仮定が為され得る際に特に有益である。例えば、交通標識のポールと対応し得るセグメントの発生に及んで、該セグメントのサイズ及び位置と予想される最も大きな対象物の程度とによって付与される幅を有するビデオ画像における切片は特定の交通標識の画像と審査可能であり、例えばその交通標識のタイプ等の情報の対応する片々はそのセグメントと関連され得る。
【００２６】
例えば、オプトエレクトロニクス・センサによって認識された対象物に対するビデオ画像の画像評価の補助で、それらの高さ、カラー、並びに、素材特性は好ましくは決定される。熱型カメラがビデオ・カメラとして用いられた際、人の分類を実質的に促進する温度についての結論も付加的に引き出され得る。
【００２７】
ビデオ画像の情報と深度画像の情報との組み合わせも、対象物の認識、或は、それら画像の内の一つに存在する特定領域の認識に役立つか、或は、それら画像の内の一つの解釈をそれぞれ支援し得る。例えば、ビデオ・システムは比較的低い深度分解能及び角度分解能を有するスキャナを用いて検出され得ない車線境界模様の白線を検出できる。しかしながら、他の仮想対象物の動作や道路縁石検出によってビデオ画から道路車線に関する妥当な結論が為され得る。
【００２８】
本発明の根底にある目的は、請求項７の特徴を有する本発明に従った第２代替例の方法に従って満たされる。
【００２９】
これに従えば、少なくとも一つの検出平面における対象物の位置の検出のためのオプトエレクトロニクス・センサの視野、そして少なくとも一つのビデオ・カメラを用いての深度分解された３次元ビデオ画像の検出用のビデオ・システムの視野とに横たわる監視区域に関する画像情報を提供する方法が提供され、そこで、オプトエレクトロニクス・センサによって検出され、監視区域における一つ或はそれ以上の検出対象物における対象物点と対応する画像点を各々が含む深度画像が提供されると共に、対象物点の位置座標を伴う画像点を含む対象物点を有する領域ビデオ画像が提供され、深度画像の検出平面と近接して配置されるか或は該検出平面内に配置されるビデオ画における画像点が深度画像の対応する画像点と平行移動及び／或は回転によって符合され、ビデオ画像のこれら画像点の位置座標が前記特定の平行移動及び／或は回転に従って修正される。
【００３０】
従って、オプトエレクトロニクス・センサの視野とビデオ・システムの視野との間の連結に関する陳述と、本発明に従った第１代替例の方法に従った監視区域とは、本発明に従って第２代替例の方法に適用される。
【００３１】
また、本発明に従った第１代替例の方法に対して為された陳述は、オプトエレクトロニクス・センサとそれによって検出された深度画像に関して、本発明に従った第２代替例の方法に適用される。
【００３２】
第１代替例に従った方法におけるビデオ・システムのように、先の陳述が適用される少なくとも一つのビデオ・カメラを有するビデオ・システムは、深度解像された３次元ビデオ画像の検出のために第２代替例に従った方法で実行される。この目的のためにビデオ・システムは、単眼カメラと、画像点に対する位置データを公知方法を用いて順次検出されるビデオ画像から提供する評価ユニットとを有することができる。しかしながら立体カメラを具備するビデオ・システムは好ましくは用いられて、上述した意味で深度解像画像を提供し、ビデオ・カメラによって検出されるデータから深度解像画像を決定するために対応する評価装置を有することができる。上述したように、ビデオ・カメラはＣＣＤ或はＣＭＯＳエリアセンサとビデオ・カメラの視野をそのエリアセンサ上に写像する結像装置とを有することができる。
【００３３】
深度画像と、現行画像からの伝送、或は、オプトエレクトロニクス・センサ若しくはビデオ・システムからの対応データの伝送によって直接的に行われ得るか或はメモリ装置からの対応するデータを読み取ることによって直接的に行われ得る深度解像されたビデオ画像との提供後、深度画像の検出平面に近接して配置されるか或は該検出平面内に配置されるビデオ画像における画像点は、平行移動及び／或は回転によって深度画像の対応する画像点と符合させられる。この目的のために、少なくとも、オプトエレクトロニクス・センサ及びビデオ・カメラの相対アライメントとそれらの相対位置、特に、以下において「高さ」と云われる、深度画像がオプトエレクトロニクス・センサによって検出される検出平面と直交する方法における検出平面からのビデオ・システムの間隔は理解されるべきである。
【００３４】
符合化は様々な方法で行われ得る。第１変形例において、セグメントの全画像点の位置座標はオプトエレクトロニクス・センサの検出平面上に投影される。よって、オプトエレクトロニクス・センサの検出平面におけるセグメントの位置は、こうして投影され画像点の平均によって規定される。例えば、一つの軸が検出平面と直交するように整合されている適切な直角座標系が用いられた際、本方法は検出平面における座標にわたる平均を単に意味する。
【００３５】
第２の好適変形例において、深度分解されたビデオ画像の画像点だけが検出平面内か或はそれに近接して横たわるものを符合させるために用いられる。そうした画像点は、好ましくは、検出平面から予め決定された最大間隔を有する検出平面と近接して横たわる画像点として考慮される。もしビデオ画像がセグメント化されれば、その最大間隔は、例えば、検出平面と交差するビデオ画像のセグメントの隣接画像点の検出平面と直交する方向における間隔によって付与され得る。
【００３６】
符合化は、例えば、対応画像点の（単一或は二次）間隔、或は、観測された全画像点の（単一或は二次）間隔の合計が最小化されている最適化プロセスによって行われ得て、その最小化は、任意には、有効計算時間に部分的に依存して可能である。「間隔」はこのプロセスにおいてベクトル空間における複数点の間隔に対する規準を満たす画像点の座標の各関数として理解される。符合化に対して、少なくとも一つの平移動及び／或は回転が決定され、ビデオ画像の画像点を深度画像の画像点と符合させるために必要である。
【００３７】
ビデオ画像のこれら画像点の位置座標は、それ故に、その特定の平行移動及び／或は回転に従って修正される。
【００３８】
検出平面と直交する方向に横たわるビデオ画像の画像点も、こうして、符合化に用いられる画像点を越えて修正される。
【００３９】
監視区域の全画像点のみならず画像点の任意のより小さな集合をも符合化のために使用され得る。第１の場合、符合化は深度画像及びビデオ画像の位置の較正と対応している。
【００４０】
修正された座標データは、特に画像として、出力、記憶、或は、平行して稼働している方法での使用が可能である。
【００４１】
深度画像における位置情報は、特にレーザスキャナが用いられた際、ビデオ・システムでの視認方向における位置情報よりも相当により正確であるので、非常に正確な深度分解された３次元画像が提供され得る。深度画像の精密な位置情報は、それに直交する方向におけるビデオ画像の正確な位置情報と組み合わされて、非常に正確な３次元画像を形成し、これらデータに基づき対象物認識及び対象物追跡を実質的に促進する。
【００４２】
画像を伴う宣伝広告貯蔵物は、例えば、面として認識されて、ビデオ画像の解釈過誤が回避され得る。
【００４３】
それ故に、位置情報が実質的に更なるデータによって補足される本発明に従った方法の第１代替例とは異なり、第２代替例の方法では、３次元深度分解画像における位置情報の正確性は増大され、対象物認識及び対象物追跡を実質的に促進する。
【００４４】
仮想対象物は現行の３次元情報に基づき非常に容易に分類され得る。
【００４５】
本発明に従えば、第１代替例に従った方法によって組み合わせが更に可能であり、それに従えば更なるビデオ情報がビデオ画像の画像点と関連されている。
【００４６】
第２代替例に従った方法は画像点だけで実行され得るが、それぞれ検出された画像にとってはセグメント化されることが好ましく、深度画像の平面内或はその平面に近接した画像点を有するビデオ画像における少なくとも一つセグメントにとっては少なくとも平行移動及び／或は回転によって深度画像における対応セグメントと符合させられることが好ましく、そして、ビデオ画像のセグメントのこれら画像点の位置座標にとっては平行移動及び／或は回転に従って修正されることが好ましい。セグメントの全画像点の位置座標はとりわけ好ましくは修正される。セグメント化は対応する規準に基づき両画像に対して行われ得て、それは原則として隣接画点間の間隔規準に従ったセグメント化を意味する。しかしながら、異なる規準も深度画像及びビデオ画像に対し使用可能であり、強度、カラー、及び／或は、エッジによるセグメント化等のビデオ画像の画像処理において知られる規準はビデオ画像に対して行われ得る。セグメントの全画像点の位置の修正によって、後者は全体にわたってより正確な位置となる。この実施例に従った方法は、同数の画像点が深度画像、深度分解ビデオ画像或はその切片に必ずしも存在しなくともよいと云う長所を有する。画像点の符合化のように対応する方法が使用され得る符合化に及んで、第１或は第２の変形例の意味で、検出平面内或はそれに近接するビデオ画像のセグメントの全画像点から深度画像のセグメントの全画像点の単一或は二次間隔の合計は、単純であるが正確な符合化が実現され得るように、最小化されるべき関数として使用され得る。
【００４７】
第２代替例に従った方法は、一般に、各セグメントに対して個々別々に実行され得て、局所修正が実質的に行われる。しかしながらそれは、深度画像の全セグメントに対して一緒に実行されるべき符合化にとっては好ましく、深度画像及びビデオ画像は検出平面内において最善の可能性ある方法で全体として調和させられ、それはオプトエレクトロニクス・センサ及びビデオ・システムの相対位置及び整合（又はアライメント）の較正と同等である。
【００４８】
別の実施例において、符合化は、監視区域の予め決定された部分領域であると共に、例えば提供されるべき画像情報の後の使用に依存して選択され得る予め決定された融合領域におけるセグメントのために実行されることが好ましい。本方法は更なる処理のための対象となる監視区域の一部（「対象となる領域」）に対するこの規定された制限によって実質的に加速され得る。
【００４９】
以下の更なる発展例は本発明に従った方法の第１及び第２の代替例に関する。
【００５０】
本発明に従った方法は、例えば対象物認識及び対象物追跡のために他の方法と連携されて実行可能である。画像情報、即ち少なくとも位置情報、第１代替例に従った方法におけるビデオ画像からの更なるデータ、並びに、第２代替例に従った方法における修正された位置情報は、必要に応じ形成される。しかしながら本発明に従ったこれら方法において、提供された画像情報にとっては対象物点の位置座標を少なくとも含み且つ深度画像として使用されることが好ましい。こうして提供されたデータは深度分解画像のように処理されて、即ち、例えば出力或は記憶され得る。
【００５１】
もし融合領域がこれら方法で使用されれば、融合領域にとってはビデオ画像の予め決定された切片に基づくと共にビデオ・システムの結像特性に基づき決定されることが好ましい。このタイプの融合領域の予めの決定によって、深度画像は、ビデオ画像から出発して、ビデオ画像の評価用に必要とされる深度画像からビデオ画像の選択された切片に対する位置情報を得る目的で使用され得る。こうして、想定された仮想対象物は唯一深度情報に基づき他のものから頻繁に突出するので、ビデオ画像内における仮想対象物の識別は相当に促進される。
【００５２】
別の更なる好適発展例において、対象物認識及び対象物追跡は深度分解画像或は融合された画像情報の内の一方のデータに基づき実行され、融合領域は対象物認識及び対象物追跡のデータを参照して決定される。こうして、対象物認識及び対象物追跡のために使用される深度画像から位置情報の補足はビデオ画像からの対応する情報によって特に行われ得る。融合領域は深度画像におけるセグメントの程度、或は、追跡される対象物のための対象物認識に使用される調査領域のサイズによってこのプロセスでは付与され得る。仮想対象物の分類或はセグメント／仮想対象物の関連付けはビデオ画像から付加的な情報によって非常な信頼性を伴って行われ得る。特にビデオ画像における仮想対象物の仮定される位置は、既に行われている分類無しに、オプトエレクトロニクス・センサによって示され得る。よって、ビデオ画像処理は限定された融合領域内においての仮想対象物を求める調査のみが必要であり、それは調査アルゴリズムの速度及び信頼性を実質的に改善する。仮想対象物の後の分類によって、特にレーザスキャナ等のオプトエレクトロニクス・センサの幾何形状測定と、ビデオ画像処理によって決定される可視特性との双方は使用可能であり、それは同じように獲得された陳述の信頼性を実質的に改善する。特にレーザスキャナは、例えば、路傍支柱或は境界支柱の形態での道路境界を検出可能であり、そこから道路の位置に関する結論が引き出され得る。この情報は、ビデオ画像の場合よりも速く、白い道路境界を見出す目的のためにビデオ・システムによって使用され得る。
【００５３】
更なる別の発展例において、融合領域は対象物の仮定された位置に対するデータ或は対象物上のある種の領域に対するデータを参照して決定される。対象物の仮定された位置は、このプロセスにおいて、他のシステムよりの情報から生じ得る。車両セクターにおける適用例において、融合領域は任意にはグローバル・ポジショナル・システム・レシーバと連携してディジタル・ロード・マップからのデータを参照して、好ましくは、決定され得る。道路の進路は、例えば、ディジタル・マップを参照して非常に精密に予言され得る。よって、この仮定は深度画像及び／或はビデオ画像の解釈を支援すべく使用され得る。
【００５４】
本発明に従った方法の更なる好適実施例において、一つ或はそれ以上のオプトエレクトロニクス・センサの複数の深度画像は異なる検出平面における仮想対象物の位置情報を含んで使用される。特にレーザスキャナは、好ましくは、この目的のために使用され得て、スキャニング放射ビームが移動する検出平面と平行して配列されていない複数の隣接検出器によって送信電磁放射を受信している。本発明に従った方法においてビデオ・データのより良好な解釈或は修正を特に許容する２次元以上での非常に精密な位置データは、それによって、レーザスキャナからの深度画像の使用で獲得される。
【００５５】
このプロセスにおいて、セグメントの符合化にとって特に好適なことは、第２代替例に従った方法で、複数の深度画像の内の少なくとも二つにおいて同時に行わせることである。１ステップでの複数深度画像の符合化は、ビデオ画像における位置情報の一貫した修正を許容して、位置データも特に深度分解画像における傾斜面に対して非常に精密に修正され得る。
【００５６】
レーザスキャナ等の特定のタイプのオプトエレクトロニクス・センサは深度画像を検出し、視野のスキャンに及んで、画像点が順次検出される。もしそうしたオプトエレクトロニクス・センサが視野における対象物に対して移動すれば、同一対象物の異なる対象物点がその対象物のセンサに対する移動によって相互に変位して現れる。更には、ビデオ・システムのビデオ画像に対する変位が生じ得るが、これはレーザスキャナの視野のスキャンが行われる（典型的には約１０Ｈｚの範囲内）時の物差しで、ビデオ画像が、実際上、瞬時に検出されるからである。
【００５７】
もし、オプトエレクトロニクス・センサの視野のスキャンに及んで画像点が順次検出されて獲得される深度画像が用いられれば、深度画像の画像点の位置座標にとっては、ビデオ画像における画像点の決定に先行して、或は、オプトエレクトロニクス・センサの実際の動作若しくはそれに接近して動作に従った位置座標の符合化に先行して、各々、修正されることが好ましく、とりわけ、深度画像の各画像点の検出時点と参照時点との間の違いを伴っている。もしセグメント化が実行されれば、修正は好ましくはそのセグメント化の前に実行される。センサの動作は、例えば修正の品質に応じて、このプロセスにおいてその速度或はその速度及び加速度を介して、量及び方向を伴う値であるベクトル値によって、考慮され得る。これら運動学値に対するデータは例えば読み取られ得る。もしセンサが車両に結着されれば、車両自体の速度及び操舵角若しくは偏揺率は、例えば、対応する車両センサを介して、センサの動作を特定すべく使用され得る。車両の運動学データからセンサの動作を計算するために、車両に関する位置も考慮され得る。しかしながらセンサの動作或は運動学データも、オプトエレクトロニクス・センサにおける平行する対応対象物認識及び対象物追跡或は引き続く対象物認識から決定され得る。更には、ＧＰＳ位置認識システムもディジタル・マップを伴って好ましくは使用され得る。
【００５８】
時間に関してスキャンに近接して検出されると共に、特に好ましくはセンサによるスキャン中に検出される運動学データが好ましくは用いられる。
【００５９】
修正のため、時間差以内での移動によって生ずる変位は好ましくは計算され得、そして対応して、深度画像の画像点における座標は移動の運動学データから且つ、深度画像の各画像点の検出時点と参照時点との間の時間差から適切な運動学公式を用いて修正され得る。しかしながら一般に、変更された運動学関係も使用可能である。修正のより簡単な計算には、初期的には深度画像の画像点を特にデカルト座標系に変換することが有益である。深度画像の修正画像点が存在し得る形態に依存して、逆変換が修正後に重要となり得る。
【００６０】
深度画像の画像点の位置における過誤も、一方がスキャンの最初に検出され、他方がスキャンの最後に検出される二つの仮想対象物が相互に向かって高速で移動することで生じ得る。これは、検出時点間の時間的レイテンシーによって相互に対して変位される仮想対象物の位置となり得る。オプトエレクトロニクス・センサの視野のスキャンに及んで、画像点が順次検出されることで獲得される深度画像が使用される場合、それ故に深度画像のシーケンスは好ましくは検出され、対象物認識及び／或は対象物追跡は監視区域の画像の画像点に基づき実行され、画像点は各認識対象物と関連され、対象物追跡で計算された移動データはこれら画像の各々と関連され、深度画像の画像点の位置データはビデオ画像における画像点の決定に先行して或は対象物認識及び／或は対象物追跡の結果を用いてのセグメント形成に先行して修正される。位置情報の修正のため、対象物認識及び対象物追跡は画像検出及び評価に平行して実行されると共に少なくともオプトエレクトロニクス・センサ或はレーザスキャナの検出データを処理する。公知方法は対象物認識及び／或は対象物追跡における各スキャンのために使用可能であり、一般に比較的簡単な方法で充分である。そうした方法は複雑な対象物認識及び対象物追跡の方法と独立して行われ得て、その複雑な対象物認識及び対象物追跡方法とは検出データが処理され、例えば、複雑な仮想対象物分類が実行され、深度画像におけるセグメントの追跡が充分であり得る。
【００６１】
また、深度画像の画像点とビデオ画像の画像点との融合において問題が生じ得ると云うリスクはこの修正によって低減される。更に、画像点の引き続き処理は促進される。
【００６２】
画像点の位置座標は、それらと関連された移動データに従って且つ深度画像の画像点の検出時間と参照時点との差に従って好ましくは修正される。
【００６３】
移動データは、上述のようにベクトル速度から、仮想対象物の加速度から、そして、深度画像の画像点の検出時間と参照時点との間の時間差から実行される修正に用いられる変位を伴う運動学データであり得る。
【００６４】
前記修正は代替的或は累積的に使用可能である。
【００６５】
修正の正確性に対する要求があまり高くなければ、深度画像の画像点の検出時間に対する近似値がこれら修正方法において使用され得る。特に仮定可能なことは、前記したタイプのレーザスキャナが使用される際、順次的な画像点が一定の時間間隔で検出されることである。画像点の順次検出の時間間隔はスキャンに対する時間から若しくはスキャニング頻度から、そして、プロセスに取り入れられた画像点の数から決定可能であり、そして、第１画像点に対する検出時間或は負の時間が用いられれば任意の所望画像点に対する検出時間はこの時間間隔や画像点のシーケンスによって決定され得る。参照時点は一般に自由に選択されるが、好ましくは各スキャン毎に別々に選択されるが各場合において同一であり、それは大きな数の相違が複数のスキャンの後でも生ずることがなく、更には位置に関する変位が移動するセンサによる順次的なスキャンの参照時点の変動によって生じないからであり、それは引き続く対象物認識及び対象物追跡をより難しくする。
【００６６】
参照時点は、ビデオ画像の検出の時点であることがこのプロセスにおいては特に好ましい。参照時点のこの選択によって、相互に移動するセンサ或は対象物と対応する画像点の変位はビデオ・システムに対して変位された検出時間に基づき特に修正され、それによって深度画像及びビデオ画像の融合はより良好な結果に至る。
【００６７】
もしビデオ画像の検出時点がオプトエレクトロニクス・センサの視野のスキャンと同期され得れば、検出時点と参照時点とにとっては、深度画像の画像点の検出時間として規定されスキャンの最も早い時間と深度画像の画像点の検出時間として規定されたスキャンの最終時間との間に横たわることが特に好ましい。ここで確証されることは、運動学記述における近似によって生ずる過誤はできる限り少なく保持されることである。スキャンの画像点の内の一つの検出時点は、そのスキャン以内における検出時間として時間ゼロを獲得するように選択されることが特に有益であり得る。
【００６８】
本方法の更なる好適実施例において、深度画像及びビデオ画像は第１ステップで検出され、それらデータは更なる方法ステップにおいて有効となる。
【００６９】
本発明の更なる課題は対象物の認識及び追跡のための方法であり、監視区域の画像情報は特許請求の範囲の内の任意の一つに従った方法を用いて提供され、対象物認識及び対象物追跡はその提供された画像情報に基づき実行される。
【００７０】
更には本発明の課題はプログラムコード手段を伴ったコンピュータ・プログラムであり、そのプログラムがコンピュータ上で実行された際、本発明に従った方法の内の一つを実行する。
【００７１】
また本発明の課題はプログラムコード手段を伴ったコンピュータ・プログラム・プロダクトであり、機械可読担体上に記憶されるそのコンピュータ・プログラム・プロダクトがコンピュータ上で実行された際、本発明に従った方法の内の一つを実行する。
【００７２】
コンピュータは、ここでは、任意の所望データ処理装置として理解され、それによって本方法が実行され得る。特にこれはディジタル信号プロセッサ及び／或はマイクロプロセッサを有することができ、それによって本方法が完全に或は部分的に実行され得る。
【００７３】
最後に、少なくとも一つの平面内における対象物の位置を検出するための少なくとも一つのオプトエレクトロニクス・センサであり、特にレーザスキャナと、少なくとも一つのビデオ・カメラを具備するビデオ・システムと、前記オプトエレクトロニクス・センサ及びビデオ・システムと接続されたデータ処理装置とを備えて、本発明に従った方法の内の一つを実行すべく設計されている装置が、監視区域の深度分解画像を提供するための本発明の課題である。
【００７４】
ビデオ・システムは好ましくは立体カメラを有する。ビデオ・システムは深度分解された３次元画像を検出すべく設計されていることが特に好ましい。立体カメラの画像から深度分解画像を形成すべく必要とされる装置は、ビデオ・システム内に含まれるか、或は、対応する動作が実行されるデータ処理ユニットによって付与されるかの何れかであり得る。
【００７５】
オプトエレクトロニクス・センサとビデオ・システムの位置及びアライメントを固定的に予め決定し得るために、それらオプトエレクトロニクス・センサ及びビデオ・システムを一センサに統合して、相互に対するそれらの空間的配列が製造時に既に固定されるように為すことが好ましい。さもなければ較正が必要となる。特に好ましくは、結像装置の光学軸は、少なくともオプトエレクトロニクス・センサの領域内におけるビデオ・システムのビデオ・カメラと近接して、より好ましくは、検出平面内に横たわる。この配列は深度画像とビデオ画像との相互的な関連画像点の特別簡素な決定を可能とする。更には、ビデオ／システムは光検出素子から成る配列を有すること、オプトエレクトロニクス・センサはレーザスキャナであること、そして、光検出素子から成る配列はレーザスキャナの視野スキャンに対して使用される放射ビームと同期して及び／或は放射検出に役立つレーザスキャナの少なくとも一つの光検出素子と同期して特に結合軸周りに旋回可能であることことが特に好ましく、それはビデオ画像及び深度画像の検出の同期に関する問題が低減されるからである。光検出素子から成る配列は、マトリックス等の、行、列、或は、部分的配列であり得る。列或は部分的配列は、検出平面と直交する方向における画像点の検出用としてもより好ましい。
【００７６】
以下、本発明の各種実施例は一例としての図面を参照して説明される。
【発明を実施するための最良の形態】
【００７７】
図１及び図２において、車両１０はレーザスキャナ１２と該車両の前方における区域の監視（モニタリング）のためにその前方端に単眼カメラ１６を伴ったビデオ・システム１４を担持している。更にはレーザスキャナ１２及びビデオ・システム１４と接続されたデータ処理装置１８が車両に配置されている。支柱２０は移動方向における車両の前方に配置されている。
【００７８】
レーザスキャナ１２は図１に部分的にのみ示された視野２２を有し、それがその取付位置によって車両１０の長手方向軸線に対称的になって１８０°よりも幾分大きめの角度をカバーしている。視野２２は、より良好な図示のために、図１において概略的にのみ示されると共に、特に径方向に過剰に小さく示されている。支柱２０は、例えば、視野２２において検出されるべき対象物として配置されている。
【００７９】
レーザスキャナ１２は一般に公知な方法でその視野２２を一定の各速度で回転するパルス状レーザ放射ビーム２４によってスキャンして、放射ビーム２４が点２６から反射されるか、或は、支柱２０等の対象物の領域から反射されるかにかかわらず、平均角度αiである固定角度範囲内の時間τiでの一定時間間隔Δｔでそれが検出される。添え字ｉはこのプロセスにおいて１から視野２２における角度範囲数までに及ぶ。これら角度範囲の内の一つのみの角度範囲が図１に示されると共に平均角度αiと関連されている。この角度範囲はより良好な図示のために誇張されて大きく示されている。視野２２は、図２で認識され得るように、放射ビーム２４の拡張を除いて２次元であり一検出面に横たわっている。レーザスキャナ１２からの対象物点２６のセンサ間隔ｄiはレーザ・ビーム・インパルスの実行時間を参照して決定される。それ故にレーザスキャナ１２は支柱２０の対象物点２６に対する画像点における角度と、座標としてこの角度で検出される間隔ｄi、即ち極座標における対象物点２６の位置とを検出する。
【００８０】
１スキャンで検出される画像点の集合は、本出願の意味での深度画像を形成する。
【００８１】
レーザスキャナ１２は順次的なスキャンにおける各々でその視野２２をスキャンして、それらスキャンの時間シーケンス及びそれに対応する深度画像を生ずる。
【００８２】
ビデオ・システム１４の単眼ビデオ・カメラ１６はＣＣＤエリアセンサ２８を具備する従来の白黒ビデオ・カメラであり、図１及び図２に単レンズ３０として概略的に示される結像装置であるが、実際はレンズ系で構成され、ビデオ・システムの視野３２から入射する光をＣＣＤエリアセンサ２８上に結像する。ＣＣＤエリアセンサ２８はマトリックス状に配列された複数の光検出素子を有する。これら光検出素子の信号は読み取られ、ビデオ画像はマトリックス状の光検出素子の位置を含む画像点或はそれら光検出器素子に対する別のコードであり、それぞれが対応する光検出素子によって受信される光の強度と対応した強度値であるコード状の光検出素子の位置を含む画像点で形成されている。この実施例において、ビデオ画像は、深度画像がレーザスキャナ１２によって検出される割合と同一の割合で検出される。
【００８３】
支柱２０によって送信される光はレンズ３０によってＣＣＤエリアセンサ２８上に結像される。これは、図１及び図２における支柱２０の輪郭に対する短い波線によって概略的に示されている。
【００８４】
レンズ３０の位置及び例えば、焦点距離等の結像特性と共にＣＣＤエリアセンサ２８及びレンズ３０の間隔を用いて、対象物点の位置から、例えば支柱２０上の対象物点２６の位置から、マトリックスとして配列された光検出素子の内の何れに対象物点が結像されることになるかが計算され得る。
【００８５】
監視区域３４は、破線によって図１及び図２に概略的に示されると共に、視野２２内部に横たわるレーザスキャナの視野２２の平面への投影であるビデオ・システムの視野３２の一部によって示されている。支柱２０はこの監視区域３４内部に配置されている。
【００８６】
データ処理装置１８は、レーザスキャナ１２及びビデオ・システム１４の画像の処理のために設けられ、その目的のためにレーザスキャナ１２及びビデオ・システム１４と接続されている。データ処理装置１８、とりわけ、本発明に従った方法を実行するようにプログラムされたディジタル信号プロセッサと、該ディジタル信号プロセッサと接続されたメモリ装置とを有する。画像情報の提供のための本発明に従った装置の別の実施例において、データ処理装置は本発明に従った方法を実行するためのデータ処理装置に記憶された本発明に従ったコンピュータ・プログラムを実行する従来のプロセッサを有することができる。
【００８７】
本発明に従った第１代替例である方法の好適な第１実施例に係る画像情報を提供する第１の方法において、深度画像はレーザスキャナ１２によって先ず検出され、そしてビデオ画像はビデオ・システム１４によって先ず検出される。
【００８８】
より簡潔な表示のため、支柱２０のみが監視区域３４内に配置されていることが想定される。よってレーザスキャナ１２によって検出された深度画像は対象物２６，３６，３８と対応する画像点２６’，３６’，３８’を有する。これら画像点は、図１及び図２において対応する対象物点と一緒に印が付けられている。ビデオ画像のそれら画像点４０のみが図３におけるビデオ画像から明らかとされ、それらが支柱２０と対応しているので、実質的に同一の強度値を有する。
【００８９】
二つの画像がセグメント化されている。深度画像の一方のセグメントはその内の少なくとも二つが多くとも一つの予め決定された最大間隔を有する複数の画像点から形成されている。この例において、画像点２６’，３６’，３８’は一つのセグメントを形成する。
【００９０】
ビデオ画像のセグメントは、小さな予め決定された最大値未満だけ異なる強度値を有する画像点を含む。図３には、セグメント化の結果が示されており、ビデオ画像の画像点は支柱２０と対応する図示セグメントに属していないものは示されていない。それ故にセグメントは実質的に支柱２０と対応する矩形形状を有する。
【００９１】
対象物認識及び対象物追跡方法において、深度画像の画像点２６’，３６’，３８’から形成されたセグメントが対応する対象物の種類を見出す場合、ビデオ画像から情報が付加的に使用される。統合監視区域３４はこのプロセスにおける融合領域として予め設定されている。
【００９２】
対象物点２６，３６，３８と対応すると共に図３に同様に示されるビデオ画像の光検出要素或は画像点３９は、深度画像の画像点２６’，３６’，３８’の位置座標から、ビデオ・システム１４のレーザスキャナ１２の検出平面に対する相対位置、レーザスキャナ１２に対する相対位置、並びに、レンズ３０の結像特性を考慮して計算される。
【００９３】
計算された画像点３９は画像点４０から形成されたセグメント内に横たわっているので、画像点４０から形成されたセグメントは対象物点２６，３６，３８と対応している画像点２６’，３６’，３８’と、或は、それらから形成された深度画像のセグメントと関連されている。よって支柱２０の高さは所与の間隔を伴ったセグメントの高さから、レンズ３０の結像特性を考慮して計算され得る。この情報も対象物点２６，３６，３８と対応する深度画像の画像点２６’，３６’，３８’と関連され得る。一つの結論は、例えば、この情報、即ち、深度画像のセグメントが支柱或は基準支柱の仮想対象物と対応するが、より低い高さを有する路傍の支柱とは対応しないと云う情報に基づいて引き出され得る。同様にこの情報は、対象物点２６，３６，３８と対応している深度画像の画像点２６’，３６’，３８’と関連されている。
【００９４】
深度画像のこれら画像点も関連情報と一緒に出力或は記憶され得る。
【００９５】
本発明に従った第１代替例である更なる実施例の第２の方法は、第１の方法とは、それが補充されるべき深度画像の情報ではなく、ビデオ画像の情報である点で異なる。それ故に融合領域はセグメント化後に異なって規定される。それは、この例において、レンズ３０の結像特性に依存して、レーザスキャナ１２の領域内或は検出平面の高さにおけるビデオ画像の画像点４０から形成されるセグメントの位置から、ビデオ画像におけるセグメントが対応するレーザスキャナ１２の検出平面における領域が計算される。画像点４０から形成されるビデオ・システム１４のセグメントの間隔が初期的に知られていないので、融合領域全体が生ずる。よって、第１方法のように、ビデオ画像におけるセグメントとの関連性はこの融合領域に横たわっている深度画像の各種画像点に対して決定される。レーザスキャナ１２からのビデオ画像におけるセグメントの間隔はこれを用いて決定可能である。よってこの情報はビデオ画像の画像処理に対して考慮され得るビデオ画像データの相互補整を表している。
【００９６】
以下、第４図及び図５を参照して、本発明に従った第２代替例である更なる実施例を説明する。先行する実施例におけるものと対応する対象物のために、同一参照番号が以下において使用され、より的確な説明に対して先の実施例が参照される。
【００９７】
図４における車両１０は、レーザスキャナ１２と立体カメラ４４を伴うビデオ・システム４２とを当該車両の前方における区域の監視のために担持している。レーザスキャナ１２及びビデオ・システム４２と接続されたデータ処理装置４６が更に車両１０に配置されている。支柱２０は進行方向における車両の前方に再度配置されている。
【００９８】
レーザスキャナ１２は、第１実施例のように設計されてその視野２２を同様にスキャンしているが、本実施例では、深度分解画像の検出用に設計された立体カメラ４４を伴うビデオ・システム４２が単眼ビデオ・カメラを具備するビデオ・システムの代わりに設けられている。立体カメラは車両１０の前方外側縁に結着された二つの単眼ビデオ・カメラ４８ａ及び４８ｂとそれらビデオ・カメラ４８ａ及び４８ｂと接続された評価装置５０とによってこのプロセスにおいて形成され、それら信号を深度分解された３次元ビデオ画像に処理している。
【００９９】
単眼ビデオ・カメラ４８ａ及び４８ｂは、各々、第１実施例のビデオ・カメラ１６のように設計され、相互に対して固定的に予め決定された幾何形状に配向されて、それらの視野５２ａ及び５２ｂが部分的に重複している。視野５２ａ及び５２ｂの部分的重複領域は立体カメラ４４或はビデオ・システム４２の視野３２を形成している。
【０１００】
ビデオ・カメラ４８ａ及び４８ｂによって検出されたビデオ・システムの視野３２内における複数の画像点は評価装置５０に供給され、ビデオ・カメラ４８ａ及び４８ｂの位置及びアライメントを考慮する一方で、それら画像点から３次元位置座標及び強度情報を伴う画像点を含む深度分解画像を計算する。
【０１０１】
監視区域３４は、第１実施例のように、レーザスキャナ１２或はビデオ・システム４２の視野２２及び３２によって付与されている。
【０１０２】
レーザスキャナは高精度で支柱２０上の対象物点２６，３６，３８と対応する画像点２６’，３６’，３８’を検出する。
【０１０３】
ビデオ・システムは３次元でこれら画像点を検出する。図４に示され、ビデオ・システム４２によって検出され、そして対象物点２６，３６，３８と対応している画像点２６”，３６”，３８”は、検出用に使用されたこの方法のために、画像の深度の方向においてより大きな位置的不規則性を有する。これが意味することは、画像点の位置座標によって付与されるビデオ・システムからの間隔は非常に正確であるとは云えない、ということである。
【０１０４】
図５には、深度分解ビデオ画像におけるレーザスキャナ１２の深度画像における任意の画像点と直接対応していない更なる画像点５４が示され、それらは対象物点２６，３６，３７が横たわる検出平面内或は該検出平面に近接していない。図示の明瞭化のため、更なる画像点は省略された。
【０１０５】
レーザスキャナ１２及びビデオ・システム４２の画像の処理のため、データ処理装置４６が提供され、その目的のためにそれらレーザスキャナ１２及びビデオ・システム４２と接続されている。データ処理装置４２は、とりわけ、本発明に従った第２代替例の方法を実行すべくプログラムされたディジタル信号プロセッサと該ディジタル信号プロセッサと接続されたメモリ装置とを有する。画像情報を提供するための本発明に従った装置の別の実施例において、データ処理装置は、本発明に従うと共に以下に説明される方法の一実施例を実行する本発明に従ったコンピュータ・プログラムを実行する従来のプロセッサをも有することができる。
【０１０６】
第１実施例におけるように、深度画像はレーザスキャナ１２によって検出されて読み取られ、そして深度分解された３次元ビデオ画像はビデオ・システム４２によって検出されて読み取られる。それに及んで画像はセグメント化され、ビデオ画像のセグメント化は深度分解画像の計算前或は深度分解画像の計算に及んで評価装置５０内で行われることも可能である。第１実施例におけるように、対象物点２６，３６，３８と対応している深度画像の画像点２６’，３６’，３８’は該深度画像のセグメントを形成する。
【０１０７】
この例において図４及び図５に示される画像点２６”，３６”，３８”、５４を不図示の更なる画像点と共に含むビデオ画像のセグメントにおいて、それら画像点は放射ビーム２４が移動する検出平面から所定の最大間隔を有するように予め決定される。もし深度分解画像がビデオ・カメラ４８ａ及び４８ｂのＣＣＤエリアセンサの構造に従った検出平面と直交する方向に画像点の複数層を有すると仮定されれば、その最大間隔は例えばそれら層の間隔によって付与され得る。
【０１０８】
画像点２６”，３６”，３８”を伴うビデオ画像のセグメントの部分的セグメントは深度画像のセグメントと対応するようにこのステップで提供される。
【０１０９】
部分的セグメントの最適平行移動及び／或は最適回転を決定することによって、部分的セグメントの位置は深度セグメントの実質的により精密に決定された位置と符合させられる。この目的のため、平行移動及び／或は回転によって平行移動された部分的セグメントの全画像点の位置座標から深度画像のセグメントの全画像点の位置座標の二次距離の合計は平行移動及び／或は回転の関数として最小化される。
【０１１０】
ビデオ画像の総合的セグメントの位置座標の修正のため、位置座標はこうして決定された最適平行移動及び／或は回転で変換される。それ故にビデオ画像の総合的セグメントは検出平面内において整合されて、検出平面と交差する領域内のレーザスキャナによって決定された深度画像のセグメントに対して検出平面内において最適位置を有する。
【０１１１】
この方法の別の実施例において、ビデオ画像の適合セグメントは深度画像のセグメントから出発して決定可能でもあり、精密な３次元深度画像が符合後に再度提供される。
【０１１２】
本発明に従った第１代替例の方法では、それ故に深度画像の画像情報の相互補整がビデオ画像によって行われるか、逆に、本発明に従った第２代替例の方法において当てはまりうるが、少なくとも検出平面内において深度情報の高精度を有する３次元深度分解画像は深度分解された３次元ビデオ画像の修正によって提供される。
【図面の簡単な説明】
【０１１３】
【図１】車両を、レーザスキャナ、単眼カメラを具備するビデオ・システム、並びに、車両の前方に配置された支柱と共に示す概略平面図である。
【図２】図１における車両及び支柱の部分的な概略側面図である。
【図３】図１におけるビデオ・システムによって検出されたビデオ画像の部分的な概略図である。
【図４】車両を、レーザスキャナ、単眼カメラを具備するビデオ・システム、並びに、車両の前方に配置された支柱と共に示す概略平面図である。
【図５】図４における車両及び支柱の部分的な概略側面図である。
【符号の説明】
【０１１４】
１０    車両
１２    レーザスキャナ
１４，４２    ビデオ・システム
１６    単眼ビデオ・カメラ
１８，４６    データ処理装置
２０    支柱
２２    レーザスキャナの視野
２４    レーザ放射ビーム
２６，２６’，２６”    対象物点、画像点
２８    ＣＣＤエリアセンサ
３０    レンズ
３２    ビデオ・システムの視野
３４    監視区域
３６，３６’，３６”    対象物点、画像点
３８，３８’，３８”    対象物点、画像点
３９    計算された画像点
４０    画像点
４４    立体カメラ
４６    データ処理装置
４８ａ，４８    ビデオ・カメラ
５０    評価装置
５２ａ，５２ｂ    視野
５４    画像点
【図１】
2004530144.tif 000003
【図２】
2004530144.tif 000004
【図３】
2004530144.tif 000005
【図４】
2004530144.tif 000006
【図５】
2004530144.tif 000007
【国際公開パンフレット】
2004530144.tif 000008
2004530144.tif 000009
2004530144.tif 000010
2004530144.tif 000011
2004530144.tif 000012
2004530144.tif 000013
2004530144.tif 000014
2004530144.tif 000015
2004530144.tif 000016
2004530144.tif 000017
2004530144.tif 000018
2004530144.tif 000019
2004530144.tif 000020
2004530144.tif 000021
2004530144.tif 000022
2004530144.tif 000023
2004530144.tif 000024
2004530144.tif 000025
2004530144.tif 000026
2004530144.tif 000027
2004530144.tif 000028
2004530144.tif 000029
2004530144.tif 000030
2004530144.tif 000031
2004530144.tif 000032
2004530144.tif 000033
2004530144.tif 000034
2004530144.tif 000035
2004530144.tif 000036
2004530144.tif 000037
2004530144.tif 000038
2004530144.tif 000039
2004530144.tif 000040
2004530144.tif 000041
2004530144.tif 000042
2004530144.tif 000043
2004530144.tif 000044
2004530144.tif 000045
2004530144.tif 000046
2004530144.tif 000047
2004530144.tif 000048
2004530144.tif 000049
2004530144.tif 000050
2004530144.tif 000051
2004530144.tif 000052
2004530144.tif 000053
2004530144.tif 000054
2004530144.tif 000055
2004530144.tif 000056
2004530144.tif 000057
2004530144.tif 000058
2004530144.tif 000059
2004530144.tif 000060
2004530144.tif 000061
【国際調査報告】
2004530144.tif 000062
2004530144.tif 000063
2004530144.tif 000064
2004530144.tif 000065
2004530144.tif 000066
2004530144.tif 000067