(57)【要約】  本発明は、移動支持体、好ましくは車両（１）における画像評価適応走行制御システムのセンサ画像における輝度値を評価するための方法およびシステムに関する。本発明によれば、周囲と比較して暗い、カメラ（４）によって検出されたセンサ画像におけるエリアが、時間的に連続する評価ステップで評価され、それらが、支持体の速度で支持体の方へ移動しているかどうかを調べる。これらの暗いエリアは、静止物体の影（７）として認識され、それに対応する警告が出される。
2010537330.tif 000002
【特許請求の範囲】
【請求項１】
移動運搬体における画像評価周囲検出システムのセンサ画像を評価するための方法であって、前記運搬体が運転者支援システムを有する場合において、
前記周囲に対して暗い、前記捕捉センサ画像のエリアが、原則として、前記暗いエリアが前記運搬体の速度で前記運搬体の方へ接近しているかどうかを決定するために、時系列的に連続する評価ステップで評価することと、これらの暗いエリアを、静止物体の影（７）として検出し、かつ対応するシグナリングを実行すること、および前記運転者支援システムが、車線維持支援システムを有することを特徴とする方法。
【請求項２】
前記周囲に対して暗いか、または明るく、前記センサ画像における画素、一連の画素または画素エリアを、前記画像評価周囲検出システムの前記運搬体からのそれらの距離について評価することを特徴とする、請求項１に記載の方法。
【請求項３】
前記周囲に対して暗いかまたは明るい前記画素、一連の画素または画素エリアが、それらが、前記センサ画像内で、前記運搬体の方向に画定された捕捉エリア（ＲＯＩ）と連続的に合致するかどうか、およびどんな時間間隔で合致するかを決定するために、時系列的に連続する評価ステップで評価することを特徴とする、請求項２に記載の方法。
【請求項４】
捕捉エリアとの合致が、この捕捉エリア（ＲＯＩ）の比較的多数の画素が、所定の第１の閾値未満の輝度値（Ｌ）を有する場合に検出されることを特徴とする、請求項３に記載の方法。
【請求項５】
前記捕捉エリアからの退出が、この捕捉エリア（ＲＯＩ）の比較的少数の画素が所定の第２の閾値を超える輝度値（Ｌ）を有する場合に検出されることを特徴とする、請求項３または４に記載の方法。
【請求項６】
前記比較的多数の画素が８０％であり、前記比較的少数の画素が２０％であることを特徴とする、請求項５に記載の方法。
【請求項７】
所定の期間における画素、一連の画素または画素エリアの評価が、前記周囲検出システム、または前記カメラ（４）の自動照度制御および感度制御が実行される前に、パラメータ分配アルゴリズム（３５）を用いて行われることを特徴とする、請求項２〜６のいずれか１項に記載の方法。
【請求項８】
１つまたは複数の捕捉エリア（ＲＯＩ）からの退出が、前記捕捉エリア（ＲＯＩ）における前記周囲検出システムの前記照度制御が、所定の期間にわたって一定のプロファイルを仮定する場合に、検出されることを特徴とする、請求項７に記載の方法。
【請求項９】
画像評価周囲検出システムが、各場合に、画素で構成され、かつ自身の輝度値、および、適宜、色値が周囲を示すセンサ画像が存在するように、運搬体としての車両（１）に搭載され、かつ道路（２）の進行方向前方にある、前記車両（１）のエリアを連続的に捕捉するデジタルカメラ（４）を含むこと、前記カメラ（４）の前記センサ画像における暗いエリアを、静止物体の影（７）として検出できる評価回路（８）が存在し、かつ対応するシグナリングを実行できること、前記車両が、車線維持支援システムを備えた運転者支援システムを有することを特徴とする、請求項１〜８のいずれか１項に記載の方法を実行するための装置。
【請求項１０】
青色の色値を、空の光による間接照明を通して利用することを特徴とする、請求項９に記載の装置。
【請求項１１】
前記評価回路（８）に、他の手段で検出された前記車両（１）の速度をさらに供給できることを特徴とする、請求項９または１０に記載の装置。
【請求項１２】
前記シグナリングが、前記影（７）の検出、そこからの退出、および前記車両（１）からの前記影（７）のそれぞれの距離を表示できる表示装置（１３）によって行われることを特徴とする、請求項９〜１１のいずれか１項に記載の装置。
【請求項１３】
前記暗いエリアが、前記車両（１）の前方の前記道路（２）に影（７）を投げかける橋（３）、高架道路等によってもたらされることを特徴とする、請求項９〜１２のいずれか１項に記載の装置。
【請求項１４】
コンピュータ可読プログラミング手段を含む、コンピュータによって利用できる媒体に格納されたコンピュータプログラム製品であって、このプログラミング手段が、記憶手段に連結されたマイクロプロセッサまたはコンピュータ上で前記コンピュータプログラム製品が実行される場合に、前記マイクロプロセッサまたは前記コンピュータに、請求項１〜１１のいずれか１項に記載の周囲検出システムにおける方法を実行するか、またはこの方法を実行するための装置を備えるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、請求項１の前段以下に記載の自動車の運転支援システムにおいて好ましく用いられる画像評価周囲検出システムのセンサ画像において、輝度値、特に、例えば暗いエリアを静止物体の影として評価するための方法および装置、ならびに請求項８以下に記載の装置、ならびに請求項１４に記載のコンピュータプログラム製品に関する。
【背景技術】
【０００２】
かかる運転支援システムは、道路交通において特定の操作を行う際に、自動車の運転者を支援するために用いられ、多種多様な作業用に既に用いられている。例えば、ドイツ国特許出願公開第１０  ２００４  ０１７  ８９０  Ａ１号明細書は、次のことを開示している。すなわち、いわゆるＬＩＤＡＲレーダセンサが、特定の物体の観点から、車両前方の進行方向における所定のエリアを検出するために用いられ、かつ特定の安全機能が、センサ信号の対応する評価によって、適時に作動され得ることを開示している。
【０００３】
それ自体周知のこれらのシステムは、例えば、車両の適応走行コントローラ、および／または車間距離制御システムで用いることができる。この制御プロセスは、予め設定された速度、および／または前方を進む車両、もしくは進行方向に位置する物体からの予め設定された距離で、運転者の介入なしに実行することができる。これは、一般に、車両の周囲ならびに、適宜、例えば天候条件および視界条件などのさらなるパラメータをそれ相応に考慮することによって行われる。またかかる制御システムは、適応走行制御システム（ＡＣＣシステム）と呼ばれることが多い。ＡＣＣシステムは、全ての運転状況に適切に反応するために、特に、現在の増加する交通量に対して十分に柔軟でなければならない。そのためには、各運転状況において制御プロセスに必要な測定データを供給するために、対応する物体検出センサシステムを必要とする。
【０００４】
この目的のために、カメラ画像またはビデオ画像が、周囲を検出するために、画像評価あるいはいわゆる視覚ベースの運転支援システムに用いられ、この場合、周知のシステムでは、物体、障害物、道路、および車線の境界、ならびにそこからの距離が、カメラ画像から決定される。画像を実際に捕捉するために、イメージャと呼ばれる画像センサが、いわゆる視覚ベースの周囲検出システムに用いられ、次に、これらの画像センサは、捕捉した周囲の、センサ画像とも呼ばれるカメラ画像を供給し、この画像の画素または画像エリアは、対応するデータ処理手段を用いて、強度、コントラスト、色、または他のパラメータについて評価される。
【０００５】
しかしながら、これらのビデオ画像の分析中に、橋、もしくは類似の静止構造物、または高架道路などの物体等は、ある光条件下で道路上に投影される影の結果として発生する光効果のために、ビデオ画像分析において問題を引き起こす可能性がある。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明は、移動運搬車、例えば道路交通における車両上の画像評価周囲検出システムのセンサ画像を評価するための方法に関し、本発明によれば、周囲に対して暗い、捕捉センサ画像のエリアは、時系列的に連続する評価ステップにおいて有利に評価され、前記暗いエリアが、前記運搬車の速度で運搬車の方へ移動しているかどうか、およびこれらの暗いエリアが、静止物体、例えば橋、高架道路等の影として検出されるようにし、対応するシグナリングが実行される。本発明は、特に、自動車における、周囲の視覚、および／または光検出を備える運転者支援システムと協働して有利に用いることができる。この場合、自動車は、車線維持支援システムを有する。
【０００７】
したがって、本発明は、かかる影の検出および評価のための有利な方法を提案するものであるが、かかる影は、車両によって捕捉されたセンサ画像の時系列分析によって、輝度の様々な破壊的な差異を引き起こす他の１つまたは複数の移動物体とは区別されなければならない。例えば、２進フラグは、出力信号として、またはかかる影の出現を通知するために、周囲検出システムにおいて容易に設定できるが、前記２進フラグは、突然の影の状況が、車両の前方で発生しているかどうか、また、必要に応じて、運転者が、この状況からどれくらい離れているかを明確にする。
【０００８】
各場合に、周囲に対して暗いセンサ画像の画素、一連の画素または画素エリアは、画像評価周囲検出システムの運搬車からの距離について評価することができる。また、これらの画素、一連の画素または画素エリアを、時系列的に連続する評価ステップで評価して、それらが、センサ画像内で、運搬車の方向に画定された捕捉エリアと連続的に合致するかどうか、およびどれくらいの時間間隔で合致するかどうかを決定するようにすることができる。
【０００９】
さらに、本発明により、上記の方法を実行するための有利な装置が提案されるが、この装置では、画像評価周囲検出システムには、デジタルビデオカメラ（例えばＣＣＤカメラまたはＣＭＯＳイメージャ）が含まれ、このデジタルビデオカメラは、運搬車としての車両に搭載され、かつ画素で構成されたセンサ画像であって、その輝度値、および、色値が、周囲を示すセンサ画像が存在するように、進行方向前方における、車両のエリアを連続的に捕捉する。さらに、センサ画像における暗いエリアを静止物体の影として検出でき、かつ対応するシグナリングを実行できる評価ユニットが存在する。
【００１０】
評価ユニットには、さらに、他の手段で検出される車両速度を容易に供給することができる。シグナリングは、影の検出、そこからの退出、および車両からの影のそれぞれの距離を表示できる表示ユニットによって行うことができる。
【００１１】
さらに本発明によると、カメラで取得されたデジタルデータを評価するために、コンピュータ可読プログラミング手段を含む、コンピュータによって利用できる媒体に格納されたコンピュータプログラム製品がさらに提案される。このプログラミング手段は、記憶手段に連結されたマイクロプロセッサまたはコンピュータ上で、コンピュータプログラム製品が実行される場合に、このマイクロプロセッサまたはコンピュータに、周囲検出システムにおける方法を実行させるか、またはこの方法を実行するための装置を提供するものである。
【００１２】
本発明による方法が実行されるか、または本発明の装置が用いられる場合には、次のことを想定することが可能である。すなわち、前方の道路が平坦であり、かつ車両の内部に搭載されたカメラが、それ自体の軸を中心にそれほど回転しないと仮定すると、センサ画像における一連のまたは１つの画素を、車両前方の距離と関連させることができるように、カメラが配置されるということである。したがって、捕捉エリアを、ビデオカメラからの特定の距離における画像領域として構成することが可能である。暗いエリアが、離れた捕捉エリアで発生し、かつ車両の速度で車両に接近する場合には、したがって、静止した影の位置を正確に識別することが可能である。
【００１３】
捕捉エリアとの合致は、例えば、この捕捉エリアの画素の約８０パーセントが、所定の閾値未満の輝度値を有する場合に、検出することができる。捕捉エリアからの退出は、この捕捉エリアの画素の約２０パーセントが所定の閾値を超える輝度値を有する場合に、検出することができる。
【００１４】
したがって、かかる突然発生する影は、その周囲に対して暗いエリアによって画定される。しかしながら、周囲に対しての相対的な差は、センサ画像の画像処理において慎重に考慮しなければならない。その理由は、考慮すべきこのような暗いエリアは、非常に低いコントラストを有することが多く、かかるエリア内の画像を評価するのが、非常に困難であることが多いからである。これは、グレースケール統計値内の十分な暗さのための閾値が設定され、さらに、前に検出された捕捉エリアが、それに対して十分に暗くなかった場合が該当する。
【００１５】
捕捉エリアは、それぞれ、例えば、道路上を進行方向に２０ｍにわたって延び、例えば６０ｍ〜８０ｍの間の距離で、例えば８０パーセントの割合の部分が暗い場合には、これは影の場合であるとみなすことが可能である。
【００１６】
この暗いエリア（影）が車両に接近しているという確証は、一定時間後に、前記影が、捕捉エリアにおいて、後でカメラのより近くで検出されるという事実によって得ることができる。特に、上記で言及したように、例えば、４０ｍ〜６０ｍの捕捉エリアの８０パーセントにおける輝度値が、所定の閾値よりも常に低いことを必要とすることがあり得る。暗いエリアを有する、かかる状況は、進行方向に前方に位置する、離れた捕捉エリアで最初に検出され、続いて、より近い捕捉エリア、例えば４０ｍ〜２０ｍの間で検出されると、すぐにこの影を、確認することができる。したがって、この場合、最初に８０ｍ〜６０ｍの間の暗いエリアが評価され、続いて６０ｍ〜４０ｍの間のエリア、次に４０ｍ〜２０ｍの間のエリアが評価されるようになる。
【００１７】
所定の期間における画素、一連の画素、または画素エリアの評価は、また、周囲検出システムまたはカメラの自動照度制御および感度制御が実行される前に、対応する照度制御および感度制御を用いて有利に行うことができる。カメラは、前方を見て、かつ前進するので、将来の状況を予想することが可能である。１つまたは複数の捕捉エリアからの退出は、例えば、捕捉エリアにおける周囲検出システムの照度制御が、所定の期間にわたって一定のプロファイルを仮定する場合には、検出することができる。
【００１８】
したがって、影を有するエリアからの車両の退出は、明白な手段を用いて検出することができる。最初に、進行方向前方の十分に遠くにあり、かつ十分に明るくなったエリアを決定する。これは、それぞれの捕捉エリアのグレースケール統計値から、次のように決定することができる。すなわち、画素の２０パーセントが、比較的高い閾値を超えなければならない輝度値を有し、かつ単に比較的近い捕捉エリアだけが明るくなったのではないと決定することができる。しかしながら、ここでまた、画素の十分に大きなエリアは、影のエリアが退出しつつあると、かなり確実に確信することができる。
【００１９】
次に、上記のように、明るいエリアが、ほぼ車両速度で車両に接近していることをチェックすることが可能である。この状況が検出されるとすぐに、影が退出することを通知することができる。既に言及したように、最適な方法で評価できるセンサ画像を生成するために、ビデオカメラまたは画像評価のパラメータを、時間に応じて設定すると有利である。例えば、輝度の大きな差が発生する前か、またはビデオカメラの実際の照度制御が反応する前に、画像増幅または感度が低下するからである。
【００２０】
車両が暗いエリア（影）から徐々に出る可能性もある。この場合に、この状況は、捕捉エリアのそれぞれの輝度統計値、またはグレースケール統計値から推測することができ、次に、捕捉エリアの値は、平均輝度値に対応する比較的正常な値に徐々に戻る。典型的な画像評価システムの照度制御は、ここでは、明るさと暗さとの間のグレースケールを、何とか維持しようと試みる。画像エリア統計値が、十分な長さにわたって正常な場合には、影が、それ自体もはや見られないことを通知することが可能である。なぜなら、この時点では、画像評価が、前は暗くて今はより明るくなったものに調整されたからである。正常照度の検出は、ここでは、ヒストグラム分析によって行うことができ、この場合に、通常二峰性のヒストグラム（画像の一部が明るく、別の部分が暗い）は、影からの退出が徐々に起こる間に、ほぼ単峰性の強度分布を備えたヒストグラムに変化する。
【００２１】
本発明の実施形態では、移動している影は無視される。なぜなら、それらが、車両に対して、静止している影、例えば橋と同じ速度で移動しないからである。車両におけるビデオカメラからのある最小距離にあるかかる静止している影は、周囲検出システムを備える車両の方へ、ほぼ前記車両の速度で常に移動する。これからの逸脱は、例えば、車両におけるカメラのピッチングなどの動きによって発生する。
【００２２】
本発明の例示的な実施形態を示す図を参照して、以下に説明する。
【図面の簡単な説明】
【００２３】
【図１】道路上の影を評価するための周囲検出システムの構成要素としてカメラを備える車両の概略図である。
【図２】周囲検出システムにおける評価ユニットのブロック回路図である。
【図３】周囲検出システムの捕捉エリアの概略図である。
【図４】図３による２つの捕捉エリアにおける測定された輝度値の曲線図である。
【図５】カメラの捕捉センサ画像の評価を示すフローチャートである。
【発明を実施するための形態】
【００２４】
図１は、静止物体としての橋３の方向に道路２を移動する、周囲検出システムの移動運搬車としての車両１の状況を略示している。車両１の周囲検出システムは、破線５および６間のエリアを捕捉するカメラ４、特にデジタルビデオカメラを有する。カメラ４は、ある仮定された光条件または太陽放射の下で、橋３によって道路２上へ投影された影７に接近している。評価回路８において、カメラ４の、画素で構成されたセンサ画像のデジタルデータは、入力９において評価され、さらに、例えば車両１の現在の速度データがまた、入力１０において評価される。
【００２５】
図２は、図１における評価回路８をより詳細に示している。まず、カメラ４のセンサ画像のデータが、所定の捕捉エリアＲＯＩ（ＲＯＩ＝関心領域）における出来事に関連して、第１のモジュールにおいて評価され、次に、これらの結果に基づいて、図１による影７の検出、および、影７からの距離が、モジュール１２における入力１０の速度データを用いて、以下で説明するように実行され、かつ表示装置１３に表示されるか、または対応する手段で通知される。例えば、２進フラグが、出力信号として、かつ／またはかかる影の出現を通知するために、周囲検出システムにおいて簡単に設定できる。前記２進フラグは、突然の影の状況、または輝度の増加する状況が、車両の前で発生しているかどうか、および必要に応じて、運転者がこの状況からどれくらい離れているかを示す。
【００２６】
図示の例示的な実施形態によると、車両１上の画像評価周囲検出システムにおけるカメラ４のセンサ画像を評価するための方法を、道路交通において、次のように実行することが可能である。すなわち、カメラ４のセンサ画像における、周囲に対して暗いエリア、ここでは影７を時系列的に連続する評価ステップで評価して、影７が、車両１の方へ前記車両１の速度で移動しているかどうかを決定するように実行することが可能である。各場合に、周囲に対して暗い、カメラ４のセンサ画像における画素、一連の画素または画素エリアを、図２のモジュール１２において、車両１からのそれらの距離について評価し、それらが、センサ画像内で、運搬車の方向に画定された捕捉エリアＲＯＩ（モジュール１１）と連続的に合致するかどうか、およびどれくらいの時間間隔で合致するかどうかを決定してもよい。
【００２７】
カメラ４の配置は、一般に、次のように行われる。すなわち、前方の道路２が平坦であること、および車両１に搭載されたカメラ４が、それ自体の軸を中心にそれほど回転しないと仮定すると、センサ画像における一連の画像、または１つの画素を、図３から推測できる車両１の前方の距離２０、２１、または２２、例えば距離２０として２０ｍ、距離２１として４０ｍ、または距離２２として６０ｍと関連させることができるように構成する。したがって、図３から明らかなように、距離２０、２１、および２２と対応する、カメラ１のセンサ画像における領域として、捕捉エリアＲＯＩ１、ＲＯＩ２、またはＲＯＩ３を構成することが可能である。図３における時系列的な進行において、影７が、車両１から離れた捕捉エリアＲＯＩ３における暗いエリアとして発生し、かつ前記影７が、前記車両１の速度で車両１に接近している場合には、影７の位置は、静止した影であると正確に識別することが可能である。また、カメラ１の瞬間的なピッチ角を、評価される画像と共に用いる場合には有利である。
【００２８】
図４は、車両が影７を通過するときに、時間ｔにわたってプロットされた取得輝度値Ｌ（Ｌ＝レベル）、またはグレースケール値ＲＯＩ３およびＲＯＩ２のプロファイルを示す。ここで、離れた捕捉エリアＲＯＩ３用の値の下降および再度の上昇、ならびにある時間間隔後、より近い捕捉エリアＲＯＩ２用の値の下降および再度の上昇を通して、影７を時系列的および空間的に決定することが可能であることは明らかである。
【００２９】
捕捉エリアＲＯＩ３、ＲＯＩ２、またはＲＯＩ１との合致は、例えば、この捕捉エリアＲＯＩ３、ＲＯＩ２、またはＲＯＩ１の画素の約８０パーセントが、所定の閾値未満の輝度値またはグレースケールを有する場合に、検出することができる。捕捉エリアＲＯＩ３、ＲＯＩ２、またはＲＯＩ１からの退出は、この捕捉エリアＲＯＩ３、ＲＯＩ２、またはＲＯＩ１の画素の約２０パーセントが、所定の閾値を超える輝度値Ｌ、またはグレースケールを有し、次に、ブロック３６に従って表示される場合に検出することができる。
【００３０】
図５は、図１および図２に従って、評価回路８における処理の時系列を示すフローチャートを表す。評価の開始（開始３０）後、影７の出現、および捕捉エリアＲＯＩ３、ＲＯＩ２、またはＲＯＩ１からの影７の退出は、ブロック３１、３２、および３３において決定され、チェック、およびさらなる処理のために、ブロック３４に割り当てられる。開始３０後の所定の期間における画素、一連の画素または画素エリアの評価は、周囲検出システムまたはカメラ４の自動照度制御および感度制御が実行される前に、対応する画像評価手段であるパラメータ分配アルゴリズム３５(画像パラメータ）を用いて実行することができる。１つまたは複数の捕捉エリアからの退出は、例えば、捕捉エリアＲＯＩ３、ＲＯＩ２、またはＲＯＩ１における照度制御３５が、所定の期間にわたる比較的一定したプロファイルを仮定する場合に、検出することができる。
【００３１】
次にまた、評価回路８の入力１０において車両１の速度を評価することにより、影から出たことで引き起こされた輝度の変化のエリアが、ほぼ前記車両１の速度で車両１に接近しているかどうかをチェックすることが可能である。この状況が検出されるとすぐに、影が退出していることを、ブロック３６に通知することが可能である。ここで、既に言及したように、最適な方法で評価できるセンサ画像を生成するために、カメラ４または画像評価手段３５のパラメータが、時間に応じて設定されることが有利である。例えば、輝度における大きな差が発生する前、またはビデオカメラ自身の照度制御が反応する前に、画像増幅または感度が低下することによる。
【符号の説明】
【００３２】
１  車両
２  道路
３  橋
４  カメラ
５  破線
６  破線
７  影
８  評価回路
９  入力
１０  入力
１１  モジュール
１２  モジュール
１３  表示装置
３０  開始
３１〜３４  ブロック
３５  パラメータ分配アルゴリズム
３６  ブロック      
【図１】
2010537330.tif 000003
【図２】
2010537330.tif 000004
【図３】
2010537330.tif 000005
【図４】
2010537330.tif 000006
【図５】
2010537330.tif 000007
【国際調査報告】
2010537330.tif 000008
2010537330.tif 000009
2010537330.tif 000010
2010537330.tif 000011
2010537330.tif 000012
2010537330.tif 000013