(57)【要約】  本発明は、少なくとも１つのカメラ（４）の外因的較正のために少なくとも１つの車両側カメラ（４）により連続的に捕捉される自動車両（１）の環境領域（９）の少なくとも２つの画像（１３）に基づいて自動車両（１）の道路（１０）付近の物体（１２）を検出するための方法であって、画像（１３）が少なくとも部分的に路面（１１）のテクスチャを表示し、  ａ）少なくとも２つの画像（１３）に基づいて少なくとも２つの相互に対応するブロック（１４）を決定するステップと、  ｂ）相互に対応するブロック（１４）の少なくとも２つの対のそれぞれに関してそれぞれの動きベクトルを決定するステップと、  ｃ）少なくとも２つの動きベクトルに基づいて少なくとも２つの画像（１３）に関する深度情報を決定するステップと、  ｄ）深度情報に基づいて物体（１２）を検出するステップと  が行われる方法に関する。  また、本発明は、コンピュータデバイス（３）、運転者支援システム（２）、及び、自動車両（１）に関する。
2019511780.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも１つのカメラ（４）の外因的較正のために少なくとも１つの車両側カメラ（４）により連続的に捕捉される自動車両（１）の環境領域（９）の少なくとも２つの画像（１３）に基づいて自動車両（１）の道路（１０）付近の物体（１２）を検出するための方法であって、前記画像（１３）が少なくとも部分的に路面（１１）のテクスチャを表示し、
ａ）前記少なくとも２つの画像（１３）に基づいて少なくとも２つの相互に対応するブロック（１４）を決定するステップと、
ｂ）前記相互に対応するブロック（１４）の少なくとも２つの対のそれぞれに関してそれぞれの動きベクトルを決定するステップと、
ｃ）前記少なくとも２つの動きベクトルに基づいて前記少なくとも２つの画像（１３）に関する深度情報を決定するステップと、
ｄ）前記深度情報に基づいて前記物体（１２）を検出するステップと
が行われる方法。
【請求項２】
前記深度情報を決定するために、前記少なくとも２つの動きベクトルのそれぞれの長さ（ｌ１，ｌ２）が決定され、前記少なくとも２つの動きベクトルの長さ（ｌ１，ｌ２）間の差に基づいて前記物体（１２）が検出されることを特徴とする請求項１に記載の方法。
【請求項３】
前記少なくとも２つの画像（１３）は、縦列及び横列（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）を成して配置される複数のブロック（１４）に分割され、特定の横列（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）及び縦列に関連する決定された動きベクトルがそれぞれ決定され、２つの隣り合う横列（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）に関連する２つの動きベクトル間の差は、前の隣り合う横列（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）の全体にわたる前記動きベクトルから各横列（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）の全体にわたる前記動きベクトルを差し引くことによって決定されることを特徴とする請求項２に記載の方法。
【請求項４】
異常値を除去するために、各横列（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）の全体にわたる全ての差に対してメジアンフィルタが適用されることを特徴とする請求項３に記載の方法。
【請求項５】
２つの隣り合う横列（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）に関し、２つの隣り合う横列（Ｒ１、Ｒ２、Ｒ３、Ｒ４、Ｒ５、Ｒ６）に関して計算される差に基づいて平均差が計算され、前記平均差が所定の閾値を超える場合に前記物体（１２）が検出されることを特徴とする請求項３又は４に記載の方法。
【請求項６】
前記物体（１２）を検出するために、前記動きベクトルは、前記自動車両（１）の所定の最小速度の場合にのみ前記少なくとも２つの画像（１３）に基づいて決定されることを特徴とする請求項１から５のいずれか一項に記載の方法。
【請求項７】
各対の動きベクトルと所定のベクトルとの間の偏差を表すコスト関数が決定され、前記コスト関数を最小にすることによって対応するブロック（１４）のそれぞれの対ごとに部分的に回転補償される動きベクトル（ｖｉ，ｃ１，ｖｉ，ｃ２）が決定され、前記部分的に回転補償される動きベクトル（ｖｉ，ｃ１，ｖｉ，ｃ２）に基づいて前記深度情報が決定されることを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記コスト関数は、所定の方向に沿う２つの対応するブロックの変位を表す前記動きベクトルの第１の成分のみに基づいて決定されることを特徴とする請求項７に記載の方法。
【請求項９】
ステップ（ｄ）において前記物体（１２）の不在を検出する場合、前記少なくとも２つの画像に基づく前記カメラ（４）の外因的較正を含むステップｆ）が実行され、少なくとも１つの前記カメラ（４）の回転は、前記部分的に回転補償される動きベクトル（ｖｉ，ｃ１，ｖｉ，ｃ２）の長さを等しくすることによって前記部分的に回転補償される動きベクトル（ｖｉ，ｃ１，ｖｉ，ｃ２）に基づいて較正され、前記カメラ（４）の高さが、等しくされた長さと前記等しくされた長さの期待値とに応じて前記カメラ（４）の現在の高さを決定することによって較正されることを特徴とする請求項７又は８に記載の方法。
【請求項１０】
前記等しくされた長さに関する期待値は、前記自動車両（１）の速度に応じて事前に設定され、前記自動車両（１）の前記速度は、オドメトリによって決定され及び／又は前記自動車両（１）の少なくとも１つの更なるカメラ（４）により捕捉される画像（１３）に基づいて決定される少なくとも１つの更なる動きベクトルに基づいて決定されることを特徴とする請求項９に記載の方法。
【請求項１１】
魚眼レンズを備えるカメラ（４）により捕捉される画像（１３）の場合、ステップｅ）がステップａ）の前に実行され、ステップｅ）では前記画像（１３）の魚眼歪みが除去されることを特徴とする請求項１から１０のいずれか一項に記載の方法。
【請求項１２】
請求項１から１１のいずれか一項に記載の方法を実行するように適合した自動車両（１）の運転者支援システム（２）のためのコンピュータデバイス（３）。
【請求項１３】
少なくとも１つのカメラ（４）と請求項１２に記載のコンピュータデバイス（３）とを備える自動車両（１）のための運転者支援システム（２）。
【請求項１４】
請求項１３に記載の運転者支援システム（２）を有する自動車両（１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、少なくとも１つのカメラの外因的較正のために少なくとも１つの車両側カメラによって連続的に捕捉される自動車両の環境領域の少なくとも２つの画像に基づいて自動車両の道路付近の物体を検出するための方法に関する。また、本発明は、コンピュータデバイス、運転者支援システム、及び、運転者支援システムを伴う自動車両に関する。
【背景技術】
【０００２】
現在、関心は自動車両用のカメラに焦点を合わせる。カメラは、環境領域を写真又は画像で捕捉するようになっている。画像から抽出される情報を自動車両の運転者支援システムに与えることができる。そのような情報は、自動車両近傍の物体又は障害物の存在を含み得る。物体検出は、従来技術から、例えば、車両に配置される撮像装置と、車両の前方のシーンを表す２次元画像を撮像装置から受けるコントローラとを含む物体検出システムについて記載する例えば米国特許出願公開第２００７／１２７７７８号明細書から知られている。
【０００３】
更に、物体は、一般に前方又は後方に面するカメラからの道路境界としての縁石の長距離検出及び定位に合わせて調整されるステレオカメラ、ＬＩＤＡＲ、又は、他の手段によって得られる３Ｄ距離データから導出され得る。そのような従来技術は、一般に、首尾よく縁石の位置を特定して縁石を特徴付けるためにしばしば画像−輝度エッジ情報と組み合わされる３Ｄポイントクラウドの複雑な解析を伴う。幾つかの用途では、カメラにより捕捉される画像中の物体の存在を検出することが主な関心事になる。特に、平均的な地表面よりも上方又は下方にある道路付近の長尺な環境的特徴の存在が検出されるべきである。それらの長尺な特徴は、壁、縁石、溝、植生、又は、停止車両であってもよい。この場合、これらの物体の特性の分類又は特徴付けは必要とされないため、複雑な解析が不要である。
【発明の概要】
【０００４】
本発明の目的は、画像中の物体を特に高速に且つ信頼できる態様で少ない労力によりどのようにして検出できるかについての解決策を提供することである。
【０００５】
本発明によれば、この目的は、それぞれの独立請求項に係る特徴を備える方法、コンピュータデバイス、運転者支援システム、及び、自動車両によって解決される。本発明の有利な実施形態は、従属請求項、明細書本文、及び、図の主題である。
【０００６】
本発明の一実施形態では、少なくとも１つのカメラの外因的較正のために少なくとも１つの車両側カメラによって連続的に捕捉される自動車両の環境領域の少なくとも２つの画像に特に基づいて自動車両の道路付近の物体を検出するのに役立つ方法が提供される。この場合、画像は路面のテクスチャを少なくとも部分的に表示する。更に、少なくとも２つの画像に基づいて少なくとも２つの相互に対応するブロックを決定することができ、相互に対応するブロックの少なくとも２つの対のそれぞれに関してそれぞれの動きベクトルが決定され、少なくとも２つの動きベクトルに基づいて少なくとも２つの画像に関する深度情報が決定される。また、深度情報に基づいて物体を検出することができる。
【０００７】
本発明の好ましい実施形態では、少なくとも１つのカメラの外因的較正のために少なくとも１つの車両側カメラによって連続的に捕捉される自動車両の環境領域の少なくとも２つの画像に基づいて自動車両の道路付近の物体を検出するのに役立つ方法が提供される。この場合、画像は少なくとも部分的に路面のテクスチャを表示する。更に、少なくとも２つの画像に基づいて少なくとも２つの相互に対応するブロックが決定される。相互に対応するブロックの少なくとも２つの対のそれぞれに関してそれぞれの動きベクトルが決定され、また、少なくとも２つの動きベクトルに基づいて少なくとも２つの画像に関する深度情報が決定される。また、深度情報に基づいて物体が検出される。
【０００８】
この方法によって、自動車両の少なくとも１つのカメラの信頼できる動作状態をもたらすことができる。車両は、サラウンドビューカメラシステムを形成する４つのカメラを備えることができ、その場合、第１のカメラを自動車両の前方領域に配置でき、第２のカメラを自動車両の後方領域に配置でき、第３のカメラを自動車両の運転者側、特に運転者側のサイドミラーに配置することができ、及び、第４のカメラを自動車両の助手席側、特に助手席側のサイドミラーに配置することができる。カメラは、画角、したがって、カメラの検出範囲を拡大するために魚眼レンズを備えることができる。
【０００９】
カメラは、自動車両の３次元環境領域を２次元画像又は写真で表すようになっている。したがって、通常、環境領域の３Ｄ世界座標を画像の２Ｄピクセル座標にマッピングするためのカメラモデルが与えられる。カメラモデルは、通常、焦点距離、画像センサフォーマット、及び、主点のような内因性カメラパラメータと、カメラの姿勢とも称されるカメラの空間的な向き及び高さのような外因性カメラパラメータとに依存し、外因性パラメータは一般に初期設定で設定される。それらの外因性パラメータは、例えば、車両製造プロセスにおける機械的な公差に起因して、エアマティックサスペンションに起因して、又は、搭乗者数又は車両のトランク内の重量などの車両における荷重変化に起因して、カメラの実際の現在の外因性パラメータを表さない場合がある。これらの誤った外因性パラメータは、レンダリングプロセス又は画像合成に悪影響を及ぼし得る。したがって、自動車両の運転者支援システムに対して与えられ得る信頼できる画像を得るためにカメラを較正する必要がある。
【００１０】
確実に且つ効率的に作用する較正方法をもたらすために、本発明に係る方法の１つの目的は、壁、縁石、溝、植生、又は、停止車両などの平均的な地表面よりも上方又は下方にある道路付近の長尺な環境的特徴又は物体の存在を検出することである。これは、それらが較正方法に悪影響を及ぼすからである。この際、特にこれらの物体の特性を分類又は特徴付ける必要はなく、車両が物体、例えば縁石とほぼ平行に真っ直ぐ走行している間に車両に取り付けられる少なくとも１つのカメラから取得される一対の画像フレーム中の物体の存在を検出すれば済む。したがって、そのような物体の存在によって偏らない、カメラによって捕捉される画像に基づく自律的な道路ベースの較正方法を提供できる。特に、そのような長尺な特徴を備える同定された画像は、不適切なフレームとしてタグ付けされ、したがって拒絶される。本方法は、少なくとも１つのカメラにより捕捉される少なくとも２つの画像に基づいてそのような物体を同定するようになっている車両側コンピュータデバイスによって実行され得る。
【００１１】
まず最初に、画像内の対応するブロックを見つけるために少なくとも２つの画像に基づいていわゆるブロックマッチング操作が実行される。対応するブロックは、同じ環境領域を少なくとも部分的に表示する２つの画像フレーム又はビデオフレームの画像領域であると理解される。言い換えると、各対は、それぞれの路面領域を描写する第１の画像の第１の画像領域としての第１のブロックと、対応する第１のブロックの路面領域を少なくとも部分的に描写する第２の画像の第２の画像領域としての第２のブロックとを備える。ブロックマッチングのために、少なくとも２つの第１のブロックを第１の画像内の所定の固定位置で基準ブロックとして選択できる。基準ブロックが隣り合っていてもよく又は重なり合っていてもよく、また、それらの形状は、長方形、円形、又は、他のものであってもよい。好ましくは、隣り合う長方形ブロックは、規則的なグリッド上に、或いはむしろ、横列及び縦列を成して配置される。ブロックサイズは、特に画質に応じて、例えば８×８ピクセル、１６×１６ピクセル、２４×２４ピクセル、３２×３２ピクセル又はそれ以上といったように変化し得る。このとき、対応する第１のブロックと同じ描写を少なくとも部分的に備えるこれらの第２のブロックに関して、少なくとも１つの第２の画像、例えば、前のフレームが探索される。各ブロック内のピクセルは、計算を有利にスピードアップするためにマッチング操作中にスキップされ又はサブサンプリングされてもよい。
【００１２】
そのようなブロックマッチング操作は、画像内又は画像中の所定の探索領域内の全ての想定し得る位置がチェックされる網羅的探索操作アルゴリズムとも称される全探索操作、及び、ダイヤモンド探索又は六角形ベース探索などの勾配降下に基づく方法であってもよい。少なくとも２つの画像中の対応するブロックを同定するために、相互相関、絶対差の和、平方差の和、又は、より高度な方法、例えば絶対変換差の和、ランク、センサス、周波数領域法などのブロック歪み指標とも称されるコスト関数を使用することができる。
【００１３】
それぞれの第１のブロックに対応するこれらの第２のブロックを同定するために、第２のブロックに関して探索される探索領域として第２の画像の部分領域が規定されれば有利であることが分かる。探索領域は、第２のブロックの予期される位置を含む少なくとも１つの第２の写真内の画像領域である。この探索領域を規定することにより、第２のブロックを非常に高速に見つけることができる。特に、少なくとも１つの第２の画像内の探索領域の位置及び／又はサイズは、自動車両の現在の速度に応じて決定され、或いは、探索領域の所定の位置及び／又はサイズは、少なくとも１つの第２の画像内で予め決定される。探索領域は、自動車両の速度の現在の値から導き出される予測にしたがって各フレーム内に動的に位置され得る。或いは、所定の探索領域を使用でき、この場合、位置及び／又はサイズは、自動車両の所定の動作速度範囲及び２つの画像内のブロックの予期される変位がカバーされるように予め設定される。
【００１４】
少なくとも２つの画像内の相互に対応するブロックを同定した後、相互に対応するブロックのそれぞれの対ごとに動きベクトル又は変位ベクトルが決定される。相互に対応するブロックの２つの対に関して、２つの動きベクトルが決定される。動きベクトルは、車両の動きによってもたらされ、ピクセル位置又は２つのシーケンス画像間の２つの対応するブロックの位置の変位を表す。動きベクトルは、第１のｘ成分及び第２のｙ成分を伴う画像座標で与えられる２次元ベクトルによって表され得る。ｘ軸は、特に、自動車両のほぼ真っ直ぐな運転方向に対応し、長尺物体の配向方向と平行に或いはむしろ道路のエッジと平行に向けられる。
【００１５】
動きベクトルを用いて、少なくとも２つの写真から深度情報を抽出することができる。本発明は、一対のフレームから導き出される動きベクトルが実際にはステレオ対応であって例えば三角測量及び既知のエゴモーションを介して抽出され得る３Ｄ深度情報を含むという知識に基づく。車両、したがってカメラエゴモーションは、自動車両の車載オドメトリセンサから導き出され得る又は動きベクトルから計算的に推定され得る。これは視覚オドメトリとも称される。また、バンドル調整によって深度情報とエゴモーション情報とを同時に得ることもできる。カメラの較正に関しては道路付近の物体の存在のみが決定的に重要であるため、地面の適切な３次元再構成を放棄することができる。むしろ、縁石又は同様の特徴の存在を示す道路付近の深度の突然の変化は、動きベクトルによって検出される。
【００１６】
要約すると、本発明に係る方法は、それが物体を分類することなく深度情報のみを解析するという利点を有する。したがって、画像内の物体は、非常に高速に且つ低い計算労力で検出され得る。
【００１７】
特に好ましくは、深度情報を決定するために、少なくとも２つの動きベクトルのそれぞれの長さが決定され、また、少なくとも２つの動きベクトルの長さ間の差に基づいて物体が検出される。本発明は、路面付近の長尺な特徴のようなより高い物体が、路面のテクスチャのような地面上の特徴よりもカメラに対してより近く、したがって、地面上の特徴よりも長い動きベクトル或いはむしろより大きい視差をもたらすという利点を有する。したがって、２つの動きベクトルの長さに関する値を解析又は比較することによって深度情報を容易に導出することができる。
【００１８】
有利な実施形態において、少なくとも２つの画像は、縦列及び横列を成して配置される複数のブロックに分割され、この場合、特定の横列及び縦列に関連する決定された動きベクトルがそれぞれ決定され、２つの隣り合う横列に関連する２つの動きベクトル間の差は、前の隣り合う横列の全体にわたる動きベクトルから各横列の全体にわたる動きベクトルを差し引くことによって決定される。このことは、対応するブロックのそれぞれの対が１つの写真中、特に第２の画像中の特定の横列及び特定の縦列に関連することを意味する。隣り合う横列間の動きベクトルの長さの突然の変化によって、一対のフレーム内の長尺物体の存在を推測できるため、各横列の全体にわたる動きベクトルは、前の横列における対応する動きベクトルから差し引かれる。言い換えると、特定の縦列及び特定の横列に関する各動きベクトルは、同じ縦列及び前の横列に関する動きから差し引かれる。したがって、２つの隣り合う横列に関して、縦列の数と適合する差の数が決定される。好ましくは、異常値を除去するために、各横列の全体にわたる全ての差に対してメジアンフィルタが適用される。言い換えると、メジアンフィルタは、２つの隣り合う横列に関して決定される全ての差に適用される。異常値の除去は、コンピュータデバイスによる特徴の誤検出を防止する。
【００１９】
２つの隣り合う横列に関し、２つの隣り合う横列に関して計算される差に基づいて平均差が計算され、平均差が所定の閾値を超える場合に物体が検出されれば有利であることが分かる。言い換えると、平均差は、２つの隣り合う横列に関して単一のスコアを得るために計算される。このスコアは閾値と比較され、その場合、スコアが閾値を超えれば長尺物体の存在が検出され、スコアが閾値未満であれば不在が検出される。したがって、スコアは、縁石の存在又は一般に地面の深さの突然の変化に関するバイナリ分類子を与える。
【００２０】
本発明の進展においては、物体を検出するために、動きベクトルは、自動車両の所定の最小速度の場合にのみ少なくとも２つの画像に基づいて決定される。このことは、自動車両の最低速度条件に起因して入力フレームが最小所要移動距離だけ離間されることを意味する。これは、僅かなピクセルの最小長さ、したがって相対誤差を殆ど伴わない最小長さを有する抽出された動きベクトルをもたらす。これは、車両の通常の運転速度で及び／又は非常に低速でフレームをスキップすることによって達成され得る。自動車両の最低速度を確保することにより、観測ノイズ、地面の不規則性、及び、短い運動ベクトルにより引き起こされる車両振動の影響によって注入される誤差が低減される。
【００２１】
好ましくは、各対の動きベクトルと所定のベクトルとの間の偏差を表すコスト関数が決定され、コスト関数を最小にすることによってそれぞれの対ごとに部分的に回転補償される動きベクトルが決定され、部分的に回転補償される動きベクトルに基づいて深度情報が決定される。このステップ内では、ブロックマッチング操作により生成される動きベクトルを解析することにより接地面に対する少なくとも１つのカメラの３−ＤＯＦ（自由度）空間方向の特に２つの空間方向成分を見つけることによって部分的な外因的較正が実行される。また、カメラの向きは、較正されるべき第１の外因性パラメータである。向きは、例えば、世界座標系の固定されたＸ、Ｙ、Ｚ軸の周りで順々に回転するロール・ピッチ・ヨー回転方式で表すことができ、この場合、Ｘ軸は縦車両軸に沿って向けられ、Ｙ軸は横車両軸に沿って向けられ、及び、Ｚ軸は垂直車両軸に沿って向けられる。
【００２２】
路面上又は接地面上の動きベクトルの幾何学的特性、及び、ほぼ直線的な運転の制約を特に利用する最小化されるべき損失関数又はコスト関数が定式化される。較正されたシステムは、平坦な地面上を真っ直ぐに運転している状態で、遠近歪みがない動きベクトル、すなわち、（画像フレーム内で）全てが水平なｘ軸と平行で且つ長さが等しい動きベクトルをもたらすはずである。それに応じて、コスト関数は、現在の実際の状態と理想状態との間の差を示す。したがって、所定のベクトルは、水平軸と平行な歪みのないベクトルである。３つの未知の外因性回転のうちの２つを補償するために、コスト関数は、所定の方向に沿う２つの対応するブロックの変位を表す動きベクトルの第１の成分のみに基づいて決定される。特に、コスト関数は、動きベクトルのｙ成分に応じて決定される。コスト関数は、全ての動きベクトルを特にそれらの長さを等しくすることなく水平にするように最小化される。水平ｘ軸と平行に向けられる方向を伴う動きベクトルは、部分的に回転補償される動きベクトルである。特に、これらの部分的な回転補償は、深度情報を抽出するために使用される。より正確には、部分的に回転補償されるベクトルの長さの値が決定される。差は、前の横列における対応する回転較正される動きベクトルから横列の全体にわたる回転較正される動きベクトルを差し引くことによって決定される。特に、異常値を除去するためにメジアンフィルタが各横列の全体にわたるこれらの差で適用される。その結果、所定の閾値との比較のためにその横列に関する単一のスコアを得るべく平均差が計算される。カメラを部分的に較正することによって、誤検出或いはむしろ長尺物体の存在の誤った検出を回避できる。
【００２３】
本発明の有利な進展では、物体の不在を検出する場合、少なくとも２つの画像に基づくカメラの外因的較正が実行され、この場合、少なくとも１つのカメラの回転は、部分的に回転補償される動きベクトルの長さを等しくすることによって部分的に回転補償される動きベクトルに基づいて較正され、また、カメラの高さが、等しくされた長さと等しくされた長さの期待値とに応じてカメラの現在の高さを決定することによって較正される。このステップ内では、方向較正を完了して高さ較正を更に実行することによって外因的較正が完了される。
【００２４】
特に、カメラの外因的較正、いわゆる動き追跡較正（ＭＴＣ）操作が、自動車両の近傍の路面又は地面を少なくとも部分的に示す少なくとも１つのカメラによって捕捉される画像とタールマックなどの表面上に存在するが物体を示さないテクスチャとに基づいて行われる。路面のテクスチャを表示するこれらの画像を使用して、コンピュータデバイスは、更に、特にコーナー、輪郭、エッジ、又は、ラインなどの対象の任意の特定の特徴が画像上に存在する必要なく、カメラを較正するようになっている。
【００２５】
まず最初に、回転補償されるベクトルは、動きベクトルの長さを等しくすることによって導き出される。その結果、較正されるべき第２の外因性パラメータとしてのカメラの高さが、コスト関数の最小化により導き出される等しくされた回転補償動きベクトルを解析することによって決定される。高さは、地面からの各カメラの絶対高さ又は自動車両のカメラ間の相対的な高さであってもよい。
【００２６】
カメラの補正されて回転較正された動きベクトルの長さは、車両の速さ又は速度に比例し、接地面からのカメラの高さに反比例する。予期される長さは、所定のベクトルの長さに対応し、自動車両の速度に依存する。したがって、長さの期待値は、好適には、車両の速度に応じて予め設定される。特に、自動車両の速度は、自動車両のオドメトリによって及び／又は少なくとも１つの更なる動きベクトルに基づいて決定され、少なくとも１つの更なる動きベクトルは、自動車両の少なくとも１つの更なるカメラによって捕捉される画像に基づいて決定される。オドメトリは、車両の経時的な位置変化を推定するための自動車両の動きセンサからのデータ、例えば、車輪回転、操向角等の使用である。これに加えて又は代えて、複数のカメラからの動きベクトルを考慮できる。したがって、カメラの高さは、再投影された動きベクトルが全てのカメラにおいて等しい長さを有するように各カメラの高さの値を調整することによって決定され得る。この目的のために、ミラー左カメラ及びミラー右カメラの動きベクトルの平均長さが基準として解釈されて、他のカメラの高さの値がそれに適合するように調整されれば有利であるのが分かる。これは、ミラーカメラが自動車両の荷重変化によって殆ど影響されないからである。
【００２７】
カメラの外因的較正は、画像又は画像領域のみに基づいて行われ、その画像又は画像領域では長尺物体の不在が検出された。したがって、ＭＴＣは、タールマックなどの凹凸表面のみを必要とし、この凹凸表面上で、ＭＴＣは、線又は点状の特徴の代わりに多数の特徴を同時に追跡する。これらの特徴は、その存在を常に待つことなく想定できるグリッド上の所定の位置におけるテクスチャの特に小さいブロックである。それらのブロックは、較正への入力として動きベクトルのセットを与えるブロックマッチング操作を使用して一対のフレーム内でマッチングされる。言い換えると、良好な強い特徴が画像内にランダムに現れるのを待たないで済む。動きベクトルを使用する較正中、長尺物体を表示する画像は、動きベクトルにより与えられる深度情報によって同定されて効率的に拒絶され得る。
【００２８】
路面又は地面に対するカメラの３−ＤＯＦ方向を求める大部分の自律的な道路ベースの較正アルゴリズムは、特に地面上の特徴又は特徴のサブセットをマッチングさせる又は追跡することによって何らかの時点で地面基準を得る必要があるため、真に地面上にある特徴と特徴及び観測ノイズの疎な検出に起因して地面に接近する特徴との間を区別することが難しい場合がある。しかしながら、無条件に全ての特徴マッチを受け入れることは、外因的較正を計算するときに、特に、縁石付近で運転するときなど、地面から外れた特徴が多数のフレームで持続的に発生するときに重大な誤差をもたらし得る。したがって、そのような特徴を表示するフレームを認識して特に除去することが非常に有益である。
【００２９】
魚眼レンズを備えるカメラにより捕捉される画像の場合には相互に対応するブロックを同定する前に画像の魚眼歪みが除去されれば有利であるのが分かる。このステップでは、ブロックマッチング操作を行う前に、魚眼カメラにより捕捉される環境領域或いはむしろ路面のいわゆる仮想平面図が生成される。そのため、魚眼歪み画像の形態を成すカメラ画像は、各カメラの既知の内因的較正又は内因性パラメータと、最初に、例えば未較正カメラで名目上のデフォルト外因的較正と同じである現在の外因的較正とにしたがって変換され得る。したがって、魚眼歪みを画像から完全に除去することができる。仮想平面図は、ルックアップテーブルを用いて生成されてもよく、また、画質、したがってトラッキング性能を向上させるためにレンダリング中にアンチエイリアシングフィルタを組み込んでもよい。これは、それが画像内の対象の長方形領域（ＲＯＩ）又はブロックを許容するため、非常に有益である。それにより、フレーム間のテクスチャの外観が標準化され、その結果、トラッキング性能が大幅に向上されるとともに、ピクセルレベルの偏りやシステム誤差が較正から除去される。したがって、仮想平面図は、地面上の全ての特徴に関してスケール、回転、アファイン、及び、遠近不変性を自動的に与える。
【００３０】
本発明は、更に、本発明に係る方法を実行するようになっている自動車両の運転者支援システムのためのコンピュータデバイスに関する。コンピュータデバイスを車両側制御ユニットに組み込むことができる。コンピュータデバイスは、少なくとも１つの車両側カメラによって捕捉される画像中の長尺な物体の有無を検出するようになっている。更に、コンピュータデバイスは、車両動作中に画像によって少なくとも１つのカメラを、特に各車両側カメラを個々に較正するようになっており、画像は特にテクスチャを表示して長尺物体を表示しない。
【００３１】
更に、本発明は、加えて、少なくとも１つのカメラと本発明に係るコンピュータデバイスとを備える自動車両のための運転者支援システムに関する。運転者支援は、車両の環境領域を監視するカメラによって車両の運転者をサポートする。運転者支援システムは、サラウンドビューカメラシステムを形成する４つのカメラを備えることができる。また、カメラは、カメラの検出領域を拡大する魚眼レンズを備えることもできる。運転者支援システムは、較正されたカメラによって捕捉される画像中の物体を確実に検出することができ、したがって、例えば自動車両と検出物体との差し迫った衝突を検出する際に警告信号を生成する又は自動車両を自動的に制動することによって、車両の運転者をサポートできる。
【００３２】
本発明に係る自動車両は、本発明に係る運転者支援システムを含む。自動車両は特に乗用車として構成される。
【００３３】
これに対応して、本発明に係る方法に関して与えられる好ましい実施形態及びその利点は、コンピュータデバイス、本発明に係る運転者支援システム、及び、本発明に係る自動車両に適用される。
【００３４】
本発明の更なる特徴は、特許請求の範囲、図、及び、図の説明から明らかである。明細書本文において先に言及された特徴及び特徴の組合せ、並びに、図の説明において以下で言及される及び／又は図のみに示される特徴及び特徴の組合せは、本発明の範囲から逸脱することなく、それぞれに特定された組合せで使用できるだけでなく、他の組合せでも又は単独でも使用できる。したがって、図に明示的に示されて説明されないが説明された実施とは別個の特徴の組合せから生じて生み出され得る実施も本発明によって包含されて開示されると見なされるべきである。このように最初に編成された独立請求項の特徴の全てを有さない実施及び特徴の組合せも開示されたものと見なされるべきである。更に、特許請求の範囲に関連して記載された特徴の組合せを越えて広がる又は逸脱する実施及び特徴の組合せも、特に先に示された説明によって、開示されていると見なされるべきである。
【００３５】
ここで、好ましい実施形態に基づいて並びに添付図面を参照して本発明を更に詳しく説明する。
【図面の簡単な説明】
【００３６】
【図１】本発明に係る自動車両の一実施形態の概略図である。
【図２】本発明に係る方法の一実施形態のフローチャートの概略図である。
【図３】ブロックに分割された画像の概略図及び動きベクトルの概略図である。
【発明を実施するための形態】
【００３７】
図１は、本発明に係る自動車両１を示す。この場合、自動車両１は乗用車として構成される。自動車両１は、該自動車両１の運転者をサポートするための運転者支援システム２を有する。運転者支援システム２は、例えば車両側制御ユニットによって形成され得るコンピュータデバイス３を備える。加えて、運転者支援システム２は少なくとも１つのカメラ４を備える。この場合、運転者支援システム２は４つのカメラ４を含み、第１のカメラ４は自動車両１の前方領域５に配置され、第２のカメラ４は自動車両１の後方領域６に配置され、第３のカメラ４は、自動車両１の運転者側７、特に運転者側７のサイドミラーに配置され、及び、第４のカメラ４は、自動車両１の助手席側８、特に助手席側８のサイドミラーに配置される。運転者側７及び助手席側８に配置されるカメラ４はサイドミラーに取って代わることもでき、それにより、自動車両１は、ミラー無し運転を可能にするミラーレス車両１として設計され得る。カメラ４によって、自動車両１の環境領域９を画像中に捕捉できる。カメラ４は、画角、したがって、カメラ４の検出範囲を拡大するために魚眼レンズを備えることができる。
【００３８】
カメラ４は、自動車両１の３次元環境領域９を２次元画像の形態で表示するようになっている。したがって、カメラ４は、該カメラ４の内因性パラメータ及び外因性パラメータの知識に基づいて３Ｄ世界座標を２Ｄピクセル座標へ変換することができる。例えば、そのような内因性パラメータは、カメラ４の焦点距離及びイメージセンサフォーマットである。外因性パラメータは、特に、カメラ４の空間的な向きとロール・ピッチ・ヨー座標系Ｘ、Ｙ、Ｚで与えられるカメラ４の高さとを表すカメラ４の姿勢を含む。カメラ４は、車両の荷重に起因して又は自動車両１の移動中の衝撃に起因してカメラの姿勢を変える場合があるため、コンピュータデバイス３は、道路１０上での車両１の移動中に、特にほぼ真っ直ぐな移動中に、各カメラ４の外因的較正を個別に行うようになっている。
【００３９】
したがって、較正されるべきカメラ４は少なくとも２つの画像を連続して捕捉し、その場合、画像は道路１０の路面１１上のテクスチャを少なくとも部分的に表示する。テクスチャは特にタールマックを備える。少なくとも２つの画像を使用してカメラ４を較正するために、コンピュータデバイス３は、自律的な道路ベースの外因的較正方法、いわゆる動き追跡較正ＭＴＣを実行するようになっている。較正方法は、特に受け入れ可能な速度許容範囲内及び操向許容範囲内で自動車両１が移動している間、特にカメラ４からの連続画像又は画像フレームの対を解析することによって単一の較正結果をもたらす。
【００４０】
ここで、自動車両１は、道路１０付近の長尺物体１２と平行に走行している。この場合、物体１２は縁石である。物体１２は、壁、溝、植生、又は、停止車両であってもよい。これらの物体１２がカメラ４により捕捉される画像中に存在する場合には、較正が偏る可能性がある。したがって、平均的な地表面よりも上方又は下方にある道路１０付近の長尺な環境物体１２又は特徴の存在が検出されるべきである。これらの物体の特性を分類又は特徴付けようと試みるのではなく、車両１が縁石又は物体１２とほぼ平行に真っ直ぐ走行している間に例えば車両１に取り付けられる未較正カメラ４から取得される一対の画像フレーム中の物体の存在を検出することのみを試みる。そのような長尺な特徴１２を認識する場合には、そのような物体１２の存在によって偏らない較正をもたらすべく、それぞれのフレームを不適切なフレームとしてラベル付けする、したがって拒絶することができる。これらの物体１２を検出するために、コンピュータデバイス３は、図２に概略的に示される方法を実行するようになっている。
【００４１】
第１のステップＳ１では、同じカメラ４からの２つのフレームを、そのカメラ４の既知の内因的で且つ名目上外因的な較正を使用して、仮想平面図へと、いわゆるトップダウン透視図へと修正することができる。特に、ステップＳ１は、カメラ４によって捕捉される画像から魚眼歪みを除去するために、魚眼レンズを有するカメラ４の場合に実行される。名目上外因的な較正は、機械的仕様によって与えられ、特に、カメラ４の取り付けにおける機械的な公差に起因する何らかの誤差を組み入れる。これは、何らかの遠近歪みを示す理想的でない傾斜した仮想平面図をもたらし得る。
【００４２】
第２のステップＳ２では、各カメラ４に関連するセクションにおいて、２つの画像１３間で、特に仮想平面図間でピクセルの小さい長方形ブロック１４（図３参照）をマッチングさせるブロックマッチング操作が実行される。画像１３は画像座標ｘ、ｙで表される。
【００４３】
１つのフレーム内、すなわち、第１の画像内の所定の固定位置で基準ブロックを選択することができ、また、他のフレーム内、例えば前の第２の画像内の所定の探索領域内で基準ブロックを探索することができる。基準ブロックが隣り合っていてもよく又は重なり合っていてもよく、また、それらの形状は、長方形、円形、又は、他のものであってもよい。一般に、規則的なグリッド上に配置される隣り合う長方形ブロックが使用される。ブロックサイズは、画質及び平面図のスケールに応じて変化し得る（例えば、８×８，１６×１６，２４×２４，３２×３２ピクセル以上）。各ブロック１４内のピクセルは、高速演算に対するマッチング操作中にスキップされ、特にサブサンプリングされてもよい。２つの画像内の２つの相互に対応するブロック１４を同定した後、対応するブロック１４のそれぞれの対ごとに、車両の動きに起因する画像１３間の特定の路面領域を表示する１つの画像領域の位置の変位を表す動きベクトル又は変位ベクトルが決定される。言い換えると、ブロックマッチングステップＳ３は、それぞれのカメラ４ごとに動きベクトルのセットをもたらす。
【００４４】
探索領域は、現在の較正から導き出される予測と車両側ネットワーク、例えばＣＡＮ又はＦｌｅｘＲａｙで公開され得る車両オドメトリとにしたがって、各フレーム内に動的に位置され得る。車両オドメトリの使用は、必須ではないが、アルゴリズム設計を簡略化する。或いは、所定の動作速度範囲、したがって、２つの画像１３内のブロック１４の予期される変位をカバーする大きな所定の探索領域を使用することができる。オドメトリを使用せずに探索をスピードアップするために、マルチスケールブロックマッチング手法又は他のインテリジェント方法を使用することもできる。
【００４５】
ビデオ圧縮のための動き推定に使用されるような典型的なブロックマッチングアルゴリズムを用いることができる。これらのアルゴリズムは、所定の探索領域内の全ての想定し得る位置がチェックされる網羅的探索アルゴリズムとも称される全探索、及び、ダイヤモンド探索又は六角形ベース探索などの勾配降下に基づく方法を含むが、これらに限定されない。相互相関、絶対差の和、平方差の和、又は、より高度な方法、例えば絶対変換差の和、ランク、センサス、周波数領域法などのブロック歪み指標とも称される典型的なコスト関数を使用することができる。
【００４６】
特に、画像又は入力フレームは、抽出される動きベクトルが数ピクセルの最小長さを有し、したがって少ない相対誤差を伴うように最小所要移動距離だけ離間される。これは、自動車両１の通常の運転速度（仮想平面図のスケールにも依存する）で及び／又は自動車両１の非常に低い速度でフレームをスキップすることによって必然的に達成される。これは、観測ノイズ、地面１１の不規則性、及び、計算に誤差を注入する車両振動の影響が短い動きベクトルに伴ってより著しいという知識に基づいている。
【００４７】
第３のステップＳ３は、縦軸Ｘに対するロール回転を不変のままにして車両横軸Ｙ及び垂直軸Ｚに対するピッチカメラ回転及びヨーカメラ回転をそれぞれ補正するために抽出される動きベクトルに対して実行される部分較正ステップを形成する。この較正は、動きベクトルによって表される特徴を地面１１上に位置させる必要なく正確に実行され得る。すなわち、較正は、縁石１２又は同様の物体によって影響されない。利点は、その較正が後に誤検出をもたらす場合がある遠近誤差の大部分を除去するという点である。較正のため、接地面１１上の動きベクトルの幾何学的特性を利用する最小化されるべきコスト関数が、特にほぼ直線的な運転の制約を考慮して構築される。
【００４８】
平坦な地面上で真っ直ぐに運転する間、較正されたシステムは、遠近歪みがない仮想平面図上の動きベクトル、すなわち、全てが水平なｘ軸と平行で等しい長さを有する動きベクトルをもたらすはずである。最も簡単に、この対象は、全ての動きベクトルのｙ成分の二乗和及びｘ成分の分散によって表され得る。理想的な状態の較正されたカメラの場合、これはゼロになる。ここで、動きベクトルは、特に、動きベクトルの長さを等しくすることなく動きベクトルを全て水平にしようとする動きベクトルのｙ成分のみを使用することによって較正される。コスト関数を最小にすることによって、動きベクトルは、図３に示されるように部分的に回転補償されて較正された動きベクトルｖｉ，ｃ１，ｖｉ，ｃ２に対してマッピングされ得る。動きベクトルｖｉ，ｃ１，ｖｉ，ｃ２は、遠近歪みがなく、全てが水平ｘ軸と平行である。複数の対応するブロックに関連する部分的に回転補償された動きベクトルを路面１１又は接地面の平面上に再投影することができ、この場合、再投影されて部分的に較正された動きベクトルは、特に、縦車両軸ｘと平行に向けられる。
【００４９】
一対のフレームから導き出される動きベクトルは、実際にはステレオ対応であり、三角測量及び既知のエゴモーションを介して抽出され得る３Ｄ深度情報を含む。したがって、第４のステップＳ４において、深度情報は、長尺な物体１２を検出するために動きベクトルに基づいて画像から抽出される。車両１、したがってカメラエゴモーションは、車載オドメトリセンサから導き出され得る又は視覚オドメトリとも称される動きベクトルから計算的に推定され得る。また、バンドル調整によって深度情報とエゴモーション情報とを同時に得ることもできる。しかしながら、予測可能な車両の動き、おおよそ知られる外因的カメラ較正、及び、自動車１の近傍の地面付近の特徴を考慮して、任意の形式の計算を大幅に抑制することができる。例えば、車両１が旋回しているときにカメラ４はほぼ垂直軸Ｚの周りでのみ回転するため、車両の動きを車載オドメトリセンサから十分に予測することができる。外因的較正は、特に、任意の軸Ｘ、Ｙ、Ｚにおいて±３度の誤差の許容範囲を伴う機械的仕様から特に知られる。これらの要因を考慮するとともにそれらを計算における制約として組み入れることにより、さもなければ達成することが非常に困難な非常に安定した解決策をもたらすことができる。
【００５０】
特に主として直線的な車両の動きが関係するため、エゴモーションが簡単な並進にまで単純化し、更なる補償が必要とされない。修正されたステレオ画像対の場合、特徴点の深さ、或いはむしろ、物体１２に関連付けられる検出点は、その視差に反比例する。
【００５１】
特に、相関はｚ＝ｆ＊ｂ／ｄであり、ここで、ｚは未知の深度、ｄは既知の視差、ｆは仮想カメラの焦点距離であり、ｂはベースラインである。直線動作及び仮想平面図は、容易に修正されるステレオ画像対を与え、この場合、ベースラインは２つのフレーム間の移動距離に等しく、また、焦点距離は、仮想平面図を生成するために使用される仮想カメラの仕様によって知られている。このとき、特徴点の深度は、対応する動きベクトルｖｉ，ｃ１，ｖｉ，ｃ２の長さに等しいその視差から計算され得る。
【００５２】
より小さい深度の特徴は、通常、より大きな視差を有する。言い換えると、縁石１２などのカメラ４により近い特徴は、図３に示されるように地面１１上の特徴よりも長い動きベクトルｖｉ，ｃ２をもたらす。同様に、溝などの地面１１よりも低い特徴は、より短い動きベクトルをもたらす。図３から分かるように、第１及び第２の横列Ｒ１、Ｒ２を備える第１のブロック領域１５内の動きベクトルｖｉ，ｃ１の長さｌ１は、第３、第４、第５及び第６の横列Ｒ３、Ｒ４、Ｒ５、Ｒ６を備える第２のブロック領域１６内の動きベクトルｖｉ，ｃ２の長さｌ２よりも大きい。したがって、第１のブロック領域１５内の動きベクトルｖｉ，ｃ１は、道路１０付近の長尺な物体１２により生じ、また、第２のブロック領域１６内の動きベクトルｖｉ，ｃ２は路面１１に属する。
【００５３】
言い換えると、一対のフレームにおける縁石１２の存在は、隣り合う横列間、ここでは線１７によって視覚的に分離される第２及び第３の横列Ｒ２、Ｒ３間の動きベクトルｖｉ，ｃ１，ｖｉ，ｃ２の長さｌ１，ｌ２の突然の変化によって推測され得る。関心は深度の相対的な変化のみに向けられるため、各特徴の実際の深度を計算する必要がない。代わりに、統計値を動きベクトルｖｉ，ｃ１，ｖｉ，ｃ２の長さｌ１，ｌ２に直接に適用することができる。
【００５４】
この目的のために、発見的方法を用いることができる。各横列Ｒ１〜Ｒ６の全体にわたる動きベクトルｖｉ，ｃ１，ｖｉ，ｃ２は、前の横列Ｒ１〜Ｒ６における対応する動きベクトルｖｉ，ｃ１，ｖｉ，ｃ２から差し引かれる。異常値を除去するために、各横列Ｒ１〜Ｒ６の全体にわたるこれらの差に対してメジアンフィルタを適用することができる。その結果、平均差を計算して、その横列Ｒ１〜Ｒ６における単一のスコアを得ることができる。２つの連続する横列間、ここでは横列Ｒ２，Ｒ３間の深度の突然の変化は、より高いスコアをもたらす。スコアの分散を閾値処理することにより、縁石１２の存在又は一般に地面１１の深さの突然の変化に関するバイナリ分類子が与えられる。このヒューリスティックは、これが異なる横列Ｒ１〜Ｒ６間の動きベクトルｖｉ，ｃ１，ｖｉ，ｃ２の長さｌ１，ｌ２を均一な態様で変えるため、カメラ４のロールにおける較正誤差、すなわち、車両縦軸Ｘ周りの較正誤差を許容できる。ピッチ回転及びヨー回転における較正誤差は、ステップＳ３で既に除去されてしまっている。
【００５５】
更に、先に説明したように、深度マップは、動きベクトルｖｉ，ｃ１，ｖｉ，ｃ２或いはむしろ視差から直接に抽出され得る。その結果、３Ｄ縁石モデルを深度マップで適合できる。このモデルは、１つの平面がＺ＝０の接地面であると仮定して、異なる高さの２つの平面のうちの最も単純なものにおい存在する。縁石エッジの位置は、線又は縦軸Ｘと平行になるように制約された線によってパラメータ化され得る。それは、平面間の高さの差に関する１つのパラメータ及びその線に関する１つ又は２つのパラメータを必要とする。縁石１２の存在及び位置は、モデルパラメータ及び適合の良さから推測される。傾斜面又は曲面及び／又は湾曲縁石エッジを考慮するなど、より複雑なモデルも想定し得る。
【図１】
2019511780.tif 000003
【図２】
2019511780.tif 000004
【図３】
2019511780.tif 000005
【国際調査報告】
2019511780.tif 000006
2019511780.tif 000007
2019511780.tif 000008