(57)【要約】  本発明は、自動車両（１）のカメラ（４）によって捕捉される自動車両（１）の環境領域（９）の２つの画像間の動き推定のための方法であって、ａ）第１の画像の少なくとも２つの画像領域を第１の画像内の少なくとも２つの第１のブロック（Ｂ）として決定するステップと、ｂ）それぞれの第１のブロック（Ｂ）ごとに、第２の画像内のそれぞれの探索領域を、それぞれの第１のブロック（Ｂ）に対応する第２のブロック（Ｂ）に関して第２の画像内のそれぞれの探索領域を探索するために規定するステップと、ｃ）それぞれの第１のブロック（Ｂ）及びそのそれぞれの探索領域ごとにコスト面（１８）を決定するステップと、ｄ）コスト面（１８）に基づいて少なくとも２つの第１のブロック（Ｂ）のうちの１つに関して平均コスト面（１９）を決定するステップと、ｄ）第１の画像内の第１のブロック（Ｂ）の位置の動きを表す第１のブロック（Ｂ）のうちの１つと第２の画像内の対応する第２のブロック（Ｂ）とに関して動きベクトル（ｖ）を特定するステップとが実行される方法に関する。また、本発明は、コンピュータデバイス（３）、運転者支援システム（２）、及び自動車両（１）に関する。
2019510312.tif 000002
【特許請求の範囲】
【請求項１】
自動車両（１）のカメラ（４）によって捕捉される自動車両（１）の環境領域（９）の２つの画像間の動き推定のための方法であって、
ａ）第１の画像の少なくとも２つの画像領域を第１の画像内の少なくとも２つの第１のブロック（Ｂ）として決定するステップと、
ｂ）それぞれの前記第１のブロック（Ｂ）ごとに、第２の画像内のそれぞれの探索領域を、前記それぞれの第１のブロック（Ｂ）に対応する第２のブロック（Ｂ）に関して前記第２の画像内の前記それぞれの探索領域を探索するために規定するステップと、
ｃ）それぞれの前記第１のブロック（Ｂ）及びそのそれぞれの探索領域ごとにコスト面（１８）を決定するステップと、
ｄ）前記コスト面（１８）に基づいて少なくとも２つの前記第１のブロック（Ｂ）のうちの１つに関して平均コスト面（１９）を決定するステップと、
ｄ）前記第１の画像内の前記第１のブロック（Ｂ）及び前記第２の画像内の対応する第２のブロック（Ｂ）の位置の動きを表す前記第１のブロック（Ｂ）のうちの１つに関して動きベクトル（ｖ）を特定するステップと、
が実行される方法。
【請求項２】
前記平均コスト面（１９）の大域的最小値（２０）が決定され、前記動きベクトル（ｖ）が前記大域的最小値（２０）に応じて決定される
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記平均コスト面（１９）を決定するために、各コスト面（１８）の平均値が決定され、前記平均コスト面（１９）を決定するためのそれぞれの重み付け係数（ｗｙ）が前記平均値に基づいて決定される
ことを特徴とする請求項１又は２に記載の方法。
【請求項４】
前記重み付け係数（ｗ）がそれぞれの平均値の逆数として決定される
ことを特徴とする請求項３に記載の方法。
【請求項５】
所定の数の第１のブロック（Ｂ）を備えるスライドウインドウ（１７）が決定され、前記動きベクトル（ｖ）は、前記スライドウインドウ（１７）内の全ての第１のブロック（Ｂ）のコスト面（１８）に基づいて前記スライドウインドウ（１７）内の第１のブロック（Ｂ）のうちの１つに関して決定される
ことを特徴とする請求項１から４のいずれか一項に記載の方法。
【請求項６】
前記スライドウインドウ（１７）内の第１のブロック（Ｂ）の数は、１つの第１のブロック（Ｂ）が前記スライドウインドウ（１７）内の更なる第１のブロック（Ｂ）によって完全に取り囲まれるように予め設定され、前記動きベクトル（ｖ）は、前記更なる第１のブロック（Ｂ）によって取り囲まれる中央の第１のブロック（Ｂ）に関して決定される
ことを特徴とする請求項５に記載の方法。
【請求項７】
前記平均コスト面（１９）から得られる前記動きベクトル（ｖ）に基づいてカメラ（４）の外因性較正が行われる
ことを特徴とする請求項１から６のいずれか一項に記載の方法。
【請求項８】
前記外因性較正を行うために、前記カメラ（４）の回転公正が実行され、前記動きベクトル（ｖ）と所定のベクトルとの間の偏差を表す損失関数が決定され、前記損失関数を最小にすることによって回転補償された動きベクトルが決定される
ことを特徴とする請求項７に記載の方法。
【請求項９】
前記外因性較正を行うために、前記カメラ（４）の高さ較正が行われ、前記カメラ（４）の高さは、前記回転補償された動きベクトルの長さと前記回転補償された動きベクトルの長さの期待値とに応じて決定される
ことを特徴とする請求項８に記載の方法。
【請求項１０】
前記長さの期待値が前記自動車両（１）の速度に応じて予め設定される
ことを特徴とする請求項９に記載の方法。
【請求項１１】
前記自動車両（１）の速度は、オドメトリによって及び／又は少なくとも１つの更なるカメラ（４）に関して決定される少なくとも１つの更なる動きベクトルに基づいて決定される
ことを特徴とする請求項１０に記載の方法。
【請求項１２】
請求項１から１１のいずれか一項に記載の方法を行うようになっている自動車両（１）の運転者支援システム（２）のためのコンピュータデバイス（３）。
【請求項１３】
少なくとも１つのカメラ（４）と請求項１２に記載のコンピュータデバイス（３）とを備える自動車両（１）のための運転者支援システム（２）。
【請求項１４】
請求項１３に記載の運転者支援システム（２）を有する自動車両（１）。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車両のカメラによって捕捉される自動車両の環境領域の２つの画像間の動き推定のための方法に関する。また、本発明は、コンピュータデバイス、運転者支援システム、及び運転者支援システムを伴う自動車両に関する。
【背景技術】
【０００２】
現在、関心は自動車両用のカメラに焦点を合わせる。カメラは、画像内又はむしろビデオフレーム内の自動車両の環境領域を捕捉するようになっている。画像から抽出される情報を自動車両の運転者支援システムに与えることができる。２つのビデオフレーム間の動き推定のために、ブロックマッチングアルゴリズムを使用して、一連のビデオフレームにおいてマッチングブロック又は対応するブロック、いわゆるマクロブロックの位置を突き止めることが従来技術から知られている。
【０００３】
対応するブロックは、同じ環境領域を少なくとも部分的に表示する２つの画像フレームの画像領域であると理解される。ブロックマッチングアルゴリズムは、通常、ビデオの現在のフレームをマクロブロックに分割して、各マクロブロックとビデオの隣り合うフレーム内の対応するブロック及びその隣り合う近接部とを比較することを伴う。ある位置から他の位置へのマクロブロックの移動をモデル化する動きベクトルが生成される。フレームを構成する全てのマクロブロックに関して計算されるこの移動は、フレーム内で推定される動きを構成する。低光量又は悪天候などの厳しい環境条件では、ブロックマッチング品質、したがって、抽出された動きベクトルの精度又は有効性を一般に低下させて多数の異常値をもたらす高レベルのノイズ、動きぼやけ、及び他のアーチファクトによってビデオフレームが損なわれ得る。したがって、従来技術から知られているブロックマッチング技術は、もがきあがき、或いは、使用可能な動きベクトルを生成し損なう場合がある。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、特に悪い環境条件にもかかわらずに信頼できる態様で車両側カメラによって捕捉される画像間の動き推定をどのようにして行うことができるのかについての解決策を提供することである。
【課題を解決するための手段】
【０００５】
本発明によれば、この目的は、それぞれの独立請求項に係る特徴を備える方法、コンピュータデバイス、運転者支援システム、及び自動車両によって解決される。本発明の有利な実施形態は、従属請求項、明細書本文、及び図の主題である。
【０００６】
本発明の一実施形態では、自動車両のカメラによって捕捉される自動車両の環境領域の２つの画像間の動き推定に役立つ方法が提供される。特に、第１の画像の少なくとも２つの画像領域は、第１の画像内の少なくとも２つの第１のブロックとして決定され、また、それぞれの第１のブロックごとに、それぞれの探索領域が、第２の画像内で、それぞれの第１のブロックに対応する第２のブロックに関して第２の画像内のそれぞれの探索領域を探索するために規定される。その後、それぞれの第１のブロック及びそのそれぞれの探索領域のためのコスト面を決定することができ、また、コスト面に基づく少なくとも２つの第１のブロックのうちの１つのための平均コスト面を決定することができる。更に、第１の画像内の第１のブロック及び第２の画像内の対応する第２のブロックの位置の動きを表す、平均コスト面に関する第１のブロックのうちの１つに関連する動きベクトルを決定することができる。
【０００７】
本発明の好ましい実施形態では、自動車両のカメラによって捕捉される自動車両の環境領域の２つの画像間の動き推定に役立つ方法が提供される。このため、第１の画像の少なくとも２つの画像領域は、第１の画像内の少なくとも２つの第１のブロックとして決定され、また、それぞれの第１のブロックごとに、それぞれの探索領域が、第２の画像内で、それぞれの第１のブロックに対応する第２のブロックに関して第２の画像内のそれぞれの探索領域を探索するために規定される。その後、それぞれの第１のブロック及びそのそれぞれの探索領域のためのコスト面が決定され、また、コスト面に基づく少なくとも２つの第１のブロックのうちの１つのための平均コスト面が決定される。更に、第１の画像内の第１のブロック及び第２の画像内の対応する第２のブロックの位置の動きを表す、平均コスト面に関連する第１のブロックのうちの１つに関する動きベクトルが決定される。
【０００８】
この方法により、例えば車両側コンピュータデバイスによって、特に不利な環境条件においてさえ、ブロックマッチング動作を行うことができる。ブロックマッチング動作は、車両側カメラによって捕捉される２つの画像又はビデオフレームに基づいて実行される。車両は、サラウンドビューカメラシステムを形成できる４つのカメラを備えることができ、その場合、第１のカメラを自動車両の前方領域に配置でき、第２のカメラを自動車両の後方領域に配置でき、第３のカメラを自動車両の運転者側、特に運転者側のサイドミラーに配置することができ、及び第４のカメラを自動車両の助手席側、特に助手席側のサイドミラーに配置することができる。カメラは、画角、したがって、カメラの検出範囲を拡大するために魚眼レンズを備えることができる。
【０００９】
画像は、隣接し得る又は重なり合うことができるブロック又はマクロブロックに分割でき、また、それらの形状は、長方形、円形又は、他のものであってもよい。隣接する矩形ブロックは規則的なグリッド上に配置されることが好ましい。魚眼レンズを有するカメラの場合、魚眼歪み画像を仮想平面図へと転写して魚眼レンズ歪みを除去することができる。ブロックグリッド内の各ブロックのための個々のコスト面が決定され、この場合、第１のブロックは、１つのフレーム内のブロックグリッド上のそれらの固定された位置、もっと厳密に言えば第１の画像から得られて、他のフレームにおけるそれらのそれぞれの探索領域内、もっと厳密に言えば第２の画像内でマッチングされる。探索領域のサイズ及び位置は、例えば車両のオドメトリから２つのフレーム間のカメラエゴモーションを予測することによって固定され又は動的に割り当てられ得る。オドメトリは、車両の経時的な位置変化を推定するための自動車両の動きセンサからのデータ、例えば、車輪回転、ステアリング角等の使用である。これは、他のフレームの探索領域又は探索ウインドウ内の全ての想定し得る位置に第１のブロックを１つのフレームからの基準ブロックとして位置決めすることによって導き出すことができる。このステップの目的は、それぞれの第１のブロックごとに対応する第２のブロックを見出すことであり、この場合、第２のブロックは、対応する第１のブロックと同じ環境サブ領域を少なくとも部分的に表示する。特に、第１のブロックは、探索領域、例えば６４ｘ６４ピクセルよりも小さいサイズ、例えば３２ｘ３２ピクセルを有する。その後、基準ブロックのピクセルと探索ウインドウ内のそれぞれのピクセルとの間の二乗差和（ＳＳＤ）をとることができる。個々のコスト面の形状は本質的に不規則であってもよい。
【００１０】
ブロックのうちの１つのための平均コスト面は、少なくとも２つの第１のブロック及びそれらの対応する探索領域について決定される個々のコスト面に基づいて決定される。個々のコスト面よりも変動の少ないこの平均コスト面から、動きベクトルを得ることができる。動きベクトル又は変位ベクトルは、２つの画像間の２つの対応するブロックの変位を表す。
【００１１】
本発明は、個々のコスト面の形状が本質的に不規則であるため、特に、低光量又は悪天候などの不利な環境条件の場合に、個々のコスト面から直接に得られる動きベクトルが異常値として特定されるという知見に基づいている。その一方で、本発明に係る方法を使用すると、ブロックマッチング動作のための動きベクトルを不利な環境条件においても確実に決定することができる。
【００１２】
特に好ましくは、平均コスト面の大域的最小値が決定され、また、動きベクトルが大域的最小値に応じて決定される。個々のコスト面は本質的に不規則であり得るため、大域的な最小値は、殆ど特定され得ず或いは更には間違った場所にさえいる。その大域的最小値の位置から抽出される動きベクトルは結果的に誤りである。平均コスト面は変動が少ないため、大域的最小値は強い負のピークとしてはっきりと見える。したがって、平均コスト面の大域的最小値を特定することは容易である。平均コスト面の大域的最小値に基づいて、動きベクトル、特に動きベクトルの座標を決定することができる。
【００１３】
好ましくは、平均コスト面を決定するために、各コスト面の平均値が決定され、また、平均コスト面を決定するためのそれぞれの重み付け係数が平均値に基づいて決定される。特に、重み付け係数はそれぞれの平均値の逆数として決定される。言い換えると、平均コスト面は、個々のコスト面の加重平均として決定される。重みは、個々のコスト面のエネルギーをほぼ等しくするように選択され得る。
【００１４】
本発明の更なる実施形態では、所定の数の第１のブロックを備えるスライドウインドウが決定され、この場合、動きベクトルは、スライドウインドウ内の全ての第１のブロックのコスト面に基づいてスライドウインドウ内の第１のブロックのうちの１つに関して決定される。特に、スライドウインドウ内の第１のブロックの数は、１つの第１のブロックがスライドウインドウ内の更なる第１のブロックによって完全に取り囲まれるように予め設定され、この場合、動きベクトルは、更なる第１のブロックによって取り囲まれる中央の第１のブロックに関して決定される。例えば、３×３の第１のブロックを有するスライドウインドウを使用すると、スライドウインドウによって囲まれるブロックグリッド内の隣り合う第１のブロックのグループからのコスト面を選択することができる。それらのコスト値の加重平均は、各値が個々のコスト面のそれぞれの値の加重平均である新たなコスト面を得るように決定され得る。結果として得られる新たなコスト面は、平均コスト面、特に、スライドウインドウの中心にあるブロックに対応するコスト面である。その後、通常はスライドウインドウの中心ブロックに対応する動きベクトルが決定される。スライドウインドウを次の位置に移動させることができ、また、ブロックグリッド内の全ての位置が使い尽くされるまで、プロセスを繰り返すことができる。
【００１５】
本発明の有利な進展では、カメラの外因性較正が、平均コスト面から得られる動きベクトルに基づいて実行される。この実施形態では、カメラの外因性較正のための方法が提供される。外因性較正方法又は動き追跡較正（ＭＴＣ）動作は、車両が特にほぼ直線的な経路で移動している状態でカメラにより捕捉される一連の少なくとも２つの画像を解析することによって車両側カメラのオンライン較正に役立つ。言い換えると、目的は、少なくとも一対の画像を備える時間系列によって自動車両の移動中にカメラの少なくとも１つの外因性パラメータを決定して較正することである。例えば、外因性パラメータは、道路表面又は接地面に対するカメラの空間的な向きと、地面に対する又は車両の他のカメラに対するカメラの高さとを含むことができる。この方法は、車両の各カメラを個別に較正するようにも適合され得るコンピュータデバイスによって実行することができる。
【００１６】
画像は、自動車両の近傍の路面又は接地面、及びタールマックなどの表面に存在するテクスチャを少なくとも部分的に示す。特に、この実施形態に係る較正動作は、画像上に存在するべきコーナー、輪郭、エッジ、又は、ラインなどの対象の任意の特定の特徴を必要としない。特に、少なくとも１つの較正サイクルが実行され、その結果、単一の較正結果が得られる。
【００１７】
好ましくは、外因性較正を行うために、カメラの回転公正が実行され、この場合、動きベクトルと所定のベクトルとの間の偏差を表す損失関数が決定されるとともに、損失関数を最小にすることによって回転補償された動きベクトルが決定される。言い換えると、このことは、動きベクトルを解析することにより接地面又は路面に対するカメラの３−ＤＯＦ（自由度）空間方向を見出すことによって回転較正が行われることを意味する。カメラの向きは、較正されるべき第１の外因性パラメータである。カメラの向きは、車両製造プロセスにおける機械的公差に起因する初期設定の所定の向きから逸脱する可能性がある。向きは、例えば、世界座標系の固定されたＸ、Ｙ、Ｚ軸の周りで順々に回転するロール・ピッチ・ヨー回転方式で表すことができ、この場合、Ｘ軸は縦車両軸に沿って向けられ、Ｙ軸は横車両軸に沿って向けられ、及びＺ軸は垂直車両軸に沿って向けられる。
【００１８】
その後、路面上又は接地面上の動きベクトルの幾何学的特性、特に自動車両のほぼ直線的な運転の制約を特に利用する最小化されるべき損失関数又はコスト関数が定式化される。勾配降下、Ｇａｕｓｓ−Ｎｅｗｔｏｎ、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔ、又は、他のものなどの反復アルゴリズムを用いて、平均又は中央値からの誤差の二乗和又は絶対誤差の和を最小にすることができ、この場合、それらの反復非線形方法は、損失関数を定式化して解を微調整できる方法に大きな柔軟性を与える。問題を過剰決定体系の線形方程式として提示して様々な方法により最小二乗感覚で解くこともできる。本発明は、較正されたシステムが特に平坦な地面上を真っ直ぐに運転している状態で遠近歪みがなく長さが等しい動きベクトルをもたらすはずであるという事実に基づいている。例えば、遠近歪みのない動きベクトルは、全てが（画像フレーム内の）水平なｘ軸と平行である又は地表に投影される動きベクトルの場合には長手方向の車両軸と平行である動きベクトルである。したがって、所定のベクトルは、水平軸又は長手方向軸と平行な歪みのないベクトルである。この目的は、全ての動きベクトルのｙ成分の二乗和及びｘ成分の分散によって表され得る。理想的な状態の較正されたカメラの場合、これはゼロになる。そのため、損失関数は、現在の実際の状態と理想状態との間の差を示す。したがって、損失関数を見出すことによって、初期設定のカメラ方向から逸脱した現在のカメラ方向をカメラの第１の外因性パラメータとして容易に決定することができる。損失関数を最小化することによって、回転補償された動きベクトルを導き出すことができる。画像内の複数の対応するブロックに関連する回転補償された動きベクトルは、路面又は接地面１１の平面に再投影することができ、この場合、再投影された較正された動きベクトルは、特に、長手方向車両軸と平行に向けられるとともに同じ長さを有する。
【００１９】
更なる進展では、カメラを較正するために、カメラの高さ較正が行われ、この場合、カメラの高さは、回転補償された動きベクトルの長さと回転補償された動きベクトルの長さの期待値とに応じて決定される。カメラの高さは、較正されるべき第２の外因性パラメータである。カメラの高さは、エアーサスペンションに起因して又は搭乗員の数や車両のトランク内の重量などの自動車両における荷重変化に起因して名目上の初期設定から逸脱する可能性がある。
【００２０】
高さは、損失関数の最小化から導き出される回転補償された動きベクトルを解析することによって決定される。このことは、前のステップから回転補償されて較正される再投影された動きベクトルを解析することによって地面からの各カメラの絶対高さ又はカメラ間の相対高さを見出すために高さ較正が行われることを意味する。
【００２１】
カメラの修正された、回転較正された、及び再投影された動きベクトルの長さは、車両の速さ又は速度に比例し、接地面からのカメラの高さに反比例する。したがって、長さの期待値は、好適には、車両の速度に応じて予め設定される。特に、自動車両の速度は、自動車両のオドメトリによって及び／又は自動車両の少なくとも１つの更なるカメラによって捕捉される画像に基づいて決定される少なくとも１つの更なる動きベクトルに基づいて決定される。この後者は、複数のカメラからの動きベクトルを考慮できることを意味する。したがって、カメラの高さは、再投影された動きベクトルが全てのカメラにおいて等しい長さを有するように各カメラの高さの値を調整することによって決定され得る。この目的のために、ミラー左カメラ及びミラー右カメラの動きベクトルの平均長さが基準として解釈されて、他のカメラの高さの値がそれに適合するように調整されれば有利であるのが分かる。これは、ミラーカメラが自動車両の荷重変化によって殆ど影響されないからである。要約すると、ＭＴＣは、接地面上の投影された動きベクトルが長手方向車両軸と平行であるとともに等しい長さを有するように較正を調整する。
【００２２】
本発明は、更に、本発明に係る方法を実行するようになっている自動車両の運転者支援システムのためのコンピュータデバイスに関する。車両側制御ユニットによって形成され得るコンピュータデバイスは、悪い環境条件であってもブロックマッチング手順を実行するようになっている。更に、コンピュータデバイスは、ブロックマッチング手順の結果に基づいて、自動車両の各カメラを個別に較正するように適合され得る。
【００２３】
更に、本発明は、加えて、少なくとも１つのカメラと本発明に係るコンピュータデバイスとを備える自動車両のための運転者支援システムに関する。運転者支援は、車両の環境領域を監視するカメラによって車両の運転者をサポートする。運転者支援システムは、サラウンドビューカメラシステムを形成する４つのカメラを備えることができる。また、カメラは、カメラの検出領域を拡大する魚眼レンズを備えることもできる。運転者支援システムは、較正されたカメラによって捕捉される画像内の物体を確実に検出することができ、したがって、例えば自動車両と検出物体との差し迫った衝突を検出する際に警告信号を生成する又は自動車両を自動的に制動することによって、車両の運転者をサポートできる。更に、較正されたカメラにより捕捉される画像は、車両側の表示装置で、特にビデオとして表示され得る。言い換えると、カメラをビデオカメラとして構成することができる。
【００２４】
本発明に係る自動車両は、本発明に係る運転者支援システムを含む。自動車両は特に乗用車として構成される。
【００２５】
これに対応して、本発明に係る方法に関して与えられる好ましい実施形態及びその利点は、コンピュータデバイス、本発明に係る運転者支援システム、及び本発明に係る自動車両に適用される。
【００２６】
本発明の更なる特徴は、特許請求の範囲、図、及び図の説明から明らかである。明細書本文において先に言及された特徴及び特徴の組合せ、並びに、図の説明において以下で言及される及び／又は図のみに示される特徴及び特徴の組合せは、本発明の範囲から逸脱することなく、それぞれに特定された組合せで使用できるだけでなく、他の組合せでも又は単独でも使用できる。したがって、図に明示的に示されて説明されないが説明された実施とは別個の特徴の組合せから生じて生み出され得る実施も本発明によって包含されて開示されると見なされるべきである。このように最初に編成された独立請求項の特徴の全てを有さない実施及び特徴の組合せも開示されたものと見なされるべきである。更に、特許請求の範囲に関連して記載された特徴の組合せを越えて広がる又は逸脱する実施及び特徴の組合せも、特に先に示された説明によって、開示されていると見なされるべきである。
【００２７】
ここで、好ましい実施形態に基づいて並びに添付図面を参照して本発明を更に詳しく説明する。
【００２８】
これらが以下に示される。
【図面の簡単な説明】
【００２９】
【図１】本発明に係る自動車両の一実施形態の概略図である。
【図２】ブロックマッチング動作の概略図である。
【図３ａ】ブロックに分割された動きフィールドの概略図及び動きベクトルの概略図である。
【図３ｂ】ブロックに分割された動きフィールドの概略図及び動きベクトルの概略図である。
【図４】本発明に係る方法の一実施形態のフローチャートの概略図である。
【図５】コスト表面及び平均コスト表面の概略図である。
【発明を実施するための形態】
【００３０】
図中、同一の要素及び機能的に同一の要素には同じ参照文字が付される。
【００３１】
図１は、本発明に係る自動車両１を示す。この場合、自動車両１は乗用車として構成される。自動車両１は、該自動車両１の運転者をサポートする運転者支援システム２を有する。運転者支援システム２は、例えば車両側制御ユニットによって形成され得るコンピュータデバイス３を備える。加えて、運転者支援システム２は少なくとも１つのカメラ４を備える。この場合、運転者支援システム２は４つのカメラ４を含み、第１のカメラ４は自動車両１の前方領域５に配置され、第２のカメラ４は自動車両１の後方領域６に配置され、第３のカメラ４は、自動車両１の運転者側７、特に運転者側７のサイドミラーに配置され、及び第４のカメラ４は、自動車両１の助手席側８、特に助手席側８のサイドミラーに配置される。運転者側７及び助手席側８に配置されるカメラ４はサイドミラーに取って代わることができ、それにより、自動車両１は、ミラー無し運転を可能にするミラーレス車両１として設計され得る。カメラ４によって、自動車両１の環境領域９を画像中に捕捉できる。カメラ４は、画角、したがって、カメラ４の検出範囲を拡大するために魚眼レンズを備えることができる。
【００３２】
コンピュータデバイス３は、自動車両１のための道路１０の路面１１のタールマックなどのテクスチャを追跡することによって少なくとも１つのカメラ４により捕捉される画像又はむしろビデオフレームに基づいてブロックマッチング動作を行うようになっている。特に、コンピュータデバイス３は、低光量又は悪天候などの厳しい環境条件で動作するときにブロックマッチングアルゴリズムにおける路面テクスチャ追跡の精度を向上させるようになっている。そのような条件では、ブロックマッチング品質を一般に低下させる高レベルのノイズ、動きぼやけ、及び他のアーチファクトによって画像又はビデオフレームを損なう可能性がある。
【００３３】
ブロックマッチングアルゴリズムは、動き推定又はオプティカルフローの目的で、一連の画像又はデジタルビデオフレームにおける画像データのマッチングブロックＢ（図２参照）の位置を突き止める方法である。図２は、写真技術から知られているブロックマッチング動作を視覚化する。したがって、現在のビデオフレームがマクロブロックとも称されるブロックＢに分割され、その場合、各マクロブロックは、特に、その類似性に関して、他のフレームにおける特定の探索ウインドウ１５内の同じサイズの全ての想定し得るブロックと比較される。図２において、ブロック１４は、現在のビデオフレーム内のサイズＮ×Ｎを有するマクロブロックＢであり、また、ブロック１３は、探索ウインドウ１５内の前のフレームにおけるサイズＮ×Ｎを有する探索中のマクロブロックＢである。２つのブロック１３，１４間で最も高い類似性を与える位置、いわゆる最小コスト位置を選択して動きベクトル、すなわち、２次元ベクトルとして登録することができ、この２次元ベクトルでは、２つの成分ｘ、ｙが２つのフレーム間のブロック１３，１４の水平及び垂直の相対変位に対応する。
【００３４】
ブロック−歪み測度又はマッチングコストとも称される類似度測度は、相互相関、正規化相互相関、位相相関、絶対差和（ＳＡＤ）、差分二乗和（ＳＳＤ）、絶対変換差和（ＳＡＴＤ）、センサス／ハミング距離、及び更に多くのものなどの様々な方法によって得ることができる。ＳＡＤ及びＳＳＤは、それらの計算効率及び多くの用途ににおける十分に良好な品質に起因して一般的である。特定の位置でマッチングコストが低ければ低いほど、その位置で比較されるブロック１３，１４間の類似度が高くなる。例えば、完全な又は理想的なマッチングは、２つのブロック１３，１４の重なり合うピクセルの絶対差和又は差分二乗和がとられるときにゼロコストをもたらす。ラプラシアン−オブ−ガウシアン（Ｌａｐｌａｃｉａｎ  ｏｆ  Ｇａｕｓｓｉａｎ）フィルタ、差分ガウス（Ｄｉｆｆｅｒｅｎｃｅ  ｏｆ  Ｇａｕｓｓｉａｎｓ）フィルタ、又は、他のフィルタを使用して画像をプレフィルタすることによって放射不変性（Ｒａｄｉｏｍｅｔｒｉｃ  ｉｎｖａｒｉａｎｃｅ）を達成できる。
【００３５】
各試験位置における基準ブロック１４と候補ブロック１３との間のマッチングコストは、所定の探索ウインドウ１５内の全ての想定し得る位置における網羅的な探索によって計算され得る。全探索（ＦＳ）とも称されるこの方法は、最も正確な結果と最小数の異常値又は誤った動きベクトルをもたらすが、計算上最も高価でもある。結果の質の低下を犠牲にして想定し得る全ての位置でマッチングコストの計算を回避することにより計算量を減らそうとする様々な方法が知られている。これらの方法は、ダイヤモンド探索（ＤＳ）、ヘキサゴンベース探索（ＨＥＸＢＳ）、適合ルードパターン探索（ＡＲＰＳ）、及び更に多くのものを含む。注目すべき例外は、品質に影響を与えない全探索の高速計算（ＦＣＦＳ）として知られる全探索方法の簡単な計算最適化である。
【００３６】
これらの技術を用いると、各基準ブロック１４をその所定の探索ウインドウ１５内で独立にマッチングさせることができる。提案された技術は、特に全てのブロックＢが同じ平面上で局所的に一様な動きを示すことにより強いマッチングをもたらすという仮定の下で、隣り合うブロックからの情報を独自の方法で組み合わせることができる。
【００３７】
例えば、車両１が真っ直ぐに走行している状態で２つの連続するフレームをブロックマッチングさせることにより得られる地面１１上の動きフィールド１６ａ、１６ｂが図３ａ及び図３ｂに示される。魚眼レンズを有するカメラ４の場合、フレームは、特にカメラ４のための外因性較正アルゴリズムの目的で、仮想平面図へと既に修正されてしまっている。図３ａは、不正確な外因性較正パラメータを使用して仮想平面図が生成されてしまった際の遠近歪みを示す未較正カメラ４の動きフィールド１６ａを示す。較正されたシステムは、遠近歪みがない仮想平面図上に、すなわち、水平なｘ軸と平行な等しい長さの仮想平面図上に動きベクトルをもたらすはずである。図３ａに示される動きベクトルｖは、水平なｘ軸と平行ではなく、また、等しい長さでもなく、したがって、未較正システムを示す。
【００３８】
図３ｂは、正確な外因性較正パラメータを用いて生成されてしまっており、遠近歪みを有さない。すなわち、接地面が平行な仮想画像面へと正確にマッピングされる。したがって、図３ｂは、較正されたカメラ４の動きフィールド１６ｂを示す。較正された動きベクトルｖｃは全てが水平なｘ軸と平行であって等しい長さを有する。正方形１７は、動きベクトルｖの任意のグループを示す。
【００３９】
図３ｂに示される較正された動きベクトルｖｃは、例えば、外因性較正によって、いわゆる動き追跡較正ＭＴＣによってもたらすことができ、その場合、カメラ４の外因性回転及び高さが動きフィールド１６ａを解析することによって較正される。ＭＴＣ動作は、カメラ４によって連続的に捕捉される少なくとも２つの画像を使用して、特に道路１０沿いの縁石１２のような強力な特徴物を必要とせずに、画像間又はビデオフレーム間のタールマックのような路面テクスチャの相対的な移動を追跡する。
【００４０】
特に、較正アルゴリズムを使用すると、動きベクトルｖを解析することによってカメラ４の空間的な向きを接地面１１に対して見出すことができる。カメラ４の向きは、世界座標系の固定されたＸ、Ｙ、Ｚ軸の周りで順々に回転するロール・ピッチ・ヨー回転方式で表すことができ、この場合、図１に示されるように、Ｘは縦車両軸、Ｙは横車両軸、Ｚは垂直車両軸である。
【００４１】
接地面１１上の動きベクトルｖの幾何学的特性を利用する最小化されるべき損失関数が、特に自動車両のほぼ直線的な運転の制約を考慮して定式化される。コスト関数を最小にすることによって、動きベクトルｖを、遠近歪みがなく全てが水平なｘ軸と平行である回転補償されて較正された動きベクトルｖｃに対してマッピングして再投影することができる。
【００４２】
加えて、カメラ４の高さは、較正されて再投影された動きベクトルｖｃを解析することにより接地面１１からのカメラ４の絶対高さ又はカメラ４間の相対高さを見出すことによって較正され得る。カメラ４の高さは、エアーサスペンションに起因して又は搭乗員の数や車両のトランク内の重量などの自動車両１における荷重変化に起因して名目上の初期設定から逸脱する可能性がある。単一のカメラ４の絶対高さは、車両オドメトリ又は既知のスケールの画像特徴に基づいて推定され得る。単一のカメラ４の修正された、回転較正された、及び再投影された動きベクトルｖｃの長さは、車両１の速さ又は速度に比例し、接地面１１からのカメラ４の高さに反比例する。車両側ネットワーク、例えばＣＡＮ又はＦｌｅｘＲａｙからの車両のオドメトリが与えられると、地面１１上の動きベクトルｖｃの予期される長さを計算することができ、また、カメラ４の高さをそれが再投影された動きベクトルｖｃと一致するように調整することができる。
【００４３】
スライドウインドウ内の動きベクトルｖを平均化することによって、動きフィールド１６ａを較正のために使用する前に平滑化することができる。例えば、スライドウインドウ１７内の中心動きベクトルｖは、ウインドウ１７により含まれる９個の動きベクトルｖの平均として計算され得る。これは、再帰を回避するために出力動きベクトルｖを別個のバッファに記憶しつつブロックグリッド内のスライドウインドウ１７のそれぞれの想定し得る位置ごとに繰り返すことができる。遠近歪み下での動きベクトルｖの平均化によってもたらされる任意の小さなバイアスは、仮想平面図がフィードバックループにおける較正結果から更新されるように次第に中和され得る。
【００４４】
低光量又は悪天候などの厳しい環境条件において、ブロックマッチングは、殆ど異常値の動きベクトルｖ、すなわち、ランダムな長さ及び方向の動きベクトルｖを生み出す。これらの動きベクトルｖを平均化することは、較正のために使用される情報の質を改善しない。したがって、２つのビデオフレーム間の路面テクスチャの相対的な移動を追跡しているＭＴＣなどの自律的な道路ベースの較正アルゴリズムの性能を向上させるために、２つの画像間の動き推定のための方法が実行される。この方法は、フローチャートによって図４に視覚化される。
【００４５】
特に、この方法の主な着想は、スライドウインドウ１７のブロックＢ、特に中心ブロックＢに基準付けられる動きベクトルｖを抽出する前にスライドウインドウ１７内の全てのブロックＢのコスト面１８（図５参照）の加重平均をとることである。この方法では、以下のステップＳ１、Ｓ２、Ｓ３、Ｓ４が実行される。
【００４６】
第１のステップＳ１では、ブロックグリッド内の各ブロックＢのための個々のコスト面１８が計算され、この場合、ブロックＢは、１つのフレーム内のブロックグリッド上のそれらの固定された位置から得られて、他のフレームにおけるそれらのそれぞれの探索領域内でマッチングされる。探索領域のサイズ及び位置は、例えば車両のオドメトリから２つのフレーム間のカメラエゴモーションを予測することによって固定され又は動的に割り当てられ得る。（ＮＢ：ブロックマッチングのために使用される探索領域１５又は探索ウインドウ１５は、そのコスト面１８が平均化されるようになっているブロックＢを選択するために使用されるスライドウインドウ１７と混同されるべきでない）。スライドウインドウ１７内のブロックＢの個々のコスト面１８が図５に示される。例えば、コスト面１８は、他のフレームの６４ｘ６４ピクセル探索ウインドウ１５内の全ての想定し得る位置で１つのフレームからの３２ｘ３２ピクセル基準ブロック１４を位置決めして基準ブロック１４のピクセルと探索ウインドウ１５内のそれぞれのピクセルとの間で差分二乗和（ＳＳＤ）をとることによって得ることができる。図５から分かるように、コスト面１８の形状は、全ての位置でブロック１２と探索領域１５のピクセルとの間にランダムなレベルの類似性が存在するように本質的に不規則である。最も高い類似性の位置は、最も低いコストを有し、すなわち、コスト面１８の大域的最小値にある−理想的なケースは、全ての減算されたピクセルが同一であるときに生じるゼロコストである。より高いレベルの画像ノイズにおいて、これらの変動は、より強くなり、最良のマッチングが予期される位置で深さを超えて、間違った位置で殆ど見えない大域的最小値又は大域的最小値をもたらす場合さえある。その大域的最小値の位置から抽出される動きベクトルｖは結果的に誤りである。
【００４７】
第２のステップＳ２では、各コスト面１８の平均値が決定され、また、その逆数が次のステップＳ３で使用されるべき重み付け係数Ｗ（図５参照）として記憶される。この次の第３のステップＳ３では、例えばサイズ３×３ブロック又は他のサイズを有するスライドウインドウ１７を使用することにより、コスト面１８は、スライドウインドウ１７によって囲まれるブロックグリッド内の隣り合うブロックＢのグループから選択される。それらのコスト値の加重平均は、各値が個々のコスト面１８のそれぞれの値の加重平均である新たなコスト面１９を得るように決定される。結果として得られるコスト面１９は、個々のコスト面１８においてノイズにより損なわれるより弱い最小値の寄与によって形成される変動が少ない、より強い、明確に見える最小値２０を有する。予想は、正しい動きベクトルｖを抽出できるようにこのより強い最小値２０がこのときに大域的最小値となることである。
【００４８】
第４のステップＳ４では、平均コスト面１９内の大域的最小値の位置が決定される。それにより、スライドウインドウ１７の中央にある動きベクトルｖの座標、すなわち、スライドウインドウ１７の中心ブロックＢに通常対応する動きベクトルｖを得ることができる。その後、スライドウインドウ１７を次の位置に移動させることができ、ブロックグリッド内の全ての位置が使い尽くされるまで、プロセスステップＳ１〜Ｓ４を繰り返すことができる。
【００４９】
要約すると、特定のブロックＢの動きベクトルｖは、加重平均コスト面１９の最小コスト位置から抽出される。重みｗは、個々のコスト面１８のエネルギーをほぼ等しくするように選択される。この目的のため、個々のコスト面１８がそれら自体の平均値の逆数によって重み付けられる。対称性の破壊を回避するために、対称な隣接物を伴わないブロックＢに関して動きベクトルｖは特に計算されない。この方法は、任意のウインドウサイズに拡張することができるとともに、コスト平均化の複数の層が下位の層内の探索領域を制約して異常値の可能性を更に減らすように階層的態様で適用することもできる。例えば、大域的動きベクトルは、平均動きベクトルに相当する単一の非常に強いピークを有するグリッド上の全てのブロックＢの平均コスト面１９から計算され得る。この大域的動きベクトルは、シーン内の大域的な動き又は遠近エラーに関する近似情報を得るために前の層内の探索を制約するべく又は別の方法で使用され得る。
【図１】
2019510312.tif 000003
【図２】
2019510312.tif 000004
【図３ａ】
2019510312.tif 000005
【図３ｂ】
2019510312.tif 000006
【図４】
2019510312.tif 000007
【図５】
2019510312.tif 000008
【国際調査報告】
2019510312.tif 000009
2019510312.tif 000010