(57)【特許請求の範囲】
【請求項１】
車両（１００）用のステレオ／ビデオシステム（１０２）における相対的なヨー角（１０６）の変化を検知するための方法（３００）であって、前記ステレオ／ビデオシステム（１０２）が第１のカメラ（１１０）と第２のカメラ（１１２）とを有しており、これらのカメラが、１つの共通の検出領域（１１４）に向けられていて、ステレオベース（１１６）だけ互いにずらして配置されており、前記方法（３００）は、
前記カメラ（１１０，１１２）の画像対（４０４）および前記第１のカメラ（１１０）の別の画像を読み込むステップ（３０２）を有しており、この場合、前記画像対（４０４）が、第１の時点で検出された前記第１のカメラ（１１０）の第１の画像と、前記第１の時点で検出された前記第２のカメラ（１１２）の第２の画像とを有していて、前記別の画像が、前記第１の時点に対して時間的にずらされた別の時点で検出されており、
前記ステレオ／ビデオシステム（１０２）の傾斜角（１２４）を得るために、前記画像対（４０４）、前記ステレオベース（１１６）および実体鏡学処理規定を用いて、前記検出領域（１１４）内の定置の面（１０８，１２２）を算出するステップ（３０４）を有しており、
比較角を得るために、前記画像対（４０４）の前記第１の画像、前記別の画像および対応変換処理規定を用いて、前記定置の面（１０８）を特定するステップ（３０６）を有しており、この場合、前記ステレオ／ビデオシステム（１０２）が前記第１の時点と前記別の時点との間で走行距離（１２６）だけ移動したときに、前記第１の画像と前記別の画像との間の対応変換が検出され、
前記相対的なヨー角（１０６）の変化を検知するために、比較規定を用いて、前記傾斜角（１２４）を前記比較角と比較するステップ（３０８）を有している、
車両（１００）用のステレオ／ビデオシステム（１０２）における相対的なヨー角（１０６）の変化を検知するための方法（３００）。
【請求項２】
前記読み込むステップ（３０２）で、少なくとも１つの別の画像対（４０４）が読み取られ、この際に、前記別の画像対（４０４）が前記画像対（４０４）に対して時間的にずらして検出され、前記算出するステップ（３０４）で、別の傾斜角（１２４）が前記別の画像対（４０４）を用いて算出され、前記方法（３００）が、運動を検知するステップを有していて、この運動を検知するステップで、前記ステレオ／ビデオシステム（１０２）のピッチング運動を検知するために、前記傾斜角（１２４）が前記別の傾斜角（１２４）と比較される、請求項１に記載の方法（３００）。
【請求項３】
前記読み込むステップ（３０２）で、前記別の画像を前記別の画像対（４０４）の構成要素として読み込む、請求項２に記載の方法（３００）。
【請求項４】
前記ピッチング運動が限界値よりも小さいときに、前記比較するステップ（３０８）を実行する、請求項２または３に記載の方法（３００）。
【請求項５】
前記特定するステップ（３０６）で、前記ピッチング運動を用いて前記比較角を特定する、請求項２から４のいずれか１項に記載の方法（３００）。
【請求項６】
前記ステレオ／ビデオシステム（１０２）を再較正するステップを有しており、この場合、前記相対的なヨー角（１０６）の変化が許容値よりも大きいときに、前記相対的なヨー角（１０６）の変化を用いて、前記カメラ（１１０，１１２）の前記相対的なヨー角の修正を行う、請求項１から５のいずれか１項に記載の方法（３００）。
【請求項７】
前記再較正を段階的に行い、この場合、前記ステレオ／ビデオシステム（１０２）を再較正するために、前記個別のヨー角をそれぞれ所定の角度だけ最大に修正する、請求項６に記載の方法（３００）。
【請求項８】
前記定置の面（１０８）を見つけ出して前記比較角を特定するために、前記特定するステップ（３０６）で、前記第１の画像と前記別の画像との間の流束ベクトルを段毎にまたは行毎に特定する、請求項１から７のいずれか１項に記載の方法（３００）。
【請求項９】
車両（１００）用のステレオ／ビデオシステム（１０２）における相対的なヨー角（１０６）の変化を検知するための制御装置（１０４）であって、前記ステレオ／ビデオシステム（１０２）が第１のカメラ（１１０）と第２のカメラ（１１２）とを有しており、これらのカメラが、１つの共通の検出領域（１１４）に向けられていて、ステレオベース（１１６）だけ互いにずらして配置されている形式のものにおいて、
前記制御装置（１０４）が、
前記カメラ（１１０，１１２）の画像対（４０４）および前記第１のカメラ（１１０）の別の画像を読み込むための装置（２００）を有しており、この場合、前記画像対（４０４）が、第１の時点で検出された前記第１のカメラ（１１０）の第１の画像と、前記第１の時点で検出された前記第２のカメラ（１１２）の第２の画像とを有していて、前記別の画像が、前記第１の時点に対して時間的にずらされた別の時点で検出されており、
前記ステレオ／ビデオシステム（１０２）の傾斜角（１２４）を得るために、前記画像対（４０４）、前記ステレオベース（１１６）および実体鏡学処理規定を用いて、前記検出領域（１１４）内で定置の面（１０８，１２２）を算出するための装置（２０２）を有しており、
比較角を得るために、前記画像対（４０４）の前記第１の画像、前記別の画像および対応変換処理規定を用いて、前記定置の面（１０８）を特定するための装置（２０４）を有しており、この場合、前記ステレオ／ビデオシステム（１０２）が前記第１の時点と前記別の時点との間で走行距離（１２６）だけ移動したときに、前記第１の画像と前記別の画像との間の対応変換が検出されるようになっており、
前記相対的なヨー角（１０６）の変化を検知するために、比較規定を用いて、前記傾斜角（１２４）を前記比較角と比較するための装置（２０６）を有している、
車両（１００）用のステレオ／ビデオシステム（１０２）における相対的なヨー角（１０６）の変化を検知するための制御装置（１０４）。
【請求項１０】
コンピュータに、請求項１から８のいずれか１項に記載の方法を実行させるためのプログラム。
【請求項１１】
コンピュータに、請求項１から８のいずれか１項に記載の方法を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両またはその他の可動システム用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検知するための方法、相応の制御装置並びに相応のコンピュータプログラム製品に関する。
【背景技術】
【０００２】
ステレオカメラにおいては、カメラ間の角度の僅かな変化が既にシステム全体の精度に影響する。
【０００３】
特許文献１には、ステレオカメラの較正パラメータを算出するための方法および装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】ドイツ連邦共和国特許公開第１０２００４０６２２７５号明細書
【発明の概要】
【０００５】
以上のような背景から、本発明により、独立請求項に記載した、車両用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検知するための方法、さらにこの方法を使用する制御装置、並びに相応のコンピュータプログラム製品が提案される。好適な実施態様は、それぞれの従属請求項および以下の説明に記載されている。
【０００６】
実体鏡学に基づく対象物の三次元的な検知は、高い検知確率および高い検知速度を有している。この場合、実体鏡学は、静止しているステレオ／カメラシステムにおいても機能する。実体鏡学は２つのカメラの相対的な配向の変化の影響を受けやすいだけである。例えば熱さまたは寒さの影響によって、一方のカメラは他方のカメラに対して容易に位置ずれされ得る。この場合、第１のカメラの第１の基準点は、第２のカメラの第２の基準点に対して誤った転位位置を有し、第１の基準点と第２の基準点とは、カメラの収容領域内で同じポイントを示す。このような転位によって、検知された対象物に対する距離は間違って算出される。平面的な対象物は傾いたものとして認識される。角度誤差を補正するために、少なくとも１つの基準点が調整され得る。
【０００７】
一方のカメラの時間的および三次元的にずらされた画像の単眼的な評価に基づいて、対象物が同様に三次元的に解像され得る。画像間の三次元的な間隔は、実体鏡学におけるカメラ間のステレオベースと同様に作用する。画像間において、画像間の変化を表す対応変換が特定され得る。実体鏡学とは異なり、単眼的な評価は、２つのカメラ間の相対的な角度誤差に対する敏感さを有していない。
【０００８】
２つのカメラを有する実体鏡学は、対応変換を介して一方のカメラの単眼的な評価によって保護され得る。
【０００９】
特に平面的な定置の対象物は、検出された対象物が２つの測定法（ステレオスコープ式、モノスコープ式）によって同一に測定されるように、角度が補正されることによって、角度誤差を補正するために用いられる。
【００１０】
車両用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検知するための方法が提案されており、この場合、ステレオ／ビデオシステムが第１のカメラと第２のカメラとを有しており、これらのカメラが、１つの共通の検出領域に向けられていて、ステレオベースだけ互いにずらして配置されており、この場合、この方法は：
カメラの画像対および第１のカメラの別の画像を読み込むステップを有しており、画像対が、第１の時点で検出された第１のカメラの第１の画像と、第１の時点で検出された第２のカメラの第２の画像とを有していて、別の画像が、第１の時点に対して時間的にずらされた別の時点で検出されており；
ステレオ／ビデオシステムの傾斜角、好適には定置の面に対するピッチ角を得るために、画像対、ステレオベースおよび実体鏡学処理規定を用いて、検出領域内の定置の面（好適には特に地面）を算出するステップを有しており；
比較角を得るために、画像対の第１の画像、別の画像および対応変換処理規定を用いて、定置の面を特定するステップを有しており、この場合、ステレオ／ビデオシステムが第１の時点と別の時点との間で走行距離だけ移動したときに、第１の画像と前記別の画像との間の対応変換が検出され；
相対的なヨー角の変化を検知するために、比較規定を用いて、傾斜角を比較角と比較する、つまり２つの面傾斜を比較するステップを有している。
【００１１】
ヨー角オフセットとも称呼される、相対的なヨー角の変化とは、２つのカメラの横方向角の差であると理解されてよい。ステレオベースとはカメラの三次元的な間隔であってよい。画像は、行毎におよび列毎に配置された画素の画像情報によって表される。定置の面は、道路表面であってよく、車両に対して相対的に移動する。実体鏡学処理規定は三角測量であってよい。対応変換処理規定は、対応変換のベクトル場、例えば２つの画像間の光束を生ぜしめるために使用される。この場合、傾斜角は、ステレオ／ビデオシステムによって算出された平面と基準平面との間に形成される角度である。これによって、傾斜角は、算出された平面と基準平面とが一致しない場合、ゼロに等しくない。算出された平面も、また基準平面も、定置の平面および異なる２つの処理規定をベースにして算出される仮想の平面である。
【００１２】
少なくとも１つの別の画像対を読み込むことができ、この場合、別の画像対は、画像対に対して時間的にずらして検出されている。別の傾斜角は、別の画像対を使用して算出されてよい。この方法は、ステレオ／ビデオシステムのピッチング運動を検知するために、傾斜角が別の傾斜角と比較されることによって、運動検知のステップを有していてよい。車両に固定されたステレオ／ビデオシステムが、車両固有の運動に基づいてピッチング運動を行うと、定置の面におけるカメラの画面角度が変化する。しかしながら、その結果生じた、検知された傾斜角の変化は、較正不良（Ｄｅｋａｌｉｂｒｉｅｒｕｎｇ）を意味しない。運動を検知することによって、相対的なヨー角の変化に関する間違った判断は避けられる。
【００１３】
別の画像は、別の画像対の構成要素として読み込まれる。画像若しくは画像情報を繰り返し使用することによって、使用される演算能力およびメモリー能力を軽減させることができる。
【００１４】
比較するステップは、ここおよび以下において、地面にだけではなく、観察された定置の面のずれ（例えば縦揺れまたはステアリング運動による）にも関連するべきであるピッチング運動が、限界値よりも小さいときに実行され得る。ピッチング運動が限界値よりも小さければ、相対的なヨー角の変化の誤った検知は避けられる。
【００１５】
比較角は、ピッチング運動を用いて特定され得る。ピッチング運動は、比較角の検知の際に考慮されてよい。これによって、ステレオ／ビデオシステムは、動いている車両においても較正され得る。
【００１６】
この方法は、ステレオ／ビデオシステムを再較正するステップを有していることができ、この場合、相対的なヨー角の変化が許容値よりも大きいときに、カメラの相対的なヨー角が相対的なヨー角の変化を用いて再較正される。一方のカメラの基準点が調整され得る。同様に、２つのカメラの基準点が調整され得る。基準点は、それぞれのカメラの基準座標原点であってよい。基準点は、それぞれのカメラの画素座標と合致する。再較正によって、ステレオ／ビデオシステムは、カメラが外部の影響に基づいて物理的に互いに位置がずらされたときでも、持続的に較正維持され得る。この場合、カメラの間隔に発生した誤りも、ヨー角の変化によって所定の程度まで補正することができる。
【００１７】
再較正は段階的に行われ、この場合、ステレオ／ビデオシステムを再較正するために、個別のヨー角はそれぞれ所定の角度だけ最大に修正され得る。較正時に角度段階を制限することによって、較正の行き過ぎは避けられる。このような制限によって、ステレオ／ビデオシステムを段階的に所望の状態にずらすことができる。
【００１８】
定置の面を見つけ出して比較角を特定するために、特定するステップで、第１の画像と別の画像との間の流束ベクトルが段毎にまたは行毎に特定され得る。定置の面を段毎にまたは行毎に探し出すことによって、この方法は、少ない演算能力で素早く実施することができる。
【００１９】
さらに、車両用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検知するための制御装置が提案されており、この場合、ステレオ／ビデオシステムが第１のカメラと第２のカメラとを有しており、これらのカメラが、１つの共通の検出領域に向けられていて、ステレオベースだけ互いにずらして配置されており、この場合、この制御装置は：
カメラの画像対および第１のカメラの別の画像を読み込むための装置を有しており、画像対が、第１の時点で検出された第１のカメラの第１の画像と、第１の時点で検出された第２のカメラの第２の画像とを有していて、別の画像が、第１の時点に対して時間的にずらされた別の時点で検出されており；
ステレオ／ビデオシステムの傾斜角を得るために、画像対、ステレオベースおよび実体鏡学処理規定を用いて、検出領域内で定置の面を算出するための装置を有しており；
比較角を得るために、画像対の第１の画像、別の画像および対応変換処理規定を用いて、定置の面を特定するための装置を有しており、この場合、ステレオ／ビデオシステムが第１の時点と前記別の時点との間で走行距離だけ移動したときに、第１の画像と別の画像との間の対応変換が検出されるようになっており；
相対的なヨー角の変化を検知するために、比較規定を用いて、傾斜角を比較角と比較するための装置を有している。
【００２０】
本発明の、このような制御装置の形の変化実施例によっても、本発明による課題は迅速かつ効果的に解決され得る。
【００２１】
ここでは、制御装置とは、センサ信号を処理し、それに基づいて制御信号および／またはデータ信号をアウトプットする電気機器である。制御装置はインターフェースを有しており、このインターフェースは、ハードウエア的におよび／またはソフトウエア的に構成されていてよい。ハードウエア的な構成において、インターフェースは例えば、制御装置の様々な機能を有しているいわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースは、固有の集積回路であるかまたは少なくとも部分的に離散的な素子より成っていてもよい。ソフトウエア的な構成において、インターフェースは、例えば別のソフトウエアモジュールの隣でマイクロコントローラ上に設けられたソフトウエアモジュールであってよい。
【００２２】
プログラムコードを有するコンピュータプログラム製品も有利である。このプログラムコードは、例えば半導体メモリー、ハードディスクまたは光学メモリー等の機械読み取り可能な担体に記憶されていてよく、前記プログラム製品がコンピュータまたは装置において実行されるときに、前記実施例のいずれか１つによる方法を実施するために使用される。
【００２３】
用語「相対的なヨー角の変化」並びに部分的に使用される呼称「ヨー角オフセット」は、ステレオ／ビデオシステム内の２つのカメラの主要な視線方向間の相対的な角度に関するものである。前記挙げられた光束は、第２の面傾斜を特定するための１変化例にすぎない。ここでは、別の対応法が考えられ得る（例えば同形異義／特定）。アルゴリズムの核心は、２つの異なる方法（三次元的、時間的）による面傾斜（好適には地面）の特定より成っている。一般的に、この方法は、２つ以上のカメラのためにも適用可能である。さらに、この方法は、消尽点特定による傾斜見積もりを介して、単眼カメラ回路のために有利な構成として用いられる。
【図面の簡単な説明】
【００２４】
【図１】本発明の１実施例による、相対的なヨー角の変化を検知するための制御装置およびステレオ／ビデオシステムを備えた車両を示す図である。
【図２】本発明の１実施例による、車両用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検知するための制御装置のブロック制御回路図である。
【図３】本発明の１実施例による、車両用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検知するための方法のフローチャートである。
【図４】本発明の１実施例による、車両用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検知するための方法の経過のフローチャートである。
【発明を実施するための形態】
【００２５】
本発明を以下に添付の図面を用いて例を挙げて詳しく説明する。
【００２６】
以下に記載した本発明の好適な実施例において、様々な図面に図示された、類似の作用を有する部材には同じ符号または類似の符号が用いられており、この場合、これらの部材の繰り返しの説明は省かれる。
【００２７】
図１は、本発明の１実施例による、ステレオ／ビデオシステム１０２および、ヨー角オフセットとも称呼される、相対的なヨー角１０６の変化を検知するための制御装置１０４を備えた車両１００の図を示す。制御装置１０４は、ステレオ／ビデオシステム１０２の一部であるか、または別個の装置として構成されてよい。
【００２８】
車両１００は、平らな面１０８上を前方に移動する。ステレオ／ビデオシステム１０２は、第１のカメラ１１０と第２のカメラ１１２とを有している。カメラ１１０，１１２は、走行方向で車両１００の前方の共通の検出領域１１４に向けられている。第１のカメラ１１０は車両１００内の左に配置されている。第２のカメラ１１２は車両１００内の右に配置されている。これらのカメラ１１０，１１２は、互いに間隔１１６を保っている。この間隔１１６は、ステレオベース１１６と称呼されてよい。ステレオ／ビデオシステム１０２は、ステレオベース１１６および実体鏡学を用いて、検出領域１１４内の対象物１１８を三次元的に検出して、例えば、車両１００に対して相対的な対象物１１８の位置を、車両１００の安全性および快適性機能のために提供するように構成されている。
【００２９】
検出領域１１４内の、簡略化のために定置である対象物１１８が２つのカメラ１１４によって検出されると、対象物１１８に対応配置された画素が２つのカメラ画像内で対象物１１８として分類される。画素の座標は、対象物１１８に対するそれぞれのカメラ１１０，１１２のそれぞれのピッチ角およびロール角を提供する。公知のステレオベース１１６を用いた三角測量によって、車両１００からの対象物１１８の距離が算出される。
【００３０】
この場合、カメラ１１２は初期位置に対して、ここで例として示された、相対的なヨー角１０６の変化した分だけ位置がずらされている。その結果、画素内に間違ったピッチ角および／またはロール角が生じる。何故ならば、位置がずらされたカメラ１１２は、ずれた検出領域１２０を有しているからである。ずれた検出領域１２０の画素内において対象物１１８は、ずれていない検出領域１１４に対して側方にずらされている。この場合、車両１００に対する対象物１１８の距離は間違って算出される。
【００３１】
間違って較正されたカメラ１１０，１１２によって面１０８が検出されると、面１０８は相対的なヨー角１０６の変化によって、存在しない傾斜面１２２として検知される。傾斜面１２２は純粋に仮想のものである。傾斜面１２２は、平らな面１０８に対して傾斜角１２４を成している。
【００３２】
制御装置１０４は、別のカメラ画像、この実施例では左のカメラ１１０のカメラ画像を読み込むために構成されている。別のカメラ画像はこの実施例では、車両１００が走行距離１２６だけ元に戻されているものとして撮影されている。この別のカメラ画像は、車両１００がさらにそれ以上の走行距離を進んだ後でも、読み込むことができる。対象物１１８が別のカメラ画像で検出されると、その画像座標は、別の画像と実際のカメラ画像との間の、走行距離１２６に対応する量だけずらされている。この量は、量および方向を有するベクトルとして表すことができる。ベクトルは光束と呼ばれてよい。
【００３３】
個別のカメラは相対的なヨー角の変化を有していなくてよいので、平らな面１０８が別の画像で検出されると、傾斜角なしの、つまり傾斜角がゼロである面１０８が検知される。
【００３４】
ここで紹介された方式によって、平らな面１０８の検知の複数の結果が集合される。つまり、ステレオ／ビデオシステム１０２内での複数の面１０８の検知が、光束によって記憶される。相対的なヨー角１０６の変化が検知されると、カメラ１１０，１１２は、ステレオ／ビデオシステム１０２内でも傾斜角１２４の無い面１０８が検知されるまで、新たに較正され得る。ステレオ／ビデオシステム１０２は、１つのカメラ画像または２つのカメラ画像内でヨー角基準値が適合されることによって、較正され得る。既存の中間結果を使用することによって、資源を保護することができる。例えば光束、不一致および道路表面１０８は大部分が、対象物検出のために必要とされており、実際のステレオ／ビデオ制御装置１０２（部分的にＦＰＧＡハードウエア）において実行されていて、呼び出し可能である。
【００３５】
ステレオ／ビデオ／カメラシステム１０２に基づいて算出された道路表面１２２は、光束からの相応のデータによって妥当化される。
【００３６】
道路表面１０８は、二次元の画像シーケンスから三次元構造を特定することができるＳｆＭ（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ）を完全に実行する必要なしに、光束から特定することができる。このために、道路表面１０８が段毎に増分式に演算される。各段のために、画像の最も下の行を起点として、道路表面１０８に所属するすべての流束ベクトルが収集される。次いで、統計学的な評価法によって、道路１０８の最適な傾斜角が特定される。この方式は、直線的であって、制御装置１０４のために最適化されている。
【００３７】
図２は、本発明の１実施例による車両用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検知するための制御装置１０４のブロック制御回路図を示す。この制御装置１０４は図１に示した車両に使用されてよい。制御装置１０４は、読み込むための装置２００、算出するための装置２０２、特定するための装置２０４、および比較するための装置２０６を有している。ステレオ／ビデオシステムは図１に示されているように、第１のカメラと第２のカメラとを有しており、これらのカメラは、１つの共通の検出領域に向けられていて、ステレオベースだけ互いにずらして配置されている。読み込むための装置２００は、画像対を２つのカメラによって、また別の画像を第１のカメラによって読み込むために構成されている。画像対は、第１の時点で検出された第１のカメラの第１の画像と、第１の時点で検出された第２のカメラの第２の画像とを含んでいる。別の画像は、第１の時点に対して時間的にずらされた別の時点で検出されている。算出するための装置２０２は、画像対、ステレオベースおよび実体鏡学処理規定を用いて検出領域内の定置の面を算出し、それによってステレオ／ビデオシステム内の定置の面に対する傾斜角を得るために構成されている。特定するための装置２０４は、画像対の第１の画像、別の画像および流束処理規定を用いて定置の面を特定し、それによって比較角を得るために構成されている。この場合、ステレオ／ビデオシステムが第１の時点と別の時点との間で走行距離だけ移動すると、第１の画像と別の画像との間の光束が検出される。比較するための装置２０６は、傾斜角と比較角とを比較規定を用いて比較し、それによって相対的なヨー角の変化を検知するために構成されている。
【００３８】
１実施例では、制御装置１０４が、読み込むための装置２００および比較するための装置２０６を有している。読み込むための装置２００は、ステレオ／ビデオシステムおよび比較角から、定置の面の傾斜角を読み込むために構成されている。比較するための装置２０６は、比較規定を用いて傾斜角を比較角と比較し、それによって相対的なヨー角の変化を検知するために構成されている。
【００３９】
図３は、本発明の１実施例による車両用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検知するための方法３００のフローチャートを示す。この方法は、制御装置において、図１および図２に示したように実行される。この方法３００は、読み込むステップ３０２と、算出するステップ３０４と、特定するステップ３０６と、比較するステップ３０８とを有している。ステレオ／ビデオシステムは、第１のカメラと第２のカメラとを有しており、これらのカメラは、１つの共通の検出領域に向けられていて、ステレオベースだけ互いにずらして配置されている。読み込むステップ３０２で、画像対が２つのカメラによって読み込まれ、別の画像が第１のカメラによって読み込まれる。画像対は、第１の時点で検出された第１のカメラの第１の画像と、第１の時点で検出された第２のカメラの第２の画像とを含んでいる。別の画像は、第１の時点に対して時間的にずらされた別の時点で検出されている。算出するステップ３０４で、画像対、ステレオベースおよび実体鏡学処理規定を用いて検出領域内の定置の面が算出され、それによって、この定置の面に対するステレオ／ビデオシステムの傾斜角が得られる。特定するステップ３０６で、画像対の第１の画像、別の画像および流束処理規定を用いて定置の面が特定され、それによって比較角が得られる。この場合、第１の時点と別の時点との間でステレオ／ビデオシステムが走行距離だけ移動すると、第１の画像と別の画像との間で光束が検出される。比較するステップ３０８で、比較規定を用いて傾斜角が比較角と比較され、それによって相対的なヨー角の変化が検知される。
【００４０】
１実施例では、読み込むステップ３０２で少なくとも１つの別の画像対が読み込まれる。別の画像対は、画像対に対して時間的にずらされて検出される。算出するステップ３０４で別の画像対を用いて別の傾斜角が算出される。この方法はさらに、移動検知のステップを有しており、この移動検知のステップで、傾斜角が別の傾斜角と比較され、それによってステレオ／ビデオシステムの傾斜角が検知される。ステレオ／ビデオシステムの運動によって、検出領域におけるカメラの画面角度が変化する。
【００４１】
１実施例では、読み込むステップ３０２で別の画像が別の画像対の構成要素として読み込まれる。傾斜角の算出は周期的に行われる。この場合、実体鏡学のために、画像対の一体を成している画像が用いられる。光束のために、複数のカメラのうちの１つのカメラの連続する画像が用いられる。
【００４２】
１実施例では、ピッチング運動が限界値より小さいときに、比較するステップ３０８が実行される。例えば、連続する２つの画像対間の運動が、５°より小さく、特に２°より小さく、特に０．５°より小さいときに、比較される。
【００４３】
１実施例では、特定するステップ３０６で、ピッチング運動を用いて比較角が特定される。このために、２つの画像間のピッチング運動の角度が、２つの画像間の光束を算出する際に考慮される。光束において、ピッチング運動は光束のすべてのベクトルに均一に作用する。同様に、ヨー運動はすべてのベクトルに均一に作用する。
【００４４】
１実施例では、この方法は、ステレオ／ビデオシステムの再較正のステップを有している。この場合、カメラの個別のヨー角は、相対的なヨー角の変化が許容値より大きいときに、相対的なヨー角の変化を用いて再較正される。再較正は、機械的、電子的およびアルゴリズム的、好適にはアルゴリズム的に行われる。この場合、実体鏡学のための少なくとも１つの画像の基準値はずらされる。少なくとも１つのカメラが、相対的なヨー角の変化に抗して回されてもよい。
【００４５】
１実施例では、再較正が段階的に行われる。個別のヨー角はそれぞれ所定の角度だけ最大に修正され、それによってステレオ／ビデオシステムが再較正される。相対的なヨー角の変化が許容値よりも大きいときに、少なくとも１つの画像の基準値が予め規定された段階だけずらされる。例えば、基準値は所定数の画素だけずらすことができる。小さい段階によって、修正角は漸近的に最適値に調整することができる。
【００４６】
１実施例では、特定するステップ３０６で、第１の画像と別の画像との間の流束ベクトルが段毎にまたは行毎に特定され、それによって定置の面が探し出され、比較角が特定される。流束ベクトルを行毎にまたは段毎に評価することによって、定置の面の境界を簡単に探し出すことができる。探し出された境界は、次の行または段のための方向付けとして使用することができる。これによって、定置の面を迅速に探し出すことができる。
【００４７】
言い換えれば、図３は、ステレオ表面特定および単一表面特定をベースとして間違って較正されたステレオ／ビデオ／カメラシステムのためのヨー角を特定する方法３００のフローチャートを示す。
【００４８】
道路平面は、ステレオ／ビデオ／カメラシステムによって特定され得る。同様に、移動するカメラをベースにして光束を利用して、道路平面を含む１つのシーンの３Ｄ再構成を実施することができる（Ｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ；ＳｆＭ）。これらの方法の組み合わせによって、ステレオ／ビデオ／カメラシステムの較正不良が検知され、連続的に自己較正によって再較正することができる。連続的な自己較正のための従来の方式は、非常に多くの演算を必要とするか、またはヨー角を特定する際に不正確さを有している。
【００４９】
ここで提案された方式は、単一特性およびステレオ特性の組み合わせ評価より成るビデオシステムの較正を記述する。
【００５０】
ＳｆＭは、特定を行うために用いられてよいが（例えば別の機能のためにいずれにしても演算される場合）、光束をベースとした完全な再構成を行うことなしに、（前述の）段方式を用いるほうが明らかに効果的である。純粋に視覚に基づいたＳｆＭ方式は、再構成された周囲のスケールを見積もることができない。しかしながら、ここでは角度だけが必要なので、これはアルゴリズムのために問題ではない。
【００５１】
点検しようとする、場合によっては間違って較正されたカメラシステムの左のカメラと右のカメラとの間のヨー角が算出される。この場合、ヨー角の特定は、ステレオ画像対から算出された道路表面と、光束から算出された道路表面との比較を介して行われる。
【００５２】
これによって、従来の方式におけるよりも正確な、ヨー角の特定が得られる。算出されたヨー角によって、再較正後の、不一致画像内におけるより正確な距離測定が可能である。
【００５３】
ここで提案された方式は、実際の制御装置ハードウエアにおいてリアルタイムで実行することができる。
【００５４】
図４は、本発明の１実施例による、車両用のステレオ／ビデオシステムにおける相対的なヨー角の変化を検出するための方法の経過のフローチャート４００を示す。経過４００は、この実施例によれば、ステレオ／ビデオシステムの画像のひずみ補正４０２から始まっている。ひずみ補正は、単一回路のための前提条件ではない、単なる単純化である。一般的に、表面の傾斜角は、ひずみ補正されていない画像も予め考量されていてよい。ステレオ回路のためには、ひずみ補正を行う必要があるが、このひずみ補正は、不一致見積もりおよび間隔見積もり後に実施されてもよい。ひずみ補正４０２は、ひずみ補正された画像を提供する。次いで、経過４００のために２つの平行な分岐が進行する。第１の分岐で、不一致見積もり４０６のためのステレオ／ビデオシステムのひずみ補正されたステレオ画像対４０４が読み込まれる。不一致見積もり４０６で、ステレオ画像対４０４の不一致カード４０８が作成される。不一致カード４０８は、第１の道路表面見積もり４１０において、ステレオ画像対４０４内の路面の第１の状態４１２を算出するために使用される。第２の分岐で、時間的にずらして撮影された少なくとも２つのモノラル画像４１４が、光束４１６を特定するために読み込まれる。光束として、モノラル画像４１４間の二次元の流束ベクトル４１８が提供される。流束ベクトル４１８は、第２の道路表面見積もり４２０によって、モノラル画像４１４内の路面の第２の状態４２２を算出するために使用される。経過４００の２つの分岐は、第１の状態４１２と第２の状態４２２とが互いに比較されることによって、再び統合される。２つの状態４１２，４２２の相違が検知されると、ステレオ／ビデオシステムの自己較正４２４が行われる。経過４００は逐次的に行われるので、自己較正４２４は連続的に行われる。
【００５５】
左のカメラと右のカメラとの間のヨー角の算出は、ステレオ／ビデオ／カメラシステムの連続的な自己較正の必要な構成要素である。
【００５６】
較正は、例えばエピポーラ制約（Ｅｐｉｐｏｌａｒ−Ｂｅｄｉｎｇｕｎｇ）等の単純な方式に基づいて監視される。システムの較正不良が検知されてから初めて、ロール角およびピッチ角によって自己較正が行われる。
【００５７】
残存するヨー角誤差は、複数のステップで算出される。ヨー角誤差は、ピッチ角およびロール角の補正後に補正されるべきであるが、これは必ずしも必要なものではない。何故ならばヨー角は別個に補正されるからである。まず、道路表面４１２がステレオ／ビデオ／カメラシステムに基づいて算出される。道路表面演算４１０により、カメラシステムに対する表面の傾斜角を特定することができる。この過程は、次のステレオ画像対４０４のために繰り返される。傾斜角の相違は、例えば車両のピッチングを示唆する。相応の修正が、次のステップで考慮される。
【００５８】
２つの画像のうちの一方の画像のために、２つの時点間の画像の光束４１６が算出される。カメラシステムが車両の走行により２つの時点間で移動すると、これらのデータから道路表面４２２が算出され得る。演算された道路表面４２２から、カメラシステムに対する道路表面４２２の傾斜角が特定される。光束４１６に基づく道路表面の演算４２０が３Ｄ再構成を介して行われるか（ＳｆＭ）、または道路表面４２２が統計学的回帰の形式で直接的に流束場４１８の発散から特定される。
【００５９】
車両のピッチングが検知されると、ステレオからの様々な傾斜角間の測定された差異が、別の演算において考慮され得る。
【００６０】
この場合、同様に、カメラヨー角の特定は行われなくてよい。
【００６１】
車両のピッチングが生じない場合、カメラ間のヨー角の必要な補正は簡単に特定することができる。
【００６２】
道路表面特定４１０，４２０の傾斜角が、ステレオとＳｆＭとで異なっている場合、ステレオ／ビデオ／カメラシステムの較正不良が存在する。ステレオ／カメラシステムのヨー角は、ステレオ／カメラシステムの道路表面４１２の特定４１０に直接的な影響を有していて、この道路表面４１２の特定４１０を介して算出され得る。
【００６３】
システムの安定性は、適当な更新プログラミングを介して高めることができる。例えば、最大補正角を特定することができる。これによって、ヨー角は、この方法を複数回実施した後で段階的にその最適さに近づく。
【００６４】
ステレオ／ビデオ／カメラシステムの機械的な較正不良が、カメラの回転またはシフトによって生じることがある。システムは、車両が動いているときに新たに較正される。何故ならば、較正は光束に依存しているからである。
【００６５】
ヨー角誤差の特定は、ステレオ／ビデオ／カメラシステムの連続的な自己較正の構成要素として使用することができる。
【００６６】
前述したおよび図面に示した実施例は、例として選択されているだけである。様々な実施例を、完全にまたは個別の特徴に関連して互いに組み合わせることができる。１実施例は、別の実施例の特徴により補われてもよい。
【００６７】
さらに、本発明による方法ステップは繰り返し実施され、また前記連続とは異なる連続で実施されてよい。
【００６８】
１実施例が第１の特徴と第２の特徴との間で「および／または」接続を有している場合、これは、この実施例が、１実施形態に従って第１の特徴も第２の特徴も有しており、また別の実施形態に従って第１の特徴だけまたは第２の特徴だけを有していると、読み取られるべきである。
【符号の説明】
【００６９】
１００  車両
１０２  ステレオ／ビデオシステム
１０４  相対的なヨー角の変化を検知するための制御装置
１０６  ヨー角
１０８  平らな面、道路表面、道路
１１０  第１のカメラ
１１２  第２のカメラ
１１４  ずれていない検出領域
１１６  間隔、ステレオベース
１１８  対象物
１２０  ずれた検出領域
１２２  傾斜面、道路表面
１２４  傾斜角
１２６  走行距離
２００  読み込むための装置
２０２  算出するための装置
２０４  特定するための装置
２０６  比較するための装置
３００  ヨー角を特定する方法
３０２  読み込むステップ
３０４  算出するステップ
３０６  特定するステップ
３０８  比較するステップ
４００  フローチャート、経過
４０２  ひずみ補正
４０４  ステレオ画像対
４０６  不一致見積もり
４０８  不一致カード
４１０  第１の道路表面見積もり
４１２  路面の第１の状態
４１４  モノラル画像
４１６  光束
４１８  流束ベクトル
４２０  第２の道路表面見積もり
４２２  路面の第２の状態
４２４  自己較正
【図１】
0006317456.tif 000002
【図２】
0006317456.tif 000003
【図３】
0006317456.tif 000004
【図４】
0006317456.tif 000005