(57)【要約】本発明の、自動車に搭載するためのステレオビジョン装置の自動較正方法は、第１の取得装置と第２の取得装置の中へ、自動車が走行する、少なくとも１つの走行道路を含む同一の場面の左の画像と右の画像をそれぞれ取得し（６１０）、左の画像と右の画像において、走行道路の、直線で概ね平行な２つの線に対応する、少なくとも２つの消線を探求し（６２０）、少なくとも２つの消線が決定された場合に、左の画像と右の画像について、それぞれ検出された少なくとも２つの消線の交点の座標を決定し（６４０）、左の画像と右の画像について決定された消線の交点の座標に基づいて、それぞれカメラ間のピッチ角とヨー角の差の形の、ピッチ誤差とヨー誤差を決定する（６５０）。
2008509619.tif 000002
【特許請求の範囲】
【請求項１】
自動車に搭載するための、少なくとも２つの画像取得装置、すなわち、第１の左の画像の取得のための第１の取得装置と、第２の右の画像の取得のための第２の取得装置とを含むステレオビジョン装置の自動較正方法であって、上記自動較正方法は、
ａ）上記第１の取得装置と上記第２の取得装置の中へ、上記自動車が走行する、少なくとも１つの走行道路を含む同一の場面の上記左の画像と上記右の画像をそれぞれ取得し、
ｂ）較正誤差を決定し、
ｃ）上記較正誤差に基づいて、上記左の画像と上記右の画像の調整を実行する、
ステップを含む、ステレオビジョン装置の自動較正方法において、上記自動較正方法の上記ｂ）の上記ステップは、
ｂ１）上記左の画像と上記右の画像において、上記走行道路の、直線で概ね平行な２つの線、特に上記走行道路の境界線またはマーキングラインに対応する、少なくとも２つの消線を探求し、
ｂ２）上記左の画像と上記右の画像について、それぞれ検出された少なくとも２つの上記消線の交点の座標を決定し、
ｂ３）上記左の画像と上記右の画像について決定された上記交点の上記座標に基づいて、それぞれカメラ間のピッチ角とヨー角の差の形の、ピッチ誤差とヨー誤差を決定することによって、上記較正誤差を決定する、
ステップを含み、
上記左の画像と上記右の画像の上記調整は、上記ピッチ誤差と上記ヨー誤差に応じて実行されることを特徴とする、ステレオビジョン装置の自動較正方法。
【請求項２】
上記ｂ３）の上記ステップは、さらに、上記ピッチ誤差と上記ヨー誤差の値の、最小値と最大値との間の第１の範囲を決定することを含むことを特徴とする、請求項１に記載のステレオビジョン装置の自動較正方法。
【請求項３】
さらに、上記ａ）、上記ｂ１）、上記ｂ２）、上記ｂ３）の上記ステップを、複数の上記左の画像と上記右の画像に対して繰り返し、複数の上記左の画像と上記右の画像について得られた上記第１の範囲に基づいて、上記ピッチ誤差と上記ヨー誤差の値の第２の範囲を決定することを特徴とする、請求項１または２に記載のステレオビジョン装置の自動較正方法。
【請求項４】
上記第２の範囲は、上記ピッチ誤差と上記ヨー誤差の値の上記第１の範囲について得られた一連の最小値の最大値と、上記ピッチ誤差と上記ヨー誤差の値の上記第１の範囲について得られた一連の最大値の最小値を含むことを特徴とする、請求項３に記載のステレオビジョン装置の自動較正方法。
【請求項５】
上記ｂ１）の上記ステップは、さらに、上記左の画像と上記右の画像についての上記消線の方程式のパラメータの範囲を決定することを含むことを特徴とする、請求項１〜４のいずれか１つに記載のステレオビジョン装置の自動較正方法。
【請求項６】
上記ｂ２）の上記ステップは、さらに、上記ｂ１）の上記ステップにおいて得られた上記範囲に基づいて、上記左の画像と上記右の画像の消点の座標の範囲を決定することを特徴とする、請求項５に記載のステレオビジョン装置の自動較正方法。
【請求項７】
上記ｂ３）の上記ステップは、さらに、上記ｂ２）の上記ステップにおいて得られた上記範囲に基づいて、上記ピッチ誤差と上記ヨー誤差の範囲を決定することを特徴とする、請求項６に記載のステレオビジョン装置の自動較正方法。
【請求項８】
上記ｂ３）の上記ステップは、右のカメラと左のカメラのロール角度が所定の間隔、特に絶対値で５°以下の間隔内に含まれると仮定し、上記ロール角度が上記間隔の中で変化するときに得られた上記ピッチ誤差と上記ヨー誤差の最大値と最小値を決定して実行されることを特徴とする、請求項１〜７のいずれか１つに記載のステレオビジョン装置の自動較正方法。
【請求項９】
上記ｂ３）の上記ステップは、上記ピッチ誤差と上記ヨー誤差は小さく、特に絶対値で１°以下であると仮定して実行されることを特徴とする、請求項１〜８のいずれか１つに記載のステレオビジョン装置の自動較正方法。
【請求項１０】
上記消線が、ホク変換を使用して検出されることを特徴とする、請求項１〜９のいずれか１つに記載のステレオビジョン装置の自動較正方法。
【請求項１１】
上記消線が、ラドン変換を使用して検出されることを特徴とする、請求項１〜１０のいずれか１つに記載のステレオビジョン装置の自動較正方法。
【請求項１２】
上記第１の取得装置と上記第２の取得装置のためのピンホールモデルに変形するために、取得後の上記左の画像と上記右の画像を修正するステップをさらに含むことを特徴とする、請求項１〜１１のいずれか１つに記載のステレオビジョン装置の自動較正方法。
【請求項１３】
上記ｂ１）の上記ステップにおいて検出された各上記消線に属する点の数が、所定の閾値よりも大きいときにのみ、上記ｂ２）と上記ｂ３）の上記ステップを実行することを特徴とする、請求項１〜１２のいずれか１つに記載のステレオビジョン装置の自動較正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自動車上で実行する、ステレオビジョン装置（ｓｔｅｒｅｏｖｉｓｉｏｎ  ｓｙｓｔｅｍ）の自動較正方法に関する。
【背景技術】
【０００２】
左右の２つのカメラを有するステレオビジョン装置を組み込んだ、自動車の中で使用される障害物検出装置は、使用可能状態にするために極めて頻繁に較正する必要がある。特に、較正誤差、すなわち±０．１°のオーダのカメラの軸のアライメント誤差は、障害物検出装置の作動不良をもたらすが、このような精度を機械的に達成することは極めて困難である。従って、いわゆる電子較正方法の採用が必要になる。電子較正方法は、カメラの軸のアライメント誤差を決定し、カメラによって検出された画像に基づいて計測された測定値を、決定されたアライメント誤差に応じて修正することからなる。
【０００３】
従来の較正方法は、テストパターンの使用を必要とする。このテストパターンは、ステレオビジョン装置に対向して配置する必要がある。従って、従来の較正方法は、工場において実施するために自動車を固定する手作業を必要とし、一方のカメラの他のカメラに相対的な移動が、±０．１°以内であることを自動車の全ライフサイクル間に保証することは不可能であるので、較正は規則的な時間間隔で実行する必要があるだけに、極めて高コストを要する。
【０００４】
ジェイ．デュール（Ｊ．ＤＯＵＲＥＴ）によって２００４年４月２日に提出されたパリ６大学の博士論文には、路上のマーキングの検出と、マーキングに加えられた形状上の拘束（個々の位置、間隔、全体の構成の少なくとも１つ）についての先験的な知見に基づいて、テストパターンを使用しない較正方法が提案されている。この方法は、一方では、その適用は、所定の特徴を有するマーキングが視野内に配置され、マーキングに加えられた形状上の拘束がコード化されることを前提条件とするという事実のために、他方では、一方では路面のマーキングによるラインの標示が利用可能であり、他方ではそれぞれ右の画像と左の画像において検出されるマーキングの横方向と縦方向の位置を表す幾つかのマーキングポイントの位置の間に相関が確立されることを前提条件とするという事実のために、複雑であることが明らかである。
【特許文献１】ＵＳ  ２００３／１８５４２１  Ａ１
【非特許文献１】ジェイ．デュール；パリ６大学博士論文（２００４年４月２日提出）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このため、本発明は、±０．１°以内の較正精度を得ることを可能にし、簡単かつ自動的で、特にテストパターンの使用、または人手による実行、または自動車の固定を必要としない、自動車上で実行する、ステレオビジョン装置の自動較正方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明は、自動車に搭載するための、少なくとも２つの画像取得装置、すなわち、第１の左の画像の取得のための第１の取得装置と、第２の右の画像の取得のための第２の取得装置とを含むステレオビジョン装置の自動較正方法であって、上記自動較正方法は、
ａ）上記第１の取得装置と上記第２の取得装置の中へ、上記自動車が走行する、少なくとも１つの走行道路を含む同一の場面の上記左の画像と上記右の画像をそれぞれ取得し、
ｂ）較正誤差を決定し、
ｃ）上記較正誤差に基づいて、上記左の画像と上記右の画像の調整を実行する、
ステップを含む、ステレオビジョン装置の自動較正方法において、上記自動較正方法の上記ｂ）の上記ステップは、
ｂ１）上記左の画像と上記右の画像において、上記走行道路の、直線で概ね平行な２つの線、特に上記走行道路の境界線またはマーキングラインに対応する、少なくとも２つの消線を探求し、
ｂ２）上記左の画像と上記右の画像について、それぞれ検出された少なくとも２つの上記消線の交点の座標を決定し、
ｂ３）上記左の画像と上記右の画像について決定された上記交点の上記座標に基づいて、それぞれカメラ間のピッチ角とヨー角の差の形の、ピッチ誤差とヨー誤差を決定することによって、上記較正誤差を決定する、
ステップを含み、
上記左の画像と上記右の画像の上記調整は、上記ピッチ誤差と上記ヨー誤差に応じて実行されることを特徴とする、ステレオビジョン装置の自動較正方法を提供する。
【０００７】
上記走行道路は、ここでは、道路自身（車道と路側帯を含む）、車道のみ、または走行車線を広義に意味する。
【０００８】
本発明によるステレオビジョン装置の自動較正方法は、走行道路は、走行道路の端に相当する線であれ、走行道路のマーキングラインであれ、概ね平行な線を含むという事実を利用する。さらに、上記に示して従来技術とは異なって、マーキングラインが存在し、所定の間隔を有する必要は必ずしもない。最後に、右の画像と左の画像における消点の決定のみによって、較正誤差、特にピッチ誤差とヨー誤差の決定が可能になる。
【０００９】
特に有利な実施の形態によれば、ピッチ誤差とヨー誤差は、ロール角度が所定の間隔、たとえば−５°と＋５°の間に含まれると仮定して決定される。
【００１０】
本発明によるステレオビジョン装置の自動較正方法は、人が介入することなく実行されるので、コスト増加を伴うことなく、自動車が充分平らな走行道路を走行すると、直ちに、繰り返して、実行することができる。この自動較正方法は、所定の時間間隔に従って、規則的な時間間隔で実行されることが望ましい。また、この自動較正方法は、自動車の固定を必要とせず、自動車の走行中に実施するように適応化されている。このことは、例えばカメラに機械的な「再較正」が行われた場合には、自動車が充分平らな走行道路を走行すると、直ちに、本発明の自動較正方法による較正が、再度自動的かつ電子的に実行されことを保証する。
【００１１】
本発明によるステレオビジョン装置の自動較正方法の特に有利な実施の形態によれば、この自動較正方法は、さらに：
−  上記左の画像と上記右の画像について決定された上記消線の方程式のパラメータの範囲を決定し；  
−  上記消線の上記方程式の上記パラメータの上記範囲に基づいて、上記左の画像と上記右の画像の消点の座標の範囲を決定し；
−  上記消点の上記座標の上記範囲に基づいて、上記ピッチ誤差と上記ヨー誤差の範囲を決定する、
ことを含む。
【発明を実施するための最良の形態】
【００１２】
本発明のその他利点と特徴は、以下の説明によって明らかとなるであろう。参照する図面において：
−  図１は、ステレオビジョン装置が装備された自動車を簡単化して示す図であり；
−  図２の２ａと２ｂは、走行道路上の位置において、自動車に配置されたカメラによって得られる画像の例を示す図であり；
−  図３の３ａ、３ｂ、３ｃは、本発明による自動較正方法において用いられる幾何学モデルの、３次元における幾何学表示を示す図であり；
−  図４の４ａ、４ｂは、本発明による自動較正方法において用いられるパラメータの計算モードを示す図であり；
−  図５は、本発明による自動較正方法の、簡単化した流れ図である。
【００１３】
以下、図１に示すように、走行道路Ｂ上において走行中または停車中の、上から見た自動車Ｖについて考察する。走行道路は、概ね平らであると仮定する。従って、走行道路は、走行道路自身の境界線ＬＢ（走行道路の右端と左端）、または側方のマーキングラインＬ１、Ｌ２または中央のマーキングラインＬＭからなる、概ね平行な線を含む。側方のマーキングラインＬ１、Ｌ２は、本来の意味における走行道路の境界を定める。一方、側方のマーキングラインＬ１と中央のマーキングライン（または側方のマーキングラインＬ２とＬＭ中央のマーキングラインＬＭ）は、走行道路上における車線の境界を定める。走行道路の左右の境界線ＬＢが充分に直線で、走行道路の直近の環境に対して充分なコントラストを示し、走行道路の左右の境界線ＬＢを平行線として利用可能であれば、本発明による自動較正方法を実行するために、マーキングラインは必要ではない。実際、たとえ僅かでも輝度のコンロラストまたは色彩のコントラストがあれば、走行道路と直近の環境との撮像上で左右の境界線は充分検出可能である。
【００１４】
この自動車には、幾らかの間隔をおいては配置された、右のカメラＣＤと左のカメラＣＧとの、２つのカメラを含むステレオビジョン装置が装備されている。これらのカメラは、典型的にはデジタル画像の取得を可能にするＣＣＤカメラである。画像は、２つのカメラに連結され、カメラによってデジタル化された画像を受ける中央処理計算装置Ｓによって処理される。左右の画像は、通常、先ず始に、ピンホールモデルに変形するように、固有の構成パラメータを用いて変換される。ピンホールモデルにおいては、空間の一点が、カメラの焦点面の点へ投影される。焦点面の点は、この焦点面と、空間の点とカメラの光学中心を結ぶ直線との交点に相当する。（例えば、文献「コンピュータ  ビジョン、モダーン  アプローチ（Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ，  Ａ  ｍｏｄｅｒｎ  ａｐｐｒｏａｃｈ）」、フォーサイス、ポンス著（ｂｙ  Ｆｏｒｓｙｔｈ  ａｎｄ  Ｐｏｎｃｅ）、プレンティス  ホール（Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ）刊、第３章を参照されたい。）次いで、画像は、例えばコントラストまたは解像度を改良するように、取得後のフィルタリングまたは前処理の対象になる。コントラストまたは解像度を改良することによって、画像の線を検出する次のステップが容易になる。
【００１５】
自動車の中に配置された右のカメラＣＤと左のカメラＣＧは、それぞれ図２ａまたは図２ｂに示されたような画像を取得する。図２ａの画像は、自動車が直線の走行車線を走行中の状態に該当する。この画像において走行車線を表示する直線Ｌ１、Ｌ２は平行で、画像の消点へ向かって収束する。図２ｂの画像は、市街地のカーブを走行中の状態に該当する。この画像の中で検出される直線Ｌ１、Ｌ２は、きわめて短い直線の線分である。
【００１６】
さて、本発明によるステレオビジョン装置の自動較正方法を、それぞれ本発明による自動較正方法に特有の局面を示す図３ａ、３ｂ、３ｃ、図４ａ、４ｂと組み合わされた図５を参照して、ステップ  バイ  ステップに説明する。ステップ６１０〜６４０は、右の画像と左の画像に対して、全く同様に実行され、ステップ６５０〜６７０は、ステップ６１０〜６４０において得られて結果を、２つの画像に対して組み合わせて使用する。
直線の検出
取得ステップ６１０においては、右のカメラＣＤによって取得され、右のカメラＣＤについてのピンホールモデルに変形するように修正された画像と、左のカメラＣＧによって取得され、左のカメラＣＧについてのピンホールモデルに変形するように修正された画像は、その後、線の検出ステップ６２０に委ねられる。このために、ホク（Ｈｏｕｇｈ）変換またはラドン（Ｒａｄｏｎ）変換を用いることが望ましい。直線を検出するための、その他のあらゆる方法、例えばマトリックス  フィルタリングによる、画像における勾配の閾値化と検出も使用可能である。ホク変換またはラドン変換の使用は、画像に存在する線の検出と、更にこれらの線に属する点の数も検出することを可能にする。発見された点の数に応じて、自動車が直線走行状態にあるか旋回中であるかを決定することができる。前者の場合には、ステレオ  ベースの較正が可能であるが、後者の場合にはステレオ  ベースの較正は不可能である。
【００１７】
これらの線が直線であるときには、変換が、更に、線の検出に用いられた変換のパラメータ化に依存する精度で、直線の方程式の係数の決定を可能にする。
【００１８】
このために、左のカメラＣＧによって取得された左の画像について、図３ａに示す正規直交アフィン座標系、
【００１９】
【数１】
2008509619.tif 000003
を定義する。この正規直交アフィン座標系の座標（ｕ０、ｖ０）を有する原点ＯＩＧは、カメラの取得マトリックス（典型的にはＣＣＤマトリックス）の中心に位置するとみなされ、そのベースベクトル
【００２０】
【数２】
2008509619.tif 000004
は、マトリックスの水平軸と垂直軸にそれぞれ相当する。座標系ＲＩＧの座標（ｕ０、ｖ０）は、ここでは、カメラの画像マトリックスについてのピクセルの数に関するデータである。同様に、右の画像について、正規直交アフィン座標系、
【００２１】
【数３】
2008509619.tif 000005
を定義する。簡単化のために、右と左の２つの画像マトリックスの次元は同一であると仮定する。従って、右と左の各画像マトリックスの中心の座標（ｕ０、ｖ０）も同一である。
【００２２】
このような座標系においては、直線の方程式は、
【００２３】
【数４】
2008509619.tif 000006
である。ここに、θとωは、直線の原点における勾配及び縦座標を特徴付けるパラメータである。
【００２４】
従って、ホク変換またはラドン変換を使用して決められた各直線の方程式は、θの値とωの値に対応する。使用される変換のパラメータ化に応じて、検出された各直線について、パラメータの２つの値の範囲を決定することが可能である。
【００２５】
走行道路の直線（側方のマーキングライン）Ｌ１に該当する右の画像の第１の直線ＬＤ１について、θとωの値、θＤ１とωＤ１の次の範囲が得られる。
【００２６】
【数５】
2008509619.tif 000007
また、走行道路の直線（側方のマーキングライン）Ｌ２に該当する右の画像の第２の直線ＬＤ２について、θとωの値、θＤ２とωＤ２の次の範囲が得られる。
【００２７】
【数６】
2008509619.tif 000008
同様に、走行道路の直線（側方のマーキングライン）Ｌ１に該当する左の画像の第１の直線ＬＧ１について、θとωの値、θＧ１とωＧ１の次の範囲が得られる。
【００２８】
【数７】
2008509619.tif 000009
また、走行道路の直線（側方のマーキングライン）Ｌ２に該当する左の画像の第２の直線ＬＧ２について、θとωの値、θＧ２とωＧ２の次の範囲が得られる。
【００２９】
【数８】
2008509619.tif 000010
自動車が非直線の道路の部分を走行し、検出された直線の部分が、画像における消点の正確な決定に対して不適当である、図２に示されたタイプの状態を排除するために、充分な数の点が得られる画像の直線のみを採用する。このため、極めて少ない点を含む直線の部分を排除し、画像における少なくとも２つの直線について、点の数が閾値よりも大であるか否かを決定するために、検出された各直線について、テストステップ６３０が実行される。この閾値は、経験的に決定されるか、或いは特徴的な画像の一連の実験結果に基づいて決定される。直線または直線の部分が充分な数の点を有しないときには、本方法の以下のステップは実行されず、取得ステップ６１０へ戻る。少なくとも２つの直線が充分な数の点を有するときには、これらの右と左の各画像の中から、２つの直線、例えば各画像の中で最も多くの点を有する２つの直線のみを採用し、次のステップ６４０へ移行する。
消点の決定
右と左の各画像について、消点の座標、すなわち採用した２つの直線の交点の座標を決定する。
【００３０】
先に定義した記号と方程式に基づいて、右の画像における直線ＬＤ１とＬＤ２の交点の座標（ｕＤＦ、ｖＤＦ）は、次式によって決定される。
【００３１】
【数９】
2008509619.tif 000011
ここに、θＤ１、ωＤ１、θＤ２及びωＤ２は、式（２）〜（５）によって定められた間隔の中でそれぞれ変化する。
【００３２】
従って、先に決定した範囲の値から、θＤ１、ωＤ１、θＤ２及びωＤ２が、式（２）〜（５）によって定められた間隔の中で変化するときの、式（１０）及び（１１）によって与えられるｕＤＦ及びｖＤＦの最大と最小を求めることによって、次式の形の、右の画像における消点の座標（ｕＤＦ、ｖＤＦ）の範囲を決定する。
【００３３】
【数１０】
2008509619.tif 000012
同様に、左の画像における直線ＬＧ１とＬＧ２の交点の座標（ｕＧＦ、ｖＧＦ）は、次式によって決定される。
【００３４】
【数１１】
2008509619.tif 000013
ここに、θＧ１、ωＧ１、θＧ２及びωＧ２は、式（６）〜（９）によって定められた間隔の中でそれぞれ変化する。
【００３５】
右の画像についてと同様に、次式の形の、左の画像の消点の座標（ｕＧＦ、ｖＧＦ）の範囲を決定する。
【００３６】
【数１２】
2008509619.tif 000014
最大または最小の探求は、例えば様々な間隔において、関連する様々なパラメータを、変化させる、例えば、θとωを０．１または０．０５単位刻みでことによって実行される。その他の数学的な解析技術を、特に導関数の計算によって、使用することも勿論可能である。
幾何学モデル
較正誤差の決定の説明をする前に、使用される幾何学モデルについて、図３ａ、３ｂ、３ｃを参照して説明する。
【００３７】
使用される幾何学モデルは、次のように３次元空間において定義される、複数の直線直交座標系に基礎を置く。
−  ＯＧとＯＤを、それぞれ左のカメラの光学中心と右のカメラの光学中心とし；
−  ＯＳを線分〔ＯＧ、ＯＤ〕の中点とし；ＯＧとＯＤとの間の距離をＲと記し；
−
【００３８】
【数１３】
2008509619.tif 000015
を、一方では、
【００３９】
【数１４】
2008509619.tif 000016
が、他方では
【００４０】
【数１５】
2008509619.tif 000017
が共線であるような、左のカメラに固有の座標系であるとし；Ｒ１ＧとＲＧとの間の距離は、ＲＧにおける座標が、ピクセル数ではなく計量単位（例えばｍ、ｍｍ）で与えられるものからなり；
−
【００４１】
【数１６】
2008509619.tif 000018
を右のカメラに固有の座標系であるとし；
−
【００４２】
【数１７】
2008509619.tif 000019
を道路、すなわち走行道路の座標系であるとし、ベクトル
【００４３】
【数１８】
2008509619.tif 000020
は、道路の面に属する直線Ｌ１とＬ２に平行であり、
【００４４】
【数１９】
2008509619.tif 000021
は、道路の面に平行で、
【００４５】
【数２０】
2008509619.tif 000022
によって定められる方向に直交し、点ＯＲは、
【００４６】
【数２１】
2008509619.tif 000023
であるように、道路の面内に、点ＯＳの、
【００４７】
【数２２】
2008509619.tif 000024
によって定められる垂直線上に位置し；
−
【００４８】
【数２３】
2008509619.tif 000025
を、ステレオ座標系であるとし、ベクトル
【００４９】
【数２４】
2008509619.tif 000026
は、点ＯＧと点ＯＳと点ＯＤを通る直線と共線であり、点ＯＳから点ＯＧへ向けられ、
【００５０】
【数２５】
2008509619.tif 000027
は、
【００５１】
【数２６】
2008509619.tif 000028
に直交し、
【００５２】
【数２７】
2008509619.tif 000029
と
【００５３】
【数２８】
2008509619.tif 000030
とのベクトル積と共線であるように選ばれる。
【００５４】
次に、以下の座標変換マトリックスを定義する。すなわち：
−  座標系ＲＳにおける点Ｍの座標（ｘＳ、ｙＳ、ｚＳ）が、座標系ＲＲにおける座標（ｘＲ、ｙＲ、ｚＲ）に基づいて；
【００５５】
【数２９】
2008509619.tif 000031
のように計算されるように、各角度σｘｒ、σｙｒ、σｚｒと、各軸
【００５６】
【数３０】
2008509619.tif 000032
の回転の合成である、座標系ＲＲから座標系ＲＳへの移行を可能にする変換が、角度｛σｘｒ、σｙｒ、σｚｒ｝によって定義され、この変換は、次の座標変換マトリックスＭＲＳＲ：
【００５７】
【数３１】
2008509619.tif 000033
に相当する。
−  座標系ＲＧにおける点Ｍの座標（ｘＧ、ｙＧ、ｚＧ）が、座標系ＲＳにおける座標（ｘＳ、ｙＳ、ｚＳ）に基づいて；
【００５８】
【数３２】
2008509619.tif 000034
のように計算されるように、各角度εｘｇ、εｙｇ、εｚｇと、各軸
【００５９】
【数３３】
2008509619.tif 000035
の回転の合成である、座標系ＲＳから座標系ＲＧへの移行を可能にする変換が、角度｛εｘｇ、εｙｇ、εｚｇ｝によって定義され、この変換は、次の座標変換マトリックスＭＲＧＳ：
【００６０】
【数３４】
2008509619.tif 000036
に相当する。
−  座標系ＲＤにおける点Ｍの座標（ｘＤ、ｙＤ、ｚＤ）が、座標系ＲＳにおける座標（ｘＳ、ｙＳ、ｚＳ）に基づいて；
【００６１】
【数３５】
2008509619.tif 000037
のように計算されるように、各角度εｘｄ、εｙｄ、εｚｄと、各軸
【００６２】
【数３６】
2008509619.tif 000038
の回転の合成である、座標系ＲＳから座標系ＲＤへの移行を可能にする変換が、角度｛εｘｄ、εｙｄ、εｚｄ｝によって定義され、この変換は、次の座標変換マトリックスＭＲＤＳ：
【００６３】
【数３７】
2008509619.tif 000039
に相当する。
【００６４】
さらに、式（２０）と（２２）から、座標系ＲＧにおける点Ｍの座標（ｘＧ、ｙＧ、ｚＧ）が、座標系ＲＲにおける座標（ｘＲ、ｙＲ、ｚＲ）に基づいて、次式：
【００６５】
【数３８】
2008509619.tif 000040
のように計算されることが導かれる。
【００６６】
同様に、式（２０）と（２４）から、座標系ＲＤにおける点Ｍの座標（ｘＤ、ｙＤ、ｚＤ）が、座標系ＲＲにおける座標（ｘＲ、ｙＲ、ｚＲ）に基づいて、次式：
【００６７】
【数３９】
2008509619.tif 000041
のように計算されることが導かれる。
【００６８】
さらに、左のカメラに関する、道路の座標系に対するロール、ピッチ、ヨーの見かけの角度の定義｛θｘｇ、θｙｇ、θｚｇ｝から、
【００６９】
【数４０】
2008509619.tif 000042
と置き、また、右のカメラに関する、道路の座標系に対するロール、ピッチ、ヨー見かけの角度の定義｛θｘｄ、θｙｄ、θｚｄ｝から、
【００７０】
【数４１】
2008509619.tif 000043
と置く。
【００７１】
さらに、カメラの内部較正パラメータが、ピンホールモデルに変形するためにステップ６１０において用いられたことから、座標系ＲＧにおける座標（ｘＧ、ｙＧ、ｚＧ）を有する点Ｍの左の画像における投影の座標（ｕＧ、ｖＧ）は、（ｘＧ、ｙＧ、ｚＧ）に基づいて、次のように計算される。
【００７２】
【数４２】
2008509619.tif 000044
ここに、ｋｕは、画像におけるｍｍあたりのピクセル数であり、ｆは、カメラの焦点距離である。簡単化のために、焦点距離とｍｍあたりのピクセル数は、２つのカメラについて同一であるとここでは仮定する。
【００７３】
右の画像についても同じ仮定をすることにより、座標系ＲＤにおける座標（ｘＤ、ｙＤ、ｚＤ）を有する点Ｍの右の画像における投影の座標（ｕＤ、ｖＤ）は、（ｘＤ、ｙＤ、ｚＤ）に基づいて、次のように計算される。
【００７４】
【数４３】
2008509619.tif 000045
ピッチ誤差とヨー誤差の決定
ステレオ座標系ＲＳに対する、左のカメラの座標系の各軸の偏差に関する、角度として与えられる較正誤差を、それぞれεｘｇ、εｙｇ、εｚｇと記す。右のカメラについては、同誤差を、それぞれεｘｄ、εｙｄ、εｚｄと記す。本発明の枠内における関心の対象は、ピッチ角度のカメラ間の差：
Δεｙ＝εｙｇ−εｙｄ    （３３）
として定義される、ステレオビジョン装置の、ピッチ誤差Δεｙの形の較正誤差と、ヨー角度のカメラ間の差：
Δεｚ＝εｚｇ−εｚｄ    （３４）
として定義される、ヨー誤差Δεｚを決定することである。
【００７５】
調整手順のための基礎として役に立つエピポーラ線（ｅｐｉｐｏｌａｒ  ｌｉｎｅ）の距離と移動の測定の誤差に、最も大きな影響を有するのは、これらのピッチ誤差とヨー誤差である。
【００７６】
ピッチ誤差とヨー誤差のこの決定において、各カメラの見かけのロール角度は小さく、典型的には絶対値で５°以下であると仮定する。特に急カーブにおいてもロール角度が５°を超えることはないので、この仮定は合理的である。さらに、この仮定は、以下に述べるように、ピッチとヨーの見かけの誤差、すなわちカメラの座標系に対する道路の面の誤差を計算することを可能にする。ところで、見かけのピッチ誤差とヨー誤差は、見かけのロール角度によって僅かしか変化しない。この結果、ロール角度のおおよその知識に基づいて、良好な精度で見かけのピッチ誤差とヨー誤差を決定することが可能である。
【００７７】
ピッチ誤差Δεｙとヨー誤差Δεｚを知ることによって、良好に調整されたステレオビジョン装置の状態をもたらすように、すなわち右のカメラの軸と左のカメラの軸が平行であるように、右の画像または左の画像の調整を実行することが可能になる。この調整手順は、既知のように（例えば、先に引用した「コンピュータ  ビジョン、モダーン  アプローチ」第１１章を参照されたい。）、較正されていないステレオビジョン装置から生じる右と左の画像を、２つのカメラの光学中心を結ぶ線に平行な共通の画像の面からなる、同等な右と左の画像によって置き換えることにある。調整は、通常、当初の画像を、２つのカメラの光学中心を結ぶ線に平行な１つの同じ画像の面の中へ投影することからなる。座標系を適当に選ぶなら、エピポーラ線は、調整方法を通して、さらに調整された画像の水平線になり、２つのカメラの光学中心を結ぶ線に平行である。調整された画像は、ステレオビジョンによる障害物の検出のために装置の中で利用可能であり、この装置は、右と左のカメラの軸が並行であることを前提とし、従って必要とする。較正の誤差がある場合、すなわち２つのカメラの軸が平行でないときには、エピポーラ線は取得される画像の線に対応せず、距離の測定は誤ったものとなり、障害物の検出は不可能となる。
【００７８】
右の画像と左の画像における消点の位置の範囲から、以下に示すように、
Δεｙｍｉｎ＜Δεｙ＜Δεｙｍａｘ    （３５）
Δεｚｍｉｎ＜Δεｚ＜Δεｚｍａｘ    （３６）
の形のピッチ誤差Δεｙとヨー誤差Δεｚの範囲を決めることができる。
【００７９】
この範囲は、ステップ６５０において、画像取得ステップ６１０へ戻る前に、右と左の画像の対について決定される。
【００８０】
本発明による較正方法の特に有利な形態によれば、ピッチ誤差Δεｙとヨー誤差Δεｚの範囲の決定は、複数の画像について繰り返される。次いで、ステップ６６０において、これらの複数の画像について、ΔεｙｍａｘとΔεｚｍａｘに対する各画像について得られた値の最小値（すなわち下限）と、ΔεｙｍｉｎとΔεｚｍｉｎに対する各画像について得られた値の最大値（すなわち上限）を決定する。従って、最終的に、
ｍａｘ｛Δεｙｍｉｎ｝＜Δεｙ＜ｍｉｎ｛Δεｙｍａｘ｝    （３７）
及び、
ｍａｘ｛Δεｚｍｉｎ｝＜Δεｚ＜ｍｉｎ｛Δεｚｍａｘ｝    （３８）
の形の、より正確な範囲が得られる。ここに、関数「ｍｉｎ」と「ｍａｘ」は、上記の複数の画像について決定される。図４ａと４ｂは、ΔεｙｍｉｎとΔεｚｍｉｎ（°で与えられる）が、一連の画像についてどのように変化するかと、これらの複数の画像に対して決定される最小値と最大値がどのようにして導かれるかを示す。このようにして得られた範囲は、取得された画像の調整と、このように調整された画像の、障害物検出における本発明による手順による使用を可能にするのに充分正確であることが分かる。ホク（Ｈｏｕｇｈ）変換のために、０．５°と１ピクセルのステップサイズを選択することによって、±０．１５°に近いΔεｙの範囲と、±０．１°に近いΔεｚの範囲が得られることが特に証明された。
【００８１】
最終ステップ６７０において、ステップ６６０またはステップ６５０で得られたピッチ誤差とヨー誤差が右と左の画像を調整するために使用される。
【００８２】
以下、（３５）、（３６）式の、範囲を決定するための方法を説明する。以下に説明するステップは、主として近似方法を示すためのものである。その他の数式またはモデルを使用することも可能である。右と左の画像の消点の座標のみに基づいてピッチ誤差Δεｙとヨー誤差Δεｚの決定が可能であるような、多くの未知数と、多くの数式が、適当に作られた幾つかの近似と過程に基づいて得られるからである。
【００８３】
角度｛εｘｇ、εｙｇ、εｚｇ｝と角度｛εｘｄ、εｙｄ、εｚｄ｝は、典型的には１°以下であって小さいと仮定されるので、式（２１）、（２３）は、次式によって良好に近似できる。
【００８４】
【数４４】
2008509619.tif 000046
マトリックスＭＲＧＳ、ＭＲＤＳ、ＭＲＳＲから、次のようなΔＭＲを得る。  
ΔＭＲ＝（ＭＲＧＳ−ＭＲＤＳ）ＭＲＳＲ
このマトリックスΔＭＲの第１行第２列の係数は、
【００８５】
【数４５】
2008509619.tif 000047
であり、第１行第３列の係数は、
【００８６】
【数４６】
2008509619.tif 000048
である。
【００８７】
角度｛αｘｒ、αｙｒ、αｚｒ｝は、典型的には５°以下であって充分小さいと仮定し、
ΔＭＲ（１、２）≒−Δεｚ    （４３）
ΔＭＲ（１、３）≒Δεｙ      （４４）
従って、式（４３）、（４４）を、式（２７）、（２８）と組み合わせることによって、次の形のピッチ誤差Δεｙとヨー誤差Δεｚの近似が得られる。
【００８８】
Δεｙ≒ｓｉｎθｙｇ−ｓｉｎθｙｄ                        （４５）
Δεｚ≒−ｃｏｓθｙｇｓｉｎθｚｇ＋ｃｏｓθｙｄｓｉｎθｚｄ  （４６）
式（２５）、（２６）から、比ｙＧ／ｘＧを、道路の面における、マーキングラインＬ１、Ｌ２に平行な直線に属する、座標（ｘＲ、ｙＲ、ｚＲ）を有する点Ｍについての座標（ｘＲ、ｙＲ、ｚＲ）の関数として、方程式、ｚＲ＝０、ｙＲ＝ａ、ｘＲは任意、を用いて計算する。ｘＲを無限大へ向かわせることによって、左の画像の消点（ｕＧ＝ｕＧＦ、ｖＧ＝ｖＧＦ、ｘＧ＝ｘＧＦ、ｙＧ＝ｙＧＦ、ｚＧ＝ｚＧＦ）において決定されるに比ｙＧ／ｘＧ相当する比ｙＧ／ｘＧの極限を決定する。この極限を、消点の座標へ式（２９）、（３０）を適用したものと比較することによって、次式：
【００８９】
【数４７】
2008509619.tif 000049
が得られる。
【００９０】
式（４７）、（２８）から、θｙｇとθｚｇの値を、ｆｕｇとｆｖｇとθｘｇの関数として導く。
【００９１】
θｙｇ＝Ａｔａｎ（ｆｕｇｓｉｎθｘｇ＋ｆｖｇｃｏｓθｘｇ）    （４９）
θｚｇ＝Ａｔａｎ｛ｃｏｓθｙｇ・（ｆｕｇ−ｓｉｎθｘｇｔａｎθｙｇ）／ｃｏｓθｘｇ｝    （５０）
左の画像についてと同様に、右の画像の消点について次式が得られる。
【００９２】
【数４８】
2008509619.tif 000050
また、式（５１）、（５２）から、θｙｄとθｚｄの値を、ｆｕｄとｆｖｄとθｘｄの関数として導く。
【００９３】
θｙｄ＝Ａｔａｎ（ｆｕｄｓｉｎθｘｄ＋ｆｖｄｃｏｓθｘｄ）    （５３）
θｚｄ＝Ａｔａｎ｛ｃｏｓθｙｄ・（ｆｕｄ−ｓｉｎθｘｄｔａｎθｙｄ）／ｃｏｓθｘｄ｝    （５４）
要約すれば、ピッチ誤差とヨー誤差は、
Δεｙ≒ｓｉｎθｙｇ−ｓｉｎθｙｄ    （５５）
Δεｚ≒−ｃｏｓθｙｇｓｉｎθｚｇ＋ｃｏｓθｙｄｓｉｎθｚｄ  （５６）
ここに：
θｙｇ＝Ａｔａｎ（ｆｕｇｓｉｎθｘｇ＋ｆｖｇｃｏｓθｘｇ）    （５７）
θｚｇ＝Ａｔａｎ｛ｃｏｓθｙｇ・（ｆｕｇ−ｓｉｎθｘｇｔａｎθｙｇ）／ｃｏｓθｘｇ｝    （５８）
θｙｄ＝Ａｔａｎ（ｆｕｄｓｉｎθｘｄ＋ｆｖｄｃｏｓθｘｄ）    （５９）
θｚｄ＝Ａｔａｎ｛ｃｏｓθｙｄ・（ｆｕｄ−ｓｉｎθｘｄｔａｎθｙｄ）／ｃｏｓθｘｄ｝    （６０）
であり、
【００９４】
【数４９】
2008509619.tif 000051
である。
【００９５】
式（２５）、（２６）によって、ピッチ誤差とヨー誤差の範囲を決定するために、θｘｇとθｙｄが所定の間隔［−Ａ、Ａ］、例えば［−５°、＋５°］、の中で変化し、ｕＤＦ、ｖＤＦ、ｕＧＦとｖＧＦが、式（１２）、１３）、（１６）、（１７）によって定められた間隔の中で変化するときの、ΔεｙとΔεｚの最小値と最大値を決定する。最小と最大を求めるあらゆる数学的な方法は、この目的のために適している。最も簡単な方法は、充分に微細なステップで、様々なパレメータを、所定の間隔の中で、それぞれ変化させ、各回ごとに調べられた関数の最小値と最大値を保存することからなる。
【００９６】
式（５５）〜（６４）の中に、様々な直交アフィン座標系の原点の座標またはそれらの相対位置は介在しないことに留意するべきである。本発明による方法によるピッチ誤差とヨー誤差の決定は、従って、走行道路における自動車の位置と無関係である。
【図面の簡単な説明】
【００９７】
【図１】ステレオビジョン装置が装備された自動車を簡単化して示す図である。
【図２】走行道路上の位置において、自動車に配置されたカメラによって得られる画像の例を示す図である。
【図３】本発明による自動較正方法において用いられる幾何学モデルの、３次元における幾何学表示を示す図である。
【図４】本発明による自動較正方法において用いられるパラメータの計算モードを示す図である。
【図５】本発明による自動較正方法の、簡単化した流れ図である。
【図１】
2008509619.tif 000052
【図２】
2008509619.tif 000053
【図３】
2008509619.tif 000054
【図４】
2008509619.tif 000055
【図５】
2008509619.tif 000056
【国際調査報告】
2008509619.tif 000057
2008509619.tif 000058
2008509619.tif 000059
2008509619.tif 000060
2008509619.tif 000061
2008509619.tif 000062