(57)【特許請求の範囲】
【請求項１】
移動体に搭載され、光軸が路面と平行に設定された状態で前方を撮像する左右一対の撮像手段と、
前記一対の撮像手段によって撮像された一対の画像に、前記光軸と一致する無限遠位垂直座標と予め設定した近方路面距離及び遠方路面距離に位置する近方垂直座標及び遠方垂直座標をそれぞれ設定する垂直座標設定手段と、
前記一対の画像の前記近方路面距離に位置する路面上で特徴部分を抽出して近方路面視差を求め、又前記遠方路面距離に位置する路面上で特徴部分を抽出して遠方路面視差を求める路面視差演算手段と、
前記一対の撮像手段間の基線長に前記無限遠位垂直座標から前記近方垂直座標までの距離を乗算した値を前記近方路面視差で除算して前記近方路面距離上の路面から前記光軸までの近方垂直高さを求める近方垂直高さ演算手段と、
前記一対の撮像手段間の基線長に前記無限遠位垂直座標から前記遠方垂直座標までの距離を乗算した値を前記近方垂直高で除算して補正遠方路面視差を求める補正遠方路面視差演算手段と、
前記補正遠方路面視差と前記遠方路面視差との差分に基づき、前記一対の撮像手段の光軸間平行度ずれに基づいて設定されている視差オフセット値を校正する視差誤差を求める視差誤差演算手段と
を備えることを特徴とするステレオ画像処理装置。
【請求項２】
少なくとも前記路面視差演算手段で求めた前記近方路面視差と前記遠方路面視差とを所定数だけサンプリングし、サンプリングしたデータの有効性を判定し、有効でないと判定された場合は当該データを破棄し、前記補正遠方路面視差演算手段と視差誤差演算手段とを実行させないデータ判定手段を更に有する
ことを特徴とする請求項１記載のステレオ画像処理装置。
【請求項３】
前記路面視差演算手段は、前記近方路面視差を前記近方路面距離上において少なくとも２つの特徴部分から求めた近方路面視差の平均値とし、前記遠方路面視差を前記遠方路面距離上において少なくとも２つの特徴部分から求めた遠方路面視差の平均値としている
ことを特徴とする請求項１或いは２記載のステレオ画像処理装置。
【請求項４】
前記路面視差演算手段は、前記一対の画像から前記特徴部分のエッジと路面間に輝度差の生じる共通部分に基づいて前記近方路面視差及び前記遠方路面視差を求める
ことを特徴とする請求項１〜３の何れか１項に記載のステレオ画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、移動体に搭載されている左右一対のカメラの視差誤差を求めて、視差オフセット値を校正するステレオ画像処理装置に関する。
【背景技術】
【０００２】
従来、三次元の距離情報を取得し、この距離情報に基づいて周囲環境や自己位置を認識する三次元計測装置が知られており、車両やヘリコプタ等の移動体に搭載されて実用化されている。この種の三次元計測装置は、左右一対のカメラ（ステレオカメラ）で撮像した同一対象物の一対の画像の相関を求め、同一対象物に対する視差からステレオカメラの取付け位置や焦点距離等のカメラパラメータを用いて三角測量の原理により対象物までの距離を算出するものである。
【０００３】
従って、ステレオマッチングの精度（信頼性の高い距離情報）を得るためには、視差以外の位置的なずれがステレオ画像に存在しないことが望ましい。しかし、実際には、取付け時にカメラをネジ締めすること等によりカメラに加わる物理的なストレスやカメラが搭載された装置の振動や熱による歪み等によりカメラの光軸がずれる等して、視差が経時的にずれてしまう場合がある。ステレオカメラに視差誤差が生じると、基準画像と比較画像との視差と物体の実際の距離とが正確に対応しなくなり、ステレオマッチング法による物体の三次元的な位置の割り出しの精度が低下して、対象物までの距離情報の信頼性が損なわれてしまう。
【０００４】
これに対処するに、例えば、特許文献１（特開２００１−１６９３１０号公報）には、自車両前方に信号機や電柱等、固定された静止対象物が検出された場合、第１の時刻ｔ０とこの第１の時刻ｔ０から所定時間経過した第２の時刻とにおける自車両から静止対象物までの距離及び視差を検出し、更に、時刻ｔ０からｔ１までの車両の走行距離を算出し、これらの視差及び走行距離に基づいて、ステレオカメラの視差誤差を求め、この視差誤差で、ステレオカメラの光軸間平行度ずれに起因する誤差である視差オフセット値を校正する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−１６９３１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上述した文献に開示されている技術では、静止対象物が検出されない場合は視差オフセット値を校正することができず、視差オフセット値を校正する機会を充分に確保することができない不都合がある。
【０００７】
特に、車両の目標走行路を生成し、その目標走行路に沿って車線維持制御（レーンキープアシスト）等の各種運転支援や自動運転を行う最近の車両制御では、ステレオカメラを利用した白線認識によって、自車両前方の道路形状を認識し、自車両が車線中央を走行するように制御している。そのため、視差オフセット値の校正の機会が少ないと、ステレオマッチング精度が低下し、車両制御において自車両を車線中央に沿って継続的に走行させることが困難になる不都合がある。
【０００８】
本発明は、上記事情に鑑み、固定された静止対象物を検出することなく、ステレオカメラの視差誤差検出を可能として、視差オフセット値の校正の機会を増加させ、ステレオマッチング精度を向上させることのできるステレオ画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明によるステレオ画像処理装置は、移動体に搭載され、光軸が路面と平行に設定された状態で前方を撮像する左右一対の撮像手段と、前記一対の撮像手段によって撮像された一対の画像に、前記光軸と一致する無限遠位垂直座標と予め設定した近方路面距離及び遠方路面距離に位置する近方垂直座標及び遠方垂直座標をそれぞれ設定する垂直座標設定手段と、前記一対の画像の前記近方路面距離に位置する路面上で特徴部分を抽出して近方路面視差を求め、又前記遠方路面距離に位置する路面上で特徴部分を抽出して遠方路面視差を求める路面視差演算手段と、前記一対の撮像手段間の基線長に前記無限遠位垂直座標から前記近方垂直座標までの距離を乗算した値を前記近方路面視差で除算して前記近方路面距離上の路面から前記光軸までの近方垂直高さを求める近方垂直高さ演算手段と、前記一対の撮像手段間の基線長に前記無限遠位垂直座標から前記遠方垂直座標までの距離を乗算した値を前記近方垂直高で除算して補正遠方路面視差を求める補正遠方路面視差演算手段と、前記補正遠方路面視差と前記遠方路面視差との差分に基づき、前記一対の撮像手段の光軸間平行度ずれに基づいて設定されている視差オフセット値を校正する視差誤差を求める視差誤差演算手段とを備える。
【発明の効果】
【００１０】
本発明によれば、移動体前方の近方路面距離に位置する路面上の特徴部分に基づいて近方路面視差を求め、遠方路面距離に位置する路面上の特徴部分に基づいて遠方路面視差を求め、又、無限遠位垂直座標から遠方垂直座標までの距離と近方垂直高さとを用いて補正遠方路面視差を算出し、そして、この補正遠方路面視差と遠方路面視差との差分から、視差オフセット値を校正する視差誤差を算出するようにしたので、固定された静止対象物を検出することなく、ステレオカメラの視差誤差検出が可能となり、視差オフセット値の校正の機会が増加し、ステレオマッチング精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態によるステレオ画像処理装置の機能ブロック図
【図２】同、視差補正処理部の機能ブロック図
【図３】同、視差オフセット校正処理ルーチンを示すフローチャート（その１）
【図４】同、視差オフセット校正処理ルーチンを示すフローチャート（その２）
【図５】同、実座標での近方の路面距離でのカメラ高さと遠方の路面距離でのカメラ高さを示す説明図
【図６】同、視差と距離との関係を示す特性図
【図７】同、近方と遠方の各特徴点までの路面距離と視差との関係を示し、（ａ）は平面図、（ｂ）は側面図
【図８】同、（ａ）はメインカメラで撮像した画像の説明図、（ｂ）はサブカメラで撮像した画像の説明図、（ｃ）は両カメラで撮像した近方と遠方における路面距離上の視差の説明図
【図９】同、別態様による図８相当の各説明図
【図１０】第２実施形態による実座標での近方の先行車後輪が接地している路面からのカメラ高さと遠方の先行車後輪が接地している路面からのカメラ高さとを示す説明図
【図１１】同、（ａ）は近方路面距離の路面に先行車後輪が接地している画像の説明図、（ｂ）は遠方路面距離の路面に先行車後輪が接地している画像の説明図
【発明を実施するための形態】
【００１２】
以下、図面に基づいて本発明の一実施形態を説明する。
【００１３】
［第１実施形態］
図１に示すステレオ画像処理装置１は、自動車を代表とする車両等、路面を走行する移動体に搭載されている。尚、以下においては、このステレオ画像処理装置１を移動体としての車両２０に搭載した場合を例示して説明する。
【００１４】
ステレオ画像処理装置１は、コンピュータを中心に構成されている画像処理部２を有し、この画像処理部２の入力側に、Ａ／Ｄコンバータ３，４を介して車載カメラ５が接続されている。
【００１５】
車載カメラ５は、ＣＣＤやＣＭＯＳ等、撮像手段としてのイメージセンサ６ａ，６ｂ（図７参照）をそれぞれ内蔵するメインカメラ５ａとサブカメラ５ｂとで構成されたステレオカメラであり、この一対のカメラ５ａ，５ｂは、それぞれ車室内の天井前方であって、車幅方向中央を挟んで右側と左側に等間隔離れた位置に取り付けられ、車外の環境を異なる視点からステレオ撮像を行う。
【００１６】
メインカメラ５ａは、本実施形態では右側に配設されており、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、左側に配設されたサブカメラ５ｂは、比較画像（左画像）を撮像する。撮像された左右の一対のアナログ画像は互いの同期が取れている状態でＡ／Ｄコンバータ３，４にてデジタル画像に変換されて、画像処理部２へ送信される。
【００１７】
画像処理部２は、画像補正部１１、ステレオ画像処理手段としてのステレオ画像処理部１２、視差補正処理部１３、距離データ記憶部１４、画像データ記憶部１５、画像認識部１６を備えている。
【００１８】
画像補正部１１は、画像データに対して輝度補正や画像の幾何学的な変換等を行う。通常、左右一対のカメラ５ａ，５ｂの取付位置に誤差があり、それに起因したずれが左右の画像に生じる。このずれを補正するために、アフィン変換等を用いて、画像の回転や平行移動等の幾何学的な変換を行う。このような画像補正処理により、メインカメラ５ａから画像データに基づいて基準画像データが生成され、サブカメラ５ｂからの画像データに基づいて比較画像データが生成される。
【００１９】
この両画像データがステレオ画像処理部１２に送信される。ステレオ画像処理部１２は、基準画像データと比較画像データとに基づいて、１フレーム相当の撮像画像に関し、同一物体に対する視差ｄｐから三角測量の原理を用いて対象物までの距離（距離データ）Ｄを、
Ｄ＝ｆ・Ｌ／ｄｐ  …（１）
から算出する。ここで、ｆは焦点距離、Ｌは左右のカメラ５ａ，５ｂの互いに平行な光軸間の距離（基線長）である。尚、Ｄは焦点距離ｆの位置から対象物までの距離である。
【００２０】
視差ｄｐは、同一対象物を撮像した基準画像データと比較画像データとの水平方向のずれ量であり、画像上では視差画素数ｘと画素ピッチωi[mm/pix]とを乗算した値で求められる（ｄｐ＝ｘ・ωi）。そして、この距離データを視差補正処理部１３に送信する。
【００２１】
図２に示すように、視差補正処理部１３は、視差オフセット校正部１３ａと位置補正部１３ｂとを備えている。視差オフセット校正部１３ａは、焦点距離ｆを基準として、その前方における予め設定されている近方側の路面距離（以下、「近方路面距離」と称する）Ｄａと遠方側の路面距離（以下、「遠方路面距離」と称する）Ｄｂ上の路面画像から共通する2つの特徴部分を抽出し、各特徴部分から各々ステレオマッチング処理により近方路面距離Ｄａでの路面視差（以下、「近方路面視差」と称する）ｍd1，ｍd2と遠方路面距離Ｄｂでの路面視差（以下、「遠方路面視差」と称する）ｎd1，ｎd2とを求める。そして、近方路面視差ｍd1，ｍd2の平均値を基準として遠方路面視差ｎd1，ｎd2平均値に対する視差誤差ｇdを算出し、この視差誤差ｇdで、両カメラ５ａ，５ｂの光軸間平行度ずれに起因する誤差を修正するために予め設定されている視差オフセット値ＤＰを校正する。
【００２２】
位置補正部１３ｂは、ステレオ画像処理部１２で設定した視差ｄｐを、視差オフセット値ＤＰで補正し、補正後の視差ｄｐに基づいて対象物の距離Ｄを求める。そして、対象物までの距離Ｄのデータ、及び、この距離Ｄのデータに対応する画像データを距離データ記憶部１４、画像データ記憶部１５にそれぞれ記憶させる。
【００２３】
画像認識部１６は、画像データ記憶部１５に記憶されている画像データを用いて対象物を認識し、距離データ記憶部１４に記憶されている距離データに基づいて、当該対象物の三次元的な位置を認識する。この画像認識部１６で認識した対象物の三次元的な位置情報は、使用目的に応じて適宜読込まれる。例えば、ステレオ画像処理装置１が車両２０に搭載されている場合、車両２０が走行する車線の左右を区画する区画線、先行車、信号機等の立体物等が認識すべき対象物となる。
【００２４】
上述した視差オフセット校正部１３ａで演算される視差オフセット値ＤＰの校正処理について更に、詳しく説明する。
【００２５】
図５に示すように、各カメラ５ａ，５ｂの光軸が路面に対して平行な場合、路面から光軸までの垂直高さ（以下、「カメラ高さ」と称する）Ｈはどの路面距離で計測しても不変である。又、図６に示すように、視差は近方ほど大きく、遠方ほど小さくなり、無限遠では視差０に近づく反比例の関係にある。
【００２６】
従って、近方路面距離Ｄａの路面から光軸までの垂直高さである近方カメラ高さＨａと遠方面距離Ｄｂの路面から光軸までの垂直高さである遠方カメラ高さＨｂとが異なっている場合、視差誤差が生じていると推定される。その際、遠方カメラ高さＨｂが近方カメラ高さＨａよりも視差誤差の影響を大きく受けるため、近方カメラ高さＨａを基準（正しい値）として、遠方カメラ高さＨｂを算出する際に求めた視差を補正し、補正後の視差と遠方側の視差との差分から、視差オフセット値ＤＰを校正する視差誤差ｇdを求める。
【００２７】
この視差オフセット校正部１３ａで実行する視差オフセット値ＤＰの校正は、図３、図４に示す視差オフセット校正処理ルーチンに従って行われる。このルーチンは、左右一対のカメラ５ａ，５ｂで撮像した画像に対して１フレーム毎、或いは所定フレーム毎に実行される。
【００２８】
このルーチンが起動されると、先ず、ステップＳ１で、視差オフセット校正開始条件判定処理が実行される。本実施形態では、カメラ高さＨが不変であることを前提にしているため、車両２０の挙動では、ピッチング、ヨーイング、ローリングの何れかが検出された場合は、開始条件不成立となる。又、道路は、路面と光軸とが平行に保たれている必要があるため、少なくとも車両２０から遠方路面距離Ｄｂまでの間は、平坦な直線路である必要がある。従って、前方に傾斜勾配の開始或いは傾斜勾配の終わりを示す折れ線が検出された場合やカーブの開始点が検出された場合、或いは登坂蕗走行において遠方路面距離Ｄｂよりも手前で道路が途切れた（登坂路が終了した）場合は開始条件不成立となる。
【００２９】
そして、ステップＳ２へ進み、ステップＳ１での判定処理にて開始条件の全てが満足されたか否かを調べ、一つでも満足されなかった場合は開始条件不成立と判定してルーチンを抜ける。一方、全ての開始条件が満足された場合は開示条件成立と判定し、ステップＳ３へ進む。
【００３０】
ステップＳ３へ進むと、左右一対のカメラ５ａ，５ｂで撮像した１フレーム画像を取り込み、無限遠位の垂直座標を設定する。図８（ａ）にメインカメラ５ａで撮像した画像（右画像）を示し、（ｂ）にサブカメラ５ｂで撮像した画像（左画像）を示す。両画像は、左下を原点、垂直方向をＪ座標、水平方向をＩ座標とし、座標は画素で表される。
【００３１】
又、同図には、画像の一例として片側１車線の直線路が表示されている。ここで、車両は左側通行とし、画像には、輝度差により二値化処理した後のセンターラインＬ１、走行車線の路側区画線Ｌ２、対向車線の路側区画線Ｌ３、及び路面上の複数（本実施形態では２つ）の特徴部分のエッジＰａ，Ｐｂ，Ｑａ，Ｑｂが表示されている。この特徴部分は、路面に形成されたタイヤ痕、凹み、水たまり、残雪等のエッジと路面との間に輝度差が生じるものであれば、特に限定はされない。
【００３２】
又、Ｊ座標（垂直座標）上に無限遠位として設定する無限遠位垂直座標（以下、「ヴァーティカル座標」と称する）JVは、各カメラ５ａ，５ｂの光軸が路面と平行であるため、水平線と一致する。この場合、無限遠位は、例えば、センターラインＬ１、左右路側区画線Ｌ２，Ｌ３が光軸上に消失する点を検出することで設定する。
【００３３】
次いで、ステップＳ４へ進み、ヴァーティカル座標JVが設定されたか否かを調べ、設定できなかった場合は、ルーチンを抜ける。又、ヴァーティカル座標JVが設定された場合は、ステップＳ５へ進む。
【００３４】
ステップＳ５では、近方路面距離Ｄａに対応する近方Ｊ座標jaをＪ座標に設定し、ステップＳ６で遠方路面距離Ｄｂに対応する遠方Ｊ座標jbをＪ座標に設定する。この場合、本実施形態では、近方路面距離Ｄａを１０〜１４[m]程度に設定し、又、遠方路面距離Ｄｂを４０[m]程度に設定しているが、これに限定されず、車載カメラ５の種類、取付け状態等に基づいて最適な値を設定する。
【００３５】
但し、カメラ高さ（光軸高さ）Ｈはどの位置で計測しても不変であり、近方カメラ高さＨａと遠方カメラ高さＨｂとは同一の固定高さであるため、設定された両路面距離Ｄａ，Ｄｂは必ずしも正確に割り出す必要はない。尚、近方Ｊ座標jaと遠方Ｊ座標jbは、例えば、図７（ｂ）に示すように、路面距離Ｄａ，Ｄｂに基づいて設定した俯角θja，θjbに基づいて設定する。以上、ステップＳ３〜ステップＳ６までの処理が、本発明の垂直座標設定手段に対応している。
【００３６】
その後、ステップＳ７へ進み、両カメラ５ａ，５ｂで撮像した画像の近方Ｊ座標ja上の２つの特徴部分の各エッジＰａ，Ｑａの近方路面視差ｍd1，ｍd2を、次式（２）から算出し、続く、ステップＳ８で、遠方Ｊ座標jb上の２つの特徴部分の各エッジＰｂ，Ｑｂの遠方路面視差ｎd1，ｎd2を、次式（３）から算出する。尚、ステップＳ７，Ｓ８での処理が、本発明の路面視差演算手段に対応している。
【００３７】
ｍd1，ｍd2＝ｆ・Ｌ／Ｄａ  …（２）
ｎd1，ｎd2＝ｆ・Ｌ／Ｄｂ  …（３）
又、本実施形態では、Ｊ座標ja，jb上において、２つの異なる位置のエッジＰａ，Ｑａ、及びＰｂ，Ｑｂを求めているが、視差は、複数の特徴部分のエッジから求めて平均化した方が高い精度の視差を導き出すことができるため、各Ｊ座標ja，jb上において３つ以上の特徴部分のエッジを平均化して視差を求めるようにしても良い。
【００３８】
その後、ステップＳ９へ進み、近方カメラ高さＨａ[mm]を、
Ｈａ＝（Ｌ・（ja−JV）・ωj）／（ωi・（ｍd1＋ｍd2）／２）  …（３）
から算出する。ここで、ωjはＪ座標方向の画素ピッチ[mm/pix]、ωiはＩ座標方向の画素ピッチ[mm/pix]である。尚、このステップでの処理が、本発明の近方垂直高さ演算手段に対応している。
【００３９】
次いで、ステップＳ１０へ進み、遠方カメラ高さＨｂ{mm]を、
Ｈｂ＝（Ｌ・（jb−JV）・ωj）／（ωi・（ｎd1＋ｎd2）／２）  …（４）
から算出する。
【００４０】
その後、ステップＳ１１へ進み、今回求めた各データJV，ja，jb，ｍd1，ｍd2，ｎd1，ｎd2，Ｈａ，Ｈｂをメモリーに保存し、ステップＳ１２へ進み、データサンプリング数が所定値以上か否かを調べ、所定値以上の場合、ステップＳ１３へ進み、所定値に達していない場合は、ルーチンを抜けて、再度、データをサンプリングする。
【００４１】
ステップＳ１３へ進むと、近方路面視差ｍd1，ｍd2と近方カメラ高さＨａとに基づき、最小二乗法により近方側の一次近似直線を作成し、又、遠方路面視差ｎd1，ｎd2と遠方カメラ高さＨｂとに基づき、最小二乗法により遠方側一次近似直線を作成し、ステップＳ１４へ進む。ステップＳ１４では、両一次近似直線、すなわち、切片と傾きが求められたか否かを調べ、一次近似曲線が作成できなかった場合は、データが有効ではないと判定し、ステップＳ１５へ分岐し、今回のデータを破棄してルーチンを抜ける。一方、近方側一次近似直線と遠方側一次近似曲線との双方が作成された場合、データが有効であると判定しステップＳ１６へ進む。尚、ステップＳ１１〜ステップＳ１５までの処理が、本発明のデータ判定手段に対応している。
【００４２】
そして、ステップＳ１６へ進むと、各データを近方路面データ（ja，ｍd1，ｍd2，Ｈａ）と遠方路面データ（JV，jb，ｎd1，ｎd2，Ｈｂ）とに分けてメモリに保存する。
【００４３】
その後、ステップＳ１７へ進み、近方路面データと遠方路面データとに保存したデータ数が、所定数以上か否かを調べ、所定数に達していない場合は、ルーチンを抜け、再度データを蓄積する。一方、所定数以上の場合は、ステップＳ１８へ進み、視差オフセット値校正処理を実行してルーチンを抜ける。
【００４４】
ステップＳ１８では、先ず、近方路面データに記憶されているデータja，ｍd1，ｍd2，Ｈａと、遠方路面データと記憶されているデータJV，jb，ｎd1，ｎd2，Ｈｂに対し、ばらつきの頻度分布（ヒストグラム）を作成し、最も高い頻度のデータja，ｍd1，ｍd2，Ｈａ，JV，jb，ｎd1，ｎd2，Ｈｂを抽出する。
【００４５】
ところで、図７に示すように、イメージセンサ６ａ，６ｂ上の近方路面視差ｍd1（ｍd2）は遠方路面視差ｎd1（ｎd2）よりも大きく、視差誤差ｇdの影響は、遠方路面視差ｎd1（ｎd2）のほうが近方路面視差ｍd1（ｍd2）よりも大きい。更に、カメラ高さＨａ，Ｈｂを算出する場合、遠方カメラ高さＨｂよりも近方カメラ高さＨａの方が近く、視差が大きいため精度は高く、近方カメラ高さＨａがより真値（カメラ高さＨ）に近い値となる。
【００４６】
従って、近方カメラ高さＨａは遠方カメラ高さＨｂよりも信頼できる値であると推定できるため、この近方カメラ高さＨａを、上述した（４）式の遠方カメラ高さＨｂに代入して、遠方路面距離Ｄｂの遠方路面視差（補正遠方路面視差）Ｃd[pix]を、
Ｃd＝（Ｌ・（jb−JV）・ωj）／（ωi・Ｈａ）  …（５）
から算出する。この処理が、本発明の補正遠方路面視差演算手段に対応している。
次いで、この補正遠方路面視差Ｃdと、２つの遠方路面視差ｎd1，ｎd2の平均値とに基づき視差誤差ｇd[pix]を、
ｇd＝Ｃd−（ｎd1＋ｎd2）／２  …（６）
から算出する。
【００４７】
そして、最新の視差オフセット値ＤＰ(n)を視差誤差ｇdで校正して、新たな視差オフセット値ＤＰを設定する（ＤＰ←ＤＰ(n)−ｇd）。そして、この視差オフセット値ＤＰを順次更新する。ここでの処理が、本発明の視差誤差演算手段に対応している。尚、ｇd＝０の場合は、現在の視差オフセット値ＤＰ(n)は正しい値を示していることになる。
【００４８】
本実施形態では、視差オフセット値ＤＰが視差誤差ｇdで順次校正されるため、気候、温度、気圧、経年劣化などの影響を受けて刻々と変化する視差オフセット値ＤＰを常に正しく校正することができる。その際、本実施形態では、近方路面距離Ｄａと遠方路面距離Ｄｂの路面を撮像した画像から特徴部分を抽出し、その視差に基づいて視差誤差ｇdを求めるようにしているので、従来のように固定された静止対象物を逐次検出する必要がなく、視差オフセット値ＤＰの校正の機会が増加し、ステレオマッチング精度を向上させることができる。
【００４９】
ところで、上述した実施形態では特徴部分を、路面上に形成されたタイヤ痕、凹み、水たまり、残雪等、非人為的、或いは自然発生的に形成されたものを対象としているが、例えば、図９の（ａ）に示す右画像、及び同図（ｂ）に示す左画像のように、走行車線を区画するセンターラインＬ１と路側区画線Ｌ２とを特徴部分として抽出するようにしても良い。そして、右画像から抽出したセンターラインＬ１の内側エッジＱｒ、及び路側区画線Ｌ２の内側エッジＰｒと、左画像から抽出したセンターラインＬ１の内側エッジＱｌ、及び路側区画線Ｌ２の内側エッジＰｌとを輝度差から検出し、同図（ｃ）に示すように、近方Ｊ座標ja上の近方路面視差ｍd1，ｍd2、遠方Ｊ座標jb上の遠方路面視差ｎd1，ｎd2を求めるようにしても良い。
【００５０】
［第２実施形態］
図１１に本発明の第２実施形態を示す。上述した第１実施形態では近方路面距離Ｄａに位置する路面と、遠方路面距離Ｄｂに位置する路面とに形成されている特徴部分を抽出して視差誤差ｇdを求めるようにしている。これに対し、本実施形態は、直前を走行する近方先行車３１の左右後輪が近方路面距離Ｄａ上に存在するとき、この左右後輪が接地している路面を特徴部分として抽出し、左右後輪と路面との境界を示す内側エッジ（或いは外側エッジ）Ｐａ，Ｑａから、図８（ｃ）に示すような近方路面視差ｍd1，ｍd2を求める。
【００５１】
同様に、直前を走行する遠方先行車３２の左右後輪が遠方路面距離Ｄｂ上に存在するとき、この左右後輪が接地している路面を特徴部分として抽出し、その内側エッジ（或いは外側エッジ）Ｐｂ，Ｑｂから、図８（ｃ）に示す遠方路面視差ｎd1，ｎd2を求める。尚、遠方先行車３２は前述した近方先行車３１と同一である必要はなく、異なる車両であっても遠方路面視差ｎd1，ｎd2を求めることはできる。
【００５２】
又、図１０においては、便宜的に近方先行車３１の前方に遠方先行車３２を記載しているが、車載カメラ５が遠方先行車３２を認識する際に、この車両２０と遠方先行車３２との間に、近方先行車３１等のような他の車両は存在せず、従って、近方路面視差ｍd1，ｍd2と遠方路面視差ｎd1，ｎd2とは、異なるタイミングで検出される。
【００５３】
このように、本実施形態では、近方路面距離Ｄａを走行している近方先行車３１と遠方路面距離Ｄｂを走行している遠方先行車３２との各左右後輪が接地している路面を特徴部分として抽出するようにしているので、路面に特徴部分が形成されていない場合であっても、視差誤差ｇdを求めることができる。従って、例えば新しく敷設した舗装道路であって特徴部分を抽出することが困難な路面であっても先行車３１，３２を検出することで容易に視差誤差ｇdを求めることができる。
【符号の説明】
【００５４】
１…ステレオ画像処理装置、
２…画像処理部、
５…車載カメラ、
５ａ…メインカメラ、
５ｂ…サブカメラ、
６ａ，６ｂ…イメージセンサ、
１１…画像補正部、
１２…ステレオ画像処理部、
１３…視差補正処理部、
１３ａ…視差オフセット校正部、
１３ｂ…位置補正部、
１４…距離データ記憶部、
１５…画像データ記憶部、
１６…画像認識部、
２０…車両、
３１…近方先行車、
３２…遠方先行車、
Ｃd…補正遠方路面視差、
Ｄａ…近方路面距離、
Ｄｂ…遠方路面距離、
ＤＰ…視差オフセット値、
ｆ…焦点距離、
ｇd…視差誤差、
Ｈａ…近方カメラ高さ、
Ｈｂ…遠方カメラ高さ、
ja…近方Ｊ座標、
jb…遠方Ｊ座標、
JV…無限遠位垂直座標、
Ｌ…基線長、
Ｌ１…センターライン、
Ｌ２…路側区画線、
Ｌ３…路側区画線、
ｍd1，ｍd2…近方路面視差、
ｎd1，ｎd2…遠方路面視差、
Ｐａ，Ｐｂ，Ｑａ，Ｑｂ…エッジ、
Ｐｌ，Ｐｒ，Ｑｌ，Ｑｒ…内側エッジ、
ｘ…視差画素数、
θja，θjb…俯角、
ωi，ωj…画素ピッチ、
【図１】
0006521796.tif 000002
【図２】
0006521796.tif 000003
【図３】
0006521796.tif 000004
【図４】
0006521796.tif 000005
【図５】
0006521796.tif 000006
【図６】
0006521796.tif 000007
【図７】
0006521796.tif 000008
【図８】
0006521796.tif 000009
【図９】
0006521796.tif 000010
【図１０】
0006521796.tif 000011
【図１１】
0006521796.tif 000012