(57)【要約】【課題】変換パラメータの長期的変動に対応可能で、キャリブレーションを簡略化可能なキャリブレーション装置を提供すること。【解決手段】画像を撮影する複数のカメラ１０１ａ、１０１ｂのうち一のカメラにおいて撮影された前記画像内の３次元空間上の任意の面上の点を、他のカメラから観察した画像内の前記面上の点に変換する変換パラメータを用いて、前記複数のカメラが撮影した画像から前記面上に存在する障害物を検出する障害物検出部１２１と、前記障害物までの距離を検出する距離検出部１０２が検出した前記障害物までの距離と、前記障害物検出部１２１が検出した前記障害物の前記画像上における位置座標とから、前記変換パラメータを補正する並進成分補正部１２３と変形成分補正部１２４とを備えた。【選択図】        図１
2006252473.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象を複数方向から撮像した複数の画像のうち、一の画像内の３次元空間上の任意の面上の点を、他の画像内の前記面上の点に変換する変換パラメータを用いて、前記面上に存在する障害物を検出し、検出した障害物の前記複数の画像の各画像上における位置座標を算出する障害物検出手段と、
撮像位置から前記障害物までの距離の入力を受付け、受付けた前記距離と、前記障害物検出手段が検出した前記障害物の前記位置座標とから、前記変換パラメータを補正する変換パラメータ補正手段と、を備え、
前記障害物検出手段は、前記変換パラメータ補正手段が補正した前記変換パラメータを用いて、前記障害物を検出し、検出した障害物の前記位置座標を算出することを特徴とするキャリブレーション装置。
【請求項２】
前記変換パラメータは、画像の平行移動に関するパラメータである並進成分および画像の変形に関するパラメータである変形成分を含み、
前記変換パラメータ補正手段は、前記距離の入力を受付け、受付けた前記距離と、前記障害物検出手段が検出した前記障害物の前記位置座標とから、前記変換パラメータの前記並進成分を補正する並進成分補正手段を備えたことを特徴とする請求項１に記載のキャリブレーション装置。
【請求項３】
前記変換パラメータ補正手段は、自装置が搭載された車両の走行速度が予め定められた閾値より小さい場合に前記変換パラメータの補正を行うことを特徴とする請求項１または２に記載のキャリブレーション装置。
【請求項４】
前記変換パラメータ補正手段は、前記複数の画像の各画像の中央から予め定められた範囲内に存在する前記障害物までの前記距離と、前記複数の画像の各画像の中央から予め定められた範囲内に存在する前記障害物の前記位置座標とから前記変換パラメータの補正を行うことを特徴とする請求項１〜３のいずれか１つに記載のキャリブレーション装置。
【請求項５】
画像を撮影する複数の撮像手段と、
撮像位置から３次元空間上の任意の面上に存在する障害物までの距離を検出する距離検出手段と、
前記複数の撮像手段のうち一の撮像手段において撮影された前記画像内の前記面上の点を、他の撮像手段から観察した画像内の前記面上の点に変換する変換パラメータを用いて、前記複数の撮像手段が撮影した画像から前記障害物を検出し、検出した障害物の前記画像上における位置座標を算出する障害物検出手段と、
前記距離検出手段が検出した前記距離の入力を受付け、受付けた前記距離と、前記障害物検出手段が検出した前記障害物の前記位置座標とから、前記変換パラメータを補正する変換パラメータ補正手段と、を備え、
前記障害物検出手段は、前記変換パラメータ補正手段が補正した前記変換パラメータを用いて、前記複数の撮像手段が撮影した画像から前記障害物を検出し、検出した障害物の前記位置座標を算出することを特徴とする障害物検出装置。
【請求項６】
前記変換パラメータは、画像の平行移動に関するパラメータである並進成分および画像の変形に関するパラメータである変形成分を含み、
前記変換パラメータ補正手段は、前記距離検出手段が検出した前記距離の入力を受付け、受付けた前記距離と、前記障害物検出手段が検出した前記障害物の前記位置座標とから、前記変換パラメータの前記並進成分を補正する並進成分補正手段を備えたことを特徴とする請求項５に記載の障害物検出装置。
【請求項７】
前記複数の撮像手段が装着された車両の走行速度を検出する速度検出手段をさらに備え、
前記変換パラメータ補正手段は、前記速度検出手段が検出した前記車両の走行速度が予め定められた閾値より小さい場合に前記変換パラメータの補正を行うことを特徴とする請求項５または６に記載の障害物検出装置。
【請求項８】
前記変換パラメータ補正手段は、前記距離検出手段が検出した前記画像の中央から予め定められた範囲内に存在する前記障害物までの前記距離と、前記画像の中央から予め定められた範囲内に存在する前記障害物の前記位置座標とから前記変換パラメータの補正を行うことを特徴とする請求項５〜７のいずれか１つに記載の障害物検出装置。
【請求項９】
撮像対象を複数方向から撮像した複数の画像のうち、一の画像内の３次元空間上の任意の面上の点を、他の画像内の前記面上の点に変換する変換パラメータを用いて、前記面上に存在する障害物を検出し、検出した障害物の前記複数の画像の各画像上における位置座標を算出する障害物検出ステップと、
撮像位置から前記障害物までの距離の入力を受付け、受付けた前記距離と、前記障害物検出ステップが検出した前記障害物の前記位置座標とから、前記変換パラメータを補正する変換パラメータ補正ステップと、を備え、
前記障害物検出ステップは、前記変換パラメータ補正ステップが補正した前記変換パラメータを用いて、前記障害物を検出し、検出した障害物の前記位置座標を算出することを特徴とするキャリブレーション方法。
【請求項１０】
撮像対象を複数方向から撮像した複数の画像のうち、一の画像内の３次元空間上の任意の面上の点を、他の画像内の前記面上の点に変換する変換パラメータを用いて、前記面上に存在する障害物を検出し、検出した障害物の前記複数の画像の各画像上における位置座標を算出する障害物検出手順と、
撮像位置から前記障害物までの距離の入力を受付け、受付けた前記距離と、前記障害物検出手順が検出した前記障害物の前記位置座標とから、前記変換パラメータを補正する変換パラメータ補正手順と、をコンピュータに実行させ、
前記障害物検出手順は、前記変換パラメータ補正手順が補正した前記変換パラメータを用いて、前記障害物を検出し、検出した障害物の前記位置座標を算出することを特徴とするキャリブレーションプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、複数のカメラによりステレオ画像を撮影する撮像装置において、一方のカメラで撮像された画像から他方のカメラで撮像された画像へ変換する変換パラメータを補正するキャリブレーション装置、キャリブレーション方法、キャリブレーションプログラムおよび当該キャリブレーション装置を備えた障害物検出装置に関するものである。
【背景技術】
【０００２】
近年における障害物を検知するための技術は、レーザレーダーやミリ波レーダーなどを利用するものと、ＴＶカメラを利用するものに大別できる。レーザやミリ波レーダーは比較的高価であり、距離計測精度は高いが空間方向の解像度が低い特性を有する。例えば、車両前方に進行方向を向けたミリ波レーダーは、先行車までの距離精度は高いが横方向の位置計測精度が低い。また、レーザやミリ波レーダー単独では走行レーンの認識ができないため、他のセンサと併用する必要がある。
【０００３】
これに対し、ＴＶカメラは比較的安価であり、レーダーに比べて距離計測精度は低いが、空間方向の解像度、計測範囲の面ではレーダーより障害物検知に適している。また、走行レーンの認識も可能である。このようなＴＶカメラを用いる障害物検知技術として、１台のカメラを使用する方法と複数台のカメラ(ステレオカメラ)を使用する方法が存在する。
【０００４】
１台のカメラを使用する方法は、そのカメラで撮影した１枚の画像から、輝度や色、あるいはテクスチャ等の情報を手がかりにして道路領域と障害物領域を分離する。例えば、画像中で彩度の低い中程度の輝度領域、すなわち灰色の領域、または、テクスチャの少ない領域を抽出することにより道路領域を求め、それ以外の領域を障害物領域として分離する。しかし、道路と類似した輝度、色、あるいはテクスチャを持つ障害物が数多く存在するため、この方法で障害物領域と道路領域を切り分けるのは困難である。
【０００５】
これに対し、複数台のカメラを用いる方法は、当該複数のカメラから撮像することにより得られる物体の３次元情報を手がかりにして障害物を検出する。この方法は一般にステレオ視と呼ばれる。ステレオ視とは、例えば２つのカメラを左右に配置し、３次元空間中で同一点である点を左右画像間で対応づけ、三角測量の手法により、その点の３次元位置を求めるものである。各カメラの道路平面に対する位置や姿勢等をあらかじめ求めておくと、ステレオ視により画像中の任意の点の道路平面からの高さが得られる。このようにすることにより、高さの有無によって障害物領域と道路領域を分離することができる。ステレオ視によれば、道路と類似した輝度や色、テクスチャ等を持つ障害物の検出が可能である。
【０００６】
しかし、一般的なステレオ視には、対応点探索およびキャリブレーションの問題がある。対応点探索とは、３次元空間中において同一である点を左右の画像間で対応づける際に必要な探索計算を意味し、計算コストが極めて高い。このため、対応点探索はステレオ視の実用化を妨げる要因となっている。
【０００７】
キャリブレーションとは、正確に障害物を検知するため、製造工程でカメラを車両に取付けた後、車両を平坦な道路上に置いて道路平面を撮影し、左右の画像から道路平面上の同一点が写っている座標を計測し、座標を対応付ける変換パラメータを計算する作業をいい、一般に多大な計算時間を要する。また、キャリブレーションは、製造工程で一度だけ行われるため、車両の振動や道路の傾斜などによる短期的な変換パラメータの変動や、カメラの取付け角度の変化などによる長期的な変換パラメータの変動に対応するのが困難である。
【０００８】
上述の対応点探索の困難性を解消するため、一方のカメラで撮像した画像上の点が道路平面上に存在すると仮定して、一方のカメラで撮像した画像上の点を他方のカメラで撮像した画像上への投影点へ変換するパラメータを計算し、そのパラメータを用いて撮像した画像を変換し、その画像間の差を用いて道路領域と障害物領域を分離することにより、対応点探索をせずに障害物を検知する平面投影ステレオ法と呼ばれる技術が提案されている（例えば、特許文献１）。
【０００９】
さらに、特許文献１においては、車両の振動や道路の傾斜などにより変換パラメータの値に変化が生じたとき、想定されるカメラと道路面の取りうる相対的関係の範囲から適当な姿勢を複数選び、それらの全ての姿勢に対応する変換パラメータを計算し、その変換パラメータを用いた変換画像を用意して他の画像と比較を行い、一致度の最も低い領域を障害物として検出することにより、変換パラメータの短期的な変動に対応する方法が提案されている。
【００１０】
また、変換パラメータの長期的な変動に対応する方法として、左右画像間の垂直方向のずれを実働状態において監視し、検出された垂直方向のずれを随時補正する技術が提案されている（例えば、非特許文献１）。
【００１１】
【特許文献１】特開２００１−７６１２８号公報
【非特許文献１】塙圭二、「ＩＴＳにおける車載画像センサの最新動向」第１０回画像センシングシンポジウムチュートリアル講演会テキスト、Ｐ．５１−６２、２００４
【発明の開示】
【発明が解決しようとする課題】
【００１２】
しかしながら、非特許文献１における障害物検出方法は、障害物を認識するアルゴリズムが異なるため、同文献に記載されたキャリブレーション方法を上述の平面投影ステレオ法に適用することができないという問題があった。また、平面投影ステレオ法に関する特許文献１においては、長期間の運用で発生するカメラの取付け角度の変化などにより変換パラメータに誤差が生じ、障害物検出の精度が低下するという問題があった。
【００１３】
さらに、ミリ波レーダーなどを搭載した車両において、レーダーで計測した距離情報と、ステレオカメラで撮影した画像から得た情報とを合わせて処理するためには、レーダー距離情報の表す座標系と画像で計測した位置を表す座標系間を変換するパラメータについても製造工程でキャリブレーション作業を行って計算する必要があるという問題があった。
【００１４】
本発明は、上記に鑑みてなされたものであって、変換パラメータの長期的変動に対応することができ、製造工程におけるキャリブレーション作業を簡略化することができるキャリブレーション装置、キャリブレーション方法、キャリブレーションプログラムおよび当該キャリブレーション装置を備えた障害物検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１５】
上述した課題を解決し、目的を達成するために、本発明は、キャリブレーション装置において、撮像対象を複数方向から撮像した複数の画像のうち、一の画像内の３次元空間上の任意の面上の点を、他の画像内の前記面上の点に変換する変換パラメータを用いて、前記面上に存在する障害物を検出し、検出した障害物の前記複数の画像の各画像上における位置座標を算出する障害物検出手段と、撮像位置から前記障害物までの距離の入力を受付け、受付けた前記距離と、前記障害物検出手段が検出した前記障害物の前記位置座標とから、前記変換パラメータを補正する変換パラメータ補正手段と、を備え、前記障害物検出手段は、前記変換パラメータ補正手段が補正した前記変換パラメータを用いて、前記障害物を検出し、検出した障害物の前記位置座標を算出することを特徴とする。
【００１６】
また、本発明は、上記装置を備えた障害物検出装置、および上記装置を実行することができるキャリブレーション方法およびキャリブレーションプログラムである。
【発明の効果】
【００１７】
本発明によれば、ステレオカメラで撮影した画像から得られる位置座標情報と、レーダー等により計測した距離情報とを使用して、車両の運用中に変換パラメータを算出し更新することができる。このため、製造工程において正確に変換パラメータを算出する必要がなくなり、製造工程におけるキャリブレーションが簡略化されるとともに、変換パラメータの長期的な変動に対応することができる。また、ステレオカメラとレーダー等とのキャリブレーションが不要となるため、製造工程におけるキャリブレーション作業がさらに簡略化されるという効果を奏する。
【発明を実施するための最良の形態】
【００１８】
以下に添付図面を参照して、この発明にかかるキャリブレーション装置、キャリブレーション方法、キャリブレーションプログラムおよび当該キャリブレーション装置を備えた障害物検出装置の最良な実施の形態を詳細に説明する。なお、本実施の形態においては、車両に搭載して使用する障害物検出装置を例に挙げて説明する。
【００１９】
本実施の形態にかかるキャリブレーション装置は、レーダー等の距離計測装置により検出された障害物までの距離と、ステレオカメラにより検出された障害物の座標とから変換パラメータの値を再計算することによりその値を補正するものである。
【００２０】
図１は、本実施の形態にかかるキャリブレーション装置１００の構成を示すブロック図である。同図に示すように、キャリブレーション装置１００は、画像蓄積部１１０と、障害物検出部１２１と、対応検出部１２２と、並進成分補正部１２３と、変形成分補正部１２４とを備えている。また、本実施の形態にかかるキャリブレーション装置１００は、撮像部１０１と、距離検出部１０２と、速度検出部１０３とを備えた、障害物検出装置の一部として構成されている。並進成分補正部１２３と変形成分補正部１２４とが、本発明における変換パラメータ補正手段に相当する。
【００２１】
画像蓄積部１１０は、撮像部１０１が撮影した複数の画像を蓄積して記憶する画像メモリなどの記憶装置である。
【００２２】
撮像部１０１は、道路平面上を走行する車両に搭載され、車両前方のステレオ画像を撮影する左カメラ１０１ａと右カメラ１０１ｂを備えている。左カメラ１０１ａと右カメラ１０１ｂは異なる視点を有し、同時刻の画像を撮影することができる。
【００２３】
本実施の形態においては、最も簡単な例として、左右２台のカメラを有し、左カメラ１０１ａの画像を右カメラ１０１ｂの画像に変換する構成としているが、右カメラ１０１ｂの画像を左カメラ１０１ａの画像に変換するように構成してもよい。また、３台以上のカメラを備え、そのうちの視野が共通する２台のカメラ間の画像を変換するように構成してもよい。左カメラ１０１ａと右カメラ１０１ｂは、本発明における撮像手段に相当する。
【００２４】
図２は、撮像部１０１の配置と道路平面座標との関係を示す説明図である。同図に示すように、道路平面座標は、車両の進行方向、すなわちカメラの光軸方向をＹ軸、左右方向をＸ軸とする座標系により表される。本実施の形態においては、左カメラ１０１ａと右カメラ１０１ｂの前後の位置ずれは微小で、光軸はおおよそ平行で、おおよそ水平で前方を向いており、縦軸は鉛直線とほぼ平行であることを前提とする。
【００２５】
なお、同図には示されていないが、Ｘ軸およびＹ軸と直交する上下方向の軸がＺ軸であり、Ｘ，Ｙ，Ｚ軸で表される３次元空間上において、Ｚ＝０で表される平面が道路平面に対応する。平面投影ステレオ法においては、座標（Ｘ，Ｙ）で表される道路平面上の点Ｐ２０１を左右のカメラの画像間で対応づける変換パラメータが使用される。
【００２６】
距離検出部１０２は、撮像部１０１が装着された車両と同一の車両に搭載したミリ波レーダー、レーザレーダー等の距離計測装置であり、電波、光などを発射し、前方に存在する障害物で反射して戻ってくるまでの時間を測定することにより距離を計測する。これらの距離計測方式は、カメラで撮影したステレオ画像を用いた距離計測に比べて高い精度で距離を計測できるが、空間方向の解像度は低い。例えば、カメラで水平画角３０度の範囲をＶＧＡ(６４０Ｘ４８０)サイズで撮影した画像の空間解像度は、水平方向で１ピクセル約０．０５度であるが、ミリ波レーダーでは同じ画角からサンプルする距離データは１０個程度であり空間解像度は１サンプル３度程度である。
【００２７】
速度検出部１０３は、車両の走行速度を計測する。例えば、一定時間あたりの車輪の回転数をカウントして車両の走行速度を計測するように構成することができる。距離検出部１０２のミリ波レーダー、レーザレーダー等の装置を使用して路側の静止物体までの距離を計測することにより車両の走行速度の計測を行うように構成してもよい。なお、速度の計測方法はこれに限られるものではなく、走行中の車両の速度を計測できるものであればあらゆる計測方法を適用することができる。
【００２８】
障害物検出部１２１は、上述した平面投影ステレオ法を利用して障害物を検出する。すなわち、左カメラ１０１ａで撮影した画像上の点が道路平面上に存在すると仮定して、変換パラメータを用いて右カメラ１０１ｂの画像に変換し、その画像間の輝度の差が予め定められた閾値を超える場合に、その点は障害物領域に属すると判定する。
【００２９】
本実施の形態においては、車両の製造工程では個々の車両に対し変換パラメータの正確なキャリブレーションは実行せず、車種ごとに一定の初期値を与えるように構成する。従って、車両の運用初期の段階では変換パラメータの誤差が大きく、障害物の誤検出も多くなる場合があるが、本発明を適用して変換パラメータの補正・更新を繰り返すことにより障害物検出の精度を向上させることができる。
【００３０】
対応検出部１２２は、距離検出部１０２と障害物検出部１２１の結果を対応付けする。すなわち、障害物検出部１２１が計算した障害物までの距離と、距離検出部１０２により検出した距離との差が一定閾値以下であれば、障害物検出結果と距離検出結果とが対応したと判定し、位置座標情報および距離情報を出力する。ここで、位置座標情報とは、障害物検出部１２１が検出した障害物のカメラ座標系における位置の情報をいい、距離情報とは距離検出部１０２が検出した障害物までの距離の情報をいう。
【００３１】
並進成分補正部１２３は、速度検出部１０３から出力される速度情報、および対応検出部１２２から出力される位置座標情報と距離情報とを使用して画像中の消失点座標を算出することにより、変換パラメータに含まれる画像の平行移動に関するパラメータである並進成分を算出する。
【００３２】
変形成分補正部１２４は、並進成分補正部１２３により算出された消失点の座標を使用し、左右の画像において消失点を一致するように並進させた後、変換パラメータに含まれる画像の変形に関するパラメータである変形成分を算出する。
【００３３】
ここで、平面投影ステレオ法における変換パラメータの並進成分および変形成分の詳細について説明する。３次元空間中の点（Ｘ、Ｙ、Ｚ）の画像への投影先を（ｕ、ｖ）とすると、一般に、以下の（１）式が成立する。
【数１】
2006252473.tif 000003
【００３４】
平面投影ステレオ法においては、Ｚ＝０の道路平面上の点Ｐ＝(Ｘ、Ｙ、０)を対象とするので、（１）式は、Ｚ＝０を代入することにより以下の（２）式のように簡略化される。
【数２】
2006252473.tif 000004
【００３５】
ｈ１１からｈ３４はカメラのワールド座標系に対する位置や方向、カメラレンズの焦点距離、画像原点などによって決まるパラメータである。ｈ１１からｈ３４を定数倍しても同一のカメラモデルを表現するので、ｈ１１からｈ３４の任意の要素を１にしても一般性を失わない。そこで、以下ではｈ３２を１として説明する。
【００３６】
（２）式の分母であるｈ３１Ｘ＋ｈ３２Ｙ＋ｈ３４は、カメラの視点と図２における点Ｐ２０１との間の光軸方向の距離、すなわち奥行きを表す。本実施の形態にかかるキャリブレーション装置１００においては、ステレオカメラは光軸がＸ軸にほぼ直交するように配置しているので奥行きはＸに依存しないと仮定することができる。したがって、（２）式はｈ３１＝０を代入することにより以下の（３）式で近似できる。
【００３７】
【数３】
2006252473.tif 000005
【００３８】
さらに、Ｙｃ＝Ｙ＋ｈ３４とおくと、以下の（４）式が得られる。
【００３９】
【数４】
2006252473.tif 000006
【００４０】
消失点（Ｙが無限大になる無限遠点の投影先）の座標を（５）式で表すとすると、（４）式より消失点の座標は（６）式で表される。ここで、Ｔは転置記号を表す。
【００４１】
【数５】
2006252473.tif 000007
【数６】
2006252473.tif 000008
【００４２】
（４）式の右辺の行列をＭとし、下記の（７）式で表されるベクトルを用いると、（８）式が成立する。
【００４３】
【数７】
2006252473.tif 000009
【数８】
2006252473.tif 000010
【００４４】
この関係は左右どちらの画像についても成立するので、道路平面上の点Ｐの左右の画像への投影先をそれぞれ（９）式で表すと、（１０）式が成り立つ。
【数９】
2006252473.tif 000011
【数１０】
2006252473.tif 000012
これより、以下の（１１）式が得られる。
【数１１】
2006252473.tif 000013
【００４５】
すなわち、道路平面を撮影した左右の画像は、互いにアフィン変換の関係にあることがわかる。なお、本実施の形態においては、（１１）式の変換パラメータは、車両にカメラを取付けた時点で車種ごとに一定の値を初期値として与え、車両の運用中に後述する変換パラメータ補正処理を実行し、値を随時補正していく。
【００４６】
次に、道路の傾斜や車両の振動により道路平面がＺ＝０からＺ＝ｐＹへ変化したと仮定する。この場合、Ｚ＝０の場合の数式３は、以下の（１２）式のように変形される。
【数１２】
2006252473.tif 000014
【００４７】
Ｙｃ＝Ｙ＋ｈ３４とおくと、以下の（１３）式が得られる。
【数１３】
2006252473.tif 000015
【００４８】
この場合の消失点の座標を(１４)式で表すとすると、（１５）式が得られる
【数１４】
2006252473.tif 000016
【数１５】
2006252473.tif 000017
（１５）式から、道路の傾きまたは車両の振動によって消失点は一定の直線上を移動することがわかる。また、消失点の座標である（１４）式を用いると、（１３）式は以下の（１６）式で表すことができる。
【数１６】
2006252473.tif 000018
【００４９】
また、（１７）式を用いると、（１８）式が得られる。
【数１７】
2006252473.tif 000019
【数１８】
2006252473.tif 000020
【００５０】
さらに、（１９）式および（２０）式を用いると、（２１）式が得られる。
【数１９】
2006252473.tif 000021
【数２０】
2006252473.tif 000022
【数２１】
2006252473.tif 000023
【００５１】
これより、（２２）式が得られる。
【数２２】
2006252473.tif 000024
【００５２】
車体のヨー角（鉛直軸周りの回転）が微小であると仮定すれば、ｈ３４も小さいことから道路の傾きや車体の振動があっても以下の（２３）式と（２４）式はほぼ等しく、これは、道路平面の傾きでは画像の変形は起きないことを示している。
【数２３】
2006252473.tif 000025
【数２４】
2006252473.tif 000026
【００５３】
上記の道路平面とカメラに関する幾何学関係の説明から、左画像と右画像は互いにアフィン変換の関係にあり、道路の傾きや車両の振動によって画像の変形は起きず、アフィン変換の並進成分だけが変化し、またその並進成分の変化は方向が一定であることがわかる。
【００５４】
このように、本実施の形態において算出の対象とする画像間の変換パラメータは、一方のカメラ画像に写った道路平面上の座標を他方のカメラ画像に写った道路平面の対応する点へと変換するために必要な変換パラメータであり、具体的には、画像の変形を表す（１１）式における行列Ａ（変形成分）と、消失点の並進移動量（並進成分）である。
【００５５】
通常は、製造工程において、車両を平坦な道路上に置いた状態で道路の画像を撮影し、道路上に設置したマーキングの角など道路上の特徴点の左右のカメラ画像への投影先座標を計測し、それらの座標情報から最小二乗法を適用して変換パラメータを算出する。特徴点は少なくとも３点以上が必要であり、変換パラメータの精度を上げるためにさらに多数の特徴点が使用される。
【００５６】
車両の製造工程を終えると、一般的に車両が現在走行または停車している路面が平坦であるかを知る方法はないため、キャリブレーション作業を行うことはできない。しかし、本実施の形態においては、製造工程の後、車両の実働中に変換パラメータを逐次補正して更新するので、製造工程では車種ごとに一定のパラメータを与えるだけで十分であり、正確なキャリブレーション作業は不要となる。
【００５７】
特に、本実施の形態においては、距離検出部１０２により車両の実働中に計測される距離情報と障害物検出部１２１により車両の実働中に計測される障害物の位置情報とから変換パラメータの並進成分を算出し、算出した並進成分に基づき、従来から用いられている方法により変換パラメータの変形成分を算出することができる。このため、レーダー等の距離検出部１０２と障害物検出部１２１との間のキャリブレーションが不要となることにより製造工程におけるキャリブレーション作業をさらに簡略化することができる。
【００５８】
次に、このように構成された本実施の形態にかかるキャリブレーション装置１００による変換パラメータの補正処理について説明する。図３は、本実施の形態にかかるキャリブレーション装置１００おける変換パラメータ補正処理の全体の流れを示すフローチャートである。
【００５９】
まず、撮像部１０１が、左右のカメラにより車両前方の画像を撮影する（ステップＳ３０１）。次に、障害物検出部１２１が、撮影された左右の画像から、平面投影ステレオ法により道路平面上の障害物の検出を行う（ステップＳ３０２）。また、距離検出部１０２が、道路平面上の障害物までの距離を検出する（ステップＳ３０３）。
【００６０】
次に、対応検出部１２２が、障害物検出部１２１が検出した障害物と、距離検出部１０２が検出した障害物までの距離との差を計算し、その差が予め定められた一定閾値以下であれば、距離検出結果と障害物検出結果が対応したと判定し、障害物検出部１２１で検出した障害物の左右のカメラ画像上の位置座標情報(ｕ、ｖ)、(ｕ’、ｖ’)と距離検出部１０２で計測した距離情報Ｙの組み合わせを出力する（ステップＳ３０４）。
【００６１】
次に、速度検出部１０３が走行車両の速度を検出し（ステップＳ３０５）、並進成分補正部１２３が、検出した速度が予め定められた一定の閾値より小さいか否かを判断する（ステップＳ３０６）。これは、道路の傾斜や車両の振動の影響を排除するため、消失点の位置が静止していると仮定して変換パラメータを算出する必要があるためである。
【００６２】
すなわち、車両の走行中は車両の振動や道路の傾斜で消失点位置が変化するが、車両が停止している間は、道路の傾斜は変化せず、一般に車両の振動もないので消失点の位置は静止していると考えられる。そこで、並進成分補正部１２３は、車両の速度を予め定められた一定閾値と比較して、車両が停止しているか判定し、車両が停止している場合に以下の処理により消失点位置を推定する。なお、車両は厳密に停止している必要はなく、道路の傾斜や車両の振動の影響が排除できる程度の速度であればよい。そのような速度を閾値として予め定めておき、変換パラメータ補正時に比較のために使用する。
【００６３】
ステップＳ３０６において、検出した速度が予め定められた一定の閾値より大きい場合は、変換パラメータの補正は行わず、最初のステップに戻って処理を繰り返す（ステップＳ３０６：ＮＯ）。
【００６４】
検出した速度が予め定められた一定の閾値より小さい場合は（ステップＳ３０６：ＹＥＳ）、並進成分補正部１２３は、対応検出部１２２が対応づけた障害物の位置座標情報から、画像の中央付近の障害物の位置座標情報を選択する（ステップＳ３０７）。これは、画像の中央付近の障害物は、先行車両であると仮定することができるためである。
【００６５】
次に、並進成分補正部１２３は、選択した障害物からＹが一定閾値以上離れたものを選択する（ステップＳ３０８）。これは、自車両が停止中に先行車両が移動した状況を想定し、移動前後の先行車両の位置座標情報を使用して消失点の算出を行うためである。
【００６６】
次に、並進成分補正部１２３は、一般的なハフ変換を利用して、消失点のＹ座標の並進移動成分を算出し（ステップＳ３０９）、その値を用いて消失点のＸ座標の並進移動成分を算出する（ステップＳ３１０）。以下に消失点Ｙ座標の並進移動成分の算出方法の詳細について説明する。
【００６７】
まず、カメラがほぼ水平に取付けられているためｈ２１が小さいこと、画像中央に近い障害物であるため道路上における横方向の座標の値であるＸも小さいことから、位置座標情報と距離情報の関係を表す（４）式のｙ成分は以下の（２５）式で近似できる。ここで、ｖは画像中の点のｙ座標の値であり、Ｙは距離検出部１０２が検出した障害物までの距離である。
【数２５】
2006252473.tif 000027
【００６８】
ステップＳ３０７において選択した画像中央付近の障害物についての位置座標情報および距離情報を(ｖ０、Ｙ０)および(ｖ１、Ｙ１)とし、（２５）式のａ＝ｈ２２、ｂ＝ｈ２４−ｈ３４ｈ２２とおくと、ａとｂの関係は以下の（２６）式で表される。
【数２６】
2006252473.tif 000028
【００６９】
この関係を用いてハフ変換により、aの値、すなわち消失点の垂直座標を求めることができる。ハフ変換においては、aとｂの２つの値を座標軸とする投票空間を表す２次元配列を用意する。aの値は、（２６）式の２次方程式の解としてｂを用いて（２７）式で表すことができる。
【数２７】
2006252473.tif 000029
【００７０】
ａ、ｂの解は、上記のハフ変換の投票空間中において（２７）式の表す２本の曲線上に存在するので、（２７）式が実数解を持つ場合は解を表す曲線上の配列要素へ投票、すなわちその要素に１を加算する。
【００７１】
この投票を繰り返せば、ａ、ｂの解を表す配列要素への加算が大きくなるので、配列の最大要素をとる座標をａ、ｂの解とする。実際には、投票に用いたサンプル数に応じて閾値を決め、最大要素が閾値を超えたときに解と判定する。
【００７２】
以上により、a＝ｈ２２、すなわち消失点のｙ座標が判明する。またａ、ｂの値を（２５）式に適用することにより、ｈ３４を算出することができ、Ｙｃ（＝Ｙ＋ｈ３４）の値も算出することができる。
【００７３】
上記の消失点y座標算出処理は１つのカメラに適用できる処理である。従って、左右のカメラそれぞれについて消失点ｙ座標を算出することにより、消失点のＹ座標の並進移動成分も求めることができる。
【００７４】
消失点のＸ座標の並進移動成分は以下のようにして算出する。本実施の形態においては、カメラはほぼ水平前方を向いており撮像面縦軸は鉛直方向を向いていると仮定している。従って（４）式のｘ成分は以下の（２８）式により近似することができる。
【数２８】
2006252473.tif 000030
【００７５】
左右のカメラで検出した画像の消失点のｙ座標を一致させて、左右のカメラで検出した障害物のＸ座標の差をとると、（２９）式が得られる。ここで、Ｄは左右のカメラの取付け位置の間隔を表す。
【数２９】
2006252473.tif 000031
【００７６】
上述のように、消失点ｙ座標の算出により、距離検出部１０２で計測した距離情報からＹｃを算出することができる。対応検出部１２２で得られた障害物の位置座標情報ｕ、ｕ’と距離情報Ｙcの組み合わせを複数与えれば、消失点Ｘ座標の並進移動成分を表すｈ１２-ｈ’１２を計算することができる。
【００７７】
このような方法により、障害物検出部１２１により検出した障害物の位置座標情報と、距離検出部１０２により検出した距離情報とから、消失点の並進移動量、すなわち変換パラメータの並進成分を算出することができる。
【００７８】
次に、変形成分補正部１２４が、変換パラメータのうち変形成分である（１１）式の行列Ａを算出する。まず、変形成分補正部１２４は、左右のカメラ画像からランダムに選択したｎ組の画像を選択する（ステップＳ３１１）。次に、選択したｎ組の画像の情報を使用し、左右の画像の輝度の二乗誤差が最小になる変換パラメータの変形成分を算出する（ステップＳ３１２）。以下に算出方法の詳細について説明する。
【００７９】
まず、行列Ａの各要素を（３０）式で表し、左右のカメラ画像において、並進成分補正部１２３により算出された消失点を座標原点とする。
【数３０】
2006252473.tif 000032
【００８０】
次に、左画像において道路が写る確率の高い領域を覆うマスク画像を用意する。図４は、変形成分算出時に使用するマスク画像の一例を示す模式図である。同図に示すように、マスク画像として、例えば先行車両の手前に存在する車線領域を選択する。
【００８１】
次に、車両が静止していると判定された状態で撮影された左右のカメラ画像からｎ組の画像をランダムに選択し、左画像をＩｉ、右画像をＩ’ｉ（ｉ＝１〜ｎ）とする。左画像のうちマスク内の画素の座標を（ｕ、ｖ）、右画像の対応する画素を（ｕ’、ｖ’）とすると、（３１）式が成り立つ。
【数３１】
2006252473.tif 000033
【００８２】
行列Ａが正しい値であれば、左右の画像の二乗誤差である（３２）式の値は最小になる。ここで、ｈ、ｗはそれぞれ上下方向、横方向の画素数を表す。
【数３２】
2006252473.tif 000034
【００８３】
すなわち、最小のｅを与えるパラメータが、変換パラメータの変形成分を表す行列Ａの最適値である。最小のｅを与えるパラメータは、最急降下法などの一般的な最適化アルゴリズムを用いて求めることができる。
【００８４】
最急降下法においては、適当に与えた初期値から出発し、第j回目の繰り返しにおけるパラメータは（３３）式で表される。
【数３３】
2006252473.tif 000035
【００８５】
また、最急降下法においては、対応先の座標（ｕ’、ｖ’）近傍における関数ｅの勾配からパラメータの更新分を以下の（３４）式で計算し、これを加算した値を第ｊ＋１回目のパラメータとする。第ｊ＋１回目のパラメータは（３５）式で表される。
【数３４】
2006252473.tif 000036
【数３５】
2006252473.tif 000037
【００８６】
この処理をパラメータの更新分が一定閾値以下になるまで繰り返して行列Ａの要素の最適値を算出することができる。ステップＳ３１２において、上述のような処理により変換パラメータの変形成分が算出されると、変換パラメータ補正処理が終了する。
【００８７】
なお、この後に実行される障害物検出処理は、上述の処理によって再計算された変換パラメータが使用される。これにより、より高い精度で障害物の検出を実行することが可能となる。
【００８８】
このように、本実施の形態にかかるキャリブレーション装置１００では、障害物検出部１２１により検出された障害物の位置座標情報と距離検出部１０２により検出された距離情報とから変換パラメータを算出することができる。また、製造工程において一定の初期値を与えておけば、車両の運用中に随時変換パラメータの再計算を行うことによって、より精度の高い値に補正することができる。このため、製造工程におけるキャリブレーションが簡略化され、変換パラメータの長期的な変動に対応できるようになる。さらに、レーダーなどの距離検出部１０２により検出された距離情報を使用して変換パラメータを算出しているため、カメラとレーダー等との対応を調整するためのキャリブレーションを行う必要がなくなり、製造工程におけるキャリブレーション作業をより簡略化することができる。
【００８９】
なお、本実施の形態にかかるキャリブレーション装置で実行されるキャリブレーションプログラムは、ＲＯＭ等に予め組み込まれて提供される。
【００９０】
本実施の形態にかかるキャリブレーション装置で実行されるキャリブレーションプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。
【００９１】
さらに、本実施の形態にかかるキャリブレーション装置で実行されるキャリブレーションプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施の形態にかかるキャリブレーション装置で実行されるキャリブレーションプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。
【００９２】
本実施の形態にかかるキャリブレーション装置で実行されるキャリブレーションプログラムは、上述した各部（障害物検出部、対応検出部、並進成分補正部、変形成分補正部）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記ＲＯＭからキャリブレーションプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、障害物検出部、対応検出部、並進成分補正部、変形成分補正部が主記憶装置上に生成されるようになっている。
【産業上の利用可能性】
【００９３】
以上のように、本発明にかかるキャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラムは、走行車両に設置されたステレオカメラを使用して道路上の障害物を検出する障害物検出装置に適している。
【図面の簡単な説明】
【００９４】
【図１】本実施の形態にかかるキャリブレーション装置の構成を示すブロック図である。
【図２】撮像部の配置と道路平面座標との関係を示す説明図である。
【図３】本実施の形態にかかるキャリブレーション装置おける変換パラメータ補正処理の全体の流れを示すフローチャートである。
【図４】変形成分算出時に使用するマスク画像の一例を示す模式図である。
【符号の説明】
【００９５】
１００  キャリブレーション装置
１０１ａ  左カメラ
１０１ｂ  右カメラ
１０１  撮像部
１０２  距離検出部
１０３  速度検出部
１１０  画像蓄積部
１２１  障害物検出部
１２２  対応検出部
１２３  並進成分補正部
１２４  変形成分補正部
【図１】
2006252473.tif 000038
【図２】
2006252473.tif 000039
【図３】
2006252473.tif 000040
【図４】
2006252473.tif 000041