(57)【要約】【課題】作業者によって設置された調整用チャートがステレオカメラの解像度に適合するものであるか否かを自律的に判断し、人的な作業ミスを防止して距離データの信頼性を確保する。【解決手段】調整用チャートＡＣ#2の調整パターン部ＡＣｒｄ#2は、相対的に解像度の高いカメラに対応するように、より細かい模様となっている。また、調整マーク部は、マークの補色関係を互いに反転させ、相対的に解像度の低いカメラに対応する調整マーク部には、白地に黒色の十字マークを配置しているのに対して、相対的に解像度の高いカメラに対応する調整マーク部ＡＣｍｋ#2には、黒地に白色の十字マークｍｋ#2を配置している。画像処理装置側では、調整用チャートが適正であるか否かを、調整マーク部の十字マークを認識できるか否かによって判定し、万一、チャートの選択を間違えている場合には警報を出力し、チャートの交換を促す。【選択図】図６
2015049040.tif 000002
【特許請求の範囲】
【請求項１】
ステレオカメラの左右カメラ画像間の位置的なずれを修正するためのパターンを配置した調整パターン部と、カメラの光軸のずれを修正するためのマークを配置した調整マーク部とを有する調整用チャートの撮像画像を処理して前記ステレオカメラの位置的なずれを修正するステレオカメラの調整システムであって、
前記調整用チャートを、前記ステレオカメラの解像度の相違に対応して、前記パターンを異なるパターンとするともに前記マークの補色関係を互いに反転させた複数の調整用チャートとして備え、
前記調整用チャートを用いた前記ステレオカメラの調整時に、前記マークを認識できないとき、前記調整用チャートが不適合と判定することを特徴とするステレオカメラの調整システム。
【請求項２】
前記マークを十字状のマークとすることを特徴とする請求項１記載のステレオカメラの調整システム。
【請求項３】
前記十字状のマークを、相対的に低解像度の前記ステレオカメラに対して白地に黒色のマークとする一方、相対的に高解像度の前記ステレオカメラに対して黒地に白色のマークとすることを特徴とする請求項２記載のステレオカメラの調整システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオカメラの車体取り付け時の光軸方向の位置ずれ、左右カメラ画像間の上下・回転方向の位置ずれを調整するステレオカメラの調整システムに関する。
【背景技術】
【０００２】
従来から、ステレオカメラを用いて同一対象を異なる視点から撮像し、得られる距離データ（視差）から対象を三次元的に認識するステレオ画像処理の技術が知られている。例えば、自動車等の車両においては、ステレオカメラで前方の走行環境を撮像して走行環境を三次元的に認識し、前方障害物に対して警報制御を行う技術や、認識した走行環境から先行車を検出し、先行車に対して追従制御や警報制御を行う技術が開発され、実用化されている。
【０００３】
このようなステレオカメラは、例えば２台１組のカメラを互いの光軸が略平行となるように所定の基線長（光軸間隔）で機械的に固定して構成され、その取り付け位置にずれが生じると、それぞれのカメラの撮像方向がずれてしまい、カメラが先行車を認識できない、距離データの精度が悪化する等の現象が発生する。
【０００４】
カメラの光軸は車両の進行方向に対して真っ直ぐ向く必要があり、カメラの取り付け時に進行方向に対してずれた場合、前方障害物の認識が難しくなる。
【０００５】
また、ステレオカメラでは、左右カメラ画像間で上下・回転方向にずれが生じることがある。これらの位置ずれは、ステレオマッチングを行う際に、各画像における同一水平ライン（エピポーラライン）のずれとなって現われ、エピポーララインの一致を前提としたステレオマッチングにおいて、距離データの信頼性の低下につながる。
【０００６】
このため、特許文献１には、ステレオカメラの前方に調整用のチャートを設置して、この調整用チャートの撮像画像を処理してステレオカメラの位置ずれを調整することにより、距離データの信頼性向上を図る技術が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００４−１３２８７０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、ステレオ画像処理システムを採用する場合、システムの仕様変更等によってカメラの解像度が変更（通常は解像度アップ）される場合があり、そのような場合、それまでの調整用チャートが適合しなくなる。特に、調整用チャートを用いてカメラの位置ずれを修正する場合、カメラの解像度に適合したチャートが必要であり、新たな調整用チャートに切り換える必要がある。
【０００９】
しかしながら、旧システムから新システムへの移行時には、異なる種類の調整用チャートが混在することになり、調整作業時に、作業者が調整用チャートを間違えて設置する可能性があり、間違った調整用チャートのままステレオカメラを調整してしまい、調整済みにも拘わらず、距離精度が悪化する虞がある。
【００１０】
本発明は上記事情に鑑みてなされたもので、作業者によって設置された調整用チャートがステレオカメラの解像度に適合するものであるか否かを自律的に判断し、人的な作業ミスを防止して距離データの信頼性を確保することのできるステレオカメラの調整システムを提供することを目的としている。
【課題を解決するための手段】
【００１１】
本発明によるステレオカメラの調整システムは、ステレオカメラの左右カメラ画像間の位置的なずれを修正するためのパターンを配置した調整パターン部と、カメラの光軸のずれを修正するためのマークを配置した調整マーク部とを有する調整用チャートの撮像画像を処理して前記ステレオカメラの位置的なずれを修正するステレオカメラの調整システムであって、前記調整用チャートを、前記ステレオカメラの解像度の相違に対応して、前記パターンを異なるパターンとするともに前記マークの補色関係を互いに反転させた複数の調整用チャートとして備え、前記調整用チャートを用いた前記ステレオカメラの調整時に、前記マークを認識できないとき、前記調整用チャートが不適合と判定する。
【発明の効果】
【００１２】
本発明によれば、作業者によって設置された調整用チャートがステレオカメラの解像度に適合するものであるか否かを自律的に判断し、人的な作業ミスを防止して距離データの信頼性を確保することができる。
【図面の簡単な説明】
【００１３】
【図１】ステレオカメラの調整機能を有する画像処理装置のブロック図
【図２】光軸調整の説明図
【図３】粗調整の説明図
【図４】調整用チャートと車載カメラとの配置関係を示す説明図
【図５】第１の調整用チャートを示す説明図
【図６】第２の調整用チャートを示す説明図
【図７】ステレオカメラの調整プロセスを示すフローチャート
【発明を実施するための形態】
【００１４】
以下、図面を参照して本発明の実施の形態を説明する。  
図１において、符号１は、自動車等の車両に搭載され、対象物を異なる視点から撮像するステレオカメラ２の撮像画像を処理して車外の走行環境を三次元的に認識する画像処理装置を示し、例えば、ドライバに対する運転支援、危険回避のブレーキ制御や操舵制御等を行うシステムに利用される。この画像処理装置１は、ステレオカメラ２の位置ずれを自律的に修正して調整する調整機能を有しており、後述する調整用チャートＡＣと併せてステレオカメラの調整システムを形成することができる。
【００１５】
尚、以下では、主として、ステレオカメラ２を構成するカメラの位置ずれに起因した光軸方向のずれ、左右画像間の位置ずれを修正することを「校正」と称する。
【００１６】
このような画像処理装置１は、ステレオカメラ２の撮像画像に対する処理機能として、Ａ／Ｄ変換部３、光軸調整部４、粗調整部５、距離補正部６、ステレオ画像処理部７、認識処理部９を主として、距離データメモリ８ａ及び画像データメモリ８ｂを備えている。また、画像処理装置１は、ステレオカメラ２に対する調整機能として、ステレオカメラ２の位置ずれに起因した画像データのずれを修正する校正パラメータを算出する位置ずれ校正部１０、製品の出荷前或いは定期点検時に外部機器と通信し、外部から入力されるコマンドに従って、位置ずれ校正部１０及び光学歪補正部１１を介したステレオカメラ２の検査・調整を指示する検査・調整指示部１２を備えている。
【００１７】
ステレオカメラ２は、本実施の形態においては、ＣＣＤやＣＭＯＳ等の撮像素子を有する２台のカメラ２ａ，２ｂを互いの光軸が略平行となるように所定の基線長（光軸間隔）で機械的に固定したカメラユニットとして構成され、例えば車室内上部のフロントウィンドウ内側のルームミラー近傍に設置されている。ステレオカメラ２を構成する一方のカメラ２ａは、ステレオ画像処理を行う際に必要な基準画像（右画像）を撮像し、他方のカメラ２ｂは、比較画像（左画像）を撮像する。以下、基準画像（右画像）を撮像するカメラ２ａをメインカメラ２ａ、比較画像（左画像）を撮像するカメラ２ｂをサブカメラ２ｂと適宜記載する。
【００１８】
各カメラ２ａ，２ｂから出力された各アナログ画像は、それぞれ、Ａ／Ｄ変換部３で所定の輝度階調（例えば、２５６階調のグレースケール）のデジタル画像に変換される。このデ゛ジタル化された画像データは、画像の左下隅を原点として、水平方向をｉ座標軸、垂直方向をｊ座標軸とするｉ−ｊ座標系で表現され、メインカメラ２ａから基準画像データが得られ、サブカメラ２ｂから比較画像データが得られる。
【００１９】
光軸調整部４は、カメラの撮像エリアに対して、認識で利用する処理エリアの位置を調整する。ステレオカメラ２の取り付け位置は、車両毎のばらつきによって一対のカメラ（左右のカメラ）２ａ，２ｂ間で車体に対する光軸の向き（画像中心の向き）がピッチ方向及びヨー方向にばらつくことが避けられない。このため、各カメラの撮像エリアに対して認識処理の対象する処理エリアを、例えば画像中心を基準とする等して一義的に設定すると、左右のカメラ２ａ，２ｂで処理エリアが異なってしまう。
【００２０】
このため、光軸調整部４は、後述の調整用チャートＡＣを用いて位置ずれ校正部１０で算出された校正パラメータによって認識エリアを移動させ、カメラ光軸のズレを修正する。後述するように、位置ずれ校正部１０で算出される校正パラメータは、各カメラ２ａ，２ｂの位置的なずれに起因した画像の認識エリアの光軸方向のずれ、及び一対の画像データの並進・回転方向のずれを校正するパラメータであり、光軸調整部４は、図２に示すように、予め設定された大きさの認識エリアＲpを、各カメラの撮像エリアＲm内でヨー方向に移動量Δy，ピッチ方向に移動量Δpだけ平行移動させる。
【００２１】
粗調整部５は、カメラ２ａの画像に対するカメラ２ｂの画像の並進・回転方向のずれを修正する。具体的には、図３に示すように、カメラ２ａの画像に対するカメラ２ｂの画像のずれを算出し、カメラ２ｂの画像を、並進Δｄ、回転角Δθだけ幾何学的に移動させる。
【００２２】
尚、位置ずれ校正部１０における基準画像、比較画像のそれぞれに対する校正パラメータは、調整工程時に決定（或いは、更新）され、光軸調整部４及び粗調整部５にフィードバックされる。この校正パラメータの算出については、本出願人によって提案された特開２００４−２８３７５３号公報に詳述されている。
【００２３】
距離補正部６は、光学歪補正部１１からの補正パラメータに基づいて、基準画像データと比較画像データとをそれぞれ補正する。この補正パラメータは、カメラの光学的な歪みに起因した画像データの歪みを補正するものであり、基準画像、比較画像のそれぞれの画像データを構成する画素点の座標が、基準画像、比較画像の各補正パラメータに基づいて、画像平面上の座標位置がシフトされる。この補正によって、基本的に、個々のカメラ２ａ，２ｂの光学的な歪みに起因した画像の歪みが補正され、この歪みによる距離データの誤差が補正される。
【００２４】
尚、カメラの光学的な歪みに起因した画像の歪みを補正する補正パラメータの算出についても、同様に、本出願人によって提案された特開２００４−２８３７５３号公報に詳述されている。
【００２５】
このように、光軸調整部４及び粗調整部５における画像データの校正と、距離補正部６における画像データの補正とにより、基準画像と比較画像とにおけるエピポーララインの一致が保証される。そして、１フレーム相当の一対の画像データが後段のステレオ画像処理部７に出力されるとともに、画像データメモリ８ｂに格納される。
【００２６】
ステレオ画像処理部７は、基準画像と比較画像との対応位置のずれ量（視差）をステレオマッチング処理により求める。ステレオマッチング処理としては、基準画像内の或る１つの点の周囲に小領域（ブロック或いはウィンドウとも称され、以下ではブロックと記載）を設定し、比較画像内の或る点の周囲に同じ大きさのブロックを設けて対応点を探索する周知の領域探索法を採用することができる。
【００２７】
この領域探索法による対応点の探索処理では、比較画像上でブロックをずらしながら基準画像のブロックとの相関演算を行い、相関値が最も大きいブロックの座標のズレ量すなわち視差ｄを算出する。このブロック毎に算出された視差ｄの集合が「距離データ」として、距離データメモリ８ａに保存される。
【００２８】
認識処理部９は、距離データメモリ８ａに保存された距離データを用いて、実空間での距離を得ると共に各種認識処理を行う。例えば、所定の閾値内にある距離データをグループ化するグルーピング処理を行い、予め記憶しておいた３次元的な道路形状データ、側壁データ、立体物データ等の枠（ウインドウ）と比較し、白線データ、道路に沿って存在するガードレール、縁石等の側壁データを抽出すると共に、立体物を、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出する。
【００２９】
認識した各データは、自車両を原点とし、自車両の前後方向及び幅方向を軸とする座標系におけるそれぞれの位置が演算される。特に、２輪車、普通車両、大型車両の車両データにおいては、その前後方向長さが、例えば、３ｍ、４．５ｍ、１０ｍ等と予め推定され、また、幅方向は検出した幅の中心位置を用いて、その車両の存在する中心位置が演算される。
【００３０】
更に、立体物データにおいては、自車両からの距離の各軸方向の変化から自車両に対する相対速度が演算され、この相対速度に自車両の速度を考慮して演算することにより、それぞれの立体物の各軸方向の速度が演算される。こうして得られた各情報、すなわち、白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、及び、立体物データ（種別、自車両からの距離、中心位置座標、速度等の各データ）から、自車両周辺の歩行者或いは軽車両、自車両が走行する道路に接続する道路上を走行する他車両等の移動物体を認識する。
【００３１】
このような認識処理部９からの白線データ、道路に沿って存在するガードレール、縁石等の側壁データ、立体物データ等は、車両制御部（図示せず）に入力される。車両制御部は、認識処理部９からの情報と自車両の車速やヨーレート等の車両情報とに基づいて走行環境を認識し、プリクラッシュブレーキ制御、追従機能付きクルーズ制御、ふらつき及び車線逸脱に対する警報制御等のドライバに対する運転支援制御を指令する。
【００３２】
次に、位置ずれ校正部１０及び光学歪補正部１１によるステレオカメラ２の調整について説明する。
【００３３】
ステレオカメラ２の調整時には、図４に示すように、調整用チャートＡＣを、検査・調整対象のステレオカメラ２を搭載した車両Ｃの前方の所定位置に配置しておく。この調整用チャートＡＣは、カメラ２ａ，２ｂの基線と概ね平行となるように配置される。このような状態で、車両外部から検査・調整指示部１２を介して画像処理装置１をステレオカメラの検査・調整モードで作動させると、ステレオカメラ２（カメラ２ａ，２ｂ）で調整用チャートＡＣが撮像され、調整パラメータ（校正パラメータ及び補正パラメータ）が算出される。
【００３４】
ここで、調整用チャートＡＣは、カメラ２ａ，２ｂの解像度（撮像素子の画素数）の相違に応じて、図５，図６に示すように、異なる種類のチャートが備えられている。本実施の形態においては、旧システムから新システムへの移行に伴ってカメラの解像度がアップされ、システム移行の過渡期に新旧システムが混在することに対応して、第１，第２の２つの調整用チャートＡＣ#i（i=1,2）が備えられている。第１の調整用チャートＡＣ#1は、調整用チャートＡＣ#2と比較して、相対的に解像度の低いカメラを搭載している車両に対応するものであり、第２の調整用チャートＡＣ#2は、相対的に解像度の高いカメラを搭載している車両に対応するものである。
【００３５】
これらの調整用チャートＡＣ#iは、基本的には、同様の構成であり、粗調整・距離補正用の複数の所定の格子をそれぞれランダムな階調のパターンで配置した調整パターン部ＡＣｒｄ#i（i=1,2）と、この調整パターン部ＡＣｒｄ#iの下側に光軸調整用のマークを配置した調整マーク部ＡＣｍｋ#i（i=1,2）とを有している。本実施の形態においては、光軸調整用のマークとして十字状のマークを使用している。
【００３６】
調整パターン部ＡＣｒｄ#iからは、例えば、格子状パターンの特徴点の画像平面上の座標が検出され、検出された特徴点の座標と、この特徴点に対応する目標座標との差分から補正パラメータが決定される。尚、目標座標とは、光学的な歪みが全く存在しないような理想的なカメラで調整用チャートを撮像した場合に検出される座標であり、例えば、調整用チャートのパターンと、この調整用チャートとステレオカメラとの間の距離及びカメラの焦点距離とに基づいて、理論的に算出することができる。
【００３７】
一方、調整マーク部ＡＣｍｋ#iを用いた光軸調整では、撮像画像上のマークの座標位置と車両に対するチャートのマーク位置との関係から校正パラメータが決定される。前述したように、調整マーク部ＡＣｍｋ#iから算出される校正パラメータは、ヨー方向及びピッチ方向へ認識エリアを移動させる左右カメラの光軸調整の校正パラメータである。
【００３８】
ここで、調整用チャートＡＣ#iは、撮像素子の解像度の相違によって調整パターン部ＡＣｒｄ#iの模様が異なっており、調整用チャートＡＣ#2の調整パターン部ＡＣｒｄ#2は、相対的に解像度の高いカメラに対応するように、調整用チャートＡＣ#1の調整パターン部ＡＣｒｄ#1よりも細かい模様となっている。カメラ調整時には、これらの調整用チャートＡＣ#iのうちの何れを用いるかは、調整対象の車両（カメラ）に応じて作業者が適切に選択する必要があるが、不適切なチャートを選択してしまう可能性を完全になくすことは困難である。
【００３９】
このため、調整マーク部ＡＣｍｋ#iは、光軸調整用のマーク形状としては同じ十字状の形状であるものの、マークの補色関係を互いに反転させ、チャートの誤設置を車両側で検出するようにしている。具体的には、相対的に解像度の低いカメラに対応する調整マーク部ＡＣｍｋ#1には、白地に黒色の十字マークｍｋ#1を配置しているのに対して、相対的に解像度の高いカメラに対応する調整マーク部ＡＣｍｋ#2には、黒地に白色の十字マークｍｋ#2を配置している。
【００４０】
車両側の画像処理装置１は、カメラ検査・調整モードで動作するとき、先ず、車両前方（カメラ前方）に配置された調整用チャートＡＣ#iが適正であるか否かを判定する。適正なチャートか否かは、調整マーク部ＡＣｍｋ#iの十字マークｍｋ#iを認識できるか否かによって判定する。そして、万一、チャートの選択を間違えている場合には警報を出力し、チャートの交換を促す。
【００４１】
以下、調整用チャートＡＣを用いたステレオカメラの調整プロセスについて、図７に示すフローチャートを用いて説明する。
【００４２】
この調整プロセスでは、先ず、調整準備として、車両を調整位置に配置し、この車両に対応する調整用チャートＡＣ#iを車両前方の規定位置に設置する（ステップＳ１）。次に、車両に例えば診断装置等の外部機器を接続して、画像処理装置１の検査・調整指示部１２と通信を行い、ステレオカメラの検査・調整モードにセットする（ステップＳ２）。画像処理装置１が検査・調整モードにセットされると、画像処理装置１は、先ず、調整用チャートＡＣ#iの調整マーク部ＡＣｍｋ#iの撮像画像から、現在の調整用チャートＡＣ#iが自車両に搭載されているステレオカメラに適合した適正なチャートであるか否かを判定する（ステップＳ３）。
【００４３】
車両側の画像処理装置１が相対的に解像度の低いステレオカメラを搭載した旧システムである場合、この旧システムでは、調整マーク部ＡＣｍｋ#iの十字マークｍｋ#iを、白地に黒色のマーク形状としてパターンマッチングにより認識する。一方、車両側の画像処理装置１が相対的に解像度の高いステレオカメラを搭載した新システムである場合には、この新システムでは、調整マーク部ＡＣｍｋ#iの十字マークｍｋ#iを、黒地に白色のマーク形状としてパターンマッチングにより認識する。
【００４４】
従って、例えば、旧システムの車両の前に調整用チャートＡＣ#2が誤って設置された場合、位置ずれ校正部１０は、黒地に白色の十字マークｍｋ#2を、白地に黒色の十字マークｍｋ#1として認識しようとするため、十字マークの認識を失敗する。また、新システムの車両の前に調整用チャートＡＣ#1が誤って設置された場合には、位置ずれ校正部１０は、白地に黒色の十字マークｍｋ#1を、黒地に白色の十字マークｍｋ#2として認識しようとするため、十字マークの認識を失敗する。
【００４５】
十字マークｍｋ#iの認識を失敗した場合、位置ずれ校正部１０は、現システムのステレオカメラに対して実際に設置されている調整用チャートＡＣ#iが不適合と判定する。そして、検査・調整指示部１２を介してエラー信号を外部機器に送信し、作業者に調整用チャートＡＣ#iを誤って設置していることを警報する（ステップＳ４）。一方、十字マークｍｋ#iを正しく認識できた場合には、そのまま光軸調整を自動的に実行する（ステップＳ５）。
【００４６】
光軸調整を実行した後は、調整パターン部ＡＣｒｄ#iの撮像画像に基づいて粗調整を行い（ステップＳ６）、続いて調整パターン部ＡＣｒｄ#iによる距離測定の平均値が既定範囲内にあるか否かを検査する（ステップＳ７）。そして、距離測定の検査結果がＯＫであれば、調整パラメータ及び検査結果を画像処理装置１内のメモリに書き込み（ステップＳ８）、本調整プロセスを終了する。
【００４７】
一方、距離測定の検査結果がＮＧである場合には、調整パターン部ＡＣｒｄ#iを用いた距離補正のパラメータを新たに算出する処理を行い（ステップＳ９）、この補正パラメータを用いて、再度、距離測定の検査を行う（ステップＳ１０）。そして、検査結果がＯＫとなった場合、前述したように、調整パラメータ及び検査結果をメモリに書き込んで本調整プロセスを終了し、検査結果が依然としてＮＧである場合、車両及び調整用チャートの設置位置、カメラ周辺の検査環境を見直す（ステップＳ１１）。その後、改めて本調整プロセスを再スタートさせる。
【００４８】
このように本実施の形態においては、ステレオカメラの調整機能を有する画像処理装置１を搭載した車両の前方に調整用チャートを設置して、ステレオカメラの調整を行う際、調整対象のカメラに適合した調整用チャートであるか否かを車両側（画像処理装置１）で自律的に判断するため、作業者の人的な作業ミスを防止して距離データの信頼性を確保することができる。
【符号の説明】
【００４９】
１  画像処理装置
２  ステレオカメラ
４  光軸調整部
５  粗調整部
６  距離補正部
７  ステレオ画像処理部
９  認識処理部
１０  位置ずれ校正部
１１  光学歪補正部
１２  検査・調整指示部
ＡＣ#i  調整用チャート
ＡＣｍｋ#i  調整マーク部
ＡＣｒｄ#i  調整パターン部
ｍｋ#i  十字マーク
【図１】
2015049040.tif 000003
【図２】
2015049040.tif 000004
【図３】
2015049040.tif 000005
【図４】
2015049040.tif 000006
【図５】
2015049040.tif 000007
【図６】
2015049040.tif 000008
【図７】
2015049040.tif 000009