(57)【特許請求の範囲】
【請求項１】
自車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する画像処理装置であって、
前記一対の画像データ上における、自車両の前方において自車両と同一車両通行帯を走行する先行車両の左右一対のブレーキランプを検出する車両検出処理部と、
前記一対の画像データ、および前記車両検出処理部により検出された一対のブレーキランプのデータに基づき、前記被写体までの距離を算出する計算式の補正を行う視差オフセット値補正処理部と、を備え、
前記視差オフセット値補正処理部は、
自車両の前方の距離の異なる２地点である近距離地点および遠距離地点の双方について、一対の画像データ上におけるブレーキランプの視差と一対のブレーキランプの離間画素数を取得するステップと、
前記近距離地点におけるブレーキランプの視差および離間画素数に基づき、前記近距離地点における実空間の一対のブレーキランプの離間距離である近距離ブレーキランプ間距離を算出するステップと、
前記遠距離地点におけるブレーキランプの視差および離間画素数に基づき、前記遠距離地点における実空間の一対のブレーキランプの離間距離である遠距離ブレーキランプ間距離を求めるステップと、
前記近距離ブレーキランプ間距離が遠距離地点においても等しいとみなした場合に予測される遠距離地点における視差である遠距離推定視差を算出するステップと、
前記遠距離ブレーキランプ視差、および前記遠距離推定視差の比較結果に基づき、前記距離を算出する計算式の誤差を算出するステップと、
前記誤差の値に基づき、前記計算式の補正を行うステップと、を実行する
ことを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車両の進行方向をステレオカメラを用いて撮像して得られた画像に基づき被写体の３次元位置情報を認識する画像処理装置に関する。
【背景技術】
【０００２】
車外環境を認識する車両システムとして、自車両の進行方向を一対のカメラを備えるステレオカメラで撮像して得られた一対の画像に基づき、被写体と自車両との位置関係を認識する画像処理装置を備えるものがある。このように自車両の進行方向に存在する被写体を認識するシステムでは、被写体までの距離の情報を含めた被写体の３次元位置情報（実空間上における位置の情報）を生成する。具体的には、前記のステレオカメラにより視点の異なる一対の画像データを撮像し、当該一対の画像データ間における被写体の視差を算出し、当該視差に基づいて被写体の３次元位置情報を生成する。
【０００３】
前記の３次元位置情報は、一対のカメラの中央真下の点を原点とし、一対のカメラを結ぶ方向にＸ軸、上下方向にＹ軸、前後方向にＺ軸とした場合の空間上の点（Ｘ，Ｙ，Ｚ）で表される。３次元位置情報は、三角測量の手法に基づき生成されるもので、具体的には、画像上の画素を座標（ｉ，ｊ）で表し、視差をｄｐ、一対のカメラの間隔をＣＤ、１画素当たりの視野角をＰＷ、一対のカメラの取り付け高さをＣＨ、カメラ正面の無限遠点の画像上でのｉ座標、ｊ座標をそれぞれＩＶ、ＪＶとしたときに、以下の［式１］〜［式３］で表される座標変換により求まる。
【０００４】
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ）…［式１］  
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ）…［式２］  
Ｚ＝ＣＤ／｛ＰＷ×（ｄｐ−ＤＰ）｝…［式３］  
但し、前記［式３］における「ＤＰ」は視差オフセット値であり、ステレオカメラの車両への取り付け時に決定され、それ以降は定数として扱われる値である。
【０００５】
視差オフセット値ＤＰは、ステレオカメラが自車両に対して所定に取り付けられた状態を基準として定められた値であるため、例えば車両の使用により生じる振動や熱等に起因してステレオカメラの取付状態が所定状態から変化してしまうと、前記［式３］により距離Ｚの値を正しく算出することができなくなってしまう。
【０００６】
そこで、このようなステレオカメラの取付状態の経時的な変化に伴い生じる視差オフセット値ＤＰの誤差を補正するための技術として、先に本出願人は前記特許文献１に記載される補正技術を提案している。特許文献１では、路面に直線状に標示された連続線や破線等の白線の撮像画像に基づいて一対のカメラの各撮像画像中にそれぞれ消失点を算出し、その結果に基づいて補正する。前記特許文献１に記載の技術によれば、自車両の走行時に視差オフセット値ＤＰを補正することができる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−８３７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
例えば、ステレオカメラを構成する一対のカメラが、車両のフロントウィンドウを透過して自車両の前方を撮像するように配置される場合、フロントウィンドウを透過することによる画像の歪みの様子が、画像の上部と下部とで一様でない場合がある。このような、画像の歪みが画像の縦方向で変化する原因は、例えば画像の上下で光線がフロントウィンドウを透過する距離が異なることや、フロントウィンドウが曲面であることである。
【０００９】
このように、画像の歪みが画像の縦方向で変化する場合には、特許文献１に記載の技術のような画像上の白線の消失点の算出において誤差が生じ、視差オフセット値ＤＰの補正に誤差が生じる可能性がある。
【００１０】
本発明は前述した問題を解決するものであり、ステレオカメラを用いて撮像された画像から被写体の３次元位置情報を認識する画像処理装置において、正確に視差オフセット値の補正を行うことを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様の自動運転制御装置は、自車両の進行方向をステレオカメラを用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する画像処理装置であって、前記一対の画像データ上における、自車両の前方において自車両と同一車両通行帯を走行する先行車両の左右一対のブレーキランプを検出する車両検出処理部と、前記一対の画像データ、および前記車両検出処理部により検出された一対のブレーキランプのデータに基づき、前記被写体までの距離を算出する計算式の補正を行う視差オフセット値補正処理部と、を備え、前記視差オフセット値補正処理部は、自車両の前方の距離の異なる２地点である近距離地点および遠距離地点の双方について、一対の画像データ上におけるブレーキランプの視差と一対のブレーキランプの離間画素数を取得するステップと、前記近距離地点におけるブレーキランプの視差および離間画素数に基づき、前記近距離地点における実空間の一対のブレーキランプの離間距離である近距離ブレーキランプ間距離を算出するステップと、前記遠距離地点におけるブレーキランプの視差および離間画素数に基づき、前記遠距離地点における実空間の一対のブレーキランプの離間距離である遠距離ブレーキランプ間距離を求めるステップと、前記近距離ブレーキランプ間距離が遠距離地点においても等しいとみなした場合に予測される遠距離地点における視差である遠距離推定視差を算出するステップと、前記遠距離ブレーキランプ視差、および前記遠距離推定視差の比較結果に基づき、前記距離を算出する計算式の誤差を算出するステップと、前記誤差の値に基づき、前記計算式の補正を行うステップと、を実行する。
【発明の効果】
【００１２】
本発明によれば、ステレオカメラを用いて撮像された画像から被写体の３次元位置情報を認識する画像処理装置において、正確に視差オフセット値の補正を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の構成を示すブロック図である。
【図２】ステレオカメラによって撮像された近距離地点の先行車両のブレーキランプを示す図である。
【図３】ステレオカメラによって撮像された遠距離地点の先行車両のブレーキランプを示す図である。
【図４】実空間上における先行車両との距離の変化の様子を示す図である。
【図５】画像処理装置の動作を示すフローチャートである。
【図６】視差誤差算出処理のフローチャートである。
【発明を実施するための形態】
【００１４】
以下に、本発明の好ましい形態について図面を参照して説明する。なお、以下の説明に用いる各図においては、各構成要素を図面上で認識可能な程度の大きさとするため、構成要素毎に縮尺を異ならせてあるものであり、本発明は、これらの図に記載された構成要素の数量、構成要素の形状、構成要素の大きさの比率、及び各構成要素の相対的な位置関係のみに限定されるものではない。
【００１５】
図１に示す本実施形態の画像処理装置１は、ステレオカメラ２が装着された車両に搭載され、ステレオカメラ２によって撮像された画像中に写っている物体（被写体）の車両に対する相対的な位置を算出する。
【００１６】
ステレオカメラ２は、車両の進行方向を視野に収めるように車幅方向に一定の距離だけ離間して配置された、視点の異なる一対の第１カメラ２ａおよび第２カメラ２ｂを備える。第１カメラ２ａおよび第２カメラ２ｂは、互いの光軸が平行であり、同一のフレームレートで動画像を撮像する。
【００１７】
ステレオカメラ２は、撮像した画像をデジタルデータに変換するＡ／Ｄコンバータや、画像に対してノイズ除去および輝度値補正等の画像補正を行う画像補正部等を備える。ステレオカメラ２は、撮像した画像をデジタルデータとして画像処理装置１に送信する。
【００１８】
画像処理装置１は、ＣＰＵやＲＯＭ、ＲＡＭ、入出力インターフェース等がバスに接続されたコンピュータより構成されている。なお、画像処理装置１は、車両の動作を制御するコンピュータを含む車両制御システム３に組み込まれていてもよいし、車両制御システム３とは別のコンピュータであってもよい。
【００１９】
画像処理装置１は、車両制御部３との間で通信可能である。車両制御システム３は、車両に設けられた車速センサ、舵角センサ、加速度センサおよび角速度センサ等を含むセンサ部５から入力される情報と、画像処理装置１から入力される情報とに基づき、車両の周辺環境を含めた状況を認識し、運転支援に係る動作を実行する。
【００２０】
運転支援に係る動作とは、運転者に対して車線逸脱警告や衝突警告を出力する警告動作、および自動ブレーキや自動操舵等の半自動または自動の運転補助動作等を含む。ステレオカメラを用いた運転支援は公知の技術であるため詳細な説明は省略する。
【００２１】
画像処理装置１は、メモリ１ａ、３次元位置情報生成処理部１ｂ、車両検出処理部１ｄ、および視差オフセット値補正処理部１ｅを備える。
【００２２】
メモリ１ａは、ステレオカメラ２から入力される画像のデータを記憶する。以下では、第１カメラ２ａにより撮像される画像を第１画像データと称し、第２カメラ２ｂにより撮像される画像を第２画像データと称する。
【００２３】
３次元位置情報生成処理部１ｂ、車両検出処理部１ｄ、および視差オフセット値補正処理部１ｅは、それぞれ以下に説明する画像処理装置１が有する画像処理の機能を実行するための構成を含む。
【００２４】
３次元位置情報生成処理部１ｂは、ステレオカメラ２によって撮像された視点の異なる一対の画像データに基づき、被写体の３次元位置情報を生成する。
【００２５】
３次元位置情報生成処理部１ｂが実行する３次元位置情報生成処理は、第１画像データと第２画像データの間の対応点をパターンマッチングにより検出し、検出された対応点間の座標のずれを視差ｄｐとして算出し、視差ｄｐを用いて三角測量の原理により実空間上における対応点の位置の情報を３次元位置情報として生成する処理である。
【００２６】
前記のような視差ｄｐとしての座標のずれを算出するにあたっては、予め第１画像データおよび第２画像データのうちの一方が「基準画像」、他方が「比較画像」として定められる。比較画像は、基準画像上の水平方向端部に位置する物体についての視差ｄｐの算出を可能とするため、基準画像よりも水平方向画素数が多い画像として生成されている。
【００２７】
ここで、３次元位置情報は、一対のカメラである第１カメラ２ａと第２カメラ２ｂの中央真下の点を原点とし、一対のカメラを結ぶ方向にＸ軸、上下方向にＹ軸、前後方向にＺ軸ととった場合の空間上の点（Ｘ，Ｙ，Ｚ）として表される情報である。
【００２８】
３次元位置情報としてのＸ，Ｙ，Ｚの各値は、画像中における水平方向に平行な軸をｉ軸、垂直方向に平行な軸をｊ軸としたときの画素の座標を（ｉ，ｊ）で表し、一対のカメラの間隔（基線長）をＣＤ、１画素当たりの視野角をＰＷ、一対のカメラの取り付け高さをＣＨ、カメラ正面の無限遠点の基準画像上でのｉ座標、ｊ座標をそれぞれＩＶ、ＪＶとしたときに、下記［式１］〜［式３］で表される座標変換により求まる。
【００２９】
Ｘ＝ＣＤ／２＋Ｚ×ＰＷ×（ｉ−ＩＶ）  …［式１］  
Ｙ＝ＣＨ＋Ｚ×ＰＷ×（ｊ−ＪＶ）  …［式２］  
Ｚ＝ＣＤ／｛ＰＷ×（ｄｐ−ＤＰ）｝  …［式３］  
前記［式３］における「ＤＰ」は、消失点視差や無限遠対応点などとも称されるが、要するに基準画像と比較画像の間の対応点間の視差ｄｐと、対応点までの実空間上での距離Ｚとが前記［式３］を満たすようにして決定される値である。以下、この「ＤＰ」については「視差オフセット値ＤＰ」と称する。
【００３０】
車両検出処理部１ｄは、ステレオカメラ２によって撮像された画像データ上における、自車両の前方に存在する先行車両を検出する車両検出処理を実行する。より具体的には、車両検出処理部１ｄは、画像データ上における、先行車両を検出し、さらに当該先行車両の尾部に設けられた左右一対のブレーキランプの画像データ上における形状および位置座標を検出する。
【００３１】
視差オフセット値補正処理部１ｅは、車両検出処理部１ｄによって検出された先行車両のブレーキランプの情報に基づいて、視差ｄｐから距離Ｚを算出する計算式（すなわち先の［式３］）についての補正を行う視差オフセット値補正処理を実行する。
【００３２】
前述のように、カメラの取付状態の経時的な変化に起因して［式３］における視差オフセット値ＤＰには現実のカメラ取付状態に対応した最適値からの誤差が発生してしまうため、視差オフセット値補正処理はこれを補正するものである。
【００３３】
図２および図３は、ステレオカメラ２によって撮像された画像データ上に、先行車両１０が存在する場合を示している。図２は、自車両の進行方向の近距離地点に先行車両１０が存在する場合を示しており、図３は、自車両の進行方向の前記近距離地点よりも遠方である遠距離地点に先行車両１０が存在する場合を示している。
【００３４】
また、図４は、実座標であるＸ−Ｙ平面において、先行車両１０が近距離地点および遠距離地点に存在する場合を示す図である。また、図５および図６は、視差オフセット値補正処理を示すフローチャートである。
【００３５】
図５および図６に示す視差オフセット値補正処理は、ステレオカメラ２のフレームレートに同期して実行される。すなわち、視差オフセット値補正処理は、ステレオカメラ２によって撮像される画像の全フレームについて実行される。
【００３６】
図５のフローチャートに示すように、視差オフセット値補正処理では、まずステップＳ１０において、視差オフセット値補正処理部１ｅは、車両検出部１ｄによる画像データ上における先行車両の検出が成功しているか否かを判定する。ここで、先行車両とは、自車両と同一の車両通行帯において、自車両の直前を走行する車両のことである。
【００３７】
車両検出部１ｄによる画像データ上における先行車両の検出が成功している場合には、ステップＳ２０に移行する。ステップＳ２０では、視差オフセット値補正処理部１ｅは、最新のフレームの画像データ上に検出された先行車両が、１つ前のフレームの画像データ上に検出された先行車両と入れ替わっているか否かを判定する。
【００３８】
ステップＳ２０において、最新のフレームの画像データ上に検出された先行車両が、１つ前のフレームの画像データ上に検出された先行車両と同一であると判定した場合には、ステップＳ３０に移行する。
【００３９】
一方、ステップＳ１０の判定において、車両検出部１ｄによる画像データ上における先行車両の検出が失敗している場合、および、ステップＳ２０の判定において、最新のフレームの画像データ上に検出された先行車両が１つ前のフレームの画像データ上に検出された先行車両と入れ替わっている場合には、後述するステップＳ１１０に移行する。
【００４０】
すなわち、同一の先行車両に従って自車両が走行している限りは、ステレオカメラ２により新たなフレームの画像データが撮像されるたびに、ステップＳ３０以降の処理が実行される。一方、先行車両が入れ替わった場合、または先行車両の検出に失敗した場合には、ステップＳ１１０に移行する。
【００４１】
ステップＳ１１０では、メモリ１ａに記憶しているブレーキランプ情報をクリアする。ブレーキランプ情報は、視差オフセット値ＤＰの補正に用いられるデータであるが、詳細については後述するする。ステップＳ１１０の実行後は、最新のフレームの画像データに対する視差オフセット値補正処理を終了する。
【００４２】
ステップＳ３０では、視差オフセット値補正処理部１ｅは、先行車両の後部に対して自車両が正対しているか否かを判定する。例えば、ステップＳ３０では、視差オフセット値補正処理部１ｅは、車両検出部１ｄによって検出された先行車両の左右のブレーキランプの大きさの差が所定範囲を超えている場合に、先行車両の後部に対して自車両が正対していないと判定する。
【００４３】
なお、ステップＳ３０には、センサ部５の舵角センサによって舵角が所定の角度以上であると検出されている場合に、先行車両の後部に対して自車両が正対していないと判定する処理が加えられてもよい。
【００４４】
ステップＳ３０において、先行車両の後部に対して自車両が正対していないと判定した場合には、最新のフレームの画像データに対する視差オフセット値補正処理を終了する。
【００４５】
一方、ステップＳ３０において、先行車両の後部に対して自車両が正対していないと判定した場合には、ステップＳ４０に移行する。
【００４６】
ステップＳ４０では、視差オフセット値補正処理部１ｅは、先行車両１０のブレーキランプ１１が、図４に示すように、自車両の前方の所定のＺ軸座標ａ［mm］に位置しているか否かを判定する。以下では、Ｚ座標がａである地点のことを、近距離地点と称する。すなわち、ステップＳ４０では、ブレーキランプ１１が、近距離地点に位置しているか否かを判定する。
【００４７】
本実施形態では一例として、ａ＝１５０００［mm］である。なお、ステップＳ４０では、ａの値からＺ軸の両方向に若干の所定幅を有する範囲内にブレーキランプ１１が位置していれば、ブレーキランプ１１が、近距離地点に位置していると判定する。
【００４８】
ステップＳ４０において、ブレーキランプ１１が、自車両の前方の近距離地点に位置していると判定した場合には、ステップＳ６０に移行する。ステップＳ６０では、視差オフセット値補正処理部１ｅは、一対の画像データである第１画像データおよび第２画像データから車両検出部１ｄによって検出された近距離ブレーキランプ情報を取得する。またステップＳ６０では、近距離ブレーキランプ情報を、メモリ１ａに記憶しているブレーキランプ情報に書き加える。
【００４９】
図２は、説明のために、ステレオカメラ２によって撮像された第１画像データに、第２画像データを重ね合わせて示している。図２においては、第１画像データに写っているブレーキランプを実線で示し、第２画像データに写っているブレーキランプを２点鎖線で示している。図示する例では、第２画像データを撮像する第２カメラ２ｂが、第１カメラ２ａに対して車両進行方向に向かって左に位置しているが、第１カメラ２ａと第２カメラ２ｂとの位置関係はこの逆であってもよい。
【００５０】
図２において、符号１１ＲＬが、第１画像データ中の自車両に対して進行方向左側に位置する左ブレーキランプであり、符号１１ＲＲが第１画像データ中の自車両に対して進行方向右側に位置する右ブレーキランプである。また、図２において、符号１１ＬＬが、第２画像データ中の自車両に対して進行方向左側に位置する左ブレーキランプであり、符号１０ＬＲが第２画像データ中の自車両に対して進行方向右側に位置する右ブレーキランプである。
【００５１】
具体的にステップＳ６０において取得する近距離ブレーキランプ情報とは、近距離地点に位置する先行車両１０の画像データ上のブレーキランプ１１の視差である近距離ブレーキランプ視差ｍｄ［pixel］と、近距離地点に位置する先行車両１０の画像データ上の左右一対のブレーキランプ１１の離間距離である近距離ブレーキランプ間画素ｍ［pixel］、である。
【００５２】
図２に示すように、本実施形態では一例として、近距離ブレーキランプ視差ｍｄは、一対の画像データ間における左ブレーキランプの視差ｍｄl［pixel］と右ブレーキランプの視差ｍｄr［pixel］の平均値である。すなわち、ｍｄは次式で求められる。  
ｍｄ＝（ｍｄl＋ｍｄr）／２  
また、近距離ブレーキランプ間画素ｍは、図２に示すように、基準画像データ中の左ブレーキランプと右ブレーキランプとの間のｉ軸方向の画素数である。ステップＳ６０の実行後は、後述するステップＳ８０に移行する。
【００５３】
ステップＳ４０において、ブレーキランプ１１が、自車両の前方の近距離地点に位置していないと判定した場合には、ステップＳ５０に移行する。ステップＳ５０では、視差オフセット値補正処理部１ｅは、先行車両１０のブレーキランプ１１が、図４に示すように、自車両の前方の所定のＺ軸座標ｂ［mm］に位置しているか否かを判定する。ａ＜ｂの関係が成り立ち、本実施形態では一例として、ａ＝３００００［mm］である。
【００５４】
以下では、Ｚ座標がｂである地点のことを、遠距離地点と称する。すなわち、ステップＳ５０では、ブレーキランプ１１が、遠距離地点に位置しているか否かを判定する。なお、ステップＳ５０では、ｂの値からＺ軸の両方向に若干の所定幅を有する範囲内にブレーキランプ１１が位置していれば、ブレーキランプ１１が、遠距離地点に位置していると判定する。
【００５５】
ステップＳ５０において、ブレーキランプ１１が、自車両の前方の遠距離地点に位置していないと判定した場合には、最新のフレームの画像データに対する視差オフセット値補正処理を終了する。
【００５６】
一方、ステップＳ５０において、ブレーキランプ１１が、自車両の前方の遠距離地点に位置していると判定した場合には、ステップＳ７０に移行する。ステップＳ７０では、視差オフセット値補正処理部１ｅは、一対の画像データである第１画像データおよび第２画像データから車両検出部１ｄによって検出された遠距離ブレーキランプ情報を取得する。またステップＳ７０では、遠距離ブレーキランプ情報を、メモリ１ａに記憶しているブレーキランプ情報に書き加える。
【００５７】
図３は、説明のために、ステレオカメラ２によって撮像された第１画像データに、第２画像データを重ね合わせて示している。図２と同様に、図３において、符号１１ＲＬが、第１画像データ中の自車両に対して進行方向左側に位置する左ブレーキランプであり、符号１１ＲＲが第１画像データ中の自車両に対して進行方向右側に位置する右ブレーキランプである。また、図３において、符号１１ＬＬが、第２画像データ中の自車両に対して進行方向左側に位置する左ブレーキランプであり、符号１０ＬＲが第２画像データ中の自車両に対して進行方向右側に位置する右ブレーキランプである。
【００５８】
具体的にステップＳ７０において取得する遠距離ブレーキランプ情報とは、遠距離地点に位置する先行車両１０の画像データ上のブレーキランプ１１の視差である遠距離ブレーキランプ視差ｎｄ［pixel］と、遠距離地点に位置する先行車両１０の画像データ上の左右一対のブレーキランプ１１の離間距離である遠距離ブレーキランプ間画素ｎ［pixel］、である。
【００５９】
図３に示すように、本実施形態では一例として、近距離ブレーキランプ視差ｎｄは、一対の画像データ間における左ブレーキランプの視差ｎｄl［pixel］と右ブレーキランプの視差ｎｄr［pixel］の平均値である。すなわち、ｎｄは次式で求められる。  
ｎｄ＝（ｎｄl＋ｎｄr）／２  
また、近距離ブレーキランプ間画素ｎは、図３に示すように、基準画像データ中の左ブレーキランプと右ブレーキランプとの間のｉ軸方向の画素数である。ステップＳ７０の実行後は、ステップＳ８０に移行する。
【００６０】
ステップＳ８０では、視差オフセット値補正処理部１ｅは、メモリ１ａに記憶されているブレーキランプ情報の蓄積が完了しているか否かを判定する。具体的には、ステップＳ８０において、視差オフセット値補正処理部１ｅは、ブレーキランプ情報が、近距離ブレーキランプ情報と遠距離ブレーキランプ情報とを含んでいる場合に、ブレーキランプ情報の蓄積が完了していると判定する。
【００６１】
ステップＳ８０において、ブレーキランプ情報の蓄積が完了していないと判定した場合には、最新のフレームの画像データに対する視差オフセット値補正処理を終了する。
【００６２】
一方、ステップＳ８０において、ブレーキランプ情報の蓄積が完了していると判定した場合には、ステップＳ９０に移行する。ステップＳ９０においては、視差オフセット値補正処理部１ｅは、図６のフローチャートに示す視差誤差算出処理を実行する。
【００６３】
図６に示すように、視差誤差算出処理では、まずステップＳ２１０において、視差オフセット値補正処理の実行が可能であるか否かを判定する。具体的にステップＳ２１０においては、メモリ１ａに蓄積されている近距離ブレーキランプ情報および遠距離ブレーキランプ情報について、それぞれの値のばらつきが所定の範囲内に収まっている場合に、視差オフセット値補正処理の実行が可能であると判定する。
【００６４】
ステップＳ２１０において、視差オフセット値補正処理の実行が不可能であると判定した場合（ステップＳ２２０のＮＯ）には、ステップＳ２９０に移行して視差誤差ｅの値を０として、視差誤差算出処理を終了し、図５に示すステップＳ１００に移行する。
【００６５】
一方、ステップＳ２１０において、視差オフセット値補正処理の実行が可能であると判定した場合（ステップＳ２２０のＹＥＳ）には、ステップＳ２３０に移行する。
【００６６】
ステップＳ２３０においては、視差オフセット値補正処理部１ｅは、一対の画像データから算出される、近距離地点における近距離ブレーキランプ間距離Ａ［mm］を求める。具体的には、視差オフセット値補正処理部１ｅは、次式を用い、ステップＳ６０で取得した近距離ブレーキランプ間画素ｍを、近距離ブレーキランプ視差ｍｄを用いて近距離ブレーキランプ間距離Ａに変換する。
Ａ＝ＣＤ・ｍ／ｍｄ  
【００６７】
なお、メモリ１ａに複数の近距離ブレーキランプ情報が蓄積されている場合には、上式における近距離ブレーキランプ間画素ｍおよび近距離ブレーキランプ視差ｍｄは、メモリ１ａに記憶されている複数の値の平均値とされる。
【００６８】
次にステップＳ２４０において、視差オフセット値補正処理部１ｅは、一対の画像データから算出される、遠距離地点における遠距離ブレーキランプ間距離Ｂ［mm］を求める。具体的には、視差オフセット値補正処理部１ｅは、次式を用い、ステップＳ６０で取得した遠距離ブレーキランプ間画素ｎを、近距離ブレーキランプ視差ｎｄを用いて近距離ブレーキランプ間距離Ｂに変換する。
Ｂ＝ＣＤ・ｎ／ｎｄ  
【００６９】
なお、メモリ１ａに複数の遠距離ブレーキランプ情報が蓄積されている場合には、上式における遠距離ブレーキランプ間画素ｍおよび遠距離ブレーキランプ視差ｍｄは、メモリ１ａに記憶されている複数の値の平均値とされる。
【００７０】
次にステップＳ２５０において、視差オフセット値補正処理部１ｅは、近距離ブレーキランプ間距離Ａが遠距離地点においても等しいとした場合に予測される遠距離地点における視差である遠距離推定視差ｆ［pixel］を算出する。具体的には、視差オフセット値補正処理部１ｅは、ステップＳ６０において取得した遠距離ブレーキランプ間画素ｎと、ステップＳ２３０において算出した近距離ブレーキランプ間距離Ａとを用いて、次式により推定視差ｆを算出する。  
ｆ＝ＣＤ・ｎ／Ａ  
【００７１】
次に、ステップＳ２６０において、視差オフセット値補正処理部１ｅは、一対の画像データから取得した遠距離地点におけるブレーキランプの視差である遠距離ブレーキランプ視差ｎｄと、近距離ブレーキランプ間距離Ａが遠距離地点においても等しいとした場合に予測される遠距離推定視差ｆとの差分である視差誤差ｅ［pixel］を算出する。
視差誤差ｅは、遠距離推定視差ｆを基準とした場合における、遠距離推定視差ｆに対する遠距離ブレーキランプ視差ｎｄの誤差を示す。具体的には、視差オフセット値補正処理部１ｅは、次式により視差誤差ｅを算出する。
ｅ＝ｆ−ｎｄ  
【００７２】
ステップＳ２６０の完了後は、視差誤差算出処理を終了し、図５に示すステップＳ１００に移行する。
【００７３】
ステップＳ１００においては、視差オフセット値補正処理部１ｅは、視差誤差ｅの値を用いて次式により視差オフセット値を補正する。次式では、現在の視差オフセット値をＤＰとし、補正後の視差オフセット値をＤＰ’として示している。
ＤＰ’＝ＤＰ−ｅ  
【００７４】
画像処理装置１は、補正後の視差オフセット値ＤＰ’の値を、新たな視差オフセット値ＤＰとしてメモリ１ａに記憶する。
【００７５】
なお、本実施形態では、ステップＳ１００において算出した視差誤差ｅの絶対値が所定の値以上である場合には、視差誤差ｅの絶対値を前記所定の値とする。言い換えれば、本実施形態では、１度の視差オフセット値補正処理によって視差オフセット値ＤＰを変更することのできる幅を、所定の値以下に制限している。これは、視差誤差ｅの算出過程において大きな誤差が含まれた場合に、視差オフセット値ＤＰが真の値から急激に大きく逸脱してしまうことを防止するためである。
【００７６】
以上に説明したように、本実施形態の画像処理装置１は、自車両の進行方向をステレオカメラ２を用いて撮像して得られた一対の画像データに基づき被写体の３次元位置情報を認識する装置であって、一対の画像データ上における、自車両の前方を走行する先行車両の左右一対のブレーキランプを検出する車両検出処理部１ｄと、前記一対の画像データ、および前記車両検出処理部１ｄにより検出された前記一対のブレーキランプの検出データに基づき、一対の画像データ間の視差から前記被写体までの距離を算出する計算式の補正を行う視差オフセット値補正処理部１ｅと、を備える。
【００７７】
そして、本実施形態の視差オフセット値補正処理部１ｅは、自車両の進行方向の距離の異なる２地点である近距離地点および遠距離地点の双方について、一対の画像データ上におけるブレーキランプの視差（ｍｄ、ｎｄ）と一対のブレーキランプの離間画素数（ｍ、ｎ）のデータを車両検出処理部１ｃから取得する。そして、視差オフセット値補正処理部１ｅは、近距離地点におけるブレーキランプの視差ｍｄおよび離間画素数ｍに基づき、近距離地点における実空間の一対のブレーキランプの離間距離である近距離ブレーキランプ間距離Ａを算出する。
【００７８】
そして、視差オフセット値補正処理部１ｅは、前記近距離ブレーキランプ間距離Ａが遠距離地点においても等しいとみなした場合に予測される遠距離地点における視差である遠距離推定視差ｆと、一対の画像データから求められる遠距離地点における実空間の一対のブレーキランプの離間距離である遠距離ブレーキランプ間距離Ｂと、の比較結果に基づき、前記視差から被写体までの距離を算出する計算式の誤差（視差オフセット値ＤＰの誤差）を算出し、当該誤差の値に基づいて前記計算式（視差オフセット値ＤＰ）を補正する。
【００７９】
このような本実施形態の画像処理装置１は、自車両の走行中に視差オフセット値ＤＰを補正するため、ステレオカメラ２の取付状態の経時的な変化に伴い生じる視差オフセット値ＤＰの誤差を補正することができる。
【００８０】
また、本実施形態では、画像データのｉ軸方向の画素数を用いて求められる一対のブレーキランプの離間距離の情報を用いて視差オフセット値ＤＰを補正する。例えば、ステレオカメラ２が自車両のフロントウィンドウの内側に配置される場合には、フロントウィンドウを透過することによる画像の歪みの様子が画像の上部と下部とで変化する場合があるが、画像のｉ軸方向については、ｊ軸方向よりも歪みの変化の影響を受けにくい。これは、一般に車両のフロントウィンドウの車両の前後方向の傾斜角度の方が、フロントウィンドウの車両の幅方向の傾斜角度よりも大きいためである。
【００８１】
このように、本実施形態では、フロントウィンドウを透過することによる歪みの影響を受けにくい先行車両の一対のブレーキランプの離間距離の情報を用いることにより、例えば路面上の一対の白線の消失点を算出する従来技術に比して、より正確に視差オフセット値ＤＰを補正することができる。また、本実施形態では、降雪や摩耗等によって路面上の標示が認識できない場合であっても、先行車両が存在していれば視差オフセット値ＤＰの補正を実行できる。
【００８２】
本発明は、上述した実施形態に限られるものではなく、請求の範囲及び明細書全体から読み取れる発明の要旨或いは思想に反しない範囲で適宜変更可能であり、そのような変更を伴う画像処理装置もまた本発明の技術的範囲に含まれるものである。
【符号の説明】
【００８３】
１    画像処理装置、
１ａ    メモリ、
１ｂ    ３次元位置情報生成処理部、
１ｄ    車両検出処理部、
１ｅ    視差オフセット値補正処理部、
２    ステレオカメラ、
２ａ    第１カメラ、
２ｂ    第２カメラ、
３    車両制御システム、
５    センサ部、
１０    先行車両、
１１    ブレーキランプ、
１１Ｌ    （実座標上の）左ブレーキランプ、
１１Ｒ    （実座標上の）右ブレーキランプ、
１１ＲＬ    （第１画像データ中の）左ブレーキランプ、
１１ＲＲ    （第１画像データ中の）右ブレーキランプ、
１１ＬＬ    （第２画像データ中の）左ブレーキランプ、
１１ＬＲ    （第２画像データ中の）右ブレーキランプ、
Ａ    近距離ブレーキランプ間距離、
ａ    近距離地点までの距離、
Ｂ    遠距離ブレーキランプ間距離、
ｂ    遠距離地点までの距離、
ＣＤ    基線長、
ＤＰ    視差オフセット値、
ＤＰ’    補正後の視差オフセット値、
ｄｐ    視差、
ｅ    視差誤差、
ｆ    推定視差、
ｍ    近距離ブレーキランプ間画素、
ｍｄ    近距離ブレーキランプ視差、
ｎ    遠距離ブレーキランプ間画素、
ｎｄ    遠距離ブレーキランプ視差。
【図１】
0006600177.tif 000002
【図２】
0006600177.tif 000003
【図３】
0006600177.tif 000004
【図４】
0006600177.tif 000005
【図５】
0006600177.tif 000006
【図６】
0006600177.tif 000007