(57)【要約】【課題】  本発明は、撮像手段の初期の取り付け状態等に影響の受けることのない高い精度の撮像画像情報を生成することができる車両走行状況認識装置の提供を目的とする。【解決手段】  本発明による車両走行状況認識装置１０は、車両周辺を撮像するように車体に取り付けられ、撮像エリアの一部に車体の所定部を含む撮像手段１２と、前記撮像手段から得られる撮像画像に対して画像認識処理を実行し、前記車体の所定部及び所定の認識対象物を認識する画像処理手段１４と、前記画像処理手段１４による画像認識結果に基づいて、撮像画像中の前記認識対象物に関する情報を、同撮像画像中の前記車体の所定部位に関する情報を基準として相対的に導出する認識情報生成手段１６とを含むことを特徴とする。【選択図】  図１
2005235017.tif 000002
【特許請求の範囲】
【請求項１】
車両周辺を撮像するように車体に取り付けられ、撮像エリアの一部に車体の所定部を含む撮像手段と、
前記撮像手段の撮像画像に対して画像認識処理を実行し、撮像画像中の前記車体の所定部及び所定の認識対象物を認識する画像処理手段と、
前記画像処理手段による画像認識結果に基づいて、撮像画像中の前記認識対象物に関する情報を、同撮像画像中の前記車体の所定部位に関する情報を基準として相対的に導出する認識情報生成手段とを含むことを特徴とする、車両走行状況認識装置。
【請求項２】
前記撮像手段は、車両前後軸を基準にして対称に左右２個設けられ、前記所定の認識対象物は、車両側方の道路上の車線である、請求項１記載の車両走行状況認識装置。
【請求項３】
前記認識情報生成手段により生成される前記認識対象物に関する情報は、該認識対象物の前記車体の所定部位に対する相対的な位置及び／又は方向に関する情報である、請求項１記載の車両走行状況認識装置。
【請求項４】
請求項１乃至３の何れかに記載の車両走行状況認識装置の認識情報生成手段により生成される前記認識対象物に関する情報を用いて車両制御を行うことを特徴とする、車両制御装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像情報を利用して車両の走行状況を認識する車両走行状況認識装置に関する。
【背景技術】
【０００２】
従来から、左右２つの撮像手段（ＣＣＤカメラ）からの撮像画像情報を利用して道路上の車線を認識する技術が知られている（例えば、特許文献１参照）。この従来技術は、左右２つのＣＣＤカメラが車両左右の所定領域をそれぞれ撮像するように車体に搭載され、それぞれの撮像画像情報（特徴点の座標値）を互いに関連付けて処理することで、車線検出精度を高めようとしている。
【特許文献１】特開平１０−１１５８０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、撮像手段が撮像する撮像エリアは、撮像手段の初期の取り付け状態やその後の経時的な取り付け状態の変化等に依存して変化するため、当該撮像手段により得られる撮像画像情報の座標的意味（即ち、撮像画像の画素位置に対応する実座標の位置）が必ずしも正確であるとは限らないという問題点がある。
【０００４】
そこで、本発明は、撮像手段の初期の取り付け状態等に影響の受けることのない高い精度の撮像画像情報を生成することができる車両走行状況認識装置の提供を目的とする。
【課題を解決するための手段】
【０００５】
上記課題を解決するため、本発明の一形態によれば、車両周辺を撮像するように車体に取り付けられ、撮像エリアの一部に車体の所定部を含む撮像手段と、
前記撮像手段から得られる撮像画像に対して画像認識処理を実行し、前記車体の所定部及び所定の認識対象物を認識する画像処理手段と、
前記画像処理手段による画像認識結果に基づいて、撮像画像中の前記認識対象物に関する情報を、同撮像画像中の前記車体の所定部位に関する情報を基準として相対的に導出する認識情報生成手段とを含むことを特徴とする、車両走行状況認識装置が提供される。
【０００６】
本形態において、前記撮像手段は、車両前後軸を基準にして対称に左右２個設けられ、前記所定の認識対象物は、車両側方の道路上の車線であってよい。また、前記認識情報生成手段により生成される前記認識対象物に関する情報は、該認識対象物の前記車体の所定部位に対する相対的な位置及び／又は方向に関する情報であってよい。これらの認識対象物の情報は車両制御に有効に利用することができる。
【発明の効果】
【０００７】
本発明によれば、撮像手段の初期の取り付け状態等に影響の受けることのない高い精度の撮像画像情報を得ることができる。
【発明を実施するための最良の形態】
【０００８】
以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。
【０００９】
図１は、本発明による車両走行状況認識装置１０の一実施例を示す構成図である。本実施例の車両走行状況認識装置１０は、ＣＣＤ（ステレオ）カメラのような撮像手段１２を備えている。撮像手段１２は、図１に示すように、車両の左右にそれぞれ設けられる。例えば、撮像手段１２は、車両前後軸に関して左右対称に車両のドアミラー付近に搭載されてよい。撮像手段１２は、その撮像エリアが車体を部分的に含むように固定される。例えば、図１に示す撮像手段１２は、車両の左右側方の領域を斜め前方下向きに撮像するように取り付けられると共に、その撮像エリアに車体のフェンダ部が含まれるように取り付けられている。
【００１０】
撮像手段１２により得られる画像データは、ＦＰＧＡ（Field Programmable Gate Array）等で構成されてよい画像処理部１４に供給される。画像処理部１４では、適切な画像認識処理技術を用いて、所定の認識対象物と共に、撮像エリアに含まれる車体の所定部位が認識される。例えば、画像処理部１４は、所定の認識対象物として車線（白線）と共に、車体のフェンダ部（フェンダライン）を認識対象とし、それぞれの所与の特徴点に基づいて画像認識処理を実行してよい。
【００１１】
画像処理部１４による画像認識処理結果は、認識情報生成部１６に供給される。本実施例の認識情報生成部１６は、車体以外の所定の認識対象物と、車体の所定部位との間の撮像画像上での相対位置関係を用いて、当該所定の認識対象物と車両との間の相対的位置関係を認識し、当該相対的位置関係に基づいて、当該所定の認識対象物に関する各種情報を生成・記憶する。
【００１２】
ところで、一般的に、撮像エリア（撮像画像）中の位置（画素位置）と、それに対応する実空間内の位置とは、撮像手段１２の撮像特性（広角レンズのレンズ特性等）や撮像手段１２の搭載位置や角度等に基づく所定の変換式を用いて、一対一に対応させられている。しかしながら、この座標変換式は、撮像手段１２が設計値通りの搭載状態にあることを前提としているので、撮像手段１２の初期の取り付け状態にずれがある場合や取り付け状態が経時的に変化した等には、撮像エリアが変化し、座標変換後の位置情報に誤差が生じて画像認識情報の精度が落ちる場合がある。
【００１３】
これに対して、本実施例では、上述の如く、撮像手段１２の撮像エリアに車体の所定部位が含まれており、撮像画像中の認識対象物に関する位置情報は、同撮像画像中の車体の所定部位に関する位置情報を基準として相対的に導出される。これにより、本実施例では、撮像手段１２の取り付け状態の変化（経時的変化を含む）に影響を受けることがなくなる（即ち、撮像エリアの変化に起因して発生しうる座標変換誤差が補償（相殺）される）ので、信頼性の高い画像認識情報を得ることができる。即ち、撮像画像中の車体の所定部位を基準点として同撮像画像中の認識対象物の位置を算出することで、撮像手段１２の取り付け状態が変化した場合にも、基準点と認識対象物の位置との位置関係は実質的に変化しないので、撮像手段１２の取り付け状態に影響を受けることのない精度の高い位置情報を得ることができる。
【００１４】
尚、本実施例において、撮像画像中の認識対象物に関する位置情報は、その情報を利用する車両制御装置に応じて種々の態様で認識されてよい。例えば、認識対象物の位置情報は、車体の所定部位の所定点を原点（基準点）とした水平面内の２次元座標系で認識されてよく、当該所定点の３次元位置が（例えば、GPS測位結果に基づいて）検出可能な場合、当該所定点の３次元位置に基づく３次元絶対座標系で認識されてもよい。
【００１５】
また、本実施例において、例えば白線のような方向性を持つ認識対象物に対しては、その方向に関する情報が、同様に、車体の一部を基準にして導出されてもよい。即ち、撮像画像中の認識対象物に関する方向情報は、同撮像画像中の車体の所定部位に関する方向情報を基準として相対的に導出されてよい。例えば、認識対象物としての白線の延在方向と車両の進行方向の方向関係は、撮像画像中の白線の延在方向と同撮像画像中の車体の所定部位（例えば、車両前後に対して所定の方向性を持つ部位（ライン等））の延在方向に基づいて導出することができる。この場合でも、同様に、撮像手段１２の取り付け状態の変化（経時的変化を含む）に起因した座標変換誤差が補償（相殺）されるので、高い精度の画像認識情報（方向に関する情報）を得ることができる。
【００１６】
上述のように撮像手段１２の撮像結果から得られる認識対象物に関する情報は、車両との相対的な情報であるため、車両自体の走行状況を認識するための情報として利用できる。例えば、種々の車両制御装置において制御パラメータの修正及び適応制御に有効に利用することができる。以下、その利用例について説明する。
【００１７】
図１には、車両走行状況認識装置１０と協働する車両制御装置３０の構成が示されている。車両制御装置３０の状態量算出部３２には、車両走行状況認識装置１０の認識情報生成部１６が接続され、上述のようにして得られた認識対象物に関する情報（図３の例では、白線と車体との間の左右それぞれの距離Ｘｌ，Ｘｒ）が入力される。また、状態量算出部３２には、車速センサ４０や舵角センサ４２等の各種センサが接続され、車両の走行状態に関する情報が入力される。
【００１８】
車両制御装置３０の制御パラメータ修正判定部３４は、状態量算出部３２による状態量の算出結果に基づいて、車両制御に用いた制御パラメータの妥当性を判断し（即ち、意図通りに車両が制御されているかを判断し）、必要な場合には制御パラメータの修正を要求する。車両制御装置３０の制御部３６は、制御パラメータ修正判定部３４の要求に応じて制御パラメータを修正・更新し、当該更新された制御パラメータに基づいて所定の車両制御を実行する。
【００１９】
図２は、上述の車両制御装置３０の一実施例により実現されるロール角及びピッチ角の計測及び補正制御処理のフローチャートである。図３は、この計測及び補正制御処理の説明図である。本実施例の車両制御装置３０は、車両のサスペンションシステムを所定の制御パラメータに基づいてアクティブに制御する装置である。図２に示す処理は、車両制御装置３０がサスペンションシステムをアクティブ制御している間、所定の周期毎（例えば、認識情報生成部１６による情報生成周期毎）に実行されてよい。
【００２０】
先ず、ステップ１１０において、車両制御装置３０の状態量算出部３２に、認識情報生成部１６からの情報（白線と車体の所定部位との間の左右それぞれの距離Ｘｌ，Ｘｒ、撮像エリアの最外縁と車体の所定部位との間の左右それぞれの距離Ｙｌ，Ｙｒ、及び、左右の白線の幅Ｗｌ，Ｗｒ）が取り込まれる（図３参照）。状態量算出部３２は、例えば所定のマップを利用して、これらの情報に応じたロール角θ１及びピッチ角θ２（図３参照）を算出する（ステップ１２０，１３０）。尚、ピッチ角θ２は、ロール角θ１と同様の原理で、車両前後方向で離間した位置に取り付けられた撮像手段１２それぞれの撮像画像から導出されてよい。
【００２１】
ここで、上記ステップ１２０，１３０で用いられてよい所定のマップは、簡易的な手法として実験的に導出されてよい。例えば、車両を意図的に既知の量だけロールさせ、そのときに左右の撮像手段１２の撮像画像に対する画像処理結果から得られるＸｒ＋Ｘｌ及び／又はＹｒ＋Ｙｌの変化量、及びＷｌ，Ｗｒの変化量に基づいて、これらの変化量とロール角との関係を示すマッピングデータが作成されてよい。これは、Ｘｒ＋Ｘｌの値が、ロール角に応じて変化すること、及び、白線の幅Ｗｌ，Ｗｒの値が、それぞれロール角に応じて（撮像手段１２が地面に接近若しくは離反するため）変化することに基づく。尚、ピッチ角に関するマップについても同様に実験的に作成されてよい。
【００２２】
次いで、ステップ１４０では、制御パラメータ修正判定部３４は、上記ステップ１２０，１３０で算出されたロール角θ１及びピッチ角θ２と、それぞれの目標値とをそれぞれ比較し、ステップ１５０では、この比較結果に基づいて、制御パラメータ（例えば、ゲイン）を修正すべきか否かを判断する。制御パラメータの修正が不要であると判断されると（例えば、目標値に対して所定の許容範囲内である場合）、正常に制御が実行されていると判断できるので、今回の処理ルーチンが終了される。
【００２３】
一方、上記ステップ１５０において、制御パラメータを修正すべきである判断すると、制御パラメータ修正判定部３４は、制御パラメータの必要な修正が適正範囲内であるか否かを判断し（ステップ１６０）、その結果、適正範囲内であると判断できる場合、制御パラメータの必要な修正を要求する。これに応じて、車両制御装置３０の制御部３６は、制御パラメータを修正・更新し（ステップ１７０）、以後、当該更新された制御パラメータに基づいて車両制御を実行する。一方、制御パラメータの必要な修正が適正範囲外であると判断した場合、制御システムに異常の可能性があるため、制御パラメータ修正判定部３４は、制御部３６に対して警告の出力若しくは制御停止を要求する。これに応じて、制御部３６は、警告の出力若しくは制御停止を実行する（ステップ１８０）。
【００２４】
図４は、上述の車両制御装置３０の一実施例により実行されるレーン維持制御のフローチャートである。図５は、このレーン維持制御の説明図である。本実施例の車両制御装置３０は、車両前方を撮像するカメラ等（撮像手段１２とは別のカメラ）の検出結果に基づいて、車両が目標軌道に沿って走行するように、ステアリングシステムを所定の制御パラメータを用いてアクティブに制御する装置である。図４に示す処理は、車両制御装置３０がステアリングシステムのアクティブ制御を開始した時点に起動されてよい。
【００２５】
先ず、ステップ２１０では、車両制御装置３０による指令に対する車両の応答性を確認するため、制御開始時における認識情報生成部１６からの情報（白線と車体の所定部位との間の左右それぞれの距離Ｘｌ０，Ｘｒ０）が取り込まれる。尚、車両制御装置３０による制御開始時の指令は、例えば図５に示すように中央線（点線にて指示）を基準に一方の白線側に寄っている車両に対して、左右の白線からそれぞれ所定距離だけ離れて走行させる（即ち、中央線を維持して走行させる）ための指令であってよい。
【００２６】
次に、所定の周期毎に取り込まれるＸｌ，Ｘｒ（ステップ２２０）に対して、所定の判定条件を用いて収束判定が実行される（ステップ２３０）。例えば、Ｘｌ，Ｘｒの双方が所定値以下となる状態が所定周期以上継続した場合、判定条件が成立することとしてよい。判定条件が成立すると、その時点の時刻に基づいて、収束までに要した収束時間Ｔ１（即ち、制御開始時刻から収束時刻までの時間）が算出され（ステップ２４０）、更に、収束時間Ｔ１中の車両の平均車速Ｖ１が算出される（ステップ２５０）。
【００２７】
次いで、制御パラメータ修正判定部３４は、上記ステップ２１０乃至２３０で取得・算出された初期値Ｘｌ０，Ｘｒ０、収束時間Ｔ１、及び、平均車速Ｖ１に対して所定の判定条件を適用して、収束安定性を判断し、制御パラメータ（例えば、ゲイン）を修正すべきか否かを判断する（ステップ２６０）。例えば、Ｘｌ０，Ｘｒ０及びＶ１に応じて予め設定された目標収束時間に対して収束時間Ｔ１を比較することで、収束安定性を判断してよい。制御パラメータの修正が不要であると判断された場合、収束安定性があり正常に制御が実行されていると判断でき、ステップ２９１に進む。
【００２８】
一方、ステップ２６０において、制御パラメータを修正すべきである判断すると、制御パラメータ修正判定部３４は、制御パラメータの必要な修正が適正範囲内であるか否かを判断し（ステップ２７０）、適正範囲内であると判断できる場合、制御パラメータの必要な修正を要求する。これに応じて、車両制御装置３０の制御部３６により制御パラメータが修正・更新され（ステップ２８０）、ステップ２９１に進む。一方、制御パラメータの必要な修正が適正範囲外であると判断した場合、制御システムに異常の可能性があるため、制御パラメータ修正判定部３４は、制御部３６に対して警告の出力若しくは制御停止を要求する。これに応じて、制御部３６は、警告の出力若しくは制御停止を実行する（ステップ２９０）。
【００２９】
ステップ２９１では、収束安定後のレーン維持精度を評価するため、収束安定後の所定時間に亘るＸｌ，Ｘｒのデータの目標値に対するバラツキ度合い（偏差）δが算出される。次いで、ステップ２９２では、上記ステップ２９１で算出されたバラツキ度合いδが所定の範囲内に収まっているか否かが判定され、所定の範囲内である場合には、正常に制御が実行されていると判断でき、処理が終了される。一方、バラツキ度合いδが所定の範囲外であると判断された場合、上記ステップ２７０に戻り、制御パラメータが修正可能か否かが判断され、その結果に応じて、警告処理等（ステップ２９０）若しくは制御パラメータ修正処理（ステップ２８０）が実行される。
【００３０】
図６は、上述の車両制御装置３０の一実施例により実行されるレーン逸脱回避制御のフローチャートである。図７は、このレーン逸脱回避制御の説明図である。本実施例の車両制御装置３０は、車両がレーンから逸脱しそうになった場合に当該逸脱を回避するように、車両のステアリングシステムを所定の制御パラメータを用いてアクティブに制御する装置である。
【００３１】
先ず、ステップ３１０では、車両制御装置３０による制御性を確認するため、制御開始時における認識情報生成部１６からの情報（白線と車体の所定部位との間の左右それぞれの距離Ｘｌ０，Ｘｒ０）が取り込まれる。次に、車両が一方の側の白線に最接近して逸脱回避制御が起動するまで、Ｘｌ，Ｘｒが所定の周期毎に取り込まれる（ステップ３２０）。ステップ３３０で車両が一方の側の白線に最接近して逸脱回避制御が起動すると、最接近した際の距離Ｘｌｍｉｎ又はＸｒｍｉｎ（図７参照）が算出され（ステップ３４０）、その際の車両速度ベクトルのレーン方向成分Ｖ１とそれに垂直な逸脱方向成分（逸脱速度）Ｖ２が算出される（ステップ３５０）。尚、Ｖ１及びＶ２は、制御開始時刻から逸脱回避制御起動時刻までのそれぞれの平均値であってもよい。
【００３２】
次いで、制御パラメータ修正判定部３４は、上記ステップ３１０，３４０，３５０で取得・算出された初期値Ｘｌ０，Ｘｒ０、速度Ｖ１、Ｖ２、及び、最接近距離Ｘｌｍｉｎ又はＸｒｍｉｎに対して所定の判定条件を適用して、逸脱回避能力を判断し、制御パラメータ（例えば、ゲイン）を修正すべきか否かを判断する（ステップ３６０）。例えば、Ｘｌ０，Ｘｒ０及び速度Ｖ１、Ｖ２に応じて予め設定された目標最接近距離に対して最接近距離Ｘｌｍｉｎ又はＸｒｍｉｎを比較することで、逸脱回避能力を判断してよい。制御パラメータの修正が不要であると判断された場合、正常に制御が実行されていると判断でき、処理が終了される。
【００３３】
一方、上記ステップ３６０において、制御パラメータを修正すべきである判断すると、制御パラメータ修正判定部３４は、制御パラメータの必要な修正が適正範囲内であるか否かを判断し（ステップ３７０）、その結果、適正範囲内であると判断できる場合、制御パラメータの必要な修正を要求する。これに応じて、車両制御装置３０の制御部３６は、制御パラメータを修正・更新し（ステップ３８０）、以後、当該更新された制御パラメータに基づいて車両制御を実行する。一方、制御パラメータの必要な修正が適正範囲外であると判断した場合、制御システムに異常の可能性があるため、制御パラメータ修正判定部３４は、制御部３６に対して警告の出力若しくは制御停止を要求する。これに応じて、制御部３６は、警告の出力若しくは制御停止を実行する（ステップ３９０）。
【００３４】
尚、以上の説明から明らかなように、上述の各実施例によれば、各車両の制御システムにおいてゲインを一定量変化させた場合の車両に及ぼす影響を定量的に計測することができるので、調整ゲイン量の変化基準、即ちゲインを変化させる際の増加量を最適化することもできる。また、上述の各実施例は、車両完成後の実際の走行時のみならず、車両の出荷検査や開発段階等においても利用することができる。
【００３５】
また、上述の各実施例では、認識情報生成部１６からの情報（白線と車体の所定部位との間の左右それぞれの距離Ｘｌ，Ｘｒ等）をフィードバック制御に用いられているが、フィードフォワード制御に用いることも可能である。
【００３６】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
【図面の簡単な説明】
【００３７】
【図１】本発明による車両走行状況認識装置１０の一実施例を示す構成図である。
【図２】車両制御装置３０の一実施例により実現されるロール角及びピッチ角の計測及び補正制御処理のフローチャートである。
【図３】図２に示すフローチャートの処理の説明図である。
【図４】車両制御装置３０の一実施例により実行されるレーン維持制御のフローチャートである。
【図５】図４に示すフローチャートの処理の説明図である。
【図６】車両制御装置３０の一実施例により実行されるレーン逸脱回避制御のフローチャートである。
【図７】図６に示すフローチャートの処理の説明図である。
【符号の説明】
【００３８】
１０    車両走行状況認識装置
１２    撮像手段
１４    画像処理部
１６    認識情報生成部
３０    車両制御装置
３２    状態量算出部
３４    制御パラメータ修正判定部
３６    制御部
４０    車速センサ
４２    舵角センサ
【図１】
2005235017.tif 000003
【図２】
2005235017.tif 000004
【図３】
2005235017.tif 000005
【図４】
2005235017.tif 000006
【図５】
2005235017.tif 000007
【図６】
2005235017.tif 000008
【図７】
2005235017.tif 000009