(57)【要約】【課題】白線を検出することなく、遠赤外光撮像装置で撮像した画像に基づいて前方の道路の勾配を算出することにより、障害物の看過、誤認識を防止することができる障害物衝突判定システム、障害物衝突判定方法及びコンピュータプログラムを提供する。【解決手段】遠赤外撮像装置で撮像した画像データに基づいて、画像の縦長のエッジを抽出し、抽出した縦長エッジの下端に基づいて道路の勾配を算出する。障害物の位置データを、算出した道路の勾配に基づいて補正し、補正した位置データに基づいて障害物の位置が道路上であると判定した場合、障害物の過去の複数時点の位置データを道路の勾配に基づいて補正し、補正した過去の複数時点の位置データに基づいて障害物の当該車両に対する相対移動ベクトルを算出し、算出した相対移動ベクトルに基づいて、障害物が当該車両と衝突するか否かを判定する。【選択図】図４
2007168547.tif 000002
【特許請求の範囲】
【請求項１】
車両の周辺を撮像する遠赤外撮像装置と、
該遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び
該障害物検出手段で障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出する相対位置検出手段を有し、
検出した障害物との衝突の可能性を判定する判定装置と
を備える障害物衝突判定システムにおいて、
前記判定装置は、
前記遠赤外撮像装置で撮像した画像データに基づいて、画像の縦長のエッジを抽出する縦長エッジ抽出手段と、
抽出した縦長エッジから道路の勾配を算出する勾配算出手段と、
前記相対位置検出手段で検出した前記障害物の位置データを、前記勾配算出手段で算出した道路の勾配に基づいて補正する位置データ補正手段と
を備えることを特徴とする障害物衝突判定システム。
【請求項２】
前記判定装置は、
補正した位置データに基づいて前記障害物の位置が道路上であるか否かを判定する障害物判定手段と、
該障害物判定手段で前記障害物の位置が道路上であると判定した場合、前記障害物の過去の複数時点の位置データを、前記勾配算出手段で算出した道路の勾配に基づいて補正する過去位置データ補正手段と、
補正した過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段と、
算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段と
を備え、
該判定手段で前記障害物が当該車両と衝突すると判定した場合、所定の信号を外部へ出力する出力手段を備えることを特徴とする請求項１記載の障害物衝突判定システム。
【請求項３】
前記勾配算出手段は、
車線に相当する路幅を有する道路の画像内における縦長エッジ間距離、及び道路が平坦である場合の縦長エッジ間距離の変化率を記憶する手段と、
画像内で抽出した縦長エッジの下端間距離を算出する手段と、
算出した縦長エッジの下端間距離の変化率と、記憶してある縦長エッジ間距離の変化率との大小を判断する手段と、
該手段で大又は小であると判断した場合、前方の道路が下方又は上方へ勾配しているものと判断して勾配を算出することを特徴とする請求項１又は２記載の障害物衝突判定システム。
【請求項４】
前記遠赤外撮像装置の視野角、前記遠赤外撮像装置を設けてある高さ、及び撮像する俯角を記憶しておき、
記憶してある視野角、高さ及び俯角に基づいて、車線に相当する路幅を有する直線道路の画像内における縦長エッジ間距離及び縦長エッジ間距離の変化率を、補正して記憶することを特徴とする請求項３記載の障害物衝突判定システム。
【請求項５】
車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、障害物との衝突の可能性を判定する障害物衝突判定方法において、
前記遠赤外撮像装置で撮像した画像データに基づいて、画像の縦長のエッジを抽出し、
抽出した縦長エッジから道路の勾配を算出し、
検出した前記障害物の位置データを、算出した道路の勾配に基づいて補正し、
補正した位置データに基づいて前記障害物の位置が道路上であるか否かを判定し、
前記障害物の位置が道路上であると判定した場合、前記障害物の過去の複数時点の位置データを、算出した道路の勾配に基づいて補正し、
補正した過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出し、
算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定することを特徴とする障害物衝突判定方法。
【請求項６】
車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、障害物との衝突の可能性を判定するコンピュータで実行することが可能なコンピュータプログラムにおいて、
前記コンピュータを、
前記遠赤外撮像装置で撮像した画像データに基づいて、画像の縦長のエッジを抽出する縦長エッジ抽出手段、
抽出した縦長エッジから道路の勾配を算出する勾配算出手段、
前記相対位置検出手段で検出した前記障害物の位置データを、前記勾配算出手段で算出した道路の勾配に基づいて補正する位置データ補正手段、
補正した位置データに基づいて前記障害物の位置が道路上であるか否かを判定する障害物判定手段、
該障害物判定手段で前記障害物の位置が道路上であると判定した場合、前記障害物の過去の複数時点の位置データを、前記勾配算出手段で算出した道路の勾配に基づいて補正する過去位置データ補正手段、
補正した過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段、及び
算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段
として機能させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、夜間に車両の外部を撮像する遠赤外撮像装置が撮像した画像データに基づいて、障害物であるか否かを判別し、障害物であると判別した場合に自車両が障害物と衝突するか否かを判定することができる障害物衝突判定システム、障害物衝突判定方法及びコンピュータプログラムに関する。
【背景技術】
【０００２】
自動車等の車両に周囲を撮像する撮像装置を搭載し、例えば車両前方の歩行者、自転車等の障害物の存在を認識し、障害物の動きを検出することにより自車両との衝突の可能性を判定する衝突判定システムが開発されている。
【０００３】
例えば撮像装置で撮像した画像から、所定の基準パターンとパターンマッチングすることにより障害物、例えば人間が存在すると考えられる領域を抽出し、ステレオ視により該領域までの距離及び車両に対する相対移動ベクトルを算出することにより、障害物との衝突の可能性を判定している（非特許文献１参照）。
【０００４】
そして、衝突する可能性の算出精度を高めるため、例えば特許文献１では、撮像手段により取得した画像データに含まれる障害物との実際の相対位置を時系列的に算出し、算出した実際の相対位置を直線近似することにより、障害物の自車両との相対的な移動ベクトルを算出し、自車両と衝突する可能性の高低を判定していた。
【特許文献１】特開２００１−００６０９６号公報
【非特許文献１】「ホンダ  アールアンドディー  テクニカル  レビュー  (Honda R&D Technical Review)」 Vol.13 No.1、２００１年４月
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した従来の衝突判定システムでは、進行方向の道路の勾配を考慮せずに衝突判定を行っている、したがって、例えば進行方向の道路が下り勾配となっている場合、歩行者等の障害物が存在しているにもかかわらずパターンが一致しないことから障害物の存在自体を認識することができず、警告を出力することができないおそれが残されていた。逆に進行方向の道路が登り勾配となっている場合、パターンが一致する歩行者等の障害物が存在する領域が車両の上方に検出されることから、道路側端の広告看板等と誤認識されるおそれもあった。
【０００６】
そこで、従来は、可視光撮像装置、あるいは近赤外光撮像装置等により、道路の白線を検出し、白線の形状変化に基づいて道路の勾配を算出して、パターンマッチングした歩行者等の障害物が存在すると考えられる領域の位置を補正することにより、障害物の看過、誤認識を防止していた。
【０００７】
しかし、特に夜間走行時に道路の白線を検出することは困難であり、ボロメータ又は焦電型撮像素子を備えた遠赤外用の撮像装置を搭載した場合には、白線を検出することはできず、衝突判定における障害物の看過、誤認識の発生を防止することができないという問題点があった。
【０００８】
本発明は、斯かる事情に鑑みてなされたものであり、白線を検出することなく、遠赤外光撮像装置で撮像した画像に基づいて前方の道路の勾配を算出することにより、障害物の看過、誤認識を防止することができる障害物衝突判定システム、障害物衝突判定方法及びコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために第１発明に係る障害物衝突判定システムは、車両の周辺を撮像する遠赤外撮像装置と、該遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出する障害物検出手段、及び該障害物検出手段で障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出する相対位置検出手段を有し、検出した障害物との衝突の可能性を判定する判定装置とを備える障害物衝突判定システムにおいて、前記判定装置は、前記遠赤外撮像装置で撮像した画像データに基づいて、画像の縦長のエッジを抽出する縦長エッジ抽出手段と、抽出した縦長エッジから道路の勾配を算出する勾配算出手段と、前記相対位置検出手段で検出した前記障害物の位置データを、前記勾配算出手段で算出した道路の勾配に基づいて補正する位置データ補正手段とを備えることを特徴とする。
【００１０】
また、第２発明に係る障害物衝突判定システムは、第１発明において、前記判定装置は、補正した位置データに基づいて前記障害物の位置が道路上であるか否かを判定する障害物判定手段と、該障害物判定手段で前記障害物の位置が道路上であると判定した場合、前記障害物の過去の複数時点の位置データを、前記勾配算出手段で算出した道路の勾配に基づいて補正する過去位置データ補正手段と、補正した過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段と、算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段とを備え、該判定手段で前記障害物が当該車両と衝突すると判定した場合、所定の信号を外部へ出力する出力手段を備えることを特徴とする。
【００１１】
また、第３発明に係る障害物衝突判定システムは、第１又は第２発明において、前記勾配算出手段は、車線に相当する路幅を有する道路の画像内における縦長エッジ間距離、及び道路が平坦である場合の縦長エッジ間距離の変化率を記憶する手段と、画像内で抽出した縦長エッジの下端間距離を算出する手段と、算出した縦長エッジの下端間距離の変化率と、記憶してある縦長エッジ間距離の変化率との大小を判断する手段と、該手段で大又は小であると判断した場合、前方の道路が下方又は上方へ勾配しているものと判断して勾配を算出することを特徴とする。
【００１２】
また、第４発明に係る障害物衝突判定システムは、第３発明において、前記遠赤外撮像装置の視野角、前記遠赤外撮像装置を設けてある高さ、及び撮像する俯角を記憶しておき、記憶してある視野角、高さ及び俯角に基づいて、車線に相当する路幅を有する直線道路の画像内における縦長エッジ間距離及び縦長エッジ間距離の変化率を、補正して記憶することを特徴とする。
【００１３】
また、第５発明に係る障害物衝突判定方法は、車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、障害物との衝突の可能性を判定する障害物衝突判定方法において、前記遠赤外撮像装置で撮像した画像データに基づいて、画像の縦長のエッジを抽出し、抽出した縦長エッジから道路の勾配を算出し、検出した前記障害物の位置データを、算出した道路の勾配に基づいて補正し、補正した位置データに基づいて前記障害物の位置が道路上であるか否かを判定し、前記障害物の位置が道路上であると判定した場合、前記障害物の過去の複数時点の位置データを、算出した道路の勾配に基づいて補正し、補正した過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出し、算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定することを特徴とする。
【００１４】
また、第６発明に係るコンピュータプログラムは、車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の障害物の存在を検出し、障害物を検出した場合、前記遠赤外撮像装置により取得した画像データから前記障害物の当該車両に対する相対位置データを時系列的に検出し、障害物との衝突の可能性を判定するコンピュータで実行することが可能なコンピュータプログラムにおいて、前記コンピュータを、前記遠赤外撮像装置で撮像した画像データに基づいて、画像の縦長のエッジを抽出する縦長エッジ抽出手段、抽出した縦長エッジから道路の勾配を算出する勾配算出手段、前記相対位置検出手段で検出した前記障害物の位置データを、前記勾配算出手段で算出した道路の勾配に基づいて補正する位置データ補正手段、補正した位置データに基づいて前記障害物の位置が道路上であるか否かを判定する障害物判定手段、該障害物判定手段で前記障害物の位置が道路上であると判定した場合、前記障害物の過去の複数時点の位置データを、前記勾配算出手段で算出した道路の勾配に基づいて補正する過去位置データ補正手段、補正した過去の複数時点の位置データに基づいて前記障害物の当該車両に対する相対移動ベクトルを算出する相対移動ベクトル算出手段、及び算出した相対移動ベクトルに基づいて、前記障害物が当該車両と衝突するか否かを判定する判定手段として機能させることを特徴とする。
【００１５】
第１発明、第５発明及び第６発明では、車両の周辺を撮像する遠赤外撮像装置で撮像した画像データを取得して画像中の障害物が存在する可能性のある領域を検出して位置データを算出する。また、遠赤外撮像装置で撮像した画像データに基づいて、画像の縦長のエッジを抽出し、抽出した縦長エッジから道路の勾配を算出する。障害物が存在する可能性のある領域の位置データを、算出した道路の勾配に基づいて補正する。
【００１６】
斯かる構成により、道路の勾配を、道路の両端に存在する電柱、水銀灯等の縦長の物体のエッジ検出を行うことで算出することができ、道路の白線を検出することができない遠赤外撮像装置を用いる場合であっても道路の勾配を確実に算出することが可能となる。また、障害物が存在する可能性のある領域に実際に障害物が存在するか否かを、道路の勾配に基づいて補正した位置データに基づいて判断することができ、道路の勾配の存在による障害物の存在の看過、又は道路側端の広告看板等との誤認識を未然に防止することが可能となる。
【００１７】
第２発明では、判定装置は、補正した位置データに基づいて障害物の位置が道路上であるか否かを判定し、道路上であると判定された場合、障害物の過去の複数時点の位置データを道路の勾配に基づいて補正し、補正した過去の複数時点の位置データに基づいて障害物の当該車両に対する相対移動ベクトルを算出する。判定装置は、算出した相対移動ベクトルに基づいて、障害物が当該車両と衝突するか否かを判定する。判定装置が衝突すると判定した場合、所定の信号を外部へ出力する。これにより、道路の勾配の存在による障害物の存在の看過、又は道路側端の広告看板等との誤認識を防止しつつ、障害物との衝突の危険性を確実に運転者へ通知することができ、車両のより安全な運転を支援することが可能となる。
【００１８】
第３発明では、車線に相当する路幅を有する道路の画像内における縦長エッジ間距離、及び道路が平坦である場合の縦長エッジ間距離の変化率を事前に記憶しておき、画像内で抽出した縦長エッジの下端間距離を算出して、算出した縦長エッジの下端間距離の変化率と、記憶してある縦長エッジ間距離の変化率との大小を判断する。これにより、道路が下り勾配であるのか、上り勾配であるのか、正確に判断することができ、道路の勾配の存在による障害物の存在の看過、又は道路側端の広告看板等との誤認識を未然に防止することが可能となる。
【００１９】
第４発明では、遠赤外撮像装置の視野角、遠赤外撮像装置を設けてある高さ、及び撮像する俯角を記憶しておき、記憶してある視野角、高さ及び俯角に基づいて、車線に相当する路幅を有する直線道路の画像内における縦長エッジ間距離及び縦長エッジ間距離の変化率を、補正して記憶する。これにより、搭載する遠赤外撮像装置の種類、及び遠赤外撮像装置の設置位置、取り付け角度が相違している場合であっても、正確に道路の勾配を算出することができ、道路の勾配の存在による障害物の存在の看過、又は道路側端の広告看板等との誤認識を未然に防止することが可能となる。
【発明の効果】
【００２０】
第１発明、第５発明及び第６発明によれば、道路の勾配を、道路の両端に存在する電柱、水銀灯等の縦長の物体のエッジ検出を行うことで算出することができ、道路の白線を検出することができない遠赤外撮像装置を用いる場合であっても道路の勾配を確実に算出することが可能となる。また、障害物が存在する可能性のある領域に実際に障害物が存在するか否かを、道路の勾配に基づいて補正した位置データに基づいて判断することができ、道路の勾配の存在による障害物の存在の看過、又は道路側端の広告看板等との誤認識を未然に防止することが可能となる。
【００２１】
第２発明によれば、道路の勾配の存在による障害物の存在の看過、又は道路側端の広告看板等との誤認識を防止しつつ、障害物との衝突の危険性を確実に運転者へ通知することができ、車両のより安全な運転を支援することが可能となる。
【００２２】
第３発明によれば、道路が下り勾配であるのか、上り勾配であるのか、正確に判断することができ、道路の勾配の存在による障害物の存在の看過、又は道路側端の広告看板等との誤認識を未然に防止することが可能となる。
【００２３】
第４発明によれば、搭載する遠赤外撮像装置の種類、及び遠赤外撮像装置の設置位置、取り付け角度が相違している場合であっても、正確に道路の勾配を算出することができ、道路の勾配の存在による障害物の存在の看過、又は道路側端の広告看板等との誤認識を未然に防止することが可能となる。
【発明を実施するための最良の形態】
【００２４】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。図１は、本発明の実施の形態に係る障害物衝突判定システムの構成を示す模式図である。本実施の形態では、夜間走行中に遠赤外撮像装置であるビデオカメラにより撮像された画像に基づいて道路の勾配を算出し、検出した障害物が道路上に存在すると判断した場合にのみ衝突の可能性を判定する場合を例として説明する。なお、遠赤外撮像装置は、波長が７〜１４マイクロメートルの赤外光を用いた撮像装置である。
【００２５】
図１において、１、２は、夜間の歩行者、自転車に乗った人間等の障害物を撮像する遠赤外用のビデオカメラ（撮像装置）である。ビデオカメラ１、２は、車両のフロントグリル内に、適長の間隔を隔てて略水平方向に並置してある。撮像した画像データは、ＩＥＥＥ１３９４に準拠した車載ＬＡＮケーブル６を介して接続してある判定装置３に送信される。
【００２６】
判定装置３は、ビデオカメラ１、２の他、操作部を備えた表示装置４、音声、効果音等により聴覚的な警告を発する警報装置５等の出力装置とも、車載ＬＡＮケーブル６を介して接続されている。また、車両の速度を検出する速度センサ７とも車載ＬＡＮケーブル６を介して接続されており、それぞれ車両の走行速度及びヨーイング角度の検出値が判定装置３へ入力される。
【００２７】
図２は、本発明の実施の形態に係る障害物衝突判定システムの遠赤外用ビデオカメラ１の構成を示すブロック図である。画像撮像部１１は、光学信号を電気信号に変換する撮像素子を備えている。画像撮像部１１は、車両の周囲の赤外光像を輝度信号として読み取り、読み取った輝度信号を、内部バス１５を介して信号処理部１２へ送信する。
【００２８】
信号処理部１２は、ＬＳＩ基板であり、画像撮像部１１から受信した輝度信号をデジタル信号に変換し、光学系で生じた各種の歪みを取り除くための処理、低周波ノイズの除去処理、ガンマ特性を補正する補正処理等を行う。さらに、通信インタフェース部１４での伝送フォーマットに応じて、輝度信号をＹＵＶ（Ｙ：輝度、Ｕ、Ｖ：色差）信号等に変換し、変換した信号を画像データとして画像メモリ１３へ記憶する。もちろん、画像メモリ１３を介することなく、通信インタフェース部１４から直接判定装置３へ画像データを送信するものであっても良いことは言うまでもない。
【００２９】
通信インタフェース部１４は、ＬＳＩ基板であり、車載ＬＡＮケーブル６を介して判定装置３とデータの送受信を行う。通信インタフェース部１４は、判定装置３から送出される指令に従って、画像メモリ１３に記憶された画像データの判定装置３への送出、ビデオカメラ１、２で撮像した画像の解像度による転送レートの変換、画像データを送出するためのパケットデータの生成等を行う。
【００３０】
図３は、本発明の実施の形態に係る障害物衝突判定システムの判定装置３の構成を示すブロック図である。通信インタフェース部３１は、ビデオカメラ１、２に対する指令の送信、ビデオカメラ１、２からの画像データの受信を行う。通信インタフェース部３１は、ビデオカメラ１、２から受信した画像データを、１フレーム単位に同期させて画像メモリ３２に記憶する。また、通信インタフェース部３１は、車載ＬＡＮケーブル６を介して液晶ディスプレイ等の表示装置４に対して画像データを送出し、ブザー、スピーカ等の警報装置５に対して合成音等の出力信号を送信する。
【００３１】
画像メモリ３２は、ＳＲＡＭ、フラッシュメモリ等であり、通信インタフェース部３１を介してビデオカメラ１、２から受信した画像データを記憶する。
【００３２】
画像処理を行う基板であるＬＳＩ３３は、画像メモリ３２に記憶された画像データをフレーム単位で読出し、読み出した画像データをパターンマッチングすることにより、道路上に存在する電柱、水銀灯等の縦長の構造物を検出する。これにより、前方の道路の勾配を検出し、前方の道路の位置データ、すなわち上下方向の位置を算出し、パターンマッチングにより障害物が存在する領域であると判断された領域が道路上に存在するか否かを判断する。なお、道路上に存在する構造物を検出する方法は、特にパターンマッチングに限定されるものではない。
【００３３】
ＬＳＩ３３が、障害物が道路上に存在すると判断した場合、ＬＳＩ３３は、障害物の過去の位置データに基づいて、障害物の自車両に対する相対移動ベクトルを算出する。ＬＳＩ３３は、相対移動ベクトル及び前方の道路の左右端の位置データに基づいて、障害物が道路に移動してくるか否か、すなわち自車両と衝突するか否かを判断し、ＬＳＩ３３が、自車両と衝突すると判断した場合、通信インタフェース部３１を介して表示装置４又は警報装置５へ、警告情報を出力する。なお、ＲＡＭ３３１は、演算処理の途上で生成したデータ及び算出した障害物の時系列的位置データを記憶する。
【００３４】
ＬＳＩ３３での詳細な処理について以下に説明する。図４は、本発明の実施の形態に係る障害物衝突判定システムの判定装置３のＬＳＩ３３の障害物及び前方の道路の検出処理の手順を示すフローチャートである。
【００３５】
ＬＳＩ３３は、画像メモリ３２に記憶してある画像データを読み出し（ステップＳ４０１）、画素値に基づいてエッジ部分を抽出する（ステップＳ４０２）。エッジ部分の抽出方法は特に限定されるものではない。例えば、以下に示すように、ラプラシアンフィルタを用いてエッジ部分を抽出する。
【００３６】
ラプラシアンフィルタは、所定の画素の画素値と該画素の周囲に存在する画素の画素値とを対比し、画素値の差分値が所定の閾値より大きい場合に‘１’を出力し、所定の閾値より小さい場合に‘０’を出力する。すなわち、周囲の画素と画素値の差分が所定の閾値より大きい場合、エッジ部分であるとして‘１’を出力する。（数１）は、所定の画素の上下左右に存在する画素の画素値を用いる場合のラプラシアンフィルタにおける演算処理を示す数式である。
【００３７】
【数１】
2007168547.tif 000003
【００３８】
（数１）において、ｆ（ｘ、ｙ）は、受け付けた画像データにおける所定の位置での画素の画素値を、ｇ（ｘ、ｙ）は、エッジ画素の画素値を、ＴＨは所定の閾値を、それぞれ示している。ラプラシアンフィルタにより画素値が‘１’となった画素をエッジ部分として抽出する。
【００３９】
ＬＳＩ３３は、電柱、水銀灯等が存在するか否かを判断するのに使用する特徴量、例えば縦長の直線分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値Ｒ１を算出し（ステップＳ４０３）、相関値Ｒ１が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ４０４）。ＬＳＩ３３が、相関値Ｒ１が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ４０４：ＮＯ）、ＬＳＩ３３は、以下の処理を行うことなく、従来の障害物との衝突判定処理へと移行する（ステップＳ４０５）。
【００４０】
ＬＳＩ３３が、相関値Ｒ１が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ４０４：ＹＥＳ）、ＬＳＩ３３は、該領域が電柱、水銀灯等が存在する領域であると判断して、縦長エッジの下端の座標値、すなわち道路の左右端に相当する位置の座標値を算出し（ステップＳ４０６）、道路の左右端に相当する包絡線を算出する（ステップＳ４０７）。
【００４１】
ＬＳＩ３３は、算出した２本の包絡線間の画像内の水平距離を、画像の縦方向座標に対応付けて算出し、ＲＡＭ３３１に記憶する（ステップＳ４０８）。ＬＳＩ３３は、ＲＡＭ３３１に記憶してある２本の包絡線間の画像内の水平距離に基づいて、前方の道路の勾配を算出し（ステップＳ４０９）、衝突可能性の判定に使用する。
【００４２】
図５は、本発明の実施の形態に係る障害物衝突判定システムの判定装置３のＬＳＩ３３の前方の道路の勾配の算出処理の手順を示すフローチャートである。ＬＳＩ３３は、一般的な道路の車線幅に相当する平坦な、すなわち勾配の存在しない直線道路を、車両に搭載したビデオカメラ１、２で撮像した場合の、画像内での道路左右端の水平距離Ｌ１を、画像内縦方向の座標に対応付けて算出し、ＲＡＭ３３１に記憶しておく（ステップＳ５０１）。
【００４３】
図６は、一般的な道路の車線幅に相当する平坦な直線道路を、車両に搭載したビデオカメラ１、２で撮像した場合の、画像内での道路左右端の水平距離Ｌ１を求める方法を示す模式図である。図６（ａ）に示すような直線道路には、左右端に電柱、水銀灯等の縦長の構造物が存在する。図６（ｂ）は、図６（ａ）に示す直線道路を遠赤外用のビデオカメラ１、２で撮像した画像を示す図である。遠赤外用のビデオカメラ１、２で撮像した場合、図６（ｂ）に示すように、縦長のエッジ６１、６１、・・・として道路の左右端に存在する電柱、水銀灯等が検出される。
【００４４】
そこで、ＬＳＩ３３は、検出された縦長エッジの下端の座標値を、例えば画面左下隅を原点とするｘ−ｙ座標で算出し、該下端を包絡する２本の包絡線６２、６２を求める。ＬＳＩ３３は、求めた包絡線６２、６２の間の水平距離Ｌ１を、ｙ座標に対応付けて算出して、ＲＡＭ３３１に記憶する。
【００４５】
なお、求めた包絡線６２、６２をそのまま道路の勾配の算出処理に用いても良いし、より精度を高めるべく、例えば図６（ｃ）に示すように包絡線６２、６２を互いの方向へ所定幅補正し、補正後包絡線６２’、６２’を算出して以下の曲率半径算出処理に用いても良い。ここで、補正する幅は、道路の左右端から電柱、水銀灯等が設置されている距離に相当する幅であり、画像内のｙ座標が大きくなるにつれて短くなっている。これにより、道路の左右端間の水平距離をより正確に算出することが可能となる。
【００４６】
ＬＳＩ３３は、ＲＡＭ３３１に記憶してある直線道路左右端の水平距離Ｌ１及び２本の包絡線間の画像内の水平距離Ｌ２を読み出し（ステップＳ５０２）、水平距離Ｌ２／水平距離Ｌ１を算出して（ステップＳ５０３）、画像内のｙ座標に対する変化率を算出する（ステップＳ５０４）。ＬＳＩ３３は、Ｌ２／Ｌ１が‘１’より大きいか否かを判断する（ステップＳ５０５）。図７は、前方の道路が勾配を有する場合の撮像画像の表示状態を示す図である。
【００４７】
図７（ａ）に示すように、前方の道路が下り勾配である場合、直線道路の左右端を示す包絡線６２、６２の任意のｙ座標ｙ０における水平距離Ｌ１よりも、２本の包絡線７１、７１間の画像内の水平距離Ｌ２の方が短くなる。したがって、Ｌ２／Ｌ１が‘１’より小さくなる場合には、前方の道路が下り勾配であると判断することができる。
【００４８】
また図７（ｂ）に示すように、前方の道路が上り勾配である場合、直線道路の左右端を示す包絡線６２、６２の任意のｙ座標ｙ０における水平距離Ｌ１よりも、２本の包絡線７２、７２間の画像内の水平距離Ｌ２の方が長くなる。したがって、Ｌ２／Ｌ１が‘１’より大きくなる場合には、前方の道路が上り勾配であると判断することができる。
【００４９】
ＬＳＩ３３が、Ｌ２／Ｌ１が‘１’より大きいと判断した場合（ステップＳ５０５：ＹＥＳ）、ＬＳＩ３３は、前方の道路が上り勾配であると判断し、Ｌ２／Ｌ１の画像内のｙ座標に対する変化率に基づいて、前方の道路の上り勾配を推定する（ステップＳ５０６）。
【００５０】
勾配の推定方法は、例えばＬ２／Ｌ１の変化率に対応付けて、所定幅の道路の勾配を推定テーブルとしてＲＡＭ３３１に記憶しておき、算出した変化率をキー情報として推定テーブルを照会する。ただし、斯かる方法に限定されるものではなく、変化率に対して関数化しておく等、勾配を推定することさえできればどのような方法であっても良い。
【００５１】
ＬＳＩ３３が、Ｌ２／Ｌ１が‘１’より小さいと判断した場合（ステップＳ５０５：ＮＯ）、ＬＳＩ３３は、前方の道路が下り勾配であると判断し、Ｌ２／Ｌ１の画像内のｙ座標に対する変化率に基づいて、前方の道路の下り勾配を推定する（ステップＳ５０７）。
【００５２】
次に、ＬＳＩ３３は、障害物が存在するか否かを判断するのに使用する特徴量、例えば障害物が歩行者である場合、人間の標準的な温度分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値Ｒ２を算出し（ステップＳ４１０）、相関値Ｒ２が所定の閾値より大きい領域が存在するか否かを判断する（ステップＳ４１１）。
【００５３】
なお、ＬＳＩ３３が、電柱、水銀灯等が存在するか否かを判断するのに使用する特徴量、例えば縦長の直線分布を示すテンプレートと抽出したエッジ部分で構成される画像データとをマッチングすることによる相関値Ｒ１、又は障害物が存在するか否かを判断するのに使用する特徴量として、人間の標準的な温度分布を示すテンプレートと、抽出したエッジ部分で構成される画像データ（ラプラシアンフィルタ適用後の画像データ）とをマッチングすることにより算出した相関値Ｒ２を用いる場合、相関値Ｒ１、Ｒ２は（数２）に基づいて算出される。
【００５４】
【数２】
2007168547.tif 000004
【００５５】
（数２）において、Ｎはマッチング処理を行う領域の総画素数を、ｋは０≦ｋ≦（Ｎ−１）の整数を、Ｆｋは縦長の直線分布を示すテンプレート又は人間の標準的な温度分布を示すテンプレート内におけるｋ番目の画素の画素値を、Ｇｋはマッチング処理する画像におけるｋ番目の画素の画素値を、それぞれ示している。
【００５６】
なお、抽出したエッジ部分が障害物と認識すべき画像であるか否かを判断するのに使用する特徴量としては、上述した人間の標準的な温度分布を示すテンプレートと画像データとをマッチングすることによる相関値に限定されるものではなく、障害物と認識される領域の大きさ、縦横比、画素値の平均値、分散等、障害物と認識される領域を特定することが可能な特徴量であれば何でも良いし、これらを組み合わせて判断するものであっても良い。
【００５７】
ＬＳＩ３３が、相関値Ｒ２が所定の閾値より大きい領域が存在しないと判断した場合（ステップＳ４１１：ＮＯ）、ＬＳＩ３３は、ステップＳ４０１へ戻り、次の画像データを読み出す。ＬＳＩ３３が、相関値Ｒ２が所定の閾値より大きい領域が存在すると判断した場合（ステップＳ４１１：ＹＥＳ）、ＬＳＩ３３は、該領域が障害物を示す領域であると判断して、障害物との衝突判定処理を実行する。図８は、本発明の実施の形態に係る障害物衝突判定システムの判定装置３のＬＳＩ３３の障害物との衝突判定処理の手順を示すフローチャートである。
【００５８】
ＬＳＩ３３は、障害物を示す領域の位置データを自車両の前部中央を原点とした座標値として算出する（ステップＳ８０１）。すなわち、ＬＳＩ３３は、上述した処理により障害物と認識された領域と自車両との距離、及び障害物の存在する方向を、車両前部の左右にステレオ配置されているビデオカメラ１、２の画像データをステレオ画像処理することにより算出する。これにより、障害物の存在する位置データを、例えば自車両の前方中央を原点とした三次元座標系における座標値として算出することができる。なお、別途レーダ装置を車両前方下部に装着しておき、直接的に障害物と自車両との距離、及び障害物の存在する方向を測定して、座標値を算出するものであっても良い。
【００５９】
ＬＳＩ３３は、算出した道路の勾配、及び障害物を示す領域の位置データに基づいて、障害物を示す領域上端の道路からの高さを推定する（ステップＳ８０２）。例えば前方の道路が下り勾配である場合、障害物を示す領域までの距離に応じて該領域の上下方向の位置を上方へ補正する。これにより、例えば下り勾配により障害物の上部しか検出されていない場合であっても、補正後の高さが人間の頭部近傍である場合には歩行者等の障害物であるものと推定することができる。
【００６０】
また、前方の道路が上り勾配である場合、障害物を示す領域までの距離に応じて該領域の上下方向の位置を下方へ補正する。これにより、例えば上り勾配により高い位置に障害物を示す領域として検出されていることにより、従来の判断方法であれば看板広告等の誤認識であると判断されるところ、補正後の高さが人間の平均的身長である場合には歩行者等の障害物であるものと推定することができる。
【００６１】
ＬＳＩ３３は、推定した障害物を示す領域上端の道路からの高さが所定の範囲内、例えば人間の身長として標準的な１ｍ乃至２ｍの範囲内であるか否かを判断し（ステップＳ８０３）、ＬＳＩ３３が、所定の範囲内ではないと判断した場合（ステップＳ８０３：ＮＯ）、検出した障害物を示す領域に障害物が存在しないものと判断し、処理を終了する。
【００６２】
ＬＳＩ３３が、所定の範囲内であると判断した場合（ステップＳ８０３：ＹＥＳ）、ＬＳＩ３３は、所定のサンプリング間隔で、例えば３０ｍｓｅｃ間隔で障害物の位置データを算出し、ＲＡＭ３３１に時系列的に記憶する（ステップＳ８０４）。そして、例えば時刻ｔ１において位置データＰ１を算出した場合、所定の期間過去に遡って位置データを読み出し(ステップＳ８０５)、該位置データを算出した道路の勾配に基づいて補正する（ステップＳ８０６）。具体的には、１サンプリング時間前の時刻ｔ２、２サンプリング時間前の時刻ｔ３、・・・、（ｎ−１）サンプリング時間前の時刻ｔｎ（ｎは自然数）での位置データＰ２、Ｐ３、・・・、Ｐｎ（ｎは自然数）を読み出す。ＬＳＩ３３は、読み出した位置データＰ１、Ｐ２、・・・、Ｐｎ（ｎは自然数）を、道路の勾配に応じて上下方向の補正を行った後、直線近似することにより自車両に対する相対移動ベクトルを算出する（ステップＳ８０７）。なお、ｎは任意であり、実用上は安全の観点から３乃至５の範囲内である。
【００６３】
ＬＳＩ３３は、算出した障害物の相対移動ベクトル、障害物の接近速度及び速度センサ７から受け付けた車両の速度に基づいて、車両と障害物とが衝突するか否かを判断する(ステップＳ８０８)。
【００６４】
ＬＳＩ３３が、車両と障害物とが衝突しないと判断した場合(ステップＳ８０８：ＮＯ)、ＬＳＩ３３はステップＳ８０４へ戻って、次のサンプリング時間での位置データを取得し、上述した処理を繰り返す。ＬＳＩ３３が、車両と障害物とが衝突すると判断した場合(ステップＳ８０８：ＹＥＳ)、ＬＳＩ３３は、通信インタフェース部３１を介して運転者に対して衝突の可能性が高い旨を報知する様々な手段を起動させる起動信号を、車載ＬＡＮケーブル６を介して送出する(ステップＳ８０９)。運転者へ障害物との衝突の危険性が高い旨を報知することにより、運転者に対して衝突回避動作を促すことが可能となる。
【００６５】
運転者に対して衝突の可能性が高い旨を報知する手段は、例えば表示手段４に対する警告表示を指示する指示信号の送出であり、警報手段５に対する鳴動を指示する鳴動指示信号の送出である。
【００６６】
なお、ビデオカメラ１、２を設置する位置は、車両ごとに相違する。従って、車両ごとにビデオカメラ１、２を設置した状態で前方の道路を撮像した場合、画像内における縦長エッジの下端間距離、及び縦長エッジの下端位置データは、ビデオカメラ１、２の設置位置によって相違する。したがって、前方の道路の勾配の算出精度、ひいては衝突可能性の判定精度をより向上させるためには、ビデオカメラ１、２の設置位置に応じて画像内における縦長エッジの下端間距離、及び縦長エッジの下端位置データを更新する必要がある。
【００６７】
そこで、ビデオカメラ１、２の所定の視野角、標準的な設置高さ、及び撮像する俯角を記憶しておき、この状態と実際にビデオカメラ１、２を設置した場合のビデオカメラ１、２の視野角、設置高さ、及び撮像する俯角とを比較し、相違している程度に応じて画像内における縦長エッジの下端間距離、及び縦長エッジの下端位置データを更新する。これにより、ビデオカメラ１、２の視野角、ビデオカメラ１、２の設置高さ、及び撮像する俯角に応じて画像内における縦長エッジの下端間距離、及び縦長エッジの下端位置データを更新することができ、より正確に前方の道路の勾配を算出することができ、衝突可能性をより正確に判定することが可能となる。
【００６８】
なお、実際にビデオカメラ１、２を設置した場合のビデオカメラ１、２の視野角、設置高さ、及び撮像する俯角と、標準的な視野角、設置高さ、及び撮像する俯角との相違に応じて、撮像した画像から抽出した縦長エッジの下端間距離、及び縦長エッジの下端位置データを更新することに限定されるものではなく、例えば、勾配を算出する基準となる平坦な直線道路を撮像した場合の道路の左右端の水平距離を更新するものであっても良い。
【００６９】
以上のように本実施の形態によれば、前方の道路の勾配を、道路の両端に存在する電柱、水銀灯等の縦長の物体のエッジ検出を行うことで算出することができ、道路の白線を検出することができない遠赤外撮像装置を用いる場合であっても道路の勾配を確実に算出することが可能となる。また、障害物と衝突するか否かを、前方の道路の勾配に基づいて障害物を示す領域が物理的に障害物が存在しうる領域であるか否かを判断した後に判断することができ、道路の勾配の存在による障害物の存在の看過、又は道路側端の広告看板等との誤認識を未然に防止することが可能となる。
【００７０】
なお、上述した実施の形態では、判定装置３のＬＳＩ３３が上述した制御を行っているが、別個に制御装置を設けても良いし、他の機器の制御装置が兼用しても良い。
【図面の簡単な説明】
【００７１】
【図１】本発明の実施の形態に係る障害物衝突判定システムの構成を示す模式図である。
【図２】本発明の実施の形態に係る障害物衝突判定システムの遠赤外用ビデオカメラの構成を示すブロック図である。
【図３】本発明の実施の形態に係る障害物衝突判定システムの判定装置の構成を示すブロック図である。
【図４】本発明の実施の形態に係る障害物衝突判定システムの判定装置のＬＳＩの障害物及び前方の道路の検出処理の手順を示すフローチャートである。
【図５】本発明の実施の形態に係る障害物衝突判定システムの判定装置のＬＳＩの前方の道路の勾配の算出処理の手順を示すフローチャートである。
【図６】一般的な道路の車線幅に相当する平坦な直線道路を、車両に搭載したビデオカメラで撮像した場合の、画像内での道路左右端の水平距離を求める方法を示す模式図である。
【図７】前方の道路が勾配を有する場合の撮像画像の表示状態を示す図である。
【図８】本発明の実施の形態に係る障害物衝突判定システムの判定装置のＬＳＩの障害物との衝突判定処理の手順を示すフローチャートである。
【符号の説明】
【００７２】
１、２  ビデオカメラ
３  判定装置
４  表示装置
５  警報装置
７  速度センサ
３１  通信インタフェース部
３２  画像メモリ
３３  ＬＳＩ
３３１  ＲＡＭ
【図１】
2007168547.tif 000005
【図２】
2007168547.tif 000006
【図３】
2007168547.tif 000007
【図４】
2007168547.tif 000008
【図５】
2007168547.tif 000009
【図６】
2007168547.tif 000010
【図７】
2007168547.tif 000011
【図８】
2007168547.tif 000012