(57)【特許請求の範囲】
【請求項１】
車両に搭載され、自車両の前方を撮像する撮像手段と、
前記自車両の走行状態を検出する車両挙動検出手段と、
前記撮像手段によって得られた画像から道路上の対象物を抽出する対象物抽出手段と、
この対象物抽出手段によって抽出された対象物の画像位置と前記車両挙動検出手段によって得られた車両挙動とに基づき、前記対象物までの距離を算出する対象物距離算出手段と、
前記対象物抽出手段によって抽出された前記対象物の縦画像サイズを算出する対象物画像サイズ算出手段と、
前記対象物抽出手段によって抽出された前記対象物を画像フレーム間で同定する対象物同定手段と、
前記対象物抽出手段によって抽出された前記対象物毎の距離に対しての縦画像サイズの変化を保持する対象物情報保持手段と、
この対象物情報保持手段によって保持されている全対象物の距離に対しての縦画像サイズの変化が立体物モデル曲線又は平面物モデル曲線のどちらに近いかを判定し、前記対象物が立体物か平面物であるかを識別する立体物平面物識別手段と、
を備えたことを特徴とする障害物検出装置。
【請求項２】
請求項１に記載の障害物検出装置において、
前記対象物距離算出手段は、前記車両挙動検出手段で検出された車両ピッチング角と前記対象物抽出手段で抽出された対象物の縦画像位置から、道路上の前記対象物までの距離を算出する、
ことを特徴とする障害物検出装置。
【請求項３】
請求項１、２のいずれかに記載の障害物検出装置において、
前記立体物平面物識別手段は、前記対象物が立体物であると判定された場合に、立体物の距離に対しての縦画像サイズの変化をモデル化した立体物モデル曲線より前記立体物の高さを算出する、
ことを特徴とする障害物検出装置。
【請求項４】
自車両の走行状態に基づき、該自車両の車両挙動を検出する第１のステップと、
車両に搭載される撮像手段によって得られた画像から道路上の対象物を抽出する第２のステップと、
前記第２のステップで抽出された対象物の画像位置と、前記第１のステップで得られた車両挙動とに基づき、自車両から前記対象物までの距離を算出する第３のステップと、
前記第２のステップで抽出された前記対象物の縦画像サイズを算出する第４のステップと、
前記第２のステップで抽出された前記対象物を画像フレーム間で同定する第５のステップと、
前記第２のステップで抽出された前記対象物毎の距離に対しての縦画像サイズの変化を保持する第６のステップと、
前記第６のステップによって保持されている全対象物の距離に対しての縦画像サイズの変化が立体物モデル曲線又は平面物モデル曲線のどちらに近いかを判定し、前記対象物が立体物か平面物であるかを識別する第７のステップと、
を備えたことを特徴とする障害物検出方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、１台のカメラから取り込んだ画像から前方にある道路上の障害物を検出する画像処理装置に係り、特に撮像された物体が立体物であるか平面物であるかを識別する障害物検出装置及び障害物検出方法に関するものである。
【０００２】
【従来の技術】
従来より、車両にカメラを搭載して車両進行方向を撮像し、道路上の障害物を検出する技術が開発されている。撮像された物体が障害物であるかどうか判断するためには、物体が立体物であるか平面物であるかを識別することが重要である。撮像した物体が立体物であるか平面物であるかを識別する方法は多く研究されているが、カメラ１台だけで識別する画像処理は、カメラを複数使用するものと比べ、コスト・処理負荷など多くの利点があげられる。
【０００３】
このように１台のカメラを用いて撮像した物体が立体物か平面物であるかを識別するものとして特開平１０−２２２６７９号公報記載のものがある。これは、道路上の移動物体を検出する方法として有効ではあるが、時刻Ｔ０、Ｔ１時に撮像した画像のパターンマッチング（全画像について）を行うため、処理量が多く障害物となる物体を抽出するまでに時間を要するという問題に対して、時刻“Ｔ０”、“Ｔ１”時に撮像した画像を平面画像に投影し、時刻“Ｔ０”の平面画像と時刻“Ｔ０−Ｔ１”間の車両移動距離から時刻“Ｔ１”における予測平面画像を算出し、この予測平面画像と時刻“Ｔ１”の平面画像を比較することで、立体物か平面物か、すなわち障害物になり得るか否かを迅速に識別することができるというものである。
【０００４】
つまり、異なる視点から撮像した２枚の平面画像において、立体物は形状が異なり平面物は形状が一致するという特徴と、自車両の移動量を用い時刻“Ｔ０”の平面画像と時刻“Ｔ１”の平面画像の位置とを一致させることで、画素単位の比較を可能にするという特徴とを用い、物体が立体物か平面物であるかを迅速に識別している。
【０００５】
【発明が解決しようとする課題】
しかしながら、このような従来の技術にあっては、自車両の移動量のみを用い時刻“Ｔ０”の平面画像から時刻“Ｔ１”の予測平面画像を算出するため、判定する物体が移動すると、時刻“Ｔ１”の予測平面画像と、時刻“Ｔ１”の平面画像における物体の位置が異なってしまうことから、画素単位の比較を行うことができない。
【０００６】
このため、物体の位置合わせが必要となり、これを行うには判定する物体の時刻“Ｔ０−Ｔ１”間の移動量を算出し、時刻“Ｔ１”の予測平面画像上で物体の位置補正をするなどの別途処理が必要となる。すなわち、移動する物体の検出を行う場合には、物体の移動量を算出する処理と、平面画像上の物体位置を補正する処理などの追加が必要で、それにともない処理負荷が増加するなどの問題があった。
【０００７】
本発明は上記従来技術の有する課題に鑑みなされたものであり、物体が移動している場合でも、その物体が立体物か平面物であるか、すなわち障害物となり得るか否かを迅速に識別できる障害物検出装置および障害物検出方法を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記課題を解決するため、請求項１に記載の障害物検出装置では、車両に搭載され、自車両の前方を撮像する撮像手段と、前記自車両の走行状態を検出する車両挙動検出手段と、前記撮像手段によって得られた画像から道路上の対象物を抽出する対象物抽出手段と、この対象物抽出手段によって抽出された対象物の画像位置と前記車両挙動検出手段によって得られた車両挙動とに基づき、前記対象物までの距離を算出する対象物距離算出手段と、前記対象物抽出手段によって抽出された前記対象物の縦画像サイズを算出する対象物画像サイズ算出手段と、前記対象物抽出手段によって抽出された前記対象物を画像フレーム間で同定する対象物同定手段と、前記対象物抽出手段によって抽出された前記対象物毎の距離に対しての縦画像サイズの変化を保持する対象物情報保持手段と、この対象物情報保持手段によって保持されている全対象物の距離に対しての縦画像サイズの変化が立体物モデル曲線又は平面物モデル曲線のどちらに近いかを判定し、前記対象物が立体物か平面物であるかを識別する立体物平面物識別手段とを備えたことを特徴としている。
【０００９】
また、請求項２では、請求項１に記載の障害物検出装置において、前記対象物距離算出手段は、前記車両挙動検出手段で検出された車両ピッチング角と前記対象物抽出手段で抽出された対象物の縦画像位置から、道路上の前記対象物までの距離を算出することを特徴としている。
【００１０】
また、請求項３では、請求項１、２のいずれかに記載の障害物検出装置において、前記立体物平面物識別手段は、前記対象物が立体物であると判定された場合に、立体物の距離に対しての画像サイズの変化をモデル化した立体物モデル曲線より前記立体物の高さを算出することを特徴としている。
【００１１】
また、請求項４では、自車両の走行状態に基づき、該自車両の車両挙動を検出する第１のステップと、車両に搭載される撮像手段によって得られた画像から道路上の対象物を抽出する第２のステップと、前記第２のステップで抽出された対象物の画像位置と、前記第１のステップで得られた車両挙動とに基づき、自車両から前記対象物までの距離を算出する第３のステップと、前記第２のステップで抽出された前記対象物の縦画像サイズを算出する第４のステップと、前記第２のステップで抽出された前記対象物を画像フレーム間で同定する第５のステップと、前記第２のステップで抽出された前記対象物毎の距離に対しての縦画像サイズの変化を保持する第６のステップと、前記第６のステップによって保持されている全対象物の距離に対しての縦画像サイズの変化が立体物モデル曲線又は平面物モデル曲線のどちらに近いかを判定し、前記対象物が立体物か平面物であるかを識別する第７のステップと、を備えたことを特徴としている。
【００１２】
【発明の効果】
請求項１に記載の発明によれば、物体の距離に対しての縦画像サイズの変化を観測し、このデータが、立体物の距離に対しての縦画像サイズの変化をモデル化した立体物モデルと、平面物の距離に対しての縦画像サイズの変化をモデル化した平面物モデルと、のどちらに近いかにより、物体が立体物か平面物であるかを識別するようにしたので、物体が動く場合でも、立体物か平面物であるか、すなわち障害物になり得るか否かを識別することができる。
【００１３】
また請求項２の発明によれば、検出された車両挙動とカメラ設置時の視軸の向きから撮像時のカメラ視軸方向がわかるため、車両がゆれた場合でも道路上の物体までの距離を計測することができる。
【００１４】
また請求項３の発明によれば、立体物の高さに応じた距離に対しての縦画像サイズの変化をモデル化した立体物モデルを持っているため、立体物と識別された物体の距離に対しての縦画像サイズの変化のデータから立体物の高さを算出することができる。
【００１５】
また請求項４の発明によれば、物体の距離に対しての縦画像サイズの変化を観測し、このデータが、立体物の距離に対しての縦画像サイズの変化をモデル化した立体物モデルと、平面物の距離に対しての縦画像サイズの変化をモデル化した平面物モデルと、のどちらに近いかにより、対象物が立体物か平面物であるかを識別するようにしている。従って、対象物が動く場合であっても、この対象物が立体物か平面物であるか、すなわち障害物になり得るか否かを識別することができる。
【００１６】
【発明の実施の形態】
《立体物、平面物の距離−サイズ算出式の説明》
まず、本発明による障害物検出装置の詳細な説明に先立ち、本発明による障害物検出装置で使用する立体物の距離−サイズ算出式、平面物の距離−サイズ算出式、対象物画像が立体物の画像か平面物の画像かを判定する方法について説明する。
【００１７】
＜立体物の距離−サイズ算出式＞
今、図６に示す如く視軸方向が“θｍ”、高さが“ｈｓ”となる場所に設置されたカメラから距離“Ｌ”、高さ“ｈｔ”の立体物を撮像したとき、立体物上部に対する見張り角が“θｔｕ”、立体物下部に対する見張り角が“θｔｌ”であれば、次式が成り立つ。
【００１８】
ｈｔ＝Ｌ・tanθｔｌ−Ｌ・tanθｔｕ    …（１）
また、センサの瞬時視野角（１画素当たりの角度）を“θｓ”とすると、各見張り角“θｔｕ”、“θｔｌ”と、各画素座標“Ｙｔｌ”、“Ｙｔｕ”との間に、次式が成り立つ。
【００１９】
θｔｌ＝θｓ・Ｙｔｌ      …（２）
θｔｕ＝θｓ・Ｙｔｕ      …（３）
そして、車載カメラの場合、カメラ設置高が低く、撮像対象が遠方にあることから、カメラから距離“Ｌ”と、立体物の高さ“ｈｔ”との間に、“Ｌ＞＞ｈｓ”が成り立つことから、次式に示す近似を行うことができる。
【００２０】
tanθ＝θ              …（４）
ここで、（２）式、（３）式を（１）式に代入して、“θ”を消し、（４）式に示す近似を行うと、
ｈｔ＝Ｌ・θｓ（Ｙｔｌ−Ｙｔｕ）  …（５）
が得られ、この（５）式を整理すると、次式が得られる。
【００２１】
Ｙｔｌ−Ｙｔｕ＝ｈｔ／（Ｌ・θｓ）  …（６）
＜平面物の距離−サイズ算出式＞
また、図７に示す如く視軸方向が“θｍ”、高さが“ｈｓ”となる場所に設置されたカメラから距離“Ｌ”、奥行き“ｄｔ”の平面物を撮像したとき、平面物近部に対する見張り角が“θｔｎ”、平面物下部に対する見張り角が“θｔｆ”であれば、次式が成り立つ。
【００２２】
tanθｔｎ＝ｈｓ／Ｌ             …（７）
tanθｔｆ＝ｈｓ／（Ｌ＋ｄｔ）    …（８）
また、センサの瞬時視野角（１画素当たりの角度）を“θｓ”とすると、各見張り角“θｔｎ”、“θｔｆ”と、各画素座標“Ｙｔｎ”、“Ｙｔｆ”との間に、次式が成り立つ。
【００２３】
θｔｎ＝θｓ・Ｙｔｎ      …（９）
θｔｆ＝θｓ・Ｙｔｆ      …（１０）
そして、車載カメラの場合、カメラ設置高が低く、撮像対象が遠方にあることから、カメラから距離“Ｌ”と、立体物の高さ“ｈｔ”との間に、“Ｌ＞＞ｈｓ”が成り立ち、次式に示す近似を行うことができる。
【００２４】
tanθ＝θ              …（１１）
ここで、（９）式を前記（７）式に代入するとともに、（１０）式を（８）式に代入した後、（１１）式に示す近似を行い、両辺同士を引くと、
（Ｙｔｎ−Ｙｔｆ）・θｓ＝（ｈｓ・ｄｔ）／｛Ｌ・（Ｌ＋ｄｔ）｝…（１２）
が得られ、この（１２）式を整理すると、次式が得られる。
【００２５】
（Ｙｔｎ−Ｙｔｆ）＝（ｈｓ・ｄｔ）／｛θｓ・Ｌ・（Ｌ＋ｄｔ）｝…（１３）
＜対象物画像が立体物の画像か平面物の画像かを判定する方法＞
そして、本発明による障害物検出装置では、カメラによって得られる各画像フレームの中から、同一対象物の画像を特定し、これら各画像フレームの対象物画像に対し、前記（６）式に示す、対象物画像が立体物の画像であるとき距離−立体のサイズ算出モデルと、前記（１３）式に示す対象物画像が平面物の画像であるときの距離−立体のサイズ算出モデルと適用し、各画像フレームを通して、どちらの距離−サイズ算出モデルが成り立つかをチェックし、このチェック結果に基づき、対象物画像が立体物の画像であるか、平面物の画像であるか判定する。
【００２６】
《形態の説明》
以下、図面に基づき本発明の実施形態について説明する。
【００２７】
図１には、本実施形態の構成ブロックが示されている。図１に示すように本発明による障害物検出装置１８は、カメラ１と、センサ２と、マイコン３と、メモリ４と、車両制御装置５と、警報装置６とを備えている。
【００２８】
カメラ１は車両前部に設けられ、車両前方を撮像する。センサ２はジャイロなどで構成され、車両の走行状態（ピッチ角など）を検出する。マイコン３はカメラ１により撮像された画像とセンサ２により検出された車両の走行状態データを処理し、撮像された物体毎の距離・画像サイズをメモリ４に保存する。また物体が近接してきた場合は、物体の全サンプリングデータをメモリ４から読み出し、立体物か平面物であるか、すなわち障害物が近接しているかどうかを出力する。車両制御装置５は出力結果に基づいてブレーキ操作などを行うものであり、警報装置６は、出力結果に基づき車両の衝突などの警報を発するものである。
【００２９】
図２には、処理ブロックが示されている。これは構成ブロックの主要部を機能的に表現したものであり、構成ブロックと対比させると、カメラ１が撮像手段１０、センサ２が車両挙動検出手段１１、マイコン３が対象物検出手段１２、対象物画像サイズ算出手段１３、対象物距離算出手段１４、対象物同定手段１５、対処物情報保持手段１６、立体物平面物識別手段１７にそれぞれ相当する。
【００３０】
図３には、カメラ１の撮像動作例が示されている。まず図３は、１台のカメラ１で前方の車両までの距離を測定する場合であり、設置時の車両に対するカメラ設置視線方向角とセンサ２から入力される撮像時の車両ピッチ角からカメラ１の道路面に対する指示方向角が算出され、マイコン３から入力された対象物の縦画像位置とカメラ１の画角、画像サイズ、視軸方向角から対象物を見た対象物方位角が算出される。この対象物方位角と道路からカメラ１までの高さから道路上の対象物の距離が算出できる。
【００３１】
例えば、上述した説明で用いた、図６に示す如く立体物を撮像した場合、車載カメラ１から前方の対象物を撮像しているため、対象物方位角が小さいと条件から“tanθ＝θ”の近似が可能となり、（６）式から、次式によって、立体物の距離−縦画像サイズのモデルを表すことができる。
【００３２】
Ｙｂ＝（ｈｔ・Φ）／（Ｌ・Ｙｍａｘ）    …（１４）
但し、Ｙｂ：対象物の縦画像サイズ
ｈｔ：立体物の高さ
Φ：カメラの画角
Ｌ：距離
Ｙｍａｘ：全縦画像サイズ
また、図７に示す如く平面物を撮像した場合、（１３）式から、次式によって、平面物物の距離−縦画像サイズのモデルを表すことができる。
【００３３】
Ｙｆ＝（ｈｓ・ｄｔ・Φ）／｛Ｌ・（Ｌ＋ｄｔ）・Ｙｍａｘ｝    …（１５）
但し、Ｙｆ：対象物の縦画像サイズ
ｈｓ：カメラの設置高さ
ｄｔ：平面物の奥行き
Φ：カメラの画角
Ｌ：距離
Ｙｍａｘ：全縦画像サイズ
図４には、以上述べた基本原理に従って障害物検出装置１が行う処理フローが示されている。
【００３４】
Ｓ１からＳ４はカメラ１により入力された画像１枚について対象物を抽出し、対象物ごとに位置、縦画像サイズ、距離を算出する処理フローである。Ｓ１では画像内に抽出されていない対象物が残っているかの判定をする処理で、残っている場合はＳ２以降の残抽出処理を実施し、残っていない場合にはＳ５の同定処理を実施する。Ｓ２では画像エッジ処理を行い対象物と同じ形を示す物体の画像位置を出力する。Ｓ３ではＳ２で出力された位置情報に基づき、上下のエッジ間隔を算出することで縦画像サイズを出力する。Ｓ４ではＳ２で出力された位置情報と、センサ２から入力された自車両ピッチング角を用いて対象物までの距離を算出する。
【００３５】
Ｓ５からＳ８は現フレーム画像から抽出された複数の対象物と、全フレーム画像から抽出された複数の対象物間の対応付けを行い、同一と判定された対象物同士のリンク情報を出力する同定処理フローである。Ｓ５では前フレームに抽出された対象物中同定処理を行っていないものがあるかどうか判定する処理で、残っている場合はＳ６以降の残同定処理を実施し、残っていない場合にはＳ９の保持処理を実施する。Ｓ６では同様に現フレームに抽出された対象物のループ処理を行っている。Ｓ７では前フレーム対象物と現フレーム対象物の位置に着目した同定判定を行い、位置差が許容値以下であった場合には同一物として同定処理Ｓ８を実施、許容値より大きい場合は同一物でないと判断しＳ６を実施する。Ｓ８は同定された前フレームと現フレームの同一対象物を内部データ上でリンクする処理を行う。
【００３６】
Ｓ９、Ｓ１０は同定処理から出力される対象物のリンクデータに基づいて対象物毎に縦画像サイズ、距離情報を保持するデータ保持処理フローである。Ｓ９では現フレーム画像から抽出された対象物のデータ保持を行うためのループ処理で、未処理対象物がある場合はＳ１０の情報保持処理を実施、未処理対象物がない場合はＳ１１の判定処理を実施する。Ｓ１０ではＳ８によって出力されたリンク情報に基づき、情報を保持する。同定される対象物がない場合には、新規対象物であるため新規対象物データ保持領域を作成し、距離、縦画像サイズを書き込む。また同定される対象物がある場合には、その対象物のデータ保持領域に距離、縦画像サイズを追記する。
【００３７】
Ｓ１１，Ｓ１２はメモリ４によって保持された対象物ごとの距離に対しての縦画像サイズデータの変化に基づいて対象物が立体物か平面物であるかを判定する判定フローである。Ｓ１１は対象物が“４０ｍ”以内に近接したかどうかを判定するものであり、“４０ｍ”以内であった場合はＳ１２により、立体物か平面物であるかの判定を実施し、“４０ｍ”より遠い場合は判定をしない。
【００３８】
Ｓ１２では対象物が見えてから“４０ｍ”まで近接する間の距離に対しての縦画像サイズデータの変化を用いて、対象物が立体物か平面物であるかを判定する処理である。最初に最近傍の距離に対しての縦画像サイズデータを用い（１４）式の未知数「立体物高さ“ｈｔ”」を算出することで、この対象物が立体物であった場合の立体物の距離に対しての縦画像サイズモデルを推定する。また、同様に（１５）式の未知数である「平面物奥行き“ｄｔ”」を算出することで、この対象物が平面物であった場合の平面物の距離−縦画像サイズモデルを推定する。次に、図５に示す如く対象物の距離に対しての縦画像サイズの全サンプリングデータと立体物モデル、平面物モデルの分散値を算出することで、どちらのモデルに近いか判定し、その対象物が立体物であるか平面物であるか識別する。
【００３９】
このように、この形態では、カメラ１によって、前方を撮像させるとともに、センサによって、自車両の走行状態（ピッチ角など）を検出させ、これらの各検出結果、撮像結果をマイコン３に供給させて、対象物の抽出処理、対象物の同定処理、情報の保持処理、対象物が立体物か平面物かの判定処理を行わせるようにしているので、自車両の前方にある物体が動いている場合でも、立体物か平面物であるか、すなわち障害物になり得るか否かを識別させることができる（請求項１の効果）。
【００４０】
また、この形態では、カメラ１によって、前方を撮像するとともに、センサによって、自車両の走行状態（ピッチ角など）を検出し、これらの各検出結果、撮像結果をマイコン３に処理させて、設置時の車両に対するカメラ設置視線方向角と、センサ２から入力される撮像時の車両ピッチ角から、カメラ１の道路面に対する指示方向角を算出させるとともに、対象物の縦画像位置とカメラ１の画角、画像サイズ、視軸方向角から、対象物を見た対象物方位角を算出させ、この対象物方位角と、道路からカメラ１までの高さから、道路上の対象物の距離を算出させるようにしているので、自車両がゆれた場合でも、道路上の物体までの距離を正確に計測させることができる（請求項２の効果）。
【００４１】
また請求項３の発明によれば、（１４）式に示す如く立体物の高さに応じた距離に対しての縦画像サイズの変化をモデル化した立体物モデルを使用して、対象物の高さを算出させるようにしているので、リアルタイムで、自車両の前方にある立体物の高さを算出させることができる。
【００４２】
なお、以上説明した形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
【図面の簡単な説明】
【図１】本発明の障害物検出装置の実施形態を示す構成ブロック図である。
【図２】本発明の障害物検出装置の処理ブロック図である。
【図３】本発明に係る距離算出処理の基本原理図である。
【図４】本発明の障害物検出装置の実施形態を説明するフローチャートである。
【図５】本発明の立体物平面物識別手段に係る立体物・平面物の距離−縦画像サイズモデルである。
【図６】本発明に係る立体物モデルの基本原理図である。
【図７】本発明に係る平面物モデルの基本原理図である。
【符号の説明】
１  カメラ（撮像手段）
２  センサ（自車両挙動検出手段）
３  マイコン（対象物抽出手段、対象物画像サイズ算出手段、対象物距離算出手段、対象物同定手段および立体物平面物識別手段）
４  メモリ（対象物情報保持手段）
５  車両制御装置
６  警報装置
１０  撮像手段
１１  車両挙動検出手段
１２  対象物抽出手段
１３  対象物画像サイズ算出手段
１４  対象物距離算出手段
１５  対象物同定手段
１６  対象物情報保持手段
１７  立体物平面物識別手段
【図１】
0003820995.tif 000002
【図２】
0003820995.tif 000003
【図３】
0003820995.tif 000004
【図４】
0003820995.tif 000005
【図５】
0003820995.tif 000006
【図６】
0003820995.tif 000007
【図７】
0003820995.tif 000008