(57)【要約】【課題】オフロード環境下においても、路面を適切に検出することができる鉱山用作業車両用の路面推定システムの提供。【解決手段】本発明は、三次元画像情報中の距離情報から、三次元画像情報中の平面領域Ｄ１を推定する大域路面位置推定部１４と、大域路面位置推定部１４にて推定した平面領域Ｄ１に基づき、三次元画像中の路肩Ｓ位置を検出する路肩検出部１５と、路肩検出部１５にて検出した路肩Ｓ位置に基づき、三次元画像中の、路肩Ｓを境界とする路面領域Ｄ２を推定する路面領域推定部１６と、を備えた構成である。【選択図】図１
2015210661.tif 000002
【特許請求の範囲】
【請求項１】
三次元の画像情報が入力され、この画像情報中の距離情報に基づき、前記画像情報中の平面領域を推定する平面領域推定部と、
前記平面領域推定部にて推定した平面領域に基づき、前記画像情報中の、所定以上の高さを有する路肩位置を検出する路肩検出部と、
前記路肩検出部にて検出した前記路肩位置に基づき、前記画像情報中の、前記路肩を境界とする路面領域を推定する路面領域推定部と、
を備えたことを特徴とする鉱山用作業車両用の路面推定装置。
【請求項２】
請求項１の鉱山用作業車両用の路面推定装置において、
前記路肩検出部は、前記画像情報から、路面の両側に位置する路肩をそれぞれ検出し、
前記路面領域推定部は、前記路肩検出部にて検出した路肩間を前記路面領域と推定する
ことを特徴とする鉱山用作業車両用の路面推定装置。
【請求項３】
請求項２の鉱山用作業車両用の路面推定装置において、
前記三次元の画像情報は、輝度情報を有し、
前記路面領域推定部は、前記画像情報中の輝度情報から、前記路面領域に類似する類似領域を推定する類似領域推定部を有し、前記類似領域を加えて前記路面領域を推定する
ことを特徴とする鉱山用作業車両用の路面推定装置。
【請求項４】
請求項２の鉱山用作業車両用の路面推定装置において、
前記三次元の画像情報は、色情報を有し、
前記路面領域推定部は、前記画像情報中の色情報から、前記路面領域に類似する類似領域を推定する類似領域推定部を有し、前記類似領域を加えて前記路面領域を推定する
ことを特徴とする鉱山用作業車両用の路面推定装置。
【請求項５】
請求項１の鉱山用作業車両用の路面推定装置において、
前記路肩検出部は、前記画像情報から、前記鉱山用作業車両に近い側の路肩を検出し、
前記路面領域推定部は、前記路肩検出部にて検出した近い側の路肩から所定範囲の領域を路面領域と推定する
ことを特徴とする鉱山用作業車両用の路面推定装置。
【請求項６】
請求項１の鉱山用作業車両用の路面推定装置において、
前記画像情報中の前記路面領域から、予め定めた判定基準に合致する前記画像情報中の撮像対象を障害物として検出する障害物検出部を備えた
ことを特徴とする鉱山用作業車両用の路面推定装置。
【請求項７】
三次元の画像情報を取得する画像取得部と、
請求項１の鉱山用作業車両用の路面推定装置と、を具備し、
前記路面推定装置は、前記画像取得部にて取得した前記画像情報が入力される
ことを特徴とする鉱山用作業車両用の路面推定システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばオフロードダンプトラック等の鉱山用作業車両用の路面推定装置およびそれを備えた路面推定システムに関する。
【背景技術】
【０００２】
一般に、鉱山においては、土砂の採掘作業および運搬作業として油圧ショベルやダンプトラックなどの建設機械が用いられている。鉱山に用いられる建設機械としては、安全性や低コスト化の観点から無人化が求められる。ダンプトラックにおいては、単位時間当たりの土砂の運搬量が採掘の進捗度に直結するため、効率の良い運用が求められる。したがって、土砂を効率良く採掘現場の外に大量に運搬するためには、連続運転可能な自律走行式のダンプトラックを用いた鉱山システムが必要とされている。
【０００３】
ところが、ダンプトラックを走行させる鉱山の走行路はオフロードであって悪路が多いため、ダンプトラックを自律走行させて無人運転させることにより、他車両等の障害物との衝突が懸念される。仮に、走行路上に障害物が生じ、自律走行式の無人のダンプトラックが障害物と接触して停止した場合には、鉱山の運行を長時間に亘って停止させてしまう。よって、自律走行式のダンプトラックの信頼性を高めるためには、前方車両や走行路上の障害物を早期に検知して、前方車両の追従走行や障害物の回避走行を行わせることが可能な信頼性の高い障害物検知装置が必要となる。
【０００４】
従来、この種の障害物検知装置としては、２台のステレオカメラを用いた構成が、例えば特許文献１に開示されている。この特許文献１は、２台のステレオカメラにて撮像した画像から特徴抽出部にて道路上の白線を抽出するとともに、抽出した白線から障害物領域であるか否かを差異検出部にて検出する。そして、差異検出部の検出結果から障害物の高さを算出し、真の障害物領域を高さ計算部にて検出する構成としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２８３２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記特許文献１に係る障害物検出装置においては、２台のステレオカメラにて道路上の白線を検出し、この検出した白線から障害物領域（路面領域）を推定するとともに、路面領域内の障害物を検出する構成であるものの、鉱山に用いられるダンプトラック等が走行するオフロード環境下の走行路には白線が引かれておらず、上記特許文献１に係る障害物検出装置を、オフロード環境下の走行路の路面の検出に用いることができない。
【０００７】
本発明は、上述した従来技術における実状からなされたもので、その目的は、オフロード環境下においても、路面を適切に検出することができる鉱山用作業車両用の路面推定装置および路面推定システムを提供することにある。
【課題を解決するための手段】
【０００８】
この目的を達成するために、本発明に係る鉱山用作業車両用の路面推定装置は、三次元の画像情報が入力され、この画像情報中の距離情報に基づき、前記画像情報中の平面領域を推定する平面領域推定部と、前記平面領域推定部にて推定した平面領域に基づき、前記画像情報中の、所定以上の高さを有する路肩位置を検出する路肩検出部と、前記路肩検出部にて検出した前記路肩位置に基づき、前記画像情報中の、前記路肩を境界とする路面領域を推定する路面領域推定部と、を備えたことを特徴としている。
【０００９】
このように構成した本発明は、三次元の画像情報から、その画像情報中の平面領域を推定した上で、この平面領域に基づき、画像情報中の、所定以上の高さを有する路肩位置を検出するようにしている。したがって、平面領域についてのみ路肩位置を検出すればよく、路肩位置を検出する検出領域を狭くすることができ、路肩検出の処理を簡略化することができる。また、検出した路肩位置に基づき、画像情報中の、路肩を境界とする路面領域を推定するようにしているため、画像情報中から改めて路面領域を検出等する必要がなく、画像情報中の路面領域を容易に推定することができる。よって、路肩が設けられたオフロード環境下の路面においても、路面領域を適切に検出することができ、画像情報中の路面の検出を適切に行うことができる。
【００１０】
また本発明は、上記発明において、前記路肩検出部は、前記画像情報から、路面の両側に位置する路肩をそれぞれ検出し、前記路面領域推定部は、前記路肩検出部にて検出した路肩間を前記路面領域と推定することを特徴としている。
【００１１】
このように構成した本発明は、三次元の画像情報から、路面の両側に位置する路肩位置をそれぞれ検出し、これら路肩間を路面領域と推定するようにしているため、一方の路肩から路面領域を推定する場合に比べ、より適切かつ容易に路面領域を推定することができる。したがって、オフロード環境下の路面の検出処理をより精度良くできる。
【００１２】
また本発明は、上記発明において、前記三次元の画像情報は、輝度情報を有し、前記路面領域推定部は、前記画像情報中の輝度情報から、前記路面領域に類似する類似領域を推定する類似領域推定部を有し、前記類似領域を加えて前記路面領域を推定することを特徴としている。
【００１３】
一般に、オフロード環境下の路面は、平坦に締め固められているため、他の領域に比べ輝度が高い傾向にある。そこで、本発明は、画像情報中の輝度情報から、路面領域に類似する類似領域を推定し、この類似領域を加えて路面領域を推定するようにしている。このため、路面領域推定部にて推定される路面領域を補完することができ、路面領域推定部による路面領域の推定をより精度良くできる。
【００１４】
また本発明は、上記発明において、前記三次元の画像情報は、色情報を有し、前記路面領域推定部は、前記画像情報中の色情報から、前記路面領域に類似する類似領域を推定する類似領域推定部を有し、前記類似領域を加えて前記路面領域と推定することを特徴としている。
【００１５】
一般に、オフロード環境下の路面は、平坦に締め固められているため、他の領域に比べ画像情報中の色情報が異なる傾向にある。そこで、本発明は、画像情報中の色情報から、路面領域に類似する類似領域を推定し、この類似領域を加えて路面領域を推定するようにしている。この結果、路面領域推定部にて推定される路面領域を補完することができ、路面領域推定部による路面領域の推定をより精度良くできる。
【００１６】
また本発明は、上記発明において、前記路肩検出部は、前記画像情報から、前記鉱山用作業車両に近い側の路肩を検出し、前記路面領域推定部は、前記路肩検出部にて検出した近い側の路肩から所定範囲の領域を路面領域と推定することを特徴としている。
【００１７】
このように構成した本発明は、三次元の画像情報から、鉱山用作業車両に近い側の路肩を検出し、この路肩から所定範囲の領域を路面領域と推定するようにしている。したがって、画像情報中のすべての路面領域を推定する必要がなく、鉱山用作業車両が走行する可能性が高く、衝突等の可能性が高い側の領域を検出することができるため、路肩検出部および路面領域推定部による処理をより簡略化できる。
【００１８】
また本発明は、上記発明において、前記画像情報中の前記路面領域から、予め定めた判定基準に合致する前記画像情報中の撮像対象を障害物として検出する障害物検出部を備えたことを特徴としている。
【００１９】
このように構成した本発明は、路肩が設けられたオフロード環境下においても、路面領域推定部にて路面の検出を適切に行うことができるから、路面領域推定部にて推定した路面領域から、予め定めた判定基準に合致する撮像対象を障害物として検出することにより、障害物を検出する検出領域がより正確となり、障害物を適切かつ精度良く検出することができる。
【００２０】
また、本発明に係る鉱山用作業車両用の路面推定システムは、三次元の画像情報を取得する画像取得部と、請求項１の鉱山用作業車両用の路面推定装置と、を具備し、前記路面推定装置は、前記画像取得部にて取得した前記画像情報が入力されることを特徴としている。
【００２１】
このように構成した本発明は、画像取得部にて取得した三次元の画像情報から、路面推定装置にて画像情報中の平面領域を推定した上で、この平面領域に基づき、画像情報中の、所定以上の高さを有する路肩を検出するようにしている。したがって、推定した平面領域についてのみ路肩位置を検出すればよく、路肩位置を検出する検出領域を狭くすることができ、路肩検出の処理を簡略化することができる。また、検出した路肩位置に基づき、画像情報中の、路肩を境界とする路面領域を推定するようにしているため、検出した画像情報中から改めて路面領域を検出等する必要がなく、画像情報中の路面領域を容易に推定することができる。よって、路肩が設けられたオフロード環境下の路面においても、路面領域を適切に検出することができ、画像情報中の路面の検出を適切に行うことができる。
【発明の効果】
【００２２】
本発明は、三次元の画像情報中の距離情報に基づき、画像情報中の平面領域を推定した上で、この平面領域に基づき、画像情報中の、所定以上の高さを有する路肩位置を検出し、この検出した路肩位置に基づき、画像情報中の路肩を境界とする路面領域を推定する構成にしている。この構成により本発明は、路肩位置を検出する検出領域を狭くでき、路肩検出の処理を簡略化することができる。また、画像情報中の、路肩を境界とする路面領域を推定するようにしているため、画像情報中から改めて路面領域を検出等する必要がなく、画像情報中の路面領域を容易に推定することができる。したがって、路肩が設けられたオフロード環境下の路面においても、路面の検出を適切に行うことができる。そして、前述した以外の課題、構成および効果は、以下の実施形態の説明より明らかにされる。
【図面の簡単な説明】
【００２３】
【図１】本発明の第１実施形態に係る路面推定装置が用いられる鉱山用作業車両を示す概略図である。
【図２】上記鉱山用作業車両が用いられる鉱山システムを示す概略図である。
【図３】上記鉱山用作業車両の駆動構成を示す概略図である。
【図４】上記鉱山用作業車両が走行する路面状況を示す概略図である。
【図５】上記鉱山用作業車両の画像取得部の各カメラにて撮像した視差画像を示す図で、（ａ）はカメラ１１ａの撮像画像、（ｂ）はカメラ１１ｂの撮像画像である。
【図６】上記鉱山用作業車両の画像取得部にて撮像したアピアランス・イメージを示す図である。
【図７】上記鉱山用作業車両の画像取得部にて取得した画像の処理を示す図で、（ａ）は撮像画像、（ｂ）は平面領域抽出画像（ｃ）は路面領域推定画像である。
【図８】上記鉱山用作業車両に搭載された路面推定装置の処理を示すフローチャートである。
【図９】本発明の第２実施形態に係る路面推定装置による路面検出状況を示す概略図である。
【発明を実施するための形態】
【００２４】
以下、本発明に係る路面推定装置を備えた障害物検出システムを実施するための形態を図に基づいて説明する。
【００２５】
図１は、本発明の第１実施形態に係る路面推定装置を備えた障害物検出システムが用いられる鉱山用作業車両として、鉱山用の車両１であるオフロードダンプトラックを示す概略図である。図２は、車両１が用いられる鉱山システムを示す概略図である。図３は、車両１の駆動構成を示す概略図である。図４は、車両１が走行する路面状況を示す概略図である。図５は、車両１の外界環境計測部１２の各カメラ１１ａ，１１ｂにて撮像した視差画像を示す図で、（ａ）はカメラ１１ａの撮像画像、（ｂ）はカメラ１１ｂの撮像画像である。図６は、２台のカメラ１１ａ，１１ｂにて検出した図５（ａ）および図５（ｂ）に示す二次元の視差画像情報から外界環境計測部１２にて算出された画像情報を示す図である。図７は、車両１の外界環境計測部１２にて取得した画像の処理を示す図で、（ａ）は撮像画像、（ｂ）は平面領域抽出画像（ｃ）は路面領域推定画像である。そして、図６および図７（ａ）に示す視差画像中の物体の色情報を有し肉眼で見たままのような画像をアピアランス・イメージと呼ぶ。アピアランス・イメージには視差画像中の各画素に対応した色情報が含まれる。
【００２６】
車両１は、図２に示すように、鉱山に予め設けられたオフロード環境下の走行路（搬送路）である路面Ｒを自律運転で走行可能な無人走行式とされている。鉱山には、車両１との間で所定の情報を送受信したり、車両１の走行を制御したりする管制センタ３が設置されているとともに、車両１に土砂等の積載物を積載させるための油圧ショベル４等が用いられている。路面Ｒは、障害物検出システムによる障害物検出エリアであって、その幅方向の両側に路肩Ｓが設けられている。各路肩Ｓには、図４に示すように、盛土Ｂや、油圧ショベル４等にて鉱山を切土して形成された崖である切削面Ｃ等が設けられている。これら盛土Ｂおよび切削面Ｃは、予め定めた所定の高さ以上、例えば１．５ｍ以上の高さに形成されている。
【００２７】
車両１は、図１に示すように、車両本体１ａと、車両本体１ａの前側上方に設けられた運転席１ｂと、車両本体１ａ上に起伏可能に設けられた作業部としてのベッセル１ｃと、車両本体１ａを走行可能に支持する左右の前輪１ｄおよび後輪１ｅとを備えている。車両本体１ａの前側のデッキ１ｆ上には、車両本体１ａの周囲、特に走行方向前方である外界環境を検出するためのステレオカメラ装置１１が取り付けられている。車両１は、ステレオカメラ装置１１にて認識した路面Ｒ上の障害物を検出して回避しながら走行する。デッキ１ｆ上の前側角部には、ＧＰＳ装置１ｇが取り付けられている。ＧＰＳ装置１ｇは、車両本体１ａの走行位置を検出するための位置検出部である。
【００２８】
ステレオカメラ装置１１は、一対のカメラ１１ａ，１１ｂを備え、これら２台のカメラ１１ａ，１１ｂを用いて外界の色情報を有する立体的な三次元の画像情報を取得する。この三次元画像情報には、２台のカメラ１１ａ，１１ｂにて検出した図５（ａ）および図５（ｂ）に示す二次元の視差画像情報の差分から算出される撮像対象までの距離情報を有した視差画像と、図６および図７（ａ）に示すアピアランス・イメージが含まれる。アピアランス・イメージは視差画像中の各画素に対応した色情報を有する。ステレオカメラ装置１１は、車両本体１ａの前側の左右方向の中央部である中心位置に、左右のカメラ１１ａ，１１ｂ間の中心が位置するように取り付けられている。各カメラ１１ａ，１１ｂの焦点距離やレンズの歪みなどの内部パラメータ、および互いの位置関係および車体への設置位置を示す外部パラメータは、互いに同期されている。各カメラ１１ａ，１１ｂは、各光軸が平行となるように車両１前方に向けられ、図１に示すように、これら各カメラ１１ａ，１１ｂの撮像領域１１ｃ，１１ｄの一部が重なり合うように設置されている。
【００２９】
車両１は、図３に示すように、走行駆動装置５を備えている。走行駆動装置５は、動力源であるエンジン５ａと、エンジン５ａにて駆動される発電機５ｂと、発電機５ｂにて発電された電力が供給される電力制御装置５ｃと、後輪１ｅを駆動させるための走行モータ５ｄとを有している。走行モータ５ｄへの供給電力は、電力制御装置５ｃから制御される。電力制御装置５ｃは、車両１に搭載されたコントローラ６にて制御される。
【００３０】
コントローラ６は、電力制御装置５ｃを介して、車両本体１ａを操舵するための操舵装置であるステアリングモータ５ｅや、車両本体１ａを制動させるための、例えばリターダブレーキ等の制動装置であるブレーキ装置５ｆ等の駆動を制御する車載コントローラである。車両本体１ａには、管制センタ１１との間で所定の信号を無線送信するための通信可能な通信部である車載無線装置５ｇが搭載されている。コントローラ６は、少なくとも車両１が走行する走行エリアに関する地図情報が予め記憶された記憶部６ａを備えている。記憶部６ａに記憶されている地図情報には、車両１が走行する路面Ｒ情報や路肩Ｓ位置情報等も含まれる。
【００３１】
＜障害物検出システム＞
障害物検出装置１０は、三次元画像情報から路面Ｒを推定する路面推定装置であるとともに、推定した路面Ｒ上の障害物Ｏを検出するものである。障害物検出装置１０は、路面Ｒ上の、例えば他車両１、作業車、岩石、鉱物、土砂等の障害物を検出するための画像解析装置としてのステレオカメラシステムである。具体的に、障害物検出システム１０は、ステレオカメラ装置１１を備えた外界環境計測部１２と、距離算出部１３と、大域路面位置推定部１４と、路肩検出部１５と、路面領域推定部１６と、障害物検出部１７とを備えている。これら外界環境計測部１２、距離算出部１３、大域路面位置推定部１４、路肩検出部１５、路面領域推定部１６および障害物検出部１７による各処理は、コントローラ６にて行われる。
【００３２】
外界環境計測部１２は、各カメラ１１ａ，１１ｂにて検出される画像情報として、図５（ａ）および図５（ｂ）に示すカメラ取得画像と、これら図５（ａ）および図５（ｂ）に示す各カメラ取得画像の見え方の違いに基づき算出した視差画像とを得ることができる。視差画像は、各カメラ取得画像のどちらかを基準として作成し、例えば図５（ａ）の画像を基準に視差画像を作成する場合は、図５（ａ)で撮像された物体の位置が図５（ｂ）のカメラ取得画像でどこに位置するかを探索する。このとき、これらカメラ取得画像間における位置の差異は、近い物体ほど大きく、遠い物体ほど小さくなる。この差異に基づき、各カメラ１１ａ，１１ｂで撮影した物体の立体的な位置を取得する。この技術は、一般的にステレオマッチングと呼ばれるものである。このとき、図６および図７（ａ）に示すアピアランス・イメージ中の各点（画素）中には視差画像中の物体の色情報が含まれる。アピアランス・イメージは視差画像中の各画素に対応した色情報を有する。外界環境計測部１２は、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて三次元距離情報である三次元画像情報（三次元点群）を取得する画像取得部である。なお、三次元点群は、検出した画像中の各点（画素）が、（ｘ，ｙ，ｚ，ｒ，ｇ，ｂ）の情報を有する点列情報である。さらに、外界環境計測部１２は、障害物検出システム１０の電源をオンオフさせるためのスイッチ（図示せず）がオンされた場合に、初期化処理として、各カメラ１１ａ，１１ｂにてアピアランス・イメージを取得可能としつつ、各カメラ１１ａ，１１ｂのキャリブレーション（較正）データ等を読み込む。
【００３３】
距離算出部１３は、外界環境計測部１２にて検出した三次元画像情報、特に視差画像情報に基づいて、アピアランス・イメージ中の各点における撮像対象までの距離と、その画像中の三次元形状情報を取得する。大域路面位置推定部１４は、外界環境計測部１２にて検出した三次元画像情報が入力され、図７（ｂ）に示す三次元画像情報中の平面領域Ｄ１、すなわち大まかな路面Ｒ位置を推定する平面領域推定部である。大域路面位置推定部１４は、外界環境計測部１２にて検出した三次元画像情報中の各点につき、これら各点の撮像対象までの距離情報を除いた二次元画像情報に圧縮し、この二次元画像情報中の各点の色情報または輝度情報等から、その二次元画像情報における大まかな路面Ｒの位置（平面領域Ｄ１）を検出する。
【００３４】
路肩検出部１５は、外界環境計測部１２にて検出した三次元画像情報から、路面Ｒの両側に設けられている盛土Ｂまたは切削面Ｃ等の路肩Ｓの位置を検出する。路肩検出部１５は、大域路面位置推定部１４にて推定した二次元画像情報中の大まかな路面Ｒ位置情報を、外界環境計測部１２にて検出した三次元画像情報に重ね合せる等して、その三次元画像情報中の大まかな路面Ｒ位置を推定し、この推定した大まかな路面Ｒ位置の両側域を中心とした所定範囲内の領域から、予め定めた所定の高さ、例えば１．０ｍ以上の高さを有する略連続した物体を路肩Ｓとし、この路肩Ｓの位置を検出する。
【００３５】
路面領域推定部１６は、外界環境計測部１２にて検出した三次元画像情報から、その三次元画像情報中の路面領域Ｄ２を推定する。路面領域推定部１６は、路面ベース領域推定部１６ａ、周辺類似領域検出部１６ｂ、および路面領域補完部１６ｃを有している。路面ベース領域推定部１６ａは、障害物検出部１７にて障害物を検出する撮像対象となる路面ベース領域を検出する。路面ベース領域推定部１６ａは、外界環境計測部１２にて検出した三次元画像情報に、路肩検出部１５にて検出した路肩位置情報を重ね合せる等して、その三次元画像情報中の路肩Ｓ位置を特定し、この特定した路肩Ｓ位置を境界とする領域、すなわち路肩Ｓ間の領域を、その三次元画像情報中の路面ベース領域とする。
【００３６】
周辺類似領域検出部１６ｂは、外界環境計測部１２にて検出した三次元画像情報中の各点の色情報および輝度情報に基づき、路面ベース領域推定部１６ａにて推定した路面ベース領域に類似する類似領域を算出する。周辺類似領域検出部１６ｂは、路面ベース領域推定部１６ａにて推定した路面ベース領域における色情報および輝度情報と、外界環境計測部１２にて検出した三次元画像情報中の、距離算出部１３にて撮像対象までの距離を算出できなかった各点の色情報または輝度情報とを比較し、これら色情報または輝度情報の差異が予め定めた所定値以下の場合に、その画像情報中の点を類似領域として算出する。なお、周辺類似領域検出部１６ｂとしては、三次元画像情報中の各点の色情報または輝度情報のいずれか一方のみを用いて類似領域を算出してもよい。
【００３７】
路面領域補完部１６ｃは、路面ベース領域推定部１６ａにて推定した路面ベース領域と、周辺類似領域検出部１６ｂにて検出した類似領域とを重ね合せる等して、路面ベース領域に含まれていない路面領域である補完領域を算出する。路面領域補完部１６ｃは、算出した補完領域を路面ベース領域に加えた領域を、図７（ｃ）に示すように、障害物検出部１７にて障害物を検出する対象領域である路面領域Ｄ２として決定する。すなわち、路面領域補完部１６ｃは、類似領域を加えて路面領域Ｄ２を推定する。
【００３８】
障害物検出部１７は、路面領域推定部１６にて推定した路面領域Ｄ２中の凹凸、すなわち障害物Ｏを検出する。障害物Ｏとしては、他車両１、作業車、岩石、鉱物、土砂等である。作業車としては、油圧ショベル４、グレーダ、ブルドーザ、ロードローダ、パトロールカー等である。障害物検出部１７は、路面領域推定部１６にて推定した路面領域Ｄ２の路面勾配、道幅、カーブの曲率、および起伏率（凹凸度合い）等も検出する。障害物検出部１７は、外界環境計測部１２にて検出した三次元画像情報中の、路面領域補完部１６ｃにて補完された路面領域Ｄ２において、この路面領域Ｄ２の各点の撮像対象までの距離情報（ｚ成分）のばらつき等が、予め定めた所定範囲以上の場合に、予め定めた判定基準に合致すると判定し三次元画像情報中の撮像対象を障害物Ｏとして検出する。障害物検出部１７は、三次元画像情報中の路面領域Ｄ２における各点の距離情報のばらつき範囲、あるいはそのばらつき程度により、障害物Ｏの大きさおよび高さを検出する。
【００３９】
コントローラ６は、ＧＰＳ装置１ｇにて取得した走行位置情報を、記憶部６ａに記憶されている地図情報にあてはめる等して、その地図情報中の走行位置前方の路面領域を、路面領域推定部１６にて推定した路面領域Ｄ２と対比し、これら路面領域が相違する場合に、障害物検出部１７にて検出した障害物Ｏの位置、高さおよび大きさに関する障害物情報を、車載無線装置５ｇを介して管制センタ３へ送信する。
【００４０】
コントローラ６は、障害物検出部１７にて検出した障害物Ｏの高さが、車両１の車高（最低地上高）より低く、かつその障害物Ｏの幅が左右の前輪１ｄおよび後輪１ｅの車輪間隔より小さいと判断した場合に、電力制御装置５ｃ、ステアリングモータ５ｅおよびブレーキ装置５ｆ等を適宜制御して、その障害物Ｏが左右の前輪１ｄおよび後輪１ｅ間を通過、すなわち跨ぐように走行制御して、障害物を回避させる。また、コントローラ６は、障害物検出部１７にて検出した障害物Ｏの高さが、車両１の車高（最低地上高）より高いと判断した場合や、その障害物Ｏの幅が左右の前輪１ｄおよび後輪１ｅの車輪間隔より大きいと判断した場合に、電力制御装置５ｃ、ステアリングモータ５ｅおよびブレーキ装置５ｆ等を適宜制御して、車両１を適宜操舵および速度調整して障害物を回避させる。
【００４１】
＜動作＞
次に、上記第１実施形態に係る障害物検出システムの処理について、図８を参照して説明する。図８は、車両１に搭載された路面推定システムの処理を示すフローチャートである。
【００４２】
障害物検出装置１０の電源がスイッチにてオンされると、外界環境計測部１２の初期化処理が行われる（ステップＳ１、以下単に「Ｓ１」等と示す。）。Ｓ１の初期化処理では、ステレオカメラ１１の各カメラ１１ａ，１１ｂにて、図６および図７（ａ）に示すアピアランス・イメージを取得可能とし、これら各カメラ１１ａ，１１ｂのキャリブレーションデータ等の調整用データを読み込み、これら各カメラ１１ａ，１１ｂにて検出する撮像画像から、図５（ａ）および図５（ｂ）に示す視差画像を算出可能とする。
【００４３】
この後、外界環境計測１２により、各カメラ１１ａ，１１ｂにて検出した各アピアランス・イメージおよび視差画像に基づき、各点の色情報を有する三次元画像が算出される（Ｓ２）。次いで、Ｓ２にて算出した三次元画像中の各点における撮像対象までの距離および三次元形状情報が距離算出部１３にて算出される（Ｓ３）。さらに、上記Ｓ２にて算出された三次元画像情報が大域路面位置推定部１４へ入力され、この三次元画像中の各点につき、これら各点の撮像対象までの距離情報を除いた二次元画像が大域路面位置推定部１４にて算出される。また同時に、二次元画像報中の各点の色情報が予め定めた所定範囲以内の場合は、図７（ｂ）に示すように、路面Ｒの可能性がある領域、すなわち大まかな路面Ｒの位置（平面領域Ｄ１）として検出される（Ｓ４）。
【００４４】
次いで、Ｓ４にて検出した平面領域Ｄ１を、上記Ｓ２にて算出した三次元画像に重ね合せる等して、その三次元画像中の大まかな路面Ｒ位置を推定し、この大まかな路面Ｒ位置の両側域を中心とした所定範囲内の領域から、例えば１．０ｍ以上の高さを有する略連続した物体を路肩Ｓとし、この路肩Ｓの位置が路肩検出部１５にて検出される（Ｓ５）。
【００４５】
この後、上記Ｓ２にて算出した三次元画像に、上記Ｓ５にて検出した路肩Ｓ位置情報を重ね合せる等して、その三次元画像中の路肩Ｓ位置が特定され、この特定した路肩Ｓ間の領域が、路面ベース領域推定部１６ａにて路面ベース領域と推定される（Ｓ６）。Ｓ６にて推定した路面ベース領域における色情報および輝度情報と、上記Ｓ２にて検出した三次元画像中の、上記Ｓ３にて撮像対象までの距離を算出できなかった各点の色情報および輝度情報とが比較され、これら色情報または輝度情報の差異が予め定めた所定値以下の各点が、周辺類似領域検出部１６ｂにより、路面Ｒである可能性が高い領域、すなわち類似領域として算出される（Ｓ７）。
【００４６】
次いで、上記Ｓ６にて推定した路面ベース領域と、上記Ｓ７にて算出した類似領域とを重ね合せる等して、路面ベース領域に含まれていない路面領域、すなわち補完領域が路面領域補完部１６ｃにて算出され、この算出した補完領域を路面ベース領域に加えた領域が、図７（ｃ）に示す路面領域Ｄ２として決定される（Ｓ８）。この後、上記Ｓ２にて検出した三次元画像中の、上記Ｓ８にて決定された路面領域Ｄ２につき、この路面領域Ｄ２の各点の撮像対象までの距離情報のばらつきが、予め定めた所定範囲以上か否かが障害物検出部１７にて判断され、このばらつきが所定範囲以上の部分が障害物Ｏとして検出される（Ｓ９）。なお、Ｓ９においては、上記Ｓ２にて検出した三次元画像中の路面領域Ｄ２における各点の距離情報のばらつき範囲、あるいはそのばらつき程度に応じ、障害物Ｏの大きさおよび高さについても検出される。
【００４７】
この後、ＧＰＳ装置１ｇにて取得した走行位置情報から、記憶部６ａに記憶されている地図情報中の走行位置前方の路面領域がコントローラ９にて算出され、この算出した地図情報中の走行位置の路面領域が、上記Ｓ８にて決定した路面領域Ｄ２と対比され、これら路面領域が一致するか判断される（Ｓ１０）。そして、Ｓ１０において、上記Ｓ８にて決定した路面領域Ｄ２が、地図情報中の走行位置前方の路面領域に相違すると判断された（Ｎｏの）場合は、上記Ｓ９にて障害物Ｏの位置、高さおよび大きさに関する障害物情報が、車載無線装置５ｇを介して管制センタ３へ送信される（Ｓ１１）。
【００４８】
一方、上記Ｓ１０において、上記Ｓ８にて決定した路面領域Ｄ２が、地図情報中の走行位置前方の路面領域に一致すると判断された（Ｙｅｓの）場合、および上記Ｓ１１にて障害物情報が管制センタ３へ送信された場合は、上記Ｓ９にて検出した障害物Ｏの高さが、車両１の車高より低く、かつその障害物Ｏの幅が左右の前輪１ｄおよび後輪１ｅの車輪間隔より小さいか判断される（Ｓ１２）。
【００４９】
Ｓ１２において、上記Ｓ９にて検出した障害物Ｏの高さが、車両１の車高より低く、かつその障害物Ｏの幅が左右の前輪１ｄおよび後輪１ｅの車輪間隔より小さいと判断された（Ｙｅｓの）場合は、上記Ｓ９にて検出した障害物Ｏが左右の前輪１ｄおよび後輪１ｅ間を跨ぐようにコントローラ６にて車両１が走行制御され、障害物Ｏが回避される（Ｓ１３）。一方、上記Ｓ１２において、上記Ｓ９にて検出した障害物Ｏの高さが、車両１の車高より高いと判断した場合、またはその障害物Ｏの幅が左右の前輪１ｄおよび後輪１ｅの車輪間隔より大きいと判断された（Ｎｏの）場合は、上記Ｓ９にて検出した障害物Ｏに衝突しないように、コントローラ６にて車両１が操舵および速度調整され、障害物Ｏが回避される（Ｓ１４）。
【００５０】
なお、上記Ｓ１〜Ｓ１４の処理は、例えば、１秒当たり３０フレーム程度の、予め定めた所定フレームで繰り返して行われており、上記Ｓ９での障害物検出が、例えば０．１秒程度の間隔において継続して検出された場合にのみ、車両１の走行を阻害する障害物Ｏとして検出する構成とすることもできる。
【００５１】
＜作用効果＞
以上により、上記第１実施形態に係る障害物検出システムにおいては、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて撮像し外界環境計測部１２にて算出した三次元画像中の平面領域Ｄ１を大域路面位置推定部１４にて検出した上で、この三次元画像中の距離情報から、三次元画像中の路肩Ｓ位置を路肩検出部１５にて検出している。この結果、大域路面位置推定部１４にて検出した平面領域Ｄ１を、大まかな路面Ｒ位置と推定でき、例えば、この大まかな路面Ｒ位置の両側域を中心とした所定範囲内の領域について路肩検出部１５にて路肩Ｓを検出することにより、路面Ｒの両側に設けられている路肩Ｓを適切に検出することができる。
【００５２】
すなわち、大域路面位置推定部１４にて推定した平面領域Ｄ１に基づき、三次元画像中の路肩Ｓを路肩検出部１５にて検出することにより、路肩検出部１５にて路肩Ｓを検出する必要のある検出領域を狭くすることができる。よって、外界環境計測部１２にて算出した三次元画像中のすべての領域について路肩検出部１５にて路肩Ｓを検出する必要が無くなり、路肩検出部１５による処理量を少なくできるとともに、路肩検出部１５による誤検知を低減できる。したがって、路肩検出部１５による路肩検出処理を簡略化でき、路肩検出部１５による路肩検出の処理時間をより高速化できる。
【００５３】
また、路肩検出部１５にて検出した路肩Ｓ間の領域を、路面領域推定部１６にて路面領域と推定するため、路面Ｒの両側に設けられた各路肩Ｓを路肩検出部１５にて検出することができれば、路面領域推定部１６にて路面領域を自動的に推定することができる。したがって、三次元画像情報中から改めて路面領域を検出等する必要がなく、一方の路肩Ｓから路面領域を推定する場合に比べ、三次元画像中の路面領域を容易かつ適切に推定することができる。よって、鉱山等に設けられた白線等のないオフロード環境下の路面Ｒであっても、両側の路肩Ｓに所定以上の高さを有する盛土Ｂや切削面Ｃが設けられた路面Ｒとすることにより、オフロード環境下における車両１が走行する路面領域を高精度に検出することができ、オフロード環境下における三次元画像中からの路面Ｒの検出処理をより簡略化かつ精度良く行うことができる。
【００５４】
さらに、鉱山に設けられた路面Ｒは、車両１が走行できるように、例えばロードローダ等によって平坦に締め固められているため、他の領域に比べ、照射する光の反射率が大きく、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて撮像した際に、他の領域に比べ輝度が高い傾向にある。そこで、外界環境計測部１２にて計測した三次元画像中の路肩Ｓ間の領域を路面ベース領域とし、この路面ベース領域における色情報および輝度情報と、外界環境計測部１２にて検出した三次元画像中の、距離算出部１３にて撮像対象までの距離を算出できなかった各点の色情報または輝度情報とを比較し、類似する領域を周辺類似領域検出部１６ｂにて類似領域として算出し、これら路面ベース領域と類似領域とを重ね合せた領域を路面領域補完部１６ｃにて路面領域Ｄ２としている。
【００５５】
この結果、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて撮像した三次元画像中の距離情報に基づき路面ベース領域推定部１６ａでは算出できない路面領域Ｄ２についても、路面領域補完部１６ｃにて補完することができる。よって、路面領域推定部１６による路面領域Ｄ２の推定をより精度良く確実に行うことができるから、路面領域推定部１６による路面領域Ｄ２の誤検知を低減することができる。
【００５６】
さらに、ステレオカメラ装置１１の各カメラ１１ａ，１１ｂにて撮像し外界環境計測部１２にて検出した三次元画像中の、路面領域推定部１６にて推定した路面領域Ｄ１についてのみ、障害物検出部１７による障害物検出を行えばよい。したがって、外界環境計測部１２にて算出した三次元画像中のすべての領域について障害物検出部１７にて障害物Ｏを検出する場合に比べ、障害物検出部１７による処理量を少なくできるから、上記路肩検出部１５と同様に、障害物検出部１７による障害物Ｏの検出処理を簡略化でき、障害物検出部１７による障害物検出の処理時間をより高速化できる。
【００５７】
よって、所定以上の高さを有する盛土Ｂまたは切削面Ｃが路肩Ｓに設けられた鉱山等のオフロード環境下においても、路面Ｒ上の障害物Ｏや路面形状を適切かつ精度良く検出することができる。したがって、例えば岩や積荷の落下物等の路面Ｒ上の小さい障害物Ｏや凹凸を高精度に検出することができるため、検出した障害物Ｏや凹凸の高さや大きさに応じて車両１を走行制御して、車両１の事故要因を検出して追突等を回避させることにより、鉱山等のオフロード環境下における車両１の作業効率を高めることができる。よって、車両１の自律走行をより適切に行うことができる。
【００５８】
［第２実施形態］
図９は、本発明の第２実施形態に係る路面推定装置１０による路面検出状況を示す概略図である。本第２実施形態が前述した第１実施形態と異なるのは、第１実施形態は、路肩検出部１５にて検出した路肩Ｓ間の領域を路面領域と推定するのに対し、第２実施形態は、路肩検出部１５にて車両本体１ａに近い側の路肩Ｓを検出し、この検出した路肩Ｓ１から所定範囲の領域を路面領域と推定する。なお、本第２実施形態において、第１実施形態と同一又は対応する部分には同一符号を付している。
【００５９】
＜構成＞
本第２実施形態において、路肩検出部１５は、外界環境計測部１２にて検出した三次元画像情報から、路面Ｒの両側に設けられている路肩Ｓ，Ｓ１の位置を検出するとともに、三次元画像情報中の距離情報から、検出した各路肩Ｓのうちの車両本体１ａに近い側の路肩Ｓ１を特定する。すなわち、路肩検出部１５は、大域路面位置推定部１４にて推定した平面領域Ｄ１を、外界環境計測部１２にて検出した三次元画像に重ね合せる等して、その三次元画像中の平面領域Ｄ１を推定し、この推定した平面領域Ｄ１のうちの車両本体１ａに近い側である通行側の縁部を中心とした所定範囲内から路肩Ｓ１の位置を検出する。
【００６０】
路面ベース領域推定部１６ａは、外界環境計測部１２にて検出した三次元画像に、路肩検出部１５にて検出した路肩Ｓ１の位置を重ね、その三次元画像中の路肩Ｓ１位置を特定し、この特定した路肩Ｓ１位置を通行側の境界、すなわち右側の境界とし、この路肩Ｓ１位置から路面中央へ向かう、例えば２分の１の所定範囲の領域を路面ベース領域とする。周辺類似領域検出部１６ｂは、外界環境計測部１２にて検出した三次元画像中の各点の色情報および輝度情報に基づき、三次元画像の横方向の中心位置よりも車両本体１ａが走行する側、すなわち右側２分の１の領域Ｒ１について、路面ベース領域に類似する類似領域を算出する。路面領域補完部１６ｃは、路面ベース領域と類似領域とに基づいて補完領域を算出し、この補完領域を路面ベース領域に加えた領域を路面領域Ｄ２と決定する。障害物検出部１７は、外界環境計測部１２にて検出した三次元画像中の、路面領域Ｄ２における障害物Ｏを検出する。
【００６１】
＜作用効果＞
以上により、本第２実施形態に係る障害物検出システムにおいては、上記第１実施形態にて奏し得る作用効果に加え、検出した各路肩Ｓ，Ｓ１のうち、車両本体１ａに近い側の路肩Ｓ１を特定し、この路肩Ｓ１を境界とする通行側の路面Ｒ１（路面Ｒの走行側寄りの約２分の１の領域）のみを、障害物Ｏを検出する対象としている。すなわち、車両１の通行が、予め定められている場合においては、車両１が走行する路面Ｒのうちの、衝突等の可能性の高い通行側の路面Ｒ１の状況が重要であり、通行側の路肩Ｓを基準とした通行寄りの路面Ｒ１状況を把握すれば足りる。
【００６２】
したがって、車両１が走行する際に必要となる通行側の路面領域を効率良く推定でき、この通行側の路面領域における障害物検出を効率良く行うことができる。よって、路肩Ｓ間を路面領域と推定する上記第１実施形態に係る障害物検出システムの場合に比べ、走行する路面Ｒ上の重み付けができ、三次元画像中のすべての路面領域を推定する必要がなくなるため、三次元画像から推定する路面領域を狭くすることができる。よって、路肩検出部１５にて路肩Ｓを検出する際の処理量を少なくでき、障害物検出部１７による障害物検出領域を狭くできるから、障害物検出システムによる処理をより簡略化および高速化することができる。
【００６３】
［その他］
なお、本発明は前述した実施形態に限定されるものではなく、様々な変形態様が含まれる。例えば、前述した実施形態は、本発明を分りやすく説明するために説明したものであり、本発明は、必ずしも説明した全ての構成を備えるものに限定されるものではない。
【００６４】
さらに、上記各実施形態においては、鉱山用のダンプトラックを例として車両１を説明したが、例えば、油圧ショベル４、グレーダ、ブルドーザ、ロードローダ、パトロールカー等の作業車の他、鉱山に設けられた路面Ｒを走行する鉱山用作業車両についても、本発明に係る障害物検出システムを搭載することもできる。また、自律走行式の車両１のみならず、オペレータの操作にて走行させる有人走行式の車両１であってもよい。また、上記各実施形態に係る障害物検出システムとしては、例えば、鉱山の路面Ｒを走行する鉱山用作業車両（他車両）を検出する車両検出システム等としてもよい。
【００６５】
またさらに、上記各実施形態においては、障害物検出システムによるすべての処理を車両１に搭載した障害物検出装置１０で行う構成としたが、車載無線装置５ｇ等を用いて所定の情報の送受信を行うようにし、障害物検出装置１０のうちの少なくともいずれかの処理を、管制センタ３等の車両１以外の場所で行う構成とすることもできる。
【００６６】
また、上記各実施形態においては、外界環境計測部１２としてステレオカメラ装置１１を用いた構成について説明したが、三次元である立体的な画像（立体画像）を取得できればよく、３Ｄのレーザレンジファインダや、２Ｄのレーザレンジファインダに単眼カメラを組み合わせたもののほか、単眼カメラの時差画像を用いて立体画像を取得したり、距離情報が取得可能なレーザスキャナまたはミリ波センサ等のセンサを単眼カメラに組み合わせて立体画像を取得したりする態様であってもよい。
【００６７】
さらに、上記第２実施形態においては、例えば右側通行等の路面Ｒ上の交通区分（走行レーン）に関する情報を記憶部６ａに記憶させ、外界環境計測部１２にて検出した三次元画像情報から、記憶部６ａに記憶された交通区分に関する情報に基づき、路面Ｒの走行側寄りである通行側の路肩Ｓ１の位置のみを検出し、この検出した路肩Ｓ１寄りの路面領域Ｄ２の２分の１の領域Ｒ１中の障害物Ｏを判定する構成としても良い。この場合には、路面Ｒの状況等に応じて車両１の走行レーンが変化する鉱山等においても、その走行レーンに関する情報を記憶部６ａに記憶させ、記憶部６ａに記憶させた走行レーン情報に応じて、車両１の通行側の路肩Ｓ１を検出し、検出した路肩Ｓ１寄りの路面領域の障害物Ｏを検出する構成とすることもできる。
【符号の説明】
【００６８】
１    車両（鉱山用作業車両）
１０  障害物検出装置（路面推定装置）
１１  ステレオカメラ装置
１１ａ，１１ｂ  カメラ
１２  外界環境計測部（画像取得部）
１３  距離算出部
１４  大域路面位置推定部（平面領域推定部）
１５  路肩検出部
１６  路面領域推定部
１６ａ  路面ベース領域推定部
１６ｂ  周辺類似領域検出部（類似領域推定部）
１６ｃ  路面領域補完部
１７  障害物検出部
Ｂ    盛土
Ｃ    切削面
Ｄ１  平面領域
Ｄ２  路面領域
Ｒ    路面
Ｓ    路肩
Ｏ    障害物
【図１】
2015210661.tif 000003
【図２】
2015210661.tif 000004
【図３】
2015210661.tif 000005
【図４】
2015210661.tif 000006
【図５】
2015210661.tif 000007
【図６】
2015210661.tif 000008
【図７】
2015210661.tif 000009
【図８】
2015210661.tif 000010
【図９】
2015210661.tif 000011