(57)【要約】複数のセンサを組み合わせて障害物検出を行う場合において、センサ間の相対位置を検知、センサ間のパラメータを補正し、正確な障害物検出を提供する。３次元形状情報から、第１ランドマークの位置を検出する第１ランドマーク検出部と、第１ランドマーク検出部が検出した第１ランドマークの位置と車両ランドマーク相対位置推定部が推定した第１ランドマークの車両への取付け位置との対応関係を求めるランドマーク対応付け部と、車両ランドマーク相対位置推定部とランドマーク対応付け部との情報に基づき車両と第１計測手段との相対位置姿勢を推定する車両センサ相対姿勢推定部と、を有するキャリブレーションシステム。
2017149813.tif 000002
【特許請求の範囲】
【請求項１】
車両と前記車両に取付けられた第１計測手段の取付け位置との相対位置姿勢を求めるキャリブレーションシステムにおいて、
前記車両、第１ランドマーク、および前記第１ランドマーク周辺の環境の３次元形状情報を取得する３次元形状情報取得手段と、
前記３次元形状情報から、前記第１ランドマークの位置を推定する車両センサ用ランドマーク位置検出部と、
前記３次元形状情報から、前記第１計測手段の前記車両への取付け位置を求める車両センサ位置検出部と、
前記３次元形状情報から、前記車両の位置を推定する車両位置検出部と、
前記車両の位置及び前記第１計測手段の設置位置の相対位置を求める車両ランドマーク相対位置推定部と、
前記３次元形状情報から、前記第１ランドマークの位置を検出する第１ランドマーク検出部と、
前記第１ランドマーク検出部が検出した前記第１ランドマークの位置と前記車両ランドマーク相対位置推定部が推定した前記第１ランドマークの前記車両への取付け位置との対応関係を求めるランドマーク対応付け部と、
前記車両ランドマーク相対位置推定部と前記ランドマーク対応付け部との情報に基づき前記車両と前記第１計測手段との相対位置姿勢を推定する車両センサ相対姿勢推定部と、を有するキャリブレーションシステム。
【請求項２】
請求項１記載のキャリブレーションシステムにおいて、
前記車両に第２計測手段が取り付けられており、
前記キャリブレーションシステムにおいて求めた前記車両と前記第１計測手段または前記第２計測手段との相対位置姿勢に基づき、前記第１計測手段および前記第２計測手段の相対位置姿勢を求める車両センサ相対位置姿勢推定部を有するキャリブレーションシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば自律走行車両向けのセンサ間キャリブレーションシステムに関するものである。
【背景技術】
【０００２】
一般に鉱山においては、土砂の採掘作業および運搬作業として油圧ショベルやダンプトラックなどの鉱山用作業機械が用いられている。鉱山に用いられる鉱山用作業機械としては、安全性や低コスト化の観点から無人化が求められる。ダンプトラックにおいては、単位時間当たりの土砂の運搬量が採掘の進捗度に直結するため、効率の良い運用が求められる。したがって、土砂を効率良く採掘現場の外に大量に運搬するためには、連続運転可能な自律走行式のダンプトラックを用いた鉱山システムが必要とされている。【０００３】
ところが、ダンプトラックを走行させる鉱山の走行路はオフロードであって悪路が多いため、ダンプトラックを自律走行させて無人運転させる際、土壁や他車両等の障害物との衝突が懸念される。仮に、走行路上に障害物が生じ、自律走行式の無人のダンプトラックが障害物と接触して停止した場合には、鉱山の運行を長時間に亘って停止させてしまう。よって、自律走行式のダンプトラックの信頼性を高めるためには、前方車両や走行路上の障害物を早期に検知して、前方車両の追従走行や障害物の回避走行を行わせることが可能な信頼性の高い障害物検知システムが必要となる。【０００４】
従来、この種の前方車両および障害物検知システムとしては、ミリ波レーダ、レーザセンサ、カメラまたはステレオカメラ等の障害物検知装置が用いられている。ミリ波レーダは砂埃や雨などが生じた場合も動作可能な高い耐環境性を有し、測定距離性能も高い。一方で、ステレオカメラやレーザセンサは、三次元形状を計測できるため、路上の障害物を精度よく検出することができる。またこれらのセンサを組み合わせることで、障害物の検出性能を向上させる方法もある。【０００５】
種類の異なる複数のセンサを用いるには各センサの相対位置を正確に把握する必要がある。特に鉱山ダンプに取り付ける場合は車体が大きいため、取り付け時のキャリブレーションの他、経年変化による位置ずれを考慮する必要がある。例えば特許文献１には経年変化により生じた車載カメラと車載レーダの軸ずれをそれぞれのセンサが検出した障害物の位置情報に基づき補正する障害物認識装置が公開されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−２４９６１３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、この手法はセンサの計測領域の大半が重畳していることが前提のため、例えば車両前方に向けて取り付けたセンサと後方に向けて取り付けたセンサではキャリブレーションを行うことが難しい。【０００８】
こういった計測領域が重畳していない、あるいは一部分のみ重畳しているセンサのセンサ間キャリブレーションは、例えば生産時に工場内ですべてのセンサの計測領域内で計測可能な高精度かつ大型のキャリブレーション用のランドマークを設置するか、もしくは複数個の幾何学的な位置関係が高精度に判明しているキャリブレーション用のランドマークを設置し、センサの計測結果からセンサの設置位置及び角度を求めることでセンサ間キャリブレーションを行うことが多い。【０００９】
しかしながら、例えば鉱山ダンプトラックのような大型車両は現地で組み立てることが大半であり、またその作業は地面が十分に整地されていないオフロードの屋外で行われることも多く、高精度にキャリブレーション用のランドマークを設置することが困難であり、またそういった環境下ではキャリブレーション用ランドマークの相対位置は人手で計測するため、計測者の技量に依存してしまい、結果として十分な精度でセンサ間のキャリブレーションを行うことが難しかった。【００１０】
本発明は、以上の課題に鑑みてなされたものであり、複数のセンサを組み合わせて障害物検出を行う場合において、センサ間の相対位置を検知、センサ間のパラメータを補正し、正確な障害物検出を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するための本発明の特徴は、例えば以下の通りである。【００１２】
車両と車両に取付けられた第１計測手段の取付け位置との相対位置姿勢を求めるキャリブレーションシステムにおいて、車両、第１ランドマーク、および第１ランドマーク周辺の環境の３次元形状情報を取得する３次元形状情報取得手段１０１と、３次元形状情報から、第１ランドマークの位置を推定する車両センサ用ランドマーク位置検出部１０４と、３次元形状情報から、第１計測手段の車両への取付け位置を求める車両センサ位置検出部１０３と、３次元形状情報から、車両の位置を推定する車両位置検出部１０２と、車両の位置及び第１計測手段の設置位置の相対位置を求める車両ランドマーク相対位置推定部１０５と、３次元形状情報から、第１ランドマークの位置を検出する第１ランドマーク検出部１０６と、第１ランドマーク検出部１０６が検出した第１ランドマークの位置と車両ランドマーク相対位置推定部１０５が推定した第１ランドマークの車両への取付け位置との対応関係を求めるランドマーク対応付け部１０７と、車両ランドマーク相対位置推定部１０５とランドマーク対応付け部１０７との情報に基づき車両と第１計測手段との相対位置姿勢を推定する車両センサ相対姿勢推定部１０８と、を有するキャリブレーションシステム。
【発明の効果】
【００１３】
本発明により、複数のセンサを組み合わせて障害物検出を行う場合において、センサ間の相対位置を検知、センサ間のパラメータを補正し、正確な障害物検出を提供できる。上記した以外の課題、構成及び効果は以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態の例を示した図である。
【図２】本発明の一実施形態を適用する状況を俯瞰で示した図である。
【図３】本発明の一実施形態の構成を示した図である。
【図４】３次元情報計測部について原理の一例を示した図である。
【図５】車両センサ相対姿勢推定部の動作について説明した図である。
【図６】本発明の一実施形態の適用する状況を俯瞰で示した図である。
【図７】本発明の一実施形態の構成を示した図である。
【発明を実施するための形態】
【００１５】
以下、図面等を用いて、本発明の実施形態について説明する。以下の説明は本発明の内容の具体例を示すものであり、本発明がこれらの説明に限定されるものではなく、本明細書に開示される技術的思想の範囲内において当業者による様々な変更および修正が可能である。また、本発明を説明するための全図において、同一の機能を有するものは、同一の符号を付け、その繰り返しの説明は省略する場合がある。
【実施例１】
【００１６】
本実施例では、車両に取り付けたセンサ位置と車両位置のセンサ車両位置の相対位置姿勢を求めるための実施形態である。【００１７】
図１は、本実施例を利用するシーンの一例について示した図である。車両３と車両３に取付けられた第１計測手段３１の取付け位置との相対位置姿勢を求める。このとき、第１計測手段３１はミリ波レーダ、Ｌｉｄａｒ、カメラ、ステレオカメラ、ＴＯＦセンサなど任意の障害物の位置を検出することが可能な外界センサを用いることが想定される。本実施例では、第１ランドマーク４を第１計測手段の計測範囲３１１に設置する。この状況を俯瞰で示した図を図２に示す。【００１８】
このとき、第１ランドマーク４は第１計測手段３１が容易に計測できるものとするのが望ましい。続いて、本実施例では車両３とその周囲の第１ランドマーク４を含めた環境（車両３、第１ランドマーク４、および第１ランドマーク４周辺の環境）の３次元形状を計測することによって、車両センサ間のキャリブレーションを実現する。３次元点群情報、及び３次元サーフェイス情報のことをここでは３次元形状情報と呼ぶこととする。このとき、３次元形状を計測する方法としては、例えば、図１に示すような無人航空機１にカメラやＬｉｄａｒなどの外界センサ２を取り付ける方法などが考えられるが、環境の３次元形状が取得可能であれば、この構成は限定されない。【００１９】
続いて、図３に本実施例の概要について示す。本実施例では、まず、車両３と第１計測手段３１の相対位置を求めるために、３次元形状情報取得手段１０１によって車両３と第１計測手段３１及び第１ランドマーク４を含めた環境の３次元形状の形状を計測する。このとき３次元形状情報は例えば無人航空機、及び有人航空機、人工衛星などの機体にカメラ、ＬＩＤＡＲ、ミリ波レーダ、超音波センサ及びそれに類する環境の形状もしくは環境の輝度、色情報、温度情報を取得することが可能なセンサを取り付け、計測し、取得したものとするが、３次元形状情報が取得可能であればこの構成は限定されない。【００２０】
一例として、図４に無人航空機１に外界センサ２として単眼カメラを取り付けたものによる３次元形状取得方法の構成を示す。なお、このとき単眼カメラは可視光を計測可能なカメラの他に赤外線カメラ、もしくは遠赤外線カメラでも可能である。【００２１】
この構成ではまず、無人航空機１に単眼カメラを取り付け、環境地図を作成したい箇所の上空を飛行させる。この際に、単眼カメラで連続撮影を行う。このとき、撮影した画像の前後が８０％前後、横が６０％前後他の撮影した画像と重なるよう撮影するのが望ましいとされている。この撮影した画像群をセンサデータ蓄積部１１に蓄える。この画像群を用いて、３次元点群生成部１２でＳｔｒｕｃｔｕｒｅ  ｆｒｏｍ  Ｍｏｔｉｏｎ（ＳｆＭ）及びＭｕｌｔｉ  Ｖｉｅｗ  Ｓｔｅｒｅｏ（ＭＶＳ）を用いることで、環境の３次元点群情報を得ることができる。この３次元点群情報を元に、サーフェイス生成部１３ではこれをメッシュ化し、テクスチャ情報とサーフェイスの法線ベクトル情報を有した３次元サーフェイス情報を生成する。この３次元形状情報を３次元形状情報格納部１４に保存する。なおこれらの技術に関しては、公知の技術のため、ここでは割愛する。【００２２】
続いて、３次元形状情報取得手段１０１を用いて得られた車両３と第１計測手段３１及び第１ランドマーク４と周囲の環境情報を有した３次元形状情報を用いて、車両位置検出部１０２は車両３の車両位置を検出する。車両３の車両位置を検出する方法としては例えば、車両の前後左右の車輪の形状情報もしくは画像情報を事前に登録し、計測した３次元形状情報からテンプレートマッチング処理やＳＩＦＴ特徴やＳＵＲＦ特徴などに代表される画像局所特徴点のマッチングにより、対応箇所を探索し、車両３の車両位置を特定する。このとき、探索がしやすいように車両に色や形状が車両に対して特徴的なマーカを取り付けても良い。【００２３】
続いて、車両センサ位置検出部１０３は、３次元形状情報取得手段１０１が取得した３次元形状情報から、第１計測手段３１の設置位置（車両３への取付け位置）を検出する。第１計測手段３１の位置を検出する方法としては例えば、第１計測手段３１の形状情報もしくは画像情報を事前に登録し、計測した３次元形状情報からテンプレートマッチング処理やＳＩＦＴ特徴やＳＵＲＦ特徴などに代表される画像局所特徴点のマッチングにより、対応箇所を探索し、第１計測手段３１の設置位置を特定する。このとき、探索がしやすいようにランドマークに色や形状が特徴的なマーカを取り付けても良い。【００２４】
続いて、車両センサ用ランドマーク検出部１０４は、３次元形状情報取得手段１０１が取得した３次元形状情報から、車両センサ用の第１ランドマーク４の位置を検出する。第１ランドマーク４の位置を検出する方法としては例えば、第１ランドマーク４の形状情報もしくは画像情報を事前に登録し、計測した３次元形状情報からテンプレートマッチング処理やＳＩＦＴ特徴やＳＵＲＦ特徴などに代表される画像局所特徴点のマッチングにより、対応箇所を探索し、第１ランドマーク４の位置を特定する。このとき、探索がしやすいようにランドマークに色や形状が特徴的なマーカを取り付けても良い。【００２５】
車両位置検出部１０２及び車両センサ位置検出部１０３及び車両センサ用ランドマーク検出部１０４が検出した各ターゲットの位置情報を元に、車両ランドマーク相対位置推定部１０５では、車両３の車両位置及び、第１計測手段３１の設置位置の相対位置を求める。このとき相対位置を求める方法としては３次元形状情報取得手段１０１によって、車両３及び第１ランドマーク４とその周辺の環境を３次元形状情報として有しており、その情報から各ターゲットの位置を求めているため、相対位置は自明である。【００２６】
続いて、第１計測手段３１が計測した情報から、第１ランドマーク検出部１０６において計測領域内にある第１ランドマーク４の位置を検出する。第１ランドマーク４の位置を検出する方法としては例えば、第１ランドマーク４の形状情報もしくは画像情報を事前に登録し、計測した３次元形状情報からテンプレートマッチング処理やＳＩＦＴ特徴やＳＵＲＦ特徴などに代表される画像局所特徴点のマッチングにより、対応箇所を探索し、第１ランドマーク４の位置を特定する。このとき、探索がしやすいようにランドマークに色や形状が特徴的なマーカを取り付けても良い。もしくは第１計測手段３１がミリ波センサやＬｉｄａｒなどに該当する場合は例えば、ランドマークの素材を第１計測手段３１にとって反射強度の高い素材にすることにより、第１ランドマーク４の反射強度を高くすることで、第１ランドマーク４を環境に対して特徴的にする方法がある。【００２７】
続いて、ランドマーク対応付け部１０７において第１ランドマーク検出部１０６が検出したランドマーク位置情報と車両ランドマーク相対位置推定部１０５が推定したランドマークの位置を比較する。そして、第１ランドマーク検出部１０６が推定した第１ランドマーク４の相対位置に対して、車両ランドマーク相対位置推定部１０５が推定した第１ランドマーク４の相対位置が事前に設定した閾値以内にあった場合、それぞれの検出結果が同じランドマークを検出していると判断する。【００２８】
車両センサ相対姿勢推定部１０８において、車両ランドマーク相対位置推定部１０５とランドマーク対応付け部１０７との情報に基づき、車両センサの相対姿勢（車両３と第１計測手段３１との相対位置姿勢）を推定する。【００２９】
図５に、車両センサ相対姿勢推定部１０８の動作について解説した図を示す。車両ランドマーク相対位置推定部１０５が検出した第１計測手段３１を基準とした第１ランドマーク４の位置を俯瞰的に表したものが右上図であり、第１ランドマーク検出部１０６が検出したランドマークの相対位置情報を俯瞰的に示したものが左上図である。こちらを第１計測手段３１の設置位置を中心とした座標系で表し、重畳させたものが図５の下図である。第１計測手段３１の設置位置と、それぞれが検出、推定した第１ランドマーク４の位置を結び、その角度がどの程度異なるかに基づいて第１計測手段３１の設置姿勢を求める。
以上により、第１計測手段３１と車両３の相対位置を求めることができる。つまり、本実施例に係るセンサキャリブレーションシステムにおいては、例えばＵＡＶなどを用いた３次元形状情報取得手段により、キャリブレーション用のランドマークの位置及び形状を正確に測定し、かつ車両位置を推定することで、どの環境下においても高精度なセンサ間位置及びセンサ車両間の位置を高精度に推定、補正することができる。これにより、センサを用いた障害物検出システムを健全に動作させることが可能となる。【００３０】
なお、事前に指定された車両センサの設置位置に比べ、計測された車両センサと車体との設置位置が大きく異なっていた場合、事前に指定された車両センサの設置位置姿勢もしくはその差分位置姿勢をユーザーに提示するセンサ推奨設置位置提示部があってもよい。
【実施例２】
【００３１】
本実施例は、車両に取り付けた複数のセンサの相対位置を求めることを目的とした実施形態である。図６に第１計測手段３１と第２計測手段３２を取り付けた例を示す。車両３に取り付けた第１計測手段３１と第２計測手段３２の相対位置姿勢を求める。このとき、第１計測手段及び第２計測手段はミリ波レーダ、Ｌｉｄａｒ、カメラ、ステレオカメラ、ＴＯＦセンサなど任意の障害物の位置を検出することが可能な外界センサを用いることが想定される。
このとき第１計測手段３１と第２計測手段３２は異なる種類の外界センサでも問題ない。本実施例では、第１ランドマーク４を第１計測手段の計測範囲３１１に設置し、第２ランドマーク５を第２計測手段の計測範囲３２１に設置する。図６は、この状況を俯瞰で示している。このとき、第１ランドマーク４は第１計測手段３１が容易に計測できるものとするのが望ましく、また、第２ランドマーク５は第２計測手段３２が容易に計測できるものとするのが望ましい。また、これらのランドマークは周囲の地形形状や木々、設置物などがあれば、それらも代用することができる。【００３２】
図７に本実施例の概要について示す。本実施形態は第１実施形態に対して、第２計測手段３２及び第２ランドマーク検出部１０９及び車両センサ相対位置姿勢推定部１１０を加えたものである。【００３３】
第２計測手段３２及び第２ランドマーク検出部１０９においては第１実施形態において説明した第１計測手段３１及び第１ランドマーク検出部１０６とほぼ同様に動作する。【００３４】
車両センサ相対位置姿勢推定部１１０は、車両センサ相対姿勢推定部１０８において推定した第１計測手段３１と車両３の相対位置姿勢と第２計測手段３２と車両３の相対位置姿勢から、幾何学的に第１計測手段３１と第２計測手段３２の相対位置姿勢を求める。
【符号の説明】
【００３５】
１  無人航空機、２  外界センサ、３  車両、４  第１ランドマーク、５  第２ランドマーク、１１  センサデータ蓄積部、１２  ３次元点群生成部、１３  サーフェイス生成部、１４  ３次元形状情報格納部、３１  第１計測手段、３２  第２計測手段、１０１  ３次元形状情報取得手段、１０２  車両位置検出部、１０３  車両センサ位置検出部、１０４  車両センサ用ランドマーク検出部、１０５  車両ランドマーク相対位置推定部、１０６  第１ランドマーク検出部、１０７  ランドマーク対応付け部、１０８  車両センサ相対姿勢推定部、１０９  第２ランドマーク検出部、１１０  車両センサ相対位置姿勢推定部１１０、３１１  第１計測手段の計測範囲、３２１  第２計測手段の計測範囲
【図１】
2017149813.tif 000003
【図２】
2017149813.tif 000004
【図３】
2017149813.tif 000005
【図４】
2017149813.tif 000006
【図５】
2017149813.tif 000007
【図６】
2017149813.tif 000008
【図７】
2017149813.tif 000009
【国際調査報告】
2017149813.tif 000010
2017149813.tif 000011
2017149813.tif 000012
2017149813.tif 000013
2017149813.tif 000014
2017149813.tif 000015