(57)【要約】【課題】自律移動装置において、例えば草むらなどが存在する進路において、草むらなどの上面を走行可能な平面として検出してしまうことを防止する。【解決手段】複数のカメラ３ａＬ，３ａＲにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出する制御手段とを備え、第１の波長帯域の反射率と第２の波長帯域の反射率との比が所定値よりも高い点を植物の葉と判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行う。【選択図】図１
2011013803.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラにより、基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、
前記撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出する制御手段と
を備え、
前記基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする周囲形状検出装置。
【請求項２】
周囲を撮像するカメラと、
周囲の形状を３次元データ群として取得する形状計測手段と、
前記３次元データ群から３点以上の３次元データをサンプリングし、サンプリングされた３次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する制御手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出する
ことを特徴とする周囲形状検出装置。
【請求項３】
移動可能となされた走行部と、
前記走行部に搭載された複数のカメラにより、基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、
前記走行部に搭載され、前記撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出し、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる制御手段と
を備え、
前記基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする自律移動装置。
【請求項４】
移動可能となされた走行部と、
前記走行部に搭載され、この走行部の周囲を撮像するカメラと、
前記走行部に搭載され、この走行部の周囲の形状を３次元データ群として取得する形状計測手段と、
前記走行部に搭載され、前記３次元データ群から３点以上の３次元データをサンプリングし、サンプリングされた３次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する制御手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出する
ことを特徴とする自律移動装置。
【請求項５】
操縦可能な移動体に搭載された複数のカメラにより、基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、
前記移動体に搭載され、前記撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出する制御手段と
前記制御手段により制御される表示手段と
を備え、
前記基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする移動体の操縦補助装置。
【請求項６】
操縦可能な移動体に搭載され、この移動体の周囲を撮像するカメラと、
前記移動体に搭載され、この移動体の周囲の形状を３次元データ群として取得する形状計測手段と、
前記移動体に搭載され、前記３次元データ群から３点以上の３次元データをサンプリングし、サンプリングされた３次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する制御手段と
前記制御手段により制御される表示手段と
を備え、
前記カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、
前記制御手段は、前記撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出する
ことを特徴とする移動体の操縦補助装置。
【請求項７】
基準画像と参照画像とを含むステレオ画像を複数のカメラにより撮像し、
前記ステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行う周囲形状検出方法であって、
前記基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、前記基準画像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記基準画像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする周囲形状検出方法。
【請求項８】
周囲の形状を３次元データ群として取得し、
前記３次元データ群から３点以上の３次元データをサンプリングし、サンプリングされた３次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出する周囲形状検出方法であって、
植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するカメラを用いて、このカメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出する
ことを特徴とする周囲形状検出方法。
【請求項９】
移動可能となされた走行部と、この走行部に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段とを有する自律移動装置を制御する方法であって、
前記基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、
前記撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、ステレオ画像中の平面領域を抽出するとともに抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出し、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる
ことを特徴とする自律移動装置の制御方法。
【請求項１０】
移動可能となされた走行部と、この走行部に搭載され前記走行部の周囲を撮像するカメラと、前記走行部に搭載され前記走行部の周囲の形状を３次元データ群として取得する形状計測手段とを有する自律移動装置を制御する方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、
前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記３次元データ群から３点以上の３次元データをサンプリングし、サンプリングされた３次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出するとともに、この移動可能領域内において移動予定路を決定し、前記走行部を制御して前記移動予定路上を移動させる
ことを特徴とする自律移動装置の制御方法。
【請求項１１】
操縦可能な移動体に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段を用いて、前記ステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに、抽出された前記平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出して、前記移動体の操縦者を補助する操縦補助方法であって、
前記基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、
前記撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、前記平面領域の抽出及び物体検出処理を行う
ことを特徴とする移動体の操縦補助方法。
【請求項１２】
操縦可能な移動体に搭載されこの移動体の周囲を撮像するカメラと、前記移動体に搭載され前記移動体の周囲の形状を３次元データ群として取得する形状計測手段とを用いて、前記３次元データ群から３点以上の３次元データをサンプリングし、サンプリングされた３次元データからハフ変換により平面を計算し、その平面に近いサンプル点を移動可能領域として抽出して、前記移動体の操縦者を補助する操縦補助方法であって、
前記カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と、植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、
前記カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、前記形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出する
ことを特徴とする移動体の操縦補助方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、周囲形状検出装置、周囲の形状を検出して自律移動を行う自律移動装置、周囲形状検出方法及び自律移動装置の制御方法、並びに、人間が行う移動体の操縦を補助する移動体の操縦補助装置及び移動体の操縦補助方法に関する。
【背景技術】
【０００２】
従来、周囲形状検出及び制御装置を搭載し、周囲形状検出によって周囲の形状を検出し、この検出結果に基づいて制御装置によって制御されて、自律移動を行う自律移動装置が提案されている。この自律移動装置は、周囲の障害物を避けながら所定の目標地点に到達するように、自らが決定した移動ルート上を移動する。また、このような制御装置は、人間が行う移動体の操縦の補助を行うこともできる。
【０００３】
自律移動の制御や操縦補助を行う制御装置においては、周囲の状況についての情報を得て、この情報に基づいて、安全に目的地に向かうことができる進路を決定する。そして、制御装置は、自律移動を行う場合には、決定した進路上を移動するように移動体を制御し、操縦補助を行う場合には、決定した進路を表示手段などにより操縦者に伝達する。
【０００４】
道路外や不整地などにおいて移動体の自律移動を実現するには、制御装置は、図９に示すように、移動体１０１に装備したレーザレンジファインダなどのセンサ１０２により、地面や地上に存在する構造物１０３や樹木の立体形状をスキャンして計測し、起伏の変化が小さい平坦部分を検出する。そして、制御装置は、図１０に示すように、計測結果に基づいて、平坦部分を通過するように進路を決定し、この進路に沿って移動体を制御する。
【０００５】
また、制御装置は、操縦補助を行う場合には、安全性向上のため、地面や地上に存在する周囲の形状を検出し、危険距離まで接近した場合には、回避、または、停止するように移動体を制御し、あるいは、操縦者に危険を知らせる。
【０００６】
周囲の形状から走行可能な平面部を検出する方法として、特許文献１には、２個以上のカメラを組み合わせたステレオカメラにより周囲の三次元位置を計測し、その位置の分布を用いて、平面パラメータ空間に投票を行い、最も投票が多いパラメータを選択し、そのパラメータに一致する部分を検出平面とする方法が記載されている。
【０００７】
また、特許文献２には、周囲の形状から平面部を検出する方法として、移動体に固定した２つのカメラで撮影された基準画像及び参照画像のうち、参照画像を仮定した平面パラメータに基づく射影変換により、基準画像を撮影したカメラ上からどのように見えるかを推定し、その推定基準画像を実際の基準画像と比較した結果（差分の絶対値の画像）を得る画像処理の下、この比較結果が最も一致度が高くなるように平面パラメータを推定する方法が記載されている。この方法においては、求めた平面パラメータを用いて、先ほどと同様に推定基準画像を実際の基準画像と比較した結果（差分の絶対値の画像）のなかで差分が小さい部分を平面として検出する。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００３−２７１９７５号公報
【特許文献２】特開２００６−５４６８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、図１１中の（ａ）及び（ｂ）に示すように、道路上などに草むら１０４が茂っている地形（公園や河原など）においては、図１２に示すように、草むら１０４の上面がある程度のバラつきを持ちつつなだらかな面を構成する場合があり、しかも広い面積を持つ場合がある。このような場合、特許文献１及び特許文献２に記載された従来の自律移動装置においては、草むら１０４の上面を走行可能な平面として検出してしまう虞がある。
【００１０】
そこで、本発明は、前述の実情に鑑みて提案されるものであり、例えば草むらなどが存在する進路において、草むらなどの上面を走行可能な平面として検出してしまうことが防止された周囲形状検出装置及び周囲形状検出方法を提供し、また、このような周囲形状検出装置を用いることにより円滑な移動を行うことができるようになされた自律移動装置及び自律移動装置の制御方法を提供し、また、このような移動体の操縦補助装置及び移動体の操縦補助方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
前述の課題を解決し、前記目的を達成するため、本発明は、以下の構成のいずれか一を有するものである。
【００１２】
〔構成１〕
本発明に係る周囲形状検出装置は、複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出する制御手段とを備え、基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【００１３】
〔構成２〕
本発明に係る周囲形状検出装置は、周囲を撮像するカメラと、周囲の形状を３次元データ群として取得する形状計測手段と、３次元データ群から３点以上の３次元データをサンプリングしサンプリングされた３次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出することを特徴とするものである。
【００１４】
〔構成３〕
本発明に係る自律移動装置は、移動可能となされた走行部と、走行部に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、走行部に搭載され撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出しこの移動可能領域内において移動予定路を決定し走行部を制御して移動予定路上を移動させる制御手段とを備え、基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【００１５】
〔構成４〕
本発明に係る自律移動装置は、移動可能となされた走行部と、走行部に搭載されこの走行部の周囲を撮像するカメラと、走行部に搭載されこの走行部の周囲の形状を３次元データ群として取得する形状計測手段と、走行部に搭載され３次元データ群から３点以上の３次元データをサンプリングしサンプリングされた３次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する制御手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出することを特徴とするものである。
【００１６】
〔構成５〕
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段と、移動体に搭載され撮像手段により得られるステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い移動可能領域を検出する制御手段と、制御手段により制御される表示手段とを備え、基準画像を撮像するカメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【００１７】
〔構成６〕
本発明に係る移動体の操縦補助装置は、操縦可能な移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載されこの移動体の周囲の形状を３次元データ群として取得する形状計測手段と、移動体に搭載され３次元データ群から３点以上の３次元データをサンプリングしサンプリングされた３次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する制御手段と、制御手段により制御される表示手段とを備え、カメラは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有し、制御手段は、撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出することを特徴とするものである。
【００１８】
〔構成７〕
本発明に係る周囲形状検出方法は、基準画像と参照画像とを含むステレオ画像を複数のカメラにより撮像し、ステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行う周囲形状検出方法であって、基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、基準画像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、基準画像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【００１９】
〔構成８〕
本発明に係る周囲形状検出方法は、周囲の形状を３次元データ群として取得し、３次元データ群から３点以上の３次元データをサンプリングしサンプリングされた３次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出する周囲形状検出方法であって、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するカメラを用いて、このカメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について平面を抽出して、移動可能領域を検出することを特徴とするものである。
【００２０】
〔構成９〕
本発明に係る自律移動装置の制御方法は、移動可能となされた走行部と、この走行部に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段とを有する自律移動装置を制御する方法であって、基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、ステレオ画像中の平面領域を抽出するとともに抽出された平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出し、この移動可能領域内において移動予定路を決定し、走行部を制御して移動予定路上を移動させることを特徴とするものである。
【００２１】
〔構成１０〕
本発明に係る自律移動装置の制御方法は、移動可能となされた走行部と、この走行部に搭載され走行部の周囲を撮像するカメラと、走行部に搭載され走行部の周囲の形状を３次元データ群として取得する形状計測手段とを有する自律移動装置を制御する方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、３次元データ群から３点以上の３次元データをサンプリングし、サンプリングされた３次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出するとともに、この移動可能領域内において移動予定路を決定し、走行部を制御して移動予定路上を移動させることを特徴とするものである。
【００２２】
〔構成１１〕
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載された複数のカメラにより基準画像と参照画像とを含むステレオ画像を撮像する撮像手段を用いて、ステレオ画像に基づいてこのステレオ画像中の平面領域を抽出するとともに、抽出された平面領域以外の領域に対して物体検出処理を行い、移動可能領域を検出して、移動体の操縦者を補助する操縦補助方法であって、基準画像を撮像するカメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、撮像手段により撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、撮像手段により撮像された像のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面領域の抽出及び物体検出処理を行うことを特徴とするものである。
【００２３】
〔構成１２〕
本発明に係る移動体の操縦補助方法は、操縦可能な移動体に搭載されこの移動体の周囲を撮像するカメラと、移動体に搭載され移動体の周囲の形状を３次元データ群として取得する形状計測手段とを用いて、３次元データ群から３点以上の３次元データをサンプリングし、サンプリングされた３次元データからハフ変換により平面を計算しその平面に近いサンプル点を移動可能領域として抽出して、移動体の操縦者を補助する操縦補助方法であって、カメラとして、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能と植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能とを有するものを用いて、カメラにより撮像された像の各点について、第１の波長帯域の反射率と第２の波長帯域の反射率との比を求め、この反射率が所定値よりも高い点を植物の葉であると判別し、形状計測手段により取得された周囲の形状のうち、植物の葉であると判別された領域を除外し、残余の領域について、平面を抽出して、移動可能領域を検出することを特徴とするものである。
【発明の効果】
【００２４】
本発明においては、走行可能な平面部を検出するにあたって、草むらなど緑葉の領域を除外し、残余の領域について、平面部を検出する。そして、この平面部を走行可能領域として検出する。
【００２５】
したがって、本発明によれば、公園や河原などにおいても、草むらなどの上面を走行可能な平面として検出してしまうことが防止され、移動体を制御して目的地に正しく到達させることが可能になる。
【００２６】
すなわち、本発明は、例えば草むらなどが存在する進路において、草むらなどの上面を走行可能な平面として検出してしまうことが防止された周囲形状検出装置及び周囲形状検出方法を提供し、また、このような周囲形状検出装置を用いることにより円滑な移動を行うことができるようになされた自律移動装置及び自律移動装置の制御方法を提供し、また、このような移動体の操縦補助装置及び移動体の操縦補助方法を提供することができるものである。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る自律移動装置の外観構成を示す側面図である。
【図２】本発明に係る自律移動装置の構成を示すブロック図である。
【図３】本発明における平面領域の手順を示すフローチャートである。
【図４】本発明における平面領域の手順をの他の例を示すフローチャートである。
【図５】図４のステップＳ２０１の前工程を示すフローチャートである。
【図６】本発明に係る自律移動装置において、走行部の移動を制御するための手順を示すフローチャートである。
【図７】本発明に係る自律移動装置におけるカメラの構成を示す平面図である。
【図８】本発明に係る自律移動装置におけるカメラの他の構成を示す平面図である。
【図９】従来の自律移動装置の外観構成を示す側面図である。
【図１０】従来の自律移動装置における移動経路計画を示す平面図である。
【図１１】従来の自律移動装置が植生を跨いで移動する様子を示す平面図（ａ）及び自律移動装置から見た植生の様子を示す斜視図（ｂ）である。
【図１２】草むらの上面がある程度のバラつきを持ちつつ、なだらかな面を構成している状態を示す斜視図である。
【発明を実施するための形態】
【００２８】
以下、本発明の実施の形態を図面に基づいて説明する。
【００２９】
〔自律移動装置の構成〕
図１は、本発明に係る周囲形状検出装置を搭載した本発明に係る自律移動装置の外観構成を示す側面図である。
【００３０】
なお、本発明に係る周囲形状検出方法は、本発明に係る周囲形状検出装置において実行され、また、本発明に係る自律移動装置の制御方法は、本発明に係る自律移動装置において実行される。
【００３１】
本発明に係る自律移動装置は、図１に示すように、移動可能となされた走行部１を有し、この走行部１に、ステレオカメラ３ａＬ，３ａＲを含む複数のカメラにより基準画像と参照画像とを撮像する撮像手段が搭載されて構成されている。
【００３２】
なお、走行部１には、この走行部１の周囲の形状を計測するレーザレンジファインダ（ＬＲＦ）２を搭載してもよい。このレーザレンジファインダ２は、ラインスキャン（２次元スキャン）型、または、面スキャン（３次元スキャン）型のレーザレンジファインダであって、走行部１から周囲の形状までの距離情報を得ることができる。
【００３３】
複数のカメラ３ａＬ，３ａＲのうち、少なくとも基準画像を撮像する一方のカメラ３ａＬは、植物の葉の分光反射率において反射率の高い第１の波長帯域の像を撮像する機能を有する第１のカメラ３ａ及び植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域の像を撮像する機能を有する第２のカメラ３ｂとして構成されている。すなわち、一方のカメラ３ａＬは、同一の像について２つの波長の像に分離して撮影する機能を有している。
【００３４】
植物の葉の分光反射率において反射率の高い第１の波長帯域は、例えば、８００ｎｍ乃至１３００ｎｍである。第１のカメラ３ａは、この第１の波長帯域のうちの幅１００ｎｍ以上の波長域の光を透過させる第１のフィルタを備え、この第１のフィルタを透過した光を撮像するように構成されている。なお、第１のフィルタにおける透過光の波長幅を過度に狭くすると、撮像される光量が少なくなり、相対的にノイズが増大し、Ｓ／Ｎが悪くなる。
【００３５】
植物の葉の分光反射率において反射率が局所的に低い第２の波長帯域は、葉の構成要素の吸収が生じている波長帯域であり、例えば、クロロフィルの吸収帯である６４０ｎｍ±４０ｎｍである。第２のカメラ３ｂは、この第２の波長帯域のうちの幅３０ｎｍ乃至１００ｎｍ程度の波長域の光を透過させる第２のフィルタを備え、この第２のフィルタを透過した光を撮像するように構成されている。第２のフィルタにおける透過光の波長幅を過度に狭くすると、撮像される光量が少なくなり、相対的にノイズが増大しＳ／Ｎが悪くなるので、中心波長に対する幅８０ｎｍ程度を透過させるフィルタが好適である。
【００３６】
なお、第２の波長帯域は、水の吸収帯としてもよい。例えば、１２４０ｎｍ±１０ｎｍ（フィルタの透過幅を１０ｎｍ〜５０ｎｍとする）、１４５０ｎｍ±５０ｎｍ（フィルタの透過幅５０ｎｍ〜１５０ｎｍとする）、１９４０ｎｍ±１００ｎｍ（フィルタの透過幅５０ｎｍ〜２５０ｎｍとする）などである。
【００３７】
このようにして、第１及び第２のカメラ３ａ，３ｂは、撮像対象からの光量を２次元の受光素子で計測し、この光量に比例する値を輝度値として測定することができる。
【００３８】
図２は、本発明に係る自律移動装置の構成を示すブロック図である。
【００３９】
そして、図２に示すように、走行部１内には、制御手段２１が搭載されている。この制御手段２１は、撮像手段により得られるステレオ画像に基づいて、このステレオ画像中の平面領域を抽出するとともに、抽出された平面領域以外の領域に対して物体検出処理を行う。また、この制御手段２１は、平面領域を移動可能領域として検出し、この移動可能領域内において移動予定路を決定し、走行部１を制御して移動予定路上を移動させる。
【００４０】
制御手段２１には、撮像手段の他に、レーザレンジファインダ２、ジャイロ２２及びＧＰＳ（受信機）２３などを接続してもよい。制御手段２１は、第１及び第２のカメラ３ａ，３ｂからの情報に基づいて、後述するように、植物の葉（植生）の検出を行う。また、制御手段２１は、撮像手段により得られるステレオ画像に基づいて、後述するように、ステレオ画像中の平面領域を抽出する。また、制御手段２１は、レーザレンジファインダ２及びジャイロ２２からの情報について、撮像手段による撮影時のカメラ座標への変換を行う。そして、制御手段２１は、撮像手段により得られるステレオ画像上において対応する植生情報を獲得する。
【００４１】
さらに、制御手段２１は、検出された植物の葉（植生）の位置及び抽出された平面領域に基づいて、障害物の有無、すなわち、通行可能かの判定を行い、通行可能エリアを示す地図を作成する。このとき、平面領域の抽出については、植物の葉（植生）の領域を除外した残余の部分について、平面領域を抽出する。
【００４２】
このようにして作成された通行可能エリアを示す地図に基づき、制御手段２１は、移動予定計画を生成し、また、ＧＰＳ（受信機）２３からの情報に基づいて、軌道ずれを補正する行動計算を行う。この計算結果に基づき、制御手段２１は、ステアリング指示角及びアクセル指示量を計算する。
【００４３】
制御手段２１には、ブレーキ駆動モータ２４、アクセル駆動モータ２５及びステアリング駆動モータ２６が接続されている。制御手段２１は、計算されたステアリング指示角及びアクセル指示量に基づいて、これらブレーキ駆動モータ２４、アクセル駆動モータ２５及びステアリング駆動モータ２６を制御する。ブレーキ駆動モータ２４は、ブレーキ２７を駆動する。アクセル駆動モータ２５は、アクセル２８を駆動する。ステアリング駆動モータ２６は、ステアリング２９を駆動する。走行部１は、これらブレーキ２７、アクセル２８及びステアリング２９が駆動されることにより、移動予定路上を移動する。
【００４４】
〔植物の葉（植生）の検出〕
制御手段２１は、撮像手段により撮像された像の各点について、第１の波長帯域の輝度と第２の波長帯域の輝度との比を求め、この輝度比が所定値よりも高い点を植物の葉であると判別する。すなわち、制御手段は、空間上で対応する同じ位置の点における第１の波長帯域の輝度と第２の波長帯域の輝度との比率を求めて、この比率の大小により、植物の葉の判別を行う。
【００４５】
この判別を行うには、空間上で対応する同じ位置の各点について、輝度値の比に基づき、反射率比RefRate（第１の波長帯域の反射率／第２の波長帯域の反射率）を求める。
【００４６】
【数１】
2011013803.tif 000003
・・・・（式１）
反射率比RefRateは、計測された各波長帯の輝度値の比（Ｖ１／Ｖ２）に、係数（RefBase）を掛け、その時の露光時間の比（Ｅ１／Ｅ２）及びゲインの比（Ｋ１／Ｋ２）で除算することで求める。係数（RefBase）はカメラ３ａＬ，３ｂの受光素子の効率やゲイン係数、光源の分光光量比を補正するための値であり、既知反射率を持つ校正用の撮影対象を事前に、もしくは、計測と同時に撮影することにより求めることができる。
【００４７】
そして、制御手段２１は、この反射率比が、２．０乃至３．０の間の所定の値、例えば、２．５より大きい箇所を植物の葉（植生）と判断する。以下の〔表１〕に示すように、日照下において、ＮＩＲ（近赤外光（８５０ｎｍ〜１０００ｎｍ））の反射率とＶＩＳＲ（可視赤色光（６００ｎｍ〜６８０ｎｍ））の反射率との反射率比は、植物では３．０以上となり、非植物では２．０以下となっているので、２．０乃至３．０の間の所定の値を閾値とすることにより、植物の有無を判断することができる。
【００４８】
【表１】
2011013803.tif 000004
なお、制御手段２１は、撮像手段により得られたステレオ画像のうち、植物の葉であると判別された箇所については、この形状を避けるか否かを判断するための高さの閾値を変更し、この形状を避けるか否かを判断するようにしてもよい。
【００４９】
〔平面領域の抽出〕
図３は、本発明における平面領域の手順を示すフローチャートである。
【００５０】
平面領域の抽出は、以下のようにして行う。
【００５１】
すなわち、図３に示すように、まず、一方のカメラ（基準カメラ）３ａＬ及び他方のカメラ（参照カメラ）３ａＲにより、走行部１が走行する道路平面領域を含む基準画像及び参照画像を所定の時間間隔で撮像し、制御手段２１において所定の画像処理を行った後、各時間毎の画像情報として記憶する（ステップＳ１０１）。
【００５２】
次に、参照画像中の道路平面領域を、基準画像中の道路平面領域に２次元射影変換する射影変換行列を動的に算出する（ステップＳ１０２）。
【００５３】
そして、ステップＳ１０２で算出した射影変換行列を用いて、基準画像から道路平面領域を抽出する（ステップＳ１０３）。
【００５４】
次に、道路平面の法線ベクトル及び一方のカメラ（基準カメラ）３ａＬの光学中心から道路平面までの距離を平面パラメータとして算出する（ステップＳ１０４）。
【００５５】
次に、ステップＳ１０４で算出した平面パラメータを用いて、ステップＳ１０３で抽出した道路平面領域を道路面上に変換して、障害物となる可能性のある物体を検出し、もしくは、ステップＳ１０３で抽出した道路平面領域以外の領域に対してステレオ計測することにより、物体を検出する（ステップＳ１０５）。
【００５６】
そして、抽出された各物体の時間毎の位置変化から、走行部１に対する各物体の相対速度ベクトルを算出する（ステップＳ１０６）。
【００５７】
さらに、ステップＳ１０４で算出した道路平面の傾きである法線ベクトルを用いて、道路面を上方から見た画像である仮想投影面（ＶＰＰ）画像を生成する（ステップＳ１０７）。
【００５８】
そして、ステップＳ１０７で生成されたＶＰＰ画像の各時刻での位置から走行部１の速度ベクトルを算出する（ステップＳ１０８）。
【００５９】
さらに、ステップＳ１０６で算出した物体の相対速度ベクトルと、ステップＳ１０８で算出した走行部１の速度ベクトルとを用いて、各物体の絶対速度ベクトルを算出する（ステップＳ１０９）。
【００６０】
〔平面領域の抽出の他の例〕
図４は、本発明における平面領域の手順をの他の例を示すフローチャートである。
【００６１】
本発明における平面領域の抽出は、以下のように、ハフ変換（Hough Transform）を使用して行ってもよい。
【００６２】
ハフ変換には、Forward Position，Backward Position，Feature Point Pairs等といわれるいくつかの方法がある。以下、これらのハフ変換について、簡単のため、２次元画像平面内の直線検出の例として説明する。元画像からは何らかの画像処理により、エッジ（直線上にのると予想される特徴点）が検出されているものとする。また、特徴点の数をＭとし、元画像の大きさをＬ×Ｌ、投票先のパラメータ空間（投票箱）の大きさをｌ（エル）×ｌ（エル）とする。
【００６３】
Forward Positionでは、元画像の特徴点を順次たどり、各点をパラメータ空間内に写像したときの曲線が通るスロット１つ１つに投票していく。アルゴリズムの複雑度はＯ（Ｍｌ）である。
【００６４】
Backward Positionでは、パラメータ空間内の各スロットを順次操作し、各スロットを元画像に対し逆写像した直線上にのっている特徴点の数をそのスロットの得票とする。アルゴリズムの複雑度はＯ（Ｌｌ２）である。
【００６５】
Feature Point Pairsでは、特徴点２点のあらゆる組み合わせを順次たどり、その２点の組から計算されるパラメータが属するスロッドに得票する。アルゴリズムの複雑度はＯ（Ｍ２）である。
【００６６】
しかしながら、これらのハフ変換により３次元データから平面を抽出する方法は、演算量及び使用メモリが極めて多くなる。これは、次元数が２次元よりも１つ多い上に、全てのデータポイントが特徴点としての意味を有するためである。従って、これらのハフ変換は、３次元データからの平面検出というタスクにおいては、演算量及び使用メモリの観点から何れも現実的ではない。
【００６７】
また、ランダム化ハフ変換（Randomized Hough Transform：ＲＨＴ）と呼ばれるハフ変換がある。このランダム化ハフ変換は、上述したFeature Point Pairsの派生であり、上述の２次元画像平面内においては、特徴点２点のあらゆる組み合わせではなく、ランダムサンプリングによるＫ通りの組み合わせについてのみ処理を行うものである。このアルゴリズムの複雑度はＯ（Ｋ）である。
【００６８】
本発明における平面領域の抽出は、３次元データからランダムにデータをサンプリングして平面パラメータを算出し、ハフ変換（ランダム化ハフ変換：Randomized Hough Transform）、すなわち、平面パラメータを投票空間に直接投票して平面であるか否かを決定するものである。すなわち、Ｎ個の３次元データから、法線ベクトルの向き（θ，φ）を、原点からの距離をｄとしたときの平面パラメータ（θ，φ，ｄ）、すなわち、平面方程式を求める方法である。
【００６９】
この手順においては、まず、撮像手段によるステレオ画像、または、レーザレンジファインダ２によって得られた視差、または、距離情報は、適切なキャリブレーションに基づく変換により、３次元データに変換し、この３次元データの配列を用意しておく。
【００７０】
まず、Ｎ個のデータ（３次元データ）｛ｐ１，ｐ２，ｐ３，…，ｐＮ｝からＭ組のサブセット｛ｐ１１，ｐ２１，ｐ３１，…，ｐＮ１｝，｛ｐ１２，ｐ２２，ｐ３２，…，ｐＮ２｝，…，｛ｐ１Ｍ，ｐ２Ｍ，ｐ３Ｍ，…，ｐＮＭ｝を取り出す（ステップＳ２０１）。このときの「投票総数」をＭとする。
【００７１】
次に、各サブセット｛ｐ１ｉ，ｐ２ｉ，ｐ３ｉ，…，ｐＮｉ｝から、パラメータ（θｉ，φｉ，ｄｉ）を計算する（ステップＳ２０２）。次いで、計算されたパラメータを量子化し、投票先グリッドを決定し、これに対して各パラメータ毎に個別に投票を行う（ステップＳ２０３）。
【００７２】
そして、最終的に投票数が多いパラメータを解とする。すなわち、このパラメータを有する平面を平面として決定する（ステップＳ２０４）。
【００７３】
ここで、ステップＳ２０１でデータを取り出す前に行われる処理について説明する。
【００７４】
図５は、図４のステップＳ２０１の前工程を示すフローチャートである。
【００７５】
ここでは、距離画像、または、視差画像等のような形で得られた３次元座標データ群を処理する方法について説明する。図５に示すように、撮像手段（カメラ３ａＬ，３ａＲ）、または、レーザレンジファインダ２からのデータが入力され、キャリブレーション、または、パラメータ変換されて、３次元のデータ配列が生成される（ステップＳ３０１）。ここで、３次元座標に変換された３次元データ群と共に、この３次元データの信頼度ｒを示す信頼度パラメータがカメラ３ａＬ，３ａＲ、または、レーザレンジファインダ２から入力される（ステップＳ３０２）。この実施の形態においては、ステレオ画像等に基づく距離画像を入力画像とし、ステレオ距離計算の過程で得られる信頼度パラメータを有効利用することができる。また、このような信頼度パラメータが利用不可能である場合には、これを定数と見なすことにより、信頼度パラメータが付随しない３次元データにも直接応用することができる。
【００７６】
信頼度パラメータは、様々な評価値を用いて求めることができるが、この実施の形態においては、テンプレートの分散値による信頼度パラメータの求め方及びマッチングスコアによる信頼度パラメータの求め方の２つの方法について説明する。
【００７７】
上述したように、この実施の形態における３次元データは、ステレオ画像による距離画像を入力としている。ステレオ距離計測では、ステレオ画像中の画素の対応関係をテンプレートマッチングによって探索する。例えば、左の画像を基準画像、右の画像を参照画像とし、マッチングテンプレート内の画素の輝度の分散値を求める。そして、探索する全てのテンプレートの分散値を算出し、分散値の大きさを信頼度パラメータとすることができる。すなわち、分散値が高いほど、信頼度が高いことを示し、分散値が低いほど、信頼度が低いことを示す。
【００７８】
また、マッチングスコアによる信頼度画像の求め方としては、基準画像におけるテンプレートと、参照画像のエピポーララインに沿って選択された領域とを比較し、これらの領域内の画素の輝度の差からマッチングスコア値を算出することができる。そして、マッチングスコア値、最小マッチングスコア値付近におけるピークの幅及びグラフの急峻度値等から、マッチングスコアによる信頼度パラメータを求めることができる。すなわち、マッチングスコア値が低く、最小スコア値付近におけるピークの幅が小さく、グラフの急峻度値が大きいものほど、信頼度が高いことを示す。
【００７９】
このように、各３次元パラメータは個別に信頼度パラメータが算出され、この信頼度パラメータにより、信頼度が所定の閾値より低いデータは切り捨てる等して入力データの選別が行われる（ステップＳ３０３）。この実施の形態のように、信頼度パラメータによる３次元データの選別を行うことにより、信頼性及び安定性を向上し、性能悪化を防止することができる。
【００８０】
〔自律移動装置の動作〕
この自律移動装置は、動作を開始すると、ステレオカメラ３ａＬ，３ａＲによる撮像を行う。このとき、レーザレンジファインダ２による計測（スキャン）を並行して行ってもよい。そして、第１及び第２のカメラ３ａ，３ｂにより得られた画像において、植物領域及び非植物領域の判別を行う。また、ステレオカメラ３ａＬ，３ａＲにより得られたステレオ画像に、植物領域及び非植物領域の判別結果を対応させる。なお、このとき、植物領域であって走行可能な領域（植物の高さが所定の高さ以下である領域）を検出してもよい。
【００８１】
また、ステレオカメラ３ａＬ，３ａＲにより得られたステレオ画像から走行可能な平面領域を抽出するにあたっては、予め、対象画像から植物の葉（植生）の領域を除外し、残余の部分について、平面領域の抽出を行う。このとき、非植物領域であって走行可能な平面領域が検出できる。
【００８２】
図６は、走行部１の移動を制御するための手順を示すフローチャートである。
【００８３】
この自律移動装置において、制御手段２１は、図６に示すように、ステップｓｔ１１で処理を開始すると、移動体１の動作中において（ステップｓｔ１２）、ステップｓｔ１３に進み、ステレオカメラ３ａＬ，３ａＲによる撮影を行う。
【００８４】
次に、ステップｓｔ１４において、ジャイロ２２により、撮影時の走行部１の姿勢を計測し記憶しておく。次に、ステップｓｔ１５において、植物の葉（植生）の有無を判別し、植生判定画像として記憶しておく。ステップｓｔ１６において、次のフレームの画像の撮影時刻まで待機し、ステップｓｔ１７に進み、レーザレンジファインダ２により、ラインスキャンを行う。ステップｓｔ１８において、ジャイロ２２により、ラインスキャン時の走行部１の姿勢を計測し記憶しておく。
【００８５】
ステップｓｔ１９において、１ラインスキャン内の各点を測距点として設定し、ステップｓｔ２０に進み、撮像時の走行部１の姿勢、ラインスキャン時の走行部１の姿勢及び一方のカメラ３ａＬとレーザレンジファインダ２との相対位置関係に基づいて、前述したように、画像上の対応位置を計算する。
【００８６】
そして、制御手段２１は、ステップｓｔ２１において、記憶された植生判定画像を参照し、植物の葉（植生）の領域を除外し、ステップｓｔ２２において、残余の領域について、平面部分の抽出を行う。すなわち、ステップｓｔ２２における処理においては、植物の葉（植生）の領域は、計算対象外として、平面領域の抽出処理から除外されている。ここで、図３に示した平面領域の抽出処理を行う場合には、植物の葉（植生）の領域に対応する画像上の領域を対象外マスクとし、このマスク領域では画像の差分処理を行わないことにより実現できる。また、図４に示した手順により平面を検出する場合には、植物の葉（植生）の領域と判断された領域に対応する周囲の計測結果を、投票に用いないことにより実現できる。
【００８７】
ステップｓｔ２３においては、次のラインスキャンまでステップｓｔ１９以降の処理をループし、ステップｓｔ２４においては、次の画像撮影時刻までステップｓｔ１６以降の処理をループして、ステップｓｔ２５に進む。
【００８８】
ステップｓｔ２５では、記憶された障害物地図に基づいて、移動計画を生成し、ステップｓｔ２６では、ジャイロ２２及びＧＰＳ（受信機）２３により、現在位置を計測し、ステップｓｔ２７に進む。
【００８９】
ステップｓｔ２７では、ステアリング及びブレーキを制御して、走行部１の軌道修正を行い、ステップｓｔ２８では、動作中ループとして、ステップｓｔ２に戻る。
【００９０】
〔他の実施の形態〕
図７は、本発明に係る自律移動装置におけるカメラの構成を示す平面図である。
【００９１】
本発明に係る自律移動装置において、２つの波長帯における撮影を行う一方のカメラ３ａＬ（３ａ，３ｂ）は、図７に示すように、撮像対象から対物レンズ４に入射した光をダイクロイックミラー５によって２つの波長帯域に分けて、それぞれを撮像素子６，７により撮像するように構成することができる。すなわち、対物レンズ４に入射した光は、ダイクロイックミラー５など、波長選択性を有する光学素子により、第１の波長帯域と第２の波長帯域とに分けられる。第１の波長帯域の光は、第１の波長帯域光を透過する第１のフィルタ８及び集光レンズ９を経て、第１の撮像素子６により撮像される。第２の波長帯域の光は、第２の波長帯域光を透過する第２のフィルタ１０及び集光レンズ１１を経て、第２の撮像素子７により撮像される。
【００９２】
図８は、本発明に係る自律移動装置におけるカメラの他の構成を示す平面図である。
【００９３】
また、複数のカメラは、図８に示すように、第１の波長帯域の撮像を行うステレオカメラ３ａＬ，３ａＲと、これらとは別に第２の波長帯域の撮像を行う第２のカメラ３ｂを設けて構成してもよい。第１の波長帯域の撮像を行うカメラ３ａＬは、第１の波長帯域光を透過する第１のフィルタ８及び対物レンズ４を介して、第１の撮像素子６により撮像する第１のカメラ３ａとして機能するように構成されている。第２の波長帯域の撮像を行う第２のカメラ３ｂは、第２の波長帯域光を透過する第２のフィルタ１０及び対物レンズ４を介して、第２の撮像素子７により撮像するように構成されている。
【００９４】
これら各カメラ３ａＬ，３ａＲ，３ｂは、同一の保持具１２上に位置決めされて設置されている。
【産業上の利用可能性】
【００９５】
本発明は、周囲の形状を検出する周囲形状検出装置及び周囲形状検出方法、周囲の形状を検出して自律移動を行う自律移動装置及び自律移動装置の制御方法、並びに、人間が行う移動体の操縦を補助する移動体の操縦補助装置及び移動体の操縦補助方法に適用される。
【符号の説明】
【００９６】
１              走行部
２              レーザレンジファインダ
３ａＬ，３ａＲ  ステレオカメラ
３ａ            第１のカメラ
３ｂ            第２のカメラ
２１              制御手段
１０３              障害物
【図１】
2011013803.tif 000005
【図２】
2011013803.tif 000006
【図３】
2011013803.tif 000007
【図４】
2011013803.tif 000008
【図５】
2011013803.tif 000009
【図６】
2011013803.tif 000010
【図７】
2011013803.tif 000011
【図８】
2011013803.tif 000012
【図９】
2011013803.tif 000013
【図１０】
2011013803.tif 000014
【図１１】
2011013803.tif 000015
【図１２】
2011013803.tif 000016