(57)【要約】  本発明は、外乱による影響を抑制しつつ、周囲環境のランドマーク配置をもとに自己位置推定する自律移動装置等を提供することを目的とする。この課題を解決するために、広角カメラで撮像した画像から自己位置推定の際に外乱となる外乱要因と自己位置推定に用いるランドマークとを抽出し、抽出した情報を用いて、姿勢制御可能な標準カメラで撮像した画像から前記外乱要因に影響されない前記ランドマークを選択し、選択した前記ランドマークを追跡するよう前記標準カメラを姿勢制御し、追跡制御される前記標準カメラで撮像したランドマークの配置をもとに自己位置を推定することを特徴とする。
2016016955.tif 000002
【特許請求の範囲】
【請求項１】
広角カメラと、姿勢制御可能な標準カメラと、内界センサと、を備える自律移動体であって、
前記内界センサで前記自律移動体のオドメトリを行うオドメトリ部と、
前記自律移動体の自己位置推定の際に外乱となる外乱要因の画像の特徴を記憶するデータベースと、
前記データベースを参照して、前記広角カメラで撮像した画像から前記外乱要因と自己位置推定に用いるランドマークとを抽出するベース情報抽出部と、
前記ベース情報抽出部で抽出した情報を用いて、前記標準カメラで撮像した画像から前記外乱要因に影響されない前記ランドマークを選択するランドマーク選択部と、
前記オドメトリ部で算出したオドメトリ結果をもとに、前記ランドマーク選択部で選択した前記ランドマークを追跡するよう前記標準カメラを姿勢制御するランドマーク追跡部と、
前記ランドマーク追跡部で追跡制御される前記標準カメラで撮像したランドマークの配置をもとに自己位置を推定する自己位置推定部と、
を有することを特徴とする自律移動装置。
【請求項２】
請求項１において、
前記データベースは、前記外乱要因として、天候、または、移動物の画像特徴を記憶し、
前記ベース情報抽出部は、前記広角カメラで撮像した画像から前記外乱要因となる特徴点を排除し、前記ランドマーク候補となる画像上の特徴点を検出する
ことを特徴とする自律移動装置。
【請求項３】
請求項１において、
前記標準カメラは、それぞれ異なる方向を撮像するよう複数備え、
前記ベース情報抽出部は、自己位置推定に用いる前記ランドマーク候補を複数抽出し、
前記ランドマーク選択部は、前記ベース情報抽出部で抽出した複数のランドマーク候補から、前記標準カメラごとに、各標準カメラでの追跡に適した前記ランドマークを選択する
ことを特徴とする自律移動装置。
【請求項４】
請求項３において、
前記ランドマーク追跡部は、前記ランドマーク選択部で選択した前記ランドマークが前記標準カメラの撮像画像の中央に位置するように、前記オドメトリ部で算出したオドメトリ結果を用いて各標準カメラの姿勢を制御する
ことを特徴とする自律移動装置。
【請求項５】
請求項１において、
前記自己位置推定部は、前記ランドマーク追跡部で追跡した前記ランドマークの配置をもとに自己位置を推定し、前記ランドマーク追跡部で前記標準カメラが前記ランドマークを見失うまで、同じ追跡用ランドマークの配置をもとに自己位置を推定する
ことを特徴とする自律移動装置。
【請求項６】
広角カメラで撮像した画像から自己位置推定の際に外乱となる外乱要因と自己位置推定に用いるランドマークとを抽出するステップと、
抽出した情報を用いて、姿勢制御可能な標準カメラで撮像した画像から前記外乱要因に影響されない前記ランドマークを選択するステップと、
選択した前記ランドマークを追跡するよう前記標準カメラを姿勢制御するステップと、
追跡制御される前記標準カメラで撮像したランドマークの配置をもとに自己位置を推定するステップと、
を有する自己位置推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律移動装置及び自己位置推定方法に関し、例えば、ロボットや自動車などの移動体が自律移動するときの、自己位置を推定する装置に関する。
【背景技術】
【０００２】
従来から、ロボットや自動車などの移動体にエンコーダやジャイロスコープなどの内界センサ、およびカメラを搭載し、これらのセンサ値をもとに移動体の自己位置を推定する装置が種々提案されている。【０００３】
例えば、下記特許文献１（特開２００５−３１５７４６）は、複数のランドマークが屋内上方に配置された環境下で自律走行する移動体の自己位置同定方法において、予め前記複数のランドマーク位置を計測し、絶対座標系を基準とした３次元の登録位置座標として事前登録するステップと、前記移動体に搭載された広角カメラによる上方撮像画像からランドマーク候補点を抽出し、該抽出した候補点に対応する２次元の候補点座標を算出するステップと、絶対座標系上の移動体走行領域内に任意の仮想点を複数設定し、該仮想点に前記移動体が存在する場合に得られる画像上の前記ランドマークの２次元座標を、前記３次元の登録位置座標より夫々導出するステップと、前記候補点座標と前記２次元座標とを夫々比較して、前記候補点座標に最も近似する２次元座標に対応する前記移動体の仮想点を、該移動体の自己位置と推定するステップとを有することを特徴としている。【０００４】
当文献によれば、仮想点を複数設定して、該仮想点におけるランドマークの２次元座標と、広角カメラの撮像画像より抽出したランドマークの候補点座標とから自己位置を推定するようにしているため、個々のランドマークの識別を必要とせず、さらに、視野範囲が不明瞭で、広角カメラの撮像画像から前記ランドマークのうち一部しか抽出出来ない場合においても、安定的にかつ精度良く移動体の自己位置を推定することが可能となる、としている。さらに、照明変化等の環境外乱に対してロバストな自己位置同定を達成することができ、また、天井等の上方の画像を利用するため、遮蔽物等の外乱に強い自己位置同定が行え、さらに、魚眼レンズや全方位カメラ等の広角カメラを利用しているため、視野が広範囲となり、多数のランドマークを必要とせず自己位置同定を行うことができる、としている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−３１５７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来のカメラを用いた自己位置推定手法は、周囲環境にあるランドマーク候補を画像から検出し、検出したランドマーク候補と地図中のランドマークを対応させ、前記ランドマークの配置をもとに自己位置を推定する方式であったが、周囲環境に存在する様々な外乱要素のためにランドマークを見失ったり誤認識したりすることにより、自己位置を見失う、または自己位置の精度が悪化するという課題がある。  ここで、特許文献１の自己位置同定方法及び該装置は、広角カメラで天井等上方広範囲からランドマーク候補を検出し、さらに、仮想点を複数設定して、該仮想点におけるランドマークの2次元座標とランドマーク候補点座標とから自己位置を推定するため、遮蔽物や照明変化に対してロバストな自己位置推定ができる。しかし、ランドマークが上方にあり、かつ近似的に同一平面状にあるような屋内の天井等、走行可能環境が限定される。また、遮蔽物や照明変化だけではなく様々な外乱要素が存在する実環境では、外乱要素に対しロバストではない。【０００７】
本発明は、外乱による影響を抑制しつつ、周囲環境のランドマーク配置をもとに自己位置推定する自律移動装置等を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、代表的な本発明の自律移動装置は、広角カメラと、姿勢制御可能な標準カメラと、内界センサと、を備える自律移動体であって、前記内界センサで前記自律移動体のオドメトリを行うオドメトリ部と、前記自律移動体の自己位置推定の際に外乱となる外乱要因の画像の特徴を記憶するデータベースと、前記データベースを参照して、前記広角カメラで撮像した画像から前記外乱要因と自己位置推定に用いるランドマークとを抽出するベース情報抽出部と、前記ベース情報抽出部で抽出した情報を用いて、前記標準カメラで撮像した画像から前記外乱要因に影響されない前記ランドマークを選択するランドマーク選択部と、前記オドメトリ部で算出したオドメトリ結果をもとに、前記ランドマーク選択部で選択した前記ランドマークを追跡するよう前記標準カメラを姿勢制御するランドマーク追跡部と、前記ランドマーク追跡部で追跡制御される前記標準カメラで撮像したランドマークの配置をもとに自己位置を推定する自己位置推定部と、を有することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、外乱による影響を抑制しつつ、周囲環境のランドマーク配置をもとに自己位置推定する自律移動装置等を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】実施例１の形態による移動体の構成を示すブロック図である。
【図２】実施例１の形態によるベース情報の一例を示す図である。
【図３】実施例１の形態によるランドマーク選択部の一例を示す図である。
【図４】実施例１の形態によるランドマーク選択部の一例を示す図である。
【発明を実施するための形態】
【００１１】
以下、図面を用いて実施例を説明する。
【実施例１】
【００１２】
本実施例では、自動車やロボットなどの移動体が自律移動するとき、広範囲を撮像可能な広角カメラを移動体上部に上向きに搭載し、姿勢制御可能な標準カメラを複数台搭載し、本発明の自律移動装置により、広角カメラで外乱要素とランドマークを検出し、外乱要素に応じてカメラで見失い難いランドマークをカメラ姿勢制御により追跡することで、外乱要素に対してロバストな自律移動を行う。【００１３】
図１は、本実施例による移動体２００の構成を示し、移動体２００は、広角カメラ２１０、標準カメラ２１１、内界センサ２１２を搭載し、図示しないＣＰＵ等で構成される演算処理部、各種プログラムを記憶する記憶部を備える。【００１４】
また、記憶部に記憶されたプログラムであって、演算処理部によって実行される各種機能を自律移動機能ブロック２０１として図１に示す。演算処理部によって実行されるプログラムは、オドメトリ部１００、ベース情報抽出部１０１、ランドマーク選択部１０２、ランドマーク追跡部１０３、自己位置推定部１０５で構成される。【００１５】
広角カメラ２１０は、魚眼カメラや全方位カメラなどの超広角レンズ搭載カメラであることが望ましいが、それ以外の広角レンズを搭載したカメラでも良い。また、照明の少ない屋内や夜の屋外にも対応するため、赤外線カメラであることが望ましい。広角カメラ２１０は、移動体２００の上部に上向きに搭載する。【００１６】
標準カメラ２１１は、標準レンズを搭載した高解像度のカメラであり、前記標準カメラ２１１の姿勢は外部入力により制御できるようになっており、前記ランドマーク追跡部１０３と通信している。また、前記標準カメラ２１１を４台以上搭載することが望ましく、前記移動体２００の前部と後部と右側面および左側面に搭載する。前記標準カメラ２１１の搭載高さは、前記標準カメラ２１１の視線方向が仰角方向に最大となるような姿勢であるとき、前記広角カメラ２１０の撮像画像に前記標準カメラ２１１が写らないような高さとする。さらに、雨天に対応するため、例えばサーチカメラのような庇が付いた標準カメラであることが望ましい。照明の少ない屋内や夜の屋外にも対応するため、サーチライトを搭載した標準カメラであることが望ましいが、赤外線カメラでもよい。【００１７】
内界センサ２１２は、前記移動体２００の相対的な移動量を算出するためのセンサであり、例えばホイールエンコーダやジャイロスコープや慣性計測装置（ＩＭＵ：Ｉｎｅｒｔｉａｌ  Ｍｅａｓｕｒｅｍｅｎｔ  Ｕｎｉｔ）がある。【００１８】
オドメトリ部１００は、前記内界センサ２１２から取得した前記移動体２００の車輪回転数や移動加速度および移動角加速度を積算することにより、前回の位置算出時からの移動量および姿勢変化を算出する手法であるオドメトリを適用する。【００１９】
ベース情報抽出部１０１は、前記広角カメラ２１０で撮像した画像から、ランドマークを見失う要因となる外乱要因情報と周囲環境のランドマーク情報で構成されるベース情報を抽出する。前記ベース情報抽出部１０１の詳細は図２で説明する。【００２０】
ランドマーク選択部１０２は、前記ベース情報抽出部１０１で抽出した前記ベース情報をもとに、周囲環境のなかで前記外乱要素によらず確実に見える可視領域を探索し、前記可視領域のなかから自己位置推定に用いるための追跡用ランドマークを選択する。ランドマーク選択部の詳細は図３および図４で説明する。【００２１】
ランドマーク追跡部は、前記ランドマーク選択部で選択した前記追跡用ランドマークを、前記標準カメラ２１１の姿勢を制御しながら追跡する。【００２２】
条件分岐１０４は、前記ランドマーク追跡部で追跡できた前記追跡用ランドマークが２つ以下である場合は前記ベース情報抽出部１０１に移動し、追跡できた前記追跡用ランドマークが３つ以上である場合は自己位置推定部１０５に移動する。【００２３】
自己位置推定部１０５は、前記ランドマーク追跡部で追跡できた前記追跡用ランドマークが３つ以上ある場合に、追跡できた前記追跡用ランドマークの配置をもとに自己位置推定を行う。ランドマークの配置をもとに自己位置推定を行う手法として、それぞれのランドマークの配置情報が記載された地図を用いるのが望ましく、例えば、ベイズの定理に基づいた手法やカルマンフィルタ、地図作成および更新と自己位置推定を同時に行う手法であるＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ  Ｌｏｃａｌｉｚａｔｉｏｎ  ａｎｄ  Ｍａｐｐｉｎｇ）があるが、ランドマークの配置をもとに自己位置を推定できる手法であれば、他の手法を用いてもよい。また、自己位置推定部１０５は、ランドマーク追跡部１０３で標準カメラがランドマークを見失うまで、同じ追跡用ランドマークの配置をもとに自己位置推定を行う。これによって、計算処理負荷を低減できるという効果がある。  図２は、前記ベース情報抽出部１０１の詳細を示している。【００２４】
Ｄ１００は、前記ベース情報抽出部１０１で抽出する前記ベース情報であり、前記外乱要素Ｄ１０１と前記ランドマークＤ１０２の情報で構成される。【００２５】
前記外乱要素Ｄ１０１は、例えば、天候Ｄ１０３や周囲環境に存在する移動物Ｄ１０４がある。【００２６】
前記天候Ｄ１０３の抽出手法として、例えば、雨滴がレンズに付着したときの付着部分の画像を教師データとしてもち、前記広角カメラ２１０の撮像画像と前記教師データを照合した結果、教師データと一致するピクセルが多数存在する場合は雨とし、教師データと一致するピクセルが数点しか存在しない場合は晴れまたは曇りとする。さらに、前記撮像画像の全ピクセルの輝度値の標本平均が一定値以上であれば晴れとし、そうでない場合は曇りとする。晴れの場合は、さらに、輝度勾配の大きさをもとに日差しの方向を算出する。天候を認識した結果は、例えば、晴れであれば晴れ：Ｔ（Ｔｒｕｅ）、曇り：Ｆ（Ｆａｌｓｅ）、雨：Ｆａｌｓｅとする。【００２７】
前記移動物Ｄ１０４の抽出手法として、例えば、主要な外乱要素である人間の教師データを予め用意し、前記広角カメラ２１０の撮像画像と教師データを照合する人検出手法を用いる。他に対象となる走行環境で主要な外乱要素となる移動物が存在する場合は、その教師データを用意し同様の手法で検出すればよい。さらに、検出した移動物の撮像画像上での重心位置（ｕ’ｉ、ｖ’ｉ）（ｉ＝１、２、・・・）を算出し、前記移動物Ｄ１０４の情報としてベース情報Ｄ１００に加える。【００２８】
ベース情報抽出部１０１でのランドマークＤ１０２の情報は、前記広角カメラ２１０の撮像画像から特徴点を検出し、検出した前記特徴点の前記撮像画像上での位置（ｕｉ、ｖｉ）（ｉ＝１、２、・・・）を算出することにより獲得し、ランドマークＤ１０２の情報としてベース情報Ｄ１００に加える。【００２９】
図３は、前記ランドマーク選択部１０２におけるランドマーク認識操作の詳細を示している。【００３０】
Ｄ２００は、晴天時に広角カメラ２１０で撮像した画像である。画像Ｄ２００には、太陽光によるレンズフレアＤ２０１、移動物Ｄ２０２が写っている。このとき、前記ランドマーク選択部は、まず、前記ベース情報抽出部１０１で抽出した前記ベース情報Ｄ１００をもとに、前記撮像画像Ｄ２００から天候Ｄ１０３および移動物Ｄ１０４を把握し、前記撮像画像上のレンズフレアＤ２０１の重心位置と移動物Ｄ２０２の重心位置を検出する。【００３１】
さらに、前記重心位置を中心とする円領域Ｄ２０３を設け、前記円領域外にある画像上特徴点としてのランドマークＤ２０４を抽出する。そして、抽出した画像上特徴点としての前記ランドマークＤ２０４とランドマークが記載された地図とを照合し、抽出した画像上特徴点としてのランドマークＤ２０４の３次元座標を把握する。すなわちランドマークＤ２０４を認識する。【００３２】
前記のランドマークＤ２０４を認識する操作は、移動体２００が屋外走行時、天候が晴天であるとき、移動物の影響を受けない方向Ｄ２０５や日差しの影響を受けない上方向Ｄ２０６および下方向Ｄ２０７を見つけ出す操作である。【００３３】
Ｄ３００は、雨天時に広角カメラ２１０で撮像した画像である。画像Ｄ３００には、雨滴Ｄ３０１と移動体Ｄ２０２が写っている。このときも、前記ランドマーク選択部１０２は前記の晴天時のランドマーク認識操作と同様の操作を行うが、雨天時は、雨滴Ｄ３０１の重心位置を中心とした円領域と、各標準カメラが空を見上げてレンズに雨滴が付着しないように画像中心を中心とした円領域Ｄ３０２を設け、前記円領域外にある画像上特徴点としてのランドマークＤ３０３を抽出する。以降の操作は晴天時と同様であるが、雨天時の前記操作を行うことにより、雨滴が付着しない水平方向Ｄ３０４や下方向Ｄ３０５を見つけ出す。【００３４】
なお、天候が曇りの場合は、レンズフレアの円領域Ｄ２０１や雨滴Ｄ３０１の円領域や上空の円領域Ｄ３０２を設ける必要はなく、以降の操作は晴天時および雨天時と同様である。【００３５】
図４は、移動体２００の前後左右それぞれに標準カメラ２１１が１台ずつ搭載されている場合の、前記ランドマーク選択部１０２における追跡用ランドマーク決定操作の詳細を示している。【００３６】
Ｄ４００は、図３の撮像画像Ｄ２００とランドマークＤ２０４を前後左右に２等分した画像であり、前記の２等分した画像に写るランドマークを幾何拘束なく追跡可能な標準カメラを、それぞれの画像に割り当てている。すなわち、標準カメラ１は前方のランドマークを、標準カメラ２は左側のランドマークを、標準カメラ３は後方のランドマークを、そして標準カメラ４は右側のランドマークを追跡できる。【００３７】
Ｄ４０１は、前記の２等分した画像をさらに４等分したときの中央の２枚の画像であり、前記画像Ｄ４０１に写るランドマークが追跡用ランドマークとして推奨される。【００３８】
Ｄ４０２は、それぞれの標準カメラ２１１に対応する前記２等分画像４００に写るランドマーク数と、前記中央画像Ｄ４０１に写る追跡用ランドマークとして推奨されるランドマーク数の表である。いま、それぞれの標準カメラ２１１に対応した画像４０１に写るランドマーク数は、標準カメラ１が６点、標準カメラ２が２点、標準カメラ３が０点、標準カメラ４が４点であり、ランドマークがない標準カメラ３を除いて標準カメラ２のランドマーク数が最も少ない。そこで、標準カメラ２が追跡するランドマークを最初に決定する。決定手法としては、中央画像Ｄ４０１に写るランドマークがあるか確認し、前記推奨されるランドマークがあれば、そのなかで最も画像Ｄ４０１の中央に近い（すなわち、偏角が最も９０度に近い）ランドマークを追跡用ランドマークとして決定し、前記推奨されるランドマークがなければ、画像Ｄ４００のなかで最も中央に近いランドマークを追跡用ランドマークとして決定する。本例の場合、推奨されるランドマークがないため、最も画像中央に近いランドマークＤ４０３を標準カメラ２の追跡用ランドマークとして決定する。【００３９】
Ｄ４０４は、前記の標準カメラ２の追跡用ランドマーク決定操作終了時のランドマーク数の表である。ランドマークＤ４０３が追跡用ランドマークとして決定されたことにより、標準カメラ１の追跡用ランドマーク候補が６つから５つになり、推奨されるランドマーク数も４つから３つになる。この状態で、再度、追跡用ランドマークが決定していない標準カメラのなかで、最もランドマーク数が少ない標準カメラを選択し、前記追跡用ランドマーク決定操作と同様の手法で、選択した前記標準カメラの追跡用ランドマークを決定する。本例の場合、ランドマーク数が最も少ない標準カメラ４を選択し、画像中央に最も近いランドマークＤ４０５を標準カメラ４の追跡用ランドマークに決定する。【００４０】
Ｄ４０６は前記追跡用ランドマーク決定後のランドマーク数の表である。このとき、本例では、ランドマークが写っていない標準カメラ３を除き、標準カメラ１のみ追跡用ランドマークが決定していないため、同様の手法により、標準カメラ１の追跡用ランドマークＤ４０７を決定する。【００４１】
以上の追跡用ランドマーク決定操作により、本例では、標準カメラ１、標準カメラ２、および標準カメラ３がそれぞれ追跡するランドマークを決定したが、標準カメラ３については決定していない。このように、前記追跡用ランドマーク決定操作で追跡用ランドマークが決まらなかった標準カメラは、視線方向を路面に向かせて姿勢を固定し、ビジュアルオドメトリを適用する。ビジュアルオドメトリの結果は、オドメトリ部１００の結果と共にランドマーク追跡部１０３で利用される。【００４２】
以上のような構成により、本発明の自律移動装置は、外乱要素に依存しないランドマークをカメラの姿勢制御により追跡することで、従来の自律移動装置とは異なり、様々な環境で自己位置を見失うことなく移動することができる。【００４３】
以上のように、本実施例では、様々な環境で自己位置を見失うことなく移動でき、また、追跡するランドマーク数を限定するため、処理負荷を低減できる。【００４４】
また、周囲３６０度の環境情報を抽出可能な広角カメラで撮像した１枚の画像のみを用いるため、周囲環境の情報を抽出する処理負荷を低減できるという効果を得られる。【００４５】
また、天候や人間などの移動物によらず見失うことのないランドマークを見つけるため、自己位置推定のロバスト性を向上することができるという効果を得られる。【００４６】
また、ランドマークを高精度カメラで追跡するため、自己位置推定精度を向上することができるという効果を得られる。【００４７】
また、見失うまで同じランドマークの配置をもとに自己位置を推定するため、計算処理負荷を低減できるという効果を得られる。【００４８】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD（Solid State Drive）等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【符号の説明】
【００４９】
２００  移動体
２１０  広角カメラ
２１１  標準カメラ
２１２  内界センサ
２０１  自律移動機能ブロック
１００  オドメトリ部
１０１  ベース情報抽出部
１０２  ランドマーク選択部
１０３  ランドマーク追跡部
１０５  自己位置推定部
【図１】
2016016955.tif 000003
【図２】
2016016955.tif 000004
【図３】
2016016955.tif 000005
【図４】
2016016955.tif 000006
【国際調査報告】
2016016955.tif 000007
2016016955.tif 000008
2016016955.tif 000009
2016016955.tif 000010