(57)【特許請求の範囲】
【請求項１】
外部撮像手段が自機を撮像して生成した自機画像情報を受信する受信手段と、
前記自機画像情報に基いて、前記自機を基準とした前記外部撮像手段の方角、又は、前記自機から前記外部撮像手段までの距離、のうち少なくとも何れかを含む相対位置情報を生成する相対位置情報生成手段と、
を備えた自律移動体であって、
前記自機が複数の地点から撮像されたときに夫々生成される複数の候補画像情報を記憶する記憶手段を更に備え、
前記相対位置情報生成手段は、前記自機画像情報と前記複数の候補画像情報を比較することで、前記相対位置情報を生成し、
前記自機の三次元モデルを用いて前記複数の候補画像情報を生成して前記記憶手段に記憶する候補画像生成手段を更に備え、
可動部を更に備え、
前記候補画像生成手段は、当該自律移動体において前記可動部が動くことによって生じる形態変化の各々に対応して、前記複数の候補画像情報を生成して前記記憶手段に記憶する、
自律移動体。
【請求項２】
請求項１に記載の自律移動体であって、
前記自機の移動を制御する移動制御手段を更に備え、
前記移動制御手段は、前記相対位置情報に基いて、前記自機が前記外部撮像手段へ向かって移動するように前記自機の移動を制御する、
自律移動体。
【請求項３】
撮像手段を有し、ユーザーによって保持された携帯端末と、
自律移動体と、
前記携帯端末の前記撮像手段が前記自律移動体を撮像して生成した自機画像情報に基いて、前記自律移動体を基準とした前記ユーザーの方角、又は、前記自律移動体から前記ユーザーまでの距離、のうち少なくとも何れかを含む相対位置情報を生成する相対位置情報生成手段と、
を備えた自律移動体の制御システムであって、
前記自律移動体が複数の地点から撮像されたときに夫々生成される複数の候補画像情報を記憶する記憶手段を更に備え、
前記相対位置情報生成手段は、前記自機画像情報と前記複数の候補画像情報を比較することで、前記相対位置情報を生成し、
前記自律移動体の三次元モデルを用いて前記複数の候補画像情報を生成して前記記憶手段に記憶する候補画像生成手段を更に備え、
前記自律移動体は可動部を更に備え、
前記候補画像生成手段は、当該自律移動体において前記可動部が動くことによって生じる形態変化の各々に対応して、前記複数の候補画像情報を生成して前記記憶手段に記憶する、
自律移動体の制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律移動体及び自律移動体の制御システムに関する。
【背景技術】
【０００２】
特許文献１は、モニタ装置を備えた移動ロボットを開示している。この移動ロボットは、車輪の軸心方向の変更に応じてモニタ装置を走行方向へ回頭させることで、常にモニタ装置によるモニタ方向と移動ロボットの走行方向が一致するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平１１−２０２９３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記特許文献１の構成では、自機と外部の特定地点との相対的な位置関係を認識し続ける面で改善の余地が残されていた。
【０００５】
本発明の目的は、自機と外部の特定地点との相対的な位置関係を認識する技術を提供することにある。
【課題を解決するための手段】
【０００６】
本願発明の観点によれば、外部撮像手段が自機を撮像して生成した自機画像情報を受信する受信手段と、前記自機画像情報に基いて、前記自機を基準とした前記外部撮像手段の方角、又は、前記自機から前記外部撮像手段までの距離、のうち少なくとも何れかを含む相対位置情報を生成する相対位置情報生成手段と、を備えた自律移動体が提供される。以上の構成によれば、前記自律移動体が、前記外部撮像手段が位置する特定地点と自機との相対的な位置関係を認識することができる。
前記自律移動体は、前記自機が複数の地点から撮像されたときに夫々生成される複数の候補画像情報を記憶する記憶手段を更に備える。前記相対位置情報生成手段は、前記自機画像情報と前記複数の候補画像情報を比較することで、前記相対位置情報を生成する。以上の構成によれば、前記外部撮像手段が位置する特定地点と自機との相対的な位置関係を精度よく認識することができる。
前記自律移動体は、前記自機の三次元モデルを用いて前記複数の候補画像情報を生成して前記記憶手段に記憶する候補画像生成手段を更に備える。
前記自律移動体は、可動部を更に備える。前記候補画像生成手段は、当該自律移動体において前記可動部が動くことによって生じる形態変化の各々に対応して、前記複数の候補画像情報を生成して前記記憶手段に記憶する。以上の構成によれば、前記自律移動体のあらゆる形態に応じた候補画像情報を保持しておく必要がなくなり、記憶容量の節約に寄与する。
前記自律移動体は、前記自機の移動を制御する移動制御手段を更に備え。前記移動制御手段は、前記相対位置情報に基いて、前記自機が前記外部撮像手段へ向かって移動するように前記自機の移動を制御する。
撮像手段を有し、ユーザーによって保持された携帯端末と、自律移動体と、前記携帯端末の前記撮像手段が前記自律移動体を撮像して生成した自機画像情報に基いて、前記自律移動体を基準とした前記ユーザーの方角、又は、前記自律移動体から前記ユーザーまでの距離、のうち少なくとも何れかを含む相対位置情報を生成する相対位置情報生成手段と、を備えた、自律移動体の制御システムが提供される。以上の構成によれば、前記制御システムが、前記ユーザーと前記自律移動体との相対的な位置関係を認識することができる。
【発明の効果】
【０００７】
本発明によれば、前記外部撮像手段が位置する特定地点と自機との相対的な位置関係を認識することができる。
【図面の簡単な説明】
【０００８】
【図１】生活支援ロボットのサービス環境を示す図である。
【図２】生活支援ロボットの制御システムの機能ブロック図である。
【図３】投影条件の説明図である。
【図４】相対位置情報検索DBの説明図である。
【図５】生活支援ロボットの制御システムのフローチャートである。
【発明を実施するための形態】
【０００９】
先ず、図１を参照して、生活支援ロボット１（自律移動体）の制御システム２の概略を説明する。
【００１０】
生活支援ロボット１は、ユーザーUの生活を支援する自律移動可能なロボットである。生活支援ロボット１は、ユーザーUによって入力された指令に基づき種々のサービスをユーザーUに対して実行する。例えば、生活支援ロボット１は、ユーザーUから湯呑みを取りに行く指令を受け取ると、棚に置いてある湯呑みを把持し、ユーザーUへ向かって移動し、そしてその湯呑みをユーザーUに渡す。
【００１１】
一般に、生活支援ロボット１は、移動方向に向けて視野角が確保されたステレオカメラ３を有しており、ステレオカメラ３によって撮像して生成した画像情報に基づいて、環境に対する自機の位置や向きに関する絶対位置情報を取得する。そして、生活支援ロボット１は、絶対位置情報に基いて、自機に対するユーザーUの相対的な位置に関する相対位置情報を取得する。
【００１２】
しかしながら、ステレオカメラ３の視野角は有限であるから、絶対位置情報を必要に応じて随時確実に取得することは実際のところ困難であった。従って、生活支援ロボット１は、絶対位置情報を取得できない場合があり、相対位置情報を取得できなくなる場合があった。
【００１３】
この問題に対し、本実施形態の制御システム２では、生活支援ロボット１と通信可能であってユーザーUが保持するスマートフォン４（携帯端末）を利用して、生活支援ロボット１が上記の相対位置情報を取得できるようにしている。
【００１４】
以下、図２を参照して、制御システム２を具体的に説明する。図２に示すように、制御システム２は、生活支援ロボット１とスマートフォン４を含んで構成されている。スマートフォン４は、中央演算処理器としてのCPU１０（Central Processing Unit）と、読み書き自由のRAM１１（Random Access Memory）、読み出し専用のROM１２（Read Only Memory）を備えている。そして、CPU１０がROM１２に記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU１０などのハードウェアを、撮像制御部１３（撮像制御手段）及び画像送信部１４（画像送信手段）として機能させる。スマートフォン４は、更に、操作部１５（操作手段）、カメラ１６（撮像手段）、通信部１７（通信手段）を備えている。
【００１５】
操作部１５は、ユーザーUによって操作可能であって、例えばタッチパネルによって構成されている。
【００１６】
カメラ１６は、被写体を撮像して画像情報を生成する。
【００１７】
通信部１７は、他機との間で例えばWifi（登録商標）通信を行う。
【００１８】
撮像制御部１３は、ユーザーUによる操作部１５の操作に応じて、カメラ１６による撮像動作を制御する。撮像制御部１３は、カメラ１６が撮像して生成した画像情報をRAM１１に記憶する。
【００１９】
画像送信部１４は、RAM１１に記憶されている画像情報を生活支援ロボット１に送信する。
【００２０】
生活支援ロボット１は、中央演算処理器としてのCPU２０（Central Processing Unit）と、読み書き自由のRAM２１（Random Access Memory）、読み出し専用のROM２２（Read Only Memory）を備えている。そして、CPU２０がROM２２に記憶されている制御プログラムを読み出して実行することで、制御プログラムは、CPU２０などのハードウェアを、画像受信部２３（画像受信手段）、候補画像生成部２４（候補画像生成手段）、相対位置情報検索DB２５（記憶手段）、相対位置情報生成部２６（相対位置情報生成手段）、移動制御部２７（移動制御手段）として機能させる。生活支援ロボット１は、更に、エンコーダ２８（関節角度検出手段）、通信部２９（通信手段）を備えている。図１に示すように、生活支援ロボット１は、ロボット本体３０（自律移動体本体）と、ロボット本体３０に可動的に支持される可動部３１と、を備える。
【００２１】
エンコーダ２８は、ロボット本体３０と可動部３１を連結する関節の関節角度を検出して、関節角度情報を出力する。
【００２２】
通信部２９は、他機との間で例えばWifi通信を行う。
【００２３】
ロボット本体３０は、駆動輪等を備えて、床面上を走行可能に構成されている。
【００２４】
可動部３１は、図示しないアクチュエータによって上下動可能に（スイング可能に）構成されている。可動部３１の先端には、例えば湯呑みなどを把持可能な把持部が設けられている。
【００２５】
画像受信部２３は、スマートフォン４が生活支援ロボット１を撮像して生成した画像情報を受信し、受信した画像情報を自機画像情報としてRAM２１に記憶する。
【００２６】
候補画像生成部２４は、複数の地点から生活支援ロボット１を撮影したときに得られる複数の候補画像情報を生成する。候補画像生成部２４は、実際に複数の地点から生活支援ロボット１を撮影して複数の候補画像情報を生成するわけではなく、実際にはそのような撮影を行わずに、上記複数の候補画像情報を生成する。図３には、生活支援ロボット１の正面側の特定地点Pから生活支援ロボット１を撮影している様子を例示している。候補画像生成部２４は、先ず、エンコーダ２８から出力された関節角度情報を取得し、取得した関節角度情報に基いて、現在の生活支援ロボット１の三次元モデルを生成する。次に、候補画像生成部２４は、特定地点Pと生活支援ロボット１の間に配置した投影平面Q上で生活支援ロボット１を透視投影することで上記候補画像情報を生成する。説明の便宜上、図３で示す透視投影において、特定地点Pの床面Fからの高さを高さVとし、投影平面Qの高さを高さHとし、投影平面Qの幅を幅Wとし、特定地点Pから投影平面Qまでの水平距離を距離ｄPとし、投影平面Qから生活支援ロボット１までの水平距離を距離ｄQとし、特定地点Pから生活支援ロボット１までの水平距離を距離ｄとする。また、平面視で、ロボット本体３０の正面の方角を基準とした特定地点Pの方角を方角θとし、時計周りに正をとる。なお、候補画像生成部２４は、例えば、URDF（Unified Robot Description Format）のようなロボット記述言語と、生活支援ロボット１の部品毎に用意したSTL（Standard Template Library）やCOLLADA形式の三次元メッシュ記述ファイルと、上記の関節角度情報を用いて、現在の生活支援ロボット１の三次元モデルを生成する。
【００２７】
相対位置情報検索DB２５は、候補画像生成部２４が生成した複数の候補画像情報を記憶する。具体的には、図４に示すように、相対位置情報検索DB２５は、複数の候補画像情報を記憶すると共に、各候補画像情報を投影（撮影）した際の投影条件情報を各候補画像情報と関連付けて記憶する。ここで、投影条件情報とは、距離ｄ、方角θ、高さV、高さH、幅Wのうち少なくとも何れか１つの情報を含む。主として、投影条件情報は、距離ｄ及び方角θを含む。図４には、候補画像生成部２４が、距離ｄを一定とし方角θを９０度ずつ異ならせて生活支援ロボット１を透視投影して生成した４つの候補画像情報を例示している。この他、候補画像生成部２４は、方角θを一定とし距離ｄを１ｍずつ異ならせて生活支援ロボット１を透視投影して複数の候補画像情報を生成する場合もある。
【００２８】
相対位置情報生成部２６は、RAM２１に記憶されている自機画像情報に基いて、生活支援ロボット１を基準としたスマートフォン４の方角、及び、生活支援ロボット１からスマートフォン４までの距離、を含む相対位置情報を生成する。具体的には、相対位置情報生成部２６は、自機画像情報と複数の候補画像情報を比較することで、相対位置情報を生成する。相対位置情報生成部２６は、例えば、自機画像情報と複数の候補画像情報を比較した結果、自機画像情報が図４におけるNo.3の候補画像情報と類似していると判定した場合は、No.3の候補画像情報に関連付けられた投影条件情報を参照することで、生活支援ロボット１を基準としてスマートフォン４は１８０度の方角であって、生活支援ロボット１からスマートフォン４までの距離は３ｍであるとする相対位置情報を生成する。
【００２９】
本実施形態では、上記相対位置情報を更に精度よく求めるために、相対位置情報生成部２６は、以下のような計算を行っている。
【００３０】
先ず、相対位置情報生成部２６は、自機画像情報と複数の候補画像情報との類似度を夫々計算する。具体的には、各画像情報に例えばFAST（Features from Accelerated Segment Test）のような特徴点検出アルゴリズムを適用して特徴点を抽出し、検出した各特徴点に対し例えばSIFT（Scale-invariant feature transform）特徴量などの特徴量を計算する。次に、相対位置情報生成部２６は、自機画像情報の特徴量と各候補画像情報の特徴量を比較し、比較対象である２つの特徴量間の距離が小さければ、その２つの画像情報の類似度が高いと判定する。
【００３１】
次に、相対位置情報生成部２６は、自機画像情報との類似度が最も高い２つの候補画像情報を選択し、この２つの候補画像情報間の平面投影変換行列を例えばRANSAC（RANDdom Sample Consensus）法を用いて算出する。次に、相対位置情報生成部２６は、自機画像情報との類似度が最も高い２つの候補画像情報に関連付けられた２つの投影条件と、上記平面投影変換行列と、を用いて相対位置情報を生成する。相対位置情報生成部２６は、生成した相対位置情報をRAM２１に記憶する。
【００３２】
移動制御部２７は、生活支援ロボット１の移動を制御する。具体的には、移動制御部２７は、RAM２１から相対位置情報を取得し、相対位置情報に基いて、生活支援ロボット１がスマートフォン４へ向かって移動するように生活支援ロボット１の移動を制御する。本実施形態では、ユーザーUがスマートフォン４を保持しているものと想定している。従って、移動制御部２７は、生活支援ロボット１がユーザーUへ向かって移動するように生活支援ロボット１の移動を制御する、と言及することができる。なお、移動制御部２７は、具体的には、現在位置からスマートフォン４へ向かって移動するための移動経路情報を算出し、その移動経路情報に基いて生活支援ロボット１の移動を制御する。
【００３３】
次に、図５を参照して、生活支援ロボット１の制御システム２の作動を説明する。
【００３４】
先ず、図１において生活支援ロボット１が自機の現在位置を認識できずにいるとする。このとき、ユーザーUは、スマートフォン４のカメラ１６を生活支援ロボット１に向けた状態で、スマートフォン４の操作部１５を操作する。
【００３５】
一方で、図５に示すように、スマートフォン４の撮像制御部１３は、ユーザーUによって操作部１５が操作されるまで待機しており（S100:NO）、ユーザーUによって操作部１５が操作されると（S100:YES）、カメラ１６による撮像を実行し（S110）、カメラ１６が生成した画像情報をRAM１１に記憶する。
【００３６】
次に、画像送信部１４は、RAM１１に記憶されている画像情報を生活支援ロボット１に送信する（S120）。
【００３７】
生活支援ロボット１の画像受信部２３は、スマートフォン４から画像情報を受信し(S200)、受信した画像情報を自機画像情報としてRAM２１に記憶する(S205)。
【００３８】
次に、候補画像生成部２４は、エンコーダ２８から出力された関節角度情報を取得し(S210)、取得した関節角度情報に基いて、現在の生活支援ロボット１の三次元モデルを生成する。
【００３９】
次に、候補画像生成部２４は、上記三次元モデルを用いて、複数の地点から現在の生活支援ロボット１を撮影したときに得られる複数の候補画像情報を演算して生成する(S220)。そして、候補画像生成部２４は、複数の候補画像情報を各候補画像情報を投影した際の投影条件情報と関連付けて相対位置情報検索DB２５に記憶する（S230）。
【００４０】
次に、相対位置情報生成部２６は、RAM２１に記憶されている自機画像情報と、相対位置情報検索DB２５に記憶されている複数の候補画像情報と、を比較することで、生活支援ロボット１を基準としたスマートフォン４の方角、及び、生活支援ロボット１からスマートフォン４までの距離、を含む相対位置情報を生成する(S240)。
【００４１】
次に、移動制御部２７は、上記相対位置情報に基いて、ユーザーUがいる地点を目的地として、生活支援ロボット１の自律移動の制御を開始する（S250）。移動制御部２７は、生活支援ロボット１が目的地に到着したら（S260:YES）、ユーザーUに対する生活支援サービスを実行する(S270)。
【００４２】
以上に、本願発明の好適な実施形態を説明したが、上記実施形態は、以下の特長を有する。
【００４３】
生活支援ロボット１（自律移動体）は、スマートフォン４のカメラ１６（外部撮像手段）が自機を撮像して生成した自機画像情報を受信する画像受信部２３（受信手段）と、自機画像情報に基いて、自機を基準としたカメラ１６の方角、及び、自機からカメラ１６までの距離を含む相対位置情報を生成する相対位置情報生成部２６（相対位置情報生成手段）と、を備える。以上の構成によれば、カメラ１６が位置する特定地点と自機との相対的な位置関係を認識することができる。
【００４４】
なお、上記実施形態では、相対位置情報生成部２６は、自機を基準としたカメラ１６の方角、及び、自機からカメラ１６までの距離を含む相対位置情報を生成するとしたが、これに代えて、自機を基準としたカメラ１６の方角、又は、自機からカメラ１６までの距離、のうち何れか一方のみを含む相対位置情報を生成することとしてもよい。
【００４５】
また、生活支援ロボット１は、自機が複数の地点から撮像されたときに夫々生成される複数の候補画像情報を記憶する相対位置情報検索DB２５（記憶手段）を更に備える。相対位置情報生成部２６は、自機画像情報と複数の候補画像情報を比較することで相対位置情報を生成する。以上の構成によれば、カメラ１６が位置する特定地点と自機との相対的な位置関係を精度よく認識することができる。
【００４６】
また、生活支援ロボット１は、自機の三次元モデルを用いて複数の候補画像情報を生成して相対位置情報検索DB２５に記憶する候補画像生成部２４（候補画像生成手段）を更に備える。
【００４７】
また、生活支援ロボット１は、可動部３１を更に備える。候補画像生成部２４は、生活支援ロボット１において可動部３１が動くことによって生じる形態変化の各々に対応して、複数の候補画像情報を生成して相対位置情報検索DB２５に記憶する。以上の構成によれば、生活支援ロボット１のあらゆる形態に応じた候補画像情報を保持しておく必要がなくなり、相対位置情報検索DB２５の記憶容量の節約に寄与する。
【００４８】
また、生活支援ロボット１は、自機の移動を制御する移動制御部２７（移動制御手段）を更に備える。移動制御部２７は、相対位置情報に基いて、自機がカメラ１６へ向かって移動するように自機の移動を制御する。以上の構成によれば、カメラ１６を保持するユーザーUに対してサービスを行うことができるようになる。
【００４９】
生活支援ロボット１の制御システム２は、スマートフォン４（携帯端末）と生活支援ロボット１、相対位置情報生成部２６を備える。スマートフォン４は、カメラ１６を有し、ユーザーUによって保持された携帯端末である。相対位置情報生成部２６は、スマートフォン４のカメラ１６が生活支援ロボット１を撮像して生成した自機画像情報に基いて、生活支援ロボット１を基準としたユーザーUの方角、及び、生活支援ロボット１からユーザーUまでの距離、のうち少なくとも何れかを含む相対位置情報を生成する。以上の構成によれば、生活支援ロボット１が、ユーザーUと生活支援ロボット１との相対的な位置関係を認識することができる。
【００５０】
なお、上記実施形態では、相対位置情報生成部２６は、生活支援ロボット１を基準としたユーザーUの方角、及び、生活支援ロボット１からユーザーUまでの距離を含む相対位置情報を生成するとしたが、これに代えて、生活支援ロボット１を基準としたユーザーUの方角、又は、生活支援ロボット１からユーザーUまでの距離、のうち何れか一方のみを含む相対位置情報を生成することとしてもよい。
【００５１】
また、画像受信部２３がスマートフォン４から画像情報を受信する都度、候補画像生成部２４が複数の候補画像情報を生成することに代えて、予め相対位置情報検索DB２５に複数の候補画像情報を記憶しておいてもよい。この場合、候補画像生成部２４は省略することができる。
【００５２】
また、携帯端末の一例としてスマートフォン４を取り上げたが、携帯端末はスマートフォン４に限定されない。
【符号の説明】
【００５３】
１  生活支援ロボット
２  制御システム
３  ステレオカメラ
４  スマートフォン
１３  撮像制御部
１４  画像送信部
１５  操作部
１６  カメラ
１７  通信部
２３  画像受信部
２４  候補画像生成部
２５  相対位置情報検索DB
２６  相対位置情報生成部
２７  移動制御部
２８  エンコーダ
２９  通信部
３０  ロボット本体
３１  可動部
U  ユーザー
【図１】
0006528445.tif 000002
【図２】
0006528445.tif 000003
【図３】
0006528445.tif 000004
【図４】
0006528445.tif 000005
【図５】
0006528445.tif 000006