(57)【要約】      （修正有）【課題】オペレータへの負担および回線への負担が少なく、自律移動体の目的地までの走行を確認可能な移動体の制御システムを提供する。【解決手段】移動体Ａと、環境情報取得手段Ｂと、移動体とは離れて設けられた端末装置Ｃと、移動制御手段Ｄと、を含み、環境情報取得手段は、移動体の周囲に存在する障害物を検出し端末装置に提供する。端末装置は、障害物の情報を含む地図情報を作成する地図作成手段Ｃ１と、障害物の情報を表示可能な画像表示手段Ｃ２と、障害物の情報を変更可能な入力手段Ｃ４と、目的地までの経路を算出する経路算出手段Ｃ３と、を含む。地図作成手段は、変更された障害物の情報を含む仮想地図情報を作成する。経路算出手段は、仮想地図情報に基づき目的地までの仮想経路を算出する。端末装置は、移動制御手段に、障害物の情報、仮想地図情報及び／又は仮想経路を提供する。移動制御手段は、仮想経路に沿って移動体の移動を開始する。【選択図】図２
2022003437.tif 000002
【特許請求の範囲】
【請求項１】
移動手段を有する移動体と、前記移動体の周囲の環境情報を取得する環境情報取得手段と、前記移動体とは離れて設けられた遠隔オペレータ用端末装置と、前記移動体の前記移動手段を制御する移動制御手段と、を含む移動体の制御システムであって、
前記環境情報取得手段は、環境情報として前記移動体の周囲に存在する障害物を検出し、前記遠隔オペレータ用端末装置に環境情報を提供可能であり、
前記遠隔オペレータ用端末装置は、前記環境情報に含まれる障害物の情報を含む地図情報を作成する地図作成手段と、前記地図情報に含まれる障害物の情報を表示可能な画像表示手段と、前記画像表示手段に表示された前記障害物の情報を変更可能な入力手段と、地図情報に基づき出発位置から目的地までの経路を算出する経路算出手段と、を含み、
前記地図作成手段は、前記入力手段で変更された障害物の情報を含む仮想地図情報を作成し、
前記経路算出手段は、前記仮想地図情報に基づき前記移動体の自己位置又は出発位置から目的地までの仮想経路を算出し、
前記遠隔オペレータ用端末装置は、前記移動制御手段に、前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路を提供可能であり、
前記移動制御手段は、前記遠隔オペレータ用端末装置から提供された前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路に基づいて、前記移動体の前記移動手段を制御して、前記仮想経路に沿って前記移動体の移動を開始する、移動体の制御システム。
【請求項２】
前記移動体の制御システムは、障害物の画像を取得する画像情報取得手段をさらに含み、前記画像情報取得手段は、前記遠隔オペレータ用端末装置に障害物の画像情報を提供可能であり、
前記遠隔オペレータ用端末装置は、前記画像表示手段に前記障害物の画像情報を表示可能である、請求項１に記載の移動体の制御システム。
【請求項３】
前記環境情報取得手段及び前記移動制御手段は、前記移動体に設けられ、
前記移動体は、前記遠隔オペレータ用端末装置の経路算出手段と同一の経路算出方法を実行可能な経路算出手段を有する、請求項１又は２に記載の移動体の制御システム。
【請求項４】
前記移動体は、前記遠隔オペレータ用端末装置の地図作成手段と同一の地図作成方法を実行可能な地図作成手段を有する、請求項１乃至３の何れか１項に記載の移動体の制御システム。
【請求項５】
前記地図情報は、複数のセルに分割されており、各セルに障害物の情報として前記障害物に基づくコストが設定され、
前記入力手段は、前記セルのコストを変更可能である、請求項１乃至４の何れか１項に記載の移動体の制御システム。
【請求項６】
前記遠隔オペレータ用端末装置は、前記入力手段によって前記画像表示手段に表示された地図情報に含まれる障害物が選択されると、選択した障害物に基づいてコストが設定された領域のコストを変更可能な状態にする、請求項５に記載の移動体の制御システム。
【請求項７】
前記遠隔オペレータ用端末装置は、前記入力手段によって前記画像表示手段に表示された地図情報の少なくとも１つのセルが選択されると、選択したセルの周囲又は選択したセルを含む障害物を通過可能なコストに変更する、請求項５又は６に記載の移動体の制御システム。
【請求項８】
前記遠隔オペレータ用端末装置は、前記入力手段によって障害物を可動な障害物として設定されると、設定された障害物が存在しない状態の仮想地図情報を作成し、仮想経路を算出し、可動な障害物の情報を前記移動制御手段に提供し、
前記移動制御手段は、可動な障害物の情報が提供されると、可動な障害物が移動して通行可能な状態となるまで待機する待機処理を実行する、請求項１乃至７の何れか１項に記載の移動体の制御システム。
【請求項９】
前記遠隔オペレータ用端末装置は、前記経路算出手段で目的地までの経路を算出できなかった場合、移動中の経路を遮る障害物を検出した場合、予め設定された障害物の情報を取得した場合、経路が変更された場合、又は前記移動体が経路から外れて移動した場合、オペレータに対し、障害物の情報の変更を要求する、請求項１乃至８の何れか１項に記載の移動体の制御システム。
【請求項１０】
前記遠隔オペレータ用端末装置は、前記経路算出手段によって算出した前記仮想経路を前記画像表示手段に表示し、オペレータからの移動体への送信許可信号を受信後、前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路を前記移動制御手段に提供する、請求項１乃至９の何れか１項に記載の移動体の制御システム。
【請求項１１】
前記遠隔オペレータ用端末装置は、シミュレーションして得られた変更内容の候補又は仮想経路の候補を前記画像表示手段に表示する、請求項１乃至１０の何れか１項に記載の移動体の制御システム。
【請求項１２】
前記移動制御手段は、前記移動体を障害物に接触させる接触動作を実行させる、請求項１乃至１１の何れか１項に記載の移動体の制御システム。
【請求項１３】
移動手段を有する移動体と、前記移動体の周囲の環境情報を取得する環境情報取得手段と、前記移動体とは離れて設けられた遠隔オペレータ用端末装置と、前記移動体の前記移動手段を制御する移動制御手段と、を含む移動体の制御方法であって、
前記環境情報取得手段によって、環境情報として前記移動体の周囲に存在する障害物を検出し、前記遠隔オペレータ用端末装置に環境情報を提供するステップと、
前記遠隔オペレータ用端末装置の地図作成手段によって、前記環境情報に含まれる障害物の情報を含む地図情報を作成するステップと、
前記遠隔オペレータ用端末装置の画像表示手段に前記地図情報に含まれる障害物の情報を表示し、前記遠隔オペレータ用端末装置の入力手段によって画像表示手段に表示された前記障害物の情報を変更するステップと、
前記地図作成手段によって、前記入力手段で変更された障害物の情報を含む仮想地図情報を作成するステップと、
前記遠隔オペレータ用端末装置の経路算出手段によって、前記仮想地図情報に基づき前記移動体の自己位置又は出発位置から目的地までの仮想経路を算出するステップと、
前記移動制御手段に、前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路を提供するステップと、
前記移動制御手段は、前記遠隔オペレータ用端末装置から提供された前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路に基づいて、前記移動体の前記移動手段を制御して、前記仮想経路に沿って前記移動体の移動を開始するステップと、を含む、移動体の制御方法。
【請求項１４】
障害物の画像を取得する画像情報取得手段をさらに含み、
前記画像情報取得手段によって、障害物の画像情報を取得し、前記遠隔オペレータ用端末装置に前記障害物の画像情報を提供するステップを含む、請求項１３に記載の移動体の制御方法。
【請求項１５】
前記環境情報取得手段及び前記移動制御手段は、前記移動体に設けられ、
前記移動体は、前記遠隔オペレータ用端末装置の経路算出手段と同一の経路算出方法を実行可能な経路算出手段を有する、請求項１３又は１４に記載の移動体の制御方法。
【請求項１６】
前記移動体は、前記遠隔オペレータ用端末装置の地図作成手段と同一の地図作成方法を実行可能な地図作成手段を有する、請求項１３乃至１５の何れか１項に記載の移動体の制御方法。
【請求項１７】
前記地図情報は、複数のセルに分割されており、各セルに障害物の情報として前記障害物に基づくコストが設定されており、
前記入力手段によって前記セルのコストを変更する、請求項１３乃至１６の何れか１項に記載の移動体の制御方法。
【請求項１８】
前記入力手段によって前記画像表示手段に表示された地図情報に含まれる障害物を選択し、選択した障害物に基づいてコストが設定された領域のコストを前記移動体が移動可能な値に変更する、請求項１７に記載の移動体の制御方法。
【請求項１９】
前記入力手段によって前記画像表示手段に表示された地図情報の少なくとも１つのセルを選択し、選択したセルの周囲又は選択したセルを含む障害物を通過可能なコストに変更する、請求項１８又は１９に記載の移動体の制御方法。
【請求項２０】
前記入力手段によって障害物を可動な障害物として設定すると、設定した障害物が存在しない状態の仮想地図情報を作成し、仮想経路を算出し、可動な障害物の情報を前記移動制御手段に提供し、
前記移動制御手段は、前記可動な障害物が移動した後に前記可動な障害物の位置を通過させる、請求項１３乃至１９の何れか１項に記載の移動体の制御方法。
【請求項２１】
前記遠隔オペレータ用端末装置は、前記経路算出手段で目的地までの経路を算出できなかった場合、移動中の経路を遮る障害物を検出した場合、予め設定された障害物の情報を取得した場合、経路が変更された場合、又は前記移動体が経路から外れて移動した場合、オペレータに対し、障害物の情報の変更を要求する、請求項１３乃至２０の何れか１項に記載の移動体の制御方法。
【請求項２２】
前記経路算出手段によって前記仮想地図情報に基づき前記仮想経路が算出できた場合、前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路を前記移動制御手段に提供する、請求項１３乃至２１の何れか１項に記載の移動体の制御方法。
【請求項２３】
前記遠隔オペレータ用端末装置は、シミュレーションして得られた変更内容の候補又は仮想経路の候補を前記画像表示手段に表示する、請求項１３乃至２２の何れか１項に記載の移動体の制御方法。
【請求項２４】
前記移動制御手段は、前記移動体を障害物に接触させる接触動作を実行させる、請求項１３乃至２３の何れか１項に記載の移動体の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、自律移動式の移動体の制御システム及び制御方法に関し、特に、移動体と、移動体と接続可能な遠隔オペレータ用端末装置と、を含む移動体の制御システム及び制御方法に関する。
【背景技術】
【０００２】
従来から、環境地図を記憶して目標地点まで自律移動するロボットが知られている。例えば、特許文献１には、障害物がある環境下において、障害物をよけながら予め定められた経路に沿って自律移動することができる移動ロボットが開示されている。移動ロボットは、統合マップ作成部によって、環境地図情報と、ステレオビジョンセンサで観測した障害物の位置を示す地図情報を重ね合わせ、統合したグリッドマップを生成し、障害物の種類に応じた重みと距離の逆数との積を計算する。例えば、壁に対して１．０の重みを使用し、人間に対して０．５を使用し、ロボットと各物体との安全な距離を設定する。この値に対して、閾値を設定して、ロボットの前に開いている自由空間を決め、すべての開いている自由空間を移動先として、最適な経路を選択する。
【０００３】
また、障害物の種類を判別するための種々の方法も提案されている。特許文献２には、周辺に存在する障害物を検出する障害物検出手段と、マップ情報を記憶するマップ情報記憶手段と、前記移動手段により移動した量からこの機器本体のマップ上の位置を算出するマイクロ・コンピュータ手段とを備えた自走式機器において、マップ位置毎に機器本体の通過回数と障害物検出手段で検出した障害物の検出回数をカウントすることにより、一時的な障害物と常に存在する障害物を区別し、動的に変化する環境の中においても走行可能な領域を推定することが開示されている。特許文献３には、カメラを介して画像を取得し、光検出器を介してポイントクラウドを取得し、画像におけるオブジェクトとポイントクラウドのオブジェクトクラスタの点とを関連付け、画像におけるオブジェクトに対して付されたラベルによってポイントクラウドの３次元（３Ｄ）オブジェクトを特定することが開示されており、ポイントクラウド内の自動車、歩行者、自転車、又は動物等の動的な交通参加者を特定し、動的な交通参加者をポイントクラウドから削除して、より正確な位置推定及び地図作成を実行することが開示されている。
【０００４】
さらに、移動体の動作に人間が介在する技術についても提案されている。前掲特許文献２には、マップ情報記憶手段で記憶しているマップ情報の一部または全てをユーザが修正することが可能なマップ情報修正手段を備えたことにより、現在の状況をユーザが把握しながら、ユーザの意図に合わせたマップ情報に書き換え、例えば、自走式機器が間違って認識した障害物を取り除く、あるいは認識しなかった障害物や段差やストーブなどの走行させたくない場所を障害物として指定できること、ユーザの意図した任意の形状を境界壁として指定できることが開示されている。また、特許文献４には、自律走行ロボットが設定経路を走行中に存在した障害物に対し、撮像部を用いて当該障害物を撮像し、パターンマッチングにより障害物のタイプを識別し、過去の回避行動のデータから回避行動を選択して障害物を回避すること、及び障害物を回避できない場合、操作端末に遠隔操作要求信号を出力し、操作端末のオペレータの遠隔操作により障害物を回避することが開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００７−２４９６３２号公報
【特許文献２】特開２００７−３２３４０２号公報
【特許文献３】特開２０１９−２０７２２０号公報
【特許文献４】特開２０１３−２０６２３７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
従来の自律式移動体では、経路算出の際に障害物を避けて経路を算出しているが、障害物が密集する環境では経路を算出できない状況や、障害物を避けるために遠回りの経路が算出される場合がある。特に、特許文献１のように、ロボットと各物体との安全な距離を設定する場合には、安全マージンのために実際の障害物の大きさよりも広い範囲において経路としない領域（移動不可領域）が設定される。このため、実際には移動体が通行可能な隙間があっても移動不可領域によって経路が塞がれてしまい経路算出不能又は遠回りの経路算出となることがある。特許文献２及び３に記載されているように、一時的又は動的な障害物を判別し、それらを無視してより正確な位置推定及び地図作成を実行した場合であっても、経路算出の際には、一時的又は動的な障害物が実際に存在すれば無視することはできず、障害物を避けて経路を算出するため、上記の課題は解決されない。
【０００７】
また、特許文献２には、自走式機器が間違って認識した障害物をユーザが取り除くことは開示されているが、これは実際には存在しない障害物の誤認識を修正しただけであり、実際に障害物が存在し、経路を算出できない場合に適用されるものではない。さらに、誤認識の障害物を取り除いた後の経路がどのようになるのかユーザに不明であり、自走式機器が目的地まで走行できることを確定するものではない。
【０００８】
さらに、人間がコントローラで遠隔操作できるロボットもあるが、一人の人間が一台のロボットを操作する必要があるため、ロボットによる自動化、生産性向上、経費削減、大量生産などのメリットが少なくなる。長時間にわたって複数のロボットを管理する場合にはオペレータの負担が大きくなるという問題もある。また、ロボットの置かれている状況を把握するために、ロボットが取得した各種センサからの各種情報（音声情報、画像情報等）をロボットからコントローラに常に送信する必要があり、さらに、コントローラからロボットにもロボットの操作内容を送信する必要がある。このため、ロボットとコントローラとの間で送受信される通信量が膨大になり、処理速度が低下し、応答性が悪くなるおそれがあった。加えて、人間が遠隔操作する際にはロボットを操縦しながらロボット周辺の映像をリアルタイムで確認する必要があるが、タイムラグを原因とする操縦の困難性の問題もある。特許文献２には、ユーザの意図した任意の形状を境界壁として指定し、ユーザの意図した境界壁内の空間を走行させることが開示されているが、障害物が密集する環境で経路を算出できない状況を解消できるものではない。また、特許文献４には、操作端末のオペレータの遠隔操作により障害物を回避することが開示されている。しかし、特許文献４においても、結局直面する障害物に対する場当たり的な対応に過ぎず、最終的な目的地までの走行の完遂を確定するものではない。
【０００９】
本発明は、前述した問題の一部を解決することを目的とするものであり、特にオペレータへの負担および回線への負担が少なく、自律移動体の目的地までの走行を確認可能な移動体の制御システム又は制御方法を提供することを目的の一つとする。
【課題を解決するための手段】
【００１０】
上記課題を解決するため、本発明の移動体の制御システムは、移動手段を有する移動体と、前記移動体の周囲の環境情報を取得する環境情報取得手段と、前記移動体とは離れて設けられた遠隔オペレータ用端末装置と、前記移動体の前記移動手段を制御する移動制御手段と、を含む移動体の制御システムであって、前記環境情報取得手段は、環境情報として前記移動体の周囲に存在する障害物を検出し、前記遠隔オペレータ用端末装置に環境情報を提供可能であり、前記遠隔オペレータ用端末装置は、前記環境情報に含まれる障害物の情報を含む地図情報を作成する地図作成手段と、前記地図情報に含まれる障害物の情報を表示可能な画像表示手段と、前記画像表示手段に表示された前記障害物の情報を変更可能な入力手段と、地図情報に基づき出発位置から目的地までの経路を算出する経路算出手段と、を含み、前記地図作成手段は、前記入力手段で変更された障害物の情報を含む仮想地図情報を作成し、前記経路算出手段は、前記仮想地図情報に基づき前記移動体の自己位置又は出発位置から目的地までの仮想経路を算出し、前記遠隔オペレータ用端末装置は、前記移動制御手段に、前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路を提供可能であり、前記移動制御手段は、前記遠隔オペレータ用端末装置から提供された前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路に基づいて、前記移動体の前記移動手段を制御して、前記仮想経路に沿って前記移動体の移動を開始する。
【００１１】
さらに、上記移動体の制御システムにおいて、前記移動体の制御システムは、障害物の画像を取得する画像情報取得手段をさらに含み、前記画像情報取得手段は、前記遠隔オペレータ用端末装置に障害物の画像情報を提供可能であり、前記遠隔オペレータ用端末装置は、前記画像表示手段に前記障害物の画像情報を表示可能であってもよい。
【００１２】
さらに、上記移動体の制御システムにおいて、前記環境情報取得手段及び前記移動制御手段は、前記移動体に設けられ、前記移動体は、前記遠隔オペレータ用端末装置の経路算出手段と同一の経路算出方法を実行可能な経路算出手段を有していてもよい。
【００１３】
さらに、上記移動体の制御システムにおいて、前記移動体は、前記遠隔オペレータ用端末装置の地図作成手段と同一の地図作成方法を実行可能な地図作成手段を有していてもよい。
【００１４】
さらに、上記移動体の制御システムにおいて、前記地図情報は、複数のセルに分割されており、各セルに障害物の情報として前記障害物に基づくコストが設定され、前記入力手段は、前記セルのコストを変更可能であってもよく、前記遠隔オペレータ用端末装置は、前記入力手段によって前記画像表示手段に表示された地図情報に含まれる障害物が選択されると、選択した障害物に基づいてコストが設定された領域のコストを変更可能な状態にしてもよい。さらに、前記遠隔オペレータ用端末装置は、前記入力手段によって前記画像表示手段に表示された地図情報の少なくとも１つのセルが選択されると、選択したセルの周囲又は選択したセルを含む障害物を通過可能なコストに変更してもよい。
【００１５】
さらに、上記移動体の制御システムにおいて、前記遠隔オペレータ用端末装置は、前記入力手段によって障害物を可動な障害物として設定されると、設定された障害物が存在しない状態の仮想地図情報を作成し、仮想経路を算出し、可動な障害物の情報を前記移動制御手段に提供し、前記移動制御手段は、可動な障害物の情報が提供されると、可動な障害物が移動して通行可能な状態となるまで待機する待機処理を実行してもよい。
【００１６】
さらに、上記移動体の制御システムにおいて、前記遠隔オペレータ用端末装置は、前記経路算出手段で目的地までの経路を算出できなかった場合、移動中の経路を遮る障害物を検出した場合、予め設定された障害物の情報を取得した場合、経路が変更された場合、又は前記移動体が経路から外れて移動した場合、オペレータに対し、障害物の情報の変更を要求してもよい。
【００１７】
さらに、上記移動体の制御システムにおいて、前記遠隔オペレータ用端末装置は、前記経路算出手段によって算出した前記仮想経路を前記画像表示手段に表示し、オペレータからの移動体への送信許可信号を受信後、前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路を前記移動制御手段に提供してもよい。
【００１８】
さらに、上記移動体の制御システムにおいて、前記遠隔オペレータ用端末装置は、シミュレーションして得られた変更内容の候補又は仮想経路の候補を前記画像表示手段に表示してもよい。
【００１９】
さらに、上記移動体の制御システムにおいて、前記移動制御手段は、前記移動体を障害物に接触させる接触動作を実行させてもよい。
【００２０】
また、本発明の移動体の制御方法は、移動手段を有する移動体と、前記移動体の周囲の環境情報を取得する環境情報取得手段と、前記移動体とは離れて設けられた遠隔オペレータ用端末装置と、前記移動体の前記移動手段を制御する移動制御手段と、を含む移動体の制御方法であって、前記環境情報取得手段によって、環境情報として前記移動体の周囲に存在する障害物を検出し、前記遠隔オペレータ用端末装置に環境情報を提供するステップと、前記遠隔オペレータ用端末装置の地図作成手段によって、前記環境情報に含まれる障害物の情報を含む地図情報を作成するステップと、前記遠隔オペレータ用端末装置の画像表示手段に前記地図情報に含まれる障害物の情報を表示し、前記遠隔オペレータ用端末装置の入力手段によって画像表示手段に表示された前記障害物の情報を変更するステップと、前記地図作成手段によって、前記入力手段で変更された障害物の情報を含む仮想地図情報を作成するステップと、前記遠隔オペレータ用端末装置の経路算出手段によって、前記仮想地図情報に基づき前記移動体の自己位置又は出発位置から目的地までの仮想経路を算出するステップと、前記移動制御手段に、前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路を提供するステップと、前記移動制御手段は、前記遠隔オペレータ用端末装置から提供された前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路に基づいて、前記移動体の前記移動手段を制御して、前記仮想経路に沿って前記移動体の移動を開始するステップと、を含む。
【００２１】
さらに、上記移動体の制御方法において、障害物の画像を取得する画像情報取得手段をさらに含み、前記画像情報取得手段によって、障害物の画像情報を取得し、前記遠隔オペレータ用端末装置に前記障害物の画像情報を提供するステップを含んでもよい。
【００２２】
さらに、上記移動体の制御方法において、前記環境情報取得手段及び前記移動制御手段は、前記移動体に設けられ、前記移動体は、前記遠隔オペレータ用端末装置の経路算出手段と同一の経路算出方法を実行可能な経路算出手段を有していてもよい。
【００２３】
さらに、上記移動体の制御方法において、前記移動体は、前記遠隔オペレータ用端末装置の地図作成手段と同一の地図作成方法を実行可能な地図作成手段を有していてもよい。
【００２４】
さらに、上記移動体の制御方法において、前記地図情報は、複数のセルに分割されており、各セルに障害物の情報として前記障害物に基づくコストが設定されており、前記入力手段によって前記セルのコストを変更してもよく、さらに、前記入力手段によって前記画像表示手段に表示された地図情報に含まれる障害物を選択し、選択した障害物に基づいてコストが設定された領域のコストを前記移動体が移動可能な値に変更してもよい。さらに、前記入力手段によって前記画像表示手段に表示された地図情報の少なくとも１つのセルを選択し、選択したセルの周囲又は選択したセルを含む障害物を通過可能なコストに変更してもよい。
【００２５】
さらに、上記移動体の制御方法において、前記入力手段によって障害物を可動な障害物として設定すると、設定した障害物が存在しない状態の仮想地図情報を作成し、仮想経路を算出し、可動な障害物の情報を前記移動制御手段に提供し、前記移動制御手段は、前記可動な障害物が移動した後に前記可動な障害物の位置を通過させてもよい。
【００２６】
さらに、上記移動体の制御方法において、前記遠隔オペレータ用端末装置は、前記経路算出手段で目的地までの経路を算出できなかった場合、移動中の経路を遮る障害物を検出した場合、予め設定された障害物の情報を取得した場合、経路が変更された場合、又は前記移動体が経路から外れて移動した場合、オペレータに対し、障害物の情報の変更を要求してもよい。
【００２７】
さらに、上記移動体の制御方法において、前記経路算出手段によって前記仮想地図情報に基づき前記仮想経路が算出できた場合、前記入力手段で変更された障害物の情報、前記仮想地図情報及び／又は前記仮想経路を前記移動制御手段に提供してもよい。
【００２８】
さらに、上記移動体の制御方法において、前記遠隔オペレータ用端末装置は、シミュレーションして得られた変更内容の候補又は仮想経路の候補を前記画像表示手段に表示してもよい。
【００２９】
さらに、上記移動体の制御方法において、前記移動制御手段は、前記移動体を障害物に接触させる接触動作を実行させてもよい。
【発明の効果】
【００３０】
本発明の移動体の制御システムによれば、自律式の移動体において周囲の障害物に起因する問題が発生した際に、遠隔オペレータ用端末装置（以下「端末装置」ともいう）を介して、障害物に起因する問題に対し、遠隔地のオペレータの判断を仰ぐことができる。端末装置では、提供された障害物の情報を画像表示手段に表示し、オペレータに障害物を確認させることができ、入力手段によって地図情報に含まれる障害物の情報を変更させることができる。障害物には、空の段ボール、梱包材、紙袋、風船のように、移動体が衝突してもあまり傷つかず、移動体によって押し退けることができる軽い可動な障害物、柔らかい変形可能な障害物等もある。また、机、椅子のように、下をくぐることができるもの又は扉のように押す方向によっては障害物を容易にどかすことができるものがあり、オペレータは、障害物の情報から、接触して押し退けることが可能な障害物か否かを判断でき、移動体に接触動作を実行させ得る。さらに、一時的な障害物であれば、しばらく待てば障害物が移動して通過可能となることもオペレータは判断でき、移動体に待機処理を実行させ得る。また、未知の障害物に対しては安全マージンを高く取りコスト領域が過剰に広く設定される場合もあるが、オペレータが障害物の情報からどのような障害物か確認し、適切なコスト領域に変更することで、障害物を避けて目的地まで経路を算出できることもある。本発明の移動体の制御システムは、このようなオペレータの判断が必要となる様々な状況に障害物の情報を変更することで対応することが可能である。しかも、本発明の端末装置は、経路算出手段によって入力手段で変更された障害物の情報を含む仮想地図情報に基づき目的地までの仮想経路を算出するため、オペレータに仮想経路を確認させることができ、目的地まで到着したことを確認した後に移動体に情報を送信できるので僅かな通信量で信頼性の高いサポートができる。特に、オペレータの作業としては、障害物を選択してコスト等を変更するだけであり、オペレータの負担を少なくできる。また、オペレータが操作時に受け取る情報を静的な地図情報や環境情報（障害物位置）とし、仮想経路の算出も端末装置上で行うことにより、操作のリアルタイム性を排し、通信のタイムラグによる操作の困難を解決できる。さらに、オペレータと送受信する情報を静的な地図情報や環境情報、仮想経路および障害物の情報の変更内容に限定し、仮想経路の算出も端末装置上で行うことにより、通信回線への負担を減少させることができる。その他の効果については実施の形態の中で説明する。
【図面の簡単な説明】
【００３１】
【図１】本発明の移動体の制御方法のフローチャートの一例
【図２】本発明の移動体の制御システムに必要な構成要素のブロック図
【図３】本発明の制御システムを実現するハードウェアの一例
【図４】本発明の制御システムの概略構成を示すブロック図
【図５】（Ａ）は移動範囲の間取りを示す概略平面図、（Ｂ）は基本地図情報を作成するための環境情報取得作業の途中を示す図
【図６】（Ａ）は移動範囲内全体の環境情報の測定点の配置パターン、（Ｂ）は地図情報の平面図
【図７】（Ａ）は計測地図情報の作成時における状況を模式的に示す平面図、（Ｂ）及び（Ｃ）は新たに検出された障害物の画像情報
【図８】（Ａ）は環境情報に基づく計測地図情報、（Ｂ）及び（Ｃ）は仮想地図情報及び仮想経路を示す図
【図９】移動体における移動体の経路算出補助処理のフローチャートの一例
【図１０】端末装置における移動体の経路算出補助処理のフローチャートの一例
【図１１】端末装置における仮想経路の候補を提示する処理のフローチャートの一例
【図１２】移動体における移動中の被写体を撮影する際のフローチャートの一例
【発明を実施するための形態】
【００３２】
図１は、本発明の移動体の制御方法のフローチャートの一例である。本発明の移動体の制御システム及び制御方法は、移動体が、障害物により目的地までの経路を算出できなかった場合、移動中の経路を遮る障害物を検出した場合、移動体の経路が障害物で変更された場合、又は移動体が経路から外れて移動した場合等、周囲の障害物に起因してオペレータの判断が必要となった際に、遠隔オペレータ用端末装置（端末装置）を介して、障害物に起因する問題に対し、遠隔地のオペレータの判断を仰ぐことができる。図１のＳ１において、端末装置は移動体の周囲の環境情報、画像情報、地図情報等の障害物の情報を受信し、Ｓ２において、受信した障害物の情報を含む地図情報を画像表示手段に表示する。さらに、端末装置は、入力手段を操作可能な状態とし、必要に応じてオペレータに障害物の情報を変更することを要求し、Ｓ３において、オペレータは、障害物の情報を変更する。Ｓ４において、端末装置は、オペレータによって変更された障害物の情報を取得し、Ｓ５において、地図作成手段によって入力手段で変更された障害物の情報を含む仮想地図情報を作成する。そして、端末装置は、Ｓ６において、経路算出手段によって、仮想地図情報に基づき移動体の自己位置又は出発位置から目的地までの仮想経路を算出する。次に、Ｓ７において、仮想経路が目的地まで到達できたか否かを判断する。仮想経路が算出できなかった場合（Ｓ７のＮｏ）は、オペレータに目的地まで到達する経路が算出できなかったことを伝え、新たな障害物の情報の変更を要求する。目的地まで到達した場合（Ｓ７のＹｅｓ）は、Ｓ８において、変更内容等を移動体又は移動制御手段に送信する。変更内容等とは、変更された障害物の情報、仮想地図情報又は仮想経路を含む。Ｓ８の前に、オペレータに仮想経路を表示し、移動体への送信の要否を確認し、オペレータからの送信許可信号を受信した後に情報を送信してもよい。
【００３３】
このように、端末装置においては、画像表示手段に地図情報に含まれる障害物の情報が表示され、オペレータが障害物の情報を確認しつつ、入力手段によって障害物の情報を変更することができる。さらに、端末装置は、地図情報作成手段によって入力手段で変更された障害物の情報を含む仮想地図情報を作成し、経路算出手段によって仮想地図情報に基づき目的地までの仮想経路を算出することができるため、実際に移動体を移動開始する前に目的地までの仮想経路が算出できるか確認できる。移動体は、遠隔地のオペレータの判断が反映された仮想経路に沿って移動することにより、周囲の障害物に起因する問題を解消する。このように、本発明の移動体の制御システム及び制御方法では、事前に移動体の仮想経路を算出することにより、オペレータが変更した内容で十分か不十分を確認でき、仮想経路が算出できることを確実した後に移動体の移動を開始することが可能である。さらに、障害物には、空の段ボール、梱包材、紙袋、風船、クッションのように、移動体が衝突してもあまり傷つかず、移動体によって押し退けることができる軽い可動な障害物、柔らかい変形可能な障害物等もある。また、机、椅子のように、下をくぐることができるもの又は扉のように押す方向によっては障害物を容易にどかすことができるものがあり、オペレータは、障害物の情報から、接触して押し退けることが可能な障害物か否かを判断できる。このように、本願の移動体の制御システム及び制御方法では、オペレータの判断により、移動体を障害物に接触させる動作（接触動作）を実行させることも可能である。さらに、一時的な障害物であれば、しばらく待てば障害物が移動して通過可能となることもオペレータは判断でき、それに従って、待機処理を実行させてもよい。また、未知の障害物に対して地図情報を作成する場合は安全マージンを高く取ってコスト領域を過剰に広く設定する場合もあるが、オペレータが障害物の情報からどのような障害物か確認し、適切なコスト領域に変更することで、障害物を避けて目的地まで経路を算出できることもある。本発明の移動体の制御システムは、このようなオペレータの判断が必要となる様々な状況に障害物の情報を変更することで対応することが可能であり、端末装置で経路計画まで実行し、オペレータが仮想経路を確認してから、移動体に変更した情報を提供できる。
【００３４】
ここで、「障害物」とは、移動の障害となる物体や構造であり、例えば、人、荷物、壁、柱、階段、扉、窓、設備（什器、家具を含む）、他の移動体等を含む。「固定の障害物」とは、基本的には配置が変化しない障害物であり、例えば、壁、柱、階段、固定された設備等を含み、事前に作成する基本地図情報の基本構成とすることが好ましい。「可動な障害物」とは、移動する障害物であり、人、荷物、扉、窓、可動式の設備、他の移動体等を含み、地図情報においては変則的な構成となりうる。可動な障害物であっても、長期間移動しないものも、短時間で移動するものもあり、短時間で移動するものについては「一時的な障害物」と称する。一時的な障害物としては、例えば、人、動物、乗物、他の移動体、自動ドア等がある。「測定点」とは、環境情報取得手段によって測定された点であり、「測定点の配置パターン」とは、環境情報取得手段による測定点の点群（ポイントクラウド）の相互の位置関係であり、例えば点群を連結させて得られた図形を含む。
【００３５】
「地図情報」とは、周囲の障害物等の配置が示されたものであり、予め用意された基本となる障害物の配置の基本地図情報と、環境情報取得手段で取得した環境情報から作成される計測時における移動体周辺の障害物の配置を示す計測地図情報とを含む。基本地図情報は、事前に道路地図、地形図、建物の間取り図、建築図面などの既存の地図を取り込んで作成してもよいし、事前に移動体の移動範囲を環境情報取得手段を使用したＳＬＡＭ（Simultaneous Localization and Mapping）によって、自己位置推定と環境地図作成を同時に行って取得してもよいし、他の移動体又は他のコンピュータで作成された基本地図情報を使用してもよい。地図情報は、例えば、移動体の記憶手段に記憶されていてもよいし、端末装置の記憶手段に記憶されていてもよいし、記憶サーバに記憶されていてもよい。地図情報は、経路算出手段で経路を算出するために、少なくとも目的地までの基本地図情報を含み、目的地までの経路を移動中に環境情報取得手段によって逐次計測地図情報を蓄積してもよい。地図情報として、２次元又は３次元の地図を複数のセル（典型的には均等幅のグリッド、ボクセル等の格子であるが、これに限定されない）で分割し、各セルに対し、移動体の移動可能性に関連するコストが設定されていてもよい。コストは、移動体の移動に必要なエネルギであり、コストが高いほど消費するエネルギが大きくなる。例えば、移動可能な０と移動不可能な１の２値でコストを設定し、障害物の位置のセルは移動不可の１に設定し、それ以外のセルについては移動可能な０に設定してもよいし、障害物の周囲の一定距離のセルについても移動不可の１にコストを設定してもよい。障害物に基づいてコストが設定されたセルを当該障害物の「コスト領域」と呼び、障害物からコスト領域までの距離をコスト距離と呼ぶ。コスト領域により実際の障害物よりも大きくすることにより、経路算出の計算上、移動体を点で置き換えて、経路を線として計算できる。さらに、コストとして移動可能の値と移動不可の値の間の中間値を設定し、コスト距離に応じたコストを設定してもよい。この場合、例えば、障害物の近くのセルはコストを高く、離れた位置のセルはコストを低くし、経路算出手段がコストの低いセルを優先的に通過するようにすれば、障害物から離れた位置のセルを経路に設定するようにできる。また、コストは、地形及び移動体の向きに基づくコストが設定されてもよい。例えば、傾斜のある地形に対して移動体が上り坂となるように動く場合はコストが高く、下り坂となるように動く場合はコストが低くなるように設定される。また、同じ距離を移動する場合でも、移動体の進行方向に進む場合と方向を変えて進む場合とでは後者のコストが高くなる。地図情報は、端末装置の地図作成手段によって作成できる。各移動体は、端末装置から地図情報を受信してもよいが、各移動体に端末装置の地図作成手段と同一の地図作成プログラムの地図作成手段を設けてもよい。
【００３６】
「障害物の情報」には、障害物のコスト領域、障害物の配置、障害物測定点の座標、測定点の配置パターン及び／又は画像情報の一部（障害物の画像を含む）が含まれる。「被写体データベース」とは、被写体のパターン画像を蓄積するデータベースである。「障害物データベース」とは、障害物の情報を蓄積するデータベースであり、障害物とそれに対する仮想経路における対応を含む。障害物の情報に含まれる画像情報の一部については、被写体データベースに記憶される各パターン画像に障害物であるか否かを対応付けることによって、被写体データベースを障害物データベースとして使用できる。
【００３７】
図２は、本発明を実現するための移動体の制御システムに必要な構成要素のブロック図である。図２では、制御システムは、移動手段Ａ１を有する移動体Ａと、移動体Ａの周囲の環境情報を取得する環境情報取得手段Ｂと、移動体Ａとは離れて設けられた遠隔オペレータ用端末装置Ｃと、移動体Ａの移動手段を制御する移動制御手段Ｄと、を含み、さらに、画像情報取得手段Ｅ及び記憶手段Ｆを含んでいてもよい。図２において、各要素を連結する点線は情報を相互に又は一方に提供可能に接続されていることを意味し、両者が同一機器内部に実装されて内部バスによって接続されている場合も、別々の機器に実装されて有線又は無線のネットワークによって接続されている場合も含む。
【００３８】
移動体Ａは、移動体を移動させる移動手段Ａ１と、外部の機器と通信可能な通信手段Ａ２とを少なくとも有している。移動体Ａは、さらに必要に応じて、環境情報取得手段、画像情報取得手段、経路算出手段、移動制御手段、位置推定手段、地図作成手段、画像認識手段、記憶手段等を有していてもよい。移動体Ａは、通常時は予め設定されたルートを巡回し、周囲の障害物に起因してオペレータの判断が必要となった時のみ移動制御手段Ｄからの制御信号に従って端末装置Ｃで算出された仮想経路に沿って目的地まで移動するように構成されてもよい。この場合、例えば、移動体に地図上における自己位置を把握可能とすることにより、予め設定されたルートを巡回させてもよいし、地図情報を持たせず、周囲の壁、天井、床等に移動体Ａを誘導する手段、例えば磁気テープ、発信機などによってコースを誘導することで、予め設定されたルートを巡回させてもよい。また、移動体Ａは、通常時は自動で目的地まで自律移動し、周囲の障害物に起因してオペレータの判断が必要となった時に仮想経路に沿って目的地まで移動するように構成されてもよい。移動体Ａとしては、例えば、無人搬送車、有人車両、移動式の産業用ロボット、モバイルロボット、移動式のサービスロボット、及び無人航空機（ドローンを含む）を含む。
【００３９】
移動手段Ａ１は、移動体Ａを移動させるものであり、例えば、車輪、無限軌道、多足歩行装置、プロペラ等を含み、さらに、これらを駆動する駆動手段（モータ、エンジン等）を含む。移動制御手段Ｄによって各移動手段Ａ１の出力を制御することにより、移動体Ａを所定の方向に移動させることができる。
【００４０】
通信手段Ａ２は、ネットワークを介して外部の機器と接続可能な手段であり、例えば、移動制御手段Ｄ、端末装置Ｃ、環境情報取得手段Ｂ、画像情報取得手段Ｅ、記憶手段Ｆ等と接続してもよい。移動制御手段Ｄが外部に設置されている場合は移動制御手段Ｄと接続して移動制御手段Ｄから移動手段Ａ１の制御信号を受信してもよいし、移動体Ａが環境情報取得手段、画像情報取得手段等を有していれば、端末装置Ｃと接続して環境情報や画像情報を端末装置Ｃに送信してもよい。また、移動体Ａが経路算出手段、移動制御手段、地図作成手段等を有していれば、端末装置Ｃと接続して端末装置Ｃから変更した障害物の情報、仮想地図情報又は仮想経路を受信してもよい。通信手段Ａ２としては、移動体Ａの移動を制限しないように無線の通信手段を採用することが好ましく、例えば、無線ＬＡＮとして、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）などを使用してもよい。なお、別途、ネットワークとの間にルータ、モデム、終端装置、中継機等を設置してもよい。
【００４１】
環境情報取得手段Ｂは、移動体Ａの周囲の環境情報を取得するセンサであり、少なくとも障害物を検知することができる。環境情報取得手段Ｂは、障害物の存在と位置（相対的な位置又は絶対的な位置）を検出可能な手段であればよく、例えば、周囲に存在する障害物までの距離と方向を計測することにより周囲の環境情報を取得する。環境情報取得手段Ｂとしては、例えば、レーザ光を使用したＬｉＤＡＲ（Light Detection and Ranging又はLaser Imaging Detection and Ranging）や測域センサ、複数のカメラを使用したステレオカメラ、パターンプロジェクションカメラ、電波（ミリ波）を使用したレーダ、磁気センサ等を含む。環境情報取得手段Ｂは、移動体Ａに設けることが好ましいが、移動体Ａの外部、例えば、周囲の壁、天井、床等に設けてもよい。環境情報取得手段Ｂを移動体Ａに設けた場合は、移動体Ａの周囲の少なくとも一部の環境情報を取得することができ、例えば、移動体Ａを中心とした所定の角度範囲内の環境情報を取得することができる。全周囲（３６０°）の環境情報を取得できることが好ましいが、少なくとも移動体の移動方向前方の環境情報を取得する。移動体Ａの外部に設けた場合は、移動体Ａの移動範囲内を網羅するように複数の環境情報取得手段Ｂを壁、天井、床等に設けることが好ましい。外部に設けた環境情報取得手段Ｂによって、当該環境情報取得手段Ｂから障害物までの距離及び方向を特定できるとともに、移動体Ａの位置についても検出することができる。取得した環境情報の少なくとも一部は、端末装置Ｃに提供可能とされているが、移動体Ａに提供可能とされていてもよい。また、環境情報取得手段Ｂは、二次元（２Ｄ）の環境情報だけではなく三次元（３Ｄ）の環境情報を取得できることが好ましい。環境情報取得手段Ｂで取得される環境情報は、センサの種類によって異なるが、センサの測定点までの距離を含んでいる。例えば、ＬｉＤＡＲの場合は、マイクロパルスレーザ光で所定の角度範囲内を順次走査し、障害物によって反射して戻ってきた光を受光して、戻ってくるまでの時間を測定し、障害物までの距離及び方向を取得する。ここで測定点とは、照射したレーザ光が当たった障害物の位置である。ステレオカメラの場合は、複数のカメラで撮影した画像内に含まれる特定の被写体の一部（一画素又は数画素の領域）について、各画像内における位置の違い（視差）と、複数のカメラ間の間隔とから、特定の被写体の一部までの距離や形状を認識できる。ここで、各画素内における視差を求めた被写体の一部が測定点である。ステレオカメラでは、複数のカメラの画像が重なる範囲が所定の角度範囲となり、３Ｄの環境情報を取得することができる。複数のカメラを移動（回転）可能に設けてもよい。また、通常のカメラであっても、既知の大きさのマーカー（図形、文字、形状等）を障害物に付すことにより、画像情報におけるマーカーのドット数（大きさ）及び角度から障害物の存在と位置を検出できる。さらに、赤外線カメラ等の距離も検出可能なカメラを使用してもよい。環境情報取得手段Ｂとしてカメラ（ステレオカメラを含む）を採用した場合は、画像情報取得手段Ｅとして利用することもできる。
【００４２】
遠隔オペレータ用端末装置Ｃは、移動体Ａとは離れて設けられており、地図情報を作成する地図作成手段Ｃ１と、地図作成手段Ｃ１で作成された地図情報、障害物の画像情報等を表示可能な画像表示手段Ｃ２と、地図情報に含まれる障害物の情報を使用して出発位置から目的地までの経路を算出する経路算出手段Ｃ３と、障害物の情報を変更可能な入力手段Ｃ４と、通信手段Ｃ５と、これらを制御する制御手段Ｃ６を含み、必要に応じて記憶手段を含んでいる。端末装置Ｃには、環境情報取得手段Ｂから環境情報の少なくとも一部が提供される。さらに画像情報取得手段Ｅから画像情報の少なくとも一部が提供されてもよい。端末装置Ｃは、人間（オペレータ）が操作する装置であり、地図作成手段Ｃ１によって環境情報取得手段Ｂから提供された環境情報から地図情報を作成することができ、経路算出手段Ｃ３によって地図情報に基づいて目的地までの経路を算出することができ、画像表示手段Ｃ２に地図情報や環境情報取得手段Ｂ又は画像情報取得手段Ｅから提供された障害物の情報を表示して、障害物を人間に確認させることができ、入力手段Ｃ４によって人間に地図情報に含まれる障害物の情報を変更させることができ、さらに地図作成手段Ｃ１及び経路算出手段Ｃ３によって変更された障害物の情報に基づく仮想地図情報を作成し、目的地までの仮想経路を算出することで、当該変更内容で目的地まで到達できることを人間に確認させることができる。さらに、端末装置Ｃは、変更した障害物の情報、仮想地図情報又は／及び仮想経路を移動体Ａ又は移動制御手段Ｂに提供することができる。さらに、端末装置Ｃは、人間が移動体Ａを操作できるようなコントローラを有していてもよい。端末装置Ｃとしては、例えば、コンピュータ、ノートパソコン、携帯情報端末（スマートフォン、タブレット端末を含む）等を含み、一つのハードウェアで端末装置Ｃを実現してもよいし、複数のハードウェア（例えば、携帯情報端末を画像表示手段、入力手段、サーバを地図作成手段、経路算出手段とする等）に手段を分散して端末装置Ｃを実現してもよい。また、一台の端末装置Ｃに複数台の移動体Ａを接続させてもよい。本発明においては、移動体Ａが経路算出に影響する障害物を認識した時などに限定して人間がサポートすればよく、一人で複数台の移動体をサポートすることが可能である。
【００４３】
地図作成手段Ｃ１は、地図作成プログラムを実行することによって実現され、図２では制御手段Ｃ６の一部の機能として実現される。地図作成手段Ｃ１は、環境情報取得手段Ｂから提供された環境情報に基づいて計測地図情報を作成したり、入力手段Ｃ４で変更された障害物の情報を含む仮想地図情報を作成する。地図作成手段Ｃ１は、予め用意された基本地図情報、過去の計測地図情報、他の移動体Ａ又は複数の環境情報取得手段Ｂからの環境情報に基づく計測地図情報等を統合した地図情報を作成してもよい。地図作成手段Ｃ１は、経路算出手段Ｃ３で使用するためのコスト又はコスト領域を設定してもよい。端末装置Ｃの地図作成手段Ｃ１で作成した複数の環境情報取得手段からの環境情報に基づく地図情報は、一つの環境情報取得手段の計測範囲を超えた計測地図情報が含まれるため、複数の移動体間で共有してもよい。
【００４４】
画像表示手段Ｃ２は、様々な情報を表示する手段であり、例えば、液晶ディスプレイ（ＬＣＤ）、有機ＥＬディスプレイ、プロジェクタ等を含む。画像表示手段Ｃ２としてタッチパネル式のディスプレイを使用すれば、入力手段Ｃ４としても使用できる。また、複数の移動体Ａに対応して、複数の画像表示手段Ｃ２を設けてもよいし、一つの画像表示手段Ｃ２に複数の移動体Ａの情報を同時に又は順次表示するようにしてもよい。画像表示手段Ｃ２には、少なくとも移動体Ａから取得した障害物の画像情報が表示され、さらに、環境情報及び／又は地図情報が表示されてもよい。画像表示手段Ｃ２の画像を２分割して、一方に画像情報を表示し、他方に環境情報及び／又は地図情報を表示したり、環境情報と画像情報とを切り替え可能に表示したりしてもよいが、画像情報の画像上に地図情報のコストを重ねて表示すると、画像情報における障害物の情報を容易に把握することができ、障害物の情報の変更が容易になる。特に、遠隔オペレータ用端末装置Ｃは、人間が入力手段Ｃ４を操作して障害物の情報を指定するため、人による判断が介在する処理であるところ、単に経験や直感に基づく判断だけではオペレータの個人差もあり安定したシステムの運営が難しい。このため、障害物の情報を変更するためのＵＩ（ユーザーインターフェース）を整えて判断ミスが生じにくいシステムを構築することが好ましく、画像情報の画像上に地図情報のコストを重ねて表示するのが好ましい。
【００４５】
経路算出手段Ｃ３は、経路算出プログラムを実行することによって実現され、図２では制御手段Ｃ６の一部の機能として実現される。経路算出手段Ｃ３は、地図情報に含まれる障害物の情報を使用して出発位置から目的地までの経路を算出するものであり、特に、変更された障害物の情報を含む仮想地図情報に基づき移動体の自己位置又は出発位置から目的地までの仮想経路を算出する。移動体Ａも経路算出手段を有する場合、端末装置Ｃの経路算出手段Ｃ３は、移動体Ａの経路算出手段と同一の経路算出方法を実行できる必要があり、仮想経路を算出する際には、同一の経路算出方法を実行する。移動体Ａが経路算出手段を有していない場合、通常時、端末装置Ｃの経路算出手段Ｃ３で算出した経路に基づいて、移動体制御手段Ｄが移動体Ａを目的地まで移動させてもよい。経路算出手段Ｃ３は、複数の仮想経路を算出してオペレータに選択可能に表示してもよい。経路算出手段Ｃ３は、障害物等によって目的地までの経路が算出できない場合、画像表示手段Ｃ２に算出できないことを表示し、再度の変更をオペレータに要求してもよいし、シミュレーションして得られた変更内容の候補又は仮想経路の候補を提示してもよい。
【００４６】
入力手段Ｃ４は、地図情報に含まれる障害物の情報の少なくとも一部を変更可能な手段であり、例えば、キーボード、ポインティングデバイス（マウス、タッチパッド等）、タッチパネル（タッチスクリーンを含む）等を含む。入力手段Ｃ４による障害物の情報の変更は、例えば、画像表示手段Ｃ２に表示された地図情報に含まれる障害物を選択することにより、選択した障害物に関するコスト等の設定をオペレータが変更できるようにしてもよいし、画像表示手段Ｃ２に表示された地図情報の少なくとも１つのセルを選択することにより、そのセルの設定を変更できるようにしてもよいし、そのセルの設定の基礎となった障害物に関するコスト等の設定を変更できるようにしてもよい。画像情報の画像上に地図情報のコストを重ねて表示されていれば、障害物の画像を見ながら地図情報を選択できるので好ましい。また、障害物の情報の変更として、選択した障害物を可動な障害物（好ましくは一時的な障害物）に設定してもよい。入力方法として、ポインティングデバイスで囲んだ範囲内の障害物又はセルを選択し、範囲内のコスト等を変更できるようにしてもよいし、ポインティングデバイスで動かすことで動かした軌道上のセルのコスト等を変更できるようにしてもよい。また、入力手段Ｃ４によって障害物を移動または消去することにより、その障害物に基づくコストを変更してもよい。また、端末装置Ｃは、入力手段Ｃ４による入力前、又は入力手段Ｃ４でオペレータが障害物又はセルを選択した後、一つ又は複数の変更内容又は仮想経路の候補を提示してもよく、入力手段Ｃ４は、変更内容又は仮想経路の候補を選択可能であってもよい。例えば、環境情報及び画像情報を取得すると、可動な障害物を端末装置が判別し、可動な障害物のコスト等を仮に変更した後、地図作成手段及び経路算出手段によって目的地まで到達可能か仮想経路をシミュレーションし、到達できた一つ又は複数の変更内容又は仮想経路を候補として提示してもよい。また、オペレータが障害物を選択すると、選択した障害物のコスト等を仮に変更してシミュレーションしてもよい。また、オペレータがセルを選択すると、当該セルを通過し目的地まで到達するような仮想経路が算出できるように、当該セル周辺のコスト等を仮に変更してシミュレーションしてもよい。
【００４７】
通信手段Ｃ５は、ネットワークを介して外部の機器と接続可能な手段であり、例えば、移動体Ａ、移動制御手段Ｄ、環境情報取得手段Ｂ、画像情報取得手段Ｅ、記憶手段Ｆ等と接続される。通信手段Ｃ５としては、有線でも無線でもよく、例えば、無線の移動通信システム（３Ｇ、４Ｇ、５Ｇ回線等を含む）、有線ＬＡＮとしてイーサネット、無線ＬＡＮとして、Ｗｉ−Ｆｉ（Wireless Fidelity）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＺｉｇＢｅｅ（登録商標）などを使用してもよい。なお、別途、ネットワークとの間にルータ、モデム、終端装置、中継機等を設置してもよい。通信手段Ｃ５は、制御手段Ｃ６によって制御され、環境情報取得手段Ｂ、画像情報取得手段Ｅからの環境情報、画像情報を受信したり、入力手段Ｃ４で変更された障害物の情報、仮想地図情報又は仮想経路を移動体Ａ又は移動制御手段Ｄに送信したりする。なお、仮想地図情報は変更された障害物の情報を含むので、仮想地図情報を送信する場合も変更された障害物の情報を送信することに含まれる。
【００４８】
制御手段Ｃ６は、端末装置Ｃの様々な動作・機能を制御する処理装置であり、例えば、ＣＰＵ（Central Processing Unit）及び作業用メモリなどによって、或いは集積回路（Integrated Circuit）によって実現される。ＣＰＵが、記憶手段等に格納されたプログラムを作業用メモリに読み出して実行することで、制御手段Ｃ６の機能を果たすことができる。制御手段Ｃ６は、画像表示手段Ｃ２を制御して様々な情報（少なくとも環境情報及び／又は画像情報）を表示させたり、地図作成手段Ｃ１及び経路算出手段Ｃ３を制御して変更内容又は仮想経路の候補をシミュレーションしたり、通信手段Ｃ５を制御して所定の情報を送受信させたりしてもよい。
【００４９】
移動制御手段Ｄは、移動制御プログラムを実行することによって実現され、経路算出手段で算出した経路に沿って各移動手段Ａ１の出力を制御して移動体Ａを所定の位置（目的地）へ移動させる。移動制御手段Ｄは、例えば移動手段Ａ１として複数のモータが移動体Ａに設けられていた場合、各モータの回転角や回転速度を制御してもよいし、各モータに供給される電流値を制御してもよい。移動制御手段Ｄは、移動体Ａに設けることが好ましいが、移動体Ａの外部、例えば、管理サーバや端末装置Ｃ等に設けてもよい。また、移動制御手段Ｄは、可動な障害物（好ましくは一時的な障害物）を認識した場合、待機処理を実行してもよい。待機処理とは、可動な障害物が移動して通行可能な状態となるまで待機する処理であり、例えば、可動な障害物が移動するまで出発するタイミングを遅らせてもよいし、可動な障害物の近傍まで移動した後、一時的な障害物が移動するまで待ってもよい。可動な障害物の移動するタイミングが既知の場合は、可動な障害物が移動した後に通過するように可動な障害物までの移動速度を調節してもよい。待機処理の実行は、環境情報取得手段Ｂ又は画像情報取得手段Ｅで検知した障害物が画像認識手段で可動な障害物と認識した際でもよいし、端末装置Ｃから変更した障害物の情報として可動な障害物の設定を受信した際でもよい。
【００５０】
画像情報取得手段Ｅは、少なくとも移動体Ａの周囲の画像情報を取得するカメラであり、例えば、ＣＣＤカメラ、ＣＭＯＳセンサなどを使用することができる。画像情報取得手段Ｅは、少なくとも移動体Ａの移動方向前方の画像（静止画又は動画）を取得でき、環境情報取得手段Ｂの測定範囲の全部についての画像を取得できることが好ましく、画像情報取得手段Ｅの撮像方向を変更可能な可動部を含むことが好ましい。画像情報取得手段Ｅは、障害物の画像情報を取得し、画像認識手段によって障害物を判定したり、端末装置Ｃの画像表示手段Ｃ２に表示してオペレータに障害物を確認させたりできる。ただし、環境情報取得手段Ｂとして高精細な３ＤのＬｉＤＡＲ等を使用すれば、測定点のパターンによって障害物を判定又は確認することも可能であり、環境情報取得手段Ｂで障害物を判定又は確認できる場合は、画像情報取得手段Ｅを設けなくてもよい。また、環境情報取得手段Ｂとしてカメラを使用すれば、それを画像情報取得手段Ｅとしても使用可能である。画像情報取得手段Ｅは、移動体Ａに設けることが好ましいが、移動体Ａの外部、例えば、周囲の壁、天井、床等に設けてもよい。移動体Ａに環境情報取得手段Ｂ及び画像情報取得手段Ｅを設けた場合、画像情報取得手段Ｅとしては、例えば、周方向に回転可能な可動部にカメラを設置した構成としてもよい。画像情報取得手段Ｅの撮像方向は、環境情報取得手段Ｂの測定点の走査と連携させて測定点の画像を取得することが好ましい。撮像タイミングは、常に撮像してもよいし、所定のタイミングで撮像してもよい。常に撮像する場合は、画像のデータ量が膨大となり、移動体Ａに搭載される比較的小容量の記憶手段のデータ領域を圧迫する。また、取得した画像情報をネットワークを介して端末装置Ｃに提供可能であるが、常に提供した場合は膨大なデータ量の画像情報が常に送受信されるため、通信回線が混雑するという課題が生じる。このため、少なくとも画像情報については、所定のタイミングに限定して端末装置Ｃに提供することが好ましい。つまり、通常の動作時には画像情報は送信せず、移動体Ａの記憶手段に記憶しておき、周囲の障害物に起因してオペレータの判断が必要となった際、又は端末装置Ｃから画像情報を要求する信号を受信した際、画像情報を送信することが好ましい。なお、移動体の記憶手段の容量が少ない場合には、古い画像から自動的に削除するようにしてもよい。また、常に撮像せずに所定のタイミングで撮像する場合は、例えば、移動中の経路を遮る障害物を環境情報取得手段Ｂによって検出したタイミングで画像情報を取得してもよい。移動体Ａの外部に画像情報取得手段Ｅを設ける場合は、例えば、監視カメラを画像情報取得手段Ｅとして利用してもよい。
【００５１】
記憶手段Ｆは、各種の情報やデータベースを保存する手段であり、例えば、ＵＳＢメモリ、半導体メモリ、ＣＤ、ＤＶＤ、ＨＤＤなどを含む。記憶手段Ｆは、移動体Ａ、環境情報取得手段Ｂ、端末装置Ｃ、移動制御手段Ｄ、画像情報取得手段Ｅのそれぞれに個別に設けてもよいし、共通して設けてもよい。記憶手段Ｆは、各構成と一体的に有していてもよいし、ネットワークを介して接続してもよい。記憶手段Ｆには、各種プログラム、取得した環境情報及び画像情報、地図情報、被写体データベース、障害物データベース等が記憶されてもよい。
【００５２】
図３は、本発明の移動体の制御システム１を実現するハードウェアの一例である。本実施形態における制御システム１は、目的地までの経路を算出することが可能な自律式の移動体２と、遠隔オペレータ用端末装置４と、移動体２及び端末装置４が接続されたネットワーク３と、を含み、必要に応じてネットワーク３を介して接続可能な記憶サーバ５及び管理サーバ６を含んでいてもよい。本実施形態の移動体の制御システム１は、目的地までの経路を算出することが可能な自律式の移動体２において人間の判断が必要な状況となった際に、ネットワーク３を介して移動体２と遠隔オペレータ用端末装置４とを接続させることにより、適宜ネットワーク３を通じて端末装置４と通信することによって遠隔地のオペレータの判断を仰ぐことができる。また、移動体２が取得した情報を端末装置４に送り、端末装置４で移動体２の状況を確認したり、端末装置４で作成した情報を移動体２に送り、かかる情報を使用して移動体２を制御したりすることができる。
【００５３】
図４は、本実施形態における移動体２及び端末装置４の概略構成を示すブロック図である。本実施形態における移動体２は、移動体を移動させる移動手段２１と、周囲の環境情報を取得する環境情報取得手段２２と、周囲の画像情報を取得する画像情報取得手段２３と、通信手段２４と、地図情報に基づき自己位置又は出発位置から目的地までの経路を算出する経路算出手段２５と、算出した経路に沿って移動手段を操作して目的地まで移動体を移動させる移動制御手段２６と、を含み、さらに必要に応じて移動体の自己位置を算出する位置推定手段２７、地図作成手段２８、画像認識手段２９、記憶手段３０等を含んでいる。本実施の形態においては、経路算出手段２５、移動制御手段２６、位置推定手段２７、地図作成手段２８、画像認識手段２９は、制御手段３１の機能の一部を利用して実現している。各構成の詳細については後述する。移動体２は、目的地が設定されると経路算出手段２５によって自己位置又は出発位置から目的地までの経路を算出し、移動制御手段２６によって移動手段２１を操作して経路に沿って目的地まで移動可能な自律式の移動体である。移動体２としては、例えば、無人搬送車、有人車両、移動式の産業用ロボット、モバイルロボット、移動式のサービスロボット、及び無人航空機（ドローンを含む）を含む。
【００５４】
ネットワーク３は、特に限定されるものではなく、インターネットを含み、例えば、公衆電話網、ＩＳＤＮ（Integrated Service Digital Networkの略。デジタル総合サービス網とも呼ばれる。）、ＡＤＳＬ（Asymmetric Digital Subscriber Line）、ＣＡＴＶ（Community Antenna TeleVision）網、光ファイバー網、無線ＬＡＮ（Local Area Network）、ＣＳ（Communication Satellite）放送、移動通信システム（３Ｇ、４Ｇ、５Ｇ回線等を含む）網などを利用することができる。ネットワーク３には、複数の移動体２が接続されてもよく、各移動体２において情報の送受信が行われるところ、送受信する情報の容量が大きくなると、通信回線が混雑し、通信速度の低下、必要な情報が取得できないことによる作業の中断、通信接続の切断といった不具合が生じる。特に、移動体２には画像情報取得手段２３が含まれ、画像情報の送受信が予定されているが、複数の移動体２から常時画像情報が送信された場合には通信量が膨大となる。このため、本発明の一部の実施態様では、ネットワーク３を利用する情報について、時期的又は内容的に工夫し、通信量を緩和し、既存のネットワーク３を利用しても複数台の移動体を円滑に動作できるようにしている。
【００５５】
本実施形態における遠隔オペレータ用端末装置４は、地図情報を作成する地図作成手段４１と、地図作成手段４１で作成された地図情報及び障害物の画像情報を表示可能な画像表示手段４２と、移動体２の経路算出手段２５と同一の経路算出方法を実行可能な経路算出手段４３と、地図情報のコストを変更可能な入力手段４４と、通信手段４５と、これらを制御する制御手段４６と、記憶手段４７とを含んでいる。移動体２の通信手段２４と端末装置４の通信手段４５とはネットワーク３を介して接続されている。各構成の詳細については前述したとおりである。。端末装置４としては、例えば、コンピュータ、ノートパソコン、携帯情報端末（スマートフォン、タブレット端末を含む）等を含み、一つのハードウェアで端末装置４を実現してもよいし、複数のハードウェア（例えば、携帯情報端末を画像表示手段、入力手段、サーバを地図作成手段、経路算出手段とする等）に手段を分散して端末装置４を実現してもよい。また、一台の端末装置４に複数台の移動体２を接続させてもよい。本発明においては、移動体２が経路算出に影響する障害物を認識した時などに限定して人間がサポートすればよく、一人で複数台の移動体をサポートすることが可能である。
【００５６】
記憶サーバ５は、各種の情報やデータベースが保存されており、ネットワーク３を介して移動体２及び端末装置４とデータを共有させることができる。移動体２の記憶手段４７又は端末装置４の記憶手段４７とは別に記憶サーバ５を設けてもよいし、いずれかの記憶手段を兼用させてもよい。記憶サーバ５には、地図情報、各移動体から取得した環境情報及び画像情報、障害物の情報、被写体データベース、障害物データベース等が記憶されてもよい。記憶サーバ５に演算機能を持たせてもよく、移動体２又は端末装置４の機能の一部（例えば仮想地図情報の作成等）を実施させてもよい。この場合、記憶サーバ５は端末装置４でもある。
【００５７】
管理サーバ６は、各移動体２の移動を管理するものであり、各移動体２の自己位置を取得し、地図情報と併せて移動体の位置を管理してもよいし、各移動体２に対して移動先の位置情報や作業内容等を送信してもよい。さらに、管理サーバ６に移動体２又は端末装置４の機能の一部（例えば、移動制御手段、仮想地図情報の作成等）を実施させてもよい。記憶サーバ５と管理サーバ６を一つのサーバで実現してもよいし、別々のサーバで実現してもよい。また、端末装置４を管理サーバ６として使用してもよい。
【００５８】
本実施形態における移動体２の移動手段２１、環境情報取得手段２２、画像情報取得手段２３、通信手段２４、移動制御手段２６、記憶手段３０は、それぞれ図２の移動手段Ａ１、環境情報取得手段Ｂ、画像情報取得手段Ｃ、通信手段Ａ２、移動制御手段Ｄ、記憶手段Ｆに相当し、移動制御手段２６は図４では制御手段３１の一部の機能として実現される。
【００５９】
経路算出手段２５は、経路算出プログラムを実行することによって実現され、図４では制御手段３１の一部の機能として実現される。経路算出手段２５は、地図情報に含まれる障害物の情報を使用して出発位置から目的地までの経路を算出するものであり、出発位置としては移動体２の現在位置でもよいし、別途指定された任意の位置でもよい。経路算出手段２５は、様々な経路算出方法を採用することができる。例えば、Global Dynamic Window Approach（Ｇｌｏｂａｌ  ＤＷＡ）というアルゴリズムを使用し、全体的な経路計画であるグローバルパスを求め、それに基づいて局所的な動作計画であるローカルパス（走行速度）を求めてもよい。経路算出手段２５は、障害物を回避するため、少なくとも障害物の位置を移動体２が通過しないように経路を設定する。地図情報が、移動可能な領域、障害物に基づく移動できない領域、不明の領域等が設定された複数のセルで構成される場合、経路算出手段２５は、移動できないセルを避けて、移動可能なセルを選択して経路を算出すればよい。さらに、地図情報として、移動可能な領域のセルに対し中間値のコストが設定されていれば、経路算出手段２５は、コストの低いセルを選択して経路を算出することにより、障害物から一定程度以上の距離が離れた経路を算出できる。端末装置４の経路算出手段４３で算出した経路を受信して使用する場合は移動体２の経路算出手段２５は不要であるが、通信回線の混雑緩和、計測と経路受信までの時間差などから、移動体２自身に経路算出手段２５を設けることが好ましく、その場合、端末装置４の経路算出手段４３と同一の経路算出プログラムを使用する。
【００６０】
位置推定手段２７は、位置推定プログラムを実行することによって実現され、図４では制御手段３１の一部の機能として実現される。位置推定手段２７としては、自己位置が特定できればよく、特に手段を問うものではないが、環境情報取得手段で取得した環境情報と、予め用意された地図情報とを照合して、照合結果に基づき移動体の自己位置を算出してもよい。他の位置推定手段２７としては、ＧＰＳで特定したり、通信アンテナや基地局で特定したり、周囲の壁、天井、床に位置を示す記号を表記してそれを画像認識することで特定したりしてもよい。また、外部（例えば端末装置４等）から移動体２の位置を送信すれば、移動体２に位置推定手段２７を設けなくてもよい。この場合は、移動体２の位置を特定するための複数のセンサを移動体２の周囲に配置すればよい。
【００６１】
地図作成手段２８は、地図作成プログラムを実行することによって実現され、図４では制御手段３１の一部の機能として実現される。地図作成手段２８は、少なくとも環境情報取得手段２２で取得した環境情報から周辺の計測地図情報を作成する。さらに、最新の計測地図情報で基本地図情報や過去の計測地図情報を更新した地図情報を作成してもよい。地図作成手段２８は、経路算出手段２５で使用するためのコストを設定してもよい。端末装置４の地図作成手段４１で作成した地図情報を受信して使用する場合は移動体２の地図作成手段２８は不要であるが、通信回線の混雑緩和、計測と地図受信までの時間差などから、移動体２自身に地図作成手段２８を設けることが好ましく、その場合、端末装置４の地図作成手段４１と同一の地図作成プログラムを使用する。
【００６２】
画像認識手段２９は、画像認識プログラムを実行することによって実現され、図４では制御手段３１の一部の機能として実現される。画像認識手段２９は、画像情報から、画像内に含まれる被写体を抽出し、識別して認識検出するものである。画像認識手段２９として、例えば、画像情報から各被写体の輪郭を特定し、背景から分離して抽出し、様々な被写体のパターン画像が蓄積された被写体データベースを用いて照合し、各被写体を認識してもよい。被写体データベースに障害物のパターン画像を含め、障害物データベースとしても利用可能であれば、画像内の障害物を特定することができる。また、画像認識手段２９は、環境情報の測定点の配置パターンを画像認識して障害物データベースに格納された測定点の配置パターンと照合することにより、環境情報内の障害物を特定することもできる。移動体２の外部（例えば、端末装置４）に画像認証手段を設け、外部からの認証結果を利用する場合は移動体２の画像認識手段２９は不要であるが、通信回線の混雑緩和、画像取得と認証までの時間差などから、移動体２自身に画像認識手段２９を設けることが好ましい。なお、画像認証を利用しない場合、移動体２の外部に画像取得手段を設けた場合などは、移動体に画像認識手段２９を設けなくてもよい。
【００６３】
記憶手段４７は、移動体２の制御に使用される情報、移動体２が取得した情報等が必要に応じて記憶される手段であり、例えば、ＵＳＢメモリ、半導体メモリ、ＣＤ、ＤＶＤ、ＨＤＤなどを含む。記憶手段４７には、各種プログラム、取得した環境情報及び画像情報、被写体データベース、障害物データベース等が記憶されてもよい。また、記憶手段４７を設けなくても、通信手段２４によって、外部の記憶サーバ５からネットワーク３を介して必要な情報を取得することが可能であるが、通信回線を混雑させることから、記憶手段４７を設けて常時使用するような必要な情報については記憶手段４７に保存しておくことが好ましい。
【００６４】
制御手段３１は、移動体２の様々な動作・機能を制御する処理装置であり、例えば、ＣＰＵ（Central Processing Unit）及び作業用メモリなどによって、或いは集積回路（Integrated Circuit）によって実現される。ＣＰＵが、記憶手段４７等に格納されたプログラムを作業用メモリに読み出して実行することで、制御手段３１の機能を果たすことができる。図４では、制御手段３１の一部の機能として、経路算出手段２５、移動制御手段２６、位置推定手段２７、地図作成手段２８、画像認識手段２９が実現されているが、かかる構成に限定されるものではなく、経路算出手段２５、移動制御手段２６、位置推定手段２７、地図作成手段２８又は画像認識手段２９を専用の電子回路で実現してもよいし、別々のハードウェアで実現してもよい。また、制御手段３１は、環境情報取得手段２２を制御して周囲の環境情報を取得させたり、画像情報取得手段２３を制御して周囲の画像情報を所定の撮像タイミングで取得させたり、通信手段２４を制御して上記のとおり所定の情報を所定のタイミングで送受信させたりしてもよい。このように、移動体２は、制御手段３１によって各部が制御され、自己位置検出を行いながら所定の経路に沿って目的地まで移動することができる。
【００６５】
本実施形態における端末装置４の地図作成手段４１、画像表示手段４２、経路算出手段４３、入力手段４４、通信手段４５、制御手段４６、記憶手段４７は、それぞれ図２の図作成手段Ｃ１、画像表示手段Ｃ２、経路算出手段Ｃ３、入力手段Ｃ４、通信手段Ｃ５、制御手段Ｃ６、記憶手段Ｆに相当し、地図作成手段４１及び経路算出手段４３は、移動体２の地図作成手段２８の地図作成プログラム及び経路算出手段２５の経路算出プログラムと同一のものを実行可能である。
【００６６】
［基本地図情報の取得］
図５（Ａ）は、移動体の移動範囲の間取りを示す概略平面図であり、図５（Ｂ）は基本地図情報を作成するための環境情報取得作業の途中を示す図である。移動体２は、環境情報取得手段２２としてＬｉＤＡＲを有し、画像情報取得手段２３として撮像方向を周方向に回転可能なカメラを有し、移動手段２１として４つの車輪を有している。図５（Ａ）に示すように、移動範囲内の間取りは、右側に長方形の大部屋５１が配置され、その左側の壁に開口５２ａを介して接続された正方形の小部屋５２と、開口５３ａを介して接続された正方形の小部屋５３とが配置されている。基本地図情報を取得するため、余計な障害物は片付けた状態で、移動体２の環境情報取得手段２２を用いたＳＬＡＭによって全体の環境情報を取得する。移動体２の制御手段３１（以下、単に移動体２という）は、図５（Ｂ）に示すように、ＬｉＤＡＲ２２からマイクロパルスレーザ光２２ａを所定のステップ角度毎に順次照射し、周囲の環境をレーザ光で走査して環境情報を取得する。図５（Ｂ）では左壁に向けたレーザ光のみを示しているが、全方位に走査しており、その他の方位の壁については測定点のみ示す。なお、図示されたステップ角度及びレーザ光の角度範囲は模式的に示したものであり、特に限定されるものではない。周囲には、壁などの障害物があり、各レーザ光２２ａは、それぞれ障害物に照射され、各測定点２２ｂで反射光や散乱光（図示せず）を発生させ、戻ってきた反射光又は散乱光をＬｉＤＡＲ２２の検出器で検出し、照射してから戻ってくるまでの時間を計測することにより各測定点２２ｂまでの距離及び方向を測定する。このように、各測定点について、環境情報取得手段２２を中心とした極座標（距離，角度）を得ることができる。なお、各測定点の極座標を直交座標に変換してもよい。こうして大部屋５１の壁の位置と、開口５２ａ、５３ａを通過したレーザ光により小部屋５２，５３の壁の一部分の位置と、相対的な自己位置を把握できる。そして、移動範囲内を移動しながらこの作業を繰り返すことで移動範囲内全体の障害物の位置を把握できる。
【００６７】
図６（Ａ）は、移動範囲内全体の環境情報の測定点の配置パターンであり、図６（Ｂ）は地図情報の平面図である。図６（Ａ）に示すように、環境情報取得手段２２の測定点２２ｂのパターンによって、移動範囲内の障害物が把握できる。基本地図情報を作成する段階で把握した障害物について、移動体２の画像情報取得手段２３によって画像情報を取得してもよい。図６（Ｂ）は平面図で示した地図情報であり、移動体の位置及び向きが三角形６１で表示されている。地図は、正方形状のグリッドからなる複数のセル６２によって縦横に分割され、各セルにコストが設定されてもよい。図中の網掛けのセル６３は、壁のコスト領域であり、壁と移動体との接触を防ぐため、壁に基づく高いコストが設定され、移動体２の経路に設定できない移動できない領域とされている。障害物のコスト領域を移動体２の幅に安全マージンを加えた範囲とすることで、経路算出の計算上、移動体２を点で置き換えて経路を線として計算できる。
【００６８】
［計測地図情報の取得］
図７（Ａ）は、計測地図情報の作成時における状況を模式的に示す平面図であり、（Ｂ）及び（Ｃ）は基本地図情報にはない新たに検出された障害物の画像情報である。移動体２は図５と同じ位置に配置されているが、大部屋５１の開口５２ａの近傍に円形の障害物５４と四角の障害物５５が配置されている。移動体２は、図７（Ａ）に示すように、環境情報を取得するため、ＬｉＤＡＲ２２のレーザ光２２ａを周囲に走査する。壁及び開口５２ａの一部が障害物５４、５５の影となっているため、影となった領域にはレーザ光２１ａは届かず、障害物５４、５５の移動体２に面した表面で測定点５４ａ及び５５ａが検出される。その環境情報は、図７（Ａ）に示すように、障害物５４、５５の壁の測定点５４ａ及び５５ａの端は不連続となっており、空間的に壁から離間していることが把握できる。また、移動体２は、新たに検知した障害物の画像情報を取得するため、障害物５４，５５の存在する方向（環境情報取得手段２２のレーザ光２２ａの照射方向（測定方向））にカメラ２３を向けて撮像する。図７（Ｂ）は障害物５４の画像情報であり、円柱状の障害物５４が確認できる。図７（Ｃ）は障害物５５の画像情報であり、直方体の障害物５５が確認できる。画像情報は移動体２が停止した状態で取得することが好ましいが、移動中に取得してもよい。画像情報を取得する際に、移動体２を移動させながら画像情報を取得すると、画像がぶれる可能性があるため、後記図１２のアルゴリズムを使用することが好ましい。
【００６９】
図８（Ａ）は、図７（Ａ）で取得した環境情報に基づく計測地図情報である。障害物５４の測定点５４ａのパターンによって、障害物５４の移動体２に面した表面の形状（円筒形）が把握でき、かかる表面形状に応じて一定範囲内のセルにコスト領域５４ｂが設定されている。また、障害物５５の測定点５５ａのパターンによって、障害物５４の移動体２に面した表面の形状（直方体）が把握でき、かかる表面形状に応じて一定範囲内のセルにコスト領域５５ｂが設定されている。なお、基本地図情報で確認済みの壁のコスト領域６３に比べて、未確認の障害物５４、５５のコスト領域５４ｂ、５５ｂの方が安全マージンを高くして広い範囲としている。図８（Ａ）に示すように、小部屋５２の星印が目的地６４の場合、壁のコスト領域６３、障害物５４のコスト領域５４ｂ及び障害物５５のコスト領域５５ｂによって移動範囲が分断されているため、移動体２は目的地６４までの経路を算出できない。
【００７０】
［経路算出補助処理］
本発明の移動体の制御システム１によれば、自律式の移動体２が、障害物により目的地までの経路を算出できなかった場合、移動中の経路を遮る障害物を検出した場合、移動体の経路が障害物で変更された場合、又は移動体が経路から外れて移動した場合等、周囲の障害物に起因してオペレータの判断が必要となった際に、通信手段２４を介して端末装置４のオペレータに経路算出の補助を依頼できる。図９は、移動体２における移動体の経路算出補助処理のフローチャートの一例であり、図１０は、端末装置４における移動体の経路算出補助処理のフローチャートの一例である。移動体２は、図９のＳ７１において、環境情報取得手段２２によって周囲の環境情報を取得し、Ｓ７２において、画像情報取得手段２３によって周囲の画像情報を取得する。なお、Ｓ７１とＳ７２の順番は任意であり、また、Ｓ７２の画像情報取得は、Ｓ７３の経路算出後、Ｓ７５の情報送信までの間に実施してもよい。次に、Ｓ７３において、移動体２は、経路算出手段２５によって、取得した環境情報を含む地図情報に基づいて経路を算出し、Ｓ７４において、経路が算出できたか否かを判定する。地図情報は、移動体２の地図作成手段２８によって作成してもよいし、通信手段２４を介して取得してもよい。経路算出手段２５で経路が算出できた場合（Ｓ７４のＮｏ）、Ｓ７７において、移動体２は、移動制御手段２６によって、算出された経路に沿って目的地まで移動し、処理を終了する。経路算出手段２５で経路が算出できなかった場合（Ｓ７４のＹｅｓ）、通信手段２４を介して端末装置４に必要な情報を送信する。端末装置４に送信する情報としては、少なくとも環境情報取得手段２２で検出した障害物を含む環境情報及び画像情報取得手段２３で取得した当該障害物の画像情報を送信するが、例えば、環境情報を取得時に端末装置４に送信している場合は、ここでは障害物の画像情報を送信するだけでもよい。また、地図情報を端末装置に送信することにより、地図情報に含まれる環境情報を端末装置に送信してもよい。さらに、その他の情報（例えば、移動体の自己位置、ＩＤ、目的地の位置など）を送信してもよい。その後、Ｓ７６において、図１０における端末装置２の処理によって端末装置２から送信された変更内容等を受信する。受信した変更内容としては、変更した障害物の情報、仮想地図情報又は仮想経路等である。変更した障害物の情報を受信した場合は、それに基づいて地図作成手段３８で地図情報を作成し、経路算出手段２５で経路を算出する。仮想地図情報を受信した場合は、それに基づいて経路算出手段２５で経路を算出する。そして、Ｓ７７において、移動体２は、移動制御手段２６によって、算出した経路又は受信した仮想経路に沿って目的地まで移動する。
【００７１】
端末装置４は、図１０のＳ８１において、Ｓ７５で移動体２から送信された情報を受信する。Ｓ８２において、受信した障害物の画像情報を画像表示手段４２に表示する。さらに、受信した地図情報又は受信した環境情報から地図作成手段４１によって作成した地図情報を表示してもよい。画像表示手段４２の画面を分割して、地図情報と画像情報を表示してもよいし、地図情報を平面図で表示し、障害物を選択するとその障害物の画像情報を表示するようにしてもよいし、立体的な画像情報に重ねて地図情報を表示してもよい。さらに、端末装置４は、入力手段４４を操作可能な状態とし、オペレータが障害物の情報を変更できるようにする。Ｓ８３において、端末装置４は、オペレータによって変更された障害物の情報を取得し、Ｓ８４において、地図作成手段４１によって仮想地図情報を作成する。そして、端末装置４は、Ｓ８５において、経路算出手段４３によって、仮想地図情報に基づき移動体２の経路算出手段２５と同一の経路算出方法で移動体２の自己位置又は出発位置から目的地までの仮想経路を算出する。次に、Ｓ８６において、仮想経路が目的地まで到達できたか否かを判断する。仮想経路が算出できなかった場合（Ｓ８６のＮｏ）は、オペレータに目的地まで到達する経路が算出できなかったことを伝え、新たな障害物の情報の変更を要求する。目的地まで到達した場合（Ｓ８６のＹｅｓ）は、Ｓ８７において、変更内容等を移動体２に送信する。変更内容等とは、変更された障害物の情報、仮想地図情報又は仮想経路を含む。Ｓ８７の前に、オペレータに仮想経路を表示し、移動体への送信の要否を確認してもよい。
【００７２】
［障害物の情報変更処理］
オペレータは、端末装置４において、画像表示手段４２に表示された障害物の画像情報によって障害物を確認しつつ、入力手段４４を操作して地図情報における障害物の情報を変更できる。障害物の情報を変更する方法としては、例えば、画像表示手段４２に表示された地図情報に含まれる障害物を選択することにより、選択した障害物に関するコスト等の設定をオペレータが変更できるようにしてもよいし、画像表示手段４２に表示された地図情報の少なくとも１つのセルを選択することにより、そのセルの設定を変更できるようにしてもよいし、そのセルの設定の基礎となった障害物に関するコスト等の設定を変更できるようにしてもよい。画像情報の画像上に地図情報のコストを重ねて表示されていれば、障害物の画像を見ながら地図情報を選択できるので好ましい。また、障害物の情報の変更として、選択した障害物を可動な障害物（好ましくは一時的な障害物）に設定することも含む。障害物には、空の段ボール、梱包材、紙袋、風船のように、移動体２が衝突してもあまり傷つかず、移動体２によって押し退けることができる軽い可動な障害物、柔らかい変形可能な障害物がある。また、机、椅子のように、下をくぐることができるもの又は扉のように押す方向によっては障害物を容易にどかすことができるものがあり、オペレータは、障害物の画像情報から、接触して押し退けることが可能な障害物か否かを判断できる。さらに、一時的な障害物であれば、しばらく待てば障害物が移動して通過可能となることもオペレータは判断できる。また、未知の障害物に対しては安全マージンを高く取りコスト領域が過剰に広く設定される場合もあるが、オペレータが画像情報から確認し、適切なコスト領域に変更することで、障害物を避けて目的地まで経路を算出できることがある。そして、オペレータは、端末装置４の経路算出手段で目的地まで到達できることを確認した後にデータを送ることができる。
【００７３】
図８（Ｂ）は、ポインタ６５で障害物５４の測定点５４ａの一つを選択し、障害物５４のコスト領域を点線５４ｂから網掛け部分５４ｃに変更した仮想地図情報である。コスト領域の減少は、手動で変更してもよいし、自動で変更してもよい。例えば、測定点５４ａの一つを選択すると、その障害物５４に関するコスト領域内の各セルのコスト又はコスト領域の範囲をオペレータが変更できるようにしてもよいし、その障害物５４のコスト領域の範囲を端末装置４が自動で減少させてもよい。図８（Ｂ）では、障害物５５のコスト領域５５ｂは変わらないが、障害物５４のコスト領域５４ｃを狭くしたため、仮想地図情報に基づき経路算出手段４３で目的地６４までの仮想経路６６を算出することができる。端末装置４は、仮想経路６６を画像表示手段４２に表示し、オペレータに移動体２への送信の要否を確認してもよい。オペレータが仮想経路を確認し、送信を許可すると、端末装置４は変更内容等を移動体２に送信する。なお、図８（Ｂ）及び（Ｃ）ではグリッド線は消している。
【００７４】
図８（Ｃ）は、ポインタ６５で地図情報の少なくとも１つのセル６７を選択し、障害物５４のコスト領域を点線５４ｂから網掛け部分５４ｄに変更し、障害物５５のコスト領域を点線５５ｂから網掛け部分５５ｄに変更した仮想地図情報である。オペレータが画像表示手段４２に表示されたセル６７をポインタ６５で選択すると、端末装置４は、選択したセル６７がコスト領域であればその付近を通過可能に変更し、選択したセル６７が障害物であれば障害物を除去した状態に変更し、変更後の仮想地図情報を作成し、仮想地図情報に基づき仮想経路を算出する。仮想経路が算出できなかった場合、又は仮想経路が適切ではなかった場合、さらに追加のセルを選択してもよいし、新たにセルを選択してもよい。
【００７５】
［仮想経路候補提示処理］
図１１は、端末装置４がオペレータの判断を支援するため、シミュレーションした仮想経路の候補を提示する処理のフローチャートの一例である。仮想経路の候補は、例えば、オペレータが障害物の情報を変更する前、変更後の仮想地図情報でも仮想経路が算出できなかった場合、オペレータからの候補提示の要求があった場合等に提示してもよい。端末装置４は、Ｓ９１において、経路算出の妨げとなる障害物を無視した仮想地図情報を作成し、予備的な仮想経路を算出する。次に、Ｓ９２において、端末装置４は、障害物の情報を含む地図情報において、予備的な仮想経路を重ね合わせ、予備的な仮想経路上の障害物又はコスト領域を抽出する。Ｓ９３において、端末装置４は、抽出した障害物の情報又は抽出したコスト領域を変更し、Ｓ９４において、変更後の情報に基づいて仮想経路を算出し、Ｓ９５において、仮想経路が目的地まで到達できたか否かを判断する。仮想経路が算出できなかった場合（Ｓ９５のＮｏ）は、Ｓ９３においてさらに障害物の情報を変更する。目的地まで到達した場合（Ｓ９５のＹｅｓ）は、Ｓ９６において、オペレータに仮想経路の候補を表示する。端末装置４は、一つの仮想経路の候補を算出できたら、その仮想経路の候補を表示してもよいし、複数の仮想経路の候補を算出してから、複数の仮想経路の候補を選択可能に表示してもよい。オペレータは、提示された候補を採用してもよいし、独自で障害物の情報を変更してもよいし、提示された候補に変更を追加してもよい。また、端末装置４は、さらに仮想経路の候補を得るために変更した内容を表示してもよい。
【００７６】
[移動中の画像取得処理]
図１２は、移動体の画像情報取得手段２３によって、移動中に障害物等の被写体の画像を撮影する際、画像のブレを防止又は減らすための処理のフローチャートの一例である。移動体２は、Ｓ１０１において、画像情報取得手段２３（ここではカメラ）を被写体に向ける。カメラの向きを変更可能な場合はカメラの向きを被写体に向け、カメラの向きを変更できない場合は、移動体ごと向きを変えてカメラを被写体に向ける。Ｓ１０２において、画角内に被写体が存在するか否かを確認する。Ｓ１０１でカメラを被写体に向けているが、移動体が移動しているため、被写体が画角から外れることもある。画角内に被写体がない場合（Ｓ１０２のＮｏ）はＳ１０１に戻り、カメラを被写体に向ける。画角内に被写体が存在する場合（Ｓ１０２のＹｅｓ）は、Ｓ１０３において、画像上の移動速度が一定以下の被写体の有無を確認する。画像上の移動速度は、ある被写体の一点について画像上の座標の時間当たりの変位であり、移動体２が被写体に向かって移動している場合、又は、移動体２が被写体から遠ざかっていく場合は、被写体に向けたカメラの画像上の移動速度は小さいので撮影に適している。一方、被写体の画像上の移動速度が速いと、画像がぶれやすくなる。このため、画像上の移動速度が一定以下の被写体が一つもない場合（Ｓ１０３のＮｏ）は、Ｓ１０４において、移動体の移動条件（移動速度、移動方向等）を変更し、再度Ｓ１０１に戻り、カメラを被写体に向ける。画像上の移動速度が一定以下の被写体がある場合（Ｓ１０３のＹｅｓ）は、Ｓ１０５において、被写体を撮影する。
【符号の説明】
【００７７】
１  移動体の制御システム
２  移動体
３  ネットワーク
４  遠隔オペレータ用端末装置
２１  移動手段
２２  環境情報取得手段
２３  画像情報取得手段  
２４  通信手段
２５  経路算出手段
２６  移動制御手段
２７  位置推定手段
２８  地図作成手段
２９  画像認識手段
３０  記憶手段
３１  制御手段
４１  地図作成手段
４２  画像表示手段
４３  経路算出手段
４４  入力手段
４５  通信手段
４６  制御手段
４７  記憶手段
【図１】
2022003437.tif 000003
【図２】
2022003437.tif 000004
【図３】
2022003437.tif 000005
【図４】
2022003437.tif 000006
【図５】
2022003437.tif 000007
【図６】
2022003437.tif 000008
【図７】
2022003437.tif 000009
【図８】
2022003437.tif 000010
【図９】
2022003437.tif 000011
【図１０】
2022003437.tif 000012
【図１１】
2022003437.tif 000013
【図１２】
2022003437.tif 000014