(57)【要約】      （修正有）【課題】ロボット、地図構築方法、位置推定方法、電子機器及び記憶媒体を提供する。【解決手段】ロボットに用いられる地図構築方法は、ロボットを所定のルールに従って作業領域を走査させ、該ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップを含み、該初期地図は第１地図及び第２地図を含み、該第１地図は該作業領域と地図座標系とのマッピングを含み、該第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、該位置姿勢は該ロボットの第１地図における座標及び向きを含み、該シーン特徴はシーンにおける特徴物体の特徴及び／又は該シーン画像の特徴を含む。【選択図】図１
2020087415.tif 000002
【特許請求の範囲】
【請求項１】
ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップ、を含み、
前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、コンピュータにより実現される方法。
【請求項２】
前記ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップは、
前記ロボットを前記作業領域の境界に沿って走行させ、輪郭地図を構築するステップと、
前記ロボットを前記輪郭地図に基づいて前記輪郭地図内の走査経路を計画させ、前記走査経路に沿って走行させ、内部地図を構築するステップと、
前記輪郭地図及び前記内部地図を用いて前記初期地図を構成するステップと、を含む、請求項１に記載の方法。
【請求項３】
前記ロボットを前記作業領域の境界に沿って走行させるステップは、
前記ロボットがシーン画像を収集する方向を順方向とし、前記ロボットを順方向に沿って走行させるステップと、
前記ロボットが障害対象を認識した場合、前記ロボットを前記障害対象の境界に沿って走行させるように前記ロボットの前記順方向に沿う走行方向を転換するステップと、をさらに含む、請求項２に記載の方法。
【請求項４】
前記ロボットが障害対象を認識した場合、前記ロボットの現在位置を第１位置として決定し、
前記ロボットを前記障害対象の境界に沿って走行させるステップは、
前記ロボットが前記第１位置に再び走行した場合、前記障害対象が前記作業領域内の障害物又は前記作業領域の境界であるかを判断するステップと、
前記障害対象が前記作業領域内の障害物である場合、前記ロボットを前記順方向に沿って走行させるように前記ロボットの前記障害対象の境界に沿う走行方向を転換するステップと、
前記障害対象が前記作業領域の境界である場合、前記作業領域の境界に沿う走行が完了したと決定するステップと、をさらに含む、請求項３に記載の方法。
【請求項５】
ロボットを所定のルールに従って作業領域を走査させる際に、取集された画像に基づいて前記作業領域内の特徴物体が認識している場合、前記第１地図の地図座標系に基づいて、前記ロボットと前記特徴物体との間の距離を決定し、前記距離が所定距離を満たしているとき、前記ロボットにより現在リアルタイムで収集された画像をシーン画像とし、シーン画像に基づいて前記シーン特徴を抽出する、請求項１に記載の方法。
【請求項６】
前記初期地図は、位置姿勢の照会のために用いられ、
前記位置姿勢の照会は、
前記ロボットによりリアルタイムで収集された画像からのシーン特徴と前記シーン・データベースに記憶されたシーン特徴とをマッチングし、マッチしたシーン特徴と前記ロボットによりリアルタイムで収集された画像のシーン特徴とを比較することで前記ロボットのリアルタイム位置姿勢と前記ロボットの該シーン画像を収集する時の位置姿勢との差を決定し、前記ロボットの該シーン画像を収集する時の位置姿勢に基づいて前記ロボットのリアルタイム位置姿勢を決定すること、を含む、請求項１に記載の方法。
【請求項７】
前記ロボットが前記作業領域において作業している間にリアルタイムで収集された画像に基づいて、前記初期地図を反復的に更新するステップ、をさらに含む、請求項１に記載の方法。
【請求項８】
前記ロボットが前記作業領域において作業している間にリアルタイムで収集された画像に基づいて、前記初期地図を反復的に更新するステップは、
前記ロボットによりリアルタイムで収集された画像に基づいて、前記シーン・データベースとのマッチングにより、推定位置姿勢を取得するステップと、
前記ロボットによりリアルタイムで収集された画像及び前記推定位置姿勢に基づいて、前記ロボットの正確位置姿勢を決定するステップと、
前記正確位置姿勢、前記推定位置姿勢にマッチしたシーン特徴、該シーン特徴に対応する幾何学的量、及び前記ロボットによりリアルタイムで収集された画像に基づいて、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量を決定するステップと、
前記正確位置姿勢、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量に基づいて、前記シーン・データベースを更新するステップと、を含む、請求項７に記載の方法。
【請求項９】
請求項１乃至８の何れかに記載の方法により構築された地図、及び前記ロボットによりリアルタイムで収集された画像に基づいて、前記ロボットの現在位置姿勢を決定するステップ、を含む、コンピュータにより実現される方法。
【請求項１０】
前記ロボットの現在位置姿勢を決定するステップは、
前記ロボットによりリアルタイムで収集された画像からのシーン特徴と前記シーン・データベースに記憶されたシーン特徴とをマッチングし、マッチしたシーン特徴と前記ロボットによりリアルタイムで収集された画像のシーン特徴とを比較することで前記ロボットのリアルタイム位置姿勢と前記ロボットの該シーン画像を収集する時の位置姿勢との差を決定し、前記ロボットの該シーン画像を収集する時の位置姿勢に基づいて前記ロボットの現在位置姿勢を決定すること、を含む、請求項９に記載の方法。
【請求項１１】
少なくともロボットの周囲の画像をリアルタイムで収集するセンサと、
前記ロボットを移動させるように駆動するモータと、
処理装置と、を含み、
前記処理装置は、ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するように構成され、
前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、ロボット。
【請求項１２】
前記処理装置は、前記ロボットが前記作業領域において作業している間にリアルタイムで収集された画像に基づいて、前記初期地図を反復的に更新するように構成されている、請求項１１に記載のロボット。
【請求項１３】
前記処理装置は、前記初期地図又は更新された地図、及び前記ロボットによりリアルタイムで収集された画像に基づいて、前記ロボットの現在位置姿勢を決定するように構成されている、請求項１２に記載のロボット。
【請求項１４】
前記ロボットは、掃除ロボット又は床拭きロボットである、請求項１１乃至１３の何れかに記載のロボット。
【請求項１５】
処理装置と、
コンピュータプログラムが記憶されている記憶媒体と、を含み、
前記コンピュータプログラムは、前記処理装置により実行される際に、請求項１乃至８の何れかに記載の方法のステップを実行する、電子機器。
【請求項１６】
コンピュータプログラムが記憶されている記憶媒体であって、
前記コンピュータプログラムは、処理装置により実行される際に、請求項１乃至８の何れかに記載の方法のステップを実行する、記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ロボットの分野に関し、特にロボット、地図構築方法、位置推定方法、電子機器及び記憶媒体に関する。
【背景技術】
【０００２】
現在、例えば掃除ロボット等の移動可能なロボットは、既に多くの家庭により受け入れられ、実際に使用されている。通常のロボットの位置推定及び地図構築は、例えばレーザ、赤外線等の自発的に発射された信号を用いて、外部環境を探測して地図を構築する。例えば、知能ロボットの位置推定と地図構築の技術の１つはＦａｓｔＳＬＡＭである。ＦａｓｔＳＬＡＭは、一般的にレーザ距離計又はソナーを用いて実現される。ＦａｓｔＳＬＡＭは、レーザやソナー等のセンサを用いているため、特殊な環境においてロボットを認識することができず、予測により環境状況全体を推定することしかできない。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本開示は、ロボット、地図構築方法、位置推定方法、電子機器及び記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本開示の１つの態様では、ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップ、を含み、前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、ロボットの地図構築方法を提供する。
【０００５】
本開示のもう１つの態様では、上記のロボットの地図構築方法により構築された地図、及び前記ロボットによりリアルタイムで収集された画像に基づいて、前記ロボットの現在位置姿勢を決定するステップ、を含む、ロボットの位置推定方法をさらに提供する。
【０００６】
本開示のもう１つの態様では、少なくともロボットの周囲の画像をリアルタイムで収集するセンサと、前記ロボットを移動させるように駆動するモータと、処理装置と、を含み、前記処理装置は、ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するように構成され、前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、ロボットをさらに提供する。
【０００７】
本開示のもう１つの態様では、処理装置と、コンピュータプログラムが記憶されている記憶媒体と、を含み、前記コンピュータプログラムは、前記処理装置により実行される際に、上記の方法のステップを実行する、電子機器をさらに提供する。
【０００８】
本開示のもう１つの態様では、コンピュータプログラムが記憶されている記憶媒体であって、前記コンピュータプログラムは、処理装置により実行される際に、上記の方法のステップを実行する、記憶媒体をさらに提供する。
【図面の簡単な説明】
【０００９】
図面を参照しながら例示的な実施形態を詳細に説明することにより、本開示の上記及び他の特徴及び利点は明らかになる。
【図１】本開示の実施例に係るロボットの地図構築方法のフローチャートである。
【図２】本開示の例示的な実施例に係るロボットの地図構築方法を示すフローチャートである。
【図３】本開示の例示的な実施例に係るロボットによる作業領域の走査を示す図である。
【図４】本開示の例示的な実施例に係るロボットによる作業領域の走査を示す図である。
【図５】本開示の例示的な実施例に係るロボットによる作業領域の走査を示す図である。
【図６】本開示の例示的な実施例に係るロボットによる作業領域の走査を示す図である。
【図７】本開示の実施例に係る地図の反復的な更新を示すフローチャートである。
【図８】本開示の実施例に係るロボットの位置推定方法を示すフローチャートである。
【図９】本開示の実施例に係るロボットのブロック図である。
【図１０】本開示の例示的な実施例に係るコンピュータ読み取り可能な記憶媒体を示す模式図である。
【図１１】本開示の例示的な実施例に係る電子機器を示す模式図である。
【発明を実施するための形態】
【００１０】
以下は図面を参照しながら例示的な実施形態をより詳細に説明する。なお、例示的な実施形態は様々な形態で実施されてもよく、ここで説明される例に限定されると解釈されてはならない。むしろ、本開示をより完全にするようにこれらの実施形態を提供し、当業者に例示的な実施形態の思想を伝える。ここの説明される特徴、構成又は特性は、任意の適切な方式で１つ又は複数の実施形態に組み合わせられてもよい。
【００１１】
また、図面は、単なる本開示の例示的な図示であり、必ずしも一定の縮尺で描かれているものではない。図面における同一の符号は同一又は類似の部分を示すため、その重複の説明を省略する。図面に示されるブロック図は機能的なエンティティであり、必ずしも物理的又は論理的に独立したエンティティに対応するものではない。これらの機能的なエンティティは、ソフトウェアにより実現されてもよいし、１つ又は複数のハードウェアモジュール又は集積回路により実現されてもよいし、異なるネットワーク、及び／又はプロセッサ装置、及び／又はマイクロ制御装置により実現されてもよい。
【００１２】
従来技術におけるロボットの位置推定と地図構築の方法は、全ての環境に適用することができず、消費電力が大きく、コストが高く、取得された情報量が少なく、人工知能のロボットへの適用が制限されている。
【００１３】
従来技術の欠点を解消するために、本開示は、自発的な信号を必要とすることなく、受動的な視覚センサを用いて地図の構築を実現することで、消費電力の小さい視覚センサを使用し、コストを削減させ、取得される信号量を増大させ、知能ロボットの地図構築を最適化することができるロボット、地図構築方法、位置推定方法、電子機器及び記憶媒体を提供する。
【００１４】
まず、図１を参照しながら本開示を説明し、本開示の実施例に係るロボットの地図構築方法のフローチャートである。
【００１５】
図１に示すように、該方法は１つのステップを含む。
【００１６】
ステップＳ１１０：ロボットを所定のルールに従って作業領域を走査させ、該ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築する。ここで、該初期地図は第１地図及び第２地図を含み、該第１地図は該作業領域と地図座標系とのマッピングを含み、該第２地図は、該ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、該位置姿勢は該ロボットの第１地図における座標及び向きを含み、該シーン特徴はシーンにおける特徴物体の特徴及び／又は該シーン画像の特徴を含む。
【００１７】
従来技術に比べて、本開示により提供されるロボットの地図構築方法は以下の利点を有する。
【００１８】
（１）自発的な信号を必要とすることなく、受動的な視覚センサを用いて地図の構築を実現することで、消費電力の小さい視覚センサを使用し、コストを削減させ、取得される信号量を増大させ、知能ロボットの地図構築を最適化することができる。
【００１９】
（２）本開示の地図構築方法は、第１地図及び第２地図を含む初期地図を構築することで、第２地図、即ちシーン地図を用いて、ロボットにより多くの情報を提供することができる。
【００２０】
本開示の各実施例では、第１地図は、構造及び物体間の相互関係のデータ構造を示すために用いられる。第１地図は、ロボットの経路計画のために用いられてもよい。第１地図は地図座標系（ＭＣ）を用いて作業領域内の具体的な位置を表し、地図座標系（ＭＣ）は２次元又は３次元の座標系であってもよい。ロボットの第１地図内の特定の点における位置姿勢は、ロボットの地図座標系における該点の座標Ｐ及びその向きｒにより構成されている。
【００２１】
【数１】
2020087415.tif 000003
ここで、Ｐは次元が地図座標系の次元に依存するベクトルであり、ｒは次元がＰから１を減算したベクトルである。例えば、地図座標系が３次元座標系である場合、Ｐは３次元ベクトルであり、ｒは２次元ベクトルである。地図座標系が２次元座標系である場合、Ｐは２次元ベクトルであり、ｒは１次元ベクトルである。
【００２２】
第２地図は、第１地図をベースにして、特定の位置においてシーン及び幾何学的記述のデータ構造を有する。ロボットは、第２地図を用いることで、シーン地図における自分の位置を知ることができ、地図の内容を更新することができる。第２地図は、以下のマッピングで表されてもよい。
【００２３】
【数２】
2020087415.tif 000004
ここで、Ｌはロボットの位置姿勢であり、Ｉはロボットが該位置姿勢で撮影した画像であり、Ｉは本明細書においてシーン画像とも称され、Ｇ及びＳは、該シーン画像から抽出されたシーン特徴及び該シーン特徴の幾何学的量をそれぞれ表し、ＳＭは、シーン画像、シーン特徴及び該シーン特徴の幾何学的量をロボットの位置姿勢に変換する変換関数である。
【００２４】
１つの実施例では、シーン特徴は、画像における特徴物体に基づいて抽出されてもよい。シーン特徴の幾何学的量は、例えばシーン特徴により表される特徴物体の点、線、面の幾何学的特徴であってもよい。幾何学的量の定義及びその精度は、異なる応用の要求に応じて変化してもよい。該実施例では、ロボットが所定のルールに従って作業領域を走査する際に、取集された画像に基づいて該作業領域内の特徴物体が認識している場合、該第１地図の地図座標系に基づいて、該ロボットと該特徴物体との間の距離を決定する。該距離が所定距離を満たしているとき、該ロボットにより現在リアルタイムで収集された画像をシーン画像とし、シーン画像に基づいて該シーン特徴を抽出する。１つの態様では、抽出されたシーン特徴が固定、不変のものであるシーンの場合は、認識すべき特徴物体は通常作業領域において固定位置を有する特徴物体である。特徴物体は、予め設定された特徴物体集合に基づいて指定されてもよい。１つの変形例では、特徴物体は、複数のロボットにより作業中に収集された画像に基づいて、機械学習により決定されてもよいが、本開示はこれに限定されない。さらに、上記の所定距離を用いることで、特徴抽出の効率及び特徴抽出の精度を向上させることができる。所定距離は、予め設定されてもよし、ロボットの作業状態に応じて変化してもよい。もう１つの実施例では、シーン特徴は、特徴物体の特徴に限定されず、シーン画像の特徴であってもよい。当業者が様々な変形例を実施してもよく、ここでその説明を省略する。
【００２５】
また、上述したように、該ロボットの第１地図における座標及び向きを該ロボットの位置姿勢とする。上記のステップＳ１１０における該ロボットを所定のルールに従って作業領域を走査させ、該ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップは、以下のステップを含んでもよい。第２地図におけるシーン特徴、該シーン特徴に対応する幾何学的量及び該シーン特徴を抽出するシーン画像を、該ロボットが該シーン画像を収集する時の位置姿勢に対応付けてシーン・データベースに記憶する。該シーン特徴はシーンにおける特徴物体の特徴及び／又は該シーン画像の特徴を含んでもよいため、該シーン特徴がシーンにおける特徴物体の特徴を含む場合、該ステップは、位置姿勢の照会のために、収集された画像に基づいて認識された該作業領域内の特徴物体を該ロボットが該画像を収集する時の位置姿勢に対応付けてシーン・データベースに記憶することに相当する。該実施例では、シーン・データベースには、該ロボットがシーン画像（例えば特徴物体を含む）を収集する時の位置姿勢と、第２地図におけるシーン特徴（例えば特徴物体の特徴を含む）、該シーン特徴に対応する幾何学的量、及び該シーン特徴を抽出するシーン画像とのマッピング関係が記憶されている。言い換えれば、本実施例では、シーン・データベースはステップＳ１１０における第２地図である。
【００２６】
上記実施例の１つの態様では、該位置姿勢の照会は、該ロボットによりリアルタイムで収集された画像からの画像特徴（即ちシーン特徴の１つ）と該シーン・データベースに記憶されたシーン特徴とをマッチングし、マッチしたシーン特徴と該ロボットによりリアルタイムで収集された画像の画像特徴（即ちシーン特徴の１つ）とを比較することで該ロボットのリアルタイム位置姿勢と該ロボットの該シーン画像を収集する時の位置姿勢との差を決定し、該ロボットの該シーン画像を収集する時の位置姿勢に基づいて該ロボットのリアルタイム位置姿勢を決定すること、を含む。
【００２７】
言い換えれば、シーン特徴と該ロボットによりリアルタイムで収集された画像の画像特徴（即ちシーン特徴の１つ）とを比較することで、シーン画像を収集する該ロボットの、リアルタイム画像を収集するロボットに対する相対位置を決定し、これによって、記憶された該ロボットの該シーン画像を収集する時の位置姿勢及び決定された相対位置に基づいて、ロボットのリアルタイム位置姿勢を決定することができる。さらに、１つの例示的な態様では、上記の位置姿勢の照会ステップは、以下の地図更新において正確位置姿勢を決定するアルゴリズムを採用してもよい。本開示はこれに限定されない。
【００２８】
上記のシーン特徴が特徴物体の特徴を含む場合、該位置姿勢の照会は、該ロボットによりリアルタイムで収集された画像からの特徴物体と該シーン・データベースに記憶された特徴物体とをマッチングし、マッチした特徴物体と該ロボットによりリアルタイムで収集された画像における特徴物体とを比較することで、該ロボットのリアルタイム位置姿勢と該ロボットの該特徴物体を収集する時の位置姿勢との差を決定し、該シーン・データベースに記憶された該ロボットの該特徴物体を収集する時の位置姿勢に基づいて該ロボットのリアルタイム位置姿勢を決定すること、を含む。
【００２９】
言い換えれば、特徴物体と該ロボットによりリアルタイムで収集された画像における特徴物体とを比較することで、特徴物体を収集する該ロボットの、リアルタイム特徴物体を収集するロボットに対する相対位置を決定し、これによって、記憶された該ロボットの該特徴物体を収集する時の位置姿勢及び決定された相対位置に基づいて、ロボットのリアルタイム位置姿勢を決定することができる。例えば、特徴物体、即ちロボットの充電ポールを世界座標系の原点とし、ロボットによりリアルタイムで収集された画像における充電ポールを確認することで、ロボットの初期地図における位置姿勢を照会する。
【００３０】
以上は単なる本開示の位置姿勢の照会の複数の態様を例示的に説明し、本開示はこれらの態様に限定されない。
【００３１】
以下は図２、図３乃至図６を参照しながら本開示に係るロボットの地図構築方法をさらに説明する。図２は本開示の例示的な実施例に係るロボットの地図構築方法を示すフローチャートである。図３乃至図６は本開示の例示的な実施例に係るロボットによる作業領域の走査を示す図である。
【００３２】
図２に示すように、ステップＳ１１０における該ロボットを所定のルールに従って作業領域を走査させ、該ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップは、以下のステップを含んでもよい。
【００３３】
ステップＳ１１１：該ロボット２０１を該作業領域２１０の境界２１１に沿って走行させ、輪郭地図２２１を構築する。
【００３４】
ステップＳ１１２：該ロボット２０１を該輪郭地図２２１に基づいて該輪郭地図内の走査経路を計画させ、該輪郭地図内の走査経路に沿って走行させ、内部地図２２２を構築する。
【００３５】
ステップＳ１１３：該輪郭地図２２１及び該内部地図２２２を用いて該初期地図を構成する。
【００３６】
上記ステップＳ１１１乃至ステップＳ１１３は図３及び図６を参照してもよい。なお、輪郭地図２２１及び内部地図２２２は何れも上記第１地図及び第２地図を含む。輪郭地図２２１及び内部地図２２２は、初期地図の領域情報及び経路情報をそれぞれ表す。第１地図及び第２地図は、初期地図の座標位置パラメータ及び対応するシーン特徴情報をそれぞれ表す。
【００３７】
１つの例示的な実施例では、上記ステップＳ１１１における該ロボット２０１を該作業領域２１０の境界２１１に沿って走行させ、輪郭地図２２１を構築するステップは、該ロボット２０１が画像を収集する方向を順方向とし、該ロボット２０１を順方向に沿って走行させるステップと、該ロボット２０１が障害対象を認識した場合、該ロボットを該障害対象の境界に沿って走行させるように該ロボット２０１の該順方向に沿う走行方向を転換するステップと、をさらに含んでもよい。該ロボット２０１により認識された障害対象は、例えば画像認識又は他のセンサのデータ認識により認識されてもよいが、本開示はこれに限定されない。図４に示すように、ロボット２０１が作業領域内の任意位置に位置し、まず、ロボット２０１を順方向（画像を収集する方向）に沿って走行させ、ロボット２０１が壁２４１（障害対象）に衝突した場合、ロボット２０１が壁２４１（障害対象）の境界に沿って走行するようにロボット２０１の該順方向に沿う走行方向を転換し、輪郭地図２２１を構築する。本実施例では、ロボットが障害対象の境界に沿って走行するようにロボットの該順方向に沿う走行方向を転換する際に、好ましくはロボットを左折させる（１つの変形例では、ロボットを右折させてもよい）。
【００３８】
１つの例示的な実施例では、作業領域内に障害物が存在する場合を考慮すると、上記ステップにおいてロボットが障害対象を認識した場合、ロボット２０１の現在位置を第１位置２３０、２３１として決定する。ロボット２０１を障害対象の境界に沿って走行させるステップは、ロボットが第１位置２３０、２３１に再び走行した場合、障害対象が作業領域内の障害物２４２又は作業領域の境界（例えば壁２４１）であるかを判断する。障害対象が作業領域内の障害物２４２である場合、ロボット２０１を順方向に沿って走行させるようにロボット２０１の障害対象の境界に沿う走行方向を転換する。障害対象が作業領域の境界（例えば壁２４１）である場合、ロボット２０１が作業領域の境界に沿う走行が完了したと決定する。
【００３９】
上記ステップは図５を参照してもよく、ロボット２０１が最初に作業領域内の任意の位置に位置し、ロボット２０１が順方向（画像を収集する方向）に沿って走行し、ロボット２０１が障害物２４２に衝突した場合、ロボット２０１の現在位置を第１位置２３１として決定し、ロボット２０１を障害物２４２の境界に沿って走行させるようにロボット２０１の該順方向に沿う走行方向を転換する（即ち障害物２４２を回って一周走行する）。ロボット２０１が障害物２４２を回って一周走行した後に第１位置２３１に再び走行した場合、障害対象が作業領域内の障害物２４２であるとロボットにより判断されたとき、ロボット２０１を該順方向に沿って走行させるようにロボット２０１の該障害対象の境界に沿う走行方向を転換する。一方、ロボット２０１が順方向に沿って走行し、ロボット２０１が作業領域の境界（例えば壁２４１）に衝突した場合、ロボット２０１の現在位置を第１位置２３０として決定し、ロボット２０１を作業領域の境界（例えば壁２４１）に沿って走行させるようにロボット２０１の該順方向に沿う走行方向を転換する（即ち壁２４１に沿って一周走行する）。ロボット２０１が壁２４１に沿って一周走行した後に第１位置２３０に再び走行した場合、障害対象が作業領域の境界（例えば壁２４１）であるとロボットにより判断されたとき、ロボット２０１が作業領域の境界に沿う走行が完了したと決定する。作業領域内に複数の障害物が存在する場合、上記ステップに従って動作させ、ロボット２０１を作業領域２１０の境界２１１に沿って走行させてもよい。
【００４０】
上記の判断によれば、ロボットが作業領域の境界を走査することを確保することができ、作業領域内の障害物を作業領域の境界とすることを回避することができる。
【００４１】
１つの実施例では、上記ステップにおけるロボット２０１の走行経路を作業領域２１０の境界２１１としてもよい。他の実施例では、上記ステップにおけるロボット２０１の走行経路から一部の経路を作業領域２１０の境界２１１として切り取ってもよい。例えば、ロボット２０１が該障害対象の境界に沿って走行しているモードのみにおけるロボット２０１の走行経路を作業領域２１０の境界２１１として保留してもよい。或いは、ロボット２０１が壁２４１に沿って走行しているモードのみにおけるロボット２０１の走行経路を作業領域２１０の境界２１１として保留してもよい。本開示は様々な変形例で実現されてもよく、ここでその説明を省略する。
【００４２】
また、上記ステップＳ１１０におけるロボットを所定のルールに従って作業領域を走査させ、該ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップの後に、該ロボットが該作業領域において作業している間にリアルタイムで収集された画像に基づいて、該初期地図を反復的に更新するステップ、をさらに含む。該ロボットが該作業領域において作業している間にリアルタイムで収集された画像に基づいて該初期地図を反復的に更新するステップは図７を参照してもよい。図７は本開示の実施例に係る地図の反復的な更新を示すフローチャートである。図７は、合計４つのステップを示している。
【００４３】
ステップＳ１２１：該ロボットによりリアルタイムで収集された画像に基づいて、該シーン・データベースとのマッチングにより、推定位置姿勢を取得する。
【００４４】
１つの実施例では、上記ステップは以下の式で表されてもよい。
【００４５】
【数３】
2020087415.tif 000005
ここで、この式は、時刻ｔに撮影された画像（該ロボットによりリアルタイムで収集された画像）が既知であると、時刻ｔにおけるシーン特徴に対応する幾何学的量により構成された幾何学的情報ベースＧｔ（特徴点、線、面などの幾何学的記述、例えば座標、方程式など）及びシーン特徴により構成されたシーン・データベースＳｔからロボットの該時刻における推定位置姿勢
（外１）
2020087415.tif 000006
を取得することを表す。このプロセスは以下のステップを含んでもよい。
【００４６】
ステップ１：画像Ｉから幾何学的特徴集合｛Ｆ｝を取得する。
【００４７】
ステップ２：該集合を用いてＳｔからＩに最もマッチした画像インデックス｛ｋ｝を検索する。
【００４８】
ステップ３：Ｇｔにおける各ｋに対応する幾何学的特徴サブ集合｛ｇ｝ｋに基づいて、以下の式の期待値を求める。
【００４９】
【数４】
2020087415.tif 000007
ここで、ＭＩリー代数ＳＥ（３）における内挿関数を表し、ＬｋはＳｔにおける画像インデックスｋに対応するロボットの位置姿勢である。
【００５０】
ステップＳ１２２：該ロボットによりリアルタイムで収集された画像及び該推定位置姿勢に基づいて、該ロボットの正確位置姿勢を決定する。
【００５１】
１つの実施例では、上記ステップは以下の式で表されてもよい。
【００５２】
【数５】
2020087415.tif 000008
このステップにおいて、軽量のＶＳＬＡＭアルゴリズムを用いてより正確な位置姿勢を取得してもよい。
（外２）
2020087415.tif 000009
が既にＬの良好な推定値であるため、
（外３）
2020087415.tif 000010
を用いて上記の幾何学的特徴集合｛Ｆ｝に対して雑音低減処理を行ってもよい。特に、以下の条件を満たしている幾何学的特徴Ｆｆを「誤った」ものとしてマーキングする。
【００５３】
【数６】
2020087415.tif 000011
ここで、Ｅは誤差評価関数であり、例えばユークリッド距離であり、Ｍは幾何学的特徴を他の空間にマッピングするためのマッピング関係であり、例えば投影変換であり、
（外４）
2020087415.tif 000012
は現在の推定位置姿勢
（外５）
2020087415.tif 000013
及び画像から幾何学的特徴を推定するための関数であり、例えば逆投影などであり、ｔｈは所定の閾値である。
【００５４】
「誤った」特徴が除去されると、他の高品質の幾何学的特徴によれば、簡単なＳＬＡＭアルゴリズムを用いてより正確なロボットの位置姿勢Ｌを算出することができる。
【００５５】
ステップＳ１２３：該正確位置姿勢、該推定位置姿勢にマッチしたシーン特徴、該シーン特徴に対応する幾何学的量、及び該ロボットによりリアルタイムで収集された画像に基づいて、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量を決定する。
【００５６】
１つの実施例では、上記ステップは以下の式で表されてもよい。
【００５７】
【数７】
2020087415.tif 000014
このステップにおいて、ロボットの位置姿勢Ｌ及び収集された画像Ｉに基づいて幾何学的情報ベースＧｔ、シーン・データベースＳｔを更新し、更新されたＧｔ＋１及びＳｔ＋１を取得してもよい。さらに、収集された画像Ｉを用いてシーン画像を直接置き換えてもよい。
【００５８】
ステップＳ１２４：該正確位置姿勢、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量に基づいて、該シーン・データベースを更新する。
【００５９】
図７を参照しながら説明したプロセスにより、ロボットにより作業中にリアルタイムで収集された画像を用いることで、第１地図及び第２地図を含む初期地図を反復的に更新し続けることができる。第２地図に含まれる収集された画像に基づいて抽出されたシーン特徴及び該シーン特徴の幾何学的量、並びにロボットにより作業中にリアルタイムで収集された画像は、何れも作業中のロボットにより多くの情報を提供することができるため、地図構築プロセスにおける雑音を低減させ、受動的な視覚センサによる地図構築の雑音の問題を解決し、本開示の地図構築の精度は自発的な信号の地図構築の精度よりも低くない。また、ロボットにより作業中にリアルタイムで収集された画像を用いて初期地図を反復的に更新することができるため、ロボットが作業中に環境を熟知することができ、位置推定のための地図を最適化し、環境の変化を継続的に検出し、ロボットをよりインテリジェントにすることができる。
【００６０】
以上は単なる本開示に係る複数の実施形態を例示的に説明しており、本開示はこれらの実施形態に限定されない。
【００６１】
図８に示すように、本開示はロボットの位置推定方法をさらに提供する。図８は本開示の実施例に係るロボットの位置推定方法を示すフローチャートである。
【００６２】
図８は合計１つのステップを示している。
【００６３】
ステップＳ３１０：上記のロボットの地図構築方法により構築された地図、及び該ロボットによりリアルタイムで収集された画像に基づいて、該ロボットの現在位置姿勢を決定する。
【００６４】
ステップＳ３１０の位置姿勢の決定方法は、例えば上記の位置姿勢の照会方法と同様であってもよい。
【００６５】
本開示はロボットをさらに提供する。図９は本開示の実施例に係るロボットのブロック図である。図９に示すように、ロボット４００は、センサ４１０、モータ４２０及び処理装置４３０を含む。
【００６６】
センサ４１０は、少なくともロボットの周囲の画像をリアルタイムで収集する。
【００６７】
モータ４２０は、該ロボットを移動させるように駆動する。
【００６８】
処理装置４３０は、ロボットを所定のルールに従って作業領域を走査させ、ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するように構成されている。ここで、初期地図は第１地図及び第２地図を含み、第１地図は作業領域と地図座標系とのマッピングを含み、第２地図は、ロボットの該シーン画像を収集する時の位置姿勢に対応付けて記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、位置姿勢はロボットの第１地図における座標及び向きを含み、シーン特徴はシーンにおける特徴物体の特徴及び／又はシーン画像の特徴を含む。
【００６９】
１つの例示的な実施例では、処理装置４３０は、ロボットが作業領域において作業している間にリアルタイムで収集された画像に基づいて、初期地図を反復的に更新するように構成されている。
【００７０】
１つの例示的な実施例では、処理装置４３０は、初期地図又は更新された地図、及びロボットによりリアルタイムで収集された画像に基づいて、ロボットの現在位置姿勢を決定するように構成されている。
【００７１】
１つの例示的な実施例では、ロボット４００は、掃除ロボット若しくは床拭きロボット、又は限られた空間内を走行する必要がある他の任意のロボットであってもよい。
【００７２】
本開示の上記の説明では、初期地図は第１地図及び第２地図を含み、第１地図は作業領域と地図座標系とのマッピングを含み、第２地図は、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含むことを説明しているが、第１地図及び第２地図は単独した２つの地図として作成、記憶されず、同一の地図において作成、記憶されてもよい。初期地図に作業領域と地図座標系とのマッピングが含まれ、且つ収集された画像に基づいて抽出されたシーン特徴及び該シーン特徴の幾何学的量が含まれば、初期地図に第１地図及び第２地図が含まれると見なされてもよい。
【００７３】
本開示の例示的な実施例では、コンピュータプログラムが記憶されている記憶媒体をさらに提供し、該コンピュータプログラムは、例えば処理装置により実行される際に、上記の何れかの実施例に係るロボットの地図構築方法のステップを実行してもよい。１つの態様では、本開示の各態様は、プログラムコードを含むプログラムプロダクトの形で実現されてもよく、該プログラムプロダクトが端末装置において実行される際に、該プログラムコードは、該端末装置に、本明細書のロボットの地図構築方法の部分に説明された本開示に係る各例示的な態様のステップを実行させる。
【００７４】
図１０は本開示の例示的な実施例に係る上記方法を実現するためのプログラムプロダクト９００を示しており、該プログラムプロダクト９００は、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）を使用し、プログラムコードを含み、例えばパーソナルコンピュータ等の端末装置で実行されてもよい。なお、本開示のプログラムプロダクトはこれに限定されず、本明細書では、読み取り可能な記憶媒体は、プログラムを含み、或いは記憶している任意の有形媒体であってもよく、該プログラムは、命令実行システム、装置又はデバイスにより使用され、或いはその組み合わせにより使用されてもよい。
【００７５】
プログラムプロダクトは、１つ又は複数の読み取り可能な媒体の任意の組み合わせを採用してもよい。読み取り可能な媒体は、読み取り可能な信号媒体又は読み取り可能な記憶媒体であってもよい。読み取り可能な記憶媒体は、例えば電気、磁気、光、電磁気、赤外線又は半導体のシステム、装置、デバイス又はそれらの任意の組み合わせであってもよいが、これらに限定されない。読み取り可能な記憶媒体の具体的な例（非網羅的リスト）は、１本又は複数本の導線を含む電気的接続、ポータブルディスク、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、書き込み・消去可能な読み取り専用メモリ（ＥＰＲＯＭ又はフラッシュメモリ）、光ファイバ、携帯型コンパクトディスク読み取り専用メモリ（ＣＤ−ＲＯＭ）、光記憶装置、磁気記憶装置、又はそれらの任意の適切な組み合わせを含む。
【００７６】
コンピュータ読み取り可能な記憶媒体は、ベースバンド内で、又はキャリアの一部として伝搬されるデータ信号を含んでもよく、読み取り可能なプログラムコードをキャリーしている。このような伝搬されるデータ信号は、様々な形態を採用してもよく、電磁信号、光信号又はそれらの任意の適切な組み合わせを含んでもよいが、これらに限定されない。読み取り可能な記憶媒体は、読み取り可能な記憶媒体以外の任意の読み取り可能な媒体であってもよく、該読み取り可能な媒体は、命令実行システム、装置又はデバイスにより使用され、或いはその組み合わせにより使用されるプログラムを送信、伝搬、伝送してもよい。読み取り可能な記憶媒体に含まれるプログラムコードは、無線、有線、光ケーブル、ＲＦ又はそれらの任意の適切な組み合わせを含む任意の適切な媒体により伝送されてもよいが、それらの媒体に限定されない。
【００７７】
本開示の処理を実行するためのプログラムコードは１つ又は複数のプログラミング言語の任意の組み合わせにより作成されてもよく、該プログラミング言語は、Ｊａｖａ（登録商標）、Ｃ＋＋等のオブジェクト指向のプログラム設計言語を含み、「Ｃ」言語又はそれと類似するプログラミング言語等の通常の手続き型プログラミング言語をさらに含む。プログラムコードは、テナントコンピューティングデバイスで完全又は部分的に実行されてもよいし、独立したソフトウェアパッケージとして実行あされてもよいし、部分的にテナントコンピューティングデバイスで実行され、且つ部分的にリモートコンピューティングデバイスで実行されてもよいし、完全にリモートコンピューティングデバイス又はサーバで実行されてもよい。リモートコンピューティングデバイスの場合には、リモートコンピューティングデバイスは、ローカルエリアネットワーク（ＬＡＮ）又はワイドエリアネットワーク（ＷＡＮ）を含む任意のネットワークを介してテナントコンピューティングデバイスに接続されてもよいし、外部コンピュータデバイスに接続されてもよい（例えばインターネットサービスプロバイダによりインターネットを介して接続される）。
【００７８】
本開示の例示的な実施例では、電子機器をさらに提供し、該電子機器は、処理装置（例えば上記の処理装置４３０）、及び該処理装置により実行可能な命令が記憶されている記憶媒体を含んでもよい。ここで、該処理装置は、該実行可能な命令を実行することで、上記の何れかの実施例に係るロボットの地図構築方法のステップを実行するように構成されている。
【００７９】
当業者が分かるように、本開示の各態様はシステム、方法又はプログラムプロダクトとして実現されてもよい。従って、本開示の様々な態様は、以下の形で具体的に実現されてもよく、即ち完全なハードウェア実装形態、完全なソフトウェア実装形態（ファームウェア、マイクロコード等を含む）、又はハードウェアとソフトウェアの態様の組合せの形で実現されもよく、ここで「回路」、「モジュール」又は「システム」とまとめて称される。
【００８０】
以下は、図１１を参照しながら本開示のこのような実施形態に係る電子機器１０００を説明する。図１１に示す電子機器１０００は単なる一例であり、本開示の実施例の機能及び使用範囲を限定するものではない。
【００８１】
図１１に示すように、電子機器１０００は、汎用計算装置の形で表されている。電子機器１０００の構成要件は、少なくとも１つの処理部１０１０、少なくとも１つの記憶部１０２０、及び異なるシステム構成要件（記憶部１０２０及び処理部１０１０（例えば上記の処理装置４３０）を含む）を接続させるバス１０３０を含んでもよいが、これに限定されない。
【００８２】
ここで、記憶部はプログラムコードを記憶し、プログラムコードは処理部１０１０により実行されることで、処理部１０１０に本明細書の上記のロボットの地図構築方法における本開示の各実施例の態様のステップを実行させてもよい。例えば、処理部１０１０は図１に示すステップを実行してもよい。
【００８３】
記憶部１０２０は、例えば、ランダムアクセス記憶部（ＲＡＭ）１０２０１及び／又はキャッシュ記憶部１０２０２等の揮発性記憶部の形の読み取り可能な媒体を含んでもよくし、読み取り専用記憶部（ＲＯＭ）１０２０３をさらに含んでもよい。
【００８４】
記憶部１０２０は、１組（少なくとも１つ）のプログラムモジュール１０２０５を有するプログラム／ユーティリティ・ツール１０２０４をさらに含んでもよく、このようなプログラムモジュール１０２０５は、オペレーティングシステム、１つ又は複数のアプリケーションプログラム、他のプログラムモジュール、及びプログラムデータを含むが、これらに限定されず、これらの例の何れか及びその組み合わせはネットワーク環境により実現されてもよい。
【００８５】
バス１０３０は、バス構造の何れか又は複数で表されてもよく、記憶部バス又は記憶部制御装置、周辺バス、グラフィックスアクセラレーションポート、処理部、又はそれらの複数のバス構造のうち任意のバス構造を用いるローカルエリアバスを含む。
【００８６】
電子機器１０００は、また、１つ又は複数の外部装置１１００（例えば、キーボード、ポインティングデバイス、ブルートゥース（登録商標）装置など）と通信してもよいし、テナントに電子機器１０００とインタラクションを行わせるための１つ又は複数の装置と通信してもよいし、電子機器１０００に他の１つ又は複数の計算装置と通信させるための任意の装置（例えばルータ、モデム等）と通信してもよい。このような通信は、入力／出力（Ｉ／Ｏ）インタフェース１０５０を介して行われてもよい。また、電子機器１０００は、ネットワークアダプタ１０６０を介して１つ又は複数のネットワーク（例えば、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及び／又はインターネット等の公衆ネットワーク）と通信してもよい。ネットワークアダプタ１０６０は、バス１０３０を介して電子機器１０００の他のモジュールと通信してもよい。なお、図面には示されていないが、電子機器１０００と共に他のハードウェア及び／又はソフトウェアのモジュールを用いてもよく、該モジュールは、マイクロコード、デバイスドライバ、冗長処理ユニット、外部ディスクドライブアレイ、ＲＡＩＤシステム、テープドライブ及びデータバックアップ記憶システム等を含むが、これらに限定されない。
【００８７】
以上の実施形態の説明を通して、当業者が分かるように、ここで説明されている例示的な実施形態は、ソフトウェアにより実現されてもよいし、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。従って、本開示の実施形態に係る構成はソフトウェアプロダクトの形で実現されてもよく、該ソフトウェアプロダクトは、不揮発性記憶媒体（ＣＤ−ＲＯＭ、ＵＳＢフラッシュドライブ、モバイルハードディスク等であってもよい）又はネットワークに記憶されてもよく、コンピュータ装置（パーソナルコンピュータ、サーバ、又はネットワークデバイス等であってもよい）に本開示の実施形態に係る上記のロボットの地図構築方法を実行させるための複数の命令を含む。
【００８８】
以上は具体的な実施形態を参照しながら本発明を説明しているが、上記の説明は、例示的なものに過ぎず、本発明の保護の範囲を限定するものではない。本発明の趣旨及び原理を離脱しない限り、本発明に対して各種の変形及び変更を行ってもよく、これらの変形及び変更も本発明の範囲に属する。
【図１】
2020087415.tif 000015
【図２】
2020087415.tif 000016
【図３】
2020087415.tif 000017
【図４】
2020087415.tif 000018
【図５】
2020087415.tif 000019
【図６】
2020087415.tif 000020
【図７】
2020087415.tif 000021
【図８】
2020087415.tif 000022
【図９】
2020087415.tif 000023
【図１０】
2020087415.tif 000024
【図１１】
2020087415.tif 000025
【手続補正書】
【提出日】令和1年9月27日(2019.9.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップと、
前記ロボットによりリアルタイムで収集された画像に基づいて、シーン・データベースとのマッチングにより、推定位置姿勢を取得するステップと、
前記ロボットによりリアルタイムで収集された画像及び前記推定位置姿勢に基づいて、前記ロボットの正確位置姿勢を決定するステップと、
前記正確位置姿勢、前記推定位置姿勢にマッチしたシーン特徴、該シーン特徴に対応する幾何学的量、及び前記ロボットによりリアルタイムで収集された画像に基づいて、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量を決定するステップと、
前記正確位置姿勢、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量に基づいて、前記シーン・データベースを更新するステップと、を含み、
前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて前記シーン・データベースに記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、コンピュータにより実現される方法。
【請求項２】
前記ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築するステップは、
前記ロボットを前記作業領域の境界に沿って走行させ、輪郭地図を構築するステップと、
前記ロボットを前記輪郭地図に基づいて前記輪郭地図内の走査経路を計画させ、前記走査経路に沿って走行させ、内部地図を構築するステップと、
前記輪郭地図及び前記内部地図を用いて前記初期地図を構成するステップと、を含む、請求項１に記載の方法。
【請求項３】
前記ロボットを前記作業領域の境界に沿って走行させるステップは、
前記ロボットがシーン画像を収集する方向を順方向とし、前記ロボットを順方向に沿って走行させるステップと、
前記ロボットが障害対象を認識した場合、前記ロボットを前記障害対象の境界に沿って走行させるように前記ロボットの前記順方向に沿う走行方向を転換するステップと、をさらに含む、請求項２に記載の方法。
【請求項４】
前記ロボットが障害対象を認識した場合、前記ロボットの現在位置を第１位置として決定し、
前記ロボットを前記障害対象の境界に沿って走行させるステップは、
前記ロボットが前記第１位置に再び走行した場合、前記障害対象が前記作業領域内の障害物又は前記作業領域の境界であるかを判断するステップと、
前記障害対象が前記作業領域内の障害物である場合、前記ロボットを前記順方向に沿って走行させるように前記ロボットの前記障害対象の境界に沿う走行方向を転換するステップと、
前記障害対象が前記作業領域の境界である場合、前記作業領域の境界に沿う走行が完了したと決定するステップと、をさらに含む、請求項３に記載の方法。
【請求項５】
ロボットを所定のルールに従って作業領域を走査させる際に、取集された画像に基づいて前記作業領域内の特徴物体が認識している場合、前記第１地図の地図座標系に基づいて、前記ロボットと前記特徴物体との間の距離を決定し、前記距離が所定距離を満たしているとき、前記ロボットにより現在リアルタイムで収集された画像をシーン画像とし、シーン画像に基づいて前記シーン特徴を抽出する、請求項１に記載の方法。
【請求項６】
前記初期地図は、位置姿勢の照会のために用いられ、
前記位置姿勢の照会は、
前記ロボットによりリアルタイムで収集された画像からのシーン特徴と前記シーン・データベースに記憶されたシーン特徴とをマッチングし、マッチしたシーン特徴と前記ロボットによりリアルタイムで収集された画像のシーン特徴とを比較することで前記ロボットのリアルタイム位置姿勢と前記ロボットの該シーン画像を収集する時の位置姿勢との差を決定し、前記ロボットの該シーン画像を収集する時の位置姿勢に基づいて前記ロボットのリアルタイム位置姿勢を決定すること、を含む、請求項１に記載の方法。
【請求項７】
請求項１乃至５の何れかに記載の方法により構築された地図、及び前記ロボットによりリアルタイムで収集された画像に基づいて、前記ロボットの現在位置姿勢を決定するステップ、を含み、
前記ロボットの現在位置姿勢を決定するステップは、
前記ロボットによりリアルタイムで収集された画像からのシーン特徴と前記シーン・データベースに記憶されたシーン特徴とをマッチングし、マッチしたシーン特徴と前記ロボットによりリアルタイムで収集された画像のシーン特徴とを比較することで前記ロボットのリアルタイム位置姿勢と前記ロボットの該シーン画像を収集する時の位置姿勢との差を決定し、前記ロボットの該シーン画像を収集する時の位置姿勢に基づいて前記ロボットの現在位置姿勢を決定すること、を含む、コンピュータにより実現される方法。
【請求項８】
少なくともロボットの周囲の画像をリアルタイムで収集するセンサと、
前記ロボットを移動させるように駆動するモータと、
処理装置と、を含み、
前記処理装置は、
ロボットを所定のルールに従って作業領域を走査させ、前記ロボットにより走査中にリアルタイムで収集されたシーン画像に基づいて初期地図を構築し、
前記ロボットによりリアルタイムで収集された画像に基づいて、シーン・データベースとのマッチングにより、推定位置姿勢を取得し、
前記ロボットによりリアルタイムで収集された画像及び前記推定位置姿勢に基づいて、前記ロボットの正確位置姿勢を決定し、
前記正確位置姿勢、前記推定位置姿勢にマッチしたシーン特徴、該シーン特徴に対応する幾何学的量、及び前記ロボットによりリアルタイムで収集された画像に基づいて、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量を決定し、
前記正確位置姿勢、更新されたシーン画像、更新されたシーン特徴、及び更新されたシーン特徴に対応する幾何学的量に基づいて、前記シーン・データベースを更新するように構成され、
前記初期地図は第１地図及び第２地図を含み、前記第１地図は前記作業領域と地図座標系とのマッピングを含み、前記第２地図は、前記ロボットの該シーン画像を収集する時の位置姿勢に対応付けて前記シーン・データベースに記憶された、収集されたシーン画像に基づいて抽出されたシーン特徴、該シーン特徴の幾何学的量、及び該シーン特徴を抽出するシーン画像を含み、前記位置姿勢は前記ロボットの第１地図における座標及び向きを含み、前記シーン特徴はシーンにおける特徴物体の特徴及び／又は前記シーン画像の特徴を含む、ロボット。
【請求項９】
前記処理装置は、前記初期地図又は更新された地図、及び前記ロボットによりリアルタイムで収集された画像に基づいて、前記ロボットの現在位置姿勢を決定するように構成されている、請求項８に記載のロボット。
【請求項１０】
前記ロボットは、掃除ロボット又は床拭きロボットである、請求項８又は９に記載のロボット。
【請求項１１】
処理装置と、
コンピュータプログラムが記憶されている記憶媒体と、を含み、
前記コンピュータプログラムが前記処理装置により実行される際に、前記処理装置に請求項１乃至６の何れかに記載の方法のステップを実行させる、電子機器。
【請求項１２】
コンピュータプログラムが記憶されている記憶媒体であって、
前記コンピュータプログラムが処理装置により実行される際に、前記処理装置に請求項１乃至６の何れかに記載の方法のステップを実行させる、記憶媒体。
【外国語明細書】
2020087415000001.pdf