(57)【要約】  店舗内の危険物を検出して対応するための方法の一実施例には、店舗の床の領域に向かって自律的にナビゲートするステップと、その領域の熱画像を記録するステップと、床の領域の深度マップを記録するステップと、熱画像内の温度勾配を検出するステップと、熱画像で検出された温度勾配に対応する深度マップの領域をスキャンして、高さ勾配を求めるステップと、熱画像内の温度勾配を検出することに応答して、かつ深度マップの領域内に高さ勾配がないのを検出することに応答して、床の領域内の流体の存在を予測するステップと、店舗の床の領域から流体を除去することを促すプロンプトを、店舗に関連するコンピューティングデバイスに出すステップとが含まれる。【選択図】図１
2021510437.tif 000002
【特許請求の範囲】
【請求項１】
店舗内の危険物を検出して対応する方法であって、
・ロボットシステムで、スキャンサイクル中に、
−店舗内の床のある領域に向かって自律的にナビゲートするステップと、
−床の前記領域の熱画像を記録するステップと、
−床の前記領域の深度マップを記録するステップと、
−前記熱画像内で温度勾配を検出するステップと、
−前記熱画像内で検出された温度勾配に対応する前記深度マップの領域をスキャンして、高さ勾配を求めるステップと、
・前記熱画像内で温度勾配を検出することに応答して、かつ前記深度マップの領域内に高さ勾配がないのを検出することに応答して、
−床の前記領域内の流体の存在を予測するステップと、
−店舗の床の前記領域から流体を除去することを促すプロンプトを、店舗に関連するコンピューティングデバイスに出すステップとを含むことを特徴とする方法。
【請求項２】
請求項１に記載の方法において、
・スキャンサイクル中に、さらに、
−床の前記領域のカラー画像を記録するステップと、
−前記熱画像内の温度勾配に対応する前記カラー画像の領域をスキャンして、色勾配を求めるステップとを含み、
・当該方法はさらに、前記深度マップの領域に色勾配がないことを検出することに応答して、流体を透明であると識別するステップを含み、
・店舗の床の前記領域から流体を除去することを促すプロンプトを、コンピューティングデバイスに出すことは、店舗の床の前記領域から流体を除去することを指定して流体を透明であると特定するプロンプトを、コンピューティングデバイスに出すことを含むことを特徴とする方法。
【請求項３】
請求項２に記載の方法において、
・さらに、
−店舗の床の前記領域の位置に基づいて、流体に近接する店舗の通路を識別するステップと、
−前記通路にストックされている商品のリストについて店舗のプラノグラムを照会するステップと、
−商品のリストが包装された油製品を含むことに応答して、流体が油を含むと予測するステップとを含み、
・店舗の床の前記領域から流体を除去することを促すプロンプトを、コンピューティングデバイスに出すことは、
−床の前記領域から流体を除去することを促すプロンプトを電子通知に追加し、
−電子通知において店舗内の床の前記領域の位置を示し、
−流体を除去するための乾燥吸収剤の推奨を電子通知に挿入し、かつ、
−電子通知を、店舗の関係者に関連するコンピューティングデバイスに送信することを含むことを特徴とする方法。
【請求項４】
請求項１に記載の方法において、
・スキャンサイクル中に、さらに、
−床の前記領域のカラー画像を記録するステップと、
−前記熱画像内の温度勾配に対応する前記カラー画像の領域をスキャンして、色勾配を求めるステップとを含み、
・当該方法はさらに、前記深度マップの領域に色勾配を検出することに応答して、流体を色付きとして識別するステップをさらに含み、
・店舗の床の前記領域から流体を除去することを促すプロンプトを、コンピューティングデバイスに出すことは、店舗の床の前記領域から流体を除去することを指定して流体を色付きであると特定するプロンプトを、コンピューティングデバイスに出すことを含むことを特徴とする方法。
【請求項５】
請求項１に記載の方法において、
・スキャンサイクル中に、さらに、
−床の前記領域のカラー画像を記録するステップと、
−前記熱画像内の温度勾配に対応する前記カラー画像の領域をスキャンして、色勾配を求めるステップと、
−前記色勾配に比例した流体の不透明度を推定するステップと、
−流体の不透明度に反比例するように、店舗の床の前記領域から流体を除去する優先順位を計算するステップとを含み、
・店舗の床の前記領域から流体を除去することを促すプロンプトを、コンピューティングデバイスに出すことは、
−床の前記領域から流体を除去することを促すプロンプトを電子通知に挿入し、
−電子通知において店舗内の床の前記領域の位置を示し、
−床の前記領域から流体を除去する優先順位を電子通知に挿入し、かつ、
−店舗の関係者に関連するコンピューティングデバイスに電子通知を送信することを含むことを特徴とする方法。
【請求項６】
請求項１に記載の方法において、
・前記熱画像内の温度勾配に基づいて、店舗の床の前記領域内の流体の外周を検出するステップと、
・流体の外周に向かって自律的にナビゲートするステップと、
・流体の外周の近位を維持するステップと、
・流体の存在を示すインジケータを出力するステップとをさらに含むことを特徴とする方法。
【請求項７】
請求項６に記載の方法において、
・流体の外周の近位を維持することは、店舗の床の前記領域へのアクセスを物理的に遮断するために流体の外周の近位を維持することを含み、
・流体の存在を示すインジケータを出力することは、流体の外周の近位を維持しながら、
−ロボットシステムに統合されたディスプレイ上に、近くに流体が存在することの通知を表示し、かつ、
−警報音を出力することを含むことを特徴とする方法。
【請求項８】
請求項１に記載の方法において、
・前記熱画像内の温度勾配に基づいて、店舗の床の前記領域内の流体の外周を検出するステップと
・流体の外周から閾値以上の距離で流体の周りを自律的にナビゲートするステップとをさらに含むことを特徴とする方法。
【請求項９】
請求項１に記載の方法において、
・スキャンサイクル中に、さらに、
−店舗内の通路のセットに沿って自律的にナビゲートするステップと、
−通路のセットの中の特定の通路に沿って自律的にナビゲートしながら、特定の通路に面する棚構造のセットのカラー画像のセットを記録するステップとを含み、
・前記熱画像を記録することは、通路のセットの中の特定の通路に沿って自律的にナビゲートしながら、第１の時間に前記熱画像を記録することを含み、
・前記深度マップを記録することは、特定の通路に沿って自律的にナビゲートしながら、ほぼ第１の時間に前記深度マップを記録することを含み、
・店舗の床の前記領域から流体を除去することを促すプロンプトを出すことは、店舗内の通路のセットの中の特定の通路を特定するプロンプトをコンピューティングデバイスに出すことを含むことを特徴とする方法。
【請求項１０】
請求項９に記載の方法において、
・ほぼ第１の時間に記録された、前記カラー画像のセットの中の第１のカラー画像の第１の領域にある第１の棚構造の第１の棚を検出するステップと、
・第１の棚のアドレスを識別するステップと、
・第１の棚のアドレスに基づいて、第１の棚に割り当てられた第１の商品のリストを、店舗のプラノグラムによって取得するステップと、
・テンプレート画像のデータベースからテンプレート画像の第１のセットを取得するステップであって、テンプレート画像の第１のセットの中の各テンプレート画像が、第１の商品のリスト内の商品の視覚的特徴を含む、ステップと、
・第１のカラー画像の第１の領域から第１の特徴のセットを抽出するステップと、
・第１の特徴のセットの中の特徴と第１のテンプレート画像における特徴との間の差異に応答して、第１の商品のユニットが第１の棚に不適切に在庫されていると判定するステップと、
・第１の商品のユニットが第１の棚に不適切に在庫されていると判定したことに応答して、第１の棚上の第１の商品のための第１の補充プロンプトを生成するステップとをさらに含むことを特徴とする方法。
【請求項１１】
請求項１に記載の方法において、
・店舗内の通路のセットの中で、店舗のプラノグラムによって液体を含む少なくとも１つの商品が割り当てられた第１の通路のセットを識別するステップと、
・店舗内の通路のセットの中で、店舗のプラノグラムによってドライグッズが割り当て当てられて、流体を含む商品を除外した第２の通路のセットを識別するステップと、
・ロボットシステムで、
−スキャンサイクル中に、第１の頻度で店舗内の第１の通路のセットに沿って自律的にナビゲートするステップと、
−スキャンサイクル中に、第２の頻度で店舗内の第２の通路のセットに沿って自律的にナビゲートするステップとをさらに含み、第２の頻度が第１の頻度よりも少ないことを特徴とする方法。
【請求項１２】
請求項１に記載の方法において、
・ロボットシステムによって検出された店舗内の流体溢れイベントの履歴にアクセスするステップと、
・履歴に基づいて、
−ある期間の間に発生した過去の流体溢れイベントの第１の数量に関連付けられた、店舗内の通路のセットの中の第１の通路を識別するステップと、
−前記期間の間に発生した過去の流体溢れイベントの第２の数量に関連付けられた、店舗内の通路のセットの中の第２の通路を識別するステップであって、前記第２の数量が前記第１の数量よりも少ない、ステップと、
・ロボットシステムで、
−スキャンサイクル中に、第１の頻度で第１の通路に沿って自律的にナビゲートするステップと、
−スキャンサイクル中に、前記第１の頻度よりも少ない第２の頻度で第２の通路に沿って自律的にナビゲートするステップとをさらに含むことを特徴とする方法。
【請求項１３】
請求項１に記載の方法において、
・ロボットシステムで、スキャンサイクル中に、
−店舗の床の第２の領域に向かって自律的にナビゲートするステップと、
−店舗の床の第２の領域の第２の熱画像を記録するステップと、
−店舗の床の第２の領域の第２の深度マップを記録するステップと、
−第２の熱画像内の第２の温度勾配を検出するステップと、
−第２の熱画像内で検出された第２の温度勾配に対応する第２の深度マップの第２の領域をスキャンして、最小の高さ閾値よりも大きい第２の高さ勾配を求めるステップと、
・第２の熱画像内で温度勾配を検出することに応答して、かつ第２の深度マップの第２の領域内で最小高さ閾値よりも大きい第２の高さ勾配を検出することに応答して、
−床の第２の領域内における店舗の床上の危険オブジェクトの存在を予測するステップと、
−店舗の床の第２の領域から危険オブジェクトを除去することを促すプロンプトをコンピューティングデバイスに出すステップとをさらに含むことを特徴とする方法。
【請求項１４】
請求項１３に記載の方法において、
店舗の床上の危険オブジェクトの存在を予測することが、
・第２の熱画像内で第２の温度勾配を検出すること、並びに、
・第２の熱画像内で検出された第２の温度勾配と位置合わせされた第２の深度マップの第２の領域内で最大高さ閾値よりも小さい第２の高さ勾配を検出すること、
に応答して、床の第２の領域内における店舗の床上の危険オブジェクトの存在を予測することを含むことを特徴とする方法。
【請求項１５】
請求項１に記載の方法において、
・前記深度マップの領域をスキャンして高さ勾配を求めることは、
−店舗の平面図を深度マップに投影して、店舗の床を示す深度マップのセグメントを分離し、店舗の床の前記領域付近の固定ディスプレイを除外するステップと、
−前記深度マップのセグメントに地面を投影するステップと、
−前記深度マップのセグメントをスキャンして、地面より上にオフセットしたオブジェクトを求めるステップとを含み、
・床の前記領域内の流体の存在を予測することは、
−前記熱画像内で温度勾配を検出すること、並びに、
−前記深度マップのセグメント内の地面より上にオフセットしたオブジェクトがないのを検出すること、
に応答して床の前記領域内の流体の存在を予測することを含むことを特徴とする方法。
【請求項１６】
請求項１に記載の方法において、
・さらに、
−店舗の床の前記領域の熱画像を記録した後、店舗の床の前記領域を示す一連の熱画像を記録するステップと、
−一連の熱画像をスキャンして、店舗の床の前記領域の近くの温度勾配を求めるステップと、
−一連の熱画像で検出された、店舗の床の前記領域の近くの温度勾配の空間変化率を特徴付けるステップとを含み、
・床の前記領域内の流体の存在を予測することは、
−前記熱画像内で温度勾配を検出すること、
−一連の熱画像内で検出された温度勾配の空間変化率が変化率の閾値を下回ること、並びに、
−前記深度マップのセグメントに高さ勾配がないのを検出すること
に応答して、床の前記領域内の流体の存在を予測することを含み、
・当該方法がさらに、一連の熱画像内で検出された温度勾配の空間変化率が変化率の閾値を超えることに応答して、前記熱画像における温度勾配を、店舗の床の前記領域内の流体以外のものとして識別するステップをさらに含むことを特徴とする方法。
【請求項１７】
請求項１に記載の方法において、
床の前記領域内の流体の存在を予測することは、前記熱画像内で温度勾配を検出することに応答して、かつ前記深度マップの領域内に高さ勾配がないのを検出することに応答して、
・前記熱画像から温度勾配のプロファイルを抽出すること、
・温度勾配のプロファイルを流体溢れ分類器に渡して、床の前記領域内に流体が存在することに対する信頼度を計算すること、並びに、
・信頼度が閾値を超えることに応答して、床の前記領域内の流体の存在を予測することを含むことを特徴とする方法。
【請求項１８】
店舗内の危険物を検出して対応する方法であって、
・ロボットシステムで、スキャンサイクル中に、店舗全体を自律的にナビゲートしながら、
−店舗内の床の領域の熱画像を記録するステップと、
−床の前記領域の深度マップを記録するステップと、
−床の前記領域のカラー画像を記録するステップと、
−前記熱画像内で温度勾配を検出するステップと、
−前記熱画像内で検出された温度勾配に対応する前記深度マップの領域をスキャンして、高さ勾配を求めるステップと、
−前記熱画像内の温度勾配に対応する前記カラー画像の領域をスキャンして、色勾配を求めるステップと、
・前記熱画像内で温度勾配を検出することに応答して、前記深度マップの領域内に高さ勾配がないのを検出することに応答して、かつ前記深度マップの領域に色勾配がないのを検出することに応答して、
−床の前記領域内の透明な流体の存在を予測するステップと、
−店舗の床の前記領域から透明な流体を除去することを促すプロンプトを、店舗に関連するコンピューティングデバイスに出すステップとを含むことを特徴とする方法。
【請求項１９】
請求項１８に記載の方法において、
・店舗の床の前記領域から透明な流体を除去することを促すプロンプトを、コンピューティングデバイスに出すことは、店舗の床の前記領域から透明な流体を除去する第１の優先順位を指定するプロンプトを、コンピューティングデバイスに出すことを含み、
・当該方法はさらに、前記熱画像内で温度勾配を検出することに応答して、前記深度マップの領域内に高さ勾配がないのを検出することに応答して、かつ前記深度マップの領域に色勾配を検出することに応答して、
−床の前記領域内の色付きの流体の存在を予測するステップと、
−店舗の床の前記領域から色付きの流体を除去する第２の優先順位を指定する電子通知を、コンピューティングデバイスに出すステップとを含み、第２の優先順位が第１の優先順位よりも低いことを特徴とする方法。
【請求項２０】
店舗内の危険物を検出して対応する方法であって、
・ロボットシステムで、スキャンサイクル中に、店舗内を自律的にナビゲートしながら、
−店舗内の床の領域の熱画像を記録するステップと、
−床の前記領域の深度マップを記録するステップと、
−前記熱画像をスキャンして、熱の差異を求めるステップと、
−前記深度マップをスキャンして、高さの差異を求めるステップと、
・前記熱画像の第１の領域における熱の差異を求めることに応答して、かつ前記熱画像の第１の領域に空間的に位置合わせされた前記深度マップの第２の領域における高さの差異がないのを検出することに応答して、床の前記領域内における流体の存在を予測するステップと、
・床の前記領域内の流体の存在を予測することに応答して、店舗の床の前記領域から流体を除去することを促すプロンプトを、店舗に関連するコンピューティングデバイスに提供するステップとを含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、概して溢れ検出の分野に関し、より具体的には、溢れ検出の分野において、溢れを検出して対応する新規で有用な方法に関するものである。
【０００２】
本出願は、２０１８年１月１０日に出願された米国仮特許出願第６２／６１５，８０４号の利益を主張するものであり、その全体が引用により本明細書に援用されるものとする。
【図面の簡単な説明】
【０００３】
【図１】図１は、方法のフローチャートである。
【図２】図２は、方法の一実施例のフローチャートである。
【図３】図３は、方法の一実施例の概略図である。
【図４】図４は、方法の一実施例のフローチャートである。
【発明を実施するための形態】
【０００４】
以下の本発明の実施形態の説明は、本発明をそれらの実施形態に限定することを意図したものではなく、当業者が本発明を作成および使用できるようにすることを意図したものである。本明細書に記載の変形例、構成、実施形態、例示的実施形態および実施例は任意選択的であり、それらが説明する変形例、構成、実施形態、例示的実施形態および実施例のみに限定されるものではない。本明細書に記載の発明は、それらの変形例、構成、実施形態、例示的実施形態および実施例のうちの何れかおよびすべての入れ替えを含むことができる。
【０００５】
１．方法
図１に示すように、店舗内の危険物を検出して対応する方法Ｓ１００は、ロボットシステムにおいて、スキャンサイクル中に、ブロックＳ１０２において店舗の床の領域に向かって自律的にナビゲートするステップと、ブロックＳ１１０において床の領域の熱画像を記録するステップと、ブロックＳ１２０において床の領域の深度マップを記録するステップと、ブロックＳ１１２において熱画像における温度勾配を検出するステップと、ブロックＳ１２２において熱画像において検出された温度勾配に対応する深度マップの領域をスキャンして、高さ勾配を求めるステップとを含む。本方法Ｓ１００はさらに、熱画像内に温度勾配を検出することに応答して、かつ深度マップの領域内に高さ勾配がないのを検出することに応答して、ブロックＳ１５０において、床の領域内の流体の存在を予測するステップと、ブロックＳ１６０において、店舗の床の領域から流体を除去することを促すプロンプトを、店舗に関連するコンピューティングデバイスに出すステップとを含む。
【０００６】
図１に示す方法Ｓ１００の一実施例は、ロボットシステムにおいて、スキャンサイクル中に、店舗全体を自律的にナビゲートしながら、ブロックＳ１１０において店舗内の床の領域の熱画像を記録するステップと、ブロックＳ１２０において床の領域の深度マップを記録するステップと、ブロックＳ１３０において床の領域のカラー画像を記録するステップと、ブロックＳ１１２において熱画像における温度勾配を検出するステップと、ブロックＳ１２２において熱画像において検出された温度勾配に対応する深度マップの領域をスキャンして、高さ勾配を求めるステップと、ブロックＳ１３２において、熱画像における温度勾配に対応するカラー画像の領域をスキャンして、色勾配を求めるステップとを含む。また、この実施例では、方法Ｓ１００が、熱画像内の温度勾配を検出することに応答して、深度マップの領域内に高さ勾配がないのを検出することに応答して、かつ深度マップの領域に色勾配がないのを検出することに応答して、ブロックＳ１５０において、床の領域内の透明な流体の存在を予測するステップと、ブロックＳ１６０において、店舗の床の領域から透明な流体を除去する第１の優先順位を指定するプロンプトを、コンピューティングデバイスに出すステップとを含む。また、この実施例では、方法Ｓ１００が、熱画像の温度勾配を検出することに応答して、深度マップの領域内に高さ勾配がないのを検出することに応答して、かつ深度マップの領域に色勾配を検出することに応答して、ブロックＳ１５０において、床の領域内の色付きの流体の存在を予測するステップと、店舗の床の領域から色付きの流体を除去する第２の優先順位を指定する電子通知を、コンピューティングデバイスに出すステップとを含み、第２の優先順位が第１の優先順位よりも低い。
【０００７】
図２に示す方法Ｓ１００の別の実施例は、ロボットシステムにおいて、スキャンサイクル中、店舗内を自律的にナビゲートしながら、ブロックＳ１１０において店舗内の床の領域の熱画像を記録するステップと、ブロックＳ１２０において床の領域の深度マップを記録するステップと、ブロックＳ１１２において熱画像をスキャンして、熱の差異を検出するステップと、ブロックＳ１２２において深度マップをスキャンして、高さの差異を求めるステップとを含む。また、方法Ｓ１００のこの実施例は、ブロックＳ１５０において、熱画像の第１の領域における熱の差異を検出することに応答して、かつ熱画像の第１の領域に空間的に位置合わせされた深度マップの第２の領域における高さの差異がないのを検出することに応答して、床の領域内における流体の存在を予測するステップと、ブロックＳ１６０において、床の領域内の流体の存在を予測することに応答して、店舗の床の領域から流体を除去することを促すプロンプトを、店舗に関連するコンピューティングデバイスに出すステップとを含む。
【０００８】
２．アプリケーション
通常、方法Ｓ１００のブロックは、店舗（例えば、食料品店、スポーツ用品店、衣料品店、ホームセンタなど）全体を自律的にナビゲートし、店舗全体の床領域の深度、熱およびカラー画像データをキャプチャし、それら深度、熱およびカラー画像データの組合せに基づいて、店舗の床上の溢れた流体（および／または他の障害物または危険物）を検出し、店舗の床から溢れたものを除去（または危険物を除去）することを店舗の関係者（例えば、従業員、管理人または管理者）に自動的に促すために、システム（例えば、ロボットシステムおよび／またはリモートコンピュータシステム）によって実行される。特に、ロボットシステムおよび／またはリモートコンピュータシステムは、店舗の営業時間中に方法Ｓ１００のブロックを自動的に実行することができ、それにより、店舗全体の床上の溢れた流体や他の障害物を検出するとともに、そのような溢れた流体や他の障害物を選択的に店舗スタッフに知らせ、それにより、店舗スタッフが、そのような危険物の存在を（例えば、人間が視覚的に識別するのが難しい、リノリウムの床上の油や水などの透明な流体の溢れであっても）素早く理解して、それら危険物を取り除くためのリソースを迅速に割り当て、その結果、店舗の顧客を巻き込む転倒、負傷または他の事故のリスクを低減することができる。
【０００９】
例えば、ロボットシステムは、サーモグラフィック（または「熱画像」）カメラ、カラー画像（例えば、「ＲＧＢ」）カメラ、および深度センサ（例えば、スキャン型ＬＩＤＡＲまたはＲＡＤＡＲセンサ）を含むことができ、それらカメラが、重なり合う視野を規定するとともに、ロボットシステム上の既知の位置に配置されている。このため、ロボットシステムは、米国特許出願第１５／６００，５２７号に記載の在庫追跡ルーチンを実行している間などに、店舗全体を自律的にナビゲートしながら、近くの床スペースの熱画像、カラー画像および／または深度マップを自動的に収集することができる。その後、ロボットシステム（またはリモートコンピュータシステム）は、方法Ｓ１００のブロックを実行して、第１の時間に、店舗内の特定の床の領域を向いたときに、ロボットシステムによって記録された熱画像の領域における温度勾配（または温度の差異）を識別し、ロボットシステムによってほぼ第１の時間に記録された深度マップをスキャンして、同時の熱画像の温度勾配と同じ空間を占める領域の高さ勾配（または高さの差異）を求め、その後、この熱画像および同時の深度マップで示される店舗の床の特定の領域内の溢れ（例えば、溢れた水、パスタ、ソーダ、油または米）として、温度勾配の存在および（有意な）同じ空間を占める高さ勾配の欠如を解釈することができる。この例では、ロボットシステム（またはリモートコンピュータシステム）は、ロボットシステムによってほぼ第１の時間に記録されたカラー画像をスキャンして、温度勾配と同じ空間を占める領域における色勾配（または色の差異）を求めることもできる。ロボットシステムがそのような色勾配を検出した場合、ロボットシステムは、溢れを視覚的に区別可能なもの（例えば、茶色のソーダ、赤いトマトソース）として識別することができる。しかしながら、ロボットシステムがそのような色勾配の欠如を検出した場合、ロボットシステムは、溢れたものを視覚的に区別できないものか、または「透明」なもの（例えば、水、油）として識別することができる。
【００１０】
その後、ロボットシステム（またはリモートコンピュータシステム）は、店舗の関係者に割り当てられたモバイルコンピューティングデバイスに、例えばそれらのデータを含む通知を送信することによって、店舗の関係者に、溢れたものの位置および特性（例えば、溢れサイズ、予測される溢れ物質、提案される除去材、除去の緊急性など）を直ちに通知することができる。同時に、ロボットシステムは、検出された溢れたものの近くで停止し（例えば、注意コーンとして機能し）、統合ディスプレイ上で警告を表示したり、統合ストロボライトを作動させたり、かつ／または統合スピーカを通して警報音を出力したりすることによって、近くの顧客に対して溢れたものについて警告することができる。
【００１１】
ロボットシステム（およびコンピュータシステム）は、店舗を横断しながらロボットシステムによって記録された同時の熱画像、深度画像およびカラー画像の各セットについてこのプロセスを繰り返し、溢れたものを検出し、それに応じて、溢れたものを清掃することを促すプロンプトを店舗の関係者に選択的に返すことができる。同時に、ロボットシステムは、店舗内の棚構造、冷凍ユニット、ディスプレイなどの熱画像、深度画像および／または深度画像を記録することができ、リモートコンピュータシステムのロボットシステムは、例えば、米国特許出願第１５／６００，５２７号に記載されているように、それらの画像を処理して、店舗全体に在庫されている商品を検出し、補充リストを生成し、かつ／または店舗の在庫記録を更新することができる。
【００１２】
このため、ロボットシステムは、ロボットシステムに統合された個別のセンサによって記録された複数のセンサストリームを組み合わせて、店舗全体を自律的にナビゲートしながら障害物を検出および回避し、店舗全体の商品在庫を追跡し、溢れたもの（および／または他の意図しない障害物）が店舗内に存在するか否かを識別し、店舗内のそのような障害物を取り除くために店舗の関係者を自動的に派遣し、それにより、関係者が溢れ観察以外のタスクを自由に実行できるようにしながら、そのような障害物の検出と除去の時間を制限し、精度を向上させることができる。
【００１３】
具体的に、ロボットシステムは、店舗内のロボットシステムのナビゲート中に、店舗の様々な場所の熱画像、深度画像および／またはカラー画像を記録し、熱画像、深度画像および／またはカラー画像を介して店舗のフロア上の危険物を特定し、オブジェクトの熱画像、深度画像および／またはカラー画像からそれらの危険物に関する特徴を抽出し、危険物に効率的に対処するよう店舗の関係者に関連するプロンプトを発することができる（例えば、倉庫と危険物の位置との間の移動回数を制限したり、プロンプトを送信してから危険物を除去するまでの時間を短縮したりすることができる）。このため、ロボットシステムは、店舗の顧客が危険物の存在により転倒、滑り等の危険物に曝される可能性がある時間枠および／または危険物を回避することにより不便を被る可能性がある時間枠を制限することができる。
【００１４】
本明細書では、ロボットシステムは、食料品店のような店舗内をナビゲートして障害物を識別するものとして記載されている。しかしながら、ロボットシステムは、他の任意の施設（例えば、保管倉庫、スポーツ用品店、衣料品店、ホームセンタおよび／または食料品店）内に配備することができ、リモートコンピュータシステムは、他の任意の方法で、この施設内でスキャンサイクルを実行するためにロボットシステムを派遣することができる。さらに、本明細書に記載のロボットシステムは、方法Ｓ１００のブロックを実行して、関係者に、店舗の床上の溢れたものおよび／または危険物を識別して取り除くように促すように構成されている。しかしながら、ロボットシステムは、店舗の床上の他の任意の障害物または店舗の通路および／または他の領域を通る経路を他の方法で妨害する（または制限する）障害物を識別して取り除くように他の任意のユーザを促すことができる。
【００１５】
さらに、方法Ｓ１００は、リモートコンピュータシステム（例えば、リモートサーバ）によって実行されるものとして本明細書に記載されている。しかしながら、方法Ｓ１００のブロックは、店舗（または倉庫など）に配置された１または複数のロボットシステムによって、ローカルコンピュータシステムによって、または他の任意のコンピュータシステム（以下、「システム」と称する）によって実行することができる。また、方法Ｓ１００のブロックは、本明細書では、店舗の床上の危険物（例えば、流体、オブジェクト）を検出してそれに対応するために、スキャンデータを局所的に処理するように、ロボットシステムによって局所的に実行されるものとして記載されている。しかしながら、ロボットシステムは、スキャンデータ（例えば、熱画像、深度マップ、カラー画像）を、リモート処理や危険物検出のために、リモートコンピュータシステムに（例えば、セルラーネットワークまたはローカルエリアネットワークを介して）アップロードすることもできる。
【００１６】
３．ロボットシステム
図３に示すように、ロボットシステムは、方法Ｓ１００のブロックを実行して、店舗全体を自律的にナビゲートし、店舗全体の在庫構造をスキャンし、溢れたものおよび／または危険物を検出し、在庫および危険物に関連するデータをリモートコンピュータシステムおよび／または店舗の関係者に送り返す。
【００１７】
一実施例では、ロボットシステムが、ネットワーク対応モバイルロボットプラットフォームを規定し、このプラットフォームが、ベースと、ベース内に配置された駆動システム（例えば、２個の従動輪および２個の旋回キャスタのペア）と、電源（例えば、電池）と、深度センサのセット（例えば、前向きおよび後向きのスキャン型ＬＩＤＡＲまたはＲＡＤＡＲセンサ）と、深度センサによって収集されたデータをロボットシステムの周囲の空間の二次元または三次元マップに変換するプロセッサと、ベースから垂直に伸びるマストと、マスト上に配置されマストの片側または両側から横方向外側を向くカメラのセットと、地理空間位置センサ（例えば、ＧＰＳセンサ）と、および／またはリモートコンピュータシステム（例えば、リモートサーバ）からウェイポイントおよび店舗のマスタマップをダウンロードし、カメラによってキャプチャされた画像およびプロセッサによって生成されたマップをリモートコンピュータシステムにアップロードする無線通信モジュールとを含む。
【００１８】
また、ロボットシステムは、前向きのサーモグラフィックカメラおよび前向きのカラーカメラを含むことができ、それらはともに、ロボットシステムの近く（例えば、直前）の床面と交差する視野を規定するとともに、前向きの深度センサの視野と交差する視野を規定する。このため、ロボットシステムが在庫追跡ルーチン中に店舗内の通路を自律的にナビゲートする際に、ロボットシステムは、通路を深度センサでスキャンして通路および隣接する構造物の深度マップを生成し、特に深度マップに基づいて、自らの店舗内および通路内の位置を特定し、マスト上の横向きカメラを介して通路の両側の在庫構造のカラー画像を記録し、かつロボットシステムの前方の床の領域の熱画像およびカラー画像を記録することができる。その後、ロボットシステムは、後述する方法Ｓ１００のブロックを実行して、（前向きのカメラによって記録された）深度マップ、熱画像およびカラー画像を融合して、ロボットシステムの前方にある溢れたものや他の危険物を検出することができる。
【００１９】
代替的には、ロボットシステムは、前向きカラーカメラおよび前向きサーモグラフィックカメラを含むことができる。在庫追跡ルーチン中、ロボットシステムは、店舗内の在庫構造に隣接するウェイポイントに移動し、ウェイポイントで指定された角度位置まで回転して前向きカラーカメラおよび前向きサーモグラフィックカメラを在庫構造に位置合わせし、在庫構造のカラー画像および／または熱画像を記録し、在庫構造に対して垂直に向くように回転し、そして、次のウェイポイントに移動しながら、前向きカラーカメラおよび前向きサーモグラフィックカメラを介して前方の床の領域のカラー画像および熱画像を記録することができる。その後、ロボットシステム（またはリモートコンピュータシステム）は、後述する方法Ｓ１００のブロックを実行して、それら２つのウェイポイント間で収集したカラー画像、サーモグラフィ画像および深度マップデータを融合させ、それらウェイポイント間またはその近傍の床の領域上の溢れたものまたは他の危険物を検出することができる。
【００２０】
この実施例では、ロボットシステムが、マストに静的に取り付けられたサーモグラフィックカメラ、深度カメラおよび／またはカラーカメラ、例えば、マストの左側に２つの垂直にオフセットされたカメラおよびマストの右側に２つの垂直にオフセットされたカメラ、またはベースに統合されたカメラなども含むことができる。ロボットシステムは、追加的または代替的には、関節動作可能なカメラ、例えば、マストの左側に配置され、第１の垂直スキャンアクチュエータによって支持された左向きカメラと、およびマストの右側に配置され、第２の垂直スキャンアクチュエータによって支持された右向きカメラとを含むことができる。また、ロボットシステムは、各カメラにズームレンズ、広角レンズまたは他の任意のタイプのレンズも含むことができる。
【００２１】
しかしながら、ロボットシステムは、他の任意の形態を規定することができ、店舗環境全体の自律的なナビゲートおよびデータキャプチャをサポートする他の任意のセンサおよびアクチュエータを含むことができる。
【００２２】
４．ロボットシステムの派遣
方法Ｓ１００のブロックＳ１０２は、ロボットシステムにおいて、スキャンサイクル中に、店舗の床のある領域に向かって自律的にナビゲートすることを説明する。通常は、ブロックＳ１０２において、例えば、ロボットシステムの主な機能が商品追跡および店舗の現在の在庫状態の導出のための在庫構造の画像を記録することである場合の在庫追跡ルーチン中に、またはロボットシステムの主な機能が溢れた流体および他の危険物のために店舗をスキャンすることである場合の溢れ検出ルーチン中に、自律車両は、店舗全体を自律的にナビゲートすることができる。
【００２３】
４．１  在庫追跡ルーチン
一実施例では、ロボットシステムが、店舗内の在庫追跡ルーチンを実行している間に、方法Ｓ１００のブロックを実行する。この実施例では、図４に示すように、リモートコンピュータシステム（例えば、インターネットを介してロボットシステムに接続されたリモートサーバ）が、ロボットシステムがナビゲートして店舗全体の在庫構造の画像をキャプチャする店舗内の目標位置を指定するウェイポイントのセットを規定し、間欠的に（例えば、１日に２回）ロボットシステムを派遣して、この一連のウェイポイントを通ってナビゲートし、在庫追跡ルーチン中に近くの在庫構造の画像を記録する。例えば、ロボットシステムは、小売店（または倉庫など）内に設置することができ、リモートコンピュータシステムは、店舗の営業時間中に在庫追跡ルーチンを実行するためにロボットシステムを派遣することができる。在庫追跡ルーチンには、小売店全体の各ウェイポイントに移動して、顧客が店舗全体の在庫構造との間で商品を移動し、取り除き、時には戻す際に、リアルタイムで店舗の在庫状態を示すデータを収集することが含まれる。代替的には、リモートコンピュータシステムは、例えば毎晩午前１時からなど、店舗の営業時間外にこの在庫追跡ルーチンを実行するように、ロボットシステムを派遣することができる。このため、ロボットシステムは、小売店が開く数時間前に、在庫追跡ルーチンを完了させることができる。
【００２４】
同様の実施例では、リモートコンピュータシステムが、在庫追跡ルーチン中に、店舗内の通路に沿って（例えば、店舗内の予め規定された一連のウェイポイントを通って）移動し、店舗全体の在庫構造（例えば、棚構造、冷蔵ユニット、ディスプレイ、吊りラック、整理棚など）の上に配置された商品の画像をキャプチャするように、ロボットシステムを派遣し、このロボットシステムによって記録されたそれら在庫構造のカラー画像をダウンロードし、その後、画像処理、コンピュータビジョン、人工知能、ディープラーニングおよび／または他の方法および手法を実行して、それらの画像内で検出された商品に基づいて、それら在庫構造の現在の在庫状況を推定する。ロボットシステムは、追加的または代替的には、広範な無線周波数クエリをブロードキャストして、在庫追跡ルーチン中に、店舗全体に在庫されている商品に配置または統合されたＲＦＩＤタグからの無線周波数識別（または「ＲＦＩＤ」）データを記録することができ、リモートコンピュータシステムは、ロボットシステムからそれらＲＦＩＤデータをダウンロードし、それらデータに基づいて、店舗全体の商品の位置および数量を検出することができる。その後、リモートコンピュータシステムは、米国特許出願第１５／３４７，６８９号に記載されているように、十分に在庫されている、在庫不十分である、間違って在庫されている、かつ／または乱れている、スロットまたは他の商品の位置を含む、店舗の在庫レポートを自動的に生成することができる。
【００２５】
したがって、リモートコンピュータシステムは、ウェイポイントのセットを維持、更新、およびロボットシステムに分配することができ、各ウェイポイントは、ロボットシステムが統合されたサーモグラフィックカメラ、深度カメラおよび／またはカラーカメラから１または複数の画像をキャプチャする店舗内の位置を定義する。一実施例では、リモートコンピュータシステムが、店舗内に配置された（ロボットシステム用）充電ステーションで、店舗の二次元デカルト座標系の原点を定義し、店舗のウェイポイントは、原点からの横方向（「ｘ」）距離および縦方向（「ｙ」）距離のような、座標系内の位置を定義する。したがって、ウェイポイントを実行するとき、ロボットシステムは、ウェイポイントで定義された店舗の（ｘ，ｙ）座標に（例えば、３インチ以内に）移動することができる。例えば、幅４フィートの棚セグメントおよび幅６フィートの通路を有する棚構造を含む店舗の場合、リモートコンピュータシステムは、対向する各棚セグメントのペアの間に、（対応する通路内の）横方向および縦方向の中央に１つのウェイポイントを定義することができる。また、ウェイポイントは、図５に示すように、座標系内の通路または棚構造の角度位置に基づいて、店舗の原点に対するターゲット角度（「∂」）の形で、ターゲット方向を定義することもできる。ウェイポイントを実行するときに、ロボットシステムは、カメラを隣接する棚構造に位置合わせするために、ウェイポイントで定義されたターゲット方向に（例えば、その１．５°以内に）向けることができる。
【００２６】
ウェイポイントに移動するとき、ロボットシステムは、深度センサ（例えば、前述したように、ＬＩＤＡＲセンサ）で近くの環境をスキャンし、深度スキャンをロボットシステムの環境の新しいマップにまとめ、新しいマップを店舗の座標系を定義する店舗のマスタマップと比較することにより店舗内の自らの位置を判定し、深度センサの出力が、閾値の距離と角度の範囲内で、ウェイポイントで定義された（ｘ，ｙ，∂）位置およびターゲット方向に対応するマスタマップの領域に整列するような、店舗内の位置および向きにナビゲートすることができる。また、ウェイポイントは、バックアップまたは冗長の位置の形で、地理空間位置（例えば、ＧＰＳ位置）も含むことができる。例えば、ウェイポイントに移動するとき、ロボットシステムは、ウェイポイントに定義された地理空間位置に接近することができ、地理空間位置から閾値距離（例えば、５フィート）以内に一旦入ると、リモートコンピュータシステムは、深度センサの出力が、閾値の距離と角度の範囲内で、ウェイポイントに定義された（ｘ，ｙ，∂）位置およびターゲット方向に対応するマスタマップの領域に整列するような、位置および方向にナビゲートすることができる。
【００２７】
さらに、ウェイポイントは、ロボットシステムがウェイポイントに移動することができるようになると、画像をキャプチャする各カメラのアドレスを含むことができる。例えば、サーモグラフィックカメラ、深度カメラおよびカラーカメラを含むロボットシステムの場合、ウェイポイントは、サーモグラフィックカメラ、深度カメラおよびカラーカメラにそれぞれ対応するカメラアドレス［１，２，３］のすべてまたはサブセットを含むことができる。代替的には、関節動作可能なカメラを含むロボットシステムの場合、ウェイポイントは、ウェイポイントで画像をキャプチャする各カメラのアドレスおよび円弧状の位置を定義することができる。
【００２８】
一実施例では、新しい在庫追跡ルーチンを開始する前に、ロボットシステムは、ウェイポイントのセット、ウェイポイントの好ましい順序、および店舗の座標系を定義する店舗のマスタマップを（リモートコンピュータシステムから）ダウンロードすることができる。在庫追跡ルーチンの開始時にロボットシステムがそのドックを離れると、ロボットシステムは、その統合された深度センサ（例えば、ＬＩＤＡＲセンサ）を繰り返しサンプリングし、深度センサにより収集したデータに基づいて、その環境の新しいマップを構築することができる。新しいマップをマスタマップと比較することにより、ロボットシステムは、在庫追跡ルーチンを通して、店舗内のその位置を追跡することができる。さらに、次のウェイポイントに移動するために、ロボットシステムは、上述したように、現在のウェイポイントで定義された（ｘ，ｙ，∂）位置およびターゲット方向に対応するマスタマップの領域と、深度センサの現在の出力との間の整列に基づいて、（閾値の距離および角度オフセットの範囲内で）ウェイポイントの達成を確認することができる。
【００２９】
代替的には、ロボットシステムは、ＧＰＳ位置およびコンパス方位を定義するウェイポイントを実行することができ、ロボットシステム内のＧＰＳセンサおよびコンパスセンサの出力に基づいて、ウェイポイントの達成を確認することができる。しかしながら、ロボットシステムは、ウェイポイントで定義された位置およびターゲット方向からの閾値の距離および角度オフセット内の店舗内の位置および向きにナビゲートするために、他の任意の方法または手法を実行することができる。
【００３０】
さらに代替的には、在庫追跡ルーチン中に、ロボットシステムは、近くで検出された障害物（例えば、顧客、溢れたもの、在庫構造）、店舗内の在庫構造または特定のスロットに以前に割り当てられた優先順位または重み付け、および／または店舗に接続されたＰＯＳシステムからの商品販売データおよび（例えば、プラノグラムで規定されているような）店舗内の商品の既知の位置などに基づいて、自律的に店舗内の経路を生成し、リアルタイムでこの経路を実行することができる。例えば、コンピュータシステムは、米国特許出願第１５／３４７，６８９号に記載されているように、店舗内の動的障害物（例えば、顧客、溢れたもの）に応じて、単位時間当たりにロボットシステムが撮像する在庫構造または特定の商品の数値を最大化するように、在庫追跡ルーチン中に店舗内の経路を動的に生成することができる。
【００３１】
したがって、本実施例では、ロボットシステムが、在庫追跡ルーチン中に、店舗内の通路のセットに沿って自律的にナビゲートすることができる。店舗内のこの通路のセットの中の特定の通路に沿って自律的にナビゲートしている間、ロボットシステムは、特定の通路に面した棚構造のセットのカラー画像のセットを記録し、第１の時間に特定の通路の熱画像を記録し、ほぼ第１の時間に特定の通路の深度マップを記録し、その後、この熱画像および深度マップを処理して、特定の通路に面した在庫構造のカラー画像の記録を続けながら、特定の通路で溢れたものを予測することができる。その後、ロボットシステムは、特定の通路内の溢れたものを検出することに応答して、（店舗内の特定の通路内の溢れたものを示す）プロンプトを店舗または店舗の特定の関係者に関連するコンピューティングデバイスに提供することができる。また、ロボットシステムは、特定の通路内の在庫構造のそれらカラー画像を、リアルタイムでまたは在庫追跡ルーチンの終了時などに、リモート処理のためにリモートコンピュータシステムにアップロードすることもできる。リモートコンピュータシステムは、ほぼ第１の時間に記録されたカラー画像のセットの中の第１のカラー画像の第１の領域における第１の棚構造の第１の棚を検出し、第１の棚のアドレスを識別し、第１の棚のアドレスに基づいて店舗のプラノグラムにより第１の棚に割り当てられた第１の商品のリストを取得し、テンプレート画像のデータベースからテンプレート画像の第１のセットを取得し（ここで、テンプレート画像の第１のセット内の各テンプレート画像が、第１の商品のリスト内の商品の視覚的特徴を示し）、第１のカラー画像の第１の領域から第１の特徴のセットを抽出し、そして、第１の特徴のセット内の特徴と第１のテンプレート画像内の特徴との間の差異に応答して、第１の商品のユニットが第１の棚に間違って在庫されていると判定することができる。その後、第１の商品のユニットが第１の棚に間違って在庫されていると判定することに応答して、リモートコンピュータシステムは、第１の棚上の第１の商品のための補充プロンプトを生成し、この補充プロンプトをリアルタイムで店舗の関係者に提供するか、またはこの補充プロンプトを店舗の現在の補充リストに追加することができ、それを、リモートコンピュータシステムは、米国特許出願第１５／６００，５２７号に記載されているように、在庫追跡ルーチンの終了時に店舗の関係者に後で提供することができる。この実施例では、ロボットシステムは、在庫追跡ルーチン中に、上述したプロセスを繰り返して、各在庫構造に沿ってカラー画像を記録し、店舗の各通路に溢れがないかを確認することができ、リモートコンピュータシステムは、在庫追跡ルーチン中に、上述したプロセスを繰り返して、ロボットシステムによって記録されたそれらカラー画像から店舗の現在の在庫状態を導き出すことができる。
【００３２】
４．２  専用の溢れ検出ルーチン
追加的または代替的には、ロボットシステムは、専用の溢れ検出ルーチン中に、店舗内を自律的にナビゲートして、方法Ｓ１００のブロックを実行し、溢れを検出することができる。例えば、在庫追跡ルーチンを実行しておらず、かつ店舗内に配置されたドックで充電しているとき、かつ／または店舗内の通行量の多い期間中に、ロボットシステムは、専用の溢れ検出ルーチンを自律的に実行することができ、このルーチンには、液体製品が在庫されている通路を優先して店舗全体の通路に沿ってナビゲートすること、並びに、方法Ｓ１００のブロックを実行して、それら通路に沿った床空間の熱画像、深度画像および／またはカラー画像を記録し、それら熱画像、深度画像および／またはカラー画像を融合して、それら通路上の溢れた流体および他の障害物を検出することが含まれる。
【００３３】
一実施例では、リモートコンピュータシステムは、店舗のプラノグラムにアクセスし、プラノグラムをスキャンして、液体を含むことが分かっている少なくとも１の商品（例えば、ボトル入り飲料、オリーブオイル、トマトソース）が割り当てられた（店舗内の通路のセットの中の）第１の通路のセットを識別し、プラノグラムをスキャンして、ドライグッズが割り当てられかつ店舗のプラノグラムによって液体を含む商品を除外している（店舗内の通路のセットの中の）第２の通路のセットを識別することができる。その後、リモートコンピュータシステムは、第１の通路のセットをスキャンして流体の溢れを求めることに高い優先順位を割り当て、第２の通路のセットをスキャンして流体の溢れを求めることに低い優先順位を割り当てることができる。次の溢れ検出ルーチン中、ロボットシステムは、店舗内の第１の通路のセットに沿って自律的にナビゲートして、第１の頻度でそれらの優先順位の高い通路をスキャンして流体の溢れを求め、店舗内の第２の通路のセットに沿って自律的にナビゲートして、第１の頻度よりも少ない第２の頻度で、優先順位の低い通路をスキャンして流体の溢れを求めることができる。
【００３４】
上述した実施例において、リモートコンピュータシステムは、店舗全体の通路に対して、より大きい分解能で溢れ検出の優先順位を規定することができる。例えば、リモートコンピュータシステムは、調理油を含む通路に最も高い優先順位、ガラス瓶の飲料を含む通路にその次に高い優先順位、生卵を含む通路にその次に高い優先順位、液体（例えば、トマトソース、水または油中の豆）を含む缶詰商品を含む通路にその次に高い優先順位、冷蔵ユニットまたは冷凍庫（通路に凝縮水が漏れる可能性がある）に面した通路にその次に高い優先順位、小さなドライグッズ（例えば、米、パスタ）がストックされた通路にその次に高い優先順位、・・・大きなドライグッズ（例えば、トイレットペーパ）のみを含む通路に最も低い優先順位をそれぞれ割り当てることができる。また、リモートコンピュータシステムは、高い優先順位の通路への近さによって通路をランク付けすることもできる。
【００３５】
リモートコンピュータシステムは、同様の方法と手法を実行して、隣接する在庫構造に在庫されている商品の溢れおよび滑りのリスク（例えば、ガラス瓶に含まれる油に対する高い溢れおよび滑りのリスク、乾燥した袋詰めの米および卵に対する中程度の溢れおよび滑りのリスク、包装されたトイレットペーパに対する低い溢れおよび滑りのリスク）、並びに、高い溢れおよび滑りのリスクの商品に面した他の通路セグメントへの近接性に基づいて、小さな個別の通路セグメント（例えば、長さ１メートルの通路セグメント）をランク付けすることができる。例えば、コンピュータシステムは、店舗を個別の通路セグメントにセグメント化することができる。各通路セグメントについて、リモートコンピュータシステムは、店舗のプラノグラムで指定された商品の位置に基づいて、通路セグメントから店舗内の各商品までの距離を特定および推定し、この距離の量的積および店舗内の各商品の溢れおよび滑りのリスクスコアを計算し、通路セグメントについてそれら量的積の合計を計算し、この合計を通路セグメントの溢れ検出優先順位として記憶することができる。リモートコンピュータシステムは、店舗内に規定された各通路セグメントについてこのプロセスを繰り返し、その後、店舗全体の連続経路を計算することができ、この経路が、ロボットシステムによって実行されるときに、それら通路セグメントについて上記のように導出された溢れ検出優先順位にほぼ比例した頻度で各通路セグメントまたはその近傍でロボットシステムを配置するものとなる。専用の溢れ検出ルーチン中、ロボットシステムは、例えばデフォルトで、上記連続経路に沿って移動することができる。
【００３６】
追加的または代替的には、専用の溢れ検出ルーチン中に、ロボットシステムは、顧客の通行量が多い領域を回避し、顧客との衝突を回避し、かつ／または、最も高い頻度で最も高い溢れ検出優先順位を有する通路セグメントと交差するような、店舗を通るルートを動的に規定することができる。
【００３７】
同様の実施例では、リモートコンピュータシステムは、以前の溢れ検出ルーチン中にロボットシステムによって収集された、または店舗の過去のメンテナンス中に店舗の関係者によって以前に入力された、店舗の過去の溢れイベントデータに基づいて、店舗内の通路（または個別の通路の位置）をランク付けすることができる。例えば、リモートコンピュータシステムは、店舗内の溢れ検出ルーチンおよび／または在庫追跡ルーチンを実行している間にロボットシステムによって以前に検出された流体溢れイベントの履歴にアクセスし、この履歴に基づいて流体溢れイベントのヒートマップを生成することができる。この例では、リモートコンピュータシステムは、それら流体溢れイベントを、流体溢れイベントの頻度（例えば、すべての期間における頻度、または最近の溢れイベントを古い溢れイベントより重み付けした場合の頻度）、液体のリスクスコア（例えば、調理油のリスクが高く、パスタソースのリスクが低い）および／または溢れの大きさの関数として、溢れ強度を示すヒートマップにまとめることができる。その後、リモートコンピュータシステムは、店舗全体の連続経路を計算することができ、この連続経路は、ロボットシステムによって実行されると、対応する溢れ強度にほぼ比例した頻度で、通路または通路セグメントまたはその近傍にロボットシステムを配置することができる。その後、ロボットシステムは、後続の溢れ検出ルーチン中、この経路に沿って自律的にナビゲートすることができる。
【００３８】
同様に、リモートコンピュータシステムは、ある期間における過去の流体溢れ事象の第１の量に関連付けられた（店舗内の通路のセットの中の）第１の通路を識別し、同じ期間における、過去の流体溢れ事象の第１の量よりも少ない過去の流体溢れ事象の第２の量に関連付けられた（店舗内の通路のセットの中の）第２の通路を識別することができる。その後、後続の溢れ検出ルーチン中、ロボットシステムは、店舗の過去の溢れイベントデータから導出されたそのようなランクまたは優先順位に従って、第１の頻度で第１の通路に沿って自律的にナビゲートし、第１の頻度よりも少ない第２の頻度で、第２の通路に沿って自律的にナビゲートすることができる。
【００３９】
また、リモートコンピュータシステムは、近くにストックされている液体製品の溢れおよび滑りのリスクと、店舗の過去の流体溢れイベントデータとの両方に基づいて、店舗または通路を通るルートまたは通路セグメントの優先順位を導き出すこともできる。さらに、リモートコンピュータシステムは、同様の方法および手法を実行して、店舗内にストックされている他のタイプの液体および非液体製品（例えば、米、トイレットペーパ）について、店舗または通路を通るルートまたは通路セグメントの優先順位を導き出すこともできる。
【００４０】
しかしながら、ロボットシステムおよび／またはリモートコンピュータシステムは、他の任意の方法または手法を実行して、店舗内の商品の種類、それら商品の溢れや滑りのリスク、それら商品の位置などに基づいて、店舗を通るルートを規定することができる。
【００４１】
さらに、ロボットシステムは、店舗内の在庫追跡ルーチンとは別に、溢れ検出ルーチンを実行することができる。代替的には、コンピュータシステムは、連続した在庫追跡ルーチンおよび溢れ検出ルーチンを実行することができる。例えば、ロボットシステムは、そのドックから離れてナビゲートし、スケジュールされた時間に在庫追跡ルーチンを開始することができる。在庫追跡ルーチンが完了すると、ロボットシステムは、ロボットシステムの充電状態が下限閾値未満に低下するまで、溢れ検出ルーチンの実行に移行することができ、充電状態が下限閾値未満に低下したら、ロボットシステムは、そのドックに戻り、次にスケジュールされた在庫追跡ルーチンの前に充電することができる。
【００４２】
５．熱画像および勾配検出
方法Ｓ１００のブロックＳ１１０は、店舗の床のある領域の熱画像を記録することを説明し、方法Ｓ１００のブロックＳ１１２は、熱画像中の温度勾配を検出することを説明している。通常、ブロックＳ１１０において、ロボットシステムは、動作中（例えば、在庫追跡ルーチンまたは溢れ検出ルーチン中）に、ロボットシステムに統合されたサーモグラフィックカメラ（または赤外線または他の熱センサ）を介して熱画像を記録する。ブロックＳ１１２において、ロボットシステム（またはリモートコンピュータシステム）は、それら熱画像を処理して、図２に示すような、それら熱画像に示される床面または地面と交差するそれら熱画像の領域における温度勾配（すなわち、温度の不均一性、温度の不連続性）を識別する。その後、ロボットシステム（またはリモートコンピュータシステム）は、上述したように、ロボットシステムに統合された１または複数のカラーカメラおよび１または複数の深度センサを介して収集された追加のカラーデータおよび／または高さデータに基づいて、固体のオブジェクト（箱、缶、瓶、ブドウ、リンゴ）または不定形のオブジェクト（例えば、液体、液体）の何れかとして、そのような温度勾配を解釈することができる。
【００４３】
一実施例では、ロボットシステムは、ブロックＳ１１０の動作中、前向きサーモグラフィックカメラを介して、一定の間隔、例えば２Ｈｚのレートで、熱画像を記録する。同時に、ロボットシステムは、深度センサを介して（例えば、１０Ｈｚのレートで）深度マップを記録することができ、かつ／またはカラーカメラを介して（例えば、２０Ｈｚのレートで）カラー画像を記録することができる。ロボットシステムが熱画像を記録する際に、ロボットシステムは、熱画像を局所的にスキャンして、（熱画像に示される地面（すなわち床）近くの）温度勾配、温度差、反射率差または放射率差などを求めることができ、それらは、サーモグラフィックカメラの視野内に２つの異なる物質（例えば、床材と液体）が存在することを示唆している可能性がある。通常は、物質（例えば、油、水、ソーダ、トマトソースまたは他の液体；穀物、ブドウ、パスタ、または他の非液体物質）が店舗の床の表面に溢れた場合、この物質は、当該物質と床材との間の特性の違い（例えば、熱容量、熱反射率、熱放射率）、および／または当該物質と床材の温度の違い（例えば、溢れた流体が、溢れた流体の蒸発によって隣接する床材よりも冷却されている）等に起因する、床のその表面の熱画像において（背景の床材に対する相対的な）温度差（または温度不連続性、温度勾配）として、当該物質が示される可能性がある。
【００４４】
動作中、ロボットシステムは、店舗全体の床空間および不変オブジェクト（例えば、棚構造、店舗インフラストラクチャ、通路の区切りなど）の表示を含む店舗の２Ｄまたは３Ｄの位置決めマップにアクセスし、深度マップおよび／またはカラー画像および店舗の２Ｄまたは３Ｄマップに基づいて、店舗内での位置および向きを判定するために位置決め手法を実行し、導き出された位置に基づいて、ウェイポイント間または店舗内の計画された経路に沿って自律的にナビゲートすることができる。
【００４５】
さらに、店舗内のロボットシステムの位置および向き、ロボットシステム上のサーモグラフィックカメラの既知の位置、および位置決めマップに基づいて、ロボットシステムは、熱画像が記録された時点でのサーモグラフィックカメラの視野内の店舗の床の領域を予測し、この床の領域を示す熱画像マスクを生成し（ただし、位置決めマップに示されているように、店舗内の既知の位置にある固定在庫構造および他の固定インフラストラクチャのフットプリントを除外し）、この熱画像マスクを熱画像上に投影することができる。このようにして、熱画像上に熱画像マスクを重ね合わせることにより、ロボットシステムは、熱画像上に示される床の領域（以下、熱画像上の「関心領域」）を規定することができる。特に、リモートコンピュータシステムは、既存の店舗データを活用して、ロボットシステムの位置および向きと、ロボットシステム上のサーモグラフィックカメラの位置および特性とに基づいて、店舗の床に対応する熱画像の領域を分離することができる。
【００４６】
追加的または代替的には、ロボットシステムは、コンピュータビジョン、ディープラーニング、機械学習および／または他の知覚手法を実行して、深度マップおよび／または同時のカラー画像内の在庫構造および他のオブジェクトを検出し、深度マップおよび／または同時のカラー画像内に示される床の境界を導き出し、ロボットシステム上のサーモグラフィックカメラの既知の位置に基づいて床の境界を熱画像上に投影し、それにより、床の表面を示す熱画像内の関心領域を分離することができる。しかしながら、ロボットシステムは、店舗内の在庫構造および他の固定インフラストラクチャ等を除外した熱画像のセグメントを分離するために、他の任意の方法または手法を実行することができる。
【００４７】
次に、リモートコンピュータシステムは、熱画像内の関心領域をスキャンして温度勾配を求めることができ、この温度勾配は、隣接する床面とは異なる温度、反射率および／または熱放射率を特徴とする障害物（例えば、固体オブジェクトまたは液体）の存在を示す可能性がある。一実施形態では、リモートコンピュータシステムが、エッジ検出、ブロブ検出および／または他のコンピュータビジョン手法を実行して、熱画像中の関心領域内の温度勾配を表現する。別の実施形態では、リモートコンピュータシステムが、熱画像の関心領域全体のピクセルの温度を平均化することによって公称床温度を計算し、熱画像の関心領域の各ピクセルから公称床温度を減算することによって正規化された熱画像を生成し、正規化された熱画像の中で「０」の値と閾値以上の差があるピクセルのサブセットを識別し、最小サイズ（例えば、実空間での幅１０ミリメートル×長さ１０ミリメートルの領域）を超える（ピクセルのこのサブセット内の）ピクセルのクラスタにフラグを立てる。
【００４８】
このため、ロボットシステムは、床の境界（例えば、在庫構造の既知のフットプリントを除く）を熱画像に投影し、店舗の床と交差しかつ温度不連続性（または温度、または温度勾配）を含む熱画像内の領域を検出し、その後、熱画像のこの領域に示される店舗の床の領域を、溢れた流体または他のオブジェクトなどの危険物を含む可能性があるものとして、フラグを立てることができる。
【００４９】
しかしながら、リモートコンピュータシステムは、熱画像内の不連続性、差異または他の温度勾配を識別して、その不連続性を店舗の床上の危険物の可能性のある場所としてフラグを立てるために、他の任意の方法または手法を実行することができる。追加的または代替的には、ロボットシステムは、それら熱画像をリモートコンピュータシステムに（例えば、セルラーネットワークまたはローカルエリアネットワークを介して）アップロードすることができ、リモートコンピュータシステムは、それらサーモグラフィデータをリモートで処理するための同様の方法および手法を実行することができる。
【００５０】
５．１  動的温度勾配
一実施例では、サーモグラフィックカメラは、店舗内を歩行する際に、顧客の足によって加熱（または冷却）された床空間の領域を検出するのに十分に高い解像度を示す。例えば、顧客が高温のアスファルト駐車場から空調の効いた店舗内に足を踏み入れると、顧客の靴の高温の靴底が店舗の床に熱を伝え、顧客の経路に沿って瞬間的な熱の「フットプリント」を形成することがあり、それらの熱のフットプリントは、サーモグラフィックカメラで検出可能であり、店舗内の顧客の経路に沿った温度勾配として熱画像内に示される。しかしながら、時間が経つに連れて（例えば、数秒以内に）、顧客の靴から店舗の床に伝わった熱が放散して、それら熱のフットプリントがこの期間中に消えてしまう可能性がある。このため、店舗の床面上の可能性のある固体および不定形オブジェクトをそのような熱のフットプリントから区別するために、リモートコンピュータシステムは、一連の熱画像にわたって温度勾配を追跡し、比較的急速に散逸する温度勾配を、熱のフットプリントを示している可能性が高いとして破棄し、持続的な温度勾配を、床面上の可能性のある固体および／または不定形オブジェクトとして解釈することができる。
【００５１】
この実施例では、ロボットシステムは、上述したように、動作中に一定の間隔で熱画像を記録および処理することができる。第１の熱画像において温度勾配が検出されると、ロボットシステムは、後続の熱画像において同一または類似の温度勾配を検出するために、オブジェクトトラッキングまたは他の手法を実行することができる。このため、第１の熱画像で検出された温度勾配が、後続の熱画像にわたって（よって、時間の経過とともに）、サイズおよび／または公称床温度からのピーク温度差が減少する場合、ロボットシステムは、温度勾配を熱のフットプリントとして分類し、それに応じて温度勾配を廃棄することができる。しかしながら、第１の熱画像で検出された温度勾配が、サイズが実質的に一定のままであり、公称床温度からのピーク温度差が実質的に一定のままであり、かつ／または後続の熱画像にわたって（よって、時間の経過とともに）サイズが増加する場合、ロボットシステムは、その温度勾配を、店舗の床空間上の固体または非定形オブジェクトを示している可能性が高いものとして分類することができる。
【００５２】
同様に、店舗の床の領域の第１の熱画像を記録した後、ロボットシステムは、店舗の床の同一または類似の領域を示す後続の一連の熱画像を記録し、この一連の熱画像をスキャンして、店舗の床の領域内の温度勾配を求め、この一連の熱画像で検出された（店舗の床の領域内の）それら温度勾配の空間変化率を特徴付けることができる。その後、ロボットシステムは、第１の熱画像内の温度勾配を検出することに応答して、一連の熱画像で検出された温度勾配の空間変化率が閾値の変化率を下回った場合に、そして、後述するように、同時の深度マップ内の対応する位置に高さ勾配が存在しないのを検出することに応答して、床の領域内の流体（または他の危険物）の存在を予測することができる。しかしながら、この例では、ロボットシステムは、一連の熱画像で検出された温度勾配の空間変化率が閾値の変化率を超え、かつ熱画像の関心領域（例えば、床の領域）の平均温度に向かっている場合に、店舗の床の対応する領域に流体以外の表示として、（熱画像で検出された）温度勾配を識別することができる。
【００５３】
しかしながら、リモートコンピュータシステムは、一連の熱画像にわたって温度勾配を追跡し、それら温度勾配を関心のあるもの（例えば、床上の固体または非定形のオブジェクトの可能性がある）、または関心のないもの（例えば、熱のフットプリント）として特徴付けるために、他の任意の方法または手法を実行することができる。
【００５４】
５．２  熱画像のスティッチング
ロボットシステムは、このようにして動作中に記録された個別の各熱画像に対してこのプロセスを実行することができる。代替的には、ロボットシステムは、在庫追跡ルーチン中に記録されたこの一連の熱画像を、店舗の床の合成熱画像にスティッチして、前述したプロセスを実行し、店舗全体の熱差異または温度勾配を検出することができる。
【００５５】
例えば、店舗内の通路を歩いている間に、顧客が不注意で水を溢したり、ビール瓶を落として割ってしまったりすることがある。この例では、在庫追跡ルーチン中に、この通路に到達して移動すると、ロボットシステムは、通路に沿って熱画像を記録し、それら熱画像を通路に沿った床を示す合成熱画像にスティッチし、合成熱画像を切り取って通路の床のみにするために、通路に沿った棚構造のフットプリントを合成熱画像に投影し、この合成熱画像をスキャンして、単位距離当たりの温度差が閾値を超える（例えば、１０センチ未満の距離で１℃を超える温度差がある）温度勾配を求めることができる。水および水ベースの液体の蒸発冷却のために、溢れた流体は、通路内の周囲の床面よりも低い温度で合成熱画像内に存在する可能性がある。このため、ロボットシステムは、この温度差と閾値温度差に基づいて、この溢れた流体に対応する熱画像の領域を表現（または近似）し、合成熱画像中のこの温度差の位置に基づいて、店舗内のこの溢れた流体の具体的な位置を探し出すことができる。
【００５６】
６．深度マップ
方法Ｓ１００のブロックＳ１２０は、床の領域の深度マップを記録することを説明し、方法Ｓ１００のブロックＳ１２２は、熱画像で検出された温度勾配に対応する深度マップの領域をスキャンして高さ勾配を求めることを説明している。通常、ブロックＳ１２０において、ロボットシステムは、ロボットシステム上の深度センサを介して深度画像を記録することができ、ブロックＳ１２２において、ロボットシステムは、それら深度データを、ブロックＳ１１０で収集した同じ空間を占めるサーモグラフィデータと融合させて、熱画像において検出された温度不連続性（または温度差または温度勾配）が、店舗の床上の流体（例えば、液体膜）または別の固体オブジェクト（例えば、箱、缶、ブドウ）を表しているのか否かを予測することができる。特に、床のような平坦な表面に溢れた場合、流体（例えば、油、水などの液体）は、この表面にわたってほぼ均一に分布する可能性があり、よって、ロボットシステムによって記録された深度マップに示される地面と実質的に区別できない場合がある。しかしながら、箱、缶、ブドウおよび他の固体オブジェクトは、深度画像において地面の上に実質的に延在し、よって、深度マップ内で区別できる場合がある。このため、深度データと温度データとを組み合わせることにより、ロボットシステムは、床面にわたって分布している非定型物質（例えば、流動性液体）と、床面の上に存在する固体オブジェクトとを区別することができる。
【００５７】
動作中、ロボットシステムは、例えば１０Ｈｚのレートで、深度センサをサンプリングすることによって、一定の間隔で深度マップ（例えば、ＬＩＤＡＲ）を記録することができる。深度マップに基づいて、ロボットシステムは、上述したように、店舗内でのその位置を判定する（すなわち、「自らの位置を特定する」）ことができる。その後、ロボットシステムは、サーモグラフィックカメラの既知の位置および向き、および深度センサの位置および向きにアクセスし、ルックアップテーブルおよび／またはパラメータ化されたモデルにアクセスして深度マップのピクセルを熱画像に投影し、パラメータ化されたモデルおよび／またはルックアップテーブルに従って、熱画像の関心領域内の各ピクセルを深度マップ内の対応するピクセルにリンクまたはマップし、そして熱画像の関心領域に対応する深度マップの領域を識別することができる。また、ロボットシステムは、店舗の平面図を深度マップに投影して、店舗の床を示しかつ店舗の床の領域の近くにある固定ディスプレイを除く深度マップのセグメントを分離し、深度マップのそのセグメントに地面を投影し、その後、深度マップのそのセグメントをスキャンして、地面の上にオフセットされたオブジェクトを求めることもできる。
【００５８】
特に、熱画像の関心領域に対応する深度マップの領域を分離した後、ロボットシステムは、深度マップの領域をスキャンして高さ勾配を求めることができ、これは、ロボットシステムに隣接する床の領域上の固体オブジェクトの存在を示している可能性がある。一実施例では、ロボットシステムは、エッジ検出、ブロブ検出および／または他のコンピュータビジョン手法を実行して、深度マップの領域内の高さ勾配を表現することができる。別の実施例では、ロボットシステムは、深度マップの領域内の最も低い点を識別し、それらの最も低い点の各々と交差する平面を推定し、その平面を深度マップ内の地面（または床）として識別し、地面またはその下のピクセルを除去することができる。その後、ロボットシステムは、深度マップの領域の残りの部分をスキャンして、地面の上にオフセットされた上面を示すオブジェクトを求めることができる。同様の実施例では、ロボットシステムは、店舗内の地面および不変のオブジェクトを識別するフロアマップにアクセスすることができ、深度マップが記録された時点でのロボットシステムの位置および向きと、深度センサの既知の視野とを店舗のマップに投影して、深度センサの視野内の床の領域を表すマスクを定義することができる。その後、ロボットシステムは、床の上にオフセットされた深度マップの領域内の関心領域を計算するために、深度マップの領域の上にマスクを重ね合わせることができる。深度マップ内のこの関心領域内の高さ勾配および／または表面を検出することに応答して、ロボットシステムは、床上にオフセットされた固体オブジェクト（例えば、箱またはブドウ）の存在を識別することができる。
【００５９】
同様の実施例では、ロボットシステムは、在庫追跡ルーチン中に深度センサによって記録されたデータに基づいて３次元（または「３Ｄ」）深度マップを生成し、ロボットシステム上の深度センサおよび熱画像の既知の位置に基づいて、現在の熱画像を深度マップに位置合わせし、熱画像の深度マップへの位置合わせに基づいて、熱画像で検出された温度差の位置を深度マップに投影し、その後、投影された温度差の周囲の深度マップの領域をスキャンして、高さの差異（または高さ勾配、深度マップに投影された地面の上の最小高さよりも大きいオブジェクト）を検出する。ロボットシステムがそのような高さの差異を検出することができない場合、ロボットシステムは、温度差を液体を示すものとして解釈することができる。同様に、ロボットシステムが、深度マップのこの領域において、最小高さオフセット（例えば、１センチメートル）よりも大きい高さの差異を検出することができず、かつ温度差が、最小長さ（例えば、４センチメートル）を超える（水平面内の）寸法にまたがっている場合、ロボットシステムは、温度差を液体を示していると解釈し、この液体を直ちに除去するためのフラグを立てることができる。しかしながら、ロボットシステムが、深度マップのこの領域において、最小高さオフセット（例えば、１センチメートル）よりも大きい高さの差異を検出することができないが、温度差が、最小長さ未満の（水平面内の）寸法にまたがっている場合、ロボットシステムは、温度差を小さな危険オブジェクト（例えば、ブドウ）を示していると解釈し、このオブジェクトを直ちに除去するためのフラグを立てることができる。同様に、ロボットシステムが、深度マップのこの領域において、最小高さオフセットと最大高さオフセットとの間の高さの差異（例えば、１５センチ）を検出した場合、ロボットシステムは、高さの差異を中型の危険オブジェクト（例えば、缶、瓶、バナナの皮）を示していると解釈し、このオブジェクトを５分以内に除去するようにフラグを立てることができる。さらに、ロボットシステムが深度マップのこの領域で最大高さオフセットよりも大きい高さの差異を検出した場合、ロボットシステムは高さの差異を大型の危険オブジェクトと解釈し、このオブジェクトを３０分以内に除去するようにフラグを立てることができる。
【００６０】
しかしながら、ロボットシステムは、深度マップ内の高さの差異を識別し、この高さの差異を同時の熱画像内の同じ空間を占める熱の差異と相関させ、この差異を店舗の床上の可能性のある危険物（例えば、流体、固体オブジェクト）の位置としてフラグを立てるために、他の任意の方法または手法を実行することができる。
【００６１】
７．カラー画像
方法Ｓ１００のブロックＳ１３０は、床の領域のカラー画像を記録することを説明し、方法Ｓ１００のブロックＳ１３２は、熱画像の温度勾配に対応するカラー画像の領域をスキャンして色勾配を求めることを説明している。通常、ロボットシステムは、ブロックＳ１３０において、統合されたカラーカメラを介して、ロボットシステムの近く（例えば、前方）の視野のカラー画像または他の写真データを記録し、その後、ブロックＳ１３２において、カラーカメラを処理して、同時の熱画像および深度画像において検出された熱の差異および／または高さの差異と同じ空間を占めるオブジェクトを検出する。
【００６２】
動作中、ロボットシステムは、例えば２０Ｈｚのレートで、カラーカメラをサンプリングすることによって、カラー画像を一定の間隔で記録することができる。同時の熱画像内の熱の差異を検出すると、ロボットシステムは、カラー画像内の関心領域を規定するために、ロボットシステム上のサーモグラフィックカメラおよびカラーカメラの位置に基づいて、同時の熱画像内の熱の差異の周囲の境界をカラー画像上に投影し、その後、ブロックＳ１３２において、この関心領域をスキャンして、この関心領域内の色勾配（または色の不連続性、色の差異、色の変化、色のシフト）を検出することができる。
【００６３】
特に、カラー画像の（熱画像の関心領域に対応する）この関心領域を分離した後、ロボットシステムは、カラー画像の領域をスキャンして色勾配を求めることができ、これは、ロボットシステムに隣接する床の領域上の色付きの物質またはオブジェクトの存在を示す可能性がある。一実施例では、ロボットシステムは、エッジ検出、ブロブ検出および／または他のコンピュータビジョン手法を実行して、カラー画像のこの関心領域の色勾配を表現する。例えば、熱画像に示されるオブジェクトが透明な液体以外のものである場合、同時のカラー画像の関心領域は、色勾配を示すことができる。このため、ロボットシステムは、カラー画像の関心領域をスキャンして色勾配を検出することができる。関心領域の色勾配を検出すると、ロボットシステムは、店舗の床上の対応する位置にオブジェクトが存在することを確認し、この位置を危険物が存在するとしてフラグを立て、この危険物を色付き（例えば、人間が目視できる）オブジェクトとして記録することができる。しかしながら、ロボットシステムが関心領域またはその周辺の色勾配を検出することができない場合、ロボットシステムは、熱画像に示される温度勾配および同時の深度マップの対応する領域における高さ勾配の欠如が、水または油のような透明な（または実質的に半透明な）流体に対応していると予測することができる。
【００６４】
しかしながら、ロボットシステムは、カラー画像内の色勾配（または色の不連続性、色の差異、色のシフト）を識別して、この色勾配を店舗の床上の可能性のある危険物（例えば、色付きの液体）の位置としてフラグを立てるために、他の任意の方法または手法を実行することができる。
【００６５】
８．オブジェクトの検出と特性評価
方法Ｓ１００のブロックＳ１５０は、熱画像における温度勾配を検出することに応答して、かつ深度マップの領域に高さ勾配がないのを検出することに応答して、床の領域内の流体の存在を予測することを説明している。通常は、ブロックＳ１５０において、ロボットシステム（またはリモートコンピュータシステム）は、（ロボットシステム上のサーモグラフィックカメラ、深度センサおよびカラー画像カメラによって同時に記録された）熱画像、深度画像およびカラー画像データを融合して、床上の物質の存在を確認し、かつ／またはこの物質の追加的な特性、例えば、種類、可視性、優先順位および／または除去方法を導き出すことができる。特に、ロボットシステムは、図１に示すように、熱画像、深度画像、カラー画像および／または合成画像の各々の中のオブジェクトの特徴を識別し、オブジェクトを分類して、店舗の床からのオブジェクトの除去を容易にするために、コンピュータビジョン手法を実行することができる。
【００６６】
８．１  液体の溢れ
一実施例は、ブロックＳ１１２において熱画像に温度勾配が存在すること、ブロックＳ１２２において同時の深度マップの同じ空間を占有する領域に高さ勾配が存在しないこと、並びに、ブロックＳ１３２において同時のカラー画像の同じ空間を占有する領域に色勾配が存在することの検出に応答して、ロボットシステムは、熱画像、深度画像およびカラー画像の同じ空間を占有する領域におけるオブジェクトを、溢れたソーダまたはトマトソースなどの色付きの液体層として識別することができる。同様に、ブロックＳ１１２において熱画像に温度勾配が存在すること、ブロックＳ１２２において同時の深度マップの同じ空間を占有する領域に高さ勾配が存在しないこと、並びに、ブロックＳ１３２において同時のカラー画像の同じ空間を占有する領域に色勾配が存在しないことの検出に応答して、ロボットシステムは、熱画像、深度画像およびカラー画像の同じ空間を占有する領域におけるオブジェクトを、溢れた水または油などの透明または実質的に半透明の液体層として識別することができる。
【００６７】
一実施例では、ロボットシステムは、ブロックＳ１１０において床の領域の熱画像を記録し、ブロックＳ１２０において床の領域にまたがる深度マップを記録し、ブロックＳ１３０において床の領域のカラー画像を記録し、ブロックＳ１１２において熱画像内の温度勾配を検出し、ブロックＳ１２２において深度マップ内の温度勾配と同じ空間を占める高さ勾配の欠如を検出し、ブロックＳ１３２において（熱画像内で検出された温度勾配と同じ空間を占める）カラー画像の領域をスキャンして色勾配を求める。その後、ブロックＳ１５０において、ロボットシステムは、熱画像内の温度勾配を検出すること、深度マップの同じ空間を占有する領域内で高さ勾配がないのを検出すること（例えば、１センチメートルの最小高さ閾値よりも大きく（深度マップに投影または定義された）地面の上にオフセットされた表面が存在しないのを検出すること）、並びに、深度マップの同じ空間を占有する領域内で色勾配が存在しないのを検出することに応答して、床の領域内の透明な流体の存在を識別することができる。その後、後述するブロックＳ１６０では、ロボットシステムは、店舗の床の領域からの流体の除去を指定するとともに流体を透明であると特定するプロンプトを（店舗または店舗の特定の関係者に関連するコンピューティングデバイスに）提供することができる。
【００６８】
例えば、溢れた液体（例えば、水、油）が、床のほぼ平面内で床面にわたって分布することがある。液体の透明性および床面にわたる水の均一な分散により、ロボットシステムは、熱画像において床のこの領域に分布する温度勾配を検出し、深度マップに同じ空間を占める高さ勾配がないのを検出し、対応するカラー画像において色がないのを検出する可能性がある。それにより、ロボットシステムは、ブロックＳ１５０において、熱画像に示される物質が透明または半透明の不定形の液体であることを識別することができ、ブロックＳ１６０において、店舗の関係者にモップでこの物質を片付けるように促す（「緊急」と分類された）プロンプトを出すことができる。しかしながら、ロボットシステムがカラー画像の対応する領域に色勾配（例えば、茶色の「ブロブ」）の存在を検出した場合、ロボットシステムは、熱画像に示される物質を色付きの非定形の液体として識別することができる。また、ロボットシステムは、カラー画像のこの領域で検出された色彩に基づいて、この液体の種類を予測することができ、例えば、薄茶色で（かつ飲料通路の近くに）あればソーダ、青色で（例えば、飲料通路の近くに）あればスポーツドリンク、暗褐色で（かつ調味料の通路の近くに）あれば醤油、赤色で（かつ缶詰食品の通路の近くに）あればトマトソースのように、液体の種類を予測することができる。
【００６９】
代替的には、ロボットシステムは、床の領域内の溢れた流体の存在を予測するために、オブジェクト分類器および／または他のディープラーニング、コンピュータビジョンまたは知覚手法を実行することができる。例えば、熱画像内の温度勾配を検出することに応答して、かつ同時の深度マップの同じ空間を占める領域内に高さ勾配が存在しないのを検出することに応答して、ロボットシステムは、熱画像から温度勾配のプロファイル（例えば、２次元プロファイルまたは境界）を抽出し、この温度勾配のプロファイルを流体溢れ分類器に渡して、床の領域内の流体の存在に対する信頼度スコアを計算し、その信頼度スコアが閾値（例えば、４０％）を超える場合に床の領域内の流体の存在を予測することができる。例えば、温度勾配のプロファイルが線形である（例えば、線形エッジを含む）場合、流体溢れ分類器は、流体の存在に対して低い信頼度スコアを出力し、床の領域内の平坦な紙、平坦なラベルまたは平坦な包装材の存在に対して高い信頼度スコアを出力することができる。その後、ロボットシステムは、ブロックＳ１５０において、同時のカラー画像の同じ空間を占める領域における色勾配（例えば、テクスチャ勾配、色のシフト、反射率のシフト）に基づいて、この紙材料の存在を確認し、ブロックＳ１６０において、この紙材料を床の領域から除去することを促すプロンプトを出力することができる。しかしながら、温度勾配のプロファイルが非線形（例えば、不定形）である場合、流体溢れ分類器は、流体の存在に対して高い信頼度スコアを出力し、床の領域内の紙のシート、ラベルまたは包装材の存在に対して低い信頼度スコアを出力することができる。その後、ロボットシステムは、上述したように、ブロックＳ１５０において、同時のカラー画像の同じ空間を占める領域における色値または色勾配に基づいて、検出された流体を特徴付けることができ、それに応じて、ブロックＳ１６０において、この流体を床の領域から取り除くのを促すプロンプトを出力することができる。
【００７０】
８．２  小さい危険な固体オブジェクト
代替的には、熱画像内に温度勾配を検出し、かつ深度マップ内に同じ空間を占める高さ勾配を検出すること（例えば、深度マップ上に投影または規定された、最小高さ閾値よりも高い地面よりも上にオフセットされた表面が存在すること）に応答して、ロボットシステムは、床の領域内の固体オブジェクトの存在を予測することができる。
【００７１】
例えば、動作中に、ロボットシステムは、ブロックＳ１０２において店舗の床のある領域に向かって自律的にナビゲートし、ブロックＳ１１０において店舗の床の領域の熱画像を記録し、ブロックＳ１２０において床の領域の深度マップを記録し、ブロックＳ１１２において熱画像内の温度勾配を検出し、ブロックＳ１２２において、熱画像内で検出された温度勾配に対応する深度マップの領域をスキャンして、最小高さ閾値よりも大きい高さ勾配を求める。熱画像内に温度勾配を検出することに応答して、かつ深度マップの対応する領域において、最小高さ閾値（例えば、１センチメートル）よりも大きくかつ最大高さ閾値（例えば、１５センチメートル）よりも小さい高さ勾配を検出することに応答して、ロボットシステムは、ブロックＳ１５０において、床の領域内の小さな危険オブジェクト（例えば、ブドウ、缶、バナナ）の存在を予測し、その後、ブロックＳ１６０において、店舗の関係者に床の領域から危険オブジェクトを取り除くように促すプロンプトを出すことができる。
【００７２】
一例では、ロボットシステムは、熱画像に示される床の領域内の卵形オブジェクトを検出することができ、各オブジェクトは、熱画像内で周囲の床とは異なる温度勾配として現れる。ロボットシステムは、同時の深度マップをスキャンして、深度マップ内の地面から約２ｃｍの高さ（すなわち、最小高さ閾値と最大高さ閾値の間）まで延びる同じ空間を占める高さ勾配を検出することができる。その後、ロボットシステムは、ブロックＳ１５０においてテンプレートマッチングおよび／または他のコンピュータビジョン手法を実行して、卵形オブジェクトをブドウとして識別し、ブロックＳ１６０において、それに応じて、この床の領域からそれらブドウを取り除くよう店舗の関係者に促す。
【００７３】
８．３  大型の固体オブジェクト
しかしながら、ロボットシステムは、深度マップ内の地面の上に最大高さ閾値よりも大きく延びるオブジェクトを、リスクの低いまたは無い障害物として識別することができる。例えば、静的な温度勾配の存在、最大高さ閾値よりも大きい静的な同じ空間を占める高さ勾配の存在、および床の領域の一連の熱画像、深度画像およびカラー画像にわたる静的な同じ空間を占める色勾配の存在を検出することに応答して、ロボットシステムは、この床の領域内の箱、パレットまたは一時的なディスプレイを識別することができる。このため、ロボットシステムは、それに応じて、この箱またはパレットをこの床の領域から取り除くように、優先順位の低いプロンプトを店舗の関係者に提供することができる。代替的には、ロボットシステムは、近くの（例えば、店舗の同じ通路内で）検出された顧客の密度に比例して、この箱またはパレットを取り除くための優先順位を設定することができる。別の例では、一過性の温度勾配の存在、最大高さ閾値よりも大きい一過性の同じ空間を占める高さ勾配の存在、および床の領域の一連の熱画像、深度画像およびカラー画像における一過性の同じ空間を占める色勾配の存在を検出することに応答して、ロボットシステムは、ブロックＳ１５０において、この床の領域内の顧客またはショッピングカートを識別することができる。
【００７４】
しかしながら、ロボットシステムは、ブロックＳ１５０において店舗内のリスクの低いまたは無いオブジェクトを検出し、ブロックＳ１６０において、それに応じて対応する（または対応しない）ために、他の任意の方法または手法を実行することができる。
【００７５】
９．除去プロンプト
方法Ｓ１００のブロックＳ１６０は、店舗の床の領域から流体を除去することを促すプロンプトを、店舗に関連するコンピューティングデバイスに出すことを説明している。通常は、店舗の床上の溢れの検出に続いて、ロボットシステム（またはリモートコンピュータシステム）は、店舗の関係者（例えば、従業員、関係者または管理人）に、溢れたものを取り除くための通知を出す。
【００７６】
具体的に、ロボットシステムは、ブロックＳ１６０において、店舗の関係者に関連するコンピューティングデバイス（例えば、モバイルコンピューティングデバイス、スマートフォン、スマートウォッチおよび／またはラップトップコンピュータ）に、溢れの位置を関係者に通知するプロンプトをブロードキャストするか、または他の方法で出すことができる。代替的には、ロボットシステムは、（溢れの存在を示すとともに、店舗の関係者を派遣して溢れたものを除去するのを促すプロンプトを含む）通知を、例えば管理者に関連するコンピューティングデバイス上で実行されるネイティブアプリケーションまたはウェブブラウザ内に表示するなどして、管理者のポータルに出すことができる。この実施例では、ロボットシステムは、溢れに対応することができる、例えば溢れたものの近くにいる従業員のリストを管理者ポータルに提供することもできる。さらに別の実施例では、ロボットシステムは、溢れの位置および溢れの他の重要な特性、例えば、特定された物質、溢れに対応する優先順位、溢れたものの写真、店舗内の顧客の数などを示す、店舗全体的なアナウンスを（例えば、インターホンを介して、または店舗の関係者に見えるディスプレイ上に表示することにより）全体的にブロードキャストすることができる。
【００７７】
９．１  溢れデータ
さらに、店舗の床上の物質の識別に続いて、ロボットシステムは、店舗の関係者に溢れに対処するように促すことができる。熱画像、深度画像および／またはカラー画像において識別されたオブジェクトまたは物質の特徴に基づいて、ロボットシステムは、床上の物質に関する情報、例えば溢れたものの画像、溢れに関与する物質の特徴、物質を除去するための提案されたツール（例えば、モップ、ほうき、小麦粉）などの情報を店舗の関係者に提供するとともに、その関係者に床から物質を速やかに除去するように促すことができる。特に、ロボットシステム（またはリモートコンピュータシステム）は、溢れの除去に関連する情報を店舗の関係者に直接提供することができ、それにより、店舗の関係者が、除去ツールおよび材料を取り出して最終的に溢れを除去する前に、最初に溢れを調べる必要性をなくすことができ、よって溢れを検出してから除去するまでの期間を短縮することができる。
【００７８】
一実施例では、ロボットシステムは、店舗内での溢れの位置（例えば、「通路３」）、溢れを示すカラー画像のセグメント（これは、店舗の関係者が溢れを除去するために必要なツールを迅速に識別することを可能にする場合がある）、溢れの大凡のサイズ（例えば、熱画像から抽出される溢れの面積、長さおよび／または幅から得られる）、溢れを除去する優先度レベル、溢れを除去するカウントダウンタイマ、溢れた物質の導出または予測される特性（例えば、色および近くに在庫されている既知の流体製品に基づく予測される物質の種類）、溢れを除去することができる近くの店舗関係者の識別子、および／または溢れの近くにいる顧客の数または密度など、溢れに関する情報を含むようにプロンプトを追加する。
【００７９】
例えば、店舗内の特定の場所で溢れた流体を検出することに応答して、ロボットシステム（またはリモートコンピュータシステム）は、ロボットシステムの位置および店舗の保存されたプラノグラムに基づいて、溢れた流体に近い店舗の通路を特定し、その通路に在庫されている商品のリストについてプラノグラムを照会し、その後、その商品のリストに基づいて、溢れた流体が油である確率を推定することができる。特に、その通路に在庫されている商品のリストに包装された油製品（例えば、調理油、オリーブオイルに保存されたアーティチョークの缶詰）が含まれている場合、ロボットシステムは、溢れた流体が油である確率を高いと推定することができる。また、ロボットシステムは、例えば、溢れた流体が油であると推定される確率に基づいて（例えば、それに比例して）、溢れた流体の不透明度または人間の目に見えることに基づいて（例えば、それに反比例して）、溢れた流体の近くの顧客の密度に基づいて（例えば、それに比例して）、溢れた流体の除去の優先順位を設定することもできる。その後、ロボットシステムは、電子通知を初期化し、電子通知に特定の場所から流体を除去するように促すプロンプトを挿入し、溢れた流体の特定の場所（例えば、溢れた流体が検出された店舗の床の領域の近くの通路および隣接する棚セグメント）を電子通知で示し、床の領域から流体を除去するための溢れの優先度を電子通知に挿入し、溢れの優先度に反比例した期間の（溢れた流体の除去のための）タイマを開始し、その後、ブロックＳ１６０において、この電子通知を店舗の関係者と関連するコンピューティングデバイスに送信することができる。
【００８０】
９．２  除去ツール
さらに、前述した例では、溢れた流体が油性である確率が高いと推定したことに応答して、ロボットシステムは、流体を除去して溢れを取り除くための乾燥吸収剤の推奨を電子通知に挿入することができる。溢れた流体が油または油ベースである確率が低いと推定したことに応答して、かつ／または、溢れた流体が水または水ベースである確率が高いと推定したことに応答して、ロボットシステムは、溢れた流体を除去するためのモップの推奨を電子通知に挿入することができる。代替的には、溢れた物質が乾燥した粉末状の製品または乾燥した穀類（例えば、小麦粉、砂糖、米、シリアル）である可能性が高いと推定したことに応答して、ロボットシステムは、溢れを除去するための掃除機またはほうきの推奨を電子通知に挿入することができる。
【００８１】
同様の例では、店舗の床上の透明な流体（例えば、油、水）を識別することに応答して、ロボットシステムは、関係者が溢れの大部分を拭き取った後に、床上に残っている油を吸収するために、関係者にモップと吸収材（例えば、粘土くず、小麦粉）を持ってくるように促すことができる。別の例では、床上の不透明な液体（例えば、ソーダ）を識別することに応答して、ロボットシステムは、ソーダを除去した後に床上の粘着性のある残留物を避けるべく、ソーダの溢れを取り除くために、洗浄剤（例えば、石鹸）とともにモップを持ってくるように関係者に促すことができる。別の例では、溢れの熱特性に基づいて、ロボットシステムは、床上の粒状物質、例えば米や穀物などを識別することができる。この例では、ロボットシステムは、床から粒状物質を回収するためにホウキとちりとりを持ってくるように関係者に促すことができる。
【００８２】
したがって、熱深度および／またはカラー画像から抽出される溢れの特徴に基づいて、ロボットシステムは、溢れを除去するのに適したツールのセットを識別し、ロボットシステムによって検出された溢れの場所にそれらツールを持ってくるように店舗の関係者に推奨を出すことができる。
【００８３】
９．３  対応の優先順位付け
一実施例では、ロボットシステムは、例えば、溢れのサイズ、溢れた物質、および最終的に溢れのリスクに基づいて、溢れ除去の緊急性（またはタイミング）の優先順位を付けて、それに応じて溢れに対応するように関係者に促す。
【００８４】
例えば、ロボットシステムは、溢れの特徴（例えば、サイズ、物質、溢れの周りを通過する能力）、近くの顧客の密度、および／または溢れが発生した時間帯に基づいて、溢れ除去のための優先順位スケジュールを規定することができる。その後、ロボットシステムは、優先順位スケジュールに従って（例えば、緊急に、次の１時間以内に、および／または店舗の再開前に）溢れに対応するように、店舗の関係者に通知を出すことができる。同様に、ロボットシステムは、他の物質よりも特定の物質の溢れの除去を選択的に優先させることができる。例えば、ロボットシステムは、店舗の顧客が透明な物質を見ることができず、透明な物質の境界を識別することができない可能性があるため、ソーダまたはブドウのような不透明または色付きの物質よりも、水や油のような透明な物質の除去を優先させることができる。
【００８５】
一実施例では、ロボットシステムは、より小さい溢れよりも、大きな溢れに対応するように関係者に促すことを優先させる。この実施例では、ロボットシステムは、深度画像、熱画像および／またはカラー画像内の溢れを表すピクセルの数を計算することによって、溢れたものによって覆われた床の領域の大きさを推定することができる。その後、ロボットシステムは、溢れ領域のサイズに基づいて、優先度レベル（例えば、「低」、「中」「高」、または「緊急」）を溢れに割り当てることができる。例えば、溢れ領域のサイズが第１の範囲内にあることに応答して、ロボットシステムは、溢れに「低」優先度レベルを割り当てることができ、溢れ領域のサイズが第１の範囲よりも大きい第２の範囲内にあることに応答して、ロボットシステムは、溢れに「中」優先度レベルを割り当てることができ、溢れ領域のサイズが第２の範囲よりも大きい第３の範囲内にあることに応答して、ロボットシステムは、溢れに「高」優先度レベルを割り当てることができる。
【００８６】
別の実施例では、ロボットシステムは、特定の物質の溢れを「高リスク」として関係者に対応するように促すことを優先させる。例えば、顧客には見えない可能性のある床上の透明な液体（例えば、水）を検出することに応答して、ロボットシステムは、この溢れに高い優先順位を割り当てて、関係者に、プロンプトを受け取ってから直ぐに、床上の透明な液体の溢れを除去および／または他の方法で境界を定めるように促すことができる。同様に、高い粘度（例えば、オリーブオイルまたは潰されたブドウ）と、顧客が滑る可能性のある低い摩擦係数とを有する半透明の液体を検出することに応答して、ロボットシステムは、この溢れに高い優先順位を割り当て、プロンプトを受け取ってから直ぐに、関係者に、床上の半透明の液体を除去および／または他の方法で境界を定めるように促すことができる。別の例では、大部分の顧客が視覚的に容易に識別できる床上の不透明な液体（例えば、ソーダ）を検出することに応答して、ロボットシステムは、この溢れに低い優先順位を割り当てて、より長い制限時間（例えば、１０分）以内に液体を除去するように関係者に促すことができる。
【００８７】
各優先度レベルについて、ロボットシステムは、溢れによって引き起こされる事故を制限するために、溢れを除去するためのカウントダウンタイマ（例えば、時間枠）を割り当てることができる。例えば、「低い」優先順位の溢れについては、ロボットシステムは、床からの溢れを除去するために１時間のカウントダウンタイマを割り当てることができ、「中程度」の優先順位の溢れについては、ロボットシステムは、床からの溢れを除去するために３０分のカウントダウンタイマを割り当てることができ、「高い」優先順位の溢れについては、ロボットシステムは、床からの溢れを除去するために５分のカウントダウンタイマを割り当てることができる。その後、ロボットシステムは、関係者に通知し、溢れの優先度レベルに応じて、溢れを除去するためのカウントダウンタイマを開始することができる。
【００８８】
同様の実施例において、ロボットシステムは、ブロックＳ１３２において、（同時の熱画像内で検出された温度勾配と同じ空間を占有し、かつ同時の深度マップ内で高さ勾配の不存在と同じ空間を占有する）カラー画像内の関心領域をスキャンして、色勾配を求め、色勾配に基づいて流体の不透明度（例えば、床の領域で検出された流体の外周全体の色のシフトの大きさに比例する不透明度）を推定し、流体の不透明度に反比例して、店舗の床の領域から流体を除去するための優先順位を計算し、不透明度に比例した制限時間内にこの溢れを除去するように店舗の関係者に促すことができる。
【００８９】
別の実施形態では、ロボットシステムは、近くにいる顧客の数に基づいて、またはその後の単位時間あたりに溢れに近づく可能性のある顧客の数に基づいて、溢れに優先度レベルを割り当てることができる。この実施例では、ロボットシステムは、一日の時間帯、店舗内の現在の占有者数、溢れの近くにいる人の数などに基づいて、溢れへの対応に優先順位を付けることができる。例えば、ロボットシステムは、一日の時間帯に基づいて店舗の占有傾向を識別するために、店舗の占有データにアクセスすることができる。この例では、ロボットシステムは、日曜日の夜間には店舗内の占有者数が比較的多く、店舗が閉まっている（例えば、店舗の関係者が火曜日の夜間に棚を補充する）火曜日の深夜には、店舗内の占有者数が比較的少ないことを検出することができる。このため、ロボットシステムは、溢れに曝される占有者の数を制限し、それにより、溢れの上を滑って転倒する危険物性がある占有者の数を制限するために、日曜日の夜間の午後５時から午後７時の間に生じた溢れに対応する緊急性を優先させることができる。しかしながら、ロボットシステムは、店舗内の占有者の数が少ないことにより、かつ補充の性質上、関係者が棚を補充している間の火曜日の深夜後の夜間における溢れ（および／または、パレットや箱などの店舗の床上の他のオブジェクト）の除去の優先順位を下げることができる。
【００９０】
しかしながら、ロボットシステムは、溢れに対応するための時間枠を割り当てることができ、かつ／または、他の任意の手段および他の任意の適切な方法で、溢れの除去に優先順位を付けることができる。
【００９１】
９．４  ローカルなロボットシステムの対応  
図２に示す一実施例では、リモートコンピュータシステムは、溢れの存在を顧客に警告し、かつそれら顧客に溢れを避けるように促すために、溢れ（または危険物）に隣接した場所にロボットシステムを派遣することができる。特に、溢れを検出した後、ロボットシステムは、（例えば、溢れを横切る経路を遮断するために）溢れに隣接する場所に留まることができ、その後、例えば、店舗の関係者がこの溢れの除去を確認するまで、かつ／または後の熱画像の対応する領域における温度勾配の欠如に基づいてロボットシステムがこの溢れの除去を検出するまで、一連の可聴プロンプト（例えば、警報音）および／または視覚プロンプト（例えば、ライトの点滅）を発して、溢れの近くの顧客に警告することができる。
【００９２】
一実施形態では、ロボットシステムは、溢れの境界に隣接する位置を特定し、溢れへの物理的アクセスを遮断するために、この位置で保持することができ、それにより、溢れを横切るよりも、溢れの周りを通るように顧客を促すことができる。例えば、ロボットシステムは、例えばこの床の領域の熱画像から溢れを示す温度勾配の外周を抽出することによって、近くの床の領域内の溢れた流体の外周を検出し、流体の外周に向かって自律的にナビゲートし（ただし、この外周を横切って溢れた流体内に入ることを避け）、この床の領域へのアクセスを物理的に遮断するために溢れた流体の外周の近傍の位置に保持し、後述するような、溢れの存在のインジケータを出力することができる。その後、ロボットシステム（またはリモートコンピュータシステム）は、溢れた液体が取り除かれたことの確認を店舗の関係者から受け取るまで、代替的な警告インフラストラクチャ（例えば、「濡れた床」の標識）が溢れの近くに配置されたことの確認を店舗の関係者から受け取るまで、手動除去を可能にするために溢れから離れるように促すプロンプトを店舗の関係者から受け取るまで、溢れの除去を（例えば、後の熱画像の対応する場所に温度勾配が存在しないことに基づいて）直接検出するまで、または、代替的な警告インフラストラクチャが近くに配置されていることを直接検出するまで、溢れの近くのこの位置に留まることができる。代替的には、ロボットシステムは、通路へのアクセスを遮断するために、溢れが検出された通路を自律的に前後にナビゲートすることができる。
【００９３】
また、ロボットシステムは、溢れの近くにいる間、警報音（例えば、サイレン、可聴コマンド）または可視アラート（例えば、ライトの点滅、統合ディスプレイ上のメッセージ）を発して、関係者および顧客に溢れを警告することにできる。例えば、ロボットシステムは、ライトを点滅させ、統合ディスプレイ上に「このエリアを避けてください！」というメッセージを表示することができる。このため、ロボットシステムは、ロボットシステムに統合されたディスプレイ上で近くにある流体の存在の通知を表示し、流体の外周の近位を保持しながら（例えば、停止している間、停止したまま）警報音を出力することによって、溢れた流体の存在のインジケータを出力することができる。
【００９４】
同様の実施例では、ロボットシステムは、店舗内（例えば、棚構造内）の照明および／またはスピーカのインフラストラクチャと協働して、溢れ近くの通路または通路セグメントを避けるように顧客に警告することができる。例えば、店舗の「通路３」に溢れを検出することに応答して、ロボットシステム（またはリモートコンピュータシステム）は、「通路３」のエンドキャップディスプレイに統合されたライトを点滅させるように起動することができる。
【００９５】
代替的には、ロボットシステムは、溢れの位置、溢れが検出された時刻などにフラグを立て、上述したように店舗の関係者にプロンプトを出し、その後、店舗全体の在庫追跡ルーチンまたは溢れ検出ルーチンの自律的な実行を直ちに再開することができる。例えば、ロボットシステムは、熱画像の温度勾配に基づいて、店舗の床の領域の流体の外周を検出し、店舗の関係者に、溢れを除去するためのプロンプトを出し、その後、溢れの外周からの閾値以上の距離（例えば、２０センチメートル）で、溢れた流体の周囲を自律的にナビゲートすることができる。
【００９６】
１０．是正の確認
一実施例では、ロボットシステムは、店舗の床からの溢れたものの除去を確認する関係者からの入力を受信することができる。この実施例では、ロボットシステムは、店舗内の溢れを除去するために必要な未解決の是正措置を示すタスクリストを生成し、保存することができる。ロボットシステムは、溢れの近位にある特徴（例えば、サイズ、形状、材料）に基づいて、各溢れが顧客および／または他の人員にもたらすリスクによってタスクリストに優先順位を付けることができる。関係者がタスクリスト上のタスクを完了したことの確認を（例えば、コンピューティングデバイス上に表示されたアソシエイトポータルへの手動入力を介して）受信することに応答して、ロボットシステムは、メモリからタスクを消去することができる。  
【００９７】
一実施例では、ロボットシステムは、溢れの位置に戻り、店舗の床から溢れたものが除去されたことを確認するために、領域の追加の熱画像、深度マップおよび／またはカラー画像を記録することができる。溢れたものの除去を検出することに応答して、ロボットシステムは、そのキャッシュから溢れを消去することができ、かつ／または、ロボットシステムが溢れたものの除去を確認した時刻を記録することができる。
【００９８】
本明細書に記載のシステムおよび方法は、コンピュータ可読命令を格納するコンピュータ可読媒体を受け入れるように構成されたマシンとして少なくとも部分的に具現化および／または実行することができる。命令は、アプリケーション、アプレット、ホスト、サーバ、ネットワーク、ウェブサイト、通信サービス、通信インタフェース、ユーザコンピュータまたはモバイルデバイス、リストバンド、スマートフォンのハードウェア／ファームウェア／ソフトウェア要素またはそれらの任意の適切な組合せと統合されたコンピュータ実行可能コンポーネントにより実行することができる。実施形態の他のシステムおよび方法は、コンピュータ可読命令を格納するコンピュータ可読媒体を受け入れるように構成されたマシンとして少なくとも部分的に具現化および／または実行することができる。命令は、上述したタイプの装置およびネットワークと統合されたコンピュータ実行可能コンポーネントにより統合されたコンピュータ実行可能コンポーネントによって実行することができる。コンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（ＣＤまたはＤＶＤ）、ハードドライブ、フロッピードライブまたは任意の適切なデバイスなど、任意の適切なコンピュータ可読媒体に格納することができる。コンピュータ実行可能コンポーネントはプロセッサであってもよいが、任意の適切な専用ハードウェアデバイスが（代替的または追加的に）命令を実行することができる。
【００９９】
当業者であれば、上述した詳細な説明および図面および特許請求の範囲から認識するように、添付の特許請求の範囲で規定される本発明の範囲から逸脱することなく、本発明の実施形態に修正および変更を加えることができる。
【図１】
2021510437.tif 000003
【図２】
2021510437.tif 000004
【図３】
2021510437.tif 000005
【図４】
2021510437.tif 000006
【国際調査報告】
2021510437.tif 000007