(57)【特許請求の範囲】
【請求項１】
施設内で顧客サービスを提供するロボットであって、
移動台車と、
ロボットの上部視野内の物体を検出する上部センサと、
ロボットの下部視野内の物体を検出する下部センサと、
ディスプレイと、
前記移動台車、前記上部センサおよび前記下部センサと通信するロボットコンピュータを含み、前記コンピュータはプロセッサとコンピュータ可読メモリを含み、前記ロボットコンピュータは、前記上部センサおよび前記下部センサのうち少なくとも１つから受け取った情報に基づいて、施設内の顧客の存在を検出するように構成され、前記ロボットコンピュータはさらに、施設内で顧客が利用可能な製品に関する情報を記憶する少なくとも１つのデータベースにアクセスして、アクセスした情報に基づいて顧客に顧客サービスを提供するとともに、顧客の関心度と、支援の必要を、顧客の心理状態に関する感知されたパラメータに基づいて判断されるように構成され、
前記ロボットは、顧客が支援を得ることに関心がない場合、支援を得ることに関心がないと判断した顧客から離れ前記施設内のホームポジションにナビゲートされ、前記ホームポジションに戻る途中で前記上部センサを用いて、顧客サービスを必要とする別の顧客を探し、支援の必要があり得る顧客を見出した場合、支援を得ることに関心があると判断した顧客のほうにナビゲートされて、関心がある顧客に支援を申し出るように構成されるロボット。
【請求項２】
前記ロボットコンピュータはさらに、遠隔位置に配置されたサポートステーションにいるオペレータからの命令を受け取り、受け取った命令に基づいて稼動するように構成され、前記ロボットコンピュータはさらに、施設内のロボットと対話している顧客と、遠隔位置に配置されたサポートステーションにいるオペレータの間の双方向通信を助長することによって顧客サービスを提供するように構成される、請求項１に記載のロボット。
【請求項３】
前記少なくとも１つのデータベースは、プロモーションビデオ、製品画像、製品説明、プロモーション優先度情報、プロモーション特典、プロモーション履歴、ブランドリレーションシップ、製品在庫、施設内の製品の位置のうち少なくとも１つに関する情報を記憶する、請求項１または２に記載のロボット。
【請求項４】
前記ロボットコンピュータはさらに、施設の顧客に関連する情報を記憶する顧客データベースにアクセスするように構成される、請求項１乃至３のいずれかに記載のロボット。
【請求項５】
前記施設の顧客に関連する情報は、購入履歴情報、ロイヤルティーカード情報、ロボット対話履歴および顧客挙動パターン分析のうち少なくとも１つを含む、請求項４に記載のロボット。
【請求項６】
前記ロボットの位置を検出するロボット位置検出器を含み、前記ロボットコンピュータはさらに、前記上部センサ、下部センサおよびロボット位置検出器から受け取った情報に基づいて施設のマップを生成するように構成される、請求項１乃至５のいずれかに記載のロボット。
【請求項７】
前記ロボットコンピュータはさらに、顧客が製品を前記上部センサに提示したときに、前記上部センサによって検出された前記製品に関する情報と、前記少なくとも１つのデータベースに記憶された製品情報の比較に基づいて、製品を施設内で位置特定するように構成される、請求項１乃至６のいずれかに記載のロボット。
【請求項８】
前記ロボットコンピュータはさらに、顧客の存在を検出した場合に、前記ロボットを動かす、注意を惹くためにディスプレイ上にグラフィックスを表示する、注意を惹くためにロボットスピーカーに音声信号を供給する、のうち少なくとも１つを実行することにより、顧客の注意を惹くように構成される、請求項１乃至７のいずれかに記載のロボット。
【請求項９】
さらにマイクロフォンを備え、前記ロボットコンピュータはさらに、前記マイクロフォンによって検出された顧客からの発話情報を受け取って、スピーチエンジンを用いて発話情報を処理し、受け取った発話情報に基づいて顧客サービスを提供するように構成されるという特徴とする請求項１に記載のロボット。
【請求項１０】
前記ロボットコンピュータはさらに、顧客を、顧客が位置特定したい施設内の製品のところに、ロボットをこれらの製品のところまでナビゲートさせることによって案内するように構成される、請求項１乃至９のいずれかに記載のロボット。
【請求項１１】
（ａ）前記ロボットは、経路効率と、プロモーション中の製品の位置に基づいて最適化された経路に沿って製品までナビゲートするという特徴、
（ｂ）前記ロボットコンピュータはさらに、前記顧客が位置特定したい製品が前記施設内で入手できない場合、前記施設内の同等な製品を表示するように構成されるという特徴、
のうち一方または両方を特徴とする請求項１０に記載のロボット。
【請求項１２】
（ａ）前記ロボットは、ナビゲーションと視覚、およびそのデータの解釈を含む、自身のセンサデータの信頼性を査定するように構成されるという特徴、
（ｂ）前記ロボットは、自身の安全ならびにロボット周囲の安全を維持するために、自身の挙動を修正できるという特徴、
（ｃ）前記ロボットは、特定のアイテムが在庫切れかどうかを判断できない場合、または、移動中に立ち往生するまたは道に迷った場合に援助を求めるという特徴、
のうち１つ以上を特徴とする請求項１乃至１１のいずれかに記載のロボット。
【請求項１３】
施設内で顧客サービスを提供するためのロボティックシステムであって、
ロボットを備え、前記ロボットは、移動台車と、ロボットの上部視野内の物体を検出する上部センサと、ロボットの下部視野内の物体を検出する下部センサと、ディスプレイと、移動台車、上部センサおよび下部センサと通信するロボットコンピュータを有し、前記コンピュータはプロセッサとコンピュータ可読メモリを有し、
さらに、前記ロボットに対して遠隔に配置されたサポートステーションを備え、前記サポートステーションは、サポートステーションカメラと、サポートステーションディスプレイと、サポートステーションカメラおよびサポートステーションディスプレイと通信するサポートステーションコンピュータを有し、前記サポートステーションコンピュータはプロセッサとコンピュータ可読メモリを有し、
前記ロボットコンピュータは、施設内で顧客が利用可能な製品に関する情報を記憶する少なくとも１つのデータベースにアクセスして、アクセスした情報に基づいて顧客に顧客サービスを提供するとともに、顧客の関心度と、支援の必要を、顧客の心理状態に関する感知されたパラメータに基づいて判断されるように構成され、
前記ロボットは、施設内のロボットと対話している顧客と、遠隔配置されたサポートステーションにいるオペレータとの間の双方向通信を助長することによって顧客サービスを提供するとともに、顧客が支援を得ることに関心がない場合、支援を得ることに関心がないと判断した顧客から離れ前記施設内のホームポジションにナビゲートされ、前記ホームポジションに戻る途中で前記上部センサを用いて、顧客サービスを必要とする別の顧客を探し、支援の必要があり得る顧客を見出した場合、支援を得ることに関心があると判断した顧客のほうにナビゲートされて、関心がある顧客に支援を申し出るように構成されるロボティックシステム。
【請求項１４】
前記ロボットコンピュータが、前記サポートステーションにいるオペレータからの命令を受け取って、前記受け取った命令に基づいて前記ロボットを操作するように構成される、請求項１３に記載のシステム。
【請求項１５】
ロボットで顧客サービスを提供する方法であって、
少なくとも１人の顧客がいる施設内にロボットを提供し、前記ロボットは、移動台車と、ロボットの上部視野内の物体を検出する上部センサと、ロボットの下部視野内の物体を検出する下部センサと、ディスプレイと、移動台車、上部センサおよび下部センサと通信するロボットコンピュータを有し、
前記ロボットコンピュータは、施設内で顧客が利用可能な製品に関する情報を記憶する少なくとも１つのデータベースにアクセスして、アクセスした情報に基づいて顧客に顧客サービスを提供するとともに、顧客の関心度と、支援の必要を、顧客の心理状態に関する感知されたパラメータに基づいて判断されるように構成され、
前記ロボットは、顧客が支援を得ることに関心がない場合、支援を得ることに関心がないと判断した顧客から離れ前記施設内のホームポジションにナビゲートされ、前記ホームポジションに戻る途中で前記上部センサを用いて、顧客サービスを必要とする別の顧客を探し、支援の必要があり得る顧客を見出した場合、支援を得ることに関心があると判断した顧客のほうにナビゲートされて、関心がある顧客に支援を申し出るように構成され、
上部センサおよび下部センサのうち少なくとも１つから受け取った情報に基づいて、施設内の少なくとも１人の顧客の存在を検出することを含み、
少なくとも１人の顧客に顧客サービルを提供することを含み、
さらに、施設内で顧客が入手できる少なくとも１つの製品に関連する情報を記憶する少なくとも１つのデータベースにアクセスすることを含む方法。
【請求項１６】
さらに、前記少なくとも１人の顧客と、遠隔配置されたサポートステーションにいるオペレータと、前記施設内のロボットの間の双方向通信を助長することを含む
請求項１５に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は一般にロボティックデバイスに関し、より詳細には、顧客サービスロボットおよびそれに関連するシステムおよび方法に関する。
【背景技術】
【０００２】
高品質の対面型顧客サービスを創り出すことは容易な仕事ではなく、それは過去の顧客サービス改善への取り組みが実証している。殆どの小売店で顧客が経験することは、数十年にわたり概ね同じであった。顧客が何か尋ねたいとき、たとえ製品の所在に関する単純な質問のみであっても、顧客は概して店内を歩き回って店舗責任者を探し出さなければならず、その店舗責任者は別の顧客を支援している場合もあるため、顧客は時として、支援を得るにも待たなければならない。さらに、そのような責任者は、時として店内に存在し得る１万個以上の別々のアイテムを記憶して把握することがほぼ不可能であり得るため、望まれるような支援を提供できないことも珍しくない。オンラインまたはｅコマースでの買い物の普及による部分もあって、今日の顧客は、指先１つで全てを即座に手に入れることを期待するため、物理的な場所での買い物の体験の現況は、これらの期待に応えきれていない。実店舗は、分かれた状態で様々な箇所に分散している一方で、統合されると、店舗はｅコマースの競合先よりも多くの人員を有する傾向となり、人員は統合されず、一日のうちの異なる時間では甚だしく遊休状態になる。多くのタイプのサービスロボットが公知であるが、そのようなロボットは小売または顧客サービス目的に非常に適しているとは言えず、したがって、一般に効率が悪く、生産性が低く、魅力に乏しいかまたは、望ましいとは言い難い。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
したがって、当産業には、これまで対処されなかった、上記の欠陥および不適切さに対処する必要が存在する。
【課題を解決するための手段】
【０００４】
本開示の実施形態は、施設内で顧客サービスを提供するロボットおよびロボティックシステムを提供する。一実施形態では、施設内で顧客サービスを提供するロボットが提供される。ロボットは、移動台車と、ロボットの上部視野内の物体を検出する上部センサと、ロボットの下部視野内の物体を検出する下部センサと、 ディスプレイとロボットコンピュータを含む。ロボットコンピュータは、移動台車、上部センサおよび下部センサと通信し、ロボットコンピュータはプロセッサとコンピュータ可読メモリを含む。ロボットコンピュータは、上部センサおよび下部センサのうち少なくとも１つから受け取った情報に基づいて、施設内の顧客の存在を検出し、施設内で顧客が入手できる製品に関する情報を記憶する１つ以上のデータベースにアクセスして、アクセスした情報に基づいて顧客に顧客サービスを提供するように構成される。
【０００５】
別の実施形態では、ロボットとサポートステーションを含む、施設内で顧客サービスを提供するためのロボティックシステムが提供される。ロボットは、移動台車と、ロボットの上部視野内の物体を検出する上部センサと、ロボットの下部視野内の物体を検出する下部センサと、ディスプレイと、移動台車、上部センサおよび下部センサと通信するロボットコンピュータを含む。ロボットコンピュータはプロセッサとコンピュータ可読メモリを含む。サポートステーションはロボットから遠隔に配置され、サポートステーションカメラと、サポートステーションディスプレイと、サポートステーションカメラおよびサポートステーションディスプレイと通信するサポートステーションコンピュータを含む。サポートステーションコンピュータはプロセッサとコンピュータ可読メモリを含む。ロボットは、施設内のロボットと対話している顧客と、遠隔に配置されたサポートステーションにいるオペレータとの間の双方向通信を助長することによって顧客サービスを提供するように構成される。
【０００６】
本発明の目的は、ターゲットを絞った広告とルートの選択によって改善された顧客サービスを提供することである。
【０００７】
本発明の別の目的は、マッピング、在庫、製品所在および顧客案内サービスを提供することである。
【０００８】
本発明のさらに別の目的は、施設内における改善された顧客エンゲージメントを提供することである。
【０００９】
本発明のさらに別の目的は、改善された在庫管理を提供することである。
【００１０】
本発明のさらに別の目的は、トレードマーケットモニタリングを提供することである。
【００１１】
本発明のさらに別の目的は、サポートオペレータとの通信によって改善された顧客サービスを提供することである。
【００１２】
別の実施形態では、本開示はロボットで顧客サービスを提供する方法を提供することとしてもとらえることができる。この観点から、そのような方法の一実施形態は、とりわけ、以下のステップによって概説され得る：少なくとも１人の顧客がいる施設内にロボットを提供し、ロボットは、移動台車と、ロボットの上部視野内の物体を検出する上部センサと、ロボットの下部視野内の物体を検出する下部センサと、ディスプレイと、移動台車、上部センサおよび下部センサと通信するロボットコンピュータを有する、ステップと、上部センサおよび下部センサのうち少なくとも１つから受け取った情報に基づいて、施設内の少なくとも１人の顧客の存在を検出するステップと、その少なくとも１人の顧客に顧客サービルを提供するステップ。
【００１３】
本開示のその他のシステム、方法、特徴および利点は、以下の図面と詳細な説明を精査すれば当業者にとっては明らかとなろう。そのような付加的なシステム、方法、特徴および利点は全て本明細書に含まれ、本開示の範囲内にあり、添付の特許請求の範囲によって保護されることを意図している。
【図面の簡単な説明】
【００１４】
本開示の多くの態様は、以下の図面を参照すればより良く理解され得る。図面の構成要素は必ずしも縮尺通りではなく、代わりに、本開示の原理を明確に説明するために強調が施されている。さらに、図面において、いくつかの図にわたり、同類の参照符号は対応する部品を指す。
【００１５】
【図１】本開示の第１の例示的実施形態による、施設内で顧客サービスを提供するロボティックデバイスの模式図である。
【図２】本開示の第１の例示的実施形態による、図１の施設内で顧客サービスを提供するロボティックデバイスのサブシステムのブロック図である。
【図３】本開示の第１の例示的実施形態による、図１のロボティックデバイスを用いた、施設内で顧客サービスを提供するロボティックシステムの模式図である。
【図４】本開示の第１の例示的実施形態による、図１のロボティックデバイスによって用いられるアクティブパスプランニングの模式図である。
【図５】本開示の第１の例示的実施形態による、施設内のアイテムと対話し、また顧客と対話するロボティックデバイスの模式図である。
【図６】本開示の第１の例示的実施形態による、図１の施設内で顧客サービスを提供するロボティックデバイスによって用いられる視覚アルゴリズムのブロック図である。
【発明を実施するための形態】
【００１６】
以下の説明において、説明の一部を形成する添付の図面を参照するが、図面では例証として、本開示の種々の実施形態を示している。別の実施形態が用いられてもよく、また、本開示の範囲から逸脱せずに変更を施してもよいことを理解すべきである。
【００１７】
本発明の多くの態様は、プログラマブルコンピュータによって実行されるアルゴリズムを含むコンピュータ実行可能命令の形態を取り得る。当業者ならば、本発明は別のコンピュータシステムコンフィギュレーションで実施され得ることを理解するであろう。本発明の特定の態様は、以下に説明する１つ以上のコンピュータ実行可能アルゴリズムを実行するべく専用にプログラム、構成または構築された専用コンピュータまたはデータプロセッサで具体化され得る。したがって、本明細書で一般に用いる「コンピュータ」という用語は、あらゆるデータプロセッサを指し、インターネット機器、ハンドヘルドデバイス（パームトップコンピュータ、ウェアラブルコンピュータ、セルラーまたはモバイル電話、マルチプロセッサシステム、プロセッサベースまたはプログラマブルコンシューマーエレクトロニクス、ネットワークコンピュータ、ミニコンピュータを含む）等を含む。
【００１８】
本発明のいくつかの態様は、分散型コンピューティング環境で実施されることもでき、その場合、タスクまたはモジュールは、通信ネットワークを介してリンクされた遠隔処理デバイスによって実行される。分散型コンピューティング環境において、プログラムモジュールまたはサブルーチンは、ローカルまたはリモートメモリ記憶デバイス両方に配置されてもよい。以下に説明する本発明の態様は、コンピュータ可読媒体上に記憶または分散されてもよく、コンピュータ可読媒体は、磁気または光学的読取リムーバブルコンピュータディスク、固定型磁気ディスク、フロッピーディスクドライブ、光ディスクドライブ、磁気光学ディスクドライブ、磁気テープ、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、コンパクトフラッシュ（登録商標）または不揮発性、ならびにネットワークにわたり電子的に分散されたメモリを含む。本発明の態様に特有のデータ構造および伝送も、本発明の範囲内に包含される。
【００１９】
図１は、本開示の第１の例示的実施形態による、施設内で顧客サービスを提供するロボティックデバイス１の模式図である。本明細書では顧客サービスロボット１とも呼ばれてもよい、顧客サービスを提供するロボティックデバイス１は、任意の種類のロボット、テレボット、または、特定の要素を自動ナビゲート、感知または検出し、遠隔配置されたサポートステーションと通信することができる同等の完全または部分ロボティックデバイスであり得る。顧客サービスロボット１は、移動台車１１と、ロボットヘッド２３と、無線通信デバイス１３と、ロボットコンピュータ１４と、下部３Ｄセンサ１２と、上部３Ｄセンサ１５と、マルチアレイマイクロフォン１６と、スピーカー１８と、タッチスクリーンデバイス１９と、バックディスプレイ２０を含み得る。さらに、顧客サービスロボット１は、移動式台車１１をロボットヘッド２３に接続するフレーム等の構造体２１を含み得る。本明細書の例示的実施形態では「３Ｄ」センサとして説明されるが、当業者ならば、上部センサ１５と下部センサ１２のいずれかまたは両方が２Ｄセンサであってもよく、上部センサ１５と下部センサ１２のいずれかまたは両方として２Ｄセンサを有するロボットの実施形態が本開示の範囲内にあると考えられることを容易に理解するであろう。   
【００２０】
移動台車１１は、ロボット１が移動することを可能にする。移動台車１１は、ロボットが任意の方向に移動することを可能にする２つ以上の車輪およびキャスター３０を備えてもよい。ロボット１は、電子機械式駆動モータ等の、移動台車１１を用いて移動する任意のタイプの駆動システムを含み得る。ロボット１は、多様な高さを有してもよいが、好ましくは、顧客に対する最適な利便性をもたらすために、少なくとも５フィートの高さである。構造体２１の高さは調節可能であってよく、ロボットヘッド２３は、パンおよびチルト可能であるか、または別方式で移動して、それにより、任意の所望の高さと上部センサ１５からの視野を提供するために、ロボット１の高さとロボットヘッド２３の角度を変更することを可能にする。  
【００２１】
ロボットコンピュータ１４は、任意の公知のオペレーティングシステムを用いて種々のハードウェアおよびソフトウェアから構築された任意のコンピューティングデバイスであってよい。一実施形態では、ロボットコンピュータ１４は、ウブントゥ（Ｕｂｕｎｔｕ）（登録商標）オペレーティングシステムを用い、単一の１２Ｖ電源を含むミニコンピュータである。ロボットコンピュータ１４は、例えば、ロボットオペレーティングシステム（ＲＯＳ）、オープンシーヴィ（ＯｐｅｎＣＶ）でのビデオ処理等を含む種々のソフトウェアを稼動させるための十分な処理能力を有し得る。当技術分野で公知の任意のコンピューティング構成要素が、ロボットコンピュータ１４とともに用いられてもよい。
【００２２】
顧客サービスロボット１に複数のセンサが配設されてもよい。センサは、三次元（３Ｄ）センサ、二次元（２Ｄ）センサ、または当技術分野で公知の任意の別のセンサを含み得る。３Ｄセンサは殆どの用法で好ましくあり得るため、本開示ではセンサを３Ｄセンサであるものとして説明する。上部３Ｄセンサ１５は、ロボット１が、ロボット１の正面の人と物体を感知することを可能にし、付加的な上部センサ３０、３１、３２（２Ｄ、３Ｄその他であり得る）は、ロボット１が、ロボット１のそれぞれ側部および背後にある人と物体を感知することを可能にする。移動台車上の下部３Ｄセンサ１２は、ロボット１がロボット１の正面の地面上の障害物を検出することを可能にし、付加的な下部センサ３４、３５、３６（２Ｄ、３Ｄその他であり得る）は、ロボット１が、地面、ロボット１の側部および背後の障害物を検出することを可能にする。ロボット１はさらに、ロボット１が、ロボット１に対して任意の角度に配置された物体を検出することを可能にするパノラマ３Ｄセンサ１７を含み得る。３Ｄセンサ１２、１５、１７、３０、３１、３２、３４、３５、３６は、任意の種類の２Ｄまたは３Ｄビデオカメラ、レーザー測離計、２Ｄまたは３Ｄスキャナ、構造型光スキャナ、ステレオカメラ、２Ｄまたは３Ｄの静的および／または動的な運動を感知する超音波、レーダー、ライダーまたは任意の別の感知またはスキャンデバイスであってよい。一実施形態では、上部センサはマイクロソフトキネクト（Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ）デバイスであり、下部センサは北陽ライダー（Ｈｏｋｕｙｏ Ｌｉｄａｒ）デバイスであり、パノラマ３Ｄセンサはベロダインライダー（Ｖｅｌｏｄｙｎｅ Ｌｉｄａｒ）デバイスである。
【００２３】
ロボット１は、タッチスクリーンディスプレイ５０と、コンピュータ５１と視線追跡デバイス２９を備えたタッチスクリーンデバイス１９を含み得る。タッチスクリーンディスプレイ５０は、顧客に情報を提示して、顧客がタッチスクリーンディスプレイ５０と対話することを可能にする任意のタイプのインタラクティブＧＵＩを含み得る。コンピュータ５１は、例えば、ウィンドウズ（登録商標）８オペレーティングシステムを含む種々のタッチ式対応ソフトウェアを稼動させるために十分な処理能力を含む。バックディスプレイ２０は、タッチスクリーンデバイスコンピュータ５１に接続されてもよく、タッチスクリーンデバイス１９と同等のタッチスクリーン特徴を含み得る。タッチスクリーンデバイス１９とバックディスプレイ２０の使用は、ロボット１が複数の方向から顧客と対話することを可能にする。例えば、第１の顧客は、第２の顧客がバックディスプレイ２０上に表示された情報を見ている間に、ロボット１の正面のタッチスクリーンデバイス１９を用いてロボット１と対話してもよい。
【００２４】
マルチアレイマイクロフォン１６はタッチスクリーンデバイスコンピュータ５１に接続され、ロボット１が、音響源位置特定と周囲雑音抑制を実行することを可能にする。マイクロフォン１６によってロボット１は複数の人が同時に話しているのを理解することができ、特定の人が話しているのを周囲雑音と区別することができる。ロボット１が、話している顧客と対話できるように、１つ以上のスピーカー１８がロボット１に含まれる。スピーカー１８はコンピュータ５１に接続され、コンピュータ５１はマイクロフォン１６を介して周囲雑音を検出し、スピーカー１８にとって正しいスピーカー音量を決定する。ロボット１が対話する発話は任意の言語を含んでもよい。
【００２５】
ロボット１はさらに、電源システム２２を含み得る。電源システム２２は、電池２４と充電システム２５を含み得る。電池２４は、再充電式鉛蓄電池または任意の別のタイプの電池であってよい。充電システム２５は、ロボット１が、充電のためにドッキングステーション（図示せず）に電気結合することを可能にするインターフェースを含み得る。電源システム２２は、レギュレータ、熱消散デバイス、ヒューズおよび／または回路ブレーカーを含む配電回路系および構成要素を含み得る。さらに、電源システム２２は、例えば、電池が高温過ぎる場合、電池が所定の最小閾値電荷未満である場合、またはロボットが所定領域外に移動した場合等の特定の状況下でロボット１から自動または手動で電力を遮断し得る緊急遮断回路を含み得る。電池の寿命は、ユーザがロボットをどの程度動かすかによって大きく異なり得る。好ましくは、電池のタイプ、サイズおよび容量は、充電と充電の間に８時間の激しい使用を可能にする。
【００２６】
ロボット１はさらに、ロボット１の制御および感知インターフェースのための１つ以上のプロセッサ２７（複数の場合あり）および関連する回路系２８を有する埋設型システム２６を含み得る。プロセッサ２７は例えば、台車１１を制御するためのシリアル出力を伴う容易な展開を可能にし、ロボットコンピュータ１４へのインターフェースを提供するシリアル（例えばＵＳＢを介して）デバイスとして機能できるアルドゥイーノ・メガ（Ａｒｄｕｉｎｏ Ｍｅｇａ）マイクロコントローラであり得る。プロセッサ２７は、任意のプロセッサ、マイクロプロセッサまたはマイクロコントローラであってよく、また、一般に強力でありデータ転送のために高速のＵＳＢおよびイーサネット（登録商標）接続を可能にするＰＩＣマイクロコントローラであってよい。プロセッサ２７は、特定の量のコンピュータ可読メモリを含むか連動していてもよい。
【００２７】
ロボット１はさらに、ロボット位置検出器３３を含み得る。ロボット位置検出器３３は、ロボット１の位置を検出するグローバルポジショニングシステム（ＧＰＳ）、インドアポジショニングシステム（ＩＰＳ）および慣性航法システム（ＩＮＳ）を含む任意の個数の公知の位置検出技法を用いてもよい。ロボット位置検出器３３は、ロボット１が利用される施設の任意の個数のマップ、フロアプランまたは同等のレイアウトの模式図と連携して機能してもよい。ロボット１は、ロボット１に、および／またはロボット１からＲＦＩＤ信号を送受信することができる少なくとも１つのＲＦＩＤアンテナ５６をも含んでもよい。
【００２８】
付加的なセンサがロボット１に含まれてもよい。これらは以下のいずれを含んでもよい：赤外線カメラ３７（例えば、環境熱源ならびに顧客の個人的血流分布を感知するための）、接触、力および／または圧力に感応し得るピエゾ抵抗素子型、圧電型、容量型および／または電子抵抗性センサであり得るレーダーセンサまたはドップラーレーダーセンサ３８（運動検出および顧客の個人的な呼吸数および心拍数の検出のための）、段差センサ４０（「段差（ｃｌｉｆｆ）」または階段、またはその他の地形的特徴の存在を感知するための）、ロボット１が物体に衝突したときに感知する力覚センサであり得るバンプセンサ４１、環境空気内の湿度を感知する湿度計であり得る湿度センサ４２、環境の化学成分を感知する電位差測定センサであり得る化学センサ４３、振動を感知する圧電センサまたは加速度計であり得る振動センサ４４、紫外線を感知する紫外線センサ４５、人を検出する、タンク（例えば燃料タンク等）内の液体の充満度を検出する、風速と風の方向を感知する、または任意のその他の公知の用途に用いられ得る超音波センサ４６、および／または環境温度を検出する、および／またはロボットコンピュータ１４の温度または任意の他の熱放出または敏感な構成要素を感知する温度センサ４７。これらの付加的なセンサはそれぞれ、ロボットコンピュータ１４およびタッチスクリーンデバイス１９と通信してもよい。
【００２９】
上記のセンサならびにその他のセンサおよび／または例えば生体認証センサ５２を含むセンシング技術が、ロボット１の能力を、観察対象の顧客の血流、呼吸数および心拍数、網膜パターン、および体液分布を感知するよう展開するために用いられ得る。例えば、カメラ３９は、個人の乳頭拡張および網膜パターンを検出してもよい。赤外線カメラ３７またはその他の温度イメージングデバイスは、人の血流と体液分布を感知してもよい。人の呼吸は、例えばカメラ３９によって感知されてもよく、人の呼吸パターンは、人の胸部の可視的な拡張と収縮に基づいて決定されてもよく、または、吸気と呼気を行う間の人の小鼻の運動に基づいて決定されてもよい。また、人の心拍数は、カメラ３９、赤外線カメラ３７または電気電位差測定センサによって感知される情報に基づいて感知され決定され得るが、それは、心拍数が、皮膚明度の変動、血流の変動および／または容量結合を用いた変位電流に基づいて決定され得るからである。これらのパラメータは、観察対象の個人の「心理状態」を査定するにあたり役立つ。
【００３０】
図２は、本開示の第１の例示的実施形態による、図１の施設内で顧客サービスを提供するロボティックデバイス１のサブシステムのブロック図である。したがって、図２の各ブロック／モジュールはロボット１のサブシステムを表す。ビデオ入出力２０１、音声入出力２０２、無線通信２０３、３Ｄセンサ２０４およびその他の入出力２０５サブシステムは全て、コンピューティング、データ記憶、命令および制御サブシステム２００と通信する。サブシステム２００は、移動式台車２１１、サーボ、アクチュエータおよびマニピュレータ２１２を制御して電気機械光学センサ２１３を接続するマイクロコントローラおよびＩ／Ｏボード２１０と通信する。種々のサブシステムが協調して用いられると、ロボット１は、施設内の顧客に顧客サービスを提供することができ、他にも、本明細書に説明される種々の機能を実行する。
【００３１】
図３は、本開示の第１の例示的実施形態による、図１のロボティックデバイス１を用いた、施設内で顧客サービスを提供するロボティックシステム１０の模式図である。図１および３に関して、ロボット１は、完全な機能性を促進するためにロボティックシステム１０のその他の構成要素と通信できてもよい。ロボット１の無線通信デバイス１３は、コンピュータネットワーク３を介してコンピューディングセンター４と通信してもよい。ネットワ−ク３は、例えば、第１ネットワーク１０１、サーバ１００、第２ネットワーク１０２、ローカル無線通信デバイス１０３（例えば、ローカル無線ルーターであり得る）等の任意の個数のネットワークアクセス可能デバイスを含んでもよい。コンピュータネットワーク１０１および１０２は、デバイス間の通信を可能にする任意の有線または無線コンピュータネットワークであってよく、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、無線ＬＡＮ、Ｗｉ−Ｆｉ（登録商標）、モバイルデバイスネットワーク、ＩＥＥＥ８０２．１１、ＧＳＭ（登録商標）、ＧＰＲＳ、ＵＭＴＳ、３Ｇおよび４Ｇ通信プロトコル、または当業者に公知の任意のその他のネットワーク構成および／または プロトコルを含む。
【００３２】
コンピューティングセンター４は、任意の種類のクラウドコンピューティングセンター、データセンター、スーパーコンピュータ、およびその他の強力なコンピューティングリソースであってよい。コンピューティングセンター４は、プロモーションビデオ、画像、製品説明、プロモーション優先度、プロモーション特典、プロモーション履歴、ブランドリレーションシップおよびその他の情報等の、種々のプロモーション情報および製品の材料を包含するプロモーションデータベース１４０を含み得る。コンピューティングセンター４はさらに、製品に関するスキャンされた三次元の構造情報を含み得る、施設のデジタル在庫データベース１４１を含んでもよく、コンピューティングセンター４は、この在庫データベース１４１を、例えば消費者に表示するためにロボットコンピュータ１４と共有してもよい。コンピューティングセンター４は、この在庫データベース１４１を施設のマップに組み込んでもよく、それによりマップでの製品の位置を、同じ棚の異なる製品が在庫管理目的で十分に差別化され得る程に高い精度で特定できる。コンピューティングセンター４はさらに 、購入履歴、ロイヤルティーカード情報、ロボット対話履歴、顧客挙動パターン分析等の顧客の匿名情報を含む顧客データベース１４２を含んでもよい。
【００３３】
ロボット１は、コンピュータネットワーク３およびオペレータネットワークシステム５を介してサポートステーション２と通信可能であってもよい。サポートステーション２は、オペレータ８０が、ロボット１と対話している顧客７０と通信することを可能にするために用いられてもよい。サポートステーションは、カメラ１２１、サポートステーションコンピュータ１１４、タッチスクリーンディスプレイ１２０、マイクロフォン１１６、スピーカー１１８、およびキーボード、マウスまたはジョイスティック等の入力デバイス１１７を含んでもよい。サポートステーション２は一般に、施設向けの遠隔顧客サービスセンター等の、ロボット１から遠隔な場所に配置される。１つのロボット１と１つのサポートステーション２のみが図示されているが、当業者ならば、システム１０は複数のロボット１および／または複数のサポートステーションを含んでもよいことを容易に理解するであろう。
【００３４】
サポートステーション２のカメラ１２１によって捕捉されたビデオ画像は、ロボット１に伝送され（例えばネットワーク３を介して）、そこでビデオ画像はタッチスクリーンディスプレイ５０上に表示され得る。音声信号も、サポートステーションマイクロフォン１１６によってピックアップされてロボット１に伝送され、そこでスピーカー１８によって放送される。同様に、ビデオ信号と音声信号はロボット１によってピックアップされてサポートステーション２に伝送される。こうして、サポートステーション２にいるオペレータ８０は、遠隔位置に配置されたロボットの周囲の画像を見て音声を聞くことができる。
【００３５】
こうして、サポートステーション２にいるオペレータ８０と、ロボット１と対話中の顧客７０との間の音声リンクを伴う双方向ビデオ通信が実行される。例えば、ロボット１のカメラ３９は、カメラの視野内の人のビデオデータを捕捉してもよく、マイクロフォン１６は、その人から音声情報を捕捉してもよい。この情報はサポートステーション２に伝送され、そこでディスプレイ１２０および／またはスピーカー１１８に出力されてもよい。同時に、サポートステーション２にいるオペレータ８０からのビデオおよび音声情報が、それぞれカメラ１２１およびマイクロフォン１１６によって捕捉されて、ロボット１に伝送されて、そこでディスプレイ５０および／またはスピーカー１８に出力されてもよい。本発明は、台車毎に独立した、公共ＩＰアドレスの要らない、特殊なトンネルまたはファイアウォール構成が必要ない、リモート情報技術支援を必要とせず、Ｗｉ−Ｆｉ（登録商標）および４Ｇ接続両方で使用され得る双方向ビデオチャットプロトコルを利用してもよい。
【００３６】
サポートステーション２を操作することにより、オペレータ８０は、ロボット１に、サポートステーション２から遠隔位置に配置された特定の位置にナビゲートする命令を与えてもよい。ロボット１への命令は、サポートステーションコンピュータ１１４と通信するタッチスクリーンディスプレイ１２０または入力デバイス１１７によって達成されてもよい。命令はコンピュータ１１４によって受け取られ解釈されて、例えば、ネットワーク１０１、サーバ１００、ネットワーク１０３、無線通信デバイス１０３、ロボットコンピュータ１４を介してロボット１に伝送され、次に移動台車１１に伝送されてもよい。ロボット１は、受け取った命令に応答して望むとおりに移動する。
【００３７】
システム１０は、インストールできて、ウィンドウズ（登録商標）、ＭａｃＯＳ（登録商標）、Ｌｉｎｕｘ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、ｉＯＳ等を含む任意の市販のコンピュータオペレーティングシステム上で稼動するシステムバックエンドソフトウェア１３１と連携して稼動してもよい。施設マネージャーまたはエージェント８１は、施設の、コンピュータまたは、スマートフォンもしくはタブレット等のモバイルデバイスにソフトウェア１３１をインストールして使用してもよい。ソフトウェアは、マネージャーまたはエージェント８１が、ロボット１のタスクの序列または優先度を規定し、プロモーションビデオ、画像、製品説明等の宣材をコンピューティングセンター４のプロモーションデーベース１４０にアップロードすることを可能にしてもよい。ソフトウェア１３１は、マネージャーまたはエージェント８１によって入力された情報を自動処理して、情報をロボット１が理解できるフォーマットに変換してもよい。
【００３８】
オペレーションの例
ロボット１は、例えば、自身のパノラマセンサ、上部３Ｄセンサおよび下部３Ｄセンサを用いて施設を自発的に探索できる。ＧＰＳ、ＩＰＳ，ＩＮＳまたはその他のそのような技術等のロボット位置検出器によって特定され得る対応する位置情報を伴って３Ｄセンサにより捕捉された視覚的データは、施設のマップを作成するために利用され得る。施設のマップは、ロボットコンピュータ１４またはコンピュータセンター４内に記憶され得る。ロボット１は、上部３Ｄセンサを用いて、顧客が持ち込んだサンプルをスキャンし、サンプルの構造情報と適合するデジタル在庫内の構造情報を見出し、それにより施設内の製品を位置特定してもよい。次にロボット１は、顧客にタッチスクリーンデバイス１９またはバックディスプレイ２０上で製品に関する情報（施設内の製品の場所、価格、プロモーション情報など）を表示することによって、または顧客を施設内の製品の場所に案内することにより、顧客にさらなるサービスを提供できる。
【００３９】
ロボット１は、例えば移動台車１１またはそのロボットヘッド２３を用いて小さな運動を行うことにより、顧客の関心を惹くことができる。ロボット１はまた、タッチスクリーンデバイス１９またはバックディスプレイ２０上のアバターフィギュアを含み得る静的または動的グラフィックスを表示することにより、顧客の関心を惹いてもよい。ロボット１はさらに、スピーカー１８を介して音声信号を生成することにより、顧客の関心を惹いてもよい。ロボット１はさらに、顧客７０の、ロボット１に対する関心を、顧客の通信応答速度、頭部回転、顔の表情のパターンを監視することにより、または、本明細書で以前論じたように、顧客の「心理状態」を判断するための種々のパラメータを感知することによって検出できる。関心が低い場合、ロボットはこの顧客をとばして、施設内のそのホームポジションにナビゲートして戻る。ロボット１のホームポジションは、充電ステーションの位置、または、施設マネージャーまたはエージェントによって予め定められた、施設内の任意の他の位置であり得る。ホームポジションに戻る途中で、ロボット１は、捕捉したデータに基づいて、顧客密度がより高いルートを選択することができ、自身の上部３Ｄセンサを用いて、サービスを必要とする別の顧客を探す。ロボット１は、顧客の顔の表情、歩行パターン、頭部回転、視線の方向等を分析することにより顧客のサービス必要度を判断できる。ロボット１が、支援の必要があり得る顧客を見出した場合、ロボット１はその顧客に接近し、発話とグラフィック情報を用いて、顧客に支援が必要かどうかを尋ねる。ロボット１と顧客の間の対話が開始すると、ロボット１は、顧客がロボット１に引き付けられたままかどうかについても判断できる。ロボット１が、顧客がもはや対話に引き付けられていないことを見出した場合、ロボット１は現在のタスクを終了して、ホームポジションに戻るというタスクを続行する。
【００４０】
コンピューティングセンター４とコンピュータ１４はそれぞれ、多言語パッケージを用い得るスピーチエンジンソフトウェアを稼動させてもよい。スピーチエンジンソフトウェアは、当業者ならば容易に理解するであろうように、任意の公知のスピーチエンジン、音声文字起こしまたはその他のそのような技術であるか、またはそれらを含んでもよい。スピーチエンジンソフトウェアは、ロボット１が、顧客と多言語で自然な発話での会話に従事することを可能にする。発話での会話により、ロボット１は、マイクロフォン１６を介して話された情報を受け取る。公知の情報処理技術を用いて、この話された情報は、重要な情報を抽出し、購入の関心、製品情報、所在問い合わせ、助言の要請等の顧客の必要を理解し、その他の顧客サービスアクションを実行するために、コンピュータ１４およびコンピューティングセンター４によって処理される。
【００４１】
顧客７０は、発話またはタッチスクリーンデバイス１９の操作によって自身の必要に関してロボット１と対話することができ、顧客が必要とする製品を施設が備えていない場合、ロボット１は顧客に対して何らかの代替解決策を提供できる。例えば、顧客が小売店でシリアルを購入したい場合、シリアルを購入する人は牛乳も購入する可能性があるため、ロボット１はコンピューティングセンター４内に保管されている製品在庫にアクセスすることにより、シリアル製品の全オプションを、牛乳のプロモーションも伴ってタッチスクリーンデバイス１９に提示することができる。因みに、ロボット１は、例えば、「通路＃１０のシリアルセクションにご案内しても宜しいですか？」と言うことにより、顧客７０をシリアルセクションに案内することを提案する。顧客７０がこのサービスを受け入れたい場合、顧客７０は確認し（例えば、「はい、お願いします」と言うことにより）、ロボット１は顧客７０を店内のその場所に案内する。その店舗が、顧客７０が欲しいシリアル製品の在庫を切らしていた場合、ロボット１はそのシリアルをオンラインで発注して顧客の住所（例えばコンピューティングセンター４に記憶され得る）に発送することを提案できる。
【００４２】
ロボット１は、顧客の必要に関連する情報とお勧めをタッチスクリーンデバイス１９上に提供することができ、さらに、顧客７０を、その必要を満たし得る施設のセクションに案内することを提案してもよい。顧客７０がこのガイダンスを承諾すると、ロボット１は、現在位置を施設の所望のセクションと結びつける屋内マップ上の経路を見出す。現在位置から施設の所望のセクションまでは複数の経路が存在し得る。そのため、ロボット１は、経路最適化アルゴリズムを利用して、複数の経路オプションのうちいずれを選択するかを決定してもよい。例えば、ロボットは、プロモーション中の製品を提示して目的地に効率よく到達する等の考慮に基づいて最適な経路を選択してもよい。ロボット１は、プロモーションデータベース１４０にアクセスすることにより、どの製品がプロモーション優先度が高いかを「把握」できる。
【００４３】
ロボット１は、顧客およびその他の人々に連れ添って、親しみやすい直感的にわかる方式で働くように設計される。図４に関連して詳しく説明するように屋内施設またはその他の商業的ロケーションに存在する非常に動的な環境でナビゲーションするときに、ロボット１は、人々と動的に話し応対することもできる。例えば、ホーム位置に静止して対話を待機しているというよりは、ロボット１は、施設内を徘徊して、無作為な顧客に何か助けが必要かどうかを尋ねようとしてもよい。ロボット１は、邪魔にならないように、顧客に繰り返し尋ねることはせず、時間の数パーセントのみ尋ねる。ロボット１は、顧客が存在するときにわかるように、顧客に接近するときに顧客の顔を検出する。ロボット１は、声で自らの存在を表明してもよいが、ロボット１上に配置された種々の発光ダイオード（ＬＥＤ）を含み得るムードライトの動きと色によっても自らを表明してもよい。 ロボット１は、繁盛した／混雑したセクションではゆっくり移動し、例えば、混雑している、道に迷った、誰かを助けている、応対中、普通にパトロールしている、またはその他等の種々の状態を表すためにそのＬＥＤ色を変更する。可聴およびＬＥＤベースの通信に加えて、ロボット１は、新規の顧客に挨拶するとき、彼らの関心を得るとき、および／または彼らに応対するときに、その基部のみを用いて揺動を実行してもよい。
【００４４】
顧客を屋内施設内でナビゲートするまたは案内するとき、ロボット１は、顧客に関与していることを見せるため、その現況と、環境の感知の両方を表明してもよい。このため、ロボット１が近付いて来る途中の人を待機している場合、または付近の人を通り過ぎる場合、ロボットは、多くの人が周りにいるためにロボットが非常に自由にナビゲートすることをロボットセンサが許容しない場合に、「すみません」等の何らかの礼儀正しいフレーズを口にして、ロボットは、案内対象の顧客（複数の場合あり）に、混雑を感知していることを報知し、また、ロボット１が動けない場合、ロボット１は誠意をもって謝り、立ち往生した旨を述べる。ロボット１が目的位置付近に来ていて、その経路を邪魔する障害物がある場合、売り場スペース周囲の非常に長い経路に再ルーティングするよりは、ロボット１は、顧客、オペレータまたはその他の個人に、そのアイテムはすぐ先にあると通知する。
【００４５】
図４は、本開示の第１の例示的実施形態による、図１のロボティックデバイス１で用いられるアクティブパスプランニングの模式図である。顧客のために施設内の経路を見出すことは、施設が大方占有されていない場合は、多くの場合単純なマッピングプロセスであり得る。しかしながら、多くの施設では建物内に多くの移動物体を有する可能性があり、それが、ロボット１が稼動しなければならない動的な環境を作り出す。例えば、屋内の商業的環境では、ロボットがその中をナビゲートしなければならない、人間から、ショッピングカート、移動パレットに至る様々な多くの移動物体が存在する。これらの動的な環境では、ロボット１は、経路を設計するにあたり移動障害物を考慮に入れるアクティブパスプランニングを利用してもよい。
【００４６】
移動ロボット１の正面を顧客が歩く例について考慮する。図４に示すように、ロボット１は、例えば、障害物１６６が移動中であるという検出よりも前に決まった経路である代表的経路１６４に沿って目的地１６２のほうに第１の方向１６０に移動してもよい。この代表的経路１６４は、代表的経路プランニングアルゴリズムから構築され、プランニングの時点では、障害物１６６はロボット１の左側にあったため、単純に障害物１６６の右側のほうへの経路を考案する。しかしながら、障害物１６６が方向１６８のほうに移動し始めると、ロボット１は、障害物１６６がロボット１の右側方面に移動していることを考慮しなければならず、したがって、代表的経路１６４を妨害する位置に動き、ロボット１と障害物１６６の衝突を引き起こす。
【００４７】
ロボット１と移動障害物１６６の衝突を防止するために、ロボット１は障害物１６６の移動に従った方式で障害物１６６の周囲をナビゲートする第２のまたはアクティブパス１７０を生成してもよい。例えば、ロボット１は、任意の物体（例えば、人間、カート等）を含み得る移動障害物１６６を検出して、移動障害物１６６の動きを追跡する。移動障害物１６６の動きに基づいて、ロボット１は、移動障害物１６６を通って、および移動障害物１６６の周りをナビゲートする最適な経路を判断する。図４の図示において、アクティブパス１７０は、移動障害物１６６の背後の辺りであり得る。ロボットは、ロボット１を実制動することにより、その視野内に急に現れる障害物に迅速に応答できる。この実制動は、ロボットの運動の反対方向への短い速度命令を出すことを含み得る。
【００４８】
図５は、本開示の第１の例示的実施形態による、施設内のアイテムならびに顧客と対話する図１のロボティックデバイス１の模式図である。ロボット１が稼動する施設は、施設内での製品またはサービスを表示するために用いられる任意の構造体であり得るディスプレイ構造体３００を含み得る。一般的なディスプレイ構造体は、棚、テーブル、スタンドまたはブースを含み得る。ディスプレイ構造体３００は任意の個数のアイテム３０１をその上に含んでもよく、さらに、自動識別およびデータキャプチャのための１つ以上の無線送信機３０２を含んでもよい。
【００４９】
図１〜図２および図５に関して、ロボット１が顧客７０を案内するかまたは顧客７０に付き添ってディスプレイ構造体３００付近に移動するとき、ロボット１は、構造体３００とその上のアイテム３０１を、１つ以上の自身の３Ｄセンサによって認識し、アイテム３０１に関連するプロモーション情報３１０をバックディスプレイ２０上に表示する。バックディスプレイ２０上のプロモーション情報３１０は、アイテム３０１の１つまたは複数の画像３１１、アイテム３０１に関するテキスト３１３、アイテム３０１に関するプロモーション見出し３１２および構造体３００に関する一般情報３１４を含み得る。一般情報３１４は、構造体の特徴、製品カテゴリおよびサブカテゴリ、位置等を含み得る。例えば、構造体３００が小売店内の棚またはテーブルであった場合、ロボット１が通路を通って顧客を案内する際に、ディスプレイ２０は、通路沿いの棚またはテーブル上の製品に関する広告を見せてもよい。その製品に関する広告を表示する際に、ロボット１は、コンピューティングセンター４のプロモーションデータベースにプロモーション状況を記録してもよく、コンピューティングセンター４は、在庫内の各ブランドに関してどの程度のプロモーションが提供されたかを監視し分析してもよい。ロボット１はさらに、特定のディスプレイ構造体３００に案内された顧客の人数を、コンピューティングセンター４のプロモーションデータベースに記録してもよい。
【００５０】
ロボット１は、顧客７０のためのパーソナルショッパーとして働くことができ、顧客７０に個人専有サービスと助言を提供する。そのような個人的なサービスを提供するロボット１の能力は、コンピューティングセンター４上で稼動する人工エンジンソフトウェアによって増強され得る。例えば、顧客７０が、ドレス等の特殊なアイテムを探している場合、ロボット１は、顧客の髪色、目の色、顔の形、身長、体型等を観察して、ファッションに関する提案をしてもよい。服、アクセサリーおよびその他のそのようなアイテムと、個人の身体的またはその他の特徴との関連性を含み得るファッション助言情報は、コンピューティングセンター４に記憶されて、ロボット１により、個人的なファッション提案を作成するためにアクセスされてもよい。大きすぎる、または万引きされやすい製品に関しては、ロボット１は、顧客７０に製品をチェックアウト場所でピックアップするように提案できる。顧客７０は、製品のピックアップを選択することを、ロボット１に発話により告げることにより行ってもよいし、または、タッチスクリーンデバイス上のピックアップのボタンをクリックしてもよい。顧客７０が、製品をチェックアウト場所でピックアップしたいと確認した場合、ロボット１は、顧客７０に、チェックアウトデスクに提示するレシートをプリントアウトしてもよい。
【００５１】
顧客７０がディスプレイ構造体３００を見ているとき、ロボット１は、視線追跡デバイス２９を介して顧客の目の動きを追跡し、自身の３Ｄセンサを介して画像を取り込むことにより、顧客の挙動を監視できる。ロボット１はそのデータをコンピューティングセンター４に送信することができ、コンピューティングセンター４は、データを分析して、顧客がどの製品を見ていたか、製品を見た顧客の情動、顧客が製品に費やす時間等の顧客７０に関する情報を抽出してもよい。
【００５２】
ロボット１が施設内で稼動しているとき、ロボット１は、一定期間にわたり１つの位置での顧客の写真を自身の３Ｄセンサによって撮影することにより顧客の流れを監視してもよい。例えば、小売店において、ロボット１は、６ＰＭから７ＰＭの間に通路を行き来する顧客の写真を撮影し、これらの写真をコンピューティングセンター４に送信してもよく、コンピューティングセンター４は写真を分析して、この時間帯にこの通路を、どの程の人数が通過したかを計算できる。コンピューティングセンター４はさらに、顧客の流れのデータを分析し統合して、施設にわたる顧客の動きのマップを作成してもよく、そのマップは、顧客がどのセクションで最も時間をかけるか、また、どの経路を顧客が最も頻繁に使用するか等の情報を含み得る。
【００５３】
ロボット１は、顧客の特徴を、自身のセンサ（マイクロフォン、３Ｄセンサ、タッチスクリーン、生体認証センサ等）によって捉え、その顧客の特徴データをコンピューティングセンター４に送信してもよい。コンピューティングセンター４は特徴データを処理して、顧客７０の、音声パターン、顔の特徴、ジェスチャーパターン、生体認証パターン等の一定のパターンを見出し、それをコンピューティングセンター４の顧客データベースに保存する。顧客７０が施設に戻ると、ロボット１は顧客７０を、例えば顧客データベースに記憶された情報顧客特徴データにアクセスすることにより、再訪顧客として認識できる。ロボット１が、上記のプロセスを通じて再訪顧客を認識すると、ロボット１はこの顧客の現在の購入関心と過去の買い物履歴に基づいて、 タッチスクリーンデバイス１９とバックディスプレイ２０上に広告を表示できる。ロボットは、顧客データベース１４２にアクセスすることにより、再訪顧客の購入関心と買い物履歴を「把握」できる。
【００５４】
ロボット１は、施設内の装置を監視して、装置の不具合または、掃除もしくはメンテナンスの必要を報告してもよい。例えば、ロボット１は小売店内の冷蔵庫および冷凍庫を監視して、そのような装置に不具合があった場合、または開け放しのドアがあった場合、または何かこぼれていたり掃除の必要があった場合にシステムのバックエンドに報告してもよい。ロボット１はさらに、施設内の製品の価格を監視して、表示された製品の価格がデジタル在庫の価格と合致しない場合にシステムバックエンドに報告を送信してもよい。
【００５５】
顧客７０は、ロボット１に話しかけるか、タッチスクリーンデバイス１９を操作することにより、人間の担当者またはオペレータ８０にロボット１にログオンすることを要請してもよい。ロボット１は、オペレータネットワークシステム５にアクセスし、オペレータネットワークシステムに、手が空いているオペレータのうち１人に繋げるように要請する。オペレータネットワークシステム５はサーチエンジン１５０を用いて手が空いている全オペレータを検索し、ダイヤリングソフトウェア１５１を用いて、手が空いている全オペレータに同時にダイヤルする。最初に応答したオペレータがロボット１に繋がり、繋がったオペレータ８０はサポートステーション２を用いてロボット１にログオンできる。例えば、顧客７０がペンキ専門担当者と話したい場合、顧客７０はロボットに「ペンキ専門担当者と話したいのですが」と告げるか、またはタッチスクリーンデバイス１９でペンキ専門担当者のボタンをクリックし、ロボット１はオペレータネットワークシステム５にアクセスして、ネットワーク上の手が空いているペンキ専門担当者に繋ぐ。すると繋がったペンキ専門担当者は、サポートステーションにあるコンピュータまたはスマートフォンを使用してロボット１にログオンできる。
【００５６】
ロボット１は、構造体３００付近で稼動している場合、自身の３Ｄセンサでディスプレイ構造体３００上の製品の写真を撮影することにより、施設のディスプレイ構造体３００上の在庫を支援できる可能性がある。例えば、ロボット１が小売店内の通路沿いに移動している際に、ロボット１は通路沿いの棚の上の製品の写真を撮影してもよい。ロボット１はさらに、かご、ショッピングカートの中、および顧客が手にしている製品の写真を撮影してもよい。ロボット１はこれらの全ての写真をコンピューティングセンター４に送信してもよく、コンピューティングセンター４はこれらの写真を処理し、製品を識別し区別して、ディスプレイ構造体３００上にどの程度製品が残っているかを計算し、構造体３００上に配置されるべきではない誤配置された製品を報告し、在庫データベース内でこれらの全情報を更新する。誤配置された製品があった場合、または、特定の製品の量が、在庫データベースにおける予め設定された警告閾値未満である場合、ロボット１は、施設マネージャーまたはエージェント８１が、誤配置された製品を撤去する、および／または製品を構造体３００上に補充する措置を講じることができるように、システムバックエンドソフトウェアに警告メッセージを送信してもよい。
【００５７】
別の例では、ロボット１は、ディスプレイ構造体３００上のどのアイテムが在庫切れであるか、また、どのアイテムが潜在的に在庫が少ないかを、視覚に基づくプロセスを用いて判断できる。この視覚に基づくプロセスでは、ロボット１上のカメラシステムは、正確な焦点および照明レベルで写真撮影するように最適化される。視覚に基づくデータはさらに、一層高レベルの精度に達するために、商業施設に配備されていれば、ＲＦＩＤタグ情報の収集により増強され得る。データを追跡、レビューおよび分析するためにコンピュータセンター４とロボットコンピュータ１４の両方で稼動する高度なアナリティクスが存在してもよい。付加的に、視覚に基づくプロセスは、在庫が将来どの時点で在庫切れになりそうかを予測し、新たな在庫を事前に潜在的に発注する最適な時期に関する示唆を提供してもよい。
【００５８】
視覚に基づくプロセスは、ディスプレイ構造体３００上の在庫を査定するための任意の数のステップとプロセスを含んでもよい。例えば、施設が込み合っていない早朝等の、一日のうちの特定の時間に、ロボット１は起動して施設内を周回してもよい。ロボット１が各ディスプレイ構造体３００を通過するとき、ロボット１は、自身のカメラシステムと２Ｄまたは３Ｄセンサのうちいずれかを用いて、各ディスプレイ構造体３００の高精細画像を、施設に関して作成されたマップ上のＸＹ位置およびその方向（角度）を注記しながら撮影する。画像は、高度なコンピュータ視覚アルゴリズムでコンピュータセンター４またはロボットコンピュータ１４のうちいずれかで処理されてもよく、それによりディスプレイ構造体３００上のあらゆる製品を識別し、どのアイテムが在庫切れかを識別する。在庫情報は、在庫データベース１４１に転送される。
【００５９】
在庫データベース１４１は、施設の在庫システムから施設データを取り入れてもよい。ロボット１のスキャンされたデータは次に、施設の在庫システムと相関されてもよく、それにより、人が容易に気付くように、不一致を識別する。次に、施設のスタッフメンバーであり得るエージェント８１は、ソフトウェア１３１を用いて、施設内の注意が必要なアイテムおよび注意しなくてもよいアイテムのリストを閲覧して、労働時間中に各ケースに対処できる。ソフトウェア１３１はさらに、施設マネージャーが、従業員の仕事ぶりと、追加製品在庫を発注する等の、とるべきアクションをレビューすることを可能にできる。ソフトウェア１３１はさらに、コーポレート／ＨＱスタッフに施設の状況を監督させ、在庫のアナリティクスを閲覧させることもできる。ソフトウェア１３１はさらに、近い将来に在庫切れになり得るアイテムを示唆または予測し、施設マネージャーおよびコーポレートスタッフの両方が、これらの示唆または予測に対処できるようにしてもよい。
【００６０】
ロボット１の画像捕捉の精度を改善するために、種々の技法およびプロセスが用いられてもよい。例えば、屋内の売り場スペースにおいて、画像捕捉要件は、視野および画像サイズ等のいくつかの主要な要因に依存して変動する。これらの要因は、通路内のロボット１の位置と、識別が必要な物体の物理的サイズによって決まり得る。したがって、ロボット１の台車上へのカメラの配置は、障害物回避によるロボット経路変更を補償するための十分なオーバーラップがあるような画像オーバーラップ要件によって決まり得る。画像のオーバーラップは安全マージンを提供し、それは捕捉されたセットにおける欠けたデータポイントによって引き起こされる問題を回避することになり得る。
【００６１】
ロボット１によって用いられるもう１つの技法は、施設の環境に基づいたカメラパラメータの調節である。例えば、ナビゲーションデータから派生した情報によって、ロボット１は捕捉した画像の焦点距離を自動変更する能力を備える。この能力は、店舗内の通路幅とロボットの位置がわかれば決まり得る。全体的な写像性が優先される高度に動的な環境ではオートフォーカスがイネーブルされてもよい。別の例では、ロボット１のカメラシステムは、製品査定中にディスプレイ構造体３００上の製品に高精細な画像が正しくフォーカスされるように、施設内の照明を自動補正するように構成されてもよい。このカメラパラメータ調節は、画像センサの感度を調節するために自動的にフィルライティングをイネーブルすることを含み、それは影や低照明が存在する売り場スペースの領域において鮮明で整合性のある画像を提供できる。フィルライティングは、特定の画像捕捉領域における全体的な照明によって決まる。ライティングは、環境のニーズにより良く合わせるために、強度と拡散に関して調整可能であってもよい。
【００６２】
さらに、フィルライティングの追加はより高いシャッター速度を可能にし、その結果台車の速度が増加して、それにより在庫管理プロセス完了までの所要時間が減少する。このため、画像捕捉が行われる速度は、所要のシャッター速度と照明に直接の影響を与える。台車速度が高くなると、データセットにおける画像捕捉の所要時間を減少させるが、画像品質と整合性を維持するための付加的な照明を要する。台車速度が低くなると、付加的な照明の必要量が減少する。ロボット１は、ロケーションの要求に従って台車速度を自動調節してもよい。
【００６３】
図６は、本開示の第１の例示的実施形態による、図１の施設内で顧客サービスを提供するロボティックデバイスによって用いられる視覚アルゴリズムのブロック図４００である。フローチャートのプロセス説明またはブロックはいずれも、プロセスにおいて特定の論理機能を実施するための１つ以上の命令を含むモジュール、セグメント、コードの一部またはステップを表すと理解されるべきであり、代替的な実装も本開示の範囲内に含まれ、その場合、機能は図示され説明されたのとは違う順序で実行されてもよく、その順序は、本開示の当業者ならば合理的に理解するであろうように、関与する機能性次第で、実質的に同時または逆順を含むことに留意すべきである。
【００６４】
ロボットによって使用される視覚アルゴリズムは、カメラシステムおよびセンサによって捕捉された画像を用いて施設内のディスプレイ構造上の製品を識別してもよい。視覚アルゴリズムの一例では、ロボットは自発的に通路をナビゲートして製品のディスプレイをスキャンする（ブロック４０１）。通路をナビゲートして製品のディスプレイをスキャンすることは、通路のストリートビュー、３Ｄデータまたはパノラマビューを生成することを含み得る。（ブロック４０２）。ロボットはバーコードおよび製品をスキャンして、アイテムの欠如に基づいて、在庫切れアイテムを識別する（ブロック４０３）。ロボットからのデータ捕捉に基づいて、ロボットは自身の内部データベースまたは外部コンピューティング環境上のデータベースを更新する（ブロック４０４）。その後施設スタッフは、ロボットが担持するかまたはロボットの外部にあるかのいずれかであるコンピューティングデバイス上の在庫ダッシュボード上のアイテムを閲覧してもよい（ブロック４０５）。次に施設スタッフは、不一致を呈しているアイテムに物理的に対処して、ロボットのダッシュボードに対応する対策をマークする（ブロック４０６）。
【００６５】
視覚アルゴリズムは、製品のラベル抽出、製品のバーコード検出および抽出の実行、あるアイテムが在庫切れまたは在庫が足りているかを判断する、また、屋内環境のストリートビューを提供するのに特に有用である。ラベル抽出に関して、ロボットは、カラー閾値処理および輪郭検出を利用して、ラベル情報を含む製品のラベルの位置を特定してもよい。抽出されたラベルは次にバーコード検出に用いられ得る。バーコード検出は、Ｓｃｈａｒｒ演算子を用いて決定され得る水平および垂直方向における画像（ラベル）の勾配規模を用いてもよい。水平勾配が高く垂直勾配が低い領域が識別され得る。勾配画像から高周波ノイズが平滑化され得る。ぼやけた画像は閾値処理の対象となり、形態演算子が閾値画像に適用される。輪郭検出を用いて、ラベルからバーコード領域が抽出され、それは、アイテムの情報、価格、アイテムの位置、画像内でアイテムを検索するためのウィンドウサイズの識別を可能にする。
【００６６】
どのアイテムが在庫が足りているまたは在庫切れであるか、すなわち、ディスプレイ構造体上のアイテムの入手可能性を判断するために、形態演算子が構造体の背景に適用されてもよい。一般に小売店の通路は３つの異なるカテゴリ、すなわちペグ、棚およびトレイに分類される。ペグアイテムを考慮すると、例えば、アイテムが在庫切れであった場合、通路のバッキングに円を検出することが可能である。所定のウィンドウサイズ内の円の密度は、どのアイテムが在庫切れであるかを決定することに役立つ。検索領域を減らすために、ウィンドウサイズは通路上のバーコードに符号化されてもよい。先ず、アイテムの説明、位置（通路およびアイテム）、価格およびウィンドウサイズを提供するバーコードラベルを含む領域が、異なる形態演算子を用いて抽出されてもよい。次に、ラベルの周囲で、説明されたウィンドウサイズ内の円の密度が決定されてもよい。円の密度が高い場合、そのアイテムは在庫切れと判断され得る。
【００６７】
本明細書に説明されるプロセスは、合成編集した複数の画像、所謂「イメージステッチング」と併用してもよいことに留意すべきである。イメージステッチングは、画像の境界付近の画像の領域を表すために実施され得る。屋内のストリートビューに関して、アイテムの入手可能性に関する画像と情報は、スキャンと処理後に利用可能となることに留意されたい。イメージステッチングを用いて、ストリートビューの屋内版、例えば、施設内の通路の連続画像を形成するために縫い合わされた連続画像も、データから作成され閲覧できる。
【００６８】
上記の本開示の実施形態、特にいずれの「好適な」実施形態も、本発明の原理の明確な理解のために単に記述した、実装の可能な例に過ぎないことを強調しておく。本発明の趣旨および原理から実質的に逸脱せずに本発明の上記の実施形態に多くの変更および変更がなされてもよい。例えば、ロボットは、ナビゲーションおよび視覚ならびにそのデータの解釈を含む自身のセンサデータの信頼性を査定してもよい。ロボットが、例えば共分散行列の値に基づいて、ある状況に関して不確かであると判断した場合、ロボットは、ロボット自身ならびにロボットの周囲の安全を維持するために挙動を修正してもよい。ロボットは、また不確かな場合に援助を求めることを決定してもよい。例えば、ロボットが特定のアイテムが在庫切れであるかどうかを決められない場合、ロボットは人間の解釈を仰ぐためそのスポットの写真を送信または記憶してもよい。同様に、ロボットが店舗内で移動する間に、物理的に立ち往生するか、単純に道に迷ったかのいずれかで立ち往生した場合、ロボットは、人間に、テレプレゼンスにより交代してロボットを立ち往生から解除して先に進ませるように要請してもよい。
【００６９】
そのような変更および変形は全て、本明細書において本開示の範囲内に含まれ、以下の特許請求の範囲によって保護されるべきものである。
【符号の説明】
【００７０】
１      ロボティックデバイス
２      サポートステーション
３      コンピュータネットワーク
４      コンピュータセンター
５      オペレータネットワークシステム
１０    ロボティックシステム
１１    移動台車
１２    下部３Ｄセンサ
１３    無線通信デバイス
１４    ロボットコンピュータ
１５    上部３Ｄセンサ
１６    マルチアレイマイクロフォン
１７    パノラマ３Ｄセンサ
１８    スピーカー
１９    タッチスクリーンデバイス
２０    バックディスプレイ
２１    構造体
２２    電源システム
２３    ロボットヘッド
２４    電池
２５    充電システム
２７    プロセッサ
２９    視線追跡デバイス
３０    車輪およびキャスター（３Ｄセンサ）
３１    ３Ｄセンサ
３２    ３Ｄセンサ
３３    ロボット位置検出器
３４    ３Ｄセンサ
３５    ３Ｄセンサ
３６    ３Ｄセンサ
３７    赤外線カメラ
３８    ドップラーレーダーセンサ
３９    カメラ
４０    段差センサ
４１    バンプセンサ
４２    湿度センサ
４３    化学センサ
４４    振動センサ
４５    紫外線センサ
４６    超音波センサ
４７    温度センサ
５０    タッチスクリーンディスプレイ
５１    コンピュータ
５２    生体認証センサ
５６    ＲＦＩＤアンテナ
７０    顧客
８０    オペレータ
８１    マネージャーまたはエージェント
１００  サーバ
１０１  第１ネットワーク
１０２  第２ネットワーク
１０３  ローカル無線通信デバイス
１１４  サポートステーションコンピュータ
１１６  マイクロフォン
１１７  入力デバイス
１１８  スピーカー
１２０  タッチスクリーンディスプレイ
１２１  カメラ
１３１  ソフトウェア
１４０  プロモーションデータベース
１４１  在庫データベース
１４２  顧客データベース
１５０  サーチエンジン
１５１  ダイヤリングソフトウェア
１６０  第１の方向
１６２  目的地
１６４  代表的経路
１６６  障害物
１６８  方向
２００  コンピューティング、データ記憶、命令および制御モジュール
２０１  ビデオ入出力
２０２  音声入出力
２０３  無線通信
２０４  ３Ｄセンサ
２０５  別の入出力
２１０  マイクロコントローラおよびＩ／Ｏボード
２１１  移動式台車
２１２  サーボ、アクチュエータおよびマニピュレータ
２１３  電気機械光学センサ
３００  ディスプレイ構造体
３０１  アイテム
３０２  無線送信機
３１１  画像
３１２  プロモーション見出し
３１３  テキスト
３１４  一般情報
【図１】
0006502491.tif 000002
【図２】
0006502491.tif 000003
【図３】
0006502491.tif 000004
【図４】
0006502491.tif 000005
【図５】
0006502491.tif 000006
【図６】
0006502491.tif 000007