(57)【要約】本明細書に説明される実施形態は、概して、ロボットマニピュレータおよびロボットマニピュレータを動作させる方法に関し、より具体的には、限定ではないが、ロボットの把持を査定するためのシステム、デバイス、および方法に関する。ロボットの把持技術を査定するための方法およびシステム。種々の実施形態によるシステムは、物品を回収し、保管するための倉庫管理システムと、物品を把持するためのロボットマニピュレータと、ロボットマニピュレータによる第１の把持試行に関するデータを受信し、受信されたデータを分析し、ロボットマニピュレータが、物品を正常に把持したかどうかを決定するように構成される、分析モジュールとを含んでもよい。
2019531907.tif 000002
【特許請求の範囲】
【請求項１】
ロボットの把持技術を査定する方法であって、前記方法は、
倉庫管理システムにコマンドを発行し、ロボットマニピュレータによって把持するための物品を回収するステップと、
前記ロボットマニピュレータに、少なくとも１つの命令を発行するステップであって、前記命令は、実行されたとき、前記ロボットマニピュレータに前記回収された物品を把持するように試みさせる、ステップと、
少なくとも１つのセンサデバイスから、前記把持試行に関するデータを受信するステップと、
メモリ上に記憶される分析モジュール実行命令を使用して、受信データを分析し、前記ロボットマニピュレータが、前記物品を正常に把持したかどうかを決定するステップと
を含む、方法。
【請求項２】
前記ロボットマニピュレータに、少なくとも１つの命令を発行するステップであって、前記命令は、実行されたとき、前記分析モジュールが、前記ロボットマニピュレータが前記物品を正常に把持しなかったことを決定したことに応じて、前記ロボットマニピュレータに前記回収された物品を把持するように試みさせる、ステップをさらに含む、請求項１に記載の方法。
【請求項３】
前記分析モジュールを使用して、前記ロボットマニピュレータに少なくとも第２の命令を発行するステップであって、前記第２の命令は、少なくとも部分的に受信センサデータに基づく是正措置を組み込む、ステップをさらに含む、請求項１に記載の方法。
【請求項４】
前記把持試行を実施するステップは、ロボットハンドデバイスを使用して前記把持試行を実施するステップを含む、請求項１に記載の方法。
【請求項５】
前記把持試行を実施するステップは、吸引デバイスを使用して前記把持試行を実施するステップを含む、請求項１に記載の方法。
【請求項６】
前記把持試行を実施するステップは、粘着性デバイスを使用して前記把持試行を実施するステップを含む、請求項１に記載の方法。
【請求項７】
前記把持試行に関する前記受信データは、重量データを含む、請求項１に記載の方法。
【請求項８】
前記把持試行に関する前記受信データは、圧力データを含む、請求項１に記載の方法。
【請求項９】
前記把持試行に関する前記受信データは、力データを含む、請求項１に記載の方法。
【請求項１０】
前記把持試行に関する前記受信データは、画像データを含む、請求項１に記載の方法。
【請求項１１】
前記倉庫管理システムは、前記ロボットマニピュレータが、第２の場所において前記把持試行を実施することができるように、物品輸送デバイスを使用して、前記物品を第１の場所から第２の場所に輸送することによって、前記物品を回収する、請求項１に記載の方法。
【請求項１２】
前記ロボットマニピュレータが、前記第２の場所において前記把持試行を実施した後、前記物品輸送デバイスを使用して、前記物品を前記第２の場所から前記第１の場所に輸送するステップをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記第１の場所は、物品保管場所である、請求項１１に記載の方法。
【請求項１４】
前記ロボットマニピュレータが、第２の場所において前記把持試行を実施することができるように、マニピュレータ輸送デバイスを使用して、前記ロボットマニピュレータを第１の場所から第２の場所に輸送するステップをさらに含む、請求項１に記載の方法。
【請求項１５】
前記ロボットマニピュレータが、前記第２の場所において前記把持試行を実施した後、前記マニピュレータ輸送デバイスを使用して、前記ロボットマニピュレータを前記第２の場所から前記第１の場所に輸送するステップをさらに含む、請求項１４に記載の方法。
【請求項１６】
前記把持試行に関するデータをデータベースモジュールに記憶させるステップをさらに含む、請求項１に記載の方法。
【請求項１７】
前記倉庫管理システムに前記コマンドを発行するステップは、週末の間に前記コマンドを発行するステップを含む、請求項１に記載の方法。
【請求項１８】
前記倉庫管理システムに前記コマンドを発行するステップは、夜間の期間の間に前記コマンドを発行するステップを含む、請求項１に記載の方法。
【請求項１９】
前記倉庫管理システムに前記コマンドを発行するステップは、非繁忙期間の間に前記コマンドを発行するステップを含む、請求項１に記載の方法。
【請求項２０】
ロボットの把持技術を査定するためのシステムであって、前記システムは、
物品を把持するためのロボットマニピュレータと、
物品を回収し、保管するための倉庫管理システムと、
分析モジュールであって、前記分析モジュールは、メモリ上に記憶される命令を実行することにより、
少なくとも１つのセンサデバイスから、前記ロボットマニピュレータによる第１の把持試行に関するデータを受信することと、
受信データを分析し、前記ロボットマニピュレータが、前記物品を正常に把持したかどうかを決定することと
を行う分析モジュールと
を備える、システム。
【請求項２１】
前記ロボットマニピュレータは、前記分析モジュールが、前記ロボットマニピュレータが前記物品を正常に把持しなかったことを決定したことに応じて、第２の把持試行を実施するように構成される、請求項２０に記載のシステム。
【請求項２２】
前記ロボットマニピュレータは、少なくとも部分的に受信センサデータに基づく是正措置を組み込む、第２の把持試行を実施するように構成される、請求項２０に記載のシステム。
【請求項２３】
前記ロボットマニピュレータは、前記把持試行を実施するためのロボットハンドデバイスを含む、請求項２０に記載のシステム。
【請求項２４】
前記ロボットマニピュレータは、前記把持試行を実施するための吸引デバイスを含む、請求項２０に記載のシステム。
【請求項２５】
前記ロボットマニピュレータは、前記把持試行を実施するための粘着性デバイスを含む、請求項２０に記載のシステム。
【請求項２６】
前記受信データは、重量データを含む、請求項２０に記載のシステム。
【請求項２７】
前記受信データは、圧力データを含む、請求項２０に記載のシステム。
【請求項２８】
前記受信データは、力データを含む、請求項２０に記載のシステム。
【請求項２９】
前記受信データは、画像データを含む、請求項２０に記載のシステム。
【請求項３０】
前記倉庫管理システムは、前記ロボットマニピュレータが、第２の場所において前記第１の把持試行を実施することができるように、前記物品を第１の場所から第２の場所に輸送するように構成される、物品輸送デバイスを備える、請求項２０に記載のシステム。
【請求項３１】
前記物品輸送デバイスはさらに、前記ロボットマニピュレータが、前記第１の把持試行を実施した後、前記物品を前記第２の場所から前記第１の場所に輸送するように構成される、請求項３０に記載のシステム。
【請求項３２】
前記第１の場所は、物品保管場所である、請求項３０に記載のシステム。
【請求項３３】
前記ロボットマニピュレータが、第２の場所において前記把持試行を実施することができるように、前記ロボットマニピュレータを第１の場所から第２の場所に輸送するように構成される、マニピュレータ輸送デバイスをさらに備える、請求項２０に記載のシステム。
【請求項３４】
前記マニピュレータ輸送デバイスはさらに、前記ロボットマニピュレータが、前記把持試行を実施した後、前記ロボットマニピュレータを前記第２の場所から前記第１の場所に輸送するように構成される、請求項３３に記載のシステム。
【請求項３５】
前記把持試行に関するデータを記憶するためのデータベースモジュールをさらに備える、請求項２０に記載のシステム。
【請求項３６】
前記ロボットマニピュレータは、週末の間に前記物品を把持する、請求項２０に記載のシステム。
【請求項３７】
前記ロボットマニピュレータは、夜間の期間の間に前記物品を把持する、請求項２０に記載のシステム。
【請求項３８】
前記ロボットマニピュレータは、非繁忙期間の間に前記物品を把持する、請求項２０に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本願は、２０１６年７月１８日に出願された同時係属中の米国仮出願第６２／３６３，４４６号の利益を主張するものであり、該仮出願の全体の開示は、その全体が本明細書中に述べられているかのように参照により本明細書中に援用される。
【０００２】
（技術分野）
本明細書に説明される実施形態は、概して、ロボットマニピュレータおよびロボットマニピュレータを動作させる方法に関し、より具体的には、限定ではないが、ロボットの把持を査定するためのシステム、デバイス、および方法に関する。
【背景技術】
【０００３】
（背景）
倉庫等のインフラストラクチャシステムは、多くの場合、物品を受入、発送、および保管する。最近まで、物品移動の大部分は、人間の作業者によって手動で取り扱われた。しかしながら、最近、これらの仕事は、ロボットデバイスによって取り扱われることが多くなってきた。
【０００４】
これらの仕事は、いくつかの輸送デバイス（例えば、コンベヤベルト）が、１つ以上の物品を伴う箱または他の容器デバイスをロボットピッカーデバイスにもたらす、グッズトゥピッカーワークフローを伴い得る。ロボットピッカーデバイスは、次いで、容器から物品をピッキングし、物品を別の場所（例えば、別の場所に発送するための別の格納容器）の中に設置する。
【０００５】
これらの仕事は、加えてまたは代替として、ピッカートゥグッズワークフローを伴い得る。これらのワークフローでは、物品は、最初に、倉庫内（例えば、箱の中、棚の上、または同等の場所）のある場所に存在し得る。ロボットピッカーデバイスが、物品に進行し、物品をピッキングし、さらなる処理または発送のために物品を別の場所に運び得る。
【０００６】
これらのピッキングシステムおよび方法は、物流環境において、または物品が種々の場所に、またはそこから移動される必要がある環境において有用である。これらの環境は、倉庫環境、小売店舗、および製造および組立工場を含み得る。
【０００７】
これらのロボットピッキングシステムは、人による手動ピッキングよりも大幅にコストが少なくすみ得る。故に、可能な場所、可能な時にロボットによるアプローチを使用することによって、経済的利点が存在する。加えて、これらの自動化システムは、機械を移動させる近傍に存在する人が少ないため、安全を促進する。
【０００８】
しかしながら、これらのシステムの開発および展開は、全ての物品がロボットピッキングシステムによって確実に把持されることができるわけではないため、多くの場合、困難である。したがって、ロボットピッキングデバイスの把持試行を自律的に査定する方法、システム、およびデバイスに対する必要性が、存在する。
【発明の概要】
【課題を解決するための手段】
【０００９】
本概要は、以下の発明を実施するための形態の節においてさらに説明される、概念の選択を単純化された形態で紹介するために提供される。本概要は、請求される主題の重要となる特徴または不可欠な特徴を識別または除外することは意図されておらず、そして請求される主題の範囲の決定の補助として使用されることは意図されていない。
【００１０】
ある側面では、実施形態は、ロボットの把持技術を査定する方法に関する。本方法は、倉庫管理システムにコマンドを発行し、ロボットマニピュレータによって把持するための物品を回収するステップと、ロボットマニピュレータに、少なくとも１つの命令を発行するステップであって、前記命令は、実行されたとき、ロボットマニピュレータに回収された物品を把持するように試みさせる、ステップと、少なくとも１つのセンサデバイスから、把持試行に関するデータを受信するステップと、メモリ上に記憶される分析モジュール実行命令を使用して、受信データを分析し、ロボットマニピュレータが、物品を正常に把持したかどうかを決定するステップとを含む。
【００１１】
いくつかの実施形態では、本方法は、ロボットマニピュデータに、少なくとも１つの命令を発行するステップであって、前記命令は、実行されたとき、分析モジュールが、ロボットマニピュレータが物品を正常に把持しなかったことを決定したことに応じて、ロボットマニピュレータに回収された物品を把持するように試みさせる、ステップとをさらに含む。
【００１２】
いくつかの実施形態では、本方法は、分析モジュールを使用して、ロボットマニピュレータに少なくとも第２の命令を発行するステップであって、第２の命令は、少なくとも部分的に受信センサデータに基づく是正措置を組み込む、ステップをさらに含む。
【００１３】
いくつかの実施形態では、把持試行を実施するステップは、ロボットハンドデバイスを使用して把持試行を実施するステップを含む。
【００１４】
いくつかの実施形態では、把持試行を実施するステップは、吸引デバイスを使用して把持試行を実施するステップを含む。
【００１５】
いくつかの実施形態では、把持試行を実施するステップは、粘着性デバイスを使用して把持試行を実施するステップを含む。
【００１６】
いくつかの実施形態では、把持試行に関する受信データは、重量データを含む。
【００１７】
いくつかの実施形態では、把持試行に関する受信データは、圧力データを含む。
【００１８】
いくつかの実施形態では、把持試行に関する受信データは、力データを含む。
【００１９】
いくつかの実施形態では、把持試行に関する受信データは、画像データを含む。
【００２０】
いくつかの実施形態では、倉庫管理システムは、ロボットマニピュレータが、第２の場所において把持試行を実施することができるように、物品輸送デバイスを使用して、物品を第１の場所から第２の場所に輸送することによって、物品を回収する。いくつかの実施形態では、本方法は、ロボットマニピュレータが、第２の場所において把持試行を実施した後、物品輸送デバイスを使用して、物品を第２の場所から第１の場所に輸送するステップをさらに含む。いくつかの実施形態では、第１の場所は、物品保管場所である。
【００２１】
いくつかの実施形態では、本方法は、ロボットマニピュレータが、第２の場所において把持試行を実施することができるように、マニピュレータ輸送デバイスを使用して、ロボットマニピュレータを第１の場所から第２の場所に輸送するステップをさらに含む。いくつかの実施形態では、本方法は、ロボットマニピュレータが、第２の場所において把持試行を実施した後、マニピュレータ輸送デバイスを使用して、ロボットマニピュレータを第２の場所から第１の場所に輸送するステップをさらに含む。
【００２２】
いくつかの実施形態では、本方法は、把持試行に関するデータをデータベースモジュールに記憶させるステップをさらに含む。
【００２３】
いくつかの実施形態では、倉庫管理システムにコマンドを発行するステップは、週末の間にコマンドを発行するステップを含む。
【００２４】
いくつかの実施形態では、倉庫管理システムにコマンドを発行するステップは、夜間の期間の間にコマンドを発行するステップを含む。
【００２５】
いくつかの実施形態では、倉庫管理システムにコマンドを発行するステップは、非繁忙期間の間にコマンドを発行するステップを含む。
【００２６】
別の側面によると、実施形態は、ロボットの把持技術を査定するためのシステムに関する。本システムは、物品を把持するためのロボットマニピュレータと、物品を回収し、保管するための倉庫管理システムと、メモリ上に記憶される命令を実行し、少なくとも１つのセンサデバイスから、ロボットマニピュレータによる第１の把持試行に関するデータを受信することと、受信データを分析し、ロボットマニピュレータが、物品を正常に把持したかどうかを決定することとを行う、分析モジュールとを含む。
【００２７】
いくつかの実施形態では、ロボットマニピュレータは、分析モジュールが、ロボットマニピュレータが物品を正常に把持しなかったことを決定したことに応じて、第２の把持試行を実施するように構成される。
【００２８】
いくつかの実施形態では、ロボットマニピュレータは、少なくとも部分的に受信センサデータに基づく是正措置を組み込む、第２の把持試行を実施するように構成される。
【００２９】
いくつかの実施形態では、ロボットマニピュレータは、把持試行を実施するためのロボットハンドデバイスを含む。
【００３０】
いくつかの実施形態では、ロボットマニピュレータは、把持試行を実施するための吸引デバイスを含む。
【００３１】
いくつかの実施形態では、ロボットマニピュレータは、把持試行を実施するための粘着性デバイスを含む。
【００３２】
いくつかの実施形態では、受信データは、重量データを含む。
【００３３】
いくつかの実施形態では、受信データは、圧力データを含む。
【００３４】
いくつかの実施形態では、受信データは、力データを含む。
【００３５】
いくつかの実施形態では、受信データは、画像データを含む。
【００３６】
いくつかの実施形態では、倉庫管理システムは、ロボットマニピュレータが、第２の場所において第１の把持試行を実施することができるように、物品を第１の場所から第２の場所に輸送するように構成される、物品輸送デバイスを備える。
【００３７】
いくつかの実施形態では、物品輸送デバイスはさらに、ロボットマニピュレータが、第１の把持試行を実施した後、物品を第２の場所から第１の場所に輸送するように構成される。いくつかの実施形態では、第１の場所は、物品保管場所である。
【００３８】
いくつかの実施形態では、本システムは、ロボットマニピュレータが、第２の場所において把持試行を実施することができるように、ロボットマニピュレータを第１の場所から第２の場所に輸送するように構成される、マニピュレータ輸送デバイスをさらに含む。いくつかの実施形態では、マニピュレータ輸送デバイスはさらに、ロボットマニピュレータが、把持試行を実施した後、ロボットマニピュレータを第２の場所から第１の場所に輸送するように構成される。
【００３９】
いくつかの実施形態では、本システムは、把持試行に関するデータを記憶するためのデータベースモジュールをさらに含む。
【００４０】
いくつかの実施形態では、ロボットマニピュレータは、週末の間に物品を把持する。
【００４１】
いくつかの実施形態では、ロボットマニピュレータは、夜間の期間の間に物品を把持する。
【００４２】
いくつかの実施形態では、ロボットマニピュレータは、非繁忙期間の間に物品を把持する。
【図面の簡単な説明】
【００４３】
本発明の非限定的および非包括的な実施形態が、以下の図を参照して説明され、同様の参照番号は、別様に規定されない限り、種々の図面全体を通して同様の部分を指す。
【００４４】
【図１】図１は、１つの実施形態による、ロボットマニピュレータの写真を提供する。
【図２】図２は、１つの実施形態による、ロボットの把持技術を査定するためのシステムを図示する。
【図３】図３は、１つの実施形態による、ロボットマニピュレータを図示する。
【図４】図４は、別の実施形態による、ロボットマニピュレータを図示する。
【図５】図５は、１つの実施形態による、グッズトゥピッカーワークフローのフローチャートを描写する。
【図６】図６は、１つの実施形態による、ピッカートゥグッズワークフローのフローチャートを描写する。
【図７】図７は、１つの実施形態による、把持試験ワークフローのフローチャートを描写する。
【図８】図８は、１つの実施形態による、パラメータ最適化手順のフローチャートを描写する。
【図９】図９は、１つの実施形態による、ロボットの把持技術を査定する方法のフローチャートを描写する。
【発明を実施するための形態】
【００４５】
種々の実態が、その一部を形成し、そして具体的な例示的実施形態を示す、添付図面を参照して、以下により完全に説明される。しかしながら、本開示の概念は、多くの異なる形態で実装されてもよく、本明細書に述べられる実施形態に限定されるように解釈されるべきではなく、むしろ、これらの実施形態は、徹底的かつ完全な開示の一部として開示され、当業者に本開示の概念、技術、および実装の範囲を完全に伝達する。実施形態は、方法、システム、またはデバイスとして実践されてもよい。故に、実施形態は、ハードウェア実装、完全なソフトウェア実装、またはソフトウェアおよびハードウェア側面を組み合わせる実装の形態を呈してもよい。したがって、以下の詳細説明は、限定する意味として理解されないものとする。
【００４６】
本明細書における「１つの実施形態」または「ある実施形態」という言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、本開示による、少なくとも１つの例示的実装または技術内に含まれることを意味する。本明細書の種々の位置での「１つの実施形態では」の出現は、必ずしも全て同一の実施形態を指すわけではない。
【００４７】
後に続く説明のいくつかの部分は、コンピュータメモリ内に記憶される非一過性信号上の動作の象徴的表現の観点からもたらされる。これらの説明および表現は、データ処理分野における当業者によって使用され、その研究の内容を他の当業者に最も効率的に伝達する。そのような動作は、典型的には、物理量の物理的操作を要求する。通常、必ずしもというわけではないが、これらの量は、記憶、転送、組み合わせ、比較、そして別様に操作されることが可能である、電気、磁気、または光学信号の形態を呈する。主として、一般的な使用の理由のために、これらの信号を、ビット、値、要素、記号、文字、項、数、または同等物と称することは、時として、便宜的である。さらに、物理量の物理的操作を要求するステップのある配列を、モジュールまたはコードデバイスと称することもまた、時として、一般性を失うことなく、便宜的である。
【００４８】
しかしながら、これらおよび同様の用語は全て、適切な物理量と関連付けられるべきであり、これらの量に適用される単なる便宜的な標識にすぎない。具体的に、以下の議論から明白なものとして別様に述べられない限り、説明全体を通して、「処理する」または「算出する」または「計算する」または「決定する」または「表示する」または同等物等の用語を利用する議論は、コンピュータシステムメモリまたはレジスタ、または他のそのような情報記憶、伝送、または表示デバイス内に物理（電子）量として表されるデータを操作および変換させる、コンピュータシステムまたは同様の電子コンピューティングデバイスの作用およびプロセスを指す。本開示の一部は、ソフトウェア、ファームウェア、またはハードウェア内に具現化され得、そしてソフトウェア内に具現化されるとき、ダウンロードされ、種々のオペレーティングシステムによって使用される異なるプラットフォーム上に常駐し、そしてそれから動作され得る、プロセスと、命令とを含む。
【００４９】
本開示はまた、本明細書の処理を実施するための装置に関する。この装置は、要求される目的のために特別に構成されてもよい、または選択的にアクティブ化された、またはコンピュータ内に記憶されたコンピュータプログラムによって再構成された汎用コンピュータを備えてもよい。そのようなコンピュータプログラムは、限定ではないが、フロッピー（登録商標）ディスク、光学ディスク、ＣＤ−ＲＯＭ、光磁気ディスク、読取専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気または光学カード、特定用途向け集積回路（ＡＳＩＣ）を含む任意のタイプのディスク、または電子命令を記憶するために好適な任意のタイプの媒体であって、それぞれが、コンピュータシステムバスに結合され得る媒体等の、コンピュータ可読記憶媒体内に記憶されてもよい。さらに、本明細書に言及されるコンピュータは、単一のプロセッサを含んでもよい、または増加する計算能力のために複数のプロセッサ設計を採用するアーキテクチャであってもよい。
【００５０】
本明細書に提供されるプロセスおよびディスプレイは、本質的に、いかなる特定のコンピュータまたは他の装置とも関連しない。種々の汎用システムが、本明細書の教示によるプログラムと併用されてもよい、またはより特殊な装置を構築し、１つ以上の方法ステップを実施することが、便宜的であることが証明され得る。種々のこれらのシステムのための構造が、以下の説明において議論される。加えて、本開示の技術および実装を達成するために十分である、任意の特定のプログラミング言語が、使用されてもよい。種々のプログラミング言語が、本明細書に議論されるように、本開示を実装するために使用されてもよい。
【００５１】
加えて、本明細書に使用される言語は、主として、可読性および指導的目的のために選択されており、開示される主題を境界または範囲を定めるために選択されてはいない場合がある。故に、本開示は、本明細書に議論される概念の範囲を例証しているものであり、そしてそれを限定するものではないことが意図される。
【００５２】
本明細書に説明される種々の実施形態は、ロボットの把持技術を査定するためのシステム、方法、およびデバイスに関する。これらのロボットマニピュレータは、倉庫設備等の設備内に位置してもよく、設備内の物品を把持する、移動させる、または別様にそれと相互作用することに関連する、種々の仕事を割り当てられてもよい。
【００５３】
本明細書に説明される種々の実施形態の特徴が、使用され、受信センサデータを分析することによってロボットの把持技術を査定し、ロボットマニピュレータが物品を正常に把持したかどうかを決定してもよい。これは、ロボットマニピュレータによって実装される種々の技術を改良し、それらの処理能力を拡張させることに役立ち得る。
【００５４】
倉庫設備の文脈において説明されているが、本明細書に説明される種々の実施形態の特徴は、任意の他のタイプの環境内に実装される、および／または物品が、把持、操作、または別様に種々の場所におよび／またはそこから移動される必要がある、任意の他のタイプの用途のために使用されてもよい。種々の実施形態の特徴は、例えば、小売業環境、建設環境、および政府または軍事用活動において実装されてもよい。
【００５５】
本明細書に説明されるロボットマニピュレータは、物品を把持、ピッキング、操作、移動、または別様にそれと相互作用するために使用される任意の種類のロボットデバイスを指してもよい。いくつかの実施形態では、これらのロボットマニピュレータは、１つ以上の（例えば、空気圧式または油圧式の）アクチュエータによって制御される一連のアームデバイス、および／または物品を把持するためのエンドエフェクタデバイスを伴って動作可能に構成される、伸縮自在な区分を含んでもよい。例えば、図１は、アームデバイス１０４と、エンドエフェクタ１０６とを伴うロボットマニピュレータ１０２の写真１００を示す。この実施形態では、エンドエフェクタ１０６は、ハンドデバイスとして構成されてもよい。また、物品およびロボットマニピュレータ１０２の周囲の環境に関する画像データを採集するためのセンサデバイス１０８が、図１に示される。
【００５６】
ロボットマニピュレータは、インフラストラクチャ管理システムとインターフェース接続し、物品を回収し、把持試行を行ってもよい。例えば、ロボットマニピュレータが、訓練用の特定の物品に関する要求を伝送し、インフラストラクチャ管理システムが、それを受信してもよい。インフラストラクチャ管理システムは、要求された物品をマニピュレータに送達することによって、要求に応答してもよい。ロボットマニピュレータは、次いで、要求された物品に対して１つ以上の把持試行を実施してもよい。物品は、次いで、マニピュレータが把持試行を実行した後、その送達場所またはインフラストラクチャ管理システムに戻されてもよい。したがって、この方法は、把持される物品を選択し、インフラストラクチャ管理システムとインターフェース接続し、把持試行を実施し、そして把持試行結果を分析し、それを活用するための種々の方法を提供する。
【００５７】
図２は、１つの実施形態による、ロボットの把持技術の査定を訓練するためのシステム２００を図示する。システム２００は、１つ以上のネットワーク２０８を経由してロボットマニピュレータ２０４およびインフラストラクチャ管理システム２０６と通信する、ピッキング協調システム２０２を含んでもよい。
【００５８】
ネットワーク２０８は、種々のタイプのネットワーク接続を用いて種々のデバイスと連結してもよい。ネットワーク２０８は、インターネット、イントラネット、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、広域ネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ストレージエリアネットワーク（ＳＡＮ）、フレームリレー接続、高度インテリジェントネットワーク（ＡＩＮ）接続、同期光通信網（ＳＯＮＥＴ）接続、デジタルＴ１、Ｔ３、Ｅ１、またはＥ３ライン、デジタルデータサービス（ＤＤＳ）接続、デジタル加入者回線（ＤＳＬ）接続、イーサネット（登録商標）接続、総合デジタル通信網（ＩＳＤＮ）ライン、Ｖ．９０、Ｖ．３４、またはＶ．３４ｂｉｓアナログモデム接続等の電話回線ポート、ケーブルモデム、非同期転送モード（ＡＴＭ）接続、光ファイバ分散データインタフェース（ＦＤＤＩ）接続、銅線分散データインタフェース（ＣＤＤＩ）接続、または光／ＤＷＤＭネットワークのうちの任意の１つ以上のものから成ってもよい、またはそれにインターフェース接続してもよい。
【００５９】
ネットワーク２０８はまた、ワイヤレスアプリケーションプロトコル（ＷＡＰ）リンク、Ｗｉ−Ｆｉリンク、マイクロ波中継装置、汎用パケット無線サービス（ＧＰＲＳ）リンク、グローバルシステムフォーモバイルコミュニケーションＧ（ＳＭ）リンク、符号分割多元接続（ＣＤＭＡ）リンク、または携帯電話チャネル、全地球測位システム（ＧＰＳ）リンク、セルラーデジタルパケットデータ（ＣＤＰＤ）リンク、リサーチインモーション社（ＲＩＭ）デュプレックスページングタイプデバイス、Ｂｌｕｅｔｏｏｔｈ（登録商標）無線リンク、またはＩＥＥＥ  ８０２．１１系リンク等の、時分割多元接続（ＴＤＭＡ）リンクのうちの任意の１つ以上のものから成る、それを含む、またはそれとインターフェース接続してもよい。
【００６０】
ピッキング協調システム２０２は、複数のロボットマニピュレータ２０４を監視、命令、監督、および／または維持する、（例えば、クラウド系の）ネットワーク化されたシステムとして作用してもよい。ピッキング協調システム２０２は、適切なときに、任意のソフトウェア更新を提供してもよく、例えば、システム２００の種々の構成要素の機能を同様に監視してもよい。ピッキング協調システム２０２はまた、把持データおよびセンサデータを収集してもよく、収集データを分析し、ロボットマニピュレータ２０４の将来の性能を改良してもよい。
【００６１】
ロボットマニピュレータ２０４は、図１のロボットマニピュレータ１０２と同様であってもよい。ロボットマニピュレータ２０４は、１つ以上のアームデバイス２１０と、１つ以上のエンドエフェクタ２１２と、プロセッサ２１４と、メモリ２１６と、センサデバイス２１８と、輸送デバイス２２０と、インターフェース２２２とを伴って構成されるように示される。
【００６２】
アームデバイス２１０は、エンドエフェクタ２１２を位置付け、物品を把持してもよい。アームデバイス２１０は、（例えば、油圧式または空気圧式の）アクチュエータまたは伸縮自在な区分等の、１つ以上の機械的または電気的にアクティブ化された部分を含んでもよい。これらの実施形態では、ロボットマニピュレータ２０４は、任意の要求されるリザーバ、弁、ポンプ、アクチュエータ、または同等物を伴って構成されてもよい。
【００６３】
１つ以上のエンドエフェクタ２１２は、アームデバイス２１０に動作可能に取り付けられてもよい。いくつかの実施形態では、図１の写真１００におけるもののように、エンドエフェクタ２１２は、物品を把持する、または別様にそれと相互作用するための複数の「フィンガ」部分を伴うハンドデバイスとして構成されてもよい。
【００６４】
他の実施形態では、エンドエフェクタ２１２は、吸引デバイスとして構成されてもよい。これらの実施形態では、吸引デバイスは、要求される管、ポンプ、または同等物を伴って動作可能に接続され、物品を把持するために要求される吸引力を作成してもよい。
【００６５】
他の実施形態では、エンドエフェクタ２１２は、１つ以上の磁気デバイスとして構成されてもよい。これらの実施形態では、ロボットマニピュレータ２０４は、任意の要求されるソレノイドまたは電気機器を伴って構成され、物品を把持するために要求される磁力を生成してもよい。これらの実施形態は、当然ながら、その磁気を帯びている物品の用途に好適である。
【００６６】
さらに他の実施形態では、エンドエフェクタ２１２は、粘着性物質または材料を伴って構成されてもよい。例えば、エンドエフェクタ２１２は、物品を把持するための面ファスナを伴って構成されてもよい。
【００６７】
上記の構成は、例示的にすぎない。他のタイプのエンドエフェクタおよび構成は、現在利用可能であるか、またはその後発明されるかどうかにかかわらず、本明細書に説明される種々の実施形態の特徴が遂行され得る限り、使用されてもよい。
【００６８】
プロセッサ２１４は、メモリ２１６上に記憶される命令を実施し、ロボットマニピュレータ２０４を制御し、１つ以上の把持試行を実施することが可能である、任意のハードウェアデバイスであってもよい。プロセッサ２１４は、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）、または他の同様のデバイスであってもよい。いくつかの実施形態では、１つ以上のＡＳＩＣに依拠するもの等、部分的に、ソフトウェアを介して提供されているものとして説明される機能性が、代わりに、ＡＳＩＣの設計の中に構成され得、したがって、関連付けられるソフトウェアが、省略され得る。
【００６９】
メモリ２１６は、Ｌ１、Ｌ２、Ｌ３キャッシュ、ＲＡＭメモリ、またはハードディスク構成であってもよい。メモリ１１２は、前述で議論されたように、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、ＲＯＭ、およびＰＲＯＭ等の不揮発性メモリ、またはスタティックまたはダイナミックＲＡＭ等の揮発性メモリを含んでもよい。メモリ２１６の厳密な構成／タイプは、当然ながら、少なくとも把持試行を実施するための命令が、プロセッサ２１４によって実行され得る限り変動し得る。
【００７０】
ロボットマニピュレータ２０４は、１つ以上のセンサデバイス２１８を伴って構成され、少なくとも、その中に位置する物品を含むロボットマニピュレータの環境、および把持試行の結果、すなわち、把持試行が成功したか、またはそうでなかったかどうかに関するデータを採集してもよい。
【００７１】
このセンサデータは、把持されるべき物品の場所、物品の配向（例えば、物品が横倒しの状態であるかどうか等）、物品の形状、物品のサイズに関するデータ、または把持試行の実行に役立ち得る他のデータを含んでもよい。センサデバイス２１８はまた、把持試行が成功したかどうかの決定に役立つデータを採集してもよい。
【００７２】
いくつかの実施形態では、センサデバイス２１８は、立体カメラまたは電荷結合素子カメラ等の１つ以上のカメラを含んでもよい。他の実施形態では、センサデバイス２１８は、ロボットマニピュレータ２０４および物品に対して動作可能に位置付けられたライダカメラデバイスを含んでもよい。他の実施形態では、センサデバイス２１８は、赤外線またはソナー撮像デバイスを含んでもよい。ロボットマニピュレータ２０４（すなわち、プロセッサ２１４）はまた、任意の要求されるコンピュータビジョンまたは他の画像処理ツールを含む、または別様にそれを実行してもよい。
【００７３】
画像採集デバイスに加え、またはそれの代わりに、センサデバイス２１８が、圧力または圧電性センサデバイス、または適切に位置付けられた測量計を含んでもよい。これらのタイプのセンサデバイス２１８は、（例えば、エンドエフェクタデバイス２１２を伴う）ロボットマニピュレータ２０４の一部として実装され、物品によってもたらされる任意の力を測定してもよい。例えば、エンドエフェクタ２１２が、物品を把持し、物品を手放さないでいる場合、エンドエフェクタ２１２を伴って構成された任意の圧電性センサ上の力は、エンドエフェクタ２１２が物品を把持し、そして保持していることを示すレベルまで増加し得る。そのような力が検出されない場合、エンドエフェクタ２１２が、特定の把持方略を実行することによって、物品を把持しなかった、または保持していないと結論付けられてもよい。
【００７４】
輸送デバイス２２０が、ロボットマニピュレータ２０４が環境内の種々の場所に、そしてそこから移動することを可能にしてもよい。例えば、ロボットマニピュレータ２０４は、それが異なる場所から物品を採集するための倉庫内で進行することを可能にする、複数の車輪およびモータを含んでもよい。例えば、図３は、倉庫等の環境内のロボットマニピュレータ３０２の写真３００を描写する。ロボットマニピュレータ３０２はまた、輸送デバイス３０４を伴って構成されるように図示される。輸送デバイス３０４は、ロボットマニピュレータ３０２が、環境の至るところに進行し、種々の場所において把持試行を実行することを可能にする。
【００７５】
インターフェース２２２は、ロボットマニピュレータ２０４がピッキング協調システム２０２およびインフラストラクチャ管理システム２０６とインターフェース接続することを可能にしてもよい。このように、ロボットマニピュレータ２０４は、他のシステム構成要素と命令を交換し、そして把持試行に関するデータを提供することができる。
【００７６】
インフラストラクチャ管理システム２０６は、種々の実施形態による、ロボットマニピュレータ２０４の訓練に関する種々のサブシステムを含む、または別様にそれを実行してもよい。これらのサブシステムは、自動倉庫システム（ＡＳＲＳ）２２４と、倉庫制御ソフトウェア２２６と、倉庫管理システム（ＷＭＳ）２２８と、管理ソフトウェア自動化システム（ＷＳＡＳ）２３０とを含んでもよい。
【００７７】
ＡＳＲＳ２２４は、概して、物品が装填または装填解除され得るステーション間に存在するシャトルまたはコンベヤに依拠する物品を移動させるための自動化システムであってもよい。そのようなシステムは、概して、保管ラック、およびラックの中に、そしてそこから外に容器を移動させるシャトルカートを伴うガントリのセットから成ってもよい。
【００７８】
物品にアクセスするために、システム２００は、割り当てられた保管場所からそれを回収し、相互作用場所に移動させる。相互作用場所は、物品が、箱、容器、棚等からピッキング／把持されることができる場所であってもよい。
【００７９】
ＷＣＳ２２６は、インターフェースを介して、これらのステーションを制御し得、そしてＡＳＲＳシステム２２４にコマンドし、後の回収のために物品を保管し、かつ／または倉庫から物品を回収することができる。インターフェースは、一連の論理回線、シリアルポート、パラレルポート、またはＣＡＮ、イーサネット（登録商標）、Ｍｏｄｂｕｓ、または同等物等のネットワークアーキテクチャであってもよい。加えて、ある物品に特有の識別情報が、このインターフェースを経由して送信され、ＡＳＲＳ２２４に、具体的な物品をステーションに送出させる、または倉庫に物品を送出させることができる。
【００８０】
ＷＣＳ２２６は、より下位レベルの作業を制御するソフトウェアを含む、または別様にそれを実行してもよい。これらの作業は、ＷＭＳ２２８からコマンドを受信するステップと、それを他のシステム構成要素のための実行可能な制御信号に変換するステップとを含んでもよい。例えば、ＷＣＳ２２６は、どのコンベヤを作動させるか、シャトルをどこに送出して容器を回収し、信号伝達してインターフェースライトをアクティブ化させるか、または同等の内容等のコマンドを発行してもよい。
【００８１】
ＷＭＳ２２８は、在庫および倉庫リソースを管理するソフトウェアシステムを含んでもよい。これは、概して、受注を処理するステップ、補充を追跡およびトリガするステップ、在庫を相互作用ポイントに輸送するステップ、または同等のステップを含んでもよい。
【００８２】
ＷＳＡＳ２３０は、倉庫業務を管理するために使用される、ハードウェアおよびソフトウェアを含む、または別様にソフトウェアを実行してもよい。これらは、ＷＣＳ２２６、ＷＭＳ２２８、および他の自動化ハードウェアを含んでもよい。
【００８３】
いくつかの実施形態では、ピッキング協調システム２０２は、システム２００の動作を制御し、そして試験手順を開始／停止させてもよい。しかしながら、他の実施形態では、倉庫従業員等のオペレータが、システム２００の種々の構成要素の動作を制御してもよい。オペレータは、例えば、ネットワーク化コンピュータまたはクラウド系サービスを使用して、コマンドを発行してもよい。
【００８４】
試験（すなわち、訓練）手順は、活動休止期間の間に生じてもよい。例えば、倉庫環境は、１日または１週間のある部分の間に能動的な商品物流業務のために使用されてもよい。他の期間の間には、倉庫は、その際に発生している物流業務が存在しない、活動休止状態になり得る。
【００８５】
この活動休止の期間の間に、ピッキング協調システム２０２が、具体的な物品に対する要求をインフラストラクチャ管理システム２０４に送信してもよい。具体的には、これらの要求が、ＡＳＲＳ２２４およびＷＭＳ２２８に通信されてもよい。
【００８６】
ロボットマニピュレータ２０４によって試験されるべき物品または物品のタイプに影響を及ぼし得る、いくつかの基準またはファクターが存在し得る。ピッキング協調システム２０２は、例えば、平均より高い把持エラー率を有する物品を選択し得る。または、ピッキング協調システム２０２は、所定の期間内に試験されていない物品を選択し得る。個別に、または組み合わせられて考慮される、試験のために選択される物品または物品のタイプに影響を及ぼし得るいくつかの異なるファクターが、存在し得る。いくつかの実施形態では、当然ながら、物品は、注文を満足させるために選択されてもよい。
【００８７】
本要求が、ＷＭＳ２２８に通信され得る。ＷＭＳ２２８は、次いで、適切なコマンドをＡＳＲＳ２２４に送信し、次いで、容器または他のタイプの物品容器を相互作用ポイントに移動させてもよい。
【００８８】
本願の文脈では、「相互作用ポイント」は、ロボットマニピュレータ２０４が把持試行を実行する場所を指す。「グッズトゥピッカー」ワークフローでは、物品は、第１の場所（倉庫等）からロボットマニピュレータ２０４の相互作用ポイントに移動され得る。
【００８９】
例えば、図４は、物品の箱４０２が、コンベヤベルトの輸送システム４０６を介してロボットマニピュレータ４０４にもたらされる、相互作用ポイント４００を図示する。いったん物品が相互作用ポイント４００にもたらされると、ロボットマニピュレータ４０４が、把持試行を実行し、それらを発送のためまたはさらなる保管のための容器４０８の中に設置し得る。
【００９０】
前述で議論されたように、ロボットマニピュレータ２０４はまた、相互作用ポイントに進行し、物品を把持してもよい。そのために、ロボットマニピュレータ２０４は、図３に示されるもの等の輸送デバイス２２０を伴って構成されてもよい。
【００９１】
いったんロボットマニピュレータ２０４および把持されるべき物品が、相互作用ポイントにもたらされると、ロボットマニピュレータ２０４は、把持方略に従って、１回以上の把持試行を実施してもよい。ロボットマニピュレータ２０４は、いくつかの把持試行を実施し、特定の把持方略の有効性を決定してもよい。
【００９２】
本願の文脈では「把持方略」は、ロボットマニピュレータ２０４が把持試行を実行する方法を定義する、ステップ、移動、印加力、アプローチ、および他の特性を指す。これらの作用はまた、感知作用、信号処理作用、計画、実行、確認およびこれらの作用の全てのパラメータを含み得る。
【００９３】
図２に戻って参照すると、ピッキング協調システム２０２は、メモリ２３４上に記憶される命令を実行し、分析モジュール２３６を提供するプロセッサ２３２を伴って構成されてもよい。ピッキング協調システム２０２のプロセッサ２３２は、上記に説明されたロボットマニピュレータ２０４のプロセッサ２１４と同様に構成されてもよい。
【００９４】
プロセッサ２３２は、メモリ２３４上に記憶される命令を実行し、分析モジュール２３６を提供し、ロボットマニピュレータ２０４によって実行されるべき把持方略を生成してもよい。例えば、分析モジュール２３６は、アームデバイス２１０およびエンドエフェクタ２１２が物品に接近すべき方法、エンドエフェクタ２１２が開くべきその「手」の幅、画像が処理されるべき方法、物品を把持するためにエンドエフェクタ２１２によって生成されるべき力の量等の把持方略の種々のパラメータを定義し得る。生成された把持方略を定義するパラメータおよび命令は、次いで、実行のためにロボットマニピュレータ２０４に通信されてもよい。
【００９５】
システム２００、すなわち、ピッキング協調システム２０２は、いくつかの基準を使用し、把持試行を実施する時期を決定することができる。それは、オペレータから明示的なコマンドを受信し、把持試行の実行を開始／停止することができ、かつ／または夜間または他の活動休止期間の間等の、設定可能な時間窓を使用することができる。それはまた、他の基準の中でも、休止期間の間、またはＷＭＳ２２８から在庫の最新情報を受信するとき等の、局所的な評価された基準を使用することができる。ロボットマニピュレータ２０４はまた、注文を満足させるために必要であるように、把持試行を実施してもよい。
【００９６】
同様に、システム２００は、ＡＳＲＳ２２４またはＷＭＳ２２８からの具体的な割込信号等の種々の基準に基づいて、任意の試験、把持試行、およびデータ採集手順を中止することができる。システム２００は、次いで、元の物流ピッキング動作の実施に戻ってもよい。システム２００はまた、日和見的に動作し、着目物品が、注文を満足させるためにシステム２００にもたらされたときに、それを試験してもよい。
【００９７】
プロセスの試験を実行するために、ピッキング協調システム２０２は、ＡＳＲＳ２２４に通信し、採集されるべき物品を示し得る。システム２０２はまた、把持能力試験プロセス内で使用される、いくつかの異なる配列の容器を通信してもよい。これは、物品をピッキングするための宛先と同一の容器または別の容器を回収するステップを含み得る。
【００９８】
加えて、または代替として、ロボットマニピュレータ２０４は、データ採集プロセス全体を通して、相互作用ポイントにおいて同一の容器を確保することができる。物品が、次いで、ピッキングされ得、把持の成功および／または安定性が、決定され得、物品が、同一の容器に戻され得る。これは、物品を在庫に戻すプロセスを単純化させるため、有利である。
【００９９】
図５は、１つの実施形態による、グッズトゥピッカーワークフローのフローチャート５００を図示する。この実施形態では、ピッキング協調システム２０２は、倉庫ソフトウェア自動化システム２３２に１つ以上の物品要求を発行し得る。具体的には、任意の要求が、商品注文をも受信し得る、適切な倉庫ソフトウェア５０２によって受信され得る。
【０１００】
本要求は、倉庫内の物品の場所を示してもよい。加えて、または代替として、倉庫ソフトウェア５０２は、図２のデータベースモジュール２３８を検索し、要求された物品の場所を習得してもよい。任意の適切なグッズトゥピッカー自動化システム５０４が、次いで、要求された物品を第１の場所（例えば、倉庫）から第２の場所（例えば、相互作用ポイント）のロボットマニピュレータ２０４に輸送してもよい。この実施形態では、ロボットマニピュレータ２０４は、定常状態のピッカーロボットである。
【０１０１】
ピッキング協調システム２０２は、任意の時間に、ロボットマニピュレータ２０４に把持方略を通信し得る。いったん物品がロボットマニピュレータ２０４にもたらされると、ロボットマニピュレータ２０４は、方略を実行することができる。
【０１０２】
図６は、ピッカートゥグッズワークフローのフローチャート６００を図示する。この実施形態では、ピッキング協調システム２０２は、倉庫ソフトウェア自動化システム２３２に１つ以上の物品要求を発行し得る。具体的には、任意の要求が、商品注文をも受信し得る、適切な倉庫ソフトウェア６０２によって受信され得る。
【０１０３】
本要求は、倉庫内の物品の場所を示してもよい。加えて、または代替として、倉庫ソフトウェア６０２は、図２のデータベースモジュール２３８を検索し、要求された物品の場所を習得してもよい。ピッカートゥグッズスケジューラ６０４が、次いで、ロボットマニピュレータに命令し、物品に進行させてもよい。図２におけるように、ロボットマニピュレータ２０４は、輸送デバイスを伴って構成され、ロボットマニピュレータ２０４を第１の場所から物品を保管する第２の場所（例えば、相互作用ポイント）に輸送してもよい。
【０１０４】
ピッキング協調システム２０２は、任意の時間に、ロボットマニピュレータ２０４にピッキング方略を通信し得る。ロボットマニピュレータ２０４（この実施形態では、モバイルピッカーロボットである）は、いったん物品に進行すると、把持試行を実施することができる。
【０１０５】
物品が、固定状態または可動状態のいずれか一方でロボットマニピュレータ２０４に手動でもたらされ得ることに留意されたい。オペレータは、ピッキング／試験されるべき複数の容器または物品容器をマニピュレータ２０４に提供することができる、またはオペレータは、マニピュデータ２０４を棚、容器のラック、または同様に、保管手段上の複数の場所に指向させることができる。
【０１０６】
把持されるべき物品の選択は、ピッキング協調システム２０２、ロボットマニピュレータ２０４、倉庫ソフトウェア自動化システム２３０、または人間のオペレータによって成されることができる。ロボットマニピュレータ２０４は、把持試行の一部として、物品を元の容器に戻す、または新たな容器に移送してもよい。オペレータは、ロボットマニピュレータ２０４に物品に関する情報を通信し得る、またはしない場合があり、採集データは、ピッキング協調システム２０２および／またはインフラストラクチャ管理システム２０６に手動または自動的に転送され得る。このデータは、次いで、任意の好適なデータベース、またはクラウド系ピッキング協調システム２０２と統合され、将来のピッキング動作を改良し得る。
【０１０７】
ロボットマニピュレータ２０４は、次いで、任意の数の物品に対して把持試行を実施し得る。概して、実行は、ロボットマニピュレータが、容器内の物品を撮像するステップと、任意の要求される感知、信号伝達、または画像処理を実施し、把持されるべき１つ以上の物品を定義するステップと、１つ以上のパラメータに従って物品を把持するよう試みるステップと、把持試行を評価する（例えば、物品が正常に持ち上げられたかどうかを決定する）ステップと、そして随意に、エンドエフェクタ２１２および物品を振動させ、外乱下での安定性を決定するステップを伴う。
【０１０８】
いくつかの実施形態では、把持方略は、把持プロセスの部分的な実行を伴うのみであり得る。例えば、いくつかの把持方略は、プロセスの一部の撮像を要求し、選択されるセンサデバイス２１８を用いて、具体的な物品が、良好に撮像され得る程度を明らかにするのみであり得る。これらの部分的な把持方略はまた、信号および／または画像処理ステップ、および把持計画側面を含み、対応する構成要素が良好に実施し得る程度を査定し得る。
【０１０９】
いくつかの実施形態では、把持方略は、物品を把持するステップを伴い得るが、それを持ち上げるステップは伴わない場合がある。これは、触覚センサ信号に関する役立つ情報を提供し得る。他の実施形態では、把持方略はまた、物品を持ち上げるステップを伴い得る。物品が持ち上げられたかどうかを決定するために、エンドエフェクタが撮像され、物品が正常に持ち上げられたかどうかを判断し得る。
【０１１０】
加えて、または代替として、エンドエフェクタ２１２またはアームデバイス２１０を伴って構成される、任意のセンサデバイス２１８が、物品重量を検出することができる。同様に、物品が、この目的のために提供される測量計上に設置され得る。または、出発地または目的地の容器の下に、またはそれにわたって位置するセンサデバイスであって、物品が該容器の上から除去されたかまたは該容器に設置されたかを検出するためのセンサデバイスが、存在してもよい。
【０１１１】
いくつかの実施形態では、ロボットマニピュレータ２０４は、物品の非把持能力調査を実施するように構成されてもよい。本願の文脈では、「非把持能力調査」は、把持する意図のない、物品に接触する作用を指し得る。非把持能力調査は、物品に関する付加的な見解の生成または物品較正および／または物体剛度または材料の確認に有用であり得る。
【０１１２】
いくつかの実施形態では、把持方略は、容器内の物品を「撹拌」する、または容器を傾斜させるステップを伴い、物品が相互に、そして容器壁と相互作用する方法を決定し得る。また、センサデバイス２１８を使用した、バーコードまたは他の標識の検出および位置特定は、標的物品の移動に関する情報を提供することができる。
【０１１３】
ロボットマニピュレータ２０４およびそのセンサデバイス２１８が、試験の間に種々のデータを採集し得る。このデータは、試行が成功したかどうか等の、物品および把持試行に関する画像データを含んでもよい。この画像データは、モノクロ、カラー、ハイパースペクトル、深度／点群、および他のタイプのデータ、およびその組み合わせを含み得る。採集される画像データのタイプは、当然ながら、センサデバイス２１８のタイプおよび構成に応じて変動し得る。
【０１１４】
加速度計、ジョイントエンコーダ、および電位差計等のセンサデバイスが、アームデバイス２１０および輸送デバイス２２０の空間位置および運動に関するデータを採集し得る。ロボットマニピュレータ２０４内に位置する、または別様にそれを伴って構成される、力トルクセンサまたは触覚センサ等のセンサデバイスは、印加力および物品質量に関するデータを採集し得る。
【０１１５】
加えて、システム２００は、物品の幾何学形状情報を採集するために、ロボットマニピュレータ２０４を伴って構成されるかまたはその外部にあるスキャナを含み得る。これらのスキャナは、三角測量方式、立体撮像、または同等物に基づいて動作してもよい。これらのスキャナまたは他のタイプのセンサデバイス２１８は、把持成功率および把持安定性の推定のために使用されるデータに関するデータを採集してもよい。
【０１１６】
把持試行の結果として収集されるデータは、データベースモジュール２３８内で記憶され、ピッキング協調システム２０２およびインフラストラクチャ管理システム２０６に通信されてもよい。分析モジュール２３６はさらに、このデータを処理し、ロボットマニピュレータ２０４の予期される将来の性能を特徴付けてもよい。例えば、このデータは、特定の把持方略を前提とした、特定の物品に関するピッキング時間、エラー率、または同等物に関する見識を提供し得る。
【０１１７】
このデータは、オペレータまたは他の関係者に通信され、オペレータに把持の失敗およびそのような失敗の理由を通知し得る。この情報は、次いで、性能を改良するために役立ち得る。例えば、比較的に高いエラー率を伴う物品または把持方略は、より多くの場合、将来の試験のために選択され、将来の把持方略またはそのパラメータは、性能を改良しようとして改変され得る。変更され得るパラメータは、例えば、ビジョンセグメント化、モデル構築、把持する場所の選択／計画、把持制御、または同等物を含み得る。
【０１１８】
図７は、試験の間のデータの流れを示す、フローチャート７００を描写する。具体的には、図７は、物品選択およびデータ採集の間に、１つ以上の最適化アルゴリズムが、分析モジュール２３６によって実行され、把持方略のパラメータを最適化し得ることを示す。
【０１１９】
ステップ７０２では、ピッキング協調システム２０２が、データベースモジュール２３８内に記憶される統計値に基づいて、試験のための１つ以上の物品を選択する。図７では、ピッキング協調システム２０２が、最小在庫管理単位（ＳＫＵ）に関する統計値を採集し、そしてそれに基づいて物品を要求し得ることに留意されたい。ＳＫＵは、特定の物品またはタイプの物品に関する識別呼称を指し得る。
【０１２０】
１つ以上のＳＫＵが、以前の把持試行の結果に基づいて選択され得る。例えば、特定のＳＫＵ（すなわち、物品）が、高い失敗率を有する（すなわち、比較的に低い把持成功量しか存在していない）場合、その物品は、試験のための好適な候補であり得る。
【０１２１】
ステップ７０４は、反復して物品をピッキングするステップ、または別様に反復して物品を把持するように試みるステップを伴う。反復試行は、１つ以上のパラメータによって定義される把持方略に従って行われ得る。
【０１２２】
ステップ７０６は、把持試行から結果として生じる新たなデータの受信に応じて、１つ以上のパラメータを更新するステップを伴う。理想的には、更新パラメータは、把持性能を改良するために役立つであろう。
【０１２３】
例えば、１つの特定の把持方略は、センサデータに基づいて、把持が失敗するであろうかどうかを予測する、習得された分類指標を有し得る。この分類指標のパラメータは、新たなピッキング試行およびその成功率に基づいて調整され得る。任意の要求された分析が、プロセッサ２１４および／または２３２または局所的な設備内の構成要素上で局所的に実施されることができる。
【０１２４】
代替として、データが、遠隔分析およびデータマイニングのために、中央サーバまたはクラウドサーバにアップロードされることができる。これらのサーバは、例えば、ロボットマニピュレータ供給業者および／またはＡＳＲＳ２２４またはＷＭＳ２２８オペレータによって提供され得る。
【０１２５】
本明細書に説明される実施形態は、幅広い範囲の機械学習方法を利用し、これらの把持方略パラメータを更新することができる。いくつかの実施形態では、計画モジュール２３６が、収集されたデータ上のあるパラメータ（例えば、フィンガ位置）に関するコスト関数（例えば、成功確率）の勾配を計算し得る。（確率的）勾配降下法として公知であるこの方法は、図８にフローチャート８００として描写される。
【０１２６】
図８では、アルゴリズムパラメータが、
【化１】
2019531907.tif 000003
によって示され、そして物品が把持された、または把持されようと試みられた回数に関し得る現在の信頼パラメータが、成功率の推定値に影響率を及ぼし得る。いったん把持試行が実行されると、予測値は、真の値（物品が正常に把持されたかどうか）と比較され得、適切なパラメータが、この関数の導関数を計算することによって更新され得る。
【０１２７】
深層学習において一般的である、これらの勾配法によるアプローチは、所与の既存の自動微分ツール（例えば、ＴｅｎｓｏｒＦｌｏｗ（Ｒ））を実装することが比較的に容易であり、各パラメータの完全なベイズモデルを要求しない。なお、パラメータを更新するために、他の最適化アルゴリズムも、使用され得る。例えば、マルコフ連鎖、モンテカルロシミュレーション、および変分推論および進化戦略等の手法が、使用され得る。
【０１２８】
方略を新たに計画するためのパラメータが、既存のパラメータに基づいて迅速に推測され得ることに留意されたい。これは、新たな物品が、すでに試験されている物品と同様であるときに、有利であり得る。
【０１２９】
例えば、特定の企業から新たな携帯電話が発売され、以前のモデルと同様のパッケージを含む場合、新たなモデルに対して成功把持のために要求される把持方略は、以前のモデルに対して要求されたものと同様である可能性があるであろう。故に、以前のモデルに対する把持方略およびそれに関する他の情報が、開始点として使用され得る。
【０１３０】
概して、転移学習として公知である、この知識の転移は、新たな方略を「ブートストラップ」するために使用され得る。以前の物品の属性が、次いで、低次元表現メトリック内に組み込まれ得る。したがって、同様の物品のためのパラメータが、新たなパラメータおよび新たな物品のための開始値として、これらのメトリックに依拠し得る。
【０１３１】
これらのブートストラップ手法は、必然的に訓練時間を低減させる。さらに、これらの手法が、使用され、以前の方略と同様のパラメータを有する、新たに開発される計画方略要素（例えば、新たな画像セグメント化アルゴリズム）のためのパラメータを迅速に選択することができる。
【０１３２】
上記に説明された手法に加え、他の機械学習方法が、使用され、本明細書に説明される種々の特徴を遂行してもよい。これらは、クラスタリングおよびサポートベクタマシン等の分類手法と、カルマンフィルタおよび最尤法等の推算方法とを含む。
【０１３３】
図９は、１つの実施形態による、ロボットの把持技術を査定する方法９００のフローチャートを描写する。この方法９００が、実施され、例えば、どの把持技術または方略が、少なくとも特定の物品に対して成功把持試行を産出する可能性があるかを決定してもよい。加えて、または代替として、この方法９００が、実行され、把持試行が成功したかどうかを決定し、該当しない場合、後続の把持試行が実行されるべきであることを決定してもよい。
【０１３４】
ステップ９０２は、倉庫管理システムにコマンドを発行し、ロボットマニピュレータによって把持されるための物品を回収するステップを伴う。いくつかの実施形態では、図２のピッキング協調システム２０２は、このタイプのコマンドを、１つ以上のネットワーク２０８を経由して倉庫管理システム２２８に発行するように構成され得る。
【０１３５】
このコマンドのタイミングは、いくつかの基準の関数であってもよい。例えば、上記で議論されたように、ピッキング協調システム２０２が、このコマンドを発行し、休止状態の期間の間に把持試行を開始し、特定の物品に関する特定の把持方略を試験してもよい。または、ピッキング協調システム２０２は、このタイプのコマンドを発行し、商品注文を満足してもよい。倉庫管理システムは、図２の倉庫管理システム２２８と同様であってもよく、そしてコマンド内で識別される商品を回収することによって、そのような発行コマンドに応答するように構成されてもよい。
【０１３６】
方法９００は、グッズトゥピッカーワークフローまたはピッカートゥグッズワークフローのいずれかと併せて実行されてもよい。故に、以前のタイプのワークフローでは、ピッキング協調システムおよび／または倉庫管理システムが、任意の適切な輸送デバイス（例えば、シェルフユニット、コンベヤベルト等）にコマンド信号を発行し、物品を第１の場所からロボットマニピュレータの相互作用ポイントにもたらし得る。昨今のタイプのワークフローでは、倉庫管理システムおよび／またはピッキング協調システムが、ロボットマニピュレータにコマンド信号を発行し、ロボットマニピュレータに第１の場所から相互作用ポイントにおける物品まで進行させるように命令し得る。
【０１３７】
ステップ９０４は、ロボットマニピュレータに、少なくとも１つの命令を発行し、実行されると、ロボットマニピュレータに回収物品を把持するよう試みさせるステップを伴う。このコマンドは、ピッキング協調システム２０２によって発行されてもよい。本コマンドは、ロボットマニピュレータが把持試行を実行すべき方法を定義するパラメータを含み得んでもよい。例えば、ロボットマニピュレータのエンドエフェクタが、ハンドデバイスである場合、パラメータのうちの１つが、把持試行を実行する前に開放するべき幅を定義してもよい。
【０１３８】
ステップ９０６は、把持試行に関するデータを、少なくとも１つのセンサデバイスから受信するステップを伴う。ロボットマニピュレータおよび／またはそれが把持試行を実施するときのロボットマニピュレータの周囲環境は、１つ以上のセンサデバイスを伴って構成されてもよい。ロボットマニピュレータを伴って構成されるか、またはロボットマニピュレータの外部にあるかに関わらず、これらのセンサデバイスは、動作可能に位置付けられ、把持試行が成功したかどうかを示すデータを採集してもよい。
【０１３９】
これらのセンサデバイスは、任意の要求されるコンピュータビジョンまたは画像処理ツール、トルク力センサ、赤外線センサ、温度計、熱電対、圧力センサ、圧電センサ、重量計、または同等物と併せて使用されるカメラデバイスを含んでもよい。このセンサデバイスの列挙は、例示的にすぎない。現在利用可能であるか、またはその後発明されるかどうかにかかわらず、任意のタイプのセンサデバイスが、把持試行が成功したかどうかを決定するために使用され得るデータを採集することができる限り、使用されてもよい。
【０１４０】
ステップ９０８は、メモリに記憶された分析モジュール実行命令を使用して、受信データを分析し、ロボットマニピュレータが物品を正常に把持したかどうかを決定するステップを伴う。本願の文脈では、把持試行が「成功した」かどうかは、種々の基準に依存し得る。例えば、いくつかの実施形態では、把持試行は、ロボットマニピュレータが、物品を掴み、それを持ち上げ、そしてそれをある場所（例えば、把持試行前の物品の場所、または把持試行前の物品の場所から異なる場所）に設置した場合にのみ、成功したと見なされ得る。他の実施形態では、把持試行は、ロボットマニピュレータが、物品を掴み、それを持ち上げ、そしてそれを落下させずに振動させた場合にのみ、成功したと見なされ得る。他の実施形態では、把持試行は、ロボットマニピュレータが、単に物品に接触した場合に、成功したと見なされ得る。成功した把持試行を定義する基準の上記の列挙は、例示的にすぎず、他の基準が、考慮されてもよいと考えられる。
【０１４１】
述べられるように、分析モジュールは、１つ以上のセンサデバイスからの入力を分析するように構成され、把持試行が成功したかどうかを決定してもよい。分析のために依拠されるセンサデバイスのタイプは、成功した把持に対する基準に依存してもよい。逆に、使用されるセンサデバイスのタイプは、分析が実行され、基準が使用される方法に影響を及ぼし得る。
【０１４２】
成功した把持試行に対する基準が、場所から物品を持ち上げるステップと、それを別の場所に設置するステップとを含む場合、センサデバイスは、物品重量を検出するための一連の測量計を含んでもよい。例えば、シェルフユニットで、または別様に物品の元の場所で構成される測量計が、存在し得る。いったん物品がその元の場所から持ち上げられると、重量の変化が、元の場所における測量計によって検出され得る。この測量計は、図２の分析モジュール２３６等のシステム構成要素と連動してもよい。故に、重量のこの変化は、物品が元の場所から持ち上げられたことを確認し得る。
【０１４３】
ロボットマニピュレータおよび／または第２の場所はまた、重量計を伴って構成されてもよい。したがって、第２の場所で検出される重量の増加は、物品が、第２の場所に設置されたことを示し得る。故に、第２の場所で検出された重量の増加と相まった、第１の場所で検出される重量の減少は、把持試行が成功したことを示し得る。重量計または圧力センサデバイスもまた、エンドエフェクタ等のロボットマニピュレータを伴って同様に構成されてもよい。
【０１４４】
コンピュータビジョン分析ツールはまた、センサデバイスによって採集された画像を分析し、把持試行の結果を決定してもよい。例えば、図２の分析モジュール２３６は、ＳＩＦＴまたはＳＵＲＦ画像分析ツールを実装し、把持試行が成功したかどうかを決定してもよい。分析モジュール２３６が、分析された画像を通して、物品が、その元の場所に留まっていることを検出した場合、分析モジュールは、把持試行が成功しなかったと決定し得る。
【０１４５】
トルクセンサまたは力センサ等の他のタイプのセンサデバイスは、アームデバイスまたはエンドエフェクタを伴って構成されてもよい。いったんエンドエフェクタが物品を把持するように試みると、これらのセンサ上に及ぼされる力は、物品との接触状態から増加するべきである。圧力／力にそのような増加が検出されない場合、図２の分析モジュールは、エンドエフェクタが物品を把持しておらず、把持試行が成功しなかったと決定し得る。
【０１４６】
種々のタイプのセンサデータの分析に関する上記の議論は、例示的にすぎない。種々のタイプのデータを分析するための他の手法が、分析モジュールによって実施され、把持試行が成功したかどうかを決定し得ると考えられる。
【０１４７】
ステップ９１０は、随意であり、ロボットマニピュレータに少なくとも１つの命令を発行し、実施されると、分析モジュールがロボットマニピュレータが物品を正常に把持しなかったと決定したことに応じて、ロボットマニピュレータに回収物品を把持するように試みさせるステップを伴う。言い換えると、ロボットマニピュレータが、物品を正常に把持しなかった場合、ロボットマニピュレータは、１回以上の後続の把持試行を実施し得る。これらの実施形態では、ロボットマニピュレータは、所定の回数分、またはそれが成功した把持試行を実行するまで、把持試行を実施してもよい。
【０１４８】
特定の把持試行が成功した、または成功しなかった理由等の試行に関するデータが、ピッキング協調システム２０２に通信され得る。このデータは、データベースモジュール２３８内に記憶され、および／またはオペレータによって分析され、将来の把持試行を改良するために役立ち得る。
【０１４９】
上記に議論された方法、システム、およびデバイスは、実施例である。種々の構成が、適切であるように、種々の手法または構成要素を省略、代用、または追加してもよい。例えば、代替構成では、本方法が、説明されたものとは異なる順序で実施されてもよく、種々のステップが、追加、省略、または組み合わせられてもよい。また、ある構成に関して説明される特徴は、種々の他の構成内で組み合わせられてもよい。構成の異なる側面および要素が、同様の様式で組み合わせられてもよい。また、技術は進化しており、したがって、要素のうちの多くのものが、実施例であり、本開示または請求項の範囲を限定するものではない。
【０１５０】
本開示の実施形態は、例えば、本開示の実施形態による、ブロック図、および／または方法、システム、およびコンピュータプログラム製品の動作図を参照して上記に説明される。ブロック内に記載された機能／作用は、いかなるフローチャートにも示される順序とは異なる順序で生じ得る。例えば、連続して示される２つのブロックは、伴われる機能性／作用に応じて、実質的に同時に実行されてもよい、または、ブロックは、時として逆の順序で実行されてもよい。加えて、または、代替的に、任意のフローチャートに示されているブロックの全てが実施および／または実行される必要はない。例えば、所与のフローチャートが、機能／作用を包含する５つのブロックを有する場合、５つのブロックのうちの３つだけが、実施かつ／または実行される場合があり得る。この実施例では、５つのブロックのうちの任意の３つが、実施かつ／または実行され得る。
【０１５１】
値が第１の閾値を超過する（または第１の閾値以上の）という叙述は、値が、第１の閾値を僅かに上回る、第２の閾値を満たす、またはそれを超過するという叙述と同等であり、例えば、第２の閾値は、関連システムの分解能内の第１の閾値より高い、１つの値である。値が、第１の閾値を下回る（または、それ以内である）という叙述は、値が、第１の閾値より僅かに低い、第２の閾値を下回る、またはそれに等しいという叙述と同等であり、例えば、第２の閾値は、関連システムの分解能内の第１の閾値より低い、１つの値である。
【０１５２】
具体的な詳細が、説明に与えられ、（実装を含む）実施例の徹底的な理解を提供する。しかしながら、構成は、これらの具体的な詳細なく実装され得る。例えば、周知の回路、プロセス、アルゴリズム、構造、および技術は、構成を曖昧にすることを回避するために不必要な詳細なしに示されている。この説明は、例示的構成を提供するにすぎず、請求項の範囲、適応性、または構成を限定するものではない。むしろ、構成に関する前述の説明は、当業者に、説明された技術を実装するための、実施可能な説明を提供するであろう。種々の変更が、本開示の精神または範囲から逸脱することなく、要素の機能および配列内で成され得る。
【０１５３】
いくつかの例示的構成が説明されたことにより、種々の修正、代替構成、および均等物が、本開示の精神から逸脱することなく使用され得る。例えば、上記の要素は、より大きなシステムの構成要素であってもよく、他の規則が、本開示の種々の実装または技術の用途の上位に存在する、またはそれを別様に修正し得る。また、いくつかのステップが、上記の要素が考慮される前、その間、またはその後に、行われ得る。
【０１５４】
本願の説明および図が提供されたことにより、当業者は、請求項の範囲から逸脱しない、本願内で議論される一般的な発明概念に該当する変形例、修正、および代替実施例を想起し得る。
【図１】
2019531907.tif 000004
【図２】
2019531907.tif 000005
【図３】
2019531907.tif 000006
【図４】
2019531907.tif 000007
【図５】
2019531907.tif 000008
【図６】
2019531907.tif 000009
【図７】
2019531907.tif 000010
【図８】
2019531907.tif 000011
【図９】
2019531907.tif 000012
【国際調査報告】
2019531907.tif 000013