(57)【要約】【解決手段】キッティングシステムが開示されている。様々な実施形態において、キッティングシステムは、実質的に第１方向の第１合力をアイテムに与えるよう構成されている搬送構造と、第１方向は、搬送構造の出発端から、出発端の反対側にあり、アイテムが取得されるピックアップゾーンに関連付けられている到着端までの流れの方向に関連付けられており、ピックアップゾーンに関連付けられているセンサ出力を提供するよう構成されているセンサと、センサ出力に少なくとも部分的に基づいて、搬送構造と、搬送構造に関連付けられている妨害装置との一方または両方に制御入力を提供するように構成されているプロセッサと、を備える。【選択図】図１
2022501275.tif 000002
【特許請求の範囲】
【請求項１】
キッティングシステムであって、
実質的に第１方向の第１合力をアイテムに与えるよう構成されている搬送構造と、前記第１方向は、前記搬送構造の出発端から、前記出発端の反対側にあり、前記アイテムが取得されるピックアップゾーンに関連付けられている到着端までの流れの方向に関連付けられており、
前記ピックアップゾーンに関連付けられているセンサ出力を提供するよう構成されているセンサと、
前記センサ出力に少なくとも部分的に基づいて、前記搬送構造と、前記搬送構造に関連付けられている妨害装置との一方または両方に制御入力を提供するように構成されているプロセッサと、
を備える、システム。
【請求項２】
請求項１に記載のシステムであって、前記搬送構造は、前記到着端よりも前記出発端が高くなっている傾斜搬送面を備える、システム。
【請求項３】
請求項２に記載のシステムであって、前記搬送面は、斜面を備える、システム。
【請求項４】
請求項１に記載のシステムであって、前記搬送面は、コンベヤベルトを備える、システム。
【請求項５】
請求項４に記載のシステムであって、前記制御入力は、前記コンベヤベルトが前記アイテムを前進させる速度を制御する、システム。
【請求項６】
請求項４に記載のシステムであって、前記制御入力は、前記コンベヤベルトが前記アイテムを前進させる時点を制御する、システム。
【請求項７】
請求項１に記載のシステムであって、前記センサは、カメラを含む、システム。
【請求項８】
請求項１に記載のシステムであって、前記センサは、レーザと、トリップワイヤと、バーコード、ＱＲ、または、その他の光学コードのスキャナと、超音波センサと、ＬＩＤＡＲセンサと、熱センサと、重量センサと、力センサと、の内の１または複数を含む、システム。
【請求項９】
請求項１に記載のシステムであって、前記搬送構造は、第１コンベヤベルトを備え、前記妨害装置は、第２コンベヤベルトを備える、システム。
【請求項１０】
請求項９に記載のシステムであって、前記第２コンベヤベルトは、前記第１方向と少なくとも部分的に直交する第２方向に進む、システム。
【請求項１１】
請求項９に記載のシステムであって、前記第２コンベヤベルトは、前記第１方向と少なくとも部分的に反対向きの第２方向に進む、システム。
【請求項１２】
請求項９に記載のシステムであって、前記制御入力は、前記第１コンベヤベルトを第１速度で作動させるための第１コマンドと、前記第２コンベヤベルトを第２速度で作動させるための第２コマンドとの内の一方または両方を含む、システム。
【請求項１３】
請求項１に記載のシステムであって、前記妨害装置は、バッフル、パドル、または、その他の剛性構造を備える、システム。
【請求項１４】
請求項１に記載のシステムであって、前記妨害装置は、第２力を前記アイテムに加える、システム。
【請求項１５】
請求項１に記載のシステムであって、前記妨害装置は、空気の噴射を生み出して、前記アイテムに当てる、システム。
【請求項１６】
請求項１に記載のシステムであって、前記妨害装置は、前記アイテムおよび前記ピックアップゾーンの一方または両方を振るかまたは振動させることによって、第２力を生み出して前記アイテムに印加する、システム。
【請求項１７】
請求項１に記載のシステムであって、さらに、前記妨害装置を備える、システム。
【請求項１８】
請求項１に記載のシステムであって、前記プロセッサは、ロボットアームおよびグリッパにより前記ピックアップゾーンから前記アイテムを自律的に取得するための戦略に少なくとも部分的に基づいて、前記制御入力を提供するよう構成されている、システム。
【請求項１９】
請求項１８に記載のシステムであって、前記プロセッサは、ロボットアームおよびグリッパにより前記ピックアップゾーンから前記アイテムを自律的に取得するための前記戦略を、自律機械学習で学習するよう構成されている、システム。
【請求項２０】
請求項１８に記載のシステムであって、前記プロセッサは、完全に自律的に前記ピックアップゾーンから前記アイテムをピックアップするために利用可能な戦略がないとの判定に少なくとも部分的に基づいて、遠隔操作による人的介入を開始するよう構成されている、システム。
【請求項２１】
請求項１８に記載のシステムであって、前記戦略は、前記ピックアップゾーンから前記アイテムをピックアップするための複数の戦略に含まれており、前記プロセッサは、少なくとも部分的には、前記複数の戦略の内の少なくとも利用可能な戦略を評価し、前記センサ出力に少なくとも部分的に基づいて、前記制御入力を提供することで、前記ピックアップゾーンから前記アイテムをピックアップするために前記戦略が利用可能になる可能性が高くなると判断することにより、前記制御入力を決定するように構成されている、システム。
【請求項２２】
方法であって、
実質的に第１方向の第１合力をアイテムに与えるよう構成されている搬送構造を利用し、前記第１方向は、前記搬送構造の出発端から、前記出発端の反対側にあり、前記アイテムが取得されるピックアップゾーンに関連付けられている到着端までの流れの方向に関連付けられており、
プロセッサを用いて、前記ピックアップゾーンに関連付けられているセンサの出力に少なくとも部分的に基づいて、前記搬送構造と、前記搬送構造に関連付けられている妨害装置との一方または両方に制御入力を提供すること、
を備える、方法。
【請求項２３】
コンピュータプログラム製品であって、非一時的なコンピュータ読み取り可能媒体内に具現化され、
実質的に第１方向の第１合力をアイテムに与えるよう構成されている搬送構造を利用するためのコンピュータ命令と、前記第１方向は、前記搬送構造の出発端から、前記出発端の反対側にあり、前記アイテムが取得されるピックアップゾーンに関連付けられている到着端までの流れの方向に関連付けられており、
プロセッサを用いて、前記ピックアップゾーンに関連付けられているセンサの出力に少なくとも部分的に基づいて、前記搬送構造と、前記搬送構造に関連付けられている妨害装置との一方または両方に制御入力を提供するためのコンピュータ命令と、
を備える、コンピュータプログラム製品。
【発明の詳細な説明】
【背景技術】
【０００１】
他の出願への相互参照
本願は、２０１８年９月２６日出願の同時係属の米国特許出願第１６／１４３，２７８号「ＫＩＴＴＩＮＧ  ＭＡＣＨＩＮＥ」の一部継続出願であり、その出願は、すべての目的のために参照により本明細書に組み込まれる。
【０００２】
キッティングおよび関連処理は、典型的には、単一のキットまたはパッケージ内に個々のアイテムを一緒に集めて梱包することを含む。例えば、オンラインまたは通信販売の小売業者が、注文に含まれる個々のアイテムを収集して、箱または他のパッケージの中にそれらのアイテムを一緒に梱包する場合があり、これは、その後、注文に関連付けられている宛先住所へと宛名を付けて出荷される。
【０００３】
小売業者およびその他の販売業者は、典型的には、販売する個々のアイテムの在庫を持っている。かかる在庫は、倉庫またはその他の保管施設に維持されてよい。注文を満たすための処理は、注文数量分の個々のアイテムを探して選択し、注文内の一群のアイテムを収容できるサイズおよび寸法の箱など、パッケージを選択し、箱またはその他のパッケージ内にアイテムを配置し、パッケージに宛名を付けて出荷し、販売取引を処理すること、などを含みうる。
【０００４】
キッティングが、手作業で実行されうる。例えば、従業員が、倉庫またはその他の施設内の対応する位置に各々配置された棚、容器、または、その他の保管場所からアイテムを収集しうる。キッティング動作の態様は、箱の組み立てなど、部分的に自動化されている。キッティング動作を実行するためのロボットまたはその他のマシンの利用が提案され、探求されてきたが、ロボットアームを用いて任意の数量の任意のアイテムセットを見つけ出し、容器または棚へ手を伸ばすなどのタスクを実行するようにロボットを準備してプログラミングし、任意のサイズ、壊れやすさ、一貫性などのアイテムをピックアップすることなどに関連して比較的複雑さがあることなど、課題に直面してきた。結果として、大規模なキッティング動作は、人的労働集約型の動作であり続けている。
【図面の簡単な説明】
【０００５】
以下の詳細な説明と添付の図面において、本発明の様々な実施形態を開示する。
【０００６】
【図１】キッティングシステムの一実施形態を示す図。
【０００７】
【図２】ロボットキッティングシステムの一実施形態においてピックアップゾーンの一例を示す図。
【０００８】
【図３】ロボットキッティングシステムの一実施形態においてピックアップゾーンの一例を示す図。
【０００９】
【図４】ロボットキッティングシステムの一実施形態を示す図。
【００１０】
【図５Ａ】ロボットキッティングシステムの一実施形態を示す図。
【００１１】
【図５Ｂ】ロボットキッティングシステムの一実施形態を示す図。
【００１２】
【図６】ロボットキッティングシステムの一実施形態を示す図。
【００１３】
【図７】ロボットキッティングシステムの一実施形態を示す図。
【００１４】
【図８】ロボットキッティングシステムの一実施形態を示す図。
【００１５】
【図９】ロボットキッティングシステムの一実施形態を示す図。
【００１６】
【図１０】ロボットキッティングシステムの一実施形態においてピックアップゾーンの一例を示す図。
【００１７】
【図１１】ロボットキッティングシステムの一実施形態においてピックアップゾーンの一例を示す図。
【００１８】
【図１２Ａ】ロボットキッティングシステムの一実施形態を示す図。
【００１９】
【図１２Ｂ】移動する棚モジュール／マシンを備えたロボットキッティングシステムの一実施形態を示す図。
【００２０】
【図１３】ロボットキッティングシステムを動作させるための処理の一実施形態を示すフローチャート。
【００２１】
【図１４】ロボットキッティングシステムを動作させるための処理の一実施形態を示すフローチャート。
【００２２】
【図１５】キッティングシステムの一実施形態を示すブロック図。
【発明を実施するための形態】
【００２３】
本発明は、処理、装置、システム、物質の組成、コンピュータ読み取り可能な格納媒体上に具現化されたコンピュータプログラム製品、および／または、プロセッサ（プロセッサに接続されたメモリに格納および／またはそのメモリによって提供される命令を実行するよう構成されたプロセッサ）を含め、様々な形態で実装されうる。本明細書では、これらの実装または本発明が取りうる任意の他の形態を、技術と呼ぶ。一般に、開示された処理の工程の順序は、本発明の範囲内で変更されてもよい。特に言及しない限り、タスクを実行するよう構成されるものとして記載されたプロセッサまたはメモリなどの構成要素は、ある時間にタスクを実行するよう一時的に構成された一般的な構成要素として、または、タスクを実行するよう製造された特定の構成要素として実装されてよい。本明細書では、「プロセッサ」という用語は、１または複数のデバイス、回路、および／または、コンピュータプログラム命令などのデータを処理するよう構成された処理コアを指すものとする。
【００２４】
以下では、本発明の原理を示す図面を参照しつつ、本発明の１または複数の実施形態の詳細な説明を行う。本発明は、かかる実施形態に関連して説明されているが、どの実施形態にも限定されない。本発明の範囲は、特許請求の範囲によってのみ限定されるものであり、本発明は、多くの代替物、変形物、および、等価物を含む。以下の説明では、本発明の完全な理解を提供するために、多くの具体的な詳細事項が記載されている。これらの詳細事項は、例示を目的としたものであり、本発明は、これらの具体的な詳細事項の一部または全てがなくとも特許請求の範囲に従って実施可能である。簡単のために、本発明に関連する技術分野で周知の技術事項については、本発明が必要以上にわかりにくくならないように、詳細には説明していない。
【００２５】
ロボットキッティングシステムが開示されている。様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、キッティング動作の一部として、梱包および／または出荷の際に、および／または、そのために、アイテムを探し、ピックアップし、および／または、配置することを容易にするために、アイテムを供給および配置する少なくとも部分的にロボット制御されるユニットを備える。様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、１または複数のキッティングシステムモジュール（ＫＳＭ）を備え、各モジュールは、モジュール式構成要素を備える。本明細書で開示するＫＳＭは、１または複数の棚、容器、または、その他の入れ物を備えてよい。いくつかの実施形態において、棚、容器、または、その他の入れ物は、ピックアップするアイテムを配置するために、ロボット制御で配置されてよい。本明細書で開示されているＫＳＭは、注文、送り状、または、同様のデータに含まれるアイテムなど、１または複数の任意の個々のアイテムの各々を所定の数量だけ探し、選択し、梱包することができる少なくとも部分的に自動化されたキッティングシステムを構成するために、１または複数の他のＫＳＭ、１または複数のロボットアーム、ならびに／もしくは、その他の構成要素と統合されてよい。
【００２６】
様々な実施形態において、ロボットアーム、ならびに／もしくは、アイテムを取得し、（箱またはその他のパッケージといった目的地にアイテムを配置することができる、ロボットアームまたはその他の付属物を備えた固定式ロボット、レールまたは軌道に取り付けられているロボット、もしくは、移動ロボットが、本明細書で開示する１または複数のＫＳＭと統合される。ロボットアームは、関連付けられているＫＳＭから、該当する場合にアイテムを取得し、出荷に向けて箱またはその他のパッケージの中にそれらのアイテムを配置する。
【００２７】
様々な実施形態において、本明細書で開示されているロボットキッティングシステムは、例えば、ロボットアームによって、ピックアップに向けてアイテムを運びおよび／または再配置するよう構成されている１または複数のコンピュータ制御された構造を備える。１または複数のセンサ（カメラ、重量センサ、光学コードまたはその他のスキャナ、コンピュータビジョンなど）が、例えば、１または複数のアイテムの間隔、向き、配置などを変更することによって、ピックアップに向けてかかるアイテムを移動または操作してかかるアイテムをより良く配置するために、制御された構造を作動させることを決定するのに用いられてよい。例としては、１または複数のコンベヤベルトまたはその他の搬送装置の動作速度を変更すること、パドル、バッフル、または、その他の構造を操作して、アイテムの軌道または向きを変更すること、交差する搬送構造および／または逆向きの搬送構造を動作させること、ならびに、例えば、ロボットアームによって、アイテムが取得される容器、テーブル、または、その他のピックアップゾーンを振り、揺さぶり、振動させ、または、他の方法で制御可能に操作すること、が含まれるが、それらに限定されない。
【００２８】
「ピックアップゾーン」という用語は、１または複数のアイテムが、例えば、ロボットアームによって、そこからピックアップされうる、本明細書に開示されているロボットキッティングシステムを構成する構造に言及するために、本明細書で用いられる。「ピックアップゾーン」は、様々な実施形態において、固定であってよく、ならびに／もしくは、移動可能であり、および／または、人的介入なしにピックアップゾーンから１または複数のアイテムを取得するために利用可能な戦略を有するかまたは有する可能性が高いことが組み込まれたロボットキッティングシステムおよび／またはキッティングシステムをもたらすピックアップゾーンにおけるアイテムの密度、向き、間隔などを達成するためにコンピュータまたはその他のプロセッサの制御下で移動可能な構造を備えてよい。
【００２９】
様々な実施形態において、本明細書で開示されている統合キッティングシステムは、システムがスタックして、自動動作を継続するために利用できる戦略がなくならない限りは／そうなるまでは、自律的に動作する。いくつかの実施形態において、かかる状態になったことに応じて、システムは、例えば、手動支援、遠隔操作などによる、人的介入を要求する。いくつかの実施形態において、人間オペレータが介入を開始してもよい。様々な実施形態において、人的介入の場合ならびに／もしくはその間または後に、システムは、状態情報およびタスク進捗を監視し続ける。自律動作を再開するための戦略が決定された場合、自律動作が再開する。
【００３０】
図１は、キッティングシステムの一実施形態を示す図である。図の例において、キッティングシステム１００は、箱用コンベヤ１０８と並んで一列に配置されている１セットのキッティングマシン１０２、１０４、および、１０６を備えている。箱組み立てマシン１１０が、箱１１２、１１４を組み立てて、それらの箱をコンベヤ１０８上に置く。様々な実施形態において、箱組み立てマシン１１０は、例えば、箱のサイズ選択と、箱（例えば、箱１１２、１１４）の組み立ておよびコンベヤ１０８上への配置のタイミングとを連携／同期させるために、キッティングシステム１００の他の要素によって、および／または、他の要素と通信して、制御されてよい。
【００３１】
図１に示す例では、ロボットアーム１１６が、キャリッジ１１８上に取り付けられており、キャリッジ１１８は、キッティングマシン１０２、１０４、および、１０６の向かい側で、コンベヤ１０８と並んで実質的に平行に配置されたレールまたはその他の直線ガイド１２０に沿って走るよう構成されている。様々な実施形態において、キッティングマシン１０２、１０４、および、１０６からアイテムを自動取得し、コンベヤ１０８に沿って箱が移動される間に箱１１２、１１４の中にアイテムを配置することを容易にするように、キャリッジ１１８および取り付けられたロボットアーム１１６をレールまたはガイド１２０に沿って移動させるために、モータ、ベルト、鎖、または、その他の原動力源が、コントローラ（図１では図示せず）を介して適用される。
【００３２】
フロアに取り付けられた水平のレールが図１に示されているが、いくつかの実施形態において、垂直に取り付けられたレールが用いられてもよい。例えば、ロボットアーム１１６は、垂直レール上で上下されてよく、棚／容器が、アイテムを取得するために必要に応じてロボットアーム１１６を棚／容器に隣接する位置に移動させることを可能にするように、垂直レールに隣接して配置されてよい。
【００３３】
図の例において、キッティングマシン１０２、１０４、および、１０６と、コンベヤ１０８と、箱組み立てマシン１１０と、ロボットアーム１１６および／またはキャリッジ１１８と、の内の１または複数の動作は、制御コンピュータ１１２の制御下で協調的に操作される。図の例において、制御コンピュータ１２２は、コントローラ（図１では図示せず）と無線通信し、各コントローラは、システム１００を構成する対応する要素（例えば、キッティングマシン１０２、１０４、および、１０６、コンベヤ１０８、箱組み立てマシン１１０、ならびに、ロボットアーム１１６および／またはキャリッジ１１８）の動作を制御するよう構成されている。  無線接続が図１に示されているが、様々な実施形態において、有線接続、もしくは、有線接続および無線接続の組みあわせが用いられてもよい。
【００３４】
図１に示す例において、ロボットアーム１１６の末端は、２本指グリッパになっている。様々な実施形態において、ロボットアーム１１６は、１または複数のその他のおよび／または異なるタイプの取得ツールを末端に有してもよく、かかるツールは、３以上の指を有するグリッパ、図に示すものとは異なる属性の指（例えば、クッション付きの指、小さい指、大きい指など）を有するグリッパ、および／または、グリッパではない取得ツール（吸引、摩擦、静電力、磁力などを用いてアイテムをピックアップするよう構成されているものなど）を含むが、それらに限定されない。いくつかの実施形態において、ロボットアーム１１６のグリッパは、取得されるアイテムの１または複数の属性（例えば、重さ、壊れやすさ、圧縮性、剛性、サイズ、形状など）に応じて、１または複数の異なる末端装置と交換されてもよい。いくつかの実施形態において、ロボットアーム１１６のグリッパは、例えば、取得されるアイテムの１または複数の属性に応じて、グリッパが保持する別のツールを取得して、アイテムに用いるように利用されてもよい。
【００３５】
様々な実施形態において、制御コンピュータ１２２は、取得されて一緒に梱包されるアイテムの送り状、注文、部品リスト、ピックアップリスト、または、その他のリストに関連付けられているデータを受信し、必要とされるアイテムの取得および梱包を遂行するための戦略／計画を決定し、要求を遂行するように協調して、システム１００の要素（例えば、キッティングマシン１０２、１０４、および、１０６、コンベヤ１０８、箱組み立てマシン１１０、ならびに、ロボットアーム１１６および／またはキャリッジ１１８）を動作させるよう、例えば、制御コンピュータ１２２上で実行するソフトウェアによって、構成されている。
【００３６】
例えば、いくつかの実施形態において、制御コンピュータ１２２は、梱包されるアイテムのリストを受信するよう構成されている。制御コンピュータ１２２は、どのアイテムがキッティングマシン１０２、１０４、および、１０６のどれと関連付けられているかを決定し、アイテムを取得して梱包するための計画を立てる。制御コンピュータ１２２は、箱（例えば、１１２、１１４）を組み立ててコンベヤ１０８上に配置するように箱組み立てマシン１１０を制御し、１または複数の第１アイテムを載せる位置に箱を前進させるようにコンベヤ１０８を制御する。制御コンピュータ１２２は、１または複数の第１アイテムをキッティングマシン１０２、１０４、および、１０６の内の関連付けられているマシンから取得するためにロボットアーム１１６を配置する必要に応じて、キャリッジ１１８および／またはロボットアーム１１６を制御する。制御コンピュータ１２２は、必要な数量の必要なアイテムが、コンベヤ１０８およびロボットアーム１１６に最も近いキッティングマシン１０２、１０４、および、１０６の端のピックアップゾーンに存在することを確実にするように、キッティングマシン１０２、１０４、および、１０６を制御してよい。制御コンピュータ１２２は、ロボットアーム１１６を制御して、対応するピックアップゾーンからアイテムを取得させ、箱（例えば、１１２、１１４）の中にアイテムを配置させ、その後、その特定のキットに含める必要のある任意のさらなるアイテムの協調的な取得および梱包を実行するために移動させる。すべてのアイテムが取得され梱包されると、制御コンピュータ１２２は、コンベヤ１０８を制御して、箱（例えば、１１２、１１４）を遂行（フルフィルメント）の次の段階（図１には図示されていないが、例えば、箱が密閉され、ラベル付けされ、出荷に向けて送られるステーション）へと進める。
【００３７】
図１に示す例において、キッティングマシン１０２、１０４、および、１０６は、後端（図１に示す左上側）から、例えば、人間の労働者、ロボット、および／または、その他のマシン、もしくは、それらの組みあわせによって積み込まれるよう構成されている傾斜したコンベヤを備える。アイテムは、アイテムおよび／またはアイテムタイプまたはその他のアイテム属性を各キッティングマシンと関連付けるデータを決定して、制御コンピュータ１２２上に格納するために、スキャン、コンピュータビジョンによる認識、などされてよい。図の例において、３つのキッティングマシン１０２、１０４、および、１０６はすべて、コンベヤであるが、様々な実施形態において、異なるタイプのキッティングマシンの組み合わせが、キッティングシステム（システム１００など）に備えられてもよい。例えば、キッティングマシン１０６によって供給される図１に示すアイテムは、いくつかの実施形態において、アイテムが転がり落とされる固定斜面によって供給されてよい。いくつかの実施形態において、キッティングマシンは、複数の隣接するローラ、斜面、コンベヤベルト、１セットの回転容器、などを有する重力タイプのコンベヤを含むがそれらに限定されないものなど、関連付けられているピックゾーンにアイテムを供給するために複数の構造およびメカニズムの内の任意の１つを備えてよい。
【００３８】
様々な実施形態において、システム１００は、制御コンピュータ１２２に自動処理、手動構成、および／または、それらの組みあわせを通して、各キッティングマシン（例えば、１０２、１０４、および、１０６）の配置、タイプ、機能と、各キッティングマシンに関連付けられるアイテムとを決定させることによって、初期化される。さらに、システム１００の要素が、制御コンピュータ１２２に登録してもよい。登録は、要素（キッティングマシン１０２，１０４、および、１０６の各々など）が制御ネットワークに入るのを許可することを含んでよい。いくつかの実施形態において、動作テストが実行されてよい。例えば、制御コンピュータ１２２は、前後方向に、様々な速度で、などの方法で、キッティングマシン（キッティングマシン１０２、１０４、および、１０６など）のコンベヤベルトを動作させることなどによって、新たに登録された要素を制御できるかをテストしてよい。
【００３９】
様々な実施形態において、システム１００の要素が、追加、除去、交換などされてもよい。かかる例において、制御コンピュータ１２２は、新たな要素を初期化および登録し、動作テストを実行し、キッティング動作を開始／再開して、例えば、新たに追加された要素を組み込む。
【００４０】
図１をさらに参照すると、図の例において、システム１００は、システム１００を構成する要素のビデオ画像をキャプチャするよう構成されているビデオカメラ１２４を備える。カメラ１２４は、システム１００を構成する要素を制御するために制御コンピュータ１２２によって用いられる複数のセンサの内の１つであってよい。例えば、図の例において、カメラ１２４によって生成されて制御コンピュータ１２２へ送信されたビデオは、十分かつ過剰ではない数のアイテムがピックアップゾーンで利用可能であることを保証するように、および／または、ロボットアーム１１６による取得に向けてアイテムを配置または再配置するように、キッティングマシン１０２、１０４、および、１０６を構成するコンベヤベルトの速度および／または方向を制御するために制御コンピュータ１２２によって用いられてよい。さらに、カメラ１２４および／またはその他のカメラは、ロボットアーム１１６がアイテムをピックアップし、および／または、箱（例えば、１１２、１１４）の中にアイテムを配置することを容易にするために用いられてもよい。様々な実施形態において、複数のカメラが、自動化された（そして、必要に応じて、人間が支援する）キッティング動作を容易にするために、環境内、および、システム１００を構成するそれぞれの要素上など、複数の位置に配備されてよい。様々な実施形態において、接触スイッチまたはリミットスイッチ、圧力センサ、重量センサなどを含むがこれらに限定されない、カメラ以外のセンサが配備されてもよい。
【００４１】
様々な実施形態において、制御コンピュータ１２２は、システム１００を構成するロボットアーム１１６およびその他の要素（例えば、キッティングマシン１０２、１０４、および、１０６、コンベヤ１０８、箱組み立てマシン１１０、ならびに、ロボットアーム１１６および／またはキャリッジ１１８）のモデルに少なくとも部分的に基づいて、キッティング要求を遂行するための計画を決定するようプログラムされている。それぞれのモデルは、様々な実施形態において、それぞれの要素の機能および制限を反映している。例えば、キッティングマシン１０２、１０４、および、１０６は、この例では固定位置にあるが、各々が、前後方向に、および／または、異なる速度で、動かされることができてよいコンベヤベルトを有する。さらに、制御コンピュータ１２２は、例えば、どのアイテムがどのキッティングマシンのどの位置にあるか、各キッティングマシンおよび／またはそれに関連付けられているピックアップゾーンがどこに配置されるかなど、初期化および／または構成に関連して格納された情報を用いて、要求を遂行するための計画を決定してよい。さらに、制御コンピュータ１２２は、センサデータ（カメラ１２４によってキャプチャされたビデオなど）に少なくとも部分的に基づいて決定されたデータを用いて、要求を遂行するための計画を立ててもよい。
【００４２】
様々な実施形態において、制御コンピュータ１２２は、制御コンピュータ１２２にプログラムされ、および／または、制御コンピュータ１２２によって学習された（次の）タスクまたはサブタスクを行うための戦略を用いて、要求を遂行するための計画を策定ならびに／もしくは更新または再策定し、その計画を実施するかまたは実施しようとするよう構成されている。例としては、アイテムの属性（剛性、壊れやすさ、形状、向きなど）に基づいて所与のアイテムをピックアップするためにロボットアーム１１６を用いる戦略が含まれるが、それに限定されない。いくつかの実施形態において、制御コンピュータ１２２は、第１戦略（例えば、好ましい戦略または最良の戦略）を用いてタスク（例えば、ロボットアーム１１６でアイテムをピックアップするタスク）を実行しようと試み、それが失敗した場合に、利用可能であれば代替戦略（例えば、ロボットアーム１１６を用いてアイテムを軽く突いた後に再試行する戦略、キッティングマシン（例えば、１０２、１０４、および、１０６）のコンベヤまたはその他の装置を順方向および／または逆方向に若干動かして再試行する戦略、など）を決定して利用するようプログラムされている。
【００４３】
図１に示す例において、制御コンピュータ１２２は、人間オペレータ１２８によって操作されるオンデマンド遠隔操作装置１２６に接続されている。図１において、遠隔操作装置１２６は、人間オペレータ１２８によって操作されているが、いくつかの実施形態において、遠隔操作装置１２６は、非人間オペレータ（高度な技能を有するロボットなど）によって操作されてもよい。様々な実施形態において、制御コンピュータ１２２は、キッティング動作および／またはその構成タスクを完全自動動作で継続／完了させるために利用可能な戦略がないとの制御コンピュータ１２２による決定に少なくとも部分的に基づいて、オンデマンド遠隔操作を呼び出すよう構成されている。例えば、ロボットアーム１１６が取得できない位置にアイテムが落とされた場合、または、所定の最大試行回数までアイテムのピックアップが試行されても、その取得に成功していない場合、などである。かかる決定に基づいて、制御コンピュータ１２２は、警告またはその他の通信をオンデマンド遠隔操作装置１２６へ送信し、人間オペレータ１２８が遠隔操作装置１２６を用いて、制御コンピュータ１２２による完全自動制御下でシステム１００が完了できなかったタスクまたはサブタスクを少なくとも実行するために、システム１００の１または複数の要素（例えば、キッティングマシン１０２、１０４、および、１０６と、コンベヤ１０８と、箱組み立てマシン１１０と、ロボットアーム１１６および／またはキャリッジ１１８と、の内の１または複数）を操作するようにプロンプトする。
【００４４】
遠隔操作装置１２６の例は、システム１００の要素を制御するためのグラフィカルユーザインターフェースを有するタブレットまたはその他のモバイル機器、システム１００の要素を遠隔で操作するための１または複数の入力装置を接続されたデスクトップまたはその他のコンピュータ、などを含むが、それらに限定されない。
【００４５】
いくつかの実施形態において、制御コンピュータ１２２が、オンデマンド遠隔操作を呼び出すが、いくつかの実施形態において、人間オペレータ（オペレータ１２８など）が、例えば、カメラ１２４によって生成されたビデオフィードで、システム１００の自動動作を監視してよく、介入または支援の必要性があると人間オペレータが判断した場合に、遠隔操作でシステム１００の要素を操作するために介入してもよい。
【００４６】
様々な実施形態において、遠隔操作装置１２６および／または人間オペレータ１２８は、システム１００が配置され（主に）完全自動モードで動作する物理的サイトからリモートに配置されてもよい。同様に、制御コンピュータ１２２は、システム１００の他の要素が配置されたサイトからリモートに配置されてもよく、および／または、制御コンピュータ１２２によって実行される本明細書に記載の作業の一部が、そのサイトから遠隔に配置されたコンピュータによって実行されてもよい。
【００４７】
様々な実施形態において、制御コンピュータ１２２は、システム１００の要素を用いてキッティング動作を実行するための新しい戦略または改善された戦略を学習するよう構成されている。例えば、制御コンピュータ１２２は、いくつかの実施形態において、遠隔操作（１２６）での人間オペレータ（１２８）による動作を記録し、遠隔操作が必要とされたタスクまたはサブタスクを実行する際の人間オペレータの動作を反復および／または模倣できるように必要に応じて、そのモデル、戦略などを更新するようプログラムされている。
【００４８】
様々な実施形態において、制御コンピュータ１２２は、遠隔操作中に、現在の要求の自動遂行を再開するために実行可能な計画および／または戦略を有するか否かを評価し続けるよう構成されている。有する場合、制御コンピュータは、主体的に、または、制御コンピュータ１２２に制御を戻すことができると人間オペレータに通知することによって、自動動作を再開するよう構成されていてよい。
【００４９】
図１に示す例において、箱１１２、１１４は、キッティングマシン１０２、１０４、および、１０６に向かい合った次の位置へコンベヤ１０８によって移動されるが、別の実施形態において、箱１１２、１１４は、コンベヤ１０８によって、もしくは、いくつかの実施形態においては、手作業で、または、コンベヤ１０８以外の機械によって、単一の中央位置に配置されてもよく、アイテムにアクセスし、キッティングマシン１０２、１０４、および、１０６からアイテムをピックアップして箱１１２、１１４の中に配置するように、１または複数の位置へロボットアーム１１６を動かすことによって、箱詰めされてもよい。
【００５０】
「キッティング」動作が図１に示され、図１およびその他の図面を参照して本明細書で説明されているが、様々な実施形態において、本明細書で開示されているキッティングマシンおよび統合システムは、例えば、最初にアイテムで過剰または部分的に過剰であった箱から取り出されたアイテムを棚、容器、および／または、キッティングマシンに置くことによって、逆の動作を実行するために用いられてもよい。例えば、図１に示す例において、箱１１４は、キッティングマシン１０４に関連付けられている複数のアイテムを備えてよく、ロボットアーム１１６は、箱１１４からアイテムを取り出して、例えば、図に示すように後端または供給端から、キッティングマシン１０４上にアイテムを配置するために用いられてよい。
【００５１】
いくつかの実施形態において、キッティングマシン（マシン１０２、１０４、および、１０６など）の上、もしくは、本明細書で開示されているキッティングシステムによってアクセスされる固定棚の上のアイテムが、容器に供給されてもよい。いくつかの実施形態において、システム（例えば、図１のシステム１００）は、例えば、コンピュータビジョンもしくはその他のセンサおよび／または技術に基づいて、容器が空であることを検出し、ロボットアームで容器をピックアップして対応する空容器位置（例えば、近くの空容器のスタックなど）に置くことによって、キッティングマシンまたは棚から容器を除去するよう構成されている。いくつかの実施形態において、自動容器除去は、空ではない次の容器が、キッティングマシンまたは棚の上の位置に移動するための場所を作ることで、ロボットアームが、その容器にアクセスしてアイテムを容器からピックアップすることを可能にする。
【００５２】
例えば、図１に示すようにロボットキッティング動作を実行する際の技術的障害は、ロボットアームおよび／またはグリッパの把持の機敏性が制限されていることである。例えば、ロボットアームは、運動範囲および自由度が制限される場合があり、ならびに／もしくは、グリッパは、器用さ（例えば、少ない関節）および／または把持能力（例えば、滑りやすい指、２または３本だけの指、など）が制限される場合がある。かかる制限があるため、頭上から物体を取得するために、より成功する戦略が利用可能である場合があり、システムは、比較的把持しやすい形状を頭上から係合できるよう露出させるように物体が方向付けられている場合、および／または、アイテムが密集しすぎていない、互いに積み重なっていない場合、などに、任意の形状の所与の物体を把持できる可能性が高くなりうる。
【００５３】
様々な実施形態において、本明細書で開示されている技術は、ロボットアームおよび／または関連付けられているグリッパによる取得の成功につながるようにアイテムを配置することによってなど、システムが自律動作を保つ可能性を高めるために用いられる。例えば、様々な実施形態において、キッティングマシン（図１のキッティングマシン１０２、１０４、および、１０６など）のピックアップゾーンへのアイテムの流れと、ピックアップゾーンにおけるアイテムの配置との内の一方または両方を監視するため、そして、自立モードで、例えば、ロボットアームおよびグリッパ（図１のロボットアーム１１６など）によって、キッティングマシンから取得しやすいように、キッティングマシンのピックアップゾーンにおいてアイテムを配置（例えば、向き、間隔など）させるよう、キッティングマシンの要素（例えば、コンベヤ、パドルまたはバッフル、エアブラストなど）を制御するために、カメラおよび／またはその他のセンサが利用される。
【００５４】
図２は、ロボットキッティングシステムの一実施形態においてピックアップゾーンの一例を示す。様々な実施形態において、図２のロボットキッティングシステム２００は、統合キッティングシステム（図１のシステム１００など）に含まれる。図の例において、グリッパを末端に持つロボットアーム２０２が、ピックアップゾーン２０６からアイテム（アイテム２０４など）を取得するために用いられている。様々な実施形態において、ピックアップゾーン２０６は、テーブル、斜面、または、その他の表面、１または複数の側壁、ならびに／もしくは、容器またはその他の入れ物を備えてよい。
【００５５】
図の例において、複数のアイテム２０８が、ピックアップゾーン２０６からまだ取得されていない。上側の図において、アイテム２０８は、ひとまとまりになっており、これにより、いくつかの実施形態において、ロボットキッティングシステム２００が組み込まれているキッティングシステムは、ロボットアームおよびグリッパ２０２を用いてピックアップゾーン２０６からアイテム２０８の１つをうまく取得する戦略を持たないままになる。例えば、図２の上側の図に示すようにアイテム２０８が密集した状態では、ロボットキッティングシステム（図示せず）を構成するプロセッサは、各アイテム２０８の少なくとも２つの側面に隣接する他のアイテム２０８またはピックアップゾーン２０６を構成する構造の存在により、ピックアップに向けてアイテムのいずれか１つの両側にグリッパ２０２の指を置く余地がないので、アイテム２０８の１つをピックアップするための戦略を持たない場合がある。
【００５６】
図２に示す例では、カメラ２１０が、ピックアップゾーン２０６にあるアイテム（図に示すアイテム２０８など）の画像を生成するために配置されている。いくつかの実施形態において、キッティングシステム２００を構成しおよび／またはキッティングシステム２００に関連付けられているプロセッサが、カメラ２１０によって生成された画像データを受信し、その画像データを用いて、人的介入なしにピックアップゾーンから次のアイテム（例えば、アイテム２０８の内の１つ）を取得するために戦略が利用可能であるか否かを判定する。いくつかの実施形態において、プロセッサは、ピックアップゾーン２０６のアイテム（例えば、アイテム２０８）を再分配または他の方法で再配置するために、ピックアップゾーン２０６を構成する構造を操作するよう構成されている。プロセッサによって操作される構造の例は、様々な実施形態において、ｘ方向および／またはｙ方向にピックアップゾーン２０６を構成する表面を振るためのリニアモータ、ピックアップゾーン２０６に振動を与えるバイブレータまたはその他構造、ピックアップゾーン２０６の１または複数の角、側面などをｚ方向に上および／または下に動かすための構造、ならびに、ロボットアームおよびグリッパ２０２を用いて、より間隔の大きい分布が達成されるまでアイテム２０８をあちこちに押すこと、を含むが、それらに限定されない。
【００５７】
様々な実施形態において、ロボットキッティングシステム２００を構成するプロセッサは、図２の下側の図に示すような分散を達成するように、ピックアップゾーン２０６を操作し、ここで、アイテム２０８は、例えば、上方からピックアップすることによって、アイテム２０８の内の個々のアイテムを取得するためにグリッパ２０８を利用するのに十分に離れている。様々な実施形態において、プロセッサは、戦略が利用可能になり、および／または、プロセッサが所定の回数の試行を行ったと決定するまで、反復的に、ピックアップゾーン２０６を操作し、カメラ２１０からの画像データを処理して、アイテム２０８の内の次のアイテムをピックアップするために戦略が利用可能であるか否かを判定する。いくつかの実施形態において、所定の回数の反復後に、アイテムを取得するための戦略が利用可能にならなかった場合、プロセッサは、オンデマンド人的遠隔操作（または、いくつかの実施形態においては、その他の人的介入）を呼び出す。人間オペレータは、例えば、ロボットアームおよびグリッパ２０２を用いて、アイテムを取得するためにアイテムを離れさせてよい。いくつかの実施形態において、ロボットキッティングシステムは、カメラ２１０からの画像データの処理を継続する。人的遠隔操作（またはその他の介入）の結果として、完全自動動作を再開できる条件になったことが、プロセッサによって決定されると、様々な実施形態において、プロセッサは、自動動作を再開し、および／または、自動動作が再開できる旨の示唆を人間オペレータへ提供する。例えば、カメラ２１０からの画像データに基づいて、さらなる人的介入なしにアイテム２０８の内の次のアイテムをピックアップするための戦略が存在することを、ロボットキッティングシステムが決定すると、プロセッサは、いくつかの実施形態において、自動動作を再開する（または、再開の準備が整ったことを示唆する）。
【００５８】
いくつかの実施形態において、ロボットキッティングシステム２００を構成するプロセッサは、カメラ２１０によって生成された画像データを用いて、ピックアップゾーン２０６内のアイテムの結果としての数量、分散、および／または、配置を予測し、かかる処理に基づいて、ピックアップゾーン２０６へのアイテム（アイテム２０８など）の供給に関与するよう構成されている１または複数のメカニズムを操作する。例えば、コンベヤ、電動ローラ、移動可能なパドルまたはバッフルなどが、様々な実施形態において、図２の下側の図のように、密度の低い分散を達成するように、または、達成する可能性を高めるように、操作される。
【００５９】
図３は、ロボットキッティングシステムの一実施形態においてピックアップゾーンの一例を示す。図の例において、ロボットキッティングシステム３００は、グリッパを末端に持つロボットアーム３０２を用いて、ピックアップゾーン３０６からアイテム（アイテム３０４など）を取得する。さらなるアイテム３０８が、ピックアップゾーン３０６内に図示されている。この例において、アイテム３０４およびアイテム３０８は、直三角柱を備え、各々は、３つの長方形の面によってつながった２つの向かい合う三角形の側面を持っている。この例において、ロボットキッティングシステム３００は、角度のついた長方形の側面ではなく、両側の三角形の側面と係合して内向きの圧力を与えるようにグリッパ３０２を利用することによって、アイテム３０４、３０８を取得するための戦略を（より多く）有しうる。図の例において、ロボットキッティングシステム３００を構成するプロセッサ（図示せず）は、カメラ３１０によって生成された画像データを用いて、左側の２つのアイテム３０８を取得するために利用可能なものよりも、図に示すピックアップゾーン３０６の右側の３つのアイテム３０８の内の１または複数を取得するための戦略（すなわち信頼性の高い戦略）が存在すると判定してよい。様々な実施形態において、自動処理が、右側の３つのアイテム３０８を取得するために実行されてよい。残りのアイテムを取得するための戦略が特に存在しない場合、様々な実施形態において、プロセッサ（図示せず）は、ピックアップゾーン３０６を操作して、左側のアイテム３０８の位置および／または向きを変化させた後に、カメラ３１０によって生成された画像データを用いて、再配置されたアイテムの内の１または複数を取得するための戦略が利用可能になったか否かを判定するよう構成されている。利用可能になった場合、１または複数のアイテムは、取得される。利用可能にならなかった場合、操作および評価のさらなる反復が、上述のように実行されてよく、いくつかの実施形態においては、人的介入（例えば、遠隔操作による）が、必要に応じて呼び出されてよい。
【００６０】
図４は、ロボットキッティングシステムの一実施形態を示す。図の例において、ロボットキッティングシステム４００は、ロボットアームおよびグリッパ（図示せず）による取得に向けてピックアップゾーン４０８にアイテムを供給するように配置および構成されている、コンピュータ制御コンベヤベルト４０２、４０４、および、４０６を備えた多段コンベヤを備える。下側の図は、ピックアップゾーン４０８から取得されるアイテムのピックアップゾーン４０８への到着において所望の間隔／タイミングを生み出すために、異なる速度で作動されているコンベヤ４０２、４０４、および、４０６（この例では、各コンベヤが、その後方のコンベヤよりも速い）を示す側面図である。図の例において、カメラ４１０が、ピックアップゾーン４０８と、コンベヤ４０２、４０４、および、４０６（の内の少なくとも一部）との一方または両方を示す画像データを生成する。いくつかの実施形態において、複数のカメラ４１０および／またはその他のセンサ（例えば、さらなるカメラ、光学スキャナ、および、その他の光学センサ、圧力センサ、重量センサ、リミットスイッチ、および、その他の接触センサ、などが挙げられるが、それらに限定されない）が、ピックアップゾーン４０８ならびに／もしくはコンベヤ４０２、４０４、および、４０６を監視するために用いられてもよい。コンベヤ４０２、４０４、および、４０６は、ピックアップゾーン４０８におけるアイテムの所望の密度、分布、配置などを達成するために、必要に応じて、開始／停止され、および／または、より高速または低速で作動されてよい。例えば、ピックアップゾーン４０８にすでに存在するアイテムがか上である場合、コンベヤ４０２、４０４、および、４０６の内の１または複数が、停止または大幅に減速されてよい。あるいは、アイテムが、ピックアップゾーン４０８においてあまりに密集している場合、例えば、ピックアップゾーン４０８に到着する時のアイテム間の間隔を広くするために、コンベヤ４０４および／または４０６が、より高速に、および／または、コンベヤ４０２よりも高速に、作動されてよい。
【００６１】
様々な実施形態において、コンベヤ４０２、４０４、および、４０６は、現在組み立て中のキット（例えば、箱）に梱包される必要のあるアイテムの数量および／またはタイプを示す梱包リストデータなどの入力に基づいて、コンピュータ制御下で作動される。例えば、ロボットキッティングシステム４００によって供給されたアイテムが、現在のキット／箱の中にすでに梱包されている場合、または、図４に示す要素によって供給される（さらなる）アイテムが必要ない場合、いくつかの実施形態において、図４に示す要素は、例えば、次のキット（箱）のために、図４のロボットキッティングシステム４００によって供給されるさらなるアイテムが求められるまで、停止されてよい。
【００６２】
図５Ａは、ロボットキッティングシステムの一実施形態を示す。図の例において、キッティングシステムは、ピックアップゾーン５０８にアイテムを供給するよう構成されている複数のコンベヤ５０２、５０４、および、５０６を備える。様々な実施形態において、コンベヤ５０２、５０４、および、５０６は、ピックアップゾーン５０８のアイテムの所望の数量、密度、および／または、配置を達成するように計算された方法で、ピックアップゾーン５０８にアイテムを供給させるために、カメラ５１０から画像データを受信して利用するよう構成されているコンピュータまたはその他のプロセッサ（図示せず）の制御下で作動される。図の例において、固定バッフル５１２および５１４が、ピックアップゾーン５０８までの途中にそれらと接触したアイテムに、再配置する力を掛ける。様々な実施形態において、バッフル５１２および５１４は、コンベヤ５０２、５０４、および／または、５０６、ならびに／もしくは、ピックアップゾーン５０８の上のより中心の位置にアイテムを導く傾向があり、バッフル５１２および／または５１４と接触したアイテムの配置を回転または他の方法で変えることで、例えば、ピックアップゾーン５０８でアイテムが過度に密集する可能性を下げうる。
【００６３】
図５Ｂは、ロボットキッティングシステムの一実施形態を示す。図の例において、キッティングシステムは、可変速度のコンピュータ制御コンベヤ５２２、５２４、および、５２６と、ピックアップゾーン５２８と、カメラ５３０と、コンピュータまたはその他のプロセッサ（図示せず）と、コンピュータ制御の再配置可能なバッフル５３２および５３４と、を備える。様々な実施形態において、コンピュータまたはその他のプロセッサは、ピックアップゾーン５２８におけるアイテムの所望の数量、密度、および／または、配置を達成するために、カメラ５３０によって生成された画像データに基づいて、コンベヤ５２２、５２４、および、５２６の相対速度、ならびに／もしくは、バッフル５３２、５３４の一方または両方の位置を制御する。
【００６４】
例えば、カメラ５３０によって生成された画像データに基づいて、図に示すピックアップゾーン５２８の右側のアイテムの密度が高くなりすぎていると、プロセッサが判定した場合、いくつかの実施形態において、プロセッサは、バリアとして機能するように、バッフル５３２をより水平な位置へ上向きに回転させてよく、ならびに／もしくは、コンベヤ５２４および／または５２６の中央／右側に導くアイテムを少なくするように、（図に示すように）より垂直な位置へ下向きに回転させてよい。例えば、上述のように、アイテムの供給を中央／左側に導きつつ、右側からアイテムを取得して梱包することによって、ピックアップゾーン５２８の右側でより低い密度が達成されると、いくつかの実施形態において、プロセッサは、例えば、カメラ５３０からのより最近の画像に基づいて、バッフル５３２、５３４をさらに調節してよい。
【００６５】
図６は、ロボットキッティングシステムの一実施形態を示す。図の例において、ロボットキッティングシステムは、ピックアップゾーン６１２にアイテムを供給するよう構成されている複数のコンピュータ制御コンベヤ６０２、６０４、６０６、６０８、および、６１０を備える。様々な実施形態において、コンベヤ６０２、６０４、６０６、６０８、および、６１０は、ピックアップゾーン６１２のアイテムの所望の数量、密度、および／または、配置を達成するように計算された方法で、ピックアップゾーン６１２にアイテムを供給させるために、カメラ６１４から画像データを受信して利用するよう構成されているコンピュータまたはその他のプロセッサ（図示せず）の制御下で作動される。図の例において、コンベヤ６０６および６０８は、コンベヤ６０２、６０４、および、６１０の流れ／供給の方向と直交する反対方向に進む。図６の下側の図に示すように、コンベヤ６０６および６０８を（外向きに）作動させる横道は、より低い高さに配置されているコンベヤ６１０にアイテムを供給するために、下向きに傾斜されている。下向きの傾斜の結果として、コンベヤ６０２および６０４によって送られたアイテムは、様々な実施形態において、ピックアップゾーン６１２におけるアイテムの所望の数量、分布、および、向きを達成するために、カメラ６１４によって生成された画像データに基づいてコンピュータ制御下で作動されるコンベヤ６０６および６０８によって外向きに引かれつつ、ピックアップゾーン６１２に向かって流れ続ける。
【００６６】
図７は、ロボットキッティングシステムの一実施形態を示す。図の例において、ロボットキッティングシステムは、ピックアップゾーン７１２にアイテムを供給するよう構成されている複数のコンピュータ制御コンベヤ７０２、７０４、７０６、７０８、および、７１０を備える。様々な実施形態において、コンベヤ７０２、７０４、７０６、７０８、および、７１０は、ピックアップゾーン７１２のアイテムの所望の数量、密度、および／または、配置を達成するように計算された方法で、ピックアップゾーン７１２にアイテムを供給させるために、カメラ７１４から画像データを受信して利用するよう構成されているコンピュータまたはその他のプロセッサ（図示せず）の制御下で作動される。図の例において、コンベヤ７０４および７０８は、ピックアップゾーン７１２に向かうアイテムの流れ／供給の方向と反対向きに進む。例えば、より大きいアイテムに対して、かかる逆行するコンベヤ７０４、７０８は、ピックアップゾーン７１２においてアイテムの所望の数量、分布、および、向きを達成および／または維持するために、カメラ７１４によって生成された画像データに基づいて、コンピュータまたはその他のプロセッサの制御下でコンベヤ７０４および７０８を作動させることによって、アイテムをひねり／回転させ、間隔をあける、などを可能にしうる。いくつかの実施形態において、コンベヤ７０２、７０４、７０６、７０８、および、７１０の内の１または複数が、逆転可能であってよく、例えば、ピックアップゾーン７１２においてアイテムの所望の数量、分布、および、向きを達成するために、図７に示したのと反対の方向に作動されてもよい。
【００６７】
図８は、ロボットキッティングシステムの一実施形態を示す。図の例において、ロボットキッティングシステムは、ピックアップゾーン８１０にアイテムを供給するよう構成されている複数のコンピュータ制御コンベヤ８０２、８０４、および、８０８、ならびに、１セットの逆回転するターンテーブル８０６を備える。様々な実施形態において、コンベヤ８０２、８０４、および、８０８、ならびに、ターンテーブル８０６は、ピックアップゾーン８１０のアイテムの所望の数量、密度、および／または、配置を達成するように計算された方法で、ピックアップゾーン８１０にアイテムを供給させるために、カメラ８１２から画像データを受信して利用するよう構成されているコンピュータまたはその他のプロセッサ（図示せず）の制御下で作動される。いくつかの実施形態において、コンベヤ８０２、８０４、および、８０８、ならびに、ターンテーブル８０６の内の１または複数が、逆転可能であってよく、例えば、ピックアップゾーン８１０においてアイテムの所望の数量、分布、および、向きを達成するために、図８に示したのと反対の方向に作動されてもよい。
【００６８】
図９は、ロボットキッティングシステムの一実施形態を示す。図の例において、ロボットキッティングシステムは、ピックアップゾーン９１０にアイテムを供給するよう構成されている複数のコンピュータ制御コンベヤ９０２、９０４、および、９０６を備える。ピックアップゾーン９１０は、ピックアップゾーン９１０に存在するアイテムを再分配しおよび／または向きを変えるために、１セットの逆回転するターンテーブル９０８を備える。様々な実施形態において、コンベヤ９０２、９０４、および、９０６、ならびに、ターンテーブル９０８は、ピックアップゾーン９１０のアイテムの所望の数量、密度、および／または、配置を達成するように計算された方法で、ピックアップゾーン９１０にアイテムを供給させ、および／または、ピックアップゾーン９１０にある間にアイテムを操作させるために、カメラ９１２から画像データを受信して利用するよう構成されているコンピュータまたはその他のプロセッサ（図示せず）の制御下で作動される。いくつかの実施形態において、コンベヤ９０２、９０４、および、９０６、ならびに、ターンテーブル９０８の内の１または複数が、逆転可能であってよく、例えば、ピックアップゾーン９１０においてアイテムの所望の数量、分布、および、向きを達成するために、図９に示したのと反対の方向に作動されてもよい。
【００６９】
図１０は、ロボットキッティングシステムの一実施形態においてピックアップゾーンの一例を示す。図の例において、ロボットキッティングシステム１０００は、図１０には図示していない要素（例えば、１または複数のコンベヤベルト、電動ローラ、斜面、または、滑動部など）によって搬送されるピックアップゾーン１００２を備える。ピックアップゾーン１００２は、図の例において、矢印１００６および１００８によって示すように、ｘ方向および／またはｙ方向に、移動され、振動され、揺さぶられるなど、されるよう構成されているｘ−ｙテーブルまたは同様の構造を備える。例えば、様々な実施形態においてｘ方向および／またはｙ方向にピックアップゾーン１００２を移動させるよう構成されているコンピュータ制御されたリニアモータまたはその他のアクチュエータが、ピックアップゾーン１００２においてアイテムの所望の密度、分散、向きなどを達成するために、カメラ１００４によって生成された画像データに基づいて、図１０に図示しないコンピュータまたはその他のプロセッサによって作動される。
【００７０】
図１１は、ロボットキッティングシステムの一実施形態においてピックアップゾーンの一例を示す。図の例において、ロボットキッティングシステム１１００は、ピックアップゾーン１１０２においてアイテムの所望の分布、間隔、向きなどを達成するために、バネまたはその他の非剛性吸収材１１０４、１１０６に取り付けられ、矢印１１１０、１１１２によって示すように、ピックアップゾーン１１０２に上向き／下向きの力および／または運動を加えるためのモータ、ソレノイド、バイブレータ、および／または、その他のコンピュータ制御構造（図示せず）を備えたピックアップゾーン１１０２を備える。様々な実施形態において、ピックアップゾーン１１０２は、ピックアップゾーン１１０２においてアイテムの所望の分布、間隔、向きなどを達成するために、カメラ１１０８によって生成された画像データに基づいて、コンピュータまたはその他のプロセッサ（図示せず）によって操作される。
【００７１】
例えば、ピックアップゾーン１１０２は、ロボットキッティングシステムが、ピックアップゾーン１１０２から１または複数のアイテムをピックアップするのに利用可能な１または複数の戦略を有する状態を達成するために、連続的に反復して操作されてよい。各反復において、カメラ１１０８によって生成された画像データが、その反復でピックアップゾーン１１０２を操作する方法（例えば、どのモータまたはその他の原動力を利用するか、どれだけの大きさまたはどれだけの期間で原動力を作用させるのか、など）を決定するために用いられてよい。例えば、ロボットキッティングシステムは、いくつかの実施形態において、ロボットキッティングシステムが人的介入なしにピックアップゾーン１１０２からアイテムをピックアップするための実行可能な戦略を有する状態を達成するために（または達成する可能性を高めるために）、異なる開始条件を仮定して異なる方法でピックアップゾーン１１０２を操作するように、機械学習技術を用いてトレーニングされる。
【００７２】
図１２Ａは、ロボットキッティングシステムの一実施形態を示す。図の例において、ロボットキッティングシステム１２００は、斜面、滑動面、傾斜台など１２０４を介して、容量の限られた容器または区画を規定するパーティションまたはパドル１２０８を設けられている仕切り付きコンベヤ１２０６へ重力送りされるアイテムを供給するアイテム供給源１２０２を備える。容量を超えたアイテムは、次の区画に落ち（例えば、アイテム１２１０を参照）、および／または、コンベヤ１２０６の下の捕捉容器またはボウルに落ちる。アイテムは、コンベヤ１２０６によって上方に運ばれ、アイテムがロボットアームおよびグリッパ１２１６によって取得されるピックアップゾーン１２１４への供給を行う斜面１２１２上へ置かれる。コンピュータまたはその他のプロセッサ（図示せず）が、ピックアップゾーン１２１４においてアイテムの所望のレベルの供給を達成および維持するために、カメラ１２１８によって生成された画像データを用いて、アイテム供給源１２０２およびコンベヤ１２０６の一方または両方を作動させる。
【００７３】
いくつかの実施形態において、レールに取り付けられ、または、他の方法で少なくとも部分的に移動可能になっているロボットが、移動可能なキッティング棚マシンおよび／またはモジュールと併用される。後者のマシン／モジュールは、様々な実施形態において、例えば、ピックアップゾーンからアイテムを取得するためのロボット（例えば、レールに取り付けられるなどの方法で移動可能な、および／または、固定されたロボットアームおよびグリッパ）の利用を容易にするために、例えば、マシン／モジュールの上および／または中で運ばれるアイテムを、マシン／モジュールの動的に再配置可能な「ピックアップゾーン」に、より良好に配置することを可能にするように、或る位置から別の位置へ移動されてよい。例えば、いくつかの実施形態において、一連または一組のモジュール／マシンが、移動下で、後方から押され、側方から引っ張られ、洗車機スタイルのコンベヤに乗るなどして、アクティブエリアを移動してよい。マシン／モジュールは、ピックアップに向けてアイテムを配置してよく、および／または、アイテムが、マシン／モジュール上の容器、棚などに静的に配置されてよい。キッティングされるアイテムは、連続的なマシン／モジュールの上または中へ搬送され、または、他の方法で送られてよい。例えば、マシン／モジュールがアクティブエリアを移動する時に、どのアイテムがどのマシン／モジュールで利用可能であるかを決定するために、コンピュータビジョン、光学またはＲＦスキャナなどが用いられてよく、マシン／モジュール、アクティブエリアでマシン／モジュールを移動させるために用いられる装置、および／または、ロボットアームは、ロボットアームによって取得されてキッティングされる位置にアイテムを移動させるために協調的に制御される。
【００７４】
図１２Ｂは、移動する棚モジュール／マシンを備えたロボットキッティングシステムの一実施形態を示す。図の例において、キッティングシステム１２４０は、レール１２４６に沿って移動可能なキャリッジ１２４４上に取り付けられたロボットアーム１２４２を備える。ロボットアーム１２４２は、グリッパ１２４８を末端に有する。移動可能キッティング棚モジュール１２５２、１２５４、および、１２５６が、ロボットアーム１２４２のリーチの範囲内でレール１２４６に隣接するアクティブゾーンを通して移動されている様子が示されている。図の状態では、グリッパ１２４８を用いて、キッティング棚モジュール１２５２の棚からアイテムが取得されており、キッティング棚モジュール１２５２は、左向きの矢印によって示されるように、アクティブエリアから外へ移動されており、一方、キッティング棚モジュール１２５４は、アクティブエリアの所定位置に移動され、キッティング棚モジュール１２５６は、「オンデッキ」または待機位置にあり、アクティブエリアへ移動されるのを待っている。
【００７５】
キッティングシステム１２４０は、この例において、制御コンピュータ１２５８によって制御されている。様々な実施形態において、制御コンピュータ１２５８は、この例においては、キッティングシステム１２４０が位置する物理的空間内に取り付けられたカメラ１２６０、および／または、その他のセンサ（例えば、ロボットアーム１２４２および／またキッティング棚モジュール１２５２、１２５４、および、１２５６上に取り付けられたカメラまたはその他のセンサ）からの画像データを、梱包リストまたはその他の情報と共に用いて、どのアイテムが、キッティング棚モジュール１２５２、１２５４、および、１２５６の内のどのモジュールから入手可能であり必要とされているのかを決定し、必要なアイテムを選択、取得、および、キッティングするために、協調的に、必要に応じて、キッティング棚モジュール１２４２、１２５４、および、１２５６、ならびに／もしくは、ロボットアーム１２４２を配置する。
【００７６】
図の例において、オンデマンド遠隔操作装置１２６２が、キッティング動作を完了または継続させるために、例えば、必要に応じて、人間オペレータ１２６４によって利用されてよい。例えば、システム１２４０が制御コンピュータ１２５８が完全自動動作を継続するための（さらなる）戦略を持たない状態にあると、制御コンピュータ１２５８が判定した場合に、制御コンピュータ１２５８は、オンデマンド遠隔操作装置１２６２を用いて、キッティング動作を継続／完了させるために必要に応じてシステム１２４０の要素を制御するよう、ユーザ１２６４にプロンプトしてよい。
【００７７】
図の例において、キッティング棚モジュール１２５２、１２５４、および、１２５６は、アイテムが取得される受動的な埋め込みの棚を有するが、様々な実施形態において、キッティング棚モジュール１２５２、１２５４、および、１２５６は、アイテムの取得を容易にするためにキッティング棚モジュール１２５２、１２５４、および、１２５６の外に伸びる棚、キッティング棚モジュール１２５２、１２５４、および、１２５６内のよりアクセスしやすいピックアップゾーンにアイテムを押すための要素、レール１２４６に隣接するアクティブゾーンを通してキッティング棚モジュール１２５２、１２５４、および、１２５６を自走させるための要素など、制御コンピュータ１２５８によって制御される能動的な要素を備えてもよい。
【００７８】
図１２Ｂに示す例では、移動式キッティング棚モジュール１２５２、１２５４、および、１２５６が、レール１２４６に沿って移動可能なロボットアーム１２４２と併用されている。様々な別の実施形態において、ロボットアーム１２４２は、完全移動式（例えば、４つの車輪または２つのトラクタを取り付けられたシャーシなどの遠隔制御シャーシ）であってよく、静止／固定であってよく、および／または、垂直レールに取り付けられてよい。
【００７９】
図１３は、ロボットキッティングシステムを動作させるための処理の一実施形態を示すフローチャートである。様々な実施形態において、図１３の処理１３００は、図１に示した例における制御コンピュータ１２２など、本明細書で開示されているロボットキッティングシステムを制御するよう構成されているコンピュータまたはその他のプロセッサによって実施される。いくつかの実施形態において、例えば、図１３の処理は、ロボットキッティングシステム（図２〜図１２のシステムなど）を構成し、または、他の方法で関連付けられているプロセッサによって実施される。
【００８０】
図１３に示す例において、ピックアップゾーン内の物体の数、分布、および、向きを示す画像データが受信される（工程１３０２）。例えば、本明細書で開示されているロボットキッティングシステムを構成し、および／または、それ他の方法で関連付けられているカメラが、画像データを生成してプロセッサに提供していてよい。様々な実施形態において、１または複数のその他のおよび／または異なるセンサからのデータが受信されてもよく、例えば、ピックアップゾーン以外から（例えば、ピックアップゾーンにアイテムを搬送するよう構成されているコンベヤまたはその他の構造から）の画像データを提供する１または複数の他のカメラ、重量センサ、圧力センサ、ＬＩＤＡＲ、赤外線センサ、ＲＦセンサ、光学センサ、接触スイッチまたはセンサ、などからのデータが受信および処理されてよいが、それらに限定されない。
【００８１】
ピックアップゾーン内のアイテムの（より）最適な数量、間隔、および、向きを達成するための調整（工程１３０４）。様々な実施形態において、調整は、例えば、機械学習生成モデルに基づいて、人的介入なしに決定され、そのモデルによって、プロセッサは、現在の状態および／または状況を示す画像データおよびその他のセンサデータに基づいて、ピックアップゾーン内のアイテムの（より）最適な数量、間隔、および、向きを達成するための調整を決定するよう構成されている。いくつかの実施形態において、例えば、どれだけの数量のどのアイテムがピックアップゾーンから取得されるために利用可能である必要があると予測されるのかに関して、今後のニーズを予測するために、キッティング要求の現在のセットなどのコンテキストデータ（例えば、現在遂行されている送り状、注文など）が考慮に入れられる。様々な実施形態において、調整は、送りメカニズム（コンベヤベルト、電動ローラなど）を開始／停止すること、送りメカニズムの動作速度を上げる／下げること、ピックアップゾーンに移動されているアイテムの軌道を妨害または変化させるために提供されているメカニズム（例えば、図５Ｂのバッフル５３２、５３４、図８のターンテーブル８０６）を調整すること、などを含んでよい。
【００８２】
いくつかの実施形態において、調整は、ピックアップゾーンからアイテムを取得するために利用可能であると決定された戦略に少なくとも部分的に基づいて決定される。ピックアップゾーン内のアイテムの現在の状態に基づいて、利用可能な戦略が存在しないかまたは限られていると判定された場合、人的介入なしにアイテムを取得するために（より多くの）戦略を（潜在的に）利用可能にするように条件を変化させると（例えば、機械学習、プログラムモデルなどに基づいて）予測される調整が、決定および実施される。
【００８３】
決定された調整を実施するための制御信号が、該当する場合に、搬送および／または妨害装置に送信される（工程１３０６）。例えば、コンベヤベルト、電力ローラなどが、開始または停止、もしくは、加速または減速されてよい。あるいは、妨害装置（図５Ｂのバッフル５３２、５３４など）が再配置されてもよいし、図８のターンテーブル８０６が、開始または停止、もしくは、加速または減速、もしくは、逆方向に動作するよう切り替えられてもよい。
【００８４】
ロボットキッティング動作が継続する場合（工程１３０８）、画像またはその他のセンサデータが監視され続け（工程１３０２）、さらなる調整が決定および実施される（工程１３０４、１３０６）。キッティング動作が完了した場合（工程１３０８）、処理は終了する。
【００８５】
いくつかの実施形態において、調整が、自動処理でピックアップゾーンからアイテムを取得するための戦略を提供すると判断されえなかった場合、人的介入を得るためのプロンプトまたはその他の動作が実行される。例えば、搬送構造および／または妨害装置が、ピックアップゾーンからアイテムを取得するのに必要とされる数量、間隔、または、向きを提供するために、遠隔操作などで、人間オペレータによって操作されてもよいし、人間オペレータがロボットアーム／グリッパを操作して、ピックアップゾーン内のアイテムを移動させてもよいし、近くの人間オペレータが、完全自動動作が再開できる状況を提供するために、物理的にアイテムを再配列してもよい。
【００８６】
図１４は、ロボットキッティングシステムを動作させるための処理の一実施形態を示すフローチャートである。様々な実施形態において、処理１４００は、ピックアップゾーンからアイテムを取得するための戦略の利用可能性に少なくとも部分的に基づいて、ロボットキッティングシステムを構成するかまたは他の方法で関連付けられているプロセッサによって実施される。図の例において、ピックアップゾーン内のアイテムの数、分布、および／または、向きを示す画像（および／またはその他のセンサデータ）が受信される（工程１４０２）。ロボットアームまたはその他のロボット取得装置を用いて自動動作で必要なアイテムを取得するための戦略が利用可能である場合（工程１４０４）、その戦略が、アイテムを取得するために用いられる（工程１４０６）。利用可能である（または利用可能になると予測される）戦略がない場合、１または複数の制御信号が、ピックアップゾーン内のアイテムを調整するために決定および送信される。様々な実施形態において、制御信号は、必要なアイテムを取得するための戦略が利用可能になる（または利用可能になる可能性が高い）状況を生み出すように決定される。制御信号が送信されると、さらなる画像（および／またはその他のセンサデータ）が処理され（工程１４０２）、アイテムをリトリーブするための戦略が利用可能になった場合（工程１４０４）、その戦略が実施される（工程１４０６）。そうでない場合、戦略が利用可能にならない限り／利用可能になるまで（工程１４０４）、調整のさらなる反復が実行されてよく（１４０４，１４０８）、あるいは、いくつかの実施形態において、タイムアウトまたは所定の回数の試行の後に、戦略が利用可能にならなかった場合、遠隔操作などによる人的介入が呼び出される。
【００８７】
図１５は、キッティングシステムの一実施形態を示すブロック図である。様々な実施形態において、図１５のキッティングシステム１５００は、図１のシステム１００などのキッティングシステムを実施するための、動作要素と、それらの間のネットワーク接続と、を表す。図の例において、キッティングシステム１５００は、複数セットの棚センサ１５０２、１５０４、１５０６を備えており、各セットは、キッティングマシン（図１のキッティングマシン１０２など）を備えた対応する棚に関連付けられている。棚センサ１５０２、１５０４、および、１５０６の例は、様々な実施形態において、カメラ、光学スキャナ、および、その他の光学センサ、圧力センサ、重量センサ、リミットスイッチ、ならびに、その他の接触センサなどを含むが、それらに限定されない。センサ１５０２、１５０４、および、１５０６は、様々な実施形態において、対応する棚にストックされているおよび／または他の方法で関連付けられているアイテムに関連付けられている存在、不在、数量、タイプ、性質、属性、向き、および／または、その他のデータを決定するために利用されるセンサ出力データを生成するよう構成されていてよい。
【００８８】
センサ１５０２、１５０４、および、１５０６の各セットは、それぞれ、対応する棚コントローラ１５０８、１５１０、および、１５１２に関連付けられている。各棚コントローラ１５０８、１５１０、および、１５１２は、様々な実施形態において、図１に示した例のように棚またはその上側トレイを延長するため、棚の傾斜角を調節するため、ピックアップに向けてアイテムを配置するために棚上にアイテムを位置決めしおよび／または方向を合わせるよう構成されている棚のベルトコンベヤもしくはその他の原動力または推進力および／または装置を動作させるため、などのために、棚を構成する構成要素を制御するために用いられるよう構成されている。
【００８９】
システム１５００は、さらに、ロボットアームセンサ１５１４およびロボットアームコントローラ１５１６を備えている。様々な実施形態において、ロボットアームセンサ１５１４は、１または複数のカメラ、圧力センサ、重量センサ、ロボットアームセグメント位置センサ、などを含みうる。様々な実施形態において、ロボットアームコントローラ１５１６は、例えば、アイテムを取得できる位置へロボットアームを再配置するため、アイテムをピックアップするため、箱、コンベヤ、または、その他の目的地にアイテムを移動させるため、など、関連付けられているロボットアームを動作させるために用いられてよい。
【００９０】
システム１５００は、他のセンサ１５１８を備えており、他のセンサ１５１８は、システム１５００が動作する環境内の他のセンサ（環境内に取り付けられたカメラ、例えば、図１のカメラ１２４など）を含みうる。
【００９１】
図の例では、制御コンピュータ１５２０が、ネットワーク（例えば、Ｗｉ−Ｆｉ、ピアツーピアなど）を介して接続されている。様々な実施形態において、制御コンピュータ１５２０は、棚センサ、ロボットアームセンサ、および、その他のセンサ１５０２、１５０４、１５０６、１５１４、および、１５１８によって生成されたセンサデータを用いて、例えば、それぞれの棚コントローラ１５０８、１５１０、および／または、１５１２、ならびに、ロボットアームコントローラ１５１６へネットワークを介して送信されたコマンドで１または複数の棚およびロボットアームの動作を制御することによって、キッティングタスクを完了させるための戦略を決定して実施するよう構成されている。
【００９２】
図の例において、制御コンピュータ１５２０は、オンデマンド遠隔操作装置１５２２へネットワーク接続を介して接続されており、オンデマンド遠隔操作装置１５２２は、上述のように、キッティングタスクを完了させる助けとして介入するために、必要に応じて、人間オペレータ１５２４によって用いられるよう構成されている。
【００９３】
様々な実施形態において、本明細書で開示されている技術は、例えば、ロボットアームおよびグリッパならびに／もしくは別のロボット取得装置を用いて、ピックアップゾーンからのアイテムの（より完全な）自動リトリーブに（より）寄与する数量、分布、および／または、向きのアイテムをピックアップゾーンに提供するために、画像および／またはその他のセンサデータに少なくとも部分的に基づいて、ロボットキッティングシステムを構成する搬送メカニズムおよび／またはその他の装置の自動制御を提供することにより、（より）完全に自動化されたロボットキッティングシステムを提供するために用いられてよい。
【００９４】
上述の実施形態は、理解しやすいようにいくぶん詳しく説明されているが、本発明は、提供された詳細事項に限定されるものではない。本発明を実施する多くの代替方法が存在する。開示された実施形態は、例示であり、限定を意図するものではない。
【図１】
2022501275.tif 000003
【図２】
2022501275.tif 000004
【図３】
2022501275.tif 000005
【図４】
2022501275.tif 000006
【図５Ａ】
2022501275.tif 000007
【図５Ｂ】
2022501275.tif 000008
【図６】
2022501275.tif 000009
【図７】
2022501275.tif 000010
【図８】
2022501275.tif 000011
【図９】
2022501275.tif 000012
【図１０】
2022501275.tif 000013
【図１１】
2022501275.tif 000014
【図１２Ａ】
2022501275.tif 000015
【図１２Ｂ】
2022501275.tif 000016
【図１３】
2022501275.tif 000017
【図１４】
2022501275.tif 000018
【図１５】
2022501275.tif 000019
【国際調査報告】
2022501275.tif 000020