(57)【特許請求の範囲】
【請求項１】
自動化タスク実施システムであって、
撮像デバイスと、
少なくとも１つのデータストアと、
自動化機械と、
前記撮像デバイス及び前記自動化機械と通信状態にあるコンピューティングデバイスとを備え、
前記コンピューティングデバイスは、少なくとも１つのコンピュータプロセッサと、プロセッサによって実行される命令を記憶する少なくとも１つのメモリと、を備え、
前記コンピューティングデバイスは、少なくとも１つの前記コンピュータプロセッサによって実行されるプロセッサ実行命令に応答し、少なくとも、
前記撮像デバイスを使用して対象物の少なくとも一部分の第１の画像を取得し、
少なくとも一部分の前記第１の画像内で表現され、前記対象物の少なくとも一部分に関連する第１の視覚キューを認識し、
前記第１の視覚キューに基づいて前記対象物の状況又は状態を決定し、
前記対象物の状況又は状態と、少なくとも１つの前記データストア内に維持される複数の所定のタスクに関する情報に基づいて前記対象物に関して実施される少なくとも１つの所定のタスクとの間の関連付けを決定し、及び
前記関連付けの決定に基づいて少なくとも１つの前記所定のタスクを実施するために必要とされる少なくとも１つの前記自動化機械によって実行されるアクションを識別し、
少なくとも１つの前記アクションは、
少なくとも１つの前記アクションを実行するための電子命令を前記自動化機械に提供し、
前記撮像デバイスを使用して前記対象物の少なくとも第２の画像を取得し、
前記第２の画像に基づいて前記対象物の状況又は状態を決定し、
前記環境の状況又は状態が前記環境の前記所望の状況又は状態と一定であるかを決定し、及び、
前記環境の状況又は状態が前記環境の前記所望の状況又は状態と一定であることを決定することに応答し、少なくとも１つの前記所定のタスクが実施されたことを格納するように構成される、自動化タスク実施システム。
【請求項２】
前記コンピューティングデバイスは、少なくとも、
前記第１の視覚キューに関連するコンテキストを識別するように更に構成され、前記関連付けは前記コンテキストに基づいて決定される、請求項１に記載される自動化タスク実施システム。
【請求項３】
前記第１の視覚キューは、
英数字、
シンボル、または
アイコンのうちの少なくとも１つを含み、
前記第１の視覚キューはバーコードを含まない、請求項１に記載される自動化タスク実施システム。
【請求項４】
自動化タスク実施方法であって、
少なくとも１つの撮像デバイスによって対象物に関する撮像データの第１のセットを取得すること、
前記撮像データの第１のセットは前記対象物に関連する少なくとも１つの視覚キューに関する情報を含むことを、少なくとも１つのコンピュータプロセッサによって特定すること、
前記撮像データの前記第１のセットの少なくとも一部分である少なくとも１つの前記視覚キューを、少なくとも１つの前記コンピュータプロセッサによって認識すること、
少なくとも１つの前記コンピュータプロセッサによって、前記視覚キューに基づいて前記対象物の状況又は状態を決定すること、
少なくとも１つの前記視覚キューに基づいて前記対象物の状況又は状態に関連する第１の自動化タスクを、少なくとも１つの前記コンピュータプロセッサによって識別すること、
前記第１の自動化タスクに関連する少なくとも１つのアクションを実施するための命令を第１の自動化機械に、少なくとも１つの前記コンピュータプロセッサによって提供すること、
少なくとも１つの前記撮像デバイスによって前記対象物の少なくとも第２の撮像データを取得すること、
前記第２の撮像データに基づいて前記環境の状況又は状態を決定すること、
前記環境の状況又は状態が前記環境の前記所望の状況又は状態と一定であるかを決定すること、及び
前記環境の状況又は状態が前記環境の前記所望の状況又は状態と一定であることを決定することに応答し、少なくとも１つの前記所定のタスクが実施されたことを格納すること、を含む、自動化タスク実施方法。
【請求項５】
前記第１の自動化機械は、少なくとも１つの前記撮像デバイスを含む、請求項４に記載の自動化タスク実施方法。
【請求項６】
撮像データの前記第１のセットは、前記対象物の少なくとも１つの画像を含み、
少なくとも１つの前記視覚キューは、前記対象物の少なくとも１つの前記画像内で表現される、請求項４に記載の自動化タスク実施方法。
【請求項７】
前記対象物に関する撮像データの前記第１のセットの少なくとも一部分における少なくとも１つの前記視覚キューを認識することは、
前記撮像データの前記第１のセットに基づいて前記対象物のエッジ、輪郭、または外形の少なくとも１つを認識すること、及び、
前記エッジ、前記輪郭、または前記外形に基づいて少なくとも１つの前記視覚キューを識別することを含む、請求項４に記載の自動化タスク実施方法。
【請求項８】
前記対象物の状況又は状態に関連する前記第１の自動化タスクを識別することは、
少なくとも１つのデータストア内に記憶された複数のレコードであって、レコードのそれぞれは、複数の視覚キューのうちの１つの視覚キューと複数の自動化タスクのうちの１つの自動化タスクとの間の関連付けを含む、複数のレコードを識別すること、
前記対象物の状況又は状態に対応する前記複数のレコードのうちの少なくとも１つのレコードを選択すること、及び、
前記複数のレコードのうちの前記選択された少なくとも１つのレコードに基づいて前記第１の自動化タスクを識別することを含む、請求項４に記載の自動化タスク実施方法。
【請求項９】
前記対象物に関連する前記第１の自動化タスクを識別することは、
少なくとも１つの前記視覚キュー、前記対象物、又は前記環境のうちの１つに関連するコンテキストを決定することを含み、
前記第１の自動化タスクは、前記コンテキストに基づいて識別される、請求項４に記載の自動化タスク実施方法。
【請求項１０】
少なくとも１つの撮像デバイスによって対象物に関する撮像データの第１のセットを少なくとも取得することと、
前記撮像データの前記第１のセットは、前記対象物に関連する少なくとも１つの視覚キューに関する情報を含むことを、少なくとも１つのコンピュータプロセッサによって特定することと、
前記撮像データの前記第１のセットに基づいて、少なくとも１つの前記視覚キューを少なくとも１つの前記コンピュータプロセッサによって識別することと、
少なくとも１つの前記視覚キューに基づいて、前記対象物に関連する第１の自動化タスクを少なくとも１つの前記コンピュータプロセッサによって識別することと、
前記第１の自動化タスクに関連する少なくとも１つのアクションを実施するための命令を、少なくとも１つの前記コンピュータプロセッサによって第１の自動化機械に提供することと、
少なくとも１つの撮像デバイスによって、前記対象物に関する撮像データの第２のセットを取得することと、
撮像データの前記第２のセットに基づいて、前記対象物がその中に設けられる前記環境の条件を決定することと、
前記環境の前記条件が前記環境の前記所望の条件に適合するかどうかを判定することと、
前記環境の前記条件が前記環境の前記所望の条件に適合すると判定すると、前記第１の自動化タスクが実施されたという指示を記憶することと、を有する、コンピュータ実装式方法。
【請求項１１】
少なくとも１つの前記視覚キューに基づいて前記対象物に関連する第２の自動化タスクを、少なくとも１つの前記コンピュータプロセッサによって識別すること、及び、
前記第２の自動化タスクに関連する少なくとも１つのアクションを実施するための命令を、前記第１の自動化機械に、少なくとも１つの前記コンピュータプロセッサによって提供することを更に含み、
前記第２の自動化タスクは、前記第１の自動化タスクが実施されたという前記指示に基づいて識別される、請求項１０に記載のコンピュータ実装式方法。
【請求項１２】
少なくとも１つの前記視覚キューは、前記対象物の少なくとも１つの表面上に配置された第１の視覚キューを含み、
少なくとも１つの前記撮像データの前記第１のセットの少なくとも一部分で少なくとも１つの前記視覚キューを認識することは、前記撮像データの前記第１のセットに基づいて前記第１の視覚キューを認識することと、
前記撮像データの前記第１のセットに基づいて、前記対象物の少なくとも１つの前記表面上の前記第１の視覚キューの第１の位置、前記対象物の少なくとも１つの前記表面上の前記第１の視覚キューの第１の配向、または前記撮像データの前記第１のセットを取得した第１の時間のうちの少なくとも１つである、前記第１の視覚キューの少なくとも１つの属性を特定することと、
前記第１の視覚キューの少なくとも１つの前記属性に基づき、前記第１の視覚キューを含む視覚パターンを規定することと、を含み、
前記対象物の状況又は状態に関連する前記第１の自動化タスクは、前記視覚パターンに基づいて識別される、請求項４に記載の自動化タスク実施方法。
【請求項１３】
少なくとも１つの前記視覚キューはさらに、前記対象物に関連する第２の視覚キューを含み、
撮像データの前記第１のセットに少なくとも一部分に基づいて少なくとも１つの前記視覚キューを認識することは、
撮像データの前記第１のセットに基づいて前記第１の視覚キューを認識することと、
撮像データの前記第１のセットに基づいて、前記対象物の少なくとも１つの前記表面上の前記第２の視覚キューの第２の位置、または前記対象物の少なくとも１つの前記表面上の前記第２の視覚キューの第２の配向である、前記第２の視覚キューの少なくとも１つの属性を特定することと、を含み、
前記視覚パターンは前記第２の視覚キューの前記少なくとも一つの属性に基づいて規定される、請求項１２に記載の自動化タスク実施方法。
【請求項１４】
前記視覚パターンはさらに、前記対象物の少なくとも１つの表面上に設けられる第２の視覚キューを含み、
前記方法はさらに、
少なくとも１つの前記撮像デバイスを使用して前記対象物の撮像データの第２のセットを少なくとも取得することと、
前記撮像データの第２のセットは、少なくとも１つの前記コンピュータプロセッサによって、前記第２の視覚キューに関する情報を含むことを特定することと、
撮像データの前記第２のセットに基づいて前記第２の視覚キューを認識することと、
撮像データの前記第２のセットに基づいて、前記第２の視覚キューの少なくとも１つの属性を前記コンピュータプロセッサによって特定することであって、前記第２の視覚キューの少なくとも１つの前記属性は、
前記対象物の少なくとも１つの前記表面上の前記第２の視覚キューの第２の位置、
前記対象物の少なくとも１つの前記表面上の前記第２の視覚キューの第２の配向、または
前記撮像データの第２のセットを取得した第２の時間のうちの少なくとも１つである、前記第２の視覚キューの少なくとも１つの属性を特定することと、を含み、
前記視覚パターンは前記第２の視覚キューの前記少なくとも一つの属性に基づいて規定される、請求項１２に記載の自動化タスク実施方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視覚キューに基づいて自動化タスクを実施することに関する。
【背景技術】
【０００２】
工業用または商業用機械は、規定された規則のセットに従って１つまたは複数の特定の機能を実施するように容易にプログラムされる場合がある。例えば、コンベヤシステムは、コンベヤシステム上の対象物の存在を認識し、指定速度で少なくとも１つの方向に対象物を移動させるように動作し始めるように構成されてもよい。同様に、商用グレードオーブンは、有限期間の間、または、食物または食物がオーブン内で調理される環境が所定の温度設定点に達するまで食物を調理するようにプログラムされてもよい。そのため、工業用または商業用ツール、装置、または他の機械は、人間オペレータまたはコンピュータによって命令のセットを提供されてもよく、また、所与の方法で動作し始め、人間の介入または自動介入が存在しない場合、命令のセットに従って所与の方法で動作し続けてもよい。
【０００３】
工業用または商業用機械は、１つまたは複数のタスクを実施するためのコードによってプログラムされてもよく、また、人間によって提供される入力によって、または、タイミング信号または検知信号に応答してトリガーされてもよいが、今日の工業用または商業用機械或はコンピュータハードウェアコンポーネントまたはその上で動作するソフトウェアモジュールは、複数のタスクを実施するための命令を受信する能力またはこうした命令に従って実施するその能力に影響を及ぼす場合がある状況の変化に適応する能力が制限される。例えば、チキンを少なくとも１６５°Ｆの内部温度まで調理すること、及び、シーフードを少なくとも１４５°Ｆの内部温度まで調理することは、一般に推奨される方法である。しかし、商用オーブンは、食物を、所定の温度でまたは有限期間の間、調理するようプログラムされてもよいが、チキンとシーフードを識別できず、または、それぞれの食物のタイプについての異なる調理要件を認識できない。同様に、磁器または水晶を含むボックスは、注意深く取扱われるべきであり、一方、ベースボールを含むボックスは、通常、任意の特定の取扱い指令を必要としない。コンベヤシステムは、ベースボールのボックスと一緒に磁器または水晶のボックスを運搬するように構成されてもよいが、コンベヤシステムは、１つのボックスが脆いアイテムを含み、別のボックスが、耐久性があるスポーツグッズを含むこと、または、各ボックスが、各ボックスに関連する異なる閾値取扱い条件を有することを認識できない。
【０００４】
代わりに、特定のタスクを実施するようプログラムまたは構成される工業用または商業用機械は、異なる特定のタスクを実施するため、通常、人間オペレータによって、再プログラムまたは再構成されなければならない。工業用または商業用機械は、通常、いろいろな別個のビジネスニーズまたは機能に基づいて複数のタスクを実施するよう容易にプログラムされない場合がある。
【発明の概要】
【課題を解決するための手段】
【０００５】
視覚キューは、所与のタスクに関連する１つまたは複数のアクションの実施をトリガーするために提供されてもよい。視覚キューは、任意の関連する表面上の１つまたは複数の文字或は他のマーキング、並びに、視覚キューがその中に設けられる環境内の自然に現れるエッジ、輪郭、又は外形を含んでもよい。１つまたは複数の視覚キューが撮像デバイスの視野内に現れ、視覚キューがそのように認識されると、視覚キューに関連するタスクが識別され、タスクを実施するための命令が提供されてもよい。タスクは、視覚キューがその中で設けられるコンテキストに依存してもよく、それにより、単一視覚キューは、異なるコンテキストにおいて複数のタスクに関連してもよく、タスクの実施は、撮像データまたは他の関連情報に基づいて確認されてもよい。
【図面の簡単な説明】
【０００６】
【図１Ａ】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための複数のシステムのコンポーネントの図である。
【図１Ｂ】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための複数のシステムのコンポーネントの図である。
【図２Ａ】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための１つのシステムのコンポーネントのブロック線図である。
【図２Ｂ】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための１つのシステムのコンポーネントのブロック線図である。
【図３】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための１つのプロセスのフローチャートである。
【図４】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための１つのシステムのコンポーネントの図である。
【図５】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための１つのプロセスのフローチャートである。
【図６Ａ】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための複数のシステムのコンポーネントの図である。
【図６Ｂ】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための複数のシステムのコンポーネントの図である。
【図７】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための１つのプロセスのフローチャートである。
【図８Ａ】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための１つのシステムのコンポーネントの図である。
【図８Ｂ】本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための１つのシステムのコンポーネントの図である。
【発明を実施するための形態】
【０００７】
以下でより詳細に述べるように、本開示は、限定はしないが、規定された環境内の任意の関連する表面上に設けられる１つまたは複数の英数字（例えば、文字または数字）またはその組合せ、並びに、撮像デバイス、例えば、デジタルカメラの視野内で見ることができる１つまたは複数の対象物に設けられる場合がある形状、記章、またはロゴを含む、１つまたは複数のシンボル、ラベル、またはマーキングを含む場合がある視覚キューに基づく１つまたは複数の自動化タスクの実施を対象とする。特に、本明細書で開示されるシステム及び方法は、デジタルカメラまたは他の形態の撮像デバイスを使用して取得された画像または撮像データのセット内の視覚キューまたは視覚キューのパターンを認識するように構成されてもよい。本明細書で開示されるシステム及び方法は、視覚キューまたはパターンを特定のタスクに関連付け、視覚キューを検知すると、タスクに関連する１つまたは複数のアクションを自動的に識別し、視覚キューまたはパターンがそこから認識された画像または撮像データを取得したデジタルカメラまたは撮像デバイスと通信状態にある１つまたは複数の機械を使用して、アクションのうちの１つまたは複数のアクションの実施または実行を始動するように更に構成されてもよい。こうしたタスクは、対象物または対象物がその中に設けられる環境に対する任意の関係を持ってもよく、また、タスクは、対象物または環境に対する任意の関連するまたは所望の影響を有することを対象としてもよい。
【０００８】
更に、本明細書で開示されるシステム及び方法は、視覚キューまたはパターンがその中に設けられるコンテキストを認識し、認識されたコンテキストに基づいて、視覚キューまたはパターンとタスクとの関連付け或はタスクに関連する１つまたは複数のアクションの識別を調節するように更に構成されてもよい。最後に、本明細書で開示されるシステム及び方法は、その後取得された画像または撮像データに基づいて、アクションの実施が意図された通りに遂行されたかどうかを判定するように構成されてもよい。
【０００９】
図１Ａ及び１Ｂを参照すると、視覚キューに基づいて自動化タスクを実施するためのシステム１００Ａ、１００Ｂのコンポーネントが示される。図１Ａに示すように、システム１００Ａは、第１のコンベヤ１３１Ａ、サーバ１３２Ａ、第２のコンベヤ１３５Ａ、撮像デバイス１４０Ａ、ダイバータ１４６Ａ、及びカート１５０Ａを含む。アイテム１０Ａであって、アイテム１０Ａに貼り付けられたまたは固着された、シンボルの形態の視覚キュー１２Ａ、すなわち円内の文字Ａを含む、アイテム１０Ａは、第１のコンベヤ１３１Ａに沿って第２のコンベヤ１３５Ａに向かって走行している。撮像デバイス１４０Ａは、アイテム１０Ａが第１のコンベヤ１３１Ａに沿って第２のコンベヤ１３５Ａに向かって走行するときにアイテム１０Ａの画像を取得するように構成される。サーバ１３２Ａは、撮像デバイス１４０Ａ及びダイバータ１４６Ａと通信状態にある。カート１５０Ａは、ダイバータ１４６Ａを使用して、第１のコンベヤ１３１Ａによって規定された経路から方向転換された（ｄｉｖｅｒｔ）アイテムを受取るように設けられる。
【００１０】
本開示によれば、アイテム１０Ａ上の視覚キュー１２Ａは、撮像デバイス１４０Ａを使用して取得され、サーバ１３２Ａに提供された画像１４２Ａ内で認識されてもよい。視覚キュー１２Ａが認識されると、サーバ１３２Ａは、視覚キュー１２Ａに関連する命令１４４Ａ、すなわち、アイテム１０Ａをカート１５０Ａに搬送する命令を識別し、命令１４４Ａをダイバータ１４６Ａに提供してもよい。その後、アイテム１０Ａが第１のコンベヤ１３１Ａからダイバータ１４６Ａに到着すると、アイテム１０Ａは、命令１４４Ａに応答してダイバータ１４６Ａによってカート１５０Ａ内に搬送される。
【００１１】
図１Ｂに示すように、システム１００Ｂは、コンベヤ１３１Ｂ、サーバ１３２Ｂ、撮像デバイス１４０Ｂ、及びスピーカ１４６Ｂを含む。作業者１５０Ｂは、アイテム１０Ｂがコンベヤ１３１Ｂ上に設置されるにつれて、シンボルの形態の視覚キュー１２Ｂ、すなわちダンベルに対応するアイコンをアイテム１０Ｂに貼り付けている。撮像デバイス１４０Ｂは、アイテム１０Ｂが、アイテム１０Ｂ上に視覚キュー１２Ｂが設けられた状態でコンベヤ１３１Ｂに沿って走行するにつれて、アイテム１０Ｂの画像を取得するように構成される。サーバ１３２Ｂは、撮像デバイス１４０Ｂとスピーカ１４６Ｂの両方と通信状態にある。
【００１２】
本開示によれば、アイテム１０Ｂ上の視覚キュー１２Ｂは、撮像デバイス１４０Ｂを使用して取得され、サーバ１３２Ｂに提供された画像１４２Ｂ内で認識されてもよい。視覚キュー１２Ｂが認識されると、サーバ１３２Ｂは、視覚キュー１２Ｂ、すなわち、２人以上の作業者１５０Ｂがアイテム１０Ｂを受取ることを要求する可聴信号に関連する命令１４４Ｂを識別し、命令１４４Ｂをスピーカ１４６Ｂに提供してもよい。その後、また、命令１４４Ｂに応答して、２人以上の作業者１５０Ｂが、アイテム１０Ｂを取扱うために利用可能であってよい。
【００１３】
そのため、１つまたは複数の視覚キューを一時的にまたは永久的に設けることによって、命令は、任意のタイプまたは形態の工業用または商業用機械、例えば、１つまたは複数の自動車、コンポーネント、エンジン、モータ、車両、または機器の他のピースに対して、機械と通信状態にあるデジタルカメラまたは他の撮像デバイスによって提示されてもよい。撮像デバイスは、画像または他の撮像データ内の視覚キューを取得してもよく、また、こうしたキューは、画像または撮像データから認識され、一般に１つまたは複数のタスクに、或は、特にタスクに関連する１つまたは複数のアクションに関連付けられてもよい。視覚キューに関連するタスクまたはアクションが識別されると、タスクまたはアクションを実施するための命令が、相応して機械に自動的に提供されてもよい。したがって、本開示のシステム及び方法は、自動化機械が、同様に人間によって容易に理解されてもよい方法で、視覚キューまたは視覚キューのパターンからなる言語によって通信することを効果的に可能にする。
【００１４】
早い年齢で始めると、人間は、１つまたは複数の書き言葉または話し言葉の組合せを使用して互いに通信することを学習する。書き言葉は、１つまたは複数の文字から形成され、また、１つまたは複数のシンボル（例えば、句読点）及び／または数字によって補足されてもよい。１つまたは複数の言葉は、組合されて、句または節になってもよく、句または節は、更に組合されて、１つまたは複数の文または段落になってもよく、こうした言葉または言葉の組合せは、通常、用紙上で、または、ショートメッセージングサービスまたはマルチメディアメッセージングサービス（または、「ＳＭＳ：ｓｈｏｒｔ  ｍｅｓｓａｇｉｎｇ  ｓｅｒｖｉｃｅ」または「ＭＭＳ：ｍｕｌｔｉｍｅｄｉａ  ｍｅｓｓａｇｉｎｇ  ｓｅｒｖｉｃｅ」）のテキストメッセージまたは電子メール（または「Ｅ−ｍａｉｌ」）等の電子形式で、１人の人間から別の人間に提供されてもよい。話し言葉は、意味のある音を生成するために必要とされる音声調音器官の動作を記述する、音素または言語の音韻組織の最小の対照単位からなる。話すことは、通常、肺内の空気圧の生成で始まり、空気圧の生成は、音韻が生成されるときに喉頭内の音声ひだまたは声帯を振動させる。したがって、音エネルギーは、音声ひだの振動、蓄積圧力の放出、または狭い通路を通る空気の急速な移動によって引起される乱流によって生成される。母音は、一般に、非閉塞声道及び乱流の欠如を特徴とし、一方、子音は、種々の音エネルギー源から形成される場合がある。
【００１５】
そのため、書き言葉または話し言葉を通して、人間は、何世紀もの間、１つまたは複数の考え、意見、または命令を互いに対して表現し、こうした考え、意見、または命令に応答して種々のアクションをとることができた。最近、コンピュータが、人間によって生成された１つまたは複数の書き言葉または話し言葉を認識し、１つまたは複数の書き言葉または話し言葉を、応答してこうした人間に提供することを可能にする努力がとられている。現代のコンピュータの出現後ほどなくして以来、人間はキーボードのストロークによってコンピュータに命令を提供してきており、また、数年にわたって、ソフトウェアアプリケーションは、画像またはコンピュータ文書内で表現される印刷済みの言葉を認識するため、１つまたは複数の光学文字認識（または、「ＯＣＲ：ｏｐｔｉｃａｌ  ｃｈａｒａｃｔｅｒ  ｒｅｃｏｇｎｉｔｉｏｎ」）技法を実施するように構成されてきた。より最近になって、幾つかのソフトウェアアプリケーションは、今や、ユーザが、マイクロフォンまたは他のオーディオセンサに向けて話し、ユーザの話しの中の１つまたは複数の言葉を認識し、こうした言葉をユーザインタフェース上に表示する、或は、こうした言葉に応答して１つまたは複数のアクションをとることを可能にする。
【００１６】
しかし、現在のところ、コンピュータは、一般に、離散的なタスクの実施のために人間から単一命令だけを受取る場合があり、また、こうした命令を提供するための手段またはプロセスは、長たらしくてかつやっかいである場合がある。例えば、テキストベース命令をコンピュータに提供することは、通常、キーボードを必要とし、一方、ＯＣＲ技法及びスピーチ認識技法は、専用付属品または周辺機器を必要とし、かなりの量の処理パワー及び／またはネットワーク化接続の帯域を消費する場合がある。更に、複数のタスクを実施するための命令がコンピュータに提供される場合、命令は、通常、反復的に提供されなければならない。その理由は、コンピュータが、こうしたタスクを実施するときの状況または条件の変化に適応するように、または、命令に従う以外の方法で働くように装備されていないからである。
【００１７】
デジタルカメラ等の多くの撮像デバイスは、対象物から反射される光を取得し、その後、反射光の態様に対して１つまたは複数の定量的な値、すなわち、ピクセルを計算または割当て、こうした値に基づいて出力を生成し、こうした値を１つまたは複数のデータストア内に記憶することによって動作する。デジタルカメラは、１つまたは複数のセンサに連結された１つまたは複数のフィルタを有する、１つまたは複数のセンサを含んでもよく、こうしたセンサは、反射光の１つまたは複数のベースカラー（例えば、赤、緑、または青）に対応する反射光の任意の数のピクセルの態様に関する情報を検出してもよい。こうしたセンサは、こうした情報を含むデータファイルを生成し、こうしたデータファイルを、１つまたは複数のオンボードまたはアクセス可能データストア（例えば、デジタルビデオレコーダまたは「ＤＶＲ：ｄｉｇｉｔａｌ  ｖｉｄｅｏ  ｒｅｃｏｒｄｅｒ」）並びに１つまたは複数の取外し可能データストア（例えば、フラッシュメモリデバイス）内に記憶する、或は、１つまたは複数のブロードキャストまたは閉回路テレビジョンネットワーク上で、または、インターネット等のコンピュータネットワークを通じて表示してもよい。１つまたは複数のデータストア内に記憶されるデータファイルは、用紙上に印刷される、１つまたは複数のコンピュータディスプレイ上で提示される、または、その中で表現されるアイテムを識別するため等で、１つまたは複数の解析を受けてもよい。
【００１８】
反射光は、反射光が撮像デバイスの視野内にある場合、撮像デバイスによって取得または検出されてもよく、デバイスの視野は、デバイス内のセンサとレンズとの間の距離、すなわち焦点距離、並びに、デバイスの場所及びデバイスのレンズの角度配向の関数として規定される。したがって、対象物が、明瞭度及び合焦が十分に鮮鋭である、被写界深度または視野内の距離内に現れる場合、撮像デバイスは、その１つまたは複数のセンサを使用して、任意の種類の対象物から反射される光を十分に高い程度の解像度で取得し、反射光に関する情報を１つまたは複数のデータファイル内に記憶してもよい。
【００１９】
多くの撮像デバイスは、同様に、それらのそれぞれの視野または配向を修正するための手動または自動フィーチャを含む。例えば、デジタルカメラは、固定位置に、或は、固定焦点（例えば、固定焦点レンズ）または角度配向を持つように構成されてもよい。代替的に、撮像デバイスは、センサとレンズとの間の距離の変化（例えば、光学ズームレンズまたはデジタルズームレンズ）、撮像デバイスの場所の変化、または、角度配向を規定する角度のうちの１つまたは複数の角度の変化をもたらすことによる、撮像デバイスの位置を調整するための、或は、焦点距離を調整する（例えば、撮像デバイスをズームする）かまたは角度配向（例えば、ロール角度、ピッチ角度、またはヨー角度）を調整するための１つまたは複数の電動式フィーチャを含んでもよい。
【００２０】
例えば、撮像デバイスは、１つ、２つ、または３つの軸に関して固定構成または固定角度でデバイスを維持する支持体またはマウンティングにハードマウントされてもよい。代替的に、しかし、撮像デバイスは、コンポーネントの１つまたは複数を手動でまたは自動で動作させるための、または、デバイスの軸または方向を再配向させるための、すなわち、デバイスをパンまたはチルトさせることによる、１つまたは複数のモータ及び／またはコントローラを備えてもよい。撮像デバイスをパンすることは、水平軸内でまたは垂直（例えば、ヨー）軸の周りの回転をもたらす場合があり、一方、撮像デバイスをチルトすることは、垂直平面内または水平（例えば、ピッチ）軸の周りの回転をもたらす場合がある。更に、撮像デバイスは、その回転軸の周りに、また、回転軸に垂直でかつデバイスの視野に実質的に平行な平面内で転動または回転してもよい。
【００２１】
更に、幾つかの現代の撮像デバイスは、１つまたは複数の物理的制約及び動作上の制約を受けて、視野内で識別された画像をデジタル的にまたは電子的に調整してもよい。例えば、デジタルカメラは、画像のピクセルを事実上、伸長または圧縮して、デジタルカメラの視野を合焦または幅広化させ、また同様に、画像の１つまたは複数の部分を視野内に変換してもよい。光学的に調整可能な焦点距離または配向軸を有する撮像デバイスは、パンチルトズーム（または「ＰＴＺ：ｐａｎ−ｔｉｌｔ−ｚｏｏｍ」）撮像デバイスと一般に呼ばれ、一方、デジタル的にまたは電子的に調整可能なズームまたは変換フィーチャを有する撮像デバイスは、電子ＰＴＺ（または「ｅＰＴＺ」）撮像デバイスと一般に呼ばれる。
【００２２】
フィーチャまたは対象物のカラー、テキスチャ、または外形を含む、デジタル画像で表現されるフィーチャまたは対象物に関する情報及び／またはデータは、任意の数の方法で画像から抽出されてもよい。例えば、デジタル画像内のピクセルの、または、ピクセルのグループのカラーは、１つまたは複数の規格、例えば、ピクセル内の赤、緑、または青の部分が、値が０から２５５の範囲にある３つの対応する数で表現されるＲＧＢ（「赤緑青」）カラーモデル、または、ピクセルのカラーが６文字コードで表現され、文字のそれぞれが１６の範囲を有してもよい１６進モデルに従って決定され定量化されてもよい。更に、デジタル画像で表現される対象物のテキスチャまたはフィーチャは、画像の領域またはセクタ内の輝度の変化を識別することによって、または、特定の表面に対応する画像のエリアを規定することによって等で、１つまたは複数のコンピュータベース方法を使用して識別されてもよい。更に、デジタル画像で表現される対象物の外形またはフィーチャは、１つまたは複数のアルゴリズム或は機械学習ツールを使用して識別されてもよい。幾つかのこうしたアルゴリズムまたはツールは、デジタル画像内の対象物またはフィーチャの、或は、デジタル画像内の対象物またはフィーチャの所定の部分のエッジ、輪郭、または外形を認識してもよく、また、対象物またはフィーチャのエッジ、輪郭、または外形を、１つまたは複数のデータストア内に記憶されてもよい、知られている対象物またはフィーチャのエッジ、輪郭、または外形に関する情報と照合してもよい。
【００２３】
本開示のシステム及び方法は、撮像デバイスによって取得される画像または撮像データに基づいて１つまたは複数の視覚キューを認識すること、こうしたキューを１つまたは複数のタスクに関連付けること、こうしたタスクに関連する１つまたは複数のアクションを識別すること、及びこうしたアクションの実施のための命令を提供することを対象とする。更に、システム及び方法は、同様に、視覚キューまたはこうした視覚キューのパターンに関連するコンテキストを識別して、コンテキストに基づいて最も適切なタスクを識別し、こうしたタスクに関する最も適切なアクションを決定してもよい。コンテキストは、視覚キューの１つまたは複数の属性、視覚キューに関連する対象物、または対象物または視覚キューがその中に設けられる環境に基づいて識別されてもよい。
【００２４】
更に、タスクの実施、または、タスクに関連する１つまたは複数のアクションの実施は、撮像デバイスを使用して確認されてもよい。この点に関して、自動化システムまたはユニットは、１つまたは複数の視覚キューを、例えば、撮像デバイスの視野内で、単独でまたは互いに組合せて設けることによって、タスクを実施するように視覚的にプログラムされてもよい。そのため、視覚キューは、自動化システムまたはユニットに命令を提供するため、撮像デバイスと連携してプログラミングインタフェースとして働くことになる。
【００２５】
本開示によれば、視覚キューは、少なくとも１つの記号またはシンボルであり、記号またはシンボルは、撮像デバイスによって容易に観測可能でかつ容易に解読可能であり、一意のかつ特定のメッセージを所与のコンテキストで伝達する。例えば、視覚キューは、限定はしないが、プラカード上の印刷された記号、こうした記号またはプラカードのセット、電子ディスプレイボード、または更に、所与のコンテキスト内で自然に発生する一意に識別可能なパターンを含む、任意のタイプまたは形態の１つまたは複数の文字、数字、またはシンボルを含んでもよい。視覚パターンは、１つまたは複数の視覚キューから規定されてもよい。
【００２６】
こうしたキューの視覚パターン内の視覚キューのそれぞれは、独立した意味を有してもよい。例えば、フルフィルメントセンタ環境において、第１の視覚キュー（例えば、温度計であって、温度計のバルブ上に凍結水を有する、温度計の画像を含むアイコン）は、対象物が冷凍下にあることを示してもよく、一方、第２の視覚キュー（例えば、割れたシャンパングラスの画像を含むアイコン）は、対象物が脆いことを示してもよく、第３の視覚キュー（例えば、上方を向く矢印を含むアイコン）は、特定の面が垂直に上方に整列した状態で対象物が格納されなければならないことを示してもよい。したがって、視覚キューの任意の視覚キューで飾られた対象物は、特定の視覚キューに適合するタスクまたはアクションが実施されることを必要としてもよい、例えば、第１の視覚キューを担持する対象物は冷凍されなければならない、一方、第２の視覚キューを担持する対象物は優しく取扱われなければならず、第３の視覚キューを担持する対象物は、特定の面が垂直に上方に向けられるように特定の方法で輸送されなければならない。しかし、対象物が視覚キューの２つ以上を担持する場合、対象物は、こうした視覚キューに関連するタスクまたはアクションのそれぞれが実施されることを必要としてもよい。例えば。第１の視覚キュー及び第２の視覚キューを担持する対象物は、冷凍されまた優しく取扱われなければならず、一方、第２の視覚キュー及び第３の視覚キューを担持する対象物は、優しく取扱われまた特定の面が垂直に上方に向けられた状態で輸送されなければならない。
【００２７】
この点に関して、視覚キューまたは視覚キューの視覚パターンは、自動化機械と通信するためのコードの１つまたは複数のラインとして効果的に働いてもよい。視覚キューまたはこうしたキューの視覚パターンは、任意選択で、視覚キューまたはこうしたキューの視覚パターンがその中に設けられるコンテキストに依存する離散的な意味を有してもよい。この点に関して、全ての視覚パターンは、視覚パターン内の個々の視覚キューだけでなく、視覚パターン内のこうしたキューの空間的配置並びにこうしたキューが設けられる順序に基づいて規定される異なる意味を有してもよい。例えば、４つの異なる視覚キューのグループは、視覚キューがコンパクトな互いに対する密接な近接性を有するようなパターンで設けられるときに第１の意味を、また、視覚キューが拡散されるようなパターンで設けられるときに第２の意味を有してもよい。同様に、４つの異なる視覚キューは、視覚キューが多角形配置で設けられるときに第３の意味を、また、視覚キューが実質的に同一線上に（例えば、一直線をなして）設けられるときに第４の意味を有してもよい。
【００２８】
更に、視覚パターンは、同様に、或る順序またはシーケンスで現れる任意の数の視覚キューを含んでもよい。例えば、視覚パターンは、第１の時間に現れる特定の視覚キューに基づいて、それに続いて、第２の時間に現れる別の視覚キューに基づいて、そして、第３の時間に現れる更に別の視覚キューに基づいて規定されてもよい。したがって、複数の視覚パターンが、視覚キューの同じグループから、こうした視覚キューが現れる時間及び視覚キューが視覚的に存在する継続時間に基づいて規定されてもよい。この点に関して、視覚キューまたは視覚キューの視覚パターンは、モースコード（Ｍｏｒｓｅ  ｃｏｄｅ）と同様の方法で動作してもよく、そのため、視覚キューそれ自身だけでなく、こうした視覚キューが設けられるタイミング、場所、及び空間的配置は、本明細書で開示されるシステム及び方法の１つまたは複数に従って識別され解釈されてもよい別個の印を構成してもよい。
【００２９】
本開示のシステム及び方法は、１つまたは複数のタスクを実施するよう自動化機械をプログラムするための従来技術のシステムに勝る多くの利点を提供する。例えば、多くの従来技術のシステムは、プログラミングプロセス内にユーザ相互作用を組込むことができず、また、タスクの自動化実施に関してユーザに管理またはフィードバックを提供できない。更に、こうしたシステムは、通常、発見的方法または予め指定されたルールに基づき、タスクの自動化実施のためのプログラムを実装するときにプログラマの意図を決定しようと決して努めない。
【００３０】
そのため、本開示のシステム及び方法は、機械によるタスクの自動化実施が所望される任意の数の動作アプリケーションにおいて利用されてもよい。視覚キューは、実質的に、垂直に、水平に、または任意の他の角度で整列されてもよい任意のタイプまたは形態の表面上に設けられてもよい。一例として、フルフィルメントセンタまたは同様な施設が、機械または自律モバイルロボットを利用して、或るプロセス、例えば、パレットまたはパッケージ内の１つまたは複数のアイテムを格納エリアまたは配送ステーションに移動させることを実施する場合、本明細書で開示されるシステム及び方法は、こうした機械またはロボットがこうしたプロセスを始動させる、操作する、または終了させることを可能にするために提供されてもよい。本開示によれば、プロセスは、１つまたは複数の画像或は画像データのセット内での視覚キューの認識及び識別で始まり、視覚キューと１つまたは複数のプロセスとの関連付けが次にきてもよい。プロセスの１つまたは複数の実施中、しかし、人間は、撮像デバイスの視野内で視覚キューまたは視覚パターンを介在させ提示してもよく、撮像デバイスは、視覚キューまたは視覚パターンを認識し、プロセスの１つまたは複数を変更または終了してもよい。
【００３１】
更に、複数のプロセスの実施は、１つまたは複数の視覚キューの認識に基づいて直列にまたは並列にリンクされてもよい。例えば、環境に対して変更を行うための第１のタスクが、視覚キューを認識すると自動化機械によって実施される場合、自動化機械は、視覚キューまたは視覚キューの視覚パターンの存在または非存在に基づいて、第１のタスクが終了すると、環境内の条件を決定するように構成されてもよい。環境が第１のタスクの実施に続いて意図される条件にある場合、自動化機械は、第２のタスクの実施を即座に始動するように構成されてもよい。しかし、環境が第１のタスクの実施に続いて意図される状態にない場合、自動化機械は、第３のタスクの実施を即座に始動するように構成されてもよい。
【００３２】
更に、本開示のシステム及び方法は、作業環境内の対象物、ジェスチャ、及び／またはサイネージを含む、自然なまたは既に存在する構成内に設けられる視覚キューまたは視覚パターンを利用するように構成されてもよく、人工的にまたは意図的に設けられる視覚キューまたは視覚パターンに基づいて動作する必要はない。例えば、フルフィルメントセンサまたは同様な施設内の対象物、ジェスチャ、及び／またはサイネージの任意の指定された構成または状態は、タスク或はタスクに関連する１つまたは複数のアクションの実施を始動するための視覚キューまたは視覚パターンとして識別され利用されてもよい。そのため、本明細書で開示するシステム及び方法は、送達のため受取られる、格納される、または準備されるアイテム、並びに、人間作業者によって撮像デバイスの視野内に意図的に設置される対象物の状態または条件を認識するように構成されてもよく、それが、管理人または他の指定された要員に信号を提供させてもよい。
【００３３】
そのため、本明細書で開示するシステム及び方法は、個々の視覚的コンポーネント、例えば、撮像デバイス及び／または関連するコンピューティングデバイスの相互作用的構成物を通して自動化システムまたはユニットの作成及び動作を可能にしてもよく、相互作用的構成物は、画像または画像データ内の１つまたは複数の視覚キュー或はその視覚パターンを識別し認識し、こうした視覚キューまたは視覚パターンをタスクに関連付け、タスクの実施のために必要とされるアクションを識別し、アクションのうちの１つまたは複数のアクションを実施するための命令を１つまたは複数の自動化機械に提供してもよい。こうしたアクションの実施は、１つまたは複数のオートメーションコントローラの手動プログラミングを必要とすることなく、視覚キューまたはこうしたキューの視覚パターンの形態の直観的な視覚的命令を使用して、更に指定される、修正される、または制御されてもよい。
【００３４】
図２Ａ及び２Ｂを参照すると、視覚キューに基づいて自動化タスクを実施するための１つのシステム２００のコンポーネントのブロック線図が示される。システム２００は、インターネット等のネットワーク２７０にわたって互いに接続される、市場２１０、ベンダー２２０、フルフィルメントセンタ２３０、及び顧客２６０を含む。
【００３５】
市場２１０は、ネットワークサイト２１６をホストするための１つまたは複数の物理的コンピュータサーバ２１２及びデータストア（例えば、データベース）２１４を含む、ネットワーク化コンピュータインフラストラクチャを使用して、顧客によるダウンロード、購入、賃借、リース、または借用のために利用可能な種々のソースからアイテムを作りたいと思う任意のエンティティまたは個人であってよい。市場２１０は、フルフィルメントセンタ２３０等の１つまたは複数の格納或は配送施設に物理的にまたは仮想的に関連付けられてもよい。ネットワークサイト２１６は、デジタルデータを送信し受信することを通して、ライン２１８で示すように、１つまたは複数のデータストア２１４並びにネットワーク２７０と接続するかまたはそうでなければ通信する１つまたは複数のサーバ２１２を使用して実装されてもよい。更に、データストア２１４は、市場２１０を通した販売のために利用可能になった、または、市場２１０から顧客によって注文されたアイテムに関する任意のタイプの情報を含んでもよい。
【００３６】
ベンダー２２０は、市場２１０によって、顧客２６０等の顧客が入手可能な１つまたは複数のアイテムを作りたいと思う任意のエンティティまたは個人であってよい。ベンダー２２０は、ラップトップコンピュータ２２２等のコンピューティングデバイス、及び／または、ライン２２８で示すように、ネットワーク２７０に接続されてもよい１つまたは複数のコンピューティング機械を通して実装されてもよいブラウザ２２４等のソフトウェアアプリケーションを使用して、１つまたは複数の注文処理及び／または通信システムを動作させて、市場２１０で入手可能にさせる１つ又は複数のアイテムに関する情報を、デジタルデータまたはアナログデータの形態で或は任意の他の目的で送信または受信してもよい。
【００３７】
ベンダー２２０は、例えばトラック２５０によって、フルフィルメントセンタ２３０等の、市場２１０によってまたは市場２１０に代わって維持される１つまたは複数の指定された施設に１つまたは複数のアイテムを送達してもよい。更に、ベンダー２２０は、他のベンダー、製造業者、または販売業者（図示せず）から１つまたは複数のアイテムを受取ってもよく、また、こうしたアイテムの１つまたは複数を、顧客に対するフルフィルメント及び配送のためのフルフィルメントセンタ２３０等の市場２１０によって指定された場所に送達してもよい。更に、ベンダー２２０は、複数の機能を実施してもよい。例えば、ベンダー２２０は、同様に、１つまたは複数の他のアイテム用の製造業者及び／または販売業者であってよく、また、市場２１０以外の場所（図示せず）で顧客が購入するためのアイテムを提供してもよい。更に、市場２１０で入手可能されているまたは顧客によって市場２１０から注文されたアイテムは、ベンダー２２０以外の１つまたは複数の第３者ソース、或は、任意の他のソース（図示せず）によって作られるまたはそれから得られてもよい。更に、市場２１０自体は、ベンダー、販売業者、または製造業者であってよい。
【００３８】
フルフィルメントセンタ２３０は、アイテムを受取る、格納する、処理する、及び／または配送するように適合される任意の施設であってよい。図２Ａ及び２Ｂに示すように、フルフィルメントセンタ２３０は、１つまたは複数の物理的コンピュータサーバ２３２、データベース（または他のデータストア）２３４、及びプロセッサ２３６を含む、こうしたアイテムの受取り、格納、処理、及び配送に関連する種々のコンピュータ関連機能を実施するためのネットワーク化コンピュータインフラストラクチャを含む。フルフィルメントセンタ２３０は、同様に、１つまたは複数の受取りステーション２３１、格納エリア２３３、及び配送ステーション２３５等の、アイテムを受取り、格納し、顧客または他の届け先に配送するためのステーションを含んでもよい。フルフィルメントセンタ２３０は、少なくとも１つの撮像デバイス２４０を更に含む。
【００３９】
フルフィルメントセンタ２３０は、サーバ２３２、データベース２３４、及び／またはプロセッサ２３６の１つまたは複数と通信状態にあるコンピュータデバイスを使用して、または、ライン２３８で示すように、ネットワーク２７０に接続されてもよい１つまたは複数の他のコンピューティングデバイスまたは機械を通して、１つまたは複数の注文処理及び／または通信システムを更に動作させて、デジタルデータまたはアナログデータの形態で或は任意の他の目的のために情報を送信または受信してもよい。こうしたコンピュータデバイスは、同様に、ワークフロー動作に関する情報またはデータを受信または表示するための１つまたは複数のレポーティングシステムを動作させるまたはレポーティングシステムに対するアクセスを提供してもよく、また、こうした情報またはデータに応答して、１人または複数人のオペレータ、ユーザ、または作業者からの相互作用（例えば、テキスト、数値のエントリまたは選択）を受信するための１つまたは複数のインタフェースを提供してもよい。こうしたコンピュータデバイスは、スキャナ、リーダ、キーボード、キーパッド、タッチスクリーン、または同様のデバイス等の任意の形態の入力及び／または出力周辺機器を特徴とする、汎用デバイスまたは機械或は専用デバイスまたは機械であってよく、また、ワークフロー動作に関する情報またはデータ、或は、１人または複数人のオペレータ、ユーザ、または作業者から受信される相互作用を解析するための１つまたは複数のエンジンを、更に、動作させるかまたは１つまたは複数のエンジンに対するアクセスを提供してもよい。
【００４０】
フルフィルメントセンタ２３０内のネットワーク化インフラストラクチャの種々のコンポーネントは、本明細書で述べる１つまたは複数の機能またはサービスを実行または提供するため、または、ルールの特定のセットを達成するため、細分または分割される、或は、１つまたは複数のモジュール、例えば、ハードウェアコンポーネントまたはソフトウェアアプリケーションを含んでもよい。図２Ｂに示すように、サーバ２３２は、限定はしないが、視覚パターン認識モジュール２３２Ａ、意図／コンテンツ解釈モジュール２３２Ｂ、タスクスケジューリング／実行モジュール２３２Ｃ、またはコントローラプログラマモジュール２３２Ｄを含む、サーバ２３２上の１つまたは複数のモジュールを含むかまたは動作させてもよい。視覚パターン認識モジュール２３２Ａは、撮像デバイス２４０を使用して取得された撮像データに基づいて、リアルタイムにまたはほぼリアルタイムに、視覚キューまたは視覚キューのパターンを認識するように構成されてもよい。意図／コンテンツ解釈モジュール２３２Ｂは、視覚キューまたは視覚キューのパターンに関連する意図を認識し解釈するように、または、視覚キューまたは視覚キューのパターンの１つまたは複数の属性或は視覚キューまたは視覚キューのパターンがその中に設けられる環境に基づいて視覚キューまたは視覚キューのパターンのコンテキストを識別するように構成されてもよい。タスクスケジューリング／実行モジュール２３２Ｃは、視覚キューまたは視覚キューのパターンに関連するタスクを識別するように、または、タスクを遂行するための１つまたは複数のアクションを識別またはスケジュールするように構成されてもよい。コントローラプログラマモジュール２３２Ｄは、命令を送信し、タスクを実施するまたはアクションを実行するための実行プログラムを生成してもよい。
【００４１】
視覚パターン認識モジュール２３２Ａ、意図／コンテンツ解釈モジュール２３２Ｂ、タスクスケジューリング／実行モジュール２３２Ｃ、及び／またはコントローラプログラマモジュール２３２Ｄに加えて、サーバ２３２は、本開示に従ってサーバ２３２のための１つまたは複数の機能またはサービスを提供するための任意の数の他のモジュールを含んでもよい。
【００４２】
データストア２３４は、視覚キューに基づく自動化タスクの実施に関する情報またはデータを記憶するためのデータストア２３４の１つまたは複数のセクションまたはパーティションを含んでもよい。同様に図２Ｂに示すように、データストア２３４は、視覚パターンデータベース２３４Ａ、意味論的データベース２３４Ｂ、及びタスクデータベース２３４Ｃを含む。視覚パターンデータベース２３４Ａは、システム２００の動作中に遭遇する場合がある視覚キュー及び／または視覚パターンの考えられる組合せの仮想的語彙を含む。例えば、視覚パターンデータベース２３４Ａは、視覚キューまたはこうしたキューの組合せ並びに視覚パターンに関する情報をロードされてもよい。代替的に、視覚パターンデータベース２３４Ａは、動作中に観測される視覚キューまたは視覚パターンに関する情報またはデータによって増大してもよい。
【００４３】
意味論的データベース２３４Ｂは、種々の視覚キューまたはこうしたキューの視覚パターンの間の相互依存性及び関係、並びに、こうしたキューまたはパターンがその中に設けられるコンテキストに関する情報またはデータを含む。例えば、意味論的データベース２３４Ｂは、１つまたは複数の教師ありまたは教師なし学習方法、例えば、パターン分類、回帰、クラスタリング等に従って、視覚キューまたは視覚パターンとコンテキストとの間の、または、コンテキストとタスクまたはタスクに関連する１つまたは複数のアクションとの間の関連付けを認識するように訓練されてもよく、教師ありまたは教師なし学習方法は、入力として、視覚キューの任意の属性またはこうした視覚キューがその中で設けられる環境を考えてもよい。タスクデータベース２３４Ｃは、視覚キューまたは視覚キューの視覚パターンに関連してもよいタスクに関する情報またはデータ、並びに、こうしたタスクまたはこうしたタスクのコンポーネントアクションの実行の順序または優先度に関する情報またはデータを含む。例えば、タスクデータベース２３４Ｃは、同様に、タスクまたはこうしたタスクに関連するアクションに関する情報をロードされてもよい、または、動作中に観測される場合があるこうしたタスクまたはアクションに関する更なる情報またはデータによって増大してもよい。
【００４４】
フルフィルメントセンタ２３０は、同様に、１つまたは複数の受取りステーション２３１を含んでもよい。受取りステーション２３１は、１つまたは複数のソースから及び／または１つまたは複数のチャネルを通してアイテムの出荷を受信し、顧客に配送するためにこうしたアイテムを格納し準備することを要求される任意の装置を含んでもよい。こうした装置は、車、トラック、トレーラ、貨車、コンテナ船、貨物航空機（例えば、有人航空機またはドローン等の無人航空機）等のキャリアからアイテムを得るための及び／またはアイテムを出荷するためのドック、リフト、クレーン、ジャック、ベルト、または他の運搬装置を含むが、それに限定されない。
【００４５】
フルフィルメントセンタ２３０の格納エリア２３３は、アイテムを収容するための１つまたは複数の予め規定された２次元または３次元の空間、及び／または、棚、ビン、ロッカ、カビー、或は任意の他の適切なエリアまたは空間等の、こうしたアイテムのコンテナを含んでもよい。フルフィルメントセンタ２３０の配送ステーション２３５は、指定された格納エリアから取出されたアイテムが、顧客によって指定された住所、場所、または届け先に送達するため、評価され、準備され、パックされてもよい１つ又は複数のエリア、空間、またはステーションを含んでもよい。
【００４６】
フルフィルメントセンタ２３０は、同様に、フルフィルメントセンタ２３０内でアイテムを取扱うまたは運搬する１人または複数人の作業者またはスタッフメンバ、例えば、ピッカまたはソータ（図示せず）を含んでもよい。例えば、こうした作業者は、アイテムをアイテムキャリアから取外し、アイテムを、受取りステーション２３１のクレーン、ジャック、ベルト、または別の運搬装置上に設置し；アイテムを、格納エリア２３３内の棚、ビン、ラック、段、バー、フック、または他の格納手段に輸送し；格納エリア２３３内のこうした格納手段からアイテムを取出し；アイテムを、配送ステーション２３５内の規定された空間に輸送し；１人または複数人の顧客に送達するためにアイテムを準備し；アイテムをアイテムキャリア上に設置してもよい。一実施形態によれば、作業者は、同様に、受取りステーション２３１から配送ステーション２３５までアイテムを直接輸送するまたは「クロスドッキング（ｃｒｏｓｓ−ｄｏｃｋ）」してもよい。
【００４７】
更に、作業者は、同様に、こうした目的のために特別にプログラムされるまたは適合するデバイス、或は、携帯情報端末、デジタルメディアプレーヤ、スマートフォン、タブレットコンピュータ、またはラップトップコンピュータのような汎用デバイス等の、フルフィルメントセンタ内でアイテムの受取り、取出し、輸送、または格納を登録するための１つまたは複数のコンピューティングデバイスを動作させてもよく、また、スキャナ、リーダ、キーボード、キーパッド、タッチスクリーン、または指示デバイス等の任意の形態の入力及び／または出力周辺機器を含んでもよい。フルフィルメントセンタ２３０内の作業者は、同様に、格納エリア２３３内の棚または他の格納手段からアイテムを得た後、配送ステーション２３５へ輸送するため１つまたは複数のコンテナ内にアイテムを設置した後、配送ステーション２３５の１つまたは複数のコンテナからアイテムを取出した後、または、アイテムを１つまたは複数のアイテムキャリア上に設置した後を含む、任意の時間におけるアイテムの作業者の所有を登録してもよい。
【００４８】
撮像デバイス２４０は、フルフィルメントセンタ２３０内の構造、施設、または他の要素、並びに、フルフィルメントセンタ２３０内のアイテムの画像を撮影するかまたはその他の方法で記録するため、または、任意の他の目的で使用されてもよい任意の形態の光学記録デバイスであってよい。こうした撮像デバイス２４０は、フルフィルメントセンタ２３０内の１つまたは複数の指定された場所内で、１つまたは複数の静止画像または動画像並びに任意の関連するオーディオ信号または他の情報を取得してもよく、また、内部ネットワーク（図示せず）によってサーバ２３２にまたは互いに接続されてもよい。更に、撮像デバイス２４０は、互いに或は市場２１０または市場サーバ２１２、ベンダー２２０またはベンダーラップトップ２２２或は顧客２６０または顧客スマートフォン２６２と通信し、ネットワーク２７０によって１つまたは複数の他のコンピュータデバイスにアクセスするように適合されるかまたはその他の方法で構成されてもよい。図２Ａ及び２Ｂのフルフィルメントセンタ２４０は１つの撮像デバイス２４０に対応する単一ボックスを含むが、限定はしないが、デジタルカメラまたは他の光学センサを含む、任意の数のまたはタイプの撮像デバイスが、本開示に従って設けられてもよい。
【００４９】
顧客２６０は、市場２１０からアイテム（例えば、食物、製品、サービス、または任意のタイプまたは形態の情報）をダウンロードする、購入する、賃借する、リースする、借用する、またはその他の方法で得たいと思う任意のエンティティまたは個人であってよい。顧客２６０は、ウェブブラウザ（図示せず）またはショッピングアプリケーション２６４等の１つまたは複数のソフトウェアアプリケーションを動作させるまたはそれにアクセスしてもよい、スマートフォン２６２または任意の他の同様な機械等の１つまたは複数のコンピューティングデバイスを利用してもよく、また、デジタルデータの送信及び受信によって、ライン２６８で示すように、ネットワーク２７０を通して、市場２１０、ベンダー２２０、またはフルフィルメントセンタ２３０に接続されるまたはその他の方法で通信してもよい。更に、顧客２６０は、同様に、フルフィルメントセンタ２３０等の市場２１０によってまたはその代わりに維持される施設からの、または、ベンダー２２０からの、１つまたは複数のアイテムの送達または出荷を受信してもよい。
【００５０】
本明細書で述べるコンピュータ、サーバ、デバイス等は、本明細書で述べる機能またはサービスのうちの任意のものを提供するかつ／または本明細書で述べる結果を達成するために、必要なエレクトロニクス、ソフトウェア、メモリ、ストレージ、データベース、ファームウェア、ロジック／状態機械、マイクロプロセッサ、通信リンク、ディスプレイまたは他の視覚またはオーディオユーザインタフェース、印刷デバイス、及びに任意の他の入力／出力インタフェースを有する。同様に、こうしたコンピュータ、サーバ、デバイス等のユーザが、キーボード、キーパッド、マウス、スタイラス、タッチスクリーン、或は他のデバイス（図示せず）または方法を動作させて、コンピュータ、サーバ、デバイス等と相互作用してもよい、または、アイテム、リンク、ノード、ハブ、または本開示の任意の他の態様を「選択（ｓｅｌｅｃｔ）」してもよいことを当業者は認識するであろう。
【００５１】
「市場（ｍａｒｋｅｔｐｌａｃｅ）」、「ベンダー（ｖｅｎｄｏｒ）」、「フルフィルメントセンタ」、「撮像デバイス（ｉｍａｇｉｎｇ  ｄｅｖｉｃｅ）」、または「顧客（ｃｕｓｔｏｍｅｒ）」等によって実施される本明細書で述べるプロセスステップが、それらのそれぞれのコンピュータシステムによって実施される、または、１つまたは複数の汎用コンピュータによって実行されるソフトウェアモジュール（またはコンピュータプログラム）内に実装される自動化ステップであってよいことを当業者は理解するであろう。更に、「市場」、「ベンダー」、「フルフィルメントセンタ」、「撮像デバイス」、または「顧客」によって実施されるものとして述べられるプロセスステップは、通常、人間オペレータによって実施されてもよいが、代替的に、自動化エージェントによって実施される可能性がある。
【００５２】
市場２１０、ベンダー２２０、フルフィルメントセンタ２３０、及び／または顧客２６０は、任意のウェブ対応またはインターネットアプリケーションまたはフィーチャ、或は、電子メールまたは他のメッセージング技法を含む任意の他のクライアントサーバアプリケーションまたはフィーチャを使用して、ネットワーク２７０に接続してもよい、または、ＳＭＳまたはＭＭＳテキストメッセージ等を通して互いに通信してもよい。例えば、サーバ２３２は、ネットワーク２７０を介して、リアルタイムにまたはほぼリアルタイムに、或は、１つまたは複数のオフラインプロセスで、フルフィルメントセンタ２３０から、ラップトップコンピュータ２２２、サーバ２１２、スマートフォン２６２、または任意の他のコンピュータデバイスに同期または非同期メッセージの形態で情報またはデータを送信するように適合されてもよい。市場２１０、ベンダー２２０、フルフィルメントセンタ２３０、または顧客２６０が、ネットワークを通じて通信することが可能な多数のコンピューティングデバイスのうちの任意のコンピューティングデバイスを動作させてもよいことを当業者は認識するであろう。多数のコンピューティングデバイスは、セットトップボックス、携帯情報端末、デジタルメディアプレーヤ、ウェブパッド、ラップトップコンピュータ、デスクトップコンピュータ、電子ブックリーダ等を含むが、それに限定されない。こうしたデバイス間の通信を提供するためのプロトコル及びコンポーネントは、コンピュータ通信の技術分野の専門家によく知られており、本明細書でより詳細に述べられる必要はない。
【００５３】
本明細書で述べるデータ及び／またはコンピュータ実行可能命令、プログラム、ファームウェア、ソフトウェア等（本明細書で「コンピュータ実行可能（ｃｏｍｐｕｔｅｒ  ｅｘｅｃｕｔａｂｌｅ）」コンポーネントとも呼ばれる）は、コンピュータ可読媒体上に記憶されてもよく、コンピュータ可読媒体は、市場２１０、ベンダー２２０、フルフィルメントセンタ２３０、または顧客２６０によって利用される、サーバ２１２、ラップトップコンピュータ２２２、サーバ２３２、またはスマートフォン２６２、或は、任意の他のコンピュータまたは制御システム等のコンピュータまたはコンピュータコンポーネント内にあるまたはそれによってアクセス可能であり、また、プロセッサ（例えば、中央処理ユニットまたは「ＣＰＵ：ｃｅｎｔｒａｌ  ｐｒｏｃｅｓｓｉｎｇ  ｕｎｉｔ」）によって実行されると、本明細書で述べる機能、サービス、及び／または方法の全てまたは一部分をプロセッサに実施させる命令のシーケンスを有する。こうしたコンピュータ実行可能命令、プログラム、ソフトウェア等は、フロッピードライブ、ＣＤ−ＲＯＭドライブ、ＤＶＤ−ＲＯＭドライブ、ネットワークインタフェース等のような、コンピュータ可読媒体に関連するドライブ機構を使用して、または、外部接続を介して、１つまたは複数のコンピュータのメモリ内にロードされてもよい。
【００５４】
本開示のシステム及び方法の幾つかの実施形態は、同様に、本明細書で述べるプロセスまたは方法を実施するようコンピュータ（または、他の電子デバイス）をプログラムするために使用されてもよい命令が（圧縮または非圧縮形式で）その上に記憶されている非一時的機械可読記憶媒体を含むコンピュータ実行可能プログラム製品として設けられてもよい。機械可読記憶媒体は、ハードドライブ、フロッピーディスケット、光ディスク、ＣＤ−ＲＯＭ、ＤＶＤ、ＲＯＭ、ＲＡＭ、消去可能プログラム可能ＲＯＭ（「ＥＰＲＯＭ」）、電子的消去可能プログラム可能ＲＯＭ（「ＥＥＰＲＯＭ」）、フラッシュメモリ、磁気または光カード、固体メモリデバイス、または、電子命令を記憶するのに適している場合がある他のタイプのメディア／機械可読媒体を含んでもよいが、それに限定されない。更に、実施形態は、同様に、一時的機械可読信号を（圧縮または非圧縮形式で）含むコンピュータ実行可能プログラム製品として提供されてもよい。機械可読信号の例は、搬送波を使用して変調されても、されなくても、限定はしないが、コンピュータプログラムをホストするまたは実行するコンピュータシステムまたは機械がアクセスするように構成される可能性がある信号を含んでもよい、または、インターネットまたは他のネットワークを通してダウンロードされてもよい信号を含む。
【００５５】
本明細書で開示される実施形態の幾つかは、フルフィルメントセンタ環境内で視覚キューまたは視覚パターンを提供すること、及び、こうした視覚キューまたは視覚パターンを認識こと、こうした視覚キューまたは視覚パターンに関連する少なくとも１つのタスクを識別すること、またはフルフィルメントセンタ環境内で少なくとも１つのタスクに関するアクションを実行するための命令を提供することを参照するが、システム及び方法は、そのように限定されない。むしろ、本明細書で開示されるシステム及び方法は、視覚キューまたは視覚パターンを通した視覚プログラミングに基づくシステムの自動化動作が所望される任意の環境内で利用されてもよい。
【００５６】
図３を参照すると、本開示の実施形態による視覚キューに基づいて自動化タスクを実施するためのプロセスの一実施形態を示すフローチャート３００が示される。ボックス３１０にて、撮像デバイスは、視覚キューのパターンの画像を取得する。例えば、視覚キューは、任意のカラーでまた任意のサイズの、対象物、構造、または機械の少なくとも１つの表面上に配設された、１つまたは複数の文字、数字、シンボル、アイコン、ロゴ、或は他の同様なラベルまたはマーキング、並びに、撮像デバイスがその中に設けられる環境内で遭遇されることが予想される場合がある形状のエッジ、輪郭、または外形を含んでもよい。ボックス３２０にて、撮像デバイスは、画像を１つまたは複数の外部サーバに送信する。
【００５７】
ボックス３３０にて、外部サーバは、視覚パターンデータベース内で、ボックス３１０にて取得された画像に含まれる視覚キューのパターンを認識する。例えば、外部サーバ、例えばサーバ２３２と通信状態にあるデータベース又は他のデータストア及び図２Ｂの視覚パターンデータベース２３４Ａは、限定はしないが、１つまたは複数の文字、数字、シンボル、アイコン、ロゴ、或は他の同様なラベルまたはマーキング、並びに、形状のエッジ、輪郭、または外形を含む、視覚キューまたはこうしたキューのパターンを識別するための情報またはデータを含んでもよい。ボックス３４０にて、外部サーバは、パターンを、タスクデータベース内に記憶されたタスクに関する情報に関連付けた。例えば、外部サーバ、例えばサーバ２３２と通信状態にあるデータベース又は他のデータストア及び図２Ｂのタスクデータベース２３４Ｃは、ボックス３３０にて認識されたパターンが関連付けられてもよいタスクに関する、アクション、ステップ、述語条件、或は任意の関連する情報またはデータを含んでもよい。
【００５８】
ボックス３５０にて、外部サーバは、視覚キューまたは視覚パターンがその中に設けられる環境に対してとられるアクションを識別し、ブロック３６０にて、外部サーバは、ボックス３５０にて識別されたアクションを実施するための命令を生成する。例えば、アクションは、環境内で変化を強いるための、特定の機械または機器のピースの動作、例えば、図１Ａのダイバータ１４６Ａを使用して、第１のコンベヤ１３１Ａからカート１５０Ａに入るようアイテム１０Ａを搬送することを含んでもよい。ボックス３７０にて、外部サーバは、環境に対するアクションを実施するための命令を少なくとも１つの関連するコンポーネントに送信し、プロセスは終了する。例えば、やはり図１Ａを参照すると、サーバ１３２Ａは、少なくとも１つの命令をダイバータ１４６Ａに送信し、第１のコンベヤ１３１Ａ上のアイテム１０Ａが到達すると、ダイバータ１４６Ａが、アイテム１０Ａをカート１５０Ａに入るよう方向付けるようにさせる。
【００５９】
本開示に従って１つまたは複数のタスクに関して認識され、関連付けられてもよい視覚キューは、任意の形状または形態をとってもよく、また、単独でまたは互いに組合せて、任意の数の文字、数字、シンボル、アイコン、ロゴ、或は他の同様なラベルまたはマーキング、並びに、形状のエッジ、輪郭、または外形を含んでもよい。例えば、視覚キューは、特定の目的、例えば、対象物、構造、または機械上のアイコンの一時的または永久的なマーキングのために、人工的にまたは意図的に規定されてもよいかつ／または設けられてもよい。本開示のシステム及び方法は、画像または画像データ内の、予め規定された視覚キューまたはこうしたキューの視覚パターンを認識すると、視覚キューまたは視覚パターンは、所与のタスクに関連付けられてもよく、タスクに関連付けられた１つまたは複数のアクションが着手されてもよい。代替的に、本開示のシステム及び方法は、工業的または商業的プロセスに従って、自然に、例えば、通常動作中に現れる１つまたは複数の視覚キューを認識し、関連付けられたタスクに関連する１つまたは複数のアクションを相応して起こすように構成されてもよい。
【００６０】
図４を参照すると、本開示の実施形態による視覚キューに基づいて自動化タスクを実施するための１つのシステム４００のコンポーネントが示される。別途述べられる場合を除いて、図４に示す数字「４」が先行する参照数字は、図２Ａまたは２Ｂに示す数字「２」、または、図１Ａまたは１Ｂに示す数字「１」が先行する参照数字を有するコンポーネントまたはフィーチャと同様であるコンポーネントまたはフィーチャを示す。
【００６１】
システム４００は、第１のコンベヤ４３１、サーバ４３２、及び撮像デバイス４４０を含む。その中に１つまたは複数のアイテムを含むボックス４０または他のコンテナは、コンベヤ４３１上に設けられる。図４に示すように、ボックス４０は、開口し、互いに共通の角を共有する軸方向に整列した４つの長方形を含む外形４２は、開口したボックス４０のフラップから形成される。サーバ４３２は、撮像デバイス４４０と通信状態にあり、撮像デバイス４４０は、対象物、例えば、対象物４０の１つまたは複数の画像或は撮像データのセットを、こうした対象物がコンベヤ４３１に沿って走行するときに取得するように構成される。
【００６２】
図４に示すように、撮像デバイス４４０は、ボックス４０及びボックス４０内のアイテムの画像４４２、例えば、低解像度画像を取得し、画像４４２を解析のためにサーバ４３２に送信してもよい。画像４４２は、開口したボックス４０のフラップによって形成される外形４２の少なくとも一部分を含んでもよい。サーバ４３２は、画像４４２を処理し、画像４４２内の外形４２を認識し、外形４２を、データストア４３４内に記憶されてもよい１つまたは複数のタスクに関連する情報またはデータと比較してもよい。画像４４２に基づいて、サーバ４３２は、外形４２を、タスク４４、すなわち、外形に基づいてボックスが開口しているとして識別されるときに、高解像度画像を取得する要件に関連付けられてもよく、サーバ４３２は、ボックス４０及びボックス４０内のアイテムの高解像度画像を取得する命令を撮像デバイス４４０に送信する。撮像デバイス４４０は、その後、開口したボックス４０の画像４４４を取得し、画像４４４を解析のためにサーバ４３２に送信する。
【００６３】
したがって、人工的にまたは意図的に、または、１つまたは複数のプロセスまたは環境に従って自然に現れる場合がある視覚キューまたは視覚キューのパターンの認識は、本開示による、それらに関連付けられる１つまたは複数のタスクまたはアクションの実施をもたらす場合がある。
【００６４】
先に論じたように、視覚キューまたは視覚キューの視覚パターンが認識されると、本開示のシステム及び方法は、視覚キューまたは視覚パターンがその中で設けられるまたは識別されるコンテキストを決定してもよく、また、コンテキストに基づいて、タスクまたはタスクに関連する１つまたは複数のアクションを識別してもよい。この点に関して、機械は、異なるコンテキスト内で設けられてもよい同じ視覚キューまたは視覚パターン（例えば、文字、数字、またはシンボル、或は、こうした文字、数字、またはシンボルの組合せ）を認識すると、１つまたは複数の異なるタスクを実施するように構成されてもよい。
【００６５】
図５を参照すると、本開示の実施形態による視覚キューに基づいて自動化タスクを実施するためのプロセスの一実施形態を示すフローチャート５００が示される。ボックス５１０にて、視覚キュー、例えば、１つまたは複数の文字、数字、シンボル、アイコン、ロゴ、或は他の同様なラベルまたはマーキング、並びに、形状のエッジ、輪郭、または外形の画像が取得され、ボックス５２０にて、画像は、画像内の視覚キューを認識するために評価される。先に論じたように、視覚キューは、単独で、または、１つまたは複数の他の視覚キューと組合されて設けられてもよく、また、所与のアクションまたはタスクをトリガーするために人工的にまたは意図的に、或は、所与の環境において自然に現れてもよい。
【００６６】
ボックス５３０にて、視覚キューに関連するコンテキストが識別される。コンテキストは、視覚キューの、または、視覚キューがその一部である視覚パターンの属性に少なくとも部分的に基づいて識別されてもよい。更に、コンテキストは、視覚キューが関連付けられる対象物の属性か、視覚キュー及び／または対象物がその中に設けられる環境の属性か、または、こうした属性の組合せに少なくとも部分的に基づいて識別されてもよい。例えば、撮像デバイス或は１つまたは複数の同様なコンポーネントまたは関連するデバイスが、交差点に設けられる場合、視覚キューは、歩行者または車両のオペレータの安全及び健康に関連付けられてもよい。撮像デバイスまたは他のコンポーネントがショッピングセンタ内に設けられる場合、視覚キューは、商業用アイテムの購入及び販売に関連付けられてもよい。本明細書で開示されるシステム及び方法が、視覚キューまたはこうしたキューの視覚パターンの認識がその中で所望される任意のコンテキストにおいて設けられてもよく、本明細書で述べられるまたは提案される特定のコンテキストのうちの任意のコンテキストに限定されないことを当業者は認識するであろう。
【００６７】
ボックス５４０にて、タスクは、視覚キュー及び視覚キューのコンテキストに基づいて識別される。任意の所与の視覚キューまたはこうしたキューの視覚パターンは、複数のタスクまたはタスクに関連するアクションに関連付けられてもよい。例えば、三角形が交差点で識別される場合、三角形は、「譲れ（ｙｉｅｌｄ）」標識に関連付けられてもよく、譲れ標識に関連するまたは交差点における責任を生じさせるタスクが識別されてもよい。三角形が、パブまたは遊戯場の利用者の近くで識別される場合、三角形は、ビリヤードボールをラックに入れるためのプールラックに関連付けられてもよく、プールまたはビリヤードのゲームを行うことに関連するタスクが識別されてもよい。
【００６８】
ブロック５５０にて、ボックス５４０にて識別されたタスクの実施に関連する１つまたは複数のアクションが識別されてもよい。例えば、国際シンボルマーク（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｙｍｂｏｌ  ｏｆ  Ａｃｃｅｓｓ）、例えば、「障害者（ｈａｎｄｉｃａｐｐｅｄ  ｐｅｒｓｏｎｓ）」シンボルを含む視覚キューが、立体駐車場で撮られた画像において、また、駐車取締りのコンテキストで認識された場合、国際シンボルマークを飾られた駐車空間内の駐車した車が、そこで駐車する権限を与えられているかどうかを判定するタスクが識別されてもよい。この判定に関連するアクションは、駐車した車の写真を取得すること、駐車した車上のナンバープレート番号または他の識別子を記録すること、ナンバープレート番号または他の識別子を評価すること、及び他の同様なアクションを含んでもよいが、それに限定されない。同じ国際シンボルマークが、エレベータの画像内で、また、施設メンテナンスのコンテキストで提供される場合、エレベータに対する任意のメンテナンスが必要とされるかどうかを判定するタスク、及び、この判定に関連するアクションは、エレベータの運転履歴にアクセスすること、エレベータのライトまたは他の電子コンポーネントの伝導性及び動作性、並びに油圧油の任意のレベルを判定すること、及び、識別される場合がある任意の欠陥に対処するためメンテナンスオペレーションをスケジューリングすることを含んでもよいが、それに限定されない。
【００６９】
ブロック５６０にて、ボックス５５０にて識別されたタスクを実施するためのアクションを実行するための命令が、例えば、１つまたは複数のコンピュータデバイスまたはこうしたコンピュータデバイスに関連する機械に提供されてもよく、プロセスは終了する。
【００７０】
したがって、本開示によれば、同じ視覚キューまたはこうしたキューの視覚パターンを認識することは、異なるタスクに関連する異なるアクションの自動化実施をもたらす場合がある。同じ視覚キューまたは視覚キューの視覚パターンを認識し、視覚キューまたは視覚パターンを異なるタスクに関連付けるための、本開示のシステム及び方法の能力の一例は、図６Ａ及び６Ｂに関して示されてもよい。図６Ａ及び６Ｂを参照すると、本開示の実施形態による視覚キューに基づいて自動化タスクを実施するためのシステム６００Ａ、６００Ｂのコンポーネントの図が示される。別途述べられる場合を除いて、図６Ａまたは６Ｂに示す数字「６」が先行する参照数字は、図４に示す数字「４」、図２Ａまたは２Ｂに示す数字「２」、または、図１Ａまたは１Ｂに示す数字「１」が先行する参照数字を有するコンポーネントまたはフィーチャと同様であるコンポーネントまたはフィーチャを示す。
【００７１】
図６Ａに示すように、システム６００Ａは、対象物６０Ａ、すなわち、魚を含むビン、撮像デバイス６４０を有するスマートフォン６５２、及びイーゼル６３３Ａを含む。対象物６０Ａは、その中に含まれる魚の識別子の形態の視覚キュー６２Ａ、すなわち、その上にマーキングされた「ＢＡＳＳ」を含む。スマートフォン６５２のユーザが視覚キュー６２Ａを含む対象物６０Ａの画像６４２Ａを取得すると、本開示のシステム及び方法は、視覚キュー６２Ａが、例えば、魚を含むビンの表面上に設けられるコンテキストを識別してもよく、また、コンテキストと視覚キュー６２Ａの両方に関連するタスク、例えば、ビン内に含まれる魚を調理するためのレシピを識別してもよい。図６Ａに示すように、イーゼル６３３Ａ上に位置付けられる、視覚キュー６２Ａ及び視覚キュー６２Ａが設けられたコンテキストに関連する、フライパンで焼いたシーバス（Ｐａｎ  Ｓｅａｒｅｄ  Ｓｅａ  Ｂａｓｓ）を調理するためのレシピを担持するユーザインタフェース６４４Ａは、スマートフォン６５２上に表示される。
【００７２】
図６Ｂに示すように、システム６００Ｂは、対象物６０Ｂ、すなわち、ギターケース、スマートフォン６５２、及びミュージックスタンド６３３Ｂを含む。対象物６０Ｂは、その中に含まれるギターのタイプの識別子の形態の視覚キュー６２Ｂ、すなわち、その上にマーキングされた「ＢＡＳＳ」を含む。スマートフォン６５２のユーザが視覚キュー６２Ｂを含む対象物６０Ｂの画像６４２Ｂを取得すると、本開示のシステム及び方法は、視覚キュー６２Ｂが、例えば、楽器に関連して設けられるコンテキストを識別してもよく、また、コンテキストと視覚キュー６２Ａの両方に関連するタスク、例えば、ギターケース内に含まれる楽器を使用して演奏される１枚の楽譜を識別してもよい。図６Ｂに同様に示すように、ミュージックスタンド６３３Ｂ上に位置付けられる、視覚キュー６２Ｂ及び視覚キュー６２Ｂが設けられたコンテキストに関連する、バスギターを使用して演奏されるミュージックを担持するユーザインタフェース６４４Ｂは、スマートフォン６５２上に表示される。
【００７３】
したがって、本開示によれば、また、図６Ａ及び６Ｂに示すように、同じ視覚キュー６２Ａ、６２Ｂ、すなわち、言葉「ＢＡＳＳ」は、異なるコンテキストで異なる対象物６０Ａ、６０Ｂ上に設けられてもよく、また、同じコンピュータデバイス、すなわち、スマートフォン６５２を使用して認識されてもよい。視覚キュー６２Ａ、６２Ｂは、こうした各コンテキストで認識されると、視覚キュー６２Ａ、６２Ｂと各コンテキストの両方に関連するタスクに関連付けられてもよく、また、こうしたタスクに関するアクションが着手されてもよい。図６Ａ及び６Ｂは、言葉を認識するとすぐの、スマートフォン６５２上のユーザインタフェース６４４Ａ、６４４Ｂ上でのレンダリングされたコンテンツの表示を示すが、ネットワーク化コンテンツの自動化表示に限定されない任意の自動化タスクが、本開示による任意のタイプのデバイスによる任意のタイプまたは形態の視覚キューを認識するとすぐに着手されてもよいことを当業者は認識するであろう。
【００７４】
先に論じたように、本開示のシステム及び方法は、デジタルカメラ等の撮像デバイスを使用して取得される画像または他の撮像データから視覚キューまたはこうしたキューの視覚パターンを識別し認識すること、並びに、視覚キューに基づいて１つまたは複数のタスク或はこうしたタスクに関連するアクションを識別すること、及び、こうしたタスクの実施またはこうしたアクションの実行を相応してもたらすことを対象とする。更に、本開示のシステム及び方法は、例えば、視覚キューまたは視覚パターンを識別するために使用される撮像デバイスまたは別の撮像デバイスを使用して取得される更なる画像または撮像データを使用して、タスクの実施或は１つまたは複数の個々のアクションの実行を確認することを更に対象としてもよい。
【００７５】
図７を参照すると、本開示の実施形態による視覚キューに基づいて自動化タスクを実施するためのプロセスの一実施形態を示すフローチャート７００が示される。ボックス７１０にて、撮像データは、撮像デバイスを使用して環境から取得される。環境は、撮像デバイスが、視覚キューまたはこうしたキューの視覚パターンを認識するためにその中に配備されてもよい任意の工業的または商業的環境を含んでもよいが、それに限定されない。例えば、やはり図１Ａを参照すると、撮像デバイス１４０Ａは、アイテム１０Ａが第１のコンベヤ１３１Ａを下流に走行するときに、アイテム１０Ａに関する１つまたは複数の画像或は他のデータを取得してもよい。ボックス７２０にて、視覚キューは、撮像データに基づいて環境内で識別される。視覚キューは、所与の目的のために、人工的にまたは意図的に設けられてもよく、または、環境内で自然に発生してもよい。例えば、視覚キューは、人間オペレータによって意図的に設けられる、例えば、撮像デバイスの視野内に提示されるまたは対象物の表面に固着されてもよい、または、対象物の表面の全てまたは一部分として自動的に認識されてもよい。更に、視覚キュー、例えば、図４のボックス４０の外形４２は、人間オペレータによって入念なアクションが起こされることなく、環境内で自然に存在してもよい。
【００７６】
ボックス７３０にて、識別された視覚キューに基づいて環境を所望の状態に置くために実施されるアクションが選択される。選択されるアクションは、１つまたは複数の自動化機械を使用して環境の任意の態様の変化をもたらすことを対象としてもよい。ボックス７４０にて、環境の実施前状態が、ボックス７１０にて取得された撮像データに基づいて決定される。例えば、アクションが、アイテムを、所定の格納容器または施設内に預けることを意図される場合、アイテムの状態（例えば、アイテムの場所）或は格納容器または施設の状態（例えば、容器または施設の能力）が決定されてもよい。ボックス７５０にて、選択されたアクションを環境に対して実施するための命令が、自動化機械に送信され、自動化機械は、ネットワーク化コンピュータに接続されるまたはネットワーク化コンピュータに連結した自動化コントローラを有する、任意の形態の自動車、コンポーネント、エンジン、車両、或は同様な機械または機器のピースであってよい、または、それを含んでもよく、１つまたは複数のタスクを実施するための命令を受信するように構成される。
【００７７】
ブロック７６０にて、環境に関連する撮像データは、撮像デバイスを使用して取得され、ブロック７７０にて、環境の実施後状態が、撮像データに基づいて決定される。例えば、選択されたアクションの実施前の環境の状態がそれから決定された撮像データを、撮像デバイスが取得した場合、撮像デバイスは、選択されたアクションの実施後の環境の状態に関する撮像データを取得してもよい。
【００７８】
ブロック７８０にて、環境の実施後状態が、選択されたアクションの実施後の環境の所望の状態に適合するかどうかが判定される。選択されたアクションの実施後の環境の状態を所望の状態と比較することによって、意図される結果を達成するときの選択されたアクションの効果が判定されてもよい。環境の実施後状態が所望の状態に適合しない場合、プロセスはボックス７３０に戻り、識別された視覚キューに基づいて環境を所望の状態に置くために実施されるアクションが選択される。しかし、環境の実施後状態が所望の状態に適合する場合、プロセスは終了する。
【００７９】
したがって、画像または撮像データは、画像または撮像データ内で表現される視覚キューに基づいて実施されるタスクを識別するためだけでなく、タスク及び任意の関連するアクションが成功裡に実施されたことを確認するためにも使用されてもよい。図８Ａ及び８Ｂを参照すると、本開示の実施形態によるシステム８００Ａによって取得される視覚キュー及び画像８００Ｂに基づいて自動化タスクを実施するための１つのシステム８００Ａのコンポーネントが示される。別途述べられる場合を除いて、図８Ａまたは８Ｂに示す数字「８」が先行する参照数字は、図６Ａまたは６Ｂに示す数字「６」、図４に示す数字「４」、図２Ａまたは２Ｂに示す数字「２」、または、図１Ａまたは１Ｂに示す数字「１」が先行する参照数字を有するコンポーネントまたはフィーチャと同様であるコンポーネントまたはフィーチャを示す。
【００８０】
図８Ａに示すように、システム８００Ａは、格納施設８３３を有するフルフィルメントセンタ８３０、テーブルまたは作業表面８３５、及び、その上に撮像デバイス８４０を有する自律モバイルロボット８５０を含む。格納施設８３３は、その中に複数のアイテム８０Ａ、８０Ｂ、８０Ｃを含む。図８Ａの格納施設８３３内に示すアイテム８０Ａ、８０Ｂ、８０Ｃのそれぞれは、その上にマークされた視覚キュー８２Ａ、８２Ｂ、８２Ｃを含む。更に、テーブル８３５は、その上にマークされた視覚キュー８２Ｄを更に含む。自律モバイルロボット８５０は、自律モバイルロボットまたは撮像デバイス８４０の動作を制御するための任意のタイプまたは形態のコンピュータコンポーネントまたはデバイス（図示せず）を含んでもよく、また、図８Ａに示すように、撮像デバイス８４０が、格納施設８３３及び格納施設８３３の内容物に関する撮像データを取得することを可能にするように整列される。
【００８１】
本開示によれば、図８Ａの自律モバイルロボット８５０等の自動化機械は、１つまたは複数の視覚キューの認識に基づいてアクションを実施するようにプログラムされてもよい。例えば、図８Ａに示すように、自律モバイルロボット８５０は、格納施設８３３から、円内に「Ｘ」を担持するアイテムを取出し、円内にハートを担持するワークステーションにおいて「Ｘ」を担持するアイテムを預けるように指令されてもよい。そのため、自律モバイルロボット８５０は、撮像デバイス８４０を使用して、自律モバイルロボット８５０がその中に配置された環境の状態、すなわち、格納施設８３３の前面に関する第１の画像または撮像データの第１のセットを取得してもよい。画像または撮像データに基づいて、自律モバイルロボット８５０は、格納施設８３３の内部の、円内に「Ｘ」を担持するアイテム、すなわち、アイテム８０Ａの場所、並びに、円内にハートを担持するワークステーション、すなわち、テーブル８３５の場所を識別してもよい。その後、自律モバイルロボット８５０は、格納施設８３３からアイテム８０Ａを取出してもよい。
【００８２】
自律モバイルロボット８５０が格納施設８３３からアイテム８０Ａを取出したと自律モバイルロボット８５０が判定すると、自律モバイルロボット８５０は、テーブル８３５に進む前に、アクションの実施後の環境の状態に関するに第２の画像または撮像データの第２のセットを取得してもよい。環境の状態がアクションの実施に適合すると第２の画像または撮像データの第２のセットが示す場合、自律モバイルロボット８５０は、アクションが１つまたは複数の視覚キューの存在または非存在に基づいて実施されたことを確認してもよく、また、例えば、円内にハートを担持するワークステーション、すなわち、テーブル８３５においてアイテムを預けることに進んでもよい。
【００８３】
図８Ｂを参照すると、画像８４２Ａ、８４２Ｂ、８４２Ｃ、８４２Ｄのセット８００Ｂが、図８Ｂに示される。図８Ｂに示すように、セット８００Ｂは、アクションの実施がその中で確認される、すなわち、格納施設８３３がアイテム８０Ｂ及び８０Ｃを含むが、アイテム８０Ａを含まない、環境に対応する画像８４２Ａを含み、画像８４２Ａは、視覚キュー８０Ｂまたは視覚キュー８０Ｃを担持するアイテムではなく、視覚キュー８０Ａを担持するアイテムの取出しをもたらした自律モバイルロボット８５０のアクションの実施を示す。
【００８４】
図８Ｂに同様に示すように、セット８００Ｂは、アクションの実施がその中で確認されない場合がある環境に対応する画像８４２Ｂ、８４２Ｃ、８４２Ｄを含む。画像８４２Ｂは、格納施設８３３がアイテム８２Ａ、８２Ｂ、及び８２Ｃをそれぞれ含むこと、及び、アクションの実施が、アイテム８０Ａ、８０Ｂ、８０Ｃのうちの任意のアイテムのそれぞれの取出しをもたらさなかったことを示す。画像８４２Ｃは、格納施設８３３が視覚キュー８２Ａ、８２Ｃを含むが視覚キュー８２Ｂを含まないことを示し、それにより、アクションの実施が、アイテム８０Ｂの取出しをもたらしたが、アイテム８０Ａの取出しをもたらさなかったことを確認する。画像８４２Ｄは、格納施設８３３が視覚キュー８２Ａ、８２Ｂを含むが視覚キュー８２Ｃを含まないことを示し、それにより、アクションの実施が、アイテム８０Ｃの取出しをもたらしたが、アイテム８０Ａの取出しをもたらさなかったことを確認する。
【００８５】
本明細書で述べる実施形態の幾つかは、フルフィルメントセンタ環境の１つまたは複数の態様内で対象物から画像または撮像データを取得するための特定のシステムまたは方法を述べるが、本開示のシステム及び方法は、そのように限定されず、また、本明細書で開示する結果を達成するための任意のシステム及び方法と共に使用されてもよい。更に、こうしたシステムまたは方法は、本開示に従って、直列にまたは並列に、また、独立してまたは互いに連携して使用されてもよい。
【００８６】
先に論じたように、本明細書で開示するシステム及び方法は、視覚キューまたは視覚キューの視覚パターンを認識すると、タスクをトリガーし操作するために利用されてもよい。例えば、権限のある作業者は、撮像デバイス（例えば、セキュア施設の外に設けられた監視カメラ）の視野内で許可または認可された視覚キューまたは視覚パターンを提示してもよく、ゲートまたは扉は、許可または認可された視覚キューまたは視覚パターンを認識すると開口されてもよい。同様に、小売業環境において補助を必要とする顧客は、所定の対象物またはパターン、例えば、衣服の認識可能な物品を掲げるだけであってよく、本開示の幾つかの実施形態は、対象物またはパターンを認識し、認識された対象物またはパターンに関連する資格のある販売員またはエージェントを識別し、補助を必要とする顧客に移るように構成されてもよい。
【００８７】
更に、本開示のシステム及び方法は、１つまたは複数の別個のタスクを実施するための工業用自動化システムを再構成するために利用されてもよい。例えば、第１の視覚キューまたは第１の視覚パターンは、自動車の客室の終了に続いて組立てライン上で組立てられる自動車のフード上に取付けられてもよい。撮像デバイスは、第１の視覚キューまたは第１の視覚パターンを認識し、客室上にフロントガラスを取付け始めるよう自動化機械（例えば、ロボットアーム）に指示してもよい。第２の視覚キューまたは第２の視覚パターンは、フロントガラス取付けが終了すると、自動車のフード上に設置されてもよく、撮像デバイスが認識すると、フロントガラスアライメントに対する手動検査、評価、または調整についての要求が行われてもよい。同様に、フルフィルメントセンタ内の格納容器または施設（例えば、ベイ、ビン、カート、パレット、またはトート）の内容物が検査されることを要求する作業者は、格納ベッセ容器または施設上に所定の視覚キューまたは視覚パターンを設置してもよく、格納ベッセル容器または施設は、同僚が検査を行う場合がある所定の届け先に方向転換または送達されてもよい。
【００８８】
本開示のシステムおよび方法は、同様に、フルフィルメントセンタまたは同様の施設内で１つまたは複数の自律モバイルロボットによって実施されるタスクを制御するために更に利用されてもよい。例えば、自律モバイルロボットは、フルフィルメントセンタ内の第１の場所でアイテムを取出す、または、フルフィルメントセンタ内の第２の場所にアイテムを送達するように指令されてもよい。自律モバイルロボットは、自分自身を第１の場所または第２の場所に誘導し、フルフィルメントセンタ内の１つまたは複数の棚、ビン、ラック、段、バー、フック、または他の格納手段、並びに、壁、天井、または床上を含む、フルフィルメントセンタの１つまたは複数の構造的フィーチャまたは要素上に貼付けられた１つまたは複数の視覚キューまたは視覚パターンを認識し、視覚キューまたは視覚パターンの認識に基づいてタスクを識別し実施してもよい。
【００８９】
本明細書で別途、明示的にまたは暗黙的に指示されない限り、本明細書の特定の実施形態に関して述べる特徴、特性、代替、または修正の任意のものが、同様に、本明細書で述べる任意の他の実施形態と共に、適用され、使用され、または組込まれてもよいこと、及び、本開示の図面及び詳細な説明が、添付特許請求の範囲によって規定される種々の実施形態に対する全ての修正物、等価物、及び代替物をカバーすることを意図されることが理解されるべきである。更に、限定はしないが、図３、５、または７に示すフローチャートを含む、本明細書で述べる本開示の１つまたは複数の方法またはプロセスに関して、こうした方法またはプロセスが提示される順序は、特許請求される発明に対するいずれの制限としても解釈されることを意図されず、また、本明細書で述べる任意の数の方法またはプロセスのステップまたはボックスは、本明細書で述べる方法またはプロセスを実装するため、任意の順序で及び／または並列に組合される可能性がある。同様に、本明細書の図面は、特に、垂直及び／または水平空間内で、本明細書で開示されるネットワーク送達システムの態様または要素の互いに対する相対的な場所に関して、一定比例尺に従って描かれていない。
【００９０】
とりわけ、「ｃａｎ」、「ｃｏｕｌｄ」、「ｍｉｇｈｔ」、または「ｍａｙ」等の条件言語は、別途特に述べない限り、または、使用されるコンテキスト内で別途理解されない限り、一般に、或る特徴、要素、及び／またはステップを、強制しないまたは要求しないが、それを含むまたはそれを含む可能性を有する可能性がある。同様に、「ｉｎｃｌｕｄｅ」、「ｉｎｃｌｕｄｉｎｇ」、及び「ｉｎｃｌｕｄｅｓ」等の用語は、一般に、「含むが、それに限定されない（ｉｎｃｌｕｄｉｎｇ，ｂｕｔ  ｎｏｔ  ｌｉｍｉｔｅｄ  ｔｏ）」を意味することを意図される。そのため、こうした条件言語は、特徴、要素、及び／またはステップが、１つまたは複数の実施形態にとっていずれにしても必要とされること、または、１つまたは複数の実施形態が、これらの特徴、要素、及び／またはステップが含まれるか、任意の特定の実施形態において実施されるかを、ユーザ入力またはプロンピングが有る状態でまたは無い状態で、決定するためのロジックを必ず含むことを示唆することを一般に意図されない。
【００９１】
本明細書で開示される実施形態に関連して述べる方法、プロセス、またはアルゴリズムの要素は、ハードウェアで直接、１つまたは複数のメモリデバイスに記憶され、１つまたは複数のプロセッサによって実行されるソフトウェアモジュールで、または、２つの組合せで具現化される可能性がある。ソフトウェアモジュールは、ＲＡＭ、フラッシュメモリ、ＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク、取外し可能ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、または、任意の他の形態の非一時的コンピュータ可読記憶媒体、メディア、または当技術分野で知られている物理的コンピュータストレージ内に存在する可能性がある。例示的な記憶媒体は、プロセッサが、記憶媒体から情報を読取り、記憶媒体に情報を書込むようにプロセッサに結合される可能性がある。代替法において、記憶媒体はプロセッサと一体である可能性がある。記憶媒体は揮発性または不揮発性である可能性がある。プロセッサ及び記憶媒体は、ＡＳＩＣ内に存在する可能性がある。ＡＳＩＣはユーザ端末内に存在する可能性がある。代替法において、プロセッサ及び記憶媒体は、ユーザ端末内の離散的コンポーネントとして存在する可能性がある。
【００９２】
句「Ｘ、Ｙ、またはＺの少なくとも１つ（ａｔ  ｌｅａｓｔ  ｏｎｅ  ｏｆＸ，Ｙ，ｏｒＺ）」または「Ｘ、Ｙ、及びＺの少なくとも１つ（ａｔ  ｌｅａｓｔ  ｏｎｅ  ｏｆＸ，Ｙ，ａｎｄＺ）」等の選言言語は、別途特に述べない限り、アイテム、項等が、Ｘ、Ｙ、またはＺ或はその任意の組合せ（例えば、Ｘ、Ｙ、及び／またはＺ）であってよいことを提示する一般に使用されるコンテキストによって、普通なら理解される。そのため、こうした選言言語は、或る実施形態が、Ｘの少なくとも１つ、Ｙの少なくとも１つ、またはＺの少なくとも１つがそれぞれ存在することを必要とすることを示唆することを意図されず、また、示唆すべきではない。
【００９３】
別途明示的に述べない限り、「ａ」または「ａｎ」等の冠詞は、一般に、１つまたは複数の述べるアイテムを含むと解釈されるべきである。したがって、「するように構成されるデバイス（ａ  ｄｅｖｉｃｅ  ｃｏｎｆｉｇｕｒｅｄ  ｔｏ）」等の句は、１つまたは複数の挙げたデバイスを含むことを意図される。こうした１つまたは複数の挙げたデバイスは、同様に、述べた詳述物を実施するようにひとまとめに構成される可能性がある。例えば、「詳述物Ａ、Ｂ、及びＣを実施するように構成されるプロセッサ（ａ  ｐｒｏｃｅｓｓｏｒ  ｃｏｎｆｉｇｕｒｅｄ  ｔｏ  ｃａｒｒｙ  ｏｕｔ  ｒｅｃｉｔａｔｉｏｎｓ  Ａ，ＢａｎｄＣ）」は、詳述物Ｂ及びＣを実施するように構成される第２のプロセッサと連携して働く詳述物Ａを実施するように構成される第１のプロセッサを含む可能性がある。
【００９４】
本明細書で使用される用語「ａｂｏｕｔ」、「ａｐｐｒｏｘｉｍａｔｅｌｙ」、「ｇｅｎｅｒａｌｌｙ」、「ｎｅａｒｌｙ」、または「ｓｕｂｓｔａｎｔｉａｌｌｙ」等の本明細書で使用される程度の言語は、依然として、所望の機能を実施するまたは所望の結果を達成する、述べた値、量、または特性に近い値、量、または特性を示す。例えば、「ａｂｏｕｔ」、「ａｐｐｒｏｘｉｍａｔｅｌｙ」、「ｇｅｎｅｒａｌｌｙ」、「ｎｅａｒｌｙ」、または「ｓｕｂｓｔａｎｔｉａｌｌｙ」は、述べた量の、１０％未満以内、５％未満以内、１％未満以内、０．１％未満以内、及び０．０１％未満以内である量を指してもよい。
【００９５】
本発明は、本発明の例証的な実施形態に関して述べられ示されるが、本開示の精神及び範囲から逸脱することなく、これまでのまた種々の追加及び省略が、実施形態内でまた実施形態に対して行われてもよい。
【００９６】
条項１．自動化タスク実施システムであって、
撮像デバイスと、
少なくとも１つのデータストアと、
自動化機械と、
前記撮像デバイス及び前記自動化機械と通信状態にあるコンピューティングデバイスとを備え、
前記コンピューティングデバイスは、１つまたは複数のサービスを実装するように構成され、
前記１つまたは複数のサービスは、
前記撮像デバイスを使用して対象物の画像を取得し、
前記画像内で表現される視覚キューであって、前記対象物の少なくとも一部分に関連する、視覚キューを認識し、
前記視覚キューと、前記少なくとも１つのデータストア内に維持される複数のタスクに関する情報に少なくとも部分的に基づいて前記対象物に関して実施される少なくとも１つのタスクとの間の関連付けを決定し、
前記少なくとも１つのタスクを実行するために必要とされる少なくとも１つのアクションを識別し、
前記少なくとも１つのタスクを実施するための電子命令を前記自動化機械に提供する
ように構成される、自動化タスク実施システム。
【００９７】
条項２．前記１つまたは複数のサービスは、
前記視覚キューに関連するコンテキストを識別する
ように更に構成され、前記関連付けは前記コンテキストに少なくとも部分的に基づいて決定される、条項１に記載される自動化タスク実施システム。
【００９８】
条項３．前記視覚キューは、
英数字、
シンボル、
アイコン、または、
前記対象物の少なくとも前記部分の外形
のうちの少なくとも１つを含む、条項１に記載される自動化タスク実施システム。
【００９９】
条項４．コンピュータ実装式方法であって、
対象物に関する撮像データの第１のセットであって、前記対象物に関連する少なくとも１つの視覚キューに関する情報を含む、撮像データの第１のセットを識別すること、
撮像データの前記第１のセットに少なくとも部分的に基づいて前記少なくとも１つの視覚キューを、少なくとも１つのコンピュータプロセッサによって識別すること、
前記少なくとも１つの視覚キューに少なくとも部分的に基づいて前記対象物に関連する第１の自動化タスクを、前記少なくとも１つのコンピュータプロセッサによって識別すること、及び、
前記第１の自動化タスクに関連する少なくとも１つのアクションを実施するための命令を第１の自動化機械に、前記少なくとも１つのコンピュータプロセッサによって提供することを含む、コンピュータ実装式方法。
【０１００】
条項５．前記対象物に関する撮像データの前記第１のセットを識別することは、
少なくとも１つの撮像デバイスを使用して撮像データの前記第１のセットを取得することを含む、条項４に記載のコンピュータ実装式方法。
【０１０１】
条項６．前記第１の自動化機械は、前記少なくとも１つの撮像デバイスである、条項５に記載のコンピュータ実装式方法。
【０１０２】
条項７．撮像データの前記第１のセットは、前記対象物の少なくとも１つの画像を含み、
前記少なくとも１つの視覚キューは、前記対象物の前記少なくとも１つの画像内で表現される、条項５に記載のコンピュータ実装式方法。
【０１０３】
条項８．前記対象物または前記少なくとも１つの視覚キューは、少なくとも１人の人間によって前記少なくとも１つの画像内で提示される、条項７に記載のコンピュータ実装式方法。
【０１０４】
条項９．前記少なくとも１つの視覚キューを識別することは、
前記撮像データに少なくとも部分的に基づいて前記対象物のエッジ、輪郭、または外形の少なくとも１つを認識すること、及び、
前記エッジ、前記輪郭、または前記外形に少なくとも部分的に基づいて前記少なくとも１つの視覚キューを識別することを含む、条項４に記載のコンピュータ実装式方法。
【０１０５】
条項１０．前記対象物に関連する前記第１の自動化タスクを識別することは、
少なくとも１つのデータストア内に記憶された複数のレコードであって、レコードのそれぞれは、複数の視覚キューのうちの１つの視覚キューと複数の自動化タスクのうちの１つの自動化タスクとの間の関連付けを含む、複数のレコードを識別すること、
前記少なくとも１つの視覚キューに対応する前記複数のレコードのうちの少なくとも１つのレコードを選択すること、及び、
前記複数のレコードのうちの前記選択された少なくとも１つのレコードに少なくとも部分的に基づいて前記第１の自動化タスクを識別することを含む、条項４に記載のコンピュータ実装式方法。
【０１０６】
条項１１．前記対象物に関連する前記第１の自動化タスクを識別することは、
前記少なくとも１つの視覚キュー、前記対象物、又は前記対象物がその中に設けられる環境のうちの１つに関連するコンテキストを決定することを含み、
前記第１の自動化タスクは、前記コンテキストに少なくとも部分的に基づいて識別される、条項４に記載のコンピュータ実装式方法。
【０１０７】
条項１２．前記対象物がその中に設けられる環境の所望の条件であって、前記第１の自動化タスクに関連する、環境の所望の条件を識別すること、
少なくとも１つの撮像デバイスを使用して、前記対象物に関する撮像データの第２のセットを取得すること、
撮像データの前記第２のセットに少なくとも部分的に基づいて、前記対象物がその中に設けられる前記環境の条件を決定すること、
前記環境の前記条件が前記環境の前記所望の条件に適合するかどうかを判定すること、及び、
前記環境の前記条件が前記環境の前記所望の条件に適合すると判定すると、
前記第１の自動化タスクが実施されたという指示を記憶することを更に含む、条項４に記載のコンピュータ実装式方法。
【０１０８】
条項１３．前記少なくとも１つの視覚キューに少なくとも部分的に基づいて前記対象物に関連する第２の自動化タスクを、前記少なくとも１つのコンピュータプロセッサによって識別すること、及び、
前記第２の自動化タスクに関連する少なくとも１つのアクションを実施するための命令を、前記第１の自動化機械に、前記少なくとも１つのコンピュータプロセッサによって提供することを更に含み、
前記第２の自動化タスクは、前記第１の自動化タスクが実施されたという前記指示に少なくとも部分的に基づいて識別される、条項１２に記載のコンピュータ実装式方法。
【０１０９】
条項１４．前記少なくとも１つの視覚キューに少なくとも部分的に基づいて前記対象物に関連する第２の自動化タスクを、前記少なくとも１つのコンピュータプロセッサによって識別すること、及び、
前記第２の自動化タスクに関連する少なくとも１つのアクションを実施するための命令を、前記第２の自動化機械に、前記少なくとも１つのコンピュータプロセッサによって提供することを更に含み、
前記第２の自動化タスクは、前記第１の自動化タスクが実施されたという前記指示に少なくとも部分的に基づいて識別される、条項１２に記載のコンピュータ実装式方法。
【０１１０】
条項１５．前記環境の前記条件が前記環境の前記所望の条件に適合しないと判定すると、
前記第１の自動化タスクが実施されなかったという指示を記憶すること、
前記少なくとも１つの視覚キューに少なくとも部分的に基づいて前記対象物に関連する第２の自動化タスクを、前記少なくとも１つのコンピュータプロセッサによって識別すること、及び、
前記第２の自動化タスクに関連する少なくとも１つのアクションを実施するための命令を、前記第１の自動化機械に、前記少なくとも１つのコンピュータプロセッサによって提供することを更に含み、
前記第２の自動化タスクは、前記第１の自動化タスクが実施されなかったという前記指示に少なくとも部分的に基づいて識別される、条項１２に記載のコンピュータ実装式方法。
【０１１１】
条項１６．撮像データの前記第１のセットに少なくとも部分的に基づいて前記少なくとも１つの視覚キューを識別することは、
視覚パターンであって、前記対象物に関連する前記少なくとも１つの視覚キューを含む、視覚パターンに関する情報を、撮像データの前記第１のセットに少なくとも部分的に基づいて識別することを含み、
前記対象物に関連する前記第１の自動化タスクは、前記視覚パターンに少なくとも部分的に基づいて識別される、条項４に記載のコンピュータ実装式方法。
【０１１２】
条項１７．前記視覚パターンは、前記対象物に関連する第１の視覚キュー及び前記対象物に関連する第２の視覚キューを含み、
撮像データの前記第１のセットに少なくとも部分的に基づいて前記視覚パターンを識別することは、
撮像データの前記第１のセットに少なくとも部分的に基づいて第１の時間に前記第１の視覚キューに関する情報を識別すること、
撮像データの前記第１のセットに少なくとも部分的に基づいて第２の時間に前記第２の視覚キューに関する情報を識別すること、及び、
前記第１の視覚キュー、前記第１の時間、前記第２の視覚キュー、及び前記第２の時間に少なくとも部分的に基づいて前記視覚パターンを規定することを含む、条項１６に記載のコンピュータ実装式方法。
【０１１３】
条項１８．前記視覚パターンは、前記対象物上に設けられる第１の視覚キュー及び前記対象物上に設けられる第２の視覚キューを含み、
撮像データの前記第１のセットに少なくとも部分的に基づいて前記視覚パターンを識別することは、
前記第１の視覚キューに関する情報であって、前記対象物上の前記第１の視覚キューの第１の場所を含む、情報を、撮像データの前記第１のセットに少なくとも部分的に基づいて第１の時間に識別すること、
前記第２の視覚キューに関する情報であって、前記対象物上の前記第２の視覚キューの第２の場所を含む、情報を、撮像データの前記第１のセットに少なくとも部分的に基づいて識別すること、及び、
前記第１の視覚キュー、前記第１の場所、前記第２の視覚キュー、及び前記第２の場所に少なくとも部分的に基づいて前記視覚パターンを規定することを含む、条項１６に記載のコンピュータ実装式方法。
【０１１４】
条項１９．コンピュータ実行可能命令がその上に記憶されている非一時的コンピュータ可読媒体であって、
前記命令は、実行されると、少なくとも１つのコンピュータプロセッサ及び少なくとも１つのデータストアを有するコンピュータシステムに、方法であって、
撮像デバイスを使用して環境の少なくとも一部分の第１の画像を取得すること、
前記第１の画像内で表現される視覚キューを識別すること、
前記第１の画像内で表現される前記視覚キューに少なくとも部分的に基づいて前記環境に対して実施される第１のアクションを選択すること、
前記第１のアクションの少なくとも一部分を実施するための命令を自動化機械に送信すること、
前記撮像デバイスを使用して前記環境の少なくとも前記部分の第２の画像を取得すること、
前記自動化機械が前記第２の画像に少なくとも部分的に基づいて前記第１のアクションを実施したかどうかを判定すること、
前記自動化機械が前記第１のアクションを実施したと判定すると、
前記第１の画像内で表現される前記視覚キューに少なくとも部分的に基づいて前記環境に対して実施される第２のアクションを選択すること、及び、
前記第２のアクションの少なくとも一部分を実施するための命令を前記自動化機械に送信すること
を含む、方法を実施させる、非一時的コンピュータ可読媒体。
【０１１５】
条項２０．前記方法は、
前記第１の画像に少なくとも部分的に基づいて前記視覚キューのコンテキストを識別することを更に含み、
前記第１のアクションは、前記視覚キューの前記コンテキストに少なくとも部分的に基づいて選択される、条項１９に記載の非一時的コンピュータ可読媒体。
【図１Ａ】
0006360203.tif 000002
【図１Ｂ】
0006360203.tif 000003
【図２Ａ】
0006360203.tif 000004
【図２Ｂ】
0006360203.tif 000005
【図３】
0006360203.tif 000006
【図４】
0006360203.tif 000007
【図５】
0006360203.tif 000008
【図６Ａ】
0006360203.tif 000009
【図６Ｂ】
0006360203.tif 000010
【図７】
0006360203.tif 000011
【図８Ａ】
0006360203.tif 000012
【図８Ｂ】
0006360203.tif 000013