(57)【要約】実施形態は、一般に、オブジェクトの３次元（３Ｄ）モデルのセット、把持力および把持トルクの一方または双方の１つ以上の解析的機械表現、およびセンシングおよび制御の一方または双方における不確実性をモデル化するための統計的サンプリングを使用して、把持設定およびセンサー画像のラベル付けされた例のトレーニングデータセットを生成することに関する。また、実施形態は、センサー画像を入力として取得し、ロボット把持またはターゲティング機構用の把持設定を選択するために使用されるデータを返す関数近似器を、トレーニングデータセットを使用してトレーニングすることを含み得る。【選択図】図２
2020532440.tif 000002
【特許請求の範囲】
【請求項１】
コンピューター実施方法であって、
オブジェクトの３次元（３Ｄ）モデルのセット、把持力および把持トルクの一方または双方の１つ以上の解析的機械表現、並びに、センシングおよび制御の一方または双方における不確実性をモデル化するための統計的サンプリングを使用して、把持設定およびセンサー画像のラベル付けされた例のトレーニングデータセットを生成する工程と、
センサー画像を入力として取得し、ロボット把持機構用の把持設定を選択するために使用されるデータを返す関数近似器を、前記トレーニングデータセットを使用してトレーニングする工程と、を含むことを特徴とするコンピューター実施方法。
【請求項２】
前記生成されたトレーニングデータセットは、把持設定に関連する把持品質の尺度を含む請求項１に記載のコンピューター実施方法。
【請求項３】
前記把持品質の尺度は、位置または力の誤差に対するロバスト性を含む請求項２に記載のコンピューター実施方法。
【請求項４】
前記把持品質の尺度は、前記オブジェクトの持ち上げが成功する確率を含む請求項２に記載のコンピューター実施方法。
【請求項５】
前記統計的サンプリングは、初期状態、接触、物理的モーション、摩擦、慣性、オブジェクト形状、ロボット制御、およびセンサーデータからなる群から選択される少なくとも１つに関連する変数の不確実性を含む請求項１に記載のコンピューター実施方法。
【請求項６】
前記関数近似器は、畳み込みニューラルネットワーク（ＣＮＮ）、ランダムフォレスト、サポートベクターマシン、および線形重み行列からなる群から選択される請求項１に記載のコンピューター実施方法。
【請求項７】
前記ロボット把持機構は、ロボット把持具、多指ロボットハンド、１つ以上の吸引カップ、磁石、および接着材料からなる群から選択される少なくとも１つを含む請求項１に記載のコンピューター実施方法。
【請求項８】
前記３Ｄオブジェクトモデルのセットは、各オブジェクトの安定姿勢の算出のための質量特性を含む請求項１に記載のコンピューター実施方法。
【請求項９】
前記３Ｄオブジェクトモデルのセットは、所与の把持とオブジェクトの組み合わせの重力および慣性の一方または双方に対する抵抗の算出のための質量特性を含む請求項１に記載のコンピューター実施方法。
【請求項１０】
前記３Ｄオブジェクトモデルのセットは、フォトリアリスティックレンダリングのためのカラーテクスチャー、多孔性、変形、および摩擦特性からなる群のうちの少なくとも１つの算出のための材料特性を含む請求項１に記載のコンピューター実施方法。
【請求項１１】
前記３Ｄオブジェクトモデルのセットは、合成製品包装モデルによって増補されている請求項１に記載のコンピューター実施方法。
【請求項１２】
前記合成製品包装モデルは、「スキン包装」または「ブリスター包装」を含む請求項１１に記載のコンピューター実施方法。
【請求項１３】
前記３Ｄオブジェクトモデルのセットは、オブジェクトの拡大縮小、伸張、ねじり、剪断、切断、および結合からなる群から選択される少なくとも１つの操作を使用したオブジェクトモデルの初期セットの変換を使用することにより増補されている請求項１に記載のコンピューター実施方法。
【請求項１４】
前記３Ｄオブジェクトモデルのセットは、自身が把持されることを困難にする幾何学的形状を有する「敵対的」オブジェクトを含む請求項１に記載のコンピューター実施方法。
【請求項１５】
前記解析的機械表現は、レンチメカニクスを含む請求項１に記載のコンピューター実施方法。
【請求項１６】
前記解析的機械表現は、力閉じ把持品質、フェラーリ・キャニー把持品質、吸着カップ接触品質、レンチ抵抗品質、磁気接触品質、および接着接触品質からなる群から選択される少なくとも１つのメトリックを含む請求項１に記載のコンピューター実施方法。
【請求項１７】
把持品質を推定するために、コンピューターシミュレーションを使用する工程をさらに含む請求項１６に記載のコンピューター実施方法。
【請求項１８】
把持品質メトリックの統計を算出するために、統計的サンプリングを使用する工程をさらに含む請求項１６に記載のコンピューター実施方法。
【請求項１９】
前記把持品質メトリックは、平均、中央値、モーメント、およびパーセンタイルからなる群から選択される少なくとも１つを含む請求項１８に記載のコンピューター実施方法。
【請求項２０】
前記把持品質メトリックの前記統計を算出するために、前記統計的サンプリングを使用する前記工程は、数値積分を使用する工程を含む請求項１８に記載のコンピューター実施方法。
【請求項２１】
前記センサー画像を生成するために、統計的サンプリングを使用して、可能性のあるオブジェクト姿勢、センサー姿勢、カメラパラメーター、照明、材料特性、摩擦、力、トルク、およびロボットハードウェアパラメーターからなる群のうちの少なくとも１つの変動を生成する工程をさらに含む請求項１に記載のコンピューター実施方法。
【請求項２２】
前記センサー画像を生成するために、コンピューターシミュレーションを使用して、可能性のあるオブジェクト姿勢、センサー姿勢、カメラパラメーター、照明、材料特性、摩擦、力、トルク、およびロボットハードウェアパラメーターのうちの少なくとも１つの変動を生成する工程をさらに含む請求項１に記載のコンピューター実施方法。
【請求項２３】
前記センサー画像は、３Ｄ奥行きマップを含む請求項１に記載のコンピューター実施方法。
【請求項２４】
オブジェクトモデルのセットおよび各オブジェクトモデル用の算出された前記把持設定は、形状の類似性などのオブジェクトモデル間の１つ以上の算出された関係によるネットワークとして保存される請求項１に記載のコンピューター実施方法。
【請求項２５】
前記オブジェクトモデルの前記ネットワーク内のデータおよび前記各オブジェクトモデル用の算出された前記把持設定は、１つ以上の新しいオブジェクトモデル用の１つ以上の所望の把持設定を効率的に算出するために使用される請求項２４に記載のコンピューター実施方法。
【請求項２６】
更新された関数近似器パラメーターを取得するために、ネットワークを介して通信する工程をさらに含む請求項１に記載のコンピューター実施方法。
【請求項２７】
前記ネットワークは、インターネットを含む請求項２６に記載のコンピューター実施方法。
【請求項２８】
物理的把持試行の結果に基づいて、前記関数近似器のパラメーターを更新する工程をさらに含む請求項１に記載のコンピューター実施方法。
【請求項２９】
前記把持設定は、前記センサー画像に対する１つ以上の点によって規定されている請求項１に記載のコンピューター実施方法。
【請求項３０】
コンピューター実施方法であって、
オブジェクトの３次元（３Ｄ）モデルのセット、オブジェクト上の所望のターゲット点の１つ以上の解析的評価方法、並びに、センシングおよび制御の一方または双方における不確実性をモデル化するための統計的サンプリングを用いて、センサー画像および前記センサー画像内のターゲット点のラベル付けされた例のトレーニングデータセットを生成する工程と、
センサー画像を入力として取得し、ロボットターゲティング機構用の１つ以上のターゲット点を算出するためのデータを返す関数近似器を、前記トレーニングデータセットを使用してトレーニングする工程と、を含むことを特徴とするコンピューター実施方法。
【請求項３１】
前記ロボットターゲティング機構は、前記オブジェクト上にラベルを配置すること、前記オブジェクトにスタンプを付すこと、および前記オブジェクトを検査することからなる群から選択される少なくとも１つを含む請求項３０に記載のコンピューター実施方法。
【請求項３２】
前記統計的サンプリングは、初期状態、接触、物理的モーション、摩擦、慣性、オブジェクト形状、ロボット制御、およびセンサーデータからなる群から選択される少なくとも１つに関連する変数の不確実性を含む請求項３０に記載のコンピューター実施方法。
【請求項３３】
前記関数近似器は、畳み込みニューラルネットワーク（ＣＮＮ）、ランダムフォレスト、サポートベクターマシン、および線形重み行列からなる群から選択される請求項３０に記載のコンピューター実施方法。
【請求項３４】
前記３Ｄオブジェクトモデルのセットは、各オブジェクトの安定姿勢の算出のための質量特性を含む請求項３０に記載のコンピューター実施方法。
【請求項３５】
前記３Ｄオブジェクトモデルのセットは、所与のターゲティングとオブジェクトの組み合わせの重力および慣性の一方または双方に対する抵抗の算出のための質量特性を含む請求項３０に記載のコンピューター実施方法。
【請求項３６】
前記３Ｄオブジェクトモデルのセットは、フォトリアリスティックレンダリングのためのカラーテクスチャー、多孔性、変形、および摩擦特性からなる群のうちの少なくとも１つの算出のための材料特性を含む請求項３０に記載のコンピューター実施方法。
【請求項３７】
前記３Ｄオブジェクトモデルのセットは、合成製品包装モデルによって増補されている請求項３０に記載のコンピューター実施方法。
【請求項３８】
前記合成製品包装モデルは、「スキン包装」または「ブリスター包装」を含む請求項３７に記載のコンピューター実施方法。
【請求項３９】
前記３Ｄオブジェクトモデルのセットは、オブジェクトの拡大縮小、伸張、ねじり、剪断、切断、および結合からなる群から選択される少なくとも１つの操作を使用したオブジェクトモデルの初期セットの変換を使用することにより増補されている請求項３０に記載のコンピューター実施方法。
【請求項４０】
前記３Ｄオブジェクトモデルのセットは、自身がターゲティングされることを困難にする幾何学的形状を有する「敵対的」オブジェクトを含む請求項３０に記載のコンピューター実施方法。
【請求項４１】
前記解析的機械表現は、レンチメカニクスを含む請求項３０に記載のコンピューター実施方法。
【請求項４２】
前記センサー画像を生成するために、統計的サンプリングを使用して、可能性のあるオブジェクト姿勢、センサー姿勢、カメラパラメーター、照明、材料特性、摩擦、力、トルク、およびロボットハードウェアパラメーターからなる群のうちの少なくとも１つの変動を生成する工程をさらに含む請求項３０に記載のコンピューター実施方法。
【請求項４３】
前記センサー画像を生成するために、コンピューターシミュレーションを使用して、可能性のあるオブジェクト姿勢、センサー姿勢、カメラパラメーター、照明、材料特性、摩擦、力、トルク、およびロボットハードウェアパラメーターのうちの少なくとも１つの変動を生成する工程をさらに含む請求項３０に記載のコンピューター実施方法。
【請求項４４】
前記センサー画像は、３Ｄ奥行きマップを含む請求項３０に記載のコンピューター実施方法。
【請求項４５】
オブジェクトモデルのセットおよび各オブジェクトモデル用の算出されたターゲティング設定は、形状の類似性などのオブジェクトモデル間の１つ以上の算出された関係によるネットワークとして保存される請求項３０に記載のコンピューター実施方法。
【請求項４６】
前記オブジェクトモデルの前記ネットワーク内のデータおよび前記各オブジェクトモデル用の算出された前記ターゲティング設定は、１つ以上の新しいオブジェクトモデル用の１つ以上の所望のターゲティング設定を効率的に算出するために使用される請求項４５に記載のコンピューター実施方法。
【請求項４７】
更新された関数近似器パラメーターを取得するために、ネットワークを介して通信する工程をさらに含む請求項３０に記載のコンピューター実施方法。
【請求項４８】
前記ネットワークは、インターネットを含む請求項４７に記載のコンピューター実施方法。
【請求項４９】
把持設定は、前記センサー画像に対する１つ以上の点によって規定される請求項３０に記載のコンピューター実施方法。
【請求項５０】
装置であって、
センサーと、
ロボット把持機構と、
オブジェクトの３次元（３Ｄ）モデルのセット、把持力および把持トルクの一方または双方の１つ以上の解析的機械表現、並びに、センシングおよび制御の一方または双方における不確実性をモデル化するための統計的サンプリングを使用して、把持設定およびセンサー画像のラベル付けされた例のトレーニングデータセットでトレーニングされた関数近似器に少なくとも部分的に基づいて、前記ロボット把持機構用の所望の把持設定を算出するために、センサー画像を使用するよう構成された１つ以上のプロセッサーと、を含み、
前記関数近似器は、センサー画像を入力として取得し、前記ロボット把持機構用のロバストな把持設定を算出するために使用されるデータを返すよう構成されていることを特徴とする装置。
【請求項５１】
候補把持設定のセットは、前記センサー画像からの可能性のある対蹠的な把持の算出に基づいて算出される請求項５０に記載の装置。
【請求項５２】
構築済みの照明システム、ライダーシステム、カラーカメラのステレオペア、モノクロカメラのステレオペア、および単眼画像からなる群から選択される少なくとも１つを使用して、３Ｄ奥行きマップを取得することをさらに含む請求項５０に記載の装置。
【請求項５３】
前記センサー画像は、カメラからの２Ｄ画像を含む請求項５０に記載の装置。
【請求項５４】
衝突チェックに基づいて、ロボットが周囲の物と接触することを回避するためのモーション計画方法の使用をさらに含む請求項５０に記載の装置。
【請求項５５】
把持されたオブジェクトを特定の新しい配置に移動させるために、ロボットモーションを使用する手段をさらに備える請求項５０に記載の装置。
【請求項５６】
把持試行の結果を検出するための手段をさらに含む請求項５０に記載の装置。
【請求項５７】
前記把持試行の結果の検出は、１つ以上のロードセル、光センサー、カメラ、力センサー、および触覚センサーからなる群から選択される少なくとも１つを使用することを含む請求項５６に記載の装置。
【請求項５８】
複数の把持方法を並行して適用することをさらに含む請求項５０に記載の装置。
【請求項５９】
２つ以上の把持方法をさらに含み、
所与のセンサー画像用にこれらの把持方法から１つを選択するために、２つ以上の関数近似器の出力が組み合わせられる請求項５０に記載の装置。
【請求項６０】
オブジェクトを押して、前記オブジェクトを周囲の物から離間させ、アクセス可能な把持を生成することをさらに含む請求項５０に記載の装置。
【請求項６１】
オブジェクトを押して、前記オブジェクトを周囲の物から離間させ、アクセス可能な把持を生成する工程をさらに含む請求項１に記載のコンピューター実施方法。
【請求項６２】
装置であって、
センサーと、
ロボットターゲティング機構と、
オブジェクトの３次元（３Ｄ）モデルのセット、ターゲット点の１つ以上の解析的機械表現、並びに、センシングおよび制御の一方または双方における不確実性をモデル化するための統計的サンプリングを使用して、ターゲット点およびセンサー画像のラベル付けされた例のトレーニングデータセットでトレーニングされた関数近似器に少なくとも部分的に基づいて、前記ロボットターゲティング機構用の所望のターゲティング設定を算出するためにセンサー画像を使用するよう構成された１つ以上のプロセッサーと、を含み、
前記関数近似器は、センサー画像を入力として取得し、前記ロボットターゲティング機構用のロバストなターゲット点を算出するために使用されるデータを返すよう構成されていることを特徴とする装置。
【請求項６３】
構築済みの照明システム、ライダーシステム、カラーカメラのステレオペア、モノクロカメラのステレオペア、および単眼画像からなる群から選択される少なくとも１つを使用して、３Ｄ奥行きマップを取得することをさらに含む請求項６２に記載の装置。
【請求項６４】
前記センサー画像は、カメラからの２Ｄ画像を含む請求項６２に記載の装置。
【請求項６５】
衝突チェックに基づいて、ロボットが周囲の物と接触することを回避するためのモーション計画方法の使用をさらに含む請求項６２に記載の装置。
【請求項６６】
ターゲティング試行の結果を検出するための手段をさらに含む請求項６２に記載の装置。
【請求項６７】
前記ターゲティング試行の結果の検出は、１つ以上のロードセル、光センサー、カメラ、力センサー、および触覚センサーからなる群から選択される少なくとも１つを使用することを含む請求項６６に記載の装置。
【請求項６８】
複数のターゲティング方法を並行して適用することをさらに含む請求項６２に記載の装置。
【請求項６９】
２つ以上のターゲティング方法をさらに含み、
所与のセンサー画像用にこれらのターゲティング方法から１つを選択するために、２つ以上の関数近似器の出力が組み合わせられる請求項６２に記載の装置。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１７年９月１日に出願された米国仮特許出願第６２／５５３，５８９号（発明の名称「オブジェクトをロバストに把持するためのロボットシステム」）の利益を主張し、該米国仮特許出願の内容は、参照により本明細書に完全に援用される。
【技術分野】
【０００２】
開示される技術は、一般に、例えば、把持具または吸引カップデバイスを使用して、倉庫または家庭等において、様々なオブジェクト（object：物体、対象物）をロバスト（強固、堅牢）に把持および／またはターゲティング（targeting：標的設定）するよう構成されたロボットシステムに関し、より具体的には、センシングおよび制御における誤差に対するロバスト性を持って、オブジェクトを把持および／またはターゲティングするよう、ロボットをトレーニングするために分析および統計的にサンプリングされ得る３Ｄオブジェクトモデルのライブラリを使用することに関する。
【背景技術】
【０００３】
オブジェクトをピックアップすることは、ロボットにとって非常に基本的な能力であり、オブジェクトの把持が、依然として、どれほど挑戦的な事であるかを理解することは、しばしば困難である。工場内のロボットは、ロボットが把持することとなるオブジェクトに関するある程度の事前知識と共に、高品質のセンサーデータに依存している。しかしながら、多くの理由のいずれかのために、把持困難となり得る複数のオブジェクトの膨大なロングテール（long tail）を含む、初見の様々なオブジェクトを確実にピックアップすることができるシステムを設計することは、非常に挑戦的な課題である。
【０００４】
このような課題周りの１つのアプローチは、所与のオブジェクトをピックアップするための最良の方法を完全には知らないことを補うための専用の把持ハードウェア（例えば、包み込み把持具または接着剤など）を設計することであるが、このアプローチは、把持具内のオブジェクトの視認性を制限してしまう。
【０００５】
把持されるべきオブジェクトの正確なモデルと、オブジェクト把持具の正確な位置および場所と、予想されるとおりに正確に動作する把持具と、を有する場合、把持を簡略化可能である。センサーは、不正確かつノイズが多いことが多く、さらに、把持具自体、一般に、把持具を制御するため精度および正確性が限られている。したがって、一貫したロバストな把持は、達成不可能ではないにしても、非常に挑戦的な課題とするのに十分なだけの不確実性が存在している。
【０００６】
１つのアプローチは、機械学習を使用することである。１つのアプローチは、何百万もの物理的ロボット試行において何百万ものオブジェクトを把持する何百万ものロボットから収集されたデータセットを使用して、所与のオブジェクトに対する特定の把持が、どの程度ロバストとなるか（例えば、オブジェクトが持ち上げられたとき、または、移動されたときに、把持が失敗するかどうか）を予測するよう、システムをトレーニングすることである。残念ながら、このアプローチは、全く実用的な解決策ではない。
【発明の概要】
【発明が解決しようとする課題】
【０００７】
開示された技術の実施は、例えば、倉庫注文の実行（例えば、注文がユニークであり、何百万もの異なる製品が存在し得る場合）、製造、包装、検査、マーキングまたは他のラベル付け、ビンピッキングのために用いられるロボットに関連して様々な産業において有利に使用され得、さらに、例えば、片付けのような単調なタスクのために家庭において有利に使用され得る。
【図面の簡単な説明】
【０００８】
【図１】図１は、開示される技術の特定の実施形態に係るコンピューター実施方法の実施例を示している。
【０００９】
【図２】図２は、開示される技術の特定の実施形態に係るシステムの実施例を示している。
【発明を実施するための形態】
【００１０】
図１は、開示される技術の特定の実施形態に係るコンピューター実施方法１００の実施例を示している。この実施例では、方法１００は、オブジェクトの３次元（３Ｄ）モデル１１０のセット、把持力および把持トルクの一方または双方の１つ以上の解析的機械表現（analytic mechanical representation）、並びに、センシングおよび制御の一方または双方における不確実性（uncertainty）をモデル化するための統計的サンプリングを使用して、把持設定およびセンサー画像およびラベル付き例１５０および１６０のトレーニングデータセット１４０を生成する工程を含む。
【００１１】
また、方法１００は、センサー画像１３０を入力として取得し、ロボット把持機構用の把持設定１２０を選択するために使用されるデータを返す関数近似器（function approximator）１７０を、トレーニングデータセット１４０を使用してトレーニングする工程を含み得る。特定の実施形態において、把持設定は、センサー画像に対する１つ以上の点によって規定されてもよい。
【００１２】
特定の実施形態において、生成されたトレーニングデータセット１４０は、把持設定１２０に関連する把持品質の尺度（measure：評価等の基準となるもの）を含んでいてもよい。そのような実施形態において、把持品質の尺度は、位置または力の誤差に対するロバスト性を含んでいてもよい。代替的またはそれに加えて、把持品質の尺度は、オブジェクトの持ち上げが成功する確率を含んでいてもよい。
【００１３】
特定の実施形態において、統計的サンプリングは、初期状態、接触、物理的モーション、摩擦、慣性、オブジェクト形状、ロボット制御、センサーデータ、またはこれらの任意の適切な組合せに関連する変数の不確実性を含んでいてもよい。
【００１４】
特定の実施形態において、関数近似器は、畳み込みニューラルネットワーク（ＣＮＮ）、ランダムフォレスト、サポートベクターマシン（ＳＶＭ）、または線形重み行列であってもよい。
【００１５】
特定の実施形態において、ロボット把持機構は、ロボット把持具、多指ロボットハンド、１つ以上の吸引カップ、磁石、接着材料、またはこれらの任意の適切な組合せを含み得る。
【００１６】
特定の実施形態において、３Ｄオブジェクトモデルのセットは、各オブジェクトの安定姿勢の算出のための質量特性を含み得る。代替的またはそれに加えて、３Ｄオブジェクトモデルのセットは、所与の把持およびオブジェクトの組合せの重力および慣性の一方または双方に対する抵抗を算出するための質量特性を含み得る。代替的またはそれに加えて、３Ｄオブジェクトモデルのセットは、摩擦特性、変形、多孔性（porosity）、フォトリアリスティックレンダリング（photorealistic rendering）のためのカラーテクスチャー、またはこれらの任意の組合せを含む、算出のための材料特性を含み得る。
【００１７】
特定の実施形態において、３Ｄオブジェクトモデルのセットは、自身が把持されることを困難にする幾何学的形状を有する「敵対的（adversarial）」オブジェクトを含んでいてもよい。
【００１８】
特定の実施形態において、３Ｄオブジェクトモデルのセットは、例えば、「スキン包装」または「ブリスター包装」などの合成製品包装モデルによって増補（augmented）されてもよい。代替的またはそれに加えて、３Ｄオブジェクトモデルのセットは、以下の操作、すなわち、オブジェクトの拡大縮小、伸張、ねじり、剪断、切断、および結合のうちのいずれかを使用したオブジェクトモデルの初期セットの変換を使用して増補されてもよい。
【００１９】
特定の実施形態において、解析的機械表現は、レンチメカニクス（wrench mechanics）を含んでいてもよい。代替的またはそれに加えて、解析的機械表現は、以下のメトリック（metric）、すなわち、力閉じ把持品質（force closure grasp quality）、フェラーリ・キャニー把持品質（Ferrari-Canny grasp quality）、吸着カップ接触品質、レンチ抵抗品質、磁気接触品質、および接着接触品質のうちのいずれかを含んでいてもよい。
【００２０】
そのような実施は、コンピューターシミュレーションを使用して、把持品質を推定する工程を含んでいてもよい。代替的またはそれに加えて、そのような実施は、統計サンプリングを使用して、把持品質メトリックの統計を算出する工程を含んでいてもよい。そのような実施形態において、把持品質メトリックは、平均、中央値、モーメント、パーセンタイル、またはこれらの任意の適切な組合せを含んでいてもよい。代替的またはそれに加えて、そのような実施は、数値積分を使用する工程を含む、統計サンプリングを使用して、把持品質メトリックの統計を算出する工程を含んでいてもよい。
【００２１】
特定の実施は、センサー画像（例えば、３Ｄ奥行きマップ）を生成するために、統計的サンプリングを使用して、可能性のあるオブジェクト姿勢、センサー姿勢、カメラパラメーター、照明、材料特性、摩擦、力、トルク、ロボットハードウェアパラメーターの変動を生成する工程、または、これらの任意の適切な組合せを生成する工程を含んでいてもよい。
【００２２】
特定の実施は、センサー画像（例えば、３Ｄ奥行きマップ）を生成するために、コンピューターシミュレーションを使用して、可能性のあるオブジェクト姿勢、センサー姿勢、カメラパラメーター、照明、材料特性、摩擦、力、トルク、およびロボットハードウェアパラメーターの変動を生成する工程、または、これらの任意の適切な組合せを生成する工程を含んでいてもよい。
【００２３】
特定の実施形態において、オブジェクトモデルのセットおよび各オブジェクトモデル用の算出された把持設定は、形状の類似性などのオブジェクトモデル間の１つ以上の算出された関係によるネットワークとして保存されてもよい。そのような実施形態において、オブジェクトモデルのネットワーク内のデータおよび各オブジェクトモデル用の算出された把持設定は、１つ以上の新しいオブジェクトモデルのための１つ以上の所望の把持設定を効率的に算出するために用いられてもよい。
【００２４】
特定の実施は、更新された関数近似器パラメーターを取得するために、ネットワーク、たとえばインターネットを介して通信する工程を含んでいてもよい。
【００２５】
特定の実施は、物理的把持試行の結果に基づいて、関数近似器のパラメーターを更新する工程を含んでいてもよい。
【００２６】
特定の実施形態において、コンピューター実施方法は、オブジェクトの３次元（３Ｄ）モデルのセット、オブジェクト上の所望のターゲット点の１つ以上の解析的評価方法（analytic evaluation methods）、並びに、センシングおよび制御の一方または双方における不確実性をモデル化するための統計的サンプリングを使用して、センサー画像およびそれら画像内のターゲット点のラベル付けされた例のトレーニングデータセットを生成する工程を含んでいてもよい。また、本方法は、センサー画像を入力として取得し、ロボットターゲティング機構（robot targeting mechanism）用の１つ以上のターゲット点を算出するためのデータを返す関数近似器を、トレーニングデータセットを使用してトレーニングする工程（例えば、オブジェクト上にラベルを配置する工程、オブジェクトにスタンプを付す工程、およびオブジェクトを検査する工程）を含んでいてもよい。
【００２７】
特定の実施形態において、統計的サンプリングは、初期状態、接触、物理的モーション、摩擦、慣性、オブジェクト形状、ロボット制御、センサーデータ、またはこれらの組合せに関連する変数の不確実性を含んでいてもよい。
【００２８】
関数近似器は、畳み込みニューラルネットワーク（ＣＮＮ）、ランダムフォレスト、サポートベクターマシン、または線形重み行列を含んでいてもよい。
【００２９】
特定の実施形態において、３Ｄオブジェクトモデルのセットは、各オブジェクトの安定姿勢の算出のための質量特性を含み得る。代替的またはそれに加えて、３Ｄオブジェクトモデルのセットは、所与のターゲティングおよびオブジェクトの組合せの重力および慣性の一方または双方に対する抵抗を算出するための質量特性を含み得る。代替的またはそれに加えて、３Ｄオブジェクトモデルのセットは、摩擦特性、変形、多孔性、フォトリアリスティックレンダリングのためのカラーテクスチャー、またはこれらの任意の組合せを含む、算出のための材料特性を含み得る。
【００３０】
特定の実施形態において、３Ｄオブジェクトモデルのセットは、自身がターゲティングされることを困難にする幾何学的形状を有する「敵対的」オブジェクトを含んでいてもよい。
【００３１】
特定の実施形態において、３Ｄオブジェクトモデルのセットは、例えば、「スキン包装」または「ブリスター包装」などの合成製品包装モデルによって増補されてもよい。代替的またはそれに加えて、３Ｄオブジェクトモデルのセットは、以下の操作、すなわち、オブジェクトの拡大縮小、伸張、ねじり、剪断、切断、および結合のうちのいずれかを使用したオブジェクトモデルの初期セットの変換を使用して、増補されてもよい。
【００３２】
いくつかの実施態様において、解析的機械表現は、レンチメカニクスを含んでいてもよい。
【００３３】
特定の実施は、センサー画像（例えば、３Ｄ奥行きマップ）を生成するために、統計的サンプリングを使用して、可能性のあるオブジェクト姿勢、センサー姿勢、カメラパラメーター、照明、材料特性、摩擦、力、トルク、ロボットハードウェアパラメーターの変動を生成する工程、または、これらの任意の適切な組合せを生成する工程を含んでいてもよい。
【００３４】
特定の実施は、センサー画像（例えば、３Ｄ奥行きマップ）を生成するために、コンピューターシミュレーションを使用して、可能性のあるオブジェクト姿勢、センサー姿勢、カメラパラメーター、照明、材料特性、摩擦、力、トルク、およびロボットハードウェアパラメーターの変動を生成する工程、または、これらの任意の適切な組合せを生成する工程を含んでいてもよい。
【００３５】
特定の実施形態において、オブジェクトモデルのセットおよび各オブジェクトモデル用の算出された把持設定は、形状の類似性などのオブジェクトモデル間の１つ以上の算出された関係によるネットワークとして保存されてもよい。そのような実施形態において、オブジェクトモデルのネットワーク内のデータおよび各オブジェクトモデル用の算出された把持設定は、１つ以上の新しいオブジェクトモデル用の１つ以上の所望の把持設定を効率的に算出するために、用いられてもよい。
【００３６】
特定の実施は、更新された関数近似器パラメーターを取得するために、ネットワーク、たとえばインターネットを介して通信する工程を含んでいてもよい。
【００３７】
特定の実施形態において、把持設定は、センサー画像に対する１つ以上の点によって規定されていてもよい。
【００３８】
図２は、開示される技術の特定の実施形態に係る、オブジェクト２１０を把持するためのシステム２００の実施例を示している。この実施例では、システム２００は、センサー２２０と、ロボット把持機構２４０と、オブジェクトの３次元（３Ｄ）モデルのセット、把持力および把持トルクの一方または双方の１つ以上の解析的機械表現、並びに、センシングおよび制御の一方または双方における不確実性をモデル化するための統計的サンプリングを用いて、把持設定およびセンサー画像のラベル付けされた例のトレーニングデータセットでトレーニングされた関数近似器２３０に少なくとも部分的に基づいて、ロボット把持機構２４０用の所望の把持設定を算出するためにセンサー画像を使用するよう構成された１つ以上のプロセッサーと、を含む。特定の実施形態において、関数近似器２３０は、センサー画像を入力として取得し、ロボット把持機構２４０用のロバストな把持設定を算出するために使用されるデータを返すよう、構成されていてもよい。
【００３９】
特定の実施形態において、候補把持設定のセットは、センサー画像、例えば、カメラからの２Ｄ画像から、可能性のある対蹠的な（antipodal：対蹠的、対心的、直径に沿った対置の関係）把持の算出に基づいて、算出されていてもよい。
【００４０】
特定の実施は、構築済みの照明システム（structured lighting system）、ライダーシステム（Lidar system）、カラーカメラのステレオペア、モノクロカメラのステレオペア、単眼画像、またはこれらの任意の適切な組み合わせを使用して、３Ｄ奥行きマップを取得する工程を含んでいてもよい。
【００４１】
特定の実施は、衝突チェックに基づいて、ロボットが周囲の物（environment）と接触することを回避するためのモーション計画方法（motion planning method）の使用を含んでいてもよい。代替的またはそれに加えて、システムは、把持されたオブジェクトを特定の新しい配置に移動させるために、ロボットモーションを使用する手段を含んでいてもよい。代替的またはそれに加えて、システムは、把持試行の結果を検出するための手段を含んでいてもよい。そのような実施形態において、システムは、１つ以上のロードセル、光センサー、カメラ、力センサー、触覚センサー、またはこれらの任意の適切な組合せを使用する工程を含み、把持試行の結果を検出するよう構成されていてもよい。
【００４２】
特定の実施形態は、複数の把持方法を並行して適用する工程を含んでいてもよい。
【００４３】
特定の実施は、２つ以上の把持方法を含んでいてもよく、ここで、所与のセンサー画像用にこれらの把持方法から１つを選択するため、２つ以上の関数近似器の出力が組み合わされてもよい。
【００４４】
特定の代替的な実施において、システムは、センサーと、ロボットターゲティング機構と、オブジェクトの３次元（３Ｄ）モデルのセット、ターゲット点の１つ以上の解析的機械表現、並びに、センシングおよび制御の一方または双方における不確実性をモデル化するための統計的サンプリングを使用して、ターゲット点およびセンサー画像のラベル付けされた例のトレーニングデータセットでトレーニングされた関数近似器に少なくとも部分的に基づいて、ロボットターゲティング機構用の所望のターゲティング設定を算出するためにセンサー画像を使用するよう構成された１つ以上のプロセッサーと、を含むことができる。そのような実施形態において、関数近似器は、センサー画像（例えば、カメラからの２Ｄ画像）を入力として取得し、ロボットターゲティング機構用のロバストなターゲット点を算出するために使用されるデータを返すよう、構成されていてもよい。
【００４５】
特定の実施は、構築済みの照明システム、ライダーシステム、カラーカメラのステレオペア、モノクロカメラのステレオペア、単眼画像、またはこれらの任意の適切な組み合わせを使用して、３Ｄ奥行きマップを取得する工程を含んでいてもよい。
【００４６】
特定の実施は、衝突チェックに基づいて、ロボットが周囲の物と接触することを回避するためのモーション計画方法の使用を含んでいてもよい。代替的またはそれに加えて、システムは、ターゲティング試行の結果を検出するための手段を含んでいてもよい。そのような実施形態において、ターゲティング試行の結果を検出する工程は、１つ以上のロードセル、光センサー、カメラ、力センサー、触覚センサー、またはこれらの任意の適切な組合せを使用する工程を含んでいてもよい。
【００４７】
特定の実施は、複数のターゲティング方法を並列に適用する工程を含んでいてもよい。
【００４８】
特定の実施は、２つ以上のターゲティング方法を含んでいてもよく、ここで、所与のセンサー画像用に、これらのターゲティング方法から１つを選択するため、２つ以上の関数近似器の出力が組み合わされてもよい。
【００４９】
また、特定の実施は、オブジェクトを押して、オブジェクトを周囲の物から離間させ、アクセス可能な把持を生成する工程を含んでいてもよい。
【００５０】
ディープ畳み込みニューラルネットワーク（ＣＮＣ）を、ロバストな把持および画像形成の解析モデルを用いて生成されたレンダリング点群（rendered point clouds）、把持メトリック、平行あご状把持（parallel-jaw grasps）の大規模なデータセットでトレーニングすることによって、奥行き画像から、把持およびターゲティングの成功を直接予測することができる。
【００５１】
ロバストなロボット把持計画のディープラーニングのためのデータ収集時間を削減するために、ディープニューラルネットワークは、例えば、６７０万個を超える点群の合成データセットからの把持分類、さらに、テーブル上のランダム化された姿勢についての数千の３次元（３Ｄ）モデルから生成されたロバストな分析把持メトリックおよび把持についてトレーニングされ得る。その結果得られたデータセットは、奥行き画像、テーブル上方にある把持具の位置、角度、高さから、把持をロバストなものとして迅速に分類するＧＱ−ＣＮＮ（Ｇｒａｓｐ  Ｑｕａｌｉｔｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）モデルをトレーニングするために、用いられることができる。
【００５２】
Ｇｒａｓｐ  Ｑｕａｌｉｔｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ（ＧＱ−ＣＮＮ）モデルは、期待イプシロン品質（expected epsilon quality）をスーパービジョン（supervision）として用いて、奥行き画像においてロバストな把持を分類するために、トレーニングされ得る。ここで、各把持は、カメラに対する３Ｄ姿勢および奥行きとして特定される。把持計画法は、対蹠的な把持候補をサンプリングし、それらをＧＱ−ＣＮＮを用いてランク付けすることができる。
【００５３】
膨大なデータセットは、多種多様な剛性オブジェクトに渡る、より信頼性の高いロバストな把持を開発するために、ニューラルネットワークをトレーニングするデータを提供するために使用され得る。例えば、データセットは、把持が、オブジェクトを持ち上げ、さらに、運ぶことができる可能性がどの程度あるかのロバスト性推定と共に、平行あご状把持具姿勢と一緒になっている６７０万個以上のオブジェクト点群から構成され得る。これは、ロバストなロボット把持システムにおいて有利に使用され得る。
【００５４】
開示される技術の実施は、把持の物理ベースモデル、画像レンダリング、およびカメラノイズを用いて、３Ｄオブジェクトメッシュのデータセットから、合成点群、把持、および把持ロバスト性ラベル、把持、および合成点群を生成する確率モデル（probabilistic model）に依拠し得、したがって、クラウドコンピューティングを活用して、ＣＮＮ用の大規模なトレーニングデセットを迅速に生成することができる。
【００５５】
実施は、物理とディープラーニングを組み合わせた機械学習へのハイブリッドアプローチを含み得る。ハイブリッドアプローチは、例えば、３Ｄオブジェクト形状の大規模データセット、把持機構の物理ベースモデル、およびサンプリング統計を組み合わせ、多くの（例えば６７０万個の）トレーニング例を生成し、さらに、ディープラーニングネットワークを用いて、３Ｄセンサー点群が与えられたときに迅速にロバストな把持を見出すことができる機能を学習することができる。このシステムは、コンピュータービジョンおよび音声認識における最近の成果と同様に、ロバストな把持の例の非常に大規模なセットで、トレーニングされ得る。
【００５６】
ＣＮＮが、ロバスト性が高いと推定する状況では、把持は、一般に、予想通りに機能する。例えば、ＡＢＢ  ＹｕＭｉ  （すなわち、双腕産業用ロボット）を用いた特定の実験では、計画立案者は、信頼性のある把持を計画することに９３％成功し、また、６９の予測された成功のうち、１つだけが偽の肯定的評価であり、４０個の新規なオブジェクト（缶開け具および洗濯布のような扱いにくいものを含む）に対する把持ロバスト性の予測に成功することができた。
【００５７】
ロボットは、成功する場合についての良いアイデアを有することができるので、失敗しやすい場合についても、述べることもできる。ロボットが失敗を予想する状況では、ロボットは、例えば、オブジェクトを突いてその向きを変える、または、人に助けを求めるかのいずれかによって、適切な行動をとることができる。
【００５８】
実施は、バーチャルな任意の３Ｄカメラおよび平行あご状具または吸着カップ把持具について互換性があってもよく、多指把持具のための一次把持軸（primary grasp axis）を選択するために使用されてもよい。
【００５９】
特定の実施において、焦点距離、および、ＲＧＢ−Ｄセンサーがロボットに対してどこにあるかの境界、（ＣＡＤモデルとして指定される）平行あご状ロボット把持具の配置、および把持具の摩擦係数等のハードウェアセットアップに特有の特定の知識は、所与のハードウェアセットアップに特有の新しいトレーニングデータセットを生成するための入力として提供されてもよい。このような実施において、データセットでトレーニングされたＧＱ−ＣＮＮＧは、良好な性能を有し得る。
【００６０】
開示された技術の実施は、スーパービジョンとしてロバストな分析把持メトリック（robust analytic grasp metrics）を使用する工程と、予測においてカメラからの把持具の距離を使用する工程と、物理ロボットに対する広範な評価を実行する工程と、を含み得る。
【００６１】
特定の実施は、点群から、把持ロバスト性を予測するための新しいアーキテクチャの開発を容易にすることができ、また、新しい方法のベンチマーキングを促すことができる。
【００６２】
特定の実施は、複数の異なるロボットにわたるロボット把持計画のために、ディープニューラルネットワークをトレーニングするための有用なリソースであり得るロボット把持のためのトレーニングデータセットを自動的に生成する工程を含んでいてもよい。
【００６３】
特定の実施において、ロボットは、例えば、初見または対応したことがないオブジェクトを、どのようにロバストに把持するかを見出すことができるように、人工知能と一体化されていてもよい。
【００６４】
特定の実施形態において、ロボットは、ニューラルネットワークおよびセンサー（例えば、Ｍｉｃｒｏｓｏｆｔ  Ｋｉｎｅｃｔ  ３Ｄセンサー）を使用して、新しいオブジェクトを見て、さらに、オブジェクトを成功裏に把持するためのロバストな把持を決定してもよい。
【００６５】
特定の実施は、例えば、掃除機掛け、配膳、および散乱物をピックアップすることなどの様々な仕事を実行する家庭用ロボットを含んでいてもよい。そのような機械は、しばしば新しいオブジェクトに遭遇するが、機械自体を訓練することによって、機械の周囲により良く対応することができる。
【００６６】
特定の実施において、ロボットは、単独で作業および学習するのではなく、例えば、互いに情報を共有するために、クラウドを介して通信していてもよい。そのような実施において、ロボットは、得られた知識を、自身に類似する他のロボットに分配することができ、さらに、特定の実施形態において、全く異なる種類のロボットにも分配することができる。
【００６７】
本明細書で使用されているように、器用さネットワーク（Ｄｅｘ−Ｎｅｔ）は、一般に、ロボット把持を計画するための機械学習ベース方法をトレーニングする数千個以上の３Ｄオブジェクトモデル用の物理に基づく把持ロバスト性のメトリック、ロボット平行あご状把持、合成点群のデータセットを生成するためのアルゴリズム、データセット、コードを含む研究プロジェクトを指す。実施は、ツール、家庭用品、包装されたグッズ、および工業部品などの多種多様な剛性オブジェクトのいずれかに渡る高信頼性ロボット把持を開発する工程を含んでいてもよい。
【００６８】
Ｄｅｘ−Ｎｅｔ１．０は、例えば、新しいデータセットの生成を加速するために、新しい３Ｄメッシュモデルの把持の成功の予測子を学習するために使用されてもよい。Ｄｅｘ−Ｎｅｔ２．０は、点群から、オブジェクトへの候補把持の成功確率を予測する把持品質畳み込みニューラルネットワーク（ＧＱ−ＣＮＮ）モデルを学習するために使用することができる。ＧＱ−ＣＮＮは、物理的ロボットによって多種多様なオブジェクトを持ち上げ、輸送することができる把持を迅速に計画するために有用であり得る。
【００６９】
特定の実施は、吸引カップと剛性オブジェクト表面との間の接触界面におけるレンチのセットと、オブジェクト姿勢の摂動、質量中心、接触位置、摩擦、および重力下での重力による外部レンチに抵抗するのに必要な接触レンチの大きさと、に基づく分析吸引把持モデルおよびメトリックを含んでいてもよい。このメトリックは、６７０万個以上の点群のデータセット、および、吸入法を生成し、１５００個以上の３Ｄオブジェクトモデルから生成されるロバスト性ラベルを把握するために用いられ得、さらに、点群から、把持ロバスト性を分類するために、このデータセットでＧｒａｐｓｐ  Ｑｕａｌｉｔｙ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ  （ＧＱ−ＣＮＮ）をトレーニングすることができる。
【００７０】
図示された実施形態を参照して本発明の原理を説明し、図示したが、図示された実施形態は、そのような原理から逸脱することなく、配置および詳細を変更することができ、さらに、任意の所望の方法で組み合わせることができることは、理解されるであろう。また、前述の議論は、特定の実施形態に焦点を当ててきたが、他の構成も考えられる。
【００７１】
したがって、本明細書で説明される実施形態に対する多種多様な置換を考慮して、この詳細な説明および付随する材料は、例示のみを意図し、本発明の範囲を限定するものと解釈されるべきではない。したがって、本発明として特許請求されるものは、以下の特許請求の範囲およびその均等物の範囲および原理内に含まれる可能性がある全ての変更でもある。
【図１】
2020532440.tif 000003
【図２】
2020532440.tif 000004
【国際調査報告】
2020532440.tif 000005