(57)【要約】  本開示は、1つまたは複数のセンサを含む装置によってサンプルを取得するためのセンサ計画の、コンピュータで実行される方法を対象とするものである。コンピュータで実行される方法は、1つまたは複数のコンピュータデバイスによって関心領域を定義するステップと、1つまたは複数のコンピュータデバイスによって、1つまたは複数のセンサに関する1つまたは複数の感知パラメータを識別するステップと、1つまたは複数のコンピュータデバイスによって、1つまたは複数の感知パラメータに少なくとも部分的に基づき、1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定するステップと、1つまたは複数のコンピュータデバイスによって、1つまたは複数のセンサを含む装置に対して、少なくともサンプリングの組合せに基づき、1つまたは複数のセンサを使用して関心領域の複数のサンプルを取得するように、1つまたは複数の命令制御信号を供給するステップとを含む。
2019536143.tif 000002
【特許請求の範囲】
【請求項１】
1つまたは複数のセンサを含む装置によってサンプルを取得するためのセンサ計画の、コンピュータで実行される方法であって、
1つまたは複数のコンピュータデバイスによって関心領域を定義するステップと、
前記1つまたは複数のコンピュータデバイスによって、前記1つまたは複数のセンサに関する1つまたは複数の感知パラメータを識別するステップと、
前記1つまたは複数のコンピュータデバイスによって、前記1つまたは複数の感知パラメータに少なくとも部分的に基づき、前記1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定するステップと、
前記1つまたは複数のコンピュータデバイスによって、前記1つまたは複数のセンサを含む前記装置に対して、少なくとも前記サンプリングの組合せに基づき、前記1つまたは複数のセンサを使用して前記関心領域の前記複数のサンプルを取得するように、1つまたは複数の命令制御信号を供給するステップとを含む、コンピュータで実行される方法。
【請求項２】
前記1つまたは複数のセンサによって取得されるべきサンプリングの組合せを決定するステップが、
1つまたは複数のコンピュータデバイスによって、少なくとも強化学習アルゴリズムに基づき、オーバラップ指数の組合せを決定するステップと、
1つまたは複数のコンピュータデバイスによって、少なくとも前記1つまたは複数のセンサによって対象として含まれる全領域、オーバラップの周囲、および前記1つまたは複数のオーバラップ指数に基づいて、1つまたは複数のサンプリングの組合せに対する評点関数を計算するステップと、
1つまたは複数のコンピュータデバイスによって、最大の評点関数に対応する前記サンプリングの組合せを選択するステップとを含む、請求項1に記載の、コンピュータで実行される方法。
【請求項３】
前記強化学習アルゴリズムが、SARSA、Q学習、およびPolicy Gradient強化学習アルゴリズムのうちの少なくとも1つを使用することを含む、請求項2に記載の、コンピュータで実行される方法。
【請求項４】
少なくとも強化学習アルゴリズムに基づいてオーバラップ指数の組合せを決定するステップが、ゼロのオーバラップ指数と非ゼロのオーバラップ指数の組合せを決定するステップを含む、請求項2に記載の、コンピュータで実行される方法。
【請求項５】
前記1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定するステップが、少なくとも評点関数に基づくものであり、前記評点関数が、対象として含まれる全領域、オーバラップの周囲、およびオーバラップ指数のうち少なくとも1つの関数である、請求項1に記載の、コンピュータで実行される方法。
【請求項６】
1つまたは複数の感知パラメータを識別するステップが、前記関心領域の少なくとも一部分の曲率および/または法線ベクトルを計算するステップを含む、請求項1に記載の、コンピュータで実行される方法。
【請求項７】
1つまたは複数の感知パラメータを識別するステップが、前記1つまたは複数のセンサによって対象として含まれる全領域を定義するステップを含む、請求項1に記載の、コンピュータで実行される方法。
【請求項８】
1つまたは複数の感知パラメータを識別するステップが、測定分解能、視界、および/または被写界深度のうち1つまたは複数を定義するステップを含む、請求項1に記載の、コンピュータで実行される方法。
【請求項９】
関心領域を定義するステップが、ポイントクラウドを受け取るステップを含む、請求項1に記載の、コンピュータで実行される方法。
【請求項１０】
関心領域を定義するステップが、前記1つまたは複数のセンサが動作する有限空間を定義するステップを含む、請求項1に記載の、コンピュータで実行される方法。
【請求項１１】
前記複数のサンプルを取得するステップが、1つまたは複数のセンサを移動するステップおよび/または前記関心領域を移動するステップを含む、請求項1に記載の、コンピュータで実行される方法。
【請求項１２】
1つまたは複数の感知パラメータを識別するステップが、前記1つまたは複数のセンサの1つまたは複数の移動を定義するステップを含む、請求項1に記載の、コンピュータで実行される方法。
【請求項１３】
前記1つまたは複数のセンサが、撮像デバイス、近接センサ、またはその組合せである、請求項1に記載の、コンピュータで実行される方法。
【請求項１４】
1つまたは複数のセンサと、1つまたは複数のプロセッサおよび1つまたは複数の記憶デバイスを備えるコンピュータデバイスとを備える、センサ計画用のロボット感知装置であって、前記1つまたは複数の記憶デバイスが命令を含み、前記命令が、前記1つまたは複数のプロセッサによって実行されたとき、前記1つまたは複数のプロセッサに動作を遂行させ、前記動作が、
関心領域を受け取ることと、
前記1つまたは複数のセンサに関する1つまたは複数の感知パラメータを受け取ることと、
前記1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定することと、
少なくとも前記サンプリングの組合せに基づき、前記1つまたは複数のセンサを使用して前記複数のサンプルを取得することとを含む、装置。
【請求項１５】
前記1つまたは複数のセンサによって取得されるべき前記関心領域のサンプリングの組合せを決定することが、
少なくとも強化学習アルゴリズムに基づいてオーバラップ指数の組合せを決定することと、
少なくとも、前記1つまたは複数のセンサによって対象として含まれる全領域、オーバラップの周囲、および前記1つまたは複数のオーバラップ指数に基づいて、1つまたは複数のサンプリングの組合せに対する評点関数を計算することと、
最大の評点関数に対応する前記サンプリングの組合せを選択することとをさらに含む、請求項14に記載の装置。
【請求項１６】
少なくとも強化学習アルゴリズムに基づいてオーバラップ指数の組合せを決定することが、SARSA、Q学習、またはPolicy Gradient強化学習アルゴリズムを使用することを含む、請求項15に記載の装置。
【請求項１７】
少なくとも強化学習アルゴリズムに基づいてオーバラップ指数の組合せを決定することが、ゼロのオーバラップ指数と非ゼロのオーバラップ指数の組合せを決定することを含む、請求項15に記載の装置。
【請求項１８】
前記複数のサンプルを取得することが、1つまたは複数のセンサを移動することおよび/または前記関心領域を移動することを含む、請求項14に記載の装置。
【請求項１９】
前記1つまたは複数のセンサが、撮像デバイス、近接センサ、またはその組合せである、請求項14に記載の装置。
【請求項２０】
センサ計画用の装置であって、
移動するロボット装置と、
前記移動するロボット装置に取り付けられた1つまたは複数のセンサと、
前記移動するロボット装置および前記1つまたは複数のセンサを動作させるように構成された1つまたは複数のコンピュータデバイスとを備える装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般にセンサ計画のロボット感知デバイスおよび方法に関するものである。
【背景技術】
【０００２】
センサ計画は、検査、測定、ならびにロボットの位置測定、ナビゲーション、または関心領域に対するマッピングにおける一般的な要件である。関心領域は、構成要素、部品、細部、組立体、あるいは地理的領域または他の2D空間もしくは3D空間などの空間領域を含み得る。加えて、検査方法および測定方法、ならびに自律性のロボット工学の一般的な要件には、関心領域の画像または測定値などのサンプルを、所望のレベルの完全性で十分詳細に取り込むセンサを採用することがある。
【０００３】
センサ計画の既知の解決策は、所望の関心領域を取り込むための、座標系、ルート、または経路などの手作業でプログラムされたセンサ計画を利用するものである。しかしながら、手作業でプログラムされたセンサ計画は、関心領域が不変かつ/または実質的に一定であることをしばしば必要とする。したがって、事前にプログラムされた計画から逸脱する関心領域は、しばしばサンプリング誤差、欠損、または他の障害をもたらす。
【０００４】
センサ計画のための別の既知の解決策には、関心領域を十分に詳細かつ所望のレベルの完全性で取り込むこと保証するために、ロボットを、大量のサンプルを取り込むようにプログラムすることが含まれ得る。しかしながら、サンプルを大量に取り込むことは、同様に高くつき、時間がかかり、非効率的な量の冗長なサンプルをもたらす。加えて、未知の予定の(nominal)関心領域、または関心領域の予定に対する変更が、同様に、所望の関心領域を取り込むことの誤差、欠損、または障害をもたらす可能性がある。
【０００５】
したがって、冗長性および時間を最小化する一方で、所望の関心領域および/または可能性として未知であるかもしくは変化している関心領域のサンプルを十分に詳細かつ完全に取り込み得るセンサ計画のロボット感知システムおよび方法が必要である。
【発明の概要】
【課題を解決するための手段】
【０００６】
本発明の態様および利点が、以下の記述において部分的に説明され、もしくは説明から明白になり得、または本発明を実践することによって学習され得る。
【０００７】
本開示は、1つまたは複数のセンサを含む装置によってサンプルを取得するためのセンサ計画の、コンピュータで実行される方法を対象とするものである。コンピュータで実行される方法は、1つまたは複数のコンピュータデバイスによって関心領域を定義するステップと、1つまたは複数のコンピュータデバイスによって、1つまたは複数のセンサに関する1つまたは複数の感知パラメータを識別するステップと、1つまたは複数のコンピュータデバイスによって、1つまたは複数の感知パラメータに少なくとも部分的に基づき、1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定するステップと、1つまたは複数のコンピュータデバイスによって、1つまたは複数のセンサを含む装置に対して、少なくともサンプリングの組合せに基づき、1つまたは複数のセンサを使用して関心領域の複数のサンプルを取得するように、1つまたは複数の命令制御信号を供給するステップとを含む。
【０００８】
本開示のさらなる態様は、センサ計画用のロボット感知装置を対象とするものである。この装置は1つまたは複数のセンサおよびコンピュータデバイスを含み、コンピュータデバイスは1つまたは複数のプロセッサおよび1つまたは複数の記憶デバイスを含む。1つまたは複数の記憶デバイスは命令を含み、命令は、1つまたは複数のプロセッサによって実行されたとき、1つまたは複数のプロセッサに動作を遂行させる。動作には、関心領域を受け取ることと、1つまたは複数のセンサに関する1つまたは複数の感知パラメータを受け取ることと、1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定することと、少なくともサンプリングの組合せに基づき、1つまたは複数のセンサを使用して複数のサンプルを取得することとが含まれる。
本開示のさらなる態様は、センサ計画用の装置を対象とするものである。この装置は、移動する(translating)ロボット装置と、移動するロボット装置に取り付けられた1つまたは複数のセンサと、移動するロボット装置および1つまたは複数のセンサを動作させるように構成された1つまたは複数のコンピュータデバイスとを含む。
【０００９】
本発明のこれらおよび他の特徴、態様および利点が、以下の説明および添付の特許請求の範囲を参照することによってよりよく理解されるであろう。本明細書に組み込まれてその一部分を構成する添付図面は、本発明の実施形態を示し、説明とともに、本発明の原理を説明するのに役立つものである。
【００１０】
本発明の、当業者を対象にする、最善の様式を含む、十分な、実施可能にする開示が、本明細書において添付図を参照しながら説明される。
【図面の簡単な説明】
【００１１】
【図１】ロボット感知装置の例示的実施形態の図である。
【図２】別のロボット感知装置の例示的実施形態の図である。
【図３】センサ計画の例示的方法を概説する流れ図である。
【図４】さらに別のロボット感知装置の例示的実施形態の図である。
【発明を実施するための形態】
【００１２】
本明細書および図面において繰り返し使用される参照文字は、本発明の同一または類似の特徴または要素を表現するように意図されている。
【００１３】
次に本発明の実施形態が詳細に参照され、1つまたは複数の例が図面に示される。それぞれの例は、本発明の限定としてではなく説明として提供されるものである。実際、本発明の範囲または精神から逸脱することなく、本発明における様々な修正形態および変形形態が作製され得ることが当業者には明らかであろう。たとえば、一実施形態の一部分として示される、または説明される機能は、さらなる実施形態をもたらすために別の実施形態とともに使用され得る。したがって、本発明は、そのような修正形態および変形形態を、添付の特許請求の範囲およびそれらの等価物の範囲内に入るように対象として含むことが意図されている。
【００１４】
本明細書で使用される「第1の」、「第2の」、および「第3の」という用語は、ある構成要素を別のものから弁別するために区別なく使用され得、個別の構成要素の位置または重要性を示すようには意図されていない。
【００１５】
冗長性および時間を最小化する一方で関心領域のサンプルを取り込み得るセンサ計画のロボット感知装置および方法が、一般に提供される。本明細書で説明される方法およびシステムは、関心領域を取り込むために得られる画像または測定値などのサンプルの量を最小化する一方で、構成要素、または組立体、または地理的領域などの関心領域のサンプルを、所望の分解能および完全性のレベルで取り込み得るステップまたは動作を含み得る。本明細書で説明されるロボット感知装置および方法の様々な実施形態は、センサ計画に関連する深層学習手法を利用し得るものである。その上、本明細書で説明されるシステムおよび方法は、関心領域を所望のレベルの完全性で取り込むために、一般に、最小の量のサンプルを自律的に計画して取り込み得るものである。
【００１６】
次に図1および図2を参照して、センサ計画用のロボット感知装置90(本明細書では「装置90」と称される)は、関心領域130のサンプルを取得する1つまたは複数のセンサ110を含む。1つまたは複数のセンサ110は、撮像デバイス、近接センサ、またはその組合せを含み得る。一実施形態では、撮像デバイスは一般にカメラを含み得る。別の実施形態では、撮像デバイスは、それだけではないが、光学コヒーレンス断層撮影などの干渉計(たとえば白色光スキャナまたは青色光スキャナ)を特に含み得る。他の実施形態では、1つまたは複数のセンサ110が含む近接センサには、一般に、電磁信号を放射し得、かつ/または取り出し得て、前記電磁信号における変化を処理し得るセンサが含まれ得る。たとえば、近接センサは、それだけではないが、容量性近接センサ、赤外線近接センサ、誘導性近接センサ、磁気近接センサ、音波または超音波の近接センサ、レーダ、LIDAR、またはレーザ距離測定器を含み得る。様々な実施形態において、1つまたは複数のセンサ110は、撮像デバイスおよび/または近接センサの組合せを含み得る。様々な実施形態において、1つまたは複数のセンサ110は、様々な分解能、角度、距離、配向、サンプリングレートすなわち測定レート、周波数などで、画像または測定値を含むサンプルを取得する。
【００１７】
一実施形態では、装置90は、移動可能なロボット装置100(本明細書では「ロボット100」と称される)を含む。ロボット100は、図1および図2に示されるようなロボットアームなどの移動可能な取付け具、または図4に示されるようなドローンなど自律性の可動輸送手段を含み得る。ロボット100、1つまたは複数のセンサ110、および/または関心領域130の移動は、それだけではないが、6軸の運動(たとえば上/下、左/右(side/side)、前/後など)、旋回、方向転換、回転、および/または運動の速度が一定もしくは可変の変位を含み得る。図1および図2に示される実施形態では、センサ110はロボット100に取り付けられてよく、ロボット100は、関心領域130に対する様々な角度または距離において関心領域130の様々な部分131へセンサ110を移動する。
【００１８】
装置90の他の実施形態では、ロボット100は、1つまたは複数のセンサ110に対して関心領域130を移動させ得る。たとえば、ロボットアームなどのロボット100は、関心領域130を1つまたは複数の固定センサ110に対して移動させ得る。ロボット100は、関心領域130を、1つまたは複数のセンサ110に対して様々な距離、角度、および/または配向に移動させ得る。
【００１９】
次に図3を参照して、センサ計画の方法300(本明細書では「方法300」と称される)の例示的実施形態のステップを概説する流れ図が全体的に与えられている。図3に示される方法300は、図1および図2に関して示されて説明された装置90によって実行され得る。方法300は、図4に関して説明されたコンピュータデバイス120など1つまたは複数のコンピュータデバイスによってさらに実行され得る。図3は、説明および議論のために特定の順番で遂行されるステップを表す。本明細書で提供された開示を利用する当業者なら、本明細書で開示された方法のうちいずれかの様々なステップが、本開示の範囲から逸脱することなく、様々なやり方で変更され、適合され、拡張され、再配置され、かつ/または省略され得ることを理解するであろう。
【００２０】
方法300は、(310)において、1つまたは複数のコンピュータデバイスによって関心領域を定義するステップと、(320)において、1つまたは複数のコンピュータデバイスによって、1つまたは複数のセンサに関する1つまたは複数の感知パラメータを識別するステップと、(330)において、1つまたは複数のコンピュータデバイスによって、1つまたは複数の感知パラメータに少なくとも部分的に基づき、1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定するステップと、(340)において、1つまたは複数のコンピュータデバイスによって、1つまたは複数のセンサを含む装置に対して、少なくともサンプリングの組合せに基づき、1つまたは複数のセンサを使用して関心領域の複数のサンプルを取得するように、1つまたは複数の命令制御信号を供給するステップとを含むことができる。
【００２１】
(310)において、方法300は関心領域を定義するステップを含み得る。一実施形態では、関心領域を定義するステップはポイントクラウドを受け取るステップを含む。ポイントクラウドを受け取るステップは、関心領域のコンピュータ支援設計(CAD)ファイルなどの画像ファイルを受け取るステップを含み得る。画像ファイルは関心領域の予定のファイルを含み得、センサからのサンプルはこれと比較して測定してよい。
【００２２】
別の実施形態では、関心領域を定義するステップは、図1、図2、および図4に示されるロボット100および/または1つまたは複数のセンサ110などのロボットおよび/または1つまたは複数のセンサが動作し得る有限空間を定義するステップを含み得る。たとえば、ロボット100が移動し得る範囲は空間的に制限されてよい。一例では、ロボット100は、ロボットアームとして、移動、伸張などの範囲において制限されてよい。別の例では、ロボット100は、ドローンとして、座標、動作範囲、または高度、速度、操縦性などの動作包絡面(operating envelope)によって地理的に制限されてよい。したがって、関心領域を定義するステップは、サンプルが得られる2Dまたは3Dの空間を定義するステップを含み得る。
【００２３】
さらに別の実施形態では、関心領域を定義するステップは、関心領域のサンプルを得るステップを含み得る。たとえば、関心領域のサンプルを得るステップは、関心領域の周囲を含めて関心領域を広く取り込むサンプルを得るステップを含み得る。関心領域を広く取り込むステップは、低分解能のサンプリング、または関心領域からかなり距離を置いたサンプリング、そうでなければ関心領域の周囲を取得して定義するための粗いサンプリングを含み得る。様々な実施形態において、関心領域を広く取り込むステップは、座標、動作範囲、動作包絡面などによって制限されるような定義された空間領域を取り込むステップを含み得る。他の実施形態では、関心領域を広く取り込むステップは、関心領域が1つまたは複数の感知パラメータによって定義され得るように、1つまたは複数のセンサの最大のサンプリング領域に依拠してよい。
【００２４】
(320)において、方法300は、1つまたは複数のセンサに関する1つまたは複数の感知パラメータを識別するステップを含む。一実施形態では、1つまたは複数の感知パラメータを識別するステップは、測定分解能、視界、および/または被写界深度のうち1つまたは複数を定義するステップを含み得る。測定分解能を定義するステップは、方位分解能、レンズ分解能、画像解像度、および/またはセンサ分解能を定義するステップを含み得る。センサ分解能を定義するステップは、センサの空間的分解能および/または時間的分解能を定義するステップを含み得る。
【００２５】
別の実施形態では、1つまたは複数の感知パラメータを識別するステップは、1つまたは複数のセンサによって対象として含まれる全領域を定義するステップを含み得る。たとえば、1つまたは複数のセンサによって対象として含まれる全領域の定義は、定義された前述の分解能のうち1つまたは複数の関数でよい。別の非限定的例として、図1、図2、および図4に関して示されて説明されたように、対象として含まれる全領域の定義は、近似的に、1つまたは複数のセンサ110によって取り込まれる関心領域130の一部分131以下でよい。一実施形態では、1つまたは複数のセンサによって対象として含まれる全領域は、定義された前述の分解能と、少なくとも所望のサンプル品質に基づく、追加のユーザ定義の制限のうち1つまたは複数との関数でよい。対象として含まれる全領域の定義は、たとえば、1つまたは複数のセンサの定義されたハードウェア能力と、少なくともユーザ定義の制限に基づく前記ハードウェア能力のサブセットとを含み得る。ユーザ定義の制限は、一般に、ユーザによって定義されるような優れた可視性の基準に基づき得る。優れた可視性の基準は、少なくとも1つまたは複数のセンサの測定分解能、視界、および/または被写界深度に基づき得る。
【００２６】
さらに別の実施形態では、(320)において、1つまたは複数の感知パラメータを識別するステップは、関心領域の少なくとも一部分の曲率および/または法線ベクトルを計算するステップを含み得る。曲率および/または法線ベクトルを計算するステップは、少なくとも、(310)において定義されたポイントクラウドまたは画像ファイルの面に基づき得る。法線ベクトルは1つまたは複数のセンサ中心を定義し得る。たとえば、図1および図2を参照して、法線ベクトルは、関心領域130の一部分131に対して、1つまたは複数のセンサ110の1つまたは複数の中心線111を定義し得る。別の非限定的な例として、法線ベクトルは、関心領域130に対するセンサ110の画角112、または関心領域130の一部分131を定義し得る。
【００２７】
方法300は、(330)において、1つまたは複数の感知パラメータに少なくとも部分的に基づき、1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定するステップを含む。サンプリングの組合せは、関心領域を取り込むステップに応じた関心領域のサンプルの組合せでよい。関心領域のサンプルの組合せは、センサおよび/または関心領域の互いに対する移動を含み得る。サンプリングの組合せは、さらに、センサおよび/または関心領域の移動に対する感知パラメータの組合せでよい。様々な実施形態において、サンプリングの組合せは、関心領域を取り込むために得られた関心領域の様々な部分のサンプルの組合せを含み得る。たとえば、図1、図2、または図4を参照して、サンプリングの組合せは、移動の特定のシーケンスおよび/または関心領域130が取り込まれるまでの関心領域130の様々な部分131における感知パラメータを含み得る。移動の特定のシーケンスおよび/または感知パラメータは、関心領域130の一部分131の取り込まれた各サンプルについて、1つまたは複数のセンサ110の関心領域130に対する距離、角度、および/または分解能を含み得る。
【００２８】
1つまたは複数のセンサによって取得されるべきサンプリングの組合せを決定するステップは、関心領域を取り込むために取得するべき最小の量のサンプルを決定するステップをさらに含み得る。一実施形態では、1つまたは複数のセンサによって取得されるべきサンプリングの組合せを決定するステップは、1つまたは複数のサンプリングの組合せ(c0, c1, ..., cr)について、少なくとも評点関数
【００２９】
【数１】
2019536143.tif 000003
【００３０】
に基づいてサンプリングの組合せを選択するステップを含み得る。対象として含まれる全領域は、少なくとも1つまたは複数の感知パラメータあるいは関心領域の一部分に基づくものである。オーバラップの周囲は、以前のサンプルの冗長な(たとえばオーバラップする)サンプルの量である。λはオーバラップ指数である。オーバラップ指数は、サンプルと以前のサンプルの間のオーバラップを助長する係数である。たとえば、λ=0はオーバラップを妨げ、大きな全領域を対象として含むサンプルを含むサンプリングの組合せを助長し得る。しかしながら、λ=0は、サンプルの間で関心領域の一部分が取り込まれないサンプリングの組合せをもたらす恐れがある。別の例として、λ>0はオーバラップを助長し、関心領域のサンプル間の部分(たとえば間隔)が取り込まれることを保証し得る。しかしながら、λ>0は、関心領域を取り込むための所与のサンプリングの組合せについて、大量のサンプルまたはセンサもしくは関心領域の移動をもたらす可能性がある。
【００３１】
別の実施形態では、1つまたは複数のセンサによって取得されるべきサンプリングの組合せを決定するステップは、(332)において、少なくとも強化学習(RL)アルゴリズムに基づいてオーバラップ指数の組合せを決定するステップと、(334)において、少なくとも、1つまたは複数のセンサによって対象として含まれる全領域、オーバラップの周囲、および1つまたは複数のオーバラップ指数に基づいて、1つまたは複数のサンプリングの組合せに対する評点関数を計算するステップと、(336)において、最大の評点関数に対応するサンプリングの組合せを選択するステップとを含み得る。
【００３２】
(332)において、方法300は、State-Action-Result-State-Action(SARSA)、Q学習、およびPolicy Gradient RLアルゴリズムのうち少なくとも1つを使用して、所望のレベルの完全性まで関心領域を取り込むことに応じて得られる関心領域のサンプルの量を最小化し得るサンプリングの組合せを出力し得るオーバラップ指数の組合せを決定するステップを含み得る。様々な実施形態において、関心領域を所望のレベルの完全性で取り込むための最小の量のサンプルを決定するために、Q学習およびPolicy Gradient RLアルゴリズムのうちの少なくとも1つが深層学習手法に関連して使用されてよい。オーバラップ指数の組合せを決定するステップは、所望のレベルの完全性まで最小の量のサンプルで関心領域を取り込む一方で最大の評価関数をもたらし得るゼロのオーバラップ指数と非ゼロのオーバラップ指数の組合せを決定するステップを含み得る。
【００３３】
(340)において、方法300は、少なくともサンプリングの組合せに基づき、1つまたは複数のセンサを使用して複数のサンプルを取得するステップを含む。一実施形態では、複数のサンプルを取得するステップは、1つまたは複数のセンサおよび/または関心領域を互いに対して移動するステップを含み得る。たとえば、図1、図2、または図4を参照して、1つまたは複数のセンサ110および/または関心領域130がロボット100に取り付けられてよく、関心領域130が所望の詳細および完全性で取り込まれるまで、関心領域130の複数の部分131においてサンプルを取り込むように移動する。別の実施形態では、方法300は、決定されたサンプリングの組合せを使用して、1つまたは複数のセンサの関心領域に対する位置、配置、設定、配向、距離などを決定するように実行されてよい。たとえば、2Dまたは3Dの空間などの定義された関心領域の内部で、決定されたサンプリングの組合せは、2Dまたは3Dの空間の内部の関心領域を所望のレベルの詳細および完全性で取り込むのに利用するセンサを最少にするようなセンサの位置、配置、および配向をもたらし得る。
【００３４】
図4は、本開示の例示的実施形態による例示の装置90を表す。装置90は、1つまたは複数のセンサ110、ロボット100、および1つまたは複数のコンピュータデバイス120を含むことができる。一実施形態では、ロボット100は、図1および図2に関連して示されたものなどのロボットアームを定義する。別の実施形態では、図4に示されたように、ロボット100は、ドローンなどの自律性の可動輸送手段を定義する。1つまたは複数のセンサ110、ロボット100、および/またはコンピュータデバイス120は、1つまたは複数のネットワーク410を通じて通信するように構成され得、ネットワーク410は、本明細書で説明されたように、通信および/またはデータ伝送のための任意の適切な有線および/または無線の通信リンクを含むことができる。たとえば、ネットワーク410は、SATCOMネットワーク、ACARSネットワーク、ARINCネットワーク、SITAネットワーク、AVICOMネットワーク、VHFネットワーク、HFネットワーク、Wi-Fiネットワーク、WiMAXネットワーク、GATELINKネットワークなどを含むことができる。
【００３５】
コンピュータデバイス120は、1つまたは複数のプロセッサ121と、1つまたは複数の記憶デバイス122とを含むことができる。1つまたは複数のプロセッサ121は、マイクロプロセッサ、マイクロコントローラ、集積回路、論理デバイス、および/または他の適切な処理デバイスなど任意の適切な処理デバイスを含むことができる。1つまたは複数の記憶デバイス122は、それだけではないが、非一時的コンピュータ可読媒体、RAM、ROM、ハードドライブ、フラッシュドライブ、ならびに/あるいは他の記憶デバイスを含んでいる1つまたは複数のコンピュータ可読媒体を含むことができる。
【００３６】
1つまたは複数の記憶デバイス122は、1つまたは複数のプロセッサ121によって実行され得るコンピュータ可読命令123を含む、1つまたは複数のプロセッサ121によってアクセス可能な情報を記憶することができる。命令123は、1つまたは複数のプロセッサ121によって実行されたとき、1つまたは複数のプロセッサ121に動作を遂行させる命令の任意の組であり得る。いくつかの実施形態では、命令123が1つまたは複数のプロセッサ121によって実行され得ることにより、1つまたは複数のプロセッサ121が、コンピュータデバイス120の構成が目的とする動作および機能、本明細書で説明されたようなセンサ計画(たとえば方法300)のための動作、関心領域を定義するかまたは受け取るための動作、1つまたは複数のセンサに関する1つまたは複数の感知パラメータを識別するかまたは受け取るための動作、1つまたは複数の感知パラメータに少なくとも部分的に基づき、1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定するための動作、少なくともサンプリングの組合せに基づき、1つまたは複数のセンサを使用して関心領域の複数のサンプルを取得するための動作、ならびに/あるいは1つまたは複数のコンピュータデバイス120の何らかの他の動作または機能などのうち、任意のものを遂行する。命令123は、任意の適切なプログラム言語で書かれたソフトウェアであり得、またはハードウェアで実行され得る。それに加えて、またはその代わりに、命令123は、論理的に、かつ/またはプロセッサ121上の実質的に個別のスレッドで実行され得る。記憶デバイス122は、プロセッサ121によってアクセスされ得るデータ124をさらに記憶することができる。たとえば、データ124は、サンプル、サンプリングの組合せ、感知パラメータ、定義された関心領域、評点関数、RLアルゴリズム、オーバラップ指数の組合せ、ならびに/あるいは本明細書で説明された何らかの他のデータおよび/または情報のうち1つまたは複数を含むことができる。
【００３７】
コンピュータデバイス120は、たとえば装置90の他の構成要素と(たとえばネットワーク410を通じて)通信するのに使用されるネットワークインターフェース125も含むことができる。ネットワークインターフェース125は、1つまたは複数のネットワークとインターフェースをとるために、たとえば送信器、受信器、ポート、コントローラ、アンテナ、および/または他の適切な構成要素を含めて任意の適切な構成要素を含むことができる。
【００３８】
本明細書で論じられた技術は、コンピュータベースのシステムおよびそのアクション、ならびにコンピュータベースのシステムとの間でやり取りされる情報を参照している。当業者なら、コンピュータベースのシステムの本来の柔軟性により、多種多様な可能性のある構成、組合せ、ならびに構成要素の間のタスクおよび機能の分割が可能になることを認識するであろう。たとえば、本明細書で論じられたプロセスは、単一のコンピュータデバイスまたは組み合わせて作動する複数のコンピュータデバイスを使用して実行され得る。データベース、記憶装置、命令、およびアプリケーションは、単一システム上で実行され得、または複数のシステムにわたって分散し得る。分散したコンポーネントは、順次に動作することができ、または並行して動作することができる。
【００３９】
この書かれた説明は、最善の様式を含む本発明を開示するため、また、あらゆる当業者が任意のデバイスまたはシステムを作製したり使用したりすること、ならびに任意の組み込まれた方法を遂行することを含めて本発明を実施することも可能にするために、例を使用している。本発明の特許の範囲は特許請求の範囲によって定義され、当業者が想到する他の例を含み得る。そのような他の例は、特許請求の範囲の文言と異ならない構造要素を含む場合、または特許請求の範囲の文言との実質的な相違がない等価な構造要素を含む場合には、特許請求の範囲に含まれるように意図されている。
【符号の説明】
【００４０】
90  ロボット感知装置
100  ロボット装置
110  センサ
120  コンピュータデバイス
121  プロセッサ
122  記憶デバイス
123  コンピュータ可読命令
124  データ
125  ネットワークインターフェース
130  関心領域
131  関心領域130の一部分
300  方法
410  ネットワーク
【図１】
2019536143.tif 000004
【図２】
2019536143.tif 000005
【図３】
2019536143.tif 000006
【図４】
2019536143.tif 000007
【手続補正書】
【提出日】令和1年6月13日(2019.6.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
1つまたは複数のセンサ(110)を含む装置(90)によってサンプルを取得するためのセンサ計画の、コンピュータで実行される方法(300)であって、
1つまたは複数のコンピュータデバイス(120)によって関心領域(130)を定義するステップ(310)と、
前記1つまたは複数のコンピュータデバイス(120)によって、前記1つまたは複数のセンサ(110)に関する1つまたは複数の感知パラメータを識別するステップ(320)と、
前記1つまたは複数のコンピュータデバイス(120)によって、前記1つまたは複数の感知パラメータに少なくとも部分的に基づき、前記1つまたは複数のセンサ(110)によって複数のサンプルを取得するためのサンプリングの組合せを決定するステップ(330)と、
前記1つまたは複数のコンピュータデバイス(120)によって、前記1つまたは複数のセンサ(110)を含む前記装置(90)に対して、少なくとも前記サンプリングの組合せに基づき、前記1つまたは複数のセンサ(110)を使用して前記関心領域(130)の前記複数のサンプルを取得するように、1つまたは複数の命令制御信号を供給するステップ(340)とを含む、コンピュータで実行される方法(300)。
【請求項２】
前記1つまたは複数のセンサ(110)によって取得されるべきサンプリングの組合せを決定するステップが、
1つまたは複数のコンピュータデバイス(120)によって、少なくとも強化学習アルゴリズムに基づき、オーバラップ指数の組合せを決定するステップ(332)と、
1つまたは複数のコンピュータデバイス(120)によって、少なくとも前記1つまたは複数のセンサ(110)によって対象として含まれる全領域、オーバラップの周囲、および前記1つまたは複数のオーバラップ指数に基づいて、1つまたは複数のサンプリングの組合せに対する評点関数を計算するステップ(334)と、
1つまたは複数のコンピュータデバイス(120)によって、最大の評点関数に対応する前記サンプリングの組合せを選択するステップ(336)とを含む、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項３】
前記強化学習アルゴリズムが、SARSA、Q学習、およびPolicy Gradient強化学習アルゴリズムのうちの少なくとも1つを使用することを含む、請求項2に記載の、コンピュータで実行される方法(300)。
【請求項４】
少なくとも強化学習アルゴリズムに基づいてオーバラップ指数の組合せを決定するステップが、ゼロのオーバラップ指数と非ゼロのオーバラップ指数の組合せを決定するステップを含む、請求項2に記載の、コンピュータで実行される方法(300)。
【請求項５】
前記1つまたは複数のセンサ(110)によって複数のサンプルを取得するためのサンプリングの組合せを決定するステップが、少なくとも評点関数に基づくものであり、前記評点関数が、対象として含まれる全領域、オーバラップの周囲、およびオーバラップ指数のうち少なくとも1つの関数である、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項６】
1つまたは複数の感知パラメータを識別するステップが、前記関心領域(130)の少なくとも一部分(131)の曲率および/または法線ベクトルを計算するステップを含む、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項７】
1つまたは複数の感知パラメータを識別するステップが、前記1つまたは複数のセンサ(110)によって対象として含まれる全領域を定義するステップを含む、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項８】
1つまたは複数の感知パラメータを識別するステップが、測定分解能、視界、および/または被写界深度のうち1つまたは複数を定義するステップを含む、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項９】
関心領域を定義するステップが、ポイントクラウドを受け取るステップを含む、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項１０】
関心領域(130)を定義するステップが、前記1つまたは複数のセンサ(110)が動作する有限空間を定義するステップを含む、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項１１】
前記複数のサンプルを取得するステップが、1つまたは複数のセンサ(110)を移動するステップおよび/または前記関心領域(130)を移動するステップを含む、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項１２】
1つまたは複数の感知パラメータを識別するステップが、前記1つまたは複数のセンサ(110)の1つまたは複数の移動を定義するステップを含む、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項１３】
前記1つまたは複数のセンサ(110)が、撮像デバイス、近接センサ、またはその組合せである、請求項1に記載の、コンピュータで実行される方法(300)。
【請求項１４】
1つまたは複数のセンサ(110)と、1つまたは複数のプロセッサ(121)および1つまたは複数の記憶デバイス(122)を備えるコンピュータデバイス(120)とを備える、センサ計画用のロボット感知装置(90)であって、前記1つまたは複数の記憶デバイス(122)が命令(123)を含み、前記命令(123)が、前記1つまたは複数のプロセッサ(121)によって実行されたとき、前記1つまたは複数のプロセッサ(121)に動作を遂行させ、前記動作が、
関心領域を受け取ることと、
前記1つまたは複数のセンサに関する1つまたは複数の感知パラメータを受け取ることと、
前記1つまたは複数のセンサによって複数のサンプルを取得するためのサンプリングの組合せを決定することと、
少なくとも前記サンプリングの組合せに基づき、前記1つまたは複数のセンサを使用して前記複数のサンプルを取得することとを含む、装置(90)。
【請求項１５】
前記1つまたは複数のセンサ(110)によって取得されるべき前記関心領域のサンプリングの組合せを決定することが、
少なくとも強化学習アルゴリズムに基づいてオーバラップ指数の組合せを決定することであって、ゼロのオーバラップ指数と非ゼロのオーバラップ指数の組合せを決定することを含む、決定することと、
少なくとも、前記1つまたは複数のセンサによって対象として含まれる全領域、オーバラップの周囲、および前記1つまたは複数のオーバラップ指数に基づいて、1つまたは複数のサンプリングの組合せに対する評点関数を計算することと、
最大の評点関数に対応する前記サンプリングの組合せを選択することとをさらに含む、請求項14に記載の装置(90)。
【国際調査報告】
2019536143.tif 000008
2019536143.tif 000009
2019536143.tif 000010