(57)【要約】  方法およびシステムデバイスは、レーダ信号、赤外線信号、光信号、音声信号、および他の信号のうちの１つ以上から情報を取得することによって、固有の物体識別プロセスを提供する。方法は、デバイスにおいて物体データを継続的に受信することと、機械学習システムによって、パラメータのセットを適用して物体識別および信頼水準を処理することと、物体識別、信頼水準、および実施可能推奨事項を出力または更新することと、を含む。レーダデータは、レーダシステムのサンプリングレートに起因して、ラップされた信号を有するドップラーシグネチャを含む。ドップラーシグネチャを使用して機械学習システムを訓練して、ドローンタイプを識別する。【選択図】図１
2022502663.tif 000002
【特許請求の範囲】
【請求項１】
デバイスから物体にレーダ信号を送信することであって、前記物体が、少なくとも１つの回転翼を備える、送信することと、
前記デバイスにおいて、前記物体からの反射レーダ信号を受信することであって、前記反射レーダ信号が、前記少なくとも１つの回転翼の移動によって引き起こされるドップラーシグネチャを含む、受信することと、
機械学習アルゴリズムによって、前記物体によって搬送されているペイロードを、前記反射レーダ信号、前記物体と関連付けられた音声信号、前記物体と関連付けられた赤外線信号、および前記物体と関連付けられた光信号のうちの１つ以上に基づいて判定して、ペイロード分類を生じさせることであって、前記機械学習アルゴリズムが、ラベル付けされたペイロードを利用して訓練される、生じさせることと、を含む、方法。
【請求項２】
前記レーダ信号が、３０ＭＨｚ〜３００ＧＨｚの周波数を含む、請求項１に記載の方法。
【請求項３】
前記デバイスにおいて、前記物体と関連付けられた前記赤外線信号を受信することと、
前記機械学習アルゴリズムを前記反射レーダ信号および前記赤外線信号に適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされた赤外線信号を利用して訓練される、分類することと、をさらに含む、請求項１に記載の方法。
【請求項４】
前記デバイスにおいて、前記物体と関連付けられた前記音声信号を受信することと、
前記機械学習アルゴリズムを前記反射レーダ信号および前記音声信号に適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされた音声信号を利用して訓練される、分類することと、をさらに含む、請求項１に記載の方法。
【請求項５】
前記デバイスにおいて、前記物体と関連付けられた前記光信号を受信することと、
前記機械学習アルゴリズムを前記反射レーダ信号および前記光信号に適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされた光信号を利用して訓練される、分類することと、をさらに含む、請求項１に記載の方法。
【請求項６】
前記デバイスにおいて、前記物体と関連付けられた前記音声信号を受信することと、
前記デバイスにおいて、前記物体と関連付けられた前記赤外線信号を受信することと、
前記デバイスにおいて、前記物体と関連付けられた前記光信号を受信することと、
前記機械学習アルゴリズムを前記反射レーダ信号、前記赤外線信号、前記音声信号、および前記光信号に適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされた音声信号、ラベル付けされた赤外線信号、およびラベル付けされた光信号を利用して訓練される、分類することと、をさらに含む、請求項１に記載の方法。
【請求項７】
前記機械学習アルゴリズムによって、前記反射レーダ信号、前記物体と関連付けられた前記音声信号、前記物体と関連付けられた前記赤外線信号、および前記物体と関連付けられた前記光信号のうちの１つ以上に基づいて、前記物体と関連付けられた移動パターンを判定することと、
前記機械学習アルゴリズムを前記移動パターンに適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされた移動パターンを利用して訓練される、分類することと、をさらに含む、請求項１に記載の方法。
【請求項８】
前記移動パターンが、飛行物体のパターンまたは地上の物体の移動のパターンのうちの１つを含む、請求項７に記載の方法。
【請求項９】
前記移動パターンが、物体のグループと関連付けられた移動パターンに少なくとも部分的に基づいている、請求項７に記載の方法。
【請求項１０】
前記機械学習アルゴリズムを前記反射レーダ信号に適用して分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、複数の物体の各々についてそれぞれのドップラーシグネチャを利用してさらに訓練され、前記複数の物体のそれぞれの各物体が、それぞれの回転翼を有する、分類することをさらに含む、請求項１に記載の方法。
【請求項１１】
前記ペイロード分類に基づいて、航空車両のスケジューリングおよびルーティングモジュールに命令を送信することをさらに含む、請求項１に記載の方法。
【請求項１２】
前記ペイロード分類に基づいて、前記物体と係合するように航空車両を展開することをさらに含む、請求項１に記載の方法。
【請求項１３】
前記物体が、地上の物体または飛行物体のうちの１つを含む、請求項１に記載の方法。
【請求項１４】
プロセッサと、
命令が記憶されたコンピュータ可読記憶媒体とを備えるシステムであって、前記命令が、前記プロセッサによって実行されるとき、前記プロセッサに、
デバイスから物体にレーダ信号を送信することと、
前記デバイスにおいて、前記物体からの反射レーダ信号を受信することであって、前記反射レーダ信号が、前記物体と関連付けられたドップラーシグネチャを含む、受信することと、
機械学習アルゴリズムを、前記反射レーダ信号、前記物体と関連付けられた音声信号、前記物体と関連付けられた赤外線信号、および前記物体と関連付けられた光信号のうちの１つ以上に適用してペイロード分類を生じさせることによって、前記物体によって搬送されるペイロードを分類することであって、前記機械学習アルゴリズムが、ラベル付けされたペイロードを利用して訓練される、分類することと、を含む動作を実施させる、システム。
【請求項１５】
前記コンピュータ可読記憶媒体が、追加の命令を記憶し、前記追加の命令が、前記プロセッサによって実行されるとき、前記プロセッサに、
前記デバイスにおいて、前記物体と関連付けられた前記赤外線信号を受信することと、
前記機械学習アルゴリズムを前記反射レーダ信号および前記赤外線信号に適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされた赤外線信号を利用して訓練される、分類することと、をさらに含む動作を実施させる、請求項１４に記載のシステム。
【請求項１６】
前記コンピュータ可読記憶媒体が、追加の命令を記憶し、前記追加の命令が、前記プロセッサによって実行されるとき、前記プロセッサに、
前記デバイスにおいて、前記物体と関連付けられた前記音声信号を受信することと、
前記機械学習アルゴリズムを前記反射レーダ信号および前記音声信号に適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされた音声信号を利用して訓練される、分類することと、をさらに含む動作を実施させる、請求項１４に記載のシステム。
【請求項１７】
前記コンピュータ可読記憶媒体が、追加の命令を記憶し、前記追加の命令が、前記プロセッサによって実行されるとき、前記プロセッサに、
前記デバイスにおいて、前記物体と関連付けられた前記光信号を受信することと、
前記機械学習アルゴリズムを前記反射レーダ信号および前記光信号に適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされた光信号を利用して訓練される、分類することと、をさらに含む動作を実施させる、請求項１４に記載のシステム。
【請求項１８】
前記コンピュータ可読記憶媒体が、追加の命令を記憶し、前記追加の命令が、前記プロセッサによって実行されるとき、前記プロセッサに、
前記デバイスにおいて、前記物体と関連付けられた前記音声信号を受信することと、
前記デバイスにおいて、前記物体と関連付けられた前記赤外線信号を受信することと、
前記デバイスにおいて、前記物体と関連付けられた前記光信号を受信することと、
前記機械学習アルゴリズムを前記反射レーダ信号、前記音声信号、前記赤外線信号、および前記光信号に適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされたレーダ信号、ラベル付けされた音声信号、ラベル付けされた赤外線信号、およびラベル付けされた光信号を利用して訓練される、分類することと、をさらに含む動作を実施させる、請求項１４に記載のシステム。
【請求項１９】
前記コンピュータ可読記憶媒体が、追加の命令を記憶し、前記追加の命令が、前記プロセッサによって実行されるとき、前記プロセッサに、
前記機械学習アルゴリズムによって、前記物体と関連付けられた前記反射レーダ信号、前記物体と関連付けられた前記音声信号、前記物体と関連付けられた前記赤外線信号、および前記物体と関連付けられた前記光信号のうちの１つ以上に基づいて、前記物体と関連付けられた移動パターンを判定することと、
前記機械学習アルゴリズムを前記移動パターンに適用して前記分類を生じさせることによって前記物体を分類することであって、前記機械学習アルゴリズムが、ラベル付けされた移動パターンを利用して訓練される、分類することと、をさらに含む動作を実施させる、請求項１４に記載のシステム。
【請求項２０】
レーダ信号を送信し、かつ物体からの反射レーダ信号を受信するレーダコンポーネントであって、前記反射レーダ信号が、少なくとも前記物体のドップラーシグネチャを含む、レーダコンポーネントと、
前記物体からの放出赤外線信号を受信する赤外線受信コンポーネントと、
前記物体によって生成された可聴信号を受信するマイクロホンと、
前記物体と関連付けられた光信号を受信するカメラと、
前記反射レーダ信号、前記放出赤外線信号、前記可聴信号、または前記光信号のうちの１つ以上を含む１つ以上の信号を受信し、かつ前記１つ以上の信号を利用して、前記物体によって搬送されているペイロードの分類を生じさせる機械学習モジュールと、を備える、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
優先権
本出願は、２０１８年１０月２日に出願された米国仮出願第６２／７３９，９７３号に対する優先権を主張する２０１９年１０月１日に出願された米国非仮出願第１６／５８９，６７８号に対する優先権を主張し、その内容は、参照によりそれらの全体が本明細書に組み込まれる。
【０００２】
本開示は、人工知能および／または機械学習と結合されたレーダ信号、赤外線信号、光信号、音声、および他の技術のうちの１つ以上の使用による物体分類に関する。ドローンのシナリオでは、レーダ信号は、ドローンの回転翼の移動と関連付けられたドップラーシグネチャを生成するようになっており、分類プロセスは、異なるドローンタイプ、さらには特有のドローンと関連付けられたドップラーシグネチャで訓練された機械学習アルゴリズムを利用する。
【背景技術】
【０００３】
ドローン技術は半世紀前から存在するが、高い生産コストおよびより旧式の技術により、大型でかさばるドローンの所有者は限られ、ほとんどが軍事団体または特別な関心のある団体の所有者で占められていた。ドローン技術の進歩により、ドローンの価格およびサイズが低減され、最終的に個々の消費者がより容易に入手可能になった。消費者ドローンの増加に伴い、プライバシーおよびセキュリティ問題に関する問題が表面化し始めた。
【０００４】
多くの消費者ドローンは、明るいライトを含み、消費者ドローンが観測者から至近距離にあるときには、大きな騒音を伴う。しかしながら、消費者ドローンが観測者から遠ざかるにつれて、音が小さくなり、かつドローンの姿形が消えていくため、消費者ドローンは、目立たなくなる。昼間は、ライトでさえ、空中の物体がドローンであるか、または鳥であるかを解読するのにほとんど役立たない。
【０００５】
敵対的または回避的なドローンは、可能な限り検出できない状態にするために、百戦錬磨でドローン識別特性を最小限に抑えるか、または排除する。多くのドローンは、ペイロードを搬送および展開することができる。速い製品配送方法を提供することができるなど、多くの肯定的な用途があるが、爆発物または有害な化学物質を搬送および展開するなどの、他の敵対的な用途も存在する。ドローンと鳥との区別がつかないことは、政府、イベントプランナ、または任意の土地所有者にとって大きな問題となり得る。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上で概説した問題は、特に、ドローンが敵対的な操舵を呈しているか、または検出を回避している場合、ドローンまたは飛行物体を適切に識別するかまたは分類する必要性を強調する。提示された解決策は、これまで可能ではなかった方法で物体を分類することができるように、物体と関連付けられた１つ以上の信号を受信するために、機械学習アルゴリズムを含むいくつかの異なる機構を導入する。さらに、鳥からの誤警報を回避すること、空中の他のアイテムから一意にドローンを検出すること、空中の他のアイテムから一意に有人サイズの航空機を検出すること、物体を追跡すること、ならびに特定のクラスのドローン、およびさらにはあるのクラスのドローン内の特有のドローンを検出することなどの問題に対処することが重要である。
【課題を解決するための手段】
【０００７】
１つの例示的な方法は、デバイスから物体にレーダ信号を送信することを含む。レーダ周波数は、通常、３０ＭＨｚ〜３００ＧＨｚである。デバイスによって受信された反射レーダ信号は、デバイスが物体を分類することを可能にするように処理される。このことは、反射信号に機械学習アルゴリズムを適用することによって行われ、この場合に、機械学習アルゴリズムは、以前に識別されたレーダデータを使用することによって訓練される。本開示の一態様は、ドローンは、ドローンのプロペラ翼のサイズ、速さ、および構造、ならびに他のドローンの物理的特性に対応する特定のドップラー特性を有するレーダシグネチャを反映する、という事実に関する。ドップラーシグネチャは、システムによる信号のサンプリングに基づいて反射信号のグラフィカルビューに拡散またはラップする特定の特性を有する。特有の物体に対するこのようなシグネチャを使用して機械学習アルゴリズムを訓練して、特定のクラスのドローン、またはさらには特有のドローンを認識することができる。さらに、ドップラーシグネチャを評価して、ドローンによって搬送される積荷を判定または推測することもできる。例えば、システムがドローンのプロペラ特性で訓練される場合、プロペラは、重い積荷または積荷の存在を示し得る、想定されるよりも高レートで、負荷状態にあり得る。このタイプのデータを評価して、ドローンタイプ、積荷の存在、積荷の重量、特有のドローンのシグネチャなどのデータを判定することができる。
【０００８】
物体と関連付けられた他のデータも、分類目的のために使用することができる。例えば、方法は、反射レーダ信号を物体の赤外線信号と組み合わせて使用して、物体を分類することを含むことができる。赤外線周波数は、典型的には、７００ｎｍ〜１ｍｍである。分類のために信号タイプの組み合わせを使用することは、機械学習アルゴリズムを反射レーダ信号および赤外線信号に適用することによって達成され、この場合に、機械学習アルゴリズムは、以前に識別およびラベル付けされた赤外線信号を使用して訓練される。物体はまた、本明細書に開示されるように、受信された他のデータと関連して物体を確認または識別するために使用することができる識別信号も送信することができる。
【０００９】
別の例示的な方法は、物体を分類するために、反射レーダ信号（ドップラーシグネチャ）、および物体によって作り出された音声信号を使用することを含む。このことは、機械学習アルゴリズムを反射レーダ信号および音声信号に適用することによって行われ、この場合に、機械学習アルゴリズムは、ドローン翼の移動およびサイズ特性に基づく信号の拡散特性に基づくことを含めて、以前に識別および分類された音声信号を使用することによって訓練される。訓練は、音声信号のドップラー特性も含むことができる。
【００１０】
別の例示的な方法は、反射レーダ信号（ドップラーシグネチャ）および物体の光信号を使用して物体を分類することを含む。このことは、機械学習アルゴリズムを反射レーダ信号および光信号に適用することによって行われ、この場合に、機械学習アルゴリズムは、以前に識別およびラベル付けされた光信号を使用することによって訓練される。
【００１１】
別の例示的な方法は、反射レーダ信号（ドップラーシグネチャ）および音声信号、赤外線信号、ならびに物体によって作り出されるか、または物体と関連付けられた光信号を使用して、物体を分類することを含む。このことは、機械学習アルゴリズムを、反射レーダ信号、音声信号、赤外線信号、および光信号に適用することによって達成され、この場合に、機械学習アルゴリズムは、以前に識別および分類された音声信号、赤外線信号、および光信号を使用することによって訓練される。システムは、分類決定を行うときに様々な信号の融合を適用することができる。異なる機械学習アルゴリズム、または同じ機械学習アルゴリズムの異なるバージョンは、信号タイプの特定のセットがシステムによって受信され、かつこれらが、物体の分類のために評価されるために利用可能であるときに、適用することができる。
【００１２】
代替的に、機械学習アルゴリズムは、物体と関連付けられた移動パターンを、反射レーダ信号、物体と関連付けられた音声信号、物体と関連付けられた赤外線信号、および物体と関連付けられた光信号のうちの１つ以上と組み合わせて使用して、物体を分類することができる。移動パターンは、飛行物体または地上の物体に関連することができ、物体自体または物体のグループの移動パターンのみを含むことができる。他の場合と同様に、様々な物体の以前にラベル付けされた移動パターンを使用すれば、機械学習アルゴリズムは、訓練されるであろう。
【００１３】
別の実施例では、追跡エンジンまたは追跡アルゴリズムは、物体を識別し、物体の移動を追跡することができる。この場合に、２つの物体が追跡されているとすると、移動する第１の物体と関連付けられた第１のドップラーシグネチャが、第２の物体のドップラーシグネチャと重複し得るか、または干渉し得る。他の物体に対して物体を追跡するか、滅するか、またはフィルタリングする際に使用するための固有の識別コードまたは番号を各物体に割り当てることができる。システムはまた、重複するシグネチャが第２の物体のドップラーシグネチャから除去され得るように、第１の物体のドップラーシグネチャと関連付けられたデータを利用することができるフィルタを含むことができる。結果として、システムは、第２の物体のより正確な分類を生成することができる。
【００１４】
別の例示的な方法は、機械学習アルゴリズムの使用を通じて、反射レーダ信号（ドップラーシグネチャ）、物体と関連付けられた音声信号、物体と関連付けられた赤外線信号、または物体と関連付けられた光信号のいずれか１つ、またはいずれかのうちの１つ以上の組み合わせに基づいて、物体が搬送しているもの、または物体が搬送しているかどうかを分類することを含む。機械学習アルゴリズムは、以前にラベル付けされたペイロードを利用して訓練され得る。物体がペイロードを搬送しているかどうかの分類は、ペイロードを伴わないドローンの回転翼の移動からのペイロードの存在に起因して、ドローンの回転翼の移動が、より重い負荷状態になっているか、または異なることを示すことができるドップラーシグネチャの分析を介して行われ得る。
【００１５】
物体を分類することに対する異なる用途がある。１つの用途は、物体の分類に基づいて、航空車両のスケジューリングおよびルーティングモジュールに命令を送信することを含み得る。代替的に、物体と係合するための航空車両に命令を与えることができ、物体は、地上の物体または飛行物体のいずれかである。
【００１６】
１つの例示的なシステムは、プロセッサと、命令が記憶されたコンピュータ可読記憶媒体と、を含む。命令がプロセッサによって実行されるとき、プロセッサは、デバイスから物体にレーダ信号を送信することと、物体から反射されて戻る信号を受信することと、機械学習アルゴリズムを反射レーダ信号またはドップラーシグネチャに適用することによって物体を分類することと、を含む異なる動作を実施する。システムは、ドローンであり得、ドローンに取り付けられた移動式レーダシステムを有する。その結果は、反射レーダ信号情報で訓練された機械学習アルゴリズムを通じた物体の分類である。機械学習アルゴリズムは、特有のタイプのドローンと関連付けられたドップラーシグネチャ、およびさらには特有のドローンのドップラーシグネチャなどのデータで訓練することができる。例えば、特有のドローンが損傷したプロペラ翼を有するとすれば、その特有のドローンは、その特有のドローンを識別するために使用することができる固有のドップラーシグネチャを引き起こすであろう。
【００１７】
追加的に、プロセッサによって実行される命令は、物体と関連付けられた赤外線信号を受信することと、機械学習アルゴリズムを反射信号および赤外線信号に適用することによって物体を分類することと、を必要とし得る。このシナリオの結果は、ラベル付けされた赤外線信号を使用して訓練された機械学習アルゴリズムを使用した分類である。
【００１８】
プロセッサによって実行される命令はまた、プロセッサが、物体と関連付けられた音声信号をデバイスにおいて受信することを引き起こし得る。機械学習アルゴリズムを反射レーダ信号および音声信号に適用することはまた、ラベル付けされた音声信号を利用して機械学習アルゴリズムを訓練することができるため、分類をもたらすことができる。
【００１９】
加えて、１つの例示的なシステムは、物体と関連付けられた光信号を受信し、かつ訓練された機械学習アルゴリズムを使用して物体を分類するようにプロセッサによって実行される命令を含み得る。
【００２０】
例示的なシステムは、プロセッサによって実行される命令の組み合わせを利用することができる。命令は、デバイスが、音声信号、赤外線信号、および光信号を受信することと、訓練された機械学習アルゴリズムを、反射レーダ信号、音声信号、赤外線信号、および光信号に適用することによって物体を分類することと、を含むことができる。
【００２１】
１つのシステム例は、訓練された機械学習アルゴリズムによって、物体の反射レーダ信号、音声信号、赤外線信号、および／または光信号のうちの１つまたは組み合わせに基づいて、物体と関連付けられた移動パターンを判定することを含む動作を実施するようにプロセッサによって実行される命令を含み得る。訓練された機械学習アルゴリズムは、様々な移動パターンに関連するデータの使用を通じて物体を分類することができる。加えて、システムは、別の物体のドップラーシグネチャと干渉している、物体と関連付けられたドップラーシグネチャをフィルタリング除去することができる。したがって、分類プロセスは、それぞれのドップラーシグネチャのより明確な解釈をより高い信頼水準で提供することができるように、物体を追跡することに基づいてデータを識別するフィルタリングプロセスを含むことができる。
【００２２】
機械学習アルゴリズムは、本明細書に開示されるシステムを通じて利用可能である様々な種類の信号の任意の組み合わせの融合で訓練することができる。分類決定は、異なるタイプの信号の訓練および使用に基づいて改善される。
【００２３】
最後に、例示的なシステムは、レーダ信号を送信し、かつ物体からの反射レーダ信号またはドップラーシグネチャを受信するレーダコンポーネントと、物体からの放出赤外線信号を受信する赤外線レセプタと、物体によって生成された可聴信号を受信するマイクロホンと、物体の光信号を受信するカメラと、を含むことができる。機械学習モジュールは、反射レーダ信号、放出赤外線信号、または関連付けられた光信号のいずれかのうちの１つ以上を受信することができ、この情報を利用して移動物体を分類する。
【００２４】
続く説明において、本開示の追加の特徴および利点を述べ、一部は、説明から明らかであるか、または本明細書に開示される原理の実践により知得できる。本開示の特徴および利点は、別添の特許請求の範囲で特に指摘される器具および組み合わせによって実現および取得することができる。本開示のこれらおよび他の特徴は、以下の説明および別添の特許請求の範囲からより完全に明らかになるか、または本明細書で述べる原理の実践によって知得することができる。
【図面の簡単な説明】
【００２５】
【図１】例示的なシステムの実施形態を例示している。
【図２】物体情報を受信し、かつ出力パラメータを生成する例示的な物体識別モデルを例示している。
【図３】信号分析プロセスの例示的なフローを例示している。
【図４】物体識別プロセスの例示的なフローを例示している。
【図５Ａ】機械学習を使用して信号データを処理するための例示的なフローを例示している。
【図５Ｂ】いくつかの物体と関連付けられたレーダシグネチャを例示している。
【図６】物体情報を使用する機械学習の例示的な使用を例示している。
【図７】集約情報を使用する機械学習の例示的な使用を例示している。
【図８】物体を空中の鳥と区別するために機械学習を使用する例を例示している。
【図９】物体を分類する例示的な方法を例示している。
【図１０】例示的な方法の実施形態を例示している。
【図１１】レーダから物体までの物体距離の分類に基づいて異なるタイプの信号を使用する例を例示している。
【図１２】信頼水準の決定を行う例示的なフローを例示している。
【図１３】例示的な方法の実施形態を例示している。
【発明を実施するための形態】
【００２６】
本開示の様々な実施形態が、以下で詳細に論じられる。具体的な実装形態が論じられるが、これは例示目的のみのために行われることを理解されたい。他の構成要素および構成が、本開示の趣旨および範囲から逸脱することなく使用され得る。本開示は、ここで図１に移る。
【００２７】
図１を参照すると、例示的なシステムおよび／またはコンピューティングデバイス１００は、処理ユニット（ＣＰＵまたはプロセッサ）１２０と、読み取り専用メモリ（ＲＯＭ）１４０およびランダムアクセスメモリ（ＲＡＭ）１５０などのシステムメモリ１３０を含む様々なシステムコンポーネントをプロセッサ１２０に結合するシステムバス１１０と、を含む。システム１００は、プロセッサ１２０と直接接続された、プロセッサ１２０に極近接した、またはプロセッサ１２０の一部として集積された、高速メモリのキャッシュ１２２を含むことができる。システム１００は、プロセッサ１２０による速いアクセスのために、メモリ１３０および／または記憶デバイス１６０からキャッシュ１２２にデータをコピーする。このようにして、キャッシュは、データを待つ間にプロセッサ１２０の遅延を回避するパフォーマンスブーストを提供する。これらおよび他のモジュールは、プロセッサ１２０を、様々な行動を実施するように制御することができるか、または制御するように構成できる。他のシステムメモリ１３０もまた、使用のために利用可能であり得る。メモリ１３０は、異なる性能特性を有する複数の異なるタイプのメモリを含むことができる。本開示が、２つ以上のプロセッサ１２０を有するコンピューティングデバイス１００上で、またはより大きな処理能力を提供するために全体としてネットワーク化されたコンピューティングデバイスのグループもしくはクラスタ上で動作し得ることは、理解することができる。プロセッサ１２０は、任意の汎用プロセッサ、プロセッサ１２０を制御するように構成された記憶デバイス１６０に記憶されたモジュール１  １６２、モジュール２  １６４、およびモジュール３  １６６などのハードウェアモジュールまたはソフトウェアモジュール、ならびにソフトウェア命令がプロセッサに組み込まれた専用プロセッサ、を含むことができる。プロセッサ１２０は、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを包含する、自己完結型コンピューティングシステムであり得る。マルチコアプロセッサは、対称型または非対称型であり得る。
【００２８】
システムバス１１０は、多様なバスアーキテクチャのいずれかを使用する、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む、いくつかのタイプのバス構造のいずれかであり得る。ＲＯＭ１４０などに記憶された基本入力／出力（ＢＩＯＳ）は、起動中など、コンピューティングデバイス１００内の要素間で情報を転送するのに役立つ基本ルーチンを提供し得る。コンピューティングデバイス１００は、ハードディスクドライブ、磁気ディスクドライブ、光ディスクドライブ、テープドライブなどの記憶デバイス１６０をさらに含む。記憶デバイス１６０は、プロセッサ１２０を制御するためのソフトウェアモジュール１６２、１６４、１６６を含むことができる。システム１００は、他のハードウェアモジュールまたはソフトウェアモジュールを含むことができる。記憶デバイス１６０は、駆動インターフェースによってシステムバス１１０に接続されている。ドライブおよび関連付けられたコンピュータ可読記憶媒体は、コンピュータ可読命令、データ構造、プログラムモジュール、およびコンピューティングデバイス１００のための他のデータの不揮発性ストレージを提供する。一態様では、特定の機能を実施するハードウェアモジュールは、特定の機能を実行するために、プロセッサ１２０、バス１１０、ディスプレイ１７０などの必要なハードウェアコンポーネントに関連した有形のコンピュータ可読記憶媒体に記憶されたソフトウェアコンポーネントを含む。別の態様では、システムは、プロセッサおよびコンピュータ可読記憶媒体を使用して、命令を記憶することができ、命令は、プロセッサによって実行されると、プロセッサに、方法または他の特有の行動を実施させる。基本構成要素および適切な変形例は、デバイス１００が、小型のハンドヘルドコンピューティングデバイス、デスクトップコンピュータ、またはコンピュータサーバであるかどうかなどの、デバイスのタイプに応じて修正することができる。
【００２９】
本明細書に記載される例示的な実施形態（複数可）はハードディスク１６０を採用するが、例示的な動作環境では、磁気カセット、フラッシュメモリカード、デジタル多目的ディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）１５０、読み取り専用メモリ（ＲＯＭ）１４０、ビットストリームを包含するケーブル信号または無線信号などの、コンピュータによってアクセス可能であるデータを記憶することができる他のタイプのコンピュータ可読媒体も使用することができる。有形のコンピュータ可読記憶媒体、コンピュータ可読記憶デバイス、またはコンピュータ可読メモリデバイスは、一過性の波動、エネルギー、搬送波信号、電磁波、および信号自体等などの媒体を明示的に除外する。
【００３０】
コンピューティングデバイス１００とのユーザインタラクションを可能にするために、入力デバイス１９０は、発話のためのマイクロホン、ジェスチャまたはグラフィック入力のためのタッチ感知画面、キーボード、マウス、モーション入力、発話などの任意の数の入力機構を表す。出力デバイス１７０はまた、当業者に知られているいくつかの出力機構のうちの１つ以上であり得る。いくつかの場合では、マルチモーダルシステムは、ユーザがコンピューティングデバイス１００と通信するために複数のタイプの入力を提供することを可能にする。通信インターフェース１８０は、一般に、ユーザ入力およびシステム出力を統制および管理する。任意の特定のハードウェア配置での動作に対する制約はなく、したがって、描示される基本的なハードウェアは、改善されたハードウェア配置またはファームウェア配置が開発されるにつれて、それらに容易に置き換えられ得る。
【００３１】
説明を明確にするために、例示的なシステムの実施形態は、「プロセッサ」またはプロセッサ１２０と標記された機能ブロックを含む個々の機能ブロックを含むように提示される。これらのブロックが表す機能は、汎用プロセッサ上で実行されるソフトウェアと均等なものとして動作することに専用である、プロセッサ１２０などのソフトウェアおよびハードウェアを実行することができるハードウェアを含むがこれらに限定されない、共有ハードウェアまたは専用ハードウェアのいずれかの使用を通じて提供され得る。例えば、図１に提示される１つ以上のプロセッサの機能は、単一の共有プロセッサまたは複数のプロセッサによって提供され得る。（「プロセッサ」という用語の使用は、ソフトウェアを実行することができるハードウェアを排他的に指すと解釈されるものではない。）例示的な実施形態は、マイクロプロセッサおよび／またはデジタル信号プロセッサ（ＤＳＰ）ハードウェア、以下に記載される動作を実施するソフトウェアを記憶するための読み取り専用メモリ（ＲＯＭ）１４０、ならびに結果を記憶するためのランダムアクセスメモリ（ＲＡＭ）１５０を含み得る。超大規模集積（ＶＬＳＩ）ハードウェアの実施形態、ならびに汎用ＤＳＰ回路と組み合わされたカスタムＶＬＳＩ回路がまた、提供されてもよい。
【００３２】
様々な実施形態の論理動作は、（１）一般用途コンピュータ内のプログラマブル回路上で動作するコンピュータ実装ステップ、動作、または手順のシーケンス、（２）特定用途プログラマブル回路上で動作するコンピュータ実装ステップ、動作、または手順のシーケンス、および／または（３）プログラマブル回路内の相互接続された機械モジュールまたはプログラマブルエンジン、として実装されている。図１に示されるシステム１００は、列挙された方法のすべてまたは一部を実践することができ、列挙されたシステムの一部であることができ、および／または列挙された有形のコンピュータ可読記憶媒体中の命令に従って動作することができる。このような論理動作は、プロセッサ１２０を制御して、モジュールのプログラミングに従って特定の機能を実施するように構成されたモジュールとして実装することができる。例えば、図１は、プロセッサ１２０を制御するように構成された３つのモジュールＭｏｄ１  １６２、Ｍｏｄ２  １６４、およびＭｏｄ３  １６６を例示している。これらのモジュールは、記憶デバイス１６０上に記憶され、かつ実行時にＲＡＭ１５０もしくはメモリ１３０にロードされ得るか、または他のコンピュータ可読メモリロケーションに記憶され得る。
【００３３】
本開示は、ここで、１つ以上の信号タイプを使用して物体を分類するための様々なアプローチ、特に、ドローンまたは他のタイプの物体などの物体のドップラーシグネチャでの機械学習を使用するための様々なアプローチに移る。図２は、本明細書に記載されるモデルの基本構成要素２００を示す。本開示は、デバイス２０２を扱う物体識別パラメータの態様に焦点を当てる。基本的な水準では、構成要素２０２は、情報を集取し、情報を解釈し、情報を出力する。まず、レーダ送受信デバイス２０６は、物体２０４から反射されて戻る信号を送信する。レーダ送受信デバイス２０６は、ドローン上で構成され得るポータブルレーダシステムを含むことができ、様々な気象条件下で昼夜を問わず精密に検出および監視する３Ｄレーダセンサを含むことができる。レーダ送受信デバイス２０６は、統合された高分解能電子操向パッチアンテナアレイ、ならびに空中用途での雑音除去を可能にする統合慣性航行システムを含むことができる。システムは、無線または有線で他のシステムに検出および追跡のデータをストリーミングするためのインターネット出力（ＪＳＯＮ）を含むことができる。リーダ動作構成のためのグラフィカルユーザインターフェースを提供することもでき、このグラフィカルユーザインターフェースは、レーダ制御をプログラムするためのアプリケーションプログラミングインターフェースを含む。
【００３４】
物体から反射されて戻るレーダ信号は、特定のドップラーシグネチャを有し、ドローン、鳥、車両、歩行者、または移動する任意の物体などの、それぞれの物体の特性を有する。本開示は、主に回転翼を有するドローンに焦点を当てているが、原理はまた、ドップラーシグネチャを有することができる鳥または飛行機などの他の物体にもまた、適用可能であり得る。
【００３５】
物体２０４は、空中または陸上にあることができ、１つの物体または物体のグループを含むことができる。デバイスは、物体２０４から赤外線信号を受信する赤外線受信デバイス２０８、物体２０４から光信号を受信する光受信デバイス２１０、物体２０４から音響信号を受信する音響受信デバイス２１２、および／または音声もしくは他の信号などの物体２０４から追加情報を受信する他の１つもしくは複数の代替信号受信デバイス２１４を含むことができる。異なるデバイスが、異なるタイプの信号を受信するためのモジュールを含んでもよく、それぞれの異なる各デバイスは、各デバイスのそれぞれの受信信号を、物体の分類の観点からそれぞれのデータを利用するためのシステムに伝達することができる。
【００３６】
これらの入力パラメータまたはデータは、物体のアイデンティティ２１８、および物体の識別の信頼水準２２０などの情報を判定するために機械学習デバイス２１６に適用される。分類決定に基づいて、システムは、レーダシステムを搬送しているドローン、または分類された物体と関連付けられた行動を取るための制御センターまたは他のドローンなどの物体に係る命令２２２を提供することができる。開示される文脈で使用されるような機械学習ベースの分類において有用なパラメータは、典型的には、ラベル付けおよび分類を介してテストまたは設定される必要がある。例えば、交差検証は、モデルのテストセット性能または一般化を堅牢に算定するための方法である。１つの例示的なモデルは、畳み込みニューラルネットの使用を通じて開発できる。このようなモデルは、像を分析して、像が猫、犬、または鳥を表すかどうかを判定するために使用されてきた。本開示は、畳み込みニューラルネットが、未知の物体は例えば４００ｍの距離にある特定のタイプのドローンであると分類することができるように、プロペラを有するドローンに適用されるような畳み込みニューラルネットの適用を含むことができる。
【００３７】
明確化に基づいて、物体２０４に係る命令は、物体を探索および破壊する、探索および威嚇する、探索および観測する、無視する、移動パターンを変化させるための、もしくは特定の場所に行くための命令、または任意の他の命令をデバイスに提供するための制御モジュールまたは１つ以上のドローンへの指令を含むことができる。本開示は、物体のアイデンティティおよび／または物体に対する命令につながる動的情報を受信するための新規なアプローチを導入する。一態様では、ドローンは、物体を分類するために物体からデータを受信するレーダまたは他のデバイスで構成されている。したがって、１つのドローンは、レーダ、マイクロホン、カメラ、ＩＲ検出器などのうちの１つ以上を有し、何らかの様態で第２のドローンを係合させるかどうかを判定するために、第２のドローンを識別し続ける。
【００３８】
議論は、ここで、図３に例示されるように、プロセスおよびシステムの概要に移る。まず、プロセス３００は、レーダアンテナまたはデバイスからレーダ信号３０２を送信することを伴う。次のステップは、レーダで反射レーダ信号３０４を受信すること、赤外線信号３０６を受信すること、光信号３０８を受信すること、音響信号３１０を受信すること、および／または任意の他の信号３１２を受信することのうちの１つ以上を含む。物体を分類する際に使用するために、信号の任意の組み合わせを受信することができる。受信されたレーダ信号は、図５Ｂに示されているようなドップラーシグネチャを表すことができる。このようなシグネチャは、ドローンと関連付けられたプロペラの移動によって、各タイプのドローンに固有であろう。ドローンの他の移動はまた、特定の方法で操舵するためのドローンの潜在的な速さおよび能力などの、ドップラーシグネチャを有することができる。本開示は、ドローン上の回転子の回転に基づいて生成された、受信されたドップラーシグネチャおよびこのドップラーシグネチャの広がりまたはこのドップラーシグネチャの特性を評価するための、畳み込みニューラルネットなどの機械学習アルゴリズムの適用を表す。ドップラーシグネチャ構成に応じて、システムは、物体がレーダに向かって来るか、またはレーダから離れていくかを識別することができる。プロペラの回転の特性を使用して、ドローンが積荷を搬送しているかどうか、およびさらにはどのようなタイプの積荷を搬送しているかを分類または識別することもできる。
【００３９】
プロセスは、レーダ信号、赤外線信号、光信号、音響信号、または任意の他の信号のうちの１つ以上を機械学習デバイス３１４に送信することを含むことができる。次いで、機械学習デバイスは、レーダ信号、ドップラーシグネチャ、赤外線信号、光信号、音響信号、および／または任意の他の信号のうちの１つ以上を分析して、物体の識別もしくは分類、信頼水準、および／または命令３１６を生じさせることを含むことができる。このプロセスは、機械学習デバイスによって導かれるように継続的かつ漸進的であり、以下でさらに議論される。
【００４０】
様々な信号が、機械学習デバイス２１６によって物体と関連付けられた情報として受信され得る。レーダの使用は、「検出」プロセスを含み、物体を見つけることは、無線エコーまたはドップラーシグネチャとして物体から反射する無線信号を送信することによって達成される。反射無線信号を使用して、物体までの距離を計算することができる。これらの無線信号は、およそ３０ＭＨｚ〜３００ＧＨｚの周波数を含むことができる。この範囲外の他の周波数を、利用することもできる。ＩＲ信号は、典型的には、７０ｎｍ〜１ｍｍの範囲を有し、光信号は、３９０〜７００ｎｍの範囲を有する。他の範囲もまた、適用することができる。追加的に、物体がどこにあるのか、および物体がどこに向かっているのかの「視覚」の増加を提供するために、複数の周波数送信が行われてもよい。システムは、レーダ信号などの第１のタイプの信号から開始することができ、次いで、物体の移動（レーダに近付くなど）に基づいて、次いで、システムは、新たな距離に基づいて、光または音声などの新たなタイプの信号を追加し、次いで、２つの異なるタイプのデータに基づいて分類判定を更新することができる。その後、システムは、さらなる移動に基づいて第３のタイプの信号を追加することができる。異なるタイプの信号が加算または減算される距離または点は、閾値距離に基づかないことが可能である。システムは、物体の移動に基づいて、特定の範囲パラメータがレーダシステムおよび物体からの距離に対して満たされたときに、物体を分類するために使用される信号タイプを追加するか、または差し引くことができる。さらに、各信号タイプは、品質評価も有することができる。例えば、音声信号は、（混雑したトラフィックまたは他の音に起因して）低品質を有し得、赤外線信号および／またはレーダ信号は、比較的高い品質を有し得る。システムは、より弱い信号をフィルタリングまたは破棄し得る。別の態様では、物体は、暗所から明所に移動し、デバイスの移動に基づいて、または夜から昼への変化もしくは物体上への光の追加に基づいて、光信号タイプを追加することを判定し得る。
【００４１】
レーダ検出システムを使用することは、いくつかの関連付けられた利点を有する。まず、無線信号は、大きな距離を移動することができる。それぞれの技術の現状と無線波の性質とにより、レーダは、光センサ、赤外線センサ、または音声マイクロホンよりもはるかに大きな距離で物体を検出することができる。例えば、４キロメートル離れたところであれば、赤外線信号受信デバイス、光信号受信デバイス、および音声受信デバイスのいずれも、移動物体を検出することができないであろう。ただし、レーダであれば、４キロメートル以上のところで、移動物体を識別することができるであろう。追加的に、レーダは、様々な気象条件で作動し、日光の量に依存しない。例えば、レーダは、雨中で作動するのに対して、赤外線受信デバイスは、作動しない。同様に、レーダは、夜間に作動するのに対して、光受信デバイスは、作動しない。様々なノイズレベルの中で物体を識別することは、音声受信デバイスにとって問題となり得るが、レーダ信号はノイズによって影響を受けないため、レーダ信号にとっては問題とならないであろう。物体と関連付けられたドップラーシグネチャは、大きな距離ではレーダによって受信でき、日光の量に依存しない。
【００４２】
レーダには、特定の限界がある。１つの限界は、レーダデバイスが、検出される物体の移動に依存し、物体が動かない場合に効果がないか、または効果が低いことである。例えば、レーダは、４キロメートルのところで銃を持って歩いている者を検出することができるが、レーダは、５００メートルのところで銃を抱えている者を検出することができない。追加的に、レーダは、角度精度に関して限界を有し、物体の高度の曖昧さにつながる。さらに、典型的なレーダ信号は、物体がそこにあることを単純に識別するが、形状および詳細の観点からあまり多くのことを提供せず、物体を識別することが困難になることがある。しかしながら、赤外線信号、光信号、音声信号、および／または他の信号などの他の信号を連携した様態で使用することは、レーダ技術の限界のうちのいくつかを克服するのに役立ち、デバイスの物体識別プロセスの有効性を高めることができる。
【００４３】
機械学習モデルによって物体を分類するために使用できるこれらの他の信号について、これらのタイプの信号の簡単な説明を続ける。まず、赤外線受信デバイスは、可視光の波長よりも長い電磁放射波長を検出することができる。したがって、赤外線受信デバイスは、光受信デバイスが物体を検出することに失敗するであろう夜間に物体を検出することができ、動かない物体を識別することに役立つことができる。さらに、赤外線を使用して、物体内の加熱素子を識別することができる。
【００４４】
次に、光信号は、昼間に物体のかなりの詳細を提供することができる。カメラは、レーダ、赤外線、または可聴受信デバイスの使用を通じて捕捉することができないであろう詳細を識別することができる。追加的に、物体が発光する場合、光受信デバイスは、夜間にまたは低光の場所で物体を識別するのに有用であることがわかり得る。
【００４５】
音声受信デバイスを使用して、物体を識別するのにさらに役立たせることができる。高電力マイクロホンをデバイスに取り付けて、音声信号を受信することができる距離を増加させることができる。マイクロホンは、周囲の音をフィルタリング除去するのに役立つように指向性であり得る。機械学習アルゴリズムを訓練して、例えば、排気システム、エンジン、プロペラ、羽、さえずり音、積荷を有するドローン対空のドローンなどによって生じた音に基づいて物体を識別することができる。最後に、他の信号受信デバイスを、単独で、または以前に述べた信号のうちのいずれかと併せて使用して、物体の識別を補助および支援してもよい。
【００４６】
次に、本開示は、有用な情報のいくつかの例を論じる。方法は、前述の信号受信デバイスを使用して情報を集取し、次いで機械学習を使用して物体を判定および識別することを含むことができる。以下のタイプの情報は、網羅的ではなく、機械学習デバイスで集取、分析、および比較される潜在的なデータの一部のみを説明する役割を果たす。
【００４７】
レーダ、ドップラーシグネチャ、広がり信号特性、光信号、音声信号、視覚画像、および／または赤外線信号を使用して、物体の移動パターンを観測することができ、物体の移動情報を使用して、物体を識別および分類することができる。速度および加速度は、物体を限定および分類するのに役立ち得る要因である。ドップラーデータは、レーダ信号、ＩＲ信号、光信号、または音声信号を含む信号と関連付けすることができ、物体がデバイスに向かって来るか、またはデバイスから離れるかを判定するために分析することができる。さらに、移動情報は、彼のドップラーシグネチャに基づいて物体を分類するための努力の観点から重要であり得る。図５Ｂに関して以下に論じられるように、分類システムにフィルタを実装することができ、分類システムは、システムが分類しようとしている物体と関連付けられたドップラーシグネチャデータから追跡されている物体と関連付けられた侵入ドップラーシグネチャデータをフィルタリング除去することができる。
【００４８】
飛行物体について、飛行標高、上昇のレート、下降のレート、ピッチ、ヨー、および他のものなどの情報を取得することができる。例えば、いくつかのドローンは、物体検出および回避特徴を有し、別の物体がドローンの飛行経路の軌道にある場合、ドローンは、自動的に物体を迂回し、ドローンが当たっていたであろう物体の周囲、上、または下を飛行することによって物体を回避する。物体回避システムの仕組みは、ドローンのタイプを識別するのに役立ち得る。一例では、システムは、テストドローンを展開して、テストドローンが飛行物体の経路に配置されたときに飛行物体がどのように反応するかを観測し得る。飛行物体の回避パターンは、飛行物体を識別するのに役立ち得る。機械学習モデルは、物体の移動パターンで訓練できる（図７の特徴７０４、７０８を参照）。既知の物体は、レーダおよび／または他の信号を介して追尾することができ、様々な信号タイプからのドップラーシグネチャまたは他のシグネチャパターンを記憶し、ラベル付けし、機械学習アルゴリズムに供給することができる。
【００４９】
同様に、物体の実際の飛行パターンは、全軌跡および方向を含み、有用な情報であることがわかり得る。飛行パターンはまた、範囲対時間分析を含むことができ、物体によってカバーされる範囲または距離、および物体が範囲をカバーするために取った経路を、この距離を移動するためにかかった時間に対して評価することができる。例えば、鷲は、おそらく標高が高く、かつ概して真っ直ぐである、特定の飛行パターンを有することになる。鷲は、直線パターンで範囲をカバーし、短時間でカバーする。対照的に、ヒメコンドルは高標高で旋回し、ほとんど距離をカバーしないが、長時間にわたって旋回し、経時的に小範囲をもたらす。追加的に、より低い標高でダーツのような様態で飛行するコウモリは、コウモリが大きな距離を通過しないため、小さな範囲をカバーするが、その範囲をカバーするためにコウモリが飛行するパターンは、コウモリが夕暮れ時に短時間の間隔でのみ飛行するため、速い場合がある。ドローンはまた、典型的な飛行パターンを有し、異なるドローンは、他のドローンとは異なる飛行パターンを呈し得る。ペイロードを積載したドローン対ペイロードを積載していない他のドローンについて、移動のパターンが、異なり得る。機械学習モデルは、異なる移動パターンで訓練できる。
【００５０】
さらに、有人航空機は、自動プログラマブルドローンとは異なるように飛行し、自動プログラマブルドローンはまた、手動ドローンとはまた異なるように飛行する。飛行パターンを識別することは、飛行物体が、鳥、ドローン、有人航空機、特定のクラスのドローン、すなわちＤＪＩファントムまたはＭ６００、積荷を有するドローン、空のドローン、または何らかの他のタイプの物体であるかどうかを判定することを支援する。また、識別される物体の飛行パターンは、周囲の他の物体と比較して観測できる。例えば、ドローンが、サイズが類似する鳥の群れの間を飛行することによってドローン自体を覆い隠そうとするとすれば、物体のグループの飛行パターンを分析して、存在する場合にいずれの物体が異常値であるかを判定することができるであろう。この場合に、鳥は、同期して移動し得、ドローンは同様の移動で追尾し得るが、わずかに遅れ得るか、または遅延し得る。鳥のグループの同期移動と比較した、ドローンの遅延移動は、ドローンが鳥ではなく、さらなる観測が必要であり得るという確認をもたらし得る。
【００５１】
訓練データは、特定のタイプのドローンなどの既知の物体を利用し、かつレーダデータ、ドップラーシグネチャ、音声データ、視覚データ、および／または赤外線データを記録することによって集取できることに留意されたい。手動または自動化された様式のいずれかで、システムは、その既知の物体の特徴であるデータをラベル付けすることができる。データは、混雑した通り、または鳥もしくは他の物体で雑然としている環境などの、異なる環境で集取できる。言い換えると、ドローンを、様々な環境で飛行させ、そのドローンに関する基本データを集取し得ることにより、本明細書に開示される各タイプのデータと関連付けられた特性データを取り出し、かつこの特性データを使用して、機械学習アルゴリズムを訓練することができる。
【００５２】
別の態様では、訓練データは、自動化された様式で、様々な方法で集取することができる。例えば、システムは、既知のドローンが特定の空中回廊に入りつつあるか、または特定の経路を取っていることを識別することができる。ドローンが事前にまたは動的に識別される場合、システムは、ドローンに固有のＩＤを割り当て、ドローンの移動を追跡することができる。空中を進行する経路を通して既知のドローンのドップラーシグネチャデータ、赤外線データ、音声データ、視覚データなどを取り出すことによって、システムは、そのデータが既知のドローンと関連付けられていることを自動的にラベル付けすることができる。したがって、１つのアプローチは、既知の物体を追跡し、その物体が環境中を移動する際に識別データまたは分類データを集取するために必要なインフラストラクチャを実装することであり得る。システムが物体の追跡を失った場合、またはその物体の識別の閾値に信頼水準を有さなくなっている場合、訓練データを集取することができなくなっているか、またはラベル付けすることができなくなっている。
【００５３】
別の実施例では、いくつかのドローンは、識別子信号を提供し得る。識別子信号を使用して、離陸後間もないドローン、または着陸サイトに近付いているドローンを識別することができる。一態様では、感知機器および／またはレーダシステムは、特定の場所で展開することができ、ドローンは、ドローン自体を識別する可能性が高い。したがって、ドローンが着陸地点または目的地点に近付く際に、ドローンは、着陸サイトから３マイルのところに識別信号を提供することができる。システムは、レーダ、赤外線、音声、および／または光からの識別データの記録を利用またはオンにして、ドローンが目的地点に近付く際に、そのドローンと関連付けられた訓練データを単に集取することができる。システムは、ドローンが目的地点に近付く際に、このようなデータをいくつかの異なる角度から取り出すようにセットアップすることができる。したがって、識別が受信されると、システムは、ドローンの識別および場所を伝達し、多様な異なる角度の訓練データを受信し、かつ機械学習アルゴリズムに供給することを可能にし得る。
【００５４】
システムが物体を分類すると、システムは、物体の予想される飛行経路に関してその物体に関して既知であるデータを利用することができる。したがって、物体が、建物の後ろで飛行しているか、別の物体の後ろで飛行しているか、または他の方法で隠れている場合、システムは、予想される飛行経路を利用することができる。システムは、物体の場所の想定、およびいつ現れる可能性が高いかに基づいて、建物の他方側に再び現れる物体をより素早く識別することができる。したがって、本開示の一部は、本明細書に開示されるような物体の分類に基づいている物体と関連付けられた予測飛行経路または予測飛行能力の適用と、物体が、遮蔽物体の後ろから再び現れる際に物体の分析にそのデータを適用することと、を含む。この点において、システムはまた、遮蔽物体の後ろの、かつ物体が遭遇する可能性が高い空間の既知の物理的特性を利用することができる。さらに、システムは、物体が建物の左側の後ろで飛行し得ることを認識し得るが、同時に、システムは、鳥の群れがまた、右側から建物の後ろで飛行していることを識別し得る。ここでも、システムは、物体のパターンおよび特性に関する知識を利用して、物体が鳥の群れに基づいてどのような回避移動を行い得るかを予測することができる。この種類の予測データを利用して、特に建物の後ろからも他の物体が出てくる場合、物体が遮蔽物体の後ろから移動する際に、物体のアイデンティティをより素早く再分類するか、または再定義することができる。例えば、既知のドローンの機械学習モデルに関する訓練を使用して、ドローンの移動または経路を予測することができる。
【００５５】
追加的に、システムが鳥の群れと関連付けられたドップラーシグネチャを識別することができる場合、システムは、連続した順序でデータをフィルタリング除去することが可能であり得る。システムは、物体を鳥として識別し、物体の移動を追跡し、鳥の近くの物体、またはレーダシグネチャが重複する物体の分類判定からシグネチャをフィルタリング除去し、鳥の間で飛行する物体またはドローンを適切に分類するためのシステムの能力を改善することができる。
【００５６】
地上物体はまた、物体を分類または識別するのに役立つように使用できる移動パターンを有する。オートバイは、ダートバイクとは異なるように移動し、雪の中の全輪駆動自動車は、雪の中の二輪駆動自動車とは異なるように移動する。地上の物体の移動パターンのこれらの変形を使用および分析して、物体のアイデンティティを判定することができるか、または地上の物体を分類することもできる。
【００５７】
レーダ、光学、音声、および／または赤外線の使用はまた、物体識別を改善するための詳細な画像につながり得る。例えば、物体は、ペイロード搬送ドローンとして識別され得る。ただし、レーダ、ドップラーシグネチャ、音声シグネチャ、光学、および／または赤外線の使用を通じたより詳細な識別は、物体のペイロードまたは物体が搬送しているものの識別につながり得る。一例では、システムは、ドローンのタイプを識別し得るが、また、ドップラーシグネチャが、ドローン上のプロペラが通常よりも速いペースで移動していることを示すことを識別し得る。ドローンは、システムによって分析および分類決定に組み込まれ得る識別信号も送信し得る。ドローン上のプロペラの移動と関連付けられたドップラーシグネチャは、ドローンがペイロードを搬送しているかどうか、およびペイロードの重量などの、ドローンに関する他のデータを露呈し得る。システムは、受信および分析された様々なタイプのデータから、ドローンが何ポンドのペイロードを搬送しているかを推定することができ、割合または実際の重量によるその量、およびその干渉の精度を報告することができる。
【００５８】
ペイロード上のデータは、ドローンが商人のために配送を行っていること、またはドローンがＣ４爆発物を搬送している可能性があり、テロリストの運用下にあることを示し得る。追加的に、レーダ、ドップラーシグネチャ、光学、音声信号、および／または赤外線の使用は、関心のある人物を識別するために、顔認識ソフトウェアまたは他の生体認証識別システムと組み合わせて使用され得る。一例では、ドローン上で顔認識技術を使用することは、著名な政治家による公開スピーチなどのイベントでセキュリティを提供することを任務とするときに有用であり得る。ドローンは、航空測量士としての役割を果たし、顔認識を使用して、既知のテロリストまたは容疑者を識別する。
【００５９】
別の実施例では、ミニドップラーシグネチャを使用して、物体が非生物学的または生物学的であるかどうかを判定することができる。例えば、鳥のドップラーシグネチャは、ドローンのシグネチャとは大きく異なるシグネチャを有する。これは、鳥の羽がはるかに遅いレートで、非円形のパターンで、上下動し、代替的に、ドローンが、毎分３６００回転で回転し得るプロペラを有し、羽の動きの範囲にほとんどばらつきが示されないからである。システムは、粒状レベルの鳥対ドローンの異なるＤｏｌｌｅｒシグネチャで訓練することができる。
【００６０】
物体からの様々なタイプの情報について以前に述べた。しかしながら、列挙される情報は網羅的ではなく、物体のアイデンティティを判定するための機械学習プロセスにおいて、単独で、または互いの任意の組み合わせで、または任意の他のタイプの述べていない情報と組み合わせて使用することができる。
【００６１】
図４は、物体識別プロセス４００の例示的なフローを例示している。方法は、デバイスにおいて物体データを継続的に受信する（４０２）ことと、機械学習システムによって、パラメータのセットを適用して物体データを処理して、物体を信頼水準で識別して、物体識別を生じさせる（４０４）ことと、物体識別、信頼水準、および実施可能推奨事項を出力または更新する（４０６）ことと、を含む。図４の範囲はまた、物体データとしてレーダ信号またはドップラーシグネチャを使用した物体識別の出力のみを含んでもよい。実施可能推奨事項は、レーダシステムまたは別個のドローンに取り付けられた同じドローンを介して物体と係合するための任意の数の命令、またはコースを変化させるなどの行動を取るための命令を物体に提供することができる。
【００６２】
例えば、命令は、地理的または安全標石コンポーネントを含み得る。例えば、ドローンの現在の場所またはドローンの予想される方向に基づいて、ならびに他のタイプの情報に潜在的に基づいて、システムは、ドローンがスタジアムなどの規制された領域の上を飛行しないように、ドローンを連れ出す命令を提供し得る。ドローンを捕捉または破壊する命令は、ドローンの潜在的な脅威から保護すべきゾーンまたは地理的地域を識別する制御システムの知識に関連して、本明細書に開示される分類決定に少なくとも部分的に基づき得る。
【００６３】
図５Ａは、物体を識別し、信頼水準および実施可能推奨事項５００を生成するための信号データを処理するための例示的なフローを例示している。この例では、デバイスは、空間５０２中の物体から送信されるか、または反射される信号５０２を受信する。信号収集エンジン５０４は、レーダ送受信デバイス、赤外線受信デバイス、光受信デバイス、音響受信デバイス、および／または任意の他の受信デバイスなどの１つ以上のソースから信号５０２を取得することができる。信号５０２（ドップラーシグネチャなど）および／または画像収集エンジン５０４によって収集された他のデータは、信号分析エンジン５０８への入力５０６として提供できる。信号分析エンジン５０８は、入力５０６を使用して、信号５０２中の物体を識別または分類することができる。例えば、信号分析エンジン５０８は、畳み込みニューラルネットワーク５１６および物体識別データポイントを使用して、信号５０２内の物体を識別することができる。一例では、信号分析エンジン５０８は、信号５０２からの音シグネチャを分析し、ニューラルネットワーク５１６を使用して、識別されたパターンおよび／または属性に基づいて物体をインテリジェントに識別することができる。
【００６４】
ニューラルネットワークは、一般に、タスク特有のルールでプログラムされることなく、例を考慮することによってタスクを実施するように「学習する」コンピューティングシステムであり得る。この例では、物体認識は、手動でラベル付けおよび識別された物体プロファイル情報を分析することによって学習することができる。自動ラベル付けアプローチもまた、使用することができる。
【００６５】
カモメのプロファイルの例は、羽、くちばし、２本足に関するデータ、特有の高度または特有のパターンでの飛行データ、特有の音または鳴き声データなどを含むことができる。代替的に、別の例では、ドローンプロファイルは、ドローンが飛行する速度および加速度、ドローンの形状、色、飛行パターン、発せられる音、プロペラの特性および／または速さなどを含むことができる。物体がＭａｖｉｃドローンであるか、またはカモメであるかを判断することは、「Ｍａｖｉｃドローン」または「Ｍａｖｉｃドローンではない」、「カモメ」または「カモメではない」とラベル付けされた例示的なドローンプロファイルおよびカモメプロファイルを分析することと、その結果を使用して、カモメのような他の物体プロファイルの中からＭａｖｉｃドローンを識別することと、を必要とし得る。ニューラルネットワークは、Ｍａｖｉｃドローンまたはカモメに関する何らの事前知識なしにこれを行うことができ、代わりに、それらが処理する学習材料から識別特性を自動的に生成することができる。
【００６６】
別の態様では、信号分析エンジン５０８によって評価される信号５０６は、フィルタリングされた信号であり得る。研究中でない第１の物体と関連付けられたドップラーシグネチャは、システムが分類しようとしている第２の物体のドップラーシグネチャに干渉し得る。第１の物体を追跡し、かつその物体を分類するかまたは識別することによって、システムは、第２の物体のドップラーシグネチャをより良好に評価して、第２の物体を判定するかまたは分類することができるように、第１の物体のドップラーシグネチャをフィルタリングすることができる。
【００６７】
信号分析エンジン５０８は、物体識別、物体分類、および／または信頼水準を含むことができる出力５１０を生成することができる。実施可能命令エンジン５１２は、信号分析エンジン５０８から出力５１０を受信し、出力５１０内の認識された物体データを使用して、実施可能命令５１４を生成することができる。実施可能命令５１４は、物体を破壊する、物体を威嚇する、物体を観測する、物体を無視する、物体を移動させる、物体を捕捉するなどのための、所与の状況において実装され得る異なる指令、または任意の他の命令など、を識別することができる。追加的に、実施可能命令エンジン５１２は、出力５１０をニューラルネットワーク５１６に転送して戻し、ニューラルネットワーク５１６を更新し、および／または考慮すべき追加の物体識別データポイントを受信することができる。述べたように、レーダ、光受信デバイス、赤外線受信デバイス、音声受信デバイス、または任意の他のデバイスのうちのいずれか１つまたはこれらの組み合わせの使用は、デバイスで物体データを継続的に受信するときに使用できる。
【００６８】
レーダ単独で、物体の識別に関する有用な情報を提供することができる。例えば、レーダ送信は、指定された範囲で飛行ドローンから反射することができ、反射信号は、ドローンのプロペラから結果として生じるミニドップラー効果を作り出す。システムが特定のレートで受信信号をサンプリングしているため、急速に移動する回転子翼から反射するグラフ化された特徴は、画面またはデータレコードにわたってラップされ得る。システムは、特定の支配的なバンドを有する広がり関数を受け取り、各バンドは異なるドローンに固有である。異なるドローンは、異なる翼サイズ、重量、翼速さ、ドローン速さ、翼直径、ドローン形状、サイズ、プロファイルなどを有する。回転翼のドップラー効果は、例えば、例えば１２０ｍｓのサンプリング時間でレーダシステムによってサンプリングされたデータの異なる広がりにつながり得る。図５Ｂは、範囲５３２または距離にわたってマッピングされるとき、サンプルドップラーシグネチャがどのように見えるかを示す。典型的には、このプロセスは、物体が遠く離れるにつれて（５３６を参照）レーダシステムにより近いドローンに使用され、分類目的での使用に利用可能なシグネチャが少なくなる。ドローンのサンプリングされたドップラー信号は、バンドを形成する広がり関数を示す。広がりは、システムが異なる信号をサンプリングし（例えば、１２０ｍｓのサンプリングレートで）、かつ各サンプルで異なる翼位置を捕捉しているため、取得される。ドローンの回転子が、翼の先端などの回転がより速い部品、および回転子の中心などの全く回転しない部品、を含むため、広がりが、結果として生じる。この広がり関数またはバンドは、異なるドローンに固有であり、ドップラーシグネチャを作成するために使用することができる。これらの様々なシグネチャを使用して、機械学習アルゴリズムを訓練する。様々なドローンによって作り出されたシグネチャを分類することによって、作り出されたミニドップラーシグネチャを既知のドローンシグネチャと照合することによって、未識別ドローンを分類することができる。各ドローンタイプの広がり関数を使用して機械学習モデルを訓練し、次いで、その後、ドップラーシグネチャに従った訓練に基づいて未知のドローンを特定のタイプを有すると識別する。
【００６９】
図５Ｂは、異なる物体に対する様々なドップラーシグネチャを例示している。グラフ５３０は、範囲軸５３２およびドップラー軸５３４を含む。課題は、それぞれの物体と関連付けられたドップラーシグネチャに基づいて物体を分類する方法である。出願人らは、ドローン翼の移動特性に基づいて、戻った特定のドローンの特有のレーダエコー特徴を識別した。例えば、ドローン５３８について、レーダエコー特徴５４０、５４２、５４４は、翼がレーダから離れて回転している瞬間を表すことができ、したがって、特定のエコー特徴を有するのに対して、エコーの別の部分は、レーダから離れて回転している翼を表すことができる。エコー特徴５４６は、＋範囲にあり、レーダに向かって移動している翼の構成要素を示し得るのに対して、エコー特徴５４０、５４２、５４４は、「−」範囲にあり、したがってレーダから離れた移動を示すことができる。システムは、ドローンの各タイプについてのレーダ標的エコー特徴の統計的知識を取得することができる。ドローン、車両、鳥などの様々な物体の標的クラスが、識別できる。特徴５３６は、その移動に関してドップラー信号も引き起こし得るが、ドローン５３８に対して異なるシグネチャを有する、歩行し、かつ腕を前後に振り得る人間を表すことができる。
【００７０】
ドローン上の翼の回転の速さに起因して、ドップラーシグネチャは、物体が、実際にレーダに向かって高速で移動しているか、実際にレーダから離れるように高速で移動しているかのいずれかであることを示すことができる。レーダエコーの広い広がりは、回転子が典型的には１３０００ＲＰＭの範囲の速さで移動しているためである。一態様では、レーダは、翼の速さを測定している。システムは、各ドローン上の回転子の回転と関連付けられたレーダエコー特徴を識別するかまたは含むドローンのドップラーシグネチャに関するデータを集取する。機械学習データは、そのレーダシグネチャを使用して飛行物体について分類を行うことができるように、各タイプの既知のドローンと関連付けられたレーダエコー特徴に関して集取することができる。サポートベクトルマシン、ベイジアンアプローチなどの任意の機械学習技術を使用することができる。一態様のシステムは、ドローンの物体のレーダ断面を必要とするが、そのデータは、レーダが有するドローンの視点に応じて変化することができ、そのためアプローチの結果の信頼性が低い。
【００７１】
画像認識のために使用される他の畳み込みニューラルネットでは、標的データ、または物体に関する真のデータは、典型的には、家、鳥、車などを識別するであろう人間によって生成される。人間は、画像中に見えているものを適切に認識するためにデータにラベル付けするであろう。本場合には、人間は、レーダエコー特徴を見ることができず、その特徴がいずれのタイプのドローンを表すかを認識することができない。したがって、このアプローチで利用されるデータは人間的に認識することはできず、したがって訓練プロセスのためにシステムに供給されなければならない。
【００７２】
本明細書に開示されるアプローチは、ドローンの回転子移動に関して多くのドップラーの影響を利用する。レーダエコーの様々なバンドと関連付けられた広がり関数は、各ドローンが異なる翼サイズ、重量、回転子速さ、翼直径、および翼回転速度を有するため、異なるドローンに固有である。これらは、各ドローンタイプについて、およびさらにはドローンごとに、比較的固有である傾向がある。ドローンが範囲の観点からレーダに近いほど、レーダのエコーシグネチャは、良好である。ドローンが遠くに移動するにつれて、レーダエコーは、小さくなり、評価するのが困難になる。
【００７３】
ドローンに対する鳥のドップラーシグネチャ間の１つの比較は、羽が回転の代わりに上下動し、かつ羽が、典型的に、はるかに低い速さで移動するため、鳥シグネチャがドローンシグネチャに近いものではないことである。したがって、特徴５３６は、大きなドップラーシグネチャを、このドップラーシグネチャが鳥を表すものとして示さない。鳥を分類するための１つの方法は、より長い時間枠にわたって実施される一貫したプロセスイメージングを利用することである。典型的には、ドローンでは、図５Ｂに示される広がりを得るために１２０ミリ秒のタイムスパンがある。鳥は、レーダシグネチャを取得するのに時間がかかり、最終的に、システムは、経時的に複数の画像を供給し得る。
【００７４】
ドローンでは、いくつかの場合、ドローンは、ドローン独自の識別情報を送信する。この場合のシステムは、ドローン識別を受信し、そのデータをレーダエコー、写真、ドップラーシグネチャ、および／または音と結合して、一致するかどうかを判定することができる。システムは、本質的に、様々なデータを合わせて使用し、それによって固有のドローンタイプ、またはさらには固有のドローンを識別することができる。
【００７５】
ドップラーシグネチャは、指紋のようなものである。システムは、各ドローンタイプ、さらには個々の各ドローンの指紋を識別するドローン情報のデータベースを構築することができる。システムはまた、ドローンと関連付けられたペイロードがストックペイロードであるか否かを分析することによって、ドローンが脅威であるかどうかを判定することができる。システムは、プロペラの速さ、ドローンの角度または姿勢を調べ、ドップラーシグネチャ、および、潜在的に、ペイロードと関連付けられ得るこの他のデータを、評価することができる。例えば、ペイロードがより重い場合、プロペラは、通常よりも高速で回転し得、マイクロドップラーシグネチャの評価を通じて、ペイロード重量、形状、ペイロードの構成などのうちの１つ以上に関して推定を行うことができる。
【００７６】
別の態様では、追跡特徴を利用して、いくつかのレーダエコーデータを分類評価からフィルタリングすることができる。図５Ｂは、このアプローチを例示している。システムが、物体５３８を分類し、かつ物体タイプが何であるか、ならびにそれがドローンである場合に、ドローンタイプが何であるか、およびさらにはそれがいずれの特有のドローンであるかを判定しようとしていると仮定する。物体５６０が物体５３８に向かって移動しており、トラッカーは、物体５６０の様々な位置５５４、５５６、５５８で物体を識別すると仮定する。トラッカーは、物体を識別し、かつ物体に固有のＩＤを割り当て、かつ次いで、その物体が空間中を移動する際にその物体を追跡する、モジュールであり得る。トラッカーまたはトラッカーモジュールは、経時的にドットまたは画像の場所を評価し、複雑な数学的光学技術を使用して、何かが数学的に接続されているか、または相関しているかどうかを判定する。ドットがつなぎ合わされると、システムは、物体の固有のＩＤに部分的に基づいて物体を追跡することができ、その物体が予測としてＩＤにつなげられる次の時間の瞬間を追跡することができる。したがって、システムは、２つのものが異なると判断し、それぞれの固有のＩＤを有することができるであろう。例えば、アイテム５６０は、固有のＩＤ００１０および固有のＩＤ００１１を有するアイテム５３８を有するものとして割り当てられ得る。アイテム５６０が移動するにつれて、５５４、５５６、５５８によって示されるアイテム５６０の新たな位置を追跡することができ、これにより、物体がアイテム５３８と関連付けられたラップされた信号と重複するとき、異なる固有のＩＤをシステムによって使用して、２つの物体間の信号を区別することができる。システムは、シグネチャが無くなった際、またはシグネチャが他のトラックと干渉する場合、または画像が視野を離れる場合、シグネチャを「消す」ことができる。追跡モジュールはまた、経時的にそれぞれの物体の速さに関する情報を提供することができ、経時的に物体速さをグラフィカルに報告することができる。
【００７７】
物体が図５Ｂの位置５５８に到達すると、物体のドップラーシグネチャが、物体５３８と関連付けられたドップラーシグネチャと混同され得る可能性がある。したがって、上述したように、本開示の態様は、システムが様々な物体のドップラーシグネチャを区別することを可能にするフィルタリングアプローチに関するものであり、物体５６０が位置５５８にある場合に発生するであろうような、ドップラーシグネチャ間の重複がある場合、システムは、物体５３８と関連付けられた分類決定を行うときに、ドップラーシグネチャ（すなわち、特徴５６０、５４８、５５０、５５２）をフィルタリング除去するであろう。このフィルタリングは、移動物体５６０と関連付けられた追跡データ、物体５６０と関連付けられた識別データ、および物体５６０のドップラーシグネチャの理解、および／または物体５３８に関するデータに基づくことができる。当然、他の場合には、物体５６０は、静止してもよく、物体５３８は、２つの物体がそれらの物体のドップラーシグネチャに関して重複するように移動するものであってもよい。同じシナリオでは、システムが物体５３８を分類しようとしている場合、システムは、分類決定を行うときに、物体５６０と関連付けられたドップラーシグネチャをフィルタリング除去することができる。
【００７８】
システムは、様々な画像をつなぎ合わせ、固有のＩＤを画像（複数可）と関連付けることができ、これにより、次の瞬間を予測としてその物体につなげることができる。複数の物体が視野内にある際、システムは、異なる識別番号を有する異なる物体を区別することができる。追跡モジュールまたは追跡コンポーネントは、様々な物体を追跡し、システムは、物体が視野を離れるにつれて、またはシグネチャが小さすぎるほどに物体が離れている場合に、追跡が無くなるように、分析からそれぞれの追跡を止めることができる。物体が追跡され始めた際に物体の初期表示を行うことができる場合、その初期表示を機械学習アルゴリズムに供給して、物体が追跡される際の物体の別のスナップショットにその初期表示を適用することによって、物体の移動を追跡する能力を高めることができる。
【００７９】
図６は、分類プロセスにおける物体情報に関連する機械学習に対する１つのアプローチ６００を示す。まず、物体訓練情報６０６が、物体形状、プロペラ速さ、プロペラ形状、光詳細、赤外線詳細、音声シグネチャ、レーダドップラーシグネチャ、物体詳細、ペイロード詳細、識別詳細、または任意の他の情報などの詳細を含むことができ、機械学習デバイス２１６に提供される。機械学習デバイス２１６は、新たなデータ６０２が受信されたときに機械学習デバイス２１６が物体を適切に分類することができるように、このデータで訓練される。訓練されたモデル２１６が、物体形状、光詳細、赤外線詳細、音声シグネチャ、物体詳細、ドップラーシグネチャ特性、および他の情報のうちの１つ以上からなることができる情報６０２を受信するとき、モデル２１６は、モデル２１６の訓練に基づいて物体分類決定６０４を行う。
【００８０】
一例では、光信号受信機から取得された物体情報は、例えば、４フィート幅にまたがり、かつ爪のように見えるペイロード搬送デバイスを含む飛行物体がある、というデータを含むことができる。この情報は、機械学習デバイス２１６によって受信され、機械学習デバイス２１６は、入力を処理して、そのドローンのペイロードクローシステムの使用を通じて製品を配送するために使用されるＤＪＩ  Ｍａｖｉｃドローンを識別する物体プロファイル分類および情報の出力を生成する。情報プロファイルは、ドローンの最高の速さ、音声のレベル、または他のプロファイル特性などの他の関連する情報を含み得る。情報はまた、物体の能力および制限を含み得る。新たなドローンが製造される際に、物体プロファイル訓練情報が最新でありかつ関連することを確保するために、ラベル付けおよび識別データを更新する必要がある。
【００８１】
図７は、機械学習デバイスがどのように使用できるかの別の例示的な方法７００を含む。一例では、機械学習デバイス２１６は、レーダの使用および／または命令、赤外線の使用および／または命令、光の使用および／または命令、音声の使用および／または命令、周囲の物体のフィルタリング命令、予測軌道命令、時刻、気象、風速、周囲の物体、通常の移動パターン、ドップラーシグネチャ、ＩＲデータ、音声データ、視覚データなどの集約情報７０８を含む訓練データを受信する。次いで、訓練された機械学習デバイス２１６は、物体と関連付けられた入力データ７０４を受信し、その物体と関連付けられた、かつ訓練に基づく、物体分類決定または命令７０６を行う。物体観測命令７０６は、レーダの使用および／または命令、赤外線の使用および／または命令、光の使用および／または命令、音声の使用および／または命令、周囲の物体のフィルタリング命令、予測軌道命令、および他の情報を含むことができる。
【００８２】
物体を観測し、かつ物体情報または物体のプロファイルを分類または取得しようとするとき、関連する情報を捕捉する方法またはプロセスを調整することが、有用であり、より効率的であり得る。例えば、デバイスがレーダ信号、光信号、赤外線信号、および音声信号をすべて同時に使用する代わりに、デバイスは、様々な信号受信デバイスを使用しないことによって物体からどのような情報が観測されるかを制御することによって、信号処理を高速化する方法を見つけることができる。より少ない受信デバイスを使用すると、あらゆる信号を分析するために必要とされていた処理能力の制限を解き、物体のよりタイムリーな分析をもたらすであろう。
【００８３】
例えば、集約情報７０４は、時刻が夜の時間であること、および物体が、極近接して、かつ多くの丘および砂丘を含んで騒音公害が非常に少ない地方の砂漠エリア上で、飛行していること、を含むことができる。この集約情報７０４を機械学習デバイス２１６によって使用して、物体のプロファイルを識別し、かつ物体観測命令７０６を提供するための最も効率的な方法を判定する。集約訓練情報は、機械学習２１６に含めることができ、関連する考慮を行うように機械学習デバイスを導くのに役立つ以前のシナリオを含み得る。本例では、機械学習デバイス２１６は、夜の時間であるため、光受信デバイスが赤外線デバイスを使用することによって取得された情報に対して標準以下の情報を作り出すため、光受信デバイスを使用するのは無駄であろうと考えることができる。追加的に、機械学習デバイス２１６は、騒音公害がほとんどないため物体が適切な距離範囲内にある、音シグネチャを分析することによってより正確な物体分類を取得することができる、およびレーダ信号を使用することは、レーダ信号が砂丘から跳ね返ってデータを壊す可能性が高いために分析を複雑にし得る、と判定することができる。この場合には、次いで、機械学習デバイス２１６は、物体観測命令７０６を出力して、レーダおよび光信号受信デバイスをオフにし、かつ音声信号受信デバイスおよび赤外線信号受信デバイスをオンにすることができるであろう。
【００８４】
別の例では、機械学習デバイス２１６は、物体が観測されている状況が変化するため、追加の集約情報を使用して、物体のアイデンティティまたは追跡を維持することができる。一例では、物体のビューは、障害になる。この場合には、物体が識別されて、かつ取得された集約情報が、物体の追跡を維持するために機械学習デバイス２１６が必要と見なすものを超えたため、物体観測命令７０６は、レーダのみを使用することを含むことができたであろう。しかしながら、検出から隠れようとして、物体は、第２の物体の後ろに移動して、視界から消える。この例では、機械学習データは、システムに、追加のシステムを使用して、状況が追加の集約情報の使用を必要とする際に、異なるタイプの信号を受信して物体の追跡を維持するように、命令することができる。機械学習デバイス２１６からの追加の集約情報として、予測可能な飛行軌道、以前に既知の飛行軌道、以前の飛行パターン、飛行加速度および速度、ならびに周囲の物体に関する情報を挙げることができ、これらの比較は、物体が視界内に戻るとすぐに、速い再識別または再追跡をもたらす。
【００８５】
図７は、他のデータもまた含むことができる学習データおよび集約情報に言及する。例えば、訓練情報７０８は、物体の距離、高度、もしくは進行の方向の変化、周囲の気象もしくは可聴信号の変化、風向き、音情報のうちの１つ以上を含むことができるか、または関連し得る任意の他の情報を含むことができる。訓練情報は、複数のタイプの情報のうちの１つまたはこれらの組み合わせを含むことができ、機械学習デバイス２１６によって処理され、機械学習デバイス２１６を訓練するために使用され得る。
【００８６】
訓練されると、機械学習デバイス２１６は、物体距離、物体高度、物体の移動の方向、物体の周囲の気象、物体可聴信号、および他の情報などのデータを評価することができる。機械学習デバイス２１６は、レーダの使用および／または命令、赤外線の使用および／または命令、光の使用および／または命令、音声の使用および／または命令、または任意の他の情報もしくは命令を含むことができる物体観測命令を作り出すことができる。
【００８７】
図８は、より具体的な方法例８００を示し、機械学習デバイス７１６は、集約訓練情報７０８を有する集約情報７０４を使用して、より効率的な物体観測命令を作り出すことができる。鳥８０４のグループの間を飛行することによって検出を回避しようとするドローン８０２の場合、集約情報を使用することが有益であることがわかり得る。例えば、集約情報７０４は、飛行する鳥８０４、およびこれらの鳥とサイズが同様である飛行するドローン８０２に関する詳細を含むことができる。集約情報７０４は、機械学習デバイス２１６に提供することができ、様々な物体の全体的な移動、飛行パターン、軌道などの詳細を識別するために使用することができる。集約情報７０４は、既知の鳥の飛行パターン、行動、軌道などを含む集約訓練情報７０８で訓練されたデバイス７１６によって使用することができる。機械学習デバイス２１６は、ドローン８０２のみを観測するための、かつ周囲の鳥８０４によって作り出されたすべての他の信号をフィルタリング除去するための命令を含むことができる物体観測命令を生成することができる。フィルタリングは、システムが第２の物体を分類しようとするときに、および物体のドップラーシグネチャが互いに重複するかまたは干渉する場合に、第１の物体のドップラーシグネチャをフィルタリングすることを含むことができる。
【００８８】
鳥によって作り出された信号をフィルタリング除去することによって、プロセスは、関心のない物体を識別する時間またはエネルギーを無駄にすることがなく、情報のフィルタリングは、より高速の物体識別プロセスにつながり得る。
【００８９】
図９は、例示的な方法９００を含み、ここでは、デバイスが、三次元空間を通した物体の移動の通常のパターンのデータを集取する（９０２）ために使用される。プロセスは、受信データで分類または機械学習モデルを訓練すること（９０４）と、レーダ、ドップラーシグネチャ、光、赤外線、および／または音声のうちの１つ以上を含むことができる検出システムを実装すること（９０６）と、物体の移動を追跡するシステムを展開することと、を伴う。方法は、機械学習モデルを通じて物体を分類し、かつ世の中の通常のパターンにおける異常事象を識別すること（９０８）を含む。異常事象の識別は、個人もしくは車両を追跡するか、当局に通知するか、または何らかの他の行動を取るための通知または行動をトリガすることができる。
【００９０】
この例では、集約情報を使用して、デバイスが世の中の通常のパターンの信号を集取する物体観測命令を提供することができる。いくつかの例は、人々、車、ドローン、および動物のトラフィック、気象パターン、航空トラフィック、および他の通常のパターンを含むことができる。次いで、この情報は、信号分析エンジンに入力され、世の中の通常のパターンに関する機械学習モデルを訓練し、次いで、そのデータを使用して、世の中の通常のパターンと矛盾して移動する物体を識別し得る。これは、ニューラルネットワークを使用して訓練でき、事象が異常であることを識別し、かつ実施可能命令をもたらすことができるであろう。トリガを送出して、異常事象を識別し、およびデバイスに命令を送出して行動を実行させることができる。
【００９１】
一例では、大都市の昼食時間中の通常の歩行者トラフィックおよび移動パターンは、食事する場所に急いで出かけるために歩道に溢れる労働者を含むパターンを示す。通常の歩行者トラフィック移動を分析および使用して、日常生活の通常の移動を伴って、またはこの移動を呈して移動しない物体を識別し得る。物体は、異常に低速で、または可能性が低い様態で歩行し得る。おそらく、物体は、徘徊移動を呈しているか、または同じ建物を５回連続して周回している。特に物体の異常な移動が銀行またはホワイトハウスに極近接している場合、これらのタイプの移動は、有用であり得る。全体的に、日常生活の通常のパターンなどの集約情報の使用および分析は、物体識別および注目に値するインスタンスの識別につながり得る。
【００９２】
図１０は、別の例示的な方法を例示している。方法は、デバイスから物体にレーダ信号を送信することであって、物体が、少なくとも１つの回転翼を含む、送信すること（１００２）と、デバイスにおいて、物体からの反射信号を受信することであって、反射信号が、少なくとも１つの回転翼の移動によって引き起こされるドップラーシグネチャを含む、受信すること（１００４）と、機械学習アルゴリズムを反射信号に適用して分類を生じさせることによって物体を分類することであって、機械学習アルゴリズムが、複数の物体の各々についてのそれぞれのドップラーシグネチャを利用して訓練され、複数の物体のそれぞれの各物体が、それぞれの回転翼を有する、分類すること（１００６）と、を含む。
【００９３】
方法は、デバイスにおいて、物体と関連付けられた赤外線信号を受信することと、機械学習アルゴリズムを反射レーダ信号および赤外線信号に適用して分類を生じさせることによって物体を分類することであって、機械学習アルゴリズムが、ラベル付けされた赤外線信号を利用して訓練される、分類することと、をさらに含むことできる。別の態様では、方法は、デバイスにおいて、物体と関連付けられた音声信号を受信することと、機械学習アルゴリズムを反射レーダ信号および音声信号に適用して分類を生じさせることによって物体を分類することであって、機械学習アルゴリズムが、ラベル付けされた音声信号を利用して訓練される、分類することと、を含むことができる。
【００９４】
また別の態様では、方法は、デバイスにおいて、物体と関連付けられた光信号を受信することと、機械学習アルゴリズムを反射レーダ信号および光信号に適用して分類を生じさせることによって物体を分類することであって、機械学習アルゴリズムが、ラベル付けされた光信号を利用して訓練される、分類することと、を含むことができる。
【００９５】
さらに別の態様では、方法は、デバイスにおいて、物体と関連付けられた音声信号を受信することと、デバイスにおいて、物体と関連付けられた赤外線信号を受信することと、デバイスにおいて、物体と関連付けられた光信号を受信することと、機械学習アルゴリズムを反射レーダ信号、赤外線信号、音声信号、および光信号に適用して分類を生じさせることによって物体を分類することであって、機械学習アルゴリズムが、ラベル付けされた音声信号、ラベル付けされた赤外線信号、およびラベル付けされた光信号を利用して訓練される、分類することと、を含むことができる。
【００９６】
さらなる態様では、方法は、機械学習アルゴリズムによって、反射レーダ信号、物体と関連付けられた音声信号、物体と関連付けられた赤外線信号、および物体と関連付けられた光信号のうちの１つ以上に基づいて、物体と関連付けられた移動パターンを判定することと、機械学習アルゴリズムを移動パターンに適用して分類を生じさせることによって物体を分類することであって、機械学習アルゴリズムが、ラベル付けされた移動パターンを利用して訓練される、分類することと、を含むことができる。移動パターンは、飛行物体のパターンまたは地上の物体の移動パターンのうちの１つを含むことができる。移動パターンはまた、物体のグループと関連付けられた移動パターンに少なくとも部分的に基づくことができる。
【００９７】
別の態様では、方法は、機械学習アルゴリズムによって、物体によって搬送されているペイロードを、反射レーダ信号、物体と関連付けられた音声信号、物体と関連付けられた赤外線信号、および物体と関連付けられた光信号のうちの１つ以上に基づいて判定して、ペイロード分類を生じさせることであって、機械学習アルゴリズムが、ラベル付けされたペイロードを利用して訓練される、生じさせること、を含むことができる。また別の態様では、この方法は、分類に基づいて、航空車両のスケジューリングおよびルーティングモジュールに命令を送信することと、分類に基づいて、物体と係合するように航空車両を展開することと、を含むことができる。理解することができるように、上述したアプローチは、機械学習アルゴリズムがこれらの異なる信号タイプに基づいて物体を分類することができるように、物体からの異なるタイプの信号を合わせて融合するための能力を含む。
【００９８】
ドップラーシグネチャを使用して物体を識別することについての１つの問題は、物体が特定の距離内にあることをそのことが必要とすることである。ドローンが遠くにある場合、レーダは、ドローンから反射された信号のみを拾うことができ、プロペラの使用からドップラーシグネチャを拾うことはできない可能性がある。しかしながら、音声の使用は、物体分類においてさらに役立つことができる。図１１は、物体を分類するために使用できる信号のタイプ、およびレーダシステム２０２からの物体の相対距離を例示している（１１００）。音声信号１１０８（Ａ）は、ほとんどすべての移動物体が音を作り出し、かつその音の分析が識別特徴につながり得るため、物体識別に有用であり得る。トラックは車とは異なる音を発し、車は、オートバイとは異なる音を発し、飛行中の物体も、異なる音を発する。明らかに、ヘリコプターと戦闘機との間には異なる音シグネチャが存在するが、異なるドローンモデル間にも異なる音シグネチャが存在する。音は、レーダシステム２０２により近い物体について使用することができる。
【００９９】
ドローン上の回転子は、回転子が金属製であるか、またはプラスチック製であるかによって異なる音シグネチャを作り出す。さらに、各ドローンモデルが作製するピッチは、固有であり、他のドローンモデルとは区別可能である。ドローンの識別は、機械学習モジュールに、機械学習モジュールの訓練に基づいて作り出されている音を分析して分類を作り出させることによって判定することができ、分類は、レーダシステムからの距離に基づくこともできる。例えば、最大範囲１１０８（Ｄ）を有するレーダ信号は、物体１１０２のレーダ２０２からの距離を識別することができる。その距離の知識を有すると、システムは、地上または空中の音の速さを考慮に入れて、物体の距離または分類の決定を調整することができる。
【０１００】
図１１は、距離コンポーネント１１００を含むことができる物体分類の例を表す。物体１１０２は、デバイス２０２からの特定の距離範囲１１０８にあり得る。距離範囲は、Ａ、Ｂ、Ｃ、Ｄ、またはＥであり得、Ａ、Ｂ、Ｃ、Ｄ、およびＥは、示されるように、相対的な順序での任意の距離の長さであり得る。物体距離インジケータコンポーネント２０２は、物体１１０４がどこにあるかを距離範囲１１０８内で判定することができる。距離インジケータ２０２は、インジケータ訓練情報１１１０と比較して、物体があり得るレーダシステム１１０６からのそれぞれの距離に対して適切であり得る１つ以上の信号を使用して分類のうちの１つ以上を作り出す機械学習デバイス２１６を含むことができる。例えば、レーダは、物体がレーダシステムからの距離Ｂまたは距離の範囲にあることを示し得、識別された範囲を考慮してシステム２０２の分類能力を強化するために赤外線信号および光信号を含める命令をシステム１１０６に提供することができる。次いで、入力データを、レーダを超えて強化して、他の信号タイプを追加して、異なるタイプのデータに基づいて、かつレーダシステムからの距離に基づいて分類分析を改善することができる。
【０１０１】
一例では、物体がＣの距離にある場合、物体観測命令１１０６は、レーダおよび赤外線信号受信機の使用を含むことができる。このことは、物体が距離Ｃ内にあるとき、物体を分析するためにレーダ信号および赤外線信号を使用することが最良であることを機械が学習したため、機械学習デバイス２１６によって判定され得る。代替的に、物体１１０２が物体距離範囲Ｄ内にある場合には、物体観測命令は、レーダのみを使用することを含むことができる。このことは、Ｄの距離において、物体を観測する最良の方法が、レーダの使用を通じたものであり、かつ音声が有効であるには距離が遠すぎるため、機械学習デバイス２１６によって学習され得る。この例では、物体の距離の変化は、機械学習デバイス２１６によって判定されるように、異なるタイプの信号受信デバイスの潜在的な使用を示す。
【０１０２】
図１２は、分類を提供する前に閾値信頼水準が満たされるかどうかを判定するための漸進的アプローチを含み得る別の方法例１２００を含む。方法例１２００は、物体情報を取得すること（１２０２）と、機械学習を通じて、特定の閾値が満たされているかどうかを判定すること（１２０４）と、特定の閾値が満たされている場合、最良推定、信頼水準、または最良推定および信頼水準の両方のいずれかを提供すること（１２０８）と、その後に、物体情報を取得すること（１２０２）を継続することと、を含む。閾値が満たされていない場合、方法は、最良推定、信頼水準、最良推定および信頼水準の両方、のいずれかを提供するか、または最良推定も信頼水準もいずれも提供しないこと（１２０６）と、次いで、物体情報を取得すること（１２０２）を継続することと、を含む。
【０１０３】
この方法を本明細書で論じられる複数の代替方法と組み合わせて強調する１つの例示的なシナリオは、デバイスから４キロメートル離れた物体から開始することができる。４ｋｍ離れた物体から取得された情報は、機械学習を使用して、物体情報がいかに正確でありかつ信頼性があるかを判定する。４ｋｍ離れたところで、範囲能力が、受信できる信号のタイプを制限し得る。例えば、レーダのみの使用は、許容可能でない誤差のマージンを有する判定または分類を生じさせ得る。４ｋｍ離れたところで、レーダリーディングは、２５％の信頼水準で、物体がドローンであるという最良推定を提供することが可能であり得る。この距離で、かつ２５％の信頼水準で、機械学習デバイス２１６は、閾値が満たされておらず、かつ物体情報を取得することを継続すべきであると判定し得る。
【０１０４】
ドローンが近付くにつれて、物体分類の品質を向上させるために、光信号または赤外線信号などの異なるタイプの信号から、追加のかつ更新された情報が取得される。例えば、物体が夜間に検出される場合、機械学習デバイスは、赤外線受信デバイスの使用を命令し得る。システムはまた、良好な分類の確率を高めるために物体に対する光学読み取りを得る範囲に物体があるときに、物体上に光を照射し得る。物体が昼間に検出される場合、機械学習デバイスまたはシステムは、光受信デバイスを使用することを必要とし得る。別の例では、ドローンが雲中を飛行している場合、音声受信デバイスに、音声データを記録するように命令することができる。任意の他の信号受信デバイスが機械学習デバイスによって必要と見なされる際には、この信号受信デバイスに、信号を受信するように命令することができる。機械学習の一部は、いずれの信号受信デバイスまたはデバイスの組み合わせが最もタイムリーかつ正確な物体分類を生じさせるかを、訓練を通じて学習することであり得る。機械学習デバイスの他に、別のデバイスが、この判定を行うこともできる。
【０１０５】
続く例では、光受信デバイスを使用することは、異なるタイプの信号が物体分類のために分析されることをもたらし、新たな分析は、信頼性を、物体が一般にドローンであるという８０％の信頼水準に増加させ、新たなかつ組み合わされた情報の場合には、ドローンがＭａｖｉｃなどの特有のタイプのドローンであるという２０％の信頼水準を有し得ると仮定する。物体を、継続して監視し、物体情報を、機械学習デバイスによって、継続して取得および評価する。物体が継続して近付くにつれて、機械学習デバイスは、マイクロホンなどの別の信号受信デバイスを使用して音声信号を受信するように命令することができ、音声信号を分析して、依然として閾値を満たすより正確な結果を作り出すことができるが、信頼水準を、物体がドローンであるという９９．９％、ドローンがＭａｖｉｃであるという８０％の信頼水準に増加させる。システムは、追加的に、ドローンがペイロードを搬送している４０％の見込みがあると結論することができる。デバイスは、継続して物体情報を取得し、それは、受信信号デバイスのすべてまたは融合からますます多くの情報が受信されるからである。結果として得られる情報は、物体がＭａｖｉｃドローンであること、物体がペイロードを搬送していること、および物体はＡｍａｚｏｎ製品を配送可能であるという８０％の信頼水準を有すること、を特定の信頼度で確認することができる。その時点で、物体は、機械学習デバイスによって判定されるような３つのすべての分類について許容可能な識別閾値に到達し得、次いで、どのように行動するかに関する命令を提供し得るか、または命令が必要とされないと判定し得る。
【０１０６】
継続的な例では、関連する命令は、物体はペイロードとして非敵対製品を搬送しているＭａｖｉｃドローンであるという９５％信頼水準を物体が有するまで、物体を継続して監視および識別することであり得る。しかしながら、代替例では、同じ物体が、この物体は爆発性デバイスを搬送している敵対ドローンであるという９９．９％の信頼水準で識別されるとすれば、機械学習デバイスからの命令は、到来する敵対ドローンを迎撃および破壊するために別のドローンまたはドローンの群れを展開することを含むことができる。代替的に、物体が鳥であると識別されるとすれば、機械学習デバイスからの命令は、鳥を無視することであり得る。別の例では、おそらく識別された物体は、爆発デバイスのないドローンであるが、この物体は、規制された空域上を飛行している。この例では、機械学習デバイスから判定された命令は、望ましくないドローンを、このドローンが規制された空域を離れるまで監視および威嚇するためにドローンまたはドローン隊を展開することであり得る。最後に、機械学習デバイスからの命令は、以前に列挙されなかった任意の他の命令セットであり得る。
【０１０７】
本明細書に記載される全方法の概要が、図１３に含まれる。まず、方法は、デバイスから物体情報にレーダ信号を送信すること（１３０２）を含む。次に、方法は、デバイスにおいて、物体からの反射信号、物体からの反射信号を受信すること（１３０４）を含み、反射信号は、ドップラーシグネチャを含むことができる。最後に、方法は、機械学習アルゴリズムを反射信号に適用して分類を生じさせることによって物体を分類することであって、機械学習アルゴリズムが、ラベル付けされた反射レーダ信号を利用して訓練される、分類すること（１３０６）をもたらす。機械学習アルゴリズムは、既知のドローンおよび／または他の物体のドップラーシグネチャで訓練される。
【０１０８】
いくつかのドローンは、ボートによって送信されるＡＩＳ信号のように、これらのドローン独自の識別信号を送信し得る。システムは、その信号を受信し、この信号を機械学習分析に組み込んで、分類決定を行うか否か確認し得る。
【０１０９】
本明細書に例示および記載される例および適用に従うことなく、また本開示の趣旨および範囲から逸脱することなく、本明細書に記載される原理に対して様々な修正および変更を加え得る。セット「のうちの少なくとも１つ」を列挙する請求項の言い回しは、セットの１つの部材またはセットの複数の部材がこの請求項を満たすことを示す。
【０１１０】
一態様では、本明細書に開示されるアプローチは、「教師あり」学習を伴うことができる。「教師なし」と呼ばれる別のクラスの学習があり、アルゴリズム自体が、何から学習するかを選択し、それによって機械を飛行ごとにより高性能にする。教師なし学習アプローチは、本開示の別の態様である。ある程度の「教師あり」訓練の後に、飛行デバイスが、以前に未知のドローンを見つけると、自動的にこのドローンの関連するシグネチャを学習し、このシグネチャを飛行中に既知のシグネチャのリストに追加することができる。この教師なし学習アプローチは、ドローンが時間とともにますます高性能になることを可能にする。
【０１１１】
ドローン分類またはシグネチャデータのための教師なし学習に加えて、飛行パターンの「教師なし」学習の概念もある。一例では、ドローンは、様々な物体の飛行パターンで教師あり訓練を使用して訓練される。ここでも、未知の飛行パターンを有する未知の物体を見つけると、ドローンは、その新たな物体の飛行パターンを自動的に学習することができる。この場合、予測は、物体を追尾して物体を捕捉する代わりに、ドローンに、物体の前に立ち塞がることを行わせることができる。使用される予測は、教師なし学習、および／または教師あり学習と教師なし学習との組み合わせによって生成することができる。
【０１１２】
いくつかの実施形態では、コンピュータ可読記憶デバイス、媒体、およびまたはメモリは、ビットストリームなどを包含するケーブルまたは無線信号を含むことができる。ただし、言及されるとき、非一時的なコンピュータ可読記憶媒体は、エネルギー、キャリア信号、電磁波、および信号自体などの媒体を明示的に除外する。
【０１１３】
上述の実施例による方法は、コンピュータ可読媒体に記憶されているか、またはコンピュータ可読媒体から他の方法で利用可能なコンピュータ実行可能命令を使用して実装することができる。このような命令は、例えば、特定の機能または機能のグループを実行するために汎用コンピュータ、専用コンピュータ、または専用処理デバイスを生じさせるか、または他の方法で構成する命令およびデータを含むことができる。使用されるコンピュータリソースの部分は、ネットワークを介してアクセス可能であり得る。コンピュータ実行可能命令は、例えば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、またはソースコードであり得る。命令、記載された例による方法中に使用される情報、および／または方法中に作成される情報を記憶するために使用され得るコンピュータ可読媒体の例として、磁気ディスクまたは光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワーク記憶デバイスなどが挙げられる。本明細書に開示される任意のトークンまたは構造／機能は、トークン化されたアセットオファリングまたはセキュリティトークンオファリングに適用することができる。
【０１１４】
これらの開示による方法を実装するデバイスは、ハードウェア、ファームウェア、および／またはソフトウェアを含むことができ、多様なフォームファクターのうちのいずれかを取ることができる。このようなフォームファクターの典型的な例として、ラップトップ、スマートフォン、小型フォームファクターパーソナルコンピュータ、パーソナルデジタルアシスタント、ラックマウントデバイス、スタンドアロンデバイスなどが挙げられる。本明細書に記載される機能性はまた、周辺機器またはアドインカードにおいて具現化され得る。このような機能性はまた、さらなる例として、単一のデバイスで実行される異なるチップまたは異なるプロセスの間で回路基板上に実装することができる。
【０１１５】
命令、このような命令を伝達する媒体、命令を実行するためのコンピューティングリソース、およびこのようなコンピューティングリソースをサポートするための他の構造は、これらの開示に記載される機能を提供するための手段である。
【０１１６】
多様な実施例および他の情報が別添の特許請求の範囲内の態様を説明するために使用されたが、当業者であれば、これらの実施例を使用して多種多様な実装形態を導出することができるため、特許請求の範囲の限定は、このような実施例の特定の特徴または配置に基づいて含意されるものではない。さらに、いくつかの主題が、構造の特徴および／または方法ステップの例に特有の言い回しで記載されている場合があるが、別添の特許請求の範囲に定義された主題が、必ずしもこれらの記載された特徴または行為に限定されないことを理解されたい。例えば、このような機能性は、本明細書で識別されるもの以外の構成要素において異なるように配分され得るか、または実施され得る。むしろ、記載される特徴およびステップは、別添の特許請求の範囲内のシステムおよび方法の構成要素の例として開示されている。さらに、セット「のうちの少なくとも１つ」を列挙する請求項の言い回しは、セットの１つの部材またはセットの複数の部材がこの請求項を満たすことを示す。
【０１１７】
１つの実施形態または実施例を参照する本明細書の特徴または構成は、本明細書の他の実施形態または実施例で実装され得るか、またはこれらと組み合わされ得ることを理解されたい。すなわち、「実施形態」、「変形例」、「態様」、「例」、「構成」、「実装形態」、「場合」などの用語、および構成の特有の特徴を記載するために本明細書で使用される実施形態を意識し得る任意の他の用語は、関連付けられた特徴または構成のうちのいずれかを特有のまたは別個の実施形態（複数可）に限定することを意図されておらず、このような特徴または構成が、他の実施形態、変形例、態様、例、構成、実装形態、場合などを参照して記載される特徴または構成と組み合わせることができないことを示唆するように解釈されるものではない。言い換えると、特有の例（例えば、実施形態、変形例、態様、構成、実装形態、場合など）を参照して本明細書に記載される特徴を、別の例を参照して記載される特徴と組み合わせることができる。正確には、当業者は、本明細書に記載される様々な実施形態または実施例、ならびにそれらの関連付けられた特徴を、任意の組み合わせで互いに組み合わせ得ることを容易に認識するであろう。
【０１１８】
「態様」などの語句は、このような態様が主題の技術に不可欠であること、またはこのような態様が主題の技術のすべての構成に適用されることを含意しない。態様に関する開示は、すべての構成、または１つ以上の構成に適用され得る。態様などの語句は、１つ以上の態様を指してもよく、その逆も指してもよい。「構成」などの語句は、このような構成が主題の技術に不可欠であること、またはこのような構成が主題の技術のすべての構成に適用されることを含意しない。構成に関する開示は、すべての構成、または１つ以上の構成に適用され得る。構成などの語句は、１つ以上の構成を指してもよく、その逆も指してもよい。「例示的な」という言葉は、本明細書において、「例または例示として役立つ」を意味するように使用される。「例示的な」として本明細書に記載される任意の態様または設計は、必ずしも他の態様または設計よりも好ましいまたは有利であると解釈されるべきではない。
【０１１９】
さらに、セット「のうちの少なくとも１つ」を列挙する請求項の言い回しは、セットの１つの部材またはセットの複数の部材がこの請求項を満たすことを示す。例えば、「Ａ、Ｂ、およびＣのうちの少なくとも１つ」または「Ａ、Ｂ、またはＣのうちの少なくとも１つ」を列挙する請求項の言い回しは、Ａ単独で、Ｂ単独で、Ｃ単独で、ＡおよびＢとともに、ＡおよびＣとともに、ＢおよびＣとともに、またはＡ、Ｂ、およびＣとともに、を意味する。
【図１】
2022502663.tif 000003
【図２】
2022502663.tif 000004
【図３】
2022502663.tif 000005
【図４】
2022502663.tif 000006
【図５Ａ】
2022502663.tif 000007
【図５Ｂ】
2022502663.tif 000008
【図６】
2022502663.tif 000009
【図７】
2022502663.tif 000010
【図８】
2022502663.tif 000011
【図９】
2022502663.tif 000012
【図１０】
2022502663.tif 000013
【図１１】
2022502663.tif 000014
【図１２】
2022502663.tif 000015
【図１３】
2022502663.tif 000016
【国際調査報告】
2022502663.tif 000017