(57)【要約】  ドローンシステムおよび方法が開示される。オーディオ信号が、ドローン上のロケーションに対して位置付けられた1つまたは複数のマイクロフォンを介して受信され、オーディオ信号のうちの1つまたは複数が、関心対象であるものとして識別される。次いで、ドローンの飛行特性が、関心対象であるオーディオ信号に基づいて制御される。
2019505047.tif 000002
【特許請求の範囲】
【請求項１】
ドローン上のロケーションに対して位置付けられた複数のマイクロフォンを介してオーディオ信号を受信するステップと、
関心対象であるオーディオ信号を識別するステップと、
関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御するステップと
を含む、方法。
【請求項２】
関心対象であるオーディオ信号を識別するステップが、関心対象のターゲットから受信されたオーディオ信号を選択するステップを含む、請求項1に記載の方法。
【請求項３】
前記オーディオ信号が、1つまたは複数のノイズソースから受信されたオーディオ信号を含み、
前記ドローンの飛行特性を制御するステップが、前記1つまたは複数のノイズソースからの前記オーディオ信号の存在下で関心対象の前記ターゲットからのオーディオ信号をより良く捕捉するために、前記ノイズソースおよび関心対象の前記ターゲットに対して前記ドローンを位置付けるステップを含む、請求項2に記載の方法。
【請求項４】
前記選択されたオーディオ信号が、追跡されている物体から受信されたオーディオ信号であり、
前記ドローンの飛行特性を制御するステップが、前記選択されたオーディオ信号のうちの1つまたは複数の到来方向(DOA)を判定するステップと、前記1つまたは複数の選択されたオーディオ信号の前記DOAに基づいて前記ドローンを位置付けるステップとを含む、請求項2に記載の方法。
【請求項５】
前記オーディオ信号が、1つまたは複数のノイズソースから受信されたオーディオ信号を含み、
前記選択されたオーディオ信号が、追跡されている物体から受信されたオーディオ信号であり、
前記ドローンの飛行特性を制御するステップが、追跡されている前記物体からの前記オーディオ信号の到来方向(DOA)を前記1つまたは複数のノイズソースからの前記オーディオ信号の前記DOAから分離するために、前記選択されたオーディオ信号のうちの1つまたは複数の前記DOAを判定するステップと、前記ノイズソースおよび関心対象の前記ターゲットに対して前記ドローンを位置付けるステップとを含む、
請求項2に記載の方法。
【請求項６】
前記ドローンが前記ノイズソースのうちの1つまたは複数を含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ドローンのノイズソースに対して位置付けられ、前記ドローンを位置付けるステップが前記マイクロフォンおよび前記ドローンのノイズソースを前記選択されたオーディオ信号の前記DOAに対して方向付けるステップを含む、請求項5に記載の方法。
【請求項７】
前記ドローンが1つまたは複数のノイズソースを含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ノイズソースに対して位置付けられ、前記ドローンを位置付けるステップが前記マイクロフォンを前記ドローンのノイズソースに対して動かすステップを含む、請求項5に記載の方法。
【請求項８】
前記ドローンが1つまたは複数のノイズソースを含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ドローンのノイズソースに対して位置付けられ、前記ドローンを位置付けるステップが前記選択されたオーディオ信号の捕捉をビームフォーミングを介して強化するステップを含む、請求項5に記載の方法。
【請求項９】
前記選択されたオーディオ信号が、追跡されている物体から受信されたオーディオ信号であり、
前記ドローンの飛行特性を制御するステップが、前記選択されたオーディオ信号に基づいて追跡されている前記物体を追尾するステップを含む、請求項2に記載の方法。
【請求項１０】
オーディオ信号を受信するステップが、前記選択されたオーディオ信号上でビームフォーミングを実行するために前記複数のマイクロフォンのうちの2つ以上を位置付けるステップを含む、請求項2に記載の方法。
【請求項１１】
前記ドローンの飛行特性を制御するステップが、前記選択されたオーディオ信号に基づいて前記関心対象の物体を追尾するステップを含む、請求項10に記載の方法。
【請求項１２】
関心対象の前記ターゲットを追尾するステップが、
前記選択されたオーディオ信号のうちの1つの振幅を測定するステップと、
最近の所定の時間期間にわたって測定された前記振幅に基づいて平均振幅を判定するステップと、
前記平均振幅を値の範囲内に保つために前記関心対象の物体に対する位置を維持するステップと
を含む、請求項11に記載の方法。
【請求項１３】
前記オーディオ信号が、関心対象の物体から受信された1つまたは複数のオーディオ信号を含み、
関心対象であるオーディオ信号を識別するステップが、前記受信されたオーディオ信号のうちの1つまたは複数を表すデータを前記ドローンのトランスミッタを介して送信するステップを含み、
前記ドローンの飛行特性を制御するステップが、
飛行制御コマンドを前記ドローンのレシーバにおいて受信するステップであって、前記飛行制御コマンドが、前記関心対象の物体から受信された前記オーディオ信号のうちの1つまたは複数を選択し、かつ前記選択されたオーディオ信号に基づいて前記関心対象の物体を追跡するように前記ドローンに指示する、ステップを含む、
請求項1に記載の方法。
【請求項１４】
前記関心対象の物体を追跡するステップが、
前記関心対象の物体から受信された前記選択されたオーディオ信号のうちの1つの振幅を測定するステップと、
最近の所定の時間期間にわたって測定された前記振幅に基づいて平均振幅を判定するステップと、
前記平均振幅を値の範囲内に保つために前記関心対象の物体に対する位置を維持するステップと
を含む、請求項13に記載の方法。
【請求項１５】
飛行制御コマンドを受信するステップが、前記ノイズソースからの前記オーディオ信号の存在下で前記関心対象の物体からのオーディオ信号をより良く捕捉するために、ノイズソースおよび前記関心対象の物体に対して前記ドローンを位置付ける飛行コマンドを受信するステップを含む、請求項13に記載の方法。
【請求項１６】
前記受信されたオーディオ信号が、1つまたは複数のノイズソースから受信されたオーディオ信号を含み、
飛行制御コマンドを受信するステップが、前記選択されたオーディオ信号のDOAを前記1つまたは複数のノイズソースから受信されたオーディオ信号のDOAから分離するために必要なドローンの動きを識別するコマンドを受信するステップを含む、
請求項13に記載の方法。
【請求項１７】
前記ドローンが前記ノイズソースのうちの1つまたは複数を含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ドローンのノイズソースに対して位置付けられ、飛行制御コマンドを受信するステップが前記マイクロフォンおよび前記ドローンのノイズソースを前記選択されたオーディオ信号の前記DOAに対して方向付けるコマンドを受信するステップを含む、請求項16に記載の方法。
【請求項１８】
前記ドローンが1つまたは複数のノイズソースを含み、飛行制御コマンドを受信するステップが、前記ドローンのノイズソースに対して前記マイクロフォンを動かすコマンドを受信するステップを含む、請求項16に記載の方法。
【請求項１９】
関心対象であるオーディオ信号を識別するステップが、
ノイズソースでない1つまたは複数のオーディオソースをプロセッサ内で判定するステップと、
ノイズソースでない前記1つまたは複数のオーディオソースからオーディオソースを選択するステップと、
前記選択されたオーディオソースからの前記オーディオ信号を識別するステップと
を含む、請求項1に記載の方法。
【請求項２０】
前記選択されたオーディオソースが追跡されている物体であり、
前記ドローンの飛行特性を制御するステップが、追跡されている前記物体からのオーディオ信号のDOAをノイズソースからのオーディオ信号のDOAから遠ざけておくように前記ドローンを位置付けるステップを含む、
請求項19に記載の方法。
【請求項２１】
追跡されている前記物体を追尾するように前記ドローンを位置付けるステップが、
前記物体からのオーディオ信号の振幅を測定するステップと、
最近の所定の時間期間にわたって測定された前記物体からの前記オーディオ信号の振幅の関数として前記物体からの前記オーディオ信号の平均振幅を判定するステップと、
前記平均振幅をほぼ一定に保つように追跡されている前記物体に対する位置を維持するステップと
を含む、請求項20に記載の方法。
【請求項２２】
関心対象であるオーディオ信号を識別するステップが、
関心対象のターゲットを表すオーディオ信号シグネチャを記憶するステップと、
前記受信されたオーディオ信号を前記記憶されたオーディオ信号シグネチャと比較するステップと、
前記記憶されたオーディオ信号シグネチャと一致するオーディオ信号を有するオーディオソースを識別するステップと
を含む、請求項1に記載の方法。
【請求項２３】
命令を記憶する不揮発性コンピュータ可読記憶媒体であって、前記命令が実行されたとき、1つまたは複数のプロセッサに、
ドローン上のロケーションに対して位置付けられた1つまたは複数のマイクロフォンを介してオーディオ信号を受信することと、
関心対象であるオーディオ信号を識別することと、
関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御することと
を行わせる、不揮発性コンピュータ可読記憶媒体。
【請求項２４】
実行されたとき、前記1つまたは複数のプロセッサに、関心対象であるオーディオ信号を識別させる前記命令が、実行されたとき、1つまたは複数のプロセッサに、
関心対象のターゲットを表すオーディオ信号シグネチャを記憶することと、
前記受信されたオーディオ信号を前記記憶されたオーディオ信号シグネチャと比較することと、
前記記憶されたオーディオ信号シグネチャと一致するオーディオ信号を有するオーディオソースを識別することと
を行わせる命令を含む、請求項23に記載の不揮発性コンピュータ可読記憶媒体。
【請求項２５】
少なくとも1つのプロセッサと、
レシーバと、
トランスミッタと、
命令を記憶する不揮発性コンピュータ可読記憶媒体であって、前記命令が、
ドローンによって受信されたオーディオ信号を表すオーディオ信号情報を受信することと、
前記オーディオ信号情報に基づいて関心対象である1つまたは複数のオーディオ信号を識別することと、
関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御することと
を行うために前記少なくとも1つのプロセッサによって実行可能である、不揮発性コンピュータ可読記憶媒体と
を備える、ドローンリモコン。
【請求項２６】
前記ドローンリモコンがディスプレイおよび入力インターフェースをさらに備え、前記命令が、前記受信されたオーディオ信号情報に対応する位相差プロットを前記ディスプレイ上に表示することと、関心対象の1つまたは複数のオーディオ信号の表示を前記入力インターフェースを介して受信することとを行うために少なくとも1つのプロセッサによって実行可能である命令をさらに含む、請求項25に記載のドローンリモコン。
【請求項２７】
前記オーディオ信号情報が、関心対象のターゲットから前記ドローンによって受信されたオーディオ信号および1つまたは複数のノイズソースから受信されたオーディオ信号を表すターゲットオーディオ信号情報を含み、前記ドローンリモコンがディスプレイおよび入力インターフェースをさらに備え、前記命令が、前記オーディオ信号情報の態様を表す画像を前記ディスプレイ上に表示するために少なくとも1つのプロセッサによって実行可能である命令をさらに含み、
関心対象である1つまたは複数のオーディオ信号を前記オーディオ信号情報に基づいて識別するために前記少なくとも1つのプロセッサによって実行可能である前記命令が、関心対象の前記ターゲットから前記ドローンによって受信された前記オーディオ信号のうちの1つまたは複数の表現を含む前記画像の一部を識別する入力を前記入力インターフェースを介して受信するための命令を含み、
関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御するために前記少なくとも1つのプロセッサによって実行可能である前記命令が、飛行コマンドを形成するための命令を含み、前記飛行コマンドが、ドローンによって受信されるときに、前記1つまたは複数のノイズソースからの前記オーディオ信号の存在下で関心対象の前記ターゲットからオーディオ信号をより良く捕捉するために、前記ノイズソースおよび関心対象の前記ターゲットに対して前記ドローンを方向付けるように前記ドローンに指示する、請求項25に記載のドローンリモコン。
【請求項２８】
ドローンであって、
プロセッサと、
複数のマイクロフォンと、
レシーバと、
トランスミッタと、
命令を記憶する不揮発性コンピュータ可読記憶媒体であって、前記命令が、
前記マイクロフォンを介してオーディオ信号を受信することと、
関心対象であるオーディオ信号を識別することと、
関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御することと
を行うために前記プロセッサによって実行可能である、不揮発性コンピュータ可読記憶媒体と
を備える、ドローン。
【請求項２９】
前記マイクロフォンのうちの1つまたは複数が、前記プロセッサの制御の下で前記ドローンの周辺で移動可能である、請求項28に記載のドローン。
【請求項３０】
前記ドローンがカメラをさらに備え、前記カメラが関心対象のターゲットを指しているとき、前記ドローンのノイズソースからほぼ最大に分離するために、前記マイクロフォンが、前記カメラに対しておよび前記ドローン上の前記ノイズソースに対して位置付けられる、請求項28に記載のドローン。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、その内容全体が参照により本明細書に組み込まれる、2016年1月28日に出願された米国仮特許出願第62/288,351号の利益を主張するものである。
【０００２】
本開示は、ドローンを制御するための技法に関する。
【背景技術】
【０００３】
ドローンと呼ばれることがある無人航空機は、ますます価格が手頃で能力が高くなり、ドローンの使用は急拡大している。ドローンは、包装容器の配送、環境監視、および交通管制における使用がうたわれているが、それらは主に、ビデオまたは静止画像を捕捉するために使用される。今日まで、オーディオ信号をドローンで捕捉することは、非常に困難であった。その理由の一部は、ドローンが典型的には音ソースからかなり遠くで動作することにある。加えて、ドローンによって捕捉される任意のオーディオ信号は、モータおよびロータからのノイズによって、ならびに風の乱気流によって劣化する。1つの解決策は、(たとえば、リモコン上の)別個のマイクロフォンを介してオーディオ信号を捕捉し、次いで、ドローンによって捕捉されたビデオに捕捉されたオーディオ信号を加えることである。しかしながら、ドローンとマイクロフォンとの間のレイテンシ問題によって、オーディオ信号とビデオを同期させることは困難である。
【発明の概要】
【課題を解決するための手段】
【０００４】
いくつかの例では、本開示は、オーディオソースから受信されたオーディオ信号を介してドローンの飛行特性を制御するための技法を説明する。
【０００５】
一例では、方法は、ドローン上のロケーションに対して位置付けられた1つまたは複数のマイクロフォンを介してオーディオ信号を受信するステップと、関心対象であるオーディオ信号を識別するステップと、関心対象であるオーディオ信号に基づいてドローンの飛行特性を制御するステップとを含む。
【０００６】
別の例では、不揮発性コンピュータ可読記憶媒体が命令を記憶し、その命令は、実行されたとき、1つまたは複数のプロセッサに、ドローン上のロケーションに対して位置付けられた1つまたは複数のマイクロフォンを介してオーディオ信号を受信することと、関心対象であるオーディオ信号を識別することと、関心対象であるオーディオ信号に基づいてドローンの飛行特性を制御することとを行わせる。
【０００７】
別の例では、ドローンリモコンは、少なくとも1つのプロセッサと、レシーバと、トランスミッタと、命令を記憶する不揮発性コンピュータ可読記憶媒体とを含み、その命令は、ドローンによって受信されたオーディオ信号を表すオーディオ信号情報を受信することと、関心対象である1つまたは複数のオーディオ信号をオーディオ信号情報に基づいて識別することと、関心対象であるオーディオ信号に基づいてドローンの飛行特性を制御することとを行うために少なくとも1つのプロセッサによって実行可能である。
【０００８】
さらに別の例では、ドローンは、プロセッサと、複数のマイクロフォンと、レシーバと、トランスミッタと、命令を記憶する不揮発性コンピュータ可読記憶媒体とを含み、その命令は、マイクロフォンを介してオーディオ信号を受信することと、関心対象であるオーディオ信号を識別することと、関心対象であるオーディオ信号に基づいてドローンの飛行特性を制御することとを行うためにプロセッサによって実行可能である。
【０００９】
1つまたは複数の例の詳細が、添付図面および以下の説明において記載される。他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかになろう。
【図面の簡単な説明】
【００１０】
【図１】本開示の1つまたは複数の技法による、ドローンの飛行特性を制御するドローン飛行制御システムを示す図である。
【図２】本開示の1つまたは複数の技法による、ドローンの飛行特性を制御するための技法を示すフローチャートである。
【図３】本開示の1つまたは複数の技法による、図1のドローンに対する例示的一手法に対する概念図である。
【図４】本開示の1つまたは複数の技法による、図1のドローンリモコンに対する例示的一手法に対する概念図である。
【図５】本開示の1つまたは複数の技法による、図1のドローンに対する別の例示的手法に対する概念図である。
【図６】本開示の1つまたは複数の技法による、オーディオソースから受信されたオーディオ信号の品質を向上させるためにドローンの飛行特性を制御するための技法を示すフローチャートである。
【図７】本開示の1つまたは複数の技法による、受信されたオーディオ信号内のノイズソースの寄与を低減するためにドローンの飛行特性を制御するための技法を示すフローチャートである。
【図８】本開示の1つまたは複数の技法による、左および右のチャネルを有するドローンオーディオ信号のステレオ録音を示す例示的なスペクトログラムである。
【図９】本開示の1つまたは複数の技法による、オーディオ信号のドローンによるステレオ録音の左チャネルと右チャネルとの間の例示的な位相差プロットを示す図である。
【図１０】本開示の1つまたは複数の技法による、非定常高調波干渉としてロータノイズを示すスペクトログラムである。
【図１１】本開示の1つまたは複数の技法による、ロータノイズの影響を低減するための技法を示すフローチャートである。
【図１２】本開示の1つまたは複数の技法による、図10のオーディオスペクトルをワープすることを示すスペクトログラムである。
【図１３】本開示の1つまたは複数の技法による、図11の技法を適用した後の図10のオーディオスペクトルを示すスペクトログラムである。
【図１４】本開示の1つまたは複数の技法による、追跡されているターゲットによって生成されたオーディオ信号の信号品質を高めるための技法を示すフローチャートである。
【図１５】本開示の1つまたは複数の技法による、図1のドローンにマイクロフォンを追加するための例示的一手法の概念図である。
【図１６】本開示の1つまたは複数の技法による、ロータおよびカメラに対するドローン上のマイクロフォンの配置を示す概念図である。
【図１７Ａ】本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。
【図１７Ｂ】本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。
【図１７Ｃ】本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。
【図１８Ａ】本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。
【図１８Ｂ】本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。
【図１８Ｃ】本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。
【図１９Ａ】本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。
【図１９Ｂ】本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す図である。
【図２０Ａ】本開示の1つまたは複数の技法による、マルチチャネルオーディオ信号出力および共有された低周波数チャネルを有する多焦点ネスト化放物線構造600を示す図である。
【図２０Ｂ】本開示の1つまたは複数の技法による、マルチチャネルオーディオ信号出力および共有された低周波数チャネルを有する多焦点ネスト化放物線構造600を示す図である。
【図２１Ａ】本開示の1つまたは複数の技法による、マルチマイクロフォンオーディオ信号捕捉のための六角形放物線反射面700を示す図である。
【図２１Ｂ】本開示の1つまたは複数の技法による、マルチマイクロフォンオーディオ信号捕捉のための六角形放物線反射面700を示す図である。
【発明を実施するための形態】
【００１１】
ドローンに対する飛行制御は、双方向テレメトリリンクを介して流される全地球測位衛星(GPS)対応オートパイロットシステムからリモコンに反応する基本的安定化システムまであらゆる範囲にわたる。本開示は、ドローン近傍で受信されたオーディオ信号に基づいてドローンの飛行特性を制御するためのシステムおよび方法を説明する。各オーディオ信号は、1つまたは複数のオーディオソースによって生成される場合がある。ドローンは、ロータノイズから風ノイズに及ぶいくつかの自己生成ノイズソースを有する。本開示では、自己生成ノイズの影響を低減するためおよび関心対象のオーディオ信号の信号対ノイズ比を向上させるための、いくつかの方法が説明される。たとえば、1つまたは複数のマイクロフォンを有するドローンは、自己生成ノイズに鑑みて特定のオーディオソースからのオーディオ信号品質を高めるように位置付けられてもよい。別の例では、ドローン上のマイクロフォンは、自己生成ノイズに対してオーディオ信号品質を高めるようにドローン上のノイズソースに対して位置付けられる。
【００１２】
またさらに、ドローン近傍で受信されたオーディオ信号のオーディオ信号品質を高めるようにマイクロフォンを位置付けるためのシステムおよび方法が説明される。例示的一手法では、オーディオソースが識別され、そのオーディオソースから受信されたオーディオ信号が、ドローンの一部の上の自己生成ノイズに鑑みてそのオーディオソースからのオーディオ信号のオーディオ信号品質を高めるように修正される。そのような例示的一手法では、オーディオソースから発出するオーディオ信号に対する到来方向(DOA)が判定され、ビーム形成が、オーディオソースから捕捉されたオーディオ信号を高めるために使用される。いくつかの例示的手法では、位相差プロットが、オーディオソースの選択をユーザに提示するために使用され、ユーザは、位相差プロットからのオーディオソースを関心対象のターゲットとして選択する。いくつかのそのような例示的手法では、ドローンは、ターゲットからのオーディオ信号をドローンの自己生成ノイズから分離するために、関心対象のターゲットに対するドローンの向きまたは位置を変更するように指示される。位相差プロットは、関心対象の信号の到来方向を表示するための一方法である。他の時間領域または周波数領域の手法が、同様に、自己生成ノイズの存在下でオーディオ信号のDOAを判定して表示するために使用されてもよい。
【００１３】
図1は、本開示の1つまたは複数の技法による、ドローンの飛行特性を制御するドローン飛行制御システムを示す。図1の例示的手法では、ドローン飛行制御システム10は、通信リンク16を介してドローンリモコン14に通信可能に接続されたドローン12を含む。例示的一手法では、通信リンク16は、ワイヤレス通信リンクである。
【００１４】
図1の例示的手法では、ドローン12は、1つまたは複数のロータ20と、1つまたは複数のマイクロフォン22と、1つまたは複数のカメラ24とを含む。そのような例示的一手法では、カメラ24およびマイクロフォン22によって捕捉された画像、ビデオおよびオーディオは、画像、ビデオおよびオーディオをドローンリモコン14において見ることおよび聞くことができるように、リンク16を介してドローンリモコン14に送信されてもよい。例示的一手法では、ドローンリモコン14は、ディスプレイ30と、スピーカー32と、入出力(I/O)インターフェース34とを含む。そのような例示的一手法では、ディスプレイ30はタッチスクリーンディスプレイである。
【００１５】
例示的一手法では、マラソンを走るランナーは、彼のレースのビデオを欲する。ランナー(すなわち、図1の関心対象のターゲット(ターゲット18))は、周期的に叫ぶことによるかまたは周期的にビープ音を発するビーパーなど、音を生成するデバイスを活性化することによって、オーディオ信号を発出する。例示的一手法では、オーディオ信号は、ドローン12によって捕捉されかつ追跡される。そのような例示的一手法では、ターゲット18によってまたはターゲット18の近傍で発出されたオーディオ信号19は、ドローン12によって受信され、ドローン12の飛行特性を制御するために処理されかつ使用される。いくつかの例では、ランナーに対応するオーディオ信号が識別され、捕捉されているオーディオ信号の品質を改善して関心対象のオーディオ信号への周囲ノイズの影響を低減するために、ドローン上のマイクロフォンが、ランナーに対して位置付けられる。
【００１６】
別のそのような例では、ターゲット18によってまたはターゲット18の近傍で発出されたオーディオ信号19は、ドローン12によって受信され、処理され、かつリンク16を介してドローンリモコン14に送信される。次いで、ドローンリモコン14は、ドローン12の飛行特性を制御するために使用されるコマンドを策定するために受信されたオーディオ信号を使用する。いくつかのそのような例では、ユーザは捕捉されたオーディオ信号の表現の中で関心対象のオーディオ信号を識別し、ドローン上のマイクロフォンが、オーディオ信号の品質を改善するためまたは関心対象の信号への周囲ノイズの影響を低減するために、関心対象の信号の生成元に対して位置付けられる。
【００１７】
例示的一手法では、マイクロフォン22はロータ20の下方に設置され、直接的なロータノイズを遮り、遮断することによって保護される。別の例示的手法では、マイクロフォン22は、カメラ24に隣接して置かれる。さらに別の例示的手法では、マイクロフォン22は、ドローン12の本体の下に設置され、防音材料および遮蔽によって保護される。さらに別の例示的手法では、カメラ24が、関心対象のターゲットを指しているときにマイクロフォン22がドローン12のノイズソース(ロータ20など)から最大に分離するように位置付けられるように、カメラ24がマイクロフォン22に対して置かれる。
【００１８】
例示的一手法では、カメラ24のうちの1つまたは複数がスイベルに接続され、ドローン本体とは無関係に回転することができる。そのような例示的一手法では、1つまたは複数のマイクロフォン22が1つまたは複数のカメラ24の各々に取り付けられ、カメラ24とともに回転する。
【００１９】
例示的一手法では、3つ以上のマイクロフォン22が、3次元においてオーディオソースを判別するように位置付けられる。そのような例示的一実施形態では、マイクロフォン22は、マイクロフォン22のうちの1つまたは複数がドローン本体に対する位置を変更することができるように位置付けられる。
【００２０】
通信リンク16は、ドローン12からドローンリモコン14に、受信されたオーディオ信号データを移動することが可能な任意のタイプの媒体またはデバイスを備えてもよい。一例では、リンク16は、ソースデバイス12がリアルタイムでドローンリモコン14に受信されたオーディオ信号データを直接送信することを可能にする通信媒体を備えてもよい。受信されたオーディオ信号データは、ワイヤレス通信プロトコルなどの通信規格に従って変調され、ドローンリモコン14に送信されてもよい。通信媒体は、無線周波数(RF)スペクトル、または1つもしくは複数の物理伝送線路など、任意のワイヤレス通信媒体またはワイヤード通信媒体を備えてもよい。一手法では、通信媒体は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネットなどのグローバルネットワークなど、パケットベースネットワークの一部を形成してもよい。通信媒体は、ルータ、スイッチ、基地局、またはドローン12とドローンリモコン14との間の通信を容易にするために有用であることがある任意の他の機器を含んでもよい。
【００２１】
図2は、本開示の1つまたは複数の技法による、ドローンの飛行特性を制御するための技法を示すフローチャートである。図2のフローチャートでは、オーディオ信号が受信され、いくつかの例では、オーディオ記録デバイスによって記録される(100)。受信されたオーディオ信号は分析され、受信されたオーディオ信号のうちの1つまたは複数は、関心対象であるオーディオ信号として識別される(102)。次いで、ドローン12の飛行特性は、関心対象であるオーディオ信号を介して制御される(104)。いくつかの例示的手法では、オーディオ記録デバイスはドローン12であり、受信されるオーディオ信号はマイクロフォン22によって捕捉される。他の例示的手法では、オーディオ記録デバイスはドローンリモコン14であり、受信されるオーディオ信号はドローンリモコン14に接続されたマイクロフォンを介して捕捉される。さらに他の例示的手法では、オーディオ信号は、ドローン12またはドローンリモコン14のいずれかから離れたマイクロフォンによって捕捉され、ドローン12またはドローンリモコン14のいずれかによって記録される。
【００２２】
例示的一手法では、ドローン12は周期的にマイクロフォン22を動かし、それにより、マイクロフォン22に到達する音がその到来方向を変える(106)。例示的一手法では、マイクロフォンのロケーションは、ドローンの本体に対してマイクロフォン22を回転させることによって変更される。他の例示的手法では、オーディオソースに対するマイクロフォンのロケーションは、ドローン12を空中で動かすことによって、またはドローン12を回転させることによって変更される。関心対象のオーディオ信号が存在するかどうかを判定するために、108において検査が行われ、存在する場合、制御は102に移動し、102において、受信されたオーディオ信号が分析され、受信されたオーディオ信号のうちの1つまたは複数が、関心対象であるオーディオ信号として識別される。
【００２３】
図3は、本開示の1つまたは複数の技法による、図1のドローンに対する例示的一手法に対する概念図である。図3の例示的手法では、ドローン12は、メモリ42に接続された1つまたは複数のプロセッサ40と、1つまたは複数のマイクロフォン22と、レシーバ44と、トランスミッタ46とを含む。そのような例示的一手法では、ドローン12は、リンク16上でレシーバ44およびトランスミッタ46を介してドローンリモコン14と通信する。例示的一手法では、マイクロフォン22は、ドローンの本体に接続される。他の例示的手法では、マイクロフォン22はドローン12とは別のロケーションに置かれ、ワイヤードまたはワイヤレス通信リンク48を介してドローン12に、受信されたオーディオ信号を表す信号を送信する。
【００２４】
図4は、本開示の1つまたは複数の技法による、図1のドローンリモコンに対する例示的一手法に対する概念図である。図4の例示的手法では、ドローンリモコン14は、ディスプレイ30に接続された1つまたは複数のプロセッサ50と、1つまたは複数のスピーカー32と、入出力インターフェース34と、メモリ52と、レシーバ54と、トランスミッタ56とを含む。そのような例示的一手法では、ドローンリモコン14はまた、ワイヤードまたはワイヤレスリンクを介して1つまたは複数マイクロフォン58に取り付けられる。そのような例示的一手法では、ドローン12は、リンク16上でレシーバ54およびトランスミッタ56を介してドローンリモコン14と通信する。例示的一手法では、マイクロフォン58は、ドローンリモコン14の本体に接続される。他の例示的手法では、マイクロフォン58はドローンリモコン14とは別のロケーションに置かれ、ワイヤードまたはワイヤレス通信リンク60を介してドローンリモコン14に受信されたオーディオ信号を表す信号を送信する。
【００２５】
例示的一手法では、マイクロフォン22はターゲット18からオーディオ信号を受信し、プロセッサ40のうちの1つまたは複数は、受信されたオーディオ信号を表すデータをメモリ42に記憶する。そのような例示的一手法では、メモリ42に記憶されているデータが分析され、強化されて、強化されたデータを表すデータがドローンリモコン14に送信される。そのような例示的一手法では、プロセッサ50はオーディオ信号データを受信し、受信されたオーディオ信号データをメモリ52に記憶する。次いで、プロセッサ50は、強化されたオーディオ信号データを表すデータをディスプレイ30上に表示し、関心対象のオーディオ信号を選択するユーザ入力をユーザインターフェース(たとえば、I/Oインターフェース34)を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。別のそのような例示的手法では、ディスプレイ30はタッチスクリーンディスプレイである。ドローンリモコン14は、強化されたオーディオ信号データを表すデータをタッチスクリーンディスプレイ30内に表示し、関心対象のオーディオ信号を選択するユーザ入力をタッチスクリーンディスプレイ30を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。
【００２６】
別の例示的手法では、ドローン12のプロセッサ40のうちの1つまたは複数が、受信されたオーディオ信号の全部または一部をリンク16を介してドローンリモコン14に転送する。ドローンリモコン14のプロセッサ50は受信されたオーディオ信号をメモリ52に記憶し、分析してデータをディスプレイ30に表示する前にデータを強化する。そのような例示的一手法では、ドローンリモコン14は、強化されたオーディオ信号データを表すデータをディスプレイ30内に表示し、関心対象のオーディオ信号を選択するユーザ入力をユーザインターフェース(たとえば、I/Oインターフェース34)を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。別のそのような例示的手法では、上述のように、ディスプレイ30はタッチスクリーンディスプレイである。ドローンリモコン14は、強化されたオーディオ信号データを表すデータをタッチスクリーンディスプレイ30内に表示し、関心対象のオーディオ信号を選択するユーザ入力をタッチスクリーンディスプレイ30を介して受信し、かつ選択された関心対象のオーディオ信号の表示をドローン12に送信する。
【００２７】
さらに別の例示的手法では、マイクロフォン22において受信されたオーディオ信号を表すデータは、マイクロフォン58において受信されたオーディオ信号と組み合わされて、システム10のオーディオ環境を表すオーディオ信号に到達する。そのような例示的一手法では、ドローンリモコン14のプロセッサ50のうちの1つまたは複数は、マイクロフォン22によって受信されたオーディオ信号を表すデータとマイクロフォン58によって受信されたオーディオ信号を表すデータとを受信かつ処理してメモリ52に記憶する。そのような例示的一手法では、ドローンリモコン14は、組み合わされたオーディオ信号を表すデータをディスプレイ30内に表示し、関心対象のオーディオ信号を選択するユーザ入力をユーザインターフェース(たとえば、I/Oインターフェース34)を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。別のそのような例示的手法では、上述のように、ディスプレイ30はタッチスクリーンディスプレイである。そのような一手法では、ドローンリモコン14は組み合わされたオーディオ信号を表すデータをタッチスクリーンディスプレイ30内に表示し、関心対象のオーディオ信号をタッチスクリーンディスプレイ30上で選択するユーザ入力をタッチスクリーンディスプレイ30を介して受信し、選択された関心対象のオーディオ信号の表示をドローン12に送信する。
【００２８】
図5は、本開示の1つまたは複数の技法による、図1のドローンに対する別の例示的手法に対する概念図である。図5の例示的手法では、ドローン12は、メモリ42と、1つまたは複数のマイクロフォン22と、1つまたは複数のカメラ24と、レシーバ44と、トランスミッタ46とに接続された1つまたは複数のプロセッサ40を含む。そのような例示的一手法では、ドローン12は、リンク16上でレシーバ44およびトランスミッタ46を介してドローンリモコン14と通信する。例示的一手法では、マイクロフォン22は、ドローン12の本体に接続される。他の例示的手法では、マイクロフォン22はドローン12とは別のロケーションに置かれ、ワイヤードまたはワイヤレス通信リンク48を介してドローン12に受信されたオーディオ信号を表す信号を送信する。さらに別の例示的手法では、マイクロフォン22はカメラ24に固定して搭載され、いくつかのそのような手法では、ドローン12に関連するオーディオソースに対するマイクロフォン22の配置を変更するために、マイクロフォン22およびカメラ24がドローン12の本体に対して回転する。
【００２９】
図2の説明において上述したように、システム10は、ドローン12、ドローンリモコン14および/または他の音捕捉デバイスによって受信されたオーディオ信号の関数としてドローン12の飛行特性を制御してもよい。図6は、本開示の1つまたは複数の技法による、オーディオソースから受信されたオーディオ信号の品質を向上させるためにドローンの飛行特性を制御するための技法を示すフローチャートである。例示的一手法では、これは、ノイズソースからのオーディオ信号の存在下で関心対象のターゲットからのオーディオ信号をより良く捕捉するために、任意のノイズソースおよび関心対象のターゲットに対してドローンを位置付けることを伴う。
【００３０】
図6のフローチャートでは、ドローンリモコン14のプロセッサ50は、受信されたオーディオ信号の到来方向(DOA)プロットをディスプレイ30上に表示する(120)。ユーザは、所望のオーディオソースから受信されたオーディオ信号に関連するDOAプロット上のオーディオ信号を識別し(122)、所望のオーディオソースから受信されたオーディオ信号の品質を向上させるようにドローン12を方向付けるようにシステム10に指示する(124)。そのような例示的一手法では、ドローンリモコン14のプロセッサ50は、所望のオーディオソースから受信されたオーディオ信号の信号対ノイズ比を向上させるようにドローン12を方向付ける。別の例示的手法では、ドローンリモコン14のプロセッサ50は、所望のオーディオソースから受信されたオーディオ信号の振幅を増大させるように、またはDOAがノイズソースのDOA領域内に入ることを回避するように、ドローン12を方向付ける。品質の他の測定器が、同様に、ドローン12を方向付けるために使用され得る。例示的一手法では、ドローンリモコン14のプロセッサ50は、所望のオーディオソースからのオーディオ信号の品質を向上させるようにドローン12のプロセッサ40に指示し、プロセッサ40は、ドローン12の適切な向きを決定する。
【００３１】
例示的一手法では、マイクロフォン22は、ドローン12上の一点に対してドローン12がマイクロフォンを動かすことを可能にするメカニズムを介してドローン12に搭載される。一手法では、マイクロフォンは、ロータ20を通して描かれた平面にほぼ平行な円盤上に設置される。そのような一手法では、円盤は、ドローン12上の点に対するマイクロフォン22の向きを変えるために回転され得る。そのような一手法では、カメラ24もまた円盤に搭載され、ドローン12の向き、姿勢またはロケーションを変えることなく回転され得る。そのような一手法では、システム10は、ドローン12の運動およびドローン12の下の円盤に取り付けられたマイクロフォン22の運動を介してオーディオソースに対してドローン12を方向付ける。
【００３２】
例示的一手法では、マイクロフォン22および/またはカメラ24は、ドローン12の本体に対する複数の次元における運動を可能にする、ドローン12の下に吊るされたメカニズムに搭載される。そのような一手法では、システム10は、ドローン12の運動およびドローン12の下に吊るされたマイクロフォン22の運動を介してオーディオソースに対してドローン12を方向付ける。
【００３３】
図7は、本開示の1つまたは複数の技法による、受信されたオーディオ信号に対するノイズソースの寄与を低減するためにドローンの飛行特性を制御するための技法を示すフローチャートである。図7のフローチャートでは、ドローンリモコン14のプロセッサ50は、受信されたオーディオ信号の到来方向(DOA)プロットをディスプレイ30上に表示する(140)。システム10(ユーザからの入力を有するかまたは有さない)は、ノイズソースからのDOAプロット上の受信されたオーディオ信号のうちの1つまたは複数を識別し(142)、関心対象の物体から受信されたオーディオ信号に対する、ノイズソースの影響を最小にするようにドローン自体を方向付けるようにドローン12に指示する(144)。例示的一手法では、プロセッサ40および/または50は、共通のノイズソース(たとえば、ロータノイズおよび風ノイズ)からオーディオ信号の寄与を識別し、1つまたは複数の他のオーディオソースを所望のオーディオソースとして取り扱う。次いで、ドローン12は、所望のオーディオソースから受信されたオーディオ信号を強化するように方向付けられる。そのような例示的一手法では、システム10は、所望の信号として最も高く強化された非ノイズソースに注目する。別の例示的手法では、所望のオーディオソースからのオーディオ信号は、所望のオーディオソースとしてオーディオソースを識別するために使用され得る特性を有し、システム10はその特性を有するオーディオ信号をモニタする。そのような例示的一手法では、関心対象のオーディオ信号のデータ辞書が、関心対象のターゲットからのオーディオ信号を識別するために使用される。図6に関して説明したような技法は、受信されたオーディオ信号に対して選択されたノイズソースの寄与を低減するのに有効である。
【００３４】
図8は、本開示の1つまたは複数の技法による、左および右のチャネルを有するドローンオーディオ信号のステレオ録音を示す例示的なスペクトログラムである。図8に示す例では、スペクトログラム200は、左チャネル202と右チャネル204とを含む。ロータノイズ(典型的なドローン12内の総ノイズに対する大きな原因)は、スペクトログラム200において比較的経時的に変化しないように見える。風ノイズは、スペクトログラムにおいて一貫した低周波数の存在である。関心対象のオーディオ信号は、図8内の列として示されるオーディオ信号である傾向がある。
【００３５】
図9は、本開示の1つまたは複数の技法による、オーディオ信号のドローンによるステレオ録音の左チャネルと右チャネルとの間の例示的な位相差プロットを示す。図9に示す例では、位相差プロット220は、3つのロータ20からのロータノイズ寄与222と音声の例の寄与224とを含む。例示的一手法では、ロータノイズ寄与222をフィルタで除去するために、ヌルフィルタリングが使用される場合がある。特定の音声の寄与224は位相差プロット220内で丸で囲まれている。
【００３６】
図8のスペクトログラム200および図9の位相差プロット220を考慮すれば、全体的に捕捉されるオーディオ信号から関心対象のオーディオ信号を分離することは可能である。図8および図9に示す例では、少なくとも2つのマイクロフォン22またはマイクロフォン58を用いて、一貫したDOA範囲および連続的な時間的活性化を有する時間および周波数の点が識別される。これらの連続的な部分が追跡されてゼロに設定され、ドローン12は他のすべてを記録する。図8および図9に示す例では、たとえば、ドローンのロータ20のロータノイズ寄与222がフィルタで除去され、残りの記録された音声224が捕捉されてもよい。そのような例示的一手法では、ノイズソースに対応する領域の外に、関心対象の信号を動かすために、マイクロフォンの位置付けが変更されてもよい。
【００３７】
図10は、本開示の1つまたは複数の技法による、非定常高調波干渉としてロータノイズを示すスペクトログラムである。図10に示す例では、スペクトログラム300は、時間に対する周波数の関数としてオーディオ信号を表示する。図10に示す例では、ロータノイズは周波数f0を有する(図10の黒い線302で示す)。例示的一手法では、システム10は、f0周辺のスペクトルをワープし、得られたノイズ寄与をフィルタリングすることによってロータノイズの影響を低減する。
【００３８】
図11は、本開示の1つまたは複数の技法による、ロータノイズの影響を低減するための技法を示すフローチャートである。図10に示すように、この例では、ロータノイズは周波数f0の周りに中心を置く(図10の黒い線302で示す)。システム10は、各フレームにおいてロータノイズに対する周波数f0を決定する(400)。例示的一手法では、システム10は、(周波数f0はロータ速度の関数であるので)ロータ速度からロータノイズの周波数f0を決定する。別の例示的手法では、システム10は、スペクトル分析を使用して周波数f0を決定する。すなわち、ロータノイズの連続的スペクトルピークの間の周波数ギャップを発見することによって。大部分の手法において、これは、ロータ速度が容易に利用できない場合にのみ行われる。
【００３９】
次いで、システム10は、周波数f0に従ってオーディオ信号のスペクトルをワープする(402)。例示的一手法では、システム10は、ドローンの典型的なロータ速度に対応してもよい公称周波数
【数１】
2019505047.tif 000003
を規定し、スケール
【数２】
2019505047.tif 000004
によって振幅スペクトルを再サンプリングすることによってスペクトルをワープし、それにより、フレームにおけるスペクトルの長さが(N/2+1)から
【数３】
2019505047.tif 000005
に変化し、ここでNは高速フーリエ変換(FFT)のサイズである。例示的一手法では、再サンプリングは、たとえば2次補間によって行われる。ワープ周波数領域において、システム10はロータノイズの寄与を識別して除去し(404)、スペクトルをアンワープする(406)。例示的一手法では、システム10は、ワープスペクトルをスケール
【数４】
2019505047.tif 000006
によって再サンプリングすることによってスペクトルをアンワープする。
【００４０】
図12は、本開示の1つまたは複数の技法による、図10のオーディオスペクトルをワープすることを示すスペクトログラムである。図12に示す例では、オーディオスペクトル300は、周波数f0(302)および公称周波数
【数５】
2019505047.tif 000007
の関数としてワープされる。
【００４１】
図13は、本開示の1つまたは複数の技法による、図11の技法を適用した後の、図10のオーディオスペクトルを示すスペクトログラムである。図13に示す例では、システム10は、ロータノイズを低減または除去するために図12のオーディオスペクトル340を修正する。次いで、システム10は、上記の図11の記述において説明されるように、周波数f0(302)および公称周波数
【数６】
2019505047.tif 000008
の関数として、得られたフィルタリングされたワープスペクトルをアンワープする。図13のスペクトログラム360は、システム10がフィルタリングされ、かつワープオーディオスペクトル340をアンワープした後のオーディオ信号のスペクトルを示す。
【００４２】
再び図9を参照すると、ターゲット18をその音響放射によって追跡しようとするとき、ロータノイズDOA領域を回避することが望ましい。所望のオーディオ信号はロータノイズDOA領域内に交差する場合があるので、ドローン12またはドローンリモコン14がドローン12を自動的に位置付けることが有用であり、それゆえ、追跡されるターゲット18から捕捉されたオーディオ信号は、ロータノイズDOA線の外側に留まる。一手法では、ユーザは、DOAプロット220内で関心対象のオーディオ信号を選択する。たとえば、図9に示す例では、最も右の音声成分224(丸の内部)を追跡することが望ましい場合がある。
【００４３】
例示的一手法では、ユーザは、追跡されるべき特定のオーディオ信号成分を識別する。そのような一手法では、ユーザは、スマートフォンのタッチスクリーン(図9に示す)上の関心対象のオーディオ信号成分を丸で囲む。例示的一手法では、ドローン12はこの情報を受信し、そのオーディオソースに対する信号対ノイズ比などの品質メトリックを最大にするようにドローンを位置付ける。いくつかの手法では、これは、ロータ20に対する特定の向きにそのマイクロフォン22を置くようにドローンが回転することを必要とする場合がある。他の例示的手法では、ドローン12は、ターゲット18のより近くに移動すること、またはターゲット18とドローン12との間の物体を回避するためにその高さを変更することを必要とする場合がある。例示的一手法では、ドローン12は、所望の1つまたは複数のオーディオ信号がロータDOA線によって占められる位相差プロットの領域と交差することを避ける、向き、姿勢および物体18からの距離を維持しようとする。例示的一手法では、システム10は、ロータDOA領域など、一定の位相差プロット領域の外側に、所望の1つまたは複数のオーディオ信号のDOAピックアップ領域を保つことによって、受信されたオーディオ信号品質を最大にする。そのような例示的一手法では、ドローン12は、関心対象のターゲットから受信されたオーディオ信号のうちの1つの振幅を測定することと、最近の所定の時間期間にわたって測定された振幅に基づいて平均振幅を判定することと、平均振幅を値のある範囲内に保つように関心対象の物体に対する位置を維持することとによって関心対象のターゲットを追尾する。そのような一手法では、ドローンは、関心対象のターゲットからのオーディオ信号および他のオーディオソースからのオーディオ信号のDOAにおける分離を維持しながらこれを行う。例示的一手法では、ドローンリモコンは、計算の一部または全部を実行し、位置および向きに変化をもたらすためにドローン12によって使用されるコマンドを送信する。
【００４４】
図14は、本開示の1つまたは複数の技法による、追跡されているターゲットによって生成されたオーディオ信号の信号品質を高めるための技法を示すフローチャートである。図14の例示的手法では、ターゲット18は、たとえば、話すこともしくは叫ぶことによって、またはノイズソースを使用することによって、オーディオ信号を生成する(500)。生成されたオーディオ信号に対応するDOA信号は、ドローンリモコン14のディスプレイ30上に表示され、ユーザは、ターゲットによって生成されたオーディオ信号に対応するDOA信号領域を選択する(502)。次いで、ドローンリモコン14は、選択されたDOA領域をノイズソースのDOA領域から遠ざけておくことになる位置および向きを維持するようにドローンに指示する(504)。例示的一手法では、ドローン12はターゲット18を追尾し、ターゲット18によって生成されるオーディオ信号の平均振幅に一致する距離を保つ。
【００４５】
例示的一手法では、生成されるオーディオ信号は、人間に聞こえる範囲の外部にある。そのような一手法では、20Hzより低いオーディオ信号が、ドローン12によって追尾される。別のそのような手法では、20kHzより高いオーディオ信号が、ドローン12によって追尾される。
【００４６】
例示的一手法では、ドローン12は、カメラ24によって捕捉された画像とマイクロフォン22によって捕捉されたオーディオ信号の両方を使用してターゲット18を追跡する。そのような一手法では、ターゲット18に対する距離、向きおよび姿勢を判定するために、カルマンフィルタなど、センサ寄与を組み合わせるための技法が使用される。
【００４７】
例示的一手法では、各ドローン12は、関心対象のオーディオソースの辞書を維持する。ドローン12によって受信されたオーディオ信号は、いずれかのソースが識別されているかどうかを判定するために、オーディオソースの辞書に照らして分析される。そのような例示的一手法では、1つまたは複数のオーディオソースが識別されたならば、それらのDOAが、ドローンリモコン14に送られるメッセージ内で強調される。別のそのような手法では、各オーディオソースに優先度が割り当てられ、ドローン12は、上記で説明した技法を使用して検出された最高の優先度のオーディオソースからのオーディオ信号を自動的に強化して強調する。例示的一手法では、ユーザは、テンプレートを介して新しい代表的オーディオソースを追加することができる。
【００４８】
図15は、本開示の1つまたは複数の技法による、図1のドローンにマイクロフォンを追加するための例示的一手法の概念図である。図15の例示的手法では、本開示の1つまたは複数の技法に従って、ロータ20の乱気流27を回避するために、マイクロフォン22はドローン12の本体の下に搭載される。
【００４９】
図16は、ロータ20およびカメラ24に対するドローン上のマイクロフォンの固定配置を示す概念図である。例示的一手法では、マイクロフォン22は、本開示の1つまたは複数の技法に従って、ロータ20との相互作用を低減するように置かれる。
【００５０】
図17A〜図17C、図18A〜図18C、図19Aおよび図19Bは、本開示の1つまたは複数の技法による、ドローン12の様々な構成に従って信号品質を維持するためのドローン12の動きを示す。図17Aは、ターゲットに面する固定位置カメラ24を有する図16のドローンなどのドローン12の位置付けを示す。点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。ノイズは、ターゲット音と重複する。図17Bは図17Aのドローン12の位置付けを示し、そのカメラ24は、ターゲットに対してある角度をなすが、図17Aのドローンと同じ位置にある。もう一度、点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。図17Bのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にするが、ターゲットがカメラの視野の外に移動するという犠牲を払う。図17Cは、図17Aのドローン12がターゲットに対して回転して移動した後のドローン12の位置付けを示す。再び、点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。図17Cのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にし、ドローン12の移動は、ターゲットがカメラの視野内に留まることを確実にする。
【００５１】
図18A〜図18Cの例示的手法では、カメラ24および2つのマイクロフォン22が、ドローンの下方で補助デバイス800上に吊るされる。例示的一手法では、補助デバイス800は、ドローン本体とは無関係に回転する。そのような例示的一手法では、2つのマイクロフォン22が補助デバイス800の両側に取り付けられ、デバイスとともに回転する。図18Aは、ターゲットに面するカメラ24を有するドローン12の位置付けを示す。点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。ノイズは、ターゲット音と重複する。図18Bは図18Aのドローン12の位置付けを示し、そのカメラ24は、ターゲットに対してある角度をなすが、図18Aのドローンと同じ位置にある。図18Bのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にするが、ターゲットがカメラの視野の外に移動するという犠牲を払う。図18Cは、図18Aのドローン12がターゲットに対して回転して移動した後のドローン12の位置付けを示す。図18Cのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にし、ドローン12の移動は、ターゲットがカメラの視野内に留まることを確実にする。
【００５２】
図19Aの例示的手法では、カメラ24および2つのマイクロフォン22が、図16のドローン12におけるように位置付けられるが、カメラ24はドローン12の本体周りに異なる位置に移動する。そのような一手法では、カメラ24は、ドローン12の本体の全部または一部の周りの円弧内を回転する。図19Aは、ターゲットに面するカメラ24を有するドローン12の位置付けを示す。点線は、ターゲットからドローン12の各マイクロフォン22への音の直接経路を示す。ノイズは、ターゲット音と重複する。図19Bは、ターゲット音をロータノイズから最大に分離することと、ターゲットの視野を維持するためにカメラ24を再び位置付けることとを確実にするための図19Aのドローン12の位置付けを示す。図19Bのドローン12の回転は、ターゲット音をロータノイズから最大に分離することを確実にし、ドローン12の本体上のカメラ24の動きは、ターゲットがカメラの視野内に留まることを確実にする。
【００５３】
例示的一手法では、ドローン12は、他のソースからおよび自己生成ノイズからの干渉を最小にするように、存在するオーディオソースに対してマイクロフォンを位置付ける。次いで、ドローン12は、選択されたオーディオソースからのオーディオ信号をさらに高めるために、ビームフォーミング技術を使用する。
【００５４】
いくつかの状況では、関心対象のオーディオソースからのオーディオ信号は、それが偶然に、自己生成ノイズソースのDOA内に入ったならば失われる場合がある。これに対処するために、いくつかの例示的手法では、ドローン12は、マイクロフォン22を自己生成ノイズソースに対して周期的に回転させてもよい。自己生成ノイズソースに対して人がマイクロフォン22を動かせない状況では、ドローン12は、マイクロフォン22の向きを変えるため、または関心対象のオーディオソースへの複数の経路をもたらすために、ドローン自体を周期的に回転させることもしくはロケーションを変更すること、またはその両方を行う場合がある。
【００５５】
図20Aおよび図20Bは、本開示の1つまたは複数の技法による、マルチチャネルオーディオ信号出力および共有された低周波数チャネルを有する多焦点ネスト化放物線構造600を示す。放物線構造600は、マルチチャネルマイクロフォンをドローン12からのノイズから遮蔽するために使用される遮蔽物602を含む。いくつかの例示的手法では、放物線構造600および遮蔽物602は、上記で説明したドローン12の設計のいずれかにおいて、マイクロフォン22として効果的に使用される。他の例示的手法では、放物線構造600は、上記で説明したドローン12の設計のいずれかにおいて、マイクロフォン22として遮蔽物602なしに効果的に使用される。
【００５６】
図21Aおよび図21Bは、本開示の1つまたは複数の技法による、マルチマイクロフォンオーディオ信号捕捉のための六角形放物線反射表面700を示す。1つまたは複数のターゲット18は、反射表面700によって追跡される。例示的一手法では、表面700は、共有される低周波数チャネル702を含む。いくつかの例示的手法では、各マイクロフォン22は、マルチマイクロフォンオーディオ信号捕捉のために使用される放物線反射表面700を含む。
【００５７】
例によっては、本明細書において説明された技法のうちのいずれかのいくつかの行為またはイベントが、異なるシーケンスで実行されてよく、追加され、統合され、または完全に除外されてよい(たとえば、説明されたすべての行為またはイベントが技法の実践にとって必要であるとは限らない)ことを認識されたい。その上、いくつかの例では、行為またはイベントは、連続的にではなく、たとえば、マルチスレッド処理、割込み処理、または複数のプロセッサを通じて並行して実行されてよい。
【００５８】
1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装されてもよい。ソフトウェアで実装される場合、機能は、1つまたは複数の命令またはコードとして、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体を介して送信され、ハードウェアベース処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体に対応する、コンピュータ可読記憶媒体、または、たとえば、通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を可能にする任意の媒体を含む通信媒体を含んでもよい。このように、コンピュータ可読媒体は、一般に、(1)非一時的な有形コンピュータ可読記憶媒体、または(2)信号もしくは搬送波などの通信媒体に対応する場合がある。データ記憶媒体は、本開示で説明された技法の実装のための命令、コード、および/またはデータ構造を取り出すために1つもしくは複数のコンピュータまたは1つもしくは複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでもよい。
【００５９】
限定ではなく例として、そのようなコンピュータ可読記憶媒体は、RAM、ROM、EEPROM、CD-ROMもしくは他の光ディスクストレージ、磁気ディスクストレージもしくは他の磁気記憶デバイス、フラッシュメモリ、または命令もしくはデータ構造の形態の所望のプログラムコードを記憶するために使用され得るとともにコンピュータによってアクセスされ得る任意の他の媒体を備えることができる。また、いかなる接続もコンピュータ可読媒体と適切に呼ばれる。たとえば、命令が、同軸ケーブル、光ファイバーケーブル、ツイストペア、デジタル加入者線(DSL)、または赤外線、無線、およびマイクロ波などのワイヤレス技術を使用して、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバーケーブル、ツイストペア、DSL、または赤外線、無線、およびマイクロ波などのワイヤレス技術は、媒体の定義に含まれる。しかしながら、コンピュータ可読記憶媒体およびデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まないが、代わりに非一時的有形記憶媒体を対象とすることを理解されたい。本明細書で使用するディスク(disk)およびディスク(disc)は、コンパクトディスク(disc)(CD)、レーザーディスク(登録商標)(disc)、光ディスク(disc)、デジタル多用途ディスク(disc)(DVD)、フロッピーディスク(disk)およびBlu-ray(登録商標)ディスク(disc)を含み、ディスク(disk)は通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組合せもまた、コンピュータ可読媒体の範囲内に含まれるべきである。
【００６０】
命令は、1つまたは複数のデジタル信号プロセッサ(DSP)、汎用マイクロプロセッサ、特定用途向け集積回路(ASIC)、フィールドプログラマブルロジックアレイ(FPGA)、または他の等価な集積論理回路もしくは個別論理回路などの、1つまたは複数のプロセッサによって実行されてもよい。したがって、本明細書において使用される「プロセッサ」という用語は、上記の構造、または本明細書において説明される技法の実装に適した任意の他の構造のいずれかを指すことがある。加えて、いくつかの態様では、本明細書において説明される機能は、符号化および復号のために構成された専用のハードウェアモジュールおよび/もしくはソフトウェアモジュール内で与えられることがあり、または複合コーデックに組み込まれることがある。また、技法は、1つまたは複数の回路または論理要素において完全に実装される可能性がある。
【００６１】
本開示の技法は、ワイヤレスハンドセット、集積回路(IC)、またはICのセット(たとえば、チップセット)を含む、多種多様なデバイスまたは装置において実装される場合がある。開示された技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール、またはユニットが本開示に記載されているが、それらは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上述されたように、様々なユニットは、コーデックハードウェアユニットにおいて組み合わされるか、または適切なソフトウェアおよび/もしくはファームウェアとともに、上述された1つもしくは複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供される場合がある。
【００６２】
様々な例が記載されている。これらおよび他の例は、以下の特許請求の範囲内に入る。
【符号の説明】
【００６３】
10  ドローン飛行制御システム
12  ドローン
14  ドローンリモコン
16  通信リンク
18  ターゲット
19  オーディオ信号
20  ロータ
22  マイクロフォン
24  カメラ
27  乱気流
30  ディスプレイ、タッチスクリーンディスプレイ
32  スピーカー
34  入出力(I/O)インターフェース
40  プロセッサ
42  メモリ
44  レシーバ
46  トランスミッタ
48  ワイヤードまたはワイヤレス通信リンク
50  プロセッサ
52  メモリ
54  レシーバ
56  トランスミッタ
58  マイクロフォン
60  ワイヤードまたはワイヤレス通信リンク
200  スペクトログラム
202  左チャネル
204  右チャネル
220  位相差プロット、DOAプロット
222  ロータノイズ寄与
224  音声の寄与、音声成分
300  スペクトログラム
302  黒い線
340  オーディオスペクトル
360  スペクトログラム
600  多焦点ネスト化放物線構造
602  遮蔽物
700  六角形放物線反射表面
702  共有される低周波数チャネル
800  補助デバイス
【図１】
2019505047.tif 000009
【図２】
2019505047.tif 000010
【図３】
2019505047.tif 000011
【図４】
2019505047.tif 000012
【図５】
2019505047.tif 000013
【図６】
2019505047.tif 000014
【図７】
2019505047.tif 000015
【図８】
2019505047.tif 000016
【図９】
2019505047.tif 000017
【図１０】
2019505047.tif 000018
【図１１】
2019505047.tif 000019
【図１２】
2019505047.tif 000020
【図１３】
2019505047.tif 000021
【図１４】
2019505047.tif 000022
【図１５】
2019505047.tif 000023
【図１６】
2019505047.tif 000024
【図１７Ａ】
2019505047.tif 000025
【図１７Ｂ】
2019505047.tif 000026
【図１７Ｃ】
2019505047.tif 000027
【図１８Ａ】
2019505047.tif 000028
【図１８Ｂ】
2019505047.tif 000029
【図１８Ｃ】
2019505047.tif 000030
【図１９Ａ】
2019505047.tif 000031
【図１９Ｂ】
2019505047.tif 000032
【図２０Ａ】
2019505047.tif 000033
【図２０Ｂ】
2019505047.tif 000034
【図２１Ａ】
2019505047.tif 000035
【図２１Ｂ】
2019505047.tif 000036
【手続補正書】
【提出日】平成30年7月31日(2018.7.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ドローン上のロケーションに対して位置付けられた複数のマイクロフォンを介してオーディオ信号をプロセッサにおいて受信するステップであって、前記オーディオ信号は前記ドローンの外側のソースから発出するオーディオ信号を含む、ステップと、
関心対象であるオーディオ信号を前記プロセッサによって識別するステップと、
関心対象である前記オーディオ信号の信号対ノイズ比が向上するように、関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を前記プロセッサによって制御するステップと
を含む、方法。
【請求項２】
関心対象であるオーディオ信号を識別するステップが、関心対象のターゲットから受信されたオーディオ信号を選択するステップを含む、請求項1に記載の方法。
【請求項３】
前記オーディオ信号が、1つまたは複数のノイズソースから受信されたオーディオ信号を含み、
前記ドローンの飛行特性を制御するステップが、前記1つまたは複数のノイズソースからの前記オーディオ信号の存在下で前記関心対象のターゲットからのオーディオ信号をより良く捕捉するために、前記ノイズソースおよび前記関心対象のターゲットに対して前記ドローンを位置付けるステップを含む、請求項2に記載の方法。
【請求項４】
前記選択されたオーディオ信号が、追跡されている物体から受信されたオーディオ信号であり、
前記ドローンの飛行特性を制御するステップが、前記選択されたオーディオ信号のうちの1つまたは複数の到来方向(DOA)を判定するステップと、前記1つまたは複数の選択されたオーディオ信号の前記DOAに基づいて前記ドローンを位置付けるステップとを含む、請求項2に記載の方法。
【請求項５】
前記オーディオ信号が、1つまたは複数のノイズソースから受信されたオーディオ信号を含み、
前記選択されたオーディオ信号が、追跡されている物体から受信されたオーディオ信号であり、
前記ドローンの飛行特性を制御するステップが、追跡されている前記物体からの前記オーディオ信号の到来方向(DOA)を前記1つまたは複数のノイズソースからの前記オーディオ信号の前記DOAから分離するために、前記選択されたオーディオ信号のうちの1つまたは複数の前記DOAを判定するステップと、前記ノイズソースおよび前記関心対象のターゲットに対して前記ドローンを位置付けるステップとを含む、
請求項2に記載の方法。
【請求項６】
前記ドローンが前記ノイズソースのうちの1つまたは複数を含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ドローンのノイズソースに対して位置付けられ、前記ドローンを位置付けるステップが前記マイクロフォンおよび前記ドローンのノイズソースを前記選択されたオーディオ信号の前記DOAに対して方向付けるステップを含む、請求項5に記載の方法。
【請求項７】
前記ドローンが1つまたは複数のノイズソースを含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ノイズソースに対して位置付けられ、前記ドローンを位置付けるステップが前記マイクロフォンを前記ドローンのノイズソースに対して動かすステップを含む、請求項5に記載の方法。
【請求項８】
前記ドローンが1つまたは複数のノイズソースを含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ドローンのノイズソースに対して位置付けられ、前記ドローンを位置付けるステップが前記選択されたオーディオ信号の捕捉をビームフォーミングを介して強化するステップを含む、請求項5に記載の方法。
【請求項９】
前記選択されたオーディオ信号が、追跡されている物体から受信されたオーディオ信号であり、
前記ドローンの飛行特性を制御するステップが、前記選択されたオーディオ信号に基づいて追跡されている前記物体を追尾するステップを含む、請求項2に記載の方法。
【請求項１０】
オーディオ信号を受信するステップが、前記選択されたオーディオ信号上でビームフォーミングを実行するために前記複数のマイクロフォンのうちの2つ以上を位置付けるステップを含む、請求項2に記載の方法。
【請求項１１】
前記ドローンの飛行特性を制御するステップが、前記選択されたオーディオ信号に基づいて前記関心対象の物体を追尾するステップを含む、請求項10に記載の方法。
【請求項１２】
前記関心対象のターゲットを追尾するステップが、
前記選択されたオーディオ信号のうちの1つの振幅を測定するステップと、
最近の所定の時間期間にわたって測定された前記振幅に基づいて平均振幅を判定するステップと、
前記平均振幅を値の範囲内に保つために前記関心対象の物体に対する前記ドローンの位置を維持するステップと
を含む、請求項11に記載の方法。
【請求項１３】
前記オーディオ信号が、関心対象の物体から受信された1つまたは複数のオーディオ信号を含み、
関心対象であるオーディオ信号を識別するステップが、前記受信されたオーディオ信号のうちの1つまたは複数を表すデータを前記ドローンのトランスミッタを介して送信するステップを含み、
前記ドローンの飛行特性を制御するステップが、
飛行制御コマンドを前記ドローンのレシーバにおいて受信するステップであって、前記飛行制御コマンドが、前記関心対象の物体から受信された前記オーディオ信号のうちの1つまたは複数を選択し、かつ前記選択されたオーディオ信号に基づいて前記関心対象の物体を追跡するように前記ドローンに指示する、ステップを含む、
請求項1に記載の方法。
【請求項１４】
前記関心対象の物体を追跡するステップが、
前記関心対象の物体から受信された前記選択されたオーディオ信号のうちの1つの振幅を測定するステップと、
最近の所定の時間期間にわたって測定された前記振幅に基づいて平均振幅を判定するステップと、
前記平均振幅を値の範囲内に保つために前記関心対象の物体に対する前記ドローンの位置を維持するステップと
を含む、請求項13に記載の方法。
【請求項１５】
飛行制御コマンドを受信するステップが、前記ノイズソースからの前記オーディオ信号の存在下で前記関心対象の物体からのオーディオ信号をより良く捕捉するために、ノイズソースおよび前記関心対象の物体に対して前記ドローンを位置付ける飛行コマンドを受信するステップを含む、請求項13に記載の方法。
【請求項１６】
前記受信されたオーディオ信号が、1つまたは複数のノイズソースから受信されたオーディオ信号を含み、
飛行制御コマンドを受信するステップが、前記選択されたオーディオ信号のDOAを前記1つまたは複数のノイズソースから受信されたオーディオ信号のDOAから分離するために必要なドローンの動きを識別するコマンドを受信するステップを含む、
請求項13に記載の方法。
【請求項１７】
前記ドローンが前記ノイズソースのうちの1つまたは複数を含み、前記複数のマイクロフォンのうちの1つまたは複数が前記ドローンのノイズソースに対して位置付けられ、飛行制御コマンドを受信するステップが前記マイクロフォンおよび前記ドローンのノイズソースを前記選択されたオーディオ信号の前記DOAに対して方向付けるコマンドを受信するステップを含む、請求項16に記載の方法。
【請求項１８】
前記ドローンが1つまたは複数のノイズソースを含み、飛行制御コマンドを受信するステップが、前記ドローンのノイズソースに対して前記マイクロフォンを動かすコマンドを受信するステップを含む、請求項16に記載の方法。
【請求項１９】
関心対象であるオーディオ信号を識別するステップが、
ノイズソースでない1つまたは複数のオーディオソースを前記プロセッサによって判定するステップと、
ノイズソースでない前記1つまたは複数のオーディオソースからオーディオソースを選択するステップと、
前記選択されたオーディオソースからの前記オーディオ信号を識別するステップと
を含む、請求項1に記載の方法。
【請求項２０】
前記選択されたオーディオソースが追跡されている物体であり、
前記ドローンの飛行特性を制御するステップが、追跡されている前記物体からのオーディオ信号のDOAをノイズソースからのオーディオ信号のDOAから遠ざけておくように前記ドローンを位置付けるステップを含む、
請求項19に記載の方法。
【請求項２１】
追跡されている前記物体を追尾するように前記ドローンを位置付けるステップが、
前記物体からのオーディオ信号の振幅を測定するステップと、
最近の所定の時間期間にわたって測定された前記物体からの前記オーディオ信号の振幅の関数として前記物体からの前記オーディオ信号の平均振幅を判定するステップと、
前記平均振幅をほぼ一定に保つように追跡されている前記物体に対する前記ドローンの位置を維持するステップと
を含む、請求項20に記載の方法。
【請求項２２】
関心対象であるオーディオ信号を識別するステップが、
関心対象のターゲットを表すオーディオ信号シグネチャを記憶するステップと、
前記受信されたオーディオ信号を前記記憶されたオーディオ信号シグネチャと比較するステップと、
前記記憶されたオーディオ信号シグネチャと一致するオーディオ信号を有するオーディオソースを識別するステップと
を含む、請求項1に記載の方法。
【請求項２３】
命令を記憶する不揮発性コンピュータ可読記憶媒体であって、前記命令が、実行されたとき、1つまたは複数のプロセッサに、
ドローン上のロケーションに対して位置付けられた1つまたは複数のマイクロフォンを介してオーディオ信号を受信することであって、前記オーディオ信号が前記ドローンの外側のソースから発出するオーディオ信号を含む、受信することと、
関心対象であるオーディオ信号を識別することと、
関心対象である前記オーディオ信号の信号対ノイズ比が向上するように、関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御することと
を行わせる、不揮発性コンピュータ可読記憶媒体。
【請求項２４】
実行されたとき、前記1つまたは複数のプロセッサに、関心対象であるオーディオ信号を識別させる前記命令が、実行されたとき、1つまたは複数のプロセッサに、
関心対象のターゲットを表すオーディオ信号シグネチャを記憶することと、
前記受信されたオーディオ信号を前記記憶されたオーディオ信号シグネチャと比較することと、
前記記憶されたオーディオ信号シグネチャと一致するオーディオ信号を有するオーディオソースを識別することと
を行わせる命令を含む、請求項23に記載の不揮発性コンピュータ可読記憶媒体。
【請求項２５】
少なくとも1つのプロセッサと、
レシーバと、
トランスミッタと、
命令を記憶する不揮発性コンピュータ可読記憶媒体であって、前記命令が、
ドローンによって受信されたオーディオ信号を表すオーディオ信号情報を受信することであって、前記オーディオ信号情報が前記ドローンの外側のソースから発出するオーディオ信号を含む、受信することと、
前記オーディオ信号情報に基づいて関心対象である1つまたは複数のオーディオ信号を識別することと、
関心対象である前記オーディオ信号の信号対ノイズ比が向上するように、関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御することと
を行うために前記少なくとも1つのプロセッサによって実行可能である、不揮発性コンピュータ可読記憶媒体と
を備える、ドローンリモコン。
【請求項２６】
前記ドローンリモコンがディスプレイおよび入力インターフェースをさらに備え、前記命令が、前記受信されたオーディオ信号情報に対応する位相差プロットを前記ディスプレイ上に表示することと、関心対象の1つまたは複数のオーディオ信号の表示を前記入力インターフェースを介して受信することとを行うために少なくとも1つのプロセッサによって実行可能である命令をさらに含む、請求項25に記載のドローンリモコン。
【請求項２７】
前記オーディオ信号情報が、関心対象のターゲットから前記ドローンによって受信されたオーディオ信号および1つまたは複数のノイズソースから受信されたオーディオ信号を表すターゲットオーディオ信号情報を含み、前記ドローンリモコンがディスプレイおよび入力インターフェースをさらに備え、前記命令が、前記オーディオ信号情報の態様を表す画像を前記ディスプレイ上に表示するために少なくとも1つのプロセッサによって実行可能である命令をさらに含み、
関心対象である1つまたは複数のオーディオ信号を前記オーディオ信号情報に基づいて識別するために前記少なくとも1つのプロセッサによって実行可能である前記命令が、前記関心対象のターゲットから前記ドローンによって受信された前記オーディオ信号のうちの1つまたは複数の表現を含む前記画像の一部を識別する入力を前記入力インターフェースを介して受信するための命令を含み、
関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御するために前記少なくとも1つのプロセッサによって実行可能である前記命令が、飛行コマンドを形成するための命令を含み、前記飛行コマンドが、ドローンによって受信されるときに、前記1つまたは複数のノイズソースからの前記オーディオ信号の存在下で前記関心対象のターゲットからオーディオ信号をより良く捕捉するために、前記ノイズソースおよび前記関心対象のターゲットに対して前記ドローンを方向付けるように前記ドローンに指示する、請求項25に記載のドローンリモコン。
【請求項２８】
ドローンであって、
プロセッサと、
複数のマイクロフォンと、
レシーバと、
トランスミッタと、
命令を記憶する不揮発性コンピュータ可読記憶媒体であって、前記命令が、
前記マイクロフォンを介してオーディオ信号を受信することであって、前記オーディオ信号が前記ドローンの外側のソースから発出するオーディオ信号を含む、受信することと、
関心対象であるオーディオ信号を識別することと、
関心対象である前記オーディオ信号の信号対ノイズ比が向上するように、関心対象である前記オーディオ信号に基づいて前記ドローンの飛行特性を制御することと
を行うために前記プロセッサによって実行可能である、不揮発性コンピュータ可読記憶媒体と
を備える、ドローン。
【請求項２９】
前記マイクロフォンのうちの1つまたは複数が、前記プロセッサの制御の下で前記ドローンの周辺で移動可能である、請求項28に記載のドローン。
【請求項３０】
前記ドローンがカメラをさらに備え、前記カメラが関心対象のターゲットを指しているとき、前記ドローンのノイズソースからほぼ最大に分離するために、前記マイクロフォンが、前記カメラに対しておよび前記ドローン上の前記ノイズソースに対して位置付けられる、請求項28に記載のドローン。
【国際調査報告】
2019505047.tif 000037
2019505047.tif 000038
2019505047.tif 000039