(57)【要約】  コントローラ（２００）は、プロセッサ（２０２）とメモリ（２０３）とを備え、メモリ（２０３）は、無人飛行体（１００）のカメラ（１０３）が出力する撮像画像および無人飛行体（１００）の指向性マイクロフォン（１０５）が出力する音声を記憶し、カメラの位置および姿勢ならびに指向性マイクロフォンの位置および姿勢を記憶し、プロセッサは、メモリから撮像画像、音声、カメラの位置および姿勢、ならびに指向性マイクロフォンの位置および姿勢を取得し、カメラの位置および姿勢ならびに指向性マイクロフォンの位置および姿勢を用いて、指向性マイクロフォンの収音方向を算出し、撮像画像上の、算出された収音方向に対応する位置に、収音方向を示すオブジェクトを重畳し、オブジェクトが重畳された撮像画像を表示装置に表示させる。
2020166178.tif 000002
【特許請求の範囲】
【請求項１】
プロセッサとメモリとを備え、
前記メモリは、
無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を記憶し、
前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を記憶し、
前記プロセッサは、
前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、
前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、
前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、
前記オブジェクトが重畳された撮像画像を表示装置に表示させる
情報処理装置。
【請求項２】
前記プロセッサは、前記指向性マイクロフォンの収音における基準となる方向を前記収音方向として算出する
請求項１に記載の情報処理装置。
【請求項３】
前記プロセッサは、
前記撮像画像に映る物体までの測定距離をさらに取得し、
算出された収音方向、および、取得された前記測定距離を用いて、前記物体の位置における前記指向性マイクロフォンの収音範囲をさらに算出し、
算出された前記収音範囲を示すオブジェクトを、前記収音方向を示す前記オブジェクトとして前記撮像画像に重畳する
請求項１または２に記載の情報処理装置。
【請求項４】
前記プロセッサは、
前記無人飛行体の移動方向と前記収音方向とを対応付け、
対応付けた結果に基づいて前記無人飛行体の移動を制御する
請求項１〜３のいずれか１項に記載の情報処理装置。
【請求項５】
前記プロセッサは、
前記無人飛行体の移動に関する操作入力を受け付け、
前記操作入力を前記対応付けた結果に基づいて変換することにより、前記無人飛行体の移動を制御する
請求項４に記載の情報処理装置。
【請求項６】
前記プロセッサは、
算出された前記収音方向が前記カメラの撮像範囲から外れる場合、前記撮像範囲から前記収音方向への向きを示すオブジェクトを前記撮像画像に重畳する
請求項１〜５のいずれか１項に記載の情報処理装置。
【請求項７】
前記プロセッサは、
前記指向性マイクロフォンの収音品質に応じた設定距離をさらに取得し、
取得された前記撮像画像に映る物体までの測定距離と、取得された前記設定距離との差分に基づいて、前記収音方向を示す前記オブジェクトの表示態様を制御する
請求項１〜６のいずれか１項に記載の情報処理装置。
【請求項８】
前記プロセッサは、前記差分が閾値以上である場合又は前記測定距離の測定可能範囲に物体が存在しない場合、前記収音方向を示す前記オブジェクトの表示態様を固定する
請求項７に記載の情報処理装置。
【請求項９】
プロセッサおよびメモリを備える少なくとも１つの情報処理装置により実行される情報処理方法であって、
無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を前記メモリに記憶し、
前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を前記メモリに記憶し、
前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、
前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、
前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、
前記オブジェクトが重畳された撮像画像を表示装置に表示させる
情報処理方法。
【請求項１０】
プロセッサおよびメモリを備える少なくとも１つの情報処理装置により実行される情報処理方法であって、
無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を前記メモリに記憶し、
前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を前記メモリに記憶し、
前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、
前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、
前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、
前記オブジェクトが重畳された撮像画像を表示装置に表示させる
情報処理方法を前記情報処理装置に実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置、情報処理方法およびプログラムに関する。
【背景技術】
【０００２】
特許文献１には、地上にいる人が操作する無人ヘリコプタに搭載された撮影装置が撮影した映像に、撮影装置の光学系の向きを示す角度情報を重ねた画像を、地上装置に表示させる遠隔操作システムが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００１−３０９２３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の技術では、音を取得するマイクロフォンが無人飛行体に搭載されることは想定されていない。音は視覚で認識することができないため、映像が提供されても品質の良いターゲット音を収音できるように人が無人飛行体を操作することは難しい。【０００５】
そこで本開示では、人が操作する無人飛行体を用いた収音の品質を向上させることができる情報処理装置、情報処理方法及びプログラムを提供する。
【課題を解決するための手段】
【０００６】
本開示に係る情報処理装置は、プロセッサとメモリとを備え、前記メモリは、無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を記憶し、前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を記憶し、前記プロセッサは、前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、前記オブジェクトが重畳された撮像画像を表示装置に表示させる。【０００７】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【０００８】
本開示に係る情報処理装置、情報処理方法およびプログラムは、人が操作する無人飛行体を用いた収音の品質を向上させることができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態に係る無人飛行体およびコントローラの外観を示す図である。
【図２】図２は、実施の形態に係る無人飛行体の上面図である。
【図３】図３は、無人飛行体のカメラの撮像範囲、および、指向性マイクロフォンの収音方向を示す図である。
【図４】図４は、実施の形態に係る無人飛行体およびコントローラの構成を示すブロック図である。
【図５】図５は、収音処理が実行されている場合に、方向変換部により変換される操作について説明するための図である。
【図６】図６は、収音方向の速度指示を、上下動成分と前後動成分とに分解する処理を説明するための図である。
【図７】図７は、音源としての人が映っている撮像画像の一例を示す図である。
【図８】図８は、オブジェクトが重畳された撮像画像の一例を示す図である。
【図９】図９は、第１の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。
【図１０】図１０は、第２の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。
【図１１】図１１は、第３の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。
【図１２】図１２は、第４の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。
【図１３】図１３は、第５の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。
【図１４】図１４は、第６の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。
【図１５】図１５は、第７の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。
【図１６】図１６は、第８の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。
【図１７】図１７は、実施の形態に係る収音処理における無人飛行体およびコントローラの動作例を示すシーケンス図である。
【図１８】図１８は、実施の形態に係るコントローラにおける画像処理の詳細を示すフローチャートである。
【図１９】図１９は、実施の形態に係る無人飛行体の操作の変換処理における無人飛行体およびコントローラの動作例を示すシーケンス図である。
【発明を実施するための形態】
【００１０】
（本開示の基礎となった知見）
近年、飛行する推進力を得るためのプロペラを有する無人飛行体に収音させることで、無人飛行体を移動可能なコミュニケーションツールとして活用することが検討されている。このような無人飛行体に搭載したマイクロフォンで収音する場合、ターゲット音だけでなく、無人飛行体のプロペラによる風切り音を主とする、無人飛行体自身で発生する騒音も収音してしまう。このため、騒音が収音されることを低減するために、指向性マイクロフォンを用いて収音することが考えられる。
【００１１】
無人飛行体に指向性マイクロフォンを搭載する場合、無人飛行体は上空を飛行するため、指向性マイクロフォンの収音範囲をターゲット音の音源に向けるために、指向性マイクロフォンは、無人飛行体の機体から斜め下方を向いた状態で機体に固定されることが望ましい。また、無人飛行体を軽量化する観点から、少数の指向性マイクロフォンを配置することが考えられる。このため、無人飛行体に搭載される指向性マイクロフォンの収音範囲は、特定の範囲に限定されてしまう。よって、指向性マイクロフォンの収音範囲内に音源が入る位置に機体を移動させる必要がある。
【００１２】
ところで特許文献１の技術では、撮像装置により撮像された映像に撮像装置の光学系の向きを示す角度情報が重畳された画像を、地上装置に表示させている。このように角度情報が重畳された画像を表示することで、撮影装置の操作性や移動体の操縦性の向上を図っている。
【００１３】
しかしながら、特許文献１の技術では、音を取得するマイクロフォンが無人飛行体に搭載されることは想定されていない。このため、音源が指向性マイクロフォンの収音範囲内に入っているか否かを判断することが難しく、音源が指向性マイクの収音範囲内に入る位置に無人飛行体を移動させることは難しい。
【００１４】
このような問題を解決するために、本開示の一態様に係る無人飛行体は、プロセッサとメモリとを備え、前記メモリは、無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を記憶し、前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を記憶し、前記プロセッサは、前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、前記オブジェクトが重畳された撮像画像を表示装置に表示させる。
【００１５】
これによれば、無人飛行体のカメラにより出力された撮像画像上の、算出された収音方向の対応する位置に、指向性マイクロフォンの収音方向を示すオブジェクトが重畳された撮像画像を表示装置に表示させるため、ユーザに指向性マイクロフォンの収音方向の撮像画像上における位置を伝えることができる。すなわち、指向性マイクロフォンの収音方向を可視化することができる。このため、ユーザは、表示装置に表示された画像を見ながらオブジェクトがターゲット音の音源に合うように無人飛行体を操作することで、指向性マイクロフォンの収音方向を音源に向けることが容易にできる。よって、人が操作する無人飛行体を用いた収音の品質を向上させることができる。
【００１６】
また、前記プロセッサは、前記指向性マイクロフォンの収音における基準となる方向を前記収音方向として算出してもよい。
【００１７】
このため、ユーザは、表示装置に表示された画像を見ながらオブジェクトが音源に合うように無人飛行体を操作することで、指向性マイクロフォンの収音における基準となる方向を音源に向けることが容易にできる。よって、人が操作する無人飛行体を用いた収音の品質を向上させることができる。
【００１８】
また、前記プロセッサは、前記撮像画像に映る物体までの測定距離をさらに取得し、算出された収音方向、および、取得された前記測定距離を用いて、前記物体の位置における前記指向性マイクロフォンの収音範囲をさらに算出し、算出された前記収音範囲を示すオブジェクトを、前記収音方向を示す前記オブジェクトとして前記撮像画像に重畳してもよい。
【００１９】
このため、ユーザは、表示装置に表示された画像を見ながらオブジェクトが音源に合うように無人飛行体を操作することで、音源を指向性マイクロフォンの収音範囲内に収めることが容易にできる。よって、人が操作する無人飛行体を用いた収音の品質を向上させることができる。
【００２０】
また、前記プロセッサは、前記無人飛行体の移動方向と前記収音方向とを対応付け、対応付けた結果に基づいて前記無人飛行体の移動を制御してもよい。
【００２１】
このため、無人飛行体は、収音方向を基準とした方向に移動が制御されるため、指向性マイクロフォンの収音方向を音源に合わせたまま移動することができる。
【００２２】
また、前記プロセッサは、前記無人飛行体の移動に関する操作入力を受け付け、前記操作入力を前記対応付けた結果に基づいて変換することにより、前記無人飛行体の移動を制御してもよい。
【００２３】
これによれば、ユーザは、収音方向を基準とした方向に無人飛行体を移動させることが容易にできるため、指向性マイクロフォンの収音方向を音源に合わせたまま無人飛行体を移動することができる。
【００２４】
また、前記プロセッサは、算出された前記収音方向が前記カメラの撮像範囲から外れる場合、前記撮像範囲から前記収音方向への向きを示すオブジェクトを前記撮像画像に重畳してもよい。
【００２５】
このため、ユーザは、表示装置に表示された画像を見ながらオブジェクトが示す方向に向くように無人飛行体を操作することで、指向性マイクロフォンの収音方向を音源に向けることが容易にできる。よって、収音の品質を向上させることができる。
【００２６】
また、前記プロセッサは、前記指向性マイクロフォンの収音品質に応じた設定距離をさらに取得し、取得された前記撮像画像に映る物体までの測定距離と、取得された前記設定距離との差分に基づいて、前記収音方向を示す前記オブジェクトの表示態様を制御してもよい。
【００２７】
このため、例えば、物体から指向性マイクロフォンまでの距離に応じて収音品質が高品質であると予測される場合と、低品質であると予測される場合とで異なる表示態様のオブジェクトを表示装置に表示することができる。よって、ユーザは、表示装置に表示された画像を見ながらオブジェクトが高品質の表示態様になるように無人飛行体を操作することで、指向性マイクロフォンから得られるターゲット音の収音の品質を向上させることができる。
【００２８】
また、前記プロセッサは、前記差分が閾値以上である場合又は前記測定距離の測定可能範囲に物体が存在しない場合、前記収音方向を示す前記オブジェクトの表示態様を固定してもよい。
【００２９】
これによれば、収音品質が所定の品質以下である場合、オブジェクトの表示態様を固定するため、表示態様を変更するための処理負荷を低減することができる。
【００３０】
なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ−ＲＯＭなどの記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
【００３１】
以下、本発明の一態様に係る無人飛行体について、図面を参照しながら具体的に説明する。
【００３２】
なお、以下で説明する実施の形態は、いずれも本発明の一具体例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ、ステップの順序などは、一例であり、本発明を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。
【００３３】
（実施の形態）
以下、実施の形態を説明する。
【００３４】
［１．構成］
図１は、実施の形態に係る無人飛行体およびコントローラの外観を示す図である。図２は、実施の形態に係る無人飛行体の上面図である。
【００３５】
図１および図２に示されるように、無人飛行体１００は、コントローラ２００へのユーザによる操作入力（以下、「操作」とも言う。）に応じた操作信号をコントローラ２００から受信し、受信した操作信号に応じて飛行する。また、無人飛行体１００は、飛行している状態において、受信した操作信号に応じて無人飛行体１００が備えるカメラ１０３を用いた撮像を行ってもよい。カメラ１０３により撮像された撮像画像は、コントローラ２００に送信されてもよいし、スマートフォンなどの携帯端末に送信されてもよい。
【００３６】
コントローラ２００は、ユーザからの操作を受け付けて、受け付けた操作に応じた操作信号を無人飛行体１００に送信する。コントローラ２００は、ディスプレイ２０４を備える。ディスプレイ２０４は、例えば、無人飛行体１００から受信した撮像画像を表示する。なお、コントローラ２００は、スマートフォンなどの携帯端末と接続されることで、携帯端末のディスプレイをディスプレイ２０４として利用してもよい。
【００３７】
これにより、ユーザは、無人飛行体１００のカメラ１０３に撮像させた撮像画像を、コントローラ２００のディスプレイ２０４でリアルタイムに確認しながら、コントローラ２００を操作することで、無人飛行体１００の飛行中における位置および姿勢の少なくとも一方である飛行状態を変更することができる。このため、ユーザは、無人飛行体１００のカメラ１０３によって撮像する撮像範囲を自由に変更することができる。
【００３８】
無人飛行体１００は、４つの発生器１１０と、機体１２０と、４つのアーム１２１とを備える。
【００３９】
４つの発生器１１０のそれぞれは、無人飛行体１００を飛行させる力を発生させる。４つの発生器１１０のそれぞれは、具体的には、気流を発生させることで無人飛行体１００を飛行させる力を発生させる。４つの発生器１１０のそれぞれは、回転することで気流を発生させる回転翼１１１と、回転翼１１１を回転させるアクチュエータ１１２とを有する。回転翼１１１およびアクチュエータ１１２は、鉛直方向に略平行な回転軸を有し、回転翼１１１の上方から下方に向かって流れる気流を発生させる。これにより、４つの発生器１１０は、無人飛行体１００が上方に浮上する推力を発生させ、無人飛行体１００を飛行させる力を発生させる。アクチュエータ１１２は、例えば、回転翼１１１の回転軸で回転するモータである。
【００４０】
４つの発生器１１０は、上方から見た場合、機体１２０の重心を中心として、９０度の角度間隔でそれぞれ配置されている。つまり、４つの発生器１１０は、機体１２０を囲うように環状に並んで配置されている。
【００４１】
なお、４つの発生器１１０のそれぞれが有する回転翼１１１は、１つのプロペラで構成される例を図示しているが、これに限らずに、２つのプロペラが同一の回転軸において互いに逆回転する二重反転プロペラで構成されていてもよい。また、発生器１１０は、飛行可能であれば、４つ未満であってもよいし、５つ以上であってもよい。
【００４２】
機体１２０は、例えば、円柱形状の箱状の部材、つまり、筐体であり、内部に、プロセッサ、メモリ、バッテリ、各種センサなどの電子機器が配置されている。なお、機体１２０の形状は、円柱形状に限らずに、四角柱など他の形状の箱状の形状であってもよい。
【００４３】
また、機体１２０の外部には、カメラ１０３および指向性マイクロフォン１０５が配置されている。例えば、指向性マイクロフォン１０５は、無人飛行体１００を上方から見た場合、環状に並ぶ４つの発生器１１０のうち互いに隣接する２つの発生器１１０の間の方向を向いて機体１２０に固定されている。つまり、指向性マイクロフォン１０５は、機体１２０を中心として、一の発生器１１０に向かう方向を基準に４５°ずれた方向を向いて配置されている。指向性マイクロフォン１０５は、例えば、無人飛行体１００の前方を向いて機体１２０に固定されている。また、指向性マイクロフォン１０５は、無人飛行体１００を水平方向から見た場合、斜め下方を向いて機体１２０に固定されている。
【００４４】
また、４つのアーム１２１は、それぞれ、機体１２０から４つの発生器１１０に向かって延び、先端に４つの発生器１１０が固定されている部材である。つまり、４つのアーム１２１の一端は、機体１２０に固定されており、４つのアームの他端には、それぞれ、４つの発生器１１０が固定されている。
【００４５】
図３は、無人飛行体のカメラの撮像範囲、および、指向性マイクロフォンの収音方向を示す図である。
【００４６】
図３に示されるように、カメラ１０３は、水平方向よりも斜め下方の撮像範囲１３０を撮像するように、機体１２０に固定されている。撮像範囲１３０は、例えば、カメラ１０３の位置を頂点とする略四角錐形状の範囲である。撮像範囲１３０は、水平方向からの平面視において、範囲上限１３１から範囲下限１３２までの角度範囲により規定される。また、指向性マイクロフォン１０５は、水平方向から角度θだけ斜め下方の収音方向１５３を向いて機体１２０に固定されている。指向性マイクロフォン１０５の収音範囲１５０は、収音方向１５３を中心軸とし、指向性マイクロフォン１０５の位置を頂点とする略円錐形状の範囲である。収音範囲１５０は、水平方向からの平面視において、範囲上限１５１から範囲下限１５２までの角度範囲により規定される。水平方向からの平面視において、収音範囲１５０の角度範囲は、カメラ１０３の撮像範囲を規定する画角よりも小さい角度範囲であってもよい。
【００４７】
図４は、実施の形態に係る無人飛行体およびコントローラの構成を示すブロック図である。具体的には、図４は、無人飛行体１００およびコントローラ２００のそれぞれが備えるハードウェア構成と、プロセッサ１０１、２０２による機能とについて説明するためのブロック図である。
【００４８】
まず、無人飛行体１００について説明する。無人飛行体１００は、プロセッサ１０１と、センサ１０２と、カメラ１０３と、測距センサ１０４と、指向性マイクロフォン１０５と、メモリ１０６と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）１０７と、４つの発生器１１０とを備える。
【００４９】
プロセッサ１０１は、センサ１０２、カメラ１０３が有するイメージセンサ、測距センサ１０４、指向性マイクロフォン１０５などを含む各種センサにより検出された検出結果、通信ＩＦ１０７による受信結果などを取得し、取得された検出結果または受信結果に対して、メモリ１０６または図示しないストレージに記憶されている所定のプログラムを実行することで各種処理を実行する。これにより、プロセッサ１０１は、４つの発生器１１０、カメラ１０３および通信ＩＦ１０７のうちの少なくとも１つを制御する。
【００５０】
センサ１０２は、例えば、加速度センサ、ジャイロセンサ、気圧センサ、地磁気センサ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機などを含むセンサである。
【００５１】
加速度センサは、無人飛行体１００の異なる３方向のそれぞれにかかる加速度を検出するセンサである。加速度センサは、無人飛行体１００の姿勢を検出する姿勢センサの一例である。
【００５２】
ジャイロセンサは、無人飛行体１００の異なる３方向を軸とした３軸周りそれぞれの回転における角速度を検出するセンサである。ジャイロセンサは、無人飛行体１００の姿勢を検出する姿勢センサの一例である。
【００５３】
気圧センサは、無人飛行体１００の周囲の環境の気圧を検出するセンサである。
【００５４】
地磁気センサは、無人飛行体１００の基準となる方向が向いている方角を検出するセンサである。基準となる方向は、例えば、無人飛行体１００の前方であってもよい。地磁気センサは、無人飛行体１００の姿勢を検出する姿勢センサの一例である。
【００５５】
ＧＰＳ受信機は、ＧＰＳ衛星を含む人工衛星から当該ＧＰＳ受信機の位置を示す情報を受信する。つまり、ＧＰＳ受信機は、無人飛行体１００の現在位置を検出する。なお、ＧＰＳ受信機が受信する情報を発信する人工衛星は、ＧＮＳＳ（Ｇｌｏｂａｌ  Ｎａｖｉｇａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ  Ｓｙｓｔｅｍ）に対応する衛星であればよく、ＧＰＳ衛星に限らない。
【００５６】
カメラ１０３は、レンズなどの光学系およびイメージセンサを有する機器である。カメラ１０３は、機体１２０に対する相対的な向きが固定されていてもよいし、機体１２０に対する相対的な向きの変更が自在であってもよい。後者の場合、カメラ１０３は、カメラ１０３の三軸方向周りの姿勢を一定に保つためのジンバル（図示せず）で支持されていてもよい。ジンバルは、無人飛行体１００の姿勢が変化しても、カメラ１０３の姿勢を、例えば、地球座標系に対して所望の姿勢に維持するための機器である。ここで所望の姿勢とは、コントローラ２００から受信した操作信号に含まれるカメラ１０３の撮像方向によって定まる姿勢であってもよい。
【００５７】
測距センサ１０４は、測距センサ１０４から周囲の物体までの距離を検出するセンサである。測距センサ１０４は、例えば、カメラ１０３のイメージセンサの各画素に設けられていてもよい。この場合、カメラ１０３は、例えば、デプスカメラである。また、測距センサ１０４は、超音波センサ、ＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）カメラ、ＬＩＤＡＲ（Ｌｉｇｈｔ  Ｄｅｔｅｃｔｉｏｎ  ａｎｄ  Ｒａｎｇｉｎｇ）などであってもよい。
【００５８】
指向性マイクロフォン１０５は、特定の方向（以下、「収音方向」と言う。）を基準とする所定の角度範囲である収音範囲において、収音範囲以外の角度範囲よりも高品質な音を収音することができる特性、つまり、指向性を有するマイクロフォンである。所定の角度範囲は、例えば、９０°以下の角度範囲であり、指向性マイクロフォン１０５の位置を基準とした広がりを有する３次元的な角度範囲である。３次元的な角度範囲は、例えば、収音方向を軸として、指向性マイクロフォン１０５の位置から離れるほど広がる略円錐形状を有する。指向性マイクロフォン１０５は、複数のマイクロフォン素子を有するマイクロフォンアレイにより構成されていてもよい。指向性マイクロフォン１０５は、収音することで音データを生成し、生成した音データを出力する。
【００５９】
メモリ１０６は、無人飛行体１００の機体１２０に対するカメラ１０３の位置および姿勢を示す情報、機体１２０に対する指向性マイクロフォン１０５の位置および姿勢を示す情報、指向性マイクロフォン１０５の収音方向、収音範囲および収音推奨距離を示す情報、機体１２０に対する測距センサ１０４の位置及び姿勢を示す情報などを記憶している。メモリ１０６は、プロセッサ１０１により実行されるプログラムを記憶していてもよい。メモリ１０６は、例えば、不揮発性メモリにより実現される。
【００６０】
通信ＩＦ１０７は、コントローラ２００または通信端末との間で通信する通信インタフェースである。通信ＩＦ１０７は、例えば、コントローラ２００が発する送信信号を受信するための通信インタフェースを含む。また、通信ＩＦ１０７は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃ、ａｘ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合したインタフェースであってもよい。
【００６１】
４つの発生器１１０は、上述により説明しているため、詳細な説明を省略する。
【００６２】
プロセッサ１０１は、機能構成として、飛行制御部１０１ａと、画像取得部１０１ｂと、収音部１０１ｃとを有する。つまり、飛行制御部１０１ａ、画像取得部１０１ｂおよび収音部１０１ｃによる各機能は、プロセッサ１０１がメモリ１０６に記憶されているプログラムを実行することで実現される。
【００６３】
飛行制御部１０１ａは、センサ１０２により検出された無人飛行体１００の現在位置、飛行速度および飛行姿勢と、通信ＩＦ１０７により受信されたコントローラ２００からの操作信号とに応じて、発生器１１０のアクチュエータ１１２の回転数を制御する。これにより、飛行制御部１０１ａは、無人飛行体１００の飛行状態を制御する。つまり、飛行制御部１０１ａは、ユーザによるコントローラ２００への操作に応じてコントローラ２００から出力された操作信号に応じて、無人飛行体１００の飛行状態を制御する。つまり、飛行制御部１０１ａは、例えば、フライトコントローラとして機能する。
【００６４】
画像取得部１０１ｂは、カメラ１０３により撮像された撮像画像を取得する。画像取得部１０１ｂは、第１のサンプリング周期で撮像画像をカメラ１０３から逐次取得する。このとき、画像取得部１０１ｂは、画像に、当該撮像画像がカメラ１０３により撮像されたタイミングを対応付けてもよい。また、画像取得部１０１ｂは、測距センサ１０４により測定された、無人飛行体１００から無人飛行体１００の周囲の物体までの測定距離を取得する。画像取得部１０１ｂは、第２のサンプリング周期で、上記測定距離を測距センサ１０４から逐次取得する。このとき、画像取得部１０１ｂは、測定距離に、当該測定距離が測距センサ１０４により測定されたタイミングを対応付けてもよい。画像取得部１０１ｂは、互いに対応するタイミングで取得された、撮像画像および測定距離を用いて、撮像画像および測定距離を対応付ける。具体的には、画像取得部１０１ｂは、撮像画像上の複数の領域のそれぞれについて、当該領域と、当該領域に映り込んでいる物体までの測定距離とを対応付ける。撮像画像上の複数の領域は、例えば、撮像画像を構成する複数の画素であってもよいし、撮像画像を構成する複数のブロックであってもよい。
【００６５】
カメラ１０３および測距センサ１０４が一体化されているデプスカメラにより構成されている場合には、第１のサンプリング周期と第２のサンプリング周期とは、同じサンプリング周期であり、互いにサンプリングするタイミングが一致する。また、この場合、撮像画像の各画素に対応付けられている測定距離が取得されるため、撮像画像および測定距離を用いて容易に撮像画像および測定距離を対応付けることができる。
【００６６】
一方で、カメラ１０３および測距センサ１０４が別体である場合には、第１のサンプリング周期と第２のサンプリング周期とは異なるサンプリング周期であり、サンプリングするタイミングが一致しないことが多い。このため、画像取得部１０１ｂは、例えば、カメラ１０３により撮像された撮像画像と、当該撮像画像が撮像されたタイミングに最も近いタイミングで測距センサ１０４により測定された測定距離とを対応付けてもよい。なお、第１のサンプリング周期と第２のサンプリング周期とが同期されている場合には、この限りではなく、同期されたタイミングで、カメラ１０３により撮像された撮像画像と、測距センサ１０４により測定された測定距離とが対応付けられる。
【００６７】
画像取得部１０１ｂは、カメラ１０３で撮像された撮像画像と、測距センサ１０４により測定された物体までの測定距離と、メモリ１０６に記憶されている、カメラ１０３の位置および姿勢を示す情報、並びに、測距センサ１０４の位置および姿勢を示す情報とを用いて、撮像画像および測定距離を対応付ける。
【００６８】
画像取得部１０１ｂは、撮像画像および測定距離を対応付けた結果である距離画像を、通信ＩＦ１０７を介してコントローラ２００へ出力する。画像取得部１０１ｂは、逐次取得した撮像画像および測定距離を用いて、距離画像を逐次生成し、逐次生成された距離画像を逐次コントローラ２００へ出力してもよい。これにより、無人飛行体１００は、リアルタイムに距離画像をコントローラ２００へ出力することができる。
【００６９】
なお、画像取得部１０１ｂは、距離画像に、当該距離画像の元になった撮像画像がカメラ１０３により撮像されたタイミングをさらに対応付けてもよい。また、画像取得部１０１ｂによりカメラ１０３から取得された撮像画像は、メモリ１０６に記憶されてもよい。また、画像取得部１０１ｂにより取得された測定距離は、メモリ１０６に記憶されてもよい。また、画像取得部１０１ｂにより対応付けられた結果である距離画像は、メモリ１０６に記憶されてもよい。
【００７０】
収音部１０１ｃは、通信ＩＦ１０７によりコントローラ２００から受信された収音指示に従って、指向性マイクロフォン１０５を用いた収音処理を実行し、指向性マイクロフォン１０５により逐次生成された音データを取得する。収音部１０１ｃは、音データに、当該音データが指向性マイクロフォン１０５により生成されたタイミングを対応付けてもよい。収音部１０１ｃにより取得された音データは、メモリ１０６に記憶されてもよいし、通信ＩＦ１０７を介してコントローラ２００へ出力されてもよい。
【００７１】
次に、コントローラ２００について説明する。コントローラ２００は、入力ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０１と、プロセッサ２０２と、メモリ２０３と、ディスプレイ２０４と、通信ＩＦ（Ｉｎｔｅｒｆａｃｅ）２０５とを備える。コントローラ２００は、情報処理装置の一例である。
【００７２】
入力ＩＦ２０１は、ユーザによる操作を受け付け、受け付けられた操作に応じた操作信号をプロセッサ２０２に出力する。入力ＩＦ２０１は、ユーザから、無人飛行体１００の移動に関する操作を受け付ける。無人飛行体１００の移動に関する操作は、例えば、無人飛行体１００の移動する方向と、当該方向への移動速度とを指示する操作であり、指定された方向に指定された移動速度で無人飛行体１００を移動させるための操作である。なお、無人飛行体１００の移動に関する操作は、例えば、無人飛行体１００の移動する方向と、当該方向への移動距離とを指示する操作であってもよい。入力ＩＦ２０１は、例えば、無人飛行体１００が移動する方向を示す操作、回転を示す操作などを受け付ける方向キーまたはレバー、各種機能を実行する操作を受け付けるボタンなどを有するコントロールパッドである。
【００７３】
プロセッサ２０２は、入力ＩＦ２０１により受け付けられた操作に応じた操作信号、通信ＩＦ２０５による受信結果などを取得し、取得された操作信号または受信結果に対して、メモリ２０３または図示しないストレージに記憶されている所定のプログラムを実行することで各種処理を実行する。これにより、プロセッサ２０２は、ディスプレイ２０４および通信ＩＦ２０５のうちの少なくとも１つを制御する。
【００７４】
メモリ２０３は、プロセッサ２０２より実行されるプログラムを記憶している。また、メモリ２０３は、無人飛行体１００により出力され、通信ＩＦ２０５を介して取得された、距離画像および音データを記憶する。また、メモリ２０３は、無人飛行体１００の機体１２０に対するカメラ１０３の位置および姿勢を示す情報、機体１２０に対する指向性マイクロフォン１０５の位置および姿勢を示す情報、指向性マイクロフォン１０５の収音方向、収音範囲および収音推奨距離を示す情報、機体１２０に対する測距センサ１０４の位置及び姿勢を示す情報などを記憶してもよいし、これらの情報を無人飛行体１００から通信ＩＦ２０５を介して取得し、取得されたこれらの情報を記憶してもよい。メモリ２０３は、例えば、不揮発性メモリにより実現される。
【００７５】
ディスプレイ２０４は、プロセッサ２０２により出力された撮像画像を表示する。ディスプレイ２０４は、表示装置の一例である。ディスプレイ２０４は、例えば、液晶ディスプレイ、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイなどにより実現される。
【００７６】
通信ＩＦ２０５は、無人飛行体１００との間で通信する通信インタフェースである。通信ＩＦ２０５は、例えば、無人飛行体１００に送信信号を送信するための通信インタフェース、および、無人飛行体１００が発する送信信号を受信するための通信インタフェースを含む。また、通信ＩＦ２０５は、例えば、ＩＥＥＥ８０２．１１ａ、ｂ、ｇ、ｎ、ａｃ、ａｘ規格に適合した無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）インタフェースであってもよいし、Ｂｌｕｅｔｏｏｔｈ（登録商標）規格に適合したインタフェースであってもよい。
【００７７】
プロセッサ２０２は、機能構成として、方向変換部２０２ａと、画像処理部２０２ｂとを有する。つまり、方向変換部２０２ａおよび画像処理部２０２ｂによる各機能は、プロセッサ２０２がメモリ２０３に記憶されているプログラムを実行することで実現される。
【００７８】
図５は、収音処理が実行されている場合に、方向変換部により変換される操作について説明するための図である。図６は、収音方向の速度指示を、上下動成分と前後動成分とに分解する処理を説明するための図である。
【００７９】
方向変換部２０２ａは、収音処理が実行されている場合、入力ＩＦ２０１から操作信号を取得し、操作信号により示されるユーザによる操作のうち前後方向の移動速度の速度指示を、指向性マイクロフォン１０５の収音方向１５３への移動速度の速度指示に置き換える。そして、方向変換部２０２ａは、無人飛行体１００の移動方向と指向性マイクロフォン１０５の収音方向１５３とを対応付けた結果に基づいて無人飛行体１００の移動を制御する。方向変換部２０２ａは、例えば、無人飛行体１００の前後方向（つまり、水平方向）に対する、指向性マイクロフォン１０５の収音方向の角度の差を用いて、無人飛行体１００の移動方向と収音方向１５３とを対応付けてもよい。
【００８０】
例えば、方向変換部２０２ａは、置き換えられた収音方向への移動速度の速度指示を、収音方向が水平方向から角度θだけ下方を向いている対応関係を用いて、図６に示されるように、水平方向への移動速度の成分と上下方向への移動速度の成分とに分解する。方向変換部２０２ａは、図５に示されるように、分解後の水平方向への移動速度の成分を無人飛行体１００の前後方向への移動速度の速度指示として生成し、分解後の上下方向への移動速度の成分を操作信号により示される操作のうち上下方向の移動速度に加算し、加算後の移動速度を上下方向の移動速度の速度指示として生成する。なお、方向変換部２０２ａは、上下方向の上方向への移動速度を正とし、下方向への移動速度を負として、移動速度の加算を行う。また、方向変換部２０２ａは、左右方向の移動速度の速度指示、および、回転の移動速度の速度指示については、変換せずにそのまま出力する。
【００８１】
このように、方向変換部２０２ａは、入力された操作を、対応付けた結果に基づいて変換することにより、無人飛行体１００の移動を操作する。これにより、収音処理が実行されている場合、収音方向を前後方向として無人飛行体１００を移動させることが容易にでき、ユーザは、無人飛行体１００を音源に近づけたり遠ざけたりする操作を行うことが容易にできる。
【００８２】
なお、上記では、指向性マイクロフォン１０５が無人飛行体１００を上方からみた場合に、無人飛行体１００の前方を向いて固定されているため、方向変換部２０２ａは、前後方向の移動速度の速度指示を、収音方向１５３への移動速度の速度指示に置き換えるとしたが、これに限らない。
【００８３】
例えば、方向変換部２０２ａは、指向性マイクロフォン１０５が無人飛行体１００の前方に対して無人飛行体１００の右下に傾いて固定されている場合に、入力ＩＦ２０１から取得したユーザによる操作のうち前後方向の移動速度の速度指示を、収音方向への移動速度の速度指示に置き換えるとともに、左右方向の移動速度の速度指示を、収音方向と水平面上で直交した方向への移動速度の速度指示に置き換えてもよい。この場合、前後方向の移動速度の速度指示が無人飛行体１００の前後方向、上下方向、左右方向への移動速度成分に分解され、左右方向の移動速度の速度指示が無人飛行体１００の前後方向、左右方向の成分に分解される。そして、分解された上下方向の移動速度の成分が上下方向の速度指示として統合され、分解された前後方向の移動速度の成分が前後方向の速度指示として統合され、分解された左右方向の移動速度の成分が左右方向の速度指示として統合される。
【００８４】
また、収音方向１５３への移動速度の速度指示に置き換えられる速度指示の方向は、カメラ１０３の撮像方向に応じて決定されてもよい。例えば、カメラ１０３の撮像方向が前方である場合は前後方向の速度指示が収音方向１５３の速度指示に置き換えられてもよく、カメラ１０３の撮像方向が右方である場合は左右方向の速度指示が収音方向１５３の速度指示に置き換えられてもよい。
【００８５】
また、無人飛行体１００が複数の指向性マイクロフォンを備えている場合に、前後方向の移動速度の速度指示を置き換える収音方向は、カメラ１０３の撮像方向に応じて決定されてもよい。例えば、カメラ１０３の撮像方向が前方である場合は前後方向の速度指示が前方に向かって配置された指向性マイクロフォンの収音方向の速度指示に置き換えられてもよく、カメラ１０３の撮像方向が右方である場合は右方に向かって配置された指向性マイクロフォンの収音方向への速度指示に置き換えられてもよい。
【００８６】
また、収音処理が実行されていない場合には、入力ＩＦ２０１から出力された操作信号は、変換されずに通信ＩＦ２０５を介して、無人飛行体１００に出力される。これにより、収音処理が実行されていない場合には、無人飛行体１００は、操作信号に応じた方向および移動速度で、移動の制御が行われる。
【００８７】
画像処理部２０２ｂは、メモリ２０３から距離画像、音データ、カメラ１０３の位置および姿勢、ならびに指向性マイクロフォン１０５の位置および姿勢を取得する。画像処理部２０２ｂは、カメラ１０３の位置および姿勢ならびに指向性マイクロフォン１０５の位置および姿勢を用いて、指向性マイクロフォン１０５の収音方向１５３を算出する。
【００８８】
また、画像処理部２０２ｂは、取得された距離画像を用いて、撮像画像に映る物体までの測定距離もメモリ２０３から取得する。画像処理部２０２ｂは、算出された収音方向１５３、および、取得された測定距離を用いて、撮像画像に映る物体の位置における指向性マイクロフォン１０５の収音範囲１５０をさらに算出する。
【００８９】
そして、画像処理部２０２ｂは、図７および図８に示されるように、距離画像のうちの撮像画像３１０上の、算出された収音方向１５３に対応する位置に、収音方向１５３を示すオブジェクト３１２、および、収音範囲１５０を示すオブジェクト３１３を含むオブジェクト３１１を重畳する。なお、オブジェクト３１２は、指向性マイクロフォン１０５の収音における基準となる方向を示す。例えば、画像処理部２０２ｂは、オブジェクト３１２及びオブジェクト３１３を、収音範囲１５０と撮像画像３１０に映る被写体との距離に応じて算出する。画像処理部２０２ｂは、メモリ２０３から指向性マイクロフォン１０５の収音範囲を読み出し、算出された収音方向１５３を軸とする位置に読み出された収音範囲を適用することで、撮像画像３１０上の指向性マイクロフォン１０５の収音範囲１５０を特定する。画像処理部２０２ｂは、取得された距離画像を用いて、特定された収音範囲１５０内にある直近の物体までの距離を算出し、算出された距離に対応するオブジェクト３１２およびオブジェクト３１３を算出する。この場合、画像処理部２０２ｂは、距離画像を複数のエリアに分割して、分割されたエリア毎に距離を算出する。そして、収音範囲１５０において、複数のエリアのそれぞれで算出された複数の距離のうち所定の条件を満たす距離に対応するオブジェクトをオブジェクト３１２およびオブジェクト３１３として算出する。オブジェクト３１３は、例えば、楕円形状を有する。
【００９０】
複数の距離のうち所定の条件を満たす距離とは、例えば、最短の距離であってもよいし、最も多い距離であってもよいし、複数の距離が最も多く分布している距離範囲に基づいて算出される距離であってもよい。また、収音範囲１５０において、特定の距離に対応するオブジェクトは、例えば、無人飛行体１００から特定の距離だけ離れた位置における、撮像範囲１３０および収音範囲１５０のサイズおよび位置関係から算出されてもよい。具体的には、オブジェクト３１３は、略四角錐形状の撮像範囲１３０と、略円錐形状の収音範囲１５０とを、無人飛行体１００から特定の距離だけ離れた位置において、撮像方向または収音方向１５３に略垂直な平面で切断した場合における撮像範囲１３０および収音範囲１５０のサイズおよび位置関係から算出されてもよい。
【００９１】
エリア毎の距離は、例えば、対象エリア内の複数の画素でそれぞれ測定されている複数の距離の平均値、中央値などの代表値であってもよいし、複数の画素でそれぞれ測定されている複数の距離そのものであってもよい。また、測距センサ１０４がデプスカメラではなく、他のセンサにより構成される場合、測距センサ１０４は、カメラ１０３の撮像範囲１３０をカメラ１０３の光軸に交差する平面で複数のエリアに分割し、分割された複数のエリア毎に物体までの距離を測定してもよい。この場合、無人飛行体１００は、カメラ１０３により撮像された撮像画像と、撮像画像において上記複数のエリアのそれぞれで測定された複数の距離とを、コントローラ２００に送信しているものとする。
【００９２】
なお、画像処理部２０２ｂは、上記の方法でオブジェクト３１２、３１３を算出することに限らない。例えば、画像処理部２０２ｂは、先にオブジェクト３１２の画像上の位置を決定し、決定された位置に映る物体までの距離を用いて、当該距離に対応するオブジェクトをオブジェクト３１３として生成してもよい。この場合、測距センサ１０４は、収音方向１５３における物体までの距離を計測すればよい。オブジェクト３１３は、例えば、楕円形状を有する。なお、この場合では、後述する図１４に示されるように、音源４００が収音範囲１５０内にあっても収音方向１５３が音源４００から外れている場合には、無人飛行体１００から音源４００よりも奥側の物体までの距離が計測される。
【００９３】
また、画像処理部２０２ｂは、例えば、撮像画像３１０と対応付けられた収音範囲１５０と距離画像における画素毎の距離情報とを用いて、各画素が収音範囲１５０内にあるか否かをそれぞれ判定し、収音範囲１５０内（又は境界線上）にある画素の領域をオブジェクト３１３として算出してもよい。同様に、画像処理部２０２ｂは、各画素が収音方向１５３に対応する位置にあるか否かをそれぞれ判定し、収音方向１５３上にある画素にオブジェクト３１２が表示されるようにオブジェクト３１２を算出してもよい。この場合、画素毎に距離が異なるため、算出されるオブジェクト３１３の形状は滑らかな曲線になりにくくなる。代わりに、収音範囲がより正確に表示される。また、収音範囲１５０が複数の物体に跨る場合には、各物体との距離に応じてオブジェクト３１３の表示形態が異なることになる。
【００９４】
なお、図７および図８において、撮像画像３１０に映る物体は、例えば、音源の一例である人である。ここで、図７は、音源としての人が映っている撮像画像の一例を示す図である。図８は、オブジェクトが重畳された撮像画像の一例を示す図である。
【００９５】
なお、本実施の形態では、撮像画像３１０に映る物体が音源か否かは無人飛行体を操作するユーザが判断し、ユーザが収音対象と考える音源に収音方向を合わせることが想定される。そのため、当然ながら音源でない物体に対しても本実施の形態における表示態様の制御が行われる場合がある。さらに、無人飛行体は、撮像画像３１０に映る物体が音源であるか否かを判定し、物体が音源であると判定された場合に、本実施の形態における画像処理部２０２ｂによる表示態様の制御及び方向変換部２０２ａによる方向変換処理が行われてもよい。例えば、画像処理部２０２ｂは、撮像画像３１０を画像解析することにより撮像画像３１０に映る物体を認識し、認識された物体が音源であるか否かを判定する。認識された物体が音源であると判定された場合、画像処理部２０２ｂによる表示態様の制御及び方向変換部２０２ａによる操作の方向変換処理が行われる。
【００９６】
また、コントローラ２００のディスプレイ２０４が起動された場合、又はオブジェクトの重畳がユーザから指示された場合に、本実施の形態における画像処理部２０２ｂによる表示態様の制御及び方向変換部２０２ａによる方向変換処理が行われてもよい。また、無人飛行体１００は、音源である物体と無人飛行体１００との距離が所定距離内であるかを判定し、当該距離が所定距離内であると判定された場合に、本実施の形態における画像処理部２０２ｂによる表示態様の制御及び方向変換部２０２ａによる方向変換処理が行われてもよい。
【００９７】
画像処理部２０２ｂは、オブジェクト３１１が重畳された撮像画像（以下、「重畳後画像」という。）３１４をディスプレイ２０４に出力し、ディスプレイ２０４に重畳後画像３１４を表示させる。
【００９８】
次に、各場面において、画像処理部２０２ｂにより生成される重畳後画像の一例について図９〜図１６を用いて説明する。
【００９９】
図９は、第１の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１０は、第２の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１１は、第３の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１２は、第４の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１３は、第５の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１４は、第６の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１５は、第７の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。図１６は、第８の場面における、無人飛行体と音源との位置関係、および、重畳後画像を示す図である。なお、図９〜図１１および図１４〜図１６は、無人飛行体の側面図である。また、図１２および図１３は、無人飛行体の上面図である。
【０１００】
第１の場面は、図３および図８と同様であるため説明を省略する。
【０１０１】
第２の場面は、無人飛行体１００が第１の場面における位置から上昇した後の場面である。第２の場面では、図１０に示されるように、無人飛行体１００の上昇に伴い、撮像範囲１３０および収音範囲１５０が音源４００の上方に移動する。このため、重畳後画像３２４に映っている音源４００は、第１の場面の重畳後画像３１４と比較して、重畳後画像３２４の下方に移動する。無人飛行体１００は、水平方向及び前後方向に移動していないため、重畳後画像３２４に重畳されるオブジェクト３１１には、第１の場面から変化はない。
【０１０２】
第３の場面は、無人飛行体１００が第１の場面における位置から水平方向において音源４００に近づく方向、つまり、前方に移動した後の場面である。第３の場面では、図１１に示されるように、無人飛行体１００の前方への移動に伴い、音源４００に対する撮像範囲１３０および収音範囲１５０が変化する。このため、重畳後画像３３４に映っている音源４００は、第１の場面の重畳後画像３１４と比較して、大きく映る。また、オブジェクト３３１のうちの収音範囲１５０を示すオブジェクト３３３は、音源４００に追従して大きくなるように計算される一方で、音源４００までの距離が接近することに伴って音源４００上における収音範囲１５０のエリアが小さくなる。そのため、結果として、重畳後画像３１４上のオブジェクト３１３と、重畳後画像３３４上のオブジェクト３３３との大きさはそれほど変わらない。なお、収音方向１５３を示すオブジェクト３３２は、カメラ１０３に対する相対的な姿勢が変化していないため、オブジェクト３１２と同じ位置を指している。
【０１０３】
第４の場面は、カメラ１０３が回転自在に機体１２０に接続されている場合の例であり、カメラ１０３が無人飛行体１００の前方よりも左側の角度範囲を撮像している場面である。第４の場面は、図１２に示されるように、撮像範囲１３０内に収音範囲１５０が含まれる場合であって、音源４００が収音範囲１５０外にある場合である。このため、重畳後画像３４４に映っている音源４００と重ならない位置に、収音方向１５３を示すオブジェクト３４２と、収音範囲１５０を示すオブジェクト３４３とを含むオブジェクト３４１が重畳される。よって、ユーザは、カメラ１０３による撮像範囲を固定したままで、無人飛行体１００を左回転方向または左方向に移動させる操作をコントローラ２００に対して行うことで、指向性マイクロフォン１０５の収音範囲１５０を音源４００に向けることが容易にできる。
【０１０４】
第５の場面は、第４の場面と同様にカメラ１０３が回転自在に機体１２０に接続されている場合の例であり、第４の場面よりもさらに左側の角度範囲を撮像している場面である。第５の場面は、図１３に示されるように、撮像範囲１３０よりも右側に外れた位置に収音範囲１５０が存在する。このため、画像処理部２０２ｂは、撮像範囲１３０から収音方向１５３への向きを示すオブジェクト３５１が重畳されている重畳後画像３５４を生成する。オブジェクト３５１は、例えば、右方を指す三角形状である。つまり、オブジェクト３５１は、右方に指向性マイクロフォン１０５の収音範囲１５０が存在することを示している。なお、オブジェクト３５１は、右方を指す矢印の形状であってもよい。また、オブジェクト３５１は、撮像画像において近い方向側の辺周辺の領域に重畳される。よって、ユーザは、第４の場面と同様に、カメラ１０３による撮像範囲を固定したままで、無人飛行体１００を左回転方向または左方向に移動させる操作をコントローラ２００に対して行うことで、指向性マイクロフォン１０５の収音範囲１５０を音源４００に向けることが容易にできる。なお、オブジェクト３５１は、指向性マイクロフォン１０５の収音方向１５３が近い方の向きを示す。
【０１０５】
第６〜第８の場面は、音源４００が指向性マイクロフォン１０５の収音範囲１５０内に入っている場合において、無人飛行体１００から音源４００までの距離に応じて、オブジェクトの表示態様を制御する場合の例である。
【０１０６】
第６の場面は、図１４に示されるように、音源４００が、指向性マイクロフォン１０５の収音範囲１５０内に入っており、かつ、指向性マイクロフォン１０５の収音品質が最も高い第１の品質となる第１の距離ｄ１の位置までの間の第１の範囲に入っている場面である。なお、第１の範囲とは、例えば、指向性マイクロフォン１０５の位置を起点としたときの第１の距離ｄ１の位置までの間の範囲である。このため、画像処理部２０２ｂは、第１の距離ｄ１と無人飛行体１００から音源４００までの測定距離との差分に基づいて、オブジェクト３６１の表示態様を第１の品質を示す表示態様とした重畳後画像３６４を生成する。例えば、画像処理部２０２ｂは、オブジェクト３６１に含まれる収音範囲を示すオブジェクト３６３を示す線を太線とする。
【０１０７】
第７の場面は、図１５に示されるように、音源４００が、指向性マイクロフォン１０５の収音範囲１５０内に入っており、かつ、指向性マイクロフォン１０５の収音品質が２番目に高い第２の品質となる第２の距離ｄ２の位置までの間の第２の範囲に入っている場面である。なお、第２の範囲とは、例えば、指向性マイクロフォン１０５の位置を起点としたときの、第１の距離ｄ１の位置から第２の距離ｄ２の位置までの間の範囲である。このため、画像処理部２０２ｂは、第２の距離ｄ２と無人飛行体１００から音源４００までの測定距離との差分に基づいて、オブジェクト３７１の表示態様を第２の品質を示す表示態様とした重畳後画像３７４を生成する。例えば、画像処理部２０２ｂは、オブジェクト３７１に含まれる収音範囲を示すオブジェクト３７３を示す線を二重線とする。
【０１０８】
第８の場面は、図１６に示されるように、音源４００が、指向性マイクロフォン１０５の収音範囲１５０内に入っており、かつ、指向性マイクロフォン１０５の収音品質が低い第３の品質となる第２の距離ｄ２の位置よりも遠い第３の範囲に入っている場面である。なお、第３の範囲とは、例えば、指向性マイクロフォン１０５の位置を起点としたときの、第２の距離ｄ２の位置よりも遠い範囲である。このため、画像処理部２０２ｂは、第２の距離ｄ２と無人飛行体１００から音源４００までの測定距離との差分に基づいて、オブジェクト３８１の表示態様を第３の品質を示す表示態様とした重畳後画像３８４を生成する。例えば、画像処理部２０２ｂは、オブジェクト３８１に含まれる収音範囲を示すオブジェクト３８３を示す線を破線とする。
【０１０９】
なお、画像処理部２０２ｂは、差分が閾値以上である場合、オブジェクトの表示態様を変更せずに固定したままとしてもよい。また、収音品質の代わりに、測定距離の測定可能範囲に物体が存在するか否かに基づいて、オブジェクトの表示態様が固定されてもよい。例えば、指向性マイクロフォン１０５とカメラ１０３の位置が十分に近いと仮定できる場合、画像上のオブジェクト３８２及びオブジェクト３８３の位置及び大きさはオブジェクト３８２の対象物までに距離に対してそれほど変化しないはずである。そのため、対象物が測距センサの範囲外にある場合には、画像処理部２０２ｂは、対象物が測距センサの最大距離にあるとして計算したオブジェクト３８２及びオブジェクト３８３の位置及びサイズを表示させる。
【０１１０】
なお、第４の場面において、画像処理部２０２ｂは、上述した第６〜第８の場面のように無人飛行体１００から音源４００までの距離に応じてオブジェクトの表示態様を制御してもよい。第４の場面は、音源４００ではない物体５００が収音範囲１５０内にある。なお、物体５００は、例えば看板である。
【０１１１】
この場合、画像処理部２０２ｂは、指向性マイクロフォン１０５の収音範囲１５０内に物体５００があることが測距センサ１０４による測定距離から検出されても、オブジェクト３４３の表示態様を変化させない。つまり、画像処理部２０２ｂは、収音範囲１５０外にある物体５００が収音範囲１５０内に入った場合に、収音範囲１５０内に物体５００が入る前の表示態様のままのオブジェクト３４３を撮像画像に重畳する。このため、画像処理部２０２ｂは、無人飛行体１００から、収音範囲１５０内の物体５００までの距離が第２の距離ｄ２の位置よりも遠い第３の範囲に入っていたとしても、第３の範囲に音源４００が位置するときの表示態様に変更しない。なお、物体が音源であるか否かは、上述したように、例えば、撮像画像を画像解析することで判定される。
【０１１２】
なお、画像処理部２０２ｂは、収音範囲１５０内に音源４００が入っていない場合には、オブジェクト３４３の表示態様を初期状態の表示態様のままとしてもよい。つまり、この場合、第４の場面では、画像処理部２０２ｂは、初期状態の表示態様でオブジェクト３４３を撮像画像に重畳する。
【０１１３】
なお、画像処理部２０２ｂは、第６〜第８の場面において線種を変更することで、収音品質に応じた表示態様を変更するとしたが、収音範囲を示すオブジェクトの線種を変更することに限らずに、当該オブジェクトの色を変更することで表示態様を変更してもよいし、オブジェクトの色の濃度を変更することで表示態様を変更してもよい。また、画像処理部２０２ｂは、収音範囲を示すオブジェクトの表示態様を変更することに限らずに、収音方向を示すオブジェクトの表示態様を変更してもよい。画像処理部２０２ｂは、例えば、収音方向を示すオブジェクトの大きさを変更してもよいし、当該オブジェクトを点滅させ、点滅させる速さを変更してもよい。
【０１１４】
また、画像処理部２０２ｂは、音源４００が予め定められた距離または安全範囲よりも近い位置に位置する場合に、警告表示を重畳した画像を重畳後画像として生成し、生成された重畳後画像をディスプレイ２０４に表示してもよい。
【０１１５】
なお、以上の実施の形態では収音範囲を示すオブジェクトを線で表現していたが、これに限るものではなく、画像上で収音範囲内外の色味を異ならせて識別できるようにしてもよい。
【０１１６】
［２．動作］
次に、実施の形態に係る無人飛行体１００およびコントローラ２００の動作について説明する。まず、収音処理における動作例について説明する。
【０１１７】
図１７は、実施の形態に係る収音処理における無人飛行体およびコントローラの動作例を示すシーケンス図である。
【０１１８】
無人飛行体１００の画像取得部１０１ｂは、カメラ１０３から撮像画像を取得し、測距センサ１０４から測定距離を取得する（Ｓ１１）。
【０１１９】
次に、画像取得部１０１ｂは、取得された撮像画像および測定距離を用いて距離画像を生成する（Ｓ１２）。ステップＳ１１およびＳ１２の処理の詳細は、画像取得部１０１ｂの機能の説明において記載したため、省略する。
【０１２０】
収音部１０１ｃは、指向性マイクロフォン１０５により逐次生成された音データを取得する（Ｓ１３）。ステップＳ１３の処理の詳細は、収音部１０１ｃの機能の説明において記載したため、省略する。
【０１２１】
プロセッサ１０１は、生成された距離画像および音データを、通信ＩＦ１０７を用いて、コントローラ２００に送信する（Ｓ１４）。ここで、プロセッサ１０１は、メモリ１０６に記憶されているカメラ１０３の位置および姿勢、並びに、指向性マイクロフォン１０５の位置、姿勢および収音方向を示す情報を、通信ＩＦ１０７を用いて、コントローラ２００に送信してもよい。
【０１２２】
次に、コントローラ２００は、距離画像および音データを受信すると、画像処理を実行する（Ｓ１５）。画像処理の詳細は、図１８を用いて説明する。
【０１２３】
図１８は、実施の形態に係るコントローラにおける画像処理の詳細を示すフローチャートである。
【０１２４】
コントローラ２００の画像処理部２０２ｂは、カメラ１０３の位置および姿勢、並びに、指向性マイクロフォン１０５の位置、姿勢および収音方向を示す情報を取得する（Ｓ２１）。画像処理部２０２ｂは、通信ＩＦ１０７を介して、無人飛行体１００から上記情報を取得してもよいし、上記情報が予めメモリ２０３に記憶されている場合にはメモリ２０３から上記情報を取得してもよい。
【０１２５】
画像処理部２０２ｂは、取得されたカメラ１０３の位置および姿勢ならびに指向性マイクロフォン１０５の位置および姿勢を用いて、取得された距離画像のうちの撮像画像における収音方向に対応する位置を算出する（Ｓ２２）。
【０１２６】
画像処理部２０２ｂは、撮像画像上の、算出された収音方向に対応する位置に、収音方向を示すオブジェクトを重畳する（Ｓ２３）。なお、ステップＳ２１〜Ｓ２３の処理の詳細は、画像処理部２０２ｂの機能の説明において記載したため、省略する。
【０１２７】
図１７の説明に戻り、プロセッサ２０２は、画像処理によって生成された重畳後画像を、ディスプレイ２０４に表示する（Ｓ１６）。
【０１２８】
次に、収音処理時における操作の変換処理について説明する。
【０１２９】
図１９は、実施の形態に係る無人飛行体の操作の変換処理における無人飛行体およびコントローラの動作例を示すシーケンス図である。
【０１３０】
コントローラ２００の方向変換部２０２ａは、無人飛行体１００の指向性マイクロフォン１０５の収音方向を取得する（Ｓ３１）。方向変換部２０２ａは、通信ＩＦ１０７を介して、無人飛行体１００から上記収音方向を取得してもよいし、上記収音方向が予めメモリ２０３に記憶されている場合にはメモリ２０３から上記収音方向を取得してもよい。
【０１３１】
方向変換部２０２ａは、入力ＩＦ２０１により受け付けられた操作を、取得された収音方向を前後方向として受け付ける（Ｓ３２）。
【０１３２】
方向変換部２０２ａは、操作を無人飛行体の各方向への移動指示を示す操作信号に変換し（Ｓ３３）、変換後の操作信号を、通信ＩＦ２０６を介して無人飛行体１００に出力する（Ｓ３４）。なお、ステップＳ３１〜Ｓ３３の処理の詳細は、方向変換部２０２ａの機能の説明において記載したため、省略する。
【０１３３】
無人飛行体１００は、受信した操作信号に応じて飛行制御を行う（Ｓ３５）。
【０１３４】
［３．効果など］
本実施の形態に係るコントローラ２００によれば、無人飛行体１００のカメラ１０３により出力された撮像画像上の、算出された収音方向１５３の対応する位置に、指向性マイクロフォン１０５の収音方向１５３を示すオブジェクト３１１が重畳された重畳後画像３１４をディスプレイ２０４に表示させる。このため、ユーザに指向性マイクロフォン１０５の収音方向１５３の重畳後画像３１４上における位置を伝えることができる。すなわち、指向性マイクロフォン１０５の収音方向１５３を可視化することができる。このため、ユーザは、表示された重畳後画像３１４を見ながらオブジェクト３１１がターゲット音の音源に合うように無人飛行体１００を操作することで、指向性マイクロフォン１０５の収音方向１５３を音源４００に向けることが容易にできる。よって、人が操作する無人飛行体１００を用いた収音の品質を向上させることができる。
【０１３５】
また、本実施の形態に係るコントローラ２００において、画像処理部２０２ｂは、撮像画像に映る物体までの測定距離をさらに取得し、算出された収音方向、および、取得された測定距離を用いて、物体の位置における指向性マイクロフォン１０５の収音範囲１５０をさらに算出し、算出された収音範囲１５０を示すオブジェクト３１３を撮像画像に重畳する。このため、ユーザは、表示された重畳後画像３１４を見ながらオブジェクト３１３が音源４００に合うように無人飛行体１００を操作することで、音源４００を指向性マイクロフォン１０５の収音範囲１５０内に収めることが容易にできる。よって、人が操作する無人飛行体１００を用いた収音の品質を向上させることができる。
【０１３６】
また、本実施の形態に係るコントローラ２００において、方向変換部２０２ａは、無人飛行体１００の移動方向と収音方向１５３とを対応付け、対応付けた結果に基づいて無人飛行体１００の移動を制御する。このため、無人飛行体１００は、収音方向１５３を基準とした方向に移動が制御されるため、指向性マイクロフォン１０５の収音方向１５３を音源４００に合わせたまま移動することが容易にできる。
【０１３７】
また、本実施の形態に係るコントローラ２００において、方向変換部２０２ａは、無人飛行体１００の移動に関する操作入力を受付け、操作入力を対応付けた結果に基づいて変換することにより、無人飛行体１００の移動を制御する。これによれば、ユーザは、収音方向１５３を基準とした方向に無人飛行体１００を移動させることが容易にできるため、指向性マイクロフォン１０５の収音方向１５３を音源４００に合わせたまま無人飛行体１００を移動することが容易にできる。
【０１３８】
また、本実施の形態に係るコントローラ２００において、画像処理部２０２ｂは、算出された収音方向１５３がカメラ１０３の撮像範囲１３０から外れる場合、撮像範囲１３０から収音方向１５３への向きを示すオブジェクト３５１を撮像画像に重畳する。このため、ユーザは、表示された重畳後画像３１４を見ながらオブジェクト３５１が示す方向に向くように無人飛行体１００を操作することで、指向性マイクロフォン１０５の収音方向１５３を音源４００に向けることが容易にできる。よって、収音の品質を向上させることができる。
【０１３９】
また、本実施の形態に係るコントローラ２００において、画像処理部２０２ｂは、指向性マイクロフォン１０５の収音品質に応じた設定距離をさらに取得し、取得された撮像画像に映る物体までの測定距離と、取得された設定距離との差分に基づいて、オブジェクトの表示態様を制御する。このため、音源４００の物体から指向性マイクロフォン１０５までの距離に応じて収音品質が高品質であると予測される場合と、低品質であると予測される場合とで異なる表示態様でオブジェクトを表示することができる。よって、ユーザは、表示された重畳後画像を見ながらオブジェクトが高品質の表示態様になるように無人飛行体１００を操作することで、指向性マイクロフォン１０５から得られるターゲット音の収音の品質を向上させることができる。
【０１４０】
また、本実施の形態に係るコントローラ２００において、画像処理部２０２ｂは、差分が閾値以上である場合、オブジェクトの表示態様を固定する。これによれば、収音品質が所定の品質以下である場合、オブジェクトの表示態様を固定するため、表示態様を変更するための処理負荷を低減することができる。
【０１４１】
［４．変形例］
上記実施の形態に係るコントローラ２００において、指向性マイクロフォン１０５の収音方向または収音範囲を示すオブジェクトを表示するか、表示しないかをユーザによる操作によって選択的に切り替えることができてもよい。
【０１４２】
上記実施の形態に係るコントローラ２００では、収音処理が実行されている場合に、指向性マイクロフォン１０５の収音方向に移動するように、入力された操作を、対応付けた結果に基づいて変換することにより、無人飛行体１００の移動を操作するとしたが、これに限らない。コントローラ２００では、収音処理が実行されている場合に操作しても、通常の無人飛行体１００の移動制御となるように、上記変換をしないように切り替えることができてもよい。
【０１４３】
上記実施の形態では、オブジェクトとして楕円形の枠を重畳する例を示しているが、オブジェクトは、楕円形の枠に限らずに、中が塗りつぶされた楕円形のオブジェクトであってもよいし、楕円形の外側が塗りつぶされたオブジェクトであってもよい。
【０１４４】
上記実施の形態に係るコントローラ２００では、指向性マイクロフォン１０５が複数のマイクロフォン素子を有するマイクロフォンアレイにより構成されている場合には、画像処理部２０２ｂは、マイクロフォンアレイにより出力された結果を用いて特定された、撮像画像上における音源の位置を重畳した画像を重畳後画像として生成してもよい。そして、生成された重畳後画像をディスプレイ２０４に表示してもよい。
【０１４５】
上記実施の形態に係るコントローラ２００では、撮像画像を画像認識することで撮像画像上の人の形状を識別し、識別された人の形状における人の口を特定し、特定された人の口の位置に音源であることを示すオブジェクトを重畳した画像を重畳後画像として生成してもよい。そして、生成された重畳後画像をディスプレイ２０４に表示してもよい。
【０１４６】
上記実施の形態に係る無人飛行体１００は、４つの発生器１１０を備える構成としたが、無人飛行体１００が備える発生器の数は、４つに限らずに、１〜３つであってもよいし、５つ以上であってもよい。
【０１４７】
上記実施の形態に係る無人飛行体１００は、機体１２０と４つの発生器１１０とが４つのアーム１２１により接続される構成としたが、これに限らずに、４つの発生器１１０が機体１２０に接続されている構成であれば、４つのアーム１２１を備えていない構成であってもよい。つまり、無人飛行体は、機体１２０に直接４つの発生器１１０が接続されている構成であってもよい。
【０１４８】
上記実施の形態に係る無人飛行体１００は、１つの指向性マイクロフォン１０５を備える構成としたが、無人飛行体１００が備える指向性マイクロフォンの数は、１つに限らずに、２つ以上であってもよい。無人飛行体が２つ以上の指向性マイクロフォンを備える場合には、２つ以上の指向性マイクロフォンのそれぞれについて、１つの指向性マイクロフォンの収音方向を算出する処理と同様の処理を実行すればよい。このように、無人飛行体が２つ以上の指向性マイクロフォンを備える場合、コントローラ２００は、それぞれの指向性マイクロフォンの収音方向を示すオブジェクトを表示してもよい。表示するオブジェクトには、２つ以上の指向性マイクロフォンのうちのどのマイクロフォンの収音方向であるかを示す識別子をオブジェクトと共に表示してもよい。
【０１４９】
上記実施の形態では、コントローラ２００が画像処理部２０２ｂを有するとしたが、これに限らずに、無人飛行体１００が画像処理部２０２ｂと同様の機能を有してもよい。つまり、無人飛行体１００が重畳後画像を生成し、生成した重畳後画像をコントローラ２００に送信してもよい。この場合、コントローラ２００は、無人飛行体１００から受信した重畳後画像をディスプレイ２０４に表示する。
【０１５０】
なお、上記各実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。ここで、上記各実施の形態のコントローラ２００、情報処理方法などを実現するソフトウェアは、次のようなプログラムである。
【０１５１】
すなわち、このプログラムは、プロセッサおよびメモリを備える少なくとも１つの情報処理装置により実行される情報処理方法であって、無人飛行体が備えるカメラが出力する撮像画像、および、前記無人飛行体が備える指向性マイクロフォンが出力する音声を前記メモリに記憶し、前記カメラの位置および姿勢、ならびに、前記指向性マイクロフォンの位置および姿勢を前記メモリに記憶し、前記メモリから前記撮像画像、前記音声、前記カメラの位置および姿勢、ならびに前記指向性マイクロフォンの位置および姿勢を取得し、前記カメラの位置および姿勢ならびに前記指向性マイクロフォンの位置および姿勢を用いて、前記指向性マイクロフォンの収音方向を算出し、前記撮像画像上の、算出された前記収音方向に対応する位置に、前記収音方向を示すオブジェクトを重畳し、前記オブジェクトが重畳された撮像画像を表示装置に表示させる情報処理方法を実行させる。
【０１５２】
以上、本開示の一つまたは複数の態様に係る情報処理装置、情報処理方法およびプログラムについて、実施の形態に基づいて説明したが、本開示は、この実施の形態に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の一つまたは複数の態様の範囲内に含まれてもよい。
【０１５３】
例えば、指向性マイクロフォンの収音範囲は可変であってもよい。例えば、マイクロフォンの指向性が変更された場合、変更後の指向性に基づいて収音範囲が取得される。この場合、取得された収音範囲を用いてオブジェクトが重畳される。
【０１５４】
なお、プロセッサ１０１またはプロセッサ２０２で行う処理には、機械学習を用いてもよい。機械学習には、例えば、入力情報に対してラベル（出力情報）が付与された教師データを用いて入力と出力との関係を学習する教師あり学習、ラベルのない入力のみからデータの構造を構築する教師なし学習、ラベルありとラベルなしのどちらも扱う半教師あり学習、状態の観測結果から選択した行動に対するフィードバック（報酬）を得ることにより、最も多く報酬を得ることができる連続した行動を学習する強化学習などが挙げられる。また、機械学習の具体的な手法として、ニューラルネットワーク（多層のニューラルネットワークを用いた深層学習を含む）、遺伝的プログラミング、決定木、ベイジアン・ネットワーク、サポート・ベクター・マシン（ＳＶＭ）などが存在する。本開示においては、以上で挙げた具体例のいずれかを用いればよい。
【産業上の利用可能性】
【０１５５】
本開示は、人が操作する無人飛行体を用いた収音の品質を向上させることができる情報処理装置、情報処理方法およびプログラムなどとして有用である。
【符号の説明】
【０１５６】
１００    無人飛行体
１０１    プロセッサ
１０２    センサ
１０３    カメラ
１０４    測距センサ
１０５    指向性マイクロフォン
１０６    メモリ
１０７    通信ＩＦ
１１０    発生器
１１１    回転翼
１１２    アクチュエータ
１２０    機体
１２１    アーム
１３０    撮像範囲
１３１    上限
１３２    下限
１５０    収音範囲
１５１    上限
１５２    下限
１５３    収音方向
２００    コントローラ
２０１    入力ＩＦ
２０２    プロセッサ
２０２ａ    方向変換部
２０２ｂ    画像処理部
２０３    メモリ
２０４    ディスプレイ
２０５    通信ＩＦ
３１０    撮像画像
３１１〜３１３、３３１〜３３３、３４１〜３４３、３５１、３６１〜３６３、３７１〜３７３、３８１〜３８３    オブジェクト
３１４、３２４、３３４、３４４、３５４、３６４、３７４、３８４    重畳後画像
４００    音源
【図１】
2020166178.tif 000003
【図２】
2020166178.tif 000004
【図３】
2020166178.tif 000005
【図４】
2020166178.tif 000006
【図５】
2020166178.tif 000007
【図６】
2020166178.tif 000008
【図７】
2020166178.tif 000009
【図８】
2020166178.tif 000010
【図９】
2020166178.tif 000011
【図１０】
2020166178.tif 000012
【図１１】
2020166178.tif 000013
【図１２】
2020166178.tif 000014
【図１３】
2020166178.tif 000015
【図１４】
2020166178.tif 000016
【図１５】
2020166178.tif 000017
【図１６】
2020166178.tif 000018
【図１７】
2020166178.tif 000019
【図１８】
2020166178.tif 000020
【図１９】
2020166178.tif 000021
【国際調査報告】
2020166178.tif 000022
2020166178.tif 000023
2020166178.tif 000024