(57)【要約】  広域画像を構成する部分領域画像に関して、過去の撮影時点の飛行高度に応じて飛行体を制御するため、飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得手段と、前記ビデオフレーム画像ごとの前記飛行高度の違いを出力する撮影高度出力手段と、を備えた情報処理装置。
2018179403.tif 000002
【特許請求の範囲】
【請求項１】
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得手段と、
前記ビデオフレーム画像ごとの前記飛行高度の違いを出力する撮影高度出力手段と、
を備えた情報処理装置。
【請求項２】
前記出力手段は、前記撮像画像と共に、前記飛行高度を表わす飛行高度画像を表示する表示手段である請求項１に記載の情報処理装置。
【請求項３】
前記出力手段は、前記撮像画像に重畳して、前記飛行高度を表わす飛行高度画像を表示する表示手段である請求項１に記載の情報処理装置。
【請求項４】
前記出力手段は、前記撮像画像に重畳して、前記飛行高度を画像解像度に置き換えて表現した画像を表示する表示手段である請求項１に記載の情報処理装置。
【請求項５】
前記飛行高度画像は、飛行高度の違いを、異なる色によって表わした画像である請求項２または３に記載の情報処理装置。
【請求項６】
前記飛行高度画像は、飛行高度の違いを、色の濃さの変化によって表わした画像である請求項２または３に記載の情報処理装置。
【請求項７】
前記飛行体を制御する制御手段をさらに備え、
前記出力手段は、前記ビデオフレーム画像ごとの飛行高度を、前記制御手段に渡し、
前記制御手段は、前記ビデオフレーム画像ごとの飛行高度に応じて、前記飛行体の移動ルートを決定する請求項１乃至６のいずれか１項に記載の情報処理装置。
【請求項８】
前記制御手段は、過去の撮影時点での飛行高度が最も高いビデオフレーム画像を特定し、特定したビデオフレーム画像を撮影した位置の、より低い高度に前記飛行体を移動させる請求項７に記載の情報処理装置。
【請求項９】
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得ステップと、
前記ビデオフレーム画像ごとの前記飛行高度を出力する撮影高度出力ステップと、
を含む情報処理方法。
【請求項１０】
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得ステップと、
前記ビデオフレーム画像ごとの前記飛行高度を出力する撮影高度出力ステップと、
をコンピュータに実行させる情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法および情報処理プログラムに関する。
【背景技術】
【０００２】
上記技術分野において、特許文献１には、無線航空機を使用して広い場所を撮影する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１７−４６３２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記文献に記載の技術では、過去の撮影時点の高度に応じた飛行制御を行なうことができなかった。【０００５】
本発明の目的は、上述の課題を解決する技術を提供することにある。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明に係る装置は、
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成手段と、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得手段と、
前記ビデオフレーム画像ごとの前記飛行高度の違いを出力する撮影高度出力手段と、
を備えた。【０００７】
上記目的を達成するため、本発明に係る方法は、
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得ステップと、
前記ビデオフレーム画像ごとの前記飛行高度を出力する撮影高度出力ステップと、
を含む。【０００８】
上記目的を達成するため、本発明に係るプログラムは、
飛行体が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像から、複数のビデオフレーム画像を抽出して合成し、広範囲の撮像画像を生成する広域画像生成ステップと、
前記複数のビデオフレーム画像のそれぞれについて、前記飛行体による撮影時点での飛行高度を取得する撮影高度取得ステップと、
前記ビデオフレーム画像ごとの前記飛行高度を出力する撮影高度出力ステップと、
をコンピュータに実行させる。
【発明の効果】
【０００９】
本発明によれば、広域画像を構成する部分領域画像に関して、過去の撮影時点の飛行高度に応じて飛行体を制御することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１実施形態に係る情報処理装置の構成を示すブロック図である。
【図２】本発明の第２実施形態に係る情報処理装置の構成を示すブロック図である。
【図３】本発明の第２実施形態に係る情報処理装置の表示画像を示す図である。
【図４】本発明の第２実施形態に係る情報処理装置の表示画像を説明する図である。
【図５】本発明の第２実施形態に係る情報処理装置の表示画像を説明する図である。
【図６】本発明の第２実施形態に係る情報処理装置の表示画像を説明する図である。
【図７】本発明の第２実施形態に係る情報処理装置の処理の流れを示すフローチャートである。
【図８】本発明の第３実施形態に係る情報処理装置の構成を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に、図面を参照して、本発明の実施の形態について例示的に詳しく説明する。ただし、以下の実施の形態に記載されている構成要素はあくまで例示であり、本発明の技術範囲をそれらのみに限定する趣旨のものではない。なお、下記において「飛行体」とは、いわゆるドローン(Drone)であり、無人で遠隔操作や自律制御によって飛行できる航空機(UAV（Unmanned Aerial Vehicle）)である。
【００１２】
［第１実施形態］
本発明の第１実施形態としての情報処理装置１００について、図１を用いて説明する。情報処理装置１００は、飛行体による撮影時の高度に応じた飛行制御を行なうための装置である。
【００１３】
図１に示すように、情報処理装置１００は、広域画像生成部１０１と撮影高度取得部１０２と出力部１０３とを含む。
【００１４】
広域画像生成部１０１は、飛行体１１０が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像１２０から、複数のビデオフレーム画像１３０を抽出して合成し、広範囲の撮像画像を生成する。
【００１５】
撮影高度取得部１０２は、複数のビデオフレーム画像１３０のそれぞれについて、飛行体１１０による撮影時点での飛行高度を取得する。
【００１６】
撮影高度出力部１０３は、ビデオフレーム画像１３０ごとの飛行高度を出力する。
【００１７】
以上の構成によれば、広域画像を構成する部分領域画像に関して、過去の撮影時点の飛行高度に応じて飛行体を制御することができる。
【００１８】
［第２実施形態］
次に本発明の第２実施形態に係る情報処理システムについて、図２以降を用いて説明する。図２は、本実施形態に係る情報処理装置としてのコントローラ２０１と飛行体２０２とを含む情報処理システムを説明するための図である。
【００１９】
コントローラ２０１は、いわゆるプロポやノートＰＣといった演算能力を備えた装置であり、広域画像生成部２１１、撮影高度取得部２１２、参照画像生成部２１３、表示部２１４、操作部２１５および制御部２１６を備えている。飛行体２０２は、プロペラやモータを含む飛行駆動部２２１と、飛行駆動部２２１を制御する飛行制御部２２２と、映像を撮像する撮像部２２３とを備えている。
【００２０】
広域画像生成部２１１は、飛行体２０２が移動しながら下方に広がる地上領域を撮影することにより得られた飛行体映像２２０から、複数のビデオフレーム画像２３０を抽出して合成し、広範囲の撮像画像を生成する。複数のビデオフレーム画像２３０を合成する際には、撮影時の緯度・経度、方角と、画像特徴を用いて、画像２３０の選択、位置調整などを行なう。
【００２１】
例えばこのようにして生成した広域画像３００を図３に示す。飛行体２０２が（１）〜（６）で示す位置を撮影しながら移動して得られた部分画像２３０を合成することにより、広域画像３００が生成される。
【００２２】
撮影高度取得部２１２は、ビデオフレーム画像２３０ごとに、撮影高度、つまり撮影時の飛行体２０２の高度情報を取得する。図３では、整理された位置（１）〜（６）を水平移動して、広域画像を生成する場合について述べたが、火事３０１が起きた場所の周辺領域を撮影する場合、必ずしも、水平飛行させることが最善ではない。図４の矢印４００に示すように、火事３０１の周辺をランダムに飛行させることもありえる。そして、図５の矢印５００に示すように、火事３０１の周辺を、高度を変えて飛行させることもありえる。そして、そのように高度を変えて撮影した場合、撮影時点での飛行高度に応じて、画像の解像度（地上の単位面積あたりの画素数）が変化してしまう。
【００２３】
この解像度の変化をユーザに通知するため、参照画像生成部２１３は、ビデオフレーム画像ごとの飛行高度と、ビデオフレーム画像が撮像された際の飛行体２０２の位置情報とを組み合わせて、参照画像としてのグラデーション画像を生成する。具体的には、広域画像に含まれる部分領域ごとに、飛行高度画像、つまり、飛行高度（解像度）の違いを色の違いや色の濃さの変化で示したグラデーション画像を生成する。
【００２４】
図６は、一例としてのグラデーション画像６００を示す図である。画像６０１に示すように、撮影高度が高い部分画像（低解像度）から撮影高度が低い部分画像（高解像度）まで、色の濃さを順次変えることにより、グラデーション画像６００が生成される。
【００２５】
表示部２１４は、このグラデーション画像６００を、広域画像３００に重畳表示しても、並列表示しても、切り替え表示してもよい。
【００２６】
操作部２１５は、ユーザによる操作を受け付けて、飛行体２０２の飛行制御部２２２に対して制御指示を送る。ユーザは、参照画像としてのグラデーション画像を見ながら、次に飛行体２０２を移動させる位置を判断して、飛行体２０２を操作することができる。
【００２７】
また、制御部２１６は、撮影高度取得部２１２から、ビデオフレーム画像ごとの撮影高度を受付け、ビデオフレーム画像ごとの撮影高度に応じて、飛行体２０２の移動ルートを決定し、飛行制御部２２２に送信する。つまり制御部２１６は、過去の撮影時点での飛行高度が最も高いビデオフレーム画像（つまり最低解像度部分画像）を特定し、低解像度部分画像を撮影した位置の、より低い高度に優先的に飛行体２０２を移動させる。
【００２８】
図７は、コントローラ２０１における処理の流れを示すフローチャートである。まずステップＳ７０１で、飛行体２０２から撮影した映像データを取得する。次に、ステップＳ７０３において、映像データから、複数のビデオフレーム画像を抽出し、複数のビデオフレーム画像を合成して広域画像を生成する。
【００２９】
さらにステップＳ７０５において、広域画像に含まれる部分画像ごとの撮影高度を取得する。そして、ステップＳ７０７では、部分画像ごとの撮影高度と、その部分画像を撮像した飛行体位置とを用いて、撮影高度、つまり、解像度分布のグラデーション画像を生成する。または、このとき、次の目的地として、解像度が低い部分画像を撮像した位置に飛行させ、より低い高度で撮像させる。
【００３０】
以上の構成によれば、広域画像を構成する部分領域画像に関して、過去の撮影時点の飛行高度に応じて飛行体を制御することができる。
【００３１】
［第３実施形態］
次に本発明の第３実施形態に係る情報処理システム８００について、図８を用いて説明する。図８は、本実施形態に係る情報処理システム８００の概略構成を説明するための機能構成図である。本実施形態に係る情報処理システム８００は、上記第２実施形態と比べると、映像処理サーバ８０３とディスプレイ８０４を有しており、コントローラ８０１が広域画像生成部２１１などを有さない点で異なる。その他の構成および動作は、第２実施形態と同様であるため、同じ構成および動作については同じ符号を付してその詳しい説明を省略する。
【００３２】
映像処理サーバ８０３の広域画像生成部８１１は、コントローラ８０１を介して、飛行体映像２２０を取得し、飛行体映像２２０から複数のビデオフレーム画像２３０を抽出して合成し、広範囲の撮像画像を生成する。複数のビデオフレーム画像２３０を合成する際には、撮影時の緯度・経度、方角と、画像特徴を用いて、ビデオフレーム画像２３０の選択、位置調整などを行なう。
【００３３】
撮影高度取得部８１２は、ビデオフレーム画像２３０ごとに、撮影高度、つまり撮影時の飛行体２０２の高度情報を取得する。撮影時点での飛行高度に応じて変化する、画像の解像度（地上の単位面積あたりの画素数）をユーザに通知するため、参照画像生成部８１３は、ビデオフレーム画像ごとの飛行高度と、ビデオフレーム画像が撮像された際の飛行体２０２の位置情報とを組み合わせて、参照画像としてのグラデーション画像を生成する。具体的には、広域画像に含まれる部分領域ごとに、飛行高度（解像度）の違いを色の違いや色の濃さの変化で示した参照画像としてのグラデーション画像を生成する。
【００３４】
表示制御部８１４は、生成されたグラデーション画像をディスプレイ８０４に出力する。ディスプレイ８０４は、このグラデーション画像を、広域画像に重畳表示しても、並列表示しても、切り替え表示してもよい。
【００３５】
以上の構成によれば、広域画像を構成する部分領域画像に関して、過去の撮影時点の飛行高度に応じて飛行体を制御することができる。
【００３６】
［他の実施形態］
以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。また、それぞれの実施形態に含まれる別々の特徴を如何様に組み合わせたシステムまたは装置も、本発明の範疇に含まれる。
【００３７】
また、本発明は、複数の機器から構成されるシステムに適用されてもよいし、単体の装置に適用されてもよい。さらに、本発明は、実施形態の機能を実現する情報処理プログラムが、システムあるいは装置に直接あるいは遠隔から供給される場合にも適用可能である。したがって、本発明の機能をコンピュータで実現するために、コンピュータにインストールされるプログラム、あるいはそのプログラムを格納した媒体、そのプログラムをダウンロードさせるＷＷＷ(World Wide Web)サーバも、本発明の範疇に含まれる。特に、少なくとも、上述した実施形態に含まれる処理ステップをコンピュータに実行させるプログラムを格納した非一時的コンピュータ可読媒体（non-transitory computer readable medium）は本発明の範疇に含まれる。
【図１】
2018179403.tif 000003
【図２】
2018179403.tif 000004
【図３】
2018179403.tif 000005
【図４】
2018179403.tif 000006
【図５】
2018179403.tif 000007
【図６】
2018179403.tif 000008
【図７】
2018179403.tif 000009
【図８】
2018179403.tif 000010
【国際調査報告】
2018179403.tif 000011
2018179403.tif 000012
2018179403.tif 000013
2018179403.tif 000014