(57)【要約】【課題】消費電力の低減を図りつつ、対象の情報を取得することが可能なコンピュータシステム、ドローン制御方法及びプログラムを提供することを目的とする。【解決手段】コンピュータシステムは、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。また、コンピュータシステムは、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。【選択図】図１
2019163118.tif 000002
【特許請求の範囲】
【請求項１】
ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステム。
【請求項２】
前記ポイントが複数ある場合に、
全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項１に記載のコンピュータシステム。
【請求項３】
前記ポイントが複数ある場合に、
ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項１に記載のコンピュータシステム。
【請求項４】
前記ポイントが複数ある場合に、
ポイントのエッジ変化量の大きい順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項１に記載のコンピュータシステム。
【請求項５】
ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステム。
【請求項６】
前記ポイントが複数ある場合に、
全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項５に記載のコンピュータシステム。
【請求項７】
前記ポイントが複数ある場合に、
ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項５に記載のコンピュータシステム。
【請求項８】
コンピュータシステムが実行するドローン制御方法であって、
ドローンで撮影した画像を取得するステップと、
取得した前記画像を画像解析するステップと、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップと、
抽出した前記ポイントの位置座標を取得するステップと、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
を備えることを特徴とするドローン制御方法。
【請求項９】
コンピュータシステムが実行するドローン制御方法であって、
ドローンで撮影した画像を取得するステップと、
取得した前記画像を画像解析するステップと、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップと、
抽出した前記ポイントの位置座標を取得するステップと、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
を備えることを特徴とするドローン制御方法。
【請求項１０】
コンピュータシステムに、
ドローンで撮影した画像を取得するステップ、
取得した前記画像を画像解析するステップ、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップ、
抽出した前記ポイントの位置座標を取得するステップ、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【請求項１１】
コンピュータシステムに、
ドローンで撮影した画像を取得するステップ、
取得した前記画像を画像解析するステップ、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップ、
抽出した前記ポイントの位置座標を取得するステップ、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ撮影するドローンを制御するコンピュータシステム、ドローン制御方法及びプログラムに関する。
【背景技術】
【０００２】
近年、ドローンが普及し、空からの撮影などに活用されている。撮影された画像は画像解析されて道路や建築物等の傷やシミ等の診断に活用される。このような撮影に際して、赤外光や紫外光による撮影を行うことにより、可視光による撮影とは異なる画像が取得できることが知られている。【０００３】
このような赤外光や紫外光による撮影の例として、近赤外線を建築物に照射し、この建築物の透過画像を解析することにより、包材のシール部における不良の有無を判断する構成が開示されている（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−２３２４６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の構成では、常時可視光以外の波長の光を対象に照射する必要があることから、このような構成をドローン等に用いた場合、対象に傷等の問題が存在していない場合であっても、この波長の光を照射することになってしまい、この装置による消費電力の過度な消費や、このような消費に伴う飛行時間の減少等の問題が発生してしまうおそれがあった。【０００６】
そこで、最初に可視光による撮影で対象に何らかの問題を検知した場合に、可視光とは異なる波長の光により対象を撮影することで、対象の更なる情報を取得することを可能とすることに着目した。さらに、可視光で撮影された画像に画像解析がうまくいかない場合に、可視光とは異なる波長の光により対象を再度撮影することで、画像解析をうまく行えることに着目した。【０００７】
本発明の目的は、消費電力の低減を図りつつ、対象の情報を取得することが可能なコンピュータシステム、ドローン制御方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明では、以下のような解決手段を提供する。【０００９】
本発明は、ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステムを提供する。【００１０】
本発明によれば、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。【００１１】
ここで、本発明は、コンピュータシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。【００１２】
また、本発明は、ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステムを提供する。【００１３】
本発明によれば、ドローンで撮影した画像を取得し、取得した前記画像を画像解析し、前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出し、抽出した前記ポイントの位置座標を取得し、前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる。【００１４】
ここで、本発明は、コンピュータシステムのカテゴリであるが、方法又はプログラム等の他のカテゴリにおいても、そのカテゴリに応じた同様の作用・効果を発揮する。
【発明の効果】
【００１５】
本発明によれば、消費電力の低減を図りつつ、対象の情報を取得することが可能なコンピュータシステム、ドローン制御方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】図１は、ドローン制御システム１の概要を示す図である。
【図２】図２は、ドローン制御システム１の全体構成図である。
【図３】図３は、ドローン制御システム１の機能ブロック図である。
【図４】図４は、ドローン制御システム１が実行するドローン制御処理のフローチャートである。
【図５】図５は、ドローン制御システム１が実行するドローン制御処理のフローチャートである。
【図６】図６は、ドローン制御システム１が実行するドローン制御処理の変形例のフローチャートである。
【図７】図７は、ドローン制御システム１が実行するドローン制御処理の変形例のフローチャートである。
【図８】図８は、エッジ変化量が所定値以上のポイントの一例を示す図である。
【図９】図９は、解像度が低くて画像解析が不能なポイントの一例を示す図である。
【発明を実施するための形態】
【００１７】
以下、本発明を実施するための最良の形態について、図を参照しながら説明する。なお、これはあくまでも一例であって、本発明の技術的範囲はこれに限られるものではない。
【００１８】
［ドローン制御システム１の概要］
本発明の好適な実施形態の概要について、図１に基づいて説明する。図１は、本発明の好適な実施形態であるドローン制御システム１の概要を説明するための図である。ドローン制御システム１は、コンピュータ１０、ドローン１００から構成される。ドローン制御システム１は、ドローン１００が有する撮影装置により撮影した動画や静止画等の画像を、コンピュータ１０が取得し、取得した画像に基づいて、コンピュータ１０が各種処理を実行するコンピュータシステムである。ドローン制御システム１は、コンピュータ１０の処理結果に基づいて、ドローン１００の飛行ルートの設定、波長の変更した画像の撮影等のドローン１００に対する各種制御を実行する。
【００１９】
なお、ドローン制御システム１において、コンピュータ１０やドローン１００の数は、適宜変更可能である。また、ドローン制御システム１は、これらの他にドローン１００を制御する端末装置等の他の端末装置を有していてもよい。
【００２０】
コンピュータ１０は、無線通信、優先通信等により、ネットワークを介して、ドローン１００とデータ通信可能に接続されたコンピュータ装置である。コンピュータ１０は、画像解析、ドローン１００の制御等を実行するコンピュータ装置である。
【００２１】
ドローン１００は、コンピュータ１０とデータ通信可能に接続され、予め設定された飛行経路や、図示していない端末装置が指定する飛行経路に基づいて飛行する無人飛行機やマルチコプター等である。ドローン１００は、可視光だけでなく、可視光とは異なる他の波長（例えば、赤外線や紫外線）を用いた画像を撮影することが可能な撮影装置を有する。ドローン１００は、撮影した画像を、コンピュータ１０に送信する。
【００２２】
ドローン制御システム１が実行するドローン制御処理の概要について説明する。
【００２３】
なお、後述する各処理は、コンピュータ１０又はドローン１００の何れかに限らず、双方が実行してもよいし、コンピュータ１０が実行する処理として説明する各処理を、ドローン１００が実行する構成であってもよいし、その逆の構成であってもよい。
【００２４】
はじめに、ドローン１００は対象とする場所や建築物の近傍を飛行し、画像を撮影する（ステップＳ０１）。ここで、ドローン１００は、予め設定された飛行経路を飛行し、対象とする場所や建築物等を撮影する。この時ドローン１００が撮影する画像とは、可視光画像である。
【００２５】
ドローン１００は、撮影した画像を、コンピュータ１０に送信する。このとき、ドローン１００は、画像とともに、この画像を撮影した自身の位置座標及び自身の高度をコンピュータ１０に送信する。コンピュータ１０は、この画像を受信することにより、ドローン１００で撮影した画像を取得する（ステップＳ０２）。
【００２６】
コンピュータ１０は、取得した画像を画像解析する（ステップＳ０３）。コンピュータ１０は、取得した可視光画像を、エッジ検出を行う。エッジ検出とは、不連続に変化している箇所を特定することである。例えば、コンピュータ１０は、エッジ検出として、深さが不連続であるか、面の向きが不連続であるか、材質が変化しているか、照明が変化しているかを検出する。
【００２７】
コンピュータ１０は、画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する（ステップＳ０４）。コンピュータ１０は、ヘッジ変化量として、例えば、変色、温度変化、変形を検出した際、これらが所定の閾値以上であるか否かを判定し、判定の結果が、所定の閾値以上であるポイントを抽出する。
【００２８】
コンピュータ１０は、抽出したポイントの位置座標を取得する（ステップＳ０５）。コンピュータ１０は、抽出したポイントの画像における座標に基づいて、実際の位置座標を取得する。これは、ドローン１００がこの画像を撮影した位置座標を、ポイントの座標であるものとして取得する。
【００２９】
コンピュータ１０は、この位置座標への飛行指示をドローン１００に送信するとともに可視光以外の他の波長の光で画像を撮影する撮影装置により、このポイントの画像を撮影させる再撮影指示を送信する（ステップＳ０６）。
【００３０】
なお、このポイントが複数存在する場合、全てのポイントに対して飛行指示及び再撮影指示を送信してもよい。このようにすることにより、ドローン制御システム１は、ドローン１００に、全てのポイントを飛行するように飛行ルートを設定する。
【００３１】
また、ポイントが複数存在する場合、ポイントの位置座標が、近い順にドローン１００が飛行するように飛行指示及び再撮影指示を送信する。このようにすることにより、ドローン制御システム１は、ドローン１００に、位置座標の近い順に飛行するように飛行ルートを設定する。
【００３２】
ドローン１００は、飛行指示及び再撮影指示を受信し、このポイントの位置座標に飛行するとともにこのポイントを可視光以外の他の波長の光で画像を撮影する（ステップＳ０７）。このようにすることにより、ドローン制御システム１は、ドローン１００を取得した位置座標に飛行させ、可視光以外のカメラで撮影させるよう制御する。
【００３３】
［変形例］
ドローン制御システム１の変形例についても説明する。この変形例において、上述した実施形態との相違点は、上述したステップＳ０４の処理である。それ以外の処理については、詳細な説明を省略する。
【００３４】
ドローン１００は、上述した実施形態と同様に、対象の画像（可視光画像）を撮影し、コンピュータ１０に送信する。このとき、ドローン１００は、自身の位置座標及び自身の高度も併せて送信する。
【００３５】
コンピュータ１０は、上述した実施形態と同様に、取得した画像を画像解析する。
【００３６】
コンピュータ１０は、画像解析の結果、取得した画像の解像度が低くて、画像解析が不能なポイントを抽出する。コンピュータ１０は、例えば、エッジ変化量の検出ができなかったポイントが存在する場合、この画像の解像度が低いことから画像解析が不能であったと判定し、このポイントを抽出する。
【００３７】
コンピュータ１０は、上述した実施形態と同様に、この抽出したポイントの位置座標を取得し、この位置座標への飛行指示及び再撮影指示をドローン１００に送信する。
【００３８】
なお、上述した実施形態と同様に、このポイントが複数存在する場合、全てのポイントに対して飛行指示及び再撮影指示を送信してもよい。
【００３９】
また、上述した実施形態と同様に、ポイントが複数存在する場合、ポイントの位置座標が、近い順にドローン１００が飛行するように飛行指示及び再撮影指示を送信してもよい。
【００４０】
ドローン１００は、上述した実施形態と同様に、飛行指示及び再撮影指示を受信し、このポイントの位置座標に飛行するとともにこのポイントを可視光以外の他の波長の光で画像を撮影する。
【００４１】
以上が、ドローン制御システム１の概要である。
【００４２】
［ドローン制御システム１のシステム構成］
図２に基づいて、本発明の好適な実施形態であるドローン制御システム１のシステム構成について説明する。図２は、本発明の好適な実施形態であるドローン制御システム１のシステム構成を示す図である。ドローン制御システム１は、コンピュータ１０、ドローン１００から構成され、ドローン１００が有する撮影装置により撮影した動画や静止画等の画像を、公衆回線網５等を介して、コンピュータ１０が取得し、取得した画像に基づいて、コンピュータ１０が各種処理を実行するコンピュータシステムである。
【００４３】
なお、コンピュータ１０及びドローン１００は、１つに限らず、複数であってもよい。また、コンピュータ１０は、実在する装置に限らず、仮想的な装置であってもよい。また、公衆回線網５等により図示していない他の端末装置等の端末装置と通信可能に接続されていてもよい。
【００４４】
コンピュータ１０は、後述の機能を備えた上述したコンピュータ装置等である。
【００４５】
ドローン１００は、後述の機能を備えた上述した無人飛行機やマルチコプター等である。
【００４６】
［各機能の説明］
図３に基づいて、本発明の好適な実施形態であるドローン制御システム１の機能について説明する。図３は、コンピュータ１０、ドローン１００の機能ブロック図を示す図である。
【００４７】
コンピュータ１０は、制御部１１として、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等を備え、通信部１２として、他の機器と通信可能にするためのデバイス、例えば、ＩＥＥＥ８０２．１１に準拠したＷｉＦｉ（Ｗｉｒｅｌｅｓｓ  Ｆｉｄｅｌｉｔｙ）対応デバイスを備える。また、コンピュータ１０は、記憶部として、ハードディスクや半導体メモリ、記録媒体、メモリカード等によるデータのストレージ部を備える。また、コンピュータ１０は、処理部１４として、画像解析、ドローン１００の飛行ルート設定、撮影指示、再撮影指示等の各種処理を実行する各種デバイス等を備える。
【００４８】
コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、通信部１２と協働して、撮影データ取得モジュール２０、再飛行データ送信モジュール２１、通知送信モジュール２２を実現する。また、コンピュータ１０において、制御部１１が所定のプログラムを読み込むことにより、処理部１４と協働して、画像解析モジュール４０、抽出モジュール４１、位置座標取得モジュール４２、高度取得モジュール４３、制御モジュール４４、通知作成モジュール４５を実現する。
【００４９】
ドローン１００は、コンピュータ１０と同様に、制御部１１０として、ＣＰＵ、ＲＡＭ、ＲＯＭ等を備え、通信部１２０として、他の機器と通信可能にするためのデバイスを備える。また、ドローン１００は、入出力部１４０として、飛行に必要な飛行装置、画像を撮影する撮影装置等の各種デバイスを備える。
【００５０】
ドローン１０において、制御部１１０が所定のプログラムを読み込むことにより、通信部１２０と協働して、撮影データ送信モジュール１５０、再飛行データ取得モジュール１５１を実現する。また、ドローンにおいて、制御部１１０が所定のプログラムを読み込むことにより、入出力部１４０と協働して、飛行モジュール１７０、撮影モジュール１７１を実現する。
【００５１】
［ドローン制御処理］
図４及び図５に基づいて、ドローン制御システム１が実行するドローン制御処理について説明する。図４及び図５は、コンピュータ１０、ドローン１００が実行するドローン制御処理のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
【００５２】
はじめに、飛行モジュール１７０は、予め設定された飛行経路に基づいて、対象とする場所や建築物の近傍を飛行する（ステップＳ１０）。ステップＳ１０において、飛行モジュール１７０は、コンピュータ１０や図示してない端末装置からの飛行指示や、これらが設定した飛行経路に従って所定の速度で飛行する。対象とする場所や建築物とは、例えば、道路、トンネル、建築物である。
【００５３】
撮影モジュール１７１は、動画や静止画等の画像を撮影する（ステップＳ１１）。ステップＳ１１において、撮影モジュール１７１は、予め設定された地点又は飛行中常時撮影する。撮影モジュール１７１は、可視光の波長で、画像を撮影する。すなわち、ステップＳ１１における撮影モジュール１７１が撮影する画像とは、可視光画像である。
【００５４】
撮影データ送信モジュール１５０は、撮影モジュール１７１が撮影した画像、撮影した場所における自身の位置座標（ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）から取得した自身の位置情報、設定された飛行経路における自身の現在位置に該当する位置情報）及び撮影した場所における自身の高度（ドローン１００に設けられた高度計から取得）を、撮影データとして、コンピュータ１０に送信する（ステップＳ１２）。
【００５５】
なお、位置座標及び高度は、必ずしも含まれていなくともよく、撮影データ送信モジュール１５０は、画像のみを撮影データとして送信してもよい。また、撮影データ送信モジュール１５０は、画像及び位置座標を撮影データとして、送信してもよい。
【００５６】
撮影データ取得モジュール２０は、ドローン１００が送信した撮影データを取得する（ステップＳ１３）。ステップＳ１３において、撮影データ取得モジュール２０が、ドローン１００が送信した撮影データを受信することにより、ドローン１００で撮影された画像、ドローン１００の位置座標及びドローン１００の高度を取得する。
【００５７】
画像解析モジュール４０は、画像を画像解析する（ステップＳ１４）。ステップＳ１４において、画像解析モジュール４０は、取得した画像に対して、エッジ検出を行う。エッジ検出とは、不連続に変化している箇所を特定することである。画像解析モジュール４０は、例えば、エッジ検出として、深さが不連続であるか、面の向きが不連続であるか、材質が変化しているか、照明が変化しているかを検出する。
【００５８】
画像解析モジュール４０は、エッジが検出できたか否かを判断する（ステップＳ１５）。ステップＳ１５において、画像解析モジュール４０は、画像中に不連続に変化している箇所が存在するか否かに基づいて、エッジが検出できたか否かを判断する。また、画像解析モジュール４０は、例えば、変色、温度変化、変形を検出できたか否かを判断する。
【００５９】
ステップＳ１５において、画像解析モジュール４０は、エッジが検出できなかったと判断した場合（ステップＳ１５  ＮＯ）、画像解析モジュール４０は、この画像内にエッジが検出できなかったことから、この画像に写っている対象には問題がないと判断し、一旦処理を終了する。このとき、コンピュータ１０は、ドローン１００から次の撮影データを取得するまで、処理を待機する。
【００６０】
一方、ステップＳ１５において、画像解析モジュール４０は、エッジが検出できたと判断した場合（ステップＳ１５  ＹＥＳ）、画像解析モジュール４０は、検出したエッジのエッジ変化量が所定の閾値以上であるか否かを判定する（ステップＳ１６）。ステップＳ１６において、画像解析モジュール４０は、エッジ変化量（例えば、変色の度合い、温度変化の度合い、変形の度合い）が、予め設定された閾値（例えば、異常が発生していると判断するに足る値）以上であるか否かを判定する。画像解析モジュール４０は、エッジ変化量が所定の閾値以上ではないと判定した場合（ステップＳ１６  ＮＯ）、画像解析モジュール４０は、画像内に、エッジ変化量を検出できたものの、この画像に写っている対象には問題がないと判断し、一旦処理を終了する。このとき、コンピュータ１０は、ドローン１００から次の撮影データを取得するまで、処理を待機する。
【００６１】
一方、ステップＳ１６において、画像解析モジュール４０は、エッジ変化量が所定の閾値以上であると判定した場合（ステップＳ１６  ＹＥＳ）、抽出モジュール４１は、エッジ変化量が所定の閾値以上のポイントを抽出する（ステップＳ１７）。ステップＳ１７において、抽出モジュール４１は、このポイントを異常が発生しているポイントとして、抽出する。
【００６２】
図８に基づいて、抽出モジュール４１が抽出するエッジ変化量が所定の閾値以上のポイントについて説明する。図８は、エッジ変化量が所定の閾値以上のポイントを模式的に示した図である。図８において、抽出モジュール４１は、画像３００内に、エッジ変化量が所定の閾値以上のポイントを抽出している。図８において、抽出モジュール４１が抽出したポイント３１０〜３１３に対して、模式的に枠線３２０〜３２３を記載している。抽出モジュール４１は、抽出したポイント３１０〜３１３の其々に対して、このポイントは、画像３００内におけるこの場所が、エッジ変化量が所定の閾値以上の場所であることを意味する。
【００６３】
位置座標取得モジュール４２は、抽出したポイントの位置座標を取得する（ステップＳ１８）。ステップＳ１８において、位置座標取得モジュール４２は、抽出したポイントの画像における座標に基づいて、実際の位置座標（画像のポイントに対応する実際の場所の位置情報）を取得する。位置座標取得モジュール４２は、上述した撮影データに含まれるドローン１００の位置座標を、ポイントの位置座標であるものとして取得する。
【００６４】
なお、位置座標取得モジュール４２は、複数のポイントが抽出されていた場合、これらのポイントを近似的に同一の位置座標とみなしてこの画像を撮影した地点におけるドローン１００の位置座標を、ポイントの位置座標として取得する。また、複数の画像で同一のポイントを抽出した場合、すなわち、一の画像で一のポイントを抽出したうえで、一の画像とは異なる画像でこの一のポイントをさらに抽出した場合、各画像における撮影時のドローン１００の位置座標の平均値を、この一のポイントの位置座標として取得してもよい。この時の一のポイントの位置座標は、２又はそれ以上の数の画像に対しても適応可能である。
【００６５】
高度取得モジュール４３は、抽出したポイントの高度を取得する（ステップＳ１９）。ステップＳ１９において、高度取得モジュール４３は、抽出したポイントの画像におけるドローン１００の飛行高度に基づいて、この画像を撮影した高度を取得する。
【００６６】
制御モジュール４４は、取得したポイントの位置座標及び高度へドローン１００を飛行させる飛行指示を作成する（ステップＳ２０）。ステップＳ２０において、制御モジュール４４は、取得したポイントが一つである場合、このポイントの位置座標及び高度に飛行させるための設定を飛行指示として作成する。また、制御モジュール４４は、取得したポイントが複数ある場合、これらのポイントの其々へ飛行させるための設定を飛行指示として作成する。このような複数のポイントを飛行させる飛行指示の具体的な内容として、単純に、その順番を問わずに、全てのポイントを飛行させるものや、ポイントの位置座標が近い順に飛行させるものや、ポイントのエッジ変化量の大きい順に飛行させるものや、バッテリーの消費量が少ない順に飛行させるものや、その他のものが挙げられる。全てのポイントを飛行させるものとは、抽出したポイントの上空又は近傍をその順番は問わずに、例えば、ランダム、画像を撮影した順、画像を撮影した順とは逆順に、飛行させるものである。またポイントの位置座標が近い順に飛行させるものとは、現在のドローン１００の場所における位置座標及び高度と、ポイントの位置座標及び高度とを比較して、ドローン１００の位置座標に近い順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。また、エッジ変更料の大きい順に飛行させるものとは、抽出したポイントのうち、エッジ変化量の大きさ順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。また、バッテリーの消費量が少ない順に飛行させるものとは、抽出したポイントのうち、飛行に必要なバッテリーの消費量が少ない順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。
【００６７】
制御モジュール４４は、このポイントを可視光以外の撮影装置で撮影させる再撮影指示を作成する（ステップＳ２１）。ステップＳ２１において、制御モジュール４４は、ドローン１００に、可視光以外の波長の光（例えば、赤外線の波長や紫外線の波長）による画像を撮影可能な撮影装置により、抽出したポイントを撮影させる指示を、再撮影指示として作成する。
【００６８】
再飛行データ送信モジュール２１は、飛行指示及び再撮影指示を、再飛行データとして、ドローン１００に送信する（ステップＳ２２）。ステップＳ２２において、飛行指示及び再撮影指示を、撮影データを取得したドローン１００に対して、再飛行データとして送信する。
【００６９】
なお、再飛行データ送信モジュール２１は、再飛行データを、撮影データを取得したドローン１００とは異なるドローンに対して送信してもよい。例えば、ドローン１００が、可視光による画像を撮影する装置のみしか有していない場合や、再撮影に必要だと判断されるバッテリー残量が残されていない場合（この場合には、ドローン１００は一度飛行が完了した際又は撮影データを送信する際等に、自身のバッテリー残量も併せて送信しておけばよい。）に、このドローン１００とは異なるドローン（可視光以外による画像を撮影する装置を有するドローンや再撮影に必要なバッテリー残量が残されているドローン）に、再飛行データを送信すればよい。
【００７０】
再飛行データ取得モジュール１５１は、再飛行データを取得する。飛行モジュール１７０は、再飛行データに基づいて、抽出したポイントに飛行する（ステップＳ２３）。ステップＳ２３の処理は、上述したステップＳ１０の処理と略同様であり、再飛行データに含まれる飛行指示に基づいて飛行する。
【００７１】
撮影モジュール１７１は、このポイントの画像を撮影する（ステップＳ２４）。ステップＳ２４において、撮影モジュール１７１は、画像として、赤外線や紫外線等の可視光以外の波長で、画像を撮影する。すなわち、ステップＳ２４における撮影モジュール１７１が撮影する画像とは、可視光以外の波長の画像である。
【００７２】
撮影データ送信モジュール１５０は、撮影モジュール１７１が撮影した画像、撮影した場所における自身の位置座標及び自身の高度を、再撮影データとしてコンピュータ１０に送信する（ステップＳ２５）。ステップＳ２５の処理は、上述したステップＳ１２の処理と同様である。
【００７３】
なお、上述したステップＳ１２の処理と同様に、位置座標及び高度は、必ずしも含まれていなくともよく、画像のみを再撮影データとして送信してもよい。また、撮影データ送信モジュール１５０は、画像及び位置座標を再撮影データとして、送信してもよい。
【００７４】
撮影データ取得モジュール２０は、ドローン１００が送信した再撮影データを取得する（ステップＳ２６）。ステップＳ２６において、上述したステップＳ１３の処理と同様に、撮影データ取得モジュール２０が、ドローン１００で撮影された画像、位置座標及び高度を取得する。
【００７５】
画像解析モジュール４０は、画像を解析する（ステップＳ２７）。ステップＳ２７において、画像解析モジュール４０は、エッジ検出やその他の特徴検出や特徴抽出を実行する。画像解析モジュール４０は、特徴検出や特徴抽出により、撮影対象の更なる情報を取得する。更なる情報とは、例えば、傷やシミの有無、傷やシミが存在する場合にはその大きさや場所や数等、傷やシミが存在しない場合にはその旨の通知を取得する。
【００７６】
通知作成モジュール４５は、画像解析の結果得られた更なる情報を、再撮影結果通知として作成する（ステップＳ２８）。ステップＳ２８において、この再撮影結果通知は、上述した傷やシミの有無、その大きさや場所やその数、傷やシミが存在しない旨、可視光の波長の画像ではエッジ検出されたが可視光の以外の波長の画像ではエッジ検出されなかった旨等をテキスト化又は音声化したものである。
【００７７】
通知送信モジュール２２は、作成した再撮影結果通知を、図示してないユーザが所有する端末装置等に送信する（ステップＳ２９）。端末装置等は、この再撮影結果通知を、受信し、これを自身に表示又は放音することにより、ユーザに通知する。ユーザは、この再撮影結果通知に基づいて、実際の対象の状況を把握することになる。
【００７８】
以上が、ドローン制御処理である。
【００７９】
なお、上述した各処理は、必ずしも一のハードウェアにより実行される構成でなくてもよい。例えば、上述した各処理を、コンピュータ１０又はドローン１００の何れか又は双方により実行される構成であってもよい。
【００８０】
［変形例］
図６及び図７に基づいて、ドローン制御システム1が実行するドローン制御処理の変形例について説明する。図６及び図７は、コンピュータ１０、ドローン１００が実行するドローン制御処理の変形例のフローチャートを示す図である。上述した各装置のモジュールが実行する処理について、本処理に併せて説明する。
【００８１】
なお、上述した実施形態と同様の構成については、その詳細な説明を省略し、相違点を記載していく。
【００８２】
はじめに、ドローン１００は、上述したステップＳ１０〜Ｓ１２の処理を実行する（ステップＳ３０〜Ｓ３２）。ドローン１００は、対象とする場所や建築物の近傍を飛行し、画像を撮影し、撮影データをコンピュータ１０に送信する。
【００８３】
撮影データ取得モジュール２０は、上述したステップＳ１３及びＳ１４の処理と同様に、撮影データを取得し、画像解析を実行する（ステップＳ３３、Ｓ３４）。
【００８４】
画像解析モジュール４０は、画像解析ができたか否かを判断する（ステップＳ３５）。ステップＳ３５において、画像解析モジュール４０は、上述したステップＳ１５と同様に、エッジ検出ができたか否かを判断する。また、画像解析モジュール４０は、エッジ検出以外の他の検出処理を実行できたか否かを判断する。
【００８５】
ステップＳ３５において、画像解析モジュール４０は、画像解析ができたかと判断した場合（ステップＳ３５  ＹＥＳ）、上述したドローン制御処理におけるステップＳ１６以降の処理を実行する。なお、本変形例においては、説明の簡略化のため、本処理を終了するものとして図中では記載する。
【００８６】
一方、ステップＳ３５において、画像解析モジュール４０は、画像解析ができなかったと判断した場合（ステップＳ３５  ＮＯ）、抽出モジュール４１は、この画像解析ができなかったポイントを、画像解析が不能な不能ポイントとして抽出する（ステップＳ３６）。ステップＳ３６において、画像解析モジュール４０は、この不能ポイントを、解像度が低いことにより画像解析ができなかったと判定し、抽出モジュール４１は、この不能ポイントを抽出する。
【００８７】
なお、画像解析モジュール４０は、この不能ポイントを、それ以外が理由により画像解析ができなかったと判定してもよい。例えば、ドローン１００の距離と対象との間の距離が近すぎることにより画像解析ができなかったと判定してもよいし、ドローン１００の飛行が不安定なため、鮮明な画像が得られなかったことにより画像解析ができなかったと判定してもよい。
【００８８】
図９に基づいて、抽出モジュール４１が抽出する不能ポイントについて説明する。図９は、不能ポイントを模式的に示した図である。図９において、抽出モジュール４１は、画像４００内に、不能ポイントを抽出している。図９において、抽出モジュール４１が抽出した不能ポイント４１０〜４１３に対して、模式的に枠線４２０〜４２３を記載している。抽出モジュール４１は、抽出した不能ポイント４１０〜４１３の其々に対して、画像４００内におけるこの場所が、画像解析ができなかった場所であることを意味する。
【００８９】
コンピュータ１０は、上述したステップＳ１８〜Ｓ２２の処理と同様の処理を実行する（ステップＳ３７〜Ｓ４１）。
【００９０】
位置座標取得モジュール４２は、抽出した不能ポイントの位置座標を取得する（ステップＳ３７）。上述したステップＳ１８と同様に、複数の不能ポイントが抽出されていた場合、これらの不能ポイントを近似的に同一の位置座標とみなしてこの画像を撮影した地点におけるドローン１００の位置座標を、不能ポイントの位置座標として取得する。また、複数の画像で同一の不能ポイントを抽出した場合、すなわち、一の画像で一の不能ポイントを抽出したうえで、一の画像とは異なる画像でこの一の不能ポイントをさらに抽出した場合、各画像における撮影時のドローン１００の位置座標の平均値を、この一の不能ポイントの位置座標として取得してもよい。この時の一の不能ポイントの位置座標は、２又はそれ以上の数の画像に対しても適応可能である。
【００９１】
高度取得モジュール４３は、抽出した不能ポイントの高度を取得する（ステップＳ３８）。
【００９２】
制御モジュール４４は、取得した不能ポイントの位置座標及び高度へドローン１００を飛行させる飛行指示を作成する（ステップＳ３９）。ステップＳ３９において、制御モジュール４４は、取得した不能ポイントが一つである場合、この不能ポイントの位置座標及び高度に飛行させるための設定を飛行指示として作成する。また、制御モジュール４４は、取得した不能ポイントが複数ある場合、これらの不能ポイントの其々へ飛行させるための設定を飛行指示として作成する。このような複数の不能ポイントを飛行させる飛行指示の具体的な内容として、単純に、その順番を問わずに、全ての不能ポイントを飛行させるものや、不能ポイントの位置座標が近い順に飛行させるものや、その他のものが挙げられる。全ての不能ポイントを飛行させるものとは、抽出した不能ポイントの上空又は近傍をその順番は問わずに、例えば、ランダム、画像を撮影した順、画像を撮影した順とは逆順に、飛行させるものである。また不能ポイントの位置座標が近い順に飛行させるものとは、現在のドローン１００の場所における位置座標及び高度と、不能ポイントの位置座標及び高度とを比較して、ドローン１００の位置座標に近い順に、該当するポイントの上空又は近傍をその順に、飛行させるものである。
【００９３】
制御モジュール４４は、このポイントを可視光以外の撮影装置で撮影させる再撮影指示を作成する（ステップＳ４０）。
【００９４】
再飛行データ送信モジュール２１は、飛行指示及び再撮影指示を、再飛行データとして、ドローン１００に送信する（ステップＳ４１）。
【００９５】
なお、再飛行データ送信モジュール２１は、再飛行データを、撮影データを取得したドローン１００とは異なるドローンに対して送信してもよい。例えば、ドローン１００が、可視光による画像を撮影する装置のみしか有していない場合や、再撮影に必要だと判断されるバッテリー残量が残されていない場合（この場合には、ドローン１００は一度飛行が完了した際又は撮影データを送信する際等に、自身のバッテリー残量も併せて送信しておけばよい。）に、このドローン１００とは異なるドローン（可視光以外による画像を撮影する装置を有するドローンや再撮影に必要なバッテリー残量が残されているドローン）に、再飛行データを送信すればよい。
【００９６】
ドローン１００は、上述したステップＳ２３〜Ｓ２５と同様の処理を実行する（ステップＳ４２〜Ｓ４４）。
【００９７】
再飛行データ取得モジュール１５１は、再飛行データを取得する。飛行モジュール１７０は、再飛行データに基づいて、抽出したポイントに飛行する（ステップＳ４２）。
【００９８】
撮影モジュール１７１は、この不能ポイントの画像を撮影する（ステップＳ４３）。ステップＳ４３において、撮影モジュール１７１は、画像として、赤外線や紫外線等の可視光以外の波長で、画像を撮影する。
【００９９】
撮影データ送信モジュール１５０は、再撮影データをコンピュータ１０に送信する（ステップＳ４４）。
【０１００】
コンピュータ１０は、上述したステップＳ２６〜Ｓ２９の処理と同様の処理を実行する（ステップＳ４５〜４８）。
【０１０１】
撮影データ取得モジュール２０は、ドローン１００が送信した再撮影データを取得する（ステップＳ４５）。
【０１０２】
画像解析モジュール４０は、画像を解析する（ステップＳ４６）。ステップＳ４６において、画像解析モジュール４０は、エッジ検出やその他の特徴検出や特徴抽出を実行する。画像解析モジュール４０は、特徴検出や特徴抽出により、撮影対象の更なる情報を取得する。更なる情報とは、例えば、傷やシミの有無、傷やシミが存在する場合にはその大きさや場所や数等、傷やシミが存在しない場合にはその旨の通知を取得する。
【０１０３】
通知作成モジュール４５は、画像解析の結果得られた更なる情報を、再撮影結果通知として作成する（ステップＳ４７）。
【０１０４】
通知送信モジュール２２は、作成した再撮影結果通知を、図示してないユーザが所有する端末装置等に送信する（ステップＳ４８）。端末装置等は、この再撮影結果通知を、受信し、これを自身に表示又は放音することにより、ユーザに通知する。ユーザは、この再撮影結果通知に基づいて、実際の対象の状況を把握することになる。
【０１０５】
以上が、ドローン制御処理の変形例である。
【０１０６】
なお、上述した各処理は、必ずしも一のハードウェアにより実行される構成でなくてもよい。例えば、上述した各処理を、コンピュータ１０又はドローン１００の何れか又は双方により実行される構成であってもよい。
【０１０７】
上述した手段、機能は、コンピュータ（ＣＰＵ、情報処理装置、各種端末を含む）が、所定のプログラムを読み込んで、実行することによって実現される。プログラムは、例えば、コンピュータからネットワーク経由で提供される（ＳａａＳ：ソフトウェア・アズ・ア・サービス）形態で提供される。また、プログラムは、例えば、フレキシブルディスク、ＣＤ（ＣＤ−ＲＯＭなど）、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなど）等のコンピュータ読取可能な記録媒体に記録された形態で提供される。この場合、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置又は外部記憶装置に転送し記憶して実行する。また、そのプログラムを、例えば、磁気ディスク、光ディスク、光磁気ディスク等の記憶装置（記録媒体）に予め記録しておき、その記憶装置から通信回線を介してコンピュータに提供するようにしてもよい。
【０１０８】
以上、本発明の実施形態について説明したが、本発明は上述したこれらの実施形態に限るものではない。また、本発明の実施形態に記載された効果は、本発明から生じる最も好適な効果を列挙したに過ぎず、本発明による効果は、本発明の実施形態に記載されたものに限定されるものではない。
【符号の説明】
【０１０９】
１  ドローン制御システム、１０  コンピュータ、１００  ドローン
【図１】
2019163118.tif 000003
【図２】
2019163118.tif 000004
【図３】
2019163118.tif 000005
【図４】
2019163118.tif 000006
【図５】
2019163118.tif 000007
【図６】
2019163118.tif 000008
【図７】
2019163118.tif 000009
【図８】
2019163118.tif 000010
【図９】
2019163118.tif 000011
【手続補正書】
【提出日】令和2年8月13日(2020.8.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ポイントが複数ある場合に、ポイントのエッジ変化量の大きい順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステム。
【請求項２】
前記ポイントが複数ある場合に、
全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項１に記載のコンピュータシステム。
【請求項３】
前記ポイントが複数ある場合に、
ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項１に記載のコンピュータシステム。
【請求項４】
ドローンで撮影した画像を取得する画像取得手段と、
取得した前記画像を画像解析する画像解析手段と、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出する抽出手段と、
抽出した前記ポイントの位置座標を取得する位置座標取得手段と、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させる制御手段と、
を備えることを特徴とするコンピュータシステム。
【請求項５】
前記ポイントが複数ある場合に、
全てのポイントを飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項４に記載のコンピュータシステム。
【請求項６】
前記ポイントが複数ある場合に、
ポイントの位置座標の近い順に飛行するように前記ドローンの飛行ルートを設定する設定手段と、
を備えることを特徴とする請求項４に記載のコンピュータシステム。
【請求項７】
コンピュータシステムが実行するドローン制御方法であって、
ドローンで撮影した画像を取得するステップと、
取得した前記画像を画像解析するステップと、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップと、
抽出した前記ポイントの位置座標を取得するステップと、
前記ポイントが複数ある場合に、ポイントのエッジ変化量の大きい順に飛行するように前記ドローンの飛行ルートを設定するステップと、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
を備えることを特徴とするドローン制御方法。
【請求項８】
コンピュータシステムが実行するドローン制御方法であって、
ドローンで撮影した画像を取得するステップと、
取得した前記画像を画像解析するステップと、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップと、
抽出した前記ポイントの位置座標を取得するステップと、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップと、
を備えることを特徴とするドローン制御方法。
【請求項９】
コンピュータシステムに、
ドローンで撮影した画像を取得するステップ、
取得した前記画像を画像解析するステップ、
前記画像解析の結果、エッジ変化量が所定の閾値以上のポイントを抽出するステップ、
抽出した前記ポイントの位置座標を取得するステップ、
前記ポイントが複数ある場合に、ポイントのエッジ変化量の大きい順に飛行するように前記ドローンの飛行ルートを設定するステップ、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【請求項１０】
コンピュータシステムに、
ドローンで撮影した画像を取得するステップ、
取得した前記画像を画像解析するステップ、
前記画像解析の結果、解像度が低くて画像解析が不能なポイントを抽出するステップ、
抽出した前記ポイントの位置座標を取得するステップ、
前記ドローンを取得した前記位置座標に飛行させ、可視光以外のカメラで撮影させるステップ、
を実行させるためのコンピュータ読み取り可能なプログラム。
【国際調査報告】
2019163118.tif 000012
2019163118.tif 000013
2019163118.tif 000014