(57)【要約】【課題】陸上走行及び空中飛行が可能な移動体を用いて、情報を適切に収集することができるようにする。【解決手段】カメラ２１０が、ドローン２００の外部の環境を表す画像を取得する。そして、制御部２３２は、カメラ２１０によって取得された画像及びドローン２００の電源残量の少なくとも一方に応じて、陸上走行及び空中飛行の何れによってドローン２００を移動させるかを判定し、該判定結果に応じてドローン２００を制御する。【選択図】図６
2019175016.tif 000002
【特許請求の範囲】
【請求項１】
陸上走行及び空中飛行が可能な移動体であって、
前記移動体の外部の環境を表す外部情報を検出するセンサと、
前記センサによって取得された前記外部情報及び前記移動体の電源の状態を表す内部情報の少なくとも一方に応じて、陸上走行及び空中飛行の何れによって前記移動体を移動させるかを判定し、該判定結果に応じて前記移動体を制御する制御部と、
を備える移動体。
【請求項２】
前記制御部は、前記センサによって検出された前記外部情報に基づいて、前記移動体の周辺の陸上面の凹凸の度合いを算出し、
前記凹凸の度合いが予め定められた閾値以上である場合には、空中飛行によって前記移動体を移動させるように制御し、
前記凹凸の度合いが予め定められた閾値未満である場合には、陸上走行によって前記移動体を移動させるように制御する、
請求項１に記載の移動体。
【請求項３】
前記制御部は、前記センサによって検出された前記外部情報に基づいて、前記移動体の周辺の空間の高さを算出し、
前記空間の高さが予め定められた閾値以上である場合には、空中飛行によって前記移動体を移動させるように制御し、
前記空間の高さが予め定められた閾値未満である場合には、陸上走行によって前記移動体を移動させるように制御する、
請求項１又は請求項２に記載の移動体。
【請求項４】
前記制御部は、前記内部情報が表す電源残量が予め定められた閾値以上である場合には、空中飛行によって前記移動体を移動させるように制御し、前記内部情報が表す電源残量が予め定められた閾値未満である場合には、陸上走行によって前記移動体を移動させるように制御する、
請求項１〜請求項３の何れか１項に記載の移動体。
【請求項５】
前記センサは、前記外部情報として画像を検出し、
前記センサによって取得された前記画像と、学習用の建物を表す画像と該画像の各部位の種別を表す建物学習用データから予め学習された建物認識用学習済みモデルとに基づいて、移動体周辺の対象建物の各部位の種別を認識する建物部位認識部と、
対象建物の図面データと、学習用の建物を表す図面データと該図面データの各部位の種別を表す図面学習用データから予め学習された図面認識用学習済みモデルとに基づいて、前記対象建物の前記図面データの各部位の種別を認識する図面認識部と、
前記建物部位認識部によって得られた前記対象建物の各部位の認識結果と、前記図面認識部によって得られた前記対象建物の図面の各部位の認識結果とを照合して、前記対象建物の前記図面データにおける前記移動体の位置を認識する位置認識部と、を更に含む、
請求項１〜請求項４の何れか１項に記載の移動体。
【請求項６】
移動体の外部の環境を表す学習用の外部情報及び該移動体の電源の状態を表す学習用の内部情報の少なくとも一方と該移動体の移動の種別とを表す学習用データに基づいて、前記外部情報及び前記内部情報の少なくとも一方から該移動体を空中飛行及び陸上走行の何れによって移動させるかに関する情報を出力するためのモデルを学習させて、前記外部情報及び前記内部情報の少なくとも一方から該移動体を空中飛行及び陸上走行の何れによって移動させるかに関する情報を出力する学習済みモデルを得る学習部
を含む移動体制御モデル学習装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被災情報処理装置及び移動体制御モデル学習装置に関する。
【背景技術】
【０００２】
従来、被害情報の効率的収集を行う、情報の収集表示システムが知られている（例えば、特許文献１）。また、構造物の損傷の抽出結果について提供を受ける側の端末の情報処理能力や通信環境を考慮して、損傷の抽出結果を適切なデータ内容で提供する損傷抽出システムが知られている（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2001-167133号公報
【特許文献２】特開2017-167969号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記特許文献１に記載の収集表示システムでは、現地の作業員が、デジタルカメラやビデオカメラ等の画像入力装置を用いて対象となる構造物の写真を撮る（例えば、上記特許文献１の段落［００１６］）。また、上記特許文献２の損傷抽出システムでは、構造物の点検作業を行う作業員によりユーザ端末が操作され、ユーザ端末は、構造物の撮影画像を損傷抽出サーバへ送信する（上記特許文献２の段落［０００７］）。
【０００５】
上記特許文献１に記載の技術及び上記特許文献２に記載の技術においては、現場における人手による操作が必要である。そのため、被災した建物の情報を収集する際には、作業員等が被災建物の現場に立ち入る必要があり、安全の観点から適切でない場合がある。
【０００６】
本発明は上記事実を考慮して、陸上走行及び空中飛行が可能な移動体を用いて、情報を適切に収集することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の移動体は、陸上走行及び空中飛行が可能な移動体であって、前記移動体の外部の環境を表す外部情報を検出するセンサと、前記センサによって取得された前記外部情報及び前記移動体の電源の状態を表す内部情報の少なくとも一方に応じて、陸上走行及び空中飛行の何れによって前記移動体を移動させるかを判定し、該判定結果に応じて前記移動体を制御する制御部と、を含んで構成される。これにより、陸上走行及び空中飛行が可能な移動体を用いて、情報を適切に収集することができる。また、陸上走行及び空中飛行が可能な移動体を用いて情報を収集する際に、移動体の内部情報及び外部情報に応じて、移動体の移動を適切に制御することができる。
【０００８】
本発明の前記制御部は、前記センサによって検出された前記外部情報に基づいて、前記移動体の周辺の陸上面の凹凸の度合いを算出し、前記凹凸の度合いが予め定められた閾値以上である場合には、空中飛行によって前記移動体を移動させるように制御し、前記凹凸の度合いが予め定められた閾値未満である場合には、陸上走行によって前記移動体を移動させるように制御するようにすることができる。これにより、移動体周辺の陸上の凹凸状態に応じて、移動体の移動を適切に制御することができる。
【０００９】
本発明の前記制御部は、前記センサによって検出された前記外部情報に基づいて、前記移動体の周辺の空間の高さを算出し、前記空間の高さが予め定められた閾値以上である場合には、空中飛行によって前記移動体を移動させるように制御し、前記空間の高さが予め定められた閾値未満である場合には、陸上走行によって前記移動体を移動させるように制御するようにすることができる。これにより、移動体周辺の空間の高さに応じて、移動体の移動を適切に制御することができる。
【００１０】
本発明の前記制御部は、前記内部情報が表す電源残量が予め定められた閾値以上である場合には、空中飛行によって前記移動体を移動させるように制御し、前記内部情報が表す電源残量が予め定められた閾値未満である場合には、陸上走行によって前記移動体を移動させるように制御するようにすることができる。これにより、移動体の電源残量に応じて、移動体の移動を適切に制御することができる。
【００１１】
本発明の前記センサは、前記外部情報として画像を検出し、前記センサによって取得された前記画像と、学習用の建物を表す画像と該画像の各部位の種別を表す建物学習用データから予め学習された建物認識用学習済みモデルとに基づいて、移動体周辺の対象建物の各部位の種別を認識する建物部位認識部と、対象建物の図面データと、学習用の建物を表す図面データと該図面データの各部位の種別を表す図面学習用データから予め学習された図面認識用学習済みモデルとに基づいて、前記対象建物の前記図面データの各部位の種別を認識する図面認識部と、前記建物部位認識部によって得られた前記対象建物の各部位の認識結果と、前記図面認識部によって得られた前記対象建物の図面の各部位の認識結果とを照合して、前記対象建物の前記図面データにおける前記移動体の位置を認識する位置認識部と、を更に含むようにすることができる。これにより、対象建物の図面データと移動体周辺の対象建物を表す画像とに基づき、移動体の位置を認識することができる。
【００１２】
本発明の移動体制御モデル学習装置は、移動体の外部の環境を表す学習用の外部情報及び該移動体の電源の状態を表す学習用の内部情報の少なくとも一方と該移動体の移動の種別とを表す学習用データに基づいて、前記外部情報及び前記内部情報の少なくとも一方から該移動体を空中飛行及び陸上走行の何れによって移動させるかに関する情報を出力するためのモデルを学習させて、前記外部情報及び前記内部情報の少なくとも一方から該移動体を空中飛行及び陸上走行の何れによって移動させるかに関する情報を出力する学習済みモデルを得る学習部を含んで構成される。これにより、外部情報及び内部情報に応じた移動体の移動方法を表す学習用データに基づき、移動体の移動を制御するための学習済みモデルを得ることができる。
【発明の効果】
【００１３】
本発明によれば、陸上走行及び空中飛行が可能な移動体を用いて、情報を適切に収集することができる、という効果が得られる。
【図面の簡単な説明】
【００１４】
【図１】本実施形態に係るモデル学習装置の概略構成を示すブロック図である。
【図２】図面データを説明するための説明図である。
【図３】学習用データセットの一例を示す図である。
【図４】本実施形態で用いる建物認識用学習済みモデルの一例を示す図である。
【図５】本実施形態で用いる図面認識用学習済みモデルの一例を示す図である。
【図６】本実施形態に係るドローンの概略構成を示すブロック図である。
【図７】本実施形態に係るドローンの具体的な構成例を示す図である。
【図８】建物の各部位の認識結果と図面の各部位の認識結果との照合処理を説明するための説明図である。
【図９】陸上の凹凸度合いに応じてドローンを制御する処理を説明するための説明図である。
【図１０】空間の高さに応じてドローンを制御する処理を説明するための説明図である。
【図１１】本実施形態の第１の学習処理ルーチンの一例を示す図である。
【図１２】本実施形態の第２の学習処理ルーチンの一例を示す図である。
【図１３】本実施形態の被災情報処理ルーチンの一例を示す図である。
【図１４】本実施形態の移動制御処理ルーチンの一例を示す図である。
【図１５】内部情報及び外部情報に応じてドローンの移動制御を行う学習済みモデルを説明するための説明図である。
【発明を実施するための形態】
【００１５】
＜本発明の実施形態の概要＞
【００１６】
本発明の実施形態では、移動体の一例であるドローンを用いて情報を収集する際に、ドローンの内部情報及び外部情報に応じてドローンの移動を制御する。本実施形態のドローンは、陸上走行及び空中飛行が可能である。そのため、本実施形態では、ドローンによって被災した建物（以下、単に「被災建物」と称する。）の画像を自動的に収集する際に、ドローンを陸上走行させるか又は空中飛行させるかを、内部情報及び外部情報に応じて制御する。また、本実施形態では、ドローンに搭載されたカメラによって撮像された画像を、被災建物の図面データに付与する。これにより、被災建物のどの箇所でどのような損傷が発生しているのかが判明する。以下、具体的に説明する。
【００１７】
＜本発明の実施形態に係るモデル学習装置のシステム構成＞
【００１８】
図１は、本発明の実施形態に係るモデル学習装置１００の構成の一例を示すブロック図である。モデル学習装置１００は、機能的には、図１に示されるように、データ受付部１０及びコンピュータ２０を含んだ構成で表すことができる。
【００１９】
データ受付部１０は、学習用の建物を表す画像と該画像の各部位の種別を表す建物学習用データを受け付ける。
【００２０】
本実施形態では、被災建物の画像を撮像し、被災建物の図面データに対して画像を付与する。この場合、撮像された画像は、図面データ上のどの位置で撮像されたのかを特定する必要がある。そこで、本実施形態では、画像が撮像された位置と図面データ上の位置とを対応付けるために、画像に映る建物の各部位の種別の判別結果（例えば、柱、壁、及び窓等）と図面データ上の各部位の判別結果（例えば、柱、壁、及び窓等）とを照合する。このとき、撮像された画像に写る各部分が、建物のどの部位であるかを認識する必要がある。そこで、本実施形態では、撮像された画像に写る各部位の種別を判別する建物認識用学習済みモデルを生成する。建物認識用学習済みモデルは、建物学習用データを用いることにより生成することができる。建物学習用データは、後述する学習部２５において用いられる。
【００２１】
また、データ受付部１０は、学習用の建物を表す図面データと該図面データの各部位の種別を表す図面学習用データを受け付ける。
【００２２】
被災建物のデータを収集する場合には、被災建物の図面データのうち、どの部分に損傷が発生しているのかを特定する必要がある。図面データは、例えば、図２に示されるような形式である。図面データを学習用データとして用いる場合には、図２に示されるように、図面データ上のどの部分が柱Ｐに該当し、どの部分が壁Ｗに該当するのかを予め設定しておく必要がある。
【００２３】
そのため、本実施形態では、学習用の図面データと当該図面データの各部位の種別を表す図面学習用データを予め用意する。そして、本実施形態では、図面学習用データを用いることにより、被災建物の図面データを認識し、図面データ上に存在する建物の各部位（例えば、柱、壁、及び窓等）を認識する図面認識用学習済みモデルを生成する。図面学習用データは、後述する学習部２５において用いられる。
【００２４】
データ受付部１０は、例えばキーボード、マウス、又は外部装置からの入力を受け付ける入出力装置等によって実現される。
【００２５】
コンピュータ２０は、ＣＰＵ（Central Processing Unit）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、記憶手段としてのメモリ、ネットワークインタフェース等を含んで構成されている。コンピュータ２０は、機能的には、図１に示されるように、学習用データ取得部２１と、建物学習用データ記憶部２３と、図面学習用データ記憶部２４と、学習部２５と、学習済みモデル記憶部２６とを備えている。
【００２６】
学習用データ取得部２１は、データ受付部１０によって受け付けられた、図面学習用データと建物学習用データとを取得する。そして、学習用データ取得部２１は、建物学習用データを建物学習用データ記憶部２３へ格納する。また、学習用データ取得部２１は、図面学習用データを図面学習用データ記憶部２４へ格納する。
【００２７】
建物学習用データ記憶部２３には、建物学習用データが格納される。図３（Ａ）に、建物学習用データを説明するための説明図を示す。図３（Ａ）に示されるように、学習用の建物の画像情報と、当該学習用の画像情報に写っている建物の部位を表すラベルとが対応付けられて格納される。図３（Ａ）に示されるデータＩＤ「00001」の図面学習用データでは、建物の画像情報が「ＹＹ１」であった場合に、当該画像情報に映っている建物の部位は「柱」であることが表されている。なお、１つの画像に、１つの部位（例えば、柱、壁、及び窓等）が映っている場合を例に挙げているが、１つの画像上に複数のラベルが付与されていてもよい。
【００２８】
図面学習用データ記憶部２４には、図面学習用データが格納される。図３（Ｂ）に、図面学習用データを説明するための説明図を示す。図３（Ｂ）に示されるように、学習用の建物の図面データと当該学習用の図面データに表現されている建物の部位を表すラベルとが対応付けられて格納される。図３（Ｂ）に示されるデータＩＤ「00001」の建物学習用データでは、建物の図面データが「ＺＺ１」であった場合に、当該図面データ上に表現されている建物の部位は「窓」であったことが表されている。なお、１つの図面データ上に、１つの部位（例えば、柱、壁、及び窓等）が表現されている場合を例に挙げているが、１つの図面データ上に複数のラベルが付与されていてもよい。
【００２９】
学習部２５は、建物学習用データ記憶部２３に格納された複数の建物学習用データに基づいて、建物を表す画像から当該建物の各部位の種別を出力するためのモデルを学習させて、建物を表す画像から当該建物の各部位の種別を出力する建物認識用学習済みモデルを得る。
【００３０】
本実施形態では、例えば、図４に示されるような建物認識用学習済みモデルを生成する。例えば、図４に示されるように、モデルの一例としてニューラルネットワークを用いることができ、学習アルゴリズムの一例としてディープラーニングを用いることができる。
【００３１】
また、学習部２５は、図面学習用データ記憶部２４に格納された複数の図面学習用データに基づいて、建物を表す図面データから当該図面データの各部位の種別を出力するためのモデルを学習させて、建物を表す図面データから当該図面データの各部位の種別を出力する図面認識用学習済みモデルを得る。
【００３２】
本実施形態では、例えば、図５に示されるような図面認識用学習済みモデルを生成する。例えば、図５に示されるように、モデルの一例としてニューラルネットワークを用いることができ、学習アルゴリズムの一例としてディープラーニングを用いることができる。
【００３３】
学習済みモデル記憶部２６には、学習部２５によって得られた、建物認識用学習済みモデル、及び図面認識用学習済みモデルが格納される。
【００３４】
＜本発明の実施形態に係るドローンのシステム構成＞
【００３５】
図６は、本発明の実施形態に係るドローン２００の構成の一例を示すブロック図である。ドローン２００は、機能的には、図６に示されるように、カメラ２１０、移動制御装置２２０、プロペラ２００Ａ及びキャタピラ（登録商標）２００Ｂを含んだ構成で表すことができる。
【００３６】
本実施形態のドローン２００は、図７に示されるように、プロペラ２００Ａとキャタピラ（登録商標）２００Ｂとを備えており、陸上走行又は空中飛行による移動が可能である。ドローン２００にはキャタピラ（登録商標）２００Ｂが搭載されているため、陸上走行をする際には障害物を乗り越えることができる。
【００３７】
なお、障害物を乗り越える際には、障害物の大きさも記録するようにしてもよい。また、陸上を走行する際には走行距離を併せて記録するようにしてもよい。また、陸上走行をする際のカメラ２１０による撮影にあたってのブレ対策としては、エアサスペンションなどの工夫を施すようにしてもよい。
【００３８】
ドローン２００による陸上走行又は空中飛行により、被災建物の内部及び周辺において、被災建物に関する情報を効率的に収集することができる。
【００３９】
カメラ２１０は、ドローン２００に搭載され、ドローン２００の周辺の画像を逐次検出する。カメラ２１０はステレオカメラであり、両眼視差を再現するように配置された二つの撮像部を有する。ステレオカメラによって得られる撮像情報には、奥行き方向の情報も含まる。
【００４０】
具体的には、ドローン２００が被災建物の内部又は被災建物の外部を移動する際に、カメラ２１０によって被災建物の各部位の画像が逐次撮像される。カメラ２１０はセンサの一例であり、カメラ２１０によって撮像される画像は、移動体の外部の環境を表す外部情報の一例である。
【００４１】
移動制御装置２２０は、ＣＰＵ（Central Processing Unit）、各処理ルーチンを実現するためのプログラム等を記憶したＲＯＭ（Read Only Memory）、データを一時的に記憶するＲＡＭ（Random Access Memory）、記憶手段としてのメモリ、ネットワークインタフェース等を含んだコンピュータによって構成されている。移動制御装置２２０は、機能的には、図６に示されるように、取得部２２１と、学習済みモデル記憶部２２２と、図面データ記憶部２２３と、建物部位認識部２２５と、図面認識部２２６と、位置認識部２２７と、被災情報記憶部２２９と、電源状態取得部２３０と、制御部２３２とを備えている。
【００４２】
取得部２２１は、カメラ２１０によって撮像された、対象建物の一例である被災建物を表す画像を逐次取得する。
【００４３】
学習済みモデル記憶部２２２には、モデル学習装置１００によって学習された、建物認識用学習済みモデル及び図面認識用学習済みモデルが格納される。
【００４４】
図面データ記憶部２２３には、被災建物の図面データが格納される。なお、図面データは、例えば、ＣＡＤ（computer-aided design）データであってもよいし、紙媒体をスキャナによって電子データへ変換したものであってもよい。また、ＢＩＭ（Building Information Modeling）データであってもよい。
【００４５】
建物部位認識部２２５は、取得部２２１によって取得された被災建物を表す画像と、学習済みモデル記憶部２２２に格納された建物認識用学習済みモデルとに基づいて、被災建物の画像が表す当該建物の各部位の種別を認識する。
【００４６】
図４に示されるように、被災建物の画像が建物認識用学習済みモデルへ入力されると、建物認識用学習済みモデルによって演算処理が行われ、被災建物の画像に映る各部位の種別の確率が出力される。これにより、建物認識用学習済みモデルに入力された被災建物の画像の各部分領域が、建物のどの部位に相当するかを自動的に得ることができる。
【００４７】
建物認識用学習済みモデルからは、例えば、図４に示されるように、被災建物の画像について、その画像が、柱である確率、窓である確率、及び壁である確率等が出力され、最も高い確率に対応する部位が当該被災建物の画像に映っていることが判明する。
【００４８】
図面認識部２２６は、図面データ記憶部２２３に格納された被災建物の図面データと、学習済みモデル記憶部２２２に格納された図面認識用学習済みモデルとに基づいて、被災建物の図面データの各部位の種別を認識する。
【００４９】
図５に示されるように、被災建物の図面データが図面認識用学習済みモデルへ入力されると、図面認識用学習済みモデルによって演算処理が行われ、被災建物の図面データの各部位の種別に相当する確率が出力される。これにより、図面認識用学習済みモデルに入力された被災建物の図面データの各領域が、建物のどの種別の部位に相当するかを自動的に得ることができる。
【００５０】
図面認識用学習済みモデルからは、例えば、図５に示されるように、被災建物の図面データの各部位について、当該部位が、柱である確率、窓である確率、及び壁である確率等が出力され、最も高い確率の種別が当該被災建物の図面データの部位であることが判明する。
【００５１】
位置認識部２２７は、建物部位認識部２２５によって得られた、画像が表す被災建物の各部位の認識結果と、図面認識部２２６によって得られた被災建物の図面データの各部位の認識結果とを照合して、被災建物の当該図面データにおけるドローン２００の位置を認識する。
【００５２】
例えば、図８に示されるように、被災建物の各部位の認識結果Ｉとして、柱Ｐ１、柱Ｐ２、及び窓Ｗが得られたとする。また、被災建物の図面データの各部位の認識結果Ｚとして、柱Ｐ１、柱Ｐ２、及び窓Ｗが得られたとする。この場合、認識結果Ｉの柱Ｐ１、柱Ｐ２、及び窓Ｗと認識結果Ｚの柱Ｐ１、柱Ｐ２、及び窓Ｗとを照合することにより、被災建物の画像が撮像された図面データ上のドローン２００の位置ＰＯＳを認識することができる。
【００５３】
また、位置認識部２２７は、図面データ上の位置に対して、取得部２２１により取得された画像を付与する。そして、位置認識部２２７は、画像が付与された図面データを被災情報記憶部２２９へ格納する。
【００５４】
電源状態取得部２３０は、ドローン２００の内部情報の一例として、ドローン２００の電源の状態を取得する。本実施形態において、電源状態取得部２３０は、ドローン２００の電源残量を電源の状態として取得する。
【００５５】
制御部２３２は、取得部２２１によって取得された画像及び電源状態取得部２３０によって取得された電源残量に基づいて、陸上走行及び空中飛行の何れによってドローン２００を移動させるかを判定する。そして、制御部２３２は、判定結果に応じてドローン２００を制御する。
【００５６】
図９に、陸上面の凹凸に応じてドローン２００を制御する場合の説明図を示す。図９に示されるように、被災建物の内部又は周辺には、瓦礫Ｇ等が散乱している場合がある。そのため、瓦礫Ｇ等が陸上面に散乱している場合には、ドローン２００を空中飛行するように制御した方が好ましい。そこで、本実施形態の制御部２３２は、陸上面の凹凸の度合いが予め定められた第１閾値以上である場合には、空中飛行によってドローン２００を移動させるように制御する。
【００５７】
具体的には、制御部２３２は、取得部２２１によって取得された画像に基づいて、ドローン２００の周辺の陸上面の凹凸の度合いを算出する。例えば、制御部２３２は、取得部２２１によって取得された画像に含まれるエッジ成分の度合いを陸上面の凹凸の度合いとして算出する。
【００５８】
そして、制御部２３２は、陸上面の凹凸の度合いが予め定められた第１閾値以上である場合には、空中飛行によってドローン２００を移動させるように制御する。一方、制御部２３２は、陸上面の凹凸の度合いが第１閾値未満である場合には、陸上走行によってドローン２００を移動させるように制御する。
【００５９】
図１０に、空間の高さに応じてドローン２００を制御する場合の説明図を示す。図１０に示されるように、例えば、被災建物の内部Ｒの画像を撮像する際には、建物の天井が障害となる場合がある。そのため、空間の高さが低い場合には、ドローン２００を陸上走行するように制御した方が好ましいときがある。そこで、本実施形態の制御部２３２は、空間の高さが予め定められた第２閾値未満である場合には、陸上走行によってドローン２００を移動させるように制御する。
【００６０】
具体的には、制御部２３２は、取得部２２１によって取得された画像に基づいて、ドローン２００の周辺の空間の高さを算出する。取得部２２１によって取得された画像は、ステレオカメラであるカメラ２１０によって撮像された画像であるため、制御部２３２は、画像から空間の高さを算出する。そして、制御部２３２は、空間の高さが予め定められた第２閾値以上である場合には、空中飛行によってドローン２００を移動させるように制御する。一方、制御部２３２は、空間の高さが第２閾値未満である場合には、陸上走行によりドローン２００を移動させるように制御する。
【００６１】
また、ドローン２００が空中飛行をする際に消費される電力は、ドローン２００が陸上走行をする際に消費される電力に比べて大きい。そのため、ドローン２００の電源残量が少ない場合には、陸上走行をすることが好ましい。そこで、本実施形態の制御部２３２は、電源残量が予め定められた第３閾値未満である場合には、陸上走行によってドローン２００を移動させるように制御する。
【００６２】
具体的には、制御部２３２は、電源状態取得部２３０によって取得された電源残量が予め定められた第３閾値以上である場合には、空中飛行によってドローン２００を移動させるように制御する。一方、制御部２３２は、電源状態取得部２３０によって取得された電源残量が第３閾値未満である場合には、陸上走行によってドローン２００を移動させるように制御する。
【００６３】
上述した陸上面の凹凸の度合いに応じた移動制御、空間の高さに応じた移動制御、及び電源残量に応じた移動制御の各々については、これらの移動制御のうち少なくとも１つを用いても良いし、これらの移動制御を組み合わせて用いてもよい。
【００６４】
本実施形態では、制御部２３２は、陸上面の凹凸の度合いが第１閾値以上であり、かつ空間の高さが第２閾値未満であり、かつ電源残量が第３閾値以上であることを表す空中飛行条件を満たした場合に、ドローン２００を空中飛行させるように制御する。一方、制御部２３２は、空中飛行条件を満たさない場合には、ドローン２００を陸上走行させるように制御する。
【００６５】
キャタピラ（登録商標）２００Ｂは、制御部２３２による制御に応じて駆動する。また、プロペラ２００Ａは、制御部２３２による制御に応じて駆動する。具体的には、制御部２３２によって空中飛行することが判定された場合には、キャタピラ（登録商標）２００Ｂの駆動が停止され、プロペラ２００Ａの駆動が開始される。制御部２３２によって陸上走行することが判定された場合には、キャタピラ（登録商標）２００Ｂの駆動が開始され、プロペラ２００Ａの駆動が停止される。
【００６６】
＜モデル学習装置の作用＞
【００６７】
次に、モデル学習装置１００の作用を説明する。モデル学習装置１００は、建物認識用学習済みモデルを学習させる第１の学習処理ルーチンと、図面認識用学習済みモデルを学習させる第２の学習処理ルーチンとを実行する。
【００６８】
＜第１の学習処理ルーチン＞
【００６９】
モデル学習装置１００のデータ受付部１０が、複数の建物学習用データを受け付けると、複数の建物学習用データを建物学習用データ記憶部２３へ格納する。そして、モデル学習装置１００のコンピュータ２０は、第１の学習処理の指示信号を受け付けると、図１１に示す第１の学習処理ルーチンを実行する。
【００７０】
ステップＳ１００において、学習部２５は、建物学習用データ記憶部２３に格納された複数の建物学習用データを取得する。
【００７１】
ステップＳ１０２において、学習部２５は、上記ステップＳ１００で取得された複数の建物学習用データに基づいて、建物を表す画像から当該建物の各部位の種別を出力するためのモデルを学習させて、建物認識用学習済みモデルを生成する。
【００７２】
ステップＳ１０４において、学習部２５は、上記ステップＳ１０２で生成された建物認識用学習済みモデルを学習済みモデル記憶部２６へ格納して、第１の学習処理ルーチンを終了する。
【００７３】
＜第２の学習処理ルーチン＞
【００７４】
モデル学習装置１００のデータ受付部１０が、複数の図面学習用データを受け付けると、複数の図面学習用データを図面学習用データ記憶部２４へ格納する。そして、モデル学習装置１００のコンピュータ２０は、第２の学習処理の指示信号を受け付けると、図１２に示す第２の学習処理ルーチンを実行する。
【００７５】
ステップＳ２００において、学習部２５は、図面学習用データ記憶部２４に格納された複数の図面学習用データを取得する。
【００７６】
ステップＳ２０２において、学習部２５は、上記ステップＳ２００で取得された複数の図面学習用データに基づいて、建物を表す図面データから当該図面データの各部位の種別を出力するためのモデルを学習させて、図面認識用学習済みモデルを得る。
【００７７】
ステップＳ２０４において、学習部２５は、上記ステップＳ２０２で生成された図面認識用学習済みモデルを学習済みモデル記憶部２６へ格納して、第２の学習処理ルーチンを終了する。
【００７８】
＜ドローン２００の作用＞
【００７９】
次に、ドローン２００の作用を説明する。モデル学習装置１００の学習済みモデル記憶部２６に格納された、建物認識用学習済みモデル及び図面認識用学習済みモデルがドローン２００の移動制御装置２２０へ入力されると、学習済みモデル記憶部２２２へ格納される。そして、ドローン２００が被災建物の内部又は外部での移動を開始し、カメラ２１０によって被災建物の各箇所の撮像が開始されると、ドローン２００に備えられた移動制御装置２２０は、図１３に示す被災情報処理ルーチン及び図１４に示す移動制御処理ルーチンを実行する。なお、図１３に示す被災情報処理ルーチン及び図１４に示す移動制御処理ルーチンは、繰り返し実行される。
【００８０】
＜被災情報処理ルーチン＞
【００８１】
まず、図１３に示す被災情報処理ルーチンについて説明する。
【００８２】
ステップＳ３００において、取得部２２１は、カメラ２１０によって撮像された被災建物を表す画像を取得する。
【００８３】
ステップＳ３０２において、建物部位認識部２２５は、上記ステップＳ３００で取得された被災建物を表す画像と、学習済みモデル記憶部２２２に格納された建物認識用学習済みモデルとに基づいて、被災建物の画像に映る当該建物の各部位の種別を認識する。
【００８４】
ステップＳ３０４において、図面認識部２２６は、図面データ記憶部２２３に格納された被災建物の図面データと、学習済みモデル記憶部２２２に格納された図面認識用学習済みモデルとに基づいて、被災建物の図面データの各部位の種別を認識する。
【００８５】
ステップＳ３０６において、位置認識部２２７は、上記ステップＳ３０２で得られた被災建物の各部位の認識結果と、上記ステップＳ３０４で得られた被災建物の図面データの各部位の認識結果とを照合して、被災建物の当該図面データにおけるドローン２００の位置を認識する。
【００８６】
ステップＳ３０８において、位置認識部２２７は、上記ステップＳ３０６で認識された図面データ上の位置に対して、上記ステップＳ３００で取得された画像を付与する。そして、位置認識部２２７は、画像が付与された図面データを被災情報記憶部２２９へ格納して、被災情報処理ルーチンを終了する。
【００８７】
＜移動制御処理ルーチン＞
【００８８】
次に、図１４に示す移動制御処理ルーチンについて説明する。
【００８９】
ステップＳ４００において、取得部２２１は、カメラ２１０によって撮像された被災建物を表す画像を取得する。
【００９０】
ステップＳ４０２において、電源状態取得部２３０は、ドローン２００の電源残量を取得する。
【００９１】
ステップＳ４０４において、制御部２３２は、上記ステップＳ４００で取得された画像及び上記ステップＳ４０２で取得された電源残量に基づいて、陸上走行及び空中飛行の何れによってドローン２００を移動させるかを判定する。具体的には、制御部２３２は、空中飛行条件が満たされた場合には、空中飛行によってドローン２００を移動させると判定する。一方、制御部２３２は、空中飛行条件が満たされない場合には、陸上走行によってドローン２００を移動させると判定する。
【００９２】
ステップＳ４０６において、制御部２３２は、上記ステップＳ４０４での判定結果に基づいて、キャタピラ（登録商標）２００Ｂ及びプロペラ２００Ａの駆動を制御する。
【００９３】
被災建物の内部又は外部におけるドローン２００の移動が終了すると、被災情報記憶部２２９に格納された被災情報は、外部のサーバへ送信される。サーバを管理する管理者は、ドローン２００から送信された被災情報を確認する。このため、管理者は、図面データに付与された各画像を確認することにより、被災建物の各箇所でどのような損傷が発生しているのかを知ることができる。
【００９４】
以上詳細に説明したように、本実施形態では、ドローンの外部の環境を表す画像及びドローンの電源残量に応じて、陸上走行及び空中飛行の何れによってドローンを移動させるかを判定し、当該判定結果に応じてドローンを制御する。これにより、陸上走行及び空中飛行が可能な移動体を用いて、情報を適切に収集することができる。また、ドローンの内部情報及び外部情報に応じて、ドローンの移動を適切に制御することができる。また被災建物の画像を自動的に収集することができ、図面データ上に対応付けることができる。
【００９５】
また、建物認識用学習済みモデル及び図面認識用学習済みモデルをドローン２００に搭載することにより、ドローン２００は、位置関係を把握しながら、必要最大限の情報を得られるように走行することができる。また、状況確認不可能な立ち入り禁止区域を走行することもできる。
【００９６】
また、本実施形態では、建物学習用データに基づいて、建物認識用学習済みモデルを得る。これにより、建物を表す画像から当該建物の各部位の種別を出力する学習済みモデルを得ることができる。
【００９７】
また、本実施形態では、図面学習用データに基づいて、図面認識用学習済みモデルを生成する。これにより、建物を表す図面データから当該図面データの各部位の種別を出力する学習済みモデルを得ることができる。
【００９８】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９９】
例えば、上記実施形態では、モデルの一例としてのニューラルネットワークモデルをディープラーニングによって学習させる場合を例に説明したが、これに限定されるものではない。例えば、ニューラルネットワークモデルとは異なる他のモデルを、ディープラーニングとは異なる他の学習方法によって学習させてもよい。
【０１００】
また、ドローンの移動制御は、他の制御方法と組み合わせてもよい。例えば、電源を温存するため、かつ収集される画像の視点を可能な限り統一させるために、ドローン２００の移動は、基本としては陸上走行とするようにしてもよい。そして、ドローン２００が走行している際に、走行路に、障害物、傾斜、又は陥没等の存在が検知された場合は、ドローン２００の移動を空中飛行に切り替えるように制御してもよい。また、高さが予め定められた値以上の部材（例えば、柱又は壁上部等）、又は高さが予め定められた値以上にある部材（例えば、梁等）を認識した場合には、ドローン２００の移動を空中飛行に切り替えるように制御してもよい。これにより、対象部位の画像の解像度を高くすることができる。
【０１０１】
また、ドローンの移動制御は、学習用データから生成された学習済みモデルを用いてもよい。この場合には、例えば、図１５に示されるような学習済みモデルを用いることができる。図１５に示される学習済みモデルでは、電源残量等の内部情報及びカメラによって得られた画像等の外部情報に応じて、陸上走行にすべき確率と空中飛行にすべき確率とが算出される。そして、出力された確率が高い方によって、ドローン２００の制御が行われる。
【０１０２】
この場合には、ドローン２００の外部の環境を表す学習用の外部情報である画像及びドローン２００の学習用の内部情報である電源残量とドローン２００の移動の種別とを表す学習用データが予め用意される。そして、学習部２５は、学習用データに基づいて、画像及び電源残量からドローン２００を空中飛行及び陸上走行の何れによって移動させるかに関する情報を出力するためのモデルを学習させる。そして、学習部２５は、ドローン２００を空中飛行及び陸上走行の何れによって移動させるかに関する情報を出力する学習済みモデルを得る。
【０１０３】
また、本実施形態のドローン２００は、図面認識用学習済みモデルにより得られた図面データの各部位の認識結果と、建物認識用学習済みモデルにより得られた建物の各部位の認識結果との間の照合結果に基づき、移動の際のドローン２００の位置を認識する場合を例に説明したがこれに限定されるものではない。例えば、ＧＰＳ等の位置センサにより得られるドローン２００の位置情報（緯度経度情報）と、図面データ上の各点に予め付与された位置情報（緯度経度情報）とを照合して、画像が撮像された図面データ上の位置を認識するようにしてもよい。また、ドローン２００の移動開始箇所を、図面データ上の予め定められた箇所（０点）として設定し、ドローン２００の移動距離及び移動方向に応じて、自らの位置を認識するようにしてもよい。また、これらの認識方法を組み合わせて用いてもよい。
【０１０４】
なお、被災建物の図面データが存在しない場合には、ドローン２００の移動と同時に簡単な図面データを生成するようにしてもよい。例えば、建物認識用学習済みモデルにより得られた認識結果（画像内のこの部分領域は柱、この部分領域は壁等）に基づき、被災建物の図面データを生成するようにしてもよい。
【０１０５】
また、ドローン２００には、様々なセンサを搭載させることができる。例えば、ドローン２００には、３６０度カメラ、赤外線カメラ、暗視カメラ、Ｘ線カメラ、その他のセンサ等を搭載させることができる。この場合、損傷度認識用学習済みモデルを用いて建物の損傷度を認識する際に、更に詳細な損傷度を取得するようにしてもよい。具体的には、ドローンに搭載された各種センサによって、ひび割れ、コンクリートの剥落、露筋・鉄筋の破断・タイルの浮き、及び鉛直部材の傾き等を更に取得して、損傷度マップを生成するようにしてもよい。
【０１０６】
また、上記ではプログラムが記憶部（図示省略）に予め記憶（インストール）されている態様を説明したが、プログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ及びマイクロＳＤカード等の記録媒体の何れかに記録されている形態で提供することも可能である。
【符号の説明】
【０１０７】
１０   データ受付部
２０   コンピュータ
２１   学習用データ取得部
２３   建物学習用データ記憶部
２４   図面学習用データ記憶部
２５   学習部
２６，２２２  学習済みモデル記憶部
１００ モデル学習装置
２００ ドローン
２１０ カメラ
２２０ 移動制御装置
２２１ 取得部
２２３ 図面データ記憶部
２２５ 建物部位認識部
２２６ 図面認識部
２２７ 位置認識部
２２９ 被災情報記憶部
２３０ 電源状態取得部
２３２ 制御部
【図１】
2019175016.tif 000003
【図２】
2019175016.tif 000004
【図３】
2019175016.tif 000005
【図４】
2019175016.tif 000006
【図５】
2019175016.tif 000007
【図６】
2019175016.tif 000008
【図７】
2019175016.tif 000009
【図８】
2019175016.tif 000010
【図９】
2019175016.tif 000011
【図１０】
2019175016.tif 000012
【図１１】
2019175016.tif 000013
【図１２】
2019175016.tif 000014
【図１３】
2019175016.tif 000015
【図１４】
2019175016.tif 000016
【図１５】
2019175016.tif 000017