(57)【要約】      （修正有）【課題】簡便かつ効率的に対象物を撮像することができる撮像システム及び撮像方法を提供する。【解決手段】飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像システムにおいて、前記飛行装置の飛行条件を設定する飛行条件処理ステップと、前記飛行装置が自律的に前記構造物の上下方向の一方から他方に移動しながら前記構造物を前記カメラで撮像する撮像ステップと、を実行する飛行制御部を備え、該撮像ステップは、前記飛行条件に達した際には現在の位置情報を取得した後に飛行を中止するステップと、前記飛行条件が解除された際には前記位置情報を基に飛行を再開するステップと、を含む。【選択図】図６
2020070006.tif 000002
【特許請求の範囲】
【請求項１】
飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像システムにおいて、
前記飛行装置の飛行条件を設定する飛行条件処理ステップと、
前記飛行装置が自律的に前記構造物の上下方向の一方から他方に移動しながら前記構造物を前記カメラで撮像する撮像ステップと、を実行する飛行制御部を備え、
該撮像ステップは、
前記飛行条件に達した際には現在の位置情報を取得した後に飛行を中止するステップと、
前記飛行条件が解除された際には前記位置情報を基に飛行を再開するステップと、
を含むことを特徴とする撮像システム。
【請求項２】
前記飛行条件は、前記飛行装置のバッテリ残量が所定値に到達したことであることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記飛行条件は、前記飛行装置の飛行時間が所定時間を超えたことであることを特徴とする請求項１に記載の撮像システム。
【請求項４】
前記位置情報は、ＧＰＳ座標に基づく情報であることを特徴とする請求項１乃至３のいずれか１項に記載の撮像システム。
【請求項５】
飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像方法において、
前記飛行装置の飛行条件を設定する飛行条件処理ステップと、
前記飛行装置が自律的に前記構造物の上下方向の一方から他方に移動しながら前記構造物を前記カメラで撮像する撮像ステップと、を備え、
該撮像ステップは、
前記飛行条件に達した際には現在の位置情報を取得した後に飛行を中止するステップと、
前記飛行条件が解除された際には前記位置情報を基に飛行を再開するステップと、
を備えることを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像システム及び撮像方法、特に、飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像システム及び撮像方法に関する。
【背景技術】
【０００２】
対象物を高所から観察したり、上空から地上を空撮したりする場合には、近年、複数のプロペラの回転によって飛行するいわゆるドローンあるいはマルチコプタといった飛行装置が用いられることがある。特許文献１には、飛行装置に搭載したカメラで対象物を撮像した画像から、三次元の画像を生成することが開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１８−１０６３０公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ところで、上記の特許文献１のように、飛行装置に搭載したカメラで対象物を撮像する場合は、操作者が飛行装置を操作してカメラで撮像を行うところ、飛行装置の飛行及び飛行装置からの対象物の撮像を自動的に制御することができれば、簡便かつ効率的に対象物を撮像した画像を取得することができる。
【０００５】
本発明は、上記事情に鑑みてなされたものであり、簡便かつ効率的に対象物を撮像することができる撮像システム及び撮像方法を提供することを課題とするものである。
【課題を解決するための手段】
【０００６】
上記課題を達成するための、本発明に係る撮像システムは、飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像システムにおいて、前記飛行装置の飛行条件を設定する飛行条件処理ステップと、前記飛行装置が自律的に前記構造物の上下方向の一方から他方に移動しながら前記構造物を前記カメラで撮像する撮像ステップと、を実行する飛行制御部を備え、該撮像ステップは、前記飛行条件に達した際には現在の位置情報を取得した後に飛行を中止するステップと、前記飛行条件が解除された際には前記位置情報を基に飛行を再開するステップと、を含むことを特徴としている。
【０００７】
上記課題を達成するための、本発明に係る撮像方法は、飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像方法において、前記飛行装置の飛行条件を設定する飛行条件処理ステップと、前記飛行装置が自律的に前記構造物の上下方向の一方から他方に移動しながら前記構造物を前記カメラで撮像する撮像ステップと、を備え、該撮像ステップは、前記飛行条件に達した際には現在の位置情報を取得した後に飛行を中止するステップと、前記飛行条件が解除された際には前記位置情報を基に飛行を再開するステップと、を備えることを特徴としている。
【発明の効果】
【０００８】
この発明によれば、構造物の画像を、自律的に飛行する飛行装置を用いて簡便かつ効率的に撮像することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態に係る撮像システムの構成の概略を説明する図である。
【図２】同じく、本実施の形態に係る飛行装置のハードウェア構成を説明するブロック図である。
【図３】同じく、本実施の形態に係る飛行装置のフライトコントローラのソフトウェア構成を説明するブロック図である。
【図４】同じく、本実施の形態に係る撮像システムのサーバのハードウェア構成を説明するブロック図である。
【図５】同じく、本実施の形態に係る撮像システムのサーバのソフトウェア構成を説明するブロック図である。
【図６】同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される処理の概略を説明するブロック図である。
【図７】同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される上空撮像ステップの概略を説明する図である。
【図８】同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される第１撮像ステップの概略を説明する図である。
【図９】同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される第２撮像ステップの概略を説明する図である。
【図１０】同じく、本実施の形態に係る撮像システムのサーバの飛行制御部で実行される第１撮像ステップ及び第２撮像ステップの概略を説明する図である。
【図１１】同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。
【図１２】同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。
【図１３】同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。
【図１４】同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。
【図１５】同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。
【図１６】同じく、本実施の形態に係る撮像システムを用いて構造物を撮像する手順の概略を説明する図である。
【発明を実施するための形態】
【００１０】
次に、図１〜図１６に基づいて、本発明の実施の形態に係る撮像システムについて説明する。
【００１１】
なお、本実施の形態において、撮像システムで撮像される構造物が、上下方向に長尺であって地上に立設された鉄塔、タワー、高層建造物等である場合を例として説明する。
【００１２】
図１は、本実施の形態に係る撮像システムの構成の概略を説明する図である。図示のように、撮像システム１０は、飛行装置２０及び飛行装置２０と通信ネットワーク４０を介して相互に通信可能に接続されるサーバ３０を備える。
【００１３】
この撮像システム１０は、飛行装置２０によって撮像された鉄塔１の複数の撮像画像に基づいて鉄塔１の三次元モデルを作成するとともに、撮像画像を解析して異常箇所を検出し、検出した異常箇所を三次元モデル上にマッピングするものである。
【００１４】
図２は、本実施の形態に係る飛行装置２０のハードウェア構成を説明するブロック図である。図示のように、飛行装置２０は、送受信部２１、送受信部２１と接続されるフライトコントローラ２２、フライトコントローラ２２を介して電力を供給するバッテリ２３、フライトコントローラ２２によって制御される速度制御部（Ｅｌｅｃｔｒｏｎｉｃ  Ｓｐｅｅｄ  Ｃｏｎｔｒｏｌｌｅｒ：ＥＳＣ）２４及びモータ２５、モータ２５によって駆動される４基のプロペラ２６を備える。
【００１５】
さらに、飛行装置１０は、機体に固定されて鉄塔１の一部または全部を撮影するカメラ２７を備える。
【００１６】
送受信部２１は、例えば、送受信機（プロポ）や情報端末、表示装置あるいは他の遠隔の制御器といった複数の外部機器からのデータを送受信するように構成された通信インターフェースであって、本実施の形態では、主にサーバ３０と通信を行うものである。
【００１７】
この送受信部２１は、例えば、ローカルエリアネットワーク（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ：ＬＡＮ）、ワイドエリアネットワーク（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ：ＷＡＮ）、赤外線、無線、ＷｉＦｉ、ポイントツーポイント（Ｐ２Ｐ）ネットワーク、電気通信ネットワーク、クラウド通信等といった複数の通信網を利用することができる。
【００１８】
さらに、送受信部２１は、取得した各種のデータ、フライトコントローラ２２が生成した処理結果、各種の制御データ、端末または遠隔の制御器からのユーザコマンド等の複数のデータの送受信を実行する。
【００１９】
フライトコントローラ２２は、プロセッサ２２Ａ、メモリ２２Ｂ、及びセンサ類２２Ｃを主要構成として備える。
【００２０】
プロセッサ２２Ａは、本実施の形態では例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）で構成され、フライトコントローラ２２の動作を制御し、各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う。
【００２１】
メモリ２２Ｂは、ＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ（Ｈａｒｄ  Ｄｉｓｃ  Ｄｒｉｖｅ）等の不揮発性記憶装置で構成される補助記憶装置を備える。
【００２２】
このメモリ２２Ｂは、プロセッサ２２Ａの作業領域として使用される一方、フライトコントローラ２２が実行可能であるロジック、コード、あるいはプログラム命令といった各種の設定情報等が格納される。
【００２３】
さらに、このメモリ２２Ｂに、カメラ２７やセンサ類２２Ｃ等から取得したデータが直接的に伝達されて記憶されるように構成してもよい。
【００２４】
センサ類２２Ｃは、本実施の形態では、ＧＰＳ衛星から電波を受信するＧＰＳセンサ２２Ｃａ、大気圧を測定する気圧センサ２２Ｃｂ、温度を測定する温度センサ２２Ｃｃ及び加速度センサ２２Ｃｄによって構成される。
【００２５】
カメラ２７は、ジンバルによって、鉄塔１を撮像する撮像方向に応じて撮像角度を変更することが可能であって、本実施の形態では、可視光線を捉えたＲＧＢ画像を撮像する。その一方で、赤外線を捉えたサーマル画像を撮像するようにしてもよいし、ＲＧＢ画像とサーマル画像の両方を同時にあるいは順次、撮像するようにしてもよい。
【００２６】
図３は、本実施の形態に係る飛行装置２０のフライトコントローラ２２のソフトウェア構成を説明するブロック図である。図示のように、フライトコントローラ２２は、指示受信部２２Ｂａ、機体制御部２２Ｂｂ、位置姿勢情報取得部２２Ｂｃ、撮像処理部２２Ｂｄ、撮像情報送信部２２Ｂｅ、位置姿勢情報記憶部２２Ｂｆ及び撮像情報記憶部２２Ｂｇを備える。
【００２７】
これら指示受信部２２Ｂａ、機体制御部２２Ｂｂ、位置姿勢情報取得部２２Ｂｃ、撮像処理部２２Ｂｄ及び撮像情報送信部２２Ｂｅは、プロセッサ２２Ａがメモリ２２Ｂに格納されているプログラムを実行することにより実現される。
【００２８】
一方、位置姿勢情報記憶部２２Ｂｆ及び撮像情報記憶部２２Ｂｇは、メモリ２２Ｂの提供する記憶領域として実現される。
【００２９】
指示受信部２２Ｂａは、飛行装置２０の動作を指示する各種のコマンド（以下、「飛行操作コマンド」という。）を受け付ける。本実施の形態では、サーバ３０から飛行操作コマンドを受信するが、プロポなどの送受信機からの飛行操作コマンドを受信するように構成してもよい。
【００３０】
機体制御部２２Ｂｂは、本実施の形態では、指示受信部２２Ｂａが受信した飛行操作コマンドに応じて飛行装置２０の動作を制御するものであって、例えば、６自由度（並進運動ｘ、ｙおよびｚ、並びに回転運動θｘ、θｙおよびθｚ）を有する飛行装置２０の空間的配置、速度、および／または加速度を調整するために、ＥＳＣ２４を経由してモータ２５を制御する。
【００３１】
機体制御部２２Ｂｂの制御によりモータ２５が駆動してプロペラ２６が回転することで、飛行装置２０が飛行する揚力が発生する。
【００３２】
その一方で、機体制御部２２Ｂｂは、飛行操作コマンドによらないで飛行装置２０が自律的に飛行するように各種の制御を実行することもできる。
【００３３】
位置姿勢情報取得部２２Ｂｃは、飛行装置２０の現在位置及び姿勢を示す情報（以下、「位置姿勢情報」という。）を取得する。本実施の形態では、位置姿勢情報には、緯度・経度で表される飛行装置２０の地図上の位置、飛行装置２０の飛行高度、飛行装置２０のｘ、ｙ、ｚ軸のそれぞれの傾きが含まれる。
【００３４】
この位置姿勢情報取得部２２Ｂｃは、ＧＰＳセンサ２２ＣａがＧＰＳ衛星から受信した電波から、飛行装置２０の地図上の位置を算出する。
【００３５】
位置姿勢情報取得部２２Ｂｃは、飛行前に気圧センサ２２Ｃｂにより測定した大気圧（以下、「基準気圧」という。）と飛行中に気圧センサ２２Ｃｂにより測定した大気圧（以下、「現在気圧」という。）との差分と、飛行中に温度センサ２２Ｃｃにより測定した気温とに基づいて、飛行装置２０の飛行高度を算出する。
【００３６】
さらに、位置姿勢情報取得部２２Ｂｃは、加速度センサ２２Ｃｄからの出力に基づいて、飛行装置２０の姿勢を求めるとともに、飛行装置２０の姿勢からカメラ２７の光軸（視点軸）を決定する。
【００３７】
これら飛行装置２０の地図上の位置、飛行装置２０の飛行高度、飛行装置２０の姿勢（カメラ２７の光軸の傾き）は、位置姿勢情報記憶部２２Ｂｆに格納される。
【００３８】
撮像処理部２２Ｂｄは、カメラ２７を制御して鉄塔１の一部または全部を撮像させ、カメラ２７が撮像した撮像画像を取得する。
【００３９】
この撮像処理部２２Ｂｄは、本実施の形態では、事前に設定されたタイミングで撮像を行うものであり、例えば、５秒、３０秒など任意に指定された時間ごとに撮像を行うことが可能である。一方で、サーバ３０からの指示に基づいて撮像するように構成してもよい。
【００４０】
取得した撮像画像は、撮像処理部２２Ｂｄによって、撮像日時、撮像時の飛行装置２０の地図上の緯度経度（撮像位置）、撮像時の飛行装置２０の飛行高度（撮像高度）、飛行装置２０の姿勢（カメラ２７の光軸の傾き）が関連づけられることによって撮像情報が生成され、この撮像情報が撮像情報記憶部２２Ｂｇに格納される。
【００４１】
撮像情報送信部２２Ｂｅは、カメラ２７が撮影した画像をサーバ３０に送信する。本実施の形態では、撮像日時、撮像位置、撮像高度及び傾きを撮像画像に関連づけた撮像情報をサーバ３０に送信する。
【００４２】
図４は、本実施の形態に係るサーバ３０のハードウェア構成を説明するブロック図である。図示のように、サーバ３０は、ＣＰＵ３１、メモリ３２、記憶装置３３、通信装置３４、入力装置３５及び出力装置３６を備える。
【００４３】
ＣＰＵ３１は、サーバ３０の動作を制御し、サーバ３０を構成する各要素間におけるデータの送受信の制御や、プログラムの実行に必要な処理等を行う。
【００４４】
メモリ３２は、ＤＲＡＭ等の揮発性記憶装置で構成される主記憶装置、及びフラッシュメモリやＨＤＤ等の不揮発性記憶装置で構成される補助記憶装置を備える。
【００４５】
記憶装置３３は、各種のデータやプログラムを記憶する記憶媒体であって、例えばＨＤＤやＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）、あるいはフラッシュメモリ等によって実装される。
【００４６】
通信装置３４は、通信ネットワーク４０を介して他の装置と通信を行うものであって、本実施の形態では、飛行装置２０と通信を行う。この通信装置３４は、例えばイーサネット（登録商標）に接続するためのアダプタ、公衆電話回線網に接続するためのモデム、無線通信を行うための無線通信機、シリアル通信のためのＵＳＢコネクタやＲＳ２３２Ｃコネクタなどを含んで構成される。
【００４７】
入力装置３５は、例えばキーボードやマウス、タッチパネル、ボタン、マイクロフォン等といった、データを入力することが可能なインターフェースであり、出力装置３６は、例えばディスプレイやプリンタ、スピーカ等といった、データを出力することが可能なデバイスである。
【００４８】
図５は、本実施の形態に係るサーバ３０のソフトウェア構成を説明するブロック図である。図示のように、サーバ３０は、飛行制御部３３Ａ、撮像情報受信部３３Ｂ、三次元モデル作成部３３Ｃ、異常検出部３３Ｄ、三次元モデル表示部３３Ｅ、撮像画像表示部３３Ｆ、撮像情報記憶部３３Ｇ、三次元モデル記憶部３３Ｈ及び異常情報記憶部３３Ｉを備える。
【００４９】
これら飛行制御部３３Ａ、撮像情報受信部３３Ｂ、三次元モデル作成部３３Ｃ、異常検出部３３Ｄ、三次元モデル表示部３３Ｅ及び撮像画像表示部３３Ｆは、サーバ３０が備えるＣＰＵ３１が記憶装置３３に記憶されているプログラムをメモリ３２に読み出して実行することにより実現される。
【００５０】
一方、撮像情報記憶部３３Ｇ、三次元モデル記憶部３３Ｈ及び異常情報記憶部３３Ｉは、サーバ３０の備える記憶装置３３が提供する記憶領域の一部として実現される。
【００５１】
飛行制御部３３Ａは、飛行装置２０の飛行を制御するモジュールであって、本実施の形態では、予め設定された飛行装置２０の自律的な飛行に関するプログラム（データ）に基づいて、飛行装置２０を自律的に飛行させる。この飛行制御部３３Ａにおける処理の概略については、後述する。
【００５２】
撮像情報受信部３３Ｂは、飛行装置２０から送信される撮像情報を受信して、受信した撮像情報を撮像情報記憶部３３Ｇに格納する。
【００５３】
三次元モデル作成部３３Ｃは、複数の撮像画像から三次元の構造体を表現する三次元モデルを作成するものであって、本実施の形態では、三次元モデルのワールド座標系は、緯度、経度および高度で表現され、撮像情報に含まれる撮像位置、撮像高度および光軸の傾きにより、カメラ２７のワールド座標系における位置及び視点方向を示すことができる。
【００５４】
この三次元モデル作成部３３Ｃでは、撮像情報に含まれている画像データから特徴点を抽出し、撮像情報に含まれる撮像位置、撮像高度及び傾きに基づいて複数の画像データから抽出された特徴点の対応づけを行い、ポイントクラウドとも称されるワールド座標系における三次元点群を取得する。
【００５５】
このように作成された三次元モデル（本実施の形態では三次元点群）は、三次元モデル記憶部３３Ｈに記憶される。
【００５６】
異常検出部３３Ｄは、飛行装置２０で撮像した撮像画像を解析して、鉄塔１の異常を検出する。
【００５７】
具体的には、ニューラルネットワーク等の機械学習により生成された学習済みモデルを用いて、飛行装置２０で撮像した撮像画像に基づいて異常を判定したり、鉄塔１の正常時の画像と撮像画像とを対比して異常を判定したりといった手法を用いて、鉄塔１の異常を検出する。
【００５８】
この異常検出部３３Ｄは、検出した撮像画像上の異常箇所について、ワールド座標系の位置を特定する。
【００５９】
例えば、三次元点群に含まれる点のそれぞれについて、撮像情報に含まれている撮像位置および撮像高度に設置したカメラから、撮像情報に含まれている傾きが示す方向に撮像した場合の画像上の位置を特定し、特定した画像上の位置が、異常箇所として検出した領域に含まれているか否かにより、この位置が異常箇所を構成するか否かを判定し、異常箇所を構成する点の座標を異常箇所の位置として特定する。
【００６０】
このように検出した異常に関する情報（以下、「異常情報」という。）は、異常情報記憶部３３Ｉに記憶される。
【００６１】
三次元モデル表示部３３Ｅは、三次元モデル作成部３３Ｃが作成した三次元モデルを平面に投影した画像（以下、「三次元投影画像」という。）を表示するものであり、この三次元投影画像を点群（点群データ）を用いて表示するようにしてもよいし、撮像画像を三次元モデルにマッピングしてもよい。
【００６２】
撮像画像表示部３３Ｆは、例えば、撮像画像をサーバ３０に接続されたディスプレイに表示する。
【００６３】
図６は、本実施の形態に係る飛行制御部３３Ａで実行される処理の概略を説明するブロック図である。図示のように、飛行制御部３３Ａは、予め設定された飛行プログラムに基づいて、上空撮像ステップＳ１、第１撮像ステップＳ２、第２撮像ステップＳ３及び飛行条件処理ステップＳ４を実行する。
【００６４】
図７は、上空撮像ステップＳ１の概略を説明する図である。図示のように、上空撮像ステップＳ１では、予め設定された飛行プログラムに基づいて、地表Ｅからの高さ位置を一定に保持しながら、飛行装置２０が鉄塔１の上空を複数周回して飛行し、このときにカメラ２７で鉄塔１を撮像する。
【００６５】
本実施の形態では、飛行装置２０は、例えば、飛行軌跡ｆ１で示す第１回目の周回飛行乃至飛行軌跡ｆ３で示す第３回目の周回飛行を実行するように設定され、複数周回の周回飛行を行う際にカメラ２７の撮像角度をジンバルで変更しながら鉄塔１を撮像するように設定される。
【００６６】
この上空撮像ステップＳ１では、飛行装置２０は、飛行軌跡ｆ１で示す第１回目の周回飛行を行い、第１回目の周回飛行の後、第１回目の周回飛行に対して周回する半径を広げて周回飛行する飛行軌跡ｆ２で示す第２回目の周回飛行に移行し、第２回目の周回飛行の後、第２回目の周回飛行に対して周回飛行する半径を広げて周回飛行する飛行軌跡ｆ３で示す第３回目の周回飛行に移行するように設定される（周回飛行の設定Ｓ１ａ）。
【００６７】
周回飛行の設定と併せて、第１回目の周回飛行の際に飛行装置２０のカメラ２７で鉄塔１の上側を撮像することが可能となる位置にカメラ２７がジンバルで位置決めされ、第２回目の周回飛行の際に飛行装置２０のカメラ２７を鉄塔１の下方にジンバルで変位させてカメラ２７による鉄塔１の撮像角度を変更して、鉄塔１の中腹部分を撮像する位置に位置決めされ、かつ第３回目の周回飛行の際に飛行装置２０のカメラ２７を鉄塔１の更に下方にジンバルで変位させてカメラ２７による鉄塔１の撮像角度を変更して、鉄塔１の下側を撮像する位置に位置決めされるように設定される（撮像角度の設定Ｓ１ｂ）。
【００６８】
この撮像角度の設定において、カメラ２７による鉄塔１の撮像角度の変更が設定される場合は、撮像領域の少なくとも一部が鉄塔１の上下方向において重なるように連続させて撮像できる撮像角度に設定される。
【００６９】
一方、飛行装置２０が鉄塔１の上空を周回して飛行しながらカメラ２７で鉄塔１を撮像する際の撮像間隔は、撮像領域の少なくとも一部が周回方向において重なるように連続させて撮像できる間隔に設定される（撮像間隔の設定Ｓ１ｃ）。
【００７０】
この上空撮像ステップＳ１では、鉄塔１の上側から下側に亘って、さらに鉄塔１の周囲に存在する周辺構造物である樹木２や家屋３といった鉄塔１の周辺環境が撮像画像として取得される。
【００７１】
図８は、第１撮像ステップＳ２の概略を説明する図である。この第１撮像ステップＳ２は、上空撮像ステップＳ１に続いて実行され、図示のように、予め設定された飛行プログラムに基づいて、飛行装置２０が鉄塔１の上側から下側に向かって下降下限位置Ｌまで下降しながら鉄塔１の周囲を周回して飛行し、このときにカメラ２７で鉄塔１を撮像する。
【００７２】
本実施の形態では、飛行装置２０は、例えば、鉄塔１の上側から下側に向かって下降下限位置Ｌまで下降する間に、飛行軌跡ｆ４で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行を実行するように設定され、周回飛行を行う際に任意の撮像角度にジンバルで固定されたカメラ２７で鉄塔１を撮像する。
【００７３】
第１撮像ステップＳ２の実行に際しては、下降下限位置Ｌは、鉄塔２の周囲に存在する周辺構造物である樹木２や家屋３のうち最も高い高さ位置を有する周辺構造物の高さ位置に、任意の距離ｄ１が高さ方向に付加されて設定される（下降下限位置の設定Ｓ２ａ）。
【００７４】
本実施の形態では、説明の便宜上、樹木２と家屋３との高さ位置が同程度の高さ位置である場合を想定する。
【００７５】
第１撮像ステップＳ２における、飛行装置２０による飛行軌跡ｆ４で示す周回飛行と飛行軌跡ｆ５で示す周回飛行との鉄塔１の上下方向の間隔、及び飛行軌跡ｆ５で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行までの間で次の周回飛行に移行する際の鉄塔１における上下方向の間隔は、飛行装置２０が鉄塔１の上側から下側に向かって下降しながら鉄塔１の周囲を周回飛行して撮像領域の少なくとも一部が上下方向において重なるように連続させて撮像できる間隔に設定される（周回飛行の設定Ｓ２ｂ）。
【００７６】
第１撮像ステップＳ２では、カメラ２７は、例えば飛行装置２０が飛行軌跡ｆ４で示す周回飛行を行っている場合の飛行高度に対応する鉄塔１の高さ位置に対して鉄塔１の下方に向かって位置決めされており、この状態においてジンバルで固定されるように設定される（撮像角度の設定Ｓ２ｃ）。
【００７７】
撮像角度は、撮像画像の中心と撮像画像の上端とがなす角度であって、本実施の形態では状況に応じて算出される最適な角度に設定される。これにより、第１撮像ステップＳ２で撮像される撮像画像のフレームの上側に、例えば鉄塔１の上空に浮遊する雲といった三次元モデルを作成する際に不要な情報が存在する場合において、このような不要な情報が撮像画像のフレーム内に写り込むことを抑制することができる。
【００７８】
一方、飛行装置２０が鉄塔１の周囲を周回して飛行しながらカメラ２７で鉄塔１を撮像する際の撮像間隔は、撮像領域の少なくとも一部が周回方向において重なるように連続させて撮像できる間隔に設定される（撮像間隔の設定Ｓ２ｄ）。
【００７９】
図９は、第２撮像ステップＳ３の概略を説明する図である。この第２撮像ステップＳ３は、第１撮像ステップＳ１において飛行装置２０が下降下限位置Ｌまで下降した際に実行される。
【００８０】
図示のように、第２撮像ステップＳ３では、予め設定された飛行プログラムに基づいて、飛行装置２０が下降下限位置Ｌで鉄塔１の周囲を複数周回して飛行し、このときにカメラ２７で鉄塔１を撮像する。
【００８１】
この第２撮像ステップＳ３では、飛行装置２０は、例えば、下降下限位置Ｌにおいて、飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行を実行するように設定される。（周回飛行の設定Ｓ３ａ）。
【００８２】
一方、飛行軌跡ｆ１１で示す周回飛行から飛行軌跡ｆ１２で示す周回飛行に移行する際、及び飛行軌跡ｆ１２で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行までの間で次の周回飛行に移行する際に、カメラ２７の撮像角度をジンバルで変更しながら鉄塔１を撮像するように設定される（撮像角度の設定Ｓ３ｂ）。
【００８３】
具体的には、飛行装置２０が飛行軌跡ｆ１１で示す周回飛行を行う際に、飛行装置２０のカメラ２７を、第１撮像ステップＳ２において位置決めされた位置から下方にジンバルで変位させて、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ１となる位置に位置決めされるように設定されている。
【００８４】
続いて、飛行装置２０が飛行軌跡ｆ１２で示す周回飛行を行う際に、飛行装置２０のカメラ２７を、撮像方向ａ１から更に下方にジンバルで変位させて、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ２となる位置に位置決めされるように設定されている。
【００８５】
続いて、飛行装置２０が飛行軌跡ｆ１３で示す周回飛行を行う際に、飛行装置２０のカメラ２７を、撮像方向ａ２から更に下方にジンバルで変位させて、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ３となる位置に位置決めされるように設定されている。
【００８６】
さらに続いて、飛行装置２０が飛行軌跡ｆ１２で示す周回飛行を行う際に、飛行装置２０のカメラ２７を、撮像方向ａ３から更に下方にジンバルで変位させて、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ４となる位置に位置決めされるように設定されている。
【００８７】
この撮像角度の設定において、カメラ２７による鉄塔１の撮像角度が撮像方向ａ１〜ａ４と変更されるように設定される場合は、撮像領域の少なくとも一部が鉄塔１の上下方向において重なるように連続させて撮像できる撮像角度に設定される。
【００８８】
一方、飛行装置２０が鉄塔１の周囲を周回して飛行しながらカメラ２７で鉄塔１を撮像する際の撮像間隔は、撮像領域の少なくとも一部が周回方向において重なるように連続させて撮像できる間隔に設定される（撮像間隔の設定Ｓ３ｃ）。
【００８９】
図１０は、第１撮像ステップＳ２及び第２撮像ステップＳ３の概略を説明する図である。図示のように、第１撮像ステップＳ２で飛行装置２０が鉄塔１の周囲を周回して飛行する飛行軌跡ｆ４〜ｆ１０で把握される空域の面積ｓ１と、第２撮像ステップＳ３で飛行装置２０が鉄塔１の周囲を周回して飛行する飛行軌跡ｆ１１〜ｆ１４で把握される空域の面積ｓ２とは、本実施の形態では同一となる。
【００９０】
したがって、第１撮像ステップＳ２で撮像される撮像画像の画質と第２撮像ステップＳ３で撮像される撮像画像の画質とを均一化することができることから、撮像画像の品質が向上する。
【００９１】
飛行条件処理ステップＳ４では、飛行装置２０が予め設定された飛行条件に到達した際に、到達した時点において飛行装置２０が実行しているいずれかのステップ（上空撮像ステップＳ１、第１撮像ステップＳ２、第２撮像ステップＳ３）が中断され、いずれかのステップが中断された鉄塔１上の位置が飛行装置２０のサーバ３０のメモリ（図示せず）に記憶される。
【００９２】
この飛行条件処理ステップＳ４の実行に際しては、本実施の形態では、例えば「飛行装置２０のバッテリ２３の残量が２０％に到達したとき」、あるいは「飛行装置２０の飛行時間が２０分を超えたとき」等が飛行条件として設定される（飛行条件の設定Ｓ４ａ）。
【００９３】
次に、図１１〜図１６に基づいて、本実施の形態に係る撮像システム１０を用いて鉄塔１を撮像する手順について説明する。
【００９４】
図１１で示すように、まず、撮像の対象となる鉄塔１が立設されている地表Ｅが、その上空を飛行装置２０が飛行することが許容されている飛行可能敷地Ｅ１であるかを確認し、飛行可能敷地Ｅ１である場合には、鉄塔１の周囲に周辺構造物が存在するか否かを確認する。
【００９５】
図示のように、鉄塔１の周囲に周辺構造物である樹木２や家屋３等が存在する場合には、飛行装置２０を操作して、周辺構造物の高さ位置に飛行装置２０が位置するように飛行装置２０の飛行高度を調整し、操作画面等に表示される飛行装置２０の飛行高度に基づいて、周辺構造物の高さ位置を取得する。
【００９６】
同様に、鉄塔１の高さ位置に飛行装置２０が位置するように飛行装置２０の飛行高度を調整し、操作画面等に表示される飛行装置２０の飛行高度に基づいて、鉄塔１の高さ位置を取得する。この際、予め鉄塔１の高さが判明している場合には当該高さを利用することができるが、当該高さが不明な場合には本実施の形態のように飛行装置２０を利用することとすればよい。
【００９７】
取得された周辺構造物の高さ位置及び鉄塔１の高さ位置は、本実施の形態ではサーバ３０に入力される。
【００９８】
続いて、図１１で示すように、鉄塔１の中心位置Ｏから測定される鉄塔１の角部までの距離を取得し、この取得した距離が半径ｒとしてサーバ３０に入力される。
【００９９】
周辺構造物の高さ位置がサーバ３０に入力されると、図１２で示すように、飛行可能敷地Ｅ１の上空に設定される、飛行装置２０が飛行可能な飛行可能空域Ａにおいて、周辺構造物の高さ位置に任意の距離ｄ１が高さ方向に付加された、第１撮像ステップＳ２における下降下限位置Ｌが設定される（下降下限位置の設定Ｓ２ａ）。
【０１００】
一方、鉄塔１の高さ位置及び半径ｒがサーバ３０に入力されると、鉄塔１が、鉄塔１の全側面を包囲する略円柱形状にモデル化されて、鉄塔モデルＭが生成される。
【０１０１】
これにより、複数の腕金等といった構成部材を有して複雑な形状を呈する鉄塔１を簡易な形状で把握できることから、飛行装置２０による周回飛行の設定を容易に行うことができる。
【０１０２】
続いて、図１３で示すように、飛行装置２０を鉄塔１の中心位置Ｏに配置し、飛行装置２０が配置された位置をＧＰＳセンサ２２ＣａがＧＰＳ座標として取得し、取得したＧＰＳ座標がサーバ３０に入力される。
【０１０３】
サーバ３０に入力されたＧＰＳ座標は、鉄塔１の中心位置Ｏを示す座標として把握され、飛行装置２０が鉄塔１の上空や周囲を自律的に飛行する際の飛行が制御される。
【０１０４】
なお、飛行装置２０を鉄塔１の中心位置Ｏに配置できないような場合は、平面方向における鉄塔１の対角線上の位置に飛行装置２０を配置してその位置のＧＰＳ座標を取得し、ＧＰＳ座標を結ぶ対角線の中心位置を鉄塔１の中心位置Ｏとして把握することも可能である。
【０１０５】
その後、上空撮像ステップＳ１の設定がなされる。上空撮像ステップＳ１の設定では、周回飛行の設定Ｓ１ａ、撮像角度の設定Ｓ１ｂ、及び撮像間隔の設定Ｓ１ｃがなされる。
【０１０６】
本実施の形態では、周回飛行の設定Ｓ１ａにおいて、第３回目の周回飛行の際の飛行軌跡ｆ３の半径が鉄塔１の高さとなるように設定され、飛行装置２０が鉄塔１の上空を飛行する地表Ｅからの高さ位置（飛行高度）が、鉄塔１の高さの１.５倍の高さと鉄塔の高さに安全な飛行高度を確保できる所望の高さを付加した高さとを比較したときの高いほうの高さが飛行高度となるように設定される。
【０１０７】
なお、本実施の形態では、周回飛行の設定Ｓ１ａにおいて、３回の周回飛行を行うように設定されるが、周回飛行の回数は適宜に設定可能であり、さらに、周回飛行の飛行軌跡の半径を広げることなく、複数周回の周回飛行が全て同一の半径の飛行軌跡となるように設定することも可能である。
【０１０８】
次に、第１撮像ステップＳ２の設定がなされる。第１撮像ステップＳ２の設定では、周回飛行の設定Ｓ２ｂ、撮像角度の設定Ｓ２ｃ、及び撮像間隔の設定Ｓ２ｄがなされる。
【０１０９】
なお、下降下限位置の設定Ｓ２ａは、周辺構造物の高さ位置がサーバ３０に入力されることによって実行されることから、第１撮像ステップＳ２の設定において設定する手間が省略される。
【０１１０】
本実施の形態では、周回飛行の設定Ｓ２ｂにおいて、図１４で示すように、鉄塔モデルＭの半径Ｍｒに、周回飛行の際に鉄塔１との間で安全な飛行距離を確保できる所望の距離ｄ２を付加した飛行半径ｆｒで、飛行装置２０が飛行軌跡ｆ４で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行を実行するように設定される。
【０１１１】
なお、本実施の形態では、周回飛行の設定Ｓ２ｂにおいて、飛行装置２０が７回の周回飛行を行うように設定されるが、周回飛行の回数は適宜に設定可能である。
【０１１２】
次に、第２撮像ステップＳ３の設定がなされる。第２撮像ステップＳ３の設定では、周回飛行の設定Ｓ３ａ、撮像角度の設定Ｓ３ｂ、及び撮像間隔の設定Ｓ３ｃがなされる。
【０１１３】
本実施の形態では、周回飛行の設定Ｓ３ａにおいて、第１撮像ステップＳ２の周回飛行の設定Ｓ２ｂで設定された飛行半径ｆｒと同じ飛行半径ｆｒで、飛行装置２０が飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行を実行するように設定される。
【０１１４】
なお、本実施の形態では、周回飛行の設定Ｓ３ａにおいて、飛行装置２０が４回の周回飛行を行うように設定されるが、周回飛行の回数は適宜に設定可能である。
【０１１５】
次に、飛行条件処理ステップＳ４の設定がなされる。飛行条件処理ステップＳ４の設定では、飛行条件の設定Ｓ４ａの設定がなされ、本実施の形態では、「飛行装置２０のバッテリ２３の残量が２０％に到達したとき」が飛行条件として設定される。
【０１１６】
これら上記の各設定がなされることで、飛行プログラムの設定が完了し、設定された飛行プログラムに基づいて、飛行制御部３３Ａによって、上空撮像ステップＳ１、第１撮像ステップＳ２、第２撮像ステップＳ３、場合によっては飛行条件処理ステップＳ４が実行される。
【０１１７】
図１５で示すように、上空撮像ステップＳ１の実行によって、飛行装置２０が飛行軌跡ｆ１で示す周回飛行をし、鉄塔１の上側を撮像することが可能となる位置にジンバルで位置決めされたカメラ２７で鉄塔１の上側を撮像し、飛行軌跡ｆ２で示す周回飛行及び飛行軌跡ｆ３で示す周回飛行に移行するに従って、カメラ２７による鉄塔１の撮像角度を変更して鉄塔１の中腹部分及び下側を撮像する。
【０１１８】
これにより、鉄塔１の上側から下側に亘って、さらに鉄塔１の周囲に存在する周辺構造物である樹木２や家屋３といった鉄塔１の周辺環境も含めて撮像画像として取得されることから、鉄塔１の実際の環境に近い三次元モデルを作成することができる。
【０１１９】
上空撮像ステップＳ１の完了後、第１撮像ステップＳ２に移行する。第１撮像ステップＳ２の実行によって、下降下限位置Ｌまで下降する間に、鉄塔１の上側から下側に向かって飛行装置２０が飛行軌跡ｆ４で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行をし、周回飛行を行う際に、撮像角度の設定Ｓ２ｃで設定されたカメラ２７の撮像角度で鉄塔１を撮像する。
【０１２０】
ここで、本実施の形態では、飛行装置２０が飛行軌跡ｆ７で示す周回飛行をしている際に、飛行条件の設定Ｓ４ａの設定で設定された飛行条件に到達（「飛行装置２０のバッテリ２３の残量が２０％に到達したとき」）したことから、飛行条件処理ステップＳ４によって、飛行装置２０によって実行されている第１撮像ステップＳ２が飛行軌跡ｆ７で示す周回飛行において中断され、鉄塔１の撮像も中断される。
【０１２１】
このとき、飛行軌跡ｆ７で示す周回飛行及び鉄塔１の撮像を中断した鉄塔１上の位置をＧＰＳセンサ２２ＣａがＧＰＳ座標として取得し、取得したＧＰＳ座標がサーバ３０のメモリ（図示せず）に記憶される。
【０１２２】
その後、飛行装置２０は予め設定された飛行装置２０の帰還位置に帰還し、充電が完了しているバッテリ２３と交換されると、飛行条件が解除される。
【０１２３】
飛行条件が解除されると、飛行装置２０は、サーバ３０のメモリに記憶されたＧＰＳ座標に基づいて、飛行軌跡ｆ７で示す周回飛行及び鉄塔１の撮像を中断した鉄塔１上の位置に復帰し、図１６で示すように、復帰した鉄塔１上の位置から飛行軌跡ｆ８で示す周回飛行乃至飛行軌跡ｆ１０で示す周回飛行をし、復帰した鉄塔１上の位置から、撮像角度の設定Ｓ２ｃで設定されたカメラ２７の撮像角度で鉄塔１の撮像を再開する。
【０１２４】
飛行装置２０が下降下限位置Ｌまで下降し、第１撮像ステップＳ２か完了すると、第２撮像ステップＳ３に移行する。第２撮像ステップＳ３では、飛行装置２０が下降下限位置Ｌにおいて、飛行装置２０が飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行をし、飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行に移行するに従って、カメラ２７による鉄塔１の撮像角度を変更して、撮像方向ａ１〜ａ４となる位置から鉄塔１を撮像する。
【０１２５】
この第２撮像ステップＳ３によって、飛行装置２０がそれ以上は下降することができない下降下限位置Ｌよりも下側の鉄塔１を撮像して、撮像画像を取得することができる。
【０１２６】
この第２撮像ステップＳ３における飛行装置２０の飛行軌跡ｆ１１で示す周回飛行乃至飛行軌跡ｆ１４で示す周回飛行と、第１撮像ステップＳ２における飛行装置２０の飛行軌跡ｆ１０で示す周回飛行とは、本実施の形態では同じ高さ位置である下降下限位置Ｌにおいて実行される。
【０１２７】
このように、撮像システム１０のサーバ３０の飛行制御部３３Ａの制御によって、飛行装置２０が自律的に第１撮像ステップＳ２及び第２撮像ステップＳ３を実行することから、鉄塔１の上側から下側、さらには飛行装置２０がそれ以上は下降することができない、鉄塔１の周囲の樹木２や家屋３の高さ位置に基づいて設定された下降下限位置Ｌの下側の鉄塔１の画像を、簡便かつ効率的に撮像することができる。
【０１２８】
特に、飛行制御部３３Ａによって、上空撮像ステップＳ１、第１撮像ステップＳ２及び第２撮像ステップＳ３が連続して実行されることによって、鉄塔１の周囲に存在する樹木２や家屋３といった周辺構造物を含めて、鉄塔１の全方位を精密に撮像することができる。
【０１２９】
なお、本発明は上記実施の形態に限定されることはなく、発明の趣旨を逸脱しない範囲で種々の変更が可能である。上記実施の形態では、構造物が鉄塔１である場合を説明したが、上下方向に長尺な構造物であれば、例えば高層マンション、煙突、アンテナ塔、灯台、風車、樹木、さらには観音像等でも撮像することが可能である。
【符号の説明】
【０１３０】
１    鉄塔（構造物）
２    樹木（周辺構造物）
３    家屋（周辺構造物）
１０    撮像システム
２０    飛行装置
２２    フライトコントローラ
２２Ｂ    メモリ
２２Ｃａ    ＧＰＳセンサ
３０    サーバ
３３Ａ    飛行制御部
ｆ１〜ｆ１４    飛行軌跡
Ｌ    下降下限位置
Ｍ    鉄塔モデル
Ｏ    中心位置
ｒ    半径
Ｓ１    上空撮像ステップ
Ｓ２    第１撮像ステップ
Ｓ３    第２撮像ステップ
Ｓ４    飛行条件処理ステップ
【図１】
2020070006.tif 000003
【図２】
2020070006.tif 000004
【図３】
2020070006.tif 000005
【図４】
2020070006.tif 000006
【図５】
2020070006.tif 000007
【図６】
2020070006.tif 000008
【図７】
2020070006.tif 000009
【図８】
2020070006.tif 000010
【図９】
2020070006.tif 000011
【図１０】
2020070006.tif 000012
【図１１】
2020070006.tif 000013
【図１２】
2020070006.tif 000014
【図１３】
2020070006.tif 000015
【図１４】
2020070006.tif 000016
【図１５】
2020070006.tif 000017
【図１６】
2020070006.tif 000018
【手続補正書】
【提出日】令和1年8月19日(2019.8.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像システムにおいて、
前記飛行装置の飛行条件を設定する飛行条件処理ステップと、
前記飛行装置が自律的に前記構造物の上下方向の一方から他方に移動しながら前記構造物を前記カメラで撮像する撮像ステップと、を実行する飛行制御部を備え、
該撮像ステップは、
前記飛行条件に達した際には現在の位置情報を取得した後に飛行を中止するステップと、
前記飛行条件が解除された際には前記位置情報を基に飛行を再開するステップと、
を含み、
該撮像ステップは、さらに、
前記飛行装置の高さ位置が所定位置に達すると撮像モードを変更するステップを備え、
前記撮像モードを変更するステップは、
前記カメラの撮像角度を予め固定した第１撮像モードと、
前記カメラの撮像角度が可変な第２撮像モードと、で切り替えて変更する、
ことを特徴とする撮像システム。
【請求項２】
前記飛行条件は、前記飛行装置のバッテリ残量が所定値に到達したことであることを特徴とする請求項１に記載の撮像システム。
【請求項３】
前記飛行条件は、前記飛行装置の飛行時間が所定時間を超えたことであることを特徴とする請求項１に記載の撮像システム。
【請求項４】
飛行装置に搭載されたカメラで上下方向に長尺な構造物を撮像する撮像方法において、
前記飛行装置の飛行条件を設定する飛行条件処理ステップと、
前記飛行装置が自律的に前記構造物の上下方向の一方から他方に移動しながら前記構造物を前記カメラで撮像する撮像ステップと、を備え、
該撮像ステップは、
前記飛行条件に達した際には現在の位置情報を取得した後に飛行を中止するステップと、
前記飛行条件が解除された際には前記位置情報を基に飛行を再開するステップと、
を備え、
該撮像ステップは、さらに、
前記飛行装置の高さ位置が所定位置に達すると撮像モードを変更するステップを備え、
前記撮像モードを変更するステップは、
前記カメラの撮像角度を予め固定した第１撮像モードと、
前記カメラの撮像角度が可変な第２撮像モードと、で切り替えて変更する、
ことを特徴とする撮像方法。