(57)【要約】【課題】無人航空機で取得された情報と目的の探知対象物との関係を効率的に利用者に知らせることができる表示装置、探索システム、表示方法、およびプログラムを提供する。【解決手段】表示装置は、第１センサ情報取得部と、第１位置情報取得部と、第２センサ情報取得部と、第２位置情報取得部と、統合表示処理部と、を備えている。第１センサ情報取得部は、無人航空機に搭載された第１センサで検出された第１センサ情報を取得する。第１位置情報取得部は、前記無人航空機に搭載された第１位置検出部で検出された前記無人航空機の第１位置情報を取得する。第２センサ情報取得部は、航海機器に搭載された第２センサで検出された第２センサ情報を取得する。第２位置情報取得部は、前記航海機器に搭載された第２位置検出部で検出された前記航海機器の第２位置情報を取得する。統合表示処理部は、前記第１位置情報と、前記第２位置情報とに基づいて、前記第１センサ情報と、前記第２センサ情報と、を統合して表示する。【選択図】図１
2018008574.tif 000002
【特許請求の範囲】
【請求項１】
無人航空機に搭載された第１センサで検出された第１センサ情報を取得する第１センサ情報取得部と、
前記無人航空機に搭載された第１位置検出部で検出された前記無人航空機の第１位置情報を取得する第１位置情報取得部と、
航海機器に搭載された第２センサで検出された第２センサ情報を取得する第２センサ情報取得部と、
前記航海機器に搭載された第２位置検出部で検出された前記航海機器の第２位置情報を取得する第２位置情報取得部と、
前記第１位置情報と、前記第２位置情報とに基づいて、前記第１センサ情報と、前記第２センサ情報と、を統合して表示する統合表示処理部と、
を備えた表示装置。
【請求項２】
請求項１に記載の表示装置において、
前記第２センサ情報から第２探知対象物を抽出し、前記第２位置情報からの前記第２探知対象物の方位と距離を算出し、前記第２位置情報および前記第２探知対象物の方位と距離に基づいて、前記第２探知対象物の第３位置情報を算出する位置算出部を備え、
前記第１センサ情報取得部は、前記第３位置情報に対応する位置で検出された第１探知対象物の第１センサ情報を取得する、
表示装置。
【請求項３】
請求項１または請求項２に記載の表示装置において、
前記統合表示処理部は、前記航海機器と前記第２センサ情報との相対的位置関係が図示される領域内で、前記第１位置情報に対応する領域に、前記第１センサ情報を表示する、
表示装置。
【請求項４】
請求項１または請求項２に記載の表示装置において、
前記統合表示処理部は、前記航海機器と前記第２センサ情報との相対的位置関係が図示される領域外に、前記第１センサ情報を表示する、
表示装置。
【請求項５】
請求項１乃至請求項４のいずれか１項に記載の表示装置であって、
前記第１センサ情報取得部および第１位置情報取得部は、それぞれ衛星通信を介して前記第１センサ情報と前記第１位置情報とを取得する、
表示装置。
【請求項６】
請求項１乃至請求項４のいずれか１項に記載の表示装置であって、
前記第１センサ情報取得部および第１位置情報取得部は、それぞれアドホックネットワークシステムを介して前記第１センサ情報と前記第１位置情報とを取得する、
表示装置。
【請求項７】
請求項１乃至請求項６のいずれか１項に記載の表示装置であって、
前記第２センサは、レーダであり、
前記第２センサ情報は、前記レーダのエコーデータを含む、
表示装置。
【請求項８】
請求項７に記載の表示装置において、
前記レーダで取得されたエコーデータに基づいて、前記無人航空機の目的位置を算出する目的位置算出部をさらに備えた、
表示装置。
【請求項９】
請求項１乃至請求項８のいずれか１項に記載の表示装置であって、
前記第１センサは、カメラであり、
前記第１センサ情報は、前記カメラで撮影された画像を含む、
表示装置。
【請求項１０】
請求項２に記載の表示装置であって、
前記第１センサは、カメラであり、
前記第１センサ情報は、前記カメラで撮影された画像を含み、
前記第１探知対象物は、前記カメラで水面方向に撮影され、
前記第２センサは、レーダであり、
前記第２センサ情報は、前記レーダのエコーデータを含み、
前記第２探知対象物は、前記レーダのエコーデータにより探知される、
表示装置。
【請求項１１】
請求項９または１０に記載の表示装置において、
前記画像を解析することにより、探知対象物の規模を推定する解析部を備え、
前記統合表示処理部は、前記探知対象物の規模に関する情報をさらに表示する、
表示装置。
【請求項１２】
請求項９または１０に記載の表示装置において、
前記画像を解析することにより、探知対象物の移動速度を推定する解析部を備え、
前記統合表示処理部は、前記探知対象物の移動速度に関する情報をさらに表示する、
表示装置。
【請求項１３】
請求項１乃至請求項１２のいずれか１項に記載の表示装置と、
前記無人航空機と、
該無人航空機を管制するナビゲーション装置と、
を備えた探索システム。
【請求項１４】
無人航空機に搭載された第１センサで検出された第１センサ情報を取得する第１センサ情報取得処理と、
前記無人航空機に搭載された第１位置検出部で検出された前記無人航空機の第１位置情報を取得する第１位置情報取得処理と、
航海機器に搭載された第２センサで検出された第２センサ情報を取得する第２センサ情報取得処理と、
前記航海機器に搭載された第２位置検出部で検出された前記航海機器の第２位置情報を取得する第２位置情報取得処理と、
前記第１位置情報と、前記第２位置情報とに基づいて、前記第１センサ情報と、前記第２センサ情報と、を統合して表示する統合表示処理と、
を行なう表示方法。
【請求項１５】
コンピュータに、
無人航空機に搭載された第１センサで検出された第１センサ情報を取得する第１センサ情報取得処理と、
前記無人航空機に搭載された第１位置検出部で検出された前記無人航空機の第１位置情報を取得する第１位置情報取得処理と、
航海機器に搭載された第２センサで検出された第２センサ情報を取得する第２センサ情報取得処理と、
前記航海機器に搭載された第２位置検出部で検出された前記航海機器の第２位置情報を取得する第２位置情報取得処理と、
前記第１位置情報と、前記第２位置情報とに基づいて、前記第１センサ情報と、前記第２センサ情報と、を統合して表示する統合表示処理と、
を実行させる、プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の一実施形態は、取得した情報を表示する表示装置、探索システム、表示方法、およびプログラムに関する。
【背景技術】
【０００２】
近年、例えば、かつおを漁獲対象とする漁業においては、有人航空機（例えば有人ヘリコプター）を用いて自船の周囲を探索し、かつおの魚群を探索することが行なわれている。
【０００３】
一方で、近年、無人航空機にカメラ等のセンサを搭載し、上空から画像を撮影して情報収集を行なうことが行なわれている。例えば、特許文献１には、サーモカメラを搭載した無人航空機を用いて、所定水域を上方から撮影し、該撮影により得られた水面温度分布画像に基づいて該所定水域における水流を観測するシステムが提案されている。また、特許文献２においては、無人航空機で撮影した映像を、衛星通信を介して送受信する構成が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１５−１２７６６９号公報
【特許文献２】特許公開公報第５７６７７３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
無人航空機を用いる場合には、該無人航空機で取得された情報と、目的の探知対象物（例えば魚群）と、の関係を、利用者に知らせることが重要である。
【０００６】
この発明の一実施形態は、無人航空機で取得された情報と目的の探知対象物との関係を効率的に利用者に知らせることができる表示装置、探索システム、表示方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
表示装置は、表示装置は、第１センサ情報取得部と、第１位置情報取得部と、第２センサ情報取得部と、第２位置情報取得部と、統合表示処理部と、を備えている。第１センサ情報取得部は、無人航空機に搭載された第１センサで検出された第１センサ情報を取得する。第１位置情報取得部は、前記無人航空機に搭載された第１位置検出部で検出された前記無人航空機の第１位置情報を取得する。第２センサ情報取得部は、航海機器に搭載された第２センサで検出された第２センサ情報を取得する。第２位置情報取得部は、前記航海機器に搭載された第２位置検出部で検出された前記航海機器の第２位置情報を取得する。統合表示処理部は、前記第１位置情報と、前記第２位置情報とに基づいて、前記第１センサ情報と、前記第２センサ情報と、を統合して表示する。
【０００８】
このように、表示装置は、第１センサ情報と、第２センサ情報と、を統合表示することで、無人航空機で検出された情報と目的の探知対象物との関係を効率的に利用者に知らせることができる。例えば、表示装置は、第２センサとして、レーダで得た鳥群のエコー画像が表示された画面において、第１センサとして、カメラで撮影した海面の画像を統合表示する。これにより、利用者は、鳥群のエコー画像の位置における海面の画像を見ることができ、鳥群のエコー画像の位置において魚群が存在するか、確認することができる。
【発明の効果】
【０００９】
この発明の一実施形態によれば、無人航空機で取得された情報と目的の探知対象物との関係を効率的に利用者に知らせることができる。
【図面の簡単な説明】
【００１０】
【図１】探索システムの全体構成を示すブロック図である。
【図２】表示装置の構成を示すブロック図である。
【図３】制御部の機能ブロック図である。
【図４】制御部の機能ブロック図である。
【図５】制御部の機能ブロック図である。
【図６】図６（Ａ）および図６（Ｂ）は、表示部に表示される画面の一例を示した図である。
【図７】カメラ画像に無人航空機に係る情報を重畳する例を示す図である。
【図８】表示装置の動作を示すフローチャートである。
【図９】探索システムの全体構成を示すブロック図である。
【図１０】探索システムの全体構成を示すブロック図である。
【図１１】複数の無人航空機を運用する場合の通信態様を示す図である。
【図１２】探索システムの全体構成を示すブロック図である。
【図１３】図１３（Ａ）および図１３（Ｂ）は、表示部に表示される画面の一例を示した図である。
【図１４】制御部の機能ブロック図である。
【図１５】図１５（Ａ）および図１５（Ｂ）は、各機器の位置情報を表す図である。
【図１６】図１６（Ａ）は、探知対象物の第３位置情報の算出手法を示す図であり、図１６（Ｂ）は、第３位置情報と無人航空機の関係を表す図である。
【図１７】レーダで鳥群を探知し、無人航空機のカメラで魚群を撮影する例を示した図である。
【図１８】レーダ画面の範囲外に無人航空機の画像を表示する例を示した図である。
【発明を実施するための形態】
【００１１】
図１は、探索システムの全体構成を示すブロック図である。探索システムは、無人航空機１、衛星通信装置３Ａ、衛星通信装置３Ｂ、衛星地上局５Ａ、衛星地上局５Ｂ、インターネット７、および船舶２を備えている。
【００１２】
無人航空機１は、自律飛行を行なう航空機であり、例えばマルチローターヘリである。なお、無人航空機とは、着水して、水上を移動する機能を備えた航空機を含む。無人航空機１は、位置検出部１１、機体制御部１２、カメラ１３、および衛星通信部１４を備えている。各構成は、ネットワーク（ＬＡＮ）または各種規格の信号線で接続されている。
【００１３】
位置検出部１１は、第１位置検出部の一例であり、例えばＧＰＳ等により自装置の位置（緯度、経度、および高度）を示す第１位置情報を取得する。
【００１４】
機体制御部１２は、無人航空機１の各構成を制御する。機体制御部１２は、不図示のメモリから動作用プログラムを読み出して、無人航空機１の制御を行なう。例えば、機体制御部１２は、位置検出部で取得した自装置の位置と、衛星通信部１４を介して受信した経路および目的の位置に関する情報と、に基づいて、ローターを制御し、設定された経路で目的の位置に自装置を移動させる自律制御を行なう。
【００１５】
カメラ１３は、無人航空機１に搭載される第１センサの一例である。カメラ１３は、自装置の周囲を撮影する。撮影した画像データは、衛星通信部１４を介して外部に出力される。
【００１６】
無人航空機１および船舶２は、衛星通信を介して各種情報を送受信する。すなわち、無人航空機１および船舶２は、衛星通信装置３Ａ、衛星地上局５Ａ、インターネット７、衛星地上局５Ｂ、および衛星通信装置３Ｂを介して、互いに各種情報を送受信する。ただし、図９または図１０に示すように、無人航空機１および船舶２は、他の実施形態において、無線通信を介して各種情報を送受信することも可能である。また、無人航空機１および船舶２は、無線通信および衛星通信の両方を介して各種情報を送受信することも可能である。
【００１７】
船舶２には、各種の航海機器が搭載されている。この例では、船舶２は、位置検出部２１、ＡＩＳ受信機２２、表示装置２３、および衛星通信部２４を搭載している。
【００１８】
位置検出部２１は、第２位置検出部の一例であり、例えばＧＰＳ等により自船の位置（緯度および経度）を取得する。位置検出部２１が取得した第２位置情報は、例えば表示装置２３に入力され、海図上に自船の位置として表示される。
【００１９】
表示装置２３は、各種機器から取得した情報を表示するマルチファンクションディスプレイである。図２は、表示装置２３の構成を示すブロック図である。表示装置２３は、操作部２１０，入出力インタフェース（Ｉ／Ｆ）２１１、制御部２１２、表示部２１３、および記憶部２１４を備えている。
【００２０】
制御部２１２は、記憶部２１４に記憶されているプログラムを読み出し、各種の動作を行なう。例えば、制御部２１２は、記憶部２１４に記憶されている海図データを読み出して、表示部２１３に海図を表示する。また、制御部２１２は、入出力Ｉ／Ｆ２１１を介して位置検出部２１から第２位置情報を取得する。制御部２１２は、上述の様に、海図上に自船の位置を表示する。これにより、表示装置２３は、プロッタとして機能する。
【００２１】
また、図１２に示すように、船舶２がレーダ２７を備えている場合、制御部２１２は、入出力Ｉ／Ｆ２１１を介してレーダ２７から探知結果を取得し、レーダ画面を表示することもできる。これにより、表示装置２３は、レーダ装置の表示部としても機能する。さらに、制御部２１２は、海図上にレーダ２７の探知結果を重畳して表示することも可能である。
【００２２】
また、制御部２１２は、操作部２１０を介して利用者から受け付けた指示に応じ、種々の動作を行なう。例えば、制御部２１２は、無人航空機１の自律飛行用飛行経路（目的位置を含む。）の指示を受け付ける。制御部２１２は、受け付けた自律飛行用飛行経路に係る情報を入出力Ｉ／Ｆ２１１から出力する。自律飛行用飛行経路に係る情報は、無人航空機１に送信される。無人航空機１の機体制御部１２は、受信した自律飛行用飛行経路に係る情報に基づいて、無人航空機１の自律制御を行なう。これにより、表示装置２３は、無人航空機１を管制するナビゲーション装置としても機能する。ただし、無人航空機１のナビゲーション装置は、別の装置（例えばパーソナルコンピュータ）により実現してもよい。
【００２３】
次に、図３、図４、図５、および図１４は、制御部２１２の機能ブロック図である。制御部２１２は、記憶部２１４に記憶されているプログラムを読み出し、該プログラムにより、図３、図４、図５、または図１４に示す各構成を実現する。
【００２４】
制御部２１２は、一実施形態として、図３、図４、図５、および図１４に示すように、第１位置情報取得部２５０、第１センサ情報取得部２５１、第２センサ情報取得部２５２、第２位置情報取得部２５７、および統合表示処理部２５３を備えている。また、他の実施形態においては、制御部２１２は、図４および図５に示すように、解析部２５４をさらに備えている。また、図５の実施形態では、制御部２１２は、目的位置算出部２５５をさらに備えている。図１４の実施形態では、制御部２１２は、位置算出部２５９を備えている。
【００２５】
第１位置情報取得部２５０は、無人航空機１の第１位置情報を取得する。第１センサ情報取得部２５１は、入出力Ｉ／Ｆ２１１を介して無人航空機１からの情報を取得する。ここでは、一例として第１センサは、カメラ１３であるため、第１センサ情報取得部２５１は、第１センサ情報として、カメラ１３で撮影された画像データを取得する。
【００２６】
第２センサ情報取得部２５２は、各種航海機器からの情報を取得する。第２センサは、この例では、ＡＩＳ受信機２２である。第２センサ情報取得部２５２は、ＡＩＳ受信機２２から、第２センサ情報として、ＡＩＳ情報を取得する。また、第２位置情報取得部２５７は、第２位置情報を取得する。ＡＩＳ情報には、例えば各船の識別情報、位置、針路、移動速度、または目的位置等が含まれている。また、第２センサは、例えばレーダ２７におけるアンテナおよび電磁波送受信部等も該当する。あるいは、不図示のスキャニングソナー等も、第２センサに該当する。
【００２７】
統合表示処理部２５３は、第１位置情報および第２位置情報に基づいて、第１センサ情報取得部２５１で取得した情報と、第２センサ情報取得部２５２で取得した情報と、を統合して、表示部２１３に表示させる処理を行なう。
【００２８】
図６（Ａ）は、表示部２１３に表示される画面の一例を示した図である。表示部２１３には、自船画像４０１、無人航空機画像４０２、他船画像４０３、およびカメラ画像４０４が表示されている。すなわち、図６（Ａ）の例では、表示装置２３は、プロッタとして機能している。
【００２９】
図８は、表示装置２３の動作を示すフローチャートである。図６（Ａ）に示した統合画面を表示する場合、まず、第１位置情報取得部２５０は、第１位置情報を取得し、第１センサ情報取得部２５１は、カメラ１３が撮影した画像データを取得する（ｓ１１）。また、第２センサ情報取得部２５２は、航海機器から各種情報を取得し、第２位置情報取得部２５７は、第２位置情報を取得する（ｓ１２）。ここでは、第２センサ情報取得部２５２は、ＡＩＳ情報を取得する。
【００３０】
そして、統合表示処理部２５３は、無人航空機１と自船の位置を判断し（ｓ１３）、統合表示を行なう（ｓ１４）。すなわち、統合表示処理部２５３は、記憶部２１４に記憶されている海図データを読み出して、表示部２１３に海図を表示する。また、統合表示処理部２５３は、第２位置情報に基づいて、海図上に自船画像４０１を表示する。図６（Ａ）の例では、統合表示処理部２５３は、自装置の位置が中心となり、自船の進行方向が画面方向に一致する（ヘッドアップとなる）ように、海図上に自船の位置を表示する。また、図６（Ａ）の例では、統合表示処理部２５３は、ＡＩＳ情報に基づいて、海図上に他船画像４０３を表示する。また、統合表示処理部２５３は、他船の針路および移動速度を例えば実線ベクトルで表示する。
【００３１】
そして、統合表示処理部２５３は、無人航空機１の第１位置情報に基づいて、海図上に無人航空機画像４０２を表示する。また、統合表示処理部２５３は、第１センサ情報取得部２５１で取得したカメラ画像４０４を無人航空機画像４０２の近傍に表示する。ただし、カメラ画像４０４は、常時表示する必要はない。例えば、利用者が操作部２１０を操作して、無人航空機画像４０２を選択する操作を行なったとき、統合表示処理部２５３は、無人航空機画像４０２の近傍にカメラ画像４０４を表示する。
【００３２】
カメラ画像４０４は、カメラ１３で撮影された画像データをそのまま表示してもよいが、例えば図７に示すように、無人航空機１に係る情報を重畳することも可能である。この場合、統合表示処理部２５３は、無人航空機１の第１位置情報と、該第１位置情報を受信したタイミング（時刻）を示すテキスト情報を、カメラで撮影された画像データに重畳し、カメラ画像４０４として表示する。
【００３３】
なお、統合表示処理部２５３は、第１センサ情報として、さらに無人航空機１の進行方向および移動速度を示す情報を受信した場合には、進行方向および移動速度を実線ベクトルで表示する。なお、進行方向および移動速度は、無人航空機１の位置変化に基づいて、表示装置２３が推定することも可能である。
【００３４】
また、統合表示処理部２５３は、カメラ１３の撮影方向を示す情報を受信した場合には、カメラ１３の撮影方向を破線で表示する。
【００３５】
さらに、この例では、現時点の無人航空機１の位置を示す無人航空機画像４０２を表示しているが、統合表示処理部２５３は、過去の無人航空機１の位置情報に基づいて、航跡画像を表示してもよい。
【００３６】
このように、表示装置２３は、無人航空機１に搭載された第１センサで得た情報と、自船の機器に搭載された第２センサで得た情報と、を統合表示する。例えば、利用者が魚群を探知対象物としている場合、利用者は、無人航空機１のカメラ１３で得た海面の画像（鳥群の画像）、自船の位置、および無人航空機１の位置を知ることができ、探知対象物である魚群と、無人航空機１で撮影された画像との位置関係を効率的に把握することができる。
【００３７】
図６（Ｂ）は、表示部２１３に表示される画面の第２例を示した図である。表示部２１３には、自船画像４０１、無人航空機画像４０２、他船のエコー画像５０３、カメラ画像４０４、陸地のエコー画像５０４、および鳥群のエコー画像５０５が表示されている。図６（Ｂ）の例では、表示装置２３は、レーダ用の表示部として機能している。
【００３８】
この場合、船舶２は、図１２に示した例の様に、レーダ２７を備えている。統合表示処理部２５３は、レーダ２７の探知結果に基づいて、図６（Ｂ）に示すような、自装置の位置を中心としたレーダ画面を表示する。そして、統合表示処理部２５３は、無人航空機１の第１位置情報に基づいて、レーダ画面上に無人航空機画像４０２を表示する。
【００３９】
この場合、統合表示処理部２５３は、図１５（Ａ）に示すように、まず自船の位置を原点とする直交座標系の画面を表示し、自船の第１位置情報（絶対位置）に対して、画面内の各画素の位置を決定する。そして、統合表示処理部２５３は、第２位置情報（絶対位置）に対応する画素の位置に、無人航空機画像４０２を統合表示させる。
【００４０】
これにより、利用者は、鳥群のエコー画像５０５が表示された画面において、無人航空機の位置および撮影した海面の画像を確認することができる。したがって、利用者は、鳥群のエコー画像５０５の位置における実際の海面の状態（鳥群の規模等）を確認することができ、鳥群のエコー画像５０５の位置において、探知対象物である魚群が存在するか、確認することができる。なお、図６（Ｂ）の例では、統合表示処理部２５３は、レーダ画面（航海機器と第２センサ情報との相対的位置関係が図示される領域）内で、無人航空機１の第１位置情報に対応する領域に、カメラ画像４０４を表示する例を示している。しかし、統合表示処理部２５３は、図１８に示すように、レーダ画面外に、カメラ画像４０４を表示してもよい。
【００４１】
なお、統合表示処理部２５３は、図６（Ａ）に示した海図と、図６（Ｂ）に示したレーダ画面と、を統合表示させることも可能である。
【００４２】
また、船舶２がレーダ２７を備えている場合には、制御部２１２は、図１４に示すように、位置算出部２５９を備えることで、探知対象物の位置（第３位置情報）を算出することができる。
【００４３】
位置算出部２５９は、図１６（Ａ）に示すように、レーダ２７で検出されたエコーデータから、鳥群のエコーデータ（鳥群のエコー画像５０５）を探知する。そして、位置算出部２５９は、エコーデータに基づいて、自船の第１位置情報（絶対位置）からの鳥群の方位および距離を算出する。最後に、位置算出部２５９は、算出した鳥群の方位および距離に基づいて、鳥群の位置（第３位置情報）を算出する。
【００４４】
第３位置情報は、図１６（Ｂ）に示すように、無人航空機１の目的位置の設定、またはカメラ１３の撮影方向の設定に用いられる。例えば、利用者は、操作部２１０を介して無人航空機１の目的位置を第３位置情報に設定したり、カメラ１３の撮影方向を、第３位置情報に向ける指示を行なう。この場合、無人航空機１のカメラ１３は、第３位置情報に対応する位置で撮影された画像（鳥群の画像）を取得する。
【００４５】
なお、カメラ１３で撮影する画像は、鳥群の画像であってもよいが、例えば図１７に示すように、レーダ２７では第２探知対象物として鳥群のエコーデータを探知し、カメラ１３では第１探知対象物として水面方向に撮影される魚群の画像を撮影する態様であってもよい。
【００４６】
次に、図４に示した解析部２５４の処理について説明する。解析部２５４は、無人航空機１から取得した各種情報の解析を行なう。解析部２５４は、例えばカメラ１３の撮影した画像データの画像解析を行なう。例えば、解析部２５４は、テンプレートマッチング等を用いて、画像データから鳥画像を抽出する。そして、解析部２５４は、鳥画像の大きさから、鳥群との距離を推定する。解析部２５４は、推定した距離と、カメラ１３の撮影方向と、第１位置情報と、に基づいて、鳥群の位置を示す第３位置情報を推定する。
【００４７】
統合表示処理部２５３は、解析部２５４が推定した第３位置情報に基づいて、鳥群の情報を表示する。例えば、解析部２５４は、図１３（Ａ）に示すように、鳥群の第３位置を示す鳥群画像７０１を表示する。なお、無人航空機１が、第１センサとしてレーダを備えている場合には、解析部２５４は、レーダの探知結果に基づいて第３位置情報を推定することもできる。
【００４８】
また、解析部２５４は、抽出した鳥画像の数をカウントし、鳥群の規模を推定する処理を行なってもよい。推定した鳥群の規模に係る情報は、統合表示処理部２５３に入力され、表示部２１３に統合表示される。例えば、統合表示処理部２５３は、図１３（Ｂ）に示すように、推定した鳥群の規模に応じて、鳥群画像７０１の大きさを変更することで、鳥群の規模に係る情報を表現してもよい。
【００４９】
また、解析部２５４は、無人航空機１から取得した情報に基づいて、鳥群の移動方向または移動速度を推定することも可能である。例えば、解析部２５４は、無人航空機１が静止している場合においては、画像データ内の鳥群の座標を検出し、複数のタイミングにおける鳥群の座標または鳥群の大きさの変化を算出することで、移動方向または移動速度を推定することができる。また、無人航空機１が移動している場合には、画像データ内の鳥群の座標の変化に、該無人航空機１の移動量および移動方向を加算することで、鳥群の移動方向または移動速度を算出することができる。統合表示処理部２５３は、例えば図１３（Ａ）または図１３（Ｂ）に示すように、解析部２５４が推定した移動方向または移動速度を実線ベクトルで表示する。
【００５０】
なお、図１３（Ａ）および図１３（Ｂ）の例では、第２探知対象物である鳥群の画像７０１を表示しているが、第１探知対象物である魚群の画像を表示してもよい。
【００５１】
また、解析部２５４は、海面の画像を抽出し、抽出した海面の画像の色に基づいて、水温の推定を行なうこともできる。推定した水温に係る情報は、統合表示処理部２５３に入力され、表示部２１３に統合表示される。
【００５２】
次に、図５に示した目的位置算出部２５５の処理について説明する。目的位置算出部２５５は、無人航空機１の自律飛行用飛行経路を設定する。上述の例では、無人航空機１の目的位置を含む自律飛行用飛行経路は、利用者からの指示のみに応じて決定していたが、図５の例では、第１センサからの情報または第２センサからの情報に基づいて、目的位置算出部２５５が無人航空機１の目的位置を算出する。算出された無人航空機１の目的位置は、入出力Ｉ／Ｆ２１１を介して無人航空機１に出力される。
【００５３】
例えば、図６（Ａ）の例において、利用者が操作部２１０を用いてカメラ画像４０４を選択して、当該カメラ画像４０４の鳥群を追尾するように指示した場合、目的位置算出部２５５は、当該カメラ画像４０４の鳥群に対応する位置、あるいは鳥群から所定距離離れた位置を、目的位置として算出する。ただし、この場合、解析部２５４において、カメラ画像から探知対象物（例えば鳥群）の画像を認識する。
【００５４】
なお、目的位置算出部２５５は、このような目的位置の算出および出力を繰り返すことで、無人航空機１に対して、指示された画像に対応する探知対象物を追尾させることができ、無人航空機１の自律飛行用飛行経路を設定することもできる。
【００５５】
また、例えば、図６（Ｂ）の例において、利用者が操作部２１０を用いて鳥群のエコー画像５０５を選択して、当該エコー画像５０５を追尾するように指示した場合、目的位置算出部２５５は、当該エコー画像５０５に対応する位置（緯度および経度）を、目的位置として設定する。
【００５６】
次に、図９および図１０は、探索システムの全体構成を示すブロック図である。図９に示すように、探索システムは、無人航空機１がさらに無線通信部１９を備え、船舶２がさらに無線通信部２９を備えた実施態様も可能である。また、図９に示すように、探索システムは、無人航空機１が衛星通信部１４に代えて無線通信部１９を備え、船舶２が衛星通信部２４に代えて無線通信部２９を備えた実施態様も可能である。
【００５７】
無人航空機１がさらに無線通信部１９を備え、船舶２がさらに無線通信部２９を備える場合には、無人航空機１および船舶２は、無線通信部１９および無線通信部２９により通信が可能である場合に、これら無線通信部１９および無線通信部２９を介して各種情報を送受信する。無人航空機１および船舶２は、無線通信部１９および無線通信部２９により通信が不可であった場合に、衛星通信部１４および衛星通信部２４を介して各種情報を送受信する。
【００５８】
これにより、探索システムは、相対的にコストが高い衛星通信を用いることなく通信を行ないながらも、無線通信部による通信ができなかった場合に、衛星通信を用いることで、コストの増大を防ぎながらも、柔軟な運用を行なうことができる。
【００５９】
また、無人航空機１が衛星通信部１４に代えて無線通信部１９を備え、船舶２が衛星通信部２４に代えて無線通信部２９を備えた実施態様である場合、相対的にコストが高い衛星通信を用いることがない。また、この実施態様では、無人航空機が衛星通信部を備えていないため、無人航空機を軽量化することができ、移動速度の向上および航続距離の増大が可能である。
【００６０】
この実施態様では、探索システムは、図１１に示すように、複数の無人航空機（図１１では、無人航空機１Ａ、無人航空機１Ｂ、および無人航空機１Ｃ）を備えることが好ましい。各無人航空機は、互いに無線通信を行ない、中継装置として機能する。これにより、探索システムは、アドホックネットワークシステムを構築する。この場合、第１センサ情報取得部２５１は、アドホックネットワークシステムを介して、いずれか１つの無人航空機１から第１センサの情報を取得する。
【００６１】
この場合、探知対象物に係る画像を撮影、認識した無人航空機が当該探知対象物の追尾を行い、他の無人航空機は、中継装置として機能する。したがって、図１１の例では、衛星通信部の構成を備えていない場合であっても、船舶２と１つの無人航空機１とが通信可能な領域を越えて、遠方の位置における無人航空機１の第１センサで取得した各種情報が船舶２に送信される。
【００６２】
（変形例１）
変形例１として、無人航空機１に搭載される第１センサは、サーモカメラであってもよい。この場合、第１センサで取得される情報として、水温に関する情報が取得される。また、例えば他船の熱源を検知することもできる。例えば探知対象物が不審船である場合には、無人航空機１で取得された熱源に関する情報が、当該不審船を追尾するために重要な情報となる。したがって、船舶２において、利用者は、レーダ等の第２センサを用いて不審船の位置を把握しながら、第１センサであるサーモカメラを用いて不審船の確認を行なうことができる。
【００６３】
（変形例２）
変形例２として、無人航空機１に搭載される第１センサは、ＡＩＳ受信機であってもよい。この場合、無人航空機１において、他船のＡＩＳ情報を受信することができる。したがって、船舶２では受信できない遠方の他船のＡＩＳ情報を、無人航空機１において取得し、当該ＡＩＳ情報を船舶２において確認することができる。
【００６４】
（変形例３）
変形例３として、無人航空機１に搭載される第１センサは、航空レーザ測探機であってもよい、航空レーザ測探機は、近赤外レーザと緑色レーザを同時に照射し、水面、陸地、海底、または魚群からのエコーを観測する装置である。これにより、無人航空機１は、空中から水中内の魚群を探知する魚群探知機として機能する。
【００６５】
（変形例４）
変形例４は、無人航空機１が着水する態様である。この場合、無人航空機１は、第１センサとして、水温計、水中カメラ、魚群探知機、またはソナー（自船の真下以外を探知する超音波測定機）を備えている。この場合、無人航空機１は、水中を直接観察することができる。なお、無人航空機１が魚群探知機またはソナーを備えている場合には、解析部２５４は、魚群探知機またはソナーの探知結果に基づいて、魚群の位置情報（第３位置情報）を推定することができる。この場合、統合表示処理部２５３は、表示部２１３において、魚群の位置を示す画像（魚群画像）を表示する。
【００６６】
なお、本実施形態では、航海機器および表示装置が船舶に搭載される例を示した。しかし、航海機器は、船舶に搭載されるものに限らない。例えば、航海機器は、地上の設備に設置される場合もある。例えば、地上のレーダ基地局において、レーダ画面上に、無人航空機で取得した情報を統合表示する態様であってもよい。すなわち、表示装置は、地上の設備に設置された航海機器から、各種の情報を取得して、無人航空機で取得した情報を統合表示すればよい。
【００６７】
また、本実施形態では、表示装置２３は、マルチファンクションディスプレイである例を示したが、例えば、アンテナと信号処理機能と表示器とを備えたレーダ装置において、該レーダ装置における表示器に、エコーデータから得られるエコー画像に第１センサから得た情報を統合表示してもよい。この場合、無人航空機から各種情報を取得する構成と、エコー画像等の情報を取得する構成と、該レーダ装置の表示器に画像を表示する処理を行なう処理部と、からなる装置が、本発明の表示装置に該当する。
【００６８】
本実施形態の説明は、すべての点で例示であって、制限的なものではない。本発明の範囲は、上述の実施形態ではなく、特許請求の範囲によって示される。さらに、本発明の範囲には、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【産業上の利用可能性】
【００６９】
探索システムは、各種の産業において利用することができる。
【００７０】
例えば、海上で他船に火災が発生した場合に、表示装置は、自船または地上基地局のおける第２センサ（例えばレーダ）により取得した情報として、火災船の概略位置を表示する。利用者は、火災船の概略位置を把握し、消防艇を派遣する。このとき、探索システムは、第２センサで得た情報（火災船の位置）に基づいて、無人航空機１の経路を設定する。または、利用者が、無人航空機１の経路を設定する。無人航空機１は、カメラを用いて火災船および消防艇の画像を取得する。表示装置は、自船または地上基地局におけるレーダで取得した情報と、無人航空機１で取得した画像とを統合して表示する。これにより、例えば、消防艇が、火災船に適切な放水を行なっているか否かを表示させることができる。
【００７１】
また、例えば、豪雨発生時に、表示装置は、防災センタにおける第２センサ（例えば気象レーダ）により取得した情報を表示することで、豪雨発生地域を表示する。利用者は、豪雨発生地域を特定し、無人航空機１の経路を設定する。無人航空機１は、第１センサを用いて豪雨発生場所の各種情報（例えば被害状況等を示す画像）を取得する。表示装置は、防災センタにおける気象レーダで取得した情報と、無人航空機１で取得した豪雨発生場所の画像とを統合して表示する。これにより、利用者は、豪雨発生場所の被害状況を把握し、災害対策を検討することができる。
【符号の説明】
【００７２】
１、１Ａ，１Ｂ，１Ｃ…無人航空機
２…船舶
３Ａ，３Ｂ…衛星通信装置
５Ａ，５Ｂ…衛星地上局
７…インターネット
１１…位置検出部
１２…機体制御部
１３…カメラ
１４…衛星通信部
１９…無線通信部
２１…位置検出部
２２…ＡＩＳ受信機
２３…表示装置
２４…衛星通信部
２７…レーダ
２９…無線通信部
２１０…操作部
２１１…入出力Ｉ／Ｆ
２１２…制御部
２１３…表示部
２１４…記憶部
２５１…第１情報取得部
２５２…第２センサ情報取得部
２５３…統合表示処理部
２５４…解析部
２５５…目的位置算出部
４０１…自船画像
４０２…無人航空機画像
４０３…他船画像
４０４…カメラ画像
５０３，５０４，５０５…エコー画像
【図１】
2018008574.tif 000003
【図２】
2018008574.tif 000004
【図３】
2018008574.tif 000005
【図４】
2018008574.tif 000006
【図５】
2018008574.tif 000007
【図６】
2018008574.tif 000008
【図７】
2018008574.tif 000009
【図８】
2018008574.tif 000010
【図９】
2018008574.tif 000011
【図１０】
2018008574.tif 000012
【図１１】
2018008574.tif 000013
【図１２】
2018008574.tif 000014
【図１３】
2018008574.tif 000015
【図１４】
2018008574.tif 000016
【図１５】
2018008574.tif 000017
【図１６】
2018008574.tif 000018
【図１７】
2018008574.tif 000019
【図１８】
2018008574.tif 000020