(57)【要約】【課題】飛行体に接続された線状部材が画像内に進入した場合でも、撮像部の撮影方向が線状部材を追従するように制御されるのを防止する。【解決手段】撮像部は、線状部材が接続された飛行体に搭載され、時系列に沿って複数の画像を撮影する。抽出手段は、撮影された複数の画像に含まれる第１画像から、特徴点Ｐ１〜Ｐ６を抽出する。算出手段は、複数の画像に含まれる第２画像と第１画像との間における特徴点Ｐ１〜Ｐ６６の移動特徴量を算出する。判定手段は、第２画像に線状部材が含まれるか否かを判定する。撮影制御部は、線状部材が含まれないと判定された場合には、特徴点Ｐ１〜Ｐ６の移動特徴量に基づいて、撮像部の撮影方向を制御し、線状部材が含まれると判定された場合には、線状部材に対応する特徴点Ｐ１乃至Ｐ３を除く特徴点Ｐ４乃至Ｐ６の移動特徴量に基づいて、撮像部の撮影方向を制御する。【選択図】図６
2019068230.tif 000002
【特許請求の範囲】
【請求項１】
線状部材が接続された飛行体に搭載され、時系列に沿って複数の画像を撮影する撮像部と、
前記撮像部により撮影された前記複数の画像に含まれる第１画像から、複数の特徴点を抽出する抽出手段と、
前記複数の画像に含まれる第２画像と前記第１画像との間における、前記抽出手段により抽出された前記複数の特徴点の移動特徴量を算出する算出手段と、
前記第２画像に前記線状部材が含まれるか否かを判定する判定手段と、
前記判定手段により前記線状部材が含まれないと判定された場合には、前記算出手段により算出された前記複数の特徴点の移動特徴量に基づいて、前記撮像部の撮影方向を制御し、前記判定手段により前記線状部材が含まれると判定された場合には、前記複数の特徴点のうち前記線状部材に対応する第１特徴点を除く第２特徴点の移動特徴量に基づいて、前記撮像部の撮影方向を制御する撮影制御部と
を備える監視システム。
【請求項２】
前記判定手段は、前記第２画像に含まれる画像パターンと、予め生成された前記線状部材の特徴を示す画像パターンとの類似度が所定の度合以上である場合には、前記第２画像に前記線状部材が含まれると判定する
請求項１に記載の監視システム。
【請求項３】
前記判定手段は、前記複数の特徴点の少なくとも一部が直線に沿って分布する場合には、前記第２画像に前記線状部材が含まれると判定する
請求項１に記載の監視システム。
【請求項４】
前記判定手段は、線形近似により、前記複数の特徴点の少なくとも一部の回帰直線を求め、前記回帰直線の残差が所定の値以下の場合には、前記第２画像に前記線状部材が含まれると判定する
請求項３に記載の監視システム。
【請求項５】
前記判定手段は、ハフ変換により前記複数の特徴点の少なくとも一部に対応する直線が検出された場合には、前記第２画像に前記線状部材が含まれると判定する
請求項３に記載の監視システム。
【請求項６】
前記抽出手段は、前記判定手段により前記線状部材が含まれると判定された場合には、前記複数の画像に含まれる第３画像から複数の特徴点を再抽出する
請求項１から５のいずれか１項に記載の監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、上空から不審物を監視する技術に関する。
【背景技術】
【０００２】
従来、気球や飛行船等の飛行体に搭載したカメラで撮影した画像により、上空から不審物の監視を行う技術が知られている。例えば特許文献１には、バルーンに搭載されたカメラにより地上を撮影する構成において、バルーンの動きに左右されず常に地上装置から指令された方向を撮影する技術が記載されている。また、特許文献２には、オプティカルフローにより画像の特徴点を追跡する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平２−２５３２４４号公報
【特許文献２】特開２００７−４１７５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１及び２に記載された技術を利用すると、飛行体の動きに関わらず、特徴点を追跡するように、カメラ等の撮像部の撮影方向を制御することができると考えられる。しかし、この方法では、例えば飛行体の動きにより、飛行体に接続された係留索等の線状部材が画像内に進入すると、撮像部の撮影方向が線状部材を追従するように制御される場合がある。
本発明は、飛行体に接続された線状部材が画像内に進入した場合でも、撮像部の撮影方向が線状部材を追従するように制御されるのを防止することを目的とする。
【課題を解決するための手段】
【０００５】
本発明は、線状部材が接続された飛行体に搭載され、時系列に沿って複数の画像を撮影する撮像部と、前記撮像部により撮影された前記複数の画像に含まれる第１画像から、複数の特徴点を抽出する抽出手段と、前記複数の画像に含まれる第２画像と前記第１画像との間における、前記抽出手段により抽出された前記複数の特徴点の移動特徴量を算出する算出手段と、前記第２画像に前記線状部材が含まれるか否かを判定する判定手段と、前記判定手段により前記線状部材が含まれないと判定された場合には、前記算出手段により算出された前記複数の特徴点の移動特徴量に基づいて、前記撮像部の撮影方向を制御し、前記判定手段により前記線状部材が含まれると判定された場合には、前記複数の特徴点のうち前記線状部材に対応する第１特徴点を除く第２特徴点の移動特徴量に基づいて、前記撮像部の撮影方向を制御する撮影制御部とを備える監視システムを提供する。
【０００６】
前記判定手段は、前記第２画像に含まれる画像パターンと、予め生成された前記線状部材の特徴を示す画像パターンとの類似度が所定の度合以上である場合には、前記第２画像に前記線状部材が含まれると判定してもよい。
【０００７】
前記判定手段は、前記複数の特徴点の少なくとも一部が直線に沿って分布する場合には、前記第２画像に前記線状部材が含まれると判定してもよい。
【０００８】
前記判定手段は、線形近似により、前記複数の特徴点の少なくとも一部の回帰直線を求め、前記回帰直線の残差が所定の値以下の場合には、前記第２画像に前記線状部材が含まれると判定してもよい。
【０００９】
前記判定手段は、ハフ変換により前記複数の特徴点の少なくとも一部に対応する直線が検出された場合には、前記第２画像に前記線状部材が含まれると判定してもよい。
【００１０】
前記抽出手段は、前記判定手段により前記線状部材が含まれると判定された場合には、前記複数の画像に含まれる第３画像から複数の特徴点を再抽出してもよい。
【発明の効果】
【００１１】
本発明によれば、飛行体に接続された線状部材が画像内に進入した場合でも、撮像部の撮影方向が線状部材を追従するように制御されるのを防止することができる。
【図面の簡単な説明】
【００１２】
【図１】実施形態に係る監視システム１の構成の一例を示す図である。
【図２】制御装置１３のハードウェア構成の一例を示す図である。
【図３】監視システム１の機能構成の一例を示す図である。
【図４】制御装置１３の動作の一例を示すフローチャートである。
【図５】撮像部１１の撮影方向を制御する方法の一例を説明する図である。
【図６】フレーム画像Ｆ２に係留索２が含まれる場合における撮像部１１の撮影方向を制御する方法の一例を説明する図である。
【発明を実施するための形態】
【００１３】
構成
図１は、本実施形態に係る監視システム１の構成の一例を示す図である。監視システム１は、例えば屋外で行われるイベントにおける不審物の監視に用いられる。この不審物には、物だけでなく人も含まれる。
【００１４】
監視システム１は、飛行体１０と、地上設備２０と、監視装置３０とを備える。飛行体１０と地上設備２０とは、係留索２、電源線３、及び通信線４を介して接続される。係留索２は、飛行体１０の係留に用いられる。係留索２は、例えば軽量で強い繊維により形成される。電源線３及び通信線４は、例えば係留索２に取り付けられる。なお、係留索２、電源線３、及び通信線４の数は、単数であってもよいし、複数であってもよい。また、地上設備２０と監視装置３０とは、通信線５を介して接続される。通信線５は、例えばインターネットである。なお、地上設備２０と通信線５との間、及び、監視装置３０と通信線５との間に、それぞれ、ルータ等の中継装置が設けられてもよい。
【００１５】
飛行体１０は、係留索２が接続され、係留索２により地上に係留された状態で空中を飛行する。飛行体１０は、例えば気球である。気球は、例えば扁平型乃至球体に近い形状を有し、ヘリウムガスを用いて空中に上昇し浮遊する。気球は、ヘリウムガスを抜けにくくするために、二重膜構造を有してもよい。また、気球は、空中姿勢を安定させるために、気球下部の風を受ける幕状のスカート１０ａを有してもよい。気球の飛行高度は、例えば最大６０ｍである。飛行体１０には、撮像部１１と、支持部１２と、制御装置１３とが搭載される。
【００１６】
撮像部１１は、時系列に沿って複数の画像を撮影する。撮像部１１は、例えばデジタルビデオカメラであり、光学系を用いて撮像素子上に像を結ばせることにより、動画を撮影する。動画は、複数のフレーム画像により構成される。撮像部１１には、電源線３及び通信線４が接続される。撮像部１１は、支持部１２により回転可能に支持される。
【００１７】
支持部１２は、撮像部１１を回転させる台座である。支持部１２は、例えばジンバル機構により、軸を中心に撮像部１１を水平方向及び垂直方向に回転させる。支持部１２には、電源線３及び通信線４が接続される。
【００１８】
図２は、制御装置１３のハードウェア構成の一例を示す図である。制御装置１３は、撮像部１１の撮影方向を制御する機能を有する。制御装置１３は、例えばコンピュータであり、プロセッサー１３１と、メモリー１３２と、通信インタフェース１３３と、ストレージ１３４とを備える。これらの装置は、バス１３５を介して接続される。
【００１９】
プロセッサー１３１は、プログラムをメモリー１３２に読み出して実行することにより、各種の処理を実行する。プロセッサー１３１としては、例えばＣＰＵ（Central Processing Unit）が用いられてもよい。メモリー１３２は、プロセッサー１３１により実行されるプログラムを記憶する。メモリー１３２としては、例えばＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）が用いられてもよい。通信インタフェース１３３は、通信線４を介して撮像部１１及び支持部１２に接続され、これらの装置とデータ通信を行う。なお、図１では、図面が煩雑になるのを防ぐため、制御装置１３とこれらの装置とを接続する通信線４の図示を省略している。ストレージ１３４は、各種のデータ及びプログラムを記憶する。ストレージ１３４としては、例えばハードディスク又はフラッシュメモリーが用いられてもよい。
【００２０】
図１に戻り、地上設備２０は、固定台２１と、巻取装置２２と、電源装置２３と、環境センサー２４と、端末装置２５とを備える。電源装置２３、環境センサー２４、及び端末装置２５は、テントやワゴン等の屋内に設置されてもよい。
【００２１】
固定台２１は、飛行していない状態の飛行体１０を固定するための台座である。
【００２２】
巻取装置２２は、係留索２の繰り出し及び巻き取りを行う。巻取装置２２は、例えば電動ウィンチであり、原動機によりドラムを回転させることにより、係留索２の繰り出し及び巻き取りを行う。例えば飛行体１０が空中に上昇する場合、巻取装置２２は、係留索２を繰り出す。飛行体１０が空中で浮遊している間、巻取装置２２は、係留索２を繰り出し又は巻き取ることにより、係留索２の張力を制御する。飛行体１０が地上に下降する場合、巻取装置２２は、係留索２を巻き取る。
【００２３】
電源装置２３は、飛行体１０及び地上設備２０の各部に電力を供給する。電源装置２３は、電源線３を介して撮像部１１、支持部１２、制御装置１３、巻取装置２２、環境センサー２４、及び端末装置２５に接続される。なお、図１では、図面が煩雑になるのを防ぐため、これらの装置と電源装置２３とを接続する電源線３の一部の図示を省略している。電源装置２３は、例えば発電機、ＵＰＳ（Uninterruptible Power Supply）、及び変圧器を有し、電源線３を介して、発電機により発電された電力をこれらの装置に供給する。このとき、電源装置２３は、変換器により、電力の供給先に応じた電圧に変換してから電力を供給してもよい。
【００２４】
環境センサー２４は、飛行体１０の飛行の可否の判断に用いられる環境情報を検出する。環境センサー２４は、例えば風速計と雷センサーとを備える。風速計は、風速を測定する。雷センサーは、雷を検知する。
【００２５】
端末装置２５は、撮像部１１により撮影された画像を監視装置３０に転送する機能を有する。また、端末装置２５は、撮像部１１により撮影された画像を出力して、監視員が画像を閲覧できるようにしてもよい。端末装置２５は、パーソナルコンピューターやタブレット端末等の電子機器である。端末装置２５は、制御装置１３と同様の構成を備える。加えて、端末装置２５は、入力装置と、表示装置とを備えてもよい。入力装置は、各種の情報の入力に用いられる。入力装置は、例えばキーボード、マウス、物理ボタン、タッチパネルを構成するタッチセンサー、又はこれらの組み合わせが用いられてもよい。表示装置は、各種の情報を表示する。表示装置としては、例えば液晶ディスプレイが用いられてもよい。
【００２６】
監視装置３０は、端末装置２５から転送された画像を出力する。監視装置３０は、サーバー装置であってもよいし、パーソナルコンピューターやタブレット端末等の電子機器であってもよい。監視装置３０は、端末装置２５と同様の構成を備える。監視装置３０は、例えば不審物の監視を行うための施設である監視センサー内に設けられ、監視員により用いられてもよい。監視員は、監視装置３０から出力された画像を閲覧することにより、不審物の監視を行う。
【００２７】
図３は、監視システム１の機能構成の一例を示す図である。監視システム１は、画像処理部１１０と、撮影制御部１２０として機能する。画像処理部１１０は、抽出手段１１１と、算出手段１１２と、判定手段１１３とを有する。この例では、これらの機能は、制御装置１３に実装され、メモリー１３２に記憶されたプログラムと、このプログラムを実行するプロセッサー１３１との協働により実現される。
【００２８】
画像処理部１１０は、撮像部１１により時系列に沿って撮影された複数の画像に処理を施す。抽出手段１１１は、複数の画像に含まれる第１画像から、複数の特徴点を抽出する。この特徴点とは、画像において所定の特徴を有する点である。特徴点には、例えばエッジやコーナーが含まれる。エッジは、画像内での輝度や色の顕著な変化（勾配）が生じている箇所であり、エッジ抽出は各種の既存のエッジフィルタを用いて行うことができる。その際、ノイズを除去するために、画素値の勾配強度が所定の閾値以上のエッジのみを特徴点とすることが好適である。また、コーナーを特徴点とするとなおよい。コーナーは、２つのエッジが交差する角であり、Harrisコーナー検出法の周知の方法で検出することができる。
【００２９】
算出手段１１２は、複数の画像に含まれる第２画像と第１画像との間における、抽出手段１１１により抽出された複数の特徴点の移動特徴量を算出する。例えば算出手段１１２は、オプティカルフローにより、移動特徴量を算出してもよい。この移動特徴量は、複数の特徴点の移動方向及び移動距離を示すものであり、例えば移動ベクトルである。
【００３０】
判定手段１１３は、第２画像に線状部材が含まれるか否かを判定する。線状部材は、飛行体１０に接続された線状の部材である。線状部材には、上述した係留索２、電源線３、及び通信線４が含まれる。なお、以下の説明では、係留索２、電源線３、及び通信線４を総称して「索」という。
【００３１】
線状部材が含まれるか否かを判定する方法としては、例えばパターン認識を用いた方法がある。このパターン認識は、パターンマッチングを用いて行われてもよいし、Adaboost識別器（P.Violaと M.Jonesによる論文「Rapid Object Detection Using a Boosted Cascade of Simple Features」（Proc. the IEEE International Conference on Computer Vision and Pattern Recognition, vol.1, pp.511-518, 2001）参照）を用いて行われてもよい。
【００３２】
第２画像に線状部材が含まれるか否かを判定する他の方法としては、抽出手段１１１により抽出された複数の特徴点の少なくとも一部の分布を用いる方法がある。この場合、判定手段１１３は、抽出手段１１１により抽出された複数の特徴点の少なくとも一部が直線に沿って分布する場合には、第２画像に線状部材が含まれると判定してもよい。複数の特徴点の少なくとも一部が直線に沿って分布するか否かの判定は、例えばハフ変換を用いて行われてもよいし、回帰直線を用いて行われてもよい。
【００３３】
撮影制御部１２０は、算出手段１１２により算出された移動特徴量に応じて、撮像部１１の撮影方向を制御する。このとき、判定手段１１３の判定結果に応じて、異なる特徴点の移動特徴量が用いられる。例えば、判定手段１１３により線状部材が含まれないと判定された場合には、算出手段１１２により算出された複数の特徴点の移動特徴量に基づいて、撮像部１１の撮影方向が制御される。一方、判定手段１１３により線状部材が含まれると判定された場合には、複数の特徴点のうち線状部材に対応する第１特徴点を除く第２特徴点の移動特徴量に基づいて、撮像部１１の撮影方向が制御される。この線形部材に対応する第１特徴点とは、線形部材上にある特徴点であってもよいし、線形部材から所定の範囲内にある特徴点であってもよい。
【００３４】
なお、以下の説明において、制御装置１３を処理の主体として記載する場合には、メモリー１３２に記憶されたプログラムと、このプログラムを実行するプロセッサー１３１との協働により、処理が実行されることを意味する。
【００３５】
動作
図４は、制御装置１３の動作の一例を示すフローチャートである。図５は、撮像部１１の撮影方向を制御する方法の一例を説明する図である。撮像部１１により撮影された動画を構成するフレーム画像は、順次、制御装置１３及び端末装置２５に送信される。ステップＳ１０の処理は、制御装置１３がフレーム画像を受信したことに応じて開始される。
【００３６】
ステップＳ１０において、抽出手段１１１は、時刻ｔ１において撮影されたフレーム画像Ｆ１から複数の特徴点を抽出する。図５に示す例では、フレーム画像Ｆ１から、特徴点Ｐ１〜Ｐ６が抽出される。なお、実際には、例えば１つのフレーム画像から１００〜２００個の特徴点が抽出されるが、ここでは、説明を簡便にするために、１つのフレーム画像Ｆ１から６個の特徴点が抽出される例を挙げて説明する。
【００３７】
ステップＳ１１において、算出手段１１２は、オプティカルフローにより、時刻ｔ１に続く時刻ｔ２に撮影されたフレーム画像Ｆ２において、特徴点Ｐ１〜Ｐ６を追跡する。特徴点Ｐ１〜Ｐ６の追跡には、例えばLucas-Kanade法が用いられてもよい。図５に示す例では、フレーム画像Ｆ２において、フレーム画像Ｆ１における特徴点Ｐ１の位置から所定の範囲Ｒ１内において、特徴点Ｐ１が追跡される。特徴点Ｐ２からＰ６についても、同様の方法により追跡される。なお、特徴点Ｐ１〜Ｐ６を追跡する際、追跡結果において移動方向が他の大多数の特徴点と異なる少数の特徴点についてはこれを除くか或いは移動方向を他の大多数の特徴点方向に限定して再追跡するようにしてもよい。
【００３８】
ステップＳ１２において、算出手段１１２は、フレーム画像Ｆ１とＦ２との間における特徴点Ｐ１〜Ｐ６の移動ベクトルを算出する。具体的には、フレーム画像Ｆ１における特徴点Ｐ１の位置とフレーム画像Ｆ２における特徴点Ｐ１の位置とを結ぶ移動ベクトルが算出される。特徴点Ｐ２からＰ６についても、同様に、移動ベクトルが算出される。
【００３９】
ステップＳ１３において、判定手段１１３は、フレーム画像Ｆ２に索が含まれるか否かを判定する。例えば、フレーム画像Ｆ２に含まれる画像パターンと、予め生成された索の特徴を示す画像パターンとの類似度が所定の度合以上である場合には、フレーム画像Ｆ２に索が含まれると判定されてもよい。この所定の度合は、例えばフレーム画像Ｆ２に含まれる画像パターンと、予め生成された索の特徴を示す画像パターンとが同一又は類似であると見なせるような類似度に設定されてもよい。索の特徴を示す画像パターンは、例えば予めストレージ１３４に記憶されてもよい。
【００４０】
他の例において、特徴点Ｐ１〜Ｐ６の少なくとも一部が直線に沿って分布する場合には、フレーム画像Ｆ２に索が含まれると判定されてもよい。例えば特徴点Ｐ１〜Ｐ６の少なくとも一部の回帰直線を求め、この回帰直線の残差が所定の値以下の場合には、フレーム画像Ｆ２に索が含まれると判定されてもよい。或いは、線形近似により、特徴点Ｐ１〜Ｐ６の少なくとも一部に対応する直線が検出された場合には、フレーム画像Ｆ２に索が含まれると判定されてもよい。
【００４１】
ステップＳ１３においてフレーム画像Ｆ２に索が含まれないと判定された場合には（ステップＳ１３の判断がＮＯ）、ステップＳ１４に進む。ステップＳ１４において、撮影制御部１２０は、ステップＳ１２において算出された全ての特徴点Ｐ１〜Ｐ６の移動ベクトルに基づいて、特徴点Ｐ１〜Ｐ６を追従するように、撮像部１１の撮影方向を制御する。
【００４２】
例えば撮影制御部１２０は、特徴点Ｐ１〜Ｐ６の移動ベクトルに基づいて、これらの特徴点Ｐ１〜Ｐ６の重心位置の移動ベクトル又は特徴点Ｐ１〜Ｐ６の平均移動ベクトルを求める。続いて、撮影制御部１２０は、この重心位置の移動ベクトル又は平均移動ベクトルに対応する撮影方向の変更量を算出する。そして、撮影制御部１２０は、この変更量分だけ撮影方向を変更させる制御信号を支持部１２に送信する。この制御信号を受信すると、支持部１２は、撮像部１１を回転させることにより、変更量分だけ撮影方向を変更する。これにより、図５に示すように、時刻ｔ３に撮影されたフレーム画像Ｆ３においては、特徴点Ｐ１〜Ｐ６が概ね移動前の位置に戻る。
【００４３】
一方、ステップＳ１３においてフレーム画像Ｆ２に索が含まれると判定された場合には（ステップＳ１３の判断がＹＥＳ）、ステップＳ１５に進む。ステップＳ１５において、撮影制御部１２０は、ステップＳ１２において算出された移動ベクトルのうち、索に対応する第１特徴点の移動ベクトルを除いた第２特徴点に基づいて、撮像部１１の撮影方向を制御する。
【００４４】
図６は、フレーム画像Ｆ２に係留索２が含まれる場合における撮像部１１の撮影方向を制御する方法の一例を説明する図である。図６に示す例では、図５に示す例と同様の方向に画面が移動しているが、フレーム画像Ｆ２には係留索２が含まれる。この場合、係留索２の近くにある特徴点Ｐ１〜Ｐ３については、上述したステップＳ１１において、係留索２と重なる位置に移動したと誤認識され、その結果、図６に示すように、特徴点Ｐ１〜Ｐ３が係留索２と重なる位置に集まってしまう場合がある。この場合、ステップＳ１５において、フレーム画像Ｆ２に含まれる係留索２と重なる特徴点Ｐ１乃至Ｐ３が第１特徴点となる。また、特徴点Ｐ１〜Ｐ６からこれらの特徴点Ｐ１乃至Ｐ３を除いた特徴点Ｐ４乃至Ｐ６が第２特徴点となる。この場合、撮影制御部１２０は、第２特徴点である特徴点Ｐ４乃至Ｐ６の移動ベクトルに基づいて、特徴点Ｐ４乃至Ｐ６を追従するように、撮像部１１の撮影方向を制御する。
【００４５】
例えば撮影制御部１２０は、特徴点Ｐ４乃至Ｐ６の移動ベクトルに基づいて、これらの特徴点Ｐ４乃至Ｐ６の重心位置の移動ベクトル又は特徴点Ｐ４乃至Ｐ６の平均移動ベクトルを求める。続いて、撮影制御部１２０は、この重心位置の移動ベクトル又は平均移動ベクトルに対応する撮影方向の変更量を算出する。そして、撮影制御部１２０は、この変更量分だけ撮影方向を変更させる制御信号を支持部１２に送信する。この制御信号を受信すると、支持部１２は、撮像部１１を回転させることにより、変更量分だけ撮影方向を変更する。これにより、図６に示すように、時刻ｔ３に撮影されたフレーム画像Ｆ３においては、特徴点Ｐ４乃至Ｐ６が概ね移動前の位置に戻る。
【００４６】
図４に戻り、ステップＳ１６において、制御装置１３は、撮像部１１の撮影が終了したか否かを判定する。例えば所定の時間内に新たなフレーム画像が受信された場合には、撮影が終了していないと判定される（ステップＳ１６の判断がＮＯ）。この場合、上述したステップＳ１１に戻り、新たなフレーム画像を用いて、ステップＳ１１以降の処理が行われる。一方、例えば新たなフレーム画像が受信されないまま所定の時間が経過した場合には、撮影が終了していると判定される（ステップＳ１６の判断がＹＥＳ）。この場合、この処理は終了する。
【００４７】
上述した実施形態によれば、飛行体１０に接続された索が画像内に進入した場合には、索に対応する第１特徴点を除いた第２特徴点の移動ベクトルに基づいて、撮像部１１の撮影方向が制御される。そのため、撮像部１１の撮影方向が索を追従するように制御されるのを防止することができる。
【００４８】
変形例
本発明は上述した実施形態に限定されない。上述した実施形態に対し、種々の変形がなされてもよい。また、以下の変形例が組み合わせて実施されてもよい。
【００４９】
上述した実施形態においては、画像に索が含まれる場合には、特徴点が策と重なる位置に移動すると、この特徴点が策の特徴点と重なることにより、特徴点の数が減ってしまう場合がある。そこで、画像に索が含まれる場合において、第２特徴点の数が所定数以下になったときは、特徴点を再抽出してもよい。
【００５０】
この場合、画像処理部１１０は、第２特徴点の数を計数する。抽出手段１１１は、第２特徴点の数が所定数以下の場合には、新たなフレーム画像から特徴点を再抽出する。特徴点の数が減ると、特徴点の移動ベクトルを正確に算出できない場合がある。この所定数は、例えば特徴点の移動ベクトルを正確に算出し難いような数であってもよい。また、抽出手段１１１は、第２特徴点の数が所定数以下の場合には、索が含まれていないフレーム画像が受信されたときに、このフレーム画像から特徴点を再抽出してもよい。この変形例によれば、特徴点の移動ベクトルを算出する精度が低下するのを防ぐことができる。
【００５１】
上述した実施形態において、画像処理部１１０は、画像処理回路等の専用のハードウェアにより実現されてもよい。
【００５２】
上述した実施形態において、撮像部１１により撮影される画像は、動画に限定されない。撮像部１１は、所定の時間間隔で静止画を撮影してもよい。
【００５３】
上述した実施形態において、飛行体１０は気球に限定されない。飛行体１０は、飛行船であってもよい。
【００５４】
上述した実施形態において、図３に示す機能の少なくとも一部が、端末装置２５に実装されてもよい。また、図３に示す機能の少なくとも一部が、監視装置３０に実装されてもよい。
【００５５】
監視システム１において行われる処理のステップは、上述した実施形態で説明した例に限定されない。この処理のステップは、矛盾のない限り、入れ替えられてもよい。また、本発明は、監視システム１において行われる処理のステップを備える監視方法として提供されてもよい。
【００５６】
本発明は、制御装置１３、端末装置２５、又は監視装置３０において実行されるプログラムとして提供されてもよい。このプログラムは、インターネットなどの通信回線を介してダウンロードされてもよい。また、このプログラムは、磁気記録媒体（磁気テープ、磁気ディスクなど）、光記録媒体（光ディスクなど）、光磁気記録媒体、半導体メモリーなどの、コンピュータが読取可能な記録媒体に記録した状態で提供されてもよい。
【符号の説明】
【００５７】
１：監視システム、２：係留索、３：電源線、４：通信線、１０：飛行体、１１：撮像部、１２：支持部、１３：制御装置、２５：端末装置、１１０：画像処理部、１１１：抽出手段、１１２：算出手段、１１３：判定手段、１２０：撮影制御部
【図１】
2019068230.tif 000003
【図２】
2019068230.tif 000004
【図３】
2019068230.tif 000005
【図４】
2019068230.tif 000006
【図５】
2019068230.tif 000007
【図６】
2019068230.tif 000008