(57)【要約】      （修正有）【課題】監視エリアが屋内空間であっても、飛行体の位置と姿勢を高精度に推定して適切に飛行体を飛行制御する映像監視システムを提供する。【解決手段】カメラと傾きセンサを搭載した飛行体１と、監視エリアに設置する固定カメラ２と、監視エリアの空間情報を格納したパラメータ記憶手段３と、固定カメラにより撮影された画像情報と、空間情報とに基づいて飛行体の位置情報を推定する位置推定手段４と、飛行体に搭載されたカメラの撮影画像と、傾きセンサにより検出された傾き情報と、飛行体の位置情報とに基づいて、飛行体の姿勢情報を推定する姿勢推定手段５と、飛行体の位置情報と、飛行体の姿勢情報と、空間情報とに基づいて、飛行体の飛行動作を制御する飛行動作制御手段６とを備える。【選択図】図１
2016177640.tif 000002
【特許請求の範囲】
【請求項１】
カメラと傾きセンサを搭載した飛行体と、
監視エリアに設置する固定カメラと、
上記監視エリアの空間情報を格納したパラメータ記憶手段と、
上記固定カメラにより撮影された画像情報と、上記空間情報とに基づいて飛行体の位置情報を推定する位置推定手段と、
上記飛行体に搭載されたカメラの撮影画像と、上記傾きセンサにより検出された傾き情報と、上記飛行体の位置情報とに基づいて、上記飛行体の姿勢情報を推定する姿勢推定手段と、
上記飛行体の位置情報と、上記飛行体の姿勢情報と、上記空間情報とに基づいて、上記飛行体の飛行動作を制御する飛行動作制御手段とを備えた映像監視システム。
【請求項２】
上記飛行動作制御手段は、上記飛行体の位置情報及び上記飛行体の姿勢情報に基づいて実際の飛行経路を算出し、当該算出された飛行経路と、上記飛行機の飛行経路情報とを比較して、当該比較結果に基づいて、上記飛行体の飛行動作を制御する請求項１記載の映像監視システム。
【請求項３】
上記固定カメラにより撮影された画像情報に基づいて、上記監視エリア内を移動する物体を認識し、当該認識された移動物体の位置情報を推定する移動物体認識手段をさらに備えた請求項１又は２記載の映像監視システム。
【請求項４】
上記飛行動作制御手段は、上記移動物体認識手段により推定される移動物体の位置情報に基づいて、上記飛行体の飛行動作を制御する請求項３記載の映像監視システム。
【請求項５】
上記飛行体を結合させる結合装置をさらに備えた請求項１〜４のうちのいずれか１つに記載の映像監視システム。
【請求項６】
上記結合装置は、上記飛行体と結合する結合機構を備えた請求項５記載の映像監視システム。
【請求項７】
上記飛行体は、第１光源を備えた請求項１〜６のうちのいずれか１つに記載の映像監視システム。
【請求項８】
上記第１光源は、閃光光源である請求項７記載の映像監視システム。
【請求項９】
上記第１光源は、上記固定カメラが撮像するタイミングに同期して発光する請求項７又は８に記載の映像監視システム。
【請求項１０】
上記固定カメラは、第２光源を備えた請求項１〜９のうちのいずれか１つに記載の映像監視システム。
【請求項１１】
上記第２光源は閃光光源である請求項１０記載の映像監視システム。
【請求項１２】
上記第２光源は、上記飛行体が備えるカメラが撮像するタイミングに同期して発光する請求項１０又は１１に記載の映像監視システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視エリアに設置されたカメラと、このカメラの監視機能を補助するための飛行体とを備えた映像監視システムに関する。
【背景技術】
【０００２】
公共施設や小売店舗、工場などを監視する機器として、カメラとレコーダ（映像記録装置）とから構成される映像監視システムが広く普及している。映像監視システムにおいては、カメラが撮影した映像を人間が目視でモニタリングすることが一般的であるが、人間による長時間のモニタリングは心身の負担が大きい。そこで、人間によるモニタリングを省力化するための技術として、画像認識技術を利用した人物の行動認識及び追跡技術が開示されている（例えば特許文献１参照）。
【０００３】
さらに、広いエリアを効率的に監視するため、移動型ロボットを用いて監視機能を補助するような映像監視技術が提案されている。特許文献２には、監視対象（侵入人物）に追従飛行しながらカメラで撮影する機能を有する飛行体（飛行ロボット）が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２６９７４号公報
【特許文献２】特開２０１４−１４９６２１号公報
【非特許文献】
【０００５】
【非特許文献１】奥富正敏編，「ディジタル画像処理」，ＣＧ−ＡＲＴＳ協会，２００４，ｐｐ．２５２−２５５
【非特許文献２】Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
映像監視システムにおいて、カメラは１台で広い範囲を監視できるが、その監視範囲には制限がある。また、カメラから監視対象までの距離が離れるほど監視対象が小さく写る。例えば人物がカメラから遠く離れた位置にいる場合、カメラの撮影画像から人物の存在は把握できても、その人物の顔や行動の詳細まで把握できない。従って、監視エリア全体をカバーするには、監視エリアの広さに応じた数のカメラを設置する必要がある。従って、多数のカメラを備えた映像監視システムを導入するには非常にコストがかかるという問題がある。
【０００７】
監視エリアが広い場合は、特許文献２で開示されているような飛行体を導入することにより、監視対象に近づいて画像を撮影することができる。この場合、飛行体が周囲の環境の認識や移動経路を決定するために、自己の現在の位置（自己位置）と姿勢とを推定する処理（自己位置推定処理）が必要となる。従って、飛行体が自己位置と姿勢とを検出できない場合、監視エリアから外れた方向へ飛行してしまうなど、飛行体としての機能（侵入人物の追尾や監視など）が継続できなくなるという問題がある。
【０００８】
また、飛行体が屋外を飛行する場合は、ＧＰＳ（global positioning system）受信機を利用することによって自己位置を推定できる。しかしながら、屋内ではＧＰＳ電波が受信できないので、自己位置を推定できずに監視が継続できないという問題がある。
【０００９】
また、飛行体の姿勢については、例えば加速度センサを用いることにより、水平面に対する傾きを推定することは可能である。鉛直上向きの軸まわりの回転角（方位）についても、屋外であれば磁方位センサを利用して絶対方位を知ることができる。しかしながら、屋内では建物や屋根などの構造物の影響により、磁方位センサの精度が大幅に低下するので、自己位置が推定できずに監視が継続できないという問題がある。
【００１０】
さらに、屋内構造は単純であり、窓、天井パネル等や什器が規則的に配置されることも多く、異なる位置でも風景や構造が似ている場合がある。従って、画像データに基づく自己位置推定を行う場合には誤った推定結果を得るという問題がある。またさらに、特許文献２ではレーザースキャナを用いて自己位置推定を行っているが、高い推定精度を得るためには高価なセンサが必要になるという問題がある。
【００１１】
ビーコンや光学式マーカーなど、位置情報を伝達する手段を監視エリア内に隈無く設置すれば、飛行体に対して精密な位置情報を伝えることができるが、これらの装置を大量に監視エリアへ設置し、定期的なメンテナンスを行うには、非常にコストが増大するという問題がある。
【００１２】
本発明の目的は以上の問題点を解決し、監視エリアが屋内空間であっても、飛行体の位置と姿勢とを高精度に推定して適切に飛行体を飛行制御する映像監視システムを提供することにある。
【課題を解決するための手段】
【００１３】
本発明に係る映像監視システムは、カメラと傾きセンサを搭載した飛行体と、監視エリアに設置する固定カメラと、監視エリアの空間情報を格納したパラメータ記憶手段と、固定カメラにより撮影された画像情報と、空間情報とに基づいて飛行体の位置情報を推定する位置推定手段と、飛行体に搭載されたカメラの撮影画像と、傾きセンサにより検出された傾き情報と、飛行体の位置情報とに基づいて、飛行体の姿勢情報を推定する姿勢推定手段と、飛行体の位置情報と、飛行体の姿勢情報と、空間情報とに基づいて、飛行体の飛行動作を制御する飛行動作制御手段とを備える。
【発明の効果】
【００１４】
本発明に係る映像監視システムによれば、監視エリア側に設置した固定カメラの画像情報から飛行体の位置を推定し、同時に飛行体に搭載されるカメラの画像情報と傾き情報から飛行体の姿勢を推定する。そのため、従来は位置及び姿勢の推定が困難であった屋内空間においても、簡便な構成で飛行体の位置及び姿勢を高精度に推定することができ、飛行体の飛行動作を適切に制御することができる。
【図面の簡単な説明】
【００１５】
【図１】本発明の第１の実施の形態に係る映像監視システムの構成を示すブロック図である。
【図２】図１の映像監視システムの構成を示す模式図である。
【図３】図１の飛行体１の構成を示す模式図である。
【図４】図１の固定カメラ２の模式図である。
【図５】図１の飛行体１が監視する監視エリア１０１のモデル化について説明するための図である。
【図６】固定カメラ２により撮影される画像２２１の模式図である。
【図７】飛行体１が備えるカメラ１２により撮影される画像１２１の模式図である。
【図８】図５の監視エリア１０１を上から見た模式図である。
【図９】本発明の第２の実施の形態に係る映像監視システムの構成を示すブロック図である。
【図１０】本発明の第３の実施の形態に係る映像監視システムの構成を示すブロック図である。
【発明を実施するための形態】
【００１６】
以下、本発明に係る実施の形態について図面を参照して説明する。なお、以下の各実施の形態において、同様の構成要素については同一の符号を付して説明は省略する。
【００１７】
第１の実施の形態．
図１は本発明の第１の実施の形態に係る映像監視システムの構成を示すブロック図である。図１の映像監視システムは、飛行体１と、複数の固定カメラ２と、パラメータ記憶部３と、位置推定部４と、姿勢推定部５と、飛行動作制御部６とを備えて構成される。ここで、各構成部には通信手段が備えられ、構成部間での有線または無線通信により、各種情報もしくは制御信号の送受信を行う。また、図１では、各構成部はそれぞれに分離しているが、複数の構成部が１個の筐体内にモジュール化されてもよいし、または各構成部が飛行体１もしくは固定カメラ２の筐体内に内蔵されてもよい。
【００１８】
図２は図１の映像監視システムの構成を示す模式図である。ここで、監視エリア１０１を監視する例が示されている。図２において、監視エリア１０１に３台の固定カメラ２Ａ，２Ｂ，２Ｃが設置され、飛行体１が監視エリア内の人物１０２を撮影している様子を示している。図１の映像監視システムの各構成部の動作を図２を参照して以下に説明する。なお、図２には監視エリア１０１に３台の固定カメラ２Ａ，２Ｂ，２Ｃを設置したが、２台以上のカメラ２が監視エリア１０２内に備えられてもよい。この場合には、複数の固定カメラ２のうち少なくとも２台が常に飛行体１の画像を捕獲できるように、固定カメラ２の設置台数と設置箇所、及び姿勢（向き）を調整する。
【００１９】
図３は図１の飛行体１の構成を示す模式図である。ここで、飛行体１は、飛行による移動のために必要な機構と、カメラ１２と、飛行体１の水平面に対する傾きを検出する傾きセンサと、充電池とを備えており、充電池からの電源供給により駆動する。図３において、飛行体１は、本体１０と、４枚のロータ１１と、カメラ１２と、光源１３とを備えて構成される。ロータ１１とカメラ１２と光源１３とは本体１０に取り付けられる。飛行体１は、４枚のロータ１１の回転により飛行するクアッドコプター型の飛行体である。４枚のロータ１１の回転数を変化させることにより、飛行体１の飛行速度、高度、方向及び姿勢を制御できる。また、傾きセンサは水平面に対する飛行体１の水平面に対する傾きを計測するために利用するもので、例えば加速度センサを用いる。なお、飛行体１は、クアッドコプター型に限らず、任意の飛行機構を用いることができる。また、飛行体１は、内蔵した充電池からの電源供給により駆動する構成の他、飛行体１に接続される有線の電源ケーブルから受電し駆動するように構成されてもよい。
【００２０】
光源１３は、固定カメラ２により撮影した撮影画像の中からから飛行体１の位置を検出しやすくするために飛行体１に搭載される。この構成により、飛行体１と固定カメラ２との距離が離れている場合でも、固定カメラ２の撮影画像の中から飛行体１を検出しやすくなる。
【００２１】
ここで、飛行体１がどのような姿勢を取っている場合でも固定カメラ２で光源１３を撮影できるように、飛行体１の筐体に光源１３を配置することが好ましい。さらに、後述する位置推定部４が飛行体１の位置を推定する精度を向上させるため、飛行体１に備えられるカメラ１２の光学中心になるべく近い位置に光源１３を配置することが望ましい。なお、図１に示したブロック図において、映像監視システムは１台の飛行体１を備えて構成されるが、複数の飛行体１を備えて構成されてもよい。
【００２２】
図４は図１の固定カメラ２の模式図である。図２において、固定カメラ２（２Ａ〜２Ｃ）は、カメラ本体２０と、取付脚２１と、光源２２とを備えて構成される。この構成により、飛行体１と固定カメラ２との距離が離れている場合でも、飛行体１が備えるカメラ１２の撮影画像の中から固定カメラ２を検出しやすくなる。ここで、取付脚２１と光源２２とはカメラ本体２０に取り付けられる。固定カメラ２は、取付脚２１を監視エリア１０１の天井もしくは壁等に取り付けてカメラ本体２０の姿勢を調整して監視エリア１０１に固定設置する。また、光源２２は、固定カメラ２の光学中心になるべく近い位置に配置し、かつ固定カメラ２の周囲のどの方向からでも見えるように配置することが好ましい。また、光源２２は、閃光光源であってもよく、この構成により、飛行体１と固定カメラ２との距離が離れている場合でも、飛行体１が備えるカメラ１２の撮影画像の中から固定カメラ２の位置をさらに検出しやすくなる。
【００２３】
飛行体１は、監視エリア１０１の上空を飛行し、カメラ１２で監視エリア１０１の画像を撮影し、撮影された画像情報を姿勢推定部５に出力する。飛行体１は、傾きセンサを用いて飛行体１の水平面に対する傾き情報を検出して当該検出された飛行体１の水平面に対する傾き情報を姿勢推定部５に出力する。
【００２４】
固定カメラ２は監視エリア１０１に複数設置され、監視エリア１０１の状況を撮影して画像情報を取得して位置推定部４に出力する。また、監視エリア１０１を飛行する飛行体１の位置を推定するための画像情報を取得し、当該取得された画像情報を位置推定部４に送信する。
【００２５】
パラメータ記憶部３は、位置推定部４及び姿勢推定部５の推定処理（後述）と、飛行動作制御部６で実行する飛行体１の飛行動作の制御（後述）とに必要な空間情報と、各カメラ１２及び固定カメラ２のカメラパラメータとを格納する。カメラパラメータについての詳細は後述する。ここで、空間情報とは、飛行体１の飛行計画（飛行スケジュール、飛行コース等の飛行経路情報）を含む。
【００２６】
位置推定部４は、固定カメラ２で撮影した画像情報及び空間情報に基づいて、監視エリア１０１における飛行体１の３次元位置を推定し、当該推定された３次元位置情報を飛行体位置情報として姿勢推定部５に出力する。
【００２７】
姿勢推定部５は、飛行体１のカメラ１２により取得された画像情報と、位置推定部４から入力された飛行体位置情報と、傾きセンサから得られた飛行体１の水平面に対する傾き情報とに基づいて、飛行体１の姿勢情報を推定し、当該推定された飛行体１の姿勢を飛行体姿勢情報として飛行動作制御部６に出力する。ここで、姿勢推定部５は、飛行体１のカメラ１２で撮影した撮影画像に固定カメラ２が写っていることを利用して姿勢を推定する。なお、撮影画像の中から固定カメラ２の位置を検出するために固定カメラ２には光源２２を設けている。
【００２８】
飛行動作制御部６は、位置推定部４で推定された飛行体位置情報と、姿勢推定部５で推定された飛行体姿勢情報とを、あらかじめパラメータ記憶部３に格納した飛行経路情報とそれぞれ比較し、当該比較結果に基づいて、飛行体１の飛行動作を制御する飛行制御情報を生成して飛行体１に送信する。ここで、飛行動作制御部６は、飛行体１の位置情報及び飛行体１の姿勢情報に基づいて実際の飛行経路を算出し、当該算出された飛行経路と、飛行機１の飛行経路情報とを比較して、当該比較結果に基づいて、飛行体１の飛行動作を制御する。ここで、飛行体１の位置及び姿勢があらかじめ格納した飛行経路から外れていると判断される場合には、飛行動作制御部６はあらかじめ格納した飛行経路に戻るような飛行制御情報を生成して飛行体１の飛行動作を制御する。
【００２９】
上述したように、図１の映像監視システムでは、位置推定部４での飛行体１の位置の推定と、姿勢推定部５での飛行体１の姿勢推定と、飛行動作制御部６での飛行動作の制御とが繰り返される。この構成により、監視エリア１０１が屋内空間であっても簡便な構成で高精度に飛行体１の位置及び姿勢を推定し、飛行体１の飛行動作を制御することができる。
【００３０】
次に、監視エリア１０１の空間のモデル化について説明する。
【００３１】
図５は図１の飛行体１が監視する監視エリア１０１のモデル化について説明するための図である。図５において、監視エリア１０１の３次元空間に対し、互いに直交するＸＷ，ＹＷ，ＺＷ軸及び原点（０，０，０）を決定し、３次元座標系を定義する。各ＸＷ，ＹＷ，ＺＷ軸の１単位は、例えば実空間の１センチメートルに対応させる。この座標系をワールド座標系と呼ぶ。
【００３２】
同図に示すように、監視エリア１０１の床面１０１ａは水平面に平行な平面であるとし、直交する２つのＸＷ，ＹＷ軸で形成される平面を床面１０１ａと一致させる。さらに、床面１０１ａに対して鉛直上向きの軸をＺＷ軸とし、ＸＷ，ＹＷ，ＺＷ軸によってワールド座標系が定義される。
【００３３】
次に、監視エリア１０１に複数の固定カメラ２を設置する。ここで、実空間の３次元座標系と固定カメラ２の２次元座標系の対応関係を記述するモデルを導入する。このモデルとしてもっとも一般的な透視投影モデルの概要を示す。透視投影モデルの詳細は、例えば非特許文献１に開示される。ここでは、レンズ歪みを無視した単純な透視投影モデルに基づいて説明する。なお、透視投影モデルではモデル化できないカメラについても、当該カメラに対応するモデルを導入することにより、本発明に係る映像監視システムを利用することが可能である。
【００３４】
まず、カメラの光学中心を原点とし、Ｚ軸をカメラの光軸に一致させ、Ｘ軸とＹ軸とを画像の横方向と縦方向とそれぞれ平行に位置するＸ，Ｙ，Ｚ軸の３次元座標系を考える。この３次元座標系をカメラ座標系と呼ぶ。このとき、ワールド座標系とカメラ座標系との関係は以下の式で表すことができる。
【００３５】
【数１】
2016177640.tif 000003
但し、
【数２】
2016177640.tif 000004
【００３６】
ここで行列Ｒは３×３の回転行列、ベクトルｔは３次元の平行移動ベクトルであり、回転行列Ｒとベクトルｔとを合わせてカメラの外部パラメータと呼ぶ。ここで、式（１）に対して、Ｘ＝Ｙ＝Ｚ＝０を代入すると、ワールド座標系におけるカメラの光学中心座標（Ｘ０，Ｙ０，Ｚ０）が以下のように求められる。
【００３７】
【数３】
2016177640.tif 000005
【００３８】
次に、２次元のカメラ画像の位置を表す座標系として画像座標（ｕ，ｖ）を導入する。画像座標の１単位は画素に対応する。画像座標系の原点は画像のある適当な位置、例えば画像の左上に定めるとする。このように各座標系を定めると、画像座標系とカメラ座標系との関係は以下の式で表すことができる。
【００３９】
【数４】
2016177640.tif 000006
【００４０】
ここで、ｆｕ、ｆｖはカメラの焦点距離（単位は画素）、（ｃｕ，ｃｖ）は画像座標系における光軸と画像面との交点の位置（画像中心）であり、これらの定数をまとめてカメラの内部パラメータと呼ぶ。
【００４１】
また、ワールド座標系と画像座標系との関係は、上述した式（１）及び式（２）から以下の式で表すことができる。
【００４２】
【数５】
2016177640.tif 000007
【００４３】
上述したように、実空間の３次元座標系（ワールド座標系）とカメラの２次元座標系（画像座標系）とは、式（４）の右辺に現れるパラメータにより関係付けられる。これら外部パラメータと内部パラメータとを合わせてカメラパラメータと呼ぶ。
【００４４】
また、図１の映像監視システムの事前準備作業として、監視エリア１０１に設置する固定カメラ２のそれぞれに対してキャリブレーションを実行する。キャリブレーションとは、上述したカメラパラメータを求める作業のことを指す。また、飛行体１のカメラ１２についても、あらかじめキャリブレーションを実行して内部パラメータを求める。ここで、キャリブレーションにより取得されたカメラパラメータは、パラメータ記憶部３に記憶（格納）される。
【００４５】
上述したキャリブレーション手法としては、例えばＺｈａｎｇの手法（非特許文献２参照）のような既存の手法を用いることができる。なお、例えば飛行体１が監視エリア１０１で飛行可能な範囲をワールド座標系で定義した情報や、飛行体１を監視エリア１０１で巡回飛行させる場合はその飛行経路情報などをパラメータ記憶部３に格納してもよい。
【００４６】
次に、位置推定部４が飛行体１の３次元空間中の位置を推定する手順を述べる。
【００４７】
図６は固定カメラ２により撮影される画像２２１の模式図である。ここで、複数の固定カメラ２のうち１台に注目し、その撮影画像の座標（ｕＡ，ｖＡ）で飛行体１が検出されたと仮定する。上述したように、例えば飛行体１の光源１３から放出される光を検出することにより容易に実現できる。
【００４８】
固定カメラ２の視野に飛行体１および人物１０２が入っており、それぞれ撮影画像２２１の中に写っている。図６では、飛行体１が備える光源１３が発光している様子の撮影画像を模式的に示している。
【００４９】
式（３）より、当該カメラの光学中心（Ｘ０，Ｙ０，Ｚ０）と飛行体１の３次元座標を結ぶ直線の、カメラ座標系での方向ベクトルｄは以下のように表すことができる。
【００５０】
【数６】
2016177640.tif 000008
【００５１】
式（５）のベクトルｄの左からＲ−１を乗算すると、ワールド座標系における直線の方向ベクトルｄＷが求められる。方向ベクトルｄＷは以下の式で表される。
【００５２】
【数７】
2016177640.tif 000009
【００５３】
ここで、カメラ光学中心（Ｘ０，Ｙ０，Ｚ０）を通り、方向ベクトルｄＷに平行な直線の式は、パラメータｔ（ｔは全ての実数を動く）を用いて、以下の式で表すことができる。
【００５４】
【数８】
2016177640.tif 000010
【００５５】
ある時点において、同時に撮影された複数の固定カメラ２の画像から飛行体１を検出したとき、位置推定部４はまず上述の手順により、固定カメラ２の光学中心と飛行体１の３次元座標とを結ぶ直線の式（７）を求める。すべての固定カメラ２についてこの直線を求め、これらの直線の交点を計算することにより、ワールド座標系における飛行体１の位置を求めることができる。
【００５６】
なお、固定カメラ２の撮影画像から飛行体１を容易に認識できるようにするため、光源１３は閃光光源としてもよい。この構成により、飛行体１と固定カメラ２との距離が離れている場合でも、固定カメラ２の撮影画像の中から飛行体１を検出しやすくなる。さらに、位置推定部４の制御により、光源１３の点灯のタイミングを固定カメラ２の撮像タイミングと同期させるようにしてもよい。すなわち、光源１３は、固定カメラ２が撮像するタイミングに同期して発光する。この構成により、固定カメラ２の撮影画像の中から飛行体１を検出する精度がさらに向上する。
【００５７】
また、映像監視システムを複数の飛行体１で構成してもよく、その場合には、それぞれの飛行体１の位置を独立に推定できるように、飛行体１が備える光源１３の点灯のタイミングをずらすように制御してもよい。
【００５８】
上記の手順により推定される、ワールド座標系における飛行体１の位置は、飛行体１が備えるカメラ１２の光学中心Ｐの座標と同一とみなし、以下説明する。
【００５９】
続いて、姿勢推定部５が飛行体１の姿勢を推定する手順を示す。
【００６０】
姿勢推定部５は、飛行体１からの傾き情報から、水平面に平行なＸＷ，ＹＷ軸まわりの回転角を求めることが可能である。ここで、残りのＺＷ軸まわりの回転角（カメラ１２の光軸とＸＷ軸とがなす角）を推定する手順を示す。
【００６１】
図７は飛行体１が備えるカメラ１２により撮影される画像１２１の模式図である。図７において、カメラ１２の視野に固定カメラ２および人物１０２が入っており、それぞれ撮影画像１２１に写っている。図７では、固定カメラ２が備える光源２２が発光している様子の撮影画像を模式的に示している。
【００６２】
図８は図５の監視エリア１０１を上から見た模式図である。ここで、飛行体１のカメラ１２の光学中心をＰ、カメラ１２の光軸と画像平面の交点をｃ、焦点距離をｆとする。ここで、各交点ｃ及び焦点距離は、カメラ１２の画像中心と焦点距離とにそれぞれ対応し、上述のカメラキャリブレーションによって得られるパラメータである。
【００６３】
また、図８の点Ｑに設置された固定カメラが、カメラ１２の視野に入っているとする。この固定カメラ２の位置（ワールド座標）は、上述のカメラキャリブレーションによってカメラの外部パラメータとして取得される。姿勢推定部５は、カメラ１２の画像に写っている固定カメラ２が、複数の固定カメラ２のいずれであるかが判別できると仮定する。これは、例えば固定カメラ２が備える光源２２の点灯のタイミングを、カメラ１２が撮影するタイミングと同期させるようにすることにより実現できる。この構成により、飛行体１が備えるカメラ１２の撮影画像の中から固定カメラ２を検出する精度が向上し、複数の固定カメラ２の識別が容易となる。
【００６４】
さらに、点Ｑに設置された固定カメラの、画像平面への投影点をｕとおく。カメラ１２の撮影画像上の点ｕは、上述のように固定カメラ２が備える光源２２から放出される光を画像から検出することにより求められる。
【００６５】
ここで、飛行体１が備えるカメラ１２の光学中心Ｐと固定カメラＱを結ぶ直線と、飛行体１が備えるカメラ１２の光軸とのなす角度φは、図８を参照して、以下の式で表すことができる。
【００６６】
【数９】
2016177640.tif 000011
【００６７】
従って、点Ｑの画像上への投影点ｕが得られれば、既知のカメラパラメータｃ及びｆを用いて角度φを求めることができる。ここで、カメラ１２の光学中心Ｐの座標は、位置推定部４にて求められる。また、固定カメラＱの座標についても、固定カメラの光学中心座標とカメラの位置を近似的に同一であると考えれば、上述のカメラキャリブレーションを実行することにより、式（２）から得られる。従って、直線ＰＱの方向ベクトルと、式（８）より求められる角度φから、図８のカメラ１２の光軸とＸＷ軸とがなす角θを求めることができる。
【００６８】
以上の手順により、姿勢推定部５は飛行体１の姿勢、すなわち３次元座標系の３軸それぞれについての回転角を推定することができる。なお、固定カメラ２が備える光源２２は閃光光源としてもよい。この構成とすると、飛行体１のカメラ１２で撮影した画像から固定カメラ２の位置をさらに検出しやすくなる。また、飛行体１のカメラ１２が撮影するタイミングと光源２２の点灯のタイミングとを同期させるように姿勢推定部５を制御してもよい。
【００６９】
以上の実施の形態に係る映像監視システムによれば、監視エリア１０１側に設置した固定カメラ２の画像情報から飛行体１の位置を推定し、この位置推定結果と、飛行体１のカメラ１２により撮影された撮影画像と、飛行体１の水平面に対する傾き情報とから飛行体１の姿勢を推定することができる。従って、ＧＰＳや磁方位センサ等が利用できない屋内環境においても、高精度に飛行体１の位置と姿勢を推定することが可能となる。従って、飛行体１に対する適切な動作を制御することができる。さらに、位置情報を伝達する手段を監視エリア１０１内に設置する必要がないので、当該手段に対するメンテナンスする必要がなくなる。従って、映像監視システムの運用コストを低減することが可能となる。
【００７０】
第２の実施の形態．
図９は本発明の第２の実施の形態に係る映像監視システムの構成を示すブロック図である。図９の映像監視システムは、図１の映像監視システムに比較すると、飛行動作制御部６の代わりに飛行動作制御部６Ａを備え、監視エリア１０１に侵入した移動物体を認識する移動物体認識部７をさらに備えたことを特徴とする。
【００７１】
移動物体認識部７は、固定カメラ２の撮影画像に基づいて監視エリア１０１の移動物体を認識する。移動物体認識部７は、パラメータ記憶部３に格納された空間情報に基づいて、認識された移動物体の位置情報を生成して飛行動作制御部６Ａに送信する。ここで、移動物体認識部７は、飛行体１のカメラ１２で移動物体を撮影した撮影画像に基づいて移動物体を認識するように構成されてもよい。
【００７２】
移動物体認識部７が監視エリア１０１の移動物体を検出する手段としては、既存の物体検出手法を用いることができる。既存の物体検出手法として、例えば人物の顔を検出する顔検出アルゴリズムがある。ある一人の人物の顔が複数の固定カメラ２から同時に検出できれば、位置推定部４が飛行体１の３次元空間中の位置を推定する手順と同様に、ワールド座標系における顔の３次元位置を求めることができる。ただし、一般に顔検出アルゴリズムは検出可能な顔の大きさに制限があり、画像上である程度の面積（例えば５００画素程度以上）で人物の顔が写っている場合のみに適用することができる。
【００７３】
また、移動物体を検出するための別の方法の例として、視体積交差法がある。これは、対象物の周囲に配置された複数のカメラで対象物を撮影し、その対象物のシルエット形状に基づいて、対象物が存在しうる空間中の範囲を推定する方法である。対象物のシルエット形状は、例えば背景差分アルゴリズムによって抽出できる。
【００７４】
飛行動作制御部６Ａは、図１の飛行動作制御部６に比較すると、さらに移動物体認識部７からの移動物体の位置情報に基づいて、移動物体の位置まで飛行体１を誘導するように制御する飛行制御情報を生成して飛行体１に送信する。
【００７５】
ここで、移動物体とは、本実施の形態に係る映像監視システムが監視すべき対象、例えば監視エリア１０１に侵入した人物のことである。監視エリア１０１に設置された固定カメラ２と移動物体との距離が遠く離れている場合、固定カメラ２の撮影画像から物体が侵入したことは検出されても、その物体の種別までは識別できない。そこで、監視エリア１０１に侵入した移動物体を固定カメラ２で認識し、その位置へ飛行体１を誘導するように飛行動作を制御することにより、飛行体１が移動物体に近づいてカメラ１２で撮影することが可能となる。
【００７６】
本実施の形態に係る映像監視システムは、第１の実施の形態に係る映像監視システムに比較すると、さらに移動物体認識部７から送信される移動物体の位置情報に基づき、飛行動作を制御することができる。この構成により、監視エリア１０１を移動する人物等の物体の位置を把握できるため、飛行体１が移動体の動きに追従しながら移動体の撮影を継続することができる。例えば、飛行体１が備えるカメラ１２により侵入人物の顔を撮影できるよう、人物の正面に回り込むような飛行動作を計画し、飛行制御情報を飛行体１へ送信する。
【００７７】
以上の実施の形態に係る映像監視システムによれば、第１の実施の形態に係る映像監視システムに比較すると、さらに監視エリア１０１に侵入した移動物体の位置を認識して飛行体１をその移動物体の位置まで近づいて撮影することができる。従って、侵入物体に関する詳細な情報を確認（識別）することが可能となる。また、飛行体１が備えるカメラ１２の視野から侵入物体が外れた時も、移動物体認識部７が固定カメラ２の撮影画像に基づいて侵入物体の位置を認識できるので、飛行体１が侵入物体の動きに追従するように飛行動作を即座に変更し、カメラでの撮影を継続することが可能となる。
【００７８】
第３の実施の形態．
本実施の形態に係る映像監視システムは、上述した実施の形態に比較すると、飛行動作しないときに飛行体１を滞留させる装置（後述する結合装置８）をさらに備えたことを特徴とする。この構成により、飛行体１が結合装置８に結合している間は、飛行体１のカメラ１２は固定カメラ２と同様の動作を行うことが可能となる。
【００７９】
図１０は本発明の第３の実施の形態に係る映像監視システムの構成を示すブロック図である。図１０の映像監視システムは、図１の映像監視システムに比較すると、位置推定部４の代わりに位置推定部４Ａを備え、姿勢推定部５の代わりに姿勢推定部５Ａを備え、結合装置８をさらに備えたことを特徴とする。ここで、結合装置８は飛行体１を監視エリア１０１の天井または壁に滞留させる。
【００８０】
図１０において、結合装置１は、飛行体１と例えば飛行体１の飛行制御により結合すると、結合装置８と飛行体１とが結合している状態であることを示す情報を生成して位置推定部４及び姿勢推定部５にそれぞれ送信する。
【００８１】
図１０において、結合装置８は監視エリア１０１の天井または壁等に１台以上固定して取り付けられ、飛行体１との結合に必要な結合機構を有する。結合機構として、例えばアーム、ジョイント機構等を用いる。また、磁力により結合装置８と飛行体１とを吸着させ、飛行体１を支持してもよい。さらに、飛行体１の構成を内蔵電池駆動とする場合には、結合装置８は、飛行体１が結合装置８と結合している間に充電可能なように接続端子（接触端子）が備えられ、当該接続端子を介して給電できる給電機能もしくは非接触給電機能を備えてもよい。
【００８２】
位置推定部４Ａは、図１の位置推定部４に比較すると、結合装置８から飛行体１が結合している状態であることを示す情報を受信すると、結合装置８と飛行体１とが結合している時の位置情報を出力するようにしてもよい。ここで、位置情報は、結合装置８の取付位置であり位置情報としてパラメータ記憶部３に格納される。
【００８３】
姿勢推定部５Ａは、図１の姿勢推定部５に比較すると、結合装置８から飛行体１が結合している状態であることを示す情報を受信すると、結合装置８と飛行体１とが結合している時の姿勢情報を出力するようにしてもよい。ここで、姿勢情報は、結合装置８の取付位置に基づいて算出される姿勢情報であり事前に計算されてパラメータ記憶部３に格納される。
【００８４】
以上のように構成された第３の実施の形態に係る映像監視システムの動作について以下に説明する。なお、第１の実施の形態に係る映像監視システムとの相違点のみ説明する。
【００８５】
飛行体１が監視エリア１０１を飛行する際は、飛行動作制御部６から飛行体１へ飛行開始の制御情報を送信する。そして、飛行体１は結合装置８と例えば飛行体１の飛行制御により分離し、監視エリア１０１の飛行を開始する。飛行を停止する時もしくは飛行体１の内蔵電池が枯渇した時は、飛行動作制御部６は飛行体１に対して結合装置８の位置へ向かって飛行するような制御情報を出力し、結合装置８に接近して結合する。
【００８６】
なお、飛行体１と結合装置８との例えば飛行体１の飛行制御による結合により飛行体１の位置と姿勢のいずれか一方もしくは両方が一意的に決定されるように、結合装置８の結合機構が構成されてもよい。この構成により、結合装置８と結合している飛行体１の位置及び姿勢の一方もしくは両方を事前に求めておくことが可能となる。このとき、位置推定部４Ａは、飛行体１が結合している状態であることを示す情報を結合装置８から受信したとき、固定カメラ２の撮影画像に基づいた飛行体１の位置推定結果を出力する代わりに、事前に求めておいた結合装置８と飛行体１とが結合している時の位置情報を出力するようにしてもよい。同様に、姿勢推定部５Ａは、飛行体１が結合している状態であることを示す情報を結合装置８から受信したとき、飛行体１から送信される画像情報と傾き情報に基づく姿勢推定結果を出力する代わりに、事前に求めて置いた結合装置８と飛行体１とが結合している時の姿勢情報を出力するようにしてもよい。
【００８７】
さらに、飛行体１が結合装置８と結合している間、飛行体１が備えるカメラ１２に対し、固定カメラ２と同様の機能を備えることが可能となる。この場合には、飛行体１が結合装置８と結合している状態で、飛行体１が備えるカメラ１２に対して事前にキャリブレーションを行い、取得されたパラメータをパラメータ記憶部３に記憶する。従って、飛行体１が結合装置８と結合している間は、飛行体１が備えるカメラ１２を固定カメラ２と同様に利用することができる。
【００８８】
以上の実施の形態に係る映像監視システムによれば、第１の実施の形態に係る映像監視システムに比較すると、さらに飛行動作を行わない間は結合装置８と結合させることにより、内蔵電池に充電しながら滞留することが可能となる。また、飛行体１が結合装置８と結合している間は固定カメラ２と同一の機能を備えることにより、飛行体１の内蔵電池の残量とあらかじめ計画された飛行動作等の条件に応じた、柔軟な飛行動作の決定が可能となる。
【００８９】
さらに、映像監視システムにおいて、複数の飛行体１を備え、結合装置８との結合による充電と飛行動作とを、複数の飛行体１で交互に行うように構成されてもよい。この構成により、内蔵電池の残量が少ない飛行体１が結合装置８と結合して充電している間、別の飛行体１が監視エリア１０１を飛行すること（協調動作）が可能となる。従って、１つの飛行体１の電池がなくなっても、別の飛行体１を飛行動作させることにより、連続的に監視エリア１０１を監視することが可能となる。
【００９０】
変形例１．
以上説明した各実施の形態を適宜組み合わせた構成を採ることも可能である。その場合には、組み合わせた実施の形態が奏する各効果が組み合わされた効果を得ることができる。例えば、本発明の第２の実施の形態と第３の実施の形態を組み合わせ、移動物体認識部７と結合装置８の両方を備える映像監視システムを構成する。すると、飛行体１は、平時は結合装置８と結合しながら内蔵電池の充電を行い、移動物体認識部７が監視エリア１０１に移動物体（侵入人物）を認識した時、飛行体１は結合装置８から分離し、移動物体の位置へと飛行させるように飛行動作を決定することが可能となる。
【産業上の利用可能性】
【００９１】
以上詳述したように、本発明に係る映像監視システムによれば、監視エリアが屋内空間であっても、飛行体の位置と姿勢を高精度に推定して適切な飛行体の飛行制御が可能となる。
【符号の説明】
【００９２】
１−１  飛行体、２  固定カメラ、３  パラメータ記憶部、４，４Ａ  位置推定部、５，５Ａ  姿勢推定部、６，６Ａ  飛行動作制御部、７  移動物体認識部、８  結合装置。
【図１】
2016177640.tif 000012
【図２】
2016177640.tif 000013
【図３】
2016177640.tif 000014
【図４】
2016177640.tif 000015
【図５】
2016177640.tif 000016
【図６】
2016177640.tif 000017
【図７】
2016177640.tif 000018
【図８】
2016177640.tif 000019
【図９】
2016177640.tif 000020
【図１０】
2016177640.tif 000021