(57)【要約】【課題】地上から空中の移動物体を検出して、検出した移動物体の動きを監視することが可能な空中監視装置、空中監視方法及びプログラムを提供する。【解決手段】複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視装置１００であって、第１カメラＣ１が出力する第１画像Ｍ１及び第２カメラＣ２が出力する第２画像Ｍ２を受信する画像受信部１２１０と、第１画像Ｍ１、第２画像Ｍ２の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する２次元軌跡情報取得部１２１１と、第１画像Ｍ１から取得した２次元軌跡情報と、第２画像Ｍ２から取得した２次元軌跡情報と、第１カメラＣ１及び第２カメラＣ２のカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する３次元軌跡情報取得部１２１３と、取得した３次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する移動物体分類部１２１４とを備える。【選択図】図２
2018125670.tif 000002
【特許請求の範囲】
【請求項１】
複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視装置であって、
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する画像受信部と、
前記第１画像、前記第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する２次元軌跡情報取得部と、
前記第１画像から取得した２次元軌跡情報と、前記第２画像から取得した２次元軌跡情報と、前記第１カメラ及び前記第２カメラのカメラパラメータとに基づいて、前記移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する３次元軌跡情報取得部と、
前記取得した３次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する移動物体分類部と
を備える空中監視装置。
【請求項２】
前記３次元軌跡情報取得部は、前記第１画像及び前記第２画像上で特徴点の対応付けを行い、前記第１カメラ及び前記第２カメラが設置されている方向と両者間の距離に基づいて前記移動物体の３次元座標を求め、
前記３次元軌跡情報取得部は、空中の特徴点よりも地上の特徴点が優先されるように、前記対応付けを行う特徴点を選択する、請求項１に記載の空中監視装置。
【請求項３】
前記２次元軌跡情報取得部は、前記移動物体の重心を求めて、求めた重心をトラッキングの中心座標とする、請求項１又は２に記載の空中監視装置。
【請求項４】
前記空中監視装置は、
移動物体を分類するための外観に関する特徴情報を記憶する分類特徴記憶部をさらに備え、
前記移動物体分類部は、前記分類特徴記憶部に記憶されている前記外観の特徴に少なくとも基づいて、前記移動物体の分類を特定する、請求項１から３のいずれか一項に記載の空中監視装置。
【請求項５】
前記第１カメラ及び第２カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に６０メートルから１００メートルの間隔で設置される、請求項１から４のいずれか一項に記載の空中監視装置。
【請求項６】
１又は複数のコンピュータによって実行される、複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視方法であって、
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する工程と、
前記第１画像、前記第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する工程と、
前記第１画像から取得した２次元軌跡情報と、前記第２画像から取得した２次元軌跡情報と、前記第１カメラ及び前記第２カメラのカメラパラメータとに基づいて、前記移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する工程と、
前記取得した３次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する工程と
を含む方法。
【請求項７】
複数のカメラが撮影した空中の画像から移動物体を検出して分類するプログラムであって、
１又は複数のコンピュータに、
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する処理と、
前記第１画像、前記第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する処理と、
前記第１画像から取得した２次元軌跡情報と、前記第２画像から取得した２次元軌跡情報と、前記第１カメラ及び前記第２カメラのカメラパラメータとに基づいて、前記移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する処理と、
前記取得した３次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する処理と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、空中監視装置、空中監視方法及びプログラムに関する。
【背景技術】
【０００２】
近年、急速に普及しているドローン等の無人航空機（ＵＡＶ：ｕｎｍａｎｎｅｄ  ａｅｒｉａｌ  ｖｅｈｉｃｌｅ）は、様々な分野での有効活用が期待されている一方で、利用方法によっては、テロや犯罪へ悪用されることが懸念されている。また、他の飛行物体と衝突するおそれや、落下した場合に地上の人等に危害を及ぼすおそれもあり、安全上の観点からも課題を有している。
【０００３】
人々が生活する上空には、上述した無人航空機の他、報道ヘリコプターや有人の航空機、鳥、雲、工場や火災による煙等、様々な移動物体が存在する。無人航空機の法整備を進めるため、また、無人航空機による悪用を防ぐためにも、上空に存在し得る移動物体についてモニタリングすることが求められている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１３−７６６１５号公報
【特許文献２】特表２０１５−５３３１０９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１には、人工衛星や航空機等から撮像して得られる光学画像を用いて移動物体を検出する装置が開示されている。しかし、このように上空から移動物体を検出する技術では、広域にわたる常時監視を実現することは現実的ではない。また、上空から移動物体を検出するためには、高分解能な画像を取得するために高性能カメラを搭載する必要がある。また、特許文献１に記載の装置では、移動物体の移動ベクトルを算出することを課題としており、移動物体の特定についてはなされていない。
【０００６】
特許文献２には、（特許文献１と同様に上空の）航空機上のカメラから受信されるビデオ画像データを用いて、飛行中に航空機に接近する鳥を特定する装置が開示されている。特許文献２には、鳥以外にも航空機に衝突しうる任意の他の物体を検出すること、特定した物体の推定運動を利用して、物体が航空機に衝突するかどうかを判断することが開示されているが、単に航空機に衝突し得る物体を検出するのみで、さらに詳細な物体の分類を行うこと、及び物体の動きを監視することはできない。
【０００７】
そこで、本発明は、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することが可能な空中監視装置、空中監視方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視装置は、第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する画像受信部と、第１画像、第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する２次元軌跡情報取得部と、第１画像から取得した２次元軌跡情報と、第２画像から取得した２次元軌跡情報と、第１カメラ及び第２カメラのカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する３次元軌跡情報取得部と、取得した３次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する移動物体分類部とを備える。
【０００９】
この態様によれば、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することを可能としたことにより、限られたリソースで常時、空中を監視することができる。さらに、この態様による第１カメラ、第２カメラを複数個所に設置することにより、広域にわたって空中を監視することができる。
【００１０】
さらにまた、この態様によれば、カメラが撮影した画像を用いて監視することができるので、レーダーを用いた移動物体の検出とは異なり、監視中であることを移動物体に感知されずに監視することができる。
【００１１】
３次元軌跡情報取得部は、第１画像及び第２画像上で特徴点の対応付けを行い、第１カメラ及び第２カメラが設置されている方向と両者間の距離に基づいて移動物体の３次元座標を求め、３次元軌跡情報取得部は、空中の特徴点よりも地上の特徴点が優先されるように、対応付けを行う特徴点を選択してもよい。
【００１２】
この態様によれば、より精度の高い３次元座標を求めることができる。
【００１３】
２次元軌跡情報取得部は、移動物体の重心を求めて、求めた重心をトラッキングの中心座標としてもよい。
【００１４】
この態様によれば、トラッキング中に発生するバウンディングボックスと移動物体とのずれが小さくなるように改善することができる。
【００１５】
空中監視装置は、移動物体を分類するための外観に関する特徴情報を記憶する分類特徴記憶部をさらに備え、移動物体分類部は、分類特徴記憶部に記憶されている外観の特徴に少なくとも基づいて、移動物体の分類を特定してもよい。
【００１６】
この態様によれば、より精度の高い分類の特定を行うことができる。
【００１７】
第１カメラ及び第２カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に６０メートルから１００メートルの間隔で設置されてもよい。
【００１８】
この態様によれば、約０．２１ｋｍ2の範囲を監視することができる。
【００１９】
本発明の他の態様に係る１又は複数のコンピュータによって実行される、複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視方法は、第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する工程と、第１画像、第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する工程と、第１画像から取得した２次元軌跡情報と、第２画像から取得した２次元軌跡情報と、第１カメラ及び第２カメラのカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する工程と、取得した３次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する工程とを含む。
【００２０】
本発明の他の態様に係る複数のカメラが撮影した空中の画像から移動物体を検出して分類するプログラムは、１又は複数のコンピュータに、第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する処理と、第１画像、第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する処理と、第１画像から取得した２次元軌跡情報と、第２画像から取得した２次元軌跡情報と、第１カメラ及び第２カメラのカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する処理と、取得した３次元軌跡情報から得られる移動物体の動きの特徴に少なくとも基づいて、移動物体の分類を特定する処理とを実行させる。
【発明の効果】
【００２１】
本発明によれば、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することが可能な空中監視装置、空中監視方法及びプログラムを提供することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施形態に係る空中監視装置を有する空中監視システムの概略図である。
【図２】本発明の実施形態に係る空中監視システムのブロック図である。
【図３】本発明の実施形態に係る空中監視処理を示すフローチャートである。
【図４】本発明の実施形態に係る移動物体検出処理を示すフローチャートである。
【図５】本発明の実施形態に係る移動物体検出処理を説明するための図であり、（ａ）入力画像、（ｂ）背景画像、（ｃ）移動物体抽出画像、（ｄ）ノイズ除去後の画像、（ｅ）ラベリング画像、をそれぞれ例示する図である。
【発明を実施するための形態】
【００２３】
添付図面を参照して、本発明の好適な実施形態について説明する。なお、以下の実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。また、本発明は、その要旨を逸脱しない限り、さまざまな変形が可能である。さらに、当業者であれば、以下に述べる各要素を均等なものに置換した実施形態を採用することが可能であり、係る実施形態も本発明の範囲に含まれる。
【００２４】
図１は、本発明の実施形態に係る空中監視装置を有する空中監視システムの概略図である。図１では、空中監視システムを設置したビルの状況を模式的に示している。
【００２５】
空中監視装置１００は、空中の画像を撮影する複数のカメラＣ１、Ｃ２と通信可能に接続される。複数のカメラＣ１、Ｃ２は、監視対象となる空中の同一の範囲を撮影することができるように空間上の異なる位置に設置され、撮影した画像を空中監視装置１００に出力する。本実施形態では、図１に示されるように、カメラＣ１及びカメラＣ２は、カメラ設置面から２５０メートル上空の面において、約０．２１ｋｍ2の範囲となる、上底３７０メートル、下底７４０メートル、高さ３８０メートルとする台形の範囲を撮影することができるよう、ビルの屋内に６０メートルから１００メートルの間隔で設置されている。なお、ここで述べた撮影範囲や寸法は一例にすぎず、カメラの設置位置や向き、性能等に応じて任意に撮影範囲や寸法を設定することができる。
【００２６】
前述したように、空中には無人航空機、ヘリコプター、飛行機、鳥等を含む、様々な移動物体が存在する場合がある。空中監視装置１００は、複数のカメラＣ１、Ｃ２が出力する画像に基づいて移動物体を検出し、検出した移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する。さらに、空中監視装置１００は、取得した３次元軌跡情報により示される移動物体の動きの特徴を用いて、移動物体の分類を行う。
【００２７】
図２は、本発明の実施形態に係る空中監視システムのブロック図である。なお、図２では、単一の空中監視装置１００を想定し、必要な機能構成だけを示しているが、空中監視装置１００を、複数のコンピュータシステムによる多機能の分散システムの一部として構成することもできる。
【００２８】
カメラＣ１、Ｃ２は、画像送信部２１１を備える。
【００２９】
空中監視装置１００は、入力部１１０と、制御部１２０と、記憶部１３０と、通信部１４０とを備えている。
【００３０】
入力部１１０は、空中監視装置１００の管理者からの操作を受け付けるように構成され、キーボードやマウス、タッチパネル等によって実現することができる。
【００３１】
制御部１２０は、ＣＰＵやＭＰＵ等の演算処理部１２１及びＲＡＭ等のメモリ１２２を備えている。演算処理部１２１は、各種入力に基づき、記憶部１３０に記録されたプログラムを実行することで、各種機能部を動作させるものである。このプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記憶され、若しくはネットワークを介して配布され、コンピュータにインストールされるものであってもよい。メモリ１２２は、サーバ用プログラムにおいて処理の実行中に、演算等に必要な各種データを、一時的に記憶するためのものである。
【００３２】
記憶部１３０は、ハードディスク等の記憶装置によって構成され、制御部１２０における処理の実行に必要な各種プログラムや、各種プログラムの実行に必要なデータ等を記録しておくものである。具体的には、記憶部１３０は、画像記憶部１３１、カメラパラメータ記憶部１３２及び分類特徴記憶部１３３を有していることが望ましい。
【００３３】
画像記憶部１３１には、カメラＣ１、Ｃ２の画像送信部２１１から出力される画像Ｍ１、Ｍ２が保存されている。
【００３４】
カメラパラメータ記憶部１３２には、各カメラＣのカメラ特性を表すカメラパラメータが保存されている。カメラパラメータには、カメラの位置、方向、レンズの焦点距離、レンズ歪み、画像中心（光軸と画像面の交点）の座標等が含まれる。
【００３５】
分類特徴記憶部１３３には、移動物体を分類するための特徴情報が保存されている。移動物体を分類するための特徴情報には、動き、色、模様、形状、大きさ等の情報が含まれる。
【００３６】
通信部１４０は、空中監視装置１００をネットワークに接続するように構成される。例えば、通信部１４０は、ＬＡＮカード、アナログモデム、ＩＳＤＮモデム等、及びこれらをシステムバス等の伝送路を介して処理部と接続するためのインタフェースから実現することができる。
【００３７】
さらに、図２に示すように、演算処理部１２１は、機能部として、画像受信部１２１０、２次元軌跡情報取得部１２１１、カメラパラメータ取得部１２１２、３次元軌跡情報取得部１２１３、移動物体分類部１２１４、監視結果出力部１２１５とを備えている。
【００３８】
画像受信部１２１０は、カメラＣ１、Ｃ２の画像送信部２１１から出力される画像Ｍ１、Ｍ２を受信して、画像記憶部１３１に格納する。
【００３９】
２次元軌跡情報取得部１２１１は、画像記憶部１３１に保存されている各画像Ｍ１、Ｍ２から、移動物体の２次元的な軌跡を示す２次元軌跡情報を取得する。具体的には、２次元軌跡情報取得部１２１１は、各画像Ｍ１、Ｍ２において、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する。
【００４０】
本実施形態では、２次元軌跡情報取得部１２１１は、周知の背景差分方法を用いて移動物体の検出を行い、その後、検出した移動物体を公知の追跡アルゴリズム（ＫＣＦ）でトラッキングすることで移動物体の２元的軌跡情報を取得する。なお、本実施形態では背景差分法を用いて移動物体の検出を行うが、他の任意の方法を用いて移動物体を検出することができる。同様に、本実施形態ではＫＣＦを用いて移動物体のトラッキングを行うが、他の任意の方法を用いて移動物体のトラッキングを行うことができる。
【００４１】
カメラパラメータ取得部１２１２は、画像記憶部１３１に保存されている複数の画像Ｍ１、Ｍ２から、複数のカメラＣ１、Ｃ２のカメラパラメータを取得して、カメラパラメータ記憶部１３２に格納する。カメラパラメータは、カメラＣで撮影した画像の特徴点と、３次元座標系内の特徴点の位置の対応関係から、計算によって求めることができる。例えば、カメラパラメータ取得部１２１２は、カメラＣ１、Ｃ２のそれぞれが３次元空間全体を撮影した画像Ｍ１、Ｍ２から特徴量を抽出して、抽出した特徴量の位置と３次元座標系の特徴量の位置との対応関係から、カメラパラメータを計算することができる。なお、本実施形態では周知のＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）特徴量を用いるが、画像中の他の任意の特徴量を用いることができる。
【００４２】
３次元軌跡情報取得部１２１３は、２次元軌跡情報取得部１２１１が取得した複数の２次元軌跡情報とカメラパラメータ記憶部１３２に格納されている複数のカメラＣ１、Ｃ２のカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する。なお、本実施形態では周知の三角測量を用いて３次元軌跡情報を取得するが、他の任意の方法を用いて３次元軌跡情報を取得することができる。
【００４３】
移動物体分類部１２１４は、画像記憶部１３１に保存されている複数の画像Ｍ１、Ｍ２と３次元軌跡情報取得部１２１３が取得した３次元軌跡情報と分類特徴記憶部１３３とに基づいて、移動物体の分類を特定する。本実施形態では、移動物体分類部１２１４は、３次元軌跡情報から得られる移動物体の動きの特徴と分類特徴記憶部１３３に格納されている動きの特徴とに基づいて、移動物体の分類を特定する。「分類」としては、例えば、ＵＡＶ、ヘリコプター、飛行機、鳥を含む。また、移動物体分類部１２１４は、画像Ｍ１、Ｍ２から得られる外観の特徴と分類特徴記憶部１３３に格納されている外観の特徴とに基づいて、移動物体の分類を特定することもできる。ここで、「外観」とは、例えば、色、模様、形状、大きさを含む。
【００４４】
監視結果出力部１２１５は、移動物体分類部１２１４が特定した分類と３次元軌跡情報取得部１２１３が取得した移動物体の３次元軌跡情報とを出力する。
【００４５】
（空中監視処理）
図３を参照して、本発明の実施形態に係る空中監視処理を詳細に説明する。本実施形態では、図３で説明される空中監視処理を行う前に、空中監視装置１００のカメラパラメータ取得部１２１２がカメラＣ１、Ｃ２のカメラパラメータを取得して、カメラパラメータ記憶部１３２に格納しているものとする。また、分類特徴記憶部１３３についても、空中監視装置１００の入力部１１０を介して、管理者が事前に特徴情報を格納しているものとする。
【００４６】
ステップＳ３０１において、空中監視装置１００の画像受信部１２１０が、カメラＣ１、Ｃ２の画像送信部２１１から出力される画像Ｍ１、Ｍ２を受信して、画像記憶部１３１に格納する。
【００４７】
ステップＳ３０２において、空中監視装置１００の２次元軌跡情報取得部１２１１が、画像記憶部１３１に保存されている各画像Ｍ１、Ｍ２において、画像中の移動物体を検出する。本実施形態では、２次元軌跡情報取得部１２１１は、後述するように、背景差分方法を用いて移動物体の検出を行う。
【００４８】
画像中に移動物体が検出される場合（ステップＳ３０２：ＹＥＳ）、ステップＳ３０３において、２次元軌跡情報取得部１２１１は、検出した移動物体を追跡アルゴリズムでトラッキングすることで移動物体の２次元的な軌跡を示す２次元軌跡情報を取得する。本実施形態では、２次元軌跡情報取得部１２１１は、後述するように、ＫＣＦを用いて移動物体をトラッキングする。一方、画像中に移動物体が検出されない場合（ステップＳ３０２：ＮＯ）、処理を終了する。
【００４９】
ステップＳ３０４において、空中監視装置１００の３次元軌跡情報取得部１２１３は、２次元軌跡情報取得部１２１１が画像Ｍ１及びＭ２の各々から取得した２つの２次元軌跡情報とカメラパラメータ記憶部１３２に格納されている２つのカメラＣ１、Ｃ２のカメラパラメータとに基づいて、移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する。本実施形態では、運動からの形状復元（ＳｆＭ：Structure from Motion）を使用して、異なる視点から撮影された画像Ｍ１及びＭ２上でＳＩＦＴ特徴量を用いて特徴点の対応付けを行い、カメラＣ１及びカメラＣ２が設置されている方向と両者間の距離に基づいて移動物体の３次元座標を求める。
【００５０】
ここで、３次元軌跡情報取得部１２１３は、（例えば雲等）空中の特徴点よりも（例えば建造物等）地上の特徴点が優先されるように、対応付けを行う特徴点を選択するように構成することもできる。このような構成とすることで、より精度の高い３次元座標を求めることができる。
【００５１】
ステップＳ３０５において、空中監視装置１００の移動物体分類部１２１４は、画像記憶部１３１に保存されている複数の画像Ｍ１、Ｍ２と３次元軌跡情報取得部１２１３が取得した３次元軌跡情報と分類特徴記憶部１３３とに基づいて、移動物体の分類を特定する。本実施形態では、移動物体分類部１２１４は、３次元軌跡情報から得られる移動物体の動きの特徴と分類特徴記憶部１３３に格納されている動きの特徴とに基づいて、移動物体の分類（例えば、ＵＡＶ、ヘリコプター、飛行機、鳥）を特定する。
【００５２】
さらに本実施形態では、カメラＣ１、Ｃ２から所定の範囲内に位置する移動物体について、移動物体分類部１２１４は、画像Ｍ１、Ｍ２から得られる外観（例えば色、模様、形状、大きさ）の特徴と分類特徴記憶部１３３に格納されている外観の特徴とに基づいて移動物体の分類を特定することで、より精度の高い分類の特定を行うことができる。例えば、移動物体分類部１２１４は、画像内の移動物体の大きさと、３次元軌跡情報から得られるカメラから移動物体までの距離とに基づいて実際の大きさを推定し、画像から得られる外観の特徴として利用することができる。
【００５３】
ステップＳ３０６において、空中監視装置１００の監視結果出力部１２１５は、移動物体分類部１２１４が特定した分類と３次元軌跡情報取得部１２１３が取得した移動物体の３次元軌跡情報とを出力する。
【００５４】
以上、本発明によれば、地上から空中の移動物体を検出して、検出した移動物体の動きを監視することを可能としたことにより、限られたリソースで常時、空中を監視することができる。さらに、本発明によるカメラＣ１、Ｃ２を複数個所に設置することにより、広域にわたって空中を監視することができる。
【００５５】
さらにまた、本発明によれば、カメラが撮影した画像を用いて監視することができるので、レーダーを用いた移動物体の検出とは異なり、監視中であることを移動物体に感知されずに監視することができる。
【００５６】
（移動物体検出処理）
図４及び図５を参照して、ステップＳ３０２の移動物体検出処理を詳細に説明する。図４は、本発明の一実施形態に係る移動物体検出処理を示すフローチャートである。図５（ａ）は背景画像例、図５（ｂ）は入力画像例、図５（ｃ）は移動物体抽出画像例、図５（ｄ）はノイズ除去後の画像例、図５（ｅ）はラベリング画像例をそれぞれ示す。
【００５７】
ステップＳ４０１において、２次元軌跡情報取得部１２１１は、図５（ａ）に示されるような背景画像を画像記憶部１３１から取得する。
【００５８】
ステップＳ４０２において、２次元軌跡情報取得部１２１１は、図５（ｂ）に示されるような入力画像を画像記憶部１３１から取得する。
【００５９】
ステップＳ４０３において、Ｓ４０１で取得した背景画像とＳ４０２で取得した入力画像とを比較して既知の背景部分を取り除くことで、図５（ｃ）に示されるような移動物体を抽出する。
【００６０】
ステップＳ４０４において、２次元軌跡情報取得部１２１１は、膨張収縮処理を用いて、図５（ｃ）に発生しているノイズを除去する。図５（ｄ）は、ノイズを除去した後の画像例を示す。
【００６１】
ステップＳ４０５において、２次元軌跡情報取得部１２１１は、図５（ｅ）に示されるように、連結する画素に同じラベルを割り当てるラベリング処理を用いて、移動物体を判別する。この処理によって、移動物体が複数存在する場合に、それぞれの移動物体を判別することができる。
【００６２】
ステップＳ４０６において、２次元軌跡情報取得部１２１１は、ステップＳ４０５で判別した移動物体を含む、矩形の大きさと位置を求める。求めた矩形の大きさと位置を、以降のトラッキング処理に利用する。
【００６３】
（トラッキング処理）
ステップＳ３０３のトラッキング処理を詳細に説明する。本実施形態で用いるＫＣＦでは、追跡対象を矩形領域（バウンディングボックス）で指定する。ここで、２次元軌跡情報取得部１２１１は、バウンディングボックスの指定の際に、ステップＳ４０６で求めた矩形をそのまま用いる（バウンディングボックスの中心の座標を物体の重心とみなす）のではなく、Ｓ４０５で同じラベルを割り当てた連結画素の重心を求めて、求めた連結画素の重心がバウンディングボックスの中心の座標となるように構成することもできる。このような構成とすることで、トラッキング中に発生するバウンディングボックスと移動物体とのずれが小さくなるように改善することができる。
【符号の説明】
【００６４】
１００…空中監視装置、Ｃ１…カメラ、Ｃ２…カメラ、１１０…入力部、１２０…制御部、１２１…演算処理部、１２１０…画像受信部、１２１１…２次元軌跡情報取得部、１２１２…カメラパラメータ取得部、１２１３…３次元軌跡情報取得部、１２１４…移動物体分類部、１２１５…監視結果出力部、１２２…メモリ、１３０…記憶部、１３１…画像記憶部、１３２…カメラパラメータ記憶部、１３３…分類特徴記憶部、１４０…通信部、２１１…画像送信部
【図１】
2018125670.tif 000003
【図２】
2018125670.tif 000004
【図３】
2018125670.tif 000005
【図４】
2018125670.tif 000006
【図５】
2018125670.tif 000007
【手続補正書】
【提出日】平成30年3月23日(2018.3.23)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視装置であって、
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する画像受信部であって、前記第１カメラ及び第２カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に６０メートルから１００メートルの間隔で設置される、画像受信部と、
前記第１画像、前記第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する２次元軌跡情報取得部と、
前記第１画像から取得した２次元軌跡情報と、前記第２画像から取得した２次元軌跡情報と、前記第１カメラ及び前記第２カメラのカメラパラメータとに基づいて、前記移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する３次元軌跡情報取得部と、
前記取得した３次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する移動物体分類部と
を備える空中監視装置。
【請求項２】
前記３次元軌跡情報取得部は、前記第１画像及び前記第２画像上で特徴点の対応付けを行い、前記第１カメラ及び前記第２カメラが設置されている方向と両者間の距離に基づいて前記移動物体の３次元座標を求め、
前記３次元軌跡情報取得部は、空中の特徴点よりも地上の特徴点が優先されるように、前記対応付けを行う特徴点を選択する、請求項１に記載の空中監視装置。
【請求項３】
前記２次元軌跡情報取得部は、前記移動物体の重心を求めて、求めた重心をトラッキングの中心座標とする、請求項１又は２に記載の空中監視装置。
【請求項４】
前記空中監視装置は、
移動物体を分類するための、少なくとも大きさを含む外観に関する特徴情報を記憶する分類特徴記憶部をさらに備え、
前記移動物体分類部は、画像内の前記移動物体の大きさと、前記３次元軌跡情報から得られるカメラから前記移動物体までの距離とに基づいて実際の大きさを推定し、推定した大きさ及び前記分類特徴記憶部に記憶されている前記外観の特徴に少なくとも基づいて、前記移動物体の分類を特定する、請求項１から３のいずれか一項に記載の空中監視装置。
【請求項５】
１又は複数のコンピュータによって実行される、複数のカメラが撮影した空中の画像から移動物体を検出して分類する空中監視方法であって、
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する工程であって、前記第１カメラ及び第２カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に６０メートルから１００メートルの間隔で設置される、工程と、
前記第１画像、前記第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する工程と、
前記第１画像から取得した２次元軌跡情報と、前記第２画像から取得した２次元軌跡情報と、前記第１カメラ及び前記第２カメラのカメラパラメータとに基づいて、前記移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する工程と、
前記取得した３次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する工程と
を含む方法。
【請求項６】
複数のカメラが撮影した空中の画像から移動物体を検出して分類するプログラムであって、
１又は複数のコンピュータに、
第１カメラが出力する第１画像及び第２カメラが出力する第２画像を受信する処理であって、前記第１カメラ及び第２カメラは、監視対象となる空中の同一の範囲を撮影することができるよう、空間上の異なる位置に６０メートルから１００メートルの間隔で設置される、処理と、
前記第１画像、前記第２画像の各々について、画像中の移動物体を検出して、検出した移動物体をトラッキングすることで２次元軌跡情報を取得する処理と、
前記第１画像から取得した２次元軌跡情報と、前記第２画像から取得した２次元軌跡情報と、前記第１カメラ及び前記第２カメラのカメラパラメータとに基づいて、前記移動物体の３次元的な軌跡を示す３次元軌跡情報を取得する処理と、
前記取得した３次元軌跡情報から得られる前記移動物体の動きの特徴に少なくとも基づいて、前記移動物体の分類を特定する処理と
を実行させるプログラム。