(57)【要約】      （修正有）【課題】人物の特定が曖昧なセンサと組み合わせて、多視点から撮影された映像中の人物を簡易に特定して行動を監視する。【解決手段】監視装置１は、取得部１５ａが、同一時刻に監視範囲Ｒ内を異なる場所から撮影した複数の映像と、監視範囲Ｒ内の人物ｈを識別して検知したセンサデータとを取得し、訓練部１５ｂが、取得された各映像に映る同一の人物ｈの位置と、同時に取得された該人物ｈを検知したセンサデータとを組み合わせた訓練データ１４ａを生成し、推定部１５ｃが、訓練データ１４ａに基づいて、連続する時系列に取得された各映像に映る人物の位置におけるセンサデータの推定値を算出し、特定部１５ｄが、推定値と取得されたセンサデータとの類似度の時系列変化に基づいて、人物の識別情報を特定し、判定部１５ｅが、各映像に映る人物の位置を監視範囲Ｒ内の位置に変換した場合に重畳する同一の人物の識別情報として、重複する数が多いものを判定する。【選択図】図１
2018061114.tif 000002
【特許請求の範囲】
【請求項１】
同一時刻に、所定の監視範囲内を異なる場所から撮影した複数の映像と、該監視範囲内の人物を識別して検知したセンサデータとを取得する取得部と、
取得された前記映像のそれぞれに映る同一の人物の位置と、同時に取得された該人物を検知した前記センサデータとを組み合わせた訓練データを生成する訓練部と、
前記訓練データに基づいて、連続する時系列に取得された前記映像のそれぞれに映る人物の位置における前記センサデータの推定値を算出する推定部と、
算出された前記推定値と、取得された前記映像と同時に取得された前記センサデータとの類似度の時系列変化に基づいて、該映像中の人物を識別する識別情報を特定する特定部と、
前記複数の映像のそれぞれに映る人物の位置を前記監視範囲内の位置に変換した場合に重畳する同一の人物の識別情報として、変換前に特定された各映像中の人物の前記識別情報のうち重複する数が多いものを判定する判定部と、
を備えることを特徴とする監視装置。
【請求項２】
前記取得部は、前記監視範囲内の人物を、該人物に対する撮影方向および該人物までの距離が異なる複数の場所から撮影した映像を取得することを特徴とする請求項１に記載の監視装置。
【請求項３】
さらに、前記判定部が判定した人物の識別情報を提示する出力部を備えることを特徴とする請求項１または２に記載の監視装置。
【請求項４】
前記センサデータは、前記監視範囲内の人物が所持するモバイル端末が無線信号発信機から受信した無線信号の強度を示すことを特徴とする請求項１〜３のいずれか１項に記載の監視装置。
【請求項５】
前記推定部は、前記映像中の位置を複数のセルに分割し、同一のセルに属する位置における前記訓練データの前記センサデータの平均値を、該セルに属する位置におけるセンサデータの推定値として算出することを特徴とする請求項１〜４のいずれか１項に記載の監視装置。
【請求項６】
監視装置で実行される監視方法であって、
同一時刻に、所定の監視範囲内を異なる場所から撮影した複数の映像と、該監視範囲内の人物を識別して検知したセンサデータとを時系列に取得する取得工程と、
取得された前記映像のそれぞれに映る同一の人物の位置と、同時に取得された該人物を検知した前記センサデータとを組み合わせた訓練データを生成する訓練工程と、
前記訓練データに基づいて、取得された前記映像のそれぞれに映る人物の位置における前記センサデータの推定値を算出する推定工程と、
算出された前記推定値と、取得された前記映像と同時に取得された前記センサデータとの類似度の時系列変化に基づいて、該映像中の人物を識別する識別情報を特定する特定工程と、
前記複数の映像のそれぞれに映る人物の位置を前記監視範囲内の位置に変換した場合に重畳する同一の人物の識別情報として、変換前に特定された各映像中の人物の前記識別情報のうち重複する数が多いものを判定する判定工程と、
を含んだことを特徴とする監視方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視装置および監視方法に関する。
【背景技術】
【０００２】
単一の映像から人物の軌跡を追跡する技術が知られている。例えば、映像に映っている人物を検知して、この人物映像のピクセル位置と人物映像の識別情報とを時系列に出力する（非特許文献１参照）。
【０００３】
また、複数の方向から撮影された画像を用い、画像間の相対関係を手掛かりにして一部の画像にしか撮影されていない人物を同定する技術が知られている。また、複数のカメラで撮影された映像の各フレーム画像に写る人物を検知して、各人物の移動軌跡を算出する技術が知られている（特許文献１参照）。
【０００４】
また、ステレオカメラの映像を利用して、人物の不審行動を検知する技術も提案されている。この技術は、監視対象となる人物の移動軌跡を取得し、この移動軌跡に基づいて当該人物の行動状態を識別し、不審行動を検知する（特許文献２参照）。
【０００５】
また、複数のカメラを用いた人物の監視技術が提案されている。例えば、複数のカメラの撮影映像から移動体を抽出し、カメラ間で映像を照合し、その移動体の移動経路を求め、所定エリアへ侵入した場合に、監視員にアラームを表示する技術が提案されている。この技術において、カード認証等の個人特定手段を用いることで、移動体すなわち人物の所定エリアへのアクセス権限の有無を判断する。また、人物の移動経路や移動軌跡を分析することで、映像中の人物が不審者であるか否かを判定し、アラームを表示する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１０−０６３００１号公報
【特許文献２】特開２０１２−１２８８７７号公報
【非特許文献】
【０００７】
【非特許文献１】「画像センシング技術  ＯＫＡＯ  Ｖｉｓｉｏｎ  人を見つけ、認識する」、[online]、２０１５年１２月、オムロン株式会社、［２０１６年４月１２日検索]、インターネット＜URL:http://plus-sensing.omron.co.jp/technology/＞
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の画像中の人物を検知する技術は、人物映像の顔等の特徴を比較して同一性を判定する処理や、多視点からの映像を３次元空間に対応づけるステレオマッチングを伴っていた。そのため、処理が複雑となり、また、カメラのキャリブレーションの設定や運用のためのコストがかさんでいた。
【０００９】
また、ステレオカメラの映像を利用して人物の不審行動を検知する技術は、不審者（部外者）の行動パターンを事前に登録しておく必要があり、手間がかかっていた。
【００１０】
また、複数のカメラにより撮影された映像中の人物を監視する場合、カード認証手段等、人物の特定が明確な個人特定手段の併用が前提となる。したがって、例えば、映像トラッキングシステムとビーコン受信システム等、人物の特定が曖昧な技術のみを併用する場合、映像トラッキングシステムで検知した人物の所定エリアへのアクセス権限の有無を判定したり、当該人物が不審者であるか否かを判定したりすることは困難である。また、例えば、ビーコン受信システムの位置検知精度は、数１０ｍ程度であり、誤差も多い。そのため、映像トラッキングシステムで検知した人物についてビーコン受信システムを併用して所定エリアへのアクセス権限が有るか否かを判定したり、当該人物が不審者であるか否かを判定したりすることも困難である。
【００１１】
本発明は、上記に鑑みてなされたものであって、人物の特定が曖昧なセンサと組み合わせて、多視点から撮影された映像中の人物を簡易に特定して行動を監視することを目的とする。
【課題を解決するための手段】
【００１２】
上述した課題を解決し、目的を達成するために、本発明に係る監視装置は、同一時刻に、所定の監視範囲内を異なる場所から撮影した複数の映像と、該監視範囲内の人物を識別して検知したセンサデータとを取得する取得部と、取得された前記映像のそれぞれに映る同一の人物の位置と、同時に取得された該人物を検知した前記センサデータとを組み合わせた訓練データを生成する訓練部と、前記訓練データに基づいて、連続する時系列に取得された前記映像のそれぞれに映る人物の位置における前記センサデータの推定値を算出する推定部と、算出された前記推定値と、取得された前記映像と同時に取得された前記センサデータとの類似度の時系列変化に基づいて、該映像中の人物を識別する識別情報を特定する特定部と、前記複数の映像のそれぞれに映る人物の位置を前記監視範囲内の位置に変換した場合に重畳する同一の人物の識別情報として、変換前に特定された各映像中の人物の前記識別情報のうち重複する数が多いものを判定する判定部と、を備えることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、人物の特定が曖昧なセンサと組み合わせて、多視点から撮影された映像中の人物を簡易に特定して行動を監視することができる。
【図面の簡単な説明】
【００１４】
【図１】図１は、本発明の一実施形態に係る監視装置を含むシステムの概略構成を示す模式図である。
【図２】図２は、映像センサの設置方法を説明するための説明図である。
【図３】図３は、映像センサの設置方法を説明するための説明図である。
【図４】図４は、映像センサの設置方法を説明するための説明図である。
【図５】図５は、人物映像の位置を説明するための説明図である。
【図６】図６は、訓練データの生成を説明するための説明図である。
【図７】図７は、グローバルピクセル座標およびローカルピクセル座標を説明するための説明図である。
【図８】図８は、推定部の処理を説明するための説明図である。
【図９】図９は、判定部の処理を説明するための説明図である。
【図１０】図１０は、判定部の処理を説明するための説明図である。
【図１１】図１１は、監視処理手順を示すフローチャートである。
【図１２】図１２は、監視プログラムを実行するコンピュータを例示する図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照して、本発明の一実施形態を詳細に説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
【００１６】
［システム構成］
図１は、本実施形態に係る監視装置を含むシステムの概略構成を示す模式図である。図１に例示するように、設置された複数台の映像センサＣが、それぞれ所定の監視範囲Ｒ内を撮影してその映像を生成する。また、監視範囲Ｒ内に無線信号発信機Ｂが設置され、監視範囲Ｒ内にいる人物ｈが所持するモバイル端末ｍを検知する。監視装置１は、後述する監視処理により監視範囲Ｒ内にいる人物ｈの行動を監視する。
【００１７】
無線信号発信機Ｂは、例えば、ＢＬＥ（Bluetooth（登録商標）  Low  Energy）信号を発信するビーコン等で実現され、監視範囲Ｒ内に向けて無線信号を発信する。この無線信号の受信機能を有するモバイル端末ｍは、監視範囲Ｒ内で無線信号を受信した場合に、自端末ｍの端末ＩＤ、無線信号発信機Ｂの識別情報および無線信号の受信強度を含むセンサデータをサーバＳに送信する。
【００１８】
ここで、モバイル端末ｍの端末ＩＤと、モバイル端末ｍを所持する人物ｈを識別する識別情報とを予め対応付けておく。その場合に、サーバＳは、センサデータにより、監視範囲Ｒ内の複数個所に設置されたどの無線信号発信機Ｂが発信した無線信号をどの程度の受信強度で受信したかを検知することにより、モバイル端末ｍを所持する人物ｈの識別情報とその位置とを検知する。なお、この無線信号は、電磁波の他、音波等でもよい。
【００１９】
映像センサＣは光学カメラや赤外線カメラ等で実現され、監視範囲Ｒ内の人物ｈを、この人物ｈに対する撮影方向およびこの人物ｈまでの距離が異なる複数の場所から撮影可能に設置される。具体的に、図２〜図４を参照して、映像センサＣの設置方法について説明する。
【００２０】
例えば、各映像センサＣの監視範囲Ｒに対する撮影方向を変え、撮影範囲が重複する範囲が設けられるように設置される。これにより、図２に例示するように、移動中に撮影範囲の重複範囲（ａ，ｂ）に入った人物ｈを複数台の映像センサＣ（Ｃ１〜Ｃ３）で撮影可能となる。例えば、重複範囲ａにいる人物ｈは、映像センサＣ１と映像センサＣ２とにより撮影可能となる。
【００２１】
また、各映像センサＣの監視範囲Ｒ内の人物ｈに対する撮影方向を変えて設置される。これにより、図３に例示するように、一部の映像センサＣ１と人物ｈとの間に障害物がある場合にも、この人物ｈを、この人物ｈに対する撮影方向が異なる他の映像センサＣ２で撮影可能となる。
【００２２】
また、各映像センサＣが、監視範囲Ｒ内の人物ｈまでの距離が異なるように設置される。これにより、図４に例示するように、一部の映像センサＣ１からの距離ｄが近すぎて、映像上でこの人物ｈの移動速度が大きくなり、この映像上の人物ｈの検知精度が低下する場合にも、この人物ｈまでの距離が異なる他の映像センサＣ２で撮影可能となる。反対に、一部の映像センサＣ１からの距離ｄが遠すぎて映像上での人物ｈの移動速度が小さくなり、この映像上の人物ｈの検知精度が低下する場合にも、この人物ｈまでの距離が異なる他の映像センサＣ２で撮影可能となる。なお、ここで設定された映像センサＣの各位置は、以降の処理では固定とする。
【００２３】
［監視装置の構成］
図１の説明に戻る。監視装置１は、パソコン等の汎用コンピュータで実現され、入力部１１、出力部１２、通信制御部１３、記憶部１４、および制御部１５を備える。
【００２４】
入力部１１は、キーボードやマウス等の入力デバイスを用いて実現され、操作者による入力操作に対応して、制御部１５に対して処理開始などの各種指示情報を入力する。出力部１２は、液晶ディスプレイなどの表示装置、プリンター等の印刷装置等によって実現される。
【００２５】
通信制御部１３は、ＮＩＣ（Network  Interface  Card）等で実現され、ＬＡＮ（Local  Area  Network）やインターネットなどの電気通信回線を介した映像センサＣやサーバＳ等の外部の装置と制御部１５との通信を制御する。
【００２６】
記憶部１４は、ＲＡＭ（Random  Access  Memory）、フラッシュメモリ（Flash  Memory）等の半導体メモリ素子、または、ハードディスク、光ディスク等の記憶装置によって実現され、後述する監視処理により生成される訓練データ１４ａが記憶される。なお、記憶部１４は、通信制御部１３を介して制御部１５と通信する構成でもよい。
【００２７】
制御部１５は、ＣＰＵ（Central  Processing  Unit）等を用いて実現され、メモリに記憶された処理プログラムを実行する。これにより、制御部１５は、図１に例示するように、取得部１５ａ、訓練部１５ｂ、推定部１５ｃ、特定部１５ｄおよび判定部１５ｅとして機能する。
【００２８】
取得部１５ａは、同一時刻に、所定の監視範囲内を異なる場所から撮影した複数の映像と、該監視範囲内の人物を識別して検知したセンサデータとを取得する。具体的に、取得部１５ａは、複数の映像センサＣのそれぞれが同一時刻に監視範囲Ｒ内を撮影した複数の映像と、同一時刻にサーバＳが検知したセンサデータとを、通信制御部１３を介して時間的に連続して取得する。
【００２９】
また、取得部１５ａは、取得した同一時刻の複数の映像のそれぞれから、例えば、頭部〜肩の形状を検知することにより、人物の映像の部分（以下、人物映像と記す）ｐを検知する。また、取得部１５ａは、各人物映像ｐの位置ｘｐとして、例えば、頭部エリアの重心点等の代表点のピクセル座標上の位置（以下、ローカルピクセル位置とも記す）を抽出する。その際、取得部１５ａは、同一の場所から撮影された各映像において、連続する異なる時刻間で同一の人物の人物映像ｐを識別して同一の識別値を付与する。
【００３０】
ここで、図５を参照して、人物映像のローカルピクセル位置について説明する。図５には、監視範囲Ｒ内の位置（以下、グローバルピクセル位置とも記す）ｘｈｉ（ｉ＝１，２，３）にいる人物ｈｉを複数の映像センサＣｎ（ｎ＝１，２）で撮影した複数の映像ｎ中の人物映像ｉｎのローカルピクセル位置ｘｉｎが例示されている。例えば、映像センサＣ１で撮影された映像１中には、グローバルピクセル位置ｘｈ１にいる人物ｈ１およびグローバルピクセル位置ｘｈ２にいる人物ｈ２が、ローカルピクセル位置ｘ１１の人物映像１１またはローカルピクセル位置ｘ２１の人物映像２１として映っている。一方、映像センサＣ２で撮影された映像２には、人物ｈ１、ｈ２に加えて、グローバルピクセル位置ｘｈ３にいる人物ｈ３が、ローカルピクセル位置ｘ２２の人物映像２２、ローカルピクセル位置ｘ１２の人物映像１２、またはローカルピクセル位置ｘ３２の人物映像３２として映っている。すなわち、グローバルピクセル位置ｘｈ３にいる人物ｈ３は、映像１には映っておらず、映像２にのみ映っている。
【００３１】
なお、取得部１５ａが複数の映像ｎを取得して人物映像ｉｎのローカルピクセル位置ｘｉｎを抽出した時点では、各人物映像ｉｎとグローバルピクセル位置ｘｈｉにいる人物ｈｉとの対応は不明である。そこで、本実施形態の監視装置１は、後述する監視処理により、各映像ｎ中で人物映像ｉｎの識別情報を特定する。また、各映像ｎ中の人物映像ｉｎのローカルピクセル位置ｘｉｎをグローバルピクセル位置ｘｈｉに変換した場合に、同一のグローバルピクセル位置ｘｈｉになる人物映像ｉｎの識別情報のうち重複する数が多いものを、人物ｈｉの識別情報と判定する。これにより、本実施形態の監視装置１は、各人物ｈｉを特定してその移動軌跡を検知し、行動を監視する。
【００３２】
また、取得部１５ａは、上記したように設置された映像センサＣが、監視範囲Ｒ内の人物ｈを、該人物ｈに対する撮影方向および該人物ｈまでの距離が異なる複数の場所から撮影した映像を取得する。これにより、各映像センサＣの撮影範囲が重複する範囲ができ、重複範囲にいる人物ｈを複数の映像センサＣで撮影した複数の映像を取得できる（図２参照）。また、一部の映像センサＣと人物ｈとの間に障害物があり映像上で人物ｈの追跡が困難な場合にも、他の映像センサＣが撮影した映像を用いて人物ｈの検知の精度の低下を抑止できる（図３参照）。また、例えば、一部の映像センサＣからの距離が近すぎて映像上でこの人物ｈの移動速度が大きくなり、この人物ｈの映像上での検知精度が低下した場合にも、他の映像センサＣが撮影した映像を用いて人物ｈの識別の精度の低下を抑止できる。反対に、一部の映像センサＣからの距離が遠すぎて映像上での人物ｈの移動速度が小さくなり、この人物ｈの映像上での検知精度が低下した場合にも、他の映像センサＣが撮影した映像を用いて人物ｈの識別の精度の低下を抑止できる（図４参照）。
【００３３】
図１の説明に戻る。訓練部１５ｂは、取得された映像のそれぞれに映る同一の人物ｈの位置と、同時に取得された該人物ｈを検知したセンサデータとを組み合わせた訓練データを生成する。具体的に、図６を参照して、訓練データ１４ａの生成について説明する。訓練部１５ｂは、同一時刻に、監視範囲Ｒ内のグローバルピクセル位置ｘｈにいる人物ｈを複数の映像センサＣｎ（ｎ＝１，２）が撮影した各映像ｎ中の人物映像ｎのローカルピクセル位置ｘｎと、同一の人物ｈを検知したセンサデータとを組み合わせて訓練データ１４ａを生成する。
【００３４】
ここで、センサデータは、例えば、人物ｈが所持するモバイル端末ｍが無線信号発信機Ｂから受信した無線信号の受信強度で表される。すなわち、センサデータは、監視範囲Ｒ内に設置されている複数の無線信号発信機Ｂのそれぞれから発信される無線信号の、各人物ｈの位置における受信強度の組み合わせで表される。図６に示す例で生成される訓練データ１４ａは、グローバルピクセル位置ｘｈにいる人物ｈの各映像ｎ中のローカルピクセル位置ｘｎとセンサデータとを含む。
【００３５】
さらに、訓練部１５ｂは、人物ｈのグローバルピクセル位置ｘｈを変えて、各グローバルピクセル位置ｘｈにおいて、上記処理と同様に訓練データ１４ａを生成する。その後、訓練部１５ｂは、生成した訓練データ１４ａを記憶部１４に格納する。
【００３６】
このようにして、訓練部１５ｂは、人物ｈのグローバルピクセル位置ｘｈに対応する各映像ｎ中の人物映像ｎのローカルピクセル位置ｘｎと、その位置で検知されたセンサデータとを組み合わせて訓練データ１４ａを生成する。なお、後述するように、本実施形態の監視装置１は、同一のグローバルピクセル位置ｘｈに対応する各映像ｎ中のローカルピクセル位置ｘｎとその位置で検知されたセンサデータとを用いて、各映像ｎ中に映る人物の識別情報を特定する。したがって、監視範囲Ｒ内の可能な限り多数のグローバルピクセル位置ｘｈに対応する訓練データ１４ａが生成されることが望ましい。
【００３７】
また、図７は、各映像ｎのローカルピクセル座標とグローバルピクセル座標とを説明する説明図である。訓練部１５ｂは、図７に例示するように、各映像センサＣｎによる各映像ｎのローカルピクセル座標上の任意のローカルピクセル位置とグローバルピクセル座標上のグローバルピクセル位置との対応を表す変換式または変換表を生成し、記憶部１４に格納する。後述するように、判定部１５ｅがこの変換式または変換表を参照して、映像ｎ中の人物映像のローカルピクセル位置ｘｎをグローバルピクセル位置ｘｈに変換する。
【００３８】
図１の説明に戻る。推定部１５ｃは、訓練データ１４ａに基づいて、連続する時系列に取得された映像のそれぞれに映る人物の位置におけるセンサデータの推定値を算出する。具体的に、推定部１５ｃは、訓練データ１４ａの各映像中のローカルピクセル位置とセンサデータとの対応関係を用いて、時間的に連続して取得された各映像中の人物映像のローカルピクセル位置におけるセンサデータの推定値を算出する。
【００３９】
例えば、推定部１５ｃは、各映像中のローカルピクセル座標を複数のセルに分割し、同一のセルに属する訓練データ１４ａにおけるセンサデータの平均値を、当該セルに属するローカルピクセル位置におけるセンサデータの推定値として算出する。言い換えれば、推定部１５ｃは、各ローカルピクセル位置の近傍におけるセンサデータの推定値を算出する。なお、推定部１５ｃは、以下に説明する特定部１５ｄの処理に先立って、予め各映像中の任意のローカルピクセル位置が属するセルにおけるセンサデータの推定値を算出しておき、記憶部１４に格納しておくことが望ましい。
【００４０】
特定部１５ｄは、算出された推定値と、取得された映像と同時に取得されたセンサデータとの類似度の時系列変化に基づいて、該映像中の人物を識別する識別情報を特定する。具体的に、特定部１５ｄは、時間的に連続して取得されたある人物ｊのローカルピクセル位置について、推定部１５ｃが算出した推定値と、同一時刻に実測され取得された人物ｋのセンサデータとの類似度を算出する。
【００４１】
なお、特定部１５ｄは、監視範囲Ｒ内に設置されたｌ個の無線信号発信機Ｂに対するセンサデータについて、例えば、ｌ次元空間におけるセンサデータの実測値と推定値との距離を類似度として算出する。
【００４２】
そして、特定部１５ｄは、算出した類似度の時間的推移に基づいて、人物ｊと人物ｋとが同一人物か否かを判定し、同一人物と判定した場合に、人物ｋの識別情報を人物ｊの識別情報として特定する。例えば、特定部１５ｄは、所定の期間における類似度の平均値が所定の閾値を超えて高い場合に、同一人物と判定する。
【００４３】
ここで、図８を参照して、特定部１５ｄの処理を具体的に説明する。図８に示す例では、人物ｊのセンサデータの推定値の時間的推移は、人物ｋ２のセンサデータの実測値の時間的推移より、人物ｋ１のセンサデータの実測値の時間的推移に似通っている。図示されている期間において、人物ｊのセンサデータの推定値と人物ｋ１のセンサデータの実測値との類似度の平均値が、人物ｋ２のセンサデータの実測値との類似度の平均値より大きく、所定の閾値を超えるものとする。この場合に、人物ｊと人物ｋ１とが同一人物と判定され、人物ｊの識別情報は人物ｋ１の識別情報と同一と特定される。
【００４４】
特定部１５ｄは、人物ｊと人物ｋとのすべての組み合わせについて、上記の処理を行って、映像中の人物の識別情報を特定する。なお、人物ｊについて、同一人物と判定される人物ｋがいない場合には、部外者と判定される。また、特定部１５ｄは、すべての映像ｎについて、上記の処理を行って、各映像ｎ中の人物の識別情報を特定する。
【００４５】
図１の説明に戻る。判定部１５ｅは、複数の映像のそれぞれに映る人物の位置を監視範囲Ｒ内の位置に変換した場合に重畳する同一の人物の識別情報として、変換前に特定された各映像中の人物の識別情報のうち重複する数が多いものを判定する。
【００４６】
具体的に、図９および図１０を参照して、判定部１５ｅの処理について説明する。判定部１５ｅは、記憶部１４の変換式あるいは変換表を参照し、各映像ｎ中の人物映像ｉｎのローカルピクセル座標上のローカルピクセル位置ｘｉｎを、監視範囲Ｒ内のグローバルピクセル座標上のグローバルピクセル位置ｈｉに変換する。
【００４７】
その際、判定部１５ｅは、必ずしも各映像の画角内のローカルピクセル座標点の全てをグローバルピクセル座標上に変換しなくてもよい。人物映像のローカルピクセル位置を変換すれば足り、その他の座標点は後に補完してもよい。
【００４８】
また、各映像中の人物映像のローカルピクセル位置は、上記したように、各人物映像の頭部エリアの重心点等の代表点であるため、同一人物の人物映像であっても変換したグローバルピクセル位置が同一になるとは限らない。したがって、同一人物の人物映像は、変換したグローバルピクセル位置が同一または所定の閾値以内の距離の近傍の位置で重畳する。
【００４９】
図９に示す例では、映像センサＣ１の映像１のローカルピクセル位置ｘ１１と、映像センサＣ２の映像２のローカルピクセル位置ｘ１２とがグローバルピクセル位置ｘｈ１の近傍に変換される。また、映像１のローカルピクセル位置ｘ２１、映像２のローカルピクセル位置ｘ２２、および映像センサＣ３の映像３のローカルピクセル位置ｘ２３がグローバルピクセル位置ｘｈ２の近傍に変換される。
【００５０】
次に、判定部１５ｅは、特定部１５ｄが各映像ｎで特定した人物映像の識別情報のうち重複する数が多いものを、グローバルピクセル位置ｘｈｉの人物の識別情報として判定する。図９に示す例において、グローバルピクセル位置ｘｈ１の人物ｈ１は、映像１および映像２で、モバイル端末ｍ１を所持する識別情報ＩＤ１の人物と特定されている。この場合に、図１０に例示するように、判定部１５ｅは、グローバルピクセル位置ｘｈ１の人物ｈ１は、モバイル端末ｍ１を所持する識別情報ＩＤ１の人物と判定する。
【００５１】
一方、グローバルピクセル位置ｘｈ２の人物ｈ２は、映像１および映像２では、モバイル端末ｍ２を所持する識別情報ＩＤ２の人物と特定されているが、映像３では、モバイル端末ｍ３を所持する識別情報ＩＤ３の人物と特定されている。この場合に、図１０に例示するように、判定部１５ｅは、グローバルピクセル位置ｘｈ２の人物ｈ２は、モバイル端末ｍ２を所持する識別情報ＩＤ２の人物と判定する。このようにして、判定部１５ｅは、人物の識別情報を特定してこの人物の移動軌跡を追跡することが可能となる。
【００５２】
また、判定部１５ｅは、判定した人物の識別情報を出力部１２に出力する。例えば、判定部１５ｅは、各映像センサＣによる映像に、識別した人物のローカルピクセル位置に重畳してこの人物の識別情報を表示するように制御する。これにより、例えば、関係者以外は立ち入り禁止の区域を監視する管理者等の利用者の利便性が向上する。
【００５３】
［監視処理］
次に、図１１を参照して、本実施形態に係る監視装置１による監視処理について説明する。図１１は、監視処理手順を示すフローチャートである。図１１のフローチャートは、例えば、監視処理の開始を指示する操作入力があったタイミングで開始される。
【００５４】
取得部１５ａが、同一時刻に、所定の監視範囲Ｒ内を異なる場所から撮影した複数の映像と、該監視範囲Ｒ内の人物を識別して検知したセンサデータとを取得する（ステップＳ１）。
【００５５】
次に、訓練部１５ｂが、取得された映像のそれぞれに映る同一の人物の位置と、同時に取得された該人物を検知したセンサデータとを組み合わせた訓練データ１４ａを生成する（ステップＳ２）。
【００５６】
その後、取得部１５ａが、同一時刻に、所定の監視範囲Ｒ内を異なる場所から撮影した複数の映像と、該監視範囲Ｒ内の人物を識別して検知したセンサデータとを、連続する時系列に取得する（ステップＳ３）。
【００５７】
また、推定部１５ｃが、訓練データ１４ａに基づいて、取得された映像のそれぞれに映る人物の位置におけるセンサデータの推定値を算出する。また、特定部１５ｄが、算出された推定値と、取得された映像と同時に取得されたセンサデータとの類似度の時系列変化に基づいて、該映像中の人物の識別情報を特定する（ステップＳ４）。
【００５８】
また、判定部１５ｅが、複数の映像のそれぞれに映る人物の位置を監視範囲Ｒ内のグローバルピクセル位置に変換した場合に重畳する同一の人物の識別情報として、変換前に特定された各映像中の人物の識別情報のうち重複する数が多いものを判定する（ステップＳ５）。また、判定部１５ｅが、各映像に判定した人物の識別情報を重畳して出力部１２に出力し、監視範囲Ｒ内の人物を特定してその行動を監視する。これにより、一連の監視処理が終了する。
【００５９】
以上、説明したように、本実施形態の監視装置１において、取得部１５ａが、同一時刻に、所定の監視範囲Ｒ内を異なる場所から撮影した複数の映像と、該監視範囲Ｒ内の人物を識別して検知したセンサデータとを取得する。また、訓練部１５ｂが、取得された映像のそれぞれに映る同一の人物の位置と、同時に取得された該人物を検知したセンサデータとを組み合わせた訓練データ１４ａを生成する。
【００６０】
また、推定部１５ｃが、訓練データ１４ａに基づいて、連続する時系列に取得された映像のそれぞれに映る人物の位置におけるセンサデータの推定値を算出する。また、特定部１５ｄが、算出された推定値と、取得された映像と同時に取得されたセンサデータとの類似度の時系列変化に基づいて、該映像中の人物の識別情報を特定する。また、判定部１５ｅが、複数の映像のそれぞれに映る人物の位置を監視範囲Ｒ内のグローバルピクセル位置に変換した場合に重畳する同一の人物の識別情報として、変換前に特定された各映像中の人物の識別情報のうち重複する数が多いものを判定する。
【００６１】
これにより、人物の特定が曖昧なセンサと組み合わせて、多視点から撮影された映像中の人物を簡易に特定して行動を監視することができる。例えば、各人物につき、複数のカメラの映像のそれぞれにおける位置の組み合わせを基に同一人物を特定する場合には、「検知された人数」の「カメラの台数」乗のオーダーの計算量が必要になる。すなわち、カメラの台数が増加するに従い、指数関数的に計算量が増加する。これに対し、本実施形態の監視処理によれば、各映像において人物を特定するので、「検知された人数」と「カメラの台数」との積のオーダーの計算量で人物を特定できる。
【００６２】
また、取得部１５ａは、監視範囲Ｒ内の人物を、該人物に対する撮影方向および該人物までの距離が異なる複数の場所から撮影した映像を取得する。これにより、各映像センサＣの撮影範囲が重複する範囲ができ、重複範囲にいる人物を複数の映像センサＣで撮影した複数の映像を取得できる。また、一部の映像センサＣと人物との間に障害物があり映像上で人物の追跡が困難な場合にも、他の映像センサＣが撮影した映像を用いて人物の検知の精度の低下を抑止できる。また、例えば、一部の映像センサＣからの距離が近すぎて映像上でこの人物の移動速度が大きくなり、この人物の映像上での検知精度が低下した場合にも、他の映像センサＣが撮影した映像を用いて人物の識別の精度の低下を抑止できる。反対に、一部の映像センサＣからの距離が遠すぎて映像上での人物の移動速度が小さくなり、この人物の映像上での検知精度が低下した場合にも、他の映像センサＣが撮影した映像を用いて人物の識別の精度の低下を抑止できる。このように、確度高く人物を識別することが可能となる。
【００６３】
また、判定部１５ｅは、識別した人物の識別情報を出力部１２に出力する。例えば、識別した人物の位置に重畳してこの人物の識別情報を表示するように制御する。これにより、例えば、関係者以外は立ち入り禁止の区域を監視する管理者等の利用者の利便性が向上する。
【００６４】
［プログラム］
上記実施形態に係る監視装置１が実行する処理をコンピュータが実行可能な言語で記述したプログラムを作成することもできる。一実施形態として、監視装置１は、パッケージソフトウェアやオンラインソフトウェアとして上記の監視処理を実行する監視プログラムを所望のコンピュータにインストールさせることによって実装できる。例えば、上記の監視プログラムを情報処理装置に実行させることにより、情報処理装置を監視装置１として機能させることができる。ここで言う情報処理装置には、デスクトップ型またはノート型のパーソナルコンピュータが含まれる。また、その他にも、情報処理装置にはスマートフォン、携帯電話機やＰＨＳ（Personal  Handyphone  System）などの移動体通信端末、さらには、ＰＤＡ（Personal  Digital  Assistants）などのスレート端末などがその範疇に含まれる。また、ユーザが使用する端末装置をクライアントとし、当該クライアントに上記の監視処理に関するサービスを提供するサーバ装置として実装することもできる。例えば、監視装置１は、所定の監視範囲内を撮影した複数の映像およびビーコン受信システムが受信したセンサデータを入力とし、識別された人物の位置と識別情報とを出力する監視処理サービスを提供するサーバ装置として実装される。この場合、監視装置１は、Ｗｅｂサーバとして実装することとしてもよいし、アウトソーシングによって上記の監視処理に関するサービスを提供するクラウドとして実装することとしてもかまわない。以下に、監視装置１と同様の機能を実現する監視プログラムを実行するコンピュータの一例を説明する。
【００６５】
図１２に示すように、監視プログラムを実行するコンピュータ１０００は、例えば、メモリ１０１０と、ＣＰＵ１０２０と、ハードディスクドライブインタフェース１０３０と、ディスクドライブインタフェース１０４０と、シリアルポートインタフェース１０５０と、ビデオアダプタ１０６０と、ネットワークインタフェース１０７０とを有する。これらの各部は、バス１０８０によって接続される。
【００６６】
メモリ１０１０は、ＲＯＭ（Read  Only  Memory）１０１１およびＲＡＭ１０１２を含む。ＲＯＭ１０１１は、例えば、ＢＩＯＳ（Basic  Input  Output  System）等のブートプログラムを記憶する。ハードディスクドライブインタフェース１０３０は、ハードディスクドライブ１０３１に接続される。ディスクドライブインタフェース１０４０は、ディスクドライブ１０４１に接続される。ディスクドライブ１０４１には、例えば、磁気ディスクや光ディスク等の着脱可能な記憶媒体が挿入される。シリアルポートインタフェース１０５０には、例えば、マウス１０５１およびキーボード１０５２が接続される。ビデオアダプタ１０６０には、例えば、ディスプレイ１０６１が接続される。
【００６７】
ここで、図１２に示すように、ハードディスクドライブ１０３１は、例えば、ＯＳ１０９１、アプリケーションプログラム１０９２、プログラムモジュール１０９３およびプログラムデータ１０９４を記憶する。上記実施形態で説明した各テーブルは、例えばハードディスクドライブ１０３１やメモリ１０１０に記憶される。
【００６８】
また、監視プログラムは、例えば、コンピュータ１０００によって実行される指令が記述されたプログラムモジュール１０９３として、ハードディスクドライブ１０３１に記憶される。具体的には、上記実施形態で説明した監視装置１が実行する各処理が記述されたプログラムモジュール１０９３が、ハードディスクドライブ１０３１に記憶される。
【００６９】
また、監視プログラムによる情報処理に用いられるデータは、プログラムデータ１０９４として、例えば、ハードディスクドライブ１０３１に記憶される。そして、ＣＰＵ１０２０が、ハードディスクドライブ１０３１に記憶されたプログラムモジュール１０９３やプログラムデータ１０９４を必要に応じてＲＡＭ１０１２に読み出して、上述した各手順を実行する。
【００７０】
なお、監視プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ハードディスクドライブ１０３１に記憶される場合に限られず、例えば、着脱可能な記憶媒体に記憶されて、ディスクドライブ１０４１等を介してＣＰＵ１０２０によって読み出されてもよい。あるいは、監視プログラムに係るプログラムモジュール１０９３やプログラムデータ１０９４は、ＬＡＮやＷＡＮ（Wide  Area  Network）等のネットワークを介して接続された他のコンピュータに記憶され、ネットワークインタフェース１０７０を介してＣＰＵ１０２０によって読み出されてもよい。
【００７１】
以上、本発明者によってなされた発明を適用した実施形態について説明したが、本実施形態による本発明の開示の一部をなす記述および図面により本発明は限定されることはない。すなわち、本実施形態に基づいて当業者等によりなされる他の実施形態、実施例および運用技術等は全て本発明の範疇に含まれる。
【符号の説明】
【００７２】
１  監視装置
１１  入力部
１２  出力部
１３  通信制御部
１４  記憶部
１４ａ  訓練データ
１５  制御部
１５ａ  取得部
１５ｂ  訓練部
１５ｃ  推定部
１５ｄ  特定部
１５ｅ  判定部
Ｂ  無線信号発信機
Ｃ  映像センサ
Ｒ  監視範囲
ｈ  人物
【図１】
2018061114.tif 000003
【図２】
2018061114.tif 000004
【図３】
2018061114.tif 000005
【図４】
2018061114.tif 000006
【図５】
2018061114.tif 000007
【図６】
2018061114.tif 000008
【図７】
2018061114.tif 000009
【図８】
2018061114.tif 000010
【図９】
2018061114.tif 000011
【図１０】
2018061114.tif 000012
【図１１】
2018061114.tif 000013
【図１２】
2018061114.tif 000014