(57)【要約】【課題】複数のシステムを連携させる連携システムにおいて、システム連携に関するデータの演算量およびデータトラフィックの量を低減する。【解決手段】連携システムサーバ７００は、撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる。連携システムサーバ７００は、監視システムおよび移動体管理システムのそれぞれから映像処理結果を取得する映像処理結果取得部７０２と、監視システムおよび移動体管理システムのそれぞれから取得した映像処理結果を統合することで、監視システムと移動体管理システムとの連携の統合結果を生成する連携処理結果統合部７０８とを有する。【選択図】図７
2020145652.tif 000002
【特許請求の範囲】
【請求項１】
撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに該撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる連携システムであって、
前記監視システムおよび前記移動体管理システムのそれぞれから映像処理結果を取得する映像処理結果取得部と、
前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果を統合することで、前記監視システムと前記移動体管理システムとの連携の統合結果を生成する連携処理結果統合部と
を有することを特徴とする連携システム。
【請求項２】
前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果をもとに、前記監視システムと前記移動体管理システムとの連携処理を行うか否かを判定する連携処理判定部と、
前記連携処理を行うと判定された場合に、前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果に基づいて、前記監視システムと前記移動体管理システムとの連携を、前記監視システムまたは前記移動体管理システムのいずれかを依頼先として依頼する連携処理依頼を生成する連携処理依頼生成部と、
前記連携処理依頼生成部により生成された連携処理依頼を、前記依頼先に送信する連携処理依頼送信部と
を有し、
前記連携処理結果統合部は、前記連携処理依頼に応じた連携処理結果である、前記依頼先による新たに撮影された映像の映像処理結果をもとに前記統合結果を生成する
ことを特徴とする請求項１に記載の連携システム。
【請求項３】
前記連携処理判定部は、前記監視システムから取得した第１の映像処理結果および前記連携システムから取得した第２の映像処理結果をもとに、前記連携処理を行うか否かを判定し、
前記連携処理依頼生成部は、前記連携処理を行うと判定された場合に、前記第１の映像処理結果および前記第２の映像処理結果に基づいて、前記連携処理を前記監視システムに依頼する第１の連携処理依頼を生成し、
前記連携処理依頼送信部は、前記第１の連携処理依頼を前記監視システムに送信し、
前記連携処理結果統合部は、前記第１の連携処理依頼に応じた前記監視システムによる新たに撮影された映像の第３の映像処理結果を、前記第２の映像処理結果と統合して前記統合結果を生成する
ことを特徴とする請求項２に記載の連携システム。
【請求項４】
前記連携処理判定部は、前記監視システムから取得した第１の映像処理結果および前記連携システムから取得した第２の映像処理結果をもとに、前記連携処理を行うか否かを判定し、
前記連携処理依頼生成部は、前記連携処理を行うと判定された場合に、前記第１の映像処理結果および前記第２の映像処理結果に基づいて、前記連携処理を前記移動体管理システムに依頼する第２の連携処理依頼を生成し、
前記連携処理依頼送信部は、前記第２の連携処理依頼を前記移動体管理システムに送信し、
前記連携処理結果統合部は、前記第２の連携処理依頼に応じた前記移動体管理システムによる新たに撮影された映像の第４の映像処理結果を、前記第１の映像処理結果と統合して前記統合結果を生成する
ことを特徴とする請求項２に記載の連携システム。
【請求項５】
前記連携処理判定部は、
前記統合結果に含める項目に基づいて、前記取得した映像処理結果をもとに前記連携処理を行うか否かを判定することを特徴とする請求項２に記載の連携システム。
【請求項６】
前記連携処理依頼は、前記依頼先による映像取得範囲を含むことを特徴とする請求項２に記載の連携システム。
【請求項７】
前記連携処理依頼生成部は、
前記連携処理を行うと判定された場合であっても、連携可能な映像処理結果が既に存在するときには前記連携処理依頼を生成せず、
前記連携処理結果統合部は、
前記連携可能な映像処理結果をもとに前記統合結果を生成することを特徴とする請求項２に記載の連携システム。
【請求項８】
前記統合結果を表示部に表示することを特徴とする請求項２に記載の連携システム。
【請求項９】
撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに該撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる連携システムが行うシステム連携方法であって、
前記連携システムの映像処理結果取得部が、前記監視システムおよび前記連携システムのそれぞれから映像処理結果を取得し、
前記連携システムの連携処理結果統合部が、前記監視システムおよび前記連携システムのそれぞれから取得した映像処理結果を統合することで、前記監視システムと前記移動体管理システムとの連携の統合結果を生成する
各処理を含んだことを特徴とするシステム連携方法。
【請求項１０】
撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに該撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる連携プログラムにおいて、
コンピュータを、
前記監視システムおよび前記移動体管理システムのそれぞれから映像処理結果を取得する映像処理結果取得部と、
前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果を統合することで、前記監視システムと前記移動体管理システムとの連携の統合結果を生成する連携処理結果統合部と
して機能させるための連携プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連携システム、システム連携方法、および連携プログラムに関する。
【背景技術】
【０００２】
従来、ビルや店舗等の施設を監視する場合、監視員による巡回だけではなく、監視カメラを用いて映像を撮影、監視システムで集約し施設の状態を把握するという手段がとられている。また、監視カメラなどで撮影した映像に対して映像処理を行い、その中に映っている人物を特定する、不審な行動を検知する、映像の中に映っている物体を検出するといった手法が存在する。これにより、監視カメラで収集した映像に対して映像処理を行い、現場に人がいない状態でも、特定の人物を捜索する、不審な行動を検知するといったことが自動でできるようになってきている。
【０００３】
監視カメラを用いる場合は、位置が固定となっているため、あらかじめ死角が内容に設置した場合でも、パーティションといった動かすことのできる障害物によって死角が生じてしまうことがから、ロボット等の移動体を用いて監視カメラを補完するといった手法が存在している（例えば特許文献１参照）。特許文献１には、監視カメラから特定の人物を検出し、その人物がいる場所を通るように移動体の巡回経路を定め、映像の撮影を行うという技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５６７４４０６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示のような、監視カメラを用いた監視システムとロボットのような移動体を連携させた監視システムでは、あらかじめ監視システムと移動体の管理システムを連携させる前提でシステムを構築している。そのため、既存の監視システムに対して移動体管理システムを追加し、映像解析処理を連携させようとした場合、移動体管理システムと既存の監視システムとの間でデータを相互にやり取りし映像解析処理を実施することになるため、映像解析のためのデータの演算量が増大し、データトラフィックの量も増大するという問題がある。
【０００６】
本発明は、以上の点を考慮してなされたもので、例えば、複数のシステムを連携させる連携システムにおいて、システム連携に関するデータの演算量およびデータトラフィックの量を低減することを一つの目的とする。
【課題を解決するための手段】
【０００７】
かかる課題を解決するため本発明においては、例えば、連携システムは、撮影部により撮影された映像の映像処理結果をもとに監視を行う監視システムと、移動しながら映像を撮影する撮影機能を有する移動体の動作を管理するとともに該撮影機能により撮影された映像の映像処理結果をもとに監視を行う移動体管理システムと、を連携させる。連携システムは、前記監視システムおよび前記移動体管理システムのそれぞれから映像処理結果を取得する映像処理結果取得部と、前記監視システムおよび前記移動体管理システムのそれぞれから取得した映像処理結果を統合することで、前記監視システムと前記移動体管理システムとの連携の統合結果を生成する連携処理結果統合部とを有する。
【発明の効果】
【０００８】
本発明によれば、例えば、複数のシステムを連携させる連携システムにおいて、システム連携に関するデータの演算量およびデータトラフィックの量を低減することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例の監視システムと移動体管理システムとを連携させたシステムの概要構成の一例を示す図。
【図２】実施例の監視システムと移動体管理システムとを連携させたシステムの構成の一例を示す図。
【図３】レコーダの構成の一例を示す図。
【図４】ロボットの構成の一例を示す図。
【図５】監視システムサーバの構成の一例を示す図。
【図６】ロボットシステムサーバの構成の一例を示す図。
【図７】連携システムサーバの構成の一例を示す図。
【図８】監視カメラ情報テーブルの一例を示す図。
【図９】テナント地図情報の一例を示す図。
【図１０】ロボット情報テーブルの一例を示す図。
【図１１】人物差分検出結果情報テーブルの一例を示す図。
【図１２】異物検知結果情報テーブルの一例を示す図。
【図１３】連携処理情報テーブルの一例を示す図。
【図１４】連携処理統合結果情報テーブルの一例を示す図。
【図１５】実施例の監視システムを用いた監視処理の一例を示すフローチャート。
【図１６】実施例のロボットシステムサーバを用いたロボット管理処理の一例を示すフローチャート。
【図１７】人物差分検出処理の一例をフローチャート。
【図１８】異物検知処理の一例を示すフローチャート。
【図１９】実施例の連携システムサーバを用いたシステム間連携処理の一例を示すフローチャート。
【図２０】実施例の監視システムのモニタ表示画面の一例を示す図。
【図２１】監視システムサーバ、ロボットシステムサーバ、連携システムサーバを実現するコンピュータの一例を示す図。
【発明を実施するための形態】
【００１０】
以下、図面に基づき、本発明の実施例を詳述する。なお、以下の説明により本発明が限定されるものではない。
【００１１】
本明細書における各図面は一例を示すものである。本明細書において、各図面の同一参照番号は、同一あるいは類似の構成または処理を示し、後出の実施例の説明では前出の実施例との差分のみを説明し、後出の説明が省略される場合がある。また、各実施例および各変形例は、本発明の技術思想の範囲内かつ整合する範囲内で一部または全部を組合せることができる。
【００１２】
以下の実施例で説明する各種情報は、テーブル形式に限定されず、適切な各種データ形式にて、揮発性または不揮発性の記憶装置の所定の記憶領域に格納される。
【００１３】
以下の実施例では、監視カメラを用いた施設の監視システムと、サービスロボットのような移動体を制御する移動体管理システムとの連携方法を例示する。しかし、本発明はこれに限定されず、それぞれの処理結果を統合することで情報を補完または拡張することができる複数のシステムの連携にも適用可能である。
【実施例】
【００１４】
＜連携システムの概要＞
図１は、実施例の監視システムと移動体管理システムとを連携させたシステムの概要構成の一例を示す図である。図１を参照して、本実施例に係る連携システムについて説明する。本実施例では、監視カメラを用いた既存の監視システムの人物差分検出処理に、ロボットシステムの異物検知処理を追加し、これらのシステムを連携システムにより連携させ、遺失物（落とし物）の落とし主を特定する例を説明する。ただし、連携させる内容はこれに限られるものではない。また、本実施例では、移動体としてサービスロボットを用いるが、これに限られるものではない。
【００１５】
図１は、ビルや商業施設といったテナント１００があり、そこに複数の監視カメラ１０１−１〜１０１−ｎ、複数の移動体１０２−１〜１０２−ｎが存在する概要を示す図である。これらがネットワーク１１０を介して、監視システムサーバ５００、移動体管理サーバ６００ａと相互に接続される。監視システムは、監視システムサーバ５００および監視カメラ１０１−１〜１０１−ｎを含む。移動体システムは、移動体管理サーバ６００ａおよび移動体１０２−１〜１０２−ｎを含む。また、連携システムサーバがネットワークを介して監視システムサーバ５００、移動体管理サーバ６００ａと相互に接続される。
【００１６】
＜連携システムの構成＞
図２は、実施例の監視システムと移動体管理システムとを連携させたシステムの構成の一例を示す図である。図２は、図１と同様に、ビルや商業施設といったテナント１００があり、テナント１００の中に複数の監視カメラ２０１−１〜２０１−ｎ、複数のロボット４００−１〜４００−ｎが存在していることを示している。監視システムは、監視システムサーバ５００および監視カメラ２０１−１〜２０１−ｎを含む。ロボットシステムは、ロボットシステムサーバ６００およびロボット４００−１〜４００−ｎを含む。
【００１７】
監視カメラ２０１−１〜２０１−ｎは、映像を蓄積するレコーダ３００が接続されている。レコーダ３００は、ルータ２１０を介してネットワーク１１０と接続されている。監視システムサーバ５００は、ネットワーク１１０、ルータ２１０を介してレコーダ３００と接続されている。ロボット４００−１〜ロボット４００−ｎは、ルータ２２０を介してネットワーク１１０と接続されている。ロボットシステムサーバ６００は、ネットワーク１１０、ルータ２２０を介してロボット４００−１〜ロボット４００−ｎと接続されている。連携システムサーバ７００は、ネットワーク１１０を介して監視システムサーバ５００、ロボットシステムサーバ６００と接続されている。
【００１８】
＜レコーダの構成＞
図３は、レコーダの構成の一例を示す図である。レコーダ３００は、通信インターフェース部３０１を有し、通信インターフェース部３０１を介して監視カメラ２０１−１〜２０１−ｎ（ｎは所定の正整数）、ルータ２１０と接続している。レコーダ３００は、監視カメラ２０１−１〜２０１−ｎから映像を取得する映像取得部３０２と、取得した映像を保存する映像保存部３０３を有し、映像保存部３０３に映像情報３０７として蓄積する。また、レコーダ３００は、ネットワーク１１０を介して監視システムサーバ５００から映像取得処理の実行指示を受け付ける映像取得処理受付部３０４と、映像保存部３０３に保存されている映像情報３０７から指定された映像を読み出す映像取得処理部３０５と、映像保存部３０３から取得した映像を監視システムサーバ５００に送信する映像送信部３０６を有する。
【００１９】
＜ロボットの構成＞
図４は、ロボットの構成の一例を示す図である。図４は、ロボット４００−１〜４００−ｎの構成図を示す。ロボット４００−１〜４００−ｎは同じ構成であり、ここでは代表してロボット４００−１の構成を説明する。
【００２０】
ロボット４００−１は内部の通信インターフェース部４０１を介してルータ２２０と接続されている。ロボット４００−１は、カメラ４０２で映像を取得し、マイク４０３で音声を取得し、データ送信部４０７によりネットワーク１１０を介して、取得した映像および音声をロボットシステムサーバ６００に送信する。また、この際、取得された映像は、映像情報４０８に蓄積され、取得された音声は音声情報４０９に蓄積される。
【００２１】
ロボット４００−１は、ネットワーク１１０を介してロボットシステムサーバ６００からの動作指示を動作指示受付部４０４で受信し、受信した指示を動作指示解析部４０５で解析し、動作指示の解析結果に応じてロボット動作制御部４０６でロボットを操作する。
【００２２】
＜監視システムサーバの構成＞
図５は、監視システムサーバの構成の一例を示す図である。監視システムサーバ５００は、通信インターフェース部５０１を介してネットワーク１１０と接続され、レコーダ３００、連携システムサーバ７００と通信を行う。監視システムサーバ５００は、映像取得制御部５０３からの指示によりレコーダ３００に映像取得処理指示を送信し、映像受信部５０２で映像取得処理指示に応じた映像を受信し、受信した映像を取得映像情報５１５として保存する。
【００２３】
監視システムサーバ５００は、画面生成部５０７により、取得映像情報５１５、映像処理結果情報５１１、連携処理統合結果情報５１２をもとに所定の画面を生成し、画面出力部５０８によって出力装置５１４に、生成した所定の画面を出力する。
【００２４】
また、監視システムサーバ５００は、映像解析処理として、ある地点の映像と別の地点の映像で映っている特定の人物に対してその人物が持っている物の差分を出力する人物差分検出処理部５０４と、映像に映っている人物の年齢、性別、服装を出力する人物特徴量抽出処理部５０５と、映像に映っている物体を検出する物体検出処理部５０６と有する。監視システムサーバ５００は、人物差分検出処理部５０４、人物特徴量抽出処理部５０５、および物体検出処理部５０６の各処理結果を映像処理結果情報５１１として保存する。
【００２５】
タスク受付部５０９は入力装置５１３ないし、ネットワーク１１０を介した映像取得処理依頼、映像解析処理依頼、画面生成依頼、処理結果保存依頼を受け付け、タスク制御部５１０で前記の処理を実行する。また、監視システムサーバ５００はタスク受付部５０９で連携システムサーバ７００から受信した連携処理統合結果情報テーブル１４００を連携処理統合結果情報５１２として保存している。
【００２６】
また、監視システムサーバ５００は、監視システムサーバ５００が管理する監視カメラ２０１−１〜２０１−ｎに関する情報を登録している監視カメラ情報テーブル８００と、テナント地図情報９００とを有する。また、監視システムサーバ５００は、通信インターフェース部５０１を介して、入力装置５１３と出力装置５１４とが接続されている。
【００２７】
＜ロボットシステムサーバの構成＞
図６は、ロボットシステムサーバの構成の一例を示す図である。ロボットシステムサーバ６００は、通信インターフェース部６０１を介してネットワーク１１０と接続され、ロボット４００−１〜４００−ｎ、連携システムサーバ７００と通信を行う。
【００２８】
ロボットシステムサーバ６００は、ロボット４００−１〜４００−ｎにより取得された映像を映像受信部６０２で受信し、取得映像情報６１６として保存する。同様に、ロボットシステムサーバ６００は、ロボット４００−１〜４００−ｎにより取得された音声を音声受信部６０３で受信し、取得音声情報６１７として保存する。
【００２９】
ロボット動作指示生成部６０６は、ロボット映像処理部６０４からの対面者有無の情報、ロボット音声対話処理部６０５からの取得音声のテキスト化情報、ロボット４００−１〜４００−ｎの動作の流れを定義したロボット動作定義部６１２、ロボット４００−１〜４００−ｎへの音声入力に対して応答する内容を定義しているロボット対話定義部６１３の情報から、次にロボット４００−１〜４００−ｎに実行させる動作指示を生成する。そして、ロボット動作指示生成部６０６は、ロボット動作指示送信部６０７によりロボット４００−１〜４００−ｎに対して動作指示を送信する。
【００３０】
ロボットシステムサーバ６００は、映像解析処理として、過去に撮影した映像に映っていなかった物体を検知する異物検知処理部６０８と、映像内に映っている物体を検出する物体検出処理部６０９とを有する。ロボットシステムサーバ６００は、映像解析処理結果を映像処理結果情報６１４として保存する。なお、映像解析の実行有無は、ロボット動作定義部６１２に記述されている。
【００３１】
タスク受付部６１０は、入力装置６１８またはネットワーク１１０を介して、ロボット動作指示もしくは映像解析処理の指示を受け付ける。タスク制御部６１１は、タスク受付部６１０で受け付けたロボット動作指示もしくは映像解析処理の指示に応じた処理を実行する。
【００３２】
また、ロボットシステムサーバ６００は、テナント地図情報９００と、ロボット４００−１〜４００−ｎの稼働情報を管理するロボット情報テーブル１０００とを有する。また、ロボットシステムサーバ６００は、通信インターフェース部６０１を介して、入力装置６１８と出力装置６１９とが接続されている。
【００３３】
＜連携システムサーバの構成＞
図７は、連携システムサーバの構成の一例を示す図である。連携システムサーバ７００は、通信インターフェース部７０１を通してネットワーク１１０と接続され、監視システムサーバ５００、ロボットシステムサーバ６００と通信を行う。
【００３４】
映像処理結果取得部７０２は、定期的に監視システムサーバ５００、ロボットシステムサーバ６００から映像処理結果情報５１１、映像処理結果情報６１４を取得し、映像処理結果情報７０９として保存する。
【００３５】
連携処理判定部７０３は、映像処理結果情報７０９をもとに連携処理を実施するか判断を行う。連携処理依頼生成部７０４は、連携処理を行う場合に、監視システムサーバ５００、ロボットシステムサーバ６００に送信する処理依頼を生成する。連携処理依頼送信部７０５は、連携処理依頼を監視システムサーバ５００、ロボットシステムサーバ６００に送信する。連携処理依頼制御部７０６は、連携処理依頼を送信した連携処理情報７１０を管理し、映像処理結果取得部７０２が取得した映像処理結果情報７０９をもとに連携処理が終了したかを確認する。
【００３６】
連携処理結果統合部７０８は、連携処理依頼を行った結果である映像処理結果情報７０９を統合して、監視システムと移動体管理システムとの連携の統合結果を生成し、連携処理統合結果情報７１２として保存する。連携処理統合結果送信部７１３は、連携処理統合結果情報７１２を監視システムサーバ５００へ送信する。
【００３７】
また、連携システムサーバ７００は、監視システムサーバ５００に接続されている監視カメラ２０１−１〜２０１−ｎに関する情報を含む監視カメラ情報テーブル８００と、テナント地図情報９００を有する。また、連携システムサーバ７００は、通信インターフェース部７０１を介して、入力装置７１６と出力装置７１７とが接続されている。
【００３８】
＜監視カメラ情報テーブル＞
図８は、監視カメラ情報テーブルの一例を示す図である。以下において、監視カメラ２０１−１〜２０１−ｎを区別せずに、監視カメラ２０１と総称する場合がある。監視カメラ情報テーブル８００が有するカラムのうち、カメラＩＤ８０１は、監視カメラ２０１を表すユニークなＩＤである。また、設置位置座標８０２は、当該監視カメラ２０１が設置されているテナント地図情報９００上の位置座標を表す。また、撮影方向８０３は、当該監視カメラ２０１の撮影方向がいずれの方向を向いているかを、基準方向に対する角度情報を表す。
【００３９】
＜テナント地図情報＞
図９は、テナント地図情報の一例を示す図である。テナント地図情報９００は、当該テナント内の設備の配置位置を示し、位置ごとに図９に示す当該テナントのＸＹ平面視における２次元座標（Ｘ，Ｙ）で表される形式となっている。図９の中では、例えば、左下隅が原点（０，０）であり、星印地点の座標が(１，１)である場合を例示している。
【００４０】
＜ロボット情報テーブル＞
図１０は、ロボット情報テーブルの一例を示す図である。以下において、ロボット４００−１〜４００−ｎを区別しない場合として、ロボット４００と称す。ロボット情報テーブル１０００が有するカラムのうち、ロボットＩＤ１００１は個別のロボット４００を識別するユニークなＩＤであり、現在位置１００２は当該ロボット４００のテナント地図情報９００上の現在位置の座標を表す。また、実行中動作指示１００３は、当該ロボット４００が現在実施中のタスクを表す。
【００４１】
＜人物差分検出結果情報テーブル＞
図１１は、人物差分検出結果情報テーブルの一例を示す図である。人物差分検出結果情報テーブル１１００は、映像処理結果情報５１１として人物差分検出処理部５０４から出力された処理結果を保存するテーブルである。
【００４２】
人物差分検出結果情報テーブル１１００が有するカラムのうち、ＩＤ１１０１は人物差分検出処理部５０４から出力された処理結果ごとのユニークなＩＤを表す。また、開始時刻１１０２は、人物差分検出処理部５０４が行った差分検出対象の映像の開始時刻を表す。また、終了時刻１１０３は、人物差分検出処理部５０４が行った差分検出対象の映像の終了時刻を表す。
【００４３】
また、人物特徴量１１０４は、人物差分検出処理部５０４が行った差分検出対象の映像から抽出した人物特徴量である年齢、性別、服装等の特徴量を表す。また、始点カメラ１１０５は、人物差分検出処理部５０４が人物差分検出処理を行った対象の映像を取得開始した監視カメラのカメラＩＤを表す。また、終点カメラ１１０６は、人物差分検出処理部５０４が人物差分検出処理を行った対象の映像を取得終了した監視カメラのカメラＩＤを表す。また、差分物体１１０７は、人物差分検出処理部５０４による人物差分検出処理で検知された、差分検出対象の人物が所持または身に着ける等の、対象差分物体の名称を表す。
【００４４】
＜異物検知結果情報テーブル＞
図１２は、異物検知結果情報テーブルの一例を示す図である。異物検知結果情報テーブル１２００は、映像処理結果情報６１４として異物検知処理部６０８から出力された結果を保存するテーブルである。異物検知結果情報テーブル１２００が有するカラムのうち、ＩＤ１２０１は、処理結果ごとのユニークなＩＤを表す。また、比較時刻１２０２は、異物検知時に比較を行った２つの時間帯の映像のうちの過去の映像の時刻を表す。また、検知時刻１２０３は、異物検知処理により異物検知がされた時刻を表す。また、位置１２０４は、異物を検知したテナント地図情報９００上の座標位置を表す。また、検知物体１２０５は、異物検知で検知された検知物体の名称を表す。
【００４５】
＜連携処理情報テーブル＞
図１３は、連携処理情報テーブルの一例を示す図である。連携処理情報テーブル１３００は、連携処理情報７１０を保存するテーブルである。連携処理情報テーブル１３００が有するカラムのうち、ＩＤ１３０１は、連携処理ごとのユニークなＩＤを表す。また、対象１３０２は、連携処理依頼を送信したシステムの名称を表す。また、依頼時刻１３０３は、連携処理依頼が送信された時刻を表す。また、連携情報ＩＤ１３０４は、連携処理依頼を生成した映像処理結果情報７０９のＩＤ１１０１（図１１参照）またはＩＤ１２０１（図１２参照）を表す。また、ステータス１３０５は、処理待ち、処理中、処理終了等の連携処理依頼の処理の進行状況を示すステータスを表す。
【００４６】
＜連携処理統合結果情報テーブル＞
図１４は、連携処理統合結果情報テーブルの一例を示す図である。連携処理統合結果情報テーブル１４００は、連携処理統合結果情報７１２を保存するテーブルである。本実施例では、監視システムサーバ５００の人物差分検出処理結果と、ロボットシステムサーバ６００の異物検知処理結果とを統合することで、落とし物と、落とし主情報とを統合した情報を生成する例を示す。
【００４７】
連携処理統合結果情報テーブル１４００が有するカラムのうち、ＩＤ１４０１は、連携する処理ごとのユニークなＩＤを表す。また、時刻１４０２は、人物差分検出結果情報テーブル１１００から得られる落とし主が落とし物をしたと考えられる時刻を表す。また、人物特徴量１４０３は、人物差分検出結果情報テーブル１１００から得られる落とし物をしたと考えられる人物の特徴量を表す。また、位置１４０４は、異物検知結果情報テーブル１２００から得られる落とし物が発見されたテナント地図情報９００上の位置座標を表す。また、物体１４０５は、落とし物として発見された物体の名称を表す。
【００４８】
＜監視システムを用いた監視処理＞
図１５は、実施例の監視システムを用いた監視処理の一例を示すフローチャートである。本処理は、監視を行う間にわたって継続実行される。
【００４９】
図１５は、監視カメラ２０１−１〜２０１−ｎ、レコーダ３００、監視システムサーバ５００を用いて監視を行う際のフローチャートを示す図である。
【００５０】
図１５に示すフローチャートは、レコーダ３００が実行するフロー１５００−１と、監視システムサーバ５００が実行するフロー１５００−２とを含む。フロー１５００−１は、ステップＳ１５１−１〜Ｓ１５３−１を含み、フロー１５００−２は、ステップＳ１５１−２〜Ｓ１５８−２を含む。
【００５１】
先ず、フロー１５００−１のステップＳ１５１−１では、レコーダ３００の映像取得部３０２は、監視カメラ２０１−１〜２０１−ｎから映像を取得し、レコーダ３００の映像保存部３０３で映像情報３０７として保存する。
【００５２】
他方、フロー１５００−２のステップＳ１５１−２では、監視システムサーバ５００のタスク受付部５０９は、入力装置５１３を介して監視員等により入力されたカメラＩＤ、時間帯、映像解析処理の有無等の指定を受け付ける。
【００５３】
ステップＳ１５１−２に続いてステップＳ１５２−２では、監視システムサーバ５００のタスク制御部５１０は、タスク受付部５０９から、入力装置５１３を介して入力されたカメラＩＤ、時間帯、映像解析の有無等の指定を含む映像取得依頼を受信する。そして、タスク制御部５１０は、映像取得制御部５０３を介して、受信した映像取得依頼をテナント１００上のレコーダ３００に対して送信する。
【００５４】
フロー１５００−１のステップＳ１５２−１では、レコーダ３００の映像取得処理受付部３０４は、監視システムサーバ５００から映像取得依頼を受信し、受信した映像取得依頼を映像取得処理部３０５に送信する。
【００５５】
ステップＳ１５２−１に続いてステップＳ１５３−１では、レコーダ３００の映像取得処理部３０５は、映像取得依頼で指定されたカメラＩＤおよび時間帯の映像を、映像保存部３０３に保存されている映像情報３０７から取得し、映像送信部３０６を介して監視システムサーバ５００に送信する。
【００５６】
フロー１５００−２のステップＳ１５３−２では、監視システムサーバ５００の映像受信部５０２は、レコーダ３００から受信した映像を、取得映像情報５１５として保存する。ステップＳ１５３−２に続いてステップＳ１５４−２では、監視システムサーバ５００の人物特徴量抽出処理部５０５は、映像解析を実行するか否かを確認する。人物特徴量抽出処理部５０５は、映像解析を実行する場合（ステップＳ１５４−２Ｙｅｓ）にステップＳ１５５−２に処理を移し、映像解析を実行しない場合（ステップＳ１５４−２Ｎｏ）にステップＳ１５７−２に処理を移す。
【００５７】
ステップＳ１５５−２では、人物差分検出処理部５０４、人物特徴量抽出処理部５０５、および物体検出処理部５０６は、図１７を参照して後述する人物差分検出処理１７００を実施する。ステップＳ１５５−２に続いてステップＳ１５６−２では、人物差分検出処理部５０４は、人物差分検出処理１７００の結果を映像処理結果情報５１１として保存する。
【００５８】
ステップＳ１５６−２に続いてステップＳ１５７−２では、監視システムサーバ５００の画面生成部５０７は、ステップＳ１５３−２で取得された映像を、ステップＳ１５６−２で保存された映像処理結果情報５１１が存在すればその情報とともに出力する画面を生成する。ステップＳ１５７−２に続いてステップＳ１５８−２では、画面出力部５０８は、ステップＳ１５７−２で生成された画面を出力装置５１４に出力する。
【００５９】
＜ロボットシステムサーバを用いたロボット管理処理＞
図１６は、実施例のロボットシステムサーバを用いたロボット管理処理の一例を示すフローチャートである。本処理は、監視を行う間にわたって継続実行される。
【００６０】
図１６は、ロボットシステムサーバ６００でロボット４００−１を動作させる際のフローチャートを示す図である。ロボット４００−１〜４００−ｎは、図１６に示すフローで同様に動作している。よって、図１６の説明では、ロボット４００−１を代表させて説明する。
【００６１】
図１６に示すフローチャートは、ロボット４００−１が実行するフロー１６００−１と、ロボットシステムサーバ６００が実行するフロー１６００−２とを含む。フロー１６００−１は、ステップＳ１６１−１〜Ｓ１６５−１を含み、フロー１６００−２は、ステップＳ１６１−２〜Ｓ１６８−２を含む。
【００６２】
先ず、フロー１６００−１のステップＳ１６１−１では、ロボット４００−１は、カメラ４０２から映像を取得して映像情報４０８として保存し、マイク４０３から音声を取得して音声情報４０９として保存する。ステップＳ１６１−１に続いてステップＳ１６２−１では、ロボット４００−１のデータ送信部４０７は、映像情報４０８および音声情報４０９をロボットシステムサーバ６００に送信する。
【００６３】
他方、フロー１６００−２のステップＳ１６１−２では、ロボットシステムサーバ６００の映像受信部６０２は、ロボット４００−１からの映像を取得して取得映像情報６１６として保存する。また、ロボットシステムサーバ６００の音声受信部６０３は、ロボット４００−１からの音声を取得して取得音声情報６１７として保存する。
【００６４】
ステップＳ１６１−２に続いてステップＳ１６２−２では、ロボットシステムサーバ６００のロボット映像処理部６０４は、取得映像情報６１６からロボット４００−１の動作指示生成に必要な対面者有無を生成し、ロボット動作指示生成部６０６に送信する。
【００６５】
ステップＳ１６２−２に続いてステップＳ１６３−２では、ロボット音声対話処理部６０５は、取得音声情報６１７からロボット４００−１が取得した音声をテキストに変換した音声対話処理結果情報６１５を生成し、ロボット動作指示生成部６０６に送信する。
【００６６】
ステップＳ１６３−２に続いてステップＳ１６４−２では、異物検知処理部６０８は、ロボット動作定義部６１２に記述された映像解析実行の有無を判定する。異物検知処理部６０８は、映像解析実行が有りの場合（ステップＳ１６４−２Ｙｅｓ）、ステップＳ１６５−２に処理を移し、映像解析実行が無しの場合（ステップＳ１６４−２Ｎｏ）、ステップＳ１６７−２に処理を移す。
【００６７】
ステップＳ１６５−２では、異物検知処理部６０８および物体検出処理部６０９は、図１８を参照して後述する異物検知処理１８００を実行する。ステップＳ１６５−２に続いてステップＳ１６６−２では、異物検知処理部６０８は、ステップＳ１６５−２での異物検知処理結果を映像処理結果情報６１４として保存する。
【００６８】
ステップＳ１６６−２に続いてステップＳ１６５−２では、ロボット動作指示生成部６０６は、ロボット映像処理部６０４の処理結果、ロボット音声対話処理部６０５の処理結果、ロボット動作定義部６１２の情報、およびロボット対話定義部６１３の情報をもとにロボット動作指示を決定し、生成する。
【００６９】
ステップＳ１６７−２に続いてステップＳ１６８−２では、ロボット動作指示送信部６０７は、ステップＳ１６７−２で生成されたロボット動作指示をロボット４００−１に送信する。
【００７０】
他方、フロー１６００−１のステップＳ１６３−１では、ロボット４００−１の動作指示受付部４０４は、ロボットシステムサーバ６００からのロボット動作指示を受信する。ステップＳ１６３−１に続いてステップＳ１６４−１では、動作指示解析部４０５は、ステップＳ１６３−１で受信したロボット動作指示をロボット４００−１が実行可能な形式に変換する。ステップＳ１６４−１に続いてステップＳ１６５−１では、ロボット動作制御部４０６は、実行可能な形式に変換されたロボット動作指示を動作指示解析部４０５から受信し、受信したロボット動作指示に従ってロボット４００−１の動作を実行および制御する。
【００７１】
＜人物差分検出処理＞
図１７は、人物差分検出処理の一例をフローチャートである。人物差分検出処理１７００は、ある監視カメラ２０１に映った人物と、別の監視カメラ２０１に映った人物が同一人物あるかどうか判定し、同一の人物であれば、その人物の持ち物に変化があったか否かを判定する処理である。
【００７２】
先ず、ステップＳ１７０１では、人物差分検出処理部５０４は、映像上に映る人物の中から人物差分検出処理を実行する人物を監視者の指示もしくはシステムの自動抽出による選択を受け付ける。人物の選択については、監視カメラ２０１に一番近い人物といった条件や、物体検出処理部５０６によって検出できる特定の物品を所持している人物を指定してもよい。
【００７３】
続いて、ステップＳ１７０２では、人物特徴量抽出処理部５０５は、ステップＳ１７０１で選択された人物の年齢層、性別、服装等を人物特徴量として抽出する。続いて、ステップＳ１７０３では、人物特徴量抽出処理部５０５は、監視カメラ情報テーブル８００およびテナント地図情報９００の情報をもとに、人物特徴量抽出を行った映像を撮影した監視カメラ２０１に隣接する周辺の監視カメラ２０１の映像を取得する。
【００７４】
続いて、ステップＳ１７０４では、人物特徴量抽出処理部５０５は、ステップＳ１７０３で取得した映像からステップＳ１７０２で取得した人物特徴量に一致する人物を探索し、一致度が最も高かった人物を同一人物と判定し、この人物が映っている映像を抽出する。
【００７５】
続いて、ステップＳ１７０５では、人物差分検出処理部５０４は、ステップＳ１７０４で同一人物と判定された人物が映っている映像の時刻を確認し、ステップＳ１５１−１（図１５参照）で監視者が設定した時間帯を超えているか否かを判定する。人物差分検出処理部５０４は、監視者が設定した時間帯を超えている場合（ステップＳ１７０５Ｙｅｓ）、ステップＳ１７０６に処理を移し、監視者が設定した時間帯を超えていない場合（ステップＳ１７０５Ｎｏ）、ステップＳ１７０３に処理を戻す。処理を戻したステップＳ１７０３では、人物差分検出処理部５０４は、同一人物を検出した監視カメラ２０１を中心にして再度処理を実行する。
【００７６】
ステップＳ１７０６では、物体検出処理部５０６は、ステップＳ１７０１で選択された人物の所持物と、ステップＳ１７０４で最終的に検出された人物の所持物とを検出する。続いて、ステップＳ１７０７では、物体検出処理部５０６は、ステップＳ１７０１で選択された人物の所持物と、ステップＳ１７０４で最終的に検出された人物の所持物とを比較する。
【００７７】
続いて、ステップＳ１７０８では、物体検出処理部５０６は、ステップＳ１７０７の比較結果に差分があれば、当該人物に落とし物があったと判定する。そして、物体検出処理部５０６は、ステップＳ１７０１で選択した人物の映像を取得した監視カメラ２０１のカメラＩＤとその映像の時刻、ステップＳ１７０４で最終的に検出した人物の映像を取得した監視カメラ２０１のカメラＩＤとその映像の時刻、ステップＳ１７０２で抽出した人物特徴量、差分として検出された物体の名称等を人物差分検出結果として、人物差分検出結果情報テーブル１１００に出力する。
【００７８】
＜異物検知処理＞
図１８は、異物検知処理の一例を示すフローチャートである。異物検知処理１８００の説明においても、ロボット４００−１を代表させて説明する。異物検知処理１８００は、ロボット４００−１が移動しながら取得した映像から、過去に撮影した映像に映っていなかった物体を検知する処理である。
【００７９】
先ず、ステップＳ１８０１では、異物検知処理部６０８は、ロボット４００−１が現在位置する地点と同一の地点において、ロボット４００−１により過去に撮影された映像を取得する。
【００８０】
続いて、ステップＳ１８０２では、物体検出処理部６０９は、現在映像と過去映像の双方を用いて、映像に映る物体を検出する。現在映像とは、同一地点において撮影された現在の映像であり、過去映像とは、同一地点において撮影された過去の映像である。続いて、ステップＳ１８０３では、物体検出処理部６０９は、ステップＳ１８０２による物体検出の結果から人物等を削除する。これにより、撮影タイミングによって常に変化する情報を除外する。
【００８１】
続いて、ステップＳ１８０４では、物体検出処理部６０９は、ステップＳ１８０２で検出した物体情報を比較し、差分を抽出する。続いて、ステップＳ１８０５では、物体検出処理部６０９は、ステップＳ１８０４の処理結果に含まれる差分を異物と判定し、映像上で異物が発見された時刻、異物が発見された座標位置、および異物の名称を、異物検知結果情報テーブル１２００に出力する。
【００８２】
＜連携システムサーバを用いたシステム間連携処理＞
図１９は、実施例の連携システムサーバを用いたシステム間連携処理の一例を示すフローチャートである。システム間連携処理１９００は、図１５および図１６で示した監視システムとロボットシステムを連携システムサーバ７００で連携させる際のフローチャートを示す。本処理は、連携の必要性が生じたときに実行される。または、本処理は、オペレーターの指示を契機として実行されてもよい。
【００８３】
先ず、ステップＳ１９０１では、連携システムサーバ７００の映像処理結果取得部７０２は、監視システムサーバ５００の映像処理結果情報５１１、およびロボットシステムサーバ６００の映像処理結果情報６１４から、それぞれの映像処理結果情報を定期的に取得し、映像処理結果情報７０９に保存する。
【００８４】
続いて、ステップＳ１９０２では、連携処理判定部７０３は、映像処理結果情報７０９において、監視システムサーバ５００の映像処理結果情報５１１とロボットシステムサーバ６００の映像処理結果情報６１４との連携処理が必要か判定する。連携処理判定部７０３は、連携処理が必要の場合（ステップＳ１９０２Ｙｅｓ）にステップＳ１９０３に処理を移し、連携処理が必要の場合（ステップＳ１９０２Ｎｏ）にステップＳ１９０１に処理を戻す。
【００８５】
ステップＳ１９０２の処理を具体的に説明する。例えば、連携処理判定部７０３に予め連携処理統合結果情報テーブル１４００（図１４参照）の項目を登録しておき、映像処理結果情報７０９に含まれる情報と連携処理統合結果情報テーブル１４００の項目を比較する。比較の結果、情報が空白のために取得が必要となる連携処理統合結果情報７１２の項目を抽出する。この抽出された項目が、監視システムサーバ５００の人物差分検出処理１７００、またはロボットシステムサーバ６００の異物検知処理１８００により取得可能であり、その結果として、連携処理統合結果情報テーブル１４００による映像処理結果情報７０９の拡張が可能である場合、連携処理が必要であると判定する。
【００８６】
図１１、図１２、および図１４のテーブル例に連携処理の必要性判定について説明する。例えば、初めに取得された映像処理結果情報７０９が、ＩＤ１１０１が“Ａ００１”である人物差分検出結果情報テーブル１１００のレコードであったとする。この人物差分検出結果情報テーブル１１００のレコードと、連携処理統合結果情報テーブル１４００の項目を比較した場合、位置１４０４の項目が空白となる。ロボットシステムサーバ６００の異物検知処理１８００により物体の位置検出が可能なため、連携処理が必要だと判定される。
【００８７】
また、例えば、初めに取得されたれた映像処理結果情報７０９が、ＩＤが“Ｂ００１”である異物検知結果情報テーブル１２００のレコードであった場合も同様に、物体を落とした時刻１４０２、落と主の人物特徴量１４０３が空白となる。監視システムサーバ５００の人物差分検出処理１７００により情報の取得ができるため、連携が必要だと判定される。
【００８８】
続いて、ステップＳ１９０３では、連携処理判定部７０３は、ステップＳ１９０２で連携が必要と判定された映像処理結果情報７０９が、監視システムサーバ５００から取得された映像処理結果情報、およびロボットシステムサーバ６００から取得された映像処理結果情報のいずれであるかを判定する。連携処理判定部７０３は、監視システムサーバ５００から取得された映像処理結果情報である場合（ステップＳ１９０３Ｙｅｓ）にステップＳ１９０４に処理を移し、ロボットシステムサーバ６００から取得された映像処理結果情報である場合（ステップＳ１９０３Ｎｏ）にステップＳ１９１１に処理を移す。
【００８９】
ステップＳ１９０４では、連携処理判定部７０３は、監視システムサーバ５００から取得された映像処理結果情報と連携可能な、ロボットシステムサーバ６００から取得された映像処理結果情報が、映像処理結果情報７０９に格納済か否かを判定する。連携処理判定部７０３は、ロボットシステムサーバ６００から取得された連携可能な映像処理結果情報が映像処理結果情報７０９に格納済である場合（ステップＳ１９０４Ｙｅｓ）にステップＳ１９０９に処理を移し、格納されていない場合（ステップＳ１９０４Ｎｏ）にステップＳ１９０５に処理を移す。
【００９０】
ステップＳ１９０５では、連携処理依頼生成部７０４は、映像処理結果情報７０９に含まれる始点カメラ１１０５、および終点カメラ１１０６の情報と、監視カメラ情報テーブル８００、およびテナント地図情報９００に基づいて、ロボット４００−１〜４００−ｎによる映像取得範囲を決定する。映像取得範囲が決定されることで、連携処理のための映像を適切に取得できる。
【００９１】
続いて、ステップＳ１９０６では、連携処理依頼生成部７０４は、ステップＳ１９０５で生成された映像取得範囲および映像処理結果情報７０９に含まれる差分物体１１０７の情報をもとに、ロボット４００−１〜４００−ｎへ異物検知を行う連携依頼処理を生成する。
【００９２】
続いて、ステップＳ１９０７では、連携処理依頼送信部７０５は、ステップＳ１９０６で生成された異物検知を行う連携処理依頼を、ロボットシステムサーバ６００のタスク受付部６１０へ送信する。連携処理依頼送信部７０５は、送信した連携処理依頼を、連携処理の管理ログである連携処理情報テーブル１３００に登録する。
【００９３】
続いて、ステップＳ１９０８では、連携処理依頼制御部７０６は、ステップＳ１９０１で定期的に取得される映像処理結果情報７０９を確認し、連携処理情報７１０の連携情報ＩＤ１３０４に対応する処理結果が得られているか否かに基づいて、該当の連携情報ＩＤ１３０４に対応する連携処理依頼が完了しているか否かを判定する。この判定は、ステップＳ１９０２と同様に、連携処理統合結果情報テーブル１４００の項目を比較することで行われる。連携処理依頼制御部７０６は、処理結果が得られている場合（ステップＳ１９０８Ｙｅｓ）にステップＳ１９０９に処理を移し、処理結果が得られていない場合（ステップＳ１９０８Ｎｏ）にステップＳ１９０８を繰り返す。
【００９４】
以上のステップＳ１９０４〜Ｓ１９０８は、映像処理結果情報７０９が監視システムで検出された映像処理結果情報５１１である場合に、この映像処理結果情報５１１をもとに連携処理統合結果情報テーブル１４００の各カラムを埋める際に不足する情報を、ロボットシステムで検出された映像処理結果情報６１４から取得するものである。
【００９５】
ステップＳ１９０９では、連携処理結果統合部７０８は、連携元の映像処理結果と連携処理依頼によって得られた映像処理結果とを統合し、連携処理統合結果情報７１２として保存する。なお、ステップＳ１９０９では、連携処理結果統合部７０８は、ステップＳ１９０４で連携可能な映像処理結果が存在する（ステップＳ１９０４Ｙｅｓ）と判定された場合には、連携元の映像処理結果と、連携可能な映像処理結果とを統合し、連携処理統合結果情報７１２として保存する。
【００９６】
続いて、ステップＳ１９１０では、連携処理統合結果送信部７１３は、ステップＳ１９０９による連携処理統合結果情報７１２を、監視システムサーバ５００へ送信する。
【００９７】
他方、ステップＳ１９１１では、連携処理依頼生成部７０４は、ステップＳ１９０３による判定結果がロボットシステムサーバ６００から取得された映像処理結果情報であったため、映像処理結果情報７０９に含まれる物体を発見した位置１２０４と、監視カメラ情報テーブル８００およびテナント地図情報９００をもとにして、対象の人物が通った可能性がある位置１２０４を映像取得範囲とする監視カメラ２０１を選定する。監視カメラ２０１が選定されることで映像取得範囲が決定されるので、連携処理のための映像を適切に取得できる。
【００９８】
続いて、ステップＳ１９１２では、連携処理依頼生成部７０４は、ステップＳ１９１１にて選定した監視カメラ２０１のカメラＩＤ８０１、映像処理結果情報７０９に含まれる比較時刻１２０２、検知時刻１２０３、および検知物体１２０５をもとに、連携処理依頼を生成する。この時、連携処理依頼は、比較時刻１２０２、および検知時刻１２０３を、人物差分検出処理１７００（図１７参照）を実施する時間帯に設定し、ステップＳ１７０１で選択する人物を、検知物体１２０５を所持する人物とする指定を行う。
【００９９】
続いて、ステップＳ１９１３では、連携処理依頼送信部７０５は、ステップＳ１９１２で生成された物体検出を行う連携処理依頼を、監視システムサーバ５００のタスク受付部５０９へ送信する。連携処理依頼送信部７０５は、送信した連携処理依頼を、連携処理の管理ログである連携処理情報テーブル１３００に登録する。
【０１００】
続いて、ステップＳ１９１４では、連携処理依頼制御部７０６は、ステップＳ１９０８と同様に、連携処理情報７１０の連携情報ＩＤ１３０４に対応する処理結果が得られているか否かに基づいて、該当の連携情報ＩＤ１３０４に対応する連携処理依頼が完了しているか否かを判定する。連携処理依頼制御部７０６は、処理結果が得られている場合（ステップＳ１９１４Ｙｅｓ）にステップＳ１９０９に処理を移し、処理結果が得られていない場合（ステップＳ１９１４Ｎｏ）にステップＳ１９１４を繰り返す。
【０１０１】
以上のステップＳ１９１１〜Ｓ１９１４は、映像処理結果情報７０９がロボットシステムで検出された映像処理結果情報６１４である場合に、この映像処理結果情報６１４をもとに連携処理統合結果情報テーブル１４００の各カラムを埋める際に不足する情報を、監視システムで検出された映像処理結果情報５１１から取得するものである。
【０１０２】
＜監視システムのモニタ表示画面＞
図２０は、実施例の監視システムのモニタ表示画面の一例を示す図である。監視システム出力画面２０００は、監視システムが出力するウィンドウ全体を示す。画面２００１は、レコーダ３００から映像を取得する際に必要な情報を入力するための画面である。ステップＳ１５１−２（図１５参照）で入力される情報である。画面２００１には、カメラＩＤ、映像を取得する開始時刻から終了時刻までを指定した時間帯、映像解析処理の有無、映像解析時の人物指定条件等を入力することができる。
【０１０３】
画面２００２は、画面２００１から入力された取得条件に該当する、監視カメラ２０１またはロボット４００による映像を表示する画面である。例えば、画面２００２には、差分検出対象の開始時刻と終了時刻の各映像を並べて表示し、これらの映像の差分に現れる落とし主が遺失した遺失物とその遺失場所の座標位置等を明示するようにしてもよい。
【０１０４】
画面２００３は、映像解析処理の結果が表示される。画面２００４は、連携処理統合結果として、落とし物情報が表示されている。画面２００４には、ロボットシステムと連携することで得られた落とし物位置情報が出力される。このように表示することで、監視システムとロボットシステムとの連携結果を視覚的に認識させることができる。
【０１０５】
＜実施例の効果＞
以上のように、連携システムを介して、監視システムとロボットシステムの各システムにおける処理結果を送受信することで、処理結果を算出する際に基礎となるデータの送受信を行わずにこれらのシステムを連携し、システム間のデータトラフィックの量を削減できる。また、各システムで得られた映像処理結果をもとに連携処理に必要な情報を生成することで、映像取得および映像処理を行う対象時間および対象空間の範囲を削減することができるので、連携対象の各システムおよび連携システムにおける処理量および演算量を削減することができる。
【０１０６】
また、本実施例のように、既存の監視システムが外部から連携処理の実行依頼および連携に必要なデータを受け付けることで、既存の監視システムの構成を大幅に変更することなく、監視システムとロボットシステムの連携処理が実現可能となる。
【０１０７】
＜監視システムサーバ、ロボットシステムサーバ、連携システムサーバを実現するコンピュータ＞
図２１は、監視システムサーバ、ロボットシステムサーバ、連携システムサーバを実現するコンピュータの一例を示す図である。監視システムサーバ５００、ロボットシステムサーバ６００、連携システムサーバ７００をそれぞれ実現するコンピュータ５０００は、ＣＰＵ（Central  Processing  Unit）に代表される演算装置５３００、ＲＡＭ（Random  Access  Memory）等のメモリ５４００、入力装置５６００（例えばキーボード、マウス、タッチパネル等）、および出力装置５７００（例えば外部ディスプレイモニタに接続されたビデオグラフィックカード）が、メモリコントローラ５５００を通して相互接続される。
【０１０８】
コンピュータ５０００において、監視システムサーバ５００、ロボットシステムサーバ６００、連携システムサーバ７００をそれぞれ実現するための各プログラムがＩ／Ｏ（Input／Output）コントローラ５２００を介してＳＳＤやＨＤＤ等の外部記憶装置５８００から読み出されて、演算装置５３００およびメモリ５４００の協働により実行されることにより、監視システムサーバ５００、ロボットシステムサーバ６００、連携システムサーバ７００のそれぞれが実現される。
【０１０９】
あるいは、監視システムサーバ５００、ロボットシステムサーバ６００、連携システムサーバ７００のそれぞれを実現するための各プログラムは、ネットワークインターフェース５１００を介した通信により外部のコンピュータから取得されてもよい。あるいは、監視システムサーバ５００、ロボットシステムサーバ６００、連携システムサーバ７００のそれぞれを実現するための各プログラムは、可搬型記憶媒体に記憶されて頒布され、この可搬型媒体から読み出されて演算装置５３００およびメモリ５４００の協働により実行されてもよい。
【０１１０】
本発明は上記した実施例に限定されるものではなく、様々な変形例を含む。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加や、削除、置換、統合、もしくは分散をすることが可能である。また実施例で示した各処理は、処理効率あるいは実装効率に基づいて適宜分散または統合してもよい。
【符号の説明】
【０１１１】
１００：テナント、２０１−１〜２０１−ｎ：監視カメラ、３００：レコーダ、４００−１〜４００−ｎ：ロボット、５００：監視システムサーバ、６００：ロボットシステムサーバ、７００：連携システムサーバ、７０２：映像処理結果取得部、７０３：連携処理判定部、７０４：連携処理依頼生成部、７０５：連携処理依頼送信部、７０６：連携処理依頼制御部、７０８：連携処理結果統合部、８００：監視カメラ情報テーブル、９００：テナント地図情報、１０００：ロボット情報テーブル、１１００：人物差分検出結果情報テーブル、１２００：異物検知結果情報テーブル、１３００：連携処理情報テーブル、１４００：連携処理統合結果情報テーブル、２０００：監視システム出力画面
【図１】
2020145652.tif 000003
【図２】
2020145652.tif 000004
【図３】
2020145652.tif 000005
【図４】
2020145652.tif 000006
【図５】
2020145652.tif 000007
【図６】
2020145652.tif 000008
【図７】
2020145652.tif 000009
【図８】
2020145652.tif 000010
【図９】
2020145652.tif 000011
【図１０】
2020145652.tif 000012
【図１１】
2020145652.tif 000013
【図１２】
2020145652.tif 000014
【図１３】
2020145652.tif 000015
【図１４】
2020145652.tif 000016
【図１５】
2020145652.tif 000017
【図１６】
2020145652.tif 000018
【図１７】
2020145652.tif 000019
【図１８】
2020145652.tif 000020
【図１９】
2020145652.tif 000021
【図２０】
2020145652.tif 000022
【図２１】
2020145652.tif 000023