(57)【要約】【課題】汎用性に富み、運用コストの低減化が図れる遠隔監視の技術を提供する。【解決手段】監視装置３０は、ネットワーク回線ＮＷを通じて接続された監視補助装置２０から被監視空間の撮像画像をディスプレイの表示画面に表示し、状態変化を見たい任意の箇所に判定エリアをリアルタイムに設定する。そして、判定エリアと画像解析条件を監視補助装置２０に設定させる。監視補助装置２０は、判定エリア等の設定後は撮像画像の送信を停止し、撮像装置１０で撮像した画像の解析を行い、解析結果のみを監視装置３０へ出力する。監視装置３０は、被監視空間の被写体が何であるかを問わず、また、撮像画像の視認によらず、その状態を監視することができる。【選択図】図１
2018152729.tif 000002
【特許請求の範囲】
【請求項１】
被監視空間の状態を時系列に撮像する撮像装置に第１装置が設置され、前記被監視空間から離れた部位に存在する第２装置が前記第１装置とネットワーク回線を通じて接続された監視システムが実行する方法であって、
前記第１装置が、前記撮像装置から撮像画像を取得し、取得した撮像画像を前記第２装置へ送信する第１ステップと、
前記第２装置が、受信した前記撮像画像を所定の表示画面に表示させ、表示された撮像画像上で任意かつ変更自在に設定された部分領域である判定エリアと当該判定エリアの撮像画像を解析するための画像解析条件とを前記第１装置へ送信する第２ステップと、
前記判定エリア及び前記画像解析条件を受信した前記第１装置が、前記判定エリアの撮像画像を前記画像解析条件に従って解析することにより前記被監視空間の状態を表す状態データを生成し、生成した状態データを前記第２装置へ送信する第３ステップと、
を有することを特徴とする、被監視空間の状態監視方法。
【請求項２】
前記画像解析条件は、前記判定エリアの撮像画像に映った物体又は生体の数、量、色、位置、形状、該物体に記された文字・記号・数値のいずれかが、所定の状態値かどうか又は前記状態値を超えて変化したかどうかを判定するための条件であり、
前記第１装置は、前記画像解析条件を受信した後は前記撮像画像の送信を停止し、前記画像解析条件を満たすと判定されたときに前記状態データを生成し、生成した前記状態データを前記第２装置へ送信することを特徴とする、
請求項１に記載の状態監視方法。
【請求項３】
前記第１装置は、前記撮像画像として動画像を取得し、前記第２装置へは静止画像を送信することを特徴とする、
請求項１又は２に記載の状態監視方法。
【請求項４】
前記第１装置は、前記状態値を超えたときの前記動画像を、当該状態値を超えた時点の前後所定時間分だけ記録することを特徴とする、
請求項３に記載の状態監視方法。
【請求項５】
前記第２装置は、前記被監視空間の撮像画像を一つの表示画面に表示させるとともに該一つの表示画面にそれぞれ一つ又は前記解析条件が異なる複数の前記判定エリアを設定することを特徴とする、
請求項１ないし４のいずれか一項に記載の状態監視方法。
【請求項６】
一つの前記撮像装置が複数の前記被監視空間の状態を撮像し、
前記第２装置が、前記第１装置から受信した各被監視空間の前記状態データを一つの表示画面に集約させることを特徴とする、
請求項５記載の状態監視方法。
【請求項７】
前記撮像装置と前記第１装置の組がそれぞれ異なる前記被監視空間に複数組設置されており、
前記第２装置は、各第１装置から受信した前記状態データを一つの表示画面に集約させることを特徴とする、
請求項５に記載の状態監視方法。
【請求項８】
撮像装置と共に被監視空間の所定部位に設置される監視補助装置であって、
前記被監視空間の状態を時系列に撮像した前記撮像装置から撮像画像を取得する画像取得手段と、
前記撮像装置から取得した前記撮像画像を所定の監視装置へ送信するとともに、前記監視装置から当該撮像画像の部分領域となる判定エリアと当該判定エリアの撮像画像を解析するための画像解析条件とを受信し、受信後は前記撮像画像の前記監視装置への送信を停止する第１通信手段と、
前記判定エリア及び前記解析条件の受信後に前記撮像装置から取得した撮像画像上に前記判定エリアを設定するとともに、設定した判定エリアの撮像画像を前記画像解析条件に従って解析し、前記画像解析条件を満たす場合に前記被監視空間の状態を表す状態データを生成する解析手段と、
前記解析手段で生成された前記状態データを前記監視装置へ送信する第２通信手段と、
を有することを特徴とする監視補助装置。
【請求項９】
前記画像取得手段、前記第１通信手段、前記解析手段及び前記第２通信手段が、コンピュータプログラムによりその動作が規定されたハードウエア部品の集合により構成されることを特徴とする、
請求項８に記載の監視補助装置。
【請求項１０】
被監視空間の状態を時系列に撮像する撮像装置から取得した撮像画像の解析を行う監視補助装置との間で通信を行う監視装置であって、
表示画面を有する表示手段と、
前記監視補助装置から受信した撮像画像を前記表示画面に表示させ、表示された撮像画像の任意の部分領域を判定エリアとして変更自在に設定するとともに、前記判定エリアの撮像画像を解析するための画像解析条件を当該判定エリアと関連付けて設定する設定手段と、
設定された前記判定エリア及び前記画像解析条件を前記監視補助装置に向けて出力する出力手段と、
前記判定エリアの撮像画像の解析により得られた前記被監視空間の状態を表す状態データを前記監視補助装置から取得し、取得した前記状態データを前記表示画面に表示させる制御手段と、
を有することを特徴とする監視装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被監視空間の状態を撮像画像の画像解析により監視する技術に関する。より詳しくは、撮像画像を視認しながら撮像装置の側に画像解析の条件を任意に設定し、必要なときだけ解析結果を受け取る状態監視方法に関する。
【背景技術】
【０００２】
近年、被監視空間の状態を撮像する監視カメラと遠隔の監視装置とをネットワーク回線を介して接続し、撮像画像を画像解析することにより被監視空間の状態を監視する遠隔監視システムが提案されている。
この種の遠隔監視システムでは、被監視空間における監視対象の撮像画像をどのように監視装置に伝え、また、どのような条件で撮像画像の画像解析を行うのかが運用の正確性及び効率性を高める上で重要となる。
例えば監視カメラを有する端末装置と監視センタとを通信で接続して構成される特許文献１に開示された遠隔監視システムでは、被監視エリアにおいて異常が発生してから端末装置と監視センタとの間に通信リンクが形成されるまでの期間における映像情報を映像記録部に記録しておく。そして、記録映像、およびリアルタイム映像のいずれかを選択的に端末装置から送信するようにしている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１１７３３３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に開示された遠隔監視システムでは、被監視エリアにおける異常の発生を検知する異常検知センサを備え、どういう状態を異常と捉えるかを事前に定めておく必要がある。被監視エリアに複数の監視項目がある場合は、監視に先立つ事前試験なども必要となる。そのため、被監視エリアがほぼ固定的となり、汎用性に欠けるという課題が残る。また、端末装置と監視センサとの間の通信状態を常時監視する必要がある。そのため、端末装置の構成が複雑なものとなり、運用コストの低減化が図れないものとなる。
本発明は、汎用性に富み、運用コストの低減化が図れる遠隔監視の技術を提供することを主たる課題とする。
【課題を解決するための手段】
【０００５】
本発明は、被監視空間の状態監視方法、その方法の実施に適した監視補助装置及び監視装置を提供する。
本発明の状態監視方法は、被監視空間の状態を時系列に撮像する撮像装置に第１装置が設置され、前記被監視空間から離れた部位に存在する第２装置が前記第１装置とネットワーク回線を通じて接続された監視システムが実行する方法であって、前記第１装置が、前記撮像装置から撮像画像を取得し、取得した撮像画像を前記第２装置へ送信する第１ステップと、前記第２装置が、受信した前記撮像画像を所定の表示画面に表示させ、表示された撮像画像上で任意かつ変更自在に設定された部分領域である判定エリアと当該判定エリアの撮像画像を解析するための画像解析条件とを前記第１装置へ送信する第２ステップと、前記判定エリア及び前記画像解析条件を受信した前記第１装置が、前記判定エリアの撮像画像を前記画像解析条件に従って解析することにより前記被監視空間の状態を表す状態データを生成し、生成した状態データを前記第２装置へ送信する第３ステップと、を有することを特徴とする。
【０００６】
本発明の監視補助装置は、撮像装置と共に被監視空間の所定部位に設置される監視補助装置であって、前記被監視空間の状態を時系列に撮像した前記撮像装置から撮像画像を取得する画像取得手段と、前記撮像装置から取得した前記撮像画像を所定の監視装置へ送信するとともに、前記監視装置から当該撮像画像の部分領域となる判定エリアと当該判定エリアの撮像画像を解析するための画像解析条件とを受信し、受信後は前記撮像画像の前記監視装置への送信を停止する第１通信手段と、前記判定エリア及び前記解析条件の受信後に前記撮像装置から取得した撮像画像上に前記判定エリアを設定するとともに、設定した判定エリアの撮像画像を前記画像解析条件に従って解析し、前記画像解析条件を満たす場合に前記被監視空間の状態を表す状態データを生成する解析手段と、前記解析手段で生成された前記状態データを前記監視装置へ送信する第２通信手段と、を有することを特徴とする。
【０００７】
本発明の監視装置は、被監視空間の状態を時系列に撮像する撮像装置から取得した撮像画像の解析を行う監視補助装置との間で通信を行う監視装置であって、表示画面を有する表示手段と、前記監視補助装置から受信した撮像画像を前記表示画面に表示させ、表示された撮像画像の任意の部分領域を判定エリアとして変更自在に設定するとともに、前記判定エリアの撮像画像を解析するための画像解析条件を当該判定エリアと関連付けて設定する設定手段と、設定された前記判定エリア及び前記画像解析条件を前記監視補助装置に向けて出力する出力手段と、前記判定エリアの撮像画像の解析により得られた前記被監視空間の状態を表す状態データを前記監視補助装置から取得し、取得した前記状態データを前記表示画面に表示させる制御手段と、を有することを特徴とする。
【発明の効果】
【０００８】
本発明によれば、被監視空間の状態を表す撮像画像をもとに第２装置（監視装置）が判定エリアと画像解析条件とを第１装置（監視補助装置）に設定させ、第１装置側で判定エリアの撮像画像及び画像解析条件に基づいて画像解析を行うので、被監視空間のどの機器、装置、人であっても監視対象とすることができる。また、判定エリアと画像解析条件の設定は第２装置側で行うので、被監視空間にセンサなどを設置する必要がない。そのため、汎用性の高い状態監視が可能となる。
【図面の簡単な説明】
【０００９】
【図１】本実施形態による遠隔監視システムの全体構成図。
【図２】（ａ）は監視補助装置の構造を示す上面図、（ｂ）は側面図。
【図３】監視補助装置の機能構成図。
【図４】監視装置のハードウエア構成図。
【図５】監視装置の機能構成図。
【図６】（ａ）は表示画面に表示される撮像画像、（ｂ）は判定エリアの説明図。
【図７】（ａ）は表示画面に表示される撮像画像、（ｂ）は判定エリアの説明図。
【図８】（ａ）は表示画面に表示される撮像画像、（ｂ）は判定エリアの説明図。
【図９】（ａ）は表示画面に表示される撮像画像、（ｂ）は判定エリアの説明図。
【図１０】撮像装置及び監視補助装置を複数組備えた統合監視に使用するときの例を示した模式図。
【発明を実施するための形態】
【００１０】
以下、図面を参照して本発明の実施の形態例を説明する。
図１は、本発明を適用した遠隔監視システムの全体構成図である。この遠隔監視システム１は、被監視空間の所定部位に設置される複数台の撮像装置１０と、一台又は複数台の撮像装置１０が接続可能な監視補助装置（第１装置）２０と、一台の監視装置（第２装置）３０とを含む。各監視補助装置２０と監視装置３０は、無線基地局５０及び例えばインターネットやイントラネットのような所定のネットワーク回線ＮＷを介して接続されている。
【００１１】
撮像装置１０は、それぞれ汎用のＣＣＤカメラであり、被監視空間の状態を撮像する。被監視空間は、例えば、複数台の製造機械とこれらの製造機械の稼働状況を監視制御する監視パネルとが設置された工場の内部である。各撮像装置１０は、これらの製造機械及びその周辺と、監視パネルの状態を撮像し、撮像画像を出力する。撮像画像は静止画像と動画像である。なお、撮像装置１０は通信機能を持つＣＣＤカメラであってもよいが、本実施形態では、撮像装置１０が通信を行うのは監視補助装置２０であって、監視装置３０とは通信を行わない場合の例を示す。
【００１２】
監視補助装置２０は、コンピュータプログラムによりその動作が規定されたハードウエア部品の集合、例えばＦＰＧＡ（Field-Programmable Gate Array）やＰＬＤ（ (Programmable Logic Device）により実現することができる。ハードウエア部品を用いるのは、主として処理の高速化を図るためであるが、ＦＰＧＡやＰＬＤを用いることにより、用途に応じてプログラムを書き換えることもできる。つまり、汎用性を高めることができる。
【００１３】
このような監視制御装置２０の外観を図２に示す。図２（ａ）は監視制御装置２０の上面図、同（ｂ）は側面図である。
監視制御装置２０は、画像解析ボード２１と拡張ボード２５とで構成される。画像解析ボード２１は配線パターンが形成されたプリント基板であり、ＣＰＵ２１１、ＲＡＭ２１２、ＲＯＭ２１３、ＭｉｃｒｏＵＳＢコネクタ２１４、ＬＡＮコネクタ２１５などが実装される。拡張ボード２５も配線パターンが形成されたプリント基板であり、ＣＰＵ２１１がアクセス可能な複数のメモリ２５１、ＵＳＢコネクタ２５２、ＤＩ・ＤＯ(デジタルのＯＮ／ＯＦＦの信号,Ｉ：input、Ｏ：output)端子２５３、電源コネクタ２５４などが実装される。なお、図２では代表的なハードウエア部品が例示されているにすぎず、実際には、各種インタフェース回路や保護回路なども実装されている。画像解析ボード２１と拡張ボード２５は、ビアホール２１８を介して電気的に接続されている。
【００１４】
ＭｉｃｒｏＵＳＢコネクタ２１４には撮像装置１０の出力コネクタが接続される。ＬＡＮコネクタ２１５にはＬＡＮ端子が接続される。ＵＳＢコネクタ２５２には無線通信用機器、例えばWifiルータなどが接続される。ＤＩ・ＤＯ端子２５３は、デジタル（Digital）のＯＮ／ＯＦＦの信号の入出力を行う端子であり、動作試験を行う測定器のコネクタなどが接続される。ＤＩ端子には入力信号（Ｉ：input）が入力され、ＤＯ端子からは出力信号（Ｏ：output)が出力される。電源コネクタ２５４は図示しない電源回路のアダプター端子が接続されている。
【００１５】
図３は、ＣＰＵ２１１が拡張ボード２２に実装されたメモリにインストールされたコンピュータプログラムを読み込んで実行することにより、画像解析ボード２１及び拡張ボード２５に形成される機能ブロックの構成図である。本実施形態では、監視補助装置２０を画像取得部２２１、第１通信部２２２、第２通信部２２３、画像解析部２２４、解析条件保持部２２５、画像保持部２２６として動作させる。
画像取得部２２１は、被監視空間の状態を時系列に撮像した撮像装置１０から撮像画像を取得する。撮像装置１０は、撮像画像として、静止画像を周期的に出力してもよいが、ここでは動画像を出力するものとする。
【００１６】
第１通信部２２２は、撮像装置１０とネットワーク回線ＮＷを介さずにダイレクトに通信を行う機能であり、第２通信部２２３は、監視装置３０とネットワーク回線ＮＷを介して通信を行う機能である。本実施形態では、第２通信部２２３で受信した監視装置３０の指示に基づき、撮像装置１０から取得した撮像画像を設定用画像として第１通信部２２２から監視装置３０宛に送信する。設定用画像はメモリに蓄積せず、そのまま監視装置３０へ送信する。
【００１７】
監視装置３０からは、当該撮像画像（設定用画像）の部分領域となる判定エリアと当該判定エリアの撮像画像を解析するための画像解析条件とを受信する。判定エリアは、例えば画素の二次元座標により特定される矩形枠である。枠の形状は円形、楕円形その他の形状であってもよい。枠の色も任意である。
画像解析条件は、判定エリアの撮像画像に映った物体又は生体の数、量、色、位置、形状、該物体に記された文字・記号・数値のいずれかが、所定の状態値かどうか又は状態値を超えて変化したかどうかを判定するための条件である。受信した判定エリア及び画像解析条件は、相互に関連付けて解析条件保持部２２５に保持される。第２通信部２２３は、判定エリア及び画像解析条件を受信し、これらをメモリに格納した後は、撮像画像の監視装置３０への送信を停止する。
【００１８】
画像解析部２２４は、判定エリア及び画像解析条件の受信後に撮像装置１０から取得した撮像画像上に判定エリアを設定する。また、設定した判定エリアの撮像画像を画像解析条件に従って解析する。そして、画像解析条件を満たす場合に被監視空間の状態を表す状態データを生成する。状態データは、画像データよりもサイズの小さい非画像データである。画像解析部２２４は、所定の状態値を超えたときの動画像を、当該状態値を超えた時点の前後所定時間分、例えば前後３０秒間分だけ画像保持部２２６に保持する。状態値は、状態変化が生じたことを認識するための閾値である。この場合は、拡張ボード２５に実装されたメモリのいずれかをリングバッファとして用いることになる。
【００１９】
第２通信部２２３は、画像解析部２２３で生成された状態データを監視装置３０へ送信する。送信するタイミングは、画像解析部２２３が状態データを生成した場合であるが、そのほかにも任意のタイミングで送信するように設定することもできる。状態値を超えた時点の前後所定時間分の動画像が画像保持部２２６に記録されている場合は、当該動画像を監視装置３０へ送信する。
【００２０】
次に、監視装置３０について説明する。監視装置３０には、通信機能を有するパーソナルコンピュータ（ＰＣ）あるいはタブレット端末を用いることができる。
図４は、監視装置３０のハードウエア構成図である。監視装置３０は、内部バスＢ1を介して接続されたＣＰＵ（Central Processing Unit）３１、ＲＡＭ（Random Access Memory）３２、ＲＯＭ（Read Only Memory）３３を有するコンピュータを含む。内部バスＢ1には、さらに、外部記憶装置３４、入力Ｉ／Ｆ（Ｉ／Ｆはインタフェースの略、以下同じ）３５、画像処理ブロック３６、音処理ブロック３７、出力Ｉ／Ｆ３８，通信Ｉ／Ｆ３９が接続されている。
【００２１】
ＣＰＵ３１は、上記各ブロックの動作及び全体動作を制御する。ＲＡＭ３２は、ＣＰＵ３１のワークエリアとして使用される。ＲＯＭ３３は、ＣＰＵ３１が解読可能なコードで記述された各種パラメータを格納する。外部記憶装置３４には、本発明の監視制御用プログラムのほか、後述する画像解析条件及び監視補助装置２０から送信された各種データ等が記録される。
【００２２】
入力Ｉ／Ｆ３５には、マウス、キーボード、タッチパネルなどの入力デバイスが接続される。入力デバイスは、上記の判定エリアや画像解析条件を入力するためのデバイスである。画像処理ブロック３６は、ＩＳＰ（Image Signal Processor）などを含んで構成され、画像信号に対して、シェーディング補正、ベイヤー補間、ホワイト・バランス補正、ガンマ補正などの画像処理を行う。画像処理ブロック３６は、また、必要に応じて、ＭＰＥＧ−４  ＡＶＣ／Ｈ．２６４などの動画圧縮及び伸張を行う。音処理ブロック３７は、監視補助装置２０から受信したデータに音データが含まれているときに、それを監視装置３０側で認識可能なデジタルの音データに変換し、ＣＰＵ３１へ伝えるとともに、ＲＡＭ３２及び外部記憶装置３４へ記録させる。出力Ｉ／Ｆ３８は、画像処理ブロック３６で処理された画像をディスプレイの表示画面に表示させるとともに、プリンタの印刷制御やＵＳＢメモリなどへの書込制御などを行う。通信Ｉ／Ｆ３９は、ネットワーク回線ＮＷとの接続制御を行う。
【００２３】
図５は、監視装置３０の機能ブロック構成図である。これらの機能ブロックは、ＣＰＵ３１が監視制御用プログラムを読み込んで実行することにより実現される。監視装置３０は、主制御部３１０、通信部３１１、表示部３１２、設定部３１３、編集部３１４、解析条件ＤＢ（ＤＢはデータベースの略、以下同じ）３１６、解析結果ＤＢ３１７、画像ＤＢ３１８及びログＤＢ３１９を有する。主制御部３１０は、監視装置３０の機能を統括的に制御する。通信部３１１は、無線基地局５０及びネットワーク回線ＮＷを介して監視補助装置２０との間で通信を行う。表示部３１２は、判定エリア等の設定画面を含むメニュー画面および各監視補助装置２０から受信した各種画像及び解析結果等を所定のディスプレイの表示画面に表示させる。
【００２４】
設定部３１３は、監視補助装置２０から受信した撮像画像を設定用画像として表示画面に表示させ、表示画面上の任意の部分領域を判定エリアとして変更自在に設定する。判定エリアは、例えば赤色の矩形枠であり、表示画面が一つのＸ，Ｙ座標系で表されるときに、表示画面に対する相対的な座標で特定する。判定エリアは、ユーザが表示部３１２の表示画面をみながら、被監視空間において監視したい部位、例えば状態変化が生じたかどうかを確認したい部位を入力デバイスでリアルタイムに設定する。判定エリアは、一カ所の被監視空間を映した一つの表示画面に同時に複数設定することができる。
設定部３１３は、また、判定エリアの撮像画像を解析するための画像解析条件を当該判定エリアと関連付けて設定する。画像解析条件は、判定エリアの撮像画像に映った物体又は生体の数、量、色、位置、形状、該物体に記された文字・記号・数値のいずれかが、所定の状態値かどうか又は状態値を超えて変化したかどうかを判定するための条件であり、用途に応じて予め外部記憶装置３４に格納されている。画像解析条件の具体例については、後述する。
【００２５】
編集部３１４は、表示部３１２の表示画面に表示する画面の内容及びレイアウトなどを編集する。例えば、設定部３１３で判定エリアを設定しやすくするための画面レイアウトを編集する。また、撮像装置１０及び監視補助装置２０が被監視空間の複数の部位に設置され、それ故に、複数の状態データが入力されるときに、これらの状態データを一つの表示画面で表示されるように編集する。
【００２６】
解析条件ＤＢ３１６は、設定部３１３が設定する画像解析条件を選択的に読み出す条件値を、解析の目的別に格納する。その具体例については後述する。解析結果ＤＢ３１７は、監視補助装置２０から受信した解析結果を解析の目的と関連付けて格納する。画像ＤＢ３１８は、監視補助装置２０から受信した撮像画像をその監視補助装置２０の識別情報と関連付けて格納する。ログＤＢ３１９は、監視補助装置２０との通信記録をログとして時系列に格納する。
【００２７】
＜運用形態例＞
次に、上記のように構成される遠隔監視システム１の運用形態例を説明する。
（１）在籍管理・侵入監視
この遠隔監視システム１は、被監視空間を作業員が存在する工場内の作業台付近とし、そこに、勤務時間中に何名の作業員が在籍しているかどうか、あるいは勤務時間外に誰かが侵入したかなどを監視する用途に使用することができる。つまり状態値は、作業員の人数である。
【００２８】
図６（ａ）は、当該作業エリアの動画像であり、監視装置３０の表示画面に表示される。監視装置３０の操作者は、表示画面３００を視認しながら、図６（ｂ）に示すように、表示画面３００上をポインティングデバイスでなぞり、それぞれ任意サイズの判定エリア６１，６２をリアルタイムに設定する。また、各判定エリア６１，６２にそれぞれ画像解析条件を設定する。画像解析条件は、判定エリア６１，６２のそれぞれの全体の表示面積と、あらかじめ分析した各判定エリア６１，６２における１名当たりの作業員のおおよその表示面積との比較結果から作業員の人数を設定する。例えば判定エリア６１では３名、判定エリア６２では４名のように設定する。そして、各判定エリア６１，６２において設定した人数が増減したときは、増減した時点の人数と増減が生じた時刻とを記録するように設定する。各作業員の位置情報を画像解析条件に含めてもよい。設定された情報は、解析条件ＤＢ３１６に監視補助装置２０の識別情報と関連付けて格納するとともに、その監視補助装置２０に向けて送信する。
【００２９】
判定エリア６１，６２及び画像解析条件を受信した監視補助装置２０は、受信した情報を解析条件保持部２２５に保持する。その後、図６（ａ）に示した撮像画像（設定用画像）の監視装置３０への送信を停止するが、撮像装置１０から撮像画像の取得は継続的に行う。そして、判定エリア６１，６２の画像に対し、画像解析部２２４が画像解析条件に従って解析を行う。本例では、判定エリア６１，６２における作業員の人数が増減したときに、増減数、増減を認識した時刻を状態データとして、ワークシートなどにテキストデータで書き込んでメモリ領域に保存する。保存されたワークシートは、所定周期、例えば１日毎に監視装置３０に向けて送信する。あるいは、ワークシートを保存する度にそのワークシートを監視装置３０に向けて送信する。この場合、ワークシートのデータサイズは、撮像画像に比べて格段に小さいため、迅速かつ低コストで監視装置３０へ伝達することができる。
【００３０】
状態データを受信した監視装置３０は、それを解析結果ＤＢ３１７へ格納するとともに、ログＤＢ３１９へ受信ログを格納する。ワークシートを保存する度に監視装置３０へ送信する形態の場合、状態データの送出頻度が多くなるほど監視補助装置２０に接続された撮像装置１０が撮像する被監視空間の状態変化が多いことを表す。そのため、ログ解析を行うだけでも当該被監視空間の状態を把握することができる。
【００３１】
（２）稼働監視（残量判定）
遠隔監視システム１は、液体の残量判定などに使用することができる。図７（ａ）は、被監視空間を貯留槽に貯留される液体７０としたときの動画像であり、監視装置３０の表示画面に表示される。液体７０は、時間の経過と共に増減するものとする。状態値は、例えば液体７０の水面の高さ（水位）である。
監視装置３０の操作者は、表示画面３００を視認しながら、図７（ｂ）に示すように、表示画面３００上をポインティングデバイスでなぞり、目盛のついた判定エリア７１を貯留槽の水面付近に設定する。また、当該判定エリア７１に画像解析条件を関連付けて設定する。画像解析条件は、例えば目盛に対応する水位を検出することであり、検出値は、予め定めた基準水位に対する相対値で表われる。また、例えば２目盛分の水位変化があったときは注意情報、３目盛分の水変化があったときは警報情報を生成することを画像解析条件に含めることもできる。設定された情報は、解析条件ＤＢ３１６に監視補助装置２０の識別情報と関連付けて格納するとともに、その監視補助装置２０に向けて送信する。
【００３２】
判定エリア７１及び画像解析条件を受信した監視補助装置２０は、受信した情報を解析条件保持部２２５に保持するとともに、図７（ａ）に示した撮像画像（設定用画像）の監視装置３０への送信を停止する。そして、その後は、撮像装置１０から撮像画像の取得を継続し、判定エリア７１の部分について、画像解析部２２４が画像解析条件に従って解析を行う。本例では、判定エリア７１における目盛に対応する水位をワークシートに記録するとともに、水位が２目盛以上の水位変化があったときは、当該水位の変化を認識した時刻を状態データとして、ワークシートなどにテキストデータで書き込み、そのワークシートを監視装置３０に向けて送信する。ワークシートのデータサイズは、撮像画像に比べて格段に小さいため、迅速に監視装置３０へ伝達することができる。
状態データを受信した監視装置３０の動作は、在籍管理・侵入監視の場合と同様となる。
【００３３】
（３）稼働監視（故障監視）
遠隔監視システム１は、部品等の搬送ラインの稼働監視などに使用することができる。図８（ａ）は、被監視空間を５本の搬送ラインの設置部位としたときの動画像であり、監視装置３０の表示画面に表示される。各搬送ラインは、稼働中は動いているベルト状のものである。状態値は、各搬送ラインの変位速度などである。
監視装置３０の操作者は、表示画面３００を視認しながら、図８（ｂ）に示すように、表示画面３００上をポインティングデバイスでなぞり、各搬送ライン上に判定エリア８１を設定する。また、当該判定エリア８１に画像解析条件を関連付けて設定する。画像解析条件は、当該判定エリア８１に映った搬送ラインがどの程度の速度で動いているかの検出である。また、静止した場合は当該静止前後所定時間分の画像を保存することである。設定された情報は、解析条件ＤＢ３１６に監視補助装置２０の識別情報と関連付けて格納するとともに、その監視補助装置２０に向けて送信する。
【００３４】
判定エリア８１及び画像解析条件を受信した監視補助装置２０は、受信した情報を解析条件保持部２２５に保持するとともに、図８（ａ）に示した撮像画像（設定用画像）の監視装置３０への送信を停止する。その後は、撮像装置１０から撮像画像の取得を継続し、判定エリア８１の部分について、画像解析部２２４が画像解析条件に従って解析を行う。本例では、当該搬送ラインが所定速度で動いているときはそのまま撮像画像の取得と画像解析を繰り返す。当該搬送ラインが移動する速度が所定速度よりも遅くなった場合、あるいは静止したときは故障ないし異常と判定し、静止状態を認識した時刻の前後所定時間分の動画像を保存する。そして、ネットワーク回線ＮＷを介して監視装置３０に接続した後、保存した撮像画像を状態データとして送信する。後述するワークシートによる状態のみを送信してもよい。静止前後の撮像画像を受信した監視装置３０は、当該撮像画像を画像ＤＢに格納する。監視装置３０は、また、監視制御装置２０からの受信ログをログＤＢ３１９へ格納する。
【００３５】
（４）稼働監視（色・文字認識）
遠隔監視システム１は、色や文字の認識に使用することができる。図９（ａ）は、被監視空間を、複数の機器の動作状態を表示する監視パネル面としたときの動画像であり、監視装置３０の表示画面に表示される。監視パネル面には、いずれかの機器の動作状況に応じて文字（数字、記号を含む）が変化する文字領域、正常時は青で異常が発生すると赤に変化する状態表示ランプのほか、電源投入時に「入」となり、電源遮断時に「切」となる電源スイッチなどが設けられている。状態値は、認識した色ないし文字である。
監視装置３０の操作者は、表示画面３００を視認しながら、図９（ｂ）に示すように、表示画面３００上をポインティングデバイスでなぞり、監視パネル面のうち、監視したい状態表示ランプの周辺に例えば赤色矩形枠状の判定エリア９１を設定する。また、文字領域及び電源スイッチの周辺に例えば青色矩形枠状の判定エリア９２を設定する。また、各判定エリア９１，９２に画像解析条件を関連付けて設定する。なお、判定エリア９１，９２の色は例示であり、青ないし赤に限定されない。画像解析条件は、判定エリア９１については当該判定エリア９１に映った文字の記録、判定エリア９２については当該判定エリア９２に映った状態表示ランプの色が特定色に変化したかどうかを検出することである。設定された情報は、解析条件ＤＢ３１６に監視補助装置２０の識別情報と関連付けて格納するとともに、その監視補助装置２０に向けて送信する。
【００３６】
判定エリア９１，９２及び画像解析条件を受信した監視補助装置２０は、受信した情報を解析条件保持部２２５に保持する。その後、図９（ａ）に示した撮像画像（設定用画像）の監視装置３０への送信を停止する。撮像装置１０から撮像画像については取得を継続する。そして、判定エリア９１，９２の画像について、画像解析部２２４が画像解析条件に従って解析を行う。本例では、文字領域については認識した文字をワークシートに記録する。状態表示ランプについては、色が特定色に変化したときに、当該変化を認識した時刻の発生前後所定時間分の撮像画像を保存する。そして、ネットワーク回線ＮＷを介して監視装置３０に接続した後、保存した撮像画像を状態データとして送信する。静止前後の撮像画像を受信した監視装置３０は、当該撮像画像を画像ＤＢに格納する。監視装置３０は、また、監視制御装置２０からの受信ログをログＤＢ３１９へ格納する。
【００３７】
（５）統合監視
図１０は、撮像装置１０及び監視補助装置２０を複数組備えた統合監視に使用するときの例を示した模式図である。被監視空間は、製品（製品Ａ，Ｂ）の原材料チェックから箱結（箱詰後の梱包）に至る個々の作業空間である。各作業空間には、撮像装置１０Ａと監視補助装置２０Ａ、撮像装置１０Ｂと監視補助装置２０Ｂ・・・のように、撮像装置１０と監視補助装置２０とが対となって設置される。撮像装置１０Ａは、作業員の在籍管理に用いる画像を撮像する。撮像装置１０Ｂは、上述した故障監視のための画像を撮像する。撮像装置１０Ｆは、侵入監視のための画像を撮像する。撮像装置１０Ｃ〜１０Ｅ及び撮像装置１０Ｇ〜１０Ｋは、それぞれ上述した稼働監視のための画像を撮像する。
各撮像装置１０Ａ〜１０Ｋと１対１で対応する監視補助装置２０Ａ〜２０Ｋへは、上述した設定情報が監視装置３０から送信される。また、各監視補助装置２０Ａ〜２０Ｋからは、ネットワーク回線ＮＷを介して一台の監視装置３０にそれぞれ状態データが送信される。監視装置３０は、各監視補助装置２０から受信した状態データを統合した画面を編集し、表示画面に表示させる。
【００３８】
以上の説明のとおり、本実施形態では、監視補助装置２０が、撮像装置１０から撮像画像を取得し、取得した撮像画像を設定用画像として監視装置３０へ送信する。監視装置３０は、この設定用画像を表示画面３００に表示させ、判定エリアと画像解析条件とをリアルタイムに設定するとともに、設定情報を監視補助装置２０へ送信する。そして、監視補助装置２０が、判定エリアの撮像画像を画像解析条件に従って解析することにより被監視空間の状態を表す状態データを生成し、生成した状態データを監視装置３０へ送信することにより、被監視空間の状態監視を行う。
被写体に対する画像解析による状態監視なので、被監視空間に存在する機器や装置側と接続して異常かどうかの試験を行う必要がなく、異常検知センサなどの設置も不要となる。そのため、どのような被写体でも状態監視が可能となり、汎用性を高めることができる。
また、監視補助装置２０は、判定エリア等の設定後は、監視装置３０への撮像画像の送信を停止して、撮像装置１０からの撮像画像を取り込んで画像解析を繰り返すので、ネットワーク回線ＮＷに回線異常などが生じても、監視補助装置２０は、被監視空間の状態の監視を継続することができる。また、画像解析をハードウエア部品で構成される監視補助装置２０側で実施し、状態変化のみを監視装置３０に通知する運用の場合、撮像画像を蓄積する必要がない。そのため、大容量のストレージやネットワーク帯域、高性能のＣＰＵを必要としない。情報セキュリティ観点でも制約がないものとなる。
【００３９】
監視補助装置２０は、画像解析条件を受信した後は撮像画像の送信を停止し、画像解析条件を満たすと判定されたときに状態データを生成し、生成した状態データを監視装置３０へ送信するので、監視装置３０は、状態データの受信を待つだけでよくなる。そのため、被監視空間を常時監視する必要がないため、監視作業の負荷が軽減される。
【００４０】
監視補助装置２０は、撮像画像として動画像を取得し、監視装置３０へはそのうちの一部の静止画像を送信するようにしてもよい。例えば図７（ａ）のような撮像画像の場合は、動画像に代えて静止画像にすることもできる。このようにすれば、監視補助装置２０側の処理負荷も軽減される。
【００４１】
監視補助装置２０は、状態値を超えたときの動画像を、当該状態値を超えた時点の前後所定時間分だけ記録するので、例えば状態変化が生じた原因などを分析することが容易となる。
【００４２】
監視装置３０は、被監視空間の撮像画像を一つの表示画面に表示させるとともに該一つの表示画面にそれぞれ一つ又は画像解析条件が異なる複数の判定エリアを設定することができるので、同時に複数の被写体の状態を監視することができる。
【００４３】
一つの撮像装置１０が複数の被監視空間の状態を撮像し、監視装置３０が監視補助装置２０から受信した各被監視空間の状態データを一つの表示画面に集約させることができるので、広い工場内に複数の監視対象が存在しても、一つの画面で各監視対象の状態を俯瞰的に監視することができる。
【００４４】
本実施形態は、以上のとおりであるが、本発明の実施形態は、上記例に限定されない。例えば、人の検知数の自動計測、人や車のトラッキング(追跡)、被写体のモーション検知、置去り・持去り検知、顔認証システム、人や車の不審行動、不審物検知、人や物体の行動認証ないし不審行動の検知、人や物体の滞留時間測定などにも活用が可能である。
【図１】
2018152729.tif 000003
【図２】
2018152729.tif 000004
【図３】
2018152729.tif 000005
【図４】
2018152729.tif 000006
【図５】
2018152729.tif 000007
【図６】
2018152729.tif 000008
【図７】
2018152729.tif 000009
【図８】
2018152729.tif 000010
【図９】
2018152729.tif 000011
【図１０】
2018152729.tif 000012