(57)【特許請求の範囲】
【請求項１】
撮像手段により物体を撮像するステップと、
前記撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出するステップと、
前記検出の結果、前記撮像された物体が発報対象外の物体であると判断された場合、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに移行する移行ステップとを備え、
前記移行ステップは、
前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、
前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とする画像認識方法。
【請求項２】
複数の隣接する監視区域をそれぞれの画像認識装置により監視する監視システムにおいて、
一の画像認識装置の撮像手段により物体を撮像するステップと、
前記撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出するステップと、
前記画像認識装置が監視する区域に隣接する別の区域を監視する画像認識装置から物体が発報対象外の物体であることを示す発報延期信号を受信するステップと、
前記発報延期信号を受信した場合、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに移行する移行ステップとを備え、
前記移行ステップは、
前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、
前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とする画像認識方法。
【請求項３】
前記撮像手段により物体を撮像して得られた画像から発報対象外の物体を検出した際に、前記撮像手段が監視する区域に隣接する別の区域を監視する別系統の画像認識装置へ発報延期信号を通知する延期信号出力ステップを備えることを特徴とする請求項１または２記載の画像認識方法。
【請求項４】
物体を撮像する撮像手段に接続され、前記撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出する物体識別手段と、
前記物体識別手段に接続され、当該物体識別手段の検出の結果、前記撮像された物体が発報対象外の物体であると判断された場合、非発報延期モードから、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに切り替える発報延期手段とを備え、
前記発報延期手段は、
前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、
前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とする画像認識装置。
【請求項５】
複数の隣接する監視区域をそれぞれ撮像手段と画像認識装置とにより監視する監視システムにおいて、
一の画像認識装置に接続され物体を撮像する撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出する物体識別手段と、
前記画像認識装置が監視する区域に隣接する別の区域を監視する画像認識装置に接続された撮像手段により物体を撮像して得られた画像から前記物体が発報対象外の物体であることを示す発報延期信号を受信した場合、非発報延期モードから、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに切り替える発報延期手段とを備え、
前記発報延期手段は、
前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、
前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とする画像認識装置。
【請求項６】
前記撮像手段により物体を撮像して得られた画像から発報対象外の物体を検出した際に、前記撮像手段が監視する区域に隣接する別の区域を監視する別系統の画像認識装置へ通知する延期信号出力部を備えたことを特徴とする請求項４または５記載の画像認識装置。
【請求項７】
前記発報対象物体の位置を画像上に図形として重畳して表示するとともに、発報を延期しているか否かにより図形の表示色を変化させる表示部を備えたことを特徴とする請求項４から６のいずれかに記載の画像認識装置。
【請求項８】
前記画像から発報対象外の物体を検出した際に物体の移動方向を予測し、これに応じて前記発報延期信号の通知先を選択する通知先選択部を備えたことを特徴とする請求項６記載の画像認識装置。
【請求項９】
複数の撮像装置と、前記複数の撮像装置のそれぞれに対応して接続され、各撮像装置により撮像された物体の画像を処理して発報対象の物体が画像中に存在する場合に発報を行う複数台の請求項４に記載の画像認識装置と、各画像認識装置に接続され前記画像認識装置から出力された画像を遅延させる複数のフレームバッファーと、前記撮像装置の画像および画像認識装置の処理結果を表示する複数の画像表示装置と、前記撮像装置、画像認識装置、フレームバッファーおよび画像表示装置間で情報を送受信するための伝送手段とを備えたことを特徴とする監視システム。
【請求項１０】
複数の撮像装置と、前記複数の撮像装置のそれぞれに対応して接続され、各撮像装置により撮像された物体の画像を処理して発報対象の物体が画像中に存在する場合に発報を行う複数台の請求項４に記載の画像認識装置と、各画像認識装置に接続され前記画像認識装置から出力された画像を遅延させる複数のフレームバッファーと、発報対象外の通過物体を識別して前記発報延期信号を通知する通過物体感知器と、前記撮像装置の画像および画像認識装置の処理結果を表示する複数の画像表示装置と、前記撮像装置、画像認識装置、フレームバッファー、通過物体感知器および画像表示装置間で情報を送受信するための伝送手段とを備えたことを特徴とする監視システム。
【請求項１１】
発報対象外の通過物体を識別して前記発報延期信号を通知する通過物体感知器が音声認識装置であることを特徴とする請求項１０記載の監視システム。
【請求項１２】
発報対象外の通過物体を識別して前記発報延期信号を通知する通過物体感知器が磁気センサーであることを特徴とする請求項１０記載の監視システム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を処理して画像中の侵入者や侵入物体を精度良く検出する画像認識方法および装置とその装置を利用した監視システムに関する。
【０００２】
【従来の技術】
従来の画像認識方法および装置（例えば、特開平11-203567号公報）は、画像を処理して侵入物体の面積や速度、縦横寸法などを特徴量として算出し、各特徴量を一定期間中平均し、あらかじめ設定してあるパラメータによる判定条件が満たされた場合、発報対象の物体であると判断してブザー等発報手段により即座に発報を行っていた。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来の画像認識方法および装置では、例えば悪天候時や低照度時等、撮像装置から出力される画像の画質が低下して、特に遠方の侵入物体について十分な精度で特徴量が得られない場合において、本来発報対象外の物体であっても、特徴量が所定のパラメータによる判定条件を満たして発報することがある。このように誤って発報した後、物体が撮像装置に接近するなどして比較的精度良く特徴量が得られて、本来発報すべき物体ではなかったことが分かっても、先の発報を取り消すことができず、誤発報となってしまう。
【０００４】
本発明は、このような問題を解決するためになされたもので、誤って発報することが少ない画像認識方法および装置と、この装置を利用した監視システムを提供することを目的とする。
【０００５】
【課題を解決するための手段】
本発明の画像認識方法は、撮像手段により物体を撮像するステップと、前記撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出するステップと、前記検出の結果、前記撮像された物体が発報対象外の物体であると判断された場合、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに移行する移行ステップとを備え、前記移行ステップは、前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とするものである。この方法により、画像から発報対象外の物体を検出した場合は、その後に発報対象である物体を検出した場合でも、誤認識の可能性があるので所定期間は発報延期モードとし、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、延期している発報自体を取り消すことにより、誤発報を防止できることとなる。
【０００６】
また、本発明の画像認識方法は、複数の隣接する監視区域をそれぞれの画像認識装置により監視する監視システムにおいて、一の画像認識装置の撮像手段により物体を撮像するステップと、前記撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出するステップと、前記画像認識装置が監視する区域に隣接する別の区域を監視する画像認識装置から物体が発報対象外の物体であることを示す発報延期信号を受信するステップと、前記発報延期信号を受信した場合、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに移行する移行ステップとを備え、前記移行ステップは、前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とするものである。この方法により、別系統から発報対象外の物体を検出したことを示す発報延期信号を通知された場合は、その後に発報対象である物体を検出した場合でも、誤認識の可能性があるので所定期間は発報延期モードとし、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、延期している発報自体を取り消すことにより、誤発報を防止できることとなる。
【０００７】
また、本発明の画像認識方法は、前記撮像手段により物体を撮像して得られた画像から発報対象外の物体を検出した際に、前記撮像手段が監視する区域に隣接する別の区域を監視する別系統の画像認識装置へ発報延期信号を通知する延期信号出力ステップを備えることを特徴とするものである。この方法により、例えばパトロール車両のような発報対象外の物体が検出された場合、隣接区間を監視する画像認識装置に向けて発報延期信号を通知することにより、他の画像認識装置が誤発報するのを防止できることとなる。
【０００８】
また、本発明の画像認識装置は、物体を撮像する撮像手段に接続され、前記撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出する物体識別手段と、前記物体識別手段に接続され、当該物体識別手段の検出の結果、前記撮像された物体が発報対象外の物体であると判断された場合、非発報延期モードから、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに切り替える発報延期手段とを備え、前記発報延期手段は、前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とするものである。この構成により、画像から発報対象外の物体を検出した場合は、その後に発報対象である物体を検出した場合でも、誤認識の可能性があるので所定期間は発報延期モードとし、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、延期している発報自体を取り消すことにより、誤発報を防止できることとなる。
【０００９】
また、本発明の画像認識装置は、複数の隣接する監視区域をそれぞれ撮像手段と画像認識装置とにより監視する監視システムにおいて、一の画像認識装置に接続され物体を撮像する撮像手段により撮像して得られた画像から前記物体が発報対象の物体であるのか、発報対象外の物体であるのかを検出する物体識別手段と、前記画像認識装置が監視する区域に隣接する別の区域を監視する画像認識装置に接続された撮像手段により物体を撮像して得られた画像から前記物体が発報対象外の物体であることを示す発報延期信号を受信した場合、非発報延期モードから、その後に前記撮像手段により撮像して得られた物体の画像から検出した発報対象についての発報を延期する発報延期モードに切り替える発報延期手段とを備え、前記発報延期手段は、前記発報延期モード中に前記撮像手段により撮像して得られた物体の画像から発報対象の物体を検出した場合、発報延期期間だけ発報を延期し、前記発報延期モード中における発報延期期間の間に前記撮像手段により撮像して得られた物体の画像から発報対象外の物体を検出した場合、前記延期している発報対象についての発報を取り消すことを特徴とするものである。この構成により、別系統から発報対象外の物体を検出したことを示す発報延期信号を通知された場合は、その後に発報対象である物体を検出した場合でも、誤認識の可能性があるので所定期間は発報延期モードとし、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、延期している発報自体を取り消すことにより、誤発報を防止できることとなる。
【００１０】
また、本発明の画像認識装置は、前記撮像手段により物体を撮像して得られた画像から発報対象外の物体を検出した際に、前記撮像手段が監視する区域に隣接する別の区域を監視する別系統の画像認識装置へ通知する延期信号出力部を備えたことを特徴とするものである。この構成により、例えばパトロール車両のような発報対象外の物体が検出された場合、隣接区間を監視する画像認識装置に向けて発報延期信号を通知することにより、他の画像認識装置が誤発報するのを防止できることとなる。
【００１１】
また、本発明の画像認識装置は、前記発報対象物体の位置を画像上に図形として重畳して表示するとともに、発報を延期しているか否かにより図形の表示色を変化させる表示部を備えたことを特徴とするものである。この構成により、物体の位置を示す目的で画像中に矩形等図形を重畳して表示する際、発報の延期中と延期終了後つまり発報後とで図形の表示色を切り替えることにより、発報を延期していることを明示的に表示できることなる。
【００１２】
また、本発明の画像認識装置は、前記画像から発報対象外の物体を検出した際に物体の移動方向を予測し、これに応じて前記発報延期信号の通知先を選択する通知先選択部を備えたことを特徴とするものである。この構成により、通過物体の移動方向にある監視区域の画像認識装置にのみ発報延期信号を通知することにより、他の画像認識装置が誤発報するのを効率的に防止できることとなる。
【００１３】
また、本発明の監視システムは、複数の撮像装置と、前記複数の撮像装置のそれぞれに対応して接続され、各撮像装置により撮像された物体の画像を処理して発報対象の物体が画像中に存在する場合に発報を行う上記した複数台の画像認識装置と、各画像認識装置に接続され前記画像認識装置から出力された画像を遅延させる複数のフレームバッファーと、前記撮像装置の画像および画像認識装置の処理結果を表示する複数の画像表示装置と、前記撮像装置、画像認識装置、フレームバッファーおよび画像表示装置間で情報を送受信するための伝送手段とを備えたことを特徴とするものである。この構成により、ある画像認識装置が画像を処理して発報対象外の通過物体を検出した場合には、伝送手段を通じて別の画像認識装置に発報延期信号を通知することにより、誤発報を効果的に防止することのできる監視システムを実現できることとなる。
【００１４】
また、本発明の監視システムは、複数の撮像装置と、前記複数の撮像装置のそれぞれに対応して接続され、各撮像装置により撮像された物体の画像を処理して発報対象の物体が画像中に存在する場合に発報を行う複数台の請求項４に記載の画像認識装置と、各画像認識装置に接続され前記画像認識装置から出力された画像を遅延させる複数のフレームバッファーと、発報対象外の通過物体を識別して前記発報延期信号を通知する通過物体感知器と、前記撮像装置の画像および画像認識装置の処理結果を表示する複数の画像表示装置と、前記撮像装置、画像認識装置、フレームバッファー、通過物体感知器および画像表示装置間で情報を送受信するための伝送手段とを備えたことを特徴とするものである。この構成により、通過物体感知器が発報対象外の物体を検出した場合に画像認識装置に発報延期信号を通知することにより、誤発報を効果的に防止することのできる監視システムを実現できることとなる。
【００１５】
また、本発明の監視システムは、発報対象外の通過物体を識別して前記発報延期信号を通知する通過物体感知器が音声認識装置であることを特徴とするものである。この構成により、物体の通過音により発報対象外の物体を検出して画像認識装置に発報延期信号を通知することにより、誤発報を効果的に防止することのできる監視システムを実現できることとなる。
【００１６】
また、本発明の監視システムは、発報対象外の通過物体を識別して前記発報延期信号を通知する通過物体感知器が磁気センサーであることを特徴とするものである。この構成により、通過に伴う磁気変動により発報対象外の物体を検出して画像認識装置に発報延期信号を通知することにより、誤発報を効果的に防止することのできる監視システムを実現できることとなる。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について、図１〜図９を用いて説明する。
（実施の形態１）
図１は本発明の第１の実施の形態における画像認識装置の構成を示すものである。撮像装置１は、監視区域の画像を撮影して画像認識装置１２へ出力する。画像認識装置１２は、撮像装置１により得られた画像を処理して発報対象である侵入物体を検出した場合に発報を行う。画像認識装置１２において物体を誤認識することは稀ではあるが、気象条件や照度条件により撮像装置からの画像が劣化し、特徴量が正しく得られないこと等を要因として発報対象外の物体を発報対象と誤認識する場合もある。
【００１８】
撮像装置1から入力される映像信号は、画像入力部２においてA/D変換され、入力画像メモリ３に記憶される。物体抽出部４は、背景画像メモリ５に記憶されている物体の存在しない画像いわゆる背景画像と、入力画像メモリ３に記憶されている現在の入力画像とを比較して、変化の生じた領域を物体領域として抽出する。特徴量算出部６は、物体の特徴量として、面積比、移動量、移動速度、追跡期間等を算出する。物体識別部７は、特徴量算出部６で得られた特徴量を、あらかじめ設定してある閾値と比較して物体を識別し、その物体が発報すべき物体であれば発報を指示する。発報延期部８は、物体識別部７にて発報対象外の物体が検出された場合、その後に発報対象の物体が検出された場合はその発報を所定期間延期する。発報取り消部９は、発報延期期間中に物体識別部７にて発報対象外の物体が検出された場合、延期中の発報を取り消す。延期信号出力部１０は、物体識別部７にて発報対象外の物体を検出した場合、発報延期信号を別系統の画像認識装置に向けて通知する。表示部１１は、発報対象物の位置を枠等の図形により表示する際、発報延期中かまたは発報後かによって図形の色を切り替える。
【００１９】
次に、画像入力部２、物体抽出部４、特徴量算出部６、物体識別部７、発報延期部８、発報取り消部９、延期信号出力部１０、表示部１１の動作についてさらに詳細に説明する。
【００２０】
画像入力部２では、撮像装置１から出力された映像信号をA/D変換してディジタルの画像データとする。例えば画素サイズが水平方向（Ｘ）192画素、垂直方向（Ｙ）242画素の256階調モノクロ画像データを獲得する。なお、撮像装置１がディジタルの画像データを出力する場合は、A/D変換は行わないが、以降の処理にあわせて解像度変換等を行う。
【００２１】
物体抽出部４では、入力画像I（X,Y）と侵入物体が存在しない画像である背景画像B（X,Y）との間で輝度の差分絶対値S（X,Y）を下記式（１）により求め、移動物体により発生する画像上での輝度変化を検出する。
S（X,Y）  ＝  ｜  I（X, Y）−  B(X, Y)  ｜                （１）
この輝度の差分絶対値に対して閾値処理を行い、閾値THbiを超える画素を1、閾値THbiを超えない画素を０とするなどして2値化し、画像中の輝度変化領域を抽出する。撮像装置１から出力される画像の画質が低下し、低コントラストになった場合等は、物体の領域が正しく抽出できない場合もある。
【００２２】
以上説明した物体抽出の手法は背景差分方式として知られている。次に、レベル１となった画素に対してラベリング処理を行い、隣接する画素が互いにレベル１である領域に固有のラベルを与える。ラベリング処理によって各ラベルの面積、重心位置を獲得する。なお、物体抽出部４において物体を抽出する際、背景差分方式以外にパターンマッチングやオプティカルフローにより物体の領域を抽出する方法を用いても良い。
【００２３】
特徴量算出部６では、物体を識別するための特徴量を算出する。ここでは特徴量として面積比Rと追跡期間TTとを用いる場合について説明する。まず、物体抽出部４にて抽出された物体の位置を時間的に関連付けして追跡する。１フレーム前の物体位置と現在の物体位置とが十分に近く、物体領域の面積や形状の変化量が所定範囲内である場合に追跡成立とする。同一物体の追跡中に物体抽出部４で抽出された物体の面積Sobと、基準面積Sstとを用いて下記式（２）により物体の大きさを示す面積比を処理周期毎算出する。基準面積とは、物体が抽出された同位置において平均的体格の人間が抽出された場合の画像上での面積値とする。基準面積は撮像装置の俯角や撮像素子の大きさ、レンズの焦点距離から算出することができる。平均的な体格の侵入者を抽出した場合、面積比は100％前後となる。
面積比Ｒ  ＝  （Ｓob  ／  Ｓst）×１００［％］          （２）
追跡期間TTは追跡開始時から現在までの経過時間である。入力した画像が低コントラストである等、画質が低下している場合には精度よく特徴量が得られない場合もある。なお、上記説明では、特徴量として面積比と追跡期間とを算出する場合について説明したが、移動量、移動方向、移動速度、輝度等を算出することも考えられる。
【００２４】
物体識別部７では、特徴量を用いて発報すべき物体であるか判定する。ここでは発報対象とする物体が監視区域への侵入者であり、発報対象外の物体は猫、鳥等の小動物やパトロール車両等であるとする。面積比Rと追跡期間TTとを用いて侵入者を判別する処理のフローを図２に示す。追跡開始時からの最大の面積比Rmaxを記憶しておき、追跡期間TTが閾値TTTHを超えた時点以降において（ステップＳ１）、最大面積比Rmaxが下限閾値RTH1を一度でも超え（ステップＳ２）、かつ上限閾値RTH2を一度も超えない場合に（ステップＳ３）、侵入者であると判断する。最大の面積比Rmaxが下限閾値RTH1未満である物体は、小動物やノイズ等であると判断し、上限閾値RTH2より大きな物体は、車両等の物体であると判断する。追跡期間の閾値TTTHを大きくし、長期間をかけて認識を行えば誤認識を低減することができるが、侵入が起こってから発報が行われるまでに遅れが生じたり、追跡期間閾値を満たさない侵入物体を見逃すなどの問題が発生するため、追跡期間閾値TTTHは数秒程度が適当である。面積比の下限閾値RTH1は小動物等がとり得る最大の面積比程度とし、上限閾値RTH2は侵入者が取り得る最大の面積比程度とするのが適当である。なお、上記説明では、特徴量として追跡期間TTと面積比Ｒとを用いて物体を認識する例を述べたが、その他に移動量、移動方向、移動速度、輝度等の特徴量を組み合わせて認識することも考えられる。
【００２５】
発報延期部８では、物体識別部７にて発報対象外の物体が検出された場合、その後に発報対象の物体が検出された場合の発報を延期するため、所定期間TAだけ発報延期モードとなり、この発報延期モード時に発報対象の物体が検出された場合は、発報延期期間TBだけ発報を延期する。所定期間TA経過後には非発報延期モードとなり、発報の延期は行わない。各モードの状態遷移の様子を図３に示す。発報延期モードとなる期間TAは、物体が別の監視区間へ移動するための所用時間程度がふさわしく、数十秒程度が適当である場合が多い。発報延期期間TBは、例えば物体が遠方から接近してくる場合、物体が遠方からカメラ手前まで移動する時間程度であり、数秒〜数十秒程度が適当である。
【００２６】
発報取り消部９では、物体識別部７において発報対象外の物体、例えばパトロール車両が検出された場合に、延期中の発報があればこれを取り消す。発報取り消部９は発報の延期期間中以外は機能しない。
【００２７】
延期信号出力部１０では、物体識別部７において発報対象外の物体、例えばパトロール車両が検出された場合に、隣接区域を監視する他の画像認識装置に向けて発報延期信号を通知する。
【００２８】
表示部１１では、侵入物体の画像上位置を矩形枠等図形で示す際、発報延期中の場合は矩形枠を黄色で表示し、発報後は矩形枠を赤で表示するなど、図形の色を切り替えて監視員等に発報を延期していることを分かりやすくする。その他、表示部１１では、画像に文字や図形を重畳して物体の識別結果等を表示する。
【００２９】
なお、以上の説明において、発報対象である物体を監視区域への侵入者とし、発報対象外の物体は小動物やパトロール車両等であるとしたが、小動物および車両が発報対象となっても良いし、発報対象外の物体は作業員や工事用車両等であっても良い。
【００３０】
このように、本実施の形態１によれば、物体識別部７にて発報対象外の物体を検出した場合は、発報延期部８が非発報延期モードから所定期間TAの発報延期モードに切り替え、その後に発報対象である物体を検出した場合は、誤認識の可能性があるので、所定の発報延期期間TBの間は発報を延期し、その間に発報対象外の物体を検出した場合は、先の発報対象の検出は誤認識であるとして、発報取消部９が、延期している発報自体を取り消すことにより、誤発報を防止することができる。
【００３１】
また、延期信号出力部１０が、物体識別部７にて発報対象外の物体、例えばパトロール車両を検出した場合は、隣接区域を監視する他の画像認識装置に向けて発報延期信号を通知することにより、他の画像認識装置が発報対象外の物体を発報対象物体と認識して誤発報するのを防止することができる。
【００３２】
（実施の形態２）
次に、本発明の第２の実施の形態について説明する。本実施の形態２における構成は、実施の形態１で説明した画像認識装置の発報延期部８に、隣接区域を監視する別系統の画像認識装置等から発報延期信号が入力されることが異なるのみであり、画像入力部２、入力画像メモリ３、物体抽出部４、背景画像メモリ５、特徴量算出部６、物体識別部７、発報取り消部９、延期信号出力部１０、表示部１２については実施の形態１で説明した通りであるので説明を省略する。
【００３３】
本実施の形態２における発報延期部８では、隣接区域を監視する別系統の画像認識装置等からの発報延期信号の被通知有無により、発報を延期させるかどうかのモード切り替えを行う。外部から発報延期信号の通知を受けた場合、所定期間TAは発報延期モードとなり、発報延期モード時には発報を発報延期期間TBだけ延期する。最後に受信した発報延期信号から所定期間TA経過後には非発報延期モードとなり、発報の延期は行われない。各モードの状態遷移の様子を図５に示す。ここでは、発報延期信号は、隣接区間を監視する別系統の画像認識装置や各種センサーにおいて発報対象外であるパトロール車両等を検出した際に、この画像認識装置１２に向けて通知するものとする。発報延期モードとなる期間TAは、物体が別の監視区間へ移動するための所用時間程度がふさわしく、数十秒程度が適当である場合が多い。期間TBは、例えば物体が遠方から接近してくる場合、物体が遠方からカメラ手前まで移動する時間程度であり、数秒〜数十秒程度が適当である。
【００３４】
このように、本実施の形態２によれば、発報対象外の物体を侵入者であると一旦は発報対象として認識しても、発報対象外の物体をあらかじめ検出している画像認識装置等からの通知を受けた場合にはその発報を延期し、その間に画像中の物体が発報対象外であると再認識した場合は、その発報を取り消すようにしたので、誤発報を防止することができる。
【００３５】
（実施の形態３）
次に、本発明の第３の実施の形態について説明する。本実施の形態３は、上記実施の形態２の一部をソフトウエアにより実現する場合であり、図６の処理のフローを用いて説明する。
【００３６】
物体抽出部工程Ｆ１において、背景差分方式により物体領域を抽出する。背景差分方式とは、入力画像と別途記憶されている過去の画像いわゆる背景画像とを比較して、変化のあった画像領域を物体領域として抽出する方式である。特徴量算出工程Ｆ２では、物体の特徴量として、面積比、移動量、移動速度、追跡期間等を算出する。物体識別工程Ｆ３では特徴量算出工程Ｆ２で得られた特徴量を、あらかじめ設定してある閾値と比較して発報すべき物体かを識別する。発報延期工程Ｆ４では、発報延期信号を受信した場合に発報を所定期間延期する。発報取り消工程Ｆ５では、画像中から発報対象外の物体が検出された場合に遅延中の発報を取り消す。延期信号出力工程Ｆ６では、物体識別工程Ｆ３にて発報対象外の物体を検出した場合、発報延期信号を別系統の画像認識へ通知する。発報延期工程Ｆ４、発報取り消工程Ｆ５、延期信号出力工程Ｆ６については、以下にさらに詳細に説明する。
【００３７】
発報延期工程Ｆ４では、外部から発報延期信号が入力中の場合や入力後所定期間TA以内の発報延期モード時は、物体識別工程Ｆ３において発報対象の物体が検出されてから所定期間TB遅延させて発報する。発報延期信号が未通知の場合や最後の通知から所定期間TA経過後の非発報延期モード時は延期せずに発報する。発報延期モードとなる期間は、物体が別の監視区間へ移動するための所用時間程度が適当であり、数十秒程度である場合が多い。また、発報指示信号を遅延する期間TBは、例えば物体が遠方から接近してくる場合物体が遠方からカメラ手前まで移動する時間程度であり、数秒から数十秒が適当である。
【００３８】
発報取り消工程Ｆ５では、画像から発報対象外であるパトロール車両等を検出した場合、遅延中の発報があればこれを取り消す。
【００３９】
延期信号出力工程Ｆ６では、物体識別工程Ｆ３において画像中にパトロール車両等の発報対象外の物体が存在すると判断された場合、隣接する別の画像認識装置に向けて、パトロール車両等発報対象外の物体が付近に存在することを示す発報延期信号を通知する。
【００４０】
このように、本実施の形態３によれば、発報対象外の物体を侵入者であると誤認識した場合であっても、後に発報対象外の物体であることが分かった場合は、先の誤発報を取り消すことができる。
【００４１】
（実施の形態４）
次に、本発明の第４の実施の形態について図７を用いて説明する。本実施の形態４における構成は、実施の形態１および実施の形態２で説明した画像認識装置１２に、通知先選択部1３を加えたものであり、画像入力部２、入力画像メモリ３、物体抽出部４、背景画像メモリ５、特徴量算出部６、物体識別部７、発報延期部８、発報取り消部９、延期信号出力部１０、表示部１２については実施の形態１および実施の形態２で説明した通りであるので説明を省略する。
【００４２】
通知先選択部１３は、まず、特徴量算出部６における物体追跡処理の結果を受けて、発報対象外の物体の移動方向を予想する。例えば、図８（ａ）に示すように、左上を原点（０、０）とする画像上において、追跡開始時の位置を（X0、Y0）とし、現在の位置が（X1,Y1）であるとする。簡単のため水平X方向の移動については考慮しない場合、Y0 < Y1であれば物体が画像下方向に移動、つまり撮像装置に接近していることとなり、今後も画像下方向へ移動していくものと予想することができる。なお、移動方向の予測は画像左右方向について行っても良い。
【００４３】
次に、延期信号出力部１０から出力された発報延期信号の通知先を、予測した移動方向によって切り替える。例えば、図８（ｂ）に示すように、注目する監視区域A１より遠方に監視区域A0、A1より手前に監視区域A2が存在し、A0とA1、A1とA2がそれぞれ隣接している場合を想定する。監視区域A1を撮影している画像中を上方向つまり撮像装置１から遠ざかるように移動する発報対象外の物体があるとした場合、今後は監視区域A1の奥に隣接する監視区域A0に物体が移動することが予想される。よって、監視区域A0を監視している画像認識装置にのみ発報延期信号を通知する。逆に、画像中を下方向へ移動する物体が存在する場合は、監視区域A1の手前に隣接する監視区域A2の画像認識装置にのみ発報延期信号を通知する。発報延期信号の通知を受けた画像認識装置１２の発報延期部８は、所定期間だけ発報を延期し、延期中に物体が発報対象外であると再認識すれば、発報取消部９において発報を取り消す。
【００４４】
このように、本実施の形態４によれば、万一画像中の発報対象外の物体を発報対象と一旦は誤認識しても、発報延期信号の通知により発報を延期するので、所定期間内に物体が発報対象外の物体であると再認識された場合は、延期中の発報を取り消すことができるとともに、発報延期信号を別系統へ通知する際、隣接する全ての画像認識装置に通知するのではなく、物体の進入が予想される画像認識装置にのみ通知するので、物体が進入しない画像認識装置の発報まで遅れないようにすることができる。
【００４５】
（実施の形態５）
次に、本発明の第５の実施の形態について図９を用いて説明する。本実施の形態５は、上記した画像認識装置１２を用いた監視システムであり、複数の撮像装置１a、1bは、それぞれ隣接する別の監視区域Ａ、Ｂを撮影する。各撮像装置１a、1bの画像を入力した画像認識装置12a、12bは、画像中の進入物体を認識し、発報対象である物体が存在すれば発報する。通過物体感知器SENは、発報対象外の物体を感知して発報延期信号を出力する。フレームバッファーFBは、発報の瞬間とその前後の画像を記憶する。伝送手段CABは、撮像装置１a、1b、画像認識装置12a、12b、通過物体感知器SENが出力する画像や、発報延期信号を伝送する。警報装置CAＵは、ブザー等の発報手段を備えて警報を発する。表示装置MONは、画像認識装置12a、12bおよび撮像装置１a、1bが出力する画像を表示する。画像認識装置12a、12bについては、実施の形態１から４でも説明したように、撮像装置１a、1bから入力した画像を処理して画像中に発報対象となる物体が存在すれば発報する。また、発報対象外の物体を検出した際は、隣接区間を監視する画像認識装置に対して発報延期信号を出力する。
【００４６】
本システムの動作の一例について説明する。発報対象外の物体CARが、図９において左方向から右方向へ移動しているとする。物体は、撮像装置1aの画角内の監視区域Ａに進入し、画像認識装置12aにより発報対象外の物体であるパトロール車両であると認識される。画像認識装置12aは、隣接監視区域の画像認識装置12bに対して発報延期信号を通知する。パトロール車両は、次に監視区域Bに進入し、画像認識装置12bにより同パトロール車両の認識が行われる。画像認識装置12bが侵入者であると誤認識した場合であっても、発報延期信号をあらかじめ通知されているため発報は延期し、延期中に先の物体がパトロール車両であると再認識された場合には、遅延中の発報を取り消す。なお、画像認識装置12bにおいて、パトロール車両と再認識されなかった場合、つまりパトロール車両が監視区域Bに進入したのではなく、実際に侵入者が存在した場合等は、発報を所定期間延期した後に発報することになる。発報の瞬間およびその前後の画像は、フレームバッファーFBにより記録しておき、監視員による発報要因の確認等に用いる。
【００４７】
発報延期信号は、通過物体感知器SENから発信することも考えられる。通過物体感知器SENがパトロール車両等発報対象外の物体を感知した場合に、付近の画像認識装置へ発報延期信号を通知する。発報延期信号を受けた画像認識装置は、誤認識しても発報延期信号を受けて発報を延期し、後でパトロール車両等発報対象外の物体であると再認識された場合は延期中の発報を取り消す。なお、通過物体感知器SENとしては、例えば車両通過時の音響を認識する音声認識装置や、車両通過時の磁気の変化をとらえる磁気センサー等が考えられる。
【００４８】
このように、本実施の形態５によれば、一旦は発報すべき物体であると誤認識した場合であっても、隣接する区間を監視する画像認識装置および通過物体感知器が発報対象外の物体を検出していた場合には発報を遅延し、画像中の物体を再認識して発報対象外の物体であることが分かれば、発報を取り消すことができるので、結果として誤発報を防止することができる。
【００４９】
【発明の効果】
以上説明したように、本発明によれば、発報対象外の物体を侵入者であると一旦は発報対象として認識しても、発報対象外の物体をあらかじめ検出していたり、他の画像認識装置等から発報延期信号の通知を受けた場合には、その発報を所定期間だけ延期し、その間に画像中の物体が発報対象外であると再認識した場合は、その発報を取り消すようにしたので、誤発報を防止することが、監視装置としての信頼性を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１における画像認識装置の構成を示すブロック図
【図２】本発明の実施の形態１における物体識別処理を示すフロー図
【図３】本発明の実施の形態１における発報延期部の状態遷移を示す模式図
【図４】本発明の実施の形態２における画像認識装置の構成を示すブロック図
【図５】本発明の実施の形態２における発報延期部の状態遷移を示す模式図
【図６】本発明の実施の形態３における画像認識処理を示すフロー図
【図７】本発明の実施の形態４における画像認識装置の構成を示すブロック図
【図８】（ａ）実施の形態４における物体の移動方向を検出する際の模式図
（ｂ）実施の形態４における物体の移動先監視区域を検出する際の模式図
【図９】本発明の実施の形態５における侵入者監視システムの構成を示すブロック図
【符号の説明】
1  撮像装置
2  画像入力部
3  入力画像メモリ
4  物体抽出部
5  背景画像メモリ
6  特徴量算出部
7  物体識別部
8  発報延期部
9  発報取り消部
10  延期信号出力部
11  表示部
12  画像認識装置
F1  物体抽出工程
F2  特徴量算出工程
F3  物体識別工程
F4  発報延期工程
F5  発報取り消工程
F6  延期信号出力工程
13  通知先選択部
1a、1b  撮像装置
12a、12b  画像認識装置
CAR  物体
SEN  通過物体感知器
FB  フレームバッファー
CAB  伝送手段
CAＵ  警報装置
MON  表示装置
【図１】
0004338294.tif 000002
【図２】
0004338294.tif 000003
【図３】
0004338294.tif 000004
【図４】
0004338294.tif 000005
【図５】
0004338294.tif 000006
【図６】
0004338294.tif 000007
【図７】
0004338294.tif 000008
【図８】
0004338294.tif 000009
【図９】
0004338294.tif 000010