(57)【要約】【課題】監視カメラによって撮影された映像の異常停止を自動的に検出することができる映像異常停止検出装置を提供する。【解決手段】監視対象領域を撮影した注目映像から取得した注目映像フレームと、注目映像より前の映像から取得した前映像フレームのそれぞれから、輝度画像を取得する輝度画像取得部と、注目映像フレームの輝度画像と前映像フレームの輝度画像のそれぞれについて、ノイズ成分を取り出したフィルタ後輝度画像を取得するハイパスフィルタ部と、注目映像フレームのフィルタ後輝度画像と前映像フレームのフィルタ後輝度画像とにおける各画素の輝度値の差分値を画素値とする、第二差分画像を取得する第二差分演算部と、第二差分演算部が取得した第二差分画像の各画素の画素値が、いずれも第二の閾値未満である場合に、監視対象領域を撮影した映像が異常停止していると判別する判別部とを備えた。【選択図】図２
2018160722.tif 000002
【特許請求の範囲】
【請求項１】
監視対象領域を撮影した注目映像から取得した注目映像フレームと、前記注目映像より前の映像から取得した前映像フレームのそれぞれから、輝度画像を取得する輝度画像取得部と、
前記輝度画像取得部が取得した、前記注目映像フレームの輝度画像と前記前映像フレームの輝度画像のそれぞれについて、ノイズ成分を取り出したフィルタ後輝度画像を取得するハイパスフィルタ部と、
前記ハイパスフィルタ部が取得した、前記注目映像フレームのフィルタ後輝度画像と前記前映像フレームのフィルタ後輝度画像とにおける各画素の輝度値の差分値を画素値とする、第二差分画像を取得する第二差分演算部と、
前記第二差分演算部が取得した第二差分画像の各画素の画素値が、いずれも第二の閾値未満である場合に、前記監視対象領域を撮影した映像が異常停止していると判別する判別部
とを備えた映像異常停止検出装置。
【請求項２】
前記輝度画像取得部が取得した、前記注目映像フレームの輝度画像と前記前映像フレームの輝度画像とにおける各画素の輝度値の差分値を画素値とする、第一差分画像を取得する第一差分演算部をさらに備え、
前記判別部は、
前記第一差分演算部が取得した第一差分画像の各画素の画素値がいずれも第一の閾値未満であり、かつ、前記第二差分演算部が取得した第二差分画像の各画素の画素値がいずれも第二の閾値未満である場合に、前記監視対象領域を撮影した映像が異常停止していると判別する
ことを特徴とする請求項１記載の映像異常停止検出装置。
【請求項３】
前記判別部が、前記監視対象領域を撮影した映像が異常停止していると判別した場合に、警報を出力させる出力制御部を備えた
ことを特徴とする請求項１または請求項２記載の映像異常停止検出装置。
【請求項４】
前記監視対象領域を撮影した映像を記録する映像記録装置であって、
請求項１から請求項３のうちのいずれか１項記載の映像異常停止検出装置を搭載した映像記録装置。
【請求項５】
輝度画像取得部が、監視対象領域を撮影した注目映像から取得した注目映像フレームと、前記注目映像より前の映像から取得した前映像フレームのそれぞれから、輝度画像を取得するステップと、
ハイパスフィルタ部が、前記輝度画像取得部が取得した、前記注目映像フレームの輝度画像と前記前映像フレームの輝度画像のそれぞれについて、ノイズ成分を取り出したフィルタ後輝度画像を取得するステップと、
第二差分演算部が、前記ハイパスフィルタ部が取得した、前記注目映像フレームのフィルタ後輝度画像と前記前映像フレームのフィルタ後輝度画像とにおける各画素の輝度値の差分値を画素値とする、第二差分画像を取得するステップと、
判別部が、前記第二差分演算部が取得した第二差分画像の各画素の画素値が、いずれも第二の閾値未満である場合に、前記監視対象領域を撮影した映像が異常停止していると判別するステップ
とを備えた映像異常停止検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、監視カメラで撮影された監視映像の異常停止を検出する映像異常停止検出装置、映像記録装置、および、映像異常停止検出方法に関するものである。
【背景技術】
【０００２】
従来、監視カメラで撮影された監視映像を、ネットワークを介して受信し、記録装置で記録するとともに、当該監視映像をモニタに表示させる監視システムに関する技術が存在する。例えば、特許文献１には、監視カメラと記録装置とビューワ装置とがＩＰネットワークを介して接続され、ビューワ装置が、監視カメラの映像を、ＩＰネットワークを通じて受信してモニタに表示させ、記録装置が、監視カメラの映像を、ＩＰネットワークを通じて受信して記録する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−３４８２６０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
監視カメラによる監視対象の監視では、監視対象に対する適切な監視を行うため、当該監視カメラから受信した映像が異常停止していないかどうかを確認する必要がある。特許文献１に記載されたような従来の技術では、監視カメラから受信した映像が異常停止していないかどうかの確認を、監視者等がモニタを目視することで行わなければならないという課題があった。
【０００５】
この発明は、上記のような課題を解決するためになされたもので、監視カメラによって撮影された映像の異常停止を自動的に検出することができる映像異常停止検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る映像異常停止検出装置は、監視対象領域を撮影した注目映像から取得した注目映像フレームと、注目映像より前の映像から取得した前映像フレームのそれぞれから、輝度画像を取得する輝度画像取得部と、輝度画像取得部が取得した、注目映像フレームの輝度画像と前映像フレームの輝度画像のそれぞれについて、ノイズ成分を取り出したフィルタ後輝度画像を取得するハイパスフィルタ部と、ハイパスフィルタ部が取得した、注目映像フレームのフィルタ後輝度画像と前映像フレームのフィルタ後輝度画像とにおける各画素の輝度値の差分値を画素値とする、第二差分画像を取得する第二差分演算部と、第二差分演算部が取得した第二差分画像の各画素の画素値が、いずれも第二の閾値未満である場合に、監視対象領域を撮影した映像が異常停止していると判別する判別部とを備えたものである。
【発明の効果】
【０００７】
この発明によれば、監視カメラによって撮影された映像の異常停止を自動的に検出することができる。
【図面の簡単な説明】
【０００８】
【図１】実施の形態１に係る映像異常停止検出装置が適用された監視システムの全体構成の一例を示す図である。
【図２】実施の形態１に係る映像異常停止検出装置の構成図である。
【図３】図３Ａ，図３Ｂは、この発明の実施の形態１に係る映像異常停止検出装置のハードウェア構成の一例を示す図である。
【図４】実施の形態１において、映像異常停止検出装置の映像分析部が、映像の異常停止を検出する動作の一例を説明するためのフローチャートである。
【図５】この実施の形態１における、第一差分演算部および第二差分演算部による差分画像の生成方法の一例を説明するための図である。
【図６】この実施の形態１における、ハイパスフィルタ部によるフィルタ後輝度画像の生成方法の一例を説明するための図である。
【図７】実施の形態２に係る映像異常停止検出装置が適用された監視システムの全体構成の一例を示す図である。
【発明を実施するための形態】
【０００９】
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る映像異常停止検出装置１０６が適用された監視システムの全体構成の一例を示す図である。
図１に示すように、この実施の形態１の監視システムにおいては、監視カメラ１０１と、監視用ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）１０２と、映像記録装置１０３とが、それぞれ、ネットワーク１０４に接続される。
また、映像記録装置１０３には、モニタ１０５、および、映像異常停止検出装置１０６が接続される。映像記録装置１０３と、モニタ１０５、および、映像異常停止検出装置１０６とは、無線で接続されるものであってもよいし、有線で接続されるものであってもよい。
【００１０】
映像異常停止検出装置１０６の後段には、出力装置１０７が接続される。映像異常停止検出装置１０６と出力装置１０７とは、無線で接続されるものであってもよいし、有線で接続されるものであってもよい。映像異常停止検出装置１０６が出力装置１０７を備えるようにしてもよい。
また、映像記録装置１０３とモニタ１０５とは一体の装置であってもよいし、映像記録装置１０３とモニタ１０５と監視用ＰＣ１０２とが一体の装置であってもよい。
また、映像記録装置１０３が映像異常停止検出装置１０６を搭載するようにして、映像記録装置１０３と映像異常停止検出装置１０６とを一体の装置としてもよい。
【００１１】
監視カメラ１０１は、監視対象領域に存在する被写体の動画像（以下単に「映像」という）を撮影する。監視カメラ１０１は、撮影した映像を、ネットワーク１０４を介して、映像記録装置１０３に送信する。なお、監視カメラ１０１は、撮影した映像を、例えば、複数または単一の映像フレームからなる映像を送信単位として、送信単位毎に映像記録装置１０３に送信する。
監視用ＰＣ１０２は、例えば、監視者等による操作に基づき、映像記録装置１０３に記録された映像をモニタ１０５に表示させる等の指示を行う。
映像記録装置１０３は、監視カメラ１０１から送信された映像を受信し、記録するとともに、当該受信した映像を、映像異常停止検出装置１０６に配信する。映像記録装置１０３が映像異常停止検出装置１０６に映像を配信する周期は、例えば、監視カメラ１０１から送信された映像を受信したタイミングとする。なお、これは一例に過ぎず、その他の適宜のタイミングとしてもよい。また、映像記録装置１０３は、監視カメラ１０１から送信されて記録された映像を、モニタ１０５に表示させる。
【００１２】
映像記録装置１０３からモニタ１０５、および、映像異常停止検出装置１０６に配信される映像には、監視カメラ１０１において当該映像が撮影された日時である撮影日時の情報が付与されているものとする。撮影日時の情報は、監視カメラ１０１側で、撮影した映像に付与して映像記録装置１０３に送信するようにしてもよいし、映像記録装置１０３側で、監視カメラ１０１から映像を受信した日時の情報を、撮影日時の情報として付与するようにしてもよい。
モニタ１０５は、ディスプレイ等の表示装置であり、映像記録装置１０３に記録された映像を表示する。
【００１３】
映像異常停止検出装置１０６は、映像記録装置１０３から配信された映像について、当該映像が異常停止しているかどうかを検出する。映像異常停止検出装置１０６は、映像の異常停止を検出すると、出力装置１０７に異常通知を出力する。
出力装置１０７は、音声出力装置、または、映像出力装置等の出力装置であり、映像異常停止検出装置１０６から異常通知が出力されると、周囲に異常を知らせるための警報を、音声あるいは映像等によって出力する。
【００１４】
図２は、実施の形態１に係る映像異常停止検出装置１０６の構成図である。
図２に示すように、映像異常停止検出装置１０６は、映像取得部２０１と、映像分析部２０２と、出力制御部２０７とを備える。
映像分析部２０２は、輝度画像取得部２０８と、第一差分演算部２０３と、ハイパスフィルタ部２０４と、第二差分演算部２０５と、判別部２０６とを備える。
第一差分演算部２０３は第一減算部２０３１を備え、第二差分演算部２０５は第二減算部２０５１を備える。また、ハイパスフィルタ部２０４は畳込演算部２０４１を備える。また、判別部２０６は、第一判別部２０６１と第二判別部２０６２とを備える。
【００１５】
映像取得部２０１は、映像記録装置１０３から配信された映像を取得する。映像取得部２０１は、取得した映像を、映像分析部２０２に出力する。
また、映像取得部２０１は、映像記録装置１０３から取得した映像について、１フレーム以前の映像を映像蓄積部（図示省略）に蓄積させるようにする。映像取得部２０１は、新たに注目映像を取得した際に、蓄積した映像を映像蓄積部から破棄し、最新の映像を蓄積するようにする。
なお、映像蓄積部は、映像異常停止検出装置１０６に備えられていてもよいし、映像異常停止検出装置１０６が映像蓄積部内の映像を参照可能な限り、映像異常停止検出装置１０６の外部に備えられるようにしてもよい。
【００１６】
映像分析部２０２は、映像取得部２０１が取得している注目映像から取得した最新の映像フレーム、および、映像蓄積部に蓄積されている、注目映像に対して前の映像から取得した映像フレームに基づき、映像が異常停止しているかどうかを分析する。
この実施の形態１では、以降の説明において、映像分析部２０２が、映像が異常停止しているかどうかの分析に用いる、注目映像から取得した映像フレームおよび当該注目映像より前の映像から取得した映像フレームを、それぞれ、注目映像フレームおよび前映像フレームともいうものとする。また、注目映像フレームは映像記録装置１０３が受信した最新の映像フレーム、または、映像記録装置１０３に記録された過去の映像フレームとする。前映像フレームは、注目映像フレームの直前の映像フレーム、または、映像の異常停止を分析可能な程度に前のフレームであればよい。
【００１７】
映像分析部２０２の輝度画像取得部２０８は、映像取得部２０１が取得している注目映像から注目映像フレームを取得する。また、輝度画像取得部２０８は、映像蓄積部から、当該映像蓄積部に蓄積されている映像のうち、注目映像より前の映像から取得した前映像フレームを取得する。そして、輝度画像取得部２０８は、注目映像フレームおよび前映像フレームそれぞれについて、各画素の輝度値のみを画素値とした輝度画像を取得する。
輝度画像取得部２０８は、注目映像フレームおよび前映像フレームについて、それぞれ取得した輝度画像を、映像分析部２０２の第一差分演算部２０３およびハイパスフィルタ部２０４に出力する。
【００１８】
第一差分演算部２０３は、輝度画像取得部２０８から取得した、注目映像フレームの輝度画像および前映像フレームの輝度画像とに基づき、第一差分画像を取得する。
具体的には、第一差分演算部２０３の第一減算部２０３１が、両輝度画像に基づき、互いに対応する画素ごとに、画素値の差分の絶対値を算出する演算を行い、当該絶対値を各画素の画素値とする第一差分画像を作成する。
第一差分演算部２０３は、作成した第一差分画像を、判別部２０６に出力する。
【００１９】
ハイパスフィルタ部２０４は、輝度画像取得部２０８から取得した、注目映像フレームの輝度画像および前映像フレームの輝度画像について、それぞれハイパスフィルタを適用し、適用後の各輝度画像を、それぞれフィルタ後輝度画像として取得する。
具体的には、ハイパスフィルタ部２０４の畳込演算部２０４１が、各輝度画像の各画素に対してハイパスフィルタを適用し、ハイパスフィルタ適用後の値を各画素の画素値とするフィルタ後輝度画像を取得する。
ハイパスフィルタとしては、既存の技術を用いればよい。この実施の形態１では、畳込演算部２０４１は、ラプラシアンフィルタを用いて、フィルタ後輝度画像を取得するものとする。
ハイパスフィルタ部２０４は、取得したフィルタ後輝度画像を、第二差分演算部２０５に出力する。
【００２０】
第二差分演算部２０５は、ハイパスフィルタ部２０４から取得した、注目映像フレームのフィルタ後輝度画像および前映像フレームのフィルタ後輝度画像とに基づき、第二差分画像を取得する。
具体的には、第二差分演算部２０５の第二減算部２０５１が、両フィルタ後輝度画像に基づき、互いに対応する画素ごとに、画素値の差分の絶対値を算出する演算を行い、当該絶対値を各画素の画素値とする第二差分画像を作成する。
注目映像フレームの輝度画像および前映像フレームの輝度画像にハイパスフィルタを適用して得られた各フィルタ後輝度画像の各画素値は、それぞれの輝度画像のノイズ成分を表している。したがって、第二差分演算部２０５によって作成された第二差分画像は、注目映像フレームの輝度画像と前映像フレームの輝度画像とを比較した場合の、ノイズ成分の変化量を表すものとなる。
第二差分演算部２０５は、作成した第二差分画像を、判別部２０６に出力する。
【００２１】
判別部２０６は、第一差分演算部２０３から出力された第一差分画像、または、第二差分演算部２０５から出力された第二差分画像を取得し、取得した第一差分画像または第二差分画像に基づき、映像記録装置１０３から配信された映像が異常停止しているかどうかを判別する。
【００２２】
判別部２０６の第一判別部２０６１は、第一差分演算部２０３から取得した第一差分画像の全ての画素を対象として、各画素の画素値が予め設定された閾値（以下「第一の閾値」という）未満かどうかを判定する。第一判別部２０６１は、第一差分画像内の全ての画素を対象として上記判定を行った結果、各画素の画素値がいずれも第一の閾値未満であるかどうかを判別する。
【００２３】
判別部２０６の第二判別部２０６２は、第一判別部２０６１から、第一差分画像内の全ての画素の画素値がいずれも第一の閾値未満であるとの判別結果を取得した場合、第二差分演算部２０５から取得した第二差分画像の全ての画素を対象として、各画素の画素値が予め設定された閾値（以下「第二の閾値」という）未満かどうかを判定する。第二判別部２０６２は、第二差分画像内の全ての画素を対象として上記判定を行った結果、各画素の画素値がいずれも第二の閾値未満かどうかを判別する。
【００２４】
第一の閾値と第二の閾値は、例えば、第二の閾値を第一の閾値の２倍とする等、通常は、異なる値とする。
【００２５】
判別部２０６は、第一判別部２０６１が第一差分画像について全ての画素値が第一の閾値未満であると判別し、かつ、第二判別部２０６２が第二差分画像について全ての画素値が第二の閾値未満であると判別した場合に、映像が異常停止していると判別し、その場合、出力制御部２０７に異常停止発生通知を出力する。
【００２６】
出力制御部２０７は、判別部２０６から異常停止発生通知が出力されると、出力装置１０７に対して異常通知を送信する。異常通知を受信した出力装置１０７では、周囲に異常を知らせるための警報を、音声あるいは映像によって出力する。
すなわち、出力制御部２０７は、判別部２０６が、監視対象領域を撮影した映像が異常停止していると判別した場合に、出力装置１０７に対して、警報を出力させる。
【００２７】
図３Ａ，図３Ｂは、この発明の実施の形態１に係る映像異常停止検出装置１０６のハードウェア構成の一例を示す図である。
この発明の実施の形態１において、映像分析部２０２の各部の各機能は、処理回路３０１により実現される。すなわち、映像異常停止検出装置１０６は、取得した映像が異常停止しているかどうかの判別を行うための処理回路３０１を備える。
処理回路３０１は、図３Ａに示すように専用のハードウェアであっても、図３Ｂに示すようにメモリ３０５に格納されるプログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）３０６であってもよい。
【００２８】
処理回路３０１が専用のハードウェアである場合、処理回路３０１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、またはこれらを組み合わせたものが該当する。
【００２９】
処理回路３０１がＣＰＵ３０６の場合、映像分析部２０２の各部の各機能は、ソフトウェア、ファームウェア、または、ソフトウェアとファームウェアとの組み合わせにより実現される。すなわち、映像分析部２０２の各部は、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）３０２、メモリ３０５等に記憶されたプログラムを実行するＣＰＵ３０６、またはシステムＬＳＩ（Ｌａｒｇｅ−Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）等の処理回路により実現される。また、ＨＤＤ３０２、またはメモリ３０５等に記憶されたプログラムは、映像分析部２０２の各部の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ３０５とは、例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ  Ｅｒａｓａｂｌｅ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｒｅａｄ−Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の、不揮発性もしくは揮発性の半導体メモリ、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、またはＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等が該当する。
【００３０】
なお、映像分析部２０２の各部の各機能について、一部を専用のハードウェアで実現し、一部をソフトウェアまたはファームウェアで実現するようにしてもよい。例えば、第一差分演算部２０３については専用のハードウェアとしての処理回路３０１でその機能を実現し、輝度画像取得部２０８と、ハイパスフィルタ部２０４と、第二差分演算部２０５と、判別部２０６については処理回路がメモリ３０５に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
また、映像異常停止検出装置１０６は、映像記録装置１０３、および出力装置１０７等の外部機器との通信を行う、入力インタフェース装置３０３、および出力インタフェース装置３０４を有する。
映像取得部２０１は、入力インタフェース装置３０３によって構成される。また、出力制御部２０７は、出力インタフェース装置３０４によって構成される。
【００３１】
次に、図２に示したような映像異常停止検出装置１０６において、映像分析部２０２が、映像の異常停止を検出する動作について説明する。
図４は、実施の形態１において、映像異常停止検出装置１０６の映像分析部２０２が、映像の異常停止を検出する動作の一例を説明するためのフローチャートである。
なお、図４を用いて説明する動作の前提として、映像異常停止検出装置１０６の映像取得部２０１は、既に、映像記録装置１０３から取得した注目映像の映像フレームよりも前に取得した映像フレームを、前述の映像蓄積部（図示省略）に蓄積しているものとする。
【００３２】
映像分析部２０２の輝度画像取得部２０８は、映像蓄積部に蓄積された映像のうち、注目映像より前の映像から前映像フレームを取得する（ステップＳＴ４０１）。
また、輝度画像取得部２０８は、映像取得部２０１が取得している注目映像から注目映像フレームを取得する（ステップＳＴ４０２）。
なお、ステップＳＴ４０１およびステップＳＴ４０２の動作順は逆であってもよい。
【００３３】
輝度画像取得部２０８は、ステップＳＴ４０１で取得した前映像フレームと、ステップＳＴ４０２で取得した注目映像フレームそれぞれについて、輝度画像を取得する（ステップＳＴ４０３）。
輝度画像取得部２０８は、注目映像フレームおよび前映像フレームについて、それぞれ取得した輝度画像を、映像分析部２０２の第一差分演算部２０３およびハイパスフィルタ部２０４に出力する。
【００３４】
第一差分演算部２０３は、輝度画像取得部２０８から取得した、注目映像フレームの輝度画像および前映像フレームの輝度画像に基づいて、第一差分画像を取得する（ステップＳＴ４０４）。
第一差分演算部２０３は、作成した第一差分画像を、判別部２０６に出力する。
【００３５】
判別部２０６の第一判別部２０６１は、第一差分演算部２０３から取得した第一差分画像の全ての画素を対象として、各画素の画素値が、第一の閾値未満かどうかを判定する（ステップＳＴ４０５）。
ステップＳＴ４０５において、第一判別部２０６１が、画素値が第一の閾値未満ではない画素が１つでも存在すると判別した場合（ステップＳＴ４０５の”ＮＯ”の場合）、判別部２０６は、映像は正常であると判別する（ステップＳＴ４１０）。
【００３６】
ステップＳＴ４０５において、第一判別部２０６１が、第一差分画像内の全ての画素を対象として上記判定を行った結果、各画素の画素値がいずれも第一の閾値未満であると判別した場合（ステップＳＴ４０５の”ＹＥＳ”の場合）、処理はステップＳＴ４０６に進む。
【００３７】
配信された映像に動きがあれば、注目映像フレームおよび前映像フレームからそれぞれ取得された２枚の輝度画像の差分画像である第一差分画像の画素値は、大きくなる。一方、映像に動きがなければ、第一差分画像の画素値は、小さくなる。このステップＳＴ４０５では、第一判別部２０６１が、上述のとおり、第一差分画像の全ての画素の画素値について第一の閾値未満であるかどうかを判定した結果、各画素の画素値がいずれも第一の閾値未満であれば、それは、映像に動きがほとんどないことを意味していることから、映像が異常停止している可能性があると判断し、処理はステップＳＴ４０６に進む。一方、第一差分画像の画素のうち、画素値が第一の閾値以上の画素が１つでもあれば、それは、映像に動きがあることを意味していることから、ステップＳＴ４１０に進み、映像は正常であると判別され、処理終了する。
【００３８】
第一判別部２０６１が、第一差分画像内の各画素の画素値がいずれも第一の閾値未満であると判別した場合（ステップＳＴ４０５の”ＹＥＳ”の場合）、ハイパスフィルタ部２０４は、ステップＳＴ４０３で輝度画像取得部２０８から取得した、注目映像フレームの輝度画像および前映像フレームの輝度画像について、それぞれハイパスフィルタを適用し、適用後の各輝度画像を、それぞれの輝度画像のフィルタ後輝度画像として取得する（ステップＳＴ４０６）。
ハイパスフィルタ部２０４は、取得したフィルタ後輝度画像を、第二差分演算部２０５に出力する。
【００３９】
第二差分演算部２０５は、ハイパスフィルタ部２０４から取得した、注目映像フレームのフィルタ後輝度画像、および、前映像フレームのフィルタ後輝度画像に基づいて、第二差分画像を取得する（ステップＳＴ４０７）。
第二差分演算部２０５は、作成した第二差分画像を、判別部２０６に出力する。
【００４０】
判別部２０６の第二判別部２０６２は、第二差分演算部２０５から取得した第二差分画像の全ての画素を対象として、各画素の画素値が、第二の閾値未満かどうかを判定する（ステップＳＴ４０８）。
ステップＳＴ４０８において、第二判別部２０６２が、画素値が第二の閾値未満ではない画素が１つでも存在すると判別した場合（ステップＳＴ４０８の”ＮＯ”の場合）、判別部２０６は、映像は正常であると判別する（ステップＳＴ４１０）。
【００４１】
ステップＳＴ４０８において、第二判別部２０６２が、第二差分画像内の全ての画素を対象として判定を行った結果、各画素の画素値がいずれも第二の閾値未満であると判別した場合（ステップＳＴ４０８の”ＹＥＳ”の場合）、判別部２０６は、映像が異常停止していると判別する（ステップＳＴ４０９）。これにより、映像が異常停止していることが確定される。
【００４２】
なお、この実施の形態１では、上述のとおり、第一判別部２０６１で、輝度画像に基づき映像が異常停止していると判別された後、第二判別部２０６２で、フィルタ後輝度画像に基づき映像が異常停止しているかどうかの判別も行い、最終的に映像が異常停止しているか否かの判別結果を確定させるものとした。しかし、実施の形態１では、映像異常停止検出装置１０６の映像分析部２０２は、第一差分演算部２０３および第一判別部２０６１を備えない構成とし、ノイズ変化量によってのみ、配信映像が異常停止しているかどうかを判別してもよい。すなわち、ステップＳＴ４０５の処理を省略し、ステップＳＴ４０６〜ステップＳＴ４０８の処理で、配信映像が異常停止しているかどうかを判別するようにしてもよい。
【００４３】
以下、映像分析部２０２の構成要素である第一差分演算部２０３と第二差分演算部２０５の差分演算動作について詳細に説明する。
図５は、この実施の形態１における、第一差分演算部２０３および第二差分演算部２０５による差分画像の生成方法の一例を説明するための図である。
説明の簡単のため、図５においては、第一差分演算部２０３および第二差分演算部２０５をまとめて差分演算部５０１とし、第一減算部２０３１および第二減算部２０５１をまとめて減算部５０６としている。
【００４４】
また、図５において、前映像フレーム５０２は、輝度画像取得部２０８が映像蓄積部から取得した前映像フレームである（ステップＳＴ４０１参照）。また、前フレーム３×３画素５０４は、輝度画像取得部２０８が取得した、前映像フレームの輝度画像（ステップＳＴ４０３参照）の一部の画素、または、ハイパスフィルタ部２０４が輝度画像取得部２０８から取得した、前映像フレームの輝度画像にハイパスフィルタを適用した後のフィルタ後輝度画像（ステップＳＴ４０６参照）の一部の画素を、例示的に示したものである。
【００４５】
また、図５において、注目映像フレーム５０３は、輝度画像取得部２０８が映像取得部２０１から取得した注目映像フレームである（ステップＳＴ４０２参照）。また、注目フレーム３×３画素５０５は、輝度画像取得部２０８が取得した、注目画像フレームの輝度画像（ステップＳＴ４０３参照）の一部の画素、または、ハイパスフィルタ部２０４が輝度画像取得部２０８から取得した、注目画像フレームの輝度画像にハイパスフィルタを適用した後のフィルタ後輝度画像（ステップＳＴ４０６参照）の一部の画素を、例示的に示したものである。
また、前フレーム３×３画素５０４と、注目フレーム３×３画素５０５は、前映像フレームおよび注目映像フレームの同一位置からそれぞれ抜き出した画素であるとする。
【００４６】
減算部５０６は、例えば、前フレーム３×３画素５０４の中央の画素の画素値である「８０」と、注目フレーム３×３画素５０５の中央の画素の画素値である「８１」を取得し、画素値の差分の絶対値「１」を得る（図５の５０７ａ参照）。
減算部５０６は、前フレームおよび注目フレームの全ての画素の画素値について上述のように差分の絶対値を取得し、差分画像５０７を取得する（ステップＳＴ４０４参照）。
【００４７】
以上のようにして、第一差分演算部２０３および第二差分演算部２０５は、それぞれ第一差分画像および第二差分画像を取得する。
このようにして得られた差分画像の画素全てについて、判別部２０６が、第一の閾値未満であるか、または、第二の閾値未満であるかを判定し、映像が異常停止しているかどうかの判別を行う。
具体例として、第一判別部２０６１での処理を説明する。例えば、第一差分演算部２０３が取得した第一差分画像の一部が、図５で示す差分画像５０７のとおりであり、第一の閾値が「５０」であったとする。
判別部２０６の第一判別部２０６１は、差分画像５０７の全ての画素の画素値に対して「５０」未満となっているかどうか判定する。差分画像５０７の例では、９つ全ての画素の画素値が「５０」未満であると判定される。第一判別部２０６１は、第一差分画像の全ての画素について同様の判定を行い、その結果、全ての画素について、各画素値がいずれも「５０」未満であると判別された場合、映像が異常停止している可能性があると判断する（ステップＳＴ４０５参照）。
【００４８】
第二判別部２０６２は、第二差分画像について、同様の判別を行う。
【００４９】
次に、映像分析部２０２の構成要素であるハイパスフィルタ部２０４の動作について詳細に説明する。
図６は、この実施の形態１における、ハイパスフィルタ部２０４によるフィルタ後輝度画像の生成方法の一例を説明するための図である。なお、図６では、ハイパスフィルタ部２０４がハイパスフィルタであるラプラシアンフィルタを用いてフィルタ後輝度画像を生成する方法の一例を示している。
説明の簡単のため、図６では、輝度画像取得部２０８が、映像蓄積部から取得した前映像フレーム（ステップＳＴ４０１参照）、および、映像取得部２０１から取得した注目映像フレーム（ステップＳＴ４０２参照）を、まとめて、映像フレーム６０２としている。
また、輝度画像取得部２０８が取得した、前映像フレームの輝度画像および注目映像フレームの輝度画像について、それぞれの輝度画像の一部の画素を例示的に示す３×３の画素を、まとめて、３×３画素６０３としている。
３×３画素６０３は、映像フレーム６０２の１画素（３×３画素６０３の「８０」）に注目し、周囲の８画素とあわせて抜き出した縦３横３の画素の画素値も示している。
ハイパスフィルタ部２０４の畳込演算部２０４１は、ラプラシアンフィルタ６０４を用いて、注目画素（３×３画素６０３の「８０」）とその周囲の３×３画素６０３にハイパスフィルタを適用する。その結果、図６においてフィルタリング結果として示すように、例えば、注目画素（３×３画素６０３の「８０」）の画素値は、「３７０」となる。図６では、上記の注目画素（３×３画素６０３の「８０」）に対して行われたハイパスフィルタの適用の結果のみが示されているが、畳込演算部２０４１は、輝度画像内の全ての画素について、同様にハイパスフィルタを適用し、その結果を画素値とするフィルタ後輝度画像６０６を取得する。
【００５０】
また、ハイパスフィルタ部２０４は、輝度画像取得部２０８が取得した、前映像フレームの輝度画像および注目映像フレームの輝度画像について、それぞれフィルタ後輝度画像６０６を取得する。
なお、上記の説明では、畳込演算部２０４１は、８近傍のラプラシアンフィルタ６０４を用いてハイパスフィルタを適用するものとしたが、これに限らず、例えば、４近傍のラプラシアンフィルタ６０７等、その他のラプラシアンフィルタのカーネルを使用するものとしてもよい。
【００５１】
以上のように、この実施の形態１によれば、映像異常停止検出装置１０６が、監視対象領域を撮影した注目映像から取得した注目映像フレームと、注目映像より前の映像から取得した前映像フレームのそれぞれから、輝度画像を取得する輝度画像取得部２０８と、輝度画像取得部２０８が取得した、注目映像フレームの輝度画像と前映像フレームの輝度画像のそれぞれについて、ノイズ成分を取り出したフィルタ後輝度画像を取得するハイパスフィルタ部２０４と、ハイパスフィルタ部２０４が取得した、注目映像フレームのフィルタ後輝度画像と前映像フレームのフィルタ後輝度画像とにおける各画素の輝度値の差分値を画素値とする、第二差分画像を取得する第二差分演算部２０５と、第二差分演算部２０５が取得した第二差分画像の各画素の画素値が、いずれも第二の閾値未満である場合に、監視対象領域を撮影した映像が異常停止していると判別する判別部２０６とを備えるように構成したので、監視カメラ１０１から配信される映像が異常停止しているかどうかを、監視者等が、モニタを目視することなく、自動的に判別することが可能となる。その結果、人手を削減し、省力化することができる。また、例えば監視員の疲労によって生じる、映像異常停止の発見の取りこぼしを防ぐようにすることができる。
【００５２】
実施の形態２．
実施の形態１では、映像異常停止検出装置１０６が、直接、映像記録装置１０３に接続される構成であった。
この実施の形態２では、監視システムが、モニタ１０５を撮影するモニタリング用カメラ７０１を備え、映像異常停止検出装置１０６ａが、当該モニタリング用カメラ７０１が撮影した映像に基づき、監視カメラ１０１から配信される映像が異常停止していないかどうかを判別する実施の形態について説明する。
【００５３】
図７は、実施の形態２に係る映像異常停止検出装置１０６ａが適用された監視システムの全体構成の一例を示す図である。
図７において、実施の形態１で図１を用いて説明した監視システムの構成と同様の構成には同じ符号を付して、重複した説明を省略する。
図７に示す監視システムは、モニタリング用カメラ７０１を備え、映像異常停止検出装置１０６ａは、モニタリング用カメラ７０１に接続される点において、実施の形態１で図１を用いて説明した監視システムとは異なる。
実施の形態１と同様に、モニタ１０５には、映像記録装置１０３に記録された映像が表示される。モニタリング用カメラ７０１は、モニタ１０５が表示している映像を撮影する。
【００５４】
映像異常停止検出装置１０６ａの構成および動作は、実施の形態１において図２および図４を用いて説明した構成および動作と同様であるため、重複した説明を省略する。
映像異常停止検出装置１０６ａは、実施の形態１における映像異常停止検出装置１０６の映像取得部２０１が映像記録装置１０３から配信された映像を取得するものであったのに対し、映像異常停止検出装置１０６ａの映像取得部２０１は、モニタリング用カメラ７０１から当該モニタリング用カメラ７０１が撮影した映像を取得する点が異なる。
実施の形態１では、映像記録装置１０３が、監視カメラ１０１から送信された映像を受信し、映像異常停止検出装置１０６に配信するようにしていたが、この実施の形態２では、映像記録装置１０３に、当該映像の配信機能を備えなくても、監視カメラ１０１から送信された映像が異常停止しているか否かを自動的に判別できる。
【００５５】
実施の形態１のように、映像異常停止検出装置１０６が映像記録装置１０３から配信された映像を取得する構成では、当該映像が異常停止している場合、図４のステップＳＴ４０４で取得した注目映像フレームの輝度画像および前映像フレームの輝度画像は全く同じものとなる。そのため、理論的には、映像が異常停止している場合のノイズ変化量は０となる。よって、第一の閾値を「０」と設定し、図４のステップＳＴ４０５での判断を第一差分画像の全ての画素の画素値が０かどうかという判断に変えることにより、実施の形態１では、図４のステップＳＴ４０６〜ステップＳＴ４０８の処理を省略することができる。すなわち、実施の形態１では、映像異常停止検出装置１０６の映像分析部２０２が、ハイパスフィルタ部２０４、第二差分演算部２０５、および、第二判別部２０６２を備えない構成とすることも可能である。
【００５６】
これに対し、この実施の形態２では、モニタ１０５が表示させた映像を、モニタリング用カメラ７０１が撮影するため、モニタリング用カメラ７０１内の撮像素子、および、エンコーダで生じるノイズを考慮する必要がある。つまり、映像が異常停止している場合でも、例えば、輝度画像取得部２０８が前映像フレームに基づき取得する輝度画像と、注目映像フレームに基づき取得する輝度画像（図４のステップＳＴ４０３参照）とは、同じものとはならない。モニタリング用カメラ７０１が撮影した際にノイズ成分が付加されることにより、映像が異常停止していたとしても、前映像フレームと注目映像フレームとが一致しないようになるためである。
よって、この実施の形態２に係る映像異常停止検出装置１０６ａにおいては、ハイパスフィルタ部２０４および第二差分演算部２０５を省略し、第一差分演算部２０３のみで、映像が異常停止しているか否かを判別するようにすると、映像が異常停止している場合と被写体が静止している場合との区別がつかなくなる。
被写体が静止している場合、監視カメラ１０１、映像記録装置１０３、モニタ１０５、および、モニタリング用カメラ７０１でノイズ成分が付加される。一方、映像が異常停止している場合、モニタ１０５、および、モニタリング用カメラ７０１でのみノイズ成分が付加される。したがって、映像が異常停止している場合は、被写体が静止している場合と比較して、付加されるノイズ成分が少量となる。
この実施の形態２における監視システムの構成においては、映像が異常停止していることを判別するためには、上述のようにノイズ成分の差異を判別することが有効である。このため、実施の形態２の映像異常停止検出装置１０６ａは、ハイパスフィルタ部２０４、第二差分演算部２０５および第二判別部２０６２を有することが必須である。映像異常停止検出装置１０６ａは、当該ハイパスフィルタ部２０４と第二差分演算部２０５によって、前映像フレームおよび注目映像フレームそれぞれのノイズ成分の差分を示す第二差分画像を取得し、第二判別部２０６２によって、第二差分画像の全ての画素について、各画素がいずれも第二の閾値未満と判別されれば、判別部２０６が、映像が異常停止していると判別するようにする（ステップＳＴ４０９）。
【００５７】
以上のように、この実施の形態２によれば、実施の形態１同様、監視カメラ１０１から配信される映像が異常停止しているかどうかを、監視者等が、モニタを目視することなく、自動的に判別することが可能となる。その結果、人手を削減し、省力化することができる。また、例えば監視員の疲労によって生じる、映像異常停止の発見の取りこぼしを防ぐようにすることができる。
また、この実施の形態２によれば、既存の監視システムにおける映像記録装置が、映像異常停止検出装置に映像を配信することが可能な出力装置を特に有していない場合にも、映像の異常停止を自動的に検知することができる。
【００５８】
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
【符号の説明】
【００５９】
１０１  監視カメラ、１０２  監視用ＰＣ、１０３  映像記録装置、１０４  ネットワーク、１０５  モニタ、１０６，１０６ａ  映像異常停止検出装置、１０７  出力装置、２０１  映像取得部、２０２  映像分析部、２０３  第一差分演算部、２０４  ハイパスフィルタ部、２０５  第二差分演算部、２０６  判別部、２０７  出力制御部、２０８  輝度画像取得部、３０１  処理回路、３０２  ＨＤＤ、３０３  入力インタフェース装置、３０４  出力インタフェース装置、３０５  メモリ、３０６  ＣＰＵ、２０３１  第一減算部、２０４１  畳込演算部、２０５１  第二減算部、２０６１  第一判別部、２０６２  第二判別部。
【図１】
2018160722.tif 000003
【図２】
2018160722.tif 000004
【図３】
2018160722.tif 000005
【図４】
2018160722.tif 000006
【図５】
2018160722.tif 000007
【図６】
2018160722.tif 000008
【図７】
2018160722.tif 000009