(57)【要約】【課題】撮影部の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを適切に判定することができる撮影範囲異常判定装置を提供する。【解決手段】撮影範囲異常判定装置は、撮影部２の撮影範囲が恒常的に遮られていない状態のその撮影範囲を表す参照画像を記憶する記憶部３２と、撮影部２がその撮影範囲を所定期間にわたって撮影することにより得られた複数の画像の同一位置における画素ごとに、輝度の統計的代表値を求め、各画素の輝度の統計的代表値を、対応する画素の輝度とする統計画像を生成する統計画像生成部３３２と、統計画像を参照画像と比較して、撮像部の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する異常判定部３３３とを有する。【選択図】図３
2016134804.tif 000002
【特許請求の範囲】
【請求項１】
撮影部の撮影範囲が恒常的に遮られていない状態の前記撮影範囲を表す参照画像を記憶する記憶部と、
前記撮影部が前記撮影範囲を所定期間にわたって撮影することにより得られた複数の画像の同一位置における画素ごとに、輝度の統計的代表値を求め、各画素の前記輝度の統計的代表値を、対応する画素の輝度とする統計画像を生成する統計画像生成部と、
前記統計画像を前記参照画像と比較して、前記撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する異常判定部と、
を有する撮影範囲異常判定装置。
【請求項２】
前記異常判定部は、
画素ごとに、前記統計画像と前記参照画像との対応する画素間の輝度の差分値を求め、
前記輝度の差分値が第１の閾値以上となる画素の数を求め、
前記輝度の差分値が前記第１の閾値以上となる画素の数が第２の閾値以上である場合、前記撮影範囲の少なくとも一部が恒常的に遮られる異常が発生していると判定する、
請求項１に記載の撮影範囲異常判定装置。
【請求項３】
前記所定期間は、前記撮影範囲の環境光による明るさの変化の周期であり、前記輝度の統計的代表値は輝度の平均値である、請求項１または２に記載の撮影範囲異常判定装置。
【請求項４】
前記複数の画像の枚数は、前記複数の画像の同一位置における画素の輝度の平均値の標準偏差が前記統計画像における画素の輝度の１階調未満となる枚数である、
請求項１〜３の何れか一項に記載の撮影範囲異常判定装置。
【請求項５】
前記記憶部は、互いに異なる環境条件下における、前記撮影範囲が恒常的に遮られていない状態の前記撮影範囲を表す複数の前記参照画像を記憶し、
前記異常判定部は、前記統計画像を前記複数の参照画像のそれぞれと比較し、当該比較により前記複数の参照画像のうちの少なくとも一つについて、前記撮影範囲の少なくとも一部が恒常的に遮られていないと判定される場合、前記異常が発生していないと判定する、
請求項１〜４の何れか一項に記載の撮影範囲異常判定装置。
【請求項６】
撮影部が撮影範囲を所定期間にわたって撮影することにより得られた複数の画像の同一位置における画素ごとに、輝度の統計的代表値を求め、各画素の前記輝度の統計的代表値を、対応する画素の輝度とする統計画像を生成し、
前記統計画像を、前記撮影範囲が恒常的に遮られていない状態の前記撮影範囲を表す参照画像と比較して、前記撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する、
撮影範囲異常判定方法。
【請求項７】
撮影部が撮影範囲を所定期間にわたって撮影することにより得られた複数の画像の同一位置における画素ごとに、輝度の統計的代表値を求め、各画素の前記輝度の統計的代表値を、対応する画素の輝度とする統計画像を生成し、
前記統計画像を、前記撮影範囲が恒常的に遮られていない状態の前記撮影範囲を表す参照画像と比較して、前記撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する、
ことをコンピュータに実行させるための撮影範囲異常判定用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば、撮影部の撮影範囲に異常が発生しているか否かを判定する撮影範囲異常判定装置、撮影範囲異常判定方法、及び撮影範囲異常判定用コンピュータプログラムに関する。
【背景技術】
【０００２】
交通監視、侵入者監視、及び災害監視等のために、屋内または屋外には、監視用のカメラが設置されることがある。カメラが屋外に設置される場合、時間の経過により、カメラのレンズが汚れたり、街路樹が生長することで、カメラの撮影範囲が恒常的に遮られ、カメラが監視機能を十分に果たせないおそれがある。このため、カメラの撮影範囲が恒常的に遮られている場合には、そのことをシステム管理者に速やかに通知し、カメラの撮影範囲を遮っている原因を速やかに取り除くことが望まれる。
【０００３】
例えば、異常状態映像として撮像系レンズ面等に付着物が存在するために、本来の監視対象映像が遮られてしまった場合の映像を想定した車両用監視システムが提案されている（例えば、特許文献１を参照）。付着物が存在する映像中では、画面内のテクスチャ量が正常時より少なく、かつテクスチャの移動量が少ないのに対し、正常映像中では、テクスチャ量は多く、かつその中での背景物体や移動物体上のテクスチャは移動するという特性がある。特許文献１に開示された車両用監視システムは、この特性に従って、画面内監視対象領域でのテクスチャを有する画素のうち、移動する画素の画素数比等を評価して異常状態を検知する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００３−３１２４０８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に開示された車両用監視システムは、その監視用のカメラを屋外に固定的に設置した場合、カメラの撮影範囲内に移動物体が存在しなければ、撮像系レンズ面等に付着物が存在しても、テクスチャに変化が生じない。このため、特許文献１に開示された車両用監視システムは、監視用のカメラを固定的に設置した場合、付着物の存在による異常状態を適切に検知できない。
【０００６】
そこで本明細書は、一つの側面として、撮影部の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを適切に判定することができる撮影範囲異常判定装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
一つの実施形態によれば、撮影範囲異常判定装置が提供される。この撮影範囲異常判定装置は、撮影部の撮影範囲が恒常的に遮られていない状態のその撮影範囲を表す参照画像を記憶する記憶部と、撮影部がその撮影範囲を所定期間にわたって撮影することにより得られた複数の画像の同一位置における画素ごとに、輝度の統計的代表値を求め、各画素の輝度の統計的代表値を、対応する画素の輝度とする統計画像を生成する統計画像生成部と、統計画像を参照画像と比較して、撮像部の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する異常判定部とを有する。
【０００８】
本発明の目的及び利点は、請求項において特に指摘されたエレメント及び組み合わせにより実現され、かつ達成される。
上記の一般的な記述及び下記の詳細な記述の何れも、例示的かつ説明的なものであり、請求項のように、本発明を限定するものではないことを理解されたい。
【発明の効果】
【０００９】
本明細書に開示された撮影範囲異常判定装置は、撮影部の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを適切に判定することができる。
【図面の簡単な説明】
【００１０】
【図１】一つの実施形態による監視システムの概略構成図である。
【図２】（ａ）は、撮影範囲全体が恒常的に遮られていない場合に撮影部により生成される画像の一例を示す図であり、（ｂ）は、撮影範囲の一部が恒常的に遮られている場合に撮影部により生成される画像の一例を示す図である。
【図３】制御部の機能ブロック図である。
【図４】（ａ）〜（ｄ）は、撮影部の撮影範囲全体が恒常的に遮られていない場合のサンプル画像の一例を示す図である。（ｅ）は、（ａ）〜（ｄ）に示されるサンプル画像を用いて生成される統計画像の一例を示す図である。
【図５】（ａ）〜（ｄ）は、図４（ａ）〜（ｄ）に示されるサンプル画像が取得された後に街路樹が生長して撮影部の撮影範囲の一部が恒常的に遮られている場合のサンプル画像の一例を示す図である。（ｅ）は、（ａ）〜（ｄ）に示されるサンプル画像を用いて生成される統計画像の一例を示す図である。
【図６】参照画像生成処理の動作フローチャートを示す図である。
【図７】撮影範囲異常判定処理の動作フローチャートを示す図である。
【発明を実施するための形態】
【００１１】
以下、図を参照しつつ、一つの実施形態による監視システムについて説明する。
この監視システムは、撮影部と、監視装置とを有する。監視装置は、撮影部が同一の撮影範囲を所定期間にわたって撮影することにより得られた複数の画像の同一位置における画素ごとに、輝度の統計的代表値を求める。そして監視装置は、各画素の輝度の統計的代表値を、対応する画素の輝度とする統計画像を生成する。監視装置は、統計画像を、撮影範囲が恒常的に遮られていない状態の撮影範囲を表す参照画像と比較して、撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する。
【００１２】
図１は、一つの実施形態による監視システムの概略構成図である。図１に示すように、監視システム１は、撮影部２と、監視装置３と、表示装置４とを有する。撮影部２と監視装置３とは、ネットワークを介して接続されている。
【００１３】
撮影部２は、例えば、屋外に固定的に設置され、警備員等の監視作業員が道路、並びに道路上の人及び車両等の移動物体を監視するために、道路を含む撮影範囲を写した画像を生成する。そのために、撮影部２は、CCDあるいはC-MOSなど、可視光に感度を有する光電変換素子のアレイで構成された２次元検出器と、その２次元検出器上に道路を含む撮影範囲の像を結像する結像光学系とを有する。撮影部２は、一定の撮影周期（例えば1/30秒）ごとに、同一の撮影範囲を撮影し、その撮影範囲を写した、例えば640x480画素の画像を生成する。本実施形態において、画像に含まれる各画素の輝度は、256階調で表され、0〜255の範囲の数値をとる。そして撮影部２は、画像を生成する度に、その画像を監視装置３へ出力する。
【００１４】
図２（ａ）及び図２（ｂ）は、撮影部により生成される画像の一例を示す図である。撮影部２は、道路、並びに道路上の人及び車両等の移動物体の監視を開始する前（以下、運用前という）に、その撮影範囲全体が恒常的に遮られないように設置される。この場合、撮影部２により図２（ａ）に示される画像２００が生成され、監視システム１は、その監視機能を十分に果たすことができる。その後、撮影部２のレンズに汚れが付着したり、街路樹が生長し、撮影部２により図２（ｂ）に示される画像２０１が生成される。画像２０１に示されるように、撮影部２のレンズに付着した汚れ２１０及び生長した街路樹２１１等によって撮影部２の撮影範囲の少なくとも一部が恒常的に遮られるため、監視システム１は、その監視機能を十分に果たすことができなくなる。
【００１５】
監視装置３は、例えば、屋内に設置される据え置き型のコンピュータである。監視装置３は、撮影部２から画像を受け取る度に、監視作業員が道路、並びに道路上の人及び車両等の移動物体を監視することを可能とするために、その画像を表示装置４へ表示させる。また、監視装置３は、撮影範囲異常判定装置の一例であり、撮影部２から受け取った画像に基づいて、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する。そして監視装置３は、異常が発生している場合、例えば、その旨を表す警告メッセージを表示装置４へ表示させて監視作業員に通知する。
【００１６】
監視装置３は、インターフェース部３１と、記憶部３２と、制御部３３とを有する。インターフェース部３１及び記憶部３２は、それぞれ、バスを介して制御部３３と接続されている。
【００１７】
インターフェース部３１は、ネットワークに監視装置３を接続するためのインターフェース回路を有する。そしてインターフェース部３１は、撮影部２からネットワークを介して画像を受け取り、その画像を制御部３３へ渡す。
【００１８】
記憶部３２は、例えば、電気的に書き換え可能な不揮発性メモリ及び揮発性メモリなどの半導体メモリを有する。そして記憶部３２は、監視装置３を制御するための各種プログラム、及び制御部３３による一時的な演算結果などを記憶する。各種プログラムには、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定するための撮影範囲異常判定用コンピュータプログラムが含まれる。なお、記憶部３２は、監視作業員及び監視システム１の管理者等が追って確認できるように、表示装置４へ表示された画像を保存してもよい。
【００１９】
制御部３３は、１個もしくは複数個の図示していないプロセッサ及びその周辺回路を有する。そして制御部３３は、そのプロセッサ上で記憶部３２に記憶される各種プログラムを実行することにより、監視装置３全体を制御する。例えば、制御部３３は、そのプロセッサ上で記憶部３２に記憶される撮影範囲異常判定用コンピュータプログラムを実行することにより、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する。
【００２０】
表示装置４は、例えば、液晶ディスプレイまたは有機エレクトロニクスルミネッセンスディスプレイを有し、撮影部２から受け取った画像を表示する。表示装置４は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生している場合、例えば、その旨を表す警告メッセージを表示装置４へ表示させて監視作業員に通知する。
【００２１】
図３は、制御部３３の機能ブロック図である。図３に示すように、制御部３３は、サンプル画像取得部３３１と、統計画像生成部３３２と、異常判定部３３３とを有する。
【００２２】
サンプル画像取得部３３１は、予め設定された所定のサンプリング期間中において、撮影部２から受け取った画像のうち、所定のサンプリング周期ごとの画像をサンプル画像として記憶部３２に記憶する。
【００２３】
例えば、運用前に監視システム１の管理者により参照画像の生成が操作部（図示せず）を通じて指示された場合、サンプル画像取得部３３１は、サンプル画像の取得を開始する。監視システム１の管理者は、撮影部２のレンズに付着した汚れ及び生長した街路樹等によって撮影部２の撮影範囲全体が恒常的に遮られている状態でないことを確認する。そして撮影部２の撮影範囲全体が恒常的に遮られている状態でなければ、監視システム１の管理者は、撮影部２の撮影範囲が正常な状態であると判断して、参照画像の生成を指示すればよい。
【００２４】
サンプル画像取得部３３１は、サンプリング周期ごとに、撮影部２から受け取った画像を、サンプル画像として記憶部３２に記憶する。そしてサンプル画像取得部３３１は、監視システム１の管理者により参照画像の生成が指示されてから所定のサンプリング期間が経過したときに、サンプル画像の取得を終了する。本実施形態において、所定のサンプリング期間は、24時間に設定される。また、サンプリング周期は、30秒に設定される。そのため、記憶部３２には、合計2880枚のサンプル画像が記憶される。
【００２５】
一方、道路、並びに道路上の人及び車両等の移動物体の監視中（以下、運用中という）、サンプル画像取得部３３１は、撮影範囲異常判定処理の実行タイミングになったか否かを判定する。撮影範囲異常判定処理の実行タイミングは、例えば、定期的（例えば、１週間、あるいは、１ヶ月ごと）に到来するように、予めスケジューリングされていればよい。サンプル画像取得部３３１は、運用前と同様に、撮影範囲異常判定処理の実行タイミングにおいても、所定のサンプリング期間中、サンプリング周期ごとに、撮影部２から受け取った画像をサンプル画像として記憶部３２に記憶する。
【００２６】
統計画像生成部３３２は、記憶部３２に記憶された、複数のサンプル画像の同一位置における画素ごとに、輝度の統計的代表値を求め、各画素の輝度の統計的代表値を、対応する画素の輝度とする統計画像を生成する。なお、本実施形態では、統計画像生成部３３２は、輝度の統計的代表値として、輝度の平均値を算出する。
【００２７】
例えば、統計画像生成部３３２は、サンプル画像の取得を開始してからサンプリング期間が経過したときに、記憶部３２からサンプリング期間中に記憶された複数のサンプル画像を読み出す。統計画像生成部３３２は、読み出した複数のサンプル画像の同一位置における画素ごとに、輝度の平均値を求める。そして統計画像生成部３３２は、各画素の輝度の平均値を、対応する画素の輝度とする統計画像を生成する。したがって、統計画像は、サンプル画像と同様に、640x480画素の画像であり、各画素の輝度は、256階調で表される。
【００２８】
統計画像生成部３３２は、運用前であれば、生成した統計画像を、撮影部２の撮影範囲が遮られていない状態の撮影範囲を表す参照画像として記憶部３２に記憶する。一方、統計画像生成部３３２は、撮影範囲異常判定処理の実行時であれば、生成した統計画像を、現在の撮影範囲の状態を表す現在の統計画像として記憶部３２に記憶する。
【００２９】
図４（ａ）〜（ｄ）は、撮影部の撮影範囲全体が恒常的に遮られていない場合のサンプル画像の一例を示す。図４（ｅ）は、図４（ａ）〜（ｄ）に示されるサンプル画像を用いて生成される統計画像の一例を示す。一方、図５（ａ）〜（ｄ）は、図４（ａ）〜（ｄ）に示されるサンプル画像が取得された後に街路樹が生長して撮影部の撮影範囲の一部が恒常的に遮られている場合のサンプル画像の一例を示す。図５（ｅ）は、図５（ａ）〜（ｄ）に示されるサンプル画像を用いて生成される統計画像の一例を示す。
【００３０】
図４（ａ）に示されるサンプル画像４００及び図５（ａ）に示されるサンプル画像５００には、車両が走行していない昼間の道路が写っている。図４（ｂ）に示されるサンプル画像４０１及び図５（ｂ）に示されるサンプル画像５０１には、車両が走行していない夕方の道路が写っている。図４（ｃ）に示されるサンプル画像４０２には車両４１２が走行している夕方の道路が、図５（ｃ）に示されるサンプル画像５０２には車両５１２が走行している夕方の道路が、それぞれ写っている。図４（ｄ）に示されるサンプル画像４０３及び図５（ｄ）に示されるサンプル画像５０３には、車両が走行していない夜中の道路が写っている。
【００３１】
図４（ｅ）に示される統計画像４０４は、サンプリング期間中に取得されたサンプル画像４００〜４０３を含む複数のサンプル画像の同一位置における画素の輝度の平均値を、対応する画素の輝度として生成される。図５（ｅ）に示される統計画像５０４は、サンプリング期間中に取得されたサンプル画像５００〜５０３を含む複数のサンプル画像の同一位置における画素の輝度の平均値を、対応する画素の輝度として生成される。
【００３２】
サンプル画像４００〜４０３の各画素の輝度の変化、及びサンプル画像５００〜５０３の各画素の輝度の変化は、主に一日の明るさの変化に起因する。本実施形態では、このような一日の明るさの変化に起因する統計画像上の各画素の輝度への影響を軽減するために、サンプリング期間は、撮影範囲の環境光による明るさの変化の周期の一例である24時間、すなわち一日とされている。これにより、撮影部２の撮影範囲の一部を恒常的に遮っている街路樹５１１以外の固定物体が写っている範囲の各画素の輝度は、それぞれ、統計画像４０４と統計画像５０４との間では略同一となる。
【００３３】
なお、サンプル画像４０２では、車両４１２が写っている範囲の各画素の輝度が、それぞれ、サンプル画像４０１の対応する範囲の各画素の輝度から変化する。同様に、サンプル画像５０２では、車両５１２が写っている範囲の各画素の輝度が、それぞれ、サンプル画像５０１の対応する範囲の各画素の輝度から変化する。このような車両４１２及び５１２等の移動物体は、サンプル画像に常に写し出されるものではなく、かつサンプル画像の同一の位置に写し出されるものでもない。すなわち、車両４１２及び５１２等の移動物体は、撮影部２の撮影範囲の一部を恒常的に遮る街路樹５１１とは異なり、撮影部２の撮影範囲を一時的に遮るものに過ぎない。撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを適切に判定するためには、撮影部２の撮影範囲を一時的に遮るに過ぎない移動物体により、統計画像４０４及び５０４上の各画素の輝度が影響されないようにすることが好ましい。そこで、本実施形態では、統計画像上の各画素の輝度が移動物体による対応画素の輝度のばらつきに影響されないように、所定のサンプリング期間に取得されるサンプル画像の枚数が決定される。
【００３４】
すなわち、サンプル画像の同一位置における画素の輝度の平均値の標準偏差は、サンプル画像の枚数の平方根に反比例する。このため、統計画像を生成する際に用いられるサンプル画像の枚数が多いほど、サンプル画像の同一位置における画素の輝度の平均値の標準偏差は小さくなる。本実施形態では、サンプル画像の各画素の輝度が256階調で表されている。そのため、統計画像生成部３３２は、サンプル画像を2500枚以上用いることで、サンプル画像の同一位置における画素の輝度の平均値の標準偏差を、例えば1階調以下と十分に小さくすることができる。そこで、本実施形態では、サンプリング周期は、例えば、30秒に設定される。この場合、サンプリング期間が24時間であるため、統計画像の生成に利用されるサンプル画像の枚数は2880枚となる。このため、統計画像４０４及び５０４において、撮影部２の撮影範囲を一時的に遮るに過ぎない車両４１２及び５１２等の移動物体による輝度への影響は十分に小さくなる。
【００３５】
一方、撮影部２の撮影範囲を恒常的に遮っている街路樹５１１は、撮影範囲を一時的に遮るに過ぎない車両４１２及び５１２等の移動物体とは異なり、図５（ａ）〜（ｄ）に示されるサンプル画像５００〜５０３の同一位置に常に写し出される。そして図５（ａ）〜（ｄ）に示されるサンプル画像５００〜５０３の街路樹５１１が写っている範囲の各画素の輝度は、図５（ａ）〜（ｄ）に示されるサンプル画像４００〜４０３の対応する範囲の各画素の輝度とは異なるものとなる。このため、図５（ｅ）に示される統計画像５０４でも、街路樹５１１が表れている範囲の各画素の輝度が、図４（ｅ）に示される統計画像４０４の対応する各画素の輝度と異なるものとなる。
【００３６】
このように、統計画像５０４のうち街路樹５１１によって撮影部２の撮影範囲が恒常的に遮られていない範囲の各画素の輝度は、統計画像４０４の対応する各画素の輝度と略等しくなる。一方、統計画像５０４のうち街路樹５１１によって撮影部２の撮影範囲が恒常的に遮られている範囲の各画素の輝度は、統計画像４０４の対応する各画素の輝度と異なるものとなる。
【００３７】
異常判定部３３３は、現在の統計画像を参照画像と比較して、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する。
【００３８】
例えば、異常判定部３３３は、画素ごとに、現在の統計画像と参照画像との対応する画素間の輝度の差分値を求める。そして異常判定部３３３は、輝度の差分値が第１の閾値以上となる画素の数を求める。上記のように、撮影部２の撮影範囲が恒常的に遮られていない範囲の各画素の輝度は、撮影範囲が恒常的に遮られていない範囲の対応する画素の輝度と略等しくなる。一方、撮影部２の撮影範囲が恒常的に遮られている範囲の各画素の輝度は、撮影範囲が恒常的に遮られていない範囲の対応する画素の輝度と異なるものとなる。このため、撮影部２の撮影範囲が恒常的に遮られている範囲では、撮影部２の撮影範囲が恒常的に遮られていない範囲よりも、現在の統計画像と参照画像との対応する画素間の輝度の差分値が大きくなる。異常判定部３３３は、現在の統計画像と参照画像との対応する画素間の輝度の差分値を第１の閾値と比較することで、撮影部２の撮影範囲が恒常的に遮られている可能性がある範囲の画素を抽出することができる。そこで、第１の閾値は、例えば、10〜50程度の値、例えば、20が設定されればよい。
【００３９】
撮影部２の撮影範囲の少なくとも一部が恒常的に遮られている場合、撮影範囲全体が遮られていない場合よりも、現在の統計画像の画素のうち、参照画像の対応する画素と輝度が異なる画素の数が多くなる。すなわち、輝度の差分値が第１の閾値以上となる画素の数が多くなる。そこで、本実施形態において、異常判定部３３３は、輝度の差分値が第１の閾値以上となる画素の数が、第２の閾値以上であるか否かを判定する。
【００４０】
異常判定部３３３は、輝度の差分値が第１の閾値以上となる画素の数が、第２の閾値未満であれば、撮影部２の撮影範囲全体が恒常的に遮られていない正常な状態であると判定する。一方、異常判定部３３３は、輝度の差分値が第１の閾値以上となる画素の数が、第２の閾値以上であれば、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生していると判定する。これにより、異常判定部３３３は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを適切に判定することができる。異常判定部３３３は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生している場合、例えば、その旨を表す警告メッセージを表示装置４に表示されている画像に重ねて表示させて監視作業員に通知する。
【００４１】
なお、異常判定部３３３は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生している旨を、例えばスピーカ（図示せず）から出力される警告音により、監視作業員に通知してもよい。また、異常判定部３３３は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生している旨を、例えばランプ（図示せず）を点灯させることにより、監視作業員に通知してもよい。さらに、異常判定部３３３は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生している旨の通知を、例えばネットワークを介して接続される中央管理システム等に送信して、監視システム１の管理者等に通知してもよい。異常判定部３３３は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生している旨を、表示装置４への表示、スピーカへの出力、ランプの点灯、及び中央管理システムへの送信等のうちの一部を組み合わせて通知してもよい。あるいは、異常判定部３３３は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生している旨を、表示装置４への表示、スピーカへの出力、ランプの点灯、及び中央管理システムへの送信等の全部を行って通知してもよい。
【００４２】
図６は、制御部３３により実行される参照画像生成処理の動作フローチャートである。制御部３３は、例えば運用前に監視システム１の管理者により参照画像の生成が指示されたことに応答して、この参照画像生成処理を実行する。
【００４３】
まず、サンプル画像取得部３３１は、サンプリング周期ごとに、撮影部２から受け取った画像をサンプル画像として記憶部３２に記憶する（ステップＳ１０１）。
【００４４】
サンプル画像取得部３３１は、サンプル画像の取得を開始してからサンプリング期間が経過したか否かを判定する（ステップＳ１０２）。サンプリング期間が経過していなければ（ステップＳ１０２−Ｎｏ）、サンプル画像取得部３３１は、ステップＳ１０１以降の処理を繰り返す。
【００４５】
一方、サンプリング期間が経過した場合（ステップＳ１０２−Ｙｅｓ）、統計画像生成部３３２は、サンプリング期間に記憶部３２に記憶された複数のサンプル画像を用いて統計画像を生成する（ステップＳ１０３）。
【００４６】
そして統計画像生成部３３２は、生成した統計画像を参照画像として記憶部３２に記憶し（ステップＳ１０４）、参照画像生成処理を終了する。
【００４７】
図７は、制御部３３により実行される撮影範囲異常判定処理の動作フローチャートである。制御部３３は、運用中、予めスケジューリングされた撮影範囲異常判定処理の実行タイミングが到来するごとに、この撮影範囲異常判定処理を実行する。
【００４８】
まず、サンプル画像取得部３３１は、サンプリング周期ごとに、撮影部２から受け取った画像を、サンプル画像として記憶部３２に記憶する（ステップＳ２０１）。
【００４９】
サンプル画像取得部３３１は、サンプル画像の取得を開始してからサンプリング期間が経過したか否かを判定する（ステップＳ２０２）。サンプリング期間が経過していなければ（ステップＳ２０２−Ｎｏ）、サンプル画像取得部３３１は、ステップＳ２０１以降の処理を繰り返す。
【００５０】
一方、サンプリング期間が経過した場合（ステップＳ２０２−Ｙｅｓ）、統計画像生成部３３２は、サンプリング期間中に記憶部３２に記憶された複数のサンプル画像を用いて現在の統計画像を生成する（ステップＳ２０３）。そして統計画像生成部３３２は、その現在の統計画像を記憶部３２に記憶する（ステップＳ２０４）。
【００５１】
異常判定部３３３は、画素ごとに、現在の統計画像と参照画像との対応する画素間の輝度の差分値を求める（ステップＳ２０５）。
【００５２】
そして異常判定部３３３は、輝度の差分値が第１の閾値以上となる画素の数を求める（ステップＳ２０６）。
【００５３】
異常判定部３３３は、輝度の差分値が第１の閾値以上となる画素の数が、第２の閾値以上であるか否かを判定する（ステップＳ２０７）。輝度の差分値が第１の閾値以上となる画素の数が第２の閾値未満であれば（ステップＳ２０７−Ｎｏ）、異常判定部３３３は、撮影部２の撮影範囲全体が恒常的に遮られていない正常な状態であると判定して、異常判定処理を終了する。
【００５４】
一方、輝度の差分値が第１の閾値以上となる画素の数が第２の閾値以上である場合（ステップＳ２０７−Ｙｅｓ）、異常判定部３３３は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られている異常が発生していると判定する。この場合、異常判定部３３３は、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生している旨を表す警告メッセージを表示装置４へ表示させる（ステップＳ２０８）。その後、制御部３３は、異常判定処理を終了する。
【００５５】
以上説明したように、この監視装置は、撮影部が同一の撮影範囲を所定期間にわたって撮影することにより得られた複数の画像の同一位置における画素ごとに、輝度の統計的代表値を求める。そして監視装置は、各画素の輝度の統計的代表値を、対応する画素の輝度とする統計画像を生成する。監視装置は、統計画像を、撮影範囲が恒常的に遮られていない状態の撮影範囲を表す参照画像と比較して、撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを判定する。これにより、監視装置は、撮影部の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かを適切に判定することができる。
【００５６】
なお、変形例によれば、統計画像の画素の輝度として求められる、複数のサンプル画像の同一位置における画素ごとの輝度の統計的代表値は、輝度の中央値、あるいは輝度の最頻値であってもよい。この場合には、サンプル画像間の対応画素の輝度のばらつき、及び、輝度が大きく異なるサンプル画像の存在が統計画像の画素値に与える影響が少なくて済むので、上記の実施形態よりも、サンプリング周期は長くてもよい。
【００５７】
他の変形例によれば、監視装置３は、互いに環境条件が異なる複数の参照画像を記憶部３２に記憶してもよい。例えば、監視装置３は、季節ごとに複数の統計画像を生成して参照画像として記憶部３２に記憶すればよい。夏季に取得された複数のサンプル画像の同一位置における画素ごとの輝度の平均値は、夏季に比べて日照時間が短い冬季に取得された複数のサンプル画像の同一位置における画素ごとの輝度の平均値よりも高くなる。このため、夏季に生成された統計画像の各画素の輝度は、冬季に生成された統計画像の各画素の輝度よりも高くなる。さらに、監視装置３は、天候ごとに複数の統計画像を生成して参照画像として記憶部３２に記憶してもよく、あるいは季節ごとかつ天候ごとに参照画像を生成して記憶部３２に記憶してもよい。晴天時に取得された複数のサンプル画像の同一位置における画素ごとの輝度の平均値は、雲天時、雨天時、及び雪天時に取得された複数のサンプル画像の同一位置における画素ごとの輝度の平均値よりも高くなる。このため、晴天時に取得された統計画像の各画素の輝度は、雲天時、雨天時、及び雪天時に取得された統計画像の各画素の輝度よりも高くなる。
【００５８】
例えば、統計画像生成部３３２は、季節ごと及び／または天候ごとに統計画像を生成し、それぞれを参照画像として記憶部３２に記憶する。そして異常判定部３３３は、現在の統計画像を、記憶部３２に記憶された、環境条件の異なる複数の参照画像のそれぞれと比較する。異常判定部３３３は、現在の統計画像と複数の参照画像のうちの少なくとも一つとの比較結果が、撮影範囲の少なくとも一部が恒常的に遮られていない条件を満たす場合、異常が発生していないと判定すればよい。例えば、異常判定部３３３は、複数の参照画像のそれぞれについて、画素ごとに、統計画像と参照画像との対応する画素間の輝度の差分値を求め、輝度の差分値が第１の閾値以上となる画素の数が第２の閾値以上であるか否かを判定する。そして輝度の差分値が第１の閾値以上となる画素の数が第２の閾値未満となる参照画像が少なくとも一つあれば、異常判定部３３３は、撮影部２の撮影範囲全体が恒常的に遮られてない正常な状態であると判定すればよい。一方、異常判定部３３３は、何れの参照画像についても、輝度の差分値が第１の閾値以上となる画素の数が第２の閾値以上となる場合、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生していると判定すればよい。これにより、異常判定部３３３は、撮影範囲の環境条件の変化による参照画像上の各画素の輝度の変化が生じる場合でも、撮影部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かをより正確に判定できる。
【００５９】
あるいは、異常判定部３３３は、環境条件ごとの複数の参照画像を記憶する記憶部３２から、現在の統計画像の生成時の環境条件に対応する参照画像を読み出して、現在の統計画像と比較してもよい。例えば、異常判定部３３３は、制御部３３に設定されている日付情報等から季節を特定し、特定した季節の参照画像を記憶部３２から読み出して現在の統計画像と比較してもよい。また、異常判定部３３３は、例えば天候情報を管理するサーバ装置からネットワークを介して天候情報を取得し、取得した天候情報から特定される天候の参照画像を記憶部３２から読み出して現在の統計画像と比較してもよい。あるいは、監視カメラ２の外面または近傍に、監視装置３とネットワークを介して接続された温度計及び湿度計等を設置する。異常判定部３３３は、温度計で計測される温度及び湿度計で計測される湿度等をネットワークを介して受け取り、受け取った温度及び湿度から天候を特定してもよい。そして異常判定部３３３は、特定した天候の参照画像を記憶部３２から読み出して現在の統計画像と比較すればよい。これにより、異常判定部３３３は、現在の環境条件に応じた撮影範囲の状態を表す参照画像を、撮影範囲の異常検出に利用できるので、撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かをより正確に判定できる。
【００６０】
さらに、他の変形例によれば、統計画像生成部３３２は、サンプル画像取得部３３１がサンプル画像を取得するごとに、そのサンプル画像の各画素の輝度を、中間画像の対応画素の輝度に逐次重み付け加算することにより、統計画像を生成してもよい。例えば、統計画像生成部３３２は、サンプリング期間の最初に取得されたサンプル画像を中間画像とする。その後、統計画像生成部３３２は、サンプル画像取得部３３１がサンプル画像を取得する度に、そのサンプル画像の各画素の輝度を、中間画像の対応画素の輝度に、忘却係数を用いて重み付け加算する。サンプル画像の位置(x,y)における画素の輝度をI(x,y)とし、中間画像の位置(x,y)における画素の輝度Ac(x,y)とし、忘却係数をα（例えば0.01）とする。この場合、位置(x,y)における、更新後の中間画像の画素の輝度Ac'(x,y)は、次式によって表される。
【数１】
2016134804.tif 000003
【００６１】
統計画像生成部３３２は、サンプリング期間が経過したときに、記憶部３２に記憶されている中間画像を統計画像とすればよい。このようにすれば、監視装置３は、複数のサンプル画像を記憶部３２に記憶しなくてもよいため、記憶部３２の記憶量を小さくすることができる。
【００６２】
さらに他の変形例によれば、異常判定部３３３は、現在の統計画像と参照画像の対応画素間の輝度の差分値が第１の閾値以上となる画素（以下、着目画素と呼ぶ）に対してラベリング処理を実行することで、互いに隣接する着目画素ごとにグループ化してもよい。そして異常判定部３３３は、着目画素のグループごとに、そのグループに含まれる着目画素の数を第２の閾値と比較し、着目画素の数が第２の閾値以上となるグループが有れば、撮影範囲の少なくとも一部が恒常的に遮られる異常が発生していると判定してもよい。これにより、異常判定部３３３は、撮像部２の撮影範囲内のまとまった領域を恒常的に遮るような物体がその撮影範囲内に出現した場合の撮影範囲の異常を適切に検出できる。
【００６３】
さらに他の変形例によれば、異常判定部３３３は、現在の統計画像と参照画像とを複数の領域に分け、現在の統計画像と参照画像との対応する領域同士を比較して、撮像部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生したか否かを判定してもよい。例えば、異常判定部３３３は、現在の統計画像と参照画像との対応する領域内の各対応画素間の輝度の差分値の二乗の合計値(Sum of Squared Difference, SSD)、または輝度の差分値の絶対値の合計値(Sum of Absolute Difference, SAD)を求める。異常判定部３３３は、SSDまたはSADが所定の閾値以上であれば、現在の統計画像と参照画像との対応する領域同士に相異があると判定すればよい。そして相異する領域が所定数（例えば、１以上の整数）以上あれば、異常判定部３３３は、その相異する領域において、撮影範囲が恒常的に遮られる異常が発生していると判定できる。
【００６４】
また、異常判定部３３３は、現在の統計画像と参照画像との対応する領域内の画素の輝度の正規化相互相関(Normalized Cross-Correlation, NCC)、または、ゼロ平均正規化相互相関(Zero-mean Normalized Cross Correlation, ZNCC)を求めてもよい。異常判定部３３３は、NCCまたはZNCCが所定の閾値以下であれば、現在の統計画像と参照画像との対応する領域同士に相異があると判定すればよい。そして相異する領域が所定数（例えば、１以上の整数）以上あれば、異常判定部３３３は、相異する領域に対応する撮影範囲の部分が恒常的に遮られる異常が発生していると判定すればよい。これらの変形例では、異常判定部３３３は、撮影範囲の少なくとも一部が恒常的に遮られる異常が発生しているか否かだけでなく、撮影範囲のうちで恒常的に遮られている部分も特定することができる。
【００６５】
あるいは、異常判定部３３３は、現在の統計画像と参照画像とのそれぞれから抽出した、エッジやコーナー等の特徴点により現在の統計画像と参照画像とを比較して、撮像部２の撮影範囲の少なくとも一部が恒常的に遮られる異常が発生したか否かを判定してもよい。例えば、異常判定部３３３は、現在の統計画像と参照画像との間で位置が異なる特徴点の数が所定数以上あれば、撮影部２の撮影範囲の一部が恒常的に遮られる異常が発生していると判定してもよい。
【００６６】
さらに他の変形例によれば、参照画像は、撮影部２のレンズに付着した汚れ及び生長した街路樹等の固定物体、並びに人及び車両等の移動物体によって撮影部２の撮影範囲が遮られていない状態の撮影範囲を写した一つの画像であってもよい。そして参照画像には、各画素の輝度が一日における平均値となるように、輝度を調整する画像処理が施されてもよい。また、参照画像は、撮影範囲異常判定処理において生成される現在の統計画像よりも少ないサンプル画像を用いて生成されてもよい。
【００６７】
また、上記の実施形態及び変形例による制御部の各部の機能を実現する、撮影範囲異常判定用コンピュータプログラムは、半導体メモリ、磁気記録媒体または光記録媒体といった、コンピュータ読取可能な可搬性の記録媒体に記録された形で提供されてもよい。
【００６８】
ここに挙げられた全ての例及び特定の用語は、読者が、本発明及び当該技術の促進に対する本発明者により寄与された概念を理解することを助ける、教示的な目的において意図されたものであり、本発明の優位性及び劣等性を示すことに関する、本明細書の如何なる例の構成、そのような特定の挙げられた例及び条件に限定しないように解釈されるべきものである。本発明の実施形態は詳細に説明されているが、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。
【符号の説明】
【００６９】
１    監視システム
２    撮影部
３    監視装置
４    表示装置
３１    インターフェース部
３２    記憶部
３３    制御部
３３１    サンプル画像取得部
３３２    統計画像生成部
３３３    異常判定部
【図１】
2016134804.tif 000004
【図３】
2016134804.tif 000005
【図６】
2016134804.tif 000006
【図７】
2016134804.tif 000007
【図２】
2016134804.tif 000008
【図４】
2016134804.tif 000009
【図５】
2016134804.tif 000010