(57)【要約】【課題】低照度環境下における監視領域内の映像の変化の検出精度を向上させることができる監視装置を提供する。【解決手段】駆動制御部４０は、被写体を、撮像素子を第１の露光時間で露光する第１の露光モードと、撮像素子を第１の露光時間より長い第２の露光時間で露光する第２の露光モードとで撮像するよう撮像部１０を制御する。判定部３０内の利得制御部は、被写体を第１の露光モードで撮像したときに得られる第１の映像信号と被写体を第２の露光モードで撮像したときに得られる第２の映像信号との露光時間の違いよる輝度の振幅を互いに一致させる。判定部３０は、輝度の振幅を互いに一致させた第１及び第２の輝度信号それぞれに含まれる高域成分のフレームごとの変化を検出し、高域成分が所定の値以上変化した場合に、監視領域内の映像が変化したと判定する。【選択図】図１
2014165621.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を有する撮像部と、
被写体を、前記撮像素子を第１の露光時間で露光する第１の露光モードと、前記撮像素子を前記第１の露光時間より長い第２の露光時間で露光する第２の露光モードとで撮像するよう前記撮像部を制御する駆動制御部と、
前記被写体を前記第１の露光モードで撮像したときに得られる第１の映像信号と前記被写体を第２の露光モードで撮像したときに得られる第２の映像信号との露光時間の違いによる輝度の振幅を互いに一致させるように、前記第１の映像信号における第１の輝度信号または前記第２の映像信号における第２の輝度信号の利得を制御する利得制御部と、
前記利得制御部によって輝度の振幅を互いに一致させた前記第１及び第２の輝度信号それぞれに含まれる高域成分のフレームごとの変化を検出し、高域成分が所定の値以上変化した場合に、監視領域内の映像が変化したと判定する判定部と、
を備えることを特徴とする監視装置。
【請求項２】
前記判定部は、
前記第１の輝度信号のフレームが判定対象のフレームとなっているときには、判定対象のフレームで検出された高域成分が、１つ前のフレームで検出された高域成分より所定の閾値以上小さくなった場合に映像が変化したと判定し、
第２の輝度信号のフレームが判定対象のフレームとなっているときには、判定対象のフレームで検出された高域成分が、１つ前のフレームで検出された高域成分より所定の閾値以上大きくなった場合に映像が変化したと判定する
ことを特徴とする請求項１記載の監視装置。
【請求項３】
前記判定部は、
前記利得制御部によって輝度の振幅を互いに一致させた前記第１及び第２の輝度信号それぞれのフレームに含まれる高域成分の値を検出する高域検出部と、
前記高域検出部によって検出された高域成分の値を１フレーム期間遅延させる記憶部と、
前記高域検出部より出力された高域成分の値と前記記憶部より出力された高域成分の値とを比較して、前記監視領域内の映像が変化したか否かを判定する比較判定部と、
を有することを特徴とする請求項１または２に記載の監視装置。
【請求項４】
撮像素子を有する撮像部と、
被写体を、前記撮像素子を第１の露光時間で露光する第１の露光モードと、前記撮像素子を前記第１の露光時間より長い第２の露光時間で露光する第２の露光モードとで撮像するよう前記撮像部を制御する駆動制御部と、
前記被写体を前記第１の露光モードで撮像したときに得られる第１の映像信号と前記被写体を第２の露光モードで撮像したときに得られる第２の映像信号との露光時間の違いによる輝度の振幅を互いに一致させるように、前記第１の映像信号における第１の輝度信号または前記第２の映像信号における第２の輝度信号の利得を制御する利得制御部と、
前記利得制御部によって輝度の振幅を互いに一致させた前記第１及び第２の輝度信号における隣接するフレームの差分値を検出する差分検出部と、
前記差分検出部によって検出された差分値に基づいて高域成分の値を検出し、高域成分の値が所定の閾値以上であるときに前記監視領域内の映像が変化したか否かを判定する高域検出判定部と、
を備えることを特徴とする監視装置。
【請求項５】
前記駆動制御部は、前記第１の露光モードで撮像した前記第１の映像信号の１または複数のフレームと、前記被写体を第２の露光モードで撮像した前記第２の映像信号の１または複数のフレームとを交互に繰り返すように、前記撮像部を制御することを特徴とする請求項１〜４のいずれか１項に記載の監視装置。
【請求項６】
前記駆動制御部は、前記第１の露光時間を１フレーム以内の時間とし、前記第２の露光時間を１フレームを超える時間として、前記被写体を撮像するよう前記撮像部を制御することを特徴とする請求項１〜５のいずれか１項に記載の監視装置。
【請求項７】
被写体を、撮像素子を第１の露光時間で露光させる第１の露光モードと、前記撮像素子を前記第１の露光時間より長い第２の露光時間で露光させる第２の露光モードとで撮像し、
前記被写体を前記第１の露光モードで撮像したときに得られる第１の映像信号と前記被写体を第２の露光モードで撮像したときに得られる第２の映像信号との露光時間の違いによる輝度の振幅を互いに一致させるように、前記第１の映像信号における第１の輝度信号または前記第２の映像信号における第２の輝度信号の利得を調整し、
輝度の振幅を互いに一致させた前記第１及び第２の輝度信号それぞれに含まれる高域成分のフレームごとの変化を検出し、高域成分が所定の値以上変化した場合に、監視領域内の映像が変化したと判定する
ことを特徴とする監視装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低照度環境下における監視領域内の映像の変化を検出する精度を向上させることができる監視装置及び監視装置の制御方法に関する。
【背景技術】
【０００２】
夜間の駐車場のような低照度環境下において、所定の監視領域内の被写体を監視カメラによって撮像して監視する監視装置がある。この種の監視装置においては、一般的に、撮像素子の露光時間を通常より長く、例えば複数フレーム期間露光することによって、フレームレートは低下するが明るく鮮明な映像信号を得ることができる。
【０００３】
この場合、被写体が完全に静止していれば鮮明な映像信号が得られるが、被写体が動けば被写体の映像がぶれてしまい、動く被写体の輪郭を的確に認識できない。特許文献１には、長時間露光された映像信号の高域成分を検出し、高域成分が低下した場合に監視領域内の映像に変化があったとして、通常露光（短時間露光）の状態に移行させる監視装置が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−２８１７１８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の検出方法では、被写体の全体が移動するような状態であれば監視領域内の映像の変化を検出することができる。しかしながら、被写体のうち背景は静止しており、所定の物体が監視領域内に侵入して移動するような状態では、長時間露光によって移動する物体の輪郭がぶれることから高域成分の変化が少なく、監視領域内の映像の変化を検出することができない場合がある。そこで、監視領域内の映像の変化の検出精度を向上させることが求められる。
【０００６】
本発明はこのような要望に対応するため、低照度環境下における監視領域内の映像の変化の検出精度を向上させることができる監視装置及び監視装置の制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上述した従来の技術の課題を解決するため、撮像素子を有する撮像部（１０）と、被写体を、前記撮像素子を第１の露光時間で露光する第１の露光モードと、前記撮像素子を前記第１の露光時間より長い第２の露光時間で露光する第２の露光モードとで撮像するよう前記撮像部を制御する駆動制御部（４０）と、前記被写体を前記第１の露光モードで撮像したときに得られる第１の映像信号と前記被写体を第２の露光モードで撮像したときに得られる第２の映像信号との露光時間の違いよる輝度の振幅を互いに一致させるように、前記第１の映像信号における第１の輝度信号または前記第２の映像信号における第２の輝度信号の利得を制御する利得制御部（３０１）と、前記利得制御部によって輝度の振幅を互いに一致させた前記第１及び第２の輝度信号それぞれに含まれる高域成分のフレームごとの変化を検出し、高域成分が所定の値以上変化した場合に、監視領域内の映像が変化したと判定する判定部（３０，３１）とを備えることを特徴とする監視装置を提供する。
【０００８】
また、本発明は、上述した従来の技術の課題を解決するため、撮像素子を有する撮像部（１０）と、被写体を、前記撮像素子を第１の露光時間で露光する第１の露光モードと、前記撮像素子を前記第１の露光時間より長い第２の露光時間で露光する第２の露光モードとで撮像するよう前記撮像部を制御する駆動制御部（４０）と、前記被写体を前記第１の露光モードで撮像したときに得られる第１の映像信号と前記被写体を第２の露光モードで撮像したときに得られる第２の映像信号との露光時間の違いによる輝度の振幅を互いに一致させるように、前記第１の映像信号における第１の輝度信号または前記第２の映像信号における第２の輝度信号の利得を制御する利得制御部（３１１）と、前記利得制御部によって輝度の振幅を互いに一致させた前記第１及び第２の輝度信号における隣接するフレームの差分値を検出する差分検出部（３１２）と、前記差分検出部によって検出された差分値に基づいて高域成分の値を検出し、高域成分の値が所定の閾値以上であるときに前記監視領域内の映像が変化したか否かを判定する高域検出判定部（３１３）とを備えることを特徴とする監視装置を提供する。
【０００９】
さらに、本発明は、上述した従来の技術の課題を解決するため、被写体を、撮像素子を第１の露光時間で露光させる第１の露光モードと、前記撮像素子を前記第１の露光時間より長い第２の露光時間で露光させる第２の露光モードとで撮像し、前記被写体を前記第１の露光モードで撮像したときに得られる第１の映像信号と前記被写体を第２の露光モードで撮像したときに得られる第２の映像信号との露光時間の違いよる輝度の振幅を互いに一致させるように、前記第１の映像信号における第１の輝度信号または前記第２の映像信号における第２の輝度信号の利得を調整し、輝度の振幅を互いに一致させた前記第１及び第２の輝度信号それぞれに含まれる高域成分のフレームごとの変化を検出し、高域成分が所定の値以上変化した場合に、監視領域内の映像が変化したと判定することを特徴とする監視装置の制御方法を提供する。
【発明の効果】
【００１０】
本発明の監視装置及び監視装置の制御方法によれば、低照度環境下における監視領域内の映像の変化の検出精度を向上させることができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態の監視装置を示すブロック図である。
【図２】図１中の判定部３０の具体的な構成を示すブロック図である。
【図３】第１実施形態の監視装置が仮に長時間露光モードのみで動作した場合の動作を示すタイミング図である。
【図４】第１実施形態の監視装置が仮に長時間露光モードのみで動作した場合の監視領域映像と輝度信号波形の例を示す図である。
【図５】第１実施形態の監視装置が仮に長時間露光モードのみで動作した場合の監視領域映像と輝度信号波形の他の例を示す図である。
【図６】第１実施形態の監視装置の動作を示すタイミング図である。
【図７Ａ】第１実施形態の監視装置の動作を説明するための監視領域映像と輝度信号波形の例を示す図である。
【図７Ｂ】第１実施形態の監視装置の動作を説明するための監視領域映像と輝度信号波形の例を示す図である。
【図８】第１実施形態の監視装置の動作を説明するための監視領域映像と輝度信号波形の他の例を示す図である。
【図９】第２実施形態の監視装置を示すブロック図である。
【図１０】図９中の判定部３１の具体的な構成を示すブロック図である。
【図１１】第２実施形態の監視装置の動作を示すタイミング図である。
【図１２】第２実施形態の監視装置の動作を説明するための輝度信号波形と隣接するフレーム間の輝度信号波形の差分値の例を示す図である。
【発明を実施するための形態】
【００１２】
以下、各実施形態の監視装置及び監視装置の制御方法について、添付図面を参照して説明する。
【００１３】
＜第１実施形態＞
図１において、撮像部１０は、被写体を撮像する撮像素子とレンズとを含む。撮像素子は、例えばＣＣＤまたはＣＭＯＳである。撮像部１０は、駆動制御部４０による制御によって、撮像素子の露光時間を１フレーム以内の通常時間または複数フレームに渡る長時間のいずれかで被写体を撮像する。露光時間を１フレーム以内の通常時間とする撮像を短時間露光モード、露光時間を複数フレームに渡る長時間とする撮像を長時間露光モードと称することとする。
【００１４】
撮像部１０より出力された撮像信号は、信号処理部２０に入力される。信号処理部２０は、撮像素子がカラーフィルターアレイを備える単板素子であり、各画素より赤（Ｒ），緑（Ｇ），青（Ｂ）のいずれかの色信号が取り出される場合には、デモザイクと称される補間処理によって各画素それぞれに対応した３原色ＲＧＢ信号を生成する。また、信号処理部２０は、ＲＧＢ信号に基づいて輝度信号と色差信号とを生成し、映像信号S20として出力する。
【００１５】
撮像部１０における撮像素子は、Ｒ用，Ｇ用，Ｂ用それぞれの撮像素子を備える３板素子であってもよい。この場合、信号処理部２０は、Ｒ用，Ｇ用，Ｂ用それぞれの撮像素子より出力されたＲＧＢ信号に基づいて輝度信号Y20と色差信号とを生成し、映像信号S20として出力する。
【００１６】
判定部３０には、信号処理部２０より出力された輝度信号Y20が入力される。判定部３０は、後述のようにして、輝度信号Y20に基づいて監視領域内の映像の変化を検出する。本実施形態においては、監視領域内の被写体が静止している状態で、監視領域内の映像が変化していないと判定された場合を正常とし、監視領域内に人物等の移動する物体が侵入して監視領域内の映像が変化したと判定された場合を異常とする。
【００１７】
判定部３０は、監視領域内の映像が変化して異常が発生したと判定した場合には、異常通知信号を生成して外部へと出力し、必要に応じて駆動制御設定信号を生成して駆動制御部４０に供給する。駆動制御部４０は、駆動制御設定信号に基づいて、撮像部１０における露光モードを長時間露光モードから短時間露光モードへと切り換える場合がある。
【００１８】
判定部３０は、図２に示すように、利得制御部３０１，高域検出部３０２，記憶部３０３，比較判定部３０４，異常通知信号発生部３０５，駆動制御設定信号発生部３０６を有する。図２に示す判定部３０の具体的な動作については後に詳述する。
【００１９】
本実施形態の監視装置の動作を説明する前に、図３〜図５を用いて、図１に示す監視装置が仮に長時間露光モードのみで動作した場合について説明する。
【００２０】
図３において、（ａ）はフレーム同期を示しており、それぞれのフレームに１〜１２のフレーム番号を付している。図３において、（ｂ）は露光時間を示しており、ここでは長時間露光モードの露光時間を２フレーム期間としている。図３において、（ｃ）は信号処理部２０より出力される映像信号S20を示している。
【００２１】
図３の（ｂ），（ｃ）に示すように、フレーム１，２の２フレーム期間で露光した映像信号L(0)がフレーム３のタイミングで出力され、フレーム３，４の２フレーム期間で露光した映像信号L(1)がフレーム５のタイミングで出力され、以下同様にして、映像信号L(2)，L(3)，L(4)がフレーム７，９，１１のタイミングで出力される。映像信号L(0)〜L(4)は、映像信号S20を構成するそれぞれのフレームの映像信号である。
【００２２】
図４は、監視領域内で撮像される被写体の一例と、その際の輝度信号波形を示している。被写体は左側に暗い部分Ｐ１、右側に明るい部分Ｐ２が存在しているとする。被写体は図３におけるフレーム２までは静止しており、フレーム３からフレーム６までは左側の暗い部分Ｐ１が右側へと移動し、フレーム７以降で再び静止したとする。
【００２３】
静止している被写体を撮像した図４の（ａ）に示す映像信号L(0)においては、被写体の暗い部分Ｐ１と明るい部分Ｐ２との境界が明確に撮像されて、輝度信号Y20は破線の楕円で囲んでいる境界Ｂ０の部分に多くの高域成分を含む。
【００２４】
動いている被写体を撮像した図４の（ｂ）に示す映像信号L(1)及び図４の（ｃ）に示す映像信号L(2)においては、暗い部分Ｐ１と明るい部分Ｐ２との境界がぶれた状態で撮像されることから、輝度信号Y20の破線の楕円で囲んでいる境界Ｂ１，Ｂ２の部分の高域成分は、映像信号L(0)の境界Ｂ０に含まれる高域成分よりも減少する。
【００２５】
静止している被写体を撮像した図４の（ｄ）に示す映像信号L(3)においては、再び、輝度信号Y20は破線の楕円で囲んでいる境界Ｂ３の部分に多くの高域成分を含み、境界Ｂ３の部分の高域成分は、映像信号L(2)の境界Ｂ２に含まれる高域成分よりも増加する。このように、輝度信号Y20に含まれる高域成分は、被写体が静止しているか動いているかによって増減する。
【００２６】
従って、図１に示す監視装置は長時間露光モードのみで動作したとしても、輝度信号Y20に含まれる高域成分の変化によって、監視領域内の被写体が静止している状態から動いている状態へと変化することに伴う映像の変化を検出することが可能である。
【００２７】
ところが、被写体のうち背景は静止しており、所定の物体が監視領域内に侵入して移動するような状態では、監視領域内の映像の変化を検出することができない場合がある。これについて図５を用いて説明する。
【００２８】
図５に示すように、監視領域内の被写体は、背景として左側の暗い部分Ｐ１と右側の明るい部分Ｐ２とを含み、背景は静止している。背景の手前を、暗い部分Ｐ１より明るく明るい部分Ｐ２より暗い物体OBmが監視領域内を右側から左側へと移動していくとする。
【００２９】
この場合、図５の（ａ）〜（ｅ）に示すように、映像信号L(0)〜L(4)においてはいずれも、輝度信号Y20は破線の楕円で囲んでいる境界Ｂｐ０〜Ｂｐ４の部分に多くの高域成分を含む。
【００３０】
移動する物体OBmの実際の水平方向の幅をＷ０、水平方向の移動速度をＶ、露光時間をＴ１とすると、図５の（ｃ）〜（ｅ）の映像信号L(2)〜L(4)において撮像される物体OBmの見かけ上の幅Ｗ１は、実際の幅Ｗ０よりも広くなり、式（１）で表される。
Ｗ１＝Ｗ０＋Ｖ×Ｔ１    …（１）
【００３１】
物体OBmの見かけ上の幅Ｗ１が実際の幅Ｗ０よりも広く撮像されることから、図５の（ｃ）に示すように、輝度の低下量Ｄ１は少ない。このため、物体OBmと背景との境界部分で高域成分の変化は小さく、物体OBmが背景内に侵入する前の映像信号L(0)と侵入した映像信号L(1)以降とで、輝度信号Y20に含まれる高域成分はほとんど変化しない。よって、図５の場合には、監視領域内の映像の変化を検出することができない。
【００３２】
そこで、本実施形態の監視装置においては、監視領域内の映像の変化の検出精度を向上させるために、上述した図１，図２に示す構成によって、次のように動作させる。
【００３３】
図６において、（ａ）はフレーム同期、（ｂ）は露光時間、（ｃ）は信号処理部２０より出力される映像信号S20を示している。図６の（ｂ）に示すように、本実施形態の監視装置においては、長時間露光モードで露光した映像信号L(0)，L(2)，L(4)…と短時間露光モードで露光した映像信号S(1-1)，S(1-2)，S(3-1)，S(3-2)，S(5-1)，S(5-2)…とを混在させている。映像信号L(0)〜L(4)…及び映像信号S(1-1)〜S(5-2)…は、映像信号S20を構成するそれぞれのフレームの映像信号である。
【００３４】
具体的には、図６の（ｂ），（ｃ）に示すように、フレーム１，２の２フレーム期間で露光した映像信号L(0)がフレーム３のタイミングで出力され、フレーム３の１フレーム以内の期間で露光した映像信号S(1-1)がフレーム４のタイミングで出力され、フレーム４の１フレーム以内の期間で露光した映像信号S(1-2)がフレーム５のタイミングで出力される。
【００３５】
フレーム５，６の２フレーム期間で露光した映像信号L(2)がフレーム７のタイミングで出力され、フレーム７の１フレーム以内の期間で露光した映像信号S(3-1)がフレーム８のタイミングで出力され、フレーム８の１フレーム以内の期間で露光した映像信号S(3-2)がフレーム９のタイミングで出力される。以下同様の動作が繰り返される。
【００３６】
このように、本実施形態の監視装置においては、長時間露光モードで露光した映像信号と短時間露光モードで露光した２つの映像信号とを交互に繰り返すように出力させる。なお、図６においては、フレーム３，４，７，８，１１，１２…における短時間露光モードの露光時間を一例として０．５フレームの期間としている。
【００３７】
長時間露光モードで露光した１つの映像信号と短時間露光モードで露光した１つの映像信号とを交互に繰り返すように出力させてもよい。長時間露光モードで露光した１または複数の映像信号の組と、短時間露光モードで露光した１または複数の映像信号の組とを交互に繰り返すように出力させればよい。
【００３８】
図５と同様に、図７Ａ，図７Ｂに示すように、暗い部分Ｐ１と明るい部分Ｐ２とを含む背景の手前を、暗い部分Ｐ１より明るく明るい部分Ｐ２より暗い物体OBmが監視領域内を右側から左側へと移動していく場合に、本実施形態の監視装置がどのように動作するかについて説明する。
【００３９】
図２において、利得制御部３０１には、図７Ａの（ａ）に示す映像信号L(0)、（ｂ）に示す映像信号S(1-1)、さらに（ｃ）以降それぞれの映像信号の輝度信号が順次入力される。映像信号L(0)は長時間露光モードで撮像した映像信号であり、図示のような輝度信号波形となる。映像信号S(1-1)は短時間露光モードで撮像した映像信号であるので、映像信号L(0)の輝度の振幅を小さくした輝度信号波形となる。
【００４０】
長時間露光モードで撮像した映像信号L(0)の輝度信号に１未満の所定の利得を乗じれば、短時間露光モードで撮像した映像信号S(1-1)の輝度信号と輝度の振幅が実質的に同じとなる。逆に、短時間露光モードで撮像した映像信号S(1-1)の輝度信号に１を超える所定の利得を乗じれば、長時間露光モードで撮像した映像信号L(0)の輝度信号と輝度の振幅が実質的に同じとなる。輝度の振幅を一致させれば、高域成分の増減を検出することができる。
【００４１】
本実施形態では、短時間露光モードの露光時間を０．５フレーム、長時間露光モードの露光時間を２フレームとしているので、利得制御部３０１は、一例として、長時間露光モードで撮像した映像信号L(0)，L(2)，L(4)…の輝度信号に０．２５なる利得を乗じて、短時間露光モードで撮像した映像信号S(1-1)，S(1-2)，S(3-1)，S(3-2)，S(5-1)，S(5-2)…の輝度信号と振幅の大きさを一致させるように調整する。
【００４２】
高域検出部３０２は、利得制御部３０１からの利得制御された映像信号L(0)，L(2)，L(4)…の輝度信号と、映像信号S(1-1)，S(1-2)，S(3-1)，S(3-2)，S(5-1)，S(5-2)…の輝度信号それぞれの高域成分の値を検出する。高域検出部３０２で検出された高域成分の値は記憶部３０３に入力されて一時的に記憶され、１フレーム期間遅延されて比較判定部３０４に入力される。比較判定部３０４は、高域検出部３０２より出力された現在のフレームの高域成分の値と記憶部３０３より出力された１フレーム前の高域成分の値とを比較する。
【００４３】
高域検出部３０２は、フレーム３のタイミングで、図７Ａの（ａ）に示す映像信号L(0)における破線の楕円で囲んでいる境界Ｂｐ０の部分の高域成分の値を検出する。上記のように、厳密には、高域検出部３０２は、利得制御された映像信号L(0)の高域成分を検出するが、簡略化のため、図７Ａ，図７Ｂに示す輝度信号波形における高域成分の値を検出すると説明する。
【００４４】
高域検出部３０２は、フレーム４のタイミングで、図７Ａの（ｂ）に示す映像信号S(1-1)における破線の楕円で囲んでいる境界Ｂｐ(1-1)の部分の高域成分の値を検出する。比較判定部３０４は、境界Ｂｐ０の部分の高域成分の値と境界Ｂｐ(1-1)の部分の高域成分の値とを比較し、両者はほぼ等しいので、監視領域内の映像に変化はなく、異常は発生していないと判定する。
【００４５】
ここでは、理解を容易にするため、水平方向１次元の高域成分の値を検出すると説明しているが、一般的にはラプラシアンフィルタを用いて空間２次微分を求め、２次微分値の積算値に基づいて高域成分の値を検出する。
【００４６】
次に、高域検出部３０２は、フレーム５のタイミングで、図７Ａの（ｃ）に示す映像信号S(1-2)に含まれる高域成分の値を検出する。ここでは短時間露光モードで撮像されているため、移動する物体OBmの水平方向の幅Ｗ２は式（１）より長時間露光モードで撮像したときの物体OBmの幅Ｗ１に対して１／４程度となり、輝度の低下量Ｄ２が大きくなる。
【００４７】
従って、高域検出部３０２は、フレーム５のタイミングで、映像信号S(1-2)における破線の楕円で囲んでいる境界Ｂｐ(1-2)の部分の高域成分の値に加えて、破線の楕円で囲んでいる物体OBmの輪郭部分の高域成分の値を検出する。よって、比較判定部３０４は、フレーム５のタイミングで、映像信号S(1-1)に含まれる高域成分の値よりも映像信号S(1-2)に含まれる高域成分の値が所定の閾値以上大きくなったことを検出する。
【００４８】
比較判定部３０４は、高域成分の値が大きくなったことにより、監視領域内の映像が変化し、異常が発生したと判定する。そこで、異常通知信号発生部３０５は異常通知信号を発生する。駆動制御設定信号発生部３０６は、物体OBmの輪郭を的確に認識することができるよう、所定のフレーム期間だけ短時間露光モードに設定させる駆動制御設定信号を発生して、駆動制御部４０に供給してもよい。
【００４９】
高域検出部３０２は、フレーム７のタイミングで、図７Ａの（ｄ）に示す映像信号L(2)に含まれる高域成分の値を検出する。ここでは長時間露光モードで撮像されているため、物体OBmは幅Ｗ１で撮像されて、輝度の低下量は低下量Ｄ２よりも小さい低下量Ｄ１となる。
【００５０】
従って、高域検出部３０２は、フレーム７のタイミングでは、映像信号L(2)における破線の楕円で囲んでいる境界Ｂｐ２の部分の高域成分の値のみを検出する。よって、比較判定部３０４は、フレーム７のタイミングで、映像信号S(1-2)に含まれる高域成分の値よりも映像信号L(2)に含まれる高域成分の値が所定の閾値以上小さくなったことを検出する。
【００５１】
比較判定部３０４は、高域成分の値が小さくなったことにより、監視領域内の映像が変化し、異常が発生したと判定する。異常通知信号発生部３０５は異常通知信号を発生する。
【００５２】
このように、比較判定部３０４は、短時間露光モードで撮像された映像信号より検出された高域成分の値が、１つ前のフレームで撮像された映像信号より検出された高域成分の値よりも所定の閾値以上増加した場合に、監視領域内の映像が変化したと判定する。ここでの、１つ前のフレームとは、短時間露光モードで撮像された映像信号と長時間露光モードで撮像された映像信号とのいずれでもよい。
【００５３】
また、比較判定部３０４は、長時間露光モードで撮像された映像信号より検出された高域成分の値が、１つ前のフレームで撮像された映像信号より検出された高域成分の値よりも所定の閾値以上減少した場合に、監視領域内の映像が変化したと判定する。ここでの、１つ前のフレームとは、短時間露光モードで撮像された映像信号と長時間露光モードで撮像された映像信号とのいずれでもよい。
【００５４】
同様にして、高域検出部３０２は、フレーム８のタイミングで、図７Ａの（ｅ）に示す映像信号S(3-1)における破線の楕円で囲んでいる境界Ｂｐ(3-1)の部分の高域成分の値に加えて、破線の楕円で囲んでいる物体OBmの輪郭部分の高域成分の値を検出する。比較判定部３０４は、映像信号L(2)に含まれる高域成分の値よりも映像信号S(3-1)に含まれる高域成分の値が所定の閾値以上大きくなったことを検出し、監視領域内の映像が変化して異常が発生したと判定する。
【００５５】
フレーム９のタイミングで、高域検出部３０２によって検出される図７Ａの（ｆ）に示す映像信号S(3-2)に含まれる高域成分の値は、境界Ｂｐ(3-2)の部分の高域成分の値と物体OBmの輪郭部分の高域成分の値とであり、映像信号S(3-1) に含まれる高域成分の値とほぼ等しいため、比較判定部３０４は、監視領域内の映像に変化はなく、異常は発生していないと判定する。
【００５６】
引き続き、高域検出部３０２は、フレーム１１のタイミングで、図７Ｂの（ｇ）に示す映像信号L(4)における破線の楕円で囲んでいる境界Ｂｐ４の部分の高域成分の値のみを検出する。比較判定部３０４は、映像信号S(3-2)に含まれる高域成分の値よりも映像信号L(4)に含まれる高域成分の値が所定の閾値以上小さくなったことを検出して、異常が発生したと判定する。
【００５７】
高域検出部３０２は、フレーム１２のタイミングで、図７Ｂの（ｈ）に示す映像信号S(5-1)に含まれる境界Ｂｐ(5-1)の部分の高域成分の値と物体OBmの輪郭部分の高域成分の値を検出する。比較判定部３０４は、映像信号L(4)に含まれる高域成分の値よりも映像信号S(5-1)に含まれる高域成分の値が所定の閾値以上小さくなったことを検出して、異常が発生したと判定する。
【００５８】
高域検出部３０２は、フレーム１３のタイミングで、図７Ｂの（ｉ）に示す映像信号S(5-2)に含まれる境界Ｂｐ(5-2)の部分の高域成分の値と物体OBmの輪郭部分の高域成分の値を検出する。映像信号S(5-2)に含まれる高域成分の値と映像信号S(5-1)に含まれる高域成分の値とはほぼ等しいので、比較判定部３０４は異常は発生していないと判定する。
【００５９】
以降のフレームでも同様に、監視領域内の映像が変化する状態では、長時間露光モードで撮像された映像信号と、２回連続する短時間露光モードで撮像された映像信号の１回目の映像信号が比較判定部３０４に入力されるタイミングにおいて、異常が発生したと判定される。
【００６０】
図６の（ｄ）には、移動する物体OBmが監視領域外にあるか監視領域内にあるかを示している。図６の（ｅ）には、以上のようにして判定された正常または異常の状態を示している。図６の（ｃ）に示すように、フレーム６，１０，…では信号処理部２０より映像信号が出力されない。従って、映像信号が出力されないタイミングのフレームにおいては、比較判定部３０４は、前のフレームの判定結果を更新しないようにしている。
【００６１】
特に図示しないが、長時間露光モードによる撮像と短時間露光モードによる撮像とを１回ずつ交互とした場合には、フレーム９，１０のタイミングにおいても異常と判定され、監視領域内の映像の変化の検出精度はさらに向上する。
【００６２】
本実施形態の監視装置においては、図７Ａ，図７Ｂに示すような背景の手前を物体OBmが移動していく映像だけでなく、図４と同様に、暗い部分Ｐ１と明るい部分Ｐ２とが存在していて、暗い部分Ｐ１が移動していく映像であっても、監視領域内の映像の変化を検出することができる。
【００６３】
図８を用いて、暗い部分Ｐ１と明るい部分Ｐ２とが存在し、暗い部分Ｐ１が右側へと移動していく映像の場合の、本実施形態の監視装置の動作を説明する。被写体は図６におけるフレーム２までは静止しており、フレーム３以降、右側へと移動していくとする。
【００６４】
図８の（ｂ），（ｃ）に示す短時間露光モードで撮像された映像信号S(1-1)，S(1-2)においては、暗い部分Ｐ１と明るい部分Ｐ２との境界の移動量が少ないので、境界のぶれ幅Ｇ２は狭い。よって、高域検出部３０２は、図８の（ａ）に示す映像信号L(0)と図８の（ｂ），（ｃ）に示す映像信号S(1-1)，S(1-2)の全てで、比較的大きな高域成分の値を検出する。よって、比較判定部３０４は、映像信号L(0)と映像信号S(1-1)との間、映像信号S(1-1)と映像信号S(1-2)との間で高域成分の値の増減を検出せず、異常は発生していないと判定する。
【００６５】
図８の（ｄ）に示す長時間露光モードで撮像された映像信号L(2)においては、暗い部分Ｐ１と明るい部分Ｐ２との境界の移動量が多いので、境界のぶれ幅Ｇ１は広い。よって、高域検出部３０２は、映像信号L(2)では比較的小さな高域成分の値しか検出しない。よって、比較判定部３０４は、映像信号S(1-2)と映像信号L(2)との間で高域成分の値が減少したことを検出し、異常が発生したと判定する。
【００６６】
図８の（ｅ）に示す短時間露光モードで撮像された映像信号S(3-1)においては、高域検出部３０２は再び大きな高域成分の値を検出するので、比較判定部３０４は、映像信号L(2)と映像信号S(3-1)との間で高域成分の値が増加したことを検出し、異常が発生したと判定する。
【００６７】
図８の（ｆ）に示す短時間露光モードで撮像された映像信号S(3-2)においては、比較判定部３０４は、映像信号S(3-1)と映像信号S(3-2)との間で高域成分の値の増減を検出せず、異常は発生していないと判定する。
【００６８】
図８の場合も、監視領域内の映像が変化した以降で、長時間露光モードで撮像された映像信号と、２回連続する短時間露光モードで撮像された映像信号の１回目の映像信号が比較判定部３０４に入力されるタイミングにおいて、異常が発生したと判定される。
【００６９】
＜第２実施形態＞
図９に示す第２実施形態の監視装置において、図１と同一部分には同一符号を付し、その説明を適宜省略する。図９において、信号処理部２０より出力された映像信号S20は、判定部３１と記憶部５０と選択部６０とに入力される。記憶部５０は、映像信号S20を一時的に記憶し、映像信号S20を１フレーム期間遅延した映像信号S50として出力する。映像信号S50は、判定部３１と選択部６０とに入力される。
【００７０】
図１１において、（ａ）はフレーム同期、（ｂ）は露光時間、（ｃ）は信号処理部２０より出力される映像信号S20を示しており、これらは、図６の（ａ）〜（ｃ）と同じである。図１１において、（ｄ）は記憶部５０より出力される映像信号S50を示している。フレーム６，１０，…のタイミングでは、映像信号S20は出力されず記憶部５０に記憶された映像信号S20が更新されないので、記憶部５０からは、フレーム５，９，…のタイミングで書き込まれた映像信号S20が２フレームの期間連続して出力される。
【００７１】
選択部６０は、信号処理部２０から映像信号S20が出力されるフレームのタイミングでは映像信号S20を選択し、信号処理部２０から映像信号S20が出力されないフレームのタイミングでは映像信号S50を選択して、図１１の（ｅ）に示す映像信号S60を出力する。
【００７２】
図１０に示すように、判定部３１は、利得制御部３１１，差分検出部３１２，高域検出判定部３１３，異常通知信号発生部３１４，駆動制御設定信号発生部３１５を有する。利得制御部３１１には、映像信号S20の輝度信号Y20と映像信号S50の輝度信号Y50とが入力される。利得制御部３１１における動作は図２の利得制御部３０１と同様であり、長時間露光モードで撮像した輝度信号に０．２５なる利得を乗じて、短時間露光モードで撮像した輝度信号と輝度の振幅の大きさを一致させる。
【００７３】
差分検出部３１２は、輝度の振幅の大きさを一致させた状態で、輝度信号Y20より輝度信号Y50を減算して、輝度信号Y20と輝度信号Y50との差分を検出する。差分値は高域検出判定部３１３に入力される。高域検出判定部３１３は、入力された差分値に基づいて高域成分の値を検出する。高域検出判定部３１３は、高域成分の値が所定の閾値以上であれば、監視領域内の映像が変化し、異常が発生したと判定する。
【００７４】
高域検出判定部３１３が、異常が発生したと判定したら、異常通知信号発生部３１４は異常通知信号を発生し、駆動制御設定信号発生部３１５は必要に応じて駆動制御設定信号を発生する。異常通知信号発生部３１４は異常通知信号発生部３０５と実質的に同じであり、駆動制御設定信号発生部３１５は、駆動制御設定信号発生部３０６と実質的に同じである。
【００７５】
図１２を用いて、第２実施形態の監視装置の具体的な動作を説明する。図１２の（ａ）〜（ｄ）は、図７Ａの（ｄ）〜（ｆ）及び図７Ｂの（ｇ）に示す映像信号L(2)，S(3-1)，S(3-2)，L(4)の輝度信号波形である。
【００７６】
図１１のフレーム８のタイミングでは、差分検出部３１２は、図１２の（ｂ）に示す映像信号S(3-1)から図１２の（ａ）に示す映像信号L(2)を減算した差分値を出力する。映像信号L(2)と映像信号S(3-1)とは、利得制御部３１１による利得制御によって、物体OBm以外の背景の部分ではほぼ同じ輝度である。よって、図１２の（ｅ）に示すように、物体OBmの部分のみ幅Ｗ１で正側に突出し、幅Ｗ２で負側に突出する。
【００７７】
図１２の（ｅ）に示す波形では、負側に突出した幅Ｗ２の物体OBmの部分で所定の閾値以上の高域成分の値が検出される。よって、高域検出判定部３１３は、監視領域内の映像が変化して異常が発生したと判定する。
【００７８】
図１１のフレーム９のタイミングでは、差分検出部３１２は、図１２の（ｃ）に示す映像信号S(3-2)から図１２の（ｂ）に示す映像信号S(3-1)を減算した差分値を出力する。この場合、図１２の（ｆ）に示すように、物体OBmの部分のみ幅Ｗ２で正側及び負側の双方に突出する。
【００７９】
図１２の（ｆ）に示す波形では、正側及び負側の双方に突出した幅Ｗ２の物体OBmの部分で所定の閾値以上の高域成分の値が検出される。よって、高域検出判定部３１３は、監視領域内の映像が変化して異常が発生したと判定する。図１１のフレーム１０のタイミングでは映像信号S20が出力されないので、高域検出判定部３１３は、フレーム９のタイミングにおける判定結果を更新せず維持する。
【００８０】
図１１のフレーム１１のタイミングでは、差分検出部３１２は、図１２の（ｄ）に示す映像信号L(4)から図１２の（ｃ）に示す映像信号S(3-2)を減算した差分値を出力する。この場合、図１２の（ｇ）に示すように、物体OBmの部分のみ幅Ｗ２で正側に突出し、幅Ｗ１の１／２ずつ正側及び負側に突出する。
【００８１】
図１２の（ｇ）に示す波形では、正側に突出した幅Ｗ２の物体OBmの部分で所定の閾値以上の高域成分の値が検出される。よって、高域検出判定部３１３は、監視領域内の映像が変化して異常が発生したと判定する。
【００８２】
図１１の（ｆ）には、移動する物体OBmが監視領域外にあるか監視領域内にあるかを示している。図１１の（ｇ）には、以上のようにして判定された正常または異常の状態を示している。第２実施形態においては、第１実施形態の図６において正常と判定されたフレーム９，１０のタイミングにおいても、異常が発生したと判定されている。
【００８３】
以上のように、第１実施形態の監視装置及び監視装置の制御方法においては、図２に示す判定部３０によって、輝度の振幅を互いに一致させた短時間露光モードの輝度信号と長時間露光モードの輝度信号とのそれぞれに含まれる高域成分のフレームごとの変化を検出し、高域成分が１フレーム前より所定の値以上変化した場合に、監視領域内の映像が変化したと判定している。
【００８４】
第２実施形態の監視装置及び監視装置の制御方法においては、図１０に示す判定部３１によって、輝度の振幅を互いに一致させた短時間露光モードの輝度信号と長時間露光モードの輝度信号とを含む連続した２フレームの輝度信号の差分値信号に含まれる高域成分を検出し、高域成分が所定の値以上の場合に、監視領域内の映像が変化したと判定している。
【００８５】
よって、第１及び第２実施形態の監視装置及び監視装置の制御方法によれば、低照度環境下における監視領域内の映像の変化の検出精度を向上させることができる。
【００８６】
本発明は以上説明した第１及び第２実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々変更可能である。第１及び第２実施形態においては、撮像素子の露光時間を１フレーム以内の時間とした短時間露光モードと、１フレームを超える長時間露光モードとの２つの露光モードを用いているが、露光時間が互いに異なる３つ以上の露光モードを用いてもよい。
【００８７】
即ち、被写体を、撮像素子を第１の露光時間で露光する第１の露光モードと、撮像素子を第１の露光時間より長い第２の露光時間で露光する第２の露光モードとを少なくとも含むように撮像すればよい。
【００８８】
図１及び図２、図９及び図１０に示す構成は、第１及び第２実施形態の単なる例であり、具体的なブロック構成（回路構成）は適宜変更可能である。図１及び図９では、判定部３０，３１内に利得制御部３０１，３１１を設けたが、利得制御部３０１，３１１を判定部３０，３１の外部に設けてもよい。
【符号の説明】
【００８９】
１０  撮像部
２０  信号処理部
３０，３１  判定部
４０  駆動制御部
５０，３０３  記憶部
３０１，３１１  利得制御部
３０２  高域検出部
３０４  比較判定部
３１２  差分検出部
３１３  高域検出判定部
【図１】
2014165621.tif 000003
【図２】
2014165621.tif 000004
【図３】
2014165621.tif 000005
【図４】
2014165621.tif 000006
【図５】
2014165621.tif 000007
【図６】
2014165621.tif 000008
【図７Ａ】
2014165621.tif 000009
【図７Ｂ】
2014165621.tif 000010
【図８】
2014165621.tif 000011
【図９】
2014165621.tif 000012
【図１０】
2014165621.tif 000013
【図１１】
2014165621.tif 000014
【図１２】
2014165621.tif 000015
【手続補正書】
【提出日】平成26年2月20日(2014.2.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項４
【補正方法】変更
【補正の内容】
【請求項４】
撮像素子を有する撮像部と、
被写体を、前記撮像素子を第１の露光時間で露光する第１の露光モードと、前記撮像素子を前記第１の露光時間より長い第２の露光時間で露光する第２の露光モードとで撮像するよう前記撮像部を制御する駆動制御部と、
前記被写体を前記第１の露光モードで撮像したときに得られる第１の映像信号と前記被写体を第２の露光モードで撮像したときに得られる第２の映像信号との露光時間の違いによる輝度の振幅を互いに一致させるように、前記第１の映像信号における第１の輝度信号または前記第２の映像信号における第２の輝度信号の利得を制御する利得制御部と、
前記利得制御部によって輝度の振幅を互いに一致させた前記第１及び第２の輝度信号における隣接するフレームの差分値を検出する差分検出部と、
前記差分検出部によって検出された差分値に基づいて高域成分の値を検出し、高域成分の値が所定の閾値以上であるときに前記監視領域内の映像が変化したと判定する高域検出判定部と、
を備えることを特徴とする監視装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
また、本発明は、上述した従来の技術の課題を解決するため、撮像素子を有する撮像部（１０）と、被写体を、前記撮像素子を第１の露光時間で露光する第１の露光モードと、前記撮像素子を前記第１の露光時間より長い第２の露光時間で露光する第２の露光モードとで撮像するよう前記撮像部を制御する駆動制御部（４０）と、前記被写体を前記第１の露光モードで撮像したときに得られる第１の映像信号と前記被写体を第２の露光モードで撮像したときに得られる第２の映像信号との露光時間の違いによる輝度の振幅を互いに一致させるように、前記第１の映像信号における第１の輝度信号または前記第２の映像信号における第２の輝度信号の利得を制御する利得制御部（３１１）と、前記利得制御部によって輝度の振幅を互いに一致させた前記第１及び第２の輝度信号における隣接するフレームの差分値を検出する差分検出部（３１２）と、前記差分検出部によって検出された差分値に基づいて高域成分の値を検出し、高域成分の値が所定の閾値以上であるときに前記監視領域内の映像が変化したと判定する高域検出判定部（３１３）とを備えることを特徴とする監視装置を提供する。