(57)【特許請求の範囲】
【請求項１】
立ち入り禁止区域と該立ち入り禁止区域の周辺部とを撮像する監視カメラと、
前記監視カメラにおいて撮像された画像を解析する画像処理手段とを備え、
前記画像処理手段が、
前記監視カメラで撮像した画像を入力画像として前記画像処理手段に入力する画像入力手段と、
前記監視カメラの揺れによる前記入力画像の動きを補正するカメラ揺れ補正手段と、
前記入力画像を適当な小領域に分割する小領域分割手段と、
一つ一つの前記小領域ごとに、予め取得しておいた背景画像と前記入力画像中の対応する前記小領域の画像との相関計算を行う相関計算手段と、
前記背景画像と前記入力画像中の前記背景画像と対応する前記小領域の画像との時間的な変化を基にして、前記入力画像中の変化小領域と背景候補小領域とを検出する変化検出手段と、
隣接する前記変化小領域を結合して変化検出領域を決定する変化領域結合手段と、
前記変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にあるか否か評価する特徴量評価手段と、
前記変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にある場合、該変化検出領域に侵入者が存在すると判断することにより、侵入者を検知して前記入力画像中の位置を特定する侵入者検知手段と
を備える侵入者検知装置において、
前記カメラ揺れ補正手段は、
前記背景画像に予め設けた複数の補正基準点に対する前記入力画像の対応点をテンプレートマッチングにより探索する対応基準点探索手段と、
前記背景画像の補正基準点と前記入力画像の対応基準点との関係により前記監視カメラの移動量及び回転量を計算するカメラ揺れ補正量計算手段と、
前記移動量及び前記回転量を基に前記入力画像を移動回転変換した変換画像部分を求め、該変換画像部分を用いて前記入力画像を再構成することで再構成入力画像を得る入力画像再構成手段と
を備え、
前記カメラ揺れ補正量計算手段は、
前記背景画像の補正基準点より求める重心点と前記入力画像の対応基準点より求める重心点のズレ量から前記入力画像の前記移動量を求め、
前記背景画像の重心点と前記入力画像の重心点とを一致させ、前記補正基準点と前記対応基準点とのズレ量により各回転量を求め、該各回転量の平均値を求めることで前記入力画像全体の前記回転量を求めることとする
ことを特徴とする侵入者検知装置。
【請求項２】
立ち入り禁止区域と該立ち入り禁止区域の周辺部とを撮像する監視カメラと、
前記監視カメラにおいて撮像された画像を解析する画像処理手段とを備え、
前記画像処理手段が、
前記監視カメラで撮像した画像を入力画像として前記画像処理手段に入力する画像入力手段と、
前記監視カメラの揺れによる前記入力画像の動きを補正するカメラ揺れ補正手段と、
前記入力画像を適当な小領域に分割する小領域分割手段と、
一つ一つの前記小領域ごとに、予め取得しておいた背景画像と前記入力画像中の対応する前記小領域の画像との相関計算を行う相関計算手段と、
前記背景画像と前記入力画像中の前記背景画像と対応する前記小領域の画像との時間的な変化を基にして、前記入力画像中の変化小領域と背景候補小領域とを検出する変化検出手段と、
隣接する前記変化小領域を結合して変化検出領域を決定する変化領域結合手段と、
前記変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にあるか否か評価する特徴量評価手段と、
前記変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にある場合、該変化検出領域に侵入者が存在すると判断することにより、侵入者を検知して前記入力画像中の位置を特定する侵入者検知手段と
を備える侵入者検知装置において、
前記カメラ揺れ補正手段は、
前記背景画像に予め設けた複数の補正基準点に対する前記入力画像の対応点をテンプレートマッチングにより探索する対応基準点探索手段と、
前記背景画像の補正基準点と前記入力画像の対応基準点との関係により前記監視カメラの移動量及び回転量を計算するカメラ揺れ補正量計算手段と、
前記移動量及び前記回転量を基に前記入力画像を移動回転変換した変換画像部分を求め、該変換画像部分を用いて前記入力画像を再構成することで再構成入力画像を得る入力画像再構成手段と
を備え、
前記カメラ揺れ補正量計算手段は、
前記入力画像の回転中心点と対応基準点の距離と、前記背景画像の中心点と補正基準点の距離とが等しいことに基づき、Ｕｉ（Δφ），Ｖｉ（Δφ）を前記補正基準点を回転中心とした回転角をパラメータとした前記入力画像の対応画像中心を通る円弧軌跡の２次元座標値として、前記補正基準点を回転中心とした回転角をパラメータとする各補正基準点ごとの軌跡（Ｕｉ（Δφ），Ｖｉ（Δφ），Δφ）を求め、前記軌跡群について軌跡空間上での軌跡点の密度を計算し、最も密度の高い点の回転角を入力画像の前記回転量とする
ことを特徴とする侵入者検知装置。
【請求項３】
請求項１又は請求項２に記載の侵入者検知装置において、
前記入力画像再構成手段は、前記背景画像上に前記移動量及び前記回転量を基に前記入力画像を移動回転変換した前記変換画像部分の画像データが存在する部分のみを上書きすることにより前記再構成入力画像を得ることとする
ことを特徴とする侵入者検知装置。
【請求項４】
請求項１から請求項４のいずれかひとつに記載の侵入者検知装置において、
前記背景画像を表示し、表示した前記背景画像上で予めカメラぶれや振れ補正の対応基準点を複数指定できる表示・操作手段をさらに備える
ことを特徴とする侵入者検知装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、侵入者検知装置に関する。
【背景技術】
【０００２】
従来から施設や道路等の立ち入り禁止箇所に設置された監視カメラの映像を画像解析することにより、立ち入り禁止区域への侵入者を検知するため、監視カメラと画像処理部とにより侵入者検知装置を構成する技術が知られている。従来の侵入者検知装置では、監視カメラは立ち入り禁止区域を見渡せる位置に設置し、立ち入り禁止区域とその周辺部を撮像し、その画像を画像処理部へ伝送している。
【０００３】
そして、画像処理部は、監視カメラの画像を入力し、画像を適当な小領域に分割し、一つ一つの小領域ごとに予め取得しておいた背景画像と入力画像中の背景画像と対応する小領域の画像との相関計算を行い、その時間的な変化を基にして画像中の変化小領域と背景候補小領域とを検出し、隣接する変化小領域を結合して変化検出領域を決定し、変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内であるときに、その変化検出領域に侵入者が存在すると判断することにより、侵入者を検知してその画像中における位置を特定している。このような従来の侵入者検知装置の一例が下記特許文献１に開示されている。
【０００４】
【特許文献１】特開２００６−２５２２４８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
上述した従来の侵入者検知装置は、固定カメラによる撮像のため、画像全体が動かないことを想定し、背景と入力画像データを比較して変化のある部分を侵入者として検出している。しかしながら、監視カメラを屋外に設置した場合、強風等で監視カメラ自体が揺れることがあり、この場合画像全体が揺れるため、入力画像上の変化を検出するために設置した小領域のほとんどで変化が検出され、誤検知の発生や侵入者による変化部分を特定できない場合がある。この場合侵入者検知装置として以下のような問題が発生する。
【０００６】
第一に、強風等で監視カメラが揺れた場合、入力画像上のほとんどの部分で変化が検出されるため、多くの誤検知が発生する。
【０００７】
第二に、強風等で監視カメラが揺れた場合、入力画像上のほとんどの部分で変化が検出されるために、本来の侵入者による入力画像上の変化が揺れによる変化に埋もれてしまい、侵入者による入力画像上の変化部分を特定できないため、侵入者の入力画像上の位置を検出することができない。
【０００８】
第三に、強風等で監視カメラが揺れた場合、入力画像上のほとんどの部分で変化が検出されるために、本来の侵入者による入力画像上の変化が揺れによる変化に埋もれてしまい、侵入者による入力画像上の変化部分を特定できないため、侵入者を追跡していた場合、その追跡が途切れてしまう。
【０００９】
第四に、強風等の発生する悪天候や、何らかの機械的な振動源が近くにあるなどのために、カメラの揺れが長く続く監視場所においては、誤検知や侵入者の見失いが頻繁に発生するため、侵入者の検知ができない。
【００１０】
以上のことから、本発明は、強風等でカメラが揺れた場合でも、誤検知が発生せず安定して侵入者の検知を行うことができる侵入者検知装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記の課題を解決するための第１の発明（請求項１に対応）に係る侵入者検知装置は、
立ち入り禁止区域と該立ち入り禁止区域の周辺部とを撮像する監視カメラと、
前記監視カメラにおいて撮像された画像を解析する画像処理手段とを備え、
前記画像処理手段が、
前記監視カメラで撮像した画像を入力画像として前記画像処理手段に入力する画像入力手段と、
前記監視カメラの揺れによる前記入力画像の動きを補正するカメラ揺れ補正手段と、
前記入力画像を適当な小領域に分割する小領域分割手段と、
一つ一つの前記小領域ごとに、予め取得しておいた背景画像と前記入力画像中の対応する前記小領域の画像との相関計算を行う相関計算手段と、
前記背景画像と前記入力画像中の前記背景画像と対応する前記小領域の画像との時間的な変化を基にして、前記入力画像中の変化小領域と背景候補小領域とを検出する変化検出手段と、
隣接する前記変化小領域を結合して変化検出領域を決定する変化領域結合手段と、
前記変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にあるか否か評価する特徴量評価手段と、
前記変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にある場合、該変化検出領域に侵入者が存在すると判断することにより、侵入者を検知して前記入力画像中の位置を特定する侵入者検知手段と
を備える侵入者検知装置において、
前記カメラ揺れ補正手段は、
前記背景画像に予め設けた複数の補正基準点に対する前記入力画像の対応点をテンプレートマッチングにより探索する対応基準点探索手段と、
前記背景画像の補正基準点と前記入力画像の対応基準点との関係により前記監視カメラの移動量及び回転量を計算するカメラ揺れ補正量計算手段と、
前記移動量及び前記回転量を基に前記入力画像を移動回転変換した変換画像部分を求め、該変換画像部分を用いて前記入力画像を再構成することで再構成入力画像を得る入力画像再構成手段と
を備え、
前記カメラ揺れ補正量計算手段は、
前記背景画像の補正基準点より求める重心点と前記入力画像の対応基準点より求める重心点のズレ量から前記入力画像の前記移動量を求め、
前記背景画像の重心点と前記入力画像の重心点とを一致させ、前記補正基準点と前記対応基準点とのズレ量により各回転量を求め、該各回転量の平均値を求めることで前記入力画像全体の前記回転量を求めることとすることを特徴とする。
上記の課題を解決するための第２の発明（請求項２に対応）に係る侵入者検知装置は、
立ち入り禁止区域と該立ち入り禁止区域の周辺部とを撮像する監視カメラと、
前記監視カメラにおいて撮像された画像を解析する画像処理手段とを備え、
前記画像処理手段が、
前記監視カメラで撮像した画像を入力画像として前記画像処理手段に入力する画像入力手段と、
前記監視カメラの揺れによる前記入力画像の動きを補正するカメラ揺れ補正手段と、
前記入力画像を適当な小領域に分割する小領域分割手段と、
一つ一つの前記小領域ごとに、予め取得しておいた背景画像と前記入力画像中の対応する前記小領域の画像との相関計算を行う相関計算手段と、
前記背景画像と前記入力画像中の前記背景画像と対応する前記小領域の画像との時間的な変化を基にして、前記入力画像中の変化小領域と背景候補小領域とを検出する変化検出手段と、
隣接する前記変化小領域を結合して変化検出領域を決定する変化領域結合手段と、
前記変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にあるか否か評価する特徴量評価手段と、
前記変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にある場合、該変化検出領域に侵入者が存在すると判断することにより、侵入者を検知して前記入力画像中の位置を特定する侵入者検知手段と
を備える侵入者検知装置において、
前記カメラ揺れ補正手段は、
前記背景画像に予め設けた複数の補正基準点に対する前記入力画像の対応点をテンプレートマッチングにより探索する対応基準点探索手段と、
前記背景画像の補正基準点と前記入力画像の対応基準点との関係により前記監視カメラの移動量及び回転量を計算するカメラ揺れ補正量計算手段と、
前記移動量及び前記回転量を基に前記入力画像を移動回転変換した変換画像部分を求め、該変換画像部分を用いて前記入力画像を再構成することで再構成入力画像を得る入力画像再構成手段と
を備え、
前記カメラ揺れ補正量計算手段は、
前記入力画像の回転中心点と対応基準点の距離と、前記背景画像の中心点と補正基準点の距離とが等しいことに基づき、Ｕｉ（Δφ），Ｖｉ（Δφ）を前記補正基準点を回転中心とした回転角をパラメータとした前記入力画像の対応画像中心を通る円弧軌跡の２次元座標値として、前記補正基準点を回転中心とした回転角をパラメータとする各補正基準点ごとの軌跡（Ｕｉ（Δφ），Ｖｉ（Δφ），Δφ）を求め、前記軌跡群について軌跡空間上での軌跡点の密度を計算し、最も密度の高い点の回転角を入力画像の前記回転量とすることを特徴とする。
【００１２】
上記の課題を解決するための第３の発明（請求項３に対応）に係る侵入者検知装置は、第１又は第２の発明に係る侵入者検知装置において、
前記入力画像再構成手段は、前記背景画像上に前記移動量及び前記回転量を基に前記入力画像を移動回転変換した前記変換画像部分の画像データが存在する部分のみを上書きすることにより前記再構成入力画像を得ることとすることを特徴とする。
【００１６】
上記の課題を解決するための第４の発明（請求項４に対応）に係る侵入者検知装置は、第１の発明から第３の発明のいずれかひとつに係る侵入者検知装置において、
前記背景画像を表示し、表示した前記背景画像上で予めカメラぶれや振れ補正の対応基準点を複数指定できる表示・操作手段をさらに備えることを特徴とする。
【発明の効果】
【００１７】
本発明によれば、カメラ揺れによるブレを補正して入力画像を再構成するため、強風等でカメラが揺れた場合でも、誤検知が発生せず安定して侵入者の検知を行うことができる。
また、カメラ揺れによるブレを補正して入力画像を再構成するため、強風等でカメラが揺れた場合でも、侵入者による入力画像上の変化部分を特定することができ、安定して侵入者の入力画像上の位置を検出することができる。
また、カメラ揺れによるブレを補正して入力画像を再構成するため、強風等でカメラが揺れた場合でも、侵入者による入力画像上の変化部分を特定することができ、侵入者の追跡を安定して行うことができる。
また、カメラ揺れによるブレを補正して入力画像を再構成するため、強風等の発生する悪天候時や何らかの機械的な振動源が近くにあるなどのために、カメラの揺れが長く続く監視場所においても、誤検知や侵入者の見失いが発生することなく安定して侵入者検知を行うことができる。
【発明を実施するための最良の形態】
【００１８】
本発明に係る侵入者検知装置の種々の実施形態について、図１から図９を用いて説明する。なお、図１は本発明の第１の実施形態に係る侵入者検知装置の装置構成を示した模式図、図２は本発明の第１の実施形態に係るカメラ揺れ補正の処理の手順を示した図、図３は本発明の第１の実施形態に係る重心と基準点との関係を示した図、図４は本発明の第１の実施形態に係る重心から基準点へのベクトルのなす角を示した図、図５は本発明の第１の実施形態に係る再構成画像を示した図、図６は本発明の第２の実施形態に係る再構成画像を示した図、図７は本発明の第４の実施形態に係る画像中心から基準点へのベクトルの角度と位置の関係を示した図、図８は本発明の第４の実施形態に係るパラメータ空間上へのプロットを示した図、図９は本発明の第４の実施形態に係るパラメータ空間上へのプロットを２次元で簡略化して示した図である。
【００１９】
〔第１の実施形態〕
以下、本発明の第１の実施形態に係る侵入者検知装置について説明する。図１は、本実施形態に係る侵入者検知装置の装置構成を示した模式図である。図１に示すように、本実施形態に係る侵入者検知装置は、施設や道路等の立ち入り禁止箇所に設置した監視カメラ１と、この監視カメラ１により撮像して得た入力画像を画像解析することにより、立ち入り禁止区域への侵入者を検知する画像処理部２とを備えている。監視カメラ１は、立ち入り禁止区域を見渡せる位置に設置し、立ち入り禁止区域とその周辺部を撮像して、その画像を画像処理部２（画像処理手段）へ伝送する。
【００２０】
画像処理部２は、画像入力手段１０により、監視カメラ１で撮像した画像を入力画像として入力する。画像入力手段１０における処理の終了後、カメラ揺れ補正手段１１により、監視カメラ１の揺れによる入力画像の動きを補正する。なお、カメラ揺れ補正手段１１における、監視カメラ１の揺れによる入力画像の動きを補正する方法については、後ほど詳述する。カメラ揺れ補正手段１１における処理の終了後、小領域分割手段１２により、入力画像を適当な小領域に分割する。小領域分割手段１２における処理の終了後、相関計算手段１３により、一つ一つの小領域ごとに、予め取得しておいた背景画像と入力画像中の背景画像と対応する小領域の画像との相関計算を行う。
【００２１】
相関計算手段１３における処理の終了後、変化検出手段１４により、背景画像と入力画像中の背景画像と対応する小領域の画像との時間的な変化を基にして、入力画像中の変化小領域と背景候補小領域とを検出する。変化検出手段１４における処理の終了後、変化領域結合手段１５により、隣接する変化小領域を結合して変化検出領域を決定する。
【００２２】
変化領域結合手段１５における処理の終了後、特徴量評価手段１６により、変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にあるか否か評価する。特徴量評価手段１６における処理の終了後、侵入者検知手段１７により、変化検出領域の幾何学的特徴量が予め設定した侵入者に対応する特徴量範囲内にある場合、その変化検出領域に侵入者が存在すると判断することにより、侵入者を検知して入力画像中の位置を特定する。
【００２３】
次に、本実施形態に係る監視カメラ１の揺れによる入力画像の動きを補正する方法について説明する。監視カメラ１の揺れによる入力画像の動きを補正する処理は、本来ならば監視カメラ１の三次元的な揺れ動作を推定する必要があるのだが、本実施形態では監視カメラ１の揺れによる入力画像全体の移動量及び回転量を求めることで、監視カメラ１の三次元的な揺れ動作による入力画像全体の移動回転変化を近似する。
【００２４】
図２は、本実施形態におけるカメラ揺れ補正の処理の手順を示した図である。図２に示すように、カメラ揺れ補正手段１１は、背景画像作成手段２０により、背景画像を作成する。背景画像作成手段２０における処理の終了後、補正基準点設定手段２１により、背景画像上に入力画像の移動量及び回転量を求めるための基準点を設定する（この基準点を、以下「補正基準点」と呼ぶ。）。なお、本実施形態では、この補正基準点は、作業者が背景画像を見ながら入力画像全体の複数箇所を適度に指定する。
【００２５】
補正基準点設定手段２１における処理の終了後、対応基準点探索手段２２により、入力画像と背景画像とを比較して補正基準点に対応する入力画像上の点を求める（この点を、以下「対応基準点」と呼ぶ）。
【００２６】
対応基準点を求める方法としては、補正基準点近傍領域の背景画像データをテンプレートとして入力画像上で補正基準点近傍領域の入力画像データに適合する部分を探索するテンプレートマッチングによって行う。なお、本実施形態では、表示・操作手段２３により、背景画像を表示し、表示した背景画像上で予めカメラぶれや振れ補正の対応基準点を複数指定できるようにすることも可能である。
【００２７】
対応基準点探索手段２２における処理の終了後、カメラ揺れ補正量計算手段２４により、対応基準点が検出されれば、検出した対応基準点とそれの探索の基となった補正基準点の位置を基に、カメラ揺れによる入力画像全体の移動量及び回転量を計算する。カメラ揺れ補正量計算手段２４における処理の終了後、入力画像再構成手段２５により、計算した入力画像全体の移動量及び回転量を基に入力画像（図３（ａ）参照）の各画素を移動回転変換して変換画像部分（図３（ｂ）参照）を求め、この変換画像部分を用いて入力画像を再構成することで再構成入力画像（図３（ｃ）参照）を得る。なお、本実施形態に係る再構成入力画像においては、図３（ｃ）中に矢印Ａで示す入力画像の範囲における変換画像部分の画像データが存在しない部分は、便宜的にＮｕｌｌ又は白として扱う。
【００２８】
次に、補正基準点と対応基準点から入力画像全体の移動量及び回転量を求める方法について説明する。補正基準点と対応基準点から入力画像全体の移動量及び回転量を求める方法としては、まず補正基準点全体の重心（以下、「補正点重心」と呼ぶ）と対応基準点全体の重心（以下、「対応点重心」と呼ぶ）を求め、補正点重心に対する対応点重心のずれ量から入力画像全体の移動量を求める。
【００２９】
図４は、本実施形態に係る補正点重心及び対応点重心と補正基準点及び対応基準点との関係を示した図である。なお、図４中、ｐiは補正基準点、ｐi´は対応基準点、ｐgは補正点重心、ｐg´は対応点重心である。図４に示すように、それぞれの重心位置を入力画像全体の回転中心と考え、補正点重心から補正基準点へのベクトルと対応点重心から対応基準点へのベクトルのなす角（図５参照）を求め、重心から基準点へのベクトルのなす角の平均角度を入力画像全体の回転量とする。
【００３０】
以上のように、本実施形態に係る侵入者検知装置によれば、強風等の悪天候時や機械的な振動源により、監視カメラ１が揺れた場合でも、カメラ揺れに伴う入力画像全体の移動量及び回転量を補正して、入力画像を再構成するため、入力画像全体に多くの誤検知が発生したり、侵入者の本来の位置を検出できずに侵入者を見失うことがない。
【００３１】
〔第２の実施形態〕
以下、本発明の第２の実施形態に係る侵入者検知装置について説明する。本実施形態に係る侵入者検知装置は、第１の実施形態に係る侵入者検知装置の入力画像再構成手段２５において、背景画像を下地としてその背景画像の上に入力画像の各画素を移動回転変換して上書きし、入力画像の再構成を行う。
【００３２】
カメラ揺れによる移動量及び回転量を基に入力画像を再構成した場合、入力画像データの枠とサイズ自体は変わらないので、そのカメラ揺れによる移動量及び回転量を基に入力画像を動かした量に伴い、入力画像の端の部分にデータの無い部分が生じる。このため、入力画像の端の部分に変化を検出するための領域が設定されている場合、監視カメラ１の揺れに応じて入力画像データを写し、さらに移動量及び回転量を基に入力画像の各画素を移動回転変換して求めた変換画像部分（図６（ａ）参照）の図６中に矢印Ｂで示す画像データの存在する部分を図６中に矢印Ｃで示す背景画像上に上書き（図６（ｂ）参照）することで、端までデータの入った入力画像を再構成して再構成入力画像（図６（ｃ）参照）を得ることができる。
【００３３】
このように、本実施形態では、再構成入力画像は、入力画像の範囲における変換画像部分の画像データが存在する部分だけを背景画像上に上書きする。すなわち、背景画像上に変換画像部分の全画像データを完全に上書きするものではなく、変換画像部分の画像データが存在しない部分は背景画像の画像データが存在している。
【００３４】
以上のように、本実施形態に係る侵入者検知装置によれば、第１の実施形態に係る侵入者検知装置による効果に加え、入力画像の端の部分においても画像データの抜けが生じないように入力画像を再構成することができる。
【００３５】
〔第３の実施形態〕
以下、本発明の第３の実施形態に係る侵入者検知装置について説明する。本実施形態に係る侵入者検知装置は、第１の実施形態に係る侵入者検知装置のカメラ揺れ補正量計算手段２４において、回転中心を基準点全体の重心位置とするのではなく、背景画像の中心を回転中心として計算を行う。
【００３６】
監視カメラ１が揺れて入力画像全体に移動及び回転が発生した場合でも、入力画像中心から基準点までの距離は変化しない。そこで、入力画像中心から補正基準点までの距離をｒiとすると、カメラ揺れが発生して移動した入力画像中心（以下、「揺れ後中心」と呼ぶ）から対応基準点までの距離もｒiである。
【００３７】
このとき、対応基準点の位置を（ｕi´，ｖi´）、揺れ後中心の位置を（ｕc´，ｖc´）とすると、
（ｕi´−ｕc´）2＋（ｖi´−ｖc´）2＝ｒi2  ・・・  （１）
が成立する。
【００３８】
上記式（１）を変形すると、
（ｕc´2＋ｖc´2）−２ｕc´ｕi´−２ｖc´ｖi´＋（ｕi´2＋ｖi´2−ｒi2）＝０
・・・  （２）
となる。
【００３９】
ここで、ａ＝（ｕc´2＋ｖc´2）、ｂ＝−２ｕc´、ｃ＝−２ｖc´、ｄi＝（ｕi´2＋ｖi´2−ｒi2）とすると上記式（２）は、
ａ＋ｂｕi´＋ｃｖi´＋ｄi＝０  ・・・  （３）
となる。
【００４０】
複数点の対応基準点から最小二乗法により上記式（３）の係数ａ，ｂ，ｃを求めることで揺れ後中心の位置を求める。すなわち、揺れ後中心の位置（ｕc´，ｖc´）は、ｕc´＝−（ｂ／２）、ｖc´＝−（ｃ／２）であることから、（ｕc´，ｖc´）＝（−（ｂ／２），−（ｃ／２））となる。次に、回転量については、入力画像中心から補正基準点へのベクトルと揺れ後中心から対応基準点へのベクトルのなす角を求め、その平均角度を入力画像全体の回転量とする。
【００４１】
このように、本実施形態では、カメラ揺れ補正量計算手段２４は、入力画像の回転中心と対応基準点との距離と、背景画像の中心点と補正基準点との距離とが等しいことに基づき、入力画像上で背景画像に対応する回転中心点を求め、回転中心点に基づき入力画像の移動量及び回転量を求めることができる。
【００４２】
なお、カメラ揺れ補正量計算手段２４は、背景画像の補正基準点より求める重心点と入力画像の対応基準点より求める重心点のズレ量（位置の差）から入力画像の移動量を求め、背景画像の重心点と入力画像の重心点とを一致させ、補正基準点と対応基準点とのズレ量により各回転量を求め、この各回転量の平均値を求めることで入力画像全体の回転量を求めることもできる。
【００４３】
以上のように、本実施形態に係る侵入者検知装置によれば、第１の実施形態に係る侵入者検知装置による効果に加え、探索により検出された対応基準点が入力画像上で部分的に偏った位置に検出された場合でも、偏った位置に補正のための回転中心を求めないため、対応基準点の検出状況に関係なく安定した入力画像全体の移動量及び回転量を求めて、入力画像のカメラ揺れ補正２４を行うことができる。
【００４４】
〔第４の実施形態〕
以下、本発明の第４の実施形態に係る侵入者検知装置について説明する。本実施形態に係る侵入者検知装置は、第１の実施形態に係る侵入者検知装置のカメラ揺れ補正量計算手段において、回転中心を基準点全体の重心位置とするのではなく、背景画像の中心を回転中心として計算を行う。
【００４５】
監視カメラ１が揺れて入力画像全体に移動及び回転が発生した場合でも、入力画像中心から基準点までの距離は変化しない。そこで、入力画像中心から補正基準点までの距離をｒi、入力画像の横軸に対する入力画像中心から補正基準点へのベクトルの回転角をφi、カメラ揺れによる回転量をΔφ（図７参照）とすると、次式が成立する。
【００４６】
ｕi´＝ｒiｃｏｓ（φi＋Δφ）＋ｕc´，ｖi´＝ｒiｓｉｎ（φi＋Δφ）＋ｖc´
・・・  （４）これを変形すると、
ｕc´＝ｒiｃｏｓ（φi＋Δφ）−ｕi´，ｖc´＝ｒiｓｉｎ（φi＋Δφ）−ｖi´
・・・  （５）  
【００４７】
上記式（５）において、ｒi，ｕi´，ｖi´，φiが既知であり、媒介変数となっているカメラ揺れによる回転量Δφに適度な値を代入すれば、揺れ後中心位置を一意に計算できる。そこで、Δφ，ｕc´，ｖc´から成るパラメータ空間を考え、各対応基準点に対してΔφに適度な値を代入してｕc´，ｖc´を求めてパラメータ空間上へプロットすると、図８に示すように、ｐ1（ｕc1´（Δφ），ｖc1´（Δφ），Δφ）、ｐ2（ｕc2´（Δφ），ｖc2´（Δφ），Δφ）、ｐ3（ｕc3´（Δφ），ｖc3´（Δφ），Δφ）の重なる点が現れる。このグラフの重なったパラメータ空間上の点は各対応基準点で共通に可能なΔφ，ｕc´，ｖc´の組み合わせとなり、これがカメラ揺れによる入力画像の回転量と揺れ後中心位置になる。
【００４８】
そこで、プロットの際に投票を行い、パラメータ空間上で最も得票の高い点を求めることで、Δφ，ｕc´，ｖc´の組み合わせを求め、これによりカメラ揺れによる入力画像全体の移動量及び回転量を求める。
【００４９】
ここで、パラメータ空間より中心座標を求める方法についてさらに説明する。図８は、本実施形態に係るパラメータ空間上へのプロットを示した図である。図８に示すように、中心点座標値（ｕ，ｖ）と回転角度Δφとを座標成分に持つ新たな座標空間を考え、この座標空間へのΔφを変数とした各対応基準点ごとに、上記式（５）の軌跡（ｕ（Δφｎ），ｖ（Δφｎ），Δφｎ）を求める。ここで、Δφｎはｎ番目の変数値、Δφｎ＋１＝Δφｎ＋Δ、Δφ０＝０、Δはステップ幅である。
【００５０】
各対応基準点ごとの軌跡の交わる座標（ｕ（Δφｍ），ｖ（Δφｍ），Δφｍ）が求める回転角と、移動した対応中心点となるが、現実的には入力画像の解像度の誤差や、計算誤差、画像処理時の微小な誤差などで、３曲線以上が１点に交わることは困難であると予想される。しかしながら、中心点座標付近では各曲線が接近していると考えられるので、以下の方法により中心を求める。
【００５１】
図９は、本実施形態に係る図８中に矢印Ｄで示した部分のパラメータ空間上へのプロットを２次元で簡略化して示した図である。図９に示すように、曲線の点が最も多く含まれる図９中に矢印Ｅで示す箱の位置を求める。箱の中心点座標を、箱の座標とする箱の大きさをΔＵｃ×ΔＶｃ×Δθとすると、箱（ｉ，ｊ，ｍ）の座標値は（ΔＵｃ×（ｉ−１）＋ΔＵｃ／２，ΔＶｃ×（ｊ−１）＋ΔＶｃ／２，Δθ×（ｍ−１）＋Δθ／２）となる。ここで、Δθ＞＞Δ（ステップ幅）である。なお、実際には、図８に示すように、３次元座標空間上のプロット点群について単位立方体の中に最も多くの座標点が含まれる立方体の位置を求める。
【００５２】
なお、カメラ揺れ補正量計算手段２４は、入力画像の回転中心点と対応基準点の距離と、背景画像の中心点と補正基準点の距離とが等しいことに基づき、Ｕｉ（Δφ），Ｖｉ（Δφ）を補正基準点を回転中心とした回転角をパラメータとした入力画像の対応画像中心を通る円弧軌跡の２次元座標値として、補正基準点を回転中心とした回転角をパラメータとする各補正基準点ごとの軌跡（Ｕｉ（Δφ），Ｖｉ（Δφ），Δφ）を求め、軌跡群について軌跡空間上での軌跡点の密度を計算し、最も密度の高い点の回転角を入力画像の回転量を求めることもできる。
【００５３】
以上のように、本実施形態に係る侵入者検知装置によれば、第１の実施形態に係る侵入者検知装置による効果に加え、探索により検出された対応基準点が入力画像上で部分的に偏った位置に検出された場合でも、偏った位置に補正のための回転中心を求めないため、対応基準点の検出状況に関係なく安定した入力画像全体の移動量及び回転量を求めて、入力画像のカメラ揺れ補正を行うことができる。また、揺れによる監視カメラ１の回転量の範囲が既知である場合は、Δφに適度な値を代入する範囲を限定できるため、高速な処理を行うことができる。
【産業上の利用可能性】
【００５４】
本発明は、例えば、立ち入り禁止箇所を監視する監視カメラを設置して、この監視カメラにより撮像して得た入力画像を画像解析することにより、入力画像中の立ち入り禁止箇所に侵入する人物等を検出する侵入者検出装置に適用することが可能である。
【図面の簡単な説明】
【００５５】
【図１】本発明の第１の実施形態に係る侵入者検知装置の装置構成を示した模式図
【図２】本発明の第１の実施形態に係るカメラ揺れ補正の処理の手順を示した図
【図３】本発明の第１の実施形態に係る再構成入力画像を示した図
【図４】本発明の第１の実施形態に係る重心と基準点との関係を示した図
【図５】本発明の第１の実施形態に係る重心から基準点へのベクトルのなす角を示した図
【図６】本発明の第２の実施形態に係る再構成入力画像を示した図
【図７】本発明の第４の実施形態に係る画像中心から基準点へのベクトルの角度と位置の関係を示した図
【図８】本発明の第４の実施形態に係るパラメータ空間上へのプロットを示した図
【図９】本発明の第４の実施形態に係るパラメータ空間上へのプロットを２次元で簡略化して示した図
【符号の説明】
【００５６】
１  監視カメラ
２  画像処理部
１０  画像入力手段
１１  カメラ揺れ補正手段
１２  小領域分割手段
１３  相関計算手段
１４  変化検出手段
１５  変化領域結合手段
１６  特徴量評価手段
１７  侵入者検知手段
２０  背景画像作成手段
２１  補正基準点設定手段
２２  対応基準点探索手段
２３  表示・操作手段
２４  カメラ揺れ補正量計算手段
２５  入力画像再構成手段
【図１】
0004962230.tif 000002
【図２】
0004962230.tif 000003
【図３】
0004962230.tif 000004
【図４】
0004962230.tif 000005
【図５】
0004962230.tif 000006
【図６】
0004962230.tif 000007
【図７】
0004962230.tif 000008
【図８】
0004962230.tif 000009
【図９】
0004962230.tif 000010