(57)【要約】【課題】照明変動による揺らぎ等があっても放置物領域を精度良く検出する。【解決手段】静止領域検出手段４０は監視領域を撮影した監視画像を背景画像記憶手段３０に記憶された背景画像と比較して、監視画像から、背景画像に撮影されておらず且つ所定時間以上静止している静止領域を検出する。領域膨張手段４１は静止領域に対し膨張処理を行い膨張領域を生成する。時空間セグメント生成手段４２は、監視画像を時間軸に沿って並べた時空間画像を分割した複数のセグメントでありそれぞれに帰属する画素の画素値が隣接する当該セグメント間にて所定基準を超えて相違する複数の時空間セグメントを生成する。放置物領域生成手段４３は、時空間画像にて膨張領域の画素からなる部分を分割する時空間セグメントのうち当該膨張領域の境界を含んでいる境界セグメントを特定し、膨張領域から境界セグメントに含まれる領域を除外して放置物領域を生成する。【選択図】図２
2018133042.tif 000002
【特許請求の範囲】
【請求項１】
所定の監視領域を撮影した複数時刻の監視画像から前記監視領域に放置された放置物が写る放置物領域を検出する放置物検出装置であって、
前記監視領域の背景画像を記憶している背景画像記憶手段と、
前記監視画像を前記背景画像と比較して、前記監視画像から、前記背景画像に撮影されておらず且つ所定時間以上静止している静止領域を検出する静止領域検出手段と、
前記静止領域に対し膨張処理を行い膨張領域を生成する領域膨張手段と、
前記監視画像を時間軸に沿って並べた時空間画像を分割した複数のセグメントでありそれぞれに帰属する画素の画素値が隣接する当該セグメント間にて所定基準を超えて相違する複数の時空間セグメントを生成する時空間セグメント生成手段と、
前記時空間画像にて前記膨張領域の画素からなる部分を分割する前記時空間セグメントのうち当該膨張領域の境界を含んでいる境界セグメントを特定し、前記膨張領域から前記境界セグメントに含まれる領域を除外して前記放置物領域を生成する放置物領域生成手段と、
を備えたことを特徴とする放置物検出装置。
【請求項２】
前記時空間セグメント生成手段は、前記時空間画像における近傍画素間での画素値の相違度を算出し、分割境界にて内部よりも高い前記相違度を有する前記複数の時空間セグメントを生成すること、を特徴とする請求項１に記載の放置物検出装置。
【請求項３】
前記静止領域検出手段は、所定の停止物体の画像特徴を学習した識別器を用いて前記監視画像において前記停止物体の画像特徴が現れている停止物体領域を識別し、前記停止物体領域以外の領域から前記静止領域を検出すること、を特徴とする請求項１又は請求項２に記載の放置物検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の監視領域を撮影した監視画像から放置物が写る放置物領域を検出する放置物検出装置に関する。
【背景技術】
【０００２】
従来、背景差分処理等により監視画像から検出した変化領域のうち、所定時間以上静止している領域を、放置された危険物や忘れ物等の放置物によるもの（放置物領域）として検出していた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−０７０３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、照明変動等により生じた変化領域が放置物領域として誤検出されてしまう場合があった。すなわち、画素値の時間方向の揺らぎ等が誤検出されていた。
【０００５】
また、画素値の時間方向の揺らぎ等によって放置物領域に欠損が生じる場合があり、領域の大きさや形状に基づくノイズとの弁別精度が低下する問題があった。
【０００６】
本発明は上記問題を鑑みてなされたものであり、照明変動による揺らぎ等があっても放置物領域を好適な精度で検出できる放置物検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
（１）本発明に係る放置物検出装置は、所定の監視領域を撮影した複数時刻の監視画像から前記監視領域に放置された放置物が写る放置物領域を検出する装置であって、前記監視領域の背景画像を記憶している背景画像記憶手段と、前記監視画像を前記背景画像と比較して、前記監視画像から、前記背景画像に撮影されておらず且つ所定時間以上静止している静止領域を検出する静止領域検出手段と、前記静止領域に対し膨張処理を行い膨張領域を生成する領域膨張手段と、前記監視画像を時間軸に沿って並べた時空間画像を分割した複数のセグメントでありそれぞれに帰属する画素の画素値が隣接する当該セグメント間にて所定基準を超えて相違する複数の時空間セグメントを生成する時空間セグメント生成手段と、前記時空間画像にて前記膨張領域の画素からなる部分を分割する前記時空間セグメントのうち当該膨張領域の境界を含んでいる境界セグメントを特定し、前記膨張領域から前記境界セグメントに含まれる領域を除外して前記放置物領域を生成する放置物領域生成手段と、を備える。
【０００８】
（２）上記（１）に記載の放置物検出装置において、前記時空間セグメント生成手段は、前記時空間画像における近傍画素間での画素値の相違度を算出し、分割境界にて内部よりも高い前記相違度を有する前記複数の時空間セグメントを生成する構成とすることができる。
【０００９】
（３）上記（１）又は（２）に記載の放置物検出装置において、前記静止領域検出手段は、所定の停止物体の画像特徴を学習した識別器を用いて前記監視画像において前記停止物体の画像特徴が現れている停止物体領域を識別し、前記停止物体領域以外の領域から前記静止領域を検出する構成とすることができる。
【発明の効果】
【００１０】
本発明によれば、日照などの照明変動による揺らぎ等があっても放置物領域を好適な精度で検出できる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態に係る放置物検出装置の概略の構成を示すブロック図である。
【図２】本発明の実施形態に係る放置物検出装置の概略の機能ブロック図である。
【図３】時空間セグメンテーションの様子を説明する模式図である。
【図４】放置物検出装置の動作の概略のフロー図である。
【図５】放置物検出装置の動作の概略のフロー図である。
【図６】放置物領域生成処理の概略のフロー図である。
【図７】放置物検出装置による静止領域の検出処理の例を示す模式図である。
【図８】放置物検出装置による放置物領域の検出処理の例を示す模式図である。
【発明を実施するための形態】
【００１２】
以下、本発明の実施の形態（以下実施形態という）について、図面に基づいて説明する。本実施形態として、公共スペースを撮影した時系列画像から放置物を検出する放置物検出装置の例を説明する。
【００１３】
［放置物検出装置１の構成］
図１は放置物検出装置１の概略の構成を示すブロック図である。放置物検出装置１は撮影部２、記憶部３、画像処理部４及び出力部５から構成される。
【００１４】
撮影部２はいわゆる監視カメラであり、ＣＣＤ素子又はＣ−ＭＯＳ素子等の撮像素子、光学系部品、Ａ／Ｄ変換器等を含んで構成される。撮影部２は画像処理部４と接続され、監視の対象であり放置物が発生し得る所定空間（以下、監視領域と称する）を時間の経過と共に順次撮影して時系列画像を生成し、その時系列画像を画像処理部４に入力する。撮影部２は例えば、イベント会場や街中の歩道などの公共スペースに立てられたポールに当該公共スペースを俯瞰する視野に固定された状態で設置され、当該公共スペースを所定の撮影周期で撮影する。以下、上記撮影周期で刻まれる時間の単位を時刻と称する。
【００１５】
記憶部３はＲＯＭ (Read Only Memory)、ＲＡＭ (Random Access Memory)、ＨＤＤ（Hard Disk Drive）等の記憶装置である。記憶部３は画像処理部４で用いられる各種プログラムや各種データを記憶し、画像処理部４との間でこれらの情報を入出力する。各種データには時系列画像、背景画像、及び監視領域に停止した状態で存在することが想定される停止物を識別する識別器が含まれる。
【００１６】
画像処理部４はＣＰＵ(Central Processing Unit)、ＤＳＰ（Digital Signal Processor）、ＭＣＵ（Micro Control Unit）等の演算装置を用いて構成され、撮影部２、記憶部３及び出力部５に接続される。画像処理部４は記憶部３からプログラムを読み出して実行することで後述する各手段として機能する。画像処理部４は撮影部２からの時系列画像を処理し、時系列画像から放置物を検出した場合にアラーム信号を出力部５へ出力する。
【００１７】
出力部５は画像処理部４と外部装置を接続する通信インターフェース回路である。例えば、出力部５は監視センターのサーバーとの通信を行う通信装置であり、画像処理部４から入力されたアラーム信号をサーバーに送信する。
【００１８】
図２は放置物検出装置１の概略の機能ブロック図である。記憶部３は背景画像記憶手段３０及び時空間画像記憶手段３１等として機能する。また、画像処理部４は静止領域検出手段４０、領域膨張手段４１、時空間セグメント生成手段４２及び放置物領域生成手段４３等として機能する。撮影部２により順次撮影される監視画像は時空間画像記憶手段３１及び静止領域検出手段４０に入力される。
【００１９】
背景画像記憶手段３０は監視領域の背景画像を記憶している。背景画像は正常時の監視領域の背景のみが撮像されている画像である。つまり背景画像には放置物や人の像が含まれていない。背景画像は放置物検出処理に先立って生成され、背景画像記憶手段３０に記憶される。
【００２０】
時空間画像記憶手段３１は少なくとも現時刻を含む所定期間に撮影された監視画像を記憶する。具体的には、時空間画像記憶手段３１は後述する時空間セグメント生成手段４２における分析区間長以上の期間の監視画像を記憶する。後述するように、時空間画像記憶手段３１に記憶されている複数の監視画像を時間軸に沿って並べた画像群（時系列画像）が時空間画像となる。
【００２１】
静止領域検出手段４０は監視画像を背景画像と比較して、監視画像から、背景画像に撮影されておらず且つ所定時間以上静止している静止領域を検出し、検出した静止領域の情報を領域膨張手段４１に出力する。そのために、静止領域検出手段４０は、背景画像生成手段４０１、変化領域抽出手段４０２及び動き検出手段４０３を含む。また静止領域検出手段４０には必要に応じて停止物体識別手段４０４を含めることができる。
【００２２】
背景画像生成手段４０１は、監視領域に放置物、人、車両が存在しないときに撮像された入力画像の全体を背景画像として背景画像記憶手段３０に記憶させる。また、背景画像生成手段４０１は入力画像を部分的に背景画像に合成することで背景画像を更新する。例えば、背景画像生成手段４０１は、各時刻において、背景画像のうち入力画像との間で変化領域が抽出されなかった部分に入力画像を合成することで背景画像を更新する。合成は重み付け平均処理又は置換処理により行われる。
【００２３】
変化領域抽出手段４０２は、各時刻の入力画像を背景画像と比較して変化領域を抽出し、抽出した変化領域の情報を動き検出手段４０３に出力する。
【００２４】
例えば、変化領域抽出手段４０２は背景差分処理を行って変化領域を抽出する。すなわち変化領域抽出手段４０２は、入力画像と背景画像の対応する画素ごとに画素値の差の絶対値が予め設定された差分閾値以上である画素を検出し、近接して検出された画素を変化領域としてまとめる。
【００２５】
別の実施形態において変化領域抽出手段４０２は背景相関処理を行って変化領域を抽出する。この場合、変化領域抽出手段４０２は、入力画像の各画素と当該画素に対応する背景画像の画素との相関値を求め、相関値が予め設定された相関閾値未満の画素のうち互いに近接する画素を変化領域としてまとめる。
【００２６】
動き検出手段４０３は変化領域抽出手段４０２が抽出した変化領域それぞれについて動き検出を行う。動き検出の対象とする時間区間が短すぎると動きの検出精度が低くなり得る。そのため、当該時間区間は時空間セグメント生成手段４２における分析区間長以上に設定することが好適であり、本実施形態では分析区間長と同一の５時刻とする。
【００２７】
例えば、動き検出手段４０３は、変化領域において所定基準以上の大きさのオプティカルフローが算出された場合に当該変化領域に動きが検出されたと判定し、変化領域において所定基準以上の大きさのオプティカルフローが算出されなかった場合に当該変化領域に動きが検出されなかったと判定する。
【００２８】
具体的には、動き検出手段４０３は、それぞれの変化領域について以下の判定を行い、いずれの時刻においても動きが検出されないことを確認する。動き検出手段４０３は、まず、過去４時刻及び現時刻の監視画像それぞれについて１時刻前の監視画像との間で画素単位のオプティカルフローを算出し、現時刻の監視画像から抽出された変化領域内の各オプティカルフローの強度を予め定めた強度閾値と比較する。続いて、動き検出手段４０３は、時刻ごと及び変化領域ごとに、強度が強度閾値以上である画素数を計数し、計数値を当該変化領域の面積（画素数）で除算した値を予め定めた面積閾値と比較する。そして、動き検出手段４０３は、面積閾値を超える値が算出された変化領域に動きが検出されたと判定し、面積閾値以下の値が算出された変化領域に動きが検出されなかったと判定する。
【００２９】
動き検出は、変化領域の追跡により行ってもよい。具体的には、動き検出手段４０３は、前後する時刻に抽出された変化領域内の入力画像を比較して変化領域の同定を行い、同定された変化領域群ごとの軌跡を検出する追跡処理を行う。
【００３０】
動き検出手段４０３は各時刻において同定を行い、追跡処理を逐次的に進捗させる。すなわち動き検出手段４０３は、現時刻に抽出された変化領域の画像特徴量及び重心位置を過去の変化領域ごとに記憶されている参照特徴量及び軌跡と比較し、特徴量が類似しており位置の整合性ある変化領域同士を同じ要因により生じた変化領域と同定し、現時刻の変化領域の重心位置を同定された軌跡に追記し、現時刻の変化領域の画像特徴量で同定された参照特徴量を更新する。
【００３１】
動き検出手段４０３は、各変化領域の軌跡から当該変化領域の移動量を算出して動き判定量と比較し、移動量が動き判定量以上の場合、動きが検出されたと判定し、移動量が動き判定量未満の場合、動きが検出されないと判定する。移動量は、各変化領域の軌跡を構成する時系列データのうち連続するデータ間の距離を順次算出して累積した総移動距離として算出される。動き判定量には変化領域の抽出誤差を移動と判定しない範囲でできる限り０に近い値が予め設定される。
【００３２】
静止領域検出手段４０は、変化領域抽出手段４０２が抽出した変化領域のうち、動き検出手段４０３によって動きが検出されなかった変化領域を静止領域と判定し、動きが検出された変化領域を静止領域ではないと判定する。
【００３３】
ここで、監視領域内には滞留者や停車中の車両のように一時的に停止している物体が存在し得る。このように一時的に停止している物体を停止物体と称することにする。停止物体が写った領域は静止領域と判定される場合がある。一方、停止物体は監視領域に存在して然るべきものとして、放置物検出装置１の検出対象物体から除外することが望まれる場合がある。そこで、静止領域検出手段４０は、停止物体が写った領域を識別するために停止物体識別手段４０４を備えてもよい。
【００３４】
停止物体識別手段４０４は、所定の停止物体の画像特徴を学習した識別器を用いて、監視画像中にて変化領域抽出手段４０２が抽出した変化領域に停止物体が撮影されているか否かを識別する。本実施形態において、停止物体は滞留者（人）であり、停止物体識別手段４０４は人の画像特徴を学習した人識別器を用いて、監視画像中の変化領域に人が撮影されているか否かを識別する。なお、複数の変化領域が抽出された場合、停止物体識別手段４０４は変化領域のそれぞれについて当該識別処理を行う。
【００３５】
静止領域検出手段４０は、停止物体識別手段４０４により各変化領域を識別し、停止物体が撮影されていると識別した変化領域を、停止物体領域として放置物領域の候補から除外し、領域膨張手段４１に出力しない。なお、停止物体の識別は動き検出の後に行い、動きが検出されなかった変化領域に対してのみ行うのが効率的である。
【００３６】
以上のように、停止物体識別手段４０４を備えた場合の静止領域検出手段４０は、所定の停止物体の画像特徴を学習した識別器を用いて、監視画像において停止物体の画像特徴が現れている停止物体領域を識別し、停止物体領域以外の領域から静止領域を検出する。
【００３７】
領域膨張手段４１は静止領域検出手段４０から入力された静止領域に対し膨張処理を行って膨張領域を生成し、生成した膨張領域を放置物領域生成手段４３に出力する。なお、複数の静止領域が検出された場合、領域膨張手段４１は静止領域のそれぞれに対し膨張処理を施す。
【００３８】
例えば、領域膨張手段４１は、静止領域に対して外接矩形を設定し、外接矩形の幅Ｗ及び高さＨのそれぞれに所定の割合を乗じて幅Ｗｄ及び高さＨｄを得る。そして、外接矩形と同一中心座標で、幅Ｗｄ、高さＨｄの矩形を膨張領域とする。幅と高さに乗じる割合は例えば１．２５とすることができる。
【００３９】
また例えば、領域膨張手段４１は、領域の境界画素に接する画素を当該領域の内側に取り込むことで当該領域を１画素分膨らませるというモルフォロジー演算における膨張処理を静止領域に対し所定回数施した領域を膨張領域としてもよい。例えば、膨張処理を施す回数は（面積×０．０２）回とし、静止領域の面積が小さいほど少なく、大きいほど多く設定する。
【００４０】
時空間セグメント生成手段４２は時空間画像記憶手段３１に記憶されている所定時間長の時系列画像を順次読み出し、読み出した時系列画像に対して時空間セグメンテーションを行う。ここで、時系列画像を構成する各時刻の２次元画像（空間画像）の座標軸をＸ軸、Ｙ軸とすると、時系列画像はＸ軸及びＹ軸と時間軸であるＴ軸とで定義される時空間における３次元画像と考えることができ、ここでは当該３次元画像を時空間画像と称する。すなわち、時系列画像の各時刻の画像を時間軸に沿って並べたものが時空間画像となり、時系列画像の撮影時刻ｔの画像における位置（ｘ，ｙ）の画素値が時空間画像の画素値Ｉ（ｘ，ｙ，ｔ）となる。
【００４１】
時空間画像ではＸ軸、Ｙ軸方向に関する画素の近傍関係、つまり空間的な画素の近傍関係と同様、Ｔ軸方向に関する画素の近傍関係、つまり時間的な画素の近傍関係を考えることができる。例えば、任意の画素（ｘ，ｙ，ｔ）について空間的又は時間的に隣接する６画素の画素値であるＩ（ｘ±１，ｙ，ｔ）、Ｉ（ｘ，ｙ±１，ｔ）及びＩ（ｘ，ｙ，ｔ±１）が近傍画素の画素値となる。さらに、任意の画素に対し空間的及び時間的に隣接する画素を近傍画素に含めることもできる。その場合、任意の画素（ｘ，ｙ，ｔ）について空間的又は／及び時間的に隣接する２６画素の画素値であるＩ（ｘ±１，ｙ，ｔ）、Ｉ（ｘ，ｙ±１，ｔ）、Ｉ（ｘ，ｙ，ｔ±１）、Ｉ（ｘ±１，ｙ±１，ｔ）、Ｉ（ｘ±１，ｙ，ｔ±１）、Ｉ（ｘ，ｙ±１，ｔ±１）及びＩ（ｘ±１，ｙ±１，ｔ±１）が近傍画素の画素値となる。
【００４２】
時空間セグメント生成手段４２は時空間画像における近傍画素間での画素値の相違度を算出し、当該相違度に基づき時空間画像を、複数のセグメントでありそれぞれに帰属する画素の画素値が隣接する当該セグメント間にて所定基準を超えて相違する複数の時空間セグメントに分割する。具体的には、時空間セグメント生成手段４２は、分割の境界が位置する画素間における相違度が時空間セグメント内に包含される画素間における相違度よりも高くなるように時空間画像を分割し、時空間セグメントを生成する。一般に物体境界での相違度は照明変動の揺らぎによる相違度よりも高いため、照明変動の揺らぎがあっても放置物の輪郭で背景と境界する時空間セグメントに分割される可能性が高く、背景の画素同士は同一の時空間セグメントに分割される可能性が高い。つまり、類似度ではなく相違度に注目することにより、物体境界での大きな相違度が比較基準となるため、それよりも小さな相違度を示すことの多い揺らぎはセグメントとしてまとまり易くなる。さらに、時空間にて分割することにより、時間方向の近接画素の相違度も空間方向の近接画素の相違度と同様に比較されるため、揺らぎはセグメントとしてまとまり易くなるのである。なお、分割処理の対象は時空間画像全体としてもよいが時空間画像のうち膨張領域の画素のみからなる部分、又は膨張領域を包含する一定範囲の画素からなる部分に限定することで処理負荷を減じることができる。時空間セグメント生成手段４２は生成した時空間セグメントを放置物領域生成手段４３に出力する。
【００４３】
ここで、読み出す時系列画像に含まれる撮影時刻の範囲を分析区間、読み出す時系列画像の時間長を分析区間長と呼ぶ。分析区間長は予め設定される。分析区間長は長い方が動き特徴量の信頼度が高くなることが期待できる点で好適である一方、処理速度が低下し得る。本実施形態では分析区間長を５時刻（５フレーム）とした例を説明する。
【００４４】
具体的には、以下の手順（Ａ１）〜（Ａ５）のようにして時空間セグメンテーションを行う。
【００４５】
（Ａ１）時空間における近傍画素間の輝度（画素値）の差をエッジコストとして求める。上述したように近傍画素とは、画素位置が隣接する画素だけでなく、撮影時刻が隣接する画素も含む。
【００４６】
（Ａ２）各画素を初期の時空間セグメントとし、各時空間セグメントの内部コストの初期値を０とする。
【００４７】
（Ａ３）時空間セグメント間のエッジコストの昇順に、次式を満たす時空間セグメント同士を結合させ、結合した時空間セグメント内部における最大エッジコストを当該時空間セグメントの内部コストとする。
ＳＣ ＜ｍｉｎ（ＣＩＮＴ＋α／Ｎ）  ………（１）
【００４８】
上の式において、ＳＣは時空間セグメント間のエッジコストであり、ＣＩＮＴは時空間セグメント内のコスト（内部コスト）である。またα／Ｎは画素数が小さい時空間セグメントを統合するための緩和項である。αは定数であり、例えば４とすることができる。Ｎは時空間セグメントの画素数である。また最小値ｍｉｎは、結合するか否かを判定する２つの時空間セグメントそれぞれの（ＣＩＮＴ＋α／Ｎ）のうちいずれか小さい方をＳＣと比較し、結合を判定することを意味する。
【００４９】
（Ａ４）上記（Ａ３）の、それぞれの時空間セグメント内部の最大エッジコストよりも時空間セグメント間のエッジコストが小さければ時空間セグメント同士を結合する、という処理を繰り返す。
【００５０】
（Ａ５）時空間セグメントの画素数の最小値が予め定めた下限画素数以上に達した場合に、時空間セグメンテーションを終了する。例えば、下限画素数には放置物として検出対象とする物体の大きさ以下の値を予め設定し、放置物が概ねそれぞれ１つの時空間セグメントとしてまとまるようにする。
【００５１】
上記処理により生成される時空間セグメントは、当該時空間セグメントに隣接する時空間セグメント（以下、隣接セグメント）との間のエッジコストが、当該時空間セグメント内部の最大エッジコストおよび隣接セグメント内部の最大エッジコストよりも大きくなっており、隣接セグメントとの間で排他的に分割された時空間セグメントとなっている。つまり、上記処理により生成される時空間セグメントは、近傍画素における画素値の相違度に基づいて、空間的にも時間的にも隣接セグメントとの間で排他的に分割された時空間セグメントとなっている。
【００５２】
図３は時空間セグメンテーションの様子を説明する模式図であり、時空間セグメンテーションの初期段階での時空間画像の一部分を示している。図３はＸ軸、Ｙ軸、Ｔ軸で定義される時空間の斜視図であり、当該時空間にＸ軸方向、Ｔ軸方向それぞれに２画素ずつ並んだ４画素５００〜５０３をそれぞれ立方体で示し、当該立方体の中に示す数字は輝度値を表している。なお、ここではα＝４として式（１）を計算している。
【００５３】
図３（ａ）は時空間セグメンテーションの開始時を表しており、画素５００の輝度値Ｉ（ｘ−１，０，ｔ）＝２、画素５０１の輝度値Ｉ（ｘ，０，ｔ）＝２、画素５０２の輝度値Ｉ（ｘ−１，０，ｔ−１）＝３、画素５０３の輝度値Ｉ（ｘ，０，ｔ−１）＝６であり、よって、画素５００，５０１間のエッジコストは０、画素５００，５０２間のエッジコストは１、画素５０１，５０３間のエッジコストは４、画素５０２，５０３間のエッジコストは３である。
【００５４】
エッジコストが最小である時空間セグメントである画素５００と画素５０１との対が結合するか否かの判定対象とされる。この場合、ＳＣは画素５００，５０１間のエッジコストであり０である。一方、式（１）の右辺はｍｉｎ（０＋４／１，０＋４／１）＝４である。よって式（１）が成立するので画素５００と画素５０１とを結合して時空間セグメント５１０を生成する。図３（ｂ）はこの時空間セグメント５１０が生成された状態を示している。時空間セグメント５１０の内部コストは画素５００，５０１間のエッジコストと同じであり０となる。
【００５５】
次にエッジコストが最小である時空間セグメント５１０と画素５０２との対が評価される。この場合、ＳＣは画素５００と画素５０２との間のエッジコストで与えられ１である。一方、式（１）の右辺はｍｉｎ（０＋４／２，０＋４／１）＝２である。よって式（１）が成立するので時空間セグメント５１０と画素５０２とを結合して時空間セグメント５２０を生成する。図３（ｃ）はこの時空間セグメント５２０が生成された状態を示している。画素５００，５０２間のエッジコストが時空間セグメント５２０の内部コストとなり、その値は１である。
【００５６】
次いでエッジコストが最小である時空間セグメント５２０と画素５０３との対が評価される。この場合、ＳＣは画素５０２と画素５０３との間のエッジコストで与えられ３である。一方、式（１）の右辺はｍｉｎ（１＋４／３，０＋４／１）≒２．３である。よって式（１）が成立しないので時空間セグメント５２０と画素５０３とは結合されない。図３（ｄ）は、画素５００〜５０３からなる時空間画像が３画素からなる時空間セグメント５２０と画素５０３のみからなる時空間セグメントとに分割された状態を示している。
【００５７】
放置物領域生成手段４３は時空間セグメント生成手段４２から複数の時空間セグメントの生成結果を入力され、領域膨張手段４１から膨張領域の生成結果を入力される。そして、時空間画像にて膨張領域の画素からなる部分を分割する時空間セグメントのうち当該膨張領域の境界を含んでいる境界セグメントを特定し、膨張領域から境界セグメントに含まれる領域を除外して放置物領域を生成する。
【００５８】
具体的には、時空間画像において膨張領域の画素のみからなる部分に生成された時空間セグメントのうち、膨張領域の境界を含んでいる境界セグメント、すなわちセグメント境界の画素に膨張領域の境界の画素と一致するものを有する時空間セグメントは、放置物が写っていない背景領域とつながっており放置物領域を構成する領域ではないと弁別できる。そこで、膨張領域から境界セグメントとの重複領域を除外していくと、膨張領域のうち、照明変動によって揺らいだことにより誤検出された静止領域の全体ないし、当該静止領域のうちのノイズ部分以外の殆どの部分が除外され、放置物が撮影されている部分が残ることが期待できる。
【００５９】
この残余部分のサイズ（画素数）を予め定めたサイズ閾値と比較して、サイズ閾値未満のサイズである残余部分をノイズの領域として除外し、サイズ閾値以上のサイズである残余部分を放置物領域とすれば、照明変動の揺らぎがあっても精度良く放置物領域を生成できる。
【００６０】
さらに、静止領域を抽出した段階で、当該静止領域における放置物の領域に欠損があっても、静止領域に膨張処理を施した上で、放置物と背景の境界が時空間セグメントにて設定されるため、欠損が補われた正確な放置物領域が生成される可能性が高まる。
【００６１】
放置物領域生成手段４３は、所定サイズ以上の放置物領域が生成された場合に、当該放置物領域の情報を含めたアラーム信号を出力部に出力する。
【００６２】
［放置物検出装置１の動作］
図４及び図５は放置物検出装置１の動作の概略のフロー図である。
【００６３】
撮影部２は監視領域を撮影して、撮影した画像を順次、画像処理部４に入力する。画像処理部４は、撮影部２から画像を取得すると（ステップＳ１）、まず変化領域抽出手段４０２として動作し、取得した画像にて変化領域を抽出する（ステップＳ２）。変化領域抽出手段４０２は背景画像と監視画像とから背景差分等によって得た差分画像を二値化し、二値化画像に対してラベリング処理を行い、各ラベルを変化領域とする。具体的には、例えば、二値化画像は、差分画像の画素値の大きさが所定の閾値以上の画素にて画素値“１”、差分画像の画素値の大きさが所定の閾値未満の画素にて画素値“０”を設定される。ラベリング処理では、二値化画像において画素値が１である画素にラベル番号が付与され、画素値が１である画素が互いに接する場合には、それらの画素には同一のラベル番号が付与される。一方、二値化画像において画素値が０である画素に対してはラベル番号は付与されない。
【００６４】
監視画像に変化領域が存在した場合（ステップＳ３にて「ＹＥＳ」の場合）、放置物検出装置１は放置物領域を検出するために静止領域の検出処理（ステップＳ４〜Ｓ１１）を行う。一方、変化領域が存在しなかった場合（ステップＳ３にて「ＮＯ」の場合）、静止領域及び放置物領域の検出処理（ステップＳ４〜Ｓ１６）は省略され、処理はステップＳ１７に進められる。
【００６５】
静止領域の検出処理では、動き検出手段４０３が、現時刻の監視画像から抽出された各変化領域についての静止領域フラグに初期値として０をセットした後、変化領域を順次、注目領域に設定して（ステップＳ４）、当該注目領域に静止領域が存在するかを調べる処理（ステップＳ５〜Ｓ１０）を行う。
【００６６】
動き検出手段４０３は注目領域について動き検出を行い（ステップＳ５）、動きが検出されなかった場合（ステップＳ６にて「ＹＥＳ」の場合）、停止物体識別手段４０４が人識別器により注目領域に滞留者が撮影されているか否かを識別する（ステップＳ７）。すなわち、停止物体識別手段４０４は、停止物体の画像特徴を学習した識別器により注目領域に停止物体が撮影されているか否かを識別する。
【００６７】
その結果、注目領域に停止物体が撮影されていると識別されなかった場合（ステップＳ８にて「ＹＥＳ」の場合）は、静止領域検出手段４０は当該注目領域を静止領域と判定し、当該注目領域の静止領域フラグに１をセットする（ステップＳ９）。
【００６８】
一方、注目領域にて停止物体が識別された場合（ステップＳ８にて「ＮＯ」の場合）は、ステップＳ９の処理は省略され、当該注目領域の静止領域フラグは初期値の０に保たれる。また、注目領域に動きが検出された場合（ステップＳ６にて「ＮＯ」の場合）は、ステップＳ７〜Ｓ９の処理は省略され、この場合も当該注目領域の静止領域フラグは初期値の０に保たれる。
【００６９】
ステップＳ４〜Ｓ９の処理は全変化領域について終わるまで繰り返される（ステップＳ１０にて「ＮＯ」の場合）。
【００７０】
全変化領域について静止領域の検出処理が完了し（ステップＳ１０にて「ＹＥＳ」の場合）、全変化領域の中に静止領域が存在した場合（ステップＳ１１にて「ＹＥＳ」の場合）、放置物検出装置１は放置物領域の検出に関する処理（ステップＳ１２〜Ｓ１６）を行う。一方、静止領域が存在しなかった場合（ステップＳ１１にて「ＮＯ」の場合）、ステップＳ１２〜Ｓ１６の処理は省略され、処理はステップＳ１７に進められる。
【００７１】
放置物領域の検出に関する処理では、まず、領域膨張手段４１による膨張領域の生成処理（ステップＳ１２）と時空間セグメント生成手段４２による時空間セグメンテーション（ステップＳ１３）とが行われる。ステップＳ１２では、領域膨張手段４１は各静止領域、すなわち現時刻の監視画像における変化領域のうち静止領域フラグに１が設定されているものを膨張させて、膨張領域を生成する。ステップＳ１３では、上述したように、時空間画像全体を時空間セグメンテーションの処理対象としてもよいが、当該処理対象を時空間画像のうち膨張領域の画素のみからなる部分、又はその近傍範囲に限定することで処理負荷を減じることができる。そこで、本実施形態では時空間セグメント生成手段４２は時空間画像のうち現時刻の監視画像における各膨張領域に対応する部分について、時空間セグメンテーションを行い、時空間セグメントを生成する。ここで、時空間画像のうち現時刻の監視画像における或る膨張領域に対応する部分とは、時間軸方向に設定した分析区間内にて当該現時刻の膨張領域から過去の方向に順番に重なる膨張領域の画素からなる３次元の領域であり、３次元膨張領域と呼ぶことにする。
【００７２】
ステップＳ１２，Ｓ１３にて膨張領域及び時空間セグメントが生成されると、それらに基づいて放置物領域生成手段４３が放置物領域生成処理（ステップＳ１４）を行う。図６は放置物領域生成処理の概略のフロー図である。
【００７３】
放置物領域生成手段４３は、静止領域を順次、注目領域に設定して（ステップＳ１４０）ステップＳ１４１〜Ｓ１４７の処理を行うループ処理を実行する。
【００７４】
当該ループ処理の中で、放置物領域生成手段４３は、注目領域に設定した静止領域に対応する膨張領域と重複する部分を有する時空間セグメントを順次、注目セグメントに設定して（ステップＳ１４１）ステップＳ１４２〜Ｓ１４４の処理を行うループ処理を実行する。なお、ステップＳ１４１にて設定する注目セグメントは、現時刻の膨張領域の画素と重複を有する時空間セグメントに代えて、当該膨張領域に係る３次元膨張領域と重複を有する時空間セグメントとしてもよい。
【００７５】
放置物領域生成手段４３は、注目セグメントが境界セグメントであるか否かを確認する（ステップＳ１４２）。すなわち注目セグメントが注目領域に対応する膨張領域の境界を含んでいるか否かを確認する。境界セグメントであれば（ステップＳ１４２にて「ＹＥＳ」の場合）、注目領域と境界セグメントとの重複領域を注目領域から除外し（ステップＳ１４３）、処理をステップＳ１４４に進める。一方、注目セグメントが境界セグメントでなければ（ステップＳ１４２にて「ＮＯ」の場合）、ステップＳ１４３を省略してステップＳ１４４に処理を進める。なお、ステップＳ１４２にて、現時刻の膨張領域の境界を含む時空間セグメントに代えて、３次元膨張領域の境界を含む時空間セグメントを境界セグメントとしてもよい。また、ステップＳ１４３の処理は、注目領域に対応する３次元膨張領域と境界セグメントとの重複領域を当該３次元膨張領域から除外する処理としてもよい。
【００７６】
ステップＳ１４１〜Ｓ１４３の処理は、ステップＳ１４０にて設定した注目領域に係る膨張領域（又は３次元膨張領域）と重複部分を有する時空間セグメントのうちに未処理のものがあれば繰り返される（ステップＳ１４４にて「ＮＯ」の場合）。
【００７７】
一方、当該時空間セグメントの全てについて処理が完了すると（ステップＳ１４４にて「ＹＥＳ」の場合）、放置物領域生成手段４３は、注目領域においてステップＳ１４３で除外されずに残った残余領域の画素数（残余面積）がサイズ閾値以上であるか否かを判定する（ステップＳ１４５）。
【００７８】
残余面積がサイズ閾値以上である場合（ステップＳ１４５にて「ＹＥＳ」の場合）、放置物領域生成手段４３は、残余領域、すなわち注目領域と境界セグメントではない時空間セグメントとの重複領域を放置物領域とする（ステップＳ１４６）。
【００７９】
一方、残余面積がサイズ閾値未満である場合（ステップＳ１４５にて「ＮＯ」の場合）、ステップＳ１４６の処理は省略され、処理はステップＳ１４７に進められる。
【００８０】
放置物領域生成手段４３は、ステップＳ１４０〜Ｓ１４６の処理を、検出された静止領域のうちに未処理のものがあれば繰り返し（ステップＳ１４７にて「ＮＯ」の場合）、全ての静止領域について処理が完了すると（ステップＳ１４７にて「ＹＥＳ」の場合）、図５のステップＳ１５に処理を進める。
【００８１】
放置物領域生成手段４３は、図６を用いて説明したステップＳ１４にて１つ以上の放置物領域が生成された場合（ステップＳ１５にて「ＹＥＳ」の場合）、アラーム信号を出力する（ステップＳ１６）。例えば、放置物領域生成手段４３は、放置物領域を囲む枠を監視画像に重畳した異常表示画像などの放置物領域の情報を含めたアラーム信号を生成して出力部５に出力する。出力部５は監視センター装置にアラーム信号を送出する。
【００８２】
一方、ステップＳ１４にて放置物領域が１つも生成されなかった場合（ステップＳ１５にて「ＮＯ」の場合）、ステップＳ１６の処理は省略され、処理はステップＳ１７に進められる。
【００８３】
放置物検出装置１は、現時刻の監視画像について上述した静止領域及び放置物領域の検出処理（ステップＳ３〜Ｓ１６）が完了すると、背景画像生成手段４０１により現在の監視画像における背景部分を反映した背景画像を生成し背景画像記憶手段３０の背景画像を更新する（ステップＳ１７）。また、放置物検出装置１は現在の監視画像を時空間画像記憶手段３１に追記する（ステップＳ１８）。
【００８４】
［処理例］
図７及び図８は放置物検出装置１による放置物検出の処理例を示す模式図である。
【００８５】
まず、図７は静止領域の検出処理の例を示している。図７（ａ）に示す画像６００は背景画像の例であり、図７（ｂ）に示す画像６１０は背景画像６００に対応する領域の監視画像の例であり、図７（ｃ）に示す画像６２０は背景画像６００と監視画像６１０とから生成される差分画像の例である。
【００８６】
背景画像記憶手段３０には、静止領域検出手段４０が背景画像生成手段４０１により前時刻までに生成した背景画像が記憶されており、背景画像６００は現時刻にて背景画像記憶手段３０に記憶されている画像である。背景画像６００には柱の像６０１が含まれている。
【００８７】
静止領域検出手段４０は撮影部２から現時刻の監視画像６１０を取得する。監視画像６１０には、柱の像６１１と共に、放置物６１２とそれを置き去った人物６１３も写っている。
【００８８】
静止領域検出手段４０は変化領域抽出手段４０２により背景画像６００と監視画像６１０とを比較して差分画像６２０を生成する。差分画像６２０には、放置物６１２による変化領域６２２、及び人物６１３による変化領域６２３が抽出される。さらに、日射領域の時間変化など、照明変動による画素値の変化、揺らぎが原因で柱の一部が変化領域６２１として抽出されている。
【００８９】
ここで、人物６１３による変化領域６２３については、動き検出手段４０３により動きが検出されるため、静止領域検出手段４０は変化領域６２３を静止領域として検出しない。また、人物６１３が留まっていた場合は、変化領域６２３は停止物体識別手段４０４により停止物体領域と識別されるため、静止領域検出手段４０は変化領域６２３を静止領域の検出対象から除外する。
【００９０】
一方、照明変動による変化領域６２１と放置物６１２による変化領域６２２は、共に、動き検出手段４０３により動きが検出されず、また停止物体識別手段４０４により停止物体領域ではないと識別されるため、静止領域検出手段４０は変化領域６２１と変化領域６２２とを静止領域（すなわち放置物領域の候補）として検出する。
【００９１】
図８は図７の例における静止領域から放置物領域を検出する処理の例を示している。領域膨張手段４１は、静止領域として検出された変化領域それぞれを膨張させて膨張領域を生成する。画像７００には、照明変動による変化領域６２１から生成された膨張領域７１０と、放置物６１２による変化領域６２２から生成された膨張領域７２０とが示されている。
【００９２】
時空間セグメント生成手段４２は、監視画像６１０を含んだ時空間画像に対する時空間セグメンテーションを行う。その結果、照明変動に係る膨張領域７１０は、時空間セグメント７１１，７１２，７１３，７１４，７１５により分割される。また、放置物６１２に係る膨張領域７２０は、時空間セグメント７２１，７２２，７２３，７２４により分割される。
【００９３】
放置物領域生成手段４３は、時空間セグメント７１１，７１２，７１３，７１４，７１５を照明変動に係る膨張領域７１０の境界を含む境界セグメントであると特定し、膨張領域７１０からこれらの境界セグメントとの重複領域を除外する。その結果、照明変動に係る膨張領域７１０の残余部分の面積は０となり、膨張領域７１０から放置物領域は生成されない。これにより、照明変動による変化領域６２１を原因とする放置物領域の誤検出は防止される。
【００９４】
また、放置物領域生成手段４３は、時空間セグメント７２１，７２２，７２３を放置物６１２に係る膨張領域７２０の境界を含む境界セグメントであると特定し、膨張領域７２０からこれらの境界セグメントとの重複領域を除外する。その結果、放置物６１２に係る膨張領域７２０の残余部分は時空間セグメント７２４との重複領域となる。時空間セグメント７２４との重複領域の面積はサイズ閾値を超えているため、放置物領域生成手段４３は、当該重複領域を放置物領域７５０として生成し、放置物領域７５０を検出した旨のアラーム信号を出力部５に出力する。
【００９５】
ここで、境界セグメントを除去して残る時空間セグメント７２４の各時刻での断面は当該時刻での放置物の変化領域に基本的に対応する。放置物の変化領域は画素値の揺らぎの影響により誤差、すなわち欠損または過剰抽出を生じ得る。この点、ステップＳ１４５にて、時空間セグメント７２４のような残余セグメントの画素数（残余体積）を閾値と比較して放置物領域の判定を行う構成とすれば、放置物の変化領域の揺らぎによる変動の影響を軽減し、放置物検出の精度向上を図ることが可能である。
【符号の説明】
【００９６】
１  放置物検出装置、２  撮影部、３  記憶部、４  画像処理部、５  出力部、３０  背景画像記憶手段、３１  時空間画像記憶手段、４０  静止領域検出手段、４１  領域膨張手段、４２  時空間セグメント生成手段、４３  放置物領域生成手段、４０１  背景画像生成手段、４０２  変化領域抽出手段、４０３  動き検出手段、４０４  停止物体識別手段。
【図１】
2018133042.tif 000003
【図２】
2018133042.tif 000004
【図３】
2018133042.tif 000005
【図４】
2018133042.tif 000006
【図５】
2018133042.tif 000007
【図６】
2018133042.tif 000008
【図７】
2018133042.tif 000009
【図８】
2018133042.tif 000010