時空間特徴に着目した物体検出と行動理解に関する研究
画像認識講座村井 泰裕

 はじめに

近年，動画像理解技術によるセキュリティシステムを目的とした人の不振な行動・転倒等の異常行動検知に関する研究が数多く行われている．人の行動を認識し，異常行動を自動的に検知するセキュリティシステムによって，監視者の負担の軽減，人為的なミスを避けることができ，コストの削減や異常事態の早期発見が期待できる．
このような背景を受け，本研究では画像中の物体の「アピアランス（見え）」と「モーション（動き）」の情報を持った時空間特徴を用いて，動的な背景上の人の異常行動検知を行うことを目的とする．

    特徴

本研究では，物体の局所的な動きの時間的変化を捉えた時空間特徴である    （   ）特徴 を用いる．この   特徴は，画像を時間方向に重ねた  次元データである時空間画像における 軸， 軸，軸の勾配値より求められる．ある画素  からは，    の  つの勾配値を持つ時空間勾配が得られる．この時空間特徴を式   のように，局所領域の画素数  でスタックした行列を算出する．

         

この時空間勾配値からなる  の行列と行列  を掛け合わせた行列をとすると，行列は式  で表すことができる．





指導教授

           

式  より求められる行列  が つの   から得られる特徴量となる．行列  には，左上の  の行列にアピアランスの情報， 行目と  列目にはモーションの情報を持つ．この時，   特徴は対角成分が同一値のベクトルとなっているため，本研究ではこの   特徴を式  の  次元ベクトル  として扱う．

      

人の異常検知を行うためには，対象物体の動きの時間的変化を観測し，行動の認識を行う必要がある．しかし，背景が動的な場合，対象物体の動きの特徴を得ることが困難となる．
そこで提案手法では，動的な背景を持つシーンに存在する人の異常行動検知を実現するため，まず動的背景における時空間特徴のモデリングを行う．作成したモデルを用いることで動的背景を除去し，物体領域のみを検出する．次に，検出された物体領域から   により構築した識別器に基づき，人領域の検出を行う．そして，検出された人領域より得られる動きベクトルの定常度により，異常行動の検知を行う．

  混合正規分布による時空間特徴モデリング
混合正規分布とは，用意された複数の正規分布を組み合わせた確率モデルである．データ の確率密度分布  を  個のクラスを持つ確率密度分布   の重み付き線形結合とすると，  は式   で表される．
  !

       

この時， は次元数，  は重み， は平均， は共分散行列を表す．このように，混合正規分布では各正規分布ごとに  ， ，  の  つのパラメータが必要となるめ，各パラメータを "# アルゴリズムにより推定する．
提案手法では， 次元ベクトルとして表現した  
特徴 に混合正規分布を当てはめることでモデリングを行う．この混合正規分布モデルから，入力特徴量の逸脱度を求めることによって物体$背景領域の判別を行う．図 に提案手法と正規化距離による物体検出法をエスカレータ監視映像に適用した例を示す．

図% エスカレータ監視映像における物体検出例

   に基づく人領域検出
時空間特徴と統計的学習手法を組み合わせ，人領域検出を行う．提案手法では，統計的学習手法として  
を用いる．また，  により学習する時空間特徴は，時空間特徴モデリング手法により物体領域として判別された特徴ベクトルを使用し，背景領域と判別された特徴ベクトルは & として扱う．この時， 次元ベクトルとして表現した   特徴 を式  により，ベクトルの総和で正規化する．

        特徴を用いた人の異常行動検知  

藤吉 弘亘


'

正規化特徴ベクトルを用いて学習を行うことにより，衣服の違いや照明変動の影響を受け難い検出器を構築することができる．構築された識別器を用いて人領域検出をするには，検出ウィンドウのラスタ走査を行い，検出ウィンドウ内の特徴ベクトルが人領域$非人領域であるかの判別を行う．

 動きベクトルの定常度による異常行動検知
通常，転倒による異常行動は定常状態と比較し，動きベクトルが大きく変化する傾向がある．そこで，検出された人領域を つの   とし，   より求められる ()#（( * +), #*,）により正常$異常行動の判定を行う．

の算出  特徴を表す  の行列 と，式 - の行列  より求められる固有値を用いて ()#.
を算出する．

     -     を行列  の固有値，   を行列 の固有値とする．行列 ，行列  は共に対称行列であり，行列 ，行列  の固有値は全て実数となる．また，
それぞれの固有値の関係は          となる．このような関係から，()#. を式 / のように定義する．

 
&  .  / 
ここで求められた . の値は，   内の動きベクトルが一定のとき .  & となり，動きベクトルが分散して.

図  % ()# による異常行動検知結果

図  % (67( による異常行動検知結果いるとき .  となる．これにより，   内の動きベクトルの定常度を求めることができる．

重み付き時空間勾配を用いたの算出 提案手法では，  より得られる値に着目し，重み付き時空間勾配を用いて ()# の算出を行うことにより，異常行動検知性能の向上を図る   に基づく人領域検出時には各弱識別器より，以下に示す弱識別器出力
 ，確率密度分布の分離度  の  つの値を得ることができる．
   

 ' '   &法 のプロット点が最も左上に近いため，異常行動検知の良い手法であると言える．さらに，提案手法 では従来法と比較して誤検知率 &9 の時の検知率を約 -9 向上させることができた．

 &
ここで， が入力された   特徴， と  は 1 クラスと 23 1 クラスの確率密度分布， が次元ヒストグラムのビン番号を表す．
算出した弱識別器出力と確率密度分布の分離度を用いて，評価値  を算出する 評価値には，弱識別器出力と確率密度分布の分離度を掛けた値を用いる．ここで，提案手法では評価値が    & の時，即ち  1 クラスであると出力された値のみを用いる．よって，評価値を式   として表現する．

図 に提案手法 ，提案手法 ，従来法 ，従来法  の8( カーブを示す．結果より， つの手法の中で，提案手

0 定量的評価

4    & ,5 

図% 8( カーブ 複数人シーンの異常行動検知
提案手法では，時空間特徴を用いた人領域検出を行い，その領域ごとに異常行動検知を行っているため，複数人のシーンに対しても異常行動検知を行うこと可能である．図
! に提案手法による複数人の異常行動検知例を示す．

この様な評価値によって，動的背景の影響を抑制し，さらに物体の局所領域の動きに注目することが可能となる．
提案手法ではこの評価値を重みとし，時空間勾配に掛け合わせることにより，式   のような重み付き時空間勾配の行列を算出する                

評価値によって重み付けされた時空間勾配の行列
先に述べた手順により ()# の算出を行う

図 ! % 提案手法による複数人の異常行動検知例

  おわりにから， 評価実験
本研究の有効性を示すため，動的背景であるエスカレータ監視カメラ映像を用いて人の異常行動検知実験を行う．
比較手法には，重み付き時空間勾配により算出した ()#を用いた手法，重み無し時空間勾配により算出した ()#を用いた手法，従来法である (67( 特徴を用いた手法，動的背景除去画像における (67( 特徴を用いた手法を使用する．

  異常行動検知結果
図 ，図  に示す異常行動検知結果より，提案手法 では正常$異常行動を正しく判別できているが，提案手法 ，従来法 ，従来法  では，未検知の異常行動シーンや，人の横切りによる誤検知が発生していることが分かる．

時空間モデリング手法により動的背景除去を行い，統計的学習である   に基づく人領域検出，及び異常行動検知を行う手法を提案した．提案手法では，動的背景を持つエスカレータのシーンにおいても異常行動の検知を行うことが可能であり，評価実験によりその有効性を確認した．

参考文献
                       ! !．

研究業績
村井泰裕 藤吉弘亘 金出武雄    "  を用いた物体の移動方向識別とセグメンテーション 情報処理学会論文
誌 コンピュータビジョンとイメージメディア  #!
! $ !%

&他

国際会議口頭発表  件 学会口頭発表  件 研究会技術報
告 ! 件'