DEIM Forum 2016 D6-4

クラウドセンシングによる突発的事象検出システムとその高速化
山本泰史†

奥健太††

川越 恭二††† 立命館大学大学院情報理工学研究科 〒 525-8577 滋賀県草津市野路東１丁目 1-1†† 立命館大学情報理工学部 〒 525-8577 滋賀県草津市野路東１丁目 1-1
E-mail: †is0145rp@ed.ritsumei.ac.jp, ††oku@fc.ritsumei.ac.jp, †††kawagoe@is.ritsumei.ac.jp
あらまし

近年，スマートフォンの普及により，スマートフォンを用いた事象検出に関する研究が活発に行われている．しかし，突発的に発生した事象を対象とした事象検出の研究は行われていない．そこで，著者らは，事件や事故などの突発的事象をクラウドセンシングを用いて検出するシステムである SQUED を提案した．スマートフォン搭載の各種センサから取得した情報を用いて，事象周囲の人々が自身のスマートフォンを事象発生位置に向けるだけで事象検出が行える．実験において，突発的事象の検出が可能であることを確認した．本論文では，SQUED をリアルタイムに突発的事象を検出可能なシステムとすることを目標とし，より効率的な事象検出手法を提案する．
キーワード

イベント検出，スマートフォン，クラウドソーシング，GPS，センサーデータ

1. は じ め にとを目標とし，事象検出を高速化した事象検出手法を提案する．また，検出高速化を実現できたことを確認するため，擬似近年，カメラやマイク等のセンサから取得した映像や音声かユーザ生成器を作成した．擬似ユーザ生成器を用いることによらの事故や不審人物検出 [1] [2] の研究が行われている．特に設り，静止しているユーザ・直進するユーザ・ランダムな動きを置式センサを用いた事象 (イベント) 検出手法がこれまでに多するユーザを擬似的に生成可能である．手法評価のために，既く提案されている．

存のデータセットに擬似ユーザを追加し，現実環境に近いデー

しかし、設置式センサによる事象検出では、センサを予め設タセットで評価を行った．既存手法の改良により検出高速化を置しておく必要がある。また、センサが未設置の屋内外場所で実現できたことを示すとともに，突発的事象の検出をリアルタ発生した事象の検出はできない。さらに、高低差のある場所やイムに可能とするシステムの実現に向けた研究の展望を示す．

見通しの悪い場所ではセンサの死角により事象検出精度が低下する問題があった。

2. 関 連 研 究

しかし，端末自身にカメラやマイク，GPS のような様々なセ本章では，本研究の関連研究について述べる．2. 1 節で，動ンサが搭載されたスマートフォンの登場・普及により，特殊な画像を対象とした研究について述べ，2. 2 節でスマートフォンセンサを必要とせず，場所に依存しない事象検出を行うことがを用いた研究及び，本研究との差異を述べる．

可能となってきた．

2. 1 動画像を対象とした研究

スマートフォンを用いた事象検出の従来研究として，Robin

Du Tran ら [4] は，動画像において，効率よく物体の移動軌

Wentao ら [3] の iSee が存在する．iSee は，長期的に収集した跡を認識可能なアルゴリズムを提案した．本アルゴリズムは，

GPS センサ，地磁気センサ及び人のスワイプの情報から，日常各フレーム間における物体の特徴点の交点を抽出するアルゴリ

的によく起こる喫煙や落書き等の事象の検出を行う．しかし，ズムであり，歩行や走行等の移動軌跡を既存の手法より効率よiSee には長期的にデータを収集しないと事象が検出できない，く認識可能である．本手法を用いることで，混雑した場面の映人のスワイプにより誤差が含まれてしまうといった問題がある．

像やカメラ自身の動きがある映像を対象とした事象検出に対しそこで本研究では，以前，突発的事象の検出に着目した，クても高い事象検出精度を出すことが可能である．Feng Wang

ラウドセンシングを用いた突発的事象検出システム (SQUED)

ら [5] は，動画像からパレードやロッククライミングなどの事を提案した．SQUED は，人々が日常生活で使用しているス象を認識可能なアルゴリズムを提案した．これまでの手法では，マートフォンに搭載されている GPS センサ，地磁気センサをカメラ自身の動きがある映像を対象とした事象検出は難しく，用いて，事故，事件等の様々な突発的事象をクラウドソーシン

また，物体の移動軌跡を用いた事象検出手法が多かった．本ア

グを用いて自動的に検出するシステムである．事象発生時，付ルゴリズムでは，人の目やタイヤなどの局所的な特徴を解析し，近にいるユーザがスマートフォンを事象発生方向に向けるだけ文字と対応付けしてあるデータベースを利用し，各フレームごで事象の検出が可能となる．GPS センサから事象発生位置，地とに生成したマップの差から事象を認識する．アルゴリズムは，磁気センサからユーザから見た事象発生方向の検出を行う．以

カメラ自身の動きのある映像に対しても事象検出を行うことが前行った評価実験により，突発的事象の検出が可能であること可能であり，さらに，異なる物体やシーンの間から事象検出をを確認した．

行うことが可能である．

本論文では，リアルタイムに突発的事象を検出可能とするこTong Qin ら [6] は，クラウドソーシングによって収集した画像群から，事象発生箇所とその概要を検出するシステムを提案した．本システムでは，スマートフォンを用いてユーザが撮影した事象の写真とその際のセンサ情報，ユーザが入力した事象‫ʹݑ‬の概要から，事象の発生箇所と概要を検出する．また，本シス
テムは改ざんされた写真の検出も可能であり，信頼性の高い事ܴܷͳܴܷʹܸܴͳͳܸͳܸܴͳʹ

象検出を可能とする．

2. 2 スマートフォンを用いた研究
Robin Wentao ら [7] は，スマートフォンを用いた事象検出システムである iSee を提案した．iSee における事象検出では，は 2 種類のセンサ (GPS，地磁気) を用いる．ユーザは，事象をܸܴʹʹܸʹܸܴʹͳ‫ͳݑ‬ȟ

発見した際，その方向に向けて端末画面をスワイプする．iSeeȟは，各センサ情報とスワイプ情報から，事象の発生箇所を検出

図 2: 既存手法概要図する．

Robin Wentao らのアイデアは著者らが提案した SQUED に似ているが，iSee では，突発的事象に対応しておらず，しかも格納する．具体的には，0.1 秒毎にデータをまとめたフレームユーザがスワイプを行う必要がある．SQUED のユーザは，ス単位でデータを格納する．

マートフォンを事象発生方向に向けるだけでよい．その上，スワイプには他のセンサ同様，多くの誤差が含まれ，精度低下の要因となる．

3. 3 事象検出部
事象検出部は，ユーザーからの検索クエリと情報格納部に格納されたデータを元に事象検出を行う．まずユーザーから，検出対象時間，検出対象範囲，検出対象データベース名，検出精

3. SQUED度，視線長，視線範囲，最低視線重複人数の 7 つの内容を含本章では，以前著者らが提案した，クラウドセンシングをむ検索クエリを受け取る．検出対象時間，検出対象範囲，検用いた突発的事象検出システム (SQUED) について述べる．

出対象データベース名は，サーバである Sinatra に渡される．

SQUED (Smart and Quick Unexpected-Event Detector) は，Sinatra はこれらの情報を元に SQL を生成し，情報格納部に問

情報収集部，情報格納部，事象検出部の 3 つの要素によって構い合わせを行う．情報格納部から返ってきたデータと視線長，成されている．

視線範囲，検出精度，最低視線重複人数の情報を用いて事象の検出を行う．
হ଴ਫ਼ল३५ॸ঒4. 既 存 手 法ੲਾઽૐ৖ॹ‫ॱش‬ଛਦ
67(364/ॡग़জ67(3

検索クエリ
67(3

本章では，著者らが提案した，事象検出手法について述べる．

4. 1 定義検 出 対 象 範 囲 R は ，シ ス テ ム ユ ー ザ が 指 定 す る 検 出 精
度 ∆ と検出対象範囲となる基準点 (Bx , By ) から生成した(∆ × nx ) × (∆ × ny ) の座標点により構成される長方形と定義
হ଴ਫ਼ল৖

ঘ‫ش‬२

ਫ਼ল੥ટ
67(3ੲਾતವ৖

検索੥ટ67(3

図 1: SQUED 概要図する．
検出対象範囲内の事象検出に用いる座標点は，(nx + 1) ∗(ny + 1) 個の Pij (i = 1...(nx + 1), j = 1...(ny + 1)) の離散点とする．座標点は，図 2 に示すように，等しい間隔で，垂直水平方向に配置される．∆ はシステムユーザが指定した，隣り合う座標点同士の間隔であり，事象検出の際の精度を表す．

3. 1 情報収集部
情報収集部は，Android アプリとして実装しており，Androidに搭載されている GPS センサ，地磁気センサからのデータ及び現在時刻を取得し，情報格納部にそれらのデータを送信する．

3. 2 情報格納部
情報格納部は，情報収集部から送信されたデータをデータベースに格納する．まず，情報収集部から WebSocket を用いて送信されたデータを，nodeJS が受信し Redis に保存する．
保存されたデータは一定時間ごとに Sinatra が取得し，データを事象検出に用いることが可能な形に整形した上で MySQL にさらに，クラウドソーシングのユーザを U = {Uk } とする．

Nu 人のユーザ Uk の場所を U Lk ，ユーザの視線方向を Vk とする．あらかじめ与えられた視線範囲 α を用い，Vk を軸とした −α から α の角度ベクトルを V Rk1 ，V Rk2 とする．ここで，角度ベクトルの長さはシステムユーザが入力した視線長とする．
そして R と U Lk から V Rk1 ，V Rk2 の共通範囲を RUk とする．

4. 2 手法

ま ず，Pij ご と の 視 線 重 複 人 数 DUij を 求 め る ．こ こ で ，′′

DUij = |Uij | where Uij = {Ul |Pij ∈ RUl , Ul ∈ U } である．

次に，検出された事象の場所を E ，最低視線重複人数をM U (= β Nu ) とすると，E = {Pij |DUij >= M U } を求める．

5. 改良手法 (RT-SQUED)

E が複数個存在した場合，DUij の値が大きい順にソートし，本章では，既存手法における計算コストの問題を解決する値が大きい場所を事象発生箇所とする．図 2 は，クラウドソー

ために著者らが提案した手法である，RT-SQUED(Real-Timeシングのユーザが 2 人の場合の例である．

Smart and Quick Unexpected-Event Detect method) につい

4. 3 評価実験内容
7 名の被験者に，サーバに接続された Android 端末 (端末)て述べる．

5. 1 基本的な考え方

を視線方向に向けて持ってもらい，地磁気センサの値と視線方既存手法における計算コストの問題を解決するため，RT-向との差異がないか，GPS センサの誤差が許容値を下回ってい

SQUED では，2 段階処理を用いて計算コストの削減を行う．

るかを確認してもらう．地磁気センサ，GPS センサの値の誤差

図 3，図 4 に，荒い事象検出についての手順を，図 5 に細かいが大きかった場合，キャリブレーションを行う．その後，被験事象検出についての手順を示す．

者に指定した位置に立ってもらう．準備が整った後，サーバか荒い事象検出では，検出対象範囲を荒く区切ったグリッドと，ら任意の端末に向けて信号を送り，その端末から音を発生させそれぞれのユーザの視線範囲である三角形を囲む最小の四角形る．被験者には，音が鳴った端末の方向を向いてもらい，音がとの交差を検出する．各図に示す例では，検出対象範囲を 4 つなった被験者は向きを変えず静止してもらう．実験終了後，事のグリッドに区切る．図 3 は，左上のグリッドにおける交差検象検出手法を用いて事象検出結果を確認する．この際，事象が出を表す．図 4 は，4 つのグリッドの対し交差検出を行った結発生した場所は，音が鳴った端末が位置する周囲 4 点の離散点果である，各グリッドにおける交差数を示す．ここで，交差数とする．

のしきい値を 2 とすると，詳細に検出を行うべきグリッドは左事象発生位置からの被験者の距離，被験者の場所の偏り，事象発生箇所の事前通知の有無の 3 つの要素を変化させた次の 2パターンを実施した．

上のグリッドのみとなる．このため，細かい事象検出は左上のグリッドに対してのみ行われる．
細かい事象検出では，既存手法を用いて事象検出を行う．図パターン 1: 事象発生位置からの被験者の平均距離が 3 メー

5 における，赤い丸 (グレースケールでは白い丸) は，しきい値

トル，被験者の場所の偏りなし，事象発生箇所の事前通知あり

を 2 とした場合における，事象発生箇所を表す．RT-SQUEDパターン 2: 事象発生位置からの被験者の平均距離が 6 メーを適用することにより，計算コストの削減が可能となる．さらトル，被験者の場所の偏りあり，事象発生箇所の事前通知なしに，荒い事象検出を行う頻度を変化させることにより，精度と4. 4 評価実験結果

処理時間のバランスを調整可能でき，状況に応じた事象検出を評価実験では，α を 25 度〜45 度の幅で変化させた時の検出実現する．

精度，及び β を 0.33〜1 の幅で変化させた時の検出精度につい

5. 2 RT-SQUED の簡易評価実験て評価を行った．実験から，パターン 1 で β が 0.83 および 1.0

RT-SQUED の効果を測定するため，簡易な評価実験を行っのときに事象が検出できなかった以外は，事象が検出できるこた．評価実験では，既存手法における評価実験に使用したデーとを確認した．

タセットのうちの 1 つを用いた．RT-SQUED の評価結果を，4. 5 問 題 点

表 1 に示す．なお，今回の評価では，荒い検出処理は 1 フレー

既存手法では，検出対象範囲のスケールにおける点と，それム毎に行った．に伴う複数箇所で発生した事象の検出における点の 2 点の課題
表 1: RT-SQUED 評価結果が存在する．
まず，∆ を 10 m，nx と ny を 1000 とした場合を考える．こ手法のとき，座標点の数は 10000 個になる．SQUED は，それぞれ既存手法

検出精度 (F-measure) 処理時間 (sec)

28.6%

31.67の座標点に対し，ユーザの視線範囲との重複数をカウントする．

RT-SQUED

28.6%

3.07

ここで，ユーザの数や nx ，ny の数が増えれば増えるほど，計算コストは大きくなる．そのため，検出対象範囲を増やすことが困難になる．
次に，5 km × 5 km の範囲でランダムに 10 件の事象が発生

表 1 から，RT-SQUED によって，既存手法と比較し，処理時間を 1/10 に削減できたことがわかる．また，精度の低下は見られなかった．

した場合を考える．もしシステムが，検出対象範囲のスケール

5. 3 考における問題から，500 m × 500 m の範囲しか事象を検出で

RT-SQUED における 2 段階処理により，計算コストを削減

きない場合，複数の事象を検出することは非常に困難になる．

し，処理時間を削減することができた．また，処理時間を削減

またこの場合，検出対象範囲を広げるほど，複数箇所で発生しすることにより，既存手法に比べ，より検出対象範囲を広げるた事象の検出を行うことが難しくなる．

ことが可能となり，複数箇所で発生した事象の検出にも対応でこれらのような理由から，計算コストを削減し，事象検出の高速化を行う必要がある．

察きると考えられる．
しかし，使用したデータセットが限られているため，データセットを拡充した上で再実験を行い，より詳細な評価を取得す図 3: 荒い事象検出䠎ϭϭϭ

図 4: 荒い事象検出 2

図 5: 細かい事象検出る必要がある．

6. 擬似ユーザ生成器によるデータセットの拡張
本章では，既存手法と RT-SQUED の比較を詳細に行うために作成した擬似ユーザ生成器について述べる．擬似ユーザ生成器により，静止しているユーザ・直進するユーザ・ランダムな動きをするユーザを擬似的に生成可能である．
また，擬似ユーザ生成器を用いてデータセットに擬似ユーザを追加し，手法の再評価を行う．

6. 1 定義以前の実験で取得した既存のデータセットに含まれる，事象発生方向に端末を向けてくれるユーザの件数を Ue とする．また，このデータセットに擬似ユーザを加えたとき，擬似ユーザを含む全ユーザの件数に対し Ue が占める割合を p と定義する．

図 6: 擬似ユーザ概要図

擬似ユーザ生成器では，Ue ∗ 1/p − Ue のユーザを擬似ユーザとして生成する．例えば，Ue = 6，p = 0.1 とすると，擬似ユーザ生成器が生成する擬似ユーザの総数 Ua は Ua = 6 ∗ 10 − 6 = 54件となる．またこのとき，全ユーザの件数は 60 件であり，全ユーザに対する Ue の割合は 0.1 となる．
擬似ユーザを生成するとき，擬似ユーザ生成器は，静止しているユーザデータ・直進するユーザデータ・ランダムな動きをするユーザデータの 3 種類の擬似ユーザを，その合計数が算出された擬似ユーザの総数となるようランダムに生成する．また，擬似ユーザ生成器は，以下のパラメータにより，擬似ユーザを生成する．なお，P Us + P Uw + P Ur = Uc ∗ (1 − p)/p である．
●静止しているユーザデータ (P Us とする)
検出対象範囲内で，ユーザの座標をランダムに設定し，ユーザの視線方向を，0〜360 度の間でランダムに設定する．
●直進するユーザデータ (P Uw とする)
検出対象範囲内で，ランダムに選んだ始点・終点の座標を設定し，始点から終点方向に向けてユーザを直進させる．ここで，ユーザの速度は 0〜8km/h の間でランダムに設定し，ユーザの視線方向は進行方向に設定する．
●ランダムな動きをするユーザデータ (P Ur とする)
ユーザの速度は 0〜8km/h の間でランダムに設定し，ユーザの視線方向を，0〜360 度の間でランダムに設定する．ユーザを視線方向に向けて直進させるとき，1 秒以上のランダムなタイミングで視線方向を変更することにより，ランダムな動きを実現する．

擬似ユーザの概要を，図 6 に示す．図 6 は，赤い四角形で表現される検出対象範囲内で，P Us ，P Uw ，P Ur をそれぞれ 1件ずつ出力し，初期位置から数フレーム経過した際の移動軌跡を示す．P Us は静止しているユーザデータであるため，初期位置から移動しない．P Uw は直進するユーザデータであるため，中央に S と書かれた赤い丸 (グレースケールでは白い丸) から黄色の点線分移動している．P Ur はランダムな動きをするユーザデータであるため，中央に S と書かれた赤い丸 (グレースケー
ルでは白い丸) から黄色の点線分ランダムに移動している．

6. 2 擬似ユーザを用いた評価実験
今回の評価実験では，RT-SQUED における評価実験と同様に，既存手法における評価実験に使用したデータセットのうちの 1 つを用いた．また，検出対象範囲は，以前のデータセットの 200m ∗ 200m から拡大し，1.3km ∗ 0.6km に設定した．このとき，既存のデータセットに対して，以下の 2 種類のパターン (パターン 1 とパターン 2) のように各種パラメータを変更するとともに，擬似ユーザの追加を行い，既存手法と改良手法における処理時間・精度比較を行った．さらに，複数箇所で事象が発生した状態を擬似的に生成し，同時に複数の事象が高速に検出できるのか確認を行った．
パターン 1 では，事象発生箇所が 1 つある場合を想定して，既存のデータセットに対し擬似ユーザを追加し，実験を行った．
パターン 2 では，事象発生箇所が 2 つある場合を想定して，既存のデータセットに含まれるユーザ群を，検出対象範囲内に複しかし，パターン 1 とパターン 2 において，既存手法及びRT-SQUED の処理時間の比は，順に約 2 倍，約 4 倍と，RTSQUED の方がデータセットを増やした際の処理時間の比が大きいことが確認できる．このため，データセットの拡充を行った上で再評価を行い，原因を特定した上で，手法の改良を行う必要があると考えられる．
さらに，ユーザの位置から遠い場所で起きた事象の検出や，ユーザの位置の偏りが事象検出精度に与える影響測定等，実験及び評価に不十分な点があるため，これらを今後の課題とする．

7. お わ り に
本論文では，リアルタイムに突発的事象を検出可能とすることを目標として，事象検出を高速化した事象検出手法である

図 7: パターン 2 概要図

RT-SQUED を提案した．また，検出高速化を実現できたことを確認するため，擬似ユーザ生成器を作成した．擬似ユーザ生製した上で，擬似ユーザを追加し，実験を行った．図 7 に，パ成器を使用し，既存のデータセットに擬似ユーザを追加した上

ターン 2 におけるデータセットの概要図 (一部掲載) を示す．青で手法の評価を行った結果，検出高速化を実現でき，複数箇所

い枠内のユーザが既存のデータセットに含まれるユーザ群及びで発生した事象の検出にも対応可能であることを示すことがそのユーザ群を複製した擬似ユーザ群である．青い枠外のユーできた．今後は，擬似ユーザ生成器の改良に取り組んだ上で，ザは全て擬似ユーザである．

データセットを一層拡充し，手法の評価を行う．また，さらな

パ タ ー ン 1: Ue = 6，p = 0.1，Ua = 60，P Us = 21，

る事象検出の高速化を目指し，手法の改良を行う予定である．

P Uw = 13，P Ur = 20
パターン 2: Ue = 12，p = 0.1，Ua = 120，P Us = 31，

P Uw = 28，P Ur = 49

謝辞

本研究の一部は，文部科学省科学研究費補助金 (24300039)

擬似ユーザを追加し実験を行った評価結果を，表 2 に示す．の助成を受けたものである．関係各位に感謝する．

なお，今回の評価実験では，RT-SQUED の評価実験と同様に，荒い検出処理は 1 フレーム毎に行った．

文表 2: 擬似ユーザを用いた評価結果
パターン・手法

処理時間 (sec)

1 フレームあたりの処理時間 (sec)10.47

パターン 1・既存手法

1928.09

パターン 1・RT-SQUED

12.46

0.06

パターン 2・既存手法

4209.76

22.87

パターン 2・RT-SQUED

43.59

0.23

表 2 から，擬似ユーザを増加させて実験した際にも，RT-SQUED は既存手法に比べ大幅に処理時間を削減可能であることがわかる．また，ユーザの数が増えた場合や，同時に複数の事象が起きた際にも，最長で 1 フレームあたり 0.23 秒と高速に事象を検出できることがわかった．なお，既存手法とRT-SQUED との精度の差を目視で確認，比較したが，精度の低下は見られなかった．

6. 3 考察

擬似ユーザ生成器により，データセットの拡充を行い，2 つの手法について詳細な評価を行った結果，RT-SQUED を使用することにより，精度を維持したまま大幅に処理時間を削減できることがわかった．また，既存手法に比べ，検出範囲を広げた場合やユーザを増やした場合でも高速に事象検出を行うことが可能であり，複数箇所で発生した事象の検出にも対応可能であることを示した．

献[1] Alan F. Smeaton and Mike McHugh. Towards event detection in an audio-based sensor network. In ACM, VSSN ’05,pp. 87–94, 2005.
[2] A. Harma, M.F. McKinney, and J. Skowronek. Automaticsurveillance of the acoustic activity in our living environment. In IEEE ICME 2005, pp. 4 pp.6–8, July 2005.
[3] T. Yamamoto, K. Oku, Hung-Hsuan Huang, and K. Kawagoe. Squed: A novel crowd-sourced system for detection andlocalization of unexpected events from smartphone-sensor
data. In IEEE/ACIS ICIS 2015, pp. 383–386, June 2015.
[4] Du Tran, Junsong Yuan, and D. Forsyth. Video event detection: From subvolume localization to spatiotemporal pathsearch. Pattern Analysis and Machine Intelligence, IEEE
Transactions on, Vol. 36, No. 2, pp. 404–416, 2014.
[5] Feng Wang, Zhanhu Sun, Yu-Gang Jiang, and Chong-Wah
Ngo. Video event detection using motion relativity and feature selection. Multimedia, IEEE Transactions on, Vol. 16,
No. 5, pp. 1303–1315, 2014.
[6] Tong Qin, Huadong Ma, Dong Zhao, Tianyuan Li, and Jianwei Chen. Crowdsourcing based event reporting system using smartphones with accurate localization and photo tamper detection. In Big Data Computing and Communications, Vol. 9196 of Lecture Notes in Computer Science, pp.
141–151. 2015.
[7] Robin Wentao Ouyang, et al. If you see something, swipe
towards it: Crowdsourced event localization using smartphones. In ACM, UbiComp ’13, pp. 23–32, 2013.