差分画像を用いた定点カメラ映像分析支援インタフェース
野 上細 部僚博司†
史††

志 築 文 太 郎†
田 中 二 郎†

定点カメラによる人の行動分析は，撮影した映像が長期にわたるほど得られる情報は多くなる一方で，人間が全てを閲覧することは困難になる．本論文では，差分画像を用いて「変化のあった領域の提示」「変化のあった時間の提示」「類似映像検索」を実現することにより，長期の映像から，分析すべき映像を絞って閲覧することを支援するインタフェースを示す．

An Analysis Support Interface using Frame Diﬀerence fora Video from a Stationary Camera
Ryoji Nogami,† Buntarou Shizuki,† Hiroshi Hosobe††
and Jiro Tanaka†
In analysing a long term video from a stationary camera, the longer we record a video, themore we get information. However, it is diﬃcult to watch all in the long term video. In thispaper, we present an interface supporting analysis of the long term video from the stationary
camera. Using frame diﬀerence, the interface shows regions with changes, shows time when
the changes occurred, and provides an video search capability based on similarity.

1. は じ め に定点カメラを用いた行動分析が行われている．実用例として，スーパーマーケット等での客層分析，動線分析等が挙げられ1)2) ，また研究例としても広告の評価等に使われている3) ．これらでは，システムが自動的にイベント（映像に映った人の数，人間の動線等）を収集し，システム利用者は取得されたイベント情報

図 1 全方位カメラ画像を閲覧することによって分析を行う．
一方，我々は定点カメラを用いた分析方法として人

我々は，これまでにコミュニケーション支援を目的間が直接映像を閲覧して分析するという方法に着目すとしたライブカメラ映像閲覧インタフェース4) を開発

る．人間が直接映像を閲覧して分析を行えば，「映像にした．このインタフェースは，部屋の天井に設置した映っている人は急いでいる様子だった」「ゆっくりし全方位カメラを用いて撮影した過去 24 時間のカメラていた」等のコンピュータには取りだすことのできな映像を素早く探索する為のインタフェースである．実

い情報を取得できる．しかし，映像を人間が閲覧して際にカメラから撮影し得られた画像を図 1 に示す．

分析する場合，人間が映像を判断できる程度の速さで本研究ではこのインタフェースを発展させ，長期間映像を再生する必要がある．この為，分析対象となるの映像を対象とした人間が直接映像を閲覧して行う定映像が数カ月に及ぶ場合この分析は現実的ではない．

点カメラ映像分析を支援するインタフェースを開発す
る．我々は，定点カメラ映像分析支援を行う為に，差† 筑波大学コンピュータサイエンス専攻
Department of Computer Science,Tsukuba†† 国立情報学研究所
National Institute of Informatics

分画像に着目した．差分画像とは，定点カメラ映像をUniversityof構成するフレーム（以降，定点カメラ画像）毎に，前フレームと比べ輝度値が変化したピクセルを求め，この輝度値が変化したピクセルを 1，変化のなかったピ

情報処理学会 インタラクション 2011

覧する時間を絞り，映像を閲覧した後に用いる．閲覧
した映像の中に注目すべき行動を行っている映像があれば，その類似映像を抜き出すことにより注目した行動の原因をより深く分析できる．
この類似映像検索にも，差分画像を用いる．この理
図 2 変化領域画像の例

由は，人物の動きが類似する映像は対応する差分画像同士の類似性から判定することが可能だと考えたからクセルを 0 とした 2 値画像である．この差分画像を利である．まず，2 画像 a 及び b の類似度 sim(a, b) を，用することにより，映像中変化のあった領域，すなわ

画像に対応する差分画像を低解像度化した画像（以ち人や物が動いた領域を求めることが可能である．こ降，低解像度差分画像）間の類似度とした．すなわちの人や物が動いた領域を以降変化領域と呼ぶ．また，sim(a, b) を求める手順は次の通りである．a 及び b にある領域が変化領域となった時間を以降変化時間と呼対応する差分画像の低解像度差分画像を作る．次に，ぶ．本インタフェースでは，「変化領域」と「変化時間」

低解像度差分画像の各ピクセルの値を要素として持つ−→→
ベクトル −
a と b を求める．最終的にこの 2 つのベの提示，及び差分画像を利用した類似映像の検索を実現することにより定点カメラ映像分析を支援する．

2. 差分画像を用いた定点カメラ映像分析支援
手法

クトルから求まる cosθ を sim(a, b) とした．
−→−→
a · b
cosθ =−→→|−
a || b |2 画像間の類似度を用いて，2 映像 A 及び B の類

我々は「変化領域の提示」「変化時間の提示」「類似似度 sim(A, B) を次のように定義した．ここで，ai映像検索」によって，定点カメラ映像分析を支援する．

及び bi (i = 1, . . . , n) は A 及び B を構成する画像で2.1 変化領域の提示ある．

分析の対象となっている期間（以降，分析対象期間）
中，変化領域となったピクセル数（以降，変化量）がsim(A, B) =多かったピクセルほど明度の高い色で塗った画像（以降，変化領域画像）を提示する．ユーザは，変化領域画像を閲覧することにより期間中に変化が多かった領

n−→→
1∑ −
ai · b i−→→n|−ai || bi |i=1

3. 定点カメラ映像分析支援インタフェース

域，及び変化の少なかった領域を一目見て把握できる．

前節に示した手法を用い，定点カメラ映像分析支援

図 2 に変化領域画像の例を示す．この例での定点カメインタフェースを実装した．本インタフェースは期間

ラ映像は，4 フレームから構成される．この際，差分指定部，カメラ映像部，時間部から構成される．外観

画像は 3 枚作成される．変化領域画像はこの 3 枚を加を図 3 に示す．

算合成することにより作成される．変化領域画像中の3.1 期間指定部

領域 A はフレーム 2，3，4 において変化領域となっ分析対象期間の始まりと終わりを指定するテキスト

た領域であり，領域 B はフレーム 3，4 において変化ボックスを持つ．ユーザは両者の年，月，日，時，分領域となった領域である．つまり，領域 A の方が変化を入力し Confirm ボタンを押す事により分析対象期量が多い領域である為領域 A の方が領域 B よりも明間を指定する．Confirm ボタンが押されると，カメラるい色で塗られる．この例では変化領域を示す色の色映像部に分析対象期間の変化領域画像が提示される．

相は単色を用いているが，緑色，赤色，青色を合わせて用い，複数期間の変化領域の比較を行う事が可能である．

3.2 カメラ映像部
定点カメラ画像上に分析対象期間の変化領域画像を重畳表示する．この際の定点カメラ画像は，ユーザが2.2 変化時間の提示時間部を用いて指定した時刻の定点カメラ画像となる．

分析期間中のある領域にいつどれだけ変化があった

なお，時刻が指定されていない状態では，誰もいないのかを提示する．ユーザは，この提示により詳細に閲部屋を定点カメラで撮影した画像となる．変化領域画

覧すべき映像を絞ることができ，余計な映像を閲覧す像における変化領域は緑色で描画する．この変化領域る手間を省くことができる．

画像は，分析対象期間の差分画像を加算合成し，ピク2.3 類似映像検索

セル値の高いピクセルほど，高い明度の緑色で描画す「変化領域の提示」「変化時間の提示」を用いて閲ることにより作成する．

差分画像を用いた定点カメラ映像分析支援インタフェース

図 3 定点カメラ映像分析支援インタフェース

またカメラ映像部は，変化領域画像の緑色の明度を3.3.1 外観ビュー調節する為の明度スライダを持つ．このスライダは，外観ビュー上部の 1〜12 の数字は月を示す．それぞ

変化領域の緑色の明度を決定するスライダ値を設定す

れの数字の背景色は，対応する月の間，かつ分析対象る．ユーザは，スライダの領域内を左クリックした状

期間内の，カメラ映像部で選択された領域での変化量

態でドラッグすることによってスライダ値を変更できを示す．変化量が多ければ多い程，明度の高い色となる．左にドラッグするほどスライダ値は低くなり，右る．この変化量は対応する期間の差分画像から求めるにドラッグするほどスライダ値は高くなる．変化領域ことができる．ユーザはこの月の部分をクリックする

画像のそれぞれのピクセルの明度は，そのピクセルのことにより，その下方にクリックされた月の日を表示変化量 × スライド値で決定される．その為，スライすることができる．この日の背景色は月と同じく分析ダ値を低く設定し変化量の多いピクセルのみ人の目に対象期間内の対応する日の変化量を示す．この日の部

見える明度を割り当てれば，最も変化のあった領域を分をクリックすることにより，対応する日の変化時間見つけられる．その状態から，少しずつスライダ値をを詳細ビューに提示することができる．

上げていけば，変化量の多くあった領域から順に緑色

3.3.2 詳細ビューが見えてくる．スライダ値を操作することにより，変詳細ビューは，外観ビューで指定された日の変化時化領域の変化量の違いを，把握することができる．

間を提示する．1 日分の変化時間を提示する上部のまた，ユーザは変化時間を求める為の領域選択にもビューと，上部でクリックされた領域を拡大して 10カメラ映像部を用いる．画像内で左クリックした状態

分間の変化時間を提示する下部のビューから構成されでドラッグすることによって，変化時間を提示する領る．上部のビューの横軸は時間軸であり，左端が外観域を矩形選択できる．この選択を行うと時間部に，選ビューで選択された日の 0 時，右端が 24 時に対応す択された領域に対応する変化時間が提示される．

る．1 ピクセルは 2 分間を表し，1 ピクセル毎に，対3.3 時 間 部

応する時間の変化量を色の明度によって示す線分が描

時間部は外観ビューと詳細ビューから構成される．

画される．上部の提示がクリックされると，クリック2 種類のビューによって，長期間の変化時間の外観をされたピクセルの開始時刻から前 5 分間，後 5 分間の把握し変化時間の傾向を知る目的（外観ビュー）と，計 10 分間の変化量が下部に提示される．

変化のあった瞬間を知り，実際の画像を閲覧する時刻

下部のビューも，上部のビューと同じく横軸は時間軸を指定する，及び類似映像検索を行う映像を指定するであり，1 ピクセルは 1 秒を表す．また，上部のビュー目的（詳細ビュー）という異なる目的を実現する．と同じく対応する時刻の変化量を示す線分が描画される．この提示を左クリックすることにより，対応する

情報処理学会 インタラクション 2011

時刻の画像をカメラ映像部に表示することができる．

利用している映像のみを抜き出す．ユーザは，この映また，この詳細ビューを用いて，類似映像検索を行う

像を閲覧しキオスク端末の利用のされ方を分析する．

ことが可能である．詳細ビューを右クリックした状態

直接映像を閲覧することにより，「端末利用者は片手でで，ドラッグすることにより，ドラッグした領域に対端末を操作しているのか，両手で端末を操作している応する時間の映像と，詳細ビューに表示している日，のか」「一人で端末を操作しているのか，友人と操作1 日分の映像との類似度が表示される．類似度は，上しているのか」等，コンピュータには判断しにくい情部のビュー及び下部のビューの白色の棒グラフによっ報を得られる．て表現される．棒が高い時間の映像ほど，指定した映像との類似度が高いことを示す．

4. 実

装

6. 関 連 研 究
橋本らは，ライブカメラより取得した 30 分の時空間画像をアルファブレンディングで合成し，その時間本インタフェースを動作させる為のハードウェアと分の状況を一目で把握することを実現している5) ．本して PC と全方位カメラ（シャープセミコンダクタ社

研究は，期間のある映像を一目で把握することを目的製 LZ0P3551）を用いた．全方位カメラから得られるとしている点で関連するが，本研究は色を用いて過去画像の解像度を 816×608，撮影頻度を 1fps とした．の状況を表現する為，より長い期間の変化領域を提示

撮影した画像を PC に png 形式で圧縮して保存し続け可能な点が異なる．Romero らは，定点カメラ映像のている．2009 年 12 月 18 日より撮影を開始し，現在も中で変化のあった領域とその量を提示する可視化を行撮影中である．2010 年 12 月 16 日現在約 3200 万枚をい，撮りためたカメラ映像の分析を行う手法を提案し撮影した．本インタフェースの実装には開発言語としている6) ．変化領域の提示，変化時間の提示においてて C++を，ライブラリとして OpenCV，OpenGL，関連するが，類似映像検索は行っていない．

GLUT，GLUI を使用した．

5. 利 用 例

7. ま と め
本稿では，定点カメラ映像を分析する手法として，本研究で想定している本インタフェースの利用例と「変化領域の提示」「変化時間の提示」「類似映像検索」

して，部屋に設置したキオスク端末がどの様に利用さを提案し，提案した手法を用いたインタフェースを実れているかを分析する例を挙げる．前提として，分析装した．

を行う為に，キオスク端末を設置する 1 カ月前から定点カメラを設置して撮影を開始し，キオスク端末を設置してから 1 カ月経過した時点で撮影を止め，その期間中に撮影した映像を分析するとする．
ユーザは，まず期間指定部によりキオスク端末設置前の 1ヵ月間を指定し，カメラ映像部に変化領域を表示する．次に，キオスク端末設置後の期間を指定し，カメラ映像部に変化領域を表示する．この 2 つの変化領域を見比べることにより，キオスク端末設置後にのみ変化が多くあった領域を見つけられる．ユーザは，この領域をカメラ映像部にて矩形選択し変化時間を表示する．
ユーザは時間部にて，変化のあった時間を左クリッ
クにより指定し，実際の映像を閲覧する，人間がキオスク端末を利用している映像と，キオスク端末の前を通りすぎている映像を確認する．
ユーザは得たい映像がキオスク端末を利用している時の映像であると考え，キオスク端末を利用している時の映像を，右クリックにより指定して類似映像を検索する．類似度の高い時間を指定し，キオスク端末を参 考文献

1) NEC Corporation: FieldAnalyst. http://www.nec.co.jp/solution/video/fieldanalyst.
2) Vitracom: SiteView. http://www.vitracom.
de/en/products.html.
3) 南竹俊介，高橋 伸，田中二郎：顔向き情報と移動軌跡を利用したデジタルサイネージの効果測
定ツール，情報処理学会第 72 回大会講演論文集，Vol.3, pp.323–324 (2010).
4) 野上僚司，志築文太郎，田中二郎：過去の状況への気づきを支援するライブカメラ映像閲覧イン
タフェース，情報処理学会シンポジウム インタ
ラクション 2010 論文集，pp.181–184 (2010).
5) 橋本 悟，中西泰人：ネットワークカメラ画像の合成による空間型コミュニケーションシステムの提案，情報処理学会シンポジウム インタラク
ション 2006 論文集，pp.181–182 (2006).
6) Romero, M., Summet, J., Stasko, J. andAbowd, G.: Viz-A-Vis: Toward VisualizingVideo through Computer Vision, IEEE Transactions on Visualization and Computer Graphics, Vol.14, No.6, pp.1261–1268 (2008).