過去の状況への気づきを支援する
ライブカメラ映像閲覧インタフェース
野 上僚司†

志築文 太 郎†

田中二郎†

An Interface for Live Camera Image Browse
Assisting Awareness of Past Situation
Ryoji Nogami,† Buntarou Shizuki† and Jiro Tanaka†

1. は じ め に
ライブカメラを用いて，遠隔地にその場の状況を伝える研究が行われている2)4) ．ライブカメラを利用す
れば，離れた空間の「誰がいるか」「誰が何をしているか」といった状況を知ることができる．具体的な利用例として，複数の居室から成る研究室のそれぞれに設置しお互いの状況を把握する手段としてライブカメ
ラを利用する例が挙げられる (図 1)．
このような「誰がいるか」「誰が何をしているか」といった状況を知ることは，メールをする，電話をする，直接会いに行くといった直接的なコミュニケーション

図1

ライブカメラの映像を行う前に，コミュニケーション手段を考える時の重要な材料となる．例えば，ライブカメラを見て，コミュ「離れた居室にいるか気づくことができない．例えば，ニケーションをとりたい相手が忙しそうだということ

A 君がなにをしているか知りたい」という目的でライを知れば，もう少し時間が経ってから会いに行こうとブカメラ映像を見た場合を考える．その時，ライブカ考えるだろう．相手が居室にいないことを知れば，会

メラの映像に A 君が映っていなければ，そこに A 君いに行くのではなくメールでコミュニケーションを行がいないということ以外 A 君の状況は全く知ることおうと考える．

ができない．

また，ライブカメラを見てその場の状況に気づき，コミュニケーション方法を考える為に，ライブカメコミュニケーションが生まれることもある．例えば，

ラ映像を閲覧したのであれば，「A 君は今研究室にいな

ライブカメラを見て「人が集まって話していること」いけれど今日は研究室に来たのか」「来たのであればに気づき，「人が集まって話をしているならば自分も参いつまで研究室に居たのか」という情報は重要な情報加してみよう」というようにコミュニケーションを行となるが，ライブカメラ映像からはこのような過去のうきっかけになることがある．

情報は得ることができない．

しかし，ライブカメラの映像は，現在の映像のみを

また，「人が集まって話をしている」といった気づき映している為，ライブカメラを見たその時の状況にしに関しても，閲覧しているその時の状況にしか気づく† 筑波大学コンピュータサイエンス専攻
Department of Computer Science,Tsukuba

ことができない為，「5 分前まで人が集まって話していUniversityofた」といった過去の気づきは得ることができない．一方，もし，現在の状況だけでなく過去の出来事にも気情報処理学会 インタラクション 2010

図2

Space Aware Vision

図 3 Time Aware Graph

づくことができれば，コミュニケーションのきっかけはより増えるだろうと考えられる．

いたのかもしれない」という推測を行うことができる．
また，緑色の画像を半透明にすることによって，現そこで本稿では，ライブカメラ映像を用いて，遠隔在のライブカメラ映像全ての領域を閲覧することがで地の現在の状況への気づきだけではなく，蓄積したラきる．その為，Space Aware Vision は現在の状況とイブカメラ映像から，過去に変化した領域を示すこと過去の状況を同時に表現する映像であると言える．

によって遠隔地の過去の状況への気づきも与えるライブカメラ映像閲覧インタフェースを示す．

2. ライブカメラ映像を用いた過去の状況への気づき支援
我々は過去の状況への気づきを与える手段として，

ただし，Space Aware Vision は，過去に変化があった領域を表現するが，その領域に「いつ変化があったのか」という情報を知ることはできない．そこで，領域に対し，いつ変化があったのかを伝える手段として「Time Aware Graph」を考案した．

2.2 Time Aware Graph

ライブカメラ映像中の変化のある領域に着目した．映Time Aware Graph は，前述した Space Aware Vi-

像中，変化のある領域は，人物が動いている．この性

sion 中の領域をユーザが指定することによって生成さ質を利用し，過去に変化が起こった領域をユーザに伝れるグラフである．Time Aware Graph を図 3 に示す．

えられれば，ユーザは過去の状況を大まかに推測すTime Aware Graph の横軸は時間軸である．緑色のることができると考えた．我々は，この変化のあった

明るさは横軸の時間に対応する，Space Aware Vision

領域を伝える手段として，「Space Aware Vision」をで指定した領域内の変化量を表現している．背景の数提案する．また，変化のあった領域において，いつそ字はその領域が「何時の領域であるか」を示している．の変化があったのかを示す手段として，「Time Aware

図 3 の Time Aware Graph からは，3 時〜5 時，6 時，Graph」を提案する．

10 時〜18 時くらいに変化があったことが読み取れる．

2.1 Space Aware Vision

Space Aware Vision と Time Aware Graph の組みSpace Aware Vision を図 2 に示す．Space Aware

合わせによって，ユーザは過去にいつ，何があったのVision は，過去にライブカメラ映像中で変化があったかを推測することができる．また，この推測からさら領域を緑色に塗った画像を，現在のライブカメラ映像に詳細な過去の状況を知る手段として，Time Awareに重畳表示した映像である．明るい緑色の部分ほど，Graph によって指定した時間のライブカメラ映像を提過去に多くの変化があった領域であることを示す．

示する．最終的に映像を見ることによって，ユーザはこの映像によって，ユーザは過去に起こった状況を大まかに推測することができる．例えば，Space Aware

Vision に現在 A 君が映っていなくても，A 君の席が明るい緑色になっていれば，「過去に A 君が作業を行って自分の行った推測が正しいものであるかどうか確かめることができる．

過去の状況への気づきを支援するライブカメラ映像閲覧インタフェース

よって，加算合成を行い得た画像において，変化の多くあった場所の画素値 RGB(x,y,z) の y の値は大きくなる．

Space Aware Vision を 2 点クリックし，領域を指定することによって，対応する領域の Time Aware

Graph が生成される．Time Aware Graph は横軸 1px
で 1 分間を示し，横軸全体で 24 時間を示す．緑色の明るさは，横軸の時間に対応する，指定された領域内の1 分間の変化量を表現している．この変化量は，SpaceAware Vision 作成時に求めた背景差分画像を用いて，Time Aware Graph が生成される度に求めている．灰
図4

全方位カメラの映像

色の部分は，閲覧している日にまだ経過していない時間であり，未来の時間であることを示す．

3. 実

装

Video Window は過去の映像を閲覧する為のウィンドウであり，Time Aware Graph をクリックすること

我々は，前述の Space Aware Vision と Time Awareによって，Time Aware Graph の横軸に応じた時間Graph をインタフェースとするライブカメラ映像閲覧の映像を表示する．Time Aware Graph をクリック

システムを実装した．

した時点では，対応する 1 分間の最後のフレームが表

3.1 ハードウェア示される．Video Window をクリックすることによっ本システムは PC とライブカメラによって構成されて，映像が開始される．

る．ライブカメラを用いて，離れた部屋の状況を知る為には部屋全体を撮影することが好ましい．その為本

4. 利用例シーン

システムでは，全方位カメラを天井に設置し撮影を行本システムの利用シーンとして，離れた居室で作業う．実際に研究室に設置し撮影した画像を図 4 に示す．

をしている B 君に研究の相談をしたい A 君が本シス

システムは全方位カメラを用いて，1fps で撮影を行いテムを使う例を挙げる．なお，「その相談内容は約束を撮影した画像を PC に保存し続ける．

取り付けて会うほどの相談ではないが，文面のみでは3.2 ソフトウェア

伝えにくい相談内容である為，できれば直接会って話本システムのライブカメラ閲覧インタフェースの外し合いたい」と A 君は考えているとする．

観を図 5 に示す．本インタフェースは，Space Aware

まず A 君は，「B 君が今研究室にいるかどうか」をVision，Time Aware Graph，Video Window から構確かめる為，Space Aware Vision をみたところ，「B成され，1 日分の映像を遡ることが可能なシステムと君は現在居室にはいない」ということが分かった．しなっている．

かし，B 君の席が明るい緑色になっている為，「多分今Space Aware Vision は現在のライブカメラ映像に，日は研究室に来て作業を行っていたのではないか」と閲覧している日の 0 時から閲覧している時間までの推測した．そこで A 君は，Space Aware Vision 上の，変化を緑色で塗った映像になっている．Space Aware

B 君の席の領域を選択し，Time Aware Graph を生成

Vision は以下の手順で作成される．

した．すると，Time Aware Graph の 2 時間前から(1)(2)(3)(4)

ライブカメラ映像が更新される毎に背景差分画10 分前までの部分が明るい緑色になっていた為，「おそ像を求める．

らく B 君は 10 分前までは作業を行っていたのではな

差分部分の画素値を RGB(0,0.2,0)，背景部分いか」と推測した．A 君は，本当に「10 分前まで B 君の画素値を RGB(0,0,0) とした画像を作成する．

が作業をしていたのか」を確かめる為，Time Aware

過去の期間に作成された 2 の画像を全て加算合

Graph が最後に緑色になっている部分をクリックし，成する．

Video Window を生成した．Video Window の映像

3 の画像を現在のライブカメラ映像に重畳表示を見てみると，B 君が作業を終え，仲の良い C 君とする．

一緒に研究室を出ていく姿が映っていた．現在の時刻

背景差分画像は森田らの手法1) によって求めた．背は昼の 12 時である為，A 君は，「B 君と C 君は多分ご景差分画像の差分部分は，変化のあった領域である．

飯を食べに行ったのだろう」と推測し，1 時間後くら情報処理学会 インタラクション 2010

図 5 ライブカメラ映像閲覧インタフェース

いにまた様子を見てみようと考えた．A 君が 1 時間後に Space Aware Vision を見てみると，A 君の予想通り，B 君が映っていたため，B 君の居室に研究の相談に行こうと考えた．
上記の例は，A 君が本システムを使って，B 君の6. まとめと今後の課題
本研究では，過去の状況への気づきを与える手法として，過去の変化のあった領域を利用して過去の映像を探索する手法を提案し，その実装を行った．

過去の状況を知ることによって，より適切なコミュニ

今後は，実装したシステムの改善を行っていく予定

ケーション方法を考えることができた例である．現在である．現実装では，システムを利用する為に PC にの状況のみを映すライブカメラ映像からは，ライブカ画像を保存する必要がある．本研究では，離れた空間メラ映像を見た時に B 君が研究室に居ないという状況の状況への気づきを与えることを目的としている為，までしか知ることができない．しかし A 君は，Space画像を保存せずとも，遠隔地から本システムの映像をAware Vision によって，過去に B 君が居たことに気閲覧できることが望ましい．その為，本システムをクづき，Time Aware Graph によって B 君が最後に研ライアントサーバ型のシステムとして実装する．また，究室に居た時間を推測できた．更に，Video Window遡る時間の長さについて検討する為，評価実験を行う．

によって詳細に過去の状況を知ることによって，1 時間後にまた様子を見てみようという考えに辿り着くことができた．

5. 関 連 研 究
高橋らは，キーボードの打鍵情報等から情報を取得し，ライブカメラ映像に画像の重畳表示を行うことで，ライブカメラのみでは分かりにくい情報を表現している2) ．本研究とは，重畳表示を用いてライブカメラ映像を強化している点で関連するが，本研究ではシステ
ムへの入力にライブカメラの映像のみを使用するという点で異なる．Romero らは，定点カメラ映像の中で，変化のあった領域を積分する可視化を行い，撮りためたカメラ映像の分析を行う手法を提案している3) ．本
研究とは，カメラ映像中の変化を可視化している点で関連する．本研究は，遠隔地の状況を伝えるという目的を持っている為，現在の映像提示も行っているという点で異なる．

参 考文献1) 森田真司, 山澤一誠, 寺沢征彦, 横矢直和. 全方位画像センサを用いたネットワーク対応型遠隔監視システム, 電子情報通信学会論文誌（D-II), Vol.
J88-D-II, No. 5, pp. 864-875, 2005.
2) 高橋伸, 中村卓, 田中二郎. 漫画的手法を用いたライブカメラ画像上へのプレゼンス情報の表示. コン
ピュータソフトウェア, Vol.24, No.3, pp. 29-40,
2007.
3) Mario Romero, Jay Summet, John Stasko,and Gregory Abowd. Viz-A-Vis: Toward Visualizing Video through Computer Vision, IEEE
Transactions on Visualization and ComputerGraphics., Vol. 14, No. 6, pp. 1261-1268, 2008.
4) 橋本悟, 中西泰人. SpaceTracer：ネットワークカメラ画像の合成による空間型コミュニケーションシステムの提案, 情報処理学会シンポジウム インタラクション 2006 論文集, pp. 181-182, 2006.