WISS2005

ライブカメラ画像を用いたプレゼンス情報の表示手法
Showing Presence Information on a Live Camera Image高橋 伸

岩淵志学

ジャッキーノ ヤン

山田徹

久松孝臣

中村卓

土持幸久

金春明

田中二郎∗

Summary. As instant messengers become popular, presence information also becomes useful information for casual interaction among a group. We propose a new method to visualize presence information
using live camera images. Our new method uses live camera images as a basis for representing virtual shared space for a small community. Presence information – activities of users – is visualized as’smokes’ and eﬀect lines, and superimposed at the seat of each member in the room, which makes easy
to understand the mapping between presence information and the corresponding members.

1

はじめにカジュアルなコミュニケーションを支援するツールとしてインスタントメッセンジャーとともにプレゼンス情報の提示とその利用が一般的になってきた．
プレゼンス情報とは，オンライン，オフライン，退席中，取り込み中，などの個人の状態のことである．
それをグループ内の参加者でお互いに知らせあうことで，状況に応じたコミュニケーションを取ることを可能にする．相手のプレゼンス情報を知ることにより，例えば，取り込み中にはインスタントメッセージや電話をかけるのを控えて，メールを送っておく，といったことができる．プレゼンス情報は，システ
ムがキーボードやマウスの使用状況から推測するか，ユーザが明示的にメニューなどで与えることが多い．
現在，一般的なプレゼンス情報の表示方法は，グループ内の各メンバーにアイコンとラベルを対応させ，その人の状況によってアイコンやラベルを変更するという手法である．しかしこのような手法には，より細かいプレゼンス情報を表現するには無理があり，また各メンバーとアイコンとのマッピングもわかりにくい．
一方，ライブカメラ画像によって遠隔地間のコミュニケーションを図ることもよく行われている．ライ
ブカメラ画像では，その場の状況は一目瞭然であり，インスタントメッセンジャー等のプレゼンス情報提示よりもわかりやすい．例えば，職場や研究室の様子をライブカメラで見られるようにしておけば，遠隔地にいる人からでも，その場の様子を把握することができる．しかし，ライブカメラ画像は基本的に現在の状況だけを表示していて，過去の状況の推移
c 2005 日本ソフトウェア科学会 ISS 研究会．
Shin Takahashi, Shigaku Iwabuchi, Yann Jacquinot,Tohru Yamada, Takaomi Hisamatsu, Takashi Nakamura, Yukihisa Tsuchimochi, Jin Chunming, JiroTanaka, 筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻，第 3 学群情報学類∗

や未来の予定は表示されていない．その場の状況だ
けしか見えないので，ある人が画像に写っていない
場合，カメラに写っていないだけなのか，その場にいないのか，ちょっと数分トイレで留守しているのか，朝からずっと現れていないのか，長期休暇中なのか，などの区別は困難である．また，その他にも，パソコンの前に座ってじっとしている画像からは寝ているのか働いているのかわからない，あるいはその場で電話が鳴っているかどうか，騒音がひどいかどうかといった，画像からは分かりにくい状況がある．
本研究では，これらの問題に対処するために，効果線や画像の重ね合わせなどの表示手法を用いてライブカメラ画像だけでは分かりにくい情報をライブカメラ画像上に表現する手法を提案する．また，ライブカメラで表示されている空間をグループ内での共有スペースとして捉え，伝言などのコミュニケーションメディアとして応用する方法を提案する．我々は，これらの手法を用いたシステム KokaCamera を実装し，大学の分散した複数の研究室のグループ間でのコミュニケーションメディアとして運用した．

2
2.1

プレゼンス情報の表示
ユーザのアクティビティの表示

図 1 は，KokaCamera が生成した画像の例である．部屋にいる人のプレゼンス情報が，「煙」の画像やギザギザの線として，ライブカメラ画像に重ね合わされて表現されている．ここで表現されている情報はキーボードの打鍵の頻度とマウスの移動イベントの頻度で，ユーザのアクティビティに関するプレゼンス情報である．表示にはユーザがアクティブな場合と非アクティブな場合との二つのモードがある．
ユーザがアクティブな場合，つまりマウスやキーボードのイベントが発生し続けている場合には，細い「煙」と赤いギザギザの線で，イベント頻度を表現する．煙の画像と赤い線の大きさや色，形を変えることで，マウスやキーボードの使用度合を表現すWISS 2005

果線/画像の大きさ等にマッピングしている．画像の更新は 10 秒間隔で行っている．どの程度の期間のイベントを集計するかによって表示の意味合いは変わってくる．短期間のイベントを集計すると，リアルタイムでのメンバーの状況が分かる．一方，数時間，あるいは一日単位での集計を行うと，その人の最近の忙しさに相当する情報が得られる．活動のイベントデータをデータベースに記録しているので，この集計期間をインタラクティブに変更するとユーザの現在〜過去の状況を見られる．

図 1. アクティビティに関するプレゼンス情報の表示

る．つまり，マウスの動きが多いときには，煙型アイコンの数を増やし，キーボードの打鍵頻度が増えると赤い線が大きく，ギザギザの数が増えるようにする．図 2 は表示される画像や線の例である．左上の 4 つの画像は左から煙の数が増えていく例である．
左下の 4 つは，効果線の大きさが変わっていく様子の例である．ここでのギザギザの線は効果線と呼ばれる表現の一例である．効果線とは，漫画で用いられる表現で，動きや音，感情，雰囲気などを表すのに使われる．

図 2. 様々の効果線/画像の表示

一方，ユーザが非アクティブな場合，つまりキーボードやマウスのイベントが発生していない場合には，過去の状況を太めの煙 (図 2 右の二つ) で表現する．煙の大きさは，過去のイベント頻度と，非アクティブになってからの経過時間に応じて決定する．
つまり，非アクティブ状態になった時点では，その直前におけるイベント頻度で煙の大きさが決まり，それから時間が経つにつれ，次第に煙が小さく薄くなっていく．この表示によって，閲覧者は過去のユーザの状態を推測することができる．
これらの画像や効果線が表示される場所は，その対応するユーザが普段座っている座席の位置である．
このように表現すると，現実の世界での人の位置と情報の表示位置とが同じであるため，グループ内のユーザにとって状況が把握しやすいと期待される．
現在の実装では過去 30 秒間のイベント頻度を効発展として，プレゼンス情報の履歴を明示的に効果線/画像として表現することが考えられる．例えば，各人の頭の上あたりに煙の溜ったようなものを表示し，その煙溜りの大きさで，立ち登る煙 (=現在の状況) より長い時間間隔の活動状況を表現できる．
これは，天井全体の煙の量で集団としての忙しさの表現としても考えらえる．あるいは，煙の縦方向を時間軸 (下から上を現在から過去) として捉え，煙の太さや色で履歴を直接的に表現することもできる．

2.2プレゼンス情報の能動的提示システムが自動的にメンバーの状況を取得して表示するだけでなく，ユーザ自身が明示的に自分の状況を提示することもできる．図 3 では，不在のユーザが「会議中」「食事中」などメッセージを残していった状態の画像である．実世界におけるメッセー
ジクリップのように使うことができる．また，この機能を利用して簡単なチャットを行うこともできる．
明示的な指定の手間を減らすために，あらかじめ用意されたいくつかのメッセージに関しては，ライブカメラに対してマークの描かれたカードを示すだけでメッセージを残すことができる．将来的には，カメラに向かってジェスチャーをすることでメッセー
ジの入力を行うことも考えられる．

図 3. 能動的プレゼンス情報提示

Showing Presence Information on a Live Camera Image

2.3

実世界へのメッセージの表示

前節で述べたライブカメラ画像に表示したメッセージはそれを表示するアプリケーションを見ていないと気づかない．必ずしも，部屋にいる人がライブカメラ画像を見ているわけではないので，その場にいる人に向けてメッセージを表示できる機能も望まれる．そこで，ライブカメラ画像内のホワイトボードや壁などの部分にメッセージを表示できるようにした．図 4 は遠隔地にいるユーザがこの部屋にいる人，あるいは，これからこの部屋に来る人に向かって書きこんだメッセージである．メッセージは中央の壁にプロジェクタで表示されている．このメッセージはライブカメラ画像を見ている人も，見ていないが部屋にいる人からも見ることができる．メッセージは，ライブカメラ画像自体にユーザがペンなどで直接書きこむと表示されるので，直接的でわかりやすいと思われる．

秒毎に切り替わる静止画をウェブサーバ上で表示しているが，動画像上に効果線/画像を表示するように実装中である．
部屋

アクティビティ
集計サーバ…
アクティビティ
取得
メッセージ等の送信

壁など

アクティビティ情報（活動履歴、メッセージ、予定…）
アクティビティ表現の生成（変換）アクティビティ表現（吹き出し、効果線、特殊効果、…）

メッセージ

重ね合わせ込み
書き情報

画
実像

合成画

像

ウェブサーバ

図 5. 構成

各メンバーの座席位置，つまり効果線/画像の表
示位置は，現在は，ライブカメラ画像上での位置を指定して登録する GUI インターフェースで行う．表
示される効果線/画像は，メンバーの位置によって奥行き方向に遠いほうから順番に描いていくことで，重なる位置にある場合でも，ある程度対応できる．
現在，ARToolKit[4] のマーカを用いて各ユーザの3 次元配置を入力できるように実装している．これにより，位置に応じてメンバーの効果線/画像を拡大縮小表示すること，occlusion の問題を解決する
こと，複数のカメラに対応すること，などを実現できる．
図 4. 簡易メッセージ3実装

図 5 は，プロトタイプシステムの構成である．各メンバーの使用しているパソコンからアクティビティ情報を得るため，各メンバーのパソコンではイベン
ト取得プログラムを実行する．イベント取得プログ
ラムはマウスの動きやキーボードの打鍵のイベントを秒単位で取得する．取得された情報はアクティビ
ティ集計サーバ (MySQL サーバ) に送られる．アクティビティ集計サーバには，全ユーザのアクティビティ情報が集められる．また，クライアントプログ
ラムではユーザが簡易メッセージを入力したり，画像への書込みを行ったりする．これらの情報も同様にサーバに集められる．一方，プレゼンス情報合成プログラムでは，MySQL サーバに各ユーザのプレゼンス情報と画面上での位置を問い合わせて，このデータを基に，アクティビティの表現を生成し，ライブカメラ画像に重ね合わせる．現在の実装は 10

3.1

効果線/画像の生成

煙の画像はテンプレート画像をいくつか用意して，そのサイズをプレゼンス情報に応じた大きさに変換して表示している．煙は半透明にしてある．
今回用いた効果線はギザギザの線で，キーボードの打鍵を表現している．ここで赤い線は 2 重の円の円周上の点を結ぶようにして生成している (図 6)．
円の半径を変えることで大きさを，点の位置の間の角度などを変えることでギザギザの数を変えることができる．効果線には，他にも，集中線や流線など

図 6. ギザギザがある．集中線は，ユーザを中心に集中線を描き込むとそのユーザを目立たせることができるので，部屋に一人しかいない状況などを表現する手段として現在試験中である．また，「ザワザワ」「リンリン」とWISS 2005

いった擬音の表示によって音を画像中に表示したり，EﬀecTV[1] のような特殊効果を用いて画像自体を加工することでプレゼンス情報を表示することも考えられる．

4

考察

効果線は，静止画である漫画の中で動きを表現するのに使われる．つまり，時間的な情報を静止画に埋め込むことができる表現だと考えられる．我々はアニメーションの作成に効果線を用いる手法を提案している [5]．今回の研究でも，常に現在の情報だけを表示するライブカメラに短期間〜長期間の過去の情報を表現しているので，時間に関わる情報を画像に埋め込んでいると言える．
ライブカメラで仕事場を写すのに問題となるのは，プライバシーの問題である．抵抗感を軽減するためには，メンバーの画像に対してぼかしなどの画像処理を行う，あるいは絵画風の画像へ変換してしまうといったことが考えられる．しかし，本研究の設定
では，グループ内の参加者のみが閲覧できるというように制限しているので，抵抗感は元々高くないと思われる．また，家庭などのプライベートな空間ではなく，仕事場や研究室などを想定しており，メンバーが普段作業をしているところを互いに見られる場所であるので，抵抗感は低いと思われる．
しかし，普段，同室にいないユーザもライブカメ
ラ画像を見たいという要望があるが，それには抵抗感を感じることもあるようである．この問題に対しては，ライブカメラ画像が遠隔地から参照された場
合に，参照したユーザを，部屋で参照されている側に提示することで，参照と被参照の対称性を保ち，その抵抗感を低減することができると思われる．誰が参照しているかを提示するには，あらかじめ登録しておいた参照者の顔画像を壁などに表示する方法や，環境音– 特に鳥や虫の声に参照者を対応付けて，参照時に対応する音を部屋に流すことで，そのユーザが閲覧していることを提示する方法などが考えらえる．これは部屋のユーザに対する遠隔地の人のアウェアネス，プレゼンス情報の提示の一種と言える．

5

関連研究

遠隔地に分散したグループ間でアウェアネスを伝え合う研究には様々ある．まず，キャラクターを用いてプレゼンス情報を表示する研究がいくつかある．
Greenberg はアイコンによってプレゼンス情報を表示する方法を提案していて，これは現在の一般的なインスタントメッセンジャーと同様の手法である [2].
清水らはメンバに星座を割り当てプラネタリウムをモチーフにした表示や，星座をモチーフにしたキャラクターの表示によってプレゼンス情報を表現している [9]．キャラクターでのプレゼンス情報の表現

は，プライバシー的に望ましく表示スペースをコンパクトにできるが，我々の手法は，その場の状況がより分かりやすく，表現力が高いと思われる．
一方，ビデオ画像の双方向通信により遠隔地間での同室感を実現する研究が多数ある [3, 8, 7, 6]. こ
れらはより同期的で密接な共同作業を目指しているが，我々の目指しているのはプレゼンス情報の伝達であり，直接的でない簡単なメッセージのやりとりはあるにしても，密なコミュニケーションは他の手段で行うことを前提としている．

6

まとめ

ライブカメラ画像を基盤としてプレゼンス情報の表示，簡易メッセージングを行う手法について提案した．この手法ではライブカメラ画像だけでは分からない過去や未来の情報も表現することができる．
今後は，実装した KokaCamera システムをさらに発展させ，運用評価を行っていきたい．

参考文献[1] K. Fukuchi, S. Mertens, and E. Tannenbaum. EffecTV : a real-time software video eﬀect processorfor entertainment. In Entertainment Computing– ICEC2004(LNCS3166), pp. 602–605, 2004.
[2] S. Greenberg. Peepholes: Low Cost Awarenessof One’s Community. In ACM SIGCHI’96 Conference on Human Factors in Computing System,
Companion Proceedings, pp. 206–207, 1996.
[3] H. Ishii, M. Kobayashi, and J. Grudin. Integration of Interpersonal Space and Shared
Workspace: ClearBoard Design and Experiments. ACM Transactions on Information Systems (TOIS), 11(4):349–375, 1993.
[4] H. Kato and M. Billinghurst. Maker Tracking and HMD Calibration for a video-based
Augmented Reality. In Proceedings fo the 2ndInternational Workshop on Augmented Reality(IWAR99), 1999.
[5] Y. Kato, E. Shibayama, and S. Takahashi. Effect Lines for Specifying Animation Eﬀects. In
Proceedings of the IEEE Symposium on Visual Languages and Human-Centric Computing(VL/HCC’04), pp. 27–34, 2004.
[6] H. Kuzuoka, J. Yamashita, K. Yamazaki, andA. Yamazaki. Agora: A Remote Collaboration
System that Enables Mutual Monitoring. In
CHI’99 extended abstracts, 1999.
[7] O. Morikawa and T. Maesako. HyperMirror:
A Video-Mediated Communication System. In
CHI97 extended abstracts, pp. 317–318, 1997.
[8] 原田康徳. 同室感通信. インタクティブシステムとソフトウェア VI(WISS98), pp. 53–60, 1998.
[9] 清水健, 山下邦弘, 西本一志, 國藤進. キャラクタ
エージェントを用いた個人作業状況アウェアネスを提供するシステムの構築. 第 18 回人工知能学会
全国大会, 2004.