WISS2009

FestiCam：賑やかさを伝えるライブカメラ映像への情報提示手法
FestiCam:Showing Festivity on a Live Camera Image

中村 卓

南竹 俊介

鈴木 茂徳

林 恵理奈

竹林 綾子

高橋 伸

田中 二郎∗

Summary. 離れた場所にいるメンバ間でコミュニケーションをとろうとした場合，相手が今何をしているかや部屋の雰囲気といったアウェアネスに関する情報が重要である．しかし，ライブカメラでは離れた場所の様子を映像でしか確認できないため，雑談しているなどの部屋の雰囲気を把握しづらい．音声情報をそのままカメラを見ている側に渡すことで部屋の雰囲気を伝えることも出来る [1] が，音声を録られる側のプライバシの問題があるため好ましくない．そこで本研究では，音声情報から部屋の雰囲気を 賑やかさとして抽出し，ライブカメラ映像に花火を用いて賑やかさを表現する手法を提案する．この表示方法では，賑やかさの度合いや状態に応じて花火のパラメータを変化させて表示させるため，見る側は花火の様子から離れた場所の雰囲気を把握することができる．

1

はじめに

離れた場所の様子を知るための方法のひとつとして，ライブカメラを部屋に設置し，そのライブカメラから部屋の様子を映像として取得する方法がある．
ライブカメラは見られる側のプライバシの問題があるが，離れた場所の相手の様子が分かりやすく，コンタクトをとるために利用できるなどといった利点もあるため，研究室間などで設置されることが多い．
しかし，ライブカメラの映像のみでは，部屋全体の雰囲気を把握することが難しい場合がある．例えば，人が集まっていても，休憩中で雑談をしているのか，話し合いをしているのかという雰囲気は映像のみでは把握しづらい．また，カメラの死角で雑談している場合も部屋の雰囲気を判断することが難しい．
このような雰囲気を把握する手法のひとつとして，マイクを用いて部屋の音声もそのまま相手に伝える方法がある．しかし，音声情報は映像以上にプライバシを多く含む情報である．そのため，聞かれたくない話なども相手に聞こえてしまうなどの問題があり，聞かれている側は，音声を録られていることに対してライブカメラ以上に強い嫌悪感を抱いてしまう．
本研究では，音声情報を「賑やかさ」というパラメータに抽象化し，「賑やかさ」を部屋の雰囲気として花火を用いてライブカメラ上に重畳表示させる手法を提案する．情報を抽象化して表現する [2] ため，相手へのプライバシを配慮しつつ，ライブカメラに映像以上の情報を付加することができる．また，見る側も表示される花火から部屋の大まかな雰囲気を知ることができる．

Copyright is held by the author(s).
Takashi Nakamura and Shunsuke Minamitake andShigenori Suzuki and Shin Takahashi and Jiro Tanaka,
筑波大 学大学院 コンピュータサイエンス専攻, ErinaHayashi, 筑波大学第三学群情報学類 Ryoko Takebayashi,
筑波大学情報学群情報科学類ている．各部屋には部屋の全体が見渡せるようにライブカメラが設置されている．また，部屋の各所に設置されたマイクは，それぞれ PC に接続されており，その PC 上では音声情報の取得・解析を行うプログラムを実行する．音声取得プログラムでは，マイ∗

図 1. システム構成図

2

賑やかさの表示手法

我々は，離れた場所にある部屋の賑やかさを相手に伝えるためのシステム FestiCam (Festivity Camera) を実装した．FestiCam では，花火から受ける印象と賑やかさを結びつけやすいのではないかと考え，花火を用いてライブカメラ映像に重畳表示することで賑やかさを表現した．FestiCam で見ている
メンバは，打ち上げられる花火の大きさや数から部屋の賑やかさを把握することができる．

2.1 システム構成
FestiCam は，図 1 のようなシステム構成になっWISS 2009

図 2. 花火の種類

クから周囲の音を一定時間取得し，その音を解析する．その結果を集計サーバに送り蓄積する．ビュー
ア側では，集計サーバから取得した賑やかさの情報を基に部屋の賑やかさを表す花火のパラメータを決定し，ライブカメラから取得した映像に重ね合わせる．ビューアは個人の PC や共用のディスプレイなどで利用することが出来る．

2.2

賑やかさの取得の流れ

音声取得部では，まず，PC に接続されたマイクから一定時間の音声を取得する．次に，取得した音声のパワーの平均をとり，その音声パワーの平均からそのマイク付近の時刻 t の賑やかさ dt を決定する．
時刻 T の部屋全体の賑やかさ RT の算出は，ビューアで行う．ビューアでは，まず集積サーバから時刻 Tより一定時間 k 秒前の全マイクの dt (T −k ≤ t ≤ T )の値を取得し，RT を算出する．この RT の値から現在の状態の把握や表示する花火の数などを決定する．RT については，一定時間毎に更新される．

2.3 花火を利用した重畳表示
FestiCam のビューア側では，RT の値から表示する花火のパラメータを決定し，そのパラメータを元に図 2 のような花火を打ち上げる．花火のパラメー
タとしては，静かなときと賑やかなときの差をはっきりさせるために，「数」・「大きさ」・「種類」・「打ち上げ間隔」という 4 つのパラメータを用いた．そして，決定したパラメータに応じた花火のアニメーションを作成し，ライブカメラ映像に重畳表示する
ことによって現在の賑やかさを表現する．
「数」は画面上に表示する花火の最大数であり，「大きさ」は花火が完全に開いたときの大きさである．また，そのときに利用できる花火は「種類」から決定する．
「打ち上げ間隔」は，花火を打ち上げる時間の間隔である．これらのパラメータは，RT が大きいほど「数」や「大きさ」は増加し，「打ち上げ間隔」は短くなる．
「種類」については，RT が小さ
い場合図 2 の表示 1 のみであるが，RT が大きくなるにつれ，表示 2・3・4・5 と少しずつ利用可能な花火が増加する．
図 3 は「非常に賑やか」な状態を花火を用いて生成した画像の例である．非常に賑やかな場合，図 3のように大きな花火が沢山表示され，種類なども多い．また，花火自体も連続花火のように次々と打ち図 3. 非常に賑やかなときの表示例

上げられるため，ライブカメラ映像も非常に賑やかな印象を与える．一方，「静か」な場合には，1・2 種類の小さな花火が単発花火のように打ち上げられるため，ライブカメラ映像の全体の印象も寂しい感じになる．このように，花火のパラメータを変化させることで，状況に応じて花火から受ける印象を変化させることができる．

3

まとめ

本研究では，離れた場所にある部屋の会話の賑やかさを推定し，その賑やかさをライブカメラ上に重畳表示する手法を提案した．賑やかさに応じて表示する花火の種類や数などを変えることで，見る側は大まかな雰囲気を掴むことができる．
今後の課題として，現在の実装では RT のみで花火の全パラメータを変化させているが，部屋の雰囲気をより伝えるために，笑い声などの特定の音声を認識してし，それに合わせて表示する花火の種類を変化させるなど，RT 以外の情報も用いて花火を表現する．また，部屋の中の特に賑やかな地点をズームして表示する方法，効果音を用いて部屋のムードを表現する方法などの導入を検討していく．花火による表現の改良以外に，遠隔地間のコミュニケーションを促進するために，ライブカメラ映像を見た後，見ている側と見られている側でコミュニケーションをスムーズに開始するための方法も検討する．

参考文献[1] R. S. Fish, R. E. Kraut, and B. L. Chalfonte.
The VideoWindow System in Informal Communications. CSCW 90, pp. 1–11, 1990.
[2] 高橋 伸, 中村 卓, 田中 二郎. 漫画的手法を用いたライブカメラ画像上へのプレゼンス情報の表示. コ
ンピュータソフトウェア, Vol.24, No.3, pp. 29–40,
2007.