実世界の映像を用いた書き置きを可能とする
テーブルトップシステム
中井川峻†

高橋伸†

田中二郎†

書き置きと実世界の映像を用いたビデオメッセージとを組み合わせることにより，机などの平面を介した非同期コミュニケーションを可能とする手法を提案する．書き置きのように手を使った実世界上でのメッセージ記録・閲覧操作を可能とすると共に，カメラ映像を用いて離れた居室の机を宛先として選択可能にすることで，居室内・居室間における直感的なメッセージ伝達の実現を目指す．本稿では，テーブルトップシステムとして実装したプロトタイプにおけるインタラクションについて述べる．

A memo system on table top using video in real world
SHUN NAKAIGAWA†

SHIN TAKAHASHI†JIRO TANAKA†

We present a technique which enables user to have asynchronous communication using surfaces such as
digital tables. Our prototype allows user to manipulate a memo, in real world, or recorded video message.
Using our prototype, user can read and record messages, and it is also possible to send that message to livingroom or desktop in remote space. We expect our system is to provide an intuitive technique for exchange ofmessage. In this paper, we describe details of interaction of the prototype which is implemented on table topsystem.

1. はじめにションに関する研究は少なく，実世界の映像を気軽に，遠隔・非同期的に伝達することは困難である．

電子メールが普及した現在でも，オフィスなどにおそこで本研究では，書き置きとビデオの持つ利点をいてメモ用紙とペンを利用した書き置きが用いられて合わせ，実世界の映像を用いたビデオメッセージ（以いる．書き置きは，不在の相手にメッセージを伝える

降，ビデオメモ）を書き置きのように扱うことのできための非同期・蓄積型のコミュニケーションに用いるるシステムであるビデオメモシステムを提案する[1]．

ことができる．また，物に貼り付けることによりメッ本システムは，ビデオメモの作成・閲覧等の操作を実セージが貼りつけられた物に関連していることを示し世界上で行うことで，実世界の映像と実世界上での位たり，A さんの机に貼りつけることで宛先が A さん置を組み合わせ，書き置きのように気軽な感覚で机をであることを示したりすることが可能である．これら

介した居室内・居室間の非同期ビデオコミュニケーシの特徴から，非同期型コミュニケーションの中でも特ョンを可能とするものである．に視覚的な情報などの実世界情報と関連付けたメッセージの記録が容易であると考えられる．
ま た ，実世界情報の伝達が可能なツールとしてSkype などの遠隔ビデオコミュニケーションツールが本稿では，我々がテーブルトップシステムとして開発してきたプロトタイプついて述べる．

2.

ビデオメモシステム
ビデオメモ普及している．遠隔ビデオコミュニケーションは，実2.1

世界の物体の様子や利用者の身振り手振り，音声など本研究におけるビデオメモとは実世界映像を用いたを遠隔地に居る人に伝達することが可能であり，テキ電子的な書き置きであり，実世界上に表示して情報をストによるコミュニケーションでは成し得ない大量の伝達するための媒体である．今回実装したテーブルト

情報のやり取りを，遠隔地間で気軽に行うことができ

ップシステムでは，ビデオメモを記録する際に，図１る．しかし，遠隔「非同期型」のビデオコミュニケーのように机上方のカメラから取得した机の映像・音声を用いる．作成者の視点に近い映像を記録することに† 筑波大学 コンピュータサイエンス専攻
Department of Computer Science, University of Tsukuba

より，机上の物体，文字や図，それらをビデオメモの情報処理学会 インタラクション 2011

作成者が指示した様子，動かした様子，身振り手振り割り当てた．これは，書き置きを書き始めるためにメなど，多くの実世界情報を記録し，作成者と視点を共モ用紙を押さえる動作と，書き置きを書き終えてメモ有しながら閲覧者に伝達することが可能である．また，用紙を貼り付ける動作が，手を開いて机の上に置くと音声はテキストに比べ即時記録性に優れるため，考えいう点で叩く動作に類似しているという特徴に着目したことをそのままの状態により近い形で素早く記録すたためである．これにより，簡単かつ自然な動作によることが可能である[2]．

る素早い情報記録を可能にすると共に，ビデオメモの作成したビデオメモは，図２に示すようなアイコンとして投影される．このアイコンのサイズは，閲覧さ記録開始から貼り付けまでの操作に一貫性を持たせている．

れるまでの間大きくなっていくことにより，対象者がまた，ジェスチャにより手書きの線を描く機能を実未閲覧のビデオメモの存在に気付くきっかけを与える．

装した．ペンを持つように親指と人差し指を合わせることにより描画を行い，離すことで描画を止めることができる（図３）．これにより簡単な絵や文字を描くことが可能となる．
ビデオメモを作成する際の流れは以下に示す通りである．
①

机をポンと叩くことで，机にRecordingという文字列が表示され，全体をカバーする映像と音声の記録が開始される．

②

机に対し，音声や身振り手振り，手書きを用いたメッセージを伝える．

③

もう一度机をポンと叩くことで，ビデオメモの記録を終了し，叩いた位置にビデオメモが貼りつけられる．

図 1 ビデオメモシステムの概要

図 3 手書き線の描画ジェスチャ
2.3

離れた居室にある机へのビデオメモの貼り付
け

本システムでは，ローカルへの書き置きだけでなく，離れた居室にある机を対象としたビデオメモの貼り付
図 2 机上に投影されたビデオメモアイコン

けを可能としている．その操作は宛先選択とビデオメモの貼り付けという２つに分けられる．

2.2

ローカルの机へのビデオメモの貼り付け

宛先の選択には，離れた居室全体の様子を撮影したビデオメモを記録し，机に貼りつけるためには，机映像を用いる．ユーザはローカルの机に表示された，に対して手を用いたジェスチャ操作を行う．ビデオメ

離れた居室の映像から，宛先となる机を選択できる．

モの記録を開始する操作とビデオメモの記録を終了し机自体を宛先として用いるという書き置きの特徴を利貼り付ける操作には，手の平で机を叩くジェスチャを用することで，机を介した自然なコミュニケーション実世界の映像を用いた書き置きを可能とするテーブルトップシステムの実現を目指している．ここで，机を選択するためのアイコンを半透明にすることで，対象者の着席状態を確認可能としつつも，プライバシーに配慮した．
宛先となる机を選択すると，その机の映像がローカルの机に表示される．その状態で，ローカルの場合と同様にビデオメモの記録・貼り付け操作を行うことで，選択した机にビデオメモを貼り付けることができる．
これにより，対象となる机に置かれた物や貼りつけられたビデオメモを指示しながらメッセージを記録できる．
離れた居室の机へビデオメモを記録する流れを図５に示す．まず，ユーザは机の右端を指差すことにより，図５の①に示すような，対象となる机のある部屋を選択するためのメニューを表示する．その後の操作について，図５内の番号に合わせて以下に説明する．
①

部屋を表すメニューアイコンを1秒間指差すことによりビデオメモの対象となる部屋を選択する．

②

選択された部屋のライブカメラ映像が投影され，机の位置に重畳表示したアイコンを1秒間指差すことで，ビデオメモの対象となる机を選択する．

③

選択した机の天井に設置されたカメラ映像が操作している机に投影される．机を叩くジェスチ
ャを行うことで，操作している机全体の映像と音声が記録され始める．

④

再び机を叩くジェスチャを行うことで，相手の机上の叩いた位置にビデオメモが貼りつけられる．
2.4

ビデオメモの閲覧

机上のビデオメモアイコンを１秒間指差すことで，ビデオメモに記録された映像を閲覧することができる．
再生が開始されるとビデオメモアイコンをアニメーシ
ョンとともに机全体に拡大する（図４）．これにより，映像上の物体位置や作成者が指示した位置などを，そのままの大きさと位置で机上に重ね合わることが可能であり，直感的なメッセージの伝達が実現できると考えられる．

図 5 離れた居室にある机へのビデオメモ記録

ビデオメモに記録された記3.

システムの実装

録者の手
ソフトウェアの開発には C＋＋を用い，画像処理用のライブラリとして OpenCV を利用した．また，本システムのハードウェア構成は図６に示す通りである．
図 4 再生中のビデオメモ

今回の実装では，各机に設置するシステムに加え，離情報処理学会 インタラクション 2011

れた居室の映像から机を選択するために，天井に設置とにより，非同期遠隔コミュニケーションを可能とすした全方位型のライブカメラを用いている．

るソフトウェアである．これに対し，本研究では実世界上の映像を，実世界上で記録・操作することが可能であるため，より実世界の情報を記録し易く，記録された情報へのアクセスも容易であると考えられる．
また，非同期遠隔コミュニケーションを可能とする
テーブルトップ型インタフェースとしては，TablescapePlus を拡張したシステム[5]が挙げられる．
このシステムでは，PDA を用いてメッセージを作成し，机上に置かれた物体のシルエットと文字による書き置きを遠隔地のシステムに送ることが出来る．これに対し，本研究ではライブカメラ映像とハンドジェス
チャを用いた直感的な宛先選択を行うことが可能である．また，メッセージに実世界映像を用い，短時間により多くの情報を記録可能であると言える．

5.

まとめと今後の課題
映像と音声を用いた書き置きであるビデオメモを，実世界の机に対するジェスチャによりローカルの机や離れた居室の机に貼り付け，机を介した居室内・居室間の非同期コミュニケーションを実現するシステムを
図 6 ハードウェア構成提案し，その実装を行った．
今後は，システムの評価実験を行うとともに，コミ

3.1

指先の認識

今回の実装では近赤外線カメラと再帰反射材を用いた指先認識を採用した．再帰反射材は入射した光を入射した方向に強く反射する．これを指輪状にして指に付け，赤外線投光器を装着した赤外線カメラによって撮影することにより，反射材部分のみが赤外線を強く反射するため， 動画像が投影された状況においてもロバストな指先の認識が可能となる．
3.2

叩くジェスチャの認識

手の平で机を叩くジェスチャの認識には，机に設置したマイクから得られる音を利用した．マイクから入力された音の波形から，閾値を越えた音量を持ち，かつその部分の短さが閾値より短い場合を特定のジェスチャとして認識する．また，机に対するジェスチャ操作を行う場合，当然机上に指先が存在する．よって，指先が認識されなければ，ジェスチャではないと判断する．

4.

関連研究
マルチメディア情報を用いた非同期遠隔コミュニケーションシステムとして，Notification Collage[4]が挙げられる．ユーザ間で共有するビジュアルな掲示板上にライブカメラから取得した画像などを貼り付けるこュニケーションの要素として重要だと思われる返信部分について検討していく予定である．

参考文献

1) 中井川峻，高橋伸，田中二郎: 遠隔地との非同期ビデオコミュニケーションを可能とするデス
クトップメモシステム，ヒューマンインタフェースシンポジウム 2010, pp.885-888 (2010).
2) 米澤朋子, 山添大丈, 寺澤洋子: ユーザ周囲の仮想ポータブル相対空間に貼って剥がせる音声の付箋，17th Workshop on Interactive Systems andSoftware (WISS 2009) 論文集, pp.149-150 (2009).
3) Koike, H., Sato, Y., Kobayashi, Y.: Integrating paperand digital information on EnhancedDesk: a method
for realtime finger tracking on an augmented desksystem ， ACM Transactions Computer-HumanInteraction, pp. 307-322 (2001).
4) Rounding, M., Greenberg, S.: The Notification
Collage: Posting Information to Public and Personal
Displays，In Proceedings of SIGCHI’01, pp.514521 (2001).
5) 松下光範, 松田昌史, 筧康明, 苗村健: 遠隔地間の非同期コミュニケーションを可能にするテー
ブル型システム，インタラクション論文誌, pp.
213-214 (2007).