対面型協調作業のためのタッチパネルとカメラを備えた携帯端末による共有画面操作環境の実現
北 口達也†

取越翔 太 郎††高 田 秀 志†近年，大型ディスプレイやプロジェクタスクリーンなどの出力デバイスが普及し，オフィスや会議室など様々な場所で共有ディスプレイとして利用されている．共有ディスプレイは複数人が情報を共有することに有効であるが，それを用いた協調作業を行うときは複数人での入力に対応した環境が必要な場合がある．本研究では，共有ディスプレイを各ユーザの携帯端末のタッチパネル上にカメラで映し，映された映像上でタッチ操作を行うことにより，共有ディスプレイに対する操作を行えるような入力環境を構築する．本環境では，共有ディスプレイ上に描画されたマーカの位置および姿勢をカメラから読み取り，マーカの位置とユーザがタッチパネル上で操作した位置から計算した画面上での相対的な位置情報を共有端末に送信し，対応する操作イベントを発生させる．これにより，各ユーザは離れた距離にある共有ディスプレイに対してタッチパネルを用いた直感的な入力で協調作業を行える．

A Shared Display Operation Environment
Using Mobile Devices Equipped with Camera and Touch Panelfor Face-to-face Collaborative Work
Tatsuya Kitaguchi,† Syotaro Torikoshi††and Hideyuki Takada†
Output devices such as large-sized displays or projector screens have been often used as ashared display in various sites such as oﬃces, conference rooms and so on. Shared displays
are useful in sharing information, however the environment supporting multiuser input is required for collaborative work. In this research, we build an input environment where users cancontrol the shared display by touch operation onto the shared display image captured by thecamera of the mobile device. In this environment, the mobile device receives the real locationand slope of the marker drawn on the shared display, sends relative location data between themarker and the point of user’s touch operation to the shared device, and invokes the control
event. In this way, users can perform collaborative work by intuitive input operation to thedistant shared display.

1. は じ め に

インターフェースの構成といった作業環境が異なる．
その中で，複数人で共有して使用する端末 (共有端コンピュータを用いた協調作業の形態の 1 つに，複末) の映像を大型ディスプレイやプロジェクタスクリー

数人が同じ場所に集まって行う対面型協調作業がある．

ンなどの大画面の出力デバイス (共有ディスプレイ) に

例えば，複数人で共有するための大型ディスプレイに映して情報共有や協調作業を行う環境においては，共議事録や議題などを表示させながら行う会議や，複数有ディスプレイ上の操作対象 (オブジェクト) への操台の PC を用意して行う共有のワークスペースでの共作方法が重要である．共有ディスプレイ上で作業する

同創作活動などが挙げられる．このように，それぞれ場合，ユーザはディスプレイから離れた位置で操作をの協調作業の目的によって適切な PC の台数や入出力行うため，マウスポインタを用いた間接的な入力操作を行うことが多い．一般的な PC 環境では，1 つの端† 立命館大学情報理工学部
College of Information Science and Engineering,
Ritsumeikan University†† 立命館大学大学院理工学研究科
Graduate School of Science and Engineering,
Ritsumeikan University

末に対してマウスポインタが 1 つあり，オブジェクトを操作するマウスのような入力デバイスがある．しかし，複数人での協調作業では，共有端末をユーザの 1人が代表して操作するだけでなく，各ユーザが同時に操作を行うことが想定されるため，特別な環境が必要情報処理学会 インタラクション 2011になる．例えば，複数のマウスを用意して各マウスに対応したマウスポインタを画面に描画するマルチマウ
ス環境があるが，画面上にユーザ自身のマウスポインタを含む複数のマウスポインタが混在するので，ユーザは自身のポインタを見失ってしまう場合がある．
複数人で各ユーザの操作したいオブジェクトを操作するには，タンジブルテーブルトップディスプレイで用いられるタッチパネルのような直接的な入力方法が有効であると考えられる．しかし，タッチ操作を壁面ディスプレイやプロジェクタスクリーンへの投映に対して行うには，ユーザとの距離が離れていたり，タッチ操作できる範囲に制限があるといった問題がある．

図 1 携帯端末を用いた共有端末の操作
Fig. 1 Operation for shared display with the mobiledevice

そこで本稿では，携帯端末のカメラで共有ディスプレイを映し，携帯端末のタッチパネル上に映されたオがある2) ．この手法では，カメラから取得した連続的ブジェクトを操作する環境を提案する．この環境によな画像を用いて，携帯端末を物理的に動かした軌跡をり，ユーザが共有ディスプレイから離れた位置にいる計算し，ディスプレイ上にあるオブジェクトやカーソ場合でも，タッチパネルを用いて直感的に操作できるルを操作する．オブジェクトの選択にはカメラによるようになることが期待できる．

マーカ認識を用いているので，複数人でも画面情報が次節では，共有ディスプレイを用いた協調作業につ混乱することはない．しかし，ユーザはオブジェクトいて述べ，3 節では提案する環境の構成と実装についの移動先を携帯端末の物理的な動作で指定しなければて述べる．また，4 節では適用例として試作したアプならないため，オブジェクトへの直接的な操作を行うリケーションについて考察する．最後に 5 節でまとめことができない．

をおこない，今後の課題と展望について述べる．

2. 共有ディスプレイを用いた協調作業
近年，大型ディスプレイやプロジェクタスクリーンなどが普及し，オフィスや会議室など様々な場所において，これらの出力デバイスが共有ディスプレイとして利用されている．

そこで本研究では，直感的な操作が可能なタッチパネルを搭載し，持ち運ぶことが容易で普段から持ち歩いている人が多いと考えられるタッチパネルとカメラを備えた携帯端末を用いる．

3. タッチパネルとカメラを備えた携帯端末による共有画面操作環境

このような共有ディスプレイ上での操作方法に関す本研究では，ユーザが手元の携帯端末のカメラで離る既存研究として，透明タッチパネルと USB カメラれた距離にある共有ディスプレイを映し，共有ディスを用いてユーザから離れた位置にあるディスプレイへプレイを携帯端末のタッチパネルに表示させることで，1)のタッチ操作を実現する手法がある ．この手法では，

図 1 のように共有ディスプレイに対してタッチ操作をユーザは透明タッチパネル越しに共有ディスプレイをしているような直感的な操作を可能にする環境を構築

見ながら手元の透明タッチパネルを操作することで離する．

れた場所にあるディスプレイのオブジェクトに対して

3.1 操作環境の構成タッチ操作を行う．このタッチ操作の位置と，手元の図 2 に本稿で提案する共有画面操作環境の構成を示

USB カメラで取得したユーザの視線の方向から，タッす．本環境は，共有ディスプレイとそれに接続されたチされた座標に対応するディスプレイ上の座標が計算

共有端末，タッチパネルとカメラを備えた携帯端末でされる．しかし，この手法では，透明タッチパネルや構成されている．携帯端末はワイヤレスネットワーク

USB カメラなどを設置して調整する必要があり，こを介して，共有端末と通信する．共有ディスプレイ上のような調整には手間がかかるので手軽にユーザ数をにはディスプレイ位置の目印となるマーカを描画させ増やすことができない．

る．ユーザは携帯端末のカメラでそのマーカを含む共

また，共有ディスプレイを用いた協調作業への容易有ディスプレイの画面を映しながらタッチ操作を行う．

な参加を可能にする方法に，普及が進んでいるカメ

共有端末と携帯端末で行われる主な処理の内容を以ラ付き携帯端末を入力インターフェースに用いる手法

下に示す．

対面型協調作業のためのタッチパネルとカメラを備えた携帯端末による共有画面操作環境の実現

図 2 共有画面操作環境の構成
Fig. 2 Structure of the shared display operation
environment

図 3 タッチイベント発生時の処理
Fig. 3 Processing flow for the touch event

共有端末
共有端末は，アプリケーションの動作と並行して携帯端末からの接続要求を受け付ける．携帯端末

ディスプレイでの実際の座標に変換する．

(6)

共有ディスプレイのオブジェクトに対して，変換された座標上での操作イベントを発生させる．

からの接続要求が送られたとき，携帯端末からの3.3 タッチ操作座標の変換

操作と位置情報を受信するために新たにスレッド

携帯端末でタッチ操作した位置座標を共有ディスプを立ち上げることで複数の携帯端末と通信を行う．

レイ上の実際の座標に変換するために，マーカとマー

これによって複数の携帯端末から操作を行うこと

カ平面上のタッチ座標の相対的な位置情報を計算する．

を可能にする．
携帯端末

携帯端末のカメラから取得した映像からマーカの位置を検出するために，「ARtoolkit」3) のマーカ認

携帯端末は，共有端末に接続要求を送信する．要識技術を用いている．今回は Android 上で動作する

求が受け付けられたとき，携帯端末はカメラでARtoolkit ライブラリである「NyARtoolkit for An-

映した映像をタッチパネル上に表示し始める．カ

droid」4) を使用する．マーカには ARtoolkit で用いらメラから得た映像に対してマーカ検出を行い続れる正方形の AR マーカを使用する．

け，タッチイベントが発生した場合にタッチ位置

図 4 に携帯端末のスクリーン上でのタッチ座標を，をマーカとの相対的な位置情報に変換して共有端共有ディスプレイ上の座標に変換する方法を示す．携末に送信する．

帯端末上では，カメラで映されたマーカの大きさや歪3.2 タッチイベント処理の流れみから，マーカの位置と姿勢を検出する．撮像面上の携帯端末上のタッチ操作を共有端末に送るときの処

タッチ操作した座標とカメラ座標系の原点座標を結ん

理の流れを図 3 に示す．以下に，図中に番号付きで示だ直線と検出されたマーカが存在する平面との交点座した処理の詳細について述べる．

標を計算する．これを用いて，マーカの中心を原点と(1)(2)(3)

携帯端末のタッチパネルのタッチされた座標をし，マーカの高さおよび幅に対する相対的なタッチ座取得する．

標を求めることができる．求めた座標は共有ディスプ

カメラの映像からマーカを検出する．失敗した

レイ上に送信され，実際に表示されているマーカの大場合は終了する．

きさによって，画面上の座標に変換される．

タッチ操作座標をマーカ基準の位置情報に変換する．

(4)

変換された位置情報と操作イベントを共有端末に送信する．

(5)

4. 適 用 例
本節では，本環境を適用したアプリケーションを試作した結果について考察する．

受け取ったマーカ基準の位置情報を共有ディス本環境を適用して構築した，パズルピースを格子状プレイのマーカの位置と解像度を用いて，共有の枠にはめて完成させるパズルアプリケーションの利情報処理学会 インタラクション 2011

図 4 タッチパネルと共有ディスプレイ間の座標変換
Fig. 4 Point transformation between coordinate systemsof the touch panel and the shared display

図 5 共有ディスプレイの映像へのタッチ操作
Fig. 5 Touch operation onto the shared display image

用シーンを図 5 および図 6 に示す．このアプリケーションは，1 枚の写真をバラバラにして作成されたパズルピースを元の写真が完成するように並べていくものである．ユーザは，共有ディスプレイに映されたパズルを携帯端末のタッチパネルで操作する．
適用したアプリケーションは多少の遅延があるものの携帯端末を用いて問題なく操作することができた．
また，ディスプレイに対して斜め方向からの入力に対しても，ARtoolkit 内の処理によりマーカが認識されている限りはパズルピースを操作することができた．
しかし，生じた問題として，タッチパネル上の小さなオブジェクトに対しての操作が難しいこと，および，

図 6 パズルアプリケーションでの協調作業
Fig. 6 Collaborative work using puzzle application

ユーザの思っている位置と実際に操作が行われた位置がずれてしまうことがあった．後者の問題は，タッチパネルの認識する 1 点とユーザの感覚がずれたことも原因の 1 つと考えられる．解決策として，タッチした位置座標から近い位置にあるオブジェクトに対して操作を実行するように，アプリケーション側で座標のずれを補正するような方法が考えられる．

5. お わ り に
本稿では，対面型協調作業における共有端末を携帯端末のカメラとタッチパネルを用いて複数人で同時に操作を行うための環境を提案し，本環境の概要，構成，実装方法，適用例について述べた．今後は，操作性の問題点を改善すると共に，より実用的なアプリケーションでの評価実験を進める予定である．

参 考文献1) 杉田馨, 高倉潤也, 山内康晋：透明タッチパネルを用いた遠隔ディスプレイ操作システム, 電子情報通信学会技術研究報告 MVE, Vol.108, No.490,pp.57–60 (2009).
2) Seokhee Jeon, Jane Hwang, Gerard J. Kim,
Mark Billinghurst: Interaction with large ubiquitous displays using camera-equipped mobilephones, Personal and Ubiquitous Computing,
Vol.14, No.2, pp.83–94 (2010).
3) 加藤博一：拡張現実感システム構築ツール ARToolKit の開発, 電子情報通信学会技術研究報告
PRMU, Vol.101, No.652, pp.79–86 (2002).
4) NyARToolkit for Android プ ロ ジェク ト 日
本 語 トップ ペ ー ジ - SourceForge.JP, 入 手
先 ⟨http://sourceforge.jp/projects/nyartoolkitand/⟩(参照 2010-12-19)．