記憶の石： マルチタッチを利用した複数計算機環境
池松 香

1(指導教員：椎尾 一郎)

はじめにデスクトップやノートブックパーソナルコンピュータ (PC)，小型携帯端末（スマートフォン），タブレッ
ト PC など，多彩な形態のコンピュータ利用が一般的になりつつある．このようにコンピュータがユビキタスな存在になった結果，複数のコンピュータ機器を使いこなすユーザが増え，一般生活の中でそれらを同時に扱う場面も珍しいことではなくなった．そこで，一つのコンピュータに表示されている情報を別のコンピュータに転送するなどの，複数コンピュータにまたがる操作をわかりやすく直感的に実現するユーザイン
タフェースの必要性 [2] は，ますます高まっている．
現在，複数・異種コンピュータ間の情報移動には様々な手段があるものの，その操作手段は煩雑であり，ユーザの負担が大きい．
本研究では，多くのコンピュータ機器に標準搭載されつつあるマルチタッチデバイスを利用した，複数コンピュータ間のコピー・アンド・ペースト操作技法「記憶の石」(Memory Stones) を提案する．これは，コンピュータ画面に表示されている情報を複数の指でつまみ上げ，それを別のコンピュータまで運び，その画面に置くという直感的な操作によりコピー・アンド・ペーストを実現するユーザインタフェース手法である．

2

図 1: システム概要
一般的なコンピュータ機器に標準装備されていない特殊なハードウェアが不要な方法を目指した．

3

記憶の石

現実世界では資料などをつまみ上げ，別の場所へ置くことで物体の移動が可能である．また，何か固いものを指で持ち上げてから置くまでの間，指の形はほぼ変わらない．本研究で提案する記憶の石は，画面に表示された情報を，ユーザが指でつまみ上げ，別のコンピュータに運び・置く動作をパントマイムすることで複数コンピュータ間でのコピー・アンド・ペーストを直感的に実現するユーザインタフェース手法である．また，コピーとペーストが成功裏に行われる事を示すた
めに，情報を象徴する石（記憶の石）の映像を一時的に表示する視覚効果の導入も試みた．
本方式は，マルチタッチ対応のタッチパネルに触れた複数指の位置を検出し，これが形作る多角形の形状から機器のペアリングを行い，コピーとペーストを対応付け，複数コンピュータ間での情報のやりとりを実現する．また，マルチタッチ端末でユーザが行う複数指ジェスチャは，ユーザ認証に有効である [4] から，接続する機器を高い精度で指定する方法として実用性が期待できる．

関連研究

タンジブルなデバイスやセンサを用いて，ネットワーク経由のペアリングを直感的に行うための研究として以下がある．Shake Well Before Use [1] はモバイル機器に内蔵した加速度センサーを利用し，これを振る動作にを利用してペアリングする．SyncTap [3] は，2 つのデバイスを同時にタップしたことを利用して，コンピュータ同士のネットワーク接続を確立しデータ転送を行う．また製品化されているものでは，NFC タグや内蔵機器を利用したペアリング1 や，同じネットワーク内にあるネットワーク接続プリンタを自動検出してメニューに提示する方式2 などがある．
一方，情報のコピー・アンド・ペーストなどの操作と，1 対のコンピュータ機器を識別・接続する操作を，同時に継ぎ目なく行うための操作方法としては，以下のような提案がされている．Pick-and-Drop[2] は，従来のドラッグ・アンド・ドロップ操作と同様に，ディスプレイ上のアイコンなどのオブジェクトをペンデバイスを用いることで情報の移動を実現するシステムである．また，GoldFish [5] では機器に NFC タグを貼り付け識別可能にし，これにモバイル機器を向けて傾ける操作を行うことで，データの受け渡しを実現している．
本研究では表示情報の直接的な操作で機器のペアリングと情報転送の両方がシームレスに行える方向を目指した．また，実用性の高い手法を目標としたため，

4実装

試作システムは，Apple 社の iOS5 及び Mac OS 10.7のアプリケーションとして実装した．これらの OS は小型携帯端末 (iPhone)，タブレット PC (iPad)，ノート
ブック PC，デスクトップ PC のすべてにマルチタッチ機能を提供していることから，実装のプラットフォームとして選択した．

5

システム概要本アプリケーションは，iOS および OS X 上に WWWページを表示する web ブラウザとして機能する．ユー
ザが画面やトラックパッドに複数指でタッチすると，表示されている WWW ページの URL がコピーされる．次に，本アプリケーションが稼働している別の機器にタッチすると，先の URL のページが表示される．
これによりユーザは，指を使ったドラッグ・アンド・ドロップを行うことができる．

1 http://www.nfc-forum.org/resources/AppDocs/
NFCForum AD BTSSP 1 0.pdf
2 http://www.apple.com/iphone/features/airprint.html

1

1

様々な判定閾値に対する，被験者の平均 FAR 及びFRR を図 2 に示す．横軸は，比較に用いる閾値の値（mm）であり，縦軸は，FRR と FAR のエラー率である．ここで，FRR の数値が高いことは同一ユーザの操作を認識出来ない可能性が高いことを表し，一方，FAR の数値が高いことは他ユーザと誤認する可能性が高いことを示す．また，分布グラフの交点のエラー率を等価エラー率 (EER : Equal Error Rate) と呼ぶ．
この結果から判定の閾値を、FAR と FRR が一致しEER となる値、9.0mm に定めた．この場合，FAR，FRR は 10%程度であり，さらに実際にはタイムスタンプや位置情報によるフィルタリングを行っているので FAR の値は低減できるため実用的であると言える．

10.90.9× FAR of each subject○ FRR of each subject

0.8

0.8

0.7

0.7

0.6

0.6

0.5

0.5

0.4

0.4

0.3

0.3

0.2

0.2

0.1

0.1

08001234567891011121314

複数計算機環境での協調的な情報の移動操作をより直感的に，有効に行うコピー・アンド・ペースト手法「記憶の石」を提案・システム実装をした．次に，実装したシステムを使用し，FAR，FRR の値を用いて閾値を決定した．適切と考えられる閾値を採用した場
合，FAR，FRR ともに 10%程度であった．
今後は，更に被験者を増やし多数の実験を行い，指先位置検出の手法と閾値の最適化を行う予定である．
一例として，現在は全ての線分に対し同一の閾値を適用しているが，これを線分長に対する割合にすることを検討したい．また，shoulder surfing を受けた際に，どの程度の指先配置情報の類似度となるかについて評価実験及び考察を行う予定だ．

Threshold (mm)

図 2: 閾値毎の FAR と FRR の平均

6システム動作本アプリケーションで情報移動を行う手順を，図 2で説明する．ユーザがコピー元の機器にマルチタッチ
すると，この機器は，タイムスタンプ，位置情報，表示していた WWW ページの URL，機器固有の ID, 及
び指先配置情報 (座標同士を繋いだ多角形の辺長の情報) を，本システムのために用意したサーバに送信す
る．次にユーザがペースト先の機器にタッチすると，こちらの機器はサーバー上にあるログファイルからタイムスタンプのデータを取得する．現在時刻とタイムスタンプの時間差が一定時間以内であれば，そのタイムスタンプと関連づけられている多角形辺長情報を参照し，同じ指先配置であるかどうかの判定を行う．ここでの判定には多角形の合同条件を用いている．合同と判定された場合，サーバーから WWW ページの URLを取得し，ペースト先の機器で開く．なお，本方式では，指先位置を結ぶ線分を昇順に並べた時に，すべての対応するの線分長の差が設定した閾値以内である場合に，同じ指先の形と判定している．

7

参考文献[1] Mayrhofer, R. and Gellersen, H.: Shake well before use: authentication based on accelerometer
data, in Proceedings of the 5th international conference on Pervasive computing, PERVASIVE’07,
pp. 144–161, Berlin, Heidelberg (2007), SpringerVerlag.
[2] Rekimoto, J.: Pick-and-drop: a direct manipulation technique for multiple computer environments, in Proceedings of the 10th annual ACM
symposium on User interface software and technology, UIST ’97, pp. 31–39, New York, NY, USA(1997), ACM.

判定閾値の決定

先ほど説明した閾値を適切に設定するために，9 人の被験者 (いずれも女性，大学生および大学院生，右利き) に，iPad 間での情報 (web ブラウザで閲覧中のページ) の移動を行うタスクを 40 回ずつ合計 360 回行ってもらい，指先配置情報を取得した．
この被験者がタスクを行った指先位置情報を用いて，他人受容率 (FAR：False Acceptance Rate) と本人拒否率 (FRR：False Rejection Rate) を算出した．ここで FAR 及び FRR の定義式を以下に示す．

F AR =F RR =

まとめ[3] Rekimoto, J.: SyncTap: synchronous user operation for spontaneous network connection, Personal Ubiquitous Comput., Vol. 8, No. 2, pp. 126–134 (2004).

他人受容回数
試行回数(1)[4] Sae-Bae, N., Ahmed, K., Isbister, K. andMemon, N.: Biometric-rich gestures: a novel
approach to authentication on multi-touch devices, in Proceedings of the 2012 ACM annual
conference on Human Factors in Computing Systems, CHI ’12, pp. 977–986, New York, NY, USA(2012), ACM.

本人拒否回数
試行回数(2)[5] 増井俊之, 橋本翔 FAndroid 携帯で NFC タグを読み取る「GoldFish」の概要と応用事例, インターフェース, Vol. 38, No. 4, pp. 91–96 (2012-04).

2