情報処理学会 インタラクション 2015
IPSJ Interaction 2015

C51
2015/3/7

大型マルチタッチテーブルトップ向けの4 本指シェイクを用いた仮想マウス
栗原 拓郎1,a)

志築 文太郎2,b)

田中 二郎2,c)

概要：本研究では，任意の位置から片手にて起動可能な，大型マルチタッチテーブルトップ向けの仮想マウスを示す．ユーザはこの仮想マウスを，4 本の指をタッチパネルに接触させ，手を振るように動かすジェスチャにより起動する．このジェスチャは既存のタッチ操作と競合しないため，ユーザは仮想マウスを大型マルチタッチテーブル上の任意の位置にて起動でき，かつ複数人が同時に起動できる．加えて，この仮想マウスでは，親指と薬指の間の距離を変えることにより Control-Display 比を動的に変更できるため，ユーザは素早く遠隔地をポインティングできる．

A Virtual Mouse using a Four Finger Shake on Large Multi-TouchTabletops
Takuro Kuribara1,a)Buntarou Shizuki2,b)Jiro Tanaka2,c)Abstract: We present a virtual mouse for large multi-touch tabletops. The virtual mouse is activated bya shake gesture with four fingers on the tabletops. The gesture allows a user to activate the virtual mouseanywhere on the tabletops without conflicting with other touch gestures. This gesture also allows multiple
users to simultaneously activate the virtual mice. Moreover, the user can point at far position quickly because
the virtual mouse can change control-display ratio according to the distance between the user’s thumb andring finger.

1. はじめにマルチタッチ操作を含むタッチ操作には，操作対象を直blahbla

hbla

blahhhbla

hbla
hbla

blahhbla

hblahblablah

トップにおいては，手が届かない領域（遠隔地）の操作がbla

blabhて困難な操作もある．例えば，大型マルチタッチテーブル

lelah
laTit h bla h b lah bh

接操作できるという長所がある一方，マウス操作と比較し困難である [2]．また，手の届く領域においても，タッチ操

bla

bla

bla

hb

hb

hb

作には，ユーザ自身の手によりタッチしたオブジェクト等

lah

lah

lah

Tit

lebla

bla

bla

hb

hb

hb

lah

lah

lah

bla

bla

bla

hb

hb

hb

lah

lahlahが遮蔽されるという問題もある [3, 6]．
これらの問題に対して，仮想マウスや仮想タッチパッド（例，[1]）等の，間接操作を可能とする GUI を用いる解決策がある．しかし，現状ではこれらの GUI は，任意の位
12a)b)c)

図 1
筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻
筑波大学システム情報系
kuribara@iplab.cs.tsukuba.ac.jp
shizuki@iplab.cs.tsukuba.ac.jp
jiro@iplab.cs.tsukuba.ac.jp© 2015 Information Processing Society of Japan

複数人による仮想マウスの使用．

Fig. 1 Using virtual mice by multiple users.

置において起動することができないため，複数人にて様々な位置から同時に使用されることの多い大型マルチタッチ

917

テーブルトップには向かない．

2.3 タッチパネルにおけるポインティング

本研究は，任意の位置から片手にて起動可能な，大型マタッチパネルにおいて，遠隔地をポインティングする手ルチタッチテーブルトップ向けの仮想マウスを示す．ユー法が研究されている．Parker らは，スタイラスの先端の影

ザはこの仮想マウスを，4 本の指をタッチパネルに接触さを用いてポインティングする手法 [11] を，Banerjee らは，せ，手を振るというジェスチャ（4 本指シェイク）により指を指す動作によりポインティングする手法を示した [4]．

起動する．4 本指シェイクは既存のタッチ操作と競合しな

また，栃原らは，指を用いてつまむジェスチャによりポイいため，ユーザは仮想マウスを大型マルチタッチテーブルンティングする手法を示した [16]．これらの手法は，ポイ上の任意の位置にて起動でき，かつ図 1 に示すように複数ンティングを実現するために追加のデバイスを必要とする人が同時に起動できる．加えて，この仮想マウスでは，親一方，我々の手法は追加のデバイスを必要としない．また，指と薬指の間の距離を変えることにより Control-Display

我々の手法と同様に追加のデバイスを必要としない遠隔地（CD）比を動的に変更できるため，ユーザは素早く遠隔地

ポインティング手法もいくつか存在する [2, 15] が，しかしをポインティングできる．

これらの手法では両手を用いる必要がある一方，我々の手2. 関連研究

法では片手のみにてポインティングできる．
タッチパネルでのポインティングにおける遮蔽を扱った

本手法を用いたユーザは，4 本指シェイクにより起動され関連研究も存在する．Shift [12] は指にて遮蔽された領域をる仮想マウスを用いて，タッチパネルにおけるポインティ遮蔽されていない領域にコピーし，指の下の選択されていングを行う．そこで，複数の指を用いた起動ジェスチャ，る点を視覚フィードバックにより示す手法である．また，仮想マウスに関する研究，およびタッチパネルにおけるポEscape [13] は選択したいオブジェクト近くの領域をタッインティングを扱った研究を示し，本手法の立ち位置を述チし，選択したいオブジェクトが示す方向に指をスライドべる．

させることによって選択を行う手法である．これらの手法と比較し，本研究では，仮想マウスによりポインティング

2.1 複数の指を用いた起動ジェスチャ
起動ジェスチャとして，複数の指を用いる手法はいくつか存在する．栗原らは，3 本の指の接触によってウィジェットを起動する手法を示した [8]．吉川らは，タッチした 2本の指の間をもう１本の指にて横切る手法を示した [14]．

を行うことによって指による遮蔽問題を解決する．

3. 提案システム
本節では，仮想マウスの起動方法，仮想マウスを用いたポインティング方法，仮想マウスの終了方法を述べる．

TouchTools [7] は，実世界における実物体を操作する際の手の形にてディスプレイを触ることによって，その実物体3.1 仮想マウスの起動を模したアプリケーションを起動するツールである．これ

ユーザは図 2a に示すように 4 本の指をタッチパネルにらの研究と異なり，本研究では，仮想マウスの起動のため接触させ，接触させた 4 本の指を図 2b に示すように振るに，4 本指シェイクを用いる．

ことにより仮想マウスを起動できる．仮想マウスの起動位置は図 2c に示すように 4 本の指の接触点の重心位置とな

2.2 仮想マウスに関する研究

る．タッチパネルに接触させた指を小刻みに動かして操作

マルチタッチパネルにおける仮想マウスの研究もいくつする研究 [10] を参考に，本研究では 4 本の指にてこの操か存在する．SurfaceMouse [5] は手の接触形状を認識する作を行うことを仮想マウスの起動ジェスチャとしている．

ことにより起動する仮想マウスである．ユーザは現実のマ

4 本指シェイクは既存のマルチタッチ操作と競合しないた

ウスと同様に左右のクリック操作に加えてスクロール操作

め，ユーザは任意の位置にて片手にて仮想マウスを起動でも可能である．この研究では，タッチパネルが手の接触形き，かつ複数人が同時に仮想マウスを起動できる．

状を認識する必要があるのに対し，我々の仮想マウスは複数のタッチ点のみを検出可能なマルチタッチパネルにて実3.2 仮想マウスを用いたポインティング装可能である．また，TouchTools の一つの例として仮想ユーザは起動時にタッチパネル面に接触させた親指を，マウスがあげられている．しかしその設計には CD 比の変接触させたまま動かすことによって，図 3 に示すように仮更，複数人による利用は考慮されていない．SDMouse [9]想マウスとカーソルを動かすことができる．この時，仮想は表示されているマウスカーソルをタッチすることによりマウスは，起動時の仮想マウスと親指の距離を保ったまま，起動する仮想マウスであり，ジェスチャによる CD 比の変

親指の動きと連動して動く．また，この時のカーソル位置更を可能とする．ただし，SDMouse の起動位置はカーソ

Pi (x, y) は以下の式によって表される．

ルの位置に依存するのに対し，本研究にて示す仮想マウスは任意の位置において起動可能である．

© 2015 Information Processing Society of Japan

Pi (x, y) = Pi−1 (x, y) + ki (Mi (x, y) − Mi−1 (x, y)),918

4 点のタッチa）

図 2b）

振るc）

カーソルマウス

4 本指シェイクを用いた仮想マウスの起動．a）タッチパネル面に 4 本の指にてタッチする．b）指を接触させたまま振るように動かす．c）4 本の指の接触点の重心に仮想マウスが出現する．

Fig. 2 Activating a virtual mouse using a four finger shake. a) When the user places his four fingers, and b) shakes them,
then c) the virtual mouse is activated.

ki = α ×

|Si |
.
|S0 |

(1)

3.3 仮想マウスの終了
ユーザはタッチパネル面から親指を離すことにより，仮

ここで，M0 は仮想マウスの初期位置であり，Mi は起動後想マウスを終了できる．

i フレーム時のマウスの位置である．α は定数であり、ki

4. プロトタイプ

は CD 比を表す．S0 は仮想マウス起動時の親指と薬指の距離であり Si は i フレーム時の親指と薬指の距離である．

マルチタッチパネルに Sony VAIO Tap 20 を，開発言語

すなわち、図 4 に示すように，親指と薬指の距離を広げるに WPF と C#を用いて，提案システムのプロトタイプをと CD 比を表す ki が大きくなり，逆もまた同様になる．2実装した．図 5 にプロトタイプを用いている様子を示す．

本の指の間の距離によって CD 比を変更する設計は，我々本プロトタイプでは，式（1）における定数 α を 2 とした．の先行研究 [15] と同様である．これにより，ユーザは大き試用の結果，仮想マウスおよびカーソルを移動させ，ターな CD 比による大まかなポインティングと，小さな CD 比ゲットを正しくポインティングできることが確認できた．にによる精密なポインティングを滑らかに変化させることにより，遠隔地を高速かつ精密にポインティングできる．

図 3

カーソルマウス

仮想マウスの移動とカーソルの移動．

Fig. 3 Cursor translation according to the virtual mouse.

図 5 プロトタイプシステムを試用している様子．

Fig. 5 A user uses the prototype system.
a)b）

5. まとめと今後の課題
本研究では，大型マルチタッチテーブルトップ向けの仮想マウスを示し，そのプロトタイプを実装した．ユーザは
図 4

親指と薬指の間の距離を用いた CD 比の変更．a）CD 比が低い状態．b）CD 比が高い状態．

Fig. 4 Dynamic C-D ratio according to the distance between
user’s thumb and ring finger. a) A small C-D ratio. b)
A large C-D ratio.

4 本指シェイクにより仮想マウスを起動し，遠隔地を含めた操作を指による遮蔽なく行える．また，4 本指シェイクは既存のタッチ操作と競合しないため，複数人が同時に任意の位置から使用できる．
今後は，ポインティング性能の評価および，ユーザのフィードバックを元にしたシステムの改良を行う．また，© 2015 Information Processing Society of Japan919

複数人での使用や，複数のディスプレイを連携させた際の[14]

本手法の有用性についても調査していく．
参考文献
[1]
[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

TouchMousePointer.
http://www.lovesummertrue.
com/touchmousepointer/ja-jp/.
Martha Abednego, Joong-Ho Lee, Won Moon, and JiHyung Park. I-Grabber: Expanding physical reach ina large-display tabletop environment through the use ofa virtual grabber. In Proceedings of the ACM International Conference on Interactive Tabletops and Surfaces, ITS ’09, pp. 61–64.
Pär-Anders Albinsson and Shumin Zhai. High precision
touch screen interaction. In Proceedings of the SIGCHIConference on Human Factors in Computing Systems,
CHI ’03, pp. 105–112.
Amartya Banerjee, Jesse Burstyn, Audrey Girouard, andRoel Vertegaal. Pointable: An in-air pointing techniqueto manipulate out-of-reach targets on tabletops. In Proceedings of the ACM International Conference on Interactive Tabletops and Surfaces, ITS ’11, pp. 11–20.
Tom Bartindale, Chris Harrison, Patrick Olivier, andScott E. Hudson. SurfaceMouse: Supplementing multitouch interaction with a virtual mouse. In Proceedingsof the fifth international conference on Tangible, embedded, and embodied interaction, TEI ’11, pp. 293–296.
Hrvoje Benko, Andrew D. Wilson, and Patrick Baudisch.
Precise selection techniques for multi-touch screens. In
Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI ’06, pp. 1263–1272.
Chris Harrison, Robert Xiao, Julia Schwarz, and Scott E.
Hudson. TouchTools: Leveraging familiarity and skill
with physical tools to augment touch interaction. In Proceedings of the SIGCHI Conference on Human Factors
in Computing Systems, CHI ’14, pp. 2913–2916.
Kazutaka Kurihara, Naoshi Nagano, Yuta Watanabe,
Yuichi Fujimura, Akinori Minaduki, Hidehiko Hayashi,
and Yohei Tutiya. Toward localizing audiences’ gaze using a multi-touch electronic whiteboard with spiemenu.
In Proceedings of the 16th International Conference onIntelligent User Interfaces, IUI ’11, pp. 379–382.
Justin Matejka, Tovi Grossman, Jessica Lo, and George
Fitzmaurice. The design and evaluation of multi-finger
mouse emulation techniques. In Proceedings of theSIGCHI Conference on Human Factors in Computing
Systems, CHI ’09, pp. 1073–1082.
Alex Olwal, Steven Feiner, and Susanna Heyman. Rubbing and tapping for precise and rapid selection on touchscreen displays. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, CHI’08, pp. 295–304.
J. Karen Parker, Regan L. Mandryk, and Kori M.
Inkpen. TractorBeam: Seamless integration of local andremote pointing for tabletop displays. In Proceedings ofGraphics Interface 2005, GI ’05, pp. 33–40.
Daniel Vogel and Patrick Baudisch. Shift: A techniquefor operating pen-based interfaces using touch. In Proceedings of the SIGCHI Conference on Human Factors
in Computing Systems, CHI ’07, pp. 657–666.
Koji Yatani, Kurt Partridge, Marshall Bern, andMark W. Newman. Escape: A target selection technique using visually-cued gestures. In Proceedings of theSIGCHI Conference on Human Factors in Computing
Systems, CHI ’08, pp. 285–294.

© 2015 Information Processing Society of Japan[15][16]

Takuto Yoshikawa, Buntarou Shizuki, and Jiro Tanaka.
Handywidgets: Local widgets pulled-out from hands. In
Proceedings of the 2012 ACM International Conferenceon Interactive Tabletops and Surfaces, ITS ’12, pp. 197–200.
栗原拓郎, 三田裕策, 大西主紗, 吉川拓人, 志築文太郎, 田中二郎. Handyscope：引き出しジェスチャによる遠隔地操作手法. コンピュータソフトウェア, Vol. 31, No. 3, pp.
284–293, 2014.
栃原直哉, 佐藤俊樹, 小池英樹. つまむ動作を用いた大型テーブルトップシステムにおける遠隔ポインティング.
WISS ’14, pp. 125–126. 日本ソフトウェア科学会, 2014.

920