WISS 2019

レイキャストによる引出しジェスチャを用いた大型ディスプレイ向けの操作手法
藤田 俊 ∗

栁原 直貴 ∗

志築 文太郎 †高橋 伸 †

概要.
大型ディスプレイをタッチにて直接操作することが困難な状況がある．我々は，遠くの大型ディスプレイ向けの操作手法として各指からのレイキャストによる引出しジェスチャを提案する．レイキャス
トによる引出しジェスチャは非利き手から放たれる 2 点以上の基準ポインタを結んだ線分を利き手から放たれる引出しポインタが交差することによって行われる．本手法による操作はレイキャストによる操作であってもタッチによる操作であっても，ポインタの動きが同一であれば全く同じ操作になる．

1

はじめにテーブルトップディスプレイおよび垂直ディスプ
レイを代表とする大型ディスプレイには，ユーザがタッチにて操作することが困難な状況が存在する．
例えば，大型ディスプレイに対する操作を複数名が同時に行う場合，ディスプレイの前にユーザが密集するために一部のユーザがディスプレイに近寄ることができずに操作ができない状況 [2] がこれに相当する．
ユーザが大型ディスプレイに直接タッチして操作することができないとき，その操作を空中インタラクションにて代替する手法がこれまで研究されてきた．Tochihara ら [4] は，大型ディスプレイの手が届かない領域に対する操作を，ピンチジェスチャにて起動するポインタによって行う手法を提案している．また，Banerjee ら [1] は，ユーザから離れた大型ディスプレイに対して複数のポインタを使う操作手法を提案している．ユーザが特定の手形状をとることあるいは空中の仮想的な平面を指先が超えることをディスプレイへのタッチとみなすことによって，マルチタッチのような操作を実現している．
本研究では，マルチタッチジェスチャとして提案されていた引出しジェスチャ [5] をレイキャストによるジェスチャに拡張し，遠くの大型ディスプレイに対する操作を実現する（図 1）．

2

レイキャストによる引出しジェスチャ

レイキャストによる引出しジェスチャは，両手の各指からのレイとディスプレイの交点（ポインタ）の位置の変化を元にしたジェスチャである．レイキャストによる引出しジェスチャを図 1 に示す．ユーザは非利き手の 2 本以上の指に対応するポインタ（基準ポインタ）および利き手の指に対応するポインタ（引出しポインタ）にてジェスチャを行う．基準ポイ
Copyright is held by the author(s).
筑波大学コンピュータサイエンス専攻†
筑波大学システム情報系∗

基準ポインタ
引出しポインタ

図 1. レイキャストによる引出しジェスチャ．基準ポインタを結ぶ線分を引出しポインタが交差する動きをジェスチャとする．

ンタを結ぶ線分を引出しポインタが交差すると，基準ポインタの中点に存在するオブジェクトに対して引出しジェスチャが行われる．なお，ユーザがタッチした状態にて通常の引出しジェスチャを行った場
合にも，ポインタの動きはレイキャストによる引出しジェスチャを行った場合と同一であるため，結果も同一である．
レイキャストによる引出しジェスチャは，基準ポインタの数，基準ポインタがなす形状 [3]，引出しポインタの数およびクロッシングの方向別に異なる操作を割り当てられる．この他にも，基準ポインタを結ぶ線分に対して引出しポインタを素早く複数回交差させる動きを新たなジェスチャとして利用できる．

3実装

本プロトタイプの実装にモーションキャプチャシ
ステム（Optitrack Flex 3）および大型ディスプレイ（Panasonic TH-50PH12）を用いた．ユーザは使用時に手にマーカを装着する必要がある（図 2 の通り非利き手に 5 個，利き手に 3 個）．モーションキャプチャシステムから得られるマーカの座標を用いて，本プロトタイプはレイを投影する．本実装では，非利き手の親指と人差し指，および利き手の人差し指を位置追跡しており，これら 3 本の指からのレイは各指の MP 関節から指先の方向へ投影される．
本実装において，レイキャストによる引出しジェスチャを行った様子を図 2 に示す．

WISS 2019

出しジェスチャを行うとこれらの変形操作が可能になる．再度引出しジェスチャを行うことによってオブジェクトは固定される．

4.3

図 2. 実装したレイキャストによる引出しジェスチャ（指先からのレイは描き込んだもの）．

4

利用例

本節ではレイキャストによる引出しジェスチャの利用例を示す．

4.1

引出しメニュー

引出しメニューは，大きさおよび方向をユーザが指定可能なメニューである（図 3）．メニューは引出しジェスチャにて起動され，完全に引出されるまでユーザはその方向を基準ポインタの中点から引出しポインタに向けた方向，大きさを基準ポインタ間の線分の長さにて指定できる．引出しが完了するとメニューの方向および大きさは固定され，メニューの位置は基準ポインタ間の線分に追従する．引出しが完了したメニューの各項目は引出しポインタのクロッシングにて選択される．
この設計により，複数のユーザがディスプレイに対してそれぞれ異なる方向から操作する状況において，個々のユーザはメニューの向きを指定でき，遠くのディスプレイを操作する状況においても，メニューの大きさを調整できる．なお各項目から再度メニューを引出す操作を加えることによって，階層的なメニューを実現できる．

引出しキーボード

引出しキーボードは，クロッシングのみで入力可
能な 1 次元キーボードである（図 4）．テキストボックス上にて引出しジェスチャを行うと，そのテキストボックスにフォーカスしたキーボードが起動する．
文字入力は引出しポインタがキーを交差するたびに行われる．基準ポインタ間の間隔が大きい場合には大文字が，小さい場合には小文字が入力される．なお，引出されたキーボードは基準ポインタに追従するため，ユーザはキーボードを操作しやすい位置に移動できる．
shift
A B C Dshift

E F G HI J K LM N O

P Q R ST U V WX Y Z

space enter

図 4. 引出しキーボードにて文字入力を行う様子．
“hello”と入力している．

5

おわりに

本研究では，遠くの大型ディスプレイ向けの操作手法としてレイキャストによる引出しジェスチャを提案し，利用例を複数示した．
今後は，レイキャストによる引出しジェスチャおよび提案した各利用例の評価を行う．また本手法を用いたアプリケーションを作成し，複数名にて同時に操作した時の評価を行う．

参考文献[1] A. Banerjee, J. Burstyn, A. Girouard, and
R. Vertegaal. MultiPoint: Comparing Laser andManual Pointing as Remote Input in Large Display Interactions. Int. J. Human-Computer Studies, 70(10):690–702, 2012.

図 3. 引出しメニューの操作方法．

4.2

オブジェクトの移動・回転・拡大縮小

引出しジェスチャをトリガとしたオブジェクトの移動・回転・拡大縮小が可能である．ユーザはオブジェクトの移動を基準ポインタの中点の位置，回転を基準ポインタ間の線分の方向，拡大縮小を基準ポインタ間の線分の長さを指定することにより行える．
ユーザは操作対象としたいオブジェクトにおいて引[2] S. Boring, D. Baur, A. Butz, S. Gustafson, andP. Baudisch. Touch Projector: Mobile Interaction Through Video. CHI ’10, pp. 2287–2296.
[3] F. Matulic and D. Vogel. Multiray: Multi-Finger
Raycasting for Large Displays. CHI ’18, pp.
245:1–245:13.
[4] N. Tochihara, T. Sato, and H. Koike. A Remote
Pointing Method with Dynamic C-D Ratio During a Pinching Gesture for Large Tabletop Systems. CHI EA ’16, pp. 553–559.
[5] T. Yoshikawa, B. Shizuki, and J. Tanaka. HandyWidgets: Local Widgets Pulled-out from Hands.
ITS ’12, pp. 197–200.