WISS 2023

AR 空間内におけるカーソルのターゲットへの吸着を用いたターゲット選択手法の試作
石井 奏多 ∗

角田 陸 †

志築 文太郎 ‡概要. ヘッドマウントディスプレイ（以降，HMD）により実現される AR 空間内において，ターゲット選択は基本的なタスクの一つであり，ユーザは手を用いて直接仮想オブジェクトの選択を求められることが多い．しかし，仮想オブジェクトが手の手前に表示されてしまうため，ユーザは自身の手の位置を把握しづらいという問題がある．この問題は，既存の AR 用 HMD において，ユーザの手の上にカーソルを重ねることにより解決される．しかし，手のトラッキング性能の限界から，快適なターゲット選択が難しい．
そこで我々は，カーソルのターゲットへの吸着（以降，カーソルスナップ）を用いて AR 空間内におけるターゲット選択を補助する手法を検討する．カーソルスナップは，様々なインタフェースにて有効であることが示されている．本稿では，カーソルがターゲットの一定範囲内にあるときにターゲットの中心に移動するカーソルスナップの実装を報告する．

1

はじめにヘッドマウントディスプレイ（以降，HMD）により実現される AR 空間内において，ターゲット選択は基本的なタスクの一つである．特に，ユーザは手を用いて直接仮想オブジェクトの選択を求められることが多い．ゆえに，本研究では，ユーザの手の届く距離にあるターゲットの選択に注目する．
手の届く距離のターゲット選択においては，一般的に，手を用いて直接仮想オブジェクトを操作する
ハンドジェスチャ [1] が利用される．ハンドジェス
チャを用いたターゲット選択には，専用デバイスが不要，および初心者にとって容易な操作が可能といった利点がある．一方，仮想オブジェクトがユーザの手の手前に表示されてしまうため，ユーザは自身の手の位置を把握しづらいという問題がある．
この問題は，既存の AR 用 HMD において，ユーザの手の上にカーソルを重ねることにより解決される．例として，AR 用 HMD である Microsoft HoloLens 2 においては，指先カーソル（図 1a）およびハンドメッシュ（図 1b）がカーソルとしてサポートされている．しかし，今日の手のトラッキング性能の限界から，快適なターゲット選択が難しいという問題 [6] がある．
そこで我々は，カーソルのターゲットへの吸着（以降，カーソルスナップ）を用いてハンドジェスチャによるターゲット選択を補助する手法を検討していCopyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗筑波大学 情報メディア創成学類†筑波大学 情報理工学位プログラム‡筑波大学 システム情報系

る．カーソルスナップとは，カーソルがターゲットの一定範囲内（以降，吸着範囲）にあるとき，カーソルがターゲットの中心に移動する，またはカーソルの動きが遅くなるといったものである．これまでに，GUI におけるマウス操作 [7, 13, 16]，および公共の場に設置された大型ディスプレイ（以降，パブリックディスプレイ）におけるフリーハンドポイン
ティング [9] などにてカーソルスナップがターゲッ
ト選択性能向上に有効であることが示されてきた．
ゆえに，AR 空間内におけるハンドジェスチャを用いたターゲット選択においてもカーソルスナップが有効である可能性がある．
本稿においては，カーソルが吸着範囲内にあるときにターゲットの中心へ移動するカーソルスナップ（図 2）の実装を報告する．なお，カーソルには指先カーソル（図 1a）およびハンドメッシュ（図 1b）の2 種類を用いた．

2関連研究

本節では，AR 空間内におけるターゲット選択に関する研究，およびカーソルスナップに関する研究を述べる．

2.1

AR 空間内におけるターゲット選択

既存の AR 用 HMD において，AR 空間内におけるターゲット選択には，ハンドジェスチャを用いる
方法 [1]，ユーザの手のひらから伸びるレイ（以降，ハンドレイ）を用いる方法 [3]，および視線を用いる
方法 [5, 11] が使用される．HeadCrusher [12] および Gaze&Finger [8] は，視線によりターゲットを指した後，視線上に手を重ねることによってターゲットを選択する手法である．Gaze&Handray [14] は，WISS 2023

図 1. 2 種類のカーソルがターゲットに吸着する様子．
a：指先カーソル．b：ハンドメッシュ．
図 2. 試作システムの概要．ユーザの手がターゲットの吸着範囲内に入ると，カーソルはターゲットの中心に移動する．A：ユーザの手．B：カーソル（指先カーソル，ハンドメッシュ）．C：ターゲット．D：吸着範囲．

ハンドレイおよび視線の両方によりターゲットを指すことによってターゲットを選択する手法である．
また，Wei ら [15] は，ユーザ行動モデルに基づきターゲット選択を予測することによってターゲット選択を支援した．

2.2

カーソルスナップ

カーソルスナップは，マウス操作 [7, 13, 16]，視線入力 [18]，フリーハンドポインティング [9, 10]，および携帯型デバイスによる操作 [4] などの様々なインタフェースにて有効であることが示されている．
例として，Snap-to-Target [10] は，テーブルトップ型ディスプレイにおけるフリーハンドポインティン
グにおいて，カーソルがターゲットの吸着範囲内にあるとき，ターゲットの中心に移動する手法である．
また，Magnetic Cursor [9] は，パブリックディスプレイにおけるフリーハンドポインティングにおいて，カーソルがターゲットの吸着範囲内にあるとき，カーソルがターゲット上に移動し，かつカーソルの動きが遅くなる手法である．

3試作システム

本節では，試作システムの実装環境および仕様を述べる．

3.1

実装環境

デバイスには，ハンドトラッキングをサポートする AR 用 HMD である Microsoft HoloLens 2 を用いた．また，アプリケーションの実装には，Unityおよび Mixed Reality Toolkit 2 を用いた．

3.2

仕様

本システムの概要を図 2 に示す．また，本システ
ムが実際に動作する様子を図 1 に示す．カーソルには，Microsoft HoloLens 2 にてサポートされている指先カーソル（図 1a）およびハンドメッシュ（図1b）を用いた．これらのカーソルは，ハンドトラッキングされたユーザの手の上に重ねられ，ユーザの手と同期して動く．ユーザの手がターゲットの吸着範囲内に入ると，カーソルはターゲットの中心に移動する．そして，ユーザの手が再び吸着範囲の外に出るまで，カーソルはターゲットの中心に留まる．
本システムでは，ターゲットは球形とし，吸着範囲をターゲットの半径に対し 0%から 200%の値に自由に設定できるようにした．また，ユーザは人差し指により，ターゲットをポインティングし，エアタップ[2] により選択を確定する．エアタップとは，人差し指を用いて上から下にタップするようなハンドジェスチャである．エアタップの直前にカーソル（ハンドメッシュの場合は，ハンドメッシュの人差し指の先端）が触れていたターゲットが選択される．

4

まとめおよび今後の課題

本稿では，AR 空間内におけるハンドジェスチャによるターゲット選択を補助するため，カーソルスナップを用いたターゲット選択手法を試作した．一方
カーソルはユーザの手の上に重ねられ，ユーザの手の動きに同期して動くため，ユーザはカーソルに自己所有感を感じる可能性がある [17]．ゆえに，カーソルスナップによりカーソルがユーザの手から離れてしまうことが，ターゲット選択に悪影響を与える可能性がある．また，カーソルの種類によって，カーソルスナップによる効果は異なる可能性がある．さらに，AR 空間内における適切な吸着範囲についても明らかではない．そこで，我々は，試作システムを用いてこれらがターゲット選択性能に与える影響について調査する．そして，調査結果を元に，各パラメータの最適化を図ることによって試作システムを発展させる．また，カーソルの動き方（カーソルをターゲットの中心に移動させる，カーソルの動きを遅くするなど）の検討，および他手法との組み合わせなどを通して，更にターゲット選択性能を向上させる．

AR 空間内におけるカーソルのターゲットへの吸着を用いたターゲット選択手法の試作

参考文献[1] Directmanipulation
withhands.
https://learn.microsoft.com/en-us/
windows/mixed-reality/design/
direct-manipulation（ 最 終 閲 覧 日:2023
年 10 月 31 日）.
[2] Getting around HoloLens 2.
https://learn.microsoft.com/en-us/
hololens/hololens2-basic-usage#
select-using-air-tap（最終閲覧日: 2023 年
10 月 31 日）.
[3] Point and commit with hands.
https://learn.microsoft.com/en-us/windows/
mixed-reality/design/point-and-commit#hand-rays（最終閲覧日: 2023 年 10 月 31 日）.
[4] M. Baldauf and P. Fröhlich. Snap Target: Investigating an Assistance Technique for Mobile
Magic Lens Interaction With Large Displays.
International Journal of Human–Computer Interaction, 30(6):446–458, 2014.
[5] I. Chatterjee, R. Xiao, and C. Harrison.
Gaze+Gesture: Expressive, Precise and Targeted Free-Space Interactions. In Proceedingsof the 2015 ACM on International Conference
on Multimodal Interaction, ICMI ’15, pp. 131–138, New York, NY, USA, 2015. Association for
Computing Machinery.
[6] Y. Ghazwani and S. Smith. Interaction in Augmented Reality: Challenges to Enhance UserExperience. In Proceedings of the 2020 4thInternational Conference on Virtual and Augmented Reality Simulations, ICVARS 2020, pp.
39–44, New York, NY, USA, 2020. Associationfor Computing Machinery.
[7] Y. Guiard, R. Blanch, and M. Beaudouin-Lafon.
Object Pointing: A Complement to Bitmap
Pointing in GUIs. In Proceedings of Graphics Interface 2004, GI ’04, pp. 9–16, Waterloo,
CAN, 2004. Canadian Human-Computer Communications Society.
[8] M. N. Lystbæk, P. Rosenberg, K. Pfeuﬀer, J. E.
Grønbæk, and H. Gellersen. Gaze-Hand Alignment: Combining Eye Gaze and Mid-Air Pointing for Interacting with Menus in AugmentedReality. In Proceedings of the ACM on HumanComputer Interaction, Vol. 6, pp. 1–18, NewYork, NY, USA, 2022. Association for Computing Machinery.
[9] V. Mäkelä, T. Heimonen, and M. Turunen.
Magnetic Cursor: Improving Target Selection inFreehand Pointing Interfaces. In Proceedings ofThe International Symposium on Pervasive Displays, PerDis ’14, pp. 112–117, New York, NY,USA, 2014. Association for Computing Machinery.
[10] J. K. Parker, R. L. Mandryk, M. N. Nunes, andK. M. Inkpen. TractorBeam Selection Aids: Im-proving Target Acquisition for Pointing Input
on Tabletop Displays. In M. F. Costabile andF. Paternò eds., Human-Computer Interaction- INTERACT 2005, pp. 80–93, Berlin, Heidelberg, 2005. Springer Berlin Heidelberg.
[11] K. Pfeuﬀer, B. Mayer, D. Mardanbegi, andH. Gellersen. Gaze + Pinch Interaction in Virtual Reality. In Proceedings of the 5th Symposium on Spatial User Interaction, SUI ’17, pp.
99–108, New York, NY, USA, 2017. Associationfor Computing Machinery.
[12] J. S. Pierce, A. S. Forsberg, M. J. Conway,S. Hong, R. C. Zeleznik, and M. R. Mine. Image
Plane Interaction Techniques in 3D Immersive
Environments. In Proceedings of the 1997 Symposium on Interactive 3D Graphics, I3D ’97, pp.
39–43, New York, NY, USA, 1997. Associationfor Computing Machinery.
[13] S. Trewin, S. Keates, and K. Moﬀatt. Developing Steady Clicks: A Method of Cursor Assistance for People with Motor Impairments.
In Proceedings of the 8th International ACM
SIGACCESS Conference on Computers and Accessibility, Assets ’06, pp. 26–33, New York, NY,USA, 2006. Association for Computing Machinery.
[14] U. Wagner, M. N. Lystbæk, P. Manakhov,J. E. S. Grønbæk, K. Pfeuﬀer, and H. Gellersen.
A Fitts Law Study of Gaze-Hand Alignment for
Selection in 3D User Interfaces. In Proceedingsof the 2023 CHI Conference on Human Factors in Computing Systems, CHI ’23, pp. 252:1–252:15, New York, NY, USA, 2023. Associationfor Computing Machinery.
[15] Y. Wei, R. Shi, D. Yu, Y. Wang, Y. Li, L. Yu,and H.-N. Liang. Predicting Gaze-Based Target
Selection in Augmented Reality Headsets Basedon Eye and Head Endpoint Distributions. In
Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems, CHI ’23,
pp. 283:1–283:14, New York, NY, USA, 2023.
Association for Computing Machinery.
[16] A. Worden, N. Walker, K. Bharat, and S. Hudson. Making Computers Easier for Older Adults
to Use: Area Cursors and Sticky Icons. In Proceedings of the ACM SIGCHI Conference on
Human Factors in Computing Systems, CHI ’97,pp. 266–271, New York, NY, USA, 1997. Association for Computing Machinery.
[17] Y. Yuan and A. Steed. Is the Rubber Hand
Illusion Induced by Immersive Virtual Reality?
In 2010 IEEE Virtual Reality Conference (VR),
pp. 95–102, 2010.
[18] S. Zhang, Y. Tian, C. Wang, and K. Wei. Target
Selection by Gaze Pointing and Manual Conﬁrmation: Performance Improved by Locking theGaze Cursor. Ergonomics, 63(7):1–24, 04 2020.