WISS 2022

AR 空間内における視線およびコントローラを用いたオブジェクト操作手法
石橋

遼 ∗ 田之頭

吾音 † 井原圭一 †一画 ‡川口

概要. AR 空間内に配置された仮想オブジェクトを操作する時，ターゲットが他のオブジェクトに一部遮蔽あるいは完全に遮蔽される事によりオクルージョン問題が生じる．また，AR 空間での仮想オブジェクト操作には一般的にハンドレイ操作が用いられるが，ユーザは HMD デバイスのハンドトラッキング範囲内に腕を上げ続ける必要があり，ゴリラアーム問題が生じる．本研究では，AR 環境内におけるオクルージョン問題，およびゴリラアーム問題を軽減するために，視線および手持ちコントローラを併用するオブジェク
ト操作手法を提案する．提案手法では，視線によりレイの方向を制御し，手持ちのコントローラでレイの長さの調整およびオブジェクトの選択を行う．

1

はじめに

VR および AR 空間内に配置された仮想オブジェ
クトの操作では一般的に，コントローラまたは手からレイを伸ばしポインティングを行う．しかし，VRおよび AR 環境においては複数のオブジェクトが異なる奥行にて表示されうる．そのため，選択したいターゲットが他のオブジェクトによって一部遮蔽，あるいは完全に遮蔽される事により選択が困難，あるいは不可能になるというオクルージョン問題が生じる．またレイを用いる時，ユーザは手またはコントローラをデバイスが認識できるトラッキング範囲内で操作しなくてはならない．結果として，ユーザは操作に腕を上げる必要が生じるため，ゴリラアーム問題に繋がる [4]．
オクルージョン問題の解決に貢献する研究は，レイの操作によって解決する手法 [1, 11, 16]，ユー
ザからの見え方を変える手法 [14, 7, 6, 13, 16] などが挙げられる．これらの手法はオクルージョン問題を解決できるが，ユーザはポインティングの時にHMD デバイスのトラッキング範囲内で手もしくはコントローラを操作する必要があるため，身体的負荷がかかる．
ゴリラアーム問題の解決に貢献する研究は，コントローラの動きを増幅することによって少ない動きで操作する手法 [15, 12]，腕を下げた状態または腕の位置が低い状態で操作する手法 [8, 2, 3] などが挙げられる．これらの研究はユーザへの身体的負担を軽減するが，選択したいターゲットが他のオブジェクトによって遮蔽されている状態における操作について言及されていない．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
筑波大学情報メディア創成学類†
筑波大学情報理工学位プログラム‡
筑波大学システム情報系

従って我々は，AR 環境内におけるオクルージョン問題およびゴリラアーム問題を軽減することを目的とした，視線および HMD デバイスのトラッキング範囲外から入力可能なコントローラを用いて，ユーザが腕を下げたまま操作ができるオブジェクト操作手法を提案する．提案手法では，視線によりレイの方向を制御し，手持ちのコントローラの操作によりレイの伸縮およびオブジェクトの選択を行う．なお，
本提案システムは著者らの先行研究 [5] において提案したものであり，本論文は新たに提案システムの効果を実験により評価したものである．

2

提案システム概要

我々はポインティングに視線，選択およびレイの伸縮に手持ちコントローラを利用し，ユーザは腕を下げたままオブジェクト操作をする手法を実装した（図 1a）．ユーザは，アイトラッカにより認識された視線方向へ伸びるレイ（以下，レイと呼ぶ）の先端とオブジェクトを接触させることで，そのオブジェクトの色が赤色に変わり，選択が可能になる．選択後はそのオブジェクトの色が黄色になり，選択を解除するまでそのオブジェクトを操作できる．さらに
我々は，ユーザにレイの先端と各オブジェクトとの距離の知覚を支援するために，レイの先端の奥行座標より手前にあるオブジェクトを半透明にする．本節において，入力の検出方法，および操作方法を示す．

2.1

視線方向およびコントローラ入力の検出方法

我々は, 視線方向の検出に HoloLens2 [9] を用いた．HoloLens2 では正確な視線深度を認識することができないため，水平方向および垂直方向の視線情報のみを使用した（図 1b.(i)）．またコントローラの入力の検出に Joy-Con [10] を用いた（図 1b.(ii)）．
オブジェクトの選択およびレイの伸縮を行うために，Joy-Con の A，B，X ボタンを利用する．

WISS 2022

3図 1. 提案手法（ [5] から引用した図を翻訳） a：ユーザが腕を上げずにオブジェクト操作をしている様子．
b：ユーザはレイを操作する時，水平方向および垂直方向を視線（i），奥行方向をコントローラ（ii）を用いて制御する．

2.2

オブジェクト操作方法

初めにユーザはターゲットに視線を向ける（図2a）．この時点でオブジェクト群は半透明化していないため，ユーザはレイの先端がオブジェクト群より手前にあることが分かる．従って，ユーザはレイを伸ばすために Joy-Con の X ボタンを押し続ける．
レイが伸びている間はレイの色が緑色になり，レイの先端の奥行座標より手前にあるオブジェクト群は半透明化する（図 2b）．レイの先端にターゲットが接触し，ターゲットの色が赤色に変わった時，ユー
ザは Joy-Con の A ボタンを押すことによって選択できる（図 2c）．ユーザが選択した後，ターゲットの色が黄色に変わるため（図 2d），その間ユーザはターゲットを任意の位置に移動できる（図 2e）．
ターゲットの操作を終了する時，ユーザは Joy-Conの A ボタンを押すことによってターゲットを選択解除できる．ターゲットの選択解除後はレイの先端とターゲットが接触し続けているため，ターゲットの色が赤色に変わる（図 2f）．もしターゲットが半透明になった場合（図 2g），レイの先端の奥行座標がターゲットより奥にあるため，ユーザはレイを縮めるために Joy-Con の B ボタンを押し続けなければならない．レイが縮んでいる間はレイの色が赤色になり，レイの先端の奥行座標より奥にあるオブジェクトは半透明から元の色に戻る（図 2h）．

図 2. オブジェクトの操作方法（ [5] の図を引用）．

実験

我々は AR 環境におけるオクルージョン問題およびゴリラアーム問題が軽減されたかを検証するため，評価実験を行った．実験参加者はオブジェクト群からターゲットを探索し，選択を行うタスクを実施した．オブジェクトを表示する空間は 2m × 2m × 2mであり，この空間内にターゲットを含む 16 個のオブジェクトが指定のオクルージョン率を満たすようにランダムに配置される．オクルージョン率とはターゲットが他のオブジェクトによってどの程度隠されているかの割合を表す．
提案手法，提案手法のレイの伸縮および視覚的フィードバックの機能を無くした簡易提案手法および，AR 環境における従来操作手法であるハンドレイ手法の 3 つの手法条件で実験を行った．我々はオクルージョン問題が軽減されたかを確かめるためにタスクの完了時間および各オクルージョン率における操作時間を，ゴリラアーム問題が軽減されたかを確認するために NASA-TLX の結果を収集し，分析を行った．実験参加者は 6 名であり，1 人あたり 396試行（1 手法条件あたり 132 試行）行った．

4

結果および考察

手法ごとのタスク完了時間の平均は，提案手法条件 277.3 秒（SD=80.7），簡易提案手法条件 249.4 秒（SD=49.8），ハンドレイ手法条件 382.4 秒（SD=98.6）
であり，ANOVA 検定および Tukey 検定の結果，視線を用いる手法（提案手法および簡易提案手法）がハンドレイ手法よりも有意に速いことが示された（p<0.001 ）．また各オクルージョン率における 1 試行の完了時間平均は，オクルージョン率が 60%以上の時，提案手法条件 7.47 秒（SD=7.55），簡易提案
手法条件 8.67 秒（SD=7.37），ハンドレイ手法条件13.1 秒（SD=12.4）であり，フリードマン検定および Bonferroni 補正した Wilcoxon の符号順位検定の結果，提案手法が他の手法条件より有意に速いことが示された（p<0.001 ）．従って，提案手法はオクルージョン問題の軽減に貢献したと考えられる．簡易提案手法およびハンドレイ手法では，ターゲットが他のオブジェクトに隠されていることから選択が困難であり，多くの場合ターゲットを選択する前にターゲットを隠す他のオブジェクトを選択し，ターゲットに重ならない位置に移動させる必要があった．
一方，提案手法はレイを伸ばすことによってターゲッ
トを隠す他のオブジェクトを半透明にするため，そのオブジェクトを選択せずにターゲットを選択できる点が，他の手法よりも操作時間が速かった要因だと考えられる．
NASA-TLX による手法条件間における身体的負荷は有意差がなかったため，ゴリラアーム問題を含む身体的負荷の軽減は示されなかった．

AR 空間内における視線およびコントローラを用いたオブジェクト操作手法

参考文献[1] M. Baloup, T. Pietrzak, and G. Casiez. RayCursor: A 3D Pointing Facilitation Technique
Based on Raycasting. In Proceedings of the 2019
CHI Conference on Human Factors in Computing Systems, CHI ’19, pp. 1–12, New York, NY,USA, 2019. Association for Computing Machinery.
[2] B. Ens, A. Quigley, H.-S. Yeo, P. Irani, T. Piumsomboon, and M. Billinghurst. Counterpoint: Exploring Mixed-Scale Gesture Interaction for AR Applications. In Extended Abstractsof the 2018 CHI Conference on Human Factors in Computing Systems, CHI EA ’18, pp.
1–6, New York, NY, USA, 2018. Association forComputing Machinery.
[3] T. Feuchtner and J. Müller. Ownershift: Facilitating Overhead Interaction in Virtual Reality with an Ownership-Preserving Hand SpaceShift. In Proceedings of the 31st Annual ACM
Symposium on User Interface Software andTechnology, UIST ’18, pp. 31–43, New York,NY, USA, 2018. Association for Computing Machinery.
[4] J. D. Hincapié-Ramos, X. Guo, P. Moghadasian,and P. Irani. Consumed Endurance: A Metric to Quantify Arm Fatigue of Mid-Air Interactions. In Proceedings of the SIGCHI Conferenceon Human Factors in Computing Systems, CHI’14, pp. 1063–1072, New York, NY, USA, 2014.
Association for Computing Machinery.
[5] R. Ishibashi and I. Kawaguchi. Object Manipulation Method Using Eye Gaze and Hand-heldController in AR Space. to appear in VRST ’22.
[6] R. Kopper, F. Bacim, and D. A. Bowman.
Rapid and accurate 3D selection by progressive
reﬁnement. In 2011 IEEE Symposium on 3D
User Interfaces (3DUI), pp. 67–74, 2011.
[7] N. Li, Z. Zhang, C. Liu, Z. Yang, Y. Fu, F. Tian,T. Han, and M. Fan. VMirror: Enhancing theInteraction with Occluded or Distant Objects
in VR with Virtual Mirrors. In Proceedings ofthe 2021 CHI Conference on Human Factors inComputing Systems, CHI ’21, New York, NY,USA, 2021. Association for Computing Machinery.
[8] M. Liu, M. Nancel, and D. Vogel. Gunslinger:
Subtle Arms-down Mid-Air Interaction. In Proceedings of the 28th Annual ACM Symposium
on User Interface Software & Technology, UIST’15, pp. 63–71, New York, NY, USA, 2015. Association for Computing Machinery.
[9] Microsoft Corporation. Microsoft HoloLens —Mixed Reality Technology for Business. https://www.microsoft.com/en-us/hololens, 2022.
(Accessed on 11/21/2022).
[10] Nintendo Co., Ltd.
Joy-Con & controllers. https://www.nintendo.com/store/hardware/joy-con-and-controllers/, 2022.
(Accessed on 11/21/2022).

[11] A. Olwal and S. K. Feiner. The Flexible Pointer:
An Interaction Technique for Selection in Augmented and Virtual Reality. 2003.
[12] I. Poupyrev, M. Billinghurst, S. Weghorst, andT. Ichikawa. The Go-Go Interaction Technique: Non-Linear Mapping for Direct Manipulation in VR. In Proceedings of the 9th Annual ACM Symposium on User Interface Software and Technology, UIST ’96, pp. 79–80, New
York, NY, USA, 1996. Association for Computing Machinery.
[13] L. Sidenmark, C. Clarke, X. Zhang, J. Phu, andH. Gellersen. Outline Pursuits: Gaze-Assisted
Selection of Occluded Objects in Virtual Reality. In Proceedings of the 2020 CHI Conferenceon Human Factors in Computing Systems, CHI’20, pp. 1–13, New York, NY, USA, 2020. Association for Computing Machinery.
[14] L. Wang, J. Chen, Q. Ma, and V. Popescu. Disocclusion Headlight for Selection Assistance inVR. In 2021 IEEE Virtual Reality and 3D UserInterfaces (VR), pp. 216–225, 2021.
[15] J. Wentzel, G. d’Eon, and D. Vogel. Improving Virtual Reality Ergonomics Through ReachBounded Non-Linear Input Ampliﬁcation. In
Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, CHI ’20,
pp. 1–12, New York, NY, USA, 2020. Association for Computing Machinery.
[16] D. Yu, Q. Zhou, J. Newn, T. Dingler, E. Velloso, and J. Goncalves. Fully-Occluded Target Selection in Virtual Reality. IEEE Transactions on Visualization and Computer Graphics,
26(12):3402–3413, 2020.