情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-442024/2/28

HidEye: 片目を隠す動作による HMD 用
インタラクション手法の提案
伊勢隆之介1,a)

塚田浩二1

概要：没入型ヘッドマウントディスプレイ（HMD）は，現実空間の視界を遮断することで高い没入感を得られるが，仮想空間と現実空間でのタスク切替に難があるため，日常生活で長く利用することは難しい．
そこで，片目を隠す動作でコンテンツを手軽に切り替え可能なインタラクション手法 HidEye を提案する．
HMD に特殊なセンサ等を付与することなく，自然な動作で仮想空間と現実空間のタスクをなめらかに連携することを目指す．

1. 背景
没入型ヘッドマウントディスプレイ（HMD）は，現実空間の視界を遮断することで高い没入感を得られるが，仮想空間と現実空間でのタスク切替に難があるため，日常生活で長く利用することは難しい．HMD を用いて VR コンテンツを体験している際に現実世界の状況を確認するためには，HMD を取り外すかパススルー機能*1 を使用する必要がある．しかし，HMD を都度取り外すことは面倒である．パススルー機能を使えば HMD を装着したまま現実空間の状況を確認できるが，VR コンテンツが不可視になるため，没入感が削がれてしまう．ここで我々は，自然な動作をトリガーとして仮想空間とパススルー機能を重ね合わせることで，仮想空間での没入感を一定程度保ちつつ，現実空間の状況確認が可能であると考えた．
トリガーとする動作として，我々は片手で目を隠す行為

図 1

本研究のコンセプト．VR コンテンツ使用中に片目を隠す動作を行うことで，VR コンテンツとパススルーの重畳表示を行う．に注目した．我々は，視力検査を行う際や，カメラのファインダーや望遠鏡等を覗き込む際に，片目を隠す／閉じるタスクをなめらかに連携することを目指す．

ことで特定のタスクに集中することがある．よって，片目を隠す行為は仮想空間から現実空間への視野変更を行う際のメタファとして有効であると考えた．

2. 関連研究

そこで本研究では，片目を隠す動作で VR コンテンツとVR コンテンツと現実空間の切り替えについて様々な研

パススルー機能を重畳表示することで，仮想空間と現実空究が行われている．遠藤ら [1] は，手動で再構成可能なモ間のコンテンツを手軽に切り替え可能なインタラクション

ジュラー機構を用いた新たな HMD の概念を提案してい手法 HidEye を提案する（図 1）．HMD に特殊なセンサ等る．没入感の高い VR 体験を確保できるようにしつつ，必を付与することなく，自然な動作で仮想空間と現実空間の要に応じて外界とのインタラクションを実現するために側面 2 台と底面 1 台の着脱可能なディスプレイモジュールで1a)*1

公立はこだて未来大学
g2123008@fun.ac.jp
パススルーとは，没入型 HMD において，カメラやセンサを用いて周辺映像を取得し，HMD 内に表示する機能である．

© 2024 Information Processing Society of Japan

HMD を構成している．底面モジュールを取り外すことで入力デバイスとして活用したり，側面モジュールを取り外すことで VR 体験を継続しながら近接者と意思疎通する手377

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-44
2024/2/28

段を提供している.
山内ら [2] は，ヘッドバンドを用いないことで頭部への負担や着脱の手間を解消する胸部装着型ディスプレイ
（CMD:Chest-Mounted Display）を提案している．CMDは俯いてデバイスを覗き込むことで MR 体験を行うため，頭を上げてデバイスから離れることで任意のタイミングでMR 体験を中断することができる．断続的な MR 体験が可能であることで，シミュレータ酔いや眼精疲労の進行を抑止している．
また，HMD 利用時のデバイスとのインタラクション手法についても様々な研究が行われている．Jan ら [3] は，

HMD の裏面をタッチ面として活用するインタラクション
技術 FaceTouch を提案している．HMD の裏面に手指で触れることで，直接 VR コンテンツを操作することができる．
また，Kawasaki ら [4] は，抵抗膜式タッチパッドをスマートグラスのレンズ表面に取り付けることでレンズに触れて操作を行う手法 LensTouch を提案している．
本研究では，マイコンなどの外付けセンサを使用せずHMD に搭載されているセンサのみで動作検出を行うことで，HMD を取り外すことなく自然な操作で周辺の状況確認を可能にすることを独自性とする．

3. 提案
本研究では没入型 HMD の利用中に，片目を隠す動作で仮想空間と現実空間のコンテンツを手軽に切り替えるためのインタラクション手法 HidEye を提案する．VR コンテンツにパススルー機能を重畳表示することで HMD を取り外さずに仮想空間での没入感を一定程度保ちつつ，現実空間の状況確認をすることが可能となる．片目を隠すという自然な動作をトリガーとする点，及び外部センサやマイコンを使用せず HMD 単体で実現できる点が特徴である．

4. 実装
本節では，本研究の実装に用いた HMD と開発環境，及び片目を隠す動作の検出手法について記述する．

図 2

片目を隠す動作検出の流れ

4.2 片目を隠す動作の検出手法
本提案では，MetaQuest3 に搭載されているハンドトラッキングを用いて片目を隠す動作の検出機能を実装した．ハ

4.1 HMD と開発環境

ンドトラッキングは HMD に搭載されている赤外線カメラ

本研究の実装に用いた HMD は MetaQuest3[5] である．

等で手指の 3 次元形状や位置・姿勢を認識する．こうした本体前面には，左右に RGB カラーカメラ (18PPD，400 万情報を用いて，手指の 3D モデルを VR 空間上に重畳表示画素)，中央に深度センサとマイクが搭載されている．まするインタラクション手法が提供されている．一方，ハンた，左右の RGB カメラの下と本体の両側面にトラッキン

ドトラッキングでは，手がカメラの画角から外れた場合，グセンサが搭載されている．これらによって高解像度での認識不能 (消失) 状態となる．本研究では，消失前の手の座フルカラーパススルーやハンドトラッキングを提供して標を用いることで，手指の状況を推定できると考えた．すいる．

なわち，片手がカメラに極めて近い位置から消失した場合

開発環境には Unity を用いた．エディタのバージョンは2022.2.8f1 であり，MetaQuest3 に対応した VR コンテンに，片目を隠す動作として認識している．図 2 に動作検出の流れを示す．

ツの開発用のアセット OculusIntegration を用いた．

© 2024 Information Processing Society of Japan378

情報処理学会 インタラクション 2024
IPSJ Interaction 2024

1B-44
2024/2/28

6. まとめと今後の展望
本論文では，没入型 HMD の利用中に，片目を隠す動作で仮想空間と現実空間のコンテンツを手軽に切り替えるためのインタラクション手法 HidEye を提案した．今後は多様な応用例の構築を通して，本手法の有効性を示していきたい．また，ユーザテストを通して，本手法の効果や改善点を検証していく．今回は没入型 HMD に限定して実装を行ったが，今後は透過型 HMD を想定した実装も進めていく．
参考文献
[1]

図 3

VR コンテンツ使用中にコップを掴んで水を飲む様子

[2]

[3]

[4]

[5]

図4遠藤 勇, 高嶋 和毅, 井上 理哲人, 清川 清, 藤田 和之, 北村喜文. 周辺とのアドホックなインタラクションを実現する
再構成可能な VRHMD. 情報処理学会インタラクション
2021,pp.271-273，2021.
山内 耀斗, 岩崎 琢己, 松井 尚樹, 岩井 大輔, 佐藤 宏介．
断続的使用に適した胸部装着型 VR デバイスの提案．第67 回システム制御情報学会研究発表講演会，pp.342-346，
2023.
Jan Gugenheimer, David Dobbelstein, Christian Winkler, Gabriel Haas,Enrico Rukzio．FaceTouch: Enabling
Touch Interaction in Display Fixed UIs for Mobile Virtual Reality．Proceedings of the 29th Annual Symposium on User Interface Software and Technology (UIST16), pp.49–60，2016.
Tatsuya Kawasaki, Hiroyuki Manabe.LensTouch: Touch
Input on Lens Surfaces of Smart Glasses.Adjunct Proceedings of the 36th Annual ACM Symposium on User
Interface Software and Technology (UIST 23)，Article
No.:56，2023.
Meta.“MetaQuest3”.Meta
公 式 サ イ ト ．
https://www.meta.com/jp/quest/quest-3/(参 照 202312-22)

パススルー状態から片目を隠す動作で仮想空間を表示する様子

5. 応用例
本提案では，片目を隠す動作をトリガーとしてパススルーの重畳表示を行うことで HMD の日常的な利便性向上を目指している．そのため，こうした状況を想定して，シンプルな応用事例を実装した．図 3 は，VR ゲームを体験しているユーザが片目を覆うことで一時的に体験を中断して， 現実空間の机に置いてあるコップを手に取って水を飲んでいる事例である．目から手を離すことでハンドトラッキングが復帰し，すぐに VR ゲームに戻ることができる．
図 4 は逆に，パススルー機能を用いた MR 的なタスクを実行している際に，片目を隠すことで目を休めるようなVR コンテンツを表示する事例である．目が疲れた際に思わず手で覆うような動作をメタファとして実装した．

© 2024 Information Processing Society of Japan379