WISS 2022

HMD 前面を用いた VR 用フリック文字入力手法の提案
山口 泰生 ∗

西川 宜利 †

志築 文太郎 ‡概要. Virtual Reality（以降，VR）空間における文字入力手法として，仮想キーボードを用いたフリック入力による文字入力手法が研究されている．フリック文字入力は指とキーとの接触を示すフィードバックが重要になる．そこで，本研究では Head Mounted Display の前面に取り付けたタッチデバイスを用いた VR空間におけるフリック文字入力手法，Head Mounted Flick（HMF）を提案する．HMF において，タッチデバイスにおける操作は VR 空間に反映され，ユーザに視覚フィードバック，および触覚フィードバックを与える．また，指が画面に触れる前のホバー位置を VR 空間に表示される仮想キーボード上に示すことにより，ユーザが意図したキーを正確に触れることができるようにする．

Mounted Display（HMD）の前面に取り付けたタッチデバイスを用いてフリック文字入力を行う Head
Mounted Flick（以降，HMF）を提案する（図 1）．
この手法において，ユーザは HMD の前面をフリッ
クすることにより触覚フィードバックを得る．そのため，ユーザは外部デバイスを把持，および装着する必要がない．本稿においては，提案した文字入力手法の概要とシステムを述べる．

2
図 1. HMF の概観．
（a）文字入力の様子．
（b）VR 空間に映される仮想キーボードの様子．

1

はじめにVirtual Reality（以降，VR）空間における文字入力手法として，フリック文字入力を再現した文字入力（以降，VR フリック入力）手法が研究されている [4, 7]．VR 空間における文字入力は現実における文字入力と比べ，入力速度，および入力精度が低下するという課題がある [8, 4]．そこで，VR フリック入力においてこの課題を改善するために触覚フィードバックを付与した手法が研究されている [5, 6]．しかし，これらの研究において，ユーザはトラッキングの精度の悪さによって誤入力をする．また，触覚フィードバックを発生させるために外部デバイスを用いる場合，外部デバイスの把持，または装着が必要となる [5]．
本研究において，我々は VR フリック入力の入力速度，および入力精度の向上を目的として，Head
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
筑波大学情報科学類†
筑波大学情報理工学位プログラム‡
筑波大学システム情報系

関連研究

本節において，触覚フィードバックを付与した VR
フリック入力手法の研究，および HMD に取り付けた物理デバイスを用いた入力手法の研究を述べる．

2.1

触覚フィードバックを付与した VR フリック
入力手法

川口ら [6] は両手をハンドトラッキングし，VR空間において片方の手の掌に表示したフリックキーボードを他方の手の人差し指によって操作する手法を示した．この手法において，ユーザは自らの手に触れることにより，触覚フィードバックを得ることができる．ただし，この文字入力手法は手形状の誤認識の多発により，Characters Per Minutes（CPM），および Corrected Error Rate [3]（CER）が視覚フィードバックのみの VR フリック入力手法 [8] と比較して低かった．対して，HMF は HMD の前面に取り付けたタッチデバイス上のタッチ位置を VR空間の仮想キーボード上に反映することにより，正確な入力を実現する．

2.2

HMD に取り付けた物理デバイスを用いた研究

HMD に取り付けた物理的な入力デバイスを用いた入力手法として，Gugenheimer ら [1] は HMD の前面に取り付けたタッチデバイスを用いた，VR 空間に対してインタラクションを行うシステムを提案

WISS 2022

4.1

Android アプリケーションのシステム

スマートフォンにおける入力を処理するアプリ
ケーションを Android Studio を用いて作成した．
このアプリケーションは指の接触，およびホバーの状態を判別し，それぞれの状態において，指の座標を取得する．また，取得した情報を Unity アプリケーションに送信する．

4.2 Unity アプリケーションのシステム
Unity 上に入力の様子を表す仮想キーボードを表

図 2. 仮想キーボード上に示されるポインタ．
（a）指の接触時の位置を示す赤色のポインタ．
（b）指のホバー位置を示す青色のポインタ．

した．また Hutama ら [2] は HMD の側面部に取り付けた左右に分割した物理的な QWERTY キーボードを用いた文字入力手法を提案した．これらの研究において，QWERTY 配列による文字入力が調査されたが，フリック文字入力は調査されていない．

3

Head Mounted Flick（HMF）

本研究は HMD の前面に取り付けたタッチデバイスを用いる VR フリック入力手法である HMF を提案する．HMF において，ユーザは HMD の前面に取り付けたタッチデバイスの表面をフリックして文字入力を行う（図 1a）．ここで，文字入力時の指の位置は VR 空間に表示される仮想キーボードに反映され，ユーザに示される（図 1b）．そのため，ユーザは文字入力の様子を確認しながら触覚フィードバックの伴う VR フリック入力を行うことができる．また，フリックしたいキーと同期する座標を正確に触れるためには，タッチデバイスに触れる前の指のホバー位置を把握することが必要である．しかし，HMDをつけた状態においては指のホバー位置を視認できない．この問題を解決するために，HMF は指のホバー位置を取得できるタッチデバイスを用いて，ホバー位置を VR 空間の仮想キーボード上にポインタとして表示する（図 1b）．

4HMF の実装

タッチデバイスとして，指のホバーを取得可能なスマートフォンである Samsung Galaxy note3
Android 5.0 を用いた．また HMD に Oculus Questを用いた．今回のシステムにおいてはスマートフォ
ンと HMD の通信を行うために，PC を用いてスマートフォンのデータを取得し，HMD に転送する．

示する．仮想キーボードの表示位置は常にユーザの視界の中央に固定している．ここで，仮想キーボード上には指の接触位置，またはホバー位置を示すポインタが表示される（図 2）．このポインタはホバー時には青色（図 2a），接触時には赤色（図 2b）に変化する．また，仮想キーボードは入力の際に視覚フィードバックとして，指が子音キーに接触すると，キーの上下左右の 4 方向にその子音に対応する，い〜お段の文字を表示する．

5

今後の展望

人間には自身の身体の動作による手足の相対的な位置（位置覚），および運動の方向（運動覚）がわかる運動感覚が備わっている．今回は仮想キーボードの表示位置を常に視界の中央に固定したのみであり，仮想キーボードの大きさ，距離，および角度を調整していない．そのため，仮想キーボードの大きさ，および位置をユーザの手指の運動感覚と沿うように調整することによって文字の入力速度，および入力精度が向上する可能性がある．今後の予定として，仮想キーボードの大きさ，および位置を変えた数種類の候補を著者実験により比較し，最終的な HMFの UI を決める．

6

おわりに

本稿において，我々は HMD の前面部に取り付けたタッチデバイスを用いた VR 空間におけるフリック文字入力手法である HMF を提案し，実装を行った．HMF はタッチデバイスを HMD に取り付けることによって，物理デバイスの把持，および装着を必要とせずに，触覚フィードバックを付与した VRフリック入力を行うことができる．今後は，HMFの UI を著者実験によって決定し，ユーザ実験において HMF および比較のための VR フリック入力手法のそれぞれの文字の入力速度（CPM），およびトータルエラー率を調べて，HMF の文字入力性能を評価する．

参考文献[1] J. Gugenheimer, D. Dobbelstein, C. Winkler,G. Haas, and E. Rukzio. FaceTouch: Enabling

HMD 前面を用いた VR 用フリック文字入力手法の提案

Touch Interaction in Display Fixed UIs for Mobile Virtual Reality. In Proceedings of the 29th
Annual Symposium on User Interface Software
and Technology, UIST ’16, pp. 49–60, New York,NY, USA, 2016. Association for Computing Machinery.
[2] W. Hutama, H. Harashima, H. Ishikawa, andH. Manabe. HMK: Head-Mounted-Keyboard for
Text Input in Virtual or Augmented Reality. In
The Adjunct Publication of the 34th Annual ACM
Symposium on User Interface Software and Technology, UIST ’21, pp. 115–117, New York, NY,USA, 2021. Association for Computing Machinery.
[3] R. W. Soukoreﬀ and I. S. MacKenzie. Recent Developments in Text-Entry Error Rate Measurement. In CHI ’04 Extended Abstracts on HumanFactors in Computing Systems, CHI EA ’04, pp.
1425–1428, New York, NY, USA, 2004. Association for Computing Machinery.
[4] 喜多修太郎, 小倉加奈代, B. B. Bahadur, 高田豊雄.

LeapMotion を用いた VR 上での文字入力手法の検討. 情報処理学会研究報告, 2019-HCI-181(21):1–7,2019.
[5] 清原隆一, 沢田篤史, 野呂昌満. VR 環境における文字入力のための触感を伴ったフリック入力方法.
日本ソフトウェア科学会第 39 回大会講演論文集,pp. 1–7, Aug 2022.
[6] 川口航平, 礒本俊弥, 志築文太郎, 高橋伸. VR 向けの掌上における日本語フリック入力手法の提案. ヒューマンインターフェースシンポジウム 2019
論文集, pp. 676–682, Aug 2019.
[7] 竹永正輝, 橋本直. 片手持ち VR コントローラのための日本語入力 UI の提案. エンタテインメント
コンピューティングシンポジウム 2019 論文集, pp.
12–16, Sep 2019.
[8] 福仲伊織, 謝浩然, 宮田一乘. VR 環境におけるフリック入力形式インタフェースの開発. 情報処理学会研究報告, 2019-HCI-182(3):1–8, 2019.