WISS 2023

片手用空中キーボードのスレートデバイス AR 空間上への構築
佐藤 玲生 ∗

小西 智樹 †

志築 文太郎 ‡概要. スレートデバイスを用いて構築される拡張現実（以降，AR）環境において，文字入力は重要となる．そこで，本研究は，スレートデバイスを用いて構築される AR 環境における空中仮想キーボードを用いた文字入力手法の性能を調査することを目的とする．現在までに，我々は，AR 空間において，片手用空中仮想キーボード（以降，空中仮想キーボード）および 2 つの文字入力手法を実装した．空中仮想キーボードには，低い画面占有率を実現するため，各キーの文字のみから構成されるレイアウトを採用した．また，
2 つの文字入力手法のうち，親指をトリガとした空中入力手法を用いる場合，ユーザはスレートデバイスの背面カメラにてリアルタイムにトラッキングした特定の指を用いて入力する．もう 1 つの入力手法を用いる場合，ユーザは空中入力の代わりにスレートデバイスの画面タッチによって入力する．

1

はじめに

スレートデバイスとは，スマートフォンおよびタブレットなどのフルタッチパネル型のモバイルデバ
イスを指す．スレートデバイスを用いて構築される
拡張現実（以降，AR）環境の例として，AR アプリケーションを用いた空間デザインの場面がある．
この場面にて，ユーザは物理的に空間を変更することなくデザインアイデアを素早くプロトタイピングする [6]．また，ユーザが紙を用いた物理学の勉強を AR によって支援する場面がある．その場面にてユーザはタブレットをかざすことによって紙面上の図に AR コンテンツとして学習をサポートするための立体情報を付与する [5]．そのような AR 環境において，システムからの要求あるいは文字列オブジェクトの追加を行うことが想定されるため，文字入力は重要となる．しかし，スレートデバイスを用いたAR 環境における文字入力手法の性能調査は現在までに行われていない．そこで我々は，性能調査のために，スレートデバイスを片手把持した状態にて入力可能な片手用空中仮想キーボードおよびそれを用いた 2 つの文字入力手法を実装した．

2

関連研究

ヘッドマウントディスプレイ（以降，HMD）装着
時の AR 環境における文字入力に関する研究が多く行われている．例として，Kern ら [3] は，仮想現実（VR）用およびビデオシースルー型 AR 用 HMD の2 条件にて，コントローラを用いた 2 つの両手用文
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗筑波大学 情報科学類†
筑波大学 情報理工学位プログラム‡
筑波大学 システム情報系

図 1: キーの文字表示のみの空中仮想キーボード．

字入力手法を評価した．また，Liang ら [4] は 2 つの慣性計測装置を内蔵したリングを用いて，人差し指にマッピングした小型のキーボードをスワイプすることにより文字入力を行う DRG-Keyboard を実装した．これらの研究は，HMD を装着した環境においてのみ調査しており，かつ両手あるいは外部デバイスを用いることを前提としている．本研究は，HMD ではなく，ユーザがスレートデバイスのみを片手把持した状態における AR 環境を想定する．
スレートデバイス用の文字入力手法は多く示されている．例として，Zhu ら [8] は，スマートフォンの画面領域の占有率を 0 ％にした Invisible Keyboardを実装した．また，Higuchi ら [2] は，スレートデバイスの小さな画面において，タイピングの操作性を向上させるための AR タイピングインタフェースを実装した．これは，デバイスの背面カメラを用いてユーザの手を認識し，AR 技術によって画面上に配置された仮想キーボードに指を重ねることにより，広い空間にてタイピングを可能にする．これらの研究は，通常のデバイス利用のみを想定している．本
研究は，通常のデバイス利用ではなく，スレートデバイスを用いた AR 環境を想定し，AR 空間上に実装した空中仮想キーボードを用いた文字入力手法の性能の調査を目的とする．

WISS 2023

2A のように，まず，ユーザがスレートデバイスのAB

図 2: A）親指をトリガとした空中入力手法を用いるユーザ．B）親指を伸ばした状態から折り曲げるトリガ動作を行うことにより入力している様子．

図 3: スレートデバイスの画面タッチによる入力手法を用いるユーザ．

背後の空間に片手を配置すると，カメラに映った手全体がスレートデバイスの背面カメラを通してリアルタイムにトラッキングされる．次に，図 2B のように，ユーザは AR 空間上に表示されている空中仮想キーボードの入力したいキーに，人差し指を重ねた状態にて親指を折り曲げるトリガ動作を行うことにより文字入力を行う．親指を折り曲げるジェスチャは，トラッキングされた親指の先端および第 2 関節に配置されたオブジェクトの奥行き方向の差が閾値を下回ることにより検出される．さらに，中指および小指を折り曲げるジェスチャによって，スペース入力および削除を行う機能を追加した．この機能は，Xin [7] らが，実験前インタビューを行った際に参加者がスペースキーを入力するのが面倒であるという意見から，入力に用いない指にジェスチャ入力機能を結びつけたことを参考にしたものである．これにより，スペースキーおよび削除キーを押す必要がなくなり，文字入力の性能が向上する可能性がある．
中指および小指を折り曲げるジェスチャは，各指の先端および第 4 関節に配置されたオブジェクトの垂直方向の差が，閾値を下回った際に検出される．
また，スレートデバイスの画面タッチによる入力手法において，ユーザは，図 3 のように，画面タッチによって文字入力を行う．画面タッチは，スレートデバイス用の文字入力手法に多く採用されている．

3.3

3実装

現在までに，空中仮想キーボードおよびそのキーボードを用いた 2 つの文字入力手法を AR 空間上にて実装した．

3.1

システム

スレートデバイスとして，iPhone12 および iPad
Pro-12.9 inch （第 5 世代）を用いる．これらのスレートデバイスの背面カメラを通して，手をリアルタイムにトラッキングする．

3.2

2 つの文字入力手法

図 1 に示すように，空中仮想キーボードは，AR 空間に配置され，かつキーの文字のみから構成される．
このレイアウトは，John ら [1] が行ったキーボードオクルージョンの最小化に関する実験にて採用されていた各キーの文字および各キーのアウトラインを除いたキーボードレイアウトを参考にしたものである．このキーボードは，参考にしたレイアウトと同様に画面占有率が低い．また，QWERTY キーボー
ドに慣れていない人にとってキーの文字が明確なため，入力がより容易なものになっている．
親指をトリガとした空中入力手法において，図現状の課題

3.2 節にて述べた，指を折り曲げるジェスチャに関して，指を折り曲げる動作が，トリガとして検出されない場合および意図せず判定される場合がある．
特に，親指によるトリガ動作は文字入力をする際に必ず行うにも関わらず，オクルージョンにより誤検出されやすい．そのため，より高精度なジェスチャの検出方法を検討する必要がある．また，ハンドトラッキングの精度をより向上させるために，手の甲を下にするように手を配置することを検討している．
これにより，親指を折り曲げた際のオクルージョンを防止でき，より自然かつ安定したハンドトラッキングが可能になる．

4

まとめおよび今後の予定

我々は，片手用空中仮想キーボードおよびそれを用いた 2 つの文字入力手法を AR 空間上にて構築した．今後，ハンドトラッキングの精度向上およびジェスチャ検出方法の改善を行う．また，実験用アプリケーションの作製およびそれぞれの文字入力手法の性能を評価するための実験を行う．

参考文献

片手用空中キーボードのスレートデバイス AR 空間上への構築[1] J. J. Dudley, K. Vertanen, and P. O. Kristensson.
Fast and precise touch-based text entry for headmounted augmented reality with variable occlusion. ACM Transactions on Computer-HumanInteraction, 25(6):30:1–30:40, 2018.
[2] M. Higuchi and T. Komuro. Multi-Finger AR
typing interface for mobile devices using highspeed hand motion recognition. In Proceedings ofthe 33rd Annual ACM Conference Extended Abstracts on Human Factors in Computing Systems,
CHI EA ’15, pp. 1235–1240, New York, NY, USA,2015. Association for Computing Machinery.
[3] F. Kern, F. Niebling, and M. E. Latoschik. Text
input for non-stationary XR workspaces: Investigating tap and word-gesture keyboards invirtual and augmented reality. IEEE Transactions on Visualization and Computer Graphics,
29(5):2658–2669, 2023.
[4] C. Liang, C. Hsia, C. Yu, Y. Yan, Y. Wang,and Y. Shi. DRG-Keyboard: Enabling subtle
gesture typing on the ﬁngertip with dual IMU
rings. In Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 6(4):170:1–170:30, 2023.
[5] S. Rajaram and M. Nebeling. Paper Trail: An

immersive authoring system for augmented reality instructional experiences. In Proceedings ofthe 2022 CHI Conference on Human Factors inComputing Systems, CHI ’22, pp. 382:1–382:16,
New York, NY, USA, 2022. Association for Computing Machinery.
[6] Z. Wang, C. Nguyen, P. Asente, and J. Dorsey.
PointShopAR: Supporting environmental design
prototyping using point cloud in augmented reality. In Proceedings of the 2023 CHI Conferenceon Human Factors in Computing Systems, CHI’23, pp. 34:1–34:15, New York, NY, USA, 2023.
Association for Computing Machinery.
[7] X. Yi, C. Liang, H. Chen, J. Song, C. Yu, H. Li,and Y. Shi. From 2D to 3D: Facilitating singleﬁnger mid-air typing on QWERTY keyboards
with probabilistic touch modeling. In Proceedingsof the ACM on Interactive, Mobile, Wearable andUbiquitous Technologies, 7(1):38:1–38:25, 2023.
[8] S. Zhu, T. Luo, X. Bi, and S. Zhai. Typing
on an invisible keyboard. In Proceedings of the2018 CHI Conference on Human Factors in Computing Systems, CHI ’18, pp. 439:1–439:13, NewYork, NY, USA, 2018. Association for Computing
Machinery.