関西地区

教育システム情報学会 2022年度学生研究発表会

MR 環境における文字入力手法の創出
Creation of text entry method in MR environment
若狭 成宗, 曽我 真人
Hidetoshi WAKASA, Masato SOGA
和歌山大学システム工学部システム工学科
Faculty of Systems Engineering Wakayama University
Email: s246319@wakayama-u.ac.jp
あらまし：本研究では MR 環境における より効率的な文字入力方法を創出することを目的とした．この目的を達成するためのアプローチとしてハンドトラッキング，ジェスチャ入力，3 次元キーボード，直接キーボードを触ることで入力する形式の４つを組み合わせたシステムを検証した．ユーザーによる検証の結果，本システムの課題が浮き彫りになった．
キーワード：MR，ハンドトラッキング，ジェスチャ入力，VR，文字入力

1.

はじめに

近年，AR/VR 市場ではエンターテイメント分野以外に，不動産や観光業での活用の他，訓練や教育での活用が広がっており，今後も市場規模が拡大すると見られている．従来は主に VR デバイスの普及が進んでいたが，近年では VR 以外にも AR や MR といった技術に対応するためのデバイスも普及してきている．市場の拡大に伴い，使用用途が増え，その分追加で必要な機能も求められる．これについては文字入力システムも該当し，使用用途に応じて，適切な文字入力システムを提供することが必要である．
そこで，本研究では MR デバイスでの利用を見据え，場所，状況に縛られない入力手法として MR 環
境における より効率的な文字入力手法の創出を目的とする．この目的を実現する為のアプローチとして，本研究ではハンドトラッキング，ジェスチャ入力，３次元キーボードの他，キーボードを触ることで入力する形式の 4 つを組み合わせたシステムを構築した．

2.

システム概要本システムは Meta Quest2 のみを用いる．これはMeta 社によって開発，発売されている VR デバイスであり，Passthrough API を用いることによりモノクロではあるが，MR 体験をすることができる．
本システムでは利用者が仮想キーボード上で指をつまむと入力が開始され，つまみの終了と共に入力も終了する．この間に入力された座標データを解析することで，利用者が入力しようとしている文字，単語を推定する．入力する座標データは人差指の先を基準としており，手の位置，形状の認識はハンドトラッキングを用いている．ジェスチャ入力のアルゴリズムについては Zhai らによる SHARK2(1)を 3次元に適応するように書き換えたものを用いている．
キーボードに関しては奥行方向にキーボードを湾曲させている 3 次元キーボードを採用している．

135

図 1 ジェスチャ入力直後

3.

評価実験

20 代の男性 5 名で本システムを用いて実験を行った．実験ではシステムを起動後 15 分から 25 分程度システムの使い方に慣れてもらい，その後，英語フレーズ３つを 1 セッションとして 4 セッション分入力を行ってもらい WPM(Words Per Minute)を測定した．その後 SUS(System Usability Scale)アンケートと独自のアンケートを用い，システムのユーザビリテ
ィに関する評価と本システムを構成する各機能についての調査を行った．独自アンケートに関して以下にまとめる．

[1][2][3]

表 1 独自アンケート
VR や MR などのコンテンツを利用した経験はありますか？/どのくらいの頻度で行いますか？
ジェスチャ入力の経験はありますか？/どのくらいの頻度で使っていますか？
今回体験したジェスチャ入力について良いと思った点はどこですか？

関西地区

[4]
[5]
[6]
[7]

[8]

教育システム情報学会 2022年度学生研究発表会

問ではキーボードの位置を調節できることが評価された一方，キーボードの奥行がつかみにくい点が指摘された．[8]の質問では誤入力に関する指摘の他，キーボードの挙動の改善案として，キーに触れた状態を分かりやすくするため，触れた際に音を出したり，触れた際のキーの色変化をより大きくしたりする事を提案された．

今回体験したジェスチャ入力について良いと思った点はどこですか？
今回体験した 3 次元キーボードについて良いと思った点はどこですか？
今回体験した 3 次元キーボードについて悪いと思った点はどこですか？
今回体験した Passthrough 機能（透過機能）による視認性についてどう思いますか？
本システムに関して，感想・改善点をご記入ください

3.2 考察本システムの検証の結果，特に誤入力に関して課題があると感じた．誤入力の原因の一つとしては，入力中の座標データを人差指の指先の座標を基準に収集した点が悪いと考えられる．本システムにおけるピンチ動作の判断には僅かながら遊びが存在している．これにより，指のつまみが終了する直前の遊びの部分でも座標を収集してしまい，軌跡の最後の部分が乱れる．軌跡が長い単語，つまりは文字数が多い単語などでは影響は受けにくいが文字数の少ない単語においては重大なずれとなる可能性が考えられる．また，仮想物体とのインタラクションでは，物理的に支えがないため，ユーザーは手を安定させる事が難しく，直線で構成された軌跡を入力しにくい．よって，スマホやタブレットでのジェスチャ入力よりも乱れた軌跡になりやすい事も原因として考えられる．前者においては座標データの収集を人差し指と親指の中間地点にすることで，ピンチ動作に遊びがあっても座標データが大きく変化しないように，後者においては，柳原(2)が指摘しているようにジェスチャ入力が乱れることを前提に単語候補ごとの軌跡を流線的な軌跡にする必要があると考える．

3.1 実験結果
被験者 A-E における SUS 評価結果，及び問題ごとの WPM 測定結果を以下に示す．

図 2 SUS 評価結果

4.

まとめ

本研究では，MR 環境における より効率的な文字入力の創出を目的としてシステムを構築した．構築
したシステムに対する SUS 評価はおおむね良かったものの，誤入力が多い問題や，操作性の観点からの入力難度の高さなど改善されるべき点が多くみられた．したがって今後，構築したシステムのアルゴリズムを見直し，よりユーザーに寄り添ったシステムにする必要がある．

図 3 問題ごとの WPM 測定結果
SUS アンケートの結果は平均 80.5，中央値 77.5 となった．この SUS 評価の平均を Bangor らによる SUS
評価と満足度尺度との関連を取りまとめたものと比較 す る と ， acceptability ranges （ 受 容 性 評 価 ） でacceptable，grade scale（学校の評価制度）でＢ ，adjective ratings（形容詞評価）で Excellent の評価であった．また，問題ごとに WPM を測定したところ平均して 6.7 となった．今回，問題番号 4,11,12 にはジェスチャ入力に登録されていない単語が登録されている．これらを除外すると，WPM の平均は 7.2 となった．システムの使用感に関するアンケート結果
では[3], [4]のジェスチャ入力に関する質問で「慣れると速そう」などの肯定的な意見がある一方，誤認識の多さや，キーボードと問題文及び入力フォームの画面との位置関係による入力し難さを指摘する意見があった．[5], [6]の３次元キーボードに関する質

参考文献(1) Per-Ola Kristensson, Shumin Zhai:“SHARK2:A large
Vocabulary shorthand writing system for pen-basedcomputers”,
https://www.researchgate.net/publication/228875756_SH
ARK2A_large_Vocabulary_shorthand_writing_system_fo
r_pen-based_computers(2) 栁原 直貴, 志築 文太郎:“立体キーボードを用いたVR 向け文字入力手法”,
https://www.iplab.cs.tsukuba.ac.jp/paper/master/yanagihar
a_master.pdf(3) Aaron Bangor, Philip Kortum, James Miller:“Determining
What Individual SUS Scores Mean: Adding an AdjectiveRating Scale”, https://uxpajournal.org/determining-whatindividual-sus-scores-mean-adding-an-adjective-ratingscale/136