日本ソフトウェア科学会第 39 回大会 (2022 年度) 講演論文集

VR 環境における文字入力のための触感を伴った
フリック入力方法
清原 隆一

沢田 篤史

野呂 昌満

本研究では VR（Virtual Reality）環境上での負担の少ない文字入力方法を提案する．VR 環境上での会話は主に音声入力が用いられるが，現実で行うような文字入力が VR 環境上でも可能となれば，声が出せない状況でのコミュニケーションが実現するほか，仕事や教育などの文字を扱う場面が多い VR コンテンツを拡大できる．VR 環境上での文字入力は空間把握が難しく，誤入力をしてしまう．これらを解決するために，本研究は広く普及しているフリック入力に触感を伴わせて空間把握を行いやすくした文字入力方法を提案する．実験では提案する入力方法と従来の方法の入力時間と誤入力回数を計測し，提案する入力方法の妥当性を検証した．

ある．

1 はじめに目的を達成するために，本研究では多くの人に慣れ近年 HMD（Head Mounted Display）の普及が進親しまれているフリック入力方法を提供する．触感をんだことで，VR（Virtual Reality）の応用範囲は，伴うフリック入力方法と予測変換機能を組み合わせゲームや趣味の範囲だけでなく，業務や教育の分野にることで，誤入力の抑制と入力操作の負担軽減をは拡大してきた．VR 環境上でのコミュニケーションにかる．

はボイスチャットがよく用いられる．文字の入力にも提案の有効性と妥当性を確かめるために，従来の方ボイスチャットが用いられるが，声を出せない状況や法と使用感を比較する実験を行った．その結果，提案雑音が多い環境では使えない．VR の応用範囲の拡大

方法ではキーボードの表示位置のずれにより誤入力に伴い，文書を作成するために文字入力を行う場面もが多発した．また，利用しやすい文字入力方法は人に想定される．このことから，VR 環境上での様々な文よって異なることが分かった．フリック入力について字入力機能の充実が必要である．

は，触感があることでより普段の文字入力に近い操作VR 環境上でのキーボードを用いた文字入力は難し感を得ることができた．

い．VR 環境上では空間把握が難しいことが主な要因である．また，利用者にとって不得意な入力方法では2 VR 環境上での文字入力における課題誤入力が多くなる．操作が難しいことによる誤入力を2. 1 課題補って効率よく入力を行うための支援が求められる．

VR 環境上での文字入力の課題として，空間把握が本研究の目的は，VR 環境上で操作しやすく，誤入難しいことが挙げられる．空間上に配置されている力が少ない文字入力支援システムを実現することでキーボードは触感がないので，どこまでキーを押し込んだらいいのか分からない．現実世界での入力とTactile ﬂick text entry method in virtual reality
Ryuichi Kiyohara, Atsushi Sawada, Masami Noro, 南山大学理工学部ソフトウェア工学科, Dept. of Software Engineering, Faculty of Science and Technology, Nanzan University.

同じように，触感的フィードバックやキーを押すと形や色が変化するなどの視覚的フィードバックが必要である．

VR 環境上で利用する入力方法が普段の文字入力でuc

使い慣れている方法と異なる場合，その操作に慣れる必要がある．現在多くの HMD に標準で採用されて予測変換
モジュール

いる入力方法は QWERTY 配列のキーボードしかな

入力された文字から予測変換を提示

く，利用者は他の方法を選ぶことができない．日本語の入力にも適した，広く普及している入力方法を提供することで，普段と同様の入力が可能となる．

VR デバイスの正確な操作は難しく，普段の文字入予測変換の候補

物理フリック
入力方法

文字の入力

力より誤入力が発生しやすい．誤入力をすると，削除利用者と再入力を必要とするので入力に時間がかかる．誤入

図1

入力したい単語を選択

テキストの表示

文字入力支援システムの概要

力に対して適切に補完や修正をすることができれば，入力速度の向上や，入力回数の削減につながる．

図る．
図 1 に提案するシステムの概要を示す．スマート2. 2 先行研究

フォンのディスプレイ操作を使ったフリック入力（以Jiban ら [1] は音声認識を行う方法を提案している．

下，物理フリック入力方法と呼ぶ）と予測変換モジュー

音声入力と予測変換を用いることで複雑な操作のない文字入力が可能である．

ルを組み合わせたシステムを提供する．
利用者は物理フリック入力方法を用いて文字入力

竹永らの研究 [5] では，ハンドコントローラを用いを行う．入力された文字は予測変換システムに入力さたフリック入力，ハンドコントローラの姿勢変化によれ，変換する単語の候補が提示される．利用者は単語る入力などが実現されている．

を選択することにより入力とすることができる．

福仲らの研究 [2] では，Leap Motion†1 という手指

物理フリック入力方法は手首に装着したスマート認識用デバイスを用いたフリック入力方法を提案したフォンでフリック入力を行う．物理フリック入力方法（以下，仮想フリック入力方法と呼ぶ）．フリック入を使用しているときの様子を図 2 に示す．手首に取り力キーボードを仮想空間上に配置し，それを用いてフ付けたスマートフォンにキーボード入力画面を表示さリック入力するという方法である．

せ，スマートフォンの画面を VR 環境上にも出現させる．入力する際は，スマートフォンの文字入力専用ア

3 文字入力支援システムの概要

プリケーションでフリック入力を行う．これにより普2. 1 節で挙げた，空間把握が困難であるという文字段行う文字入力を VR 環境上で同じように行うこと入力での課題を，本研究では物理的触感を伴わせるこができる．物理的触感を得る目的としてスマートフォとで解決する．キーボードの操作に触感を伴わせるンとインターネット通信を採用した理由としては，他ことにより，利用者に触感的フィードバックが与えらのタッチパネルデバイスに比べてスマートフォンを所れ，キーボードと利用者の手の位置関係を明確にでき持している利用者が多いことが挙げられる．タッチ操る．触感はスマートフォンを直接指で触って操作する作アプリケーションとして提供すれば VR デバイスことで得ることができる．文字入力の方法としては，や HMD の種類を問わず多くの利用者が幅広く利用フリック入力を用いる．多くの若者は日本語の文字入できるからである．精度の高いタッチ操作を利用して力にフリック入力を使用している [4]．物理的触感のスマートフォンをトラックパッドのように使用するこ伴うフリック入力を提供するすることで，普段の文字とができれば，VR のコントローラとして拡張するこ入力に近い操作が可能となる．これに加え，予測変換とも想定できる．

機能を組み合わせることで，利用者の操作量の軽減を入力に対する予測変換機能を搭載し，誤入力を補完し，操作の手間を削減する．予測変換は入力された文†1 https://www.ultraleap.com/

字から，入力される可能性の高い単語などを予測し図2

物理フリック入力方法を現実で使用している様子（左）と VR 環境上で見えている様子（右）て提供する．日本語入力での使用を考慮し，単語の予測だけでなく，かな漢字変換機能も搭載するよう設計

図3

実験環境した．
用いる．HMD は PC に接続されており，映像の出力

4 利用実験による評価
4. 1 概要を行う．
予測変換モジュールは共通のものを採用する．予

物理フリック入力方法と予測変換機能の組み合わせ

測変換やかな漢字変換ができる Web API は複数あるの有効性を評価するために行った利用実験について説が，本研究では Yahoo! JAPAN が提供するかな漢字変換 API(V2)†3 を用いる．この API には予測変換と明する．図 3 に実験環境全体の概念図を示す．
物理フリック入力方法と，既存の入力方法である仮かな漢字変換を同時に行うことができる利点がある．

想フリック入力方法 [2] を加えた環境を実装した．物

予測変換モジュールは各方法による入力文字を受け取

理フリック入力方法と仮想フリック入力方法は，PCり，URL に埋め込み HTTP リクエストを発行する上のアプリケーション（以下，VR 環境アプリケーことで予測変換辞書の結果を得る．入力中の文字列がションと呼ぶ）から切り替えられるよう Unity で実更新される度に予測変換を検索し利用者に提示する．

装する．Unity には PC 向け VR アプリケーションを制作できる SteamVR Plugin†2 という API があり，VR 環境の構築やハンドコントローラを実装できる機能が備わっている．

4. 2 物理フリック入力方法の実装
物理フリック入力方法は，スマートフォンの入力同期アプリケーションと PC の VR 環境アプリケーショ

2 つの方法では共通のフリック入力キーボードを実ンにより構成する．図 4 にその概要を示す．ディス

装し，利用者は文字の入力と予測変換の選択を行う

プレイ操作のタッチ状態と座標は，後述する Photon

際，それぞれの方法に合わせてデバイスを使い分け

Server のインターネット通信を用いて PC と同期する．ハンドコントローラとスマートフォンは物理フる．PC はディスプレイの操作情報から入力文字を決リック入力を行うハードウェアデバイスとして用い定し，テキストボックスに反映する．両手のハンドる．スマートフォンにはディスプレイ操作を PC とコントローラは位置と向きを PC に送り，PC はハン同期するためのアプリケーション（以下，入力同期ア

ドコントローラがある位置に手の 3D モデルを表示プリケーションと呼ぶ）をインストールする．Leapする．

Motion は仮想フリック入力方法での手と指の認識に†2 https://assetstore.unity.com/packages/tools/integration/steamvr-plugin-32647

HMD を通じて利用者に提示される画面の例を図 5†3 https://developer.yahoo.co.jp/webapi/jlp/jim/v2/conversion.html

Photon ServerHMD

ディスプレイ操作の状態，座標の同期

映像の出力

インターネットPC
Leap MotionVR環境アプリケーション

HMD

右手人差し指の座標取得

VR環境の作成
入力文字の決定

映像の出力

PC
VR環境アプリケーション
スマートフォン
入力同期アプリケーション
ディスプレイ操作情報を送信

図6

仮想フリック入力方法

VR環境の作成
入力文字の決定ハンドコントローラ
位置，向きの情報を送信

図4

物理フリック入力方法

図7

仮想フリック入力方法で利用者に提示される画面

4. 3 仮想フリック入力方法の実装
福仲らの入力方法を参考に，仮想フリック入力方
図5

物理フリック入力方法で利用者に提示される画面法を再現した．図 6 にその概要を示す．図 4 の物理フリック入力方法と異なり，ハンドコントローラやスに示す．作成したキーボードを手首に取り付けたスマートフォン，アプリケーション間のインターネットマートフォン上で表示し，VR 環境上でも出現させて通信が無くなり，PC 側のアプリケーションのみで作いる．キーボードには五十音の入力だけでなく，文字動する．ディスプレイ操作に代わって Leap Motionの削除，スペース，改行を行えるようキーを取り付けが手を検知し，指先の座標を取得する．指先の座標がた．文字を入力すると利用者の前に変換中の文字が表キーボードの画面より奥にあるときがタッチ操作とな示され，前方に設置した 6 個のボックスに予測変換候り，座標と領域から入力するキーを決定する．

補が表示される．利用者は候補の中から文字を選び，キーボード操作は Leap Motion で認識された手をボックスに触れるとその文字が入力される．

用いるが，使用するフリック入力キーボードは前述のアプリケーション間のインターネット通信には PUN
2 無料版 †4 を用いる．PUN 2 を使うことで異なる物理フリック入力方法で実装した同じものを用いて，ハードウェア間でのインターネット通信を実装でき示す．予測変換は Leap Motion が手を認識できる範る．入力同期アプリケーションは操作の状態と二次囲を考慮してキーボードの左右に 3 個ずつ配置する．

元座標を常に Photon Server に送り，VR 環境アプ

Leap Motion を用いたフリック入力について，他のリケーションは Photon Server から操作情報を受け指先でも入力を行えるようにした場合，複数の指が画取ってキーボードを操作する．

面に同時に重なることにより誤入力が発生する可能空間上に配置する．利用者が見えている画面を図 7 に性がある．本研究では右手の人差し指のみでフリック入力ができるよう実装した．
†4 https://assetstore.unity.com/packages/tools/
network/pun-2-free-119922

入力時間の平均(s)

誤入力回数の平均（回）
94

10090877807266470605504403302220111000QWERTY配列入力方法

図8

仮想フリック入力方法

物理フリック入力方法

予測変換なしの場合の入力時間の平均

図9ているか，その妥当性を利用者実験により確認する．
実験では本研究で作成した入力方法と従来の入力方
法 2 つの合計 3 つを使用し，入力速度や誤入力回数，使用した感想を比較することで行う．既存の入力方法

入力時間の比較(s)

94100908070605040302010082

仮想フリック入力方法
予測変換なしク入力方法で，図 3 で説明した実験環境に組み込む
図 1091

72の 1 つ目は福仲らの提案方法を再現した仮想フリッ形で実装した．2 つ目は QWERTY 配列キーボード

物理フリック入力方法

予測変換なしの場合の誤入力回数の平均

4. 4 利用実験の内容
提案システムにより 2. 1 節で挙げた課題が解決でき

仮想フリック入力方法

QWERTY配列入力方法

物理フリック入力方法
予測変換あり予測変換ありの場合となしの場合の入力時間の平均とハンドコントローラを使用した入力方法であり（以下，QWERTY 配列入力方法と呼ぶ），SteamVR の力方法である．被験者からは「VR で見えている画面ダッシュボードのキーボードを用いる．と実際にタッチするものの位置がずれており，正確に実験では被験者 5 名に 3 つの入力方法の概要を説入力ができなかった」という意見が挙がった．

明後，5 分間の練習時間を与える．その後，無作為に予測変換ありの場合となしの場合の入力時間につ選んだ単語 5 つを連続して入力させる．最初に予測変いての結果を図 10 に示す．入力時間の大きな短縮に換なしで入力し，入力時間と誤入力回数を計測する．

はつながらず，仮想フリック入力方法では却って入力

仮想フリック入力方法，物理フリック入力方法につい時間が大きくなった．この方法では予測変換候補が左ては，予測変換ありの場合についても計測をする．実

右に配置されていたことで予測結果が確認しづらく

験終了後は被験者からそれぞれの方法に対する感想なり，入力速度の低下につながったと考えている．

を聴取する．

被験者に好みの入力方法を聴取した結果は，QW-

ERTY 配列入力方法が 1 名，仮想フリック入力方法
4. 5 実験結果

が 2 名，物理フリック入力方法が 2 名となり，ばらつ予測変換なしの場合の各方法の入力時間の平均をきが出た．

図 8 に，誤入力回数の平均を図 9 に示す．
入力時間の平均が最も短かったのは，QWERTY

5 考察

配列入力方法であった．QWERTY 配列入力方法は4. 5 節の実験結果でも言及した通り，物理フリック

ローマ字入力なのでキーを押す回数がその他と比べ入力方法ではキーボードの位置が VR 上で見えていてほぼ 2 倍近くになる．この結果より，キーを押するものと現実にあるものがずれてしまい，既存の方回数は入力速度と必ずしも比例しないことが分かる．

法よりも誤入力が多くなった．これは，ハンドコント誤入力回数の平均が 1 番多かったのは物理フリック入ローラの位置を参考にキーボードを投影していたことが原因であると考えている．また，ハンドコントがある．

ローラは指を握っているか開いているかの判断しかで親指でのフリック入力はキーボードを見ずに行う

きないので，指先の正確な位置が分からず，3D モデ人も多いので，スマートフォン上のキーボードの位置

ルと現実の指先にもずれがあった．

を利用者が普段使用している配置に合わせて表示し，Haiyan ら [3] は物理的な QWERTY 配列キーボー

その画面を VR 環境上に表示すればキーボードを見ドの位置をハンドコントローラから取得し，HMD にない文字入力が可能であると考える．これを実現す取り付けたカメラで手の映像を撮影して VR 環境上る場合，Leap Motion は指先を取得できる範囲が設に表示する方法を提案している．この方法では，キー置位置付近に制限されるが，スマートフォンで画面操ボードとハンドコントローラが密接していたのでずれ作を共有すれば，VR デバイスの認識範囲外や，センが生じず，現実と同じように文字入力できたことが報サーが遮蔽される姿勢でもタッチ座標を取得できる．

告されている．このことから，物理フリック入力方法

このことから，物理フリック入力方法はブラインド入のずれを解決するには，トラッキングできる VR デ力に応用可能であると考える．また，インターネットバイスをスマートフォンに密着させる必要がある．

通信による取得座標の遅延はほとんどなく，指の動き物理フリック入力方法の利点として，触感があるこも VR 環境上で確認できた．これを用いて，画面をとによって指の動きが制御され，仮想フリック入力方

なぞる操作による文字入力を実装すれば，より空間法と比べて指の前後移動が減って負担が少なくなるこ把握を行う回数が少ない入力方法を実現できる．さとが挙げられる．一方，仮想フリック入力方法では，らに他の方法として，VR デバイスと PC で画面の位キーボードを大きくしたことにより誤入力は少なく置が正確に認識できれば，スマートフォンを使わずになったものの，キーを選ぶ際に手を大きく移動させるただの板を持つことで同じように文字入力ができる．

必要があったことや，左右に配置した予測変換が確認

この場合は VR デバイスの認識範囲を考慮する必要しにくかったことで入力速度が低下したと考えていがあるが，導入がより容易となる．

る．これらから，操作の負担が少なく，誤入力が発生より良い文字入力支援を実現するために今後取りしにくい適切なキーボードの大きさを検討する必要

組むべき課題としては，誤入力が起こる原因を解決すがあることが分かる．

ること，誤入力を予測して修正案を提示できる予測変

物理フリック入力方法は誤入力が最も多かったが，換モジュールの実装をすることが挙げられる．

2 名の被験者はこの方法を最も使いやすいと評価した．被験者は普段からスマートフォンでフリック入力

6 おわりにを行う機会が多く，触感があることで普段の入力に操VR 環境上で文字入力を行う際，空間把握が難しい作感が近かったことや，文字の削除が素早く行えたのという課題を解決するために，本研究では物理フリッで誤入力を修正する操作が速かったことが要因である

ク入力方法に予測変換を組み合わせた支援システムと考えている．

を設計した．

物理フリック入力方法の効果を阻害する要因としフリック入力キーボードに触感を伴わせることで，て，予測変換の選択にかかる独自な操作があると考空間把握が困難であるという課題の克服を試みた．フえている．独自操作に習熟するための練習によってリック入力は現在広く普及していることから，VR 環入力速度が改善する可能性もある．また，仮想フリッ境上でも普段と同じような入力を実現できる．また，

ク入力方法は人差し指での入力を前提としているが，スマートフォンのタッチ操作アプリケーションとし被験者の中には人差し指より親指でのフリック入力のて提供することで利用者の VR デバイスや HMD の方が慣れている者もいた．より現実に近い文字入力に種類を問わず幅広い利用ができる．この入力方法に近づけるためには，各入力方法において利用者に適し予測変換機能を組み合わせることで誤入力の補完をたインタフェースを詳細に調節できるようにする必要行った．

実験では提案した方法と従来の 2 つの方法を用い，被験者 5 名に単語を入力させ，入力時間と誤入力回数の計測と使用感の評価を行った．実験の結果，QWERTY 配列入力方法が最も入力速度が高く，誤入力回数が少ない結果となった．一方で，入力方法の好みにはばらつきがあった．
今後は，親指入力への対応や，キーボードのずれの改善，入力情報から誤入力を予測して修正案を提示できる機能の実現など，より洗練されたフリック入力インタフェースの検討を行いたい．また，本研究で提案する文字入力支援システムを VR アプリケーションから共通に利用可能なライブラリとして整備し，この分野でのソフトウェア開発効率化に寄与することも今後の課題である．
謝辞 本研究の成果の一部は，JSPS 科研費（基盤（C） 20K11759），および 2022 年度南山大学パッヘ研究奨励金 I-A-1，I-A-2 の助成による．

参 考 文 献[1] Adhikary, J. and Vertanen, K.: “Text Entry in
Virtual Environments using Speech and a MidairKeyboard”, IEEE Transactions on Visualization
and Computer Graphics, Vol. 27, No. 5, pp. 26482658, 2021.
[2] 福仲 伊織，謝 浩然，宮田 一乘，“VR 環境におけるフリック入力形式インターフェースの開発”，情報処理学会研究報告，Vol. 2019-HCI-182，No. 3，pp. 1-8，
2019．
[3] Haiyan, J. Dongdong, W. Zhenliang, Z. Yihua,
B. Yufei, J. and Mengman, N.: “HiKeyb: HighEﬃciency Mixed Reality System for Text Entry”,
2018 IEEE International Symposium on Mixed
and Augmented Reality Adjunct (ISMAR-Adjunct),
pp. 132-137, 2018.
[4] 長澤 直子，“大学生のスマートフォンと PC での文字入力方法 — 若者が PC よりもスマートフォンを好んで使用する理由の一考察 —”，コンピュータ＆エデュケー
ション，Vol. 43，pp. 67-72，2017．
[5] 竹永 正輝, 橋本 直,“片手持ち VR コントローラのための日本語入力 UI の提案”，エンタテインメントコン
ピューティングシンポジウム 2019 論文集， Vol. 2019，
pp. 12-16，2019．