情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1D122022/2/21

ヘッドマウントディスプレイにおける指文字を用いた文字入力手法の提案
久保田千尋†1湯村翼†1

概要：ヘッドマウントディスプレイの普及において,文字入力手法が課題である.指先などでカーソルを操作し仮想キーボードを操作する手法が主流であるものの,手の認識に深度センサや複数台の RGB カメラが必要である.そこで本研
究では,MediaPipe Hands を用いることにより RGB カメラ 1 台で手の形状を推論し,手話の一種である指文字によって文字を入力するシステムを提案する.本稿ではアメリカ手話(ASL)の指文字に対応するプロトタイプを実装し,問題点や実用性を洗い出し,本システムの有用性について検討した.

1. はじめにメ タ バ ース が盛 り 上 がり を見 せ , 拡 張 現実 (Augmentedを用いて指先の位置を検出し,視界内に表示されるQWERTY キーボードを操作し文字を入力する.
また,村田ら[4]らは VR コンテンツ向けの密閉型 HMD にReality: AR)や複合現実(Mixed Reality: MR)といった分野が視線計測装置を装着し,視線によって文字の入力を可能と注目される.それらのコンテンツを利用するデバイスとしした.頭を動かすことで HMD 上での操作を可能としたてヘッドマウントディスプレイ(HMD)が挙げられる.

Yukang ら[5]の手法は,文字入力には対応していないが仮想コンピュータでの文字入力に最も一般的に使われるデバキーボードの操作に応用することも可能であろう.これら

イスは物理キーボードである.しかし,物理キーボードは机はすべて手や目,頭を用いてカーソルを動かすことによっにおいて使用する必要があるなどの制約があるため,HMDて仮想キーボードを操作し文字を入力するものであり,事の文字入力手法として用いるには親和性が低い.そのため,節で挙げる事例は手の形状によって直接文字を入力するも外部入力デバイスを用いずに HMD を装着した状態での利のである.

用が可能な文字入力手法が必要であると考えられる.そこ

2.2

手話を活用した文字入力手法

で本研究では,HMD の特性を生かすため,外部入力デバイス

木村ら[6]はカメラから得た映像から手の形状および動を用いず,HMD に内蔵された RGB カメラのみを用いる文字作を検出し,手話を認識することにより手話を用いて文字入力手法を提案する.カメラに向けて指文字を表現するこを入力できる辞書システムを開発した.また,生野ら[7]はスとによって,文字の入力を可能とする.

マートフォン上で内蔵カメラによって得た映像から手の形

指文字とは手話と同様に聴覚障害者が用いるコミュニケーション手法の一つである.手話は主に手指や腕を用いた動作により単語を表現する.しかし手話が存在しない単語や固有名詞を表す場合には手の形状によって１文字ずつ表現する指文字を用いて表す.
本稿では HMD において指文字を用いる文字入力システ
ムを実装し課題を洗い出したうえ,実用性を検討する.

2. 関連研究2.1

HMD における文字入力手法

状を検出し指文字を認識することにより指文字を用いて文字を入力することが可能なシステムを開発した.

3. 提案手法
前節で紹介したように HMD においてカメラを使用し手を検出することによって文字を入力する試みは多く存在す
る.ただし,それらはカーソルを操作し仮想キーボードを使用するものであるため,指先の揺れなどによって正確かつ迅速に文字を入力することが難しいと考えられる.また,手の形状を利用する文字入力システムはいくつかの先行研究

土井ら[1]は深度カメラによって指先の位置を検出し,空があるが,いずれも HMD 向けに作られたものではない.そ中でのタップやフリックジェスチャを認識することによりのため本研究では,HMD で文字入力をする際,指文字を用い仮想キーボードを操作する文字入力手法を提案した.このて文字を入力するシステムを提案する.

様に深度カメラまたは RGB カメラを用いて撮影した映像

提案システムでは,ユーザは HMD 前面に内蔵された RGBから指先または手全体を認識し仮想キーボードを操作するカメラからおおよそ 30cm ほど離れた位置に右手を用いて手法は多くみられる.Microsoft 社製 HoloLens[2]に搭載される MRTK(Mixed Reality Keyboard)[3]でも同様に内蔵カメラ

カメラに向け指文字を示す（図 1）.カメラから得た映像を解析して指文字を認識し,対応する文字を入力する.なお,入力したい文章を１文字ずつ全て入力することは非常に不便†1 北海道情報大学情報メディア学部© 2022 Information Processing Society of Japanである.そのため,入力補完機能も実装する.本研究にて使用

180情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1D122022/2/21

する指文字はアメリカ手話(ASL)[8] に対応する.さらに,入に,相対的な位置関係などからルールベースで手の形状を力補完機能の実装にあたって入力補完候補の選択や文字の推定する.推定された手の形状がシステムに登録された手削除,入力の確定といった制御用文字を表す指文字が必要の形状と一致した場合に指文字であると認識する.本シスとなるため,独自に作成した指文字を使用する.

テムでは,アメリカ手話(ASL)（図 3）に対応しているため[A-Z]の 26 種類に加え,8 種類の制御用文字（図 4）と,合わせて 34 種類の手の形状をシステムに登録した.

図1本システムを利用している様子

4. 実装
4.1

システム構成本研究の提案手法の概念実装として,システムの開発を図3行った.本システムは HMD,PC によって構成される.HMD はアメリカ手話(ASL)の指文字（文献[8]より引用）

EPSON MOVERIO BT-30E を使用した.MOVERIO には RGBカメラが内蔵されているため,内蔵カメラから映像を取得する.しかし OS が搭載されておらず,外部から映像を入力する必要があるため,カメラから得た映像を PC に送信し処理した後 HMD に映像を出力する.

図2
4.2

システム概要

指文字の検出内蔵カメラから得た映像から MediaPipe Hands[9]によって手の検出及び手の形状の認識を行う.MediaPipe Hands とは機械学習により動画から手を検出し,姿勢を推論するライブラリであり,Google からオープンソースで提供される.
対応言語は C++,Python,JavaScript となっており,本システ

ムでは Python を使用した.本システムでは,手の位置・領域

図44.3

制御用指文字文字の入力

前節の手法により認識した指文字をシステムに入力する.

を検出するモデルである「Palm Detection Model」によって入力された文字は入力未確定の文字列として変数に格納さ手を検出した後,「Hand Landmark Model」によって検出され,入力補完機能の関数に渡される.入力補完機能にはオーれた手から 21 個の指関節の三次元座標を取得する.なお,奥プ ン ソ ー ス で 提 供 さ れ て い る ラ イ ブ ラ リ で あ る Fast行きを表す z 座標は手首を起点とした相対座標である.MediaPipe Hands から得た手の各点の三次元座標をもと© 2022 Information Processing Society of Japan

Autocomplete[10]を使用した.入力補完候補は入力未確定の文字列に最も近いものから 3 つの単語が提案され,画面左181

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

1D122022/2/21

上に表示される.入力補完候補の中に入力したい単語が存の課題が浮き彫りとなった.本節ではそれらの課題を挙げ在した場合に,ユーザは入力補完候補選択用指文字を示す.

る.

入力システム内では,入力補完候補内の単語を入力確定済

5.1

指文字認識の正確性

みの文字列として変数に格納する.入力未確定の文字列を特定の指文字が認識されにくいという課題があるというそのまま入力確定する場合には,文字入力の確定を表す指ことがわかった.認識されにくい場合の主な理由として,他文字を示す.入力システム内では入力未確定の文字列を入の指の奥に隠れてしまう指の姿勢推定が不正確である,他力確定済みの文字列として変数に格納する.の指文字と近似しているといったものが挙げられる.前者

4.4の問題が起こりやすい例として「O」,「P」,「Q」といった画面表示

システムの実行画面を図 4 に,実行画面を合成したユー
ザ視点を図 5 に示す.

手の側面を見せる指文字を示した際,手前の指に隠れた指の姿勢推定が不安定となり正しく認識されない場合が多く画面左上部に入力未確定の文字列及び入力補完候補を表みられた.この問題に関してはハンドトラッキング技術の示し,画面左下部に入力確定済みの文字を表示する.画面内向上により改善されると考えられる.また「M」,「N」,「T」には認識した手の各点の座標をもとに手の骨格を表示する.

これら 3 種類の指文字は親指を内側に入れた拳を作り,親これによりユーザは自らの手がカメラの画角に入るよう調指の先を小指と薬指の間から出した場合「M」を表し,薬指整することができ,手の形状が正しく認識されているかをと中指の間から出した場合「N」を表し,中指と人差し指の確認することが可能となる.

間から出した場合「T」を表す.3 種類それぞれ近似してい本研究で使用した HMD である MOVERIO では,図 5 に示

るうえ,親指の先端以下が常に隠れているため姿勢推定がすように視界左手に仮想ディスプレイが表示される.本シ不正確であるといった 2 つの重大な問題を抱えている.ハ

ステムでは右手を用いて指文字を示すことを想定している

ンドトラッキング技術の向上により多少改善する見込みはため,画面と自らの手が重なり視認性が低下することはなあるものの,正確に認識することは困難であると考えられいと考えられる.MOVERIO において画面内の黒い部分はる.したがって指文字を文字入力に用いる場合これら 3 種透過して表示される.そのため,実際には左上部下部に表示類の指文字に関しては代替となる指文字を使用することにされている文字及び手の骨格のみが視認できる.

よって,より正確な文字入力が可能となるであろう.
5.2

入力補完機能本 シ ス テ ム に て 入 力 補 完 機 能 と し て 使 用 し た Fast
Autocomplete には当初 40,000 語程度の英単語を集めた辞書データを使用していた.しかし処理の負荷が高くなり,フレームレートが低下した.そこで 2,000 語程度の簡単な英単語を集めた辞書データを作成し使用したところ,処理負荷は軽減され問題なく動作した.ただし実用的な文字入力手法を開発する場合 2,000 語程度の辞書データでは足りない可能性がある.その場合,他の入力補完機能を実装することも考えられる.
図5

システム実行画面

5.3

実用性

認識精度の低さに関しては改善の余地があり,認識精度が向上するにつれ実用性も向上するであろう.
続いて,ユーザは制御用指文字を含め 34 種類の指文字を習得しなければならず,日常的に指文字を用いないユーザにとって本システムを快適に利用することが困難であるという問題が挙げられる.この問題は,使用可能な指文字の一覧を表示する機能を追加する事により解決できる可能性がある.
腕を持ち上げ続けることにより起こる腕への疲労の蓄積も課題である.これは,既存手法の指先を用いて仮想キーボ
図6

実行画面を合成したユーザ視点

5. 議論
本研究では,実装しシステムを利用する過程でいくつか© 2022 Information Processing Society of Japanードを操作する手法と同様の課題である.本研究にて用いた HMD である MOVERIO ではカメラが正面を向いた状態で内蔵されているためユーザは自らの手をカメラの画角に収めるべくわずかに腕を持ち上げなければならず,ユーザ

182情報処理学会 インタラクション 2022
IPSJ Interaction 2022の腕に疲労が蓄積してしまう.しかしながら手を検出するためのカメラが下向きに内蔵されている場合ユーザは手を持ち上げる必要が無い.そのため腕の疲労は軽減されると

1D12
2022/2/212021-12-16)[10] “Fast Autocomplete”,
https://github.com/seperman/fast-autocomplete ,(参照2021-12-16)

考えられる.
また,既存手法である手指などを用いてカーソルを動かし仮想キーボードを操作する手法で文字を入力する場合画面を注視しなければならないものの,本システムではカメラの画角に手が入ってさえいれば良く,画面を注視する必要がない.そのため視覚障害者向けの文字入力手法として応用することも考えられる.

6. まとめ本 研 究 で は ,HMD 内 蔵 カ メ ラ に よ っ て 得 た 映 像 か らMediaPipe Hands によるハンドトラッキングにて指文字を認識し,文字を入力するシステムを提案した.実装したとこ
ろ指文字の認識精度の低さが目立ったため,機械学習を用いる等認識手法を改め認識精度を向上させる必要がある.
必要な機材は RGB カメラ１台のみであるがゆえ安価に実装できる.そのため導入が手軽であり,使用する環境を選ばないという利点がある.HoloLens に搭載される MRTK のように手の指先を用いて仮想キーボードを操作する手法と,本システムを組み合わせて使用することも考えられる.このように他の手法と組み合わせる応用も期待できる.本研
究は HMD における文字入力の快適性を向上させ,HMD の普及に貢献するであろう.

参考文献
[1]

土井 秀信,ヘッドマウントディスプレイ向けの直感的な文字入力インターフェースの提案,東京大学大学院 修士論文,
2017[2] “HoloLens2 製品ページ“.
https://www.microsoft.com/ja-jp/hololens, (参照 2021-12-16).
[3] “MRTK のシステムキーボードの概要“.
https://docs.microsoft.com/ja-jp/windows/mixed-reality/mrtk-unity/features/ux-building-blocks/system-keyboard?view=mrtkunity-20
21-05, (参照 2021-12-16).
[4] 村田 朋来,盛川 浩志,小宮山 摂：VR 空間における視線入力に関する基礎的検討. 研究報告ヒューマンコンピュータイン
タラクション（HCI）. 2018-HCI-177.22. P1-6
[5] Yukang Yan, Chun Yu, Xin Yi, Yuanchun Shi : HeadGesture:
Hands-Free Input Approach Leveraging Head Movements for
HMD Devices. Proceedings of the ACM on Interactive, Mobile,Wearable and Ubiquitous Technologies, Volume 2, Issue 4. 2018,
p1-23[6] 木村 勉,鈴木 洸輔,石濵 春,吉田 あすか,神田 和幸：手話認識機能を備えた手話辞書システムの開発.
研究報告アクセシビリティ（AAC）2021, p1-6[7] 生野優輝,外村佳伸：UbiScription:スマートフォンを用いた手指ジェスチャー認識. 情報処理学会インタラクション 2021.
2021[8] “ASL Fingerspelling Alphabet”,
https://www.signlanguageforum.com/asl/fingerspelling/alphabet/,(参照 2021-12-19)[9] “MediaPipe Hands”,
https://google.github.io/mediapipe/solutions/hands.html, (参照© 2022 Information Processing Society of Japan

183