WISS 2022

スマートウォッチのセンサのみを用いたハンドジェスチャ認識に基づく片手文字入力手法の提案
角田 陸 ∗

平井 李音 †

志築 文太郎 ‡概要.
スマートウォッチのセンサのみを用いたハンドジェスチャ認識に基づく片手文字入力手法を示す．
スマートウォッチの画面は超小型であるため，特に文字入力の際に，キーボードを画面に表示することによる出力の制約，および画面に表示されたキーをタップすることによる入力の制約が生じる．本手法は，入力を画面におけるタップではなくハンドジェスチャとして行うことにより，それら出力および入力の制約を解決する．さらに，本手法は追加のセンサを用いることなく，市販のスマートウォッチのセンサのみを用いて動作する．

1

はじめにスマートウォッチは主にタッチジェスチャによって操作されるが，表示されるターゲットは小さく，それによって誤タップが発生する問題（ファットフィンガ問題）[10]，およびタップする箇所が指に覆われて視認できないという問題（オクルージョン問題）[11] が生じる．また，文字を入力するためにキーボードを表示すると，画面の大きさの制約によってキーボード以外のコンテンツの表示領域が小さくなるという問題 [5] がある．さらに，スマートウォッチを装着していない手を用いてスマートウォッチを操作する必要があるため，片手がふさがっている状況における操作は難しい．これらの問題を解決するために，我々はスマートウォッチを装着した手におけるハンドジェスチャを認識することによる文字入力手法を提案する（図 1）．本手法では，ハンドジェスチャを行った際のスマートウォッチの加速度センサのデータを取得し，それに対し機械学習を用いることにより 8 種類のジェスチャを認識する．そして認識されたジェスチャに基づき文字群が選択され，文字群の組み合わせに対し単語予測アルゴリズムを用いて単語を予測する．さらに，本手法は市販のスマートウォッチのセンサのみを用いて動作する．

2

関連研究

本節では，スマートウォッチにおける文字入力に関する研究，およびスマートウォッチのセンサを用いたジェスチャ認識に関する研究を述べる．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗筑波大学情報メディア創成学類†筑波大学情報理工学位プログラム‡筑波大学システム情報系

Hi, how are you?
Good, you?
Great thanks!
How about lunch tommorow?
entrying

great how about sandwich

suggestion

wages sandwich asbestos sandals sands

図 1. 本入力手法を用いて文字を入力をしているイメー
ジ．赤文字は現在選択されている単語を示す．

2.1 スマートウォッチにおける文字入力
ZoomBoard [8]，SplitBoard [6]，および WatchWriter [4] では，タッチパネル上におけるキーもし
くは単語の選択方法を工夫することによって，入力の制約を解決している．InclineType [5] は，画面の端に配置された文字を手首の動きを用いて選択する手法であり，入力および出力の制約を解決している．
WrisText [3] および FingerT9 [12] は，追加のセンサを用いてスマートウォッチを装着した手のジェスチャを認識することにより，片手のみによる文字選択および単語選択を可能にしている．

2.2

スマートウォッチのセンサを用いたジェスチャ
認識

Serendipity [9] は，市販のスマートウォッチに搭載されている加速度センサおよびジャイロセンサを用いて 5 種類のジェスチャを認識している．ViBand[7] および Taprint [2] は，サンプリングレートを引き上げたスマートウォッチの加速度センサを用いてそれぞれタップ，クラップなどのジェスチャ，および手の甲における被タップ箇所を認識している．

WISS 2022

3

提案手法

スマートウォッチのセンサのみを用いたハンドジェスチャ認識に基づく片手文字入力手法を提案する．
ジェスチャ検知および分類，ならびに単語予測アルゴリズムを組み合わせて文字入力を行う．

QW E R T Y U I O P
A S D F G H J K L
Z X C V B N M
(a)

3.1

薬指中指(c)人差し指(d)(e)親指

図 2. キー配置および対応するハンドジェスチャ．

著者 1 人に対し各ジェスチャ100 個，計 800 個のデータを収集し，そのうち 8 割を訓練データ，残り2 割をテストデータとして用いて分類を行った結果，98.8%の正解率が得られた．

3.4
ジェスチャ検知

サンプリングレートが 4000 Hz の加速度センサのデータを 3 軸（X，Y，および Z 方向の 3 つ）分取得する．3 軸それぞれにおける最新の 2048 点に対し，加速度データの変化を計測するために，バターワースハイパスフィルタを用いて直流成分を除去し，10点の移動平均フィルタを用いて平滑化を行う．ジェスチャの開始から終了までの波形が 2048 点の中に含まれるようにするため，およびジェスチャ以外の波形を含まないようにするために，加工後の 3 軸のデータ全てにおいて冒頭 100 点および末尾 100 点の値が全て閾値以下かつ，それら以外の 101 点目から 1948 点目までの少なくとも 1 つの値が閾値以上のときにジェスチャが行われたとする．なお，本処理は 0.03 秒に一回行われるため，同一のジェスチャから生じる波形が複数回処理にかけられる．この結果，同一のジェスチャを複数回検知し得るため，ジェスチャの検知後，0.5 秒間はジェスチャ検知を行わない．

3.3

(b)

システム

IMU（InvenSense MPU6515）を搭載したスマートウォッチである LG G Watch W100 を用いる．なお，ViBand [7] と同じく加速度センサのサンプリン
グレートを 4000 Hz に引き上げる．スマートウォッ
チと Bluetooth 接続されたスマートフォンを PC に接続し，PC においてスマートウォッチの加速度のデータを取得し，リアルタイムに信号処理，機械学習，および単語予測を行う．
3.2

小指

ジェスチャ分類

ジェスチャが検知された場合に，ジェスチャ分類を行う．ジェスチャが検知された時点における 3 軸それぞれの 2048 点のデータを，高速フーリエ変換を用いて周波数パワースペクトルに変換し，0 Hz から 2000 Hz までの 1025 点のデータを取得する．そのうちジェスチャの特性を表す 0 Hz から 128 Hz までの 67 点を抜き出し，3 軸合わせて 201 点の特徴量に対して Support Vector Machine を用いて分類を行う．
分類するジェスチャは，人差し指，中指，薬指，および小指の親指とのピンチ動作（図 2a，b，c，d），親指の手のひらに対するタップ（図 2e），人差し指および小指の親指とのはじき動作，ならびに手を握る動作の 8 種類である．

文字入力システム

図 2 に示すキー配置をもとに，ピンチおよび親指のタップを用いて文字群を選択する．入力された連
続の文字群に対しそれら全ての組み合わせを算出し，複数の文字列を得る．それらの文字列から始まる単語の使用頻度をコーパス [1] を用いて検索し，上位 5つを降順に予測単語として表示する．人差し指のはじき動作を用いて，予測単語の選択を頻度が低い方へ変更し，手を握る動作を用いて現在選択している予測単語を入力する．また，小指のはじき動作を用いて選択した文字群を削除し，一つ前の状態に戻る．

4

今後の展望

現在は文字入力インタフェースをスマートウォッ
チではなく PC に表示し，ジェスチャ認識システムを PC にて動かしている．スマートウォッチにおいて文字入力を行うために，文字入力インタフェースをスマートウォッチに表示（図 1）し，さらにスマートウォッチのみを用いた文字入力を可能にするために，システムをスマートウォッチにて動作させる．
また，著者 1 人に対する機械学習モデルの汎化性能は不明であるため，複数人を対象としたデータ収集を行い，汎化性能の調査を行う．

5

おわりに

本稿では，スマートウォッチのセンサのみを用いたハンドジェスチャ認識に基づく片手文字入力手法を提案した．本手法は，市販のスマートウォッチのみを用いてハンドジェスチャを認識することが可能であり，スマートウォッチを装着した手におけるハンドジェスチャを用いて文字入力を行うことにより，入力および出力の制約を解決した．今後は，文字入力インタフェースをスマートウォッチに表示し，機械学習モデルの汎化性能およびユーザビリティの調査を行う．

スマートウォッチのセンサのみを用いたハンドジェスチャ認識に基づく片手文字入力手法の提案

参考文献[1] English
WordFrequency.
https://www.kaggle.com/datasets/rtatman/english-word-frequency. 最終参照日：2022
年 11 月 16 日.
[2] W. Chen, L. Chen, Y. Huang, X. Zhang,
L. Wang, R. Ruby, and K. Wu. Taprint: Secure Text Input for Commodity Smart Wristbands. In The 25th Annual International Conference on Mobile Computing and Networking,
MobiCom ’19, pp. 1–16, New York, NY, USA,2019. Association for Computing Machinery.
[3] J. Gong, Z. Xu, Q. Guo, T. Seyed, X. A. Chen,
X. Bi, and X.-D. Yang. WrisText: One-Handed
Text Entry on Smartwatch Using Wrist Gestures. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems,CHI ’18, pp. 1–14, New York, NY, USA, 2018.
Association for Computing Machinery.
[4] M. Gordon, T. Ouyang, and S. Zhai. WatchWriter: Tap and Gesture Typing on a Smartwatch Miniature Keyboard with Statistical Decoding. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems,
CHI ’16, pp. 3817–3821, New York, NY, USA,2016. Association for Computing Machinery.
[5] T. Götzelmann and P.-P. Vázquez. InclineType:An Accelerometer-Based Typing Approach forSmartwatches. In Proceedings of the XVI International Conference on Human Computer Inter-action, Interacción ’15, pp. 1–4, New York, NY,USA, 2015. Association for Computing Machinery.
[6] J. Hong, S. Heo, P. Isokoski, and G. Lee.
SplitBoard: A Simple Split Soft Keyboard forWristwatch-Sized Touch Screens. In Proceedings of the 33rd Annual ACM Conference on
Human Factors in Computing Systems, CHI ’15,pp. 1233–1236, New York, NY, USA, 2015. Association for Computing Machinery.
[7] G. Laput, R. Xiao, and C. Harrison. ViBand:
High-Fidelity Bio-Acoustic Sensing Using Commodity Smartwatch Accelerometers. In Proceedings of the 29th Annual Symposium on UserInterface Software and Technology, UIST ’16,pp. 321–333, New York, NY, USA, 2016. Association for Computing Machinery.
[8] S. Oney, C. Harrison, A. Ogan, and J. Wiese.
ZoomBoard: A Diminutive Qwerty Soft Keyboard Using Iterative Zooming for Ultra-SmallDevices. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,
CHI ’13, pp. 2799–2802, New York, NY, USA,
2013. Association for Computing Machinery.
[9] C. Shi, V. Lakafosis, M. H. Ammar, and E. W.
Zegura. Serendipity: Enabling Remote Computing among Intermittently Connected Mobile Devices. In Proceedings of the Thirteenth
ACM International Symposium on Mobile Ad
Hoc Networking and Computing, MobiHoc ’12,
pp. 145–154, New York, NY, USA, 2012. Association for Computing Machinery.