WISS 2023

スマートウォッチの加速度センサを用いた Thumb-to-ﬁnger ジェスチャ認識に基づく片手文字入力手法
角田 陸 ∗

志築 文太郎 †概要. スマートウォッチの加速度センサを用いた thumb-to-ﬁnger ジェスチャ（親指から他の指へのジェス
チャ）認識に基づく片手文字入力手法を示す．本手法では，スマートウォッチを装着した手の thumb-to-ﬁnger
ジェスチャを用いて文字入力を行う．本手法は画面のタッチを伴わないため，スクリーンオクルージョン
問題，およびファットフィンガ問題の発生を回避し，スマートウォッチを装着した手のみを用いた片手入力を可能にする．また本手法は，スマートウォッチの加速度センサのデータに対する機械学習を用いてジェス
チャを認識することによって，追加のセンサを用いることなく動作する．実験の結果，ユーザごとに認識性能の高いジェスチャを対象にすると，91.5%の正解率にて 8 個のジェスチャ認識が可能であることを確認した．加えて文字入力性能の予備調査の結果，平均 3.69 WPM を示した．

1

はじめに

既存のスマートウォッチ（以降，超小型端末）における英語の文字入力手法の多くは，QWERTY キー
ボードを模したソフトウェアキーボードであるが，これらには以下の問題が存在する．(1) 超小型端末の画面は小さいため，文字入力の際にキーボードを表示すると，キーボード以外の表示領域が制限される（スクリーンオクルージョン問題 [11]）．(2) 画
面に表示されるキーは小さい．そのため，誤入力が発生しやすく，加えて指に覆われたキーを視認することが困難である（ファットフィンガ問題 [25]）．
文字選択方法を工夫することによって，これらの問題を解決した手法 [22, 7, 12, 23, 19, 14, 21] がある．しかしこれらの手法では，超小型端末を装着していない手を用いて画面をタッチする必要がある
ため，両手の使用を要する．ゆえに，物の運搬，料理，傘の保持などの片手が塞がっているときの入力は不便になる [28]．超小型端末を装着した手のジェ
スチャを用いる片手文字入力手法 [29, 9, 30] はこの問題を解決するが，これらの手法では超小型端末以外の追加のセンサが必要である．また，音声入力は多くの超小型端末に搭載されている手法であるが，図書館などの声を出すことが難しい場所において使用できず，かつプライバシが漏洩し得る．
Thumb-to-ﬁnger ジェスチャ（親指から他の指へのジェスチャ）は，操作中に明確な触覚的手がかりを与えることができる入力方式 [13]，および指が本来持っている運動能力を活用する入力方式 [26] として注目を集めている．また，超小型端末に搭載された加速度センサを用いて，超小型端末を装着した手のジェスチャを認識する研究 [17, 32, 24, 18] が行われている．しかし，加速度センサを用いた thumbto-ﬁnger ジェスチャの認識およびその認識性能調査は行われていない．そこで，我々は加速度センサを用いて thumb-to-ﬁnger ジェスチャを認識し，加えてその認識性能を調査した．その上，超小型端末に搭載された加速度センサを用いたリアルタイムに動作する thumb-to-ﬁnger ジェスチャ認識に基づく英語の片手文字入力手法（図 1）を開発した．本手法
は，超小型端末を装着した手のジェスチャを用いた入力を採用することによって，スクリーンオクルー
ジョン問題およびファットフィンガ問題を回避し，片手入力を可能にする．また，センサとして超小型端末に搭載された加速度センサのみを用いるため，本手法は市販の超小型端末において追加のセンサを用いることなく動作する．
本稿ではまず，超小型端末の加速度センサを用いて thumb-to-ﬁnger ジェスチャを認識する手法を述べた上で，ジェスチャの認識性能および主観評価の調査結果を述べる．その後，調査結果に基づいたキー
ボードの設計，および本手法を用いた文字入力性能の予備調査の結果を示す．
本研究の貢献を以下に示す．
• 超小型端末を装着した手の 8 個の thumb-toﬁnger ジェスチャを加速度センサを用いて 91.5%の正解率にて認識できることを明らかにした．
• 超小型端末における追加のセンサを要しない
thumb-to-ﬁnger ジェスチャを用いた片手文字
入力手法を示した．

2
Copyright is held by the author(s).
∗筑波大学 情報理工学位プログラム†
筑波大学 システム情報系

関連研究

本手法は，超小型端末の加速度センサを用いてジェスチャを認識し，それに基づいて動作する片手WISS 2023

図 1. 本手法の概要．ユーザは超小型端末を装着した手の thumb-to-ﬁnger ジェスチャを用いて文字入力を行う．ジェス
チャを用いてアルファベット群を繰り返し選択し，それに基づいて予測された単語をジェスチャを用いて選択する．
この例では hello を入力している．

文字入力手法である．本節では関連研究として，超小型端末の加速度センサを用いてジェスチャを認識する手法，および超小型端末における文字入力手法
を述べる．

2.1

超小型端末の加速度センサを用いたジェスチャ
認識手法

超小型端末の加速度センサを用いてジェスチャを認識する研究が行われている．Serendipity [24] は，
市販の超小型端末に搭載された慣性計測ユニット（IMU）を用いて，指をつまむ，叩く，こするなどの 5 つの指のジェスチャを認識した．ViBand [18] は，
市販の超小型端末に搭載されている加速度センサのサンプリングレートを 4000 Hz に引き上げることによって，フリック，クラップ，スクラッチ，タップなどのハンドジェスチャ認識を可能にした．Taprint [5]は，市販の超小型端末の IMU のサンプリングレー
トを引き上げることによって，超小型端末を装着した手の甲における被タップ位置を認識した．
また Xu ら [32] は，既存のジェスチャセットの性能を低下させることなくユーザからの最小限のデー
タ収集を用いたジェスチャカスタマイズを可能にした．Kimura [17] は，自己教師あり学習を用いて，少量のラベル付きデータを用いたハンドジェスチャ認識を行った．
我々は，超小型端末の加速度センサを用いて thumbto-ﬁnger という微細なジェスチャを認識し，加えてその認識性能を調査する．その上，それに基づいた
片手文字入力を実現する．

2.2

超小型端末における文字入力手法

超小型端末における文字入力手法は，ソフトウェ
アキーボードを活用する手法，ハンドジェスチャを用いる手法に大別される．音声入力は多くの超小型端末に搭載されている入力手法であるが，ここでは，
超小型端末固有の文字入力手法を述べる．

ソフトウェアキーボードを活用する手法 [22, 7,
12, 23, 19, 14] の多くは，キーの 2 段階の選択を用いることによって，キーのサイズを大きくし，ファッ
トフィンガ問題を解決する．Invisiboard [21] は，透明なキーボードを用いることによってスクリーンオ
クルージョン問題を解決する．しかし，ソフトウェ
アキーボードを用いる手法では，超小型端末を装着していない手を用いて画面をタッチする必要がある
ため，片手入力は不可能である．
ソフトウェアキーボードを活用した文字入力手法の多くでは，画面専有面積と入力精度がトレードオフの関係にある．そのため，画面のタッチを伴わないハンドジェスチャを用いる文字入力手法が研究されている [29, 33, 10, 34, 16, 9, 30]．ただし，これらの手法は両手を用いる手法，もしくは超小型端末に追加のセンサを必要とする手法である．
また，超小型端末を装着した手を用いて描いた文
字を，追加のセンサを用いることなく認識する片手
文字入力手法 [6, 31, 8, 20] が存在する．我々の手法も追加のセンサを用いないジェスチャ認識に基づ
く片手文字入力手法であるが，超小型端末を装着した手の thumb-to-ﬁnger ジェスチャを用いて文字入力を行う．

Thumb-to-ﬁnger ジェスチャの認識

3

我々は加速度センサのデータに対する機械学習を用いて，thumb-to-ﬁnger ジェスチャを認識する．今回は thumb-to-ﬁnger ジェスチャとして，タップ [26]を採用した．我々は親指以外の指を分割して作った
24 箇所，およびタッチ面として使われることが多い
掌 [4] の合計 25 箇所（図 2）をタップ対象とした．

3.1

実装

微細なジェスチャの認識のために，超小型端末のLinux カーネルを変更することによって，4000 Hz

スマートウォッチの加速度センサを用いた Thumb-to-ﬁnger ジェスチャ認識に基づく片手文字入力手法

図 2. 我々が採用した thumb-to-ﬁnger ジェスチャの25 種類のタップ対象．タップ対象は，指前面，指側面，および掌の 3 種類から成る．指前面および指側面は，指の関節を境界として 3 つの領域に分割される．

のサンプリングレートにて加速度データを収集する[18]．実装には，IMU（InvenSense MPU6515）を搭載した超小型端末である LG G W100 を用いた．
この IMU は他の多くの超小型端末に搭載されているものと同一のシリーズである．

3.1.1

セグメンテーション

文字入力のためには加速度データの分類をリアル
タイムに行う必要があるため，ユーザが行ったジェ
スチャの発生の検知，および加速度データからジェスチャが行われた区間を切り出すこと（セグメンテーション）もリアルタイムに行う必要がある．今回我々は [27] にて用いられた変化率スコア Rx を検知に用いることにした．特に，微細な動きを捉えるために，40 点（0.01 秒）前との変化率を採用した．また，今回採用したジェスチャの所要時間は約 0.6 秒である
ため，ウィンドウの大きさを 2400（4000 × 0.6）とした．ジェスチャの開始点に対応する Rx の閾値 τR1を定め，最新の Rx のウィンドウにおいて，τR1 を初めて超える点が 200 点目から 600 点目に存在するとき，そのウィンドウをジェスチャが行われた区間とする．τR1 を初めて超える点はジェスチャの開始点よ
り僅か後であることが多いため，これによってジェスチャの開始点からのデータをウィンドウに含める
ことができる．さらに，最新の Rx のウィンドウの最大値が閾値 τR2 以上であるときのみ検知を行うことによって，誤検知を避ける．また，同一のジェス
チャから生じる波形を複数回検知することを防ぐため，ジェスチャの検知後 0.6 秒間は検知処理を行わない．

3.1.2 機械学習
Thumb-to-ﬁnger ジェスチャは微細なジェスチャであるため同一の種類のジェスチャであっても，ユー
ザごとにその動きは異なる．したがって，ユーザごとの分類モデルを作成する．ただしこのためには，
ユーザごとのデータ収集が必要となる．
我々は，ユーザごとのデータ収集を最小限にする
ため，Kimura の手法 [17] を採用することにした．
この手法は自己教師あり学習を用いる手法であり，
2 つのステップからなる．
最初のステップは，事前学習であり，多量のラベ
ルなしデータに対する教師なし表現学習を行う．今回著者の 1 人が，超小型端末を装着した状態にて日常生活を約 2 時間送り，最新の Rx のウィンドウの最大値に対して閾値 τR3 を用いて動きがあった際のデータのみを収集した．その結果，2400（0.6 秒）の
大きさであるウィンドウのデータが 5106 個得られた．このデータを Kimura の手法 [17] と同じく，3つの周波数帯に分割し，時系列データに対する表現
学習モデルの訓練を行った．
2 つ目のステップはファインチューニングであり，少量のラベル付きデータに対する教師あり学習を
ユーザごとに行う．まず，ユーザがジェスチャを行った際のデータを前節の方法にてセグメントする．次に，セグメントされたデータを事前学習時と同じく
3 つの周波数帯に分割する．その後，事前学習された表現学習モデルを用いて，そのデータを 320 次元の特徴表現に変換する．そして，この変換後のデータを用いてジェスチャ分類モデルの訓練を行った．
機械学習アルゴリズムには LinearSVC を用いた．

3.2

ジェスチャの認識性能および主観評価の調査

本システムを用いたジェスチャの認識性能を調査するための実験を行った．また，文字入力に用いる
ジェスチャを決定するために，ジェスチャに対する主観評価を調査した．先行研究 [15] は，thumb-toﬁnger のタッチジェスチャを対象にジェスチャの主
観評価を調査しているが，我々は掌を下に向けた掌が見えない状態においてジェスチャを行うため，この調査を行った．しかし，掌の向きおよび掌の見え方が主観評価に与える影響の違いについての調査はしていない．実験には，研究室内の 6 名の大学生および大学院生（21 歳–24 歳，平均 22.1 歳，全員男
性，右利き）がボランティアとして参加した．

3.2.1

実験設計

立位の状態においてファインチューニングのためのデータ収集を行った．参加者は左手に超小型端末を装着した．各ジェスチャを 10 回ずつ行うことを
1 セッションとする．データ収集時間の短縮および参加者が誤ったジェスチャを行うことを防ぐために，それぞれのジェスチャは連続して行われた．ジェス
チャの順番は全セッションにおいて同一である．また，指側面のジェスチャの前に最低 30 秒の休憩が設けられた．ジェスチャセットには，日常生活においてあまり行わない動きが含まれているため練習を

WISS 2023

index-side1
index-side2
index-side3
index1index2index3little-side1
little-side2
little-side3
little1little2little3
middle-side1
middle-side2
middle-side3
middle1
middle2
middle3palm
ring-side1
ring-side2
ring-side3
ring1
ring2
ring3

True label

0.84 0.03 0.02 0.01 0.00 0.00 0.03 0.00 0.01 0.00 0.00 0.00 0.03 0.00 0.01 0.00 0.00 0.00 0.00 0.03 0.01 0.00 0.00 0.00 0.00
e1
sid 0.07 0.71 0.03 0.00 0.00 0.02 0.00 0.00 0.03 0.00 0.00 0.00 0.01 0.03 0.01 0.00 0.00 0.01 0.01 0.00 0.04 0.03 0.00 0.01 0.00
ex- ide2din x-s 3 0.02 0.12 0.60 0.00 0.00 0.04 0.02 0.01 0.02 0.01 0.00 0.01 0.02 0.01 0.07 0.00 0.00 0.00 0.01 0.01 0.01 0.01 0.01 0.01 0.02
e e
ind x-sid 1 0.00 0.00 0.00 0.93 0.02 0.00 0.00 0.00 0.00 0.01 0.00 0.00 0.01 0.00 0.00 0.03 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.01 0.00
e x
ind inde 2 0.06 0.01 0.01 0.06 0.54 0.08 0.00 0.00 0.01 0.00 0.01 0.00 0.02 0.00 0.00 0.03 0.04 0.03 0.01 0.01 0.01 0.00 0.00 0.07 0.03
ex
ind x3 0.00 0.00 0.03 0.00 0.03 0.71 0.00 0.02 0.00 0.00 0.00 0.00 0.00 0.00 0.02 0.00 0.01 0.08 0.02 0.03 0.00 0.00 0.00 0.00 0.06e
ind e1 0.00 0.03 0.03 0.00 0.00 0.01 0.54 0.12 0.05 0.03 0.00 0.00 0.00 0.01 0.00 0.00 0.00 0.03 0.07 0.06 0.02 0.01 0.00 0.00 0.01
id 0.01 0.02 0.00 0.00 0.00 0.02 0.15 0.51 0.07 0.01 0.01 0.04 0.00 0.02 0.01 0.00 0.00 0.00 0.04 0.05 0.03 0.02 0.01 0.00 0.00s
le 2litt -side3 0.01 0.02 0.03 0.00 0.00 0.01 0.04 0.06 0.56 0.00 0.03 0.07 0.00 0.00 0.03 0.01 0.01 0.01 0.03 0.01 0.01 0.04 0.01 0.00 0.02e
il ttl -side 0.00 0.00 0.01 0.00 0.00 0.00 0.03 0.01 0.01 0.80 0.05 0.01 0.03 0.00 0.00 0.02 0.00 0.00 0.03 0.01 0.00 0.00 0.02 0.00 0.00
le 1litt little2 0.00 0.00 0.02 0.00 0.00 0.00 0.03 0.00 0.03 0.07 0.59 0.13 0.00 0.01 0.00 0.00 0.03 0.01 0.00 0.03 0.02 0.01 0.01 0.01 0.01
lelitt 3 0.00 0.01 0.04 0.00 0.00 0.03 0.01 0.03 0.04 0.03 0.03 0.57 0.00 0.01 0.01 0.00 0.00 0.02 0.12 0.01 0.00 0.02 0.00 0.01 0.02
lelitt 1 0.07 0.03 0.00 0.00 0.02 0.00 0.01 0.00 0.00 0.00 0.00 0.00 0.55 0.11 0.02 0.09 0.01 0.02 0.01 0.03 0.02 0.01 0.02 0.00 0.01
ide 0.00 0.05 0.03 0.00 0.01 0.00 0.01 0.02 0.03 0.00 0.00 0.00 0.07 0.60 0.03 0.00 0.01 0.02 0.02 0.04 0.05 0.00 0.03 0.01 0.00s
dle ide2
middle-s e3 0.00 0.02 0.10 0.00 0.01 0.07 0.01 0.04 0.05 0.00 0.02 0.01 0.04 0.03 0.47 0.00 0.00 0.05 0.01 0.00 0.03 0.04 0.00 0.02 0.00
iddim dle-s le1 0.00 0.00 0.00 0.07 0.00 0.00 0.03 0.01 0.00 0.00 0.01 0.00 0.08 0.00 0.00 0.69 0.03 0.00 0.00 0.00 0.00 0.02 0.03 0.03 0.00
d
mid mid le2 0.00 0.00 0.00 0.02 0.02 0.01 0.00 0.00 0.00 0.00 0.00 0.02 0.03 0.00 0.00 0.03 0.76 0.03 0.00 0.01 0.00 0.00 0.01 0.03 0.04dmiddle3 0.00 0.02 0.00 0.00 0.01 0.08 0.00 0.00 0.01 0.00 0.00 0.01 0.00 0.00 0.00 0.01 0.01 0.79 0.01 0.00 0.00 0.00 0.00 0.00 0.06
mid alm 0.00 0.00 0.01 0.01 0.00 0.01 0.02 0.01 0.05 0.00 0.01 0.03 0.00 0.00 0.00 0.00 0.00 0.01 0.81 0.02 0.00 0.01 0.00 0.01 0.01
p 1 0.00 0.00 0.03 0.01 0.00 0.04 0.07 0.07 0.00 0.00 0.00 0.00 0.01 0.04 0.02 0.00 0.00 0.00 0.09 0.55 0.04 0.02 0.01 0.00 0.01
e-side2 0.02 0.01 0.02 0.00 0.00 0.00 0.03 0.05 0.03 0.00 0.00 0.01 0.02 0.05 0.03 0.00 0.01 0.00 0.01 0.04 0.56 0.11 0.00 0.00 0.02gnri -sid 0.01 0.01 0.04 0.00 0.00 0.01 0.01 0.04 0.04 0.00 0.01 0.00 0.02 0.01 0.04 0.02 0.01 0.03 0.03 0.02 0.07 0.57 0.00 0.00 0.03
g 3
rin -side 0.00 0.00 0.00 0.01 0.00 0.04 0.03 0.01 0.00 0.03 0.02 0.01 0.03 0.02 0.00 0.03 0.03 0.00 0.00 0.03 0.00 0.01 0.69 0.03 0.00
g 1
rin ring 0.00 0.00 0.00 0.01 0.00 0.02 0.00 0.00 0.00 0.00 0.03 0.10 0.03 0.00 0.02 0.01 0.02 0.00 0.00 0.03 0.00 0.01 0.04 0.66 0.04
g2
rin 3 0.03 0.00 0.00 0.00 0.00 0.04 0.00 0.01 0.00 0.00 0.01 0.01 0.00 0.00 0.00 0.00 0.02 0.04 0.02 0.00 0.00 0.03 0.00 0.00 0.81g
rin

Predicted label

0.0

0.2

0.4

0.6

0.8

1.0

図 3. 全ジェスチャを対象にした混同行列．

2 セッション行い，その後本番を 2 セッション行った．セッションの間では最低 2 分の休憩，および超小型端末の再装着を行った．参加者は超小型端末の画面を見ながらジェスチャを行った．画面には行う
べきジェスチャが表示された．また，参加者は同一の種類のジェスチャでは同様の指の動きをすること，および体と腕の姿勢を変化させないことを指示された．得られたデータは参加者 1 人あたり，25 種類 ×
10 回 × 2 セッション = 500 個である．
その後，参加者は 5 段階のリッカート尺度を用いて，ジェスチャの行いやすさおよびジェスチャの疲れにくさに関するアンケートに回答した．実験全体において参加者 1 人あたりが要した時間は 50 分程度であった．

3.2.2

結果および考察

参加者ごとの認識性能を調べるために，参加者ごとに，本番セッション 1 と本番セッション 2 のデー
タに対して，セッション間交差検証を行った．そのため，1 度の検証における 1 つのジェスチャの訓練
データ数は 10，テストデータ数は 10 である．すべてのデータは事前学習された表現学習モデルを用いて特徴表現に変換された．結果として，全ジェスチャを対象にした正解率の平均は，65.7%（標準偏差：7.00%）であった．混同行列を図 3 に示す．
次に，ジェスチャごとの認識性能として，再現率が高い（他のジェスチャに分類されにくい）ジェス
チャ，および適合率が高い（誤分類されにくい）ジェ
スチャを調査した．評価指標には，再現率と適合率の調和平均である F1 スコアを用いた．ジェスチャ
ごとの F1 スコアの標準偏差の平均は 15.4%であった．これは，特定のジェスチャに対する参加者間のF1 スコアのばらつきが大きいことを示す．そのため，F1 スコアが高いジェスチャセットは参加者ごとに異なっていた．
そこで，参加者ごとに，F1 スコアが高いジェス
チャのみを対象にしたセッション間交差検証を行った．その結果，F1 スコアが高い上位 8 個のジェス
チャのみを対象にすると，正解率の平均が 9 割を超えることがわかった（正解率平均：91.5%，正解率の標準偏差：2.54%）．
次にアンケートの結果を分析する．この分析ではリッカート尺度を便宜的に間隔尺度として用いる．
ジェスチャの行いやすさに関して，「とても行いやすい」を 5，「とても行いにくい」を 1 として平均値を求めた．ジェスチャの疲れにくさに関して，「全
く疲れない」を 5，「とても疲れる」を 1 として平均値を求めた．その結果，行いやすさの平均値が 3以上かつ疲れにくさの平均値が 3 以上であったジ
ェスチャは，index1，index2，index-side1，indexside2，index-side3，middle1，middle2，middle3，
middle-side1，middle-side2，middle-side3，ring1，
ring2，ring3，ring-side1，ring-side2，および palm
（以降，ジェスチャ群 A）であった．これらのジェス
チャを対象にした際の，参加者ごとのセッション間交差検証の正解率の平均は，71.6%（標準偏差：6.28%）であった．
一方，行いやすさおよび疲れにくさの両者に関して，回答が割れるジェスチャも存在した．これは，参加者によって指の可動域が異なることが原因の 1
つであると考えられる．

4

キーボードの設計

Thumb-to-ﬁnger ジェスチャを用いた英語の文字入力のためのキーボードの設計を述べる．まず，ア
ルファベットの数に対してジェスチャの数が少ない
ため，我々は 1 つのジェスチャに対して複数のアルファベットを割り当て（これらのジェスチャを入力
ジェスチャと呼ぶ），これに単語予測を組み合わせる．単語予測には，予測単語列から単語を選択するための機能が必要である．今回，我々は予測単語選
択モードを設け，このモードへの切り替えに専用のジェスチャ（選択ジェスチャ）を採用する．このモードでは，ユーザは入力ジェスチャを用いて単語を選択する．また，ジェスチャが誤認識されること，およびユーザが誤ったジェスチャを行うことが考えられる．そのため，我々は削除ジェスチャを採用する．
3.2 節の結果より F1 スコアが高いジェスチャセッ
トは参加者ごとに異なっていた．そのため，ユーザ
ごとにジェスチャセットを作成すると，F1 スコアが高いジェスチャセットとなる．しかし，このためにはスマートウォッチの加速度センサを用いた Thumb-to-ﬁnger ジェスチャ認識に基づく片手文字入力手法

図 4. 我々が設計したキーボード．文字はアルファベッ
ト順にて配置した．数字は，選択する予測単語の順番に対応している．

ユーザごとに全ジェスチャの認識性能を調査する必要およびユーザごとにキーボードをデザインする必要がある．したがって今回は，本手法の可能性を調査することを目的として，ユーザごとのジェスチャ
セットの作成は行わず，平均的に認識性能が高かったジェスチャを用いる．さらに，以下の方針をもとに文字入力に用いるジェスチャを決定する．(1) ジェ
スチャの主観評価が悪いジェスチャを除く（ジェスチャ群 A から採用する）．(2) 25 クラス分類時の平均の F1 スコアが特に低いジェスチャを除く．(3) 互いの誤分類率が高いグループからは 1 つのジェスチャのみを採用する．(4) 採用したジェスチャのみを用いた際の正解率が大きい．(5) 入力ジェスチャを最低 5 つ，選択ジェスチャ・削除ジェスチャ（ファンク
ションジェスチャ）のためのジェスチャを 2 つ採用
する．(6) ユーザが文字入力に用いるジェスチャを覚
えやすいように，指の面ごとに異なる組み合わせのジェスチャを採用しない（例として，中指の指前面
では middle1，middle2 を採用し，薬指の指前面では ring2，ring3 を採用することをしない）．(7) ファ
ンクションジェスチャおよび入力ジェスチャは，ジェ
スチャの覚えやすさのためにジェスチャの種類（指前面のジェスチャまたは指側面のジェスチャ）または指が異なる．
この結果，我々は，ファンクションジェスチャとして，index-side1 および index-side2 を，入力ジェ
スチャとして，index1，middle1，middle3，ring1，
ring3，および palm を採用した．これらのジェスチャを対象にした際の，参加者ごとのセッション間交差
検証の正解率の平均は，87.6%（標準偏差：5.35%）であった．以上のジェスチャを用いたキーボードを
図 4 に示す．
このキーボードを用いた文字入力システム（図1）を説明する．ユーザは，目的の単語の各アルファ
ベットに対応するジェスチャを順に行う．システム
は，入力されたジェスチャ列に基づき，予測単語を6 つ提示する．次にユーザは選択ジェスチャを用いて，モードを予測単語選択モードに切り替える．そして，予測単語の番号に対応するジェスチャを行う
ことによって，単語を選択する．入力したい単語が予測単語列に存在しないときは，繰り返し選択ジェ
スチャを行うことによって次の予測単語列の表示に切り替えることができる．以上の操作を繰り返すことによって文章を入力する．
単語予測では，入力されたジェスチャ列に対応するアルファベットの全ての組み合わせに対して，英単語の使用頻度および auto-complete [9] を用いて予測単語を算出する．この手法は，使用頻度が比較的低いが短い単語の存在を考慮して，入力文字数以上の単語を予測単語として提示する．
また，文字入力中にジェスチャの誤認識および誤った操作が発生し得るため，認識されたジェスチャをユーザが確認できるように，システムは認識された
ジェスチャを超小型端末に表示する．文字入力モードと予測単語選択モードの状態は，予測単語の色を変更することによって示す．なお，単語と単語の間にはスペースが自動的に挿入される．

5

文字入力性能の予備調査

本手法を用いた際の文字入力の速度（WPM: Words
Per Minute [2]），およびエラー率（WER: Words
Error Rate [3]）を評価するための実験を行った．
実験には，研究室内の 3 名の大学生および大学院生（21 歳–24 歳，平均 22.3 歳，全員男性，右利き）がボランティアとして参加した．

5.1

実験システムの実装

超小型端末と Bluetooth 接続されたスマートフォ
ンを PC に接続する．PC において超小型端末の加速度センサのデータを取得し，リアルタイムに信号処理，ジェスチャ認識，および単語予測を行う．また，課題文，入力中の文，入力中の単語のために行ったジェスチャ，および予測単語列を，PC からスマー
トフォンを経由して超小型端末に送信する．単語の使用頻度はコーパス [1] から得た．実験システムにおいて，ジェスチャを行ってからその認識結果が超小型端末に表示されるまでの所要時間は，主にデー
タ通信，ジェスチャ認識，および単語予測により約
0.9 秒であった．

5.2

実験設計

参加者は図 4 のキーボードを用いて，立位の状態
において超小型端末に表示される課題文を入力する．
初めに参加者は，ジェスチャ認識のファインチューニ
ングのためのデータ収集のために，各ジェスチャを
10 回行った．合計のジェスチャ回数が少なくデータ収集にあまり時間がかからないため，ジェスチャの種類が少なく誤ったジェスチャが発生しづらいため，
および文字入力では連続して同一のジェスチャを行WISS 2023

うとは限らないため参加者はランダム順にてジェスチャを行った．また，アルファベットのヒントのラベルが，対応するジェスチャの領域の裏側に貼られた．参加者は，対応する文字がどの領域に割り当てられているか分からないときにヒントを参照することができた [29]．参加者は実験の前に，本システムを用いた文字入力の練習を望むだけ行った．その後，
最低 3 分間の休憩を行い，本番として 5 つの短文を入力すること（1 セッション）を 2 回行った．セッション間には最低 3 分の休憩を取った．短文の文章および出題順は，全参加者において同一であり，同一の文章は練習および本番を通して繰り返し用いられていない．短文は，フレーズセット [35] からランダムに選ばれた．また，参加者は高速かつ正確に入力することを求められた．

5.3 結果および考察
WPM の平均は 3.69（セッション 1：3.60，セッ
ション 2：3.77），WER の平均は 0.0547（セッション 1：0.0694，セッション 2：0.0400）であった．最も練習が長かった（約 40 分）参加者の WPM は，
セッション 1 において 5.55．セッション 2 において5.33 であり，WER は両セッションにおいて 0 であった．また，手法に習熟した著者が同一の条件において実験を行ったところ，セッション 1 において 7.68
WPM，セッション 2 において 8.38 WPM を達成した（両条件において WER は 0）．これは，手法に習熟することによってより高速に文字入力が可能になることを示唆する．キーの割り当ての確認に時間がかかったとコメントした参加者がいたことも，手法の習熟が高速な文字入力に繋がることを示唆する．
また，入力中にジェスチャの誤認識が多かったとコメントした参加者がいた．これは，入力中の体および手の姿勢の変化に伴って，データ収集時と異なる姿勢およびジェスチャになっていたためと考えられる．ジェスチャの誤認識に伴う直前の入力の取り消しおよび 2 度目の入力は，文字入力速度の低下につながるため，手の角度を変化させた際のデータ収集，または姿勢の変化に堅牢なジェスチャ認識が求
められる．

6

議論および今後の課題

今回，微細なジェスチャの認識のために，4000 Hzのサンプリングレートにて加速度センサのデータを取得した．しかし，100 Hz のサンプリングレートの加速度データを用いたハンドジェスチャ認識の研究[17, 32] がある．4000 Hz のサンプリングレートは
消費電力の増大につながるため，サンプリングレー
トを小さくしていった際の認識性能を調査する必要がある．また，今回の実装ではジェスチャを行ってからその認識結果が超小型端末に表示されるまでに
約 0.9 秒要した．したがって，入力は最も早くて 0.9

秒に 1 回であった．この原因の 1 つは，ジェスチャの波形が完全に含まれる 0.6 秒のウィンドウを採用したことである．より小さいウィンドウを用いてジェ
スチャの途中までの波形にて認識を行うことができ
れば，ジェスチャを行ってからその認識結果を表示するまでに所要する時間が短縮されるため，文字入力速度の向上につながる．よって，今後はウィンドウに含めるジェスチャの波形の程度と認識性能の関係を調査する必要がある．加えて，高い性能にて認識可能なジェスチャの種類が増えれば，入力の語彙が増える．例として，人差し指，中指，および薬指の前面の 9 つの領域に対するタップの認識が可能であ
れば，T9 入力が可能になる．このように，入力の語彙が増えることによって，柔軟なキーボードの設計が可能になるため，高性能にて多種類のジェスチャ認識が可能な手法の開発が求められる．また，本手法では文字入力のための計算を PC において行った．
そのため，屋外等の場所において用いるためには，
超小型端末に接続されたスマートフォンにて計算をする必要，またはクラウドコンピューティングを活用する必要がある．
本論文では，thumb-to-ﬁnger ジェスチャとして
指前面，指側面，および掌に対するタップジェスチャを採用した．しかし，指背面に対するタップ，素早
く 2 回連続して行うタップ，およびスワイプ，サークル [4]，フリック（指の弾き）などのタップ以外のジェスチャを採用することも考えられる．例として，
フリックする指の認識に基づいた予測単語の選択ができれば，予測単語選択モードへの切り替えの必要がなくなる．これらのジェスチャは，今回採用した
ジェスチャと動きが大きく異なるため，今回採用したジェスチャの認識性能を低下させることなく認識できる可能性がある．加速度センサを用いた thumbto-ﬁnger ジェスチャ認識に基づく片手文字入力のための最適なジェスチャセット，および主観評価が高
いかつ性能が高いかつ学習コストが低いキーボード設計を調査する必要がある．

7

おわりに
本稿では，超小型端末の加速度センサを用いた

thumb-to-ﬁnger ジェスチャ認識に基づく片手文字
入力手法を示した．本手法では，スクリーンオクルー
ジョン問題およびファットフィンガ問題が発生せず，
市販の超小型端末において追加のセンサを用いることのない片手文字入力が可能である．ジェスチャ認識性能調査では，ユーザごとに F1 スコアの高いジェ
スチャを抽出することによって，平均 91.5%の正解率にて 8 個のジェスチャ認識が可能であることを示した．また，ジェスチャ認識性能および主観評価の調査を通じてキーボードの設計を行い，本手法を用いた文字入力性能の予備調査を行った．その結果，
平均 3.69 WPM を示した．

スマートウォッチの加速度センサを用いた Thumb-to-ﬁnger ジェスチャ認識に基づく片手文字入力手法

参考文献[1] English
Word
Frequency.
https://www.kaggle.com/datasets/rtatman/english-word-frequency. 最終参照日：2023
年 8 月 29 日.
[2] A. S. Arif and W. Stuerzlinger. Analysis of
Text Entry Performance Metrics. In 2009 IEEE
Toronto International Conference Science andTechnology for Humanity (TIC-STH), pp. 100–
105, 2009.
[3] X. Bi and S. Zhai. IJQwerty: What Diﬀerence
Does One Key Change Make? Gesture Typing
Keyboard Optimization Bounded by One Key
Position Change from Qwerty. In Proceedingsof the 2016 CHI Conference on Human Factors
in Computing Systems, CHI ’16, pp. 49–58, New
York, NY, USA, 2016. Association for Computing Machinery.
[4] E. Chan, T. Seyed, W. Stuerzlinger, X.-D. Yang,
and F. Maurer. User Elicitation on Single-Hand
Microgestures. In Proceedings of the 2016 CHI
Conference on Human Factors in Computing
Systems, CHI ’16, pp. 3403–3414, New York,NY, USA, 2016. Association for Computing Machinery.
[5] W. Chen, L. Chen, Y. Huang, X. Zhang,
L. Wang, R. Ruby, and K. Wu. Taprint: Secure Text Input for Commodity Smart Wristbands. In The 25th Annual International Conference on Mobile Computing and Networking,
MobiCom ’19, pp. 1–16, New York, NY, USA,2019. Association for Computing Machinery.
[6] W. Chen, L. Chen, M. Ma, F. S. Parizi, S. Patel, and J. Stankovic. ViFin: Harness Passive
Vibration to Continuous Micro Finger Writing
with a Commodity Smartwatch. Proceedings of
the ACM on Interactive, Mobile, Wearable andUbiquitous Technologies, 5(1):1–25, 2021.
[7] X. A. Chen, T. Grossman, and G. Fitzmaurice. Swipeboard: A Text Entry Techniquefor Ultra-Small Interfaces That Supports Novice
to Expert Transitions. In Proceedings of the27th Annual ACM Symposium on User Interface Software and Technology, UIST ’14, pp.
615–620, New York, NY, USA, 2014. Association for Computing Machinery.
[8] Y. Gao, S. Zeng, J. Zhao, W. Liu, and W. Dong.
AirText: One-Handed Text Entry in the Air for
COTS Smartwatches. IEEE Transactions on
Mobile Computing, pp. 1–14, 2021.
[9] J. Gong, Z. Xu, Q. Guo, T. Seyed, X. A. Chen,
X. Bi, and X.-D. Yang. WrisText: One-Handed
Text Entry on Smartwatch Using Wrist Gestures. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems,
CHI ’18, pp. 1–14, New York, NY, USA, 2018.
Association for Computing Machinery.
[10] T. Götzelmann and P.-P. Vázquez. InclineType:An Accelerometer-Based Typing Approach for
Smartwatches. In Proceedings of the XVI International Conference on Human Computer Interaction, Interacción ’15, pp. 1–4, New York, NY,

USA, 2015. Association for Computing Machinery.
[11] C. Harrison and S. E. Hudson. Abracadabra:
Wireless, High-Precision, and Unpowered Finger Input for Very Small Mobile Devices. In
Proceedings of the 22nd Annual ACM Symposium on User Interface Software and Technology, UIST ’09, pp. 121–124, New York, NY,
USA, 2009. Association for Computing Machinery.
[12] J. Hong, S. Heo, P. Isokoski, and G. Lee.
SplitBoard: A Simple Split Soft Keyboard forWristwatch-Sized Touch Screens. In Proceedings of the 33rd Annual ACM Conference on
Human Factors in Computing Systems, CHI ’15,
pp. 1233–1236, New York, NY, USA, 2015. Association for Computing Machinery.
[13] D.-Y. Huang, L. Chan, S. Yang, F. Wang, R.-H.
Liang, D.-N. Yang, Y.-P. Hung, and B.-Y. Chen.
DigitSpace: Designing Thumb-to-Fingers Touch
Interfaces for One-Handed and Eyes-Free Interactions. In Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems,
CHI ’16, pp. 1526–1537, New York, NY, USA,2016. Association for Computing Machinery.
[14] A. Ishii, H. Hakoda, and B. Shizuki. Flickey:
Flick-Based QWERTY Software Keyboard
for Ultra-small Touch Screen Devices.
In
M. Kurosu ed., Human-Computer Interaction.
Interaction Technologies, pp. 31–42. Springer
International Publishing, 2018.
[15] H. Jiang, D. Weng, Z. Zhang, and F. Chen.
HiFinger: One-Handed Text Entry Techniquefor Virtual Environments Based on Touches between Fingers. Sensors, 19(3063), 2019.
[16] J. Kim, W. Delamare, and P. Irani. ThumbText: Text Entry for Wearable Devices Usinga Miniature Ring. In Proceedings of the 44thGraphics Interface Conference, GI ’18, pp. 18–
25, Waterloo, CAN, 2018. Canadian HumanComputer Communications Society.
[17] N. Kimura. Self-Supervised Approach for FewShot Hand Gesture Recognition. In AdjunctProceedings of the 35th Annual ACM Symposium on User Interface Software and Technology, UIST ’22 Adjunct, pp. 1–25, New York,NY, USA, 2022. Association for Computing Machinery.
[18] G. Laput, R. Xiao, and C. Harrison. ViBand:
High-Fidelity Bio-Acoustic Sensing Using Commodity Smartwatch Accelerometers. In Proceedings of the 29th Annual Symposium on User
Interface Software and Technology, UIST ’16,
pp. 321–333, New York, NY, USA, 2016. Association for Computing Machinery.
[19] L. A. Leiva, A. Sahami, A. Catala, N. Henze,
and A. Schmidt. Text Entry on Tiny QWERTY Soft Keyboards. In Proceedings of the
33rd Annual ACM Conference on Human Factors in Computing Systems, CHI ’15, pp. 669–
678, New York, NY, USA, 2015. Association for
Computing Machinery.
[20] X. Lin, Y. Chen, X.-W. Chang, X. Liu, andX. Wang.
SHOW: Smart Handwriting on

WISS 2023

Watches. Proceedings of the ACM on Interactive, Mobile, Wearable and Ubiquitous Technologies, 1(4):1–23, 2018.
[21] A. Mottelson, C. Larsen, M. Lyderik,
P. Strohmeier, and J. Knibbe.
Invisiboard: Maximizing Display and Input Spacewith a Full Screen Text Entry Method for
Smartwatches.
In Proceedings of the 18th
International Conference on Human-Computer
Interaction with Mobile Devices and Services,
MobileHCI ’16, pp. 53–59, New York, NY, USA,2016. Association for Computing Machinery.
[22] S. Oney, C. Harrison, A. Ogan, and J. Wiese.
ZoomBoard: A Diminutive QWERTY Soft Keyboard Using Iterative Zooming for Ultra-Small
Devices. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems,
CHI ’13, pp. 2799–2802, New York, NY, USA,
2013. Association for Computing Machinery.
[23] Y.-F. Shao, M. Chang-Ogimoto, R. Pointner,
Y.-C. Lin, C.-T. Wu, and M. Chen. SwipeKey:
A Swipe-Based Keyboard Design for Smartwatches. In Proceedings of the 18th International Conference on Human-Computer Interaction with Mobile Devices and Services, MobileHCI ’16, pp. 60–71, New York, NY, USA, 2016.
Association for Computing Machinery.
[24] C. Shi, V. Lakafosis, M. H. Ammar, and E. W.
Zegura. Serendipity: Enabling Remote Computing among Intermittently Connected Mobile Devices. In Proceedings of the Thirteenth
ACM International Symposium on Mobile Ad
Hoc Networking and Computing, MobiHoc ’12,
pp. 145–154, New York, NY, USA, 2012. Association for Computing Machinery.
[25] K. A. Siek, Y. Rogers, and K. H. Connelly. Fat
Finger Worries: How Older and Younger Users
Physically Interact with PDAs. In Proceedingsof the 2005 IFIP TC13 International Conference on Human-Computer Interaction, INTERACT ’05, pp. 267–280, Berlin, Heidelberg, 2005.
Springer-Verlag.
[26] M. Soliman, F. Mueller, L. Hegemann, J. S.
Roo, C. Theobalt, and J. Steimle. FingerInput: Capturing Expressive Single-Hand Thumbto-Finger Microgestures. In Proceedings of the2018 ACM International Conference on Interactive Surfaces and Spaces, ISS ’18, pp. 177–
187, New York, NY, USA, 2018. Association for
Computing Machinery.
[27] P. Streli, J. Jiang, A. R. Fender, M. Meier,H. Romat, and C. Holz. TapType: Ten-Finger
Text Entry on Everyday Surfaces via BayesianInference. In Proceedings of the 2022 CHI Conference on Human Factors in Computing Systems, CHI ’22, pp. 1–16, New York, NY, USA,2022. Association for Computing Machinery.
[28] K. Sun, Y. Wang, C. Yu, Y. Yan, H. Wen,and Y. Shi. Float: One-Handed and Touch-

Free Target Selection on Smartwatches. In Proceedings of the 2017 CHI Conference on Human Factors in Computing Systems, CHI ’17,
pp. 692–704, New York, NY, USA, 2017. Association for Computing Machinery.
[29] P. C. Wong, K. Zhu, and H. Fu.
FingerT9: Leveraging Thumb-to-Finger Interaction for Same-Side-Hand Text Entry on Smartwatches. In Proceedings of the 2018 CHI Conference on Human Factors in Computing Systems, CHI ’18, pp. 1–10, New York, NY, USA,2018. Association for Computing Machinery.
[30] E. Wu, Y. Yuan, H.-S. Yeo, A. Quigley,
H. Koike, and K. M. Kitani. Back-Hand-Pose:
3D Hand Pose Estimation for a Wrist-Worn
Camera via Dorsum Deformation Network. In
Proceedings of the 33rd Annual ACM Symposium on User Interface Software and Technology, UIST ’20, pp. 1147–1160, New York, NY,
USA, 2020. Association for Computing Machinery.
[31] C. Xu, P. H. Pathak, and P. Mohapatra. FingerWriting with Smartwatch: A Case for Finger
and Hand Gesture Recognition Using Smartwatch. In Proceedings of the 16th International Workshop on Mobile Computing Systems
and Applications, HotMobile ’15, pp. 9–14, New
York, NY, USA, 2015. Association for Computing Machinery.
[32] X. Xu, J. Gong, C. Brum, L. Liang, B. Suh,
S. K. Gupta, Y. Agarwal, L. Lindsey, R. Kang,
B. Shahsavari, T. Nguyen, H. Nieto, S. E. Hudson, C. Maalouf, J. S. Mousavi, and G. Laput. Enabling Hand Gesture Customization on
Wrist-Worn Devices. In Proceedings of the 2022
CHI Conference on Human Factors in Computing Systems, CHI ’22, pp. 496:1–496:19, New
York, NY, USA, 2022. Association for Computing Machinery.
[33] Z. Xu, W. Chen, D. Zhao, J. Luo, T.-Y. Wu,
J. Gong, S. Yin, J. Zhai, and X.-D. Yang.
BiTipText: Bimanual Eyes-Free Text Entry on
a Fingertip Keyboard. In Proceedings of the2020 CHI Conference on Human Factors in
Computing Systems, CHI ’20, pp. 1–13, New
York, NY, USA, 2020. Association for Computing Machinery.
[34] Z. Xu, P. C. Wong, J. Gong, T.-Y. Wu, A. S.
Nittala, X. Bi, J. Steimle, H. Fu, K. Zhu, and
X.-D. Yang. TipText: Eyes-Free Text Entry on
a Fingertip Keyboard. In Proceedings of the
32nd Annual ACM Symposium on User Interface Software and Technology, UIST ’19, pp.
883–899, New York, NY, USA, 2019. Association for Computing Machinery.
[35] X. Yi, C. Yu, W. Shi, X. Bi, and Y. Shi. Word
Clarity as a Metric in Sampling Keyboard Test
Sets. In Proceedings of the 2017 CHI Conferenceon Human Factors in Computing Systems, CHI’17, pp. 4216–4228, New York, NY, USA, 2017.
Association for Computing Machinery.