WISS 2022

スマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装
日下部 完 ∗坂本大介 ∗小野哲雄 ∗概要. スマートフォンが普及して久しいが，依然として指でタッチスクリーンを操作する際に生じる操作上の困難であるファットフィンガー問題や片手操作が困難という問題が存在している．これらの問題を扱う研究は多く，特にスマートフォン上での操作性の向上だけでなく外部デバイスを活用したインタラクション領域の拡張に取り組む研究も多い．本稿では，現在スマートフォンのアクセサリとして人気のあるスマホリングに着目し，スマートフォンのインタラクション領域の拡張を目的としたスマートフォン背面のジェスチャ認識を実現するスマホリング型のデバイスを提案する．我々はまず，ユーザ定義型ジェスチャのアプローチで 20 人の参加者へ聞き取り調査を行いスマホリングの最適なジェスチャを設計した．その後，機械学習モデルを使用し，設計したジェスチャを分類する 2 つの分類器を実装し，参加者を集めてジェスチャデータの収集を行った．集めたデータで学習と分類試験を行ったところ，日常動作とジェスチャ入力の分類では 99.1%，ジェスチャの種類の分類では 92.7%の精度が確認された．

1

はじめにスマートフォンをはじめとするモバイル端末は多くの便利な機能をユーザに提供する一方で，これらの端末の主な操作方法であるタッチスクリーンへの直接的なインタラクションはファットフィンガー問題（Fat ﬁnger problem）など操作上の問題を抱えている．この問題を解決するために，外部デバイスを用いてモバイル端末のインタラクション領域を拡張する研究が多く行われてきている [5]．特にスマートフォンのカバー型のデバイスはスマートフォンのアクセサリとして設置できるため，ユーザの体に新たなデバイスを装着するコスト無しに，スマートフォンのインタラクションを豊かにするという利点が存在する [7]．
本研究ではスマートフォンのカバー以外のアクセサリとして人気のあるスマホリングに着目し，スマホリング型の外部デバイスによるスマートフォンのインタラクション領域を拡張手法を提案する（図 1）．
本デバイスの特徴は，圧力センサを用いてスマホリングを使用している指の動作を感知する．我々のアイデアは，このスマホリング周囲の指の動きを定義するジェスチャを設計し，これによりスマホリング型のジェスチャインタフェースを実現する．本稿では，以下の 2 つを行う．1）ユーザ定義型ジェスチャのアプローチによりスマートフォンの各種操作を対象としたスマホリング向けの最適なジェスチャを設計する．2）ジェスチャを認識するスマホリング型デバイスを実装する．ジェスチャの認識を行うため，我々は機械学習のモデルである畳み込みニューラルネットワーク（CNN）を使用して 2 つの分類器を作∗

北海道大学

使用方法

標準状態

ホーム画面へ

図 1. 本研究で開発したデバイスの概要．スマホリング型のデバイスに人差し指でダブルタップのジェスチャ入力をすることで，地図アプリからホーム画面へと移動している様子.

成する．一つはスマホリングでジェスチャを行っているのか，日常的な操作を行っているのかを判定する分類器であり，もう一つは前述の分類器でジェスチャであると判定された場合に，実際にどのジェスチャが行われたのかを分類するものである．以上を実現するため，我々は 2 つの調査を行った．一つめの調査では 20 名の参加者へ，ユーザ定義型ジェスチャのアプローチに基づく調査を行い，24 種類のスマホリングのジェスチャを設計した．その後，設計したジェスチャを認識するためのプロトタイプを開発し，続く 2 つめの調査では，10 名の参加者から24 種のジェスチャを入力しているデータを収集した．このデータを著者らが収集した日常動作のデータと合わせて分類器に学習させた．その結果，日常動作とジェスチャ入力中の分類では 99.1%，24 種類のジェスチャの分類では 92.7%の精度が確認された．本稿では以上について報告する．

WISS 2022

22.1

関連研究
スマートフォンのインタラクション領域の拡張

スマートフォンは動画の視聴，通話，SNS の使用など，多くの機能をユーザに提供する携帯性の高いデバイスである．スマートフォンの操作は，主に画面を指で直接触ることで行うが，スマートフォンの様な画面の小さな端末のタッチスクリーンの操作は，ファットフィンガー問題など操作上の問題を抱えている．この問題の解決に向けてスマートフォンのインタラクション領域の拡張することを目指した研究が行われてきており，その 1 つに外部デバイスによるインタラクション領域の拡張がある [5]．この手法では多様なセンサを使用できるため，豊かなインタラクションを提供できる一方で，ユーザの体に新たなデバイスを装着するコストが生じる．スマー
トフォンに装着することを前提とした周辺アクセサ
リ型のデバイスは，このコストを解消する手法であり，今日までにスマートフォンケース型のデバイスの研究等が行われてきている [7][14]．Yadav らは，複数のスマホリング型インターフェースをプロトタイプし，それらの比較調査を行った [13]．本稿では，ユーザ定義型ジェスチャのアプローチによってジェスチャの定義を行い，機械学習を用いたプロトタイプの開発と応用事例の提案を行う．

2.2

ジェスチャ入力によるインタラクション手法

ジェスチャとは，特定のポーズや動きによる非言語的なコニュニケーション手法の 1 つである．ジェスチャ入力によるインタラクションは，キーボードやマウスなどの一般的な入力手法と比較し，記憶性，学習性，さらに特定の条件下ではパフォーマンスも優れると言われている [1]．HCI の分野では非常に多くの領域でジェスチャ入力によるインタラクションの研究が行われている．これまでにジェスチャ入力を実現するための認識技術に関する基礎研究が多く行われてきており，特にどのようなセンサを使用するのかについての研究が多く行われてきている．音
声を入力するマイクロフォンを用いた手法では，ドップラー効果を用いた手法や [3]，物体の表面を擦った際に生じる音響信号の解析によるジェスチャ認識手法が提案されてきている [4]．カメラを用いた手法
では RGB 値のみを使用する手法のほか [10]，さらにロバストなジェスチャ認識を行うことを目的とした深度カメラや近接カメラ [9] を用いた手法が提案されている．その他にも，電界や磁界の干渉を利用したジェスチャ認識や [5]，加速度や慣性計測ユニット（IMU）を用いた軌道の解析によるジェスチャ認識 [12]，圧力センサを用いた力の状態の解析によるジェスチャ認識 [2] などが提案されてきている．本研
究では圧力センサを用いてスマホリングでのユーザの指の動作を感知し，それをジェスチャとして扱うための分類器を開発することで，新しいジェスチャ入力手法を提案する．

2.3

ユーザ定義型ジェスチャ

ユーザ定義型ジェスチャとは Wobbrock らが提案したジェスチャ設計手法であり，複数名のユーザが提案したジェスチャから，最も多く提案されたジェスチャを選択する [11]．これによって設計されたジェスチャは専門家が設計するよりも学習性，記憶性に優れていると言われている [6]．ユーザ定義型ジェス
チャはこれまでに，テーブルトップインタフェース[11] やスマートフォン [8]，靴下型デバイスなど [2]，多岐にわたるデバイスで調査が行われている．本稿
では，スマホリング型デバイスのプロトタイプで扱う最適なジェスチャを設計するため，スマホリングのユーザ定義型ジェスチャセットの調査を実施する．

3

ユーザ定義型ジェスチャのアプローチによるスマホリングのジェスチャ設計

本研究においては Ruiz らが使用した 23 種類のタスクに対して，スマホリング型インタフェースによるジェスチャの設計を行う（図 2）．ただし，我々は従来手法でのタスクに含まれる “Act on Selection”という名前のタスクは複数要素の操作が内在すると考え，このタスクを選択肢の移動のタスクと決定のタスクに細分化した．これを含めて全 23 種類のタスクを使用する．

3.1

ジェスチャ案の収集手順

本調査に先立って事前に 300 名のスマホリング使用者を対象にしたクラウドソーシングによる調査を実施した．その結果，多くの人々が人差し指もしくは中指をリングに通してスマホリングを使用すること，利き手とは反対の手でスマホリングを操作していることが明らかとなった．これらの結果を使用し，本調査の詳細を決定した．
先行研究の方針と同様に [8]，23 種類のタスクを6 つのシーンに割り当て，各シーンごとに，割り当てられたタスクを表示し，参加者へジェスチャの提案を促した．ジェスチャ案は，スマホリングに中指を通した場合と人差し指を通した場合でそれぞれ収集した．参加者には市販のスマホリングが貼られたスマートフォンを渡し，調査中はいつでもスマホリングを触りながらジェスチャを発案した．この時，我々は参加者にスマホリングから指を抜かないジェスチャを設計することを説明した．

3.2 参加者と収集したデータ数
19 歳から 24 歳（平均 20.95 歳）までの 20 名の参加者が調査に参加した．3 名がスマホリング経験者，5 名が女性，全員が情報系を専攻していない大学生であった．13 名が利き手ではない方の手でスマスマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装

ホリングを操作しながらジェスチャを設計した．参加者には 1,500 円の謝礼が支払われた．1 人の参加者につき 23 個のタスクを 2 種類の指の通し方でそれぞれジェスチャを収集し，20 名の参加者から合計960 個のジェスチャが収集された．

3.3

ジェスチャ選択

参加者から収集したジェスチャ案をコーディング
し，人差し指と中指を通した場合でそれぞれ，各タスクごとに提案されたジェスチャを集計した．各タスクで集計されたジェスチャの中で最も多く提案されたジェスチャをユーザ定義型ジェスチャとして選択した．この時，複数のタスクに同じジェスチャが割り当てられる競合状態が発生した．我々は，発生した競合状態を，スマートフォンを操作する特定のシーンで，競合したタスクのいずれも使用する可能性がある場合に限り，競合状態を解消した．競合状態の解消は，先行研究と同じく [11]，集計値が小さい，つまり参加者によって該当のジェスチャが提案された数が小さいタスクのジェスチャを，2 番目に多く提案されたジェスチャに再度割り当てることで行った．最終的に選択されたジェスチャ一覧を図 2に示す．リングに中指を通した場合の最終的なユーザ定義型ジェスチャセットは 12 種類のジェスチャで構成され，人差し指をリングに通した場合でも同様に 12 種類のジェスチャで構成された．

4

ジェスチャ分類器の実装設計したジェスチャを認識するスマホリング型デバイスのプロトタイプを実装する．スマホリングでの指の動作は圧力センサで取得し，機械学習を用いてジェスチャの分類を行う．我々は参加者からデータを収集し，交差検証によってプロトタイプの評価
を行った．

4.1

ハードウェア構造

図 3 に我々が作成したスマホリング型デバイスのプロトタイプの外観と内部構造を示す．プロトタイ
プは 8 つの圧力センサ（Interlink Electronics，FSR402），天然ゴムシート，アクリル板（3mm），市販のスマホリングで構成されている．圧力センサはス
マホリングのプレート部の両面（表と裏）の四隅に設置され，スマホリングはアクリル板で作成した箱の中に設置する．箱はスマホリングのリング部だけが突出する構造となっている．ハードウェア構造の特徴としては，圧力センサが設置されたスマホリン
グのプレートとアクリル板の間にクッション性のある天然ゴムのシートを挟んでいることである．これにより微細な指の動作の感知を試みる．
スマホリングデバイスの各圧力センサの信号はデバイス外部で 1k Ωの炭素皮膜抵抗を経由しマイクロコンピュータ（Arduino Nano BLE 33）へ接続され，マイクロコンピュータはプロトタイプから100Hz 周期で信号を取得し，ホストコンピュータへと送信する．ホストコンピュータは送信された信号を，1.5 秒間ごとのフレームに切り分け，各種分類を行う．開発したデバイスは Google Pixel 3a の背面に設置し，データ収集と解析には GALLERIAXL7C-R36 11800H（Intel Core i7-11800H CPUwith 16 GB memory）を用いた．

4.2

ジェスチャ分類手法

図 4 にデバイスで感知するセンサ値とその後の前処理と分類の流れを示す．圧力センサからの値はまず，正規化と濃淡画像化の前処理が行われる．生
データの正規化は，各センサが取得した値ごとに，各値をそのセンサが取得した最大値で除算することで実装した．その後，正規化したデータを 40×30 の大きさの濃淡画像に変換する．
上記の前処理が行われたデータについて 2 つの分類器によってジェスチャ分類を行う．1 つ目の分類器
では日常動作の分類を行う．具体的にはデバイスから得られたデータがジェスチャを入力している動作なのか，日常動作なのかの 2 値分類を行う．この分類器でジェスチャ入力と分類されたデータは，2 つ目の分類器で 24 種類のラベル（12 種類のジェスチャ× 2 種類の指の通し方）に分類される．2 つの分類器には，Python の Tensorﬂow ライブラリの Keras
を用いて，どちらも同様の層構造を持つ CNN を実装した（図 5）．

5ジェスチャ分類精度の調査開発したスマホリング型デバイスによるジェスチャ入力インタフェースの，ジェスチャ分類精度の確認のための調査を行う．

5.1

調査手順

ジェスチャデータの収集は研究室で実施された．
参加者は椅子に座り，設計された 24 種類のジェスチャ（12 種類のジェスチャ × 2 種類の指の通し方）について各ジェスチャにつき 10 回，全て右手で操作を行った．我々はジェスチャ入力中のデータとして，合計で 2400 個のデータを収集した．
スマホリングに指を通したスマートフォンの日常動作のデータには，スマホリングに中指を通した場
合と人差し指を通した場合の 2 つの場合でそれぞれ，スマートフォン画面のタップ，スワイプ，何もしな
いの 3 つの操作をしている最中のデータを収集した．
右利きの著者 1 名が，右手で各条件につき 400 回の入力を行うことで，合計 2400 個の日常動作のデータを収集した．

WISS 2022

ズームイン

ズームアウト

0: 奥に力を加える 1: 手前に力を加える

応答

切断

0: 奥に力を加える

地図操作
右へ移動
左へ移動

2: 右に力を加える

電話操作

3: 左に力を加える

上へ移動

下へ移動

4: 上に力を加える

5: 下に力を加える

縦スクロール上の画面へ 下の画面へ

4: 上に力を加える

無視

発信

0: 奥に力を加える

1: 手前に力を加える

0: 奥に力を加える

右左

アイテム選択上10: 中指で奥にスワイプ

下決定

2: 右に力を加える

3: 左に力を加える

4: 上に力を加える

11: 中指で手前にスワイプ

6: 手前にタップ

ズームアウト

5: 下に力を加える 7: 手前にダブルタップ

地図操作
右へ移動
左へ移動

12: 奥に力を加える 13: 手前に力を加える 14: 右に力を加える 15: 左に力を加える

応答切断

電話操作

無視

発信上へ移動

音声検索

7: 手前にダブルタップ

横スクロール
左へ移動
右へ移動

8: 親指で奥にスワイプ(a) 人差し指を通した場合のユーザ定義型ジェスチャセット
ズームイン

5: 下に力を加える

システム操作
次のアプリへ 前のアプリへ ホーム画面へ下へ移動

9: 親指で手前にスワイプ

縦スクロール上の画面へ 下の画面へ

16: 上に力を加える 17: 下に力を加える 16: 上に力を加える 17: 下に力を加える

システム操作
次のアプリへ 前のアプリへ ホーム画面へ

音声検索

12: 奥に力を加える 12: 奥に力を加える 15: 左に力を加える 12: 奥に力を加える 20: 人差し指で奥に 21: 人差し指で手前に 18: 手前にタップ 19: 手前にダブルタップ
スワイプ
スワイプ

右左

アイテム選択上下横スクロール
左へ移動
右へ移動決定14: 右に力を加える 15: 左に力を加える 16: 上に力を加える 17: 下に力を加える 19: 手前にダブルタップ

22: 人差し指で左にスワイプ(b) 中指を通した場合のユーザ定義型ジェスチャセット

23: 人差し指で右にスワイプ

スマホリング

図 2. ユーザ定義型ジェスチャのアプローチで設計された 24 個のジェスチャ．人差し指と中指によるジェスチャは別のものとして扱っている．各イラストの上部がタスク名，下部がジェスチャ名である．

プロトタイプの外観

アクリル板
ゴムシート
圧力センサ

プロトタイプの内部構造

図 3. 開発するスマホリングデバイスの外観と構造

生データ
日常動作とジェスチャ動作の分類

正規化

濃淡画像化
(40x30)

ジェスチャ分類

図 4. 信号処理と分類の流れ出力 (1x24 or 1x2)

ドロップアウト (0.5)

全結合 (24 or 2) / Softmax

平滑化

全結合 (256) / ReLU

ドロップアウト (0.4)

ドロップアウト (0.4)

畳み込み (3x3,16) / ReLU

最大プーリング (2x3)

畳み込み (3x3,16) / ReLU

最大プーリング (2x2)

畳み込み (3x3,16) / ReLU

畳み込み (3x3,32) / ReLU

入力 (40x30)

スマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装

図 5. CNN の層構造

表 2. ジェスチャの種類を分類する分類器の全体の精度，人差し指をリングに通した場合の精度，中指をリングに通した場合の精度．

交差検証
参加者間学習参加者内学習

平均精度

人差し指

中指

0.387
0.927

0.300
0.918

0.447
0.936

表 1. 日常生活とジェスチャ入力を分類する分類器の精度．

分類ラベル
日常動作
ジェスチャ入力

精度

再現率

0.986
0.996

0.996
0.985

F1 スコア
0.991
0.991

5.2 参加者
21 歳から 33 歳（平均 24.1 歳）の 10 名の参加者が無償で実験に協力した．参加者全員が右利き，1名が女性，全員が情報系を専攻している大学生もしくは大学院生であった．

5.3

結果：日常動作の分類

日常動作とジェスチャ入力を切り分ける分類器には，日常動作の 2400 個のデータ，調査の参加者から収集したジェスチャ入力中の 2400 個のデータの合計 4800 個のデータを使用した．このデータに対して 10-fold 交差検証を行った結果，99.1%の精度が検出された．それぞれのラベルの精度の詳細を表 1に示す．

5.4

結果：ジェスチャの分類

ジェスチャの種類の分類を行う分類器には，参加者から収集した 2400 個のデータを参加者間学習と参加者内学習の 2 種類のデータの分割方法による交差検証を行った．表 2 にそれぞれの交差検証の精度の結果を示す．参加者間学習では，38.7%と低い精度であった一方で，参加者内学習では 92.7%と 9 割を超える精度が確認された．また，リングに人差し指を通したジェスチャより中指を通したジェスチャの方が高い精度が検出された．参加者内学習時の分類器の混同行列を図 6，各ラベルの精度の詳細を表 3に示す．図 6 と表 3 のラベルの 0 から 23 の番号は，
図 2 のジェスチャの各番号と互いに対応しており，0 から 11 はリングに人差し指を通したジェスチャ，12 から 23 が中指を通したジェスチャである．どちらの分類器も，1 つのデータを受け取り，前処理の後，予測結果が出力されるまでの所要時間は，12.6ミリ秒であった．

6

利用例

スマホリングはスマートフォンの落下防止などの目的で使用され，本稿で提案したスマホリング型の

図 6. ジェスチャの種類を分類する分類器の参加者内学習時の各ラベルの精度．ラベル 0 から 11 は人差し指，12 から 23 は中指をリングに通したジェスチャ．

ジェスチャ入力インターフェースは，スマホリングの機能をそのままインタラクティブシステムにしたということに特徴がある．例えば，ユーザが目的地へと向かうため，スマートフォン上で地図アプリを操作する場合，我々が提案したデバイスを使用することで，スマートフォンの操作で必要だったピンチインやピンチアウトなどの複雑なジェスチャ入力無しに，片手で簡単な操作が可能となる．他にも，スマートフォン上でのカメラアプリの操作では，上記と同様に撮影で必要な操作を片手で行えることに加え，画面上からのカメラレンズが投影した景色の視認の妨げとなる撮影ボタンなどのインターフェースをスクリーン上から排斥することができ，ユーザはより理想的な写真を撮影することができるようなインタフェースを実現できる．このような屋外での利(a) 野外で地図アプリを使用(b) 室内で通知を削除

図 7. アプリケーションの利用例．

WISS 2022

表 3. 参加者内学習時の分類器の分類精度．ラベル 0 から 11 は人差し指，12 から 23 は中指をリングに通したジェスチャ．

ラベル精度

再現率

01234567891011121314151617181920
21
22
23

0.971
0.960
0.957
0.926
0.886
0.965
0.918
0.931
0.891
0.863
0.865
0.888
0.961
0.980
0.970
0.911
0.960
0.941
0.875
0.882
0.932
0.969
0.949
0.907

0.990
0.950
0.900
0.870
0.930
0.820
0.900
0.950
0.900
0.880
0.830
0.950
0.980
0.990
0.960
0.920
0.950
0.960
0.910
0.900
0.960
0.930
0.930
0.980

F1 スコア
0.980
0.955
0.928
0.897
0.907
0.886
0.909
0.941
0.896
0.871
0.847
0.918
0.970
0.985
0.965
0.915
0.955
0.950
0.892
0.891
0.946
0.949
0.939
0.942

用時は，傘を差す場合や買い物袋を持っている場合など，片手が使用できない場合に特に効果的である．
提案手法は屋外での利用だけでなく，室内でのスマートフォン操作時にも有効であると考える．例えば，ユーザが自宅のソファやベッドなどの上で寝そべりながらスマートフォンを頭上に掲げ，SNS やイ
ンターネットサイトを閲覧している場合（図 7（b）），
従来のタッチインタラクションでは，ユーザは手元が不安定になり，スマートフォンを顔面などに落下させる危険性がある．この様な場合でも，我々が提案したデバイスに指を通してスマートフォンを操作することで，上記の様な落下を防止しながら快適にスマートフォンを操作できるだろう．他にも，スマートフォンの画面上部は指が届きにくいが，このような領域に表示される通知バナーなどへのショートカットとしても使うことができるだろう．

7

議論と今後の課題

本稿では，スマホリング型のジェスチャ入力イン
タフェースを提案した．本稿で行った調査では，各分類器の分類精度は全て 9 割を超えた．しかし，本調査では安定した環境下で収集したデータのみを使用しており，実際にユーザがスマートフォンを使用すると想定される，提案デバイスへの干渉が大きいと予想される環境下での調査が必要である．乗り物の乗車中や歩行中などがこの環境として考えられ，これらの様なスマホリング型デバイスへのノイズが多いことが予想される環境での調査が行われるべきである．同様に，本稿で実施した日常動作とジェスチャ入力の分類は，ジェスチャ入力のデータには 10名の参加者，日常動作には別の 1 名のデータを学習データに使用し高精度の分類を確認した．しかし，ジェスチャの種類の分類で参加者間学習の精度が低かったことから，データには個人差が生じることが推察され，同一の参加者から収集したデータによる調査が行われるべきである．
本稿で開発したプロトタイプは，デバイス単体では機能せず，多くの計算処理を外部のコンピュータで行った．この構成は本研究のコンセプトを検討するという本稿の目的を達成するには十分であったが，実際に使用するには，これら全てをスマホリング内に収める必要がある．そのためには，電源供給の問題やスマートフォンやマイコンなどの計算能力が比較的小さな計算機でもリアルタイムにジェスチャを分類するためのシステムを検討する必要がある．また，本研究で実施した調査では，ユーザが右手でジェスチャの入力をしたデータのみを解析の対象とした．
しかし，スマートフォンは左右どちらの手でも使用されるため，左右どちらの手でこのデバイスを使用した場合でも，高い精度でジェスチャの分類が行われる必要がある．本実験では，リングに通した指の違いによって，一見似たようなジェスチャでも 9 割を超える精度で分類が行われ，これらの間で特徴に差が生じたことが推察される．同様にして，デバイスを使用する手の違いによってデバイスが取得する信号の特徴に差が出ることが予測される．そのため，左右の手で使用したデータの解析と検討が必要だろう．

8結論

本稿では，ジェスチャ入力を実現するスマホリング型のインタフェースの提案と実装を行った．まず，スマートフォンの操作を目的としたスマホリング向けのジェスチャをユーザ定義型ジェスチャのアプローチで設計した．その後，実際にデバイスを開発し，あわせて日常動作の分類と，ジェスチャの種類を分類する 2 つの分類器を CNN による機械学習技術により開発した．参加者を集めて実際にデータを収集する調査を行い，そのデータを用いてそれぞれの分類器で学習させた．その結果，日常生活の分類精度は 99.1%，ジェスチャの種類の分類精度は 92.7%であった．

参考文献

スマートフォン背面のジェスチャ入力を実現するスマホリング型デバイスの設計と実装[1] C. Appert and S. Zhai. Using Strokes as Command Shortcuts: Cognitive Beneﬁts and Toolkit
Support. In In Proc. CHI ’09, p. 2289–2298,
New York, NY, USA, 2009. Association for
Computing Machinery.
[2] K. Fukahori, D. Sakamoto, and T. Igarashi.
Exploring Subtle Foot Plantar-Based Gestureswith Sock-Placed Pressure Sensors. In In Proc.
CHI ’15, p. 3019–3028, New York, NY, USA,2015. Association for Computing Machinery.
[3] S. Gupta, D. Morris, S. Patel, and D. Tan.
SoundWave: Using the Doppler Eﬀect to SenseGestures. In In Proc. CHI ’12, CHI ’12, p.
1911–1914, New York, NY, USA, 2012. Association for Computing Machinery.
[4] C. Harrison and S. E. Hudson. Scratch Input:
Creating Large, Inexpensive, Unpowered andMobile Finger Input Surfaces. In In Proc. UIST’08, p. 205–208, New York, NY, USA, 2008. Association for Computing Machinery.
[5] C. Harrison and S. E. Hudson. Abracadabra:
Wireless, High-Precision, and Unpowered Finger Input for Very Small Mobile Devices. In
In Proc. UIST ’09, p. 121–124, New York, NY,USA, 2009. Association for Computing Machinery.
[6] M. A. Nacenta, Y. Kamber, Y. Qiang, and P. O.
Kristensson. Memorability of Pre-Designed andUser-Deﬁned Gesture Sets. In In Proc. CHI ’13,p. 1099–1108, New York, NY, USA, 2013. Association for Computing Machinery.
[7] C. Rendl, D. Kim, P. Parzer, S. Fanello,M. Zirkl, G. Scheipl, M. Haller, and S. Izadi.
FlexCase: Enhancing Mobile Interaction with aFlexible Sensing and Display Cover. In In Proc.
CHI ’16, p. 5138–5150, New York, NY, USA,2016. Association for Computing Machinery.
[8] J. Ruiz, Y. Li, and E. Lank. User-Deﬁned Motion Gestures for Mobile Interaction. In In Proc.
CHI ’11, p. 197–206, New York, NY, USA, 2011.
Association for Computing Machinery.
[9] A. D. Wilson. PlayAnywhere: A Compact Interactive Tabletop Projection-Vision System. InIn Proc. UIST ’05, p. 83–92, New York, NY,USA, 2005. Association for Computing Machinery.
[10] A. D. Wilson. Robust Computer Vision-Based
Detection of Pinching for One and Two-Handed
Gesture Input. In In Proc. UIST ’06, p.
255–258, New York, NY, USA, 2006. Association for Computing Machinery.
[11] J. O. Wobbrock, M. R. Morris, and A. D. Wilson. User-Deﬁned Gestures for Surface Computing. In Proc. CHI ’09, p. 1083–1092, New
York, NY, USA, 2009. Association for Computing Machinery.
[12] X. Xu, J. Gong, C. Brum, L. Liang, B. Suh,S. K. Gupta, Y. Agarwal, L. Lindsey, R. Kang,B. Shahsavari, T. Nguyen, H. Nieto, S. E. Hudson, C. Maalouf, J. S. Mousavi, and G. Laput. Enabling Hand Gesture Customization onWrist-Worn Devices. In In Proc. CHI ’22, New

York, NY, USA, 2022. Association for Computing Machinery.
[13] A. Yadav, A. K. Eady, S. Nabil, andA. Girouard. JoyHolder: Tangible Back-ofDevice Mobile Interactions. In Proceedingsof the 2019 ACM International Conference on
Interactive Surfaces and Spaces, ISS ’19, p.
343–346, New York, NY, USA, 2019. Association for Computing Machinery.
[14] W. Yamada, H. Manabe, and D. Ikeda. CamTrackPoint: Camera-Based Pointing Stick Using Transmitted Light through Finger. In Proceedings of the 31st Annual ACM Symposium onUser Interface Software and Technology, UIST’18, p. 313–320, New York, NY, USA, 2018. Association for Computing Machinery.