WISS 2015

ThumbSlide: 親指スライドジェスチャによるスマートウォッチ操作手法
青山 周平 ∗

阿部 哲也 †

志築 文太郎 ‡田中 二郎 ‡

概要. 本稿では，タッチパネルを使わずに片手にてスマートウォッチを操作する手法「ThumbSlide」を示す．ThumbSlide は，スマートウォッチを装着した手の親指を人差し指の側面にてスライドさせ，スマートウォッチ上のカーソルを横軸方向に操作する手法である．握り動作などによる決定操作を組み合わせることによって，本手法はユーザが片手にてスマートウォッチを操作し，画面をタッチすることなくターゲットを選択することを可能にする．本手法の実装は親指動作に伴う手首の形状変化を利用しており，その形状変化から指の移動量を推定することによりカーソルの操作を行う．また，決定操作に関しては，スマートウォッチに内蔵されたセンサを用いて認識する. 本稿は，カーソルを横軸方向に操作する方法を主題とし，手首の形状変化を取得するためのハードウェアの実装を述べる．

1

はじめに

2

関連研究

本手法は，スマートウォッチを装着した指のジェスチャを認識することにより，スマートウォッチの入力領域を拡張する研究である．本節では，本研究と同様にウェアラブルデバイス向けに入力領域を拡
Copyright is held by the author(s).
筑波大学情報学群情報メディア創成学類†
筑波大学システム情報工学研究科コンピュータサイエンス専攻‡筑波大学システム情報系∗➡

スマートウォッチが普及するなか，ユーザは現状のスマートウォッチに対して多くの期待を寄せている．その一つに，ユーザがスマートウォッチを片手にて操作したいという期待がある．現状のタッチパネルを用いた操作方法においては，ユーザはデバイスを装着した手とは別の手にてスマートウォッチを操作しなければならないため，別の手がふさがっている場合スマートウォッチの操作が困難となる. また，小さな画面に対してタッチ操作を行う必要があることは，タッチの対象が指よりも小さい際に起こる Fat Finger 問題 [13] を引き起こす．
本研究では，上記の期待に応えるためのスマートウォッチ操作手法「ThumbSlide」を示す．本手法は，
図 1 に示すようにスマートウォッチを装着した側の手の親指を人差し指の側面にてスライドさせ，スマートウォッチ上のカーソルを横軸方向に操作する手法である（以降，本手法の入力に用いる操作を「親指スライドジェスチャ」と呼ぶ）．本手法と握り動作などによる決定操作を組み合わせることにより，ユー
ザは片手にてスマートウォッチ操作することが可能となる．また，タッチパネル外に操作領域を拡張することになるため，Fat Finger 問題を解消できる．

➡

➡

図 1. ThumbSlide の操作イメージ張することを試みた研究を述べる．
スマートウォッチの操作領域を拡張する研究には，[9, 15, 4, 7] などがある．SkinWatch[9] はスマートウォッチの裏面にフォトリフレクタを複数設置することによりスマートウォッチの端に対する押し込みやスマートウォッチを回転させる動きを認識する研究である．Xiao ら [15] は，小画面にホール効果ジョイスティックセンサを取り付けることにより，小画面に対するパン，ツイスト，チルト，クリックの動作を認識する拡張法を示した．Skinput[4] はピコプロジェクタを用いて腕または手にボタンを投影し，そのボタンに対する入力を検知する．Skin Buttons[7]は，腕時計型デバイスからレーザプロジェクタを用いてボタンを腕に投影し，投影された場所に対する指の接触を認識することにより入力を検知する．これらの研究はスマートウォッチを装着した側とは別の手にて操作を行う必要がある一方，我々の提案手法はスマートウォッチを装着した側の手のみを使う操作手法である．
腕にセンサを取り付けることによって，認識した腕の動きを入力として用いる試みには，[10, 3, 12, 2]

WISS 2015などがある．SenSkin[10] は，腕に 2 本のフォトリフレクタアレイを取り付け，アレイ間の皮膚に対する操作を検出する．Fukui らの研究 [3] 及び OrtegaAvila らの研究 [12] は，腕にフォトリフレクタアレイを巻き，腕の凹凸を計測することにより手による静的ジェスチャを取得する．WristFlex[2] は腕に感圧センサアレイを巻き，腕の圧力を計測することにより手による静的ジェスチャを取得する．本研究は，動的ジェスチャを取得する点，及びスマートウォッチに対する入力を対象としている点においてこれらの研究とは異なる．
手または指のジェスチャを認識する試みは膨大になされている．例えば Finger Controller[8] は，カメラを用いて指の動的ジェスチャを取得する．UbiFinger[16] は，グローブを用いて手のジェスチャを認識する．eRing[14] は，指に取り付けた指輪の静電容量を計測することにより静的及び動的ジェスチャを取得する．Magic Ring[6] は，指に取り付けた指輪型デバイスを用いて取得した指の加速度に基づいて動的ジェスチャを取得する．Hasan らの研究 [5]は，筋電位計を用いて手の静的ジェスチャを取得する．一方，本研究は手首に取り付けたフォトリフレクタアレイを用いて指の動的ジェスチャを取得する点においてこれらの研究とは異なる．
スマートウォッチの操作性を向上させるために，小さな画面に適したタッチジェスチャを開発するという手段も試みられている．その例として，[1, 11] などの，スマートウォッチに対する文字入力手法の研究が挙げられる．Swipeboard[1] では，QWERTY
キーボードを 9 つのキーずつ 3 つのグループに分け，タッチにてグループを選択，そこから 9 方向フリックを行うことによってキーボード入力を行う．ZoomBoard[11] では，キーボードがタッチされた際，その箇所を拡大することにより， 2 回のタッチにて精確にキーボード入力を行う．これらの研究では，ス
マートウォッチのタッチパネルを用いて操作を行うことを目標としているが，本研究では，片手操作を実現することによって操作性を向上させることを目指す．

3

ThumbSlide
ThumbSlide は，親指が人差し指の側面をどれだけスライドしたかを推定し，その移動量を用いてスマートウォッチ上のカーソルを横軸方向に操作する手法である．本手法は，スマートウォッチを装着した側の手の親指を用いることにより，スマートウォッチの片手による操作を実現する．本研究は，スマートウォッチのベルトの内側に装着することができるベルト型センサデバイスを作成し，それを用いてThumbSlide を実装する．本節においては，ベルト型センサデバイスにて親指スライドジェスチャにおける指の移動量推定を行う方法を述べるとともに，腱短母指伸筋
長母指伸筋

図 2. 親指動作に関連する筋肉及び腱その実装方法を述べる．

3.1

手首の形状変化を利用した親指スライドジェスチャの認識

親指スライドジェスチャの認識にあたって，本研
究では親指の動作に伴う手首の形状変化を利用する．
手首の形状変化とは，指の動作に伴う筋肉の収縮や手首部分の腱の隆起による手首表面の凹凸の変化を指す．
図 2 に親指の動作に関連する筋肉及び腱を示す．
長母指伸筋及び短母指伸筋は親指を伸ばすための筋肉である．これらの筋肉及び筋肉につながった腱は手首の位置において皮膚近くに位置するため，変化を検知しやすい．本研究においては，これらの筋肉及び腱の収縮具合を測定することにより，指の移動量を推定する．これは親指スライドジェスチャにおける指の移動量を親指の伸び具合と捉え，筋肉の収縮具合から親指の伸び具合を推定することによる．

3.2

実験用ベルト型センサデバイス

親指スライドジェスチャに伴う手首の形状変化を調べるにあたって，実験用ベルト型センサデバイスを作成した．このデバイスは Fukui らの研究 [3] と同様にフォトリフレクタアレイにより手首の形状取得を行う．このデバイスは手首表面とフォトリフレクタを取り付けたベルトの間に隙間を設け，この隙間の大きさを測ることにより手首の形状を取得するものである．また，実験用ベルト型センサデバイス
においては手首全体の形状変化を調べるため，フォトリフレクタアレイが手首を覆うように設計した．
図 3 に作成したデバイスを示す．作成したデバイ
スはベルト部とブレッドボード部から成る．ベルト部
は 230×21×0.4 mm のフレキシブル基板を用いて作成されている．基板には 16 個のフォトリフレクタ 1

1

GENIXTEK 社製，TPR-105F

ThumbSlide: 親指スライドジェスチャによるスマートウォッチ操作手法
マルチプレクサ

Arduino Nano

Bluetoothモジュール

マジックテープ
モバイルバッテリŤŤŤ

ウレタンスポンジ

10mm

Ť

ŤŤ

10.16mm

5.08mmフォトリクレクタ

図 3. 実験用ベルト型センサデバイスと 1 つのマルチプレクサ 2 が取り付けられている．また，フォトリフレクタと手首表面の間には隙間を作るために高さ 10 mm のウレタンスポンジを取り付け，フォトリフレクタアレイを囲むように枠を作成した．
この枠の縁の長さは 160 mm かつ，太さは 10 mmであり，これを枠内の大きさが 140×10 mm となるように取り付けた．このベルトは取り付けられたマ
ジックテープを用いて腕に装着される．ブレッドボー
ド部はマイコン 3 及び Bluetooth モジュール 4 から成り，フォトリフレクタにて取得した 0 – 1023 のセ
ンサ値を Bluetooth を用いてスマートウォッチとペアリングされたスマートフォンに送信する．

3.3

3.3.2

指の移動量推定には，キャリブレーションのために，一度親指スライドジェスチャを行う必要がある．
これは親指スライドジェスチャにおける伸縮量の最小値と最大値を取得するためである．指の移動量推定は指の位置ごとの伸縮量が最小値，最大値と比較してどの程度であるかを求めることにより行う．つまり，伸縮量の最小値を min，最大値を max，現在の指位置における伸縮量を cur とすると，指の移動量はcur − min(1)max − minにて求められ，0 から 1 の値にて表される．(1) 式

にて移動量が表される理由としては，第一著者を被験者とする実験において，奥から手前への親指スライドジェスチャ（親指を曲げる）に伴って，伸縮量が移動量に比例して増加することが観察されたためである．

実験4

著者を含めた研究室内の大学生及び大学院生 5 名（男性 5 名，年齢 21 – 23）を被験者として実験を行った．実験の目的は次の 2 点である．

1. 親指スライドジェスチャ時におけるセンサ値を観察し，長母指伸筋及び短母指伸筋の伸縮により手首形状が変化することを示す．

指の移動量推定

指の移動量推定は，親指スライドジェスチャに伴う長母指伸筋及び短母指伸筋の伸縮による手首の形状変化を測定することにより行う．以下，この形状変化の測定方法と形状変化に基づく指の移動量推定
アルゴリズムを述べる．

2. 伸縮量の変化量が指の移動量と比例関係にあることを示す．
本節においてはこの実験の内容及び結果，その考察を述べる．

4.1
3.3.1

伸縮量の測定長母指伸筋及び短母指伸筋の伸縮による手首の形状変化は，これらの筋肉の直上および周辺に位置するフォトリフレクタのセンサ値を合計することにより測定する．このセンサ値の合計を伸縮量とし，指の移動量推定アルゴリズムに用いる．このように複数のセンサ値を合計することにより，ベルト型センサデバイスを取り付ける位置の多少の誤差を許容する．
なお，伸縮量の測定においては，手首の角度，腕の位置及び角度，その他の指は固定された状態にあるものとする．これは，手首の形状変化がこれらの要素からも影響をうけるためであり，これらを固定することにより親指スライドジェスチャに関連する形状変化情報のみを取得する．
2

Texas Instruments 社製， CD74HC4067
Arduino Srl 社製，ArduinoNano
4Microchip 社製，RN-42

指の移動量推定アルゴリズム

実験内容

実験は，実験用ベルト型センサデバイスを用いて行った．また，被験者間において指の移動量を一致させるため，表面がポリウレタンにてコーティングされたナイロン製のグローブ 5 を使用した．このグローブには，図 4a のように人差し指の側面に 1 つの点と親指側面に 5 mm 間隔に 6 つの点（以降，親指の付け根側からスライド点 1 – 6 と呼ぶ）が打たれている．
被験者には，グローブを装着した左手及び腕を図4b のように台座の上に置いた状態にて実験タスクを行ってもらった．またその際，手は軽く握ってもらった．これらは，腕の位置や手首の角度，他の指の曲げ状態が影響しないようにするためである．ベ
ルトと手の位置関係及びグラフと対応するフォトリ
フレクタ番号を図 5 に示す．

35

ショーワグローブ株式会社 「ピッタリ背抜き（S サイズ）」
JAN コード: 4901792026109

WISS 2015aa
スライド点番号b→4.2

1 2 3 4 5 65 mm

図 4. a）実験に使用したグローブ，b）実験の様子

手の甲を上側にしたとき
フォトリフレクタ 1 が腕の真上にくるように装着

421

長母指伸筋及び短母指伸筋の位置

561671589101112

結果及び考察指伸筋の伸縮による手首形状の変化→→

3た値を用いた．

1314

フォトリフレクタ番号

図 5. ベルトと手の位置関係及びグラフと対応するフォ
トリフレクタ番号

実験タスクを説明する．被験者はまず親指側面のスライド点 1 と人差し指側面の点を重ねた状態にて待機する．次に被験者は指示に従い，次のスライド点と人差し指側面の点が重なるように親指をスライドさせる．これをスライド点 6 に到達するまで繰り返す．この過程を 1 試行とし，被験者にはこれを 5試行行ってもらった．
センサ値の記録においては，各スライド点と人差し指側面の点が重なり静止した状態のものを記録した．また実験結果の考察には，5 試行分の平均を取っ

図 6 は，各フォトリクレクタにおけるスライド点1 からスライド点 6 のセンサ値の変化量を表す．この変化量はスライド点 6 におけるセンサ値からスライド点 1 におけるセンサ値を引いて得た差分である．
また，5 人の変化量の平均を取ったグラフを図 7 に示す．これらのグラフは，親指スライドジェスチャを奥から手前に行う（親指を曲げる）とフォトリフレクタ 4 が対応する位置を中心に手首表面が盛り上がることを表している．おおよそ，長母指伸筋及び短母指伸筋は図 5 に示される位置にあることから，親指スライドジェスチャ時において，長母指伸筋及び短母指伸筋の伸縮により手首形状が変化することが示された．
伸縮量の変化量と指の移動量の関係
図 8 はフォトリフレクタ 1 – 4 のセンサ値を合計した値（伸縮量）の変化量を表すグラフである．この変化量はスライド点 1 における値を 0 として，どれだけセンサ値が変化したかを表している．グラフ
から，センサ値はいずれの被験者においても，およそ約 30 の幅を持ったセンサ値区間において線形に変化していることがわかる．このことにより，長母指伸筋及び短母指伸筋の伸縮に伴うセンサ値の変化量が指の移動量と比例関係にあることが示された．

5アプリケーション例

スマートウォッチ上にて動作するアプリケーショ
ン例を示すにあたり，スマートウォッチベルトの内側に装着可能な小型のベルト型センサデバイスを作成した（図 9）．小型のベルト型センサデバイス

図 6. 親指スライドジェスチャ時における各センサ値の変化量

ThumbSlide: 親指スライドジェスチャによるスマートウォッチ操作手法

ある．

5.2 選択アプリケーション
ThumbSlide によるカーソル移動と SmartWatch
3 に内蔵されたジャイロセンサを用いた決定操作により，ターゲットを選択するアプリケーションを作成した（図 10b）．本アプリケーションにおける決定操作は親指以外の指を軽く握ることである．スマー
トウォッチは指が握り込まれた際の手首の形状変化に伴って微量に振動する．この振動をジャイロセンサにて検知することによって，決定操作を認識する．
図 7. センサ値変化量の平均

議論と今後の課題

6

決定操作の改良

図 8. 各スライド点におけるフォトリフレクタ 1 – 4 のセンサ合計値（伸縮量）の変化

は長母指伸筋及び短母指伸筋の動きを検知することに特化させるため，フォトリフレクタの数を 4 とした．また隙間をつくるためのウレタンスポンジを高さ 5 mm にすることにより，ベルト型センサデバイスの厚みを薄くした．また小型のベルト型センサ
デバイス以外のハードウェアとして，画面の出力にSony SmartWatch 3 及び，センサ値の処理に Sony
Xperia Z3 Compact を使用した．

5.1 シューティングゲーム
ThumbSlide によって片手にて遊べるシューティ
ングゲームを作成した（図 10a）．本アプリケーションにおいては，弾は自動的に射出されるものとなっており，ユーザは自機の左右移動のみ操作を行う．本
アプリケーションの特徴は，ThumbSlide を使用することにより，片手にて遊べる点に加え，オクルージョンに悩まされることなくゲームが楽しめる点で選択アプリケーションにおける決定操作の実装はジャイロセンサを用いて手を握った際の振動を検知することによって行った．しかし，この実装方法においては握り動作以外の振動も決定として認識されてため，腕を動かすたびに誤った決定操作が認識される．この問題に対しては，小指の握り込み動作を検知し，決定操作とみなすように改良を行う．実験より親指スライドジェスチャ時において，小指側の手首側面においてはセンサ値の変化が小さいことがわかった．このことより，小指側の手首側面の形状に影響を与える小指の握り込み動作は ThumbSlideと併用できる決定操作になると考えている．
腕の移動や回転への対応
アプリケーションの実装においては，腕の移動または回転が検知されると，再び腕の姿勢が固定されるまでアプリケーションを停止するものとした．な
ぜなら，腕が移動または回転した場合，手首の形状が変化し以前のキャリブレーションデータが使用できなくなるためである．本実装では，SmartWatch
3 の傾きセンサを用いて腕の移動または回転を検知し，伸縮量の最大，最小値のデータを初期化するものとした．また，キャリブレーションはアプリケーション再開時に行うこととした．

ab

選択決定された数字

弾
敵自機

図 9. 小型のベルト型センサデバイス

1 〜 4 のターゲット（スライドにより選択対象を切り替える）

図 10. アプリケーション例：
a）シューティングゲーム，b）選択アプリケーション

WISS 2015

入力状態と非入力状態の区別
スマートウォッチは常に身に着けているデバイスであるため，本手法を用いる入力状態と非入力状態を区別する必要がある．状態の切り替えにおいては，スマートウォッチが起動している場合のみ入力を受けつけるようにすることを考えている．既存のスマー
トウォッチは時計を見る位置に腕を移動させると自動で起動する機能があり，これを利用することにより自然に非入力状態から入力状態へ切り替えられると考えている．また，より誤作動を減らすために，ある程度手を握っている場合にのみ入力を受け付けるという方法も考えられる．

Transitions. UIST ’14, pp. 615–620, 2014.
[2] A. Dementyev and J. A. Paradiso. WristFlex:
Low-power Gesture Input with Wrist-worn Pressure Sensors. UIST ’14, pp. 161–166, 2014.
[3] R. Fukui, M. Watanabe, M. Shimosaka, andT. Sato. Hand Shape Classification in Various Pronation Angles using a Wearable Wrist
Contour Sensor. Advanced Robotics, 29(1):3–11,2015.
[4] C. Harrison, D. Tan, and D. Morris. Skinput:
Appropriating the Skin as an Interactive Canvas. Commun. ACM, 54(8):111–118, 2011.

参考文献[5] M. Hasan, A. Rahaman, M. Shuvo, M. Ovi, andM. Rahman. Human Hand Gesture Detection
based on EMG Signal using ANN. ICIEV’14,pp. 1–5, 2014.
[6] L. Jing, Z. Cheng, Y. Zhou, J. Wang, andT. Huang. Magic Ring: A Self-contained Gesture Input Device on Finger. MUM ’13, pp.
39:1–39:4, 2013.
[7] G. Laput, R. Xiao, X. A. Chen, S. E. Hudson, and C. Harrison. Skin Buttons: Cheap,Small, Low-powered and Clickable Fixed-icon
Laser Projectors. UIST ’14, pp. 389–394, 2014.
[8] U. Lee and J. Tanaka. Finger Controller: Natural User Interaction using Finger Gestures.
HCI’13, pp. 281–290, 2013.
[9] M. Ogata and M. Imai. SkinWatch: Skin Gesture Interaction for Smart Watch. AH ’15, pp.
21–24, 2015.
[10] M. Ogata, Y. Sugiura, Y. Makino, M. Inami,and M. Imai. SenSkin: Adapting Skin as a SoftInterface. UIST ’13, pp. 539–544, 2013.
[11] S. Oney, C. Harrison, A. Ogan, and J. Wiese.
ZoomBoard: A Diminutive Qwerty Soft Keyboard using Iterative Zooming for Ultra-small
Devices. CHI ’13, pp. 2799–2802, 2013.
[12] S. Ortega-Avila, B. Rakova, S. Sadi, and P. Mistry. Non-invasive Optical Detection of Hand
Gestures. AH ’15, pp. 179–180, 2015.
[13] K. A. Siek, Y. Rogers, and K. H. Connelly.
Fat Finger Worries: How Older and Younger
Users Physically Interact with PDAs. INTERACT’05, pp. 267–280, 2005.
[14] M. Wilhelm, D. Krakowczyk, F. Trollmann, andS. Albayrak. eRing: Multiple Finger Gesture
Recognition with One Ring using an ElectricField. WOAR ’15, pp. 7:1–7:6, 2015.
[15] R. Xiao, G. Laput, and C. Harrison. Expanding the Input Expressivity of Smartwatches with
Mechanical Pan, Twist, Tilt and Click. CHI ’14,
pp. 193–196, 2014.

[1] X. A. Chen, T. Grossman, and G. Fitzmaurice.
Swipeboard: A Text Entry Technique for Ultrasmall Interfaces That Supports Novice to Expert[16] 塚田 浩二, 安村 通晃. Ubi-Finger：モバイル指向ジェスチャ入力デバイスの研究. 情報処理学会論文誌, 43(12):3675–3684, 2002.

スライド方向以外の方向への親指の動作
本システムは親指を伸ばす筋肉の伸縮を利用しているため，親指の曲げ伸ばしが起こらない人差し指から離す動作やスライド軸に対して垂直な動作は，スライド操作に対してはほとんど影響を与えない．
しかし，多少ではあるがこれらの動作によるセンサ値の変化も観察できるため，今後はセンサ値の変化パターンにより動作を認識し，操作軸を 2 次元へと拡張することを考えている。
手首の太さの影響
本稿にて行った実験は同年代の男性に対して行われたため，腕の太さなどの条件が似たものとなっている．したがって，今後は，子供や手首の細い女性も対象にした実験を行い，本手法がどの程度腕の太さなどに影響を受けるかを調べる計画である．

7まとめ

本稿では，親指スライドジェスチャによるスマートウォッチ操作手法を提案し，その実装方法を示した．実装においてはフォトリフレクタを用いた実験用ベルト型センサデバイスを作成し，親指スライドジェスチャ時におけるセンサ値の最小値，最大値と指の位置ごとのセンサ値を比較することにより，指の移動量の推定を行った．これは，指の移動量とセンサ値の変化量が比例の関係にあることに基づいており，実験を通してこのことを確認した．また，ベルト型センサデバイスを小型化することによって，スマートウォッチの内側に本デバイスを装着できるようにし，アプリケーション例を示した．