WISS 2021

指輪型デバイスに対する親指ジェスチャを用いた
スマートウォッチ向け片手操作手法
國分 晴利 ∗ 冨永 浩暉 ∗志築 文太郎 †概要. スマートウォッチはタッチジェスチャにて操作されるが，表示されるターゲットが小さいため，誤タップが発生する問題がある．また，指にて入力スペースが覆われるため，タップする箇所を確認できない問題がある．さらに，スマートウォッチを手首に装着したユーザは，装着していない方の手にてスマートウォッチを操作する必要があるため，片手が塞がり使用できない際の操作が難しい．これらの課題に対して，
本研究では，スマートウォッチの操作領域を拡張し，片手操作を可能にすることを目的として，指輪型デバイスに対する親指ジェスチャを用いたスマートウォッチ向け片手操作手法を設計した．本手法の精度を検証するために 5 人の参加者によるユーザ実験を行った結果，leave-one-participant-out 交差検証において 5 種類の親指ジェスチャを 86.81%の精度にて識別できることを示した．

スチャを用いる．得られたセンサデータに対して機械学習を用いることにより，システムは 5 種類の親指ジェスチャを識別できる．
本手法はマイクおよびカメラを使用しないため，ユーザを特定できるデータを処理および保存することはない．そのため，本手法にはプライバシに関わる問題が発生しないという利点がある．
図 1. 親指ジェスチャを検出するために作製された，3つの赤外線測距センサを搭載した指輪型デバイス．
赤枠は赤外線測距センサを表す．

1

はじめにスマートウォッチはタッチジェスチャにて操作されるが，スマートウォッチの画面は小さく，それに伴い表示されるターゲットが小さいため，誤タップが発生する問題（ファットフィンガ問題）[8] がある．
また，指にて入力スペースが覆われるため，タップする箇所を確認できない問題（オクルージョン問題）[8, 9] がある．さらに，スマートウォッチを手首に装着したユーザは，装着していない方の手にてスマートウォッチを操作する必要があるため，片手が塞がり使用できない際の操作が難しい．これらの問題を解決するために，我々は指輪型デバイス（図 1）を用いたスマートウォッチ向けの片手操作手法を提案する．本手法では，赤外線測距センサ（以降，測距センサ）を搭載した指輪型デバイスに対して親指ジェCopyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗筑波大学 情報理工学位プログラム†筑波大学 システム情報系

2関連研究

スマートウォッチにおけるファットフィンガ問題 [8]およびオクルージョン問題 [8, 9] を解決するための研究が行われている．前腕部に取り付けた圧力セン
サ上を指にてなぞるジェスチャを識別する手法 [7]，ならびにスマートウォッチの慣性センサおよびマイクを用いて，周囲の皮膚上にて複数のタップを識別する手法 [10] では操作領域を拡張している．ジェスチャ時の振動を，スマートウォッチ搭載の加速度センサから収集し，識別する手法 [5] およびモーションキャプチャを用いてユーザがタップした部位を識別する手法 [3] は，片手操作を実現した．本手法ではこれらの手法と異なり，親指のみによるジェスチャを用いる．Aoyama ら [1] は腕輪型デバイスを用いて人差し指の側面における親指の移動量を推定することにより，左右のスライド操作を検出する手法を提案した．本手法は左右の動きのみではなく，5 種類のジェスチャを識別できる点にて異なる．
指輪型デバイスに対するジェスチャを用いた片手操作手法 [6, 11, 4, 2] が提案されている．Ogata
ら [6] は指輪に取り付けた測距センサにて指の屈曲および回転を識別する手法を提案した．この手法では，ユーザにより指の大きさおよび形が異なるため，ユーザに適した指輪を装着しなければならない．また，この手法は使用前に識別器のキャリブレーショ

WISS 2021ンが必要である．本手法では，キャリブレーションが必要ないという点にて異なる．

3

指輪型デバイス

本研究では，5 種類の親指ジェスチャを識別するために指輪型デバイスを作製した．この指輪型デバ
イスは，指輪および測距センサから構成される．指輪は，3D プリンタ（Ultimaker3 Extended）にてPLA フィラメントを用いて作製された（図 1）．また，測距センサには RPR-220 反射型フォトセンサを用いた．上下左右の動きを識別するために，3 つの測距センサを三角形型に配置した（図 1）．測距
センサはマイクロコントローラ（Arduino Nano）に接続され，センサデータはコンピュータに送信される．
ジェスチャの識別には，3 つの測距センサにて計測される，デバイスから親指までの距離を用いる．
得られたセンサデータに対し，機械学習手法の 1 つである Support Vector Machine（SVM）を用いることにより，システムはジェスチャを識別する．

4

図 2. leave-one-participant-out 交差検証の平均識別精度における混同行列．

評価実験

ジェスチャの識別精度を調べるために実験を行った．本節では，実験の概要を述べた後，実験の結果および考察を述べる．
本実験では著者を含む研究室内の 5 名（23-26 歳，M=24.6 歳，SD=1.52 歳，全員男性，全員右利き）がボランティアとして実験に参加した．参加者は非利き手にデバイスを装着し，5 種類（反時計回り，時計回り，左スワイプ，右スワイプ，および往復スワイプ）のジェスチャを行った．このとき，参加者は3 秒間にジェスチャを行った．センサデータはサンプリングレート 100 Hz にて収集された．全体として，375 回分（5 種類のジェスチャ× 15 回の繰り返し× 5 名の参加者）のセンサデータを収集した．各参加者から収集した 3 秒間のセンサデータは，セン
サ値が閾値を下回った時間を基準として，基準より前の 0.2 秒間（20 特徴点）およびそれ以降の 0.6 秒間（60 特徴点）を合わせた 0.8 秒間（80 特徴点）に整形した．その後，4 名の参加者のデータを訓練デー
タ，1 名のデータをテストデータとして leave-oneparticipant-out 交差検証を行った．
各参加者のデータをテストデータとする leaveone-participant-out 交差検証の混同行列を図 2 に示す．ジェスチャの平均識別精度は 86.81%であった．図 2 から，反時計回りおよび左スワイプ，ならびに右スワイプおよび時計回りの誤識別が多いことがわかる．また，センサデータより一部の参加者にて反時計回りおよび左スワイプ，ならびに時計回りおよび右スワイプのグラフの形状が似ていることがわかった（図 3）．さらに，時計回りおよび反時計回

図 3. センサデータの例．縦軸はセンサ値，横軸はフレーム数を表す．左：反時計回り，右：左スワイプ．

りにおいてジェスチャを行う時間が極端に短い場合，左スワイプおよび右スワイプに誤識別されることがわかった．各センサデータを比較および分析したところ，ジェスチャの開始部分の各センサの立下がりが似ていることが観察できた．このことが，ジェスチャの識別精度に影響を及ぼしたと考えられる．そのため，今後は 3 つの測距センサの配置を変えることにより，識別精度の向上を試みる．また，ジェスチャによる識別を堅牢にするためにセンサデータの傾き，平均，および分散などを新たな特徴量として追加することを考えている．

5

おわりに

本稿では，指輪型デバイスにおけるスマートウォッチ向け片手操作手法を提案した．本手法では指輪型デバイスを作製し，親指ジェスチャを識別した．評
価実験の結果，親指による 5 種類のジェスチャを86.81%の精度にて識別できることを示した．
今後は，識別を堅牢にするためにデータの傾き，平均，および分散などを特徴量に追加して精度の検証を行う．また，音楽の再生，停止，および曲送りができるミュージックプレイヤ，ならびに通話時に着信応答ができるアプリケーションの開発を行い，ユーザビリティの調査を行う予定である．

指輪型デバイスに対する親指ジェスチャを用いたスマートウォッチ向け片手操作手法

参考文献[1] S. Aoyama, B. Shizuki, and J. Tanaka. ThumbSlide: An Interaction Technique for Smartwatches Using a Thumb Slide Movement. In
Proceedings of the 2016 CHI Conference Extended Abstracts on Human Factors in Computing Systems, CHI EA ’16, pp. 2403–2409, NewYork, NY, USA, 2016. Association for Computing Machinery.
[2] L. Chan, Y.-L. Chen, C.-H. Hsieh, R.-H. Liang,and B.-Y. Chen.
CyclopsRing: Enabling
Whole-Hand and Context-Aware Interactions
Through a Fisheye Ring. In Proceedings of the28th Annual ACM Symposium on User Interface Software & Technology, UIST ’15, pp. 549–556, New York, NY, USA, 2015. Association for
Computing Machinery.
[3] N. A.-h. Hamdan, R. K. Kosuru, C. Corsten,and J. Borchers. Run&Tap: Investigation ofOn-Body Tapping for Runners. In Proceedingsof the 2017 ACM International Conference onInteractive Surfaces and Spaces, ISS ’17, pp.
280–286, New York, NY, USA, 2017. Association for Computing Machinery.
[4] L. Jing, Z. Cheng, Y. Zhou, J. Wang, andT. Huang. Magic Ring: A Self-Contained Gesture Input Device on Finger. In Proceedingsof the 12th International Conference on Mobile
and Ubiquitous Multimedia, MUM ’13, pp. 1–4, New York, NY, USA, 2013. Association for
Computing Machinery.
[5] G. Laput, R. Xiao, and C. Harrison. ViBand:
High-Fidelity Bio-Acoustic Sensing Using Commodity Smartwatch Accelerometers. In Proceedings of the 29th Annual Symposium on UserInterface Software and Technology, UIST ’16,pp. 321–333, New York, NY, USA, 2016. Association for Computing Machinery.
[6] M. Ogata, Y. Sugiura, H. Osawa, and M. Imai.
iRing: Intelligent Ring Using Infrared Reﬂection. In Proceedings of the 25th Annual ACM
Symposium on User Interface Software andTechnology, UIST ’12, pp. 131–136, New York,NY, USA, 2012. Association for Computing Machinery.
[7] S. Schneegass and A. Voit. GestureSleeve: Using Touch Sensitive Fabrics for Gestural Input
on the Forearm for Controlling Smartwatches.
In Proceedings of the 2016 ACM International
Symposium on Wearable Computers, ISWC ’16,
pp. 108–115, New York, NY, USA, 2016. Association for Computing Machinery.
[8] K. A. Siek, Y. Rogers, and K. H. Connelly. FatFinger Worries: How Older and Younger Users
Physically Interact with PDAs. In HumanComputer Interaction - INTERACT 2005, pp.
267–280, Berlin, Heidelberg, 2005. Springer
Berlin Heidelberg.
[9] W. Yamada, H. Manabe, and D. Ikeda. CamTrackPoint: Camera-Based Pointing Stick Using Transmitted Light through Finger. In Proceedings of the 31st Annual ACM Symposium onUser Interface Software and Technology, UIST’18, pp. 313–320, New York, NY, USA, 2018.
Association for Computing Machinery.
[10] C. Zhang, A. Bedri, G. Reyes, B. Bercik, O. T.
Inan, T. E. Starner, and G. D. Abowd. TapSkin:Recognizing On-Skin Input for Smartwatches.
In Proceedings of the 2016 ACM International
Conference on Interactive Surfaces and Spaces,
ISS ’16, pp. 13–22, New York, NY, USA, 2016.
Association for Computing Machinery.
[11] C. Zhang, A. Waghmare, P. Kundra, Y. Pu,
S. Gilliland, T. Ploetz, T. E. Starner, O. T.
Inan, and G. D. Abowd. FingerSound: Recognizing Unistroke Thumb Gestures Using a Ring.
Proceedings of the ACM on Interactive, Mobile,Wearable and Ubiquitous Technologies, 1(3):1–19, 2017.