情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B50
2018/3/5

スマートウォッチと指輪型磁気センサを利用した複数磁石周辺でのジェスチャ入力
高木 友稀1,a)

志築 文太郎2,b)

高橋 伸2,c)

概要：手指のジェスチャ・モーション入力手法として多くの手法がある．磁石と磁気センサを用いることで，加速度センサに基づくウェアラブルデバイスで扱えるジェスチャの幅を広げることができる手法を提案する．本システムは，複数のウェアラブルデバイスや体の特定の位置へと磁石を取り付け，指に指輪型磁気センサデバイスを装着することで，アナログ的ジェスチャ認識を行うことができる．また，スマートウォッチを用いて手の位置を推測することで，位置に応じた入力対象選択を可能となる．

Gesture input around multiple magnets using smart watch andring-type magnetic sensor
Yuki Takagi1,a)Buntarou Shizuki2,b)Shin Takahashi2,c)Abstract: We propose a gesture recognition method that utilizes acceleration sensors in a smartwatch andmagnetic sensors on a finger ring device. Several magnets are put on the user’s body, and the user performes
gesture around the magnet. This method makes it possible to input continuous values with finger motions
around a magnet, as well as gestural input such as swipe and touch gestures. In addition, users can select an
input target by changing the gesture locations, which are estimated by the system using acceleration sensors.

1. はじめにる方法 [4][5] や，グローブ型のデバイスを装着する方法 [6]があるが，カメラやグローブを装着する煩わしさの問題，情報端末の小型化により，スマートウォッチに代表され画像認識による方法では手の画像が取得できる画像特定のる様々なウェアラブルデバイスが登場し，複数のウェアラ位置でしか認識できない問題などがある．加速度・ジャイ

ブルデバイスを装着することが多くなった．それらのためロセンサの値を用いてジェスチャ認識を行う手法 [3] は，の入力手法の一つとして，手指の動きのジェスチャ・モー

比較的これらの問題を避けることができるが，認識できるション入力がある．手指を利用した入力は，ウェアラブルジェスチャが限られる問題がある．

デバイスだけでなく，スマートフォンなどの日常的に情報本研究の目的は，磁石および磁気センサを追加で用いる端末を操作するためにも用いられており，自然な操作がでことにより，加速度センサに基いたウェアラブルデバイスきる．

でのジェスチャ認識で扱えるジェスチャの種類の幅を広げ

これらのジェスチャの認識手法としては，画像認識によ
12a)
b)
c)

筑波大学大学院システム情報工学研究科コンピュータサイエンス専攻
Department of Computer Science, Graduate School of Systems and Information Engineering, University of Tsukuba
筑波大学システム情報系
Faculty of Engineering, Information and Systems, Universityof Tsukuba
takagi@iplab.cs.tsukuba.ac.jp
shizuki@iplab.cs.tsukuba.ac.jp
shin@iplab.cs.tsukuba.ac.jp© 2018 Information Processing Society of Japan

ることである．本研究では，手首にスマートウォッチを装着することを前提とし，さらに指輪型磁気センサデバイスを指に装着する．また，複数のウェアラブルデバイス，あるいは体の特定の位置に磁石を取り付ける．こうすることにより，連続的な手の動きによる量の入力といったアナログ的ジェスチャを認識しやすくなるなどの効果が期待できる．また，手の位置や状態をスマートウォッチの加速度センサの値から推測することで，位置に応じた入力対象選択723

情報処理学会 インタラクション 2018
IPSJ Interaction 2018が可能になる．

2. 関連研究

2B502018/3/5

体の磁石周辺で指を動かすことで，ジェスチャ入力が行える．本手法では，磁気センサの値により磁石を中心とした位置情報を推定できるため，加速度センサとNenya[7] は，磁石付きの指輪をリスト型デバイスにより組み合わせることにより，従来の加速度センサによる検出し，指輪の回転動作を検出することが可能なシステム

ジェスチャだけでなく，連続量入力などの細かい動きである． uTrack[8] は親指に磁石を付け，薬指に磁気センを検出することができる．また，センサ値から身体上サを装着する．親指を薬指付近で動かすこと位により，3の位置を推測することで入力対象選択が可能になる．

次元的な入力を行うシステムである． Abracadabra[9] は3.1.2 ソフトウェア

磁石を用いてスマートウォッチの周辺で 2 次元的に入力を本システムは，スマートウォッチの加速度センサの値を行う事が可能である． IM6D[10] では，複数の LC コイル利用し，ジェスチャ入力時に手位置推測にとる入力対象のによるマーカを装着し，マーカの位置をリアルタイムでト選択を行うソフトウェアと，指輪デバイスから得られる 3

ラッキングすることかできる． IM6D は，トラッキングシ

軸磁気センサの値からジェスチャ認識を行うソフトウェア

ステムが大きく，携帯性に欠ける．の 2 種類から構成される．以下で詳細を述べる．

3. 提案手法( 1 ) ジェスチャ入力時の手位置推測による入力対象の選択
スマートウォッチを利用し，ユーザが磁石の周囲で本手法では，複数のウェアラブルデバイスや身体の特定ジェスチャを行う際の手の向きを検知する．手の向き位置付近での指でのジェスチャ入力を行うことが可能になを識別することで，単独では識別することができない

る．従来の加速度センサによるジェスチャ認識によるスワ磁石を識別することができる．

イプ動作やクリック動作だけでなく，磁気センサ値を活用( 2 ) ジェスチャ認識することにより，連続量の入力を行うジェスチャが可能とスマートフォンアプリケーションによって，本手法はなる．

指輪デバイスとスマートウォッチのそれぞれから得られるセンサデータを収集，連続量入力を含むジェス

3.1 システム構成
本手法におけるシステムの構成について述べる． 本シ
ステムは，磁石と磁気センサを取り付けた指輪型デバイスチャ入力の認識を行う．指輪デバイスより 3 軸磁気センサのデータ，スマートウォッチから加速度センサの値をそれぞれ取得する．のハードウェア部と, ジェスチャ入力時の手位置推定ソフ
トウェアと，ジェスチャ認識ソフトウェアの 2 種類のソフ

3.2 想定使用シーン例

トウェアによって構成されている. 以下それぞれについて

3.2.1 ワイヤレスヘッドセットによる音楽プレイヤーの述べる．

3.1.1 ハードウェア
本システムは，磁石と磁気センサを取り付けた指輪型デ操作
本システムをワイヤレスヘッドセットで使用の流れを示す．音楽プレイヤーアプリケーションをワイヤレスヘッドバイスによって構成される．以下でそれぞれの役割についセット付近でジェスチャ操作する例の流れである．て詳細を述べる．

( 1 ) タップ動作を行うことで, 音楽の再生停止を行う (図( 1 ) 磁石
本手法では，ウェアラブルデバイスや身体の適当な位置に磁石を取り付ける．永久磁石を取りつけるだけな

1)( 2 ) 左右スワイプジェスチャを行うことで音楽の早送り早戻しを行う

ので，センサ追加などより容易であり，バッテリーも( 3 ) 左右へとゆっくり動かすことで，音量を操作する不要である．例えば，ヘッドフォンに付ければヘッド3.2.2 ベルト付近でのスマートフォンの通話操作フォンの音量を変更するためにヘッドフォン付近で操本システムをベルト付近でのスマートフォンの通話操作するとか，腰のベルトにつけてスマートフォンの特作に使用する流れを示す．スマートフォンでの通話時，ス定の操作 (例えば電話着信拒否など) を行うようにする

マートフォンを直接操作することなく，ベルト付近でのことができる．

ジェスチャ入力により，通話の機能の一部を利用するの流( 2 ) 指による入力を行う指輪型磁気センサデバイス
指輪型磁気センサデバイス (以下，指輪デバイス ) は，3 軸磁気センサを取り付けた指輪である．指輪デバイ
スは磁気センサにより磁気を検出し，センサ値を連続量入力などのジェスチャ入力に利用する．ユーザは指輪デバイスを指に装着し，ウェアラブルデバイスや身© 2018 Information Processing Society of Japanれである．

( 1 ) タッチ動作を通話時の音声のミュート動作のオンオフと割り当てる( 2 ) 左右へゆっくり動かすアナログ入力を通話時の音量の増減動作へと割り当てる．

( 3 ) スマートフォンによる通話時，スマートフォンを見る

724

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B50
2018/3/5

4.2 磁石位置推定スマートウォッチソフトウェア
touch!

ウェアラブルデバイスへと取り付けられた複数の磁石位置を推定するために，磁石周辺へと指を移動した際の手の向きを利用する．手の向きを検出するために，スマートウォッチに内蔵される加速度センサを使用する．加速度センサの値を取得し，スマートフォンへと送信する．端末として Android Wear(LG G watch) を使用し，スマートフォンとの通信には Google から提供されている，Wearable DataLayer API を使用した．
4.3 ジェスチャ認識，磁石位置推定スマートフォンソフ
トウェア
図1

ワイヤレスヘッドセットをタップすることにより，音楽の再生停止を行う

ことなくベルト付近でタッチを行っている間はミュートを行う( 4 ) 左右へゆっくり動かすことで音量の増減操作を行うことができる．

4. 実装
上記の提案手法を用いたシステムを実装中である．
これまでに，指輪デバイスの試作，磁石位置推定のためのスマートウォッチソフトウェア，ジェスチャの認識ソフトウェアの作成を行った．

4.1 指輪型磁気センサデバイス
指輪デバイスの実装について述べる．マイコンとして

Arduino Nano，3 軸磁気センサとして MAG3110，通信用モジュールとして BlueSMiRF Silver を使用した．指輪は3D プリンタにより作成した．指輪は 17mm から 22mm まで 0.5mm ずつ経の異なる指輪を作成した．指輪デバイス
は，下記のジェスチャ認識ソフトウェアと Bluetooth 通信を行い，磁気センサの値を送信する．

ジェスチャ認識，磁石位置推定ソフトウェア (以下，推定ソフトウェア) の実装について述べる．推定ソフトウェ
アは Android アプリケーションとして開発する．推定ソフ
トウェアは，指輪デバイスから Bluetooth 通信により磁気センサの値を取得し，記録を行う．ジェスチャの認識には，SVM(libSVM) を利用する．ジェスチャの種類として，磁石をタップする動作，磁石へと左右からスライドするスワイプ動作を実装した．また，アナログ入力の実装として，左右への一次元的な連続入力を実装した．

5. おわりに複数のウェアラブルデバイスに磁石を取り付け，その周囲で指輪型磁気センサデバイスを装着した指によるジェスチャを行うことで，ウェアラブルデバイスを識別し，ジェスチャを認識システムについて提案した．今後は，システムの実装を完成させ，様々なジェスチャの認識精度の調査やどういったアプリケーションで利用できるかなどの応用例の調査を行う．
参考文献
[1]

[2]

[3]

[4]

図 2

指輪デバイスを装着した様子． 人差し指に磁気センサが付いた指輪を着けている．

© 2018 Information Processing Society of Japan[5]

Katie A. Siek, Yvonne Rogers, and Kay H. Connelly.
Fat Finger Worries: How Older and Younger Users
Physically Interact with PDAs. In Proceedings of the2005 IFIP TC13 International Conference on HumanComputer Interaction, INTERACT ’05, pp. 267–280,
Berlin, Heidelberg, 2005. Springer-Verlag.
Sami Ronkainen, Jonna Häkkilä, Saana Kaleva, AshleyColley, and Jukka Linjama. Tap Input as an EmbeddedInteraction Method for Mobile Devices. In Proceedingsof the 1st International Conference on Tangible andEmbedded Interaction, TEI ’07, pp. 263–270, New York,NY, USA, 2007. ACM.
Jiayang Liu, Lin Zhong, Jehan Wickramasuriya, andVenu Vasudevan. uWave: Accelerometer-based personalized gesture recognition and its applications. Pervasiveand Mobile Computing, Vol. 5, No. 6, pp. 657–675, 2009.
Robert Y. Wang and Jovan Popovic. Real-time Handtracking with a Color Glove. ACM Trans. Graph., Vol.
28, No. 3, pp. 63:1–63:8, July 2009.
David Kim, Otmar Hilliges, Shahram Izadi, Alex D.
Butler, Jiawen Chen, Iason Oikonomidis, and Patrick725

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

[6]

[7]

[8]

[9]

[10]

2B50
2018/3/5

Olivier. Digits: Freehand 3D Interactions Anywhere Using a Wrist-worn Gloveless Sensor. In Proceedings of the25th Annual ACM Symposium on User Interface Software and Technology, UIST ’12, pp. 167–176, New York,NY, USA, 2012. ACM.
高田崚介. GROVE: 導電繊維を用いた安価なデータグローブの開発. インタラクション 2015 論文集, pp. 944–945,2015.
Daniel Ashbrook, Patrick Baudisch, and Sean White.
Nenya: Subtle and Eyes-free Mobile Input with a
Magnetically-tracked Finger Ring. In Proceedings of theSIGCHI Conference on Human Factors in Computing
Systems, CHI ’11, pp. 2043–2046, New York, NY, USA,2011. ACM.
Ke-Yu Chen, Kent Lyons, Sean White, and Shwetak Patel. uTrack: 3D Input Using Two Magnetic Sensors. In
Proceedings of the 26th Annual ACM Symposium onUser Interface Software and Technology, UIST ’13, pp.
237–244, New York, NY, USA, 2013. ACM.
Chris Harrison and Scott E. Hudson. Abracadabra:Wireless, High-precision, and Unpowered Finger Inputfor Very Small Mobile Devices. In Proceedings of the22nd Annual ACM Symposium on User Interface Software and Technology, UIST ’09, pp. 121–124, New York,NY, USA, 2009. ACM.
Jiawei Huang, Tsuyoshi Mori, Kazuki Takashima,
Shuichiro Hashi, and Yoshifumi Kitamura. IM6D: Magnetic Tracking System with 6-DOF Passive Markers for
Dexterous 3D Interaction and Motion. ACM Trans.
Graph., Vol. 34, No. 6, pp. 217:1–217:10, October 2015.

© 2018 Information Processing Society of Japan726