WISS2014

MagNail：爪装着型磁石を用いたモバイル端末インタラクション
門村 亜珠沙椎尾 一郎∗

概要. ウェアラブルコンピューティング技術の進展により，ウェアラブルデバイスを身に付けて街を歩く姿が一般的になりつつある．そこで筆者らは，ユーザが常に自然な形でデバイスを携帯することができるウェアラブルコンピューティング技術の実現を目指し，ボディアタッチコンピューティングを提案する．この概念に基づき，我々は，電池不要の「磁石」と装飾の対象として受け入れられている「爪」に着目した．
本研究では，素材に磁石を用いたネイルアートのことをマグネイルと呼ぶ．ユーザが爪にマグネイルを施し，スマートフォンなどを操作する際，機器に標準搭載されている磁気センサにより，指の位置や向きを検出することができる．本稿では，マグネイルを施した指の状態を検出する手法を開発し，これを利用したアプリケーション例と実地評価について報告する．

1

はじめに近年，ユーザの状態を検出することが可能なメガネ型1 やリストバンド型2 のデバイスが次々と商品化されており，ウェアラブルコンピューティングの技術が一般に普及しつつある．このようなウェアラブルコンピューティング技術の発展の中で，ユーザが常にデバイスを身に付けていられるように，ユーザの体内にセンサやアクチュエータを埋め込む技術も研究されている [5]．しかし，このような体内への埋め込み技術は，ユーザへの肉体的・心理的な負担も大きい．そのため，使用の一般化には，技術面だけでなく医療面での発展や協力も不可欠であり，未だ現実的な手法ではない．
そこで，本研究では，安全な代替案として，手足の爪・歯・毛髪など，人に痛みを与えることのない場所にウェアラブルコンピューティング技術の組み込みを行う，body-attached computing （以下，ボディアタッチコンピューティング）を提案する．中でも，日常生活において多くの外部機器と触れ合う部位である手指の近くに存在する爪は，ヒューマンコンピュータインタラクション（以下，HCI）の観点から利用しやすいと考える．また，爪の表面は，比較的平らであり，接着剤を付けることも可能であり，人工物を装着する土台として適している．さらに，ネイルアートといった爪の上に人工物を装着して装飾する文化もある．センサやタグを爪の上にネイルアートとして実装することで，生理的・社会的に受け入れやすいアクセサリーとして，日常生活に溶け込んだユビキタスで実用的な HCI デバイスを実現できる．爪が安全でファッション性のあるウェア
Copyright is held by the author(s).
Azusa Kadomura and Itiro Siio,
お茶の水女子大学大学院人間文化創成科学研究科
1
Google Glass: http://www.google.com/glass/start2
fitbit: http://www.fitbit.com∗

図 1. マグネイル：磁石を含んだネイルアート．マグネ
イルの動きに合わせてモード切り替えを行う．

図 2. A〜C：一般的なネイルアート（平均厚さ：2.5mm）．
D：中指の爪に磁石を装着（厚さ：3mm）．

ラブルデバイスのまだ見ぬ未来の新しいフロンティ
アとしての役割を果たすことができるだろうか．
そこで，我々は，ユーザの爪にタグとして磁石を装着して行うインタラクション手法を提案する．本
稿では，この磁石を含んだネイルアートを MagNail（以下，マグネイル）と呼ぶ（図 1，[6]）．マグネイルは，ネイルアートで一般的に使用されるラインストーンに仕立てることで，通常の装飾の一部として爪に施すことも可能である（図 2）．筆者らは，マWISS 2014

グネイルをスマートデバイス3 に標準搭載されている磁気センサで検出し，ユーザの手（指）の状態を自然に認識するシステムを開発した．本稿では，爪に装着した磁石の磁気情報により手の状態が検出可能であるかを評価する基礎的な識別実験とマグネイルを施した爪の状態を検出することで実現可能になるアプリケーション，およびその実地評価について報告する．

2

マグネイルの概要

従来，図 3 のような手の状態を検出するためには，手に電子機器やセンサを装着したり，カメラによるコンピュータビジョンの手法が用いられていた [2]，[3]．これに対して，マグネイルでは，ユーザの指先にネイルアートとして磁石を装着する．この磁石による磁界を，スマートデバイスに内蔵されている地磁気測定用の磁気センサで検出することで，特別なセンサや電池を追加することなく，手（指）の状態が識別可能になる．

図 3. 右手中指の爪に施されたマグネイルによるインタラクション．矢印は磁力線の方向を示す．

スマートデバイスのマルチタッチ入力では，ユーザが入力画面に触れた単一，もしくは複数の指の位置と動きにより，様々な操作を実現している．しかし，タッチ入力デバイスのみでは，タッチ面に触れていない指の状態（位置や向き）を検出することはできないため，それらの情報はインタラクションの手段として活用されてこなかった．そこで我々は，入力画面に触れていない指（爪）の位置や向きをマグネイルで検出し，これらをタッチ操作と組み合わせて活用することで，より自然で有用なインタラクションが実現できるのではないかと考えた．
例えば，ユーザの右手中指の爪にマグネイルを施した場合，磁力のベクトルの変化により，図 3 のような手（指）の状態を識別可能であると考える．

• 指の状態：図 3（a）では中指を折り曲げ（以下，曲げた状態），図 3（b）では中指を伸ばしている（以下，伸ばした状態）．

• 把持状態：図 3（c）では右手，図 3（d）では左手，図 3（e）では両手でスマートデバイスを持っている．
上述の各状態では，ユーザの中指に装着した磁石の位置と方向により，スマートデバイス内蔵の磁気センサが受け取る磁力線の方向と強度が変化する．
これらの識別結果は，図 3 に示した手（指）の状態によって，操作や表示を直感的に切り替えるためのユーザインタフェースに利用することができる．
3

本稿では，スマートフォンやタブレット PC などのモバイル端末を総称して，スマートデバイスと呼ぶ．

図 4. 6 つに分割された各画面領域において，マグネイルの方向を検出する．

3

内蔵磁気センサによる識別実験

スマートデバイス内蔵磁気センサにより，図 3 に示す状態が識別可能であることを確認するために，以下の基礎的な実験を行った．

3.1

条件

マグネイルに用いる磁石として，一般のネイルアートの厚みから検討した結果，小型ネオジム磁石（直径 6mm ×厚さ 3mm）を採用し，これを手首関節から中指先端までの距離が 173mm である筆者の1 人（以下，実験者）の右手中指の爪に装着した．磁気センサを備えたタッチ入力スマートデバイスには，ASUS 社のスマートフォン（Nexus 5：画面サイズ4.95 インチ，1920 × 1080 画素）を使用した．実験用プログラムは，この端末上で稼働する Android アプリケーションとして開発した．このスマートフォンには，画面を縦長に配置した際の右上部分に，3次元磁気センサが内蔵されている．そして，一般的な大学研究室にて，実験者は図 3 に示した 5 種類の

MagNail：爪装着型磁石を用いたモバイル端末インタラクション

図 5. 左：各画面領域における曲げた／伸ばした状態の磁気センサ値（x，y，z 軸，それぞれ 50 回分の平均値），右：右手／左手／両手で把持した状態の磁気センサ値（x，y，z 軸，それぞれ 50 回分の平均値）動作を繰り返し，磁気センサ値（x，y，z 軸）を記録した．記録するタイミングとしては，図 3（a），（b）は，人差し指が画面にタッチされたとき，図 3（c），（d），（e）は，スマートフォンを把持する手の親指が画面にタッチされたときとした．
図 3（a），（b）における中指に装着した磁石の磁力線の向きは，指の曲げ伸ばしによりほぼ 180 度回転している．つまり，磁石中央から発生する磁力線は，画面に対してほぼ鉛直方向（z 軸）となる．このため，磁石と同じ平面に置かれた磁気センサにおける磁力線の変化も，主に z 軸に現れると考えた．しかし，実際には，予備実験の段階において，タッチする場所により，x，y 軸方向の変化が大きい領域も存在した．そこで，図 4 の通り，スマートフォンの画面を 6 つに分割した．これは，各画面領域を正方形に近い形（640 × 540 画素）にすることで，各画面領域内での磁気センサからの距離のばらつきを減らすためである．そして，各画面領域における磁力線の方向を測定し，指の曲げ伸ばしを判断することにした．図 3（a），（b）の状態を判定する実験では，各画面領域上を 50 回ずつ，合計 300 回ずつタッチを行った．
また，図 3（c）と図 3（d）を検出する際は，両手を肩幅程度の距離を置いた状態で計測を行った．
すなわち，図 3（d）を計測する際は，肩幅程度右側に磁石がある．一方，図 3（e）を検出する際は，実験者の胸前で計測を行った．図 3（c），（d），（e）では，50 回ずつタッチを行った．

3.2

結果と考察

図 3（a），（b）の状態において，各画面領域を 50回ずつタッチした際に取得された磁気センサの平均値を図 5 の左側に示す．一方，図 5 の右側には，図3（c），（d），（e）の各状態における 50 回分の平均値を示す．これらは，環境磁気ベクトルを含んでいる値である．図 5 から，各状態において，磁気センサ値が変化していることが示された．

図 5（左）に関して，各画面領域上の磁気センサ値（x，y，z 軸）ごとに t 検定を行った結果，曲げた／伸ばした状態の平均値に有意差があった（x，y，z 軸のうち 2 軸以上が p<0.01）．図 5 に示すように，大きな差異の現れる軸は，領域ごとに異なるので，鉛直方向（z 軸）の変化だけでなく，x，y，z 軸を総合したベクトル量の変化に着目した判定方法を行う必要があることがわかった．一方，下側の画面領域（領域 5 ／領域 6）では，各値の差は小さかった．
これは，中指に装着した磁石からセンサまでの距離が遠くなることが原因であると考える．
同様に，図 5（右）に関しても，t 検定を実施したところ，右手／左手／両手で把持している状態に有意差が生じたことが示された（p<0.01）．

4

アプリケーションの提案と評価

前章で図 3 を識別可能なことが示された．以下に，マグネイルを右手中指の爪に施した際の具体的なアプリケーションについて説明する．

4.1

指の状態検出を利用したアプリケーション

図 3（a），（b）の検出を利用することで，指の状態に合わせて，直感的にモードを切り替えるアプリ
ケーションが可能である．
指にインクや粉絵の具を付けて何かを描く場合，多くの人間は，人差し指で描画し，指の腹で紙を擦ってインクを消しとる動作をするだろう．マグネイルにより，そのような実世界の知識や経験を利用したインタフェースを提供できる．すなわち，マグネイルを中指の爪に施したユーザが，図 6 に示すように中指を曲げて，人差し指でドラッグするとペンモードになり，中指を伸ばして操作すると消しゴムモードに切り替わるインタフェース（以下，描画アプリ
ケーション）を実現できる．
また，指の状態検出の識別は，スマートデバイスのロック解除のようなパスワード入力の場面にも応用することができる．どのような手（指）の状態でパWISS 2014

図 6. 右手中指に施したマグネイルによりペン・消しゴムモードを切り替える描画アプリケーション

図 7. 右手中指に施したマグネイルによりメニューの配置を左右に切り替える表示アプリケーション

スワード入力をしているかを，暗証番号と併用して利用することで，セキュリティ対策にも活用できる．

面をタッチダウンする度に磁気測定を行う．この際~x とする．これから環境磁気ベクトルの測定値を G~
G0 を除去し，その画面領域に対応する磁気ベクト
ル方向 g~1 , g~2 への射影を計算し，その値の大小により，マグネイルを施した中指の曲げ伸ばしを判断す
る．すなわち，

4.1.1

基準となる磁気方向の測定

以下に，上述した指の状態検出を利用したアプリ
ケーションの実装のために行った，各指の状態によって生じる方向ベクトルを求める測定について述べる．
ここでは，前章で行った基礎実験に引き続き，同じ実験者とデバイスを用いた．基礎実験では，建物構造体や電子機器からの磁気の影響を受けていた．そこで，周囲の環境からの磁気を含まない曲げた／伸ばした状態のベクトルを測定するために，周囲の磁気の影響を除去して測定を行った．まず，大学グラウンドの中央にスマートフォンを設置した．次に，磁石や磁気を発するものをスマートフォンから遠ざけて磁気センサ値を測定し，得られた磁気センサ値~0（主に地磁気と考えられる）を環境磁気ベクトル Gとした．そして，実験者が右手中指にマグネイルを施し，図 4 に示すように，6 分割した各画面領域を人差し指でタッチした．このタッチを，中指を曲げた状態と伸ばした状態で行い，その際の磁気センサ値を測定した．このセンサ値から環境磁気ベクトル~0 を減じたベクトルが，マグネイルにより生じたG磁気ベクトルとなる．これを正規化して，それぞれの画面領域上で，中指を曲げてタッチしたときにマグネイルによって生じる磁気の方向ベクトル g~1 ，ならびに，中指を伸ばしてタッチしたときの g~2 を求めた．

4.1.2

指の状態検出を利用するための実装

本描画アプリケーションでは，前項で求めた画面領域ごとの磁気の方向ベクトル g~1 ，g~2 を用いることで，中指の状態を以下のように判定する．まず，ス~0 をマートフォンがある環境の環境磁気ベクトル G求める．現在の実装では，ユーザがアプリケーションを起動した直後から，スマートフォンがタッチされていない間に測定した磁気を随時更新し，環境地~0 としている．そして，ユーザが画磁気ベクトル G~0 ) · g~nf (n) = (G~x − G(1)を計算し，f (1) が f (2) より大きければ，ユーザが中指を曲げていると判断しペンモードに，逆ならば，消しゴムモードに切り替わる．

4.1.3

描画アプリケーションの実地評価

上述した実験者 1 名から得られた磁気の方向ベク
トル g~1 と g~2 を用いた実装が，他のユーザにも適応できるのかを調査するために，10 名の女性（21–52歳：平均 29.4 歳，手首関節から中指先端までの距離：平均 168.4mm）を対象に，実地評価を行った．
なお，全てのユーザは，マグネイルを初めて体験した．まず，本評価を行うにあたって，最初に描画アプリケーションの基本的な使い方を説明した．次に，右手中指の爪にマグネイルを施してもらい，6 つの画面領域上で 5 回ずつ自由に描く動作（曲げた状態）と消す動作（伸ばした状態）をしてもらった．
表 1 に各画面領域上における描く動作と消す動作の識別精度を示す．各状態の値の差異が少ないと懸念していた領域 5，6 も含め，消す動作はほぼ完璧（平均 96%）に実行されていたことがわかった．一方，描く動作に関しては，平均 81%の識別率であった．すなわち，ユーザが描く動作を行っているつもりでも，5 回中 1 回は消しゴムモードになっていたことになる．ペンモードの認識精度が劣っていた原因として次のことが考えられる．消す動作に関しては，全てのユーザが今回基準とした実験者と似たよ
うに，手を伸ばしていた．これに対して，描く動作
では，ユーザごとに中指の曲げ方が異なっており，このことが認識精度を低下させたと考えられる．今後，ユーザごとに磁気の方向ベクトルを採取する，

MagNail：爪装着型磁石を用いたモバイル端末インタラクション

もしくは，ユーザの動作を検出して方向ベクトルを動的に適合させていくなどして，認識精度を改善できると考えている．
表 1. 各画面領域上における描く動作（曲げた状態）と消す動作（伸ばした状態）の識別精度（%）

領域

123456

描く動作
消す動作989494928898709670986696

しながら左親指で画面を 5 回クリックという流れを5 回繰り返してもらった．この際，把持の仕方や把持していない手の位置などの指示は行わなかった．
その結果，右手で把持した際の識別精度は 99.5%（200 回中 199 回成功），左手で把持した際の識別精度は 100%（200 回中 200 回成功）であった．把持の仕方や把持していない手の位置などについて指示しなかったにも関わらず，高い精度で把持状態を検出できたことがわかった．

54.2

把持状態検出を利用したアプリケーション

図 3（c），（d），（e）の検出を利用することで，把持している手の状態に応じて，表示を切り替えるアプリケーションが可能である．
例えば，片手でスマートデバイスを把持しつつ親指で操作していると，把持している手と反対側の画面端にあるメニューやタブなどを操作しづらいときがある．このような際に，図 7 に示すように，右手で把持・操作している場合には右側に，左手の場合には左側にメニューを表示（以下，表示アプリケーション）することで，選択操作を容易にすることができる．
また，画面表示の縦横を動的に切り替える際に，図 3（c），（e）の状態検出を利用することも可能である．従来，縦横の切り替えに対しては，スマートデバイスに内蔵されている加速度センサが用いられている．しかし，デバイスの鉛直方向への向きにより，ユーザの把持状態を間接的に検出する方法では，ユーザがデバイスを水平に持つ，寝て操作するなどの状況に対応できない．マグネイルでは，ユーザの把持状態を直接検出することで，このような状況でもユーザが望む縦横表示切り替えを提供できる．

4.2.1

把持状態検出を利用するための実装

基礎実験の結果（図 5）からわかるように，右手，もしくは左手でスマートフォンを把持している状態
では，環境磁気ベクトルからの影響を含んでいても，各状態における磁気センサ値の差に特徴があった．そのため，画面がタッチされた際の各値の差が一定以上の場合，ユーザが右手で把持していると判断する．

4.2.2

表示アプリケーションの実地評価

描画アプリケーションと同様に，4.1.3 での評価とは異なる 8 名の女性（16–24 歳：平均 21.6 歳，手首関節から中指先端までの距離：平均 172.5mm）を対象に，表示アプリケーションに対しても実地評価を行った．最初に，表示アプリケーションの基本的な使い方を説明した．次に，右手中指の爪にマグネイルを施してもらい，右手でスマートフォンを把持しながら右親指で画面を 5 回クリック，左手で把持

5.1

関連研究
磁石を用いたインタラクション

HCI 分野では，磁石と磁気センサを使用した研究が盛んに行われている．その中でも，MagiTact[7]では，本研究と同様に，スマートフォンに内蔵されている磁気センサを用いて，3D 空間での磁石の位置検出を行っている．GaussSense[9] では，スマートフォンの背面に大量の磁気センサを配列したデバイスを追加することで，標準搭載されている単一の磁気センサのみでは検出することが難しい磁石の微細な傾きや動きを検出している．また，Abracadabra[4]は，磁気センサを搭載した腕輪型のモバイル端末上で，磁石を装着した指先の傾きや動きなどを検出することが可能なシステムである．Nenya[1] は，磁石が付いている指輪を装着したユーザが指輪を回す動作を，磁気変化によって検出し，入力に利用するシステムである．uTrack[2] は，親指に磁石を，他の指に磁気を検出するデバイスを装着することで，ユーザの指の位置をリアルタイムに検出している．
我々は，普及率の高いスマートデバイスに標準搭載されている磁気センサのみを使用し，磁石を装着した爪の動き，すなわち，指の動きを検出可能であることを示した．さらに，入力に用いる主要な指以外の爪（本稿では中指の爪）に磁石を装着することで，多彩なセンシングの可能性を示した．また，装着する磁石をファッション性の高いアクセサリーに仕立てることで，一般的に普及しているネイルアー
トと同様に，日常生活においてユーザが抵抗なく装着可能なウェアラブルデバイスとした．
5.2

ボディアタッチコンピューティング

以下，本研究で提案したボディアタッチコンピュー
ティングと関連している研究を挙げる．Vega らは，RFID タグをネイルアートの一部として爪に付けることで，指を機器操作のスイッチとして利用する手法を提案している [11]．Tamaki らは，爪の上に LEDやバイブレーションを組み込んだコイル型デバイスを装着することで，RF から電源供給された際に，光る／震えるなどのフィードバックを返すシステムを開発している [10]．
我々は，ネイルアートの一部として安価で手に入WISS 2014

りやすい磁石を爪に装着することで，ON ／ OFFのセンシングのみではなく指の状態を検出できることを基礎付けし，スマートフォン上でのインタラクションの可能性を示した．
爪以外へのボディアタッチコンピューティングとして，義歯に加速度センサを組み込むことで，ユーザが飲み物を飲んでいるのか，咳をしているのかなどを検出するシステムも開発されている [8]．このように，センサやタグを，痛みを感じにくい体の一部に埋め込むことで，自然な形でユーザの動作検出が可能になる．

6

まとめと今後の課題
本研究では，ウェアラブルコンピューティングの1 つの方向性として，ボディアタッチコンピューティングを提案し，磁気センサとユーザの爪に装着した磁石を用いて，ユーザの手（指）の状態を検出するシステムを実装した．本手法は，スマートフォンに標準搭載されている磁気センサと，安価で入手が容易なネオジム磁石のみを使用する．この磁石をネイルアートの一部として，ユーザの爪に魅力的に装飾することで，実現性・ファッション性からも人々にとって親しみやすいウェアラブルなシステムを目指した．また，スマートフォンが検出した磁石の位置と方向，すなわちユーザの指の状態に応じて，情報操作のモード切り替えを行うアプリケーションも実装した．実装した 2 種類のアプリケーションを用いて，計 18 名の女性を対象に実地評価を行った．その結果，本手法の実現可能性が高いことに加えて，画面にタッチする指（本稿では人差し指）以外の副次的な指の状態（本稿では中指）を利用したインタラクションの可能性を示した．本稿では，中指の爪に磁石を 1 つ装着した場合のアプリケーションについて述べたが，マグネイルを施す位置や個数によって，今回提案した以外の手の状態も取得可能とも考えており，今後も多彩なアプリケーションを開発したい．
一方，多くのスマートデバイスには，本研究で使用した磁気センサが組み込まれているが，組み込まれている位置は端末によって異なる．したがって，現状では，端末ごとの調整が必須である．近い将来，スマートデバイス周辺の磁気分布情報を提供する APIが OS レベルで実装されることで，磁石を使用したアプリケーションがさらに利用しやすくなると考えている．
最後に，ウェアラブルデバイスは，常にユーザが身に付ける可能性があるので，磁気が環境や人体に与える影響についても考慮していきたい．

謝辞
本研究は，JSPS 科研費 25・10205 と 26330219の助成を受けたものです．

参考文献[1] D. Ashbrook, P. Baudisch, and S. White.
Nenya: Subtle and Eyes-free Mobile Input witha Magnetically-tracked Finger Ring. In Proceedings of the SIGCHI Conference on HumanFactors in Computing Systems, pp. 2043–2046.
ACM, 2011.
[2] K.-Y. Chen, K. Lyons, S. White, and S. Patel.
uTrack: 3D Input Using Two Magnetic Sensors.
In Proceedings of the 26th Annual ACM Symposium on User Interface Software and Technology, pp. 237–244. ACM, 2013.
[3] S. Chu and J. Tanaka. Interacting with a Selfportrait Camera Using Motion-based Hand Gestures. In Proceedings of the 11th Asia PacificConference on Computer Human Interaction,
pp. 93–101. ACM, 2013.
[4] C. Harrison and S. E. Hudson. Abracadabra:
Wireless, High-precision, and Unpowered Finger
Input for Very Small Mobile Devices. In Proceedings of the 22Nd Annual ACM Symposium
on User Interface Software and Technology, pp.
121–124. ACM, 2009.
[5] C. Holz, T. Grossman, G. Fitzmaurice, andA. Agur. Implanted User Interfaces. In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, pp. 503–512. ACM,2012.
[6] A. Kadomura and I. Siio. MagNail: Augmenting Nails with a Magnet to Detect User Actions
Using a Smart Device. In Proceedings of the2014 ACM International Symposium on Wearable Computers, pp. 135–136. ACM, 2014.
[7] H. Ketabdar, K. A. Yüksel, and M. Roshandel. MagiTact: Interaction with Mobile Devices
Based on Compass (Magnetic) Sensor. In Proceedings of the 15th International Conference onIntelligent User Interfaces, pp. 413–414. ACM,2010.
[8] C.-Y. Li, Y.-C. Chen, W.-J. Chen, P. Huang,and H.-h. Chu. Sensor-embedded Teeth for Oral
Activity Recognition. In Proceedings of the 2013
International Symposium on Wearable Computers, pp. 41–44. ACM, 2013.
[9] R.-H. Liang, K.-Y. Cheng, C.-H. Su, C.T. Weng, B.-Y. Chen, and D.-N. Yang.
GaussSense: Attachable Stylus Sensing Using
Magnetic Sensor Grid. In Proceedings of the25th Annual ACM Symposium on User Interface Software and Technology, pp. 319–326.
ACM, 2012.
[10] E. Tamaki and K. Iwasaki. A Half-implant
Device on Fingernails. In Proceedings of the5th Augmented Human International Conference, pp. 10:1–10:4. ACM, 2014.
[11] K. Vega and H. Fuks. Beauty Technology As an
Interactive Computing Platform. In Proceedingsof the 2013 ACM International Conference on
Interactive Tabletops and Surfaces, pp. 357–360.
ACM, 2013.