情報処理学会 インタラクション 2015
IPSJ Interaction 2015

A39
2015/3/5

ハンズフリーで電子機器操作が可能な靴型ウェアラブルデバイス
岸 礼子†

鈴木 雄介†

概要：タブレットやスマートフォンなどの電子機器は，仕事現場での専用の機器としても利用され普及している．しかし，これらの機器の操作は手を使うものが一般的で，手が塞がる作業や，手の衛生を保つ必要がある現場では利用に制限が生じる．我々は，手を使わずに電子機器の操作を可能とする靴型ウェアラブルデバイスを提案する．具体的には，電気信号の変化を検出して，特殊な靴を履いたユーザの足によるジェスチャの認識を行い，認識したジェスチャを電子機器の操作命令に変更して機器に送信する．これによりユーザはハンズフリーで電子機器の操作をすることが可能となる．本稿では提案システムの概要と構成，プロトタイプの評価，またその評価結果の一部を反映した開発中のプロトタイプ改良案について述べる．

Shoe Type Wearable Device which
Enables Hands-Free Operation for Electronic Device
REIKO KISHI†YUSUKE SUZUKI†

Abstract: Electronic devices such as tablets and smartphones are widely used. Some of such devices are used as dedicatedequipment at workspace. However, it is common that these devices are operated by hands of users. It therefore causes restrictions
when the user works with both hands or should keep their hands clean. We propose a shoe type wearable device which enables
the user operate electronic devices without using hands. Specifically, the user wearing the shoes makes gesture, and the system
recognizes gesture by detecting the change of electronic signals. Then the system changes detected gesture pattern to operating
instruction, and transmits it to electronic devices. In this way, the user can operate the electronic devices by hands free control. In
this paper, we described the outline and composition of a proposed system, a preliminary evaluation of the system prototype, anda developing plan for improvement which reflected the part of the evaluation results.

1. はじめにタブレットやスマートフォンなどの電子機器は，オフィ

2. 関連研究2.1 靴型ウェアラブルデバイス

ス内の事務的作業だけでなく，仕事現場の専門機器として身につけられる情報機器，“ウェアラブルデバイス”が近も一般的に利用されている．例えば工場の物品管理に使わ年注目されている．Google Glass[a][1]や Epson Moverio[b]れたり，歯科医院でレントゲン写真など治療に必要な情報[2]などの「メガネ型」のものや，fitbit flex[c][3]，Sony 社製の表示に使われたりしている．こうした機器の多くは「手Smart watch[4]などの「リストバンド型」のものが一般に知で操作」することが必須である．手袋をはめる作業現場や，られているが，中には「靴型」というものもある．靴型の手が塞がる運搬作業，手の衛生を保つ必要がある調理や医例として Google 社の Talking Shoe[d][5]というものがある．

療現場などでは，機器を触る前後に手袋の着脱や手の洗浄ユーザの歩行状態をセンシングして靴がユーザに話しかけ，などの手間を要する．こうした手間によって作業中の電子

例えば立ち止まっていると「退屈だなあ」などと言うもの機器の操作が躊躇われてしまう．我々は，このような電子である．

機器に対して手を使わない操作を可能とする靴型ウェアラ

靴型のウェアラブルデバイスには次のような特徴があブルデバイスを提案する．すなわち足でジェスチャを行う

る．まず，靴自体がある程度の重量があることが多いため，ことで，ハンズフリーで電子機器の操作ができる装置であ他のウェアラブルデバイスと比較して，機器を身に着けたる．

場合の重さが，ユーザに負担を感じさせないことである．

本稿では，ハンズフリーで電子機器の操作ができる靴型

また，靴はメガネやリストバンドよりも身に付ける人の割ウェアラブルデバイスを提案する．また，その構成を紹介し，実際に開発したプロトタイプ装置の認識率の評価，さらに現在開発中の改良装置の概略についても述べる．
† 沖電気工業株式会社 研究開発センタ
Oki Electric Industry Co.,Ltd. Corporate Research and development Center© 2015 Information Processing Society of Japana) google glass は，グーグルインコーポレイテッドの商標または登録商標です．
b) Moverio は，セイコーエプソン（株）の商標または登録商標です．
c) Fitbit Flex は，フィットビットインコーポレイテッドの商標または登録商
標です．
d) Talking Shoe は，グーグルインコーポレイテッドの商標または登録商標です．

296

合が圧倒的に多いため，ユーザに自然に利用を促すことが①

スイープ信号を床の電極（床電極）に流す．

できる．

②

ユーザは電極（靴電極）の付いた特殊な靴を履いて2.2 センシング研究

床電極上に乗る．

本提案手法と同様に靴や足にセンサや装置を取り付け，③ユーザの動作をセンシングすることに着目した関連研究に④ついて述べる．前述した Talking Shoe は加速度センサ，ジャイロセンサ，圧力センサなどを搭載し，ユーザの歩行状システム部は変化した信号を解析し，ユーザのジェスチャを判別する．

⑤

態を検知してそれに 応じたフィー ドバ ックを行う [5]．
Paradiso らは，加速度センサを組み込んだダンシングシュ

床電極に流れている信号の波形が変化する．

システム部は判別されたジェスチャに対応する命令を電子機器に送る．

⑥

命令に従って，電子機器が動作する．

ーズで，ダンスをしながら音楽を創作するシステムを構築

信号の波形は，床電極と靴電極が接触すると変化する．

した[7]．冨林らは同様に加速度センサを使って，手や足でユーザの足によるジェスチャによって，床面と電極靴の接音楽を操作することが可能なウェアラブル DJ システムを触の仕方は変わるため，各ジェスチャで波形の変化の仕方開発した[6]．Sazonov らは，靴裏に力覚センサを取り付け，は異なる．システムは機械学習を用いてジェスチャ認識をユーザの姿勢の識別や活動のモニタリングを行うシステムするため，予めジェスチャのパターンとそれに対応する信を開発した[8]．濱口らは，踵にスイッチを取り付けるなど号の波形を学習しておく必要がある．また，ジェスチャにして，ユーザの歩行や位置の推定を行った[9]．我々が提案対応する命令はあらかじめ決めておく必要がある．

する手法は，以下の二つの点でこれらの関連研究とは異な操作の対象となる電子機器には，電話機，スマートフォ
ン，PC の他に，照明やオーディオなどの家電製品や他のウっている．
・利用目的が電子機器の操作であることェアラブル端末を想定している．足によるジェスチャで，・基本となるユーザのセンシングのために前述のセンサ音量等の調整や決定，キャンセルなど簡単な項目の操作をとは異なる技術を利用していること
他に，足によるジェスチャを利用している研究では Jota
らの Let's Kick It[10]がある．これは，電子機器（ディスプ自在に行う事が可能になる．
3.2 システム構成
ユーザ動作のセンシングには Sato らによって提案されレイ）を操作する点が我々の手法と類似しているが，電子た Touché[11]と類似した原理を用いている．Touché では，機器側に改良と装置の配置を必要としている．これに対し，導電性の物体に電流（スイープ信号）を流し，静電容量の本手法では靴や床に装置を配置し，また電子機器を選ばず変化を利用してタッチ状態の認識を行っている．本提案手応用する事が可能である．

法でのシステム構成は図 2 のようになっている．波形発生器には AD5932[12]を，受信器には Arduino Leonard[13]を用いた．解析と識別はリアルタイムで行う．受信した波形は3. 提案手法

解析部で FFT（高速フーリエ変換）によって解析される．

3.1 ジェスチャ認識
本提案手法では，ジェスチャ認識に，床および靴，靴を装着している人体に流した電気信号の変化を利用する．プ
ロトタイプシステムの一連の動作の流れを説明する（図 1）．

図 1

プロトタイプの一連動作の流れ

Figure 1

Operation flow of prototype system© 2015 Information Processing Society of Japan

解析結果からジェスチャの特徴を抽出し識別部で SVM（Support Vector Machine）によって識別を行う．ここではSVM のライブラリである libSVM[14]を用いた．

図 2

プロトタイプシステムの構成

Figure 2

Configuration of prototype system

297

図 3

図 4

プロトタイプの概略図

Figure 3

Outline of prototype

4. プロトタイプ
4.1 実装Figure 4

ジェスチャと命令の対応表

Correspondence of gestures and instructions

4.2 評価上記プロトタイプシステムにおいて，正しいジェスチャを認識し判定する正答率を求めた．評価の方法は，特定のシステムの妥当性を検討するため，プロトタイプシステユーザがジェスチャを行い，リアルタイムでシステムがそムを作成した．プロトタイプシステムの全体図は図 3 のとのジェスチャを判別する．これを一つのジェスチャに対しおりである．

20 回連続で行った．結果は表 1 のようになった．「靴裏全

靴電極は，靴のつま先と踵に貼られたそれぞれ表面積の体」と「つま先のみ」の誤答数が大きいのは，これらのジ異なる金属板で構成されている．この靴裏の電極は，靴のェスチャが互いに間違えやすいためであり，システムは「靴内側の導電体と繋がっている．内側の導電体はユーザが靴裏全体」「つま先のみ」の両方を結果として出力していた．

を履いた際に人体と接触または隣接することになる．その本システムでは，この場合は「靴裏全体」を優先して判定ため人体がキャパシタの役割をし，靴が床電極に触れた際，するようにした．また，全体での正答率は 86%となった．

信号の波形に大きく影響するようになっている．
スイープ信号には，1 周期あたり約 43 ミリ秒で周波数が1k ～501kHz（5kHz 増加×100Step）の範囲で変化するものを用いた．床電極は，識別精度とジェスチャ数を増やすた
めに，スイープ信号を流す電極と，システムの GND に繋がった電極の二枚を使用した．
電子機器には LED の照明機器とオーディオプレイヤーを用いた．照明は，システムから無線 LAN で信号を送信することにより明るさや色を調整できる PHILIPS 社のつま先のみ

何もしない

15142020560075%

70%

100%

100%

正答数
（20 回中）誤答数（20 回中）正答率

hue[15]を用いた．オーディオプレイヤーとしては，制御器である PC 内で音楽の操作を行うようにした．

両足を靴裏全体

表 1
Table 1

くっつける

ジェスチャ正答率

Accuracy rate of gesture recognition各ジェスチャとそれに対応する電子機器の命令について図 4 にまとめた．今回は右足だけでジェスチャを行える

4.3 課題ようにした．靴で行うジェスチャのパターンは，「靴裏全体社内展示会でこのプロトタイプシステムを用いたデモを（が床面に接触する）」「つま先のみ（が床面に接触する）」行い，来場者からのコメントを収集した．最も目立ったコ「何もしない（＝床面に乗らない）」「GND を踏む」の四種メントが，“床と靴の両方に仕掛けがいるのは，設置面や利類とした．また，「GND を踏む」の場合は両足を接触させ用面での不便につながる”というものであった．この点にる形となるためジェスチャの名前としては「両足をくっつおける改善については 5 節の考察で述べる．

ける」としている．

また，現プロトタイプは靴内部の電極によって人体の静電容量を取り入れる仕組みになっていた．実際に何度も利用する事で，この仕組みはユーザの靴下の厚みの違いで信号の変化の仕方に影響し，ジェスチャ認識性能に悪影響を及ぼすということがわかった．

© 2015 Information Processing Society of Japan298

さらに，現プロトタイプはジェスチャ動作から電子機器が動作するまでに 3 秒弱の遅延が発生する．これは，FFT解析のために大量のデータを受信するのに時間がかかるなどの理由がある．こうした遅延による改善も今後の課題となった．正答率の向上とも合わせてシステムの改善を図っていく．

6. まとめ
我々は，ユーザが電極の付いた靴を履き，装置に繋がった床電極の上で足によるジェスチャをすることで，手を使わずに電子機器を操作することができるプロトタイプとなる装置を開発した．この装置のジェスチャ正答率は，ジェスチャ 4 種類で 86%となった．
また，プロトタイプの装置を多くの人に見てもらいコメ

5. 考察
5.1 装置改良の検討
社内展示会でのコメントを受け，「床のみ」または「靴のみ」で構成される装置への改良を検討した．
・「床のみ」の検討
床のみに装置を配置する場合，プロトタイプの装置から靴を取り除くだけなので実現は容易に見えた．しかし，電極を取り付けず一般的な靴の素材で信号に変化を起こすことは難しい．また，人体の静電容量を利用して信号を変化させる場合は，靴を履いたままであると靴底の厚みによって床と人体との間に距離が生じるため，信号を大きく変化させることは困難となる．よってユーザが靴を履かずに装置に接続された床に乗るという条件で利用する装置を考ントをもらう事で，床のみ又は靴のみで構成されるような装置に改良を行うことが課題となった．床のみで構成される装置へ改良を行う場合はジェスチャの種類が限られるため，その点において工夫が必要である．また，靴のみで構成される装置で行う場合は，利用可能な床の条件について動作検証の必要が課題となることがわかった．また，構成だけでなく，ジェスチャから電子機器が操作されるまでの時間の遅延の解消をすることと，識別率の向上も改良の必要がある．これにより，設置の面や利用の面で不便のないジェスチャ認識システムへの改良を実現したい．さらに電子機器の導入が躊躇われていた作業現場に，ハンズフリーで電子機器の操作が行えるシステムを導入していくことを目指していく．

えた．ところが，予備実験の結果，人体の静電容量は個人の発汗などの状態や周囲の環境などによって頻繁に変化するため，細かいジェスチャの違いをシステムに読み込ませると識別の誤認識が生じやすくなり，ジェスチャの種類が限られてしまう事が分かった．
「床のみ」の構成となるように装置を改良する場合は，ジェスチャの種類を増やせるよ
うに構成を検討する必要がある．
・「靴のみ」の検討
次に，靴のみに装置を配置するような改良を試みた．具体的には，信号を流す電極を靴裏の方に取り付け，装置を靴側に全て載せることで改良を行う．この際に，プロトタイプでは人体の静電容量を利用していたが，ユーザの靴下の厚みで信号の変化の仕方が異なってしまう問題があった．
そのため靴内部の電極は取り除き，人体の静電容量を利用しない構成とする．また，靴のみで装置を構成する場合には，床自体には手を加えないため，床の種類によって動作が異なったり，利用できない床があったりすることが考えられる．材質の異なる床や，同建造物の異なるフロアなど
で動作検証を行う必要がある．
「床のみ」「靴のみ」についてそれぞれ動作検証を含めた利用検討を進め，ユーザに利用されやすい装置へ改良を行

参考文献
1) https://www.google.com/glass/start/2) http://www.epson.jp/products/moverio/3) http://www.fitbit.com/jp/home4) http://www.sonymobile.co.jp/product/smartwear/swr50/5) http://showcase.google.thetalkingshoe.com/
6) 冨林豊, 竹川佳成, 寺田努, 塚本昌彦 :装着型無線加速度セン
サを用いたウェアラブル DJ システム, WISS(2008)
7) J. Paradiso, K. Hsiao, and E. Hu: Interactive Music for Instrumented
Dancing Shoes: Proceedings of the International Computer MusicConference, pp. 453-456, 1999.
8) E. Sazonov, G. Fulk,J. Hill,Y. Schutz,and R. Browning :Monitoring of9) Posture Allocations and Activities by a Shoe-Based Wearable Sensor,
IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING,
VOL.58,NO.4,(2011)10) 濱口明宏, 神原誠之, 横矢直和:装着した 3 次元位置姿勢セン
サによるウェアラブルユーザの自己位置推定, 社団法人電子情報通信学会
11) R. Jota, P. Lopes, D. Wigdor,and J. Jorge :Let’s Kick It: How to Stop
Wasting the Bottom Third of Your Large Scale Display, CHI '14,
pp.1411-1414,(2014)12) Sato, M., Poupyrev, I., and Harrison, C. Touché: enhancing touch
interaction on humans, screens, liquids, and everyday objects. CHI'12, 483-492.(2012)13) http://www.analog.com/jp/evaluation/eval-ad5932/eb.html
14) http://arduino.cc/en/Main/arduinoBoardLeonardo15) Chih-Chung Chang and Chih-Jen Lin. LIBSVM: A library forsupport vector machines.ACM Transactions on Intelligent Systems
and Technology, Vol.2, No.3, pp.27:1-27:27,(2011).
16) http://www2.meethue.com/ja-jp/う．

© 2015 Information Processing Society of Japan299