情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B302016/3/4

肌を介した超音波伝送によるハンドジェスチャ及びタッチの認識
横田 智大†1橋田 朋子†1

概要：本稿では，スマートウォッチへの入力を拡張する手法として，人体表面を伝送路として超音波の送受信を行う手法に注目した．手首周辺において超音波の送受信を行うことで，「ハンドジェスチャの認識」と「手の上でのタッチの認識」の 2 つを共に実現することを試みる．プロトタイプを実装し，これらの認識が可能なことを確かめた．

Both Hand Gesture and Touch Recognition by Transdermal
Ultrasound Propagation
TOMOHIRO YOKOTA†1TOMOKO HASHIDA†1

Abstract: In this paper, we describe a novel system that enables convenient interaction for smartwatch input by recognizing bothhand gestures and touch by transdermal ultrasound propagation. We implement a prototype device and confirm that this device isable to recognize these two types of interaction.

1. はじめに筆者らは現在，スマートウォッチへの入力手法を拡張するための研究に取り組んでいる．この分野の研究は大きく2 つに分類される．1 つ目は，スマートウォッチを片手のハンドジェスチャによって操作する研究である．2 つ目は，スマートウォッチのタッチインターフェースを，既存の小さな画面の外へ拡張する研究である．様々な研究においてスマートウォッチの操作性を向上させる手法が提案されているが，その多くは上記の 2 つのインタラクションを同時

図 1

デバイスの外観（a.ジェスチャ認識，b.タッチ認識,に実現するものではない．
本研究では，2 つのインタラクションを同時に実現する手法として，特定周波数の音波を人体を伝送路として送受

c. 全体図）Figure 1

Appearance of device (a. gesture recognition,b. touch recognition, c. general view)信する手法に注目した．先行研究において，大川らは，指に印加した骨導音（1000Hz）の受信波形より指の関節角度た手首やその周辺を介して超音波を送受信し，ユーザの動を推定し，その角度に応じて振動（200Hz）による触覚フ作に応じて変化する受信波形を解析する．その結果を学習ィードバックを行っている[1]．また，Mujibiya らは，前腕することにより，ジェスチャとタッチの両動作を認識する．の表面に複数の音源を用いて超音波（35, 40, 45, 50kHz）を2.2 人体を伝送路とした超音波の送受信印加し，その受信波形より腕上でのタッチ位置（＝受信セ送信側のセンサの振動面（音源）を直接肌に押し当てるンサで体表に触れた位置）を認識している[2]．本研究におと，アルミと人体の軟部組織の音響インピーダンスの違い

いては，ユーザの手首周辺で超音波を送受信する．1 つのより，音波は人体の内部へほとんど透過せずに体表に沿っ音源から掃引信号（25-39kHz）を印加し，ハンドジェスチて流れる．受信側のセンサも同様に肌に押し当てることで，ャとタッチの 2 つの認識を共に試みる点で，先行研究と異音源と離れた肌上でその波を受信することができる．

なる．本稿では，プロトタイプとしてバンド型のデバイス

2.3 ハンドジェスチャ認識を実装し，各認識を行った結果を報告する．

2. プロトタイプ
2.1 デバイスの概要
本稿のバンド型デバイスは，アルミケースで覆われた 1対の防滴型超音波センサから成る（図 1）．デバイスを付け†1 早稲田大学
Waseda University© 2016 Information Processing Society of Japan

ハンドジェスチャの認識では，送信センサ・受信センサをともに手首に固定して音波を送受信する．ぞれぞれのセンサの位置は，図 2-a に示す位置とした．この部位は短母子伸筋にあたり，手首や指の動きに応じて大きく変形する．
よって音波の送受信をしながらジェスチャをすると，動きに応じてセンサの受信波形も大きく変化する．この波形の解析結果を学習することで，片手でのハンドジェスチャを893

情報処理学会 インタラクション 2016
IPSJ Interaction 2016

163B302016/3/4

る超音波の安全基準[3]（25-40kHz では 110dB 以下）に準じて決定した．しかし，現状でも掃引範囲内で 70-80dB 程度の出力があり，今後さらに小さくしていく必要がある．

3. 認識結果
ユーザのジェスチャ及びタッチの動作に対応した超音
図 2

センサの配置（a.ジェスチャ認識，b.タッチ認識）

Figure 2

Sensor positions (a. gesture recognition, b. touchrecognition)

波の受信波形を図 5 に示す．動作によって波形が異なることが読み取れる．この波形を学習し，全ジェスチャと全タッチについて，それぞれ 10 セットずつ認識を行った．その結果，ジェスチャ認識の正答率は 80.00%であった．しかし前半の 5 セットでは 88.89%，後半の 5 セットでは 71.11%となった．タッチ認識の正答率は全体で 94.95%であった．
現在のプロトタイプでは，ジェスチャの認識が特に安定性に欠ける．認識の後半に正答率が著しく下がったのは，ユーザのハンドジェスチャの動き自体がセンサのずれの原

図 3

ジェスチャ一覧

Figure 3

Gesture sets

因となったためと考えらえる．そのため，センサをしっかりと肌に密着させて固定するための工夫が求められる．全体の認識精度を上げるための改善案としては，（1）周波数認識する．今回認識したジェスチャの一覧を図 3 に示す．の掃引範囲を広くすること，（2）センサの配置を，その総2.4 タッチ認識数を増やすことまで含めて再検討することが挙げられる．

タッチの認識では，受信センサのみ手首に固定する（図2-b）．送信センサは反対の手に持ち，肌上の任意の点に押し当てて用いる．送信センサを当てた位置に応じて，音波が辿る受信センサまでの経路は変化する．センサ間の距離や，経路ごとの音響インピーダンスの違いによって受信波形も変化するため，この波形の解析結果を学習することで送信センサによるタッチ位置を認識する．今回タッチを認識した位置は，図 2-b に示した手の甲の 9 点である．
2.5 システム構成
本システムの構成を図 4 に示す．超音波を送受信するセンサは村田製作所の MA40MF14-0B とし，これを Rolandのオーディオインターフェース OCTA-CAPTURE によって
駆 動 さ せ る ． サ ウ ンド カ ード の サ ン プ リ ン グ 周波 数 は96kHz，量子化ビット数は 24bit とした．受信信号の増幅には東芝のアンプ TA7252AP を用いた．入力された信号の解析は MATLAB によって行う．解析結果の学習にはサポートベクターマシンを用い，これも MATLAB 上で実装した．
送信センサを駆動させる信号の掃引範囲は 25-39kHz と

図 5

受信波形（a.ジェスチャ認識，b.タッチ認識）

し，中心周波数（40kHz）を避けることで大きな出力を抑Figure 5

Received waves (a. gesture recognition, b. touchrecognition)

える．駆動電圧は 40mV 以下とした．これらは人体に対す

参考文献

図 4Figure 4

システム構成System configuration© 2016 Information Processing Society of Japan

1) Okawa, Y., et al. Haptic-enabled Active Bone-Conducted SoundSensing. In Proc UIST '15, 87-88.
2) Mujibiya, A., et al. The sound of the touch: on body touch sensing
based on transdermal ultrasound propagation. In Proc. ITS '13, 189-198.
3) Guidelines for the Safe Use of Ultrasound: Part II - Industrial &Commercial Applications - Safety Code 24, http://www.hc-sc.gc.ca/ewh-semt/pubs/radiation/safety-code_24-securite/index-eng.php. Accessedon December 14, 2015.

894