立石科学技術振興財団

助成研究成果集(第32号) 2023

［ 研究助成 (C) ]音響センシングを用いたスポーツウェアのスマートデバイス化手法の確立
Establishment of smart device method for sportswear using acoustic sensing
2217001(助成受領時：研究代表者

慶應義塾大学 理工学部
特別研究員 PD筑波大学 理工情報生命学術院 博士後期課程)

雨坂宇

共同研究者

筑波大学

志築文太郎

システム情報系教授

宙る。一方で，トレーニング記録とタッチジェス[研 究 の 目 的]

チャ認識に関する調査は詳しく行われておらず，筋力トレーニング (以降，筋トレ) は一人でできる運動であり，多くの嗜好者がいる。筋ト

ピエゾ素子による実現可能性を明らかにすることが本研究の目的である。

レ時のモチベーションの維持やトレーニングの[研究の内容，成果]

効率的な管理のために，筋トレ時にユーザを支援する機能が求められる。これまで，いくつかの研究にて筋トレの自動記録，筋トレ時などをピエゾ素子で利用可能なセンシング手法であ想定したジェスチャ認識による周辺機器の操作，る音響センシングは，物体や身体にマイクとスフィードバックによる適切なトレーニングの支ピーカを配置し，音波を測定信号として伝播さ援などが実現されてきた。我々は，これらの機せ，その応答を解析することにより状態を推定能を同一の素子で実現する手法として，ピエゾするアクティブ音響センシングと，何らかのア素子を用いた筋トレ支援システム (図 1) を提クションで発生する音を解析することにより，案した。ピエゾ素子は電圧を印加することで振そのアクションを推定するパッシブ音響センシ

動する圧電効果によって，スピーカとしての利ングに分かれる。提案システムでは，アクティ用が可能となる。また，振動を電圧に変換する

ブ音響センシングを用いてトレーニング記録を逆圧電効果によってマイクとしての利用も可能行い，パッシブ音響センシングを用いてタッチとなる。提案システムの 3 つの機能の内，音ジェスチャ認識を行う。以下に各研究の内容お声・振動フィードバックはピエゾ素子の本来のよび成果をまとめた。

利用用途であり，実現は可能であると考えられ
研究 1：アクティブ音響センシングを用いたトレーニング記録
本研究では，自宅でも手軽に可能なダンベルを用いた筋トレに着目した。ユーザの前腕にピエゾ素子で作製したスピーカ・マイクを装着し，スピーカより超音波信号を再生することで，超音波信号が人体内部を伝播する。この伝播した信号をマイクから取得する。この時，ダンベル
図1

システムの利用イメージ運動によって，前腕部の筋収縮が発生すると，― 1 ―立石科学技術振興財団

表1

実験参加者ごとの種目認識・試行回数推定・重量推定の結果

試行回数推定精度は平均 92.5% であることがわかった。把持重量推定では，サポートベクタ回帰を学習モデルとし，把持重量の回帰モデルを作成し，重量推定を行った。実験の結果，把図2

実験デバイスと装着方法。a：実験デバイス，b：デバイス装着時，c：実験デバイスの詳細構造

持重量推定の推定誤差は ±0.75 kg であった。
研究 2：パッシブ音響センシングを用いたタッチジェスチャ認識
本研究では，市販の衣服へのタッチジェスチャ認識実験を行った。ピエゾ素子を装着した衣服の周辺で，衣服上を押す・なぞるなどの動図3作を行うと衣擦れ音が発生する。衣擦れ音の音測定するダンベル運動量や周波数特性は動作によって異なるため，得伝播する超音波信号の信号経路や伝播特性が変られた衣擦れ音を解析することでユーザが行っ化するため，マイクで得られる信号も変化する。

た衣服上の動作を認識することが可能となる。

この変化パターンを解析することで，種目・試

実験参加者には，図 4 に示す着脱可能なマイクとスピーカを衣服に装着してもらった。実験

行回数・把持重量の推定を行う。
実験参加者には，スピーカの機能を有したデは 4 種類の異なる衣服の前腕部でのタッチジェバイスとマイク機能を有したデバイス (図 2a,スチャ認識実験，シャツのボタン部分でのタッc) を図 2b のように前腕部に装着してもらっチジェスチャ認識実験，ズボンのポケット部分た。この状態で，図 3 に示す 10 種類のダンベでのタッチジェスチャ認識実験を行った。前腕ル運動を 4 種類の重量で 10 試行ずつ行っても部タッチジェスチャ認識実験では，図 5 に示すらった。この実験を 5 名の参加者で行った。得られたデータを用いて，種目推定，試行回数推定，把持重量推定を行った。
各推定の結果を表 1 にまとめた。種目推定では，勾配ブースティング決定木を学習モデルとし，種目をラベルとするクラス分類を行った。

図4

実験デバイス。a：実装デバイス，b：装着構造

実験の結果，種目推定の認識率は平均 61.1%であることがわかった。試行回数推定では，特定波形との相関値の推移を計算し，運動の繰り返し動作によって生じる極大値と極小値のペアを 1 試行として回数推定を行った。実験の結果，
― 2 ―

図5

前腕部タッチジェスチャ

Tateisi Science and Technology Foundation

12 種類のタッチジェスチャを行ってもらった。
この実験を各衣服にて 12 名ずつの参加者で行った。実験の結果を図 6 にまとめた。実験全体の認識率は平均 83.9% であった。認識率向上のために，誤認識率の高いタッチジェスチャを省略し，認識するジェスチャを 5 種類に絞っ

図 9 ボタン部分/ポケット部分のタッチジェスチャ
認識実験の結果た所，全体の認識率は 95.8% に向上した。また，全ての衣服で 95% 程度の認識率が得られる こ と を 確 認 し た (図 7)。ボ タ ン 部 分 と ポ[今 後 の 課 題]

ケット部分のタッチジェスチャ認識実験では，それぞれの部分で図 8 に示す 5 種類のジェス

研究 1 では，認識種目と把持重量の推定精度チャを行ってもらった。これらの実験を 5 名のが十分ではなく，今後の改良が必要である。利

参加者で行った。実験の結果を図 9 にまとめた。

用する機械学習モデルや特徴量の再考を進める

各部位のジェスチャ認識率の平均はそれぞれ予定である。また，実験参加者の人数を更に増

89.2% と 92.6% であった。

やし，提案システムの性能を精査する必要がある。
研究 2 では，スポーツウェアでのタッチジェスチャ認識実験を行う必要がある。また，ス
ポーツ時にはタッチジェスチャ以外にも動作や環境音によるノイズが発生すると考えられる。
そのようなジェスチャ以外に発生する音とタッ

図6

前腕部タッチジェスチャ認識実験の結果(12 種のジェスチャ)チジェスチャ時の音を区別するシステム改良が必要である。
[成果の発表，論文など]〈論文誌〉
1 ．Takashi Amesaka, Hiroki Watanabe, Masanori
Sugimoto, Buntarou Shizuki : Gesture Recognition
Method Using Acoustic Sensing on Usual Garment,
Proceedings of the ACM on Interactive, Mobile,Wearable and Ubiquitous Technologies, Vol. 6, No. 2,
Article 41, 2022.

図7

UBI 研究会国際会議発表奨励賞 受賞

前腕部タッチジェスチャ認識実験の結果(5 種のジェスチャ)〈査読無し国内論文〉
1 ．雨坂宇宙，渡邉拓貴，杉本雅則，志築文太郎：ピエゾ素子を用いた筋力トレーニング支援システムのための基礎検討，情報処理学会マルチメディア，分散，協調とモバイルシンポジウム (DICOMO 2022)
論文集，pp. 1610-1617，2022．
優秀論文賞・優秀プレゼンテーション賞 受賞

図8

ボタン部分およびポケット部分タッチジェスチャ― 3 ―