情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3A-11
2020/3/9

Sustttainer: ジェスチャ認識とマルチタッチ機能によるさする演奏システムの提案
伊藤駿汰†2 富澤信允†1 宝本暉広†2 伊藤陽香†1 中西泰人†2
概要： デジタル技術をベースにして音楽体験を拡張するシステムは様々に研究がなされ，新たなインタフェースの製作やジェスチャ認識などによって演奏体験も様々に拡張されてきた. 本研究では「さする」という動作に着目し, 立体の中のいくつかの面をさすることで演奏を行う装置である Sustttainer を提案する. Sustttainer は加速度センサを用いたジェスチャ認識と静電容量センサを用いたマルチタッチ機能により，MDF とダンボールによって製作された三角柱の平面さするという動作によって, 音量, 音高, 音色を制御できる.本論文では Sustttainer の実装について述べ, 10人のユーザスタディを通してその演奏体験について検証した結果を報告する．

1. はじめにデジタル技術の発展と共に, アナログな音響装置であった楽器は様々に拡張され, 様々な手法で演奏を楽しむことができるようになった. 例えばテルミンは電子技術を初めて取り入れた楽器であるが [1]，その後も多くの研究者や芸術家によって，新たな形状や新たな動作を行う楽器が生み出されてきた. JAZZMUTANT 社の Lemur は, マルチタッチに対応した液晶ディスプレイをコントローラとして用い，OSC で接続された様々なソフトウェアを組み合わせた演奏ができる[2]. 竹中らの UnitKeyboard は, 1 オクターブを基本単位とした鍵盤を物理的な配列し，また様々なセンサと組み合わせることで, 新たな形状の楽器をユーザが作り出すことができる[3]. また, 指や手だけでなく全身の動き

図 1

Sustttainer の演奏の様子を使って演奏するシステムも様々に提案されており，藤本らはダンサーが加速度センサが内蔵された靴を履き，踊ることによって演奏するシステムを提案した[4].
本研究では，楽器の形状とそれを用いる動作の新たな組み合わせとして, ダンボールの平面によって構成された三2. 関連研究
2.1

振動検出手法を用いたジェスチャ認識

Pedro らはマイクロフォンを用いて, 指で触れた場合と角柱をさする演奏システムである Sustttainer を提案する.

ノックした場合とを振動の波形の違いで識別している

Sustttainer は平面をさすることで発生する振動とさする手[5]. さらに, ドップラー効果を応用して, スピーカーからのの位置を異なる面で検出し，それらを演奏の入力として用超音波と反射した音をマイクで解析しジェスチャを認識すいる．なお本論文においては, 「さする」という動作を, 指る研究も行われている[6][7]. mogees は取り付けるだけでの腹や爪で物体の表面を軽く滑らせることを指すこととす

あらゆるものを楽器に変化させる製品であるが，ピエゾトる. 身の回りのほとんどの物を我々はさすることができる

ランスデューサが検出する振動を機械学習を用いて認識すが, その中でも平らな板は簡単に行うことができる. 例とることでジェスチャ認識を行なっている [8][9]. また加速

しては, ダンボール板, 木板, 鉄板など様々あるが, 触り度センサも振動検出に多く用いられており，例えば Chang

心地と音の鳴りやすさや振動の検出しやすさの点から本研らの Vidgets では, スマートフォンのケースに様々な振動究ではダンボール板に注目し, 立体の表面を構成する素材を起こすウィジェットを装着させる, その振動の違いを認としてダンボール板を採用した. また立体の形状を三角柱識することでスマートフォンの入力方法を拡張しているにすることで, さする面が複数あることから両手による操[10].

作も可能となり，また複数人での演奏も可能である.（図 1）†1 慶應義塾大学総合政策学部総合政策学科†2 慶應義塾大学環境情報学部環境情報学科© 2020 Information Processing Society of Japan844

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

3A-11
2020/3/9

2.2 さする場所の位置検出
Patrick らの SmartSleeve では, 導電性の糸と非導電性の糸をゼブラ柄に抜い合わせた布で伸縮導電布を挟むことで, 布に圧力がかかった場所だけに電気が流れる[11]. それにより, さする場所の位置検出に加え, 曲げる, 伸ばす, 掴むなどの多くのジェスチャを認識することができる. また,Marc らによる Skin-On Interfaces では, 人工皮膚を触って操作するシステムを提案した[12]. シリコンをベースに人工皮膚を作り, その内部に導電性の糸を縫い込むことで, 人の皮膚を触っているかのように操作が可能になり, さするだけでなく, つねるなどのジェスチャを認識できる. Narjes
らによる Multi-Touch Kit は導電性シートを規則的な形にカットし, そのシートを触ることで位置と圧力を検出でき
図 2

る[13]. 電気を送信する列と受信する列があり, 人間の指はSustttainer の機能導電性であるため, 触った箇所だけ電気が送信側から受信側に流れ, 位置が検出でき, 強く押すほど電気が多く流れるため, 圧力も検出できる.本研究では, 手でさするという動作と相性のよい Multi-Touch Kit のシステムを応用して, ジェスチャの位置検出を行う.
2.3 さする動作によるインターフェース
Harrison らによる Scratch Input は, 聴診器と一般的なマイクロフォンを組み合わせた装置を用いて, デーブルや洋服などでのさする動作の検出をしている[14]. さらにこの研究では, さするというジェスチャが他のジェスチャとは違
図 3

う特性を多く持っている上で，さすることで発生する音は提案システムの構成独特な高周波であるため, 検出が容易であると述べている．
平井らの Bathcratch は水場における特殊な擦り音に着目しており，ピエゾピックアップが裏面に配置された浴槽を擦ることで音楽を演奏するシステムを制作した[15].

3. Sustttainer の実装
3.1 ハードウェアの構成
図 2 に Sustttainer の面が持つ機能の構成を示す. さすれる面は 4 つあり, 異なる機能を持つ 2 組の平面が 2 セット備わっている。三角形の面①はジェスチャ認識機能を備えており, さするジェスチャに応じて音色を変えることができる. 長方形の面②はマルチタッチ機能を備えており, 指を縦方向に動かすことで音高を制御し、横方向に動かすことで音量を制御することができる. ①, ②はそれぞれ 2 つ

図 4

ジェスチャ認識に用いるダンボール板の構造ずつあるため, 複数人で演奏することが可能である.
図 3 にシステム構成図を示す. ジェスチャ認識に用いらダンボール板の裏に固定されている. さらに, 隣の面の振れるシステムは, さすることで発生する振動を検出する 3動の影響を受けないよう, センサの周りにはスポンジを貼軸加速度センサ(株式会社秋月電子通商, ＫＸＲ９４－２０り付けている（図 4）. MDF ボードを立体型に組み立 て、５０), センサからのデータを解析するシングルボードコン

マジックテープを用いて, ダンボール板を各面に貼り付けピュータ(Raspberry Pi Foundation, Raspberry Pi 4 Model B)でる. センサからのデータを有線で PC に送り, データを機械構成されており, 使用するセンサの基板がホットボンドで学習によって分類し, 4 つのジェスチャを認識する（表 1）.

© 2020 Information Processing Society of Japan845

情報処理学会 インタラクション 2020IPSJ Interaction 2020

3A-112020/3/9

表 2

解析された結果によって, サイン波, 短形波, 三角波, のこ

被験者の音楽・楽器における経験ぎり波が決定し, スピーカー（株式会社大創産業, USB ミニスピーカー)を通じて音を出力する.

男性

経験

女性

1

クラリネット1

ピアノ, ビオラ号を取得するワンボードマイコン(Arduino, Arduino

2

ギター

2ピアノ

Mega2560 Rev3)とジェスチャ認識にも用いたシングルボー

3なし

位置検出に用いるシステムは, 銅シートからの電気信経験

3

ピアノ

ドコンピュータで構成されている. Multi-Touch Kit のシ4ピアノ

ステムをダンボール板上で再現し, 組み立てられた MDF ボ

5

ピアノ, ギター

6

ピアノ, ギター

7

なし

ードに貼り付ける. 位置情報は音高, 音量の制御に利用され,指を縦方向にさすることで, 位置に応じて周波数を変化させ, 音高を制御できる. 指を横方向にさすることで, 音量を変化させる.Multi-Touch Kit を実装した面を

表 3複数のユーザがさすることも可能であるが, 現在のシステ
ムでは 1 つの面を操作するのは 1 人のユーザであることを質問想定している．
表 1

音色の切り替えを行う 4 つのジェスチャ
ジェスチャ

触らない

音色
サイン波

指の腹でゆっくりさする

短形波

指の腹で速くさする

三角波

指の爪で速くさする

のこぎり波

3.2 ソフトウェア構成
本研究におけるジェスチャ認識は, Google 社が提供する機械学習ライブラリである Tensorflow を用いた. 3 軸加速度センサをダンボール板の裏に固定させ, 板の表のダンボール部分をさすったときの値から, ジェスチャ認識を行った.機械学習は, 加速度センサの値を時系列データとして扱い, 畳み込みニューラルネットワーク（CNN）を用いて実装

アンケート項目
強くそう そう思 そう思
思う

う

わない

Q1. 演奏は簡単である

334Q2. Sustttainer の演奏方法に満163154145352Q6 楽しく演奏できた

541

Q7 音色の制御は正確であっ073262足だQ3. もっと練習して, みんなに披露してみたい
Q4. Sustttainer をきっかけに, 他の楽器を演奏したいと思った
Q5 Sustttainer を演奏することで, 楽器を演奏する感覚を学べ
た

た
Q8 音量・音高の制御は正確であった.

した. 本研究で用いた 4 つのジェスチャを表 1 に示す. ジェ
スチャ認識の結果を 1, 2, 3, 4 という数字データにし, その値をソケット通信を用いて Python から Processing に送信する. また, 同じジェスチャが連続した場合は, 送信を中断するシステムにすることで, 音が途切れないようにした.
Processing ではジェスチャ認識の結果から音色の選択を行う. Processing の Minim ライブラリを用いて, サイン波, 短形波, 三角波, のこぎり波を作り出し, 音色を 4 種類に変化させる.
さする手の位置検出は Multi-Touch Kit を応用し, 得られた 位 置 デ ー タ を Arduino か ら シ リ ア ル 通 信 に よ っ て
Processing に送信する. 音高, 音量の度合いは, 位置データを正規化することで変化させる.

4. 評価実験
Sustttainer に関する評価実験を行うにあたっては, 10 人の被験者に Sustttainer を演奏してもらい, システムの使いやすさ, 楽しさ, 機能性などを評価した. 評価項目を決定するにあたっては, Mu-Chun らによる Electric trombone の評
価実験を下にした[16]. 被験者は, 3 人の男性と 7 人の女性であり, 年齢層は 18〜20 歳である. また, 10 人中 8 人は音楽・楽器に精通している. 被験者の性別と楽器経験を表 2に示す. 被験者には Sustttainer についての短いイントロダ
クションの後, 3 分間の演奏を行ってもらい, そその後に
表 3 に示した合計 8 つの質問のアンケートに回答してもらった. 各項目に対して, 「強くそう思う」, 「そう思う」, 「そう思わない」の 3 段階評価をしてもらった.
評価実験の結果から, 10 人中 9 人が, Sustttainer の演奏が 楽しいと回答した. また, Q5 の「Sustttainer を© 2020 Information Processing Society of Japan846

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

演奏することで, 楽器を演奏する感覚を学べた」という項
目では, ほとんどの被験者が学ぶことができたと回答し,Sustttainer が楽器としての機能性を十分備えていることが分かった. さらに被験者から「楽器の音でも演奏したい」というコメントがあった. その一方で楽器経験のない
2 人の被験者は, Q1「演奏は簡単である」という項目に対して「そう思わない」と回答した.
また被験者から「見本が見れるともっと楽しい」,「高い低いがわかるようなデザインが欲しい」というコメントがあった. 今後の課題として, イントロダクションでの口頭説明に加え, どういった操作を行う楽器であるかを分かりやすく伝える動画や実演による説明や, ダンボールの表面に図 2 のような音高, 音量の制御を分かりやすくする情報デザインを施すことで, その演奏方法をより具体的に伝達する必要があるだろう.
また, 本研究で採用したさすることで演奏するシステ
ムに対して, 「同じ場所をさわっても音が変わってしまう」, 「ジェスチャで音色を変えるのが難しかった」というコメントがあり, 楽器としての精度に加え, 操作の直観性にはまだ課題がある. また 1 人で演奏する場合には, 両手で違う面をさするが, 被験者は上手に使い分けられていなかったように見えた. また「もっと練習して, みんなに披露してみたい」という項目に対して, 約半数の被験者が「そう思わない」と回答した. 楽器の多くは習熟するために練習が必要であるが, Susttainer を操作するより長期的なユーザスタディを行う必要があると考える.

5. おわりに本研究では, 新たな形状とそれを用いる動作の組み合わせの提案として, ダンボールの平面によって構成された三角柱をさする演奏システムである Susttainer を提案した. Sustttainer は, マルチタッチ機能とジェスチャ認識機能が搭載された三角柱をさすることで, 音楽を演奏できる新3A-11
2020/3/9[5] Pedro, L., Ricardo, J. and Joaquim, A.J.: Augmenting touch
interaction through acoustic sensing, Proc. of ITS2011, pp.5356 (2011).
[6] Wenjie, R., Quan, Z.S. and Lei, Yang., et al.: AudioGest: enabling
fine-grained hand gesture detection by decoding echo
signal, Proc. of the 2016 ACM International Joint Conference on
Pervasive and Ubiquitous Computing, pp.474-485 (2016).
[7] 渡邉 拓貴, 寺田 努, 塚本 昌彦：マイクの部分遮蔽を用いた超音波によるジェスチャ認識手法, 研究報告モバイルコンピューティングとパーベイシブシステム, Vol.2016-MBL-81,
No.19, pp.1-6 (2016).
[8] Mogees Ltd : Mogees, 入手先 <https://www.mogees.co.uk/> (参照 2019-12-18)[9] Zamborlin, Bruno. Studies on customisation-driven digital music
instruments. Diss. PhD Dissertation, Gold- smith University ofLondon and Universit Pierre et Marie Curie, 49 (2015).
[10] Chang, X., Karl, B., Changxi, Z., et al.: Vidgets: modular
mechanical widgets for mobile devices, ACM Transactions onGraphics, Vol.38, No.100, pp.1-12 (2019).
[11] Patrick, P., Adwaint, S., Anita, V., et al: SmartSleeve: Real-time
Sensing of Surface and Deformation Gestures on Flexible,
Interactive Textiles, using a Hybrid Gesture Detection Pipeline,
Proc. of the 30th Annual ACM Symposium on User Interface
Software and Technology, pp.565-577 (2017).
[12] Marc, T., Gilles, B., Catherine, P., et al.: Skin-On Interfaces: A BioDriven Approach for Artificial Skin Design to Cover InteractiveDevices, Proc. of the 32nd Annual ACM Symposium on UserInterface Software and Technology, pp.307-322 (2019).
[13] Narjes, P., Anusha, W., Joseph, A.P., et al: Multi-Touch Kit: A DoIt-Yourself Technique for Capacitive Multi-Touch Sensing Using aCommodity Microcontroller, Proc. of the 32nd Annual ACM
Symposium on User Interface Software and Technology, pp.10711083 (2019).
[14] Cris, H., Scott, E.H.: Scratch input: creating large, inexpensive,
unpowered and mobile finger input surfaces, Proc. of the 21stannual ACM symposium on User interface software andtechnology, pp.205-208 (2008).
[15] Shigeyuki, H., Yoshinobu, S. and Seiho H.: Bathcratch : Touch andSound-Based DJ Controller Implemented on a Bathtub, In Proc. of
9th Inter- national Conference ACE 2012, pp.44-56 (2012).
[16] Mu-Chun, S., Wen-Yi, L. and Sherry, Y.C.: Electronic trombone: aninteractive tool to promote musical learning and performancecreativity, Proc. of the 10th International Conference on Virtual
Reality Continuum and Its Applications in Industry, pp.585-588(2011).

しい楽器である. 本研究では新たな形状として三角柱を採用したが, 今後形状によって演奏のしやすさ, 楽しさなどが変わるかを比較検証していきたい.

参考文献[1] Glinsky, A.V.: The Theremin in the Emergence of Electronic
Music. PhD thesis, New York University (1992).
[2] JAZZMUTANT 「Lemur」ホームページ
http://www.jazzmutant.com/ (参照 2019-12-18)[3] 竹川佳成，寺田 努，西尾章治郎 : さまざまな演奏スタイルに適応可能な電子鍵盤楽器 UnitKeyboard の設計と実装，コン
ピュータソフト ウェア(日本ソフトウェア科学会論文誌)インタラクティブソフトウェア特集，Vol.26, No.1, pp.38-50(2009).
[4] 藤本 実, 藤田 直生, 竹川佳成ほか：ウェアラブルダンシング
演奏システムの設計と実装, 情報処理学会論文誌, Vol.50,
No.12, pp.2900-2909 (2009).

© 2020 Information Processing Society of Japan847