WISS 2022

いつでもどこでもピアノ練習が可能なグローブ型デバイスを用いた練習方法の提案
野崎 陽奈子 ∗志築 文太郎 †概要. ピアノ演奏は，老若男女問わず人気が高い．しかし，曲の習得には多大な時間および労力を必要とするため，習熟効率の低さから練習途中で挫折する演奏者が多い．また，鍵盤楽器はその大きさおよび重量から持ち運びおよび設置に労力を必要とするため，練習場所が制限される．そこで我々は，場所を問わず気軽にピアノの練習を行えるようにするために，ピアノ音，振動，光，および楽譜からなる練習方法を提案する．また，この練習方法のための，振動および光を提示するグローブ型デバイスを開発した．

振動アクチュエータ

LED回路

そこで我々は，鍵盤楽器を用いずに曲の練習を行える方法を開発し，その方法を用いた際の練習効果を調査することを目的とする．本稿では，場所を問わないピアノの練習方法として，図 1 に示すグローブ型デバイスを用いた方法を提案する．提案方法では，ピアノ音，振動，光，および楽譜の 4 つの情報を練習に用い，ピアノ演奏において重要な音，リズム，運指，指および鍵盤位置の対応の 4 つの情報のうち，音，リズムおよび運指の 3 つの情報を提示する．

図 1. 作製したグローブ型デバイス．

2
1

はじめにピアノ演奏は子どもの習い事として普及している[27] ほか，余暇にピアノを演奏することは老若男女問わず人気が高い [21]．しかし，ピアノの演奏には譜読み，指示された鍵への正確な打鍵，適切な運指，打鍵の強弱，およびテンポのコントロールなど様々な技術が要求される．これにより，曲の習得には多大な時間および労力を必要とする．このため，習熟効率の低さから練習途中で挫折してしまう演奏者が多い [26, 22]．そこで，ピアノの練習を支援する様々な方法が研究されてきた．
ピアノの練習を支援する代表的な方法として，ピアノおよび電子キーボードなどの鍵盤楽器を実際に用いた方法がある [1, 16, 17, 25, 12, 19]．しかし，鍵盤楽器はその大きさおよび重量から持ち運びおよび設置に労力を必要とするため，練習場所が制限される．したがって，場所を問わず気軽にピアノの練習を行えるようにするためには，鍵盤楽器を使わずに練習できる環境が必要となる [9, 18, 10]．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗
筑波大学情報理工学位プログラム†
筑波大学システム情報系

関連研究

場所を問わずピアノを演奏するために，バーチャルピアノが開発されてきた [14, 20, 17, 8, 15, 6, 23,24, 18, 10]．バーチャルピアノとは，鍵盤楽器を用いずに演奏可能な，ピアノを模したデバイスである．
しかし，バーチャルピアノはピアノと比較した際に打鍵の検出精度が低いという課題があるため，本格的な演奏および練習支援には向かず，演奏を楽しむためのデバイスとしての特色が強い．本研究では，場所を制限しないために，ピアノを模したデバイス
ではなく，練習用の新たなデバイスを用いる．これは，練習時に打鍵を行う必要がないため，打鍵の検出精度による影響を受けない．
また，鍵盤楽器を用いずにピアノの練習支援を行う方法として，触覚刺激を用いた受動的練習に着目した研究が行われてきた [4, 5, 7, 13, 11, 2, 3]．受
動的練習とは，練習者が練習にはほとんど注意を払わないにもかかわらず，身体に繰り返し触覚刺激または聴覚刺激が与えられることにより行う受け身な練習である．この方法は，グローブ型デバイスおよび PC のみを使用するため，場所を問わず効果的な練習が可能である．我々は，練習者が自ら考え，習得のために積極的に働きかける能動的練習に対して振動を用いる．また，受動的練習では振動はピアノ音のみと組み合わせて用いられていたが，我々はそれらに加えて光および楽譜を用いる．

WISS 2022

3

グローブ型デバイスおよび練習方法

我々は，場所を問わないピアノの練習方法として，ピアノ音，振動，光，および楽譜の 4 つの情報を用いたピアノの練習方法を提案する．本節では，これら 4 つの情報を採用した理由，練習システム，練習方法，および現状の課題を述べる．

3.1

練習に用いる情報

ピアノ音は，聴覚を通じた練習支援を可能とする．
練習者は，練習する曲の音を聴くことにより，自分が演奏する際のイメージトレーニングを行える．ピ
アノ音は音声を再生する機器があれば聴けるため，ピアノ奏者も外出時のピアノの練習として用いる情報である．我々はピアノ音により，音およびリズムを聴覚的に提示する．
振動は，触覚を通じた練習支援を可能とする．これまでの研究 [4, 5, 7, 13, 11, 2, 3] により，振動を用いた運指およびリズムの提示は，鍵盤楽器を用いないピアノの受動的練習に効果的であることが示されている．そのため我々は，鍵盤楽器を用いないピアノの能動的練習においても振動が役立つと考えた．
我々は振動により，運指およびリズムを触覚的に提示する．
光は，視覚を通じた練習支援を可能とする．これまでの手法 [1, 16, 17, 12] により，鍵盤上の光による鍵盤位置，運指，およびリズムの視覚的な提示はピアノの練習に効果的であることが示されている．
我々は鍵盤ではなく指先を光らせることにより，運指およびリズムを視覚的に提示する．
楽譜は光と同様に，視覚を通じた練習支援を可能とする．我々は楽譜により，曲全体の情報（音，リズム，および運指）を視覚的に提示する.

3.2 練習システム
Huang ら [4, 5] の実験にて用いられた触覚提示
グローブをもとに作製した練習用グローブ型デバイ
スを図 1 に示す．デバイスは，振動および光を提示する．デバイスは，ゴルフグローブ，マイクロコントローラ（Arduino Nano）を含む回路，5 つの振動アクチュエータ，および 5 つの LED から構成される．振動アクチュエータおよび LED は，PC とUSB 接続されたマイコンにより制御される．なお，
Huang ら [4, 5] が用いた触覚刺激提示グローブと同様に，ユーザがグローブ型デバイスを装着した状態においても指先の感覚を保つため，および指先を動かしやすくするために指先部分の空いたゴルフグローブを使用した．それぞれの振動アクチュエータ
はグローブ型デバイスの各指の第 1 関節および第 2関節の間に，LED はグローブ型デバイスの各指の第2 関節に取り付けられている．手が動かしにくくなることを防ぐため，回路はリストバンド型のケースに収納し，腕に装着した．触覚刺激をユーザの指に提示するための振動アクチュエータとして，5 V で駆動する偏心モータ（T.P.C，FM34F）を用いた．また，視覚刺激を提示するための LED として，黄色のOSY5RU5A31E-NO（OptoSupply）を使用した．
ピアノ音は音声を再生可能な機器により提示される．楽譜は紙媒体または情報端末から提示される．現状のシステムでは，ピアノ音の提示には PC（MacBook Pro (13-inch, M1, 2020)）を用いており，楽譜の提示には紙を用いている．

3.3

練習方法

練習者は，演奏に用いる手にグローブ型デバイスを装着し，楽譜を手元に置く．また，練習したい曲のピアノ音が繰り返し再生される．グローブ型デバ
イスに装着された振動アクチュエータおよび LEDは，ピアノ音に応じて振動および光を提示する．このように練習者に対し，ピアノ音，振動，光，および楽譜の 4 つの情報の組み合わせにより，練習したい曲の音，リズム，および運指が同時に繰り返し提示される．練習者は，これらの情報をもとに指および手などの身体の一部を自由に動かし，能動的に練習を行う．

3.4

現状の課題および今後の展望

現状の課題として，今回作製したデバイスは，練習者に対し音，運指およびリズムを提示できるが，指および鍵盤位置の対応に関する情報を提示できていない．このため，指および鍵盤が一対一対応でない，手の横移動を伴う曲に対し補助が不十分である．この課題を解決するために，新たな振動アクチュエー
タまたは別の色の LED をデバイスに装着することなどにより，指および鍵盤位置の対応に関する情報を提示することを考えている．
また，今後の展望として，楽譜を紙ではなくスマートフォンにより提示すること，グローブ型デバイス
および PC 間の有線による USB 接続をグローブ型デバイスおよびスマートフォン間の Bluetooth による無線接続に変更すること，ならびにピアノ音，振動，および光の制御を PC ではなくスマートフォンにより行うことなどによりシステムを小型化する予定である．

4まとめ

本研究では，場所を問わず気軽にピアノの練習を行えるようにするために，ピアノ音，振動，光，および楽譜からなる練習方法を提案した．また，振動および光を提示するためのグローブ型デバイスを開発した．今後は，手の横移動の練習も行えるよう，デバイスを改良する．さらに，本方法を用いて曲を練習してもらい，デバイスを用いない練習方法と比較して本方法にどの程度効果があるか調査する．

いつでもどこでもピアノ練習が可能なグローブ型デバイスを用いた練習方法の提案

参考文献[1] CASIO.
光 ナ ビ ゲ ー ション キ ー ボ ード.
https://www.casio.com/jp/
electronic-musical-instruments/product.
LK-320 （最終閲覧日：2022 年 11 月 22 日）.
[2] R. Donchev, E. Pescara, and M. Beigl. Investigating Retention in Passive Haptic Learning ofPiano Songs. Proc. ACM Interact. Mob. Wearable Ubiquitous Technol., 5(2):60:1–60:14, June
2021.
[3] T. Gemicioglu, N. Teuscher, B. Dwivedi,S. Park, E. Miller, C. Mason, C. Seim, andT. Starner. Passive Haptic Rehearsal for Accelerated Piano Skill Acquisition. arXiv e-prints,
pp. arXiv–2203.12749, Mar. 2022.
[4] K. Huang, E. Y.-L. Do, and T. Starner. PianoTouch: a Wearable Haptic Piano Instruction System for Passive Learning of Piano Skills.
In Proceedings of International Symposium on
Wearable Computers, ISWC ’08, pp. 41–44,2008.
[5] K. Huang, T. Starner, E. Do, G. Weinberg,D. Kohlsdorf, C. Ahlrichs, and R. Leibrandt.
Mobile Music Touch: Mobile Tactile Stimulation for Passive Learning. In Proceedings ofthe SIGCHI Conference on Human Factors in
Computing Systems, CHI ’10, pp. 791–800, New
York, NY, USA, 2010. Association for Computing Machinery.
[6] I. Hwang, H. Son, and J. R. Kim. AirPiano:Enhancing Music Playing Experience in Virtual
Reality with Mid-Air Haptic Feedback. In Proceedings of 2017 IEEE World Haptics Conference, WHC ’17, pp. 213–218, 2017.
[7] D. Kohlsdorf and T. Starner. Mobile Music
Touch: The eﬀect of primary tasks on passively
learning piano sequences. In International Symposium on Wearable Computers 2010, ISWC
’10, pp. 1–8, 2010.
[8] H. Liang, J. Wang, Q. Sun, Y.-J. Liu, J. Yuan,
J. Luo, and Y. He. Barehanded Music: RealTime Hand Interaction for Virtual Piano. In
Proceedings of the 20th ACM SIGGRAPH Symposium on Interactive 3D Graphics and Games,
I3D ’16, pp. 87–94, New York, NY, USA, 2016.
Association for Computing Machinery.
[9] C. Matsusue, K. Funahashi, and S. Mizuno.
Touch-Typable VR Piano That Corrects Positional Deviation of Fingering Based on MusicTheory. In ACM SIGGRAPH 2017 Posters,
SIGGRAPH ’17, pp. 33:1–33:2. Association forComputing Machinery, 2017.
[10] H. Nozaki, K. Minawa, R. Takakura, andB. Shizuki. Investigating Reaction Accuracy ofExtended Touchscreen with Conductive Ink for
Mobile Virtual Piano. In Asian CHI Symposium
2021, Asian CHI Symposium 2021, pp. 111–113.
Association for Computing Machinery, 2021.
[11] F. Pala and P. Türker. Developing a Haptic
Glove for Basic Piano Education. World Journal on Educational Technology: Current Issues,
11:38–47, Feb. 2019.

[12] K. Rogers, A. Röhlig, M. Weing, J. Gugenheimer, B. Könings, M. Klepsch, F. Schaub,E. Rukzio, T. Seufert, and M. Weber.
P.I.A.N.O.: Faster Piano Learning with Interactive Projection. In Proceedings of the NinthACM International Conference on Interactive
Tabletops and Surfaces, ITS ’14, pp. 149–158,
New York, NY, USA, 2014. Association for
Computing Machinery.
[13] C. Seim, T. Estes, and T. Starner. Towards
Passive Haptic Learning of Piano Songs. In 2015
IEEE World Haptics Conference, WHC ’15, pp.
445–450, 2015.
[14] SONY.
Xperia Touch G1109.
https://www.sonymobile.co.jp/product/smartproducts/g1109/（最終閲覧日：2022 年
11 月 22 日）.
[15] E. Togootogtokh, T. K. Shih, W. G. Kumara,S.-J. Wu, S.-W. Sun, and H.-H. Chang. 3D Finger Tracking and Recognition Image Processing for Real-Time Music Playing with DepthSensors. Multimedia Tools and Applications,77(8):9233–9248, Apr. 2018.
[16] YAMAHA.
ヤ マ ハ 電 子 キ ー ボ ー ド「EZ300」.
https://www.yamaha.com/ja/news_release/2020/20111601/（最終閲覧日：2022 年
11 月 22 日）.
[17] 竹川 佳成, 寺田 努, 塚本 昌彦. 運指認識技術を活用したピアノ演奏学習支援システムの構築. 情報処理学会論文誌, 52(2):917–927, 2011.
[18] 金杉 季実果, 宮下 芳明. マルチタッチジェスチャによって変形可能な鍵盤インタフェースの試作.
第 26 回インタラクティブシステムとソフトウェ
アに関するワークショップ (WISS 2018) 予稿集,2018. 2 pages.
[19] 山田和毅, 山本邦雄, 乃万司. 音階と鍵盤の視覚的対応付けによるピアノ学習支援システム. エン
タテインメントコンピューティングシンポジウム
2015 論文集, 2015:378–385, 2015.
[20] 村上裕美, 中島克人. 深度センサを用いたバーチャ
ル楽器演奏システム. 第 79 回全国大会講演論文集, 2017(1):983–984, 2017.
[21] 大和田茂. ピアノ演奏・学習支援ソフト. IPA 未踏ソフトウェア報告会, 2003.
[22] 竹川佳成, 福家悠人, 柳英克. モチベーションを考慮したピアノ学習支援システム. 情報処理学会
論文誌, 57(4):1193–1206, 2016.
[23] 丁慶松, 笠原信一, 安藤大地. AR による 「紙のピアノ」 の提案. 情報処理学会シンポジウム論文集, 2011(3):633–636, 2011.
[24] 田中純之介, 勝間亮. カメラを用いたバーチャル楽器におけるフレームレートによる演奏制限の解決法. 2018 年度 情報処理学会関西支部 支部大会
講演論文集, 2018:ROMBUNNO.G–30, 2018.
[25] 樋川直人, 大島千佳, 西本一志, 苗村昌秀. The
Phantom of the Piano : 自学自習を妨げないピアノ学習支援システムの提案. 情報処理学会シンポジウムシリーズ, 2006(4):69–70, 2006.

WISS 2022

[26] 福家悠人, 竹川佳成, 柳英克. モチベーションを考慮したピアノ学習支援システムの設計と実装.
インタラクション 2015, pp. 118–127. 情報処理学会, 2015.
[27] 文部科学省. 子どもの学校外での学習活動に関する実態調査報告. https://www.mext.go.jp/b_menu/houdou/20/08/08080710/001.pdf（最終閲覧日：2022 年 11 月 22 日）.