A2-1

手形状認識装置を用いた初学者向けピアノ演奏支援システム
Piano Learning Support System for Beginners
using Hand Shape Recognition Device
永井 勇真*1, 松原 行宏*1, 岡本 勝*1, 毛利 考佑*1,Yuma NAGAI*1, Yukihiro MATSUBARA*1, Masaru OKAMOTO*1, Kousuke MOURI*1,*1 広島市立大学大学院情報科学研究科*1Graduate School of Information Sciences, Hiroshima City University

Email: mi67011@e.hiroshima-cu.ac.jp
あらまし：本稿では，手形状認識装置として Leap Motion を用いた，手指モデルの表示と降下型の譜面情報の提示を行うピアノ演奏支援システムを提案する．提案システムでは，楽譜が読めない人や押下する鍵盤と鳴る音の対応が取れない人でも練習できるビジュアルフィードバックを実現した．評価実験では，手指モデルの表示が演奏に与える影響と提案システム本体の評価を行い，実験的に提案システムの有用性を確認した．
キーワード：手形状認識, ピアノ, 演奏支援システム, 譜面情報

1.

はじめに楽器の演奏はポピュラーな趣味の一つだが，同時に非常に習得の難しい趣味としても知られる．特に，ピアノ学習経験のない人がピアノ演奏時に直面する課題として，篠原は，楽譜が読めないということと，鍵盤のどの部分がどの音と対応しているのか瞬時に把握できないという問題を挙げた（1）.Leap Motion による手形状認識を活用したピアノ演奏支援システムとして，日本テレビ社開発の「テオミルン」が存在する．これは，プロのピアニストの手指動作を記録し，MR 形式で表示するというシステムだが，手形状認識の利用は手本となる演奏に限り，システム利用者の手指動作の表示・評価等は行われていない．
本研究では，演奏中に楽譜が読めない問題と鍵盤の押下部分と鳴る音の対応が取れない問題を解決し，楽譜が読めなくても演奏音と押下位置，演奏タイミングが把握可能になる，手形状認識装置と MIDI 出力機能に対応したキーボードを用いた，演奏中の手指動作と降下型の譜面情報を表示するピアノ演奏支援システムを開発する．

2.

提案システム2.1 システム概要
図 1(a)に提案システム構成時の外観を示す．提案システムはコンピュータと MIDI 出力機能に対応したキーボード，手形状認識として Leap Motion を用い，キーボードの背面上部に三脚を用いて固定する．
システムは 3D ゲームの開発環境である Unity を使用して開発した．図 1(b)に提案システムの画面を示す.
演奏者は，鍵盤と手指モデルと降下型の譜面情報を視認しながら演奏を行う．演奏時には押下する鍵が赤色に変化し，同タイミングで実際に鍵を押下することで得点が加算される．演奏終了時に総得点を確認することで自身の演奏結果を確認できる．

降下型のLeap Motion

譜面情報

手指モデル(a)システムの外観(b)システムの様子

図 1 提案システムの様子
2.2 降下型の譜面情報
譜面情報として，一般的な楽譜の他に降下型の譜面情報が存在する．演奏する曲について，押下するべき鍵に対応した場所とタイミングに画面上部から鍵盤オブジェクト部分に降下してくるものであり，楽譜が読めない演奏者でも押下場所と押下タイミングを直感的に理解して演奏を行うことが可能となる．
UI 部に搭載した速度変更機能を使用することで降下スピードを変更することが可能であり，演奏者の感覚に合わせたスピード表示が可能である．降下型の譜面情報と楽譜を同時に確認しながら演奏することで，楽譜と押下箇所の対応を把握しながら演奏を行うことも可能である．
2.3 手指モデル
降下型の譜面情報を視認する演奏では楽譜に対応した押下箇所の理解ができる一方，実際の鍵盤で押下する箇所は直接視認する必要があり，システム画面と鍵盤を同時に確認しながら演奏することは困難である．システム画面上に Leap Motion によって取得した手指座標を基にした手指モデルを表示するこ― 81 ―

教育システム情報学会 JSiSE2023
第48回全国大会 2023/8/29-8/31とで，演奏者はシステムの画面を視認するだけで手の位置を把握することが可能になり，押下箇所を理解しやすくなる．

得点率[％]

2.4 システムの使用例
演奏者は最初に降下型の譜面情報を表示した状態で演奏を行い，任意の楽曲の演奏を行う．この状態での演奏が十分行えるようになった段階で，降下型の譜面情報を非表示にして演奏を行う．演奏が困難だと感じた場合は，降下型の譜面情報を表示した状
態で，楽譜の存在を意識しながら再度演奏を行う．
これを繰り返して，楽譜のみで演奏が行えるようになるまで練習をする．このように学習を行うことで，楽譜が読めない人でも演奏を行うことを可能とし，楽譜を読みながら演奏を行うことにも繋がる．演奏時に表示する手指モデルを視認しながら演奏を行うことで，演奏中の運指や手の動きを確認することも可能である．

3.

表示あり

100806040200A

図 2 にシステムを用いて「カエルの合唱」を演奏した得点率，図 3 にシステムを用いて「ぶんぶんぶん」を演奏した得点率，表 1 に「カエルの合唱」の得点率の平均と標準偏差，表 2 に「ぶんぶんぶん」の得点率の平均と標準偏差を示す．得点率の推移は当然ながら，1 回目の演奏から 2 回目の演奏にかけて上昇するという傾向はあったが，「カエルの合唱」における 1 回目の演奏に着目すると，手指モデル表示にない状態で演奏したグループ 2 の平均得点率が77.6%であるのに対し，手指モデル表示がある状態で演奏したグループ 1 の平均得点率は 86.4%であり，特に初めて演奏する際に手指モデル表示が有効である可能性が見受けられる．全ての演奏において得点率が 100％であった被験者 J はアンケートの結果からピアノ演奏の経験があることが確認できた．本実
験で使用した比較的簡易な楽曲の範囲では，システ
ムを利用した演奏の効果はピアノが演奏できない人に限定されると思われる．

CD

EF

表示あり

得点率[％]

100GHI

J

I

J

表示なし

8060

40
200

A

3.2 実験結果と考察

B

被験者
図 2 「カエルの合唱」の得点率

評価実験

3.1 実験目的と方法
手指モデルの表示が演奏に与える影響と演奏支援システム本体の有効性を評価することを目的として，評価実験を行った．キーボードの白鍵と黒鍵の色の違いが Leap Motion の手形状取得に悪影響を与えるため，本実験ではキーボードの黒鍵部分を白紙で覆い，演奏する曲は比較的簡易な曲として「カエルの合唱」，「ぶんぶんぶん」の 2 曲を用いた．それぞれの曲において手指モデルが存在する場合の演奏と手指モデルが存在しない場合の演奏を 1 回ずつ行い，実験終了後に 5 段階評価と自由記述によるアンケートを実施した．被験者として大学生，大学院生を対象とし，グループ 1 は手指モデル表示のある場合を先に演奏した 5 名(A, B, C, D, E)，グループ 2 は手指モデル表示のない場合を先に演奏した 5 名(F, G, H, I,J )とした．

表示なし

BCD

EFGH

被験者
図 3 「ぶんぶんぶん」の得点率
表1「カエルの合唱」の得点率の平均と標準偏差
AVG
SD
手指モデルあり86.410.6
グループ 1
手指モデルなし
93.6
10.9
手指モデルあり
92.0
10.4
グループ 2
手指モデルなし
77.6
22.4

表2「ぶんぶんぶん」の得点率の平均と標準偏差
AVG
SD
手指モデルあり
78.6
10.9
グループ 1
手指モデルなし
83.1
15.9
手指モデルあり
90.6
11.5
グループ 2
手指モデルなし
89.4
9.2

4.

まとめ

手形状認識装置を用いた演奏支援システムの構築，譜面情報と手指モデルの表示が演奏に与える影響を評価した．結果として，演奏支援システムとして一定の評価を得ることができ，手形状認識の活用の可能性が確認できた．
今後の課題として，手指モデルや鍵盤オブジェクトの表示形態の改善と，手指モデル表示のみに使用した手形状データを運指，演奏技術の判定等に使用することが挙げられる．
参考文献(1) 篠原友里:“初等教育教員養成課程におけるピアノ学習支援に関する一考察 -自主制作教材の活用を通して-”, 福岡教育大学紀要．第六分冊, 教育実践研究編,Vol.7, pp. 7-12（2022）(2) Mogulive : HoloLens でお手本を見ながらピアノレッ
スン『Teomirn』, https://www.moguravr.com/teomirn/ (参照 2023.05.22)― 82 ―