中国地区

教育システム情報学会 2022年度学生研究発表会

手形状認識装置と電子キーボードを用いた初学者向けピアノ演奏支援システム
Piano Learning Support System for Beginners using Hand Shape Recognition
Device and Electronic Keyboard
永井 勇真 *1, 松原 行宏 *2, 岡本 勝 *2, 毛利 考佑 *2,Yuma NAGAI *1, Yukihiro MATSUBARA *2, Masaru OKAMOTO*2, Kousuke MOURI *2,*1 広島市立大学情報科学部*1Faculty of Information Sciences, Hiroshima City University*2 広島市立大学大学院情報科学研究科*2Graduate School of Information Sciences, Hiroshima City University

Email: e20129@e.hiroshima-cu.ac.jp

あらまし：本稿では，手形状認識装置と電子キーボードを用いた，手指モデルの表示と降下型の譜面情報の提示を行うピアノ演奏支援システムを提案する．提案システムでは，楽譜が読めない人や押下する鍵盤と鳴る音の対応が取れない人でも練習できるビジュアルフィードバックを実現した．評価実験では，手指モデルの表示が演奏に与える影響と提案システム本体の評価を行い，実験的に提案システムの有用性を確認した．
キーワード：手形状認識, ピアノ, 演奏支援システム, 譜面情報

1.

はじめに音楽は趣味としてポピュラーなものの一つだが，楽器の演奏は非常に習得の難しい趣味として知られる．ピアノ学習経験のない人がピアノ演奏時に直面する課題として，篠原は，楽譜が読めないということと，鍵盤のどの部分がどの音と対応しているのか瞬時に把握できないという問題を挙げた （1 ）.演奏中に楽譜が読めないという問題の解決のため，藤井ら
は Leap Motion を用いて取得した手本となる演奏データを活用して，楽譜を用いない演奏支援システムを開発した （2 ）.このシステムでは，演奏の手本として手指モデルの表示を行っているため，楽譜の存在を必要とせず，押下位置の把握も容易に行うことができるが，次に演奏すべき箇所の指示が存在しないためリアルタイムに演奏支援を行うことが難しい．
本研究では，演奏中に楽譜が読めない問題と鍵盤の押下部分と鳴る音の対応が取れない問題を解決し，楽譜が読めなくても演奏音と押下位置が把握可能になる，手形状認識装置と電子キーボードを用いて楽譜以外の譜面情報を表示できるピアノ演奏支援シス
テムを開発する．

2.

降下型のLeap Motion

譜面情報

手指モデル
電子キーボード(a)システムの外観(b)システムの様子

図 1 提案システムの様子ことができる．譜面情報には一般的な楽譜と演奏中に楽譜が読めない人でもわかりやすい降下型の譜面情報が存在し，降下型の譜面情報と楽譜を見比べながら演奏を行い，演奏に慣れる練習や，手指モデルと譜面情報を見ながら演奏を行い，どの鍵からどの演奏音が鳴るかについて，画面を視認しながら演奏するなどして学習を行うことができる．

3.

評価実験

3.1 実験目的と方法

提案システム2.1 システム概要

手指モデルの表示が演奏に与える影響と演奏支援システム本体の有効性を評価することを目的として評価実験を行った．白鍵と黒鍵の色の違いが Leap
Motion の手形状取得に悪影響を与えるため，本実験
では電子キーボードの黒鍵部分を白紙で覆い，演奏する曲は白鍵のみを用いた比較的簡易な曲として「カエルの合唱」，「ぶんぶんぶん」の 2 曲を採用した．それぞれの曲において手指モデルが存在する場合の演奏と手指モデルが存在しない場合の演奏を 1

図 1(a)に提案システム構成時の外観を示す．提案
システムはコンピュータと電子キーボードと手形状認識として Leap Motion を用い，電子キーボードの背面上部に三脚を用いて固定する．図 1(b)に提案システムの画面を示す.学習者は，コンピュータのモニタに表示される鍵盤と手指モデルと譜面情報を視認しながら演奏を行う．押下すべき鍵を押した場合には 1 点が加点され，演奏終了時の総得点を確認する

209

中国地区

教育システム情報学会 2022年度学生研究発表会

1回目

得点率[%]

100

表 1 アンケートの 5 段階評価の結果
質問内容
平均
分散

2回目

80

Q160

Q240
Q3200A

B

C
被験者

DE

図 2 「カエルの合唱」演奏時の得点率
Q4

1回目

100

2回目
Q5

得点率[%]

80

60
20A

B

C
被験者

D

降下する譜面情報はわ
かり易かったですか？
システムを利用すればピアノが弾きやすいと思いましたか？

1.80.56

4.20.56

4.00

表 2 アンケートの自由記述の結果
質問内容
回答例
楽 譜が 読め ない ので 縦にシ ステムの 良
降 って くる オブ ジェ クト
か った点を 挙の おか げで どこ を押 せばげてください．
いいかわかった．
シ ス テ ム の 悪 手 のモ デル があ る場 合とか っ た 点 を 挙 な い場 合の 差が あま りわげてください． からなかった．

アンケートの結果を表 1, 表 2 に示す．Q2 では分散が小さく，平均が 4.2 と高い．被験者群は Q1 での平均値 1.8 からわかるように，楽器の演奏中に楽譜が読めないと感じている人で構成されることから，楽譜が読めない人にとって降下型の譜面情報は演奏時に好影響を与えるものであることが確認できる．
また Q3 では被験者全員が 4 点と回答しており，演奏支援システムとしての有効性が存在する可能性は高いと思われる．Q4 ではシステムの良かった点として降下型の譜面情報に関する記述が見られた． Q5
ではシステムの悪かった点として手指モデルの表示に関する記述が見られた．手指モデルの表示形態に関しては改善する必要が見受けられる．

400

あなたは楽器の演奏中に楽譜が読めますか？

E

図 3 「ぶんぶんぶん」演奏時の得点率回ずつ行い，実験終了後に 5 段階評価と自由記述によるアンケートを実施した．ピアノ演奏経験のない大学生，大学院生を対象として，グループ 1 は手指モデルを表示した場合を先に演奏し，手指モデルを表示しない場合を後に演奏した被験者 2 名（被験者A, B），グループ 2 は手指モデルを表示しない場合を先に演奏し，手指モデルを表示した場合を後に演奏した被験者 3 名（被験者 C, D, E）とする．

4.

まとめ

手形状認識装置と電子キーボードを用いた演奏支援システムの構築，譜面情報と手指モデルの表示が演奏に与える影響を評価した．結果として手指モデルの表示が演奏に好影響を及ぼす場面がみられた．
今後の課題として，手指モデルの表示の改善と，取得した手形状情報を用いた運指判別等のピアノ演奏に必要とされる能力を向上させる機能の追加が検討される．

3.2 実験結果と考察
カエルの合唱の得点率を図 2，ぶんぶんぶんの得点率を図 3 に示す．カエルの合唱の演奏では，グループ 2 の被験者 D, E について，1 回目の演奏から 2回目の演奏にかけて得点率が大きく上昇していることがわかる．また，グループ 1 の被験者両名が 1 回目の演奏時点で得点率が高くなっており，これはどちらも手指モデルを表示した場合に演奏した最初の演奏である．このことから，手指モデルを表示した演奏は特に初めてシステムを用いて演奏した際に好影響を与えることがわかる．
一方，カエルの合唱におけるグループ 1 の被験者両名の 2 回目の演奏と，ぶんぶんぶんでの演奏はどちらも得点率が高く，手指モデルによる押下位置が把握できた状態での演奏では降下型の譜面情報に頼った演奏が行えたと推測される．

参考文献(1) 篠原友里:“初等教育教員養成課程におけるピアノ学
習支援に関する一考察 -自主制作教材の活用を通して-”, 福岡教育大学紀要．第六分冊, 教育実践研究編,
Vol.7, pp. 7-12（2022）(2) 藤井彩人, 浦野丈治, 佐藤誠, 蓑毛雄吾, 川上皓平,
堤泰生:“ピアノ練習支援のための複合現実システム”,
映像情報メディア学会年次大会講演予稿集, p. 11C-2（2016）

210