情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2A-10
2020/3/9

ピアノの強弱提示支援システムの検討井上弦†1

五十嵐悠紀†1

概要：ピアノを演奏する上で，どの指でも思い通りの強さで弾けるようになることは，表現の幅を広げることができ，重要である。ピアノを演奏する人の多くが、基礎練習曲を通して，指が独立して動くように練習する．しかし，それぞれの指の強弱を意識するのは難しく，自分自身で弾いている最中に耳から入る音だけでは強弱の差に気が付きにくい．本稿では， MIDI 出力を利用して強弱を可視化するシステムを提案する．本システムは，リアルタイムでユーザに強弱のフィードバックを与えるシステムと，ユーザの演奏から譜面を再生成し，演奏後に強弱のフィードバックを与えるシステムで構成される．譜面の再生成では，「ハノン」のような基礎練習に適していて，一つ一つの音の強弱の差を可視化する「ハノンモード」と，J-POP などの曲の練習に適していて，「メロディーライン」や強弱記号を意識して練習することができる「ポップスモード」を用意した．ユーザスタディの結果，耳で聴くだけではわからない強弱の差まで反省することができる，といった期待通りの意見があった一方で，フィードバックからどう改善するべきかわかりづらい，といった問題点が示唆された．

スンをするための独習ソフトウェアである．楽譜が苦手な

1. はじめに初心者であっても音楽ゲームのような支援システムになっピアノ演奏の上達のための日々の練習は，「ハノン」等にており，リズムのタイミングと鍵盤がわかるように可視化よる基礎練習と「ブルグミュラー」「ソナチネ」のような課されており，曲を弾けるように支援していくものである．

題曲の練習，の 2 種類が挙げられる．前者はどの指でも思

上田らは，音高情報と打鍵強度を示すキーボードの MIDI

い通りの強さで弾くために必要な練習であり，基礎練習曲出力をシステムの入力として，譜面上に合計打鍵回数，打を通して，親指であっても小指であっても思い通りの強さ

鍵ミス回数，演奏の滞留度といった情報を，ヒートマップで弾けるように練習をする必要がある．しかし，強弱を意や折れ線グラフを活用して表示している．このシステムで識するのは難しく，自分自身で弾いている最中に耳から入はユーザがキーボードで入力して，譜面上に文章をアノテる音だけでは気が付きにくいのが現状である．また，指導ーションすることもできる[2]．島田らは，MIDI 出力をシ者がいない練習環境において，自分で気が付くことが困難

ステムの入力として，入力と譜面間の音高とテンポの差を，な癖も存在する．また，後者は「メロディーライン」を意

音符に色を塗ることや，譜面上に表示することで，フィー識して弾く必要があり，そのメロディーが際立って聞こえドバックを与えるシステムを制作した[3]．これらのシステるかどうかが音楽を美しく奏でるコツでもある．また J-ムは，譜面上に演奏情報を表示することで，ユーザにフィPOP などの音楽をピアノで独奏する場合にも，「メロディードバックを与えている．この方法であると，一つ一つのーライン」を意識した練習が必要になる．

音の情報の詳細まで確認することができない．例えば，和

本稿では， MIDI 出力を利用して強弱を可視化するシス音を弾いた際に，一番上の音だけ弱いといったものがこれテムを提案する．本システムでは， MIDI 出力から得られにあたる．また，それぞれのシステムで演奏情報の提示がる演奏情報を活用し，リアルタイムでの強弱の提示と強弱違い，直感的にわかりにくく，リアルタイムでのフィードに基づいた譜面の再生成を行う．リアルタイムでの強弱のバックには向かない．

提示では，可視化された結果を確認しながら演奏すること

基礎技術習得用に目を向けると，ピアノ独習者に適切なで，一つ一つの音の強弱を聴覚に加えて，視覚でも意識しハノン風課題曲の生成するシステムも提案されている[4]．

ながら練習を進めることができる．また，強弱に基づいた

しかしこのシステムでは，演奏に対する，各指の強弱のフ譜面の再生成を行うシステムでは，譜面の一つ一つの音符ィードバックがない．

を強弱に応じて色を変えることで，強弱の癖を提示することを目指す．

思いがけないミスにより演奏が中断してしまうことを防ぐために非常事態を意図的に作り出して演奏ミス時の対処訓練を可能とするシステム「Apollon13」[5]も提案されている．このシステムを使用することで被験者は演奏ミスに対

2. 関連研究
MIDI 出力を利用したピアノの練習支援システムは，多数存在する．
『簡単！ピアノマスター』[1]は,MIDI 鍵盤楽して動揺しなくなる傾向がみられており，演奏会などに向けての演奏技術向上に役立っている．

器とパソコンを接続して家庭において独学でピアノのレッ†1 明治大学

総合数理学部

先端メディアサイエンス学科© 2020 Information Processing Society of Japan542

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2A-10
2020/3/9

図１：システムの流れ
本稿では，MIDI 出力から得られる演奏情報を，譜面に付PC を USB 接続する．

与するのではなく，譜面自体を再生成する．譜面というユーザに共通認識されている提示方法を使用することで，ユ3.3 リアルタイム提示機能ーザの演奏情報を欠落せずに直感的なフィードバックがで

図３に本システムの実行画面を示す．MIDI キーボード

きると考える．さらに，強弱をリアルタイムで提示するこの前方に設置した AR マーカーにより，88 個のボックスがとで，各音の強弱を意識しながら練習を進めることができAR 表示される．鍵盤の数が 88 鍵であり，これらのボックる．

スは，それぞれ鍵盤一つ一つに対応している．鍵盤が弾かれると，対応したボックスが縦に伸びる．この時，鍵盤を3. システム

押した強さに応じて伸びる距離が変わる．強く押すほど大きく伸びる．これによりユーザは強弱のフィードバックを本システムは Unity を用いて実装した．バージョンは視覚的に得ることができる．このシステムは，ハノンのよ2018.4.12f1 を使用した．AR 表示には NyARToolkit，MIDIうな指の運動に適していると考える．全ての指が同じ強さ

入出力は MidiJack を使用した．

を弾くことが理想であるので，ボックスの高さを揃えるように弾くことで，耳ではわかりづらい強弱の差まで視覚的

3.1 システムの流れ
図１に提案システムの流れを示す．まず，ユーザは曲のテンポと譜面の再生成機能を使用するか否かを入力する．にわかり，意識することができる．画面上部には 3.4 節で述べる譜面の再生成機能の一部が表示されており，こちらでも視覚的なフィードバックを得ることができる．

譜面の再生成機能を使用する場合は，「ポップスモード」「ハノンモード」のどちらかも合わせて設定する．譜面の再生

3.4 譜面の再生成機能

成機能は，ミスによる演奏の中断をしないという前提で使MIDI キーボードから出力される演奏情報から，譜面を用するため，曲の練習を始めたばかりの段階での使用は適再生成する．例えば，「ド」の音をユーザが弾くと，五線譜しておらず，ミスによる演奏の中断をしなくなり，強弱の上の「ド」の高さに音符が表示される．この時，ユーザが細かい差を意識する段階での使用が適している．

弾いた「ド」の強さにより，表示される音符の色が変わる．

次に，3.3 節で述べるリアルタイム提示機能により，リア音符の色の変化は，3.4.1 で述べる「ポップスモード」と 3.4.2

ルタイムで可視化される音の強弱を確認しながら演奏を進で述べる「ハノンモード」の 2 つのモードを用意した．そめる．演奏終了後は，3.4 節で述べる譜面の再生成機能によれぞれの色の変化を図４に示す．

り，ユーザの演奏情報から再生成された譜面を確認し，ユーザは自身の強弱の癖を確認する．

3.4.1 ポップスモード
図４に示すように，ポップスモードでは強弱に応じて，音3.2 システム全体の配置
図２に提案システムの配置を示す．本システムでは，符の色が段階的に変化する．
フォルテッシモ（「非常に強く」の強弱記号）に近づくほど赤く，ピアニッシモ（「非常MIDI キーボード，Web カメラ搭載の PC，AR マーカーをに弱く」の強弱記号）に近づくほど青くなる．ポップスモ使用する．AR マーカーは，MIDI キーボードの前面に設置ードにおいて，段階的に音符の色を変化させるようにしたする．PC は AR マーカーを撮影できるように，MIDI キー

理由は二つある．

ボードの前方１m の位置に設置する．MIDI キーボードと© 2020 Information Processing Society of Japan543

情報処理学会 インタラクション 2020IPSJ Interaction 2020

2A-10
2020/3/9

図４：「ポップスモード」と「ハノンモード」の音符の色表示の様子
図２：システムの配置
い強弱の差まで見ることができるとよいからである．このシステムを使用することで，薬指で弾いた音だけ弱い，後半になるにつれて音が弱くなっていく，といった癖を認識することが期待できる．

4. ユーザスタディ
ピアノ経験者二人に本システムを説明した後，自由に触ってもらい，意見をもらった．
「録音を聴くだけでは気がつくことができない強弱を反省することができる」，「一人でこのシステムを使用し，再生成した譜面を指導者に見せることで，独習に対するアド
図３：システムの実行画面バイスをもらえる可能性があるのが良い」といった肯定的な意見があった．その一方で，「基準となる強さがわかった一つは，聞き分けることのできない強弱の差まで意識するとしても，何が正解なのかわかりづらい」，「演奏後に再生必要がないからである．二つ目は，楽譜の指示通りの強さ成した譜面の強弱を見ても，その弾いた強さを覚えていなで弾くことができているかわかりやすいからである．例えいので，ハノンの練習には，リアルタイムでのフィードバば，楽譜上ではフォルテ（「強く」の強弱記号）で弾くようックがあった方がよい」といった意見もあった．に指示されている箇所が，再生成された譜面上では，メゾフォルテ（「少し強く」の強弱記号）になっている，ということが，視覚的にわかるようになっている．同じ強さである符号の中でも段階が分かれているのは，同じ強さで弾く指示であったとしても，「メロディーライン」や「拍の頭」のような，他の音に比べ，やや強く弾くべき場合があるからである．このシステムを使用することで，「メロディーライン」の音が弱い，ピアノ（「弱く」の強弱記号）の指示にも関わらず，メゾピアノ（「少し弱く」の強弱記号）の強さで弾いている，といった癖を認識することが期待できる。
3.4.2 ハノンモード
ハノンモードでは，始めにユーザは 5 秒間好きな強さで弾き，その強さの平均を取り，強弱の基準とする．基準よりも強くなるほど音符の色は赤くなり，弱くなるほど青くなる．強弱に応じた色の変化は，段階的ではなく，滑らかに変化する．この理由は，「ハノン」のような基礎練習は，指の運動練習が目的であるため，「ポップス」と違い，細か© 2020 Information Processing Society of Japan

5. まとめと今後の課題
本稿では MIDI 出力を利用して可視化するシステムを提案した．提案システムにより，聴覚だけでなく視覚も使った支援を行い，従来の曲を弾くための支援ではなく，曲の完成度を向上させるための技術力向上という視点から支援することを目指した．
現状ではシステムが提示した譜面を見て自分で比較をしているが，今後はシステムが比較を行い情報提示したり，より効果的な練習曲を推薦したりするような支援システムへと発展していきたい．また，現段階では被験者数が少ないためより多くの被験者で実験を行うことで本システムの有効性を確かめていきたい．現在はポップスモードとハノンモードの二つのモードの可視化を行っているが，より多くのユーザ実験を行うことで可視化のための閾値や色，提示方法などの検討につなげる．と今後は運指も提示することで効果を上げるほか，音の長さや休符の可視化について

544

情報処理学会 インタラクション 2020
IPSJ Interaction 2020

2A-10
2020/3/9も行い，視覚と聴覚をあわせたマルチモーダルならではの支援システムを検討していく．
謝辞

ユーザスタディに協力してくださった皆様に，謹んで感謝の意を表する．

参考文献
上田健太郎，竹川佳成，平田圭二．ピアノ練習状況の可視化
および気づきのアノテーション機能をもつ学習支援システムの評価，情報処理学会，Vol.2015-MUS-108 No.9
[2] 島田彩女，松村ひかる，森尻有貴，北原鉄朗．ピアノ練習支援のための楽譜表示システムの試作．情報処理学会第 79 回全国大会，2017[3] 吉田勝彦，向井將博，江村伯夫，三浦雅展，柳田益造．ピア
ノ独習者にとって適切なハノン風課題曲の生成．音楽音響研究会資料，27(6)，51-56，2008.
[4] 河合楽器製作所：ピアノマスター，
https://cm.kawai.jp/products/pm/ (参照 2019/12/19)[5] 横山裕基，西本一志．選択的音高差し替えによるピアノ通し演
奏の中断防止訓練システム．情報処理学会研究報告：ヒューマンコンピュータインタラクション，2010-HCI-137(9): 1-8.
[1]

© 2020 Information Processing Society of Japan545