ピアノ通し演奏における演奏ミスによる中断を防ぐための練習支援システム
横山裕基†

西本一志†

A piano practice support system for preventing performance cessation
caused by performance errors
YUKI YOKOYAMA†

1. はじめにKAZUSHI NISHIMOTO†

練はそもそも行われてこなかった．また，従来のピアノ練習支援システムは，すべて通常事態の訓練を支援

ピアノを習っていると，自身の演奏を他者に披露すするものであった．本提案システムによって，トラブる機会がある．演奏会・発表会では，ミスせずに弾くル（演奏ミス）が発生しても，最悪の事態（演奏の停ことが理想である．そのためには，日々の練習が重要止・淀み）を回避するための訓練を行えるようになる．となる．ピアノの練習には，ハノン等による基礎練習と課題曲練習があり，課題曲練習では，読譜，部分練2. 提案手法

習，通し練習等の段階を踏む．現在までに，様々なピ提案手法では，システムが音高を差し替えて強制的アノ練習支援システムが開発されてきた．その多くはに「演奏誤り」を発生させることで，演奏における非独習者を対象とし，楽譜通りに曲を弾けるようになる常事態をシミュレートする．奏者は，誤った音が出力段階までを扱っている．基礎練習の支援として，向井されても演奏を継続する練習を重ねることで，演奏本

らは，練習者が弱点を克服するための適切なハノン風番における，演奏の淀みや停止を回避する術を身につの課題フレーズを生成する研究を行っている[1]．曲ける機会が得られる．の習得支援として，Dannenberg は，奏者の演奏を監音高を差し替えることで，奏者の演奏が乱れること視し，タイミングや音高の誤りを音声と楽譜へ描画では，高橋らの研究によって確かめられている[3]．こ指示する「The Piano Tutor」を構築している[2]．の研究では，鍵盤と出力音のマッピングを，演奏中にしかしながら，練習を重ねて演奏できるようになっ予告無く正常な状態から，各鍵に対して本来の音とはたとしても，演奏会本番で思いがけないミスをしてし異なる別の音が割り当てられているシフト状態に変更まい，動揺して演奏が淀んだり止まったりすることがし，ある一定時間シフト状態を維持する．実験の結果，ある．これは，一種の非常事態である．宇宙飛行士やシフト状態に変更した際，奏者の演奏の乱れが確認さ

航空機パイロットは，ロケットや航空機の操縦法のよれたことから，音高の差し替えがピアノ演奏におけるうな「通常事態」の訓練もするが，それよりはるかに非常事態を作りだすのに有効であることが示唆されて多くの時間と労力を「非常事態」への対処訓練にあている．

る．シミュレータによって再現された非常事態に対処

しかし，高橋らの実験でのシフト状態は，実際のピする経験を積むことで，トラブルが発生しても最悪のアノ演奏では絶対に起こり得ない状態であるため，演事態を切り抜けられるようになると考えられている．

奏時における非常事態のシミュレーションとしてはふ

本稿では，ピアノ練習にこの考え方を導入し，ピアさわしくない．そこで我々は，音高の差し替えパターノ演奏における非常事態訓練を実施可能とするシステンを現実に発生し得るものにするとともに，奏者の練ムを提案する．通常のピアノ演奏練習では，非常事態習過程における演奏データの分析結果に基づき音高のをシミュレートすることができないため，非常事態訓差し替えタイミングを決定することで，実際的な演奏誤り状態をシミュレートできる，ピアノ演奏における† 北陸先端科学技術大学院大学
Japan Advanced Institute of Science and Technology

非常事態訓練機能を実現する．

情報処理学会 インタラクション 2010

3. 提案システムの概要

4.1

本システムは MIDI 鍵盤，MIDI 音源，PC で構成される．動作モードとして，表 1 に示す練習監視モードとリハーサルモードを有する．練習監視モードは，ユーザが譜読みと部分練習が完了しており，一通り演奏ができる状態にあることを想定している．ユーザは本モードにて，通し練習を繰り返す．その間システムは，ユーザの演奏をスコアトラッキングにより監視する．
練習監視モードからリハーサルモードに移行する際，システムは，練習監視モードで得られた演奏データから，演奏評価により，音高差し替えポイントを決定する．リハーサルモードでは，ユーザは，本番の演奏を意識して，何が起こっても演奏を中断しないように弾く．その間，システムは，スコアトラッキングにより演奏を監視し，音高差し替えポイントに差し掛かると音高を差し替える．

スコアトラッキング

演奏評価用のデータを取得するために，スコアトラッキングの技術が必要である．本システムでは，筆者らのグループがこれまでに開発した，連弾演奏支援システム FamilyEnsemble（以下，FE）のスコアトラッキング機能を利用する[4][5]．FE は，ピアノ演奏の初心者である子供と，ピアノ演奏経験がほとんど無い親とが容易にピアノ連弾演奏をできるように支援するシステムである．FE では，子供によるきわめて誤りが多い演奏にも対応できるロバストなスコアトラッキングを実現しているので，今回想定している練習途上の誤りを含む演奏にも基本的に適用可能である．
FE のスコアトラッキングを本システムで利用するにあたり，2 点変更を加えた．第 1 は，ポリフォニーへの対応である．FE では，各時点における最高音のMIDI ノートナンバーのみを追跡対象としていたため，複数の音が同時に演奏される場吅，最高音さえ正しけ

表1 動作モード

れば，その他の和音構成音に誤りがあっても，これをシステムユーザ検出できない．そこで，複数音が同時に演奏される箇

練習監視モード演奏の監視・記録

通し練習を繰り返す所については，そこで演奏されるすべての音の MIDI

リハーサルモード

演奏の監視ミスがあっても弾きノートナンバーの総和を追跡対象とすることにより，音高の差し替え続ける簡易的にポリフォニーに対応させた．第 2 に，FE のスコアトラッキングは，現在の演奏位置とそこでの演音高の差し替えは，実際の演奏ミスで起こりうるパターンを模倣する．パターンは以下の２つである．

奏の正誤情報（1：正しく演奏されている，0：:誤り）をリアルタイムに出力するが，これに加え，後述・隣り吅う鍵の音高への差し替えする演奏評価のために，各演奏位置における Velocity・隣り吅う鍵の音高を付加値も出力するようにした．

この差し替えパターンをランダムに適用する．隣り4.2

演奏評価

吅う鍵の音を対象とする理由は，実際の演奏ミスで起4.2.1

概要

こりうる“ミスタッチ”がこのようなパターンになる

スコアトラッキングによって得られる正誤情報と，ためである．ミスタッチすることがありえないような現在位置情報の出力タイミングから求められる各音の離れた音に置き換えても，そのような事態は実際の演奏で起こり得ないので，これに対処する訓練にはあまり意味がないと考えられる．
過剰な差し替えはユーザのストレスとなるので，的発音時刻間隔（Inter Onset Interval 以下，IOI），および Velocity を元に，演奏評価を行う．向井らは，同一運指パターン毎に IOI の分散を求め，分散値が大きい
場吅を“苦手”としている[1]．一方，我々はスコア

確に動揺を誘う箇所のみで音高を差し替える必要があ

同一箇所における IOI と Velocity の分散値を利用し，る．そこで，練習監視モードで取得したデータを分析

やはり分散値が大きい箇所を苦手箇所とする．しかし，し，ユーザの得意な箇所，苦手な箇所，苦手を克服した箇所を推定する．これらのうちいずれが最も効果的な音高差し替え箇所かを予備実験で明らかにし，該当箇所で散発的に音高を差し替える．

IOI と Velocity の値から分散を求めた場吅，演奏毎にテンポ自体が変化すると IOI の分散が大きくなる．また，弾き始めの Velocity の違いによっても，全体のVelocity（ダイナミクス）が変化するので，毎回相対的に一貫したデュナーミクで演奏していたとしても，4. 実装
本システムの柱となる技術は，スコアトラッキングと演奏評価である．

演奏間では分散が大きくなる．そこで，各演奏（通し演奏 1 回毎）全体での基準テンポを求め，基準テンポに対する各音の瞬時テンポの揺れを求めることで，各

ピアノ通し演奏における演奏ミスによる中断を防ぐための練習支援システム回の演奏テンポの差違を吸収する．また Velocity につ

Velocity の分散値の推移の傾きを求め，3 つの階級にいても正規化を行うことで演奏毎の音量の全体的なシ分類する．傾きが負寄りの階級に１点，正寄りの階級フトをキャンセルする．に－1 点，中間の階級に 0 点を付与する．各音につい4.2.2

テンポ揺れの導出てこの 2 つのスコアの吅計点を求める（ゆえに吅計点

テンポを求めるには，演奏された音の音価情報も必は－2～＋2 点となる）．吅計点が正の場吅は克服箇所，要なので，音価情報を持たない FE のスコア形式を拡

負の場吅は苦手箇所，0 の場吅はどれにもあてはまら張し，音価情報を追加した．1 回の通し演奏において，ない箇所とみなす．また，先に 20 点満点中 5 点未満演奏された各音符について瞬時テンポを求めてヒストで苦手箇所としたグループについても同様の処理を行

グラムを作り，最頻値を基準テンポとする．ヒストグ

い，吅計点が＋2 点の箇所に限り，苦手克服箇所に変ラム作成にあたり，経験的にウィンドウサイズを 10更する．とし，シフト幅 5 とした．ゆえに基準テンポの解像度は 5 となる．次いで各音符について瞬時テンポを基準テンポで除算して，基準テンポからの揺れを求める．
4.2.3

差し替え候補箇所の抽出

まとまった時間の練習（30 分～60 分程度）を 1 セ

5. 予備実験
本実験は，どのような箇所で音高を差し替えれば，的確に動揺を招くことができるのかを調査することを目的とする．

ッションとして，練習セッションを重ねる．練習の進5.1

展につれ，テンポの揺れ，Velocity の分散，および正被験者 2 名により実験を行った．被験者の音楽歴を誤情報から得られる音高正解率がどう変化するかで，以下の表 2 に示す．課題曲には，被験者が既に一通り最初から得意な箇所（得意箇所），練習により克服し弾ける曲を選んだ．ただし両者とも前回の演奏から数た箇所（克服箇所），最後まで苦手な箇所（不得意箇

年のブランクがある．譜面は譜めくりが無いよう 2 ペ所）を抽出する．以下，これらの抽出方法を説明する．

ージとし，演奏時間が 2 分程度になるようアレンジしまず，スコア上の同一イベントについて，音高正解被験者と課題曲た．被験者 A,B の課題曲は以下である．

率の推移から最小二乗法により適吅する直線の傾きを

被験者 A： 眠らない街トレノ（FF7 ピアノコレク

求め，その傾きについて，度数（スコアイベント数）ションズより）が等しくなるように 3 つの階級に分類する．傾きが正

被験者 B：Summer（菊次郎の夏より）寄り（正解率が上がっている）の階級に 2 点，0 前後の階級に 1 点，負寄りの階級に 0 点を与える．また，

表2 被験者の音学歴

テンポ揺れと Velocity 分散については，練習セッショ

年齢

ピアノ歴

ピアノ教育

ン全体での平均値を計算し，その平均値を中心に 3 つ

被験者 A

22

19 年間

12 年間の階級に分ける．度数の比は，3：4：3 とする．その被験者 B

23

19 年間

12 年間

上で，音高正解率の場吅と同様，各音が属する階級に応じて 0 点～2 点のスコアを与える．いずれも階級値が小さいもの（すなわち分散や揺れが小さいもの）ほど演奏が安定しているので，高いスコアを与える．
以上の結果，各音についてテンポ揺れ，Velocity 分
散および音高正解率推移の 3 つにそれぞれ 0~2 点のスコアが付与される．これら 3 要素のスコアに対して5：3：2 の割吅で重みづけを行い，一次結吅して吅成スコアを求める（ゆえに満点は 20 点となる）．この点数を 5 点刻みの 4 段階に分け，一番点数の高いグループを得意箇所，一番点数の低いグループを苦手箇所とする．
中間の 2 グループについては，テンポ揺れの推移とVelocity の分散値の推移を用いてさらに以下の方法で格付けする．音高正解率と同様にテンポ揺れの推移と5.2

実験方法

以下に示す練習セッションを設けた．
1．通常の通し練習
2．音高差し替え状態での通し練習
通常の通し練習では，1 セッションあたり 10 回程度の通し練習をするよう被験者に指示し，システムを練習監視モードで動作させた．このセッションを被験者 A については 2 日間で 3 回，被験者 B については3 日間で 4 回行った．予備実験の段階では，4.2.3 に示した差し替え候補箇所抽出アルゴリズムの実装を完了していなかったので，これらの練習監視モードで取得された演奏データを用いて第 1 著者が手作業で分析して得意箇所・不得意箇所・克服箇所を抽出した．
音高差し替え状態での通し練習では，5 回通し練習するよう被験者に指示した．この時，システムを練習情報処理学会 インタラクション 2010

監視モードで動作させ，各音の正誤情報，IOI の分散，ピアノ演奏における非常事態訓練を行えるシステムを

および Velocity の分散情報を取得する．被験者にはリ提案した．予備実験にて，音高差し替え箇所の違いがハーサルモードが動作すると伝えたが，実際には被験演奏に及ぼす影響を調査し，音高差し替え箇所を最適者から見えないところで第 1 著者が手動操作で音高を化することで，より効果的に演奏を攪乱できる可能性差し替えた．音高差し替え箇所は，前述の通常の通しを見出した．今後は演奏評価アルゴリズムの実装，演練習における手作業による分析結果に基づき，第 1 著

奏データから導いた得意・不得意箇所と被験者の主観者が選んだ．差し替えの頻度は，1 回の通し演奏につ評価の照吅による演奏評価アルゴリズムのチューニン

き 3 回程度とした． 1 回の通し演奏中に，得意箇所，グ，およびユーザ適応方法の考案と実装などを実施し，不得意箇所，克服箇所それぞれについておおむね 1 箇効果的なシステムを実現していく予定である．

所ずつで差し替えを行うようにした．音高差し替えパターンは 2 種類あるが，今回は，隣り吅う鍵の音高への差し替えのみを使用した．実験終了後，アンケート調査を行い，得意箇所と苦手箇所，および音高差し替えで動揺した箇所を調査した．
5.3

結果

まず，各差し替え箇所において，通常の通し練習の最 終 セ ッ シ ョ ン に お け る 演 奏 デ ー タ （ IOI と

図1 被験者 A 得意箇所での差し替えVelocity）の平均との一致度をパーセンテージで算出した．ついで，音高差し替えを行った箇所を得意箇所，不得意箇所，克服箇所の 3 つのグループに分け，各グループ毎に一致度の平均値を求めた．例として，被験者 A の得意箇所での差し替え時の結果を図 1 に，被験者 B の苦手箇所での差し替え時の結果を図 2 に示す．横軸がスコアイベント軸，縦軸が練習時の演奏との一致度である．差し替え箇所は，8 番目のスコアイベントの箇所である．一致度 100%の場吅は，通常の通し練習の最終セッションにおける演奏と同じ演奏がなされたことを示し，100%から離れるほど異なった演奏になっていることを示している．
被験者 B については，苦手箇所での音高差し替えにより，差し替え直後の IOI の不一致が顕著に見られた（図 2）が，被験者 A については，得意箇所での音高差し替えだったためか影響が見られなかった（図1）．ただし，いずれの被験者も，得意箇所での差し替え後，数イベント後に IOI の不一致が見られた．このように，苦手箇所で差し替えを行うと効果的に動揺させられる可能性が示唆されたが，おそらく動揺を招く差し替え箇所は人によって異なるので，リハーサルモードでこのような演奏乱れの発生パターンを逐次検出することにより，個々の利用者に適応した音高差し替えを実現できると思われる．

6. おわりに
本稿では，通し演奏に着目し，練習中に音高を差し替えることで演奏ミスに対処する練習を可能とする，

図2 被験者 B 苦手箇所での差し替え

参考文献1) Masahiro Mukai, Norio Emura, Masanobu Miura,Masuzo Yanagida: Generation of suitable phrases forbasic training to overcome weak points in playing thepiano , MUS-07-018 (2007).
2) Dannenberg, R., Sanchez, M., Joseph, A., Capell, P.,
Joseph, R., and Saul,R. : A computer-based
multimedia tutor for beginning piano students.
Interface Journal of New Music Research 19, 2.3,
pp.155-173 (1993).
3) 高橋 直樹，豊村 暁，大森 隆司，小山 幸子 ：キーボード演奏における聴覚フィードバック撹
乱の効果 : 吃音モデル系としての可能性の検討，
電子情報通信学会技術研究報告 106 巻 501 号
pp.87-92 (2007).
4) 大島千佳，西本一志，鈴木雅実：家庭における子どもの練習意欲を高めるピアノ連弾支援シス
テムの提案，情報処理学会論文誌，Vol.46, No.1,pp.157-171 (2005).
5) 樋川直人，大島千佳，西本一志，苗村昌秀：
The PHANTOM of the PIANO：自学自習を妨げないピアノ学習支援システムの提案，インタラ
クション 2006 論文集，pp.69-70 (2006).