WISS2007

演奏者に合う指使いを学習できる光と振動を活用したピアノ独習支援システム
Piano Practice Supporting System utilizing light and vibration

大河原 正憲武田 正之∗

Summary. In this paper, we describe piano practice support for piano beginners and people practicing
by oneself. Our goal of our study is to make the eﬀective practice system and skill up their musicalperformance. Piano beginners want many times to be able to play the piano well. Also, in practice by
oneself, they don t know how to play music and to use their ﬁngers. Thus, to step up musical skill isvery diﬃcult. To solve this problems, we suggest the system, which estimates piano ﬁngering on player s
hand automatically, is of help to piano beginners and pianists practicing alone with a keyboard equipped
lights that can be lit by variable colors and vibration buried under keyboard. On the ﬁngering gotten
by the system s evaluation, the system lights keyboard s ramp by the color decided beforehand. So,
the players understand easily where to be played and which to use their ﬁnger from the color. And they
can also do the various practices, for example, by the tempo of the favor, while conﬁrming sounds one
by one, and so on. By using this system, they practice the piano eﬀectively than before.

1

はじめに

近年，デジタルピアノの普及や，動画コンテンツの普及によってプロアマ問わずにピアノ演奏を視聴する機会が増えていることから，自分もピアノをやってみようと思う人が増えるのではないかと予想している．しかし，ピアノという楽器をある程度弾けるようになるためにはかなりの時間が必要である．本来はピアノ教室に通うのがベストではあるが，人によってはそれができるとは限らず，独習するにしても指使いや演奏の仕方などを考慮するとかなり難しいというのが現状である．
したがって，演奏者の手を基にして適切な指使いを推定し，誰にでも分かりやすい形で提示することができれば，その人に合った演奏技術を習得できる．
今回は楽譜データから演奏者の手に合った指使いを推定し，各指に対応した色でキーボードを光らせることによって，その時に打鍵する指を指示するシステムを提案する．キーボードの各鍵盤に取り付けられた LED を各指に対応した色で光らせることによって，楽譜の読めない演奏者に対しても分かりやすい形で提示することができる．

2

提案するシステム

演奏者に対して無理なく効率的に練習できるように以下の 4 つをポイントにしてシステムを構築した．

• 運指番号の自動推定
初心者が指使いを自分で考えるのは困難であ∗Copyright is held by the author(s).
Masanori Ohkawara and Masayuki Takeda, 東京理科大学大学院 理工学研究科 情報科学専攻

るため，演奏者の指の長さや開き具合などを基にして自動的に推定する．

• 光るキーボード「ぶるぶるくん」
市販の「光るキーボード」のように鍵盤上で光ると手に隠れて分からなくなるので，鍵盤の上部を光らせることによってより分かりやすく提示する．更には様々な色で光るようにし，光った色でどの指を使うのかを分かるようにする．

• 演奏者の好きな曲で練習が可能
演奏者の弾いてみたい，練習してみたい曲を自由に，かつ，なるべく簡単にシステムに取り込める機能にする．

• テンポを好みで調整練習しやすくするため，演奏者の好みでテンポを調節できるようにする．

3運指推定アルゴリズム
運指推定における既存手法としてはルールベース[1] や [2]，[3]，確率的手法 [5] 等がある．本研究においては手全体の動きに着目した手法を提案する．
これは，演奏において仮に手が左右にブレる状態だとあまり望ましくないため，打鍵する際には手の動きを最小限にする必要があり，そしてその結果として，曲の始まりから終わりまでにおける手の動き具合もなるべく最小にすべきだと考えられるので，指使いの推定においては手の動き具合に注目するのが最善と考えられるからである．
まず個人データとして，とある指を打鍵した際の手の動かせる範囲をチェックする．次に，この手のWISS 2007

どの LED も青や赤など 7 色で表現することができる．つまり，表 1 のように各指の色を決めておき，光った場所と提示された色を確認することによって，「どの鍵盤を」「どの指を使って」演奏すればいいのかが分かる．

5
図 1. 移動範囲の重なり具合の例

移動可能範囲を音符毎に見ていき，その重なり具合を見ていく．これは手の移動範囲が重なれば重なるほど，手の移動が少ないと見ることができるからである．今，1 個前の音符 ni−1 に対して運指番号 fi−1が割り当てられたとする．その時，その指における手の移動範囲 afi−1 を取得しておく．次の音 ni の運指番号を決める時，残りの 4 本の指それぞれの手の移動範囲と先ほど取得した移動範囲との重なり具合∆ai をそれぞれ計算する．この中で ∆ai が最も大きくなったときの指を音符 ni における運指 fi として採択する．楽譜より，2 つの音が離れている等，続けて同じ指で打鍵することが可能な場合に置いては5 本の指で計算，評価していく．領域が重ならない
場合においては 2 つの領域の端と端との距離を調べ，その距離が最も短いものを選んでいる．また，音符2 個だけで見た場合の手の動き具合が最善であっても，全体で手の動き具合が最善でなければいけないので，毎回先読みを行っている．候補の中で，その時の最適パターンが後の推定で不適切だと判断された場合や，先読みしたときに得られる評価（∆a の合計）が低い場合は次に最適と思われるパターンを選んでいる．

4

光るキーボード「ぶるぶるくん」

システム全体の流れ

システム全体を通して，曲データにはタグ形式で楽譜情報を扱う musicXML を利用した．まず，自分の演奏したい曲の musicXML ファイルを用意し，次にこれと演奏者の個人データを用いて，運指の自動推定を行う．その推定によって運指番号が付加された musicXML ファイルが生成される．次に「ぶるぶるくん」を使って練習を行う際にはその musicXMLファイルを選択し，テンポを調節して「ぶるぶるくん」へ MIDI 出力を指示すると演奏が開始される．

6

今後の課題

運指推定に関しては，実際に曲データをシステムに適用させ，著者である私の通常の運指と照らし合わせたところ，曲によって 6 割〜9 割程度の精度となった．更にはピアノ経験者を募って自分の手に合った運指が提示されているか，またどの程度の精度になるのかを確認する必要がある．また，例えば指と指の開き具合や手首の傾きなども推定時に意識する必要があることから，それらを考慮した推定手法も検討中である．キーボードに関しては運指推定と同様にピアノ経験者を募って，光の点灯位置や提示の仕方など，初心者の練習に有効的な楽器かどうかを判断してもらう必要がある．また，更には「ぶるぶるくん」の機能をフルに活用して，より有効的な練習支援を提案できないかと考えている．

参考文献
表 1. 指と色の対応付け

指親指
人差し指
中指
薬指
小指

運指番号

12
345色
赤
緑
黄色
青
紫

今回提案するシステムで使うキーボードは即興演奏支援として制作されたキーボード「ぶるぶるくん」（文献 [4] 参照）を使用した．このキーボードには鍵盤 1 個 1 個に振動モータが積まれており，演奏時に間違えて弾いた場合に鍵盤を振動させることによって演奏者に対して間違いを指摘することができる．
更にこのキーボードには鍵盤の上部に発光ダイオード（以下，LED）が鍵盤の数だけ設置されており，[1] N. Agarwalla, I. Kaplansky, and Y. Lee. RealTime 3D Animation of a Piano Player and Piano
Synchronized to a MIDI Audio File. Computer
Graphics Project, MIT, 1999.
[2] A. B. Viana, J. H.F.Cavalcanti, and P. J. Alsina.
Intelligent System for Piano Fingering Learing
Aid. SBCM(Brazilian Symposium on Computer
Music Archive), 2003.
[3] 林田 教裕, 水谷 哲也. 楽曲構造に基づくピアノ運指ルールの論理表現. 情報処理学会第 65 回全国大会講演論文集 pp.2203-2204, 2003.
[4] 石田 克久, 北原 鉄朗, 武田 正之. N-gram による旋律の音楽的適合判定に基づいた即興演奏支援システム. 情報処理学会論文誌 Vol.46 No.7 pp.15481559, 2005.
[5] 米林 裕一郎, 亀岡 弘和, 嵯峨山 茂樹. HMM を用いたピアノ運指自動決定アルゴリズム. 日本音響学会講演論文集 pp.727-728, 2006.