中国地区

教育システム情報学会 2016年度学生研究発表会

慣性センサ式モーションキャプチャを用いたピアノ学習支援システムの構築
Learning Support System for Playing method about pianousing Inertial Motion Capture Approach
脇本 慎也*1, 松原 行宏*2, 岡本 勝*2, 岩根 典之*2,
Shinya WAKIMOTO*1, Yukihiro MATSUBARA*2, Masaru OKAMOTO*2 and Noriyuki IWANE*2*1 広島市立大学情報科学部*1Faculty of Information Sciences, Hiroshima City University*2 広島市立大学大学院情報科学研究科*2Graduate School of Information Sciences, Hiroshima City University

Email: lwakimoto@lake.info.hiroshima-cu.ac.jp
あらまし：本研究ではモーションキャプチャを用いたピアノ学習支援手法を提案する．提案システムでは，Perception Neuron によって推定された演奏者の右手のデータからどの指で打鍵したかと手形状が演奏時に理想とされている形になっているかを判定し，画面上に表示することで演奏者が正しい奏法を意識しながら演奏することができると考えられる．実験では，打鍵指判定と手形状判定が正確に行われ，学習者の演奏時の運指と手形状がそれぞれ判定可能であるか検証を行う．
キーワード：モーションキャプチャ，ピアノ，学習支援

1.

はじめに

運指や手の形はピアノ演奏において曲を表現するための重要な奏法である (1)．しかし，初心者が一人で練習を行う際には自分の演奏を客観的に見ることが難しいため，自分の奏法の状態を把握することは困難である．このような問題を解決するために，近年 ICT を用いたピアノ学習支援システムの提案が行われている．竹川らは運指を対象とした学習支援システムを提案した (2)．この手法では爪に貼り付けたマーカーをカメラで撮影し，画像認識によって打鍵位置と運指をチェックすることで，運指の習熟を高めることができる．しかし，竹川らの手法では演奏時の手形状が正しいかどうか検出できないため，誤った手の形のまま学習を進めてしまう可能性がある．
一方で，スポーツや楽器の演奏などの身体動作のスキルを獲得するためのスキル学習を支援するために，モーションキャプチャを用いた研究が行われている．越智らは Kinect を利用した演奏動作検出によるドラム練習支援システムを提案した (3)．Kinect によってドラム演奏動作を検出し学習者の演奏フォームへのフィードバックを行うことで，学習者は自身の演奏動作を客観的に判断することができる．このように，モーションキャプチャを用いることで学習者の身体動作やフォームを取得できるため，ピアノ演奏における運指や手形状を意識した学習への利用可能性が考えられる．
そこで本研究では，モーションキャプチャデバイ
スを用いて演奏時の手の形状データを取得し，運指と手形状の判定を行うことができるピアノ学習支援システムの構築を行う．

2.

提案システム本研究ではモーションキャプチャデバイスとして
Perception Neuron を用いた．図 1 にシステムの外観とシステム画面を示す．ジャイロスコープ，加速度計，磁力計を内蔵した Neuron センサと呼ばれる慣性計測装置を図 1 左のように右手指に装着することで，演奏中の右手のモーションキャプチャを行う．学習者はディスプレイに表示される楽譜と運指情報に従い な が ら 演 奏 を 行 う ． 本 シ ス テ ム は ， Perception
Neuron によって推定された演奏時の右手の形状データを用いて，どの指で打鍵したかと手形状が演奏時に理想的とされている形になっているかを判定し，
図 1 右のようにディスプレイ上に表示する．打鍵指と手形状の判定結果を表示することで，学習者は正しい奏法を意識しながら演奏を行うことができると考えられる．本システムの打鍵指判定は指先の Y 座標値と指の関節の横軸を中心とした回転角の 2 つの値の一定時間内の減少量がともに閾値を超えた場合にその指が打鍵をしたと判定する．図 2 にピアノ演奏における理想的な手形状と誤った手形状を示す．
図 2 の(1)のように指が丸まっている状態が理想的なシステム
外観Neuronセンサシステム
画面
打鍵指判定結果

手形状判定結果
図 1 システム外観とシステム画面

189

中指角度[deg]

350
340
330
320345340335330325
10(2) 誤った手形状

図 2 理想的な手形状と誤った手形状
手形状，(2)のように指が伸びている状態が誤った手形状とされている．そこで，本システムでは指の関節の回転角を用いて手形状判定を行う．指が曲がるほど指の関節の角度値が小さくなるため，中指，薬指，小指の関節の回転角がすべて閾値以下であるときに，指が曲がった理想的な手形状で演奏を行っていると判定し，3 本の指の関節の回転角のうち 1 つでも閾値より大きい値である場合には指が伸びて誤った手形状で演奏を行っていると判定する．

3.

薬指角度[deg](1) 理想的な手形状

345
340335330325

小指角度[deg]

教育システム情報学会 2016年度学生研究発表会

手形状
判定値

中国地区

(a)

閾値閾値閾値012

3

4 5 6 7 8 9
時刻[秒]
図 4 3 本の指の関節の回転角と手形状判定結果

システム動作検証

打鍵指判定と手形状判定が正確に行われ，学習者の演奏時の打鍵指と手形状が判定可能であるか検証を行う．

から，打鍵指判定の精度の向上を行う必要があると考えられる．

3.1 打鍵指判定の動作検証

3.2 手形状判定の動作検証

1 オクターブの演奏を行った際の親指の指先の Y座標の変化量と親指の関節の回転角の変化量と打鍵指判定結果を図 3 に示す．図 3 の(1), (2), (3)の 3 箇所の時間領域において親指の指先の Y 座標と親指の関節の回転角の変化量が同時に閾値を超えたときにのみ正しく打鍵指判定が行われ，一方の値が閾値を超えたときには打鍵指判定が行われないことが確認できた．さらに，さまざまな運指で 1 オクターブの演奏を行った際の打鍵指判定を行った結果，32 の打鍵
中 31 の打鍵に対して正しく打鍵指判定が行われたことが確認できた．また，図 3 の(2)の時間領域においては打鍵動作を行っていないにも関わらず閾値を超えたために打鍵指判定が行われている．このこと

1 オクターブの演奏を行った際の中指，薬指，小指の関節の回転角と手形状判定結果を図 4 に示す．
中指と薬指と小指の関節の回転角がすべて閾値以下であるときに手形状判定が 1 を示し理想的な手形状であると判定され，図 4 の(a)の時間領域において中指が伸びた状態になり中指の回転角が閾値を上回っているときに手形状判定が 0 を示し誤った手形状であると判定されている．このことから，手形状判定が正しく行われていることが確認できた．

角度変化量[deg]閾値Y座標値
変化量0

打鍵指判定値-60.0150

まとめと今後の課題

本研究ではモーションキャプチャを用いて打鍵指判定と手形状判定を行うことができるピアノ演奏のための学習支援システムを構築した．動作検証では打鍵指判定と手形状判定が正しく行われたことが確認できた．また，打鍵指判定において 32 の打鍵中31 の打鍵に対して正しく打鍵指判定が行われたことが確認できた．今後の課題として，打鍵指判定の精度の向上と今回のシステムを用いてピアノ奏法の学習支援の検証実験を行うことが挙げられる．

(2)(3)

(1)

64.

参考文献
(1) 井上直幸: “ピアノ奏法-音楽を表現する喜び”, 春秋社（1998）(2) 竹川佳成, 寺田努, 塚本昌彦: “運指認識技術を活用したピアノ演奏学習支援システムの構築”, 情報処理学会論文誌, Vol. 52, No. 2, pp.917-927（2011）(3) 越智洋司, 平野光正, 井口信和:“Kinect を利用した演奏動作検出によるドラム練習支援システムの提案”,
教育システム情報学会誌, Vol. 34, No. 1, pp.32-43（2017）

閾値-0.015
101234 5 6 7 8 9時刻[秒]図 3 親指のデータの変化量と打鍵指判定結果

190