A2-2

全身運動による VR ドラム演奏のリズム訓練支援システム
Rhythm training support system for VR drum performanceby whole body movement
藤堂悟*1, 岡本 勝*1, 松原 行宏*1, 毛利 考佑*1

Satoru TODO*1, Masaru OKAMOTO*1, Yukihiro MATSUBARA*1, Kousuke MOURI*1*1 広島市立大学大学院情報科学研究科*1Graduate School of Information Sciences, Hiroshima City University

Email: mh67012@e.hiroshima-cu.ac.jp
あらまし：楽器演奏の熟達化には長期間にわたって質の高い練習が求められる．特に，ドラムを演奏することにおいて上達が難しいという難点はいくつか挙げられ，こういった点の一つである，腕と足による全身運動での演奏がドラムを難しくしている主な要因の一つであると考えた．VR を用いたドラム演奏訓練を行い，上半身での演奏だけでなく，脚部センサによる下肢動作の実装と全身運動による VR ドラム演奏のリズム訓練の開発を行い，下肢動作の検出が可能かどうか検証と，腕と足を使った演奏によってリズム訓練を行い効果が得られるかの検証を行った．
キーワード：ドラム，VR，全身運動，下肢動作，リズム，訓練支援

1.

はじめに楽器演奏の熟達化には長期間にわたって質の高い練習が求められる．特に，ドラムを演奏することにおいて上達が難しいという難点はいくつか挙げられる．環境的問題点や正確なタイミングで力強く叩くこと，ドラム演奏を全身運動として捉えた場合に，全身を協調させながら演奏をおこなえるかどうかは，初心者が動作を習得する上で必ず達成すべき課題(1)といった，多くの要因が重なり合っている．こういった点の一つである，腕と足による全身運動での演奏がドラムを難しくしている主な要因の一つであると考える．
我々は VR を用いたドラム演奏訓練を行い，視覚的にリズムを演奏動作に変換しやすくするため，初学者のドラム演奏の訓練支援と分析のために HMD
型 VR ドラムを用いた上半身での演奏が可能なリズム訓練支援システムを開発した(2)．本稿では，前述の VR を用いたドラム演奏訓練システムに実装されていなかった脚部センサによる下肢動作の実装と全身運動のリズム訓練の開発を行い，下肢動作の検出が可能かどうか検証と，腕と足を使った演奏によってリズム訓練を行い効果が得られるかの検証を行った．

2.

提案システム本システムの VR 空間を図 1 に，訓練時外観を図
2，3 に，下肢動作の検出によってバスドラムとハイハットの開閉を演奏する VR ペダルを図 4 に示す．
本システムは，VR 空間の視点映像を HMD に出力することで訓練者に VR 空間を見せる．使用する HMD
は MetaQuest2 であり，手の動作検出には Touch コン
ト ロー ラ ， 下 肢 動作 検 出 に は脚 部 セ ン サ とし てJoy-Con を用いている．脚部センサは左右の太ももにバンドを用いて，一つずつ装着する．

VR ドラム

HMD
コントローラ

図 1 VR 空間

図 2 訓練時外観(上半身）脚部センサ(右図 3 訓練時外観(下半身)ペダル
図4VR ペダル

本システムで用いるドラムは，ハイハット，スネアドラム，クラッシュシンバルが 2 つ，タムが 3 つ，バスドラムの合計 8 つのドラムから成る．このドラムセットを用いて，演奏訓練を行う．既存のシステ
ムはバスドラムの演奏とハイハットの開閉の演奏が未実装であったが，本システムでは左右の加速度センサに搭載されている機能を使い，下肢動作として「足を上げる」「足を下げる」の 2 種類の動作を検出した．この 2 種類の下肢動作検出により，バスドラ
ムとハイハットの開閉の演奏を実装した．脚部センサは Bluetooth 方式で接続しており，図 3 のように訓練者の太ももの部分に，バンドを用いて装着している．左右の太ももに装着することで，左足ではハイハットの開閉，右足ではバスドラムの演奏を実装した．加速度によってバスドラムやハイハットのパーツであるオブジェクトを上下する動作挙動を，HMDを通して確認できる．
仮想空間前面に楽譜情報を可視化した譜面情報を表示する．譜面情報を被験者に提示し，VR ドラムを演奏する訓練を行う．訓練中は，スティックなどのオブジェクトを用いてドラムを演奏した場合には― 83 ―

教育システム情報学会 JSiSE2023
第48回全国大会 2023/8/29-8/31

衝突判定が行われ，演奏したリズムのリズム判定も行われる．楽譜情報から変換され，可視化された譜面情報を表示する壁面に音符オブジェクトを譜面情報として表示する．
本システムの訓練楽譜構成は既存のシステムから訓練効果をより高めるため，訓練楽譜を 5 種類に分類した．分類した楽譜は，単一のドラムを 4 分音符などの基礎的なリズム構成から，手足を使ったドラムの基礎的なリズム構成，手のみを使った 3 種類のドラムの基礎的なリズム構成，さらに，手足を使った 4 種類のドラムの基礎的なリズム構成である．このような楽譜のリズムや演奏するドラムの種類から，複雑かどうかを判断し，合計 15 楽譜の訓練楽譜を 5種類に分類した．また，下肢動作のない楽譜が 9 つ，下肢動作のある楽譜が 6 つある．このように分類された訓練楽譜でリズム訓練を行うことで，スティックによる演奏である腕での動作と，バスドラムの演奏とハイハットの開閉である下肢動作によって，訓練楽譜として流れてくる音符を見ながら，ドラムのリズム訓練を行うことができる．
演奏のリズムが合っているかを判断するために，演奏されたリズムと楽譜のリズムとのタイミングの差を，リズム区分を設け，区分 1 から 5 にかけて，タイミングのズレが大きくなるように分類した．
60Hz の映像であるため，映像のフレーム毎に 4，6，9，12 フレームで区切りを設け，5 つに区分けを行う
ことで，タイミングの差があるかどうかを検出し，リズム効果が得られたかを訓練効果とする．これらの機能を用いて，全身運動における初学者のドラム演奏の訓練支援と分析のために，VR ドラムとリズム訓練支援システムを開発した．

3.

検証実験

訓練システムにおける，脚部センサを用いた下肢動作の検証と，下肢動作を含めた全身運動による VRドラム演奏によるリズム訓練効果の検証を行った．
脚部センサを用いた下肢動作の検証はシステム上で，リズム訓練効果の検証は，演奏時に検出したリズムデータからの検証を行った．また，実験前後にアンケートを行った．被験者はドラム演奏未経験の大学生 3 人とした．
検証実験結果として，脚部センサを用いた下肢動作検出は Bluetooth 接続で可能であり，訓練者の下肢動作によって確認ができた．しかし，訓練楽譜の切り替え時などでタイミングにズレが発生した．また、加速度センサのみでの精度では，下肢動作検知の限界もあったため，下肢動作を検知するセンサについて改善が必要であることがわかった．
また，下肢動作を含めた全身運動による VR ドラ
ム演奏のリズム訓練効果を検証するために，設けたリズム区分を用いることで，下肢動作のある訓練楽譜と下肢動作のない訓練楽譜において，リズム誤差の分析を行った．

表 1 下肢動作の有無による平均リズム誤差
区分 1 区分 2 区分 3 区分 4 区分 5
下肢34.4% 2.09% 36.4% 3.56% 23.6%あり
下肢43.1% 1.17% 32.8% 2.25% 20.7%
なし
被験者の平均結果を表 1 に示す．区分 1 では，下肢動作の有無による訓練楽譜でのリズム誤差を比較した場合に下肢動作がある方が割合が小さく，他の区分では割合が大きいことがわかる．また，リズム誤差だけではなく，流れてくる音符数と比較して少なく正確に叩けば，精度が上がってしまうという点から，訓練者が叩けた率を分析した．被験者の平均結果を表 2 に示す．
表 2 下肢動作の有無による平均叩けた率
平均打数
音符数
叩けた率
下肢あり
32.06 回
61.33 個60.92%
下肢なし
28.70 回
46.22 個68.78%
下肢動作の有無で叩けた率を比較した場合，下肢動作のある訓練楽譜の方が，叩けた率が小さいことがわかる．また，下肢動作だけの演奏では叩けていた訓練者も，腕と脚の両方を使った全身運動による演奏の場合には叩く回数が減っていた．この結果から考えられることとして，下肢動作だけの基本的な演奏では，訓練効果も出やすくタイミングも誤差が減るが，全身運動による演奏となることで叩けた率も低下し，リズム誤差も増加した．リズム誤差を抑える点と，複雑な動きでドラムを叩けるようにという点において，訓練効果も出にくくなる可能性が考えられる．
実験結果から，下肢動作を行う楽譜は初学者にとってリズムが複雑化し，正確にリズムが取りづらい．
よって，下肢動作を含めた訓練には時間や訓練回数が必要ではないかと考える．

4.

おわりにVR ドラム演奏を用いたリズム訓練支援のシステ
ムの構築し，今回用いた脚部センサで下肢動作を検出可能かどうか，訓練楽譜の分類が適切かの検証を行った．今後の課題として，更に精度の良い下肢動作を行うことによる，初学者の下肢動作の分析や訓練について更に検証をする必要があると考えられる．
参考文献(1) 谷貝 祐介, 古山 宣洋, 三嶋 博之: “ドラムセット演奏を支える姿勢制御―打圧データと床反力中心データを用いた熟練者と初心者の比較―”, 認知科学, Vol.
26, No. 2, pp197-218（2019）(2) 藤堂悟, 岡本勝, 松原行宏, 毛利考佑: “VR ドラムを用いたリズム訓練ドラム演奏システム”, 第 47 回教育システム情報学会 全国大会, pp. 201-202 （2022）― 84 ―