DEIM 2021 D24-2

暗譜の達人：音楽ゲーム操作ログからの音楽学習理論に基づく覚えやすい練習用譜面の自動生成
瀧平

士夫†

莊司

慶行†

Martin J. Dürst†† 青山学院大学 理工学部 〒 252 – 5258 神奈川県 相模原市 中央区 淵野辺
E-mail: †takidaira@sw.it.aoyama.ac.jp, ††{shoji,duerst}@it.aoyama.ac.jp
あらまし

本稿では，音楽ゲームをプレイした際のログを分析することで，個人の苦手な部分の対処法を身に付けやすくするための練習用譜面を生成するアルゴリズムを提案する．従来，音楽ゲームを練習する際は，対象となる譜面を最初から最後まで繰り返しプレイするか，個人の習熟度に合った，難易度の低い楽曲や譜面で練習するしかなかった．
一方で，音楽学習の分野では，振り付けと関連付いた歌詞を暫定的に与えることで，踊りを覚える際の習熟効率が向上する現象が，二重符号化理論として報告されている．そこで，操作ログを入力すると，動作を言語化した歌詞と低速化と繰り返しを含む，練習用の譜面を自動生成する手法を提案した．実際に，音楽ゲーム「Bemuse」上に提案したアルゴリズムを実装し，iPad を用いた被験者実験を通して，提案した手法が最も成長率が高いことが明らかになった．
キーワード リズムアクションゲーム，プレイログ分析，記憶，印象，音楽理論
ことで，音楽理論に基づく学習に適した練習用譜面を自動生成

1 はじめに
音楽ゲームは，1996 年に登場してから，種類を増やしつつ普及してきている．ゲームセンターでプレイするだけでなく，家庭用ゲーム機で遊ぶこともでき，幅広いプレイヤーに楽しまれている．また近年では，世界大会が開催されたり，老人ホームにレクリエーション用に設置されたり 1 と，より多くの環境で活用されるようになってきている．
このように普及しつつある音楽ゲームであるが，他の音楽を題材とした表現活動である楽器演奏や歌や踊りと異なり，最適な練習方法がいまだに見つかっていない．現時点でいくつかの練習法が提唱されているが，それらのうち多くは，中級者から上級者でないと上手く実践できない．たとえば，一般的な練習方法として，難しい曲をプレイできるようになりたい場合には，徐々に簡単な曲から難しい曲へと使用する楽曲を切り替えながらプレイし続ける方法が知られている．
一方で，音楽ゲームを始めるきっかけの一つに，「自分の好きな曲が収録されたので，その曲を弾けるようになりたい」というものがある．このような新規プレイヤーがゲームを始めた場
合，従来の練習法だと，目当ての曲があるにもかかわらず，無関係の曲を繰り返しプレイしなければならない．
そこで本研究では，音楽ゲームを他の音楽メディアと同等に練習できるようにすることを目的として，楽器演奏や歌や踊りする手法を提案する．
歌唱や器楽の練習をする際は，練習曲を各フレーズに分け，こまめに繰り返して練習をしたり，自分が苦手なフレーズを本
来のテンポより遅い状態で練習するのが一般的である．過去に音楽家を対象に行われた調査 [1] において，上級者の練習では反復が多用されていることが判明している．また，Shehan [2]が，リズム読みと短期記憶の定着に対する聴覚的アプローチと視覚的アプローチの効果を調査している．結果として，聴覚のみでリズム提示した場合より，聴覚と視覚の両方でリズムを提示した方が，リズムの学習が容易になることが判明している．
これらの音楽の学習のための理論に基づき，個人の苦手な部分の対処法を身に付けやすくするための練習用譜面を生成する．
以下に，本論文の構成について述べる．本論文は，本章を含め全 6 章からなる．本章では，研究の背景と目的について説明した．第 2 章では本研究に関連した研究について紹介する．第3 章では本研究で提案する手法を述べる．第 4 章では評価のためのオンラインアプリケーションの実装と，実際のログから譜面を生成する実験とその結果について述べる．第 5 章では実験を通して得られた結果に関して考察を行い，第 6 章でまとめと今後の展望について述べる．

2 関連研究の練習で用いられている学習法を音楽ゲームの練習に取り入れ本研究では音楽ゲームの上達を目的として，各プレイヤーにる．そのために，プレイヤーのプレイログを収集し，分析する合った練習用譜面の自動生成を行う．これは，音楽ゲームの上達法，音楽の上達に有効な練習法，音楽学習理論に関する既存

1：株式会社ナムコ プレスリリース「高齢者向けリハビリテインメントマシン『太鼓の達人 〜日本の心〜』を開発・発売」

https://www.bandainamcoent.co.jp/corporate/press/namco/50/50-031.
pdf

研究と関係する．そのためこれらの観点から既存研究について説明し，本研究の位置づけを示す．

2. 1 音楽ゲームを題材とする研究

は，体調の自己評価，ゲームの難易度，継続的な利用意欲など，

現在，音楽ゲームは様々な研究が行われており，音楽を学習

いずれも高い評価がつけられており，実際に音楽ゲームとエクするためのシリアスゲームの開発や，複数の観点から譜面の自ササイズを組み合わせることで高齢者の認知訓練に実用可能で

動生成が行われている．

あることが示されている．

Donahue ら [3] は，CNN (Convolutional Neural Network)と LSTM (Long Short-Term Memory) を用いて，音楽データと難易度のベクトルから音楽ゲーム Dance Dance Revolution(DDR) 2 の譜面を自動生成している．CNN により得られた音の特徴量と，譜面の難易度を指定するベクトルを組み合わせて，

LSTM で適切な間隔，適切な前後関係を保ちながら譜面を自動生成している．しかしこの自動生成法は，各個人の苦手な区間や苦手な譜面パターンに対応していない．

Liang ら [4] は，fuzzy label と C-BLSTM モデルを用いて，音楽ゲーム OSU! 3 の譜面を自動生成している．音楽ファイル
からオブジェクトを配置するタイミングであるをタイムスタン
プを生成し，プレイヤーの実力データから個人に合った適切な譜面データを生成している．fuzzy label によるもっともらしい
オブジェクトの判定表現を，タイムスタンプ予測の閾値決定用
データの学習に提案し，曖昧ラベルと双向 LSTM を組み合わせて使った場合，性能向上をもたらすことが判明している．
一方で Johanna ら [5] は，DDR がプレイヤーの生活に与える社会的・身体的影響という観点から，大規模なユーザ調査を行っている．Charlotte ら [6] は，音楽のシリアスゲームが，どのようにすればプレイヤーの自主的な学習行動を促すことが可能かを研究している．実際に学習に影響を与える学習管理モデ
ルとして，フィードバックモデル，達成動機モデル，進展モデルの 3 つのサブモデルからあるモデルを提案している．シリア
スゲームは現時点ですでに教育上で活用された事例があり，従来の教材よりも学習効果が高いという報告もあるが，実践的な学習管理のためにはまだ改善の必要があるとされている．
また，オンラインゲーム業界の拡大に伴い，音楽ゲームにおける Bot（すなわち，Robot の略で，プレイヤーを装ったプログラム）検知の研究 [7] が行われている．音楽ゲームは，人間と Bot を区別するための情報が少ないため，他のジャンルのゲームに比べて Bot の検出が特に困難である．そこで，刺激に対する人間の応答の誤りから形成される時系列中での記憶時間

2. 2 音楽の練習，トレーニング支援の研究
古くから，情報技術を用いて練習者のニーズに合わせた，練習用コンテンツを作成する研究は盛んに行われている [9–11]．

Gower [12] らは，音楽教育の観点から小学生と音楽専門教師に対して，インタラクティブな音楽ゲームの利用状況を調査している．結果として，音楽ゲームが音楽のスキルや知識をある程
度伸ばすのに役立つ可能性があることと，ゲームが生徒にとって高い関心と重要度をもつことが示されている．調査の中で音楽教師らは，音楽ゲームが伝統的な音楽の教育カリキュラムに組み込まれる可能性を認めていたが，一方でプログラムで作曲や創作を可能にするなどの，より高度な技術が必要だと述べている．
そして現在，音楽の練習のために情報技術を用いることは，より一般的になってきている．これらの研究の中には，本研究と同様に，譜面を動的に生成する事例も含まれる． Nakamura [13]
らの研究では，自動伴奏の譜面を，楽器演奏者のミスに合わせてリアルタイムで書き換え，自動伴奏がその場で変化するシステムを提案している．演奏者がミスした箇所を自動で繰り返し，ミスを克服したら繰り返しを抜ける譜面へとリアルタイムで書き換えている．一方で，この研究では，演奏者の演奏のミスをどのように定義しどのように検知するかに重きを置いている．
そのため，音楽指導における各理論がどの程度音楽ゲームの上達に効果的かを明らかにする本研究とは目的が異なる．
また，音楽ゲームによっては，練習用のモードを提供している場合がある．しかしそれらはプレイヤー側の裁量で，練習箇所の決定やテンポ調整をする必要があるため，初級者はそもそも適切に調整することが困難である．本研究では，システムが自動で苦手な部分を推定し，練習用譜面を自動生成する手法を提案する，

3 提案手法の長さに基づいて，ゲームプレイ中の人間の協調機構の存在を練習用の譜面を自動で生成するために，はじめに，ログファ

検出する手法が提案されている．この研究では，人間と実際のイルから新たな譜面を生成するアプリケーションを作成した．

Bot から収集した実際のログデータを元に，ゲームの難易度に

アプリケーション全体の概要を図 1 に示す．

関わらず，Bot の利用を正確に検出できることが示されている．

プレイヤーが 1 回譜面をプレイすると，その譜面のプレイ結

音楽ゲームの活用例として，Dannenber [8] らは，運動認知果がログとして生成される．そのログを元に，サーバサイドのにおける二重課題（デュアルタスク）の向上を目的とした高齢アプリケーションが自動的に練習用の譜面を生成する．プレイ

者向けの音楽ゲームを提案している．65 歳以上の高齢者を対象

ヤーは，その生成された譜面をプレイすることで，個人化されとした実験では，ゲームをプレイすることによって認知能力がた練習が可能になる．

向上したことが確認されている．実験後の利用者アンケートで提案システムは，大きく分けてクライアントとサーバからなる．クライアントは音楽ゲーム本体とログ収集/送信モジュール

2：Konami Amusement,
DanceDanceRevolution A20 PLUS - e-amusement
https://p.eagate.573.jp/game/ddr/ddra20/p/
3：peppy, welcome — osu!
https://osu.ppy.sh/homeからなる．サーバは音楽ゲーム本体サーバとログ受信/分析モ
ジュールと譜面生成モジュールからなる．音楽ゲーム本体で遊ばれた譜面のログを，ログ収集/送信モジュールが収集し，サークライアントサイド

サーバサイド

音楽ゲーム
アプリ

音楽ゲーム
本体

レーン
通常譜面

B ゲーム本体

プレイ

ログを分析

プレイログ

ノート

苦手な区間情報
練習用譜面
で練習

A Web アプリ
（ゲームプレイ，ログ収集）

小節線

譜面の生成

練習用譜面

C Web API 群

判定ライン（ログの分析，譜面の生成）

図 1 音楽ゲームのプレイログファイルから個人の弱点に合った練習用

図 2 音楽ゲームの譜面構成

譜面を生成するサービスの概要とする．ここで，i 小節目に属するノートの集合を Oi とし，バ側へ送信する．サーバ側でログ受信/分析モジュールが受信loss(v) は判定の評価値 v を引数に取り，v が理想のタイミング

し，ログから各個人の譜面中の不得意な箇所を分析する．分析から離れているほど大きい値を返す関数とする．ノート notej

結果を譜面生成モジュールに渡し，受け取った区間と譜面デーは，属する小節 i と判定の評価値 v を持ち，タから，通しで遊べる練習用の譜面データを自動生成する．実

notej = (i, v)

装の際には，各種手法の有用性を検証するために，4 パターンの譜面を生成可能なようにシステムを作成した，のように表される．
以上から，s 小節目から e 小節目までの苦手度合いの合計

3. 1 音楽ゲームアプリのプレイログの収集と整形
初めに，音楽ゲームプレイヤーごとの苦手な箇所を明らかに

pro(s, e) は，
pro(s, e) =するため，実際のゲームプレイのログを収集する．

る．プレイヤーは音楽ゲームアプリで，練習したい任意の譜面をプレイする．そこでプレイされた譜面のプレイログを収集する（図 1 中の A）．次に，収集したログを整形し，譜面生成に用いるために，クレンジングする（図 1 中の C）．音楽ゲーム
アプリ内で遊んだ譜面のリザルトは，各プレイ単位でログに記録される．これをノート単位に整形し，（ノート ID，小節番
号，判定の評価値）という形式に一般化する．例えば，あるプ
レイヤーが 12 小節目に存在する ID が 20 のノートで，良い判定 (GOOD) を取った場合には， (20, 12, GOOD) のように表せる．このような形式で，プレイヤーのプレイログを一元的に扱えるようにした．

e∑weak(i)(3)

i=s

音楽ゲーム本体は，譜面データを読み込むことで，実際にプレイすることができる状態で再生するアプリケーションであと表すことができる．
ここで，e = s + n − 1 となる s と e のすべての組のうち，

pro(s, e) が最大を取る s と e であらわされる区間を，本手法におけるそのプレイヤーの苦手な区間と定義した．このように抽出した苦手な区間に対して，繰り返しや音声ガイドを含む，練習用の譜面データを自動生成する．

3. 3 練習用譜面データの自動生成抽出した苦手な区間について，譜面の一部を切り出して変更を加えることによって，練習用の譜面データを作成する．
音楽学習に関する理論について段階的に検証するため，再生速度の変更（スロー），楽譜の一部の繰り返し（リピート），譜面の特徴や身体動作を表す音声をリズムに合わせた音声の出力（音声ガイド）をそれぞれ組み込んだ．

3. 2 苦手な区間の特定
音楽ゲームの譜面の構成要素を図 2 に示す．楽曲は複数の小節から構成され，各小節には複数のノート（音符）が含まれる．
プレイヤーはあるノートが上から下にスクロールしてきた際に，判定ラインとちょうど重なる時点でノートをタップする．
あるプレイヤーのある楽曲中の小節 i における苦手度合い

weak(i) を



0
∑
weak(i) =note∈Oi loss(vnote )


|Oi |

(2)

3. 3. 1 ス ロ ー
楽器を練習する際に，演奏テンポを落として練習するのと同じように，楽曲のテンポを遅くする．音楽ゲームのプレイ中に出力される音は，•

BGM：プレイヤーの入力に関わらず発生する音，•

操作音：プレイヤーが入力した際に発生する音の大きく二つに分類され，さらに操作音は，(Oi = ϕ),(1)(otherwise)•

キー音：プレイヤーが入力することで楽曲が完成する音，•

効果音：プレイヤーの入力に伴い発生する一定の音に分類される．キー音システムは beatmania などに採用されて苦手な箇所

AB CD E F

全体をスロー再生A B C D E F
苦手な箇所を繰り返す

A B C C C D E F

右から！（階段状）

交互に！（トリル状）

図 4 見た目ガイドで生成されるガイドの例
図 3 手法「スローリピート」で生成される譜面データの概要

そのノートの配置されている小節の拍子で，小節の長さを等分おり，効果音システムは太鼓の達人などに採用されている．操作音がキー音の場合は，BGM と操作音のどちらもテンポを遅くすることで実現する．一方，操作音が効果音の場合は，本来楽曲に存在しない音であるため，BGM のみテンポを遅くする
ことで楽曲のテンポを遅くすることが可能である．
今回の実験で用いる譜面形式は操作音がキー音であったため，

BGM と操作音のどちらもテンポを遅くした．また，苦手な箇
所のみテンポを遅くせず，楽曲全体を遅くした．これはプレイ中に速度変更や急激な変化があると，初級者はそれにとっさに対応できないと判断したためである．

3. 3. 2 リ ピ ー ト
推定されたプレイヤーの苦手な区間を任意の回数繰り返すよ
うに，譜面を変更する．今回は，繰り返し回数を 4 回に固定した．また，繰り返していることを明らかにするために，繰り返している各区間の前後に空の小節を挿入した．
実際にスローとリピートを組み合わせた際の譜面の概要を
図 3 に示す．今回の手法では，曲全体の再生速度を一律で下げ，苦手な箇所を任意の回数繰り返せるようにした．苦手な箇所のみ速度を変えなかったのは，予備実験の際に，プレイ中に速度が急に変わると初級者は混乱して，むしろ学習効率が下がる傾向が見られたためである，

3. 3. 3 音声ガイド
初心者が練習するうえで，音楽学習時に一般的に用いられる指導音声を再現する．今回は，初心者が身体動作である指の動きを覚えやすくするための音声ガイドとして，•

見た目ガイド： 譜面の形を提示，•個数ガイド ：ノートの個数を提示，•リズムガイド ：リズムを提示という 3 つの観点に基づいてガイド音声を自動生成した．実際の処理の際には，各観点に優先順位を設け，見た目ガイドがつけられる条件に当てはまる場合には見た目ガイドをつけ，そう
でなく個数ガイドの条件が当てはまる場合は個数ガイドをつけるというように，上から下に処理を適用した．最終的に条件に上の 3 つの条件のどれにも当てはまらなかった部分にはリズムガイドとして「タ」と「タン」の音声を割り当てた．実際の処理の優先順位として，見た目ガイドを適応したのち，個数ガイドを適応し，残りの区間にリズムガイドを適応した．この際，した長さを本稿における 1 拍と定義する．
見た目ガイドは，ノートが形成する見た目を言語化し，音声としてプレイ状況に合わせて出力する．図 4 にノートが上方向から流れてくる場合の例を示す．ある特定のノートと次のノー
トの，時間的な差と移動レーン数に合わせて，階段状とトリル
状の譜面パターンの際に，音声を付与する．
すべての時間的な差が 1 拍以下かつ，特定の方向にずれて配置されていた場合，そのノート群を階段状であるとみなす．ただし，この時のずれ幅が 1 レーンまたは 2 レーンの場合のみ対象とした．階段状と見なされたノート群は，特定の方向とは反対の方向に「から」をつけた（すなわち，「右から」，または「左から」）音声ガイドが付与される．図 4 の左の図を例に説明す
る．表示されている 5 個のノーツはそれぞれの時間的な差が 1
拍以下かつ，直前のノーツから左方向に 1 レーンずれて配置されているため，一番下のノーツのタイミングに「右から！」という音声ガイドが付与される．

4 個以上のノート群で，すべての時間的な差が 1 拍以下かつ，
特定の 2 レーンに交互に配置されていた場合，そのノート群
をトリル状であるとみなす．図 4 の右の図を例に説明する．表
示されている 5 個のノーツはそれぞれの時間的な差が 1 拍以下
かつ，左から 2 レーン目と 4 レーン目に交互に配置されているため，一番下のノーツのタイミングに「交互に！」という音声ガイドが付与される．
個数ガイドとして，複数のノートを等間隔でタップする必要のある場合，あるいは複数のノートを同時にタップする場合に，ガイド音声を付与する，流れてくるノートが何個存在するかを提示する．個数ガイドを適応した際に提示されるガイドを図 5に示す．ノートが同一レーン上に等間隔で n 個（n は 3 以上）
連続で並んでいた場合と，ノートが同一タイミングで n 個（nは 2 以上）並んでいた場合，いずれも「n 個！」という音声ガ
イドが付与される．
リズムガイドとして，譜面形状が特定のパターンをとらず，なおかつ複数個をタップする必要がない場合に，流れてくる
ノートが形成するリズムをそのまま音声として付与した，具体的には，図 6 に示すように，「タンタタタン」などの音声である．任意のノートからすぐ次のノートまでの拍数が 1 拍以上の時は，「タン」という音声ガイドを付与する．拍数が 1 拍未満の

五個！

図5

二個！ 三個！

個数ガイドで生成されるガイドの例

図 7 Bemuse のプレイ画面

イ画面からリザルト画面に遷移する際に，サーバサイドに json
形式のログを保存するように手を加えた．
今回の実験では，プレイヤーの苦手な区間として絞り込む小節数を 4，スロー再生のテンポ変更率を元の楽曲の 0.8 倍と定義した．また，コンボが途切れる判定基準である前後 120 ミリ
タタタンタンタン

秒より外れたものをミスとして扱った．

タタンタンタタン

図 6 リズムガイドで生成されるガイドの例

4. 2 実 験 設 定
音楽ゲーム経験のない被験者に特定の楽曲だけを繰り返しプ

時は，「タ」という音声ガイドを付与する．

レイさせて，上達する度合いを評価する．12 名の被験者に iPad

これらの手法を組み合わせて用いることで，実際に楽器を練習する際に講師から受ける指導と同様の練習環境を，音楽ゲー
ムの練習に取り入れることができる，

2 名ごとに行われ，合計 2 曲をプレイし，所要時間は 1 時間程
おける楽曲プレイ時の基本速度である Lead Time を 1,800 ミ

被験者実験では，実際に被験者に音楽ゲームをプレイさせ，そのプレイログから，第 3 章で述べた 4 つの練習用譜面を作成して検証した．

•

繰り返しの有用性，•

音声ガイドの有用性された譜面を 1 回プレイし，そのログをサーバに自動送信した．
このログを元に被験者ごとにある 1 つの手法に基づく練習用のかを検証するために，実際に被験者に音楽ゲームで特定の曲を繰り返しプレイさせ，手法ごとに各回の上達度合を分析した．
実際の実験では，ブラウザで動作する音楽ゲーム上に提案手法を組み込み，各被験者に iPad を配布して操作させた．
装音楽ゲーム本体として，ウェブ上で動く BMS プレイヤーである Bemuse 5 を実験に用いた（図 7）．Bemuse でゲームプレ

http://bm98.yaneu.com/bm98/bmsformat.html
5：ﬂicknote 他, Bemuse - Beat Music Sequence
https://dt.in.th/bemuse.html#etymology

譜面が生成されるので，被験者はその譜面を 2 回プレイした．
その後，被験者は再度，最初にプレイしたのと同じ元の譜面を1 回プレイした．そして再度，そのログを元に生成された新しい譜面を 2 回プレイした．最後に，元の譜面をもう一度プレイし，最終的な練習成果とした．7 回のプレイを 1 セットとして扱い，1 人の被験者に対して，曲と手法を変えて，2 セットの実験を行った．

4

4：Urao Yane, BM98Data format speciﬁcation

4. 3 実 験 手 順

Bemuse の基本的な操作方法について説明した．被験者は指定の 3 つである．そこで，これらの要素それぞれがどの程度有効

4. 1 実リ秒に設定した．

はじめに各被験者に対して，音楽ゲームに関する概要と，提案手法が含む要素は，
スロー再生の有用性，

り 7 回，楽曲をプレイさせた．1 回の実験セッションは被験者度である．実験時には，初級者が対象であるので，Bemuse に

4 評価実験

•上のブラウザで提案システムにアクセスさせ，実際に 1 曲あた4. 4 比 較 手 法
被験者実験では，既存譜面のプレイログから，表 1 に示した

4 つの手法で，それぞれ上達度合いを比較する．今回実際に実験した楽曲と手法の組み合わせを，表 2 に示す．

表 1 比較する 4 つの手法
手法名

内容

ベースライン

元の譜面そのまま

スローリピート
音声ガイド
ミックス

表 3 各手法の正打率平均（%）と正打率のばらつき
プレイ回数

1

60.02

51.20

74.19

68.20

72.56

60.04

79.92

74.01

元の譜面を遅くし，弱点箇所を繰り返す

3

73.34

59.85

80.34

69.87

元の譜面に音声でガイドを追加

4

76.53

62.90

78.09

78.03

音声ガイド付き譜面をスローリピート

5

70.95

62.51

75.27

71.03

6

74.66

67.08

79.33

73.27

7

81.83

66.16

78.24

75.84

増加量（7-1）

21.81

14.95

4.05

7.64

標準偏差（初回）

21.60

17.95

12.25

9.99

標準偏差（平均）

18.86

15.83

12.25

13.17

2 曲目

手法 1

手法 2

ベースライン

ミックス

音声ガイド

ミックス

スローリピート

ミックス

ミックス

ベースライン

2
自分事

夢の地図と僕らの旅。

4
5

ミックス

音声ガイド

6

ミックス

スローリピート

7

ベースライン

ミックス

音声ガイド

ミックス

スローリピート

ミックス

ミックス

ベースライン

8
9

自分事

10

夢の地図と僕らの旅。

11

ミックス

音声ガイド

12

ミックス

スローリピート858075

正打率（%）

1 曲目

1
3

ベースライン2

表 2 被験者ごとの楽曲と手法の組み合わせ
被験者

ミックス 音声ガイド スローリピート

70
65
60

4. 5 実験タスク
評価実験には，「夢の地図と僕らの旅。 6 」と「自分事 7 」の55

2 つの楽曲を使用した．実験用譜面の選考にあたって，有名な

50
1

BMS イベントである「THE BMS OF FIGHTERS 」に投稿
8

曲のテンポが途中で変更されない，•曲の長さが 100 秒（1 分 40 秒）を超えない，または超

3

4

5

6

7

プレイ回数

された譜面の中で，

•

2

ミックス

音声ガイド

スローリピート

ベースライン

図 8 各手法における正打率の平均の推移

えないようにカット可能である，
つもタップできなかった場合に 0 パーセントとなる．

•

同時にタップする必要のあるノートが 4 つを越えない，•全体を通してノートの密度が秒速 4 個を越えない

各手法の正打率の平均を表 3 と図 8 に記す．初回プレイと最ものを選択した．これは，本実験の目的である音楽ゲーム初心終プレイで，最も差が大きかった（すなわち，上達度合が大き者の上達に見合う条件として設定したものである．実際の実験かった）のはミックス手法で，その差は 21.81 ポイントであっ時には，楽曲の前奏を除去したうえで前半部分を切り出して用た．一方，最も差が小さかったのはスローリピート手法で，そいた．これらの楽曲では，1 秒あたり 3.5 個程度のノートをタッの差は 4.05 ポイントであった． 手法ごとの回数ごと，被験者ごプする必要がある．

とのスコアのばらつきについて，標準偏差を算出した．最も標準偏差が大きくなったのはミックス手法の第一回目で，その値4. 6 実 験 結 果
本節では，被験者実験の結果について述べる．本実験では，各プレイログにおいて，プレイヤーがどれだけ正しくノートを

は 21.60 ポイントであった．一方，最も標準偏差が小さくなったのはベースライン手法の第一回目で，その値は 9.99 ポイン
トであった．

タップできたかを表す指標として，正打率を算出した．具体的には，そのノートがタップされるべきタイミングの前後 60 ミリ
秒未満にタップされた場合を正解として，曲中に含まれるノー
トの数によって正規化した．すなわち，正打率はすべてのノートを正しくタップできた場合は 100 パーセント，ノートをひと

5 考察

実験結果をもとに，本手法の有用性について議論する．今回譜面に手を加えた 3 つの手法のうち，どれが実際に習熟度を上げることができたたかを，元の譜面で練習するベースライン手法と比較して論じる．

6：AOiRO Manbow, No.287“夢の地図と僕らの旅 / Kuwagata feat. つゆり花鈴”
http://manbow.nothing.sh/event/event.cgi?action=More_def&num=

はじめに，ミックス手法の有用性が，成長率において顕著に高かった．表 3 から，ミックス手法の正打率の増加度合いが287&event=123

21.81 ポイントと，他の手法と比較して高くなった．このよう

7：AOiRO Manbow, No.181 “自分事 / やんかな feat. つゆり花鈴”

な結果になる要因として，今回提案した手法が実際に音楽ゲー

http://manbow.nothing.sh/event/event.cgi?action=More_def&num=
181&event=133
8：BOF 実行委員会, THE BMS OF FIGHTERS TERMINAL
https://www.bmsoffighters.net/index.html

ムの上達に有効であり，その差が結果として現れたためだと考えられる．一方で，今回の実験における被験者の中で，ミックス手法を試した被験者に，音楽ゲームの上達が速い人が多く居た可能性も考えられる．しかし，その他の手法に関しても被験表 4 各セットの 1 回目の正打率（％）

者数は同数であり，プレイ順は異なってもその被験者は別手法

平均値

標準偏差

も同数プレイしているため，ミックス手法の被験者に音楽ゲー

先にプレイした曲

1 曲目 2 曲目 1 曲目 2 曲目

ムの上達が速い人がとくに多く居たとは考えにくい．

夢の地図と僕らの旅。

50.72

78.67

16.44

9.60

次に，スローリピート手法において，上達効率の低下がみら

自分事

60.94

58.77

21.93

16.26

れた．他の手法やベースライン手法に比べて，スローリピート

2 曲合計

55.83

68.72

20.04

16.65

手法の正打率の増加度合いは，4.05 ポイントと相対的に低くなった．理由として，速度の変更が初心者にとって負担であった，ということが考えられる． 3. 3. 1 項に記述したように，楽曲中で速度変更や急激な変化があると，初級者はそれにとっさ

6 まとめと今後の課題に対応できない可能性がある．実験において，4 回目と 7 回目

本稿では，音楽ゲームの操作ログを分析することで，各個人の演奏時には速度が変化するため，初級者の上達を阻害した可の弱点に合った練習用譜面の自動生成を提案した．Bemuse の能性が考えられる．

ログを受け取り，実際にプレイすることのできる練習用譜面をこれらを踏まえると，音声ガイド手法とスローリピート手

自動生成するモジュールを作成した．それぞれの異なる手法で法の相乗効果があったことが示唆される．手法にスローリピー生成された譜面について，実際に音楽ゲームを練習する被験者

ト手法が組み込まれているミックス手法は，上達の阻害を受け実験で，上達を正しく促進できているかどうかを評価した．結ている可能性も考えられる．しかし，ミックス手法は正打率の果として，ミックス手法の正打率の増加度合いが 21.81 ポイン

増加度合いが他の手法と比較して高くなっている．

トと，他の手法と比較して高い評価が得られた．一方，スロー

これは，音声ガイドによるフレーズの内在化が，スローリ

リピート手法の正打率の増加度合いが 4.05 ポイントと，他の手ピート手法によって促進されたと考えることができる．初級者

法やベースライン手法に比べて小さかった．以上から，スローが上達するにはリズムの内在化が必要であり，音声ガイド無し

リピート手法単体では，楽曲速度変更が初級者の上達を阻害しでリズムを内在化する際，テンポが遅過ぎるとビート（拍）感てしまったが，音声ガイド手法によるフレーズの内在化が，スを感じにくくなり，リズムの内在化が困難になる．ミックス手

ローリピート手法によって促進されたと考察できた．

法は，スローリピート手法によって楽曲全体が遅くなり，その今後の課題として，苦手な区間の抽出精度の向上が挙げられプレイヤーの苦手な区間が何度も繰り返し提示されたうえで，る．今回は各ノートの評価値を小節毎に平均しているだけで，音声ガイド手法によってフレーズが提示されることで，フレー

区間内のノートの個数や，ノートの配置による難易度に対してズの内在化を強く促せたのではないかと考えられる．

重み付けをしていない．1 小節 1 ノートの区間でミスをした場

一度完璧に覚えた歌はテンポを変えても歌えるように，一度合と，1 小節 10 ノートの区間で 1 つでもミスでない判定を取っプレイヤーがリズムを内在化させた後は，テンポの変動に強た場合では，前者を苦手な区間と判断してしまう．これは音楽くなる可能性がある．音声ガイド手法が従来のテンポだと速すゲームをプレイするうえでの直感に反するので，改善が必要でぎる，かつ一度しか提示されないことにより，フレーズの内在ある．また，今回の実験では，被験者数が十分でなく，統計的化を促しきれなかったと考えると，正打率の増加量が音声ガイな差を見出せなかった．今後，より大規模な実験を行いたい．

ド手法とミックス手法で 6.96 ポイントの差が付いた事にも説明が付く．
評価実験時の手法と楽曲のうちどれを先に試したかによって，順序効果が結果に反映された可能性がある．今回の実験において，1 曲目にプレイした曲とは別の曲を 2 曲目にプレイしているので，その 2 つの平均値を比較した．この際，どちらの曲を謝辞

本研究は JSPS 科研費 18K18161（代表：莊司慶行），18H03243（代表：田中克己）の助成を受けたものです．ここに記して謝意を表します．

先にプレイした場合も，2 曲目のプレイ時には，正打率の平均値が上昇していることが分かる．これは，1 曲目のセットをプレイしている間に音楽ゲームの能力が向上し，2 曲目のセットで初めて見る譜面でもその能力が発揮できたためであると考えられる．
標準偏差を比較すると，「自分事」を 1 曲目にプレイした場
合は，「夢の地図と僕らの旅。」を 1 曲目にプレイした場合に比べて，2 曲目で偏差が大きく下がっていることが分かる．また，曲同士で比較しても，「夢の地図と僕らの旅。」の方が偏差が小さいことが分かる．このことから，「夢の地図と僕らの旅。」が「自分事」に比べて，プレイ結果に個人差の出にくい譜面であったことが推測される．

文

献[1] Lisa M. Maynard. The role of repetition in the practice sessions of artist teachers and their students. Bulletin of theCouncil for Research in Music Education, pp. 61–72, 2006.
[2] Patricia K. Shehan. Eﬀects of Rote Versus Note Presentations on Rhythm Learning and Retention. Journal of Research in Music Education, Vol. 35, No. 2, pp. 117–126,
1987.
[3] Chris Donahue, Zachary C. Lipton, and Julian McAuley.
Dance Dance Convolution. In Doina Precup and Yee Whye
Teh, editors, Proceedings of the 34th International Conference on Machine Learning, Vol. 70, pp. 1039–1048, 2017.
[4] Yubin Liang, Wanxiang Li, and Kokolo Ikeda. Procedural
Content Generation of Rhythm Games Using Deep Learn-ing Methods. In ICEC-JCSG, 2019.
[5] Johanna Höysniemi. International Survey on the Dance
Dance Revolution Game. Comput. Entertain., Vol. 4, No. 2,
pp. 8–es, Apr 2006.
[6] Charlotte Pierce, Clinton J. Woodward, and Anthony Bartel. Learning Management Models in Serious Mobile Music Games. In Proceedings of the Australasian Computer
Science Week Multiconference, ACSW ’20, New York, NY,
USA, 2020. Association for Computing Machinery.
[7] Ruei-Min Lin, Hwai-Chung Ho, and Kuan-Ta Chen. Bot detection in rhythm games: a physiological approach. In Proceedings of the 8th International Conference on Advancesin Computer Entertainment Technology, pp. 1–8, 2011.
[8] Yu-Hsiang Lin, Hui-Fen Mao, Kai Neng Lin, Yuan Ling
Tang, Chao-Lin Yang, and Jui-Jen Chou. Development and
Evaluation of a Computer Game Combining Physical andCognitive Activities for the Elderly. IEEE Access, Vol. 8,
pp. 216822–216834, 2020.
[9] Roger B. Dannenberg, Marta Sanchez, Annabelle Joseph,Peter Capell, Robert Joseph, and Ronald Saul. A computerbased multi-media tutor for beginning piano students. Journal of New Music Research, Vol. 19, No. 2-3, pp. 155–173,
1990.
[10] Stephen W. Smoliar, John A. Waterworth, and Peter R.
Kellock. pianoFORTE: a system for piano education beyond notation literacy. In Proceedings of the third ACM
international conference on Multimedia, pp. 457–465, 1995.
[11] Roger B. Dannenberg, Marta Sanchez, Annabelle Joseph,
Robert Joseph, Ronald Saul, and Peter Capell. Results fromthe piano tutor project. In Proceedings of the Fourth Biennial Arts and Technology Symposium, pp. 143–150, 1993.
[12] Lily Gower and Janet McDowall. Interactive music video
games and children’s musical development. British Journalof Music Education, Vol. 29, No. 1, pp. 91–105, 2012.
[13] Tomohiko Nakamura, Eita Nakamura, and Shigeki
Sagayama. Real-Time Audio-to-Score Alignment of Music Performances Containing Errors and Arbitrary Repeats
and Skips. IEEE/ACM Transactions on Audio, Speech, andLanguage Processing, Vol. 24, No. 2, pp. 329–339, 2016.