FIT2022（第 21 回情報科学技術フォーラム）E-014
隠れマルコフモデルを用いたピアノ練習演奏の弾き間違い分析
Analysis of Playing Errors in Piano Practice Performance with HMM
加藤 徳啓†1
中村 栄太†2
Norihiro Kato Eita Nakamura

峯 恭子†3
Kyoko Mine

1. はじめに
近年広がりをみせている身体知の研究には，人間理解や人工知能への応用など多くの分野への発展が考えられている[1]．身体知にはスポーツ，ものづくりの現場での熟練ス
キルの伝承など多くの種類があり，音楽演奏もそのひとつである．音楽を情報処理の観点から取り扱う音楽情報科学の分野では，演奏支援研究が身体知獲得をサポートするものと位置づけることができ，さまざまな楽器でリズム練習支援など多様な支援システムが開発されてきた．なかでもピアノは楽器の中でもっともポピュラーなものであり，演奏支援システムの研究もこれまで多く行われてきているが，その評価実験は 1 日 15 分～30 分程度の練習を数日間という期間で行われるのが一般的である．一方で，演奏技能の習得には通常，年単位の長い期間が必要であることを考えれば，従来の演奏支援システム研究よりも長期にわたって演奏データを記録し，分析していくことの重要性は非常に高いと考えられる．
そこで筆者らは，多数のピアノ初心者の練習演奏を長期的に記録したデータから演奏が上達していく過程を定量的に分析する研究を進めている[2]．本稿では，効果的と考えられる練習方法を学習者および指導者に提供することを目指して，特に練習演奏の演奏誤りに焦点をあてて分析する．
そのために，隠れマルコフモデル(HMM)を用いて演奏デー
タと楽譜データのアラインメントをとって演奏に対応する楽曲を推定したうえで，音高誤り, 余分音符, 不足音符などの頻度の経時的な変化を分析・可視化した．

2. 検討手法
対象としたデータは，2018 年度に大阪大谷大学教育学部
幼児教育専攻で実施されたピアノのグループ授業 3 クラス
68 人分 (初心者クラス) の練習演奏である．毎週 90 分の授業時間について，原則的にすべての演奏を記録した．授業
では電子ピアノを使用しており，演奏データ記録には電子ピアノ付属の MIDI データ記録機能を用いた．学生は 90 分の授業時間中に，教員の個別指導をうける時間と，個人で自由に練習できる時間があり，後者においてはバイエルや保育曲を何曲か並行して練習する．MIDI データには録音開始から終了までの演奏内容が連続して記録されているため，無音区間などを削除するとともに区切ってセグメントに分割する．各演奏セグメントがどの曲を演奏したものかを検索するために，候補楽譜全体に対して HMM を用いてアラインメントを行って[3]，楽曲を最尤推定するとともに，演奏と楽譜の適合度合いを表す Uniqueness と Reliability と呼ぶ 2 つの指標を計算する．Uniqueness は検索結果の候補数を表す数値で，楽曲ごとのアラインメントの確率分布か

土江田 織枝†1山田 昌尚†1
Orie Doeda Masanao Yamadaら計算したパープレキシティーの逆数に 100 を掛けたものである．これが 100 に近いときは検索候補がほぼ 1 曲に限られることを表す．Reliability は推定楽譜と演奏データがマッチした時の確率値の対数をとったもので，0 に近い演奏ほど楽譜に合致している音符が多い．これらの指標を用いて推定した演奏曲をもとに，演奏者ごとおよび演奏曲ごとの演奏誤りの傾向を分析する．
演奏誤りは HMM によるアラインメントを行うことで見つけ出し，音高誤り，余分音符，不足音符の 3 種類に分類する．各楽譜音符に対応する演奏音符は 1 つまでとし，音高誤りは演奏上の音高の誤りを表す．余分音符はどの楽譜音符にも対応付けされない演奏音符を示す．不足音符はどの演奏音符にも対応付けされない楽譜音符である．
この演奏誤りの検出方法について簡単に説明する．まず，HMM のパラメータとして，和音を弾き飛ばす誤りや弾き直しの確率，演奏タイミングの揺らぎの大きさなどの値を与えておく．アラインメントは以下の 2 つの手順で行う．
第一の手順では，和音単位でのビタビ整列を行ない，演奏に含まれる余分な和音を検出する．第二の手順では，対応付けがなされた各和音に対して，音高方向のビタビ整列によって音符単位の対応付を行ない，音符単位での余分音符と音高誤りを検出する．楽譜と演奏のアラインメントおよび演奏誤りの結果の例を図 1 に示す．次節の分析では，この演奏誤りの検出結果を用いる．

3. 分析
分析対象の MIDI データは 2018 年度 1 年間の 68 人分の演奏データであり，ここから 3 秒以上の無音区間を削除して分割し 1 秒以下のデータを除外すると 73,763 セグメントとなり，合計演奏時間は 841.7 時間である．推定楽曲候補は，授業の教材となっているバイエル 79 曲と弾き歌い 16曲の計 95 曲とした．68 人から無作為に選んだ 10 人の演奏の中から 800 セグメントを聴取し，演奏されている楽曲を確認した結果，バイエルが 357 (44.6%)，弾き歌いが 147(18.4%)，楽曲判別不能なセグメントが 296 (37.0%) あった．
800 セグメントの演奏データについて，人間による判別結果と第 2 節で述べた手法での推定楽曲から適合度の高い上
正解楽譜③ 不足音符演奏① 音高誤り†1 釧路工業高等専門 National Institute of Technology,Kushiro College†2 京都大学 Kyoto University†3 大谷大谷大学 Osaka Ohtani University② 余分音符図1241
第 2 分冊

楽譜と演奏のアラインメント結果

Copyright © 2022 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.

FIT2022（第 21 回情報科学技術フォーラム）絞り込み条件なし

図2

4. まとめピアノ初心者を多く含む長期間の練習演奏記録を HMMによる楽曲推定と演奏誤り検出にもとづいて分析した．演
奏誤りは音高誤り，余分音符，不足音符の 3 種類に分け，これらを用いて誤りの推移を分析・可視化した．このように演奏技術の獲得過程を分析・可視化することはこれまで行われておらず，身体知研究のうえで意義があるものと考えられる．分析結果からは，練習日毎および演奏期間全体を通じて演奏誤りが減少することが確認できた．今後はさらに分析を進めて，上達の早い演奏者が実践している練習の特徴などを抽出できれば，データにもとづいた効果的な練習方法を学習者や指導者に提案できると考えられる．
謝辞
本 研 究 の 一 部 は JSPS 科 研 費 21K02846, 21K12187,
22H03661 の助成を受けています．
参考文献[1] 諏訪正樹. "身体知という研究領域." 人工知能学会誌 Vol.32,
No.2 , pp.215-217, 2017.
[2] 加藤徳啓，谷口寛翔，中村栄太，峯恭子，土江田織江，山田昌尚, “隠れマルコフモデルを用いたピアノ学習者の練習時間分析,” 情報処理学会第 84 回全国大会, 2022.
[3] Eita Nakamura, Kazuyoshi Yoshii, Haruhiro Katayose, "PerformanceError Detection and Post-Processing for Fast and Accurate SymbolicMusic Alignment", Proc. ISMIR, pp. 347-353, 2017.

割合（%）

何回目
図3

正解音符と演奏誤りの推移

音高誤り割合（%）

位 5 曲を比較した結果を図 2 左に示す．第 1 候補と一致したセグメントが 386 (48.3%)，第 2 候補が 10 (1.3%)，第 3候補が 14 (1.8%)，第 4 候補が 5 (0.6%)，第 5 候補が 2(0.3%)，第 1～5 候補に一致しない演奏が 87 (10.9%) あった．
ほかに上記の通り判別不能なセグメントが 296 (37.0%)ある．
以上の結果より，すべてのセグメントを分析の対象とす
ると約半数が HMM の楽曲推定による第 1 候補と一致しないことから，人間が聞いても演奏楽曲を特定できないセグ
メントを分析対象から除外するために，Uniqueness が 100，Reliability が-3 以上，音符数が 20 以上を条件として 800 セグメントの演奏を改めて楽曲判別した結果を図 2 右に示す．
条件に合致したセグメント数は 349 で，そのうち第 1 候補と一致したセグメントが 290 (83.1%)，第 2 候補が 2 (0.6%)，
第 3 候補が 3 (0.9%)，第 4 候補が 2 (0.6%)，第 5 候補の該当はなく，第 1～5 候補に一致しない演奏が 38 (10.9%) であった．この 3 つの条件をデータ全体の 73,763 セグメントに対して適用すると 29,205 セグメントが条件に合致する．
以降はこれを対象として演奏誤りの分析を行う．
まず，各々の演奏者が各々の演奏曲を演奏したときに演奏誤りの割合がどのように推移するかを確認した．ある演奏者がバイエル 30 番を演奏したときの，1, 18, 36, 53 回目での演奏誤りの推移を図 3 に示す．正解音符，音高誤り，余分音符の数を合計すると演奏データの音符数に等しくなるためこれを 100%とし，楽譜にあるが演奏されていない不足音符を上乗せして割合を表示している．その結果，正しい演奏である正解音符が増加し，音高誤り，余分音符，不足音符の全ての演奏誤りが減少していった．正解音符の増加と，音高誤り，余分音符の減少からは，練習を重ねるにつれて演奏誤りを克服し，楽譜通りの演奏ができるようになったことがわかる．また，不足音符が減少しているのは，練習の初期段階では途中で演奏が止まったり楽譜の一部分だけを取り出して練習することで，楽譜の他の部分が不足音符となっていたものが，練習を重ねるにつれて楽譜の広い範囲を続けて演奏できるようになっていったことが大きな要因だと考えられる．
次に，ある演奏者のバイエル 30 番の音高誤りを演奏日毎に分けて表し，1 次関数で回帰をとった結果を図 4 に示す．
音高誤りは，期間全体で演奏回数を重ねるにつれて減少する傾向がみられる．また，それぞれの演奏日毎に見ても減少傾向にあるが，次の演奏日になると音高誤りが一時的に増加し，再び次第に減少している．他の演奏者の場合にも同様の状況を示すデータが得られており，練習が複数の日にわたる場合，以前にできていたことを練習によって思い出すという，演奏技術の獲得過程を定量的に示すことができたと考えられる．

何回目

絞り込み条件あり

HMM による楽曲推定結果

図4242
第 2 分冊

演奏日毎の音高誤りの推移

Copyright © 2022 by
The Institute of Electronics, Information and Communication Engineers andInformation Processing Society of Japan All rights reserved.