WISS 2022

撥音楽器のスケール練習における拍ずれの可視化システム
内田 裕也 ∗井尻 敬 ∗概要. 本研究では，楽器演奏における正確なリズムを身に着けられるスケール練習の支援を目的とし，撥音楽器におけるアタックの瞬間の微小なずれを可視化できる『拍チューナ』を提案する．提案システムはメトロノーム機能を備えており，ユーザは提案システムの出力する拍の音に合わせて 30 秒から 1 分程度スケール練習を行う．するとシステムは，スケール練習時の演奏音からアタック音を検出し，正しい拍と実際の演奏とのずれを可視化する．さらに，繰り返し練習におけるずれの傾向を把握できるよう，1 小節の各拍に対応するアタック音の平均位置と分散を正規分布を用いて可視化する．提案システムを使用することで，演奏時の微小なリズムのずれや，リズムがずれやすい拍を確認できるようになり，リズムに関する効率的な練習ができると期待される．

1

はじめに楽器演奏において，正確なピッチ（音程）とリズムで演奏することは大切である．正確なピッチとリズムで演奏する技術を向上するためにメトロノームに合わせて決まった音階を繰り返し演奏するスケー
ル練習と呼ばれる練習法が広く行われている．ここで，スケール練習において，ピッチについては，音が鳴っている間のある程度長い時間確認できるため，自身のピッチのずれは比較的認識しやすい．一方，リズムは撥音時の一瞬のみにしか確認できる猶予がないため，自身のリズムのずれは認識しにくいという問題がある．
リズム感向上のための練習支援に関する手法が提案されている．Huang et al. は，振動装置を搭載したグローブによるピアノ練習システムを提案した[1]．また，Holland et al. は，同じく振動装置を利用して触覚に作用するドラムリズム練習システムを提案した [2]．しかし，これらのシステムでは，テンポが速くなると手足を動かすのが追いつかなくなる，装置を身体に装着することから演奏の妨げになるなどの問題点がある．
そこで本研究では，正しいリズムを身に着けられるスケール練習の支援を目的とし，ギターやピアノなどの撥音楽器におけるアタックの瞬間の微小なずれを可視化できるシステム『拍チューナ』を提案する（図 1）．提案システムは，スケール練習時の音からアタックのタイミングを検出し，正しい拍と実際の演奏とのずれを 2 次元グラフにより可視化しユーザに提示する．これにより，演奏時の微小なリズムのずれやリズムがずれやすい拍を確認できるようになり，リズムに関する効率的な練習が可能となるとCopyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗芝浦工業大学

図 1. 提案システムを利用してギターのスケール練習を行う様子（a, b）と提案システムによる拍ずれの可視化結果（c）．

期待される．

22.1

提案手法
ユーザインタフェース

提案システムを利用してギターのスケール練習を行う様子を図 1 に示す．まずユーザは，収音用のマイクを楽器に装着する（図 1b）．提案システムはメトロノーム機能を備えており，ユーザは練習のテンポと拍子を指定しメトロノームの拍音に合わせて 1分程度スケール練習を行う．するとシステムは，スケール練習時の演奏音からアタック音を検出し，正しい拍と実際の演奏とのずれを可視化する（図 1c）．

WISS 2022

提案システムは，練習時の微小なリズムのずれを，1 小節分の 2 次元グラフ上に可視化する．このグラ
フには，4/4 拍子の各拍に対応する 4 本の太い垂直線が描かれ，練習中に検出されたすべてのアタック音はこのグラフ上にリアルタイムにプロットされる．
練習が進むにつれて，アタック音のプロット位置は徐々に下方向に移動する．また，現在の拍位置が視覚的にわかりやすくなるよう，赤色の垂直線が左から右に移動する．練習後，繰り返し練習におけるずれの傾向として，各拍に対応するアタック音の平均と分散が正規分布として可視化される．

2.2

アタック検出提案手法では，楽器のスケール練習の演奏音からアタック（撥音した瞬間）のタイミングを検出する必要がある．図 2 にアコースティックギターを利用しスケール練習を行った際のスペクトログラムを示す．この図より，約 2〜4kHz の帯域において，撥音した瞬間に大きな値が現れ，その後すぐに減衰するという特徴があることが分かる．そこで本研究では，マイクより取得した演奏音をフーリエ変換し，2〜4kHz に該当する周波数係数の絶対値を閾値処理することでアタックを検出する．
具体的なアタック検出の処理は下記の通りである．
まず，練習中のある時点において，Nf ull フレーム分の音声データを取得する．このデータの先頭からNof f set フレームずつずらしながら，長さ Nblock フレーム分のブロックを複数切り出す．Nof f set を小さくすると，隣接するブロックは一部重なり合うる．
続いて，各ブロックに対して高速フーリエ変換処理を施し，2〜4kHz の周波数係数の絶対値の総和 si を算出する．最後に，i 番目のブロックについて，総和の値が閾値を超え（si > T1 ），かつ，着目ブロックの総和の値が前ブロックの値よりも十分大きくなっている（（si − si−1 > T2 ））とき，このブロックをアタックと判断する．
本研究では，サンプリング周波数を 44.1kHz，Nf ull= 2048（約 46 ミリ秒に相当），Nblock = 1024（約23 ミリ秒），Nof f set = 512（約 12 ミリ秒），という値を利用する．また，アタック音が連続的に検出されることを防ぐため，一度アタックを検出した際，1 拍の 50%の時間は新たなアタックを検出しないものとする．さらに，提案システムが出力するメトロ
ノームの音をマイクより入力し，それをアタックとしてプロットすることで，システムに由来する入力音の時間ずれを取得し，その補正値をユーザが手作業で入力できる枠組みを提供する．

3

結果と展望

アコースティックギター経験者と初心者が提案手法を利用して，スケール練習を行った結果を図 3 に示す．経験者の練習結果では，アタックの瞬間が拍図 2. アコースティックギターにて，スケール練習をした際のスペクトログラム．

図 3. 提案システムを初心者が使用した例（a）と，経験者が使用した例（b）.

付近にまとまっているのに対して，初心者の練習結果ではアタックが正しい拍とずれていることが一目でわかる．また，経験者の結果でも，1，2 拍目において，若干リズムが遅れ気味となる傾向がみられる．
提案手法を利用すると，通常は認識しにくいリズムのずれやその傾向が一目で観察できるようになる．
本研究の最も重要な将来課題は，アタック検出の精度評価である．アタックのタイミングが既知である電子音源などを用いて提案手法のアタック検出精度を評価する予定である．また，現在は，アコースティックギターを仮定してアタック検出の閾値を調整した．今後，様々な楽器・環境に対応できるよう，楽器ごとの閾値切替や，閾値の自動調整を行いたい．

撥音楽器のスケール練習における拍ずれの可視化システム

参考文献[1] Kevin Huang et al. Pianotouch: A wearable haptic piano instruction system for passive learningof piano skills. In proc. IEEE ISWC 2008, pp.
41–44, 2008.
[2] Simon Holland et al. Feeling the beat where it
counts: Fostering multi-limb rhythm skills withthe haptic drum kit. In Proc. TEI 2010, 2010.