第 6 回 東北地区音響学研究会 (2023 年 11 月 25 日) 資料番号 6-10

オンセット検出を用いたギターコード演奏楽音の認識に関する一検討 ∗〇近藤駿, 鴨澤秀郁, 田中元志 （秋田大）

1

はじめに

2.1

音楽を扱うサービスが広く普及してきており，音楽情報処理に関する研究の重要性が高まっている [1] 。
その中でも，楽曲の分析や保存のために，演奏楽音かオンセットの検出方法オンセット検出に，次式で求められるスペクトルフラックス（SF; Spectral ﬂux）を用いた。
∑max(0, (X[n + 1, k] − X[n, k])2 ) (1)SF [n] =ら自動で楽譜を作成する自動採譜技術が望まれていkる。楽音からの採譜は，初めに音高認識を行う必要

ここで，k はパワースペクトル X における周波数ビがあり，単音の場合では，基本周波数を検出すること

ン，max(A, B) は A と B のうち大きい方を返す関数

によって音高を認識することができる。多重音の場合である。しきい値を超えた SF のピークを検出し，そは，発音音高の倍音の周波数が，他の発音音高およびの時刻をオンセットとして検出する。

その倍音の周波数と近い値となるため，単純な周波数ギターコード演奏楽音（C コードを 8 回演奏）の検出による認識は難しい。コードの種類が分かれば，オンセット検出結果例を Fig. 1 に示す。(a) は時間波

コード譜を作成することができ，採譜の補助になる。

形，(b) はそのスペクトログラム，(c) は SF とオンコード認識の方法として，クロマベクトルを用いたセット検出結果である。図 (c) 中の点線は，最も精度手法について多く検討されている[2, 3]。

よくオンセット検出できるように決めたしきい値で筆者らは，コードの構成音をデータベース（DB）ある。発音に対応したオンセットを検出できていることし，そこから求まる倍音の情報を含む構成音情報をとが確認できる。なお，今回の解析条件では，実際の用いたコード認識方法を提案した[4]。理想的なコー発音時間との誤差は約 27 ms であった。この誤差をド演奏楽音を 800 音以上用意し認識を行った結果，全考慮すると，4 分音符の演奏でテンポ 380 程度までの体で 94%以上の認識率が得られ，その有効性を示し楽音が認識可能と考えられる。

た。オンセット（発音）検出とこの手法を用いて，実際に連続して演奏された楽音のコード認識を試みた

2.2

コードの認識方法 [4]

コード認識に用いる，構成音情報を用いた認識アが，よい認識率は得られなかった [5] 。
本研究では，構成音情報を用いたコード認識方法

ルゴリズムについて，以下にまとめる。

を用いて，オンセット検出後の数フレームについ(1) 解析フレームのスペクトルから，複数の倍音に対てコードを推定し，それらの結果を多数決処理する

応するピークをもつ音高を抽出し，その音高に対応ことによって，演奏されたコードを順次認識する方法

する MIDI ノートナンバーに変換する。

を検討する。テンポと音符長を変えて，複数の異なる(2) 最も低い音階番号 nL から nL + 31 までの成分をコードを連続して演奏した楽音を用いて認識実験を演奏音情報として抽出する。

行い，認識率を評価する。

(3) 抽出されたノートナンバーを最も低いノートナン[4]

バー nL を 1 として正規化し，演奏音情報 PSI（Played2Sound Information）とする。

演奏楽音のコード認識方法
ギターコード演奏楽音を，フレーム長 100 ms（ハニング窓），シフト長 5 ms，216 点 FFT で時間-周波数解析し，以下の手順でコードを認識する。

(4) DB（コード構成音のみ）から倍音情報を含めた構成音情報 CTI（Constituent Tone Information）を求める。PSI と CTI を比較し，一致度が最も大きい“コード候補” を選択する。

(1) スペクトルフラックスを用いたオンセット検出(5) コード候補の DB の根音に対応する音階を検出し，(2) オンセット検出時刻から 5 フレームを抽出

解析フレームのコードを推定する。

(3) フレーム毎にコード認識(4) 結果を多数決処理して発音コードを決定(5) 次のオンセットを検出し，(2)〜(5) を繰り返す
これまでは切り出したすべてのフレームについて

3

ギターコード演奏楽音の認識

3.1

実験用コード演奏楽音

コード演奏楽音を，エレキギターの音がサンプリ

コードの識別を行っていたが，本手法により，より少ない計算量でのコード認識が期待される。
∗

ングされた VSTi 音源 [6] を用いて，DAW（DigitalA study on chord recognition of musical guitar sound using onset detection, by KONDO, Shun,KAMOZAWA, Hidefumi and TANAKA, Motoshi (Akita University).

—1—

第 6 回 東北地区音響学研究会 (2023 年 11 月 25 日) 資料番号 6-10

Amplitude

10.5

Table 10

PatternTempo (BPM)-0.5

Pattern 175, 120, 150, 180，300, 360

Pattern 2120, 150-101234567

Tempo of the musical sound.

Time [s](a) Waveform

Table 2Frequency [kHz]-120-100-80

Magnitude [dB]-60-40-20020
1000123456

Result of the chord recognition.

PatternRecognition rate [%]Pattern 1
Pattern 2

76.3%
78.1%

Overall

77.2%

7Time [s](b) Spectrogram

Spectral flux

合に誤認識が多い結果となった。全体としての認識率は 77.2%であった。オンセット検出については，全Threshold
Detected onsets

0.02
0.015

体で 140 回の発音に対して，誤検出が 6 回であった。

0.01

Pattern 1 のテンポ 300 と 360 の場合に誤検出が多く，0.005

SF の時間変化を確認すると，発音に対するピークを001234567検出できない箇所があった。発音間隔が短い場合，周Time [s]波数成分が減衰しないうちに次の発音に移行するた(c) Spectral ﬂux and onset detection results

Fig. 1 Example result of time-frequency analysis
and onset detection of musical guitar sound.

め，同じコードの場合，フレーム間の周波数スペクトルの差が小さいためと考えられる。オンセット検出の高精度化が必要と考えられる。

4(a) Pattern 1(b) Pattern 2

おわりにオンセット検出後の数フレームからコードを多数Fig. 2 Musical scores for playing guitar chords.

決処理し，演奏されたコードを順次推定する方法を検討した。オンセットについては比較的高い精度で検出Audio Workstation）上で作成した。楽音は，すべてできたが，テンポが速い場合のコード認識率は思わし

ダウンストロークを模擬し，Fig. 2 に示す楽譜（1 小くなかった。今後は，演奏楽音を増やし，コード認識節分）の通り演奏された。Pattern 1 は，4 分音符 8の高精度化，機械学習の利用などについて検討する。

回のストロークとし，2 小節の楽音である。2 小節とも同じコード（C，CM7 ）を演奏した場合，1 小節でコードを変えた場合（C ⇒ G， C ⇒ Cm ）とし，テンポによる影響（演奏音の時間間隔の違い）を評価する。Pattern 2 では，別の VSTi 音源 [7] を用いて，コードを 1 小節毎に C ⇒ F ⇒ G ⇒ C と変化させた4 小節の楽音を用意した。各演奏パターンで，表 1 に示すようにテンポ（BPM）を変えた楽音を用意した。
テンポ 300 および 360 は，テンポ 150 および 180 でそれぞれ 8 分音符を演奏した場合に相当する。

3.2

コード認識結果と考察

コード認識を含めた結果（認識率）を表 2 にまとめる。Pattern 1 では，テンポ 180 までのコードはほぼ 100%認識できたが，演奏テンポが速い場合に誤検出が増えた。また，Pattern 2 でも，音符長が短い場

参考文献[1] 亀岡他: “音楽音響信号処理技術の最先端”, 信学
誌, 98(6), 467-474.
[2] T. Fujishima: 1999 Int. Computer Music Conf.
(Beijing, China), 464–467, 1999.
[3] E. Benetos, et al.: IEEE Signal Processing Magazine, 36(1), 20–30, 2019.
[4] Y. Bando, et al.:IEEJ Trans. Electr. Electron.
Eng., 17(1), 103-109, 2022.
[5] 近藤駿他：音学音楽音響研資, MA2022-63, 2022.
[6] Applied Acoustics Systems Inc.: “Strum Session2”,
https://www.minet.jp/brand/aas/strumsession/ （閲覧日 2023.11.2）[7] “Standard Guitar”, https://unreal-instruments.
wixsite.com/unreal-instruments/standardguitar/ （閲覧日 2023.11.2）—2—