情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2012-MUS-94 No.28
Vol.2012-SLP-90 No.28
2012/2/4

1. はじめにポピュラー音楽におけるギターソロの採譜支援システム
浅川智瑛†

本研究の目的は，ギタリストのギターソロの耳コピの支援を行うシステムの構築である．バンド形式での演奏においてエレキギターは最も人気の高い楽器であるが，その耳コピ（音符情報だけではなく，アーティキュレーションやニュアンスも模倣すること）には多くの音楽的な経験と感覚が必要とされる．特にギターソロというのはエレキギターの演奏における見せ場であるが，ハンマリング・プリング，チョーキングやビブラートといった様々な奏法が多用され，高度な演奏であるほどその内容は複雑かつ高速なものになるため，聞き取ることが困難となり，初心者が耳コピを行うのには多くの時間と労力を必要とする．
本研究ではユーザーのギターソロの採譜において，音源のギターソロのメロディをユーザーと共同で提示するシステムを提案する．従来の音高推定や自動採譜の手法の多くは単旋律，もしくは高々２，３種類の楽器による演奏を対象にしたものであり，市販の CD 音源に見られる複数の楽器による演奏が混在した複雑な音響信号を扱ってはいなかった．2)3)本研究に近い先行研究としてメロディとベースの音高推定 4)があるが，本研究の最終的な目的は音高推定だけではなく，ユーザーにスムーズな楽曲の模倣を行う環境を提供することであり，このような研究はこれまで十分に行われてこなかったといえる．
本稿ではそのような音響信号に対し，ユーザーと共同での採譜支援を行うためにギターソロと考えられるメロディをユーザーに提示する手法およびそれを活用するためのインターフェースを提案する．本手法では楽曲のギターソロが含まれる部分に対し，時系列に沿った優勢なピークの追跡結果として指定部分に存在するメロディを視覚的にモデル化する．この処理により楽曲を複数のメロディ群の集合とみなすことで，ユーザーは時間周波数空間上で目的のメロディがどのように存在しているかを容易に把握できる．
そして、時間軸上に並んだ動的バンドパスフィルタを操作するためのユーザインタフェースを提供することで、ユーザーはギターのメロディを強調して再生することが可能になる。

浜中雅俊††

本稿では，複数の楽器による演奏音が混在したポピュラー音楽において，ギターソロの採譜を支援するため，そのメロディを追跡する手法および支援のためのインターフェースを提案する．音高推定の研究はこれまで数多く行われてきたが、ギタリストの耳コピの支援にあたり存在する問題はそれだけにとどまらない。これらを明らかにしつつ、システム構築の手法について述べる。

System to support making score of guitar soloin popular music
TOMOAKI ASAKAWA†

MASATOSHI HAMANAKA††This paper describes about how to follow melodies of guitar solo in polyphonic popularmusic and interface to support to make scores. There are many approaches to estimate
pitch, but issues about supporting guitarist’s copying music are including other aspects.
We state about those issues and how to construct the system.

†††

1

筑波大学 工学システム学類 知的工学システム主専攻
University of Tsukuba
独立行政法人 科学技術振興機構 さきがけ 筑波大学
Japan science and technology agency University of Tsukuba

音楽情報処理研究室ⓒ 2012 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2012-MUS-94 No.28
Vol.2012-SLP-90 No.28
2012/2/4(2) 検出誤りの補正(3) 選択部分を強調した音源の出力・試聴(1)および (2) については，時間周波数空間上のメロディ群を直接指定し，ドラッグによって形状を変更できる形式を想定している．これにより指定されたメロディにそってバンドパスフィルタの通過帯域を時間軸にそって変化させながら元の信号を再生することで (3) を達成できる．

2. ユーザーと共同での採譜支援

動的バンドパスフィルタ

frequency

本研究では，ポピュラー音楽の一般的な CD 音源に対し，ギターソロ部分のメロディを推定する問題を解く．これにあたり，以下の課題が設定できる．
(1) 楽曲に存在するメロディ群の中で，どれをギターソロとして捉えるか
ギターソロの変化は楽曲により様々なものであり，複数のギターにより演奏される場合や交互に演奏される場合，休符により瞬間的に寸断される場合などがある．このような不連続なメロディを計算機の処理によって一つのメロディとして抽出するのは困難であり，本手法ではどのメロディ群をギターソロとして分析するかをユーザーの支援により達成することを提案する．本手法によりユーザーは楽曲を複数のメロディ系列の集合として捉える事ができ，これらを選択することで目的のメロディを得ることができる．
(2) 音源数の不明な混合音に対し，どのようにメロディを追跡するか複数の楽器による演奏の混合音の音高推定が困難な理由として，それぞれの楽器の周波数成分の重複が挙げられる．これに対し，ギターソロの特徴として楽曲の間奏部分での見せ場となるため，周波数強度的に優勢になりやすいことから時間軸上にそって強いパワーで遷移している音階の系列が求めるメロディであると考えられる．この仮定に従って動的バンドパスフィルタの初期値を設定し，音源の加工と試聴により手動で目的のメロディが強調されるよう調整していくことができる．
(3) 強度の高い音階の候補が複数存在するとき，どのように候補を選択するかメロディ系列を連結していく過程で，ある時刻内に複数強度的に優勢な音階が存在することは頻繁に発生する現象であり，それらをどのように選択してメロディ系列へ追加するかが重要となる．ギターソロのヒューリスティクスとして，ソロのある一音と次の一音は近い音程にあり，それらの音量も均一であることが多い．そこで，メロデ
ィの最後の音階と候補の間の距離をパワーと音程により定義し，これが最短になる候補を選択することにした．
また，ユーザーの採譜支援を円滑に行うに当たり，システムへの情報入力と提供された解析結果をわかりやすく表示するためのインターフェースも重要な要素である．
ユーザーはこれを用いてメロディ群からのギターソロの選択，修正，音源の加工，譜面としての出力を行うことができる．本稿ではこのインターフェースの構想についても述べる．

加工された音源
timeBand pass filter

frequency

メロディの選択time

インターフェース

図 1：インターフェース概要

4. ギターソロの追跡
本手法におけるギターソロのメロディ追跡の処理の流れを図１に示す．まず，音源のギターソロが含まれる範囲を指定し，0.01 秒ごとにパワースペクトルを求める．次に，得られたスペクトル列に対し瞬間的に観測された雑音の除去を行う．そして，時系列に沿って任意のタイミングでのメロディの先頭検出，冗長なメロディの削除を行いながらパワーのピークをピーク間の距離が最短になるように追跡し，メロディの系列を求める．

3. インターフェースの設計についてユーザーと共同での採譜支援を行うに当たり，以下の操作をユーザーが行うためのインターフェースが必要となる．
(1) 作成されたメロディ群からのギターソロ部分の選択
2ⓒ 2012 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2012-MUS-94 No.28
Vol.2012-SLP-90 No.28
2012/2/4b=

編集した信号

音響信号

メロディ分析部

このとき，Fs はサンプリング周波数，w(i)は目的の周波数 に対し 20 波長分に相当するデータであり，これにより低域でも一定の周波数分解能を得ることができる．また，
窓関数 h(i)として w(i)のデータ数に等しい点数のハミング窓を用いた．

UI
楽譜

4.2 局所的な雑音の除去

瞬間周波数の推定により 0.01 秒ごとの 48 音階についてのスペクトルが得られたが，この処理によって得られたデータには実際の演奏によるパワーだけでなく，窓関数でのデータの切り出し方により不連続点が生じることでの局所的なパワーが含まれる．
これはある周波数に長期的に現れるものではなく，例えば無音区間に観測された場合0.01 秒間の瞬間的なピークとして発生する．
（図 2）これは後述するメロディの追従において大きく悪影響を及ぼすため，ある音階に対し前後の 0.01 秒と比較して 2 倍以上のパワー比がある場合，その音階のパワーを前後の時刻と平均することでピークとして検出されなくする．実際の演奏において 0.01 秒間だけ発音するということは不可能なため，この処理が演奏によるパワーに影響することはない．

音響信号
瞬間スペクトル解析
ノイズ除去

ピーク検出
各メロディ系列への操作

割り当てられなかった
ピーク

ピーク間距離の算出

新規メロディ追加

距離最短ピークの割り当て
メロディ系列への追加

冗長メロディの削除

瞬間的なノイズ

メロディ部分

図 2：システム全体図
4.1 瞬間周波数の算出

本手法では，まず与えられた音楽ファイルの指定箇所に対し 0.01 秒ごとにギターの発音可能な音域が含まれる C3(130.81Hz)~B6(1975.5Hz)の 48 音階についてのパワース
ペクトルを求める．瞬時周波数を求める手法としては様々なものが提案されているが，4)5)ここでは低域での周波数分解能の低下を避けるため FFT を用いず，次式によりパワーを求めた．
a=3ⓒ 2012 Information Processing Society of Japan

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2012-MUS-94 No.28
Vol.2012-SLP-90 No.28
2012/2/4

図 3：瞬間的なノイズ

メロディ群
…

t-1

tt+1

1

…

P(1,t-1)P(1,t)

P(1,t+1)

2…

P(2,t-1)P(1,t)

P(3,t+1)

4.3 任意のタイミングでのピークの追跡

局所的な雑音の除去が終わったデータに対し，時系列に沿って最もピーク間の距離が短いピークを求めていくことでメロディの追跡を行う．
ここで，ある時刻のピーク P(n,t)をパワースペクトルについて次式のように定義する．

3

メロディの後継として選択されなかったため、新規メロディの先頭として追加

P(2,t+1)P(1,t+1)
P(2,t+1)

P(3,t+1)P(1,t)
P(2,t)

P(1,t-1)

具体的には次のような処理を行う．まず，最初の 0.01 秒間に観測された各ピークから，次の時刻の各ピークについて距離の計算を行い，もっとも距離の短いピークを次の時刻のメロディとして記録する．ピーク間の距離 D は次式のように定義する．

P(2,t-1)

ここで前項は前後の時刻のピーク音階に相当するパワーの差であり，後項は前後の時刻のピーク音階の音程である．係数αは音程と音量差の距離に影響する度合いを決めるパラメータとなる．
このときいずれの現在時刻のピークについても次の時刻のメロディとしてみなされなかったピークは新規のメロディの先頭として記録される．この処理を順次繰り返していくことで，楽曲の選択範囲でのメロディの推移を時系列上での音階の系列として求めることができる．最も理想的なのは選択範囲の最初にギターソロの最初の音が含まれていることだが，そのような範囲選択を厳密に行うことは困難であり，ソロ部分までの演奏の余分な部分が先頭に含まれているのが一般的である．本手法では任意の時刻についてピークを新規のメロディの先頭であるものとして追加することでこの問題を解決している．

図 4：メロディ追加
4.4 冗長なメロディの削除

メロディは木構造的に増えていくため，徐々に計算量が増加していく．また，メロディ追跡のアルゴリズムから，ある時刻で同じ音階を次の時刻での音階として選択したメロディはそれ以降の時刻でも同じ音階を選び続けることになる．特に，あるメロディが発生し，それ以前に発生していたメロディとすぐに同じ音階を選択した場合，既存のメロディとほぼ重複したメロディを追跡するため冗長となる．このようなメロディを削除するため，発生して 1.0 秒経過したメロディについて既存のメロディとの比較を行い，半分以上の要素が同じならばそのメロディは削除する．

5. 今後の課題
本稿では，ギター，ベース，ドラム等複数の楽器による演奏が混在したポピュラー音楽の音響信号に対し，ギターソロのメロディを追跡する手法および採譜支援のためのインターフェースの構想を述べた．現状実装に至っているのはメロディ追跡の部分までであり，今後システムの様々な楽曲での実験・改善とインターフェースの構築を行う．本システムの目的は耳コピの支援にあるが，譜面では表すことのできない演奏

4ⓒ 2012 Information Processing Society of Japan情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2012-MUS-94 No.28
Vol.2012-SLP-90 No.28
2012/2/4の表情付けなどの情報を補完すること，つまりユーザーが目的の演奏を聞き取りやすい状態を提供する手法についても検討していきたい。

参考文献
 松 下 史也 , 夏 井 雅典 ,田所 嘉 昭:並 列構成くし形フ ィルタによる 広音域ピアノ 楽音の音高推 定法(ピ アノ) , 情報処理学会 研究報告 . [音楽情報科学 ] 2007(81), 173-178,2007-08-012) 山口 満,田所 嘉昭:くし形フィルタと自己相関関数に基づく調波成分が重複する混合音の音高推定(音楽音響信号処理) ,情報処理学会研究報告. [音楽情報科学] 2007(102), 49-54,
2007-10-113)山崎 篤史,北原 聡志,甲藤 二郎:確率推論に基づく自動採譜システム,情報科学技術フォーラ
ム一般講演論文集 4(2), 269-270, 2005-08-224) 後藤真孝：音楽音響信号を対象としたメロディーとベースの音高推定，電子情報通信学会論文誌. D-II, 情報・システム, II-パターン処理 J84-D-II(1), 12-22, 2001-01-015) 河原英紀:不動点に基づく音源情報抽出法の評価について、聴覚研究会資料、20095ⓒ 2012 Information Processing Society of Japan