情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2017-MUS-116 No.13
2017/8/25

音楽音響信号から得られる音楽要素に基づく自動ピアノアレンジ
高森啓史†1

深山覚†2 後藤真孝†2森島繁生†3

概要：本研究では音楽音響信号からピアノ編曲譜面を自動で生成する．好みの楽曲をピアノで演奏できるよう，ピアノ編曲譜面の自動生成を行うことには需要がある．これまで複数の演奏パートから構成される楽曲のピアノ編曲譜面を生成する研究はいくつか行われてきた．しかし，従来研究ではいずれも入力として原曲の総譜やバンドスコアが必要であった．そこで本研究では音楽音響信号のスペクトルフラックスから得られるリズムと能動的音楽鑑賞サービス
Songle を通じて得られるメロディ，和音，楽曲構造情報をもとに，右手・左手のパートを書き分けた編曲譜面を生成する．右手パートの生成ではメロディにコード構成音を付加し，左手パートの生成では既存のピアノ譜面より構成した伴奏データベースから伴奏を自動で選択する．
キーワード：ピアノアレンジ，リズム，コード，能動的音楽鑑賞サービス「ソングル」

Automatic Piano-Arrangement Based on Music Elements
Obtained from Music Audio Signals
HIROFUMI TAKAMORI†1 SATORU FUKAYAMA†2MASATAKA GOTO†2 SHIGEO MORISHIMA†3
Abstract: This research makes a piano-arranged staff from musical audio signals. There is a demand for automatic generation ofa piano-arranged staff in order to play one’s favorite piece of music. There are several studies that generate a piano-arranged staff
from an original score composed of multiple instruments. However, in previous works, an original orchestral score or band scoreis necessary as an input. Hence, this study generates a piano-arranged staff from musical elements, namely rhythm, melody line,chords and a music structure. The rhythm is obtained from a spectral flux of music audio signals. The melody line, chords and amusic structure are obtained from Songle: a web service for active music listening. The proposed method involves generating
both right- and left-hand playing parts of a piano staff. With respect to the right part, optional notes from a chord are added to themelody. With respect to the left part, appropriate accompaniments are selected from a database composed of pop musicalpiano-arranged staffs automatically.
Keywords: piano-arrangement, rhythm, chord, a web service for active music listening “Songle”

1. はじめに好みの楽曲をピアノで演奏出来るよう自動的にアレンジできる技術には需要がある．

近年，ピアノで演奏される音楽の種類は多岐にわたって

我々はピアノという楽器の特徴を考慮した質の高いピアいる．中でもロック，ポップ，テクノポップといったポピノアレンジ譜面の自動生成を目標として，原曲から得られュラー音楽や，歌声合成技術 VOCALOID を用いて作曲さる四つの音楽要素（メロディ，リズム，コード，音数）にれた曲（以下ボーカロイド曲）の人気が高く，初心者から注目した手法を提案している[1]．従来の我々の手法では，ピアニストまで多くの人によってこれらのジャンルの音楽原曲の楽譜より音楽要素の抽出を行い，抽出された音楽要が演奏されている．実際にポピュラー音楽やボーカロイド素に基づいてピアノアレンジ譜面の生成を行っている．こ

曲をピアノで演奏するまでの過程は大きく分けて二つある．の研究の特徴は，事前に構築しておく既存ピアノ譜面中の一つは市販されているピアノアレンジされた楽譜を購入し，伴奏のデータベースを活用しつつ，譜面から抽出された四その楽譜に従い演奏を行うという過程．もう一つは自らピつの音楽要素にのみ基づいてピアノアレンジ楽譜が生成さアノアレンジを行い，演奏を行うという過程．基本的にはれるということである．本稿では，この枠組みを拡張し，完成されたピアノアレンジ楽譜に従い演奏を行う前者の過入力として原曲の総譜やバンドスコアを用いる代わりに原程が主であるが，必ずしも所望の楽曲のピアノアレンジ楽曲の音楽音響信号と能動的音楽鑑賞サービス Songle [2]の譜が入手できるとは限らない．一方，自らピアノアレンジ解析結果を用いたピアノアレンジ譜面の生成手法についてを行うには多大な労力と専門知識を必要とする．従って，述べる．

†1 早稲田大学
Waseda University.
†2 産業技術総合研究所
National Institute of Advanced Industrial Science and Technology (AIST)†3 早稲田大学理工学術院総合研究所
Waseda Research Institute of Science and Technologyⓒ2017 Information Processing Society of Japan

2. 関連研究
複数のパートから構成される楽曲のピアノソロアレンジに関する研究は旧来から多く発表されている．藤田ら[2]1情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2017-MUS-116 No.13
2017/8/25

は原曲の総譜から旋律推定とベース推定を行い，楽譜を集約した．さらに，同時打鍵における最大度数や演奏不可能な連打について制限をかけ，音を減らす，またはオクターブ音を上下させるなどの処理を施し，習熟度に応じた難易度の譜面を出力した．Chiu ら[4]は原曲スコアの各パートが持つ役割を分類し，その結果から重要なパートを選択し，ピアノアレンジ譜面を生成した．その際，原曲の再現性や最大同時打鍵数，片手での度数制限といった演奏可能性を考慮した．中村ら[5]は演奏可能性を考慮する際に運指モデルを導入し，時間的連続性に注目した制限を考慮することで，原曲の総譜からアレンジ譜面に用いる音の選択を行った．

図 1
Figure 1

提案手法の概要図

An overview of the proposal method

これらの関連研究について共通していることは，いずれも入力が原曲の楽譜であり，出力結果が元の楽譜の音符（まみで強調することは難しい．従ってメロディは常に最高音たはオクターブ上下させた音符）がそのまま用いられていであることは欠かせない条件である．②：アレンジ楽曲がることである．そのため，これらの手法を応用して音楽音原曲のコードと一致していない場合，不協和音が生じるこ響信号からピアノアレンジ譜面の出力を行う場合は，全てとが多く，聞いていて不快なアレンジ楽曲となってしまう．のパートの音高推定を行う必要があり，非常に困難である．

あえて原曲とは違うコードを割り当てリハーモナイズを行

一方，Graham ら[6]の Song2Quartet では，音楽音響信号かうアレンジ手法もあるが，本稿では原曲の印象を保ったアら弦楽四重奏によるカバーソングを生成している．その目レンジを行いたいため，原曲のコードと一致していること的においては，全てのパートの音高推定を行う必要はなく，を良いアレンジの条件として加える．③：リズムもまた楽

原曲のメロディ，リズム，コード，音数といった音楽要素曲を印象付ける重要な要素の一つである．主にリズムを変が抽出出来ればよい．本手法は，それと類似した枠組みで化させることでジャズ風やボサ・ノヴァ風といった表現がありつつ，特にピアノアレンジを生成するための制約の考出来てしまうほどリズムが楽曲に与える印象は大きいと言察に重点をおいている．

える[7]．従って，原曲の印象を保つためにリズムを変化させないようにする．④：ポピュラー音楽にはイントロ，A

3. 良いピアノアレンジとはメロ，B メロ，サビといった構造がある．ピアノアレンジ版においても，サビでは音の厚みを増すといった操作を加本研究における「ピアノアレンジ」とは，ピアノ曲でなえることで，より原曲の雰囲気を反映させることが出来るい楽曲（複数楽器から編曲される楽曲や他の楽器で演奏すと考えられる．⑤：実際に人が弾くことを想定しているたるために作られた楽曲）を原曲の印象を保ちながらもピアめ，演奏可能なピアノアレンジ譜面である必要がある．具ノで演奏できるように変更を加えることを意味する．そこ体的には，既存のピアノ楽譜が演奏可能であるという仮定

で「良いピアノアレンジ」とは以下の条件を満たすものとの下，既存ピアノ楽譜から構築した伴奏データベースから定める．

伴奏を選択する．提案手法では，以上の五つの条件を満たすようピアノアレンジ譜面の生成を行う．

①

メロディが最高音であること．

②

原曲のコードと一致していること．

③

原曲のリズムが反映されていること．

④

原曲の抑揚が考慮されていること．

理として伴奏データベースの構築を行う．次に能動的音楽⑤生成された楽曲が演奏可能であること．

鑑賞サービス Songle を通じてメロディ，コード，サビ情報

4. ピアノアレンジ譜面の生成手法
本手法の概要を図 1

提案手法の概要図に示す．事前処の抽出を行い，音楽音響信号からリズムの抽出を行う．ここれらの五つの条件については，それぞれ以下の理由があれらの音楽要素に基づき右手・左手のパートを書き分けたる．①：ポピュラー音楽におけるボーカルは，常にその楽ピアノアレンジ譜面を出力する．

曲におけるどの楽器のパートよりも高い音であるとは限ら

4.1 伴奏データベースの構築ない．なぜなら「歌声」という他の楽器と差別化しやすい

既存ピアノ楽譜の左手部分を基に伴奏データベースを構

パートがメロディを担っていることで，その楽曲の旋律を築する．伴奏データベースとは 1 小節ごとの発音位置と音強調することが出来る．しかし，ピアノ１台で演奏する場高の情報が 36 行 16 列の行列（以下伴奏行列と呼ぶ）とし合，最高音の印象が強く残りやすく，内声を音色や強弱のて表されたデータベースであり詳細は文献[1]の第 3 章を参ⓒ2017 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical Report
照されたい．また，伴奏データベースは𝐃𝐁と表しn番目の伴奏行列は𝐃𝐁n と表す．
同時に，各伴奏行列からリズム𝐃𝐁𝐑 n と音数DBANn を抽Vol.2017-MUS-116 No.13
2017/8/25

30000

20000
15000

出する．リズム𝐃𝐁𝐑 n は 16 次元ベクトルで表し，伴奏行列

10000

𝐃𝐁n のj列目に 1 以上の数が存在する場合は，リズム𝐃𝐁𝐑 n の5000

j 番目の要素に 1 を，なければ 0 を格納する．音数DBANnは伴奏行列𝐃𝐁n に含まれる 1 以上の要素数を格納する．ただし，データベースに含まれる音数DBANnの最大値が 1 となるよう規格化する．

Spectral Flux
Accentthreshold

25000

058.8

59.8

60.8

61.8

62.8

63.8

64.8

65.8

66.8

67.8

時間 [sec]

図 2スペクトルフラックスのピーク検出

Figure 2

The peak detection of spectral flux

4.2 音楽要素の抽出
本手法では音楽要素としてメロディ𝐌，リズム𝐑，コード𝐂𝐡，サビ𝐂𝐫を使用する．メロディ𝐌，コード𝐂𝐡，サビ𝐂𝐫については能動的音楽鑑賞サービス Songle から抽出する．
リズム𝐑は入力楽曲の音楽音響信号から抽出する．以下，i小節目の各音楽要素を𝐌i , 𝐑 i , 𝐂𝐡i , Cri と表す．
4.2.1 Songle を用いた音楽要素の取得
能動的音楽鑑賞サービス Songle とは，音楽をより深く理解しながら，能動的に音楽鑑賞が楽しめるサービスであり，110 万曲以上のメロディ，コード，ビート，楽曲構造が解のアクセント情報として，音楽音響信号から得られるリズムを使用する．
リズム𝐑抽出の流れについて説明する．初めに入力楽曲にローパスフィルターをかけた波形のスペクトルフラック
スFt の計算を行う．スペクトルフラックスは各周波数におけるパワースペクトルの時間変化を表したものである．本
手法ではパワースペクトルが増加する場合についてのみ考え，以下のように計算する．
K析されている．本手法では Songle の解析結果を用いて入力楽曲の音楽要素の抽出を行う．

k=1

Songle のメロディの解析結果から，メロディの各ノーツに対する開始時間，音高，長さが取得できる．また，ビートの解析結果から，各ビートの打刻時間と小節番号が取得できるため，実時間から楽譜上の時間である音価とその位置を求めることができる．よって，メロディ𝐌には入力楽曲のメロディの各ノーツの音高，音価，位置を格納する．
格納方法は上記情報を小節ごとに 88 行 16 列の行列として𝐌i に格納する．音高は列方向，位置は行方向，音価は格納される値で表現する．行数はピアノの鍵盤数を表しており，列数は 16 分音符の音価まで考慮するという分解能を表す．
Songle のコードの解析結果から，各コードに対するコード（根音，コードタイプ），開始時間，長さが取得できる．
これらの情報とビートの解析結果から各コードの含まれている小節番号，開始位置，長さが求められる．よって，コード𝐂𝐡には入力楽曲の各コードの開始位置と長さを格納する．
Songle の楽曲構造の解析結果からサビ区間が取得できる．
この情報とビートの解析結果から，サビである小節の小節番号がわかる．よって，サビ𝐂𝐫には入力楽曲の各小節がサビであるかサビでないかの情報を{1,0}で格納する．
4.2.2 音楽音響信号からリズムの抽出(N [k][k])2
ft [k] = { t − Nt−10

Nt [k] > Nt−1 [k]otherwise(2)

Nt [k]とNt−1 [k]はt，t − 1番目のフレームにおけるスペクト
ルの k 番目の周波数におけるパワースペクトルである．この処理を行うことで，入力楽曲のパワースペクトルが局所的に増加している部分，すなわちアクセントとなる箇所を探索することが出来る．次に，スペクトルフラックスが局所的にピークとなる箇所の検出を，2 次多項式適合による平滑化微分を用いたピーク検出[8]と閾値処理によって行う．ピーク位置は，スペクトルフラックスFt の平滑化微分
Wf∑ Ft+ω

(3)

ω=−Wf

が正から負に変わる箇所で求まり，さらにスペクトルフラックスFt が閾値を超えている場合，その箇所をアクセントと定める．しかし，1 曲の中で比較的静かで落ち着いた箇所と激しく盛り上がる箇所が混在する楽曲においては一定の閾値を設けてしまうとアクセントの検出が困難となる．
そのため，閾値ϕt を次のようにフレームごとに定めることでこの問題の解決を図った．
𝑊

リズム𝐑抽出の流れに入る前に，リズムはビートとは別物であることに注意されたい．ビートとは時間的に均等に(1)

Ft = ∑ ft [k]ϕt = 𝛼×𝜙∑𝜔=−𝑊𝐹𝑡+𝜔
𝜙2𝑊𝜙 + 1(4)配置されたアクセント，またはその繰り返し構造を表し，リズムは必ずしも時間的に均等な配置となっていないアクセントの集合を表す．当然，同じビート情報を持つ楽曲がリズムも一致するとは限らない．従って，本手法では楽曲ⓒ2017 Information Processing Society of Japanαは係数を表す．図 2 にアクセント検出の様子をグラフに示す．図 2 は，Songle に登録されてる楽曲[9]の一部分であり，サンプリング周波数は 44100Hz，窓幅 512 サンプル3

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2017-MUS-116 No.13
2017/8/25で計算したスペクトルフラックスFt の外形と，Wf = 5，
Wϕ = 70，α = 2とした時のアクセントと閾値の変化を示す．
最後に，以上の過程より求めたアクセントをリズム𝐑に格納する．まず，Songle より各ビートの打刻時間を取得し，アクセントが発生した時間の小節番号と位置を求める．位置は 1 小節を 8 分割した際何番目の位置かで表す．i 小節 j番目の位置にあるアクセントは 8 次元ベクトルで表された
𝐑 i の j 番目の要素に 1 が格納される．アクセントがない要(a)素はすべて 0 が格納される．
4.3 右手パートの生成
右手パートは抽出されたメロディ𝐌をそのまま割り当てる．ただし，サビ区間の小節における右手パートはメロデ
ィにコード構成音を付加する操作を行い，厚みと抑揚を与える．コード構成音は，アクセントのある箇所（リズム𝐑 i の要素が 1 となる箇所）についてのみ付加を行い，メロディよりも低い音高，かつ 3 度以上離れた音を付加する．以上の操作はメロディが最高音になるよう右手パートを生成し，入力楽曲のコードを保つよう，コード構成音から付加する

図 3
Figure 3「PROLOGUE」のピアノアレンジ結果
The piano arrangement of “PROLOGUE”

音を選択しており，サビとサビ以外の部分で操作を変えているため，第 3 章における「良いピアノアレンジ」の①，アノアレンジ」の条件⑤を満たすものである．

②，③，④の条件を満たしている．

4.5 右手・左手パートの相互関係に基づく修正
最後に 4.3 節，4.4 節で生成した各譜面を合わせ一つの譜

4.4 左手パートの生成
左手パートは，4.1 節で構築した伴奏データベース𝐃𝐁か面にする．修正方法については文献[1]の 5.3 節に記述されら距離関数Dist i を最小にする伴奏データを選択する．距離ている通りである．

関数Dist i はリズムと音数（厚み）に関して，入力楽曲と各5. 結果と考察伴奏データの類似度を表す関数である．選択された伴奏データはコード𝐂𝐫i に基づきコードが与えられる．i 小節目の左手パートを𝐋𝐞𝐟𝐭𝐏𝐚𝐫𝐭 i としたとき，以下の式で与えられる．
𝐋𝐞𝐟𝐭𝐏𝐚𝐫𝐭 i = 𝐇𝐫𝐦(arg min 𝐷𝑖𝑠𝑡𝑖 (𝑫𝑩), 𝐂𝐫i )(5)

Midi データとして出力した．その結果を図 3 に示す．(a)は A メロ部分の一部を表し，(b)はサビ部分の一部を表す．
Midi データは MuseScore 2.1[10]を使用して楽譜として表示

Dist i (𝑫𝑩𝑛 ) = 𝜔1 ×|𝐷𝐵𝐴𝑁𝑛 − 𝐶𝑟𝑖 |した．使用楽曲として VocaListener(AIST)の「PROLOGUE」

8+𝜔2 × ∑ |𝐷𝐵𝑅𝑛 [2×𝑗 − 1] − 𝑅𝑖 [𝑗]|

本手法を用いて Songle に登録されているポピュラー音
楽及びボーカロイド曲についてピアノアレンジを行い，(6)𝑗=1

コードを与える関数𝐇𝐫𝐦は文献[1]の 5.2 節を参照されたい．
ω1 とω2 はそれぞれの重みを表す．𝐷𝐵𝑅𝑛 [2×𝑗 − 1]および𝑅𝑖 [𝑗]は 4.1 節および 4.2.2 項で記述した n 番目のデータベー
スのリズム𝐃𝐁𝐑 n の(2×𝑗 − 1)番目の要素と入力楽曲の i 小節目のリズム𝐑 i の j 番目の要素を表す．本来，リズム𝐑 i も[11]を使用して楽譜を生成した際には， A メロ部分では伴奏の音数が比較的少なく，サビ部分では多く配置されており，抑揚がつけられていた．また，おおむねアクセントがある位置に音がなるべく配置されているように生成されていた．右手部分ではサビにおいてメロディにコード構成音が付加されており，音の厚みが適切に増していた．すべてのメロディにコード構成音が付加されているわけではなく，16 次元ベクトルで表されるべきであるが，現段階では 16

アクセントが強い箇所にのみ音を追加されていたため，よ分音符の音価での正確なアクセント位置を取得することがり自然な音数の増し方がされていた．

難しいため，8 分音符，もしくはそれより長い音価につい一方，Songle よりメロディ情報を取得する際，音高はあて考える．以上の距離関数Dist i を最小にする伴奏を選択すっていても，歌詞に合わせて音が途切れていない場合がある操作は，「良いピアノアレンジ」の②，③を満たす．

った．Songle は解析誤りを誰でも訂正することができるが，生成された左手部分の譜面は，既存のピアノ楽譜を基にSongle において誤り訂正後の楽曲であっても，連続する二構築されたデータベースを使用して生成されるため，既存つの音符が同じ高さの場合，そのように途切れずに一続き楽譜の伴奏部分が演奏可能であれば基本的に生成された譜の音符になっている場合があった．本手法は Songle の解析面も演奏可能であるといえる．従ってこの操作は「良いピ結果を用いてメロディを生成するため，解析結果が出力さⓒ2017 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2017-MUS-116 No.13
2017/8/25

れるピアノアレンジ譜面の右手部分に直接関わってしまい，本来の歌詞では違う音になっているのに一続きの音符となって印象が変わるパートが出現してしまう問題が起きていた．この問題は，音楽音響情報を用いてメロディの途切れる箇所の検出をすることで解決が図れると考えられる．

6. まとめと今後の課題
本研究では原曲の音楽音響信号と Songle から音楽要素の抽出を行い，ピアノアレンジ譜面の生成を行った．特に，リズムの抽出においては Songle からは得られないアクセントが強い位置をスペクトルフラックスのピーク検出を行い，楽譜上のどの位置に対応するのかを求めた．抽出した音楽要素に基づき，右手パートはサビにのみコード構成音を付加し，左手パートは伴奏データベースから距離関数を最小にする原曲との類似度の高い伴奏を選び，コードを与えた．
今後は，伴奏データベースの増築を行う．また，難易度別のデータベースを構築することで，ユーザのレベルに合わせたピアノアレンジ譜面の出力を行う予定である．
謝辞

本研究の一部は JST ACCEL (JPMJAC1602)の支援を受けた．

参考文献
Hirofumi Takamori et al.. Automatic Arranging Musical Score
for Piano using Important Musical Elements. Sound and MusicComputing Conference. 2017, pp. 35-41.
[2] 後藤真孝ら. Songle:音楽音響信号理解技術とユーザによる誤り訂正に基づく能動的音楽鑑賞サービス. 情報処理学会
論文誌. 2013, vol. 54, no. 4, pp. 1363-1372.
[3] 藤田顕次ら. 習熟度を考慮した複数楽譜からのピアノ譜生成手法の提案. 情報処理学会研究報告音楽情報科学(MUS).
2008, vol. 2008-MUS-77 No. 10, pp. 47-52.
[4] Chiu Shih-Chuan et al.. Automatic system for the arrangement ofpiano reductions. IEEE International Symposium on Multimedia.
2009, pp. 459-464.
[5] Nakamura Eita et al.. Automatic Piano Reduction fromEnsemble Scores Based on Merged-Output Hidden MarkovModel. ICMC. 2015, pp. 298-305.
[6] Graham Percival et al., Song2Quartet: A System for Generating
String Quartet Cover Songs from Polyphonic Audio of PopularMusic, ISMIR, 2015, pp. 114-120.
[7] 樋口拓志ら. 与えられたコード進行に基づくギター伴奏用ボサ・ノヴァ編曲システム. 情報処理学会研究報告音楽情報科学 (MUS). 2008, vol. 2008-MUS-078, pp. 47-52.
[8] Savitzky, A. and Golay, M. J.. Smoothing and Differentiation of
Data by Simplified Least Squares Procedures. AnalyticalChemistry. 1964, vol. 36, no. 8, pp. 1627–1639.
[9] “livetune feat. 初音ミク 『Tell Your World』Music Video”.
https://www.youtube.com/watch?v=PqJNc9KVIZE, (参照2017-08-03).
[10] “MuseScore”. https://musescore.org/ja, (参照 2017-08-03).
[11] “【初音ミク】 PROLOGUE 【ぼかりす＋ぼかうお】 by
VocaListener (AIST) staff.aist.go.jp”.
https://staff.aist.go.jp/t.nakano/music/VocaWatcher.Prologue.Mik
u.mp3, (参照 2017-08-03).
[1]ⓒ2017 Information Processing Society of Japan

5