Vol.2022-MUS-135 No.3
2022/9/14

情報処理学会研究報告
IPSJ SIG Technical Report

バンド譜に対する無段階で難易度調整可能な
深層ピアノ編曲
寺尾 萌夢1,a)

中村 栄太1,2,b)

吉井 和佳1,3,c)

概要：本稿では，深層ニューラルネットワーク (DNN) を用いて，ポピュラー音楽のバンド譜を，無段階で指定した難易度を持つピアノ譜に編曲する手法について述べる．バンド譜のピアノ編曲においては，元のバンド譜を上下に 1 オクターブシフトした拡張バンド譜から，ピアノ譜に用いる音符を選択するスコアリ
ダクションアプローチが有効である．従来，バンド譜と初級あるいは上級のピアノ楽譜からなるペアデー
タを用いて，拡張バンド譜に対するマスクを推定する DNN を，難易度条件付きで教師あり学習する方法が提案されていた．しかし，学習時には初級かそうでないかの区別が見出され、推論時に中間的な難易度を指定しても、常に上級のピアノ譜が出力される問題があった．そこで，本研究では，低難度のピアノ譜
は高難度のピアノ譜の部分集合であるという仮定し，DNN を用いて拡張バンド譜の各音符の基本重要度を推定し，難易度に応じた冪指数を用いて基本重要度の冪を計算した後，難易度に非依存の一定の閾値以上の音符を選択する方法を提案する．上級と初級に対応する冪指数は DNN と同時に最適化を行い，中級に対応する冪指数は線形補完によって求める．さらに，推論時における中級のピアノ譜の生成能力を強化するため，初級と上級のピアノ譜しか与えられていない学習時においても，中級のピアノ譜の生成・評価を可能にする手法を提案する．実験により，無段階の難易度調整における提案法の有効性を確認した．

1. はじめにメロディ

音楽情報処理分野では，楽曲のメロディなど重要な要素

ギターを保ったまま演奏楽器を変換する編曲タスクが研究されてピアノいる．演奏楽器の変換を行う際は，曲のジャンルや対象と

コーラス

バンド譜

推定ピアノ譜難易度

なる楽器の特性などの専門知識が必要となるため，この過程を自動化することは依然として難しい課題である．これまで，ピアノ編曲 [1–6] や, ギター編曲 [7–9], オーケストラへの編曲 [10, 11] が行われている．本稿では，ポピュラー

1

初級

0

0.3

0.3
1
上級

0

図 1 提案するピアノ編曲手法

音楽の自動ピアノ編曲に取り組む．
自動ピアノ編曲では主に，入力楽譜から音符を選択する

で音符を選択する手法の妥当性が確認された．

スコアリダクションの手法が取られている．これには入力

しかし，ポピュラー音楽の難易度別ピアノ編曲を行う際，楽譜の音符の音高，位置の情報を画像として捉え，ピアノ譜

一般的に訓練データとして扱うピアノ譜の難易度は初級ととして重要な音符をカバーするような，マスク推定が用い

上級の二つのみと，限られている．そこで二つの難易度をられる．入力となるポピュラー音楽のバンド譜と，出力と0,1 の条件としてモデルに与え，その難易度条件によってなるピアノ譜の間の音符の関係性の調査を行った結果 [12]モデルの振る舞いが変わるように学習をさせると，中級とより，バンド譜を上下１オクターブシフトすることで拡張なるはずの，0.5 のような未知の条件を与えた場合でも上されたバンド譜から，深層ニューラルネットワーク (DNN)

級の条件を与えた場合と同じ振る舞いをすることがわかった．しかし，難易度別ピアノ編曲に求められる要件として，

1
2
3
a)
b)
c)

京都大学 大学院情報学研究科
京都大学 白眉センター
科学技術振興機構 戦略的創造研究推進事業（さきがけ）
terao@sap.ist.i.kyoto-u.ac.jp
enakamura@sap.ist.i.kyoto-u.ac.jp
yoshii@i.kyoto-u.ac.jp

c 2022 Information Processing Society of Japan⃝

ユーザーの技量に合わせたより柔軟なピアノ譜の難易度調
整が挙げられる．
本研究ではまず，難易度条件下で学習した場合のピアノ
譜の振る舞いを統計的に調査する．この結果に基づき，難1

Vol.2022-MUS-135 No.3
2022/9/14

情報処理学会研究報告
IPSJ SIG Technical Report

易度条件下で学習するという手法ではなく，バンド譜のメ
ロディ・伴奏パートからそれらの音符がどれほど重要かを

バンド譜

オンセットの基本重要度推定する DNN を学習する．この DNN から直接推定されたものを基本重要度とする．さらに目的の難易度によって，高難度の場合は重要度も高く，低難度の場合は重要度も低くなるように，冪指数を設定し，冪乗することで重要度を設定し直すという手法で実験を行う．最終的にこれを難易度に非依存の閾値で二値化することで，目的の難易度に沿ったピアノ譜を得ることができる．加えて，正解楽譜
としては存在しない中級楽譜の生成を，推定時だけでなく，学習時にモデルに経験させるようランダムな難易度を与えConv (4→4)
Conv (4→8)
Conv (8→16)

Deconv (8→2)
スキップコネクション

Deconv (16→4)
スキップコネクション

スキップコネクション

Conv (16→32)

Deconv (32→8)
Deconv (32→16)

る実験と，推定されるピアノ譜が統計的に適切な性質を持
つような誘導を行う実験を行う．実験結果は，提案法が柔U-Net

軟な難易度の調整を可能にすることを示している．

2. 関連研究
ここでは，ピアノ編曲の手法を自動ピアノ編曲，ピアノ

図 2 U-Net の構造．括弧内の数字はチャンネル数の変化を示している．また，スキップコネクションはチャンネルを連結することで入力に近い情報を取り込む．

演奏の難易度の観点から総括する．

2.1 自動ピアノ編曲

3. 提案手法

ピアノ編曲の一つの方法として，スコアリダクションが本章では，バンドのポピュラー音楽の楽譜を，音符の重ある．これは，原曲の音を減らすことで目的の楽器の楽譜

要度推定による滑らかな難易度調整に着目して，ピアノ譜に編曲することである．Huang ら [3] は，このスコアリダに編曲する手法を提案する（図 1）．

クションを用いて，フレーズの特定，役割の割り当て，フレーズ選択により，自動的に目的の楽器への編曲を行う．

3.1 問題設定

反対に，高森らは [4] では，スコアリダクションではなく，B を バ ン ド 譜 ，P̂ を ピ ア ノ 譜 と す る ．バ ン ド 譜 はメロディ，コード，リズム，音符の数という音楽要素を用B ≜ {BA , BM } と表され，BA は伴奏パートを，BM は

いていくつかの伴奏テクスチャをあらかじめ定義し，原メロディパートを表している．ピアノ譜は P̂ ≜ {P̂L , P̂R }曲の特徴を反映したピアノ編曲を行う．また，彼らは [13]と表され，P̂L は左手パートを，P̂R は右手パートを表してで，原曲の楽譜からではなく，音声からコード，メロディ，いる．ここで，各パートは ∗o と ∗p で表現される，オンセッ

リズムを抽出し、ピアノ楽譜への変換を行っている．しかトと音符を表す行列から成る．P をピッチ数（P = 128），

し，あらかじめ定義された伴奏は固定的であるため，Wang

N を楽譜の長さとすると，これらの行列の大きさは P × N

ら [14] は，音声からピアノ楽譜への変換を，より柔軟に行である．本稿では各小節を時間方向に 16 個にわけた 1 単位

うように発展させた．

をテイタムと表す．また，一つの曲の長さはを 12 小節，つまり，N = 16 × 12 = 192 テイタムで構成する．従って，バ

2.2 ピアノ演奏の難易度

ンド譜は BA ≜ {BoA , BpA } と BM ≜ {BoM , BpM } と表され，ピアノ譜の難易度分析に着目した研究をいくつか紹介すピアノ譜は P̂L ≜ {P̂oL , P̂pL } and P̂R ≜ {P̂oR , P̂pR } と表される．Chiu ら [15] は，楽譜全体に対し，いくつかの難易度

る．例えば，BoM (p, n) = 1 はピッチ p でテイタム n でオン

へピアノ楽譜を分類する方法を提案している．Ramoneda

セットが存在することを示している．また，BpM (p, n) = 1

ら [16] は，楽譜全体，または局所的にも，ピアノ運指アルはピッチ p でテイタム n でそのピッチの音符が鳴っていゴリズムに基づいて難易度の分析を行っている．また，中ることを示している．両手のパートをまとめて表す際には

村ら [5] は難易度を考慮し，スコアリダクション，オクターh ∈ {L, R} を用いる．また，すべてのデータに対して初級

ブシフトを用いて，統計的にピアノ編曲を行う．彼らは，上級の両方の正解楽譜があるわけではないことを考慮し，従来研究で，演奏可能性の観点からピアノ編曲が行われてP̂h,elm , P̂h,adv のように, ∗h,elm は正解楽譜として初級ピアいたことに対し，演奏可能性は演奏者の技術や，テンポにノ譜が対応しているもの，∗h,adv は正解楽譜として上級ピ依存するという点に着目し，演奏難易度と音楽的忠実性にアノ譜が対応しているものとして表す．

基づいたピアノ編曲を提案した．

本実験の目的は B を P̂ に変換することであるが，具体的な流れとしてまず，直接ピアノ譜 P̂ を求める代わりにc 2022 Information Processing Society of Japan⃝2

Vol.2022-MUS-135 No.3
2022/9/14

情報処理学会研究報告
IPSJ SIG Technical Report
左手

右手
8%

19%

バンド譜

16%
24%

U-Net

57%
76%

元のバンド譜から±１オクターブシフト

オンセットの重要度

追加

図 3 ピアノ譜とバンド譜の音符の関係性．

オンセット
基本重要度

オンセットの重要度

推定ピアノ譜オンセットのマスク行列 ϕ ≜ {ϕL , ϕR } を求める．これはU-Net [17] （図 2）を用いて求めたソフトマスクの行列で正解ピアノ譜ある．ϕL ∈ [0, 1]P ×N は左手パート，ϕR ∈ [0, 1]P ×N は右手パートをそれぞれ表している．この値は [0, 1] の範囲に収まるようにシグモイド関数に通して出力される．このマを最小化

初級，上級に関する音符単位の損失を最小化

中級に関する音符単位の損失

スク行列から，拡張バンド譜（節 3.2）の各音符から音符

図 4 音符単位の損失の 2 種類の計算法. 左側は 3.4.1 の初級上級のを選ぶための重要度を計算する．オンセットの重要度によ損失を用いた手法，右側は 3.4.2 の中級の損失を用いた手法をる音符の選択後，音価として拡張バンド譜から対応する音表す．

符の音価を採用する．

∗
ϕ̄h,∗ = ϕαh,∗ (∗ ∈ {elm, adv})(2)

ϕh ∈ [0, 1] であることを考慮すると，冪指数の値が大きく

3.2 拡張バンド譜の計算
初めにバンド譜とピアノ譜のペアデータに対して，ピアなれば ϕ̄h の重要度は全体的に低くなり，冪指数の値が小ノ譜の音符がバンド譜のどのパートから使われている音符

さくなれば ϕ̄h の重要度は全体的に高くなる．高難度の方なのかという統計的な調査を行った．図 3 が結果を表している．左の図がピアノ譜の左手パートの結果，右の図が右手パートの結果を表している．この図によると，右手の約76%，左手の約 57%の音符は元のバンド譜の音符がそのまま使われていることがわかった．これより，元のバンド譜から音符を選択するだけでピアノ譜を構成するのは難しいと考えられる．一方で，右手の約 92%，左手の約 81%の音符はバンド譜を上下 1 オクターブシフトした拡張バンド譜の音符が使われていることがわかった．そこで，拡張バン
ド譜から音符を選び，不必要な音符を消すことでピアノ譜が得られるという仮定が立てられる．

Zo ∈ {0, 1}P ×N を拡張バンド譜のオンセット行列とす
る．Zo は次のように計算される．

が重要度が高くなってほしいので，αelm ≥ αadv である．
次に節 3.2 で言及した拡張バンド譜 Zo と ϕ̄ の要素積を計算することで，拡張バンド譜に含まれる音符のみを出力することができる．これを，Po ≜ {PoL , PoR } とする．

PoL , PoR ∈ [0, 1]P ×N はそれぞれ左手パート，右手パートを表している．

PoL = ϕ̄L ⊙ Zo ,PoR = ϕ̄R ⊙ Zo

(3)

⊙ は要素積を表している．この操作により，Po は拡張バ
ンド譜に含まれる音符のみとなっている．最終的なピアノ譜として，P̂o ≜ {P̂oL , P̂oR } は Po ≜ {PoL , PoR } を閾値処理により 2 値化することで得られる．また，音符を表す行列である P̂p ≜ {P̂pL , P̂pR } はバンド譜の音符を表す行列

Bp ≜ {BpL , BpR } と P̂o より決定される（節 3.5）.

Zo (p, n)=maxj∈{−12,0,12}(BoA (p + j, n), BoM (p + j, n))(1)

ここで j ∈ {−12, 0, 12} はオクターブシフトを表している．

3.4 音符単位の損失
節 3.3 で求めた重要度を用いて，音符単位の損失を計算する．本稿では，2 種類の損失を提案する（図 4）．一つは，対応する正解ピアノ譜の難易度に合わせた初級または，上3.3 音符の重要度推定

級の損失を計算し，ミニバッチ内で足し合わせる方法であ

本稿では拡張バンド譜の音符の重要度の推定に U-Net [17]る（節 3.4.1）．もう一つは，α の値をランダムに変化させ，を用いた．まず，ϕh に，難易度毎に違う冪指数の値を用

中級のピアノ譜を出力し，初級との損失，上級との損失をいて冪乗を適用する．これを ϕ̄h とする．難易度別の冪指加重平均で計算する方法である（節 3.4.2）．

数の値を αelm ，αadv とし，それぞれ，初級，上級に対する

3.4.1 初級，上級に関する音符単位の損失冪指数の値を表している．すると，ϕ̄h は次のように求められる．

c 2022 Information Processing Society of Japan⃝

まず一つ目の，対応する正解ピアノ譜の難易度に合わせた初級または，上級の損失を計算し，ミニバッチ内で足し3Vol.2022-MUS-135 No.3
2022/9/14

情報処理学会研究報告
IPSJ SIG Technical Report

合わせる方法について説明する．音符レベルの損失 Lnt は

50
50
55
60

次のクロスエントロピーによって定義される．
P ∑
N (
∑

∑

Lnt = −

拡張バンド譜の音符のピッチw · P̄oh (p, n) log Poh (p, n)128h∈{L,R} p=1 n=1

50
50
55
60

))
) (
+ 1 − P̄oh (p, n) log 1 − Poh (p, n)
(

(4)

0

推定ピアノ譜のオンセットを表しており，P̄oL , P̄oR ∈ {0, 1}P ×N はそれぞれ左手パー
ト，右手パートである．また，w ≥ 0 は正例に対する重みであり，オンセットとオンセットでない部分の数の格差を補正する役割がある．ここでは，w = 4 とする．

に対応する
ピッチの抽出節 3.3 では, 初級，上級の 2 種類の難易度しか扱えなかったが，学習時にも中級のピアノ譜を扱うことを考える．

L ∈ [0, 1] を対応する正解ピアノ譜の難易度とする．難し
くなるほど L は大きくなり，初級は L = 0，上級は L = 1
である．中級を評価するために，ミニバッチ毎に DNN に
ランダムな難易度ラベル Lmed を与える．この Lmed に対応する αmed を次のように計算する．

と掛け合わせる
選択された
音符と掛け合わせて
音価取得

同ピッチの
音符の集約

K の計算方法

は拡張バンド譜内の音符の数であり，pa ，na はそれぞれ

a 番目の音符のピッチと，オンセットのテイタムを表している．A ≜ {pa }A
a=1 を拡張バンド譜のピッチの系列とる．Z̃o , Z̃p ∈ {0, 1}A×N であり，Zo によって決定される．

na = n の場合に Z̃o (a, n) = 1 であり，a 番目の音符がテイ
タム n で鳴っている場合に Z̃p (a, n) = 1 である．

E ≜ {EL , ER } を P̂o から A を使って各音符ごとにオンセット行列を抽出した行列とする．EL , ER ∈ {0, 1}A×N
はそれぞれ左手パート，右手パートを表す．Eh の a 番目の行は P̂oh の pa 番目の行である．つまり，Eh (a) = P̂oh (pa )となる．

αmed = (1 − Lmed )Telm + Lmed Tadv

(5)

基本重要度を，この αmed で冪乗し，拡張バンド譜と掛け合わせることで，難易度ラベル Lmed に対応する重要度 P̃ohを得る．ここで注意すべきことは，P̃oh,elm ，P̃oh,adv はそれ
ぞれ，対応する正解ピアノ譜の種類を表しているだけであり，実際には中級となる難易度ラベル Lmed に対応するピアノ譜だということである．
次に，Lntelm を初級ピアノ譜に対する音符レベルの損失とする．また， Lnt
adv は上級ピアノ譜に対する音符レベルの損失とする．

Lnt
∗ =−

図 5

1
1
0
1

する．Z̃ ≜ {Z̃o , Z̃p } をオンセットと音符を表す行列とす3.4.2 中級に関する音符単位の損失

P ∑
N (
∑

対応する音価＋ここで，P̄o ≜ {P̄oL , P̄oR } は正解ピアノ譜のオンセット行列∑

対応する音符のオンセット

Eh と Z̃o の要素積を時間軸方向に足したものを S ≜{SL , SR } ∈ {0, 1}2×A とする．これは，選択された音符を表しており，SL (a) = 1 または SR (a) = 1 はそれぞれのパートに a 番目の音符が存在していることを示す．音価を表す行列D ≜ {DL , DR } ∈ {0, 1}2×A×N は，S と Z̃p をかけ合わせる
ことで得られる．最終的に P̂p = {P̂pL , P̂pR } ∈ {0, 1}2×P ×N
は，D をノートナンバー順に並べることで得られる．

3.6 統計分布
U-Net の正則化に，同時発音数と音符密度の 2 つの音符
統計量の分布を用いた．この分布は各ミニバッチ毎に微分

w · P̄oh,∗ (p, n) log P̃oh,∗ (p, n)h∈{L,R} p=1 n=1() (+ 1 − P̄oh,∗ (p, n) log 1 − P̃oh,∗ (p, n)(∗ ∈ {elm, adv})))

可能な処理を行って計算する．Clv
h (n) は推定ピアノ譜の n
番目のテイタムの同時発音数，Cds
h (m) は推定ピアノ譜のm 番目の小節のオンセットの数，を表し，次のように計算
される．

(6)

曲によって，対応する難易度の正解ピアノ譜 P̄oh が存在しない場合には０となる．そして，Lnt
med は中級の損失とす
ると，次のように計算される.

Clv
h (n) =

P∑

P̂ph (p, n), Cds
h (m) =

p=1

P∑P̂oh (p, m)

(8)

p=1

これらの分布と統計量の損失の求め方を示す．I lv は同時
発音数の最大値，I ds は音符密度の最大値とする．また，こ

nt
nt
Lnt
med = (1 − Lmed )Lelm + Lmed Ladv

(7)

こで同時発音数，音符密度を共通の式で表すため，d ∈ lv, ds
dsとする．各値 i (0 ≤ i ≤ I d ) についてまず，Glvh (i)，Gh (i)3.5 音価の求め方

を次のように計算する．

ここでは，オンセット行列 P̂o と拡張バンド譜 Z から音符を表す行列 P̂p = {P̂pL , P̂pR } を求める（図 5）．
oまず，拡張バンド譜のオンセット行列 Z からピッチとオンセットのペアの系列 {(pa , na )}A
a=1 を計算する．Ac 2022 Information Processing Society of Japan⃝

Gdh (i) =N∑()
ReLU −Cdh (n) + i

(9)

n=1

ここで，ReLU(−Cdh (n) + i) は Cdh (n) < i の時，正の値を4Vol.2022-MUS-135 No.3
2022/9/14

情報処理学会研究報告
IPSJ SIG Technical Report
同時発音数

音符密度

取り，その他の場合は 0 となる．Gdh (id ) は，同時発音数が0.8

j であるテイタムの頻度を表す Flv
h (j)，もしくは，音符密

0.4

0.1

0
0.8

0
難易度ラベルによる学習
0.2

0.4

0.1

度が j である小節の頻度を表す Fds
h (j) を用いて，次のように表現することもできる．

Gdh (i) =i−1∑(Fdh (j) × (i − j))

(10)

正解分布
0.2

0

j=0

0
を用いた時
0.2

0.8

ここで，
d

従って，Fdh ∈ [0, 1]I +1 は再帰的に次のように求められる．

Fdh (0) = Gdh (0)

(11)

(12)
d

0.4

0.1

0
0.8

0
統計量の正則化
0.2

0.4

0.1

0

Fdh (i) = Gdh (i + 1) − 2Gdh (i) + Gdh (i − 1) (i ≥ 1)

初級（0）中級（0.5）
上級（1）

0

1

2
3
左手

4

0

1

2
3
右手

4

0

0

5

10 15
左手

20

25 0

5

10 15
右手

20

25

図 6 統計量の分布．左二列が同時発音数，右二列が音符密度を表している．一段目は正解ヒストグラム，二段目は難易度条件下でd

同時発音数の分布 Qdh ∈ [0, 1]I +1 はこの頻度 {Fdh (i)}Ii=0

学習した場合のヒストグラム，三段目は Lnt
med で学習を行ったを正規化することで求められる．

場合のヒストグラム，四段目は統計量に関する正則化を含めた3.6.1 初級，上級に関する統計量の損失場合である．

統計量損失 L ，Lは JS ダイバージェンス DJS を用い
dて，正解分布 Q̄h と推定分布 Qdh の距離を測る．
ds

Ld =

∑

(
)
DJS Q̄dh ∥ Qdh(13)h∈{L,R}

を用いた時

割合

lv

これらを踏まえて音符単位の損失に統計量の損失を加えた L は β lv ，β ds をそれぞれの重みとして，次の式で示される．

L = Lnt + β lv Llv + β ds Lds(14)
統計量の正則化

これを最小化するように U-Net を学習する．

4. 評価実験
本章では，提案手法の有効性を評価するために行った実験について報告する．まず，ポピュラー音楽を用いて従来手法である難易度条件付きで学習を行った場合の同時発音
数と音符密度の分布について調査を行う．次に，冪乗を用いた提案手法の性能を検証する．

0.25

0.5

左手

0.75

0.25

0.5

右手

0.75 重要度

図 7 難易度ラベル L を変化させた時の重要度のグラフ．上が，Lnt
med

4.1 実験条件

で学習を行った場合，下が，統計量に関する正則化を含めた場

実験には，バンド譜とピアノ譜の MIDI データ 184 ペア

合である．

（初級 85 ペア，上級 99 ペア）を使用した．138 ペアは学
習データとして，46 ペアはテストデータとして用いた．楽譜の拍子は 4/4 拍子として扱い，データ拡張として，1 か

データに対して左右のパートでそれぞれ F を最大化するら 11 までオクターブシフトを行った．U-Net は 4 層の畳ものを使用した．各統計量に関する損失の重みパラメータみ込み層と 4 層の逆畳み込み層で構成される．全ての層では，β lv = 5，β ds = 0 のパターン，β lv = 0，β ds = 5 のパ

バッチ正則化を行った．カーネルサイズは 4，ストライド

ターン，β lv = β ds = 2.5 のパターンを試した．はじめはは 2，パディングは 1 に設定した．過学習を防ぐため，全

αelm = αadv = 1 に固定して学習を行い，100 エポックのての逆畳み込み層でドロップアウト（p = 0.5）を適用し学習後に 5 エポック毎に αelm と αadv の更新を行う．評価

た．ネットワークの最適化には Adam（lr = 10

−4

）を用

いた．閾値は，学習時には 0.5 を用い，推論時には，検証

c 2022 Information Processing Society of Japan⃝

尺度には F 値を利用し，推定結果の統計的妥当性を評価するため Llv ，Lds を計算した．

5

Vol.2022-MUS-135 No.3
2022/9/14

情報処理学会研究報告
IPSJ SIG Technical Report

使用する損失

Lnt

Lnt
med

Llv

Lds

✓
✓
✓

✓

✓
✓

✓

表 1 実験結果
F
JS Div. 同時発音数 (×10)

冪指数の値

αelm

αadv

左手

右手

初級

中級

JS Div. 音符密度 (×10)

上級

初級

中級

上級

1.34

0.752

27.3

59.9

1.22

0.947

1.61

0.504

0.709

1.86

0.990

0.544

26.6

59.6

1.41

0.925

1.32

0.473

0.538

1.24

1.13

0.754

26.6

60.2

1.14

0.929

1.68

0.498

0.756

2.09

✓

1.07

0.631

27.3

59.7

1.15

0.888

1.38

0.436

0.570

1.46

✓

1.04

0.691

26.3

59.7

1.09

0.861

1.44

0.575

0.723

1.77

た中級と緑で表された上級の分布はほとんど同じであるこ初級とがわかる．しかし，提案手法である，三段目と四段目では，難易度ごとにヒストグラムが区別されていることがわ
かる．また，四段目の統計量の正則化を加えた場合，初級の時に値が 0 である場合が少なくなった点が数値が改善した点であると考えられる．
図 7 は, 難易度ラベルを変化させた時の，重要度の分布の変化をまとめたグラフを示している．このグラフでは 0（初級）の場合から，0.25 ずつ難易度の値を増やして 1（上級）まで，五つのグラフを比較している．上の，中級に関する損失を用いた場合は，下の，統計量の正則化を用いた場合に比べ，重要度分布が均等に分布が変化していること上級がわかる．また，図 8 は, 中級に関する損失を用いた場合に出力された楽譜例を示している．オレンジ色で示された音符に注目すると，少しずつ音符が増えていることがわか

図 8 中級に関する損失を用いて学習を行った場合での楽譜の例．下に向かって，初級から上級へ，変化している．オレンジ色の音る手法が滑らかに難易度を変化させていくに効果があるこ

符は一つ前の楽譜と比べて増えた音符を表している．

とがわかる．

4.2 実験結果
表 1 は U-Net を Lnt ，Lnt
med でそれぞれ学習した場合と，Lる．これらより，学習時にランダムに中級のラベルを与え

5. おわりに
本稿では，深層学習を用いて，無段階に難易度を調整すに統計量に関する正則化を一つずつと，両方加えた場るため，音符の重要度に着目したピアノ編曲の手法を提案

合での最適化された冪指数の値と，calF と JS ダイバー

し，重要度の推定や，学習時の中級の生成の有効性が示さ

ジェンスによる評価値を示す．まず，中級に関する音符単れた．今後の課題としては，初級と上級の統計分布から中ntで学習を行っ位の損失 Lnt
med で学習を行った場合は，L級分布を求め，音符単位の損失だけでなく統計量の正則化た場合に比べ，統計量の分布に対して効果があることが分にも中級を組み込むことや，初級と上級の楽譜の組み合わかる．また，統計量による正則化は，同時発音数の JS ダ

せからの中級楽譜の生成，主観評価実験の実施などが挙げ

イバージェンスの値はあまり改善していないが，正則化をられる．

入れたにもかかわらず，F が改善した点もあることを考え謝辞

nt

本研究の一部は，JSPS 科研費 No. 19H04137,

ると，統計量の正則化による相乗効果による性能向上に期

No. 20K21813 および JST さきがけ No. JPMJPR20CB の待できる．

支援を受けた．

図 6 は, 実験によって得られた統計量の分布を示している．一段目は正解分布を表している．青色で示された初級

参考文献と，緑色で示された上級の分布はデータセット内の楽譜を[1]用いて計算されたものである．また，オレンジ色で示された中級に関しては上記二つの分布からワッサーシュタイン計量の重心を用いて計算したものである．二段目は，従来[2]手法である難易度条件下で学習を行った場合の同時発音
数，音符密度の分布を表す．青色のグラフで示された初級の分布は大きく異なることがわかるが，オレンジで表され

c 2022 Information Processing Society of Japan⃝[3]

Chiu, S.-C., Shan, M.-K. and Huang, J.-L.: Automatic
system for the arrangement of piano reduction, Proc.
International Symposium on Multimedia, pp. 459–464(2009).
Onuma, S. and Hamanaka, M.: Piano Arrangement System Based On Composers’ Arrangement Processes, Proc.
International Computer Music Conference, pp. 191–194(2010).
Huang, J.-L., Chiu, S.-C. and Shan, M.-K.: Towards an

6

情報処理学会研究報告
IPSJ SIG Technical Report

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

Vol.2022-MUS-135 No.3
2022/9/14

automatic music arrangement framework using score reduction, ACM Transactions on Multimedia Computing,Communications, and Applications, Vol. 8, No. 1, pp.
8:1–8:23 (2012).
Takamori, H., Sato, H., Nakatsuka, T. and Morishima,S.: Automatic arranging musical score for piano using
important musical elements, Proc. Sound and Music
Computing Conference, pp. 35–41 (2017).
Nakamura, E. and Yoshii, K.: Statistical Piano Reduction Controlling Performance Diﬃculty, APSIPA Transactions on Signal and Information Processing, No. e13,pp. 1–12 (2018).
Wang, Z., Chen, K., Jiang, J., Zhang, Y., Xu, M.,
Dai, S., Gu, X. and Xia, G.: POP909: A Pop-Song
Dataset for Music Arrangement Generation, Proc. International Society for Music Information Retrieval, pp.
38–45 (2020).
Tuohy, D. and Potter, W.: A genetic algorithm for the
automatic generation of playable guitar tablature, Proc.
International Computer Music Conference, pp. 499–502(2005).
Yoshinaga, Y., Fukayama, S., Kameoka, H. andSagayama, S.: Automatic arrangement for guitars using
hidden Markov model, Proc. Sound and Music Computing Conference, pp. 450–456 (2012).
Hori, G., Kameoka, H. and Sagayama, S.: Input-output
HMM applied to automatic arrangement for guitars,
Journal of Information Processing, No. 2, pp. 264–271(2013).
Maekawa, H., Emura, N., Miura, M. and Yanagida, M.:
On machine arrangement for smaller wind-orchestras
based on scores for standard wind-orchestras, Proc. International Conference on Music Perception and Cognition, pp. 268–273 (2006).
Crestel, L. and Esling, P.: Live orchestral piano, a system
for real-time orchestral music generation, Proc. Soundand Music Computing Conference, pp. 434–442 (2017).
Terao, M., Hiramatsu, Y., Ishizuka, R., Wu, Y. andYoshii, K.: Diﬃculty-Aware Neural Band-to-Piano Score
Arrangement Based on Note- and Statistic-Level Criteria, Proc. IEEE International Conference on Acoustics,
Speech and Signal Processing, pp. 196–200 (2022).
H. Takamori, T. Nakatsuka, S. F. M. G. a. S. M.: Audiobased automatic generation of a piano reduction score byconsidering the musical structure, International Conference on Multimedia Modeling, pp. 169–181 (2019).
Wang, Z., Xu, D., Xia, G. and Shan, Y.: Audio-ToSymbolic Arrangement Via Cross-Modal Music Representation Learning, Proc. IEEE International Conference on Acoustics, Speech and Signal Processing, pp.
181–185 (2022).
Chiu, S.-C. and Chen, M.-S.: A Study on Diﬃculty Level
Recognition of Piano Sheet Music, 2012 IEEE International Symposium on Multimedia, pp. 17–23 (2012).
Ramoneda, P., Tamer, N. C., Eremenko, V., Serra, X.
and Miron, M.: Score Diﬃculty Analysis for Piano Performance Education based on Fingering, Proc. IEEE International Conference on Acoustics, Speech and Signal
Processing, pp. 201–205 (2022).
Ronneberger, O., Fischer, P. and Brox, T.: U-Net: Convolutional Networks for Biomedical Image Segmentation,
International Conference on Medical image computing
and computer-assisted intervention, pp. 234–241 (2015).

c 2022 Information Processing Society of Japan⃝

7