情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2016-MUS-112 No.5
2016/7/30

deepGTTM-II: ディープラーニングに基づく拍節構造分析器
浜中 雅俊†1

平田 圭二†2東条 敏†3

概要：本稿では，音楽理論 Generative Theory of Tonal Music (GTTM) の拍節構造分析を自動で獲得する分析器について述べる．これまで自動で拍節構造を分析するシステムも構築されているが，分析誤りが多く，音楽家による修正が必須であったためディープラーニングに基づく新たな分析器を構築する．音楽家が GTTM に基づき拍節構造を分析した 300 曲の分析データベースを我々は保有しているが，それだけでは学習データが不足なため楽譜と拍節構造の関係を直接学習することは困難である．そこで我々は，楽譜と拍節構造との関係を以下の 3 つのステップでマルチタス
ク学習するシステム deepGTTM-II を提案する．まず，1 万 5 千件の教師なし楽曲データを用いてネットワークのプレ
トレーニングを行う．次に，GTTM ルールの適用箇所を 1 万 5 千件の教師なし楽曲に我々がこれまでに構築した自動分析器を用いて自動でラベル付けした自動教師つき楽曲データを作成し，バックプロパゲーションにより教師付き学習を行う．最後に，300 曲の教師付きデータを用いてファインチューニングを行う．実験の結果，deepGTTM-II は，
従来の GTTM 分析器と比べて高い性能であることを確認した．

deepGTTM-II: Metrical Structure Analyzer based on
Deep Learning Technique
Masatoshi Hamanaka†1

Keiji Hirata†2

Satoshi Tojo†3

Abstract: This paper describes an analyzer that automatically generates the metrical structure of a generative theory of tonal
music (GTTM). Although a fully automatic time-span tree analyzer has been developed, musicologists have to correct the errors
in the metrical structure. In light of this, we use a deep learning technique for generating the metrical structure of a GTTM.
Because we only have 300 pieces of music with the metrical structure analyzed by musicologist, directly learning the relationshipbetween the score and metrical structure is difficult due to the lack of training data. To solve this problem, we propose amultidimensional multitask learning analyzer called deepGTM-II that can learn the relationship between score and metricalstructures in the following three steps. First, we conduct unsupervised pre-training of a network using 15,000 pieces in a
non-labeled dataset. After pre-training, the network involves supervised fine-tuning by back propagation from output to input
layers using a automatic labeled dataset, which consists of 15,000 pieces labeled with an automatic analyzer that we previously
constructed. Finally, the network involves supervised fine-tuning using a labeled dataset. The experimental results demonstrated
that the deepGTTM-II outperformed the previous analyzers for a GTTM in F-measure for generating the metrical structure.

1.

はじめに

用いてプレトレーニングと呼ばれる教師なし学習を繰り返し行うことで，ファインチューニングと呼ばれるラベル付

本稿では，音楽理論 Generative Theory of Tonal Music

きデータを用いた教師つき学習の効率を上げることを可能(GTTM)[1]に基づき拍節構造を自動獲得する分析器を提案とする．本研究の最終的なゴールは，音楽家による分析結する．GTTM は，グルーピング構造分析，拍節構造分析，果をディープラーニングで学習させることで，人間と同じタイムスパン簡約，プロロンゲーション簡約の順で分析が分析結果を出力するネットワークを構築することである．

進められる．二番目の分析である拍節構造の分析結果は，

ディープラーニングを用いて音楽理論 GTTM に基づく

その後の分析に影響を与えるため，精度高く分析すること

分析器を構築するためには，以下の 3 つを考慮する必要がが極めて重要である．GTTM の拍節構造の獲得を可能としある．

ていた従来の分析器には，ATTA[2]および FATTA[3]があっ

たが，いずれも分析精度が低く，分析結果を音楽家が手動

特徴ベクトルからその時のラベルを推定するのが，一般的で修正する必要があった．

な識別問題である．一方，たとえば拍が強拍であるか弱拍

多タスクの識別問題であること

そこで本研究では，GTTM における局所的グルーピング

であるかは，すべての拍に発生しうる．そこで本研究では，境界の検出に，ディープラーニングを用いた deepGTTM-I

ある拍が強拍（あるいは弱拍）であるかどうかを判定するを構築し，検出精度の向上を目指す．ディープラーニング

問題を 1 つのタスクとらえる．すると，楽曲から拍節構造

は多層化したニューラルネットワークで，大量のデータをを求める問題は，マルチタスクの識別問題と捉えることができる．4.2 では，マルチタスクのディープラーニングを†1 京都大学
Kyoto University†2 公立はこだて未来大学
Future University Hakodate†3 北陸先端科学技術大学院大学
JAISTⓒ2016 Information Processing Society of Japan

用いたモデル化について述べる．


大量の学習データが必要となること

多層からなるニューラルネットワークを学習するためには

1情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2016-MUS-112 No.5
2016/7/30

大量のデータが必要である．ファインチューニングに用いその安定性が高くなるように ATTA のパラメータを自動調る教師付データは， GTTM データベースに収められてい整するシステムであった．拍節構造分析の正解率は 9 割程る 300 曲のラベル付きの曲をデータとして用いる[4]．一方，度であったが，グルーピング構造分析およびタイムスパン

プレトレーニングに用いる教師なしデータは 300 曲では明簡約の正解率は 5 割弱で，音楽家の手作業による修正を行らかに不足で，もっと多くの曲が必要である．教師なしデ

わなければ分析結果を利用することは難しかった．

ー タ は ラ ベ ル が 不 要 で あ る た め ， makemusic 社 の誤りのない完全な分析結果を出力する分析器を構築するこMusicXML のページ[5]で紹介されているサイトからダウとが困難であったことから，2009 年に構築した Interactive

ンロードした１5,000 曲のデータを用いることにした．4.1

GTTM analyzer では分析器と手動による編集をシームレス

では，学習セットの作成について述べる．

に行うことを可能にしたものであった [10]．Interactive

GTTM analyzer は現在でも分析データの蓄積のために使用

GTTM のルールが適用されていること

GTTM は複数のルールによって構成されており，拍節構造

されており無料でダウンロードすることができる[4]．

の分析では，ルールが多く適用されている箇所が強拍にな2008 年に構築したσGTTM では，決定木を用いた統計的学

りやすい．GTTM データベースに収められている楽曲では，

習により自動で局所的グルーピング構造の検出を可能にし音楽家による分析結果として，階層的な強拍の位置だけでていた[11]．FATTA より性能が高かったものの，パラメー

なく，ルールの適用位置も収められている．これらルール

タ 調 整 後 の ATTA よ り は 低 い 性 能 で あ っ た ． 一 方 ，の適用位置は，拍節構造を求めるための大きな手がかりとσGTTMII では，複数の学習済みの決定木を用意し，それなる．4.3 節では，マルチタスクディープラーニングの学らを手動で切り替えることで，ATTA を超える性能を実現

習に，適用されたルールを利用することについて述べる．

していたが，適切なグルーピング境界を選択するためには，

マルチタスクディープラーニングを用いて，拍節構造の音楽知識が必要で，音楽家でなければ難しい作業であった学習を行った結果，deepGTTM-II が従来の分析器に比べて[12]．

高い性能であることを確認した．以下本稿の構成は，2 節

2015 年に構築したσGTTMIII [13] では，音楽家による楽で従来の分析システム・応用システムについて検討を行い，曲分析結果を確率文脈自由文法（Probabilistic context-free

3 節で GTTM の実装上の問題点について述べる．そして，grammar, PCFG）[14]に基づき統計的に学習することでタイ

4 節で deepGTTM-II を提案し，5 節でその評価実験を行う．

ムスパン木の自動分析を可能としていた．σGTTMIII では，

最後に 6 節で，まとめと今後の課題について述べる．

GTTM データベースに収められている 300 曲を教師データ

2.

関連研究

として PCFG の生成規則と生成確率を学習し，タイムスパン木分析器としては最も高い性能を示していた．また，同これまで様々な音楽理論[6, 7, 8] が提案されてきたが，

じ く PCFG に 基 づ く タ イ ム ス パ ン 木 分 析 器 で あ る

GTTM は他の音楽理論と比べて比較的厳密なルールで記述

pGTTM[15]では，教師なし学習を可能としていた．これら，されており，音楽知識を形式化する上で最も有望であると

σGTTMIII および pGTTM の特長は，タイムスパン木の先

我々は考え，これまで 10 年以上にわたり分析システム，応端付近では拍節の影響が強く，根の近くでは和声の影響が用システムの両面から研究を進めてきた（図 1）[9]．

強くなるなど，階層によるコンテクストの違いを学習可能(1) 分析システムとしている点である．

図 1 のタイムラインより上は，我々がこれまで構築してき上記述べてきた分析システム・手法では，楽曲中で並列的た分析システム・手法である．我々は，2004 年にグルーピなメロディを見つけたり，シンメトリーな構造を見つける

ング構造分析器および拍節構造分析器を構築し，それらをような基本的な処理が不足していたり，あるいはそれらの統合したタイムスパン木分析器 ATTA (Automatic Time-span

処理があった場合でも，それらの処理と他の処理とがうま

Tree Analyzer) [2]を 2005 年に構築した．ATTA は，46 個のく連携されていないという問題があった．本研究では，そ調節可能なパラメータを持ち，それらを適切に調整すればれらの一連の処理をディープラーニングで実現することをグルーピング構造では 8 割弱，拍節構造では 9 割強の正解目指す．

率，タイムスパン木では，6 割の正解率であった．ATTA は(2) 応用システム

GTTM のルールの優先順序を適切に適用すれば，正解率の図 1 のタイムラインより下は，我々がこれまで構築してき高いグルーピング構造や拍節構造を獲得できることを示した応用システムである．GTTM の分析の結果求まるタイム

た点で意義があるが，その一方で，パラメータを調整する

スパン木は，楽曲の要約[16]や表情付け[17]，生成[18]，メ

ためには，音楽的な知識が必要で，音楽家でなければ扱う

ロディモーフィング[19], 作曲支援[20] に用いることがでことが困難であった．

きる．これらのシステムを有効に利用するためには，GTTM

2007 年に構築した FATTA[3]は，タイムスパン木の安定性に基づく楽曲分析を精度高く自動で行うシステムの構築がに関するルールに基づきタイムスパン木の安定性を定義し，必要である．

ⓒ2016 Information Processing Society of Japan2

情報処理学会研究報告
IPSJ SIG Technical ReportexGTTM提案

Vol.2016-MUS-112 No.5
2016/7/30

ATTA：タイムスパン木分析器構築

統計的学習に基づくσGTTMⅡInteractive GTTM Analyser

PATTA：ポリフォニ
版タイムスパン木分析器
拍節構造分析器

MusicXMLPTTA (monophony)

FATTA：完全自動
タイムスパン木分析器
FATTA: 完全自動タイムスパン木分析器

統計的学習に基づくσGTTM
B2na

1

ATTA: タイムスパン木分析器

MusicXML

最適化

局所的境界の検出 (境界の深さ) GPR1, 2, 3, 6 の適用

局所的境界

Bi

グルーピング構造
分析器の調節可能な
パラメータ

B2nb

1

[time]

PCFGに基づくσGTTMIII

MetricalXML

GroupingXML

Time-span
XML(Polyphony)MusicXML(Polyphony) Part
divider

Harmonic
analyzer0

Splitting Test

パラメータ最適化部

グルーピング構造
分析器

PCFGに基づくpGTTM

..
..

..
.

..
.

.
Grouping
structure analyzer.
Metricalstructure analyzer

Time-span tree
analyzer

HarmonicXML

0

B2nb

1

Manual arrangementby musicologists

0MusicXML(homophony)

Manual analysis
by musicologists

Time-spanXML(homophony)

トップダウンによる分割

高次の境界の検出

No

End NodeYes

B2na1

B3nc1b 1

GPR1, 2, 3, 4, 5, 6 の適用
グループ中に局所的境界がある

1

0

B3nd

1

0

1

0

0

1

GroupingXML

グルーピング構造分析器b0

拍節構造分析器
現在の構造

局所的な拍点の強さの算出

最適化

Dilow-level

Yes

DGPR7

タイムスパン木・拍節構造の安定度

DTSRPR5DTSRPR5 + DGPR7
2

MetricalXML

タイムスパン木
分析器

現在の構造

ヘッドの強さの算出

最適化
タイムスパン木
分析器の調節可能な
パラメータ

TSRPR5の適用

Ditime-span(ヘッドの強さ)

次の階層のヘッドの選択

TSRPR1,3,4,8,9の適用

次の階層
ヘッドが2つ以上No

Yes

Time-spanXML

2002

2004

2003

メロディ要約

2005

2006

2007

メロディモーフィング（内挿）

表情付け

n
2a

B

B3nc10

The position between notes
The kind of GPR

Conditional AttributeB2na , B2nb , B3na , B3nb , B3nc , B3nd ,B2na1 , B2nb1 , B3na1 , B3nb1 , B3nc1 , B3nd1 ,B2na1 , B2nb1 , B3na1 , B3nb1 , B3nc1 , B3nd1
Target Attribute b
If a local grouping boundary is
between notes, b = 1, otherwise b = 0.

2008

B3nc

…

No

GPR7の
適用

1

…

MPR10の適用、構造の選択

0

…

m4
m5

拍点が2つ以上

B3nd…
…

次の階層 m  1
m 2
の候補
m3

次の階層の
拍節構造の選択1…

MPR1,2,3,4,5の適用 [time]

b0
0

…

(拍点の強さ)B2nb1…

拍節構造分析器
の調節可能な
パラメータ

1

2009

 



                            AllegroViolin I

Violin II



Viola

Basso




 


 

                       









   

 
 
 



                  


 







                     




 

 










       

 


 




 

          





 


 



                                                                         タイムスパン木のポリフォニ化

2010

2011

2012

2013

2014

タイムスパン木に基づく作曲支援
FATTAに基づく
メロディ予測メロディモーフィング
（外挿）

2015

2016

ShakeGuitar

HD公開

ShakeGuitar公開

メロディ生成図 1
Figure 1

音楽理論 GTTM に基づく分析システム・応用システム
Related work on analysis and application systems for GTTM

(3) ビートトラッキング

3.1 拍節選好ルール

拍節構造分析に似通った手法としては，ビートトラッキン

拍節構造分析は，構成ルールと選好ルールの２種類のルグが挙げられる．従来のビートトラッキングに関する手法ールにより定義されている．構成ルールを満たす構造が複[21, 22, 23, 24]は，階層的な拍節構造の獲得を実現してい数ある場合，選好ルールはそれら複数の構造の中から望またが，そこで扱われたのは小節レベルまでの拍節構造で，しいものを選びだすためのものである．拍節選好ルールは本研究で扱うような，それより高次の拍節構造については

MPR1 (parallelism), MPR2 (strong beat early), MPR3 (event),

考慮していなかった．

MPR4 (stress), MPR5 (length), MPR6 (bass), MPR7 (cadence),

3.

GTTM と実装上の問題

図 2 は，グルーピング構造，拍節構造，タイムスパン木MPR8 (suspension), MPR9 (time-span interaction), and MPR10(binary regularity)の 10 種類からなる．MPR5 はさらに(a)pitch-event, (b) dynamics, (c) slur, (d) articulation, (e) repeatedおよびプロローゲーション木である．拍節構造分析は，4pitches, and (f) harmony の 6 種類に分類される．

分音符/2 分音符/1 小節/2 小節/4 小節などそれぞれの拍節レ

3.2 選好ルールの競合

ベルにおける強拍と弱拍を同定するもので，聴取者が曲に選好ルールの適用順や優先順位は定められていないため，合わせて手拍子を打つタイミングや指揮者がタクトを振る

選好ルールの競合はしばしば発生し，分析の曖昧性をもたタイミングを求めるような分析である．

らしている．図 3 は，MPR5c と 5a が競合している例である．MPR5c は長いスラーの開始点を強拍とするルールで，プロロンゲーション木

MPR5a は長い音符の開始点を強拍とするルールである．拍タイムスパン木

拍節構造
グルーピング構造
図 2
Figure 2

GTTM の分析結果
Analysis results by GTTM

ⓒ2016 Information Processing Society of Japan

図 3
Figure 3

拍節選好ルールの競合の例
Example of conflict between MPRs

3

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2016-MUS-112 No.5
2016/7/30

節構成ルールでは，強拍は 2 拍に 1 回，あるいは 3 拍に 1

実装 す るた め には リ カレ ン トニ ュ ーラ ル ネッ ト ワー ク

回繰り返されると定義されていることから MPR5c と 5a の（RNN）など，フィードバックリンクを扱えるネットワー

両方を成立させて第 1 音目と第二音目の両方を強拍とする

クを用いることが望ましい．本稿では，拍節構造分析の実ことはできず，ルールの競合が生じる．

現に主眼を置いているためフィードバックリンクについて

3.3 ルールの定義の曖昧さは扱わない．

GTTM のルールには非常に定義が曖昧なものが存在する．

4.
deepGTTM-II: ディープラーニングに基づく拍節構造分析器

たとえば，MPR5a (Length) は，どちらかといえば長い音のオンセットを強拍とするルールである．しかしこの，「どち

3.2 から 3.4 までの問題を解決するため GTTM の分析にら か と い え ば 」 と い う 語 は 曖 昧 で あ る ． 一 方 ， MPR1
(Parallelism) は，並行しているフレーズの拍節構造が並行

ディープラーニングを導入する．

した構造になること選好する．しかし，GTTM では曲の類



似度について定義されていないため，フレーズが並行して従来の GTTM 分析器は，研究者・プログラマーによって構いるかどうかの判断は分析者に委ねられている．

築されてきたが，その場合 3.3 で述べた GTTM における曖

3.4 状況依存性

昧な点は，実装者のごとに解釈が異なってしまう可能性が3.2 および 3.3 で述べた問題を解決するため，我々は GTTM

ある．deepGTTM-II の場合，楽譜と拍節選好ルールの適用を計算機実行可能に拡張した exGTTM およびそれを計算

箇所を学習して，各階層の一つ一つの拍それぞれに GTTM

機上に実装した ATTA を提案した[2]．図 4 は， exGTTMのルールが適用されるか否かを出力する深層のネットワー

および ATTA を用いて MPR4，5a，5b，5c を適用した例でクを構築する．したがって，性能は，学習データの質と量ある．調節可能なパラメータ Tj (j = 4, 5a, 5b, 5c) を用いてに依存することになる．

ルールの適用の学習

閾値を変化させることで各ルールを成立させるかどうかを

決めることができる．しかし，パラメータの適切な値は楽

FATTA は，タイムスパン木の安定性という 1 つの尺度を用

曲や曲の長さ，拍節構造の階層の深さなどに依存して変化

いてルールの優先順序を決定していたが，分析精度は低かするため，適切なパラメータを推定することは難しい．

った．おそらく，ルールの優先度は楽曲の様々なコンテク

ルールの優先度の学習

ストに依存しており 1 つの尺度に集約することは困難なた

…
^^
5b5b
5c
velo
2μvelo

^
4
5a
5b

^
4
5a
5b

^^
5b5b
5c

^
4
5a
5b

^
4
5a
5b

^^
5b5b
5c

めと考えられる．deepGTTM-II で用いる深層ネットワーク
は，楽曲を入力しルールが適用されるか否かをネットワー

Current structure

T4
[i]

valu
2μvaluvol2μvolトを反映した分析器を作成することが可能である．
本節では，ディープラーニングを用いて拍節構造の分析

T5aを可能にする方法について述べる．

[i]

4.1 学習・評価データ

T5b
[i]

slur
2μslurクの重みとバイアスとして学習するため，曲のコンテクス

T5c
[i]

図 4

ATTA を用いた MPR4, 5a, 5b, 5c の適用

Figure 4

Application of MPR4, 5a, 5b, and 5c in ATTA

ネットワークの学習のため，教師なしデータ，自動教師
付けデータ，教師付きデータの 3 種類を用意した（図 5）．
(1) 教師なしデータ
ネットワークに入力データの性質を覚えさせるプレトレー
ニングでは大量の教師なしデータを必要とする．そこで，

3.5 フィードバックリンクに関する説明の不足

MakeMusic 社の MusicXML のページからリンクが張られてGTTM では，タイムスパン木など高次の構造からグルーピいるページから 15,000 曲の MusicXML を収集する（図 5a）．

ング構造や拍節構造など低次の構造へフィードバックとし具体的には，まず Web 巡回スクリプトで 5 リンク以内を巡て働くルールが複数存在する．たとえば，MPR9 (Time-span

回し，XML のリストを収集する．つぎに，ファイル名からInteraction) は，タイムスパン簡約と矛盾しないような拍節明らかに MusicXML でないものを除き，XML のリストを

構造を優先するルールである．しかし，いくつかの例が示

ダウンロードする．最後に，ダウンロードしたファイルのされているだけで詳細な説明がなされていない．

うち，MusicXML でないものを削除した．

また，明示的ではないがフィードバックリンクとなってい(4) 自動教師付けデータ

る場合もある．たとえば，タイムスパン簡約の分析結果は，

GTTM データベースには 300 曲の MusicXML と，音楽家に

コード進行に強い関連があるし，コード進行に関連するル

よる拍節構造の分析結果および拍節選好ルールの適用結果

ールも多くある．

がある．しかし，深層のニューラルネットワークのファイ

したがって，ディープラーニングを用いて GTTM を完全に

ンチューニングするためには 300 曲では少なすぎるため，ⓒ2016 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2016-MUS-112 No.5
2016/7/30（MusicXML）から取得した各音符のオンセット，オフセ

Web巡回スクリプト
15,000曲(MusicXML)

ット ， ベロ シ ティ ， ピッ チ およ び ，グ ル ーピ ン グ構 造
（GroupingXML）から取得したグルーピング境界である．
グルーピング境界は階層ごとに境界では 1 それ以外では 0- MusicXMLが入力される．

(a) 教師なし
データ

DBN の出力は，1 つの階層につき，7 種類の拍節選好ルール（MPR2,3, 4, 5a, 5b, 5c, 5d）とその階層の拍節構造を接続- MusicXML- ルールの適用（ATTA）

ATTA

し，マルチタスク学習を構成する．拍節選好ルールは，ルールが適用される場合 1，されない場合 0，拍節構造は強拍(b) 自動教師
付きデータの場合 1，弱拍の場合 0 とする．階層的な拍節構造は，上位の階層のネットワークを次々と接続していくことで構成- MusicXML- ルールの適用（音楽家）- グルーピング構造（音楽家）

GTTM データベース

される．出力とネットワークの最終段の隠れ層との接続はロジスティック回帰を用いた．すべての出力は，第 1 層か(c) 教師付き
データ

ら第 n 層までのすべての隠れ層を共有し，以下に述べる 4
ステップで学習を行う．学習する曲順は Epoch ごとにラン300 曲 x 12 keys x 7（音価の変化）

図 5
Figure 5

教師なし・自動教師付け・教師付きデータダムに変更する．

Non-labeled, automatic labeled, and labeled datasets(1) 隠れ層 1 から n 層までのプレトレーニング
入力に接続した隠れ層 1 から出力に接続した n 層まで制約

自動教師付けデータを作成する（図 5b）．

付きボルツマンマシン（RBM）を用いて，プレトレーニン

自動教師付けデータは，ATTA を用いて MPR2, 3, 4, 5a, 5b,グ（教師なし学習）を行う．プレトレーニングは，15,000

5c, 5d を適用したものである．ルールが適用されるかどう

曲の教師なしデータを用いて 100Epoch 繰り返す．

かを決める調節可能なパラメータの値を決めれば，これら(2) MPR2, 3, 4, 5a, 5b, 5c, 5d のファインチューニング

のルールの適用結果は楽譜からは一意に決まり，曖昧性がプレトレーニングが終了しているネットワークに対し，ない．

15,000 曲の自動教師付けデータを用いバックプロパゲーシ

各拍節選好ルールによる拍の強さは Di j (j=2, 3, 4, 5a, 5b, 5c,jョンにより MPR2, 3, 4, 5a, 5b, 5c, 5d を 100Epoch ずつ教師

5d, 0< Di <1)で表される．たとえば，MPR4 (Event)は，強付き学習する．

調されて演奏された音符を強拍とするルールであるが，(3) 1 つのレベルの拍節構造のファインチューニング

ATTA では次式のように定式化している．

MPR のファインチューニングが済んでいるネットワーク

1 veloi  2  velo  T 4
Di  
else
0を用いて，25,200 曲の教師付きデータを用いてバックプロ

4

パゲーションで 1 つのレベルの拍節構造を教師付き学習す

(1)

る．

ここで veloi は音符のベロシティ，μvelo はその平均，T（0<
Tj
j
j

j

(4) 次のレベルの教師なし/付き学習の繰り返し<1）は，ルールを成立させるか（Di =1），否か（Di =0）

次のレベルの拍節構造がある場合（現在のレベルに拍点がを決めるパラメータである．deepGTTM-II では，Tj （j = 2,

2 個以上ある場合）隠れ層を 1 層追加し，その層を教師な

3, 4, 5a, 5c, 5d）の値は 1 とする．

しデータを用いてプレトレーニングした後，(2)と(3)を行う．

(2) 教師付きデータ

そして，拍点が 1 つになるまで（4）を繰り返す．

GTTM を良く理解している 3 人の音楽家がクラシック曲か

4.3 マルチタスク学習

ら切り出した 8 小節の長さの 300 個のメロディの楽譜デー4.2 で導入した DBN は非常に複雑で，1 つのレベルの拍

タと，それを GTTM に基づき手作業で分析した拍節構造分

節構造の学習がマルチタスク学習になっている．したがっ析データおよびグルーピング構造分析データである．

て，複数のルールの学習は，多次元のマルチタスク学習に

学習データを増加させるため，まず，楽曲全体を半音ずつ相当する．マルチタスク学習では，ある一つの拍が強拍で上下にシフトし，12 の key すべてにトランスポーズした曲

あるか弱拍であるか，あるいは，ある一つの拍に拍節選好を用意した．さらに，楽曲の全ての音符の音価を 2 倍，4ルールが成立するか否かはそれぞれ別のタスクとして学習倍，8 倍，0.5 倍，0.25 倍，0.125 倍にした曲を用意した．

される．学習の手順は以下の通りである．まず，学習デー

データの総数は 25,200（=300x12x7）である（図 5c）．

タの曲順をランダムシャッフルし，1 曲ずつ順に選択する．

4.2 Deep Belief Network

選択された曲の学習タスクの順をランダムシャッフルし，1拍節構造を分析する深層ネットワークとして deep belief

タスクごとに学習を行う．学習は，強拍やルールが成立す

network (DBN)を採用した（図 6）．DBN の入力は，楽譜る場合には出力を 1，そうでない場合は 0 として，バックⓒ2016 Information Processing Society of Japan5

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2016-MUS-112 No.5
2016/7/30

・・・

・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・

Metrical structure level hMetrical dots
MPR2

Hiddenlayer n+h・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
Fully- connected to hidden layer n+h-1

MPR5d

・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・

・・・・

・・・

・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・

Metrical structure level 1
Metrical dots
MPR2

HiddenLayer n+1

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
Fully- connected to hidden layer n

MPR5d

・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・

・・・

・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・
・・・

Metrical structure level 0
Metrical dots
MPR2

Hiddenlayer n・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

Hiddenlayer n -1

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・

MPR5d

・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・
・・・・

・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・
・・・・・

・・・・・
・・・・・
・・・・・
・・・・・

・・・・・
・・・・・
・・・・・
・・・・・
・・・・・

・・・・・

Hiddenlayer 1

・・・・・

・・・・・

Hiddenlayer 2

Fully- connected

Onset time
Offset time
Pitch
VelocityGroupingboundaries
Level 3
Level 2
Level 1
Level 0Score
Grouping structure
Level 0Level 1
Level 2
Level 3
図 6
Figure 6ⓒ2016 Information Processing Society of Japan

拍節構造を分析する Deep Belief Network

Deep belief network for generating metrical structure6情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2016-MUS-112 No.5
2016/7/30

プロ パ ゲー シ ョン で 行わ れ る． 1 つの タ スク の 学習 がきる可能性が高まったと言える．今後，GTTM の分析全体100Epoch 終了したら，次のタスクあるいは次の曲の学習ををディープラーニングで実装してゆく．

行う．



GTTM で定義されている複数のルールを深層のニューラル

実験結果

5.

ルールの適用や強拍/弱拍のマルチタスク学習

ネットワークでマルチタスク学習することが，拍節構造の

GTTM データベースに収められた 300 曲のうち，200 曲

学習を助けることが明らかになった．学習された各層 3000を学習データ，100 曲を評価データとして deepGTTM-II のユニット 11 層のネットワークは，これまでに構築されたど

性能を適合率 P と再現率 R を組み合わせた F 値で評価した．

の GTTM 分析器よりも性能が高いことが確認された．

F値  2 

P R
PR

（2）

ただし，
適合率 P:

本研究は，ディープラーニングを用いて GTTM を計算機上に完全実装するための第一歩である．今後，タイムスパ
ン簡約とプロロンゲーション簡約の実装を行っていく．そ正解データの拍点と同じ拍点が，システムの出の際，以下の 2 つの問題が発生する．一つ目の問題は，タ力に含まれている割合．

イムスパン木やプロロンゲーション木という木構造の分再現率 R: システムが出力した拍点が正解データに含まれ析・生成は，拍節構造に比べて格段に難易度が高くなるこている割合．

とである．もう一つの問題は，学習データの不足である．

表 1 は，各層 3000 ユニット，11 層からなるネットワー

木構造の組み合わせの数は，拍節構造に比べて多大になる

ク を 用 い た 結 果 で あ る ． ATTA お よ び FATTA は ，ため，多くの学習データを用意しなくては学習データがス

deepGTTM-II で評価に用いたのと同じ 100 曲での評価結果

パースになり学習が難しくなることが予想される．

である．ATTA は，手動調節可能なパラメータがあり，そ今後，これらの問題を解決して GTTM のディープラーニの調整により性能が変化するため，パラメータの調節前とング実装を進めていく．現在のところ，我々はなぜディー

後の F 値の両方を載せた．FATTA には調節可能なパラメー

プラーニングが拍節構造分析で高い性能を示しているのか

タはない．その結果，deepGTTM-II は，FATTA およびパラ充分検討できていないが，今後，学習済みネットワークをメータ調整前・後両方の ATTA の結果よりも性能が高いこ解析し知見を得ていく．

とが確認できた．

6.

おわりに

本稿では，ディープラーニングに基づく拍節構造分析器
deepGTTM-II の構築について述べた．本研究の主な意義は
次の 3 点である．


ディープラーニングに基づく音楽分析器の構築

ディープラーニングは様々なタスクにおいて強力であることが明らかになっているが，我々は音楽分析においても強力であることを明らかにした．今後，様々な音楽理論をディープラーニングを用いて実装することを試みていく．
我々が構築した GTTM 分析データベースには 300 曲の曲と音楽家による分析結果が収められているが，300 曲では深層のニューラルネットワークを学習するためには充分ではなかった．そこで，これまで我々が構築した GTTM 分析器
である ATTA を用いて自動教師つきデータを作ることで，ネットワークの学習を可能とした．


手動調整なしの高性能な GTTM 分析器の実現

ATTA やσGTTM など従来の GTTM 分析器は，手動による調整なしでは，分析精度が非常に低かった．一方，手動による調整が不要な FATTA，σGTTM，σGTTMIII や pGTTMなどの自動分析器は，性能が低かった（F 値で 0.8 以下）．
これらに対し，deepGTTM-II は格段に高い性能を示し，
GTTM の分析結果を利用するアプリケーションを実用化でⓒ2016 Information Processing Society of Japan

謝辞

本研究の一部は JSPS 科研費 25700036, 16H01744,

23500145 の支援を受けたものです．

参考文献
[1]

Lerdahl, F. and Jackendoff, R.: A Generative Theory of Tonal
Music, MIT Press, 1985.
[2] Hamanaka, M., Hirata, K., Tojo, S.: Implementing ’a generative
theory of tonal music’, Journal of New Music Research, 35(4),249–277, 2006.
[3] Hamanaka, M., Hirata, K., Tojo, S.: Fatta: Full automatictime-span tree analyzer, In: Proceedings of the 2007 International
Computer Music Conference (ICMC2007), pp. 153–156, 2007.
[4] Hamanaka, M., Hirata, K., Tojo, S.: Musical Structural Analysis
Database Based on GTTM, In: Proceeding of the 2014
International Society for Music Information Retrieval Conference(ISMIR2014), pp.325-330, 2014.
[5] Make music Inc. : Music in MusicXML Format, url:
http://www.musicxml.com/music-in-musicxml/, 参照 2016-6-16.
[6] Cooper, G. and Meyer, L. B. The Rhythmic Structure of Music. The
University of Chicago Press, 1960.
[7] Narmour, E. The Analysis and Cognition of Basic Melodic
Structure. The University of Chicago Press, 1990.
[8] Temperley, D. The Congnition of Basic Musical Structures. MITpress, Cambridge, 2001.
[9] Masatoshi Hamanaka, Keiji Hirata, Satoshi Tojo: Implementing
Methods for Analysing Music Based on Lerdahl and Jackendoff’s
Generative Theory of Tonal Music, Computational Music Analysis(pp. 221-249), Springer, 2016.
[10] Hamanaka, M., Hirata, K., Tojo, S.: Interactive GTTM Analyzer,

7情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2016-MUS-112 No.5
2016/7/30

In: Proceedings of the 10th International Conference on Music
Information Retrieval Conference (ISMIR2009), pp.291-296, 2009.
[11] Miura, Y., Hamanaka, M., Hirata, K., Tojo, S.: Decision tree todetect gttm group boundaries, In: Proceedings of the 2009
International Computer Music Conference (ICMC2009), pp. 125–
128, 2009.
[12] Kanamori, K., and Hamanaka, M.: Method to Detect GTTM Local
Grouping Boundaries based on Clustering and Statistical Learning,
In: Proceedings of the 2014 International Computer Music
Conference (ICMC2014), pp. 125–128, 2014.
[13] Hamanaka, M., Hirata, K., Tojo, S.: σGTTM III: Learning-based
Time-span Tree Generator Based on PCFG, In: Proceedings of the
11th International Symposium on Computer Music
Multidisciplinary Research (CMMR 2015), pp.303-317, 2015.
[14] Charniak, E.: Tree-bank grammars. In: Proceeding of Association
for the Advancement of Artificial Intelligence (AAAI-96), pp.
1032–1036, 1996.
[15] Nakamura E., Hamanaka M., Hirata K., and Yoshii K.:
Tree-Structured Probabilistic Model of Monophonic Written Music
Based on the Generative Theory of Tonal Music, In: proceedings of
41st IEEE International Conference on Acousitcs, Speech andSignal Processing (ICASSP2016), 2016.
[16] Hirata K. and Matsuda S.: Interactive Music Summarization basedon GTTM, In: Proceeding of the 2002 International Society forMusic Information Retrieval Conference (ISMIR2002), pp.86-93,
2002.
[17] Hirata, K. and Hiraga R.: Ha-Hi-Hun plays Chopin's Etude, In
Working Notes of IJCAI-03 Workshop on methods for automaticmusic performance and their applications in a public renderingcontest, 2003.
[18] Hirata, K., Matsuda, S., Kaji K. and Nagao K.: Annotated Musicfor Retrieval, Reproduction, and Sharing, In: Proceedings of the2004 International Computer Music Conference (ICMC2004),
pp.584-587, 2004.
[19] Hamanaka, M., Hirata, K., Tojo, S.: Melody morphing method
based on gttm. In: Proceedings of the 2008 International Computer
Music Conference (ICMC2008), pp. 155–158, 2008.
[20] 西田 智, 浜中 雅俊, 平田 圭二, 東条 敏: 類似した楽曲構造を持った旋律のインタラクティブな生成方式, 情報処理学
会音楽情報科学研究会， 2010-MUS-84(4), pp. 1-6, 2010.
[21] D. Rosenthal, Emulation of human rhythm perception, Computer
Music Journal, vol. 16, no. 1, pp. 64–76, 1992.
[22] M. Goto, An audio-based real-time beat tracking system for musicwith or without drum-sounds, Journal of New Music Research, vol.
30, no. 2, pp. 159–171, 2001.
[23] S. Dixon, Automatic extraction of tempo and beat from expressive
performance, Journal of New Music Research, vol. 30, no. 1, pp.
39–58, 2001.
[24]M. Davies and S. Bock, Evaluating the evaluation measures for beattracking, in Proceedings of the 2014 International Society forMusic Information Retrieval Conference (ISMIR2014), 2014, pp.
637–642.

ⓒ2016 Information Processing Society of Japan

8