情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2019-MUS-123 No.40
Vol.2019-SLP-127 No.40
2019/6/23

新しい GTTM メロディモーフィング手法の提示：
既存手法とマリンバ作品を経て小林瑞季†1

浜中雅俊†2

概要：音楽理論 GTTM に基づくメロディモーフィング手法の改良について述べる．従来のメロティモーフィング手法
は，自動化する上で 2 つの問題があった．第一の問題は GTTM のタイムスパン分析の分析性能が低いことである．そこで我々は，タイムスパン分析が可能な音楽家によりメロディモーフィング手法を手作業で行うことを試みた．第二の問題は，タイムスパン木の部分簡約において簡約する枝の順序が適切に定義されていないことである．そこで本稿
では，簡約順序を定義し自動化を試みた．
キーワード：音楽理論 GTTM，メロディモーフィング手法，タイムスパン木，部分簡約

Improvement of GTTM Melody Morphing Method:
Before and After Composing Marimba Pieces
MIZUKI KOBAYASHI†1

MASATOSHI HAMANAKA†2

1. はじめに
本稿では，音楽理論 Generative Thory of Tonal Music

メロディモーフィングはその基本的なしくみが提案されたのち，改良の試みや定式化が行われてきた[3, 4]．またメ
ロディモーフィング手法で作成されたメロディを利用した(GTTM)[1]に基づくメロディモーフィング手法[2]の自動化

アプリケーション[ 5]や手法を用いた初学者向けの作曲支の試みについて述べる．GTTM は，音楽に関して専門知識援システム[6]なども提案されてきた．しかし，以下の 2 つのある聴取者の直観を形式的に記述するための理論としての問題によりメロディモーフィング手法の利用は極めて限Fred Lerdahl と Ray Jackendoff により提唱された．この理論定されていた．

は，グルーピング構造分析，拍節構造分析，タイムスパン第一の問題は，タイムスパン木の自動分析器は構築され簡約，プロロンゲーション簡約という 4 つのサブ理論からているものの，精度が低くメロディモーフィングに利用す構成されており，楽譜に分析を加えることで，楽譜に内在るためには十分でないことである [ 7, 8]．これについてする様々な階層構造を深層構造として顕在化させる．タイ

我々は深層学習を用いた高精度なグルーピング構造分析器

ムスパン簡約は，あるメロディを簡約化することによって，および拍節構造分析器を構築した [9, 10, 11]．現在，深層そのメロディの装飾的な部分が削ぎ落とされ，本質的なメ学習を用いたタイムスパン木分析器の構築を目指し教師デロディが抽出されるという直観を表したもので，構造的にータの作成を行っている．

重要な音が幹になるような 2 分木（タイムスパン木）を求める分析である（図 1）．

第二の問題は，メロディモーフィングを行うための処理であるメロディの部分簡約において，枝の簡約の順序が決まっていない点である．この問題は，タイムスパン簡約において簡約の順序が定義されていないことがそもそもの原因である．

Time-span tree

本稿では，上記第一の問題に対しては GTTM 分析が可能な音楽家が手作業でタイムスパン簡約を行うことでメロデ

Metrical structureィモーフィングを可能とした．また，第二の問題に対してGrouping structure

は，まず音楽家が自由に簡約の順序を決めてモーフィングメロディを作成することを試みた．次に，曲によらずあらかじめ決定した簡約の順序を適用することでモーフィング

図 1
Figure 1

グルーピング構造，拍節構造，タイムスパン木Grouping structure, metrical structure, time-span tree.

メロディが自動で生成されることを試みた．
以下 2 節では，従来のメロディモーフィング手法を説明し，3 節では音楽家が簡約の順序を決めた場合について述†1 桐朋学園大学
Toho Gakuen College Music Department†2 理化学研究所
RIKENⓒ2019 Information Processing Society of Japanべ，4 節ではメロディモーフィングの自動化の試みを述べる．そして 5 節ではまとめと今後の課題について検討する．

1

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2019-MUS-123 No.40
Vol.2019-SLP-127 No.40
2019/6/23

2. GTTM に基づくメロディモーフィング手法

2.3 メロディモーフィング手法
モーフィングという用語は，通常，二つの画像がある場

本節では従来提案されているメロディモーフィング手法

合に，片方の画像からもう一つの画像へ滑らかに変化してについて説明する．

いくよう，その間を補うための画像を作成することをいう．

2.1 メロディの簡約
図 2 は，タイムスパン木を用いたメロディの簡約の例である．図のメロディ A の上にある木構造は，メロディ A をタイムスパン簡約した結果得られたタイムスパン木である．
タイムスパン木のレベル B より下にある枝の音符を省略するとメロディ B のようになる．さらに，レベル C より下にある枝の音符を省略するとメロディ C のようになる．このとき，メロディ B はメロディ A と C の間のメロディであることから，メロディの簡約もメロディのモーフィングの一種と考えることができる．

2 次元の顔画像のモーフィングの場合，たとえば以下のような操作で中間的な画像の生成が実現できる．
1） 目や鼻など 2 つの画像の特徴点の対応づけ（図 4a）．
2）各画像の形状（位置）や色の重み付け．
3）2 つの画像の重ね合わせ．
一方，本研究で提案するメロディモーフィングでは，以下のような操作で中間的なメロディの生成を実現する．
1)

2 つのメロディの共通部分の対応づけ（図 4b）．

2) 各メロディについてメロディの部分簡約．
3) 両方のメロディの重ね合わせ．
(a)

(b)

図 4
図 2
Figure 2

2 つの画像/メロディの対応づけの例

メロディの簡約

Figure 4

Reduction of melody.

(1) メロディの共通部分の対応づけ

Examples of linking two images and two melodies.

2 つのメロディ A, B のタイムスパン木 TA，TB を求め，その2.2 タイムスパン木に基づく基本演算
メロディモーフィング手法では，文献[12]で定義されている演算である，包摂関係，meet (最大下界) と join (最小上界) を用いている．包摂関係 は，F1 を下位の構造，F2共通部分（最大下界）TA⊓TB を求める．これにより，タイ
ムスパン木 TA，TB は，それぞれ共通部分と非共通部分に分けることができる（図 5(a)）．

を上位の構造（下位の構造を含んでそれ以上の構造を持つ）

TA TBとしたとき，F1⊑ F2 と表記し，F2 は F1 を包摂すると言う．
たとえば，図 2 のメロディ A,B,C のタイムスパン木（簡約TC（a）Linking the common information of melodies

されたタイムスパン木），TA，TB，TC の包摂関係は，以下のように表せる．
TF

⊑ TE

⊑ TD

(1)

meet（最大下界）は， T A ， TB の共通部分のタイムスパン
木 TA
TB である．join（最小上界）は，メロディ A, B のタ
イムスパン木 T A ， TB が矛盾を起こさない限り統合したタイ
ムスパン木 T A
TB である（図 3）．

TB

TATB

TATC
Melody CTB

TATBTD

Melody DLBTA（c）Combining
two melodies

TBTC

TD

Melody A

Melody B

Melody E

図 5

TA

LA （b）Melody division
reductionTD

メロディモーフィング手法

Figure 5

Melody morphing method.

(2) メロディの部分簡約(1)で求めたメロディ A と B のタイムスパン木 TA，TB の非図 3
Figure 3

meet と join の例

Examples of meet ⊓, and join ⊔ operations.

ⓒ2019 Information Processing Society of Japan

共通部分には，それぞれ相手のメロディにはない特徴が表われていると考えられる．部分簡約ではそれら非共通部分

2

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2019-MUS-123 No.40
Vol.2019-SLP-127 No.40
2019/6/23の特徴をなめらかに増減させ，中間的なメロディを生成する（図 5(b)）．
(3) メロディの合成
メロディ A と B のそれぞれのタイムスパン木の一部を簡約したメロディ C とメロディ D を統合（最小上界）し，合成したメロディＥを生成する．

 

Hr. concert

TC と TD の両方がモノフォニーであっても，TC と TD がモノフォニーとなるとは限らない．つまり，TC と TD のタイムスパン木を重ね合わせる際，タイムスパン木の枝は重なるが（時間構造は一致するが），音高が異なるような場合には，解に和音が含まれることになってしまう．すなわち 3 節冒頭の条件 4 に反する．
そこで，異なる 2 音を N1，N2 としたとき[N1, N2]のような「N1 または N2」を意味する特殊な値を導入し，N1 ⊔N2の解を，[N1, N2]とする． すると TC⊔TD の解には，[N1, N2]のような値が複数含まれることになる．そして，それらすべての組み合わせ，すなわち複数のモノフォニーを TC⊔TDの解とする．（図 5(c)）

3. マリンバ作品の作曲







Morphing melody 2 Morphing melody 3 




経過音





Morphing melody 6 Morphing melody 7 

追加された音
音高差を利用して躍動感を出している

最高音の位置をずらしている

33

333



最低音の位置をずらしている





3



3



図 6刺繍音






経過音


Morphing melody 8   2 曲はそれぞれ Mozart の Horn



経過音

経過音


倚音

刺繍音

刺繍音

Morphing melody 4 の音使いを部分的に利用Morphing melody 9 







ムスパン簡約および部分簡約を手作業で行いモーフィング

Hours の冒頭部分である．なお，タイムスパン木は木を逆Morphing melody 5   Dance of the timeConcerto No.1 と Ponchielli の"La Gioconda" Dance of the

和声音の追加Morphing melody 4  

音楽家である第一著者がモーフィング元の 2 曲のタイメロディを作成した(図 6).

Morphing melody 1 

2 つのタイムスパン木 TC と TD の統合を行う際，図 3a に示したような join（最小上界）を素朴に実装するだけでは，(tremolo)



 

手作業で作成したモーフィングメロディ

Figure 6Morphing melody generated manually.

4. メロディモーフィング自動化の試みさまにした形で描かれており，以下で言うタイムスパン木

3 節では，音楽家が恣意的に簡約の順序を決めていたたの「根」とはタイムスパン木の一番上の一本の枝(幹)であめ，そのプロセスを自動化することは困難であった．そこる．

で，枝の簡約順序を定義することで自動化を試みる．

まず，2 つのタイムスパン木からその共通部分と非共通

4.1 枝の優先順位の決定部分を求めると共に，各タイムスパン木の分岐数を数えた．

タイムスパン木の各枝の優先順位は，タイムスパン簡約分岐数というのは，タイムスパン木において，音符から枝の分析の第一段階として行われるタイムスパン分割で用いをたどって根に至る間に何個の二分木の交点を通過したかられる音価別に描かれた木構造を用いる．枝の優先順位は，である．次に，非共通部分で最も分岐数の多い枝から順に以下のルールにより決定される．

部分簡約していく．これによりモーフィングメロディの生

1)

優先順位は，音価別に描かれたタイムスパン木の上からレベルごとに付けていく成は行えたが，音が急激に減少する場所で不自然となるという問題が生じた．そこで，不自然な箇所については音楽

2)

一番上のレベルでは，幹が枝より優先される．

家が調整し自然なメロディとなるようにした．

3)

二番目以降のレベルでは，幹の優先順位が上なほどそモーフィングは片方のメロディ特徴を減らしながら，もこから枝分かれする枝の優先度が高くなる．

う片方のメロディの特徴を増やしていくことで複数のバリ

図 7 は，音価別に描かれたタイムスパン木で，第一のルエーションのメロディが生成できるが，2 つのメロディのールに従い，上から順に優先度が決定されていく．まず，特徴が同程度に入り，ちょうど中間となるようなメロディ第二のルールに従って，①がこのタイムスパン木で最も優では音数を多くして躍動感が出ることを意図して調整を行

先度の高い枝, ②は 2 番目に優先度の高い枝となる．タイった．調整時に加えた音は，主に経過音・倚音・刺繍音でムスパン木では，2 番目のレベルが倍全音符レベルである．

あるためバリエーションごとのフレーズの流れはある程度

そして第 2 のルールに従い，①の幹からはえた枝が③，②一貫しているが，あえてピッチが最も高い音や最も低い音の幹からはえた枝が④となる．以下同様に 16 分音符レベル、の位置をずらし変化を加えている．

まで優先順位が決まっていく．

ⓒ2019 Information Processing Society of Japan3

情報処理学会研究報告
IPSJ SIG Technical Report

Vol.2019-MUS-123 No.40
Vol.2019-SLP-127 No.40
2019/6/23②③

 ①



②②



④⑤⑦⑨ ⑤⑪⑦④⑥②㉕㉙⑨㉟⑳⑤㉗ ⑦㉘㉜⑬㊳㉓



⑧⑥⑬①⑫③①⑩ ③①⑱ ⑦ ⑬ ㉓ ⑯ ④ ⑰ ⑥ ⑫ ㉒ ⑲ ⑧㉑⑩㉔ ⑮ ③⑭② ⑨ ⑳ ②

⑰㉝㉛⑫ ㊲㉒⑲㉞ ㉑㊱⑩㉚㉔㊴③㉖

③㊵㉖㊶

図 7

Figure 7

音価別のタイムスパン木Time-span tree based on note value.

4.2 部分簡約
それぞれのメロディをどの程度簡約するかを決め，2 つ5. 実験結果のメロディの非共通部分の枝の簡約を行う．どの程度簡約モーフィングを行う 2 曲についてタイムスパン簡約およするかについては，A の曲の非共通部分を 30％簡約するとび枝の優先順序をつけモーフィングを行った(図 8)．曲は，

きには，B の曲では 70%簡約するという風に，合計で 100%

3 節と同じく Mozart の Horn Concerto No.1（曲 A）ととなるように簡約割合を決定する．そして，それぞれのメPonchielli の"La Gioconda" Dance of the Hours(曲 B)のロディの非共通部分で優先順位が低い枝から順に簡約して冒頭部分である．その結果，タイムスパン木が求まっていいく．音符の数は有限であるため，設定した簡約割合通りれば枝の優先順位の決定や部分簡約，および，メロディ合に簡約できないことが多い．その場合には簡約した割合に成には恣意性がなく，簡約割合を決定すると，モーフィン最も近くなるよう枝を簡約していく．

グされたメロディが機械的に自動で求まることが確認され4.3 メロディの合成
2.3 で述べたように，join によりメロディの合成を行うと，た．図 8 では，曲 A に含まれる音を上向きの音符，曲 B に含まれる音を下向きの音符で表示している．

タイムスパン木の枝が時間的に重なることが起きる．たと

3 節で手作業で行ったモーフィング曲と，本節で機械的えば，メロディ A とメロディ B の join により枝（音符）がに求めたモーフィング曲を比べると，手作業では刺繍音や時間的に重なった場合，簡約割合が低いほうの音符を残す．

経過音を利用するためメロディの横の流れのバリエーショ

簡約割合が両方とも 50%であった場合には A の音符を残す

ンは豊かにはなったが，音の選択に恣意性があった．一方こととした．

機械的に求めた場合では，使用される音が制限された中で，次第にメロディが変化していく結果となった．

ⓒ2019 Information Processing Society of Japan4

情報処理学会研究報告
IPSJ SIG Technical Report A 100%  
A 90%
B 10%
A 80%
B 20%

 

A 70%
B 30%


 

A 60%
B 40%

 

 

A 50%
B 50%
A 40%
B 60%
A 30%
B 70%


 
 

A 20%
B 80%

 

A 10%
B 90%

 

Vol.2019-MUS-123 No.40
Vol.2019-SLP-127 No.40
2019/6/23          
  
 
 



B 100%   

図 8

機械的にモーフィングした結果

Figure 8Morphing results by mechanically.

6. おわりに本稿では，音楽理論 GTTM のメロディモーフィング手法の自動化の試みについて述べた．まず，音楽家である第一著者がタイムスパン簡約およびモーフィングメロディの作成を行った結果，部分簡約における簡約順の決定や，メロディの合成における音符の選択の方法が決められていないことが自動化に向けた大きな問題であることがわかった．
そこで，枝の優先順位の決定方法および合成における音符の選択方法を決定し自動化を試みた．今後，自動でモーフィングを行うシステムを構築し，詳細な評価実験を行っていく．
謝辞
本 研 究 の 一 部 は ， 科 学 研 究 費 補 助 金 17H01847,16H01744 の助成を受けたものである．

参考文献
[1]

Lerdahl, F. and Jackendoff, R.. A Generative Theory of Tonal
Music, MIT Press, 1985.
[2] Hamanaka, M., Hirata, K., and Tojo, S.. Melody Morphing Method
Based on GTTM, Proceedings of International Computer Music
Conference (ICMC2008), pp. 155–158, 2008.
[3] Hamanaka, M., Hirata, K., Tojo, S.. Melody Extrapolation in
GTTM Approach, Proceedings of the 2009 International Computer
Music Conference (ICMC2009), pp.89-92, 2009.
[4] Hirata, K., Tojo, S., and Hamanaka, M.. Melodic Morphing
Algorithm in Formalism, Mathematics and Computation inMusic(MCM), Third International Conference, pp.338-341, 2011.

ⓒ2019 Information Processing Society of Japan[5]Hamanaka, M., Yoshiya, M., and Yoshida, S.. Constructing Music
Applications for Smartphones, Proceedings of the 2011
International Computer Music Conference (ICMC2011),pp.308-311, August 2011.
[6] 染矢さらら, 安藤大地, 笠原信一. メロディモーフィング手法を用いた初学者向けの作曲支援システムの研究, 情報処理学会インタラクション 2014, pp. 529-532, 2014.
[7] Hamanaka, M., Hirata, K., and Tojo, T.. Implementing A
Generating Theory of Tonal Music, Editor’s recommendation paper,
Journal of New Music Research (JNMR), Vol.35, No.4,
pp.249-277, 2007.
[8] Hamanaka, M., Hirata, K., and Tojo, T.. Sigma GTTM III:
Learning based Time-span Tree Generator based on PCFG,
Proceedings of The 11th International Symposium on Computer
Music Multidisciplinary Research (CMMR 2015), pp.303-317,
June 16-19, 2015.
[9] Hamanaka, M., Hirata, K., and Tojo, T.. deepGTTM-I: Local
Boundaries Analyzer based on Deep Learning Technique, 13thInternational Symposium on Computer Music Multidisciplinary
Research (CMMR2016), pp.8-20, July 2016.
[10] Hamanaka, M., Hirata, K., and Tojo, T.. deepGTTM-II:
Automatic Generation of Metrical Structure based on Deep
Learning Technique, the 13th Sound and Music Conference(SMC2016), pp.221-249, 2016.
[11] Hamanaka, M., Hirata, K., and Tojo, T.. deepGTTM-III:
Simultaneous Learning of Grouping and Metrical Structures, the13th International Symposium on Computer Music
Multidisciplinary Research (CMMR2017), pp.161-172, September
2017.
[12] Hirata, K. and Aoyagi, T.. Computational Music Representation
Based on the Generative Theory of Tonal Music and the Deductive
Object-Oriented Database, Computer Music Journal, 27(3),pp.73-89, 2003.

5