タイムスパン木に基づくメロディモーフィング法
浜中雅俊†1†1

平田圭二†2東条敏†3筑波大学, 科学技術振興機構 さきがけ

†2

NTT コミュニケーション科学基礎研究所†3

北陸先端科学技術大学院大学
hamanaka@iit.tsukuba.ac.jp

本稿では，あるメロディと別のメロディの間にある複数個のメロディをある尺度のもとで順序付けて生成する，メロディのモーフィング手法について述べる．従来，市販の楽譜エディタやシーケンサが操作できる対象は，音符，休符など表層的な構造に限定されていた．音楽理論 GTTM による楽曲分析の結果得られるタイムスパン木は，
曲中の各音の構造的な重要度を階層的に表示したもので，音楽の深層構造の分析を可能とする．本研究では，メロディの部分簡約法を提案し，タイムスパン木に対して最小上界，最大下界という演算を行うことでメロディの
モーフィングを可能にした．

Melody Morphing Method based on Time-span Tree12

3

Masatoshi Hamanaka† Keiji Hirata† Satoshi Tojo††1

University of Tsukuba / PRESTO, Japan Science and Technology Agency,†2†3

NTT Communication Science Laboratories,

Japan Advanced Institute of Science and Technology
1-1-1 Tennoudai, Tsukuba, Ibaraki 305-8573 Japan

This report describes a melody morphing method which generates an intermediate melody between a melody and anothermelody. Commercial music sequence software today only operates on the surface structure of music, such as the notes, andrests. The time-span tree, which acquired from the music surface by using the music theory GTTM, enables us to analyze thedeeper structure. Our method makes it possible one melody morph to the other melody by proposing melody divisional
reduction method with applying least upper bound and greatest lower bound to the time-span trees.

1.はじめに音楽というメディアの認識や表現は曖昧なため，音楽知識が乏しいユーザが思い通りに計算機に作曲させたり演奏させたりすることは一般に困難である．本研究の最終的な目標は，音楽知識の乏しいユーザを支援し，メロディ，リズム，和声といった高次の音楽的構造を適切に操作できる音楽システムを実現することである．
音楽知識が乏しいユーザが操作可能な音楽シ
ステムを実現する上で重要なのは，1）音楽をいかにして操作するのか，2）ユーザの意図をいかにして反映するのか，の 2 つであると我々は考えている．その際注意すべきなのは，操作対象の抽象度を上げると操作は容易になる反面，ユーザの意図を反映しにくくなる可能性がある点である．
たとえば，市販の楽譜エディタやシーケンサ[1]が操作できる対象は，音符，休符，和音名などあいまい性の低い表層的な構造に限定されている．
したがって，音楽知識が乏しいユーザがそれらの構造を適切に扱うことは困難である．一方，Grageband[2]などは，システムがあらかじめ多くのループ素材を用意することで，それを組み合わせるというシンプルな操作のみで作曲を行うことができるが，作った曲のメロディの一部を修正したいと考えた場合には，手動で音符や休符など表層的な構造を操作する必要があるため，音楽知識が乏しいユーザがその意図を反映することは困難である．

本研究では，「音楽をいかにして操作するのか」について，音楽理論を積極的に援用することで，音楽知識の乏しいユーザでも操作可能なシステムを構築する．その際，音楽理論としては Generative
Theory of Tonal Music（GTTM）[3]を採用する．
我々はこれまで， GTTM の計算機上への実装を目
指し FATTA を構築してきた[4-6]．FATTA は，
GTTM に基づく楽曲分析の結果得られるタイムス
パン木を自動で獲得することができる．
音楽理論 GTTM の特徴は，音楽が備える多様な側面を包括的に表象しているという点である．
音楽知識の乏しいユーザを支援し音楽的な構造を適切に操作するという我々の目標と照らし合わせ
ると，音楽の持つメロディ，リズム，和声という3 つの側面に関して一貫性のある操作を実現する必要があると考える．たとえば，楽曲を 2 つに分割するという単純な操作を考えたとき，着目する音楽的な構造によってその操作の実現は異なってくるが，装飾が付いた楽曲とそうでない楽曲に対して 2 つに分割する箇所は本質的に同じであることが望ましい．GTTM では，メロディの区切りを表現するグルーピング構造とリズムや韻律を表現
する拍節構造をもとに，メロディや和声を本質的な部分と装飾的な部分に区別するタイムスパン木を抽出する手順が提案されている．GTTM に従えば，メロディ，リズム，和声という 3 つの側面に関して一貫性のある操作の実現が期待できよう．
一方，「ユーザの意図をいかにして反映するのか」に関して，本稿ではメロディを生成する場合を取り上げる．たとえば，ユーザがメロディ A の一部を修正し何らかのニュアンスを付加したい時，
ユーザはそのようなニュアンスを持つメロディ Bを知っているとする．この時，ユーザがシステムに対して「メロディ A にメロディ B のニュアンスを付加せよ」と指示できれば，ユーザの意図を簡易かつ的確にシステムに伝達することができよう．
ここで，メロディ A にメロディ B のニュアンスを付加して少しずつメロディ B に近づけていく操作
はモーフィングと呼ばれる．モーフィングには，
上記の簡易かつ的確という利点の他に，システムの入力と出力の因果関係の理解が比較的容易，システム操作が簡便という利点もある．我々は，メ
ロディモーフィング手法を提案することによって，ユーザの意図を反映したメロディ生成を実現する．
従来多くの音楽システム[7-9]は，システム固有の限定的な楽曲分析の方法を採用しており，そのような方法では音楽的な構造や意味を十分考慮することができず，ユーザの意図を反映した操作を実現することは困難であった．これに対し，
文献[10,11]では音楽理論 GTTM に基づく多声音楽の表現手法と基本演算を定義し，編曲のアルゴ
リズムが構築できる可能性が示された．しかし，それらの手法で実際に実現できたのは，類似度の計算[14]および不完全な模倣[15]のみであった．
一方，文献[12,13]では，相対擬補元を用いた編曲手法を提案した．しかし，任意のメロディ A,B
に対する相対擬補元を効率的に求める手法は明
らかではなく，実現には至っていない．
本研究では，メロディの簡約が可能という GTTMのタイムスパン木の特徴に注目し，モノフォニー（和音を含まない単旋律)A と B を入力し，A と B
それぞれの特徴を反映させる度合いを変化することでA とB の間にある複数個のモノフォニーC をある尺度のもとで順序付けて生成するメロディモー
フィングアルゴリズムを設計した．その際，メロディ A に対して，メロディ A と B の共通部分以外の枝を簡約するメロディ部分簡約法を提案する．

2.

Generative Theory of Tonal Music

本研究では，音楽理論 GTTM に基づく楽曲分
析の結果得られるタイムスパン木を用いてメロ
ディのモーフィングを実現する．本節では，その予備知識として GTTM の概略を述べる．
GTTM は，音楽に関して専門知識のある聴取者の直観を形式的に記述するための理論として Fred
Lerdahl と Ray Jackendoff により提唱された．この理論は，グルーピング構造分析，拍節構造分析，
タイムスパン簡約，
プロロンゲーション簡約という4 つのサブ理論から構成されており，楽譜に分析を加えることで，楽譜に内在する様々な階層構造を深層構造として顕在化させる．タイムスパン簡約は，あるメロディを簡約化することによって，そのメロディの装飾的な部分が削ぎ落とされ，
本質的なメロ
ディが抽出されるという直観を表したもので，構造的に重要な音が幹になるような 2 分木（タイムスパン木）を求める分析である（図 1）．
タイムスパン木は，
以下のようにボトムアップに構成される．まず，グルーピング・拍節構造分析の結果を用いて，
楽曲を階層的なタイムスパンに分割する．次に，各タイムスパンにおいて重要な音（head と呼ぶ）がそのタイムスパンを代表する．
タイムスパン木…
・ ・ ・・ ・ ・・ ・ ・・ ・ ・・ ・ ・・ ・ ・・ ・ ・・ ・
・
・
・・
・
・・
・

拍節構造
グルーピング構造

図１: グルーピング構造，拍節構造，タイムスパン木

2.1 メロディの簡約

3. GTTM に基づくメロディモーフィング

図 2 は，タイムスパン木を用いたメロディの簡約の例である．図のメロディ A の上にある木構
造は，メロディ A をタイムスパン簡約した結果得られたタイムスパン木である．タイムスパン木
のレベル B より下にある枝の音符を省略するとメロディ B のようになる．さらに，レベル C より下にある枝の音符を省略するとメロディ C のようになる．このとき，メロディ B はメロディ Aと C の間のメロディであることから，メロディの簡約もメロディのモーフィングの一種と考えることができる．

本節では，モノフォニー（和音を含まない単旋律）A と B を入力し， A と B それぞれの特徴を反映させる度合いを変化することで， A と B の間にある複数個のメロディ C をある尺度のもとで順序付けて生成するメロディモーフィング手法を提案する．このとき，メロディ A,B,C は以下の条件を満たすものとする．以下，条件 1 と2 は出力されるモノフォニー C に関する条件であり，条件 3 と 4 は本モーフィング手法に関する条件である．
1. A と B より A と C のほうが類似している，かつ，A と B より B と C のほうが類似している．
2. B が A と同じ場合， C も A となる．
3. A と B それぞれの特徴を反映させる度合いに応じて複数の C を出力する．
4. モノフォニー A と B を入力とし，モノフォニ
ー C を出力する．

3.1 メロディモーフィングの概要
図 2：メロディの簡約

2.2 タイムスパン木に基づく基本演算
メロディのモーフィングを実現するため，文献[10-13]で定義されている演算である，包摂関係 ，
meet (最大下界)と join (最小上界) を用いる．
包摂関係 は，F1 を下位の構造，F2 を上位の構造（下位の構造を含んでそれ以上の構造を持つ）としたとき，F1 F2 と表記し，F2 は F1 を包摂すると言う．たとえば，図 2 のメロディ A,B,C のタイ
ムスパン木（簡約されたタイムスパン木），T A ，TB ，
TC の包摂関係は，以下のように表せる．

TB

TC

TA

meet（最大下界）は，T A ，TB の共通部分のタイ
ムスパン木 T A
TB である． join（最小上界）は，
メロディ A, B のタイムスパン木 T A ， TB が矛盾を起こさない限り統合したタイムスパン木 T A
TBである（図 3）
．

TB

TA

TA

TB

TA

図 3：meetTBTAと joinモーフィングという用語は，通常，二つの画像がある場合に，片方の画像からもう一つの画像へ
滑らかに変化していくよう，その間を補うための画像を作成することをいう．2 次元の顔画像のモーフィングの場合，たとえば以下のような操作で中間的な画像の生成が実現できる．
1）目や鼻など 2 つの画像の特徴点の対応づけ（図 4a）．
2）各画像の形状（位置）や色の重み付け．
3）2 つの画像の重ね合わせ．

一方，本研究で提案するメロディモーフィング
では，以下のような操作で中間的なメロディの生成を実現する．
1) 2 つのメロディの共通部分の対応づけ（図 4b）．
2) 各メロディについてメロディの部分簡約．
3) 両方のメロディの重ね合わせ．

以下本節では，メロディモーフィングの処理について説明する(図 5)．

(a)

(b)

TB

の例

図 4：2 つの画像/メロディの対応づけの例

3.2 メロディの共通部分の対応づけ
2 つのメロディ A, B のタイムスパン木 T A , TB を求め，その共通部分（最大下界）T A
TB を求める．
これにより，タイムスパン木 T A , TB は，それぞれ共通部分と非共通部分に分けることができる．
本研究では，FATTA [4]を用いて，メロディからそのタイムスパン木の自動獲得を行う．FATTA
は，分析の対象をモノフォニー（和音を含まない単旋律）に限定しているため，本研究もモノフォ
ニーを対象とする．以下，本稿ではメロディという語はモノフォニーを表すものとする．
T A TB は，タイムスパン木 T A , TB をトップダウンに見て，
最も大きく共通する部分を取り出すが，その際，オクターブの異なる 2 音（たとえば C4 とC3）を異なる音とみなす場合と，同じ音とみなす
場合で結果が異なる．異なる音とみなす場合には，
C4 C3 の解は空⊥となる．一方，同じ音とみなす場合には，オクターブの情報が捨象され解は Cとなる．オクターブ情報が未定義の場合，3.3 節以降の処理が困難となることから，オクターブの異なる 2 音は，異なる音として扱うことにした．

TA

3.3 メロディの部分簡約
3.2 節で求めたメロディ A と B のタイムスパン
木 T A , TB の非共通部分には，それぞれ相手のメロディにはない特徴が表われていると考えられる．したがって，メロディのモーフィングを実現するためには，それら非共通部分の特徴をなめらかに増減させ，中間的なメロディを生成するような手法が必要となる．
本研究では 2.1 節で述べたメロディの簡約を応用し，メロディの非共通部分についてのみ簡約を実行するメロディ部分簡約法を提案する．
メロディ部分簡約法では，メロディ A のタイ
ムスパン木 T A と，メロディ A, B のタイムスパン
木の共通部分 T A
TB から，次のアルゴリズムでメロディ Cm（m=1,2,…,n）を生成する．Cm の添え字 m は，Cm に含まれるが，T A
TB には含まれない部分（メロディの非共通部分）に表われる音符の数である．
Step1 : 簡約レベルの指定
簡約レベル L をユーザが指定する．L は 1 以上，
T A に含まれるが T A TB には含まれない部分 (メ

TB

TC

TD
3.2 共通部分の対応づけ

TC

メロディ C

メロディ D

3.3 メロディの部分簡約
TD
3.4 メロディの合成

TA

TB
TC

TD

メロディ A

メロディ B

メロディ Eタ イ ム ス パ ン木 が 破 線
な の は [N1,N2] の よ う
な値となっている部分

図 5：

メロディモーフィングの概要

ロディの非共通部分) 現れる音符の数．

Step2 : 非共通部分の簡約

TA

非共通部分のタイムスパンに含まれる拍点の数が最小のものを選び，その head(枝の音符)を簡約する．拍点は GTTM の拍節構造分析により求まる．拍点の数が最小のものが複数あった場合には，楽曲の先頭に近いほうの head を簡約する．

Step 3: 繰り返し

L＝1

Step2 の操作を L 回繰り返す．

このアルゴリズムで生成される複数のメロディ
Cm（m=1,2,…,n）のタイムスパン木 TCm は，複数の TCm 同士の間で包摂関係が成立する．したがって，次式が成立する．

TA

TB

TCn

TCn−1 … TC 2

TC1

L＝2

TA

図 5 の場合では，T A には，T A
TB にはない音符が 9 個含まれているため，n の値は 8 となり，T Aと TA
TB の間のメロディが 8 種類得られることになる．
上記のようにして求めたメロディ C は，メロ
ディ B にはないメロディ A のみが持つ特徴の一部を減衰させたものと考えることができる．同様に，TB と T A
TB から下記を満たすメロディ Dを生成する．

L＝3

L＝4

L＝5
TA

TB

TD

TB

3.4 メロディの合成
メロディ A と B のそれぞれのタイムスパン木の一部を簡約したメロディ C とメロディ D を統合（最小上界）し，合成したメロディＥを生成す
る．
2 つのタイムスパン木 TC と TD の統合を行う際，
図 3a に示したような join（最小上界）を素朴に実装するだけでは TC ，TD の両方がモノフォニーであっても，TC
TD がモノフォニーとなるとは限らない．つまり， TC と TD のタイムスパン木を重ね合わせる際，タイムスパン木の枝は重なるが（時間構造は一致するが），音高が異なるような場合には，解に和音が含まれることになってしまう．すなわち 3 節冒頭の条件 4 に反する．
そこで，本研究では異なる 2 音を N1，N2 としたとき[N1, N2]のような「N1 または N2」を意味する特殊な値を導入し，N1 N2 の解を，
[N1, N2]とする． すると TC
TD の解には，[N1,N2]のような値が複数含まれることになる．そして，それらすべての組み合わせ，すなわち複数のモノフォニーを TC
TD の解とする．

L＝6

L＝7

L＝8

TA

図 6：

TB

メロディの部分簡約

5. 議論
本稿で提案したメロディモーフィングの手法では， ユーザは 2 つのパラメータ（2 つのメロディ
それぞれの特徴を反映させる度合い）を操作する必要がある．また，メロディの合成の際にも複数のメロディを出力するため，ユーザはそれらを確認しなくてはならない．文献[16]で提案する電気
モーフは， ユーザの操作性を上げるため，操作するパラメータを 1 つとするとともに，出力されるメロディも 1 つになるよう工夫したものである．
以下の 2 点についても検討を行っていく．

5.1 モーフィング用データベースについて
本稿で提案したモーフィング手法では，2 つのメ
ロディ A と B の meet(最大下界)を算出した．ある程度の大きさを持つ楽曲同士の meet を計算すると，一般には，かなり類似した楽曲同士でない限り，
meet の結果は空⊥あるいはそれに近い値になってしまい， モーフィングすることが困難になる．
今後，あるメロディ A を与えたときに，A とモーフィング可能なメロディを自動で検索し提示するようなモーフィング用データベースの構築を検討していく．

5.2 主観的類似度について
本稿で提案したモーフィング手法では，メロディ A と B のモーフィングによって生成されたメ
ロディ E に，A と B のタイムスパン木の meetが含まれている．したがって，文献[14]で定義されているような類似度を用いれば，E が A と Bの間に位置することが確認できる．
今後，主観的にも A と B の間に感じられるか，
実験によって確認したいと思っている．その際問題となるのは，モーフィングの結果，区別がする
ことが困難なほど非常に似通ったメロディが複数出力され，被験者への負荷が非常に高くなる可能性があることである．被験者実験の方法についても検討していく．

6. まとめと今後の課題
本稿では，あるメロディと別のメロディの間にある複数個のメロディをある尺度のもとで順序付けて生成するメロディモーフィング手法について述べた．そして，2 つのメロディそれぞれの特徴を反映させる度合いを変化させることで，間のメロディが複数生成されることを確認した．
今回は入力をモノフォニーに限定して，システ
ムの構築を行ったが，今後，フォモフォニー（和音を含む単旋律）や，ポリフォニー（複旋律）の場合にも適用可能であるか検討していく予定で
ある．

参考文献
[1] 佐藤 天平, コンピュータ・ミュージックスー
パー・ビギナーズマニュアル, ソフトバンク
クリエイティブ, 1997.
[2] http://www.apple.com/jp/ilife/garageband/[3] F. Lerdahl, and R. Jackendoff. A Generative
Theoryof
Tonal
Music.
Cambridge,
Massachusetts: MIT Press, 1983.
[4] Matstoshi Hamanaka, Keiji Hirata, and Satoshi
Tojo. Implementing ‘A Generative Theory ofTonal Music’. Journal of New Music Research,
35:4, 249-277, 2006.
[5] Matstoshi Hamanaka, Keiji Hirata, and Satoshi
Tojo. FATTA: Full Automatic Time-span Tree
Analyzer, Proceedings of the 2007
International Computer Music conference,Vol. 1, pp. 153-156, 2007.
[6] 浜中雅俊，平田圭二，東条敏: 音楽理論 GTTMに基づくグルーピング構造獲得システム, 情報処理学会論文誌, Vol. 48, No. 1, pp. 284-299,
2007.
[7] Mira Balaban. The Music Structures
Approach to Knowledge Representation forMusic Processing, Computer Music
Journal, Vol. 30, No.2, pp. 96-111, 1996.
[8] David Cope. Experiments in Musical Intelligence,
A-R Editions, Inc. 1996.
[9] Roger Dannenberg. Machine Tongues XIX:
Nyquist, a Language for Composition and Sound
Synthesis, Computer Music Journal, Vol. 21, No.
3, pp. 50-60, 1997.
[10] 平田圭二, 青柳龍也: 音楽理論 GTTM に基づく多声音楽の表現手法と基本演算, 情報処
理学会論文誌 Vol.43, No.2, 2002.
[11]平田圭二, 平賀 譲: GTTM に基づく音楽表
現手法再考, 情報処理学会研究報告2002-MUS-45, pp.1-7, 2002.
[12]平田圭二, 東条 敏: 相対擬補元を用いたメ
ディアデザイン操作の形式化について, 第
19 回 人 工 知 能 学 会 全 国 大 会 , 2B3-08,
2005.
[13]平田圭二, 東条 敏: 楽曲構造束とその上の演算系, 第 20 回 人工知能学会 全国大会,
1D2-4, 2006.
[14] K.Hirata, and S. Matsuda. “Interactive Music
Summarization based on Generative Theory ofTonal Music.” Journal of New Music Research,
32:2, 165-177, 2003.
[15] 平田圭二, 青柳龍也: バービーブン: 音符
レベルでユーザ意図を把握して編曲を行う
事例ベースシステム, 情報処理学会研究報告
2000-MUS-37, pp.17-23, 2000.
[16] 浜中雅俊: 電気モーフ, 情報処理学会研究報告 2008-MUS-74, 2008.