Vol.2010-MUS-84 No.4
2010/2/16

情報処理学会研究報告
IPSJ SIG Technical Report

1. はじめに類似した楽曲構造を持った旋律のインタラクティブな生成方式
西田智†1

浜中雅俊†2

平田圭二†3

本研究は，元のメロディと類似した楽曲構造を持つメロディをインタラクティブに生成するシステムの構築を目的とする．類似した楽曲構造を持つメロディの生成は，音楽初心者に対し「あのメロディに雰囲気や特徴が似たメロディを作りたい」という直感的な作曲に役立つであろう．メロディの雰囲気や特徴といった要素は，1 つの音だけではなく，複数の音のかたまりや曲全体の構成により成り立つため，これらを反映させた作曲は初心者にとって難しい．我々は，楽曲全体や複数の音の関係を記述した楽曲構造を用いることで，任意のメロディの雰囲気や特徴を反映させた作曲が可能になると考えている．
本稿では，類似した楽曲構造を持つ条件の 1 つを，音楽理論 GTTM[1]に基づく楽曲構造における局所的なグルーピング構造が同じであることと考え，グルーピング構造が同じメロディを生成する手法を提案する．本システムの特長は，元のメロディになんらかの変更を加えた後に，変更によって変化したグルーピング構造を，元のグルーピング構造に戻すための修正候補の操作を提示し，ユーザがそれを利用してメロディの生成ができるというインタラクティブな方式を用いていることである．
Fred Lerdahl と Ray Jackendoff により提唱された音楽理論 GTTM は，音楽に関して専門知識のある聴取者の直感を形式的に記述するための理論である．GTTM に基づく分析を行うと図 1 に示すグルーピング構造，拍節構造，タイムスパン木，の 3 つの階層的な楽曲構造が得られる．グルーピング構造とは，メロディの区切りやフレーズなど，人間がメロディを聞いたときに感じるまとまりを表現するものである．グルーピ

東条敏†4

本稿では，類似した楽曲構造を持つメロディの生成手法として，元のメロディと同じ局所的なグルーピング構造を持つメロディの生成方法を提案する．類似した楽曲構造を持つメロディの生成は，雰囲気や特徴が似ているメロディを作るという直感的な作曲に役立つ．本手法の特長は，グルーピング構造の変更を，本手法により提示された修正候補を選択することでインタラクティブに行う点である．本手法を用いて，元のメロディと同じグルーピング構造を持つ新しいメロディが生成できることを確認した．

An interactive method for generating a melody
with similar musical structure
Satoru Nishida,†1 Masatoshi Hamanaka, †2
Keiji Hirata,†3 and Satoshi Tojo†4This paper describes a method for generating a melody with the same local grouping
structure as the original melody. Generating a melody with similar musical structurefrom the structure of an original melody is useful to compose a melody, which has same
flavor of an original melody. The main advantage of our method is that we caninteractively change the grouping structure by selecting the candidates of operation. The
candidates of operation was automatically proposed by our method. As a results ofimplementing the method, our method can generate a new melody which have same localgrouping structures as the original melody.

タイムスパン木

グルーピング構造

図 1

拍節構造
GTTM に基づく分析により得られる楽曲構造†1

筑波大学第三学群工学システム学類
University of Tsukuba, Third Cluster of Colleges, College of Engineering Systems
筑波大学大学院システム情報工学研究科
University of Tsukuba, Graduate School of Systems and Information Engineering†3
NTT コミュニケーション科学基礎研究所
NTT Communication Science Laboratories†4北陸先端科学技術大学院大学
Japan Advance Institute of Science and Technology†21ⓒ2010 Information Processing Society of Japan

Vol.2010-MUS-84 No.4
2010/2/16

情報処理学会研究報告
IPSJ SIG Technical Report

ング構造は，グルーピング選好ルール(Grouping Preference Rule, GPR)に記述された音価の差や音高の差などの条件を満たした場合，ルールが適用されグルーピング構造の境界となりうる．連続した 4 音に関して適用される GPR は，1, 2a, 2b, 3a, 3b, 3c, 3d の7 種類あり，その一部を表 1 に示す．例えば，図 2 の操作前のメロディには 2b というルールが適用されている．ここでユーザが音価の変更を行った結果， 3d というルールが適用され，グルーピング構造が変わってしまう場合がある．本研究では，このような場合に，メロディの操作後に変わってしまったグルーピング構造が元のグルーピング構造と同じになるように，修正を行いメロディを生成する．
従来のメロディ生成手法には，複数のメロディを収めたデータベースから適切なメロディの断片を検索して，ある音楽文法に従って接続する手法[2]や，旋律を木構造のマルコフ連鎖によりモデル化し，音の遷移確率を学習し，後続のメロディを推測する手法[3]が挙げられる．しかし，これらはメロディの生成の結果，元のメロディと生成されたメロディの楽曲構造が変化してしまうため，曲の雰囲気や特徴をメロディ生成に反映できないという問題があった．一方，楽曲構造を用いたメロディ生成法として浜中らが提案したメロディモーフィング手法がある[4]．メロディモーフィング手法では，モーフィング可能な 2 つのメロディは楽曲構造が類似している必要があるが，類似したメロディを獲得する手法については述べられていなかった．本手法により生成されたメロディを用いることで，メロディモーフィング可能な曲を増やすことができる．

表 1
GPR2

GPR3

操作

2b
図 23d

メロディの操作によるグルーピング構造と適用される GPR の変化

2. 音楽理論 GTTM に基づくメロディ生成
我々が構築するメロディ生成システムでは，楽曲構造の分析に，浜中らが提案した
exGTTM を用いる[5]．exGTTM は，GTTM をコンピュータ上に実装するために，GTTMに含まれている曖昧な部分をパラメータの導入や定式化により解決したものである．
また，exGTTM は，グルーピング構造，拍節構造，タイムスパン木の楽曲構造分析を行うことができるが，本稿では，楽曲構造のうち，局所的なグルーピング構造をメロディの操作後の楽曲構造を比較・修正するために用い，拍節構造をメロディの操作の1 つである音の分割や修正する音の判定に用いる．グルーピング構造の修正は，適用されていない GPR を適用する，あるいは適用されている GPR を適用しないようにする（以下，この操作を不適用と呼ぶ）ことで実現される．しかし，GPR を適用・不適用するグルーピング構造の修正には，次のような課題が存在する．
課題 1：複数の GPR の同時不生起の問題
局所的なグルーピング構造の修正のために，複数の GPR を適用しようとした場合，どちらか一方の GPR しか適用できない場合が存在する．例えば，図 3 のように，休符を挟まない連続した音では，3-4 音間に GPR2b と GPR3d を同時に適用できない．なぜなら，休符を挟まない場合，発音時刻の間隔は音価と一致し，GPR2b を適用するためには，第 3 音の音価が第 2 音および第 4 音の音価よりも長くなければならない．一方，GPR3d を適用する場合は，第 2 音と第 3 音，および第 4 音と第 5 音の音価がそれぞれ一致し，第 3 音と第 4 音の音価が異なっている必要がある．したがって，GPR2bと GPR3d を同時に適用しようとすると，第 2 音と第 3 音の音価に矛盾が生じるため，同時に適用することができない．このように，異なる選好ルール同士が競合し，同時に適用できない選好ルールの組合わせが生じる．この問題を解決するため，本システ
ムでは，適用・不適用する選好ルールを 1 つのみユーザに選択させることとした．

局所的なグルーピング構造を分析する GPR の一部“Proximity”：連続した 4 つの音符 n1, n2, n3, n4 が，次の条件を満たす場合，n2-n3 間にその選好ルールが適用される．
a. (スラー/休符) n2 の発音終了から n3 の発音開始までの時間間隔が，n1の発音終了から n2 の発音開始まで，および n3 の発音終了から n4 の発音開始までの時間間隔より長い．
b. (発音時刻) n2 と n3 の発音時刻の間隔が，n1 と n2，および n3 と n4 の発音時刻の間隔より長い．
“Change”：連続した 4 つの音符 n1, n2, n3, n4 が，次の条件を満たす場合，n2-n3 間にその選好ルールが適用される．
a. (音高) n2-n3 間の音高差が，n1-n2 間および n3-n4 間の音高差より大きい．
d. (音価) n2-n3 間で音価の変化があり，n1-n2 間および n3-n4 間では音価の変化がない．

&1 2 314 5&

図 3

GPR の同時不生起例

2b2234 53dⓒ2010 Information Processing Society of Japan

Vol.2010-MUS-84 No.4
2010/2/16

情報処理学会研究報告
IPSJ SIG Technical Report

課題 2：exGTTM の境界算出の正規化の問題
exGTTM のグルーピング境界算出の際の正規化処理により，修正中以外のグルーピング境界に影響を与える場合がある．exGTTM では，音と音との間の局所的境界の強さを次のように求めている．まず，２音間に適用されているルールの重みづけ和の値を楽曲全体について求めた後に，その最大値で割って正規化しする．そして，その値が閾値以上で，かつ隣接している値よりも大きいときに，グルーピング境界であると判断する．このため，グルーピング構造修正時にある選好ルールを適用すると，正規化処理により他のグルーピング境界が閾値を下回ることで，境界があると判断されなくなる場合がある．この問題を解決するため，新たなルールの適用後の正規化処理により，他のグルーピング境界に影響が出る場合には，そのルールの適用は，修正候補として提示しないようにした．

入力：MusicXML

修正編集前と同じグルーピング構造

課題 3：GPR の条件を満たす音が一意に定まらない問題
選好ルールに対する操作が適用できる音の音価や音高，アーティキュレーションは，必ずしも一意的に定まらない．たとえば，図 4 において，第 4 音の音高を変更して 2-3音間に GPR3a を適用する場合，2-3 音間および 4-5 音間の音高差よりも 3-4 音間の音高差が大きい条件を満たす音高は，A5 以上の全ての音である．逆に，2-3 音間の GPR3aを不適用する場合，第 4 音が G#4 以下の全てで条件が満たされる．このように，グルーピング選好ルールのみでは，音を一意に定めることができない．この問題を解決するため，本システムでは条件を満たす音の範囲をピアノロール上に表示し，ユーザが表示された範囲を参考に修正を行うこととした．

&1

2

3

4メロディの操作

修正操作の選択グルーピング構造が同じ音楽理論GTTMに基づく分析

適用可能な選好ルールの提示

5

操作する音

グルーピング構造が異なる

3a図 4

修正範囲の提示GPR3a の適用例

出力：MusicXML

3. インタラクティブなメロディ生成
本手法では，2 章で示した課題を解決しつつ，局所的なグルーピング構造を変化させないメロディの生成を行う．本システムの全体図を図 5 に示す．まず，入力されたMusicXML を，生成中のメロディや楽曲構造を示す表示部にて表示する．次に，ユー

図 53システムの全体図ⓒ2010 Information Processing Society of Japan

Vol.2010-MUS-84 No.4
2010/2/16

情報処理学会研究報告
IPSJ SIG Technical Report

ザのメロディの操作を受け付けるユーザ操作部で音価や音高などのメロディの編集を行う．そして，exGTTM により楽曲構造を分析する分析部にて，局所的なグルーピン
グ構造と拍節構造の分析を行い，編集前のメロディの局所的なグルーピング構造と比較する．編集前後で局所的なグルーピング構造が異なった場合，修正候補提示部に移り，グルーピング構造修正に現在可能な GPR の操作の候補とその条件を満たす音の範囲を示す．ユーザは示された修正候補を元に修正を行うことで，元のメロディのグルーピング構造と同じ構造を維持しながら新しいメロディを生成することが可能となる．
システムの入出力には MusicXML を用いる．MusicXML は，XML 形式の楽譜表記のフォーマットで，多くの楽曲編集ソフトウェアで使用できる．また，MusicXML は，休符やアーティキュレーションなど GTTM の分析にとって重要な情報を扱うことができるという特徴がある．
3.1 表示部
表示部では，生成中のメロディとグルーピング構造が表示される．本システムでは，音高と音価が表現できるピアノロール譜を採用する．ピアノロール譜を採用した理由
は，通常の楽譜上でメロディの編集を行う場合，音価を増減させる際には，音符の種類の変更や付点の付加，タイを用いた音符の接続が必要となるのに対し，ピアノロール譜では音符の長さが直観的に確認できるため，初心者にとって有利である判断したためである．本システムでは，スタッカートが付く音は短く切るなどの，実際に演奏する時間を表現するアーティキュレーションについて譜面上の音価に対して実際に演奏される時間の割合を設定し，図 6 のように明るい色で実際の演奏時間を，濃い色で音価を表示することとした．演奏時間の割合は，通常音の場合は 80％とし，実際の演奏時間が音価よりも少し短く表示される．スラーおよびテヌートの場合 100％とし，音価と演奏時間が同じ長さで表示される．スタッカートの場合 30％とし，音価よりも短く表示される．アクセントなどの音の強弱を表現するアーティキュレーションは，ピアノロール上に表示することができないため，本システムでは実装していない．

_・ーションの変更，および音の分割を行うことができる．たとえば，音高の変更は，音価やアーティキュレーションの要素は変更せず，音高のみを変更する．ここでのメロディの操作では，音価やアーティキュレーションの変更においても，変更中の要素以外の要素を変更させることはない．
音価の変更は，発音開始時刻，および発音終了時刻の変更を行うことができる．発音終了時刻を変更し，音価を増やす場合，図 7 に示す(a), (b), (c)の 3 つの変更案が挙げられる．(a)選択された音のみの音価を増やす場合は，複旋律となる区間が生じる．
(b)音価を増やし，以降の音を増加分だけ後ろに移動させる場合は，曲全体の長さが長くなってしまう．(c)選択された音の音価を増やし，次の音の発音開始時刻を変更し，音価を増加分だけ減少させる場合は，曲の長さを変えずに単旋律のメロディが生成されるため，本システムでは(c)の変更方法を採用した．また，逆に音価を減らす場合では，(d), (e), (f)の 3 つの変更案が挙げられる．(d)選択された音のみの音価を減らす場

C5

C5

発音終了時刻を変更し，C5の音の音価を付点4分音符に増加(d) 変更案1：選択された音の音価のみを減少

不採用

不採用
→複旋律となる区間が生じる

図 6

スラー，テヌート→音の間に休符が生じる(b) 変更案2：選択された音の音価を増加させ，以降の音を増加分だけ後ろに移動(e) 変更案2：選択された音の音価を減少させ，以降の音を減少分だけ手前に移動

不採用

不採用

実際の演奏時間→曲全体の長さが長くなる

音価
通常音

発音終了時刻を変更し，C5の音の音価を8分音符に減少(a) 変更案1：選択された音の音価のみを増加

スタッカートアーティキュレーションによる演奏時間の表現

3.2 ユーザ操作部→曲全体の長さが短くなる(c) 変更案3：選択された音の音価を増加させ，後ろの音の音価を同量だけ減少(f) 変更案3：選択された音の音価を減少させ，後ろの音の音価を同量だけ増加

採用

採用→単旋律で曲の長さは変わらない

ユーザ操作部では，ユーザはメロディ生成において，音高，音価，アーティキュレ

図 7
4→休符なく曲の長さは変わらない

音価の変更案ⓒ2010 Information Processing Society of Japan

Vol.2010-MUS-84 No.4
2010/2/16

情報処理学会研究報告
IPSJ SIG Technical Report

合は，音と音との間に休符が生じる．(e)選択された音の音価を減少させ，以降の音を減少分だけ手前に移動させる場合は，曲全体の長さが短くなる．(f)選択された音の音価を減らし，次の音の発音開始時刻を変更し，音価を減少分だけ増加させる場合は，曲の長さを変えることなく，新たに休符が生じないので，本システムでは(f)の変更方法を採用した．音価の変更量は，MusicXML 内の要素である 4 分音符を何等分するかを記述する divisions の値を 1 単位とする．音価の変更により，音価が 0 となり音の総数が減少することを防ぐため，音価が 1 の場合，音価の減少は行えない．
アーティキュレーションの変更は，図 6 に示される演奏時間を表現するアーティキュレーションのみを変更でき，アクセントなどの音の強弱を表現するアーティキュレーションは変更できない．
音の分割は，2 単位以上の音価を持つ 1 つの音を音高とアーティキュレーションを変更せずに，2 つの音に分割する操作である．音の分割は，exGTTM に基づく拍節構造の分析結果を用い，選択された音の拍点以外で最も強拍となる拍点で分割する（図8）．同一の拍点が存在する場合，より音価の中央に近い拍点で分割を行う．
・では GPR1 を隣接する境界強さよりも強いときに局所的なグルーピング境界であると判断する．したがって，グルーピング構造の修正には，移動後のグルーピング境界の消去と，移動前のグルーピング境界の発生のどちらか，または両方を行う．つまり，移動後のグルーピング境界に適用されている GPR の不適用と，移動前のグルーピング境界に適用されていない GPR の適用の 2 つが修正の選択肢となる．ユーザはこれらの選択肢の中から 1 つの修正を選択する．
そして，システムはユーザが指定した GPR を適用するために必要な変更を提示する．
GPR を適用するため変更する音の候補もしくは不適用は 4 通り考えられる．4 つの音のうち，ユーザが操作した音にはユーザの意図が含まれていると判断できるので，本システムでは修正操作を行う音はユーザが操作した音以外とする．修正を行う音は，まず，ユーザが指定した GPR の条件を満たさない音を優先する．次に，拍節構造の拍点の少ない音を優先し，最後に，修正する音の中で最も後方にある音とする．これらの修正を行う音を各 GPR ごとに決定する．
このとき，GPR に対する操作を満たす音高や音価が一意に定まらない場合が存在するため，本システムでは満たされる範囲をユーザに提示する．音高や音価の修正範囲の提示は，GPR に対する操作を満たす範囲を黄色でピアノロール上に表示する．アー
ティキュレーションの修正は，本システムで実装しているアーティキュレーションの数が少ないため，付加できるアーティキュレーションの候補が表示され，その中から分割

拍節構造(16分音符単位)

図 8

音の分割

3.3 分析部

編曲前分析部では，システムに実装した exGTTM により，グルーピング構造と拍節構造の分析を行う．exGTTM については，文献[5]に詳細が述べられているため，ここでは省略する．
3.4 修正候補提示部
修正候補提示部では，局所的なグルーピング構造を修正する選択肢を示す．ユーザのメロディ操作により，局所的なグルーピング構造が異なるパターンは，図 9 の(a), (b),(c)の 3 つに分類される．(a)消失の場合，生成前のメロディのグルーピング境界の位置にグルーピング境界を発生させることで，生成前の局所的なグルーピング構造に修正される．グルーピング境界の判断は，適用されている GPR の重みづけ和により求まる
ため，適用されていない GPR を新たに適用することが修正の選択肢となる．(b)発生の場合，生成後のメロディのグルーピング境界に適用されている GPR を不適用にし，生成により生じたグルーピング境界を消すことでグルーピング構造が修正される．したがって，適用されている GPR を不適用にすることが修正の選択肢となる．そして，(c)移動の場合，「1 音のみのグルーピングは避ける」という GPR1 が存在し， exGTTM

編曲後(a) 消去(b) 発生(c) 遷移

1 つを選ぶことで自動的にアーティキュレーションが付加される．
図 9 局所的なグルーピング構造の変化

4. 操作例
本手法を実装したシステムの操作例を示す．Mozart 作曲のトルコ行進曲を入力として，グルーピング構造が同じメロディの生成を試みる．トルコ行進曲のグルーピング構造は，図 10(a)である．今回用いたトルコ行進曲を記述した MusicXML の divisionsの値は 8 であったので，ピアノロールの 1 マスは 32 分音符となっている．
まず，第 5 音と第 6 音の間にある 8 分休符を 16 分休符にするため，第 6 音 C5 を 16分音符だけ長くした．すると，4-5 音間に GPR3d が適用されたため，図 10(b)のよう
5ⓒ2010 Information Processing Society of Japan

Vol.2010-MUS-84 No.4
2010/2/16

情報処理学会研究報告
IPSJ SIG Technical Reportに 5-6 音間に存在したグルーピング境界が一つ前に移動した．そこで，システムがグルーピング構造を修正するために提示した修正候補は，図 10(c)に示す 4-5 音間のGPR3a の不適用，4-5 音間の GPR3d の不適用，5-6 音間の GPR3c の適用，の 3 つである．今回の例では GPR3a の不適用を選択し，グルーピング構造の修正を行うこととした．GPR の判定に関わる第 4 音から第 7 音の 4 音のうち，変更を行った第 6 音以外で(a) トルコ行進曲のグルーピング構造

GPR3a の条件を満たさず，拍節構造の拍点が少ない音は第 4 音である．そのため，システムが 4-5 音間の GPR3a が不適用となる第 4 音の音高の範囲を，図 10(d)のように黄色でピアノロール上に表示した．システムが提示した範囲から，第 4 音は B♭4 より高い音を取ればよいことが分かったので，第 4 音を D5 に変更したところ，4-5 音間の GPR3a が不適用となり，図 10(e)のように操作前と同じグルーピング構造になった．

5. おわりに(b) グルーピング構造の変化

本研究では，類似した楽曲構造を持つメロディを生成する手法として，元のメロディのグルーピング構造と同じ構造に修正する GPR の操作を提示し，ユーザが指定したGPR の操作を満たす音の範囲を提示するインタラクティブなメロディ生成手法を提案した．また，本手法を実装したシステムの構築を行い，元のメロディと同じグルーピング構造を持つ新しいメロディが生成できることを確認した．
今後は，構築したシステムについて評価を行い，局所的なグルーピング構造が同じという条件が妥当であるかどうかを検討する．また，局所的なグルーピング構造以外の楽曲構造である，階層的なグルーピング構造，拍節構造，タイムスパン木が変化しないメロディ生成手法についても検討する．

(c) 修正候補の提示(d) 修正範囲の表示

参考文献
1)
2)
3)
4)

Lerdahl, F., and R. Jackendoff.: A Generative Theory of Tonal Music., MIT Press (1983)David Cope.: Experiments in Musical Intelligence, A-R Editions, Inc. (1996)
Pachet, F.: The Continuator: Musical Interaction With Style, Proc. ICMC 2002, pp.211-218 (2002)
浜中雅俊, 平田圭二, 東条敏: “タイムスパン木に基づくメロディモーフィング法”, 情報処理学会研究報告 2008-MUS-74-19, Vol. 2008, No. 12, pp. 107-112 (2008)
5) 浜中雅俊, 平田圭二, 東条敏: "ATTA: exGTTM に基づく自動タイムスパン木獲得システム",
情報処理学会研究報告 2005-MUS-61-4, Vol. 2005, No. 82, pp. 19-26 (2005)(e) 修正されたメロディ

図 106

操作例
ⓒ2010 Information Processing Society of Japan