情報処理学会研究報告
IPSJ SIG Technical Report

教師なしスタイル変換によるメロディーの自動生成中村 栄太1,a)

柴田 健太郎1

錦見 亮1

吉井 和佳1

概要：本稿では，教師なし統計学習を用いて，与えられたメロディーを参照にして目標の音楽スタイル（例えばポピュラー音楽のスタイルや演歌のスタイル）のメロディーを生成する手法について論じる．統計機
械翻訳と同様の定式化を行い，目標のスタイルのメロディー生成過程を記述する音楽言語モデルと，参照
曲と生成曲との類似性を評価する編集モデルとの統合に基づくスタイル変換の統計的枠組みを提案する．
従来の教師あり学習によるスタイル別の言語モデルの構成法では，音楽スタイルを適切に指定するデータを用いることが不可欠であった．人手によるデータ選択と情報付与への依存を低減するため，データから自発的に音高とリズムの構造に関するスタイルを見つけ出す新規の統計モデルを提案する．また，主音などの音符の統語機能を捉える編集モデルを教師なしで学習する方法を構築する．提案する方法が生成曲の品質の向上に有効であることを主観評価および生成楽曲の分析により確認する．

1. はじめにµ» ç A-2w
t ÞÃç;¸§Â°æA



どの応用が盛んに研究されている [5–17]．ある曲を参照し;¸§Â°æ楽スタイルをどのように計算論的に定義して記述するか？」

$BÞÃç

C C#
# D Eb E F F# G Ab A Bb Bµ» ç B-1wt ÞÃçµ» ç#w
t ÞÃç


B

音楽のスタイルへなど）は多様な音楽を創る過程として重要である [18–22]．この過程に関して少し考察すると，「音PE (X|X)C C## D Eb E F F# G Ab A Bb B«åµ»æï¬て，音楽スタイルを変換することで新たな楽曲を生成する過程（例えば，クラシック音楽のスタイルからポピュラーç

図 1

PL (X)

èªwµ»

ç

°Â

X
ç!õ

題として研究されており [1–4]，特に近年は自動音楽生成な

iwµ»

µ»

音楽創作行為を情報学的に理解することは人工知能の問«åµ»æï¬µ» ç A-1w
t ÞÃç

X
èªw
µ» çwÂ

提案するスタイル変換の枠組み．スタイル別言語モデルと編集モデルは教師なし学習により得られる．

や「スタイル変換では参照曲と生成曲との類似性を保つた
めにどのような音楽的特徴が不変になっているか？」など

音楽生成に関する最近のほとんどの研究では，スタイル

興味深い疑問が持ち上がってくる．ここでは，これらの問別のモデルは特定の音楽カテゴリー（ジャンルや作曲者な

題を統計学習の観点で調べる．また，音楽の事前知識やラど）に属する曲からなる学習データを用いて構築していベル付きデータをなるべく用いないでメロディーのスタイ

る [8, 11, 12, 17, 20, 22]．しかし，音楽カテゴリーは明確な

ル変換が可能な方法を構築する．

音楽スタイルとは対応しないことが多い [24–27]．例えば，

ここでは，スタイル変換手法が満たすべき条件として，「モーツァルトの音楽」や「ビートルズの音楽」の中には，

目標の音楽スタイルに適合することおよび参照曲の特徴を異なる音高組織のスタイル（例えば長調と短調など）や異保つことの二つを考える．これは，目標の言語に適合し，なるリズムのスタイル（例えば 4 ビートや 8 ビートや付点

かつ原文の意味を保つように文を生成することを目指す，

リズムなど）が混在している．スタイルが混ざったデータ

機械翻訳の問題と類似している．そこで，本研究では統計

は，学習されるスタイルを不明瞭にしたり，学習自体を困的機械翻訳 [23] の定式化に従い，目標のスタイルを表すス

難にすることから，音楽生成の品質に問題を与えることがタイル別の言語モデルと，参照曲と生成曲との類似性を表ある [15–17]．逆に，入念に選択されて（調情報など）ラベ

す編集モデルとの統合によるスタイル変換の枠組みを提案

ル付けがされた学習データを用いた研究では高品質の結果する [9, 14]．

が得られているが [11, 12, 28]，世の中に存在する全ての音楽スタイルに対してこうしたデータを得るには甚大なコス

1

a)

京都大学
Kyoto 606-8501, Japanenakamura@sap.ist.i.kyoto-u.ac.jp

c 2019 Information Processing Society of Japan⃝

トがかかる．人手によるデータ選択とラベル付けのコストを低減するには，データから自発的にスタイルを見出せる

1

情報処理学会研究報告
IPSJ SIG Technical Report

方法が必要である [25, 29]．

刻 smn は 16 分音符の 1/3 の長さの単位で記述する．ま

機械翻訳では，編集モデルを構築するために二言語のパ

た，スタイル変換では各小節内の音符数と各音符のオク

ラレルコーパスが用いられることが多い．音楽のスタイル

ターブ範囲は保たれると仮定する．この仮定のもとでは，変換では，このようなパラレルデータを整備するコストは

音高 pmn はオクターブ内の相対値である「ピッチクラス」

非常に高いため，教師なし学習による編集モデルの構築が

qmn ∈ {0, . . . , 11}（qmn ≡ pmn mod 12）で表し，楽譜時刻必要である．先行研究では，音楽類似性には音符列の幾何

smn は小節内の相対値である「拍節位置」bmn ∈ {0, · · · , 47}

的な距離に加えて，（主音や属音など）音符の調的機能が（bmn ≡ smn mod 48）で表すことができる．よってメロ重要であることが明らかになっている [30, 31]．参照曲のm M
ディー X は X = ((qmn , bmn )Nn=1 )m=1 と表される．メロスタイルと目標のスタイルが異なり，一方あるいは両方がディーのスタイル変換の手法は，ある音楽スタイルに属す

未知の音楽組織を持つ一般の場合を考えると，こうした音符の統語機能および二つのスタイルの間での機能の関係性

る参照メロディー X を目標の音楽スタイルに属する生成e = ((q̃mn , b̃mn )Nm )M へと変換するアルゴ
メロディー X

を付加情報なしのデータから習得することが大きな課題でリズムとして定義される．望ましいスタイル変換の必要条ある．

件として，生成曲が目標のスタイルに合致すること，およ

本稿では，メロディーを対象として，教師なし学習に基

n=1 m=1

び人間が生成曲を聴いて参照曲を感じられることの二つをづく音楽スタイル変換の枠組みを提案する（図 1）．まず，考える．

言語モデルと編集モデルの統合に基づくスタイル変換の統計的定式化を行う．次に，確率的系列モデルの混合モデル

この統計的定式化においては，参照曲 X が与えられた時
e の確率 P (X|X)
eの生成曲 Xをモデル化する．統計機械翻の教師なし学習に基づいて，データから音高とリズム組織ee E (X|X)e
訳 [23] と同様に，この確率を P (X|X)∝ PL (X)Pの特徴をクラスタリングすることでスタイルを発見する方と分解する．ここで，PL は「目標言語モデル」を表し，PE法を構築する．ここでは，拍節構造，音階など音高の移調

は「編集モデル」を表す．目標言語モデルは目標の音楽ス

に対して不変な構造，および音高とリズムの相互依存性を取り入れた構造を持つ，新規のマルコフモデルを構築する．

タイルの特徴を記述するためのものであり，編集モデルは
e との内容の類似度を評価するための参照曲 X と生成曲 X

さらに，音符列の幾何的距離と統語機能の両方を捉える編ものである．

集モデルを構築する．これは二つのスタイル別音楽言語モ
デルの背後にある共通の統語構造を自発的に学習する隠れ2.2 音楽言語モデル

マルコフモデル（HMM）を用いて実現する．提案する手

ピッチクラスの系列に対する極小モデルとして，ピッチク法の効果を主観評価および生成楽曲の分析により調べる．

ラスマルコフモデル（Pitch-class Markov Model; PcMM）

本研究の主な結果は次の通りである．

を 考 え る ．こ れ は ，初 期 確 率 P (q11 = q) と 遷 移 確 率• スタイル別言語モデルと編集モデルの組み合わせによ′P (qmn = q | qmn= q ′ ) により定義される．以下では，る，一般性の高く数学的に筋の通った音楽スタイル変′qmn の一つ前の音符を qmn（同様に s′mn など）と表すこと

換の定式化．同様の問題を扱う先行研究 [18–21] では，にする．同様に，拍節位置に対する極小モデルとして，初期編集モデルは定式化されていなかった．

確率 P (b11 = b) と遷移確率 P (bmn = b | b′mn = b′ ) により• 音階や典型的なリズムなどの意味あるスタイルを捉える音楽言語モデルの教師なし学習法

定義される拍節マルコフモデル（Metrical Markov Model;

MetMM）[32, 33] を考える．

• パラレルデータや付加情報付きデータなしで音符の統

音高とリズムの相互依存性を捉えるため，ピッチク

語的関係を捉える編集モデルを教師なし学習で構築す

ラ ス と 拍 節 位 置 の 積 空 間 を 考 え て PcMM と MetMM

る方法′
を組み合わせる．遷移確率は P (qmn , bmn | qmn, b′mn ) =• 言語モデルの改良と編集モデルの改良の両方がメロ′
Ψ(qmn, b′mn ; qmn , bmn ) と表される．以降では，煩雑な表記

ディーのスタイル変換の品質を改善することの確認を避けるため，初期確率は明示的に書かないが，同様に定2. 提案手法
2.1 スタイル変換の統計的定式化
まずメロディーのスタイル変換の問題の定式化を行う．

義されるものと理解されたい．このモデルの状態空間は二つの次元が音高と拍節位置に対応するトーラス S 1 × S 1 上の格子と見なせるため，このモデルを「トーラスマルコフモデル」（Torus Markov Model; TMM）と呼ぶ．TMM で

m M
メロディーは音符系列 ((pmn , smn )Nn=1 )m=1 として表されは拍節位置が異なるピッチクラスは区別されるため，1 次

る．ここで，pmn は m 番目の小節の n 番目の音高であり，のマルコフモデルでも小節の長さ程度の依存性が捉えられsmn はその発音楽譜時刻であり，これらは両方とも整数ることに注意されたい．

値で表される（M は小節数，Nm は m 番目の小節内の音移調（曲全体の大局的な音高シフト）と転調（曲の一部符数）．ここでは簡単のため 4/4 拍子の曲を扱い，楽譜時の局所的な音高シフト）を記述するため，局所的な調変数

c 2019 Information Processing Society of Japan⃝2

情報処理学会研究報告
IPSJ SIG Technical Report+Ù¿Ó¢.S$IJMESFO£«å³¿«;¸¢.P[BSU£´ß¶¢$IBSMJF1BSLFS£

N

-Ä½B

¢Õ;£

¢Õ;£

¢Õ;£

¢y;;£¢x;£¢Õ;;£¢Õ;;£

µ» ç

µ» ç

¢×µ$y;£図 2¢è`$y;£ ¢ÒçÊÄ;£TSTMMixM の学習済みパラメータ．各データから学習された代表的な 2 つの要素モデルに対して，周辺化したピッチクラス遷移確率が帯で示されている．対応すると考えられる音階の名前が与えられている．これらの音階の主音がドになるように移調した結果が示されている．

km ∈ {0, . . . , 11} を各小節 m に対して定義する．例えば，

P (ρm = ρ, km = k | ρm−1 = ρ′ , km−1 = k ′ ) = πρ′ k′ ,ρk

km = 0 がハ長調を表す時，km = 2 はニ長調を表す．調変(5)

数はマルコフモデル P (km |km−1 ) により生成されると考えると，TMM は次のように拡張できる．

P (km = k | km−1 = k ′ ) = πk′ k′P (qmn , bmn | qmn, b′mn , ρm = ρ, km = k)′= Ψ(ρ,k) (qmn
, b′mn ; qmn , bmn )

(6)

(1)

′
′
P (qmn , bmn | qmn, b′mn , km ) = Ψ(km ) (qmn
, b′mn ; qmn , bmn )(2)
異なる主音を持つ調に対するパラメータを関係付けるため，任意の ℓ ∈ {0, . . . , 11} に対して，次のようにモデルパラメータに対して移調対称性を課す．

こ こ で も 式 (3) と (4) と 同 様 に 移 調 対 称 性 を 課 す ．この モ デ ル は「 移 調 対 称 ト ー ラ ス マ ル コ フ 混 合 モ デ ル 」（Transposition-Symmetric Torus Markov Mixture Model;e
TSTMMixM）と呼ぶ．それぞれの TSTMM 成分が PL (X)に対応する．

TSTMMixMs は EM アルゴリズム [34] により教師なし
で学習できる．原理的にはランダム初期化を使えるが，経験的にこれでは望ましくない局所解に落ちることが分かった．

πk′ k = π(k′ +ℓ)(k+ℓ)(3)

そこで，移調対称 PcMM の混合モデルと MetMM の混合モ

Ψ(k) (q ′ , b′ ; q, b) = Ψ(k+ℓ) (q ′ + ℓ, b′ ; q + ℓ, b)(4)

デルを別々にまず学習して，それらを用いて TSTMMixMs
を初期化する方法を用いる．

ただし，ピッチクラスおよび調変数は 12 を法として定義する
ものとする．このモデルを移調対称 TMM（Transposition-

Symmetric TM; TSTMM）と呼ぶ．移調対称 PcMM も同様に定義できる．

2.3 音楽スタイルの学習結果
いくつかの音楽データから学習された TSTMMixM が図2 に描かれている．データの内，J ポップ，クラシック音

1 章で議論した通り，あるカテゴリーの音楽には音高や楽，演歌のデータに関しては，詳細を 3.1 節で述べる．こリズムのモードがいくつかあることが多い．これらのモーの他，Charlie Parker の 50 曲 3,370 小節からなるジャズのドが TSTMM の異なるパラメータ値で表現できると考え

データと，様々な沖縄民謡 61 曲 2,154 小節からなるデータて，小節ごとにモード変数 ρm ∈ {1, . . . , NM } を導入するを用いた．全ての曲は 4/4 拍子あるいは 2/4 拍子であり，ことで混合モデルを構成する．各モードに対して km で示

形式的に 4/4 拍子に変換して学習した．ここでは，TMMされる 12 の移調形を考える．生成過程は次のように記述

成分を周辺化して得られた PcMM を可視化しており，ピッされる．

チクラスは対応すると考えられる音階の主音がドになるよc 2019 Information Processing Society of Japan⃝3

情報処理学会研究報告
IPSJ SIG Technical ReportèbO$w

ÏÐ¿½«åµ01と短音階に対応するモデルが学習された．J ポップ（具体7
C C# D Eb E F F# G Ab A Bb B

的には Mr. Children の楽曲）のモデルでは短音階は，短 7
Z¬p

1
2



度を主に含む自然的短音階に近いものであり，クラシック
音楽のモデルでは，長 7 度を主に含む和声的短音階に近い

2



Z¬p

J ポップ，クラシック音楽，ジャズのデータからは長音階$BÞÃç

ものが得られた．また，ジャズのデータではどちらのモデ

­

図 3

7

¬p

C C# D Eb E F F# G Ab A Bb B

iwµ» ç èªwµ» ç

うに移調してある．

編集モデルで記述される音符の統語機能

ルも全音階の音階音以外の音を多く含むものが学習され，短音階はブルーノート音階と呼ばれるフラットを伴う 5 度

ここで，二乗距離はピッチクラスと拍節位置の空間で定義の音を多く含んでいることが見てとれる．このように，そされたものであり，σp と σr はスケールパラメータである．

れぞれのスタイルの特徴を捉えたモデルが人による音階ラ

この単純編集モデルは，特に教師なしの設定では本質的な問題を持つ．例えば，ハ長調のメロディーを短調のモーベルや調ラベルなしに学習できることが分かった．
また，演歌と沖縄民謡のデータからは五音音階ないし六ドに変換する時，通常は生成メロディーの調としてハ短調

音音階に近いモデルが学習された．演歌データでは，メが選ばれ，終止音として通常用いられる主音ドは保たれる．

ジャーとマイナーの五音音階が学習された．これらは通しかし，単純編集モデルでは，音符の幾何的距離を最小化

称，ヨナ抜き音階として知られるものであるが，曲によっするものとしてイ短調あるいは他の短調が選ばれ，主音のては 4 度や 7 度を含む場合があることも分析結果から分かような音符の統語機能の構造が保たれない場合が起きてしる．沖縄民謡では琉球音階として知られる音階と長五音音

まう．

階に近いモデルが得られた．文献 [35] では琉球音階には 2

この問題を解決するため，音符の統語構造を考慮した度の音（レ）を含む六音音階と含まない五音音階があるこ

改良編集モデルを構築する．データから教師なしで音符とが分析されているが，図 2 の結果はこれと一致するものの統語機能を獲得するために，文献 [37] で提案された方であり，人間の専門知識を用いない楽曲データだけからの法を応用する．この方法では，記号の機能を表す潜在状分析による確認が得られたと言える．また同文献では，こ態を保つ HMM を系列的文脈，即ち前後にどういった記

れらの音階の他に沖縄民謡では長五音音階が用いられるこ号が現れるかという情報を用いて学習する．潜在状態をとも分析されているが，今回得られた結果はこの点でも一

zmn ∈ {1, . . . , NF } と記すと（NF はあらかじめ決める統語

致している．
以上の分析に見るように，今回のデータから学習された音階は既に音楽学でよく知られたものであり，データから′記号の数である），この HMM は遷移確率 P (zmn |zmn)と出力確率 P (qmn |zmn ) により定義される．これらの確率はTSTMMixM の確率 P (q|q ′ ) を近似するように決められる．

獲得されることは予想できるが，調のラベルが全くない

二つのスタイルをつなぐ編集モデルを構成するため，こデータから教師なしでこれらが獲得できたことは強調するのモデルを二つの出力確率を持つように拡張する．一つはに値する．また，モデルは音階の構成音を学習するだけで参照曲のスタイルに対する P (qmn |zmn ) であり，もう一方はなく，音高の遷移確率やリズムとの関係性も記述しておは目標スタイルに対する P (q̃mn |zmn ) である（図 3）．共通

り，音階分析よりも詳しいスタイルの分析が得られているの統語構造を表すモデルを導き出すため，潜在状態とそのと言える．
異なるカテゴリーの音楽データから異なるリズムのスタ
イルも学習できた（付随ページ [36] の可視化結果を参照）．
例えば，クラシック音楽のスタイルでは音符のオンセット
位置は強拍の上で最も頻繁に起こる一方で，J ポップのス
タイルではそうとは限らないことが分かった．これは後者のスタイルでシンコペーションがしばしば現れることを反映した結果である．

められる．このモデルにより次の編集確率を構成できる．
[
]
∑ ∏
e =
PF (X|X)
P (qmn |zmn ) P (z|q̃)
(8)
z

m,n

ここで，z = (zmn ) および q̃ = (q̃mn ) である．左辺の二番目の因子はフォワード・バックワードアルゴリズムにより幾何的距離に基づくモデルと統語機能に基づくモデルを参照曲メロディーの音符 x=(q, b) が生成曲メロディーの音符 x̃=(q̃, b̃) が対応する時，幾何的な距離に基づく「単純c 2019 Information Processing Society of Japan⃝

らの確率は P (q|q ′ ) と P (q̃|q̃ ′ ) の両方を近似するように決計算できる．

2.4 編集モデル

編集モデル」は次で定義される．
)()((b − b̃)2(q − q̃)2
P (x|x̃) ∝ exp −
exp
−
2σp2
2σr2

′
) は二つのスタイルで共有する．これ
遷移確率 P (zmn |zmn

結合して，次のように「改良編集モデル」を定義する．
∏e ∝ PF (X|X)
e α1
PE (X|X)
PD (qmn |q̃mn )α2 PD (bmn |b̃mn )α3
m,n

(7)

ここで PD (q|q̃) と PD (b|b̃) は式 (7) の二つの因子を表し，要素モデルの重み α1 ，α2 ，および α3 を導入した．

4

情報処理学会研究報告

図 4

B
Bb
A
Ab
G
F#
F
E
Eb
D
C#
C
C C# D Eb E F F# G Ab A Bb B

5P 

Nµ» ç y;;

'SPN  Nµ» ç Õ;;

'SPN «å³¿«;¸µ» ç Õ;

IPSJ SIG Technical Report°Â##œ œ. œ œ œ œ. œ œ œ œ œ
œ.
& # 44 œ œ œ œ

B
Bb
A
Ab
G
F#
F
E
Eb
D
C#
C

. 5.. om$BÞÃç&

44 œ # œœœ œœ œ œœ
J. 545..JY. om$BÞÃç

C C# D Eb E F F# G Ab A Bb B

5P «å³¿«;¸µ» ç Õ;

二対の音楽スタイルに対して学習された編集確率 P (q|q̃)．太い長方形は主な音階音を示している．

œ œ
bb 4
& b b b 4 nœ. œ œ

œ œ œ

œ
Jœ œ œœ œœ œ œ œ œœ œ œ
œ #œ

œ œ #œ œ nœ bœœ œœ œ œ ˙
œ #œ

œœ˙

íÐw8Ðœ œ œ œ œ nœ. œ œ œ œ œœ œ nœ. œ œ œ ˙
Æ&~s4­. 545..JY. ~$BÞÃç

&

4 œ œ
4

œ

œ œ

œ œ œ

œœœ œ œœ œœ œ œ œœ œ

œ œ #œ œ ˙

図 5 メロディーのスタイル変換の例．参照曲は J ポップのメロ
ディーであり，手法 M2 と M3 ではクラシック音楽データか

編集モデルの学習されたパラメータの例を図 4 に示す．
∑
図中のヒートマップは確率 P (q|q̃) ∝ z P (q|z)P (q̃|z)πz∗

ら学習された二番目のスタイル（短調）を目標スタイルとして用いている．

を表している（πz∗ は z の定常分布）．左側の図では，長音節からなり，J ポップデータは Mr. Children のメロディー階からマイナー調の五音音階への音符の写像を示してお3,878 小節からなり，演歌データは [38, 39] に掲載されていり，中音と下中音（ミとラ）は主にフラット音（ミ ♭ とラる多様なアーティストによるメロディー 37,032 小節から♭）にマップされていることが見て取れる．これは音楽的直なる．

感に合う結果と言える．右側の図では，メジャー調の五音各音楽カテゴリーの言語モデルは次のように学習した．

音階から長音階への写像を示している．特に，五音音階のまず，PcMM の NPM 個の混合と MetMM の NRM 個の混合

四番目と五番目の音（ソとラ）は全音階では複数の音に対を EM アルゴリズムで学習した．次に，これらのモデルの積応している．これらの音の機能は文脈により変化する．例の全ての組み合わせを用いて初期化した NM = NPM NRM

えば，五音音階でドの前のラは全音階では導音のシに対応

個の混合を持つ TSTMMixM を学習した．評価データに対することがある．これらの例が示すように，教師なし学習

する混合数は，クラシック音楽，J ポップ，演歌に対してにより得られた改良編集モデルはしばしば音楽的直感に合それぞれ (NPM , NRM ) = (3, 1)，(3, 2)，(3, 3) とした．学習致することが分かった．

した TSTMM から大きな混合重みを持つ二つの成分を選び，各音楽スタイルの代表的なスタイルとして用いた．い2.5 メロディースタイル変換のアルゴリズム
メロディースタイル変換のアルゴリズムを 2.2 節の言語モデルと 2.4 節の編集モデルの組み合わせの統計的推論により導出できる．まず参照曲と生成曲に対応する二つの音
楽カテゴリーのデータに対して一組の TSTMMixM を学習して，モード変数 ρsource と ρtarget によりインデックスさ

くつかの試みの後，α1 = 0.4，α2 = α3 = 0.8，σp = 0.7，

σr = 3，および NF = 7 とした．比較のため，次の三つの手法を実装して評価した．

• (M1) TMM + 単純編集モデル• (M2) TSTMMixM + 単純編集モデル• (M3) TSTMMixM + 改良編集モデル

れる音楽スタイルを習得する．もし音楽スタイル ρsource に対応する参照メロディー X が与えられると，元の言語モデ

3.2 結果例

ルを用いればビタビアルゴリズムで調情報を推定できる．

メロディースタイル変換の例を図 5 に示す．J ポップの

目標の音楽スタイルは ρtarget の値の一つにより指定されe とその目標言語モデルに対する調情
る．生成メロディー X

メロディーをクラシック音楽のスタイルへ変換している．

ee L (X)e の最大化により推定
報は確率 P (X|X)∝ PE (X|X)Pる．J ポップの曲に典型的であるタイされた音符が抑えらされるが，これもビタビアルゴリズムと同様の方法で可能

れ，クラシック音楽スタイルで典型的であるリズムに置きである．調推定の精度は高いため（我々が用いた評価デー

換えられている．一方で，これらの結果は音高の側面では

タでは 100% であった），参照メロディーの調情報が推定

大きく違っている．M1 の結果では，第 3 小節の変化音がされた後，この情報は編集モデルを用いて生成メロディー

下属調への転調をほのめかしているが，これは参照曲にはへと転移することで計算を効率化できる．

ない転調であり，終止を不安定にしている．これは TMM

3. 結果と評価
3.1 実験設定

リズムの側面では，三つの手法の結果はどれも成功していでは調の構造が捕らえられていないことにより説明できる．

M2 と M3 の結果では，調の構造は一貫している．しかし，
M2 の結果は変ロ短調であり，終止付近の音符が適切に変評価には，西洋クラシック音楽，J ポップ，演歌の三つ換されていない．これは単純編集モデルでは主音などの音のカテゴリーの音楽データを用いた．クラシック音楽デー

符の機能が捉えられないことにより説明できる．M3 の結タはモーツァルトが作曲したソプラノメロディー 7,133 小

果では音高組織にこのような問題は見つからない．

c 2019 Information Processing Society of Japan⃝5

情報処理学会研究報告. 545..JY om$BÞÃç. 545..JY ~$BÞÃç

4

(a)
3.5
3
2.5

M1

M2

M3

µ» çùS

M1

M2

M3

M1

º0¨ÅS

M2

M3

M1

×µ^

M2

M3

(d)

0:¦)¤ïÄéÐ¢+Ù¿Ó£. 5.. om$BÞÃçªj¡)4.52+Ù¿ÓÃ»
1
°Â
0
-1
-2
èª
-3
-4
-5
NÃ»
-6
-6 -5 -4 -3 -2 -1 0 1(e)0:¦)¤ïÄéÐ¢+Ù¿Ó£

50:¦)¤ïÄéÐ¢ N£

IPSJ SIG Technical Report210
α = 0.1
-1
-2
-3
-4
-5
α = 10 α = 0.8-6-6 -5 -4 -3 -2 -1 0 1

1
0

NÃ»
°Â

-1
-2
èª

-3
-4
-5

+Ù¿ÓÃ»-6-6 -5 -4 -3 -2 -1 0 1 2±S0:¦)¤ïÄéÐ¢+Ù¿Ó£N£

図 6 主観評価の結果．中心のバーは平均値を示し，小さいバーは(b)照）．M1 の結果ではしばしば不自然な調の構造が見られ，時には調性を感じさせないこともあった．M2 と M3 の結

-1
-2
-4
-5

α = 10α = 0.8-6-6 -5 -4 -3 -2 -1 0 1 2

果は，生成結果の調が同じ時にはしばしば類似していた．

0:¦)¤ïÄéÐ¢+Ù¿Ó£

他の場合では，M2 の結果では，音符の機能や調構造が適(c)

た．毎日平均一時間以上音楽を聴いている 10 人の評価者が実験に参加した．三つの音楽カテゴリー（クラシック，

J ポップ，演歌）から 8 小節の長さを持つよく知られたメ
ロディーを参照曲として二つずつ選び，参照曲とは異なる
二つのカテゴリーのスタイルへと変換した．合計で各手法

°Âqw2?$m構造が見られた．

スタイル変換の品質を調べるため，主観評価実験を行っ0:¦)¤ïÄéÐ¢

10

切に生成メロディーに転移されない場合に，不自然な音高

3.3 主観評価

α = 0.1

-3

N£

N£

10

8
α = 0.16
α = 0.842
α = 100-6 -5 -4 -3 -2 -1 0 1 20:¦)¤ïÄéÐ¢+Ù¿Ó£(f)°Âqw2?$m同様の傾向は他の結果でも見られる（付随ページ [36] 参

00:¦)¤ïÄéÐ¢

1σ の標準誤差を示している．

0:¦)¤ïÄéÐ¢1

α = 0.1864
α = 0.82
α = 100-6 -5 -4 -3 -2 -10:¦)¤ïÄéÐ¢

0

1

N£

図 7 J ポップと演歌の間のスタイル変換の定量評価．(a) から (b)は J ポップの曲断片を参照曲として演歌スタイルでの生成を行った場合，(d) から (f) は演歌の曲断片を参照曲として J
ポップスタイルでの生成を行った場合の結果を示している．図ごとに 12 のメロディーを生成した（生成結果は付随ペー

中の実線は，無情報モデル（一様分布）による交差エントロ

ジ [36] に記載されている）．評価者には，目標のスタイルはピーの値（およそ −2.2）を示している．

教えたが，手法は教えなかった．生成曲のメロディーを聴いたあと，次の各尺度について 6 段階で評価してもらった．

3.1 節に述べた J ポップと演歌のデータを用いて，両方の• スタイル合致度 生成メロディーが目標のスタイルとデータからそれぞれ 20 曲をランダムに選択して参照曲と合致しているか

して，もう一方のスタイルへの変換をする．ここでは，参• 内容類似度 生成曲が参照曲と似ているか

照曲を 4 小節ごとに切り取り，これらの曲断片を変換する．

• 自然さ 生成曲メロディーが自然か

ただし，音符数が 10 未満の断片は，メロディーの特徴が• 魅力度 生成曲メロディーが魅力的か捉えにくいため，除外した．モデルのパラメータ値などの図 6 の結果が示す通り，手法の改良によって全ての尺度

設定は 3.1 節に述べたものと同じであるが，編集モデルのの平均値において改善が見られた．特に，M1 と M2 の比

重みパラメータに関しては次のように設定した．変数 α に

較では，言語モデルの改良によりスタイル合致度の点数が対して，α1 = α/2 および α2 = α3 = α とする．α の値と0.5 向上し（t 検定での p 値 < 10−5 ），M2 と M3 の比較でしては，0.1，0.8，10 の 3 通りを試した．

は，編集モデルの改良により内容類似度の点数が 0.28 向上−3

した（t 検定での p 値 3.3 × 10

図 7 に結果を示す．参照曲および生成曲のスタイル合致）．自然さおよび魅力度の度を測るために，J ポップモデルと演歌モデルに対する交点数の改善も統計的に有意であった．これらの結果は提案

差エントロピーを計算した．各曲断片に対して，最尤とな法の有効性を明確に示すものである．

るモード変数と調変数を求め，それを用いて交差エントロ
ピーを計算した．また，参照曲との類似度を測るために，

3.4 編集モデルの重みの効果

幾何的距離を計算した．これは 3.1 節に値を記したスケー

次に手法 M3（TSTMMixM + 改良編集モデル）につい

ルパラメータに基づく二乗距離である．図 7(a)(d) を見るて，生成結果のスタイル合致度と参照曲との類似度を客観と，2 つのスタイルモデルの交差エントロピーの空間にお的に定量して手法の挙動を調べる．同時に編集モデルの重いて，2 つのスタイルの参照の曲断片がクラスターを形成

みパラメータを変化させた場合の効果についても調べる．

していることが確認できる．ただし，一部の曲断片は交差

c 2019 Information Processing Society of Japan⃝6

情報処理学会研究報告
IPSJ SIG Technical Report

エントロピーが両方低かったり，両方高かったりすること

高さと得られた結果の品質の高さから，このスタイル変換も確認できる．次に，図 7(b)(e) では，自動生成された曲断の定式化はコード進行や多声音楽など他の形式の音楽に対片が目標のスタイルに近づいている様子が見てとれる．編しても有用である可能性が見込まれる．

集モデルの重みが小さいほど，言語モデルの効果が大きく本稿で扱った枠組みは他の音楽スタイルに容易に応用でなるため，スタイル合致度がより大きくなっていることもきるので，幅広い種類の音楽スタイルに対して手法の有効分かる．図 7(c)(f) では，編集モデルの重みに応じて，生成性を検証する予定である．同じデータであっても異なる初結果と参照曲の幾何的距離が変化していることが分かる．

期値からは異なる音楽スタイルが得られ，その結果はい

つまり，この重みが小さい時はスタイル合致度は大きいが，つでも解釈可能な訳ではないことも明らかになっている．

参照曲との幾何的距離も大きいこと，逆に，重みが大きい

よって，情報量尺度（例えば尤度）により音楽的に意味の時は参照曲との幾何的距離は小さいが，大部分の生成曲断あるスタイルのクラスタリングを特徴付けことは重要な課片が目標のスタイルから外れている様子が見える．この結題である．また適切な混合数を決める問題も今後の重要な果から，編集重みの効果が確認できるとともに，α = 0.8

課題である．

辺りの領域がスタイル合致度と参照曲との類似度がバランスしやすい値であることが確認できた．
一方で図 7 の結果から，特に J ポップから演歌へのスタ
イル変換において，編集モデルの重みが小さい時でも，一謝 辞

本 研 究 は ，科 研 費 16H01744，16H02917，

16K00501，16J05486，19K20340，JST

ACCEL

No.

JPMJAC1602，柏森情報科学研究財団，および京都大学
教育研究振興財団からの支援を受けた．

部の曲断片が演歌スタイルから大きく外れることがあることが分かった．このことは，曲によってスタイル変換しや

参考文献

すいものとそうでないものが存在することを示唆してい[1]

る．より詳細な解析および解決法については今後の課題とする．

3.5 スタイル変換による楽曲生成のデモページ

[2]
[3]

スタイル変換により生成された楽曲は，デモページ*1 から視聴できるようになっており，今後も更新していく予定[4]である．また，本稿では参照曲として電子形式で楽譜が用意された楽曲を考えてきたが，スタイル変換の定式化自体[5]は，音楽音声データからの自動採譜で得られた不完全な楽譜やランダム生成された楽譜などにも適用できる．また，[6]

自動採譜では出力結果に音楽的に不適切な誤りが含まれることがしばしばあるが，これを音楽的に自然な楽譜へと修正することも考えられる．こうした可能性についても，得[7]られた結果をデモページにて発表していく予定である．
[8]

4. 結論
最初に上げた問いに戻ると，本研究の結果は音階や典型[9]的なリズムなどの音楽スタイルの側面が統計的生成モデル
により定義されるクラスターにより記述できること，そしてそれが音楽の専門知識に大きくは依存せず学習できるこ[10]とを示している．音楽スタイルの教師なし学習はジャンル分類の文脈で研究されているが [25, 29]，本研究ではそれ[11]が音楽生成にも有用であることが示された．また，スタイル変換に基づく楽曲生成において音楽類似性を記述するた[12]

めには音符の統語機能を考慮する重要性を明らかにし，調情報を自動的に推定しなければいけない時にそれが特に重要であることを明らかにした．提案する枠組みの一般性の*1

https://melodyarrangement.github.io/demo-ja.html

c 2019 Information Processing Society of Japan
⃝

[13]

[14]

G. Papadopoulos and G. Wiggins, “AI methods for algorithmic composition: A survey, a critical view and future
prospects,” in Proc. AISB Symposium on Musical Creativity, 1999, vol. 124, pp. 110–117.
G. Nierhaus, Algorithmic Composition, Springer, 2009.
J. D. Fernández and F. Vico, “AI methods in algorithmic composition: A comprehensive survey,” J. Artificial
Intelligence Res., vol. 48, pp. 513–582, 2013.
J.-P. Briot, G. Hadjeres, and F. Pachet, “Deep learning techniques for music generation—A survey,” arXiv
preprint arXiv:1709.01620, 2017.
F. Pachet, “The continuator: Musical interaction withstyle,” J. New Music Res., vol. 32, no. 3, pp. 333–341,
2003.
H. Maekawa et al., “On machine arrangement for smaller
wind-orchestras based on scores for standard windorchestras,” in Proc. ICMPC, 2006, pp. 268–273.
S. Fukayama et al., “Automatic song composition fromthe lyrics exploiting prosody of the japanese language,”in Proc. SMC, 2010, pp. 299–302.
F. Pachet and P. Roy, “Markov constraints: Steerable
generation of Markov sequences,” Constraints, vol. 16,
no. 2, pp. 148–172, 2011.
G. Hori, H. Kameoka, and S. Sagayama, “Input-output
HMM applied to automatic arrangement for guitars,” J.
Info. Processing Soc. Japan, vol. 21, no. 3, pp. 264–271,
2013.
M. McVicar, S. Fukayama, and M. Goto, “AutoLeadGuitar: Automatic generation of guitar solo phrases inthe tablature space,” in Proc. ICSP, 2014, pp. 599–604.
B. L. Sturm et al., “Music transcription modelling andcomposition using deep learning,” in Proc. CSMC, 2016,
pp. 1–16.
G. Hadjeres and F. Pachet, “DeepBach: A steerable
model for Bach chorales generation,” arXiv preprint
arXiv:1612.01010, 2016.
L. Crestel and P. Esling, “Live orchestral piano, a system for real-time orchestral music generation,” in Proc.
SMC, 2017, pp. 434–442.
E. Nakamura and K. Yoshii, “Statistical piano reduction

7

情報処理学会研究報告
IPSJ SIG Technical Report

[15]

[16]

[17]

[18]

[19]

[20]

[21]
[22]
[23]

[24]
[25]

[26]

[27]

[28]
[29]

[30]

[31]

[32]

[33]

[34]

[35]
[36]

controlling performance diﬃculty,” APSIPA Trans. on
Signal and Information Processing, 2018, to appear.
H.-W. Dong et al., “MuseGAN: Multi-track sequential
generative adversarial networks for symbolic music generation and accompaniment,” in Proc. AAAI, 2018.
L.-C. Yang, S.-Y. Chou, and Y.-H. Yang, “MidiNet:
A convolutional generative adversarial network forsymbolic-domain music generation,” arXiv preprint
arXiv:1703.10847, 2017.
H. H. Mao, T. Shin, and G. Cottrell, “DeepJ: Stylespecific music generation,” in Proc. IEEE ICSC, 2018,
pp. 377–382.
D. Tzimeas and E. Mangina, “Jazz Sebastian Bach: A
GA system for music style modification,” in Proc. IEEEICSNC, 2006, pp. 36–42.
F. Zalkow, S. Brand, and B. Graf, “Musical style modification as an optimization problem,” in Proc. ICMC,
2016, pp. 206–2011.
W-T. Lu and L. Su, “Transferring the style of homophonic music using recurrent neural networks and autoregressive models,” in Proc. ISMIR, 2018, pp. 740–
746.
G. Brunner et al., “Symbolic music genre transfer with
CycleGAN,” in Proc. IEEE ICTAI, 2018, pp. 786–793.
N. Mor et al., “A universal music translation network,”
arXiv preprint arXiv:1805.07848, 2018.
P. F. Brown et al., “The mathematics of statisticalmachine translation: Parameter estimation,” Computational Linguistics, vol. 19, no. 2, pp. 263–311, 1993.
R. L. Crocker, A History of Musical Style, McGraw-Hill,
1966.
J.-J. Aucouturier and F. Pachet, “Representing musicalgenre: A state of the art,” J. New Music Res., vol. 32,
no. 1, pp. 83–93, 2003.
N. Scaringella, G. Zoia, and D. Mlynek, “Automaticgenre classification of music content: A survey,” IEEE
Signal Processing Magazine, vol. 23, no. 2, pp. 133–141,
2006.
B. L. Sturm, “Classification accuracy is not enough,” J.
Intelligent Information Systems, vol. 41, no. 3, pp. 371–
406, 2013.
J. Sakellariou et al., “Maximum entropy models capture
melodic styles,” Sci. Rep., vol. 7, no. 9172, pp. 1–9, 2017.
X. Shao, C. Xu, and M. S. Kankanhalli, “Unsupervised classification of music genre using hidden Markov
model,” in Proc. ICME, 2004, vol. 4, pp. 2023–2026.
C. L. Krumhansl, “The psychological representation ofmusical pitch in a tonal context,” Cognitive Psychology,
vol. 11, no. 3, pp. 346–374, 1979.
P. Hanna, P. Ferraro, and M. Robine, “On optimizing
the editing algorithms for evaluating similarity between
monophonic musical sequences,” J. New Music Res., vol.
36, no. 4, pp. 267–279, 2007.
C. Raphael, “A hybrid graphical model for rhythmic
parsing,” Artificial Intelligence, vol. 137, pp. 217–238,
2002.
M. Hamanaka et al., “A learning-based quantization:
Unsupervised estimation of the model parameters,” inProc. ICMC, 2003, pp. 369–372.
A. P. Dempster, N. M. Laird, and D. B. Rubin, “Maximum likelihood from incomplete data via the EM algorithm,” J. Royal Stat. Soc., vol. 39, no. 1, pp. 1–38,
1977.
金井喜久子, 琉球の民謡, 音楽之友社, 1954.
Supplemental material (available online), http://

c 2019 Information Processing Society of Japan
⃝

[37]

[38]
[39]

melodyarrangement.github.io/demo.html.
H. Tsushima et al., “Generative statistical models with
self-emergent grammar of chord sequences,” J. New Music Res., vol. 47, no. 3, pp. 226–248, 2018.
Y. Goto (ed.), Grand Collection of Enka Songs by Male
Singers 5th Ed. (in Japanese), Zen-on Music Co., 2016.
Y. Goto (ed.), Grand Collection of Enka Songs by Female Singers 5th Ed. (in Japanese), Zen-on Music Co.,2016.

8