Vol.2013-MUS-98 No.23
Vol.2013-EC-27 No.23
2013/3/16

情報処理学会研究報告
IPSJ SIG Technical Report

楽曲構造に基づくテンポ包絡曲線の生成による自動演奏表情付けと楽曲構造解析法の検討
伊東 直哉1

深山 覚1

中村 栄太1

齋藤 大輔1

嵯峨山 茂樹1

概要：楽曲構造に基づくテンポ包絡の生成によって人間が演奏しているような演奏を生成する演奏表情付け法を提案するとともに，その楽曲構造の自動解析を楽譜からの類似箇所検出問題として定式化した．本
報告では，音楽学で言及されている演奏表情の階層性に基づいてフレーズ構造に基づく演奏表情に着目した．フレーズ構造に基づく演奏表情付けはテンポ包絡の生成問題に帰着される．テンポ包絡は各階層のテンポ包絡を重ね合わせてモデル化を行った．モデルと実演奏データをフィッティングしてモデルの妥当性を検討した．主観評価実験の結果，フレーズ構造に基づく演奏表情と下層の演奏表情を組み合わせること
でより人間が演奏しているような演奏を生成でき，モデルの有効性が示された．また，演奏表情の階層性に基づき，演奏表情付けシステムの利用場面におけるユーザの介在について議論する．さらに演奏表情付
けの自動化のためにフレーズ構造解析を扱うことによって．解析手法の自動演奏表情付けに対する有効性が示唆された．
キーワード：楽曲構造，演奏表情付け，テンポ変動，多項式フィッティング，構造解析，類似部分検出

1. はじめに௫ශ৸৬

本報告では楽譜から人間が演奏しているような演奏を生成する演奏表情付け技術について議論する．この技術は，新作楽曲の演奏や，演奏の著作権問題回避，人間の演奏法

७ॡ३ঙথ

A

B

ইঞ‫ش‬६

௫ཏ

ਏ౤

౰ས

௫ශ৸৬

ધ৲৓ూବ,
ຯಆ, …

५ॱॖঝ

७ॡ३ঙথ

ଡୗ,
௫ૄ, …

ଡୗ৓਀ਠ

ইঞ‫ش‬६

ইঞ‫ش‬४থॢ
,ళล, ਘ৹, …

の解明に有用である．演奏の自動生成は，楽譜に表記される音高と音長に従って音を鳴らすことによってひとまずは実現できるが，その演奏は人間が演奏しているようには聴

౰ས੶ಀ

౰ས੶ಀ

ఠ࿋

ఠ࿋

౰ས੐ં,…

ఠ୤૗৿,
ॸথএ૗৿

੟৶৓਑৺,…

॔‫ॸش‬ॕय़গ
ঞ‫ش‬३ঙথ

こえない．なぜなら，人間の演奏には楽譜に直接は書かれない “演奏表情” が含まれるからである．演奏表情は，意識的に付与される変動も，無意識的に付与される変動もある．これらの変動を計算機処理によって付与すれば，人間が演奏しているような演奏が生成可能と考えられる．
自動演奏表情付けの手法は，J. Sundberg [1] 以来様々な手法が提案されてきた．それらはルールベースの手法，事例ベースの手法，機械学習による手法に分けられる．ルー
ルベースの手法 [2] では，どのような場合にどのように演奏すべきかというルールによって演奏生成を行う．事例ベースの手法 [3][4] では，どのような場合にどのように演奏されたかを検索し転写することで演奏生成を行う．専門的な音楽知識や大量のパラメータ探索が必要というこれらの手法の問題点を解決するために，機械学習によるモデルが多数提案された [5][6]．
1東京大学
The University of Tokyo, 7-3-1 Hongo, Bunkyo-ku, Tokyo
113–0033, Japanc 2013 Information Processing Society of Japan

図 1

ॸথএ૗৿,…

演奏表情の階層性．

さらに，インタラクティブにユーザの指示を受け付けるシステム [7] も提案された．ここでは，生成された演奏を部分的に精錬し改良できる．
演奏表情を扱う方針として，音楽学で言及されている演奏
表情の階層性が着目されている．音楽の階層性は GTTM [8]などの方法でも記述されている．ここで着目するのは，演
奏表情は楽譜での着目する時間単位の長さに応じて階層構造をなす点である [9](図 1)．楽曲全体，セクション，フレーズ，個々の音符などの各階層ごとに，それぞれ異なる要因による演奏表情がある.
自動演奏システムにおいては，下層の演奏表情の自動化が最も有用である．楽曲スタイルなどの上層の演奏表情ほど文化的慣習や人間の意図や個性が反映されるので，システムが自動設定するのは困難である．一方，下層の演奏表
情ほど一音一音をユーザが人手によって表情付けすることは煩雑であり，演奏者にとって無意識の楽器や身体による1Vol.2013-MUS-98 No.23
Vol.2013-EC-27 No.23
2013/3/16

情報処理学会研究報告
IPSJ SIG Technical Report

変動が表されている．ここでテンポ変動によるフレーズ構造の表現が確認できる．フレーズ構造境界の違う演奏では異なるテンポの緩急が観察され，それを聴取する際に異なる印象を受けることを確認した．知覚に関して「人間は音
WHPSR

量変動やテンポ変動によって表現されるフレーズ構造を知覚している [14]」とも言われている．よって，フレーズ構
造ごとの演奏表情付けは，フレーズ構造ごとのテンポ変動
ࢸ࣏ࣥࡢ⦆ᛴࡀ␗࡞ࡗ࡚࠸ࡿ
QXPEHURIEDU

図2

実演奏テンポ変動とフレーズ構造． (F.Chopin, Ballade No.2

Op.38, bars 1-6)を生成する問題に帰着される．音量変動についても重要であるがより顕著と言われるテンポ変動に今回は着目した．
フレーズ毎のテンポ変動がいかに生成されるかについて考える．保科らの演奏理論において，「フレーズでは，頂点物理的制約が反映されるので大量のデータに共通しているに向かってテンポと音量が増加し，逆に頂点を過ぎればそ部分が多い．

れらは減少する [15]」とある．この知見に基づき，フレー

本報告では，演奏表情の階層性に基づき，上層にユーザ

ズ構造ごとのテンポ変動生成は，頂点位置と加減速の形状が介在した演奏表情付け法について述べる．

をパラメータとした関数によって生成できると考えられる．

2. 階層的なフレーズ構造に基づく演奏表情
付け

2.2 複数のフレーズによって構成される大フレーズ

機械での自動化に有用な下層の演奏表情から順に扱い，より人間が演奏しているような演奏の生成を目指す．個々の音符や演奏記号に着目した下層の演奏表情は， [10] など
によって研究が行われてきた．本報告ではさらにひとつ上層のフレーズに着目する演奏表情付けについて論じる．さらに複数のフレーズによって構成される大フレーズにも着目し，より長い時間単位の演奏表情を組み合わせることで，より人間が演奏しているような演奏が生成できるかを検証する．さらに，ユーザの介在が容易な部分について，人間と機械がいかに協調するかを検討する．

演奏表情の階層性に基づくと，より長い時間単位を捉えた演奏表情を扱うことでより人間が演奏しているような演奏表情が生成可能と考えられる．フレーズに比べてより長い時間単位である大フレーズは，複数のフレーズによって構成される [16]．ここで大フレーズに対してより短いフレーズを小フレーズと呼ぶ．テンポの緩急は小フレーズ毎に一定ではなく，他の小フレーズに比べてより顕著なテン
ポの緩急が付与される場合がある．
階層的なフレーズ構造に基づくテンポ変動は各階層のフレーズの影響が重ね合わされていると考えることで，より長い大フレーズを捉えた演奏表情をモデル化できる．

フレーズ構造に基づく演奏表情付け問題は，(1) フレー
ズ構造を楽譜からいかに解析するかという問題と，(2) フレーズ構造が与えられた場合にいかに演奏に反映させるかという問題に切り分けられる．(1) については，フレーズ
構造解釈が演奏者によって異なる [11] ことなどから，人間が担当する方針も考えられる．(2) について，フレーズに基づく演奏表情は，呼吸の制約により大量のデータに共通している部分が多いと考えると，自動化には有用である．
本報告では主に (2) の問題について議論し，(1) の問題に

3. 階層的なフレーズ構造に基づくテンポ変動
モデル
3.1 テンポ変動の重ね合わせによるモデル化
ある音符の楽譜時間 (音価) を s ，その音符が演奏された実時間を τ とする．楽譜時間と実時間の比であるテンポ
を ri (s) とする．i はフレーズのインデックスとする．
テンポ変動 r̃i (s) を，テンポを基準テンポ r̄i で正規化
した

ついては限定的な場合において解析可能であることを示す．

r̃i (s) =2.1 テンポ変動によるフレーズの反映
人間はフレーズ構造をいかに演奏に反映しているかについて考える．音楽においてフレーズ構造とは，複数の音符から成るメロディのひとまとまりをあらわす単位のひとつである．フレーズ構造に着目した演奏表情はテンポ変動に

1
ri (s)r̄i(1)と定義する．フレーズ毎のテンポ変動は，bi , ci をパラメータとする 2 次関数r̃i (s) = Ai + bi (s − ci )2(2)

顕著に現れる [12]．実際，音楽演奏理論において「ピアニとすることで，頂点位置 ci と増減の形状 bi をパラメータ

ストはフレーズの終わりなどでテンポを落とすことによっに持つ関数としてモデル化できる．なお，Ai はテンポのて階層構造を表現している [13]」などの知見がある．また，正規化の制約によって決まる．フレーズ構造を各フレーズ

フレーズ構造解釈は演奏者によって変わりうる．図 2 は実構造境界の時刻 ti によって φ = (t1 , · · · , tM ) と定義する．

演奏のテンポ変動の観察である．赤線と青線によって同一フレーズの区間 ti ≤ s ≤ ti+1 の基準テンポはフレーズの演奏者が別々のフレーズ構造境界で演奏したときのテンポ

始端から終端までの実演奏時間と楽譜時間の比

c 2013 Information Processing Society of Japan2

Vol.2013-MUS-98 No.23
Vol.2013-EC-27 No.23
2013/3/16

情報処理学会研究報告
IPSJ SIG Technical Report

r̄i =

1
ti+1 − ti∫ ti+1dsri (s)

5

(3)

ti

である．
c

階層の深さを Nφ ，階層 p におけるフレーズ構造を

0

φp = (t1p , · · · , tMp ) とする．階層的なフレーズ構造に基づ
くテンポ変動 w(s) は
-5
-5

∏

-4

-3

-2

-1

Nφ

w(s) = W

0

1

2

3

4

5

b

r̃ip (iNφ ) (s)(tiNφ ≤ s ≤ tiNφ +1 )

(4)

図 3

Nφ = 1 の場合，実演奏とモデルのフィッティングによって得たパラメータの分布．

p=1とモデル化できる．テンポ変動をどう重ね合わせるかは自10

明ではないが，最も単純に表現するために積によって記述した．例えばいずれも 1 のテンポ変動を重ね合わせたテン

5c

ポ変動は 1 であることから，積の妥当性は指摘される．上0層のフレーズ構造境界は下層のフレーズ構造境界を含むの-5で φ1 ⊇ · · · ⊇ φMNφ であり，w(s) は，最も下層のフレー
ズのインデックス iNφ ごとに場合分けされる．p ≤ q とす

-10
-10

-8

-6

-4

-2

0

2

4

6

8

10

b

ると，ip (iq ) を階層 q でのインデックス iq のフレーズを含む階層 p でのフレーズのインデックス，と定義する．W

図 4

Nφ = 2 の場合，実演奏とモデルのフィッティングによって得たパラメータの分布．

を基準テンポとする．
なお，このモデルにおいてどの階層に対して最も正確な

0.4

0.6

モデル記述がなされるかについては任意性がある．

3.2 テンポ変動モデルによる生成法
未知の楽曲に対していかにテンポ変動を自動生成には，小フレーズと大フレーズに関するパラメータの平均値を利用すれば実現できる．また，得られた分布を確率分布とみ
なせば，その確率分布に従ってパラメータを選択することでも実現できる．また，フレーズの連続性に特徴があると仮定すれば，「あるパラメータが選ばれると，次にこのようなパラメータが選ばれやすい」という情報を使って実現できる．
パラメータの分布をいかにして得るかについて
述 べ る ．テ ン ポ 変 動 モ デ ル に 従 っ て 観 測 系 列 Y={(s0 , r0 ), (s1 , r1 ), · · · , (sn , rn )} が生成されたと考えると，観測系列が与えられたときのモデルパラメータの推定は，逆問題である．これは，観測系列 Y に対しテンポ変動モ
デル w(s; Θ) との誤差を最小にするようなパラメータ Θ を推定する問題として定式化できる．また，大フレーズの影
響を差し引いた小フレーズでは同じテンポ変動が生成されるとするならば，より制約の強いパラメータ推定が可能である．

tempo̲norm

0.8

1

1.2

1.4

1.6
73

図 5

74

75

76
number of bar

77

78

79

実演奏と 2 階層モデルのフィッティング例． (W.A.Mozart,

Sonata K.331, 3rd movement, bars 73-80)

CrestMusePEDBv2.1, v2.2, v2.3, v2.4.1, v2.5, v2.6 を利用した．階層的なフレーズ構造のラベルは，CrestMusePEDBSTRv1.0 を利用した．Nφ = 1 の場合はフレーズ構造のラベルが記述されている 91 演奏を選択し，Nφ = 2 の場合は2 階層のフレーズ構造のラベルが記述されている 23 演奏を選択した．その中で，大フレーズの個数は 33, 小フレーズの個数は 66 個であった．

4. 予備実験による階層的なモデルの妥当性の検証

Nφ = 1 の場合，式 (4) の積算の中身は，式 (2) に一致する．基準テンポ W も含めると，フィットするモデルパ
ラメータは 3 つである．
Nφ = 2，小フレーズの個数は大フレーズ毎に 2 つである場合，フィットするモデルパラメータは 7 つである．そのパラメータは，階層 1 における 1 つ目のフレーズのパラ
メータ b11 , c11 ，階層 2 における 1 つ目のフレーズのパラ
メータ b12 , c12 ，階層 2 における 2 つ目のフレーズのパラ
メータ b22 , c22 と，基準テンポ W である．

4.1 実験条件
実際の楽曲のテンポ変動が提案モデルのパラメータとして具体的にどう表せるかを調べるために，式 (4) に式 (2)を代入したテンポ変動モデルと実演奏データのフィッティングを行った．フィッティングは最小二乗法によって行った．学習に必要な実演奏データは，演奏表情データベース

4.2 実験結果とモデルの妥当性の検証
Nφ = 1 の場合の得られたパラメータ b, c の分布を図 3に示す．正規化された楽譜時間上の頂点位置を表すパラ
メータ c は，0 から 1 の区間で密な分布となっており，多くのフレーズに頂点が存在することを示している．

c 2013 Information Processing Society of Japan3

Vol.2013-MUS-98 No.23
Vol.2013-EC-27 No.23
2013/3/16

情報処理学会研究報告
IPSJ SIG Technical Report

作曲者名

表 1 主観評価に用いたピアノ曲
曲名
略記

8

Nl

Ng

7

F.Chopin

Nocturne No.2

nct

9

7

6

F.Schubert

Moment Musical No.3

scb

15

10

5

deadpanw/o conv, w/o hierw/o conv, w/ hier4

表 2

各ピアノ曲に対して用意した演奏表情
w/ conv w/o hier w/ hierhuman

conven!onal3

w/ conv, w/o hier2

w/ conv, w/ hierdeadpan

×

×

×

×

1

w/o conv,w/o hier

×

○

×

×

0

w/o conv,w/ hier

×

○

○

×

conventional

○

×

×

×

w/ conv,w/o hier

○

○

×

×

w/ conv,w/ hier

○

○

○

×

human

×

×

×

○

human

HS(nct)HS(scb)

図 6
表 3

HS(AVE)MS(nct)MS(scb)MS(AVE)

7 種類の演奏表情付けに対する評価値の平均

大フレーズ及び小フレーズのパラメータを定数倍した演奏毎の，最も表情豊かと評価した人数．
0 Θl
2Θl
4Θl

4Θg

Nφ = 2 の場合，得られたパラメータの分布を図 4 に示

0

0

0

0

0

0

す．赤で表現したのが大フレーズに基づくテンポ変動の

Θg

0

0

0

0

0

2Θg

0

0

2

4

0

4Θg

0

1

2

1

0

6Θg

0

0

0

0

0

パラメータ (b11 , c11 )，青で表現したのが小フレーズに基づくテンポ変動のパラメータ (b12 , c12 ), (b22 , c22 ) である．
フィッティングの例を図 5 に示した．単純にパラメータを増やした場合 (緑線，パラメータ数が同じ高次多項式を用いたフィット曲線) と同程度の近似精度が得られることが分かった．
一般に，パラメータを増やすとフィッティング精度は高くなると言えるが，どのように増やすかは自明ではない．
階層的なモデルに従ってパラメータを増やしたことで，単純にパラメータを増やした場合と同程度のフィッティング
性能が得られた．この階層的なモデル化は人間が行う演奏
表情付けに近い形でパラメトライズされている可能性があり，ユーザが介在しやすいモデルになっている点において妥当性が指摘される．一方で，フィッティング性能の向上
がより人間らしい演奏生成に繋がるかは自明ではない．これについては，6 節で検証する．

5. フレーズ構造に基づく演奏表情付けに対する主観評価
5.1 実験条件
階層的なフレーズ構造に基づくテンポ変動モデルによってより人間が演奏しているような演奏を生成できるかを検証する目的で，主観評価実験を行った．評価に用いる楽曲
は，演奏表情データベース CrestMusePEDB から拍子・テ
ンポ・作曲家が異なり，階層的なフレーズ構造のラベルが付与された 2 つの楽曲 (表 1) を選択した．小フレーズの個数 (Nl ) 及び大フレーズの個数 (Ng ) は表 1 の通りである．テンポ変動のパラメータは，実演奏とラベルを用いてフィッティングした値を用いた．それぞれの楽曲に対して者に対して 10 段階評価を行った．被験者の構成はピアノ
演奏 10 年以上の経験者が 5 人と，ピアノ演奏の未経験者
が 5 人であった．

5.2 階層的なフレーズ構造に基づくテンポ変動モデルの有効性の評価2 つの評価指標 (HS，MS) についての評価値の平均を
図 6 に示す．さらに HS，MS の全楽曲についての平均(HS(AVE)，MS(AVE)) も併せて示す．
HS(AVE) を 見 る と ，w/o conv, w/ hier の 評 価 値 は
w/o conv, w/o hier の評価値よりも高い値であり，w/
conv,w/ hier の評価値は conventional の評価値よりも高い値であった．
階層的なフレーズ構造に着目することで，実際により人間が演奏しているような演奏が生成され，テンポ変動モデ
ルは有効であることが分かる．また，従来法による演奏表
情生成を組み合わせた場合についてもより人間が演奏しているような演奏が生成された．

6. ユーザが介在する演奏表情付けの検討
あるフレーズ構造が与えられたとき，「ここは 2 倍程度の変動を加えたい」など，変動割合の決定によるユーザ介
在は比較的容易と考えられる．一方で，フレーズを解釈したテンポ変動の形状をユーザが決定するのは煩雑である．
よってまずはテンポ変動割合の決定によるユーザ介在法について述べる．

階層性の考慮の有無，従来法との組み合わせの有無によっユーザが決定するテンポの変動割合は，モデルパラメーて 7 つの演奏を用意した (表 2)．従来法としては，既存手タの定数倍を扱うことによって反映できる．テンポ変動の法 [10] による個々の音符と演奏記号の階層にのみ着目しパラメータを大フレーズ及び小フレーズの影響ごとに分けて生成される演奏表情付けを利用した．表情豊かな演奏のて (Θg , Θl ) とする．これらを定数倍した演奏を用意し，最評価指標として，「人間が演奏しているように感じるか」

も表情豊かに感じる演奏を被験者 10 名に主観評価させた(Human-likeness Score; HS) と「良い音楽であると感じるか」(Musicality Score; MS) の 2 項目を用いて 10 人の被験結果を表 3 に示す．

c 2013 Information Processing Society of Japan

小フレーズ及び大フレーズについてパラメータをそれぞ4

Vol.2013-MUS-98 No.23
Vol.2013-EC-27 No.23
2013/3/16

情報処理学会研究報告
IPSJ SIG Technical Reportの音高 i について，鳴っていれば 1，そうでなければ 0に値を持つ 127 次元 (ピアノの鍵盤数) の特徴ベクトル

図 7

楽曲中に存在する同じ動機に基づく類似部分

れ何倍すると最も表情豊かに感じるかは，元のパラメータに比べ定数倍を用いた方が，人間が最も表情豊かに感じる

xt = [xi,t ] = [x1,t , x2,t , · · · , x127,t ] とし，xs と xt の距離d(s; t) をハミング距離とした．
7.2.2 累積距離最少経路探索問題への帰着
モチーフの変形は，(1) 繰り返される場合，(2) 変形される場合，(3) 異なる音高に移される場合が存在する．

合わされるテンポ変動生成を考える．予め妥当な重み係数

繰り返し現れるモチーフ ((1) の場合) 及びその類似部分((2) の場合) は，d(s; t) を用いて構成される距離行列 DTの中で斜めの線として現れる．それらを検出する問題は，行を入力時間，列を参照時間，行列要素のたどり方を経路とみなし，行列の上端と下端を経路の始端と終端に対応させれば，経路探索問題に帰着できる．このとき，行列の対角線は経路として意味をなさないので，対角線近辺は経路探索が禁止される．また，動機及び類似部分の順序は一定
せず経路は連続的ではないので，遠方へのジャンプを許さねばならない．
さらに，実際の楽曲では同一モチーフが異なる音高に移セットを用意し，それらをユーザが決定するとすれば，あされて繰り返し使われる ((3) の場合) ことが多いので，特ことが示された．これは，表情豊かな演奏とは二乗誤差の基準でフィッティングしたパラメータをそのまま用いて生成するのではなく，それらのパラメータを定数倍して，いわば少し「大げさに」テンポ変動を付与する方がより人間が演奏しているらしく感じることを示している．
演奏表情の階層性に基づくと，ユーザの介在が容易な部
分については，機械による自動決定を行うより寧ろユーザの介在を許す方が適している．具体的にここでは，各階層のテンポ変動に対してそれぞれ重み係数が掛かって重ね

まりテンポ変動を付与したくない場合や極端に付与したい

徴ベクトル系列と，音高を n 半音シフト (n は N 種類)

場合など，ユーザの好みによってテンポの変動割合が変更

した特徴ベクトル系列 xt,n = [x1+n,t , x2+n,t , · · · , x127+n,t ]できる．ユーザは重み係数の簡単な選択を行い，機械はその間の距離れに基づき，モデルに従った形状を持つテンポ変動を自動

dn (s; t) = D(xs ||xt,n ) = |xs − xt,n |生成する．このように，簡単な指示を人間が担当しそれに(5)基づく煩雑な自動生成は機械が担当するという，人間と機械が協調する演奏表情付けが可能と考えられる．

によって構成される距離行列を 12 種類用いれば，12 枚の距離行列間の遷移を許す累積距離最小経路探索問題とし

7. フレーズ構造の自動解析て，音高が異なる同一モチーフや類似部分が検出できる．

フレーズ構造をいかに解析するかについて，楽曲の生成

今回は，音高のシフトはオクターブ以内で生じることが多プロセスに着目して自動解析する手法を検討した．フレー

いことから，シフトの種類数を N = 12 とした．このようズ構造が楽譜から解析できれば，解析されたフレーズ構造にして検出されたモチーフを 1 小節以上 3 小節以下の長さに基づく演奏表情付けの自動化が可能となる．

にまとめたものをフレーズとして解析した．

7.1 類似部分の検出によるモチーフの解析

7.3 階層的なフレーズ構造の性質と解析法

音楽理論では，まとまりのある音符列を動機 (以下，モ

大フレーズ構造に関して小フレーズと同様の類似性があチーフ) と呼ぶ．さらに，複数のモチーフがまとまってフることから，その解析は類似部分検出問題と捉えることがレーズが構成される．楽曲が作曲される際にはまずモチー

でき，距離行列に対する累積距離最小経路探索問題に帰着

フを用意しそれを変形して用いることで楽曲が構成されされる．

ることが多いことから，一楽曲中には多くのモチーフとそ

ただし，大フレーズの解析の際に小フレーズの自動解析

れらが変形したものが存在することが多い．同一のモチー結果を利用できる．大フレーズの境界は小フレーズの境界

フやその変形が使われた部分には何らかの類似性がある．

の中から選ばれるので，遠方でのジャンプは小フレーズで図 7 に例を示す．その類似部分を検出することによってモ境界とした箇所でのみ許される．また，大フレーズの経路

チーフとフレーズ構造を解析できる可能性がある．

は小フレーズの経路よりも連続しやすいので，遠方へのジャンプするコストは小フレーズのそのコストより高く設

7.2 累積距離最小経路探索に基づくモチーフ・フレーズ構造の解析法
7.2.1 特徴量と距離行列
楽譜に対応する MIDI データの時刻 s と時刻 t の間の距離が定義でき d(s; t) で表されるとする．具体的には，今回は時刻 t において MIDI ノートナンバー全て

c 2013 Information Processing Society of Japan

定される．

7.4 フレーズ構造解析結果の議論
提案する楽曲構造解析法の有効性を述べる．提案法によって自動で得たフレーズ構造を入力として，自動演奏表
情付けを行った．提案法の評価は，自動演奏表情付けにお5

Vol.2013-MUS-98 No.23
Vol.2013-EC-27 No.23
2013/3/16

情報処理学会研究報告
IPSJ SIG Technical Report

在について議論した．また，演奏表情付けの自動化のために，フレーズ構造解析を楽譜から類似部分を探索する問題として扱った．
今後の課題としては，演奏表情付け技術に関しては，フレーズ構造に基づくテンポ変動を生成するパラメータを楽譜情報からいかに自動で得るかという問題，フレーズ構造
をどのような特徴量と尺度によって得るかという問題について，今後のさらなる検討が必要である．構造解析技術に関しては，構造解析手法自体の評価として，ラベルを用いた客観評価が必要である．さらに，特徴量や距離尺度を変えた実験によって，適した特徴量の検討と考察が必要で
ある．
参考文献
[1]

J. Sundberg, A. Askenfelt and L. Frydén, Musical Performance. A synthesis-by-rule approach, Computer Music
Journal, vol. 7, no. 1, pp. 37–43, 1983.

図 8 大フレーズ及び小フレーズの構造解析例．

[2]

平賀瑠美, 五十嵐滋, 松浦陽平, “統合演奏視覚化システム,” 情報処ける有効性がひとつの基準となる．自動演奏表情付けに対[3]

鈴木泰山, 徳永健伸, 田中穂積, “事例に基づく演奏表情の生成,” 情[4]

K. Hirata and R. Hiraga, “Next Generation Performance
Rendering –Exploiting Controllability,” Proc. ICMC, pp.
360–363, 2000.

[5]

R. Bresin, Artificial neural networks based models for automatic performance fo musical scores, Journal of New Music
Research, vol. 27, no. 3, pp. 239–270, 1998.

[6]

S. Flossmann, M. Grachten and G. Widmer, “Expressive
Performance Rendering: Introducing Performance Context,” Proc. SMC, pp. 155–160, 2009.

[7]

K. Hirata and R. Hiraga, “Ha-Hi-Hun: Performance rendering system of high controllability,” Proc.the ICAD, pp.
40–46, 2002.

[8]

F. Lerdahl and R. Jackendoﬀ, A Generative Theory ofTonal Music, The MIT Press, 1983.

[9]

H. Keller, Phrasierung und Artikulation, BärenreiterVerlag Karl Vötterle KG, Kassel und Basel, 1955.

[10]

T. H. Kim, S. Fukayama, T. Nishimoto and S. Sagayama,“Polyhymnia: An automatic piano performance systemwith statistical modeling of polyphonic expression and musical symbol interpretation,” Proc. NIME, pp.96–99, 2011.

[11]

長嶋洋一, 平賀譲, 橋本周司, 平田圭二, コンピュータと音楽の世界-[12]

R. Aiello and J. A. Sloboda, Music Performance: Expression and the Development of Excellence, Musical Perceptions, pp. 152–169, Oxford University Press, 1994.

[13]

N. P. Todd, A model of expressive timing in tonal music,
Music Perception, vol. 3, no. 1, pp. 33–58, 1985.

[14]

大村 哲弥, 演奏法の基礎, 春秋社, 1998.

[15]

保科 洋, 生きた音楽表現へのアプローチ:エネルギー思考に基づく演[16]

A. Tobudic, G. Widmer, Relational IBM in Music with a
New Structural Similarity Measure, Inductive Logic Programming, vol. 2835, pp. 365–382, 2003.

理学会論文誌, vol.38, No.11, pp.2391–2397, 1997

する主観評価実験の結果，生成された演奏表情がより表情豊かであると示されたことから，演奏表情付けのための構報処理学会論文誌, vol.41, no. 4, pp. 1134–1145, 2000.

造解析手法として有効と考えられる．演奏表情付けの評価
に対する，構造解析結果の影響度は興味とするところである．これに対しては例えば，同じ演奏表情付け法で構造解
析結果のみを変えて，自動演奏表情付けに対する主観評価
がどう変わるかを考察することで検証できる．しかし，「構造解析結果を変える」方法は一意ではなく，音楽的な知識を基にいかに構造解析結果を変えて演奏表情付けを行うかという点は十分な検討が必要である．
得られた構造解析例を図 8 に示す．青い線が小フレーズの解析結果で赤い線が大フレーズの解析結果である．得られたフレーズ構造から，類似部分が検出されていることが分かるが，正確な解析でない部分もある．正確な解析でない部分に注目すると，確かに類似度は高いが，フレーズ構造解釈としては不自然であるという部分が多い．これは，類似部分検出による手法の限界でもあり，ここに別の制約(小節線や和声境界) の必要性が示唆されている．また，大フレーズ構造境界には小フレーズの構造境界が選ばれ，類基礎からフロンティアまで, 共立出版, 1999.

似部分が大フレーズとして解析されていることが分かる．
今後は構造解析結果自体の評価として，ラベルを用いた客観評価が必要である．

8. おわりに
本報告では，楽曲構造に基づき人間が演奏しているような演奏を生成する技術及び楽譜から楽曲構造を解析する技術について論じた．これまでに提案された下層の演奏表

奏解釈法, 音楽之友社, 1998.

情に着目した演奏表情に対し，より上層の演奏表情を組み合わせた手法によって，より人間が演奏しているような演奏が生成できることを確認した．演奏表情の階層性に基づ
き，演奏表情付けシステムの利用場面におけるユーザの介

c 2013 Information Processing Society of Japan

6