Vol.2018-MUS-120 No.22
2018/8/23

情報処理学会研究報告
IPSJ SIG Technical Report

GTTM タイムスパン木を用いた楽器演奏知識のアノテーション手法の提案
飯野なみ†1,2,3

島田真弓†1

西村拓一†2

浜中雅俊†1

概要：本稿では，音楽理論 Generative Theory of Tonal Music (GTTM)のタイムスパン分析から得られたタイムスパン木に対して，楽器演奏に関する知識のアノテーション手法について述べる．我々はこれまで，クラシックギターの指導・学習支援を目的として，演奏法に関する知識の構造化を行ってきた．
しかし，演奏者が知識をより実践的に理解するためには，演奏する曲と知識を対応させることが重要となる．そこで本研究では，楽譜情報と知識を連携するためのタイムスパン木を用いたアノテーション手法を提案する．ギター曲 4 曲の数小節を取り上げ，タイムスパン木に対して 2 音以上で適用される知識を付与して実験した結果，全ての知識のうち約 76%が木構造に対応していることが分かった．
キーワード：GTTM，タイムスパン木，ギター奏法オントロジー

Annotation Method for Supporting Instrument Performance using
GTTM Time-Span Tree
NAMI IINO†1,2,3

MAYUMI SHIMADA†1 TAKUICHI NISHIMURA†2MASATOSHI HAMANAKA†1Abstract: This paper describes a method that annotates the knowledge of instrument performance to a time-span tree
obtained from time-span analysis on the basis of the generative theory of tonal music (GTTM). We have structured theknowledge of classical guitar rendition and developed guitar rendition ontology for playing support. In order to use theknowledge of the ontology at a site, it is necessary to connect the knowledge and music piece. Therefore, in this study,
we propose an annotation method using a time-span tree to integrate ontology data with musical score information. In
the experiment, we used several bars of each of four guitar pieces and annotated the knowledge, which is executed withmore than two notes, to time-span trees. As a result, we found that about 76% of knowledge correspond with thestructure of time-span trees.
Keywords: GTTM, time-span tree, classical guitar, performance action

1. はじめにするために，ギター奏法オントロジーを構築した[5]．
楽曲分析は和声学に基づく研究が伝統的であったが，音楽器演奏は，運動機能や情報処理能力の向上など，多様楽の構造分析を音楽認知科学の視点から客観的に捉える理な感覚を刺激することができる[1][2]．このような音楽活論や手法も提案された[6-9]．中でも，音楽理論 Generative動を支援する試みは多くみられ，様々な技術が提供された．

Theory of Tonal Music（GTTM）は，旋律，拍節，和声のしかし，楽器演奏は個人の身体や性質に強く依存するため，3 つの側面から楽曲の階層的な構造を分析し，それらの関適切に演奏するための知識共有や獲得が難しい[3]．中でも，係をツリー（樹木）によって表記することができる．このクラシックギターは非常に多くの知識を必要とする楽器で木構造を利用して，楽器固有の楽器演奏時の行為に関するあるにも関わらず，教材や指導法の標準化がなされていな知識（以下，知識）と楽譜情報を関連づけることができれい．そのため，指導者の演奏行為に関する知識の理解が異ば，従来の楽譜以上に豊富な情報を提供できる可能性があなり，学習者の上達度に大きな差を生んでいる．この問題る．

を解決するために，我々はクラシックギターの奏法に関す

我々の目的は，演奏家の持つ専門的な知識と楽譜情報をる知識を体系化することを試みている．そこでまず，クラ連携し，楽器学習や指導を支援することである．図 1 は，シックギターの知識を収集し，目的指向による記述で体系指導・学習支援システムの構想である．まず既存の教材や化を行なった[4]．さらに，知識の記述形式や構造を明確に演奏家から知識を収集し，体系化した知識を OWL（Web†1 理化学研究所
Institute of Physical and Chemical Research†2 産業技術総合研究所

National Institute of Advanced Industrial Science and Technology†3 総合研究大学院大学
The Graduate University for Advanced Studiesⓒ2018 Information Processing Society of Japan1

Vol.2018-MUS-120 No.22
2018/8/23

情報処理学会研究報告
IPSJ SIG Technical Report
Ontology Language）や XML データとして蓄積する．次に奏法，音節変化奏法，音色変化奏法，音響変化奏法）と身GTTM の楽曲解析から得られた木構造に対して知識を付体に関する目的を持つ奏法（基本奏法，固定奏法，押弦奏与する．それらの情報は XML 形式でデータ連携され，楽法，撥弦奏法）に大別している．具体的な奏法は，各上位譜から知識を提示可能にする．その第一歩として，本研究概念の下位概念として定義している．

では GTTM の木構造へのアノテーション手法を提案する．

さらに，下位概念を説明するために属性（Property）をクラシックギターに焦点を当て，先行研究で構築したギタ定義している．図 3 に具体例を示す．ミュート音を目的とー奏法オントロジー[5]の知識を取り出し，タイムスパン分する奏法「ピッチカート」では，行為の説明として主行為，析によって得られたタイムスパン木に対してアノテーショ条件行為という属性を設けて記述している．この２つのプンを付ける．

ロパティは「A をしながら B をする」という行為を定義す

以下，2 節ではギター奏法オントロジーと音楽理論るものであり，A を条件行為，B を主行為としている．まGTTM について述べる．3 節ではクラシックギター曲のタた各行為を行う場所や部位に関する属性によって，行為のイムスパン分析を行い，木構造の表現手法について述べる．

詳細な定義がなされている．

そして 4 節では，生成したタイムスパン木に対してクラシックギターの知識を付与した結果を述べる．最後に 5 節でまとめと今後の課題について述べる．

図 1
Figure 1

学習・指導支援システムへの展開

Application concept for teaching and learning
support図 2
Figure 2

2. 関連研究

ギター奏法オントロジーの概念
Concepts of guitar rendition ontology

2.1 ギター奏法オントロジー
我々の先行研究では，クラシックギターの指導支援を目的として，奏法に関する知識の体系化を行なった．まず，演奏家や既存の書籍[10]から知識を収集し，それらを目的指向による記述形式で体系化した[4]．さらに，それらの知C識を階層的に構造化するために「ギター奏法オントロジーa」を構築した[5]．

O:

ギター奏法オントロジーは， 93 の概念と 18 の属性で構P成されている．クラシックギターの奏法を概念（Class）とし，目的別に分類している．図 2 にギター奏法オントロジーの概念を示す．上位概念は，音に関する目的を持つ 7 つ図 3

ギター奏法オントロジーの概念

Figure 3

Description form actionの奏法（効果音奏法，和音変化奏法，装飾奏法，音価変化a https://github.com/guitar-san/Guitar-Rendition-Ontologyⓒ2018 Information Processing Society of Japan2

Vol.2018-MUS-120 No.22
2018/8/23

情報処理学会研究報告
IPSJ SIG Technical Report
2.2 音楽理論 GTTM(b) 省略された音符を含むタイムスパンと同じまたは類GTTM は，作曲家・音楽学者の Fred Lerdahl と言語学者の Ray Jackendoff によって提唱された音楽分析・認知理似の別の音声タイムスパンのヘッド
3.2 クラシックギターのタイムスパン木の表現論の一つである．この理論の基盤は，Schenker の音楽分析

古典派の小品 L. Legnani 作曲の Caprice No.7 を取り上理論と Chomsky の生成言語文法理論にある．GTTM の目げ，3 種類のタイムスパン木を獲得した（図 4）．まず楽曲的は，人間の音楽知覚・認知過程をもとに，上位レベルかをホモフォニーとして上声部，下声部に分離した．(a)は上ら下位レベルまで音楽を階層的な構造に分析することであ声部のみを抽出し，単旋律のタイムスパン分析を行った．

る[11]．GTTM による音楽の構造分析は，以下 4 つのサブ(b)では下声部の分析を加え，上声部とは別にタイムスパン理論から成る[12]．

木を描いた．下向きの緑線のタイムスパン木が下声部を表している．また，点線は上声部の音が下声部も担っている(i) グルーピング構造分析(iii) タイムスパン分析(ii) 拍節構造分析(iv) 延長的簡約分析

音を示している．
クラシックギターの特徴は，声部を明確に分けることが難しい点である．そのため，(c)ではポリフォニック音楽のグルーピング構造分析は，楽曲中の動機や楽節といったタイムスパン分析を行い，1 つのタイムスパン木で表現し単位のグループに分節し，分節された各グループの階層構た． 前述したクラシックギターの特徴から演奏行為を考慮造を定める．ここでいうグループとは，時間的に隣接したすると，声部分けした場合よりも単一のタイムスパン木のいくつかの音のまとまりを指す．拍節構造分析では，各拍方が知識に対応している可能性が高い．本稿では，(c)によの乗る位と強さを推定し，階層的に強拍と弱拍を定める．

る表現を用いて実験を行う．

タイムスパン分析は，上記のグルーピング構造分析と拍節構造分析を用いて各音の重要度を階層的に整理するもので(a)

単旋律のタイムスパン⽊(b)

複旋律のタイムスパン⽊（2 つの⽊構造）あり，楽曲のリズム的な側面を重視している．タイムスパン分析によって得られる木構造をタイムスパン木と呼ぶ．
他方，和声的な側面から別の木構造を生成する手法として延長的簡約分析がある．

3. クラシックギター曲のタイムスパン分析
本節では，クラシックギターに適したタイムスパン木の表現手法について述べる．クラシックギター曲はポリフォbニー であるが， GTTM は一般にモノフォニーまたはホモcフォニー しか受け入れない．そこで，既存のポリフォニッ
ク音楽のタイムスパン分析方法をクラシックギター曲に応用する．
3.1 ポリフォニック音楽のタイムスパン分析
GTTM のルールは単音列を扱っているため，複旋律を扱うことは想定されていない．そこで，ポリフォニック音楽のタイムスパン木を獲得することを可能にする新たなルールが提案されている[13][14]．
ポリフォニック音楽をタイムスパン分析するために， まずホモフォニーとして声部を分離する．このプロセスはタイムスパン簡約（2 章，(iii)）に類似しており，装飾音などを省略して簡素化された旋律を取得することでタイムスパン木を獲得できる．省略された音符の枝を接続する音符は，以下のいずれかの方法で抽出する．
(a) 省略された音符を含む最小時間幅のヘッド

b ポリフォニーは，複数の旋律からなる音楽である．
c モノフォニーは，単一の旋律からなる音楽である．和音を含む場合はホⓒ2018 Information Processing Society of Japan

モフォニーという．

3Vol.2018-MUS-120 No.22
2018/8/23

情報処理学会研究報告
IPSJ SIG Technical Report(c)

音を滑らかに演奏することを表す．ただし，クラシックギ

複旋律のタイムスパン⽊（1 つの⽊構造）

ターの場合は奏法として特殊な行為を指している．つまり，スラーには上行スラーと下行スラーがあり，右手で弦を弾いたその後に左手指で叩いたり弾いたりして音を出す奏法である．このように 2 音で行われる知識を，枝の交点にアノテーションする（Rule 1,2）．
「セット」とは，確実に狙った音を出すため，弦を弾く準備としてあらかじめ右指先で弦を捉えておく弾弦法であり，プランティングとも言う[16]．図 5 の場合，ラの音とドの音から出ている枝の交点を選択することで 3 音にアノテーションする（Rule 3）．
図 4

クラシックギター曲のタイムスパン木Figure 4

Time-span tree of a classic guitar piece.

4. 実験
本節では，アノテーションを付ける際のルールを定め，選定したクラシックギター曲 4 曲のタイムスパン木に対し

testScoreて知識を付与したので，その実験結果について述べる．
4.1 アノテーション・ルール
始めに，以下のプロセスで知識を取り出した．

Classical Guitar##& # 443

œ

œ

œ

œ

œ

œ

プロセス①

楽譜指定の知識の収集

図 5

アノテーションの一例

プロセス②

運指情報の収集

Figure 5

Example of annotation.

プロセス③

演奏の観察から得られた知識の収集

プロセス④

ギター奏法オントロジーとの照合

4.2 結果と考察
ポリフォニーのタイムスパン分析によって得られたクラまず，楽譜に指定された知識を取り出す(プロセス①)．しシックギター曲のタイムスパンツリーにアノテーションをかし，実際には，演奏者が自身の音楽表現や運指によって付けた結果を述べる．選定した 4 つのギター曲から各数小指定されているアーティキュレーションを変更しているこ

節を取り出してタイムスパン分析を行い，タイムスパン木とが多い．そこで プロセス②では，演奏者の運指情報を収の交点に知識のアノテーションを付けた．図 6 は，2 曲分集する．プロセス③では，運指情報をもとに，演奏を観察の結果である．青数字は運指を，五線譜の上に書かれた赤して楽譜情報以外の知識を書き出す．最後に，ギター奏法

丸と文字がアノテーション箇所と知識を，五線譜の下に書オントロジーと照らし合わせ，語彙表現の統一やオントロかれた文字がその他の知識を，それぞれ示している．なお，ジーに含まれない知識の収集を行う（プロセス④）．オント

本実験では，ギタリストである著者（飯野）の知識を取りロジーに含まれない知識は，プロセス③の記述のまま付与上げた．

する．

アノテーションが付けられた割合の高かった知識は「スアノテーションを付ける際のルールは以下の通りである．

ラー」と「セット」であった．特に「スラー」は全ての楽曲で付与された．
「スラー」に関しては，ギター奏法オント(Rule 1) 2 音以上で適用される知識で行うロジーの階層に則り，スラーをタイムスパン木の上位階層(Rule 2) アノテーションを付ける場所は，タイムスパン木に，上行スラーを下位階層に，それぞれアノテーションをの枝の交点(Rule 3) アノテーションを付けた場所よりも下の枝全てに知識が伝播する付けた．その他，ギター奏法オントロジーに含まれない暗©
黙的な知識として「触れた状態でスライド」と「開放弦の消音」が獲得された．なお，「開放弦の消音」の具体的な行為として「p 指（右手親指）裏で触れる」「3 指（左手薬指）

図 5 は，アノテーションの一例を示している．
「スラー」で触れる」といった表現も追記した．

は，楽譜に書かれる演奏記号のひとつであり，連続する 2ⓒ2018 Information Processing Society of Japan4

Vol.2018-MUS-120 No.22
2018/8/23

情報処理学会研究報告
IPSJ SIG Technical Report

図 6

アノテーション付きタイムスパン木Figure 6

Time-span tree with annotation.

表 1

木構造と演奏知識の適合率

Table 1

Rate of annotated knowledge.

ⓒ2018 Information Processing Society of Japan5

Vol.2018-MUS-120 No.22
2018/8/23

情報処理学会研究報告
IPSJ SIG Technical Report
表 1 に，4 曲の知識とタイムスパン木の適合率を示す．
全ての楽曲において，小節毎に複数の知識が付与され，そのうち約 76%の知識が木構造と対応していた．最も適合率が高かったのは，古典時代に作曲された F. Sor の Variation
on a Theme by Mozart であった．一方．適合率が低かった

[8]
[9]
[10]
[11]のは同時代に作曲された D. Aguado の Introduction andRondo であった．この曲で付与できなかった割合が高かったのは「開放弦の消音」であった．また他の曲も同様に，開放弦の使用頻度が高い楽曲では適合率が下がる傾向にあ

[12]
[13]

った．
本手法ではいくつかの問題点が明らかになった．例えば，タイムスパン分析が音符のみを扱うために，休符時に行う知識にはアノテーションを付けることができない．また，
1 音で適用される知識もあるため，アノテーション・ルー

[14]

Tempeley, D.: The Cognition of Basic Musical Structures,
The MIT Press, Cambridge (2001).
Lerdahl, F. and Jackendoff, R.: A Generative Theory ofTonal Music, The MIT Press, Cam- bridge (1983).
現代ギター社: ギター奏法のすべて，現代ギター9 月臨時増刊号, No. 595 (2013).
長島洋一，橋本周司，平賀譲，平田圭二: コンピュータと音楽の世界―基礎からフロンティアまで, 共立出版
(1999).
東条敏, 平田圭二: 音楽・数学・言語: 情報科学が拓く音
楽の地平，近代科学社 (2017).
Hamanaka, M., Hirata, K., and Tojo, S.: Time-span Tree
Analyzer for Polyphonic Music, Proceedings of the 10th
International Symposium on Computer Music
Multidisciplinary Research, pp. 886‒893 (2013).
平田圭二, 青柳竜也: 音楽理論 GTTM に基づく多声音楽の表現手法と基本演算, 情報処理学会論文誌, Vol. 43, No.
2 (2002).

ルを改良する必要がある．

5. おわりに本研究では，楽器演奏支援を目的として，音楽理論
GTTM のタイムスパン分析から得られた木構造に対して演奏時の知識のアノテーション手法を提案した．クラシッ
クギターに焦点を当て，ギター曲のタイムスパン木を獲得し，2 音以上で適用される知識を付与した．その結果，約76%の知識が木構造に付与できることが分かった． 今後，
GTTM のタイムスパン木と知識のデータ連携を行い，学習・指導現場で利用可能な豊富な知識を提供することを目指す．
謝辞

本研究は JSPS 科研費 JP17H01847, JP16H01744の助成を受けたものです.

参考文献
[1]
[2]

[3]

[4]

[5]

[6]
[7]

Zatorre R. J. and McGill J.: Music, the food ofneuroscience? Nature, 434 (7031), 312‒315 (2005).
Schlaug, G., Norton, A., Overy K., and Winner E.: Effectsof music training on the childʼs brain and cognitive
development, Annals of the New York Academy ofSciences, pp. 219‒ 230 (2005).
西村悟史, 大谷 博, 畠山直人, 長谷部希恵子, 福田賢一郎,
來村徳信, 溝口理一郎, 西村拓一: 現場主体の"知識発現"方法の提案, 人工知能学会論文誌, Vol. 32, No. 4C (2017).
Iino, N., Nishimura, S., Fukuda, K., Watanabe, K., Jokinen,
K., and Nishimura, T.: Development and use of an Activity
Model based on Structured Knowledge ‒ A music teachingsupport system ‒, IEEE International Conference on Data
Mining Workshop, pp. 576‒581 (2017).
飯野なみ, 西村悟史, 西村拓一, 福田賢一郎, 武田英明: 知
識共有のためのギター奏法オントロジーの構築，人工知能学会研究会資料, SIG-SWO-044-09 (2018).
Cooper, G. and Meyer, L. B.: The Rhythmic Structure ofMusic, The University of Chicago Press, Chicago (1960).
Narmour, E.: The Analysis and Cognition of Basic MelodicStructure, The University of Chicago Press, Chicago(1990).

ⓒ2018 Information Processing Society of Japan

6