Vol.2016-MUS-112 No.4
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

統計的文法理論と構成的意味論に基づく音楽理解の計算モデル
東条 敏1,a)

平田圭二2

浜中雅俊3,b)

長尾 確4,c) 北原鉄朗5,d)
吉井和佳3,g)

大村英史7,e)

松原正樹 ,f)

概要：本研究では楽曲に木構造を付与する理論 GTTM を土台にし，自然言語の統計的文法理論に基づく楽曲の構造解析システム (パーサ) を作成する．次に和声を整合的に接合する規則を与え，遠隔の依存関係(照応関係) を付加する制約ソルバーによって構文木をアノテートすることにより，形式的意味表現を生成する．われわれはこの構造解析器・意味生成器を用いて楽曲を解析・レンダリングするとともに，木構造変換という代数的操作により編曲と類似度計算をする応用システムに展開し，解析例データとともにウェブにて公開する．さらに形式的意味表現の授受によって音楽の認知的意味をモデル化することを提案する．
キーワード：音楽情報処理，音楽学，文法理論，木構造，認知モデル

Computational Model of Music Recognition, Based on Statistical
Grammar Theory and Constructive Semantics
Satoshi Tojo1,a) Keiji Hirata2 Hamanaka Masatoshi3,b) Katashi Nagao4,c)Tetsuro Kitahara5,d) Hidefumi Ohmura7,e) Masaki Matsubara ,f) Kazuyoshi Yoshii3,g)

Abstract: This research investigates the integration of statistical grammar theory and contructive semantics
for music. The Generative Theory of Tonal Music has suggested to construct a tree structure to represent aninternal dependency in a music piece. We develop this idea, assuming a statistical grammar rules, and aim
at constructing semantically annotated tree. In this framework, we apply the structure to music analysis,
rendering, arrangement, similarity, and archive such results to be openly accessed on the web. Also, we
consider this annotated tree to be a cognitive model of our music understanding.
Keywords: music information processing, musicology, grammar theory, tree structure, cognitive model

1
2
3
4
5
6
7
a)
b)
c)
d)
e)
f)
g)

北陸先端科学技術大学院大学 JAIST
はこだて未来大学 Future University Hakodate
京都大学 Kyoto University
名古屋大学 Nagoya University
日本大学 Nihon University
筑波大学 University of Tsukuba
東京理科大学 Tokyo University of Science
tojo@jaist.ac.jp
masatosh@kuhp.kyoto-u.ac.jp
nagao@nuie.nagoya-u.ac.jp
kitahara@chs.nihon-u.ac.jp
hidefumi.ohmura@gmail.com
masaki@slis.tsukuba.ac.jp
yoshii@kuis.kyoto-u.ac.jpⓒ 2016 Information Processing Society of Japan

1. はじめにわれわれはここ半世紀で初めて，われわれ自身の認知過程を顧みる鏡を手に入れた．計算機である．いったん実世
界から隔絶されたコンピュータの世界の中で，プログラミ
ング言語で形式化された知識とその推論方式によってわれ
われ自身の心や脳の働きが模倣可能であるのか．ところが音楽の「形式化」に取り組んでみると，それが実にわれわ
れの脳と心の中に深く根を張っていることに気づく．
言語と音楽は生物学的に同ルーツ [17] であり，咽喉を1Vol.2016-MUS-112 No.4
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

使った発声と耳による聴覚によってメッセージ授受が行わこれら二つの意味においては，情動は単音ではなくある

れる．あらゆる生物の中で人間のみが言語と音楽を分離し長さの楽句を聞いて起きるものであり，同様に形式的意

たが，それぞれは収斂進化である可能性があるにしても，味表現はパーツを統合して得られることより，ともにゲ

多くの類似性 [2] が指摘される．よって言語はわれわれがシュタルト意味と考えられる．ここでゲシュタルトとは音楽を理解する手立てとなりうる [21]．すなわち問うべき個々の構成要素（音楽で言うと一個の音）には意味を見

は，われわれが音楽を研究するために音楽のある側面を言い出せないが，それらを統合することによって初めて認語化できるのか，すなわち構造化・記号化できるのかとい識できる全体像を指す．Heinrich Schenker (1868–1935) にう疑問である [13]．

よれば，音楽は表面上多数の音符からなるが，これを前景 (Vordergrund) とし，重要な音に関心を絞る簡約化原理(Reduction Hypothesis) により中景 (Mittelgrund) を経て後景 (Hindgrund) と呼ばれる楽曲の原構造 (Ursatz) に到達すると考える [14]．この構造は原メロディ (Urlinie) が付随することにより，初めて楽曲として認識できるゲシュタ
ルトとなる．
図 2 は音楽のゲシュタルトを認知面，形式面の 2 方向から捉えたものである．楽譜における個々の音符は何も暗意
しないが，水平方向・垂直方向に結び付くことによってそれぞれメロディと和声をなし，それらの構造は木で表現できる．同様に，演奏から導き出される音響は脳の中で短期記憶によって時間軸に沿って結びつき，音楽として認知されることになる．*1

2. 本研究のめざすもの
図 1

タイムスパン木の構成 [9], p.132

われわれはこれまでの研究により図 1 にあるようなタ
イムスパン木の生成を自動化 [5] した．しかし依然 GTTM

われわれは GTTM[9] を用いて楽曲の木構造を生成するの生成規則には恣意性があり，より高い精度で木構造を確研究に成果を上げてきた [5], [16]．この理論は重要な音を定するには，確率文脈自由文法による規則発見を行う必要

階層的に選択することにより楽曲に木構造を付与するものがある．また同時に木構造の安定性を議論するためには和である．各音の重要度は楽曲のグループ構造 (楽句) と拍声進行を推測してその情報によって木を改編する必要があ

節構造 (リズム) から決定され，ボトムアップに隣接する音る．さらに楽曲内には，必ずしも明示されていない遠隔のと重要度を比較することによりタイムスパン木を得る (図依存関係，例えばグループ構造・繰り返し構造・対称構造

1)．各和音は曲の後方へも影響を残すが，この支配関係をなどが内在している．これらを楽譜内における広義の参照

加えてタイムスパン木を改編たのがプロロンゲーション木

関係と捉えると，顕在化されていない参照関係の発見といである．

う作業はゲシュタルト意味の構成と考えられる．これら主一方，自然言語処理には長年の研究の蓄積があり，チョムスキー (Noam Chomsky) を始祖として構成的な文法規観を交えない (sachlig な) 情報を楽譜から正確に取り出し
木構造に付加する必要がある．

則と論理的な意味表現が多様に提案されてきた．このためわれわれは確率文脈自由文法で構成される楽曲の解析木

楽曲に文法を与えようという試みは 1960 年代人工知能 [18]に和声連鎖の情報と楽曲内の遠隔の依存関係をタグ付けさにまで遡る．今日われわれは新たにウェブ上に豊富な音楽

れた木を設計し，もって楽曲の形式的意味表現とする．木の電子データを手にし，その構造生成・意味理解において構造に基づく形式的意味表現に対しては，音符を時間的重は先行する自然言語処理の研究成果を援用すべき機にある．

複なくアサインして曲生成 (レンダリング) が可能である．

音楽意味の形式化を拒んでいるのはその曖昧な概念設定

木構造は解析結果の情報を含む意味構造というだけではなによる．われわれはまず「意味」の意味を峻別する．

く，決定性のあるアルゴリズムによって木の改編・編集・

音楽の認知的意味論 情動，すなわち音楽を聞いた人間が比較を行うことを可能にする．すなわち，楽曲の代わりに起こした心の動き．

木構造を代数的に操作するにより多様な実応用システムを音楽の構成的意味論 楽曲が階層的木構造をなすと仮定したときに，構文木に平行してパーツの意味の組み合わせからなる全体意味．

ⓒ 2016 Information Processing Society of Japan*1

楽譜はさまざまな演奏を集めたジェネリックな型，逆に演奏は型の現実世界へのアンカーと考えると，楽譜と演奏の関係が状況意
味 [1] である．

2

Vol.2016-MUS-112 No.4
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

図 2

音楽の意味

構築することが可能となる．

T SDT *2 のように文脈自由規則で記述できるが，和声進さらにわれわれは形式的意味表現による多数の楽曲の解

行解析そのものに曖昧性があること，および自然言語に較析例を公開し，さらに木を編集する手法で編曲システム，

べて音楽は途中進行が自由であり，これを許容するような木間の距離を定量化することにより類似度を定義し検索シ

文法規則が必要である．この二点に鑑み以下のテーマを提ステムを構築する．

案する．

言語コミュニケーションにおいては話者と聴者が同じ構

3.1.1 確率付き文脈自由文法の獲得

文木を構成でき，照応詞に同じ参照関係ができた場合に相文法の概念とは規範ではなく語並びの統計的特徴と考え互理解ができたと考える．同様に，音楽的においても奏者

る．特に音楽は文法規則はアプリオリに与えられるものでと聴者の間で受け渡しされる認知的意味はアノテートされはなく，データから統計的に発見されるものと考えるのがた木構造であると考え，奏者と話者の木の構造変化・アノ正しい．本テーマでは自由度を含む文法規則を PCFG あ

テーションの変化が解釈は多様性・恣意性と捉えられる．

るいは TAG とし，木構造予測に用いる [11]．確率モデル

これにより，われわれは情動 [19], [20] をモデル化し，論理は n-gram, LDA とする．*3

的に議論できる対象とすることを企図する．

3.1.2 組合せカテゴリー文法

本研究の独創的な点は，第一に近年の統計的手法による

CCG*4 は Steedman ら [4] によってジャズ和声の進行規

人工知能研究の成果を前面に出し音楽に明確な確率文脈自則に適用された．この記法の利点は遠隔の係り受け，すな

由文法を設定することにある．第二にこれまで得られたタ

わちカデンツの解決に遠方のトニック和音を用いることをイムスパン木を構文木とみなすのみならず，それに和声連可能にしていることである．同文法の生成能力は文脈自由

鎖情報と依存関係（参照関係）を付加して楽曲の構成的意文法を包含するため，上記 PCFG との相性も良い．図 6

味とすることである．

は CCG により最上部の和音列から下方に向かってカテゴ

3. 要素研究と全体構想

リーが結合される例を示す．

3.1.3 メロディー予測

研究は次のように 4 期に分ける．(i) 分析期においては

GTTM による重要音の選出はボトムアップに隣接する

統計的文法理論の設定とそれによるパーサの構築，およびピッチイベントどうしを比較するために，木の上層部に現

GTTM アナライザに和声情報を組み込んだ改築を行い，れる構造において残るピッチイベントが均一な重要度を形式的意味表現をデザインする．(ii) 統合期においては文もつかどうかは保証できない．このため，ウェイブレット

法理論と意味構造の統合を行い，それを実現する制約ソルを用いて旋律の動きを取り出し，木上層部との比較を行う

バーの開発を行う．(iii) 生成期では文法操作・意味操作に[8]．さらに，I-R モデル [12] と組み合わせてメロディ進行

よる楽曲生成を提案する．(iv) 応用期においては木構造の予測に拡張する．

代数的操作を用いた応用システムの開発を行い，成果を

3.1.4 GTTM の拡張による参照関係発見

オープンソースとしてウェブ公開を行う．これらの期分割

タイムスパン木の構成においては楽曲終結部（カデンツ）

はもちろん厳密なものでなく，特に認知的意味の形式化モにおける cadential retention の発見アルゴリズム [10] にはデルおよび楽典の記述論理による形式化は期をまたいで逐

まだ課題がある．加えてタイムスパン木からプロロンゲー

次実装する．この過程を図 3 に示す．
*2

3.1 音楽における文法・生成論的音楽理論
和声進行カデンツ規則は C → T DT, C → T ST, C →ⓒ 2016 Information Processing Society of Japan*3*4

C はカデンツ，T, S, D はそれぞれ Tonic, Subdominant, Dominant を意味する．
Probabilistic Context-Free Grammar (PCFG), Tree Adjoining Grammar(TAG), Latent Dirichlet Allocation(LDA).
Combinatorial Categorial Grammar (CCG).

3

Vol.2016-MUS-112 No.4
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

図 3

G7
m

7
Cm

GD /C D|T

B7

B♭7

B♭6

C D /F D|T
D|T

GD /F D|T

F D /B♭
D|T

D|T

B♭D /E♭

GD /B♭D/T
GD /E♭

E♭T
D

G

図 4

全体構想

−E

T

カテゴリー文法によるカデンツ構成

ション木生成を行う過程も曖昧さを含んでいる．本研究で

図 5

確率文脈自由文法による木構造

は，これら和声支配の時間的延長，繰り返し構造・対称構造の発見，複数メロディーラインの同時共存 (ポリフォニー)などマクロな視点に基づく木の改編をオリジナルのタイム
スパン木に付加し，プロロンゲーション木を内包し広義の参照関係をアノテートする木を提案する．

3.1.5 ディープラーニングによるパラメータ・フリーのGTTM 解析器
このテーマでは機械学習による木の構成手法について検討する．タイムスパン木の形は，実際は音型の進行と拍の図 6 参照関係をアノテートした木の構成

位置によってほぼ決まる．したがって GTTM の各規則に与えるのではなく，多層ニューラルネットワークの出力層に近いところに従来の GTTM 生成規則に相当する教師

図 6 は意味をアノテートした木の例である．ここではタ

データを与えれば，パラメータを人手でチューニングする

イムスパン木（構文木）に和声進行のラムダ結合を平行さことなくタイムスパン木の獲得を学習できることになる

せてタグ付けし，さらにグループ構造や繰り返し構造など[6]．

マクロな参照関係がアノテートされている．
楽曲パーサによる構造予測はピッチ・和声の情報と整合

3.2 形式的意味表現

的に統合される必要がある．さらに拡張された GTTM に

確率的に予測された構文木 (図 5) は，上部構造に意図しよって発見された楽曲内のマクロな構造によって木を改たメロディ概形が構成されているかどうかにより検証可能

築する必要が生じる．このプロセスは無矛盾性検証と制約である．

統合であり，この制約ソルバー (constraint solver) を構築

この結果と和声解析結果を結びつけ，Montague 文法 [3]する．

同様，構文木と平行して部分意味構造（ラムダ式による述語-項構造）を組み立てることにより全体意味を構成すると

3.3 レンダリングと形式意味の操作いう考え方 *5 に基づいて意味構造を設計する（図 4）．

3.3.1 タイムスパン木のレンダリング*5

西洋近代科学の根幹である還元主義 (reductionism) に基づくものであり，ホーリズム (holism) を廃する考え方．

ⓒ 2016 Information Processing Society of Japan

タイムスパン木は音間の優位関係を明示したという意味
で，それだけリッチな情報を含んだ木と言えるが，逆に個々

4Vol.2016-MUS-112 No.4
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

図 7 上位構造の保存と部分木付け替えによる編曲のピッチイベントの情報（音高，音長，および音色）を陽によるタイムスパン木による解析例公開の経験があるが，には含まないため，木から楽譜へのリアリゼーション (レIMSLP（クラシックの楽譜ライブラリ），The Essen Folklore

ンダリング) には恣意性が残る．このため，木に整合的にCollection(フォークロアのデータベース)，ジャズのスタン

ピッチイベントをアサインするアルゴリズムを開発する．

ダードなどより幅広いジャンルから曲を集め解析を行い，3.3.2 認知的意味の形式化モデル

評価を問う．

これまで情動という曖昧なことばで語られてきた認知意

3.4.3 編曲システム

味について，われわれは形式的意味表現からのアプローチ

既存の曲に対し調・リズム・ピッチの変更によって新たを試みる．一般に演奏者（メッセージの発信者）と聴者（受な楽曲の創造を行う．作曲は完全に個人の頭の中で行われ信者）間で木構造の同一性/相違は保証されない．特に音楽るだけではなく，一度木構造に変換したドメインの中の代

聴者のメロディ予測においては，予測が当たることと裏切

数的操作によって，階層的構造を保存しながらも新規性がられることに情動を生じるが，これは部分木を受け取って高い楽曲の創成が期待できる．われわれはクラシック音楽

残りの木をどう予測するかという意味木の構造把握の問題における変奏曲に応用を試みた実績 [7] があるが，このプに帰着し，メロディ予測の認知的意味をモデル化する (図ロジェクトではパッサカリア *6 を対象に完成度の高い変8)．

奏曲を提示することを目標とする (図 7)．

3.4.4 類似度計算システム
検索システムの本質は類似度評価である．楽曲の表装に捉われることなく，重要な音を高く評価する階層型木構造においては，木構造の編集距離 (ex. Levenshtein 距離など)
により楽曲間の類似性評価 [15] が可能である．このことか
ら，木構造の精度を高め，類似性検証のアルゴリズムを研磨することで，より信頼性の高い検索システムを実現する．

3.4.5 形式音楽理論
音楽はきわめて数学的な理論体系を有しながら形式的記
図 8

メロディー予測の認知的意味

述への努力は希薄であった．本研究においては音楽理論の記述論理 (description logic) による記述を試みる．一般に3.4 応用システム
最終フェーズには応用システムに着手する．これらのシステムの特徴は木構造に対して代数的な操作を定義することによって実現されるものである．

楽曲 S は T (tension), R(relaxation) の連鎖 S → T R であるとし，再帰的に T → T S, R → SR を定義する．T は一
般にドミナントへの進行，R はトニックへの進行である．
よってこの形式知識記述においては Tension/Relaxation の文法規則の精緻化を行う．

3.4.1 タイムスパン木構成アプリの plug-in 提供
われわれは既に GTTM による楽曲解析システムを公開

4. 本研究のもたらすもの

しているが，多数のユーザを持つアプリに plug-in として提供することで，この分野の研究者層を拡大するとともに，楽曲の解析例をより多数蓄積することに寄与してもらうことを企図する．

本研究から予想される成果と意義は以下のように要約できる．まず本研究は表層的な音楽情報処理ではなく，人間への内部観測を伴った新たな研究体系を構築する試みである．確率的文法規則と意味構成プロセスを確立し，世界

3.4.2 解析例データベース
われわれは開発したパーサと制約ソルバーを用いて解析例を蓄積し，ウェブに公開する．われわれは過去 GTTM

ⓒ 2016 Information Processing Society of Japan*6

J. S. バッハの BWV582，シャコンヌ BWV1004，ブラームスの作品 98 最終楽章，ラヴェルのトリオ第三楽章など．

5

情報処理学会研究報告
IPSJ SIG Technical Report

標準の意味表現を提示する．
次にわれわれは木構造解析システム・意味構成システム
を大量の解析例とともに提示し，上記の応用システムをウェブ上にオープンソースとして公開する．これにより，われわれが既に豊富に手にする木構造に対するアルゴリズ
ムが音楽情報処理研究の対象となる．すなわち，旧来の研究の枠組みを次世代に向けて大きく拡張するものである．
さらに木構造によるゲシュタルト意味を保存することから，音楽の専門知識がない人にも原曲のフレーバーを正しく残す作曲・編曲システムを提供する．
またこれまで情動として曖昧に論じられてきた音楽の認
知的意味に対し，本研究では聴者が受け取った木のトポロ
ジーの再現が音楽意味の伝達であると考える（図 8）．これにより音楽の情動を論理的に議論する俎上に載せる．これまで音楽情報処理の研究は，音楽を物理的・客観的対象として捉えた研究が主流であり，音楽の影響を心に照射する
試みは多くは見られなかった．本研究においては楽曲に形式的な意味構造を付与し，その応用システムを構築するとともに音楽を理解するプロセスをモデル化することに寄与する．
なお以上の研究は，Alan Marsden (Lancaster University,UK) および David Meredith (Aalborg University, Denmark) 両名の海外協力者を得て行う．
謝 辞 本 研 究 は 日 本 学 術 振 興 会 (JSPS) 科 学 研 究 費

Vol.2016-MUS-112 No.4
2016/7/30

Tree-structured Probabilistic Model of Monophonic Written Music Based on the Generative Theory of Tonal Music, Proceedings of the 41st IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP
2016), 2016.
[12] E. Narmour: The Analysis and Cognition of Basic
Melodic Structures: The Implication-Realization Model.
Chicago University of Chicago Press 1990.
[13] J-J. Nattiez. La Musique, La Recherche, et La Vie,
Leméac Éditeur Inc., Montréal, 1999 （ジャン＝ジャッ
ク・ナティエ，添田里子 訳，音楽・研究・人生，春秋社
2005）[14] H. Schenker, Der Freie Satz. Neue musikalische Theorien
und Phantasien, Margada, Liège, Belgium, 1935.
[15] S. Tojo and K. Hirata: Structural Similarity Based on
Time-span Tree, CMMR 2012.
[16] S. Tojo, K. Hirata, M. Hamanaka, Computational Reconstruction of Cognitive Music Theory, Journal of New
Generation Computing, Vol. 31, No. 2, pp. 89113, 2013.
[17] N. L. Wallin and B. Merker ed.: The Origins of Music,
The MIT Press, 2001.
[18] T. Winograd, Linguistics and the Computer Analysis of
Tonal Harmony, Journal of Music Theory 12:1, 1968.
[19] 大村英史, 柴山拓郎, 寺澤洋子, 星柴玲子, 川上愛, 吹野美和, 岡ノ谷一夫, 古川聖, 音楽情動研究の動向, 日本音響学会誌, Vol. 69, No. 9, pp. 467478, 2013.
[20] 大村英史, 二藤宏美, 岡ノ谷一夫, 古川聖, 音楽構造の破壊による音楽情動への影響の調査, 日本認知科学会論文
誌「認知科学」, Vol. 21, No. 1, pp. 152159, 2013.
[21] 東条敏, われらの脳の言語認識システムが生み出す音楽, 「進化言語学の構築（藤田耕司，岡ノ谷一夫編）」, ひつじ書房, pp. 197217, 2011.

16H07144 の支援を受けて遂行するものである．
参考文献
[1]

J. Barwise and J. Perry: Situations and Attitudes, The
MIT Press, 1983.
[2] L. Bernstein: Unanswered Question, Havard Lecture Series, 1973.
[3] D. R. Dowty: Word Meaning and Montague Grammar,
Reidel, 1979.
[4] M. Granroth-Wilding and M. Steedman: A Robust
Parser-Interpreter for Jazz Chord Sequences, Journal of
New Music Research, 43, 355-374, 2014.
[5] M. Hamanaka, K. Hirata, and S. Tojo: Implementing “AGenerating Theory of Tonal Music”, Journal of New Music Research, 35(4), 249-277, 2006.
[6] M. Hamanaka, K. Hirata, and S. Tojo: deepGTTM-I: Local Boundaries Analyzer based on Deep Learning Technique, 12th International Symposium on Computer Music
Multidisciplinary Research (CMMR), 2016.
[7] K. Hirata, S. Tojo, and M. Hamanaka: Algebraic Mozart
by Tree Synthesis, ICMC2014.
[8] T. Kitahara and Y. Tsuchiya: Short-term and Long-term
Evaluations of Melody Editing Method Based on Melodic
Outline, Int. Computer Music Conf. (ICMC/SMC), pp.
12041211, 2014.
[9] F. Lehrdahl and R. Jackendoﬀ: Generative Theory ofTonal Music, MIT Press 1983.
[10] M. Matsubara, K. Hirata, and S. Tojo. Distance in Pitch
Sensitive Time-span Tree, International Computer Music
Conference (ICMC/SMC) 2014[11] E. Nakamura, M. Hamanaka, K. Hirata, and K. Yoshii.

ⓒ 2016 Information Processing Society of Japan

6