Vol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Report

1. は じ め に和音進行解析のための語彙フリー無限グラムモデル
吉 井

和

佳†1

後 藤

真

音楽の三大要素のひとつであるハーモニーと密接な関係がある和音は，作曲者のスタイル1) や楽曲のジャンル2) を特徴づけるなど，重要な役割を担っている．そのため，音楽情孝†1

報処理分野において，和音進行解析は取り組むべき重要な課題のひとつであり3)–6) ，研究基盤としての和音系列データベースの整備も進められている5),6)．例えば，音楽音響信号を対

本稿では，和音系列に対する統計的言語モデルとして，ノンパラメトリックベイズ
理論に基づく n グラムモデルについて述べる．従来の経験的なスムージングに基づく
n グラムモデルには，主に三つの問題，すなわち，理論的な裏付けがなく改善が困難であること，n の値を一意に指定しなければならないこと，考慮する和音の種類（語彙）は恣意的に決めざるを得ないこと，が存在した．これらの問題を解決するため，
我々は語彙フリー無限グラムモデルを提案する．このモデルは，あらゆる音の組合せを和音として許容するため語彙が不要で，和音系列中の各和音が異なるコンテキスト
長（理論上は無限でもよい）を持つことを許容する．ある和音系列が与えられた上で，次の和音を予測するときには，n の値を一意に決めることなくあらゆる可能性を考慮できる．また，これまで観測したことがない和音が出現したとしても，その和音のゼ
ログラム確率（構成音の同時出現確率）をこれまで観測してきた和音の構成音に基づいて計算することで，適切に n グラム確率を推定することができる．実験の結果，従来の n グラムモデルよりも低いパープレキシティを達成することが分かった．

象とした和音認識を行う上では，和音スペクトルのダイナミクスを表現する音響モデルだけ
ではなく，和音の連鎖のしやすさ（和音進行）を表現する確率モデル（言語モデル）を利用することで，認識精度を向上させることができる7)–9) ．これは，標準的な音声認識システム
において，音声スペクトルのダイナミクスを表現する音響モデルだけではなく，単語の連鎖のしやすさを表現する言語モデルが利用されているのと同様である．さらに，音楽音響信号を対象とした自動採譜を行う上では，和音進行が適切にモデル化されていれば，各和音区間ごとに出現しやすい音高の候補を絞り込むことで採譜精度が向上すると考えられる．
これまで，和音系列に対する言語モデルとして，n グラムモデルが広く利用されてきた1),2),4),6)–9) ．n グラムとは，ある和音系列中に含まれる連続した n 個の和音からなる部
分系列のことであり，n グラムモデルは n − 1 次のマルコフ性の仮定に基づいている．すな
わち，ある和音系列中の各和音はその直前の n − 1 個の和音（コンテキスト）のみから導出

A Vocabulary-Free Infinity-Gram Model
for Chord Progression Analysis

されていると仮定する．和音は時間局所的な依存性を持つことが知られているため，この仮定はある程度妥当であると考えられている．我々の目的は，長さ n − 1 の任意のコンテキス
トが与えられたときに，次の和音の予測確率（n グラム確率）を高精度に計算可能な n グラ

Kazuyoshi Yoshii†1 and Masataka Goto†1

ムモデルを学習することである．しかし，学習データとして利用可能な和音系列の分量は限られており，素朴な学習方法では学習データに現れない n グラムの予測確率は 0（学習デーThis paper presents a novel nonparametric Bayesian n-gram model as a statistical language model for symbolic chord sequences. Standard n-gram models
based on heuristic smoothing have three fundamental problems—that they haveno theoretical foundation, that the value of n is fixed uniquely, and that a vocabulary of chord types is defined in an arbitrary way. To solve these problems,
we propose a vocabulary-free infinity-gram model. It accepts any combinations of notes as chord types and allows each chord appearing in a sequence tohave an unbounded and variable-length context. Our experiments showed thatthe perplexity obtained by the proposed model is significantly lower than thatobtained by the state-of-the-art models.

タ以外のどのようなデータでも一切出現しない）と推定されてしまう．このようなゼロ確率
問題は過学習によって引き起こされ，n の値が大きくなるにつれて一層深刻になる．この問題を回避するため，これまでさまざまな経験的なスムージング方法が提案されてきた10)．
しかし，和音進行解析に従来の経験的なスムージング方法に基づく n グラムモデルを適用する上では，三つの本質的な問題があった．すなわち，1) n グラムモデルの理論的な裏付けがないこと，2) 各和音は異なるコンテキスト長を持っているにもかかわらず，n の値を一意に決める必要があること，3) 語彙として考慮すべき和音の種類や粒度 (例：major,

minor, augmented, diminished, seventh, ninth, · · · , それらの派生形) が恣意的に決めら†1 産業技術総合研究所 (AIST)

れること，が問題であった．特に，3) はこれまで議論されたことがない問題であった．例

1

c 2011 Information Processing Society of JapanVol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Report

C:maj
G:7
F:maj

G:7

コンテキスト

表 1 ラベルに基づく表記法と構成音に基づく表記法

ゼログラム確率（基底測度）
P(C:maj)
ベイズ的な
スムージング
ユニグラム確率P(C:maj|φ)C:maj

バイグラム確率P(C:maj|G:7)

C:maj

トライグラム確率P(C:maj|F:maj G:7)

和音の種類
Major
Minor
Diminished
Augmented
Major Seventh
Minor Seventh
SeventhDim. Seventh
Half Dim. Seventh
Min. (Maj. Seventh)
Major Sixth
Minor Sixth
Ninth
Major NinthMinor Ninth
Suspended Second
Suspended Fourth

ベイズ的なスムージングベイズ的なスムージング

次の和音

図 1 階層ノンパラメトリックベイズモデルによる n グラム確率のスムージング

えば，和音認識タスクにおいては，語彙に含まれない和音は「未知の和音」としてひとく
くりにするか，語彙に含まれる和音のうちで最も近いものとみなすことが一般的であった．
そのため，認識結果や学習される n グラムモデルの間に互換性がなかった．また，自動採譜タスクにおいては，和音系列に対する n グラムモデルを得られた音高の配置から学習し，音高の配置に関する制約として n グラムモデルを利用することで音高を推定するという自己組織的な構造学習法が考えられる．このような場合には，和音の表現として，従来の恣意的なラベルを利用するのではなく，音高の組合せを直接モデル化するのが望ましい．

ラベルに基づく表記
maj
min
dim
aug
maj7
min7
7
dim7
hdim7
minmaj7
maj6
min6
9
maj9
min9
sus2
sus4

構成音に基づく表記
100010010000
100100010000
100100100000
100010001000
100010010001
100100010010
100010010010
100100100100
100100100010
100100010001
100010010100
100100010100
101010010010
101010010001
101100010010
101000010000
100001010000

2. 和音のシンボル表現

このような問題意識のもと，自然言語処理分野で提案された最新のノンパラメトリックベ
イズ n グラムモデル11)–14) を拡張することで，和音系列に対する語彙フリー無限グラムモ

本稿では，和音のシンボル表現として表 1 に示す 2 種類の表記法，すなわちラベルに基デルを提案する．図 1 に示すように，このモデルでは n グラム確率が階層的にスムージン

づく表記法および構成音に基づく表記法を用いる．前者は，音楽で通常用いられているテキ

グされており，以下のような利点がある．1) 観測データの背後にある生成モデル（確率過ストラベル（和音の語彙）に基づく表記法であり，和音認識の研究などで採用されている．

程）を考えることで，次の和音の予測確率を理論的に定式化できる． 2) 与えられた和音系

後者は，そのようなテキストラベルが存在しなかったと仮定した場合の語彙フリーな表記法

列中の各和音が，それぞれ異なる長さのコンテキスト（理論的には無限の長さであってもよであり，予備知識や事前学習なしで自動採譜を行うときなどがこれに相当する．

2.1 ラベルに基づく表記法い）を持つことを許容する．モデルを学習する過程で，各和音ごとにコンテキスト長の事
後分布を推定できる．3) あらゆる音の組合せ（音楽で通常用いられているものに限らない）

ラベルに基づく表記法として，Harte ら5) によって提案された直感的で理解しやすい表記

を和音の種類として許容できる．新しい音の組合せの和音が出現するたびに語彙を必要に応法を用いる．各和音は 17 種類のラベルと 12 種類の根音との組み合わせで表現される．本

じて拡張していくことができる．結果的に，提案モデルは優れた予測精度を達成することが稿では，従来の研究1),4) と同様に，C#と Db などの同一のピッチクラス1 に属する音高はできるだけではなく，学習データに含まれる，さまざまな長さを持つ統計的に特徴的な和音区別しないものとする．例えば，C major の和音，Gb diminished seventh の和音は，それぞれ C:maj，F#:dim7 と表記する．また，音がない区間や打楽器のみの区間を示すには，

進行パターン（最も多く出現するものとは限らない）を見つけることができる．

特別な記号 N を用いる．したがって，語彙サイズは 205 (17 × 12 + 1) となる．

本稿の構成は以下の通りである．まず，第 2 章で和音のシンボル表現について述べる．第3 章で n グラムモデルに関する関連研究を紹介し，第 4 章で我々の提案モデルを説明する．
1 オクターブ内に存在する 12 個の異なる音高：{C, C#, D, D#, E, F, F#, G, G#, A, A#, B}

第 5 章で比較実験について報告し，第 6 章で本研究のまとめを述べる．

2

c 2011 Information Processing Society of JapanVol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Report

ある和音 xm は直前の n − 1 個の和音（コンテキスト）に依存していると仮定する．

本研究の問題意識：
対応する和音系列モデルは？

語彙数

無限

P (xm |x1 · · · xm−1 ) = P (xm |xm−(n−1) · · · xm−1 )我々の目的は，学習データ X が与えられたときに，コンテキスト u に続く和音 w の予ネスト型Pitman-Yor言語モデル (NPYLM) ネスト型Pitman-Yor言語モデル (NPYLM)（文字レベルVPYLM＋単語レベルHPYLM） （文字レベルVPYLM＋単語レベルVPYLM）

固定

階層Pitman-Yor言語モデル (HPYLM)（I-KNのノンパラメトリックベイズ解釈）
Interpolated Kneser-Ney (I-KN)（経験的なスムージング）

可変長Pitman-Yor言語モデル (VPYLM)（コンテキスト長の積分消去）

固定

無限

(1)

測確率 Pu (w|X) を求めることである．学習データ X においてコンテキスト u に続いて和音 w が出現した回数を cuw とすると，予測確率 Pu (w|X) の最尤推定値はPuML (w|X) =

cuw
cu·

(2)

で与えられる．ここで，ドット (·) はそのインデクスに関して和をとったものを表し，

コンテキスト長cu· =図 2 自然言語処理分野における単語系列に対する n グラムモデルの発展wcuw である．ただし，この素朴な方法では，n グラム uw が学習データ X

中に存在しない場合（cuw = 0），その確率は 0 になってしまう．この問題を解決するため，

2.2 構成音に基づく表記法

経験的あるいは理論的な様々なスムージング方法が提案されており，以下で説明する．

3.2 Kneser-Ney スムージングに基づく n グラムモデル

構成音に基づく表記法として，根音に対する構成音の相対音高を用いた表記法を提案する．
各和音は，根音と 12 次元のバイナリベクトルとの組み合わせで表現される．このベクトル

Kneser-Ney スムージング (KN)15) とその変種は，最も高精度な n グラムモデルを学習での各要素は，対応する相対音高が和音に含まれるか否かを示している．例えば，C major のきる一連の手法であることが実験的に知られている10) ．基本的には，出現回数 cuw が 1 以

和音は C,E,G から構成されているため，C:100010010000 と表記する．ただし，D major

上であれば，ある一定の値 d|u| をディスカウント（減算）してから Pu (w|X) を推定する．

の和音は D:001000100100 ではなく D:100010010000 と表記する．この方法では，表 1 に

ここで，d|u| はコンテキスト長 |u| ごとに異なるパラメータである．さらに，Interpolated

含まれないあらゆる音の組合せを表記することができる．例えば，C major に F が追加さ

KN (I-KN) では，和音 w の n グラム確率をより低次の n − 1 グラム確率で補間する．

れた和音は，C:100011010000 と表記する．特別な記号 N を加えて，語彙サイズは 49153

PuIKN (w|X) =（212 × 12 + 1）となる．本研究では語彙数は実質有限であるが，4.1 節で述べるように，楽max(cuw − d|u| , 0)d|u| tu· IKN+
Pπ(u) (w|X)
cu·
cu·

(3)

ここで，tu· は，学習データ X においてコンテキスト u に続く和音の異なり数（語彙 W

譜に基づいて構成音のカウントを考慮するような表記法にすれば，語彙数は無限となる．

のうちで何種類の和音が出現するか）であり，π(u) は，コンテキスト u から最初の和音を

3. 統計的言語モデル

IKN
除去して得られるひとつ短くなったコンテキストである. Pπ(u)(w) は和音 w の n − 1 グラ

本章では，まず，n グラムモデルの学習について説明する．その後，図 2 に示される通ム確率であり，式 (3) で π(u) を u に代入することで得られる．このような n グラム確率

り，自然言語処理分野でこれまで提案されてきた経験的なスムージングに基づく n グラムの補間は再帰的に定義されており，最終的にユニグラム確率はゼログラム確率を用いて補間

モデルおよび 3 つのノンパラメトリックベイズ n グラムモデルについてそれぞれ紹介する．

される．和音 w のゼログラム確率としては，一般的に一様確率として 1/V が仮定される．

3.1 問 題 設 定

ディスカウントパラメータ d0 , · · · , dn−1 は所定の計算式に従って導出するか，交差検定法
を用いて最適化することができる15) ．

いま，語彙（和音の種類の集合）を W とし，そのサイズを V （本研究では 205 あるいは49153）とする．ある和音を w ∈ W とし，長さ n−1 のコンテキストを u ∈ W

n−1

3.3 階層 Pitman-Yor 言語モデルとする．学

習データ X は，長さ M の和音系列 x1 · · · xM であるとする．ここで，xm ∈ W (1 ≤ m ≤ M )Teh11) は，ノンパラメトリックベイズ理論を用いて，階層 Pitman-Yor 言語モデル (Hi-であり，簡単のため学習データは 1 つの和音系列のみであるとした（複数の和音系列であっerarchical Pitman-Yor Language Model: HPYLM) と呼ばれる新しい n グラムモデルをても以降の議論がそのまま適用可能である）．ある n が与えられると，n グラムモデルでは，提案している．興味深いことに，従来より高精度なスムージングができることが経験的に知3c 2011 Information Processing Society of JapanVol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Report

られていた I-KN は，近年 HPYLM の近似であることが明らかとなった．そのため，よりレストラン

精緻なモデルである HPYLM は，I-KN より優れた予測精度を達成可能である（図 2 左下）．

φ

3.3.1 階層 Pitman-Yor 過程とモデルの定式化
まず，ノンパラメトリックベイズモデルを構成する際にしばしば利用される Pitman-Yor
過程 (PY)16) と呼ばれる確率過程について簡単に説明する．PY はディリクレ過程 (DP) の

…

F:maj

自由度を増やすように拡張されたものであり，DP と同様に確率分布上の確率分布となって

レストラン

代理客
を送る

F:maj

いる．すなわち，あるサンプル空間（例：和音の語彙 W ）上の確率分布（例：あるコンテキ

G:7

C:maj

深さ１

…

ストが与えられたときの次の和音の確率分布）に対する確率分布である．したがって，PY
は語彙 W 上の n グラム確率分布に対する事前分布として利用可能である．いま，d および

θ を正の実数とし，G0 をサンプル空間上の分布とすると，PY はG ∼ PY(d, θ, G0 )深さ０

コンテキストをバックトラック

もとの客

C:maj

D:min

レストラン

レストラン

代理客を送ったもとの客(4)

C:maj F:majと書ける．d はディスカウントパラメータ，θ は集中度，G0 は基底測度と呼ばれる．PY か

代理客
を送る

D:min F:maj

深さ２

…

代理客
代理客を送った代理客

ら生成される G もまたサンプル空間上の確率分布である．θ の値が大きくなればなるほど，

図 3 階層 Pitman-Yor 言語モデルにおける客の着席方法（CRF: 中華料理店フランチャイズ）

G0 と似通った G が生成される確率が高くなる．
HPYLM は PY を階層化することで定式化できる．いま，語彙 W 上のユニグラム分布
Gφ があるとする．ここで，φ は長さ 0 のコンテキストを表し，Gφ (w) で和音 w のユニグ

通常は一様分布 G0 (w) = 1/V が仮定される. これにより，G0 以外のすべての n グラム分

ラム確率を表わすものとする．長さ 1 のコンテキスト u が与えられた上でのバイグラム分

布が未知であることによる不確実性をベイズ的に自然に取り扱うことが可能になる．

布 Gu は，ユニグラム分布 Gφ とは異なっているものの，（特に高頻度の和音に関して）Gφ

最終的に，HPYLM は深さ n − 1 を持つ接尾語木で表現できる．例として，図 3 に n = 3といくらか類似していると考えられる．このとき，バイグラム分布 Gu はユニグラム分布の場合を示す．木の中の各ノードごとに，それぞれ対応するコンテキストが存在する．すな

Gφ を基底測度とする PY から生成された，すなわち，Gu ∼ PY(d1 , θ1 , Gφ ) と考える．こわち，木の根ノードから着目するノードまで枝に沿って木を下ることは，コンテキストに含こで，d1 および θ1 はディスカウントパラメータおよび集中度であり，長さ 1 の任意のコン

まれる和音を一つづつ過去に遡ることを意味する．

テキストをもつユニグラム分布の生成過程で共有されている．一般に，長さ n − 1 のコンテ

3.3.2 確率的なデータ生成
HPYLM が定義できたので，観測データ X の確率的な生成過程を考える．すなわち，実キストが与えられた上での n グラム分布 Gu は，Gπ(u) を基底測度とする PY から

Gu ∼ PY(d|u| , θ|u| , Gπ(u) )(5)

際には X は学習データとして与えられているので，我々はすでに各観測変数 xm の具体的として生成されると考える．ここで，d|u| および θ|u| はコンテキスト長 |u| におけるディスな値を知っているが，それらの値がかつてどのような過程を経て決まっていったのかについカウントパラメータおよび集中度である．ただし，n − 1 グラム分布 Gπ(u) もまた未知でて考える．これは，中華料理店フランチャイズ (Chinese Restaurant Franchise: CRF) とあるので，n − 1 グラム分布 Gπ(u) に対する事前分布として，d|π(u)| および θ|π(u)| をパラ呼ばれるメタファーを用いて説明できる11)．CRF では，コンテキストはレストラン，学習メータとし，n − 2 グラム分布 Gπ(π(u)) を基底測度とする PY を考える．このような生成

データ X に含まれる M 個の観測変数は客，語彙 W に含まれる V 種類の和音は料理に例

過程は再帰的に定義することができ，最終的にユニグラム分布 Gφ はえられる．したがって，接尾語木の各ノードごとにレストランが存在する．各レストランにGφ ∼ PY(d0 , θ0 , G0 )(6)は上限のない数のテーブルが存在し，客はそのいずれかのテーブルに着席する．各テーブルとして生成されたと考える．ここで，G0 はグローバルな基底測度であり（ゼログラム分布）,

ごとにひとつの料理が提供されており，そのテーブルに座った客が同じ料理を食べる．

4c 2011 Information Processing Society of JapanVol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Report

いま，和音系列 x1 · · · xM がこの順番で生成されたと仮定し，m − 1 人の客 x1 · · · xm−1

1 空の接尾語木を準備

がいずれかのレストランのいずれかのテーブルにすでに着席している場合に，m 番目の客

2 for m = 1 : M （ランダム順）

xm がどのように振る舞うかについて考える．まず，客 xm は深さ n − 1 にあるレストラン

3

客 xm を深さ n − 1 に追加

6
7

4 end

u = xm−(n−1) · · · xm−1 （図 3 における葉ノードの一つ）に入る．ここで，レストラン u に

5 for i = 1 : ∞8
9

おいて料理（和音）w を提供しているテーブルの数を tuw とし，テーブルの総数を tu· で表for m = 1 : M （ランダム順）
客 xm を削除

客 xm を深さ n − 1 に追加
end

10 endわす（複数のテーブルで同じ料理が出されることもある）．また，料理 w を提供しているテー

図 4 階層 Pitman-Yor 言語モデルのためのギブスサンプリングアルゴリズム

ブル k (1 ≤ k ≤ tu· ) に着席している客の数を cuwk とする（テーブル k で提供されている
料理が w とは異なる場合は cuwk = 0）．レストラン u において，客 xm は，(i) cuwk − d|u|3.3.3 予測分布とベイズ推定に比例する確率で既存テーブル k (1 ≤ k ≤ tu· ) に着席するか，(ii) d|u| tu· + θ|u| に比例す

我々の目的は，コンテキスト u に続く和音 w の予測分布 Pu (w|X) を求めることである．

る確率で新規テーブル k = tu· + 1 に着席する．(i) の場合，客 xm は着席したテーブル k

もし，X に含まれる全ての客の着席方法 S が分かっていれば，予測分布は式 (7) で求めるで提供されている料理 w を食べることになる．すなわち，観測変数 xm の値（m 番目の和ことができる．しかし，真の着席方法は未知であるので，着席方法の事後分布 P (S|X) の

もとでの予測分布 PuHPY (w|S) の期待値

音）は w と決まり，cuwk がインクリメントされる．(ii) の場合，新規テーブル k で提供される料理 w を注文するため，代理客が親レストラン π(u) に送られる．代理客は親レスト

PuHPY (w|X) =ラン π(u) において，もとの客 xm と同様の確率的な振る舞いの結果，いずれかの既存ある

PuHPY (w|S)P (S|X)(8)

S

いは新規テーブルに着席して，そのテーブルで提供される料理 w を食べることになったと

を計算する必要がある．この和は解析的に計算することはできないが，マルコフ連鎖モンテ



する．その結果，レストラン u における新規テーブル k で提供される料理も w と決まり，

カルロ法 (MCMC) の一種であるギブスサンプリングを用いると

客 xm は料理 w を食べることになる．すなわち，観測変数 xm の値（m 番目の和音）は w

1  HPY
Pu (w|S l )L
L

PuHPY (w|X) ≈と決まり，tuw および cuw k がインクリメントされる．ここで，代理客がレストラン π(u)

(9)

i=l

において新規テーブルに着席した場合には，新たな代理客がその親レストラン π(π(u)) に送られることに注意する．これが再帰的に行われると，最終的に，代理客が木の根にあるレとして近似可能である．ここで，L は事後分布 p(S|X) からギブスサンプリングによってストラン φ に送られることがある．もし，根レストラン φ で代理客が新規テーブルに着席サンプルされた具体的な着席方法の個数であり，l はそのインデックスである．
図 4 に，CRF の重要な性質である交換可能性 (Exchangeability) を利用したギブスサン

した場合は，そのテーブルで提供される料理は基底測度 G0 に従って確率的に選ばれる．
以上をまとめると，これまで到着した客の着席方法 S （全レストランにおける客とテー

プリングのアルゴリズムを示す．一見すると客の到着順は最終的な着席方法 S に影響を与ブルの配置）が与えられたときに，コンテキスト u に続く和音 w は，条件付き確率分布

PuHPY (w|S) =cuw· − d|u| tuw
d|u| tu· + θ|u| HPY+
Pπ(u) (w|S)
cu·· + θ|u|cu·· + θ|u|

えると思えるが，同じ着席方法であれば，客順によらず確率 p(S|X) は一定であることが知られている．具体的には，まず，空の木に全ての客を「事後的な」CRF に従って一人ず(7)

つ加えることによって，全ての客に対する着席方法を得る．ここで，「事後的」であるとは，に従って生成される．ここで，式 (7) は再帰的な定義になっていることに注意する．例え

客の食べる料理はすでに決まっている（学習データとして与えられている）うえで，着席方HPY
ば，Pπ(u)(w|S) は式 (7) の u へ π(u) を代入することで得られる．空の接尾後木（あらゆ

法を決めるということを意味する．したがって，xm = w であるならば，客 xm は料理 w

るレストランで cuwk = 0 かつ tuw = 0）から始めて，M 人の客を順番に加えていくことを提供している既存テーブルに着席するか，新規テーブルに座って料理 w を食べるかのいで，学習データ X に対する着席方法が求まる．式 (7) と式 (3) を比較すると，θ|u| = 0 か

ずれかである．両者の確率は，式 (7) の第一項および第二項でそれぞれ与えられる．次に，

つ tuw = 1 に固定した HPYLM は I-KN と等価になることが分かる．

交換可能性の性質を利用することで，現在得られている着席方法のサンプルをもとにして，

5

c 2011 Information Processing Society of JapanVol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Report

新しい着席方法のサンプルを新たに生成することを考える (MCMC)．具体的には，ある客n−1

Pu (n|η) = ηun−1

をランダムを選択し，木から削除したのちに，最後に到着した客だとみなして再度木に加(1 − ηui−1 )

(10)

i=1

えるという操作を行うことで，新たな着席方法をサンプルすることができる．客を削除すで与えられる．この確率は，n が大きくなるに従って指数的に減衰する．

る際には，その客から派生した代理客が存在すれば，それらを再帰的に削除すると同時に，いま，木に含まれる各ノード u に対するパラメータ ηu は未知であるので，事前分布を設

客がいなくなったテーブルも削除する．実際には，連続する着席方法のサンプルには強い相関があるため，十分な間隔をあけることで独立と見なせる L サンプルを取得する．

定することで不確実性を適切に取り扱うことにする．具体的には，定義域が 0 < ηu < 1 でまた，パラメータ d0 , · · · , dn−1 および θ0 , · · · , θn−1 も未知であるので，ギブスサンプリ

あることから，α および β を超パラメータとするベータ事前分布を設定する．

ングによって推定を行う．具体的には，定義域が 0 < d|u| < 1 および 0 < θ|u| であること

p(η) =

から，それぞれに対してベータ事前分布およびガンマ事前分布を設定する．そして，補助変Beta(ηu |α, β)(11)u∈tree数を介した事後分布を導出してサンプリングを行う（詳細は文献11) を参照のこと）．

3.4.2 確率的なデータ生成

3.4 可変長 Pitman-Yor 言語モデル

VPYLM が定義できたので，HPYLM と同様に観測データ X の生成過程を考えることが

HPYLM の問題は，全ての客が深さ n − 1 のレストランに強制的に入れられることである．

できる．m 番目の客 xm に着目すると，まず，潜在変数 zm の値が式 (10) の棒折り過程に

これは全ての和音のコンテキスト長を n − 1 に固定していることを意味し，適切ではない．

従って確率的に決まる．潜在変数 zm の値が与えられると，客 xm は指定された深さのレス

この問題を解決するため，持橋と隅田12) は，それぞれの客が異なる深さのレストランに入

トランに入り，観測変数 xm の値は 3.3.2 節で説明した CRF に従って確率的に決まる．こることを許容する可変長 Pitman-Yor 言語モデル (Variable-order Pitman-Yor Language

こで，HPYLM では深さ n − 1 のノード（葉ノード）以外には代理客しか存在しなかった

Model: VPYLM) を提案している．VPYLM では，それぞれの観測変数 xm には n グラ

が，VPYLM ではもとの客とそれらに由来する代理客とが混在する可能性があることに注

ム長を示す潜在変数 zm が対応していると仮定する．ただし，zm の真の値は未知であるの意する．その場合でも，客の数 cuwk をカウントする際には区別を行わない．
以上をまとめると，これまで到着した客の着席方法 S およびパラメータ η が与えられたで，ベイズ的に zm の値のあらゆる可能性を考慮に入れて（積分消去することで）次の和音ときに，コンテキスト u の長さ n − 1 とそれに続く和音 w は，条件付き確率分布の予測を行う．すなわち，異なる n に対応する n グラムモデルを重みつきで加算すること

PuVPY (w, n|S, η) = PuVPY (w|n, S)Pu (n|η)

で，無限混合モデルの一種である無限グラムモデルが構成できる（図 2 右下）．

VPY

(12)

3.4.1 モデルの定式化に従って生成される．ここで，Pu

VPYLM は，客 xm が入るべきレストランの深さ（あるいは n グラム長 zm ）を確率的ことができ，Pu (n|η) は式 (10) で与えられる．さらに，式 (12) において，未知の確率変(w|n, S) は HPYLM における式 (7) と同様に求める

数 n および η を積分消去する（あらゆる可能性を考慮する）ことで，にモデル化することで定義できる．一般に，学習データが多くなるほど高次 n グラムモデ
ルを精度よく学習できるようになることから，多く観測されるコンテキストをもつ客ほど，

PuVPY (w|S) =深いレストランに入りやすくなるような機構が必要である．このような要求に合致するもの



PuVPY (w|n, S)Pu (n|S)

(13)

n

として，棒折り過程 (Stick-Breaking Process: SBP)17) を利用することができる．

が得られ，n を指定する必要がない無限グラムモデルを構成できる．ここで，Pu (n|S) =

いま，潜在変数 zm の値は SBP に従ってどのように確率的に決まるかについて考える．
まず，客 xm は経路 φ → xm−1 → xm−2 → · · · に沿って木を下ってゆく．その経路においPu (n|η)p(η|S)dη であり，式 (10) と式 (11) との共役性を利用するとPu (n|S) =て，客が深さ i − 1 (1 ≤ i ≤ ∞) のレストラン ui−1 に到着するたびに，確率 ηui−1 で停止

aun−1 + αn−1
bui−1 + β

aun−1 + bun−1 + α + β i=1 aui−1 + bui−1 + α + β(14)

するか，確率 1 − ηui−1 で通過するかを選択するものとする．したがって，客が木を下ってとして簡単に求められる．ここで，aui−1 および bui−1 は，S に含まれる到着済みの客が木

いって深さ n − 1 のレストランで停止する確率，すなわち zm = n となる確率は，を下って行く際に，レストラン ui−1 で停止した客の数および通過した客の数である．

6c 2011 Information Processing Society of JapanVol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Report

3.4.3 予測分布とベイズ推定

この問題を解決するため，和音の構成音に基づく確率モデルを和音レベルの VPYLM のコンテキスト u に続く和音 w の予測確率は，図 4 で示される HPYLM に対するギブス基底測度 G0 として利用する方法を提案する．具体的には，2.2 節で説明した構成音に基づ

サンプリングアルゴリズムに少しの変更を加えることで，3.3.3 節と同様に求めることがでく表記法を利用して，ある和音に 12 種類ある各ピッチクラスの音が「含まれているかどう

きる．具体的には，図 4 において客 xm を接尾後木に追加する前に，潜在変数 zm の値を事か」に関するモデル化を行う．この場合，語彙サイズ V = 49153 は大きいながらもいまだ後分布からサンプルすることで客 xm が入るべきレストランの深さを決める必要がある．い有限であり，従来の有限語彙の n グラムモデルでも扱うことはできる．しかし，本研究でま，与えられた学習データにおいて xm = w であるならば，zm = n となる事後確率はベイ

提案する方式では，楽譜情報が利用可能であれば，ある和音に各ピッチクラスの音が「何個ズの定理を用いると含まれているか」を非負整数上に定義される分布（ポアソン分布や負の二項分布など）を用

Pu (n|S, w) ∝ Pu (w, n|S) = PuVPY (w|n, S)Pu (n|S)(15)

いてモデル化することで，容易に無限語彙モデルを定式化できる利点がある．
基底測度 G0 は，根音のクラスと各構成音の有無とが独立であるという仮定に基づいてモとして求めることができる．

3.5 ネスト型 Pitman-Yor 言語モデル

デル化する．2.2 節の表記法に従えば，一般に和音 w は w0 :w1 · · · w12 と書くことができる．

自然言語処理分野における従来の n グラムモデルの本質的な問題は，新語や造語が作られここで，w0 は根音のクラスを示す確率変数であり，他はバイナリ値をとる確率変数である．

るなどして語彙は日々成長していくものであるにもかかわらず，有限の語彙を明示的に定義

ただし，w = N であれば，w0 = N として残りの変数は利用しないものとする．このとき，しなければならないことであった．単語系列をモデル化する上でこの問題を解決するため，

w0 は 13 次元の離散分布に，残りの各変数はそれぞれベルヌイ分布に従うと仮定すると，

持橋ら13),14) は可算無限個の単語上に定義された基底測度 G0 に基づくネスト型 Pitman-Yor

G0 (w) = p(w|π, τ ) = πw0

言語モデル (Nested Pitman-Yor Language Model: NPYLM) を提案している．もし，従12w

τi i (1 − τi )1−wi

(16)

i=1

来通り一様分布 G0 (w) = 1/V を基底測度に用いると，語彙のサイズが V → ∞ であると
きに，G0 (w) → 0 となってしまう．代わりに，文字レベルの VPYLM に基づく「綴りモデとできる．ここで，π = {πC , πC# , · · · , πB , πN } は，13 種類のシンボル，すなわち 12 種類

ル」を単語レベルの VPYLM の基底測度に用いることができる．言いかえれば，各単語はの根音のクラスか特別なクラス N の生起する確率であり，τ = {τ1 , · · · ,τ12 } は対応する相文字の系列であり，それらの生成は文字レベルの CRF に従うと仮定する．単語の長さは，対音高の存在確率を示している．ただし，w = N であれば，G0 (w) = πN とする．さらに，非負整数上に定義されたポアソン分布に従うことが知られている．したがって，あらゆる単パラメータ π および τ の値は未知であるので，離散分布およびベルヌイ分布の共役事前分

語 w のゼログラム確率 G0 (w) を，その単語を構成する文字群の生成確率と単語長の確率と布としてディリクレ分布およびベータ分布を設定することで，不確実性を適切に取り扱う．

の積として定義することで，無限語彙モデルを得ることができる（図 2 上側）．

p(π, τ ) = Dir(π|a0 )4. 和音系列に対する語彙フリー無限グラムモデル

12

Beta(τi |b0 , c0 )

(17)

i=1

ここで，13 次元ベクトル a0 , 正の実数 b0 および c0 は超パラメータである.

本章では，単語系列をモデル化する上で単語の語彙を定義する必要がない NPYLM14) と同様の問題意識のもと，和音系列をモデル化する上で和音の種類に関する語彙を定義する必4.2 予測分布とベイズ推定

要がない語彙フリー無限グラムモデルを提案する．

我々が提案するモデルは VPYLM の拡張であるので，コンテキスト u に続く和音 w の

4.1 定 式 化

予測確率は，3.4.3 節と同様に求めることができる．ただし，階層的なスムージングに必要和音系列をモデル化する上では，単語系列のための n グラムモデルである NPYLM を直な基底測度 G0 (w) を式 (16) を用いて求めるためには，パラメータ π および τ の値が必要

接適用することはできない．単語は文字の経時的な並びであるのに対し，和音は音符の同時である．そこで，客の着席方法 S が与えられた上での，パラメータ π および τ の事後分布的な組み合わせであるので，NPYLM とは異なる基底測度 G0 が必要になる．

からサンプルすることを考える．具体的には，式 (16) と式 (17) の共役性を利用すると

7

c 2011 Information Processing Society of JapanVol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Reportp(π, τ |S) = Dir(π|a0 + n)

12

表 2 ラベルに基づく表記法を用いた比較実験におけるパープレキシティ（語彙サイズ 205）

Beta(τi |b0 + ni , c0 + n̄i )

n
1
2
3
4
5
6
7
8
9
10

(18)

i=1

で計算することができる．ここで，13 次元ベクトル n の各要素を nv (v ∈ {C, C#, · · · , B, N})とすると，nv は根レストラン φ において根音が v である料理 w (w0 = v) を提供している
テーブルの数，ni は i 番目の相対音高を含む料理 w (wi = 1) を提供しているテーブルの数，n̄i は i 番目の相対音高を含まない料理 w (wi = 0) を提供しているテーブルの数である．
本モデルに対するギブスサンプリングアルゴリズムは，VPYLM に対するアルゴリズムに少し変更を加えることで得られる．具体的には，客（代理客でもよい）が根レストラン φ

GT

WB

I-WB

KN

I-KN

MKN

I-MKN

HPYLM

16.8
20.3
23.5
25.5
26.3
27.0
27.3
27.3
27.3
27.3

15.6
14.2
15.4
16.8
17.5
17.8
18.0
18.0
18.0
18.0

15.7
15.5
18.5
22.5
25.4
27.2
28.3
28.8
29.0
29.2

15.8
14.5
16.1
16.8
15.5
14.6
14.3
14.1
14.0
14.0

16.0
15.2
16.0
17.7
16.2
15.1
14.5
14.2
14.1
14.0

15.6
14.5
16.1
16.5
16.0
16.2
16.4
16.6
16.8
16.7

15.7
15.8
16.3
15.5
14.1
13.5
13.3
13.2
13.1
13.1

15.8 (±0.03)
14.5 (±0.10)
16.0 (±0.18)
13.9 (±0.25)
13.7 (±0.23)
13.6 (±0.23)
13.6 (±0.23)
13.6 (±0.22)
13.5 (±0.23)
13.5 (±0.23)

VPYLM

n: サンプリング
13.4 (±0.33)
n: MAP 推定値
12.9 (±0.35)
n: 積分消去 (∞)
11.9 (±0.22)

で新規テーブルに着席したとき，nv および ni あるいは n̄i の値が，そのテーブルで提供される料理に応じてインクリメントされる．客を木から削除することに伴い，根レストランか

次に，提案する語彙フリー無限グラムモデルの性能を確かめるため，2.2 節で説明した構らテーブルが削除される場合には，nv および ni あるいは n̄i の値が，そのテーブルで提供

成音に基づく表記法を用いた実験を行った．この実験では，最初の実験で用いた 9 種類のされていた料理に応じてデクリメントされる．全ての客に対する着席方法をサンプルとしてモデルに加えて，HPYLM および VPYLM の基底測度を第 4 章で提案した語彙フリーな取得するたびに，パラメータ π および τ の値も式 (18) からサンプルを行う．

基底測度に変更したモデルを評価した．これらのモデルを「VF-」で表わすことにすると，

VF-VPYLM が我々の提案する語彙フリー無限グラムモデルであり，VF-HPYLM が語彙

5. 評 価 実 験

フリー固定長 n グラムモデルである．各モデルの予測精度を評価するため，データを楽曲

本章では，提案するノンパラメトリックベイズ n グラムモデルの予測精度を評価するた単位で 10 分割して交差検定を行い，パープレキシティを測定した．パープレキシティが低めに行った 2 つの比較実験について報告する．

いほど優れた予測精度を持つモデルである．

5.1 実 験 条 件
実験用のデータセットとして，Harte ら

5.2 実 験 結 果
5)最初の実験においては，表 2 に示すように，VPYLM が最も低いパープレキシティを達によるビートルズの 180 曲の楽曲に対する和音アノテーションデータを用いた．和音の使われ方は調に依存するため，途中で転調のない成した．各和音ごとに n グラム長である n の値を，事後分布からランダムサンプルして一長調の楽曲 137 曲を選択し，全てハ長調に転調を行った．このデータに含まれる和音の総数

意に決める場合，最大事後確率をとる値に一意に決める場合，積分消去する場合とを比較す

は 10,761 であった．まず，VPYLM の基本的な性能を確かめるため，2.1 節で説明したラ

ると，本来未知である n の値を明示的に一意に決めるのではなく，あらゆる可能性を考慮

ベルに基づく表記法を用いた実験を行った．この実験では，全部で 9 種類の異なる n グラ

する方が優れた予測精度が得られることが分かった．また，学習データの量がもっと多けれ

ムモデル，すなわち，Good-Turing 法 (GT)，Witten-Bell 法 (WB)，I-WB，KN，I-KN，ば，客を木の深いノードに追加することによる過学習の問題が低減され，高次の HPYLM と

Modiﬁed KN (MKN)，I-MKN，HPYLM および VPYLM を評価した．ここで，GT およVPYLM の差は縮まると考えられるが，VPYLM の学習は HPYLM の 2 倍以上高速であり，び WB は，自然言語処理分野や音声認識分野において従来から広く使われていた経験的な消費メモリは 5 分の 1 程度であった．これは，VPYLM は必要以上に深いノードに客を追スムージング手法である10)．MKN は KN の改良版であり，式 (3) で表わされる予測確率

加しないため，展開すべきノードの数が少なくてすむからである．I-KN は，HPYLM の近において，ディスカウント d|u| の値をカウント cuw に合わせて変化させることができる10) ．

似であることから予想される通り，HPYLM よりやや悪い予測精度であった．一方，I-KN「I-」は低次 n グラムからの補間を行うモデルであることを示している．最初の 7 モデルにを改良した I-MKN は，ディスカウントの値を変化させる点では HPYLM と同じであるが，関しては，The SRI Language Modeling Toolkit (SRILM)18) による実装を用いた．

HPYLM よりやや優れた予想精度を達成した．これは文献11) の結果と共通している．

8c 2011 Information Processing Society of JapanVol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Reportn = 1 2 3 4 5 6 7 8 9 10

C:maj
G:maj
A:min
A:min
F:maj7
F:maj6
C:maj
G:maj
F:maj
C:maj
Verse A C:maj
G:maj
A:min
A:min
F:maj7
F:maj6
C:maj
G:maj
F:maj
C:maj
Intro

表 3 ビートルズの楽曲から見つかった統計的に特徴的な和音進行パターン

n = 1 2 3 4 5 6 7 8 9 10
Verse B C:maj

G:maj
A:min
F:maj7
F:maj6
C:maj
G:maj
F:maj
C:maj
Chorus C:maj
A:min
E:min
F:maj
C:maj
C:maj
G:maj
F:maj
C:maj

0.701
0.682
0.656
0.647
0.645
0.632
0.623
0.627
0.622
0.620

確率的和音進行パターン (n ≥ 3 のみを表示)
C:7 F:7 C:7
B:maj F:maj G:maj
A:min C:7 F:maj
F:min G:maj C:maj
F:maj F:maj G:maj C:maj
E:min C:7 F:maj
C:maj7 D:min7 E:min7
B:maj F:maj G:maj C:maj
D:min7 G:sus4 G:maj
D:min G:maj C:maj F:maj C:maj

表 4 構成音に基づく表記法を用いた比較実験におけるパープレキシティ（語彙サイズ 49153）

n10

図 5 ビートルズ「Let It Be」の和音系列に対する n グラム長の事後分布推定結果

n10

ビートルズの「Let It Be」における和音系列に対して，VPYLM で推定した n の事後分

GT

WB

I-WB

KN

I-KN

MKN

I-MKN

38.3

24.4

39.1

18.4

18.5

21.7

17.5

HPYLM

VF-HPYLM

18.0 (±0.29)

16.5 (±0.60)

n
∞

VPYLM

VF-VPYLM

15.8 (±0.29)

14.6 (±0.55)

布を図 5 に示す（別の実験における VF-VPYLM でもほぼ同様の結果が得られた）．より多く出現する和音進行パターンほど大きな n が選ばれる確率が高くなっている．また，長さ n − 1 のコンテキスト u に続く和音 w の確率は，Pu (w, n|X) =S

6. お わ り に

Pu (w, n|S)P (S|X)

本稿では，和音の種類に関する語彙を事前に与える必要がなく，n の値を事前に指定するで与えられるので，この確率を大きいもの順に並べると，さまざまな長さを持つ確率的な和音進行パターンを見つけることができる．表 3 に，実験に用いたビートルズの楽曲 137 曲

必要もないノンパラメトリックベイズ n グラムモデルを提案した．比較実験の結果，これから見つかった統計的に特徴的な和音進行パターンとその確率を示す．これらは，必ずしもまで実験的に精度が優れていることで知られていた n グラムモデルよりも，さらに優れた出現頻度が高いパターンではなく，和音進行そのものが強い結び付きを持っているパターン

予測精度を達成することが確認できた．

であることに注意する．例えば，C:7 F:7 C:7 は典型的なブルースロック進行であり，ビー

従来は，限られた音の組合せのみが音楽的に有用な響きをもち，それらは人間が定義する

トルズが多用したことで一般大衆に人気が出たもののひとつである．また，当時としては珍ものであるとの暗黙の前提があった．しかし，一般的なポピュラー音楽理論において，major

しい，seventh を多用した和音進行パターンを使用する傾向が強いことが分かる．

コードや minor コードなどは確立された和音であるが，そのような基本和音にいくつかの第二の実験においては，表 4 に示すように，我々の提案モデルである VF-VPYLM がもっ音が足された和音をどこまで確立されたコードとしてみなすか（呼び名を与えるか）は自とも低いパープレキシティを達成した．構成音に基づくより精緻な基底測度を導入すること明ではない．マイルス・デイビス・クインテットのピアニストであったハービー・ハンコッ

で，HPYLM および VPYLM ともに大幅に予測精度が向上している．最初の実験よりも他クが，ネフェルティティ (1967 年) の録音の模様を語った 1989 年のインタビュー記事によのモデルとの精度差が大きいのは，提案するモデルが語彙サイズが大規模あるいは無限であ

れば，「ウェインがこの曲を書いてきた時，コード・シンボルはまったくなかった」とある．

るときでも，学習データのスパースさに対して頑健であることを示している．

この曲は従来のコードの概念にとらわれない不思議な響きを有しており，新しい和音が生み

9c 2011 Information Processing Society of JapanVol.2011-MUS-91 No.2
2011/7/27

情報処理学会研究報告
IPSJ SIG Technical Report

quences Using Probabilistic N-grams, in IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 53–56 (2009).
5) Harte, C., Sandler, M., Abdallah, S. and Gómez, E.: Symbolic Representation ofMusical Chords: A Proposed Syntax for Text Annotations, in 6th International
Conference of Music Information Retrieval (ISMIR), pp. 66–71 (2005).
6) 金子仁美, 川上大輔, 嵯峨山茂樹：機能和声解析データの作成とその統計解析, 音楽情報科学研究会 研究報告, No. 2010-MUS-85, pp. 1–8, 情報処理学会 (2010).
7) Cheng,H.-T., Yang,Y.-H., Lin,Y.-C., Liao,I.-B. and Chen,H.H.: Automatic Chord
Recognition for Music Classiﬁcation and Retrieval, in IEEE International Conference on Multimedia & Expo (ICME), pp. 1505–1508 (2008).
8) 須見康平, 糸山克寿, 吉井和佳, 駒谷和範, 尾形哲也, 奥乃博：ベース音高と和音特徴の統合に基づく和音系列認識, 情報処理学会論文誌, Vol.52, No.4, pp. 1803–1812 (2011).
9) Khadkevich, M. and Omologo, M.: Use of Hidden Markov Models and Factored
Language Models for Automatic Chord Recognition, in 10th International Conference of Music Information Retrieval (ISMIR), pp. 561–566 (2009).
10) Chen,S. and Goodman,J.: An Empirical Study of Smoothing Techniques for Language Modeling, Technical Report TR-10-98, Computer Science Group, Harvard
University (1998).
11) Teh,Y.W.: A Bayesian Interpretation of Interpolated Kneser-Ney, Technical Report TRA2/06, NUS School of Computing (2006).
12) 持橋大地, 隅田英一郎：階層 Pitman-Yor 過程に基づく可変長 n-gram 言語モデル, 情報処理学会論文誌, Vol.48, No.12, pp. 4023–4032 (2007).
13) 持橋大地, 山田武士, 上田修功：ベイズ階層言語モデルによる教師なし形態素解
析, 自然言語処理研究会 研究報告, No. 2009-NL-190, p. 49, 情報処理学会 (2009),
http://chasen.org/daiti-m/paper/nl190segment.pdf.
14) Mochihashi,D., Yamada,T. and Ueda,N.: Bayesian Unsupervised Word Segmentation with Nested Pitman-Yor Language Modeling, in ACL-IJCNLP, pp. 1000–1008(2009).
15) Kneser, R. and Ney, H.: Improved Backing-Oﬀ for M-gram Language Modeling,in IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), Vol.1, pp. 181–184 (1995).
16) Pitman, J. and Yor, M.: The Two-Parameter Poisson-Dirichlet Distribution Derived from a Stable Subordinator, Annals of Probability, Vol.25, No.2, pp. 855–900(1997).
17) Sethuraman, J.: A Constructive Deﬁnition of Dirichlet Priors, Statistica Sinica,
Vol.4, pp. 639–650 (1994).
18) Stolcke,A.: SRILM – An Extensible Language Modeling Toolkit, in International
Conference on Spoken Language Processing (ICSLP), pp. 901–904 (2002).

出されていることを示す良い例である．これは，自然言語において日々新しい単語や造語が生み出されているのと同じ現象であることに気づけば，自然言語処理分野で提案された

NPYLM（単語系列のための無限語彙無限グラムモデル）に着想を得て，和音系列のための和音の構成音に基づく新しい確率モデルを定式化することが可能となる．
本研究は，いくつかの新しい研究テーマを切り開く基礎となるものである．まず，音楽音
響信号に対する和音認識や自動採譜の研究において，確率的な言語モデルを確率的な音響モデル（隠れマルコフモデルや確率的非負値行列分解）とベイズ的に統合することによって，両者を確率的な枠組みのもとで同時に最適化・自己組織化することが可能になると考えられる．これまでは，言語モデルと音響モデルは別々のデータを用いて学習されており，本質的な改良の余地が残されていた．別の方向性として，大量の楽譜から，究極的には大量の音楽
音響信号から，計算機に「和音」の概念を教師なしで獲得させることが可能かどうか研究することは非常に興味深い．我々は，ある特定の音の組み合わせのみが「和音」として成立することを知っている．これは，経験に基づくものなのであろうか．誰かから教えられる，あるいは専門家によって定義されるものなのであろうか．与えられた和音語彙はどれほど適切なのであろうか．その適切さは数値化可能なのだろうか．この種の疑問に答えるためには，あらゆる音の組合せが「和音」を形成する可能性を考慮せねばならず，無限モデルを構成することが本質的に必要だと思われる．ノンパラメトリックベイズ理論は，このようなメタレ
ベルの問題に立ち向かうための強力な武器となりうるアプローチである．
謝辞 本研究は，科研費 若手 (B) 23700184 の支援を受けて行われた．研究を行う上で貴重なアドバイスをくださった持橋大地氏（統計数理研究所）および平田圭二氏（はこだて未来大学）に感謝する．

参

考 文

献

1) Ogihara, M. and Li, T.: N-gram Chord Proﬁles For Composer Style Representation, in 9th International Conference of Music Information Retrieval (ISMIR), pp.
671–676 (2008).
2) Pérez-Sancho, C., Rizo, D. and nesta, J. M. I.: Genre Classiﬁcation Using Chords
and Stochastic Language Models, Connection Science, Vol.21, No. 2-3, pp. 145–159(2009).
3) Paiement,J.-F., Eck,D. and Bengio,S.: A Probabilistic Model for Chord Progressions, in 6th International Conference of Music Information Retrieval (ISMIR), pp.
312–319 (2005).
4) Scholz, R., Vincent, E. and Bimbot, F.: Robust Modeling of Musical Chord Se-

10c 2011 Information Processing Society of Japan