学習に基づくクォンタイズ：
発音時刻の楽譜上の位置の推定
浜中 雅俊
筑波大学

後藤 真孝

,

麻生 英樹

科学技術振興事業団さきがけ研究21「情報と知」領域

大津 展之

,

産業技術総合研究所{m.hamanaka, m.goto, h.asoh, otsu.n}@aist.go.jp
本稿では、ジャムセッションなどで、テンポ一定の伴奏に合わせて演奏された発音時刻から、演奏者が意図する量子化された発音時刻を推定する手法について述べる。従来のビート・リズムの認識に関する手法の多くが拍位置の予測や推定に主眼を置いていたのに対し、本手法では、拍位置が既知という条件下で、発音時刻のゆらぎを取り除く問題を扱う。和音を含むジャムセッションの MIDI 演奏を
クォンタイズするため、我々は、発音時刻の遷移とゆらぎを隠れマルコフモデルでモデル化する手法を提案する。演奏記録を統計的に学習させて実験した結果、市販のシーケンスソフトウェアの機械的なクォンタイズより性能が良く、モデルが有効に機能したことが示された。

A Learning Based Quantization:
Estimating the Position of Onset Time in a Score
Masatoshi Hamanaka

Masataka Goto

Univ. of Tsukuba,

Hideki AsohNobuyuki Otsu,

Information and Human Activity”, PRESTO, JST

National Institute of Advanced Industrial Science and Technology (AIST)

Mbox 0604. 1-1-1Umezono, Tsukuba, Ibaraki 305-8568 Japan

This paper describes a method for organizing onset times performed along a fixed-tempo jam-session accompaniment into the the normalized (quantized) positions in a score. Unlike most previous beat-tracking-related methods
focusing on predicting or estimating beat positions, our method deals with the problem of eliminating the onset-time
deviations under the condition that the beat positions are given. To quantize polyphonic MIDI recordings of jam
session, we propose a method of using Hidden Markov Model for modeling onset-time transition and deviation.
Experimental results showed that the model that statistically learned MIDI recordings was effective enough tosurpass the performance of semi-automatic quantization of commercial sequence software.

1. はじめに
我々は、ジャムセッションシステムの研究[1]において、実在する人間の演奏者の振る舞いを模倣できる仮想演奏者を生成することを目指してきた。仮想演奏者は、事前に人間の演奏者から学習したモデルに基づき演奏意図を決定し、フレーズ
データベースの中から仮想演奏者のそのときの意

図に対応したフレーズを接続することで演奏を生成していた。フレーズデータベースには、1小節から8小節の長さの演奏が収められているが、それらは手作業で作成していたため、演奏者固有のフレーズまでは模倣できなかった。
そのような模倣のためには、実際の即興演奏か

らフレーズを切り出して、
データベースを自動作成する必要がある。その際、演奏の発音時刻には意識的・無意識的なゆらぎがあり、それを除去せずに切り出しをおこなうと、生成時に接続する際に、つなぎ目が不自然となる。これを解決するには、発音時刻のゆらぎ・ずれを除去するクォンタ
クォンタ
イズ(quantize)が必要となる。
イズ
本研究では、
このような即興演奏のフレーズ分割を自動化するため、テンポ一定の演奏(例えばドラムスによる伴奏)に合わせて弾かれた演奏の演奏の発音時刻を、楽譜上の正規化された位置
正規化された位置へと発音時刻
正規化された位置
クォンタイズすることを目的とする。ただし、即興演奏の場合には楽譜を演奏するわけではないた
め、楽譜上の正規化された位置は、実際には演奏者が意図した小節・拍内の位置を意味する。
市販のシーケンスソフトウェアに搭載されているクォンタイズでは、ユーザーがグリッド間隔（分解能）を指定し(例えば、8 分 3 連音符、16 分
音符等の一定間隔のグリッドを指定し)、発音時
刻を最も近いグリッドへ整列させることができる。
したがって、
拍構造が既知で固定されている演奏に対しては有効だが、ジャムセッションのように、8分3連音符や16分音符が頻繁に入れ替わるような演奏を正しくクォンタイズするためには、
演奏の部位ごとに人間が手作業で指定する必要があり、我々の自動化の目的には使えない。
従来、コネクショニストモデルによるクォンタ
イズの研究[2]、音響信号に対するクォンタイズ
の研究[3]、ビート・リズムの認識に関するビート
トラッキングの研究[4]‑[8]がなされてきた。文
献[2]の研究は、隣接する発音時刻間隔(あるいはその和) の比が整数比になれば安定するエネルギー関数を定義し、繰り返し計算で発音時刻のずれを修正していたが、エネルギー関数が固定されていたため、
多様な演奏へ対処することができなかった。
また、
文献[3]の研究は自動採譜のための拍の推定のためのものであり、文献[4]‑[8]の研
究は拍位置を予測することに主眼が置かれていた。
いずれも、問題設定が本研究(テンポ一定の伴奏に合わせて弾かれた演奏のクォンタイズ☆)とは異なっており、
直接それらの手法は適用できない。

一方、
文献[9]では、本研究に近い問題設定が扱われている。この研究は、連続音声認識の方法論
が、音符推定・テンポ推定・拍子推定にも有効であることを示した点が優れており、音符長の遷移と変動を隠れマルコフモデル(HMM)でモデル化することで、市販のシーケンスソフトウェアのクォンタイズを凌ぐ性能を得ることに成功している。
しかし、単音の音符列のみにしか対応していなかったため、
今回対象とするジャムセッションの即興演奏をクォンタイズすることはできない。
本研究では、
今後さらに発展が期待される文献[9]のアプローチを参考にし、和音のクォンタイズも可能なモデルとして、
発音時刻に焦点を絞っ
た発音時刻の遷移とゆらぎのモデル
発音時刻の遷移とゆらぎのモデルを提案す
発音時刻の遷移とゆらぎのモデル
る。以下、2節ではクォンタイズの問題を逆問題としてとらえる立場から、
隠れマルコフモデルを用いた問題の定式化と実際のクォンタイズの方法について述べる。次に 3節では、クォンタイズの正解がラベリングされている演奏データを用いて学習することで、提案モデルがシーケンスソフト
ウェアのクォンタイズを越える性能を持つことを示す。最後に、4節でまとめと今後の課題を述べる。

2. 学習に基づくクォンタイズ
人間の演奏者が同じ演奏をくりかえし弾いた場
合でも、MIDIのレベルでまったく同じ演奏となることは稀であり、演奏動作の微妙な差や、演奏の表情づけの差などにより発音時刻がゆらぐ。
これを、元々演奏者が意図した発音時刻(小節・拍内の正規化された位置)系列から、ゆらぎのある実際に演奏された発音時刻系列を求める順問題とすると、演奏された発音時刻系列から元の意図した発音時刻系列を求めるクォンタイズは、その逆問題☆☆
となる(図1)。ここでは、前者のゆらぎの生じる過程を「発音時刻ゆらぎの順モデル」としてモデル化する。そして、この順モデルから求めた「発音時刻ゆらぎの逆モデル」
を用いて逆問題を解き、クォンタイズを実現する。

☆☆
☆

このような問題設定でも、単純な閾値処理は有効でなく（ゆらぎによるずれを誤ってクォンタイズする等）、 難し
い課題である。

このように、実際の演奏から、その拍構造、楽譜構造を推定する問題を逆問題として捉える考え方は、文献[4][5][6]で紹介された。文献[9]でも、同様に逆問題と捉えて定式化しており、本研究でもそれを参考にしている。

演奏者の意図した
発音時刻系列θ順問題

推定された
発音時刻系列θ

発音時刻の遷移の逆問題

モデル p( θ )発音時刻ゆらぎの

発音時刻ゆらぎの順モデル p(y￨ θ)

逆モデル p( θ ￨y)

MIDI

MIDI

演奏された発音時刻系列 y

図1：クォンタイズにおける順モデルと逆モデル

2.1

発音時刻の遷移とゆらぎのモデル

発音時刻ゆらぎの順モデルは、意図した発音時
刻系列をθ、演奏された発音時刻系列をyとした
時、p（y￨ θ )で表される。このとき、逆モデルは、
Bayesの定理より式(1)で表される。
p(θ ￨y)=p(y￨ θ)p( θ)
p(y)

(1)

p(θ)は、θ に対する事前分布であり、演奏者がどのような発音時刻系列を弾きやすいかを表わす。
p(y)は、θに無関係であり、無視できる。逆問題の解θは、式(1)を最大化するθである(式(2)）。

θ = argmax p(θ ￨y)

(2)

θ

2.2

隠れマルコフモデルによる定式化

本研究では、p(y｜θ)と p(θ)を組み合わせたモデルを隠れマルコフモデル(HMM)で定式化する。
隠れマルコフモデルはマルコフ的な隠れ状態遷移モデルと各状態における出力生成分布を組み合わせたモデルである。
(1)演奏のモデル化
演奏をモデル化する前提条件として、以下のものを考える。
・何 を モ デ ル 化 す る の か
本研究では、演奏の発音時刻すなわち音の立ちあがり時刻の分布をモデル化する。文献[9]では、音符の長さをモデル化していたが、ギターのアルペジオや開放弦を含む演奏や、ピアノで右手と左手を同時に弾いていているような演奏では、音符の長さのみで、演奏をモデル化することは困難であり、発音時刻でモデル化する方が有効であると考える。
発音時刻を用いて演奏をモデル化する際、発音時刻の前後関係が保存されるようにする
ことで、音の順序が反転することがない妥当なクォンタイズを実現できる。
・演奏
演奏の
モデル化の
の モデル化の単位
本研究では、演奏をモデル化する単位として1拍の長さを採用した。1拍単位でモデル化を行う理由は、市販のクォンタイズを使った
場合の主要な問題点である8分3 連音符と16分音符の識別が1拍の長さで可能となるためである。
（8 分 3 連音符は 1 拍を 3 等分した位
置、16 分音符は1 拍を 4 等分した位置に出現する。）実際に曲をクォンタイズする場合には、1拍のモデルを、次々とつなげあわせて曲全体を表現する。
1拍という短い長さでモデル化することは、計算時間の節約と、学習の際により多くの演奏データを用意しやすいという利点をもつ。
・演 奏 の 量 子 化 単 位
演奏の量子化単位を2種類定義する。1つは、実際に演奏された発音時刻（今後、イベント
時刻と呼び、k で表す）の量子化単位である。
ここでは、シーケンスソフトウェアで採用されることが多い1拍の1/480を単位とする。もう1つは、演奏者の意図した発音時刻（今後、拍内での位置と呼び、i で表す）の量子化単位である。ここでは、8 分 3 連音符と 16 分音符の両方に対応できるように1拍の1/12を単位とした。
本研究で述べるクォンタイズとは、
イ
ベント時刻から拍内での位置を求めることである。
(2）1 拍の HMM モデル
演奏の拍内での位置と、マルコフモデルの隠れ状態とを対応させることにより、演奏者の意図した発音時刻系列をマルコフモデルの隠れ状態の遷移に対応づけることができる。ここでは、拍内の12箇所の位置を、拍の頭から順に状態1から状態
12までに対応させる。遷移は仮想的な状態である
Start からはじまって、End で終了する。以下に、遷移の例をあげる。

・拍内に 8 分 3 連音符が 3 つ並んでいる場合
Start → 1 → 5 → 9 → End
・拍内に 16 分音符が 4 つ並んでいる場合
Start → 1 → 4 → 7 → 10 → End
・拍の頭で 2音同時に鳴る和音の場合
Start → 1 → 1 → End
・拍内に音が無い場合
Start → End
HMMの各パラメータを以下のように意味づけた。
・隠れ状態 i： 発音時刻の拍内での位置
・出力 k ： イベント時刻
・状態 i から状態 j への状態遷移確率 ai j：
拍内のi の位置で発音した後 jの位置で発音する確率。遷移は、常に拍内の前から後ろに向かって進むため、i > j のときは ai j= 0 となる。
・出力確率 bi(k)： 発音時刻の拍内での位置がi のときに、イベント時刻が k となる確率。
状態 Start と End は出力を出さないため、対応する出力分布は存在しない。
状態遷移は常に Sから始まるため、HMM初期状
態分布π i は、π s=1, π i (i= 1,2,...,12,E)=0となる。図 2 に、本研究における HMMの概略図を載せる。図では、簡単のため12個の状態のうち、
E⑫

2.3 最適発音時刻系列の推定
1曲を通して、最適な状態遷移系列を推定するために、各拍ごとのモデルの Start と End をつなぎ合わせたHMMを用いて、事後確率 p(θ｜y)
を最大にする状態遷移系列を探索する。
そのため

S

aS 1

拍内の位置の状態遷移

1、4、7、10 以外の状態に関する遷移と出力確率は省略している。
(2）複数の HMM によるモデル化
たとえば、演奏者が１拍の内部を8分3連音符
で演奏しようとする場合と、
16分音符で演奏しようとする場合とでは、拍内部の状態遷移確率は大きく変化することが予想される。すなわち、8分
3 連で演奏しようとする場合には、状態 1，5，9への遷移確率が大きくなり、
16分で演奏しようとする場合には、状態1，4，7，10 への遷移確率が大きくなるだろう。従って、１拍を一つのHMMによってモデル化するよりも、複数のHMMを切り替えて用いるほうが、より詳細なモデル化ができ、クォンタイズの性能がさらに向上すると期待される。そこで、本研究では、図 3のように、16分音符で弾かれている16分遷移型、8分3連音符で弾かれている8分3連遷移型、拍の頭だけ弾かれている頭のみ型、何も弾かれていない音なし型、の４種類のHMMに分岐したモデルを用いる方法も試
みた。

a1 4
①

②

a4 10
③

④

⑤

E

S

⑫

①

a10 E
⑥

⑦

⑧

⑨

⑩

⑪

②

③

各状態での出力確率
b1(k)
b4(k)
b7(k)
b 10(k)
0

120

240

360

480
[k]

イベント時刻
[時間]

拍の頭

拍の頭
図 2：1拍の隠れマルコフモデルの概略図

Viterbi アルゴリズムは、図 4 のようなトレリ
ス上で、左から右に到る状態遷移系列の探索を行うアルゴリズムである。このトレリスは、横軸にイベントを、縦軸に1から12の状態を配置しており、各イベントを1から12のいずれかの状態に対応づけてゆくことで、一つの状態遷移系列が得られる。拍と拍の境目をまたぐ状態遷移にはEndとStartを挿入する。このようなトレリス上で左から右に向かって式(4)を用いながら δt(i) を計算してゆくことにより、最も事後確率の高い系列を選択することができる。
Endと Start を適切に挿入するためには、二つのイベントの間で拍をまたいだか否かを判定する必要がある。
ここでは次のような条件で判定した。
・θ t >θ t +1 の場合には、次の拍に移ったと判定
し、End と Start を挿入する。
・θ t ≦θ t +1 の場合では、実際の演奏でのイベ
ント間隔が、qt と qt +1 との距離に比べて半拍以上長い場合には、次の小節に移ったと判定し、Endと Start を挿入する。
このような条件でEndと Startを挿入すると、実際の演奏イベントの位置とトリレス上の状態とのずれを半拍以内にすることができる。実際の演奏でも、意図した発音時刻と実際の発音時刻が半拍以上ずれることはほとんどないため、この判定条
件は妥当であるといえる。
4つのHMMに分岐したモデルの場合には、各拍で4つのHMMのどれを用いるかを、図5のような木構造を用いて探索していかなければならないが、プログ
ラムとしては図4と同様のトレリス上の探索に帰着させることができる。その場合、トレリスの縦軸にあと2 行を加え、16 分遷移型の状態 1 と、8 分3 連
遷移型の状態1と、頭のみ型の状態1とをそれぞれの別々の状態として扱う。また、音なし型の場合には、トリレス上にStartとEndを1つずつ挿入する。

図4：最尤な状態遷移を求めるトレリス

図 5：4 つの HMM による探索木の例

図 3：4 種類の HMM に分岐したモデルの方法としてはViterbiアルゴリズムを用いる。
T 個の音からなる演奏を考え、観測されたイベ
ント時刻の系列を y=(y1,y2 ,...,yT) とする。
これに対する最適状態遷移系列θ =(θ1, θ2,...,
θT)を求めるために、次の値を定義する。
δ t(i) = max

P[θ,θ2,...,θt‑1;θt=i;y1,y2,...,yt￨ λ]θ1,θ2,...,θt ‑1 1

（3）

δ t(i)は、t 個目のイベントまでを観測した時点
で、状態遷移が状態 i で終わっている状態遷移系
列中のベストスコア（最も高い確率を与える状態
遷移系列の確率)である。また、λはモデルのパラメータを表す。ベストスコアの値は、次のような漸化式を満たす。
δt+1(j)=max [δt(i) aij]・bj(yt +1)(4)i

3. モデルパラメータの学習
本学習では、意図した発音時刻系列 θ ( 正解データ)と、演奏された発音時刻系列yの両方を学
習用データとして用意することにより、
発音時刻の遷移のモデル p(θ)すなわちaij と、発音時刻ゆらぎの順モデル p (y￨ θ )すなわち bj(k)を学習する。学習によって得られたモデルパラメータを使ってクォンタイズすることにより、モデルが正しい挙動をしていることを確認する。

づけをすることにより正解データ θ h を作成した。具体的には、市販のシーケンスソフトウェア(Twelve Tone System, Cakewalk Pro Audio 9)を用いて、ピアノロール表示☆した音符の位置と長さを視覚的に確認しながら、1音ずつ適切な位置にラベルづけしていった。発音時刻のゆらぎが大き
く、いくつかの正解候補が考えられた場合には、すべての候補のクォンタイズ結果を作って聴き比
べ、より適切だと判断したものを採用した。

3.3
3.1 学習用データ
学習用のデータセットとして、人工的に生成したデータと、人間の演奏者のデータとの2通りを用意した。人工データはプログラムの動作の検証を意図したものである。
(1)人工データ
人工データの生成では、まずその拍を 8 分3 連音符の演奏にするか、
16分音符の演奏にするかを乱数で決定し、1拍に含まれる音数を1から6までの乱数で決定する。次に、それぞれの音が、どの位置に割り振られるか乱数で決定する。
8分3連音
符では 3 通り、16 分音符では、4 通りのうちいず
れかの位置となる。以上のようにしてできたランダムデータθ a の発音時刻を、平均0、標準偏差σの正規分布の乱数を用いて、ゆらぎをつけたもの
を人工データya とする。σ=10、20、30(1拍=480)とした3セットを作った。
(2）実演奏データ
3 人の演奏者 A,B,C が、テンポ一定の伴奏に合わせてMIDIギターで即興演奏した記録を、実演奏
データyhとする。演奏の長さは12コーラス(1コーラス =12 小節）である。各演奏者に 2 回ずつ、一方はテンポ120、もう一方は演奏者自身が設定したテンポで演奏してもらい、合計6セットのデー
タを作成した。
(3）正解データ学習を行うためには、正解データ、
すなわち、演
奏者が意図した発音時刻を教師データとして与える必要がある。人工データの場合には、ゆらぎを加える前のランダムデータθaが正解データとなる。
一方、人間の即興演奏データの場合には、正解
データが存在しないので、人間が手作業でラベル

モデルパラメータの推定

正解データθ と演奏された発音時刻系列 y から、aij、bj(k)を推定した。図 6 中の(a)は、人工
データを作るときのゆらぎの標準偏差σ=20(1拍=480）とした場合の人工データから学習された、
b (k)の分布である。(b)は、演奏者 C の 2 回目の5演奏(演奏 C2 と呼ぶ）から求めた b5(k)の分布である。
人工データは、もともと正規分布の乱数でゆらぎを与えているので、b5(k)の分布(a)も、正規分布となった。一方、実演奏データから求めた、
b5(k)の分布(ｂ)もほぼ正規的な分布となったが、分布の中心がやや後ろにずれていた。このこと
は、状態5の位置の音符が、意図した発音時刻よりも遅れて演奏される傾向があることを示している。実際、演奏C2 を調べたところ、8 分 3連音符の頭の音が通常より長く弾かれ、次の音の発音時刻が遅れる傾向が認められた。

(a)人工データσ =20 の b 5(k)(b)演奏 C2 の b5(k)
0.03
0.030
0.0 25
0.025
0.02
0.020
0.0 15
0.015
0.01
0.010
0.0 05
0.005
0

0 1

41
40

81
80

121
120

161
160

201
200

241
240

281
280

321
320

361
360

401
400

441
440

480

[イベント時刻k]

図 6：人工・実演奏データから求めた b5(k)☆

ピアノロール表示とは、縦軸を音の高さ、横軸を時間とし、音の出るタイミングと鳴り続けている長さを表示するものである。

3.4

クォンタイズ結果

クォンタイズの評価を、音単位と拍単位の2通りで行った。音単位の評価は、各音の発音時刻が正解と一致している割合である。
拍単位の評価は、拍の種類を、16 分遷移型、8 分 3 連遷移型、頭のみ型、音なし型の4 種類に分けたとき、各拍の種類が正解の種類と一致している割合である。
この4種類への分け方は、1つのHMMでのモデルの場合
は、クォンタイズ結果から求め、4 つの HMM に分岐したモデルの場合は、クォンタイズしたときに選択されたHMMの型から求めている。
表1に正解データに含まれる4種類の拍の割合を示す。演奏者A,Bが 2回の演奏でそれぞれ似た傾向の演奏をしているのに対し、演奏者Cは、1回
目は 16 分音符を多用した演奏、2 回目は 16 分音符のまったくない演奏であった。
本研究では、一致率を以下のように定義し、クォンタイズの性能を評価する。
(拍内の位置が正解と一致した音数)( 音単位の一致率) =(5)(正解データ中の音数)(拍単位の一致率) =(拍の種類が正解と一致した拍の数)(6)(正解データの拍の数）(1)機械クォンタイズ
まず、閾値処理による機械的なクォンタイズ
(機械クォンタイズと呼ぶ）の性能を評価するた
めに、8 分 3 連、16 分、16 分 3 連の 3 種類の分解能で機械クォンタイズを実行し、音単位での一致率を求めた(表2)。尚、これ以外の分解能では一
致率はさらに悪くなる。
その結果、A1やC1、人工データのように16分の拍が多く含まれる演奏では、低い一致率しか得られなかった。ただし、C2のように16 分で弾かれた拍がまったく無い演奏では、8分3連の分解能での機械クォンタイズが高い一致率を示すこともあった。
(2)学習に用いた演奏のクォンタイズ
学習結果のモデルパラメータを用いて、学習に使ったのと同じデータについてクォンタイズを実行し評価した。
その結果、人工データでは、1 つの HMM でのモデルと4つのHMMでのモデルの両者とも、
機械クォンタイズでの一致率に比べ、2割以上高い一致率を示し、また実演奏データの多くでも機械クォンタ

イズより高い一致率を示していることから、HMMによるモデルが有効であることが確認できた（表2）。
1 つの HMM によるモデルと 4 つの HMM によるモ
デルの音単位の一致率を比較すると、実演奏デー
タでは、4 つの HMM によるモデルの方が、一致率が高かった。これは、状態 1 を、16 分遷移型、8分3連遷移型、頭のみ型の 3状態に分けることにより、各々の場合のb1(k)の分布を別々に学習し、より詳細にモデル化されたためであると考えられる。実際、拍単位の評価でも 4つの HMM によるモデルのほうが、1つの HMM によるモデルより高い一致率を示していることから16分遷移型と8分遷移型の識別性能が向上したことが確認できた(表3)。
一方、人工データでは、1 つの HMM によるモデルを使った場合と4つのHMMによるモデルを使った場合とが同じ一致率となった。これは、状態 1
を分けた場合の3つのb1(k)も、分ける前のb1(k)もいずれも同じ正規分布となるためである。
(3)他の演奏のモデルパラメータでのクォンタイズ
各実演奏データに対して、それ以外の演奏で学習したモデルパラメータを用いて、クォンタイズを実行し評価した。評価に用いたモデルパラメー
タは、1）同じ演奏者の別の演奏で学習したもの、
2）自分以外の 2 人の演奏で学習したもの、3）ランダムデータ(σ=20)で学習したもの、の 3 通りである。 1)は、ある演奏から得られたモデルパラメータが、同じ演奏者のほかの演奏に適用できるか調べるためのものである。1）の結果、演奏者
A,Bは、その曲から学習したパラメータを使ってクォンタイズするのと比べて、一致率が5％程度しか劣っていなかった。一方、演奏者 Cは、20％近く劣っていた。これは、2 回の演奏をしたときに、演奏者A,Bはそれぞれ似た傾向の演奏を 2度したのに対し、C は、大きく異なる傾向の演奏をしたためだと考えられる。このことから、A,B のように、演奏傾向が似ている場合には同じモデルで適用できるが、大きく異なる場合には、適用できないということがわかった。2）3)は、モデルパラメータにいくつかの演奏の平均的なモデルや、
正規的な分布を与えることにより、クォンタイズの性能がどう変化するかを調べたものであるが、いずれ場合も、A、B では 1)より性能が劣っており、またCでも、1）より高くなったものの、その曲から学習したパラメータを使う場合と比べて一致率が低下していた。

表 1：正解データに含まれる4 種類の拍の割合
人工データ

演奏者A

σ=10
σ=20
σ=30
38.8% 38.8% 38.8%
37.8% 37.8% 37.8%
6.9%
6.9%
6.9%
16.4% 16.4% 16.4%

16分の拍の割合
8分3連の拍の割合
頭だけの拍の割合
音がない拍の割合

A1
21.4%
54.2%
6.8%
17.6%

A2
5.5%
68.7%
10.1%
15.7%

演奏者B
B1
6.5%
58.2%
11.9%
23.3%

B2
2.7%
85.8%
6.4%
5.1%

演奏者C
C1
37.2%
42.1%
5.9%
14.8%

C2
0.0%
39.7%
26.7%
33.8%

表2：機械クォンタイズと本手法との比較(音単位の一致率）
人工データ

演奏者A

演奏者B

演奏者C

σ=10
σ=20
σ=30
A1
A2
B1
B2
C1
機械クオンタイズ(8分3連)
65.6% 58.2% 62.0% 67.6% 85.6%
79.4% 88.6% 57.0%
機械クオンタイズ(16分)
63.9% 67.9% 65.9% 54.5% 37.3%
36.8% 34.7% 70.7%
機械クオンタイズ(16分3連)
77.1% 70.7% 60.8% 57.7% 48.4%
57.8% 51.3% 56.1%
1つのHMMでのクオンタイズ↑99.6% ↑95.9% ↑86.5% ↑75.9% 84.8% ↑80.0% ↑90.5% ↑85.1%
4つのHMMでのクオンタイズ↑99.5% ↑95.9% ↑86.5% ↑82.3% ↑89.8% ↑81.4% ↑92.8% ↑85.5%※機械クォンタイズに対して、本手法の方が性能が上がった箇所に「↑」をつけた。

C2
97.7%
45.5%
82.5%
95.0%
95.7%

表 3：1 つの HMM によるモデルと 4 つの HMM によるモデルの比較(拍単位の一致率）
人工データ

演奏者A

σ=10
σ=20
σ=30
98.6% 93.8% 81.3%
98.6% 93.8% 81.3%

1つのHMMでのクオンタイズ
4つのHMMでのクオンタイズ

A1
79.0%
84.9%

A2
85.4%
89.2%

演奏者B
B1
84.2%
87.5%

B2
91.9%
93.5%

演奏者C
C1
83.9%
84.7%

C2
94.9%
97.3%

表4：他の演奏のモデルパラメータでのクォンタイズ
人工データ
σ=10

σ=20

同じ演奏者の別の演奏で学習したモデル
自分以外の2人の演奏で学習したモデル
ランダムデータで学習したモデル

このことは、本研究で提案したモデルが演奏者の発音時刻の特徴や癖を獲得しており、ある演奏者のモデルを一度作ればその演奏者が似た傾向の演奏をしたときには、同じモデルでクォンタイズ
が可能であることを示している。

4. まとめ
本稿では、
テンポ一定の演奏に合わせて弾かれた和音を含む即興演奏の発音時刻から、演奏者が意図した発音時刻を推定するため、
発音時刻の遷
移とゆらぎのモデルを提案した。そして、正解データを用いた学習をすることにより、
提案モデルが市販のシーケンスソフトウェアのクォンタイズを超える性能を持つことを示した。今後、フレーズデータベースの自動作成を実現するため、正解データがなく、実演奏データのみしか与えられない場合の、モデルパラメータの推定法について検討していく。
謝辞
演奏者として実験に協力して頂いた、橋本大輔
氏、千田真一氏、斎田康弘氏に感謝いたします。

演奏者A

σ=30

A1
75.9%
70.2%
73.3%

A2
84.8%
79.0%
53.4%

演奏者B
B1
80.0%
59.2%
60.8%

B2
90.5%
73.5%
55.2%

演奏者C
C1
55.5%
76.9%
82.5%

C2
77.9%
93.1%
86.1%

参考文献

[1] 浜中，後藤，大津: " 学習するジャムセッションシス
テム：演奏者の振る舞いのモデルの獲得 ," 情報処理学会音楽情報科学, 99‑MUS‑34‑5, pp.27‑34, 1999.
[2] P.Desain,H.Honing: "The Quantization of Music Time:A
Connectionist Approach," Computer Music Journal,
Vol.13, pp.56-66, 1989.
[3] 片寄, 井口: " 自動採譜システム ," 人工知能学会誌 ,Vol.5, No.1, pp.59‑66, 1990.
[4] 後藤 真孝: "音楽音響信号を対象としたリアルタイム
ビートトラッキング ," 人工知能学会研究会資料 AI
チャレンジ研究会 , SIG‑Challenge‑9801‑2, pp.7‑14,
November 1998.
[5] Masataka Goto and Yoichi Muraoka: "An Audio-based
Real-time Beat Tracking System and Its Applications,"
Proc. of ICMC, pp.17-20, 1998.
[6] 後藤 真孝: "拍節認識(ビートトラッキング)," bit別冊 コンピュータと音楽の世界 ‑‑‑基礎からフロンティ
アまで‑‑‑, pp.100‑116, 共立出版, August 1998.
[7] R.Dannenberg, B.Mont-Reynaud: "Following an Improvisation in Real Time," Proc. of ICMC, pp.241-248, 1987.
[8] P.Allen,R.Dannenberg: "Tracking Musical Beats in RealTime," Proc. of ICMC, pp.140-143, 1990.
[9] 斎藤, 中井, 下平, 嵯峨山: "隠れマルコフモデルによる音楽演奏からの音符列の推定 ," 情報処理学会音楽情報科学, 99‑MUS‑33‑5, pp.27‑32, 1999.