Vol. 43

No. 2

Feb. 2002

情報処理学会論文誌

発音時刻の楽譜上の位置を確率モデルにより推定する
クォンタイズ手法
浜
麻

中
生

雅
英

俊†
後
†††
樹
大

藤
津

真
展

孝††,†††
之†,†††

本論文では，ジャムセッション等で伴奏に合わせて弾いた演奏の発音時刻から，元々演奏者が弾こうとした正規化された楽譜上の発音時刻を推定する手法について述べる．本研究の目的は，演奏を再利用しやすい形でデータベース上に蓄積するために，演奏記録の発音時刻を量子化された位置に整列させることである．従来のビート・リズムの認識に関する手法の多くが拍位置の予測や推定に主眼を置いていたのに対し，本手法では，テンポ一定で伴奏の拍位置が既知という条件下で，発音時刻のゆらぎを取り除く問題，すなわちクォンタイズを扱う．和音を含むジャムセッションの MIDI 演奏記録
をクォンタイズするため，我々は，発音時刻の遷移とゆらぎを隠れマルコフモデルでモデル化する手法を提案する．本手法の特長は，モデルパラメータを演奏記録から統計的に学習することにより，各演奏に適した確率モデルを使ってクォンタイズすることができる点である．演奏記録を学習し実験した結果，市販のシーケンスソフトウェアの機械的なクォンタイズより性能が良く，モデルが有効に機能したことが示された．

A Probabilistic-model-based Quantization Method
for Estimating the Position of Onset Time in a Score
Masatoshi Hamanaka,† Masataka Goto,††,††† Hideki Asoh†††and Nobuyuki Otsu†,†††
This paper describes a method for organizing onset times performed along a jam-session
accompaniment into the normalized (quantized) positions in a score. The purpose of thisstudy is to align onset times of a session recording to the quantized positions in order to store
the performance data in a reusable form. Unlike most previous beat-tracking-related methods
focusing on predicting or estimating beat positions, our method deals with the problem of
eliminating the onset-time deviations under the condition that the beat positions are given.
To quantize polyphonic MIDI recordings of jam session, we propose a method of using Hidden
Markov Model for modeling onset-time transition and deviation. The main advantage of thismethod is to quantize a performance by using a model that is statistically learned from session
recordings of the same player. Experimental results showed that the model that statisticallylearned MIDI recordings was eﬀective enough to surpass the performance of semi-automaticquantization of commercial sequence software.

1. は じ め には，事前に人間の演奏者から学習したモデルに基づき

我々は，ジャムセッションシステムの研究1) においのときの意図に対応したフレーズを次々と接続するこて，実在する人間の演奏者の振る舞いを模倣できる仮とで演奏を生成していた．フレーズデータベースには，演奏意図を決定し，フレーズデータベースの中からそ

1 小節から 8 小節の長さの演奏が収められているが，想演奏者を生成することを目指してきた．仮想演奏者

それらは手作業で作成していたため，仮想演奏者は演† 筑波大学大学院工学研究科
Doctoral Program in Engineering, University ofTsukuba†† 科学技術振興事業団さきがけ研究 21「情報と知」領域“Information and Human Activity,” PRESTO, JST††† 産業技術総合研究所
National Institute of Advanced Industrial Science andTechnology (AIST)

奏者固有のフレーズまでは模倣できなかった．
そのような模倣を可能とする方法として，ここでは，模倣したい演奏者の即興演奏からフレーズを切り出して，データベースを自動作成することを考えている．
演奏の発音時刻には意識的・無意識的なゆらぎがあり，
フレーズ切り出しの際，ゆらぎを除去せずに行うと，
234

Vol. 43

No. 2

発音時刻の楽譜上の位置を確率モデルにより推定するクォンタイズ手法

235

生成時にフレーズを接続する際に，つなぎ目が不自然れている．この研究は，連続音声認識の方法論が，音となる部分が生じる．たとえば，はしったリズムのフ

符推定・テンポ推定・拍子推定にも有効であることをレーズともたったリズムのフレーズが接続された部分

示した点が優れており，音符長の遷移と変動を隠れマ

では，拍の間隔が不規則となり聞き苦しい演奏となる．

ルコフモデル（ HMM ）でモデル化することで，市販

このようなことを解決するためには，発音時刻のゆらのシーケンスソフトウェアのクォンタイズを凌ぐ 性能

ぎ・ずれを除去するクォンタイズ（ quantize ）が必要

を得ることに成功している．しかし，単音の音符列にとなる．

対する検討しか行っていなかった．

本研究では，このような即興演奏のフレーズ分割を

本研究では，今後さらに発展が期待される文献 9) の自動化するため，テンポ一定の伴奏演奏（たとえばドアプローチを参考にし，発音時刻に焦点を絞った発音

ラムスによる伴奏）に合わせて弾かれた演奏の発音時

時刻の遷移とゆらぎのモデルを新たに提案し，和音を刻を，楽譜上の正規化された位置へとクォンタイズす含む演奏に対しての評価を行った．以下，2 章ではクォることを目的とする．つまりここで扱うのは，ゆらぎ

ンタイズの問題を逆問題としてとらえる立場から，隠を含むような即興演奏からゆらぎを取り除く問題であれマルコフモデルを用いた問題の定式化と実際のクォる．ただし，即興演奏の場合には楽譜を演奏するわけ

ンタイズの方法について述べる．次に 3 章では，クォではないため，楽譜上の正規化された位置は，元々演ンタイズの正解がラベリングされている演奏データを奏者が弾こうとした小節・拍内の量子化された位置を用いて学習することで，提案モデルがシーケンスソフ

意味する．

トウェアのクォンタイズを超える性能を持つことを示

市販のシーケン スソフトウェアに搭載されている
クォンタイズは，ユーザがグリッド 間隔（分解能）を指定し（たとえば，8 分 3 連音符，16 分音符等の一定

す．最後に，4 章でまとめと今後の課題を述べる．

2. 学習に基づくクォンタイズ

間隔のグリッドを指定し ），発音時刻を最も近いグリッ

人間の演奏者が同じ 演奏を繰り返し 弾いた場合でド へ整列させるものである．したがって，拍構造が既も，MIDI のレベルでまったく同じ演奏となることは知で固定されている演奏に対しては有効だが，ジャム

稀であり，演奏動作の微妙な差や，演奏の表情づけのセッションのように，8 分 3 連音符や 16 分音符が頻

差等により発音時刻がゆらぐ．これを，元々演奏者が繁に入れ替わるような演奏を正しくクォンタイズする

弾こうとした発音時刻（小節・拍内の正規化された位ためには，演奏の部位ごとに人間が手作業で指定する

置）系列から，ゆらぎのある実際に演奏された発音時必要があり，我々のフレーズ分割を自動化する目的に刻系列を求める順問題とすると，演奏された発音時刻は使えない．

系列から演奏者が元々弾こうとした正規化された発音

従来，コネクショニストモデルによるクォンタイズ
2)

時刻系列を求めるクォンタイズは，その逆問題☆☆ とな

3)の研究 ，音響信号に対するクォンタイズの研究 ，．ここでは，前者のゆらぎの生じる過程をる（ 図 1 ）ビート・リズムの認識に関するビートトラッキングの「発音時刻ゆらぎの順モデル」としてモデル化する．そ研究4)∼8) 等がなされてきた．文献 2) の研究は，隣接して，この順モデルから求めた「発音時刻ゆらぎの逆する発音時刻間隔（あるいはその和）の比が整数比にモデル」を用いて逆問題を解き，クォンタイズを実現

なれば安定するエネルギー関数を定義し，繰返し計算

する．

で発音時刻のずれを修正していたが，エネルギー関数

2.1 発音時刻の遷移とゆらぎのモデル
発音時刻ゆらぎの順モデルは，元々弾こうとした正規化された発音時刻系列を  ，演奏された発音時刻系が固定されていたため，多様な演奏へ対処することは困難であった．また，文献 3) の研究は自動採譜のための拍の推定のためのものであり，文献 4)∼8) の研究

列を y としたとき，P (y | ) で表される．このとき，

は拍位置を予測することに主眼が置かれていた．いず

逆モデルは，Bayes の定理より式 (1) で表される．

れも，問題設定が本研究（テンポ一定の伴奏に合わせP ( |y ) =て弾かれた演奏のクォンタイズ ）とは異なっており，☆

直接それらの手法は適用できない．

P (y | )P ( )P (y )(1)

P ( ) は， に対する事前分布であり，演奏者がど

一方，文献 9) では，本研究に近い問題設定が扱わ☆☆

☆

このような問題設定でも，単純な閾値処理は有効でなく（ゆらぎによるずれを誤ってクォンタイズする等），難しい課題である．

このように，実際の演奏から，その拍構造，楽譜構造を推定する問題を逆問題としてとらえる考え方は，文献 4)∼6) で紹介された．文献 9) でも，同様に逆問題ととらえて定式化しており，本研究でもそれを参考にしている．

236

情報処理学会論文誌

Feb. 2002

8 分 3 連音符と 16 分音符の識別が 1 拍の長さで可能となるためである（ 8 分 3 連音符は 1 拍を 3 等分した．
位置，16 分音符は 1 拍を 4 等分した位置に出現する）
実際に曲をクォンタイズする場合には，1 拍のモデル
を，次々とつなげあわせて曲全体を表現する．1 拍という短い長さでモデル化することは，計算時間の節約と，学習の際により多くの演奏データを用意しやすいという利点を持つ．

( 3 ) 演奏の量子化単位
以下の 2 種類の異なる量子化単位を持つ時刻を定義する．
図 1 クォンタイズにおける順モデルと逆モデル
Fig. 1 Forward model and inverse model in thequantization problem.

• 拍内のイベント 時刻 k
実際に演奏された発音時刻をイベント時刻と呼ぶ．
その量子化単位は，シーケンスソフトウェアで採のような発音時刻系列を弾きやすいかを表す．逆問題
ˆ は，式 (1) を最大化する  である（ 式 (2) ）．
の解 

ˆ = argmax P ( |y )拍内のイベント時刻 k は，その拍内での時刻を表し ，伴奏の拍線（ 拍の境目）を基準に 0 を決め，

θ= argmax P (y | )P ( )用されることが多い 1 拍の 1/480 を単位とする．

(2)

θ

2.2 隠れマルコフモデルによる定式化
本研究では，発音時刻ゆらぎの順モデル P (y | ) と0 から 479 の整数値をとる．
• 正規化後の拍内位置 i
演奏者が元々弾こうとした正規化された発音時刻を表す．量子化単位は，8 分 3 連音符と 16 分音

発音時刻の遷移のモデル P ( ) を組み合わせたモデ符の両方に対応できるように 1 拍の 1/12 を単位

ルを隠れマルコフモデル（ HMM ）で定式化する．隠とし，i は 1 から 12 の整数値をとる．

れマルコフモデルはマルコフ的な隠れ状態遷移モデル

本研究で述べるクォンタイズとは，演奏を通しての観P ( ) と各状態における出力確率分布 P (y | ) を組み測されたイベント時刻の系列から正規化後の拍内位置合わせたモデルである．我々が観測することができるの系列を求めることである．

のは，出力確率分布から得られる出力のみで，どの状

2.2.2 1 拍の HMM モデル

態にいるかを観測することはできない．

隠れマルコフモデルの隠れ状態を，正規化後の拍内

2.2.1 演奏のモデル化
演奏をモデル化する前提条件として，以下のものを
考える．

(1)

何をモデル化するのか位置に対応づけ，モデルの出力を観測されたイベント
時刻，すなわち，実際の発音時刻に対応づける．ここでは，拍を 12 等分した位置を，拍の頭から順に状態

1 から状態 12 までに対応させる．遷移は仮想的な状

本研究では，演奏の発音時刻すなわち音の立ち上がり態である Start から始まって，End で終了する．和音

時刻の分布をモデル化する．文献 9) では，音符の長等，同じ発音時刻で複数の音が出力される演奏の場合さをモデル化していたが，ギターのアルペジオや開放は，同じ状態を自己ループする遷移となる．以下に，弦を含む演奏や，ピアノで右手と左手を同時に弾いて遷移の例をあげる．

いているような演奏では，音符の長さのみで，演奏を• 拍内に 8 分 3 連音符が 3 つ並んでいる場合モデル化することは困難であり，発音時刻でモデル化

Start → 1 → 5 → 9 → End• 拍内に 16 分音符が 4 つ並んでいる場合する方が有効であると考える．

反転することがない妥当なクォンタイズを実現できる．

Start → 1 → 4 → 7 → 10 → End• 拍の頭で 2 音同時に鳴る和音の場合
Start → 1 → 1 → End( 2 ) 演奏のモデル化の単位
本研究では，演奏をモデル化する単位として 1 拍の長• 拍内に音がない場合
Start → End

発音時刻を用いて演奏をモデル化する際，発音時刻の前後関係が保存されるようにすることで，音の順序がさを採用した．1 拍単位でモデル化を行う理由は，市販のクォンタイズを使った場合の主要な問題点である

HMM（離散 HMM ）の各パラメータを以下のように意味づけた．

Vol. 43

No. 2

発音時刻の楽譜上の位置を確率モデルにより推定するクォンタイズ手法

237

図 2 1 拍の隠れマルコフモデルの概略図
Fig. 2 Overview of the quarter-note Hidden Markov Model.

・隠れ状態 i：発音時刻の正規化後の拍内位置（ i は1 から 12 の整数）
・出力 k：拍内のイベント時刻（ k は 0 から 479 の整数）
・状態遷移確率 aij ：拍内の i の位置で発音した後 jの位置で発音する確率．遷移は，つねに拍内の前から後ろに向かって進むため，aiS = 0，aEi = 0 となり，
i > j のときは aij = 0 となる．
・出力確率 bi (k)：発音時刻の正規化後の拍内位置が i のときに，拍内のイベント 時刻が k となる確率．状態 Start と End は出力を出さないため，対応する出力分布は存在しない．状態遷移はつねに S から始まるため，HMM 初期状態分布 πi は，πS = 1，

πi (i = 1, 2, ..., 12, E) = 0 となる．
図 2 に，本研究における HMM の概略図を載せる．
図では，簡単のため 12 個の状態のうち，1，4，7，10

図 3 1 つの HMM によるモデルと 4 種類の HMM に分岐したモデルFig. 3 A model consisting of a single HMM and a model
consisting of four diﬀerent HMMs.

以外の状態に関する遷移と出力確率は省略している．

2.2.3 複数の HMM によるモデル化の HMM を切り替えて用いるほうが，より詳細なモデ以上のような隠れマルコフモデルのすべての遷移をル化ができ，クォンタイズの性能がさらに向上すると考えた場合，図 3(a) のようにアークの本数が非常に期待される．そこで，本研究では，図 3 のように，1多く複雑となり，遷移確率の統計的な推定精度が低く

つの HMM によるモデルとともに，16 分音符で弾かなると考えられる．しかし，演奏者が，1 拍の内部を，8 分 3 連音符で弾かれていれている「 16 分遷移型」

16 分音符で演奏しようとする場合と，8 分 3 連音符で演奏しようとする場合とを分けて考えた場合，両者はより単純になる．つまり，16 分で演奏しようとする「 8 分 3 連遷移型」，拍の頭だけ弾かれている「頭のみ型」，何も弾かれていない「音なし型」の 4 種類のる場合には，状態 1，4，7，10 へ遷移する確率が高くのモデルが性能が高いか比較する．4 つの HMM によ

HMM に分岐したモデル☆ を用い，実験によりど ちら

なり，8 分 3 連で演奏しようとする場合には，状態 1，

5，9 へ遷移する確率が高くなる．したがって，1 拍
を 1 つの HMM によってモデル化するよりも，複数☆

このような複数の HMM によるモデル化は文献 9) でも扱われており，有効性が確認されている．

238

Feb. 2002

情報処理学会論文誌

るモデルは，1 拍の演奏が 4 種類のモデルのいずれかにあてはまるという制約を与えたものだといえる．通常，1 拍の内部に 16 分系の音符と 8 分 3 連系の音符が混在することは考えにくいため，このような制約は妥当であると考えられる．また，本研究で実験に使った演奏には，32 分音符等 8 分 3 連や 16 分よりも短い音価の音符は含まれていなかった．

2.3 最適発音時刻系列の推定
1 曲を通して，最適な状態遷移系列を推定するために，各拍ごとのモデルの Start と End をつなぎ 合わ
せた HMM を用いて，事後確率 P ( |y ) を最大にす

図 4 最尤な状態遷移を求めるトレリス
Fig. 4 A trellis for ﬁnding the maximum likelihood statetransition.

る状態遷移系列を探索する．そのための方法としてはViterbi アルゴ リズムを用いる．
T 個の音からなる演奏を考え，演奏を通しての観測されたイベント時刻の系列を y = (y1 , y2 , ..., yT ) とすだが，演奏の発音時刻はゆらいでいるため，演奏の拍る．これに対する最適状態遷移系列  = (θ1 , θ2 , ..., θT )のイベント間隔とクォンタイズ後のイベント間隔とののクォンタイズを扱っているため，伴奏の拍線は既知
線を見つけることは容易ではない．本研究では，演奏を求めるために，次の値を定義する．ただし，yt は 1

差を半拍以内にするという条件で，トレリス上で考え拍の 1/480 を単位とする．また，θt は各音に対応すられるすべての 2 つのイベント間のパスで，拍線をる状態で，1 から 12 の値をとる．

またいだか否かを判定する．実際の演奏でも，発音時

δt (i) =max

θ1 ,θ2 ,...,θt−1

P [θ1 , θ2 , ..., θt−1

; θt = i; y1 , y2 , ..., yt |λ] (3)

刻間隔が半拍以上ずれることはほとんどないため，この判定条件は妥当であるといえる．ここでは，隠れ状
態の拍中の時刻 qt とクォンタイズ後のイベント 間隔δt (i) は，t 個目のイベントまでを観測した時点で，状態遷移が状態 i で終わっている状態遷移系列中のベ
ストスコア（最も高い確率を与える状態遷移系列の確

rt，t+1 という 2 つの概念を定義したうえで，拍線をまたいだ回数を求める．
• 隠れ状態の拍中の時刻 qt率）である．また，λ はモデルのパラメータを表す．
ベストスコアの値は，次のような漸化式を満たす．た

qt は，拍の頭を 0 としたときの，1 から 12 までの各状態が対応するイベント時刻を示し次式で定だし，次式において A mod B は，A を B で除算した

義される．

余剰とする．n は，End と Start を挿入した回数で，qt =0 以上の整数である．
δt+1 (j) = max [δt (i)Aij ]・bj (yt+1 mod 480) (4)iただし，Aij = aij
Aij = aiE・aSj・aSE n(n = 0)(n > 0)Viterbi アルゴ リズムは，図 4 のようなトレリス上
で，左から右に至る状態遷移系列の探索を行うアルゴ
リズムである．このトレ リスは，横軸にイベントを，
縦軸に 1 から 12 の状態を配置しており，各イベント
を 1 から 12 のいずれかの状態に対応づけてゆくこと
で，1 つの状態遷移系列が得られる．拍線（拍の境目）をまたぐ 状態遷移には End と Start を挿入する．このようなトレリス上で左から右に向かって式 (4) を用いながら δt (i) を計算してゆくことにより，最も事後確率の高い系列を選択することができる．
本研究ではテンポ一定の伴奏に合わせて弾いた演奏θ − 1
t

12

× 480

(5)

• クォンタイズ後のイベント間隔 rt，t+1
rt，t+1 は，2 つのイベント間のパスが実際に選択されたと考えた場合のクォンタイズ後のイベントの間隔であり，次式で定義される．

rt，t+1 (n) = (qt+1 − qt ) + n × 480(6)

ここで n は，End と Start を挿入した回数である．
このとき，2 つのイベントが拍線をまたいだ回数 n̂は，実際の演奏のイベント間隔 yt+1 − yt とクォンタ
イズ後のイベント間隔 rt，t+1 との差を最小にする nである（ 式 (7) ）．

n̂ = argmin {(yt+1 − yt ) − rt，t+1 (n)}(7)

nたとえば，図 5 のような音符のクォンタイズを考えたとき，これに対応する適切な遷移は，状態 1（ qt = 0 ）から状態 1（ qt+1 = 0 ）への遷移となる（ 実際には，あらゆる状態間の遷移を計算する）．このとき，式 (6)Vol. 43

No. 2

発音時刻の楽譜上の位置を確率モデルにより推定するクォンタイズ手法

239

学習する．学習によって得られたモデルパラメータを使ってクォンタイズすることにより，モデルが正しい挙動をしていることを確認する．

3.1 学習用データ
学習用のデータセットとして，人工的に生成し た
データと，人間の演奏者のデータとの 2 通りを用意した．人工データは，プログラムの動作および，発音時
刻のゆらぎの大きさによるクォンタイズの性能変化に
図 5 付点 2 分音符の状態遷移の例
Fig. 5 An example of state transition for a dotted halfnote.

ついての検証を意図したものである．

(1)

人工データ

人工データの生成では，まずその拍を 8 分 3 連音符の演奏にするか，16 分音符の演奏にするかを乱数で決定し，1 拍に含まれる音数を 1 から 6☆ までの乱数で決定する．次に，それぞれの音が，どの位置に割り振られるか乱数で決定する．8 分 3 連音符では 3 通り，16
分音符では，4 通りのうちいずれかの位置となる．以
上のようにしてできたランダムデータ  a の発音時刻
を，平均 0，標準偏差 σ の正規分布の乱数を用いて，ゆらぎをつけたものを人工データ y a とする．σ =10，

20，30（ 1 拍=480 ）とした 3 セットを作った．
図 6 4 つの HMM による探索木の例
Fig. 6 An example of a search tree when using fourHMMs.

( 2 ) 実演奏データ
3 人の演奏者 A，B，C が，テンポ一定の伴奏に合わせて MIDI ギターで即興演奏した記録を，実演奏デー
タ y h とする．演奏の長さは 12 コーラス（ 1 コーラ

で qt+1 − qt の値は 0 となり，代入すると式 (7) はn̂ = argmin {(yt+1 − yt ) − n × 480}(8)nス=12 小節）であり，そのうち約半分がソロ，残りが伴奏である．伴奏部分の多くは 2 音の和音の演奏である．各演奏者に 2 回ずつ，一方はテンポ 120，もう一となる．このとき，1200 ≤ yt+1 − yt ≤ 1680 とす

方は演奏者自身が設定したテンポでの演奏とし，合計

ると n̂ の値は 3 となり，図 5 のように 3 回 End と

6 セットのデータを作成した．

Start を挿入すればよいと求まる．
4 つの HMM に分岐したモデルの場合には，各拍で4 つの HMM のどれを用いるかを，図 6 のような木( 3 ) 正解データ学習を行うためには，正解データ，すなわち，演奏者が元々弾こうとした正規化された発音時刻を教師デー

構造を用いて探索していかなければならないが，プロタとして与える必要がある．人工データの場合には，グラムとしては図 4 と同様のトレリス上の探索に帰着

ゆらぎを加える前のランダムデータ  a が正解データさせることができる．その場合，トレリスの縦軸にあとなる．

と 2 行を加え，16 分遷移型の状態 1 と，8 分 3 連遷移

一方，人間の即興演奏データの場合には，正解データ

型の状態 1 と，頭のみ型の状態 1 とをそれぞれの別々が存在しないので，人間が手作業でラベルづけをするの状態として扱う．また，音なし型の場合には，トレことにより正解データ  h を作成した．具体的には，市リス上に Start と End を 1 つずつ挿入する．

3. モデルパラメータの学習
本学習では，元々弾こうとした正規化された発音時

販のシーケンスソフトウェア（ Twelve Tone System，Cakewalk Pro Audio 9 ）を用いて，ピアノロール表
示☆☆した音符の位置と長さを視覚的に確認しながら，
1 音ずつ適切な位置にラベルづけしていった．発音時

刻系列  （ 正解データ ）と，演奏された発音時刻系
列 y の両方を学習用データとして用意することにより，発音時刻の遷移のモデル P ( ) すなわち aij と，
発音時刻ゆらぎの順モデル P (y | ) すなわち bj (k) を☆

実験で使用した実演奏データの 1 拍内の音数の最大は 6 音であった．
☆☆
ピアノロール表示とは，縦軸を音の高さ，横軸を時間とし ，音の出るタイミングと鳴り続けている長さを表示するものである．

240

Feb. 2002

情報処理学会論文誌

刻のゆらぎが大きく，いくつかの正解候補が考えられは 16 分遷移型では和音が出力されにくい傾向がある

た場合には，すべての候補のクォンタイズ結果を作っことを示しているが，実際の C2 の演奏でもそのようて聴き比べ，より適切だと判断したものを採用した．

になっていた．

3.2 モデルパラメータの推定
正解データ  と演奏された発音時刻系列 y から，

3.3 クォンタイズ結果
クォンタイズの評価を，音単位と拍単位の 2 通りで

aij ，bj (k) を推定した．出力確率 bj (k) の分布の学習行った．音単位の評価は，各音の発音時刻が正解と一は，学習データの音数の不足を補うため，音が入った

致している割合である．拍単位の評価は，拍の種類を，イベント時刻を中心とし標準偏差が 5（ 1 拍=480 ）の
図 7 中の (a) は，人工データを作るときのゆらぎの16 分遷移型，8 分 3 連遷移型，頭のみ型，音なし型の4 種類に分けたとき，各拍の種類が正解の種類と一致している割合である．この 4 種類への分け方は，1 つ

ガウス分布を足し合わせることにより求めている．
標準偏差 σ = 20（ 1 拍=480 ）とした場合の人工デーの HMM でのモデルの場合は，クォンタイズ結果からタから学習された，b5 (k) の分布である．(b) は，演求め，4 つの HMM に分岐したモデルの場合は，クォ

奏者 C の 2 回目の演奏（演奏 C2 と呼ぶ）から求めた
b5 (k) の分布である．人工データは，元々正規分布の乱数でゆらぎを与えているので，b5 (k) の分布 (a) は，

ンタイズしたときに選択された HMM の型から求め正規分布となった．一方，実演奏データから求めた，す．演奏者 A，B が 2 回の演奏でそれぞれ似た傾向の

b5 (k) の分布 (b) もほぼ正規的な分布となったが，分演奏をしているのに対し，演奏者 C は，1 回目は 16

布の中心がやや後ろにずれていた．このことは，状態

分音符を多用した演奏，2 回目は 16 分音符のまった5 の位置の音符が，元々演奏者が弾こうとした発音時くない演奏であった．

刻よりも遅れて演奏される傾向があることを示している．実際，演奏 C2 を調べたところ，8 分 3 連音符の頭の音が通常より長く弾かれ，次の音の発音時刻が遅れる傾向が認められた．
図 8 は，演奏 C2 から求めた 4 つの HMM の遷移ている．
表 1 に正解データに含まれる 4 種類の拍の割合を示

本研究では，一致率を以下のように定義し，クォンタイズの性能を評価する．
(音単位の一致率) =(正規化後の拍内位置が正解と一致した音数)(正解データ中の音数)(9)

確率 aij である．8 分 3 連遷移型，頭のみ型に対し 16分遷移型の自己ループの確率が低くなっていた．これ

図 7 人工，実演奏データから求めた b5 (k)Fig. 7 b5 (k) obtained from artiﬁcial data and humanperformance data.

図 8 演奏 C2 から求めた aij
Fig. 8 aij obtained from C2-performance data.

表 1 正解データに含まれる 4 種類の拍の割合
Table 1 Percentages of four kinds of beat included in correct data.

16 分の拍の割合
8 分 3 連の拍の割合
頭だけの拍の割合
音がない拍の割合

σ = 10
38.8%
37.8%
6.9%
16.4%

人工データ
σ = 20

38.8%
37.8%
6.9%
16.4%

σ = 30
38.8%
37.8%
6.9%
16.4%

演奏者 A
A1
A2
21.4%
5.5%
54.2%
68.7%
6.8%
10.1%
17.6%
15.7%

演奏者 B
B1
B2
6.5%
2.7%
58.2%
85.8%
11.9%
6.4%
23.3%
5.1%

演奏者 C
C1
C2
37.2%
0.0%
42.1%
39.7%
5.9%
26.7%
14.8%
33.8%

Vol. 43

No. 2

241

発音時刻の楽譜上の位置を確率モデルにより推定するクォンタイズ手法
表 2 機械クォンタイズと本手法の比較（ 音単位の一致率）
Table 2 Comparison between a commercial sequence software and our method (apercentage of correct onsets) .

人工データ
演奏者 A
σ = 10σ = 20σ = 30A1
A2
機械クォンタイズ（ 8 分 3 連）
65.6%
58.2%
62.0%
67.6%
85.6%
機械クォンタイズ（ 16 分）
63.9%
67.9%
65.9%
54.5%
37.3%
機械クォンタイズ（ 16 分 3 連）
77.1%
70.7%
60.8%
57.7%
48.4%
制約つき機械クォンタイズ
100%
99.7%
96.3%
74.9%
66.0%
1 つの HMM でのクォンタイズ
99.6%
95.9%
86.5%
75.9%
84.8%
99.5%
95.9%
86.5%
82.3%
89.8%
4 つの HMM でのクォンタイズ
※機械クォンタイズに対して，本手法のほうが性能が向上した箇所に下線をつけた．

(拍単位の一致率) =(拍の種類が正解と一致した拍の数)(正解データの拍の数)

(1)

演奏者 B
B1
B2
79.4%
88.6%
36.8%
34.7%
57.8%
51.3%
63.3%
48.1%
80.0%
90.5%
81.4%
92.8%

演奏者 C
C1
C2
57.0%
97.7%
70.7%
45.5%
56.1%
82.5%
81.0%
77.6%
85.1%
95.0%
85.5%
95.7%

低下することが分かった．
(10)

機械クォンタイズ

まず，閾値処理による機械的なクォンタイズ（機械クォンタイズと呼ぶ）の性能を評価するために，8 分 3 連，

( 3 ) 学習に用いた演奏の HMM クォンタイズ
学習結果のモデルパラメータを用いて，学習に使ったのと同じデータについて HMM クォンタイズを実行．以下に結果を述べる．
し評価した（ 表 2 ）• HMM クォンタイズと制約つき機械クォンタイズ

16 分，16 分 3 連の 3 種類の分解能で機械クォンタイ．なズを実行し ，音単位での一致率を求めた（ 表 2 ）お，これ以外の分解能では一致率はさらに悪かった．

は HMM クォンタイズのほうが高い値を示していその結果，A1 や C1，人工データのように 16 分の拍がた．このことから，発音時刻の状態遷移確率や出の比較
両者の一致率を比較したところ，実演奏データで多く含まれる演奏では，低い一致率しか得られなかっ力確率に傾向（たとえば状態 5 の位置の音符が，た．ただし，C2 のように 16 分で弾かれた拍がまった

元々演奏者が弾こうとした発音時刻よりも遅れてくない演奏では，8 分 3 連の分解能での機械クォンタ

演奏される傾向）を持つ実演奏データの場合では，イズが高い一致率を示すこともあった．

HMM によるモデルが有効であることが示された．

( 2 ) 制約つき機械クォンタイズ
実験に用いた演奏には，8 分 3 連と 16 分の両方の音本研究では，各状態での出力確率 bj (k) を 1 曲の学習データから得た分布を用いているため，曲の符が含まれている．したがって，1 種類の分解能の機中で局所的にリズムがはしったり，もたったりし械クォンタイズで良い結果を得ることは困難である．

た部分では，正しくクォンタイズできない場合がそこでここでは，1 拍内の音符が，8 分 3 連系か 16 分

あった．このような局所的なリズムの変化への対系のいずれかであるという制約つきのクォンタイズを処については，今後検討していく必要がある．

考える．制約つきクォンタイズでは，1 拍内の発音時

一方，人工データでは HMM クォンタイズの性能

刻に対して 8 分 3 連および 16 分の 2 種類の機械クォが制約つき機械クォンタイズの性能を下回った．

ンタイズを同時に行う．そして，クォンタイズ前の発その原因としては，出力確率 bj (k) を学習する

音時刻の位置とクォオンタイズ後の発音時刻の位置の際に足し合わせたガウス分布の標準偏差の値が大距離（差の絶対値）の合計が少ない方のクォンタイズ

きすぎたことが考えられる．標準偏差の値を大き

結果を，拍ごとに選択していく．

くすると，学習データが少ない場合でも出力確率

その結果，人工デ ータに 対し ては ，σ = 10 ではがなめらかになるという利点があるが，値が大き100%の音単位の一致率を示し ，σ = 30 でも 96%以

すぎると分布のすそのが広がってしまい，クォン上という高い一致率を示していた．一方，実演奏デー

タイズの性能が悪化するという欠点もある．人工

タでは，A1 と C1 を除き，8 分 3 連の機械クォンタイ

データのように発音時刻の分布のばらつきが小さ

ズより性能が劣っていた．このことから制約つきクォい場合には，標準偏差の値が小さいほうが高い性

ンタイズは，人工データのように演奏音の発音時刻の能が得られる．実際，人工データ（ σ = 10 ）を分布が正規分布でばらつきが小さい場合には有効であ

標準偏差を 1 として学習した出力確率 bj (k) でるが，多くの実演奏データ等演奏音のばらつきが大きHMM クォンタイズしたところ，一致率は 100%となった．

い場合ではクォンタイズの選択が難しくなり，性能が242

Feb. 2002

情報処理学会論文誌
表 3 1 つの HMM によるモデルと 4 つの HMM によるモデルの比較（ 拍単位の一致率）
Table 3 Comparison between the one-HMM model and the four-HMM model (apercentage of correct beats).

1 つの HMM でのクォンタイズ
4 つの HMM でのクォンタイズ

σ = 10
98.6%
98.6%

人工データ
σ = 20

93.8%
93.8%

演奏者 A
A1
A2
79.0%
85.4%
84.9%
89.2%

σ = 30
81.3%
81.3%

演奏者 B
B1
B2
84.2%
91.9%
87.5%
93.5%

演奏者 C
C1
C2
83.9%
94.9%
84.7%
97.3%

表 4 他の演奏のモデルパラメータでのクォンタイズ結果
Table 4 Quantization results by using the model parameters for other performances.

1 ）自分ので別の演奏
2 ）自分以外の演奏
3 ）ランダムデータでσ = 10———

人工データ
σ = 20———σ = 30
—
—
—

演奏者 A
A1
A2
75.9%
85.3%
70.2%
79.0%
73.3%
53.4%

演奏者 B
B1
B2
79.4%
91.6%
59.2%
73.5%
60.8%
55.2%

演奏者 C
C1
C2
55.5%
77.9%
76.9%
93.1%
82.5%
86.1%

• 1 つの HMM によるモデルと 4 つの HMM によるモデルの比較
両者の音単位の一致率を比較すると，実演奏デー
タでは，4 つの HMM によるモデルのほうが，一
致率が高かった．これは，状態 1 を，16 分遷移型，

8 分 3 連遷移型，頭のみ型の 3 状態に分けること
により，各々の場合の b1 (k) の分布を別々に学習し，より詳細にモデル化されたためであると考えられる．実際，拍単位の評価でも，4 つの HMMによるモデルのほうが，1 つの HMM によるモデ図 9 クォンタイズ結果の例
Fig. 9 An example of quantization results.

ルより高い一致率を示していることから，16 分
遷移型と 8 分 3 連遷移型の識別性能が向上したこ．
とが確認できた（ 表 3 ）(4)

一方，人工データでは，1 つの HMM によるモデ

ンタイズ

他の演奏のモデルパラメータでの HMM クォルを使った場合と 4 つの HMM によるモデルを各実演奏データに対して，それ以外の演奏で学習した

使った場合とが同じ一致率となった．これは，そモデルパラメータを用いて，HMM クォンタイズを実もそも人工データが正規分布の乱数でゆらぎを与．評価に用いたモデルパラメー
行し評価した（ 表 4 ）

えているために，状態 1 を分けた場合の 3 つのタは，1 ）同じ演奏者の別の演奏で学習したもの，2 ）b1 (k) も，分ける前の b1 (k) も，いずれも同じ正

自分以外の 2 人の演奏で学習したもの，3 ）ランダム

規分布となるためである．

データ（ σ = 20 ）で学習したもの，の 3 通りである．

• クォンタイズ結果の例
図 9 は，演奏 C2 のクォンタイズ結果の一部を示したものである．機械クォンタイズ（ 16 分）でじ演奏者のほかの演奏に適用できるか調べるためのもは，8 分 3 連音符のクォンタイズに失敗し，機械のである．1 ）の結果，演奏者 A，B は，その曲から評価は，4 つの HMM によるモデルで行った．

1 ）は，ある演奏から得られたモデルパラメータが，同

クォンタイズ（ 8 分 3 連）では，16 分音符のクォ学習したパラメータを使ってクォンタイズするのと比ンタイズに失敗した．また，制約つきクォンタイ

べて，一致率が最大 6.4%しか劣っていなかった．一ズでも 2 拍目でクォンタイズに失敗した．これは，方，演奏者 C は，20%近く劣っていた．これは，2 回

2 拍目の 8 分 3 連の発音時刻が遅れ，16 分の機の演奏をしたときに，演奏者 A，B はそれぞれ似た傾械クォンタイズが選択されたためである．一方，向の演奏を 2 度したのに対し，C は，大きく異なる傾HMM クォンタイズでは，1 つの HMM と 4 つの向の演奏をしたためだと考えられる．このことから，

HMM の両方とも，すべてのイベント時刻のクォンタイズに成功した．

A，B のように，演奏傾向が似ている場合には同じモデルで適用できるが，大きく異なる場合には，適用でVol. 43

No. 2

発音時刻の楽譜上の位置を確率モデルにより推定するクォンタイズ手法

きないということが分かった．2 ），3 ）は，モデルパ

243

いても検討していく．

ラメータにいくつかの演奏の平均的なモデルや，正規

謝辞 演奏者として実験に協力していただいた，橋的な分布を与えることにより，クォンタイズの性能が本大輔氏，千田真一氏，斎田康弘氏に感謝いたします．

ど う変化するかを調べたものであるが，いずれ場合も，A，B では 1 ）より性能が劣っており，また C でも，
1 ）より高くなったものの，その曲から学習したパラメータを使う場合と比べて一致率が低下していた．
このことは，本研究で提案したモデルが演奏者の発音
時刻の特徴や癖を獲得しており，ある演奏者のモデルを一度作ればその演奏者が似た傾向の演奏をしたときには，同じモデルでクォンタイズが可能であることを示している．

4. ま と め
本論文は，テンポ一定の伴奏に合わせて弾かれたゆらぎを含む即興演奏の発音時刻から，演奏者が元々弾こうとした正規化された発音時刻を推定する手法を提案した．本手法では，発音時刻の遷移とゆらぎを隠れ
マルコフモデルを用いてモデル化することにより，和音を含む演奏を確率モデルで表すことを可能とした．
そして，正解データを用いた学習をすることにより，

1 つの HMM によるモデルが市販のシーケンスソフト
ウェアのクォンタイズを超える性能を持つことを示した．また，演奏の各拍に表れるパターンが 16 分系か

8 分 3 連系のいずれかしか含まない場合には，そのパターンに対応した 4 種類の HMM を用意することにより，性能が向上することを示した．ここでは，4 種類の HMM によるモデルしか扱っていなかったが，今後 32 分音符等を含む曲のクォンタイズを考えた場合，

HMM の数を増やしていく可能性について検討しなく

参 考

文 献

1) 浜中雅俊，後藤真孝，大津展之：学習するジャム
セッションシステム：演奏者の振る舞いのモデルの獲得，情報処理学会研究報告，2000-MUS-34,
Vol.2000, No.19, pp.27–34 (2000).
2) Desain, P. and Honing, H.: The Quantization of Music Time: A Connectionist Approach,
Computer Music Journal, Vol.13, pp.56–66(1989).
3) 片寄晴弘，井口征士：自動採譜システム，人工知能学会誌，Vol.5, No.1, pp.59–66 (1990).
4) 後藤真孝：音楽音響信号を対象としたリアルタ
イムビートトラッキング，人工知能学会研究会資料 AI チャレンジ研究会，SIG-Challenge-9801-2,
pp.7–14 (1998).
5) Goto, M. and Muraoka, Y.: An Audio-based
Real-time Beat Tracking System and Its Applications, Proc. ICMC, pp.17–20 (1998).
6) 後藤真孝：拍節認識（ビートトラッキング ），bit
別冊コンピュータと音楽の世界—基礎からフロンティアまで，pp.100–116，共立出版 (1998).
7) Dannenberg, R. and Mont-Reynaud, B.: Following an Improvisation in Real Time, Proc.
ICMC, pp.241–248 (1987).
8) Allen, P. and Dannenberg, R.: Tracking Musical Beats in Real Time, Proc. ICMC, pp.140–
143 (1990).
9) 齋藤直樹，中井 満，下平 博，嵯峨山茂樹：
隠れマルコフモデルによる音楽演奏からの音符列の推定，情報処理学会研究報告，99-MUS-33,
Vol.99, No.106, pp.27–32 (1999).

てはならない．提案手法によるクォンタイズが，発音
時刻のゆらぎの大きさや演奏の傾向によらず安定して(平成 13 年 6 月 14 日受付)

高い性能を示したことは，クォンタイズへの学習の導(平成 13 年 12 月 18 日採録)入が有効であることを表している．
本研究では，学習によって得られたモデルパラメー

浜中 雅俊（ 学生会員）

タを，実演奏データのクォンタイズに使ったが，各演1998 年日本大学理工学部精密機

奏者の出力確率分布は，楽譜上に量子化された演奏へ

械工学科卒業．2000 年筑波大学大の人間的なノリの付加（ヒューマナイズ）に利用する

学院工学研究科電子・情報工学専攻

こともでき，ある演奏者の発音時刻の特徴を反映した

博士前期課程修了．現在，同専攻博

演奏の生成が期待できる．

士後期課程在学中．音楽情報処理の今後，フレーズデータベースの自動作成を実現する研究に興味を持つ．2001 年情報処理学会山下記念研ため，正解データがなく実演奏データのみしか与えら

究賞，2001 年 SCI（ 5th World Multiconference on

れない場合の，モデルパラメータの推定法について検Systemics, Cybernetics and Informatics ）in Art 優

討していく．また，本研究で扱ったのは，テンポが一

秀論文賞各受賞．

定で伴奏の拍位置が明らかな場合での演奏のクォンタイズであるが，可変テンポの場合への対応可能性につ244

Feb. 2002

情報処理学会論文誌

後藤 真孝（ 正会員）

麻生 英樹

1993 年早稲田大学理工学部電子1981 年東京大学工学部計数工学科通信学科卒業．1998 年同大学大学卒業．1983 年同大学大学院工学系研

院博士後期課程修了．同年，電子技究科情報工学専攻修士課程修了．同

術総合研究所（ 2001 年に独立行政

年電子技術総合研究所に入所．現在，

法人産業技術総合研究所に改組）に

独立行政法人産業技術総合研究所情入所し，現在に至る．2000 年より科学技術振興事業団

報処理研究部門研究グループ長．知的学習システムの．音楽情
さきがけ研究 21 研究員を兼任．博士（工学）

実現に関する研究に従事．電子情報通信学会，人工知

報処理，音声言語情報処理等に興味を持つ．1992 年

能学会，日本神経回路学会，行動計量学会各会員．

jus 設立 10 周年記念 UNIX 国際シンポジウム論文賞，1993 年 NICOGRAPH’93 CG 教育シンポジウム最優

大津 展之秀賞，1997 年情報処理学会山下記念研究賞，1999 年平1969 年東京大学工学部計数工学

成 10 年電気関係学会関西支部連合大会奨励賞，2000

科卒業．1971 年同大学大学院数理年 WISS2000 論文賞・発表賞，2001 年日本音響学会第工学専攻修士課程修了．同年電子技

18 回粟屋潔学術奨励賞・第 5 回ポスター賞各受賞．電子情報通信学会，日本音響学会，日本ソフトウェア科

術総合研究所入所．以来，パターン学会，日本音楽知覚認知学会，IEEE，ICMA，ISCA

人工知能に関する数理的研究に従事．工学博士．数理各会員．

情報研究室長，首席研究官，知能情報部長を経て，現認識，画像処理，多変量データ解析，在，産業技術総合研究所フェロー．筑波大学連携大学
院教授，東京大学大学院情報理工学研究科教授を併任．
電子情報通信学会，日本行動計量学会等各会員．