Vol.2012-MUS-96 No.14
2012/8/10

情報処理学会研究報告
IPSJ SIG Technical Report

多声 MIDI 演奏の楽譜追跡における演奏の即興性のモデル化と自動伴奏への応用
中村 栄太1

山本 龍一2

齋藤 康之3

酒向 慎司2

嵯峨山 茂樹1

概要：人間の演奏に対して自動的に伴奏を同期する，自動伴奏において楽譜追跡は重要な問題である．本稿では，装飾音や即興的な楽句を含む楽曲・演奏に対して追従可能な楽譜追跡について述べる．装飾音のモデル化を演奏生成を記述する隠れマルコフモデルを用いて行うとともに，さらに一般の即興的楽句の構造を記述する方法について議論する．このモデルを用いた楽譜追跡アルゴリズムを示し，その有効性を実際の演奏を用いて評価する．また，このアルゴリズムを用いた自動伴奏システムを構築し，その動作を確認する．
キーワード：楽譜追跡，自動伴奏，演奏の不確定性，隠れマルコフモデル，テンポ推定．

Modeling Performance Indeterminacies for Polyphonic Midi Score
Following and Its Application to Automatic Accompaniment
Nakamura Eita1

Yamamoto Ryuichi2

Saito Yasuyuki3

Sako Shinji2

Sagayama Shigeki1

Abstract: Score following plays an important role in automatic accompaniment, which is an automatedperformance of accompaniment in synchrony with human performances. This paper describes the score
following capable of following performances with ornaments and improvised phrases. We construct a probabilistic model of ornaments based on hidden markov model and discuss a method of describing the structureof more indeterminate improvisational phrases. A score following algorithm based on the model is proposed
and its eﬀectiveness is evaluated using human-played performances. An automatic accompaniment systemusing the algorithm is built and its operation is tested.
Keywords: score following, automatic accompaniment, performance indeterminacies, hidden markov model,
tempo estimation.

1. 導入

るほか，合奏曲などの練習の際における効用も期待される．
また，電子音楽と生演奏の融合にも用いることができ，新人間の演奏に対して，機械が楽譜に基づく伴奏を，自動しい作曲や演奏形態の可能性を与えることができる．こう的にリアルタイムで同期して演奏することは，自動伴奏とした背景から，自動伴奏は Dannenberg [1] や Vercoe [2] の呼ばれる．自動伴奏は，奏者数を軽減した合奏を可能とす研究以来，活発に研究されている（この分野の発展ついて

1

2

3

東京大学
The University of Tokyo, 7-3-1 Hongo, Bunkyo-ku, Tokyo
113–0033, Japan
名古屋工業大学
Nagoya Institute of Technology, Gokiso-cho, Showa-ku,
Nagoya 466–8555, Japan
木更津工業高等専門学校
KisarazuNCT, 2-11-1 Kiyomidai-Higashi, Kisarazu, Chiba
292–0041, Japanc 2012 Information Processing Society of Japan⃝

は，例えば文献 [3] を参照）．
自動伴奏を可能とするには，人間による演奏と楽譜とのマッチングをリアルタイムに行う，楽譜追跡が必要である．
実際の演奏には，楽譜からは一意に定まらない不確定性や即興性が存在する．特に，楽曲中に現れる装飾音や古典派の協奏曲のカデンツァのような構造では，演奏の即興性が1

Vol.2012-MUS-96 No.14
2012/8/10

情報処理学会研究報告
IPSJ SIG Technical Report

以下では，特に e) と f) に重点を置いて議論を進めていくことにする．まず，装飾音の例としてトリルを考える（図1）．トリルでは，構成音の具体的な音価や音数が指定されていないため，様々な演奏法が可能である．慣習などにより，音高に関しても不確定性がある場合がある．このよう
図 1 トリルの様々な演奏法．

な様々な演奏に対して，構成音を一音一音追跡すると，意Fig. 1 Various realizations of a trill.

図されない演奏楽譜位置を推定してしまう危険性が高い．
また，トリルの構成音の音長を用いてテンポ推定を行うと，大きく反映される．楽譜追跡は，このような演奏の不確定

変動が大きく，また意図されないテンポを推定してしまう性に対して頑健である必要があるが，従来の楽譜追跡では，可能性が高い．同様のことは，アルペジオや前打音など他

装飾音や即興的なフレーズを含む演奏に対する追従は十分の装飾音に対しても当てはまる．

に議論されていなかった [4], [5]．本稿では，これらを含む

この問題は，装飾音をその構成音一つ一つに注目するの演奏に対しても追従可能な楽譜追跡を目標とし，議論する．

ではなく，全体として一つの演奏行為として捉えることに

楽譜追跡には入力信号として，音響信号を用いるものとより解決できると考えられる．また，テンポ推定に関してMIDI 信号を用いるものがある．音響信号による楽譜追跡

も，全ての音符の情報ではなく，装飾音の開始位置など選には，Raphael [6] や Cont [4] により考案されたものがあ択された情報をもとに推定することが重要であると考えらる．これらのシステムは特に単旋律楽器による演奏に対しれる．

ては優れた性能を示すものの，ピアノなどの多声楽器の演次に，f) に挙げた即興的な楽句の代表例として，古典派

奏に対しては依然として大きな困難を有している．このよの協奏曲のカデンツァがある．カデンツァは，基本的に，うな楽器の演奏に対しては MIDI 信号を入力とする楽譜追奏者が自由に演奏できる即興的なセクションである．この跡が実際的である [5]．また，鍵盤楽器の場合には電子ピ

ような楽句の演奏では，楽譜追跡は基本的に不可能であり，アノの普及により直に MIDI 信号を得ることが可能な場合

またテンポ推定も不可能に近く，また推定する必要性も小も多い．本稿では，特に需要の大きいと考えられるピアノ

さい．ただし，即興的な楽句の開始と終了は楽譜追跡で重などの鍵盤楽器の演奏に対する自動伴奏を目的とし，多声要となる．

MIDI 演奏を入力とする楽譜追跡を扱う．また，提案する
楽譜追跡アルゴリズムの自動伴奏への応用も議論する．

2. 演奏における即興性と楽譜追跡
2.1 演奏における不確定要素

2.2 楽譜追跡問題
以下では，音価をもとに指定された各音符の楽譜上での位置のことを楽譜時刻（単位は，例えば，四分音符）と呼ぶことにし，変数として τ を用いることにする．これに対楽譜に基づいた音楽の演奏では，演奏行為の多くの部分して，通常の時刻のことを実時刻（または単に，時刻）とが指定されているものの，同時に，直接指示されず奏者の呼び，変数として t を用いることにする．また，各音符の判断に委ねられる部分もある．これは演奏の不確定性と呼発音開始点 (onset time) のことを，発音時刻や発音楽譜時ばれる．演奏の不確定性の代表的なものを以下に列挙す

刻と呼ぶことにする．

る [8]．

演奏される楽譜（以下，演奏譜）は，発音楽譜時刻を与a) 音長や発音時刻の微妙な変動

えられた音符の列であるので，X = {(τi , ci )}Ii=1 と表されb) テンポる．ここで，I は演奏譜上の「音符」の個数であり，i は各c) 強弱やアーティキュレーション「音符」を示す添え字である．τi は i 番目の「音符」の発d) 演奏誤りや弾き直し・弾き飛ばし

音楽譜時刻，ci はその音価や音高，強弱などの各情報を表e) 装飾音における音価や音数，音高しているものとする．簡単な単旋律の楽譜の場合，ci は単f) 即興的な楽句音からなる音符を表すが，多声音楽の楽譜の場合，ci は同

これらの，楽譜からは一意に予測できない演奏の不確定

楽譜時刻に発音される音全部の情報を表しているものとす

性は，奏者の意図や即興性によるものとそうでないものがる．また，上述したように装飾音は，その構成音を別々のあるが，それらをを分別することは一般的に難しい．これ音符とするより一つの「音符」と見なす方が適切であり，らの不確定性を含む演奏に対して自動伴奏を行うには，頑ci はそうした装飾音も表すものとする．以下，ci を演奏行

健に楽譜追跡を行いながら，必要な演奏要素の情報を抽為と呼ぶことにする．

出・推定することが要求される．上述した演奏の不確定性

奏 者 に よ る 演 奏 は ，演 奏 イ ベ ン ト の 時 系 列 S =のうち a) から d) については，多くの文献で議論されてい{(tm , sm )}M
m=1 で表される．ここで，m は各演奏イベン

る [3], [5], [7], [8]．

トを表す添え字であり，tm は演奏イベントの起こる時刻

c 2012 Information Processing Society of Japan⃝2

Vol.2012-MUS-96 No.14
2012/8/10

情報処理学会研究報告
IPSJ SIG Technical Report（以下，演奏イベント時刻），sm は演奏イベントの種類をによって表される．この確率は，一般には δtm に依存する表す．これを，演奏イベント列と呼ぶことにする．本稿でが，通常の演奏ではこの依存性は小さいと考えられるので，は，MIDI イベントを演奏イベントとして用いるため，sm

以下，この依存性は取り扱わないことにする．以上より，

は MIDI メッセージを表していると考えてよい．また，sm

演奏イベント列 S = {(tm , sm )}M
m=1 が観測される確率は，

は多声楽器の楽譜追跡にとって特に重要だと考えられる，
発音開始イベントの音高情報を表すものとする [8]．演奏

p(S) ==

演奏譜 X と，演奏開始から現在までの演奏イベント列 S

p(S|Q)p(Q)(2)

Q

イベント列およびその長さ M はオンラインで演奏イベン
トが到達する度に更新していくものとする．

∑

∑

M
∏

aim−1 ,im bim−1 ,im (δtm , sm )(3)

i1 ,···,im m=1が与えられた時の，現在の演奏位置の推定問題は，X と Sに対して，現在の楽譜位置 iM を推定するという問題としで与えられる．ただし，Q = {im }M
m=1 は演奏行為の系列て定義される．ここで，iM は M 番目の演奏イベントに対であり，aim−1 ,im = p(im , tm |im−1 , tm−1 ) と記した．上式

応する楽譜上の演奏行為の番号を表している．その楽譜時は，演奏イベント生成が，状態遷移確率 aim−1 ,im と出力確

刻は，τiM である．

率 bim−1 ,im (δtm , sm ) を持つ隠れマルコフモデル（Hidden

Markov Model, HMM）で記述されることを表している．

3. HMM による演奏生成のモデル化

このモデルを，演奏 HMM と呼ぶことにする．
出力確率において，ioi の出力と演奏イベントの出力は独3.1 演奏生成の確率モデルと楽譜追跡前章で述べた，不確定的要素を含んだ演奏は確率的に生立であると仮定すると，じると解釈できる．このような演奏の生成過程を確率モデ
ルとして記述できれば，楽譜追跡の問題は，与えられた演

(ioi)

(evt)

bim−1 ,im (δtm , sm ) = bim−1 ,im (δtm )bim (sm )(4)奏イベントの観測に対する確率的逆問題として捉えることができる．この方法は，人間による楽譜追跡の方法を模倣と書ける．ここで，演奏イベントの出力確率は，以前の演していると考えられる．以下では，この理念に立脚して楽奏に依らないと仮定した．

譜追跡を議論する．
確率モデルに基づいた楽譜追跡の利点として，モデルに3.3 状態遷移確率と出力確率含まれる各パラメータに物理的意味を与えることが容易で状態遷移確率 aim−1 ,im は演奏行為の演奏順序を確率ある点が挙げられる．さらに，確率モデルに基づいたアル的に表している．誤りのない演奏の際には，aim−1 ,im =ゴリズムでは，各パラメータの値を機械学習によって最適δim−1 +1,im である．しかし，これ以外の遷移を考えることな値に調整可能であるという点が長所である．

により弾き間違いなどを含んだ演奏のモデル化が可能である．また，遠く離れた和音間の状態遷移確率に対しても 0

3.2 演奏 HMM

でない値を与えることにより，弾き直しや大きな弾き飛ば人間による演奏の過程は，まず楽譜上の演奏行為が意図しを含む演奏をモデル化できる．

され，その次にその意図に基づいて演奏行為が実行されて具体的には，弾き間違えによる一つの和音の脱落の確率

演奏イベントが発信される，という 2 段階に分けて考える

は aim−1 ,im において im = im−1 + 2 の値で表される．まことができるが，これは隠れ状態を持つ確率モデルで記述

た，ミスタッチによる音の挿入誤りの確率は im = im−1 のされる．演奏イベントと演奏イベント時刻が観測される確場合の値により与えられる．さらに，im < im−1 の場合の率 p(tm , sm ) は，意図された演奏行為とその直前の演奏行

値は弾き直しの確率であり，im = im−1 + d で d ≫ 1 の場

為と演奏イベント時刻に依ると考えられるので，条件付き合は大きな弾き飛ばしの確率を表している．aim−1 ,im の具

確率 p(tm , sm |im , im−1 , tm−1 ) によって表される．この確体的な値は，演奏データから学習できるが，ここでは経験

率は，演奏イベント時刻間の相対的な差にのみ依存するとに基づいて設定することにする．演奏 HMM の状態遷移ト考えられるので，以下ではポロジーを図 2 に示す．

bim−1 ,im (δtm , sm ) = p(tm , sm |im , im−1 , tm−1 )(1)

演奏イベントの出力確率は，次章に述べるように，各演奏行為に応じて定められる．また，弾き誤りを含む演奏をと記すことにする．ただし，δtm = tm − tm−1 は発音時刻

モデル化するために，正しい演奏で期待される演奏イベン

間隔 (inter-onset interval, ioi) を表している．

ト以外の出力確率も正の値を持つものとする．ioi の出力

また，演奏行為が意図される確率は，過去の演奏行為によって定まると考えられる．過去の演奏に対する依存関係がマ

確率は，テンポ推定の結果と演奏譜の音価情報をもとに設定することができる．

ルコフ的であると仮定すると，これは p(im , tm |im−1 , tm−1 )c 2012 Information Processing Society of Japan⃝3

Vol.2012-MUS-96 No.14
2012/8/10

情報処理学会研究報告
IPSJ SIG Technical Report

4.3 アルペジオと前打音
アルペジオは構成音間の ioi が短い一連の音によって演奏される．通常アルペジオの演奏は，構成音の順序が定まっているが，即興的に順序や音数が変化して演奏されることもある．ここでは，多様な演奏に対応するため，アルペジオの構成音は順不同に現れるとし，また同音高の繰り返しも起こるものとする．これは，1 つの HMM 状態の自己遷移による出力によって記述される．
前打音は，1 つまたは複数の短い音が音価の指定された
図 2 演奏生成の HMM の状態遷移トポロジー．i 番目の状態は演

音符の前に演奏されるものであるが，ここでも多様な演奏

奏譜の i 番目の演奏行為（和音，装飾音など）に対応している．

を想定し，後続 (和) 音を含めた全体を 1 つの HMM の自Fig. 2 Topology of state transition probability for the performance HMM. The i’th state corresponds to the i’th
“musical action” (chord, ornament etc.) of the performace score.

己遷移による出力によって記述することにする．
アルペジオ構成音間の ioi および前打音の音長は，通常<30 <∼ δt ∼ 100 msec の範囲に分布している．以下では，対(ioi)
応する出力確率 bi,i (δt) は，上記の範囲に主に分布しているとする．

4. 演奏 HMM における和音および装飾音の記述

4.4 多声音楽での装飾音の演奏
鍵盤音楽などの多声音楽では，上述した装飾音は，他の4.1 和音演奏譜の i 番目の演奏行為が和音である場合を考える．
和音は，楽譜上では同時に発音される多重音として記述される．しかし，実際の演奏では各和音構成音は，異なる時刻に順序不定な演奏イベントとして観測される．こうした和音の演奏は，演奏 HMM において小さな ioi を出力す
る自己遷移の結果として記述できる．和音構成音間でのioi は，約 35 msec 以下に分布していることが知られてい動きをする声部と同時に演奏されることがある．このような状況は，装飾音と同時に演奏される他の声部の音を 1 つの HMM 状態にまとめることにより記述が可能である．こうして作られたモデルは，実際の演奏には現れないような演奏も生成するが，逆問題を解く過程である楽譜追跡では問題は生じにくいと考えられる．

5. 即興フレーズる [9]．以下では，和音の演奏に対応する自己遷移に関する(ioi)

出力確率 bi,i (δt) は，δt ≤ 35 msec に主に分布しているも(evt)のとする．また，演奏イベントの出力確率 bi(s) は，sが和音構成音のときに正となる分布により表される．

5.1 即興フレーズの必要性
前章では，装飾音が HMM を用いて記述されることを説明した．この演奏 HMM では，不確定性の高い装飾音が，より不確定性の低い通常の和音と統一的な方法で記述することが可能であった．しかし，同様な方法で装飾音よりも

4.2 トリル
通常のトリルは，2 音の交互繰り返しとして演奏される．
これは，2 つの HMM 状態を用いて記述することも考えられるが，ここでは 1 つの状態の自己遷移によって表現する
ことにする*1 ．これにより，和音を含む shake や多重トリ
ル，3 つ以上の音のトリルに対しても，同様な記述が可能
トリル内の演奏音間の ioi は，演奏の状況により様々で<あるが，およそ 30 <∼ δt ∼ 200 msec の範囲に分布している．
以下では，多様な演奏に対応するため，トリルの演奏に対(ioi)応する自己遷移に関する出力確率 bi,i (δt) は，上記の範囲に主に分布しているとする．また，演奏イベントの出力確(evt)(s) は，s がトリル構成音のときに正となる分布により表される．
*1

い．例えば，古典派の協奏曲におけるカデンツァのような，
ほぼ完全な即興的なフレーズを HMM 状態を用いて記述しようとすると，ioi や音高の出力確率の情報量が高い状態となる．これでは，逆問題を解く際にこの状態が最尤状態となることは必ずしも保障されない．

である．

率 bi

さらに不確定性の高い即興的な演奏を記述することは難し

これにより，実際にはほとんど演奏されない同音連打を生成する
確率も 0 ではなくなるが，確率的逆問題を解く際には問題は生じにくいと考えられる．

c 2012 Information Processing Society of Japan⃝

一方，即興的なフレーズの楽譜追跡では，個々の音を認識する必要はなく，フレーズの開始と終了を検知することのみが重要である．そこで，このような即興的なフレーズ
は，特別な HMM 状態から出力される演奏イベント列で表されるとする．以下では，このようなフレーズあるいはそれに対応した HMM 状態のことを即興フレーズと呼ぶことにする．

5.2 カデンツァと一般の即興フレーズ
即興フレーズの代表例として，上述した協奏曲のカデン

4Vol.2012-MUS-96 No.14
2012/8/10

情報処理学会研究報告
IPSJ SIG Technical Report

ツァを考える．カデンツァを表す即興フレーズは，指定さと帰納的に求まる．楽譜追跡では，最尤状態推定をリアルれた演奏譜上の位置に置かれ，HMM 状態としては，ほぼタイムで行う必要があり，演奏譜の長さが大きくなると処全ての音高を出力する状態として記述できる．カデンツァ

理時間の増大が問題となる．これは，高速 Viterbi 探索ア

は通常，特定の和音あるいはフレーズによってその終了がルゴリズム [8] を用いることにより大幅に改善される．

示される．よって，対応する即興フレーズは，この和音以演奏 HMM に即興フレーズが含まれる場合には，上記最外の音高を自由に出力して構成されるものとしてよい．カ尤推定によって即興フレーズが最尤となった際，フレーズ

デンツァの終了を示す和音やフレーズは，カデンツァの後の終了まで新たな最尤状態更新は行わないものとする．

に続く HMM 状態 (列) として表される．
同様に，一般の即興フレーズは，特定の HMM 状態に対

6.2 演奏のテンポ推定

応して置かれ，即興フレーズで用いられる音高の集合を指自動伴奏を行うためには，演奏の楽譜位置の推定ととも定することにより記述できる．そして，フレーズの終了はにテンポ推定を行う必要がある．テンポ推定は，現在まで後続する HMM 状態列により表現される．また即興フレーの直前の演奏イベント列をもとに行うことができる．

ズは，フレーズの楽譜時間長または実時間長によって指定

装飾音を含む演奏の場合，装飾音の構成音の音価が不確されることもあるが，この場合には，フレーズの終了はこ定であるので，これらをもとにテンポ推定を行うことは不れらの情報により表される．

適切であると考えられる．そこで，HMM 状態の遷移のときにのみテンポの更新を行うことにする．具体的には，状5.3 即興フレーズとしての装飾音

態遷移が起きた時刻をもとに隣り合う発音点間の局所テン

前章では，HMM 状態を用いた装飾音の記述を行ったが，装飾音を即興フレーズとして扱うことも可能である．これ

ポ rim = (τim+1 − τim )/(tim+1 − tim ) を計算し，その移動平均を求めることによりテンポ推定を行う．

により，さらに多様な演奏法を表現することが可能である．

例えば，前・後打音の演奏は，奏者により発音のタイミ

例えば，トリルはトリル構成音を構成音とする即興フレー

ングが異なりうる．また，他の場合においても特定の音のズとすることにより，ioi の制限なしの記述が可能である．

発音時刻をもとにテンポ推定を行うのが適切な場合が起こ

また，アルペジオや前打音も同様に即興フレーズとして表

りうる．これらの場合に対応するため，テンポ推定に用い現可能である．この場合は，即興フレーズの長さを対応すない HMM 状態の選択，および特定の演奏イベントを用いる音符の音価をもとに指定することが考えられる．

たテンポ推定が可能なように楽譜追跡アルゴリズムを設計

6. 不確定な演奏行為を含む演奏の楽譜追跡した．

7. 楽譜追跡の評価と自動伴奏への応用

6.1 演奏の楽譜位置推定
演奏の楽譜位置推定問題は，3 章に述べた演奏 HMM の

7.1 楽譜追跡の評価

逆問題として扱うことができる．具体的には，演奏譜 X に提案する楽譜追跡アルゴリズムの有効性を確認するため基づく現在までの演奏イベント列 S が与えられたとき，最に，アルゴリズムの実装を行い，評価試験を行った．このも確からしい演奏行為の系列 Q = {im }M
m=1 を求めること

アルゴリズムは，今回新たに導入した装飾音と即興フレー

により，現在の演奏位置の推定が可能である．Bayes の定ズに関する部分を除けば，文献 [8] で示されたものと若干

理より，これはの差を除いて同じである．

argmax p(Q|S) = argmax [p(S|Q)p(Q)]Q= argmaxQ[ M∏

i1 ,···,iM(5)]

aim−1 ,im bim−1 ,im (δtm , sm )HMM の最尤推定は（前方）Viterbi アルゴリズムを用いて行うことができる．時刻 tM −1 における各状態 iM −1 でp̂iM −1 =max

i1 ,···,iM −2]
aim−1 ,im bim−1 ,im (δtm , sm ) (7)c 2012 Information Processing Society of Japan
⃝

更新された位置を示している．推定された楽譜位置は，全て正しい位置であった．音価が不確定なトリルや発音時刻の変動がある演奏に対しても，正しく楽譜位置推定が行われたことが分かる．図 4 は，アルペジオを含む演奏の楽譜
アノのためのソナタ第一楽章提示部終わりの部分の第一ピ

とすると，
iM −1

ピアノロール図の縦線は発音点の位置，青線は位置推定が位置推定結果を示している．譜例は，Mozart の 2 台のピ

m=1

[
]
p̂iM = max p̂iM −1 aiM −1 ,iM biM −1 ,iM (δtM , sM )ルを含む演奏の楽譜位置推定結果を示している．譜例は，Beethoven のピアノ協奏曲第 3 番第一楽章の一部である．

を解くことにより求めることができる．

[M −1
∏

したものを用いた．演奏はアマチュアのピアノ経験者により行われた．結果の一部を以下に示す．図 3 は，トリ

(6)

m=1

の最尤値を

評価には，複数の楽曲に対する人間の演奏を MIDI 録音

アノパートを示している．推定された楽譜位置は，全て正(8)

しい位置であった．アルペジオが左手のバスと重なってい5

Vol.2012-MUS-96 No.14
2012/8/10

情報処理学会研究報告
IPSJ SIG Technical Report

実際に自動伴奏をして，システムの動作を確認した．
いずれの楽曲でも，多くの場合に，装飾音などを含む楽句において，演奏者のテンポを反映しながら，安定した伴奏が得られた．

8. 結論
本稿では，装飾音や即興的楽句を含む楽曲・演奏に追従可能な楽譜追跡を議論した．装飾音は，演奏生成を記述した演奏 HMM により表現されることを示した．また，より不確定度の高い協奏曲のカデンツァのような即興的楽句の構造は，即興フレーズという状態を導入することにより表現されることを示した．
図 3

トリルを含んだ演奏の楽譜位置推定．ピアノロール図の縦線
は発音点の位置，太実線（青）は位置推定が更新された位置を示している．

Fig. 3 Estimation of score location for a performance with

この確率モデルの逆問題を解くことにより，楽譜追跡ア
ルゴリズムを設計した．アルゴリズムの有効性を確かめる
ため，実際の演奏を用いた評価を行った．評価の結果，装trills. In the piano roll, the vertical lines show onsets,

飾音や即興的楽句を含む演奏に対して，実際に追従可能で

and the blue bold lines show onsets where the score

あることが確認された．また，このアルゴリズムを用いた

location estimation is updated.

自動伴奏システムを構築し，その動作を確認した．
現段階では，装飾音などに対応する HMM 状態の構成は手動で行っている．今後の課題として，MusicXML や midiで書かれた楽譜からの装飾音を含む HMM 状態の構成を自動化することが挙げられる．また，テンポ推定に関しても，推定箇所の選択の自動化や推定精度の向上が課題である．
参考文献
[1]
[2]
[3]

[4]
図 4

アルペジオを含んだ演奏の楽譜位置推定．

Fig. 4 Estimation of score location for a performance with[5]

arpeggi.

るところでも，推定位置が前後することなく，正しく位置[6]推定が行われたことが分かる．
また，即興フレーズを実際のカデンツァにおいて用いた[7]

試験も行った．楽曲には上記 Beethoven の楽曲を用い，演奏は，カデンツァの直前から楽章の終わりまで行った．複[8]数のカデンツァの演奏の場合にも問題なく楽譜追跡が行わ
れ，カデンツァの開始と終了を検知できた．

[9]

7.2 自動伴奏への応用
提案する楽譜アルゴリズムを用いて自動伴奏システムを構築した．自動伴奏システムは，Eurydice [8], [10] の楽譜
追跡アルゴリズムを上述のものに変更することにより実現[10]

R. Dannenberg, “An on-line algorithm for real-time accompaniment,” Proc. ICMC, pp. 193–198, 1984.
B. Vercoe, “The synthetic performer in the context oflive performance,” Proc. ICMC, pp. 199–200, 1984.
N. Orio et al., “Score Following: State of the Art andNew Developments,” in New Interfaces for Musical Expression, 2003.
A. Cont, “ANTESCOFO: Anticipatory synchronizationand control of interactive parameters in computer music,” Proc. ICMC, 2008.
D. Schwarz, Nicola Orio and N. Schnell, “Robust Polyphonic Midi Score Following with Hidden Markov Models,” Proc. ICMC, 2004.
C. Raphael, “Music Plus One: A system for expressive and ﬂexible musical accompaniment,” Proc. ICMC,
2001.
武田晴登，西本卓也，嵯峨山茂樹, “HMM による MIDI 演
奏の楽譜追跡と自動伴奏,” 情報処理学会研究報告, MUS,pp. 109–116, 2006.
中村栄太，武田晴登，山本龍一，齋藤康之，酒向慎司，嵯峨山茂樹，“Eurydice: 弾き誤り・弾き直し・弾き飛ばしを含む演奏に追従する自動伴奏システム,” 投稿中．
武田晴登，西本卓也，嵯峨山茂樹，“テンポ曲線と隠れマル
コフモデルを用いた多声音楽 MIDI 演奏のリズムとテンポの同時推定,” 情報処理学会論文誌, 48(1), pp. 237–247,
2007.
山本龍一，中村栄太，齋藤康之，酒向慎司，嵯峨山茂樹，“Eurydice: 弾き飛ばし・弾き直しを含む演奏に追従する
自動伴奏システム,” 情報処理学会第 96 回研究発表会，デモセッション, 2012.

した．前節で評価に用いたもの含む複数の楽曲に対して，

c 2012 Information Processing Society of Japan⃝

6