多声 MIDI 演奏の楽譜追跡における装飾音のモデル化と自動伴奏への応用∗☆中村栄太（東大），山本龍一，酒向慎司（名工大），齋藤康之（木更津高専），嵯峨山茂樹（東大）

1

はじめに人間の演奏に対して，機械が楽譜に基づく伴奏を，自動的にリアルタイムで同期して演奏することは自動伴奏と呼ばれ [1]，合奏での奏者数の軽減や個人による合奏曲などの練習，電子音楽と生演奏の融合などに適用可能な技術として活発に研究されている [2]．
自動伴奏を可能とするには，人間による演奏と楽譜とのマッチングをリアルタイムに行う，楽譜追跡が必要である．実際の演奏には，不確定性や即興性など，楽譜からは一意に定まらないという性質があるが，楽Fig. 1 演奏生成の HMM の状態遷移トポロジー．i
譜追跡は演奏のこのような性質に対して頑健である
番目の状態は演奏譜のi 番目の演奏行為（和音，装飾ことが望ましい．楽曲中に現れる装飾音では，演奏の音など）に対応している．
即興性が大きく反映されるが，従来の楽譜追跡では，装飾音を含む演奏に対する追従は十分に議論されず，取扱いの難しい問題であった [3]．本研究では，このる [4, 5]．HMM 状態は，楽譜上の和音や装飾音などような演奏に対しても追従可能な楽譜追跡を目標と（以下，演奏行為）に対応する．状態 i から i′ への状
し，議論する．ピアノなどの演奏に対する自動伴奏を態遷移確率を ai,i′ と記すことにする．また，m 番目想定し，MIDI 信号を用いた楽譜追跡を取り扱うものの発音において，MIDI の発音イベントの音高（以下，とする．
演奏イベント）sm とその時刻（以下，演奏イベント時刻）tm が観測される確率 p(tm , sm ) は，意図された演奏行為 im とその直前の演奏行為 im−1 と演奏イ
2 装飾音の演奏における不確定性
ベント時刻 tm−1 に依ると考えられるため，楽譜に基づいた音楽の演奏では，演奏行為の多くの部分が指定されるが，直接指示されず奏者の判断に委
bim−1 ,im (δtm , sm ) = p(tm , sm |im , im−1 , tm−1 ) (1)
ねられる部分もある．これは演奏の不確定性と呼ばれと表される．ただし，出力確率 bim−1 ,im は時間に関る．特に，トリルなどの装飾音の演奏法は慣習や奏者して，並進対称性を持ち発音時刻間隔(inter-onsetによる差異が大きく，不確定性が大きく反映される．
interval,ioi)
δt=t−tにのみ依存すると仮
mmm−1
例えばトリルでは，構成音の具体的な音価や音数定した．さらに，ioi の出力と演奏イベントの出力はが指定されていないため，様々な演奏法が可能であ独立であると仮定すると，る．慣習などにより，音高に関しても不確定性がある
場合がある．この結果，トリル構成音を一音一音追(ioi)(evt)
bim−1 ,im (δtm , sm ) = bim−1 ,im (δtm )bim (sm ) (2)跡すると，演奏楽譜位置を誤推定する危険性が高い．
また，トリル構成音の音長を用いてテンポ推定を行と書ける．以下，このモデルを演奏 HMM と呼ぶ．
うと，変動が大きく，また意図されないテンポを推定
状態遷移確率 aim−1 ,im は演奏行為の演奏順序をしてしまう可能性が高い．同様のことは，アルペジオ確率的に表している．誤りのない演奏の際 には，や前打音など他の装飾音に対しても当てはまる．
aim−1 ,im = δim−1 +1,im であるが，これ以外の遷移をこの問題は，装飾音を全体として一つの演奏行為考えることにより弾き間違いなどを含んだ演奏のモとして捉えることにより解決できると考えられる．まデル化が可能である．演奏 HMM の状態遷移トポロ
た，テンポ推定に関しても，全ての音符の情報ではな
ジーを Fig. 1 に示す．
く，装飾音の開始位置など選択された情報をもとに推定することが重要であると考えられる．
3.2 演奏 HMM における和音および装飾音の記述

3

装飾音を含む演奏の楽譜追跡

3.1演奏 HMM

前節で述べたような不確定性を含む人間の演奏は，確率的に生じると解釈できる．このような演奏の生成過程を確率モデルとして記述できれば，楽譜追跡の問題は，確率的逆問題として捉えることができる．
人間による演奏の過程は，隠れマルコフモデル（Hidden Markov Model, HMM）を用いて記述でき∗

和音は，楽譜上では同時に発音される多重音として記述されるが，実際の演奏では各和音構成音は，異なる時刻に順序不定な演奏イベントとして観測される．
和音の演奏は，小さな ioi を出力する自己遷移の結果として記述できる．和音構成音間の ioi は約 35 ms 以下に分布していることが実験的に知られているので，(ioi)
出力確率 bi,i (δt) は，δt ≤ 35 ms に主に分布しているものとする．
通常のトリルは，2 音の交互繰り返しとして演奏される．これは，1 つの状態の自己遷移によって表現でModeling ornaments in polyphonic MIDI score following and its application to automatic accompaniment,by Eita Nakamura (U. of Tokyo), Ryuichi Yamamoto, Shinji Sako (Nagoya Inst. Tech.), Yasuyuki Saito(Kisarazu Nat. Col. Tech.), Shigeki Sagayama (U. of Tokyo).

きる．トリル演奏での ioi 出力確率は，実際のトリル<
演奏音間の ioi（およそ 30 <∼ δt ∼ 200 ms）の範囲に主に分布しているとする．
アルペジオおよび前・後打音は，構成音間の ioi が短い一連の音によって演奏される．これらは，1 つのHMM 状態の自己遷移による出力によって記述される．アルペジオ構成音間の ioi および前・後打音の音<長は，実際の演奏での値（およそ 30 <∼ δt ∼ 100 ms）の範囲に主に分布しているとする．
鍵盤音楽などの多声音楽では，上述した装飾音は，他の動きをする声部と同時に演奏されることがある．
このような状況は，装飾音と同時に演奏される他の声部の音を 1 つの HMM 状態にまとめることにより記述が可能である．

3.3

演奏の楽譜位置推定

演奏の楽譜位置推定問題は，演奏 HMM の逆問題として扱える．現在までの演奏イベント列 S ={(tm , sm )}M
m=1 が与えられたとき，最も確からしい演奏行為の系列 Q = {im }M
m=1 は，Bayes の定理より，argmax p(Q|S) = argmax [p(S|Q)p(Q)]Q= argmax
i1 ,··· ,iM[ M∏Q(3)]aim−1 ,im bim−1 ,im (δtm , sm )(4)

m=1を解くことにより求まる．推定楽譜位置は，最尤系
列 Q̂ の最後の要素 îM により与えられる．最尤推定は（前方）Viterbi アルゴリズムを用いて行える．

3.4

演奏のテンポ推定

自動伴奏を行うためには，演奏の楽譜位置の推定とともにテンポ推定を行う必要がある．テンポ推定は，現在までの直前の演奏イベント列をもとに行うことができる．装飾音を含む演奏の場合，装飾音の構成音の音価が不確定であるので，これらをもとにテンポ推定を行うことは不適切であると考えられる．そこで，HMM 状態の遷移のときにのみテンポの更新を行う．
また，多様な演奏に対応するため，テンポ推定に用いない HMM 状態の選択，および特定の演奏イベントを用いたテンポ推定が可能なように楽譜追跡アルゴリズムを設計する．

4

楽譜追跡の評価と自動伴奏への応用

4.1

楽譜追跡の評価

提案する楽譜追跡アルゴリズムの有効性を確認するために，アルゴリズムの実装を行い，評価試験を行った．評価には，複数の楽曲に対する人間の演奏をMIDI 録音したものを用いた．演奏はアマチュアのピアノ経験者によるものを用いた．結果の一部を以下に示す．Fig. 2 は，トリルを含む演奏の楽譜位置推定結果を示している．譜例は，Beethoven のピアノ協奏曲第 3 番第一楽章の一部である．ピアノロール図の縦線は発音点の位置，太実線（青）は位置推定が更新された位置を示している．推定された楽譜位置は，全て正しい位置であった．音価が不確定なトリルや発音時刻の変動がある演奏に対しても，正しく楽譜位置推定が行われたことが分かる．

Fig. 2 トリルを含んだ演奏の楽譜位置推定．ピアノ
ロール図の縦線は発音点の位置，太実線（青）は位置推定が更新された位置を示している．
4.2

自動伴奏への応用提案する楽譜アルゴリズムを用いて自動伴奏システムを構築した．自動伴奏システムは，Eurydice [5]の楽譜追跡アルゴリズムを上述のものに変更することにより実現した．前節で評価に用いたもの含む複数の楽曲に対して，実際に自動伴奏をして，システムの動作を確認した．いずれの楽曲でも，多くの場合に，装飾音などを含む楽句において，演奏者のテンポを反映しながら，安定した伴奏が得られた．

5

結論

本稿では，装飾音を含む演奏に追従可能な楽譜追跡を議論した．装飾音は，演奏生成を記述した演奏
HMM における一状態により表現されることを示した．この確率モデルの逆問題を解くことにより，楽譜追跡アルゴリズムを設計した．アルゴリズムの有効性を確かめるため，実際の演奏を用いた評価を行った．
評価の結果，装飾音を含む演奏に対して追従可能であることが確認された．また，このアルゴリズムを用いた自動伴奏システムを構築し，動作を確認した．
現状では，装飾音に対応する HMM 状態の構成は手動で行っている．今後の課題として，MusicXMLや MIDI で書かれた楽譜からの装飾音を含む HMM状態の構成を自動化することがある．また，テンポ推定に関しても，推定箇所の選択の自動化や推定精度の向上が課題である．

参考文献[1] R. Dannenberg, Proc. ICMC, pp. 193, 1984,
B. Vercoe, Proc. ICMC, pp. 199, 1984.
[2] N. Orio et al., in NIME, 2003.
[3] C. Raphael, Proc. ICMC, 2001,
D. Schwarz et al., Proc. ICMC, 2004,A. Cont, Proc. ICMC, 2008.
[4] 武田晴登他，情報処理学会研究報告, 2006-MUS66, pp. 109–116, 2006.
[5] 山本龍一他，情報処理学会第 96 回研究発表会，デモセッション, 2012.