情報処理学会 インタラクション 2013
IPSJ Interaction 20132013-Interaction (3EXB-13)
2013/3/2

Ryry: 多声楽器に対応可能な音響入力自動伴奏システム
山本 龍一1,a)

酒向 慎司1,b)

北村 正1,c)

概要：協奏とは，複数人が同時に演奏を行う演奏形態である．人の演奏にはテンポの揺らぎ，演奏誤りなどの不確実性が含まれるが，人はそのような演奏を聴き，相手に合わせて演奏を行うことができる．本稿
では，そのような人の働きを機械で実現する試みとして，楽器演奏者の演奏に自動的に追従して伴奏を再生させる自動伴奏システムを提案する．協奏において人の演奏に合わせようとする働きは，計算機によって奏者が楽譜上のどの位置を演奏しているのかを瞬時に認識し，次の演奏位置を予測する問題と捉えられ，楽譜追跡と呼ばれる．本研究では，テンポの揺らぎ，演奏誤りなどを含む人の演奏を確率モデルとして記述することで，演奏の不確実性に頑健な楽譜追跡を実現し，多声楽器に対応可能な音響入力自動伴奏システムを構築した．

Ryry: Automatic Accompaniment System
Capable of Polyphonic Instruments
Ryuichi Yamamoto1,a)Shinji Sako1,b)Tadashi Kitamura1,c)

Abstract: A concert is a live performance which consists of some performers. In a concert, each humanperformer can play the musical performance correspond to the other one, even if the performance includes
uncertainty such as tempo fluctuation and mistakes. In this paper, we propose an automatic accompaniment
system as an attempt to realize human-computer concerts, which follows the human performance and play
the accompaniment correspond to the performance automatically. The capability of following a human performance is a problem to recognize and anticipate the score position in real-time by computer. It is called
score following in the literature. In our work, we introduce a robust score following algorithm by modelinghuman performances which include uncertainty such as tempo fluctuation and mistakes and developed anautomatic accompaniment system which is capable of polyphonic music signal.

1. はじめにされるかを瞬時に予測し，相手の演奏に柔軟に合わせることができる．このような人の働きを機械で実現しようとす協奏とは，複数人が同時に演奏を行う楽器演奏の形態でる試みとして，奏者の演奏に追従して予め記録された伴奏ある．例としては，アンサンブル，吹奏楽，オーケストラを自動的に再生させる，自動伴奏の研究が盛んに行われてなどがこれに当てはまる．人同士の協奏においては，複数いる [1–7] ．自動伴奏は，協奏の機会が多く得られない奏の楽器演奏者（以下，奏者）が，互いにずれが発生しない者に対して奏者単独での仮想的な協奏を実現するほか，伴ように演奏することを期待されるが，人による演奏には奏付きの練習支援としての活用が期待される．

テンポの揺らぎ，時には演奏誤り（音符の置換，挿入，脱人に合わせて演奏するという行為は，相手が楽譜上のど落）が含まれるため，一般に容易ではない．しかし，熟練の位置を演奏しているのかを認識し次の演奏位置を予測すの奏者であれば，相手の演奏を聴き，次にどのように演奏る働きと，物理的に演奏を行う働きが統合したものとして捉えられる．前者は人の音楽認知機能に関わる非常に重要

1a)
b)
c)

名古屋工業大学
Nagoya Institute of Technology, Japanryuichi@mmsp.nitech.ac.jp
sako@mmsp.nitech.ac.jp
kitamura@mmsp.nitech.ac.jp© 2013 Information Processing Society of Japanな働きであり，計算機で実現しようとする試みは楽譜追跡と呼ばれる．本研究では，自動伴奏の練習支援としての活用を想定し，テンポの揺らぎ，演奏誤りや弾き直しを含む

612

演奏に対しても頑健な楽譜追跡を実現することに重点を置の揺らぎを考慮することが望ましい．そのような楽譜追跡

く．既存研究では，MIDI 信号を入力とした演奏誤り，弾を実現するためには，以下の問題を解決する必要があるとき直しにも頑健な楽譜追跡手法および自動伴奏システムは考えられる．

提案されている [4]．しかし，MIDI 出力を備えたごく限ら( 1 ) 演奏誤り，弾き直し，テンポの揺らぎなど，多くの演れた楽器にしか対応できないという本質的な問題が存在する．一方で，音響信号を入力とする自動伴奏システムも提案されている [5–7]．しかし，多声楽器で音響信号が複雑奏の不確実性が含まれる．

( 2 ) 特に多声音楽の場合に，追跡の手がかりとなる音高や発音時刻の不確実性が増加する．になりうる場合に頑健に追従可能で，かつ練習支援を想定( 3 ) 楽譜追跡は，リアルタイムという時間的な制約を満たした弾き直しを考慮したシステムは，楽譜追跡の難しさゆし，かつ因果的なシステムでなければならない．

えにいまだに十分なもの存在していない．

上記のうち，(1), (2) に関しては，多くの研究で議論されそのような背景から，本研究ではテンポの揺らぎ，演奏てきた [11–16]．しかし，(3) については十分ではなく，著誤り，弾き直しなどの演奏の不確実性を考慮しつつ，音響者は新たに (3) の制約の元で頑健な楽譜追跡手法を開発し信号が複雑になりうる多声楽器の演奏に対しても頑健に楽た [8, 10]．

譜追跡を実現する方法について検討してきた [8–10]．本稿
では，[10] で提案した，演奏の確率モデルに基づく楽譜追次節では，本システムで用いる楽譜追跡手法について具体的に述べる．

跡手法を応用し，多声楽器にも対応可能な音響入力自動伴奏システムを提案する．

2. 自動伴奏システム Ryry の構成

3.2 確率モデルに基づく楽譜追跡
提案する楽譜追跡手法の基本的なアイデアは，演奏位置の遷移とテンポの揺らぎの依存関係を確率モデルで記述す

人同士の協奏では，奏者は互いの演奏を聴き，次にどのることにある．確率モデルで表すことで，演奏誤りや弾きように演奏されるかを予測し，相手の演奏に合うように演直しを見通しよくモデル化することができ，テンポの揺ら奏していると考えられる．この考えに基づき，自動伴奏のぎ，音高や発音時刻の不確実性を確率分布の揺らぎとして問題を，特徴抽出，楽譜追跡，伴奏再生の 3 つに分けて考捉えることができる．また，楽譜追跡の問題は確率モデルえる．図 1 に提案する自動伴奏システム Ryry（リリー）のの事後確率最大化として定式化することができるほか，確構成を示す．システムは，上記の 3 つの問題に対応する率モデルを記述するパラメータを，データから統計的に自要素から構成されており，入力は演奏の音響信号，出力は動学習することも可能である．

同期された伴奏の MIDI 信号である．特徴抽出部では，音提案法では，演奏位置の遷移はセミマルコフ条件付き

響信号から楽譜追跡の手がかりとなる音高，発音の情報が確率場（Segmental Conditional Random Fields; SCRFs），抽出される．具体的には，音響信号を一定のフレーム長とテンポの揺らぎは線形動的システム（Linear Dynamical

フレームシフトでフレーム分割し，ウェーブレット変換にSystem; LDS）によってモデル化を行った [10]．演奏位置

基づくクロマベクトルと Spectral Flux に基づくオンセッおよびテンポの推定は，それぞれ Viterbi アルゴリズム，ト特徴が算出される．それらの 2 つを合わせて特徴量としカルマンフィルタによって効率的に行うことができる．て，楽譜追跡部ではある時刻での演奏位置と瞬時テンポをリアルタイムという制約のため，従来法の多くでは，推定し，伴奏再生部では入力の演奏に同期した伴奏を遅延

Viterbi アルゴリズムや動的計画法を逐次的に最適解を出なく再生する．なお，楽譜は既知とし，MIDI データとし力する形に近似していた [17–19]．しかし，特に信号が複て与えられるとする．

雑な場合においてノイズに過敏に反応して誤推定を起こし

以下，本システムの核となる楽譜追跡と伴奏再生について述べる．

3. 楽譜追跡3.1 楽譜追跡の問題
楽譜追跡は，奏者の演奏に対して，楽譜の情報を元に楽譜上の演奏位置をリアルタイムで求める問題である．ここでは，伴奏再生のために演奏の速さを表すテンポの情報がてしまうことが考えられる．そこで，α（遅延幅）秒過去の演奏位置を Viterbi アルゴリズムによって推定し，現在位置はテンポにより予測する頑健な楽譜追跡方法を考案した．基本的なアルゴリズムは以下の通りである．

Step 1 Viterbi アルゴリズムにより入力信号の演奏位置と発音時刻の系列を求める．

Step 2 Step 1 の結果からカルマンフィルタによってテンポの推定を行う．

必要となるため，楽譜追跡をある時刻の演奏位置と瞬時テ

Step 3 遅延幅 α を一つ前の発音時刻までの時間と設定ンポを求める問題とする．自動伴奏においては，単旋律楽し，演奏位置の遷移の 1 次近似モデルにより現在の演器のみならず，多声楽器においても頑健に追従可能であり，かつ練習の場合を想定して，演奏誤り，弾き直し，テンポ© 2013 Information Processing Society of Japan

奏位置を予測する．
上記のアルゴリズムを音響信号が入力される度に繰り返す

613

自動伴奏システム : Ryry（リリー）
音声入力

特徴抽出

楽譜追跡伴奏再生

MIDI 出力

音響信号

・現在の演奏位置
ウェーブレット変換
オンセット検出クロマベクトル

奏者

奏者・テンポの揺らぎ

オンセット関数＋伴奏BPM

図 1 自動伴奏システム Ryry（リリー）の概要．

Fig. 1 The outline of automatic accompaniment system “Ryry”

ことにより，リアルタイムで演奏位置とテンポを求めるこ

計算機による MIDI 演奏であれば，伴奏の演奏をほぼ遅延とができる．本システムでは，この楽譜追跡アルゴリズムなく再生することができるため，予測された位置に基づきを用いる．詳細は，[8, 10] を参照されたい．

伴奏の MIDI 信号を再生させることで，奏者に瞬時に追従

4. 伴奏再生する自動伴奏を実現することができる．弾き直しが行われた場合には，奏者と伴奏に演奏位置のずれが生じるが，そ楽譜追跡の結果より得られる演奏位置とテンポから，伴のような場合には伴奏を一時停止し， 奏者の演奏位置とテ奏の演奏位置とテンポを決定し，リアルタイムに同期されンポを伴奏に同期することで対応可能である．また，実際た伴奏を再生する問題を伴奏再生とする．なお，伴奏の出には楽譜追跡は誤推定の可能性を考慮して，楽譜追跡が一力には MIDI 信号を用いる．伴奏に音響信号を用いる自動

定時間楽譜通りの演奏位置の遷移を出力していれば伴奏の伴奏システム [6, 7] も存在し，それらは MIDI 信号では表MIDI 信号を再生させ，そうでなければ伴奏を一時停止す現できない表情豊かな伴奏を可能にするほか，既存の音源ることで，不自然な伴奏を回避することができる．

をそのまま利用できる利点がある一方で，伴奏用の特定のパートだけの音響信号を予め用意しておく必要がある．こ5. Ryry の仕様，動作環境

れには，ある音源から特定のパートだけを除去するマイナ

Ryry はクロスプラットフォームアプリケーションを設スワンと呼ばれる技術が必要であり，一般に困難である．

計方針としており，Windows，Mac OS X，Linux などのMIDI であればそのような困難はなく，MIDI データを用多くの環境で動作する．使用に当たっては，最低限以下を意するだけで自動伴奏を実現することができる．

揃える必要がある．

人同士が協奏を行う際には，協奏する相手の次の演奏の( 1 ) Ryry が動作する PC

タイミングを予測して，自身の演奏を合わせようすると考( 2 ) 演奏する楽曲の MIDI ファイルえられる．ここでは，このような予測に基づいて，奏者の( 3 ) 音声入力デバイス（マイクロホン）演奏に追従する伴奏再生手法を考える．ある時点におい( 4 ) 伴奏用 MIDI 音源て，奏者と伴奏の演奏位置および瞬時テンポが一致し，か( 5 ) 音声出力デバイス（スピーカー）

つ瞬時テンポが局所的に変化しないと仮定すれば，演奏位本システムでは，MIDI ファイルを用意することで任意置の遷移の 1 次近似によって，伴奏の演奏のタイミングをの楽曲で自動伴奏を行うことができる．ユーザは，MIDI予測することができると考えられる．しかし，奏者の演奏

ファイルに含まれる複数のトラックから演奏するトラックにはテンポの揺らぎが含まれるため，時間が経つにつれてと自動伴奏を行うトラックを選択し，自動伴奏の開始，停奏者と伴奏の演奏位置にずれが生じることが予想される．

止を行うことができる．ただし，実際には上記に加えて演したがって，本研究では，楽譜追跡において推定された奏奏するパートの楽譜も必要である．なお，PC 付属のマイ者の演奏位置とテンポをリアルタイムで伴奏に同期するこクロホンを含め，一般的なマイクロホンで動作することをとで，伴奏の演奏のタイミングを予測する方法を用いる．

確認しているが，楽譜追跡の誤推定を避けるため，周囲の© 2013 Information Processing Society of Japan614

ノイズの影響を受けにくい，楽器に直接取り付け可能なピエゾタイプが望ましい．
本システムを用いて自動伴奏を行う様子の動画が*1 にて[11]公開されている．
[12]

6. おわりに
本稿では，人と機械の協奏を実現する試みとして，多声[13]楽器にも対応可能な音響入力自動伴奏システム Ryry を提案した．本研究では，協奏において人の演奏に合わせる働[14]

きを，奏者の演奏を聴く，楽譜上の演奏位置を認識・予測する，実際に演奏を行うという 3 つ分け，それらを計算機で解決することで自動伴奏を実現した．提案する自動伴奏[15]

システムは，演奏誤りや弾き直しなどの不確実性を含む人の演奏に対して頑健な楽譜追跡手法を応用することで，音響信号が複雑になりうる多声楽器であっても柔軟に追従す[16]

ることができる．
今後の課題としては，楽譜追跡アルゴリズムの計算量の削減がある．本稿で提案した楽譜追跡手法は，不確実性を[17]含む多声楽器の演奏にも頑健な一方で，楽譜に含まれる和音数の増大に従ってリアルタイムでの動作が難しくなるた[18]

め，今後この問題の解決に取り組みたいと考えている．
謝辞

本研究は，市原国際奨学財団および名古屋工業大学研究推進経費の支援を受けた．

[19]

Random Fields and Linear Dynamical System, MIREX
submission, (2012).
Dixon, S.: An On-line Time Warping Algorithm for
Tracking Musical Performances, Proc. IJCAI, pp.1727–1728, (2005).
Dannenberg, R. and Hu. N.: Polyphonic audio matching for score following and intelligent audio editors,
Proc. ICMC, pp. 27-34, (2003).
Raphael, C.: Aligning music audio with symbolic scores
using a hybrid graphical model, Machine Learning,vol.65 no.2-3, pp389–409, (2006).
Cont, A.: A coupled duration-focused architecture forreal-time music-to-score alignment, IEEE, Trans. on
Pattern Analysis and Machine Intelligence, vol.32,no.6, pp974–987, (2010).
Otsuka, T., Nakadai, K., Takahashi, T., Komatani, K.,
Ogata, T. and Okuno, H. G.: Design and implementation of two-level synchronization for interactive musicrobot, Proc. AAAI, (2010).
Otsuka, T., Nakadai, K., Takahashi, T., Ogata, T. andOkuno, H. G.: Real-time audio-to-score alignment using particle filter for coplayer music robots, EURASIP
J. Adv. Signal Process, (2011).
Cano P., Loscos A., Bonada J.: Score-Performance
Matching Using HMMs, Proc. ICMC, pp. 441–444,(1999).
Orio, N., Dechelle, F.: Score Following Using Spectral Analysis and Hidden Markov Models, Proc. ICMC
pp.151–154, (2001).
Suzuki, K., Ueda, Y., Raczynski,S. A., Ono, N. andSagayama, S.: Real-time Audio to Score Alignment
Using Locally-constrained Dynamic Time Warping of
Chromagrams, MIREX submission, (2011).

参考文献
[1]
[2]
[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

*1

Dannenberg, R.: An on-line algorithm for real-time accompaniment, Proc. ICMC, pp. 193–198, (1984).
Vercoe, B.: The synthetic performer in the context oflive performance, Proc. ICMC, pp. 199–200, (1984).
Bloch, J. and Dannenberg, R.: Real-time computer accompaniment of keyboard performances, Proc. ICMC,pp. 279–289, (1985).
武田 晴人，西本 卓也，嵯峨山 茂樹.: HMM による MIDI
演奏の楽譜追跡と自動伴奏，情報処理学会研究報告，vol.2006-MUS-66(90)，pp. 109–116, (2006).
Cont, A.: ANTESCOFO: Anticipatory Synchronization and Control of Interactive Parameters in Computer
Music, Proc. ICMC, (2008).
Raphael, C.: Music Plus One: A System for Expressive and Flexible Musical Accompaniment, Proc. ICMC
(2001).
中村 友彦，水野 優，鈴木 孝輔，中村 栄太，樋口 祐介，
深山 覚，嵯峨山 茂樹：音楽演奏の誤りや反復に頑健な音響入力自動伴奏，日本音響学会 2012 年秋季研究発表会，pp. 931–934, (2012).
山本 龍一，酒向 慎司，北村 正：隠れセミマルコフモデ
ルと線形動的システムを組み合わせた音楽音響信号と楽譜の実時間アライメント手法，情報処理学会研究報告，vol.2012-MUS-96(13)，pp.1–6，(2012).
山本 龍一，酒向 慎司，北村 正：セミマルコフ条件付き確率場を用いた音楽音響信号と楽譜のアライメント，日本
音響学会 2012 年秋季研究発表会，pp. 935–936，(2012).
Yamamoto, R., Sako, S., Kitamura, T.: Real-time Audio to Score Alignment Using Semi-Markov Conditional
http://www.mmsp.nitech.ac.jp/˜ryuichi/interaction2013/© 2013 Information Processing Society of Japan615