複数楽曲のテーマに追従するオーディオデータによる伴奏システム
渡邉大地†

橋本周司†

Accompaniment System Tracking Song’s Theme Using Audio Data
DAICHI WATANABE†
1.

SHUJI HASHIMOTO†

はじめにこれまで，自動伴奏システムはMIDI音源再生によるものが中心であり

1) 2)，オーディオデータ再生によ

テーマの譜面情報

る実時間での人間の演奏に追従するものは少ない．まテーマの譜面情報

伴奏用オーディオデータ

た，従来の伴奏システムは，曲目や楽曲の再生位置，キー，テンポなどが変化する即興演奏のパフォーマン

前テーマ

即興演奏

後テーマ

スで用いることは難しい．本研究では，ユーザが演奏するMIDI楽器のメロディから曲目，再生位置，キー，
図2 伴奏用データの取得

テンポを実時間で推定し，即興的な変化にも追従しながらあらかじめ録音したオーディオデータで伴奏する

3.

演奏情報の取得と音響制御．

3.1

伴奏用データの取得システムを作成したので報告する．

2.

伴奏システムの概要

伴奏システムは，即興スタイルの演奏にも対応する

図 1 に伴奏システムのハードウェア構成を示す．シ
ステムはキーボード等の電子楽器，PC，スピーカで構成される．電子楽器からの MIDI 信号解析や音響制
御には Max/MSP（Cycling74）を用いる．本伴奏シス
テムは，ユーザが曲のテーマのメロディを演奏すると，データベース内にあらかじめ用意されている，対応したメロディをリアルタイムで検索し，曲目と曲の演奏位置および曲のキーとテンポを特定する．その後，これら情報に基づいてオーディオデータを加工することで，該当する時刻，キー，テンポで伴奏を出力する．
このとき，ユーザがテーマのメロディ以外を演奏すると，直前の再生速度が保持される．

ータと楽曲の主旋律であるテーマ（ここでは曲の始めと終りに演奏されるメロディラインとした）の譜面情報（ピッチナンバー，オーディオデータ上での発音時刻）をデータベースとして保持している．これらのデータは，伴奏用のオーディオデータにあわせてその曲のテーマのメロディを曲の始めと終わりに一度演奏することで得られる．2 回の演奏の時間間隔が一定値以上大きい場合，それ以前を前テーマ，それ以降を後テーマとして別々にデータベースに蓄積される．
3.2

曲の検索と演奏情報の取得

フローチャートを図 3 に示す．まず，演奏される楽曲を特定するため，ユーザの入力するメロディとデータベースの全楽曲のテーマのメロディの類似度を計算

MIDI-USB ケーブル

Max/MSP

する．その際，同一のフレーズが複数個所に一致する場合を考慮して，演奏している楽曲の後テーマの最初スピーカ

電子楽器

ため，図 2 のように楽曲ごとの伴奏用のオーディオデPC(Mac Book Pro)の部分とその他の楽曲の前テーマの最初の部分のみの類似度を計算する．キーやテンポの変化するテーマ演

図1 システム構成

奏に追従するため，類似度はユーザの発音ごとに入力されるピッチと譜面情報のピッチの差の分散，ユーザ† 早稲田大学大学院先進理工学研究科物理学及応用物理学専攻の発音時刻間隔とテーマの発音時刻間隔の比の分散のMajor in pure and applied Physics, Graduate School of Advanced

重みづけ平均で定義し，ユーザの発音ごとに更新する．

Science and Engineering, Waseda University

情報処理学会 インタラクション 20094.
メロディの入力オーディオデータの蓄積

楽曲の特定（類似度計算）

再生箇所の同期

演奏箇所の特定

再生するキーの同調

演奏キーの推定

テンポの同期

テンポの推定音量の増減

平均音量計算音響信号出力MIDI 出力実験

被験者 5 名を対象に，一定のテンポで楽曲テーマをデータベース

テーマの譜面情報(ピッチ，発音時刻）演奏してもらい，伴奏システムが再生するオーディオデータのテンポと比較する実験を行った．楽曲は市販
4)のマイナスワン のCDから，被験者が既知の 30 曲を選んだ．テーマの譜面情報，オーディオデータはあらかじめ用意した．被験者は，テーマのメロディが記入された譜面を自由に見ることができ，市販の電子ピアノを用いて演奏する．実験の結果，本伴奏システムのテーマの認識率は 9 割程度であり，テンポ追従の誤差は大きく外れる場合を除けば 2%程度であった．

図3 フローチャート

また，提案システムを用いて演奏する実験を行った
現在演奏している曲類似度大ところ，ユーザの音楽習熟度にかかわらず楽しみながら演奏する様子が観察できた．主な演奏者の反応とし

現在演奏類似度小・・・

メロディを入力

次に演奏

現在演奏してない曲ては，テンポやキーなどを変えるだけではなく，自分の知っている複数の楽曲をメドレー形式で演奏するな
ど，一つの曲に縛られない柔軟なインタラクションが見られた．また，システムの事前の設定なしで一つのピッチ，発音時刻

曲をテーマ，即興演奏，テーマ，エンディングと順に
図4 同調の仕組み

即興的に流れを作って演奏する様子が見られ，即興的な演奏スタイルに対しても対応可能である．

図 4 に示すように，システムは類似度の時間蓄積が一5.

まとめと今後の課題定以上で最も大きい楽曲のテーマが現在演奏されていると判定し，判定された楽曲のオーディオデータを用いて該当する位置から伴奏を再生する．
次に入力演奏と特定された楽曲，再生位置の譜面情報と比較することでキー，テンポを決定する．キーはユーザの入力するピッチと譜面情報のピッチとの差の時間蓄積によって決定し，テーマへの追従開始時に更新される．テンポはユーザの入力する発音時刻間隔と入力されるメロディから曲目，再生位置，キー，テンポ，音量に追従してオーディオデータで伴奏するシステムを提案した．本システムにより，伴奏用のオーディオデータを複数用いることで，曲目，再生位置，キー，テンポ，音量などの変化に柔軟に対応した伴奏ができることが確認できた．今後は音響信号入力への対応，メロディ入力ミスへの対応などを検討している．

譜面情報の発音時刻間隔の比の時間蓄積および両者の発音時刻差の時間蓄積を用いて決定し，ユーザの発音ごとに更新される．この際，複数のピッチ差や発音時刻間隔比をとりその中央値の値を用いることで，演奏者が意図しないピッチや発音時刻の微妙なズレによるノイズを低減している．
最後に 発音ごとに入力される音量の一定時間の平均に基づいて音量の増減をおこなう．
3.3

音響信号制御ピッチ，テンポの変化に対応するためグラニュラー
3)合成を用いた ．グラニュラー合成とは短時間の固定時間長に分割された音響データに窓処理と位相をずらすことで，実時間で良好な品質の音響再生制御を実現する合成処理である．

謝辞

本研究の一部は科学技術振興機構 CREST 研

究「人を引き込む身体的メディア場の生成・制御技術」の研究助成を受けて行われた．

参考文献

1) 堀内靖雄．自動伴奏．長嶋洋一，橋本周司，平賀譲，平田圭二（編），コンピュータと音楽の世界（bit 別冊）・共立出版，1998．
2) 豊田健一, 片寄晴弘: ながしミュージシャンシ
ステム:豊次郎, 情報処理学会インタラクション
2005 論文集,(2005).
3) 小尾正和，鈴木健嗣，橋本周司: 音楽音響信号を対象としたジェスチャによる音楽指揮システ
ム，情報処理学会第 68 回全国大会，工学院大学，
2L-6，(2006).
4) http://www.jameyjapan.com/