Vol.2010-MUS-86 No.28
2010/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

1. は じ め にQuery-by-Conducting：テンポ類似性に基づく同一楽曲における多様な解釈の検索インタフェース
前 澤

陽†1

後

藤

真

孝†2

奥 乃

クラシック音楽では、同一の楽曲に対し複数の録音が存在する。例えば、 オンラインス
トアで「Mendelssohn Violin Concerto」の録音を検索すると 1200 件、また「Beethoven

Spring Sonata」は 300 件ほどの検索結果が返ってくる (2010 年 3 月現在) 。これらは、与博†1

えられた楽譜表現を、様々な演奏者が、 固有の解釈をして演奏した録音の音響信号である。
このように、膨大な同一楽曲における演奏の解釈から、ユーザーの嗜好に合致した解釈で演

本稿では与えられた楽曲の解釈をテンポの違いに基づき検索するためのインタフェー
ス Query-by-Conducting とその要素技術であるテンポ推定について述べる。クラシッ
ク音楽のように任意の楽曲に対して複数の解釈が存在する場合、ユーザーの嗜好に合致する演奏を見つけるのはクラシック音楽を楽しむ上で重要な要素であり、そのような演奏の発見を支援するインタフェースは重要である。このインタフェースでは再生と連動してリアルタイムにユーザーが好みのテンポを指揮することにより、再生される演奏を動的にユーザーのテンポ入力にもっとも近いものに切り替える。楽曲再生が終わるとインタフェースはユーザーの指揮の履歴をクエリとして、それぞれの解釈におけるテンポ軌跡との類似性を算出し、類似性に基づきランク付けした結果を返す。
テンポ推定手法は楽譜追従に基づく。同一の楽譜表現を演奏した複数の音源が存在することに着目し、それぞれの楽譜追従に整合性を要することによりテンポ推定精度を向上させる。室内楽とオーケストラ曲 9 曲で評価し提案手法の有効性を確認する。

奏された録音を発見することは、クラシック音楽を楽しむ上で重要な要素である。同時に、このように多数の解釈を聴き比べ、全体の違いを理解した上で、自分の嗜好に合致した演奏者を見つける音楽の聴き方は、困難である。
我々の目標は、与えられた楽曲の中で、ユーザーの嗜好に合致するような解釈を、演奏解釈の多彩な要素に基づき検索することである。Content-based MIR (CBMIR)3),9) は我々の問題意識と近いが、音色やリズムといった音楽の要素に基づき楽曲を検索する CBMIR
に対し、我々は解釈を検索する点が大きく異なる。解釈の構成要素は、テンポや演奏法など多岐に渡り、その定義は音楽家の間でも見解が異なると思われる。しかし、その中でもテンポは、音楽認知上演奏の解釈に大きな影響を与えているとされ14) 、音楽情報処理の研究においても重要性が指摘され5),10) 、一般的なユーザーにも比較的理解されやすい。

Query-by-Conducting: A classical-music interpretation
retrieval interface based on tempo similarity

そこで本稿では、解釈の検索のために、同一楽曲における解釈間のテンポの違いに着目し、ユーザーが好みテンポを指揮することにより、任意の楽曲に対する解釈を検索するイン
タフェース Query-by-Conducting を開発する⋆1 。このインタフェースは、任意の楽曲に対Akira Maezawa ,†1 Masataka Goto †2

する楽譜表現 (標準 MIDI ファイル) とその楽譜表現を固有の解釈で演奏した複数の音響信and Hiroshi G. Okuno †1

号を読み込み、図 1 に示すような、以下の機能を持つシステムにより楽曲の再生、テンポの可視化、解釈の検索を支援する。

This paper presents Query-by-Conducting, an interface for retrieving interpretation to a piece of classical music based on tempo similarity. Our interface
allows a user to conduct along the playback of the piece, and the interface
dynamically switches the playback to one that is closest to the user’s conducting. At the end of playback, the system ranks each interpretation based on thesimilarity of user’s conducting and the tempo of the interpretation. Tempo estimation method based on audio-score alignment is at the core of our interface.
We improve tempo estimation by requiring the alignment for each interpretation to be consistent among one another. We evaluate the tempo estimation
method using nine pieces of classical music.

(1)

テンポを可視化するための GUI(2)

ハードウエア指揮インタフェース (Nintendo Wii リモコン) による、ユーザーのテ†1 京都大学大学院情報学研究科
Kyoto University Graduate School of Informatics†2 産業技術総合研究所
National Institute of Advanced Industrial Science and Technology (AIST)⋆1 http://www.youtube.com/QueryByConducting にインタフェースのデモビデオを公開した。

1

c 2010 Information Processing Society of Japan⃝

Vol.2010-MUS-86 No.28
2010/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

図 2 システムレベルでの状態遷移図。 インタフェースは楽曲の終わりまで状態 (1) と (2) を交互に繰り返す。
図 1 Query-by-Conducting のシステム図。

(3)

フェースを使うために必要であると提唱されている2) 。最後に、本インタフェースは、解釈

ンポクエリの入力支援の検索が目的であり、指揮インタフェースのように、楽曲をユーザーが指定するテンポで再ユーザーが入力したテンポクエリと、各解釈のテンポの類似性に基づく解釈のランク

生することを意図して設計されていない。

付け

本インタフェースには、高精度なテンポ推定が求まれるが、それぞれの解釈における楽譜想定されるシステムの大まかな流れとしては、まず、ユーザーは本インタフェースを、従

追従結果を比較することにより、テンポ推定精度を向上させることが、可能であると考えら来の楽曲再生インタフェースのように用いて楽曲を鑑賞する。途中で、ユーザーが、現在再る。テンポ推定の中枢にある、楽譜追従の先行研究では、任意の楽譜追従はその音響信号と生されている解釈のテンポに不満を持つと、GUI で可視化されているテンポ情報に基づき、楽譜表現を用いて生成されている4),6),8),10) 。この場合、仮に楽譜追従結果が間違えていてユーザーが聴きたいテンポを指揮する。システムは、ユーザーの指揮にもっとも近い解釈でも、比較対象がないが故にそれを知る術はない。しかし、今回の問題設定では複数の解釈演奏される録音を検索し、再生中の録音を、それに切り替える。楽曲を通して視聴したあとの楽譜追従結果を用いる。そのため、楽譜追従結果同士の、時間軸における対応付けの整は、ユーザーが、どの地点で、どのような指揮を行ったかを、そのユーザーのテンポにおけ合性を調べることができる。任意の解釈二つに対して、音響信号同士の時間的対応付けと、る嗜好と見做す。システムは、それぞれの解釈が、全体を通したユーザーの嗜好にどれだけ

両者の楽譜追従結果から算出されるお互いの時間的対応付けを比較することにより、整合性合致しているかに基づき、解釈を順序付け、ユーザーに提示する。

が取れている箇所とそうでない箇所を推定することができるためである。このように、追従1),7),12),13)

本インタフェースは、通常の指揮インタフェースと、三つの点で異なる。第一

結果の整合性に基づいた、楽譜追従の改善手法を提案し評価する。

に、本インタフェースでは、指揮棒を、従来のように楽曲全体のテンポを指定するのではな

2. インタフェースデザイン

く、楽曲の解釈を切り替えるために部分部分で用いる。ユーザーは、本インタフェースを、楽曲を鑑賞するためにも、任意の解釈を検索するためにも用いることができる。第二に、本本インタフェースは通常の音楽再生インタフェースで提供される再生や巻き戻しといっインタフェースでは、大まかなテンポを受け付けるが、ダイナミクスや、拍の間における局

た機能に加えて、(a) テンポ可視化、(b) 指揮ハードウエアインタフェースを用いたリア

所的なテンポの揺らぎといった、指揮や音楽の素養がある程度必要な要素は受け付けない。

ルタイムでのテンポクエリの入力、(c) テンポクエリに基づいた解釈の検索、といった三

このように、ユーザーの操作できる幅を意図的に制限することが、初心者が手軽にインタ

つの機能を提供する。図 2 に示すように、インタフェースは現在の解釈を再生するモード

2

c 2010 Information Processing Society of Japan⃝

Vol.2010-MUS-86 No.28
2010/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

図 3 playback-mode 時の GUI は、再生に合わせテンポを表示する。

図 4 conduct-mode 時の GUI は、ユーザーの指揮入力を受け付け、 再生される解釈を切り替える。 拍可視化
GUI は指揮入力を支援すると考えられる。

(“playback-mode”) と、再生されている録音を、ユーザーのテンポクエリに適合する解釈

2.1 テンポ可視化 GUI

へと切り替えるモード (“conduct-mode”) を交互に繰り返す。楽曲の再生が終わると、シ

図 3 の上部には、現在再生されている解釈のテンポ軌跡、すべての解釈のテンポの幅、ステムは、各解釈をテンポクエリの類似性に基づきランク付ける (“ranking-mode”)。

ユーザーが指揮したテンポの履歴の三点を表示する。図 5 にその詳細を示す。テンポ可視

図 3 に再生中 (“playback-mode”) 時の GUI を示す。GUI の下部に、タイトル、演奏者、

化 GUI は、曲長 tl の楽曲において、各 tick (楽譜表現上での時間軸) t でのテンポを表示

再生時間を、既存の音楽再生 GUI と同様に表示する。上部に楽曲のテンポを可視化し、GUIするが、再生位置 tc の近傍はレンズのように詳細に、それ以外は鳥瞰図のように簡略に表の右上に、解釈の一覧を、現在再生されている時点でのテンポの降順で表示する。

示させたい。そこで、以下の非線形伸縮を適用し 0 から 1 の間で正規化された時間軸 x(t)楽曲の再生時に、ユーザーが現在のテンポに不満を持った場合、図 4 に示すような、所を表示する。

(

望のテンポをリアルタイムに入力できるモード (“conduct-mode”) に移ることが可能であx(t) =

る。conduct-mode では、指揮ハードウエアのテンポ入力をインタフェースが受理する。ま)t−t
1 exp T ct
( t−tc )+2tl
2 exp T
+1

(1)

た、画面左下に指揮を支援するための拍可視化 GUI を表示する。入力されたテンポと、再このような伸縮を行うことにより、再生位置の T -近傍を詳細に表示する。今回、T を四分生されている時点における各解釈のテンポを算出し、最もテンポが入力に近い解釈で演奏す

音符 4 つ分と設定する。

る録音に、再生されている録音を切り替える。常にユーザーの指揮に合致する解釈に切り替

現在の再生位置を鉛直線によって示す。再生位置より左の線分はユーザの入力したテンポえることにより、このモードでは、能動的な音楽鑑賞体験をユーザーに提供する。 楽曲のの履歴であり、右の線分は現在の解釈のテンポ軌跡である。再生位置の左側にユーザーが今再生が終了すると、インタフェースは ranking-mode で、全ての解釈を、それぞれのテンポまで入力したテンポクエリ、右側にテンポを入力しない場合のクエリを、それぞれ表示して軌跡とユーザーの指揮入力の履歴の類似性に基づき順序付け、ユーザーに提示する。

3

c 2010 Information Processing Society of Japan⃝

Vol.2010-MUS-86 No.28
2010/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

ザーは目標とするテンポを指揮するのではなく、再生中楽曲の下拍から下拍のタイミング
が、目標とするテンポとの違いに応じて前後するような指揮を行うことが、観察された。例
えば、速いテンポを指定する場合には、再生中のテンポで指揮をするが、下拍を実際の下拍よりやや前に置き、また、遅いテンポを指定する場合には下拍をやや後ろにずらす傾向が見られる。
このような知見に基づき、本インタフェースでは、実際にユーザーが指揮したテンポに基
図5

づき入力テンポを算出するのではなく、下拍のタイミングのずれに基づき、テンポを算出す

解釈可視化 GUI は再生されている解釈のテンポ軌跡、 図 6 拍可視化 GUI は、拍と連動して回転する帯
ユーザーのテンポ入力の履歴とテンポの幅を表示する。
を表示することにより拍の位置を示す。

る。テンポが BP M0 で再生中の楽曲において、ユーザーが ∆t 秒下拍を遅れて指定したとする。すると、ユーザーが意図した入力テンポ BP M を以下のようにモデル化する。

いると見做せる。

BP M = BP M0

解釈の幅を表示するために、全ての解釈が取りうるテンポの幅を、グラデーションがか1∆t+160/BP M0

(3)

かった帯として表示する。色彩は早いテンポを低い色相 (オレンジ) 、遅いテンポを高い色相クエリとして、ユーザーが過去 4 拍で指揮したテンポの軌跡を用い、また適合する解釈は、(青) として表示するように、色相を徐々に変化させる。Tick t における、最も遅いテンポ

後述する解釈の類似性が最も小さいものを選ぶ。

と速いテンポが、それぞれ τmin (t) と τmax (t) ならば、その範囲内の任意のテンポ τ (t) を、

2.2.3 拍可視化 GUI

以下の色相 hue(t) で描画する。

予備実験で、ユーザーは必ずしもリズムの感覚があるとは限らず、下拍がどこにあるのかτ (t) − τmin (t)hue(t) = 240 −230◦τmax (t) − τmin (t)◦を理解するのが困難であることが観察された。特に、弦四重奏のように、アタックが弱い楽(2)器で構成される楽曲において、顕著に表れた。

解釈可視化 GUI の右半分には、解釈の一覧を、現在の再生時間におけるテンポの降順で表

そこで、テンポ入力を支援するために、図 3 の左下 (詳細は図 6) に示すような、拍可視示し、それぞれの解釈の隣には、式 (2) で表す色相を持ったボックスを表示し、現在再生さ化 GUI を実装する。この GUI は、色相が変化するグラデーションを持つ帯が、楽曲のテれている解釈を反転表示する。

ンポと連動し回転する。また、下拍に合わせ、帯が GUI 下部の円を通過するように設定さ2.2 ハードウエア指揮インタフェース

れている。帯の弧長は現在のテンポの幅に対応し、色相は式 (2) に基づき算出される。ユー

ハードウエア指揮インタフェースは、ハードウエアコントローラに搭載されている加速度

ザーが拍を把握できない場合、帯が GUI 下部の円を通過するタイミングを見計らい、指揮センサーの出力から拍を検出し、テンポに変換する。また、拍の入力を支援するためにイン棒を振れば良い。

タフェースに拍を可視化する。

2.3 解釈の検索

2.2.1 拍 検 出

楽曲を通して聞いた後、システムは ranking-mode に入り、全ての解釈をユーザーのテン拍の検出には、ゲームコントローラ (Nintendo Wii リモコン) に搭載されている加速度

ポ入力との類似性に基づきランク付けし、掲示する。ここでは、再生された音響信号のテンセンサーを用いる。鉛直軸の加速度が、一定の閾値を越えた地点を検出することにより、拍ポを、クエリとして見做す。例えば、ユーザーが曲長が 3 分の楽曲のうち、解釈 x を最初を検出する。誤検出を減らすため、拍の検出後 200msec は入力を無視する。つまり、本イの 1 分だけ聞いて、インタフェースで指揮をした結果、残りの 2 分では解釈 y が再生されンタフェースは、300BPM までのテンポを入力として受け付ける。

たとする。すると、解釈 x のテンポ軌跡の最初の 1 分と y の残り 2 分のテンポ軌跡が、ク

2.2.2 拍入力からテンポへの変換

エリとして用いられる。ここで、解釈 i の拍 t でのテンポを τi (t) とし、ユーザーのクエリ

予備実験で、再生されている音響信号と違うテンポを、ユーザーが指揮する場合、ユー

4c 2010 Information Processing Society of Japan⃝

Vol.2010-MUS-86 No.28
2010/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

図8

二つのアライメントを組み合わせると、楽譜表現からある解釈までの対応付けの方法は複数存在する。

図 7 ranking-mode ではそれぞれの解釈の類似性を評価し、類似性の降順で解釈を提示する。

要素 (i, j) は以下のように求められる。
を τq (t) としたとき、解釈 i とクエリの非類似性 ri を以下のように定義する。

1
ri =
T

∫ T(
0

τi (t) − τq (t)τq (t))2

Rk←s (i, j) = 1 −

dt

(4)

(i)
(j)
cs · ck(j)(i)∥cs ∥ · ∥ck ∥(5)

次に、アライメント (時間的な対応付け) を DTW により求めるために、以下のような、それぞれの解釈は、1/ri の降順で並び替えられ、図 7 に示すように掲示する。また、1/ri

Rk←s と同じ大きさのコスト行列を定義する。

の値が最大となるものは不透明、最小のものは透明になるように透明度を関連付けて描画すCk←s (i, j) = Rk←s (i, j) + min{Ck←s (i − 1, j), Ck←s (i, j − 1), Ck←s (i − 1, j − 1)} (6)る。さらに、この値を 0-1 の間でシフトし正規化したものを、類似性のスコアとして表示

ただし、全ての t に対し、Ck←s (t, −1) = Ck←s (−1, t) = 0 である。次に、これをバックト

する。

(t)

(0)

ラックすることにより対応付け Mk←s を求める。初期値として、Mk←s を (Ns , Nk ) に設定

3. テンポ推定手法(t)

し、Mk←s = (0, 0) になるまで、以下のように更新する。
(t+1)

テンポ推定は、楽譜表現と音響信号の時間軸同士の写像を求める楽譜追従 (オーディオ-Mk←s := argmin Ck←s (I, J)(7)(I,J)∈S(t)スコアアライメント) 手法に基づく。そのため、正確なアライメントは、正確なテンポ推定(t)S(t) : {(i − 1, j), (i, j − 1), (i − 1, j − 1)|(i, j) = Mk←s }に必須である。よりテンポの推定精度を向上させるため、我々は、一つの楽譜表現に対してまた、解釈 i と解釈 j 同士のアライメント Mj←i も、類似性行列を求めるときに、それぞ

複数の音響信号が存在するという点を活用した、楽譜追従精度向上手法を提案する。

れ ci と cj を用いることにより同様に算出する。

3.1 初期アライメントの生成

3.2 アライメントの改善手法

まず、楽譜追従の初期値として、Dynamic Time Warping (DTW) に基づく既存手を用い、アライメントを生成する。ここでは、特徴量としてクロマベクトル、

我々は、複数の解釈における楽譜追従結果の整合性を考慮することにより、その精度を向(t)
類似性の尺度としてコサイン距離を用いる。ck を解釈 k のフレーム t で算出した 12 次元(t)のクロマベクトルとし、cS を楽譜表現の tick t で算出されたクロマベクトルとする。ここ

上させる。まず、楽譜表現とそれを録音した N の解釈を考える。すると、楽譜から解釈 i

法4),6),11)の楽譜追従の生成方法は、図 8 に示すように N 通り存在する。すなわち、直接楽譜表現ので、楽譜表現から解釈 k のアライメント Mk←s や、解釈 i から解釈 j のアライメント Mj←i

時間軸と音響信号 i の時間軸の写像 Mi←s を算出するだけでなく、写像 Mj←i , j ̸= i に写を生成することを考える。Mk←s を生成するために、まず k と s の各時刻における特徴量の像 Ms←j を射影した対応付けも算出できる。理想的には、これらの N 個のアライメントは類似性を示す類似性行列 Rk←s を計算する。Ns と Nk がそれぞれ楽譜表現と解釈 k のデー同一であるはずだが、それぞれの写像に推定誤差が生じるため、これらは一般的には一致し

Ns ×Nkタ長さ (フレームの総数や楽曲を通した tick の総数) とすると、Rk←s は R

ない。

であり、

5

c 2010 Information Processing Society of Japan⃝

Vol.2010-MUS-86 No.28
2010/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

楽譜表現から、解釈 j を介した、解釈 i への写像 Mi←j ◦ Mj←S を生成するには、Mj←S

3.3 テンポ推定と Mi←j が連続かつ一対一である必要がある。しかし、前項で生成した初期アライメント

テンポの推定は、各時刻における楽譜追従の、楽譜表現の時間軸に対する音響信号の傾はバックトラックでの性質上これを満たさない。そこで、初期アライメントの上に、一対一きを求めることにより求まる。Tick t のテンポを、任意の T > 0 を与えたとき t − T からであり連続である写像を「辿る」ことにより、上記の性質を満たす写像を生成する。全てのt + T のオンセット時刻でのアライメント情報を用いて算出する。オンセット以外のアライ

時系列 s と k (解釈ないし楽譜表現) の組み合わせに対し、以下のアルゴリズムを適用する。

メント結果は意味を持たないため破棄する。T は最低でも 2 拍かつ 20 個のノートオンセッ

(t)

(1)

t = 0 とし、アライメントの初期点 M̃k←s を (0, 0) に設定する。

ト時刻を考慮するよう動的に決められる。(s(p), a(p)) を、Mi←S が tick t 時に t − T から

(2)

ϵ < θ < π2 − ϵ に対し以下のコストを計算する。

t + T に含むオンセットでの追従結果とする。Tick t での BPM τ (t) は、(s(p), a(p)) の傾

c(θ) = Eq∼exp (−3q/Q) [min d(t)n (q, θ)]
n
(t)
(n)
(t)
dn (q, θ) = ∥M̃k←s + q (cos(θ), sin(θ)) − Mk←s ∥き m(t) を線形回帰を用いて求め、以下のように重み付けすることにより算出する。
1 audio frame-per-minute(13)
τ (t) =
m(t)ticks-per-beat

(8)
(9)

Q = 20 フレーム、 ϵ = π/20 ラジアンとする。θ を π/20 ラジアン毎に評価する。
(3)

4. 評 価 実 験M̃k←s を任意の ∆r ∈ (0, 1] を設定し次のように更新する。
(t+1)

(t)

(

)

M̃k←s := M̃k←s + ∆r cos(θ̂), sin(θ̂)

テンポ推定手法と、推定されたテンポに基づく解釈の検索性能を評価する。評価にあたっ(10)ては、様々な楽器編成の、平均再生時間が 5 分ほどのクラシック音楽 9 曲を分析した。そのθ̂ = argmin c(θ)

うち、オーケストラ曲を orch-1 から orch-3、小規模なアンサンブルを duo-1 から duo-3、

θ

ソロ曲を solo-1 から solo-3 と呼ぶ。それぞれの楽曲に対して、4 から 13 の録音を用意し、∆r = 1 とした。
(t)

計 4 時間 40 分ほどのデータの、テンポの正解データを用意した。

(t)

(4)

もし M̃k←s · (1, 0) ≥ Ns か M̃k←s · (0, 1) ≥ Nk なら終了。

(5)

t := t + 1 としステップ 2 に戻る。

4.1 テンポ推定の評価
τg (t) を正解データのテンポ軌跡とする。推定された軌跡 τ̂ (t) が与えられた時の誤差を、次に、それぞれのアライメントには、独立に、次のような形状パラメータ b と位置パラ

以下に記す、正規化された二乗誤差 (MSE) を用いて評価する。

メータ M̂i←S (t) を持つ、ラプラシアンノイズが混在していると考える。

()

p(t) = exp −∥Mi←S (t) − M̂i←S (t)∥/b /2b

MSE =

(11)

また、Mi←j ◦ Mj←S , j ̸= i でも同様だが独立したノイズが混在すると考える。つまり、全∫ T(
0τg (t) − τ̂ (t)τg (t)

)2

dt

(14)

これは正解データと推定されたテンポ軌跡同士の非類似性と見做すこともできる。

ての j に対して Mi←j ◦ Mj←S は真のアライメント M̂i←S から生成され、独立したラプラ

表 1 に、全ての解釈の平均 MSE を全ての曲に対して、更新式 Equation (12)) を複数回

スノイズが混在していると考える。すると、アライメントの推定は、楽譜表現と解釈 k 同

適用したときの結果を記す。まず、本手法が MSE を軽減することが分かる。特に、初期ア士の、N 通りのアライメントを与えられた時に、M̂i←S を推定する問題となる。この推定

ライメント (更新を 0 回) の MSE が大きい場合に、大きな改善が見られる。次に、多くの値は、全てのアライメントのメジアンであるため、以下のように Mi←S を更新する。

Mi←S (t) := median({Mi←j ◦ Mj←S (t)})

1T場合、更新式を複数回適用することにより、MSE が低減することが分かる。MSE が増え(12)る場合は、楽譜追従の誤差が存在する箇所は、解釈の間で独立に起こるという仮定が、破ら

任意の i に対してこの更新則を適用すると、全ての k ̸= i における M̂k←S の推定値も変化れた時だと考える。例えば、楽譜表現に記載されていないカデンツァが含まれる solo-3 でしうる。そのため、全ての i に対してこの更新則を反復的に適用することにより、推定値

は、正しくないアライメントが常にカデンツァの位置で起こるため、N 個のアライメント

M̂i←S は反復する毎に更新されていくと考えられる。後述するが、多くの場合この更新則のメジアンには、意味の無いデータが含まれる。

を反復することにより、精度が向上する。

6

c 2010 Information Processing Society of Japan⃝

Vol.2010-MUS-86 No.28
2010/7/30

情報処理学会研究報告
IPSJ SIG Technical Report
式 (12) を複数回繰り替えしたときの平均 MSE (×10−3 ) 。

表1

楽曲 (解釈の数)

0回

1回

2回

10 回

solo-1 (13)solo-2 (6)solo-3 (5)duo-1 (5)duo-2 (4)duo-3 (4)orch-1 (5)orch-2 (5)orch-3 (5)

8.9
17.3
266.7
4.5
34.8
185.4
646.8
231.5
3941.6

8.6
15.0
73.1
3.9
22.1
12.5
54.4
14.7
1091.4

8.4
13.0
85.4
3.7
20.6
10.2
47.2
13.3
1038.3

8.4
12.7
98.8
3.8
20.4
10.2
44.9
13.2
833.2

間における、最小の非類似度は 2 × 10−3 ほどである。対して、solo-1 のそれは 20 × 10−3 、

duo-1 のそれは 23 × 10−3 である。この結果は、室内楽のように奏者が自由にテンポを変えられる場合、曲中のテンポの変化が大きいため非類似度が一般的に大きいのに対して、

orch-1 では曲を通してテンポが一定であるため、全体の解釈の差がテンポに反映されづらいことを示唆する。
これらを踏まえると、本システムではテンポの推定精度が正確で、かつ解釈間の非類似度が大きければ、想定された解釈を検索できると示唆される。また、テンポの推定精度は、アンサンブルの規模とカデンツァなどの、楽譜に表記されていない箇所の存在に、依存すると考えられる。

5. ま と め

4.2 検索性能の評価
次に、指揮の誤差やテンポの推定エラーが、楽曲の検索性能に及ぼす影響について評価す

本稿では、任意の楽曲における、解釈を検索するためのインタフェース Query-by-

る。ユーザーが解釈 i に合わせて指揮した場合、ユーザーのテンポクエリにもっとも適合す

Conducting を開発した。このインタフェースでは、ユーザーがインタラクティブに指揮る解釈として、システムは i を返すべきである。これが実現されない場合には、ユーザーがをし、時々刻々とユーザーの指揮に適合する解釈に再生を切り替えつつ、大局的な指揮の傾十分な精度で楽曲を指揮できず、意図された楽曲が返ってこないか、テンポ推定精度が、意向に適合する解釈を検索する機能を実現した。また、ユーザーの指揮との類似性に基づきそ図された楽曲を返すのには不十分であると考えられる。これらの場合、i は最も適合はしてれぞれの解釈の適合度を提示することにより、ユーザー好みのテンポで奏でる演奏者の検索

ない、適合する解釈上位 M 位に入ると考えられる。

を支援する。中枢的な要素技術であるテンポ推定精度は、その根本となる楽譜追従手法を、まず、正解データに平滑化されたノイズを付与することにより、人間の指揮エラーをシ

複数の解釈に対して同時に考慮することにより、劇的に改善した。今後の課題として、テン

ミュレートしたクエリを、用意する。各解釈 i に対して、次のような分散 s を持つ雑音が混

ポ推定精度を向上させ、拍入力からテンポへの変換を行うモデルの妥当性や拍可視化 GUI

在したテンポ軌跡を用意する。

の有用性をはじめとするユーザースタディを行った上で、よりユーザーにクラシック音楽をτquery,i (t; s) = τg,i (t) · 2√ s ∑L−1L

l=0n(t−l)|L = 10

分かりやすく提示するための可視化とインタラクション手法について考えていきたい。

(15)

謝辞: 本研究は科研費 (S) と JST CrestMuse の支援を受けた。

n(t; s) ∼ N (0, 1)

参次に、生成されたクエリに適合する上位 M 位の解釈を検索し、検索性能を F 値として評

考

文

献

1) Bevilacqua, F., Guédy, F., Schnell, N., Fléty, E. and Leroy, N.: Wireless sensor
interface and gesture-follower for music pedagogy, NIME ’07, pp.124–129 (2007).
2) Dixon, S., Goebl, W. and Widmer, G.: The ”Air Worm”: An Interface for RealTime Manipulation of Expressive Music Performance, ICMC ’05, pp. 614–617(2005).
3) Dixon, S., Guyon, F. and Widmer, G.: Towards characterization of music via
rhythmic patterns, ISMIR ’04, pp.509–516 (2004).
4) Dixon, S. and Widmer, G.: MATCH: Music Alignment Tool Chest, ISMIR’05, pp.

価する。n を上位 M 位に意図された解釈が返ってきた数、N を解釈の総数とすると、適合率を P = n/(N × M )、再現率を R = n/N とし、F 値を F = 2P R/(P + R) とする。

solo-1、 duo-1、orch-1 の結果を、それぞれ図 9 (a) 、 (b) 、 (c) に図示する。おおよそs = 0.15、すなわち原曲のテンポの 0.7 倍から 1.3 倍 (3σ) までの指揮の誤差を許容することが、図 9 (a) 、 (b) から分かる。しかし図 9(c) から分かるように、orch-1 の結果は他の二つよりも著しく低い。これは、orch-1 のテンポ推定精度がもともと劣悪であるだけでな
く、解釈同士の違いも、それほど顕著に現れないためだと考えられる。異なる orch-1 の解釈

7

c 2010 Information Processing Society of Japan⃝

Vol.2010-MUS-86 No.28
2010/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

8) Kurth, F., Müller, M., Damm, D., Fremerey, C., Ribbrock, A. and Clausen, M.:
SyncPlayer - An Advanced System for Multimodal Music Access, ISMIR ’05, pp.
381–388 (2005).
9) Michael, C., Veltkamp, R., Goto, M., Leman, M., Rhodes, C. and Slaney, M.:
Content-Based Music Information Retrieval: Current Directions and Future Challenges, Vol.96, No.4, pp.668–696 (2008).
10) Müller, M., Konz, V., Scharfstein, A., Ewert, S. and Clausen, M.: Towards Automated Extraction of Tempo Parameters from Expressive Music Recordings, ISMIR’09, pp.69–74 (2009).
11) Müller, M., Kurth, F. and Röder, T.: Towards an Eﬃcient Algorithm for Automatic Score-to-Audio Synchronization, ISMIR’04, pp.365–372 (2004).
12) Schertenleib, S., Gutiérrez, M., Vexo, F. and Thalman, D.: Conducting a Virtual
Orchestra, IEEE MultiMedia, Vol.11, No.3, pp.40–49 (2004).
13) Segen, J., Kumar, S. and Gluckman, J.: Visual Interface for Conducting Virtual
Orchestra, ICPR ’00, p.1276 (2000).
14) Timmers, R.: Predicting the similarity between expressive performances of music from measurements of tempo and dynamics, JASA, Vol.117, No.1, pp.391–399(2005).

F-measure1
0.8

Noise variance
s=0.0
s=0.1
s=0.15
s=0.2
s=0.5

0.6
0.4
0.2
0

Top 1

Top 2

Top 3

Top 4

Top 5

(a) solo-1

F-measure1
0.8

Noise variance
s=0.0
s=0.1
s=0.15
s=0.2
s=0.5

0.6
0.4
0.2
0

Top 1

Top 2

Top 3

Top 4

Top 5

(b) duo-1

F-measure1
0.8

Noise variance
s=0.0
s=0.1
s=0.15
s=0.2
s=0.5

0.6
0.4
0.2
0

Top 1

Top 2

Top 3

Top 4

Top 5

(c) orch-1
図 9 分散 s のノイズを正解データに混在させたものをクエリとして用い、それにもっとも適合する上位 M ≤ 5 位までを検索結果として考慮した場合の F 値。

11–15 (2005).
5) Honing, H.: From Time to Time: The Representation of Timing and Tempo, Comp.
Music J., Vol.25, No.3, pp.50–61 (2001).
6) Hu, N., Dannenberg, R. and Tzanetakis, G.: Polyphonic audio matching and alignment for music retrieval, WASPAA ’03, pp.185–188 (2003).
7) Katayose, H. and Okudaira, K.: Using an expressive performance template in amusic conducting interface, NIME ’04, pp.124–129 (2004).

8

c 2010 Information Processing Society of Japan⃝