SmartMusicKIOSK: サビ出し機能付き音楽試聴機
後藤 真孝
科学技術振興事業団さきがけ研究 21「情報と知」領域 / 産業技術総合研究所

m.goto@aist.go.jp
あらまし

本論文では，試聴のための新たな音楽再生インタフェースを提案する．店頭で CD を短時間試聴する場合，通常の受動的な聴き方と異なり，早送りしながらサビを探すことが多い．しかし，こうした聴き方に対する支援は従来なかった．本研究では，サビや楽曲構造の先頭へジャンプする機能と，それらの構造の視覚化機能を実現し，試聴者が能動的に聴きたい場所を探す
作業を容易にする．提案機能を自動サビ区間検出手法により実現し，試聴機として実装・運用した結果，その有効性を確認した．

SmartMusicKIOSK:Music Listening Station with Chorus-Search Function
Masataka Goto
“Information and Human Activity,” PRESTO, Japan Science and Technology Corporation (JST) /National Institute of Advanced Industrial Science and Technology (AIST)
Abstract

This paper describes a new music-playback interface for trial listening. In music stores, short trial listeningof CD music is not usually a passive experience — customers often search out the chorus or ”hook” of a song using the fastforward button. Listening of this type, however, has not been traditionally supported. This research achieves a function
for jumping to the chorus section and other key parts of a song plus a function for visualizing song structure. These
functions make it easier for a listener to ﬁnd desired parts of a song and facilitate an active listening experience. The
proposed functions are achieved by an automatic chorus-section detecting method, and the results of implementing themas a listening station have demonstrated their usefulness.

1

いた後に，サビを探しながら早送りボタンを何度も押しはじめにて途中を飛ばし，サビを再生するというような特殊な聴
店頭でコンパクトディスク (CD) 等に記録された音楽き方をする．

を「試聴」するときには，通常の楽曲全体の受動的な鑑

しかし，従来の音楽 CD の試聴機には，このような試賞とは異なり，聴き手は，楽曲の再生に能動的に介入し聴固有の聴き方を支援する機能はなかった．試聴機は通て聴きたい部分だけを選びだすという，音楽との新たな常の CD プレーヤ相当の再生操作ボタンを持つが，そのインタラクションをおこなっている．近年，CD 販売店

中で，早送りと早戻しのボタンしか，サビの部分を探すの店頭には，購入の判断等を目的として CD を試聴できために利用できなかった．一方，最近 CD 販売店に導入る音楽試聴機が設置されることが多い．通常，音楽を聴され始めたデジタル試聴機では，MP3 等の圧縮形式でくときには，その鑑賞が主な目的であるため，各楽曲を蓄積されている数十万曲の中から，ハードディスクある

先頭から最後まで通して再生する．ところが試聴では，

いはネットワーク経由で再生することができる．しかし，自分の探していた楽曲，好みの楽曲であるかど うかを短

楽曲先頭の短い区間 (通常 45 秒) だけが機械的に切り出時間で判断することが目的であり，時間的な制約からこされて収録されているため，試聴者はサビの部分を必ずうした聴き方をすることは少ない．例えばポピュラー音

しも聴くことはできなかった．近年，日本のポピュラー

楽の場合，楽曲中で一番代表的な盛り上がる主題の部分

音楽ではサビから始まる楽曲構造を持つ曲が増えているであるサビ (chorus, refrain) を試聴して判断したいと考とはいえ，我々の調査では，日本のポピュラー音楽のヒッえることが多い☆1 ．そこで試聴者は，イントロを少し聴

トチャート (2001 年 1 月〜 12 月の週間ランキングのシン☆1 これには，ポピュラー音楽のヒットチャートが音楽番組で紹介さグル上位 20 曲) の楽曲中，楽曲開始後 40 秒以内にサビがれたり，CM 放送で音楽が使われたりする際に，主にサビの部分が再生されることも影響している．

始まる曲は約 20%しかなかった．

1

そこで本研究では，「 サビ出し 」機能を搭載した音楽試

しかし ，楽曲間での移動は容易でも，試聴で求めら

聴機 SmartMusicKIOSK を提案する．試聴者はこの機能れるような，ある楽曲内で再生位置をインタラクティブのボタンを押すだけで，サビの先頭へジャンプする (瞬に変更する支援は不十分であった．音楽試聴機や CD プ

時に早送りする) ことができ，自分でサビを探す煩わし

レーヤ等の光磁気メディア再生機が持つ，典型的な再生い作業から解放される．さらに，サビ以外の楽曲中の繰

操作ボタンは，再生，一時停止，停止，早送り，早戻し，り返し構造も事前に推定あるいは用意しておくことで，次の曲へ頭出し，前の曲へ頭出しである (同一ボタンが次の楽曲構造の先頭へとジャンプする機能も提供する．

兼用されることもある)．この中で，早送り，早戻しの二例えば，「 イントロ ⇒ (A メロ ⇒ B メロ ⇒ サビ ) ×2 ⇒つにより，楽曲内での再生位置を変更できる．しかし ，サビ 」のような楽曲構造の場合，この機能を使うと，複望み通りの位置を見つける手掛かりとして，聴き手は主数の A メロやサビの区間の先頭を自由に行き来することに以下の三つのフィードバックしか得られなかった．

ができるようになる．

1. ボタンを押している最中に早回しのように聞こえる音

従来，音楽情報処理の研究分野では楽曲の検索
音楽理解

3)∼6)

1),2)

や

2. ボタンを放した後の音に関する研究は多かったものの，音楽の3. 楽曲の先頭からの経過時間の表示

試聴に着目した研究はなされていなかった．人間と音楽

そのため，例えばサビを聴きたいと思っても，何度もボとのインタラクションでは，主に，発信・能動側 (作曲，タンを押したり放したりして，手探りで見つけなければ演奏等) と受信・受動側 (鑑賞，BGM 聴取等) の二つの形ならなかった．

態があるが，試聴は，後者の鑑賞と異なり，楽曲再生にこれらは，ハードディスク等に蓄積されている楽曲を能動的に介入しながら聴く行為であり，新しく興味深い

計算機上のメディアプレーヤで聴く場合にも基本的に同研究対象であると我々は考えている．

じであるが，再生位置スライダーが用意されることがあ

本論文では以下，2 章で過去の音楽再生におけるイン

る．スライダーの全長は楽曲の長さに対応しており，聴

タラクションの形態について議論した後，3 章で音楽試

き手は，楽曲全体の中で先頭から何割ぐらいの位置を再聴機 SmartMusicKIOSK の全体構成を述べる．次に 4 章生しているかを把握し，スライダー操作により任意の位で，「 サビ出し 」機能を実現するための，音楽音響信号に置へジャンプできる．しかし，的確な再生位置を手探り

対する自動サビ区間検出手法を提案し，具体的な実現方で見つけることに変わりはなかった．

法を説明する．そして，5 章では，サビ区間検出手法の3

評価結果と，音楽試聴機の実装と運用結果を述べる．最後に，6 章で関連研究や応用に関して議論し，7 章でまかしこい音楽試聴機: SmartMu-

sicKIOSKとめを述べる．
上記の問題を解決するために，インタラクティブな再生位置指定を支援する音楽試聴機 SmartMusicKIOSK を

従来の音楽再生におけるインタラ
クション実現した．ここで解くべき問題は，本来は時間をかけて楽曲の再生位置を容易に変更し，インタラクティブにどのようにして的確な再生位置の変更を可能にするかで音楽の再生に介入できるようになったのは，音楽の歴史ある．そこで，ポピュラー音楽を主な対象と想定して，の中で比較的最近のことである．音楽音響信号の記録が以下の二つの解決法を提案する．

可能となる以前は，聴き手は生演奏された楽曲をその場

1. 楽曲構造上意味を持つ区間の先頭へ自動ジャンプ

2

聴かなければ把握できない音楽に対し，それを聴く前にで聴くことしかできなかった．その後，レコードやテー

事前に楽曲構造を解析しておき，その中で聴き手が関プへの記録が可能になると，楽曲単位での再生位置の変心を持ちそうな部分へ自動的にジャンプできる機能を更等が可能となったが，手間や時間がかかるために非リ提供する．具体的には，「 サビの区間の頭出し 」「， 前のアルタイムな介入であった．これに対し，聴き手がイン楽曲構造の区間の頭出し 」「， 次の楽曲構造の区間の頭タラクティブに介入可能となったのは，CD 等の光磁気出し 」の機能を用意しておき，聴き手がサビの部分だ

メディアへの記録が始まってからである．ボタンひと押

け聴いたり，前後の楽曲構造の先頭へとジャンプしてしで再生位置のほぼ瞬時な移動ができ，音楽を聴きなが聴いたりすることを可能とする．

2. 楽曲の内容を反映した視覚化

ら楽曲単位でジャンプすることが容易になった．

2

楽曲の先頭からの経過時間が表示されている．以下，図 1の上下二つのウインド ウを説明する．

• 再生操作ウィンド ウ (下側のウィンド ウ)
図 2 と比較して追加された三つの自動ジャンプボタン
は，左から順に– 「前の楽曲構造の区間の頭出し 」ボタン
– 「次の楽曲構造の区間の頭出し 」ボタン
– 「サビの区間の頭出し 」ボタンである．ボタン上の記号は新たにデザインした．
「サビの区間の頭出し 」ボタンを押すと，現在の再生
図 1: SmartMusicKIOSK の画面表示: 下側のウィンドウが再位置より後方の (後方になければ最初の) サビ区間を探生操作ボタン群，上側のウィンド ウが楽曲内容の視覚化結果

索し，その開始点にジャンプする．通常，サビは楽曲

7)

RWC-MDB-P-2001 No. 18

中で複数回繰り返されるが，このボタンを押す度にそに対する自動サビ区間検出結果) を表す．上側のウィンドウのれらの間を順にジャンプできる．他の二つのボタンを

横軸は時間軸で楽曲全体を表示しており，最上段がサビ区間の押すと，現在の再生位置の直後もしくは直前に位置す一覧，その下の 5 段が繰り返し構造，その下の横棒が再生位置る区間の開始点を探索し ，その先頭にジャンプする．

(RWC 研究用音楽データベース

スライダーを表す．

探索時には，区間の終了点は無視する．

• 楽曲構造表示ウィンド ウ (上側のウィンド ウ)
最上段にサビ区間，その下 (最大で 5 段) に繰り返し区
間が視覚化されている．各段の中で，着色されている区間同士が似ている (繰り返しである) ことを表している．最下段の細い横棒は，楽曲中の経過時間を知らせる再生位置スライダーである．
区間を直接クリック (タッチパネル使用時にはタッチ)
図 2: 従来の典型的なメディアプレーヤ相当のインタフェース

して再生したり，再生位置スライダーをクリックしての画面表示: 下側のウィンドウが再生操作ボタン群，上側の横位置変更したりすることが可能である．

棒が再生位置スライダーを表す．

以上のインタフェースと機能により，試聴者は，イン
聴き手がどこへジャンプすればよいかを自分で判断でトロを少し聴いた後に，ボタンひと押しでサビへジャン

きる手掛かりとして，楽曲の内容を視覚化する機能をプして聴くような試聴が可能となる☆2 ．また，楽曲全体提供する．具体的には，図 1 のように，サビ区間や楽の構造を視覚的に把握しながら，様々な箇所を選択的に曲中の繰り返し区間の構造を視覚化する．この視覚化試聴できるようになる．

された画面から，イントロ，A メロ，B メロ，サビ ，

4

間奏等の相互の位置関係が把握できることが多い．聴SmartMusicKIOSK の実現方法

き手は，これを見ながら前述の自動ジャンプボタンでSmartMusicKIOSK の自動ジャンプや視覚化の機能を操作してもよいし，通常の早送りボタンや再生位置ス

実現する上で，各楽曲のサビ区間と繰り返し構造の記述

ライダーを使って，望みの箇所へ移動してもよい．

が必要である．そして，多数の楽曲に対して実用的に運SmartMusicKIOSK の インタフェースの画面表示を用するには，これらを自動的に得ることが重要となる．

図 1 に示す．比較のために，新たな提案機能を削って，しかし，実世界の複雑な音楽音響信号からこれらを得る

従来の典型的な 7 種類の再生操作ボタンだけを残したイ☆2 なお，再生操作ウィンド ウに「前のサビの区間の頭出し 」ボタンと「次のサビの区間の頭出し 」ボタンの二つを用意してもよい．ここでは，以下の理由から一つのボタンとしている．(1) 現状の「サビの区間の頭出し 」ボタンを連打すれば，すべてのサビ区間を一巡した後にまた最初の区間に戻るので，短時間で望みの箇所へ移動できる．(2)
瞬時に過去のサビ区間へ戻る必要がある場合には，楽曲構造表示ウィ
ンド ウで区間を直接クリックする手段が用意されている．

ンタフェース画面も図 2 に示す．図 2 のウィンド ウ中，左側から順に，停止，一時停止，再生，前の曲へ頭出し，
早戻し，早送り，次の曲へ頭出しのボタンが並んでおり，
慣例的な記号が描かれている．停止ボタンの上側には，

3

音響信号

ことは容易ではなく，既存の手法では実現できない．

や繰り返し区間の開始点と終了点の一覧を自動検出する
手法 RefraiD (Refrain Detecting Method) を提案する．

クロマベクトル間の類似度の計算

従来，楽曲の音響信号中に何度も出現するサビの中のど繰り返し区間のリストアップ

こか一箇所を，常に指定した長さだけ切り出して提示す繰り返し区間の統合る手法

8)∼10)はあったが，サビ区間の開始点と終了点は転調を伴う繰り返し区間の統合

わからず，サビの転調も扱えなかった．本手法は，様々１２種類の転調先を考慮

１２次元クロマベクトルの抽出

そこで，ポピュラー音楽を対象に，楽曲中のサビ区間

サビ区間の選択な繰り返し区間の相互関係を調べることで，楽曲中で繰

サビ区間の一覧

り返されるすべてのサビ区間を網羅的に検出し，それら繰り返し構造図 3: サビ区間検出手法 RefraiD の処理の流れの開始点と終了点を推定できる．また，転調後でも繰り返しと判断できる類似度を導入することで，転調を伴う楽曲に特化して人間が手で設定するのは容易だが，幅サビ区間も検出できる．

広い楽曲に適用可能な手法とするためには，その基準

自動検出では検出結果に誤りが含まれることもあるが，を処理中の楽曲に基づいて自動的に変える必要がある．

実用上は，完全な精度でなくても聴き手が再生位置を見

課題 3: 繰り返し区間の端点 (開始点と終了点) の推定

つける手掛かりとなるため，従来の試聴機よりは便利と様々な繰り返し区間の相互関係を調べることで，繰りなる．ただし，正確な記述が必要なときには，検出結果

返し区間の端点を推定する必要がある．例えば，(A B

を手作業で修正できるとよい．そこで，サビ区間や楽曲

C B C C) の構造を持つ楽曲に対し，単純に長い繰り構造を手動でラベリング・修正できるエディタも用意し返しを見つけると (B C) が求まってしまう．この場合，た．この手動ラベリングは，自動検出が困難な楽曲や他

最後の C の繰り返し情報に基づいて，(B C) の C の区

ジャンルの音楽に対しても有効である．

間の端点を推定する，といった処理が求められる．

4.1

課題 4: 転調を伴う繰り返しの検出

サビ区間検出の実現上の課題

転調後の区間は，一般に特徴量が大きく変わるために本研究ではポピュラー音楽の多様な楽曲を扱うため，転調前の区間との類似度が低くなり，繰り返しの判断

サビ固有の音響的な特徴に関する事前情報を一切使わなが困難となる．特に，転調は曲の後半のサビの繰り返

い，ロバストなサビ区間検出を実現したい．そこで，通しで起きることが多く，重要な課題である．

常はサビ区間が楽曲中で最も多く繰り返されることに着

4.2

目し ，基本的には，ある区間の繰り返しを見つけ出し ，
最も出現頻度の高い区間を出力する戦略を取る．しかし，

サビ区間検出手法 RefraiD の処理の概要

上記の課題を解決するサビ区間検出手法 RefraiD の「繰り返し 」と言っても完全に一致する状態で繰り返さ処理の流れを図 3 に示す．

れることはまれで，計算機にとっては判断が難しい．そ1. 12 次元クロマベクト ルの抽出と類似度の計算の際の主要な課題は，以下のようにまとめられる．

特徴量とし て ，入力音響信号のパワー スペ クト ル

課題 1: 特徴量と類似度の検討

Ψp (f, t) (時刻 t，対数スケール周波数 f ，STFT 窓幅ある区間が別の区間の繰り返しであるかど うかを，各256ms，フレームシフト 80ms) から，細部の変形の影区間から求めた特徴量間の類似度に基づいて判断しな響を受けにくい 12 次元クロマベクトル (chroma vec-

ければならない．その際，繰り返す度に伴奏のアレンtor) v(t) を求める．v(t) の各次元 vc (t) は，12 音名のジやメロディーライン等が多少変化しても，特徴量間

各音名 c (c = 1, 2, . . . , 12) の周波数のパワーを複数のの類似度は高い必要がある．単に，音響信号処理でよオクターブ h に渡って加算したもので，
OctH  ∞vc (t) =BPF c,h (f ) Ψp (f, t) df

く用いられるパワースペクトルや MFCC を特徴量とすると，こうした要件を満たすのは困難となる．

h=OctL

課題 2: 繰り返しの判断基準

(1)

−∞

と定義する．BPF c,h (f ) は，音名 c，オクターブ h の位

類似度がどの程度高ければ繰り返しとみなせるかとい

置のパワーを通過させるバンドパスフィルタで，OctL

う基準は，楽曲に依存して変わる．この基準を，少数と OctH は，130 〜 8000 Hz の 6 オクターブに渡るよ4l (lag)l (lag)

C の内部の繰り返しに相当する類似線分な検出でもれていた類似線分の再検出を，他の類似線分の情報に基づいておこなう．例えば，図 4 の ABCC

Cの繰り返しに相当する類似線分の繰り返しに相当する長い類似線分上で，C の繰り返
しに相当する類似線分 2 箇所が得られていなくても，ABCCの繰り返しに相当する類似線分

ここで検出されることが期待できる．こうして，各グループごとに端点を適切に求め直す (課題 3 に対応)．

Cの繰り返しに相当する類似線分

また，得られた類似線分が適切であるかも検証する．

4. 転調を伴う繰り返し区間の統合
ある演奏のクロマベクトルを v(t) とし，それを半音 trr (t,l)

個分上へ転調した演奏のクロマベクトルを v(t) とする
0

A

B

C C

A: Ａメロ

A

B

B: ＢメロC C C C t (time) Rall (t,l)と，それらの各次元は音名に対応しているため，転調
幅 tr に応じて v(t) の次元間で値をシフトさせたもの. S tr v(t) )．
と，転調前の v(t) とは値が近くなる (v(t) =
.

C: サビ

図 4: ある楽曲に対する類似線分，類似度 r(t, l)，パラメータ
空間 Rall (t, l) の概念図: r(t, l) は，右下半分の三角形内で定義

シフトの操作は，以下のシフト行列 S で表現できる．
 0 1
0··· ··· 0 

される．実際に得られる r(t, l) はノイズを多く含み，サビに関0連しない類似線分も存在して曖昧なことが多い．

 ..
.
S =
 0

うに設定する．そして，時刻 t の v(t) とそれよりラグ

01(lag) l (0 ≤ l ≤ t) だけ過去の v(t−l) との類似度 r(t, l)を， v(t)v(t−l)
 maxc vc (t) − maxc vc (t−l) √r(t, l) = 1 −(2)12により計算する (以上が課題 1 に対応)．

0
···
···
0

1
..

.
···
···
···

0
..

.

0
···
···

···
..
.
1
0
···

0
.
.
.
0
1
0





(4)

クロマベクトルのこの特長を利用し ，12 種類の転調先を考慮して，tr ごとの 12 種類の類似度 rtr (t, l) を tr S v(t)v (t−l) maxc vc (t) − maxc vc (t−l) √(5)
rtr (t, l) = 1 −12と定義し直す．これを出発点として，上記の繰り返し

2. 繰り返し区間のリスト アップ
判別基準に基づく自動閾値選定法 11) によって，繰り区間の検出処理も 12 種類分おこない，それらすべて返しの判断基準 (類似度に対する閾値) を楽曲ごとにの繰り返し区間を統合する (課題 4 に対応)．

自動的に変えながら，繰り返し 区間のペアをリスト

5. サビ区間の選択アップする (課題 2 に対応)．r(t, l) を，図 4 のように繰り返し区間のグループ i ごとにサビらしさ νi を評価

t − l 平面に描画すると，繰り返し区間に対応して，時し，最も高いグループ m = argmaxi νi の区間をサビ間軸に平行な線分 (類似度が連続して高い領域) が現れ区間とする．サビらしさ νi は，グループ i 内の Mi 個る．これを類似線分と呼び，ラグ L1 の位置で，時刻の各区間 j ごとに求めた信頼度 (局所的なサビらしさ)

T 1 〜 T 2 の間に類似線分があるとき，区間 T 1 〜 T 2 とλij の和に，区間の長さ Li に応じた重みをかけて


Mi

Li
νi = 
λij  log
(6)
Dlen
j=1

(T 1 − L1) 〜 (T 2 − L1) が繰り返しであることを意味する．よって，r(t, l) 中の類似線分をすべて検出すれば，繰り返し区間の一覧が得られる．そこで，
 tr(τ, l)dτ
(3)Rall (t, l) =t−llの値が十分高い l の位置に類似線分が存在すると考え，と定義する (定数 Dlen =1.4 sec)．λij は，対応する類
似線分における類似度 rtr (t, l) の平均とし ，さらに，
以下の三つの仮定を満たすものが高くなるように修正

類似度 r(t, l) が時間軸方向に連続して十分高い領域をする．

探索して類似線分とする．この十分高いことを判断す(仮定 1) サビには，許容される適切な長さの範囲 (現る閾値を，クラス分離度 (クラス間分散) を最大とする

在の実装では 7.7 〜 40 sec) がある．

判別基準に基づく自動閾値選定法 11) により定める．

メロ ⇒ B メロ ⇒ サビ ) ×2 」に相当するような長い

3. 繰り返し区間の統合(仮定 2) 「 (A区間の繰り返しがある場合，その末尾部分がサビであ(仮定 3) ある繰り返し区間内に，各類似線分は，単に二つの区間が繰り返されている

る可能性が高い．

ことを表すため，共通区間を持つ類似線分同士を一つその区間の半分程度の短い区間が繰り返されている場のグループとして統合する．その際に，ボトムアップ

合には，元の区間がサビである可能性が高い．

5

RefraiD は，こうして求めたサビ区間の一覧と共に，中して，F 値が 0.75 以上のとき，その曲のサビ区間を正しく得られた (正答した) と判定した．

間結果として得られた繰り返し構造も出力する．

その結果，100 曲中の正答曲数は 80 曲 (80 曲の平均 F

システムの実装と結果

5

値は 0.938) であった．誤検出は，サビの繰り返しが他の箇所の繰り返しより多くなかったり，曲中ほとんどが類3 章で述べた機能を実装した SmartMusicKIOSK のプ

似伴奏の繰り返しだったりしたのが主な原因だった．100

ロトタイプシステムを構築した．本システムの インタ

曲中には，サビに転調のある曲が 10 曲含まれているが，フェース部分は，サビ区間検出手法 RefraiD が出力する

そのうち 9 曲は検出できていた．サビの繰り返しで，伴サビ区間と繰り返し構造の記述を含むファイルを利用す

奏やメロディーに大幅な変化を伴う曲は 22 曲あったが，る形で動作する．自動検出結果としては様々な繰り返し

そのうち 21 曲は検出できており，その中で，変化を伴う構造が求まるが，インタフェース部分でのジャンプや視サビ自体は 16 曲で検出できていた．以上から，本手法が覚化には，区間が長いものから上位 5 つだけを使用した．

実世界の音響信号に対して有効であることが確認された．

本システムの GUI 部分，楽曲ファイル再生エンジン部
分，音響出力デバイス制御部分は，拡張性が高くなるよ5.2

うに，分散環境で動作する別々のプロセスとして実装しSmartMusicKIOSK の運用結果た．そのために，音響信号や各種制御情報をネットワー

実装した SmartMusicKIOSK を，二つの提案機能 (ジク上で効率よく共有することを可能にするネットワークャンプボタンと楽曲構造表示) の有無に応じて，四つの条

プロトコル RACP (Remote Audio Control Protocol) を件で運用した．試聴対象には，RWC 研究用音楽データ

設計し，それに基づいて実装した．RACP は，RMCP12)

ベース (RWC-MDB-P-2001) の中から，試聴者が初めてを音響信号の伝送用に拡張したプロトコルである．

聴く楽曲を選んだ．また，自動サビ区間検出手法によって

以下，RefraiD の評価結果を述べた後に，SmartMu-

正しく得られた記述を用いた．ここでは，条件間の比較

sicKIOSK のプロトタイプシステムの運用結果を述べる．

のために，視覚化された楽曲構造上の区間を直接クリッ
クして再生する機能は用いていない．

5.1

自動サビ区間検出手法の評価結果

以下，四つの条件とその運用結果を述べる．

RefraiD の有効性を確認する実験をおこなった．ここで条件 1 提案機能が一切ない (図 2 相当)．

の評価対象はサビ区間の検出精度のみで，繰り返し構造

試聴者は，曲の頭の部分がサビでない場合，少し聴いは評価対象外とした．評価には，「 RWC 研究用音楽デーては早送りボタンを押すという動作を，サビが出てく

7)の 100 曲 (RWC-MDB-Pタベース: ポピュラー音楽」

るまで 5 〜 10 回程度繰り返した．少しずつ聴きながら2001 No. 1 〜 100) を用いた．検出結果の正誤を判定す

早送りすることは，時間がかかって煩わしいものの，るためには，基準となる正解のサビ区間を人間が手作業

楽曲の雰囲気をつかみたいときには有効であった．

で指定する必要がある．そこで，楽曲を分割してサビ区

条件 2 ジャンプボタンがないが，楽曲構造表示はある．

間等をラベリングできる，楽曲構造ラベリング用エディ

ど こまで再生位置を早送りすればよいかのフィードタを開発した．なお，このエディタにより，4 章の冒頭

バックが得られる点が効果的であり，試聴者は条件 1

で述べた手動ラベリングも可能となる．

よりも便利だと評価した．しかし，画面表示によってこうして作成した正解に基づき，各曲に対する出力結現在の再生位置よりも先が見えているだけに，そこま

果の区間と正解のサビ区間がどれぐらい重なっているかで飛ばしたいという欲求が強くおきる傾向があった．

を，再現率，適合率，および両者を統合した F 値 13) の条件 3 ジャンプボタンはあるが，楽曲構造表示がない．

観点から評価した．以下に定義を示す．

最初にイントロを聴いた後に，直接「サビの区間の頭正しく検出したサビ区間の長さの合計
再現率 (R) =正解のサビ区間の長さの合計
正しく検出したサビ区間の長さの合計
適合率 (P ) =検出した区間の長さの合計(β 2 + 1)P R(β = 1 を使用)
F値 =β2P + R出し 」ボタンを押す聴き方と，「 次の楽曲構造の区間の頭出し 」ボタンを押しては少し聴くという操作を繰り返し，サビが出てきたらそこをじっくり聴くという聴き方が主だった．効率よく飛ばしながら聴ける点が評価され，条件 2 より好まれていた．

ただし，転調を伴う場合には，相対的な調の移動幅が正条件 4 提案機能がすべて有効である (図 1 相当)．

解と一致したときだけ，正しく検出したと判断した．そ6

条件 2，3 の利点が共に得られる試聴方法であり，最や周波数スペクトルを表示することは容易である．しかも便利だと評価された．条件 3 のような聴き方に加え，し ，楽曲全体に対するこれらの表示を聴き手が見ても，楽曲構造上を自在に行き来しながら聴く傾向が強くな

音楽の構造を読み取れず，的確な再生位置の判断が困難

り，サビを聴いた後に A メロに戻って聴いたり，楽曲な場合が多い．

後半のサビの繰り返しへ飛んで聴いたりしていた．

本研究は ，最近研究事例が 報告され 始めた 音楽要

条件 3 は，通常のメディアプレーヤに三つのジャンプ

約 18)∼20) とも関連がある．試聴の目的の一つに，音楽

ボタンを追加した場合に相当し，楽曲構造表示がなくてを短時間で聴くということがあるが，この目的は，楽曲も通常のプレーヤより便利であることがわかった．またの長さを短くする音楽要約と共通だからである．しかし

条件 4 から，視覚化はさらにその操作を助け，楽曲の様々音楽要約では，本研究のようなインタラクティブで能動な箇所を聴く上で有効であることがわかった．さらに，的な聴取に関しては考慮されていなかった．試聴というボタンの機能や表示ウィンド ウの中身に関して一切説明

観点からは，ユーザが自分の意志でインタラクティブにを受けていない試聴者が，条件 4 で利用した場合でも，楽曲の聴きたい部分を選択できる意義は大きい．この能短時間の使用でこれらの意味を推測し，把握できた．

動的な聴取に関しては次節で引き続き議論する．

以上から，提案したインタフェースが機能し，試聴者して，インタラクティブに楽曲再生に介入できることを

音楽を能動的に聴取できるインタフェー
ス

確認した．また運用を通じて，提案したサビ出し機能や近年音楽の利用場面は拡大しており，店頭での CD 試

前後の区間の頭出し機能は，使用するのが容易で訓練は聴に限らず，携帯電話の着信音楽の選択や，ある場面不要であり，直感的で使いやすいことがわかった．

に適切な BGM(バックグラウンド ミュージック) の選択，

6.2

は，楽曲構造表示の助けを得ながらジャンプボタンを押

WWW での音楽の利用等，自分の意志で音楽を選び，内議論

6

容を確かめ，ときには部分的に切り出して利用する形態が増えている．それに対して，2 章で述べたように，音本研究は，音楽再生におけるインタラクションに取り楽再生のためのインタフェースは，CD プレーヤや計算組む従来にない研究であるが，音楽の視覚化や音楽要約

機上のメディアプレーヤの登場後も，典型的な再生操作に関しては様々な研究がなされてきた．以下では，それボタン群に固定されていた．これらは，受動的に鑑賞す

らを紹介すると共に，試聴という場面に限定しない音楽る目的では適切であったが，楽曲中で自分の望む部分を再生におけるインタラクションに関して考察する．また，インタラクティブに見つける目的には不十分である．

提案手法がどういう場面に応用可能であるかも議論する．

一般的な音楽再生インタフェースとし て SmartMu-

6.1

関連研究

sicKIOSK を考えると，従来の楽曲単位での操作体系に対し，楽曲内部の区間単位での操作体系が追加されたも

5.2 節で述べたように，楽曲構造表示のような視覚化のと捉えることができる．従来は楽曲単位で興味のないは，試聴する際の再生位置変更の目安として有効である．

曲を飛ばせたが，楽曲内部の興味のない箇所を飛ばすの音楽が持つ情報の視覚化に関しては，古くから，楽譜表は容易でなかった．本インタフェースにより，原曲の時示や MIDI データのピアノロール表示☆3 等が用いられて系列に沿わずに，「 好きなところを聴きたいように聴けきた．また，主にクラシック音楽の演奏の表情付けを分る」ようになったメリットは大きい．この方向の延長線

析する目的で，いくつかの視覚化手法が提案されてい上には，楽曲単位での操作からの類推として，区間単位

る 14)∼17) ．しかし，いずれも MIDI データに限定されたでのシャッフルプレ イ機能の追加等が考えられる．

手法であり，音楽音響信号に適用することはできなかっインタフェース構築時には予想しなかったことだが，た．また，本研究のようにサビ区間や楽曲中の繰り返し

試聴よりも長時間の利用が許される場面で，楽曲構造を

区間の構造を表示するものはなく，ポピュラー音楽の楽見ながら音楽再生位置をインタラクティブに変更して聴曲全体を俯瞰して，聴きたい場所をインタラクティブにくときには，従来の鑑賞に比べてより分析的に聴く傾向選ぶ目的には利用できなかった．

があった．例えば，楽曲全体がどのような構造になって一方，音楽音響信号の視覚化として，音響信号の波形

いるかを確かめ，構成上の各区間を聴いたり，繰り返さ☆3 横軸が時間，縦軸がMIDI ノートナンバー (通常は鍵盤表示) である二次元平面上で，発音中の部分に着色する表示方法．

れる区間同士の比較をしたりする場面がみられた．また，7楽曲構造の視覚化結果は，それを眺めながら音楽を聴く

中の繰り返し区間の先頭へ自在にジャンプし，同時に楽だけでも面白く有用であった．

曲全体を俯瞰してそれらの区間の配置を見ることが可能

試聴という観点からは，サビを聴きたいという要求となった．また，上記区間を得るための自動サビ区間検の次に，楽曲の雰囲気を把握したいという要求がある．

出手法 RefraiD を提案し ，RWC 研究用音楽データベー

SmartMusicKIOSK では，楽曲中の繰り返し区間の先頭

ス 100 曲を用いた評価実験により有効性を確認した．実へジャンプすることで，ある程度短時間に雰囲気を把握際に，SmartMusicKIOSK を実装して運用した結果，試することが可能であったが，繰り返されない区間 (間奏・聴において便利なだけでなく，今まで経験したことのな

ギターソロ等) の先頭へはジャンプできない．こうしたいような音楽の聴き方ができる新たな音楽再生インタ「どんな雰囲気の曲かが容易にわかるインタフェース」へ

フェースとしても有用であることがわかった．
今後は，多数のユーザによる評価実験を実施するだけの発展は，今後の課題である．

でなく，6 章で議論したような各種拡張をおこなってい

6.3

応用

く予定である．また，試聴以外も広く視野にいれた，人間と音楽とのインタラクションをより能動的で豊かにす

SmartMusicKIOSK の機能や自動サビ区間検出手法は，る研究の方向性も探求していきたい．

本論文での使用方法以外にも幅広い応用の可能性を持つ．

参考 文 献以下では，主な応用例を紹介する．

[1] 園田智也, 後藤真孝, 村岡洋一: WWW 上での歌声による曲検索システム, 信学論 (D-II), J82-D-II, 4, 721–731 (1999).
[2] 橋口博樹, 西村拓一, 張建新, 滝田順子, 岡隆一: モデル依存傾斜
制限型の連続 DP を用いた鼻歌入力による楽曲信号のスポッティ
ング検索, 信学論 (D-II), J84-D-II, 12, 2479–2488 (2001).
[3] 片寄晴弘: 自動採譜, コンピュータと音楽の世界, 共立出版, 74–88(1998).
[4] 柏野邦夫: 重なり合った音を聞き分ける — 音源分離, コンピュー
タと音楽の世界, 共立出版, 89–99 (1998).
[5] 後藤真孝: リアルタイム音楽情景記述システム: 全体構想と音高推定手法の拡張, 情処研報 音楽情報科学 2000-MUS-37-2, 9–16
(2000).
[6] 後藤真孝: 音楽音響信号を対象としたメロディーとベースの音高
推定, 信学論 (D-II), J84-D-II, 1, 12–22 (2001).
[7] 後藤真孝, 橋口博樹, 西村拓一, 岡隆一: RWC 研究用音楽データ
ベース: ポピュラー音楽データベースと著作権切れ音楽データ
ベース, 情処研報音楽情報科学 2001-MUS-42-6, 35–42 (2001).
[8] Logan, B. and Chu, S.: Music Summarization Using Key
Phrases, Proc. of ICASSP 2000 , II–749–752 (2000).
[9] Bartsch, M. A. and Wakeﬁeld, G. H.: To Catch A Chorus:
Using Chroma-based Representations for Audio Thumbnailing, Proc. of WASPAA’01 , 15–18 (2001).
[10] Cooper, M. and Foote, J.: Automatic Music Summarization via Similarity Analysis, Proc. of ISMIR 2002 , 81–85(2002).
[11] 大津展之: 判別および最小 2 乗規準に基づく自動しきい値選定法,
信学論 (D), J63-D, 4, 349–356 (1980).
[12] 後藤真孝, 根山亮, 村岡洋一: RMCP: 遠隔音楽制御用プロト
コルを中心とした音楽情報処理, 情処学論, 40, 3, 1335–1345(1999).
[13] van Rijsbergen, C. J.: Information Retrieval, Butterworths,
second edition (1979).
[14] 平賀瑠美, 五十嵐滋, 松浦陽平: 統合演奏視覚化システム, 情処学論, 38, 11, 2391–2397 (1997).
[15] Smith, S. M. and Williams, G. N.: A visualization of music,
Proc. of IEEE Visualization ’97 , 499–503 (1997).
[16] 漆原めぐみ, 平賀瑠美, 五十嵐滋: 楽曲構造に基く演奏の視覚化と分析, 情処研報音楽情報科学 2000-MUS-34-9, 53–57 (2000).
[17] 宮崎麗子, 藤代一成: comp-i: MIDI データの 3 次元可視化, 情処
研報 音楽情報科学 2002-MUS-46-9, 55–60 (2002).
[18] Peeters, G., Burthe, A. L. and Rodet, X.: Toward Automatic Music Audio Summary Generation from Signal Analysis,
Proc. of ISMIR 2002 , 94–100 (2002).
[19] Dannenberg, R. B. and Hu, N.: Pattern Discovery Techniques for Music Audio, Proc. of ISMIR 2002 , 63–70(2002).
[20] Hirata, K. and Matsuda, S.: Interactive Music Summarization based on GTTM, Proc. of ISMIR 2002 , 86–93 (2002).

• デジタル試聴機
1 章で紹介したデジタル試聴機では，機械的に切り出された楽曲の先頭しか収録されていなかった．自動サ
ビ区間検出手法を用いることで，サビ区間を切り出して収録することが可能になる．将来的には，店頭のデジタル試聴機自体が，SmartMusicKIOSK のような機能を持つものに発展することが望まれる．

• 音楽サムネール (music thumbnail)多数の楽曲をブラウジングするときや，楽曲検索シ
ステムにおいて検索結果を提示するときに，サビの冒頭を短く再生 (プレビュー) できると便利である．これは，画像のサムネールの音楽版とみなせ，自動サビ区
間検出手法で切り出されたサビの冒頭を使用できる．

• 計算機上のメディアプレーヤ
近年のメディアプレーヤでは，プレーヤの外観 (スキン ) を変更する機能や，再生中に周波数帯域ごとのパワー等に基づいて幾何学図形のようなアニメーションを表示する機能が追加されているが，インタフェース
自体に進歩は見られなかった．本研究の提案内容がメディアプレーヤに採用されるだけでなく，メディアプ
レーヤという音楽再生インタフェースの機能全体が，改めて再検討される流れが生まれることを期待したい．

7

おわりに
本論文では，インタラクティブな音楽試聴インタフ

ェースについて検討し，聴き手が音楽再生に能動的に介入しやすい音楽試聴機 SmartMusicKIOSK を提案した．

SmartMusicKIOSK により，試聴者は，サビ区間や楽曲

8