MusCat:楽曲データの印象表現に基づいた一覧表示の一手法
草間かおり （指導教員：伊藤貴之）

概要

1

音楽の再生機材として PC やポータブル音楽プレイヤーが主流になり，その内蔵記憶装置の記憶容量の増大に伴い，個人が保有する楽曲数が膨大化している．本論文では，膨大な楽曲をメタデータに依存することなく，楽曲そのものの特徴に基づいてクラスタリングし，各クラスタの印象表現のために生成した画像を一覧表示するブラウザを提案する．

2

提案内容

2.1

特徴量抽出

音楽的特徴量による画像生成

色選択

まず，印象画像を生成する色を決定する．本論文の実装では，カラーイメージスケール [3]（図 1 参照）をもとに印象画像の色を選択する．カラーイメージスケー
ルは，warm-cool 軸と soft-hard 軸の 2 次元の感性空間に色を分布させたものである．本手法では楽曲を感性空間に配置し，感性空間上で最も距離の近い色を楽曲の色とする．続いて，warm-cool 軸，soft-hard 軸に対応する楽曲特徴量を考える．一般にメジャーコードに明るい・暖かいといったポジティブな印象を表わすコードであり，マイ近年さまざまな楽曲特徴検出手法が提案されている．本
論文において，MIR toolbox[1] を用いて，楽曲から 11 個の特徴量を検出している．(表 1 参照) また、Marsyas[2]を用いて，MFCC という 9 次元の特徴量を検出している．
表 1: 楽曲特徴

ナーコードは冷たい・悲しいといったネガティブな印象を表わすコードである．このことから本手法では，マイナーコードとメジャーコードの音量差を示す特徴量 mode をwarm-cool 軸に割り当てる．また一般的に，低音が少なければ軽い・やわらかい音，低音が多ければ固い・重い音と表現することが多い．このことから本手法では，低音域特徴量

説明

RMS energy
Low energy
Tempo
Zero crossing
Roll oﬀ
Brightness
Roughness
Spectral irregularity
Inharmonicity
KeyMode

音量弱音の割合
テンポ
波形が 0 値をとる回数
85 ％を占める低音域の割合
1500Hz 以上の音域の割合
不協和音の多さを示す値
音質の変化の大きさ
根音に従っていない音の量
主に使われている音
major と minor の音量の差

2.2

2.3.1の音量を示す特徴量 roll oﬀ を soft-hard 軸に割り当てる．
以上により，mode, roll oﬀ の 2 特徴量に基づいて，楽曲を色の感性空間に配置する．その後，楽曲の座標値と最も近い座標の色をその楽曲の色とする．

クラスタリング

音楽的特徴量に基づくクラスタリング

続いて，特徴量に基づいて階層的にクラスタリングする．楽曲は様々な特徴すべてを複合してひとつの楽曲であるので，各楽曲に対しすべての特徴を加味して分析する多変量クラスタ分

図 1: カラーイメージスケールの感性空間

析法を用いる．ここで，多変量解析にもいくつかの方法があるが，本手法は分類感度が高く，クラスタの要素数が比較的均一なウォード法を採用している．また，印象におけるユーザの満足度を高めるようクラスタリングに制約条
一方，特徴量MFCC に基づいたクラスタリングにおいては，群平均法を採用している．

2.3

続いて，楽曲の特徴量に対応したデザインを生成する．本論文では，デザインの文法 [4] に基づいたデザインの一例を示す．このデザインでは，RMS energy
を背景のグラデーション, Tempo を円の個数, Spectral件を付与させる．
音響的特徴量に基づくクラスタリング

デザインの選択

画像生成

本手法では，ユーザが特定の印象を有する楽曲を直感的に発見するために，抽象的な印象画像を提示する．

irregularity を円の配置バランス，Roughness を各円のサ
イズのばらき，Brightness を星の個数に割り当てる（図 2参照）．
2.3.2

音響的特徴量による画像生成

Marsyas によって抽出される特徴量 MFCC は，音量を表す値として，9 つの正方形の大きさで表わすことで画像を生成する．

の音量を視覚的に認識することが可能となり、緑色の正方形が大きい画像の楽曲は男性ボーカルによる伴奏楽器の少ない楽曲であることがわかる．このように，音響特徴に基づく分類においては，ジャンルに捕われずに，楽曲編成が類似している楽曲毎に分類された．

図 2: 楽曲特徴量に基づくデザイン生成2.4

図 3: 音楽的特徴量による可視化結果例

一覧表示

本手法では，画像ブラウザ CAT[5] に楽曲再生機能を設けたブラウザ MusCat を用いて，印象画像を一覧表示す
る．CAT では，前処理として大量画像を階層型にクラスタリングし，それを互いに重ならずに等しいサイズで一覧表示する．CAT では各画像をサムネイル表示し，サムネイルを長方形の枠で囲うことでクラスタを表現する．さらに CAT では，ズーム率に合わせた詳細度制御を設けている．ズームイン時は，低階層クラスタの各々の画像サムネ

図 4: 音響的特徴量による可視化結果例

イルを表示する．そしてズームアウト操作に伴って，低階層クラスタを示す長方形領域を，各低階層クラスタの代表また，音響的特徴に基づいたクラスタリング結果を，2画像で置き換えて表示する．さらにズームアウト操作を種の画像を切り替え表示することにより，ジャンルにとら続けると，高階層クラスタを示す長方形領域を各高階層われずに楽器構成による探索するだけでなく，分類した各クラスタの代表画像で置き換えて表示する．このように， 楽曲の音楽的特徴量を認識することが可能となった．これ

CAT は階層化された画像群に対するズーム操作によって， らのように MusCat を使うことで，楽曲を聴く前に楽曲直感的に画像を絞り込みながら閲覧できる．MusCat は， の特徴を理解することが可能となる．
以上のような CAT の諸機能を継承し，かつ印象画像に対するマウス操作での楽曲再生機能を有する．

3

4

まとめ
本論文では，楽曲を印象に基づいて直感的に認識するた結果めに，楽曲の特徴量から印象画像を自動生成して，クラスMIRtoolbox から得タリングした楽曲に対して一覧表示する手法 MusCat をられた 11 個の特徴量を基にしてクラスタリング及び画像提案した．
生成した表示結果を，図 3 に示す．図 3（左）はズームア
ウト時，（右）は左の画像をズームイン操作することによっ 謝辞
ユーザテストに協力頂いた諸氏に，謹んで感謝の意をて得られた画像である．ズームアウトにより，高階層クラスタの構成には色との相関性が大きいことを観察できる． 表する．本論文の実験には，RWC 研究用音楽データベー音楽的特徴量に基づいた可視化結果各クラスタの個々の画像を見比べると，左上のクラスタはスに収録された楽曲を使用させていただいた．

比較的円のばらつきの多い画像で構成されていることが参考文献わかる．また，ズームイン画面を見ると，色相が青に近い画像で構成されるクラスタにおいて，低階層では暖色系[1] O. Lartillot. MIRtoolbox.
http://www.jyu.ﬁ/hum/laitokset/musiikki/en/
research/coe/materials/mirtoolbox.と寒色系に分類していること，また円のサイズが均一で[2] Marsyas. http://marsyas.info/あること，などを観察できる．このことから，短調が多く[3] 小林 重順. カラーシステム. 日本カラーデザイン研究所（編）. 1999.

協和音の多い楽曲を，さらに細かく比較的長調が多い曲[4] C. Leborg. デザインの文法. ビーエヌエヌ新社. 2007.

か否かで細かく分類していることがわかる．

[5] A. Gomi. R. Miyazaki. T. Itoh. J. Li. A Hierarchical Image
Browser Using a Rectangle Packing Technique. In 12th International Conference on Information Visualization, pp. 82–88,
2008.

音響特徴量に基づいた可視化結果

MFCC によってクラスタリングし、画像生成した結果を，図 4 に示す．各音域