WISS2012

GRAPE : グラデーション画像によるポータブルビジュアルプレイリスト
魚田 知美

伊藤 貴之∗

概要.
実際に聞くまで中身を把握できない音楽を，短時間で直感的に把握する一手段として可視化が有用である．また音楽鑑賞の際，次に聞く曲を逐一選択する方法よりも，プレイリスト等の音楽のまとまりを選択する方法のほうが一般的だと考える．そこで「1 画像で 1 プレイリスト」を表すプレイリスト単位の音楽可視化を PC 上とポータブルミュージックプレイヤー上で実現する．処理手順は，3 ステップである．
まず各楽曲から楽曲特徴量を抽出する．抽出した特徴量に基づいて各楽曲に色を割り当て，同時に SOM（Self-Organizing Map : 自己組織化マップ）を用いて各楽曲を配置する．SOM を用いることで似ている曲は近くに集まるため，GRAPE では自動的にグラデーションのような画像が生成される．

はじめに

1

携帯型音楽プレイヤーの登場によって，音楽と触れ合う機会が増えた．しかし音楽は，実際に聞いてみるまで中身を把握できないため，内容把握に時間がかかる．音楽の内容を短時間で直感的に把握する一手段として，画像で情報の全体像を表現する可視化が非常に有用であるといえる．既存の音楽可視化の手法 [1][2] では「1 画像で 1 曲」を表す可視化がされてきた．これに対して本報告では，「1 画像で 1 プレイリスト」を表すプレイリスト単位の音楽の可視化 GRAPE (GRadation Arranged PlaylistEnvironment) を PC 上とポータブルミュージックプレイヤー上で実現する．我々は音楽鑑賞の際，1曲聞くごとに次に聞く曲を逐一選択する操作方法よりも，プレイリストやアルバムといった音楽のまとまりを選択する操作方法のほうが一般的だと考える．よって，プレイリストやアルバムの全体像を可視化することで，多くのユーザの選曲操作スタイルを変えることなく選曲操作を支援できると考える．
現在の音楽プレイヤーでは，一般的にプレイリストはその名前のみで表示され，その名前を知らない場合には中身を推察することが難しい．それに対して
GRAPE では色のついた正方形のタイルを並べてプレイリストを表現することで，プレイリスト全体を通してどんな印象を有するかという全体像と個々の曲の印象の両方を同時に表現する．

提案手法

2
2.1

楽曲特徴量抽出

まず各楽曲から楽曲特徴量を抽出する．楽曲特徴量の抽出には，楽曲特徴分析パッケージ MIRtoolbox[3] を用いる．GRAPE では MIRtoolbox で抽∗Copyright is held by the author(s).
Tomomi Uota and Takayuki Itoh お茶の水女子大学大学院 人間文化創成科学研究科 理学専攻,

出可能な特徴量のうち，RMSenergy（音量平均値），Tempo，Brightness（高音域の割合）の 3 つの特徴量を正規化して使用する．

2.2

YCbCr 色空間を利用した楽曲色

続いて，抽出した楽曲特徴量に基づいて各楽曲に色を割り当てる．色を割り当てる際に我々は，YCbCr色空間を採用した．Brightness は単純に各楽曲の輝かしさと表現することができる特徴量であるから，Y 軸である明度と対応させた．楽曲の音量平均値を示す RMSenergy は，赤色が持つイメージ [4] である「活動的」や「エネルギッシュ」というキーワードに意味が近いと考えて対応させた．Tempo が大
きい (=速い) 曲は，青色が持つイメージ [4] である「開放感」や「爽やか」というキーワードに意味が近いと考えて対応させた．以上の理由から YCbCr
色空間へ 3 つの特徴量を対応させた．

2.3

SOM による楽曲配置

続いて，抽出した特徴量に基づいて各楽曲を配置する．各楽曲を配置する手法として SOM を用いる．
SOM とは Kohonen が提案した人工ニューラルネッ
トワークの 1 種である．1 楽曲を 1 要素として SOMを適用することにより，似ている楽曲は近い場所に集まり，あまり似ていない楽曲は遠い場所に配置される．これにより自動的にグラデーション風の画像が生成される．

2.4

画像一覧表示以上により取得した楽曲の位置情報と色情報をプ
レイリスト毎にまとめて画像とし，PC 上と Android
アプリケーション上でプレイリスト群を一覧表示させる．Android ベースのポータブルミュージックプ
レイヤーのアプリケーションとして実装したことからどこへでも持ち歩けるプレイリスト，ポータブルビジュアルプレイリストと表現した．

WISS 2012

図 1. (左)PC (右)Android アプリケーションでの表示

3

図 3. プレイリスト別の各特徴量分散値

実行結果

本章ではプレイリスト A,B,C を GRAPE で可視化した結果（図 2 参照）を示す．なお可視化結果内で白くなっている領域には，楽曲が割り当てられていない．
次に，プレイリスト別の各特徴量の分散値と平均値を図 3,4 に示す．図 2 に示す可視化画像から筆者が直感的に得られる視覚的印象と，図 3,4 に示す楽曲特徴量の数値的傾向は，概ね整合していた．例えばプレイリスト C は A,B と比べて Y 値と Cr 値の平均が極端に小さいが，画像を見てもプレイリストC には明るい色や赤みがかった色が少ない．また Y
値の分散はプレイリスト A よりも B,C のほうが大きいが，画像を見てもプレイリスト B,C のほうが明るい色も暗い色も混在している．さらに，プレイリスト A と B は特徴量の分散値・平均値が近いがCr 値はプレイリスト A のほうが大きい．画像を見てもプレイリスト A の方が暖色が多く，よりエネルギッシュな楽曲が多いことを連想できる．以上のよ
うに，GRAPE によって各プレイリストの特徴を視覚的に表現できたことがわかる．

図 4. プレイリスト別の各特徴量平均値

4

まとめと今後の課題

本報告では，SOM と YCbCr 色空間を利用して，特徴量に基づいたプレイリスト毎の画像を生成し，まとまった楽曲情報を PC 上やポータブルミュージックプレイヤー上で表現する可視化手法 GRAPE を提案した．
今後の課題として，楽曲の色や位置がより人間の直感に沿ったものとなるように工夫すること，本手法によって生成されるプレイリスト画像をウェブ上で公開する環境を開発することに取り組んでいきたい．

参考文献[1] K.Kusama and T.Itoh. Muscat: a music browser
featuring abstract pictures and zooming user interface. In Proceedings of the 2011 ACM Symposium on Applied Computing, SAC ’11, 2011.
[2] K. Yoshii and M. Goto. Visualizing musicalpieces in thumbnail images based on acoustic features. In 9th International Conference on Music Information Retrieval (ISMIR), pp. 211–216,
2007.
[3] O.
Lartillot.
Mirtoolbox.
http://www.jyu.fi/hum/laitokset/musiikki/
en/ research/coe/materials/mirtoolbox.
[4] 芳原信. 色彩の教科書. 洋泉社, 2011.
図 2. 3 プレイリスト可視化結果