GRAPE : グラデーション画像によるポータブルビジュアルプレイリスト
理学専攻・情報科学コース

概要

1魚田 知美いる．SOM とは Kohonen が提案した人工ニューラルネッ

携帯型音楽プレイヤーの登場によって，音楽と触れ合うトワークの 1 種である．1 楽曲を 1 要素として SOM を適機会が増えたが，音楽は実際に聞いてみるまで中身を把握用することにより，似ている楽曲は近い場所に集まり，あできないため，内容把握に時間がかかる．音楽の内容を短

まり似ていない楽曲は遠い場所に配置される．これによ

時間で直感的に把握する一手段として，可視化が非常にり自動的にグラデーション風の画像が生成される．グラ有用であるといえる．既存の音楽可視化の手法 [1][2] では

デーションには，リズム感・メリハリを持つという表現効「1 画像で 1 曲」を表す可視化がされてきた．これに対し

果と共に人の心を動かす心理効果がある．このような効て本報告では，「1 画像で 1 プレイリスト」を表すプレイリ

果は，情報科学や音楽学を専門とする人だけではなく，音スト単位の音楽の可視化 GRAPE (GRadation Arranged

楽を聴く全ての人を対象とする GRAPE のデザインに有Playlist Environment) を PC 上とポータブルミュージッ 益と考える．
クプレイヤー上で実現する．我々は音楽鑑賞の際，1 曲聞 2.3 YCbCr 色空間を利用した楽曲色
くごとに次に聞く曲を逐一選択する操作方法よりも，プレ続いて，抽出した楽曲特徴量に基づいて各楽曲に色をイリストやアルバムといった音楽のまとまりを選択する割り当てる．色を割り当てる際に我々は，YCbCr 色空間操作方法のほうが一般的だと考える．よって，プレイリスを採用した．Brightness は単純に各楽曲の輝かしさと表トやアルバムの全体像を可視化することで，多くのユー現することができる特徴量であるから，Y 軸である明度ザの選曲操作スタイルを変えることなく選曲操作を支援と対応させた．楽曲の音量平均値を示す RMSenergy は，できると考える．
赤色が持つイメージ [6] である「活動的」や「エネルギッ2

提案内容シュ」というキーワードに意味が近いと考えて対応させ

2.1

楽曲特徴量抽出た．Tempo が大きい (=速い) 曲は，青色が持つイメージ

まず各楽曲から楽曲特徴量を抽出する．楽曲特徴量の抽
出には，楽曲特徴分析パッケージ MIRtoolbox[3] を用いる．GRAPE では MIRtoolbox で抽出可能な特徴量のうち，RMSenergy（音量平均値），Tempo，Brightness（高[6] である「開放感」や「爽やか」というキーワードに意味が近いと考えて対応させた．以上の理由から YCbCr 色空間へ 3 つの特徴量を対応させた．

2.4

以上により取得した楽曲の位置情報と色情報をプレイ音域の割合）の 3 つの特徴量を以下の式 (1) で正規化して使用する．

f − fminf =fmax − fmin′

fmax 楽曲特徴量の最大値

画像一覧表示

リスト毎にまとめて画像とし，PC 上と Android アプリ(1)

fmin 楽曲特徴量の最小値fmax と fmin の決定には RWC 研究用音楽データベー

ケーション上でプレイリスト群を一覧表示させる．楽曲領域をクリックもしくはタッチすることで，楽曲再生が可能となっており，各楽曲と割り当てられた色との対応を確認することができる．

ス [5] を参考にした．RWC 研究用音楽データベースにはAndroid ベースのポータブルミュージックプレイヤーア多彩な楽曲が含まれているため，幅広い楽曲群の特徴量プリケーションとして実装したことから持ち歩けるプレイを正規化するのに有用だと考えた．

リスト，ポータブルビジュアルプレイリストと表現した．

特徴量の選出には楽曲の要素と色に関するアンケート結果を参考にした．アンケートで過半数の人が色が想起させられると答えた楽曲要素に着目し，またその要素を数値表現できると期待される特徴量 3 つを選出した．

2.2

SOM による楽曲配置

続いて，抽出した特徴量に基づいて各楽曲を配置する．
ここでは Self-Organizing Map(SOM)[4] という手法を用

3実行結果

3 種類のプレイリスト A，B，C について，GRAPE で可視化した結果を図 2 に示す．プレイリスト A は 36 曲，
B は 28 曲，C は 29 曲の楽曲が入っている．なお，可視化結果内で穴が空いている（背景色になっている）領域には，楽曲は割り当てられていない．

データベース [5] の楽曲を利用して作成したものである．
いずれの被験者もこの音楽データベースの収録曲を聴いたことがなく，GRAPE の可視化画像から得られる情報だけでプレイリストを選択したと言える．
評価結果を表 1 にまとめた．被験者 17 名中 16 名が，ランダム選出されたプレイリストより，GRAPE を利用して選択したプレイリストを評価した．これにより，GRAPEが提示する画像はプレイリスト選択に有益な情報を提供
図 1: 可視化表示例 (左)PC (右)Android アプリケーションしていることが確認できた．
表 1: 評価結果

プレイリスト A,B,C の各特徴量の分散値と平均値を図（希望に沿った選択ができた 4 ⇔できなかった 1）
プレイリストの選択方法被験者 GRAPE 利用 ランダム選出
142232332421543632743842932102211321241132214321531163417313 に示す．図 2 に示す可視化画像から筆者が直感的に得た視覚的印象と，図 3 に示す楽曲特徴量の数値的傾向は，概ね整合していた．例えばプレイリスト C は A,B と比べてY 値と Cb 値の平均が極端に小さいが，画像を見てもプレイリスト C には明るい色や青みがかった色が少ない．また Y 値の分散はプレイリスト A よりも B,C のほうが大きいが，画像を見てもプレイリスト B,C のほうが明るい色も暗い色も混在している．さらに，プレイリスト A と B
は特徴量の分散値・平均値が近いが Cr 値はプレイリスト

A のほうが大きい．画像を見てもプレイリスト A の方が暖色が多く，よりエネルギッシュな楽曲が多いことを連想できる．
以上のように，GRAPE によって各プレイリストの特徴を視覚的に表現できたことがわかる．

5

まとめ
本報告では，SOM と YCbCr 色空間を利用して，特徴量に基づいたプレイリスト毎の画像を生成し，PC 上やポー
図 2: プレイリスト ABC 可視化結果

タブルミュージックプレイヤー上のユーザインタフェースとして用いる手法 GRAPE を提案した．実行結果やユーザテストから，各プレイリストの特徴がある程度表現できていること，被験者がそれを適切に読み取れること，プレイリスト選択に有効であることを示した．

参考文献
図 3: プレイリスト ABC の特徴量平均値と分散値

4

ユーザテスト[1] K. Kusama, T. Itoh, Muscat: a music browser featuring abstract pictures and zooming user interface, ACM Symposium
on Applied Computing (SAC ’11), pp. 1227-1233, 2011.
[2] K. Yoshii, M. Goto, Visualizing musical pieces in thumbnail
images based on acoustic features, International Conference
on Music Information Retrieval (ISMIR), pp. 211-216, 2007.

プレイリストを GRAPE を用いて選択してもらい，自分[3] O. Lartillot, MIRtoolbox,
http://www.jyu.fi/hum/laitokset/musiikki/en/
research/coe/materials/mirtoolbox.の希望に沿ったプレイリストであったか実際に試聴，4 段[4] T. Kohonen, The self-organizing map, Proceedings of theIEEE, Vol. 78, pp. 1464-1480, 1990.

階評価してもらった．また同時にランダムに選出したプレ[5] 後藤真孝, 橋口博樹, 西村拓一, 岡隆一, RWC 研究用音楽データベース: 研究目的で利用可能な著作権処理済み楽曲・楽器音データベー
ス. 情報処理学会論文誌, Vol. 45, No. 3, pp. 728-738, 2004.

図 1(左) に示すプレイリスト 9 つの中から，今聞きたいイリストについても試聴して 4 段階評価することで，比較した．使用した 9 つのプレイリストは RWC 研究用音楽[6] 芳原信, 色彩の教科書, 洋泉社, 2011.