MALL: ライフログを用いた楽曲推薦結果の一覧可視化
宇野 愛(指導教員：伊藤 貴之)

1. はじめに多くの人が音楽を聞くときに，タイトルやアーティスト名，ジャンルといったメタデータをもとに選曲している．また，選曲の際にその場の状況や環境に適合した楽曲を選びたい，という状況はよくあると考えられる．
しかし一方で，ポータブル音楽プレイヤーやスマートフォンの普及，それらのメモリの大容量化に伴い，個人が持ち歩く楽曲の数は増大している．それにより，鑑賞時の状況に合わせた楽曲のみを手早く探し出すのは必ずしも簡単ではないと考えられる．また，楽曲の数が膨大になると，どのような状況にどういった楽曲を選んだか，といった選曲傾向も把握しづらいと考えられる．
そこで本研究では，状況や環境に適合した楽曲を自動推薦するシステムがあれば便利であると考える．状況や環境の変化に作用するものとして，その日に起こった出来事はもちろん，天気や時間帯，場所，その日のスケジュールなどが挙げられる．これらのほとんどは，ライフログデータとして記録することが可能である．そこで本
研究では，ライフログから選曲の傾向を把握し，楽曲を自動推薦するシステムを構想する．このシステムが実現することで本研究では，状況に合わせた楽曲の自動推薦はもちろん，今まで気づかなかった選曲傾向の把握や，他の人と特徴を見せ合うことで新たなコミュニケーションツールの一つになると期待する．
このアイディアの妥当性を検証するための一手段として本研究では，ライフログに基づいた楽曲推薦結果の一覧可視化手法を提案すると同時に，これを用いて楽曲の自動推薦傾向を視覚的に把握した結果について議論する．
2. 関連研究
ライフログを用いた研究は活発であるが，その中でも本研究に関連したものとして，スマートフォンから様々なライフログ情報を収集し，それらの関連性に基づいて情報を提示する手法[1]がある．この手法は例えば，よく行く場所から重要度の高い場所を表示させる，といった用途に有効である．本研究はこの手法のような考え方を選曲支援に特化したものと考えられる．

ログ情報と一緒にその曲を記録する，というような処理手順を想定する．ただし現段階の本研究の実装では，曲が現在の状況に合っていると感じた際に，その時の日付，曜日，時間，天気，場所，聞いた曲名，その曲のアーティスト名を手動で記録している．
楽曲情報は所持している曲に対して，曲名，その曲のアーティスト名，ジャンル，3.1 節で示した 8 つの楽曲特徴量を記録する．
表 1 本研究で用いる楽曲特徴量
楽曲特徴量
特徴量の意味RMS energy
音量の平均値(二乗平均平方根)
Tempo
テンポ
Rolloff
全体の 85%を占める低音域の割合
Brightness
高音域(1500Hz 以上)の割合
Roughness
不協和音の多さを示す値
Spectral
曲の変化の大きさ
irregularity
Inharmonicity
根音に従っていない音の量
Modemajor と minor の音量の差
3.3. 相関性ルールの発見
続いてライフログ情報と楽曲情報との間の相関性ルール  A  B  を求める．ここで，A は時間帯や季節といったライフログに関する条件式を，B は楽曲特徴量やメタデータに関する条件式を表す．相関性ルールを決めるにあたって以下の二つの数値，支持度と確信度をもとに計算する．
支持度(support)
ライフログ条件と楽曲特徴量やメタデータの全ての組み合わせの中から A，B を含むルールが登場する頻度を以下の確率で算出する．

P A, B 

確信度(confidence)
支持度だけでは，ルールの組み合わせの中に A が頻出する場合において値の信頼性が低くなるため，確信度を設ける．確信度は以下の式で算出する．

PB | A

そして，支持度と確信度の双方が高い A,B の組み合わせを相関性ルールとして選出し，この相関性ルールに該当する楽曲をライフログ条件ごとに推薦する．

3. 提案手法
3.1. 楽曲特徴量抽出
本研究では楽曲情報にオーディオファイルを想定し，全ての楽曲は音響処理による特徴量抽出が可能であることを前提とする．現時点での本研究の実装では，楽曲特徴量抽出ソフトウェア MIRtoolbox[2]を用いて，各楽曲に対して以下の 8 つの特徴量を抽出している．

3.4. 楽曲の一覧可視化
相関性ルールの選出結果に基づき，階層型データ可視化手法「平安京ビュー」[3]を用いて楽曲を一覧可視化する．これにより，ライフログに記録された曲はもちろん，ライフログに記録されなかった曲も含めて，相関性ルールに合致した曲，合致しなかった曲を一覧表示できる．

3.2. データベース化
本研究では日常的に，ライフログ情報と楽曲情報を別々にデータベースに蓄積することを前提とする．
本研究では，ポータブルプレイヤー等で音楽を鑑賞している人が，その曲が現在の状況に合っていると感じた
ら所定のボタンを押し，システムはその時点でのライフ4. 実行結果
個人で記録したライフログ情報を使い可視化した結果を図 1(左)に示す．この情報は 2011 年 7 月 2 日から 11 月16 日に収集したもので，楽曲数は 94 曲である．

75

この図では一番外側の長方形の大きな枠で囲まれた中に小さな枠があり，その中に楽曲を表す多数のアイコンが表示されている．一番外側の枠はライフログ上で聞いた楽曲や相関性ルールによって推薦された楽曲全てを含む枠である．その中の小さな枠はライフログ条件を表し，その条件ごとに曲が分類されている様を示す．ライフロ
グ条件の枠の中にさらに入れ子状で枠があり，これはライフログ条件ごとに選出された相関性ルールを示している．一覧可視化結果の一部拡大図を図 1(右)に示す．

また，3 種類の特徴量での色分けを見ると“夕方”と“水曜”はどの場合においても色分けが似ていることから，選曲傾向がよく似ていることが読み取れた．このように数値に頼らず，様々な読み方が可能である．

図 2：RMS energy で色分け

図 1：(左)一覧可視化結果(右)実行結果の拡大図

図 1(右)での外側の枠がライフログ条件，その内側の枠が選出された相関性ルールを示している．その中に相関性ルールとマッチした楽曲がアイコンとして表示されている．ライフログに記録されたものの，相関性ルールに合致しなかった，という楽曲は内側の枠の外に表示されている．合致したルール以外の特徴量で色分をすることで，ルール内の楽曲を複数の特徴量間で比較することができる．
楽曲を示すアイコンは楽曲特徴量やメタデータで色分けが可能である．RMS energy で色分けした例を図 2 に示す．図 2 の左下部にピンクの太線で示した 2 つの大きな枠の中のアイコンは，他の枠の中のアイコンが赤から青まで散らばっているのに比べ，水色から青色のアイコンでほとんどが構成されていることが一目でわかる．この
青色に近いというのは RMS energy の値が低いことを表している．この値が低いと音量の変化に富んでいることを意味し，アコースティックな楽器で演奏された楽曲である可能性が高い．この二つのライフログ条件を見てみると，“夕方”と“水曜”であった．当該ユーザの生活リズムとして実際に，夕方には落ち着いた楽曲を好んで聞いていたり，水曜は所属楽団の練習日程の関係でクラシック楽曲をよく聞いていたことから，このような結果になったと考えられる．また，図 2 の真ん中あたりに紫の太線で示した 2 つの枠は赤から緑のアイコンで構成されていることから，RMS energy の高い楽曲が多い．この値が高いと音量が大きい状態で一定であることを意味し，エレクトリックなポップスやロックの楽曲である可能性が高い．この 2 つのライフログ条件は“朝”と“金曜”であった．
当該ユーザは金曜特有の選曲に関して意識していなかったので，今まで気づかなかった選曲傾向の可能性の一つであると考えられる．
他にもライフログ条件ごとに一つずつ見ていくだけでなく，朝から夕方にかけて複数の枠を順に見ていくと，だんだん青色のアイコンが増えていく傾向も読み取れた．

76

5. まとめ本研究では，ライフログに基づいて状況・環境に合う楽曲を自動推薦する手法と，その自動推薦結果の一覧可視化ツールを提案した．また，これによる可視化結果から，今まで気付かなかったような選曲傾向を発見できたことを示した．
本研究のタイトル MALL は Music Adviser with Life-Logの略で，個人の生活に基づいてショッピングモールのように様々な音楽を提案するというイメージに基づいて命名した．
今後の課題として，以下の機能の実装に着手したい．
相関性ルール選出のための支持度・確信度の閾値の決定方法の改良．
ライフログ情報の収集自動化．

平安京ビューでライフログ条件の中の相関性ルールに合っていない楽曲群のアイコンの整列．
また，複数のユーザから収集したライフログ情報をもとにした楽曲推薦結果についても検証を進めたい．
一方で，1 章に示したアンケートでは，現在聞いている曲が自分の感情に合っていると感じることがあると回答した人が 93％にも達している．そこで長期的な課題として，感情に関する情報収集手段についても検討し，より多くの人が推薦結果に満足するシステムの構築を目指したい．
参 考 文 献[1] H. Yin et al. (Eds.), Extracting Meaningful Contexts from
Mobile Life Log, IDEAL 2007, LNCS 4881, pp. 750-759,
2007.
[2] O. Lartillot, “MIRtoolbox”,
http://www.jyu.fi/hum/laitokset/musiikki/en/research/coe/materials/mirtoolbox[3] 伊藤，山口，小山田，長方形の入れ子構造による階層型データ可視化手法の計算時間および画面占有面積の改善, 可視化情報学会論文集, Vol.26，No.6，
pp.51-61，2006.