DEIM Forum 2017 A8-3

楽曲の風景特徴化に基づく風景アウェア楽曲推薦システム
糸井 勇貴†

奥健太†山西良典††† 龍谷大学理工学部 〒 520-2194 滋賀県大津市瀬田大江町横谷 1-5†† 立命館大学情報理工学部 〒 520-2194 滋賀県草津市野路東 1 丁目 1-1
E-mail: †t130441@mail.ryukoku.ac.jp, ††okukenta@rins.ryukoku.ac.jp, †††ryama@media.ritsumeikan.ac.jp
あらまし

風景アウェア楽曲推薦システムは，入力された風景をコンテキストして，その風景に合った楽曲を推薦するシステムである．このようなシステムを実現するための課題としては，事前に風景と楽曲とをマッチングさせておくことが必要となる．本研究では，クラウドソーシングにより得られた風景と楽曲とのマッチングデータに基づき，風景を要素とした特徴ベクトルで楽曲を表現する．これを楽曲の風景特徴ベクトルと定義する．この風景特徴ベクトルに基づき，入力風景とマッチする楽曲集合を選択し，その楽曲集合をその入力風景における推薦楽曲集合とする．
風景と楽曲とのマッチング精度について，適合率，再現率，F 値の観点から四つの提案方式を比較した．結果，風景種別ごとに高精度となった方式が異なったことから，風景種別に応じて方式を変えるハイブリッド方式の検討が必要であることを示唆した．
キーワード 楽曲推薦システム，クラウドソーシング

1. は じ め にて分析する必要がある．しかしながら，どの風景にどの楽曲がマッチしているかという判断は人間の感性に委ねる部分が大き

自動車は単なる移動手段だけでなく，自動車を運転するこい．本研究ではクラウドソーシングにより風景と楽曲とのマッと自体が娯楽の一つとなっている．中でも，FM ラジオやカーチングを行う．クラウドソーシングにより得られた風景と楽曲

オーディオなどで音楽を聴きながらドライブを楽しむというとのマッチングデータに基づき，風景を要素とした特徴ベクト人々は多い．特に，最近のカーオーディオや iPod などのポールで楽曲を表現する．これを楽曲の風景特徴ベクトルと定義す

タブル音楽プレーヤでは，大量の楽曲を登録しておくことがでる．この風景特徴ベクトルに基づき，入力風景とマッチする楽き，ドライブ中に自分の好みに合った楽曲を流すことができる．

曲集合を選択し，その楽曲集合をその入力風景における推薦楽自分の好みだけでなく，爽快な気分の時にはアップテンポな楽曲集合とする．なお本研究では，風景と楽曲とのマッチング方

曲，落ち着きたい気分のときにはバラード系の楽曲など，その式に焦点をあてる．ドライブ時の風景の識別については本研究

ときの感情によって聴きたい楽曲も変わる．ドライブ時の感情の範囲を超える．

はドライブ中以外の要因も大きく関わっていることは当然であるが，ドライブ時の風景も感情に影響を与える要因の１つと考えられる．例えば，海沿いを走行しているときには爽快な楽曲を，田園風景の中を走っているときには落ち着いた楽曲を聴き

本研究の貢献は以下のとおりである．

•

クラウドソーシングにより得られた風景と楽曲とのマッチングデータに基づき，楽曲の風景特徴ベクトルを生成した．

•

入力風景と楽曲とのマッチング方式として，top-N 法，たくなるものである．このように，ドライブ時の風景に合わせ閾値ベース法，類似度ベース法，クラスタリングベース法の四て楽曲を変えたいという要求がある．

つの方式を提案した．

ユーザのそのときのコンテキスト（時間や場所，感情，現在•

風景と楽曲とのマッチング精度について，適合率，再現の活動状況など）に合わせた楽曲を再生する推薦システムとし率，F 値の観点から四つの方式を比較した．結果，風景種別ごて，コンテキストアウェア楽曲推薦システム [1] がある．例えとに高精度となった方式が異なったことから，風景種別に応じば，位置情報に合った楽曲を推薦するシステム [2] や日時，交て方式を変えるハイブリッド方式の検討が必要であることを示

通状況，天気などに合った楽曲を推薦するシステム [3] などが唆した．

ある．しかしながら，コンテキストとしてさまざまな要因が挙げられるものの，風景をコンテキストとして扱った楽曲推薦シ

2. 関 連 研 究

ステムはあまり見当たらない．我々が実現を目指す風景アウェ

楽曲推薦システムは，楽曲コンテンツ過多の問題に対し，ユーア楽曲推薦システムでは，入力された風景をコンテキストして，ザの楽曲への嗜好（ユーザプロファイル）に基づき，ユーザにその風景に合った楽曲を推薦するシステムである．このような合った楽曲を見つけることを支援するためのシステムである [4]．

システムを実現するための課題としては，事前に風景と楽曲と例えば，Last.fm（注 1） は人気のインターネットラジオである一をマッチングさせておくことが必要となる．

方で楽曲推薦システムでもある．ユーザがお気に入りとして保風景と楽曲とをマッチングさせるには，風景および楽曲を何らかの形で特徴化し，特徴に基づき風景と楽曲との関係につい（注 1）：http://www.last.fm存した好きな楽曲やアーティストの情報に加え，ユーザの聴取履歴を基にユーザの楽曲への嗜好を予測することで，楽曲推薦を行っている．

2. 1 コンテキストアウェア楽曲推薦システムのマッチングデータは，クラウドソーシングにより収集した．

3. 問題設定およびシステム概要
第 3. 章から第 5. 章では，提案システムについて説明する．

近年では，ユーザのそのときのコンテキスト（時間や場所，本章では，本研究の問題設定について述べ，提案システムであ感情，現在の活動状況など）を考慮に入れて楽曲を推薦する，る風景アウェア楽曲推薦システムの概要およびインタフェース

コンテキストアウェア楽曲推薦システムも注目されている [1]．

について述べる．

これは，ユーザが今どのような楽曲を聴きたいかは，そのとき3. 1 問 題 設 定のコンテキストに影響を受けるという考えに基づく．

提案システムの目的は，入力された風景にマッチする楽曲をReddy ら [3] は，モバイル環境上で，現在のコンテキストにユーザに推薦することである．まず，風景属性および楽曲集合合った楽曲プレイリストを生成する楽曲推薦システム Lifetrakの定義を示した上で，問題設定を述べる．

を提案している．コンテキストとして，位置情報や日時，交通定義：風景属性．

風景属性として，S = {s1 : lakeside, s2 :状況，天気などが含まれる．与えられたコンテキストにおける

mountain, s3 : paddy, s4 : riverside, s5 : seaside, s6 : urban}

楽曲への嗜好評価値を推定し，それを基にプレイリストを生成の 6 種類の属性を定義する．それぞれ，湖沿い風景，山間風景，している．Kaminskas ら [2] は，コンテキストの一つとして位

田園風景，川沿い風景，海沿い風景，市街地風景を表す．これ

置情報に着目し，位置情報に合った楽曲を推薦する問題に取りらの風景は，Oku らの先行研究 [9] の定義に則り，ドライブ時組んでいる．タグベースおよび知識ベース手法を組み合わせたに遭遇しやすい風景として選択した．

ハイブリッド型の推薦システムを提案している．本研究では，

定義：楽曲集合．

ドライブ時の楽曲推薦をシチュエーションとして想定しており，i 番目の楽曲を pi ∈ P と表す．なお，楽曲を特徴ベクトルとしドライブ時に遭遇する風景をコンテキストとして扱っている．て扱う場合には，明示的に pi のようにボールド体で表す．

Baltrunas ら [5] は，車内での楽曲推薦を行うシステムとして
InCarMusic を提案している．この論文では，ドライビングスタイルや道路風景，交通状況，天気などをコンテキスト因子として扱っている．これらのコンテキスト因子と 10 個の楽曲ジャンル（クラシック，ヒップホップ，Jazz，ポップなど）との関連性について評価値付けの観点から分析している．Baltrunas ら推薦対象となる楽曲集合を P と定義する．

提案システムの問題設定は，与えられた風景属性 sj ∈ S にマッチした楽曲 pi ∈ P をユーザに推薦することである．

3. 2 システム概要
図 1 は，提案システムの構成図である．以下，各処理手順の概要を説明する．項目の番号は図中の番号に対応する．

(1) 楽曲データベースに登録されている楽曲集合について，の研究と本研究との違いは，本研究では，楽曲と風景とのマッ事前に風景特徴ベクトルを作成しておく．詳細は第 4. 章で述チングデータを基に，楽曲の風景特徴ベクトル化を行い，風景べる．

特徴ベクトルに基づく楽曲推薦手法を提案している点である．

(2) ユーザは提示された風景の中から任意の風景を選択す

2. 2 画像に基づく感情アウェア楽曲推薦システム

る．選択された風景を入力風景とし，風景特徴ベクトルに変換

感情はコンテキストの一つとみなされる．特に，ユーザの楽する．ここでは，one-hot 表現により，入力風景に対応する要素

曲への嗜好は，そのときの感情に強く影響を受けるといえる．

を 1 とし，それ以外の要素を 0 とした特徴ベクトルを作成する．

例えば，悲しい気分のときと幸せな気分のときとでは，聴きた例えば，s2 : mountain の特徴ベクトルは，s2 = (0, 1, 0, 0, 0, 0)

い楽曲は大きく変わってくる．感情アウェア楽曲推薦システムとなる．

は，ユーザの感情に合った楽曲を推薦する [6]．
感情アウェア楽曲推薦を実現するアプローチについては，さまざまな研究が行われているが，画像と楽曲とを対応付けるこ(3) 入力風景および楽曲の風景特徴ベクトルに基づき，入力風景と楽曲とをマッチングする．マッチングされた楽曲集合をマッチ楽曲集合とする．詳細は第 5. 章で述べる．とで，画像を鑑賞しているときの感情と楽曲を鑑賞していると(4) 入力風景に対応するマッチ楽曲集合からランダムに kきの感情とをマッチングさせて，楽曲推薦を行う研究もある．

件の楽曲集合を選択し，推薦リストとしてユーザに提示する．

Songhua ら [7] は，言語モデルを用いて画像と楽曲とを対応

なお，推薦楽曲件数 k および推薦リストの提示方法はアプリ

付けるアプローチを提案している．画像に付与されたアノテーケーションに依存する．例えば，ドライブ時の風景にマッチしションおよび楽曲の歌詞に言語モデルを適用することで，画像た楽曲を再生するようなアプリケーションの場合は，k = 1 とと楽曲とを対応付けている．Stupar ら [8] は，映画から抽出しなりユーザ操作を介さずに推薦楽曲が自動再生される．

たシーン画像とそのときに流れている楽曲を対とした学習デー
タセットを用意し，楽曲と画像との関係を学習させたモデルを構築している．

4. クラウドソーシングに基づく楽曲の風景特徴
ベクトル化

本研究では，ドライブ時の楽曲推薦をシチュエーションとし風景アウェア楽曲推薦を実現するためには，あらかじめ楽曲て想定し，対象とする画像はドライブ時に遭遇する風景画像と集合を風景特徴ベクトル化しておく必要がある．どの楽曲がどして，「湖沿い風景」，「山間風景」，「田園風景」，「川沿い風景」，の風景にマッチしているかという判断は，人間の感性に委ねる「海沿い風景」，「市街地風景」に限定した．また，楽曲と画像と部分が大きい．実際にはその感性は個人に依存することも考え図 1 システム構成図：(1) 楽曲データベース内の各楽曲について風景特徴ベクトル化を行う．

(2) 入力風景を特徴ベクトルとして表現しておく．(3) 入力風景の特徴ベクトルと楽曲の風景特徴ベクトルに基づき，風景と楽曲とをマッチングする．(4) 入力風景にマッチングされた楽曲集合から k 件の楽曲集合を推薦リストとしてユーザに提示する．

られるが，本研究ではまず一般的な感性の獲得を試み，クラウドソーシングを用いる．クラウドソーシングにより得られた楽曲と風景とのマッチングデータに基づき，楽曲の風景特徴ベクトル化を行う．

4. 1 節では，楽曲と風景とのマッチングデータを収集するためのタスク設定について述べる．4. 2 節では，楽曲と風景とのマッチングデータから楽曲の風景特徴ベクトルを作成する方法について述べる．

4. 1 タスク設定
図 2 に，クラウドソーシングのワーカに提示したタスク画面のイメージを示す．タスク画面は，タスク部，楽曲部，回答部から構成される．
タスク部にワーカへのタスク内容を提示している．
「聴取した楽曲と最もマッチしていると感じる風景を，下記に示す六つの風景の中から一つを選択してください．
」と依頼している．

図 2 クラウドソーシングによる楽曲と風景とのマッチングタスクの楽曲部には，対象の楽曲ファイル（MP3 形式）へのリンクをイメージ．タスク画面は，タスク部，楽曲部，回答部から構成さ提示している．ワーカはリンクをクリックすることで楽曲を聴れる．ワーカは提示された楽曲について，六つの風景の中から最取する．楽曲の聴取範囲は任意としている．

もマッチしていると感じる風景を一つ選択する．

回答部には，6 種類の風景写真を提示し，ワーカはこれらの中から，タスクに合った風景写真を一つ選択する．なお，各風景属性につき，著者の判断により典型的な写真を各 30 件選択

景写真は，3. 1 節で定義した風景属性集合 S 内のいずれかの風した．タスク画面へは，該当する風景写真 30 件の中からラン景属性に対応する．ここで，順序効果を相殺するため，風景写ダムに 1 件を抽出し提示した．

真の並び順は毎回ランダムに変更している．

4. 2 楽曲の風景特徴ベクトル化に登録されている写真デー

楽曲 pi ∈ P について，風景属性 sj ∈ S がマッチしていると

タ を 参 照 し た ．3. 1 節 で 定 義 し た 風 景 属 性 S に 対 応 し ，回答したワーカの数を cij とする．このとき，楽曲風景特徴ベ{lakeside, mountain, paddy, riverside, seaside, urban} の 各 ラ

クトル p′i を次式のように表す．

（注 2）

風 景 写 真 は ImageNet

ベルをタグとして付与されている写真データを選択した．各風（注 2）：http://www.image-net.org/

p′i = (ci1 , ci2 , ci3 , ci4 , ci5 , ci6 )．

(1)

さらに，ベクトルの要素の和が 1 となるように正規化したベ

図4

図 3 top-N 法によるマッチング例．

クトルを正規化楽曲風景特徴ベクトル p とし，次式で表す．

pi =1(ci1 , ci2 , ci3 , ci4 , ci5 , ci6 )．
N閾値ベース法によるマッチング例．

依存せず最大 N = 5 件の楽曲集合が選択されている．一方で，
図 4 の閾値ベース法の θ = 12 の例では，注目要素の値が 12 以(2)5. 入力風景と楽曲とのマッチング上の楽曲集合がすべて選択されている．

5. 3 類似度ベース法
類似度ベース法は，ベクトル間の類似度に基づき風景と楽曲本研究では，入力風景 sj と楽曲 pi とのマッチング方式としとをマッチングさせる方式である．類似度ベース法では，正規て，top-N 法，閾値ベース法，類似度ベース法，クラスタリン化特徴ベクトル pi を用いる．入力風景ベクトル sj と楽曲の特グベース法の 4 種類の方式を提案する．各方式によりマッチン

徴ベクトル pi とのベクトル間類似度を算出し，類似度が最もグされた楽曲集合を入力風景 sj に対するマッチ楽曲集合とす高い k 件の楽曲集合をマッチ楽曲集合とする．

る．本節では，各方式について説明する．

5. 1 top-N 法

本方式ではベクトル間類似度の算出にコサイン類似度を用いる．ベクトル x と y のコサイン類似度は次式で算出する．

∑top-N 法は多数決により風景と楽曲とをマッチングさせる方

cos(x, y) = √∑式である．top-N 法では，楽曲風景特徴ベクトル p′i を用いる．
入力風景に対応する要素（sj において値が 1 である要素）に着目し，p′i において対応する要素の値が最も高い N 件の楽曲集合をマッチ楽曲集合とする．
図 3 に入力風景を山間風景 s2 : mountain としたときの例を示す．まず，s2 : mountain に対応する 2 番目のベクトルの要素に着目する．この要素の値を基準に降順に楽曲集合 P をソートする．ソート後の楽曲集合において上位 N 件の楽曲集合がi xi yi√∑ 2 ．
2i xi
i yi

(3)

cos(sj , pi ) が最も高い k 件の楽曲集合をマッチ楽曲集合とする．

top-N 法および閾値ベース法が入力風景に対応する要素のみに着目するのに対し，類似度ベース法は全要素を基に類似度を算出する．例えば，次のような入力風景ベクトル sj および二つの楽曲風景特徴ベクトル p′1 , p′2 を考える．

マッチ楽曲集合となる．図 3 では N = 5, 10 のときの例を示し

s′j = (1, 0, 0, 0, 0, 0),(4)ている．

p′1 = (15, 15, 0, 0, 0, 0),(5)p′2 = (15, 3, 3, 3, 3, 3).

(6)

5. 2 閾値ベース法
閾値ベース法は，一定人数により支持されている判断を基に，風景と楽曲とをマッチングさせる方式である．閾値ベース法でこのとき，top-N 法および閾値ベース法では，入力風景に対応は top-N 法と同様，楽曲風景特徴ベクトル p′i を用いる．入力する第一要素のみに着目するため，p′1 も p′2 も同順位の楽曲デー風景に対応する要素に着目し，p′i において対応する要素の値がタとしてみなされる．一方で，類似度ベース法では，ベクトル間閾値 θ 以上の楽曲集合をマッチ楽曲集合とする．の類似度がそれぞれ，cos(sj , p1 ) = 0.707, cos(sj , p2 ) = 0.913

図 4 に入力風景を山間風景 s2 : mountain としたときの例をと算出され—厳密には正規化特徴ベクトルに基づき算出され示す．top-N 法と同様に，s2 : mountain に対応する 2 番目のる—，p2 の方が順位が高くなる．これは，入力風景ベクトルベクトルの要素に着目する．この要素の値が閾値 θ 以上の楽曲の分布により近い方が優先的に候補楽曲として取り出されるこ集合がマッチ楽曲集合となる．図 4 では，θ = 7, 9, 10, 12 のととを意味する．

きの例を示している．

5. 4 クラスタリングベース法

top-N 法および閾値ベース法では，参照元となる楽曲集合はクラスタリングベース法は，あらかじめ楽曲集合をクラスタ同一となるが，その集合からマッチ楽曲集合を選択する際の基リングしておき，クラスタ単位で風景とマッチングさせる方式

準が異なる．top-N 法がマッチ楽曲集合の件数 N を先に定めである．クラスタリングベース法では，正規化特徴ベクトル piてから上位 N 件の楽曲を選択するのに対し，閾値ベース法でを用いる．あらかじめ楽曲集合 P を pi に基づき m 個のクラは閾値以上の楽曲集合をすべて選択する．そのため，閾値ベースタにクラスタリングしておく．その後，入力風景ベクトル piス法で選択される楽曲件数は参照元の楽曲集合や閾値により変に最近傍のクラスタに属する楽曲集合をマッチ楽曲集合とする．

化する．図 3 の top-N 法の N = 5 の例では，注目要素の値に本方式では，クラスタリング手法として k-means 法を用いる．

6. 2 比 較 方 式
第 5. 章で説明した，top-N 法，閾値ベース法，類似度ベース法，クラスタリングベース法の四つのマッチング方式を比較方式とする．各手法による推薦リストおよびパラメタの設定は以下のとおりである．

a ) top-N 法（top5, top10）
N = 5, 10 としたとき，top-N 法によるマッチ楽曲集合を得る．

b ) 閾値ベース法（θ7, θ9, θ10, θ12)
θ = 7, 9, 10, 12 としたとき，閾値ベース法によるマッチ楽曲集合を得る．

図 5 クラスタリング法によるマッチング例．

c ) 類似度ベース法（cos10)
以下，クラスタリングベース法による入力風景と楽曲との合とする．

マッチング方法について説明する．

(1) 正規化特徴ベクトル pi に基づき，楽曲集合 P を m 個よるマッチ楽曲集合を得る．

(2) 各クラスタの重心 g1 , g2 , . . . , gm を算出する．
(3) 入力風景ベクトル sj と各クラスタの重心との距離を算出する．距離の算出にはユークリッド距離を用いる．ベクト

6. 3 評 価 方 法
まず，実験手順は次のとおりである．

(1) データセットを無作為に 5 組に分割し，4 組を学習デー

ル x と y のユークリッド距離は次式で算出する．

√∑(xi − yi )2 ．

d ) クラスタリングベース法（cl5, cl7, cl10, cl12, cl15)
m = 5, 7, 10, 12, 15 としたとき，クラスタリングベース法にのクラスタ C1 , C2 , . . . , Cm に分類する．

d(x, y) =コサイン類似度が最も高い 10 件の楽曲集合をマッチ楽曲集

タ，残り 1 組をテストデータとする．

(7)i(4) d(sj , gl ) が最小となるクラスタ Cl を選択する．
(5) クラスタ Cl に属する楽曲集合をマッチ楽曲集合とする．

(2) 学習データに基づき，各楽曲の風景特徴ベクトルを作成する．

(3) 入力風景 s1 , s2 , . . . , s6 ごとに，テストデータに含まれる各楽曲について，各方式によるマッチ楽曲集合を得る．

(4) マッチ楽曲集合とテストデータの楽曲に元々付与され

図 5 にクラスタ数を m = 4 としたときの例を示す．図 5 でている風景属性ラベルとを比較し，一致していれば適合と判定

は，入力風景 sj の最近傍クラスタとしてクラスタ C1 が選択さする．この判定に基づき，方式ごとに適合率，再現率，F 値をれている．このクラスタ C1 に属する楽曲集合がマッチ楽曲集算出する．

合となる．

6. マッチング方式の比較評価(5) 学習データとテストデータの組合せを変えて，(1) から (4) の手順を 5 回繰り返し，その平均値を取得する．
適合率は正確性に関する指標であり，システムにより出力さ第 5. 章で提案した 4 種類のマッチング方式の違いについてれたデータ集合のうち，正解であるデータ集合の割合を指す．

比較評価する．6. 1 節では，評価実験に用いるデータセットに再現率は網羅性に関する指標であり，正解である全データ集合ついて述べる．6. 2 節では，比較手法について述べる．6. 3 節のうち，システムにより出力されたデータ集合の割合を指す．

では，評価実験の方法，また比較の際に用いる，実験から算出正解かつシステムにより出力されたデータ集合を T P ，正解される数値について述べる．最後に 6. 4 節では，算出された数かつシステムにより出力されなかったデータ集合を T N ，不正値から考察されることを述べる．

解かつシステムにより出力されたデータ集合を F P ，不正解か

6. 1 データセット

つシステムにより出力されなかったデータ集合を F N とする

楽曲データセットとして，『クラシック名曲サウンドライブラと，適合率 precision および再現率 recall は次式で求められる．

リー』（注 3） のクラシック楽曲を利用した．楽曲利用については当サイト作成者の許諾を得ている．本実験では，当サイトの楽曲データの中から，管弦楽曲 96 曲（|P | = 96）を利用した．
この楽曲データセットを対象に，4. 1 で説明したクラウドソー

precision =recall =シングによるタスクを依頼した．1 曲あたり 30 名（N = 30）のワーカにタスクを依頼した．結果，2,880 件の楽曲-風景マッチングデータを得た．

|T P |,|T P | + |F P ||T P |.
|T P | + |T N |

(8)
(9)

さらに，正確性と網羅性を総合的に評価するための指標として，F 値がある．F 値 F -measure は次式で求められる．F 値が高いシステムほど良いシステムと判断される．

（注 3）：http://classical-sound.seesaa.net/

F -measure =2 · precision · recall.
precision + recall(10)表 1 入力風景ごとの各方式の適合率．ボールド体は各風景における最高値を示す．

いことがわかる．

b ) 閾値ベース法の比較

lakeside mountainpaddyriverside seaside

urban

average

表 3 の閾値ベース法（θ7, θ9, θ10, θ12）の平均値に着目すると，閾値 θ が小さいほど F 値が高いことがわかる．表 2 および

top5

0.350

0.439

0.292

0.496

0.245

0.531

0.392

top10

0.362

0.437

0.255

0.463

0.196

0.583

0.382

θ70.290

0.324

0.247

0.317

0.215

0.368

0.294

θ90.315

0.343

0.352

0.360

0.229

0.425

0.338

るが適合率は低下する．ただし，適合率の低下率に比べ，再現

θ10

0.358

0.396

0.355

0.404 0.253

0.498

0.377

率の向上率が高いため，F 値の観点からは閾値を下げた方が精θ120.347

0.387 0.5240.451

0.111

0.551

0.395

cos10

0.332

0.424

0.246

0.463

0.200 0.596

0.377

cl5

0.265

0.364

0.205

0.410

0.063

0.528

0.306

cl7

0.267

0.384

0.229

0.427

0.148

0.567

0.337

cl10

0.339

0.367

0.269

0.438

0.164

0.547

0.354

cl12

0.349

0.423

0.252

0.456

0.251

0.575

0.384

最も高い F 値を示したことがわかる．他の 5 種類の風景が自

cl15

0.302

0.403

0.275

0.494

0.252

0.545

0.378

然風景であるのに対し，urban は市街地風景ということで唯

average

0.323

0.391

0.292

0.432

0.194 0.526

表 1 からわかるように，当然閾値を下げた方が再現率は向上す度が高くなったといえる．

c ) 風景種別間の比較
表 3 について風景種別ごとの平均値を比較すると，urban が一人工的な風景であった．クラウドソーシングにおいて楽曲にマッチする風景を選択する際，lakeside や seaside のように類表 2 入力風景ごとの各方式の再現率．ボールド体は各風景における最高値を示す．

似する自然風景に対しては，判断に揺らぎが生じる．一方で，楽曲が人工的な風景にマッチすると判断する際には，確定的に

lakeside mountainpaddy

riverside seaside

urban

averageurban が選択される．このことが urban における F 値が最高

top5

0.102

0.101

0.180

0.145

0.217

0.128

0.146

top10

0.217

0.181

0.257

0.246

0.353

0.274

0.255

θ70.479

0.664

0.279

0.521

0.202 0.6320.463d ) 風景種別ごとの方式の優位性の比較

θ90.307

0.515

0.136

0.434

0.130

0.460

0.330

いずれの表を参照しても，風景種別によって最高値を示し

θ100.194

0.340

0.097

0.329

0.078

0.428

0.244

た方式が異なることがわかる．F 値に着目すると，表 3 より，

θ120.147

0.249

0.059

0.258

0.028

0.400

0.190

cos100.185

0.171

0.279

0.252 0.359

0.277

0.254

lakeside, mountain, paddy, riverside については θ7 が最高値

cl50.406

0.310 0.352

0.337

0.251

0.423

0.346を示した．一方で，seaside については cos10 が，urban につcl70.254

0.175

0.273

0.294

0.201

0.371

0.261

いては cl5 が最も高かった．このように，風景種別によって適

cl10

0.192

0.086

0.245

0.239

0.185

0.272

0.203

cl120.185

0.088

0.188

0.172

0.160

0.229

0.170

cl15

0.114

0.056

0.156

0.142

0.160

0.133

0.127

average

0.232

0.245

0.208

0.281

0.194 0.336

値を示した原因であるといえる．

切な方式が異なることから，今後は風景種別に応じた方式選択を行うハイブリッド方式の導入を検討する必要がある．

7. 結

表 3 入力風景ごとの各方式の F 値．ボールド体は各風景における最高値を示す．

論

本研究では風景アウェア楽曲推薦システムの実現を目指し，クラウドソーシングにより得られた風景と楽曲とのマッチング

lakeside mountainpaddy

riverside seaside

urban

average

データに基づき，楽曲の風景特徴ベクトルを生成した．さらに，入力風景と楽曲とのマッチング方式として，top-N 法，閾

top5

0.158

0.164

0.223

0.224

0.230

0.206

0.201

top10

0.271

0.256

0.256

0.322

0.252

0.373

0.288

θ7

0.361

0.436

0.262

0.394

0.208

0.465

0.355

値ベース法，類似度ベース法，クラスタリングベース法の四つの方式を提案した．

θ9

0.311

0.412

0.196

0.394

0.166

0.442

0.320

θ10

0.251

0.366

0.152

0.363

0.119

0.460

0.285

θ12

0.206

0.303

0.106

0.328

0.045

0.464

0.242

cos10

0.237

0.244

0.261

0.326 0.257

0.379

0.284

F 値の観点から四つの方式を比較した．結果，風景種別によっ

cl50.321

0.335

0.259

0.370

0.101 0.470

0.309て適切な方式が異なることから，今後は風景種別に応じた方式

cl7

0.260

0.241

0.249

0.348

0.171

0.448

0.286

選択を行うハイブリッド方式の導入を検討する必要がある．

cl10

0.245

0.139

0.257

0.309

0.174

0.363

0.248

cl12

0.242

0.146

0.216

0.250

0.195

0.327

0.229

cl15

0.166

0.099

0.199

0.221

0.196

0.214

0.182

average

0.253

0.262

0.220

0.321

0.176 0.384

風景と楽曲とのマッチング精度について，適合率，再現率，今後の展望として，我々が別途研究課題として進めている道
路風景の識別成果 [9] と組み合わせて，風景アウェアドライブ
楽曲推薦システムの研究に取り組む．

謝
6. 4 結辞果

表 1，表 2，表 3 は，それぞれ入力風景ごとの各方式の適合率，再現率，F 値である．各風景において最高値を示した手法については，その数値をボールド体で示している．

a ) クラスタリングベース法の比較表 3 のクラスタリングベース法（cl5, cl7, cl10, cl12, cl15）の平均値に着目すると，クラスタ数 m が小さいほど F 値が高

本研究は JSPS 科研費 15K12151 の助成を受けたものです．
ここに記して謝意を表します．また，本研究で利用した楽曲データセットは，『クラシック名曲サウンドライブラリー』（http://classical-sound.seesaa.net/）のサイト作成者のご厚意により使用許諾を頂きました．ここに謝意を表します．
文献[1] Marius Kaminskas and Francesco Ricci. Contextual music

[2]

[3]

[4]
[5]

[6]

[7]

[8]

[9]

information retrieval and recommendation: State of the artand challenges. Computer Science Review, Vol. 6, No. 2-3,pp. 89–119, may 2012.
Marius Kaminskas, Francesco Ricci, and Markus Schedl.
Location-aware music recommendation using auto-tagging
and hybrid matching. In Proceedings of the 7th ACM conference on Recommender systems, pp. 17–24, New York,New York, USA, 2013. ACM Press.
S. Reddy and Jeﬀ Mascia. Lifetrak : Music In Tune WithYour Life Categories and Subject Descriptors. In Proceedings of the 1st ACM International Workshop on Humancentered Multimedia, pp. 25–34, 2006.
F. Ricci, L. Rokach, B. Shapira, and P. B. Kantor. Recommender Systems Handbook. Springer, 2011.
Linas Baltrunas, Marius Kaminskas, Bernd Ludwig, Omar
Moling, Francesco Ricci, and Aykan Aydin. InCarMusic :Context-Aware Music Recommendations in a Car. In Proceedings of the 12th International Conference on Electronic
Commerce and Web Technologies, pp. 89–100, 2011.
Yong Zheng, Bamshad Mobasher, and Robin D Burke. The
role of emotions in context-aware recommendation. In Proceedings of the RecSys 2013 Workshop on Human Decision
Making in Recommender Systems, pp. 21–28, 2013.
Xu Songhua, Jin Tao, and C. M Lau Francis. Automatic
generation of music slide show using personal photos. InProceedings of the 10th IEEE International Symposium onMultimedia, pp. 214–219, 2008.
Aleksandar Stupar and Sebastian Michel. PICASSO To
Sing you must Close Your Eyes and Draw. In Proceedingsof the 34th international ACM SIGIR conference on Research and development in Information, pp. 715–724, 2011.
Kenta Oku, Ryosuke Yamanishi, Kohei Matsumura, andKyoji Kawagoe. Drive scenery estimation using image features extracted from roadmap and satellite images. In Proceedings of the 16th International Symposium on AdvancedIntelligent Systems, pp. 1575–1589, 2015.