DEIM Forum 2019 P1-128

楽曲プレイリストに基づく観光写真スライドショー生成システムの提案
山崎 敦士†

奥健太†† 龍谷大学理工学部 〒 520-2194 滋賀県大津市瀬田大江町横谷 1-5
E-mail: †t150549@mail.ryukoku.ac.jp, ††okukenta@rins.ryukoku.ac.jp
あらまし 入力された楽曲プレイリストに合った観光地の写真をスライドショー形式で提示するシステムを提案する．
まず，事前処理として楽曲と観光資源に対して感情値を付与する．感情モデルとして Russell の感情モデルを用いる．
楽曲と観光資源に与えられた感情値に基づき，楽曲と観光資源の対応付けを行う．楽曲プレイリストを再生したとき，再生中の楽曲に対応付けられた観光資源の写真を提示する．被験者実験の結果より，ランダム手法に比べて，提案手法では楽曲に合った観光写真スライドショーを生成できることを示した．
キーワード 楽曲プレイリスト，スライドショー，観光情報推薦，感情モデル

2. 関 連 研 究

1. は じ め に2017 年の訪日外客数が 2,800 万人に達する （注 1）など観光を

2. 1 Russell の円環モデル

楽しむ人々は年々増大してきている．また，観光情報サイトの感情モデルの一つとして Russell の円環モデル [3] がある．

一つである TripAdvisor には，約 800 万件もの旅行情報（観Russell の円環モデルは，快適-不快（pleasure），覚醒-眠気（注 2）

光スポットやレストラン，ホテルなど）が登録されている． （arousal）の 2 次元で表現される平面上にすべての感情が配置

観光者はこのような膨大な観光スポットの中から，訪れたい観されることを示したモデルである．ある対象について，Russell

光スポットを選択する必要がある．例えば，TripAdvisor では，の円環モデルに基づく感情特徴を与えたい場合は，質問紙調査

行先や観光カテゴリ，キーワード等による検索機能が提供されによる方法がある [4]．質問紙調査により，対象について，覚醒-ている．ユーザはこれらの検索機能を用いて，訪れたい観光ス

眠気（A-S），興奮-陰気（E-G），快適-不快（P-U），悲惨-休

ポットを能動的に探すことができる．一方で，テレビや電車内息（D-R）の 4 軸に関するスコアを得る．得られた各スコアを広告で美しい風景を目にすることで，思いがけず興味のある観基に次式を算出することで，対象の感情特徴を Russell の円環

光情報に遭遇するという，受動的な体験もある．ここで，観光モデル上の座標空間 (x, y) に落とし込むことができる：

情報に関しては，写真から受ける印象は大きい．写真を目にすることがきっかけで，その観光地に訪れてみたいという印象をもつということもある．

x = 1.00(P-U) + .707(E-G) − .707(D-R)(1)

y = 1.00(A-S) + .707(E-G) + .707(D-R)(2)

大量の写真を受動的に閲覧する形態の一つとしてスライド

感情モデルとしてはさまざまなものが提案されているが，ショーが挙げられる．観光地の風景をスライドショーで提示すRussell の円環モデルはシンプルな構造で表現されており，かつることで，ユーザは旅行気分を味わいながら，興味のある観光すべての感情について網羅的に適用することができる．このよ情報に遭遇することが期待できる．また，写真スライドショー

うな手頃さから，本研究では Russell の円環モデルを採用する．

をより楽しむために，スライドショーに音楽を付加するという

2. 2 スライドショー生成システム

研究もある [1]．我々の先行研究 [2] では，入力された楽曲プレHua ら [1] は，付随音楽と写真の特徴に基づく写真スライド

イリストに合った景観写真をスライドショーの形式で提示するショーシステムを提案している．写真の遷移位置を決定するたシステムを提案した．ただし，[2] では，ドライブルート推薦をめに，楽曲の立ち上がり（オンセット）位置を検出しておく．

想定していることから，道路リンクの景観写真に限定したもの

オンセット位置に基づき，楽曲を複数の部分楽曲に分割する．

であった．本研究では，対象を観光スポットの写真に拡張し，楽部分楽曲の切り替わり時点に合わせて写真を遷移させることで曲プレイリストに合った観光スポットの写真をスライドショースライドショーを提示する．このシステムでは，楽曲の内容はの形式で提示するシステムを提案する．さらに，提示された写写真を遷移させるタイミングを検出するために用いられており，真に関連する観光スポットの情報を添えることで，観光情報へ楽曲の内容と写真の内容とのマッチングは行っていない．の興味を喚起する機能も付加する．

Li ら [5] は，感情に基づく印象派絵画のスライドショーシステムを提案している．このシステムは感情をベースに伴奏音楽付きの絵画スライドショーを生成する．絵画の色特徴およびテクスチャ特徴とアノテーションされた感情の対を学習データと（注 1）：https://statistics.jnto.go.jp/（注 2）：https://tripadvisor.mediaroom.com/jp-about-us

し，これら特徴と感情との相関ルールを抽出する．抽出された相関ルールに基づき絵画に対する感情を推定し，この感情に基づき絵画をクラスタリングする．楽曲についても同様に楽曲の定義 5：楽曲プレイリスト． 楽曲プレイリスト P を，楽曲の特徴（メロディ，リズム，テンポ）と感情との相関ルールを抽シーケンスとみなし，P =< t1 , t2 , . . . > と表現する．これは，出し，感情に基づきクラスタリングする．絵画と楽曲それぞれ

楽曲 t1 , t2 , . . . の順に時系列に楽曲が登録されていることを表す．に対応付けられた感情の類似度に基づき，絵画と楽曲とをマッ

定義 6：観光資源シーケンス． 観光資源シーケンス L を，観チングさせ，スライドショーを生成している．

光資源のシーケンスとみなし，L =< r1 , r2 , . . . > と表現する．

我々の先行研究である杉本らの研究 [2] では，入力された楽曲プレイリストに合った景観写真をスライドショーの形式で提示するシステムを提案した．ただし，[2] では，ドライブルート推薦を想定していることから，道路リンクの景観写真に限定しこれは，観光資源 r1 , r2 , . . . の順に時系列に観光資源が登録されていることを表す．

4. シ ス テ ム

たものであった．本研究では，対象を観光スポットの写真に拡

本研究は楽曲の聴取中に観光写真スライドショーを提示する

張し，楽曲プレイリストに合った観光スポットの写真をスライことで，観光地推薦の価値を生み出すセレンディピティ効果のドショーの形式で提示するシステムを提案する．

発現を目的としている．提案システムでは，楽曲を聴取する

2. 3 観光情報推薦システム

ユーザの感性に適した観光資源写真を推薦する．本研究では，観光情報推薦システム [6] は，ユーザの要求に合った観光情

楽曲と観光資源の関連付けには，それぞれから受ける感情に着報や娯楽施設を提供するシステムである．これまでにも多くの目する．本章では楽曲プレイリストに基づく観光写真スライド

観光情報推薦システムに関する研究が行われている [7]．

ショーシステムの概要と各処理の説明を行う．

観光情報推薦システムは，Web インタフェースとして提供

4. 1 システム概要されることが多い．Lee ら [8] は，Web ページに Google Maps

インタフェースは，楽曲プレイリストビューと観光資源スラを埋め込み，地図上で旅行ルートを表示するインタフェースをイドショービューから構成される．ユーザは，楽曲プレイリス提案している．台南市での旅行者向けに，文化遺産や郷土料理トビューの「プレイリスト作成」ボタンから楽曲を選択してプなど個人の嗜好に合った旅行プランを提示する．EnoSigTur [9]レイリストを作成する．作成したプレイリストを再生すること

では，ユーザが自身のデモグラフィック情報および嗜好を入力

で，楽曲の再生と同時にスライドショーが開始される．

することで，観光に関する情報が推薦される．
さらに，スマートフォンなどのモバイルインタフェースとし楽曲プレイリストを再生すると，以下の流れにより，楽曲に合った観光資源写真のスライドショーが提示される：て観光情報推薦システムを適用しているものもある．Yu ら [10]（ 1 ） 再生中の楽曲に対応する観光資源 ID リストを取得

は，PDA において個人向け旅行プランニングをサポートするする．

ための位置情報ベースの推薦システムを提供している．推薦情（ 2 ） 観光資源 ID に対応する観光資源情報を取得する．

報は個人の嗜好や位置情報，時間に基づいて生成され，Google（ 3 ） 観光資源に対応する写真データを取得する．

Maps 上に提示される．LiveCities [11] は，Android での通知

（ 4 ） 観光資源情報および観光資源写真を観光資源スライドサービスを用いて，ユーザコンテキストに合った情報をプッシュショービューに提示する．
このようなシステムを実現するためには，楽曲と観光資源と提供する．
以上のように，観光情報推薦システムは Web インタフェーのマッチングが課題となる．まず，4. 2 節および 4. 3 節で観光スやモバイルインタフェースとして提供されていることが多い．

資源および楽曲への感情付与について述べたあと，4. 4 節で感本研究においても，Web インタフェースを想定した推薦システ

情に基づく楽曲と観光資源とのマッチング方法について述べる．

ムを提案する．さらに，提示された写真に関連する観光スポッ

そして，4. 5 節で，楽曲プレイリストに合った観光資源シーケトの情報を添えることで，観光情報への興味を喚起する機能もンスの生成方法について述べる．

4. 2 観光資源への感情付与付加する．

3. 準

備

定義 1：観光資源． 本稿では，清水寺や姫路城などの観光資源
を ri ∈ R と表す．観光資源 ri は，その資源の名称 ri .name を

観光資源 ri ∈ R に対し，感情を付与する．観光資源の感情モデルとして，2. 1 節で説明した Russell の感情モデルを用いる．各観光資源 ri について，感情ベクトル ri を付与する．
まず，写真共有サイトである Flickr（注 3）に対し，資源の名称もつ．

ri .name をクエリとして関連する写真を検索する．検索された

定義 2：楽曲． 楽曲を tj ∈ T と表す．

写真リストを資源 ri の写真リストとする．このとき，検索され定義 3：感情ベクトル． Russell の感情モデルに基づき，観光た写真数が 10 件未満の資源は以降の処理の対象から除外する．

資源 ri および楽曲 tj の感情ベクトルを，それぞれ ri , tj で表

残りの資源について，下記の手順により，クラウドソーシン

す．感情ベクトルは，快適-不快（x）および覚醒-眠気（y ）の<y<2 次元の特徴ベクトル (−4 <=x<= +4, −4 == +4) で表現される．

グを用いて資源 ri ∈ R に感情を付与する：(1) クラウドソーシングのワーカに，資源 ri の写真リストを提示する．

定義 4：楽曲に関連する観光資源集合． 楽曲 tj に関連する観光資源集合を Rj と表記する．

（注 3）：https://www.flickr.com/

離は，それぞれの感情ベクトル間のユークリッド距離に基づき算出する．

4. 5 楽曲プレイリストに合った観光資源推薦
楽曲プレイリスト P =< t1 , t2 , . . . > が与えられたとき，その楽曲プレイリスト P に合う観光資源シーケンス L を生成する．
観光資源シーケンス L の取得は以下の手順で行う：(1) 楽曲プレイリスト P 内の各楽曲 tk に関連する観光資源集合 Rk を取得する．

(2) 取得した観光資源集合 Rk を < R1 , R2 , . . . > のようにつなげ，これを観光資源シーケンス L とする．
図 1 楽曲に対する観光資源 ID の取得 (n = 5 のとき)

(2) ワーカは，提示された写真リストに相応しいと思う感情を数値で回答する．ここでは，覚醒-眠気（A-S），興奮-陰気

5. 評

価

5. 1 データセット
実験用データとして，国土数値情報の観光資源データ（注 4）か（E-G），快適-不快（P-U），悲惨-休息（D-R）の 4 軸についら関西圏の観光資源 1, 256 件を用いた．また，著作権フリーのて，それぞれ {−4, −3, −2, −1, 0, +1, +2, +3, +4} のいずれか楽曲を公開している『DOVA-SYNDROME』（注 5）から楽曲 750の値を選択する．システムの不具合等により写真が表示されな曲をダウンロードした．

い場合は「写真が表示されない」を選択する．
なお，資源 1 件あたりのワーカ数は 20 名とする．

観光資源データおよび楽曲データについては，4. 2 節および

4. 3 節で述べたとおり，クラウドソーシングにより感情を付与

資源 ri について，与えられた 4 軸の値の平均値（A-S, E-G,した．楽曲については，評価用ファイルとして，楽曲長の中心P-U, D-R）を算出する．これら 4 軸の平均値を用いて，式 (1)から前後 30 秒間とした区間を用いた．ダウンロードした楽曲

および式 (2) より，x, y の値を算出する．これら x, y の値を要

750 曲のうち区間の切出しに成功した 706 曲を対象とした．こ素とした感情ベクトル ri を作成する．の 706 曲に対し，感情を付与した．

4. 3 楽曲への感情付与

5. 2 実 験 方 法

4. 2 節と同様に，楽曲 tj ∈ T に対し，感情を付与する．ここ楽曲プレイリスト P を P =< t1 , t2 , t3 , t4 > として与え，4. 5

でも，楽曲の感情モデルとして，Russell の感情モデルを用い節のとおり，楽曲プレイリスト P に合う観光資源シーケンス Lる．各楽曲 tj について，感情ベクトル tj を付与する．

を生成した．

楽曲 tj には，楽曲ファイル（MP3 形式，WAV 形式など）

観光資源と楽曲の関連付けにおける優位性を調べるため，が含まれる．事前に全楽曲 T について特定の区間を切り出し，n = 5 の提案手法と観光資源をランダムに取得したものとの比評価用楽曲ファイルとしておく．以下の手順により，クラウド較実験を行った．実験協力者として，20 代男性 7 名と 20 代女ソーシングを用いて楽曲 tj ∈ T に感情を付与する：

性 2 名の計 9 名を用意した．各被験者は，プレイリスト P を(1) クラウドソーシングのワーカは楽曲 tj の評価用楽曲ファイルを聴取する．

(2) ワーカは，聴取した楽曲に相応しいと思う感情を数再生する．プレイリスト P が再生されている間，観光資源シー
ケンス L 内の各観光資源の写真がスライドショーとして提示される．

値で回答する．4. 2 節と同様に，覚醒-眠気（A-S），興奮-陰気

スライドショーが終了後，被験者は，再生された楽曲と提示（E-G），快適-不快（P-U），悲惨-休息（D-R）の 4 軸についされた観光資源が合っていたかという観点で評価する．評価尺て，それぞれ {−4, −3, −2, −1, 0, +1, +2, +3, +4} のいずれか度として，次の 4 段階評価を用いた：の値を選択する．システムの不具合等により写真が表示されな•

4: 非常に合っていた，い場合は「楽曲が再生されない」を選択する．

•

3: 合っていた，

なお，楽曲 1 件あたりのワーカ数は 20 名とする．

•

2: 合っていなかった，•

1: まったく合っていなかった．

4. 2 節と同様に，4 軸の平均値を用いて，式 (1) および式 (2)より，x, y の値を算出する．これら x, y の値を要素とした感情

5. 3 実 験 結 果

ベクトル tj を作成する．

図 2 は，被験者による評価の平均値を示したものである．図4. 4 感情に基づく観光資源と楽曲とのマッチング

2 のとおり，提案手法の平均評価値は約 2.19，ランダム手法の楽曲 tj に関連する観光資源集合 Rj ∈ R を取得する．図 1 の平均評価値は約 1.72 であった．この結果より，ランダムにスラように，楽曲 tj および観光資源集合 R を同一の感情特徴空間に配置する．このとき，楽曲の感情ベクトル tj の n 件の最近傍の観光資源集合を Rj とする．ここで，楽曲と観光資源の距（注 4）：http://nlftp.mlit.go.jp/ksj/gml/datalist/KsjTmplt-P12-v2_2.

html（注 5）：https://dova-s.jp/謝

辞本研究は JSPS 科研費 JP15K12151,JP16H05932 の助成を受けたものです．ここに記して謝意を表します．
文

図 2 提案手法とランダム手法に対する平均評価値．

イドショーを生成する方式に比べて，提案手法では楽曲に合った観光資源の写真が提示されていたことがわかる．
例として楽曲 t3 の聴取中に流れたスライドショーについて考える．楽曲 t3 は，楽曲の感情ベクトルと観光資源の感情ベクトルの値が近いものであった．実際に，楽曲 t3 はアップテンポの曲で爽快感が感じられる曲であった．提示された観光資源の写真も道頓堀，鈴鹿サーキット，阪神甲子園球場といった，賑やかでありながら開放的である内容のものであった．
一方で，提案手法の平均評価値がランダム手法を上回ったとはいえ，提案手法の平均評価値は 2.19 であり，楽曲と合っていない観光資源写真も再生されることもあった．感情を介した楽曲と観光資源写真のマッチング方式について，さらなる検討が必要である．

6. お わ り に
本稿では，楽曲プレイリストに合った観光写真スライドショー生成システムを提案した．Russell の感情モデルを用い，楽曲および観光資源それぞれを感情ベクトル化した．それぞれの感情ベクトルの類似度に基づき，楽曲と観光資源とのマッチング方式を提案した．
被験者実験の結果より，ランダム手法に比べて，提案手法では楽曲に合った観光写真スライドショーを生成できることを示した．しかしながら，平均評価値としては低く，楽曲に合っていない観光写真も提示されることがあった．今後は，感情を介した楽曲と観光資源写真のマッチング方式について，さらに検討する．

献[1] Xian-Sheng Hua, Lie Lu, and Hong-Jiang Zhang. Content
based photograph slide show with incidental music. In Proceedings of the International Symposium on Circuits andSystems, 2003.
[2] 杉本蒼, 奥健太. playlist2scapeseq: 楽曲プレイリストに基づくシーケンス景観の生成. ARG 第 11 回 Web インテリジェンスとインタラクション研究会, pp. 81—-84, 2017.
[3] James A. Russell. A Circumplex Model of Aﬀect. Journalof Personality and Social Psychology, Vol. 39, No. 6, pp.
1161–1178, 1980.
[4] James A. Russell and Geraldine Pratt. A description of
the aﬀective quality attributed to environments. Journalof Personality and Social Psychology, Vol. 38, No. 2, pp.
311–322, 1980.
[5] Cheng-Te Li and Man-Kwan Shan. Emotion-based impressionism slideshow with automatic music accompaniment. In
Proceedings of the 15th ACM international conference on
Multimedia, pp. 1–5, 2007.
[6] Francesco Ricci. Travel Recommender Systems. IEEE Intelligent Systems, Vol. 4, No. December, pp. 55–57, 2002.
[7] Joan Borràs, Antonio Moreno, and Aida Valls. Intelligent
tourism recommender systems: A survey. Expert Systemswith Applications, Vol. 41, pp. 7370–7389, jun 2014.
[8] Chang Shing Lee, Young Chung Chang, and Mei Hui Wang.
Ontological recommendation multi-agent for Tainan Citytravel. Expert Systems with Applications, Vol. 36, No. 3
PART 2, pp. 6740–6753, 2009.
[9] Joan Borràs, Joan de la Flor, Yolanda Pérez, Antonio
Moreno, Aı̈da Valls, David Isern, Alicia Orellana, Antonio
Russo, and Salvador Anton-Clavé. SigTur/E-Destination:
A System for the Management of Complex Tourist Regions.
In R. Law, M. Fuchs, and F. Ricci, editors, International
Conference on Information and Communication Technologies in Tourism, ENTER 2011, Vol. 3, pp. 39–50. Springer,2011.
[10] Chien Chih Yu and Hsiao Ping Chang. Personalized
location-based recommendation services for tour planningin mobile tourism applications. In Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), Vol.
5692 LNCS, pp. 38–49, 2009.
[11] D Martin, a Alzua, and C Lamsfus. A contextual geofencing mobile tourism service. In R. Law, M. Fuchs, andF. Ricci, editors, Information and communication technologies in tourism 2011, pp. 191–202. Springer-Verlag, 2011.