WISS 2023

MusicCommentVisualizer:
音楽動画へのコメントの可視化に基づく音楽推薦・鑑賞インタフェース
倉持 友哉 ∗

濱崎 雅弘 †

中野 倫靖 †

概要. 本論文では，音楽動画に対する YouTube コメントを可視化しながら，ユーザの状況や感情に合った音楽推薦（プレイリスト自動生成）と音楽鑑賞を実現するインタフェース MusicCommentVisualizer を提案する．従来，ユーザの状況や感情に合った曲を聴くための音楽推薦やインタラクティブシステムに関する研究はあったが，音楽動画へのコメントをもとに状況と感情の両方を考慮した研究はなかった．ユーザの状況と感情は，音楽鑑賞時におけるユーザの音楽の好みへ影響を与えるため，これら両方を同時に考慮できることは，多様な音楽推薦・鑑賞を実現するうえで重要である．MusicCommentVisualizer は音楽動画
へのコメントから，状況と感情に関する単語を自動的に抽出して分類し，インタラクティブに操作可能な出現頻度分布として可視化する．さらに，その分布からユーザによって選択された状況と感情に基づいて，
音楽プレイリストを生成したり，それらの楽曲が推薦された理由となるコメントを表示したりできる．

1

はじめに

オンライン音楽ストリーミングサービスの普及によって人々が聴くことのできる楽曲数は膨大となり，人々の音楽鑑賞を支える技術として音楽推薦システ
ムが活用されている [18]．そのような音楽推薦シス
テムは，主に音楽の情報（タグや音響信号等）に基づいて動作しているが，人の音楽の好みは楽曲を聴く
時の状況や感情に影響されることから [2, 19]，ユー
ザの情報を反映できるシステム構築が望ましい．例
えば，睡眠前に聴きたい音楽とジムで運動するときに聴きたい音楽は異なったり，嬉しい感情と悲しい感情でも音楽の好みが変化したりするが，そのような動的な変化を反映できるとより効果的である．
従来，音楽推薦システムとして，音楽に関する情報や音響信号等を用いる研究 [4,12] や，ユーザの状
況や感情等を用いる研究があった [9, 11, 19]．ここ
で，ユーザのコンテキストを扱う推薦は，コンテキス
トアウェア音楽推薦システムと呼ばれる [25]．ユー
ザのコンテキストとしては，ユーザの置かれた状況（場所，時間帯，曜日，気温，天候，活動，等）[19]を，ユーザの持つデバイスやセンサから取得して活用する [9]．このようなユーザのコンテキストに基づいた音楽推薦を実現する為には，音楽に関する情報が必要となり，ソーシャルタグや歌詞等のテキス
ト情報 [12]，音色やメロディ等の音響情報 [4]，が用いられた．また，自動的な推薦システムの他にも，
Spotify や Amazon Music 等，人手によって楽曲選定されたプレイリスト（「朝」など，状況を表す名称が付与されている）をユーザが選択することもある．
Copyright is held by the author(s).
筑波大学大学院†
産業技術総合研究所∗

図 1. 音楽推薦における MusicCommentVisualizerの位置づけ．音楽に関するソーシャル情報として，
自然言語による大量のコメントを扱う点で新しい．

図 1 に，音楽推薦の分類を示す1 ．我々の知る限り，音楽に対するソーシャルメディア（YouTube 等）上のコメントを音楽推薦システムに活用した研究はな
い．そのようなコメントには，実際に音楽を聴いて得た感情や，音楽を聴いている状況を含む多様な発信が存在することを我々は確認しており [28]，新しいコンテキストアウェア音楽推薦システムの一つとしてコメントを用いることが有益だと考えた．
そこで本論文では，音楽動画のコメントをもとに，状況や感情に合った音楽を推薦・鑑賞するためのイ
ンタフェース MusicCommentVisualizer を提案する（図 2）．ここで，楽曲のミュージックビデオや「歌ってみた」と呼ばれる同曲異唱コンテンツ [23]などが発信される，音楽との相性が良いソーシャル
メディアの一つである YouTube のコメント（以下YouTube コメントと呼ぶ）を推薦に用いる．
MusicCommentVisualizer は，ユーザが望む状
況や感情を「能動的」に選択して音楽が推薦される
1「音楽情報」の下位分類を内容（歌詞と音響信号）とソー
シャルな情報としたが，テキスト情報 [12] と音響情報 [4]に分類することも考えられる．

WISS 2023

図 2. 音楽コンテキスト（感情と状況）を選択しプレイリストを生成する音楽推薦機能（左，Recommend 画面）と，選択された音楽コンテキストを含むコメントを可視化しながら音楽動画を鑑賞する機能（右，Playback 画面）

制御性と，推薦理由となったコメントが提示されてその理由が明確となる透明性とを持ち合わせた音楽
推薦機能と音楽鑑賞機能をそれぞれ持つ．音楽推薦を全てシステムに任せる「受動的」な設計は，ユー
ザ自身がシステムをコントロールできる制御性や，ユーザに推薦の過程や理由を理解させる透明性を，
いずれも低下させてしまう [10,25]．ユーザの感情や状況に合わせて推薦すべき楽曲は常に同じではなく，変わりうるため，制御性は重要である．具体的には，ある感情状態で好む音楽は個人差が大きいこと，感情は変化しやすく，時と場合によって音楽の好みが変化すること，が知られている [19]．例えば，悲しい時に元気の出る音楽を聴きたい人がいたり，逆に，
悲しい時には悲しい音楽を聴きたい人がいたりする
し，状況が変わることで，好む音楽がその時々で変わりうることも容易に想像できる．さらに，システ
ムが推薦した音楽がユーザの選択した状況や感情と合っている理由を説明できる透明性（説明可能な推薦システム）も，システムへの信頼を確立する上で重要である [20]．またそのような透明性は，ユーザの納得感や満足度を高めると考えられる．
図 1 に示すように，MusicCommentVisualizer では，そのユーザが実際に置かれている状況やその真の感情（ユーザ情報）を用いるのではなく，音楽につけられたコメントに基づく状況と感情（音楽情報）を用いる．これらは，音楽や音楽動画から動画視聴者が感じた状況や感情であり，MusicCommentVisualizerのユーザ情報と明確に区別するためにこれらを「音楽状況」，「音楽感情」と呼ぶ．また，音楽状況と音楽
感情を合わせて「音楽コンテキスト」と呼ぶ．つまり，ユーザが望む状況や感情を指定することで，それらを YouTube の視聴者に対して誘発したであろう音楽を MusicCommentVisualizer は推薦する．

2

MusicCommentVisualizer

MusicCommentVisualizer のインタフェース画面は図 2 に示すように，画面上部のタブ（トップパネル）で，音楽推薦機能（Recommend ボタンで選択）
もしくは音楽鑑賞機能（Playback ボタンで選択）を切り替えることができる．いずれの場合も，トップ・サイド・メイン・ボトムの 4 つのパネルで構成され，メインパネルだけが機能に応じて切り替わる．

2.1

YouTube コメントの分析結果を用いた
インタラクティブな音楽推薦と音楽鑑賞

MusicCommentVisualizer では，音楽推薦及び音楽鑑賞のいずれの場合においても，音楽コンテキスト（音楽状況と音楽感情）をクリッカブルな出現
頻度分布で可視化し，これを音楽コンテキスト分布（音楽状況分布と音楽感情分布）と呼ぶ．この音楽コンテキスト分布は，本論文では，686 曲 265,317 件の YouTube コメントから，状況や感情を説明する
単語を自動的に抽出して生成したものである．Recommend 画面においてはメインパネル（図 2）に棒グラフとして表現され，Playback 画面においてはドーナツグラフとして表現される．
ユーザはまず，Recommend 画面の音楽コンテキ
スト分布を用いて，推薦に用いたい状況と感情を決定し，音楽推薦機能により，音楽プレイリストを生成する．ここで，ユーザの決定を支援する目的で，ボトムパネルには選択した音楽コンテキストを含む
YouTube コメントがランダムに 1 つ表示され，更新して別のコメントを表示することもできる．つまりユーザは，共感できる意見や感想を含む YouTube
コメントをインタラクティブに探索でき，その探索を通して，求める音楽コンテキストを選択できる．
生成されたプレイリストはサイドパネルに表示され，最下段の楽曲が再生される．Playback 画面に移動することで，その楽曲に対するコメントをメイン
パネル上で最大 100 件閲覧することができ，その楽曲に対するコメントの音楽コンテキスト分布も可視化される．このように推薦理由となるコメントが可視化されることで，再生中の楽曲が，ユーザの指定した音楽コンテキストに合っているかを確認できる．
このような音楽に付与されたコメントを用いるこMusicCommentVisualizer: 音楽動画へのコメントの可視化に基づく音楽推薦・鑑賞インタフェース

図 3. 音楽推薦機能（Recommend 画面）の詳細とで，音楽の多様な観点からの推薦を可能とする．
まず，音楽状況と音楽感情を考慮できて有用である．
具体的には，「夜」という状況と「不安」という感情を指定した場合，「夜に聴く」とコメントされた曲，
不安な気持ちがコメントされた曲，不安な学生の心に響くとコメントされた曲などが実際に推薦された．
また「電車」と「元気」の場合，電車で通勤や通学時に聴くとコメントされた曲，「元気が出る」とコメントされた曲などが推薦された．音楽の音響信号からのみでは，このような音楽推薦は難しいが，コメントを利用することで，音楽を聴いた状況や聴きたい状況と感情を扱える点が特長である．
次に，特徴的な歌詞を考慮できて有用である．コ
メントには視聴者が感銘を受けた歌詞が書かれることもあるため，「夜」や「不安」などの音楽コンテキ
スト分布を構成する単語が含まれている場合にその曲を推薦できる．しかもこれは，単に歌詞を用いた
推薦とは異なり，動画視聴者が着目する歌詞を特に考慮できる推薦となって，特長的である．
最後に，音楽の社会的背景を考慮できる．コメン
トには音楽や音楽動画の映像に向けたものだけではなく，その外的要因として，アーティストの人間性
や個性，音楽と関連した別のコンテンツ（アニメや映画など）に向けたものなどがある．音楽鑑賞においては，その音楽的な内容だけではなく，アーティ
ストや映画のシーン等と関連した感情が誘発されることがあり，そのようなコメントも対象とできる．
以降，音楽推薦機能と音楽鑑賞機能におけるイン
タラクションを説明する．具体的には，音楽推薦に用いる音楽コンテキストをどのように決定するか，その結果，どうプレイリストが推薦されるか，そのプレイリストの楽曲をどう鑑賞するかを説明する．

2.2

音楽推薦インタラクション

音楽推薦機能としての Recommend 画面例を図 3に示す．ユーザは，音楽プレイリストを生成する音

楽推薦のために，まず音楽コンテキストを決定する必要がある．メインパネルには YouTube 上の楽曲
686 曲に付与された 265,317 件の YouTube コメン
トに基づく音楽コンテキスト分布が可視化されており，マウスポインタをこの分布に重ねることで各音
楽コンテキストの出現回数を見ながら，推薦に用いるコンテキストをクリックして決定できる．それぞれの音楽コンテキストとして，12 種類の音楽状況の分布（左）と，18 種類の音楽感情の分布（右）を棒グラフで可視化する．これらの音楽コンテキスト
は，それぞれ状況 [9] と感情 [6, 7] に関する先行研究に基づいて決定した．分布の可視化により，ユー
ザは音楽コンテキストの出現傾向を把握できる．
ユーザは自身の状況や感情をもとに，この分布の棒の部分をクリックして選択することで，音楽コン
テキストを選択できる（図 3 では，状況として「夜」，
感情として「平穏」を選択）．この時，今の自分の状況や感情を選択するか，今の自分の状況や感情ではないが望むものを選択するか，はユーザの自由である．音楽コンテキストとしては，音楽状況と音楽感情のいずれか 1 つ，またはその両方を選択できる．
ユーザが分布の棒グラフから音楽コンテキストを選択すると，選択した音楽コンテキストが含まれる
コメント 1 件がボトムパネルに表示される．これをピックアップコメントと呼び，ユーザの求める音楽
コンテキストの決定を支援（状況と感情を決定するための参考情報として活用）する，本システムの特長的なインタラクションの一つである．ピックアッ
プコメントでは音楽コンテキストを表す単語が太字で表示される．その中でも，選択中の音楽コンテキ
ストを表す単語については，太字かつ着色されて強調表示される．これにより，コメントの中で音楽コンテキストに関する文や単語を認識しやすくなる．
ピックアップコメントは音楽コンテキストを選択する度に，異なるものが表示される．また，表示されているピックアップコメント左側の更新ボタンを

WISS 2023

図 4. 音楽鑑賞機能（Playback 画面）の詳細

押すことで，現在選択している音楽コンテキストのいずれかを含む新しいピックアップコメントに更新される．従来，状況や感情を入力するには，それを表す単語をクエリとして決定する必要があった．しかし，自身の求める状況や感情が確実に定まっていないような場合は，そのような方式が使いにくい．
それに対して本インタラクションでは，自分が共感できたり，自分の状況や感情に気づきを与えてくれ
る実際のコメントをインタラクティブに表示できるため，音楽コンテキストを探索的に決定できる．
サイドパネルにある推薦ボタンを押すことで，現在選択中の音楽コンテキストに基づく 10 曲が同パネルに推薦される．先頭の音楽は YouTube 動画として再生や停止，繰り返し再生，再生時刻変更が可能である．また，ボトムパネルのアイコンで，プレイリスト中の前後の音楽を再生できる．プレイリス
トを再度推薦したい場合は，サイドパネルの全曲削
除ボタンを用いる．推薦されているすべての曲が削除され，同パネルに推薦ボタンが再度表示される．

2.3

音楽鑑賞インタラクション

音楽鑑賞機能（Playback 画面）を図 4 に示す．ここで，メインパネルは 3 つのフィールドを含む．1
つ目は，動画フィールドであり，現在鑑賞している
音楽動画を観覧用に大きく表示する目的を持つ．前
述の通り，YouTube コメントでは楽曲の内容だけでなく，映像の内容について言及されることがある
ため，大きな再生画面は重要である．
2 つ目は，コメントフィールドである．これは現在鑑賞している音楽に対して，選択した音楽コンテ
キスト（状況 and/or 感情）を含むコメントから，最大 100 件としてサンプリングして表示するフィールドである．各コメントにおける音楽コンテキスト
を表す単語は，ピックアップコメントと同様，太字や色付きで強調表示される．これらのコメントが推薦に利用されているため，ユーザは現在鑑賞している音楽が音楽コンテキストに合っているとして推薦された理由を理解できる．つまり透明性を高める役
割があり，前述の通り，推薦システムへの信頼や推薦結果に対する納得感につながると考えている．さらに，コメントに含まれる多様な感想を読むことで，自身の知らない新たな視点から見たアーティストや楽曲，また音楽動画に対する各個人の想いを楽しめる．よって，推薦結果の音楽を聴いて楽しむだけでなく，推薦理由を読んで楽しめる点も特長である．
3 つ目は，分析フィールドである．これは現在鑑賞している音楽について，音楽コンテキストを表す単語の出現回数とその割合を可視化するフィールドである．音楽状況分布が左，音楽感情分布が右にドー
ナツグラフで表示され，それぞれの中央に今選択している音楽状況・音楽感情を表す単語の出現回数が表示される．音楽推薦では各音楽コンテキストの出
現回数だけでなく，出現割合も考慮しているため，
現在鑑賞中の楽曲について，選択した音楽コンテキ
ストの出現回数と割合が多いことをユーザは理解でき，透明性と推薦への納得感が向上する．
ここで，出現頻度を表すドーナツグラフはクリッカ
ブルであり，異なる音楽コンテキストを選択できる．
これによりピックアップコメントとコメントフィー
ルドを，新たに選択した音楽コンテキストを含むコ
メントに更新できる．つまり，今聞いている楽曲に対して異なる音楽コンテキストに関して，該当するコメントを鑑賞して楽しんだり，異なる観点から鑑賞したりすることにつながる．

データセット構築

3

システム実装のために収集したデータと構築した
データセットについて述べる．

3.1

YouTube データの収集本研究で利用する YouTube コメントに関連するデータ（YouTube データと呼ぶ）を収集した．収集にあたって YouTube Data API 2 を用いた．また，
週一回更新される「人気の曲トップ 100 – 日本」プ2

https://developers.google.com/youtube/v3

MusicCommentVisualizer: 音楽動画へのコメントの可視化に基づく音楽推薦・鑑賞インタフェース

レイリスト3 を収集の対象として，2022 年 11 月 1
日から 2023 年 7 月 31 日の 9ヶ月間収集した．
収集した 3 種類のデータを以下に示す．
動画データ プレイリストの各動画データ．ただし，非公開に設定されている動画がプレイリスト内に含まれる場合，動画数は 100 曲以下となる．
コメントデータ 各動画のコメントに関するデータ．
それぞれの動画に対して，人気順に最大 2000件程度収集した．さらに，それらのコメントに対する返信を収集した．
メタデータ 順位，動画タイトル名，投稿者名，いいね数，視聴回数等のデータ．
コメント数や視聴数，いいね数の毎日の変動を追うため，プレイリスト内の 100 曲分を毎日収集した．
毎日収集するため，またランキングが更新されても同じ動画が出現することもあるため，取得する動画とコメントが重複する．そのような重複を除き，686
曲の音楽動画と 3,828,473 件のコメント（コメント作成者のチャンネル ID 数は 696,946）を用いた．

3.2

単語セット

音楽コンテキストとして扱う音楽状況と音楽感情の種類（カテゴリ）は，我々の先行研究 [28] で構築したものを用いた．音楽状況カテゴリは，Ibrahimらの先行研究 [9] に基づく睡眠，仕事，ジム，朝，夜，走る，踊る，車，電車，クラブ，パーティー，リラッ
クスの 12 種類である．音楽感情カテゴリは，音楽
感情認識で用いられるラッセルの円環モデル [17] との整合性が示された Hu らの先行研究 [6, 7] に基づ
く平穏，悲しい，嬉しい，ロマンチック，歓喜，憂鬱，怒り，嘆き，幻想，元気，悩み，攻撃，不安，自信，希望，真剣，皮肉，興奮の 18 種類である．
これらのカテゴリに該当する単語の一式を単語セットと呼び，単語分散表現を k-means 法により自動的にクラスタリングした後，人手で選別して構築した（手法の詳細は [28] 参照）．ここで，上記カテゴリごとに単語（以下，音楽コンテキスト単語と呼ぶ）が 1 つ以上含まれるよう構築した．
音楽コンテキスト単語としては，例えば「睡眠」という状況カテゴリにおいては，朦朧，疲労，寝言，
寝坊，遅刻等があった．また，「リラックス」という状況カテゴリにおいては，リラックス，くつろぎ，
ゆったり，のんびり，まったり等があった．

3.3 データセット
YouTube データと単語セットから，コメントの特徴ベクトルと楽曲の特徴ベクトルを作成し，またコメント中の音楽コンテキストをマークアップした

データセットを構築した．まず，YouTube コメン
トへの返信は，楽曲に対する直接的なコメントではないため，取り除いた．コメントは日本語を対象とし，ひらがな，カタカナ，漢字のいずれかを含むコ
メントのみを用いた．さらに，各コメントに対して
MeCab を用いて単語分割と原形変換を行い，音楽
コンテキスト単語を含まないコメントを除いた．
その結果，コメント数は 265,317 件になった．各
音楽動画に付けられたコメント数の平均は 437.82
回，標準偏差は 2262.64 回であった．また，音楽動
画ごとの各ユーザのコメント数の平均は 1.64 回，標
準偏差は 5.65 回であった．YouTube のコメントは一人で何回でも発言可能だが，1〜2 回コメントする
ユーザが多く，コメント数全体の 60.33 ％を占める．
そのようにして得られたコメントごとに，音楽コ
ンテキスト単語の出現回数を算出し，それをカテゴ
リごとに合計して，コメントの特徴ベクトルとする．
各楽曲の特徴ベクトルは，その楽曲の全コメントの特徴ベクトルを加算して得る．すなわち，各コメン
トと各楽曲は，いずれも 12 次元の音楽状況ベクトルと 18 次元の音楽感情ベクトルで表現される．
次に，それぞれのコメントに対して，音楽コンテキ
スト単語を HTML タグで囲み，各音楽コンテキスト
を表すクラスを設定したテキストを作成する．例えば「私は嬉しい」は「私は<strong class=“glad”>
嬉しい</strong>」のようになる．
現在の実装では，否定表現もカウントされてしまうが，定性的な印象としては，その出現回数は肯定表現に比べて少なく，推薦への影響は小さいと考える．今後，否定表現の調査や対応が課題である．また，コメントの質を考慮して，不適切なコメントを除いたり，「高評価」が多いコメントを考慮できたりすると，より効果的な推薦につながる可能性がある．

MusicCommentVisualizer は Next.js と Django
を用いて実装した．各機能の実装内容を述べる．

4.1

https://www.youtube.com/playlist?list=
PL4fGSI1pDJn4-UIb6RKHdxam-oAUULIGB

可視化の実装サイドパネルと動画フィールドの YouTube 動画の表示には YouTube IFrame Player API 4 を用いた．サイドパネルに表示される YouTube 動画は，映像も表示するが，音楽の再生が目的であり，音楽
動画は操作に支障が出ない最低限のサイズとした．
音楽コンテキスト分布を表す Recommend 画面の棒グラフと Playback 画面のドーナツグラフは reactchartjs-2 5 ライブラリを用いて実装した．Recommend 画面における音楽コンテキスト分布について
4

3

システム実装4https://developers.google.com/youtube/iframe_
api_reference5
https://react-chartjs-2.js.org

WISS 2023

は，全楽曲における全音楽コンテキストの出現回数
を，棒グラフの長さとして可視化する．ただし，出現回数が相対的に少ないことが原因で，棒グラフが短くなりすぎてクリックできなくなることを防ぐた
め，最低長さとして 10px を設定した．
ピックアップコメントには，選択中の音楽コンテ
キストに該当する単語が 1 回以上出現するコメン
トからランダムに 1 つ選択し，表示する．コメント
フィールドには，現在鑑賞している曲に対して，現在選択されている音楽コンテキストを含むコメントをランダムに最大 100 件表示する．100 件のコメン
トは，1 曲を鑑賞中に読める十分な量であった．
選択中の音楽コンテキストを表す単語については，選択された音楽カテゴリに応じて CSS を適用する対象（クラス）を変更することで，色変更を行う．また，コメントに対するいいね数やユーザプロフィー
ル画像は，YouTube データに含まれる値と URL を利用して，コメントと同時に表示する．

4.2

音楽推薦アルゴリズム

前章で構築したデータセットを利用して音楽推薦を行う．まず，各楽曲 s の音楽状況ベクトルを xs ，
音楽感情ベクトルを ys ，選択された音楽状況を i，選択された音楽感情を j として，全 686 曲を，4 つの基準で順位付けし，それぞれ R1 〜R4 と呼ぶ．

• R1 (s): xs (i) に基づく順位∑• R2 (s): xs (i)/ i xs (i) に基づく順位• R3 (s): ys (j) に基づく順位∑• R4 (s): ys (j)/ j ys (j) に基づく順位
ここで，xs (i) は楽曲 s における音楽状況 i の出現回数，ys (j) は楽曲 s における音楽感情 j の出現回数∑を意味する．次に，楽曲 s ごとに R(s) = k Rk (s)を求め，R(s) が小さい（順位が高い）楽曲から上位 10 件を音楽推薦の結果として表示する．ここで，音楽状況のみが選択されている場合には R(s) =R1 (s) + R2 (s)，音楽感情のみが選択されている場
合には R(s) = R3 (s) + R4 (s) とする．
この推薦アルゴリズムにした理由は 2 つある．まず，出現回数（R1 (s) と R3 (s)）を考慮することで，選択された音楽コンテキストのコメント量が多い曲を推薦することができる（理由 1）．コメントフィー
ルドに少量のコメントしか表示されないと，透明性を保つことができず，ユーザのコメントを読む楽しさも損なわれるため，コメント量が多くなるよう出
現回数を評価した．しかしそれだけでは，コメントの総数が多い曲ほど評価されてしまって不適切であるため，割合として R2 (s) と R4 (s) も用いた（理由2）．出現回数と割合の両方を考慮することで，コ
メントフィールドに十分な量のコメントを表示しつ
つ，推薦の多様性を高めるアルゴリズムとした．
今後はさらに，同じ状況と感情が選択されても異なる推薦結果となるように，音楽推薦結果のバリ

エーションを増加させる実装を予定している．

5

関連研究

ソーシャルメディア上の動画に対するコメントを対象とした研究として，ユーザのコメントを動画の検索やランキングに活用する研究 [22, 27] や，音楽
動画の印象推定へ活用する研究 [26] がある．
また，インタラクティブな音楽推薦・探索システムのインタフェースについて研究が行われてきた [13]．
例えば，音楽のソーシャルタグをもとに音楽探索・推薦を行う TagFlip [10]，アーティストを繋げたグラフによるジャンルの探索支援ツール TastePaths[16]，同曲異唱コンテンツを連続再生する Songrium
RelayPlay [23]，歌詞のトピックに基づく楽曲探索
インタフェース Lyric Jumper [21] などが提案された．可視化も研究されており，音楽ジャンルの等高線プロットによる可視化 [15] や，歌声から歌い方の傾向を可視化した SingDistVis が提案された [24]．
ユーザの状況に合った音楽推薦に関する研究では，旅程を提案し，ユーザが訪れた名所に合った曲を推薦する PlayingGuide [2] や，Ibrahim らのユーザや楽曲，デバイス情報をもとにした，ユーザ状況に合うプレイリスト生成システム [9] が提案された．
楽曲感情に着目した研究もある [5]．Hu らは楽曲の歌詞と音響特徴を用いて 18 カテゴリへのムード分類をし [6–8]，Laurier らはソーシャルタグを用いて 4 つのムードを表すクラスタを作成した [14]．感情を扱う音楽推薦システムについては，感情タグを利用した MoodPlay [1] や，ユーザが閲覧中の Web
ページを利用した MusicSense が提案された [3]．
これらに対し，MusicCommentVisualizer では音楽動画に対するコメントをもとに音楽状況と音楽感情の両方を考慮する点，音楽コンテキストをインタ
ラクティブに決定できる点，そして，推薦理由として強調表示したコメントを観覧できる特長がある．

6

まとめ

本論文では，音楽動画のコメントを用いて状況や感情に合った音楽推薦を実現するインタフェー
ス MusicCommentVisualizer を提案した．MusicCommentVisualizer は音楽推薦機能に加えて，音楽鑑賞機能を持ち，共感できる音楽コンテキストをインタラクティブに探索しながら決定し，それを推薦に用いることができる制御性，推薦理由をユーザが理解しやすい透明性を持つ．また，音楽鑑賞時に音楽コンテキストを含むコメントを鑑賞したり，音楽コンテキスト分布を確認できる．
今後は，否定表現等のコメントに関する調査，音楽推薦アルゴリズムの改良，コメントに対するフィルタリング機能の実装，履歴機能等の音楽鑑賞機能の拡充，ユーザスタディを行う予定である．

MusicCommentVisualizer: 音楽動画へのコメントの可視化に基づく音楽推薦・鑑賞インタフェース

参考文献[1] I. Andjelkovic, D. Parra, and J. O'Donovan.
Moodplay: Interactive Mood-based Music Discovery and Recommendation. In Proceedings ofthe 2016 Conference on User Modeling Adaptation and Personalization (ACM UMAP 2016),
Vol. 121, pp. 142–159, 2016.
[2] M. Braunhofer, M. Kaminskas, and F. Ricci.
Location-aware music recommendation. International Journal of Multimedia Information Retrieval (IJMIR), 2(1):31–44, 2013.
[3] R. Cai, C. Zhang, C. Wang, L. Zhang, and W.Y. Ma. MusicSense: Contextual Music Recommendation Using Emotional Allocation Modeling. In Proceedings of the 15th ACM International Conference on Multimedia (ACM MM
2007), p. 553–556, 2007.
[4] Y. Deldjoo, M. Schedl, P. Cremonesi, and
G. Pasi. Recommender Systems Leveraging
Multimedia Content. ACM Computing Surveys(ACM CSUR), 53(5):1–38, 2020.
[5] J. S. Gómez-Cañón, E. Cano, T. Eerola, P. Herrera, X. Hu, Y.-H. Yang, and E. Gómez. Music Emotion Recognition: Toward new, robust
standards in personalized and context-sensitive
applications. IEEE Signal Processing Magazine(IEEE SPM), 38(6):106–114, 2021.
[6] X. Hu and J. S. Downie. When Lyrics Outperform Audio for Music Mood Classiﬁcation:
A Feature Analysis. In Proceedings of the 11th
International Society for Music Information Retrieval Conference (ISMIR 2010), pp. 619–624,
2010.
[7] X. Hu, J. Downie, and A. Ehmann. Lyric Text
Mining in Music Mood Classiﬁcation. In Proceedings of the 10th International Society forMusic Information Retrieval Conference (ISMIR 2009), pp. 411–416, 2009.
[8] X. Hu and Y.-H. Yang. Cross-cultural music
mood classiﬁcation: A comparison on English
and Chinese songs. Proceedings of the 13th International Society for Music Information Retrieval Conference (ISMIR 2012), pp. 19–24,
2012.
[9] K. M. Ibrahim, E. V. Epure, G. Peeters, andG. Richard. Exploiting Device and Audio Data
to Tag Music with User-Aware Listening Contexts. In Proceedings of the 23rd International
Society for Music Information Retrieval Conference (ISMIR 2022), pp. 186–192, 2022.
[10] M. Kamalzadeh, C. Kralj, T. Möller, and
M. Sedlmair. TagFlip: Active Mobile Music Discovery with Social Tags. In Proceedingsof the 21st International Conference on Intelligent User Interfaces (ACM IUI 2016), p. 19–30,
2016.
[11] M. Kaminskas and F. Ricci. Contextual music information retrieval and recommendation:
State of the art and challenges. Computer Science Review, 6(2):89–119, 2012.

[12] P. Knees and M. Schedl. A Survey of Music Similarity and Recommendation from Music Context Data. ACM Transactions on Multimedia
Computing, Communications, and Applications(ACM TOMM), 10(1):1551–6857, 2013.
[13] P. Knees, M. Schedl, and M. Goto. Intelligent
User Interfaces for Music Discovery. Proceedingsof the 20th International Society for Music Information Retrieval Conference (ISMIR 2020),
3(1):165–179, 2020.
[14] C. Laurier, M. Sordo, J. Serrà, and P. Herrera.
Music Mood Representations from Social Tags.
In Proceedings of the 10th International Society for Music Information Retrieval Conference(ISMIR 2009), pp. 381–386, 2009.
[15] Y. Liang and M. C. Willemsen. Interactive Music Genre Exploration with Visualization and
Mood Control. In 26th International Conference on Intelligent User Interfaces (ACM IUI2021), pp. 175–185, 2021.
[16] S. Petridis, N. Daskalova, S. Mennicken, S. F.
Way, P. Lamere, and J. Thom. TastePaths: Enabling Deeper Exploration and Understandingof Personal Preferences in Recommender Systems. In 27th International Conference on Intelligent User Interfaces (ACM IUI 2022), p.
120–133, 2022.
[17] J. Russell. A Circumplex Model of Aﬀect.
Journal of Personality and Social Psychology,
39:1161–1178, 1980.
[18] M. Schedl, P. Knees, B. McFee, D. Bogdanov,and M. Kaminskas. Music Recommender Systems. In Recommender Systems Handbook, pp.
453–492. 2015.
[19] M. Schedl, H. Zamani, C.-W. Chen, Y. Deldjoo,
and M. Elahi. Current Challenges and Visions
in Music Recommender Systems Research. International Journal of Multimedia Information
Retrieval (IJMIR), 7(2):95–116, 2018.
[20] R. Sinha and K. Swearingen. The Role of Transparency in Recommender Systems. In Extended
Abstracts on Human Factors in Computing Systems (ACM CHI 2002), p. 830–831, 2002.
[21] K. Tsukuda, K. Ishida, and M. Goto. Lyric
Jumper: A Lyrics-Based Music Exploratory
Web Service by Modeling Lyrics Generative
Process. In Proceedings of the 18th International Society for Music Information Retrieval
Conference (ISMIR 2017), pp. 544–551, 2017.
[22] K. Tsukuda, H. Masahiro, and M. Goto.
SmartVideoRanking: Video Search by Mining
Emotions from Time-Synchronized Comments.
In 2016 IEEE 16th International Conference on
Data Mining Workshops (IEEE CDMW 2016),
pp. 960–969, 2016.
[23] 濱崎 雅弘, 中野 倫靖, 後藤 真孝. Songrium RelayPlay: リレー再生による同曲異唱コンテンツ
視聴支援インタフェース. 第 23 回インタラクティ
ブシステムとソフトウェアに関するワークショッ
プ（WISS 2015）, pp. 1–6, 2015.

WISS 2023

[24] 伊藤 貴之, 中野 倫靖, 深山 覚, 濱崎 雅弘, 後藤
真孝. SingDistVis: 多数の歌声から歌い方の傾向を可視化できるインタフェース. 第 29 回インタ
ラクティブシステムとソフトウェアに関するワー
クショップ（WISS 2021）, pp. 1–8, 2021.
[25] 奥 健太. 楽曲推薦システム ―プレイリスト，コンテキスト，インタラクション―. 人工知能学会
誌, 34(3):300–308, 2019.
[26] 土屋 駿貴, 大野 直紀, 中村 聡史, 山本 岳洋. ソー
シャルコメントからの音楽動画印象推定手法の提案. 第 8 回データ工学と情報マネジメントに関するフォーラム （DEIM 2016）, E3–3:1–7, 2016.

[27] 中村 聡史, 田中 克己. ソーシャルアノテーションに基づく動画検索手法. 第 1 回データ工学と情報
マネジメントに関するフォーラム（DEIM 2009）,
D6–1:1–8, 2009.
[28] 倉持 友哉, 濱崎 雅弘, 中野 倫靖. 気分に合った音
楽推薦に向けた動画共有サイト上のコメント分析.
情報処理学会 研究報告 音楽情報科学（MUS）,
2023-MUS-137(47):1–8, 2023.