芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)

日常行動に沿った選曲と音響特徴量の関係の可視化
黒子なるみ 1)*

大矢隼士 2)

1) お茶の水女子大学

伊藤貴之 1)（正会員）

2) Septeni Japan 株式会社

*現在株式会社 NTT ドコモ所属

Visualization of the Relationship between Music Selection and
Acoustic Features according to Daily Activities
Narumi Kuroko1)

Hayato Ohya2)

1) Ochanomizu University
1) {g1520511, itot} ＠ is.ocha.ac.jp,

Takayuki Itoh1)(Member)

2) Septeni Japan, Inc
2) hayato.oya ＠ septeni.co.jp

アブストラクト
一般的にユーザが鑑賞する楽曲を選曲する際に，その時の行動が判断に影響を与えることはよく知られている．我々はこの事実にもとづき，日常生活の中で繰り返される習慣的動作において鑑賞したい楽曲の音響特徴量を音楽推薦に用いる手法を検討している．ここで，どのような行動中にどのような音響特徴量を有する楽曲が好まれるのかを深く検証することで，日常行動と楽曲の相関に対する理解を深め，音楽推薦の満足度向上につなげられると考えられる．そこで我々は，日常的な行動をシチュエーションごとに分けて，そのシチュエーションにおいて聴きたいと思う楽曲の相関を検証するための可視化を試みた．本論文では，日常的な各シチュエーションでの被験者群の選曲結果とその音響特徴量を検証する
ためのいくつかの可視化手法，およびその可視化結果について紹介する．

Abstract
When people choose songs that they want to listen to, it is well-known that their behaviors of that time
have an influence on their choices. Based on this nature, we developed a method for music
recommendation that selects songs based on the acoustic features of songs which is listened in daily
activities. We expect that we can understand the correlation between activities and songs, examining
what kind of acoustic features of a song tend to be chosen by examinees who are in a given condition.
And we also expect that the music recommendation system gives users higher satisfaction. In this paper,
we present a visualization method with results for verifying the correlation between activities andacoustic features.

194

芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)
化手法を適用することで詳細画面を構成し，特定の鑑賞者クラ

1. はじめにスタと楽曲クラスタの間に見られる局所的な特徴を表現する．

近年では主に海外主要国において，ストリーミングサービス

本論文の主な学術的貢献は以下の通りである．1) 各々の日常が音楽鑑賞の主たるメディアとなってきている．これらの環境

行動時に好まれる楽曲とその音響特徴量に着目した可視化，との変化により，人々はインターネット上で何百万もの楽曲を，いう点で前例の見当たらない研究課題を示している．2) 本研究

場所に左右されずに聴くことができるようになった．しかし，の目的を満たすために，「概要画面と詳細画面」というデザイ

このように視聴可能な楽曲の選択肢が増えるにつれて，鑑賞者

ンポリシーに沿って可視化システムを設計した．3) 好まれる楽は情報過負荷な状態となり，単純な決定方略が取られやすくな

曲の日常行動ごとの違いに関する知見を可視化結果から導いた．

ってしまう[1]．そこで我々は，鑑賞者の好みに合わせた楽曲を自動選曲する音楽推薦システムの研究に従事している．

2. 関連研究

Songらの音楽推薦に関する広範なサーベイ[2]によると，音楽
推薦手法はメタデータ，音響データ，協調フィルタリング，文

本章では，複合的なデータを効果的に可視化するための可視

章，感情，ハイブリットの6種類に分類される．これらに加えて化システム設計に関連する研究について紹介する．

最近では，日時や場所[3]，行動[4]など，鑑賞者個人に関する複2.1 概要画面と詳細画面数の要因が選曲に影響する傾向が注目されている．これにともない，音響データと鑑賞者個人の要因を同時に考慮した音楽推

音楽鑑賞のデータは楽曲自体の情報（音響特徴やメタデータ）

薦システムに関しても，これまでいくつか開発されてきた．

と鑑賞者の情報（再生履歴や日常生活など）が絡んだ複合的な

Wangら[4]は，時間帯や位置情報から鑑賞者の日常行動を推測し，データである．我々自身による先行研究[8]では，このような複その行動に適した楽曲を推薦するシステムを開発した．
Åmanら合的なデータの分析には単一の可視化システムでは不十分であ[5]は，スマートフォンに搭載されたセンサによって検出できるることを示唆した．そこで着目したのが，概要画面と詳細画面

情報（鑑賞者の位置情報，移動のペース，マイクからの音声なで構成される可視化システムを提案したCockburnら[7]のアプ

ど）
をもとに，
鑑賞者がどんな日常行動をしているかを検出し，ローチである．Cockburnらは，概要画面と詳細画面をわけるこ

それに適した楽曲を推薦するシステムを開発した．我々もこれとが分析過程において効果的であることを示している．
一方で，らの研究と同様に，鑑賞者個人の日常行動と音響特徴量の関係

それらを1つの可視化システムに配置するには2つの問題があるは音楽推薦の満足度を向上する重要な知見であると考える．

としている．1点目は，可視化の画面空間に限りがあるという問

情報推薦システムにおいてアイテムの推薦時にその推薦理由

題である．2点目は，大規模なデータにおいて2つの可視化間のを提示することは，推薦アイテムに対して説明性を持たせるこ

連動に時間がかかり過ぎてしまう問題である．人間が同時に処とにつながる[6]．推薦システムの説明性を向上することで，音理できる情報量は限られているため，その量を超えた大量の情楽鑑賞者とシステム事業者・権利者の双方に対して，システム

報を同時に表現しても，分析の役に立たない可能性がある．そ全体に対する信頼度や満足度の向上を期待できる．音楽推薦シこで本研究では，複数の可視化画面を相互操作することを前提

ステムにおいても同様に，楽曲推薦の根拠を提示することが，とした可視化システムを開発するのではなく，独立に開発した

説明性の高い音楽推薦システムの確立につながると考えられる．

複数の可視化画面を組み合わせる形で分析を実施する．このよ

本論文では，楽曲推薦における重要な知見と考えられる日常

うに，可視化画面を独立させることによって，1つ1つの可視化

行動と音響特徴量の関係を可視化するシステムを提案する．提を正確に知覚して，分析することができると期待している．

案手法は以下の2つの要件を可視化によって満たすものである．

本研究では，概要画面によって日常行動と音響特徴量の関係[要件 1: 大局的傾向の発見] 各々の日常行動，各々の音響特徴性を解明し，詳細画面によって鑑賞者間の選曲傾向の差異を解量に対して，鑑賞者群と楽曲群の大局的な相関を可視化するこ

明することを目指す．

とで，データ全体を通して特定の日常行動の中でどの音響特徴
量が選曲に大きく寄与するかについて大局的な傾向を表現する．

2.2 Node-link と Matrix[要件 2: 局所的特徴の発見] 特定の鑑賞者群によって選ばれる鑑賞者と楽曲の視聴関係のような，データ間の関係性を表現

特定の楽曲群を可視化することで，特定の日常行動の中で特定する一般的な可視化手法として，Node-linkとMatrixがある．図1の鑑賞者群にどのような特定の選曲が見られるかといった局所にNode-linkとMatrixの概略図を示す．これら2つの可視化手法は，的な特徴を表現する．

同じ情報を表現可能な可視化手法である[9]が，以下のような特これらの要件を満たすために本研究では，Cockbum ら[7]が提徴がある．Node-linkは，可視化結果の直感的な理解において有唱する「概要画面と詳細画面」という可視化デザインに沿った利であるが，ノードやエッジの重なりを解消することが難しい

可視化システムを構築する．要件 1 を満たすために提案手法でという問題がある．Matrixは，データ要素間の画面上の重なりがは，音響特徴量と鑑賞者の嗜好の関係を近似曲線で示すという生じないため，全てのデータ要素を均等に可視化することが可

概要画面により，両者の大局的な傾向を表現する．要件 2 を満能であるが，データセットの規模が大きくなると横または縦にたすために提案手法では，鑑賞者群と楽曲群を連結して構成さ広がってしまうため，画面占有面積を抑えることが難しいといれる 2 部グラフに対して，Node-link と Matrix の 2 種類の可視う問題がある．このように，データセットの大きさや密度によ195

芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)
本調査では活動の場所を家に限定した．

って，視認性が大きく左右されるため，優位性については今もなお議論に決着がついていない[10]．そこで本研究では，どちら我々が採用している日常行動と想定しているシチュエーショ

か一方に限定せずに，両者の利点を活かした分析を実施する．

ンを表1に示す．これらの日常行動の選定に際して我々は，先行研究[12], [13]を参考にして，家で想定される全ての日常行動を
採用した．
日常行動
食事
入浴
掃除
料理
音楽鑑賞
勉強
運動

図 1 Node-link と Matrix の概略図
本研究では，音楽鑑賞の全体的な特徴や傾向を把握するための近似曲線を概要画面として採用し，より局所的な特徴や傾向

表1 日常行動一覧
シチュエーション
1 人でご飯を食べている
湯船に浸かっている
荷物を片付けている
ご飯を作っている
ゆったりとしているレポートを書いている
筋トレをしているを発見するための詳細画面としてネットワーク可視化（Node-3.1.2 音響特徴量データ

link）とヒートマップ（Matrix）を採用する．以上の3つの可視化

本研究では，音響特徴量解析ツール Librosa[14]を用いて各楽システムを組み合わせることで，日常行動と音響特徴量の関係

曲の音響特徴量値を算出している．現段階で我々が採用してい性と鑑賞者間の選曲傾向の差異を分析する．

る音響特徴量は，「テンポ，音量，明るさ」の 3 値である．この
3 値の定義を表 2 に示す．ただし，テンポ，音量，明るさはそ

3. 提案する可視化システム

れぞれスカラー値である．パラメータとして, 𝑠𝑟𝑛_𝑓𝑓𝑡

本章では，3 つの可視化手法で構成されるシステムを開発するための各処理について論じる．可視化システムの概要を図 2

𝑓𝑟𝑎𝑚𝑒_𝑙𝑒𝑛𝑔𝑡ℎ2048, ℎ𝑜𝑝_𝑙𝑒𝑛𝑔𝑡ℎ22050,

512, 窓関数

はハン窓を適用している．

に示す．3.1 節では本研究で用いるデータ，3.2 節では日常行動
音響特徴量
テンポ

と楽曲に関するアンケート，3.3 節では 1 つ目の可視化手法である近似曲線，3.4 節では 2 つ目の可視化手法である Koala とい(beat_track)うネットワーク可視化手法，3.5 節では 3 つ目の可視化手法で音量あるヒートマップについて説明する．

(rms)

明るさ
(spectral_centroid)

表 2 音響特徴量一覧
概要
1 分間の拍数を示す値．
音の大きさを示す値．ある時間ウィンドウ幅における音量振幅の二乗平均平方根．
音の明るさを示す値．周波数成分をパワーによって重みつけした平均（スペクトル平均）．

これらの音響特徴量の選出には，Librosaによって得られる音響特徴量間の相関係数値を適用している．
2つの音響特徴量間の相関係数が0に近いということはつまり，数学的にはそれぞれの変数が独立であることを示している．
2つの音響特徴量がそれぞれ異なる指標を表している組み合わせを模索した結果として，我々は上記の3値を選出した．ただし，テンポ（beat_track）の値
は，4ビートや8ビート等の識別が難しく，算出結果に誤りが生

図 2 可視化システムの概要

じてしまったため，明らかに誤りとわかる算出結果については手動で修正した．また，音量（rms）と明るさ（spectral_centroid）

3.1 使用データ

は，単位時間ごとに特徴量値を算出しているため，1曲に対して

本研究では，日常行動データと音響特徴量データを用いてい一意に定まっていない．そのため，本手法では算出された値のる．以下，各データの詳細について述べる．

平均値を各楽曲の音響特徴量とした．

3.1.1 日常行動データ

3.2 アンケート

我々は自身の先行研究[7]から，楽曲の視聴場所と音響特徴量

アンケートでは，各日常行動に対する選曲を調査した．アン

には相関があるという知見を得た．これに続く工程として本研ケートに使用したフォームの概要を図3に示す．
本アンケートで究では，活動の場所を一箇所に限定し，日常行動の違いのみには，2012～2013年にCDの売り上げが高かった50曲と，3.1.1項で着目して選曲の傾向を分析することとした．

述べた7つの日常行動のマトリクス形式で実施した．
マトリクス

NHKの調査[11]によると，日本人の在宅時間は，1995年から形式にすることによって，「聴きたい曲，聴きたくない曲，どち

増加傾向にあった．さらに，昨今の新型コロナウイルス

らでもない曲」の3段階で，日常行動と楽曲の全ての組み合わせ（COVID-19）が，在宅時間の増加に拍車をかけている．このよ
うに，1日の大半を家で過ごす機会が多くなった現状を鑑みて，
196に対して評価をしてもらった．
本アンケートで用いる楽曲には，

芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)
多くの被験者にとって耳馴染みのある時期の楽曲とするために，

この可視化では，鑑賞者と楽曲の両方がノードとして描画さ2012〜2013年の楽曲を選定した．回答者がタイトルを見ただけれている．エッジは，3.2 節で調査したアンケート項目（聴きたで楽曲を思い出せるとは限らないので，回答者には各楽曲とも

い曲，聴きたくない曲，どちらでもない曲）のうち，可視化しに全体を視聴してもらうことで，各楽曲への記憶や理解がばらたい関係にもとづいて生成している．例えば，鑑賞者が「聴きつかないようにさせた．また，想定する視聴環境の違いによったい」とした楽曲との視聴関係を可視化したい場合は，鑑賞者て，アンケート結果に差が生じてしまう可能性がある．そのたが各日常行動中に「聴きたい」とした楽曲をエッジで連結してめ，スピーカを用いて一人で聴いていることを想定してもらういる．図 5 では鑑賞者が入浴中に「聴きたい」とした楽曲をエことで視聴環境を統一した．

ッジで結んでいる．この処理の結果として，鑑賞者群と楽曲群を連結する 2 部グラフが構築される．
Koalaはクラスタを単位として各ノードを画面に配置する．それぞれのクラスタは 1) 選曲の共通性の高い鑑賞者のノード，
2) 鑑賞者の共通性の高い楽曲のノードで構成されている． ノードを配置するためのアルゴリズムを以下に記載する．
1.

クラスタをノードに置き換えたグラフを生成し，これに対してグラフ配置アルゴリズムを適用．

2.

図3 アンケートフォーム

各クラスタを構成するノード数から，各クラスタの半径を計算．

3.3 可視化① -近似曲線-

3.

エッジ長が両端のノードの半径の合計値にできるだけ近くようにスムージング処理を適用．

鑑賞者の選曲と音響特徴量との全体的な傾向を把握するた4.

めに，本研究では近似曲線を可視化手法として採用する．音響
特徴量をテンポとした可視化画面を図 4 に示す．

クラスタ内にそのクラスタを構成するノードを配置．

以上の手順によって，同じクラスタに分類されたノードを近くに配置する．

この可視化では，楽曲を横軸に沿って左右に並べている．音響特徴量の値によって楽曲を左から右へ順にソートすることで，ノードは鑑賞者の属性および楽曲の音響特徴量で配色されて視認性の向上を図っている．図4の例では，テンポが遅い楽曲がいる．図 5 では，鑑賞者に対応するノードは性別で配色されて左側，テンポが速い楽曲が右側に配置されている．また，横軸

おり，楽曲に対応するノードは音量で配色されている．楽曲ノのプロット幅は楽曲の音響特徴量を正規化することで調節してードと鑑賞者ノードを視覚的に判別するために，本研究では異いる．縦軸は，それぞれの行動において，各楽曲に対してアンなる色相を両者に割り当てている．楽曲ノードでは，各音響特ケートで「聴きたい」を選択した鑑賞者の割合を表している．

徴量の値を表している．音響特徴量の値が小さい値から大きい

各曲に対する縦軸の割合𝑥は以下の式(1)によって算出される．

値へと順に，青から赤のレインボーカラーを割り当てている．

𝑥𝑛𝑁𝑛: 「聴きたい」を選択した鑑賞者数
𝑁: 評価した鑑賞者数

鑑賞者ノードの色は各鑑賞者の属性を表している．現時点の実1

装では，鑑賞者の性別と 3 年以上の楽器経験の有無の 2 種類の

また，可視化画面図4の下に設置したスライダーを操作するこ

属性のいずれかを配色に用いている．鑑賞者の性別で鑑賞者ノとによって，曲線の次数を1から10まで，10段階で調節することードを配色する際には，女性にはピンク，男性には紫を割り当が可能である．

てている．
鑑賞者の楽器経験で鑑賞者ノードを配色する際には，楽器経験がある鑑賞者にはピンク，楽器経験のない鑑賞者には
紫を割り当てている．

図4 近似曲線による可視化画面

3.4 可視化② -Koala各鑑賞者の楽曲視聴に関する局所的な傾向を把握するために，本研究はネットワーク可視化手法である Koala[17]を拡張す
図 5 Koala による可視化画面

る形で採用する．Koala とは，ノードをクラスタリングして配置

3.5 可視化③ -ヒートマップ-するグラフ可視化手法である．日常行動を入浴とした可視化画
面を図 5 に示す．

各鑑賞者の選曲傾向を詳細に把握するために，本研究ではヒ197

芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)
11 人が男性であった．一方で，Geringer ら[15][16]の研究によるートマップを採用する．これによって，鑑賞者間の選曲傾向に違いがあるのかを1曲単位で観察できる．日常行動を音楽鑑賞，と，3 年以上の楽器経験の有無が選曲に影響を与えるとされて音響特徴量をテンポとした可視化画面を図6に示す．

いる．これを検証するために本アンケートにおいても，回答者

楽曲は横軸に沿って並べられている．3.3 節の近似曲線と同が楽器を経験したことがあるかを調査した．その結果，今回の様に，音響特徴量の値によるソートを適用している．鑑賞者は回答者のうち，30 人が 3 年以上の楽器経験があり，14 人が楽器

縦軸に沿って並べられている．鑑賞者に階層クラスタリングをを経験していなかった．

適用することによって，選曲傾向が類似している鑑賞者が近く

4.2 近似曲線に配置されるように並び順を決定し，選曲傾向の視認性を向上

3.3 節の手順で算出した曲線上のいくつかの点を用いて，各させる．
階層クラスタリングでは，要素間の類似度（距離）にもとづ

行動間の選曲傾向の類似性を分析した．行動間の類似度算出にいて，最も類似度の高い要素から順に凝集することでクラスタはコサイン類似度を用いた．

を作る．本手法では，鑑賞者ごとの「聴きたい」を選択した楽

コサイン類似度とは，ベクトル空間モデルにおいて，ベクト曲群にもとづいて，以下の手順によってクラスタリングを実施

ルの内積を用いて類似度を算出する方法である．1 に近いほど類似しており，1 よりも小さいほど類似していないことを示す．

した．
1.

音響特徴量の値が低い楽曲から順に 5 曲ずつ分割．

本研究では，3 つの音響特徴量ごとに，各日常行動のコサイン

2.

5 曲ごとに，鑑賞者ごとに「聴きたい」を選択した楽曲

類似度cos 𝜃 を，以下の式(2)によって算出した．ここで，曲線の音響特徴量平均値のリストを算出．

を等間隔に分割した際の，分割点のリストを曲線ベクトル𝐴, 𝐵

リスト間のユークリッド距離を算出．

とした．なお本研究では，曲線を 4 等分に分割して得られた，

3.

以上の手順により，選曲傾向が類似している鑑賞者を近くに配5 つの分割点による「聴きたい鑑賞者の割合」を 5 次元ベクト

置した．なお本研究では，距離算出にはユークリッド距離を適ルとして扱い，𝐴とする．

用し，クラスタ間の距離算出には完全連結法を採用した．これ𝑎 , 𝑎 , 𝑎 , 𝑎 , 𝑎 ，𝐵は，各々のクラスタの中で最も距離の大きいベクトル間距離を
cos 𝜃

そのクラスタ間の距離とするものである．
また，プロットの色には，3.2節のアンケートで分類した，「聴
きたい曲，聴きたくない曲，どちらでもない曲」の3段階の色を𝐴∙𝐵‖𝐴‖‖𝐵‖∑ 𝑎𝑏∑ 𝑎

割り当てている．鑑賞者が「聴きたい」とした楽曲には，音響

𝑏 ,𝑏 ,𝑏 ,𝑏 ,𝑏2∑ 𝑏

特徴量が小さい値から大きい値へ順々に，緑から赤の色を割り式(2)によって算出したコサイン類似度を，以下の表 2 に示す．

当てている．鑑賞者が「聴きたくない」とした楽曲，「どちらで

表 2 では視認性向上のため，各日常行動において，最も類似度もない」とした楽曲には，それぞれ灰色と白色を割り当てていが高かった値を強調表示している．この結果によると，入浴とる．

音楽鑑賞，食事と勉強と料理，掃除と運動はそれぞれ選曲傾向が類似していることが読み取れる．
表 2 コサイン類似度算出表

図6 ヒートマップによる可視化画面
表 2 より分類した 3 種類の選曲傾向と音響特徴量との相関を視認によって確認した．視認性向上のために，可視化画面下の4. 実行例

スライダーを用いて，次数を1にした可視化画面を図7に示す．

本章では，3 つの可視化システムによる分析結果について論

1 つ目の選曲傾向は，入浴と音楽鑑賞である．これらは，どちじる．
4.1 節では可視化に使用した実験参加者の詳細について述らも傾きが右下がりになっている．すなわち，音量が小さい楽

べる．4.2 節では 1 つ目の可視化手法である近似曲線，4.3 節で曲が好まれるという点で選曲傾向が類似している．2 つ目の選

は 2 つ目の可視化手法である Koala，4.4 節では 3 つ目の可視化

曲傾向は，食事と勉強と料理である．これらは，いずれも傾き手法であるヒートマップの分析結果について述べる．

がなく，水平である．すなわち，選曲された楽曲は，音響特徴
量による差異がないという点で選曲傾向が類似している．3 つ

4.1 実験参加者の詳細

目の選曲傾向は，掃除と運動である．これらは，どちらも傾き

3.2 節で実施したアンケートでは，18 歳から 30 歳（平均年齢が右上がりになっている．すなわち，音量が大きい楽曲が好ま

22 歳）の男女 44 人の回答を得た．回答者のうち 33 人が女性，198れるという点で選曲傾向が類似している．

芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)

4.3.2 視聴関係と音響特徴量
3.2 節で調査したアンケート項目のうち，鑑賞者が「聴きたくない」とした楽曲をエッジで結んだ場合に，顕著な特徴が見られた．日常行動を入浴と音楽鑑賞，音響特徴量をテンポとした可視化画面を図 8 に示す．図 8 に示す青丸の部分には，寒色系のプロットが集まっている．これらのプロットは，楽曲クラス
タを表すノードであり，配色が寒色系であるということは，テンポが低いことを表している．つまり，入浴と音楽鑑賞の可視
図 7 次数 1 の近似曲線可視化画面

化画面では，テンポが遅い楽曲がクラスタを形成していること

以上の分析を 3 つの音響特徴量の各々において施した結果をを表している．さらに，このクラスタとエッジで結ばれている

表 3 に示す．表 3 より，3.1.1 節に示した 7 項目の日常行動

鑑賞者数は，
他のクラスタと比較して少ないことが読み取れる．

は，大きく 3 種類の選曲傾向に分類される．入浴と音楽鑑賞に

この可視化画面では，鑑賞者が「聴きたくない」とした楽曲をは，スローテンポ・小音量・暗い，バラードのような曲調の楽エッジで結んでいる．そのため，テンポが遅い楽曲を「聴きた曲が好まれる傾向にある．食事と勉強と料理には，音響特徴量

くない」としている鑑賞者数は，他のクラスタと比較して少なによる差異がほとんど見られない．掃除と運動は，アップテン

いということが読み取れる．すなわち，テンポが遅い楽曲を「聴ポ・大音量・明るい，バンドやアイドルソングのような曲調のきたい」としている鑑賞者数が多いことを表している．
ここで，楽曲が好まれる傾向にある．

音響特徴量に明るさを選んだ場合でも，同様の可視化結果が得

表 3 選曲傾向の分類られた．日常行動を入浴と音楽鑑賞，音響特徴量を明るさとした可視化画面を図 9 に示す．以上を踏まえると，日常行動が入浴と音楽鑑賞の場合には，鑑賞者は特にテンポと明るさを選曲時に考慮していて，スローテンポで暗い曲調の楽曲が好まれる
ことが読み取れる．

4.3 Koala
3.4 節の手順によって形成された鑑賞者と楽曲のネットワー
クを Koala により観察し，鑑賞者と楽曲の関係を分析した．

4.3.1 アーティスト分類
3.2 節で調査したアンケート項目のうち，鑑賞者が「聴きたい」とした楽曲をエッジで連結した場合に，楽曲クラスタの中に同
図 8 入浴・音楽鑑賞の Koala 可視化画面（テンポ）

一アーティストが多く分類された．本研究で使用した 50 曲，合計 31 組のアーティストのうち，19 組のグループが以下の表 4に示す 4 つのグループに分類された．4 つのグループのうち，グループ 4 に含まれるアーティストのほとんどは，洋楽を歌っていた．このことから，洋楽をよく聴く鑑賞者が複数いたことが推測される．また，それぞれの日常行動間でのアーティスト
分類には，あまり差異が見られず，全体を通して同じようなグ
表 4 アーティスト分類

図 9 入浴・音楽鑑賞の Koala 可視化画面（明るさ）一方，日常行動を掃除と運動，音響特徴量を音量とした可視化画面を図 10 に示す．図 10 に示す赤丸の部分には，暖色系のプロットが集まっている．つまり，掃除と運動の可視化画面では，音量が大きい楽曲のクラスタが形成されていることを表している．また図 10 でも，このクラスタとエッジで結ばれている
ループに分類された．以上の結果から，鑑賞者は日常行動を考

鑑賞者数は，他のクラスタと比較して少ない．そのため，音量慮した選曲とは別に，各鑑賞者が好きな固有のアーティストのが大きい楽曲を「聴きたい」としている鑑賞者数が多いことが楽曲を積極的に選曲していることが推測される．

読み取れる．以上のことから，日常行動が掃除と運動の場合には，鑑賞者は特に音量を考慮した選曲をしていて，音量が大きい楽曲が好まれることが読み取れる．
199

芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)
70%未満である．それに対して，図 12 に示す結果から，クラスタに含まれる楽器経験者の割合が全体的に高いことが読み取れる．特に，楽曲の明るさとテンポはどの日常行動を見ても楽器経験者の割合が非常に高い．以上により，楽器経験者の選曲には，テンポや明るさとの相関が高いことがわかった．

図 10 掃除・運動の Koala 可視化画面（音量）
図 8・図 9（入浴と音楽鑑賞）と図 10（掃除と運動）の分類
は，4.1 節で分類された選曲傾向と一致している．ここからも，
表 3 の分類は適切であることが示唆される．また，Koala によ
図 12 当該クラスタにおける楽器経験鑑賞者の割合

る分析結果から，7 項目の日常行動によって重視されている音響特徴量に違いがあることがわかった．

4.5 考察と議論
4.4 ヒートマップ

3 つの可視化システムによる分析結果のまとめを図 13 に示

3.5 節の手順で形成された階層クラスタリングとヒートマッ

す．今回のアンケート結果を可視化することで，鑑賞者はそれぞれの日常行動に適するような音響特徴量の楽曲を選曲していプをもとに，鑑賞者の選曲について分析した．
日常行動を音楽鑑賞，音響特徴量を音量とし，階層クラスタ

ること，加えて選曲に相関する音響特徴量は日常行動によってリングを適用した可視化画面を図 11 に示す．図 11 の可視化画

異なることがわかった．また，鑑賞者ごとに選曲傾向が異なる

面右側に表示された階層クラスタリング結果に着目すると，鑑日常行動と，鑑賞者全体にわたって同様な選曲傾向となる日常

賞者が大きく 2 つのクラスタに分類されていることを読み取れ行動に分類されることもわかった．

る．ヒートマップからも鑑賞者の選曲傾向が二分されているこ

続いて各々の日常行動に着目すると，掃除と運動における楽とがわかる．下側のクラスタは，ヒートマップ部分において，曲推薦においては，鑑賞者の好きなアーティストを選曲するよ

可視化画面の左から右まで均一に「聴きたい」楽曲が選択されりも，音響特徴量，特に音量が選曲に重要であることが示唆さている．このことから，これらのクラスタに含まれる鑑賞者のれる．それに対して，その他の 5 つの日常行動における楽曲推

選曲は音量に相関していないことがわかる．一方上側のクラス

薦の優先度は，鑑賞者によって個人差があることが見受けられ

タは，ヒートマップの部分において，可視化画面右側の音量がる．これらの日常行動においては，音響特徴量（特に明るさと大きい楽曲は，鑑賞者が「聴きたい」とした楽曲が選択されてテンポ）を優先して選曲する鑑賞者，鑑賞者が好きなアーティいなかった．このことから，これらのクラスタに含まれる鑑賞ストの楽曲を優先して選曲する鑑賞者，これらの両方の傾向が者の選曲は音量に相関していることがわかる．このような，音現れる鑑賞者，といった 3 種類の選曲傾向に分類されることが響特徴量全般に相関した選曲傾向を有する鑑賞者のクラスタは，示唆される．

3.1.1 項で示した 7 項目の日常行動のうち，入浴・音楽鑑賞・食事・勉強・料理の 5 つの日常行動において見られた．これら 5
つの日常行動は，4.1 節で分類された選曲傾向と一致している．

図 11 ヒートマップ可視化画面

図 13 分析結果のまとめ

続いて，音響特徴量全般に選曲が相関する鑑賞者が多いクラ

このような結果を利用することで，楽曲推薦の説明性を高め

スタを対象として，鑑賞者の特徴を調査した．その結果，楽器られると考えられる．言い換えれば，各鑑賞者がどのような選経験の有無と大きな関係があることがわかった．図 12 では，音曲傾向を有するかを見極めて，楽曲推薦の優先度を定めること

響特徴量に選曲が相関する鑑賞者が多いクラスタにおける，楽が重要となると考えられる．楽曲推薦の際に，先述したような器を経験していた鑑賞者の割合をグラフとして図示した．ただ

鑑賞者個人に適合した推薦理由にもとづいていることを提示す

し，日常行動が料理，音響特徴量が音量の場合は，選曲傾向のることで，推薦システムへの信頼度を向上させることができる

違いを確認できなかったため，グラフを省略している．本アンと考える．

ケートに回答してくれた鑑賞者のうち，楽器経験者の割合は以上の結果は，3 つの可視化システムを組み合わせたことで200

芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)
総合的に得られた知見である．本研究では，各々の可視化シス
テムに対して「大局的傾向」「局所的特徴」というように解明したい点を明確に役割分担させている．これによって，各々の可視化結果において注目すべき箇所を的確に，瞬時に知覚することが可能となり，それぞれの可視化システムから異なる知見をもたらすことができた．また，独立した複数の可視化結果を照合することによって，それぞれの可視化システムからもたらされた異なる知見の信頼性を互いに担保することを可能としている．この点において，本手法は他の可視化手法と比較して優れていると考えている．さらに本手法では，2.1 節で述べた画面効率，処理速度の問題についても解消することができている．これらの理由から，本研究が対象とする複合的なデータにおいては，相互操作が可能な単一の可視化システムではなく，本研究で提案したような独立した複数の可視化システムを組み合わせる手法がより分析に適していると考える．

5. まとめと今後の課題
本論文では，楽曲推薦における重要な知見と考えられる日常
行動と音響特徴量の関係を可視化するシステムを提案した．本システムでは大局的傾向を表現するために近似曲線を適用し，局所的特徴を表現するために Node-link および Matrix の 2 種類の可視化手法を適用した．そして我々自身で実施したアンケー
トに沿って鑑賞者群と楽曲群の関係を可視化した結果から，日常行動と音響特徴量の関係が楽曲推薦における重要な知見である可能性を示した．
今後の課題として，鑑賞者属性を考慮した分析の充実，可視化システム間の連携強化の 2 点を目標としている．1 点目の鑑賞者属性とは，現時点では鑑賞者の性別と楽器経験の有無といった情報を指す．これらの属性を考慮した分析については，現時点では 3 つ目の可視化システムであるヒートマップでしか傾向を発見できていない．そのため，他の可視化システムでも分析を進め，さらに新しい分析結果の解明に努めたい．2 点目の可視化システム間の連携強化については，本報告における分析
結果からも，3 つの可視化システムを組み合わせたことによって，解明された点が多いことがわかる．そこで，3 つの可視化
システム間の連携をより強化することによって，さらなる分析を実施したいと考えている．
連携を強化するための一例として，鑑賞者が好きなアーティストの楽曲を除外したデータで再度可視化することを想定している．

参考文献[1] Barry Schwartz, “The Paradox of Choice: Why More Is Less”,
Harper Perennial, 2005.
[2] Yading Song, Simon Dixon, “Marcus Pearce：A Survey of Music
Recommendation Systems and Future Perspectives”, M Pearce
9th International Symposium on Computer Music Modeling and201

Retrieval 4, pp. 395-410, 2012.
[3] Zhiyong Cheng, Jialie Shen, “On Effective Location-Aware
Music Recommendation”, Submitted to ACM TOIS, pp. 13:1–
13:32, 2016.
[4] Xinxi Wang, David Rosenblum, Ye Wang, “Context-Aware
Mobile Music Recommendation for Daily Activities”, In
Proceedings of the ACM International Conference on
Multimedia, pp. 99-108, 2012.
[5] Pirkka Åman, Lassi A Liikkanen, “Interacting with Context
Factors in Music Recommendation and Discovery”, International
Journal of Human-Computer Interaction, 33(3), pp.165-179,
2017.
[6] Nava Tintarev, Judith Masthoff, “A survey of explanations inrecommender systems”, IEEE 23rd International Conference on
Data Engineering Workshop, pp. 801-810, 2007.
[7] Andy Cockburn, Amy Karlson, Benjamin B. Bederson, “A
review of overview+detail, zooming, and focus+context
interfaces”, ACM Computing Surveys, vol. 41, pp. 2:1–2:31,
2009.
[8] Narumi Kuroko, Hayayo Ohya, Takayuki Itoh, Nicolas
Grossmann, Hsiang-Yun Wu, “Visualization of Correlations
between Places of Music Listening and Acoustic Features”,
In Proceedings of the 24th International Conference on
Information Visualisation (iV2020), pp. 22-27, 2020.
[9] Donghao Ren, Laura R. Marusich, John O’Donovan, Jonathan Z.
Bakdash, James A. Schaffer, Daniel N. Cassenti, Sue E. Kase,
Heather E. Roy, Wan-yi (Sabrina) Lin, Tobias Höllerer,“Understanding Node-Link and Matrix Visualizations of
Networks: A Large-scale Online Experiment”, Network Science,
7(2), pp. 242-264, 2019.
[10] Mershack Okoe, Radu Jianu, Stephen Kobourov, “Revisited
network representations,” in 25th Symposium on Graph Drawing(GD), 2017.
[11] NHK 放送文化研究所, “2015 年国民生活時間調査報告書”,
2015.
[12] Sergey Volokhin, Eugene Agichtein, “Understanding Music
Listening Intents During Daily Activities with Implications forContextual Music Recommendation”, In Proceedings of the2018 Conference on Human Information Interaction & Retrieval(CHIIR ’18), pp. 313–316, 2018.
[13] Adrian C. North, David J. Hargreaves, Jon J. Hargreaves, “Usesof music in everyday life. Music Perception”, 22(1), pp. 41–77,
2004.
[14] Brian McFee, Colin Raffel, Dawen Liang, Daniel P.W. Ellis, Matt
McVicar, Eric Battenberg, Oriol Nieto, “librosa: Audio andMusic Signal Analysis in Python”, Proc. of the 14th Python in
Science Conf. (SCIPY), pp. 18-24, 2015.
[15] Clifford K. Madsen, John M. Geringer, “Differential patterns ofmusic listening: Focus of attention of musicians versus
Nonmusicians”, Bulletin of the council for Research inMusic
Education, 105, pp. 45-47, 1990.
[16] John M. Geringer, Clifford K. Madsen, “Focus of attention toelement: Listening patterns of musicians and Nonmusicians”,
Bulletin of the Council for Research in Music Education, 127, pp.
80-87, 1995.
[17] Takayuki Itoh, Karsten Klein, “Key-node-Separated Graph
Clustering and Layout for Human Relationship Graph
Visualization”, IEEE Computer Graphics and Applications, Vol.
35, No. 6, pp. 30-40, 2015.

芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)
表5 アンケート使用曲一覧

202

芸術科学会論文誌 Vol. 20, No. 4, pp. 194-203 (2021)

黒子 なるみ2019年お茶の水女子大学情報科学科卒業．2021年お茶の水女子
大学大学院人間文化創成科学研究科理学専攻 博士前期課程修
了．

大矢 隼士

2010年早稲田大学理工学部応用物理学科卒業．2012年早稲田大学大学院先進理工学研究科物理学及応用物理学専攻修士課程修了．2017年株式会社レコチョク入社．2018年早稲田大学大学院
先進理工学研究科物理学及応用物理学専攻博士後期課程満期退学．2021年Septeni Japan株式会社入社，現在に至る．データサイ
エンティストとしてマルチメディアデータ解析に従事．

伊藤 貴之

1990年早稲田大学理工学部電子通信学科卒業．1992年早稲田大学大学院理工学研究科電気工学専攻修士課程修了．同年日本アイ・ビー・エム(株)入社．1997年博士(工学)．2003年から2005年まで京都大学大学院情報学研究科COE研究員(客員助教授相当)
兼任．2005年お茶の水女子大学理学部情報科学科助教授．2011
年同大学教授．2019年から同大学文理融合AI・データサイエン
スセンター長兼任．情報可視化，音楽情報処理，コンピュータ
グラフィックス，インタラクション，データ工学などの研究に従事．

203