Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

作業用 BGM に特化した楽曲推薦システム
矢倉 大夢1,a)

中野 倫靖2

後藤 真孝2

概要：本稿では，作業時に集中度を高めることを目的として聴取する楽曲，「作業用 BGM」に特化した楽曲推薦システムを提案する．従来，ユーザが好むであろう楽曲を推薦する手法が研究されてきたが，「とても好き」な楽曲は作業者の集中を阻害することが知られており，作業用 BGM として推薦する楽曲に適していない．提案システムは，「とても好き」や「とても嫌い」ではなく、「好き」もしくは「どちらともいえない」楽曲を，BGM 聴取時のユーザからのフィードバックに基づいて推薦する．具体的には，楽曲のサビ区間までをダイジェスト的に聴取する（部分的にしか再生されない）システムとして設計することで，楽曲を「スキップ」するフィードバックによって「嫌い」な楽曲を推定する従来手法に加え，「もっと聴く」
フィードバックを導入して「好き」な楽曲を推定する．さらに，「好き」として推定された楽曲は，ユーザの集中度を行動ログから推定して「とても好き」か「好き」かを識別する．これは集中度が高い時のフィー
ドバックは，低い時より嗜好度を強く表しているという仮説に基づく．そして，楽曲間類似度に基づく
Label Spreading により，頑健にかつ再生履歴が少ない状況でも適切に楽曲を推薦することを可能にした．

1. はじめに
本稿では，作業中に聴取する楽曲である「作業用 BGM」を推薦するシステムを提案する．作業用 BGM という用語は，例えば，ニコニコ動画*1 において「作業用 BGM」というタグが付与された動画は約 14 万件*2 投稿されており，広く認知されている．また，Lonsdale らによる 189 名の学生を対象とした調査 [1] では，75.7%が楽曲を聴取する理由として勉強中や作業中の BGM としての使用を挙げ，「BGMとしての使用を挙げた回答者のほとんどが，集中を高める
ために聴取していると答えた」と述べている．そこで本稿
では，作業用 BGM を「作業時に集中を高めることを目的として再生される楽曲」として定義する．このような楽曲を自動的に推薦できれば，作業の効率や質を上げる音楽活
用につながって有用である．
提案システムは，ユーザの作業に関する行動ログ（マウス操作など）と，BGM 聴取時のユーザフィードバック（曲のスキップなど）によって，作業に適した楽曲をシステムが自動的に選曲し，連続再生する（図 1）．その際，ユーザ

図 1

提案システムの概要図．ユーザからのフィードバックと行動
ログに基づく集中度推定によって嗜好度を決定する．さらに，推薦する楽曲を決定する際にも集中度を用いる．

が強く好む楽曲は集中を妨害する可能性があるため，ユー
ザが最も好むであろう楽曲を推薦する手法は適用できないという点で，従来の楽曲推薦と異なる．

1

2

a)
*1
*2

筑波大学 情報学群 情報科学類
College of Information Science, University of Tsukuba
産業技術総合研究所
National Institute of Advanced Industrial Science and Technology (AIST)
hiromu@coins.tsukuba.ac.jp
http://nicovideo.jp
2016 年 4 月 1 日現在，138,439 件．（http://www.nicovideo.
jp/tag/%E4%BD%9C%E6%A5%AD%E7%94%A8BGM にて確認）ⓒ 2016 Information Processing Society of Japan

ユーザの負荷を抑えながら多様なフィードバックを得る
ために，複数の楽曲をダイジェスト的に（部分的に）連続再生する BGM 聴取システムを設計し，ユーザによる「嫌いな曲だからスキップしたい」もしくは「好きな曲だからもっと聴きたい」という要求をフィードバック可能にする．
さらに，作業に集中している時のフィードバックは，集中1

Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

していない時よりも，楽曲に対するユーザの嗜好度（好きの研究がなされている [5–7]．例えば，立山ら [5] は，ステ嫌い）を強く反映しているという仮説に基づき，「集中度」

レオカメラで計測される視線の移動量や瞬きの回数に基づを推定して利用する．また，推薦に適していると判断されいた集中度の推定をした．また，永井ら [7] は，キーボーた楽曲が複数あった場合，集中度に応じて選曲を変えるこ

ドやマウスの操作量，及び，スクリーンショットの輝度変とで，より作業に適した楽曲推薦を実現する．

化量と，集中度との相関から自動推定の可能性を示唆した．

2. 関連研究

集中度と関連して，作業の「割り込みやすさ（interrupt-

ibility）」の自動推定も研究されている [8–11]．例えば，本章では，限られたフィードバックに基づく楽曲推薦と，Fogarty ら [9] は，キーボードやマウスの操作量だけでな

作業用 BGM の推薦，そして「集中度」の推定に関する関く，マイクによる会話検知や，磁気センサによるドアの開連研究について述べる．

閉検知などを用いた手法を，Züger ら [10] は，生体センサ
で検知した脳波や皮膚電位，心拍数などを用いた手法を，

2.1 限られたフィードバックに基づく楽曲推薦
ユーザからの限られたフィードバックに基づく手法の 1
つとして，Pampalk らの手法 [2] がある．この手法では，そして，田中ら [11] は，キーボードやマウスの操作量とアクティブなアプリケーションの切り替え回数を組み合わせた手法を提案した．

ユーザが楽曲の再生中に行ったスキップ操作のみをフィー

その結果，Fogarty ら [9] と Züger ら [10] は「とても割り

ドバックとし，楽曲の音響特徴量を組み合わせて，以下の込んでもよい」「割り込んでもよい」「どちらともいえない」

ように推薦している．

「割り込んでほしくない」「全く割り込んでほしくない」の 5( 1 ) まだ再生されていない楽曲のそれぞれについて，曲中

クラス分類でそれぞれ 51.5%，32.5%の精度を得た．また，にスキップされた楽曲との類似度のうち最大の類似度

田中ら [11] は「割り込んでもよい」「どちらともいえない」

を ss ，最後まで再生された楽曲との類似度のうち最大「割り込んでほしくない」の 3 クラス分類で 35.4%の精度の類似度を sa とする．

を得たと述べている．ここで，Fogarty ら，田中ら，Züger( 2 ) sa > ss なる楽曲のうち，sa が最大のものを再生する．

らの手法での 2 クラス分類の精度を，Züger らの基準に従( 3 ) sa > ss なる楽曲が存在しない場合は， ssas が最大とな

い，「どちらともいえない」までをまとめて「割り込んでもる楽曲を再生する．
また，暦本による UniversalPlaylist [3] は「Yes」「No」という 2 種類のフィードバックのみから好みの楽曲を推薦するインタラクション手法を提案している．

よい」として混同行列（confusion matrix）から再計算したところ，それぞれ 71.1%，58.4%，78.6%であった．
上記を楽曲推薦に用いる際に，ステレオカメラやドアの開閉検知センサといった外部センサの活用は，ユーザの心理的障壁やコストの点から非現実的だと考えられる．さら2.2 作業用 BGM の推薦に，生体センサの使用は作業の邪魔となる可能性もある．

作業用 BGM の推薦手法として，滝澤らによる LISWO [4]また，永井ら [7]，田中ら [11] は，外部センサを用いずにがある．LISWO は，ユーザの作業状況と楽曲のメタデータ

収集可能な特徴量を用いたが，一定長の時間における推定を入力ベクトル，楽曲長に対する再生開始からスキップさを目的として，特定の操作の回数を特徴量としている．しれるまでの時間の割合を目的変数として，Support Vector

たがって，例えば，数十秒でスキップされることもあるよRegression により，目的変数が大きくなるような，つまりうに，時間の長さが可変である楽曲再生中の推定にそのま最後までスキップされにくいような楽曲を推薦する．なお，

ま適用することはできない．

ユーザの作業状況として，月，曜日，時刻とアクティブな
アプリケーション名，キーボードの打鍵数，マウスカーソ

3. 作業用 BGM 推薦システム

ルの移動量，マウスのクリック回数を用いていた．また，

1 章で述べた通り，作業用 BGM の推薦においては楽曲

楽曲のメタデータとして，アーティスト，アルバム名，発の聴取が集中度に与える影響について考慮する必要があ

売年，ジャンルを用いていた．

る．これは，Huang ら [12] による「とても好き（like very

この手法では，スキップされにくい楽曲を再生することmuch）」「好き（like）」「どちらともいえない（feel passably）」

はできるが，「とても好き」な楽曲によって集中が阻害され「嫌い（dislike）」「とても嫌い（dislike very much）」の 5 段ることを考慮していない．したがって，ユーザが強く好む

階で評価された楽曲への嗜好度と，楽曲の再生中の集中度

楽曲が再生され，楽曲の聴取に意識が傾いてしまい，集中との関連性についての調査からも裏付けられる．Huang らが低下してしまう可能性がある．

は「とても好き」または「とても嫌い」と評価した楽曲を聴取していた場合は無音環境よりも集中度が大きく低下し，

2.3 集中度の推定「集中度（concentration）」の推定については，いくつかⓒ 2016 Information Processing Society of Japan「好き」「どちらともいえない」「嫌い」と評価した楽曲を聴取していた場合は集中度が向上したと結論づけている．

2Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

すなわち，集中を高めたいというモチベーションで作業できなかった（図 2（A））．

用 BGM を聴取するユーザには，「とても好き」な楽曲でそこで．「もっと聴く」ボタンを用いて，「好きな曲だかはなく「好き」「どちらともいえない」「嫌い」という楽曲

らもっと聴きたい」という要求をフィードバックできるよを推薦することが求められる．ただし，「嫌い」な楽曲を推うにすることで，「好き」「どちらともいえない」「嫌い」の薦することは，ユーザのシステムを使用するモチベーショ

3 段階で嗜好度を決定する（図 2（B））．そして，「もっと聴ンを損なう可能性が高いため，本稿では「好き」「どちらとく」ボタンを実現するためには，楽曲を部分再生する必要もいえない」という楽曲を推薦することとする．

があるため，後藤によるサビ区間検出手法 [14] を用いる．

さらに，作業中のユーザの集中を阻害しないために，推提案するフィードバック手法での，ユーザからのフィー薦システムが求めるフィードバックについては，ユーザのドバックと得られる嗜好度の対応は，以下の通りである．

負荷を最小限にする必要がある．しかし，ユーザに明示的• 「もっと聴く」ボタンを押す
曲の末尾まで再生され，「好き」とみなす．

な評価を要求しない，暗黙的なフィードバック手法は正確性に劣ると言われている [13]．その上，別の作業をするた• 何もしない

めに副次的に音楽を聴取しているユーザからフィードバッ

曲の先頭から 30 秒後以降で初めてのサビ区間の終わクを得る場合，評価のゆらぎや操作ミスによる誤った評価

りまで再生され，「どちらともいえない」とみなす．

も含まれやすいと考えられる．そのため，作業用 BGM の• 「スキップ」ボタンを押す
直ちに次の楽曲が再生され，「嫌い」とみなす．

推薦アルゴリズムには，ノイズや誤った評価に対しての耐

ここで，何も操作がなかった場合にサビ区間の終わりま性が求められる．
以上，作業用 BGM 推薦システムの要件をまとめると，次の通りとなる．
要件 1 「とても好き」な楽曲ではなく，「好き」または「どちらともいえない」楽曲の推薦でを再生するようにしたのは，後藤が「サビは楽曲中で最も多く繰り返され，印象に残る」と述べている [14] ように，
楽曲への印象や嗜好度に大きく影響を与えると考えられるからである．また，好きな楽曲が再生された場合に「もっ要件 2 ユーザの負荷を抑えたフィードバックの取得と聴く」ボタンを押すというフィードバックについても，要件 3 ノイズ耐性の高い推薦アルゴリズム

ユーザの負荷や違和感は小さいと考えられる．これは，携

4. 手法

帯音楽プレーヤ Walkman に楽曲をダイジェスト的に連続再生する機能が搭載されている*3 ことや，濱崎らによる音

本章では，3 章で述べた要件を満たすよう，フィードバッ

楽視聴支援サービス Songrium [15] の連続再生機能 [16, 17]

クからの再生楽曲の嗜好度の決定と，集中度を推定する手では，ダイジェスト的な連続再生の中で，ユーザの操作に法を説明する．そして，未再生楽曲の嗜好度の推定と，次応じて末尾まで再生する機能も実装されていることからもに再生する楽曲の決定をする推薦アルゴリズムについて述確かめられる．

べる（図 1）．

また，曲の先頭から 30 秒後以降という制限を加えたのは，10 秒や 20 秒で「スキップ」や「もっと聴く」という

4.1 再生楽曲の嗜好度の決定
本節では，再生された楽曲に対するユーザの嗜好度を決判断を下すのが難しいと考えたためである．

4.1.2 「集中度」によるフィードバックの拡張

定するための，新たなフィードバックの実現について説明

4.1.1 項で述べた手法によって，「好き」「どちらともいえする．ただし，3 章で述べた要件 1 を満たすためには，再ない」「嫌い」という 3 段階で嗜好度を得た後，以下の仮説

生楽曲の嗜好度を「とても好き」から「とても嫌い」までのに基づき「集中度」というパラメータを用いて，「とても好5 段階で決定する必要がある．そこで，まず「好き」「どちき」「とても嫌い」を含めた 5 段階の嗜好度を決定する．

らともいえない」「嫌い」の 3 段階で決定するために「もっ仮説 集中度が高い時のフィードバックは，集中度と聴く」ボタンを導入し，次に「集中度」を用いて 5 段階が低い時のフィードバックに対し，より強く嗜好まで拡張することを考える（図 2）．

4.1.1 「もっと聴く」ボタンを用いたフィードバック

度を表している．
つまり，集中度とフィードバックの対応に基づいて表 1 の

本節では，2.1 節で述べた Pampalk らの手法 [2] をさらように，嗜好度を 5 段階で決定することができる．なお，に拡張した，「もっと聴く」ボタンを用いたフィードバック

本稿における「集中度」の定義は，永井ら [7] に従って「タについて説明する．Pampalk らの手法は，要件 2 のユーザ

スクへ没頭している程度」とし，その推定手法についてはの負荷を抑えるという点では優れているが，「嫌いな曲だ

次節で説明する．

からスキップしたい」というフィードバックしか得られな
いため，「嫌い」な楽曲を排し，「好き」な楽曲を推薦することしかできず，「どちらともいえない」楽曲を選ぶことはⓒ 2016 Information Processing Society of Japan*3

http://www.sony.jp/walkman/products/NW-W270S_series/
feature_4.html\#L1_170

3Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

図 2 フィードバックと嗜好度の対応図．（A）の「スキップ」によるフィードバックでは「好き」と「嫌い」の 2 段階の嗜好度しか得られないが，（B）の「もっと聴く」ボタンによって「どちらともいえない」を含めた 3 段階の嗜好度が得られる．さらに，（C）のように集中度を組み合わせることで，「とても好き」「とても嫌い」を含めた 5 段階の嗜好度が得られる．
表 1 このように集中度とフィードバックとの紐付けを行うことで，
図 2（C）のように 5 段階の嗜好度が得られる．

そして，以下の 2 つの理由から，推定アルゴリズムには Crammer らによる Adaptive Regularization of Weight

Vectors（以降，AROW と表記）[22] を採用する．

フィードバック
集中度

もっと聴く

何もしない

スキップ

• 行動ログを元にした学習データを大量に集めるのは難

高集中

とても好き

どちらともいえない

とても嫌い

しいため，少ないデータからでも高い精度で推定でき

低集中

好き

どちらともいえない嫌い

4.2 行動ログに基づく集中度の推定手法
本稿では，表 2 に示した，キーボード，マウスの入力，

HTTP/HTTPS（Web）通信の 3 種類の行動ログの n-gramを特徴量として，集中度を推定することを提案する．これ
は，行動ログの n-gram を特徴量として機械学習に用いるという，マルウェア検知などで提案されている手法 [18–21]を基にした．例えば，Rieck ら [19] は，Windows の API
コールと引数から得られる n-gram を特徴量として，マルウェアの分類を行っている．
前述の 3 種類の行動ログは，田中ら [11] によって提案された特徴量である，キーボードとマウスの入力情報と，アクティブなアプリケーションに関する情報を基にした．ただし，行動ログとして記録する際に，具体的な入力文字やクリック動作の種類を保存し，ログの情報量を増やすことで，推定精度の向上を目指す．さらに，集中度を推定する
上では，同じ入力内容であっても入力先のアプリケーショ
ンによって，異なる情報として扱うべきだと考えられるため，アクティブなアプリケーションが変化したというイベントを記録するのではなく，どのアプリケーションに入力
したかという形式で記録することとした．これによって，
例えば，同じクリックという動作であっても Firefox であれ
ば Web ブラウジングを，Skype であれば音声通話やチャットをしている等の違いを表現できる．
また，PC を利用した作業において，Web アクセスの有無やアクセス先は作業内容を反映すると考えられる．例えば，表 2 のように，Google に対する GET リクエストであれば Web 検索を，Twitter に対する POST リクエストであれば SNS への投稿をしているといった推察に繋がる．そのため，新たな特徴量として Web 通信のアクセスログ（リクエストメソッド及びホスト名）を採用することとした．

ⓒ 2016 Information Processing Society of Japan

る必要がある．

• 「集中度」という曖昧さを持つ主観的なパラメータにも対応できるような，ノイズ耐性が求められる．

AROW は，少ない学習データでも収束が早く，高いノイズ耐性を持つアルゴリズムとして知られており，村上らによるマルウェアの分類 [21] によっても用いられている．

4.3 作業用 BGM 推薦アルゴリズム
本節では，4.1 節で述べたフィードバック手法によって得られる再生中の楽曲の嗜好度を用いて，推薦する楽曲を決定する手法について説明する．その際，3 章の要件 1 を満たすために，まず未再生楽曲の嗜好度を推定し，「好き」「どちらでもない」と推定された楽曲群から集中度に応じて 1 曲を選び出すという手法を採る．

4.3.1 Label Spreading による未再生楽曲の嗜好度推定
未再生楽曲の嗜好度推定には，以下の 2 点が求められる．

• 誤ったフィードバックやユーザからの評価にも対処できるノイズ耐性を持つこと• 少ないフィードバックからでも正確に推薦できること
ここで，ノイズ耐性が必要となるのは，3 章で述べた要件

3 に加え，集中度の推定誤りによってもノイズが生まれる可能性があるためである．また，ある程度のフィードバッ
クがないと推薦できないのであれば，フィードバックが蓄積されるまで，ユーザに集中を阻害するような楽曲を聞きながら作業してもらう必要があるため，実用的でない．
そこで，本稿では Label Spreading [23] を用いる（図 3）．

Label Spreading は，Shao らの楽曲推薦手法 [24] に採用されている Label Propagation [25] と同じグラフベースの半
教師あり学習アルゴリズムである．特に，Label Spreading
では，Label Propagation での制約条件を緩和して学習を行うため，Wang らによる比較 [26] によっても確認できる

4

Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report
表 2

キーボード，マウスについては具体的な入力内容と入力先アプリケーション名を，Web
通信についてはリクエストメソッドとホスト名を記録して，その n-gram を集中度推定の特徴量に用いる．

種類

凡例

例

“key Google Chrome a”
キーボード“key [アプリケーション名] [キー]”（Google Chrome に「a」を入力）（修飾キーはまとめて扱われる）“key Microsoft Excel <[Ctrl: v]>”
（Microsoft Excel に「Ctrl+v」を入力）“mouse Firefox 1”
マウス“mouse [アプリケーション名] [番号]”（Firefox に左クリック）（左/中/右クリック，上下左右スクロールが 1∼7 に対応）

“mouse Skype 4”（Skype で上スクロール）“net GET www.google.com”
HTTP/HTTPS 通信“net [リクエストメソッド] [ホスト名]”（www.google.com に GET リクエスト）（Web）（GET または POST リクエストのみ）“net POST twitter.com”（twitter.com に POST リクエスト）

図 4

集中度を用いた楽曲推薦の処理手順（イメージ図）．集中度が高い時には，直前の楽曲と最も似た楽曲を，集中度が低い時には，直前に再生した 2 曲と最も似ていない楽曲を選ぶ．

4.3.2 集中度に応じた楽曲推薦
ユーザの集中を高めることを目的として，同じ嗜好度を推定された楽曲から推薦する楽曲を選ぶ際にも「集中度」
を用いる手法を提案する．具体的には，集中度が高い時には直前に再生した楽曲と類似した楽曲を優先し，低い時には多様な楽曲が再生されるようにする．つまり，集中して
図 3

Label Spreading の処理手順（イメージ図）．重みの大きな辺で繋がれた（類似度の大きい）楽曲は同じ嗜好度を共有するという仮定の下で推定を行う（Step 1)．さらに，推定結果からいる時には急な曲調の変更によって気が散るのを避け，集中できていない時には曲調の変化によって気持ちを切り替

誤っていそうな学習データが見つかれば，修正して上で再度推えるきっかけを作る．これは，Wells による調査 [27] で，定を行う（Step 2）．

225 人中 73.3%が音楽によって気分を切り替えるという項
目に同意した一方で，その契機となる楽曲に類似性が見られなかったという結果に基づいている．

通り，ノイズへの耐性が高いことが知られている．
これらは，学習データが限られていても高い精度で推定できることが知られている．（Zhou ら [23] による k-近傍

具体的な推薦手順は，以下の通りである（図 4）．

( 1 ) 2 曲目まではランダムに楽曲を再生する．
( 2 ) 3 曲目以降は，以下の手順で推薦する楽曲を選ぶ．

法や SVM との比較によっても確認できる．
）また，これら( a ) 推薦する楽曲の候補として，「好き」というラベ

2 つアルゴリズムはグラフ構造に基づいて上で学習するたルを推定された楽曲群を選ぶ．ただし，「好き」とめ，楽曲間類似度を辺の重みとして用いることで，嗜好度推定された楽曲群が存在しない場合は，「どちら推定が可能となる．

ともいえない」「嫌い」「とても好き」「とても嫌ⓒ 2016 Information Processing Society of Japan5

Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

図 6 作業用 BGM 推薦システムの構成．左上部の再生・制御モ
ジュールがインタフェース（図 5）を担い，他の 3 つのモジュー
ルがバックグラウンドで動作する．

が誤り訂正を行った，より精度の高いサビ区間情報を利用できる可能性があるという点が挙げられる．
また，行動ログ収集モジュールでは，キーボード・マウス
図 5 作業用 BGM 推薦システムのインタフェース．上部の Songleへの入力と Web 通信の記録を行う．キーボード・マウスへ

Widget によって楽曲を再生し，下部の「スキップ」「もっとの入力については，selfspy*4 により，アクティブなアプリ

聴く」ボタンによってフィードバックを取得する．

ケーション名と共に記録し．Web 通信は，mitmproxy*5 を用いて，リクエストごとのメソッドとホスト名を記録する．

い」という優先順位で選択する．

集中度推定モジュールと楽曲推薦モジュールは，機械学( b ) 直前の楽曲を再生中，集中度が高いと推定された習に基づく 2 つのモジュールである．前者は，行動ログか場合は，楽曲群候補から，直前に再生した 1 曲とらの集中度の推定を行うもので，機械学習フレームワーの類似度が最大となるものを推薦する．

ク Jubatus*6 を利用した．後者は，ユーザによるフィード( c ) 直前の楽曲を再生中，集中度が低いと推定されたバックや集中度から楽曲推薦を行うもので，機械学習ライ

場合は，楽曲群候補から，直前に再生した 2 曲とブラリ scikit-learn*7 による Label Spreading の実装を用いの類似度の和が最小となるものを推薦する．

た．また，Songle Widget から通信できるようにするため，

ここで，集中度が低かった場合に，直前に再生した 1 曲

Tornado*8 を用いて WebSocket サーバ上に実装した．

との類似度のみを最小化すると，2 つのジャンルを交互に行き来するような選択を繰り返してしまう可能性があるた
め，直前に再生した 1 曲との類似度ではなく，2 曲まで考
慮して楽曲を選択することとした．

5. 実装
本章では，これまで述べた手法を実現する，作業用 BGM

プライバシへの配慮として，行動ログはすべてハッシュ化した上で保存し，通信はすべて暗号化した．

6. 評価
本章では，集中度の推定精度，フィードバック手法の妥
当性，及び，推薦結果の妥当性の 3 つの項目について，評
価方法とその結果を述べる．

推薦システムの実装について述べる．
ユーザインタフェースを図 5 に示す．Songle Widget に

6.1 対象楽曲と音響特徴量の算出

よる楽曲再生画面に加え，「一時停止」と 4.1 節で述べた対象とした楽曲は，ニコニコ動画において「VOCALOID」「スキップ」「もっと聴く」の 3 種類のボタン，そして音量タグを付与されている楽曲のうち，再生数が上位の 50 曲

調節バーを持つ．

（6.5 節のみ 200 曲）とした．ここで VOCALOID 楽曲を利システムの構成は図 6 に示すように，再生・制御，行用したのは，Songle 上に多くの楽曲が登録されており，ユー

動ログ収集，集中度推定，楽曲推薦の 4 つのモジュールをザによる訂正を経たサビ区間情報が得やすいことと，様々な持つ．中心となるのが，再生・制御モジュールで，他の 3

ジャンルの楽曲が CGM（Consumer Generated Media）的つと連携して得られた推薦楽曲を，埋め込みブラウザ内*4で動作する Songle Widget [28] を用いて再生する．Songle*5

Widget を用いる利点としては，サビ区間に基づく再生制御が容易であるということに加え，Songle [29] 内でユーザⓒ 2016 Information Processing Society of Japan

*6
*7
*8

https://github.com/gurgeh/selfspy
https://mitmproxy.org/
http://jubat.us/
http://scikit-learn.org/
http://www.tornadoweb.org/

6Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report
表 3

図 7

推定結果

2

1

2

16

13

4

6

2

1

9

22

5

6

7

集中度と嗜好度の正解データを入力するダイアログ．集中度の推定精度とフィードバックの妥当性の検証に用いるため，各楽曲を再生するごとに入力した．

集中度推定の混同行列（5 クラス分類）
正解ラベル

表 4

0

-1

-2

0

3

7

10

5

5

-1

4

10

9

22

24

2

5

11

6

18

21

集中度推定の混同行列（2 クラス分類）
正解ラベルに多数投稿されており [30, 31]，楽曲推薦システムを評価す

推定結果

高集中（2∼0）

低集中（-1,-2）

る上で適していると考えられることによる．VOCALOID

高集中

89

21

楽曲のジャンルの多様さは，VOCALOID に関連するタグ

低集中

45

85

としてニコニコ動画で用いられているタグのうち楽曲ジャンルを示すために用いられているタグの数*9 からも分かる．
推薦で用いる楽曲間類似度の算出は，Songrium [15] と表 5 「もっと聴く」ボタンを用いたフィードバックと楽曲の嗜好度の対応（相関係数 0.60）
楽曲の嗜好度同様の手法を用いた．具体的には，MARSYAS [32] を用い

好き

どちらともいえない嫌い

フィードバック

（2,1）

（0）

（-1,-2）

ンポに関する 35 次元の音響特徴量ベクトルを求め，主成

もっと聴く

42

9

5

分分析によりその第 1∼3 主成分を用いた．

何もしない

36

80

23

スキップ

3

7

45

て，スペクトル特徴量やメル周波数ケプストラム係数，テ6.2 評価のためのデータ収集
被験者は 10∼20 代の男性 5 名（楽曲を聴取しながら作業り低いものの，外部センサを用いずに収集可能な特徴量のする習慣がある）に，5 章で述べたシステムを使用してもみを用いた，田中らの手法（58.4%）[11] より高かったこ

らい，楽曲を再生中の行動ログと「スキップ」「もっと聴とから，提案手法の有効性が確認できた．

く」といったユーザからのフィードバックを収集した．
さらに，各楽曲を再生するごとに図 7 のダイアログを表示し，集中度の推定精度とフィードバック手法の妥当性を検証するために，正解データとして楽曲の嗜好度と再生中

6.4 フィードバック手法の妥当性
次に，4.1 節で述べたフィードバック手法について，ユー
ザの嗜好度を正しく反映しているかを評価した．

の集中度を入力した．「2」が「とても好き」「とても集中

まず，ユーザが「スキップ」とした楽曲への嗜好度は低していた」に，「-2」が「とても嫌い」「全く集中していな

く，「もっと聴く」とした楽曲への嗜好度は高くなっている

かった」に対応した Likert 尺度である．

かどうか，つまり「もっと聴く」ボタンを用いたフィード
バックがユーザの嗜好度を正しく反映しているかを評価す

6.3 「集中度」の推定精度はじめに，集中度の推定精度の評価を行った．行動ログ

る．ユーザのフィードバックから得られる嗜好度と，正解としてユーザが入力した嗜好度の相関を表 5 に示す．

から推定される集中度と，正解データとしてユーザが入力

ユーザのフィードバックから得られる嗜好度とユーした集中度の適合度を 5-fold cross validation によって確ザが入力した嗜好度について，ピアソンの相関係数はかめた結果，5 クラス分類では 35.2%，2 クラス分類では0.60 (p < 0.01) であった．ただし，ユーザが入力した嗜好

69.6%の精度で，混同行列（confusion matrix）はそれぞれ度については「とても好き」「好き」をまとめて「好き」に，

表 3，表 4 の通りとなった．なお，2 クラス分類について「とても嫌い」「嫌い」をまとめて「嫌い」とした．

は Züger ら [10] と同様に，「とても集中していた」
「集中し

さらに，
「もっと聴く」ボタンに「集中度」の推定を組みていた」「どちらともいえない」を高集中，「集中していな合わせたフィードバックが，ユーザの嗜好度を正しく反映かった」「全く集中していなかった」を低集中とした．

しているかについてを評価した．表 6 に示すように，ユー

2 クラス分類の結果精度は，物理センサを用いた手法

ザのフィードバックから得られる嗜好度と，正解として（71.1%）[9] や，生体センサを用いる手法（78.6%）[10] よユーザが入力した嗜好度について，ピアソンの相関係数は*92016 年 4 月 1 日現在，ニコニコ動画に関する記事をまとめた
Wiki システム「ニコニコ大百科」には 141 件が挙げられている．（http://dic.nicovideo.jp/a/vocaloid%E9%96%A2%E9%
80%A3%E3%81%AE%E3%82%BF%E3%82%B0%E4%B8%80%E8%A6%A7にて確認）ⓒ 2016 Information Processing Society of Japan

0.67 (p < 0.01) であった．
以上の結果から，4.1.2 項で述べた仮説は支持され，表 1に表されるフィードバックは，ユーザの嗜好度を正しく反映していることが分かる．

7

Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report
表 6 「もっと聴く」ボタンに「集中度」の推定を用いたフィード

表 7 ロック調やテクノポップ調の楽曲は好み，和風やバラート風な楽曲は好まないというユーザの嗜好がシミュレーションされバックと楽曲の嗜好度（相関係数 0.67）

た場合，それぞれのタグの印象とスコアは以下の通りとなる．

楽曲の嗜好度
フィードバック

2

1

0

-1

-2

もっと聴く（高集中）

12

2

1

1

0

もっと聴く（低集中）

9

19

8

3

何もしない

9

27

80

19

スキップ（低集中）

0

3

6

21

10

和風曲

スキップ（高集中）

0

0

1

2

12

（4）嗜好

（1）タグ

（2）割合

（3）印象

1

VOCAROCK

0.27（54 曲）

ポジティブ

0.27

4

VOCALOID

0.23（46 曲）

ネガティブ

−0.23

ボカロバラード

0.21（42 曲）

ネガティブ

−0.21

ミクノポップ0.18（36 曲）

ポジティブ

0.18

スコア

6.5 作業用 BGM 推薦の結果の妥当性
最後に，4.3 節で提案した推薦アルゴリズムは，Pampalk
ら [2] のようにシミュレーションによって評価した．なぜなら，複数の手法を比較するためには同一の集中度系列を作り出す必要があるが，主観評価において集中度を操作することができないためである．
そこで，まずニコニコ動画のタグ情報を用いてユーザの嗜好をシミュレーションし，それを基にフィードバックもシミュレーションした．また，指標としては，滝澤ら [4]( 2 ) それぞれのタグについて，200 曲中でそのタグが用いられている曲の割合を求める．

( 3 ) それぞれのタグについて，「ポジティブ」か「ネガティブ」かの印象をランダムに割り振る．

( 4 ) それぞれのタグについて，「ポジティブ」ならその割合を，「ネガティブ」ならその割合に −1 を掛けたもの
を嗜好スコアとする．

( 5 ) それぞれの楽曲について，付与されたタグの嗜好スコと同様に，ユーザが「スキップ」や「もっと聴く」といっアを合計したものを，その楽曲の嗜好スコアとする．

たアクションをせず「何もしない」というフィードバック

例えば，表 7 のようにタグの嗜好スコアが算出されたを与えた楽曲の割合を用いた．これは，ユーザがアクショ

場合，ロック調やテクノポップ調の楽曲は好むが，和風ンを行いたくなる楽曲再生は集中の阻害に繋がり，何もしやバラート風な楽曲は好まないというユーザの嗜好をシなければ集中しているということだからである．

ミュレーションしていることになる．そのようなユーザの6.5.1 比較対象とするアルゴリズム「VOCAROCK」「VOCALOID 和風曲」の 2 つのタグが付

まず，評価を行う上で，比較対象とする 2 つの推薦アルゴリズムを実装した．1 つは，未再生の楽曲からランダム与された楽曲に対する嗜好スコアは 0.04 (= 0.27 − 0.23)となる．

に選ぶアルゴリズムである．もう 1 つは 4.1.1 項で述べたな お ，対 象 と し た す べ て の 楽 曲 に 付 与 さ れ て い る「もっと聴く」ボタンを用いたフィードバックに，2.1 節で「VOCALOID」タグは除外した上で算出を行った．また，述べた Pampalk らのアルゴリズム [2] を組み合わせたもの

タグごとのスコアをランダムに割り振るのではなく，タグで，以下の手順で推薦する．

の使用されている割合を用いたのは，似た意味を持つタグ( 1 ) まだ再生されていない楽曲のそれぞれについて，「スに大きく矛盾したスコアが割り振られてしまい，嗜好シ

キップ」または「もっと聴く」のフィードバックがさミュレーションの妥当性が失われてしまう可能性を低減すれた楽曲との類似度のうち最大の類似度を ss ，「何もるためである．タグごとの使用曲数の分布は，図 8 のようしない」ままサビ区間まで再生された楽曲との類似度にロングテール上になっていることから，似た意味を持つのうち最大の類似度を sa とする．

タグは淘汰され，より多くの楽曲で使われているタグに集( 2 ) sa > ss なる楽曲のうち，sa が最大のものを再生する．

約されていると期待できることによる．これは，楽曲をよ( 3 ) sa > ss なる楽曲が存在しない場合は， ssas が最大となり広めたいという投稿者，聴取者にとっては，多くの楽曲る楽曲を再生する．

6.5.2 嗜好のシミュレーション

で使われているタグを用いることで，検索性が高まり，より多くの人の目に触れやすくなるというメリットがあるこ

嗜好のシミュレーションには，ニコニコ動画のタグが楽とから説明できる．そのため，似た意味を持つタグが 2 つ曲のカテゴリやコンテキストを反映しているため，それを以上あっても，最も多くの楽曲で使われているもの以外は利用した．楽曲間類似度を用いないのは，比較手法と提案

ほとんど使われていないために，嗜好スコアの算出に大き手法の両方が楽曲間類似度を用いて推薦するために，同一な影響を与えない．

の情報に基づいて嗜好度をシミュレーションしても，正し

6.5.3 フィードバックのシミュレーション

い評価ができないからである．具体的な手順は，以下の通りである（表 7）．

次に，集中度の系列を生成し，それに基づいてフィード
バックのシミュレーションを行った．

( 1 ) ニコニコ動画の VOCALOID 楽曲のうち，再生数が上

集中度は，2（とても集中している）∼-2（全く集中して

位 200 位以内のものに付与されたタグを列挙する．

いないの間で，同一または隣接したラベルへと等しい確率ⓒ 2016 Information Processing Society of Japan

8

Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

めに，「スキップ」だけでなく「もっと聴く」ボタンも用いた．それによって，ユーザの心理的抵抗や負荷を抑えながら「嫌い」という評価だけでなく「好き」という評価を得るフィードバック手法を実現した．さらに，ユーザの行動からの「集中度」の自動推定を行い，「好き」や「嫌い」の度合いを推定し，より細かい尺度でのユーザの嗜好度を取得することを可能にした．物理センサなどを用いずにユー
ザの集中度を推定する手法についても提案し，既存手法より高い精度で推定できることを確認した．最後に，タグ情報を用いて嗜好をシミュレーションし，フィードバックを生成した結果，提案した作業用 BGM 推薦システムが高い
図 8 対象とした 200 曲におけるタグごとの使用数の分布

推薦精度を持つことを示した．
今後は，「集中度」というパラメータの導入によって生で遷移するようにした．そして，集中度に基づいて，「スまれる全く新たなインタラクションの可能性についても模キップ」または「もっと聴く」の閾値となる嗜好スコアを索していきたい．例えば，予め設定された時刻に近くなる

変更するようにした．具体的には，高集中（2∼0）の時は，につれ，集中を阻害するような楽曲を再生する割合を増や

嗜好スコアが 0.75 以上の楽曲に「もっと聴く」，-0.75 以下

していくというインタラクションを考えている．これによの楽曲に「スキップ」というフィードバックを生成し，低り，出かけなければならない時間になってもどうしても作

集中（-1,-2）の時は，嗜好スコアが 0.5 以上の楽曲に「もっ業を続けたいというシチュエーションや，予定の時間を過と聴く」，-0.5 以下の楽曲に「スキップ」というフィード

ぎても気づかないという失態を回避できる．

バックを生成した．

謝辞 本研究の一部は JST CREST の支援を受けた．

このシミュレーションによって生成されるフィードバッ
ク例を図 9 に示す．この例では，3 曲目と 7 曲目は同じ嗜

参考文献

好スコア（0.58）だが，3 曲目では高集中状態なので「何[1]もしない」を，7 曲目では低集中状態なので「もっと聴く」
を生成する．同様に，2 曲目と 9 曲目も同じ嗜好スコア[2]（-0.69）だが，2 曲目では高集中状態なので「何もしない」
を，9 曲目では低集中状態なので「スキップ」を生成する．

6.5.4 シミュレーションによる評価結果[3]

評価は，フィードバックデータがない状態から推薦を開始し，1 曲ごとにシミュレーションされたフィードバック[4]の情報を生成するという手法で行った．50 回の試行（異なる 50 ユーザの嗜好と集中度系列のシミュレーション）について，100 曲分の推薦を行い，平均を取った結果が表 8 で[5]ある．これは，推薦された楽曲のうち，「スキップ」または「もっと聴く」ではなく「何もしない」というフィードバッ
クがシミュレーションされたものの割合を表している．つ[6]

まり，提案手法は比較手法より，集中を阻害しない「何もしない」ような楽曲を推薦できているということである．
この結果から，提案手法は適切な楽曲を推薦できており，[7]

フィードバックの数が限られている状態でも，高い精度で推薦できているということが分かる．

[8]

7. まとめ
本稿では，作業時の集中を高めるための作業用 BGM 楽
曲推薦システムについて述べた．
「とても好き」な楽曲ではなく「好き」や「どちらともいえない」楽曲を優先するとい[9]

Lonsdale, A. J. and North, A. C.: Why do we listen tomusic? A uses and gratifications analysis, British Journal of Psychology, Vol. 102, No. 1, pp. 108–134 (2011).
Pampalk, E., Pohle, T. and Widmer, G.: Dynamic
Playlist Generation Based on Skipping Behavior, ISMIR
2005, pp. 634–637 (2005).
暦本純一：UniversalPlaylist: 利用者の嗜好に動的に適合するメディア再生機構，インタラクション 2005，pp.
237–244 (2005).
滝澤勇介，西本一志：作業状況に基づく「ながら聴き」用
自動選曲プレーヤ“LISWO”，情報処理学会研究報告ヒュー
マンコンピュータインタラクション（HCI），Vol. 2009,
No. 28, pp. 115–122 (2009).
Tateyama, Y., Matsumoto, Y. and Kagami, S.: Concentration detection by eye movements: towards supportinga human, Proc. of the IEEE Intl. Conf. on Systems,
Man & Cybernetics, pp. 1544–1548 (2004).
本田新九郎，富岡展也，木村尚亮，大澤隆治，岡田謙一，
松下 温：作業者の集中度に応じた在宅勤務環境の提供−仮想オフィスシステム Valentine，情報処理学会論文
誌，Vol. 39, No. 5, pp. 1472–1483 (1998).
永井有希，徐 建鋒，酒澤茂之：デスクワークにおける主観的集中度と PC 操作ログの関係分析，映像情報メディア学会年次大会講演予稿集，Vol. 2015, pp. 14-5-1–14-5-2(2014).
Fogarty, J., Hudson, S. E. and Lai, J.: Examining therobustness of sensor-based statistical models of humaninterruptibility, CHI 2004, pp. 207–214 (2004).
Fogarty, J., Hudson, S. E., Atkeson, C. G., Avrahami,D., Forlizzi, J., Kiesler, S. B., Lee, J. C. and Yang,
J.: Predicting human interruptibility with sensors, ACM
Trans. Comput.-Hum. Interact., Vol. 12, No. 1, pp. 119–146 (2005).

う，作業用 BGM に特有の推薦アルゴリズムを実現するたⓒ 2016 Information Processing Society of Japan

9

Vol.2016-MUS-112 No.3
2016/7/30

情報処理学会研究報告
IPSJ SIG Technical Report

図 9 フィードバックのシミュレーション例．高集中状態か低集中状態かによって，3 曲目と 7
曲目，2 曲目と 9 曲目のように同じくらい好き（嫌い）とされる楽曲に対しても，生成されるフィードバックは変わる．
推薦した曲数

10 曲

20 曲

30 曲

40 曲

50 曲

60 曲

70 曲

80 曲

90 曲

100 曲

ベースライン（ランダム）

0.65

0.67

0.67

0.66

0.66

0.67

0.66

0.66

0.67

0.67

比較手法（「もっと聴く」ボタンのみ）

0.65

0.70

0.72

0.71

0.72

0.71

0.69

0.70

0.69

0.68

提案手法

0.72

0.72

0.73

0.73

0.74

0.74

0.75

0.76

0.78

0.78

表 8 推薦された楽曲のうち，「何もしない」というフィードバックが与えられた楽曲の割合を表しており，提案手法が最も高い数値を示していることから，最も集中を妨害しにくい推薦手法だと言える．

[10]

[11]

[12]

[13]
[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

Züger, M. and Fritz, T.: Interruptibility of Software Developers and its Prediction Using Psycho-PhysiologicalSensors, CHI 2015, pp. 2981–2990 (2015).
Tanaka, T. and Fujita, K.: Study of user interruptibility estimation based on focused application switching,
CSCW 2011, pp. 721–724 (2011).
Huang, R. H. and Shih, Y. N.: Eﬀects of backgroundmusic on concentration of workers, Work, Vol. 38, No. 4,
pp. 383–387 (2011).
神嶌敏弘：推薦システムのアルゴリズム (1)，人工知能学
会誌， Vol. 22, No. 6, pp. 826–837 (2007).
Goto, M.: A chorus section detection method for musical audio signals and its application to a music listening
station, IEEE Trans. Audio, Speech & Language Processing, Vol. 14, No. 5, pp. 1783–1794 (2006).
Hamasaki, M. and Goto, M.: Songrium: a music browsing assistance service based on visualization of massive
open collaboration within music content creation community, Proc. of the 9th Intl. Symposium on Open Collaboration, pp. 4:1–4:10 (2013).
Hamasaki, M., Goto, M. and Nakano, T.: Songrium: amusic browsing assistance service with interactive visualization and exploration of protect a web of music, WWW’14, pp. 523–528 (2014).
濱崎雅弘，中野倫靖，後藤真孝：Songrium RelayPlay: リ
レー再生による同曲異唱コンテンツ視聴支援インタフェー
ス，WISS 2015, pp. 25–30 (2015).
Firdausi, I., lim, C., Erwin, A. and Nugroho, A. S.: Analysis of Machine Learning Techniques Used in BehaviorBased Malware Detection, ACT 2010, pp. 201–203(2010).
Rieck, K., Trinius, P., Willems, C. and Holz, T.: Automatic analysis of malware behavior using machine learning, Journal of Computer Security, Vol. 19, No. 4, pp.
639–668 (2011).
Canali, D., Lanzi, A., Balzarotti, D., Kruegel, C.,
Christodorescu, M. and Kirda, E.: A quantitative studyof accuracy in system call-based malware detection, ISSTA 2012, pp. 122–132 (2012).
村上純一，鵜飼裕司：類似度に基づいた評価データの選ⓒ 2016 Information Processing Society of Japan

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]

別によるマルウェア検知精度の向上，CSS2013 論文集，Vol. 2013, No. 4, pp. 870–876 (2013).
Crammer, K., Kulesza, A. and Dredze, M.: Adaptive regularization of weight vectors, Machine Learning,
Vol. 91, No. 2, pp. 155–187 (2013).
Zhou, D., Bousquet, O., Lal, T. N., Weston, J. andSchölkopf, B.: Learning with Local and Global Consistency, NIPS 2003, pp. 321–328 (2003).
Shao, B., Ogihara, M., Wang, D. and Li, T.: Music Recommendation Based on Acoustic Features and User Access Patterns, IEEE Trans. Audio, Speech & Language
Processing, Vol. 17, No. 8, pp. 1602–1611 (2009).
Zhu, X., Ghahramani, Z. and Laﬀerty, J. D.: SemiSupervised Learning Using Gaussian Fields and Harmonic Functions, ICML 2003, pp. 912–919 (2003).
Wang, F., Li, T., Wang, G. and Zhang, C.: Semisupervised Classification Using Local and Global Regularization, AAAI 2008, pp. 726–731 (2008).
Wells, A.: Popular Music: Emotional Use and Management, The Journal of Popular Culture, Vol. 24, No. 1,
pp. 105–117 (1990).
Goto, M., Yoshii, K. and Nakano, T.: Songle Widget:
Making Animation and Physical Devices Synchronizedwith Music Videos on the Web, IEEE ISM 2015, pp.
85–88 (2015).
Goto, M., Yoshii, K., Fujihara, H., Mauch, M. andNakano, T.: Songle: A Web Service for Active Music
Listening Improved by User Contributions, ISMIR 2011,
pp. 311–316 (2011).
Hamasaki, M., Takeda, H. and Nishimura, T.: Network
analysis of massively collaborative creation of multimedia contents: case study of hatsune miku videos on nico
nico douga, UXTV 2008, pp. 165–168 (2008).
後藤真孝：CGM の現在と未来: 初音ミク，ニコニコ動画，
ピアプロの切り拓いた世界：1. 初音ミク，ニコニコ動画，
ピアプロが切り拓いた CGM 現象，情報処理，Vol. 53,
No. 5, pp. 466–471 (2012).
Tzanetakis, G. and Cook, P.: MARSYAS: a framework
for audio analysis, Organised Sound, Vol. 4, pp. 169–175(2000).

10