人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03

逐次推薦状況におけるプロービングアイテム決定戦略に関する検討
Consideration of Strategy for Selecting Probing Items in Intractive
Recommendation
高間 康史 1∗ 徐 銘蔓 1 柴田 祐樹 1
Yasufumi Takama1 Mingman Xu1 Hiroki Shibata1
東京都立大学Tokyo Metropolitan University1

1

Abstract: This paper compares several strategies for determining probing items. Probing items
are presented to users especially at their sign-up process to get their feedback, from which user
proﬁles are constructed. Therefore, how to select probing items are important for designing recommender systems. This paper reports the results of comparing several strategies by simulatinguser behaviors using a dataset.

1

はじめに

本稿では，逐次推薦状況において，ユーザの嗜好を推定するためのプロービングアイテム決定戦略について検討する．情報推薦を利用したサービスでは，アイテムに対するユーザの関心や嗜好に関する情報を収集し，これに基づいて推薦アイテムを決定する．特に，協調フィルタリングを用いたサービスでは，ユーザがアイテムに対して下した行為（閲覧，購入，評価など）に関する情報（インタラクションデータ）に基づいて，推薦アイテムを決定する [12]．研究においては，事前に収集された大規模インタラクションデータを対象とする場合が一般的であるが，実際のサービスを想定すると，サービスを通じてインタラクションデータを逐次収集していく必要がある．
インタラクションデータを収集するアプローチの一つとして，新規ユーザが推薦サービスの利用を始める
際に，いくつかのアイテムを提示し，それらに対するフィードバックを得ることでユーザプロファイルを構築する事が考えられ，そのようなプロセスを本稿ではサインアッププロセスと呼ぶ．サインアッププロセスにおいて提示するアイテムは，得られるユーザプロファイルの質に影響を与えることから，提示すべきアイテムの選択は重要と考える．
本稿では，「ユーザのフィードバックを効率よく得られるようなアイテム」をプロービングアイテムと定義
し，行為履歴のない新規ユーザにアイテムを逐次的に∗ 連絡先： 東京都立大学システムデザイン学部〒 191-0065 東京都日野市旭が丘 6-6
E-mail: ytakama@tmu.ac.jp

ー13

推薦していく状況を想定して，プロービングアイテムの決定戦略について検討する．具体的には，ユーザプロファイルを構築するサインアッププロセスと協調フィルタリングを用いる推薦プロセスの 2 段階に分け，それぞれアイテムの推薦およびユーザによる評価（フィードバック）を繰り返しながらユーザプロファイルを逐次更新していく．実験協力者によるユーザ実験ではなく，データセット（評価値行列）を利用してユーザの行動を模擬することで逐次推薦状況を再現する．これにより，ユーザ実験よりも大規模なユーザ実験を低コスト・短時間で実施可能である．優れた推薦システム
は，サインアッププロセスにおけるユーザの労力を最小限に抑えつつ，高い推薦精度を達成できるとの考えに基づき，複数のプロービングアイテム決定戦略の比較検討を行う．

2

関連研究

2.1

協調フィルタリング

情報推薦手法は，アイテムの属性を利用する内容ベースフィルタリングと，ユーザがアイテムに対して下した行為履歴に基づく協調フィルタリングに大別される．
協調フィルタリングでは，行為履歴を評価値行列として表現し，これを入力データとしてアイテムに対するユーザの予測評価値を計算する [12]．
協調フィルタリングはメモリベース法とモデルベース法，及びこれらのハイブリッド手法に大別される．メ
モリベース法はユーザやアイテム同士の類似度を評価ー

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03値行列から直接計算し，予測評価値を求める．代表的な手法に k-NN (k-Nearest Neighbor) [3] があり，ピアソン相関係数を用いて推薦対象ユーザと類似するユーザ集合を求め，類似ユーザが対象アイテムに対して下した評価値と，推薦対象ユーザとの類似度に基づいて予測評価値を求める．
モデルベース法は評価値行列から構築したユーザやアイテムのモデルを用いて予測評価値を求める．評価値行列から，潜在因子によるユーザベクトル，アイテムベクトルを求める行列分解ベース [8, 13] や深層学習ベースの手法 [4, 5] が提案されている．

2.2

コールドスタート

コールドスタートは協調フィルタリングの課題の一つとして指摘されており，新規ユーザや新規アイテムが増えた際に，行為履歴が蓄積されるまで精度良い推薦が行えなかったり，推薦ができない問題を指す．
これまでに，コールドスタート問題の解決策として様々な手法が提案されており，非個人化推薦と個人化推薦に大別される．非個人化推薦にはランダムな推薦 [6]，人気度やエントロピーに基づいた推薦手法 [10, 11] がある．個人化推薦では，アンケートに基づく推薦 [1, 18]，評価値行列の拡張による推薦 [7, 14] やソーシャル情報を利用する推薦手法 [9, 15] などが挙げられる．

2.3

対話型情報推薦システム

推薦システムの評価は，MAE (Mean Absolute Error) や RMSE (Root Mean Square Error) など予測評
価値の誤差や，適合率，再現率など推薦リストに基づく評価が主流である．これらは，蓄積された行為履歴に基づいてユーザの嗜好を予測し，一度だけ推薦の提示を行う状況を想定した評価と言える．
一方，情報推薦システムを運用している状況を想定
すると，行為履歴はアイテムの推薦を通じて逐次的に得られるため，ユーザに対しどのようなアイテムを提示するかは，その後の推薦アルゴリズムの挙動に影響を与えることになる．この様な，ユーザとの対話から得られる情報の活用に焦点を当てた，対話型情報推薦システム（conversational recommender systems）に関する研究が行われている．
対話型情報推薦システムにおいて，逐次的に得られるユーザフィードバックを手掛かりに適切な推薦アイテムを決定するプロセスを探索と利用のトレードオフ（exploration-exploitation tradeoﬀ）としてとらえ，多腕バンディット問題（multi-armed bandit problem）の枠組みを適用する研究も多い．Zhao らは PMF[13] を拡張したインタラクティブな協調フィルタリング手法

ーを提案している [19]．Thompson Sampling を利用してユーザに推薦するアイテムを決定し，フィードバック（評価）に基づきユーザプロファイルを逐次更新する．Christakopoulou らは Thompson Sampling の他，UCB (Upper Conﬁdence Bond) や Greedy など複数のアイテム提示戦略について比較している [2]．
ユーザとのインタラクション設計に着目した研究として，Sun らは，自然言語による対話を通じた推薦システムを提案している [16]．アイテムが満たす条件・特徴を取得する事を目的としたモデリングのための対話と，推薦のための対話の両方を考慮しており，どちらの対話を行うかを決定する対話戦略を学習している．Wegbaらは，ユーザが満足するまで推薦を繰り返す事を想定した対話型映画推薦システムを提案している [17]．ユー
ザが満足するまで繰り返す反復的プロセスはユーザによる映画データベースの探索とみなせるため，映画をキャラクタと見立てたストーリーテリングによってより良い探索体験を提供することで，推薦結果に対する満足度向上を目指している．

逐次推薦状況の構築

3

逐次推薦状況を想定して情報推薦システムを評価する場合，実験協力者を募って行うユーザ実験と，データセット（評価値行列）に基づくオフライン実験の 2つのアプローチが考えられる．前者は，実際のユーザの反応・フィードバックを取得できる利点があるが，大規模な実験を実施したり，多数のシステムやアルゴリズムを比較することが困難である．一方，オフライン実験は評価値行列に含まれない状況，例えば未評価アイテムに対する評価などが不明であるなどの欠点があるが，多数ユーザによる評価や，多数システム・アルゴリズムを同一条件で比較することが可能という利点がある．従って，ユーザ実験を行う前に，検証すべき仮説や評価対象とするシステム・アルゴリズムを絞り込む用途などに，オフライン実験は有効と考える．
以上の考えに基づき，本稿ではデータセットを利用したオフライン実験を採用する．本節では，利用するデータセット，逐次推薦の手順，ユーザフィードバックを取得するためのプロービングアイテム決定戦略について説明する．

3.1

データセット対象データセットとして Grouplens が提供している
MovieLens 100K Dataset1 を使用する．このデータセッ
トにはユーザ 943 人が映画 1,682 件に対し，評価 1〜5の 5 段階で下した 100,000 件の評価を含んでいる．
1 https://grouplens.org/datasets/movielens/

14ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03(a) KNNWithMeans を用いて，Rt′ に基づき vi (∈Vt − Vt′ ) の予測評価値 r̂ti を求め，最大値をとるアイテム vm を ut に提示する．

逐次推薦を行う対象ユーザは，その行動を模擬する必要がある事から，評価件数が少ないユーザは対象として不適である．本稿では，評価件数が 200 以上のユーザを推薦対象ユーザとする．データセット内の全ユーザのうち，本条件を満たすユーザは 149 人存在した．他のユーザも，推薦対象としては利用しないが近傍ユーザなどとしては利用する．

3.2(b) vm に対する ut のフィードバック rtm (∈ Rt )を取得し，Vt′ , Rt′ に vm , rtm をそれぞれ追加
する．
サインアッププロセスにおいて，Vt に含まれるアイテムを ut が過去に評価したことのあるアイテムとして扱う．提示されたアイテムに対するユーザのフィードバックを取得する必要があるため，推薦プロセスにおいても Vt から推薦アイテムを選択する．

逐次推薦手順

推薦対象ユーザは，当該推薦システムを初めて利用する新規ユーザである事を想定する．新規ユーザは推薦アイテムを決定するために必要な行為履歴を持たないため，本稿では以下の 2 段階に分けて推薦を行う．

3.3

プロービングアイテム決定戦略

サインアッププロセスにおけるプロービングアイテ
ム決定戦略として，本稿では以下の 11 種類を採用し，比較する．

• サインアッププロセス：ユーザプロファイル構築を目的とした推薦を行う• 推薦プロセス：ユーザが好むアイテムを推薦することを目的とした推薦を行う

1. Random: ランダムにアイテムをソート
2. Popularity: 人気度（評価件数）fi が高いアイテ
ムを優先

サインアッププロセスは，推薦プロセスにおいて有効なユーザプロファイルを構築するためのフィードバッ
クを得ることが目的であり，このプロセスで提示するアイテムを本稿ではプロービングアイテムと呼ぶ．推薦プロセスでは，一般的なユーザベース協調フィルタリング（KNNWithMeans2 ）を利用する．
各推薦対象ユーザ ut に対して，以下の手順で推薦を逐次実行する．ここで，Vt は ut が実際に評価したアイテム，Rt ⊂ R（R は評価値行列）は ut の実際の評価履歴とする．

3. Variance[6]: 評価値の分散が大きいアイテムを優先
4. Mean: 平均評価値が高いアイテムを優先
5. Pure entropy[6]: エントロピーが大きいアイテムを優先∑
pij log(pij )H(vi ) = −(1)j1. 初期設定：元のデータセットから Rt を除去し，Vt′ = {}, Rt′ = {} とする．

pij はアイテム vi に対する全評価のうち評価値がj である割合を示す．

2. サインアッププロセス：以下の推薦を 10 回繰り返す．

6. Entropy0[11]: 評価値行列の欠損値を 0 で置換してから各アイテムのエントロピーを計算し，大きいアイテムを優先(a) Vt′ に含まれないアイテムを後述する決定戦略によってソートし，リストとして ut に提示する．

7. Ent*Pop[10]: H(vi )（Pure entropy）と fi の積が大きいアイテムを優先
8. Ent*(log Pop)[10]: H(vi )（Pure entropy）と log fiの積が大きいアイテムを優先(b) ut はリストの上位から評価したことのあるアイテムを探して行き，最初に発見したアイテムを vi (∈ Vt ) とする．

9. HELF[11]: エントロピーと評価件数の調和平均が大きいアイテムを優先(c) vi に対する ut のフィードバック（評価値）
rti (∈ Rt ) を取得し，Vt′ , Rt′ に vi , rti をそれぞれ追加する．

LF (vi ) =3. 推薦プロセス：以下の推薦を 10 回繰り返す．

H ′ (vi ) =HELF (vi ) =2 http://surpriselib.com/

ー15ーlog fi
log |R|H(vi )log 5
2LF (vi )H ′ (vi )LF (vi ) + H ′ (vi )

(2)
(3)
(4)

人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03|R| は全評価件数であり，式 (3) は評価値（5 段階）の異なり数で H(vi ) を補正している．

1.5
RandomPopularity
Variance
Mean
Pure entropy
Entropy0
Ent*Pop
Ent*(log Pop)
HELF
Item-based(Popularity)
Item-based(Random)

1.4
1.3

10. Item-based (Popularity): 初回は人気度が高いア
イテムを優先，2 回目からアイテム近傍ベース協調フィルタリングを用いて予測評価値が高いアイテムを優先

1.2

RMSE

1.1
10.9

11. Item-based (Random): 初回はランダムにアイテムをソート，2 回目からアイテム近傍ベース協調
フィルタリングを用いて予測評価値が高いアイテ
ムを優先

0.8
0.7
0.6
0.5
12345678

9 10 11 12 13 14 15 16 17 18 19 20# of presented movies

評価実験

4.1

評価指標

図 1: 各決定戦略による RMSE の結果

本稿では，サインアッププロセスにおけるユーザの労力，推薦プロセスにおける推薦性能の二つの観点からプロービングアイテム決定戦略を評価する．前述の通り，サインアッププロセスでは各プロービングアイテ
ム決定戦略に従いアイテムをソートして推薦対象ユーザに提示し，ユーザはリストの上位から自身が視聴したことのある映画を探し，見つけたらそれに対する評価をシステムに伝えるプロセスを繰り返す．このとき，視聴したことのアイテムを見つけるまでに要する時間がユーザの労力とみなせる．そこで本実験では，提示されたアイテムのリストにおける，実際に評価したことのあるアイテムの最高順位に基づいてユーザの労力を評価する．この順位が高いほど，サインアッププロセスにおけるユーザの労力は少ないことになる．
推薦プロセスにおける推薦性能の評価には RMSE とMAE を用いる．RMSE と MAE は評価値の予測における精度評価の指標であり，それぞれ以下の式で定義される．

√RM SE=

1 ∑(rˆi − ri )2|R|

(5)

ri ∈R

M AE

=

1 ∑|rˆi − ri ||R|

(6)

ri ∈R

ここで，ri ，rˆi はそれぞれ，実際の評価値と予測評価値を表す．トップ k 推薦を想定して適合率，再現率で評価することも考えられるが，本稿では推薦性能の時間的変化を確認する意図もあり，予測誤差による評価を採用した．

ー161.2
RandomPopularity
Variance
Mean
Pure entropy
Entropy0
Ent*Pop
Ent*(log Pop)
HELF
Item-based(Popularity)
Item-based(Random)

1.1
10.9

MAE

40.8
0.7
0.6
0.5
0.4
12345678

9 10 11 12 13 14 15 16 17 18 19 20# of presented movies

図 2: 各決定戦略による MAE の結果

4.2

実験結果

評価件数が 200 以上のユーザ 149 人に対して，それぞれ 3.2 節に示した手順で全 20 回（サインアッププロセス，推薦プロセス各 10 回）の推薦を行った．推薦回ごとの全ユーザの平均 RMSE, MAE を求めた結果を図1, 2 にそれぞれ示す．また，サインアッププロセスにおけるユーザの労力に関する指標として，視聴したことのある映画の最高順位の全ユーザ平均を求めた結果を図 3 に示す．
図に示した結果に基づき，サインアッププロセスにおけるユーザの労力，推薦プロセス開始時および終了時の推薦性能に関して各プロービングアイテム決定戦
略を比較した結果を表 1 に示す．
サインアッププロセスでは，人気度を考慮した戦略でユーザ労力が低い傾向にある．人気アイテムはユーザが知っている可能性が高いため，サインアッププロセスにおけるユーザ労力の削減に貢献したと考える．

ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03

得ていたことが最終的な性能向上につながったと考える．反対に，Popularity の推薦性能は推薦プロセスを通じてあまり変化しておらず，サインアッププロセスで多様なアイテムについてのフィードバックが得られなかったことが影響した可能性があると考える．エント
ロピーと人気度の両方を考慮した戦略である Ent*Pop，Ent*(log Pop) は，ユーザ労力と推薦プロセス全体を通じた性能の両面で良い結果が得られていると言える．
Item-based (Random, Popularity) はどの評価指標においても他の戦略より劣る結果となった．このことは，新規ユーザに対する推薦が困難という協調フィル
タリングの欠点が反映されたものといえ，システム利用開始時の早い段階でユーザに提示するプロービング
アイテムの選択が重要であることを示唆していると考える．

300

250

RandomPopularity
Variance
Mean
Pure entropy
Entropy0
Ent*Pop
Ent*(log Pop)
HELF
Item-based(Popularity)
Item-based(Random)

Ranking

200

150

100

500
12345678910# of presented movies

図 3: サインアッププロセスにおけるユーザの労力
表 1: 各決定戦略の比較
ユーザ労力 推薦性能 推薦性能
（開始時） （終了時）
Random△○○Popularity○○△
Variance××○
Mean△△△
Pure entropy△×○
Entropy0○○△
Ent*Pop○△○
Ent*(log Pop)
○△○
HELF
○△
△
Item-based×△×(Popularity)
Item-based
×××(Random)
決定戦略

5

本稿では，逐次推薦状況においてユーザプロファイルを構築するために提示するプロービングアイテムの決定戦略について，データセットを用いた比較実験を行った．ランダムな選択や人気度を考慮した選択など，11 種類の決定戦略について実験を行った結果，人気度を考慮した戦略はユーザ労力が抑えられること，エントロピーと人気度の両方を利用した戦略はユーザ労力と推薦性能のバランスが良い結果が得られることを確認した．
本稿の課題として，データセットを利用した実験であるため，ユーザが評価したことのあるアイテムについてしかフィードバックが得られないことが挙げられる．また，ユーザが過去に評価したアイテムは，ユーザの嗜好や知識に影響を与え，結果としてそれ以降のアイテム評価に影響することが考えられるが，今回の実験では考慮することができていない．これらの課題に関しては，実験協力者を募ってのユーザ実験の実施などが必要と考えるが，コストのかかるユーザ実験前に，検証すべき戦略の絞り込みをするためには，本稿で採用したアプローチは有効と考える．

Entropy0 では未評価が多いアイテムのエントロピーが低下する効果があり，人気度の考慮と同様の効果があったと考える．一方，Variance や Pure entropy など，評価のばらつきのみを考慮した戦略ではユーザ労力が高い傾向があり，人気度との組み合わせなどが必要と考える．
推薦プロセス開始時の推薦性能は，Random，Popularity，Entropy0 で良好な結果が得られている．Random では様々なアイテムを提示することがユーザプロファイルの質向上につながり，推薦プロセス開始時に高い推薦性能が得られていると考える．しかし，サインアッププロセスでユーザが知っているアイテムを上位で提示できない場合があるため，ユーザの労力は Popularity よりも劣る結果となったと考える．
推薦プロセス終了時の推薦性能は，Random，Variance，Pure entropy，Ent*Pop，Ent*(log Pop) で他よりも良好な結果が得られている．Variance と Pure entropy は，多様なアイテムについてのフィードバックをー

おわりに謝辞本研究の一部は JSPS 科研費 19K22896, 21H03553の助成を受けたものです。

参考文献[1] M. Aharon, O. Anava, N. Avigdor-Elgrabli, D.
Drachsler-Cohen, S. Golan, O. Somekh. Ex-17ー人工知能学会 インタラクティブ
情報アクセスと可視化マイニング研究会(第27回)
SIG-AM-27-03

cuseme: Asking users to help in item cold-start
recommendations, 9th ACM Conference on Recommender Systems, pp. 83–90, 2015.

[12] P. Resnick, N. Iacovou, M. Suchak, P. Bergstrom,
J. Riedl. GroupLens: An Open Architecture
for Collaborative Filtering of Netnews, ACM
Conference on Computer Supported CooperativeWork, pp. 175–186, 1994.

[2] K. Christakopoulou, F. Radlinski, K. Hofmann.
Towards Conversational Recommender Systems,KDD’16, pp. 815–824, 2016.

[13] R. Salakhutdinov, A. Mnih. Probabilistic Matrix
Factorization, NIPS’07, pp. 1257–1264, 2007.

[3] T. Cover, P. Hart. Nearest Neighbor Pattern
Classiﬁcation, IEEE Transaction on Information
Theory, Vol. IT-13, pp. 21–27, 1967.

[14] M. Saveski, A. Mantrach. Item Cold-start Recommendations: Learning Local Collective Embeddings, 8th ACM Conference on RecommenderSystems, pp. 89–96, 2014.

[4] T. Ebesu, B. Shen, Y. Fang. Collaborative Memory Network for Recommendation Systems, SIGIR’18, pp. 515–524, 2018.

[15] S. Sedhain, S. Sanner, D. Braziunas, L. Xie,J. Christensen. Social Collaborative Filtering for
Cold-Start Recommendations, 8th ACM Conference on Recommender Systems, pp. 345–348,2014.

[5] X. He, L. Liao, H. Zhang, L. Nie, X. Hu,T.-S. Chua. Neural Collaborative Filtering,
WWW2017, pp. 173–182, 2017.
[6] A. Kohrs, B. Merialdo. Improving Collaborative
Filtering for New Users by Smart Object Selection, International Conference on Media Features, 2001.

[16] Y. Sun, Y. Zhang. Conversational Recommender
System, SIGIR’18, pp. 234–244, 2018.
[17] K. Wegba, A. Lu, Y. Li, W. Wang, Interactive
Storytelling for Movie Recommendation throughLatent Semantic Analysis, IUI2018, pp. 521–533,2018.

[7] X. Lam, T. Vu, T. Le, A. Duong. Addressing Cold-Start Problem in Recommendation Systems, 2nd International Conference on Ubiquitous Information Management and Communication, pp. 208–211, 2008.

[18] M. Zhang, J. Tang, X. Zhang, X. Xue. Addressing Cold Start in Recommender Systems:
A Semi-Supervised Co-Training Algorithm, 37th
International ACM Conference on Research; Development in Information Retrieval, pp. 73–82,
2014.

[8] D.D. Lee, H.S. Seung. Algorithms for Nonnegative Matrix Factorization, NIPS’00, pp. 556–562,2000.
[9] C. Li, F. Wang, Y. Yang, Z. Li, X. Zhang. Exploring Social Networking Information for Solving Cold Start in Product Recommendation, International Conference on Web Information Systems Engineering, pp. 276–283, 2015.

[19] X. Zhao, W. Zhang, J. Wang. Interactive Collaborative Filtering, CIKM’13, pp. 1411–1420, 2013.

[10] A. Rashid, I. Albert, D. Cosley, S. Lam, S. Mcnee, J. Konstan, J. Riedl. Getting to Know You:
Learning New User Preferences in Recommender
Systems, 7th International Conference on Intelligent User Interfaces, pp. 127–134, 2002.
[11] A. Rashid, G. Karypis, J. Riedl. Learning Preferences of New Users in Recommender Systems: An Information Theoretic Approach,
ACM SIGKDD Explorations Newsletter, Vol. 10,Issue 2, pp. 90–100, 2008.

ー18ー