DEIM Forum 2023 XX-Y

推薦システムにおける人気バイアスを考慮したランキング評価指標
飯塚洸二郎†

久保

光証†

森田

一†

† 株式会社 Gunosy 〒 150-6139 東京都渋谷区渋谷 2-24-12 渋谷スクランブルスクエア 39 階
E-mail: †{kojiro.iizuka,hajime.morita,hajime.morita}@gunosy.com
あらまし

本論文では，推薦システムにおける人気バイアスを考慮したランキング評価指標を提案する．既存の推薦システムの評価ではユーザーのクリックの有無に応じて評価を行うことが一般的である一方で，提案する評価指標は，クリックしたアイテムの人気度合いに応じて重み付けを行う．これによって，精度と人気バイアスを同時に考慮しながら推薦モデルの学習を行うことを目指した．実験では，様々な推薦モデルで学習を行い，提案指標と既存指標を比較した．その結果，提案指標は，既存の精度指標に対して強い相関を持ち，かつ既存の人気バイアス指標に対しても強い相関を持つことを確認した．さらに，提案指標を学習過程に組み込むことで，既存の精度指標の毀損を抑えながら，人気バイアスを軽減できることを確認した．
キーワード 推薦システム，評価指標，人気バイアス
ング評価指標を，ユーザーがランキングから得られる利得の期

1 はじめに推薦システムは多くのウェブサービスにおいて，ユーザーが求めるアイテムを発見するための重要な役割を担っている．この推薦システムに対して，オフラインでの評価やユーザーを介したオンラインでの評価が日々行われている．その中で，ユーザーの満足度やサービスの売上に影響を及ぼす要因として，推薦するアイテムの人気度合いが関連することが分かってきた．
例えば，他のアイテムに比べて人気の低いロングテールアイテ
ムは，ユーザーがそのアイテムをまだ知らない可能性が高いという点で，価値が高いと考えられている [1] [2]．また，ロング
テールアイテムは，ユーザーの趣向を深く理解するために役立
ち [3]，売上の増加というサービス側の利益につながるといった報告がある [4]．
このアイテムの人気度合いの偏りとして定義される人気バイ
アスの研究としては，人気バイアスを軽減させる研究と人気バイアスを評価する研究がある．人気バイアスを軽減させる手法としては，人気バイアスに対する正則化項を導入する手法 [5] [6] [7] [8] やリランキングを行う手法 [9] などがある．人気
バイアスを評価する指標としては，推薦したアイテムの平均人気度である Average Recommendation Popularity (ARP) [10]，
推薦したロングテールアイテムの割合である Average Percent-age of Long Tail Items (APLT) [5]，人気アイテムの偏り具合を示すジニ係数，カタログアイテムカバレッジ [11] がある．しかしながら，これらの既存研究では，ユーザーにとって提示されたアイテムがユーザーの趣向にあうアイテムかという推薦精度に関する視点が欠けている課題があった．その逆に，既存の推薦精度を測る指標では，人気バイアスが考慮できない課題があった．
そこで本研究では，人気バイアスを考慮した上で，推薦精度を測定するためのランキング評価指標を提案する．推薦精度を評価するランキング評価指標は様々あるが，本研究ではランキ

待値の形で扱う．推薦システムの精度に関する評価を行う際には，利得はユーザーがアイテムをクリックしたか否かのまたは

1 で表現することが一般的である．本研究では，ランキング評
価指標において，利得について適切に重み付けを行うことで，
人気バイアスと推薦精度を同時に考慮する指標を提案する．
具体的には，我々はユーザーのクリックの有無に加えて，アイテムの人気度合いに応じた重みを考慮した利得を導入する．
ここで，あるアイテムの人気度合いは，そのアイテムがクリックされた回数を全アイテムのクリック総数で割った値で定義する．このように人気バイアスと推薦精度を同時に一つの指標として表現することは，人気バイアスと精度を分けて個別に最適化を行い結果を一つにまとめる場合に比べて，両者の精度を高く保つことにつながることがある．
実験では，様々な推薦アルゴリズムを用いて，既存の評価指標と提案指標の比較実験を 2 つ行った．1 つ目の実験は，提案指標が既存の評価指標についてどれほど相関があるかについて評価した．結果として，提案指標は，既存のランキング指標に対して強い相関を持ち，かつ既存の人気バイアス指標に対しても強い相関を持つことがわかった．2 つ目の実験は，推薦アルゴリズムの学習において，提案手法を組み込むことで，どれほ
ど精度と人気バイアスに影響するかを評価した．結果としては，推薦精度の毀損を抑えながら，人気バイアスが軽減できることを確認した．
本研究の貢献は以下のとおりである．

•

人気バイアスと推薦精度を同時に評価するための指標を

提案した．

•

数値実験の結果，提案指標は，既存の精度指標と人気バ

イアス指標について強い相関を持つことがわかった．

•

提案指標を学習に組み込むことで，推薦精度の毀損を抑えながら，人気バイアスが軽減できることを確認した．
本論文の構成は下記のとおりである．第二章では関連研究について述べる．第三章では，指標の提案を行う．第四章では，

数値実験の設定と実験結果を述べる．最後に，第五章で本論文

表 1 ml-100k の統計情報のまとめを行う．

ユーザー数

944

アイテム数

1683

ユーザーとアイテムの接触数 100, 000

2 関連研究2. 1 推薦システムの評価指標

前提として，ユーザーはランキングの上位から下位に向かってアイテムを閲覧していき，アイテムに満足した時点でランキン推薦システムでの評価に関連して，古くから情報検索の分野でグ上でのアイテムの閲覧をやめるユーザーの母集団を考える．

数多くの評価に関する研究が行われてきた．特に，ランキング上

ここで，P (r) は，ユーザーがランキングの r 番目のアイテム

でのユーザーのクリック行動のモデルは，クリックモデル [12] とに満足して停止する確率を表し，G(r) は r 番目のアイテムか呼ばれ研究されている．代表的な評価指標としては，Mean Av-

ら得られる利得を表している．

erage Precision (MAP)， Mean Reciprocal Rank (MRR) [13]，推薦システムの評価においては，ユーザーがランキングのア

Normalized Discounted Cumulative Gainn (nDCG) [14] など

イテムをクリックするか否かの 0,1 によって利得を表現するこがある．これらの指標は指標の内部に，クエリに対する文書のとが一般的である．本研究では，利得 G(r) を下記によって定適合度や，ユーザーがランキングから得られる利益である利得

義する．

に関する項が含まれている．多様性や複数の検索意図を考慮しG(r) = C(r)/B(r),た利得を用いる指標には α-nDCG [15] や D-nDCG [16] などが知られている．一方で，推薦システムの精度の評価を行う場合

ここで，C(r) ∈ {0, 1} は r 番目のアイテムがクリックされるは，クリックの有無によってユーザーの利得を定義することがか否かの 0,1 を表し，B(r) は r 番目のアイテムの人気バイア

一般的である．本研究では，ランキング評価指標における利得スを表す．本研究では，人気バイアス項である B(r) は，デーについて，従来のように単にクリックの有無の 2 値で扱うのでタセット内の全アイテムの総クリック回数を T ,r 番目のアイテ

はなく，アイテムの人気度合いを考慮した評価指標を提案する．

ムの総クリック回数を N (r) として，B(r) = N (r)/T で定義する．本研究では，このように定義した利得についての NCU を

2. 2 人気バイアス

特に Popularity-aware Ranking Metrics (PRM) と呼ぶ．

人気バイアスに関する研究には，人気バイアスを軽減させる研究と人気バイアスを評価する研究がある．人気バイアス

4 実験

を軽減させる手法としては，人気バイアスに対する正則化項を導入する手法 [5] [6] [7] [8] や敵対的学習を行う手法 [17]，因4. 1 データセット

果推論を活用する手法 [18] [19] [20] [21]，リランキングを行う

実験には，Movielens のデータセットである ml-100k を用い手法 [9] がある．人気バイアスを評価する指標としては，推薦

た．ml-100k の統計情報は表 1 の通りである．Movielens のデー

したアイテムの平均人気度である Average Recommendation

タセットはユーザーがアイテムに対して評価値を与えるデータ

Popularity (ARP) [10]，推薦したロングテールアイテムの割セットである．本研究ではユーザーがアイテムに評価値を与え合である Average Percentage of Long Tail Items (APLT) [5]，た場合，ユーザーがアイテムに対してクリックを行ったとみな

人気アイテムの偏り具合を示すジニ係数，カタログアイテムカ

す．学習データとテストデータの分割に関しては，学習: 検証:

バレッジ [11] がある．しかしながら，これらの既存研究では，

テスト=8:1:1 になるようにランダムに分割した．

ユーザーにとって提示されたアイテムがユーザーの趣向にあう

4. 2 評 価 指 標

アイテムかという推薦精度に関する視点が欠けている課題があった．本研究では，人気バイアスと精度の両方考慮する評価指標を提案し，エンドツーエンドで両側面の最適化を行うことを目指す．

評価指標には，精度を測る指標と人気バイアスを測る指標を用いた．ここでの各指標は，ランキング上位 k 番目までのアイ
テムから定義されたものを用いる．

4. 2. 1 精 度 指 標

3 指標の設計精度指標の定義はそれぞれ下記の通りである．

推薦システムの精度を測定するためのランキング評価指標はMAP， MRR [13]， nDCG [14] など様々ある．これらの指標について，nDCG を除く代表的なランキング評価指標は下記のように Normalised Cumulative Utility (NCU) [22] としてユーザーの利得の期待値の形として一般化できる．

N CU =nX
r=1

P (r)G(r)M RR@k =1 X 1,|U | u∈U rank∗u

ここで，rank ∗u はユーザー u がランキングの上位 k 位までで，クリックしたアイテムの位置が最上位の位置を表す．

HIT @k =

k
X
1 X
min(
Gu (r), 1),|U | u∈U
r=1

表2
モデル名

各モデルに対する推薦精度指標と人気バイアスの指標の値

PRM@10 MRR@10 HIT@10 nDCG@10 ItemCoverage@10 AvgPop@10 Gini@10 TailPercent@10

Pop

46.90

0.19510.46980.10340.0362315.3

0.9886BPR

189.2

0.49700.79110.2956

0.3381222.1

0.89680.2183

LightGCN

196.6

0.50300.80490.30490.3518215.2

0.88750.2449RecVAE

200.4

0.53030.81650.32600.3446215.4

0.88260.2281

SimpleX

162.6

0.4756

0.76670.28350.2644228.8

0.92530.1334

ItemKNN

165.5

0.46230.78470.28340.2513217.7

0.91350.1551

SpectralCF

57.44

0.26740.49950.13340.0392338.7

0.98750.0000

GCMC

189.6

0.47200.79430.29220.3832220.8

0.88360.2401

ここで，Gu (r) は評価対象のランキングの r 番目のアイテムが1.00

PRM@10ユーザー u にクリックされるかの 0,1 を表す．

0.99

MRR@10Pk
1 X r=1 Gu (r)/ log(r + 1)
nDCG@k =,P|U | u∈U kr=1 G∗u (r)/ log(r + 1)

HIT@100.98

nDCG@100.97

ItemCoverage@10

0.96

AvgPop@10

0.95

Gini@10

ここで，Gu (r),G∗u (r) は評価対象のランキングおよび理想的な

0.94

4. 2. 2 人気バイアス指標
人気バイアス指標の定義はそれぞれ下記の通りである．

Su∈U Ru|I|

図1

Gini@10

TailPercent@10

AvgPop@10

HIT@10

ItemCoverage@10

かの 0,1 を表す．

nDCG@10

PRM@10

MRR@10

TailPercent@10

ランキングの r 番目のアイテムがユーザー u にクリックされる

ItemCoverage@k =0.0000

各指標間の相関値ヒートマップ

4. 3 推薦モデル,

実験には，ユーザーとアイテムの接触のみから構築できるモ

ここで，Ru はユーザー u に提示するランキングのアイテム集

デルを用いた．クリック回数の多い人気順に推薦する Pop，過去

合を表す．

に接触したアイテムの近傍アイテムを推薦する ItemKNN [23]，

Bayesian Personalized Ranking (BPR) [24] を始めとして，近AvgP op@K =1 X|U | u∈U

P

i∈Ru N (i)k

年開発された推薦モデルである LightGCN [25]，RecVAE [26]，，SimpleX [27]，SpectralCF [28]，GCMC [29] を実験に用いた．
実装は Recbole [30] を利用した．本研究は，各推薦モデルにつここで N (i) は，学習データ中に含まれるアイテム i の総クリッ

いての精度を各々詳細に議論することが目的ではないため，モ

ク回数である．

デルのパラメータは全てデフォルトのものを用いた．

1 X
T ailP ercentage@k =|U | u∈U

P

i∈Ru δ(i ∈ T )k

4. 4 結,ここで，Ru はユーザー u に提示するランキング，δ は指示関

果

表 2 に各モデルに対する評価指標の値を示した．単に人気順に推薦を行う Pop に比べて，その他の各種法は精度が高くなっており，正しく学習が行えていることが確認できる．

数，T はロングテールアイテムの集合を表す．本研究でのロン

図 1 に各指標間の相関値をヒートマップとして示した．なお

グテールアイテムは，クリック回数の多い順にアイテムを並べ

ここでは，AvgPop@k と Gini@k については ItemCoverage@k

たときの下位 80%のアイテムとした．

と TailPercent@k と同様に値が大きいほうがバイアスが小さく

P|I|
Gini@k =i=1 (2i − |I| − 1)P (i),P|I| |I|
i=1 P (i)

ここで，I は全アイテムの集合を表し，P (i) はアイテム i が推薦ランキングに含まれる回数を表し，P (i) <= P (i + 1) となるように並び替えられているものとする．

なるように，符号を反転させた結果を載せている．提案指標である PRM は，全ての指標に対して 0.97 以上の値を取っている．この結果に対して，精度指標は人気バイアス指標に対して相関値が相対的に低くなっており，人気バイアス指標は精度指標に対して相関値が相対的に低くなっている．このように，提案指標は，精度指標と人気バイアス指標両方に対して最も強く相関しているといえる．
表 3 に PRM を学習に活用した場合の各指標の増減値を示す．ここで，PRM を学習に活用するとは，検証データに対し表 3 PRM を学習に活用した場合の各指標の増減値
モデル名

PRM@10 MRR@10 HIT@10 nDCG@10 ItemCoverage@10 AvgPop@10 Gini@10 TailPercentage@10

BPR

8.589

-0.0159-0.0085-0.0095

0.0653-14.99-0.0278

0.0645LightGCN

9.346-0.0010-0.0064-0.00290.0392-7.309-0.0157

0.0330RecVAE

1.243-0.00210.0053-0.00110.00890.21520.00040.0056

SimpleX

6.587

0.00300.02230.00670.0125-2.448-0.00400.0199GCMC-4.1660.0000-0.0064-0.0094-0.0255-0.00120.0078-0.0091て，PRM 値を算出し，パラメータの更新を行うか否かを決定することを意味する．この検証は各学習エポックごとに行った．
この結果は，PRM に増減があったモデルの結果のみを表して[7]いる．PRM が増加したモデルは，人気バイアス指標がバイアスを小さくする方向に改善していることから，人気バイアスを軽減できている．精度指標に関しては精度指標が多少毀損して[8]いることが見て取れる一方で，その減少割合は人気バイアスの改善具合に比べて小さい．このように，PRM を学習過程に組み込むことで，既存のランキング指標の毀損を抑えながら，人[9]

気バイアスを軽減できることを確認した

5 ま と め[10]

本論文では，推薦システムにおける人気バイアスを考慮したランキング評価指標を提案した．実験では，様々な推薦モデル[11]

で学習を行い，提案指標と既存指標を比較した．その結果，提案指標は，既存のランキング指標に対して強い相関を持ち，かつ既存の人気バイアス指標に対しても強い相関を持つことを確[12]認した．さらに，提案指標を学習過程に組み込むことで，既存のランキング指標の毀損を抑えながら，人気バイアスを軽減できることを確認した．

[13]

今後は，実験のデータの種類と規模を増やすこと，学習の損失項自体に提案手法を組みより直接的に最適化を行うことが課[14]

題である．さらに，バイアスを軽減する手法との比較実験を行い，提案指標が満たすべき性質をいくつかの公理 (axioms) に[15]

基づいて説明することを目指す．
文

献[1] Chris Anderson. The long tail: Why the future of businessis selling less of more. Hachette UK, 2006.
[2] Guy Shani and Asela Gunawardana. Evaluating recommendation systems. In Recommender systems handbook, pp.
257–297. Springer, 2011.
[3] Himan Abdollahpouri, Masoud Mansoury, Robin Burke,
Bamshad Mobasher, and Edward Malthouse. User-centeredevaluation of popularity bias in recommender systems. In
Proceedings of the 29th ACM Conference on User Modeling,
Adaptation and Personalization, pp. 119–129, 2021.
[4] Erik Brynjolfsson, Yu Jeﬀrey Hu, and Michael D Smith.
From niches to riches: Anatomy of the long tail. Sloan
management review, Vol. 47, No. 4, pp. 67–71, 2006.
[5] Himan Abdollahpouri, Robin Burke, and Bamshad
Mobasher. Controlling popularity bias in learning-to-rank
recommendation. In Proceedings of the eleventh ACM
conference on recommender systems, pp. 42–46, 2017.
[6] Zhihong Chen, Rong Xiao, Chenliang Li, Gangfeng Ye,
Haochuan Sun, and Hongbo Deng. Esam: Discriminative domain adaptation with non-displayed items to im-

[16]

[17]

[18]

[19]

prove long-tail performance. In Proceedings of the 43rd
International ACM SIGIR Conference on Research andDevelopment in Information Retrieval, pp. 579–588, 2020.
Toshihiro Kamishima, Shotaro Akaho, Hideki Asoh, and
Jun Sakuma. Correcting popularity bias by enhancing recommendation neutrality. In RecSys Posters, 2014.
Ziwei Zhu, Yun He, Xing Zhao, Yin Zhang, Jianling Wang,and James Caverlee. Popularity-opportunity bias in collaborative ﬁltering. In Proceedings of the 14th ACM
International Conference on Web Search and Data Mining,
pp. 85–93, 2021.
Himan Abdollahpouri, Robin Burke, and Bamshad
Mobasher. Managing popularity bias in recommender systems with personalized re-ranking. In The thirty-second
international ﬂairs conference, 2019.
Hongzhi Yin, Bin Cui, Jing Li, Junjie Yao, and Chen Chen.
Challenging the long tail recommendation. arXiv preprint
arXiv:1205.6700, 2012.
Mouzhi Ge, Carla Delgado-Battenfeld, and Dietmar Jannach. Beyond accuracy: evaluating recommender systems
by coverage and serendipity. In Proceedings of the fourth
ACM conference on Recommender systems, pp. 257–260,
2010.
Aleksandr Chuklin, Ilya Markov, and Maarten de Rijke. Click models for web search. Synthesis lectures on
information concepts, retrieval, and services, Vol. 7, No. 3,
pp. 1–115, 2015.
Ellen M Voorhees, et al. Overview of the trec 2001 question
answering track. In Trec, pp. 42–51, 2001.
Kalervo Järvelin and Jaana Kekäläinen. Ir evaluation methods for retrieving highly relevant documents. In ACM
SIGIR Forum, Vol. 51, pp. 243–250. ACM New York, NY,
USA, 2017.
Charles LA Clarke, Maheedhar Kolla, Gordon V Cormack,
Olga Vechtomova, Azin Ashkan, Stefan Büttcher, and Ian
MacKinnon. Novelty and diversity in information retrieval
evaluation. In Proceedings of the 31st annual international
ACM SIGIR conference on Research and development in
information retrieval, pp. 659–666, 2008.
Tetsuya Sakai and Ruihua Song.
Evaluating diversiﬁed search results using per-intent graded relevance.
In Proceedings of the 34th international ACM SIGIR
conference on Research and development in Information
Retrieval, pp. 1043–1052, 2011.
Adit Krishnan, Ashish Sharma, Aravind Sankar, and Hari
Sundaram. An adversarial approach to improve long-tailperformance in neural collaborative ﬁltering. In Proceedingsof the 27th ACM International Conference on informationand knowledge management, pp. 1491–1494, 2018.
Wenjie Wang, Fuli Feng, Xiangnan He, Xiang Wang, and
Tat-Seng Chua. Deconfounded recommendation for alleviating bias ampliﬁcation. In Proceedings of the 27th
ACM SIGKDD Conference on Knowledge Discovery & Data
Mining, pp. 1717–1725, 2021.
Tianxin Wei, Fuli Feng, Jiawei Chen, Ziwei Wu, Jinfeng Yi,
and Xiangnan He. Model-agnostic counterfactual reason-

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

[30]

ing for eliminating popularity bias in recommender system.
In Proceedings of the 27th ACM SIGKDD Conference on
Knowledge Discovery & Data Mining, pp. 1791–1800, 2021.
Yang Zhang, Fuli Feng, Xiangnan He, Tianxin Wei, Chonggang Song, Guohui Ling, and Yongdong Zhang. Causal
intervention for leveraging popularity bias in recommendation. In Proceedings of the 44th International ACM SIGIR
Conference on Research and Development in Information
Retrieval, pp. 11–20, 2021.
Yu Zheng, Chen Gao, Xiang Li, Xiangnan He, Yong Li, andDepeng Jin. Disentangling user interest and conformity forrecommendation with causal embedding. In Proceedings ofthe Web Conference 2021, pp. 2980–2991, 2021.
Tetsuya Sakai, Stephen Robertson, and I Newswatch. Modelling a user population for designing information retrieval
metrics. In EVIA@ NTCIR, 2008.
Mukund Deshpande and George Karypis. Item-based topn recommendation algorithms.
ACM Transactions on
Information Systems (TOIS), Vol. 22, No. 1, pp. 143–177,
2004.
Steﬀen Rendle, Christoph Freudenthaler, Zeno Gantner,and Lars Schmidt-Thieme.
Bpr: Bayesian personalized ranking from implicit feedback. In Proceedings of
the Twenty-Fifth Conference on Uncertainty in Artiﬁcial
Intelligence, pp. 452–461, 2009.
Xiangnan He, Kuan Deng, Xiang Wang, Yan Li, Yongdong Zhang, and Meng Wang. Lightgcn: Simplifying
and powering graph convolution network for recommendation. In Proceedings of the 43rd International ACM SIGIR
conference on research and development in Information
Retrieval, pp. 639–648, 2020.
Ilya Shenbin, Anton Alekseev, Elena Tutubalina, Valentin
Malykh, and Sergey I Nikolenko. Recvae: A new variational
autoencoder for top-n recommendations with implicit feedback. In Proceedings of the 13th International Conferenceon Web Search and Data Mining, pp. 528–536, 2020.
Kelong Mao, Jieming Zhu, Jinpeng Wang, Quanyu Dai,
Zhenhua Dong, Xi Xiao, and Xiuqiang He. Simplex: A
simple and strong baseline for collaborative ﬁltering. In
Proceedings of the 30th ACM International Conference on
Information & Knowledge Management, pp. 1243–1252,
2021.
Lei Zheng, Chun-Ta Lu, Fei Jiang, Jiawei Zhang, andPhilip S Yu. Spectral collaborative ﬁltering. In Proceedingsof the 12th ACM conference on recommender systems, pp.
311–319, 2018.
Rianne van den Berg, Thomas N Kipf, and Max Welling.
Graph convolutional matrix completion. arXiv preprint
arXiv:1706.02263, 2017.
Wayne Xin Zhao, Shanlei Mu, Yupeng Hou, Zihan Lin,
Yushuo Chen, Xingyu Pan, Kaiyuan Li, Yujie Lu, Hui
Wang, Changxin Tian, et al. Recbole: Towards a uniﬁed,comprehensive and eﬃcient framework for recommendation
algorithms. In Proceedings of the 30th ACM International
Conference on Information & Knowledge Management, pp.
4653–4664, 2021.