情報推薦のための機械学習のバイアスの可視化
理学専攻

1情報科学コース

2040652

はじめに(指導教員：伊藤 貴之)ラスタやノードの選択が可能である．さらに以下に示す複数の定量評価指標を用いたノード配色機能を備えている．全てユーザとコンテンツそれぞれ 10 段階で配色を行う．

スマートフォンなどの普及に伴い，ユーザ好みのコンテンツを提案する推薦システムが活躍するようになった．しかし，過度にパーソナライズされた推薦はユー
ザにとって喜ばしいものとは限らない．なぜならユーザの嗜好に過度に合わせた推薦結果は，類似コンテンツばかりを提示する可能性が高く，結果的にユーザ自らが知らないうちに触れることのできるコンテンツの幅を狭めてしまうからだ．したがって，推薦システムを構築する際にはユーザの嗜好だけでなく，推薦コンテンツの多様性についても考慮する必要がある．また
近年コールドスタートの問題やデータ数の増加に伴うシステムへの高負荷などの問題を解決するために，推薦エンジンへの機械学習の適用事例が近年増加している．一方で，機械学習における公平性やバイアスについての議論が活発化しており，重大な課題の 1 つとなっている．このような問題の一要因として学習データのバイアスがあげられる．学習データにバイアスが存在することで，意図しない不公平な学習結果を生じることがある．このような状況を防ぐためには，学習データを分析し精査する必要がある．これは推薦システムに機械学習を適用することを考えた場合でも同様である．前述した過度にパーソナライズされた推薦を防ぐ
ため には，まず学習データ内に偏った嗜好を持つユーザがどう分布しているか調査すべきである．したがって，推薦の多様性や機械学習の公平性といった課題を解決するために学習データの偏りを分析することは非常に重要な手段の 1 つだといえる．
そこで本研究では，学習データと推薦結果を比較可視化することで学習データのバイアス発見を支援する可視化システムを提案する．前述したように，機械学習の学習データのような膨大な量のデータを使用する
場合，データを 1 つずつ確認することは非常に困難である．そこでデータを可視化することにより，データ全貌を視覚的に理解することが可能である．さらに，直感的な操作によるデータ探索や分析に要する時間の短縮が期待できる．

2栃木 彩実(1) Similarity: 散布図上で選択したノードとのコサイン類似度にもとづいて他ノードを配色．
(2) Diﬀerence: 各ノードの学習データと推薦結果の属性分布を特徴ベクトルとし，それらのコサイン類似度にもとづいて配色．
(3) nDCG: ランク付けされた推薦を評価する代表的な指標．本研究では，Järvelin ら [1] の手法を用いて各ノードに対する nDCG を算出．
(4) Coverage: 推薦結果が網羅する属性の割合にもとづいて配色．
(5) Weighted-Coverage: 各ノードの学習データに含まれる属性数に対する推薦結果の属性数の割合にもとづいて配色．
(6) Binomial Diversity: Vargas ら [2] が定義する網羅性と冗長性から多様性を評価する指標．
Diﬀerence モードでは類似度が低いほど，すなわち学習データと推薦結果の違いが大きいほど配色の彩度は高くなる．それ以外のモードでは評価値と彩度は比例関係にある．また全ての配色モードにおいて定量評
価値が 0 の場合，ノードはグレーで塗られる．View2は，特定のクラスタの属性分布を示す棒グラフである．
これによって，各クラスタに属するユーザやコンテンツの特徴や，偏った推薦の要因になりうるクラスタの発見が期待できる．さらに，View3 は特定のユーザノードあるいはコンテンツノードにおける属性分布を示す．ここでは，各ノードの学習データと推薦結果を比較表示することが可能である．View4 の帯グラフ
では特定の属性についての分布を表示する．View5 とView6 は各ノードの詳細情報を表示するデータテーブルである．

提案手法

3

実行結果

3.1

データの前処理

本研究では映画鑑賞データセットを用いた．これは3883 本の映画と 6040 人の鑑賞者を含み，映画はジャンル，鑑賞者は性別，年齢，職業の属性を持つ．また学習モデルとして，BPR によるモデル，BPR に GANを適用したモデルの 2 種類を使用する．本研究はデータセットを訓練データとテストデータに分割した上で，訓練データに対して機械学習を適用する．この機械学
習の学習結果にもとづき，テストデータに含まれる各鑑賞者に対して上位 20 本の映画を推薦した．そして本システムは，図 1 に示すように複数の可視化要素から構成されている．また，可視化を適用する推薦システムは，ユーザに対して多様なコンテンツを提案するものと想定する．ユーザには年齢，性別，職業が属性として付与され，コンテンツはジャンルで分類されているものとする．
View1 はユーザ群とコンテンツ群をクラスタリングした結果を示す散布図である．特定範囲の拡大，ク1

図 1: 可視化システムの概要．View1: ユーザ群とコンテンツ群のクラスタを示す散布図，View2: 各クラスタの属性分布を示す棒グラフ，View3: 各ユーザ・コンテンツの属性分布を示す棒グラフ，View4: 特定のユーザ・コンテンツ属性の分布を示す帯グラフ，View5: 各ユーザ・コンテンツに関する詳細情報を示すデータテーブル，

View6: 散布図における特定の配色レベルに属するユーザ・コンテンツを表示するデータテーブル．
鑑賞者 1000 人とその鑑賞者らが視聴した映画 512 本をサンプリングして可視化した．

3.2

可視化画面の観察

上記のデータセットを可視化した一例を紹介する．
まず View1 を Diﬀerence モードで配色し，各クラスタを観察すると，図 2 の散布図に示すように，彩度が高いノードが多いユーザクラスタ 1 と 5 が確認できる．
これは学習データと推薦結果の違いが大きいユーザが多いと考えられる．そこで，View2 を用いて各クラスタの属性分布を観察する．寒色の棒グラフはユーザ属性の統計，暖色の棒グラフはコンテンツ属性の統計を示す．図 2 の棒グラフを見ると，それぞれ女性や子供が多いクラスタであることがわかる．ここで，女性や子供といった属性は使用データの中では少数である．
よって，視聴結果と推薦結果の違いが大きくなる要因の 1 つにユーザ属性の偏りが考えられ，少数派ユーザは多数派ユーザに比べ適切なコンテンツが推薦されにくいと予測される．
次に上記クラスタから 1 人のユーザを選択し，View3上で視聴結果と推薦結果を比較した．ここで，寒色の棒グラフは視聴結果，灰色の棒グラフは推薦結果を表す．図 3 を見ると，Children’s などを多く視聴しているのに対して Comedy や Sci-Fi が多く推薦されていることがわかる．これは当該ユーザの視聴傾向が大衆と異なることが要因と考えられる．その他にも視聴数が非常に少ないユーザは推薦結果が適切でない場合が多く見られた．

図 3: 視聴結果と推薦結果の違いが大きいユーザの可視化結果

4

まとめ

本論文では推薦システムの公平性に着目し，複数の可視化要素を組み合わせて学習データと推薦結果を 比較可視化することで，学習データに潜むバイアスの発見を支援するシステムを提案した．今後の展望として本システムの拡張があげられる．機械学習が外れやすいクラスタにはどのような特徴があるのかを分析し，システムの利用者に対して学習データから外すべきノードやクラスタなどを強調表示したいと考えている．この機能を実現することによって，システム利用者がより直感的に学習データを分析し，精査することが可能になる．
謝辞： 本研究にあたり，多くの既存研究に関する知見の共有と推薦システムの構築を行っていただいた
Microsoft Research Asia の Xiting Wang 様に感謝の意を表する．

参考文献[1] Cumulated gain-based evaluation of IR techniques, ACM Transactions on Information Systems, Vol. 20, No. 4, pp. 422–446, 2002．
[2] Saúl Vargas, Linas Baltrunas, Alexandros Karatzoglou and Pablo Castells, Coverage, redundancy
and size-awareness in genre diversity for recommender systems, ACM Conference on Recommender systems, pp. 209–216, 2014．

図 2: ユーザクラスタの属性分布2