言語処理学会 第29回年次大会 発表論文集 (2023年3月)

Wikipedia 協調フィルタリング法
竹内皓紀 1 林克彦 2
1 群馬大学 2 北海道大学
2 katsuhiko-h@ist.hokudai.ac.jp

テキスト概要文

概要George Lucas

Wikipedia は 様 々 な 物 事（こ こ で は「エ ン テ ィティ」と呼ぶ）について質の高い記事が存在し，多様な研究領域において利用されてきた．従来の研究では，Wikipedia の概要文やハイパーリンクなどのコンテンツ情報を利用することが一般的であったが，Wikipedia のコンテンツ情報はユーザの主観を排して編集されるため，評論やレビュー文とは異なり，エンティティに関する表層的な属性情報しか考慮することができない．この課題を解決するため，本稿では Wikipedia の編集者情報を利用した協調フィルタリング法を提案する．提案手法をエンティティ間の類似度推定に利用し，推薦タスクで評価を行った
結果，その有効性を確認した．

1

はじめに

Wikipedia は誰でも編集できるオンライン百科事典であり，編集の容易さや編集人数の多さから様々な物事（ここでは「エンティティ」と呼ぶ）について質の高い記事が存在する．そのため，Wikipediaから得た情報は様々な研究領域において利用されてきた．その中でも，エンティティ間の類似度推定は，推薦，検索や自然言語処理など多くの応用先があり，単語埋め込みなどの手法とも関係性がある研究課題である．エンティティ間の類似度を推定する際には，まずエンティティの特徴量を抽出する必要がある．その情報源として図 1 に示すような概要文やハイパーリンクなどの Wikipedia のコンテンツ情報を活用することが一般的である [1, 2, 3]．
しかし，Wikipedia は百科事典であり，そのコンテンツに関しては「中立的な観点」を基本方針の 1つとしている．「中立的な観点」とは，信頼できる情報源を慎重に分析し，可能な限り編集上の偏向なく読者に伝えることを指す1）．そのため，Wikipedia

Star Wars..
.

編集者 1..
.

Gary Kurtz..
.

ハイパーリンク

The Matrix
編集者 2..
.
編集者履歴..
.

図 1: Wikipedia から取得できる各種情報．画像は英語版
Wikipedia から引用．のコンテンツ情報は，編集者の個人的な意見や嗜好が反映されにくく，表層的な属性情報に限られる．
よって，従来のコンテンツベースによるエンティティ類似度推定手法の欠点の 1 つとして，人間の嗜好性などに内在するエンティティ間の複雑な類似性を捉えることが本質的に難しい点が挙げられる．
一方，コンテンツベースとは異なる考え方として，協 調 フ ィ ル タ リ ン グ と 呼 ば れ る 方 法 論 が ある [4]．協調フィルタリングはユーザの嗜好情報で推論を行う方法論であり，主に推薦に関する研究分野で発展してきた．有名な応用例としては，Amazonの商品推薦，Netﬂix の動画推薦システムなどが知られている．このようなシステムを構築するにはユーザの嗜好が含まれた購買履歴などのプロファイル情報を入手する必要があり，協調フィルタリングを適用できるドメインは一般に限られるが，商品や動画などのエンティティ間に内在する複雑な類似性を捉えることが可能となる．
このような背景から，本研究では協調フィルタ
Neutral point of view (参照 2022-10-25)

1） https://en.wikipedia.org/wiki/Wikipedia:― 2945 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

リングを参考にして，Wikipedia におけるエンティが見られないという報告もある [11, 12, 10, 13, 14]．

ティ間の類似度を推定する新しい手法を提案する．

一方で，協調フィルタリングを用いた古典的な推薦

図 1 で示すように，Wikipedia には各記事を誰が編集法として，近傍探索に基づく手法 [15, 16] があり，したかという履歴が残されており，提案手法ではこ現在でも商用のシステムで広く利用されている．のような記事の編集者情報を利用する．編集者は一アイテムベースの近傍探索モデルではアイテム般に関心がある記事を編集するため，協調フィルタ間の類似度を推定する必要があり，近年では回帰にリングの考え方から，同一編集者に編集された記事基づく手法が主流である [11, 17]．特に EASE モデに対応するエンティティ同士は類似すると仮定でき

ル [11] では，類似度行列の推定をリッジ回帰問題とる．そのため，提案手法では，客観的な属性情報でして定式化する．これは閉形式で解を推定できるたは捉えることが難しかったエンティティ間の複雑なめ，最適化が容易であり，安定的に高い推薦性能を類似性を推定できることが期待される．

実現できることが報告されている．

本研究では推薦タスクを用いて提案手法の有効性を検証した．実験結果からは Wikipedia の概要文やハイパーリンクに基づくコンテンツベースの手法に対して，編集者履歴を使った提案手法の有効性が確認されたのでこれを報告する．

2

関連研究

2.1

Wikipedia からの特徴量抽出

EASE による類似度推定3

本稿ではエンティティ間の類似度を推定するためのモデルとして，EASE [11] を採用する．
𝑁 件の Wikipedia 記事 (𝐷 1 , 𝐷 2 , · · · , 𝐷 𝑁 ) が与えられ た と き，𝐷 𝑖 は 𝑀 種 類 の 素 性 (特 徴 量) を 基 底と し た ベ ク ト ル [ 𝑓𝑖1 , 𝑓𝑖2 , · · · , 𝑓𝑖𝑀 ] T と し て 表 せ る（Wikipedia 記 事 は エ ン テ ィ テ ィ に 対 応 す る）．これ は Wikipedia 記 事 𝐷 𝑖 に 素 性 𝑤 𝑗 が 出 現 す れ ば，

推 薦・情 報 検 索・自 然 言 語 処 理 分 野 に お い て，𝑓𝑖 𝑗 = 1，出現しなければ， 𝑓𝑖 𝑗 = 0 となるベクトルとWikipedia か ら 単 語 間 や 文 書 間 の 意 味 的 な 類 似 性する2）．このような 𝑁 個のベクトルを行に並べたを捉えた特徴ベクトルを学習することは重要な

Wikipedia 記事行列:課題である．このとき，Wikipedia のコンテンツ情© 𝑓11­­ 𝑓21F = ­­ .
­ ..
­« 𝑓𝑁 1

報 で あ る テ キ ス ト や ハ イ パ ー リ ン ク に 対 し て，Explicit semantic analysis（ESA） [2]，Word2Vec [5]，Wikipedia2Vec [1]，BERT [6]，潜在的意味解析 [7] やParagraph Vector [8] などのモデルやツールを利用し

𝑓12···

𝑓22..
.

···
..
.

𝑓𝑁 2···

𝑓1𝑀 ª®
𝑓2𝑀 ®
𝑁 ×𝑀.. ®® ∈ {0, 1}. ®
®
𝑓𝑁 𝑀 ¬てベクトルを学習することが一般的となっている．
このような特徴ベクトルの応用先の 1 つとして推を定義する．Wikipedia 記事の素性としては，概要文に含まれる 1-gram や 2-gram，ハイパーリンク，編薦タスクが考えられる．文献 [3] では，Wikipedia 記

集者履歴などを利用することができる．

事のテキストを対象に文書ベクトルを推定し，そのEASE に よ っ て 類 似 度 行 列 を 推 定 す る 場 合，類似度を使って映画や書籍の推薦を実現している．

Wikipedia 記事 𝐷 𝑖 に素性 𝑤 𝑗 が出現することを回帰

しかし，推薦のような応用先を考える場合，コンテで予測する問題として定式化する．回帰で用いる説

ンツ情報では人の嗜好性を捉えることが難しく，文明変数として，素性 𝑤 𝑗 を除いた残りの 𝑀 − 1 個の献 [3] の手法では十分な推薦精度を達成できていな素性を用いることを考える．これを行列形式で定義

い．本稿で提案する Wikipedia の編集者情報を利用すると以下のようになる．
nob = arg min ||F − FB|| 2 + 𝜆||B|| 2B
𝐹𝐹するアプローチは，このような従来手法の課題を解決できる可能性を秘めた新しい試みとなっている．

2.2(1)

Bs.t. diag (B) = 0.

協調フィルタリングを用いた推薦

協調フィルタリングを用いた推薦手法として，行列分解による手法 [9] や，それを一般化させた深層学習による手法 [10] がある．しかし，深層学習モデルの隠れ層を増加させても，推薦性能に大きな違い

これは L2 正則化付きの二乗誤差を最小化することで，行列 F を自己復元する重み表現 B を獲得することが目的となる．ただし，B = I とすれば，自明な形
2） 𝑓𝑖 𝑗 には Wikipedia 記事 𝐷𝑖 中に素性 𝑤 𝑗 が出現した回数を考えることもできる．

― 2946 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表 1: データセットの統計情報: 各特徴量の種類数．
Last.fmLT

18,148
126,596

9,176
1,883

9,545
7,223

概要文（1-gram）
75,433
概要文（2-gram） 631,726
ハイパーリンク
421,742
カテゴリ
31,621
編集者 (英語)
1,762,411
編集者 (多言語)
3,182,240

57,526418,278
379,827
25,7882,287,302
4,435,536

42,635
340,522
191,635
15,742
637,015
1,048,468

エンティティ数
ユーザ数·104
ML-20M
Last.fm
LT1.5
記事数

ML-20M

210.50510152025

図 2: 多言語 Wikipedia の記事数 (上位 25 カ国)．

で式 (1) の最小化が達成されてしまうため，制約条件として diag (B) = 0 を課している．これは B の対報を取得した．ユーザ数や編集者数，語彙数などの角成分を全て 0 とすることを意味する．

統計情報は表 1 に示す．また，図 2 には ML-20M，Last.fm と LT に対して，記事数が多い上位 25 カ国の式 (1) はラグランジュの未定乗数法により，記事数を示した．英語版 Wikipedia については全エ||F − FB|| 2𝐹 + 𝜆||B|| 2𝐹 + 2𝜶T diag (B)を最小化する問題に帰着される．ここで 𝜶 はラグランジュ乗数のベクトルを表す．そして，この解は下記のような閉形式を持ち，
b = I − P mat (1 ⊘ diag (P))
BP = (FT F + 𝜆I) −1 であり，各要素は(0( 𝑗 = 𝑘)b
B𝑗𝑘 =P 𝑗𝑘− P𝑘𝑘 ( 𝑗 ≠ 𝑘)

ンティティに対する記事が存在する．

4.2

推薦による評価

本実験では推薦データに内在するユーザの嗜好性(2)

を Wikipedia 情報からどの程度捉えることができるのか調査する．具体的には，Wikipedia 情報から推定したエンティティの類似度行列を用いて推薦タス(3)

b は Wikipedia 記事間の類似度として推定できる．B行列として用いることができる．

クの性能評価を行う．よって，以下ではまず，推薦タスクの手順について説明する．
評価手順

推薦による評価を行うには，まず以下3 つのデータが必要となる．

4実験• 訓練用データ• 評価用履歴データ

4.1

評価用データセットの整備• 評価用解答データ

実 験 で は デ ー タ セ ッ ト と し て MovieLens-20M（ML-20M）3），Last.fm hetrec-2011（Last.fm） [18] と4）を用いた．それぞれ，映画，音LibraryThing（LT）

楽アーティストと書籍のドメインに関する推薦評価

訓練用データはエンティティの類似度行列b ∈ ℝ 𝑁 × 𝑁 を推定するのに利用するデータである．
B
本実験では，Wikipedia から抽出した情報を訓練用データとして扱う．

用データセットであり，ユーザの評価値を 2 値とし評価用履歴データは推薦データに含まれるユーて扱っている．また，エンティティと Wikipedia 記

ザの過去の嗜好プロファイル情報である．評価用

事の対応付けについて，ML-20M は映画タイトルと解答データは，評価用履歴データと同じユーザに編集距離が近いタイトルの Wikipedia 記事を用いた．

対する嗜好プロファイル情報であるが，それぞれLast.fm と LT については，エンティティと Wikipediaのデータにおいて，あるユーザ 𝑢 が関心を持った記事の対応付けデータ [19, 20] を参考にした．

エンティティに重なりはないように分割されていティストや書籍）に対応付けた Wikipedia 記事から，る．ML-20M，Last.fm と LT の各推薦データに対して，ユーザをランダムに 5 分割し，各分割のユーザ

英語 Wikipedia の編集者，多言語 Wikipedia の編集に対して，評価用履歴データと評価用解答データを者，概要文，ハイパーリンクとカテゴリに関する情大凡 80%と 20%の割合で分割した．

各推薦データのエンティティ（映画，音楽アー3） https://grouplens.org/datasets/movielens/20m/4） https://github.com/sisinflab/LinkedDatasets

評価用データについて，推薦タスクにおける具体的な役割を説明する．評価用履歴データに含まれる― 2947 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

（Recall@20）（Recall@50）（NDCG@100）

0.4

0.4

0.40.20.2

0.2

00
ML-20M Last.fm

LT

概要文（1-gram）

概要文（2-gram）

カテゴリ

ハイパーリンク

編集者（英語）編集者（多言語）

0
ML-20M Last.fm

LT

ML-20M Last.fm

LT

図 3: ML-20，Last.fm と LT における 5 分割した各結果の推薦性能に対する平均と標準偏差．

ユーザ 𝑢 の履歴情報は x ∈ {0, 1} 𝑁 というエンティ
ティ数 𝑁 次元のベクトルで表され，このベクトルは分析 Wikipedia 情報で推定した類似度行列に対する事例分析を行うことで，提案手法がコンテンツ

𝑢 が過去に関心を持ったエンティティに対応する次情報を用いる従来法よりも優れた推薦性能を達成

元の要素が 1 となり，それ以外は 0 となる．推薦はできた要因を探る．ML-20M の Fight Club という映

このユーザ 𝑢 が関心を持つ可能性のあるエンティ
b で計ティを予測するタスクである．この予測は xT B

画に対して，各情報から推定した類似度が高い上位算され，その結果はユーザ 𝑢 の各エンティティに対ツ情報から推定した類似度上位 10 映画について，10 映画を抽出し，定性的分析を行った．コンテンするスコア（関心）を表す．そして，このスコアのハイパーリンクは Fight Club と同監督の映画を多く高いエンティティが評価用解答データに含まれてい挙げていた．一方で，編集者情報から推定した類似れば良い推薦として評価される．

度上位 10 映画においては，Pulp Fiction や Memento

評価指標

本実験では Recall@𝑅 と NDCG@𝑅 と（ﬁlm）など，Fight Club と人の嗜好性に基づく関係いう 2 つの評価指標を用いて，推薦性能を評価する．

性のある映画が挙げられた．つまり，従来法では属𝑅 とは推薦したエンティティの数を表す．また，本性情報を捉えているのに対し，提案手法では嗜好情稿では 𝜔(𝑟) を 𝑅 個中の上位 𝑟 番目のエンティティ，報を捉えており，こうした違いが推薦性能の差に現𝕀[·] を指示関数， I𝑢 をユーザ 𝑢 の評価用解答データれたのだと考えられる．詳細は付録 A に付す．

として定義する．これらをふまえて，あるユーザ 𝑢に対する Recall@𝑅 は以下のように定義される．
𝑅Õ𝕀[𝜔(𝑟) ∈ I𝑢 ].
Recall@𝑅 :=min（𝑅, | I𝑢 |）𝑟=1
また，DCG@𝑅 は以下のように定義される．
𝑅Õ
2𝕀[ 𝜔 (𝑟 ) ∈ I𝑢 ] − 1
DCG@𝑅 :=.
log (𝑟 + 1)
𝑟=1

まとめ5

本稿では，Wikipedia の編集者情報を利用した協調フィルタリング法を提案し，エンティティの類似度推定に応用した．従来の概要文やハイパーリンクなどのコンテンツ情報を利用した推定手法とは異なり，提案法はユーザの嗜好性を反映した類似度の推定が可能になると期待され，実際に，映画，音楽とNDCG@𝑅 は，推定した DCG@𝑅 を DCG@𝑅 の理想

書籍ドメインの推薦データを用いた評価実験から提値で割ることにより計算される．これらの詳細は文案法の有効性を確認することができた．

献 [10] などを参照されたい．
性能評価

今後は，推薦以外のタスクへの応用も検討し，提結果を図 3 に示す．これらは 5 分割し案法の有効性をさらに検証したい．その際，類似度た各結果の推薦性能に対する平均と標準偏差を示しとしての活用ではなく，Wikipedia 記事行列の行列ている．Wikipedia のコンテンツ情報と編集者情報を比較すると ML-20M，Last.fm と LT の各データに分解などを用いて，エンティティの低次元ベクトル表現を構築することで，より応用性の高い形式で結おいて，すべての評価指標で編集者情報を用いたシ果を活用することも検討したい．

ステムの方が高い性能を示している．

― 2948 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

謝辞
本 研 究 は JSPS 科 研 費 JP 21H03491 の 助 成 を 受けた．

参考文献
[1] Ikuya Yamada, Akari Asai, Jin Sakuma, Hiroyuki Shindo,Hideaki Takeda, Yoshiyasu Takefuji, and Yuji Matsumoto.
Wikipedia2vec: An eﬃcient toolkit for learning and visualizing the embeddings of words and entities fromwikipedia. arXiv preprint arXiv:1812.06280, 2018.
[2] Evgeniy Gabrilovich and Shaul Markovitch. Computing
semantic relatedness using wikipedia-based explicit semantic analysis. In Proc. of IJCAI, pp. 1606–1611, 2007.
[3] Cataldo Musto, Giovanni Semeraro, Marco de Gemmis,
and Pasquale Lops. Learning word embeddings fromwikipedia for content-based recommender systems. InProc. of ECIR, pp. 729–734, 2016.
[4] David Goldberg, David Nichols, Brian M Oki, and Douglas Terry. Using collaborative ﬁltering to weave an information tapestry. Communications of the ACM, Vol. 35,No. 12, pp. 61–70, 1992.
[5] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado, and Jeﬀ Dean. Distributed representations of wordsand phrases and their compositionality. In Proc. of NIPS
Conference, 2013.
[6] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint
arXiv:1810.04805, 2018.
[7] Scott Deerwester, Susan T Dumais, George W Furnas,
Thomas K Landauer, and Richard Harshman. Indexingby latent semantic analysis. Journal of the American
society for information science, Vol. 41, No. 6, pp.
391–407, 1990.
[8] Quoc Le and Tomas Mikolov. Distributed representationsof sentences and documents. In Proc. of ICML, pp. 1188–1196, 2014.
[9] Badrul Sarwar, George Karypis, Joseph Konstan, and John
Riedl. Application of dimensionality reduction in recommender system-a case study. Technical report, 2000.
[10] Dawen Liang, Rahul G Krishnan, Matthew D Hoﬀman,and Tony Jebara. Variational autoencoders for collaborative ﬁltering. In Proc. of WWW Conference, pp. 689–698, 2018.
[11] Harald Steck. Embarrassingly shallow autoencoders forsparse data. In Proc. of WWW Conference, pp. 3251–3257, 2019.
[12] Xiangnan He, Lizi Liao, Hanwang Zhang, Liqiang Nie,Xia Hu, and Tat-Seng Chua. Neural collaborative ﬁltering.
In Proc. of WWW Conference, pp. 173–182, 2017.
[13] Suvash Sedhain, Aditya Krishna Menon, Scott Sanner, andLexing Xie. Autorec: Autoencoders meet collaborativeﬁltering. In Proc. of WWW Conference, pp. 111–112,2015.
[14] Yin Zheng, Bangsheng Tang, Wenkui Ding, and Hanning
Zhou. A neural autoregressive approach to collaborativeﬁltering. In Proc. of ICML, pp. 764–773, 2016.
[15] Badrul Sarwar, George Karypis, Joseph Konstan, and John
Riedl. Item-based collaborative ﬁltering recommendation
algorithms. In Proc. of WWW Conference, pp. 285–295,
2001.
[16] Katsuhiko Hayashi. Rethinking correlation-based itemitem similarities for recommender systems. In Proc. ofSIGIR Conference, pp. 2287–2291, 2022.
[17] Xia Ning and George Karypis. Slim: Sparse linear methods for top-n recommender systems. In Proc. of ICDM,
pp. 497–506, 2011.
[18] Iván Cantador, Peter Brusilovsky, and Tsvi Kuﬂik. Second workshop on information heterogeneity and fusion inrecommender systems (hetrec2011). In Proc. of RecSysConference, pp. 387–388, 2011.
[19] Ignacio Fernández-Tobı́as, Paolo Tomeo, Iván Cantador,Tommaso Di Noia, and Eugenio Di Sciascio. Accuracy anddiversity in cross-domain recommendations for cold-start
users with positive-only feedback. In Proc. of RecSys
Conference, pp. 119–122, 2016.
[20] Tommaso Di Noia, Vito Claudio Ostuni, Paolo Tomeo, andEugenio Di Sciascio. Sprank: Semantic path-based ranking for top-n recommendations using linked open data.

― 2949 ―ACM Transactions on Intelligent Systems and Technology (TIST), Vol. 8, No. 1, pp. 1–34, 2016.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

A

太字は Figth Club と嗜好性に基づく関係性があると参考情報思われる映画を表す．この結果から，コンテンツ情表 2: ML-20M に登録されている映画 Fight Club と類似度が高い上位 10 映画: 下線は Fight Club と同監督の映画を，太字は Fight Club と嗜好性に基づく関係性がある映画を表す．

報を用いる従来法は表層的な属性情報を，提案手法は人の嗜好性を捉えていることがわかる．

Fight Club概要文

Escape from L.A.
Last Action Hero
Life (1999 ﬁlm)
Rebel Without a Cause
Panic RoomGreat Expectations (2012 ﬁlm)
Vampire in Brooklyn
The Curious Case of Benjamin Button (ﬁlm)
Never Back Down
Who Am I (2014 ﬁlm)

カテゴリ

Panic RoomRashomon
Barton Fink
Eyes Wide ShutDie HardTokyo Story
Django Unchained
Storm Catcher
The Skulls (ﬁlm)
Pushing Tin

ハイパー
リンク

Choke (2008 ﬁlm)
Panic RoomThe Game (1997 ﬁlm)
Alien 3
Zodiac (ﬁlm)
The Girl with the Dragon Tattoo (2011 ﬁlm)
The Curious Case of Benjamin Button (ﬁlm)
Seven (1995 ﬁlm)
The Social Network
Tron: Legacy

編集者

Seven (1995 ﬁlm)
Pulp Fiction
The Matrix
Reservoir Dogs
V for Vendetta (ﬁlm)
The Godfather
Memento (ﬁlm)
A Clockwork Orange (ﬁlm)
Zodiac (ﬁlm)
Apocalypse Now

表 2 に は，Wikipedia 情 報 で 推 定 し た 類 似 度 行列に対する事例分析の結果を記す．具体的には，ML-20M に登録されている Fight Club という映画に対して，各情報から推定した類似度が高い上位 10映画を示した．下線は Fight Club と同監督の映画を，― 2950 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).