# SHINRA2020-ML:30 言語の Wikipedia ページの分類

関根聡 ${ }^{1)}$ 野本昌子 ${ }^{1)}$ 中山功太 ${ }^{1)}$ 隅田飛鳥 ${ }^{1)}$ 松田耕史 ${ }^{12}$ ) 安藤まや ${ }^{3}$
}
1) 理化学研究所AIP
2) 東北大学
3) フリー

\{satoshi.sekine, masako.nomoto, kouta.nakayama, asuka.sumida, koji.matsuda\}@riken.jp , maya@kzd.biglobe.ne.jp
## 概要

Wikipedia に書かれている世界知識を計算機が扱えるような形に変換することを目的として、Wikipedia を構造化するプロジェクトを推進している本プロジェクトは、「協働による知識構築 (Resource by Collaborative Contribution)」のスキームに基づき、評価型ワークショップを開催し、それに参加したシステムの結果を統合してより良い知識にまとめ上げ、 それを公開していくことを目指す。SHINRA2020ML タスクでは、30 言語の Wikipedia の項目を拡張固有表現に分類するタスクを実施し、分類データの構築を目指した。世界 7 カ国から 10 団体が参加し、 17 のシステムによる結果が提出された。この論文では、本プロジェクトの概要を説明し、森羅/ SHINRA2021 タスクの計画についても紹介する。

## 1 背景と目的

自然言語理解を実現するためには、言語的及び意味的な知識が必要なことは論を待たない。しかしながら、大規模な知識の作成は非常に膨大なコストがかかり、メンテナンスも非常に難しい問題である。名前を中心とした知識において、クラウドソーシングによって作成されている Wikipedia はコストの面でもメンテナンスの面でもそれ以前の百科事典の概念を一新した。しかし、この Wikipedia を自然言語処理のために活用しようと考えると障壁は高い。 Wikipedia は人が読んで理解できるように書かれており、計算機が利用できるような形ではないためである。計算機の利用を念頭においた知識ベースには、 CYC[11]、DBpedia[12]、YAGO[13]、Freebase[14]、 Wikidata[15]などがあるが、それぞれに解決すべき課題がある。特に $\mathrm{CYC}$ ではカバレージの問題、他の知識ベースでは、首尾一貫した知識体系に基づいていない構造化の問題がある。この課題を解決するため、私たちは、名前のオントロジー「拡張固有表現」 [3][10]に Wikipedia 記事を分類し、属性情報を抽出す
ることで計算機が利用可能な Wikipedia の構造化を進めている [1][4][5][6][7]。本稿では、30 言語の Wikipedia ページの分類タスクである「SHINRA2020$\mathrm{ML}$ [2]について説明する。

## 2 協働による知識構築

Wikipedia の全データの構造化を人手で行うことはほぼ不可能に近い。特に、日々更新される Wikipedia を対象にしているため、将来の更新作業を考慮しても現実的ではない。しかし、分類や属性值抽出のような知識構築は様々な機械学習手法によってある程度の精度で自動化できることが分かっている。今回の分類タスクでも機械学習を活用するが、一つの機械学習システムだけで実現するのではなく、多くの違った種類のシステムが協力することによってより良いリソースを作成することを目標としている。現在の自然言語処理では「評価型ワークショップ」が多数行われている。この形式のワークショップは既存タスクにおける機械学習システムの最適化競争の側面があるが、これを逆に利用してリソースの作成を行おうと考えている。つまり、運営者側で訓練デ一タとテストデータを用意し、多くのシステムに評価型ワークショップに参加していただく。この時にテストデータを参加者には知らせないことで、参加者には訓練データ以外の全項目を対象に結果を出すという仕組みを取り入れ、その結果は共有することを約束してもらう。この結果を利用しアンサンブル学習の手法を用いて、より信頼できるリソースを自動的に作る。また、信頼度の低いものを人手で確認訂正して次の学習時の訓練データにするアクティブ・ラーニングや、何度も訓練データの作成とシステムの実行を繰り返すブートストラッピング手法を取り入れることで、多くの参加者と協力しあって、精度の高いリソース作成を実現していくことを目標としている。本スキームは Resource by Collaborative Contribution (RbCC:拹働による知識構築) と呼び、森羅プロジェクトの最も重要な骨格である。

## 3 タスクの説明

SHINRA2020-ML タスクは、30 言語の Wikipedia ぺ ージを拡張固有表現のカテゴリーに分類するタスクである。このタスクで使用されている拡張固有表現と、教師データの作成方法について説明する。

## 3.1 拡張固有表現

「拡張固有表現」とは、[3][10]によって定義された固有表現に関する定義であり階層構造を持つ。図 1 に全カテゴリーを掲載する。「人名」、「地名」、「組織名」のみならず、「イベント名」、「地位職業名」、「芸術作品名」などを含む。また、例えば「地名」には

「河川名」等の「地形名」や、「星座名」等の「天体名」を含む等、幅広い種類の下位カテゴリが含まれる。今回のタスクで使用されているバージョン 8.0 は最大 4 階層で、219 種類の「拡張固有表現」が定義されている。Version8 以前の「拡張固有表現定義書」は百科事典、新聞記事を対象とした質問応答システムや WordNet 等のオントロジーを参考に構築されてきたが、今回の更新ではより Wikipedia に即した定義となっている。Wikipedia は情報の更新頻度が高く、一般的に幅広く利用されているためである。拡張固有表現の旧定義書をもとに Wikipedia の項目を分類したところ、3つの問題点が発見された。第 1 に、本来定義しきれない語が分類されるはずの「* その他」というカテゴリに多くの項目が分類されたこと、第 2 に項目の分類の過程で、判断に迷うカテゴリが存在したこと、第 3 に Wikipedia 特有のメタページなど拡張固有表現に分類できないページが存在したことである。Wikipedia には、同じような表記の項目が複数ある場合の「曖昧さ回避」、項目に異表記がある場合等の「転送元」、「1930 年の日本公開映画」のように項目になるような言葉が並ぶ「一覧」 といったぺージが存在する。これらは百科事典としての見出しではない項目(IGNORE)となる。詳細については[3]を参照されたい。

## 3.2 教師データと評価用データ

各言語の教師データは、すでに分類されている日本語の Wikipedia データ[8][9]と日本語からの言語間リンクによって作成された。例えば、日本語の Wikipedia からドイツ語の Wikipedia には 27 万余の言語間リンクがあり、それらの日本語 Wikipedia ペ ージに分類されたカテゴリーを対応するドイツ語
Wikipedia ページにつける。これらを教師データーとしてドイツ語 Wikipedia の 200 万余のページを分類するのが今回のタスクである。日本語 Wikipedia の分類データは 92 万のページに対して、機械学習と人手によるチェックで構築したものである[3][10]。表 1 に 31 言語の統計データを示す。

 & 割合 \\

表 1.31 言語の統計データ

30 言語に対してリーダーボード用データと評価用データを作成した。評価用データは $\mathrm{RbCC}$ の目的のため公開していない。現状のそれらのデータの作成方法についても、今後も継続する予定のタスクの平等性の観点から明らかにしない方針である。

## 4 タスクの実施と評価

## 4.1 スケジュールとリーダーボード

SHINRA2020-ML タスクは以下のスケジュールで NTCIR15 の下で実施した。

$
2020 \text { 年 } 1 \text { 月：データリリース }
$

$
\begin{aligned}
& 2020 \text { 年 } 4 \text { 月 : HP および登録公開 } \\
& 2020 \text { 年 } 8 \text { 月 } 31 \text { 日 : 登録\&結果締め切り } \\
& 2020 \text { 年 } 9 \text { 月 } 16 \text { 日 : 評価結果変換 }
\end{aligned}
$

2020 年 12 月 8-11 日 : 結果報告会(NTCIR15)

また、今回はリーダーボードを作成し、多くの人に興味を持っていただける仕掛けを行なった。実際に 9 団体がリーダーボードに結果を提出し、この試みは成功であったと考えている。

## 4.2 参加団体

SHINRA2020-ML には 7 カ国から 10 団体が参加した。参加団体と参加した言語を表 2 に載せる。また、

 \\

Appendix に一部の参加システムの説明を載せる。詳細は NTCIR15に投稿された論文を参照されたい。 [16][17][18][19][20][21][22]

表 2 . 参加団体

## 4.3 評価結果

表 3 に参加システムの評価結果を載せる。(この表には提出データの一部しか提出しなかった参加者の結果と締め切り後に提出された結果の一部は載せていない）また、締め切り後に提出されたシステムについては”Late Submission”として表示されている。本タスクは 1 ページに複数のラベルが着くことが許され、参加システムも複数のラベルを提案することができる。システムの評価には精度と再現率から計算される F 值のマイクロ平均を用いた。

## 5 森羅/SHINRA2021のタスク

SHINRA2020-ML は、当初の目的を達成し、過去の森羅の日本語タスク同様に RbCC の考え方の有効性が実証されたと考えている。森羅/SHINRA2021では以下の 3 つのタスクを実施しようと考えている。

## $M L: 30$ 言語の分類

基本的に SHINRA2020-ML と同様の Wikiepdia 分類タスク。リーダーボードや評価データを拡充し、出力データ数を限ったタスクを追加する予定である。

## CrowdML:クラウドソーシングによる分類精度向上

SHINRA2020-ML タスクの出力データを元に、クラウドソーシングを利用してより精度の高いデータを作成するタスク。クラウドソーシングにかかる費用は決まった上限まで主催者が負担し、その範囲内で効率的に精度の高いデータを作成することを評価目標とする予定である。

## LinkJP:属性値をページにリンク

森羅 2020/2019/2018-JP で対象としたカテゴリー の属性值に対して、対応する Wikipedia のページをリンクさせるタスク。

詳細は論文執筆現在検討中であるが、3月上旬にはタスク仕様およびサンプルデータを完成させ、公開する予定である。全てのタスクは春にスタートし、 $9 \sim 10$ 月頃を締め切りにし、11、12 月の報告会の開催というスケジュールを計画している。また、これまで作成された全ての森羅データは一般公開されている[1]。ML タスクのデータは SHINRA-ML のホー ムページ[2]から入手されたい。

## 6 まとめ

Wikipedia の構造化データ「森羅」の作成を目指したプロジェクトを推進している。前章に記した通りこのプロジェクトは多くの方の協力なしには進まない。これまでの森羅のタスク協力いただいた皆様、特に評価に参加いただいた全ての団体にはここで感謝を述べたい。今後もより深い知識処理を実現するためにも、本プロジェクトに多くの協力をいただけるようにお願いしたい。

} \\

## Timex

Timeex
Time / Date / Day_Of_Week / Era / Timeex_Other
Periodx

Periodx Pime / Period_Day / Period_Week / Period_Month / Period_Year / Timex_Other

CONCEPT

IGNORED

図 1. 拡張固有表現カテゴリー

} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{3}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{2}{*}{} & \multirow{3}{*}{} \\

表 3 ．システムの評価結果

## 参考文献

1. SHINRA project homepage:

https://shinra-project.info

2. SHINRA 2020-ML homepage:

http://shinra-project.info/shinra2020ml/

3. Extended Named Entity homepage:

https://ene-project.info

4. Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. 2019. SHINRA: Structuring Wikipedia by Collaborative Contribution. In Proceedings of the 1st conference on the Automatic Knowledge Base Construction $A K B C-2019$.

5. 関根聡, 小林暁雄, 安藤まや, 馬場雪乃, 乾健太郎. Wikipedia 構造化データ「森羅」構築に向けて.言語処理学会第 24 回年次大会(2018)

6. 小林暁雄, 中山功太, 安藤まや, 関根聡.

Wikipedia 構造化プロジェクト「森羅 2019」. 言語処理学会第 26 回年次大会 (2020)

7. 小林暁雄, 関根聡, 安藤まや. Wikipedia 構造化プロジェクト「森羅 2018」言語処理学会第 25 回年次大会 (2019)

8. 関根聡,安藤まや,小林暁雄,松田耕史,Duc Nguyen,鈴木正敏,乾健太郎「拡張固有表表現+Wikipedia」 データ（2015 年 11 月版 Wikipedia 分類作業完成

版）.言語処理学会第 24 回年次大会(2018)

9. 鈴木正敏, 松田耕史, 関根聡, 岡崎直観, 乾健太郎. Wikipedia 記事に対する拡張固有表現ラベルの多重付与. 言語処理学会第 22 回年次大会 (2016)

10. Satoshi Sekine. 2008. Extended Named Entity Ontology with Attribute Information. In Proceedings of the Sixth Internationa Conference on Language Resource and Evaluation (LREC08).

11. Douglas B. Lenat. CYC: a large-scale investment in knowledge infrastructure. ACM 38, pp. 32-38.

12. Lehmann, J., Isele, R., Jakob, M., Jentzch, M., Kontokostas, D., Mendes, P.N., Hellman, S., Morsey M., Kleef, P., Auer, S. and Bizer, C. DBpedia - A Largescale, Multilingual Knowledge Base Extracted from Wikipedia. Semantic Web Journal, 6(2) :167—195 13. Farzaneh Mahdisoltani, Joanna Biega, Fabian M. Suchanek. YAGO3: A Knowledge Base from Multilingual Wikipedias. Proceedings of the Conference on Innovative Data Systems Research (CIDR 2015). 14. Bollacker, K., Evans, C., Paritosh, P., Sturge, T. and
Taylor, J. Freebase: a collaboratively created graph database for structuring human knowledge. Proc. International conference on Management of data (SIGMOD '08). ACM, pp.1247-1250.

15. Vrandečić, D. and Krötzsch, M. Wikidata: a free collaborative knowledgebase. Commun. ACM57, pp. 7885.

16. The Viet Bui and Phuong Le-Hong. Cross-lingual Extended Named Entity Classification of Wikipedia Articles. In Proceedings of NTCIR-15.

17. Rúben Cardoso, Afonso Mendes and Andre Lamurias. Priberam Labs at the NTCIR-15 SHINRA2020-ML: Classification Task. In Proceedings of NTCIR-15.

18. Tushar Abhishek, Ayush Agarwal, Anubhav Sharma, Vasudeva Varma and Manish Gupta. Rehoboam at the NTCIR-15 SHINRA2020-ML Task. In Proceedings of NTCIR-15.

19. Hiyori Yoshikawa, Chunpeng Ma, Aili Shen, Qian Sun, Chenbang Huang, Guillaume Pelat, Akiva Miura, Daniel Beck, Timothy Baldwin and Tomoya Iwakura. UOM-FJ at the NTCIR-15 SHINRA2020-ML Task. In Proceedings of NTCIR-15.

20. Kouta Nakayama and Satoshi Sekine. LIAT Team's Wikipedia Classifier at NTCIR-15 SHINRA2020-ML: Classification Task. In Proceedings of NTCIR-15.

21. Masaharu Yoshioka and Yoshiaki Koitabashi. HUKB at SHINRA2020-ML task. In Proceedings of NTCIR-15. 22. Sosuke Nishikawa and Ikuya Yamada. Studio Ousia at the NTCIR-15 SHINRA2020-ML Task. In Proceedings of NTCIR-15.

## A 付録

参加システムの説明

 &  & Y Y & BERT base multilingual cased \\

Datasets:
(1) Training Data
(2) Wikipedia dump
(3) Wikipedia classification
(4) Language links
(5) ENE definition