# 森羅タスクと森羅公開データ

関根聡 ${ }^{1}$ 中山功太 ${ }^{1,2}$ 隅田飛鳥 ${ }^{1}$ 渋木英潔 ${ }^{3}$ 門脇一真 ${ }^{4}$ 三浦明波 ${ }^{5}$ 宇佐美佑 ${ }^{6}$ 安藤まや ${ }^{7}$
${ }^{1}$ 理化学研究所AIP ${ }^{2}$ 筑波大学 ${ }^{3}$ 株式会社 BESNA 研究所
${ }^{4}$ 株式会社日本総合研究所 ${ }^{5}$ 株式会社アティード ${ }^{6}$ Usami LCC ${ }^{7}$ フリー
\{satoshi. sekine, kouta. nakayama, asuka. sumida\}@riken. jp

## 概要

Wikipedia に書かれている世界知識を計算機が扱えるような形に変換することを目的として、2017 年よりWikipediaを構造化する「森羅」プロジェクトを推進している。本プロジェクトは「協働による知識構築(Resource by Collaborative Contribution)」 のスキームに基づき、評価型ワークショップを開催し、参加したシステムの結果を統合してより良い知識にまとめ上げ、それを公開していくことを目指している。森羅 2022 では、日本語のWikipedia ページを分類し、ぺージから指定された属性値情報を抽出し、その情報を該当ページにリンクする 3 つのタスクを行なった。また、本論文ではこれまで森羅プロジェクトで構築した全データを概説するとともに、森羅 2023 の計画を紹介する。

## 1 背景と目的

自然言語理解を実現するためには、言語的及び意味的な知識が必要なことは論を待たない。しかし、大規模な知識の作成は非常に膨大なコストがかかり、 メンテナンスも難しい問題である。名前を中心とした知識において、クラウドソーシングによって作成されている Wikipedia はコストの面でもメンテナンスの面でもそれ以前の百科事典の概念を一新したが、 Wikipedia を構造化知識として活用しようとすると障壁は高い。Wikipedia は人が読んで理解できるように書かれており、計算機が活用できるような形ではないためである。計算機の利用を念頭においた知識ベースには、CYC[11]、DBpedia[12]、YAGO[13]、 Freebase[14]、Wikidata[15]などがあるが、それぞれに解決すべき課題がある。特に CYC ではカバレージの問題、他の知識べースでは、首尾一貫した知識体系に基づいていない構造化の問題がある。この課題を解決するため、私たちは、名前のオントロジー「拡張固有表現」[2][8][9]に Wikipedia 記事を分類し、属性情報を抽出しリンクすることで計算機が利用可能な Wikipedia の構造化を進めている[1][3][4][5][6][7]。

## 2 協働による知識構築

Wikipedia の全データの構造化を人手で行うことはほぼ不可能に近い。特に、日々更新される Wikipedia を対象にしているため、更新作業を考えると現実的ではない。しかし、記事の分類や属性値抽出のような知識構築は様々な機械学習手法によってある程度の精度で自動化できている。そこで、森羅プロジェクトでは多くの機械学習システムが協力し、 より精度の高い構造化知識を半自動的に構築することを目標としている。現在の自然言語処理では「評価型ワークショップ」が数多く行われている。これらは既成のタスクに対する機械学習システムの最適化競争の側面はあるが、これを逆に利用し、構造化知識の作成を行う。つまり、運営者側で訓練データとテストデータを用意し、多くのシステムに評価型ワークショップに参加していただく。この時にテストデータを参加者には知らせないことで、参加者には訓練データ以外の全データを対象に結果を出すという仕組みを取り入れる。また、その結果は共有することを事前に約束してもらう。このようにして出力された結果をアンサンブル学習の手法を用いて、 より信頼できる知識を作る。また、信頼度の低いものを人手で確認訂正する手法や、出力結果を次の学習時の訓練データにするアクティブ・ラーニング、訓練データの作成とシステムの実行を幾度も繰り返すブートストラッピング手法を取り入れることで、多くの参加者と協力しあって、精度の高いリソース作成を実現していくことを目標としている。本スキ一ムは Resource by Collaborative Contribution (RbCC:協働による知識構築) と名付けられ、森羅プロジェクトの最も重要な骨格となっている。

## 3 森羅タスク

森羅による Wikipedia の構造化のためには、それぞれのエンティティーの情報構造を規定する必要がある。そのために「拡張固有表現」を利用する。

## 3.1 拡張固有表現

「拡張固有表現」とは、[2][8][9]によって発表された固有表現に関する定義であり、各固有表現のカテゴリーを表す階層構造と、その固有表現が持ちうる属性情報からなる。階層構造は、「人名」、「地名」、「組織名」、「イベント名」、「地位職業名」といった幅広い種類を含む。また、例えば「地名」には 「河川名」「湖沼名」等の「地形名」や、「星座名」等の「天体名」を含む等、最大 4 階層の下位カテゴリーが含まれる。一方、属性情報はカテゴリー毎に定義された固有表現が持つ属性である。例えば「人名」カテゴリーでは異表記、本名、別名・旧称、国籍などの属性が定義される一方で、「空港名」のカテゴリーでは、国、母都市、年間利用者数、別名、名前の謂れなどが定義される。最新のバージョン 9.0 は森羅タスクのために Wikipedia に即して調整したものであり、246 種類の末端カテゴリーが定義され、 このうち 178 種類のカテゴリーには特有の属性情報も定義されている。階層構造の全カテゴリーと属性定義の抜粋を、付録の図 1 および表 1 に掲載する。 すべての定義を含む詳細は[2]を参照されたい。

## 3.2 三種類のタスク

構造化は 3 つのプロセスに分解でき、評価型ワー クショップではそれぞれをタスクとして実施する。

1) 分類

Wikipedia の各ページを拡張固有表現の末端カテゴリーに分類する。例えば「島崎藤村」は人名、彼の作品の「嵐」は「書籍名」などである。

2) 属性値抽出

分類されたページから拡張固有表現定義で規定された属性の値を抽出する。例えば「島崎藤村」 の「本名」は「島崎春樹」で、「作品」には上記の「嵐」が含まれる、などである。

3） エンティティーリンキング（リンク）

抽出された属性値に対して、その値を表す Wikipedia のページをリンクする。例えば、上記の「島崎藤村」の「作品」として抽出された「嵐」 を該当する書籍の「嵐」のページにリンクする。

## 3.32018 から 2022 に行った 9 タスク

森羅の評価型ワークショップは 2018 年に始まり、 2022 年まで 9 タスクを実施してきた。表 2 にタスクの一覧を示す。2018 年から 3 年間は、カテゴリー数を拡張しながら属性値抽出タスクを行なった。また、 2020 年から 2 年間は構造化知識の多言語化を目指して、アクティブユーザー数の多い 30 言語の Wikipedia のすべてのぺージを拡張固有表現に分類するタスクを実施した。 2021 年にはリンクタスクを実施した。2022 年は日本語 Wikipedia を対象に 3 つのタスクを同時に実施することにより、Wikipedia の構造化を End-to-End で行うことを目指した評価型ワ ークショップを実施した。

表 2. 5 年間に行なった 9 タスク

 & 日本語 &  \\

## 4 森羅 2022

森羅 2022 では、日本語の Wikipediaを対象に分類、属性値抽出、エンティティーリンキング（リンク)タスクの 3 つのタスクを実施した。基本的に Endto-Endのタスクとし、エラーが含まれた前段階の夕スクの出力を基にしたタスク設定とした。したがって、例えば、あるページの分類が「河川名」ではなく「湖沼名」と間違っていたとしても、その属性値抽出において共通の属性、例えば「所在地」の属性を正しく抽出できれば、その結果は正解とすることにした。この目的のため、拡張固有表現のカテゴリ一横断の属性定義の共通化を行なった。分類タスクは後述のワークショップを通して多くの参加者を得たが、属性值抽出とリンクタスクは参加者が非常に少ないことが事前に分かっていたため、Wikipedia 全体を対象とした評価は実施せずに終了した。

## 4.1 スケジュールとリーダーボード

森羅 2022 は以下のスケジュールで実施した。

2022 年 5 月 12 日 : キックオフミーティング \&

データ公開、リーダーボードオープン

2022 年 8 月 4,10 日：ワークショップ（後述）

2022 年 9 月 30 日, 10 月 27 日：ワークショップ 2

2022 年 11 月 14 日 : 実行結果の提出締切

2023 年 1 月 18 日：ワークショップ (報告会)

なお、 $\mathrm{RbCC}$ によるリソース作成には参加者にシステムの全出力を提出してもらうことが鍵となるが、

一方で参加者にとっては全ページを予測するのは計算機資源や処理時間の面から負担となる。そこで、一部のみの提出が可能なリーダーボードを作成し、 システムの評価をスムーズに行えるようにした。

図 2.リーダーボードのスナップショット

## 4.2 ワークショップと参加者

森羅プロジェクトの一環として、深層学習を用いた自然言語処理に取り組みたい学生、研究者、社会人を対象として、サンプルプログラムを提供、解説し、 1 週間から 1 ケ月をおいて参加者が独自に改良する形のワークショップを開催した。1回目は森羅の分類タスクを題材とし 8 月に行い、登録者は 381 人と大盛況の会となった。2 回目は「属性値抽出」 を意識した「固有表現抽出」を題材とし 9〜10 月に行い、登録者は 201 人であった。ワークショップで使用した資料と当日の録画はホームページにて公開しているi。森羅 2022 ではこのワークショップに関係した参加者が多く、主催者のシステムを含め、分類タスクでは 59 システム、属性值抽出タスク、リンクタスクではそれぞれ 3 システムの提出があった。

## 5 森羅公開データ

5 年間の森羅プロジェクトで作成した学習データ、参加者の出力データなどの大部分を森羅ホームペー ジ[1]にて公開している。

## 5.1 日本言語分類データ

日本語 Wikipediaを拡張固有表現に分類したデー 夕は表 3 の通り、拡張固有表現のバージョンの違い 3 種類がある。拡張固有表現は属性值抽出タスクの進展と共に変化しており、今後使われる方は「2022 分類」データを使われることをお勧めする。

表 3. 森羅日本語分類データ

 &  & ページ数 \\

## 5.2 多言語分類データ

2020-ML、2021-ML の多言語分類タスクで利用、作成された 2 種類のデータを公開している。一つは 5.1 で説明した「2020 分類」データとWikipedia の言語間リンクを辿って作った 30 言語分のトレーニングデータである。表 4 にその統計情報を記載した。公開データには「日本語からのリンク数」の合計の 502 万 9617 ページが含まれている。二つ目のデータは、 30 言語の 3255 万 5929 ページに対する 12 システムの出力である。

## 5.3 属性值抽出データ

属性值抽出タスクは、森羅 2018、2019、2020-JP、 2022 で実施され、その度にトレーニングデータを 5 、 30、43、100 カテゴリーずつ増やしてきた。それらのカテゴリーに対して拡張固有表現も改良され、デ一夕も整備された。したがって、2020 年に公開されたデータが最も一貫性があり全てを包含しているデ一夕となっているため、表 5 にそのデータの概要を紹介する。公開データにはそれぞれの Wikipedia 記事が付随しているが、作成時期により Wikipedia バ ージョンが異なっていることに注意されたい。

表 4. 30 言語の Wikipedia 統計情報森羅公開データ（2020 多言語分類）

 & 言語 & 記事数 &  & 言語 & 記事数 &  \\

表 5. 森羅日本語属性値抽出データ (2022 属性)

 & 910,567 \\

システム出力結果として、森羅 2020-JP タスクに参加した 13 システムの出力結果を公開している。 35 カテゴリーの 470, 772 ページを対象としたデータであり、336 種類の属性に対して、インスタンス数として 6, 089, 547 の属性値のデータとなっている。 アンサンブル学習などの実験に利用できる。

## 5.4 リンクデータ

リンクタスクは $2021 、 2022$ で実施し、表 6 にある教師、開発データの 3 種類のデータを公開している。

## 6 森羅 2023 タスク

森羅 2023 では、2022 と同様に日本語を対象にした3つのタスクを実施する予定である。ただし、2022 で参加者の少なかった属性値抽出とエンティティー
リンキングの参加のための敷居を低くすることを主な目的として下記の改良を加えることを考えている。

- 属性値抽出、リンクタスクでは、すべての Wikipedia 記事を対象とするのではなく、特定のカテゴリーなど限定された記事を対象に参加することを可能とする

- 機械学習がより精度高くなるように学習デー タを拡充する

- 前段階の間違えを含んだデータを対象に Endto-End タスクだけではなく、前段階の正解デー タに基づいて参加できる仕組みを作る

- 多くの開発データを配布し、参加者が詳細な分析をできるようにする

- データの一貫性、前処理の簡易化を検討する

- 森羅データを利用した応用システムのデモタスクを用意する

## 7 まとめ

Wikipedia の構造化データ「森羅」の作成を目指したプロジェクトを推進している。前述の通りこのプロジェクトは多くの方の協力なくしては進まない。 これまでの森羅のタスクにご協力いただいた皆様、特に評価にご参加いただいた全ての団体にはここで感謝を申し上げたい。今後もより深い知識処理を実現するためにも、本プロジェクトに多くのご協力をいただけるようにお願い申し上げたい。

表 6. 森羅日本語リンクデータ

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたものです。

## 参考文献

1. SHINRA-HP. 森羅プロジェクトホームページ: http://shinra-project.info.

2. ENE-HP. 拡張固有表現ホームページ: http://ene-project.info.

3. 関根聡, 小林暁雄, 安藤まや, 馬場雪乃, 乾健太郎. Wikipedia 構造化データ「森羅」構築に向けて.言語処理学会第 24 回年次大会(2018)

4. Satoshi Sekine, Akio Kobayashi, and Kouta Nakayama. 2019. SHINRA: Structuring Wikipedia by Collaborative Contribution. In Proceedings of the 1 st conference on the Automatic Knowledge Base Construction AKBC-2019.

5. 小林暁雄, 関根聡, 安藤まや. Wikipedia 構造化プロジェクト「森羅 2018」言語処理学会第 25 回年次大会(2019)

6. 小林暁雄, 中山功太, 安藤まや, 関根聡. Wikipedia 構造化プロジェクト「森羅 2019」.言語処理学会第 26 回年次大会(2020)

7. 関根聡, 安藤まや, 小林暁雄, 松田耕史, Duc Nguyen，鈴木正敏，乾健太郎「拡張固有表表現 +Wikipedia」データ（2015 年 11 月版 Wikipedia 分類作業完成版）.言語処理学会第 24 回年次大会(2018)

8. 関根聡, 竹内康介. 拡張固有表現オントロジー.言語処理学会第13回年次大会ワークショップ 「言語的オントロジーの構築・連携・利用」 (2007)
9. Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata (2002). Extended named entity hierarchy. In the Third International Conference on Language Resources and Evaluation (LREC'02).

10. Satoshi Sekine. 2008. Extended Named Entity Ontology with Attribute Information. In Proceedings of the Sixth Internationa Conference on Language Resource and Evaluation (LREC08).

11. Douglas B. Lenat. CYC: a large-scale investment in knowledge infrastructure. ACM 38, pp. 32-38.

12. Lehmann, J., Isele, R., Jakob, M., Jentzch, M., Kontokostas, D., Mendes, P.N., Hellman, S., Morsey M., Kleef, P., Auer, S. and Bizer, C. DBpedia - A Large-scale, Multilingual Knowledge Base Extracted from Wikipedia. Semantic Web Journal, 6(2) :167-195

13. Farzaneh Mahdisoltani, Joanna Biega, Fabian M. Suchanek. YAGO3: A Knowledge Base from Multilingual Wikipedias. Proceedings of the Conference on Innovative Data Systems Research (CIDR 2015).

14. Bollacker, K., Evans, C., Paritosh, P., Sturge, T. and Taylor, J. Freebase: a collaboratively created graph database for structuring human knowledge. Proc. International conference on Management of data (SIGMOD '08). ACM, pp.1247-1250.

15. Vrandečić, D. and Krötzsch, M. Wikidata: a free collaborative knowledgebase. Commun. ACM57, pp. 78-85

## A 付録

図 1. 拡張固有表現定義（バージョン9.0）における階層定義

表 1. 拡張固有表現定義（バージョン9.0）における属性定義（一部抜粋）

 &  \\