# 拡張固有表現に分類された 31 言語の Wikipedia 知識ベース

関根聡 ${ }^{1}$ 中山功太 ${ }^{1}$ 野本昌子 ${ }^{1}$ 安藤まや $^{2}$
隅田飛鳥 ${ }^{1}$ 松田耕史 ${ }^{1}$
${ }^{1}$ 理化学研究所 革新知能統合研究センター ${ }^{2}$ フリー
\{satoshi. sekine, kouta. nakayama, masako. nomoto, asuka. sumida, koji. matsuda\}@riken.jp
maya@cis. twcu. ac. jp

## 概要

説明可能な AI 構築を目指し、Wikipediaを構造化することを目標とした「森羅プロジェクト」を推進している。2020、2021 年には 30 言語の Wikipedia を拡張固有表現に分類するタスクを実施し、2 年間で 14 チームから 24 の参加システムを得た。その出カデータを用いてアンサンブル学習を行い、大規模な固有表現の分類リソースを構築した。日本語と合わせて 31 言語で約 3340 万ぺージが分類されており、人手チェックも行った日本語の精度は $98.5 \%$ 、人手チェックのないその他の 30 言語の平均 $\mathrm{F}$ 値は 86.9 である。知識リソースは森羅ホームページで公開している。「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」と呼ぶ枠組みで、構造化知識を構築している「森羅プロジェクト」では、2022 年も新たなタスクを実施する。

## 1 はじめに

Wikipedia は常時更新されている巨大な知識源であり、様々な言語処理技術への応用が期待されているが、構造化されていないため自然言語処理での利用が難しい。Wikipediaを分類し、構造化して知識グラフにすることで、幅広い活用が期待される。同様の目的で構造化された知識としては、DBpedia、

YAGO、Wikidata などがあるが、分類カテゴリーや構造フレームは主にクラウドによるボトムアップ方式で構築され、統一されたルールに基づいておらず、非常に多くのノイズが入っている。筆者らは、分類や構造フレームの設計はトップダウンに画一した形で行い、内容（コンテンツ）の構築をクラウドで行うことにより、言語処理にも利用しやすい知識が構築できると考えている。そこで、分類基準と構造フレームに幅広い固有表現カテゴリーを対象に定義さ
れている「拡張固有表現」を利用し、そこに Wikipedia に記載されている知識をはめ込むことにより、整理された構造化知識を構築することを目指している。 これが「森羅プロジェクト」の目標である。プロジエクトでは、共有タスクを実施し、その複数の参加システムの出力に対してアンサンブル学習などを通じ精度の高い知識を自動的に構築する枠組みとして提唱している「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」を用いて知識構築を行っている。本論文では、そのプロジェクトのうち、2020、2021 年に実施した、30 言語の Wikipedia 分類タスクを通して構築したものに、日本語の分類データも含めた 31 言語の Wikipediaを拡張固有表現に分類した知識リソースを紹介する。

## 2 拡張固有表現

拡張固有表現は、幅広い固有表現を対象とした固有表現オントロジーであり、今回利用した Version 8.1 では最大 4 階層で、末端カテゴリー数は 219 ある

(Sekine et al. 2002, ENE-HP）。一般的な固有表現力テゴリー(Nadeau 2007)とされる組織名や地名の下位概念である企業名、政党名、市区町村名、湖沼名だけではなく、イベント名、製品名、自然物名などの新規のカテゴリーもあり、Wikipedia の項目を対象に拡充している。拡張固有表現のホームページに詳細の定義があるが、付録に記載した図 2 亿全体像を示す。また、Wikipedia を対象にしているため、2つの特異なカテゴリーを設定している。一つは主に一般名詞などを対象にした"CONCEPT”というカテゴリ一であり、もう一つは「転送ぺージ」「リストペー ジ」「メタ情報ぺージ」など Wikipedia 特有のぺー ジを対象とした”IGNORED”である。拡張固有表現の多くのカテゴリーには構造化のために属性も定義され、構造化の際に利用する。

## 3 日本語分類データ

日本語 Wikipedia 分類データは 2019 年 1 月の Wikipedia ダンプを対象に作成した。被リンク数が 5 以下の 15 万ページ、シンプルな方法で除外した固有表現ではない 5 万ページを除いた 92 万ページから構成されている。 3 万ページ程度の学習データを元に機械学習を用いた分類結果を人手ですべてチェックした（Suzuki et al. 2018）。サンプルデータを用いて分析した結果、精度は 98.5\%程度であると推定されている。残りの $1.5 \%$ は、人が見ても曖昧なぺージなどであった。表 1 に頻度の高い上位 10 個のカテゴリ一の情報を載せる。映画化された小説のぺージに両方の記載がある場合などには、1つのページが複数のカテゴリーに属することとしており、その割合は $3 \%$ 程度である。

表 1. 頻度の高いカテゴリ

## 4 共有タスク

30 言語の2019年 1 月の Wikipedia ダンプを対象に、拡張固有表現に分類するタスクを実施した（関根ら 2021）。30 言語は、言語ごとの “active user” の数が多いものから選んだ。本タスクの教師データは、 3 節で紹介した日本語の分類データと Wikipedia の言語間リンクから自動的に各言語に対して作成したものを利用した。したがって、完全なデータではなく、 いわゆる“silver data”である。例えば、226 万ページあるドイツ語の場合には、日本語からの言語間リンクがあるページは 27 万ページあり、それを教師デー タとして、残りの 199 万ページの分類を行うことが本タスクとなる。（ただし、参加者にはアンサンブル学習での利用を考慮し、教師データ部分の分類も学習システムを使って実施することを求めている)参加チームは、2021 年は 10 チーム、2022 年は 3 チ一ムであった。それぞれのシステムに関する論文は、森羅ホームページより閲覧できる（SHINRA-HP）。全ページのデータの提出を促すこと、将来のシステム評価との比較が公平にできることを目的として、評価の対象ページがどのページであるかは参加者には公表していない。評価結果を表 2 に示す。それぞれの言語での最高のシステムの $\mathrm{F}$ 值、アンサンブル学習システム $\mathrm{F}$ 値、最低 1 つのシステムに正解が含まれる割合を示している。

表 2. タスクの評価結果

 &  &  \\

アンサンブル学習はシンプルな Voting により行なっている。ただし、 1 参加者が 3 システムまで提出することができ、多くの場合にはそれらの出力は非常に似ているため、参加者ごとの票が 1 になるように Voting を補正している。表 2 の赤字は、アンサンブル学習システムが、最高性能のシステムを上回っていることを示す。多くの言語で上回っていることがわかる。また、上限はほとんどの言語で $90 \%$ \%超え、平均は $97 \%$ と非常に高いことがわかる。上限に近いシステムを開発することは今後の課題である。

## 5 リソースのサンプルと統計情報

図 1 にサンプルデータを載せる。"pageid”と“title” で Wikipedia の該当ページを示し、ENEs でそのペー ジの拡張固有表現カテゴリーを ID と名前で示している。言語ごとに 1 ファイルで構成され、 31 言語分の 31 ファイルがある。

図 1.サンプルデータ（英語）

表 3 に、言語毎の分類結果の頻度を示す。名前(1) の下位カテゴリーは、その次の階層のカテゴリーでまとめている。例えば 1.4 の組織名には、国際組織名(1.4.1)、企業名(1.4.6.2)、政党名(1.4.7.2)などの組織名の下位にあるカテゴリーの頻度の総和が示されている。頻度の高いカテゴリーは言語共通であり、

名” $(13.52 \%)$, “製品名” $(13.65 \%)$, “施設名” $(6.14 \%)$, “組織名”(5.58\%)が頻度の高いカテゴリーである。

表 2 で示した通り、日本語を除いた 30 言語のリソ一スの $\mathrm{F}$ 值は 86.76 であり、完璧ではない。どの力テゴリーがどのカテゴリーに間違っているかを分析した。付録の表 4 に混同行列の形で、正解とアンサンブル学習システムの出力の頻度を示す (30 言語の合計を示している）。この階層レベルで見た時の全体の誤りの $85 \%$ は“CONCEPT”か“IGNORED”に関連している。特に、正解が“IGNORED”である時に、様々なカテゴリーが付いている場合と、正解が様々な力テゴリーである場合に“CONCEPT”のカテゴリーとなっている場合が目立つ。これらの誤り以外では、例えば、“組織名”と“地名”と“施設名”の 3 つのカテゴリ一の混同がある。施設名は、公園、学校、空港、道路など、組織名や地名に関係するものが対象となっており、このような混同はある程度理解できる。 システムは“CONCEPT”と“IGNORED”以外は理解できる範囲の結果を出力し、信頼できる知識になっていると考えている。“CONCEPT”と“IGNORED”の問題については今後の課題として取り組む考えである。

## 6 関連研究

知識オントロジーは自然言語処理にとって重要なリソースであると考えられてきた。例えば、1980代の人工知能ブームでは日本では $\operatorname{EDR}$ (日本電子化辞書 1995)、米国では Cyc(Lenat 1995)という大きな国家プロジェクトで知識構築が行われたが、構築コスト、メンテナンス、カバレージなどの問題 (Knowledge Acquisition Bottleneck) に直面し、当初の目的を達成したとは言い難い。

不特定多数の協働によって百科事典知識を構築する Wikipedia プロジェクトによって上記の問題に対するパラダイムは大きく変化した。ただし、この知識は人間が読むために作られたものであり、計算機利用が容易にできるものではない。そこで、計算機利用な知識構築を目指した取り組みが行われている。 DBpedia は Wikipedia 内の infobox な゙構造化されている部分を利用し、構造化知識を構築している (Lehmann et al. 2015)。YAGO は Wikipedia と WordNet を結びつけることにより利用しやすいオントロジー を作ろうというプロジェクトである(Mahdisoltani et al. 2015)。Wikidata は Freebase などの経験を生かし、既に存在する構造化知識とクラウドを活用し、構造化知識を構築していこうというプロジェクトである (Vrande cic and Krotzsch 2014)。ただ、上記のどの知識も、カテゴリーや構造的な知識部分にノイズが多くある Wikipedia に頼っていたり、カテゴリーや構造フレームの部分もクラウドによるボトムアップな方法で構築しているため、多くのノイズが存在し、計算機による利用が難しいのが現状である。

## 7 協働による知識構築

本リソースを構築した森羅プロジェクトの大きな特徵の一つは「協働による知識構築 (Resource by Collaborative Contribution - RbCC)」である (関根ら 2018)。共有タスクによる言語処理技術の向上が幅広く行われている。そのおかげで様々な技術が開発され精度向上が達成されてきた。しかし、多くの場合には、システムの最適化 (Optimization) の競争に過ぎない形でのプロジェクトとなり、タスクが終了すると開発したシステムも放置され、その結果が何らかの貢献につながらないことが多い。この状況は次に挙げる 3 つの改良によって改善すると考えている。

1. タスクを知識やリソースの構築などにつながる形で設計する

2. システムの出力結果は広く公開し、アンサンブル学習をはじめとした研究につなげる

3. タスクの出力結果をある種の学習データとして用いたシステムを開発できるように、再度タスクに参加できるような枠組みとする「森羅プロジェクト」のタスクは、多言語の分類タスクに限らず 2018 年から日本語の属性値抽出夕スク、リンク同定タスクを含め 6 回実施した。2022 年には、日本語で分類、属性値抽出、リンク同定の 3つのタスクを同時に行い、構造化知識を構築するタスクを実施する予定である。これまで作成した全ての教師データと、構造化した 2019 年の Wikipedia 知識を教師データとして利用し、2021 年の Wikipedia を対象にする予定であり、これまで大きな課題であった知識メンテナンスの問題解決も目指している。興味ある方の参加を期待している。

## 7 まとめ

協働による知識構築（RbCC）の枠組みで構築した 31 言語のWikipediaを拡張固有表現で分類した知識リソースについて報告した。日本語は 92 万ぺージを 98. $5 \%$ の精度で、他の 30 言語は約 3250 万ページを 87 の F 值で分類されている。データは森羅ホームぺ ージで公開している。

表 3. 各言語のカテゴリーごとの頻度

 & Person & God &  &  \\
 & Location & Facility & Product &  & Event &  & Disease & Color & Timex & Numex & IGNORED \\

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたものです。

## 参考文献

SHINRA-HP. Shinra project homepage:

https://shinra-project.info.

SHINRA2020-ML-HP. Shinra 2020-ml homepage: http://shinra-project.info/shinra2020ml/.

ENE-HP. Extended named entity homepage: https://ene-project.info.

関根聡, 野本昌子, 中山功太, 隅田飛鳥, 松田耕史,安藤まや (2021). SHINRA2020-ML:30 言語の Wikipedia ページの分類, 言語処理学会第27回年次大会発表論文集

関根聡, 小林暁雄, 安藤まや (2019). Wikipedia構造化プロジェクト「森羅2018」,言語処理学会第25回年次大会発表論文集, pp.69-72, 2019.

日本電子化辞書研究所 (1995). EDR電子化辞書シンポジウム

Tushar Abhishek, Ayush Agarwal, Anubhav Sharma, Vasudeva Varma, and Manish Gupta (2020).

Rehoboam at the ntcir- 15 shinra2020-ml task. In The 15th NTCIR Conference Evaluation of Information Access Technologies (NTCIR-15).
Jens Lehmann, Robert Isele, Max Jakob, Anja Jentzsch, Dimitris Kontokostas, Pablo N. Mendes, Sebastian Hellmann, Mohamed Morsey, Patrick van Kleef, Soren Auer, and Christian Bizer (2015). Dbpedia - a large-scale, multilingual knowledge base extracted from wikipedia. Semantic Web, 6(2):167-195.

Douglas Lenat (1995). Cyc: A large-scale investment in knowledge infrastructure. Communications of the ACM, 38(11):33-38.

pages 94-100. AAAI Press.

Farzaneh Mahdisoltani, Joanna Biega, and Fabian M Suchanek (2015). Yago3: A knowledge base from multilingual wikipedias. CIDR.

David Nadeau, Satoshi Sekine (2007). A survey of Named Entity Recognition and Classification”. Lingvisticae Investigationes 30 (1), 3-26.

Satoshi Sekine, Kiyoshi Sudo, and Chikashi Nobata (2002). Extended named entity hierarchy. In the Third International Conference on Language Resources and Evaluation (LREC'02).

Masatoshi Suzuki, Koji Matsuda, Satoshi Sekine, Naoki Okazaki, and Kentaro Inui. (2018) A joint neural model for fine-grained named entity classification of Wikipedia articles. IEICE Transactions on Information and Systems, E101.D(1):73-81.

Denny Vrande cic and Markus Krotzsch (2014).

Wikidata: A free collaborative knowledgebase.

Commun. ACM, 57(10):78-85.

## A 付録

乗り物名乗り物名_その他車名 / 列車名 / 飛行機名食べ物名食へ物名_その他

芸術作品名、芸桡作品名_Zの他絵画名 / 番組名 / 映画名 /
公演名 / 音樂名

出版物名出此物名 Zの新聞名 / 雑読名

規則名规則名_その他

条約名 / 法令名

称号名称号名_Zの他

地位膱業名

言語名言語名_その他

国語名

単位急戦位名_その他

バーチャルアドレス名

バーチャルアドレス名_その他チャンネル名 / 電話番号電子メイル/ URL

 \\

時間表現時間表現_その他

時間時間_その他時刻表現 / 日付表現 / 曜日表現時代表現

## 期間 期間_その他時刻期間 / 日数期間 / 週数期間月数時間 / 年数期間

IGNORED

図 2. 拡張固有表現階層

表 4. 正解とアンサンブルシステム出力の混同行列

(縌軸が正解カテゴリー、横軸がアンサンブルシステムの出力カテゴリー)

 &  & Location & Facility & Product &  & Event &  & Disease & Timex & Numex &  \\