# 森羅 2021-LinkJP 結果の分析:BERT とルールベースの比較

野本昌子 1 宇佐美佑 ${ }^{2}$ 安藤まや 3 中山功太 ${ }^{1,4}$ 関根聡 1
1 理化学研究所 ${ }^{2}$ Usami LLC ${ }^{3}$ フリー 4 筑波大学
\{masako.nomoto, kouta.nakayama, satoshi.sekine\}@riken.jp, yu@usami.llc, maya@kzd.biglobe.ne.jp

## 概要

森羅プロジェクトでは説明可能な $\mathrm{AI} を$ 目指して Wikipediaの構造化を進めており，新しい取組みとして，日本語 Wikipediaを対象としたエンティティリンキングタスク (森羅 2021-LinkJP) を実施した. 記事中で見出しの属性の値を記述したテキスト (見出しが企業名の場合，本拠地の「東京」等)を対応する記事ページに紐付けるもので，9 システムが参加した. 全体の F1 の最高は 0.857 (ルールベース) で，カテゴリ別ではルールベースシステム，ルールベースと BERT を併用したシステムが上位であった。ルー ルベースと BERT 単独のシステムの性能と出力結果の比較分析を行い，各々の特徴を報告する。

## 1 はじめに

森羅 2021-LinkJP[1] は日本語 Wikipediaを対象にエンティティリンキングを行う，森羅プロジェクト [2] の新タスクである. 同プロジェクトでは Wikipedia の知識を機械可読な形に構造化するため,日本語 Wikipedia の記事から見出しのカテゴリ (企業名等) と属性の情報 (企業名の場合は本拠地-「東京」等) を抽出している. 本タスクでは属性の値として抽出されたテキスト (例：「東京」)を対応する Wikipedia 記事に紐付ける.

本稿では同タスクの結果の報告と，ルールベースと深層学習 (BERT) のシステムの性能と出力結果の比較分析を行い，各々の特徴を報告する。

## 2 タスク概要

本タスクの要点を以下に示す.

・(特徵 1 : 属性値リンキング) リンク元のテキストを含む Wikipedia 記事は 7 カテゴリ (人名，企業名等 $)^{1)}$ に分類され，カテゴリ毎の属性の情報 (人名の場合は国籍-「日本」，企業名の場合は本拠地-「東京」等) が抽出されている．記事中

1）拡張固有表現 [3] の 7 カテゴリ (Person, Company, City, Lake, Airport, Conference, Compound). 各カテゴリに対象属性が定義されている [1].
の属性值テキスト (「日本」，「東京」等) がメンション (紐付けを行う部分)である.

-(特徴 2：リンク対象の拡張) メンションと意味的に一致する記事がない場合, (a) 新名称の記事，(b) 部分-全体の関係にある記事，(c) 形態の異なる関連作品等の記事もリンク対象とする ${ }^{2}$.

・タスクデータはテストデータ $(19,321$ 件. リンク先存在率 $71.9 \% \%^{3)}$ ) と抽出元の Wikipedia デー タ，リンク先候補の Wikipedia データ，サンプルデータ (50 件/カテゴリ), 拡張固有表現 [3] の属性定義等である ${ }^{4)}$.

・評価はシステムの出力したリンク先が正解のリンク先 (複数) のいずれかに該当すれば正答とする ${ }^{5)}$. 評価指標は precision, recall, (micro averaged) F-measure を用いる.

## 3 タスク結果

タスクには 5 グループ 9 システムが参加した. BERT ベースが 2 システム，ルールベース (文字列一致や Wikipedia 記事の内部リンク等を利用) が 6 システム，両者を併用するものが 1 システムである.

参加システムの評価結果を表 1 に示す. micro average F1 は最高で 0.857(AIPRB:SMWL) である. ルールベースの AIPRB の 3 システム [5][6] と BERT にルールベースを組み合わせた NAIST baseline_plus_bert[7] は多くのカテゴリで F1 が高く,前者が 5 カテゴリ, 後者が 2 カテゴリでトップである. 全システムで F1 が低いのは Company である (macro average: 0.606).

次に各カテゴリ・属性の F1 を図 1 で見ると，全システムで F1 が低いのは Lake:構成する湖沼である. メンション 104 件中，リンク先が存在するものは 2

2）リンクの種類は (a)Later Name, (b)Part-of，(c)Derivation-of.

3）本稿では (リンク先が 1 つ以上存在するメンション数)/(全メンション数)を「リンク先存在率」と呼ぶ.

4）他にベースラインシステム [4] も公開しており，参加者はその他の外部データも利用可能である.

5）リンク先が存在しない場合，recall の評価対象には含めないが, precision の評価対象には含める (リンク先を出力した場合は誤答).
表 1 参加システムの評価結果（F1, precision, recall）

 & city & company & compound & conference & lake & person &  & prec. & recall & 説明 \\

図 1 参加システムの $\mathrm{F} 1$ (カテゴリ・属性別)

件だが，各システムは 28～104 件のリンク先を出力した. F1 の低いカテゴリ・属性のうち，他にリンク先存在率が特に低いものは City-地名の謂れ (0.032), Lake-名前の謂れ (0.034), Compound-特性 (0.085) で， これらは平均メンション長が長い6).

表 2 再帰リンクに関するカテゴリ・属性

 &  & 差分 \\

カテゴリ横断で $\mathrm{F} 1$ が低いものに別名等，再帰リンク (メンションを含む記事へのリンク) に関するカテゴリ・属性 (表 2)7)があり, AIPRB の 3 システムと NAIST:baseline_plus_bert のみが対応できている.

NAIST の baseline_plus_bert では BERT の前にルー ルベースの処理8)を行い，多くのカテゴリ・属性で

6）順に 54.1，45.1，24.54. 全体のマクロ平均は 9.84.

7) 本稿ではサンプルデータでの再帰リンク率 ((リンク先が再帰リンクのメンション数/リンク先の存在するメンション数) が 0.5 以上のカテゴリ・属性)を「再帰リンクに関するカテゴリ・属性」と呼ぶ.

8） entity 内のリンク, 再帰リンク, mention とタイトルの文字列完全一致.
F1 が向上しており，本タスクではルールベース等， BERT 以外の手法が有効な場合があると考えられる。

以下ではまず，ルールベースの AIPRB:SMWL(以下，AIPRB と略記)[5]，[6] の構成モジュールの単体での性能とシステムの正答への貢献を確認し，次に, BERT ベースの NAIST:only_bert(以下，N-BERT と略記)[7] と AIPRB の性能と出力結果を比較し,各々の特徴を示す。

## 4 AIPRB のモジュールの性能と正解 への貢献

表 3 AIPRB の構成モジュールと性能

 &  &  &  &  \\

AIPRB を構成するモジュール (slink(再帰リンク)， $\operatorname{mint}($ 文字列マッチ), wlink(Wikipedia リンク), linkp(リンク確率）の単体での性能を表 3 に示す. 全体として recall が低く，F1の最高は $0.721(\mathrm{mint})$ にとどまる (AIPRB 全体では 0.857.).

各モジュールの AIPRB の正解出力 (11,943 件) への貢献を見るため, モジュール単体での正解出力数を図 2 に示す. mint は AIPRB の正解の 69.6\%, wlink は $69.4 \%$ で両者は重なりが大きい (AIPRB の正解の $60.4 \%$ ) が，併用することで AIPRB の正解の $84.5 \%$ が

図 2 AIPRB のモジュールの正解出力数カバーされる，一方，slink は単独での貢献は $13.7 \%$ だが，出力の $86.8 \%$ は他モジュールで代替できない.

次にカテゴリ・属性別の性能を図 3 で見ると，比較的多くのカテゴリ・属性で $\mathrm{F}$ 值が高いのは mint, wlink である. wlink で対応できないカテゴリ・属性のうち，別名，別称等，再帰リンク率が高い属性は slink でカバーできている.

## 5 BERT とルールベースの比較（カ テゴリ・属性別)

以下，カテゴリ・属性別に AIPRB と N-BERT の違いを見ていく.

## 5.1 ルールベースが優位のカテゴリ・属性

まず，AIPRB と N-BERT の F1 を図 3 で比較すると，前者が優位のカテゴリ・属性には再帰リンクに関するカテゴリ・属性 (表 2) が多い. AIPRB のみが正解したケースの $50.2 \%$ はメンションを含む記事にリンクするもので，N-BERT との差分については slink(再帰リンクモジュール) の貢献が大きい. slink はサンプルデータ中でのカテゴリ・属性の再帰リンク率を用いて再帰リンクの判定を行っている.

次に，上記の再帰リンクに関するもの以外で AIPRB が優位 ${ }^{9}$ のカテゴリ・属性を表 6 に示す.

AIPRB が正答し，N-BERT が正答できないケースの特徴を以下に示す。

・メンションと転送先のタイトルが一致する場合 (例: 新人選手選択会議-プロ野球ドラフト会議). AIPRB は転送情報も考慮して文字列マッチングを行っている (mint).

・メンション (地名, 住所等) の部分文字列に Wikipedia ページへのリンクがある場合 (例 : < チベット>の北部，東京都文京区<湯島>4-11-16，青森県くむつ市〉). AIPRB はメンションの一部に埋め込まれたリンクに対応している (wlink).

・カテゴリ・属性・メンションに対するリンク先がサンプルデータ中に存在している場合 (例：陸運業-運輸業). AIPRB はサンプルデータ中の

9） AIPRB の F 1 が 0.2 以上上回り，かつ，N-BERT の F 1 が比較的低い (0.6 以下) もの.
カテゴリ・属性・メンションのリンク確率を用いて正答できる場合がある (linkp).

以上のように，AIPRB のみが正答したケースでは，AIPRB がサンプルデータの統計情報 (再帰リンク率，リンク確率)，転送情報，Wikipedia のリンク等，テキスト以外の情報を利用している場合が多い.

## 5.2 BERT が優位のカテゴリ・属性

次に N-BERT が優位のカテゴリ・属性 ${ }^{10)}$ (表 4) を見ると，N-BERT が正答し，AIPRB が正答できないケースはリンク先存在率が低く，平均メンション長の長いカテゴリ・属性 (Compound:特性，Compound製造方法，City-地名の謂れ，Lake-名前の謂れ) で，説明的な長いメンションの場合が多い. AIPRB にはリンク先の有無を推定して出力を制御する仕組みがないため，リンク先のない説明的な長いメンションであっても誤出力している。

## 6 BERT とルールベースの差分のそ の他の特徴

次に N-BERT と AIPRB の違いのその他の特徴を調べるため，（a）AIPRB のみが正解を出力したケー ス，(b)N-BERT のみが正解を出力したケースをリンクの種類とカテゴリ・属性により分類した結果を表 7 に示す.

(a)AIPRB のみが正解を出力したケース

約 67\%はメンションに match するぺージへのリンクで，特に多いのは再帰リンク率の高いカテゴリ・属性である ${ }^{11)}$

約 25\%は Part-Of(部分と全体) の関係にある，メンションに関する記述を含むぺージへのリンクで， City-合併市区町村と Person-作品はリストに現れるものが多い. City-合併市区町村は合併された市区町村で，合併後の行政区分にあたる，メンションを含む記事への再帰リンクが多い．93.5\%がリスト内に現れる ${ }^{12}$ ). Person-作品は作品の一部 (巻，放送回等) や関連作品等で，94.5\%がリスト中に現れる ${ }^{13)}$ 。 93.1\%が作品名へのリンクを含む．ただし，作品の放映リストでリストの下位に作品の放送回とタイトルの情報が列挙される等，リストの階層構造で作品の部分と全体の関係が表現される場合，AIPRB も正答できないケースがある.

10） N-BERT の F1 が AIPRB を 0.2 以上上回り，かつ，AIPRB の $\mathrm{F} 1$ が比較的低い (0.6 以下). ただし，頻度 10 未満は除く.
11) $\operatorname{match}(1,997$ 件) 全体の再帰リンク率は $61.2 \%$

12）リストの $65.6 \%$ 歴史，沿革等の項目の文のリスト, $34.5 \%$ は市区町村名を列挙した行政区分の変遷のリストや表

13）本文中のリスト $(91.7 \%)$ ，テンプレート中のリスト $(2.8 \%)$

図 3 AIPRB，構成モジュールと N-BERT の F1(カテゴリ・属性別)

 & & \\

約 10\%は Later Name(新名称)のリンクで, Company過去の社名は本文よりリスト内がやや多い14).

(b)N-BERT のみが正解を出力したケース

全体として, Wikipedia リンクのないメンション ${ }^{15)}$ を同名タイトルに誤リンクするものが多い.

## 7 おわりに

森羅プロジェクトのエンティティリンキングタスク (森羅 2021-LinkJP) は 9 システムが参加し, 全体ではルールベースの AIPRB:SMWL(F1:0.857), カテゴリ別では同システムとルールベースと BERT を併用した NAIST:baseline_plus_bert がトップであった. ルールベースと BERT の手法の比較のため，ルールベースの AIPRB:SMWL(以下，AIPRB) と BERT ベー スの NAIST:only_bert(以下，N-BERT) のシステムの比較を行い，以下の知見が得られた。

AIPRB が優位なカテゴリ・属性は再帰リンクに関するカテゴリ・属性 (表 2) が多い. AIPRB のみが正解したケースも $50.2 \%$ は再帰リンクである.

AIPRB が優位なカテゴリ・属性で AIPRB のみが正答したケースでは，テキスト以外の情報 (統計情報，タイトルの転送情報，メンション内の Wikipedia リンク等)を用いるものが多く，テキストの情報の


みで BERT が正答するのは難しいと考えられる.

AIPRB のみ正解を出力したケース全体では別名等の再帰リンクが多いが，約 $25 \%$ は部分と全体の関係にある記事にリンクされ，リスト中に現れるものが多い (City-合併市区町村:93.5\%，人名-作品:94.5\%). ただし，作品の一部と作品全体の関係がリストの階層構造で表現される場合は AIPRB も正答できない場合があり，文書構造の利用は共通の課題である。

AIPRB のモジュールで同システムの正答に大きく貢献しているのは文字列マッチと Wikipedia リンクである (両者併用で $84.5 \%$ ). 一方，再帰リンクは単独での出力が多く $(86.8 \%)$, 他のモジュールで代替できない. N-BERT で対応できない部分を補う場合，再帰リンクの利用は必須と考える。

N-BERT が優位なカテゴリ・属性はリンク先存在率が低いカテゴリ・属性で，説明的な長いメンションが多い，リンク先が存在しない場合，N-BERT は出力しないケースが見られるが，AIPRB にはリンク先が存在するかどうかを推定して出力を制御する仕組みがないため, NIL prediction(リンク先が存在しない場合の推定) の追加が必要である.

AIPRB の今後の課題には上述の NIL prediction, 文書構造の利用に加えて，カテゴリ・属性，メンションの特徴等の条件に応じた最適なモジュールの組み合わせ，再帰リンクやリンク確率で用いる統計情報のデータの増強がある.

## 謝辞

本研究は JSPS 科研費 JP20269633 の助成を受けたものです.

## 参考文献

[1] 森羅 2021-LinkJP，（2022-1 閲覧）. http://shinra-project. info/shinra2021linkjp/.

[2] 森羅プロジェクト, (2022-1 閲覧). http://shinra-project. info/.

[3] 拡張固有表現 ver8.1,（2022-1 閲覧）. http://ene-project. info/ene8-1/.

[4] Wikilinks JP,（2022-1 閲覧）. https://github.com/usami/ wikilinks-jp.

[5] 野本昌子. AIPRB/AIPCB at SHINRA2021-LinkJP -ルールベー スによるエンティティリンキング-, 2021. https://drive. google.com/file/d/1pwmvJbxCroTGbyvucgqVDRmy5frS5am6/.

[6] linkjpc, (2022-1 閲覧).https://github.com/nomotom/linkjpc.

[7] 氏家翔吾. 森羅 2021-LinkJP最終報告会, 2021. https://drive. google.com/file/d/1YULMaFnrzRMufa7G1DH6NYNAFUZOLVND/.

## A 付録 (Appendix)

表 5 F1 の低いカテゴリ・属性

 & メンション-リンク先の例 \\

表 6 AIPRB が優位のカテゴリ・属性の例 (再帰リンクに関するカテゴリ・属性以外)

 &  &  &  &  & slink & mint & wlink & linkp & AIPRB のみ TP の分類 & メンション-リンク先の例 \\

TP: 出力が正解 FP1: リンク先が存在する場合のシステムの誤出力, FP2: リンク先が存在しない場合のシステムの誤出力

表 7 AIPRB と N-BERT の正答の比較

} & match (371) & Person-所属組織 (36) & 日本代表 - サッカー日本代表 & & & & \\

TP: 出力が正解 slink, mint, wlink, linkp: モジュールの正解率