# 日本語固有表現抽出における BERT-MRC の検討

橋本航 ${ }^{1}$ 笛木正雄 1,2 黒木裕鷹 1 高橋寛治 1
${ }^{1}$ Sansan 株式会社 2 東工大工学院経営工学系
\{wataru.hashimoto, fueki, kuroki, ka.takahashi\}@sansan.com

## 概要

固有表現抽出は，テキスト中から人名や組織名などの固有表現を抽出する技術である。近年は， BERT を始めとした事前学習モデルをべースとしたアプローチの発展が著しい. 中でも BERTを用いた機械読解 (Machine Reading Comprehension; MRC) として固有表現抽出を解くモデルである BERT-MRC は，複数の英語データセットにおいて最高性能を示している。本稿では，日本語データセットを対象にして BERT-MRC の精度検証やエラー分析を行い，有効性を検討した. その結果，BERT-MRC は精度としての有効性は確認されなかったものの, 固有表現抽出と機械読解形式とれぞれの場合で有効性を示すケースを確認することができた.

## 1 はじめに

固有表現抽出 (Named Entity Recognition; NER) は， テキスト中から人名や組織名など固有表現を抽出する，自然言語処理において基礎的かつ重要な技術である. 固有表現抽出は個人情報のマスキングや文書からの情報抽出などに用いられ，Sansan 株式会社が提供する営業 DX サービス「Sansan」1) や名刺アプリ $\lceil\text { Eight }\lrcorner^{2}$ においてもニュース記事中から抽出した企業名をキーとしてニュース配信に用いている.

近年は，事前学習済みの言語モデルである BERT[1]を始めとした様々な言語モデルを固有表現抽出タスク向けにファインチューニングし，優れた性能を示す例が数多く報告されている。その中でも，2019 年に提案された，固有表現抽出を機械読解形式で解くモデルである BERT-MRC[2] は, 複数の英語データセットにて当時の最高性能を示したモデルである. BERT-MRC は 1 つのトークンに複数のラベルが割り当てられる場合も考慮する nested-NER にも利用可能など，拡張性の高いモデルである．機


械読解形式で固有表現抽出を解く場合，固有表現の各ラベルは質問文と紐付けられ，対象文から質問文に対応する固有表現が抽出される。. 例えば，抽出対象の文が「Sansan 株式会社は、Eight を提供する。」 であり，質問文が「会社名や企業名を含む法人を探せ」の場合，「Sansan 株式会社」が抽出される。機械読解形式で解く利点として，ラベルを構成するトー クン列が持つ意味的な情報を活用できる点がある.

しかし，BERT-MRC は英語では優れた性能を示すことがわかっているものの，日本語での有効性は明らかになっていない. 本稿では, 日本語に対する固有表現抽出タスクにおいて精度検証やエラー分析を行い，日本語での BERT-MRC の有効性を検討する.

## 2 関連研究

本章では固有表現抽出に関連する研究について述べる. 固有表現抽出では，同じトークンでも文脈によってラベルが異なる場合があるため，系列における過去と未来の双方向の依存性を考慮したモデルが主流である. Huang ら [3] は BiLSTM-CRFによる固有表現抽出を行っている．BiLSTM は，過去と未来の双方向について，それぞれ隠れ表現を得るモデルである. Akbik ら [4] は，BiLSTM-CRF に入力する表現として，語自身の意味表現だけでなく文脈上の使われ方を考慮した新しい単語埋め込みを入力する手法を提案し，高い性能を示している.

近年は事前学習済み言語モデルの導入が進んでおり，その顕著な例が BERT である. BERT は Transformer[5]をべースとし, Masked Language Model および Next Sentence Prediction による双方向の事前学習を導入した事前学習モデルであり, 固有表現抽出をはじめとした様々な自然言語処理タスクに応用可能である. また，BERT C CRF 層を組み合わせた BERT-CRFにより，BERTを用いた固有表現抽出モデルと比較して精度向上することが報告されており [6]，日本語における BERT-CRF の有効性も確認されている [7].

さらに，自然言語処理タスクを機械読解形式で解く方法も提案されており，Li ら [8] は機械読解形式で関係抽出を行い，大幅に精度が向上したことを報告している. 本稿では，機械読解形式で日本語固有表現抽出タスクを行った場合の有効性を検討する。

## 3 実験及び評価

## 3.1 モデル

本稿では，比較対象となる通常の固有表現抽出モデルとして BERT-CRF，機械読解形式で解くモデルとして BERT-MRC を用い実験を行った。

## 3.1.1 BERT-CRF

BERT-CRF は，BERTを用いた固有表現抽出の出カラベルの遷移が正しくなるように制約をかけたモデルである. 入力系列のトークン数を $n$ ，ラベルの数を $K$ ， 入力系列を $\mathbf{X}=\left.\{\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{n}\right.\}$, 出力ラベル $を \mathbf{y}=\left.\{y_{1}, y_{2}, \ldots, y_{n}\right.\}$ とすると，遷移を考慮した系列のスコア $s(\mathbf{X}, \mathbf{y})$ は以下のように書ける.

$
s(\mathbf{X}, \mathbf{y})=\sum_{i=0}^{n} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{n} P_{i, y_{i}}
$

ここで $A \in \mathbb{R}^{(K+2) \times(K+2)}$ はラベル間の遷移行列， $P_{i, y_{i}}$ はトークン $i$ における出力 $y_{i}$ の確率である. 目的関数は式 (1) のスコア関数を用いた対数尤度関数で表わせ，最大化するように学習を行う。

$
\log p(\mathbf{y} \mid \mathbf{X})=s(\mathbf{X}, \mathbf{y})-\log \left(\sum_{\hat{\mathbf{y}} \in \mathbf{Y}_{\mathbf{X}}} e^{s(\mathbf{X}, \hat{\mathbf{y}})}\right)
$

ここで $\mathbf{Y}_{\mathbf{X}}$ は $\mathbf{y}$ がとりうる全系列の集合である。 $\mathbf{Y}_{\mathbf{X}}$ の要素数は膨大であるため, 式 (2) の最大化にはビタビアルゴリズムを用いる.

## 3.1.2 BERT-MRC

BERT-MRC は，固有表現抽出を質問に対する回答に該当するスパンを抽出する機械読解形式で解くモデルである. BERT-MRC では，入力を質問文と抽出対象文を結合したトークン列 $\left.\{[\mathrm{CLS}], q_{1}, q_{2}, \ldots, q_{m},[\mathrm{SEP}], x_{1}, x_{2}, \ldots, x_{n}\right.\}$ を BERT に入力し, 対象文のトークンのベクトル表現行列 $E \in \mathbb{R}^{n \times d}$ を得る. ここで $m$ は質問文のトークン数, $d$ は BERT の最終層の出力ベクトルの次元である.得られた $E$ を用いて，そのトークン位置がスパンの表 1 固有表現抽出のデータ例 (IOB2 フォーマット)

表 2 機械読解形式のデータ例

 \\

始点か否かを予測する。

$
P_{\text {start }}=\operatorname{softmax}\left(E \cdot T_{\text {start }}\right) \in \mathbb{R}^{n \times 2}
$

ここで $T_{\text {start }} \in \mathbb{R}^{d \times 2}$ は重みパラメータである. スパンの終点に対しても同様の予測を行う.

また，上記の予測結果を用いるだけでは質問文に対応する回答のスパンが一意に定まらない可能性がある．そのため，スパンの始点と終点のマッチングについても予測を行い，これらを統合することで質問文に対するスパンを出力する。

$
P_{i_{\text {start }}, i_{\text {end }}}=\operatorname{sigmoid}\left(W \cdot \operatorname{concat}\left(E_{i_{\text {start }}}, E_{i_{\text {end }}}\right)\right)
$

ここで $W \in \mathbb{R}^{1 \times 2 d}$ は重みパラメータである.

## 3.2 実験設定

データセットとして，ストックマーク株式会社が提供する Wikipedia の日本語固有表現抽出データセット [9] を用いた。学習データ，開発データ，テストデータの比率が 8:1:1 になるようにデータを分割した。また，当該データセットを固有表現抽出および機械読解のタスクへ適用するため，それぞれ表 1，表 2 のように整形を行った. 固有表現抽出のラベルのフォーマットとして IOB2 フォーマットを用
表 3 固有表現ラベルに対応する質問文

表 4 BERT-CRF と BERT-MRC の固有表現抽出における固有表現ラベルごとの結果

## BERT-CRF BERT-MRC

いた.また，BERT の事前学習済みモデルとして東北大の日本語 BERT モデルを使用した. ${ }^{3)}$

BERT-CRF については，不正な遷移4)に対応するパラメータを-100で初期化した状態で学習を行った.

BERT-MRC については， negative sampling を導入して学習を行った.ここでいう negative sample とは，質問文に対応する固有表現が対象文中に存在しないデータのことであり, negative sampleを間引いて学習するのが negative sampling である. 固有表現抽出を機械読解形式で解く場合，1文に対してラべルの個数分の質問文を生成する。そのため，文によっては該当するラベルがない事例が生成されることになるケースが多い. negative sampleが多い場合，学習が効率的に進まないため, negative sampling が必要である. 本稿では, positive sample (質問文に対応する固有表現が対象文に存在するデータ) に対して negative sample の比率が 1.5 倍になるよう学習

3） https://github.com/cl-tohoku/bert-japanese

4）不正な遷移とは，例えば「B-組織名 $\rightarrow$ I-人名」のような， IOB とラベルが一致せず起こりえない遷移を指す.
データからサンプリングし学習を行った. また，各固有表現ラベルに対応する質問文の一覧を表 3 に示す. 質問文は [9] の各ラベルを参考にして作成した。

## 3.3 評価方法

評価指標として Precision(適合率), Recall(再現率), F1(F-measure)を用いた. トークン列に対して正しいラベルが付与できたか否かを基にして算出を行った.また，固有表現抽出タスクにおいて BERT-MRC と BERT-CRF の性能を同一条件で比較するため, BERT-MRC を固有表現抽出向けの精度評価ができるように出力結果の後処理を行った. 具体的には, BERT-MRC では各固有表現ラベルごとに独立に推定が行われるため、flat-NER（1つのトークンに 1 つのラベルのみを割り当てる固有表現抽出）向けに変換する後処理が必要となる. 本稿では，人名 >法人名 >政治的組織名 > その他の組織名 > 地名 > 施設名 >製品名 >イベント名の優先順位をつけて各トークンにラベル付けを行った.

## 3.4 結果

BERT-CRF および BERT-MRC の結果を表 4 に示す. それぞれのラベルにおけるすべての評価指標において，BERT-CRF の方が良い性能を示した. 各評価指標のスコアを比較しても差が大きいものも見られることから，日本語の固有表現抽出（flat-NER） においては，機械読解形式のモデルよりも通常の固有表現抽出モデルを用いた方が良いことがわかる.

## 3.5 エラー分析

本セクションでは，BERT-MRC および BERT-CRF のエラー事例を示し考察を行う。まず，BERT-MRC において正しく抽出されなかったが BERT-CRF では正しく抽出された例の抜粋を表 5 に示す.

表 5 では，BERT-CRF においては鉤括弧内の固有表現を抽出できているが，BERT-MRC では抽出できていないことを示している. 鉤括弧内に何らかの固有表現が含まれているのは今回しようしたデータセットにおいて数多く見られ，実際にテストデータの全 534 件において鉤括弧が含まれるものは 137 件存在する. その中でも鉤括弧内がすべて固有表現である 83 件において BERT-MRC は 69 件正解していたのに対し，BERT-CRF は 77 件正解していた. 本事例において BERT-MRC が BERT-CRF と比較し正しく抽出できていないことが，日本語固有表現抽出においては固有表現抽出モデルに劣後している理由の 1 つであると考えられる。

次に，BERT-CRF において正しく抽出されなかったが BERT-MRC では正しく抽出された例の抜粋を表 6 に示す. こちらは，ラベル名に対応する質問文「政治的組織名、政党名、政府組織名、行政組織名、軍隊名、国際組織名を探せ」と抽出した固有表現「最高裁」が意味的に近い事例であり, 日本語においても BERT-MRC が有効である領域であるといえる. 本結果から，対象としたい固有表現とより対応するように質問文を改善すれば，精度が向上する可能性があると考えられる。

## 4 おわりに

本稿では固有表現抽出を機械読解形式で解くモデルである BERT-MRC を日本語に対する固有表現抽出に適用した. 精度としては通常の固有表現抽出として解くモデルには劣後し, その原因の一つとして今回使用した日本語固有表現抽出データセットの文表 5 BERT-MRC のエラー例

表 6 BERT-CRF のエラー例

中に鉤括弧が多いためであることが確認された. 一方で，日本語においても対象文における固有表現と質問文の意味が近い場合は機械読解形式が機能することも確認された. 今後は, nested-NER や zero-shot の問題設定における日本語固有表現抽出の検討が課題である.

## 参考文献

[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Association for Computational Linguistics, 2019.

[2] Xiaoya Li, Jingrong Feng, Yuxian Meng, Qinghong Han, Fei Wu, and Jiwei Li. A unified MRC framework for named entity recognition. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2020.

[3] Zhiheng Huang, Wei Xu, and Kai Yu. Bidirectional lstm-crf models for sequence tagging. CoRR, Vol. abs/1508.01991, , 2015.

[4] Alan Akbik, Duncan Blythe, and Roland Vollgraf. Contextual string embeddings for sequence labeling. In Proceedings of the 27th International Conference on Computational Linguistics. Association for Computational Linguistics, 2018

[5] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Ł ukasz Kaiser, and Illia Polosukhin. Attention is all you need. In I. Guyon, U. V. Luxburg, S. Bengio, H. Wallach, R. Fergus, S. Vishwanathan, and R. Garnett, editors, Advances in Neural Information Processing Systems. Curran Associates, Inc., 2017.

[6] Fábio Souza, Rodrigo Nogueira, and Roberto Lotufo. Portuguese named entity recognition using bert-crf. arXiv preprint arXiv:1909.10649, 2020

[7] 田川裕輝, 西埜徹, 谷口元樹, 谷口友紀, 大熊智子. 生成された読影所見の自動評価に向けた固有表現認識とモダリティ推定. 言語処理学会第 26 回年次大会, 2020.

[8] Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li, Arianna Yuan, Duo Chai, Mingxin Zhou, and Jiwei Li. Entity-relation extraction as multi-turn question answering. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Association for Computational Linguistics, 2019.

[9] 近江崇宏. Wikipediaを用いた日本語の固有表現抽出のデータセットの構築. 言語処理学会第 27 回年次大会, 2021.